CN117527900B - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117527900B CN117527900B CN202410022459.5A CN202410022459A CN117527900B CN 117527900 B CN117527900 B CN 117527900B CN 202410022459 A CN202410022459 A CN 202410022459A CN 117527900 B CN117527900 B CN 117527900B
- Authority
- CN
- China
- Prior art keywords
- data
- hyperspectral
- residual
- code
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 52
- 238000007906 compression Methods 0.000 claims abstract description 49
- 230000006835 compression Effects 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000009826 distribution Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 30
- 230000006837 decompression Effects 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000013500 data storage Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 3
- 230000005540 biological transmission Effects 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000013144 data compression Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
- H04L2463/062—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying encryption of the keys
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明公开了一种数据处理方法、装置、设备及存储介质，涉及数据传输技术领域，其方法包括：获取高光谱数据；基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；将所述储存码存储至存储块中。本发明能够降低高光谱数据存储和传输的成本。
Description
技术领域
本发明涉及数据传输技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
高光谱图像是三维数据立方体，拥有丰富的空间信息与光谱信息。
在实际应用中，伴随着成像的光谱分辨率、空间分辨率不断提高，高光谱图像数据的体积也与日俱增。尤其在工业领域大幅面检测中，通过增加高光谱本体相机像素分辨率或者利用倍镜来提高对待测物体的检测精度，如4K高光谱面阵相机或者线阵高光谱相机，超高分辨的高光谱图像在采集中会占用非常大的存储空间，提高了高光谱数据存储和传输成本。
发明内容
本发明的主要目的在于提供一种数据处理方法、装置、设备及存储介质，旨在解决目前高光谱图像占用的存储空间过大，提高了高光谱数据存储和传输成本的问题。
为实现上述目的，本发明提供一种数据处理方法，所述方法包括：
获取高光谱数据；
基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；
将所述储存码存储至存储块中；
可选地，所述将所述储存码存储至存储块中的步骤之后包括：
响应于用户的转移指令，将所述存储块中的储存码发送至解压端，以使所述解压端基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据。
可选地，所述基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码的步骤之后包括：
对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布；
通过熵编码器对所述残差分布进行编码，得到压缩数据；
通过加密算法对所述压缩数据进行加密，得到所述储存码。
可选地，所述对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布的步骤包括：
将所述高光谱数据输入3D卷积网络，得到高光谱特征数据；
计算所述高光谱数据与所述高光谱特征数据的差异，得到残差值；
基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布。
可选地，所述基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布的步骤包括：
通过所述深度编码器对所述高光谱数据进行像素邻域处理，获取各像素点周围的像素值；
通过所述深度编码器对所述残差值和所述各像素点周围的像素值进行计算，得到高光谱数据的残差分布。
可选地，所述基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据的步骤包括：
对所述储存码进行解密，得到压缩数据；
对所述压缩数据进行解压，得到所述高光谱数据。
可选地，所述对所述压缩数据进行解压，得到所述高光谱数据的步骤包括：
通过熵解码器对所述压缩数据进行数据还原，得到残差分布；
通过深度解码器对所述残差分布进行解码，得到残差值；
基于所述残差值，通过3D反卷积网络还原得到所述高光谱数据。
本发明实施例还提出一种数据处理装置，所述装置包括：
数据获取模块，用于获取高光谱数据；
数据处理模块，用于基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；
数据存储模块，用于将所述储存码存储至存储块中。
本发明实施例还提出一种设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法。
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法。
本发明实施例提出的数据处理方法、装置、设备及存储介质，获取高光谱数据；基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；将所述储存码存储至存储块中。本发明实施例基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码，可以对储存码进行存储，从而有效降低存储成本，并且，将储存码进行转移，然后基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据，从而可以有效降低传输成本。
附图说明
图1为本发明数据处理装置所属设备的功能模块示意图；
图2为本发明数据处理方法一示例性实施例的流程示意图；
图3为本发明数据处理方法另一示例性实施例的流程示意图；
图4为本发明数据处理方法整体流程示意图；
图5为本发明数据处理方法另一示例性实施例的流程示意图；
图6为本发明数据处理方法中AES加密算法实现流程示意图；
图7为本发明数据处理方法另一示例性实施例的流程示意图；
图8为本发明数据处理方法中压缩和解压的流程示意图；
图9为本发明数据处理方法中对高光谱数据进行3D卷积操作的示意图；
图10为本发明数据处理方法另一示例性实施例的流程示意图；
图11为本发明数据处理方法中预测像素邻域的示意图；
图12为本发明数据处理方法另一示例性实施例的流程示意图；
图13为本发明数据处理方法另一示例性实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取高光谱数据；基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；将所述储存码存储至存储块中。本发明实施例基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码，可以对储存码进行存储，从而有效降低存储成本，并且，将储存码进行转移，从而可以有效降低传输成本。
具体地，参照图1，图1是本发明数据处理装置所属设备的功能模块示意图。该数据处理装置可以为独立于设备的、能够进行数据处理的装置，其可以通过硬件或软件的形式承载于设备上。该设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定设备或服务器等。
在本实施例中，该数据处理装置所属设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及数据处理程序；输出模块110可为显示屏等。通信模块140可以包括WIFI模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的数据处理程序被处理器执行时实现以下步骤：
获取高光谱数据；
基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码;
将所述储存码存储至存储块中.
进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：
响应于用户的转移指令，将所述存储块中的储存码发送至解压端，以使所述解压端基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据。
进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：
对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布；
通过熵编码器对所述残差分布进行编码，得到压缩数据；
通过加密算法对所述压缩数据进行加密，得到所述储存码。
进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：
将所述高光谱数据输入3D卷积网络，得到高光谱特征数据；
计算所述高光谱数据与所述高光谱特征数据的差异，得到残差值；
基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布。
进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：
通过所述深度编码器对所述高光谱数据进行像素邻域处理，获取各像素点周围的像素值；
通过所述深度编码器对所述残差值和所述各像素点周围的像素值进行计算，得到高光谱数据的残差分布。
进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：
对所述储存码进行解密，得到压缩数据；
对所述压缩数据进行解压，得到所述高光谱数据。
进一步地，存储器130中的数据处理程序被处理器执行时还实现以下步骤：
通过熵解码器对所述压缩数据进行数据还原，得到残差分布；
通过深度解码器对所述残差分布进行解码，得到残差值；
基于所述残差值，通过3D反卷积网络还原得到所述高光谱数据。
本实施例通过上述方案，具体通过获取高光谱数据；基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；将所述储存码存储至存储块中。本发明实施例基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码，可以对储存码进行存储，从而有效降低存储成本，并且，将储存码进行转移，从而可以有效降低传输成本。
高光谱图像是三维数据立方体，拥有丰富的空间信息与光谱信息。
高光谱成像仪器通过测量物体在特定光谱波段内发射及反射的电磁波能量，能够识别出物体的材料与物理状态，因而被广泛地应用于发光体缺陷检测、食品安全、半导体检测、卫星遥感等领域中。
在实际应用中，伴随着成像的光谱分辨率、空间分辨率不断提高，高光谱图像数据的体积也与日俱增。
尤其在工业领域大幅面检测中，通过增加高光谱本体相机像素分辨率或者利用倍镜来提高对待测物体的检测精度，如4K高光谱面阵相机或者线阵高光谱相机，超高分辨的高光谱数据在采集中会占用非常大的存储空间，不利于企业生产。
因此实现高光谱超分辨图像数据存储需要经过压缩后再传输，不然难以达到实时数据处理以及造成存储资源的浪费。因此，为了节省数据存储和传输成本，研究高光谱图像的无损压缩方法的意义重大。
结合上述问题，基于上述设备架构但不限于上述架构，提出本发明方法实施例。
本实施例方法的执行主体可以是一种数据处理装置，该数据处理装置可以为独立于设备的、能够进行数据处理的装置，其可以通过硬件或软件的形式承载于设备上。
参照图2，图2为本发明数据处理方法一示例性实施例的流程示意图。所述数据处理方法包括：
步骤S10，获取高光谱数据。
其中，高光谱数据为高光谱图像的数据。
其中，不同于RGB图像，高光谱图像是一种多波段图像数据的三维图像数据立方体，不同波段的数据包含丰富的空间信息与光谱信息。
高光谱图像在发光体光谱检测、食品安全、地址探测、卫星遥感等领域具有较强实际应用，由于高光谱的波段数大于15个，通常情况下具有20个以上的波段图像。这种三维图像的数据较大，尤其在大幅面图像检测中不利于图像传输和存储。
步骤S20，基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码。
其中，低码率压缩算法是一种高压缩比的，减小数据的比特率的算法，采用低码率压缩算法对高光谱数据进行压缩可以在数据传输过程中降低存储和传输的成本。
步骤S30，将所述储存码存储至存储块中。
其中，由于本发明数据处理方法的高压缩比特性，将储存码进行转移可以提高数据传输效率。
参照图3，图3为本发明数据处理方法一示例性实施例的流程示意图。
步骤S40，响应于用户的转移指令，将所述存储块中的储存码发送至解压端，以使所述解压端基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据。
其中，通过AES密钥对低码流存储块进行解密操作，得到存储码。
然后，对存储码进行解密解压操作，可以重建巨量高光谱数据存储区。
具体地，储存码可以通过存储介质实现高光谱图像数据存储，也可以通过有线或者无线网络传输转移。当存储码传输或者转移到解压端时，并通过对应的解密算法实现解密，将解密的比特流传入深度编码器算法解码器得到高光谱数据重建数据。
参照图4，图4为本发明数据处理方法整体流程示意图。
其中，巨量高光谱数据存储区包括数据集1、数据集2、···、数据集n。
然后，对高光谱数据进行压缩加密操作，得到储存码。
然后，将储存码进行加密后存储进低码流存储块中。例如，可以使用AES密钥对储存码进行加密。
本实施例通过上述方案，通过获取高光谱数据；基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；将所述储存码存储至存储块中。本发明实施例基于预设的低码率压缩算法对所述高光谱数据进行无损压缩，得到储存码，可以对储存码进行存储，从而有效降低存储成本，并且，将储存码进行转移，从而可以有效降低传输成本。
参照图5，图5为本发明数据处理方法另一示例性实施例的流程示意图。
基于上述图2所示的实施例，所述步骤S20，基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码包括：
步骤S21，对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布。
其中，残差计算就是比较原始数据和经过某种处理或模型预测后得到的数据之间的差异。
其中，可以对高光谱数据进行特征提取，得到特征数据；
然后，可以通过比较高光谱数据和特征数据的差异，提取残差分布。
其中，作为一种实施方式，可以采用GPU并行加速以提升压缩效率。
步骤S22，通过熵编码器对所述残差分布进行编码，得到压缩数据。
具体地，可以通过非对称数字系统编码实现对残差分布进行非二进制字符的非均值熵编码，得到压缩数据。
其中，非对称数字系统编码计算可以简化为：
对于二进制字符串，/>为其对应数值，通过编码函数表示为：
其中，为新的输入字符，在压缩阶段将二进制转为十进制，再转为输出比特流：
其中，在解压阶段通过十进制转为二进制表示为：
作为一种实施方式，在对残差分布进行编码之后还可以对压缩数据进行简单的XOR计算以实现整体比特数加密。
步骤S23，通过加密算法对所述压缩数据进行加密，得到所述储存码。
其中，加密算法可以包括AES、DES、RSA等等。
具体地，本实施例采用AES对压缩数据进行加密，得到储存码，使得存储码用于数据传输。
其中，AES是一种分组迭代密码，明文分组长度固定为128b,而且仅支持128,196或256b的密钥长度，具体地，本实施例对密钥长度为128b的情况进行讨论。
参照图6，图6为本发明数据处理方法中AES加密算法实现流程示意图。
其中，将输入的明文填入一个4X4的矩阵（16进制），并将其称为状态矩阵。
可知地，算法的前round-1轮包含四种变换，分别是：字节替换、轮密钥加、行移位、列混合。
可知地，对于每一轮，都有对应的子密钥。子密钥由初始密钥通过密钥扩展得到。最后一轮由字节替换、行移位和轮密钥加组成。
其中，通过AES加密算法对所述压缩数据进行加密，使得高光谱图像在GPU或FPGA平台实现高通量加密。
本发明实施例通过改进熵编码器对残差分布进行编码，可以提高压缩算法的效率。并且，本发明实施例从实际应用出发，通过加密码流，可以实现卫星遥感、网络传输、硬盘存储等需要光谱加密的重大机密场景，在卫星遥感、数字医疗、半导体检测等机密场景中实现高光谱数据采集低码流传输，和超分辨数据重建过程。
可知地，图像信号压缩中压缩感知理论（Compressed Sensing，CS）提出一个稀疏的信号可以表示为一系列少于香农定理（Shannon's Sampling Theorem，SST）或奈奎斯特采样定理（Nyquist Sampling Law，NSL）的观测值重构而来。
高光谱虽然是一种三维图像，但其cube数据中同一观测对象可以作为同一个低维子空间中，因此图像的像素可以通过一个合适的编码方式进行表示。
在图像处理领域基于2D卷积的深度神经网络能够很好地提取图像特征数据，作为RGB二维图像领域来说，2D卷积网络具有平移不变性，通过可以分别处理RGB三个通道上的像素数据。
但在具有时间维度的视频流处理中，浅层的2D卷积神经网络难以对视频内容进行前后处理，通常会利用2D卷积作为特征提取，增加时序网络如LSTM、GRU等来处理基于时间序列上的空间特征。
对于高光谱来说，高维度的图像数据采用3D卷积能获得除了平面图像数据外的波段特征值。
3D卷积与2D卷积不同之处在于，输入图像多了一个深度的维度，卷积核也多了一个深度的维度，因此卷积核在输入3D图像的空间维度（长和宽）和深度的维度上均进行滑窗操作进行内积运算，得到输出3D图像中的一个数值，该数值能够在高光谱压缩中提高压缩率。
针对3D卷积的特征，提出本发明实施例。
参照图7，图7为本发明数据处理方法另一示例性实施例的流程示意图。
基于上述图5所示的实施例，所述步骤S21，对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布包括：
步骤S211，将所述高光谱数据输入3D卷积网络，得到高光谱特征数据。
其中，在本发明中利用3D卷积网络来获取高光谱特征数据，能避免卷积过程中数据丢失。
参照图8，图8为本发明数据处理方法中压缩和解压的流程示意图。
首先，获取高光谱数据；
然后，将高光谱数据输入3D卷积网络，得到高光谱特征数据。
然后，计算所述高光谱数据与所述高光谱特征数据的差异，得到残差值。
然后，基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布。
然后，通过熵编码器对残差分布进行编码，得到压缩数据。
然后，对压缩数据进行AES-256加密，得到储存码。
参照图9，图9为本发明数据处理方法中对高光谱数据进行3D卷积操作的示意图。
其中，输入层数据(高光谱cube数据)为。
其中，超参数如下：Filter个数：k，Filter卷积核维度：w*h*d，滑动步长（Stride）：s，填充值（Padding）：p。
其中，输出层：。
其中，输入层与输出层的参数关系为：
其中，参数量为：（w*h*d+1）*k。
步骤S212，计算所述高光谱数据与所述高光谱特征数据的差异，得到残差值。
其中，在高光谱图像特征提取中没有采用池化操作，而是利用3D卷积操作之后获得特征，为防止卷积过程梯度消失，导致网络难以拟合，将通过3D卷积获得的高光谱特征数据与原始高光谱数据作差获得残差值R，并估计残差分布/>。
其中，。
步骤S213，基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布。
其中，利用3D卷积网络与深度编码器，并通过非对称数字系统编码，实现高压缩比的无损压缩算法，并利用GPU并行计算实现高通量图像压缩处理，最后通过AES-256对比特流实现加密。
其中，使用深度编码器对数据实现压缩，可以认为是数据一级加密过程。
然后，通过AES-256对压缩数据实现数据二级加密。
在高光谱数据压缩中，为了保证数据不丢失，往往采用哈夫曼编码、Golomb编码以及算术编码，通过熵编码和变换技术模块来减少数据中的编码、空间和时间冗余，实现数据压缩。但这些模块由手动优化设计，缺乏整体联合优化。
此外，传统编码质量评估主要关注客观性能指标，难以满足主观和语义质量要求，也无法捕捉深层次语义信息。随着深度学习和计算机视觉的发展，需要一种新的方式来解决图像压缩编码问题。端到端图像压缩能够联合优化各个编码模块，实现更有效的数据传输。本发明实施例通过深度编码器对高光谱数据的编码处理，实现端到端数据压缩。
基于深度学习的图像压缩发展历程可分为两类：一是不同神经网络图像压缩框架的发展，二是深度学习下核心模块如图像变换、量化和编码的发展。
在本发明中通过深度自编码对高光谱超分辨图像进行数据无损压缩来解决高通量、高压缩率与超分辨图像无损重建问题。
根据高光谱CCSDS120.2-G-1无损数据压缩算法标准来说，通过邻域像素来预测目标像素，实现基于数据驱动的高光谱图像无损压缩。
然而在解压过程中，只有在所有先前的像素都已知的情况下才能预测一个像素，因此网络的一个推理只能解码一个符号，从而导致解压速度非常慢。
基于上述问题，提出本发明实施例，在本发明实施例中，为了能快速预测目标的概率分布从而求解目标像素值，利用深度编码器来学习高光谱谱间和像素间的残差分布。
参照图10，图10为本发明数据处理方法另一示例性实施例的流程示意图。
基于上述图7所示的实施例，所述步骤S213，基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布包括：
步骤S2131，通过所述深度编码器对所述高光谱数据进行像素邻域处理，获取各像素点周围的像素值。
其中，像素邻域指的是在图像中，与某个像素位置相邻或接近的像素点的集合，通常用于捕捉图像中的空间信息和上下文信息。像素邻域处理则是利用这些像素邻域信息进行图像处理和分析，例如：滤波、边缘检测、特征提取等任务。
步骤S2132，通过所述深度编码器对所述残差值和所述各像素点周围的像素值进行计算，得到高光谱数据的残差分布。
参照图11，图11为本发明数据处理方法中预测像素邻域的示意图。
具体地，本发明实施例基于VAE构造深度编码器。
其中，VAE（Variational Autoencoder，变分自编码器）是在经典的自编码器的方法中，在encoder输出中提取特征向量的均值和方差，并利用在高斯分布中对均值与方差进行采样从而给数据添加了“高斯噪声”，将其作为decoder的输入，使得decoder对输入数据具有抗噪性。
其中，重构跟噪声是相互对抗的，重构误差跟噪声强度是两个相互对抗的指标，而在改变噪声强度时原则上需要有保持均值不变的能力。
可知地，VAE是自编码器一种贝叶斯推理问题的延伸。通过在原始样本获取每个样本的均值和方差，用一个专属于的分布/>(即后验分布)满足正态分布N(0,I)并采样出特征变量/>，并希望能够把从分布/>采样出来的一个/>还原为/>。在VAE中让所有的/>都趋向标准正态分布，这样就防止了噪声为零，同时保证了模型具有生成能力，即所有的/>都很接近标准正态分布N(0,I)，就能达到先验假设：/>是标准正态分布，然后模型就可以稳定地从N(0,I)中采样来生成数据了。
在VAE中为了让都趋向N(0,I)，在重构误差的基础上中加入额外的损失函数：/>和/>。
上式分别代表了均值和方差的对数/>达到N(0,I)，计算中使得两者接近于0，但是这两个损失函数的值变化将会影响到解码器输出数据的质量，为了能更好权衡损失函数，引入正态分布与标准正态分布的KL散度计算方式：/>，作为计算这两个损失函数的额外损失，可列出如下等式：
VAE模型通过计算生成的结果与输入数据之间的损失从而进行参数优化，因此在输出结果的分布与数据采样的分布进行ＫＬ散度获取损失，从而计算出输入残差分布。
本发明实施例通过对高光谱通道像素自动化预测，实现无损压缩，并且，本发明实施例采用GPU并行加速实现高光谱样本图像预测值快速遍历，提升压缩效率。
参照图12，图12为本发明数据处理方法另一示例性实施例的流程示意图。
基于上述图2所示的实施例，所述步骤S40，基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据包括：
步骤S41，对所述储存码进行解密，得到压缩数据。
其中，通过与加密算法对应的解密算法对所述储存码进行解密，得到压缩数据。
步骤S42，对所述压缩数据进行解压，得到所述高光谱数据。
其中，通过与压缩算法对应的解压算法对所述压缩数据进行解压，得到高光谱数据。
参照图13，图13为本发明数据处理方法另一示例性实施例的流程示意图。
基于上述图12所示的实施例，所述步骤S42，对所述压缩数据进行解压，得到所述高光谱数据包括：
步骤S421，通过熵解码器对所述压缩数据进行数据还原，得到残差分布。
如图8所示，图8为本发明数据处理方法中压缩和解压的流程示意图。
首先，将储存码输入解压端。
然后，通过AES-256对储存码进行解密，得到压缩数据。
然后，通过熵解码器对所述压缩数据进行数据还原，得到残差分布。
然后，通过深度解码器对所述残差分布进行解码，得到残差值。
最后，基于所述残差值，通过3D反卷积网络还原得到所述高光谱数据。
步骤S422，通过深度解码器对所述残差分布进行解码，得到残差值。
步骤S423，基于所述残差值，通过3D反卷积网络还原得到所述高光谱数据。
其中，通过熵编码对比特流进行数据还原，然后根据深度变分自编码模型解码器解码残差值，最后利用3D反卷积还原高光谱数据。
此外，本申请实施例还提出一种数据处理装置，所述数据处理装置包括：
数据获取模块，用于获取高光谱数据；
数据处理模块，用于基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；
数据存储模块，用于将所述储存码存储至存储块中。
本实施例实现数据传输的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本申请实施例还提出一种设备，所述设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序被所述处理器执行时实现如上所述的数据处理方法的步骤。
由于本数据处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上所述的数据处理方法的步骤。
由于本数据处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
本实施例通过上述方案，具体通过获取高光谱数据；基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；将所述储存码存储至存储块中。本发明实施例基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码，可以对储存码进行存储，从而有效降低存储成本，并且，将储存码进行转移，然后基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据，从而可以有效降低传输成本。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种数据处理方法，其特征在于，所述方法应用于压缩端，所述方法包括以下步骤：
获取高光谱数据；
基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；
将所述储存码存储至存储块中；
所述基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码的步骤包括：
对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布；
通过熵编码器对所述残差分布进行编码，得到压缩数据；
通过加密算法对所述压缩数据进行加密，得到所述储存码；
所述对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布的步骤包括：
将所述高光谱数据输入3D卷积网络，得到高光谱特征数据；
计算所述高光谱数据与所述高光谱特征数据的差异，得到残差值；
基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布。
2.根据权利要求1所述的方法，其特征在于，所述将所述储存码存储至存储块中的步骤之后包括：
响应于用户的转移指令，将所述存储块中的储存码发送至解压端，以使所述解压端基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布的步骤包括：
通过所述深度编码器对所述高光谱数据进行像素邻域处理，获取各像素点周围的像素值；
通过所述深度编码器对所述残差值和所述各像素点周围的像素值进行计算，得到高光谱数据的残差分布。
4.根据权利要求2所述的方法，其特征在于，所述基于预设的低码率解压算法对所述存储块中的储存码进行解压，得到所述高光谱数据的步骤包括：
对所述储存码进行解密，得到压缩数据；
对所述压缩数据进行解压，得到所述高光谱数据。
5.根据权利要求4所述的方法，其特征在于，所述对所述压缩数据进行解压，得到所述高光谱数据的步骤包括：
通过熵解码器对所述压缩数据进行数据还原，得到残差分布；
通过深度解码器对所述残差分布进行解码，得到残差值；
基于所述残差值，通过3D反卷积网络还原得到所述高光谱数据。
6.一种数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取高光谱数据；
数据处理模块，用于基于预设的低码率压缩算法对所述高光谱数据进行压缩，得到储存码；所述数据处理模块还用于对所述高光谱数据进行残差计算，得到所述高光谱数据的残差分布；通过熵编码器对所述残差分布进行编码，得到压缩数据；通过加密算法对所述压缩数据进行加密，得到所述储存码；所述数据处理模块还用于将所述高光谱数据输入3D卷积网络，得到高光谱特征数据；计算所述高光谱数据与所述高光谱特征数据的差异，得到残差值；基于所述残差值和所述高光谱数据，通过深度编码器计算得到所述高光谱数据的残差分布；
数据存储模块，用于将所述储存码存储至存储块中。
7.一种数据处理设备，其特征在于，所述数据处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5中任一项所述的数据处理方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022459.5A CN117527900B (zh) | 2024-01-08 | 2024-01-08 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410022459.5A CN117527900B (zh) | 2024-01-08 | 2024-01-08 | 数据处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117527900A CN117527900A (zh) | 2024-02-06 |
| CN117527900B true CN117527900B (zh) | 2024-05-07 |
Family
ID=89749844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410022459.5A Active CN117527900B (zh) | 2024-01-08 | 2024-01-08 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117527900B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1632479A (zh) * | 2005-01-20 | 2005-06-29 | 北京工业大学 | 一种基于三维预测的高光谱图像无损压缩方法 |
| CN108960333A (zh) * | 2018-07-12 | 2018-12-07 | 西安电子科技大学 | 基于深度学习的高光谱图像无损压缩方法 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| CN112633386A (zh) * | 2020-12-26 | 2021-04-09 | 北京工业大学 | 基于sacvaegan的高光谱图像分类方法 |
| KR20210078350A (ko) * | 2019-12-18 | 2021-06-28 | 인천대학교 산학협력단 | 초분광 영상 처리에서의 무손실 압축방법 |
| CN115866265A (zh) * | 2022-12-01 | 2023-03-28 | 厦门大学 | 一种应用于混合语境中的多码率深度图像压缩系统及方法 |
| CN115955563A (zh) * | 2022-12-19 | 2023-04-11 | 武汉大学 | 一种星地联合多光谱遥感影像压缩方法及系统 |
-
2024
- 2024-01-08 CN CN202410022459.5A patent/CN117527900B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1632479A (zh) * | 2005-01-20 | 2005-06-29 | 北京工业大学 | 一种基于三维预测的高光谱图像无损压缩方法 |
| CN108960333A (zh) * | 2018-07-12 | 2018-12-07 | 西安电子科技大学 | 基于深度学习的高光谱图像无损压缩方法 |
| KR20210078350A (ko) * | 2019-12-18 | 2021-06-28 | 인천대학교 산학협력단 | 초분광 영상 처리에서의 무손실 압축방법 |
| CN112232280A (zh) * | 2020-11-04 | 2021-01-15 | 安徽大学 | 基于自编码器与3d深度残差网络的高光谱图像分类方法 |
| CN112633386A (zh) * | 2020-12-26 | 2021-04-09 | 北京工业大学 | 基于sacvaegan的高光谱图像分类方法 |
| CN115866265A (zh) * | 2022-12-01 | 2023-03-28 | 厦门大学 | 一种应用于混合语境中的多码率深度图像压缩系统及方法 |
| CN115955563A (zh) * | 2022-12-19 | 2023-04-11 | 武汉大学 | 一种星地联合多光谱遥感影像压缩方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 高光谱图像压缩技术研究进展;万建伟;粘永健;苏令华;辛勤;;信号处理;20100925(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117527900A (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10785545B2 (en) | Systems and methods for simultaneous compression and encryption | |
| Gao et al. | Image representation using block compressive sensing for compression applications | |
| CN104394418B (zh) | 一种视频数据编码、解码的方法及装置 | |
| Song et al. | Joint image compression–encryption scheme using entropy coding and compressive sensing | |
| JP2009010954A (ja) | 高速な画像処理方法およびシステム | |
| Sharma et al. | Performance analysis of compression algorithms for information security: A Review | |
| Korde et al. | Wavelet based medical image compression for telemedicine application | |
| Chaudhary et al. | Joint image compression and encryption using a novel column-wise scanning and optimization algorithm | |
| Portell et al. | FAPEC, a versatile and efficient data compressor for space missions | |
| Sangeetha et al. | A biometrie iris image compression using LZW and hybrid LZW coding algorithm | |
| Gao et al. | Image compression and encryption based on wavelet transform and chaos | |
| CN117527900B (zh) | 数据处理方法、装置、设备及存储介质 | |
| Tagne et al. | An Efficient Data Compression Approach based on Entropic Codingfor Network Devices with Limited Resources | |
| CN109474826B (zh) | 图片压缩方法、装置、电子设备及存储介质 | |
| Hussin et al. | A comparative study on improvement of image compression method using hybrid DCT-DWT techniques with huffman encoding for wireless sensor network application | |
| Ghadi et al. | Enhancing digital image integrity by exploiting JPEG bitstream attributes | |
| Barman et al. | A review on lossless data compression techniques | |
| Naaz et al. | Implementation of hybrid algorithm for image compression and decompression | |
| Rahman et al. | An integer wavelet transform based lossless image compression technique using arithmetic coding | |
| Ayinde et al. | Lossless image compression using Zipper transformation | |
| Koc et al. | Technique for lossless compression of color images based on hierarchical prediction, inversion, and context adaptive coding | |
| Yaragunti et al. | Text Based Image Compression Using Hexadecimal Conversion | |
| Peetakul et al. | Intra Prediction-Based Measurement Coding Algorithm for Block-Based Compressive Sensing Images | |
| Kesavamurthy et al. | Lossless volumetric colour medical image compression using block based encoding | |
| Jayanthi et al. | Multi Wavelet Based Image Compression for Tele-Medical Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |