CN110175971A - 一种多光谱单像素成像的深度学习图像重构方法 - Google Patents
一种多光谱单像素成像的深度学习图像重构方法 Download PDFInfo
- Publication number
- CN110175971A CN110175971A CN201910447672.XA CN201910447672A CN110175971A CN 110175971 A CN110175971 A CN 110175971A CN 201910447672 A CN201910447672 A CN 201910447672A CN 110175971 A CN110175971 A CN 110175971A
- Authority
- CN
- China
- Prior art keywords
- multispectral
- image
- single pixel
- neural network
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003384 imaging method Methods 0.000 title claims abstract description 47
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 18
- 239000011248 coating agent Substances 0.000 claims description 16
- 238000000576 coating method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 16
- 238000001228 spectrum Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000011478 gradient descent method Methods 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012298 atmosphere Substances 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2803—Investigating the spectrum using photoelectric array detector
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种多光谱单像素成像的深度学习图像重构方法，包括：测量过程和重构过程，测量过程是利用编码图案对目标场景进行编码，而后利用多光谱探测器记录不同波长对应的光强。在物理方式实现多光谱单像素探测后，基于深度神经网络的图像重建方法，实现从所有的探测信号Yc中重构出原始信号X的过程。该深度神经网络由线性映射网络和卷积神经网络组成，将C个测量向量按列拼接在一起形成一个新的矩阵Y′，线性映射网络以Y′为输入数据初步对数据进行线性处理，而后将线性处理结果经过卷积神经网络进行通道间的信息融合处理，最终重建得到待观测图像X。本发明的技术方案解决了现有技术中的算法复杂度高、重建时间较长，且对采样率要求较高的问题。
Description
技术领域
本发明涉及单像素成像技术和深度学习技术领域，具体而言，尤其涉及一种多光谱单像素成像的深度学习图像重构方法。
背景技术
多光谱成像技术是新一代光电探测技术，兴起于20世纪80年代，90年代后形成研发热潮，至今仍在迅速发展之中。多光谱成像技术不同于传统的单一宽波段成像技术，而是将成像技术和光谱测量技术相结合，获取的信息不仅包括二维空间信息，还包含随波长分布的光谱辐射信息。丰富的目标光谱信息结合目标空间影像极大提高了目标探测的准确性、扩展了传统探测技术的功能。该技术已广泛应用于陆地海洋地理遥感，大气、土壤和水体的污染物遥感监测，医疗光谱成像诊断，军事目标侦查探测等多个军事和民用领域。
单像素成像技术是一种新兴的成像技术，其利用二维空间编码图样对探测目标进行调制，然后利用单像素检测器来测量平均光强，最后根据探测光强和编码图样重建所探测目标。单像素成像为多光谱成像提供了一种新的技术途径，利用多个单像素探测器分别探测不同波段的光波，可以获取多光谱图像。
单像素成像的重建算法主要是基于压缩感知的重建算法；压缩感知重建算法利用信号的稀疏性对图像重构问题进行约束，常用的方法主要有以OMP算法、StOMP算法、Regularized OMP算法以及CoSaMP算法为代表的贪婪算法和以内点法、梯度投影算法、迭代阈值法、Bregman迭代法和交替方向法为代表的基于l1范数的凸优化算法。尽管目前对压缩感知重建算法进行了大量的研究，但基于压缩感知的图像重建的主要问题是算法复杂度高，需要大量的迭代运算，重建时间较长，且对采样率要求较高。
针对多光谱单像素成像，本项目组于2016年在Optical Engineering期刊中发表的“Color single-pixel imaging based on multiple measurement vectors model”中提出了联合多维观测向量的重构算法，利用多光谱图像多波段结构特性来提髙成像质量，但本质上还是基于压缩感知的图像重构算法，重建质量仍有待提升。
发明内容
根据上述提出基于压缩感知的图像重建的算法复杂度高，需要大量的迭代运算，重建时间较长，且对采样率要求较高的技术问题，而提供一种多光谱单像素成像的深度学习图像重构方法。本发明主要利用压缩测量目标场景获得采样信号，使用深度神经网络对采样信号进行处理，重建图像。该方法采样率低，重建时间短，重建质量好。
本发明采用的技术手段如下：
一种多光谱单像素成像的深度学习图像重构方法，包括测量过程和重构过程，所述测量过程步骤如下：
步骤S1：利用编码图案对目标场景进行编码；假设多光谱图像X大小为N×N，颜色通道个数为C，采样率为p，则采样次数为M＝p*N2，根据压缩感知理论，得到C个大小为M×1的测量向量Yc，多光谱单像素成像的正向模型表示为：
Yc＝ΦXc(c＝1，…，C) (1)
式中，表示不同波段通过压缩测量获得的测量值，表示单个颜色通道图像，c表示第c个通道，是测量矩阵；
步骤S2：利用多光谱探测器记录不同波长对应的光强；单像素成像可采用两种方式：主动式成像或被动式成像；
主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体，而后利用探测器记录相应光强；
被动式成像通过成像镜头将物体成像在空间光调制器，而后通过探测器记录相应光强；
上述过程中，所述空间光调制器通过加载预定的编码图案实现对景物的编码；
步骤S3：在物理方式实现多光谱单像素探测后，再从所有的探测信号Yc中重构出信号X实现图像重构的过程；
所述实现图像重构的过程如下：
步骤1：建立样本数据；
步骤2：训练深度神经网络，深度神经网络由线性映射网络和卷积神经网络组成；
步骤3：将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′，大小为CM×1，线性映射网络以Y′为输入数据初步对数据进行线性处理；
步骤4：将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理，重建得到待观测图像X。
进一步地，所述步骤1建立样本数据的具体过程如下：
步骤101：选用数据集中的部分多光谱图像，对其进行缩放处理保证图像具有相同分辨率；
步骤102：将上述进行缩放处理后的图像按照一定的比例建立训练图像数据集和验证图像数据集I1和I2分别是训练集和验证集中样本数量；
步骤103：将上述训练图像数据集和验证图像数据集依照公式(1)进行模拟多光谱单像素压缩测量，即根据上述模拟结果分别形成训练样本数据集和验证样本数据集
进一步地，所述步骤2中的训练深度神经网络的过程如下：
步骤201：设定误差损失函数为:
式中，表示训练图像数据集中第i个多光谱数据中的c通道图像，Yc (i)，train表示第i个多光谱数据中的c通道图像对应的压缩测量值，Γ(·；θ)为所建立的深度神经网络，θ为待训练网络参数；
步骤202：将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数θ；
步骤203：通过反复对深度神经网络参数进行迭代优化，观察训练样本和验证样本的误差损失函数结果，直到能够满足系统的精度为止，保存深度神经网络模型，并对模型进行测试。
进一步地，所述深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层，第一扩张卷积层(扩张因子为1)加激活层、第二扩张卷积层(扩张因子为2)加批量归一化层加激活层、第三扩张卷积层(扩张因子为3)加批量归一化层加激活层、第四扩张卷积层(扩张因子为4)加批量归一化层加激活层、第五扩张卷积层(扩张因子为3)加批量归一化层加激活层、第六扩张卷积层(扩张因子为2)加批量归一化层加激活层、第七扩张卷积层(扩张因子为1)。
进一步地，所述的多光谱探测器可采用两种方式实现对每个波长仅采用一个单像素探测器：
方式1：在单像素光电探测器前端增加滤光片，实现对不同波长的探测；
方式2：通过光栅等分光元件进行光谱分光，将不同波长光波投影到CCD探测器上。
进一步地，所述测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。
较现有技术相比，本发明具有以下优点：
1、本发明提供的多光谱单像素成像的深度学习图像重构方法，首先压缩测量目标场景获得采样信号，通过使用深度神经网络对采样信号进行处理，重建图像。该方法采样率低，重建时间短，重建质量好等优点。
2、为了验证模型对实际多光谱单像素采集数据的处理结果，组建了实验系统，所用的数字光投影仪为TI公司LightCrafter 4500，其内部可加载编码图案进行投影，实验中加载编码图案为深度神经网络训练中所采用的编码图案；所用的单像素探测器为滨松公司的光电倍增管，为实现多光谱测量，在光电倍增管前段放置不同波长的滤光片。
基于上述理由本发明可在单像素成像技术和深度学习等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明深度神经网络结构图。
图2为本发明实施例中随机高斯测量矩阵。
图3为本发明实施例训练网络损失函数曲线。
图4为本发明实施例深度神经网络训练中原始图像与重构结果对比图。
图5为本发明实施例采集数据试验系统示意图。
图6为本发明实施例实际实验测试结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例
本实施例中以三个波长的多光谱单像素成像为例，说明本发明基于深度学习的多光谱单像素成像图像重构方法。
本发明提供了一种多光谱单像素成像的深度学习图像重构方法，该网络的输入是多光谱单像素压缩测量数据，测量过程步骤如下：
步骤S1：利用编码图案对目标场景进行编码；假设多光谱图像X大小为N×N，颜色通道个数为C，采样率为p，则采样次数为M＝p*N2，根据压缩感知理论，得到C个大小为M×1的测量向量Yc，多光谱单像素成像的正向模型表示为：
Yc＝ΦXc(c＝1，…，C) (1)
式中，表示不同波段通过压缩测量获得的测量值，表示单个颜色通道图像，c表示第c个通道，是测量矩阵；测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。
步骤S2：利用多光谱探测器记录不同波长对应的光强；单像素成像可采用两种方式：主动式成像或被动式成像；
主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体，而后利用探测器记录相应光强；
被动式成像通过成像镜头将物体成像在空间光调制器，而后通过探测器记录相应光强；
上述过程中，所述空间光调制器通过加载预定的编码图案实现对景物的编码；
多光谱探测器可采用两种方式实现对每个波长仅采用一个单像素探测器：
方式1：在单像素光电探测器前端增加滤光片，实现对不同波长的探测；
方式2：通过光栅等分光元件进行光谱分光，将不同波长光波投影到CCD探测器上。
步骤S3：在物理方式实现多光谱单像素探测后，再从所有的探测信号Yc中重构出信号X实现图像重构的过程；
如图1所示，深度神经网络采用了线性映射网络和卷积神经网络，深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层，第一扩张卷积层(扩张因子为1)加激活层、第二扩张卷积层(扩张因子为2)加批量归一化层加激活层、第三扩张卷积层(扩张因子为3)加批量归一化层加激活层、第四扩张卷积层(扩张因子为4)加批量归一化层加激活层、第五扩张卷积层(扩张因子为3)加批量归一化层加激活层、第六扩张卷积层(扩张因子为2)加批量归一化层加激活层、第七扩张卷积层(扩张因子为1)。
在本具体实施例中，使用的图像大小为128x128，颜色通道数为3，采样率为10％，各层网络所用参数如表1所示：
表1多光谱单像素成像的深度学习图像重构网络参数列表
| 层 | 输出图像大小 | 输出通道数 | 卷积核尺寸 | 步长 | 扩张因于 |
| 输入层 | 4914x1 | 1 | - | - | - |
| 卷积层 | 3x1 | 16384 | 1638x1 | (1638，1) | - |
| Sub-pixel卷积层 | 384x128 | 1 | - | - | - |
| Reshape层 | 128x128 | 3 | - | - | - |
| 第一扩张卷积层 | 128x128 | 96 | 3x3 | (1，1) | 1 |
| 第二扩张卷积层 | 128x128 | 96 | 3x3 | (1，1) | 2 |
| 第三扩张卷积层 | 128x128 | 96 | 3x3 | (1，1)) | 3 |
| 第四扩张卷积层 | 128x128 | 96 | 3x3 | (1，1) | 4 |
| 第五扩张卷积层 | 128x128 | 96 | 3x3 | (1，1) | 3 |
| 第六扩张卷积层 | 128x128 | 96 | 3x3 | (1，1) | 2 |
| 第七扩张卷积层 | 128x128 | 3 | 3x3 | (1，1) | 1 |
| 输出层 | 128x128 | 3 | - | - | - |
本实施例中使用了随机高斯型测量矩阵，如图2所示，给出三个随机高斯测量图案，其他满足RIP条件的压缩感知测量矩阵也可按照相同原理应用。
实现图像重构的过程如下：
步骤1：建立样本数据；
步骤101：选用ImageNet数据集中40000张多光谱图像，将这些图像缩放到大小为128x128；
步骤102：将上述进行缩放处理后的图像按照9∶1的比例建立训练图像数据集和验证图像数据集I1和I2分别是训练集和验证集中样本数量；
步骤103：将上述训练图像数据集和验证图像数据集依照公式(1)进行模拟多光谱单像素压缩测量，即根据上述模拟结果分别形成训练样本数据集和验证样本数据集
步骤2：训练深度神经网络，深度神经网络由线性映射网络和卷积神经网络组成；
步骤201：设定误差损失函数为：
式中，表示训练图像数据集中第i个多光谱数据中的c通道图像，Yc (i),train表示第i个多光谱数据中的c通道图像对应的压缩测量值，Γ(·；θ)为所建立的深度神经网络，θ为待训练网络参数；
步骤202：将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数θ；
步骤203：通过反复对深度神经网络参数进行迭代优化，观察训练样本和验证样本的误差损失函数结果，直到能够满足系统的精度为止，保存深度神经网络模型，并对模型进行测试。
步骤3：将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′，大小为CM×1，线性映射网络以Y′为输入数据初步对数据进行线性处理；
步骤4：将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理，重建得到待观测图像X。
为了验证本发明的重构能力，在此展示损失函数曲线及验证结果。训练损失函数曲线如图3所示。真实图像与验证结果如图4所示(因附图需为黑白图，故将每个通道分开展示)。
为了验证模型对实际多光谱单像素采集数据的处理结果，组建了多光谱单像素成像实验系统，系统示意图如图5所示。所用的数字光投影仪为TI公司LightCrafter 4500，其内部可加载编码图案进行投影，实验中加载编码图案为深度学习训练中所采用的编码图案；所用的单像素探测器为滨松公司的光电倍增管，为实现多光谱测量，在光电倍增管前段放置不同波长的滤光片。
多光谱单像素成像实验系统的工作过程如下：利用数字光投影仪将编码图案依次照射目标场景，与此同时，三个单谱段探测的单像素探测器同步探测场景反射光在红、绿、蓝波段的强度，并将光强信号通过模数转换器传输至计算机。计算机通过光强信号的重构，最终获得场景的多光谱图像。如图2所示，系统采集数据作为网络的输入，测试训练好的模型，选用的目标场景是背景为黑色，字母为多光谱的字母图，测试结果如图6所示(因附图需为黑白图，故将每个通道分开展示)。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (5)
1.一种多光谱单像素成像的深度学习图像重构方法，包括测量过程和重构过程，所述测量过程步骤如下：
步骤S1：利用编码图案对目标场景进行编码；假设多光谱图像X大小为N×N，颜色通道个数为C，采样率为p，则采样次数为M＝p*N2，根据压缩感知理论，得到C个大小为M×1的测量向量Yc，多光谱单像素成像的正向模型表示为：
Yc＝ΦXc(c＝1，...，C) (1)
式中，表示不同波段通过压缩测量获得的测量值，表示单个颜色通道图像，c表示第c个通道，是测量矩阵；
步骤S2：利用多光谱探测器记录不同波长对应的光强；单像素成像可采用两种方式：主动式成像或被动式成像；
主动式成像利用复色光源经过空间光调制器编码后通过投影镜头照射物体，而后利用探测器记录相应光强；
被动式成像通过成像镜头将物体成像在空间光调制器，而后通过探测器记录相应光强；
上述过程中，所述空间光调制器通过加载预定的编码图案实现对景物的编码；
步骤S3：在物理方式实现多光谱单像素探测后，再从所有的探测信号Yc中重构出信号X实现图像重构的过程；
其特征在于，所述实现图像重构的过程如下：
步骤1：建立样本数据；
步骤2：训练深度神经网络，深度神经网络由线性映射网络和卷积神经网络组成；
步骤3：将式(1)中C个测量向量按列拼接在一起形成一个新的矩阵Y′，大小为CM×1，线性映射网络以Y′为输入数据初步对数据进行线性处理；
步骤4：将线性处理结果经过训练后的深度神经网络进行通道间的信息融合处理，重建得到待观测图像X。
2.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法，其特征在于，所述步骤1建立样本数据的具体过程如下：
步骤101：选用数据集中的部分多光谱图像(通道数为C)，对其进行缩放处理保证图像具有相同分辨率；
步骤102：将上述进行缩放处理后的图像按照一定的比例建立训练图像数据集和验证图像数据集I1和I2分别是训练集和验证集中样本数量；
步骤103：将上述训练图像数据集和验证图像数据集依照公式(1)进行模拟多光谱单像素压缩测量，即根据上述模拟结果分别形成训练样本数据集和验证样本数据集
3.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法，其特征在于，所述步骤2中的训练深度神经网络的过程如下：
步骤201：设定误差损失函数为:
式中，表示训练图像数据集中第i个多光谱数据中的c通道图像，表示第i个多光谱数据中的c通道图像对应的压缩测量值，Γ(·；θ)为所建立的深度神经网络，θ为待训练网络参数；
步骤202：将所述损失函数根据链式求导法则，由后向前逐层求导，然后采用随机梯度下降方法更新深度神经网络参数θ；
步骤203：通过反复对深度神经网络参数进行迭代优化，观察训练样本和验证样本的误差损失函数结果，直到能够满足系统的精度为止，保存深度神经网络模型，并对模型进行测试。
4.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法，其特征在于，所述深度神经网络的连接顺序依次为卷积层加批量归一化层、Sub-pixel卷积层、Reshape层，第一扩张卷积层(扩张因子为1)加激活层、第二扩张卷积层(扩张因子为2)加批量归一化层加激活层、第三扩张卷积层(扩张因子为3)加批量归一化层加激活层、第四扩张卷积层(扩张因子为4)加批量归一化层加激活层、第五扩张卷积层(扩张因子为3)加批量归一化层加激活层、第六扩张卷积层(扩张因子为2)加批量归一化层加激活层、第七扩张卷积层(扩张因子为1)。
5.根据权利要求1所述的多光谱单像素成像的深度学习图像重构方法，其特征在于，所述测量矩阵包括随机高斯矩阵、随机伯努利矩阵、部分哈达玛矩阵、部分傅里叶矩阵以及稀疏随机测量矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910447672.XA CN110175971B (zh) | 2019-05-27 | 2019-05-27 | 一种多光谱单像素成像的深度学习图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910447672.XA CN110175971B (zh) | 2019-05-27 | 2019-05-27 | 一种多光谱单像素成像的深度学习图像重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110175971A true CN110175971A (zh) | 2019-08-27 |
| CN110175971B CN110175971B (zh) | 2022-09-16 |
Family
ID=67696293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910447672.XA Active CN110175971B (zh) | 2019-05-27 | 2019-05-27 | 一种多光谱单像素成像的深度学习图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110175971B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751700A (zh) * | 2019-10-17 | 2020-02-04 | 南昌大学 | 用于单像素成像的采样和重建集成深度学习网络及其训练方法 |
| CN111047681A (zh) * | 2019-11-07 | 2020-04-21 | 北京理工大学 | 基于深度学习的单像素三维端到端重建方法及装置 |
| CN111340183A (zh) * | 2020-02-12 | 2020-06-26 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
| CN111551252A (zh) * | 2020-04-24 | 2020-08-18 | 浙江大学 | 一种基于神经网络的光谱响应设计方法 |
| CN111697974A (zh) * | 2020-06-19 | 2020-09-22 | 广东工业大学 | 一种压缩感知重构方法及装置 |
| CN112200264A (zh) * | 2020-10-26 | 2021-01-08 | 北京理工大学 | 基于散射复用的高通量免成像分类方法与装置 |
| CN112257773A (zh) * | 2020-10-19 | 2021-01-22 | 重庆邮电大学 | 基于无线传感器网络多测量向量的机械装备故障诊断方法 |
| CN112683787A (zh) * | 2019-10-17 | 2021-04-20 | 神讯电脑(昆山)有限公司 | 物件表面检测系统及其基于人工神经网络的检测方法 |
| CN112881308A (zh) * | 2021-01-22 | 2021-06-01 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
| CN112950507A (zh) * | 2021-03-08 | 2021-06-11 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN113048907A (zh) * | 2021-02-08 | 2021-06-29 | 浙江大学 | 一种基于宏像素分割的单像素多光谱成像方法及装置 |
| CN113325648A (zh) * | 2021-07-07 | 2021-08-31 | 台州安奇灵智能科技有限公司 | 一种基于宾主液晶可调滤光片的光谱成像系统 |
| CN113595941A (zh) * | 2021-07-08 | 2021-11-02 | 武汉大学 | 深度学习的压缩感知大规模mimo信道估计方法及系统 |
| CN113820012A (zh) * | 2020-06-19 | 2021-12-21 | 华为技术有限公司 | 一种多光谱图像处理方法及装置 |
| CN113920297A (zh) * | 2021-12-14 | 2022-01-11 | 南京理工大学 | 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 |
| WO2022148423A1 (zh) * | 2021-01-08 | 2022-07-14 | 清华大学 | 运动物体检测方法和装置 |
| CN115290004A (zh) * | 2022-10-08 | 2022-11-04 | 南京理工大学 | 一种基于压缩感知与hsi的水下并行单像素成像方法 |
| WO2023045116A1 (zh) * | 2021-09-26 | 2023-03-30 | 深圳先进技术研究院 | 图像构建方法 |
| CN116164841A (zh) * | 2023-04-26 | 2023-05-26 | 中国科学院长春光学精密机械与物理研究所 | 基于计算增强型像元分光光谱成像芯片的光谱重构方法 |
| CN117876837A (zh) * | 2024-03-11 | 2024-04-12 | 北京理工大学 | 基于深度展开网络的近红外单像素成像方法及系统 |
| CN117876837B (zh) * | 2024-03-11 | 2024-06-07 | 北京理工大学 | 基于深度展开网络的近红外单像素成像方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016015516A1 (zh) * | 2014-07-29 | 2016-02-04 | 暨南大学 | 一种使用单像素探测器的光学成像方法 |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN107084789A (zh) * | 2017-04-01 | 2017-08-22 | 上海理工大学 | 基于稀疏先验的单像素探测器光谱反射率重构方法 |
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
-
2019
- 2019-05-27 CN CN201910447672.XA patent/CN110175971B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016015516A1 (zh) * | 2014-07-29 | 2016-02-04 | 暨南大学 | 一种使用单像素探测器的光学成像方法 |
| WO2017215284A1 (zh) * | 2016-06-14 | 2017-12-21 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
| CN106997581A (zh) * | 2017-03-01 | 2017-08-01 | 杭州电子科技大学 | 一种利用深度学习重建高光谱图像的方法 |
| CN107084789A (zh) * | 2017-04-01 | 2017-08-22 | 上海理工大学 | 基于稀疏先验的单像素探测器光谱反射率重构方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李一松: "基于卷积神经网络的多光谱图像多标签场景分类", 《电子设计工程》 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112683787A (zh) * | 2019-10-17 | 2021-04-20 | 神讯电脑(昆山)有限公司 | 物件表面检测系统及其基于人工神经网络的检测方法 |
| CN110751700B (zh) * | 2019-10-17 | 2022-09-06 | 南昌大学 | 用于单像素成像的采样和重建集成深度学习网络的训练方法 |
| CN110751700A (zh) * | 2019-10-17 | 2020-02-04 | 南昌大学 | 用于单像素成像的采样和重建集成深度学习网络及其训练方法 |
| CN111047681A (zh) * | 2019-11-07 | 2020-04-21 | 北京理工大学 | 基于深度学习的单像素三维端到端重建方法及装置 |
| CN111047681B (zh) * | 2019-11-07 | 2022-03-22 | 北京理工大学 | 基于深度学习的单像素三维端到端重建方法及装置 |
| CN111340183A (zh) * | 2020-02-12 | 2020-06-26 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
| CN111340183B (zh) * | 2020-02-12 | 2022-08-16 | 南京理工大学 | 基于深度学习的散射成像装置和方法 |
| CN111551252B (zh) * | 2020-04-24 | 2021-08-17 | 浙江大学 | 一种基于神经网络的光谱响应设计方法 |
| CN111551252A (zh) * | 2020-04-24 | 2020-08-18 | 浙江大学 | 一种基于神经网络的光谱响应设计方法 |
| CN113820012A (zh) * | 2020-06-19 | 2021-12-21 | 华为技术有限公司 | 一种多光谱图像处理方法及装置 |
| CN111697974A (zh) * | 2020-06-19 | 2020-09-22 | 广东工业大学 | 一种压缩感知重构方法及装置 |
| CN111697974B (zh) * | 2020-06-19 | 2021-04-16 | 广东工业大学 | 一种压缩感知重构方法及装置 |
| CN112257773B (zh) * | 2020-10-19 | 2022-06-10 | 重庆邮电大学 | 基于无线传感器网络多测量向量的机械装备故障诊断方法 |
| CN112257773A (zh) * | 2020-10-19 | 2021-01-22 | 重庆邮电大学 | 基于无线传感器网络多测量向量的机械装备故障诊断方法 |
| CN112200264B (zh) * | 2020-10-26 | 2023-08-15 | 北京理工大学 | 基于散射复用的高通量免成像分类方法与装置 |
| CN112200264A (zh) * | 2020-10-26 | 2021-01-08 | 北京理工大学 | 基于散射复用的高通量免成像分类方法与装置 |
| WO2022148423A1 (zh) * | 2021-01-08 | 2022-07-14 | 清华大学 | 运动物体检测方法和装置 |
| CN112881308A (zh) * | 2021-01-22 | 2021-06-01 | 浙江大学 | 一种基于宽光谱编码和深度学习的光谱相机 |
| CN113048907B (zh) * | 2021-02-08 | 2022-04-22 | 浙江大学 | 一种基于宏像素分割的单像素多光谱成像方法及装置 |
| CN113048907A (zh) * | 2021-02-08 | 2021-06-29 | 浙江大学 | 一种基于宏像素分割的单像素多光谱成像方法及装置 |
| CN112950507B (zh) * | 2021-03-08 | 2023-02-10 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN112950507A (zh) * | 2021-03-08 | 2021-06-11 | 四川大学 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
| CN113325648A (zh) * | 2021-07-07 | 2021-08-31 | 台州安奇灵智能科技有限公司 | 一种基于宾主液晶可调滤光片的光谱成像系统 |
| CN113595941A (zh) * | 2021-07-08 | 2021-11-02 | 武汉大学 | 深度学习的压缩感知大规模mimo信道估计方法及系统 |
| WO2023045116A1 (zh) * | 2021-09-26 | 2023-03-30 | 深圳先进技术研究院 | 图像构建方法 |
| CN113920297A (zh) * | 2021-12-14 | 2022-01-11 | 南京理工大学 | 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 |
| CN113920297B (zh) * | 2021-12-14 | 2022-03-18 | 南京理工大学 | 基于物理驱动的神经网络透过散射介质的彩色泛化成像方法 |
| CN115290004B (zh) * | 2022-10-08 | 2023-02-28 | 南京理工大学 | 一种基于压缩感知与hsi的水下并行单像素成像方法 |
| CN115290004A (zh) * | 2022-10-08 | 2022-11-04 | 南京理工大学 | 一种基于压缩感知与hsi的水下并行单像素成像方法 |
| CN116164841A (zh) * | 2023-04-26 | 2023-05-26 | 中国科学院长春光学精密机械与物理研究所 | 基于计算增强型像元分光光谱成像芯片的光谱重构方法 |
| CN116164841B (zh) * | 2023-04-26 | 2023-07-07 | 中国科学院长春光学精密机械与物理研究所 | 基于计算增强型像元分光光谱成像芯片的光谱重构方法 |
| CN117876837A (zh) * | 2024-03-11 | 2024-04-12 | 北京理工大学 | 基于深度展开网络的近红外单像素成像方法及系统 |
| CN117876837B (zh) * | 2024-03-11 | 2024-06-07 | 北京理工大学 | 基于深度展开网络的近红外单像素成像方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110175971B (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175971A (zh) | 一种多光谱单像素成像的深度学习图像重构方法 | |
| CN104154998B (zh) | 一种基于压缩感知的计算多光谱成像图谱的重构方法 | |
| CN204788661U (zh) | 基于压缩感知的计算多光谱成像系统 | |
| US9900562B2 (en) | System and method for light-field imaging | |
| CN111047681B (zh) | 基于深度学习的单像素三维端到端重建方法及装置 | |
| CN107451956B (zh) | 一种编码孔径光谱成像系统的重构方法 | |
| CN104168429B (zh) | 一种多孔径分波段高分辨率成像装置及其成像方法 | |
| CN107726990B (zh) | 一种金属板料成形应变测量中点阵网格图像采集与识别方法 | |
| Tao et al. | Hyperspectral image recovery based on fusion of coded aperture snapshot spectral imaging and RGB images by guided filtering | |
| CN110443865B (zh) | 基于rgb相机和深度神经网络的多光谱成像方法和装置 | |
| Howard et al. | Hyperspectral compressive wavefront sensing | |
| CN108646538A (zh) | 一种单次曝光复振幅物体全息重建方法、设备及系统 | |
| CN112489200B (zh) | 一种火焰光谱的三维重建装置和方法 | |
| CN112200264B (zh) | 基于散射复用的高通量免成像分类方法与装置 | |
| CN109253997A (zh) | 一种基于频率调制和空间编码的拉曼断层成像系统 | |
| CN109557070A (zh) | 一种基于空间编码光的拉曼成像系统 | |
| Shihabudeen et al. | Deep learning L2 norm fusion for infrared & visible images | |
| CN107563991A (zh) | 零件表面断裂激光光条的提取与匹配方法 | |
| Beerappa et al. | Deep Learning Assisted Distorted Born Iterative Method for Solving Electromagnetic Inverse Scattering Problems | |
| CN108801457B (zh) | 基于编码采样板设计以及二次能量约束校正的三维图谱获取及重建方法 | |
| Ma et al. | Conveyor x-ray tomosynthesis imaging with optimized structured sequential illumination | |
| CN108460777A (zh) | 一种面向植物高光谱的提取分块压缩重构方法 | |
| CN107895063A (zh) | 一种压缩高光谱掩膜优化方法 | |
| Sawyer et al. | Towards a simulation framework to maximize the resolution of biomedical hyperspectral imaging | |
| CN103969659B (zh) | 基于压缩感知的天体光谱图像成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |