CN112950507B - 基于深度学习提高散射环境下单像素彩色成像性能的方法 - Google Patents
基于深度学习提高散射环境下单像素彩色成像性能的方法 Download PDFInfo
- Publication number
- CN112950507B CN112950507B CN202110250815.5A CN202110250815A CN112950507B CN 112950507 B CN112950507 B CN 112950507B CN 202110250815 A CN202110250815 A CN 202110250815A CN 112950507 B CN112950507 B CN 112950507B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- pixel
- imaging
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000012937 correction Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 19
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 abstract description 3
- 229910052710 silicon Inorganic materials 0.000 abstract description 3
- 239000010703 silicon Substances 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 14
- 239000000523 sample Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种基于深度学习提高散射环境下单像素彩色成像性能的方法，该方法包括以下步骤：1)构建散射环境下单像素彩色成像图像训练样本对；2)搭建基于深度学习的色彩校正与去噪模型；3)对所述模型进行参数调节及优化，训练所述模型并对其进行测试。在实际成像中，散射介质的存在会为测量信号引入较强的噪声，并且硅光电池对不同波长光的响应程度的不同，必然会使成像图像在颜色产生严重的失真。但本方法可依据深度学习强大的拟合能力解决这一难题，使成像物体不再只是简单的数字或者字母，而是细节更加丰富的彩色图像。
Description
技术领域
本发明属于单像素成像领域，具体设计一种基于深度学习提高散射环境下单像素彩色成像性能的方法。
背景技术
传统的光学成像都是在无散射或者弱散射条件下对物体进行的，在强散射条件下，这些传统成像技术将无法使用。因此，如何在散射环境下得到良好的成像效果一直以来都是人们关注的重要问题。
单像素成像属于计算成像方法，其中鬼成像技术是一种重要的单像素成像方式。不同于普通光学成像中直接采集图像各个像素的强度空间分布，单像素探测器采集到是图像经过编码后在时间上生成的一维信号，对这组一维信号根据算法进行解码才能重建目标图像。
一些研究从理论和实验上已经证明，在物体和光检测器之间引入散射介质也不会使所单像素成像的工作原理无效，但散射介质的存在还是在一定程度上给测量信号添加了噪声。
目前，利用鬼成像技术已实现了彩色成像。这些方法主要分为两类，一类是在三个或多个光谱上分别进行灰度成像，再通过彩色合成的方式实现彩色成像；另一类是用一个单像素探测器采集到的三种或多种颜色的光信号，但通过特殊的编码以及信号校正使得不同颜色的光信号能够以特殊的方式分开。
显然，上诉两类单像素彩色成像方法都需要以某种方式估计各色光信号对总光信号的贡献，才能较好地还原图像的色彩，否则无疑会使图像产生严重的颜色失真。
值得指出的是，由于单像素成像方式所得到的像是较为模糊的，因此该方法通常只能应用于对字母、数字类的简单物体成像；如果再加上因存在散射介质引入的散射噪声，以及彩色单像素成像引入的颜色失真，将会使散射环境下单像素彩色成像技术的成像效果非常差。
真实环境下，目标一般为彩色物体且存在各种散射噪声，如何提高散射环境下单像素彩色成像性能具有广阔的应用前景。
发明内容
有鉴于此，本发明的目的在于提出一种基于深度学习提高散射环境下单像素彩色成像性能的方法，仅用一个单像素探测器同时接收红绿蓝三基色信号，并最终实现高质量彩色成像；该方法利用深度学习强大的非线性拟合能力，不仅提高了散射环境下单像素彩色成像技术的成像质量，还在一定程度上实现了对复杂物体成像。
本发明采用的技术方案主要包括以下步骤：A、构建散射环境下单像素彩色成像重建的杂乱彩色图像与原始彩色图像的训练样本对，并组成训练数据集；B、搭建基于深度学习的色彩校正与去噪的生成对抗网络模型；C、对所述生成对抗网络模型根据损失函数进行参数调节及优化，利用步骤A中所构建训练样本对训练所述生成对抗网络模型，并对其进行测试。
步骤A包括以下步骤：
对于散射环境下单像素彩色成像技术而言，引入散射介质等效于在测量信号序列上加上噪声，因此在数学模型上不用考虑散射介质对单像成像算法的影响。
但由于探测器对不同波长、不同强度光的响应能力有所差异，在只使用一个单像素探测器对信号光进行探测时，所探测到的测量序列应为：
L＝(Sr Sg Sb)K(Or Og Ob)T＝SKO； (1)
其中“T”表示转置，K是一个对角矩阵，其对角元素表示对应测量的探测响应能力，Sr、Sg和Sb分别表示对图像红、绿和蓝色波段的测量矩阵；S,O是一种简便表示。
由(1)式可知，对于彩色单像素成像而言，如将图像信号视为一个很长的一维向量，可依据灰度单像素成像构建测量矩阵的方式，构造彩色单像素成像的测量矩阵。
如果将测量序列L和测量矩阵S直接以单像素成像方式进行恢复，所得到的信息应表示为KO；这意味着此时恢复的图像，会因K中的元素取值不准确而产生三基色分量相互干扰现象，表现为颜色失真和噪声的形式。
本方法在实验中仍然还是先直接用测量序列L和测量矩阵S，以单像素成像的方法重构出一幅带有颜色失真和噪声的图像；并针对多个不同的成像物体原始图像，采用这种方式得到与其相应的多个带有颜色失真和噪声的图像。
然后将这些成像物体原始图像及与其相应的单像素成像杂乱彩色图像，构造出多个训练样本对，并组成训练数据集。
步骤B的具体操作如下：
构建生成器模型：以单像素彩色成像图像作为输入，紧接着输入层是3个卷积层和1个非线性激活层用以获取图像的抽象特征；再通过10个残差稠密块捕捉图像的语义信息，并且达到去除噪声的效果，改善三基色分量相互干扰现象；然后通过具有3个卷积核的卷积层得到尺寸为原始大小的图像。
构建判别器模型：以生成器产生的图像和原始图像作为输入对，通过多个卷积层分别对原始图像和生成器产生图像进行特征提取，判别器会比较其对应的抽象的特征图之间的差异，以利于提高判别器分类的精度。
将卷积操作得到的特征图(特征张量)进行批量归一化的标准操作，将其放缩到合适范围以加快训练速度；并且在分类任务中，模型的参数要适应于来自生成器样本和原始样本的两种样本的分布，模型的参数会发生很大的调整，使用批量归一化可以使得每一层面对同一特征分布的输入值，减小参数变化带来的不确定性。
步骤C的具体操作如下：
为使生成器产生的图片有更好的视觉效果并且符合人眼的主观感受，本方法在感知函数中引入了内容损失和感知损失，用来计算由于三基色分量相互干扰所导致的初步彩色图像与原始彩色图像的差异程度，损失函数为
其中L1＝||F-G||1代表内容损失，Lp为感知损失，λ和η是用来平衡各个损失项的系数；
是原始生成对抗网络的损失函数。
具体地，对各个卷积层进行参数调节，选择合适的优化器训练模型，保存训练好的模型权重；载入训练好的模型权重，使用测试集对于模型进行测试。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：
图1为本发明提供的第一种实施例中所述散射环境下单像素彩色成像装置图。
图2为本发明提供的第一种实施例中所述彩色照明散斑示意图。
图3为本发明提供的第一种实施例中的待成像物体示意图。
图4为本发明提供的第一种实施例中散射环境下重建的单像素彩色成像图片示意图。
图5为本发明提供的第一种实施例中的生成式对抗网络模型示意图。
图6为本发明提供的第一种实施例中依据本方法所恢复的单像素彩色成像示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本实施例中散射环境下单像素彩色成像装置如图1所示，以毛玻璃作为强散射介质，以硅光电池作为单像素探测器，以数字投影仪作为调制光源，成像物体为分辨率大小为64*64*3像素的彩色照片。
显然，一幅64*64*3像素的彩色图片可描述为一个有12288个元素的三维矩阵，基于单像素探测的特性，可将其展开为一维列向量O＝(Or Og Ob),其中Or，Og和Ob中的元素分别表示彩色图各点对红、绿和蓝三种颜色光的反射率。
本实施例中以Hadamard矩阵为基础构建单像素彩色成像的测量矩阵，由于Hadamard矩阵的阶数必须为2的整数次幂；因此我们生成一个214*214大小的Hadamard正交矩阵，并任取其12288(64*64*3＝12288)列构成新的测量矩阵。
由于光强不能出现负值，将测量矩阵中每个元素都加上常数1以构建一个新的矩阵S。
第i幅彩色照明散斑是由测量矩阵S的第i行重新排列构成的，其示意图如图2所示。
较佳地，本方法直接用探测器测量序列L与测量矩阵重构图像，具体算法为
其中“‘T”表示转置。
在实际成像中，散射介质的存在会为测量信号L引入较强的噪声，并且硅光电池对不同波长光的响应程度不同，必然会使成像图像在颜色上产生严重的失真，但本方法可依据深度学习强大的拟合能力解决这一难题。
重复上述操作，将不同的成像物体原始图像与其对应的单像素彩色成像杂乱图像组成训练对，并逐渐扩充形成训练数据集。
本实施例中所使用的生成对抗网络如图5所示：
生成器以单像素彩色成像杂乱图像作为输入，紧接着输入层的是3个卷积层和1个非线性激活层，用以获取图像的抽象特征；再通过10个残差稠密块来捕捉图像的语义信息，并且达到去除噪声的效果；然后通过具有3个卷积核的卷积层得到尺寸为原始大小的图像。
判别器以生成器产生的初步图像和原始图像作为输入对，通过多个卷积层分别对原始图像和生成器产生图像进行特征提取，判别器会比较相应的抽象特征图之间的差异，这有利于提高判别器分类的精度。
对网络进行批量归一化，并以
为损失函数，其中L1＝||F-G||1代表内容损失，Lp为感知损失，λ和η是用来平衡各个损失项的系数；
是原始生成对抗网络的损失函数。
将训练数据集输入所述神经网络中，对网络进行训练，直到损失函数小于预先设定的的数值，则视为网络已训练好。
最后，针对要测量的待成像物体，先通过前述单像素彩色成像方法采集信息，并重构出带有颜色失真和噪声的图像，然后将这重构出的图像输入到训练好的生成对抗网络中，最终会输出经本方法矫正和提高后的彩色物体像，与原始物体几乎一样，成像效果如图6所示。
Claims (1)
1.基于深度学习提高散射环境下单像素彩色成像性能的方法，其特征在于仅用一个单像素探测器同时接收红绿蓝三基色信号，并最终实现高质量彩色成像，包括以下步骤：
A.构建散射环境下单像素彩色成像重建的杂乱彩色图像与原始彩色图像的训练样本对，组成训练数据集，具体过程如下：
步骤A-1：利用投影仪向待成像彩色图片投射不同的彩色照明散斑，用于采集反射光信号的单像素探测器位于散射介质后方；
步骤A-2：不需要考虑单像素探测器对各个波段光波的响应系数，直接用单像素恢复算法重建出杂乱的彩色图像，由于未考虑各波段的响应，该单像素彩色成像图像存在严重的三基色分量相互干扰现象，表现为颜色失真与噪声的形式；
步骤A-3：以原始彩色成像图片与步骤A-2中所得到的单像素彩色成像杂乱图像，组成训练样本对；不断重复以上两步，获得复数个训练样本对，组成训练数据集；
B.搭建基于深度学习的色彩校正与去噪的生成对抗网络模型，具体过程如下：
步骤B-1：构建生成器模型,以单像素彩色成像过程所得图像作为输入，然后通过3个卷积层和1个非线性激活层来获取该图像的抽象特征；再通过10个残差稠密块捕捉该图像的语义信息，并且达到去除噪声的效果，改善三基色分量相互干扰的现象；最后通过具有3个卷积核的卷积层得到尺寸为原始大小的图像；
步骤B-2：构建判别器模型，以生成器所产生的图像和原始图像作为输入对，通过多个卷积层分别对生成器产生图像和原始图像进行特征提取，比较其对应的抽象特征图之间的差异，从而提高判别器分类的精度；
C.对所述生成对抗网络模型根据损失函数进行参数调节及优化，利用步骤A中所构建训练样本对训练所述生成对抗网络模型，并对其进行测试，具体过程如下：
步骤C-1：构造损失函数
，即在感知函数中引入内容损失和感知损失，用来计算由于三基色分量相互干扰所导致的初步彩色图像与原始彩色图像的差异程度，使生成器产生的图片具有更好的视觉效果，符合人眼的主观感受；其中
代表内容损失，
为感知损失，
和
是用来平衡各个损失项的系数，
是原始生成对抗网络的损失函数；
步骤C-2：对各卷积层进行参数调节，选择合适的优化器训练模型，使损失函数趋于减小，保存训练好的模型权重；
步骤C-3：载入训练好的模型权重，使用测试集对模型进行测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250815.5A CN112950507B (zh) | 2021-03-08 | 2021-03-08 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250815.5A CN112950507B (zh) | 2021-03-08 | 2021-03-08 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950507A CN112950507A (zh) | 2021-06-11 |
| CN112950507B true CN112950507B (zh) | 2023-02-10 |
Family
ID=76230240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250815.5A Active CN112950507B (zh) | 2021-03-08 | 2021-03-08 | 基于深度学习提高散射环境下单像素彩色成像性能的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950507B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
| CN112164005A (zh) * | 2020-09-24 | 2021-01-01 | Oppo（重庆）智能科技有限公司 | 图像颜色校正方法、装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10985777B2 (en) * | 2016-12-09 | 2021-04-20 | William Marsh Rice University | Signal recovery via deep convolutional networks |
| CN109685072B (zh) * | 2018-12-22 | 2021-05-14 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
| CN110111271B (zh) * | 2019-04-24 | 2021-06-22 | 北京理工大学 | 一种基于侧抑制网络的单像素成像方法 |
| CN110425986B (zh) * | 2019-07-17 | 2020-10-16 | 北京理工大学 | 基于单像素传感器的三维计算成像方法及装置 |
| CN110490818B (zh) * | 2019-07-24 | 2022-03-25 | 西安理工大学 | 基于cgan的计算鬼成像重建恢复方法 |
-
2021
- 2021-03-08 CN CN202110250815.5A patent/CN112950507B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175971A (zh) * | 2019-05-27 | 2019-08-27 | 大连海事大学 | 一种多光谱单像素成像的深度学习图像重构方法 |
| CN112164005A (zh) * | 2020-09-24 | 2021-01-01 | Oppo（重庆）智能科技有限公司 | 图像颜色校正方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950507A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Underwater scene prior inspired deep underwater image and video enhancement | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| Chierchia et al. | A nonlocal structure tensor-based approach for multicomponent image recovery problems | |
| JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
| CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
| WO2021135074A1 (zh) | 一种快照型解色散模糊的高光谱成像方法 | |
| CN111882489A (zh) | 用于水下图像同时增强的超分辨率图形恢复方法 | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| CN111563562B (zh) | 基于卷积神经网络的单帧散射图像的彩色目标重建方法 | |
| WO2023086194A1 (en) | High dynamic range view synthesis from noisy raw images | |
| Parmar et al. | Spatio-spectral reconstruction of the multispectral datacube using sparse recovery | |
| Ueda et al. | Underwater image synthesis from RGB-D images and its application to deep underwater image restoration | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| Bai et al. | Penrose demosaicking | |
| CN112802145A (zh) | 一种基于深度学习的彩色计算鬼成像方法 | |
| Xu et al. | Remote-sensing image usability assessment based on ResNet by combining edge and texture maps | |
| CN116309178A (zh) | 一种基于自适应注意力机制网络的可见光图像去噪方法 | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| Ajith et al. | Dark Channel Prior based Single Image Dehazing of Daylight Captures | |
| CN112950507B (zh) | 基于深度学习提高散射环境下单像素彩色成像性能的方法 | |
| CN117011181A (zh) | 一种分类引导的无人机成像浓雾去除方法 | |
| Pan et al. | Deep panchromatic image guided residual interpolation for multispectral image demosaicking | |
| CN115564676A (zh) | 一种水下图像增强方法、系统及可读存储介质 | |
| CN116579959A (zh) | 用于高光谱图像的融合成像方法及装置 | |
| CN115601240A (zh) | 一种基于SwinTransformer的去马赛克重建彩色图像的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |