CN112950750B - 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 - Google Patents

基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 Download PDF

Info

Publication number
CN112950750B
CN112950750B CN202110291465.7A CN202110291465A CN112950750B CN 112950750 B CN112950750 B CN 112950750B CN 202110291465 A CN202110291465 A CN 202110291465A CN 112950750 B CN112950750 B CN 112950750B
Authority
CN
China
Prior art keywords
matrix
phi
image
lens
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110291465.7A
Other languages
English (en)
Other versions
CN112950750A (zh
Inventor
苏秀琴
刘牧原
郝伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202110291465.7A priority Critical patent/CN112950750B/zh
Publication of CN112950750A publication Critical patent/CN112950750A/zh
Application granted granted Critical
Publication of CN112950750B publication Critical patent/CN112950750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

为解决传统的无镜头相机图像重建方法对于噪声较为敏感、系统景深较低的技术问题，本发明提供了一种基于编码掩模与Learned‑TSVD算法的无镜头相机图像重建方法，使用编码掩模对光的传播过程进行编码，并利用编码掩模的可分离特性及TSVD算法将原始的大尺度系统测量矩阵转化为尺度较小的左、右两个系统测量矩阵；接下来构建神经网络训练对左、右系统测量矩阵循环训练，减小近似运算对最终结果产生的误差；最后通过TSVD算法与正则化算法重建图像。本发明使用经过学习的系统测量矩阵进行后续计算使整体重建过程抗噪声影响能力更强；用经过学习的系统测量矩阵可较好的重建其他距离处的场景图像，解决了其他重建算法景深较低的问题。

Description

基于编码掩模与Learned-TSVD算法的无镜头相机图像重建 方法
技术领域
本发明涉及成像技术领域，具体涉及一种基于编码掩模与Learned-TSVD算法的无镜头相机(即无镜头成像系统)拍摄的场景图像的重建方法。
背景技术
无镜头成像技术是一种采用空间光调制器、衍射光学器件、编码掩模等光学器件代替物理镜头，在满足厚度薄、重量轻、能耗低、成本低的约束条件之下实现光的测量和场景再现的新型成像技术。
无镜头编码掩模成像系统采集的图像为非聚焦图像，在采用特定的算法进行重建之前具有人眼不可分辨性质，故而在图像视频数据测量过程中可以有效保护其中包含的秘密内容，在对信息加密有需求场景有着非常广阔的应用前景。
目前，无镜头编码掩膜成像系统的图像重建多采用传统的矩阵优化重建算法，该矩阵优化重建算法对于同类型的病态矩阵求逆问题具有相同的缺点，系统测量矩阵中微小的扰动都会使得结果偏差较多，噪声对重建结果产生的影响很大。而最近新出现的基于卷积神经网络的无镜头编码掩膜成像系统的图像重建算法不仅需要大量的实验数据用于训练，对于距离的鲁棒性还很差，系统的景深很低，只能在系统环境几乎完全相同的情况下才能较好的重建图像。
发明内容
为解决传统的无镜头相机图像重建方法对于噪声较为敏感、系统景深较低的技术问题，本发明提供了一种基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法。
本发明的技术方案是：
基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特殊之处在于，包括以下步骤：
步骤一、搭建基于编码掩模的无镜头成像系统：
将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm，将编码掩模到用于显示标定训练图像的标定显示器之间的距离设定为设定距离；
所述的编码掩膜采用基于m序列的可分离编码掩模，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域；
步骤二、利用步骤一搭建的无镜头成像系统拍摄标定训练图像：
2.1)选取标定训练图像
选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像系统，使用2N个标定训练图像进行标定；
2.2)采集标定图像
2.2.1)通过设置在无镜头成像系统正前方的所述标定显示器，显示2.1)选取的标定训练图像，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；
2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；
2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像系统最终输出的测量值；
步骤三、求解无镜头成像系统的系统测量矩阵：
3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像系统进行建模，其中系统测量矩阵与场景及传感器测量图像的关系为：
Y＝ΦX+E； (式1)
其中：
X为输入图像；
Y为无镜头成像系统输出的测量值，由步骤2.3)得到；
E为无镜头成像系统的系统噪声；
Φ为无镜头成像系统的系统测量矩阵；
3.2)将系统测量矩阵Φ分解为ΦL,ΦR左右两个测量矩阵，暂不考虑系统噪声E的影响，仅对系统测量矩阵Φ进行优化，得到
3.3)通过TSVD对输入图像和输出图像进行分解计算，得到ΦL,ΦR：
ΦL＝[u1,u2…uN]H-1；
ΦR＝[v1,v2…vN]H-1；
步骤四、构建神经网络及初始值设定：
4.1)在tensorflow中编写神经网络以训练无镜头成像系统测量矩阵ΦL,ΦR；
4.2)将步骤三中求解得到的系统测量矩阵ΦL,ΦR输入神经网络作为优化学习过程的初始值；
步骤五、训练测量矩阵ΦL,ΦR，得到优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW：
5.1)将通过搭建的无镜头成像系统原理样机拍摄的传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；
5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW；
步骤六、利用L2正则化方法重建无镜头成像系统拍摄的场景图像：
使用L2正则化方法，得到重建图像
其中：
UL是包含ΦL左特征向量的正交矩阵；
ΣL是包含ΦL特征值的对角矩阵；
VL是包含ΦL右特征向量的正交矩阵；
UR是包含ΦR左特征向量的正交矩阵；
ΣR是包含ΦR特征值的对角矩阵；
VR是包含ΦR右特征向量的正交矩阵；
σL和σR分别为表示和/>对角线元素的向量；
τ是正则化参数；
Y是传感器测量图像。
进一步地，步骤一中所述的设定距离大于20cm，小于等于100cm。
进一步地，所述步骤2.2)应尽量在黑暗环境下进行。
进一步地，步骤3.3)计算ΦL,ΦR的具体方法为：
通过TSVD分解获得的测量值Y的近似值为
其中，uk与是TSVD分解后获得的近似项；
用近似值代替/>中的Y，可得：
对于可分离编码掩模，X的形式为：
其中，hk是大小为N×N的正交Hadamard矩阵的一列；
将v代入上式4中，可得：
进而可得：
对式5进行化简后得到：
uk≈ΦLhk
又因为uk＝[u1,u2…uN],hk＝[h1,h2…hN]
则可以得到：
[u1,u2…uN]＝ΦL[h1,h2…hN]＝ΦLH
则ΦL＝[u1,u2…uN]H-1；
同样地，令通过上述步骤可推导出ΦR：
ΦR＝[v1,v2…vN]H-1。
进一步地，步骤六具体为：
使用L2正则化方法，将重建图像的估计值表示为：
其中，
ΦL,ΦR分别为步骤五中经过学习得到的优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW
将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：
将ΦL,ΦR分别以TSVD表示为和/>其中UL是包含ΦL左特征向量的正交矩阵，ΣL是包含ΦL特征值的对角矩阵，VL是包含ΦL右特征向量的正交矩阵，UR是包含ΦR左特征向量的正交矩阵，ΣR是包含ΦR特征值的对角矩阵，VR是包含ΦR右特征向量的正交矩阵，则可将方程进一步化简为：
左右分别乘以和VR：
分别使用向量σL和σR表示和/>的对角项以简化方程，得到重建图像：
进一步地，步骤一中的编码掩膜采用8位m序列进行编码。
本发明的有益效果是：
1.本发明将无镜头成像技术图像重建算法中的经典矩阵优化求逆算法与深度学习方法有机结合，保留了传统算法稳定性的同时，通过深度学习算法优化系统测量矩阵，提高了重建图像的分辨率、信噪比、结构相似度，恢复了更多场景中的细节信息。
2.本发明在神经网络训练过程之前通过对编码掩模的可分离特性进行分析、处理，将待训练的系统测量矩阵的尺度大幅度降低，显著地降低了神经网络参数数量，使得算法计算时间大幅度减少。
3、本发明相对于传统方法，在求解得到初始系统测量矩阵后经过对于大量数据的学习后，得到了更为稳定、更为准确的系统测量矩阵。使用经过学习的系统测量矩阵进行后续的计算使得整体的重建过程抗噪声影响的能力更强，对原始图像的还原度更高，有效降低了重建图像中的噪声，丰富了图像细节。
4、本发明在实验过程中场景显示器与图像传感器的距离固定，基于在此距离下拍摄的大量数据集对应的传感器测量图像对系统测量矩阵进行优化，使用经过学习的系统测量矩阵可以较好的重建其他距离处的场景图像，有效的解决了其他重建算法景深较低的问题。
附图说明
图1为本发明的方法流程图。
图2为无镜头成像系统的组成示意图。
图3为无镜头成像实验中使用的无镜头成像系统原理样机的实物图。
图4为本发明所用到的神经网络结构示意图。
图5为无镜头成像系统的传感器采集图像和Learned-TSVD算法重建图像示意图。
具体实施方式
本发明的原理为：
使用编码掩模对光的传播过程进行编码，并利用编码掩模的可分离特性及TSVD算法将原始的大尺度系统测量矩阵转化为尺度较小的左、右两个系统测量矩阵。接下来构建神经网络训练无镜头成像系统的系统测量矩阵，通过对左、右系统测量矩阵循环训练的方式减小近似运算对最终结果产生的误差。系统测量矩阵训练完成后通过TSVD算法与正则化算法重建图像。
以下结合附图对本发明所提供的方法做进一步的说明：
如图1所示，本发明所提供的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，包括以下步骤：
步骤一、搭建基于编码掩模的无镜头成像系统：
如图2-3所示，将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm(本实施例为2mm处)，将编码掩模到标定显示器之间的距离设定为设定距离，设定距离应大于20cm，原则上不超过100cm(本实施例为30cm)，完成无镜头成像系统的搭建。
其中，本实施例中使用的CMOS传感器为5120×5120像素，其中单个像素单元尺寸为4.5μm×4.5μm，黑白模式，CMOS传感器的有效面积为23.04mm×23.04mm。
编码掩膜采用基于m序列的可分离编码掩模(本实施例采用8位m序列进行编码)，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域。
步骤二、利用步骤一搭建的无镜头成像系统拍摄标定训练图像：
2.1)选取标定训练图像
选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像系统，使用2N个标定训练图像进行标定；
2.2)采集标定图像
2.2.1)通过设置在无镜头成像系统正前方的标定显示器，显示2.1)选取的标定训练图像，其中标定显示器是指用于显示标定训练图像的显示器，在后续的步骤及拓展实验中，可以同样地使用标定显示器来显示其他训练集的图像作为场景图像或用实物代替标定显示器进行同样的实验，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；
2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；
2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像系统最终输出的测量值，以降低噪声影响。
需要注意的是，上述采集步骤2.2)应尽量在黑暗环境下进行，并关闭电灯以最大限度消除杂散光源及频闪的影响。
步骤三、求解无镜头成像系统的系统测量矩阵：
3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像系统进行建模，其中系统测量矩阵与场景及传感器测量图像的关系为：Y＝ΦX+E(式1)；其中：X为输入图像即原始场景；Y为无镜头成像系统中CMOS传感器阵列的输出图像即测量值，由步骤2.3)得到；E为无镜头成像系统的系统噪声；Φ为无镜头成像系统的系统测量矩阵；
3.2)由于步骤一搭建的无镜头成像系统使用的是可分离编码掩模，即(式1)中的场景X是可分的，即X＝(ab)T，其中a,b∈RN，RN为实数集，a,b为X分离得到的两个向量。因此可以将CMOS传感器阵列的输出图像表示为即这样，就可以将系统测量矩阵Φ分解为ΦL,ΦR左右两个测量矩阵，能够降低矩阵维度过高带来的计算量过大的困难；在后续的计算中，我们暂不考虑式2中系统噪声E的影响，仅对系统测量矩阵进行优化，因此式2可以简化为
3.3)通过TSVD对输入图像和输出图像进行分解计算，得到ΦL,ΦR，具体方法为：
通过TSVD分解获得的测量值Y的近似值为
其中，uk与是TSVD分解后获得的近似项；
用近似值代替式2＇中的Y，可得：
对于可分离编码掩模，X的形式为：
其中，hk是大小为N×N的正交Hadamard矩阵的一列；
将v代入上式4中，可得：
进而可得：
对式5进行化简后得到：
uk≈ΦLhk
又因为uk＝[u1,u2…uN],hk＝[h1,h2…hN]
则可以得到：
[u1,u2…uN]＝ΦL[h1,h2…hN]＝ΦLH
则ΦL＝[u1,u2…uN]H-1；
同样地，令通过上述步骤可推导出ΦR：
ΦR＝[v1,v2…vN]H-1。
步骤四、构建神经网络及初始值设定：
4.1)在tensorflow中编写如图4所示算法流程图中的神经网络以训练无镜头成像系统测量矩阵ΦL,ΦR。其中网络输入为传感器测量图像，网络输出为重建图像，对ΦL,ΦR循环训练优化，再用经过学习的ΦL,ΦR作为参数输入正则化算法层，最后输出复原的场景图像；
4.2)将步骤三中求解得到的系统测量矩阵ΦL,ΦR输入神经网络作为优化学习过程的初始值。
步骤五、训练无镜头成像系统的测量矩阵ΦL,ΦR，得到优化后的系统测量矩阵
5.1)将通过搭建的无镜头成像系统原理样机所拍摄的大量传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；
5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW；
步骤六、利用L2正则化方法重建无镜头成像系统拍摄的场景图像
使用L2正则化方法，可以将重建图像的估计值表示为：
其中，ΦL,ΦR分别为步骤五中经过学习得到的优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW
将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：
将ΦL,ΦR分别以TSVD表示为和/>其中UL是包含ΦL左特征向量的正交矩阵，ΣL是包含ΦL特征值的对角矩阵，VL是包含ΦL右特征向量的正交矩阵，UR是包含ΦR左特征向量的正交矩阵，ΣR是包含ΦR特征值的对角矩阵，VR是包含ΦR右特征向量的正交矩阵。则可将方程进一步化简为：
左右分别乘以和VR：
分别使用向量σL和σR表示和/>的对角项以简化方程，得到重建图像：
图5所示为无镜头成像系统的传感器测量图像与本发明算法重建图像的示意图，从图中可以看出，本发明所使用的方法可以较好的重建无镜头相机所拍摄的传感器测量图像，重建图像保留了场景图像的大部分细节，可以以此重建结果进行进一步的应用如分类、识别等。

Claims (6)

1.基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于，包括以下步骤：
步骤一、搭建基于编码掩模的无镜头成像系统：
将加工好的编码掩模固定在CMOS传感器阵列前方，编码掩模与CMOS传感器的距离不超过5mm，将编码掩模到用于显示标定训练图像的标定显示器之间的距离设定为设定距离；
所述的编码掩膜采用基于m序列的可分离编码掩模，根据对应的可分离编码掩模二元矩阵，在石英玻璃上镀铬膜层实现遮光制成；所述可分离编码掩膜二元矩阵用0和1表示，1表示透光，0表示不透光，二元矩阵中的每个元素对应编码掩膜中的一个方形区域；
步骤二、利用步骤一搭建的无镜头成像系统拍摄标定训练图像：
2.1)选取标定训练图像
选取由Hadamard编码构成的水平、垂直亮线作为标定训练图像，对于尺寸为N×N的无镜头成像系统，使用2N个标定训练图像进行标定；
2.2)采集标定图像
2.2.1)通过设置在无镜头成像系统正前方的所述标定显示器，显示2.1)选取的标定训练图像，调节CMOS传感器与标定显示器的相对位置使得标定显示器上的标定训练图像全部落入整个CMOS传感器阵列的窗口；
2.2.2)调整CMOS传感器的曝光时间，并同时微调CMOS传感器与标定显示器的相对位置至可以获得清晰的传感器测量图像，记录编码掩模与标定显示器之间的距离，采集对应的传感器测量图像；
2.3)多次重复上述步骤2.1)-2.2)，并对采集的传感器测量图像取平均值，将得到的平均值作为无镜头成像系统最终输出的测量值；
步骤三、求解无镜头成像系统的系统测量矩阵：
3.1)利用已知输入图像和对应的输出图像，对步骤一搭建的无镜头成像系统进行建模，其中系统测量矩阵与场景及传感器测量图像的关系为：
Y＝ΦX+E； (式1)
其中：
X为输入图像；
Y为无镜头成像系统输出的测量值，由步骤2.3)得到；
E为无镜头成像系统的系统噪声；
Φ为无镜头成像系统的系统测量矩阵；
3.2)将系统测量矩阵Φ分解为ΦL,ΦR左右两个测量矩阵，暂不考虑系统噪声E的影响，仅对系统测量矩阵Φ进行优化，得到
3.3)通过TSVD对输入图像和输出图像进行分解计算，得到ΦL,ΦR：
ΦL＝[u1,u2…uN]H-1；
ΦR＝[v1,v2…vN]H-1；
步骤四、构建神经网络及初始值设定：
4.1)在tensorflow中编写神经网络以训练无镜头成像系统测量矩阵ΦL,ΦR；
4.2)将步骤三中求解得到的系统测量矩阵ΦL,ΦR输入神经网络作为优化学习过程的初始值；
步骤五、训练测量矩阵ΦL,ΦR，得到优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW：
5.1)将通过搭建的无镜头成像系统原理样机拍摄的传感器测量图像与其相对应的场景图像作为训练用的数据集，其中场景图像X作为步骤四构建的神经网络的输出，传感器测量图像Y作为步骤四构建的神经网络的输入；
5.2)对所述神经网络进行训练，其中损失函数选用MSE与SSIM相结合，当神经网络的损失函数达到预设值或训练轮次达到预设次数时，停止训练，得到优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW；
步骤六、利用L2正则化方法重建无镜头成像系统拍摄的场景图像：
使用L2正则化方法，得到重建图像
其中：
UL是包含ΦL左特征向量的正交矩阵；
ΣL是包含ΦL特征值的对角矩阵；
VL是包含ΦL右特征向量的正交矩阵；
UR是包含ΦR左特征向量的正交矩阵；
ΣR是包含ΦR特征值的对角矩阵；
VR是包含ΦR右特征向量的正交矩阵；
σL和σR分别为表示和/>对角线元素的向量；
τ是正则化参数；
Y是传感器测量图像。
2.根据权利要求1所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于：步骤一中所述的设定距离大于20cm，小于等于100cm。
3.根据权利要求2所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于：所述步骤2.2)应尽量在黑暗环境下进行。
4.根据权利要求1-3任一所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于，步骤3.3)计算ΦL,ΦR的具体方法为：
通过TSVD分解获得的测量值Y的近似值为
其中，uk与是TSVD分解后获得的近似项；
用近似值代替/>(式2＇)中的Y，可得：
对于可分离编码掩模，X的形式为：
其中，hk是大小为N×N的正交Hadamard矩阵的一列；
将v代入上式4中，可得：
进而可得：
对式5进行化简后得到：
uk≈ΦLhk
又因为uk＝[u1,u2…uN],hk＝[h1,h2…hN]
则可以得到：
[u1,u2…uN]＝ΦL[h1,h2…hN]＝ΦLH
则ΦL＝[u1,u2…uN]H-1；
同样地，令通过上述步骤可推导出ΦR：
ΦR＝[v1,v2…vN]H-1。
5.根据权利要求4所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于，步骤六具体为：
使用L2正则化方法，将重建图像的估计值表示为：
其中，
ΦL,ΦR分别为步骤五中经过学习得到的优化后的系统测量矩阵(ΦL)NEW,(ΦR)NEW
将上式的目标梯度设置为零并简化，根据所得到的方程来进行进一步的求解：
将ΦL,ΦR分别以TSVD表示为和/>其中UL是包含ΦL左特征向量的正交矩阵，ΣL是包含ΦL特征值的对角矩阵，VL是包含ΦL右特征向量的正交矩阵，UR是包含ΦR左特征向量的正交矩阵，ΣR是包含ΦR特征值的对角矩阵，VR是包含ΦR右特征向量的正交矩阵，则可将方程进一步化简为：
左右分别乘以和VR：
分别使用向量σL和σR表示和/>的对角项以简化方程，得到重建图像：
6.根据权利要求5所述的基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法，其特征在于：步骤一中的编码掩膜采用8位m序列进行编码。
CN202110291465.7A 2021-03-18 2021-03-18 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法 Active CN112950750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110291465.7A CN112950750B (zh) 2021-03-18 2021-03-18 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110291465.7A CN112950750B (zh) 2021-03-18 2021-03-18 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法

Publications (2)

Publication Number Publication Date
CN112950750A CN112950750A (zh) 2021-06-11
CN112950750B true CN112950750B (zh) 2023-12-08

Family

ID=76228251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110291465.7A Active CN112950750B (zh) 2021-03-18 2021-03-18 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法

Country Status (1)

Country Link
CN (1) CN112950750B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677766B (zh) * 2022-05-26 2023-02-14 中国科学院西安光学精密机械研究所 基于无镜头成像技术的手语识别方法、系统及交互设备
CN116703728B (zh) * 2023-08-07 2023-10-13 北京理工大学 系统参数优化的超分辨方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076148A (zh) * 2016-04-12 2018-12-21 奎蒂安特有限公司 日常场景重建引擎
CN110378975A (zh) * 2019-07-11 2019-10-25 安徽大学 一种基于深度神经网络的压缩编码孔径成像方法及系统
CN110501071A (zh) * 2019-08-02 2019-11-26 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法
CN111343367A (zh) * 2020-02-17 2020-06-26 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN111652815A (zh) * 2020-05-26 2020-09-11 浙江大学 一种基于深度学习的掩膜板相机图像复原方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130011051A1 (en) * 2011-07-07 2013-01-10 Lockheed Martin Corporation Coded aperture imaging
US10909670B2 (en) * 2018-12-06 2021-02-02 Massachusetts Institute Of Technology Computational reconfigurable imaging spectrometer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076148A (zh) * 2016-04-12 2018-12-21 奎蒂安特有限公司 日常场景重建引擎
CN110378975A (zh) * 2019-07-11 2019-10-25 安徽大学 一种基于深度神经网络的压缩编码孔径成像方法及系统
CN110501071A (zh) * 2019-08-02 2019-11-26 杭州电子科技大学 一种基于模糊编码的压缩高光谱掩膜优化方法
CN111343367A (zh) * 2020-02-17 2020-06-26 清华大学深圳国际研究生院 一种十亿像素虚拟现实视频采集装置、系统与方法
CN111652815A (zh) * 2020-05-26 2020-09-11 浙江大学 一种基于深度学习的掩膜板相机图像复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
遥感地质勘查技术与应用研究;王润生;熊盛青;聂洪峰;梁树能;齐泽荣;杨金中;闫柏琨;赵福岳;范景辉;童立强;林键;甘甫平;陈微;杨苏明;张瑞江;葛大庆;张晓坤;张振华;王品清;郭小方;李丽;;地质学报(11);全文 *

Also Published As

Publication number Publication date
CN112950750A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Yuan et al. Snapshot compressive imaging: Theory, algorithms, and applications
CN111145131B (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN112950750B (zh) 基于编码掩模与Learned-TSVD算法的无镜头相机图像重建方法
CN111242883B (zh) 一种基于深度学习的动态场景hdr重建方法
CN108416723B (zh) 基于全变分正则化和变量分裂的无透镜成像快速重构方法
CN110650340B (zh) 一种时空复用的压缩视频成像方法
CN110246105B (zh) 一种基于实际相机噪声建模的视频去噪方法
Khan et al. Towards photorealistic reconstruction of highly multiplexed lensless images
CN110880163B (zh) 一种基于深度学习的弱光彩色成像方法
CN115484410B (zh) 基于深度学习的事件相机视频重建方法
CN114445292A (zh) 一种多阶段渐进式水下图像增强方法
CN111652815B (zh) 一种基于深度学习的掩膜板相机图像复原方法
CN107622515A (zh) 压缩光场的物理重建方法
CN112802145A (zh) 一种基于深度学习的彩色计算鬼成像方法
CN114240756A (zh) 一种基于字典原子嵌入的rgb图像光谱信息重构方法
Le Guludec et al. Deep light field acquisition using learned coded mask distributions for color filter array sensors
CN112785662B (zh) 一种基于低分辨率先验信息的自适应编码方法
CN114757842A (zh) 基于即插即用广义交替投影算法的彩色计算鬼成像方法
CN112989593A (zh) 基于双相机的高光谱低秩张量融合计算成像方法
CN112950507B (zh) 基于深度学习提高散射环境下单像素彩色成像性能的方法
Xie et al. Just noticeable visual redundancy forecasting: a deep multimodal-driven approach
Li et al. Single-Image HDR Reconstruction Assisted Ghost Suppression and Detail Preservation Network for Multi-Exposure HDR Imaging
Remez et al. A picture is worth a billion bits: Real-time image reconstruction from dense binary pixels
CN111275690B (zh) 一种短波红外探测器像元编码曝光的仿真方法
Yao et al. Influence of exposure time on image reconstruction by lensless imaging technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant