CN109102551B - 一种基于光线追迹的时间压缩感知重构方法 - Google Patents

一种基于光线追迹的时间压缩感知重构方法 Download PDF

Info

Publication number
CN109102551B
CN109102551B CN201810758574.3A CN201810758574A CN109102551B CN 109102551 B CN109102551 B CN 109102551B CN 201810758574 A CN201810758574 A CN 201810758574A CN 109102551 B CN109102551 B CN 109102551B
Authority
CN
China
Prior art keywords
image
imaging system
reconstruction
point spread
spread function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810758574.3A
Other languages
English (en)
Other versions
CN109102551A (zh
Inventor
张廷华
孙华燕
樊桂花
梁丹华
李迎春
赵延仲
郭惠超
张来线
杨彪
曾海瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN201810758574.3A priority Critical patent/CN109102551B/zh
Publication of CN109102551A publication Critical patent/CN109102551A/zh
Application granted granted Critical
Publication of CN109102551B publication Critical patent/CN109102551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062—Compressive sampling or sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于光线追迹的时间压缩感知重构方法，利用Matlab和Zemax软件实现压缩编码孔径成像系统的点扩散函数辅助估计和像模拟；采用全变分正则算法实现系统的超分辨率重建。该方法利用光线追迹理论和光学设计软件实现了重建模型的辅助估计，与实际系统相结合，简化了重建模型的同时，增强了系统的鲁棒性和重建效果；利用matlab和Zemax光学设计软件实现了编码孔径成像系统的成像特性分析和模拟，可以为编码孔径成像系统光学设计提供依据；通过基于DMD的时间压缩孔径编码成像系统获取编码孔径的真实像，利用IRLS算法估计点扩散函数的尺度和幅值，对光学设计软件估计结果进行规范，作为超分辨重建的模型的参数。

Description

一种基于光线追迹的时间压缩感知重构方法
技术领域
本发明属于图像压缩感知和处理技术领域，具体涉及一种基于光线追迹的时间压缩感知重构方法。
背景技术
传统的光学测量设备通常是传感器或光学受限系统，难以实现运动目标的高帧频、高分辨率成像。压缩感知技术可以降低系统对成像探测器件和光学系统的指标要求，利用低分辨率的相机实现超分辨率成像，降低系统成本的同时，降低数据采集、处理和传输的成本，是光学测量研究的热点之一。
基于压缩感知原理的压缩编码孔径成像技术利用孔径编码实现目标场景的混叠和降采样，通过正则约束算法实现超分辨率重建，是应用研究和应用较广泛的成像体制之一。压缩编码孔径成像系统受光学调制元件(掩膜、DMD或空间调制器等)放置的位置和编码模式，光学系统自身的离焦和像差，以及采集系统的噪声和量化误差等影响显著。常通过采用标定的方式和寻找鲁棒的重建算法加以解决，对系统的实用性，以及算法的鲁棒性、运算效率和重建性能提出较高要求。
发明内容
有鉴于此，本发明的目的是提供一种基于光线追迹的时间压缩感知重构方法，能够在未严格标定光学系统内参数的情况下，实现复杂运动场景的压缩感知和超分辨率重建，该方法适用于压缩编码孔径成像系统。
一种时间压缩感知重构方法，包括如下步骤：
第一步:根据时间压缩孔径编码成像系统的结构获得其孔径编码模式；基于该孔径编码模式利用Z-MAX软件对时间压缩孔径编码成像系统进行建模，得到点扩散函数PSF的理论值；
第二步：时间压缩孔径编码成像系统得到真实的压缩混叠图像y，然后进行图像重构，其中图像重构基于BTV正则的视频压缩感知算法实现，即求解如下公式，得到重构图像序列x：
Figure BDA0001727334920000021
其中，λ为正则系数；p表示邻域系统内像素数；Φ为孔径编码矩阵；
Figure BDA0001727334920000022
代表了图像x在不同尺度上的差分，矩阵算子
Figure BDA0001727334920000023
表示对图像x在水平方向平移l个像素，
Figure BDA0001727334920000024
表示图像x在垂直方向上移动m个像素；α为权值系数，表示空间距离对权值的影响；
第三步：利用时间压缩孔径编码成像系统得到重构图像序列x，然后再利用该重构图像序列估计每一幅重构图像对应的模糊核，进而估计点扩散函数PSF对应不同重构图像时的尺度和幅值，进而对步骤二得到的重构图像序列分别进行复原。
较佳的，所述第二步中基于BTV正则的视频压缩感知算法求解重构图像x时，采用交替方向乘子ADMM算法求解。
进一步的，所述第三步得到复原图像后，对该复原图像进行评估，如果无法满足视觉或应用需求，则返回第一步，并调整Z-MAX软件参数，重新估计PSF理论值；然后再执行第二步和第三步，直到满足评估要求。
本发明具有如下有益效果：
(1)本发明提出的一种基于光线追迹原理和光学设计软件辅助的时间压缩编码孔径超分辨率成像方法，利用Matlab和Zemax软件实现压缩编码孔径成像系统的点扩散函数辅助估计和像模拟；采用全变分正则算法实现系统的超分辨率重建。该方法利用光线追迹理论和光学设计软件实现了重建模型的辅助估计，与实际系统相结合，简化了重建模型的同时，增强了系统的鲁棒性和重建效果。
(2)本发明采用利用matlab和Zemax光学设计软件实现了编码孔径成像系统的成像特性分析和模拟，可以为编码孔径成像系统光学设计提供依据；通过基于DMD的时间压缩孔径编码成像系统获取编码孔径的真实像，利用IRLS算法估计点扩散函数的尺度和幅值，对光学设计软件估计结果进行规范，作为超分辨重建的模型的参数；
(3)本发明采用双边全变分正则算法实现系统的超分辨率重建，利用ADMM算法和BTV保留图像边缘和细节纹理信息，同时提高重建算法的计算速度和精度。
附图说明
图1为本发明的方法流程图；
图2(a)为采用IRLS估计得到的PSF；
图2(b)为本发明估计得到的PSF；
图2(c)为输入的模拟图像；
图2(d)为模拟图像经IRLS估计复原后图像；
图2(e)为模拟图像经本发明方法估计复原后图像。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于光学设计软件的时间压缩孔径编码超分辨率成像方法，能够实现高压缩率和噪声条件下，运动场景的快速超分辨率重建。
本方法的基本原理是基于光线追迹理论分析和辅助估计时间压缩孔径编码超分辨率重建模型参数。首先，将压缩感知中观测矩阵对应光学系统中的编码孔径，利用光学设计软件的光学系统分析功能获得系统的点扩散函数和模拟像的理论值；然后，通过基于DMD实现的时间压缩孔径编码成像系统对真实场景获得的观测图像，利用IRLS算法得到估计值，进而得到点扩散函数的尺度和幅值；利用估计的点扩散函数尺度和幅值，将光学设计软件得到的点扩散函数理论值进行规范化；利用ADMM+BTV的超分辨率重建算法对超分辨率重建模型进行重建估计。
成像系统的构成主要包括：(1)激光光源及扩束准直系统，用以提供均匀照明光源；(2)分辨率板，用于模拟观测场景；(3)分束镜，用于反射光路折转成像；(4)成像物镜，用于将光线聚焦到后端的DMD器件上；(5)DMD器件，实现观测矩阵对场景的编码，由上位机控制；(6)工业相机，用于采集调制混叠后的光场图像。
方法的基本流程见附图1，基于光学设计软件的时间压缩孔径编码超分辨率重建方法具体步骤：
第一步:根据时间压缩孔径编码成像系统的结构获得其孔径编码模式(即孔径编码矩阵)；基于该孔径编码模式利用Z-MAX软件对时间压缩孔径编码成像系统进行建模，得到点扩散函数PSF的理论值，具体包括如下步骤：
利用Matlab软件将压缩感知中观测矩阵转化为对应光学系统中的编码孔径的*.Tel文件，对观测矩阵Φ进行向量化，当其第k个元素值为1时，其对应的编码孔径矩阵的公式为：
Figure BDA0001727334920000041
Figure BDA0001727334920000042
Figure BDA0001727334920000043
Figure BDA0001727334920000044
A(5(k-1)+5,1:2)＝[0,0]  (5)
从而生成User Defined Aperture or Obscuration所需的UDA文件，NSC UDA数据库文件必须包含一个连续的点系列，定义单个封闭的多边形。不允许多层和嵌套的孔径。大多数任意孔径外形通常通过下列方式来定义。放置一个孔径在一个对象的表面，打开对象类型对象框，选择“用户定义孔径”确认栏，在主菜里选择UDA数据文件名。UDA文件必须放置在软件安装目录的\OBJECTS文件夹里。利用光学设计软件Zemax的分析功能获得系统的点扩散函数和模拟像的理论值。
第二步：时间压缩孔径编码成像系统得到真实的压缩混叠图像，然后进行图像重构，具体为：
基于BTV正则的视频压缩感知图像重构：
按照成像模型可以由一帧编码混叠图像y重构出NF帧图像，重构算法需要求解公式(6)，采用BTV正则化算法进行求解：
Figure BDA0001727334920000051
其中，x表示待求解的图像；λ为正则系数；p表示邻域系统内像素数；Φ为编码矩阵
Figure BDA0001727334920000052
代表了x在不同尺度上的差分，矩阵算子
Figure BDA0001727334920000053
表示对图像x在水平方向平移l个像素，
Figure BDA0001727334920000056
表示图像x在垂直方向上移动m个像素。α(0<α<1)为权值系数，表示空间距离对权值的影响。双边全变分(Bilateral Total Variation,BTV)算法是在TV正则化的基础上，结合双边滤波技术提出的一种具有鲁棒性正则化的算法，对运动和模糊估计具有很好的鲁棒性，算法可以有效的解决重构图像细节信息过平滑的问题。相对于NLTV、HDTV以及AWTV算法，BTV算法的计算复杂度更低，适用性更强。
依据ADMM(Alternating Direction Method of Multipliers)算法求解公式(6)，迭代过程则可以表示为：
Figure BDA0001727334920000054
Figure BDA0001727334920000055
Figure BDA0001727334920000061
其中，k为当前迭代次数。
第三步：利用重构图像序列估计真实光学系统的模糊核，进而估计点扩散函数的尺度和幅值，并对步骤二得到的重构图像序列进行复原：
通过时间压缩孔径编码成像系统对真实场景获得的观测图像，由于成像系统受大气、目标运动模糊、传感器噪声和量化误差等影响，图像出现退化，此时真实点扩散函数与理论点扩散函数之间存在尺度和幅值等差异，此处将真实图像对应的点扩散函数称为模糊核，获得模糊核K估计值，其公式为：
Figure BDA0001727334920000062
其中，J0为真实系统重构出的图像序列中的单帧图像；λ为正则系数；D为下采样矩阵；A表示当前图像的循环矩阵，A是图像I中每一行与模糊核滤波器K对应像素的级联。则根据公式(6)能够得到每一幅观测图像J0对应的模糊核。
该方程可以采用IRLS算法优化，其解公式为：
Figure BDA0001727334920000063
其中
W0＝diag(Φ'(|SAK-J0|2))  (12)
Figure BDA0001727334920000064
利用模糊核K的估计值，得到点扩散函数的尺度[Height,Length]和幅值F，对得到的PSF理论值进行降采样和标准化，从而得到PSF的修正值。每一幅重构图像均对应一个PSF的修正值。
利用点扩散函数的修正值对其对应的重建图像进行去模糊，采用Lucy-Richardson算法：
Figure BDA0001727334920000071
如图2(a)和(b)所示，分别为采用IRLS估计得到的PSF和本发明估计得到的PSF；针对如图2(c)给出的一幅模拟图像，采用本发明的方法得到的图像复原结果见图2(e)中的，与图2(d)中采用IRLS估计复原后图像相比，采用本发明的方法复原图像边缘结构更加清晰，图像对比度明显提升；由于Lucy-Richardson复原算法造成图像出振铃效应，但是图像得到复原，与IRLS算法相比，采用Zemax光学设计软件对PSF进行估计，无需复杂的算法计算，只需利用Zemax与Matlab软件之间的文件接口传递数据即可，且估计值更接近真实值。
第四步：对重建结果进行评估，如果无法满足视觉或应用需求，则在第一步中调整Z-MAX软件参数，重新估计PSF理论值；如果经过多次迭代，仍不能满足使用需求，更改Zemax软件中的光线密集程度等设置。
随着成像器件的物理尺寸减小，按照光线追迹理论计算得到的PSF与理想的光学系统PSF之间的估计误差越来越小，这就为在更高的分辨率上实现图像的解压缩和重建提供技术途径。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种时间压缩感知重构方法，其特征在于，包括如下步骤：
第一步:根据时间压缩孔径编码成像系统的结构获得其孔径编码模式；基于该孔径编码模式利用Z-MAX软件对时间压缩孔径编码成像系统进行建模，得到点扩散函数PSF的理论值；
第二步：时间压缩孔径编码成像系统得到真实的压缩混叠图像y，然后进行图像重构，其中图像重构基于BTV正则的视频压缩感知算法实现，即求解如下公式，得到重构图像序列x：
Figure FDA0003954718780000011
其中，λ为正则系数；p表示邻域系统内像素数；Φ为孔径编码矩阵；
Figure FDA0003954718780000012
代表了图像x在不同尺度上的差分，矩阵算子
Figure FDA0003954718780000013
表示对图像x在水平方向平移l个像素，
Figure FDA0003954718780000014
表示图像x在垂直方向上移动m个像素；α为权值系数，表示空间距离对权值的影响；
第三步：利用时间压缩孔径编码成像系统得到重构图像序列x，然后再利用该重构图像序列估计每一幅重构图像对应的模糊核，进而估计点扩散函数PSF对应不同重构图像时的尺度和幅值，进而对步骤二得到的重构图像序列分别进行复原；具体包括：
对于通过时间压缩孔径编码成像系统对真实场景获得的观测图像，将真实图像对应的点扩散函数称为模糊核，获得模糊核K估计值，其公式为：
Figure FDA0003954718780000015
其中，J0为真实系统重构出的图像序列中的单帧图像；λ为正则系数；D为下采样矩阵；A表示当前图像的循环矩阵，A是图像I中每一行与模糊核滤波器K对应像素的级联；由此得到每一幅观测图像J0对应的模糊核；
该方程采用IRLS算法优化，其解公式为：
Figure FDA0003954718780000021
其中
W0＝diag(Φ'(|SAK-J0|2))                     (12)
Figure FDA0003954718780000022
利用模糊核K的估计值，得到点扩散函数的尺度[Height,Length]和幅值F，对得到的PSF理论值进行降采样和标准化，从而得到PSF的修正值，每一幅重构图像均对应一个PSF的修正值；
利用点扩散函数的修正值对其对应的重建图像进行去模糊。
2.如权利要求1所述的一种时间压缩感知重构方法，其特征在于，所述第二步中基于BTV正则的视频压缩感知算法求解重构图像x时，采用交替方向乘子ADMM算法求解。
3.如权利要求1所述的一种时间压缩感知重构方法，其特征在于，所述第三步得到复原图像后，对该复原图像进行评估，如果无法满足视觉或应用需求，则返回第一步，并调整Z-MAX软件参数，重新估计PSF理论值；然后再执行第二步和第三步，直到满足评估要求。
CN201810758574.3A 2018-07-11 2018-07-11 一种基于光线追迹的时间压缩感知重构方法 Active CN109102551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810758574.3A CN109102551B (zh) 2018-07-11 2018-07-11 一种基于光线追迹的时间压缩感知重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810758574.3A CN109102551B (zh) 2018-07-11 2018-07-11 一种基于光线追迹的时间压缩感知重构方法

Publications (2)

Publication Number Publication Date
CN109102551A CN109102551A (zh) 2018-12-28
CN109102551B true CN109102551B (zh) 2023-04-07

Family

ID=64845991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810758574.3A Active CN109102551B (zh) 2018-07-11 2018-07-11 一种基于光线追迹的时间压缩感知重构方法

Country Status (1)

Country Link
CN (1) CN109102551B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852945B (zh) * 2019-10-30 2021-06-11 华中科技大学 一种生物样本高分辨率图像获取方法
CN110830043B (zh) * 2019-10-31 2023-07-18 重庆邮电大学 一种基于混合加权全变分和非局部低秩的图像压缩感知重构方法
CN112884644B (zh) * 2021-01-12 2022-11-15 中国人民解放军战略支援部队航天工程大学 一种多尺度编码孔径光谱时间压缩感知成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438102A (zh) * 2011-10-26 2012-05-02 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统及成像方法
CN107025632A (zh) * 2017-04-13 2017-08-08 首都师范大学 一种图像超分辨率重建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9615022B2 (en) * 2014-12-11 2017-04-04 Conduent Business Services, Llc High-resolution imaging devices using low-resolution sensors and compressive sensing exploiting joint sparsity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102438102A (zh) * 2011-10-26 2012-05-02 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统及成像方法
CN107025632A (zh) * 2017-04-13 2017-08-08 首都师范大学 一种图像超分辨率重建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
超分辨率重建技术研究进展;胡彦婷等;《信息技术》;20170525;104-109 *

Also Published As

Publication number Publication date
CN109102551A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
JP6957197B2 (ja) 画像処理装置および画像処理方法
JP6214562B2 (ja) 適応型多次元データ分解
KR100911890B1 (ko) 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물
Jiji et al. Single‐frame image super‐resolution using learned wavelet coefficients
US6295392B1 (en) Super resolution methods for electro-optical systems
CN109102551B (zh) 一种基于光线追迹的时间压缩感知重构方法
CN107507135B (zh) 基于编码光圈和靶标的图像重构方法
JP2005020761A (ja) データ圧縮処理された低解像度の映像から超解像度の映像復元及び再構成方法
Hajisharif et al. Adaptive dualISO HDR reconstruction
WO2004068862A1 (ja) 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Zeng et al. Robust reconstruction with deep learning to handle model mismatch in lensless imaging
CN104243837A (zh) 基于单次曝光视频重建的颤振探测和遥感图像恢复方法
CN112261315A (zh) 基于相机阵列孔径合成的高分辨率计算成像系统及方法
Blocker et al. Low-rank plus sparse tensor models for light-field reconstruction from focal stack data
Köhler et al. Benchmarking super-resolution algorithms on real data
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
Wang et al. Superresolution imaging by dynamic single-pixel compressive sensing system
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Wang et al. A computational super-resolution technique based on coded aperture imaging
Chen et al. Blind restoration for nonuniform aerial images using nonlocal Retinex model and shearlet-based higher-order regularization
JP7040422B2 (ja) 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム
Preece et al. A noise model for the design of a compressive sensing imaging system
Ma et al. Superresolution reconstruction of hyperspectral remote sensing imagery using constrained optimization of POCS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant