CN114647079B - 一种单片式宽波段衍射计算成像方法 - Google Patents
一种单片式宽波段衍射计算成像方法 Download PDFInfo
- Publication number
- CN114647079B CN114647079B CN202210256490.6A CN202210256490A CN114647079B CN 114647079 B CN114647079 B CN 114647079B CN 202210256490 A CN202210256490 A CN 202210256490A CN 114647079 B CN114647079 B CN 114647079B
- Authority
- CN
- China
- Prior art keywords
- image
- diffraction
- imaging
- diffraction element
- deconvolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 238000004364 calculation method Methods 0.000 title claims abstract description 13
- 238000013461 design Methods 0.000 claims abstract description 36
- 230000003287 optical effect Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000005457 optimization Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 25
- 239000002245 particle Substances 0.000 claims description 17
- 238000011084 recovery Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 238000002601 radiography Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Lenses (AREA)
- Diffracting Gratings Or Hologram Optical Elements (AREA)
Abstract
本发明公开了一种单片式宽波段衍射计算成像方法，解决了应用传统衍射元件成像时成像系统结构复杂、成本高、波段窄的问题。本发明提供的衍射计算成像方法，可以在仅使用单片衍射镜片的情况下，实现可见光波段下高色彩保真度的清晰成像。本发明涉及光学设计与图像处理领域，包括如下步骤：根据应用需求对传统衍射元件进行消色差优化设计，根据消色差优化后的衍射元件的点扩散函数设计复原算法，使用该算法对消色差衍射透镜的成像图像进行复原，最终实现可见光波段下单片衍射元件的计算成像，具有低成本、轻量化、宽波段等优势，同时保持高色彩保真度的清晰成像。
Description
技术领域
本发明涉及光学计算摄影领域，尤其涉及一种单片式宽波段衍射计算成像方法。
背景技术
降低光学系统复杂性的高质量成像技术一直以来都是工业生产和科研工作的研究目标。为了获得高分辨率图像，传统折/反射式光学系统的做法是增大系统口径或引入多个光学元件来补偿像差，增加了成像系统结构的复杂性、制造成本以及成像系统的质量。衍射光学元件具有超薄和轻巧的物理结构，大而灵活的设计空间和更好的聚焦性能以及离轴成像性能，这些有点使其成为解决高质量成像与轻量化简单光学系统之间矛盾的途径之一。
然而，由于衍射本身存在的严重波长依赖性，在应用衍射光学元件成像时会出现强烈的色散，非设计波段的成像会出现大直径模糊，从而大大降低了宽波段成像时的图像质量，甚至在单个色彩通道的波长范围内也会出现色散模糊，因此传统衍射光学元件的应用常局限于窄波段成像系统。
随着现代计算机计算能力的飞速发展，计算成像技术已可将图像重建算法作为光学系统的虚拟组件进行引入，将光学系统的负担转移到计算机计算能力上。计算成像技术可以先采集后处理，经光学系统采集的信息需要经过图像端处理才能直接使用，其将光学设计与算法设计相结合，以最终经过处理后的图像质量作为目标来优化光学系统，所以光学部分的设计会根据后端处理方式不同而选择不同的设计目标(不一定以图像清晰度作为目标)，这也是计算成像区别于传统光学设计方法的地方。目前这一技术已使得一些超轻型单片镜成像系统问世，并且为进一步突破衍射光学元件在成像系统上的应用时所面临的带宽、视场、系统质量、复杂性等限制提供了方案。
发明内容
本发明要解决的技术问题是：应用传统衍射元件成像时成像系统结构复杂、成本高、波段窄的问题，实现低成本、轻量化、宽波段、保持高色彩保真度的清晰成像。
为实现上述目的，本发明采取的技术方案如下：一种单片式宽波段衍射计算成像方法，包括如下步骤：
步骤1：设置优化消色差衍射透镜的设计参数，所述的设计参数包括光学孔径、设计波段、优化迭代次数，根据设计波段进行等间隔密集采样得到N个优化波长，记为[λ1,λ2,…,λN]，然后生成N个分别以λ1,λ2,…,λN作为设计波长的传统位相菲涅尔衍射透镜的台阶结构；
步骤2：在光学孔径面按径向划分N个等面积区域，记为S1,S2,…,SN，区域Si的结构与设计波长为λi的传统位相菲涅尔衍射透镜台阶结构相同，将S1,S2,…,SN组合形成分区消色差衍射透镜；
步骤3：将所述分区消色差衍射透镜的所有台阶高度作为参数输入，使用粒子群优化算法进行优化迭代，优化的成本函数为各个波长的点扩散函数与所有波长的平均点扩散函数的差值的加权和，当成本函数小于设定值或达到最大迭代次数时，所述的优化迭代即停止，此时得到的台阶结构即为优化消色差衍射透镜的台阶结构；
步骤4：对一幅由所述优化消色差衍射透镜退化的图像，通过双三次样条插值，对其进行0.5倍下采样得到低尺度图像，通过Tikhonov正则化对其进行第一次去卷积复原；
步骤5：将步骤4中所述的去卷积复原后的图像再经过2倍上采样恢复到原来尺寸，使用l1正则化方法，并将所述上采样后的图像作为先验项加入到l1正则化中，进行第二次去卷积复原，将所述第二次去卷积复原的图像作为最终得到的图像；
可选地，步骤1中的传统位相菲涅尔衍射元件是一种台阶型衍射元件，包括但不限于台阶型透射式衍射元件、台阶型反射式衍射元件以及不同台阶数量的衍射元件。
可选地，步骤1中所述的设计波段，可以是可见光波段、红外波段等任意光学波段。
可选地，步骤3所述的粒子群算法，可以是标准粒子群算法、自适应粒子群算法等经过改进的粒子群算法。
可选地，步骤4所述的下采样倍数，其数值不一定为0.5倍，可以是任意小于1的正数。
可选地，步骤4所述的去卷积方法，包括但不限于Tikhonov正则化方法、TotalVariation最小化方法、Richard-lucy迭代复原算法等。
可选地，步骤5中所述第二次去卷积复原的过程包括：根据半二次惩罚的方法引入一个辅助变量，替换所述l1正则化方法中的正则化项，并生成一个l2范数项，将所述第二次去卷积复原优化函数分解为l1、l2范数部分，根据l2范数部分固定所述辅助变量，直接求解估计清晰图像，根据l1范数部分固定估计图像求解辅助变量，经过交叉迭代优化求解最终估计清晰图像，即所述第二次去卷积复原图像。
本发明与现有技术相比的优点在于：
本发明的单片式宽波段衍元件计算成像可大幅度减小成像设备上光学系统的质量，简化光学系统结构，具有更小的离轴畸变，并同时拓宽衍射元件的带宽，保持高色彩保真度的清晰成像。在保持相同参数和图像清晰度的情况下，本发明所述的方法能大幅度缩减设备成本，具有容易制备、面型公差宽松、易于装调的优点，适用于集成化成像设备或质量、空间受限的成像系统。相较于传统衍射元件，本发明实施例中的衍射计算成像技术可在可见光波段下将图像的清晰度提高一个数量级以上。
附图说明
图1为分区消色差衍射元件的示意图，它是优化消色差衍射元件的初始结构；其中，S1,S2,…,SN代表按径向划分的不同等面积区域，λ1,λ2,…,λN代表对设计波段密集采样得到的不同波长；
图2为本发明实施例中使用的粒子群算法流程图；
图3为本实施例中传统菲涅尔衍射透镜、分区消色差衍射透镜、优化消色差衍射透镜分别在450nm、505nm、555nm、605nm、655nm波长下得到的点扩散函数图像；
图4为本发明中图像重建算法的框架图；
图5为根据本发明设计的实施例的成像效果图，从左至右依次为：原始图像、优化消色差衍射透镜退化图像、衍射计算成像复原图像；
图6为本发明实施例的总体设计流程图。
具体实施方式
为了更清楚地展示本发明的技术细节，下面结合附图和具体实施方式来进一步说明本发明。
实施例为光学孔径为8毫米的消色差衍射元件计算成像设计，具体方法如下：
步骤1：设置优化消色差衍射透镜的设计参数，所述的设计参数包括光学孔径、设计波段、优化迭代次数n，根据设计波段进行等间隔密集采样得到N个优化波长：[λ1,λ2,…,λN]，然后生成N个分别以λ1,λ2,…,λN作为设计波长的传统位相菲涅尔衍射透镜结构，在光学孔径面按径向划分N个等面积区域：S1,S2,…,SN，区域Si的结构与设计波长为λi的传统位相菲涅尔衍射透镜结构相同，将S1,S2,…,SN组合形成分区消色差衍射透镜；
步骤2：构建衍射元件台阶高度δ与点扩散函数PSF的映射模型模型：
其中，F(·)代表傅里叶变换，P为孔径函数，δ为微结构台阶高度，nλ为在波长λ下衍射元件基底的折射率，(u,v)为衍射元件面的坐标，再构造成本函数为：
式中，pi(δ)为各波长优化过程中的强度PSF，t为各波长的平均PSF，Λ为设计波段，||·||1代表l1范数，wi作为成本函数的自适应权重，其取值为：
步骤3：获取分区消色差衍射透镜所有微结构台阶高度，将其作为初始参数δini，使用粒子群优化算法对式(2)进行优化迭代，直到满足或达到迭代次数n终止，此时得到的结构δn即为优化消色差衍射透镜的结构，记为δopt，图3示出了本发明的实施例中粒子群算法的参数设置及优化流程，在迭代的第k+1代时，衍射元件高度参数及高度参数的速度矢量将按照δk+1＝δk+vk、vk+1＝vk+c1·rand()·(pk-δk)+c2·rand()·(gbest-δk)进行更新，其中，c1、c2为学习因子，是大于0的常数，rand()代表随机分布在[0,1]上的随机数，pk来记录每个粒子的历史最优位置，gbest记录所有粒子的全局最优位置；
图3示出了本实施例中优化消色差衍射透镜的点扩散函数设计结果，由第一排至第三排分别是：传统菲涅尔衍射透镜、分区消色差衍射透镜、优化消色差衍射透镜在各各波长下的点扩散函数表现；
步骤4：图4示出了本发明图像复原算法的框架。对一幅由优化消色差衍射透镜退化的图像，通过双三次样条插值，对其进行0.5倍下采样得到低尺度图像Id，通过Tikhonov正则化对其进行第一次去卷积复原：
其中，F(·)*为F(·)的复共轭，F(·)代表傅里叶变换，F-1(·)代表傅里叶逆变换，μ和β是每一项的权重，K是优化消色差衍射透镜的PSF，由δopt代入公式(1)得到，D是一阶导数滤波器，Bd是经优化消色差衍射透镜退化后的下采样图像；
步骤5：将步骤4得到的复原图像再经过去噪后上采样恢复到原来尺寸，记为Is，将Is作为第二次去卷积的先验项进行复原，复原问题可描述为：
其中，I是待估计的原始清晰图像，根据半二次惩罚的方法，引入一个辅助变量q来替换原来的变量DI，并将优化函数还写为：
其中，γ和ρ是权重因子，对式(5)分成l1、l2范数两个部分，对l2部分，可将q固定，对I直接求取：
对l1部分，固定I，根据梯度下降法求q的近端算子对q进行求解：
其中，sign(·)代表符号函数。
对I、q进行交替迭代求解，直到达到最大迭代次数停止，所得到的I即为衍射计算成像的最终图像。
图5示出了本发明的成像效果图，图左为原始图像，图中为优化消色差衍射元件直接成像的图像，图右为衍射计算成像实施例最终得到的图像。图6示出了本发明的实施例设计流程，主要分为光学设计和图像重建两个方面。
显然，上述实施例仅仅是为清楚地说明所作的举例，而非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (7)
1.一种单片式宽波段衍射计算成像方法，其特征在于，包括如下步骤：
步骤1：设置优化消色差衍射透镜的设计参数，所述的设计参数包括光学孔径、设计波段、优化迭代次数，根据设计波段进行等间隔密集采样得到N个优化波长，记为[λ1,λ2,…,λN]，然后生成N个分别以λ1,λ2,…,λN作为设计波长的传统位相菲涅尔衍射透镜的台阶结构；
步骤2：在光学孔径面按径向划分N个等面积区域，记为S1,S2,…,SN，区域Si的结构与设计波长为λi的传统位相菲涅尔衍射透镜台阶结构相同，将S1,S2,…,SN组合形成分区消色差衍射透镜；构建衍射元件台阶高度δ与点扩散函数PSF的映射模型模型：
其中，F(·)代表傅里叶变换，P为孔径函数，δ为微结构台阶高度，nλ为在波长λ下衍射元件基底的折射率，(u,v)为衍射元件面的坐标，再构造成本函数为：
式中，pi(δ)为各波长优化过程中的强度PSF，t为各波长的平均PSF，Λ为设计波段，||·||1代表l1范数，wi作为成本函数的自适应权重，其取值为：
步骤3：将所述分区消色差衍射透镜的所有微结构台阶高度，将其作为初始参数输入δini，使用粒子群优化算法对式(2)进行优化迭代，优化的成本函数为各个波长的点扩散函数与所有波长的平均点扩散函数的差值的加权和，当成本函数小于设定值或达到最大迭代次数时，直到满足或达到迭代次数n终止，此时得到的台阶结构δn即为优化消色差衍射透镜的台阶结构，记为δopt；
其中，在迭代的第k+1代时，衍射元件高度参数及高度参数的速度矢量将按照δk+1＝δk+vk、vk+1＝vk+c1·rand()·(pk-δk)+c2·rand()·(gbest-δk)进行更新，其中，c1、c2为学习因子，是大于0的常数，rand()代表随机分布在[0,1]上的随机数，pk来记录每个粒子的历史最优位置，gbest记录所有粒子的全局最优位置；
步骤4：对一幅由所述优化消色差衍射透镜退化的图像，通过双三次样条插值，对其进行0.5倍下采样得到低尺度图像Id，通过Tikhonov正则化对其进行第一次去卷积复原：
其中，F(·)*为F(·)的复共轭，F(·)代表傅里叶变换，F-1(·)代表傅里叶逆变换，μ和β是每一项的权重，K是优化消色差衍射透镜的PSF，由δopt代入公式(1)得到，D是一阶导数滤波器，Bd是经优化消色差衍射透镜退化后的下采样图像；
步骤5：将步骤4中所述的去卷积复原后的图像再经过2倍上采样恢复到原来尺寸，记为Is，使用l1正则化方法，并将所述上采样后的图像作为先验项加入到l1正则化中，进行第二次去卷积复原，将所述第二次去卷积复原的图像作为最终得到的图像；
其中，所述的将所述上采样后的图像作为先验项加入到l1正则化中，进行第二次去卷积复原，将所述第二次去卷积复原的图像作为最终得到的图像具体包括：将Is作为第二次去卷积的先验项进行复原，复原问题可描述为：
其中，I是待估计的原始清晰图像，根据半二次惩罚的方法，引入一个辅助变量q来替换原来的变量DI，并将优化函数还写为：
其中，γ和ρ是权重因子，对式(5)分成l1、l2范数两个部分，对l2部分，可将q固定，对I直接求取：
对l1部分，固定I，根据梯度下降法求q的近端算子对q进行求解：
其中，sign(·)代表符号函数；
对I、q进行交替迭代求解，直到达到最大迭代次数停止，所得到的I即为衍射计算成像的最终图像。
2.根据权利要求1所述的一种单片式宽波段衍射计算成像方法，其特征在于，步骤1中的传统位相菲涅尔衍射元件是一种台阶型衍射元件，包括台阶型透射式衍射元件、台阶型反射式衍射元件以及不同台阶数量的衍射元件。
3.根据权利要求1所述的一种单片式宽波段衍射计算成像方法，其特征在于，步骤1中所述的设计波段，可以是可见光波段、红外波段。
4.根据权利要求1所述的一种单片式宽波段衍射计算成像方法，其特征在于，步骤3所述的粒子群算法，可以是标准粒子群算法、自适应粒子群算法经过改进的粒子群算法。
5.根据权利要求1所述的一种单片式宽波段衍射计算成像方法，其特征在于，步骤4所述的下采样倍数，其数值不一定为0.5倍，可以是任意小于1的正数。
6.根据权利要求1所述的一种单片式宽波段衍射计算成像方法，其特征在于，步骤4所述的去卷积方法，包括Tikhonov正则化方法、Total Variation最小化方法、Richardson-lucy迭代复原算法。
7.根据权利要求1所述的一种单片式宽波段衍射计算成像方法，其特征在于，步骤5中所述第二次去卷积复原的过程包括：根据半二次惩罚的方法引入一个辅助变量，替换所述l1正则化方法中的正则化项，并生成一个l2范数项，将所述第二次去卷积复原优化函数分解为l1、l2范数部分，根据l2范数部分固定所述辅助变量，直接求解估计清晰图像，根据l1范数部分固定估计图像求解辅助变量，经过交叉迭代优化求解最终估计清晰图像，即所述第二次去卷积复原图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210256490.6A CN114647079B (zh) | 2022-03-16 | 2022-03-16 | 一种单片式宽波段衍射计算成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210256490.6A CN114647079B (zh) | 2022-03-16 | 2022-03-16 | 一种单片式宽波段衍射计算成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114647079A CN114647079A (zh) | 2022-06-21 |
| CN114647079B true CN114647079B (zh) | 2023-07-21 |
Family
ID=81994085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210256490.6A Active CN114647079B (zh) | 2022-03-16 | 2022-03-16 | 一种单片式宽波段衍射计算成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114647079B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115586638B (zh) * | 2022-10-10 | 2024-10-01 | 长春理工大学 | 可见光宽波段含单层衍射元件系统点扩散函数构建方法 |
| CN115980997B (zh) * | 2022-12-19 | 2024-08-30 | 中国科学院光电技术研究所 | 一种宽波段折衍混合镜头设计方法 |
| CN117806036B (zh) * | 2024-03-01 | 2024-05-17 | 中国科学院光电技术研究所 | 一种基于压缩感知的单片衍射透镜系统消色差方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107884070B (zh) * | 2017-10-24 | 2020-08-04 | 北京空间机电研究所 | 一种衍射光谱光场计算成像系统 |
-
2022
- 2022-03-16 CN CN202210256490.6A patent/CN114647079B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114647079A (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114647079B (zh) | 一种单片式宽波段衍射计算成像方法 | |
| Nikonorov et al. | Toward ultralightweight remote sensing with harmonic lenses and convolutional neural networks | |
| Sun et al. | End-to-end complex lens design with differentiable ray tracing | |
| US8086058B2 (en) | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture | |
| CN110023810B (zh) | 光学系统像差的数字校正 | |
| CN104091312B (zh) | 一种根据图像频谱信息提取模糊核先验的单透镜成像方法 | |
| JP2012227944A (ja) | 超解像電気光学画像化システムのエンド・ツー・エンド設計 | |
| EP2406682A2 (en) | Imaging system and method for imaging objects with reduced image blur | |
| CN110648302B (zh) | 基于边缘增强引导滤波的光场全聚焦图像融合方法 | |
| CN107958450A (zh) | 基于自适应高斯滤波的全色多光谱影像融合方法及系统 | |
| CN107392986B (zh) | 一种基于高斯金字塔和各向异性滤波的图像景深渲染方法 | |
| CN115018725A (zh) | 一种基于块最小像素先验的衍射图像复原方法 | |
| CN112488920B (zh) | 一种基于类高斯模糊核的图像正则化超分辨重建方法 | |
| WO2007054938A2 (en) | Optics for an extended depth of field | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| CN116029924A (zh) | 一种单片衍射的红外系统图像处理方法 | |
| CN110503603B (zh) | 一种基于引导上采样获得光场重对焦图像的方法 | |
| Evdokimova et al. | Study of GAN-based image reconstruction for diffractive optical systems | |
| Fang et al. | A scale-arbitrary image super-resolution network using frequency-domain information | |
| CN108648143B (zh) | 一种利用序列图像的图像分辨率增强方法 | |
| Dun et al. | Joint-designed achromatic diffractive optics for full-spectrum computational imaging | |
| CN101131429A (zh) | 带像差和小孔径衍射像质退化成像系统的图像复原方法 | |
| EP1672912B1 (en) | Method for producing an optical system including an electronic image enhancement processor | |
| CN117806036B (zh) | 一种基于压缩感知的单片衍射透镜系统消色差方法 | |
| CN109683343B (zh) | 一种超分辨成像系统的设计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |