CN117647887B - 基于四维相空间的光学系统迭代式像差矫正方法和装置 - Google Patents
基于四维相空间的光学系统迭代式像差矫正方法和装置 Download PDFInfo
- Publication number
- CN117647887B CN117647887B CN202410115385.XA CN202410115385A CN117647887B CN 117647887 B CN117647887 B CN 117647887B CN 202410115385 A CN202410115385 A CN 202410115385A CN 117647887 B CN117647887 B CN 117647887B
- Authority
- CN
- China
- Prior art keywords
- matrix
- aberration
- optical flow
- phase space
- dimensional phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 145
- 230000004075 alteration Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012937 correction Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 135
- 230000010354 integration Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 25
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Landscapes
- Lenses (AREA)
Abstract
本发明公开了一种基于四维相空间的光学系统迭代式像差矫正方法和装置，属于像差矫正技术领域。通过将自适应光学框架和基于四维相空间的光场成像算法有机结合，以及对光场成像系统的像差进行多次迭代估计，从而提高像差矫正和点扩散函数建模准确性，提升光场的成像质量。本发明矫正方法包括获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；并根据第一光流分布矩阵，生成四维相空间点扩散函数；以及获取所述四维相空间点扩散函数对应的第二光流分布矩阵；以确定二者之间的光流误差矩阵，并根据光流误差矩阵更新四维相空间点扩散函数。
Description
技术领域
本发明涉及像差矫正技术领域，更具体的说是涉及一种基于四维相空间的光学系统迭代式像差矫正方法和装置。
背景技术
常规的传感器只能记录光线的二维强度信息，丢失了视角信息，且基于常规透镜和传感器系统的二维成像结果是三维物体到二维平面的投影，丢失了样品的深度信息。
相应的，基于四维相空间的光场成像技术因能同时记录光线的空间信息和角度信息，以及可以更完备地描述三维空间中的光线而得到广泛应用。该技术通过对系统的点扩散函数进行建模，并使用点扩散函数对四维相空间数据进行去卷积，可以获得样品的三维层析结果。
但一般系统中，光学元件的设计、装调和样品自身都会不可避免地引入像差，从而导致系统理论建模不准确，成像性能严重下降。
目前，通常采用非球面镜等光学设计的方法降低系统像差，但该方法只能在一定程度上减小系统像差，而无法完全消除，并且无法解决光学元件装调及样品自身产生的像差。
虽然有相关人员提出利用自适应光学技术通过探测波前畸变，对光波波前进行矫正；但目前如何将自适应光学技术与光场成像结合，对光场成像的波前进行矫正，从而获得高分辨、无像差的成像结果，仍然是研究的热点与难点。
发明内容
有鉴于此，本发明基于四维相空间提供了一种迭代式像差矫正方法和装置，用于将自适应光学框架和基于四维相空间的光场成像算法有机结合，通过对光场成像系统的像差进行多次迭代估计，从而提高像差矫正和点扩散函数建模准确性，最终提升光场的成像质量。
为了实现上述目的，本发明采用如下技术方案：
本发明首先公开了一种基于四维相空间的光学系统迭代式像差矫正方法，包括：
S1、获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；
S2、根据第一光流分布矩阵，生成四维相空间点扩散函数；
S3、获取所述四维相空间点扩散函数对应的第二光流分布矩阵；
S4、根据所述第一光流分布矩阵和第二光流分布矩阵确定光流误差矩阵，当所述光流误差矩阵大于预设阈值时，根据所述光流误差矩阵确定像差误差矩阵，通过像差误差矩阵对四维相空间点扩散函数进行更新，重复步骤S3-S4，直至所述光流误差矩阵小于等于预设阈值。
作为优选，S1中，对所述光场数据进行预处理，以得到像素对应的四维相空间的光场数据，所述预处理包括平移、裁剪和重排。
所述光场数据来源于基于微透镜阵列的光场成像系统、基于相机阵列的光场成像系统，和/或基于孔径扫描的多视角采集系统。
作为优选，S1中，所述第一光流分布矩阵由光学系统四维相空间中所有视图相对于中心视图的光流组成，所述光流为所有视图与中心视图的互相关结果中峰值相对于原点的偏移。
作为优选，S2中，根据第一光流分布矩阵，生成四维相空间点扩散函数的过程包括：
对所述第一光流分布矩阵进行二维积分，得到光学系统的像差相位矩阵；
对所述像差相位矩阵进行泽尼克多项式拟合以及求和，得到泽尼克像差矩阵；
根据所述泽尼克像差矩阵生成四维相空间点扩散函数。
作为优选，根据所述泽尼克像差矩阵生成四维相空间点扩散函数包括：
将泽尼克像差矩阵加到光瞳函数的相位项，进行逆傅里叶变换后，得到带像差的点扩散函数；
将带像差的点扩散函数进行平移、裁剪，和/或重排，得到四维相空间点扩散函数。
作为优选，S4中，通过像差误差矩阵与泽尼克像差矩阵累加，对泽尼克像差矩阵进行更新，然后利用更新后的泽尼克像差矩阵，更新所述四维相空间点扩散函数。
作为优选，S4中，通过对所述光流误差矩阵依次进行二维积分，以及泽尼克多项式拟合，得到像差误差矩阵。
其次，本申请还公开了一种基于四维相空间的光学系统迭代式像差矫正装置，包括：
第一光流分布矩阵确定单元，用于获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；
点扩散函数生成单元，用于根据第一光流分布矩阵，生成四维相空间点扩散函数；
第二光流分布矩阵确定单元，用于获取所述四维相空间点扩散函数对应的第二光流分布矩阵；
点扩散函数迭代更新单元，用于根据所述第一光流分布矩阵和第二光流分布矩阵确定光流误差矩阵，当所述光流误差矩阵大于预设阈值时，根据所述光流误差矩阵确定像差误差矩阵，通过像差误差矩阵对四维相空间点扩散函数进行更新，直至所述光流误差矩阵小于等于预设阈值。
经由上述的技术方案可知，本发明公开提供了一种基于四维相空间的光学系统迭代式像差矫正方法和装置，旨在通过计算重建的方法，矫正光场成像系统的光学像差，并输出带有像差的系统点扩散函数。
与现有技术相比，本发明将自适应光学框架和基于四维相空间的光场重建算法有机结合，通过对系统的光学像差进行多次迭代估计，更新系统的点扩散函数，提高了系统建模准确性，最终实现了光场成像质量的提高。
相较于光学设计方案，本发明无需对系统进行更改，且可同时矫正光学装调和样品自身的像差；
相较于自适应光学方案，本发明结合四维相空间成像算法，对光场成像系统的像差进行迭代估计，提高了像差矫正的精度以及成像分辨率和成像质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为基于四维相空间的光学系统迭代式像差矫正方法流程图；
图2为基于四维相空间的光学系统迭代式像差矫正过程具体示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开的基于四维相空间的光学系统迭代式像差矫正方法，如图1，包括如下步骤：
S1、获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；
S2、根据第一光流分布矩阵，生成四维相空间点扩散函数；
S3、获取所述四维相空间点扩散函数对应的第二光流分布矩阵；
S4、根据所述第一光流分布矩阵和第二光流分布矩阵确定光流误差矩阵，当所述光流误差矩阵大于预设阈值时，根据所述光流误差矩阵确定像差误差矩阵，通过像差误差矩阵对四维相空间点扩散函数进行更新，重复步骤S3-S4，直至所述光流误差矩阵小于等于预设阈值。
一种实施例中，具体矫正过程如图2所示，包括：
首先采集原始光场数据，本实施例中，光场数据可以为基于微透镜阵列的光场成像系统、基于相机阵列的光场成像系统、基于孔径扫描的多视角采集系统等不同系统的光场数据，此处不做限定。
此外，获得原始光场数据后需进行预处理，以形成像素严格对应的四维相空间的光场数据，其中预处理步骤包括平移、裁剪和重排等。
进一步，根据光场数据确定光学系统四维相空间中所有视图相对于中心视图的第一光流分布矩阵S，其中，S的大小为Nnum*Nnum*2，表征不同视图之间的视差，本实施例中，第一光流分布矩阵由光学系统四维相空间中所有视图相对于中心视图的光流组成，所述光流为所有视图与中心视图的互相关结果中峰值相对于原点的偏移。
其次，对所述光流分布矩阵S进行二维积分，得到光学系统的像差相位矩阵P，其中u表示系统孔径；
以及对所述像差相位矩阵P进行泽尼克多项式拟合以及求和，得到泽尼克像差矩阵P’；本实施例中，建立N阶标准泽尼克多项式Zn，并使用最小二乘法对像差相位矩阵P和标准泽尼克多项式Zn进行拟合，获得拟合得到的泽尼克多项式系数Kn，大小为1*N；进一步地，求和获得泽尼克像差矩阵P’；
然后，利用波动光学模型，根据所述泽尼克像差矩阵P’生成四维相空间点扩散函数PSF。其中，成像系统的点扩散函数是光瞳函数的夫琅和费衍射，本发明中，将泽尼克像差矩阵P’加到光瞳函数的相位项，再进行逆傅里叶变换得到带像差的点扩散函数，进一步将带像差的点扩散函数进行平移，裁剪，重排等处理后，得到四维相空间点扩散函数PSF。
获取所述四维相空间点扩散函数对应的第二光流分布矩阵S’；此处，S’的大小为Nnum*Nnum*2，表征四维相空间点扩散函数PSF不同视图之间的视差；
进一步，根据所述第一光流分布矩阵S和第二光流分布矩阵S’确定光流误差矩阵E，即E=S’-S，并判断光流误差矩阵E是否小于阈值，当所述光流误差矩阵大于预设阈值时，通过对所述光流误差矩阵E依次进行二维积分，以及泽尼克多项式拟合，得到像差误差矩阵P”，以及通过像差误差矩阵P”对四维相空间点扩散函数进行更新，包括通过像差误差矩阵与泽尼克像差矩阵累加，对泽尼克像差矩阵进行更新，即P’=P’+P”；
重复步骤上述步骤，直至所述光流误差矩阵小于等于预设阈值。
最终，收敛的泽尼克像差矩阵P’，生成带有准确像差的系统点扩散函数。
另一种实施例中，本发明公开了一种基于四维相空间的光学系统迭代式像差矫正装置，包括：
第一光流分布矩阵确定单元，用于获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；
点扩散函数生成单元，用于根据第一光流分布矩阵，生成四维相空间点扩散函数；
第二光流分布矩阵确定单元，用于获取所述四维相空间点扩散函数对应的第二光流分布矩阵；
点扩散函数迭代更新单元，用于根据所述第一光流分布矩阵和第二光流分布矩阵确定光流误差矩阵，当所述光流误差矩阵大于预设阈值时，根据所述光流误差矩阵确定像差误差矩阵，通过像差误差矩阵对四维相空间点扩散函数进行更新，直至所述光流误差矩阵小于等于预设阈值。
由于该装置执行与基于四维相空间的光学系统迭代式像差矫正方法过程相一致，因此，此处不再赘述。
本发明中，原始光场数据包含了系统、装调和样品像差，基于该数据进行像差校正可以实现对上述所有像差同时进行校正，相比于光学设计方案，本发明无需对系统进行更改，并且可以同时矫正光学装调和样品自身的像差；相比于自适应光学方案，本发明结合四维相空间成像算法，对光场成像系统的像差进行迭代估计，提高了像差矫正的精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.一种基于四维相空间的光学系统迭代式像差矫正方法，其特征在于，
S1、获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；所述第一光流分布矩阵由光学系统四维相空间中所有视图相对于中心视图的光流组成，所述光流为所有视图与中心视图的互相关结果中峰值相对于原点的偏移；
S2、根据第一光流分布矩阵，生成四维相空间点扩散函数；包括：
对所述第一光流分布矩阵进行二维积分，得到光学系统的像差相位矩阵；
对所述像差相位矩阵进行泽尼克多项式拟合以及求和，得到泽尼克像差矩阵；
根据所述泽尼克像差矩阵生成四维相空间点扩散函数；
S3、获取所述四维相空间点扩散函数对应的第二光流分布矩阵；
S4、根据第一光流分布矩阵和第二光流分布矩阵确定光流误差矩阵，当所述光流误差矩阵大于预设阈值时，根据所述光流误差矩阵确定像差误差矩阵，通过像差误差矩阵对四维相空间点扩散函数进行更新，重复步骤S3-S4，直至所述光流误差矩阵小于等于预设阈值。
2.根据权利要求1所述的一种基于四维相空间的光学系统迭代式像差矫正方法，其特征在于，S1中，对所述光场数据进行预处理，以得到像素对应的四维相空间的光场数据，所述预处理包括平移、裁剪和重排。
3.根据权利要求1所述的一种基于四维相空间的光学系统迭代式像差矫正方法，其特征在于，根据所述泽尼克像差矩阵生成四维相空间点扩散函数包括：
将泽尼克像差矩阵加到光瞳函数的相位项，进行逆傅里叶变换后，得到带像差的点扩散函数；
将带像差的点扩散函数进行平移、裁剪，和/或重排，得到四维相空间点扩散函数。
4.根据权利要求1所述的一种基于四维相空间的光学系统迭代式像差矫正方法，其特征在于，S4中，通过像差误差矩阵与泽尼克像差矩阵累加，对泽尼克像差矩阵进行更新，
然后利用更新后的泽尼克像差矩阵，更新所述四维相空间点扩散函数。
5.根据权利要求1所述的一种基于四维相空间的光学系统迭代式像差矫正方法，其特征在于，S4中，通过对所述光流误差矩阵依次进行二维积分，以及泽尼克多项式拟合，得到像差误差矩阵。
6.一种基于四维相空间的光学系统迭代式像差矫正装置，其特征在于，包括：
第一光流分布矩阵确定单元，用于获取光场数据，根据所述光场数据确定光学系统四维相空间中的第一光流分布矩阵；所述第一光流分布矩阵由光学系统四维相空间中所有视图相对于中心视图的光流组成，所述光流为所有视图与中心视图的互相关结果中峰值相对于原点的偏移；
点扩散函数生成单元，用于根据第一光流分布矩阵，生成四维相空间点扩散函数；包括：
对所述第一光流分布矩阵进行二维积分，得到光学系统的像差相位矩阵；
对所述像差相位矩阵进行泽尼克多项式拟合以及求和，得到泽尼克像差矩阵；
根据所述泽尼克像差矩阵生成四维相空间点扩散函数；
第二光流分布矩阵确定单元，用于获取所述四维相空间点扩散函数对应的第二光流分布矩阵；
点扩散函数迭代更新单元，用于根据第一光流分布矩阵和第二光流分布矩阵确定光流误差矩阵，当所述光流误差矩阵大于预设阈值时，根据所述光流误差矩阵确定像差误差矩阵，通过像差误差矩阵对四维相空间点扩散函数进行更新，直至所述光流误差矩阵小于等于预设阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410115385.XA CN117647887B (zh) | 2024-01-29 | 2024-01-29 | 基于四维相空间的光学系统迭代式像差矫正方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410115385.XA CN117647887B (zh) | 2024-01-29 | 2024-01-29 | 基于四维相空间的光学系统迭代式像差矫正方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117647887A CN117647887A (zh) | 2024-03-05 |
| CN117647887B true CN117647887B (zh) | 2024-04-26 |
Family
ID=90045342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410115385.XA Active CN117647887B (zh) | 2024-01-29 | 2024-01-29 | 基于四维相空间的光学系统迭代式像差矫正方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117647887B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102252763A (zh) * | 2011-04-15 | 2011-11-23 | 中国科学院长春光学精密机械与物理研究所 | 光学成像系统光学波前的单焦面高精度测试方法 |
| CN108520496A (zh) * | 2018-04-12 | 2018-09-11 | 电子科技大学 | 一种基于光流法的海空背景监控视频图像拼接方法 |
| WO2019142313A1 (ja) * | 2018-01-19 | 2019-07-25 | 三菱電機株式会社 | 波面計測装置および波面計測システム |
| CN115185078A (zh) * | 2022-05-30 | 2022-10-14 | 元潼(北京)技术有限公司 | 非相干孔径合成像差校正方法及装置 |
| CN116912103A (zh) * | 2022-05-30 | 2023-10-20 | 清华大学 | 元成像光学成像的数字像差校正方法及装置 |
-
2024
- 2024-01-29 CN CN202410115385.XA patent/CN117647887B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102252763A (zh) * | 2011-04-15 | 2011-11-23 | 中国科学院长春光学精密机械与物理研究所 | 光学成像系统光学波前的单焦面高精度测试方法 |
| WO2019142313A1 (ja) * | 2018-01-19 | 2019-07-25 | 三菱電機株式会社 | 波面計測装置および波面計測システム |
| CN108520496A (zh) * | 2018-04-12 | 2018-09-11 | 电子科技大学 | 一种基于光流法的海空背景监控视频图像拼接方法 |
| CN115185078A (zh) * | 2022-05-30 | 2022-10-14 | 元潼(北京)技术有限公司 | 非相干孔径合成像差校正方法及装置 |
| CN116912103A (zh) * | 2022-05-30 | 2023-10-20 | 清华大学 | 元成像光学成像的数字像差校正方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117647887A (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4377404B2 (ja) | 画像向上機能を備えたカメラ | |
| US8432479B2 (en) | Range measurement using a zoom camera | |
| US7616842B2 (en) | End-to-end design of electro-optic imaging systems with constrained digital filters | |
| US8582820B2 (en) | Coded aperture camera with adaptive image processing | |
| US9185272B2 (en) | Image processing method, image processing apparatus, image pickup apparatus, and storage medium storing image processing program | |
| Seldin et al. | Phase-diverse speckle reconstruction of solar data | |
| Green et al. | Multi-aperture photography | |
| US7274442B2 (en) | Closed-loop wavefront sensor using field programmable gate array | |
| CN111031264B (zh) | 一种基于透射式红外孔径编码成像系统及其超分辨方法 | |
| CN111199528A (zh) | 一种鱼眼图像畸变矫正方法 | |
| JP2008511859A (ja) | 球面収差範囲が制御され中央を掩蔽した絞りを有する多焦点距離レンズを使用した拡張焦点深度 | |
| CN109447930B (zh) | 小波域光场全聚焦图像生成算法 | |
| CN114897752B (zh) | 一种基于深度学习的单透镜大景深计算成像系统及方法 | |
| JP2007304525A (ja) | 画像入力装置および電子機器および画像入力方法 | |
| JP2014192528A (ja) | 撮像装置、画像処理システム、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| CN113837947B (zh) | 一种获得光学相干层析大焦深图像的处理方法 | |
| CN112150526A (zh) | 一种基于深度学习的光场图像深度估计方法 | |
| CN116797676A (zh) | 一种适用于编码孔径压缩光谱偏振成像重建的方法 | |
| CN117647887B (zh) | 基于四维相空间的光学系统迭代式像差矫正方法和装置 | |
| CN113393380B (zh) | 基于像素编码的大f数衍射实时校正的高分辨成像相机 | |
| EP1672912B1 (en) | Method for producing an optical system including an electronic image enhancement processor | |
| CN116068758B (zh) | 全景环带镜头设计方法、镜头及全景图像恢复方法 | |
| Cui et al. | Exposure Completing for Temporally Consistent Neural High Dynamic Range Video Rendering | |
| Leung et al. | Centroid estimation by model-fitting from undersampled wavefront sensing images | |
| Liang et al. | Wavefront coded-aperture pixel super-resolution imaging based on circular patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |