CN112116539A - 一种基于深度学习的光学像差模糊去除方法 - Google Patents
一种基于深度学习的光学像差模糊去除方法 Download PDFInfo
- Publication number
- CN112116539A CN112116539A CN202010934616.1A CN202010934616A CN112116539A CN 112116539 A CN112116539 A CN 112116539A CN 202010934616 A CN202010934616 A CN 202010934616A CN 112116539 A CN112116539 A CN 112116539A
- Authority
- CN
- China
- Prior art keywords
- image
- aberration
- fuzzy
- energy domain
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 120
- 230000003287 optical effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 56
- 238000012937 correction Methods 0.000 claims abstract description 50
- 230000006870 function Effects 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 238000004088 simulation Methods 0.000 claims abstract description 13
- 238000009792 diffusion process Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 22
- 230000003595 spectral effect Effects 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000001427 coherent effect Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的光学像差模糊去除方法。包括以下步骤：1)获得带像差光学系统的点扩散函数；2.1)选择高分辨图像，进行能量域变换，得到能量域图像；2.2)利用计算的修正点扩散矩阵对能量域图像进行分块卷积，得到能量域仿真模糊图；2.3)对能量域仿真模糊图进行数值域变换，得到像差模糊图像，构成像差模糊数据集；3)基于像差模糊数据集，训练像差校正神经网络；4)使用该光学参数研制生产的带像差光学系统拍摄的图像，经步骤3)训练获得的像差校正神经网络进行校正，获得校正后的图像。使用时对相机(摄像头)的光学参数采用本发明方法进行操作，能对于光学系统的像差造成的图像模糊实现很好地予以消除。
Description
技术领域
本发明属于数字图像处理领域的光学修正方法，涉及了一种基于深度学习的光学像差模糊去除方法。
背景技术
近年来，研究人员对由于相机抖动、物体运动以及离焦等因素造成的模糊进行了充分研究，但是光学系统像差这一同样会引入图像模糊的因素却被忽略。传统光学设计中一般通过增加光学系统复杂度优化光学像差，然而这一方案在手机镜头等轻小型光学系统中更容易受到加工成本、镜头体积等因素的限制。因此通过软件方案校正光学系统的剩余像差，提升系统的成像质量是有必要的。
现有针对镜头像差模糊进行图像复原的工作可以分为两类：基于解卷积的图像复原算法和基于深度学习的算法。前者将像差对成像的影响描述为清晰图像卷积空间变化的模糊核，如果能够估计该模糊核，也就是成像系统的点扩散函数，就可以通过解卷积的方式恢复清晰图像。但是由于解卷积问题的病态性，当成像系统点扩散函数估计不准确时，复原结果通常与真实清晰图有较大偏差。基于学习的方法侧重于构建接近真实应用场景的数据集，训练神经网络隐式地学习像差模糊图与真实清晰图的映射关系。但是以往基于学习的算法通常存在着无法取得严格配准的模糊图与清晰图图像对以及实拍实验耗时耗力，在处理多种光学系统时工作量较大的问题。
发明内容
为了克服现有技术的不足和解决背景技术中存在的问题，本发明提出一种构建与真实像差退化情况近似的仿真数据集构建方式，从而基于深度学习技术对已知光学系统参数的任意光学成像系统进行光学像差模糊去除。
本发明采用的技术方案包括以下步骤：
1)获得带像差光学系统的点扩散函数，包括：
1.1)利用惠更斯子波相干叠加法分别计算带像差光学系统中可见光波各波长在各视场的点扩散函数，可见光波波长选择范围为400nm～700nm，覆盖相机传感器响应范围，所述视场是指图像中的一个区域；
1.2)测量相机传感器的光谱响应，根据光谱响应曲线积分加权获得R、G、B三通道的修正点扩散矩阵；
所述步骤1)具体为：
1.1)输入带像差光学系统中像差镜头的光学系统参数，计算可见光波中各波长对应不同视场的点扩散函数PSFsimul(λ)；【一个波长的一个视场对应获得一个点扩散函数PSFsimul(λ)。】
1.2)相机传感器的光强响应灵敏度向量Yk(λ)由下式表示：
其中，Ck表示不同滤色片的指示函数，k＝r、g、b，对于红色滤色片Cr＝(1,0,0)，绿色滤色片Cg＝(0,1,0)，蓝色滤色片Cb＝(0,0,1)；l(λ)表示入射光光谱，
分别表示入射光波长λ下所采集的R通道、G通道、B通道的光谱响应值，λ表示入射光的波长；
针对单个视场，通过离散控制改变入射光光谱分布，测量相机传感器R、G、B三通道的光谱响应灵敏度向量Yk(λ)，进而对该视场的点扩散函数PSFsimul进行校正，获得所有波长的单个视场的修正点扩散矩阵PSFch1，校正公式如下：
其中，PSFch1表示ch1＝R、G、B三通道的修正点扩散矩阵，Yk(λ)为不同波长的光谱响应灵敏度向量。
2)构建像差模糊数据集，包括：
2.1)选择高分辨图像，进行能量域变换，将高分辨图像由数值域转换至能量域，得到能量域图像；
2.2)利用计算的修正点扩散矩阵对能量域图像进行分块卷积，得到能量域仿真模糊图；
2.3)对能量域仿真模糊图进行数值域变换，将能量域仿真模糊图像由能量域转换至数值域，得到像差模糊图像，构成像差模糊数据集；
所述步骤2)具体为：
2.1)选择高分辨图像，进行能量域变换，将高分辨图像由数值域转换至能量域；
选择各种高分辨率图，如：楼房、街道、森林、人像或花卉的高分辨图像，对高分辨图像进行能量域变换，得到能量域图像；高分辨图像为高分辨率HD的图像。
所述能量域变换包括三个步骤，分别为：伽马逆变换、逆颜色空间变换和逆白平衡，具体步骤如下：通过拍摄灰阶卡来标定相机传感器中伽马校正的伽马参数γ；通过标定的伽马参数γ对高分辨图像进行伽马逆变换校正后，根据相机传感器的颜色空间变换矩阵CCM对伽马逆变换校正后的图像进行逆颜色空间变换；获得逆颜色空间变换的图像后，对逆颜色空间变换后的图像进行逆白平衡操作，对图像R通道的所有像素值除以[1.9，2.4]之间的随机值，对图像B通道的所有像素值除以[1.5，1.9]之间的随机值，得到逆白平衡后的能量域图像，即为高分辨能量域图像。
2.2)对高分辨能量域图像进行分块构成不同的子图像块，不同的子图像块对应不同的视场参数，选择对应视场的修正点扩散矩阵对子图像块进行卷积，得到像差模糊图像块，再将像差模糊图像块进行拼接后得到能量域像差模糊图；
2.3)对能量域像差模糊图进行数值域变换，将能量域像差模糊图由能量域转换至数值域，获得像差模糊图像，构成像差模糊数据集；
所述数值域变换包括马赛克操作、去马赛克操作、白平衡、颜色空间变换和伽马变换，具体步骤依次如下：
利用相机传感器的拜耳滤镜阵列分布省略掉能量域像差模糊图R，G，B三个通道中的两个通道的值，得到一张单通道图像；接着，对得到的单通道图像进行使用AHD去马赛克算法进行去马赛克操作；之后，对马赛克操作后的图像进行白平衡操作，对图像R通道和B通道的所有像素值分别乘以步骤2.1)中逆白平衡的对应随机值，得到白平衡后的图像；然后根据2.1)中相机传感器的颜色空间变换矩阵CCM对白平衡后的图像进行颜色空间变换操作；最后，根据2.1)中标定得到的伽马参数γ对颜色空间变换后的图像进行伽马变换，获得像差模糊图像，像差模糊图像和真实清晰图像构成像差模糊数据集。
3)基于像差模糊数据集，训练像差校正神经网络；
所述步骤3)具体为：选择U-net神经网络作为像差校正神经网络，将像差模糊图像输入像差校正神经网络的同时将像差模糊图像中像素坐标作为额外的特征层级联输入，训练像差校正神经网络拟合像差模糊图与真实清晰图像的映射关系，实现像差模糊图像中图像像差校正。
4)使用该光学参数研制生产的带像差光学系统拍摄的图像，经步骤3)训练获得的像差校正神经网络进行校正，获得校正后的图像。
本发明的有益效果在于：
本发明根据深度学习数据驱动设计了基于分波长修正点扩散矩阵分块卷积构建仿真数据集，建立了消除像差影响的神经网络。使用时，对于相机(摄像头)的光学参数进行本发明方法所述的操作和处理，对于光学系统的像差造成的图像模糊能很好地予以消除。
附图说明
图1为本发明方法流程示意图；
图2为插值后的传感器光谱响应曲线；
图3为不同波长在半视场的仿真点扩散函数可视化；
图4仿真像差模糊图与实拍图对比；
图5仿真像差模糊图与实拍图MTF对比；
图6为像差校正网络结构图；
图7为不同视场的像差校正结果图；
图8为实拍图像的像差校正结果图；
图9为像差校正前后的MTF对比图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
本发明的实施例，如图1所示，实施例流程示意图。
本实施例以50mmF4单反配套定制镜头的像差光学系统为例，像面尺寸4000pix×6000pix，像元大小3.7μm；当拍摄距离1.75m时，像差光学系统后截距为47.66mm；相机传感器的R、G、B三通道光谱响应灵敏度向量Yk(λ)可表示为下式，R、G、B三通道插值后的相机传感器光强响应灵敏度向量曲线如图2所示。
其中，Ck表示不同滤色片的指示函数，k＝r、g、b，对于红色滤色片Cr＝(1,0,0)，绿色滤色片Cg＝(0,1,0)，蓝色滤色片Cb＝(0,0,1)；l(λ)表示入射光光谱，
分别表示入射光波长λ下所采集的R通道、G通道、B通道的光谱响应值，λ表示入射光的波长。
将可见光波波段400nm～700nm以10nm波长间隔分为31个波长，作为仿真波长。将视场分割为400×600个视场块，仿真模式选择惠更斯点扩散函数仿真，得到各波长随视场变化的点扩散函数PSFsimul(λ)，将计算的点扩散函数存储在50×50的矩阵中。根据下式利用测量的相机传感器光强响应灵敏度向量曲线插值得到31个波长对应的光强响应值作为校正系数对计算的各波长点扩散函数PSFsimul(λ)进行校正，即对应波长校正系数与某通道点扩散函数矩阵PSFsimul(λ)相乘后再进行累加，最终的计算结果如图3所示，图3为选取的三波长半视场处的点扩散函数PSFsimul(λ)可视化结果，其中(a)图仿真波长为450nm，(b)图为550nm波长，(c)图为680nm。
其中，PSFch1表示ch1＝R、G、B三通道的修正点扩散矩阵，Yk(λ)为不同波长的光谱响应灵敏度向量。
选择各种高分辨率图像，如：楼房、街道、森林、人像或花卉的高分辨图像作为输入图。
首先通过拍摄灰阶卡，确定相机传感器的逆向伽马值为2.2，正向伽马值为0.454，根据下式利用测得的逆向伽马参数对高分辨图像做伽马逆变换：
其中，Lout为输出灰阶，Lin为输入灰阶。
通过标定的伽马参数γ对高分辨图像进行伽马逆变换校正后，根据相机的颜色空间变换矩阵对伽马逆变换校正后的图像进行逆颜色空间变换：
其中，CCM为一个3×3的相机传感器的颜色空间变换矩阵，RsRGB、GsRGB、BsRGB分别为逆伽马校正后的图像中某一个像素的R通道值、G通道值、B通道值，RCAM、GCAM、BCAM分别为逆颜色空间变换后的图像中某一个像素的R通道值、G通道值、B通道值；
获得逆颜色空间变换的图像后，对逆颜色空间变换后的图像进行逆白平衡操作，对图像R通道的所有像素值除以[1.9，2.4]之间的随机值，对图像B通道的所有像素值除以[1.5，1.9]之间的随机值，得到逆白平衡后的能量域图像，即为高分辨能量域图像。
根据下式对能量域图像进行分块得到子图像块，不同的子图像块对应不同的视场参数，选择对应视场的修正点扩散矩阵对子图像块进行卷积，完成卷积后对子图像块进行拼接。在本实施例中，分块参数选取为400×600，对应大小为10pix×10pix的子图像块，在边界处以对称填补的方式将子图像块填补为110pix×110pix，，卷积之后只对中央的10pix×10pix区域进行拼接，从而消除边界处的错误纹理和拼接后的分块效应，得到能量域像差模糊图。
卷积过程可具体表示为下式：
其中，u(patch，ch)表示能量域图像ch通道的子图像块，PSF(patch，ch)表示子图像块对应视场的ch通道的点扩散函数，splice表示将卷积模糊后的子图像块按照原视场位置拼接，vch为ch通道上的拼接结果，ch表示能量域图像R通道、G通道、B通道中的一个。
对能量域像差模糊图进行数值域变换，将能量域像差模糊图由能量域转换至数值域，获得像差模糊图像，构成像差模糊数据集；数值域变换包括马赛克操作、去马赛克操作、白平衡、颜色空间变换和伽马变换，具体步骤依次如下：
利用相机传感器的拜耳滤镜阵列分布省略掉能量域像差模糊图R，G，B三个通道中的两个通道的值，得到一张单通道图像；接着，对得到的单通道图像进行使用AHD去马赛克算法进行去马赛克操作；之后，对马赛克操作后的图像进行白平衡操作，对图像R通道和B通道的所有像素值分别乘以步骤2.1)中逆白平衡的对应随机值，得到白平衡后的图像；然后根据2.1)中相机的颜色空间变换矩阵CCM对白平衡后的图像进行颜色空间变换操作；最后，根据2.1)中标定得到的伽马参数0.454对颜色空间变换后的图像进行伽马变换，获得像差模糊图像，像差模糊图像和真实清晰图像构成像差模糊数据集。
最终得到的像差模糊图像与真实清晰图像的比对如图4所示，其中(a)图为仿真像差模糊图，(b)图为实拍图；由刃边法计算仿真模糊图与真实模糊图的调制传递函数作为客观评价依据如图5所示。
按照上述方式构建像差模糊数据集，在本实施例中共生成1000张像差模糊图作为训练集，100张作为验证集。像差校正神经网络结构选取U-net神经网络，通过逐层下采样提取多尺度图像信息，再逐层上采样恢复完整分辨率清晰图像。具体网络结构如图6所示，整体网络为4层的U-net结构神经网络，将输入的像差模糊图像后进行坐标提取，分别提取每个像素点的x坐标和y坐标作为额外的特征层级联在输入图像之后，从而显式地指导网络对空间变化的像差模糊进行处理。在U-net网络的每一层中，分别包括2个卷积层和2个激活层，激活函数选取ReLU函数。U-net网络的每一层之间为上/下采样层，在本实施例中下采样方式具体为最大池化方式。网络损失函数选择为均方误差损失函数与感知损失函数的组合，优化器选择为Adam优化器；网络超参数包括：初始学习率为0.002，Adam优化器β1为0.5、β2为0.999。
本方法的测试图由与单反相机配套的定制镜头拍摄，拍摄物距为1.75m，最终的像差校正效果如图7所示，其中(a)图为中心视场的复原结果，(b)图为半视场像差校正结果，(c)图为全视场复原结果，各图左侧为输入的实拍像差模糊图，右侧为像差校正图。实拍图像的像差校正结果如图8所示，其中左图为相机实拍结果，右图为像差校正结果，下方为图像放大后的区域展示，其在整张图像中的对应区域已在大图上标出。像差校正前后的客观评价指标MTF如图9所示，两条曲线分别表示像差校正后图像的MTF与光学像差模糊的实拍图MTF。
Claims (6)
1.一种基于深度学习的光学像差模糊去除方法，方法针对带像差光学系统，带像差光学系统包括镜头和相机传感器，其特征在于：方法包括以下步骤：
1)获得带像差光学系统的点扩散函数，包括：
1.1)利用惠更斯子波相干叠加法分别计算带像差光学系统中可见光波各波长在各视场的点扩散函数；
1.2)测量相机传感器的光谱响应，根据光谱响应积分加权获得R、G、B三通道的修正点扩散矩阵；
2)构建像差模糊数据集，包括：
2.1)选择高分辨图像进行能量域变换，将高分辨图像由数值域转换至能量域，得到能量域图像；
2.2)利用修正点扩散矩阵对能量域图像进行分块卷积，得到能量域仿真模糊图；
2.3)对能量域仿真模糊图进行数值域变换，将能量域仿真模糊图像由能量域转换至数值域，得到像差模糊图像，构成像差模糊数据集；
3)采用像差模糊数据集，训练像差校正神经网络；
4)使用所述的带像差光学系统拍摄的图像，经步骤3)训练获得的像差校正神经网络进行校正，获得校正后的图像。
2.根据权利要求1所述的一种基于深度学习的光学像差模糊去除方法，其特征在于：所述步骤1)具体为：
1.1)输入带像差光学系统中像差镜头的光学系统参数，计算可见光波中各波长对应不同视场的点扩散函数PSFsimul(λ)；
1.2)通过离散控制改变入射光光谱分布，测量各个波长下相机传感器R、G、B三通道的光谱响应灵敏度向量Yk(λ)，光强响应灵敏度向量Yk(λ)由下式表示：
其中，Ck表示不同滤色片的指示函数，k＝r、g、b，对于红色滤色片Cr＝(1,0,0)，绿色滤色片Cg＝(0,1,0)，蓝色滤色片Cb＝(0,0,1)；l(λ)表示入射光光谱，
分别表示入射光波长λ下所采集的R通道、G通道、B通道的光谱响应值，λ表示入射光的波长；
1.3)然后针对单个视场，利用不同波长的光谱响应灵敏度向量Yk(λ)对单个视场的点扩散函数PSFsimul进行校正，获得所有波长的单个视场的修正点扩散矩阵PSFch1，校正公式如下：
其中，PSFch1表示ch1＝R、G、B三通道的修正点扩散矩阵，Yk(λ)为不同波长的光谱响应灵敏度向量。
3.根据权利要求1或2任一所述的一种基于深度学习的光学像差模糊去除方法，其特征在于：所述步骤2)具体为：
2.1)选择高分辨图像，进行能量域变换，将高分辨图像由数值域转换至能量域；
所述能量域变换包括三个步骤，分别为：伽马逆变换、逆颜色空间变换和逆白平衡，具体步骤如下：
通过拍摄灰阶卡来标定相机传感器中伽马校正的伽马参数γ；
通过标定的伽马参数γ对高分辨图像进行伽马逆变换校正后，根据相机传感器的颜色空间变换矩阵CCM对伽马逆变换校正后的图像进行逆颜色空间变换；
获得逆颜色空间变换的图像后，对逆颜色空间变换后的图像进行逆白平衡操作，对图像R通道的所有像素值除以[1.9，2.4]之间的随机值，对图像B通道的所有像素值除以[1.5，1.9]之间的随机值，得到逆白平衡后的能量域图像，即为高分辨能量域图像。
2.2)对高分辨能量域图像进行分块获得不同的子图像块，不同的子图像块对应不同的视场参数，选择对应视场的修正点扩散矩阵对子图像块进行卷积，得到像差模糊图像块，再将像差模糊图像块进行拼接后得到能量域像差模糊图；
2.3)对能量域像差模糊图进行数值域变换，将能量域像差模糊图由能量域转换至数值域，获得像差模糊图像，构成像差模糊数据集；
所述数值域变换包括马赛克操作、去马赛克操作、白平衡、颜色空间变换和伽马变换，具体步骤依次如下：
利用相机传感器的拜耳滤镜阵列分布省略掉能量域像差模糊图R，G，B三个通道中的两个通道的值，得到一张单通道图像；接着，对得到的单通道图像进行使用AHD去马赛克算法进行去马赛克操作；之后，对马赛克操作后的图像进行白平衡操作，对图像R通道和B通道的所有像素值分别乘以步骤2.1)中逆白平衡的对应随机值，得到白平衡后的图像；然后根据2.1)中相机传感器的颜色空间变换矩阵CCM对白平衡后的图像进行颜色空间变换操作；最后，根据2.1)中标定得到的伽马参数γ对颜色空间变换后的图像进行伽马变换，获得像差模糊图像，像差模糊图像和真实清晰图像构成像差模糊数据集。
4.根据权利要求1所述的一种基于深度学习的光学像差模糊去除方法，其特征在于：所述步骤3)具体为：
选择U-net神经网络作为像差校正神经网络，将像差模糊图像输入像差校正神经网络的同时将像差模糊图像中像素坐标作为额外的特征层级联输入，训练像差校正神经网络拟合像差模糊图与真实清晰图像的映射关系，实现像差模糊图像中图像像差校正。
5.根据权利要求1所述的一种基于深度学习的光学像差模糊去除方法，其特征在于：可见光波波长选择范围为400nm～700nm，覆盖相机传感器响应范围。
6.根据权利要求1所述的一种基于深度学习的光学像差模糊去除方法，其特征在于：所述视场是指图像中的一个区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010934616.1A CN112116539B (zh) | 2020-09-08 | 2020-09-08 | 一种基于深度学习的光学像差模糊去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010934616.1A CN112116539B (zh) | 2020-09-08 | 2020-09-08 | 一种基于深度学习的光学像差模糊去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112116539A true CN112116539A (zh) | 2020-12-22 |
| CN112116539B CN112116539B (zh) | 2023-10-31 |
Family
ID=73802390
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010934616.1A Active CN112116539B (zh) | 2020-09-08 | 2020-09-08 | 一种基于深度学习的光学像差模糊去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116539B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561831A (zh) * | 2020-12-24 | 2021-03-26 | 中国计量大学 | 一种基于神经网络的畸变校正方法 |
| CN113191959A (zh) * | 2021-03-08 | 2021-07-30 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
| CN113219650A (zh) * | 2021-03-25 | 2021-08-06 | 北京空间机电研究所 | 一种高分辨率大视场空间光学遥感器的设计方法 |
| CN114518654A (zh) * | 2022-02-11 | 2022-05-20 | 南京大学 | 一种高分辨大景深成像方法 |
| CN114697571A (zh) * | 2020-12-29 | 2022-07-01 | 爱思开海力士有限公司 | 图像感测装置及其操作方法 |
| CN115499566A (zh) * | 2022-08-26 | 2022-12-20 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100818479B1 (ko) * | 2007-03-07 | 2008-04-02 | 삼성전기주식회사 | 선명도 향상을 위한 이미지 처리 방법 |
| CN101814182A (zh) * | 2003-01-16 | 2010-08-25 | 德萨拉国际有限公司 | 由图像处理器执行的方法、图像处理器以及成像装置 |
| CN105931196A (zh) * | 2016-04-11 | 2016-09-07 | 天津大学 | 基于傅里叶光学建模的编码光圈相机图像恢复方法 |
| CN107833186A (zh) * | 2017-10-26 | 2018-03-23 | 长沙全度影像科技有限公司 | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111507049A (zh) * | 2020-06-01 | 2020-08-07 | 中国计量大学 | 一种镜头像差仿真及优化方法 |
-
2020
- 2020-09-08 CN CN202010934616.1A patent/CN112116539B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101814182A (zh) * | 2003-01-16 | 2010-08-25 | 德萨拉国际有限公司 | 由图像处理器执行的方法、图像处理器以及成像装置 |
| KR100818479B1 (ko) * | 2007-03-07 | 2008-04-02 | 삼성전기주식회사 | 선명도 향상을 위한 이미지 처리 방법 |
| CN105931196A (zh) * | 2016-04-11 | 2016-09-07 | 天津大学 | 基于傅里叶光学建模的编码光圈相机图像恢复方法 |
| CN107833186A (zh) * | 2017-10-26 | 2018-03-23 | 长沙全度影像科技有限公司 | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 |
| CN111091503A (zh) * | 2019-11-09 | 2020-05-01 | 复旦大学 | 基于深度学习的图像去失焦模糊方法 |
| CN111507049A (zh) * | 2020-06-01 | 2020-08-07 | 中国计量大学 | 一种镜头像差仿真及优化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵强 等: "基于面部结构残差网络的压缩人脸图像复原算法", 南京邮电大学学报(自然科学版) * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561831A (zh) * | 2020-12-24 | 2021-03-26 | 中国计量大学 | 一种基于神经网络的畸变校正方法 |
| CN114697571A (zh) * | 2020-12-29 | 2022-07-01 | 爱思开海力士有限公司 | 图像感测装置及其操作方法 |
| CN113191959A (zh) * | 2021-03-08 | 2021-07-30 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
| CN113191959B (zh) * | 2021-03-08 | 2022-06-17 | 浙江大学 | 一种基于退化标定的数字成像系统极限像质提升方法 |
| CN113219650A (zh) * | 2021-03-25 | 2021-08-06 | 北京空间机电研究所 | 一种高分辨率大视场空间光学遥感器的设计方法 |
| CN113219650B (zh) * | 2021-03-25 | 2022-08-12 | 北京空间机电研究所 | 一种高分辨率大视场空间光学遥感器的设计方法 |
| CN114518654A (zh) * | 2022-02-11 | 2022-05-20 | 南京大学 | 一种高分辨大景深成像方法 |
| CN115499566A (zh) * | 2022-08-26 | 2022-12-20 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像系统 |
| CN115499566B (zh) * | 2022-08-26 | 2023-09-15 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112116539B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112116539B (zh) | 一种基于深度学习的光学像差模糊去除方法 | |
| US20240169483A1 (en) | Systems and Methods for Synthesizing High Resolution Images Using Images Captured by an Array of Independently Controllable Imagers | |
| CN110023810B (zh) | 光学系统像差的数字校正 | |
| CN111402146B (zh) | 图像处理方法以及图像处理装置 | |
| KR100911890B1 (ko) | 이미지 모델의 컬러 성분의 복원을 위한 방법, 시스템,프로그램 모듈, 및 컴퓨터 프로그램 생성물 | |
| US8824824B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program | |
| CN104429056B (zh) | 图像处理方法、图像处理装置、摄像装置及图像处理程序 | |
| CN109644230A (zh) | 图像处理方法、图像处理装置、图像拾取装置、图像处理程序和存储介质 | |
| CN114757831B (zh) | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 | |
| WO2009120928A2 (en) | Generalized assorted pixel camera systems and methods | |
| CN113676628B (zh) | 成像装置和图像处理方法 | |
| TW200808041A (en) | Digital filtering with noise gain limit | |
| JP7504629B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
| Tang et al. | What does an aberrated photo tell us about the lens and the scene? | |
| JP2024024012A (ja) | 学習データの生成方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
| WO1999067743A1 (fr) | Procede de correction d'images et dispositif d'entree d'images | |
| CN111010504B (zh) | 图像处理方法、装置和系统、摄像装置及存储介质 | |
| JP5730036B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
| CN115499566B (zh) | 基于深度计算光学元件的端到端高质量消色差成像系统 | |
| JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
| JP7146461B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
| JP7414745B2 (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
| Lluis-Gomez et al. | Chromatic aberration correction in RAW domain for image quality enhancement in image sensor processors | |
| JP2020061129A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 | |
| CN113191959B (zh) | 一种基于退化标定的数字成像系统极限像质提升方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |