CN111507049B - 一种镜头像差仿真及优化方法 - Google Patents

一种镜头像差仿真及优化方法 Download PDF

Info

Publication number
CN111507049B
CN111507049B CN202010484612.8A CN202010484612A CN111507049B CN 111507049 B CN111507049 B CN 111507049B CN 202010484612 A CN202010484612 A CN 202010484612A CN 111507049 B CN111507049 B CN 111507049B
Authority
CN
China
Prior art keywords
aberration
image
lens
function
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010484612.8A
Other languages
English (en)
Other versions
CN111507049A (zh
Inventor
牛浩
李旸晖
王乐
唐欣悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010484612.8A priority Critical patent/CN111507049B/zh
Publication of CN111507049A publication Critical patent/CN111507049A/zh
Application granted granted Critical
Publication of CN111507049B publication Critical patent/CN111507049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种镜头仿真及优化方法，包括：1)计算偏离轴上图像点的波前差函数W，建立波前差与出射角θ之间的函数关系。2)根据计算出的波前差W，建立孔径函数P与波前差W的函数关系。3)通过对孔径函数P与P*的张量积运算，得到光学传递函数H的表达式，对光学传递函数H与H*的张量积运算取傅里叶逆变换并进行平方运算，得到点扩散函数h的函数表达式。4)通过计算携带像差的镜头在焦平面处每一像素点的点扩散函数，将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像。5)将仿真出的携带像差的图像和其对应的原始的无像差图像作为输入送到卷积神经网络中，对初始的卷积神经网络进行训练，建立波前像差与赛德尔多项式的匹配模型作为输出，然后运用训练好的卷积神经网络对模拟出携带像差的图像进行预测，获得对应的像差校正后的高质量图像，从而达到校正图像像差的目的。

Description

一种镜头像差仿真及优化方法
技术领域
本发明涉及光学成像和数字图像处理领域，具体涉及一种镜头像差仿真及优化方法。
背景技术
目前大多数镜头拍摄出的图像都无法避免像差，从而影响成像质量。因此，消除或降低拍摄图像带有的像差就显得尤为重要。通常情况下，为了提高图像的成像质量，大多采用优化设计的镜头，但此类镜头需要的光学元件结构复杂，设计难度增加，硬件成高，因此实现一种低成本、高效纠正像差的方法意义深远。通过后期计算的方法来消除像差得到越来越多人的认可，在公开号为CN 110068973A(申请号为201910297270.6)的发明专利《一种基于反卷积神经网络的液晶像差校正方法》中公开了一种基于反卷积神经网络的液晶像差校正方法，通过反卷积神经网络生成校正波面灰度值控制液晶实现对波前像差进行高效校正的目的。该方法在卷积神经网络的基础上增加反卷积层，可以根据畸变光斑波前直接生成校正波面灰度值，不需要额外设置灰度值转换模块，提高了控制系统的实时性。但是这种方法在进行像差仿真的时候需要运用多种成像器件，操作起来复杂，成本比较高，同时需要实时监控校正效果。
发明内容
本发明针对目前现有的运用神经网络进行像差校正的方法在进行像差校正时需要运用多种成像器件收集像差，操作复杂，成本高等问题，提出了一种能够实现一整套镜头的像差仿真及进行自学习像差校正的优化方法。该方法通过仿真首先计算携带像差的镜头在焦平面处每一像素点的点扩散函数，其次将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像，将仿真出的携带像差的图像和其对应的原始的无像差图像作为输入送到卷积神经网络中，对初始的卷积神经网络进行训练，建立波前像差与赛德尔多项式的匹配模型作为输出，然后运用训练好的卷积神经网络对模拟出的携带像差的图像进行预测，获得校正像差后的图像，从而达到校正图像像差的目的。
一种镜头仿真及优化方法，其特征在于，包括以下步骤：
1)计算经过光学镜头后光场波前差的赛德尔多项式中球差、彗差、像散、场曲、畸变项的系数；
2)利用步骤1)中计算所得的赛德尔多项式中各像差项的系数，计算波前差函数W；
3)利用步骤2)中计算所得的波前差函数W，计算随波前差函数变换的孔径函数P；
4)利用步骤3)中计算所得的孔径函数P，计算该光学镜头的想干传递函数H；
5)根据光学传递函数H，计算该镜头的点扩散函数h；
6)根据计算得到的点扩散函数h，仿真出光学镜头拍摄的携带像差的图像。
7)根据步骤6)中仿真出的携带像差的图像，利用深度卷积神经网络模块对携带像差的图像进行学习训练，获得对应的像差校正后的高质量图像，实现像差的校正。
步骤1)中，所述的赛德尔多项式系数(值)可以由ZEMAX等商用软件计算得到，可在特定波长下计算，如工作波长550纳米下。在ZEMAX等商用软件中，输入光学镜头的入射面和出射面特性(即光学镜头的参数)和工作波长，即可得到赛德尔多项式中球差、彗差、像散、场曲、畸变项的系数。
所述的光学镜头可以为市场上标准镜头或非标准镜头。
步骤2)中，以所述光学镜头的光轴与入射面的交点为原点，建立xy轴直角坐标系；
所述波前差函数W利用步骤1)中计算所得的赛德尔多项式中各像差项的系数，计算偏离轴上图像点的波前差函数W；
式中j,m,n是编号和幂次项，Wklm是波前像差系数，五个主要赛德尔像差对应于k+l＝4，是图像高度的函数，θ表示是出射面的角度。
所述ρ表示极坐标系中的坐标，与所述xy轴直角坐标系的关系为：
所述孔径函数P与波前差W的函数关系：
所述式中wxp是瞳孔坐标半径，所述表示半径为1/2的圆函数。
利用步骤3)中计算所得的孔径函数P与P的逆矩阵进行外积运算，计算该光学镜头的相干传递函数H；
通过(1)、(2)、(3)、(4)(5)式，建立点扩散函数h与所述相干传递函数H的关系，对光学传递函数H与H*的张量积运算取傅里叶逆变换并进行平方运算，计算该镜头的点扩散函数h；
根据计算出的携带像差的镜头在焦平面处每一像素点的点扩散函数，将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像。
根据步骤6)中仿真出的携带像差的图像，利用深度卷积神经网络模块对携带像差的图像进行学习训练，获得对应的像差校正后的高质量图像。
步骤7)中卷积神经网络的结构为：五层卷积层，两层池化层及三层全连接层；
所述学习训练，将仿真出的携带像差的图像和其对应的原始的无像差图像作为输入送到卷积神经网络中，对初始的卷积神经网络进行训练，建立波前像差与赛德尔多项式的匹配模型作为输出，最终得到关于像差校正的卷积神经网络。
进一步地，将仿真出的携带像差的图像加载到卷积神经网络上，实现图像像差校正及优化。
作为优选，所述光学镜头入射波长为550纳米。
作为优选，所述仿真图像数据集为1000张无像差清晰图像。
作为优选，所述卷积神经网络选用Alexnet网络。
相对于现有技术，本发明具有以下有益的技术效果：
与传统镜头优化方法相比，本发明能够通过软件批量仿真出光学镜头拍摄图像的效果，极大减少了用镜头拍摄图像的成本，并且不限于硬件的要求。
本发明运用卷积神经网络的方法优化镜头进行像差校正，能够针对任意镜头进行优化，适用范围广。
本发明结构简单，易于实现。
附图说明
图1是本发明的镜头仿真及优化方法的原理图。
图2是本发明的镜头仿真及优化方法的流程图。
图3是本发明的基于卷积神经网络信息预测流程图。
图4是本发明仿真的点扩散函数图。
图5是本发明的像差校正前后对比图。
具体实施方式
下面结合说明书附图来详细说明本发明，但本发明并不限于此。
如图1所示是本发明的镜头仿真及优化原理图，包括：首先计算偏离轴上图像点的波前差函数W，建立波前差与出射角θ之间的函数关系。根据计算出的波前差W，建立孔径函数P与波前差W的函数关系。通过对孔径函数P与P*的张量积运算，得到光学传递函数H的表达式，对光学传递函数H与H*的张量积运算取傅里叶逆变换并进行平方运算，得到点扩散函数h的函数表达式。通过计算携带像差的镜头在焦平面处每一像素点的点扩散函数，将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像，将仿真出的有像差图像和其对应的原始的无像差图像作为输入送到卷积神经网络中，对初始的卷积神经网络进行训练，建立波前像差与赛德尔多项式的匹配模型作为输出，然后运用训练好的卷积神经网络对模拟出的携带像差的图像进行预测，获得对应的像差校正后的高质量图像，从而达到校正图像像差的目的。
如图2所示，镜头仿真及优化方法的流程图为：运用编程软件模拟仿真出光学镜头的点扩散函数；将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像；卷积神经网络模块通过对大量模拟仿真出的携带像差的图像进行学习训练，获得对应的像差校正后的高质量图像，实现对像差的校正以及镜头的优化。
本实施例中编程软件选用Matlab编程软件，光学镜头选择为：有效焦距为100毫米，像方空间数f为5，瞳孔直径为20毫米，前表面曲率半径为51.68毫米，玻璃选用中心厚度为4.585毫米的BK7样式玻璃。
本实施例中赛德尔多项式的系数可以使用ZEMAX等商用软件进行计算，入射波长λ为550纳米，计算得到的球差系数为4.963λ，彗差系数为2.637λ，像散系数为9.025λ，场曲系数为7.536λ，畸变系数为0.157λ，仿真的点扩散函数为7*7的点阵图，模拟仿真出的点扩散函数图如图4所示。
本实施例中选用的卷积神经网络为Alexnet卷积神经网络，结构为：五层卷积层，两层池化层及三层全连接层。
如图3所示，基于卷积神经网络信息预测流程图为：首先将软件仿真出的光学镜头拍摄的图像输入到卷积神经网络中进行训练，建立波前像差与赛德尔多项式的匹配模型，生成训练模型。应用阶段，将模拟仿真得到的携带像差的图像输入到训练好的卷积神经网络中，获得对应的像差校正后的高质量图像，实现对像差的校正以及镜头的优化。
如图5所示，像差校正前后对比图为：左图为将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像，右图为对初始的卷积神经网络进行训练，建立波前像差与赛德尔多项式的匹配模型作为输出，然后运用训练好的卷积神经网络对携带像差的图像进行预测，获得的校正像差后的高质量图像。
最后需要说明的是，以上实施方式仅用以说明专利的技术方案而非限制，本领域的普通技术人员来说不脱离本专利原理的前提下，还可以做出若干变型和改进，这也应视为本专利的保护范围。

Claims (7)

1.一种镜头仿真及优化方法，其特征在于，该方法包括如下步骤：
1）计算经过光学镜头后光场波前差的赛德尔多项式中球差、彗差、像散、场曲、 畸变项的系数；
2）利用步骤1）中计算所得的赛德尔多项式中各像差项的系数，计算波前差函数；
3）利用步骤2）中计算所得的波前差函数，计算随波前差函数变换的孔径函数；
4）利用步骤3）中计算所得的孔径函数，计算该光学镜头的相干传递函数；
5）根据光学传递函数，计算该镜头的点扩散函数；
6）根据计算得到的点扩散函数，仿真出光学镜头拍摄的携带像差的图像；
7）根据步骤6）中仿真出的携带像差的图像，利用深度卷积神经网络模块对携带像差的图像进行学习训练，获得对应的像差校正后的高质量图像，实现像差的校正。
2.根据权利要求1所述的镜头仿真及优化方法，其特征在于，步骤1)中，所述的光学镜头为市场上任意标准镜头。
3.根据权利要求1所述的镜头仿真及优化方法，其特征在于，步骤3）中，所述的孔径为圆形孔径。
4.根据权利要求1所述的镜头仿真及优化方法，其特征在于，步骤6）中，所述的携带像差的图像是通过计算携带像差的镜头在焦平面处每一像素点的点扩散函数，其次将点扩散函数与该点无像差图像进行卷积运算，仿真出该镜头拍摄的携带像差的图像。
5.根据权利要求1所述的镜头仿真及优化方法，其特征在于，步骤7）中，卷积神经网络的结构为：五层卷积层，两层池化层及三层全连接层。
6.根据权利要求1所述的镜头仿真及优化方法，其特征在于，步骤7）中，所述学习训练，是将仿真出的携带像差的图像和其对应的原始无像差图像作为输入送到卷积神经网络中，对初始的卷积神经网络进行学习训练。
7.根据权利要求1所述的镜头仿真及优化方法，其特征在于，步骤7）中，将仿真出的携带像差的图像加载到卷积神经网络上进行预测，获得对应的像差校正后的高质量图像，实现像差校正优化。
CN202010484612.8A 2020-06-01 2020-06-01 一种镜头像差仿真及优化方法 Active CN111507049B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010484612.8A CN111507049B (zh) 2020-06-01 2020-06-01 一种镜头像差仿真及优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010484612.8A CN111507049B (zh) 2020-06-01 2020-06-01 一种镜头像差仿真及优化方法

Publications (2)

Publication Number Publication Date
CN111507049A CN111507049A (zh) 2020-08-07
CN111507049B true CN111507049B (zh) 2024-01-30

Family

ID=71878626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010484612.8A Active CN111507049B (zh) 2020-06-01 2020-06-01 一种镜头像差仿真及优化方法

Country Status (1)

Country Link
CN (1) CN111507049B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116539B (zh) * 2020-09-08 2023-10-31 浙江大学 一种基于深度学习的光学像差模糊去除方法
CN112561831A (zh) * 2020-12-24 2021-03-26 中国计量大学 一种基于神经网络的畸变校正方法
JP2022163926A (ja) * 2021-04-15 2022-10-27 浜松ホトニクス株式会社 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル
JP2022163925A (ja) * 2021-04-15 2022-10-27 浜松ホトニクス株式会社 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル
CN115499566B (zh) * 2022-08-26 2023-09-15 四川大学 基于深度计算光学元件的端到端高质量消色差成像系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559688A (zh) * 2013-10-29 2014-02-05 电子科技大学 基于波前图像补偿的畸变校正方法
CN104483752A (zh) * 2014-12-23 2015-04-01 中国科学院光电研究院 一种反射式数字成像系统的设计方法
CN109031654A (zh) * 2018-09-11 2018-12-18 安徽农业大学 一种基于卷积神经网络的自适应光学校正方法及系统
CN110023810A (zh) * 2016-12-01 2019-07-16 阿尔马伦斯公司 光学系统像差的数字校正
CN110068973A (zh) * 2019-04-15 2019-07-30 中国科学院光电技术研究所 一种基于反卷积神经网络的液晶像差校正方法
CN110533607A (zh) * 2019-07-30 2019-12-03 北京威睛光学技术有限公司 一种基于深度学习的图像处理方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625043B (zh) * 2011-01-25 2014-12-10 佳能株式会社 图像处理设备、成像设备和图像处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559688A (zh) * 2013-10-29 2014-02-05 电子科技大学 基于波前图像补偿的畸变校正方法
CN104483752A (zh) * 2014-12-23 2015-04-01 中国科学院光电研究院 一种反射式数字成像系统的设计方法
CN110023810A (zh) * 2016-12-01 2019-07-16 阿尔马伦斯公司 光学系统像差的数字校正
CN109031654A (zh) * 2018-09-11 2018-12-18 安徽农业大学 一种基于卷积神经网络的自适应光学校正方法及系统
CN110068973A (zh) * 2019-04-15 2019-07-30 中国科学院光电技术研究所 一种基于反卷积神经网络的液晶像差校正方法
CN110533607A (zh) * 2019-07-30 2019-12-03 北京威睛光学技术有限公司 一种基于深度学习的图像处理方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
45.5X infinity corrected Schwarzschild microscope objective lens design: optical performance evaluation and tolerance analysis using Zemax;SD Alaruri;《International Journal of Measurement Technologies and Instrumentation Engineering》;全文 *
Effects of aberrations on effective point spread function in STED microscopy;Li Yanghui 等;《Applied Optics》;全文 *
基于计算光学的非完善光学系统图像质量提高及其应用研究;崔金林;《中国优秀博士学位论文全文数据库 信息科技辑》;全文 *
用于激光测振的可调扩束聚焦镜设计;武俊峰 等;《激光与光电子学进展》;全文 *

Also Published As

Publication number Publication date
CN111507049A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507049B (zh) 一种镜头像差仿真及优化方法
CN109031654B (zh) 一种基于卷积神经网络的自适应光学校正方法及系统
US20230222629A1 (en) Imaging system and method for imaging objects with reduced image blur
CN110648298A (zh) 一种基于深度学习的光学像差畸变校正方法及系统
US11300445B2 (en) System and method of wavefront sensing with engineered images
CN112561831A (zh) 一种基于神经网络的畸变校正方法
CN110794577A (zh) 一种结合自适应光学和图像处理的高分辨力成像系统控制方法
CN113077540B (zh) 一种端到端成像设备设计方法和装置
US8294999B2 (en) Optics for an extended depth of field
US20210405354A1 (en) Method and apparatus for optimizing a lens of a virtual reality device, and computer readable storage medium
Yang et al. Curriculum learning for ab initio deep learned refractive optics
CN109407311A (zh) 一种基于相位差异法的衍射光学成像系统波前反演算法
Jiang et al. Annular computational imaging: Capture clear panoramic images through simple lens
Lin et al. Non-blind optical degradation correction via frequency self-adaptive and finetune tactics
CN111695676B (zh) 一种基于生成对抗网络的波前复原方法及系统
CN114693938A (zh) 基于残差注意力网络的波前畸变校正方法
Lehmann et al. Resolution and accuracy of nonlinear regression of point spread function with artificial neural networks
Li et al. Computational optical system design: a global optimization method in a simplified imaging system
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体
CN211264359U (zh) 一种基于深度学习的光学像差畸变校正系统
CN114994859A (zh) 基于cnn的tma望远镜面形、位姿误差在轨校正方法
Evdokimova et al. Meta-Learning Approach in Diffractive Lens Computational Imaging
CN114881874B (zh) 基于自适应光学望远镜成像过程的高分辨力图像生成方法
CN116563117B (zh) 基于计算成像技术的超分辨率共形窗口成像系统及方法
Hiroi et al. Neural distortion fields for spatial calibration of wide field-of-view near-eye displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant