CN113077540A - 一种端到端成像设备设计方法和装置 - Google Patents
一种端到端成像设备设计方法和装置 Download PDFInfo
- Publication number
- CN113077540A CN113077540A CN202110351374.8A CN202110351374A CN113077540A CN 113077540 A CN113077540 A CN 113077540A CN 202110351374 A CN202110351374 A CN 202110351374A CN 113077540 A CN113077540 A CN 113077540A
- Authority
- CN
- China
- Prior art keywords
- image
- lens
- parameters
- imaging device
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013461 design Methods 0.000 title claims description 28
- 238000012805 post-processing Methods 0.000 claims abstract description 48
- 238000009877 rendering Methods 0.000 claims abstract description 28
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000004075 alteration Effects 0.000 claims abstract description 17
- 238000004088 simulation Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000012634 optical imaging Methods 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000003754 machining Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012614 Monte-Carlo sampling Methods 0.000 description 1
- 238000007516 diamond turning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/61—Scene description
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Lenses (AREA)
Abstract
本发明提供了一种端到端成像设备设计方法和装置，所述方法包括：获取训练所述成像设备对应的预设场景；基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。本发明实施例提供的方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。
Description
技术领域
本发明涉及光学设计领域，特别涉及一种端到端成像设备设计方法和装置。
背景技术
成像设备的设计通常是由经验驱动设计的光学系统，结合后续复杂的图像信号处理链路两个环节共同完成。
随着近年来计算成像技术的发展，通常使用端到端的方案来解决上述两个环节的隔阂问题。然而，现有端到端设计方案所采用的图像成像模型普遍过于简单，例如傅里叶变换模型或其他类似的近轴模型。这些模型仅支持单透镜表面的优化，限制了所设计的透镜所生成的图像成像质量。
发明内容
有鉴于此，本发明实施例的目的在于提供一种端到端成像设备设计方法和装置，具体包括：
第一方面，本发明实施例提供了一种端到端成像设备设计方法，所述方法包括：
获取训练所述成像设备对应的预设场景；
基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；
利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；
根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。
可选地，所述基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像，具体包括：
将透镜表示为一个球面镜和一个多项式矫正因子；
采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差；
根据传感器接收的光学成像模拟的光信号，生成模拟图像信号；
对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。
可选地，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，采用牛顿迭代法来确定光线与平面交点的数值解，获取与透镜参数相关的像差仿真。
可选地，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，基于柯西色散公式模拟在各种光学材料和透镜面型情况下的光的色散。
可选地，所述预处理图像需要进行白平衡、去马赛克、颜色矫正、数字增益、图像恢复和/或Gamma校正处理。
可选地，所述根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数，具体包括：
根据所述生成图像和对应的参考图像，确定对应的损失函数值；
根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；
根据所述梯度值，使用梯度下降法更新所述透镜的参数和图像后处理网络的参数。
可选地，所述透镜的参数包括用于表征非球面透镜的多项式矫正因子中的曲率、圆锥系数和高阶系数。
可选地，所述图像后处理网络为生成对抗网络，所述生成对抗网络的生成网络采用7层尺度的U-net结构，并包含连续的6次下采样和6次上采样阶段；
所述生成对抗网络的对抗网络包括基于全局空间上下文的全局判别器，以及基于PatchGAN的局部判别器。
可选地，所述图像后处理网络包括所嵌入的ISP、优化迭代或神经网络结构。
第二方面，本发明实施例提供了一种端到端成像设备设计装置，所述装置包括：
场景获取模块，用于获取训练所述成像设备对应的预设场景；
图像渲染模块，用于基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；
图像后处理模块，用于利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；
参数更新模块，用于根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。
第三方面，本发明实施例提供了一种成像装置制造方法，包括：
确定所述成像装置的透镜的初始参数；
根据第一方面的端到端成像设备设计方法得到的所述成像装置更新后的参数，使用球面或非球面镜加工工艺制造出对应的透镜；
使用适配器将所述透镜与图像传感器进行组合，得到所述成像装置。
第四方面，本发明实施例提供了一种成像方法，所述方法包括：
根据第三方面的成像装置制造方法得到成像装置；
使用所述成像装置对目标场景进行成像，得到目标预处理图像；
根据第一方面的端到端成像设备设计方法得到的图像后处理网络的参数，将所述目标预处理图像输入至所述图像后处理网络中，得到目标数字图像。
本发明实施例提供的成像设备设计方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳务的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。
图1示出了根据本公开实施例提供的端到端成像设备设计方法的流程示意图。
图2示出了根据本公开实施例提供的端到端成像设备设计方法的另一流程示意图。
图3示出了根据本公开实施例提供的透镜模型以及基于可微的光线跟踪渲染方法的流程示意图。
图4示出了根据本公开实施例提供的端到端成像设备设计装置的结构示意图。
图5示出了根据本公开实施例提供的成像装置制造方法的流程示意图。
图6示出了根据本公开实施例提供的成像方法的流程示意图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
成像设备的设计通常是由经验驱动设计的光学系统，结合后续复杂的图像信号处理链路两个环节共同完成。
随着近年来计算成像技术的发展，通常使用端到端的方案来解决上述两个环节的隔阂问题。然而，现有的端到端设计方案所采用的图像成像模型普遍过于简单，例如傅里叶变换模型或其他类似的近轴模型。这些模型仅支持单透镜表面的优化，限制了所设计的透镜所生成的图像成像质量。
有鉴于此，本公开实施例的目的在于提供一种成像设备设计方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。
以下结合附图详细描述本发明实施例公开的内容。
图1示出了本发明实施例提供的成像设备设计方法，具体步骤如下：
步骤S110，获取训练所述成像设备对应的预设场景。
本发明实施例采用的预设场景用于对实施例中采用的透镜的参数和生成对抗网络的参数进行训练。预设场景的数据可以来源于第三方的数据集，例如DIV2K。
步骤S120，基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像。
步骤S130，利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像。
本发明实施例中所获取的每个预设场景，需要输入至整个算法框架中的各个功能模块，最终输出得到预设场景对应的生成图像，从而根据生成图像来调整整个算法框架中的相关参数。
如图2所示的成像设备设计步骤示意图，本发明实施例中的图像数据主要经过透镜模块、图像传感器模块、图像处理流水线模块和图像后处理网络的处理，上述各模块也构成了成像设备的主要功能模块。其中，所述透镜模块包含用于将非球面透镜表达为球面镜和一个多项式矫正因子；所述图像传感器模块用于生成预设场景对应的原始数字图像；所述图像处理流水线模块用于对所述原始数字图像进行图像处理，得到所述预设场景对应的预处理图片；所述图像后处理网络用于从所述预处理图片恢复出所述预设场景对应的生成图像。
步骤S140，根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。
本发明实施例可以通过生成图像和对应的参考图像的信息，从而实现调整整个算法框架中的相关参数，并且可以实现同时训练算法框架中的透镜模块的参数和图像后处理网络的参数。其中训练出的透镜模块可以用于确定所设计出的透镜的主要参数，训练出的图像后处理网络可以用于确定图像后处理网络的参数。生成图像是根据步骤S130生成的，而参考图像是预设场景所生成图像的理想值。
具体地，所述透镜模块的参数包括所述多项式矫正因子的曲率、圆锥系数和高阶系数；所述图像后处理网络的参数为所采用的模型参数。
本发明实施例中的透镜模块可以实现球面透镜和非球面透镜的设计。一般性地，可以使用该透镜模型将透镜表达为一个球面镜和一个多项式矫正因子。在上述表示的基础上，所述多项式矫正因子的曲率、圆锥系数和高阶系数都是非球面透镜设计时的基本参数。此外，由于本发明实施例中的图像后处理网络可以采用生成对抗网络，因此生成对抗网络的模型参数可以理解为特定生成对抗网络结构中的模型所涉及的参数，例如生成对抗网络中生成网络的模型参数；图像后处理网络还可以是所嵌入的ISP、优化迭代或神经网络结构，相应地也需要更新相应模型的参数。
本发明实施例提供的成像设备设计方法，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。
基于上述实施例，附图3示出了本发明实施例提供了一种透镜模型以及基于可微的光线跟踪渲染方法，具体方法如下。
步骤S310，将透镜表示为一个球面镜和一个多项式矫正因子。
具体地，对于给定的笛卡尔坐标系(x,y,z)，z轴设定为光轴，(x,y)为对应的截面，且令截面半径
ρ＝r2。那么非球面透镜的高度及其梯度可以表示为：
其中c为透镜的曲率，α＝(1+κ)c2，而κ为圆锥系数a2i为高阶系数。
因此，透镜模型的隐式表示及其空间导数可以表示为：
f(x,y,z)＝h(ρ)-z
特别地，当κ＝0且a2i＝0时，上述透镜模块所表示的非球面透镜会退化为球面透镜。
可以理解的是，本发明实施例中需要训练的参数为上述多项式矫正因子中的曲率c、圆锥系数κ和高阶系数a2i。
步骤S320，采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差。
光线跟踪渲染方法的主要任务就是计算光线与透镜表面的交点，进行进行模拟光学成像并仿真出像差。为了在光线跟踪中使用前述实施例中的透镜模型，需要计算交点的坐标(x,y,z)以及光线到相交平面f(x,y,z)＝0的行进距离t。假设原点坐标为o＝(ox,oy,oz)、方向为d＝(dx,dy,dz)、且||d||＝1的光线(o,d)，交点的计算即为如下求根问题：
f(x,y,z)＝f(o+td)＝0
对于非球面透镜而言，上述求根问题没有解析解，我们可以采用牛顿迭代法来确定数值解，迭代过程的收敛条件可以是连续两次迭代求解的结果之差小于预设的阈值。
光线跟踪渲染方法中的另一任务是模拟光的色散。本发明实施例根据柯西色散公式模拟光的色散n(λ)：
λ为入射光的波长，而A、B、C为柯西色散系数。
在本发明实施例中，为综合考虑图像渲染质量和效率，实践中仅使用柯西色散公式携带参数A和B的前两项即可。当中心波长nD和阿贝数V给定时，A和B可以通过如下公式确定：
其中各项系数可以是λD＝589.3nm，λF＝486.1nm，λC＝656.3nm。
步骤S330，根据传感器接收的光学成像模拟的光信号，生成模拟图像信号。
本发明实施例中的端到端的计算成像方法包括根据光学信号生成带有各种像差的模拟图像数据。图像传感器模块在接收到光信号时，通常使用点扩展函数(point spreadfunction，PSF)描述成像系统对点源或点对象的响应。PSF通常在视场中变化，并跨越场景的深度和光谱。对于一个给定的颜色通道c而言，传感器测量记录的图像信息Ic可以表示为：
Ic(x',y')＝∫Qc(λ)·[p(x',y',d,λ,sc)*sc(x',y',d)]dλ+n(x',y')
其中为p(x',y',d,λ,sc)为PSF，其中位于图像传感器上的(x',y')坐标，d为场景的深度，λ为入射光谱分布，Qc为图像传感器的颜色响应值，sc(x',y',d)和n(x',y')代表潜在的场景噪声和度量噪声，例如白高斯噪声。
在渲染引擎中可以采用蒙特卡洛采样。对于每个像素，光线可以以随机的数目从传感器平面进行采样。被采样的光线根据斯涅耳定律依次通过每个折射表面。当计算出的采样光线对应的交点位于透镜几何空间之外或发生全反射时，光线被标记为无效且不会对最终的模拟图像信号值作出贡献。
步骤S340，对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。
本发明实施例中的透镜模型以及基于可微的光线跟踪渲染方法中，初始阶段所得到的图像往往是失真且被缩放的，即在训练过程中，该生成图像是未对齐的。使用这样的生成图像很难去计算生成图像与参考图像之间产生的图像损失。
为了解决生成图像未对齐的问题，我们可以从纹理平面的中心到边界跟踪均匀分布的16个点，并得到相应的与传感器平面相交的点rd，假设与传感器平面的理想交点为r,rd和r之间的关系可以表示为：
rd＝ξr(1+k1r2+k2r4+k3r6)
为了模拟图像的失真和缩放，本发明实施例可以仅考虑径向失真，并求解如下最小二乘问题，得到对齐后的预处理图像。
其中K为ξ(1,k1,k2,k3)，表示当前的失真系数，ξ为缩放系数。
此外，在对所生成的模拟图像信号进行图像对齐操作之后，还可以将图像数据输入到图像处理流水线中进行进一步处理。该处理包括白平衡、去马赛克、颜色矫正、数字增益和/或图像恢复处理，以便于使图像数据在后续步骤中与参考图像进行对比，从而对成像设备的参数进行更新。
本发明实施例提供的透镜模型以及基于可微的光线跟踪渲染方法，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。
基于上述任一实施例，本发明实施例中的图像后处理网络可以使用生成对抗网络来对图像进行重建。采用本发明实施例中的生成对抗网络结构不仅加快了训练过程，而且为端到端透镜设计的模拟信息编码提供了足够的自由度。
具体地，生成对抗网络中的生成网络G可以使用U-net结构，包括7个编码缩放等级，具体为6个降采样阶段和6个上采样阶段。对传感器图像I进行编码重建得到生成图像
生成网络可以被用于计算生成图像
和参考图片Iref之间的损失
其中，v1和v2为损失平衡权重，可以分别设置为0.5和0.006，v2可以用于保持颜色的可靠性，φl可以从预训练的VGG-19模型中的第l层提取对应的特征图。特别地，此处可以使用VGG-19模型中的cov3_3层。
生成对抗网络中的判别网络D包含了所述图像后处理网络的生成对抗网络包括的对抗网络包括基于全局空间上下文的全局判别器，以及基于PatchGAN的局部判别器，以更好的处理全局和局部特征。判别网络D的损失函数可以表示为：
其中，Px和Pz分别为数据和模型的分布。上述表示在最小化生成图像和参考图片上相对于现有的WGAN-GP等模型表示上计算更加高效和稳定。
结合上述生成网络和判别网络各自的损失函数计算方式，整个图像后处理网络的损失函数可以表示为：
其中，Ladv-g和Ladv-l分别为判别网络计算出的全局损失和局部损失。σg和σl为系数，均可以设置为0.01。
相应地，根据上述损失函数的设计，本发明实施例中的训练过程主要包括：根据所述生成图像和对应的参考图像，确定对应的损失函数值；根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；根据所述梯度值，使用梯度下降法更新所述透镜的参数和图像后处理网络的参数。
基于上述任一实施例，附图4示出了本发明实施例中的一种成像设备设计装置，具体包括：
场景获取模块410，用于获取训练所述成像设备对应的预设场景；
图像渲染模块420，用于基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；
图像后处理模块430，用于利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；
参数更新模块440，用于根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。
本发明实施例提供的成像设备设计装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学计算，可以生成包含各种像差的模拟图像数据。该过程实现了完全可微分，使得后续可以通过透镜模型的渲染和图像重建网络实现透镜参数的更新，达到了用数据训练的方式进行成像设备设计的效果。
基于上述任一实施例，附图5示出了本发明实施例提供了一种成像装置制造方法，具体包括：
步骤S501，确定所述成像装置的透镜的初始参数；
在本发明实施例对成像装置进行训练之前，首先需要确定透镜的一些初始参数。本发明实施例所述的成像装置主要是指成像所需的主要硬件设备，例如透镜、传感器等，而不包含图像重建所需的图像后处理网络等软件设备。在本发明任一实施例中，透镜可以是单个透镜，也可以是多个透镜的组合。其中，多个透镜的组合可以根据实际的应用需求进行不同参数透镜的搭配组合。具体地，初始参数可以是透镜的型号、形状、曲率、材质、光栏等。
步骤S502，根据所述成像装置更新后的参数，使用球面或非球面镜加工工艺制造出对应的透镜。
本步骤所述的成像装置更新后的参数，是指根据前述实施例对成像设备进行训练后得到的透镜参数，具体包括多项式矫正因子的曲率、圆锥系数和高阶系数等，在此不做赘述。在这些参数训练完成后，结合透镜初始设置的参数，可以得到制造透镜所需的所有必要的参数。
值得说明的是，本发明实施例中的透镜主要考虑旋转对称透镜，这类透镜可以可以通过数控加工和单点金刚石车削工艺进行制造，也可以使用其他球面或非球面镜加工工艺进行制造。当透镜为其他类型的透镜时，也可以考虑以本领域技术人员能够理解的制造工艺和方法制造对应的透镜。
步骤S503，使用适配器将所述透镜与图像传感器进行组合，得到所述成像装置。
制造出透镜后，其与图像传感器需要通过适配器进行连接，两者共同构成了成像所需的主要硬件设备。
基于上述任一实施例，附图6示出了本发明实施例提供的一种成像方法，具体包括：
步骤S601，得到成像装置；
本步骤中的成像装置主要是指根据前述实施例制造出的成像装置，具体由透镜、图像传感器及其适配器等主要部件组成，在此不做赘述。
步骤S602，使用所述成像装置对目标场景进行成像，得到目标预处理图像；
在获得成像装置后，可以使用该成像装置对目标场景进行成像，目标场景对应的光学信号经过成像装置后得到图像数据，即目标场景对应的目标预处理图像。
步骤S603，根据得到的图像后处理网络的参数，将所述目标预处理图像输入至所述图像后处理网络，得到目标数字图像。
本步骤中的图像后处理网络可以是生成对抗网络，也可以是包括所嵌入的ISP、优化迭代或神经网络结构。以生成对抗网络为例，其参数是指根据前述实施例中对生成对抗网络进行训练后得到的网络参数，使用训练好的生成对抗网络对目标预处理图像进行进一步的重建，得到成像方法最终输出的目标数字图像。
以上所描述的相关装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种端到端成像设备设计方法，其特征在于，所述方法包括：
获取训练所述成像设备对应的预设场景；
基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；
利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；
根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。
2.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像，具体包括：
将透镜表示为一个球面镜和一个多项式矫正因子；
采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差；
根据传感器接收的光学成像模拟的光信号，生成模拟图像信号；
对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。
3.根据权利要求2所述的端到端成像设备设计方法，其特征在于，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，采用牛顿迭代法来确定光线与平面交点的数值解，获取与透镜参数相关的像差仿真。
4.根据权利要求2所述的端到端成像设备设计方法，其特征在于，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，基于柯西色散公式模拟在各种光学材料和透镜面型情况下的光的色散。
5.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述预处理图像需要进行白平衡、去马赛克、颜色矫正、数字增益、图像恢复和/或Gamma校正处理。
6.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数，具体包括：
根据所述生成图像和对应的参考图像，确定对应的损失函数值；
根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；
根据所述梯度值，使用梯度下降法更新所述透镜的参数和图像后处理网络的参数。
7.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述透镜的参数包括用于表征非球面透镜的多项式矫正因子中的曲率、圆锥系数和高阶系数。
8.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述图像后处理网络为生成对抗网络，所述生成对抗网络的生成网络采用7层尺度的U-net结构，并包含连续的6次下采样和6次上采样阶段；
所述生成对抗网络的对抗网络包括基于全局空间上下文的全局判别器，以及基于PatchGAN的局部判别器。
9.根据权利要求1所述的端到端成像设备设计方法，其特征在于，所述图像后处理网络包括所嵌入的ISP、优化迭代或神经网络结构。
10.一种成像设备设计装置，其特征在于，所述装置包括：
场景获取模块，用于获取训练所述成像设备对应的预设场景；
图像渲染模块，用于基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；
图像后处理模块，用于利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；
参数更新模块，用于根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。
11.一种成像装置制造方法，其特征在于，所述方法包括：
确定所述成像装置的透镜的初始参数；
根据权利要求1-9任一项的端到端成像设备设计方法得到的所述成像装置更新后的参数，使用球面或非球面镜加工工艺制造出对应的透镜；
使用适配器将所述透镜与图像传感器进行组合，得到所述成像装置。
12.一种成像方法，其特征在于，所述方法包括：
根据权利要求11的成像装置制造方法得到成像装置；
使用所述成像装置对目标场景进行成像，得到目标预处理图像；
根据权利要求1-9任一项的端到端成像设备设计方法得到的图像后处理网络的参数，将所述目标预处理图像输入至所述图像后处理网络中，得到目标数字图像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110351374.8A CN113077540B (zh) | 2021-03-31 | 2021-03-31 | 一种端到端成像设备设计方法和装置 |
| PCT/CN2021/100669 WO2022205627A1 (zh) | 2021-03-31 | 2021-06-17 | 一种端到端成像设备设计方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110351374.8A CN113077540B (zh) | 2021-03-31 | 2021-03-31 | 一种端到端成像设备设计方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077540A true CN113077540A (zh) | 2021-07-06 |
| CN113077540B CN113077540B (zh) | 2024-03-12 |
Family
ID=76614497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110351374.8A Active CN113077540B (zh) | 2021-03-31 | 2021-03-31 | 一种端到端成像设备设计方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113077540B (zh) |
| WO (1) | WO2022205627A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114859550A (zh) * | 2022-05-13 | 2022-08-05 | 哈尔滨工业大学 | 一种针对菲涅尔单透镜计算成像系统的端到端设计方法 |
| CN114897752A (zh) * | 2022-05-09 | 2022-08-12 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像系统及方法 |
| CN114967121A (zh) * | 2022-05-13 | 2022-08-30 | 哈尔滨工业大学 | 一种端到端的单透镜成像系统设计方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102741738A (zh) * | 2010-02-12 | 2012-10-17 | 奥斯兰姆奥普托半导体有限责任公司 | 光电子半导体器件、照明设备和透镜 |
| CN107563088A (zh) * | 2017-09-14 | 2018-01-09 | 北京邮电大学 | 一种基于光线跟踪算法的光场显示设备仿真方法 |
| US20200312009A1 (en) * | 2019-03-28 | 2020-10-01 | Adobe Inc. | Rendering images from deeply learned raytracing parameters |
| CN111968047A (zh) * | 2020-07-22 | 2020-11-20 | 中国西安卫星测控中心 | 一种基于生成式对抗网络的自适应光学图像盲复原方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6028606A (en) * | 1996-08-02 | 2000-02-22 | The Board Of Trustees Of The Leland Stanford Junior University | Camera simulation system |
-
2021
- 2021-03-31 CN CN202110351374.8A patent/CN113077540B/zh active Active
- 2021-06-17 WO PCT/CN2021/100669 patent/WO2022205627A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102741738A (zh) * | 2010-02-12 | 2012-10-17 | 奥斯兰姆奥普托半导体有限责任公司 | 光电子半导体器件、照明设备和透镜 |
| CN107563088A (zh) * | 2017-09-14 | 2018-01-09 | 北京邮电大学 | 一种基于光线跟踪算法的光场显示设备仿真方法 |
| US20200312009A1 (en) * | 2019-03-28 | 2020-10-01 | Adobe Inc. | Rendering images from deeply learned raytracing parameters |
| CN111968047A (zh) * | 2020-07-22 | 2020-11-20 | 中国西安卫星测控中心 | 一种基于生成式对抗网络的自适应光学图像盲复原方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897752A (zh) * | 2022-05-09 | 2022-08-12 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像系统及方法 |
| CN114897752B (zh) * | 2022-05-09 | 2023-04-25 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像系统及方法 |
| CN114859550A (zh) * | 2022-05-13 | 2022-08-05 | 哈尔滨工业大学 | 一种针对菲涅尔单透镜计算成像系统的端到端设计方法 |
| CN114967121A (zh) * | 2022-05-13 | 2022-08-30 | 哈尔滨工业大学 | 一种端到端的单透镜成像系统设计方法 |
| CN114967121B (zh) * | 2022-05-13 | 2023-02-03 | 哈尔滨工业大学 | 一种端到端的单透镜成像系统设计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077540B (zh) | 2024-03-12 |
| WO2022205627A1 (zh) | 2022-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077540B (zh) | 一种端到端成像设备设计方法和装置 | |
| Sun et al. | End-to-end complex lens design with differentiable ray tracing | |
| US11721002B2 (en) | Imaging system and method for imaging objects with reduced image blur | |
| AU2020103715A4 (en) | Method of monocular depth estimation based on joint self-attention mechanism | |
| TWI427554B (zh) | 光學成像裝配件及其形成之方法，以及用於光學成像之裝置及方法 | |
| CN110717857A (zh) | 超分辨率图像重构方法和装置 | |
| CN107103285B (zh) | 基于卷积神经网络的人脸深度预测方法 | |
| CN112861729B (zh) | 一种基于伪深度图引导的实时深度补全方法 | |
| Wang et al. | dO: A differentiable engine for deep lens design of computational imaging systems | |
| CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN114897752B (zh) | 一种基于深度学习的单透镜大景深计算成像系统及方法 | |
| CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
| CN110580726B (zh) | 基于动态卷积网络的自然场景下人脸素描生成模型及方法 | |
| Côté et al. | The differentiable lens: Compound lens search over glass surfaces and materials for object detection | |
| CN112561807B (zh) | 一种基于卷积神经网络的端到端径向畸变校正方法 | |
| Schrade et al. | Sparse high‐degree polynomials for wide‐angle lenses | |
| CN115293995B (zh) | 一种基于Transformer的点云逐点去噪方法 | |
| CN114331922B (zh) | 多尺度自校准气动光学效应湍流退化图像复原方法及系统 | |
| Zhou et al. | Revealing the preference for correcting separated aberrations in joint optic-image design | |
| KR20210098245A (ko) | 광학소자 설계 방법 및 그 장치 | |
| CN116563117B (zh) | 基于计算成像技术的超分辨率共形窗口成像系统及方法 | |
| Buquet et al. | Automatic wide-angle optical design optimization for deep-learning application | |
| JP7076598B1 (ja) | 動画又は複数画像からの３次元情報生成装置 | |
| CN116068758B (zh) | 全景环带镜头设计方法、镜头及全景图像恢复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |