CN112839149B - 异构微光学成像模块及其图像重建方法和装置 - Google Patents
异构微光学成像模块及其图像重建方法和装置 Download PDFInfo
- Publication number
- CN112839149B CN112839149B CN202011635745.7A CN202011635745A CN112839149B CN 112839149 B CN112839149 B CN 112839149B CN 202011635745 A CN202011635745 A CN 202011635745A CN 112839149 B CN112839149 B CN 112839149B
- Authority
- CN
- China
- Prior art keywords
- optical
- micro
- image
- imaging module
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012634 optical imaging Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000003287 optical effect Effects 0.000 claims abstract description 242
- 230000006870 function Effects 0.000 claims description 39
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000012546 transfer Methods 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 abstract description 30
- 238000005457 optimization Methods 0.000 abstract description 22
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001681 protective effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000011358 absorbing material Substances 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种异构微光学成像模块，所述模块包括：微光学单元，所述微光学单元包括有相互之间被光学屏蔽的多个光学区域；所述多个光学区域之中至少两个所述光学区域的光学参数互不相同；图像传感单元，设置在所述微光学单元远离外界反射源的一侧，用于将经过所述微光学单元的所述多个光学区域处理过的光线转换成多个相应的图像信号。可见，本发明能够通过具有多个光学参数不同的光学区域的微光学单元，获取同一场景的多个不同层次的光学信息，以提高所获取的图像信息的丰富度和信息量，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。
Description
技术领域
本发明涉及信息处理技术领域，尤其涉及一种异构微光学成像模块及其图像重建方法和装置。
背景技术
随着半导体处理器的计算能力的持续提高，近几年人们提出了各种计算成像方法来简化视觉传感器的结构和增加复杂的成像功能。其中一个方法是利用单个微光学器件(Micro Optics Element，MOE)来替换传统的由多个镜片组成的镜头，并结合相应的计算方法来重建2D或3D图像。
但传统的微光学成像模块，一般利用单个具有统一光学参数的微光学器件与图像传感单元配合进行成像，以此形成的微光学成像方案所获得的目标物体的表面特征信息较为单一，在进行图像重建时，缺乏更丰富的特征信息来帮助图像的重建，从而使得重建得到的图像不够精确和还原，需要进一步的处理。
发明内容
本发明所要解决的技术问题在于，提供一种异构微光学成像模块及其图像重建方法和装置，能够通过具有多个光学参数不同的光学区域的微光学单元，获取同一场景的多个不同层次的光学信息，以提高所获取的图像信息的丰富度和信息量，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。
为了解决上述技术问题，本发明实施例第一方面公开了一种异构微光学成像模块，所述模块包括：
微光学单元，所述微光学单元包括有相互之间被光学屏蔽的多个光学区域；所述多个光学区域之中至少两个所述光学区域的光学参数互不相同；
图像传感单元，设置在所述微光学单元远离外界反射源的一侧，用于将经过所述微光学单元的所述多个光学区域处理过的光线转换成多个相应的图像信号。
作为一种可选的实施方式，在本发明第一方面中，所述多个光学区域之间设置有光学屏蔽器件，所述光学屏蔽器件用于阻止通过任一所述光学区域的光线进入其他所述光学区域。
作为一种可选的实施方式，在本发明第一方面中，所述光学参数包括等效焦距和光学传递函数中的一种或两种，和/或，所述微光学单元为编码光圈、衍射光学元件、菲涅尔镜、微透镜阵列或光学匀光片。
作为一种可选的实施方式，在本发明第一方面中，所有所述光学区域的光学参数均互不相同，和/或，所有所述光学区域中任意两个所述光学区域的光学参数之间的距离满足差异最大化原则。
作为一种可选的实施方式，在本发明第一方面中，所有所述光学区域中任意两个所述光学区域的等效焦距之间的差值小于预设的等效焦距阈值，和/或，任一所述光学区域内的至少两个不同位置的光学参数互不相同。
作为一种可选的实施方式，在本发明第一方面中，任一所述光学区域内的所有位置的光学参数均互不相同，和/或，任一所述光学区域内的不同高度中的任意两个不同位置的光学参数互不相同，和/或，任一所述光学区域内的同一高度中的任意两个所述位置的光学参数之间的距离满足差异最大化原则。
作为一种可选的实施方式，在本发明第一方面中，所述光学参数之间的距离为所述光学参数之间的差值、曼哈顿距离、欧式距离或明可夫斯基距离。
本发明实施例第二方面公开了一种异构微光学成像模块的图像重建方法，用于对本发明实施例第一方面公开的异构微光学成像模块所获取的图像信息进行图像重建，所述方法包括：
获取所述异构微光学成像模块中图像传感单元得到的多个图像信号；所述多个图像信号分别对应于多个所述光学区域；
基于神经网络算法，对所述多个图像信号进行重建，以得到目标对象的图像。
本发明实施例第三方面公开了一种异构微光学成像模块的图像重建装置，用于对本发明实施例第一方面公开的异构微光学成像模块所获取的图像信息进行图像重建，所述装置包括：
获取模块，用于获取所述异构微光学成像模块中图像传感单元得到的多个图像信号；所述多个图像信号分别对应于多个所述光学区域；
重建模块，用于基于神经网络算法，对所述多个图像信号进行重建，以得到目标对象的图像。
本发明实施例第四方面公开了一种异构微光学成像模块的图像重建装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第二方面公开的异构微光学成像模块的图像重建方法中的部分或全部步骤。
本发明实施例第五方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明实施例第二方面公开的异构微光学成像模块的图像重建方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例公开了一种异构微光学成像模块，所述模块包括：微光学单元，所述微光学单元包括有相互之间被光学屏蔽的多个光学区域；所述多个光学区域之中至少两个所述光学区域的光学参数互不相同；图像传感单元，设置在所述微光学单元远离外界反射源的一侧，用于将经过所述微光学单元的所述多个光学区域处理过的光线转换成多个相应的图像信号。可见，本发明能够通过具有多个光学参数不同的光学区域的微光学单元，获取同一场景的多个不同层次的光学信息，以提高所获取的图像信息的丰富度和信息量，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种异构微光学成像模块的功能模块结构示意图。
图2是本发明实施例公开的一种异构微光学成像模块的图像重建方法的流程示意图。
图3是本发明实施例公开的一种异构微光学成像模块的图像重建装置的结构示意图。
图4是本发明实施例公开的另一种异构微光学成像模块的图像重建装置的结构示意图。
图5是本发明实施例公开的微光学单元102的一种示例性结构示意图。
图6是本发明实施例公开的一种异构微光学成像模块的示例性结构示意图。
图7是本发明实施例公开的一种2*1的微光学单元102的设计结构示意图。
图8是本发明实施例公开的一种2*1的微光学单元102的光学传递函数的可视化对比图。
图9是本发明实施例公开的一种异构的深度神经网络的结构示意图。
图10是本发明实施例公开的一种异构的深度神经网络的图像重建输出结果示意图。
图11是本发明实施例公开的又一种异构的深度神经网络的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或端没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种异构微光学成像模块及其图像重建方法和装置，能够通过具有多个光学参数不同的光学区域的微光学单元，获取同一场景的多个不同层次的光学信息，以提高所获取的图像信息的丰富度和信息量，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种异构微光学成像模块的功能模块结构示意图。如图1所示，该异构微光学成像模块可以包括图像传感单元101，微光学单元102和数据处理单元103。
具体的，图像传感单元101设置在微光学单元102远离外界反射源的一侧，其结构可以参照图6，则微光学单元102设置在图像传感单元101和外界反射源之间，这样设置，外界反射源，如目标物体表面反射的光线，可以经过微光学单元102的处理进入到图像传感单元101，以使得图像传感单元101可以获取由微光学单元102处理过的图像。
本发明实施例中，微光学单元102可以为连续表面的微光学器件或非连续表面的微光学器件，也可以选择但不限于编码光圈、衍射光学元件、菲涅尔镜、微透镜阵列或光学匀光片，事实上，任意可用于对目标物体表面反射光线进行处理成像的微光学器件，均应被认为包括在本发明的保护范围之内，本发明在此不做限定。
以非连续表面的微光学器件为例，参见图5，图5示出了本发明实施例中微光学单元102的一种范例，其具有玻璃基板11、设置在玻璃基板11上的微光学结构12以及设置在微光学机构表面的AR镀膜13。
具体的，微光学单元102包括有相互之间被光学屏蔽的多个光学区域1021；多个光学区域1021之中至少两个光学区域1021的光学参数互不相同，图像传感单元101用于将经过微光学单元102的多个光学区域1021处理过的光线转换成多个相应的图像信号。可选的在本发明实施例中，光学参数包括等效焦距和光学传递函数中的一种或两种。
具体的，数据处理单元103连接至图像传感单元101，用于对图像传感单元101获得的图像信息进行处理。在具体阐述对图像传感单元101的图像信息进行处理之前，先对基于微光学器件，如本发明中的微光学单元102的成像原理进行简单的阐述：
传统的基于镜头的成像和基于微光学器件的成像的区别在于，宏观上，微光学器件比镜头结构上简单，体积小，重量轻，可以大大简化视觉传感器的结构，并具有更好的稳定性(温度变化和振动冲击对器件的光学特性的影响更小)。需要指出的是，在理想的镜头成像视觉传感器里，目标物体上的一个点对应到图像传感器上的一个点(光被折射聚焦)；而在理想的微光学成像视觉传感器里，目标物体上的一个点对应到图像传感器上的若干个点(光被散射或是衍射)，因此微光学视觉传感器获取的原始图像，人眼无法识别其具体内容。
用简化的模型来表述，镜头成像视觉传感器的光学传递函数(也称为点扩散函数)近似于一个一对一映射的Delta函数：
而微光学成像视觉传感器的光学传递函数是一个一对多映射的复杂函数：
实际成像系统光学传递函数通常不是公式1和2表述的离散函数，因此公式(1)和(2)是近似的描述。
进一步的，微光学成像视觉传感器上获取的图像可以表达为
其中z1和z2为目标物体的深度边界，C为系统常数，w(x，y，z)是目标物体上在(x，y，z)位置的表面特征，可以包括纹理/亮度和深度，g(x，y，z)是公式(2)中的光学传递函数，n(u，v)为图像传感器像素(u，v)处的成像噪声，i(u，v)为图像传感器像素(u，v)处获取的数值。
进一步的，公式(3)可以改写为：
其中I为图像传感器获取的图像，G为光学传递函数，w为目标物体表面，n为成像噪声，
为卷积运算。
如果应用场景需要把视觉传感器获取的图像提供给人眼看或是使用基于传统图像的处理方法，数据处理单元103可以将图像传感单元101获取的图像进行重建(本质上是根据公式(4)求解w)。在物联网和智能制造的应用中，大部分时候视觉传感器获取的图像是直接给机器看(即由计算机进行图像的分析并决策)而不是给人看，因此数据处理单元103也可以将图像传感单元101获取的图像提取所需的信息。
更具体的，本发明实施例中的数据处理单元103的设置，可以采用两种不同的方式，包括分离式设计和集成式设计。参照图6，图6a为分离式设计，在分离式设计的方式中，本发明实施例中的异构微光学成像模块采用成像模块和计算模块分离的系统架构，其中的计算模块，也即数据处理单元103可以通过软件实现到嵌入式片上系统(System on Chip，SoC)或是独立的计算机系统上，再通过SoC或计算机系统与成像模块，也即图像传感单元101的数据连接或电连接，实现数据处理单元103与图像传感单元101之间的连接。图6b为集成式设计，在这一场景中，本发明实施例中的异构微光学成像模块采用成像模块和计算模块高度集成的架构，其中的计算模块，也即数据处理单元103通过专用视觉芯片(ASIC)实现所需的视觉计算功能，并可以通过CMOS半导体加工工艺与CMOS图像传感器，也即图像传感单元101，通过3D堆叠实现高度集成的视觉传感芯片(例如将计算ASIC堆叠到图像传感器背面)的数据连接或电连接，实现数据处理单元103与图像传感单元101之间的连接。
可选的，如图6所示，本发明实施例中的异构微光学成像模块还可以包括设置在微光学单元102上的光学保护屏104，其主要功能是避免微光学单元102表面受机械冲击划伤或是化学物质腐蚀等造成的表面损坏。可选的，光学保护屏104可以用透光率高的加固玻璃或亚克力板等材料实现。若应用场景不存在这类风险，或是异构微光学成像模块安装在其他系统内部从而已经受到保护，光学保护屏104可以去除。
可选的，微光学单元102靠近图像传感单元101的一侧，或图像传感单元101靠近微光学单元102的一侧，可以设置光学滤波器件，从而进一步实现对特定波长的光线进行选通或屏蔽。
而微光学单元102的设计可以参照图7，图7是一种2*1的微光学单元102设计的结构示意图，其包括光学区域10211和光学区域10212，两个光学区域的横切面在上方示出，可见两个光学区域的表面几何结构不同，从而导致它们的等效焦距和光学传递函数也不同，具体的，其光学传递函数的可视化对比图如图8所示。需要指出的是，图8展示的是异构微光学器件不同等效焦距区域的理想光学传递函数，即当各个区域均能在其等效焦距处成像。当使用按图6所示的系统架构通过同一图像传感单元101采集不同光学区域1021的图像时，不同光学区域1021的成像距离是固定的，从而如图8所示，只有一个光学区域1021(左边)能实现理想对焦，其他光学区域1021(右边)会出现不同程度的离焦状态，更具体的，图8中间的全黑图像区域则对应图6的光学屏蔽器件105的位置。
进一步的，两个光学区域，或者说本发明实施例中的微光学单元102的多个光学区域1021也可以采用不同的光学材料来实现。
可见，实施本发明实施例所描述的方法能够通过具有多个光学参数不同的光学区域的微光学单元，获取同一场景的多个不同层次的光学信息，以提高所获取的图像信息的丰富度和信息量，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。
在一个可选的实施例中，多个光学区域1021之间设置有光学屏蔽器件105，光学屏蔽器件105用于阻止通过任一光学区域1021的光线进入其他光学区域1021。具体的，可以参照图6，光学屏蔽器件105可以设置于微光学单元102和图像传感单元101之间，以对微光学单元102进行划分形成两个光学区域1021，这样通过左边的光学区域1021进入并被图像传感单元识别，且光线不会进入到右边的光学区域1021中，从而实现了良好的光学屏蔽效果。
可选的，光学屏蔽器件105可以采用光学隔离屏，进一步的，为了避免光学屏蔽器件105的表面反射光对图像的影响，光学屏蔽器件105应该使用高度吸光的材料。具体的，光学屏蔽器件105的表面反射率的最低要求为小于1％。
可见，实施该可选的实施例，能够采用光学屏蔽器件对微光学单元中的多个光学区域进行光学屏蔽，从而阻止通过任一光学区域的光线进入其他光学区域，进而避免某一区域的图像受到邻近区域的光线的影响，有助于图像传感单元获取到准确的多个光学区域的光线信息，并转换的得到多个准确的图像信息。
在另一个可选的实施例中，微光学单元102中所有光学区域1021的光学参数均互不相同，从而使得每一光学区域的光学传递函数或等效焦距均不同，从而实现了多个光学区域可以获得来自目标物体表面的反射光线在多个不同层次的丰富编码信息，以便于后续微光学成像图像重建时优化过程的稳定性。
在又一个可选的实施例中，所有光学区域1021中任意两个光学区域1021的光学参数之间的距离满足差异最大化原则。具体的，所有光学区域1021中任意两个光学区域1021的光学参数之间的距离满足差异最大化原则，可以表述为：使得所有光学区域1021中任意两个光学区域1021的光学参数之间的距离之和最大化。
本发明实施例中，光学参数之间的距离为光学参数之间的差值、曼哈顿距离、欧式距离或明可夫斯基距离，在光学参数为光学传递函数时，光学参数之间的距离可以用曼哈顿距离，欧式距离或明可夫斯基距离等常见的函数或矩阵间的距离进行计算。
在又一个可选的实施例中，在考虑设计成本的情况下，可以将微光学单元102的设计目标简化为，使得所有光学区域1021中任意两个光学区域1021在同一高度上的光学参数之间的距离满足差异最大化原则，也可以表述为：使得所有光学区域1021中任意两个光学区域1021在同一高度上的光学参数之间的距离之和最大化。
以图7或图8中所示的2*1的微光学单元102为例，可以将该微光学单元102的设计目标定为：
Diff_inter＝max∑z1＜z＜z2D(g1(x，y，z)，g2(x，y，z))；
具体的，实现上述使得所有光学区域1021中任意两个光学区域1021的光学参数之间的距离之和最大化，可以通过迭代优化算法来实现，将上述目标作为算法模型目标，并采用相应的迭代优化算法来计算出所有光学区域1021中每一光学区域的光学参数的值，进而确定最终的微光学单元102的设计结构方案。
在又一个可选的实施例中，所有光学区域1021中任意两个光学区域1021的等效焦距之间的差值小于预设的等效焦距阈值。具体的，可以设置所有光学区域1021中等效焦距差值最大的两个光学区域1021的等效焦距之间的差值的绝对值小于预设的等效焦距阈值。以图7或图8中所示的2*1的微光学单元102为例，可以将该微光学单元102的设计目标定为：
|EF1-EF2|＜EF_delta；
其中，EF1为左边的光学区域1021的等效焦距，而EF2为右边的光学区域1021的等效焦距，EF_delta为预设的等效焦距阈值。
在又一个可选的实施例中，可以将微光学单元102的设计目标定为：任一光学区域1021内的至少两个不同位置的光学参数互不相同，从而使得每一光学区域内不同位置的光学传递函数或等效焦距均不同，从而实现了单个光学区域可以获得来自目标物体表面的反射光线在多个不同层次的丰富编码信息，以便于后续微光学成像图像重建时优化过程的稳定性。
进一步的，将微光学单元102的设计目标定为：任一所述光学区域内的所有位置的光学参数均互不相同，从而实现了单个光学区域可以获得来自目标物体表面的反射光线在多个不同层次的丰富编码信息，以便于后续微光学成像图像重建时优化过程的稳定性。
更进一步的，考虑到设计成本以及计算成本，可以简化地，将微光学单元102的设计目标定为：任一光学区域1021内的不同高度中的任意两个不同位置的光学参数互不相同。以图7或图8中所示的2*1的微光学单元102为例，可以将该微光学单元102的设计目标定为：
g(x，y，z)＝g(x-ζ，y-η，z)
从而，设计出的微光学单元102，任一光学区域1021内的同一高度的任意两个不同位置的光学传递函数是相同的，从而可以在一定程度上简化计算，降低计算成本。
在又一个可选的实施例中，将微光学单元102的设计目标定为：任一光学区域1021内的同一高度中的任意两个位置的光学参数之间的距离满足差异最大化原则。具体的，该设计目标可以被表述为：使得任一光学区域1021内的同一高度中的任意两个位置的光学参数之间的距离之和最大化。
以图7或图8中所示的2*1的微光学单元102为例，可以将该微光学单元102的设计目标定为：
Diff_intra＝max∑z1＜za，zb＜z2D(g(x，y，za)，g(x，y，zb))；
其中，D(g(x，y，za)，g(x，y，zb))是两个函数或矩阵间的距离。
具体的，实现使得任一光学区域1021内的同一高度中的任意两个位置的光学参数之间的距离之和最大化，可以通过迭代优化算法来实现，将上述目标作为算法模型目标，并采用相应的迭代优化算法来计算出任一光学区域1021内的同一高度中的每一位置的光学参数的值，进而确定最终的微光学单元102的设计结构方案。
实施例二
请参阅图2，图2是本发明实施例公开的一种异构微光学成像模块的图像重建方法的流程示意图。其中，图2所描述的方法应用于对本发明实施例一公开的异构微光学成像模块所获取的图像信息进行图像重建的计算装置中，该计算装置可以是相应的计算终端、计算设备或服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图2所示，该异构微光学成像模块的图像重建方法可以包括以下操作：
201、获取异构微光学成像模块中图像传感单元得到的多个图像信号。
具体的，多个图像信号分别对应于多个光学区域。
202、基于神经网络算法，对多个图像信号进行重建，以得到目标对象的图像。
本发明实施例中，对多个图像信号进行重建，可以是单独对其中单个图像信号进行重建以得到目标对象的图像，也可以是对多个图像信号进行同时的重建，以利用实施例一中公开的异构微光学成像模块所得到的多个不同深度不同层次的目标对象的图像光学信息，得到更精确更还原现实的目标对象的图像。
可见，本发明实施例能够基于神经网络算法，对异构微光学成像模块中图像传感单元得到的多个图像信号进行重建，以得到目标对象的图像，从而可以通过具有多个光学参数不同的光学区域的微光学单元获取同一场景的多个不同层次的光学信息，以提高最终重建得到的目标对象的图像的精确度和还原现实度，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。
在一个可选的实施例中，步骤202中的，基于神经网络算法，对多个图像信号进行重建，以得到目标对象的图像，包括：
获取多个图像信号，并将多个图像信号输入至预先训练好的神经网络模型中进行图像重建；
获取神经网络模型输出的图像重建结果，将图像重建结果确定为目标对象的图像。
具体的，以图7或图8中所示的2*1的微光学单元102为例，图像传感单元101获取到的两个不同的图像信息I1和I2，其中每一个图像信息Ii(i＝1，2)对应一个光学区域的光学传递函数Gi(i＝1，2)，由实施例一中对图像重建的原理的阐述可知，图像重建的过程就是联合下述两个公式优化求解w(x，y，z)：
从公式9和10求解w(x，y，z)的过程是逆问题求解，可以通过迭代优化实现。对于w(x，y，z)的中间解w′(x，y，z)，与公式9和10对应的图像值为I1′和I2′。
则神经网络模型迭代优化的目标函数是：
其中D(x，y)为距离函数，与公式(6)中的定义相同。
具体的在本发明实施例中，神经网络模型可以采用一种异构的深度神经网络(Heterogenous Reconstruction Neural Network，HRecNN)来实现上述的图像重建，其结构可以参照图9。这一HrecNN的神经网络模型主要由两个类似于UNet的神经网络模块组成(NN1和NN2)，NN1和NN2对应于异构微光学器件的不同区域(公式9和10)，同时通过NN2的中间环节向NN1输入，实现公式10和11的共同优化(即把公式11所表述的目标函数通过神经网络的内部结构实现)。
具体的，通过NN2的中间环节向NN1输入，本质上就是使得网络的输出结果w1(x，y，z)部分是通过光学区域1和2得到的图像I1和I2共同作用的结果。如果没有NN2向NN1的输入，w1(x，y，z)就只是考虑了光学区域1所得的图像I1的影响。这也是公式11所表示的，求解的结果w(x，y，z)需要同时兼顾I1和I2作为输入。
需要指出的是，图9中HDNN的图像重建输出w1(x，y，z)包含了两个异构微光学区域的图像输入。从光学的角度，w1(x，y，z)所代表的是两个异构微光学区域的共同视场范围内的目标物体，而w2(x，y，z)所代表的是在等效焦距小的微光学区域的视场范围内并在等效焦距大的微光学区域的视场范围外的目标物体，其图像重建输出结果示意图如图10所示。
由于异构微光学成像的共同视场范围内的目标物体经过不同的微光学区域编码和采样，其重建过程中等效的光学传递函数是不同微光学区域光学传递函数的组合，从而可以大大提高图像重建的稳定性和可靠性，并提高共同视场范围内的图像重建精度。
更进一步的，对于多于两个光学区域的情况，可以把每相邻两个光学区域对应的神经网络按图9展示的结构分别再横向(H)和纵向(V)进行扩展，这样最终得到的神经网络输出w(x，y，z)是所有光学区域所采集的图像共同作用的结果。比如对于2X2的4个光学区域，其神经网络的高层结构如图11所示，其中NN1和NN2和图9一致，而NN1和NN3，NN2和NN4，以及NN3和NN4的关系与NN1和NN2的关系相同。
于此综合阐述实施例一的异构微光学成像模块和实施例二的图像重建方法所形成的技术方案的主要优势：
1、通过异构微光学器件与同一图像传感器结合，实现超小型视觉传感器，并通过单一图像传感器同时获取二维和三维图像信息；
2、突破单一微光学成像器件成像对传感器视场和图像重建分辨率的限制，使得微光学成像传感器可以同时扩展视场范围和提高图像重建的分辨率；
3、通过对异构微光学器件不同光学区域的光学传递函数的设计，提高光学传递函数在不同目标距离的差异性(独特性)，减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性；
4、通过异构深度神经网络实现异构微光学器件成像的图像重建，通过神经网络内部结构实现图像重建的共同优化。
实施例三
请参阅图3，图3是本发明实施例公开的一种异构微光学成像模块的图像重建装置的结构示意图。其中，图3所描述的装置可以应用于对本发明实施例一公开的异构微光学成像模块所获取的图像信息进行图像重建的计算装置中，该计算装置可以是相应的计算终端、计算设备或服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图3所示，该装置可以包括：
获取模块301，用于获取异构微光学成像模块中图像传感单元得到的多个图像信号。
具体的，多个图像信号分别对应于多个光学区域。
重建模块302，用于基于神经网络算法，对多个图像信号进行重建，以得到目标对象的图像。
本发明实施例中，重建模块302对多个图像信号进行重建，可以是单独对其中单个图像信号进行重建以得到目标对象的图像，也可以是对多个图像信号进行同时的重建，以利用实施例一中公开的异构微光学成像模块所得到的多个不同深度不同层次的目标对象的图像光学信息，得到更精确更还原现实的目标对象的图像。
可见，本发明实施例能够基于神经网络算法，对异构微光学成像模块中图像传感单元得到的多个图像信号进行重建，以得到目标对象的图像，从而可以通过具有多个光学参数不同的光学区域的微光学单元获取同一场景的多个不同层次的光学信息，以提高最终重建得到的目标对象的图像的精确度和还原现实度，有助于减少微光学成像过程中的编码信息损失，从而提高微光学成像图像重建时优化过程的稳定性。
在一个可选的实施例中，重建模块302基于神经网络算法，对多个图像信号进行重建，以得到目标对象的图像的具体方式，包括：
获取多个图像信号，并将多个图像信号输入至预先训练好的神经网络模型中进行图像重建；
获取神经网络模型输出的图像重建结果，将图像重建结果确定为目标对象的图像。
具体的，以图7或图8中所示的2*1的微光学单元102为例，图像传感单元101获取到的两个不同的图像信息I1和I2，其中每一个图像信息Ii(i＝1，2)对应一个光学区域的光学传递函数Gi(i＝1，2)，由实施例一中对图像重建的原理的阐述可知，图像重建的过程就是联合下述两个公式优化求解w(x，y，z)：
从公式9和10求解w(x，y，z)的过程是逆问题求解，可以通过迭代优化实现。对于w(x，y，z)的中间解w′(x，y，z)，与公式9和10对应的图像值为I1′和I2′。
则神经网络模型迭代优化的目标函数是：
其中D(x，y)为距离函数，与公式(6)中的定义相同。
具体的在本发明实施例中，神经网络模型可以采用一种异构的深度神经网络(Heterogenous Reconstruction Neural Network，HRecNN)来实现上述的图像重建，其结构可以参照图9。这一HrecNN的神经网络模型主要由两个类似于UNet的神经网络模块组成(NN1和NN2)，NN1和NN2对应于异构微光学器件的不同区域(公式9和10)，同时通过NN2的中间环节向NN1输入，实现公式10和11的共同优化(即把公式11所表述的目标函数通过神经网络的内部结构实现)。
具体的，通过NN2的中间环节向NN1输入，本质上就是使得网络的输出结果w1(x，y，z)部分是通过光学区域1和2得到的图像I1和I2共同作用的结果。如果没有NN2向NN1的输入，w1(x，y，z)就只是考虑了光学区域1所得的图像I1的影响。这也是公式11所表示的，求解的结果w(x，y，z)需要同时兼顾I1和I2作为输入。
需要指出的是，图9中HDNN的图像重建输出w1(x，y，z)包含了两个异构微光学区域的图像输入。从光学的角度，w1(x，y，z)所代表的是两个异构微光学区域的共同视场范围内的目标物体，而w2(x，y，z)所代表的是在等效焦距小的微光学区域的视场范围内并在等效焦距大的微光学区域的视场范围外的目标物体(图10)。
由于异构微光学成像的共同视场范围内的目标物体经过不同的微光学区域编码和采样，其重建过程中等效的光学传递函数是不同微光学区域光学传递函数的组合，从而可以大大提高图像重建的稳定性和可靠性，并提高共同视场范围内的图像重建精度。
更进一步的，对于多于两个光学区域的情况，可以把每相邻两个光学区域对应的神经网络按图9展示的结构分别再横向(H)和纵向(V)进行扩展，这样最终得到的神经网络输出w(x，y，z)是所有光学区域所采集的图像共同作用的结果。比如对于2X2的4个光学区域，其神经网络的高层结构如图11所示，其中NN1和NN2和图9一致，而NN1和NN3，NN2和NN4，以及NN3和NN4的关系与NN1和NN2的关系相同。
实施例四
请参阅图5，图5是本发明实施例公开的又一种异构微光学成像模块的图像重建装置的结构示意图。如图5所示，该装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一公开的异构微光学成像模块的图像重建方法中的部分或全部步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的异构微光学成像模块的图像重建方法中的部分或全部步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种异构微光学成像模块及其图像重建方法和装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种异构微光学成像模块，其特征在于，所述模块包括：
微光学单元，所述微光学单元包括有相互之间被光学屏蔽的多个光学区域；所述多个光学区域之中至少两个所述光学区域的光学参数互不相同；任一所述光学区域内的至少两个不同位置的光学参数互不相同；
图像传感单元，设置在所述微光学单元远离外界反射源的一侧，用于将经过所述微光学单元的所述多个光学区域处理过的光线转换成多个相应的图像信号。
2.根据权利要求1所述的异构微光学成像模块，其特征在于，所述多个光学区域之间设置有光学屏蔽器件，所述光学屏蔽器件用于阻止通过任一所述光学区域的光线进入其他所述光学区域。
3.根据权利要求1所述的异构微光学成像模块，其特征在于，所述光学参数包括等效焦距和光学传递函数中的一种或两种，和/或，所述微光学单元为编码光圈、衍射光学元件、菲涅尔镜、微透镜阵列或光学匀光片。
4.根据权利要求1所述的异构微光学成像模块，其特征在于，所有所述光学区域的光学参数均互不相同，和/或，所有所述光学区域中任意两个所述光学区域的光学参数之间的距离满足差异最大化原则。
5.根据权利要求4所述的异构微光学成像模块，其特征在于，所有所述光学区域中任意两个所述光学区域的等效焦距之间的差值小于预设的等效焦距阈值。
6.根据权利要求4所述的异构微光学成像模块，其特征在于，任一所述光学区域内的所有位置的光学参数均互不相同，和/或，任一所述光学区域内的不同高度中的任意两个不同位置的光学参数互不相同，和/或，任一所述光学区域内的同一高度中的任意两个所述位置的光学参数之间的距离满足差异最大化原则。
7.根据权利要求4-6中任一项所述的异构微光学成像模块，其特征在于，所述光学参数之间的距离为所述光学参数之间的差值、曼哈顿距离、欧式距离或明可夫斯基距离。
8.一种异构微光学成像模块的图像重建方法，用于对如权利要求1-7中任一项所述的异构微光学成像模块所获取的图像信息进行图像重建，其特征在于，所述方法包括：
获取所述异构微光学成像模块中图像传感单元得到的多个图像信号；所述多个图像信号分别对应于多个所述光学区域；
基于神经网络算法，对所述多个图像信号进行重建，以得到目标对象的图像。
9.一种异构微光学成像模块的图像重建装置，用于对如权利要求1-7中任一项所述的异构微光学成像模块所获取的图像信息进行图像重建，其特征在于，所述装置包括：
获取模块，用于获取所述异构微光学成像模块中图像传感单元得到的多个图像信号；所述多个图像信号分别对应于多个所述光学区域；
重建模块，用于基于神经网络算法，对所述多个图像信号进行重建，以得到目标对象的图像。
10.一种异构微光学成像模块的图像重建装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求8所述的异构微光学成像模块的图像重建方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011635745.7A CN112839149B (zh) | 2020-12-31 | 2020-12-31 | 异构微光学成像模块及其图像重建方法和装置 |
| PCT/CN2021/141824 WO2022143571A1 (zh) | 2020-12-31 | 2021-12-28 | 异构微光学成像模块及其图像重建方法和装置 |
| US18/215,892 US20230345101A1 (en) | 2020-12-31 | 2023-06-29 | Heterogeneous Micro-optics Imaging Module and Method and Apparatus for Image Reconstruction Thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011635745.7A CN112839149B (zh) | 2020-12-31 | 2020-12-31 | 异构微光学成像模块及其图像重建方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112839149A CN112839149A (zh) | 2021-05-25 |
| CN112839149B true CN112839149B (zh) | 2022-05-06 |
Family
ID=75926743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011635745.7A Active CN112839149B (zh) | 2020-12-31 | 2020-12-31 | 异构微光学成像模块及其图像重建方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230345101A1 (zh) |
| CN (1) | CN112839149B (zh) |
| WO (1) | WO2022143571A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112839149B (zh) * | 2020-12-31 | 2022-05-06 | 光沦科技(深圳)有限公司 | 异构微光学成像模块及其图像重建方法和装置 |
| CN113408545B (zh) * | 2021-06-17 | 2024-03-01 | 浙江光仑科技有限公司 | 一种基于微光学器件的端到端光电检测系统及方法 |
| CN118115500B (zh) * | 2024-04-30 | 2024-06-25 | 泰安北航科技园信息科技有限公司 | 一种用于背散射探测的图像处理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016099164A1 (ko) * | 2014-12-17 | 2016-06-23 | 엘지이노텍(주) | 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법 |
| CN112135017A (zh) * | 2020-09-01 | 2020-12-25 | Oppo（重庆）智能科技有限公司 | 图像传感器、图像处理方法及装置、成像模组、存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004003013B3 (de) * | 2004-01-20 | 2005-06-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und dessen Verwendung |
| US7505206B2 (en) * | 2006-07-10 | 2009-03-17 | Taiwan Semiconductor Manufacturing Company | Microlens structure for improved CMOS image sensor sensitivity |
| US8345144B1 (en) * | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
| US8400555B1 (en) * | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
| JP5836821B2 (ja) * | 2012-01-30 | 2015-12-24 | オリンパス株式会社 | 撮像装置 |
| JP5755374B2 (ja) * | 2012-08-06 | 2015-07-29 | 富士フイルム株式会社 | 撮像装置 |
| CN106846463B (zh) * | 2017-01-13 | 2020-02-18 | 清华大学 | 基于深度学习神经网络的显微图像三维重建方法及系统 |
| CN108363197B (zh) * | 2017-01-26 | 2019-10-15 | 中国科学院上海生命科学研究院 | 光场显微系统、光场显微镜及其光学组件 |
| CN112839149B (zh) * | 2020-12-31 | 2022-05-06 | 光沦科技(深圳)有限公司 | 异构微光学成像模块及其图像重建方法和装置 |
-
2020
- 2020-12-31 CN CN202011635745.7A patent/CN112839149B/zh active Active
-
2021
- 2021-12-28 WO PCT/CN2021/141824 patent/WO2022143571A1/zh active Application Filing
-
2023
- 2023-06-29 US US18/215,892 patent/US20230345101A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016099164A1 (ko) * | 2014-12-17 | 2016-06-23 | 엘지이노텍(주) | 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법 |
| CN112135017A (zh) * | 2020-09-01 | 2020-12-25 | Oppo（重庆）智能科技有限公司 | 图像传感器、图像处理方法及装置、成像模组、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230345101A1 (en) | 2023-10-26 |
| WO2022143571A1 (zh) | 2022-07-07 |
| CN112839149A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112839149B (zh) | 异构微光学成像模块及其图像重建方法和装置 | |
| Baek et al. | Single-shot hyperspectral-depth imaging with learned diffractive optics | |
| Shin et al. | Epinet: A fully-convolutional neural network using epipolar geometry for depth from light field images | |
| JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| KR102456875B1 (ko) | 심도 촬상 장치, 방법 및 응용 | |
| KR101602394B1 (ko) | 3d 깊이 정보를 기반으로 한 이미지 블러 | |
| JP4673202B2 (ja) | 画像入力装置 | |
| WO2018024006A1 (zh) | 一种聚焦型光场相机的渲染方法和系统 | |
| EP3797384A1 (en) | Method and system for imaging and image processing | |
| CN108337434B (zh) | 一种针对光场阵列相机的焦外虚化重聚焦方法 | |
| US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| WO2021093635A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107615747A (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
| US12063340B2 (en) | Multi-aperture ranging devices and methods | |
| JP2014011574A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| Wu et al. | Geometry based three-dimensional image processing method for electronic cluster eye | |
| JP6544978B2 (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
| WO2021093637A1 (zh) | 追焦方法和装置、电子设备、计算机可读存储介质 | |
| US8542312B2 (en) | Device having image reconstructing function, method, and storage medium | |
| CN117058183A (zh) | 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质 | |
| CN113408545B (zh) | 一种基于微光学器件的端到端光电检测系统及方法 | |
| CN112752088B (zh) | 深度图像生成方法及装置、参考图像生成方法、电子设备 | |
| CN112866552A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN112866547A (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| Zhang et al. | Model of light field imaging and its application in refocus and all-focus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |