CN112945141B - 基于微透镜阵列的结构光快速成像方法及系统 - Google Patents

Abstract

本发明公开的基于微透镜阵列的结构光快速成像方法及系统；包括如下步骤：S10，投影装置产生结构光，并将结构光投射到被测物上；S20,将被测物、主透镜、微透镜阵列、图像传感器沿光路依次设置，使得入射光线依次通过主透镜、微透镜阵列直至图像传感器；S30，图像传感器采集被测物的结构光影像图像，获得被测物的四维光场信息；S40,成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像；具有能够通过单台相机单幅图像即可实现快速、高精度、非接触的三维重建的有益效果，适用于机器视觉测量的技术领域。

Description

基于微透镜阵列的结构光快速成像方法及系统

技术领域

本发明涉及机器视觉测量的技术领域，具体涉及基于微透镜阵列的结构光快速成像方法及系统。

背景技术

近些年三维面型测量技术及立体视觉一直是研究及应用的热点，在三维打印、工业加工制造、精密设备检测、人工智能等方面都有广泛的应用基础。其中，机器视觉是最为实用的三维测量技术，其通过左右相机获取具有视差的图像，在相机内外参数已经标定的条件下，利用三角测量原理可以高精度的获取物体的三维信息。

然而单目相机无法获取准确的深度信息，而双目相机图像尚无法实现高准确度的图像匹配，因此被动式的视觉系统很难应用于高精度的工业测量等领域中。利用结构光照明的主动三维测量方法，主动投射具有一定结构的图案到物体表面，物体表面的三维形状调制了光栅条纹，变形的纹理携带了物体的深度信息，并能够较好的解决图像对应点匹配问题，从而成为三维测量研究领域的主流。诸多研究人员对基于结构光的主动视觉三维测量技术进行了深入研究，其投射的图案主要分为时间编码型和空间编码型。

空间编码的方法通常只投射一幅图案，图中每个点的码字根据其邻近点的信息进行解读，该类方法中基于伪随机序列的空间编码最为可靠，Morano等设计了伪随机空间编码，利用关联性查找左右相机之间的匹配点，随后出现了随机直线编码，I.A.Ypsilos讨论了七种常用随机编码模式图案，包含随机线和随机点，实验结果表明随机点模式要比随机线模式取得更好的重建精度，随后De Brui jn随机空间编码和基于激光散斑方法成为该类方法中的核心算法。空间编码具有只需要一幅图像即可完成左右相机匹配的优点，可用于快速3D视觉重建，然而空间编码的形式测量物体外形时发现其对于锐角部分即物体细节部分重建结果被平滑，测量精度有限并且解码困难。

时间编码方法是码字按照时间序列进行编码，按先后顺序依次投射到被测物体表面。其中格雷码加相移方法和多频外差技术在性能及可靠性方面最为优异，此类方法根据相位值实现左右相机图像的匹配，从而可以得到较高的匹配率以及密集点云。格雷码构成的码字用于确定截断相位的周期数，然而该方法无法有效的处理阴影问题。基于多频外差的重构方法可有效的克服阴影问题，利用多个短周期的光栅条纹图合成长周期的莫尔条纹，从而将整个视场对应到一个周期内。该方法具有高精度、高可靠、误差不扩散等优点，其不足在于需要投射十副左右的光栅图案才能完成重建任务，因此通常只适用于静态物体的测量；

如上所述，时间编码方法，具有性能稳定，抗干扰能力强的优点，需要投射多幅图像，测量周期较长；空间编码方法具有快速的优点，可用于动态三维检测，但其测量精度有限同时变形后的图案解码困难；上述方法通常均需要双目相机实现对应点的精确匹配，利用三角法实现深度信息的获取。

因此，如何通过单目相机快速的实时获取物体的深度信息成为需要解决的问题。

发明内容

针对相关技术中存在的不足，本发明所要解决的技术问题在于：提供一种基于微透镜阵列的结构光三维成像快速方法及系统，能够通过单台相机单幅图像即可实现快速、高精度、非接触的三维重建。

为解决上述技术问题，本发明采用的技术方案为：基于微透镜阵列的结构光快速成像方法，包括如下步骤：

S10，投影装置产生结构光，并将结构光投射到被测物上；

S20,将被测物、主透镜、微透镜阵列、图像传感器沿光路依次设置，使得入射光线依次通过主透镜、微透镜阵列直至图像传感器；

S30，图像传感器采集被测物的结构光影像图像，获得被测物的四维光场信息；

S40,成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像。

优选地，所述步骤S30中，所述的四维光场信息包括：二维位置信息和二维方向信息。

优选地，所述步骤S40中，成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像，具体包括：

S401，再聚焦；即：将采集到的四维光场重新投影到新的像平面进行积分，得到N×M幅再聚焦图像，其中：N，M分别是被测物通过单微透镜投射的像素点的宽度和高度；

S402，对N×M幅再聚焦图像分别做傅里叶变换；

S403，通过每个像素点的频域成分确定该像素点所在的焦平面；

S404，计算每个像素点的景深，并通过透镜成像公式，获得被测物的三维重建图像；其中：所述透镜成像公式为：

其中，u，v，f分别表示物距、像距和焦距。

优选地，所述步骤S401中，将采集到的四维光场重新投影到新的像平面进行积分的数学表达式为：

其中：U表示主镜头孔径所在平面,S表示微透镜阵列所在平面；L表示主镜头孔径所在平面与微透镜阵列所在平面之间的距离：S′表示重新投影的像平面；L′表示重新投影像平面与主镜头孔径所在平面之间的距离；

所述L′与L之间的关系为：L′＝αL。

优选地，所述步骤S402中，对N×M幅再聚焦图像分别做傅里叶变换的数学表达式为：

其中：F(u,v)表示频域值，f(x,y)表示像素点的值，W，H分别表示图像的宽和高。

优选地，所述步骤S20中，所述的结构光包括：光栅正弦图像结构光。

优选地，所述步骤S20中，投影装置产生结构光，并将结构光投射到被测物表面中，所述结构光需满足如下表达式：

上式中，A(x,y)表示背景光强和B(x,y)表示条纹幅值光强，α_i表示初始相位，

表示相位；

令：

则式(4)式可表示为：

将符合式(5)的结构光投射到被测物体表面。

优选地，所述图像传感器为CCD图像传感器。

基于微透镜阵列的结构光快速成像系统，包括：

投影装置，用于产生结构光，并将结构光投射到被测物上；

图像采集装置，用于采集被测物的结构光影像图像；

成像计算装置，用于根据被测物的结构光影像图像，进行深度计算，获得被测物的三维重建图像；

所述图像采集装置包括：主透镜、微透镜阵列和图像传感器，所述主透镜、微透镜阵列、图像传感器沿光路依次设置，以使得入射光线依次通过主透镜、微透镜阵列直至图像传感器。

优选地，所述微透镜阵列包括共面的多个微透镜，多个所述微透镜均匀分布。

本发明的有益技术效果在于：

1、本发明提供的基于微透镜阵列的结构光快速成像方法及系统，使用时：投影装置产生结构光，并将结构光投射到被测物上；并将被测物、主透镜、微透镜阵列、图像传感器沿光路依次设置，使得入射光线依次通过主透镜、微透镜阵列直至图像传感器；图像传感器采集被测物的结构光影像图像，获得被测物的四维光场信息后，通过成像计算装置进行深度计算，获得被测物的三维重建图像；上述过程中，通过投影装置产生的结构光，使得图像传感器采集的被测物图像中含有结构光的影像图像，通过结构光的四维光场信息，即可恢复被测物体的三维形貌；与传统方式相比，本发明通过投射结构光，只需单目相机即可实现三维重构，显著减小了投射的结构光的图像数量，大大缩短了测量时间，降低了计算复杂度，进而减少了测量误差，实用性极强。

2、本发明通过利用微透镜阵列对全光场的记录，将采集到的图像分解为不同焦平面的光栅条纹图像，利用光栅条纹失焦图像点频谱的变化，可精确定位其所在的焦平面，从而确定其深度平面，进而恢复被测物体的三维形貌。

3、本发明具有不降低光栅条纹测量方法的精度，且由于每个像素点的计算误差仅与当前像素点有关，与其他像素点不存在计算关系，因此，其误差还具有不扩散的优点。

附图说明

通过附图所示，本发明的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。

图1是本发明实施例一提供的基于微透镜阵列的结构光快速成像方法的流程示意图；

图2是本发明实施例一提供的基于微透镜阵列的结构光快速成像系统的结构示意图；

图3是传统成像的光场分布图；

图4是本发明实施例二提供的图像采集装置的结构示意图；

图5是本发明实施例二中再聚焦的图像原理解析图；

图6是本发明实施例二中再聚焦的图像像素点抽取示意图；

图7是本发明实施例三提供的基于微透镜阵列的结构光快速成像系统的结构示意图；

图8是本发明实施例三中被测物的三维重建图像示意图；

1为投影装置，2为图像采集装置，3为成像计算装置，4为被测物；

201为主透镜，202为微透镜阵列，203为图像传感器；

2011为主镜头孔径；2031为宏像素。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图详细说明所述基于微透镜阵列的结构光快速成像方法及系统的具体实施例。

实施例一

图1是本发明实施例一提供的基于微透镜阵列的结构光快速成像方法的流程示意图；如图1所示，基于微透镜阵列的结构光快速成像方法，包括如下步骤：

S10，投影装置产生结构光，并将结构光投射到被测物上；

S20,将被测物、主透镜、微透镜阵列、图像传感器沿光路依次设置，使得入射光线依次通过主透镜、微透镜阵列直至图像传感器；

S30，图像传感器采集被测物的结构光影像图像，获得被测物的四维光场信息；

S40,成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像。

图2是本发明实施例一提供的基于微透镜阵列的结构光快速成像系统的结构示意图；如图2所示，基于微透镜阵列的结构光快速成像系统，包括：

投影装置1，用于产生结构光，并将结构光投射到被测物4上；

图像采集装置2，用于采集被测物4的结构光影像图像；

成像计算装置3，用于根据被测物4的结构光影像图像，进行深度计算，获得被测物4的三维重建图像；

所述图像采集装置2包括：主透镜201、微透镜阵列202和图像传感器203，所述主透镜201、微透镜阵列202、图像传感器203沿光路依次设置，以使得入射光线依次通过主透镜201、微透镜阵列202直至图像传感器203。

具体地，所述微透镜阵列202包括共面的多个微透镜，多个所述微透镜均匀分布。

进一步地，本实施例中的图像采集系统，在主透镜和CCD图像传感器之间插入微透镜阵列，使得图像传感器采集的图像则是经过微透镜阵列再次成像的结果。

本发明实施例一提供的基于微透镜阵列的结构光快速成像方法及系统，使用时：投影装置产生结构光，并将结构光投射到被测物上；并将被测物、主透镜、微透镜阵列、图像传感器沿光路依次设置，使得入射光线依次通过主透镜、微透镜阵列直至图像传感器；图像传感器采集被测物的结构光影像图像，获得被测物的四维光场信息后，通过成像计算装置进行深度计算，获得被测物的三维重建图像；上述过程中，通过投影装置产生的结构光，使得图像传感器采集的被测物图像中含有结构光的影像图像，通过结构光的四维光场信息，即可恢复被测物体的三维形貌；与传统方式相比，本发明通过投射结构光，只需单目相机即可实现三维重构，显著减小了投射的结构光的图像数量，大大缩短了测量时间，降低了计算复杂度，进而减少了测量误差，实用性极强。

实施例二

在实施例一的基础上，基于微透镜阵列的结构光快速成像方法，所述步骤S30中，所述的四维光场信息包括：二维位置信息和二维方向信息。

具体地，所述步骤S40中，成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像，具体包括：

S401，再聚焦；即：将采集到的四维光场重新投影到新的像平面进行积分，得到N×M幅再聚焦图像，其中：N，M分别是被测物通过单微透镜投射的像素点的宽度和高度；

S402，对N×M幅再聚焦图像分别做傅里叶变换；

S403，通过每个像素点的频域成分确定该像素点所在的焦平面；

S404，计算每个像素点的景深，并通过透镜成像公式，获得被测物的三维重建图像；其中：所述透镜成像公式为：

其中，u，v，f分别表示物距、像距和焦距。

具体地，图3是传统成像的光场分布图；如图3所示，传统的成像系统中可以分为镜头光瞳面和探测器像面，记录了光强度，采集到的光场分布如图3所示，其可以表示为：

I(x,y)＝∫∫L(u,v,s,t)dudv 式(5)；

其中，I(x,y)表示光线在图像探测器CCD在坐标(x,y)处的光强的积累，数学上表示为积分，其损失了其(u,v)方向信息。

图4是本发明实施例二提供的图像采集装置的结构示意图；如图4所示，通过微透镜阵列可以记录光场的四维信息，即二维位置分布和二维传输方向；为了实现四维信息向二维平面的转换，必须对四维光场进行重采样和分布；本发明中，通过在图像传感器前面放置微透镜阵列来实现光场的采集。

图5是本发明实施例二中再聚焦的图像原理解析图，如图5所示，S′平面上所成的像等于U-S'之间光场的积分，即：

I(s')＝∫L'(u,s')du 式(2-1)；

同时，根据光线与各平面的交点坐标可以得到如下关系：

令l'＝αl则有：

其中：U表示主镜头孔径所在平面,S表示微透镜阵列所在平面；L表示主镜头孔径所在平面与微透镜阵列所在平面之间的距离：S′表示重新投影的像平面；L′表示重新投影像平面与主镜头孔径所在平面之间的距离；

所述L′与L之间的关系为：L′＝αL。

通过上述推导过程，可知：

本实施例中，所述步骤S401中，将采集到的四维光场重新投影到新的像平面进行积分的数学表达式为：

从上式(2)可以看出，重聚焦就是对光场在位置维度进行平移后在方向维度进行积分；其可用图6进行说明，图6是本发明实施例二中再聚焦的图像像素点抽取示意图；图6中，N_x,N_y表示图像平面像素坐标(左上角为坐标原点)，n_x,n_y表示微透镜像平面坐标，P表示相同焦平面移动的偏移量；因此，再聚焦过程中，确定了焦平面的距离后，可转化为微透镜所在像素点的偏移量，从而抽取不同的像素点形成新的聚焦图像。

进一步地，根据上述式(2)，可得到结构光影像图像的N×M幅再聚焦图像，其中N，M分别是单微透镜投射的像素点的宽度和高度，因此所得再聚焦图像的分辨率为：

resolution为结构光影像图像的原图分辨率。

本实施例中，所述步骤S402中，对N×M幅再聚焦图像分别做傅里叶变换的数学表达式为：

其中：F(u,v)表示频域值，f(x,y)表示像素点的值，W，H分别表示图像的宽和高。

通过式(3)的表达式，可计算得到每个像素点种不同频域的表达。比较其频域成分即可确定该像素点所在的像平面。

更进一步地，利用基本的透镜成像公式：

其中，u，v，f分别表示物距、像距和焦距；在已标定了相机后，焦距即可确定，像距根据N×M个像素点即可确定，同时确定其对应的再聚焦图像，最后确定该像素点的景深(物距)。

实施例三

在实施例一的基础上，基于微透镜阵列的结构光快速成像方法，所述步骤S20中，所述的结构光包括：光栅正弦图像结构光。

具体地，所述步骤S20中，投影装置产生结构光，并将结构光投射到被测物表面中，所述结构光需满足如下表达式：

上式中，A(x,y)表示背景光强和B(x,y)表示条纹幅值光强，α_i表示初始相位，

表示相位；

令：

则式(4)式可表示为：

将符合式(5)的结构光投射到被测物体表面。

图7是本发明实施例一提供的基于微透镜阵列的结构光快速成像系统的结构示意图；图8是本发明实施例三中被测物的三维重建图像示意图；如图7、图8所示，本实施例中，通过利用微透镜阵列对全光场的记录，将采集到的图像分解为不同焦平面的光栅条纹图像，利用光栅条纹失焦图像点频谱的变化，可精确定位其所在的焦平面，从而确定其深度平面，进而恢复被测物体的三维形貌。

同时，本发明具有不降低光栅条纹测量方法的精度，且由于每个像素点的计算误差仅与当前像素点有关，与其他像素点不存在计算关系，因此，其误差还具有不扩散的优点。

综上，本发明提出的基于微透镜阵列的结构光三维成像快速方法及系统，和现有方法相比，只需要单目相机并投射单幅光栅图像即可实现三维重构，显著减小了投射的条纹图像数量，大大缩短了测量时间，使得计算上简单方便的同时，其测量误差具有不扩散性的优点，实用性极强。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

可以理解的是，上述方法、装置、主机及系统中的相关特征可以相互参考。另外，上述实施例中的“实施例一”、“实施例二”等是用于区分各实施例，而并不代表各实施例的优劣。

所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和单元模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其他设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定的编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.基于微透镜阵列的结构光快速成像方法，其特征在于：包括如下步骤：

S10，投影装置产生结构光，并将结构光投射到被测物上；

S20,将被测物、主透镜、微透镜阵列、图像传感器沿光路依次设置，使得入射光线依次通过主透镜、微透镜阵列直至图像传感器；

S30，图像传感器采集被测物的结构光影像图像，获得被测物的四维光场信息；

S40,成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像；

所述步骤S40中，成像计算装置根据被测物的四维光场信息，进行深度计算，获得被测物的三维重建图像，具体包括：

S401，再聚焦；即：将采集到的四维光场重新投影到新的像平面进行积分，得到N×M幅再聚焦图像，其中：N，M分别是被测物通过单微透镜投射的像素点的宽度和高度；

S402，对N×M幅再聚焦图像分别做傅里叶变换；

S403，通过每个像素点的频域成分确定该像素点所在的焦平面；

S404，计算每个像素点的景深，并通过透镜成像公式，获得被测物的三维重建图像；其中：所述透镜成像公式为：

其中，u，v，f分别表示物距、像距和焦距；

所述步骤S401中，将采集到的四维光场重新投影到新的像平面进行积分的数学表达式为：

其中：u表示主镜头孔径所在平面,S表示微透镜阵列所在平面；L表示主镜头孔径所在平面与微透镜阵列所在平面之间的距离：s′表示重新投影的像平面；L′表示重新投影像平面与主镜头孔径所在平面之间的距离；

所述L′与L之间的关系为：L′＝αL；

所述步骤S402中，对N×M幅再聚焦图像分别做傅里叶变换的数学表达式为：

其中：F(u,v)表示频域值，f(x,y)表示像素点的值，W，H分别表示图像的宽和高。

2.根据权利要求1所述的基于微透镜阵列的结构光快速成像方法，其特征在于：所述步骤S30中，所述的四维光场信息包括：二维位置信息和二维方向信息。

3.根据权利要求1所述的基于微透镜阵列的结构光快速成像方法，其特征在于：

所述步骤S20中，所述的结构光包括：光栅正弦图像结构光。

4.根据权利要求3所述的基于微透镜阵列的结构光快速成像方法，其特征在于：所述步骤S20中，投影装置产生结构光，并将结构光投射到被测物表面中，所述结构光需满足如下表达式：

上式中，A(x,y)表示背景光强和B(x,y)表示条纹幅值光强，α_i表示初始相位，

表示相位；

令：

则式(4)式可表示为：

将符合式(5)的结构光投射到被测物体表面。

5.根据权利要求1所述的基于微透镜阵列的结构光快速成像方法，其特征在于：所述图像传感器为CCD图像传感器。

6.基于微透镜阵列的结构光快速成像系统，其特征在于：包括：

投影装置(1)，用于产生结构光，并将结构光投射到被测物(4)上；

图像采集装置(2)，用于采集被测物(4)的结构光影像图像；

成像计算装置(3)，用于根据被测物(4)的结构光影像图像，进行深度计算，获得被测物(4)的三维重建图像；具体包括：

再聚焦；即：将采集到的四维光场重新投影到新的像平面进行积分，得到N×M幅再聚焦图像，其中：N，M分别是被测物通过单微透镜投射的像素点的宽度和高度；其中，将采集到的四维光场重新投影到新的像平面进行积分的数学表达式为：

其中：u表示主镜头孔径所在平面,S表示微透镜阵列所在平面；L表示主镜头孔径所在平面与微透镜阵列所在平面之间的距离：s′表示重新投影的像平面；L′表示重新投影像平面与主镜头孔径所在平面之间的距离；

所述L′与L之间的关系为：L′＝αL；

对N×M幅再聚焦图像分别做傅里叶变换，数学表达式为：

其中：F(u,v)表示频域值，f(x,y)表示像素点的值，W，H分别表示图像的宽和高；

通过每个像素点的频域成分确定该像素点所在的焦平面；

计算每个像素点的景深，并通过透镜成像公式，获得被测物的三维重建图像；其中：所述透镜成像公式为：

其中，u，v，f分别表示物距、像距和焦距；

所述图像采集装置(2)包括：主透镜(201)、微透镜阵列(202)和图像传感器(203)，所述主透镜(201)、微透镜阵列(202)、图像传感器(203)沿光路依次设置，以使得入射光线依次通过主透镜(201)、微透镜阵列(202)直至图像传感器(203)。

7.根据权利要求6所述的基于微透镜阵列的结构光快速成像系统，其特征在于：所述微透镜阵列(202)包括共面的多个微透镜，多个所述微透镜均匀分布。

Images