CN111583323B - 一种单帧结构光场三维成像方法和系统 - Google Patents

Abstract

本发明公开了一种单帧结构光场三维成像方法和系统，其中，方法包括：投影装置投射条纹图案至被测物体上；光场成像装置记录经被测物体表面反射的结构光场；获取所述结构光场的局部强度差；对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像。本发明无需提取结构光场的相位编码信息，即可实现高效、鲁棒的单帧结构光场三维成像。

Description

一种单帧结构光场三维成像方法和系统

技术领域

本发明涉及光学成像技术领域，特别涉及一种单帧结构光场三维成像方法和系统。

背景技术

随着电子信息技术的发展，图像采集和显示技术逐渐成为人类视觉信息获取过程中的重要载体，图像采集和显示技术极大的拓展了人类的视野。

现实的物理世界是三维的，现有的二维图像采集及显示技术无法记录和重现出场景的三维深度感。三维成像突破了二维采集及显示技术的缺陷，真实的记录和重现出三维场景，使得通过采集和显示技术传递的信息更加真实直观，因此具有重要意义。

光场成像可以记录光线的四维空间-角度信息，其中，角度信息能够提供深度线索，由此可以进行场景深度估计，实现单帧深度传感。然而，这种深度估计属于被动光场深度估计，其依赖于所记录的图像结构，易受探测噪声和遮挡、重复纹理和环境光照变化等测量环境的影响。

相较之下，结构照明能够提供对强度不敏感的相位编码信息。相位信息受场景深度的调制，通过相位信息可以解调出场景的深度信息。傅里叶变换法是一种经典的单帧相位计算方法，然而该方法对噪声和不连续深度较为敏感。

发明内容

本发明的目的是提供一种单帧结构光场三维成像方法和系统，旨在提高三维成像的效率和鲁棒性。

本发明实施例提供一种单帧结构光场三维成像方法，其包括：

投影装置投射条纹图案至被测物体上；

光场成像装置记录经被测物体表面反射的结构光场；

获取所述结构光场的局部强度差；

对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；

对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；

将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像。

进一步，所述的结构光场包含被测物体反射的光线的位置信息和方向信息，所述的结构光场表示为L(s,u)，其中s＝(s,t)^T表示空间坐标，u＝(u,v)^T表示角度坐标。

进一步，所述获取所述结构光场的局部强度差，包括：

对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：l₁和l₂，以及中心角度坐标的强度l₀；

按下式计算所述结构光场的局部强度差：Δ₁＝(l₁+l₂-2l₀)²和Δ₂＝(l₁-l₂)²。

进一步，所述对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差，包括：

将所述结构光场L(s,u)进行希尔伯特变换后得到变换后的结构光场L^H(s,u)；

对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：

和

以及中心角度坐标的强度

按下式计算希尔伯特变换后结构光场的局部强度差：

和

进一步，所述对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计，包括：

按下式对两种局部强度差进行求和：

计算角度坐标范围内的角度方差；

将所述角度方差作为深度线索进行光场深度估计。

进一步，所述将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像，包括：

将估计的光场深度映射到三维坐标；

通过计算的三维点云重建被测物体的三维模型，实现单帧结构光场三维成像。

本发明实施例还提供一种单帧结构光场三维成像系统，其包括投影装置、光场成像装置、计算装置，所述计算装置包括：第一局部强度差获取单元、第二局部强度差获取单元、光场深度估计单元和三维成像单元；

所述投影装置，用于投射条纹图案至被测物体上；

所述光场成像装置，用于记录经被测物体表面反射的结构光场；

所述第一局部强度差获取单元，用于获取所述结构光场的局部强度差；

所述第二局部强度差获取单元，用于对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；

所述光场深度估计单元，用于对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；

所述三维成像单元，用于将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像。

进一步，所述的结构光场包含被测物体反射的光线的位置信息和方向信息，所述的结构光场表示为L(s,u)，其中s＝(s,t)^T表示空间坐标，u＝(u,v)^T表示角度坐标；所述第一局部强度差获取单元，包括：

第一坐标获取单元，用于对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：l₁和l₂，以及中心角度坐标的强度l₀；

第一局部强度差计算单元，用于按下式计算所述结构光场的局部强度差：Δ₁＝(l₁+l₂-2l₀)²和Δ₂＝(l₁-l₂)²。

进一步，所述第二局部强度差获取单元，包括：

希尔伯特变换单元，用于将所述结构光场L(s,u)进行希尔伯特变换后得到变换后的结构光场L^H(s,u)；

第二坐标获取单元，用于对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：

和

以及中心角度坐标的强度

第二局部强度差计算单元，用于按下式计算希尔伯特变换后结构光场的局部强度差：

和

进一步，所述光场深度估计单元包括：

求和单元，用于按下式对两种局部强度差进行求和：

角度方差计算单元，用于计算角度坐标范围内的角度方差；

估计单元，用于将所述角度方差作为深度线索进行光场深度估计。

本发明实施例提供了一种单帧结构光场三维成像方法和系统，该方法包括：投影装置投射条纹图案至被测物体上；光场成像装置记录经被测物体表面反射的结构光场；获取所述结构光场的局部强度差；对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像，该方法通过对结构照明下记录的结构光场的强度信息进行变换和处理，获取结构光场的局部强度差的角度方差，由此作为深度线索在结构光场中估计场景深度，最终通过深度图场景进行三维重建，本发明实施例无需提取结构光场的相位编码信息，即可实现高效、鲁棒的单帧结构光场三维成像。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的单帧结构光场三维成像方法的流程图；

图2为本发明实施例中被测物体的结构光场示意图；

图3a为本发明实施例中被测物体的估计深度图；

图3b为本发明实施例中被测物体的重建的三维模型。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，本发明实施例提供一种单帧结构光场三维成像方法，其包括：

S101、投影装置投射条纹图案至被测物体上；

S102、光场成像装置记录经被测物体表面反射的结构光场；

S103、获取所述结构光场的局部强度差；

S104、对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；

S105、对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；

S106、将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像。

本发明实施例通过对结构照明下记录的结构光场的强度信息进行变换和处理，获取结构光场的局部强度差的角度方差，由此作为深度线索在结构光场中估计场景深度，最终通过深度图场景进行三维重建。本发明实施例结合了光场成像和结构照明各自的优势，组成高质量结构光场三维成像方法，无需提取结构光场的相位编码信息，即可实现高效、鲁棒的单帧结构光场三维成像，有利于进一步推动三维成像与测量的技术发展并拓展其应用范围。

具体的，首先在所述步骤S101中，通过投影装置将条纹图案投射到被测物体上，所述的被测物体可以是任何需要实现单帧结构光场三维成像的物体。

在所述步骤S102中，被测物体在结构照明下将会反射光线，此时可由光场成像装置来记录结构照明下由被测物体表面反射的结构光场。

在一实施例中，所述的结构光场包含被测物体反射的光线的位置信息和方向信息，所述的结构光场可利用双平面表示为L(s,u)，即四维光场，其中s＝(s,t)^T表示空间坐标，即表示位置信息；u＝(u,v)^T表示角度坐标，即表示方向信息。该结构光场具体是利用空间光线与两个平行平面的交点来表示这条空间光线。

与传统成像不同，光场成像同时记录光场的4维信息，包括2维位置分布和2维传输方向。基于此，可以实现与传统成像效果不同的成像效果。

在一实施例中，所述步骤S103包括：

S201、对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：l₁和l₂，以及中心角度坐标的强度l₀；

S202、按下式计算所述结构光场的局部强度差：Δ₁＝(l₁+l₂-2l₀)²和Δ₂＝(l₁-l₂)²。

在一实施例中，所述步骤S104包括：

S301、将所述结构光场L(s,u)进行希尔伯特变换后得到变换后的结构光场L^H(s,u)；

对于实值函数f(t),t∈(-∞,∞)，它的希尔伯特变换定义为f(t)与1/πt的卷积。

S302、对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：

和

以及中心角度坐标的强度

此步骤的计算方式与前述步骤S201的计算方式相同。

S303、按下式计算希尔伯特变换后结构光场的局部强度差：

和

此步骤的计算方式与前述步骤S202的计算方式相同。

在一实施例中，所述步骤S105包括：

S401、按下式对两种局部强度差进行求和：

S402、计算角度坐标范围内的角度方差；本步骤就是根据上述两种局部强度差求和结果计算出角度坐标范围内所有有效像素对的强度差，对这些强度差进行加权平均，得到角度方差，具体可表达为：σ(Δ)(s)。

S402、将所述角度方差作为深度线索进行光场深度估计。本步骤是通过光场坐标剪切值对原始光场(即希尔伯特变换前的结构光场)进行剪切，对剪切后的光场(剪切光场)重新进行上述的局部强度差计算，进一步可以计算出剪切光场的角度方差。剪切光场的角度方差随着光场坐标剪切值α而变化，通过不断迭代，在对应正确深度的剪切值处具有极值。因此，将角度方差作为深度线索可以估计出场景深度信息。

本实施例中，四维光场能够通过光场坐标剪切值α反映场景的深度变化。光场深度估计是以上述计算的角度方差作为深度线索估计出场景的深度图，具体表示为：σ(Δ)→α。

在一实施例中，所述步骤S106包括：

S501、将估计的光场深度映射到三维坐标；此步骤中，由光场深度估计得到的深度值(即剪切值)与实际的度量空间中的三维坐标具有唯一的对应关系，通过对光场成像装置进行预标定可以得到这种深度映射关系，从而能够将估计的深度值映射到三维坐标。

将光场深度映射到三维坐标实际上就是坐标系的变换，即从图像坐标系转换为世界坐标系，变换的约束条件即为光场成像装置内参。

S502、通过计算的三维点云重建被测物体的三维模型，实现单帧结构光场三维成像。此步骤中，通过深度估计和深度映射得到被测物体的三维点云，然后对这些三维点云进行网格化，得到一系列三角面片，完成三维模型重建。

具体的，三维点云的数据可能掺有杂点或噪声，为了避免影响后续的处理，可以先对三维点云的数据进行预处理，例如进行滤波去噪、数据精简、数据插补等

然后对三维点云的数据聚类为多个点云，每个点云对应独立的物体对象。具体的，可以先从三维点云中选择一个点，然后利用kd树(K-demension tree，一种分割K维空间的数据结构)计算以该点为中心的球，球内的点都属于该物体，球的半径设为一个阈值，之后遍历该物体的其他点，并按同样方式进行处理，最终将三维点云分割成一个一个的物体。

然后将三维点云进行三角网格化处理，以便于进行后续的网格渲染。三角网格化处理的方法可以是凸包或凹包算法，这种得到了三维点云的空间拓扑结构。

为了得到更逼真的物体，最后进行网格渲染，网格渲染主要包含纹理映射。

下面通过一实例对上述单帧结构光场三维成像方法的执行过程进行具体说明：

首先，投影装置投射条纹图案到被测物体上，光场成像装置记录经被测物体表面反射的结构光场，获取结构光场的局部强度差；

图2示出被测物体的结构光场，其中，两个框分别表示多个微透镜单位和单个微透镜单元区域，0用于标记中心角度坐标，1和2用于标记相对于中心角度坐标对称的坐标对。

然后对结构光场进一步进行希尔伯特变换，获取变换后结构光场的局部强度差；

然后对两种局部强度差进行求和，由此计算角度坐标范围内的角度方差，作为深度线索进行光场深度估计；图3a示出估计的被测物体估计深度图。

最后将估计的光场深度映射到三维坐标，重建被测物体的三维模型，实现单帧结构光场三维成像。图3b示出被测物体的三维模型图。

该方法通过对结构照明下的记录光场的强度信息进行变换和处理，获取结构光场的局部强度差的角度方差，由此作为深度线索在结构光场中估计场景深度，最终通过深度图场景三维重建，无需提取结构光场的相位编码信息，实现单帧结构光场三维成像。

本发明实施例还提供一种单帧结构光场三维成像系统，其包括投影装置、光场成像装置、计算装置，所述计算装置包括：第一局部强度差获取单元、第二局部强度差获取单元、光场深度估计单元和三维成像单元；

所述投影装置，用于投射条纹图案至被测物体上；

所述光场成像装置，用于记录经被测物体表面反射的结构光场；

所述第一局部强度差获取单元，用于获取所述结构光场的局部强度差；

所述第二局部强度差获取单元，用于对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；

所述光场深度估计单元，用于对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；

所述三维成像单元，用于将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像。

需说明的是，上述计算装置可以作为一部分整体内置于所述光场成像装置中，可以独立于光场成像装置外，或者所述计算装置中的部分单元或功能可以内置于所述光场成像装置中，而其他单元或功能则可以独立于光场成像装置之外。甚至所述投影装置与所述光场成像装置在合适的条件下也可以设计为一体装置。即本发明实施例中的各装置其可以根据实际需要进行灵活调整和设置，变换后的情况同样属于本发明权利要求保护范围之内。

在一实施例中，所述的结构光场包含被测物体反射的光线的位置信息和方向信息，所述的结构光场表示为L(s,u)，其中s＝(s,t)^T表示空间坐标，u＝(u,v)^T表示角度坐标；所述第一局部强度差获取单元，包括：

第一坐标获取单元，用于对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：l₁和l₂，以及中心角度坐标的强度l₀；

第一局部强度差计算单元，用于按下式计算所述结构光场的局部强度差：Δ₁＝(l₁+l₂-2l₀)²和Δ₂＝(l₁-l₂)²。

在一实施例中，所述第二局部强度差获取单元，包括：

希尔伯特变换单元，用于将所述结构光场L(s,u)进行希尔伯特变换后得到变换后的结构光场L^H(s,u)；

第二坐标获取单元，用于对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：

和

以及中心角度坐标的强度

第二局部强度差计算单元，用于按下式计算希尔伯特变换后结构光场的局部强度差：

和

在一实施例中，所述光场深度估计单元，包括：

求和单元，用于按下式对两种局部强度差进行求和：

角度方差计算单元，用于计算角度坐标范围内的角度方差；

估计单元，用于将所述角度方差作为深度线索进行光场深度估计。

在一实施例中，所述三维成像单元包括：

映射单元，用于将估计的光场深度映射到三维坐标；

模型重建单元，用于通过计算的三维点云重建被测物体的三维模型，实现单帧结构光场三维成像。

该装置通过对结构照明下记录的结构光场的强度信息进行变换和处理，获取结构光场的局部强度差的角度方差，由此作为深度线索在结构光场中估计场景深度，最终通过深度图场景进行三维重建，无需提取结构光场的相位编码信息，即可实现高效、鲁棒的单帧结构光场三维成像。

关于上述装置单元的技术细节可参考前述方法实施例中的具体描述，此处不再赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (5)

1.一种单帧结构光场三维成像方法，其特征在于，包括：

投影装置投射条纹图案至被测物体上；

光场成像装置记录经被测物体表面反射的结构光场；

获取所述结构光场的局部强度差；

对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；

对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；

将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像；

所述的结构光场包含被测物体反射的光线的位置信息和方向信息，所述的结构光场表示为L(s,u)，其中s＝(s,t)^T表示空间坐标，u＝(u,v)^T表示角度坐标；

所述获取所述结构光场的局部强度差，包括：

对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：l₁和l₂，以及中心角度坐标的强度l₀；

按下式计算所述结构光场的局部强度差：Δ₁＝(l₁+l₂-2l₀)²和Δ₂＝(l₁-l₂)²；

所述对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差，包括：

将所述结构光场L(s,u)进行希尔伯特变换后得到变换后的结构光场L^H(s,u)；

对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：

和

以及中心角度坐标的强度

按下式计算希尔伯特变换后结构光场的局部强度差：

和

2.根据权利要求1所述的单帧结构光场三维成像方法，其特征在于，所述对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计，包括：

按下式对两种局部强度差进行求和：

计算角度坐标范围内的角度方差；

将所述角度方差作为深度线索进行光场深度估计。

3.根据权利要求2所述的单帧结构光场三维成像方法，其特征在于，所述将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像，包括：

将估计的光场深度映射到三维坐标；

通过计算的三维点云重建被测物体的三维模型，实现单帧结构光场三维成像。

4.一种单帧结构光场三维成像系统，其特征在于，包括投影装置、光场成像装置、计算装置，所述计算装置包括：第一局部强度差获取单元、第二局部强度差获取单元、光场深度估计单元和三维成像单元；

所述投影装置，用于投射条纹图案至被测物体上；

所述光场成像装置，用于记录经被测物体表面反射的结构光场；

所述第一局部强度差获取单元，用于获取所述结构光场的局部强度差；

所述第二局部强度差获取单元，用于对所述结构光场进行希尔伯特变换，获取希尔伯特变换后的结构光场的局部强度差；

所述光场深度估计单元，用于对两种局部强度差进行求和，并根据求和结果计算角度坐标范围内的角度方差，然后将所述角度方差作为深度线索进行光场深度估计；

所述三维成像单元，用于将估计的光场深度映射到三维坐标，以重建被测物体的三维模型，实现单帧结构光场三维成像；

所述的结构光场包含被测物体反射的光线的位置信息和方向信息，所述的结构光场表示为L(s,u)，其中s＝(s,t)^T表示空间坐标，u＝(u,v)^T表示角度坐标；所述第一局部强度差获取单元，包括：

第一坐标获取单元，用于对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：l₁和l₂，以及中心角度坐标的强度l₀；

第一局部强度差计算单元，用于按下式计算所述结构光场的局部强度差：Δ₁＝(l₁+l₂-2l₀)²和Δ₂＝(l₁-l₂)²；

所述第二局部强度差获取单元，包括：

希尔伯特变换单元，用于将所述结构光场L(s,u)进行希尔伯特变换后得到变换后的结构光场L^H(s,u)；

第二坐标获取单元，用于对于指定的空间坐标s_i，获取角度坐标范围内相对中心角度坐标对称的坐标对的强度：

和

以及中心角度坐标的强度

第二局部强度差计算单元，用于按下式计算希尔伯特变换后结构光场的局部强度差：

和

5.根据权利要求4所述的单帧结构光场三维成像系统，其特征在于，所述光场深度估计单元，包括：

求和单元，用于按下式对两种局部强度差进行求和：

角度方差计算单元，用于计算角度坐标范围内的角度方差；

估计单元，用于将所述角度方差作为深度线索进行光场深度估计。

Images