CN113091647A - 一种用于高反光表面工件的结构光三维扫描方法 - Google Patents

Abstract

本发明涉及一种用于高反光表面工件的结构光三维扫描方法。本发明所提供的一种用于高反光表面工件的结构光三维扫描方法，根据被测对象表面反射率的分布，计算得出若干个最优的投射亮度；在扫描时系统采用预计算得出的若干个最优的亮度投射若干组条纹图案，相机拍摄后，再将此若干组不同亮度的条纹图像进行融合，最后对融合后的高动态条纹图像解相、求解三维坐标和表面重建，最终还原被测对象的三维形貌。该方法能够适用高反光表面工件甚至复杂的未知场景的三维扫描，无需依赖经验，减少人为干预，提高系统的智能性。

Description

一种用于高反光表面工件的结构光三维扫描方法

技术领域

本发明涉及光学三维测量方法，特别是涉及一种用于高反光表面工件的结构光三维扫描方法。

背景技术

结构光三维扫描技术是一类高精度的光学三维测量技术。近年来，随着数字投影技术的不断发展，基于数字条纹投影的结构光三维扫描技术以非接触式、全场扫描、高分辨率等优势被广泛应用于工业制造、医疗、娱乐以及文物保护等领域。然而，在扫描一些表面反射率变化较大的对象时，仍然存在问题，即反射率大的区域因太亮导致相机图像饱和，而反射率小的区域则太暗导致相机不能成像。投射在这些区域的条纹图案将无法被正确解算，最终难以扫描这些区域。

针对这一问题，专利CN101694375A公开了一种将亮暗条纹投射与多曝光时间采集图像相结合以合成高动态范围条纹图像的方法，其能够实现金属等强反射表面三维形貌测量。但这类采用多曝光时间的方法对于未知场景，通常无法在测量初期直接确定所需的光源强度、曝光次数和每次曝光的时间，一般依赖于经验或尽可能曝光多次，具有一定的盲目性，测量效率不高。专利CN104019767A公开了一种利用灰度直方图的波峰和波谷来估算被测对象所需的曝光次数和最佳曝光时间的方法，据此对被测对象分别进行曝光，然后将不同的最佳曝光时间下拍摄的条纹图像进行融合，最终恢复被测对象的三维形貌。然而，对于一些复杂的场景，如果利用灰度直方图不能呈现出明显的波峰和波谷，则该方法将不能准确的扫描被测对象的三维形貌。

发明内容

基于此，本发明的目的在于，提供一种用于高反光表面工件的结构光三维扫描方法，其能够根据被测对象表面反射率的分布，预测几个最优的投射亮度。该方法能够适用高反光表面工件甚至复杂的未知场景的三维扫描，无需依赖经验，减少人为干预，提高系统的智能性。

其通过以下技术方案实现：

一种用于高反光表面工件的结构光三维扫描方法，包括以下步骤：

S1：向被测对象投射一幅白光图案，并相应拍摄被测对象的白光图像I；

S2：将白光图像I中每个像素的灰度值划分为k个集合S＝{S₁,S₂,...,S_k}，计算k个集合的质心C＝{C₁,C₂,...,C_k}；

S3：计算每个像素的灰度值与其对应质心C的误差平方和SSE；

S4：k值递增1，重复步骤S2-S3，直至步骤S3计算得到的误差平方和SSE急剧下降并出现拐点，则拐点处的k值为最优投射亮度的数量；

S5：向被测对象投射一系列亮度不同的白光图案L＝{L₁,L₂,...,L_n}，并相应拍摄被测对象的白光图像I＝{I₁,I₂,...,I_n}；

S6：根据不同亮度的白光图案L＝{L₁,L₂,...,L_n}和白光图像在k个质心位置的灰度值

计算被测对象的表面反射率r^c和环境光强a^c；并根据被测对象的表面反射率r^c和环境光强a^c，计算相机图像平面k个质心位置的最佳投射亮度值

S7：系统扫描时采用S6计算得到的最佳投射亮度值

相机拍摄k组不同亮度的条纹图像，将k组不同亮度的条纹图像融合成高动态条纹图像Fⁿ(x,y)；

S8：对步骤S7得到的高动态条纹图像Fⁿ(x,y)进行解相、求解三维坐标和表面重建，最终还原被测对象的三维形貌。

本发明所述的一种用于高反光表面工件的结构光三维扫描方法，能够根据被测对象表面反射率的分布，预测几个最优的投射亮度，具有较好的自适应性以及通用性。

进一步地，所述步骤S2包括如下步骤：

S201：初始化k＝2；

S202：在像素灰度值范围内选取k个灰度值作为质心C＝{C₁,C₂,...,C_k}，对应k个集合S＝{S₁,S₂,...,S_k}；

S203：根据以下公式计算每个像素的灰度值与k个质心的欧拉距离，并将其划分到欧拉距离最小的那个质心所属的集合；

S204：根据以下公式重新计算k个集合的质心；

S205：计算新的质心和原来的质心之间的差值；

S206：如果新的质心和原来的质心之间的差值大于预设阈值，则重复步骤S203-S205，直至差值小于该阈值；输出此时的k个集合S＝{S₁,S₂,...,S_k}和k个集合的质心C＝{C₁,C₂,...,C_k}。

进一步地，所述步骤S202中，在像素灰度值范围内选取k个灰度值作为质心的方式为随机或等间隔；k＝2时，选取64和192作为质心。

进一步地，所述步骤S3中，计算每个像素的灰度值与其对应质心C的误差平方和SSE的公式为：

进一步地，所述步骤S6中，计算相机图像平面k个质心位置的反射率r^c和环境光强a^c的公式为：

其中，

为白光图像在k个质心位置的灰度值，r^c为k个质心位置的表面反射率，a^c为k个质心位置的环境光强。

进一步地，所述步骤S6中，所述计算相机图像平面k个质心位置的最佳投射亮度值P^c＝{P¹,P²,...,P^k}的公式为：

其中，I_ideal为像素灰度值的最大值-15，对于8位的相机即I_ideal＝240。

进一步地，所述步骤S7中，对于系统采用4步相移算法，8位的相机，相机拍摄k组不同亮度的条纹图像后根据以下公式生成掩码图像

其中，

均表示所拍摄的条纹图像在像素位置(x,y)处的灰度值；i和j都是表示k幅条纹图像的序号，j表示从k幅条纹图像选出最亮的，比如是第3幅最亮，则i＝3时对应的

其余i＝1,2,4,..即

为0；

为最大值时，

表示采用第i个亮度进行投射，所获得的条纹图像

在像素位置(x,y)的灰度值是有效的，且是最大值，取得最大的信噪比；

如果所有

则表示系统即使采用最低的亮度依然导致相机饱和，此时应适当减小光圈值、曝光时间和相机增益，并重新执行步骤S1，直至存在小于255的最大值

使

进一步地，所述步骤S7中，根据以下公式将k组不同亮度的条纹图像融合成高动态条纹图像Fⁿ(x,y)：

进一步地，所述步骤S5中，n＝9。

进一步地，白光图案L＝{L₁,L₂,...,L_n}的亮度依次增大，分别为20，50，80，110，140，170，200，230，255。为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明一实施例提供的一种用于高反光表面工件的结构光三维扫描方法的步骤图；

图2为本发明一实施例提供的一种用于高反光表面工件的结构光三维扫描方法测试用的铝合金工件的示意图；

图3为三维扫描系统投射亮度为128的白光图像时相机拍摄该铝合金工件得到的图像；

图4为采用传统结构光方法扫描得到的该铝合金工件的三维模型；

图5为采用本发明提供的一种用于高反光表面工件的结构光三维扫描方法得到的该铝合金工件的三维模型。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。

应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

如图1所示，本发明提供一种用于高反光表面工件的结构光三维扫描方法，包括以下步骤：

S1：向被测对象投射一幅白光图案，并相应拍摄被测对象的白光图像I；

S2：将白光图像I中每个像素的灰度值划分为k个集合S＝{S₁,S₂,...,S_k}，计算k个集合的质心C＝{C₁,C₂,...,C_k}；

S3：计算每个像素的灰度值与其对应质心C的误差平方和SSE；

S4：k值递增1，重复步骤S2-S3，直至步骤S3计算得到的误差平方和SSE急剧下降并出现拐点，则拐点处的k值为最优投射亮度的数量；

S5：向被测对象投射一系列亮度不同的白光图案L＝{L₁,L₂,...,L_n}，并相应拍摄被测对象的白光图像I＝{I₁,I₂,...,I_n}；

S6：根据不同亮度的白光图案L＝{L₁,L₂,...,L_n}和白光图像在k个质心位置的灰度值

计算被测对象的表面反射率r^c和环境光强a^c；并根据被测对象的表面反射率r^c和环境光强a^c，计算相机图像平面k个质心位置的最佳投射亮度值

S7：测量系统扫描时采用S6计算得到的最佳投射亮度值

相机拍摄k组不同亮度的条纹图像，将k组不同亮度的条纹图像融合成高动态条纹图像Fⁿ(x,y)；

S8：对步骤S7得到的高动态条纹图像Fⁿ(x,y)进行解相、求解三维坐标和表面重建，最终还原被测对象的三维形貌。

下面以一铝合金工件作为具体的扫描对象，来展示本发明提供的一种用于高反光表面工件的结构光三维扫描方法的扫描步骤和具体效果。

如图2所示，图2为本实施例的被测对象铝合金工件的示意图。

执行步骤S1，向该铝合金工件投射一幅投射亮度为128的白光图案，并相应拍摄该铝合金工件的白光图像I，得到图3。由图3可见，位置A区域反射率很高，而位置B区域反射率很低，传统结构光方法将无法完整重建该铝合金工件的三维模型，如图4所示。

执行步骤S2，将白光图像I中每个像素的灰度值划分为k个集合S＝{S₁,S₂,...,S_k}，计算k个集合的质心C＝{C₁,C₂,...,C_k}。

具体地，计算k个集合的质心C＝{C₁,C₂,...,C_k}包括以下子步骤：

S201：初始化k＝2；

S202：在像素灰度值范围内选取k个灰度值作为质心C＝{C₁,C₂,...,C_k}，对应k个集合S＝{S₁,S₂,...,S_k}；

具体地，步骤S202中，在像素灰度值范围内选取k个灰度值作为质心的方式为随机或等间隔；k＝2时，优选64和192作为质心。

S203：根据以下公式计算每个像素的灰度值与k个质心的欧拉距离，并将其划分到欧拉距离最小的那个质心所属的集合；

欧拉距离是用来衡量数据样本的冗余度的指标，欧拉距离越小，代表数据间的相关性越强。

S204：根据以下公式重新计算k个集合的质心；

S205：计算新的质心和原来的质心之间的差值；

S206：如果新的质心和原来的质心之间的差值大于预设阈值，则重复步骤S203-S205，直至差值小于该阈值；输出此时的k个集合S＝{S₁,S₂,...,S_k}和k个集合的质心C＝{C₁,C₂,...,C_k}。

重复步骤S203-S205用以寻找相关性最强的像素集合。在一个优选的实施例中，考虑到减少迭代次数以提高扫描效率，预设阈值为5。

执行步骤S3，计算每个像素的灰度值与其对应质心C的误差平方和SSE。

具体地，计算每个像素的灰度值与其对应质心C的误差平方和SSE的公式为：

执行步骤S4，将k值递增1，重复步骤S2-S3，直至步骤S3计算得到的误差平方和SSE急剧下降并出现拐点，则拐点处的k值为最优投射亮度的数量。

执行步骤S5，优选n＝9，向该铝合金工件投射一系列共9组亮度不同的白光图案L＝{L₁,L₂,...,L₉}，白光图案的亮度分别为20、50、80、110、140、170、200、230、255，并相应拍摄被测对象的白光图像I＝{I₁,I₂,...,I₉}。

执行步骤S6，根据不同亮度的白光图案L＝{L₁,L₂,...,L₉}和白光图像在k个质心位置的灰度值

计算被测对象的表面反射率r^c和环境光强a^c，具体计算公式为：

根据被测对象的表面反射率r^c和环境光强a^c，计算相机图像平面k个质心位置的最佳投射亮度值P^c＝{P¹,P²,...,P^k}，具体计算公式为：

其中，考虑到预留一定的余量以防相机的噪声导致饱和，理想灰度值I_ideal优选为像素灰度值的最大值-15，对于8位的相机即I_ideal＝240。

执行步骤S7，根据步骤S6计算得到的最佳投射亮度值，向该铝合金工件投射k组条纹图案。在一个优选的实施例中，系统采用4步相移算法，8位的相机。相机拍摄k组不同亮度的条纹图像后生成掩码图像

具体公式为：

其中，

均表示所拍摄的条纹图像在像素位置(x,y)处的灰度值。

为最大值时，

表示采用第i个亮度进行投射，所获得的条纹图像

在像素位置(x,y)的灰度值是有效的，且是最大值，取得最大的信噪比。如果所有

则表示系统即使采用最低的亮度依然导致相机饱和，此时应适当减小光圈值、曝光时间和相机增益，并从步骤S1开始重新执行，直至存在小于255的最大值

使

根据掩码图像

计算高动态条纹图像Fⁿ(x,y)，具体公式为：

执行步骤S8，对步骤S7得到的高动态条纹图像Fⁿ(x,y)进行解相、求解三维坐标和表面重建，最终还原被测对象的三维形貌。

如图4和图5所示，图4是采用传统结构光方法扫描得到的该铝合金工件的三维模型，由图可见由于位置A区域的反射率很高，导致相机饱和，重建后该区域出现了大面积的孔洞。图5是采用本发明提供的一种用于高反光表面工件的结构光三维扫描方法得到的三维模型，与图4比较可见，反射率很高的A区域和反射率很低的B区域均得到了较好地重建。

本发明提供的一种用于高反光表面工件的结构光三维扫描方法，根据被测对象表面反射率的分布，预测若干个最优的投射亮度；在扫描时系统采用该若干个最优的亮度投射若干组条纹图案，相机拍摄后，再将该若干组不同亮度的条纹图像进行融合，并解相获得绝对相位，最后利用三角法恢复被测对象的三维形貌。

本发明与现有技术相比，有以下显著优点：

自适应：能够根据被测对象表面反射率的分布，预测若干个最优的投射亮度。该方法适用于未知场景，无需依赖经验，减少人为干预，提高系统的智能。

成本低：本发明的扫描方法只需调节投射亮度，无需增加额外的硬件，硬件系统简单，成本低。

通用性：相比现有的利用灰度直方图的波峰、波谷来预测最佳曝光次数和曝光时间的方法，本发明能够适用高反光表面工件甚至更复杂场景的三维扫描，具有较高的实用价值。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种用于高反光表面工件的结构光三维扫描方法，其特征在于，包括以下步骤：

S1：向被测对象投射一幅白光图案，并相应拍摄被测对象的白光图像I；

S2：将白光图像I中每个像素的灰度值划分为k个集合S＝{S₁,S₂,...,S_k}，计算k个集合的质心C＝{C₁,C₂,...,C_k}；

S3：计算每个像素的灰度值与其对应质心C的误差平方和SSE；

S4：k值递增1，重复步骤S2-S3，直至步骤S3计算得到的误差平方和SSE急剧下降并出现拐点，则拐点处的k值为最优投射亮度的数量；

S5：向被测对象投射一系列亮度不同的白光图案L＝{L₁,L₂,...,L_n}，并相应拍摄被测对象的白光图像I＝{I₁,I₂,...,I_n}；

S6：根据不同亮度的白光图案L＝{L₁,L₂,...,L_n}和白光图像在k个质心位置的灰度值

计算被测对象的表面反射率r^c和环境光强a^c；并根据被测对象的表面反射率r^c和环境光强a^c，计算相机图像平面k个质心位置的最佳投射亮度值

S7：系统扫描时采用S6计算得到的最佳投射亮度值

相机拍摄k组不同亮度的条纹图像，将k组不同亮度的条纹图像融合成高动态条纹图像Fⁿ(x,y)；

S8：对步骤S7得到的高动态条纹图像Fⁿ(x,y)进行解相、求解三维坐标和表面重建，最终还原被测对象的三维形貌。

2.根据权利要求1所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S2包括如下步骤：

S201：初始化k＝2；

S202：在像素灰度值范围内选取k个灰度值作为质心C＝{C₁,C₂,...,C_k}，对应k个集合S＝{S₁,S₂,...,S_k}；

S203：根据以下公式计算每个像素的灰度值与k个质心的欧拉距离，并将其划分到欧拉距离最小的那个质心所属的集合；

S204：根据以下公式重新计算k个集合的质心；

S205：计算新的质心和原来的质心之间的差值；

S206：如果新的质心和原来的质心之间的差值大于预设阈值，则重复步骤S203-S205，直至差值小于该阈值；输出此时的k个集合S＝{S₁,S₂,...,S_k}和k个集合的质心C＝{C₁,C₂,...,C_k}。

3.根据权利要求2所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S202中，在像素灰度值范围内选取k个灰度值作为质心的方式为随机或等间隔；k＝2时，选取64和192作为质心。

4.根据权利要求1所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S3中，计算每个像素的灰度值与其对应质心C的误差平方和SSE的公式为：

5.根据权利要求1所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S6中，计算相机图像平面k个质心位置的反射率r^c和环境光强a^c的公式为：

其中，

为白光图像在k个质心位置的灰度值，r^c为k个质心位置的表面反射率，a^c为k个质心位置的环境光强。

6.根据权利要求1所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S6中，所述计算相机图像平面k个质心位置的最佳投射亮度值P^c＝{P¹,P²,...,P^k}的公式为：

其中，I_ideal为像素灰度值的最大值-15。

7.根据权利要求1所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S7中，对于系统采用4步相移算法，8位的相机，相机拍摄k组不同亮度的条纹图像后根据以下公式生成掩码图像

其中，

均表示所拍摄的条纹图像在像素位置(x,y)处的灰度值；

i和j都是表示k幅条纹图像的序号，j表示从k幅条纹图像选出最亮的；

为最大值时，

表示采用第i个亮度进行投射，所获得的条纹图像

在像素位置(x,y)的灰度值是有效的，且是最大值，取得最大的信噪比；

如果所有

则表示系统即使采用最低的亮度依然导致相机饱和，此时应适当减小光圈值、曝光时间和相机增益，并重新执行步骤S1，直至存在小于255的最大值

使

8.根据权利要求7所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S7中，根据以下公式将k组不同亮度的条纹图像融合成高动态条纹图像Fⁿ(x,y)：

9.根据权利要求1所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

所述步骤S5中，n＝9。

10.根据权利要求9所述的一种用于高反光表面工件的结构光三维扫描方法，其特征在于：

白光图案L＝{L₁,L₂,...,L_n}的亮度依次增大，分别为20，50，80，110，140，170，200，230，255。

Images