CN108645354A - 高反光对象表面的结构光三维成像方法及系统 - Google Patents

Abstract

本发明提供一种高反光物体表面的结构光三维成像方法及系统，涉及三维测量领域。方法包括：向被测物体表面投影多组频率相同且光照强度不同的二值相移编码图案，根据反射的图像生成不同光照强度下的多个调制图片组，按光照强度降序排列；获取光照强度最大的组中各像素点的光照饱和强度，得到饱和像素点，确定饱和区域，获取其他各组对应区域内与各饱和像素点一一对应的光照饱和强度最小且光照强度最大的替换像素点并计算相位，用替换像素点的相位替代饱和像素点的相位，得到被测物体修复后的三维图像。本发明有效地解决了对高反光物体进行三维重建时由于反射率过高、光强度饱和而出现相位误差的问题，重建速度快、准确率高。

Description

高反光对象表面的结构光三维成像方法及系统

技术领域

本发明涉及三维测量领域，具体而言，涉及一种高反光对象表面的结构光三维成像方法及系统。

背景技术

目前，作为一种基于结构光测量技术的三维重建技术，相位测量轮廓术(PhaseMeasurement Profilometry，PMP)以其灵活、高精度、非接触性等优点，被广泛应于三维建模、工业制造、产品质量检测、生物识别等领域。

在相位测量轮廓术的实际应用中，需要照相机准确获得被测物体表面被投影编码图案时的反射光作为求解相位的依据。由于高反光物体具有表面光滑、反射率大等特征，捕获的图片中部分光强度极高的区域像素的光强度被限制在照相机的最大量化值内，即光强度饱和。

传统方法中判断图像的光强度饱和区域时，是基于像素点灰度值判断像素点是否饱和，将灰度值达到照相机最大量化值的像素点默认为饱和像素点，并且默认饱和的像素点必然存在相位误差，忽略了由于某些被测物体表面反射率过高而使得实际的光照强度值大于照相机的最大量化值时，像素点的灰度值为真值的情况，因此会产生信息的失真，严重影响三维测量的精度。

发明内容

有鉴于此，本发明实施例提供了一种高反光对象表面的结构光三维成像方法及系统，用于解决三维测量中由于捕获图片光强度饱和而产生的信息失真、测量精度降低的问题。

第一方面，本发明实施例提供一种高反光对象表面的结构光三维成像方法，该方法应用于高反光对象表面的结构光三维成像系统，所述系统包括通信连接的投影仪、图像捕获装置及计算机，所述方法包括：计算机控制投影仪向被测物体表面投影多组频率相同且光照强度不同的二值相移编码图案；图像捕获装置捕获经过所述被测物体表面反射之后的图像并发送给所述计算机，由所述计算机生成不同光照强度下的多个调制图片组，并按照光照强度从高到低的方式排序，其中，每组图片的数量相等；获取光照强度最大的二值相移编码图案对应的调制图片组中各像素点的光照饱和强度，得到饱和像素点，由所述饱和像素点构成饱和区域；根据所述饱和区域确定其他调制图片组的替换区域，计算其他每个调制图片组的替换区域内各像素点的光照饱和强度，得到与各饱和像素点一一对应的光照饱和强度最小且光照强度最大的替换像素点；计算所述替换像素点的相位，在所述饱和区域中采用所述替换像素点的相位替代所述饱和像素点的相位，得到所述被测物体修复后的三维图像。

第二方面，本发明实施例还提供一种用于实现上述方法的高反光对象表面的结构光三维成像系统，所述系统包括通信连接的投影仪、图像捕获装置及计算机；所述计算机用于控制所述投影仪向被测物体表面投影二值相移编码光栅；所述图像捕获装置用于捕获经过所述被测物体表面反射形成的图像，发送给所述计算机生成调制图片组并排序；所述计算机还用于计算所述调制图片组中各像素点的光照饱和强度，确定光照强度最大的调制图片组中需要修复的饱和区域，查找其他调制图中组在对应区域内光照饱和强度最小且光照强度最大的替换像素点，计算所述替换像素点的相位，用所述替换像素点的相位替代所述饱和区域内对应像素点的相位。

可选地，所述计算机还用于计算所述图像捕获装置的最大量化值及所述调制图片组中各像素点的光照强度误差。

本发明提供的高反光对象表面的结构光三维成像方法及系统。投影二值相移编码图案替代传统的正弦光栅，投影速度更快，无需进行非线性校正，提高了重建效率。利用二值相移编码图案的周期性与对称性判断是否存在饱和误差，获取多组光照强度不同的调制图片组，选择光照强度最大的一组确定饱和区域，再选择光照饱和强度最小且光照强度最大的像素点的相位替代原来饱和的像素的相位，完成三维重建，使修复重建后的三维图像具有更高的真实性和精确度。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的高反光对象表面的结构光三维成像系统结构图；

图2为本发明实施例提供的应用于图1中所述系统的高反光对象表面的结构光三维成像方法的流程图；

图3为图2中步骤S13的子步骤流程图；

图4为图2中步骤S14的子步骤流程图；

图5为本发明实施例提供的像素点相位误差与光照饱和强度对比验证方法的流程图；

图6A为本发明实施例提供的光照饱和强度分布图；

图6B是本发明实施例提供的相位误差图；

图6C是传统的基于像素点光照强度值判断是否饱和的方法求得的光照饱和强度分布图；

图7A是本发明实施例提供的高反光对象表面的结构光三维成像方法的重建结果示意图；

图7B是传统PMP算法的重建结果示意图。

图标：10-高反光对象表面的结构光三维成像系统；11-计算机；12-投影仪；13-图像捕获装置。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

发明人发现，目前已有的相位测量轮廓术在实际应用中，需要照相机准确获得被测物体表面被投影编码图案时的反射光作为求解相位的依据。由于高反光物体具有表面光滑、反射率大等特征，照相机捕获的图片中部分光照强度极高的区域的像素会产生光强度饱和。在传统的图像融合算法中，当光照强度值达到照相机的最大量化值时就判断出现光强饱和，显然忽略了像素点的灰度值为真值的情况，从而使测量的信息失真，严重影响三维测量的精度。传统PMP方法中，照相机拍摄的非饱和区域的灰度值也非常容易受到光强饱和区域反射光的干扰。

为了克服上述现有技术中存在的缺陷，发明人通过研究提供了下面实施例给出的解决方案。

请参照图1，图1是本发明实施例提供的高反光对象表面的结构光三维成像系统10结构图。所述高反光对象表面的结构光三维成像系统10包括：相互之间通信连接的计算机11，投影仪12，图像捕获装置13。

在本实施例中，可选地，所述计算机11与所述投影仪12或所述图像捕获装置13之间的数据通信可以通过数据传输线来实现，也可以通过蓝牙、无线局域网等无线传输模式来实现。所述计算机11上可以安装用于控制改变所述投影仪12的输出内容或用于图像数据处理的软件。所述图像捕获装置13可以是照相机、电脑摄像头、智能手机、平板电脑或其他具有图像捕获和数据传输功能的电子设备。

请参照图2，图2是本发明实施例提供的应用于图1中所述系统10的高反光对象表面的结构光三维成像方法的流程图。所述方法包括以下步骤。

步骤S11，所述计算机11控制所述投影仪12向被测物体表面投影多组频率相同且光照强度不同的二值相移编码图案。

在本实施例中，针对传统相位测量轮廓术向高反光被测物体表面投影正弦光栅时，易受到亮度干扰，投影速度较慢且需要非线性校正的问题，使用二值相移编码图案替代，只需区分黑白两种区域，具有投影速度快、无需非线性校正、干扰低、处理简单等优点。

在本实施例中，对投影的所有二值相移编码图案均采用同一频率，使投影得到的图片内各像素点的相位频率相等，避免了相位频率不等时还需进行相位解缠绕的问题，节省数据处理时间，更加有利于快速三维重建。优选地，所述二值相移编码图案的频率均采用较高频率，使像素点的相位均为高频相位。采用高频相位，可以减少重建过程中噪声的干扰，提高相位精度，并且高频相位更易受到光强度饱和的影响，由此检测的饱和区域更加准确。

步骤S12，所述图像捕获装置13捕获经过所述被测物体表面反射之后的图像并发送给所述计算机11，由所述计算机11生成不同光照强度下的多个调制图片组，并按照光照强度从高到低的方式排序，其中，每组图片的数量相等。

在本实施例中，对多个调制图片组按对应光照强度由高到低进行排序，以便于后期的重建计算过程。为保证重建过程数据的真实性和可靠性，投影图案组、拍摄图像组与调制图片组数量一致且相互对应，对应各组中的图片数量也相等，每组各张图片也分别相互对应。

步骤S13，获取光照强度最大的二值相移编码图案对应的调制图片组中各像素点的光照饱和强度，得到饱和像素点，由所述饱和像素点构成饱和区域。

在本实施例中，光照强度越大，高反光被测物体表面反射形成的图像越容易出现光强度饱和现象，选取所述调制图片组中对应二值相移编码图案光照强度最大的一组，获得的由饱和像素点构成的饱和区域更加准确。

请参照图3，在本实施例中，所述步骤S13可以包括以下子步骤。

子步骤S131，计算光照强度最大的二值相移编码图案对应的调制图片组中各像素点的光照饱和强度。

在本实施例中，所述光照饱和强度为该像素点发生光强度饱和的程度。所述光照强度最大的二值相移编码图案对应的调制图片组中各像素点的光照饱和强度可以通过以下公式计算得到：

其中，k为调制图片组序号，N为每组图片的数量，n、s为图片序号，c代表图像捕获设备，(x^c,y^c)为像素点坐标，为图片的灰度分布，为序号从第幅图片后的图片的灰度分布，M＝1。

在本实施例中，上述光照饱和强度计算公式是利用二值相移编码图案的周期性及对称性判断像素点是否存在饱和误差，可以避免当光照强度值超过图像捕获设备的最大量化值时被误判为饱和像素点的情况，使饱和像素点检测结果更加真实可靠。

子步骤S132，根据所述光照饱和强度计算所述调制图片组中各像素点的光照饱和率，根据所述光照饱和率生成并输出所述调制图片组的光照饱和强度分布图。

在本实施例中，所述光照饱和率的计算公式为

其中，p为光照饱和率。所述光照饱和率为像素点在对应的调制图片组中发生光强度饱和现象的概率。当某一像素点在对应的调制图片组中光照饱和强度为N，饱和概率为100％，该像素点为全饱和；当某一像素点在对应的调制图片组中饱和强度介于0到N之间，该像素点为部分饱和；当某一像素点在对应的调制图片组中饱和强度为0，饱和概率为0，该像素点为零饱和。一般地，全饱和的像素点为需要修复的饱和像素点，零饱和的像素点为不需要修复的不饱和像素点，部分饱和的像素点可以根据修复需求选择成为饱和像素点或不饱和像素点。

在本实施例中，可选地，所述光照饱和强度分布图可以通过灰度分布图来表示，也可以通过折线图来表示。所述光照饱和强度分布图用于参考并确定饱和像素点。

子步骤S133，所述计算机11将所述调制图片组中光照饱和率大于或等于预设的光照饱和率阈值的像素点确定为该调制图片组中的饱和像素点。

在本实施例中，可选地，所述光照饱和率阈值可以是提前设定，也可以是临时输入。光照饱和率小于预设的光照饱和率阈值的像素点为不饱和像素点。所述调制图片组中光照饱和率大于或等于预设的光照饱和率阈值的像素点构成所述饱和区域。

步骤S14，根据所述饱和区域确定其他调制图片组的替换区域，计算其他每个调制图片组的替换区域内各像素点的光照饱和强度，得到与各饱和像素点一一对应的光照饱和强度最小且光照强度最大的替换像素点。

在本实施例中，所述其他调制图片组的替换区域为替换像素点的取材区域，为保证修复结果的准确性，需要在对应区域内选择与待修复的饱和像素点(x^c,y^c)坐标对应的像素点作为替换像素点。

请参照图4，在本实施例中，所述步骤S14可以包括以下子步骤。

子步骤S141，在所述其他每个调制图片组的替换区域内查找各像素点的最小光照饱和强度。计算公式为

W^{M}(x^c,y^c)＝min{W^(k)(x^c,y^c),＝1,2,…,K}

其中，{M}为最小光照饱和强度对应的像素点所在调制图片组的集合，为所述最小光照饱和强度对应的像素点所在组的序号，K为所述调制图片组的总数量。

在本实施例中，所述其他每个调制图片组中像素点的光照饱和强度计算公式与上述光照强度最大的二值相移编码图案对应的调制图片组中各像素点的光照饱和强度计算公式相同，请参照上述公式。

在本实施例中，可以理解的是，所述像素点的光照饱和强度最小的调制图片组可能为多组，即集合{M}中的元素M可能为多个。

子步骤S142，将集合{M}中光照强度最大的调制图片组中的像素点确定为所述替换像素点。

在本实施例中，由于在上述步骤S12中，所述调制图片组的序号已经按照对应光照强度由高到低排序，因此取集合{M}中值最大的元素，标记为R＝max(M)，调制图片组R中对应的像素点即为光照饱和强度最小且光照强度最大的替换像素点。

步骤S15，计算所述替换像素点的相位，在所述饱和区域中采用所述替换像素点的相位替代所述饱和像素点的相位，得到所述被测物体修复后的三维图像。

在本实施例中，所述替换像素点的相位可以通过以下公式计算得到：

在本实施例中，对于不饱和的像素点，可以直接计算相位，计算公式与上述相位计算公式相同。采用替换像素点的相位替代饱和像素点的相位，可以有效地修复饱和引起的相位误差，完成三维重建。

请参照图5，是本发明实施例提供的像素点相位误差与光照饱和强度对比验证方法的流程图。为了证明本发明实施例提供的饱和区域检测方法的有效性，本发明实施例还提供一种像素点相位误差与光照饱和强度对比验证的方法。所述验证方法包括以下步骤。

步骤S21，计算所述图像捕获装置13的最大量化值。

在本实施例中，一般地，由于材料或装配技术等原因，所述图像捕获装置13对光照强度都具有一个最大量化值。所述图像捕获装置13的最大量化值可以通过以下公式计算得到：

T＝2^b-1

其中，b为所述图像捕获装置13的量化等级。

步骤S22，计算所述光照强度最大的二值相移编码光栅对应的调制图片组的每幅图片中各像素点的光照强度误差。

在本实施例中，上述光照强度误差可以通过以下公式计算得到：

其中，为各像素点的理论光照强度值。

步骤S23，计算所述光照强度最大的二值相移编码光栅对应的调制图片组中各像素点由于光照饱和产生的相位误差。

在本实施例中，上述由于光照饱和产生的相位误差可以通过以下公式计算得到：

其中，B^c表示图片的灰度调制幅度。

步骤S24，计算各替换像素点的相位误差，根据各饱和像素点及替换像素点的相位误差差值生成并输出该调制图片组的相位误差图。

在本实施例中，可选地，所述相位误差图可以采用灰度分布图、折线图或柱状图来表示。

步骤S25，将所述相位误差图与所述光照饱和强度分布图进行匹配性检测，输出检测结果。

请参照图6A-图6C，图6A是本发明实施例提供的像素点光照饱和强度分布图的一种实施方式，图6B是本发明实施例提供的相位误差图的一种实施方式，图6C是传统的基于像素点光照强度值判断是否饱和的方法求得的光照饱和强度分布图。如图所示，本发明实施例利用相位误差检测出的饱和区域与利用光照饱和强度检测出的饱和区域基本一致，然而利用传统方法求得的饱和区域与本发明的检测结果区别较大。由此可知，对比传统方法，本发明实施例在检验饱和区域时具有更高的可靠性。

请参照图7A、图7B，图7A是本发明实施例提供的高反光对象表面的结构光三维成像方法的重建结果示意图，图7B是利用传统PMP算法的重建结果示意图。如图所示，在均采用同频率、同等光照强度对同一物体进行投影时，本发明实施例提供的方法对饱和区域进行识别和重建的结果对比传统PMP算法具有非常明显的优势。

上述实施例提供的高反光对象表面的结构光三维成像方法，利用二值相移编码图案的周期性与对称性判断是否存在饱和误差，然后利用多组光照强度不同的调制图片组，选取光照强度最大的一组确定饱和区域，再选光照饱和强度最小且光照强度最大的像素点的相位替代原来饱和的像素的相位，使修复重建后的三维图像具有更高的可靠性、真实性和精确度。

请再参照图1，本发明实施例还提供图1所示的高反光对象表面的结构光三维成像系统10，所述高反光对象表面的结构光三维成像系统10包括计算机11、投影仪12及图像捕获装置13。可以理解的是，接下来要描述的高反光对象表面的结构光三维成像系统10中涉及的内容在上面实施例中已经描述过，具体各个设备执行的功能的详尽内容可参照上面的实施例描述，下面仅对高反光对象表面的结构光三维成像系统10中各个设备的功能进行简要说明。

所述计算机11，用于控制所述投影仪12向被测物体表面投影二值相移编码图案。还用于计算所述调制图片组中各像素点的光照饱和强度，确定光照强度最大的调制图片组中需要修复的饱和区域，查找其他调制图中组在对应区域内光照饱和强度最小且光照强度最大的替换像素点，计算所述替换像素点的相位，用所述替换像素点的相位替代所述饱和区域内对应像素点的相位。

所述图像捕获装置13，用于捕获经过所述被测物体表面反射形成的图像，发送给所述计算机11生成调制图片组并排序。

在本实施例中，所述计算机11还用于计算所述图像捕获装置13的最大量化值及所述调制图片组中各像素点的光照强度误差。

本发明实施例提供的高反光对象表面的结构光三维成像方法及系统。投影二值相移编码图案替代传统的正弦光栅，投影速度更快，无需进行非线性校正，提高了重建效率。利用二值相移编码图案的周期性与对称性判断是否存在饱和误差，获取多组光照强度不同的调制图片组，选择光照强度最大的一组确定饱和区域，再选择光照饱和强度最小且光照强度最大的像素点的相位替代原来饱和的像素的相位，完成三维重建，使修复重建后的三维图像具有更高的真实性和精确度。本发明实施例还提供一种用于验证检测得到的饱和区域是否准确的方法，用像素点的相位误差图与光照饱和强度分布图进行对比，使本发明实施例检测出的饱和区域具有更高的可靠性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高反光对象表面的结构光三维成像方法，其特征在于，应用于高反光对象表面的结构光三维成像系统，所述系统包括通信连接的投影仪、图像捕获装置及计算机，所述方法包括：

所述计算机控制所述投影仪向被测物体表面投影多组频率相同且光照强度不同的二值相移编码图案；

所述图像捕获装置捕获经过所述被测物体表面反射之后的图像并发送给所述计算机，由所述计算机生成不同光照强度下的多个调制图片组，并按照光照强度从高到低的方式排序，其中，每组图片的数量相等；

获取光照强度最大的二值相移编码图案对应的调制图片组中各像素点的光照饱和强度，得到饱和像素点，由所述饱和像素点构成饱和区域；

根据所述饱和区域确定其他调制图片组的替换区域，计算其他每个调制图片组的替换区域内各像素点的光照饱和强度，得到与各饱和像素点一一对应的光照饱和强度最小且光照强度最大的替换像素点；

计算所述替换像素点的相位，在所述饱和区域中采用所述替换像素点的相位替代所述饱和像素点的相位，得到所述被测物体修复后的三维图像。

2.如权利要求1所述的高反光对象表面的结构光三维成像方法，其特征在于，所述方法还包括：

计算所述调制图片组中各像素点的光照饱和强度，计算公式为

其中，k为调制图片组序号，N为每组图片的数量且N为偶数，n、s为图片序号，c代表图像捕获设备，(x^c，y^c)为像素点坐标，为图片的灰度分布，为序号从第幅图片后的图片的灰度分布，M＝1。

3.如权利要求2所述的高反光对象表面的结构光三维成像方法，其特征在于，所述方法还包括：

根据所述光照饱和强度计算所述调制图片组中各像素点的光照饱和率，计算公式为

其中，p为光照饱和率；

根据所述光照饱和率生成并输出所述调制图片组的光照饱和强度分布图。

4.如权利要求3所述的高反光对象表面的结构光三维成像方法，其特征在于，所述得到饱和像素点的步骤包括：

所述计算机将所述调制图片组中光照饱和率大于或等于预设的光照饱和率阈值的像素点确定为该调制图片组中的饱和像素点。

5.如权利要求4所述的高反光对象表面的结构光三维成像方法，其特征在于，所述得到与各饱和像素点一一对应的光照饱和强度最小且光照强度最大的替换像素点的步骤包括：

在所述其他每个调制图片组的替换区域内查找各像素点的最小光照饱和强度，计算公式为

W^{M}(x^c，y^c)＝min{W^(k)(x^c，y^c)，k＝1，2，…，K}

其中，{M}为最小光照饱和强度对应的像素点所在调制图片组的集合，M为所述最小光照饱和强度对应的像素点所在组的序号，K为所述调制图片组的总数量；

将集合{M}中光照强度最大的调制图片组中的像素点确定为所述替换像素点。

6.如权利要求5所述的高反光对象表面的结构光三维成像方法，其特征在于，所述方法还包括：

像素点的相位计算公式为

7.如权利要求1所述的高反光对象表面的结构光三维成像方法，其特征在于，所述方法还包括：

计算所述图像捕获装置的最大量化值，计算公式为

T＝2^b-1

其中，b为所述图像捕获装置的量化等级；

计算所述光照强度最大的二值相移编码光栅对应的调制图片组的每幅图片中各像素点的光照强度误差，计算公式为

其中，为各像素点的理论光照强度值。

8.如权利要求7所述的高反光对象表面的结构光三维成像方法，其特征在于，所述方法还包括：

计算所述光照强度最大的二值相移编码光栅对应的调制图片组中各像素点由于光照饱和产生的相位误差，计算公式为

其中，B^c表示图片的灰度调制幅度；

计算各替换像素点的相位误差，根据各饱和像素点及替换像素点的相位误差差值生成并输出该调制图片组的相位误差图；

将所述相位误差图与所述光照饱和强度分布图进行匹配性检测，输出检测结果。

9.一种高反光对象表面的结构光三维成像系统，其特征在于，所述系统包括通信连接的投影仪、图像捕获装置及计算机；

所述计算机用于控制所述投影仪向被测物体表面投影二值相移编码图案；

所述图像捕获装置用于捕获经过所述被测物体表面反射形成的图像，发送给所述计算机生成调制图片组并排序；

所述计算机还用于计算所述调制图片组中各像素点的光照饱和强度，确定光照强度最大的调制图片组中需要修复的饱和区域，查找其他调制图中组在对应区域内光照饱和强度最小且光照强度最大的替换像素点，计算所述替换像素点的相位，用所述替换像素点的相位替代所述饱和区域内对应像素点的相位。

10.如权利要求9所述的高反光对象表面的结构光三维成像系统，其特征在于，所述计算机还用于计算所述图像捕获装置的最大量化值及所述调制图片组中各像素点的光照强度误差。