CN113237435B - 一种高反光表面三维视觉测量系统及方法 - Google Patents

Abstract

一种高反光表面三维视觉测量系统及方法，包括：建立投影仪光强与相机成像灰度之间的模型，投影均匀的饱和灰度图像，在高、低两次曝光时间下采集图像，通过对饱和像素标记，获得物体表面的高反光区域在相机图像中的成像区域，并计算使其成像不发生饱和的低灰度投影强度；进行相机像素绝对相位判断，获得投影图像中每个待调整像素对应的一个或多个相机像素，计算投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对；将匹配好的投影像素灰度与相机像素灰度作为样本，拟合投影强度模型参数；根据投影强度模型计算最佳投影强度，生成自适应正弦图像；投影仪投影自适应正弦图像，工业相机采集图像，多频外差解相法解相，根据条纹投影轮廓术视觉测量模型，获得物体三维形貌。

Description

一种高反光表面三维视觉测量系统及方法

技术领域

本发明涉及三维测量技术领域，特别涉及一种高反光表面三维视觉测量系统及方法。

背景技术

三维视觉测量技术能够高精度地获得物体表面的三维形貌信息，被广泛应用于物体表面重构、缺陷检测、逆向工程等领域。其中，航空、航天、船舶、能源动力等国家重大装备工程中各种金属零件，如：水轮机叶片、飞机、轮船和汽车的外壳等高反光工件表面，对精确三维视觉测量带来挑战。

目前对高反光表面三维形貌检测技术主要包括两种：接触式检测和非接触式检测。三坐标测量机作为一种常用的接触式检测方法，具有操作复杂、效率低下、容易损伤被测件表面等缺点。非接触式检测方法主要通过对高反光表面喷涂漫反射材料来实现视觉测量，但喷涂粉末的厚度及均匀性会为测量带来误差。

随着图像处理和计算机技术的快速发展，高反光表面三维视觉测量在三维重构领域取得了广泛的应用。冯维等人在专利号为201710689618.7的发明专利“一种适用于强反射表面的三维扫描测量装置及方法”中采用一种基于DMD相机的三维扫描测量装置，基于四步相移法依次投射不同相位的正弦光栅图案；接着，利用DMD相机实现对入射光线的自适应高动态范围成像，获得清晰的待测量图像；最后，利用基于光栅投影的相位法实现三维测量。刘凯等人在专利号201810739037.4的发明专利“高反光对象表面的结构光三维成像方法及系统”中提出了一种高反光物体表面的结构光三维成像方法，该方法向被测物体表面投影二值相移编码图案，根据反射的图像生成不同光照强度下的多个调制图片组，按光照强度降序排列，确定饱和区域，获取饱和像素点及替换像素点并计算相位，用替换像素点的相位替代饱和像素点的相位，得到三维图像。葛继等人在专利号2020101822244的发明专利“高反光表面工件的三维高精度视觉测量方法”提出了包括设定结构光投射亮度值区间，投射相移光栅图案的方法，通过图像融合方法，重构出精确的待检测物体三维点云图。虽然上述方法能获得高反光表面的三维特征，但存在系统结构复杂，或实验过程复杂的问题。

对于基于自适应条纹投影的高反光表面三维测量系统而言，其难点在于如何获得高反光区域成像灰度与投影强度之间的关系，及如何准确确定投影图像的调整区域及调整值。王柳等人在论文《基于自适应条纹投影的高反光物体三维面形测量》中提出了一种基于自适应条纹投影的三维测量方法，该方法向待测物体表面投射较高灰度级的条纹图，判断并标记过度曝光点。降低投射强度后通过非线性最小二乘法拟合来确定每个饱和像素点最适合的最大输入灰度，用重新生成的自适应条纹图来采集图像并进行相位计算和三维形貌恢复。但该方法的低灰度值通过经验获取，存在一定误差。李韶旭在论文《高动态范围光栅投影三维测量技术研究》中提出了一种基于二分法的自适应光栅投影方法，该方法提出以二分法查找最佳灰度值来替代相机-投影仪灰度响应曲线的求取。然而，该方法计算量大，处理速度慢，实验过程复杂，无法满足实际的测量需求。冯维等人在论文《基于自适应条纹的高反光表面三维面形测量方法》中提出了一种于图像融合和插值预测的自适应条纹投影方法。该方法首先基于多幅掩模图像融合求取了最佳投影灰度值所需的饱和阈值，并结合插值预测查找算法求得了最佳投影灰度值；然后通过降低整体投影强度，在不饱和情况下进行了坐标匹配，最终生成自适应条纹；利用外差式多频相移法进行相位解算和三维面形重构。但该方法的在进行坐标匹配过程中忽略了分辨率不同带来的量化误差，生成的自适应图像不准确，且通过融合的方法过程较繁琐。

可见，现有的基于自适应条纹投影的高反光表面测量方法，求取低灰度级不准确或过程复杂，调整投影像素不准确，忽略了分辨率不同带来的量化误差，实验过程及三维重构精度和完整度无法满足工程实践需求。

发明内容

本发明克服现有技术的不足，提供一种高反光表面三维视觉测量系统及方法，即一种基于自适应条纹投影的高反光表面三维视觉测量系统及方法。本发明建立高反光表面投影强度与成像灰度之间的关系，通过两次曝光快速计算出低灰度级，避免了多次试验的复杂实验过程；利用相机-投影仪亚像素坐标映射的方法，进行像素内或四邻域像素内亚像素对应的相机像素绝对相位判断，计算出每个投影像素对应的一个或多个相机像素，避免了量化误差，使得待调整区域每个像素都被准确调整；根据低灰度正弦图像中的投影仪-相机灰度对应样本，拟合模型参数，计算每个待调整像素的最佳投影强度，样本对更加准确。最终投影生成的自适应正弦图像，通过多频外差解相法，基于单目投影仪条纹投影轮廓测量术三维测量模型对高反光表面进行三维重建。简化了获得低灰度值的实验过程，提高了模型的准确性，能针对表面不同反光情况准确调整投影灰度，最终获得表面完整的三维形貌信息。

本发明的技术方案如下：

本发明的第一方面提供了一种高反光表面三维视觉测量系统，所述系统包括单目立体视觉传感器、投影仪、基于投影强度与相机成像的投影强度模型算法模块、基于曝光时间调整的高反光表面低灰度投影值计算模块、基于多频外差的正弦图像解相算法模块、基于亚像素坐标映射及像素或四邻域内搜索的投影仪-相机坐标及灰度对应算法模块、基于投影强度模型的自适应条纹生成与单目投影仪三维视觉测量模块；

所述单目立体视觉传感器包括工业相机，所述投影仪投影结构光图案于物体表面，工业相机采集物体的图像；

所述基于投影强度与相机成像的投影强度模型算法模块用于建立投影强度与相机成像灰度之间的关系；

所述基于曝光时间调整的高反光表面低灰度投影值计算模块：投影灰度均匀且饱和的图像，在高曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面高反光区域成像范围；投影相同图像，降低曝光时间，使得物体表面高反光区域成像不出现饱和，采集该曝光下图像；根据成像灰度与投影强度之间的关系，通过不同曝光时间下的图像，计算使高反光表面不出现饱和的低灰度投影强度；

所述基于多频外差的正弦图像解相算法模块：将低灰度值作为正弦图像的最大输入灰度级，投影竖直、水平方向不同频率的正弦图像；进行相位提取，得到包裹相位；通过多频外差解相法得到展开的绝对相位；

所述基于亚像素坐标映射及像素或四邻域内搜索的投影仪-相机坐标及灰度对应算法模块：通过轮廓跟踪算法得到高反光区域在相机图像中的轮廓，根据轮廓像素的绝对相位计算其在投影图像中映射的轮廓，轮廓及轮廓内像素即为投影图像待调整区域；将高反光区域对应的相机像素，根据绝对相位计算出投影亚像素坐标并映射到投影像素内，对待调整的投影像素内及其四邻域像素内，统计映射亚像素坐标点对应的相机绝对相位，计算其对应的一个或多个相机像素，得到投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对，用于拟合投影强度模型参数；

所述基于投影强度模型的自适应条纹生成与单目投影仪三维视觉测量模块：基于投影强度模型，根据求得的投影仪及相机匹配对，估计模型参数，计算投影仪图像中每个待调整像素的最佳投影强度，生成自适应条纹；投影自适应正弦条纹，在高曝光时间下采集图像，根据相机与投影仪标定参数，根据单目投影仪条纹投影轮廓术三维重建模型，计算物体表面三维坐标。

本发明的第二方面提供了一种高反光表面三维视觉测量方法，所述方法包括如下步骤：

步骤S100，分别对单目立体视觉传感器和投影仪进行标定，获得工业相机的内参、投影仪的内参及单目立体视觉传感器与投影仪的结构参数，投影仪向物体表面投射结构光图像，工业相机采集物体图像；

步骤S200，建立相机对投影仪光强及环境光的成像模型，推导投影仪强度与相机成像灰度之间的关系；

步骤S300，分别在高、低两次曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面的高反光区域在相机图像中的成像区域，并针对该高反光区域，计算使其成像不发生饱和的低灰度投影强度；

步骤S400，将低灰度值作为正弦图像的最大输入灰度，投影竖直、水平方向不同频率的正弦图像；进行相位提取，得到包裹相位；通过多频外差解相法得到展开的绝对相位；

步骤S500，通过轮廓跟踪算法得到高反光区域在相机图像中的轮廓，根据轮廓像素的绝对相位计算其在投影图像中映射的轮廓，轮廓及轮廓内像素即为投影图像待调整区域；将高反光区域对应的相机像素，根据绝对相位计算出投影亚像素坐标并映射到投影像素内，对待调整的投影像素内及其四邻域像素内，统计映射亚像素坐标点对应的相机绝对相位，计算投其对应的一个或多个相机像素，得到投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对，用于拟合投影强度模型参数；

步骤S600，基于投影强度模型，根据求得的投影仪及相机匹配对，估计模型参数，计算投影仪图像中每个待调整像素的最佳投影强度，生成自适应条纹；投影自适应正弦条纹，在高曝光时间下采集图像，根据相机与投影仪标定参数，根据单目投影仪条纹投影轮廓术三维重建模型，计算物体表面三维坐标。

进一步的，所述步骤S300包括：

投影灰度均匀且饱和的图像，在高曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面高反光区域成像范围；投影与上述相同图像，降低曝光时间，使得物体表面高反光区域成像不出现饱和，采集该曝光下图像；根据成像灰度与投影强度之间的关系，通过不同曝光时间下的图像，计算使高反光表面不出现饱和的低灰度投影强度。

进一步的，所述步骤S300包括：

步骤S310，投影均匀灰度图像，高曝光时间采集图像，确定相机图像高反光区域在相机图像中的掩膜；

步骤S320，投影与步骤S310中相同的均匀灰度图像，低曝光时间采集图像，计算在高曝光下使物体表面不过曝的低灰度投影强度。

进一步的，所述步骤S400包括：

步骤S410，以求出的低灰度值作为正弦图像的最大输入灰度级，生成竖直、水平两方向的正弦条纹；

步骤S420，投影仪投影竖直、水平方向低灰度正弦图像，工业相机采集图像；

步骤S430，对采集图像计算包裹相位；

步骤S440，基于多频外差解相法对包裹相位解包裹，得到物体表面的绝对相位。

进一步的，所述步骤S500包括：

步骤S510，根据轮廓跟踪算法，在相机图像高反光区域掩膜中，获得高反光区域在相机图像中的轮廓；

步骤S520，通过绝对相位对应，将相机图像高反光区域掩膜轮廓上各点对应到投影仪图像上，得到投影图像上的对应区域轮廓，从而得到待调整掩膜；

步骤S530，将投影仪掩膜中的每个像素，计算其对应的一个或多个相机像素；

步骤S540，计算投影像素灰度与相机像素灰度的样本对。

进一步的，所述步骤S600包括：

步骤S610，对每个待调整的投影仪像素，根据样本对，估计投影强度模型参数；

步骤S620，计算待调整像素的最佳投影强度；

步骤S630，根据投影仪图像中待调整像素的最大输入灰度为，得到像素的投影灰度，生成新的自适应正弦条纹；

步骤S640，投影仪向物体表面投影自适应正弦条纹，工业相机采集物体图像；

步骤S650，基于多频外差解相法，对采集的正弦图像解相，得到绝对相位；

步骤S660，根据工业相机及投影仪的标定结果，基于单目投影仪条纹投影轮廓术三维测量模型，得到物体表面三维点坐标。

与现有技术相比，本发明有如下有益的技术效果：

(1)现有的求取低灰度值以生成正弦图像的方法，往往通过经验或投影多幅图像的二分法来确定，实验结果依靠经验或实验过程复杂。本发明在建立投影强度与成像灰度的理论模型后，结合理论推导，通过两次曝光，快速求得低灰度值，生成正弦图像，以获得绝对相位值。大大提高了实验效率，提高了准确性。

(2)在投影仪图像像素与相机像素坐标对应中，由于投影仪图像和相机图像分辨率不同，直接通过相位计算存在量化误差，而不能准确调整投影像素。本发明在通过绝对相位计算出每个高反光成像点对应的投影仪亚像素坐标，实现亚像素映射；其次，对投影仪待调整区域的每个像素内亚像素点对应的相机像素进行对应；对没有亚像素映射的投影像素，通过判断其四邻域内亚像素对应的相机像素绝对灰度，计算投影像素对应的一个或多个相机像素；并将其对应的相机像素灰度平均，实现投影仪-相机灰度对应。避免了由相机像素到投影仪像素对应的误差或近似，获得了更加准确的样本值。并将模型建立以投影强度为变量，相机像素灰度为自变量，更适合于自适应图像生成过程。

附图说明

图1为本发明的一种基于自适应条纹投影的高反光表面三维视觉测量系统及方法的总体实现流程图；

图2为本发明的自适应条纹投影的高反光表面三维视觉测量系统；其中，①为工业相机，②为投影仪，③为待测物体，④为计算机；

图3为本发明的基于相机-投影仪亚像素坐标对应及基于像素或四邻域内对应相机像素平均的灰度对应算法模块算法示意图；

图4为本发明的航空发动机叶片三维重建结果，左图为传统条纹投影轮廓术测量且成像存在过曝的重建结果，右图为自适应调整后条纹投影轮廓术测量重建结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明的第一方面提供了一种基于自适应条纹投影的高反光表面三维视觉测量系统，所述系统包括单目立体视觉传感器、投影仪、基于投影强度与相机成像的投影强度模型算法模块、基于曝光时间调整的高反光表面低灰度投影值计算模块、基于多频外差的正弦图像解相算法模块、基于相机-投影仪亚像素坐标对应及基于像素或四邻域内对应相机像素平均灰度对应的算法模块、基于投影强度模型的自适应条纹生成与单目投影仪三维视觉测量模块。

具体的，所述单目立体视觉传感器包括工业相机，所述投影仪投影结构光图案于物体表面，工业相机采集物体的图像。

基于投影强度与相机成像的投影强度模型算法模块：根据投影强度、环境光、相机敏感度、曝光时间等因素，建立投影强度与相机成像灰度之间的关系；

基于曝光时间调整的高反光表面低灰度投影值计算模块：投影灰度均匀且饱和的图像(如灰度均为255)，在高曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面高反光区域成像范围；投影相同图像，降低曝光时间，使得物体表面高反光区域成像不出现饱和，采集该曝光下图像；根据成像灰度与投影强度之间的关系，通过不同曝光时间下的图像，计算使高反光表面不出现饱和的低灰度投影强度；

基于多频外差的正弦图像解相算法模块：将低灰度值作为正弦图像的最大输入灰度级，投影竖直、水平方向不同频率的正弦图像；进行相位提取，得到包裹相位；通过多频外差解相法得到展开相位；

基于亚像素坐标映射及像素或四邻域内搜索的投影仪-相机坐标及灰度对应算法模块：通过轮廓跟踪算法得到高反光区域在相机图像中的轮廓，根据轮廓像素的绝对相位计算其在投影图像中映射的轮廓，轮廓及轮廓内像素即为投影图像待调整区域。将高反光区域对应的相机像素，根据绝对相位计算出投影亚像素坐标并映射到投影像素内，对待调整的投影像素内及其四邻域像素内，统计映射亚像素坐标点对应的相机绝对相位，计算投其对应的一个或多个相机像素，得到投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对，用于拟合投影强度模型参数；

基于投影强度模型的自适应条纹生成与单目投影仪三维视觉测量模块：基于投影强度模型，根据求得的投影仪及相机匹配对，估计模型参数，计算投影仪图像中每个待调整像素的最佳投影强度，生成自适应条纹；投影自适应正弦条纹，在高曝光时间下采集图像，根据相机与投影仪标定参数，根据单目投影仪条纹投影轮廓术三维测量模型，计算物体表面三维坐标。

本发明的第二方面提供了一种基于自适应条纹投影的高反光表面三维视觉测量方法，所述方法包括如下步骤：

步骤S100，分别对单目立体视觉传感器和投影仪进行标定，获得工业相机的内参、投影仪的内参及单目立体视觉传感器与投影仪的结构参数，投影仪向物体表面投射结构光图像，工业相机采集物体图像。

其中结构光图像是均匀灰度图像或光栅图像等结构光图像，结构光图像中含有携带物体表面高度信息的图案。

其中，工业相机内参K_c，投影仪内参K_p分别为：

其中，α_c和α_p分别为工业相机、投影仪u轴的有效焦距，β_c和β_p分别为工业相机、投影仪v轴的有效焦距，其中u轴指水平方向，v轴指竖直方向。(u_0c,v_0c)和(u_0p,v_0p)分别为工业相机、投影仪的光学中心，γ_c和γ_p分别为工业相机、投影仪u轴和v轴不垂直因子；

单目立体视觉传感器与投影仪的结构参数，即旋转矩阵R，平移矢量T为：

其中，r_s(s＝1,...,9)为旋转矩阵R的第s个元素，t_x,t_y,t_z分别为平移矢量T的三个分量。

步骤S200，建立相机对投影仪光强及环境光的成像模型，推导投影仪强度与相机成像灰度之间的关系；

相机对投影仪光强及环境光的成像模型,具体为：

I_c(x,y)＝ktr(x,y)L_p(x_p,y_p)+kt[r(x,y)L_i(x,y)+L_a(x,y)]+I_n(x,y)

其中，(x,y)是相机图像坐标，(x_p,y_p)是投影仪图像坐标，下标c表示相机图像，下标p表示投影仪图像。I_c(x,y)是相机图像坐标(x,y)的灰度值，k是摄像机的敏感度，t是采集图像时的相机镜头光圈大小与曝光时间，r(x,y)为物体表面成像于(x,y)的某点处的反射率，L_p(x_p,y_p)是对应的投影图像中坐标(x_p,y_p)的灰度值，L_a(x,y)是成像于相机图像(x,y)的环境光中直接射入相机传感器的光强；L_i(x,y)是成像于(x,y)的物体表面其他区域反射的环境光和投影仪光强，其被表面反射后的光强为r(x,y)L_i(x,y)，相机传感器噪声为I_n(0,σ²)，相机图像(x,y)的噪声为I_n(x,y)。

推导投影仪强度与相机成像灰度之间的关系，具体为：

步骤S300，投影灰度均匀且饱和的图像，在高曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面高反光区域成像范围；投影与上述相同图像，降低曝光时间，使得物体表面高反光区域成像不出现饱和，采集该曝光下图像；根据成像灰度与投影强度之间的关系，通过不同曝光时间下的图像，计算使高反光表面不出现饱和的低灰度投影强度。

具体包括：

步骤S310，投影均匀灰度图像，如以8位图像深度为例，为获得在最大输入灰度为255的正弦条纹下表面的高反光区域，投影均匀灰度L_p(x_p,y_p)＝255的图像；以t₀为高曝光时间采集图像，使得物体表面低反射率区域也有较高成像质量，相机成像I_c0。考虑相机噪声等因素，将高反光成像灰度阈值设为248，相机图像高反光区域的确定方法为：

由此得到高反光区域在相机图像中的掩膜M_c，c表示相机图像。

步骤S320，投影与步骤S310中相同的均匀灰度图像，以t₁为低曝光时间采集图像，使得高反光区域不发生饱和现象，得到图像I_c1。则有

其中，t₁为低曝光时间，I_c1为在曝光时间为t₁时采集的相机图像，I_c1(x,y)为相机图像I_c1坐标(x,y)的灰度，L_p是投影均匀灰度图像的灰度值，下标p表示投影仪图像，r(x,y)为物体表面成像于(x,y)的某点处的反射率，L_a(x,y)是成像于相机图像(x,y)的环境光中直接射入相机传感器的光线，L_i(x,y)是成像于(x,y)的物体表面其他区域反射的环境光和投影仪光强，其被表面反射后的光强为r(x,y)L_i(x,y)，k是相机敏感系数，相机传感器噪声I_n1(0,σ²)，相机图像(x,y)的噪声为I_n1(x,y)。

(3)计算在t₀高曝光下使物体表面不过曝的低灰度投影强度L_low，具体计算过程如下：

其中kr(x,y)可根据步骤(2)计算得出，代入公式，计算出过曝像素最大的投影强度L_low(x_p,y_p)。

步骤S400，将低灰度值作为正弦图像的最大输入灰度级，投影竖直、水平方向不同频率的正弦图像；进行相位提取，得到包裹相位；通过多频外差解相法得到展开相位；具体的，包括：

步骤S410，以求出的低灰度值L_low作为正弦图像的最大输入灰度级，生成竖直、水平两方向的正弦条纹，其灰度表达为：

其中255表示对于8-bit投影仪图像而言，最大输入灰度为255。a为背景灰度值或直流分量，b为调制强度或幅度，f_i,i＝1,...,n为条纹频率，N为相移总步数，j表示第j次相移，j＝0，1，2……N-1，x_p(x_p,y_p)为图像中每个点，(x_p,y_p)表示投影仪图像坐标。

步骤S420，投影仪投影竖直、水平方向低灰度正弦图像，工业相机采集图像；

步骤S430，对采集图像计算包裹相位φ^w(x,y)；

正弦相移图像可以表达为I_n，其中(x,y)坐标的包裹相位φ^w(x,y)通过下式计算得到：

其中，N为相移总步数，n表示第n次相移，n＝1，2……N-1，I_n(x,y)表示正弦图像(x,y)坐标的灰度。

步骤S440，基于多频外差解相法对包裹相位解包裹，得到物体表面的绝对相位

包裹相位相位突变处，相位值加上整数倍的2π即可得到实际的连续相位值，其数学表达式如下：

其中，

为图像(x,y)处的绝对相位，φ^w(x,y)为图像(x,y)处的包裹相位，则图像(x,y)处的为整数条纹级次k(x,y)通过下式计算：

其中，T₁,T₂,T₃为的正弦条纹图像的条纹周期，φ₁(x,y)为周期T₁的条纹图像在坐标(x,y)处对应的包裹相位，

为将周期为T₁,T₂的图像外差得到的图像的等效周期。分别将T₁,T₂对应的包裹相位图和T₂,T₃对应的包裹相位图外差得到两幅图像φ₁₂＝[φ₁-φ₂]mod(2π)，φ₂₃＝[φ₂-φ₃]mod(2π)。随后将φ₁₂,φ₂₃进行第二次次外差，得到仅一个条纹，条纹周期为1的图像φ_eq。令Φ_eq＝φ_eq，则可计算条纹级次k(x,y)。

步骤S500，通过轮廓跟踪算法得到高反光区域在相机图像中的轮廓，根据轮廓像素的绝对相位计算其在投影图像中映射的轮廓，轮廓及内像素即为投影图像待调整区域；将高反光区域对应的相机像素，根据绝对相位计算出投影亚像素坐标并映射到投影像素内，对待调整的投影像素内及其四邻域像素内，统计映射亚像素坐标点对应的相机绝对相位，计算投其对应的一个或多个相机像素，得到投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对，用于拟合投影强度模型参数。

具体的，包括如下步骤：

步骤S510，根据轮廓跟踪算法，在相机图像高反光区域掩膜M_c中，获得高反光区域在相机图像中的轮廓；其中，轮廓跟踪算法的过程包括以下步骤：

步骤S511：首先按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的第一个边界起始点A0，A0是具有最小行和列值的边界点。定义一个搜索方向变量dir,该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，其初始化取值为

(1)对4连通区域取dir＝3；

(2)对8连通区域取dir＝7；

步骤S512：按逆时针方向搜索当前像素的八邻域，其起始搜索方向设定如下：

(1)对4连通区域取(dir+3)mod 4；

(2)对8连通区域，若dir为奇数取(dir+6)mod 8；若dir为偶数取(dir+7)mod 8；

在八邻域中搜索到的第一个与当前像素值相同的像素便为新的边界点An,同时更新变量dir为新的方向值。

步骤S513：如果An等于第二个边界点A1且前一个边界点An-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤2继续搜索。

步骤S514：由边界点A0、A1、A2、……、An-2构成的边界便为要跟踪的边界。

步骤S520，通过绝对相位对应，将M_c轮廓上各点对应到投影仪图像上，得到投影图像上的对应区域轮廓，具体计算过程如下：

其中，

为水平和竖直方向展开相位，T_V,T_H分别为x，y方向条纹周期数，(x_p,y_p)为投影图像上的坐标。

将投影图像轮廓上及轮廓内的像素设为1，其余像素值为0，得到待调整掩膜M_p。

步骤S530，将投影仪掩膜M_p中的每个像素(x_p,y_p)，计算其对应的一个或多个相机像素(x,y)_i。

具体的，包括：

将相机掩膜M_c中每个不为零像素(x,y)，根据其绝对相位

(

统称为

)，计算其对应的投影仪图像亚像素坐标，若该亚像素坐标位于投影仪像素(x_p,y_p)内，则该相机图像坐标(x,y)对应到投影仪的亚像素坐标(x'_p,y'_p)的映射记为(x'_p,y'_p)|_(x,y)；同时，对投影图像掩膜M_p中每个不为零像素(x_p,y_p)，统计其像素内映射的多个亚像素坐标(x'_p,y'_p)_i对应的相机坐标(x,y)_i，记为点集

若投影图像掩膜M_p中(x_p,y_p)中存在没有映射的亚像素坐标，则统计其周围四邻域像素(x_p+1,y_p)，(x_p-1,y_p)，(x_p,y_p+1)，(x_p,y_p-1)像素中的映射亚像素坐标，若这些映射亚像素坐标对应的相机坐标点

其绝对相位值

与该投影仪像素相位

的绝对相位之差的绝对值

小于投影仪图像相邻像素相位之差的绝对值

即为

则将这些相机坐标(x,y)记在该投影仪坐标(x_p,y_p)之下，记为

步骤S540，计算投影像素灰度与相机像素灰度的样本对。

具体的，包括：

根据投影仪掩膜M_p获得每个待调整投影像素(x_p,y_p)的在不同方向不同频率不同相移下的灰度

m＝1,2,i∈[1,n],j∈[0,N-1]，m表示不同方向，n为频率数目，N为相移步数，其对应的相机像素灰度I_c，其中I_c的具体计算过程如下：

其中M为每个(x_p,y_p)像素用于统计的相机坐标数目，则

构成样本对，每个待调整像素处有2nN对样本。

步骤S600，基于投影强度模型，根据求得的投影仪及相机匹配对，估计模型参数，计算投影仪图像中每个待调整像素的最佳投影强度，生成自适应条纹；投影自适应正弦条纹，在高曝光时间下采集图像，根据相机与投影仪标定参数，根据单目投影仪条纹投影轮廓术三维重建模型，计算物体表面三维坐标。

具体的，包括：

步骤S610，对每个待调整的投影仪像素，根据

样本对，估计投影强度模型参数，具体计算过程如下：

令

x₂＝-1，

则有

通过最小二乘法，求得b₁,b₂；

步骤S620，计算待调整像素的最佳投影强度，具体计算过程如下：

令I_c(x,y)＝254，则

步骤S630，令投影仪图像中待调整像素的最大输入灰度为L_best，则像素x_p(x_p,y_p)的投影灰度为

其余不需调整的像素灰度不变，为最大输入灰度为255的正弦图像，生成新的自适应正弦条纹；

步骤S640，投影仪向物体表面投影自适应正弦条纹，工业相机采集物体图像；

步骤S650，基于多频外差解相法，对采集的正弦图像解相，得到绝对相位；

步骤S660，根据工业相机及投影仪的标定结果，基于单目投影仪条纹投影轮廓术三维测量模型，得到物体表面三维点坐标，具体计算过程如下：

其中，(x_c,y_c,1)^T和(x_p,y_p,1)^T为对应的相机图像齐次坐标及投影仪图像齐次坐标，K_c,K_p为工业相机及投影仪内参，R和T分别为工业相机及投影仪之间的旋转矩阵和平移矢量，[X,Y,Z,1]^T为重建的三维点齐次坐标，s_c、s_p分别为相机和投影仪成像的尺度因子。

以下结合附图及具体实施实例对本发明再作进一步详细的说明。

如图1所示，本发明的基于自适应条纹投影的高反光表面三维视觉测量方法包括以下步骤：

步骤1，搭建单目结构光视觉测量系统，所述单目结构光条纹轮廓测量术视觉测量系统包括一个工业相机和一个投影仪，投影仪投影图像于待测物体表面，待测物体成像于工业相机的视场中间；其中，工业相机与投影仪构成结构光传感器；投影仪向物体表面投射结构光图案，工业相机采集物体的图像。单目结构光视觉测量系统如图2所示。

分别对工业相机和投影仪进行标定，获得工业相机和投影仪的内参、单目立体视觉传感器的结构参数，

其中，工业相机内参K_c，投影仪内参K_p分别为：

单目立体视觉传感器的结构参数(旋转矩阵R，平移矢量T)为：

T＝[-120.21670,11.53023,-24.40986]^T

步骤2，建立投影仪光强与相机成像灰度之间的关系模型。

投影仪光强与相机成像灰度之间的关系模型，具体表达为：

其中，(x,y)是相机图像坐标，(x_p,y_p)是投影仪图像坐标，下标c表示相机图像，下标p表示投影仪图像。I_c(x,y)是相机图像坐标(x,y)的灰度值，k是摄像机的敏感度，t是采集图像时的相机镜头光圈大小与曝光时间，r(x,y)为物体表面成像于(x,y)的某点处的反射率，L_p(x_p,y_p)是对应的投影图像中坐标(x_p,y_p)的灰度值，L_a(x,y)是成像于相机图像(x,y)的环境光中直接射入相机传感器的光强；L_i(x,y)是成像于(x,y)的物体表面其他区域反射的环境光和投影仪光强，其被表面反射后的光强为r(x,y)L_i(x,y)，相机传感器噪声为I_n(0,σ²)，相机图像(x,y)的噪声为I_n(x,y)。

步骤3：投影仪向物体表面投射均匀灰度为最大输入灰度级的图像，如灰度均匀为255的图像，工业相机分别在高曝光时间t₀下采集图像I_c0；保持投影图像和待测物体不变，减小曝光时间为t₁，采集物体图像I_c1；

步骤4：根据高曝光时间下的图像I_c0，获得物体表面高反光区域成像区域M_c；计算高反光表面最低投影强度L_low，并生成低灰度竖直、水平方向正弦条纹L，具体计算过程如下：

求出的低灰度值L_low作为正弦图像的最大输入灰度级，生成竖直、水平两方向的正弦条纹，其灰度表达为：

其中，a为背景灰度值或直流分量，b为调制强度或幅度，f_i,i＝1,...,n为条纹频率，N为相移总步数，j表示第j次相移，j＝0，1，2……N-1，x_p(x_p,y_p)为图像中每个点。

步骤5：投影仪投影低灰度竖直、水平方向正弦条纹，工业相机采集物体图像；基于多频外差解相法对采集的条纹图像解相，得到物体表面绝对相位

步骤6：基于轮廓跟踪算法，结合高反光区域相机图像掩膜M_c，得到高反光区域在相机图像中的轮廓；基于绝对相位对应，获得高反光区域轮廓在投影仪图像中的对应轮廓，并将轮廓及其内部像素设为1，得到投影仪图像中待调整掩膜M_p。轮廓跟踪算法的具体过程在文章“Suzuki S,Be K.Topological structural analysis of digitized binaryimages by border following[J].Computer Vision Graphics&Image Processing,1985,30(1):32-46.”中有详细描述。其具体过程可以概括如下：

步骤1：首先按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的第一个边界起始点A0，A0是具有最小行和列值的边界点。定义一个扫描方向变量dir,该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，其初始化取值为

(1)对4连通区域取dir＝3；

(2)对8连通区域取dir＝7；

步骤2：按逆时针方向搜索当前象素的八邻域，其起始搜索方向设定如下：

(1)对4连通区域取(dir+3)mod 4；

(2)对8连通区域，若dir为奇数取(dir+6)mod 8；若dir为偶数取(dir+7)mod 8；

在八邻域中搜索到的第一个与当前像素值相同的像素便为新的边界点An,同时更新变量dir为新的方向值。

步骤3：如果An等于第二个边界点A1且前一个边界点An-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤2继续搜索。

步骤4：由边界点A0、A1、A2、……、An-2构成的边界便为要跟踪的边界。

其中计算对应坐标的具体过程为：

步骤7：如图3所示，根据绝对相位，计算投影图像中每个待调整像素(x_p,y_p)对应的一个或多个相机像素坐标。

将相机掩膜M_c中每个不为零像素(x,y)，根据其绝对相位

计算其对应的投影仪图像亚像素坐标，若该亚像素坐标位于投影仪像素(x_p,y_p)内，则该相机图像坐标(x,y)对应到投影仪的亚像素坐标(x'_p,y'_p)的映射记为(x'_p,y'_p)|_(x,y)；同时，对投影图像掩膜M_p中每个不为零像素(x_p,y_p)，统计其像素内映射的多个亚像素坐标(x'_p,y'_p)_i对应的相机坐标(x,y)_i，记为点集

若投影图像掩膜M_p中像素(x_p,y_p)中存在没有映射的亚像素坐标，则统计其周围四邻域像素(x_p+1,y_p)，(x_p-1,y_p)，(x_p,y_p+1)，(x_p,y_p-1)像素中的映射亚像素坐标，若这些映射亚像素坐标对应的相机坐标点

其绝对相位值

与该投影仪像素相位

的绝对相位之差的绝对值

小于投影仪图像相邻像素相位之差的绝对值

则将这些相机坐标(x,y)记在该投影仪坐标(x_p,y_p)之下，记为

步骤8：将待调整的投影像素灰度与其对应的相机像素灰度平均值组合为样本对

根据投影仪掩膜中M_p的每个像素(x_p,y_p)的在竖直、水平不同方向不同频率不同相移下的灰度

m＝1,2,i＝1,2,3,j∈[0,N-1]，其对应的相机像素灰度I_c，其中I_c的具体计算过程如下：

则

构成样本对。

步骤9：根据样本对，拟合投影强度与相机灰度模型参数，根据模型计算待调整像素的最佳投影强度，生成自适应正弦光栅图像。

(1)对每个待调整的投影仪像素，根据

样本对，估计投影强度模型参数，具体计算过程如下：

令

x₂＝-1，

则有

通过最小二乘法，求得b₁,b₂；

(2)计算待调整像素的最佳投影强度，具体计算过程如下：

令I_c(x,y)＝254，则

(3)令投影仪图像中待调整像素的最大输入灰度为L_best，则像素(x_p,y_p)的投影灰度为

其余不需调整的像素灰度不变，为最大输入灰度为255的正弦图像，生成新的自适应正弦条纹；

步骤10：投影仪向物体表面投影自适应正弦条纹，工业相机采集物体图像；

步骤11：基于多频外差解相法，对采集的正弦图像解相，得到绝对相位；

步骤12：根据工业相机及投影仪的标定结果，基于单目投影仪条纹投影轮廓术三维测量模型，得到物体表面三维点坐标，具体计算过程如下：

其中，(x_c,y_c,1)^T和(x_p,y_p,1)^T为对应的相机图像齐次坐标及投影仪图像齐次坐标，K_c,K_p为工业相机及投影仪内参，R和T分别为工业相机及投影仪之间的旋转矩阵和平移矢量，[X,Y,Z,1]^T为重建的三维点齐次坐标。

综上所述，本发明涉及一种高反光表面三维视觉测量系统及方法，包括：工业相机、投影仪，投影仪作为光源投影结构光图像，工业相机与投影仪组成结构光传感器；建立投影仪光强与相机成像灰度之间的模型，投影均匀的饱和灰度图像(如灰度均匀为2^N的图像，N为位深)，分别在高、低两次曝光时间下采集图像，获得物体表面的高反光区域在相机图像中的成像区域，并针对该高反光区域，计算使其成像不发生饱和的低灰度投影强度；为计算高反光区域对应的更精确的最佳投影强度，通过轮廓跟踪算法及绝对相位对应，确定投影图像中待调整区域；利用相机-投影仪亚像素坐标映射的方法，进行像素内或四邻域像素内亚像素对应的相机像素绝对相位判断，获得投影图像中每个待调整像素对应的一个或多个相机像素，计算投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对；将匹配好的投影像素灰度与相机像素灰度作为样本，拟合投影强度模型参数；根据投影强度模型计算最佳投影强度，生成自适应正弦图像；投影仪投影自适应正弦图像，工业相机采集图像，多频外差解相法解相，根据单目结构光视觉测量模型，获得物体三维形貌。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种高反光表面三维视觉测量系统，其特征在于，所述系统包括单目立体视觉传感器、投影仪、基于投影强度与相机成像的投影强度模型算法模块、基于曝光时间调整的高反光表面低灰度投影值计算模块、基于多频外差的正弦图像解相算法模块、基于亚像素坐标映射及像素或四邻域内搜索的投影仪-相机坐标及灰度对应算法模块、基于投影强度模型的自适应条纹生成与单目投影仪三维视觉测量模块；

所述单目立体视觉传感器包括工业相机，所述投影仪投影结构光图案于物体表面，工业相机采集物体的图像；

所述基于投影强度与相机成像的投影强度模型算法模块用于建立投影强度与相机成像灰度之间的关系；

所述基于曝光时间调整的高反光表面低灰度投影值计算模块：投影灰度均匀且饱和的图像，在高曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面高反光区域成像范围；投影相同图像，降低曝光时间，使得物体表面高反光区域成像不出现饱和，采集该曝光下图像；根据成像灰度与投影强度之间的关系，通过不同曝光时间下的图像，计算使高反光表面成像不出现饱和的低灰度投影强度；

所述基于多频外差的正弦图像解相算法模块：将低灰度值作为正弦图像的最大输入灰度级，投影竖直、水平方向不同频率的正弦图像；进行相位提取，得到包裹相位；通过多频外差解相法得到展开的绝对相位；

所述基于亚像素坐标映射及像素或四邻域内搜索的投影仪-相机坐标及灰度对应算法模块：通过轮廓跟踪算法得到高反光区域在相机图像中的轮廓，根据轮廓像素的绝对相位计算其在投影图像中映射的轮廓，轮廓及轮廓内像素即为投影图像待调整区域；将高反光区域对应的相机像素，根据绝对相位计算出投影亚像素坐标并映射到投影像素内，对待调整的投影像素内及其四邻域像素内，统计映射亚像素坐标点对应的相机绝对相位，计算其对应的一个或多个相机像素，得到投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对，用于拟合投影强度模型参数；

所述基于投影强度模型的自适应条纹生成与单目投影仪三维视觉测量模块：基于投影强度模型，根据求得的投影仪及相机匹配对，估计模型参数，计算投影仪图像中每个待调整像素的最佳投影强度，生成自适应条纹；投影自适应正弦条纹，在高曝光时间下采集图像，根据相机与投影仪标定参数，根据单目投影仪条纹投影轮廓术三维测量模型，计算物体表面三维坐标。

2.一种高反光表面三维视觉测量方法，其特征在于，所述方法包括如下步骤：

步骤S100，分别对单目立体视觉传感器和投影仪进行标定，获得工业相机的内参、投影仪的内参及单目立体视觉传感器与投影仪的结构参数，投影仪向物体表面投射结构光图像，工业相机采集物体图像；

步骤S200，建立相机对投影仪光强及环境光的成像模型，推导投影仪强度与相机成像灰度之间的关系；

步骤S300，分别在高、低两次曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面的高反光区域在相机图像中的成像区域，并针对该高反光区域，计算使其成像不发生饱和的低灰度投影强度；

步骤S400，将低灰度值作为正弦图像的最大输入灰度级，投影竖直、水平方向不同频率的正弦图像；进行相位提取，得到包裹相位；通过多频外差解相法得到展开的绝对相位；

步骤S500，通过轮廓跟踪算法得到高反光区域在相机图像中的轮廓，根据轮廓像素的绝对相位计算其在投影图像中映射的轮廓，轮廓及轮廓内像素即为投影图像待调整区域；将高反光区域对应的相机像素，根据绝对相位计算出投影亚像素坐标并映射到投影像素内，对待调整的投影像素内及其四邻域像素内，统计映射亚像素坐标点对应的相机绝对相位，计算投其对应的一个或多个相机像素，得到投影像素灰度与其对应的相机像素平均灰度，构成灰度匹配对，用于拟合投影强度模型参数；

步骤S600，基于投影强度模型，根据求得的投影仪及相机匹配对，估计模型参数，计算投影仪图像中每个待调整像素的最佳投影强度，生成自适应条纹；

投影自适应正弦条纹，在高曝光时间下采集图像，根据相机与投影仪标定参数，根据单目投影仪条纹投影轮廓术三维重建模型，计算物体表面三维坐标。

3.根据权利要求2所述的高反光表面三维视觉测量方法，其特征在于，所述步骤S300包括：

投影灰度均匀且饱和的图像，在高曝光时间下采集图像，通过标记相机图像饱和像素，获得物体表面高反光部分成像区域；投影与上述相同图像，降低曝光时间，使得物体表面高反光区域成像不出现饱和，采集该曝光下图像；根据成像灰度与投影强度之间的关系，通过不同曝光时间下的图像，计算使高反光表面不出现饱和的低灰度投影强度。

4.根据权利要求2所述的高反光表面三维视觉测量方法，其特征在于，所述步骤S300包括：

步骤S310，投影均匀灰度图像，高曝光时间采集图像，确定相机图像高反光区域在相机图像中的掩膜；

步骤S320，投影与步骤S310中相同的均匀灰度图像，低曝光时间采集图像，计算在高曝光下使物体表面不过曝的低灰度投影强度。

5.根据权利要求2所述的高反光表面三维视觉测量方法，其特征在于，所述步骤S400包括：

步骤S410，以求出的低灰度值作为正弦图像的最大输入灰度，生成竖直、水平两方向的正弦条纹；

步骤S420，投影仪投影竖直、水平方向低灰度正弦图像，工业相机采集图像；

步骤S430，对采集图像计算包裹相位；

步骤S440，基于多频外差解相法对包裹相位解包裹，得到物体表面的绝对相位。

6.根据权利要求2所述的高反光表面三维视觉测量方法，其特征在于，所述步骤S500包括：

步骤S510，根据轮廓跟踪算法，在相机图像高反光区域掩膜中，获得高反光区域在相机图像中的轮廓；

步骤S520，通过绝对相位对应，将相机图像高反光区域掩膜轮廓上各点对应到投影仪图像上，得到投影图像上的对应区域轮廓，从而得到待调整掩膜；

步骤S530，将投影仪掩膜中的每个像素，计算其对应的一个或多个相机像素；

步骤S540，计算投影像素灰度与相机像素灰度的样本对。

7.根据权利要求2所述的高反光表面三维视觉测量方法，其特征在于，所述步骤S600包括：

步骤S610，对每个待调整的投影仪像素，根据样本对，估计投影强度模型参数；

步骤S620，计算待调整像素的最佳投影强度；

步骤S630，根据投影仪图像中待调整像素的最大输入灰度，得到像素的投影灰度，生成新的自适应正弦条纹；

步骤S640，投影仪向物体表面投影自适应正弦条纹，工业相机采集物体图像；

步骤S650，基于多频外差解相法，对采集的正弦图像解相，得到绝对相位；

步骤S660，根据工业相机及投影仪的标定结果，基于单目投影仪条纹投影轮廓术三维测量模型，得到物体表面三维点坐标。

Images