CN111325831A - 一种基于分层聚类和置信传播的彩色结构光光条检测方法 - Google Patents

Abstract

本发明公开了一种基于分层聚类和置信传播的彩色结构光光条检测方法，包括以下步骤：使用投影仪将彩色条纹结构光投射到物体表面，用相机采集被物体表面调制后的彩色条纹结构光；对彩色结构光光条中心点进行粗定位和精定位；对彩色结构光光条中心点对应的光条中心线进行归属判别；实现全图像结构光光条中心线提取；对彩色结构光光条中心线进行标签解码；完成物体部分表面的密集三维重建；将不同视角下获得的物体表面的点云进行数据融合、拼接，完成物体表面的整体重建。本发明在保证彩色结构光光条检测的精度、速度与准确率的同时，增加结构光光条的稠密度，不受de Bruijn序列长度的限制，有助于实现物体表面形貌的在线、密集三维重建。

Description

一种基于分层聚类和置信传播的彩色结构光光条检测方法

技术领域

本发明属于三维重建技术领域，更具体地说，本发明涉及一种基于分层聚类和置信传播的彩色结构光光条检测方法。

背景技术

光条检测，是彩色条纹结构光三维重建系统的核心关键技术之一，直接决定了其形貌测量的精度和稳定性。光条检测主要包括两部分内容：光条中心线提取和光条中心线标签解码。

光条中心线提取方法可分为两类：(1)基于灰度分布信息的光条中心线提取方法，根据光条邻域分布特点提取光条中心线，如极值法、边缘法、重心法等；(2)基于数学微分的光条中心线提取方法，将图像灰度作为图像坐标的数学函数，求其一阶、二阶微分，一阶微分过零点且二阶微分大于零的像素点即为光条中心点，如灰度梯度法、高斯卷积法等。目前，光条中心线提取方法主要集中于线激光光条中心线提取，而在面结构光光条，尤其是彩色结构光光条中心线提取方面文献报道较少。线结构光图像灰度存在单一峰值，且前景背景易于分割，而面结构光光条有其自身特点，如存在多个亮度峰值、光条密集等，因此，不能简单的移植上述检测方法。

彩色条纹结构光标签解码方法主要有两类：基于de Bruijn序列的标签解码方法，解码速度快、准确率高，但光条稠密度受限；基于多视图几何的标签解码方法，光条稠密度高，但解码速度较慢、错误率较高。

为了解决上述问题，发明了一种基于分层聚类和置信传播的彩色结构光光条检测方法，有助于实现彩色结构光在线密集三维重建。

发明内容

本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。

为了实现根据本发明的这些目的和其它优点，提供了一种基于分层聚类和置信传播的彩色结构光光条检测方法，包括以下步骤：

步骤一、使用投影仪将彩色条纹结构光投射到物体表面，利用相机采集被物体表面调制后的彩色条纹结构光；

步骤二、将彩色条纹结构光图像转换为灰度图像，对彩色结构光光条中心点进行粗定位，输出类中心坐标；在彩色结构光条粗定位结果的基础上，对彩色结构光光条中心点进行精定位；基于欧式距离和颜色距离，对彩色结构光光条中心点对应的光条中心线进行归属判别；自上而下对图像进行扫描，实现全图像结构光光条中心线提取；

步骤三、对彩色结构光光条中心线进行标签解码；

步骤四、根据步骤二和步骤三，得到相机采集图像中彩色结构光光条中心线与投影仪投影图像中彩色结构光光条中心线的对应关系，根据摄影测量技术中的点-面交汇原理，计算相机采集图像中所有彩色结构光条中心点的三维坐标，完成物体部分表面的密集三维重建；

步骤五、利用多视点云拼接技术，将不同视角下获得的物体表面的点云进行数据融合、拼接，完成该物体表面的整体重建。

优选的是，其中，所述步骤二中记灰度图像任一行灰度大于灰度阈值的像素点为p_i(i＝1,2,…,n-1,n)，对彩色结构光光条中心点的粗定位方法包括以下步骤：

(a)将每一个彩色结构光光条中心点标记为一类，因此聚类第t＝0层共有n个类C_s，其中s＝1,2,...,n-t，且类中心坐标与p_i(i＝1,2,…,n-1,n)重合，记为M_s(x_s,y_s)(s＝1,2,…,n-t)；

(b)根据类中心坐标计算类间距离d＝{d_jk}(j,k＝1,2,…,n-t，j≠k)，d＝{d_jk}的计算公式为：

(c)判断最小类间距离是否满足分层聚类终止条件min(d)>d_thresh，即最小类间距离大于设定的距离阈值；若满足分层聚类终止条件，则执行步骤(f)；若不满足分层聚类终止条件，则执行步骤(d)；

(d)将类间距离最小的两个内合并，则t＝t+1层共有n-t个类C_s(s＝1,2,…,n-t)，利用均值法计算t层所有类的中心坐标M_s，M_s的计算公式为：

其中，

表示属于类C_s中的点，n_s表示类C_s中的点的个数；

(e)重复步骤(b)～(d)，直至满足分层聚类终止条件；

(f)输出类中心坐标M_s(x_s,y_s)(s＝1,2,…,m)，即完成彩色结构光光条粗定位。

优选的是，其中，其特征在于，所述步骤二中为了获取更为精确的彩色结构光光条中心位置，需要在对彩色结构光光条中心点的粗定位结果的基础上，对彩色结构光光条中心点进行精定位；类中心坐标M_s(x_s,y_s)邻域范围[x_s-w,x_s+w]内的像素灰度值记为g_i(x_s-w≤i≤x_s+w，i为整数)，搜索邻域范围内的灰度最大值，U_s为灰度最大值对应的像素点集合，n_s为集合U_s中元素的个数，U_s的计算公式为：

对于n_s，需要分两种情况讨论：

(g)若邻域范围内只有一个像素点p_v灰度值最大，即n_s＝1，则类中心坐标M_s＝p_v；

(h)若邻域范围内存在两个或两个以上像素点灰度值最大且相等，即n_s＞1，则对类中心坐标取均值：

遍历所有类中心坐标M_s(x_s,y_s)(s＝1,2,…,m)，即完成对灰度图像当前行的彩色结构光光条中心位置的精确定位。

优选的是，其中，所述步骤二中为了将每一行彩色结构光光条中心点连接成线，需要对当前行的彩色结构光光条中心点对应的光条中心线进行归属判别，判别方法主要基于欧式距离和颜色距离，具体操作步骤为：记第i行彩色结构光光条中心点

已提取处彩色结构光光条中心线为l_t(t＝1,2,…,n)；由于采用的行扫描方式为自上而下，l_t的末端点即为第i-1行的彩色结构光光条中心点，记为

彩色结构光光条中心点

与已提取的彩色结构光光条中心线l_t的欧式距离DE_st定义为：

其中，pdist2为欧式距离计算函数，x、y为彩色条纹结构光图像的像素坐标；

在彩色结构光光条中心点

周围7×7邻域范围内，统计颜色信息，统计的公式为：

其中，R(q_i)、G(q_i)、B(q_i)分别表示取像素点q_i的红、绿、蓝通道值，彩色结构光光条中心点判别结果如下：

彩色结构光光条中心点

与已提取的彩色结构光光条中心线l_t的颜色距离DC_st定义为：

综上所述，彩色结构光光条中心点

与已提取的光条中心线l_t的距离D_st定义为：

D_st＝DC_st*k_punish+DE_st (9)

其中，k_punish为惩罚系数，根据颜色距离的重要性人工设置；对彩色结构光光条中心点的中心线归属判别公式为：

若

到彩色结构光光条中心线l_t(t＝1,2,…,n)的距离最小值大于设定的光条差异性阈值D_thresh，则认为

不属于任何l_t，为

新建彩色结构光光条中心线l_n+1，则

若

到彩色结构光光条中心线l_t(t＝1,2,…,n)的距离最小值小于端等于设定的光条差异性阈值D_thresh，计算距离最小值对应的彩色结构光光条中心线标签T，则

用公式表示为：

遍历第i行所有的彩色结构光光条中心点

完成彩色结构光光条中心线归属判别；最后自上而下对图像进行行扫描，实现全图像结构光光条中心线提取。

优选的是，其中，所述步骤三中对彩色结构光光条中心线进行标签解码的步骤为：已提取的光条中心线记为l_t(t＝1,2,…,n)，l_t由像素点

构成，对应的线条颜色记为c_t(t＝1,2,…,n)；由彩色结构光光条中心线提取原理可知，l_t的起点和终点分别为其像素点集合中的第一个点

和最后一个点

l_i到l_j的距离d_ij定义为其中心在图像坐标系中的x坐标之差，d_ij大于0表示l_i在l_j右侧；反之l_i在l_j左侧，d_ij的计算公式为：

d_ij＝o_i-o_j (12)

其中，o_i、o_j的计算方法如下所示：

记d_L为l_j左侧距离集合，d_R为l_j右侧距离集合，则：

l_j的左邻域l_i必须满足两个条件，即到l_j的距离小于0且在d_L中绝对值最小；同理，l_j的右邻域l_k也必须满足两个条件，即到l_j的距离大于0且在d_R中绝对值最小：

在中心线连续的情况下，l_j左右邻域中心线具有两个性质：(1)唯一性，即左右邻域均有且仅有一条中心线；(2)相互性，即若l_i为l_j的左邻域中心线，则l_j必为l_i的右邻域中心线；但当物体表面存在深度突变或阴影遮挡等原因时，中心线发生断裂，l₁、l₂和l₃对应于结构光编码序列中的同一光条，该情况下：

邻域的相互性是经典置信传播算法消息传递的基础，即节点向邻域节点发送消息，同时也必须从邻域节点收取消息；由式(16)可知，此时的光条中心线邻域不具有相互性，因此需要对上述邻域进行扩充：

若l_i、l_j满足如下条件，则将l_i加入到l_j的右邻域集合中：

若l_i、l_j满足如下条件，则将l_i加入到l_j的左邻域集合中：

遍历光条中心线l_t(t＝1,2,…,n)，完成邻域关系确定，经过邻域扩充之后，式(16)变为：

由式(19)可知，经过邻域扩充后，l₄、l₅向l₁、l₂、l₃发送消息，同时也从l₁、l₂、l₃收取消息，中心线邻域具有了相互性；

已提取的彩色结构光光条中心线l_i(i＝1,2,…,n)的集合记为

对应的线条颜色记为c_i(i＝1,2,…,n)，

为标签可能取值的集合{1,2,...,r-1,r}，标签序列f＝{f₁,f₂,…,f_n}每一个元素表示对应于

的标签

为标签f_i对应的编码彩色结构光光条颜色；假设邻域光条中心线对应的真实标签是连续的，确定最优标签序列f，使得如下能量函数最小，等价于最大化f的后验概率：

其中，Neighs表示邻域集合，包括左邻域集合NeighLeft和右邻域集合NeighRight；D_C(f_i)为数据项，表示将标签f_i分配给l_i产生的代价；W(f_i,f_j)为非连续项，表示将标签f_i、f_j分配给邻域中心线l_i、l_j产生的代价；

数据项D_C(f_i)定义为彩色结构光光条中心线颜色c_i与标签f_i对应编码结构光颜色

的距离：

若彩色结构光光条中心线颜色c_i与标签f_i对应编码结构光颜色

相同，则数据项为0；若两者颜色不同，则数据项为λ₁；

非连续项W(f_i,f_j)定义为邻域中心线的标签距离：

其中，w₁、w₂的计算公式分别为：

其中δ为相邻中心线允许的标签距离阈值，κ为标签距离的惩罚系数；

记

为第τ次迭代后l_i向邻域中心线l_j传递的消息，消息初值为0，迭代更新过程可用如下数学表达式描述：

其中

为r行1列的向量，

表示

的第f_j个分量，Neighs(l_i)\(l_j)表示l_i的邻域中除l_j之外的中心线；执行过程可理解为：

首先，将集合

中的某一个值赋予f_j，遍历f_i的所有可能取值，并计算

将其最小值作为l_i对f_j取当前标签值的支持度，存入

的第f_j个分量；然后遍历f_j的所有可能取值，得到l_i向l_j发送的消息

最后，遍历已提取的所有光条中心线，完成第τ次消息更新；

迭代T次终止后，对各节点消息进行收集：

将b_j中最小值对应的标签值赋予l_j：

遍历所有光条中心线j＝1,2,…,n，完成光条中心线标签解码。

优选的是，其中，所述灰度阈值由在灰度图像中，彩色结构光光条和背景图像之间的亮度值差异确定；所述距离阈值为各类之间的像素点之间的距离阈值。

本发明至少包括以下有益效果：本发明可在保证彩色结构光光条检测的精度、速度与准确率的同时，还能够增加结构光光条的稠密度，不受de Bruijn序列长度的限制，有助于实现物体表面形貌的在线、密集三维重建。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明：

图1为本发明基于分层聚类和置信传播的彩色结构光光条检测方法的流程图；

图2为本发明基于分层聚类和置信传播的彩色结构光光条检测方法所使用的相机-投影仪系统结构示意图；

图3为本发明基于分层聚类和置信传播的彩色结构光光条检测方法投影仪投影得到的投影图像；

图4为本发明基于分层聚类和置信传播的彩色结构光光条检测方法所使用的点-面交汇原理示意图。

具体实施方式：

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

如图1-4所示：本发明的一种基于分层聚类和置信传播的彩色结构光光条检测方法，包括以下步骤：

步骤一、使用投影仪将彩色条纹结构光投射到物体表面，利用相机采集被物体表面调制后的彩色条纹结构光；

步骤二、将彩色条纹结构光图像转换为灰度图像，对彩色结构光光条中心点进行粗定位，输出类中心坐标；在彩色结构光条粗定位结果的基础上，对彩色结构光光条中心点进行精定位；基于欧式距离和颜色距离，对彩色结构光光条中心点对应的光条中心线进行归属判别；自上而下对图像进行扫描，实现全图像结构光光条中心线提取；

步骤三、对彩色结构光光条中心线进行标签解码；

步骤四、根据步骤二和步骤三，得到相机采集图像中彩色结构光光条中心线与投影仪投影图像中彩色结构光光条中心线的对应关系，根据摄影测量技术中的点-面交汇原理，计算相机采集图像中所有彩色结构光条中心点的三维坐标，完成物体部分表面的密集三维重建；

步骤五、利用多视点云拼接技术，将不同视角下获得的物体表面的点云进行数据融合、拼接，完成该物体表面的整体重建。

在上述技术方案中，所述步骤二中记灰度图像任一行灰度大于灰度阈值的像素点为p_i(i＝1,2,…,n-1,n)，对彩色结构光光条中心点的粗定位方法包括以下步骤：

(a)将每一个彩色结构光光条中心点标记为一类，因此聚类第t＝0层共有n个类C_s，其中s＝1,2,...,n-t，且类中心坐标与p_i(i＝1,2,…,n-1,n)重合，记为M_s(x_s,y_s)(s＝1,2,…,n-t)；

(b)根据类中心坐标计算类间距离d＝{d_jk}(j,k＝1,2,…,n-t，j≠k)，d＝{d_jk}的计算公式为：

(c)判断最小类间距离是否满足分层聚类终止条件min(d)>d_thresh，即最小类间距离大于设定的距离阈值；若满足分层聚类终止条件，则执行步骤(f)；若不满足分层聚类终止条件，则执行步骤(d)；

(d)将类间距离最小的两个内合并，则t＝t+1层共有n-t个类C_s(s＝1,2,…,n-t)，利用均值法计算t层所有类的中心坐标M_s，M_s的计算公式为：

其中，

表示属于类C_s中的点，n_s表示类C_s中的点的个数；

(e)重复步骤(b)～(d)，直至满足分层聚类终止条件；

(f)输出类中心坐标M_s(x_s,y_s)(s＝1,2,…,m)，即完成彩色结构光光条粗定位。

在上述技术方案中，所述步骤二中为了获取更为精确的彩色结构光光条中心位置，需要在对彩色结构光光条中心点的粗定位结果的基础上，对彩色结构光光条中心点进行精定位；类中心坐标M_s(x_s,y_s)邻域范围[x_s-w,x_s+w]内的像素灰度值记为g_i(x_s-w≤i≤x_s+w，i为整数)，搜索邻域范围内的灰度最大值，U_s为灰度最大值对应的像素点集合，n_s为集合U_s中元素的个数，U_s的计算公式为：

对于n_s，需要分两种情况讨论：

(g)若邻域范围内只有一个像素点p_v灰度值最大，即n_s＝1，则类中心坐标M_s＝p_v；

(h)若邻域范围内存在两个或两个以上像素点灰度值最大且相等，即n_s＞1，则对类中心坐标取均值：

遍历所有类中心坐标M_s(x_s,y_s)(s＝1,2,…,m)，即完成对灰度图像当前行的彩色结构光光条中心位置的精确定位。

在上述技术方案中，所述步骤二中为了将每一行彩色结构光光条中心点连接成线，需要对当前行的彩色结构光光条中心点对应的光条中心线进行归属判别，判别方法主要基于欧式距离和颜色距离，具体操作步骤为：记第i行彩色结构光光条中心点

已提取处彩色结构光光条中心线为l_t(t＝1,2,…,n)；由于采用的行扫描方式为自上而下，l_t的末端点即为第i-1行的彩色结构光光条中心点，记为

彩色结构光光条中心点

与已提取的彩色结构光光条中心线l_t的欧式距离DE_st定义为：

其中，pdist2为欧式距离计算函数，x、y为彩色条纹结构光图像的像素坐标；

在彩色结构光光条中心点

周围7×7邻域范围内，统计颜色信息，统计的公式为：

其中，R(q_i)、G(q_i)、B(q_i)分别表示取像素点q_i的红、绿、蓝通道值，彩色结构光光条中心点判别结果如下：

彩色结构光光条中心点

与已提取的彩色结构光光条中心线l_t的颜色距离DC_st定义为：

综上所述，彩色结构光光条中心点

与已提取的光条中心线l_t的距离D_st定义为：

D_st＝DC_st*k_punish+DE_st (9)

其中，k_punish为惩罚系数，根据颜色距离的重要性人工设置；对彩色结构光光条中心点的中心线归属判别公式为：

若

到彩色结构光光条中心线l_t(t＝1,2,…,n)的距离最小值大于设定的光条差异性阈值D_thresh，则认为

不属于任何l_t，为

新建彩色结构光光条中心线l_n+1，则

若

到彩色结构光光条中心线l_t(t＝1,2,…,n)的距离最小值小于端等于设定的光条差异性阈值D_thresh，计算距离最小值对应的彩色结构光光条中心线标签T，则

用公式表示为：

遍历第i行所有的彩色结构光光条中心点

完成彩色结构光光条中心线归属判别；最后自上而下对图像进行行扫描，实现全图像结构光光条中心线提取。

在上述技术方案中，所述步骤三中对彩色结构光光条中心线进行标签解码的步骤为：已提取的光条中心线记为l_t(t＝1,2,…,n)，l_t由像素点

构成，对应的线条颜色记为c_t(t＝1,2,…,n)；由彩色结构光光条中心线提取原理可知，l_t的起点和终点分别为其像素点集合中的第一个点

和最后一个点

l_i到l_j的距离d_ij定义为其中心在图像坐标系中的x坐标之差，d_ij大于0表示l_i在l_j右侧；反之l_i在l_j左侧，d_ij的计算公式为：

d_ij＝o_i-o_j (12)

其中，o_i、o_j的计算方法如下所示：

记d_L为l_j左侧距离集合，d_R为l_j右侧距离集合，则：

l_j的左邻域l_i必须满足两个条件，即到l_j的距离小于0且在d_L中绝对值最小；同理，l_j的右邻域l_k也必须满足两个条件，即到l_j的距离大于0且在d_R中绝对值最小：

在中心线连续的情况下，l_j左右邻域中心线具有两个性质：(1)唯一性，即左右邻域均有且仅有一条中心线；(2)相互性，即若l_i为l_j的左邻域中心线，则l_j必为l_i的右邻域中心线；但当物体表面存在深度突变或阴影遮挡等原因时，中心线发生断裂，l₁、l₂和l₃对应于结构光编码序列中的同一光条，该情况下：

邻域的相互性是经典置信传播算法消息传递的基础，即节点向邻域节点发送消息，同时也必须从邻域节点收取消息；由式(16)可知，此时的光条中心线邻域不具有相互性，因此需要对上述邻域进行扩充：

若l_i、l_j满足如下条件，则将l_i加入到l_j的右邻域集合中：

若l_i、l_j满足如下条件，则将l_i加入到l_j的左邻域集合中：

遍历光条中心线l_t(t＝1,2,…,n)，完成邻域关系确定，经过邻域扩充之后，式(16)变为：

由式(19)可知，经过邻域扩充后，l₄、l₅向l₁、l₂、l₃发送消息，同时也从l₁、l₂、l₃收取消息，中心线邻域具有了相互性；

已提取的彩色结构光光条中心线l_i(i＝1,2,…,n)的集合记为

对应的线条颜色记为c_i(i＝1,2,…,n)，

为标签可能取值的集合{1,2,...,r-1,r}，标签序列f＝{f₁,f₂,…,f_n}每一个元素表示对应于

的标签

为标签f_i对应的编码彩色结构光光条颜色；假设邻域光条中心线对应的真实标签是连续的，确定最优标签序列f，使得如下能量函数最小，等价于最大化f的后验概率：

其中，Neighs表示邻域集合，包括左邻域集合NeighLeft和右邻域集合NeighRight；D_C(f_i)为数据项，表示将标签f_i分配给l_i产生的代价；W(f_i,f_j)为非连续项，表示将标签f_i、f_j分配给邻域中心线l_i、l_j产生的代价；

数据项D_C(f_i)定义为彩色结构光光条中心线颜色c_i与标签f_i对应编码结构光颜色

的距离：

若彩色结构光光条中心线颜色c_i与标签f_i对应编码结构光颜色

相同，则数据项为0；若两者颜色不同，则数据项为λ₁；

非连续项W(f_i,f_j)定义为邻域中心线的标签距离：

其中，w₁、w₂的计算公式分别为：

其中δ为相邻中心线允许的标签距离阈值，κ为标签距离的惩罚系数；

记

为第τ次迭代后l_i向邻域中心线l_j传递的消息，消息初值为0，迭代更新过程可用如下数学表达式描述：

其中

为r行1列的向量，

表示

的第f_j个分量，Neighs(l_i)\(l_j)表示l_i的邻域中除l_j之外的中心线；执行过程可理解为：

首先，将集合

中的某一个值赋予f_j，遍历f_i的所有可能取值，并计算

将其最小值作为l_i对f_j取当前标签值的支持度，存入

的第f_j个分量；然后遍历f_j的所有可能取值，得到l_i向l_j发送的消息

最后，遍历已提取的所有光条中心线，完成第τ次消息更新；

迭代T次终止后，对各节点消息进行收集：

将b_j中最小值对应的标签值赋予l_j：

遍历所有光条中心线j＝1,2,…,n，完成光条中心线标签解码。

在上述技术方案中，所述灰度阈值由在灰度图像中，彩色结构光光条和背景图像之间的亮度值差异确定；所述距离阈值为各类之间的像素点之间的距离阈值。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于分层聚类和置信传播的彩色结构光光条检测方法，其特征在于，包括以下步骤：

步骤一、使用投影仪将彩色条纹结构光投射到物体表面，利用相机采集被物体表面调制后的彩色条纹结构光；

步骤二、将彩色条纹结构光图像转换为灰度图像，对彩色结构光光条中心点进行粗定位，输出类中心坐标；在彩色结构光条粗定位结果的基础上，对彩色结构光光条中心点进行精定位；基于欧式距离和颜色距离，对彩色结构光光条中心点对应的光条中心线进行归属判别；自上而下对图像进行扫描，实现全图像结构光光条中心线提取；

步骤三、对彩色结构光光条中心线进行标签解码；

步骤四、根据步骤二和步骤三，得到相机采集图像中彩色结构光光条中心线与投影仪投影图像中彩色结构光光条中心线的对应关系，根据摄影测量技术中的点-面交汇原理，计算相机采集图像中所有彩色结构光条中心点的三维坐标，完成物体部分表面的密集三维重建；

步骤五、利用多视点云拼接技术，将不同视角下获得的物体表面的点云进行数据融合、拼接，完成该物体表面的整体重建。

2.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法，其特征在于，所述步骤二中记灰度图像任一行灰度大于灰度阈值的像素点为p_i(i＝1,2,…,n-1,n)，对彩色结构光光条中心点的粗定位方法包括以下步骤：

(a)将每一个彩色结构光光条中心点标记为一类，因此聚类第t＝0层共有n个类C_s，其中s＝1,2,...,n-t，且类中心坐标与p_i(i＝1,2,…,n-1,n)重合，记为M_s(x_s,y_s)(s＝1,2,…,n-t)；

(b)根据类中心坐标计算类间距离d＝{d_jk}(j,k＝1,2,…,n-t，j≠k)，d＝{d_jk}的计算公式为：

(c)判断最小类间距离是否满足分层聚类终止条件min(d)>d_thresh，即最小类间距离大于设定的距离阈值；若满足分层聚类终止条件，则执行步骤(f)；若不满足分层聚类终止条件，则执行步骤(d)；

(d)将类间距离最小的两个内合并，则t＝t+1层共有n-t个类C_s(s＝1,2,…,n-t)，利用均值法计算t层所有类的中心坐标M_s，M_s的计算公式为：

其中，

表示属于类C_s中的点，n_s表示类C_s中的点的个数；

(e)重复步骤(b)～(d)，直至满足分层聚类终止条件；

(f)输出类中心坐标M_s(x_s,y_s)(s＝1,2,…,m)，即完成彩色结构光光条粗定位。

3.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法，其特征在于，所述步骤二中为了获取更为精确的彩色结构光光条中心位置，需要在对彩色结构光光条中心点的粗定位结果的基础上，对彩色结构光光条中心点进行精定位；类中心坐标M_s(x_s,y_s)邻域范围[x_s-w,x_s+w]内的像素灰度值记为g_i(x_s-w≤i≤x_s+w，i为整数)，搜索邻域范围内的灰度最大值，U_s为灰度最大值对应的像素点集合，n_s为集合U_s中元素的个数，U_s的计算公式为：

对于n_s，需要分两种情况讨论：

(g)若邻域范围内只有一个像素点p_v灰度值最大，即n_s＝1，则类中心坐标M_s＝p_v；

(h)若邻域范围内存在两个或两个以上像素点灰度值最大且相等，即n_s＞1，则对类中心坐标取均值：

遍历所有类中心坐标M_s(x_s,y_s) (s＝1,2,…,m)，即完成对灰度图像当前行的彩色结构光光条中心位置的精确定位。

4.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法，其特征在于，所述步骤二中为了将每一行彩色结构光光条中心点连接成线，需要对当前行的彩色结构光光条中心点对应的光条中心线进行归属判别，判别方法主要基于欧式距离和颜色距离，具体操作步骤为：记第i行彩色结构光光条中心点

已提取处彩色结构光光条中心线为l_t(t＝1,2,…,n)；由于采用的行扫描方式为自上而下，l_t的末端点即为第i-1行的彩色结构光光条中心点，记为

彩色结构光光条中心点

与已提取的彩色结构光光条中心线l_t的欧式距离DE_st定义为：

其中，pdist2为欧式距离计算函数，x、y为彩色条纹结构光图像的像素坐标；

在彩色结构光光条中心点

周围7×7邻域范围内，统计颜色信息，统计的公式为：

其中，R(q_i)、G(q_i)、B(q_i)分别表示取像素点q_i的红、绿、蓝通道值，彩色结构光光条中心点判别结果如下：

彩色结构光光条中心点

与已提取的彩色结构光光条中心线l_t的颜色距离DC_st定义为：

综上所述，彩色结构光光条中心点

与已提取的光条中心线l_t的距离D_st定义为：

D_st＝DC_st*k_punish+DE_st (9)

其中，k_punish为惩罚系数，根据颜色距离的重要性人工设置；对彩色结构光光条中心点的中心线归属判别公式为：

若

到彩色结构光光条中心线l_t(t＝1,2,…,n)的距离最小值大于设定的光条差异性阈值D_thresh，则认为

不属于任何l_t，为

新建彩色结构光光条中心线l_n+1，则

若

到彩色结构光光条中心线l_t(t＝1,2,…,n)的距离最小值小于端等于设定的光条差异性阈值D_thresh，计算距离最小值对应的彩色结构光光条中心线标签T，则

用公式表示为：

遍历第i行所有的彩色结构光光条中心点

完成彩色结构光光条中心线归属判别；最后自上而下对图像进行行扫描，实现全图像结构光光条中心线提取。

5.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法，其特征在于，所述步骤三中对彩色结构光光条中心线进行标签解码的步骤为：已提取的光条中心线记为l_t(t＝1,2,…,n)，l_t由像素点

构成，对应的线条颜色记为c_t(t＝1,2,…,n)；由彩色结构光光条中心线提取原理可知，l_t的起点和终点分别为其像素点集合中的第一个点

和最后一个点

l_i到l_j的距离d_ij定义为其中心在图像坐标系中的x坐标之差，d_ij大于0表示l_i在l_j右侧；反之l_i在l_j左侧，d_ij的计算公式为：

d_ij＝o_i-o_j (12)

其中，o_i、o_j的计算方法如下所示：

记d_L为l_j左侧距离集合，d_R为l_j右侧距离集合，则：

l_j的左邻域l_i必须满足两个条件，即到l_j的距离小于0且在d_L中绝对值最小；同理，l_j的右邻域l_k也必须满足两个条件，即到l_j的距离大于0且在d_R中绝对值最小：

在中心线连续的情况下，l_j左右邻域中心线具有两个性质：(1)唯一性，即左右邻域均有且仅有一条中心线；(2)相互性，即若l_i为l_j的左邻域中心线，则l_j必为l_i的右邻域中心线；但当物体表面存在深度突变或阴影遮挡等原因时，中心线发生断裂，l₁、l₂和l₃对应于结构光编码序列中的同一光条，该情况下：

邻域的相互性是经典置信传播算法消息传递的基础，即节点向邻域节点发送消息，同时也必须从邻域节点收取消息；由式(16)可知，此时的光条中心线邻域不具有相互性，因此需要对上述邻域进行扩充：

若l_i、l_j满足如下条件，则将l_i加入到l_j的右邻域集合中：

若l_i、l_j满足如下条件，则将l_i加入到l_j的左邻域集合中：

遍历光条中心线l_t(t＝1,2,…,n)，完成邻域关系确定，经过邻域扩充之后，式(16)变为：

由式(19)可知，经过邻域扩充后，l₄、l₅向l₁、l₂、l₃发送消息，同时也从l₁、l₂、l₃收取消息，中心线邻域具有了相互性；

已提取的彩色结构光光条中心线l_i(i＝1,2,…,n)的集合记为

对应的线条颜色记为c_i(i＝1,2,…,n)，

为标签可能取值的集合{1,2,...,r-1,r}，标签序列f＝{f₁,f₂,…,f_n}每一个元素表示对应于

的标签

为标签f_i对应的编码彩色结构光光条颜色；假设邻域光条中心线对应的真实标签是连续的，确定最优标签序列f，使得如下能量函数最小，等价于最大化f的后验概率：

其中，Neighs表示邻域集合，包括左邻域集合NeighLeft和右邻域集合NeighRight；D_C(f_i)为数据项，表示将标签f_i分配给l_i产生的代价；W(f_i,f_j)为非连续项，表示将标签f_i、f_j分配给邻域中心线l_i、l_j产生的代价；

数据项D_C(f_i)定义为彩色结构光光条中心线颜色c_i与标签f_i对应编码结构光颜色

的距离：

若彩色结构光光条中心线颜色c_i与标签f_i对应编码结构光颜色

相同，则数据项为0；若两者颜色不同，则数据项为λ₁；

非连续项W(f_i,f_j)定义为邻域中心线的标签距离：

其中，w₁、w₂的计算公式分别为：

其中δ为相邻中心线允许的标签距离阈值，κ为标签距离的惩罚系数；

记

为第τ次迭代后l_i向邻域中心线l_j传递的消息，消息初值为0，迭代更新过程可用如下数学表达式描述：

其中

为r行1列的向量，

表示

的第f_j个分量，Neighs(l_i)\(l_j)表示l_i的邻域中除l_j之外的中心线；执行过程可理解为：

首先，将集合

中的某一个值赋予f_j，遍历f_i的所有可能取值，并计算

将其最小值作为l_i对f_j取当前标签值的支持度，存入

的第f_j个分量；然后遍历f_j的所有可能取值，得到l_i向l_j发送的消息

最后，遍历已提取的所有光条中心线，完成第τ次消息更新；

迭代T次终止后，对各节点消息进行收集：

将b_j中最小值对应的标签值赋予l_j：

遍历所有光条中心线j＝1,2,…,n，完成光条中心线标签解码。

6.如权利要求2所述的基于分层聚类和置信传播的彩色结构光光条检测方法，其特征在于，所述灰度阈值由在灰度图像中，彩色结构光光条和背景图像之间的亮度值差异确定；所述距离阈值为各类之间的像素点之间的距离阈值。

Images