CN111325831B - 一种基于分层聚类和置信传播的彩色结构光光条检测方法 - Google Patents
一种基于分层聚类和置信传播的彩色结构光光条检测方法 Download PDFInfo
- Publication number
- CN111325831B CN111325831B CN202010142239.8A CN202010142239A CN111325831B CN 111325831 B CN111325831 B CN 111325831B CN 202010142239 A CN202010142239 A CN 202010142239A CN 111325831 B CN111325831 B CN 111325831B
- Authority
- CN
- China
- Prior art keywords
- color
- light
- neighborhood
- structured light
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000035772 mutation Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000004069 differentiation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分层聚类和置信传播的彩色结构光光条检测方法,包括以下步骤:使用投影仪将彩色条纹结构光投射到物体表面,用相机采集被物体表面调制后的彩色条纹结构光;对彩色结构光光条中心点进行粗定位和精定位;对彩色结构光光条中心点对应的光条中心线进行归属判别;实现全图像结构光光条中心线提取;对彩色结构光光条中心线进行标签解码;完成物体部分表面的密集三维重建;将不同视角下获得的物体表面的点云进行数据融合、拼接,完成物体表面的整体重建。本发明在保证彩色结构光光条检测的精度、速度与准确率的同时,增加结构光光条的稠密度,不受de Bruijn序列长度的限制,有助于实现物体表面形貌的在线、密集三维重建。
Description
技术领域
本发明属于三维重建技术领域,更具体地说,本发明涉及一种基于分层聚类和置信传播的彩色结构光光条检测方法。
背景技术
光条检测,是彩色条纹结构光三维重建系统的核心关键技术之一,直接决定了其形貌测量的精度和稳定性。光条检测主要包括两部分内容:光条中心线提取和光条中心线标签解码。
光条中心线提取方法可分为两类:(1)基于灰度分布信息的光条中心线提取方法,根据光条邻域分布特点提取光条中心线,如极值法、边缘法、重心法等;(2)基于数学微分的光条中心线提取方法,将图像灰度作为图像坐标的数学函数,求其一阶、二阶微分,一阶微分过零点且二阶微分大于零的像素点即为光条中心点,如灰度梯度法、高斯卷积法等。目前,光条中心线提取方法主要集中于线激光光条中心线提取,而在面结构光光条,尤其是彩色结构光光条中心线提取方面文献报道较少。线结构光图像灰度存在单一峰值,且前景背景易于分割,而面结构光光条有其自身特点,如存在多个亮度峰值、光条密集等,因此,不能简单的移植上述检测方法。
彩色条纹结构光标签解码方法主要有两类:基于de Bruijn序列的标签解码方法,解码速度快、准确率高,但光条稠密度受限;基于多视图几何的标签解码方法,光条稠密度高,但解码速度较慢、错误率较高。
为了解决上述问题,发明了一种基于分层聚类和置信传播的彩色结构光光条检测方法,有助于实现彩色结构光在线密集三维重建。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷,并提供至少后面将说明的优点。
为了实现根据本发明的这些目的和其它优点,提供了一种基于分层聚类和置信传播的彩色结构光光条检测方法,包括以下步骤:
步骤一、使用投影仪将彩色条纹结构光投射到物体表面,利用相机采集被物体表面调制后的彩色条纹结构光;
步骤二、将彩色条纹结构光图像转换为灰度图像,对彩色结构光光条中心点进行粗定位,输出类中心坐标;在彩色结构光条粗定位结果的基础上,对彩色结构光光条中心点进行精定位;基于欧式距离和颜色距离,对彩色结构光光条中心点对应的光条中心线进行归属判别;自上而下对图像进行扫描,实现全图像结构光光条中心线提取;
步骤三、对彩色结构光光条中心线进行标签解码;
步骤四、根据步骤二和步骤三,得到相机采集图像中彩色结构光光条中心线与投影仪投影图像中彩色结构光光条中心线的对应关系,根据摄影测量技术中的点-面交汇原理,计算相机采集图像中所有彩色结构光条中心点的三维坐标,完成物体部分表面的密集三维重建;
步骤五、利用多视点云拼接技术,将不同视角下获得的物体表面的点云进行数据融合、拼接,完成该物体表面的整体重建。
优选的是,其中,所述步骤二中记灰度图像任一行灰度大于灰度阈值的像素点为pi(i=1,2,…,n-1,n),对彩色结构光光条中心点的粗定位方法包括以下步骤:
(a)将每一个彩色结构光光条中心点标记为一类,因此聚类第t=0层共有n个类Cs,其中s=1,2,...,n-t,且类中心坐标与pi(i=1,2,…,n-1,n)重合,记为Ms(xs,ys)(s=1,2,…,n-t);
(b)根据类中心坐标计算类间距离d={djk}(j,k=1,2,…,n-t,j≠k),d={djk}的计算公式为:
(c)判断最小类间距离是否满足分层聚类终止条件min(d)>dthresh,即最小类间距离大于设定的距离阈值;若满足分层聚类终止条件,则执行步骤(f);若不满足分层聚类终止条件,则执行步骤(d);
(d)将类间距离最小的两个内合并,则t=t+1层共有n-t个类Cs(s=1,2,…,n-t),利用均值法计算t层所有类的中心坐标Ms,Ms的计算公式为:
(e)重复步骤(b)~(d),直至满足分层聚类终止条件;
(f)输出类中心坐标Ms(xs,ys)(s=1,2,…,m),即完成彩色结构光光条粗定位。
优选的是,其中,其特征在于,所述步骤二中为了获取更为精确的彩色结构光光条中心位置,需要在对彩色结构光光条中心点的粗定位结果的基础上,对彩色结构光光条中心点进行精定位;类中心坐标Ms(xs,ys)邻域范围[xs-w,xs+w]内的像素灰度值记为gi(xs-w≤i≤xs+w,i为整数),搜索邻域范围内的灰度最大值,Us为灰度最大值对应的像素点集合,ns为集合Us中元素的个数,Us的计算公式为:
对于ns,需要分两种情况讨论:
(g)若邻域范围内只有一个像素点pv灰度值最大,即ns=1,则类中心坐标Ms=pv;
(h)若邻域范围内存在两个或两个以上像素点灰度值最大且相等,即ns>1,则对类中心坐标取均值:
遍历所有类中心坐标Ms(xs,ys)(s=1,2,…,m),即完成对灰度图像当前行的彩色结构光光条中心位置的精确定位。
优选的是,其中,所述步骤二中为了将每一行彩色结构光光条中心点连接成线,需要对当前行的彩色结构光光条中心点对应的光条中心线进行归属判别,判别方法主要基于欧式距离和颜色距离,具体操作步骤为:记第i行彩色结构光光条中心点已提取处彩色结构光光条中心线为lt(t=1,2,…,n);由于采用的行扫描方式为自上而下,lt的末端点即为第i-1行的彩色结构光光条中心点,记为彩色结构光光条中心点与已提取的彩色结构光光条中心线lt的欧式距离DEst定义为:
其中,pdist2为欧式距离计算函数,x、y为彩色条纹结构光图像的像素坐标;
Dst=DCst*kpunish+DEst (9)
其中,kpunish为惩罚系数,根据颜色距离的重要性人工设置;对彩色结构光光条中心点的中心线归属判别公式为:
若到彩色结构光光条中心线lt(t=1,2,…,n)的距离最小值大于设定的光条差异性阈值Dthresh,则认为不属于任何lt,为新建彩色结构光光条中心线ln+1,则若到彩色结构光光条中心线lt(t=1,2,…,n)的距离最小值小于端等于设定的光条差异性阈值Dthresh,计算距离最小值对应的彩色结构光光条中心线标签T,则用公式表示为:
优选的是,其中,所述步骤三中对彩色结构光光条中心线进行标签解码的步骤为:已提取的光条中心线记为lt(t=1,2,…,n),lt由像素点 构成,对应的线条颜色记为ct(t=1,2,…,n);由彩色结构光光条中心线提取原理可知,lt的起点和终点分别为其像素点集合中的第一个点和最后一个点
li到lj的距离dij定义为其中心在图像坐标系中的x坐标之差,dij大于0表示li在lj右侧;反之li在lj左侧,dij的计算公式为:
dij=oi-oj (12)
其中,oi、oj的计算方法如下所示:
记dL为lj左侧距离集合,dR为lj右侧距离集合,则:
lj的左邻域li必须满足两个条件,即到lj的距离小于0且在dL中绝对值最小;同理,lj的右邻域lk也必须满足两个条件,即到lj的距离大于0且在dR中绝对值最小:
在中心线连续的情况下,lj左右邻域中心线具有两个性质:(1)唯一性,即左右邻域均有且仅有一条中心线;(2)相互性,即若li为lj的左邻域中心线,则lj必为li的右邻域中心线;但当物体表面存在深度突变或阴影遮挡等原因时,中心线发生断裂,l1、l2和l3对应于结构光编码序列中的同一光条,该情况下:
邻域的相互性是经典置信传播算法消息传递的基础,即节点向邻域节点发送消息,同时也必须从邻域节点收取消息;由式(16)可知,此时的光条中心线邻域不具有相互性,因此需要对上述邻域进行扩充:
若li、lj满足如下条件,则将li加入到lj的右邻域集合中:
若li、lj满足如下条件,则将li加入到lj的左邻域集合中:
遍历光条中心线lt(t=1,2,…,n),完成邻域关系确定,经过邻域扩充之后,式(16)变为:
由式(19)可知,经过邻域扩充后,l4、l5向l1、l2、l3发送消息,同时也从l1、l2、l3收取消息,中心线邻域具有了相互性;
已提取的彩色结构光光条中心线li(i=1,2,…,n)的集合记为对应的线条颜色记为ci(i=1,2,…,n),为标签可能取值的集合{1,2,...,r-1,r},标签序列f={f1,f2,…,fn}每一个元素表示对应于的标签 为标签fi对应的编码彩色结构光光条颜色;假设邻域光条中心线对应的真实标签是连续的,确定最优标签序列f,使得如下能量函数最小,等价于最大化f的后验概率:
其中,Neighs表示邻域集合,包括左邻域集合NeighLeft和右邻域集合NeighRight;DC(fi)为数据项,表示将标签fi分配给li产生的代价;W(fi,fj)为非连续项,表示将标签fi、fj分配给邻域中心线li、lj产生的代价;
非连续项W(fi,fj)定义为邻域中心线的标签距离:
其中,w1、w2的计算公式分别为:
其中δ为相邻中心线允许的标签距离阈值,κ为标签距离的惩罚系数;
最后,遍历已提取的所有光条中心线,完成第τ次消息更新;
迭代T次终止后,对各节点消息进行收集:
将bj中最小值对应的标签值赋予lj:
遍历所有光条中心线j=1,2,…,n,完成光条中心线标签解码。
优选的是,其中,所述灰度阈值由在灰度图像中,彩色结构光光条和背景图像之间的亮度值差异确定;所述距离阈值为各类之间的像素点之间的距离阈值。
本发明至少包括以下有益效果:本发明可在保证彩色结构光光条检测的精度、速度与准确率的同时,还能够增加结构光光条的稠密度,不受de Bruijn序列长度的限制,有助于实现物体表面形貌的在线、密集三维重建。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明:
图1为本发明基于分层聚类和置信传播的彩色结构光光条检测方法的流程图;
图2为本发明基于分层聚类和置信传播的彩色结构光光条检测方法所使用的相机-投影仪系统结构示意图;
图3为本发明基于分层聚类和置信传播的彩色结构光光条检测方法投影仪投影得到的投影图像;
图4为本发明基于分层聚类和置信传播的彩色结构光光条检测方法所使用的点-面交汇原理示意图。
具体实施方式:
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1-4所示:本发明的一种基于分层聚类和置信传播的彩色结构光光条检测方法,包括以下步骤:
步骤一、使用投影仪将彩色条纹结构光投射到物体表面,利用相机采集被物体表面调制后的彩色条纹结构光;
步骤二、将彩色条纹结构光图像转换为灰度图像,对彩色结构光光条中心点进行粗定位,输出类中心坐标;在彩色结构光条粗定位结果的基础上,对彩色结构光光条中心点进行精定位;基于欧式距离和颜色距离,对彩色结构光光条中心点对应的光条中心线进行归属判别;自上而下对图像进行扫描,实现全图像结构光光条中心线提取;
步骤三、对彩色结构光光条中心线进行标签解码;
步骤四、根据步骤二和步骤三,得到相机采集图像中彩色结构光光条中心线与投影仪投影图像中彩色结构光光条中心线的对应关系,根据摄影测量技术中的点-面交汇原理,计算相机采集图像中所有彩色结构光条中心点的三维坐标,完成物体部分表面的密集三维重建;
步骤五、利用多视点云拼接技术,将不同视角下获得的物体表面的点云进行数据融合、拼接,完成该物体表面的整体重建。
在上述技术方案中,所述步骤二中记灰度图像任一行灰度大于灰度阈值的像素点为pi(i=1,2,…,n-1,n),对彩色结构光光条中心点的粗定位方法包括以下步骤:
(a)将每一个彩色结构光光条中心点标记为一类,因此聚类第t=0层共有n个类Cs,其中s=1,2,...,n-t,且类中心坐标与pi(i=1,2,…,n-1,n)重合,记为Ms(xs,ys)(s=1,2,…,n-t);
(b)根据类中心坐标计算类间距离d={djk}(j,k=1,2,…,n-t,j≠k),d={djk}的计算公式为:
(c)判断最小类间距离是否满足分层聚类终止条件min(d)>dthresh,即最小类间距离大于设定的距离阈值;若满足分层聚类终止条件,则执行步骤(f);若不满足分层聚类终止条件,则执行步骤(d);
(d)将类间距离最小的两个内合并,则t=t+1层共有n-t个类Cs(s=1,2,…,n-t),利用均值法计算t层所有类的中心坐标Ms,Ms的计算公式为:
(e)重复步骤(b)~(d),直至满足分层聚类终止条件;
(f)输出类中心坐标Ms(xs,ys)(s=1,2,…,m),即完成彩色结构光光条粗定位。
在上述技术方案中,所述步骤二中为了获取更为精确的彩色结构光光条中心位置,需要在对彩色结构光光条中心点的粗定位结果的基础上,对彩色结构光光条中心点进行精定位;类中心坐标Ms(xs,ys)邻域范围[xs-w,xs+w]内的像素灰度值记为gi(xs-w≤i≤xs+w,i为整数),搜索邻域范围内的灰度最大值,Us为灰度最大值对应的像素点集合,ns为集合Us中元素的个数,Us的计算公式为:
对于ns,需要分两种情况讨论:
(g)若邻域范围内只有一个像素点pv灰度值最大,即ns=1,则类中心坐标Ms=pv;
(h)若邻域范围内存在两个或两个以上像素点灰度值最大且相等,即ns>1,则对类中心坐标取均值:
遍历所有类中心坐标Ms(xs,ys)(s=1,2,…,m),即完成对灰度图像当前行的彩色结构光光条中心位置的精确定位。
在上述技术方案中,所述步骤二中为了将每一行彩色结构光光条中心点连接成线,需要对当前行的彩色结构光光条中心点对应的光条中心线进行归属判别,判别方法主要基于欧式距离和颜色距离,具体操作步骤为:记第i行彩色结构光光条中心点已提取处彩色结构光光条中心线为lt(t=1,2,…,n);由于采用的行扫描方式为自上而下,lt的末端点即为第i-1行的彩色结构光光条中心点,记为彩色结构光光条中心点与已提取的彩色结构光光条中心线lt的欧式距离DEst定义为:
其中,pdist2为欧式距离计算函数,x、y为彩色条纹结构光图像的像素坐标;
Dst=DCst*kpunish+DEst (9)
其中,kpunish为惩罚系数,根据颜色距离的重要性人工设置;对彩色结构光光条中心点的中心线归属判别公式为:
若到彩色结构光光条中心线lt(t=1,2,…,n)的距离最小值大于设定的光条差异性阈值Dthresh,则认为不属于任何lt,为新建彩色结构光光条中心线ln+1,则若到彩色结构光光条中心线lt(t=1,2,…,n)的距离最小值小于端等于设定的光条差异性阈值Dthresh,计算距离最小值对应的彩色结构光光条中心线标签T,则用公式表示为:
在上述技术方案中,所述步骤三中对彩色结构光光条中心线进行标签解码的步骤为:已提取的光条中心线记为lt(t=1,2,…,n),lt由像素点 构成,对应的线条颜色记为ct(t=1,2,…,n);由彩色结构光光条中心线提取原理可知,lt的起点和终点分别为其像素点集合中的第一个点和最后一个点
li到lj的距离dij定义为其中心在图像坐标系中的x坐标之差,dij大于0表示li在lj右侧;反之li在lj左侧,dij的计算公式为:
dij=oi-oj (12)
其中,oi、oj的计算方法如下所示:
记dL为lj左侧距离集合,dR为lj右侧距离集合,则:
lj的左邻域li必须满足两个条件,即到lj的距离小于0且在dL中绝对值最小;同理,lj的右邻域lk也必须满足两个条件,即到lj的距离大于0且在dR中绝对值最小:
在中心线连续的情况下,lj左右邻域中心线具有两个性质:(1)唯一性,即左右邻域均有且仅有一条中心线;(2)相互性,即若li为lj的左邻域中心线,则lj必为li的右邻域中心线;但当物体表面存在深度突变或阴影遮挡等原因时,中心线发生断裂,l1、l2和l3对应于结构光编码序列中的同一光条,该情况下:
邻域的相互性是经典置信传播算法消息传递的基础,即节点向邻域节点发送消息,同时也必须从邻域节点收取消息;由式(16)可知,此时的光条中心线邻域不具有相互性,因此需要对上述邻域进行扩充:
若li、lj满足如下条件,则将li加入到lj的右邻域集合中:
若li、lj满足如下条件,则将li加入到lj的左邻域集合中:
遍历光条中心线lt(t=1,2,…,n),完成邻域关系确定,经过邻域扩充之后,式(16)变为:
由式(19)可知,经过邻域扩充后,l4、l5向l1、l2、l3发送消息,同时也从l1、l2、l3收取消息,中心线邻域具有了相互性;
已提取的彩色结构光光条中心线li(i=1,2,…,n)的集合记为对应的线条颜色记为ci(i=1,2,…,n),为标签可能取值的集合{1,2,...,r-1,r},标签序列f={f1,f2,…,fn}每一个元素表示对应于的标签 为标签fi对应的编码彩色结构光光条颜色;假设邻域光条中心线对应的真实标签是连续的,确定最优标签序列f,使得如下能量函数最小,等价于最大化f的后验概率:
其中,Neighs表示邻域集合,包括左邻域集合NeighLeft和右邻域集合NeighRight;DC(fi)为数据项,表示将标签fi分配给li产生的代价;W(fi,fj)为非连续项,表示将标签fi、fj分配给邻域中心线li、lj产生的代价;
非连续项W(fi,fj)定义为邻域中心线的标签距离:
其中,w1、w2的计算公式分别为:
其中δ为相邻中心线允许的标签距离阈值,κ为标签距离的惩罚系数;
最后,遍历已提取的所有光条中心线,完成第τ次消息更新;
迭代T次终止后,对各节点消息进行收集:
将bj中最小值对应的标签值赋予lj:
遍历所有光条中心线j=1,2,…,n,完成光条中心线标签解码。
在上述技术方案中,所述灰度阈值由在灰度图像中,彩色结构光光条和背景图像之间的亮度值差异确定;所述距离阈值为各类之间的像素点之间的距离阈值。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
Claims (5)
1.一种基于分层聚类和置信传播的彩色结构光光条检测方法,其特征在于,包括以下步骤:
步骤一、使用投影仪将彩色条纹结构光投射到物体表面,利用相机采集被物体表面调制后的彩色条纹结构光;
步骤二、将彩色条纹结构光图像转换为灰度图像,对彩色结构光光条中心点进行粗定位,输出类中心坐标;在彩色结构光条粗定位结果的基础上,对彩色结构光光条中心点进行精定位;基于欧式距离和颜色距离,对彩色结构光光条中心点对应的光条中心线进行归属判别;自上而下对图像进行扫描,实现全图像结构光光条中心线提取;
步骤三、对彩色结构光光条中心线进行标签解码,具体步骤包括:已提取的光条中心线记为lt,t=1,2,…,n,lt由像素点构成,s=1,2,…,mt,对应的线条颜色记为ct,t=1,2,…,n;由彩色结构光光条中心线提取原理可知,lt的起点和终点分别为其像素点集合中的第一个点和最后一个点
li到lj的距离dij定义为其中心在图像坐标系中的x坐标之差,dij大于0表示li在lj右侧;反之li在lj左侧,dij的计算公式为:
dij=oi-oj (12)
其中,oi、oj的计算方法如下所示:
记dL为lj左侧距离集合,dR为lj右侧距离集合,则:
lj的左邻域li必须满足两个条件,即到lj的距离小于0且在dL中绝对值最小;同理,lj的右邻域lk也必须满足两个条件,即到lj的距离大于0且在dR中绝对值最小:
在中心线连续的情况下,lj左右邻域中心线具有两个性质:(1)唯一性,即左右邻域均有且仅有一条中心线;(2)相互性,即若li为lj的左邻域中心线,则lj必为li的右邻域中心线;但当物体表面存在深度突变或阴影遮挡时,中心线发生断裂,l1、l2和l3对应于结构光编码序列中的同一光条,该情况下:
邻域的相互性是经典置信传播算法消息传递的基础,即节点向邻域节点发送消息,同时也必须从邻域节点收取消息;由式(16)可知,此时的光条中心线邻域不具有相互性,因此需要对上述邻域进行扩充:
若li、lj满足如下条件,则将li加入到lj的右邻域集合中:
若li、lj满足如下条件,则将li加入到lj的左邻域集合中:
遍历光条中心线lt,t=1,2,…,n,完成邻域关系确定,经过邻域扩充之后,式(16)变为:
由式(19)可知,经过邻域扩充后,l4、l5向l1、l2、l3发送消息,同时也从l1、l2、l3收取消息,中心线邻域具有了相互性;
已提取的彩色结构光光条中心线li的集合记为i=1,2,…,n,对应的线条颜色记为ci,i=1,2,…,n,为标签可能取值的集合{1,2,...,r-1,r},标签序列f={f1,f2,…,fn}每一个元素表示对应于的标签 为标签fi对应的编码彩色结构光光条颜色;假设邻域光条中心线对应的真实标签是连续的,确定最优标签序列f,使得如下能量函数最小,等价于最大化f的后验概率:
其中,Neighs表示邻域集合,包括左邻域集合NeighLeft和右邻域集合NeighRight;DC(fi)为数据项,表示将标签fi分配给li产生的代价;W(fi,fj)为非连续项,表示将标签fi、fj分配给邻域中心线li、lj产生的代价;
非连续项W(fi,fj)定义为邻域中心线的标签距离:
其中,w1、w2的计算公式分别为:
其中δ为相邻中心线允许的标签距离阈值,κ为标签距离的惩罚系数;
最后,遍历已提取的所有光条中心线,完成第τ次消息更新;
迭代T次终止后,对各节点消息进行收集:
将bj中最小值对应的标签值赋予lj:
遍历所有光条中心线j=1,2,…,n,完成光条中心线标签解码;
步骤四、根据步骤二和步骤三,得到相机采集图像中彩色结构光光条中心线与投影仪投影图像中彩色结构光光条中心线的对应关系,根据摄影测量技术中的点-面交汇原理,计算相机采集图像中所有彩色结构光条中心点的三维坐标,完成物体部分表面的密集三维重建;
步骤五、利用多视点云拼接技术,将不同视角下获得的物体表面的点云进行数据融合、拼接,完成该物体表面的整体重建。
2.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法,其特征在于,所述步骤二中记灰度图像任一行灰度大于灰度阈值的像素点为pi,i=1,2,…,n-1,n,对彩色结构光光条中心点的粗定位方法包括以下步骤:
(a)将每一个彩色结构光光条中心点标记为一类,因此聚类第t=0层共有n个类Cs,其中s=1,2,...,n-t,且类中心坐标与pi重合i=1,2,…,n-1,n,记为Ms(xs,ys),s=1,2,…,n-t;
(b)根据类中心坐标计算类间距离d={djk},j,k=1,2,…,n-t,j≠k,d={djk}的计算公式为:
(c)判断最小类间距离是否满足分层聚类终止条件min(d)>dthresh,即最小类间距离大于设定的距离阈值;若满足分层聚类终止条件,则执行步骤(f);若不满足分层聚类终止条件,则执行步骤(d);
(d)将类间距离最小的两个内合并,则t=t+1层共有n-t个类Cs,s=1,2,…,n-t,利用均值法计算t层所有类的中心坐标Ms,Ms的计算公式为:
(e)重复步骤(b)~(d),直至满足分层聚类终止条件;
(f)输出类中心坐标Ms(xs,ys),s=1,2,…,m,即完成彩色结构光光条粗定位。
3.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法,其特征在于,所述步骤二中为了获取更为精确的彩色结构光光条中心位置,需要在对彩色结构光光条中心点的粗定位结果的基础上,对彩色结构光光条中心点进行精定位;类中心坐标Ms(xs,ys)邻域范围[xs-w,xs+w]内的像素灰度值记为gi,xs-w≤i≤xs+w,i为整数,搜索邻域范围内的灰度最大值,Us为灰度最大值对应的像素点集合,ns为集合Us中元素的个数,Us的计算公式为:
对于ns,需要分两种情况讨论:
(g)若邻域范围内只有一个像素点pv灰度值最大,即ns=1,则类中心坐标Ms=pv;
(h)若邻域范围内存在两个或两个以上像素点灰度值最大且相等,即ns>1,则对类中心坐标取均值:
遍历所有类中心坐标Ms(xs,ys),s=1,2,…,m,即完成对灰度图像当前行的彩色结构光光条中心位置的精确定位。
4.如权利要求1所述的基于分层聚类和置信传播的彩色结构光光条检测方法,其特征在于,所述步骤二中为了将每一行彩色结构光光条中心点连接成线,需要对当前行的彩色结构光光条中心点对应的光条中心线进行归属判别,判别方法主要基于欧式距离和颜色距离,具体操作步骤为:记第i行彩色结构光光条中心点已提取处彩色结构光光条中心线为lt,t=1,2,…,n;由于采用的行扫描方式为自上而下,lt的末端点即为第i-1行的彩色结构光光条中心点,记为彩色结构光光条中心点与已提取的彩色结构光光条中心线lt的欧式距离DEst定义为:
其中,pdist2为欧式距离计算函数,x、y为彩色条纹结构光图像的像素坐标;
其中,R(qi)、G(qi)、B(qi)分别表示取像素点qi的红、绿、蓝通道值,彩色结构光光条中心点判别结果如下:
Dst=DCst*kpunish+DEst (9)
其中,kpunish为惩罚系数,根据颜色距离的重要性人工设置;对彩色结构光光条中心点的中心线归属判别公式为:
若到彩色结构光光条中心线lt的距离最小值大于设定的光条差异性阈值Dthresh,t=1,2,…,n,则认为不属于任何lt,为新建彩色结构光光条中心线ln+1,则若到彩色结构光光条中心线lt的距离最小值小于端等于设定的光条差异性阈值Dthresh,t=1,2,…,n,计算距离最小值对应的彩色结构光光条中心线标签T,则用公式表示为:
5.如权利要求2所述的基于分层聚类和置信传播的彩色结构光光条检测方法,其特征在于,所述灰度阈值由在灰度图像中,彩色结构光光条和背景图像之间的亮度值差异确定;所述距离阈值为各类之间的像素点之间的距离阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010142239.8A CN111325831B (zh) | 2020-03-04 | 2020-03-04 | 一种基于分层聚类和置信传播的彩色结构光光条检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010142239.8A CN111325831B (zh) | 2020-03-04 | 2020-03-04 | 一种基于分层聚类和置信传播的彩色结构光光条检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111325831A CN111325831A (zh) | 2020-06-23 |
CN111325831B true CN111325831B (zh) | 2022-07-01 |
Family
ID=71169197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010142239.8A Active CN111325831B (zh) | 2020-03-04 | 2020-03-04 | 一种基于分层聚类和置信传播的彩色结构光光条检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111325831B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022116218A1 (zh) * | 2020-12-05 | 2022-06-09 | 浙江大学 | 一种用于复杂表面的线结构光中心提取方法 |
CN114494165A (zh) * | 2022-01-14 | 2022-05-13 | 泉州华中科技大学智能制造研究院 | 一种基于聚类的光条提取方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667303A (zh) * | 2009-09-29 | 2010-03-10 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
CN101673412A (zh) * | 2009-09-29 | 2010-03-17 | 浙江工业大学 | 结构光三维视觉系统的光模板匹配方法 |
CN107454351A (zh) * | 2017-09-22 | 2017-12-08 | 深圳市光域物联科技有限公司 | 基于多色可见光技术的成像通信系统及方法 |
CN108279115A (zh) * | 2018-04-28 | 2018-07-13 | 中国空气动力研究与发展中心超高速空气动力研究所 | 基于脉冲放电的高超稀薄流场时空演化诊断装置及方法 |
WO2018219227A1 (zh) * | 2017-05-31 | 2018-12-06 | 华为技术有限公司 | 结构光解码的方法和设备 |
CN109242957A (zh) * | 2018-08-27 | 2019-01-18 | 深圳积木易搭科技技术有限公司 | 一种基于多重约束的单帧编码结构光三维重建方法 |
CN109556535A (zh) * | 2018-09-29 | 2019-04-02 | 广东工业大学 | 一种基于彩色条纹投影的三维面型一步重构方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108696692A (zh) * | 2017-04-06 | 2018-10-23 | 上海盟云移软网络科技股份有限公司 | 光场成像的数据预处理方法 |
-
2020
- 2020-03-04 CN CN202010142239.8A patent/CN111325831B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101667303A (zh) * | 2009-09-29 | 2010-03-10 | 浙江工业大学 | 一种基于编码结构光的三维重建方法 |
CN101673412A (zh) * | 2009-09-29 | 2010-03-17 | 浙江工业大学 | 结构光三维视觉系统的光模板匹配方法 |
WO2018219227A1 (zh) * | 2017-05-31 | 2018-12-06 | 华为技术有限公司 | 结构光解码的方法和设备 |
CN107454351A (zh) * | 2017-09-22 | 2017-12-08 | 深圳市光域物联科技有限公司 | 基于多色可见光技术的成像通信系统及方法 |
CN108279115A (zh) * | 2018-04-28 | 2018-07-13 | 中国空气动力研究与发展中心超高速空气动力研究所 | 基于脉冲放电的高超稀薄流场时空演化诊断装置及方法 |
CN109242957A (zh) * | 2018-08-27 | 2019-01-18 | 深圳积木易搭科技技术有限公司 | 一种基于多重约束的单帧编码结构光三维重建方法 |
CN109556535A (zh) * | 2018-09-29 | 2019-04-02 | 广东工业大学 | 一种基于彩色条纹投影的三维面型一步重构方法 |
Non-Patent Citations (3)
Title |
---|
A development of fuzzy encoding and decoding through fuzzy clustering;Pedrycz, W等;《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》;20080430;第57卷(第4期);第829-837页 * |
基于分层聚类的彩色结构光光条检测方法;刘进博 等;《激光与光电子学进展》;20191130;第56卷(第22期);第1-7页 * |
基于红外结构光的三维显示用交互装置;彭帆等;《光学学报》;20130410;第33卷(第04期);第1-7页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111325831A (zh) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103295239B (zh) | 一种基于平面基准影像的激光点云数据的自动配准方法 | |
CN111325831B (zh) | 一种基于分层聚类和置信传播的彩色结构光光条检测方法 | |
US7324104B1 (en) | Method of centerline generation in virtual objects | |
CN108536851B (zh) | 一种基于移动轨迹相似度比较的用户身份识别方法 | |
US20040091143A1 (en) | Two and three dimensional skeletonization | |
CN109146963A (zh) | 一种基于快速特征匹配的图像位置偏移检测方法 | |
CN110197505B (zh) | 基于深度网络及语义信息的遥感图像双目立体匹配方法 | |
CN106023298A (zh) | 基于局部泊松曲面重建的点云刚性配准方法 | |
CN110536142B (zh) | 一种针对非刚性图像序列的帧间插值方法 | |
CN104616247B (zh) | 一种用于基于超像素sift航拍地图拼接的方法 | |
CN111047603B (zh) | 一种基于新型马尔可夫随机场和区域合并的航拍图像混合分割算法 | |
CN110111375B (zh) | 一种Delaunay三角网约束下的影像匹配粗差剔除方法及装置 | |
CN110136174B (zh) | 一种目标对象跟踪方法和装置 | |
CN111144213A (zh) | 一种对象检测方法和相关设备 | |
CN108133516A (zh) | 一种3d城市场景自动重建方法 | |
Cao et al. | Joint 3D reconstruction and object tracking for traffic video analysis under IoV environment | |
CN113052880A (zh) | 一种sfm稀疏重建方法、系统及应用 | |
CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
CN107123138B (zh) | 基于vanilla-R点对剔除策略的点云配准方法 | |
CN114862926A (zh) | 融合ad代价和多模局部特征代价的立体匹配方法及系统 | |
Burger et al. | Fast dual decomposition based mesh-graph clustering for point clouds | |
Ai et al. | Robust depth estimation for multi-occlusion in light-field images | |
CN111402429B (zh) | 一种尺度还原、三维重建方法、系统、存储介质及设备 | |
CN112990102A (zh) | 一种改进的Centernet复杂环境目标检测方法 | |
JP4424797B2 (ja) | 立体形状検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |