CN108180825B - 一种基于线结构光的长方体形物体三维识别与定位方法 - Google Patents

一种基于线结构光的长方体形物体三维识别与定位方法 Download PDF

Info

Publication number
CN108180825B
CN108180825B CN201611120332.9A CN201611120332A CN108180825B CN 108180825 B CN108180825 B CN 108180825B CN 201611120332 A CN201611120332 A CN 201611120332A CN 108180825 B CN108180825 B CN 108180825B
Authority
CN
China
Prior art keywords
coordinate
cuboid object
cuboid
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611120332.9A
Other languages
English (en)
Other versions
CN108180825A (zh
Inventor
王爽
郝颖明
朱枫
嵇冠群
欧锦军
吴清潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201611120332.9A priority Critical patent/CN108180825B/zh
Publication of CN108180825A publication Critical patent/CN108180825A/zh
Application granted granted Critical
Publication of CN108180825B publication Critical patent/CN108180825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes

Abstract

本发明涉及一种基于线结构光的长方体形物体三维识别与定位方法:利用结构光测量传感器定时扫描传送带,获取图像;利用重心法提取图像中的结构光数据;确定长方体形物体的结构光数据,进而得到其左右端点图像坐标;对左右端点图像坐标进行精细化处理;左右端点图像坐标转换为三维空间坐标;图像拼接;长方体形物体目标分割;计算长方体形物体的长边中心三维坐标(或型心三维坐标)及旋转角度。本发明可以实现传送带上长方体形物体位姿的在线、实时、自动、非接触测量,测量速度快、系统柔性好,精度适中;对物体自身约束小,长度、宽度、高度以及表面颜色、图案可以随意变化;传送带上物体位置可以随意变化;对噪声具有鲁棒性。

Description

一种基于线结构光的长方体形物体三维识别与定位方法
技术领域
本发明属于计算机视觉领域,具体的说涉及一种基于线结构光的长方体形物体三维识别与定位方法。
背景技术
随着我国国民经济的快速发展,自动化生产已经成为未来的发展趋势。利用机器人代替人工自动纠正物体位置,节约生产成本的同时,亦提高了生产效率和安全系数,降低了工人劳动强度,成为越来越多企业的理想选择。
为了实现机器人自动纠正物体位置,需要测量物体的姿态,然后传递给机器人,引导机械手进行纠正。结构光测量方法实时性强,设备简单,受到越来越多的重视,特别在测量设备的体积、重量、功耗等方便要求比较严格的应用场合,结构光测量更加体现了其自身优势。
结构光测量方法是作为一种主动式光学测量技术,主要原理是利用结构光投射器向被测物体表面投射可控制的光点、光条或光面,通过图像传感器(比如摄像机)获取图像,根据系统的几何关系,运用三角原理计算得到物体的三维坐标。根据结构光投射器向被测物体表面投射结构为可控制的光点、光条或光面,可将结构光分为点结构光、线结构光和面结构光。点结构光测量方法需要逐点扫描物体进而进行测量,随着被测物体的增大,图像获取和处理时间将会急剧加大,难以实现实时测量;面结构光提供的三维坐标点数据量非常大,计算时间亦会随之增加。因此,线结构光更适用于工程应用。
恶劣的生产环境,严重的噪声污染,长方体形物体的长度、宽度、高度又随意变化,一般测量方法的精度很难满足实际要求。因此本文研究一种能够实时、自动的识别定位长方体形物体的方法。
发明内容
为解决生产环境中严重的噪声污染,长方体形物体的长度、宽度、高度以及表面颜色、图案又随意变化等情况对测量精度的影响,本发明提供一种测量精度高,速度快,鲁棒性强,且能实时、自动地实现长方体形物体三维识别与定位方法。
本发明为实现上述目的所采用的技术方案是:一种基于线结构光的长方体形物体三维识别与定位方法,通过结构光测量传感器实现传送带上长方体形物体位置的测量,包括以下步骤:
利用结构光测量传感器定时扫描传送有长方体形物体的传送带并获取图像;
利用重心法提取图像中的结构光,得到图像上的结构光测量数据;
确定长方体形物体的结构光测量数据,进而得到长方体形物体水平方向上左右端点的图像坐标;
将左右端点图像坐标转换为三维空间坐标;
将不同时间获取的长方体形物体的结构光测量数据进行拼接形成目标图像;
对目标图像进行分割得到长方体形物体目标;
确定长方体形物体的长边中心三维坐标及其旋转角度。
所述线结构光测量传感器所投射的射线是1个。
所述利用重心法提取图像中的结构光包括以下步骤:
Cu=u (23)
其中,Cu为测量结构光的u方向坐标,Cv为测量结构光的v方向坐标,*表示乘法,I(u,v)为图像(u,v)位置处的灰度值,且满足以下约束条件,
I(u,v)>TI (25)
TI为灰度阈值,n为满足约束条件的点个数。
所述确定长方体形物体的结构光测量数据包括以下步骤:
选取Cv<Tv的点即为长方体形物体的结构光坐标,Cv为测量结构光的v方向坐标,Tv为阈值;
所述得到长方体形物体水平方向上左右端点的图像坐标之后,优化端点图像坐标,包括以下步骤:
设定包含物体的感兴趣区域ROI;
对于左端点(uleft,vleft),将u坐标从uleft-1开始遍历至感兴趣区域ROI的最左端,分别代入重心法中的Cu,并将约束条件中的灰度阈值改为TI/2,利用重心法得到结构光测量数据;当某个u坐标对应的所有v坐标灰度值均小于TI/2时,则停止遍历,此时的u+1点即为左端点;
对于右端点(uright,vright),将u坐标从uright+1开始遍历至感兴趣区域ROI的最右端,分别代入重心法中的Cu,并将约束条件中的灰度阈值改为TI/2,利用重心法得到结构光测量数据;当某个u坐标对应的所有v坐标灰度值均小于TI/2 时,则停止遍历,此时的u-1点为右端点。
所述对目标图像进行分割得到长方体形物体目标包括以下步骤:
同时满足以下四个约束条件时,此时得到的图像即为含有单个长方体形物体目标的图像:
其中,分别为第i帧长方形物体的左、右端点x方向坐标,分别为第i-1帧长方形物体的左、右端点x方向坐标,分别为第i+1帧长方形物体的左、右端点x方向坐标。
所述确定长方体形物体的长边中心三维坐标及其旋转角度包括以下步骤:
已知长方体形物体Object的左、右端点三维坐标分别为 {(xleft,yleft,zleft)|(xleft,yleft,zleft)∈Object},{(xright,yright,zright)|(xright,yright,zright)∈Object},
根据左端点,将其分成两部分,
根据右端点,将其分成两部分,
将A、B、C、D四部分数据分别通过下式进行最小二乘法直线拟合:
式中,xi、yi为端点集A或B或C或D的水平、垂直方向坐标,n表示端点集数据个数;a、b为直线方程ax+by+1=0系数,用于确定端点集A、B、C、 D拟合的直线方程系数,即直线A、B、C、D的系数;直线角度α为,
α=arctan(-a/b) (31)
用于确定长方体形物体的旋转角度。
设长方体形物体的长度L、宽度W,两个不同长度的边长Dist1、Dist2如下:
式中,aa、ba为直线A的系数,(xd,yd)为D中某点坐标;fabs表示绝对值; (xb,yb)为B中某点坐标;ac、bc为直线C的系数;
如果Dist1>Dist2,则L=Dist1,W=Dist2;长方体形物体的角度θ为,
θ=(αcb)/2 (34)
式中,αb、αc分别为直线B、C的角度;
长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (35)
yLC=(yL+yR)/2 (36)
式中,(xL,yL)为A直线与C直线的交点坐标,(xR,yR)为C直线与D直线的交点坐标,nc为C中数据个数;为端点集C中第k个数据的z方向坐标;
如果Dist1<Dist2,则L=Dist2,W=Dist1,长方体形物体的角度θ为,
θ=(αad)/2 (38)
式中,αa、αd分别为直线A、D的角度;
长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (39)
yLC=(yL+yR)/2 (40)
式中,(xL,yL)为A直线与B直线的交点坐标,(xR,yR)为A直线与C直线的交点坐标,na为A中数据个数;为端点集A中第k个数据的z方向坐标。
长方体形物体的型心坐标(xC,yC,zC)为,
其中,nb、nd分别为端点集B、D中的数据个数;分别为集合A、 B中第k点数据在x方向上的坐标;分别为集合C、D中第k点数据在x方向上的坐标;分别为集合A、B中第k点数据在y方向上的坐标;分别为集合C、D中第k点数据在y方向上的坐标;分别为端点集A、B、 C、D中任意数据的z方向坐标。
本发明具有以下优点及有益效果:
1.采用结构光测量传感器、CCD相机和PC机实现长方体形物体的三维识别与定位,具有测量精度高、设备简单、实时性强的特点。
2.虽然结构光测量数据受噪声污染严重,但依旧能够准确地确定目标的左右端点坐标,具有良好的抗干扰性能。
3.对长方体形物体自身的约束小,其长度、宽度、高度以及表面颜色、图案可以随意变化。
附图说明
图1为本发明的整体流程图;
图2为长方体形物体视觉检测系统示意图;
图3为线结构光扫描的长方体形物体目标拼接分割示意图;
图4为视觉传感器坐标转换示意图。
具体实施方式
下面结合附图及实施例对本发明的一种基于线结构光的长方体形物体三维识别与定位方法做进一步的详细说明。
本发明面向工业传送带上的长方体形目标识别定位问题,提出了一种基于线结构光的长方体形物体三维识别与定位方法:利用结构光测量传感器定时扫描传送带,获取图像;利用重心法提取图像中的结构光数据;确定长方体形物体的结构光数据,进而得到其左右端点图像坐标;对左右端点图像坐标进行精细化处理;左右端点图像坐标转换为三维空间坐标;图像拼接;长方体形物体目标分割;计算长方体形物体的长边中心三维坐标(或型心三维坐标)及旋转角度。本发明可以实现传送带上长方体形物体位姿的在线、实时、自动、非接触测量,测量速度快、系统柔性好,精度适中;对物体自身约束小,长度、宽度、高度以及表面颜色、图案可以随意变化;传送带上物体位置可以随意变化;对噪声具有鲁棒性。
如图1所示,一种基于线结构光的长方体形物体三维识别与定位方法,用于实现传送带上长方体形物体位置的测量,包括以下步骤:
利用线结构光测量传感器定时扫描,获取图像;
利用重心法提取图像中的结构光,得到结构光测量数据;
确定长方体形物体的结构光测量数据,进而得到长方体形物体水平方向上左右端点的图像坐标;
对上述左右端点图像坐标进行精细化处理;
将精细化处理后的左右端点图像坐标转换为三维空间坐标;
结构光图像进行拼接处理;
长方体形物体目标分割;
计算长方体形物体的长边中心三维坐标(或型心三维坐标)及其旋转角度。
所述定时时间间隔,需要根据实际情况自行确定。
线结构光测量传感器所投射的射线是1个。
结构光提取方法采用重心法,
Cu=u (45)
其中,Cu为测量结构光的u方向坐标,Cv为测量结构光的v方向坐标,I(u,v) 为图像(u,v)位置处的灰度值,且满足以下约束条件,
I(u,v)>TI (47)
其中,TI为灰度阈值,可以根据结构光成像情况确定,本文选择TI=40。
长方体形物体的结构光测量数据,根据扫描在长方体形物体的结构光和扫描在传送带的结构光的成像位置差异性,长方体形物体的结构光测量数据应该满足以下约束条件,
Cv<Tv (48)
其中,Tv为长方体形物体的结构光测量数据图像v方向上应该满足的阈值,可以根据相机前端与长方体形物体上表面间的距离确定,本文选择Tv=335。
端点图像坐标进行精细化处理,对于左端点(uleft,vleft)而言,u坐标从uleft-1开始变化,直至感兴趣区域ROI的最左端,再次利用重心法计算结构光测量数据,不同的是,灰度阈值变为TI/2,那么此时计算得到的左端点即为最终的左端点坐标;对于右端点(uright,vright)而言,u坐标从uright+1开始变化,直至感兴趣区域 ROI的最右端,再次利用重心法计算结构光测量数据,这里灰度阈值亦为TI/2,那么此时计算得到的右端点即为最终的右端点坐标。
一般情况下,摄像机镜头有畸变,只考虑一阶径向畸变,畸变图像坐标为 (xd,yd),理想图像坐标为(xu,yu),则
xu=xd(1+k1r2) (49)
yu=yd(1+k1r2) (50)
式中,k1为径向畸变系数,
三维摄像机坐标(xc,yc,zc)到理想图像坐标(xu,yu)的转换为:
式中,f为摄像机的有效焦距,ρ为比例常数。
世界坐标(xw,yw,zw)到摄像机坐标(xc,yc,zc)的转换为:
式中,R是3×3的旋转矩阵,由坐标旋转角α、β、γ决定,T是平移矢量。R 和T分别决定了摄像机的方向和位置。
图像拼接,当没有检测到长方形物体的结构光时,图像拼接过程结束。
长方体形物体目标分割,同时满足以下四个约束条件时,目标分割过程结束,
其中,分别为第i帧长方形物体的左右端点x方向坐标,分别为第i-1帧长方形物体的左右端点x方向坐标,分别为第i+1帧长方形物体的左右端点x方向坐标。
已知长方体形物体Object的左右端点三维坐标, {(xleft,yleft,zleft)|(xleft,yleft,zleft)∈Object},{(xright,yright,zright)|(xright,yright,zright)∈Object},对于左端点,可根据几何特征将其分成两部分, 同样,对于右端点,亦可将其分成两部分,将A、B、C、D 四部分数据分别进行最小二乘法直线拟合,
式中,xi、yi为端点集的水平和垂直方向坐标,n表示端点集数据个数,a、 b为直线方程ax+by+1=0系数,则直线角度α为,
α=arctan(-a/b) (58)
长方体形物体的长度L、宽度W为,
式中,aa、ba分别为A直线系数,(xd,yd)为D中某点坐标。如果Dist1>Dist2,则L=Dist1,W=Dist2。长方体形物体的角度θ为,
θ=(αcb)/2 (61)
式中,αb、αc分别为B、C直线的角度。长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (62)
yLC=(yL+yR)/2 (63)
式中,(xL,yL)为A直线与C直线的交点坐标,(xR,yR)为C直线与D直线的交点坐标,nc为C中数据个数。
如果Dist1<Dist2,则L=Dist2,W=Dist1,长方体形物体的角度θ为,
θ=(αad)/2 (65)
式中,αa、αd分别为A、D直线的角度。长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (66)
yLC=(yL+yR)/2 (67)
式中,(xL,yL)为A直线与B直线的交点坐标,(xR,yR)为A直线与C直线的交点坐标,na为A中数据个数。
长方体形物体的型心坐标(xC,yC,zC)为,
本发明的一种基于线结构光的长方体形物体三维识别与定位方法,利用CCD 相机采集线结构光扫描的图像,并用重心法提取结构光测量数据,确定长方体形物体的结构光数据,得到其左右端点坐标,并对其进行精细化处理,然后将其由图像坐标转换为三维空间坐标,最后拼接分割出长方体形物体,计算其长边中心三维坐标(或型心三维坐标)及旋转角度。具体包括如下步骤:
1.测量系统的标定
定义图像坐标系为Ou,摄像机坐标系为Oc,建立Oc到Ou之间的变换关系,即摄像机的内参数矩阵;定义世界坐标系为Ow,建立Ow到Oc之间的变换关系,即摄像机的外参数矩阵。在摄像机内参数矩阵标定过程中,只考虑摄像机镜头的径向畸变。
2.图像采集及图像处理
如图2所示,利用CCD相机定时采集线结构光扫描的图像,并用重心法提取结构光测量数据,
Cu=u (72)
其中,Cu为测量结构光的u方向坐标,Cv为测量结构光的v方向坐标,I(u,v)为图像(u,v)位置处的灰度值,且满足以下约束条件,
I(u,v)>TI (74)
其中,TI为灰度阈值,可以根据结构光成像情况确定,本文选择TI=40。图像水平方向为u方向,垂直方向为v方向。
3.确定长方体形物体的结构光数据及左右端点坐标
根据扫描在长方体形物体的结构光和扫描在传送带的结构光v方向成像的差异性,长方体形物体的结构光测量数据应该满足以下约束条件,
Cv<Tv (75)
其中,Tv为长方体形物体的结构光测量数据图像v方向上应该满足的阈值,可以根据相机前端与长方体形物体上表面间的距离确定,本文选择Tv=335。确定长方体形物体的结构光数据后,即可得到其左右端点图像坐标。
4.端点坐标精细化处理
第三步计算得到的左右端点图像坐标的精度不够,需要对其进行精细化处理。对于左端点(uleft,vleft)而言,u坐标从uleft-1开始变化,直至感兴趣区域ROI的最左端,再次利用重心法计算结构光测量数据,不同的是,灰度阈值变为TI/2,那么此时计算得到的左端点即为最终的左端点图像坐标;对于右端点(uright,vright) 而言,u坐标从uright+1开始变化,直至感兴趣区域ROI的最右端,再次利用重心法计算结构光测量数据,这里灰度阈值亦为TI/2,那么此时计算得到的右端点即为最终的右端点图像坐标。
5.图像坐标转换为空间坐标
如图4所示,一般情况下,摄像机镜头都有畸变,只考虑一阶径向畸变,设畸变图像坐标为(xd,yd),理想图像坐标为(xu,yu),则
xu=xd(1+k1r2) (76)
yu=yd(1+k1r2) (77)
式中,k1为径向畸变系数,
三维摄像机坐标(xc,yc,zc)到理想图像坐标(xu,yu)的转换为:
式中,f为摄像机的有效焦距,ρ为比例常数。
世界坐标(xw,yw,zw)到摄像机坐标(xc,yc,zc)的转换为:
式中,R是3×3的旋转矩阵,由坐标旋转角α、β、γ决定,T是平移矢量。R和T分别决定了摄像机的方向和位置。
6.图像拼接
第一次图像中检测到长方体形物体的结构光,图像拼接过程即开始,直至检测不到长方形物体的结构光时,图像拼接过程结束。
7.目标分割
长方体形物体目标分割,当同时满足以下四个约束条件时,该过程结束,
其中,分别为第i帧长方形物体的左右端点x方向坐标,分别为第i-1帧长方形物体的左右端点x方向坐标,分别为第i+1帧长方形物体的左右端点x方向坐标。如图3所示。
8.计算长边中心三维坐标(或型心三维坐标)及角度
{(xleft,yleft,zleft)|(xleft,yleft,zleft)∈Object},{(xright,yright,zright)|(xright,yright,zright)∈Object}是长方体形物体Object的左右端点三维坐标。对于左端点,可根据几何特征将其分成两部分,同样,对于右端点,亦可将其分成两部分, 将A、B、C、D四部分数据分别进行最小二乘法直线拟合,
式中,xi、yi为端点集的水平和垂直方向坐标,n表示端点集数据个数,a、b为直线方程ax+by+1=0系数,则直线角度α为,
α=arctan(-a/b) (85)
长方体形物体的长度L、宽度W为,
式中,aa、ba分别为A直线系数,(xd,yd)为D中某点坐标。如果Dist1>Dist2,则L=Dist1,W=Dist2。长方体形物体的角度θ为,
θ=(αcb)/2 (88)
式中,αb、αc分别为B、C直线的角度。长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (89)
yLC=(yL+yR)/2 (90)
式中,(xL,yL)为A直线与C直线的交点坐标,(xR,yR)为C直线与D直线的交点坐标,nc为C中数据个数。
如果Dist1<Dist2,则L=Dist2,W=Dist1,长方体形物体的角度θ为,
θ=(αad)/2 (92)
式中,αa、αd分别为A、D直线的角度。长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (93)
yLC=(yL+yR)/2 (94)
式中,(xL,yL)为A直线与B直线的交点坐标,(xR,yR)为A直线与C直线的交点坐标,na为A中数据个数。
长方体形物体的型心坐标(xC,yC,zC)为,

Claims (8)

1.一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于,通过结构光测量传感器实现传送带上长方体形物体位置的测量,包括以下步骤:
利用结构光测量传感器定时扫描传送有长方体形物体的传送带并获取图像;
利用重心法提取图像中的结构光,得到图像上的结构光测量数据;
确定长方体形物体的结构光测量数据,进而得到长方体形物体水平方向上左右端点的图像坐标;
将左右端点图像坐标转换为三维空间坐标;
将不同时间获取的长方体形物体的结构光测量数据进行拼接形成目标图像;
对目标图像进行分割得到长方体形物体目标;
确定长方体形物体的长边中心三维坐标及其旋转角度。
2.根据权利要求1所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于所述线结构光测量传感器所投射的射线是1个。
3.根据权利要求1所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于所述利用重心法提取图像中的结构光包括以下步骤:
Cu=u (1)
其中,Cu为测量结构光的u方向坐标,Cv为测量结构光的v方向坐标,*表示乘法,I(u,v)为图像(u,v)位置处的灰度值,且满足以下约束条件,
I(u,v)>TI (3)
TI为灰度阈值,n为满足约束条件的点个数。
4.根据权利要求1所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于所述确定长方体形物体的结构光测量数据包括以下步骤:
选取Cv<Tv的点即为长方体形物体的结构光坐标,Cv为测量结构光的v方向坐标,Tv为阈值。
5.根据权利要求1所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于所述得到长方体形物体水平方向上左右端点的图像坐标之后,优化端点图像坐标,包括以下步骤:
设定包含物体的感兴趣区域ROI;
对于左端点(uleft,vleft),将u坐标从uleft-1开始遍历至感兴趣区域ROI的最左端,分别代入重心法中的Cu,并将约束条件中的灰度阈值改为TI/2,利用重心法得到结构光测量数据;当某个u坐标对应的所有v坐标灰度值均小于TI/2时,则停止遍历,此时的u+1点即为左端点;
对于右端点(uright,vright),将u坐标从uright+1开始遍历至感兴趣区域ROI的最右端,分别代入重心法中的Cu,并将约束条件中的灰度阈值改为TI/2,利用重心法得到结构光测量数据;当某个u坐标对应的所有v坐标灰度值均小于TI/2时,则停止遍历,此时的u-1点为右端点;
Cu=u
其中,Cu为测量结构光的u方向坐标,Cv为测量结构光的v方向坐标,*表示乘法,I(u,v)为图像(u,v)位置处的灰度值,且满足以下约束条件,
I(u,v)>TI
TI为灰度阈值,n为满足约束条件的点个数。
6.根据权利要求1所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于所述对目标图像进行分割得到长方体形物体目标包括以下步骤:
同时满足以下四个约束条件时,此时得到的图像即为含有单个长方体形物体目标的图像:
其中,分别为第i帧长方体形物体的左、右端点x方向坐标, 分别为第i-1帧长方体形物体的左、右端点x方向坐标,分别为第i+1帧长方体形物体的左、右端点x方向坐标。
7.根据权利要求1所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于所述确定长方体形物体的长边中心三维坐标及其旋转角度包括以下步骤:
已知长方体形物体Object的左、右端点三维坐标分别为{(xleft,yleft,zleft)|(xleft,yleft,zleft)∈Object},{(xright,yright,zright)|(xright,yright,zright)∈Object},
根据左端点,将其分成两部分,
根据右端点,将其分成两部分,
将A、B、C、D四部分数据分别通过下式进行最小二乘法直线拟合:
式中,xi、yi为端点集A或B或C或D的水平、垂直方向坐标,n表示端点集数据个数;a、b为直线方程ax+by+1=0系数,用于确定端点集A、B、C、D拟合的直线方程系数,即直线A、B、C、D的系数;直线角度α为,
α=arctan(-a/b) (9)
用于确定长方体形物体的旋转角度;
设长方体形物体的长度L、宽度W,两个不同长度的边长Dist1、Dist2如下:
式中,aa、ba为直线A的系数,(xd,yd)为D中某点坐标;fabs表示绝对值;(xb,yb)为B中某点坐标;ac、bc为直线C的系数;
如果Dist1>Dist2,则L=Dist1,W=Dist2;长方体形物体的角度θ为,
θ=(αcb)/2 (12)
式中,αb、αc分别为直线B、C的角度;
长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (13)
yLC=(yL+yR)/2 (14)
式中,(xL,yL)为A直线与C直线的交点坐标,(xR,yR)为C直线与D直线的交点坐标,nc为C中数据个数;为端点集C中第k个数据的z方向坐标;
如果Dist1<Dist2,则L=Dist2,W=Dist1,长方体形物体的角度θ为,
θ=(αad)/2 (16)
式中,αa、αd分别为直线A、D的角度;
长边中心坐标(xLC,yLC,zLC)为,
xLC=(xL+xR)/2 (17)
yLC=(yL+yR)/2 (18)
式中,(xL,yL)为A直线与B直线的交点坐标,(xR,yR)为A直线与C直线的交点坐标,na为A中数据个数;为端点集A中第k个数据的z方向坐标。
8.根据权利要求7所述的一种基于线结构光的长方体形物体三维识别与定位方法,其特征在于长方体形物体的型心坐标(xC,yC,zC)为,
其中,nb、nd分别为端点集B、D中的数据个数;分别为集合A、B中第k点数据在x方向上的坐标;分别为集合C、D中第k点数据在x方向上的坐标;分别为集合A、B中第k点数据在y方向上的坐标; 分别为集合C、D中第k点数据在y方向上的坐标;分别为端点集A、B、C、D中任意数据的z方向坐标。
CN201611120332.9A 2016-12-08 2016-12-08 一种基于线结构光的长方体形物体三维识别与定位方法 Active CN108180825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611120332.9A CN108180825B (zh) 2016-12-08 2016-12-08 一种基于线结构光的长方体形物体三维识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611120332.9A CN108180825B (zh) 2016-12-08 2016-12-08 一种基于线结构光的长方体形物体三维识别与定位方法

Publications (2)

Publication Number Publication Date
CN108180825A CN108180825A (zh) 2018-06-19
CN108180825B true CN108180825B (zh) 2019-07-26

Family

ID=62544727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611120332.9A Active CN108180825B (zh) 2016-12-08 2016-12-08 一种基于线结构光的长方体形物体三维识别与定位方法

Country Status (1)

Country Link
CN (1) CN108180825B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110864671B (zh) * 2018-08-28 2021-05-28 中国科学院沈阳自动化研究所 基于线结构光拟合平面的机器人重复定位精度测量方法
CN110068270B (zh) * 2019-04-18 2021-04-02 上海拓今智能科技有限公司 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN113483664B (zh) * 2021-07-20 2022-10-21 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
CN102364299A (zh) * 2011-08-30 2012-02-29 刘桂华 一种多个结构光投影三维型面测量头的标定技术
CN104330038A (zh) * 2014-11-26 2015-02-04 厦门优策信息科技有限公司 一种尺寸测量的方法
CN105423913A (zh) * 2015-11-10 2016-03-23 广东工业大学 基于线结构光扫描的三维坐标测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7061628B2 (en) * 2001-06-27 2006-06-13 Southwest Research Institute Non-contact apparatus and method for measuring surface profile

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
CN102364299A (zh) * 2011-08-30 2012-02-29 刘桂华 一种多个结构光投影三维型面测量头的标定技术
CN104330038A (zh) * 2014-11-26 2015-02-04 厦门优策信息科技有限公司 一种尺寸测量的方法
CN105423913A (zh) * 2015-11-10 2016-03-23 广东工业大学 基于线结构光扫描的三维坐标测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用结构光进行三维测量的新方法;虞启琏 等;《应用光学》;20001231;第21卷(第1期);第42-45页 *

Also Published As

Publication number Publication date
CN108180825A (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110118528B (zh) 一种基于棋盘靶标的线结构光标定方法
CN108177143B (zh) 一种基于激光视觉引导的机器人定位抓取方法及系统
CN105203034B (zh) 一种基于单目摄像头三维测距模型的测高测面积方法
CN110378969B (zh) 一种基于3d几何约束的汇聚式双目相机标定方法
CN106091983B (zh) 包含扫描方向信息的线结构光视觉测量系统完整标定方法
CN106971408B (zh) 一种基于时空转换思想的摄像机标定方法
CN107543496B (zh) 一种双目立体视觉三维坐标测量方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN108180825B (zh) 一种基于线结构光的长方体形物体三维识别与定位方法
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN103795935B (zh) 一种基于图像校正的摄像式多目标定位方法及装置
CN107016697A (zh) 一种高度测量方法及装置
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN107869954A (zh) 一种双目视觉体积重量测量系统及其实现方法
CN107957246A (zh) 基于双目视觉的传送带上物体几何尺寸测量方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN109359537A (zh) 基于神经网络的人脸姿态角度检测方法及系统
CN107610086A (zh) 一种基于仿生复眼结构的工业并联机器人快速视觉检测算法
CN108180888A (zh) 一种基于可转动摄像头的距离检测方法
CN108917640A (zh) 一种激光盲孔深度检测方法及其系统
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN108827250A (zh) 一种机器人单目视觉测距技术方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant