CN104484648A - 基于轮廓识别的机器人可变视角障碍物检测方法 - Google Patents

基于轮廓识别的机器人可变视角障碍物检测方法 Download PDF

Info

Publication number
CN104484648A
CN104484648A CN201410706630.0A CN201410706630A CN104484648A CN 104484648 A CN104484648 A CN 104484648A CN 201410706630 A CN201410706630 A CN 201410706630A CN 104484648 A CN104484648 A CN 104484648A
Authority
CN
China
Prior art keywords
profile
point
dimensional
image
overlapping region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410706630.0A
Other languages
English (en)
Other versions
CN104484648B (zh
Inventor
艾青林
沈智慧
应申舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Duxin Technology Co ltd
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201410706630.0A priority Critical patent/CN104484648B/zh
Publication of CN104484648A publication Critical patent/CN104484648A/zh
Application granted granted Critical
Publication of CN104484648B publication Critical patent/CN104484648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

一种基于轮廓识别的机器人可变视角障碍物检测方法,包括:(1)使用标定板对双目视觉系统进行标定;(2)使用两台摄像机同时对同一场景进行拍摄,对左右两幅图像进行极线校正,然后提取边缘并连接;(3)寻找目标物体的轮廓并进行匹配;(4)重建出轮廓的三维点云并优化三维轮廓点云;(5将转台旋转一定角度,确保两次拍摄具有重叠区域,对另一个方向进行三维重建;(6)寻找两组三维轮廓点云的重叠区域;(7)采用七参数法对两组三维轮廓点云进行初始配准;(8)赋予重叠区域的对应点权重,对重叠区域的三维轮廓点云进行迭代最近点法运算,完成三维轮廓点云的精确配准。本发明配准精度高,且运算量小,具有较高实时性。

Description

基于轮廓识别的机器人可变视角障碍物检测方法
技术领域
本发明属于计算机视觉和图像测量技术领域,尤其涉及机器人视觉导航中基于轮廓识别的机器人可变视角障碍物检测方法。
背景技术
双目三维重建是机器视觉中一个非常重要的研究领域,广泛应用于机器人导航中。经过相机标定,图像采集,图像预处理,立体匹配和三维重建后可以得到物体的三维信息。目前,绝大多数三维重建方法都是基于固定视角,即机器人每次获得的三维信息的范围是固定的。这使得机器人在同一个坐标系中不可能分析大视角范围的障碍物,并进行三维重建。
为了使机器人能根据实际要求,实现可变视角内的障碍物检测,从而更加全面地感知外界环境信息,以便更好地进行路径规划及其它相关工作,需要对两个三维点云进行拼接。
目前大多数的图像特征提取和匹配算法存在一个矛盾:当提取的特征量足够多时,图像的匹配误差率将大大提高;而当匹配准确度很高的时候,往往提取的的特征量是很稀疏的,不能满足三维重建的要求,典型的如Sift点的提取和匹配,sift是Lowe提出的一种采用多尺度高斯差分图像检测关键点的方法,其中每个关键点的位置和尺度对应于一个局部稳定的区域,每个特征点都有与之对应的特征向量,匹配准确率高,但是其特征点的数量有限,很难达到三维重建的要求。
用于三维数据拼接的方法主要有三种:
第一种:通过精密平台、经纬仪、激光跟踪仪等大型装置来扩展测量范围,这种方法中所用的测量装置价格昂贵,而且无法应用于野外机器人的自主导航中。
第二种:通过在测量装置相邻两次测量的公共视场内粘贴标记点,利用其中非共线的三个点来求取拼接矩阵,这种方法需要人为粘贴标记点,也无法应用于野外机器人的自主导航中。
第三种:迭代最近点算法,当点比较多时,这种方法存在迭代运算量大,运行时间长等问题,且不适合于表面曲率变化不丰富的被测物,对重叠区域的查找也是一个难点。
所以一种既能够提取图像足够多的特征信息,又能够保证图像特征匹配的准确率同时能适应野外快速自动拼接的方法成为函待解决的问题。
发明内容
为了克服现有的机器人障碍物检测方法的计算量大、快速性较差的不足,本发明提供了一种基于轮廓识别的机器人可变视角障碍物检测方法,因为图像的边缘包含了用于识别的有用信息,且相对于所有点的密集匹配大大减少了计算量,且基于边缘的拼接方法能适应无人为干预情况下三维点云的快速拼接。
为了解决上述技术问题采用的技术方案如下:
一种基于轮廓识别的机器人可变视角障碍物检测方法,包括下列步骤:
(1)双目立体视觉系统的标定:将两个CCD摄相机装于机器人的转台上,使用标定板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数,对双目视觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc,并设置双目视觉系统的全局坐标系O1
(2)图像采集及预处理:使用两台摄像机同时对同一场景进行拍摄,得到左右两幅图像Pl1,Pr1,并对两幅图像进行极线校正,然后逐行扫描每幅图像,提取灰度变化剧烈的像素点为候选边缘点,并用闭运算方法连接图像中目标物体的边缘;
(3)基于轮廓识别的立体匹配:从目标物体的边缘图像中,寻找目标物体的轮廓,对左右两幅图像中目标物体的轮廓分别进行匹配,采用基于窗口的灰度匹配原则对匹配轮廓上的每个像素点在对应极线上进行匹配;
(4)基于轮廓识别的快速三维重建:利用己经标定好的系统参数进行目标物体轮廓的三维重建,通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R和平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系,通过轮廓特征点的图像坐标可得到空间三维坐标,根据轮廓的连续性原理优化三维轮廓点云;
(5)对另一个方向进行三维重建:根据双目立体视觉的系统单次拍摄的视角范围,将转台旋转一定角度,确保两次拍摄具有重叠区域,得到另外一组图像Pl2,Pr2,设置双目视觉系统的全局坐标系O2,对另一方向拍摄的图像按步骤(2)至(4)进行基于轮廓识别的快速三维重建;
(6)寻找两组三维点云的重叠区域:对两组图像中的左图像Pl1,Pl2进行轮廓匹配,寻找匹配轮廓对应的三维轮廓点云N和M,即重叠区域;
(7)初始配准:分别计算两组重叠区域三维轮廓点云的重心,并分别以两组重叠区域三维轮廓点云中距离重心最远的点pf1、pf2,中间的点pm1、pm2和最近的点pn1、pn2为特征点,以双目视觉系统的全局坐标系O1为基准,采用七参数法计算两组三维轮廓点云的旋转矩阵Ri和平移矩阵Ti,从而完成两组三维轮廓点云的初始配准;
(8)精确配准:赋予重叠区域的对应点权重,对重叠区域不同权重的三维轮廓点云进行迭代最近点法运算,求解出两组三维轮廓点云的旋转矩阵Ra和平移矩阵Ta,从而将两组三维轮廓点云转换到全局坐标系O1下,完成三维轮廓点云的精确配准。
进一步,所述步骤(3),基于轮廓识别的立体匹配过程包括下列步骤:
(3.1)从目标物体的边缘图像中,提取目标物体的轮廓;
(3.2)计算左右两幅图像中目标物体轮廓的匹配度,将匹配系数小于阈值σ1的轮廓视为匹配轮廓;
(3.3)对于匹配轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配。
(3.4)若目标物体的轮廓已经历遍,则基于轮廓识别的立体匹配结束,否则,重复步骤(3.2)、(3.3)。
再进一步,所述检测方法还包括步骤:(9)加权融合:采用加权平均融合算法融合配准后的三维轮廓点云,以消除点云间可能存在的裂缝,使三维轮廓点云更加平滑。
更进一步,所述步骤(4)中,所述的根据轮廓的连续性原理优化三维轮廓点云,即计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L,以平均距离的两倍即2L为阈值,若存在三维点到相邻任一三维点的距离大于2L,则将其视为噪声点,予以舍去。
所述步骤(8)包括下列步骤:
(8.1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点,作为对应点并赋予对应点权重,对应点的距离越远,赋给它的权值越小:
Weight = 1 - Dist ( p 1 , p 2 ) Dist max
其中Dist(p1,p2)表示对应点(p1,p2)之间的欧式空间距离,Distmax表示对应点距离的最大值。给定阈值σ2,如果对应点的Weight≥σ2,保留该对应点,否则剔除该对应点;
(8.2)判断是否历遍所有对应点,如果没有历遍,寻找下一组对应点,重复步骤
(8.1),否则,以双目视觉系统的全局坐标系O1为基准,对重叠区域不同权重三维轮廓点云进行迭代最近点法运算,求解出两组三维轮廓点云之间的旋转矩阵Ra和平移矩阵Ta
(8.3)通过旋转矩阵Ra和平移矩阵Ta,将两组三维轮廓点云转换到全局坐标系O1下,完成三维轮廓点云的精确配准。
本发明的有益效果为:因为图像的边缘包含了用于识别的有用信息,且相对于所有点的密集匹配大大减少了计算量,且基于边缘的拼接方法能适应无人为干预情况下三维点云的快速拼接;不需要标记点等,能自动完成可变视角下的三维轮廓点云拼接,配准精度高,且运算量小,具有较高实时性。
附图说明
图1是本发明的基于轮廓识别的机器人可变视角障碍物三维重建和拼接流程图。
图2是本发明的极线校正示意图
图3是本发明的轮廓点匹配的流程图。
图4是本发明的三维重建的示意图。
图5是本发明的基于赋予三维轮廓点云权重的ICP算法的精确配准流程图。
具体实施方案
下面参照附图,对本发明具体实施方案做更为详细的描述。
图1是本发明的整个三维重建和拼接的流程图,一种基于轮廓识别的机器人可变视角障碍物检测方法,包括以下步骤:
(1)双目视觉系统的标定。摄像机的标定是为了获得摄像机的内外参数,即便是同一型号摄像机的内外参数也不相同,所以需要对于实验用到的两台摄像机进行标定,获取其内外参数。首先,CCD摄相机装于机器人的转台上,对单个摄像机进行标定获得每个摄像机的内参数和外参数,然后对双目视觉系统进行立体标定获得两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc,并设置双目视觉系统的全局坐标系O1
摄像机标定技术现在已经比较成熟,参考文献A:A Flexible New Techniquefor Camera Calibration”(Zhang Z Y,IEEE Transactions on Pattern Analysis andMachine Intelligence,2000,20(11):1330-1334),即“一种灵活的摄像机标定新技术”(张正友,模式识别和机器智能学报,2000,20(11):1330-1334),提出了一种称为平面模板法的标定算法,本发明中采用这种方法分别对两台摄像机进行标定。
(2)图像采集及预处理。本方法采用两台型号相同的摄像机,固定在可控转台上,能够左右移动改变两台摄像机的水平距离D。调节D到适当位置,固定两台摄像机进行图像采集,左右摄像机采集的图像分别记为Pl1,Pr1
由于采集的图像存在噪声,所以要对图像进行预处理。采用如下所示高斯算子对采集的图像进行平滑滤波,以去除噪声点。
w = 1 / 16 1 2 1 2 4 2 1 2 1
根据极线约束原理,左图中某像素在右图上的匹配像素位于该像素对应的一条极线上。而在实际的双目重建系统中,由于两个摄像机并不能保证绝对的平行拍摄,需要进行极线校正。根据步骤(1)标定过程得到的摄像机内外参数,进行极线校正,最终形成目标物的待匹配图像。
参考文献B:“A compact algorithm for rectification of stereo pairs”(Fusiello A,Trucco E,Verri A.Machine Vision and Applications,2000,12(1):16-22),即“用于立体图像对校正的简明算法”(Fusiello A,Trucco E,Verri A.机器视觉及应用,2000,12(1):16-22),采用参考文献B中提出的极线校正方法对所拍摄的左右图像进行对极线校正,如图2所示,如果变换后图像中的像素点坐标对应到原始图像中的非整数坐标上时,则进行双线性插值,最后得到平行式双目视觉模型,经过校正后的图像无失真,两幅待匹配图像中对应的匹配像素具有相同的纵坐标,从而将立体匹配的搜索过程从二维降到了一维,提高了后续步骤的运算效率和精度。
采用canny算子对预处理后的图像进行边缘提取,但由于噪声、光照不均等因素的影响,获得边缘往往是断裂的,本发明中采用5×5方形的核对边缘进行闭合运算,以连接图像中断裂的目标物体边缘。
(3)基于轮廓识别的立体匹配。如图3,包括下列子步骤:
(3.1)采用OpenCV函数库里的cvFindContours函数,分别从左右两幅边缘图像中提取多个目标物体的轮廓{Ai,i=1,2,...,m}及{Bj,j=1,2,...,n};
(3.2)采用OpenCV函数库里的cvMatchShapes函数计算Ai与Bj的匹配度,若匹配系数小于1的轮廓,则Ai与Bj是匹配轮廓;若匹配系数大于1,令j=j+1,然后计算Ai与Bj的匹配度,直到找到匹配轮廓或历遍右图所有目标物体的轮廓。
(3.3)对于匹配的轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配。
基于窗口的灰度匹配原则具体描述如下:对左右两幅图像匹配轮廓上的像素点pl和pr进行匹配时,为了提高匹配的正确率,考虑以这两个点为中心的3×3窗口中的图像点之间的匹配。将pl点所在窗口所有点的灰度值构成向量v1,对点pr也做相同处理,得到向量v2。使用的判别原则是:两个向量v1和v2的夹角越小,则两个点的匹配度越高;反之,匹配度越低。使用下式来计算两个向量的夹角:
cos θ = v 1 T v 2 | | v 1 | | | | v 2 | |
本发明以0.9作为判断两个像素点是否匹配的阈值,即当cosθ大于0.9时,认为两像素点匹配,否则,视为不匹配。
(3.4)若左图中目标物体的轮廓已经历遍则基于轮廓识别的立体匹配结束,否则,令i=i+1,重复步骤(3.2)、(3.3)。
(4)基于轮廓识别的快速三维重建。如图4,假设有匹配点对pl=(u1 v1 1)T和pr=(u2 v2 1)T。由二维图像点与三维空间点之间的映射关系,可以得到
pl=k1P1M
pr=k2P2M
其中,P1、P2分别是左图像和右图像的透视投影矩阵,M=(X Y Z 1)T为对应的空间点三维坐标,k1,k2为比例系数。现在,将上面两式展开得到
u 1 v 1 1 = k 1 m 11 1 m 12 1 m 13 1 m 14 1 m 21 1 m 22 1 m 23 1 m 24 1 m 31 1 m 32 1 m 33 1 m 34 1 X Y Z 1
u 2 v 2 1 = k 2 m 11 2 m 12 2 m 13 2 m 14 2 m 21 2 m 22 2 m 23 2 m 24 2 m 31 2 m 32 2 m 33 2 m 34 2 X Y Z 1
采用最小二乘法可以求出X,Y,Z的解。
计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L,以平均距离的两倍即2L为阈值,若存在三维点到相邻任一三维点的距离大于2L,则将其视为噪声点,予以舍去。
(5)对另一个方向进行三维重建:根据双目立体视觉的系统单次拍摄的视角范围,将转台旋转一定角度,确保两次拍摄具有重叠区域,得到另外一组图像Pl2,Pr2,设置双目视觉系统的全局坐标系O2,对另一方向拍摄的图像按步骤(2)至(4)进行基于轮廓识别的快速三维重建;
(6)寻找两点云的重叠区域:对两组图像中的左图像Pl1,Pl2进行轮廓匹配,寻找匹配轮廓对应的三维轮廓点云N和M,即重叠区域;
(7)初始配准:计算重叠区域三维轮廓点云的重心,并分别以两组重叠区域三维轮廓点云中距离重心最远的点pf1、pf2,中间的点pm1、pm2和最近的点pn1、pn2为特征点,通过这三组对应的三维点求解出两坐标系之间旋转矩阵Ri和平移矩阵Ti,其坐标转换模型如下:
X Y Z D = X Y Z G + Δx Δy Δz + 0 - Z Y X Z 0 - X Y - Y X 0 Z G ϵ x ϵ y ϵ z k
上式是七参数法模型的简化形式,其中包含7个转换参数,即3个平移参数:Δx、Δy、Δz,三个旋转参数:εx、εy、εz,1个尺度因子k。以双目视觉系统的全局坐标系O1为基准,将两组三维点云转换到同一坐标系下,完成初始配准。
(8)精确配准:如图5,包括下列步骤:
(8.1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点,作为对应点并赋予对应点权重,对应点的距离越远,赋给它的权值越小:
Weight = 1 - Dist ( p 1 , p 2 ) Dist max
其中Dist(p1,p2)表示对应点(p1,p2)之间的欧式空间距离,Distmax表示对应点距离的最大值。给定阈值σ2,如果对应点的Weight≥σ2,保留该对应点,否则剔除该对应点。
(8.2)判断是否历遍所有对应点,如果没有历遍,寻找下一组对应点,重复步骤
(8.1),否则,采用ICP方法计算两组三维轮廓点云之间的转换矩阵,;
以双目视觉系统的全局坐标系O1为基准,对于重叠区域不同权重的三维轮廓点云M={Mi,i=0,1,2,...,k}及N={Ni,i=0,1,2,...,n},其中,M与N元素间不必存在一一对应关系,元素数目亦不必相同,设k≥n。配准过程就是求取2个坐标系间的旋转矩阵Ra和平移矩阵Ta,使得来自N与M的同源点间距离最小。其过程如下:
1)计算最近点,即对于集合N中的每一个点,在集合M中都找出距该点最近的对应点,设集合M中由这些对应点组成的新点集为Q={Qi,i=0,1,2,...,n}。
2)采用最小均方根法,计算点集N与Q之间的配准,从而得到配准变换矩阵Ra、Ta,其中Ra是3×3的旋转矩阵,Ta是3×1的平移矩阵。
3)计算坐标变换,即对于集合N,用配准变换矩阵Ra,Ta进行坐标变换,得到新的点集N1,即N1=RaU+Ta
4)计算N1与Q之间的均方根误差,如小于预设的极限值ε,则结束,否则,以点集N1替换N,重复上述步骤。
(8.3)将两组三维轮廓点云转换到全局坐标系O1下,完成三维轮廓点云的精确配准。
(9)加权融合:加权平均算法即对融合区域的每一个点取其对应重叠区域的两个点的加权均值,其算法可表述为:
f ( x , y ) = f 1 ( x , y ) ( x , y ) ∈ D 1 - D α f 1 ( x , y ) + β f 2 ( x , y ) ( x , y ) ∈ D f 2 ( x , y ) ( x , y ) ∈ D 2 - D
式中,α与β表示用于加权的系数,同时需满足α+β=1,f1(x,y)与f2(x,y)是两幅等待融合的图像,D1是图像f1(x,y)所在的区域,D2是图像f2(x,y)所在的区域,D用来表示两幅图像的重叠区域,且配准后的三维轮廓点云经过加权融合可以消除点云间可能存在的裂缝,使三维轮廓点云更加平滑。
(10)当机器人用上述基于轮廓的可变视觉障碍物检测方法得到当前坐标系下障碍物的三维轮廓点云之后,机器人控制系统对三维轮廓点云数据进行分析和处理,为机器人在现实复杂三维场景中的各种运动(包括越障和避障)提供导航。
本实施例编程实现根据选用VS2010和OpenCV图像处理函数库。本实施例的检测方法应用于机器人视觉导航中。

Claims (5)

1.一种基于轮廓识别的机器人可变视角障碍物检测方法,其特征在于:所述检测方法包括下列步骤:
(1)双目立体视觉系统的标定:将两个CCD摄相机装于机器人的转台上,使用标定板对双目视觉系统的每一个摄像机进行标定并记录各摄像机的内参数和外参数,对双目视觉系统进行立体标定并记录两个摄像机之间位置关系的旋转矩阵Rc和平移矩阵Tc,并设置双目视觉系统的全局坐标系O1
(2)图像采集及预处理:使用两台摄像机同时对同一场景进行拍摄,得到左右两幅图像Pl1,Pr1,并对两幅图像进行极线校正,然后逐行扫描每幅图像,提取灰度变化剧烈的像素点为候选边缘点,并用闭运算方法连接图像中目标物体的边缘;
(3)基于轮廓识别的立体匹配:从目标物体的边缘图像中,寻找目标物体的轮廓,对左右两幅图像中目标物体的轮廓分别进行匹配,采用基于窗口的灰度匹配原则对匹配轮廓上的每个像素点在对应极线上进行匹配;
(4)基于轮廓识别的快速三维重建:利用己经标定好的系统参数进行目标物体轮廓的三维重建,通过标定好的每个摄像机的内参数和两个摄像机之间位置关系的旋转矩阵R和平移矩阵T确定物体轮廓各点的空间坐标和图像坐标的关系,通过轮廓特征点的图像坐标可得到空间三维坐标,根据轮廓的连续性原理优化三维轮廓点云;
(5)对另一个方向进行三维重建:根据双目立体视觉的系统单次拍摄的视角范围,将转台旋转一定角度,确保两次拍摄具有重叠区域,得到另外一组图像Pl2,Pr2,设置双目视觉系统的全局坐标系O2,对另一方向拍摄的图像按步骤(2)至(4)进行基于轮廓识别的快速三维重建;
(6)寻找两组三维点云的重叠区域:对两组图像中的左图像Pl1,Pl2进行轮廓匹配,寻找匹配轮廓对应的三维轮廓点云N和M,即重叠区域;
(7)初始配准:分别计算两组重叠区域三维轮廓点云的重心,并分别以两组重叠区域三维轮廓点云中距离重心最远的点pf1、pf2,中间的点pm1、pm2和最近的点pn1、pn2为特征点,以双目视觉系统的全局坐标系O1为基准,采用七参数法计算两组三维轮廓点云的旋转矩阵Ri和平移矩阵Ti,从而完成两组三维轮廓点云的初始配准;
(8)精确配准:赋予重叠区域的对应点权重,对重叠区域不同权重的三维轮廓点云进行迭代最近点法运算,求解出两组三维轮廓点云的旋转矩阵Ra和平移矩阵Ta,从而将两组三维轮廓点云转换到全局坐标系O1下,完成三维轮廓点云的精确配准。
2.如权利要求1所述的基于轮廓识别的机器人可变视角障碍物检测方法,其特征在于:所述步骤(3),基于轮廓识别的立体匹配过程包括下列步骤:
(3.1)从目标物体的边缘图像中,提取目标物体的轮廓;
(3.2)计算左右两幅图像中目标物体轮廓的匹配度,将匹配系数小于阈值σ1的轮廓视为匹配轮廓;
(3.3)对于匹配轮廓上的像素点采用基于窗口的灰度匹配原则在对应极线上进行匹配;
(3.4)若目标物体的轮廓已经历遍,则基于轮廓识别的立体匹配结束,否则,重复步骤(3.2)、(3.3)。
3.如权利要求1或2所述的基于轮廓识别的机器人可变视角障碍物检测方法,其特征在于:所述检测方法还包括步骤:(9)加权融合:采用加权平均融合算法融合配准后的三维轮廓点云,以消除点云间可能存在的裂缝,使三维轮廓点云更加平滑。
4.如权利要求1或2所述的基于轮廓识别的机器人可变视角障碍物检测方法,其特征在于:所述步骤(4)中,所述的根据轮廓的连续性原理优化三维轮廓点云,即计算目标物体对应的三维轮廓点云中相邻两点之间的平均距离L,以平均距离的两倍即2L为阈值,若存在三维点到相邻任一三维点的距离大于2L,则将其视为噪声点,予以舍去。
5.如权利要求1或2所述的基于轮廓识别的机器人可变视角障碍物检测方法,其特征在于:所述步骤(8)包括下列步骤:
(8.1)为轮廓点云N中的每一个点在轮廓点云M中寻找最近点,作为对应点并赋予对应点权重,对应点的距离越远,赋给它的权值越小:
Weight = 1 - Sist ( p 1 , p 2 ) Dist max
其中Dist(p1,p2)表示对应点(p1,p2)之间的欧式空间距离,Distmax表示对应点距离的最大值,给定阈值σ2,如果对应点的Weight≥σ2,保留该对应点,否则剔除该对应点;
(8.2)判断是否历遍所有对应点,如果没有历遍,寻找下一组对应点,重复步骤(8.1),否则,以双目视觉系统的全局坐标系O1为基准,对重叠区域不同权重三维轮廓点云进行迭代最近点法运算,求解出两组三维轮廓点云之间的旋转矩阵Ra和平移矩阵Ta
(8.3)通过旋转矩阵Ra和平移矩阵Ta,将两组三维轮廓点云转换到全局坐标系O1下,完成三维轮廓点云的精确配准。
CN201410706630.0A 2014-11-27 2014-11-27 基于轮廓识别的机器人可变视角障碍物检测方法 Active CN104484648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410706630.0A CN104484648B (zh) 2014-11-27 2014-11-27 基于轮廓识别的机器人可变视角障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410706630.0A CN104484648B (zh) 2014-11-27 2014-11-27 基于轮廓识别的机器人可变视角障碍物检测方法

Publications (2)

Publication Number Publication Date
CN104484648A true CN104484648A (zh) 2015-04-01
CN104484648B CN104484648B (zh) 2017-07-25

Family

ID=52759189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410706630.0A Active CN104484648B (zh) 2014-11-27 2014-11-27 基于轮廓识别的机器人可变视角障碍物检测方法

Country Status (1)

Country Link
CN (1) CN104484648B (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105043250A (zh) * 2015-05-29 2015-11-11 南京邮电大学 一种基于至少两个公共标记点的双视角数据对齐方法
CN105303578A (zh) * 2015-11-11 2016-02-03 吴志龙 基于脚形及鞋子内部空间数据匹配鞋子的方法及系统
CN105698763A (zh) * 2016-01-22 2016-06-22 吉林大学 一种以立体视觉检测障碍物的装置与方法
CN106204603A (zh) * 2016-04-29 2016-12-07 北京仁光科技有限公司 三维相机立体匹配方法
CN106780743A (zh) * 2016-12-19 2017-05-31 武汉大学 一种远程配匙方法及系统
CN106897665A (zh) * 2017-01-17 2017-06-27 北京光年无限科技有限公司 应用于智能机器人的物体识别方法及系统
CN107932502A (zh) * 2017-11-07 2018-04-20 陕西科技大学 一种基于双目立体视觉的scara机器人轨迹规划方法
CN107992820A (zh) * 2017-11-29 2018-05-04 北京伟景智能科技有限公司 基于双目视觉的货柜自助售货方法
CN108180834A (zh) * 2018-02-05 2018-06-19 中铁二十二局集团有限公司 一种工业机器人同三维成像仪位姿关系现场实时标定方法
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN109341588A (zh) * 2018-10-08 2019-02-15 西安交通大学 一种双目结构光三系统法视角加权的三维轮廓测量方法
CN109410234A (zh) * 2018-10-12 2019-03-01 南京理工大学 一种基于双目视觉避障的控制方法及控制系统
CN109444839A (zh) * 2018-11-29 2019-03-08 北京行易道科技有限公司 目标轮廓的获取方法及装置
CN109495732A (zh) * 2018-10-31 2019-03-19 昆山睿力得软件技术有限公司 一种3d成像视觉引导系统
CN109523594A (zh) * 2018-11-15 2019-03-26 华南智能机器人创新研究院 一种视觉托盒特征点坐标定位方法及系统
CN109583377A (zh) * 2018-11-30 2019-04-05 北京理工大学 一种管路模型重建的控制方法、装置及上位机
CN109727285A (zh) * 2017-10-31 2019-05-07 霍尼韦尔国际公司 使用边缘图像的位置和姿态确定方法和系统
CN109773783A (zh) * 2018-12-27 2019-05-21 北京宇琪云联科技发展有限公司 一种基于空间点云识别的巡防智能机器人及其警务系统
CN109947093A (zh) * 2019-01-24 2019-06-28 广东工业大学 一种基于双目视觉的智能避障算法
CN110045733A (zh) * 2019-04-04 2019-07-23 肖卫国 一种实时定位方法及其系统、计算机可读介质
CN110070570A (zh) * 2019-03-20 2019-07-30 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
CN110132302A (zh) * 2019-05-20 2019-08-16 中国科学院自动化研究所 融合imu信息的双目视觉里程计定位方法、系统
CN110515054A (zh) * 2019-08-23 2019-11-29 斯坦德机器人(深圳)有限公司 滤波方法和装置、电子设备、计算机存储介质
CN110820447A (zh) * 2019-11-22 2020-02-21 武汉纵横天地空间信息技术有限公司 一种基于双目视觉的轨道几何状态测量系统及其测量方法
CN111198563A (zh) * 2019-12-30 2020-05-26 广东省智能制造研究所 一种用于足式机器人动态运动的地形识别方法及系统
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN112017237A (zh) * 2020-08-31 2020-12-01 北京轩宇智能科技有限公司 一种基于视场拼接和三维重建的操作辅助装置及方法
CN112464812A (zh) * 2020-11-27 2021-03-09 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
WO2021147548A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及系统、机器人及介质
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN113945159A (zh) * 2021-10-26 2022-01-18 中国铁建电气化局集团有限公司 一种基于轮廓匹配的螺栓直径测量方法
CN114067555A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 多基站数据的配准方法、装置、服务器和可读存储介质
CN114384492A (zh) * 2022-03-24 2022-04-22 北京一径科技有限公司 用于激光雷达的点云处理方法及装置、存储介质
CN116758170A (zh) * 2023-08-15 2023-09-15 北京市农林科学院智能装备技术研究中心 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN117237561A (zh) * 2023-11-14 2023-12-15 江苏云幕智造科技有限公司 一种人形机器人封闭环境下三维点云地图重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968400A (zh) * 2012-10-18 2013-03-13 北京航空航天大学 一种基于空间直线识别与匹配的多视角三维数据拼接方法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN103411536A (zh) * 2013-08-23 2013-11-27 西安应用光学研究所 基于双目立体视觉的驾驶辅助障碍物检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968400A (zh) * 2012-10-18 2013-03-13 北京航空航天大学 一种基于空间直线识别与匹配的多视角三维数据拼接方法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN103411536A (zh) * 2013-08-23 2013-11-27 西安应用光学研究所 基于双目立体视觉的驾驶辅助障碍物检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TING XUE ET AL: ""Matching and 3-D Reconstruction of Multibubbles Based on Virtual Stereo Vision"", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
李杨 等: ""面向全自动三维扫描系统的多视角三维数据自动配准技术"", 《吉林大学学报(理学版)》 *
王欣 等: ""应用改进迭代最近点方法的点云数据配准"", 《光学精密工程》 *
郭一汉 等: ""基于GPU的实时图像拼接"", 《计算机科学》 *

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105043250B (zh) * 2015-05-29 2017-08-11 南京邮电大学 一种基于至少两个公共标记点的双视角数据对齐方法
CN105043250A (zh) * 2015-05-29 2015-11-11 南京邮电大学 一种基于至少两个公共标记点的双视角数据对齐方法
CN105005999B (zh) * 2015-08-12 2018-08-10 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN105303578B (zh) * 2015-11-11 2018-08-07 深圳知足科技有限公司 基于脚形及鞋子内部空间数据匹配鞋子的方法及系统
CN105303578A (zh) * 2015-11-11 2016-02-03 吴志龙 基于脚形及鞋子内部空间数据匹配鞋子的方法及系统
CN105698763A (zh) * 2016-01-22 2016-06-22 吉林大学 一种以立体视觉检测障碍物的装置与方法
CN106204603B (zh) * 2016-04-29 2018-06-29 北京仁光科技有限公司 三维相机立体匹配方法
CN106204603A (zh) * 2016-04-29 2016-12-07 北京仁光科技有限公司 三维相机立体匹配方法
CN106780743A (zh) * 2016-12-19 2017-05-31 武汉大学 一种远程配匙方法及系统
CN106897665A (zh) * 2017-01-17 2017-06-27 北京光年无限科技有限公司 应用于智能机器人的物体识别方法及系统
CN106897665B (zh) * 2017-01-17 2020-08-18 北京光年无限科技有限公司 应用于智能机器人的物体识别方法及系统
CN109727285B (zh) * 2017-10-31 2021-08-17 霍尼韦尔国际公司 使用边缘图像的位置和姿态确定方法和系统
CN109727285A (zh) * 2017-10-31 2019-05-07 霍尼韦尔国际公司 使用边缘图像的位置和姿态确定方法和系统
CN107932502A (zh) * 2017-11-07 2018-04-20 陕西科技大学 一种基于双目立体视觉的scara机器人轨迹规划方法
CN107992820A (zh) * 2017-11-29 2018-05-04 北京伟景智能科技有限公司 基于双目视觉的货柜自助售货方法
CN108257089A (zh) * 2018-01-12 2018-07-06 北京航空航天大学 一种基于迭代最近点的大视场视频全景图拼接的方法
CN108180834A (zh) * 2018-02-05 2018-06-19 中铁二十二局集团有限公司 一种工业机器人同三维成像仪位姿关系现场实时标定方法
CN109341588A (zh) * 2018-10-08 2019-02-15 西安交通大学 一种双目结构光三系统法视角加权的三维轮廓测量方法
CN109410234A (zh) * 2018-10-12 2019-03-01 南京理工大学 一种基于双目视觉避障的控制方法及控制系统
CN109495732A (zh) * 2018-10-31 2019-03-19 昆山睿力得软件技术有限公司 一种3d成像视觉引导系统
CN109523594A (zh) * 2018-11-15 2019-03-26 华南智能机器人创新研究院 一种视觉托盒特征点坐标定位方法及系统
CN109444839A (zh) * 2018-11-29 2019-03-08 北京行易道科技有限公司 目标轮廓的获取方法及装置
CN109583377B (zh) * 2018-11-30 2022-12-27 北京理工大学 一种管路模型重建的控制方法、装置及上位机
CN109583377A (zh) * 2018-11-30 2019-04-05 北京理工大学 一种管路模型重建的控制方法、装置及上位机
CN109773783A (zh) * 2018-12-27 2019-05-21 北京宇琪云联科技发展有限公司 一种基于空间点云识别的巡防智能机器人及其警务系统
CN109773783B (zh) * 2018-12-27 2020-04-24 北京宇琪云联科技发展有限公司 一种基于空间点云识别的巡防智能机器人及其警务系统
CN109947093A (zh) * 2019-01-24 2019-06-28 广东工业大学 一种基于双目视觉的智能避障算法
CN110070570B (zh) * 2019-03-20 2023-05-26 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
CN110070570A (zh) * 2019-03-20 2019-07-30 重庆邮电大学 一种基于深度信息的障碍物检测系统及方法
CN110045733A (zh) * 2019-04-04 2019-07-23 肖卫国 一种实时定位方法及其系统、计算机可读介质
CN110132302A (zh) * 2019-05-20 2019-08-16 中国科学院自动化研究所 融合imu信息的双目视觉里程计定位方法、系统
CN110515054A (zh) * 2019-08-23 2019-11-29 斯坦德机器人(深圳)有限公司 滤波方法和装置、电子设备、计算机存储介质
CN110820447A (zh) * 2019-11-22 2020-02-21 武汉纵横天地空间信息技术有限公司 一种基于双目视觉的轨道几何状态测量系统及其测量方法
CN111198563A (zh) * 2019-12-30 2020-05-26 广东省智能制造研究所 一种用于足式机器人动态运动的地形识别方法及系统
CN111198563B (zh) * 2019-12-30 2022-07-29 广东省智能制造研究所 一种用于足式机器人动态运动的地形识别方法及系统
WO2021147548A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 小障碍物的三维重建方法、检测方法及系统、机器人及介质
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111291708B (zh) * 2020-02-25 2023-03-28 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN114067555A (zh) * 2020-08-05 2022-02-18 北京万集科技股份有限公司 多基站数据的配准方法、装置、服务器和可读存储介质
CN112017237A (zh) * 2020-08-31 2020-12-01 北京轩宇智能科技有限公司 一种基于视场拼接和三维重建的操作辅助装置及方法
CN112017237B (zh) * 2020-08-31 2024-02-06 北京轩宇智能科技有限公司 一种基于视场拼接和三维重建的操作辅助装置及方法
CN112464812B (zh) * 2020-11-27 2023-11-24 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
CN112464812A (zh) * 2020-11-27 2021-03-09 西北工业大学 一种基于车辆的凹陷类障碍物检测方法
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与系统
CN113945159A (zh) * 2021-10-26 2022-01-18 中国铁建电气化局集团有限公司 一种基于轮廓匹配的螺栓直径测量方法
CN113945159B (zh) * 2021-10-26 2023-08-25 中国铁建电气化局集团有限公司 一种基于轮廓匹配的螺栓直径测量方法
CN114384492A (zh) * 2022-03-24 2022-04-22 北京一径科技有限公司 用于激光雷达的点云处理方法及装置、存储介质
CN116758170A (zh) * 2023-08-15 2023-09-15 北京市农林科学院智能装备技术研究中心 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN116758170B (zh) * 2023-08-15 2023-12-22 北京市农林科学院智能装备技术研究中心 用于畜禽表型3d重建的多相机快速标定方法及存储介质
CN117237561A (zh) * 2023-11-14 2023-12-15 江苏云幕智造科技有限公司 一种人形机器人封闭环境下三维点云地图重建方法
CN117237561B (zh) * 2023-11-14 2024-01-26 江苏云幕智造科技有限公司 一种人形机器人封闭环境下三维点云地图重建方法

Also Published As

Publication number Publication date
CN104484648B (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
CN104484648A (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
Liu et al. Image‐based crack assessment of bridge piers using unmanned aerial vehicles and three‐dimensional scene reconstruction
CN107301654B (zh) 一种多传感器的高精度即时定位与建图方法
CN108369743B (zh) 使用多方向相机地图构建空间
CN106548173B (zh) 一种基于分级匹配策略的改进无人机三维信息获取方法
Veľas et al. Calibration of rgb camera with velodyne lidar
JP5832341B2 (ja) 動画処理装置、動画処理方法および動画処理用のプログラム
Hoppe et al. Photogrammetric camera network design for micro aerial vehicles
CN110176032B (zh) 一种三维重建方法及装置
CN110009732B (zh) 基于gms特征匹配的面向复杂大尺度场景三维重建方法
CN106485690A (zh) 基于点特征的点云数据与光学影像的自动配准融合方法
CN114419147A (zh) 一种救援机器人智能化远程人机交互控制方法及系统
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN106650701A (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
JP6860620B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN107220996A (zh) 一种基于三角结构一致的无人机线阵与面阵影像匹配方法
CN105335977A (zh) 摄像系统及目标对象的定位方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
Cvišić et al. Enhanced calibration of camera setups for high-performance visual odometry
Wang et al. Real-time omnidirectional visual SLAM with semi-dense mapping
CN112197773A (zh) 基于平面信息的视觉和激光定位建图方法
KR101766823B1 (ko) 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법
CN111882663A (zh) 一种融合语义信息完成视觉slam闭环检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191205

Address after: 313000 No.5-8, Changhe Road, Huaxi street, Changxing County, Huzhou City, Zhejiang Province

Patentee after: Zhejiang Changxing green battery technology Co.,Ltd.

Address before: 313000 Room 1403, 14th Floor, Building B, Freeport, Headquarters 1188 District Fulu Road, Wuxing District, Huzhou City, Zhejiang Province

Patentee before: Zhejiang creation Intellectual Property Service Co.,Ltd.

Effective date of registration: 20191205

Address after: 313000 Room 1403, 14th Floor, Building B, Freeport, Headquarters 1188 District Fulu Road, Wuxing District, Huzhou City, Zhejiang Province

Patentee after: Zhejiang creation Intellectual Property Service Co.,Ltd.

Address before: The city Zhaohui six districts Chao Wang Road Hangzhou city Zhejiang province Zhejiang University of Technology No. 18 310014

Patentee before: Zhejiang University of Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201029

Address after: 313000 no.55-9 Huyan South Road, Shuanglin Town, Nanxun District, Huzhou City, Zhejiang Province (self declaration)

Patentee after: Huzhou Duxin Technology Co.,Ltd.

Address before: 313000 No.5-8, Changhe Road, Huaxi street, Changxing County, Huzhou City, Zhejiang Province

Patentee before: Zhejiang Changxing green battery technology Co.,Ltd.