CN111047531A - 一种基于单目视觉的仓储机器人室内定位方法 - Google Patents

一种基于单目视觉的仓储机器人室内定位方法 Download PDF

Info

Publication number
CN111047531A
CN111047531A CN201911216196.7A CN201911216196A CN111047531A CN 111047531 A CN111047531 A CN 111047531A CN 201911216196 A CN201911216196 A CN 201911216196A CN 111047531 A CN111047531 A CN 111047531A
Authority
CN
China
Prior art keywords
robot
connected domain
image
pose
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911216196.7A
Other languages
English (en)
Other versions
CN111047531B (zh
Inventor
田明锐
杨皓
赵睿英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201911216196.7A priority Critical patent/CN111047531B/zh
Publication of CN111047531A publication Critical patent/CN111047531A/zh
Application granted granted Critical
Publication of CN111047531B publication Critical patent/CN111047531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单目视觉的仓储机器人室内定位方法,对单目相机进行内外参数标定,确定图像坐标系与世界坐标系间的映射关系,及描述不同相机坐标点间映射关系的单应矩阵;利用多个单目相机对地面上多个带有光信标的移动机器人进行连续拍摄;提取并标记检测目标,同时输出连通域相关参数;对不同相机所采集的图像中目标物的参数进行对比,实现对跨视场同名目标进行检测分析与处理;根据连通域的相关参数,结合移动机器人的八类位姿状态模型得到机器人的静态位姿;建立移动机器人动态误差补偿模型,根据机器人当前周期与前一周期的位姿数据,估计机器人的实际位姿。本发明可降低机器人电子机载的复杂性,成本低、精度高、覆盖范围广。

Description

一种基于单目视觉的仓储机器人室内定位方法
技术领域
本发明属于数字图像处理技术领域,具体涉及一种基于单目视觉的仓储机器人室内定位方法。
背景技术
在智能物流领域的高速发展下,由于大规模、短周期的物流需求和复杂的资源环境,仓储机器人受到了越来越多的关注。仓储机器人为一类具有货物自主分拣、搬运、拆垛和码垛功能的室内移动机器人,是实现无人化仓储的重要设备。目前,关于仓储机器人研究的关键技术主要集中在室内定位、自主导航、运动控制和协同作业几个方面,其中室内定位技术是仓储机器人完成其他任务的基础与前提。借助不同的传感器技术,研究人员提出了不同的机器人室内定位方法,常用的室内定位方法有以下几种:红外定位、超声波定位、蓝牙定位、激光雷达定位、视觉定位、无线网络定位等。
基于红外技术的定位方法,需要大量密集部署传感器,造成较高的硬件和施工成本。此外红外易受热源、灯光等干扰,且很容易被障碍物遮挡,传输距离较短,实用性较低;基于超声波技术的定位方法精度较高,但其受多径效应和非视距传播影响大,超声波频率易受多普勒效应和温度影响,可靠性较差,同时也需要大量基础硬件设施,成本较高;基于蓝牙技术的定位方法的劣势为其设备昂贵,且易受噪声信号、复杂的空间环境干扰,系统的稳定性较差;基于激光雷达技术定位方法最大缺点在于制造工艺复杂、成本较高,尤其是国内在雷达研制方面实力尚不足,该领域仍然受制于国外的先进技术垄断;基于超宽带技术的定位方法抗干扰能力强,且在定位精度方面有一定的优势,但由于主动通信使得其功耗较高,布局的成本较高。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于单目视觉的仓储机器人室内定位方法,解决了现有定位技术中存在的成本高、范围小、精度低的问。
本发明采用以下技术方案:
一种基于单目视觉的仓储机器人室内定位方法,包括以下步骤:
S1、对单目相机进行内外参数标定,确定图像坐标系uOv与世界坐标系XwOYw间的映射关系,及描述不同相机坐标点间映射关系的单应矩阵m;
S2、利用多个单目相机对地面上多个带有光信标的移动机器人进行连续拍摄;进行连通域分析,提取并标记检测目标,同时输出连通域相关参数;
S3、对不同相机所采集的图像中目标物的参数进行对比,实现对跨视场同名目标进行检测分析与处理;
S4、根据步骤S2获得的连通域的相关参数,结合移动机器人的八类位姿状态模型进行机器人的位姿计算,得到机器人的静态位姿;
S5、建立移动机器人动态误差补偿模型,根据机器人当前周期与前一周期的位姿数据,估计机器人的实际位姿。
具体的,步骤S1具体为:采用张正友棋盘标定法,通过Matlab对相机进行内外参数的标定,去除镜头畸变,同时得到图像坐标系uOv与世界坐标系XwOYw间的映射关系,且得到描述不同相机坐标点间映射关系的单应矩阵m。
具体的,步骤S2中,利用OpenCV将采集的图像进行二值化处理,对处理后的图像进行连通域分析,连通域相关参数包括连通域的宽w、高h、质心坐标(Xc,Yc)以及连通域左上角点坐标(x0,y0)。
具体的,步骤S3具体为:
S301、读入已经去畸变处理的左、右两幅图像,同时读入将右相机坐标点映射到左相机所用的单应矩阵m;
S302、对左、右两幅图像进行二值化处理,并计算左相机图像连通域,得到其长wl、宽hl、质心坐标(xcl,ycl)、外接矩形左上角点坐标(x0l,y0l),通过计算x0l+wl的值是否小于图像长度W来判断该连通域是否属于有效目标,去除与图像边缘相接的连通域;
S303、计算右相机图像连通域,得到其长wr、宽hr、质心坐标(xcr,ycr)、外接矩形左上角点坐标(x0r,y0r);
S304、根据步骤S1所得的单应矩阵m将右图像中所有连通域质心点映射到左相机,确定连通域有效目标。
进一步的,步骤S304中,分别判断映射点与原始左图中连通域质心坐标点间的距离大小是否在给定的阈值范围T之内,若是,则认为右图中相应的连通域不是新的有效目标;反之,则认为右图中相应的连通域是新的有效目标。
具体的,步骤S4中,仓储机器人的位姿包括其质心位置以及其姿态角,通过安装的光信标的位姿信息来反应,具体为:
S401、由步骤S2获得图像中光信标的质心坐标(Xc,Yc)、连通域外接矩形左上角点坐标(x,y)以及外接矩形的长h和宽w,确定光信标的质心为其所在移动机器人的质心;
S402、针对连通域的宽度w和长度h的关系,对位姿角进行分析确定。
进一步的,步骤S402中,当该连通域的宽度w大于长度h时,分别找到由连通域外接矩形左上角点(x,y)向右增加w/4、3w/4个像素单位的两个点,由这两点向下进行遍历至外接矩形的下边界,判断其间点的像素值是否为255,并找到像素值等于255的区间段上所有像素点的中间点(x1,y1)、(x2,y2),中间点(x1,y1)、(x2,y2)的两点连线与x轴的夹角θ1或θ2为光信标的姿态角即移动机器人的姿态角;当该连通域质心横坐标大于上一幅图像对应的连通域质心横坐标时,机器人在x方向上沿x轴的正方向移动,则图像中移动机器人的姿态角为θ1,反之则为θ2
当该连通域的宽度w小于长度h时,分别找到由连通域外接矩形左上角点(x,y)向下增加h/4、3h/4个像素单位的两个点,由这两点向右进行遍历至外接矩形的右边界,计算得到移动机器人的姿态角θ3或θ4
具体的,步骤S5具体为:
S501、建立基于圆弧移动轨迹的误差补偿模型,假定在很短的时间内,某时刻机器人行驶轨迹为由该时刻所采图像与上一时刻所采图像中两前外侧车轮的连线所构成的圆弧,Ti-1为采集第i-1副图至采集第副图所用时间,上Ti为采集第i副图至采集第i+1副图所用时间;θi-1为经过Ti-1时间机器人所走角度;(Xefi,Yefi)为机器人左前轮中心横纵坐标估计值;αei为机器人位姿角估计值;θei为经过Ti时间机器人所走角度估计值;θoi为x轴与转向中心至机器人左前轮中心连线的夹角;(Xeci,Yeci)为机器人质心坐标估计值;
S502、通过处理第Ti及第Ti-1时刻的图像,获得相邻两时刻两幅图像中三对连通域的质心坐标,确定机器人的质心坐标(Xci-1,Yci-1)、(Xci,Yci);结合机器人质心与前轮中心的几何关系,计算得到相应的外侧车轮中心坐标;
S503、过质心坐标(Xci-1,Yci-1)、(Xci,Yci)且垂直于车身方向的两直线方程式为:
Y-Yfli-1=ki-1(X-Xfli-1)
Y-Yfli=ki(X-Xfl)
其交点(Xoi,Yoi)为机器人的转向中心,具体为:
Figure BDA0002299586920000041
Figure BDA0002299586920000042
S504、确定此时机器人的转弯半径为:
Figure BDA0002299586920000043
S505、经过Ti-1时间机器人所走角度为前后两位姿角的差值,即θi-1=αi-1i,则第i时刻机器人的角速度:
Figure BDA0002299586920000051
S506、经过Ti时间机器人所走角度为:
θei=ωi×Ti
S507、坐标角θoi为机器人前外侧车轮和转向中心的连线与过(Xoi,Yoi)且沿X轴正方向的直线所成的夹角,确定机器人位姿状态下机器人位姿角αi与坐标角θoi的关系如下:
θoi=αi+90°
S508、求得坐标角θoi后,结合转弯半径Ri计算机器人前外车轮中心横纵坐标估计值如下:
Xefi=Xoi+Ri×cos(θoi)
Yefi=Yoi-Ri×sin(θoi)
S509、根据机器人的转向中心反解出Xeci和Yeci,得到移动机器人的质心坐标以及姿态角,具体为:
Xeci=Xefi-cos(αei+λ)
Yeci=Yefi+cos(αei+λ)。
进一步的,步骤S502中,相应的外侧车轮中心坐标:
Xfli-1=Xci-1+cos(αi-1+λ)
Yfli-1=Yci-1-sin(αi-1+λ)
Xfli=Xci+cos(αi+λ)
Yfli=Yci-sin(αi+λ)
其中,Xfli-1为前一时刻机器人外侧车轮横坐标,Yfli-1为前一时刻机器人外侧车轮纵坐标,Xfli为当前时刻机器人外侧车轮横坐标,Yfli为当前时刻机器人外侧车轮纵坐标,λ为机器人轴线与质心和前轮中心连线所成的夹角。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种基于单目视觉的仓储机器人室内定位方法,可同时对多个仓储机器人进行定位,定位范围大,定位精度较高,且成本较低。
进一步的,步骤S1中,通过不同相机间的标定,可获得描述不同相机坐标点间映射关系的单应矩阵m,为后续跨视场同名目标检测提供基础;通过相机对地面坐标的标定,可得到图像坐标系与世界坐标系间的映射关系,即可通过机器人的图像坐标计算其在实际地面上的坐标。
进一步的,利用OpenCV库对图像进行处理,可快速准确地标记移动机器人在图像中的连通域,同时获得连通域的相关参数,为后续移动机器人的位姿计算及动态误差补偿提供了基础。
进一步的,通过对比同一时刻不同相机图像中移动机器人质心的位置,可准确判断该移动机器人是否同时出现在不同相机中,从而进行同名目标的剔除,降低了后续运算的复杂性,提高了定位的准确性。
进一步的,充分利用连通域分析所得数据及八类移动机器人位姿模型,开发了一种简单、准确、有效的机器人位姿计算方法。
进一步的,针对轮式仓储机器人,建立了基于圆弧移动轨迹的误差补偿模型,补偿了由经历算法运行时间带来的滞后误差,提高了定位精度。
综上所述,本发明可降低机器人电子机载的复杂性,同时具有成本低、精度高、覆盖范围广等优点。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的框架示意图;
图2为带有光信标的移动机器人示意图;
图3为机器人存在的八类位姿状态模型;
图4为机器人动态误差补偿模型;
图5为机器人位姿计算模型,其中,(a)为连通域的宽度大于长度时机器人位姿计算模型,(b)为连通域的长度大于宽度时机器人位姿计算模型;
图6为机器人质心与前轮中心的几何关系示意图;
图7为本发明的实例效果图。
具体实施方式
请参阅图1,本发明一种基于单目视觉的仓储机器人室内定位系统包括:
图像处理单元,系统标定后读取灰度图像,然后经二值化处理后,进行连通域计算,最后输出连通域的相关参数,去除相机的镜头畸变,获得机器人在图像中的相关坐标数据,为后续单元中需进行的坐标运算提供基础。
机器人位姿计算单元,进行跨视场同名目标检测,建立机器人位姿计算模型,读入连通域的相关参数,在图像坐标系中进行位姿计算,将图像坐标系位姿数据反算为地面坐标系,将不同相机中的同名目标进行剔除,并获得机器人的静态位姿数据。
动态误差补偿单元,建立仓储机器人运动学模型,读取相邻两时刻机器人的位姿数据,结合图像处理运行时间,计算机器人实际的位姿并输出,补偿了由于前两单元的运算时间带来的动态误差,获得了机器人精确的实际位姿。
本发明一种基于单目视觉的仓储机器人室内定位方法,包括以下步骤:
S1、采用张正友棋盘标定法,通过Matlab对相机进行内外参数的标定,去除镜头畸变,同时得到图像坐标系uOv与世界坐标系XwOYw间的映射关系如下:
Figure BDA0002299586920000071
其中,(u0,v0)为相机光轴和图像平面的交点在uOv上的坐标,dx与dy为每一个像素在Xw轴和Yw轴方向的物理尺寸。
通过相机间的标定得到描述不同相机坐标点间映射关系的单应矩阵m。
S2、利用多个单目相机对地面上多个如图2所示带有光信标的移动机器人进行连续拍摄;利用OpenCV将所采集的图像二值化处理,对处理后的图像进行连通域分析,提取并标记检测目标,同时输出连通域相关参数,包括连通域的宽w、高h、质心坐标(Xc,Yc)以及连通域左上角点坐标(x0,y0);
S3、对不同相机所采集的图像中目标物的参数进行对比,实现对跨视场同名目标进行检测分析与处理;
S301、读入已经过去畸变处理的左、右两幅图像,同时读入将右相机坐标点映射到左相机所用的单应矩阵m。
S302、对两幅图像进行二值化处理,并计算左相机图像连通域,得到其长wl、宽hl、质心坐标(xcl,ycl)、外接矩形左上角点坐标(x0l,y0l),通过计算x0l+wl的值是否小于图像长度W来判断该连通域是否属于有效目标,即去除与图像边缘相接的连通域。
S303、计算右相机图像连通域,得到其长wr、宽hr、质心坐标(xcr,ycr)、外接矩形左上角点坐标(x0r,y0r)。
S304、根据由步骤S1所得的单应矩阵m将右图中所有连通域质心点映射到左相机,分别判断这些映射点与原左图中连通域质心坐标点间的距离大小是否在给定的阈值范围T之内,若是,则认为右图中相应的连通域不是新的有效目标;反之,则认为右图中相应的连通域是新的有效目标。
S4、根据步骤S2所得连通域的相关参数,结合如图3所示移动机器人的八类位姿状态模型进行机器人的位姿计算,得到机器人的静态位姿;
仓储机器人的位姿包括其质心位置以及其姿态角,两者皆可通过其上安装的光信标的位姿信息来反应。具体采用以下方式进行计算:
S401、由步骤S2获得图像中光信标的质心坐标(Xc,Yc)、连通域外接矩形左上角点坐标(x,y)以及外接矩形的长h和宽w,光信标的质心即为其所在移动机器人的质心。
S402、对于位姿角,分如下情况进行分析:
当该连通域的宽度w大于长度h时,如图5(a)所示,首先分别找到由连通域外接矩形左上角点(x,y)向右增加w/4、3w/4个像素单位的两个点,由这两点向下进行遍历至外接矩形的下边界,判断其间点的像素值是否为255,并找到像素值等于255的区间段上所有像素点的中间点(x1,y1)、(x2,y2),该两点连线与x轴的夹角θ1或θ2即为光信标的姿态角即移动机器人的姿态角。当该连通域质心横坐标大于上一幅图像对应的连通域质心横坐标时(即Xci>Xci-1),我们认为机器人在x方向上沿x轴的正方向移动,则图像中移动机器人的姿态角应为θ1,反之则为θ2
当该连通域的宽度w小于长度h时,首先分别找到由连通域外接矩形左上角点(x,y)向下增加h/4、3h/4个像素单位的两个点,由这两点向右进行遍历至外接矩形的右边界,随后的求解步骤与①中同理,可得移动机器人的姿态角θ3或θ4如图5(b)所示。
S5、建立如图4所示移动机器人动态误差补偿模型,根据机器人当前周期与前一周期的位姿数据,估计机器人的实际位姿。
由于由步骤S2至步骤S4的过程需花费一定的时间T,若机器人移动速度较快,则在程序输出其相关位姿数据之前,后者已继续向前移动了一段位移,则输出的数据并不能准确代表在数据输出时刻机器人的位姿,因此步骤S5进行了动态误差补偿,具体方法如下:
S501、建立如图4所示的一种基于圆弧移动轨迹的误差补偿模型,即假定在很短的时间内,某时刻机器人行驶轨迹为由该时刻所采图像与上一时刻所采图像中两前外侧车轮的连线所构成的圆弧。其中Ti-1为采集第i-1副图至采集第副图所用时间,上Ti为采集第i副图至采集第i+1副图所用时间;θi-1为经过Ti-1时间机器人所走角度;(Xefi,Yefi)为机器人左前轮中心横纵坐标估计值;αei为机器人位姿角估计值;θei为经过Ti时间机器人所走角度估计值;θoi为x轴与转向中心至机器人左前轮中心连线的夹角;(Xeci,Yeci)为机器人质心坐标估计值。
S502、通过处理第Ti及第Ti-1时刻的图像,获得相邻两时刻两幅图像中三对连通域的质心坐标,即机器人的质心坐标(Xci-1,Yci-1)、(Xci,Yci);结合图6所示机器人质心与前轮中心的几何关系,可计算得到相应的外侧车轮中心坐标:
Figure BDA0002299586920000101
S503、过该两点且垂直于车身方向的两直线方程式为:
Figure BDA0002299586920000102
其交点(Xoi,Yoi)即为机器人的转向中心,其中:
Figure BDA0002299586920000103
S504、则此时机器人的转弯半径:
Figure BDA0002299586920000104
S505、经过Ti-1时间机器人所走角度为前后两位姿角的差值,即θi-1=αi-1i,则第i时刻机器人的角速度:
Figure BDA0002299586920000105
S506、则经过Ti时间机器人所走角度:
θei=ωi×Ti (6)
S507、坐标角θoi为机器人前外侧车轮和转向中心的连线与过(Xoi,Yoi)且沿X轴正方向的直线所成的夹角,结合图3可知,不同位姿状态下机器人位姿角αi与坐标角θoi的有不同的关系式关系,在图4所示机器人位姿状态下其关系为:
θoi=αi+90° (7)
S508、求得坐标角后,结合转弯半径Ri即可计算机器人前外车轮中心横纵坐标估计值:
Figure BDA0002299586920000111
S509、根据公式(2),可反解出:
Figure BDA0002299586920000112
至此,得到了在程序图像处理程序运行完成时移动机器人的质心坐标以及姿态角。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图7,通过实验验证了机器人在0.3m/s、1.2m/s、2.3m/s、3.2m/s四组不同平均速度下动态误差补偿算法的有效性,并得到系统误差补偿精度为5cm。以机器人平均速度值为3.2m/s为例,图7所示为机器人质心轨迹实际值与估计值对比图和姿态角实际值与估计值对比图。
综上所述,本发明设计的基于单目视觉的仓储机器人室内定位方法,通过结合数字图象处理技术,具备相对较精确的室内定位功能,具有大范围、多目标、高精度、低成本的优点,基于本发明所设计的方法可以广泛应用于仓储机器人的自主定位和导航系统中。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于单目视觉的仓储机器人室内定位方法,其特征在于,包括以下步骤:
S1、对单目相机进行内外参数标定,确定图像坐标系uOv与世界坐标系XwOYw间的映射关系,及描述不同相机坐标点间映射关系的单应矩阵m;
S2、利用多个单目相机对地面上多个带有光信标的移动机器人进行连续拍摄;进行连通域分析,提取并标记检测目标,同时输出连通域相关参数;
S3、对不同相机所采集的图像中目标物的参数进行对比,实现对跨视场同名目标进行检测分析与处理;
S4、根据步骤S2获得的连通域的相关参数,结合移动机器人的八类位姿状态模型进行机器人的位姿计算,得到机器人的静态位姿;
S5、建立移动机器人动态误差补偿模型,根据机器人当前周期与前一周期的位姿数据,估计机器人的实际位姿。
2.根据权利要求1所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S1具体为:采用张正友棋盘标定法,通过Matlab对相机进行内外参数的标定,去除镜头畸变,同时得到图像坐标系uOv与世界坐标系XwOYw间的映射关系,且得到描述不同相机坐标点间映射关系的单应矩阵m。
3.根据权利要求1所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S2中,利用OpenCV将采集的图像进行二值化处理,对处理后的图像进行连通域分析,连通域相关参数包括连通域的宽w、高h、质心坐标(Xc,Yc)以及连通域左上角点坐标(x0,y0)。
4.根据权利要求1所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S3具体为:
S301、读入已经去畸变处理的左、右两幅图像,同时读入将右相机坐标点映射到左相机所用的单应矩阵m;
S302、对左、右两幅图像进行二值化处理,并计算左相机图像连通域,得到其长wl、宽hl、质心坐标(xcl,ycl)、外接矩形左上角点坐标(x0l,y0l),通过计算x0l+wl的值是否小于图像长度W来判断该连通域是否属于有效目标,去除与图像边缘相接的连通域;
S303、计算右相机图像连通域,得到其长wr、宽hr、质心坐标(xcr,ycr)、外接矩形左上角点坐标(x0r,y0r);
S304、根据步骤S1所得的单应矩阵m将右图像中所有连通域质心点映射到左相机,确定连通域有效目标。
5.根据权利要求4所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S304中,分别判断映射点与原始左图中连通域质心坐标点间的距离大小是否在给定的阈值范围T之内,若是,则认为右图中相应的连通域不是新的有效目标;反之,则认为右图中相应的连通域是新的有效目标。
6.根据权利要求1所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S4中,仓储机器人的位姿包括其质心位置以及其姿态角,通过安装的光信标的位姿信息来反应,具体为:
S401、由步骤S2获得图像中光信标的质心坐标(Xc,Yc)、连通域外接矩形左上角点坐标(x,y)以及外接矩形的长h和宽w,确定光信标的质心为其所在移动机器人的质心;
S402、针对连通域的宽度w和长度h的关系,对位姿角进行分析确定。
7.根据权利要求6所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S402中,当该连通域的宽度w大于长度h时,分别找到由连通域外接矩形左上角点(x,y)向右增加w/4、3w/4个像素单位的两个点,由这两点向下进行遍历至外接矩形的下边界,判断其间点的像素值是否为255,并找到像素值等于255的区间段上所有像素点的中间点(x1,y1)、(x2,y2),中间点(x1,y1)、(x2,y2)的两点连线与x轴的夹角θ1或θ2为光信标的姿态角即移动机器人的姿态角;当该连通域质心横坐标大于上一幅图像对应的连通域质心横坐标时,机器人在x方向上沿x轴的正方向移动,则图像中移动机器人的姿态角为θ1,反之则为θ2
当该连通域的宽度w小于长度h时,分别找到由连通域外接矩形左上角点(x,y)向下增加h/4、3h/4个像素单位的两个点,由这两点向右进行遍历至外接矩形的右边界,计算得到移动机器人的姿态角θ3或θ4
8.根据权利要求1所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S5具体为:
S501、建立基于圆弧移动轨迹的误差补偿模型,假定在很短的时间内,某时刻机器人行驶轨迹为由该时刻所采图像与上一时刻所采图像中两前外侧车轮的连线所构成的圆弧,Ti-1为采集第i-1副图至采集第副图所用时间,上Ti为采集第i副图至采集第i+1副图所用时间;θi-1为经过Ti-1时间机器人所走角度;(Xefi,Yefi)为机器人左前轮中心横纵坐标估计值;αei为机器人位姿角估计值;θei为经过Ti时间机器人所走角度估计值;θoi为x轴与转向中心至机器人左前轮中心连线的夹角;(Xeci,Yeci)为机器人质心坐标估计值;
S502、通过处理第Ti及第Ti-1时刻的图像,获得相邻两时刻两幅图像中三对连通域的质心坐标,确定机器人的质心坐标(Xci-1,Yci-1)、(Xci,Yci);结合机器人质心与前轮中心的几何关系,计算得到相应的外侧车轮中心坐标;
S503、过质心坐标(Xci-1,Yci-1)、(Xci,Yci)且垂直于车身方向的两直线方程式为:
Y-Yfli-1=ki-1(X-Xfli-1)
Y-Yfli=ki(X-Xfl)
其交点(Xoi,Yoi)为机器人的转向中心,具体为:
Figure FDA0002299586910000031
Figure FDA0002299586910000032
S504、确定此时机器人的转弯半径为:
Figure FDA0002299586910000041
S505、经过Ti-1时间机器人所走角度为前后两位姿角的差值,即θi-1=αi-1i,则第i时刻机器人的角速度:
Figure FDA0002299586910000042
S506、经过Ti时间机器人所走角度为:
θei=ωi×Ti
S507、坐标角θoi为机器人前外侧车轮和转向中心的连线与过(Xoi,Yoi)且沿X轴正方向的直线所成的夹角,确定机器人位姿状态下机器人位姿角αi与坐标角θoi的关系如下:
θoi=αi+90°
S508、求得坐标角θoi后,结合转弯半径Ri计算机器人前外车轮中心横纵坐标估计值如下:
Xefi=Xoi+Ri×cos(θoi)
Yefi=Yoi-Ri×sin(θoi)
S509、根据机器人的转向中心反解出Xeci和Yeci,得到移动机器人的质心坐标以及姿态角,具体为:
Xeci=Xefi-cos(αei+λ)
Yeci=Yefi+cos(αei+λ)。
9.根据权利要求8所述的基于单目视觉的仓储机器人室内定位方法,其特征在于,步骤S502中,相应的外侧车轮中心坐标:
Xfli-1=Xci-1+cos(αi-1+λ)
Yfli-1=Yci-1-sin(αi-1+λ)
Xfli=Xci+cos(αi+λ)
Yfli=Yci-sin(αi+λ)
其中,Xfli-1为前一时刻机器人外侧车轮横坐标,Yfli-1为前一时刻机器人外侧车轮纵坐标,Xfli为当前时刻机器人外侧车轮横坐标,Yfli为当前时刻机器人外侧车轮纵坐标,λ为机器人轴线与质心和前轮中心连线所成的夹角。
CN201911216196.7A 2019-12-02 2019-12-02 一种基于单目视觉的仓储机器人室内定位方法 Active CN111047531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911216196.7A CN111047531B (zh) 2019-12-02 2019-12-02 一种基于单目视觉的仓储机器人室内定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911216196.7A CN111047531B (zh) 2019-12-02 2019-12-02 一种基于单目视觉的仓储机器人室内定位方法

Publications (2)

Publication Number Publication Date
CN111047531A true CN111047531A (zh) 2020-04-21
CN111047531B CN111047531B (zh) 2023-03-28

Family

ID=70234288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911216196.7A Active CN111047531B (zh) 2019-12-02 2019-12-02 一种基于单目视觉的仓储机器人室内定位方法

Country Status (1)

Country Link
CN (1) CN111047531B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697127A (zh) * 2020-11-26 2021-04-23 佛山科学技术学院 一种室内定位系统及方法
CN112802129A (zh) * 2021-04-13 2021-05-14 之江实验室 一种基于单目视觉的焊接安全距离测量方法
CN114211173A (zh) * 2022-01-27 2022-03-22 上海电气集团股份有限公司 一种确定焊接位置的方法、装置及系统
CN116372942A (zh) * 2023-06-06 2023-07-04 佛山隆深机器人有限公司 机器人关节补偿方法、装置、电子设备及可读存储介质
CN116499456A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130058581A1 (en) * 2010-06-23 2013-03-07 Beihang University Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法
CN108981672A (zh) * 2018-07-19 2018-12-11 华南师范大学 基于单目机器人与测距传感器结合的舱门实时定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130058581A1 (en) * 2010-06-23 2013-03-07 Beihang University Microscopic Vision Measurement Method Based On Adaptive Positioning Of Camera Coordinate Frame
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法
CN108981672A (zh) * 2018-07-19 2018-12-11 华南师范大学 基于单目机器人与测距传感器结合的舱门实时定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谷凤伟等: "一种简易的单目视觉位姿测量方法研究", 《光电技术应用》 *
郭小娟等: "零部件上下盖合装的手眼视觉系统设计", 《中国计量大学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697127A (zh) * 2020-11-26 2021-04-23 佛山科学技术学院 一种室内定位系统及方法
CN112697127B (zh) * 2020-11-26 2024-06-11 佛山科学技术学院 一种室内定位系统及方法
CN112802129A (zh) * 2021-04-13 2021-05-14 之江实验室 一种基于单目视觉的焊接安全距离测量方法
CN112802129B (zh) * 2021-04-13 2021-07-06 之江实验室 一种基于单目视觉的焊接安全距离测量方法
CN114211173A (zh) * 2022-01-27 2022-03-22 上海电气集团股份有限公司 一种确定焊接位置的方法、装置及系统
CN114211173B (zh) * 2022-01-27 2024-05-31 上海电气集团股份有限公司 一种确定焊接位置的方法、装置及系统
CN116372942A (zh) * 2023-06-06 2023-07-04 佛山隆深机器人有限公司 机器人关节补偿方法、装置、电子设备及可读存储介质
CN116372942B (zh) * 2023-06-06 2023-08-01 佛山隆深机器人有限公司 机器人关节补偿方法、装置、电子设备及可读存储介质
CN116499456A (zh) * 2023-06-28 2023-07-28 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统
CN116499456B (zh) * 2023-06-28 2023-09-05 苏州中德睿博智能科技有限公司 移动机器人自动定位装置、方法及无人割草机定位系统

Also Published As

Publication number Publication date
CN111047531B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN111047531B (zh) 一种基于单目视觉的仓储机器人室内定位方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN110244743B (zh) 一种融合多传感器信息的移动机器人自主脱困方法
CN113865580B (zh) 构建地图的方法、装置、电子设备及计算机可读存储介质
CN113781582A (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN107590827A (zh) 一种基于Kinect的室内移动机器人视觉SLAM方法
CN108489486A (zh) 二维码以及用于机器人的视觉-惯性组合导航系统及方法
EP1394761A2 (en) Obstacle detection device and method therefor
CN103592944A (zh) 一种超市购物机器人及其行进路径规划方法
CN103454919A (zh) 智能空间中移动机器人的运动控制系统及方法
Miyamoto et al. Visual navigation based on semantic segmentation using only a monocular camera as an external sensor
CN111735445A (zh) 融合单目视觉与imu的煤矿巷道巡检机器人系统及导航方法
CN112396656A (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN113064430A (zh) 一种基于Android手机的质量巡检小车避障及路径规划算法
Lin et al. Mobile robot self-localizationusing visual odometry based on ceiling vision
CN111273701A (zh) 一种云台视觉控制系统以及控制方法
CN107301371A (zh) 一种基于图像信息融合的非结构化道路检测方法及系统
CN115060268A (zh) 一种机房融合定位方法、系统、设备及存储介质
CN111239761B (zh) 一种用于室内实时建立二维地图的方法
Zhang et al. Automated Extrinsic Calibration of Multi-cameras and LiDAR
CN112415516A (zh) 一种车辆前方障碍区域感知方法及装置
Qidan et al. A rapid and precise self-localization approach of mobile robot based on binocular omni-directional vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant