CN107450540B - 基于红外路标的室内移动机器人导航系统及方法 - Google Patents
基于红外路标的室内移动机器人导航系统及方法 Download PDFInfo
- Publication number
- CN107450540B CN107450540B CN201710661058.4A CN201710661058A CN107450540B CN 107450540 B CN107450540 B CN 107450540B CN 201710661058 A CN201710661058 A CN 201710661058A CN 107450540 B CN107450540 B CN 107450540B
- Authority
- CN
- China
- Prior art keywords
- road sign
- infrared
- infrared road
- mobile robot
- shines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003760 hair shine Effects 0.000 claims abstract description 65
- 238000004891 communication Methods 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 10
- 229910052744 lithium Inorganic materials 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000000691 measurement method Methods 0.000 claims description 8
- 238000000205 computational method Methods 0.000 claims description 5
- 238000012417 linear regression Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000750 progressive effect Effects 0.000 claims description 3
- 210000004209 hair Anatomy 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011022 opal Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了基于红外路标的室内移动机器人导航系统及方法,单目视觉识别系统采集红外路标导引系统中正在发光的红外路标图像,并通过图像处理计算得到室内移动机器人相对当前正在发光的红外路标的位置,根据室内移动机器人所处的相对位置,驱动室内移动机器人朝正在发光的红外路标移动,室内移动机器人进入当前发光红外路标的设定区域范围内后,单目视觉识别系统向当前发光红外路标发出停止发光指令,同时向下一个发光红外路标发出开始发光指令,然后,单目视觉识别系统根据下一发光红外路标的位置,控制室内移动机器人向下一发光红外路标行驶,依次类推,直至运动到最后一个发光红外路标的设定区域范围内,室内移动机器人结束移动。
Description
技术领域
本发明涉及视觉导航领域,尤其涉及基于红外路标的室内移动机器人导航系统及方法。
背景技术
室内移动机器人在医疗救助、家庭服务、车间运输、消防侦查等领域有着广泛的应用,发展机器人技术,对提高人们工作效率、改善生活质量有着重大意义。室内移动机器人的导航问题一直是机器人研究领域的核心内容,这关系到移动机器人的智能化水平。要实现移动机器人的自主或半自主导航,关键在于解决移动机器人的定位与路径规划问题。
常见的导航方法有环境地图匹配法、基于惯导模块的航位推算法、基于无线射频的测距定位法和基于视觉的路标识别法等。其中,基于视觉的路标识别法主要分为自然路标与人工路标两种模式,自然路标是类似门框、墙角等现实环境本来就存在的物体或特征,人工路标是人为放置的具有特殊颜色、形状的物体或特征。相比较自然路标,人工路标特征稳定,更易被识别,在视觉导航定位中得到了广泛的应用。
中国发明专利CN200410021540.4设计了一种由几何图形和数字组成的灰度路标,使用单个摄像机捕捉图像,识别基于几何不变形和数字结构特点;
中国发明专利CN201010611473.7设计了一种由两种不同颜色方块组成的二维码式路标,采用Hamming码进行数据编码,并融入纠错机制。
中国发明专利CN201110260388.5中采用红外发射二极管制作路标,路标为m×m型点阵式,使用广角红外摄像机拍摄图像,通过点域检测、聚类、定位点辨识和ID值计算来检测和识别路标。
综上,基于人工路标的视觉导航方法凭借视觉传感器能够获取大量有效信息,人工路标特征稳定、易于识别且不易受电磁干扰。但是,图像传感器依靠感光成像,路标识别受周围环境光影响,在黑夜或光线不足情况下,不能正常工作。虽然专利CN201110260388.5中采用红外发射二极管制作路标,解决了路标识别受周围环境光影响的问题,但是当前人工路标视觉导航方法依然存在以下缺点:
(1)红外路标供电需要人工布线,要改造周围环境,增加了人力和材料成本。
(2)路标通常固定在墙面或天花板上,不易安装和后期更换。
(3)通常路标图案既要映射方位又要规划路径,图案设计复杂,且视觉传感器提供的信息量大,造成相应解码算法运算时间过长,路标识别成功率不高,实时性差。
(4)当变更导航环境时需要重新设计路标图案特征,工作环境不容易扩展。
(5)高清视觉传感器成本偏高。
发明内容
本发明的目的就是为了解决上述问题,提供基于红外路标的室内移动机器人导航系统及方法,红外路标采用有源设计,增加无线通信功能,不同于传统人工路标仅提供方位信息,该路标能够主动引导移动机器人,路径通过设置红外路标人工规划,搭配低成本数字CMOS图像传感器,有效解决现有人工路标导航策略中存在的易受环境光影响、稳定性低、安装繁琐、实时性差、需要布线、导航路径不易变更、成本偏高等问题。
为了实现上述目的,本发明采用如下技术方案:
基于红外路标的室内移动机器人导航系统,包括:红外路标导引系统和单目视觉识别系统;红外路标导引系统根据需要布置在作业环境中,负责引导室内移动机器人行驶;单目视觉识别系统安装在室内移动机器人头部的正前方,红外路标导引系统与单目视觉识别系统之间通过无线方式通信,单目视觉识别系统控制红外路标导引系统的第一个红外路标开始发光;单目视觉识别系统采集红外路标导引系统中正在发光的红外路标图像,并通过图像处理计算得到室内移动机器人相对当前正在发光的红外路标的位置,根据室内移动机器人所处的相对位置,驱动室内移动机器人朝正在发光的红外路标移动,室内移动机器人进入当前发光红外路标的设定区域范围内后,单目视觉识别系统向当前发光红外路标发出停止发光指令,同时向下一个发光红外路标发出开始发光指令,然后,单目视觉识别系统根据下一发光红外路标的位置,控制室内移动机器人向下一发光红外路标行驶,依次类推,直至运动到最后一个发光红外路标的设定区域范围内,室内移动机器人结束移动。
所述红外路标导引系统,包括:若干个红外路标,每个红外路标均安装在乳白色灯罩内,每个红外路标包括:第一控制模块,第一控制模块分别与红外发射模块和第一无线通信模块连接,所述第一控制模块、红外发射模块和第一无线通信模块均通过第一电源模块供电;
所述第一控制模块,负责分析处理第一无线通信模块接收到的开始发光指令或停止发光指令,控制红外发射模块的工作;
所述红外发射模块,包括:用于发射红外光的红外发射阵列,红外发射阵列由若干个波长为850nm的红外发光二极管组成,每个发光二极管电路连接上采用并联方式,每条并联支路上包括串联的发光二极管和限流电阻,所述限流电阻用于防止红外发光二极管因电流过大而烧毁;所述发光二极管在布局排列上采用圆周结构,所有发光二极管呈圆形环绕,从而汇聚红外光,用于单目视觉识别系统的识别与处理;
所述第一无线通信模块,负责接收单目视觉识别系统发来的控制指令,并及时发送反馈信号;
所述第一电源模块,包括:可充电锂电池,可充电锂电池通过稳压电路与第一控制模块、红外发射模块和第一无线通信模块连接。
所述单目视觉识别系统,包括:第二控制模块,所述第二控制模块分别与视觉模块和第二无线通信模块连接,所述第二控制模块、视觉模块和第二无线通信模块均通过第二电源模块供电;
所述第二控制模块,用于处理视觉模块采集的红外路标图像,计算室内移动机器人与当前正在发光的红外路标之间的相对位置及室内移动机器人的转向角度;
所述视觉模块,用于捕获红外路标的发光图像,所述视觉模块包括:单个数字CMOS图像传感器,所述单个数字CMOS图像传感器的镜头上搭配850nm红外滤波片。
所述第二无线通信模块,用于向当前红外路标发送停止发光指令,向下一个红外路标发送开始发光指令,以及接收各个红外路标的反馈信号;
所述第二电源模块,包括,可充电锂电池,所述可充电锂电池通过稳压电路与视觉模块、第二控制模块和第二无线通信模块连接。
基于红外路标的室内移动机器人导航方法,步骤如下:
步骤(1):在移动机器人的行驶路径上根据需要预先布置若干个红外路标,按照串行顺序对红外路标依次编码;
步骤(2):红外路标导引系统与单目视觉识别系统组成无线通信网络,系统上电后,单目视觉识别系统向红外路标导引系统的第一个红外路标发射开始发光指令,红外路标导引系统的第一个红外路标开始发光;
步骤(3):单目视觉识别系统采集发光红外路标的图像,并对所采集的图像进行二值化处理和滤波处理;
步骤(4):对滤波处理后的图像,计算发光红外路标在场景图像中的等效坐标;
步骤(5):依据等效坐标,计算室内移动机器人距发光红外路标的相对位置;
步骤(6):依据相对位置,计算室内移动机器人的转向角度,根据转向角度驱动室内移动机器人朝当前发光红外路标移动;
步骤(7):单目视觉识别系统判断移动机器人是否进入当前发光路标设定区域范围内,如果没有进入,则重复步骤(3)-(6),直至进入当前发光路标设定区域范围内;如果已进入,则单目视觉识别系统向当前发光红外路标发射停止发光指令,当前发光红外路标接收停止发光指令后,停止发光;进入步骤(8);
步骤(8):单目视觉识别系统判断当前路标是否为最后一个路标,若不是,则单目视觉识别系统按照编码顺序向下一个发光红外路标发射开始发光指令,下一个红外路标接收开始发光指令后,开始发光;返回步骤(3);若是,则导航任务结束。
同一时刻只有一个红外路标被点亮,而室内移动机器人始终是朝被点亮的红外路标移动。
所述步骤(1)中,移动机器人的行驶路径由人工规划,在起点与终点之间预先拟定一条无碰撞行驶路径,路径由若干个直线线段首尾依次连接而成;在拟定的路径上放置红外路标,红外路标放置在每条线段的端点处;红外路标放置在路径的起点、终点以及中间的若干拐点,每两个红外路标的间距由实际拟定路径决定,直线距离上如果超过图像传感器所能感知的最大距离,可在每两个红外路标中间添加红外路标作为中继。
所述按照串行顺序对红外路标依次编码,是按照室内移动机器人在行驶路径上预经过的红外路标顺序依次编码。
编码方式使用拨码开关人工设置。
编码同时也是红外路标的通信地址。
所述步骤(2)中,所述无线通信网络,采用主从通信模式,其中单目视觉识别系统为主机,负责发送指令,红外路标导引系统的各发光红外路标为从机,负责接收指令。
主机与从机之间的连接使用星型拓扑结构。
主机与从机之间的通信实现基于固定通信频率,改变通信地址方式。
其有益效果是:两个无线设备进行通信,要满足两个条件:一是通信频率要相同,二是通信地址要相同。
本无线网络为一主多从网络,主机要分别与多个从机通信,一般有两种实现方案。第一种是固定通信地址,改变通信频率,即所有从机都使用相同的通信地址,但每个从机的通信频率不一样,当主机要与A从机通信时,只需将自身的通信频率改成A从机的通信频率即可。第二种是固定通信频率,改变通信地址,即所有从机都使用相同的通信频率,但每个从机的通信地址不一样,当主机要与A从机通信时,只需将自身的通信地址改成A从机的通信地址即可。
当前主流用电器的通信频率集中在2.4GHz-2.5GHz之间,第一种方案,频繁的改变频率可能会与其中某个用电器的频率重合,进而相互干扰。而第二种方案可以固定一条没有干扰的频率段,然后通过改变地址的方式通信,相比第一种方案,第二种方案通信更稳定。
所述步骤(3)中,图像采集使用隔行扫描方式,图像二值化处理后得到场景图像的黑白图像,为步骤(4)提取发光红外路标的等效坐标做准备;由于场景中还存在反光物品,反光物品在二值化后的图像中形成高亮像素,所以对二值化后的黑白图像使用中值滤波方法进行滤波处理。
所述步骤(4)中,等效坐标通过计算红发光外路标中心点得出,等效坐标计算方法如下:
建立场景图像平面直角坐标系,以图像左上角为原点,U轴对应图像的垂直方向,V轴对应图像的水平方向;
步骤(4a):首先设定灰度阈值,所述灰度阈值用以区分红外路标和背景;
步骤(4b):从图像第一行开始,逐行扫描步骤(3)处理后的图像,当出现高于灰度阈值的像素i时,记录当前像素i所在的行号ui和列号vi,i=1,2,…,n,直至扫描到最后一行最后一列,其中n表示高于灰度阈值的像素的总个数;
步骤(4c):分别对行号ui和列号vi按值大小排序,得出最小行号minu、最大行号maxu、最小列号minv和最大列号maxv;
步骤(4d):分别计算高于灰度阈值的像素的总行数Nu和总列数Nv:
Nu=maxu-minu+1 (1)
Nv=maxv-minv+1 (2)
步骤(4e):分别计算高于灰度阈值的像素的行号之和Su与列号之和Sv:
步骤(4f):发光红外路标的等效坐标(u,v)为:
在步骤(5)中,所述相对位置是指室内移动机器人相对当前发光路标的偏离距离,包括纵向偏离距离和横向偏离距离。
建立单目视觉空间直角坐标系,以图像传感器光轴与焦平面的交点为坐标系原点,所述焦平面为图像传感器内部成像位置处的平面,场景图像即在焦平面成像,所述坐标系原点与场景图像中心点重合,X轴与场景图像水平方向V平行,Z轴与场景图像垂直方向U平行,Y轴沿着光轴向外方向。
所述纵向偏离距离D和横向偏离距离W计算方法如下:
假设路标成像为小孔成像模型,设焦平面上红外路标成像点与实际红外路标的连线与图像传感器光轴的夹角弧度在yOz平面上的投影为α,在xOy平面上的投影为β;设焦平面上红外路标成像点偏离场景图像中心点的垂直距离为r像素,水平距离为s像素;则α与r、β与s的关系为:
α=r·k1+l1 (6)
β=s·k2+l2 (7)
公式(6)和公式(7)通过事先实际测量多组α与r、β与s数据,运用线性回归方法拟合得出;其中,k1、k2表示单个像素对应的弧度,l1、l2实际意义表示偏差,用来补偿计算结果。
所述α、β值的测量方法是先实际测量移动机器人距发光红外路标的纵向偏离距离Dactual、横向偏离距离Wactual和竖直偏离距离Hactual,其中竖直偏离距离Hactual为图像传感器实际距地面的高度,然后结合三角形边角关系,计算公式:
所述r、s的测量方法是使用场景图像上发光红外路标的等效坐标(u,v)计算得出,设场景图像中心点坐标为(uM,vM),则计算公式为:
r=u-uM (10)
s=v-vM (11)
发光红外路标在单目视觉空间直角坐标系中的坐标(xB,yB,zB)为:
由单目视觉空间直角坐标系建立规则可知,移动机器人在单目视觉空间直角坐标系中的坐标为(0,0,Hactual),所以移动机器人距发光红外路标的相对位置为两者坐标之差,即:
纵向偏离距离D:
横向偏离距离W:
在步骤(6)中,所述移动机器人的转向角度,通过构造方向控制器,以横向偏离距离W为控制量,使用PD算法计算得出,移动机器人的转向角度Angle计算公式如下:
Angle=KP·W+KD·(W-Wlast) (15)
其中,KP为方向控制器的比例系数,KD为方向控制器的积分系数,Wlast为上一次计算得到的移动机器人横向偏离距离。
在步骤(7)中,判断是否进入下一个发光路标设定区域范围内,通过构造距离控制器实现,以纵向偏离距离D为控制量,设置阈值Q,当D≤Q时,认为移动机器人已进入发光路标区域范围内。
本发明的有益效果为:
(1)采用红外路标设计模式,工作时间不受白天黑夜限制,在无照明情况下仍可以使用,有效降低了环境可见光对系统运行的影响,扩展了视觉导航的适用条件。
(2)导航任务得到分解,步骤(4)-(6)中移动机器人端仅进行定位运算,步骤(1)的路径规划由人工设置红外路标主动引导,从而减轻了移动机器人端的运算压力,提高了系统反应的实时性;
(3)红外路标特征设计简单,外形类似一盏灯,实际内部由12个围成一圈的发光二极管构成,在图像传感器中成像为具有一定面积的白斑,有利于提取和识别,减小了识别失败率。
(4)红外路标无线通信设计,增加移动机器人与路标之间的信息交互环节,移动机器人位置信息及时反馈,提高了导航导引过程中的稳定性。
(5)红外路标的无线通讯地址采用拨码开关设置,避免了改变地址需要重新烧录代码,地址设置方式简单灵活。
(6)红外路标采用电池供电,有源设计避免了布线的麻烦,且红外路标直接放置在地面上,方便安装及更换。后期行驶路径变更不需要重新设计路标特征,只需改变路标安放位置并重新按顺序编码即可。
(7)视觉成像设备采用低分辨率数字CMOS图像传感器搭配红外光滤波片,在满足路标识别要求的前提下,既减小了数据处理量,又节约了设备成本。
附图说明
图1为本发明的系统结构图;
图2为本发明的红外路标功能结构图;
图3为本发明的红外路标外形结构图;
图4为本发明的红外路标发光二极管阵列图;
图5为本发明的单目视觉系统功能结构图;
图6为本发明的导航导引流程图;
图7为本发明的红外路标放置示意图;
图8为本发明的无线通讯网络拓扑结构图;
图9为本发明的单目视觉空间直角坐标系示意图;
图10为本发明中移动机器人与发光红外路标的纵向偏离程度计算原理图;
图11为本发明中移动机器人与发光红外路标的横向偏离程度计算原理图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
如图1所示,本发明提供的导航策略由红外路标导引系统和单目视觉识别系统组成。其中红外路标导引系统布置在作业环境中,负责引导移动机器人行驶,作业环境可以是工厂车间、商场医院等室内场所;单目视觉识别系统安装在室内移动机器人头部的正前方,负责采集红外路标图像,并通过图像处理得到位置信息,进而驱动室内移动机器人移动。移动机器人可使用轮式或履带式结构;红外路标导引系统与单目视觉识别系统之间通过无线方式通信。
红外路标导引系统包含若干个红外路标,如图2所示,每个红外路标由第一控制模块、红外发射模块、第一无线通信模块和第一电源模块构成。第一控制模块分别与红外发射模块和第一无线通信模块连接,第一控制模块、红外发射模块和第一无线通信模块均通过第一电源模块供电。各模块位于乳白色灯罩内,外形结构如图3所示,乳白色灯罩可以收敛红外光束,便于单目视觉识别系统计算其方位。其中第一控制模块,负责分析处理无线模块接收到的信息,控制红外发射模块工作;红外发射模块用于发射红外光,采用850nm红外发光二极管搭建红外发射阵列,850nm红外发光管有红暴现象,即人眼能观察到微弱的红光,该特性有利于图像传感器的感应,红外阵列布局如图4所示,该阵列由12个红外发光二极管组成,布局排列呈圆形环绕,有利于汇聚红外光,便于视觉系统的识别与处理,电路连接上采用并联方式,每条支路上串联一个限流电阻,以防止红外发光二极管因电流过大而烧毁;第一无线通信模块负责接收单目视觉识别系统发来的控制指令,并及时发回反馈信号;第一电源模块使用可充电锂电池搭配稳压电路,负责给其他模块供电。
如图5所示,单目视觉识别系统由第二控制模块、视觉模块、第二无线通信模块和第二电源模块构成。第二控制模块分别与视觉模块和第二无线通信模块连接,第二控制模块、视觉模块和第二无线通信模块均通过第二电源模块供电。其中第一控制模块负责处理视觉模块采集的红外路标信息、计算室内移动机器人的相对位置及转向角度;视觉模块使用单个数字CMOS图像传感器,镜头上搭配850nm红外滤波片,负责捕获红外路标的发光图像,红外滤波片能够减弱其它波段光的干扰;第二无线通信模块用于向红外路标发射开始发光与停止发光控制指令,以及接收红外路标的反馈信号;第二电源模块使用可充电锂电池搭配稳压电路,负责给其他模块及室内移动机器人供电。
如图6所示,本发明提供的室内移动机器人导航导引方法,具体顺序步骤如下:
步骤(1):在移动机器人的行驶路径上预先布置若干个红外路标,按照串行顺序对红外路标依次编码。
步骤(2):红外路标导引系统与单目视觉识别系统组成无线通信网络,系统上电后,单目视觉识别系统发射开始发光指令,红外路标导引系统的第一个红外路标开始发光。
步骤(3):单目视觉识别系统采集包含发光红外路标的场景图像,并对包含发光红外路标的场景图像进行二值化和滤波处理。
步骤(4):对包含发光红外路标的场景图像进行识别与特征提取,计算发光红外路标在场景图像中的等效坐标。
步骤(5):依据等效坐标,计算室内移动机器人距发光红外路标的相对位置。
步骤(6):依据相对位置,计算室内移动机器人的转向角度,根据转向角度驱动室内移动机器人朝当前发光红外路标移动。
步骤(7):单目视觉识别系统判断移动机器人是否进入当前发光红外路标区域范围内,如果没有进入,则返回步骤(3);如果已进入,则单目视觉识别系统发射停止发光指令,当前发光红外路标停止发光。
步骤(8):单目视觉识别系统判断当前路标是否为最后一个路标,若不是,则单目视觉识别系统继续发射开始发光指令,按照编码顺序下一个红外路标开始发光,流程返回步骤(3),若是,则导航任务结束。
在步骤(1)中,移动机器人行驶路径由人为放置路标提前规划。如图7所示,人工规划路径方法是在起点与终点之间预先拟定一条无碰撞行驶路径,路径由若干个直线线段首尾连接而成;在拟定的路径上放置红外路标,红外路标放置在每条线段的端点处,如路径的起点、终点以及中间的若干拐点。考虑到单目视觉传感器感知发光路标的最大有效距离,如果两个红外路标之间的间距过远,可以在中间添加路标作为中继使用。红外路标按照串行顺序依次编码是指,按照移动机器人在行驶路径上依次经过的红外路标顺序从0-255编码。编码方式使用8位拨码开关,理论上有256种编码方式,完全可以满足室内导航路标数量的需求。编码在红外路标上电前进行人工设置。该编码也是红外路标的通信地址。
在步骤(2)中,无线通信网络采用主从通信模式,其中单目视觉识别系统为主机,负责发送指令,各红外路标为从机,负责接收指令。如图8所示,各节点连接使用星型拓扑结构。本网络多机通信使用固定通信频率,改变通信地址的方式实现,避免因为频繁切换频道而出现与其他系统外设备频道重合的现象。
在步骤(3)中,图像采集使用隔行扫描方式,图像二值化处理后得到场景图像的黑白图像,为后面提取发光红外路标的等效坐标做准备;由于场景中还存在一些反光物品,会在二值化后的图像中形成高亮像素,所以对二值化后的黑白图像进行滤波处理,结合干扰源成像特点,此处使用中值滤波方法。
在步骤(4)中,发光红外路标在图像中成像不是一个点,而是具有一定面积的白斑,所以规定发光红外路标的等效坐标通过计算红外路标中心点得出,建立路标图像平面直角坐标系,以图像左上角为原点,U轴、V轴分别对应图像的垂直方向与水平方向,等效坐标计算方法如下:
步骤(4a):首先设定灰度阈值,用以区分红外路标和背景。
步骤(4b):从图像第一行开始,逐行扫描步骤(3)处理后的图像,当出现高于灰度阈值的像素i时,记录当前像素i所在的行号ui与列号vi,i=1,2,…,n,直至扫描到最后一行最后一列,其中n表示高于灰度阈值的像素的总个数。
步骤(4c):分别对行号ui和列号vi按值大小排序,得出最小行号minu、最大行号maxu、最小列号minv和最大列号maxv。
步骤(4d):分别计算高于灰度阈值的像素所在的总行数Nu和总列数Nv:
Nu=maxu-minu+1 (1)
Nv=maxv-minv+1 (2)
步骤(4e):分别计算高于阈值的像素所在的行号之和Su与列号之和Sv:
步骤(4f):发光红外路标的等效坐标(u,v)为:
在步骤(5)中,相对位置是指移动机器人与当前发光红外路标的偏离距离,包括纵向偏离距离和横向偏离距离。建立单目视觉空间直角坐标系,如图9所示,以图像传感器光轴与焦平面的交点为坐标系原点,焦平面为图像传感器内部能够清晰成像位置处的平面,场景图像即在此位置处成像,坐标系原点与场景图像中心点重合,X轴与场景图像水平方向V平行,Z轴与场景图像垂直方向U平行,Y轴沿着光轴向外方向。
纵向偏离距离D反映了移动机器人距发光红外路标的远近,计算方法如下:
如图10所示,假设路标成像为小孔成像模型,设焦平面上红外路标成像点与实际红外路标的连线与图像传感器光轴的夹角弧度在yOz平面上的投影为α;设焦平面上红外路标成像点偏离场景图像中心点的垂直距离为r像素;则α与r的关系为:
α=r·k1+l1 (6)
系数k1与l1的取值通过事先实际测量多组α与r数据,运用线性回归方法拟合得出。其中,k1表示单个像素对应的弧度,l1表示偏差,用来补偿计算结果。
α值的测量方法是先实际测量移动机器人距发光红外路标的纵向偏离距离Dactual和竖直偏离距离Hactual,其中竖直偏离距离Hactual为图像传感器实际距地面的高度,然后结合直角三角形边角关系,计算公式如下:
r的测量方法是使用场景图像上的发光红外路标等效横坐标u计算得出,设图像中心点的横坐标为uM,则计算公式为:
r=u-uM (8)
发光红外路标在单目视觉空间直角坐标系中的纵坐标yB为:
由单目视觉空间直角坐标系建立规则可知,移动机器人在此坐标系中的纵坐标为0,所以移动机器人距发光红外路标的纵向偏离距离D为两者纵坐标之差,即:
横向偏离程度W反映了移动机器人相对路标的偏角大小,计算方法如下:
如图11所示,设焦平面上红外路标成像点与实际红外路标的连线与图像传感器光轴的夹角弧度在xOy平面上的投影为β;设焦平面上红外路标成像点偏离场景图像中心点的水平距离为s像素;则β与s的关系为:
β=s·k2+l2 (11)
系数k2与l2的求法同k1与l1解法,通过事先实际测量多组β与s数据,运用线性回归方法拟合得出。
β的测量方法是实际测量移动机器人距发光红外路标的纵向偏离距离Dactual和横向偏离距离Wactual,计算公式如下:
s的测量方法是使用场景图像上发光红外路标等效坐标的纵坐标v计算得出,设图像中心点的纵坐标为vM,则计算公式为:
s=v-vM (13)
发光红外路标在单目视觉空间直角坐标系中的横坐标xB为:
移动机器人在单目视觉空间直角坐标系中的横坐标为0,所以移动机器人距发光红外路标的横向偏离距离W为两者横坐标之差,即:
在步骤(6)中,移动机器人的转向角度,通过构造方向控制器,以横向偏离距离W为控制量,使用经典PD算法计算得出。某一时刻t转向角度计算公式如下:
Angle(t)=KP·W(t)+KD·(W(t)-W(t-1)) (16)
其中KP、KD为方向控制器的比例系数和积分系数,W(t)为t时刻移动机器人的横向偏离距离,W(t-1)为t-1时刻移动机器人的横向偏离距离。
在步骤(7)中,判断是否接近发光路标一定区域范围内,通过构造距离控制器实现,以纵向偏离距离D为控制量,设置阈值Q,当D≤Q时,认为移动机器人已进入发光路标区域范围内,通常阈值Q设置为距路标中心15cm左右。
在导航导引过程中,为了简化计算压力,也可以直接使用参数r和s作为距离控制器和方向控制器的控制量。
移动机器人经过路标方式,可以从路标前方绕过,也可以从路标后方绕过,如果底盘高度允许,也可选择直接从路标上方跨过。
本发明提供的移动机器人导航导引策略适用于医疗救助、家庭服务、车间运输、消防侦查等领域。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (9)
1.基于红外路标的室内移动机器人导航方法,其特征是,
所述导航方法所基于的基于红外路标的室内移动机器人导航系统,包括:红外路标导引系统和单目视觉识别系统;红外路标导引系统根据需要布置在作业环境中,负责引导室内移动机器人行驶;单目视觉识别系统安装在室内移动机器人头部的正前方,红外路标导引系统与单目视觉识别系统之间通过无线方式通信,单目视觉识别系统控制红外路标导引系统的第一个红外路标开始发光;单目视觉识别系统采集红外路标导引系统中正在发光的红外路标图像,并通过图像处理计算得到室内移动机器人相对当前正在发光的红外路标的位置,根据室内移动机器人所处的相对位置,驱动室内移动机器人朝正在发光的红外路标移动,室内移动机器人进入当前发光红外路标的设定区域范围内后,单目视觉识别系统向当前发光红外路标发出停止发光指令,同时向下一个发光红外路标发出开始发光指令,然后,单目视觉识别系统根据下一发光红外路标的位置,控制室内移动机器人向下一发光红外路标行驶,依次类推,直至运动到最后一个发光红外路标的设定区域范围内,室内移动机器人结束移动;
所述导航方法的步骤如下:
步骤(1):在移动机器人的行驶路径上根据需要预先布置若干个红外路标,按照串行顺序对红外路标依次编码;
步骤(2):红外路标导引系统与单目视觉识别系统组成无线通信网络,上电后,单目视觉识别系统向红外路标导引系统的第一个红外路标发射开始发光指令,红外路标导引系统的第一个红外路标开始发光;
步骤(3):单目视觉识别系统采集发光红外路标的图像,并对所采集的图像进行二值化处理和滤波处理;
步骤(4):对滤波处理后的图像,计算发光红外路标在场景图像中的等效坐标;
步骤(5):依据等效坐标,计算室内移动机器人距发光红外路标的相对位置;
步骤(6):依据相对位置,计算室内移动机器人的转向角度,根据转向角度驱动室内移动机器人朝当前发光红外路标移动;
步骤(7):单目视觉识别系统判断移动机器人是否进入当前发光路标设定区域范围内,如果没有进入,则重复步骤(3)-(6),直至进入当前发光路标设定区域范围内;如果已进入,则单目视觉识别系统向当前发光红外路标发射停止发光指令,当前发光红外路标接收停止发光指令后,停止发光;进入步骤(8);
步骤(8):单目视觉识别系统判断当前路标是否为最后一个路标,若不是,则单目视觉识别系统按照编码顺序向下一个发光红外路标发射开始发光指令,下一个红外路标接收开始发光指令后,开始发光;返回步骤(3);若是,则导航任务结束。
2.如权利要求1所述的方法,其特征是,
所述步骤(1)中,移动机器人的行驶路径由人工规划,在起点与终点之间预先拟定一条无碰撞行驶路径,路径由若干个直线线段首尾依次连接而成;在拟定的路径上放置红外路标,红外路标放置在每条线段的端点处;红外路标放置在路径的起点、终点以及中间的若干拐点,每两个红外路标的间距由实际拟定路径决定,直线距离上如果超过图像传感器所能感知的最大距离,在每两个红外路标中间添加红外路标作为中继;
所述按照串行顺序对红外路标依次编码,是按照室内移动机器人在行驶路径上预经过的红外路标顺序依次编码;
编码方式使用拨码开关人工设置;
编码同时也是红外路标的通信地址。
3.如权利要求1所述的方法,其特征是,
所述步骤(2)中,所述无线通信网络,采用主从通信模式,其中单目视觉识别系统为主机,负责发送指令,红外路标导引系统的各发光红外路标为从机,负责接收指令;
主机与从机之间的连接使用星型拓扑结构;
主机与从机之间的通信实现基于固定通信频率,改变通信地址方式。
4.如权利要求1所述的方法,其特征是,
所述步骤(3)中,图像采集使用隔行扫描方式,图像二值化处理后得到场景图像的黑白图像,为步骤(4)提取发光红外路标的等效坐标做准备;由于场景中还存在反光物品,反光物品在二值化后的图像中形成高亮像素,所以对二值化后的黑白图像使用中值滤波方法进行滤波处理。
5.如权利要求1所述的方法,其特征是,
所述步骤(4)中,等效坐标通过计算发光红外路标中心点得出,等效坐标计算方法如下:
建立场景图像平面直角坐标系,以图像左上角为原点,U轴对应图像的垂直方向,V轴对应图像的水平方向;
步骤(4a):首先设定灰度阈值,所述灰度阈值用以区分红外路标和背景;
步骤(4b):从图像第一行开始,逐行扫描步骤(3)处理后的图像,当出现高于灰度阈值的像素i时,记录当前像素i所在的行号ui和列号vi,i=1,2,…,n,直至扫描到最后一行最后一列,其中n表示高于灰度阈值的像素的总个数;
步骤(4c):分别对行号ui和列号vi按值大小排序,得出最小行号min u、最大行号max u、最小列号min v和最大列号max v;
步骤(4d):分别计算高于灰度阈值的像素的总行数Nu和总列数Nv:
Nu=max u-min u+1 (1)
Nv=max v-min v+1 (2)
步骤(4e):分别计算高于灰度阈值的像素的行号之和Su与列号之和Sv:
步骤(4f):发光红外路标的等效坐标(u,v)为:
6.如权利要求5所述的方法,其特征是,
在步骤(5)中,所述相对位置是指室内移动机器人相对当前发光路标的偏离距离,包括纵向偏离距离和横向偏离距离;
建立单目视觉空间直角坐标系,以图像传感器光轴与焦平面的交点为坐标系原点,所述焦平面为图像传感器内部成像位置处的平面,场景图像即在焦平面成像,所述坐标系原点与场景图像中心点重合,X轴与场景图像水平方向V平行,Z轴与场景图像垂直方向U平行,Y轴沿着光轴向外方向;
所述纵向偏离距离D和横向偏离距离W计算方法如下:
假设路标成像为小孔成像模型,设焦平面上红外路标成像点与实际红外路标的连线与图像传感器光轴的夹角弧度在yOz平面上的投影为α,在xOy平面上的投影为β;设焦平面上红外路标成像点偏离场景图像中心点的垂直距离为r像素,水平距离为s像素;则α与r、β与s的关系为:
α=r·k1+l1 (6)
β=s·k2+l2 (7)
公式(6)和公式(7)通过事先实际测量多组α与r、β与s数据,运用线性回归方法拟合得出;其中,k1、k2表示单个像素对应的弧度,l1、l2实际意义表示偏差,用来补偿计算结果;
所述α、β值的测量方法是先实际测量移动机器人距发光红外路标的纵向偏离距离Dactual、横向偏离距离Wactual和竖直偏离距离Hactual,其中竖直偏离距离Hactual为图像传感器实际距地面的高度,然后结合三角形边角关系,计算公式:
所述r、s的测量方法是使用场景图像上发光红外路标的等效坐标(u,v)计算得出,设场景图像中心点坐标为(uM,vM),则计算公式为:
r=u-uM (10)
s=v-vM (11)
发光红外路标在单目视觉空间直角坐标系中的坐标(xB,yB,zB)为:
由单目视觉空间直角坐标系建立规则可知,移动机器人在单目视觉空间直角坐标系中的坐标为(0,0,Hactual),所以移动机器人距发光红外路标的相对位置为两者坐标之差,即:
纵向偏离距离D:
横向偏离距离W:
7.如权利要求6所述的方法,其特征是,
在步骤(6)中,所述移动机器人的转向角度,通过构造方向控制器,以横向偏离距离W为控制量,使用PD算法计算得出,移动机器人的转向角度Angle计算公式如下:
Angle=KP·W+KD·(W-Wlast) (15)
其中,KP为方向控制器的比例系数,KD为方向控制器的积分系数,Wlast为上一次计算得到的移动机器人横向偏离距离;
在步骤(7)中,判断是否进入下一个发光路标设定区域范围内,通过构造距离控制器实现,以纵向偏离距离D为控制量,设置阈值Q,当D≤Q时,认为移动机器人已进入发光路标区域范围内。
8.如权利要求1所述的方法,其特征是,
所述红外路标导引系统,包括:若干个红外路标,每个红外路标均安装在乳白色灯罩内,每个红外路标包括:第一控制模块,第一控制模块分别与红外发射模块和第一无线通信模块连接,所述第一控制模块、红外发射模块和第一无线通信模块均通过第一电源模块供电;
所述第一控制模块,负责分析处理第一无线通信模块接收到的开始发光指令或停止发光指令,控制红外发射模块的工作;
所述红外发射模块,包括:用于发射红外光的红外发射阵列,红外发射阵列由若干个波长为850nm的红外发光二极管组成,每个发光二极管电路连接上采用并联方式,每条并联支路上包括串联的发光二极管和限流电阻,所述限流电阻用于防止红外发光二极管因电流过大而烧毁;所述发光二极管在布局排列上采用圆周结构,所有发光二极管呈圆形环绕,从而汇聚红外光,用于单目视觉识别系统的识别与处理;
所述第一无线通信模块,负责接收单目视觉识别系统发来的控制指令,并及时发送反馈信号;
所述第一电源模块,包括:可充电锂电池,可充电锂电池通过稳压电路与第一控制模块、红外发射模块和第一无线通信模块连接。
9.如权利要求1所述的方法,其特征是,
所述单目视觉识别系统,包括:第二控制模块,所述第二控制模块分别与视觉模块和第二无线通信模块连接,所述第二控制模块、视觉模块和第二无线通信模块均通过第二电源模块供电;
所述第二控制模块,用于处理视觉模块采集的红外路标图像,计算室内移动机器人与当前正在放光的红外路标之间的相对位置及室内移动机器人的转向角度;
所述视觉模块,用于捕获红外路标的发光图像,所述视觉模块包括:单个数字CMOS图像传感器,所述单个数字CMOS图像传感器的镜头上搭配850nm红外滤波片;
所述第二无线通信模块,用于向当前红外路标发送停止发光指令,向下一个红外路标发送开始发光指令,以及接收各个红外路标的反馈信号;
所述第二电源模块,包括,可充电锂电池,所述可充电锂电池通过稳压电路与视觉模块、第二控制模块和第二无线通信模块连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710661058.4A CN107450540B (zh) | 2017-08-04 | 2017-08-04 | 基于红外路标的室内移动机器人导航系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710661058.4A CN107450540B (zh) | 2017-08-04 | 2017-08-04 | 基于红外路标的室内移动机器人导航系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107450540A CN107450540A (zh) | 2017-12-08 |
CN107450540B true CN107450540B (zh) | 2018-10-30 |
Family
ID=60490532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710661058.4A Active CN107450540B (zh) | 2017-08-04 | 2017-08-04 | 基于红外路标的室内移动机器人导航系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107450540B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108227710B (zh) * | 2017-12-29 | 2022-10-04 | 商汤集团有限公司 | 自动驾驶控制方法和装置、电子设备、程序和介质 |
CN108334076B (zh) * | 2018-01-09 | 2020-12-29 | 佛山科学技术学院 | 一种超个体协助运动系统及其运动方法 |
CN108253970B (zh) * | 2018-04-12 | 2023-10-03 | 中国电子科技集团公司第二十一研究所 | 利用红外吊灯和摄像头测量机器人位置的方法与系统 |
CN112074706A (zh) * | 2018-04-28 | 2020-12-11 | 优泰机电有限公司 | 精确定位系统 |
CN108726071A (zh) * | 2018-06-12 | 2018-11-02 | 芜湖乐创电子科技有限公司 | 一种基于红外传感的工件摆放机器人 |
CN108427425A (zh) * | 2018-06-13 | 2018-08-21 | 广州市盘古机器人科技有限公司 | 空间位置探测agv小车应用技术 |
TWI676934B (zh) * | 2018-10-03 | 2019-11-11 | 東元電機股份有限公司 | 開放擴充式移動平台 |
CN109397290A (zh) * | 2018-11-13 | 2019-03-01 | 黄滋宇 | 一种智能家居机器人及其控制方法 |
CN113409401A (zh) * | 2018-11-20 | 2021-09-17 | 深圳市海柔创新科技有限公司 | 定位码贴设方法、装置、计算机设备和存储介质 |
CN109613471B (zh) * | 2018-12-26 | 2022-12-23 | 芜湖哈特机器人产业技术研究院有限公司 | 一种用于室内无轨导航的五点红外顶标及其识别方法 |
CN109613472B (zh) * | 2018-12-26 | 2023-04-28 | 芜湖哈特机器人产业技术研究院有限公司 | 一种用于室内无轨导航的红外顶标及其识别方法 |
CN110347150B (zh) * | 2019-05-28 | 2020-07-28 | 山东大学 | 一种基于电磁锁的配送机器人、系统及方法 |
CN111596694B (zh) * | 2020-07-21 | 2020-11-17 | 追创科技(苏州)有限公司 | 自动回充方法、装置、存储介质及系统 |
CN114152255A (zh) * | 2020-09-08 | 2022-03-08 | 深圳果力智能科技有限公司 | 智能移动机器人定位、导航的控制方法 |
CN113341968A (zh) * | 2021-06-01 | 2021-09-03 | 山东建筑大学 | 一种多轴线平板车精准停靠系统及方法 |
CN115752425A (zh) * | 2021-09-03 | 2023-03-07 | 华为技术有限公司 | 一种定位方法和装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5043133B2 (ja) * | 2007-03-13 | 2012-10-10 | リサーチ インスティチュート オブ インダストリアル サイエンス アンド テクノロジー | 移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法 |
CN102419178B (zh) * | 2011-09-05 | 2014-01-08 | 中国科学院自动化研究所 | 基于红外路标的移动机器人定位系统和方法 |
CN105629970A (zh) * | 2014-11-03 | 2016-06-01 | 贵州亿丰升华科技机器人有限公司 | 一种基于超声波的机器人定位避障方法 |
CN106153050A (zh) * | 2016-08-27 | 2016-11-23 | 杭州国辰牵星科技有限公司 | 一种基于信标的室内定位系统和方法 |
CN206113954U (zh) * | 2016-09-14 | 2017-04-19 | 哈工大机器人集团上海有限公司 | 一种用于确定机器人位置的路标和设备 |
-
2017
- 2017-08-04 CN CN201710661058.4A patent/CN107450540B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107450540A (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107450540B (zh) | 基于红外路标的室内移动机器人导航系统及方法 | |
CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
CN103353758B (zh) | 一种室内机器人导航方法 | |
CN102871784B (zh) | 定位控制装置和方法 | |
EP2287694B1 (en) | Distributed visual guidance for a mobile robotic device | |
CN106527426A (zh) | 一种室内多目轨迹规划系统及其方法 | |
ES2911626T3 (es) | Dispositivo de alimentación eléctrica móvil para la alimentación eléctrica en exteriores | |
US20120143429A1 (en) | Distributed Robotic Guidance | |
CN105197252A (zh) | 一种小型无人机降落方法及系统 | |
CN109785381B (zh) | 一种光学惯性融合空间定位方法及定位系统 | |
CN105915856A (zh) | 无人机电力巡线影像数据采集及处理系统 | |
CN103324194A (zh) | 基于二维码导航带的移动机器人定位系统 | |
CN203241825U (zh) | 一种基于二维码导航带的移动机器人定位系统 | |
CN114545969A (zh) | 一种基于数字孪生的电网智能巡检方法及系统 | |
KR100749923B1 (ko) | 카메라와 표식을 이용한 이동 로봇의 측위 시스템 및 방법 | |
CN110471403B (zh) | 通过光通信装置对能够自主移动的机器进行导引的方法 | |
CN207473406U (zh) | 一种带有二维码站点位置信息的智能小车循迹系统 | |
CN107835050A (zh) | 一种基于可见光通信的定位方法及系统 | |
CN106933227A (zh) | 一种引导智能机器人的方法以及电子设备 | |
CN109610850A (zh) | 一种基于机器视觉的装配式建筑施工导航方法 | |
CN109240496A (zh) | 一种基于虚拟现实的声光交互系统 | |
CN108270963A (zh) | 智能控制移动摄像监控系统及其控制方法 | |
CN206399422U (zh) | 多功能视觉传感器及移动机器人 | |
CN210776078U (zh) | 一种实时导航蓝牙眼镜 | |
CN207068251U (zh) | 一种用于道路交叉路口的ar系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |