CN108733039A - 一种机器人室内导航定位的方法与装置 - Google Patents

一种机器人室内导航定位的方法与装置 Download PDF

Info

Publication number
CN108733039A
CN108733039A CN201710253937.3A CN201710253937A CN108733039A CN 108733039 A CN108733039 A CN 108733039A CN 201710253937 A CN201710253937 A CN 201710253937A CN 108733039 A CN108733039 A CN 108733039A
Authority
CN
China
Prior art keywords
image
robot
module
information
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710253937.3A
Other languages
English (en)
Inventor
王峰
杨春媚
汪进
王家燃
肖飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan City precision intelligent electronic Co. Ltd.
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710253937.3A priority Critical patent/CN108733039A/zh
Publication of CN108733039A publication Critical patent/CN108733039A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例公开了一种机器人室内导航定位的方法与装置，依据摄像头捕获的图像，对图像进行预处理、边缘检测、摄像头失真校正以及进行特征信息的提取等一系列操作，从该图像中拟合出特征图形；对该特征图形进行IPM变换，得到该特征图形在世界坐标系的参数方程；依据预先存储的地图信息，判断所述特征图形是否为有效图形。若是，则可以依据该有效图形的参数方程，确定出机器人的理论位姿信息；利用卡尔曼滤波器对理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出机器人的位置、速度和姿态角，从而调整机器人的位姿，实时消除车轮编码器的累计误差，提高机器人定位的准确度。

Description

一种机器人室内导航定位的方法与装置
技术领域
本发明涉及计算机视觉检测技术领域，特别是涉及一种机器人室内导航定位的方法与装置。
背景技术
近年来，智能机器人技术得到了飞速发展，世界各地的机器人公司和科研机构正加紧开发研制各种智能自主移动服务机器人应用到各种环境下代替人类劳务工作，以减轻人类的生活压力。服务机器人逐渐走向实用化并进入大众的视野，其主要可以代替人类维护保养、运输、清洗、监护等工作。服务机器人不仅可以摆脱令人烦恼枯燥的重复性劳务工作而且是一项具有良好应用前景的高科技技术。
机器人导航是指机器人按照预先给出的任务命令，根据已知信息做出路径规划，并在行进过程中，不断感知周围的局部环境信息，自主地做出决策，调整自身位姿，引导自身安全行驶或者根据已知路径达到目标位置。在应用到各种环境时，机器人需要知道自身当前的精确位置，以完成局部避障或是全局规划，这就是导航定位问题。因此，实现机器人自身的准确定位是导航的前提条件，也是该研究领域的重点和难点。
实时定位是机器人实现自主导航的关键技术，用于解决机器人正处于何处的问题。机器人定位主要分为绝对定位和相对定位两种。在室内环境中，机器人可利用无线电方式测距，(比如超宽带定位或者WiFi接受信号强度定位)，采用三角原理等方法确定绝对位姿。绝对定位需要提前掌握环境信息，其定位方法精度高但成本高昂并且维护麻烦。而相对定位方法(如里程计、惯性传感器)在给定机器人初始位姿后，利用自身的传感器对位移量进行累加。机器人在移动的一小段距离内可以得到较高的定位精度，但是随着机器人车轮的纵向或者横向的滑动引起位置和姿态角的偏差，同时传感器(比如惯性传感器)本身容易产生了误差累加，如果误差没有及时修正会直接导致机器人定位精度变低，故不适合长时间的使用，不利于机器人的普及。
采用视觉传感器逐渐成为主流,视觉传感器主要依靠对采集的图像处理识别,进而对周围环境进行感知,实现自身的定位,目前视觉传感器主要分为全景视觉传感器、双目视觉传感器、单目视觉传感器三种，其中全景传感器虽然观测范围大，但是由于其加工困难、价格昂贵，图像容易畸变、图像处理复杂等，导致全景传感器难以得到应用；双目视觉传感器主要用于对景物深度要求高的场合，其对计算机的图像处理能力要求也较高，也无法得到广泛的应用；单目视觉传感器，价格低，适用于一般的日常生活环境中对图像处理要求不高的场合，能够满足广泛的应用需求。高精度的单目定位还有基于地面二维码的方法，摄像头安装在机器人底部拍摄并解码，进而计算出机器人的位置。这个方法可以达到毫米级定位精度、已经广泛应用在室内自动导航车辆机器人(AGV)上。但这种方法的路径只能走前后左右方向，无法走任意角度或者弧线降低系统效率，且当车辆出现打滑或者停电等各种状态后，车辆不能找到二维码，而出现不能定位问题。
由于单一传感器存在各种误差的问题，所以多传感器融合是解决该问题的有效方法，目前大多采用卡尔曼滤波器将多种传感器采集的数据融合起来进行处理以提高定位精度，但这些方法都没有利用视觉传感器对地面规律特征进行采集和处理，然后根据地面规律特征进行地图匹配、消除编码器的累计误差、确定自身的位置和姿态角，实现自身的导航和定位。
可见，如何实现机器人的准确定位，是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种机器人室内导航定位的方法与装置，通过调整机器人的位姿，可以实现机器人的准确定位。
为解决上述技术问题，本发明实施例提供一种机器人室内导航定位的方法，包括；
S10：依据摄像头捕获的图像，对所述图像进行预处理；
S11：对所述预处理后的图像进行边缘检测，检测出所述图像中的边缘特征；
S12：依据预先设置的摄像头失真参数，对所述边缘检测后的图像进行摄像头失真校正；
S13：对所述摄像头失真校正后的图像进行特征信息的提取，拟合出对应的特征图形；并对所述特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；
S14：依据预先存储的地图信息，判断所述特征图形是否为有效图形；
S15：若是，则依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；所述理论位姿信息包括：位置信息和姿态角信息；
S16：利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，调整所述机器人的位姿。
可选的，在所述S12之前，还包括：
从所述边缘特征中提取预设个数的像素点，对所述图像进行点校正；
相应的，所述S12包括：
依据预先设置的摄像头失真参数，对所述点校正后的图像进行摄像头失真校正。
可选的，还包括：
判断所述机器人是否行驶完毕预先设置的目标行走路径；
若否，则返回所述S10。
本发明实施例还提供了一种机器人室内导航定位的装置，包括预处理模块、检测模块、摄像头失真校正模块、特征信息提取模块、IPM变换模块、判断模块、确定模块和调整模块；
所述预处理模块，用于依据摄像头捕获的图像，对所述图像进行预处理；
所述检测模块，用于对所述预处理后的图像进行边缘检测，检测出所述图像中的边缘特征；
所述摄像头失真校正模块，用于依据预先设置的摄像头失真参数，对所述边缘检测后的图像进行摄像头失真校正；
所述特征信息提取模块，用于对所述摄像头失真校正后的图像进行特征信息的提取，拟合出对应的特征图形；
所述IPM变换模块，用于对所述特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；
所述判断模块，用于依据预先存储的地图信息，判断所述特征图形是否为有效图形；
若是，则触发所述确定模块，所述确定模块，用于依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；所述理论位姿信息包括：位置信息和姿态角信息；
所述调整模块，用于利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，调整所述机器人的位姿。
可选的，还包括点校正模块：
所述点校正模块，用于从所述图像中的边缘特征上提取预设个数的像素点，对所述图像进行点校正；
相应的，所述摄像头失真校正模块具体用于依据预先设置的摄像头失真参数，对所述点校正后的图像进行摄像头失真校正。
可选的，还包括第二判断模块：
所述第二判断模块，用于判断所述机器人是否行驶完毕预先设置的目标行走路径；若否，则触发所述预处理模块。
由上述技术方案可以看出，依据摄像头捕获的图像，对所述图像进行预处理、边缘检测、摄像头失真校正以及提取特征信息等一系列操作，从而从该图像中拟合出特征图形；由于预先存储的地图信息采用的是世界坐标系，因此，需要对拟合出的特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；从而可以依据预先存储的地图信息，判断所述特征图形是否为有效图形。当该特征图形为有效图形时，则可以依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；其中，该理论位姿信息可以包括：位置信息和姿态角信息。为了对车轮编码器进行校正，可以利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，从而调整所述机器人的位姿，实时消除车轮编码器的累计误差，进而提高机器人定位的准确度。并且可以根据预先存储的离线地图确定机器人在地图中的位置，实现机器人的实时导航定位。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种机器人室内导航定位的方法的流程图；
图2为本发明实施例提供的一种逆透视映射原理的示意图；
图3为本发明实施例提供的一种逆透视映射效果的示意图；
图4(a)为本发明实施例提供的一种地面特征的示意图；
图4(b)为本发明实施例提供的另一种地面特征的示意图；
图4(c)为本发明实施例提供的另一种地面特征的示意图；
图4(d)为本发明实施例提供的另一种地面特征的示意图；
图5为本发明实施例提供的一种机器人室内导航定位的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
传统方式中，机器人通常采用双电机进行两轮独立驱动，该机构由两个电机和带高精度A-B相的光编码器测量，其速度和方向由两个驱动轮的转速来确定，机器人也可以由转向舵机控制。通过车轮编码器可以实现对机器人导航过程中的定位，平面运动的机器人可以用3个坐标来描述：其中x，y为机器人的坐标、φ为机器人行驶方向和x轴的夹角。机器人n时刻位姿用向量表示，设定起始位置为已知，如果使用车轮编码器推算机器人位置和姿态角，则移动距离和姿态角的增量式为：
其中，(Δx；Δy；Δφ)为前一次定位间隔机器人走过的路径；Δsl、Δsr分别为左、右轮子移动的距离；D为左、右轮间距。则可知从n到n+1这Δt时间间隔，机器人位姿为：
由式(2)可知机器人的位姿与车轮编码器采集的位置参数和姿态角参数有关，机器人偏离航向时，编码器所采集的数据将会出现累积误差值，导致机器人无法实现准确的定位，从而影响机器人沿正确的航线行驶。
为此，本发明实施例提供了一种机器人室内导航定位的方法与装置，利用摄像头实时采集地面图像，从该图像中提取出地面规律特征边缘线即特征图形，得到其在真实空间(世界坐标系)中的参数方程，通过与预先存储的地图信息匹配，确定出机器人无积累偏差的位置信息和姿态角信息，从而去校正机器人车轮编码器偏离航向时所产生的累积误差值。此校正累积误差值过程可以采用卡尔曼滤波器，将摄像头实时采集的图像对应的参数方程和车轮编码器采集到的位姿参数融合起来，实时消除车轮编码器的累计误差，进而提高机器人定位的准确度。
在本发明实施例中，可以将室内环境的地图信息以及机器人需要行驶的目标路线，预先存储到机器人内部文件中。在具体实现中，该地图信息的获取可以通过定位系统探测指定的地面板砖边缘线信息，根据地面特征，例如地面的规律特征信息，地面板砖边缘线信息进行归纳，确定x轴和y轴，将x轴方向的地面规律特征的规律数设定为m，y轴方向的地面规律特征的规律数设定为n，建立一个m*n的二维地图信息，并将该地图信息保存到机器人内部文件中。其中，该地图信息可以包含有该室内地面的整体图像(离线地图)以及地面中每条线段或者每个图形的位置和方向角，每条线段或每个图形有其对应的参数方程，其坐标系与表示机器人位置的世界坐标系一致。
并且在机器人内部文件中，可以根据指定m*n的二维地图信息任意指定一条路径作为机器人行驶的目标路径，并将该目标路径作为摄像头校准车轮编码器累积误差值的对比路径，以消除编码器自身的累计误差后，精确校准和调整机器人自身的位姿，实现机器人的导航定位。
本发明实施例的应用场景，主要是针对于可以便于提取地面特征的室内区域，进行机器人的室内导航定位。
接下来，详细介绍本发明实施例所提供的一种机器人室内导航定位的方法。图1为本发明实施例提供的一种机器人室内导航定位的方法的流程图，该方法包括：
S10：依据摄像头捕获的图像，对所述图像进行预处理。
机器人在按照预先设置的目标路径行驶的过程中，设置在机器人上的摄像头可以拍摄到机器人行驶过程中经过的地面的图像。对图像进行预处理，具体可以是对图像去除干扰区域。
为了避免周围的障碍物遮挡摄像头拍摄，在本发明实施例中，可以采用单目视觉模型将一种内外参数已经标定好的摄像头，以俯仰角为θ，与地面的垂直距离为h安装在机器人的底部。
其中，该摄像头可以采用单广角摄像头。θ和h的具体取值，可以依据实际要求进行选取，在此不做限定。
S11：对所述预处理后的图像进行边缘检测，检测出所述图像中的边缘特征。
边缘特征可以用于表示图像的轮廓信息。图像属性中的显著变化通常反映了图像的重要事件和变化，通过边缘检测可以标识图像中亮度变化明显的点，通过这些点可以构成图像的边缘特征。
对图像进行边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性，从而便于后续提取图像的特征信息。
在本发明实施例中，可以采用Canny算子对图像进行边缘检测。
S12：依据预先设置的摄像头失真参数，对所述边缘检测后的图像进行摄像头失真校正。
对于摄像头拍摄的图像时，由于广角镜头的光学特性，图像不可避免的会有失真，因此，需要对图像进行摄像头失真校正。
在本发明实施例中，为减少提取特征信息的计算量，在对图像进行摄像头失真校正之前，可以先对图像进行点校正。具体的，
从所述图像中的边缘特征上提取预设个数的像素点，对所述图像进行点校正；
相应的，所述S12包括：
依据预先设置的摄像头失真参数，对所述点校正后的图像进行摄像头失真校正。
S13：对所述摄像头失真校正后的图像进行特征信息的提取，拟合出对应的特征图形；并对所述特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程。
特征信息可以是用来描述图像特征的参数。特征图形可以是能够使用参数描述的解析几何图形，特征图形的具体形状可以是直线，圆，菱形等。在本发明实施例中，对特征图形的具体形状不做限定。
以铺设有板砖的室内为例，机器人在该室内行驶时，从摄像头拍摄出的图像中拟合出的特征图形可以是该室内板砖的边缘线。
在本发明实施例中，可以利用霍夫变换(Hough Transform)从摄像头失真校正后的图像中拟合出特征图形，或者是利用随机抽样一致算法(random sample consensus，RANSAC)从该图像中拟合出特征图形。
接下来将分别对利用霍夫变换从图像中拟合出特征图形，以及利用RANSAC算法从图像中拟合出特征图形的操作步骤进行介绍。
利用霍夫变换从图像中拟合出特征图形，以特征图形是圆形为例，可以利用二维累加器找到可能的圆的位置。由于在圆周上点的梯度应该指向半径的方向，因此，对于每个点，只有沿着梯度方向的项才得到增加(基于预定义的最大与最小半径值)。确定出可能的圆心(即获得预定义数量的投票)，便可以构建一维的半径的直方图，这个直方图的峰值对应的是检测到的圆的半径，圆心和半径这些特征信息确定后，便可以拟合出圆形，相应的可以获知该圆形的参数方程。
对于其他形状的特征图形，可以参照利用霍夫变换拟合出圆形时的操作步骤，在此不再赘述。
拍摄到的地板的图像往往存在噪声的污染，使用RANSAC算法可以滤除噪声，可以精确的从图像中提取用来描述图像特征的特征信息，从而拟合出特征图形，其操作步骤如下：
通过设定用来描述需要提取的特征信息的参数化模型；从图像中提取观测数据；用参数化模型去测试所有的数据，如果某个点适用于该模型，认为它是局内点；如果局内点达到阈值，则该模型足够合理；用所有的局内点去重新估计描述该模型的参数；返回该模型的参数，此时可以从图像中提取出描述图像特征的参数即特征信息，从而拟合出特征图形。
拟合出特征图形的目的是为了，可以将该特征图形的参数方程与与预先存储的地图信息进行匹配。由于该地图信息采用的的坐标系是与机器人位置的世界坐标系一致，故此，在拟合出特征图形后，需要将该特征图形的参数方程转换成世界坐标系的参数方程。为了后续介绍方便，接下来均以特征图形是直线为例展开介绍。
采用摄像头拍到的图像和物理地面指标与逆透视映射(Inverse PerspectiveMapping，IPM)相关。进行IPM变换时，可以获取到摄像头的姿态角，依据该姿态角可以准确的将图像中特征图形的参数方程由图像像素坐标系转换到世界坐标系。在本发明实施例中，可以预先设置好IPM变换的相关参数。
逆透视映射公式如下：
其中，α表示纵向半视场角，β表示横向半视场角，m表示图像的纵向分辨率，n表示图像的横向分辨率，u、v表示图像像素坐标值。
其上公式反解，其中用(xw,yw)表示(U,V)，可得
其中(xw,yw)表示在世界坐标系上真实空间坐标，(U,V)表示图像像素坐标，h表示摄像头高度，θ表示摄像头的俯仰角。
假定摄像头每秒采集30帧图像。由于摄像头的不是完全垂直安放而拍摄的，所以拍摄图像需要经过IPM变换。摄像机成像几何模型涉及到四个坐标系依次是图像像素坐标、图像物理坐标、摄像机坐标系以及世界坐标系。使用霍夫变换(Hough)从图像中提取特征图形。将该特征图形通过以上四个坐标系进行IPM变换，得出该特征图形在世界坐标系的参数方程。
参数方程如下：
dw＝-xw·sinθp+yw·cosθp
其中，θp表示有效图形与世界坐标系的横坐标的夹角，如图2中OwP与Owxw轴的夹角。
由图3可见，经过镜头校准的摄像头拍到的照片还是由于透视发生畸变。两条在真实可见中的平行直线在图像空间中不是平行的。本发明使用IPM变换后，消除了透视畸变，两条平行线恢复平行。
S14：依据预先存储的地图信息，判断所述特征图形是否为有效图形。
有效图形可以是地图信息中包含的参数方程所对应的图形，依据该特征图形的参数方程，从地图信息中查找是否存在与该特征图形的参数方程一致的参数方程，若存在，则说明该特征图形即为有效图形。
S15：若是，则依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息。
在预先存储的地图信息中可以包含有参数方程对应的位姿信息，当特征图形是有效图形，则该有效图形的参数方程对应的位姿信息即为机器人的理论位姿信息，该理论位姿信息可以包括：位置信息和姿态角信息。
S16：利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，调整所述机器人的位姿。
利用卡尔曼滤波器将此理论位姿信息和车轮编码器采集到的机器人位姿参数融合，实现机器人在行进过程中自主地做出决策，调整机器人的位姿，完成高精度室内导航定位。
在本发明实施例中，除采用车轮编码器采集机器人的位姿参数外，也可以采用惯性测量单元推算出机器人的位姿。
由于惯性测量单元有积累偏差。当机器人行驶一段时间以后，惯性导航的误差将会比较大，必须对其进行校准。车轮编码器的测量也可以推算出机器人在下一时刻的位置和移动方向，它的位置推算和惯性测量一样，也会有积累误差。
本发明实施例中通过摄像头拍到的图像，得到特征图形的参数方程，经过地图信息匹配以后可以提供一个无误差积累的理论位姿信息，通过卡尔曼滤波器进行融合，得到高精度定位的目的。以直线特征为例，一条经过地图匹配的直线可以提供独立测量车辆行驶位置和姿态角。
这样卡尔曼滤波器融合车轮编码器测量和摄像头匹配测量，实时消除车轮编码器的累计误差进而提高机器人定位的准确度，得到机器人当前的精确位姿估计，实现机器人的高精度导航定位。
在本发明实施例中，机器人可以按照预设的目标行走路径行驶，上述步骤可以在机器人行驶过程中，针对机器人偏离航向的问题，进行实时的调整，以保证机器人的准确定位，从而顺利实现导航。故此，需要对机器人是否完成导航进行检测，在机器人未完成导航之前，需要一直重复上述步骤，以保证机器人可以准确的按照目标行走路径行驶。在具体实现中，可以判断所述机器人是否行驶完毕预先设置的目标行走路径；若否，则返回所述S10，循环执行上述步骤，直至机器人行驶完毕该目标行走路径。
由上述介绍可知，地图信息的预先存储是实现本发明实施例的基础步骤，根据不同类型的地面特征，其存储的地图信息类型不尽相同。例如图4(a)、4(b)、4(c)、4(d)所示，为四种不同类型的地面特征。图4(a)的长方形格是由较长的直线构成。地图信息中记录有每条线的位置和方向。计算机视觉可以通过摄像头拍摄到的直线，判定机器人的离直线的位置和机器人的姿态角。图4(b)的长方形格是由较长的线和较短线构成。地图信息中记录有每长线的位置和方向，每条短线的起点和终点，用来匹配计算机视觉探测到的线段，以确定机器人的位置和姿态角。图4(c)的长方形格是由平行或者垂直的短线构成。地图信息中记录有每条短线的起点和终点。图4(d)的六角形格是由4个方向的同样长度的短线构成。地图信息中记录有每条线的起点和方向，以及每条线的长度，用于匹配计算机视觉测定车辆的位置和航向。
需要说明的是，在本发明实施例中不仅仅可以使用上述几种直线和线段构成的地面特征，利用同样的方法，本发明实施例还可以使用其他形状的图形构成任意地面特征。
由上述技术方案可以看出，依据摄像头捕获的图像，对所述图像进行预处理、边缘检测、摄像头失真校正以及提取特征信息等一系列操作，从而从该图像中拟合出特征图形；由于预先存储的地图信息采用的是世界坐标系，因此，需要对拟合出的特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；从而可以依据预先存储的地图信息，判断所述特征图形是否为有效图形。当该特征图形为有效图形时，则可以依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；其中，该理论位姿信息可以包括：位置信息和姿态角信息。为了对车轮编码器进行校正，可以利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，从而调整所述机器人的位姿，实时消除车轮编码器的累计误差，进而提高机器人定位的准确度。并且可以根据预先存储的离线地图确定机器人在地图中的位置，实现机器人的实时导航定位。
图5为本发明实施例提供的一种机器人室内导航定位的装置的结构示意图，所述装置包括：预处理模块51、检测模块52、摄像头失真校正模块53、特征信息提取模块54、IPM变换模块55、判断模块56、确定模块57和调整模块58；
所述预处理模块51，用于依据摄像头捕获的图像，对所述图像进行预处理。
所述检测模块52，用于对所述预处理后的图像进行边缘检测，检测出所述图像中的边缘特征。
所述摄像头失真校正模块53，用于依据预先设置的摄像头失真参数，对所述边缘检测后的图像进行摄像头失真校正。
所述特征信息提取模块54，用于对所述摄像头失真校正后的图像进行特征信息的提取，拟合出对应的特征图形。
所述IPM变换模块55，用于对所述特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程。
所述判断模块56，用于依据预先存储的地图信息，判断所述特征图形是否为有效图形。
若是，则触发所述确定模块57，所述确定模块57，用于依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；所述理论位姿信息包括：位置信息和姿态角信息。
所述调整模块58，用于利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，调整所述机器人的位姿。
可选的，还包括点校正模块：
所述点校正模块，用于从所述图像中的边缘特征上提取预设个数的像素点，对所述图像进行点校正；
相应的，所述摄像头失真校正模块具体用于依据预先设置的摄像头失真参数，对所述点校正后的图像进行摄像头失真校正。
可选的，还包括第二判断模块：
所述第二判断模块，用于判断所述机器人是否行驶完毕预先设置的目标行走路径；若否，则触发所述预处理模块。
由上述技术方案可以看出，依据摄像头捕获的图像，对所述图像进行预处理、边缘检测、摄像头失真校正以及提取特征信息等一系列操作，从而从该图像中拟合出特征图形；由于预先存储的地图信息采用的是世界坐标系，因此，需要对拟合出的特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；从而可以依据预先存储的地图信息，判断所述特征图形是否为有效图形。当该特征图形为有效图形时，则可以依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；其中，该理论位姿信息可以包括：位置信息和姿态角信息。为了对车轮编码器进行校正，可以利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，从而调整所述机器人的位姿，实时消除车轮编码器的累计误差，进而提高机器人定位的准确度。并且可以根据预先存储的离线地图确定机器人在地图中的位置，实现机器人的实时导航定位。
图5所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
以上对本发明所提供的一种机器人室内导航定位的方法与装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (6)

1.一种机器人室内导航定位的方法，其特征在于，包括；
S10：依据摄像头捕获的图像，对所述图像进行预处理；
S11：对所述预处理后的图像进行边缘检测，检测出所述图像中的边缘特征；
S12：依据预先设置的摄像头失真参数，对所述边缘检测后的图像进行摄像头失真校正；
S13：对所述摄像头失真校正后的图像进行特征信息的提取，拟合出对应的特征图形；并对所述特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；
S14：依据预先存储的地图信息，判断所述特征图形是否为有效图形；
S15：若是，则依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；所述理论位姿信息包括：位置信息和姿态角信息；
S16：利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，调整所述机器人的位姿。
2.根据权利要求1所述的方法，其特征在于，在所述S12之前，还包括：
从所述边缘特征中提取预设个数的像素点，对所述图像进行点校正；
相应的，所述S12包括：
依据预先设置的摄像头失真参数，对所述点校正后的图像进行摄像头失真校正。
3.根据权利要求1所述的方法，其特征在于，还包括：
判断所述机器人是否行驶完毕预先设置的目标行走路径；
若否，则返回所述S10。
4.一种机器人室内导航定位的装置，其特征在于，包括预处理模块、检测模块、摄像头失真校正模块、特征信息提取模块、IPM变换模块、判断模块、确定模块和调整模块；
所述预处理模块，用于依据摄像头捕获的图像，对所述图像进行预处理；
所述检测模块，用于对所述预处理后的图像进行边缘检测，检测出所述图像中的边缘特征；
所述摄像头失真校正模块，用于依据预先设置的摄像头失真参数，对所述边缘检测后的图像进行摄像头失真校正；
所述特征信息提取模块，用于对所述摄像头失真校正后的图像进行特征信息的提取，拟合出对应的特征图形；
所述IPM变换模块，用于对所述特征图形进行IPM变换，得到所述特征图形在世界坐标系的参数方程；
所述判断模块，用于依据预先存储的地图信息，判断所述特征图形是否为有效图形；
若是，则触发所述确定模块，所述确定模块，用于依据所述有效图形的参数方程，确定出所述机器人的理论位姿信息；所述理论位姿信息包括：位置信息和姿态角信息；
所述调整模块，用于利用卡尔曼滤波器对所述理论位姿信息以及车轮编码器采集到的位姿参数进行融合，计算出所述机器人的位置、速度和姿态角，调整所述机器人的位姿。
5.根据权利要求4所述的装置，其特征在于，还包括点校正模块：
所述点校正模块，用于从所述图像中的边缘特征上提取预设个数的像素点，对所述图像进行点校正；
相应的，所述摄像头失真校正模块具体用于依据预先设置的摄像头失真参数，对所述点校正后的图像进行摄像头失真校正。
6.根据权利要求4所述的装置，其特征在于，还包括第二判断模块：
所述第二判断模块，用于判断所述机器人是否行驶完毕预先设置的目标行走路径；若否，则触发所述预处理模块。
CN201710253937.3A 2017-04-18 2017-04-18 一种机器人室内导航定位的方法与装置 Pending CN108733039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710253937.3A CN108733039A (zh) 2017-04-18 2017-04-18 一种机器人室内导航定位的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710253937.3A CN108733039A (zh) 2017-04-18 2017-04-18 一种机器人室内导航定位的方法与装置

Publications (1)

Publication Number Publication Date
CN108733039A true CN108733039A (zh) 2018-11-02

Family

ID=63925227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710253937.3A Pending CN108733039A (zh) 2017-04-18 2017-04-18 一种机器人室内导航定位的方法与装置

Country Status (1)

Country Link
CN (1) CN108733039A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521768A (zh) * 2018-11-16 2019-03-26 楚天智能机器人（长沙）有限公司 一种基于双pid控制的agv小车的路径纠偏方法
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN109782755A (zh) * 2018-12-27 2019-05-21 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
CN110335309A (zh) * 2019-06-28 2019-10-15 北京云迹科技有限公司 基于摄像头定位机器人的方法及装置
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人
CN110779511A (zh) * 2019-09-23 2020-02-11 北京汽车集团有限公司 位姿变化量的确定方法、装置、系统和车辆
CN110926462A (zh) * 2019-11-04 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 一种基于机载光电探测系统地面目标标记方法
CN111829510A (zh) * 2019-04-15 2020-10-27 富华科精密工业（深圳）有限公司 自动导航方法、服务器及存储介质
CN112004183A (zh) * 2020-07-08 2020-11-27 武汉科技大学 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法
CN111994169A (zh) * 2020-09-08 2020-11-27 北京北特圣迪科技发展有限公司 基于位置补偿的独立驱动转向的表演小车运动控制方法
CN112589806A (zh) * 2020-12-29 2021-04-02 上海擎朗智能科技有限公司 机器人位姿信息确定方法、装置、设备及存储介质
CN112650207A (zh) * 2019-10-11 2021-04-13 杭州萤石软件有限公司 机器人的定位校正方法、设备和存储介质
CN112683266A (zh) * 2019-10-17 2021-04-20 科沃斯机器人股份有限公司 机器人及其导航方法
CN112762928A (zh) * 2020-12-23 2021-05-07 重庆邮电大学 含有激光slam的odom与dm地标组合移动机器人及导航方法
CN113329333A (zh) * 2021-05-27 2021-08-31 中国工商银行股份有限公司 一种室内定位的方法、装置、计算机设备及存储介质
CN114025153A (zh) * 2021-03-05 2022-02-08 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN116185009A (zh) * 2022-12-29 2023-05-30 无锡弘宜智能科技股份有限公司 基于复合导航的差速agv纠偏控制系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182518A1 (en) * 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
CN102368158A (zh) * 2011-09-15 2012-03-07 西北农林科技大学 一种果园机械导航定位方法
CN102656532A (zh) * 2009-10-30 2012-09-05 悠进机器人股份公司 用于移动机器人位置识别的地图的生成及更新方法
CN203444335U (zh) * 2013-08-30 2014-02-19 浙江理工大学 导游机器人的自定位系统
US9193355B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection using light detection and ranging
CN105928514A (zh) * 2016-04-14 2016-09-07 广州智能装备研究院有限公司 基于图像与惯性技术的agv复合导引系统
CN106020201A (zh) * 2016-07-13 2016-10-12 广东奥讯智能设备技术有限公司 移动机器人3d导航定位系统及导航定位方法
US20170064278A1 (en) * 2014-04-18 2017-03-02 Autonomous Solutions, Inc. Stereo vision for sensing vehicles operating environment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182518A1 (en) * 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
CN102656532A (zh) * 2009-10-30 2012-09-05 悠进机器人股份公司 用于移动机器人位置识别的地图的生成及更新方法
CN102368158A (zh) * 2011-09-15 2012-03-07 西北农林科技大学 一种果园机械导航定位方法
US9193355B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection using light detection and ranging
CN203444335U (zh) * 2013-08-30 2014-02-19 浙江理工大学 导游机器人的自定位系统
US20170064278A1 (en) * 2014-04-18 2017-03-02 Autonomous Solutions, Inc. Stereo vision for sensing vehicles operating environment
CN105928514A (zh) * 2016-04-14 2016-09-07 广州智能装备研究院有限公司 基于图像与惯性技术的agv复合导引系统
CN106020201A (zh) * 2016-07-13 2016-10-12 广东奥讯智能设备技术有限公司 移动机器人3d导航定位系统及导航定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MIGUEL OLIVEIRA: "Multimodal inverse perspective mapping", 《INFORMATION FUSION》 *
李玉榕: "多传感器融合在移动机器人运动控制中的应用", 《仪器仪表学报》 *
王康友: "室内近距高精度惯性/视觉融合定姿研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
黄先伟: "基于嵌入式Linux多传感器融合的移动机器人避障系统", 《机械设计与制造》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109521768A (zh) * 2018-11-16 2019-03-26 楚天智能机器人（长沙）有限公司 一种基于双pid控制的agv小车的路径纠偏方法
CN109540144A (zh) * 2018-11-29 2019-03-29 北京久其软件股份有限公司 一种室内定位方法及装置
CN109782755A (zh) * 2018-12-27 2019-05-21 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
CN109782755B (zh) * 2018-12-27 2022-05-31 广东飞库科技有限公司 控制agv进行校准、agv校准位置的方法、计算机存储介质及agv
CN111829510A (zh) * 2019-04-15 2020-10-27 富华科精密工业（深圳）有限公司 自动导航方法、服务器及存储介质
CN110335309A (zh) * 2019-06-28 2019-10-15 北京云迹科技有限公司 基于摄像头定位机器人的方法及装置
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人
CN110706248B (zh) * 2019-08-20 2024-03-12 广东工业大学 一种基于slam的视觉感知建图方法及移动机器人
CN110779511A (zh) * 2019-09-23 2020-02-11 北京汽车集团有限公司 位姿变化量的确定方法、装置、系统和车辆
CN110779511B (zh) * 2019-09-23 2021-09-21 北京汽车集团有限公司 位姿变化量的确定方法、装置、系统和车辆
CN112650207A (zh) * 2019-10-11 2021-04-13 杭州萤石软件有限公司 机器人的定位校正方法、设备和存储介质
CN112683266A (zh) * 2019-10-17 2021-04-20 科沃斯机器人股份有限公司 机器人及其导航方法
CN110926462A (zh) * 2019-11-04 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 一种基于机载光电探测系统地面目标标记方法
CN112004183A (zh) * 2020-07-08 2020-11-27 武汉科技大学 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法
CN112004183B (zh) * 2020-07-08 2022-05-31 武汉科技大学 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法
CN111994169A (zh) * 2020-09-08 2020-11-27 北京北特圣迪科技发展有限公司 基于位置补偿的独立驱动转向的表演小车运动控制方法
CN112762928A (zh) * 2020-12-23 2021-05-07 重庆邮电大学 含有激光slam的odom与dm地标组合移动机器人及导航方法
CN112762928B (zh) * 2020-12-23 2022-07-15 重庆邮电大学 含有激光slam的odom与dm地标组合移动机器人及导航方法
CN112589806A (zh) * 2020-12-29 2021-04-02 上海擎朗智能科技有限公司 机器人位姿信息确定方法、装置、设备及存储介质
CN112589806B (zh) * 2020-12-29 2022-04-01 上海擎朗智能科技有限公司 机器人位姿信息确定方法、装置、设备及存储介质
CN114025153A (zh) * 2021-03-05 2022-02-08 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN114025153B (zh) * 2021-03-05 2023-11-21 黑芝麻智能科技有限公司 LiDAR辅助的轮编码器到相机的校准
CN113329333A (zh) * 2021-05-27 2021-08-31 中国工商银行股份有限公司 一种室内定位的方法、装置、计算机设备及存储介质
CN116185009A (zh) * 2022-12-29 2023-05-30 无锡弘宜智能科技股份有限公司 基于复合导航的差速agv纠偏控制系统及方法

Similar Documents

Publication Publication Date Title
CN108733039A (zh) 一种机器人室内导航定位的方法与装置
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
JP7073315B2 (ja) 乗物、乗物測位システム、及び乗物測位方法
CN106338245B (zh) 一种工件非接触移动测量方法
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN106407315B (zh) 一种基于街景图像数据库的车辆自主定位方法
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN111220153B (zh) 基于视觉拓扑节点和惯性导航的定位方法
CN105300403B (zh) 一种基于双目视觉的车辆里程计算法
CN107422730A (zh) 基于视觉导引的agv运输系统及其驾驶控制方法
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航系统及方法
CN108759823B (zh) 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
CA2526105A1 (en) Image display method and image display apparatus
CN106289285A (zh) 一种关联场景的机器人侦察地图及构建方法
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN108279677B (zh) 基于双目视觉传感器的轨道机器人检测方法
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN112805766A (zh) 用于更新详细地图的装置和方法
CN106652028A (zh) 一种环境三维建图方法及装置
JP6135972B2 (ja) 標定方法、標定プログラム、及び標定装置
CN113580134A (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
JP5375249B2 (ja) 移動経路計画装置、移動体制御装置及び移動体
Le et al. Vehicle localization using omnidirectional camera with GPS supporting in wide urban area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20181116

Address after: 523003 Room 258, Building D-1, Innovation City, Xincheng Road University, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant after: Dongguan City precision intelligent electronic Co. Ltd.

Address before: 510062 courtyard 729, Dongfeng East Road, Yuexiu District, Guangzhou, Guangdong

Applicant before: Guangdong University of Technology

AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20211217