CN108663681A - 基于双目摄像头与二维激光雷达的移动机器人导航方法 - Google Patents
基于双目摄像头与二维激光雷达的移动机器人导航方法 Download PDFInfo
- Publication number
- CN108663681A CN108663681A CN201810465437.0A CN201810465437A CN108663681A CN 108663681 A CN108663681 A CN 108663681A CN 201810465437 A CN201810465437 A CN 201810465437A CN 108663681 A CN108663681 A CN 108663681A
- Authority
- CN
- China
- Prior art keywords
- laser radar
- robot
- coordinate
- coordinate system
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
Abstract
本发明公开了一种基于双目摄像头与二维激光雷达的移动机器人导航方法，包括步骤：建立二维栅格地图模型；建立移动机器人位姿模型；建立激光雷达数据模型；建立双目摄像头与激光雷达的联合标定模型；利用Dijkstra算法和A‑Star算法进行路径规划与避障导航。该方法能够通过三角形联合标定法，确定双目摄像头与二维激光雷达的相对位置与相对朝向；能够在已知环境二维栅格地图环境下，使用双目摄像头探测环境中高于和低于二维激光雷达平面的障碍物，并且将障碍物映射到环境地图中，通过最短路径算法与启发式搜索优化，得到避开障碍物的导航路径线，可以使移动机器人在运动过程中沿着避开障碍的路径到达目的地。
Description
技术领域
本发明涉及移动机器人导航的技术领域，尤其是指一种基于双目摄像头与二维激光雷达的移动机器人导航方法。
背景技术
随着科学技术的高度发展，机器人系统的应用领域越来越广泛，如工业、农业、医疗等。随着机器人系统的广泛应用，智能化成为其发展的一个重要方向，其中移动机器人使用环境地图进行导航是智能机器人领域的一项重要工作。
近年来，移动机器人在真实环境下的创建地图、跟踪定位、自主规划、自主导航、自主避障等诸多领域取得了可喜的成就。移动机器人在导航上已经发展了基本的理论基础，对移动机器人在已知环境下的路径规划，避障导航，实时路径调整也发展了各种实现方法。由于不同的机器人使用的传感器类型不同，以及所面对的环境规模的不同，不同类型的传感器在移动机器人避障导航中往往需要进行数据融合，使得机器人系统同时考虑源自多种传感器的数据信息，进行机器人的路径规划。
在不同的地图中有不同的路径规划算法，大多数算法都离不开图论模型中经典的最短路径算法。在此基础上，在近年的研究中，不断有新颖高效的导航算法提出，比如说基于快速扩展随机树(RRT)算法为轮式移动机器人提供全局路径规划；还有采用粒子群算法与人工线势场法相融合进行路径规划与动态避障的方法，实现向目的地移动的同时实时避开动态障碍物。
对于深度传感器的应用是机器人导航中获取环境信息的关键，传统的深度传感器有超声波测距传感器，单线激光测距仪，多线激光阵列传感器，立体相机等等。这些传感器硬件从被发明以来一直在朝着高精度，长距离，高帧率的方向发展。已有的廉价单线激光雷达基于三角测量原理，利用障碍物远近不同的反射角度测量距离，其精度和实时性可以达到配置在移动机器人上实现实时动态获取环境信息，但是由于单线激光雷达只能采集一个平面内的障碍信息，对于高于或低于激光雷达的障碍物无法直接探测。
而双目视觉系统利用双目摄像头进行三维测距，对硬件设备的运算能力要求较高，目前的算法常常需要牺牲精度换取运算效率。目前依靠高精度摄像头组成的双目视觉系统可以实现对三维场景的重建。
而对于机器人软件系统，目前主流的机器人系统框架是基于ROS(The RobotOperating System)系统，该系统提供有各种主流传感器的数据接口，也提供对机器人的控制接口，可以在真实环境下完成各类型机器人的实验。并且ROS系统提供有友好的可视化界面，可以实时远程监控各个传感器以及机器人性能信息。
发明内容
本发明的目的在于克服二维激光传感器只能探测单一平面障碍物的不足，利用双目摄像头与二维激光雷达进行数据融合，使机器人系统能够通过双目摄像头探测低于和高于激光雷达平面的障碍物，提出了一种基于双目摄像头与二维激光雷达的移动机器人导航方法，该方法能够利用事先标定好的激光雷达与双目摄像头的相对位置，将双目摄像头探测到的不同平面内的障碍物映射到激光雷达数据模型当中，作为局部环境信息，在路径规划的过程中，同时考虑激光雷达的障碍物数据与双目视觉系统的障碍物数据，
为实现上述目的，本发明所提供的技术方案为：基于双目摄像头与二维激光雷达的移动机器人导航方法，包括以下步骤：
1)建立二维栅格地图模型：建立以二维栅格地图作为环境障碍信息的环境地图模型，建立世界坐标系与地图坐标系的转换关系。
2)建立移动机器人位姿模型：建立以移动机器人中心为原点的机器人坐标系，建立二维坐标平面上的机器人位姿模型，并以坐标系转换关系的形式表示机器人在环境中的位姿；
3)建立激光雷达数据模型：根据二维激光雷达的安放位置与朝向，建立激光雷达数据模型，并根据步骤1)建立的地图模型和步骤2)建立的机器人位姿模型，以及激光雷达的数据协议，实现激光雷达对环境距离的测量并将测量到的障碍物数据映射到环境地图当中；
4)建立双目摄像头与激光雷达的联合标定模型：使用三角形标定法，实现对双目摄像头与激光雷达相对位置和朝向的确定，并建立双目视觉系统坐标系与激光雷达坐标系的转换模型，将步骤3)所述的激光雷达数据与双目摄像头探测到的障碍信息融合到同一坐标系进行表示；
5)利用Dijkstra算法和A-Star算法进行路径规划与避障导航：采用步骤1)所使用的环境地图与步骤4)中的双目摄像头和激光雷达融合的机器人周边的局部环境障碍数据，使用Dijkstra算法和A-Star算法计算机器人到达目标点的导航路径线，使得移动机器人能够沿着该路径线运动到达目标点并且能避开双目摄像头和激光雷达探测到的障碍物。
在步骤1)中，模型使用二维栅格地图表示环境障碍信息，二维栅格地图模型在系统中以灰度图片的形式保存，并且在模型中记录了地图图片的高度Height，地图图片的宽度Width，以及地图左下角像素的对应的世界坐标定义地图图片中左上角像素为地图坐标系的原点(0,0)，行坐标以地图图片从上到下为正方向，列坐标以地图图片从左到右为正方向，定义世界坐标的原点在地图坐标处，世界坐标系的x轴方向对应地图坐标系中列坐标增大的方向，世界坐标系的y轴方向对应地图坐标系中行坐标减小的方向，世界坐标系以现实中的米为单位，每一个像素对应了现实世界中一个长宽都是5cm的正方形二维平面区域，若像素值为白色，则表示该区域不存在障碍物，若像素值为黑色，则代表该区域存在障碍物。
在步骤2)中，所述机器人位姿模型，以机器人中心为原点，机器人中心到机器人正面方向为x轴，以米为单位建立右手平面直角坐标系，即为机器人坐标系，并且用Pose(x,y,θ)表示机器人的位姿，其中x,y代表机器人坐标系的原点所处的世界坐标系的坐标，θ表示世界坐标系x轴方向到机器人坐标系x轴方向的夹角，以逆时针为角度增大的方向，则机器人坐标系中的坐标对应到世界坐标系中的坐标转换如下：
其中机器人坐标的坐标用(Xrobot,Yrobot)表示，世界坐标系中的坐标用(Xworld,Yworld)表示。
在步骤3)中，所述激光雷达数据模型形式如下：
二维激光雷达可以扫描一个平面内360度范围内的障碍信息，一般的二维激光雷达扫描范围可达8米，角度分辨率为1度，在二维激光雷达的数据模型中，每次传输数据将传输360个浮点数据，从激光雷达的0度方向开始，逆时针方向传输每1角方向上的障碍距离激光雷达中心的距离，以米为单位，并且记录i度方向上的障碍物距离雷达中心距离为ρi，当二维激光雷达中心安装在机器人坐标系中的(0.08,0)处，激光雷达的0度方向与机器人坐标系的y轴方向平行且朝向相同时，当机器人处于位姿状态Pose(x,y,θ)时，雷达数据ρi映射到世界坐标系中坐标，
并且将雷达数据ρi最终映射到地图坐标系中的坐标，
其中，height代表地图图片行坐标，width代表地图图片列坐标。
在步骤4)中，使用三角形标定法的双目摄像头与激光雷达的联合标定模型，如下：
根据双目视觉系统的定义，以双目摄像头中的左摄像头的光心为原点，光轴方向为z轴，基线方向从左向右为x轴，以米为单位，建立右手空间直角坐标系，称为双目坐标系，在空间中有一个任意形状的三角形，三角形的三个顶点(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)确定一个平面，该平面与激光雷达的探测平面相交，在三角形内产生一条交线，该交线两端对应了激光雷达的两个数据，记为ρi，ρj，记激光雷达原点与交线两端连线的夹角θ＝j-i，通过三角形标定法得到激光雷达中心在双目坐标系中的位置坐标(dx,dy,dz)，以及激光雷达的0度角到双目坐标系的x轴的夹角β，方法如下：
交线长度设交线两端的点坐标分别为(PiX,dy,PiZ)，(PjX,dy,PjZ)。设比例系数K满足：
则(PjX,dy,PjZ)满足：
其中而点(dx,dy,dz)坐标可以通过解三角形求得，
其中，激光雷达在双目视觉系统中的相对朝向
对于双目视觉系统检测到的障碍物，如果该障碍物满足低于移动机器人的高度，则通过双目视觉系统计算得出该障碍物在双目坐标系当中的坐标(X,Y,Z)，根据双目摄像头与激光雷达的相对位置可以将双目摄像头探测到的障碍物坐标映射到激光雷达模型中进行表示，
其中i代表该障碍在激光雷达模型中的角度信息，ρ代表在该角度上的距离信息，通过比较角度i上激光雷达检测到的距离信息ρi，取ρ与ρi的较小值为当前角度i上的障碍距离值。
在步骤5)中，进行路径规划与避障导航，采用Dijkstra最短路径算法与启发式搜索A-Star优化完成路径规划，使用二维栅格地图表示全局环境的障碍物信息，使用双目摄像头和二维激光雷达同时探测障碍物，并且融合二者测量到的障碍物距离信息作为局部环境障碍物信息，将局部环境障碍信息映射到环境地图当中，将机器人周边5米范围内的全局障碍信息使用局部障碍信息替换，在替换后的地图中根据机器人半径大小，在障碍物外围添加“禁区”，在“禁区”外围设置一个半径大小的安全距离，在安全距离范围内的像素赋予安全距离权值，安全距离范围内的像素的安全距离权值按照0到255线性均匀变化，对于每一个非“禁区”且非障碍物像素，设置与其8-连通方向相邻像素的边权值为像素之间的欧几里得距离，而相邻像素之间的实际权值模型如下：
COST(i,j)＝α*dist(i,j)+β*safty(j)
其中COST(i,j)即是相邻的像素i与j的综合考虑距离与安全因素的权值，dist(i,j)是相邻像素i与j的欧几里得距离，safty(j)是像素j的安全距离权值，α,β是比重参数，α＝1,β＝0.02。
所述的Dijkstra最短路径算法与启发式搜索A-Star优化，如下：
定义地图图片中非障碍且非“禁区”像素为点集，点集中所有8-连通相邻的像素之间的COST(i,j)权值为带权边集，机器人当前位置所在像素为起点，用户指定的目标点为终点，使用Dijkstra算法寻找一条起点到终点权值和最低的路径，作为该次导航的路径线，其中Dijkstra使用小根堆进行优化，而启发式搜索A-Star用到的启发式函数h(x)定义为像素x到目的地像素的欧几里得距离。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明的双目摄像头与二维激光雷达的联合标定方法，实现了将双目摄像头探测到的数据映射到激光雷达数据模型中，实现了二者基于相对位置的传感器融合。
2、本发明的障碍物探测方法，可以利用双目摄像头和二维激光雷达实现路径规划的时候探测低于和高于激光雷达平面的障碍物，并且将障碍物的位置映射到二维栅格地图中。
3、本发明的移动机器人导航方法，可以基于全局环境地图和局部环境地图，同时考虑双目摄像头与激光雷达探测到的障碍物，不同于其他基于二维激光雷达的导航方法，本发明在路径规划的过程中可以避开环境中各种高度的障碍物。在实际的应用中，实现了移动机器人的智能路径规划导航与智能避障。
附图说明
图1为二维栅格地图示意图。
图2为地图对应的真实环境示意图。
图3为移动机器人硬件平台示意图。
图4为机器人坐标系定义以及激光雷达0度方向示意图。
图5为三角形标定法示意图。
图6为激光雷达与双目摄像头的安装方式示意图。
图7为现实环境障碍示意图。
图8为双目摄像头与激光雷达融合探测的障碍地图示意图。
图9为禁区与安全距离权值设置示意图。
图10为机器人系统中计算得出的导航路径线示意图。
图11为机器人按照导航路径线避开障碍到达目的结果示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本发明所提供的基于双目摄像头与二维激光雷达的移动机器人导航方法，包括以下步骤：
1)建立二维栅格地图模型：建立以二维栅格地图作为环境障碍信息的环境地图模型，建立世界坐标系与地图坐标系的转换关系。其中，模型使用二维栅格地图表示环境障碍信息，二维栅格地图模型在系统中以灰度图片的形式保存，并且在模型中记录了地图图片的高度Height，地图图片的宽度Width，以及地图左下角像素的对应的世界坐标(Xlowerleft,Ylowerleft)，定义地图图片中左上角像素为地图坐标系的原点(0,0)，行坐标以地图图片从上到下为正方向，列坐标以地图图片从左到右为正方向，定义世界坐标的原点在地图坐标处，世界坐标系的x轴方向对应地图坐标系中列坐标增大的方向，世界坐标系的y轴方向对应地图坐标系中行坐标减小的方向，世界坐标系以现实中的米为单位，每一个像素对应了现实世界中一个长宽都是5cm的正方形二维平面区域，若像素值为白色，则表示该区域不存在障碍物，若像素值为黑色，则代表该区域存在障碍物。
2)建立移动机器人位姿模型：建立以移动机器人中心为原点的机器人坐标系，建立二维坐标平面上的机器人位姿模型，并以坐标系转换关系的形式表示机器人在环境中的位姿。其中，所述机器人位姿模型，以机器人中心为原点，机器人中心到机器人正面方向为x轴，以米为单位建立右手平面直角坐标系，即为机器人坐标系，并且用Pose(x,y,θ)表示机器人的位姿，其中x,y代表机器人坐标系的原点所处的世界坐标系的坐标，θ表示世界坐标系x轴方向到机器人坐标系x轴方向的夹角，以逆时针为角度增大的方向，则机器人坐标系中的坐标对应到世界坐标系中的坐标转换如下：
其中机器人坐标的坐标用(Xrobot,Yrobot)表示，世界坐标系中的坐标用(Xworld,Yworld)表示。
3)建立激光雷达数据模型：根据二维激光雷达的安放位置与朝向，建立激光雷达数据模型，并根据步骤1)建立的地图模型和步骤2)建立的机器人位姿模型，以及激光雷达的数据协议，实现激光雷达对环境距离的测量并将测量到的障碍物数据映射到环境地图当中。其中，所述激光雷达数据模型形式如下：
二维激光雷达可以扫描一个平面内360度范围内的障碍信息，一般的二维激光雷达扫描范围可达8米，角度分辨率为1度，在二维激光雷达的数据模型中，每次传输数据将传输360个浮点数据，从激光雷达的0度方向开始，逆时针方向传输每1角方向上的障碍距离激光雷达中心的距离，以米为单位，并且记录i度方向上的障碍物距离雷达中心距离为ρi，当二维激光雷达中心安装在机器人坐标系中的(0.08,0)处，激光雷达的0度方向与机器人坐标系的y轴方向平行且朝向相同时，当机器人处于位姿状态Pose(x,y,θ)时，雷达数据ρi映射到世界坐标系中坐标，
并且将雷达数据ρi最终映射到地图坐标系中的坐标，
其中，height代表地图图片行坐标，width代表地图图片列坐标。
4)建立双目摄像头与激光雷达的联合标定模型：使用三角形标定法，实现对双目摄像头与激光雷达相对位置和朝向的确定，并建立双目视觉系统坐标系与激光雷达坐标系的转换模型，将步骤3)所述的激光雷达数据与双目摄像头探测到的障碍信息融合到同一坐标系进行表示。其中，使用三角形标定法的双目摄像头与激光雷达的联合标定模型，如下：
根据双目视觉系统的定义，以双目摄像头中的左摄像头的光心为原点，光轴方向为z轴，基线方向从左向右为x轴，以米为单位，建立右手空间直角坐标系，称为双目坐标系，在空间中有一个任意形状的三角形，三角形的三个顶点(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)确定一个平面，该平面与激光雷达的探测平面相交，在三角形内产生一条交线，该交线两端对应了激光雷达的两个数据，记为ρi，ρj，记激光雷达原点与交线两端连线的夹角θ＝j-i，通过三角形标定法得到激光雷达中心在双目坐标系中的位置坐标(dx,dy,dz)，以及激光雷达的0度角到双目坐标系的x轴的夹角β，方法如下：
交线长度设交线两端的点坐标分别为(PiX,dy,PiZ)，(PjX,dy,PjZ)。设比例系数K满足：
则(PjX,dy,PjZ)满足：
其中而点(dx,dy,dz)坐标可以通过解三角形求得，
其中，激光雷达在双目视觉系统中的相对朝向
对于双目视觉系统检测到的障碍物，如果该障碍物满足低于移动机器人的高度，则通过双目视觉系统计算得出该障碍物在双目坐标系当中的坐标(X,Y,Z)，根据双目摄像头与激光雷达的相对位置可以将双目摄像头探测到的障碍物坐标映射到激光雷达模型中进行表示，
其中i代表该障碍在激光雷达模型中的角度信息，ρ代表在该角度上的距离信息，通过比较角度i上激光雷达检测到的距离信息ρi，取ρ与ρi的较小值为当前角度i上的障碍距离值。
5)利用Dijkstra算法和A-Star算法进行路径规划与避障导航：采用步骤1)所使用的环境地图与步骤4)中的双目摄像头和激光雷达融合的机器人周边的局部环境障碍数据，使用Dijkstra算法和A-Star算法计算机器人到达目标点的导航路径线，使得移动机器人能够沿着该路径线运动到达目标点并且能避开双目摄像头和激光雷达探测到的障碍物。其中，进行路径规划与避障导航，采用Dijkstra最短路径算法与启发式搜索A-Star优化完成路径规划，使用二维栅格地图表示全局环境的障碍物信息，使用双目摄像头和二维激光雷达同时探测障碍物，并且融合二者测量到的障碍物距离信息作为局部环境障碍物信息，将局部环境障碍信息映射到环境地图当中，将机器人周边5米范围内的全局障碍信息使用局部障碍信息替换，在替换后的地图中根据机器人半径大小，在障碍物外围添加“禁区”，在“禁区”外围设置一个半径大小的安全距离，在安全距离范围内的像素赋予安全距离权值，安全距离范围内的像素的安全距离权值按照0到255线性均匀变化，对于每一个非“禁区”且非障碍物像素，设置与其8-连通方向相邻像素的边权值为像素之间的欧几里得距离，而相邻像素之间的实际权值模型如下：
COST(i,j)＝α*dist(i,j)+β*safty(j)
其中COST(i,j)即是相邻的像素i与j的综合考虑距离与安全因素的权值，dist(i,j)是相邻像素i与j的欧几里得距离，safty(j)是像素j的安全距离权值，α,β是比重参数，α＝1,β＝0.02。
所述的Dijkstra最短路径算法与启发式搜索A-Star优化，如下：
定义地图图片中非障碍且非“禁区”像素为点集，点集中所有8-连通相邻的像素之间的COST(i,j)权值为带权边集，机器人当前位置所在像素为起点，用户指定的目标点为终点，使用Dijkstra算法寻找一条起点到终点权值和最低的路径，作为该次导航的路径线，其中Dijkstra使用小根堆进行优化，而启发式搜索A-Star用到的启发式函数h(x)定义为像素x到目的地像素的欧几里得距离。
实施例：在KOBUKI移动机器人平台上完成基于双目摄像头与二维激光雷达的移动机器人导航。
(1)二维栅格地图模型
二维栅格地图如图1所示，储存信息包括每行像素个数以及地图图片总共的行数，地图中每一个像素代表真实环境中一个长宽5cm的平面区域，使用黑色像素代表该区域存在障碍，白色像素代表该区域不存在障碍。
本实例中，地图图片宽度为50像素，高度为60像素，代表一块宽2.5米，长3米的实验场地，如图2所示。
(2)移动机器人平台模型
在移动机器人硬件平台的选择上，使用了KOBUKI通用移动机器人底座，以及LSLIDAR2D激光雷达和两个普通的30万像素摄像头作为传感器获取距离信息，一个X86平台4GB内存的终端作为机器人服务端，如图3所示。
本实例中对传感器的安装方式与机器人坐标的设置如图4所示，以机器人中心为原点，以机器人正面方向为x轴，建立右手平面坐标系，并且将激光雷达的0度方向摆放与机器人坐标系的y轴平行。
(3)双目摄像头与激光雷达联合标定
对于激光雷达的扫描平面与双目视觉系统中两个摄像头之间的连线平行的情况下，可以使用三角形标定法确定激光雷达与双目摄像头的相对位置和相对朝向，如图5所示。
本实例中，使用双目摄像头获取三角形三个顶点(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)的坐标，以及三角形在激光雷达中的距离和角度数据ρi，ρj，则，三角形在激光雷达数据所占据的角度大小为θ＝j-i，要计算激光雷达中心在双目坐标系中的位置坐标(dx,dy,dz)，以及激光雷达的0度角到双目坐标系的x轴的夹角β，具体方法为：
交线长度设交线两端的点坐标分别为(PiX,dy,PiZ)，(PjX,dy,PjZ)。设比例系数K满足：
则(PjX,dy,PjZ)满足：
其中而点(dx,dy,dz)坐标可以通过解三角形求得，
其中，激光雷达在双目视觉系统中的相对朝向
(4)基于双目摄像头与激光雷达的融合路径规划
本实施例中：在机器人平台上，双目摄像头与激光雷达固定的形式如图6所示。
根据双目摄像头与二维激光雷达的融合模型，对于双目视觉系统检测到的障碍物，如果该障碍物满足低于移动机器人的高度，则通过双目视觉系统计算得出该障碍物在双目坐标系当中的坐标(X,Y,Z)，根据双目摄像头与激光雷达的相对位置可以将双目摄像头探测到的障碍物坐标映射到激光雷达模型中进行表示，
其中i代表该障碍在激光雷达模型中的角度信息，ρ代表在该角度上的距离信息，通过比较角度i上激光雷达检测到的距离信息ρi，取ρ与ρi的较小值为当前角度i上的障碍距离值。
在实例中，真实环境如图7所示，而在机器人系统中使用二维栅格地图表示全局环境的障碍物信息，使用双目摄像头和二维激光雷达同时探测障碍物，并且融合二者测量到的障碍物距离信息作为局部环境障碍物信息，将局部环境障碍信息映射到环境地图当中，将机器人周边5米范围内的全局障碍信息使用局部障碍信息替换，如图8所示，在图7中白色矮箱子是低于激光雷达扫描平面的障碍，它由双目摄像头探测得到，并且映射到了图8的地图中。在替换后的地图中根据机器人半径大小，在障碍物外围添加“禁区”，在“禁区”外围设置一个半径大小的安全距离，在安全距离范围内的像素赋予安全距离权值，安全距离范围内的像素的安全距离权值按照0到255线性均匀变化。如图9所示，机器人半径20cm时，设置4个像素宽的禁区，并设置25cm也就是5个像素的安全距离，安全距离权值如图9中数字所示。对于每一个非“禁区”且非障碍物像素，设置与其8-连通方向相邻像素的边权值为像素之间的欧几里得距离，而相邻像素之间的实际权值模型如下：
COST(i,j)＝α*dist(i,j)+β*safty(j)
其中COST(i,j)即是相邻的像素i与j的综合考虑距离与安全因素的权值，dist(i,j)是相邻像素i与j的欧几里得距离，safty(j)是像素j的安全距离权值，α,β是比重参数，α＝1,β＝0.02。
在实例中，使用Dijkstra最短路径算法与启发式搜索A-Star优化，定义地图图片中非障碍且非“禁区”像素为点集，点集中所有8-连通相邻的像素之间的COST(i,j)权值为带权边集，机器人当前位置所在像素为起点，用户指定的目标点为终点，使用Dijkstra算法寻找一条起点到终点权值和最低的路径，作为该次导航的路径线，其中Dijkstra使用小根堆进行优化，而启发式搜索A-Star用到的启发式函数h(x)定义为像素x到目的地像素的欧几里得距离，得到的路径规划结果如图10所示，机器人实际运动将按照导航路径线，绕开环境中的白色矮箱子到达目的地，如图11所示。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
Claims (8)
1.基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于，包括以下步骤：
1)建立二维栅格地图模型：建立以二维栅格地图作为环境障碍信息的环境地图模型，建立世界坐标系与地图坐标系的转换关系；
2)建立移动机器人位姿模型：建立以移动机器人中心为原点的机器人坐标系，建立二维坐标平面上的机器人位姿模型，并以坐标系转换关系的形式表示机器人在环境中的位姿；
3)建立激光雷达数据模型：根据二维激光雷达的安放位置与朝向，建立激光雷达数据模型，并根据步骤1)建立的地图模型和步骤2)建立的机器人位姿模型，以及激光雷达的数据协议，实现激光雷达对环境距离的测量并将测量到的障碍物数据映射到环境地图当中；
4)建立双目摄像头与激光雷达的联合标定模型：使用三角形标定法，实现对双目摄像头与激光雷达相对位置和朝向的确定，并建立双目视觉系统坐标系与激光雷达坐标系的转换模型，将步骤3)所述的激光雷达数据与双目摄像头探测到的障碍信息融合到同一坐标系进行表示；
5)利用Dijkstra算法和A-Star算法进行路径规划与避障导航：采用步骤1)所使用的环境地图与步骤4)中的双目摄像头和激光雷达融合的机器人周边的局部环境障碍数据，使用Dijkstra算法和A-Star算法计算机器人到达目标点的导航路径线，使得移动机器人能够沿着该路径线运动到达目标点并且能避开双目摄像头和激光雷达探测到的障碍物。
2.根据权利要求1所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：在步骤1)中，模型使用二维栅格地图表示环境障碍信息，二维栅格地图模型在系统中以灰度图片的形式保存，并且在模型中记录了地图图片的高度Height，地图图片的宽度Width，以及地图左下角像素的对应的世界坐标(Xlowerleft,Ylowerleft)，定义地图图片中左上角像素为地图坐标系的原点(0,0)，行坐标以地图图片从上到下为正方向，列坐标以地图图片从左到右为正方向，定义世界坐标的原点在地图坐标处，世界坐标系的x轴方向对应地图坐标系中列坐标增大的方向，世界坐标系的y轴方向对应地图坐标系中行坐标减小的方向，世界坐标系以现实中的米为单位，每一个像素对应了现实世界中一个长宽都是5cm的正方形二维平面区域，若像素值为白色，则表示该区域不存在障碍物，若像素值为黑色，则代表该区域存在障碍物。
3.根据权利要求1所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：在步骤2)中，所述机器人位姿模型，以机器人中心为原点，机器人中心到机器人正面方向为x轴，以米为单位建立右手平面直角坐标系，即为机器人坐标系，并且用Pose(x,y,θ)表示机器人的位姿，其中x,y代表机器人坐标系的原点所处的世界坐标系的坐标，θ表示世界坐标系x轴方向到机器人坐标系x轴方向的夹角，以逆时针为角度增大的方向，则机器人坐标系中的坐标对应到世界坐标系中的坐标转换如下：
其中，机器人坐标的坐标用(Xrobot,Yrobot)表示，世界坐标系中的坐标用(Xworld,Yworld)表示。
4.根据权利要求1所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：在步骤3)中，所述激光雷达数据模型形式如下：
二维激光雷达能够扫描一个平面内360度范围内的障碍信息，二维激光雷达扫描范围可达8米，角度分辨率为1度，在二维激光雷达的数据模型中，每次传输数据将传输360个浮点数据，从激光雷达的0度方向开始，逆时针方向传输每1角方向上的障碍距离激光雷达中心的距离，以米为单位，并且记录i度方向上的障碍物距离雷达中心距离为ρi，当二维激光雷达中心安装在机器人坐标系中的(0.08,0)处，激光雷达的0度方向与机器人坐标系的y轴方向平行且朝向相同时，当机器人处于位姿状态Pose(x,y,θ)时，雷达数据ρi映射到世界坐标系中坐标；
并且将雷达数据ρi最终映射到地图坐标系中的坐标，
其中，height代表地图图片行坐标，width代表地图图片列坐标。
5.根据权利要求1所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：在步骤4)中，使用三角形标定法的双目摄像头与激光雷达的联合标定模型，如下：
根据双目视觉系统的定义，以双目摄像头中的左摄像头的光心为原点，光轴方向为z轴，基线方向从左向右为x轴，以米为单位，建立右手空间直角坐标系，称为双目坐标系，在空间中有一个任意形状的三角形，三角形的三个顶点(X1,Y1,Z1)，(X2,Y2,Z2)，(X3,Y3,Z3)确定一个平面，该平面与激光雷达的探测平面相交，在三角形内产生一条交线，该交线两端对应了激光雷达的两个数据，记为ρi，ρj，记激光雷达原点与交线两端连线的夹角θ＝j-i，通过三角形标定法得到激光雷达中心在双目坐标系中的位置坐标(dx,dy,dz)，以及激光雷达的0度角到双目坐标系的x轴的夹角β，方法如下：
交线长度设交线两端的点坐标分别为(PiX,dy,PiZ)，(PjX,dy,PjZ)；设比例系数K满足：
则(PjX,dy,PjZ)满足：
其中而点(dx,dy,dz)坐标能够通过解三角形求得；
其中，激光雷达在双目视觉系统中的相对朝向
6.根据权利要求5所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：对于双目视觉系统检测到的障碍物，如果该障碍物满足低于移动机器人的高度，则通过双目视觉系统计算得出该障碍物在双目坐标系当中的坐标(X,Y,Z)，根据双目摄像头与激光雷达的相对位置能够将双目摄像头探测到的障碍物坐标映射到激光雷达模型中进行表示，
其中，i代表该障碍在激光雷达模型中的角度信息，ρ代表在该角度上的距离信息，通过比较角度i上激光雷达检测到的距离信息ρi，取ρ与ρi的较小值为当前角度i上的障碍距离值。
7.根据权利要求1所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：在步骤5)中，进行路径规划与避障导航，采用Dijkstra最短路径算法与启发式搜索A-Star优化完成路径规划，使用二维栅格地图表示全局环境的障碍物信息，使用双目摄像头和二维激光雷达同时探测障碍物，并且融合二者测量到的障碍物距离信息作为局部环境障碍物信息，将局部环境障碍信息映射到环境地图当中，将机器人周边5米范围内的全局障碍信息使用局部障碍信息替换，在替换后的地图中根据机器人半径大小，在障碍物外围添加“禁区”，在“禁区”外围设置一个半径大小的安全距离，在安全距离范围内的像素赋予安全距离权值，安全距离范围内的像素的安全距离权值按照0到255线性均匀变化，对于每一个非“禁区”且非障碍物像素，设置与其8-连通方向相邻像素的边权值为像素之间的欧几里得距离，而相邻像素之间的实际权值模型如下：
COST(i,j)＝α*dist(i,j)+β*safty(j)
其中，COST(i,j)即是相邻的像素i与j的综合考虑距离与安全因素的权值，dist(i,j)是相邻像素i与j的欧几里得距离，safty(j)是像素j的安全距离权值，α,β是比重参数，α＝1,β＝0.02。
8.根据权利要求7所述的基于双目摄像头与二维激光雷达的移动机器人导航方法，其特征在于：所述的Dijkstra最短路径算法与启发式搜索A-Star优化，如下：
定义地图图片中非障碍且非“禁区”像素为点集，点集中所有8-连通相邻的像素之间的COST(i,j)权值为带权边集，机器人当前位置所在像素为起点，用户指定的目标点为终点，使用Dijkstra算法寻找一条起点到终点权值和最低的路径，作为该次导航的路径线，其中，Dijkstra使用小根堆进行优化，而启发式搜索A-Star用到的启发式函数h(x)定义为像素x到目的地像素的欧几里得距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810465437.0A CN108663681B (zh) | 2018-05-16 | 2018-05-16 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810465437.0A CN108663681B (zh) | 2018-05-16 | 2018-05-16 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108663681A true CN108663681A (zh) | 2018-10-16 |
| CN108663681B CN108663681B (zh) | 2021-01-19 |
Family
ID=63779559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810465437.0A Active CN108663681B (zh) | 2018-05-16 | 2018-05-16 | 基于双目摄像头与二维激光雷达的移动机器人导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108663681B (zh) |
Cited By (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109443368A (zh) * | 2019-01-14 | 2019-03-08 | 轻客小觅智能科技（北京）有限公司 | 无人驾驶机器人的导航方法、装置、机器人及存储介质 |
| CN109752724A (zh) * | 2018-12-26 | 2019-05-14 | 珠海市众创芯慧科技有限公司 | 一种图像激光一体式导航定位系统 |
| CN109765901A (zh) * | 2019-02-18 | 2019-05-17 | 华南理工大学 | 基于线激光与双目视觉的动态代价地图导航方法 |
| CN109782768A (zh) * | 2019-01-26 | 2019-05-21 | 哈尔滨玄智科技有限公司 | 一种适配于内行星式复合轮系搬运机器人的自主导航系统 |
| CN109916393A (zh) * | 2019-03-29 | 2019-06-21 | 电子科技大学 | 一种基于机器人位姿的多重栅格值导航方法及其应用 |
| CN109910011A (zh) * | 2019-03-29 | 2019-06-21 | 齐鲁工业大学 | 一种基于多传感器的机械臂避障方法和机械臂 |
| CN110210280A (zh) * | 2019-03-01 | 2019-09-06 | 北京纵目安驰智能科技有限公司 | 一种超视距感知方法、系统、终端和存储介质 |
| CN110412596A (zh) * | 2019-07-10 | 2019-11-05 | 上海电机学院 | 一种基于图像信息和激光点云的机器人定位方法 |
| CN110471422A (zh) * | 2019-08-29 | 2019-11-19 | 南京理工大学 | 智能轮椅的障碍物检测与自主避障方法 |
| CN110568846A (zh) * | 2019-08-28 | 2019-12-13 | 佛山市兴颂机器人科技有限公司 | 一种agv的智能导航方法及系统 |
| CN110780670A (zh) * | 2019-09-19 | 2020-02-11 | 上海机器人产业技术研究院有限公司 | 基于模糊控制算法的机器人避障控制方法 |
| CN110827353A (zh) * | 2019-10-18 | 2020-02-21 | 天津大学 | 一种基于单目摄像头辅助的机器人定位方法 |
| CN110826474A (zh) * | 2019-03-10 | 2020-02-21 | 成都家有为力机器人技术有限公司 | 基于特定目标识别与激光slam的语义地图构建的系统 |
| CN111152237A (zh) * | 2020-01-22 | 2020-05-15 | 深圳国信泰富科技有限公司 | 一种两侧设置激光雷达的机器人头部及其环境采样方法 |
| CN111174788A (zh) * | 2018-11-13 | 2020-05-19 | 北京京东尚科信息技术有限公司 | 一种室内二维建图方法和装置 |
| CN111323027A (zh) * | 2018-12-17 | 2020-06-23 | 兰州大学 | 一种基于激光雷达与环视相机融合制作高精度地图方法及装置 |
| CN111352090A (zh) * | 2018-12-21 | 2020-06-30 | 保定市天河电子技术有限公司 | 集成姿态系统的激光雷达及控制方法 |
| CN111366912A (zh) * | 2020-03-10 | 2020-07-03 | 上海西井信息科技有限公司 | 激光传感器与摄像头标定方法、系统、设备及存储介质 |
| CN111637890A (zh) * | 2020-07-15 | 2020-09-08 | 济南浪潮高新科技投资发展有限公司 | 一种结合终端增强现实技术的移动机器人导航方法 |
| CN111781936A (zh) * | 2020-08-07 | 2020-10-16 | 深圳中智永浩机器人有限公司 | 机器人路径规划方法、装置、机器人及计算机可读存储介质 |
| CN111950420A (zh) * | 2020-08-04 | 2020-11-17 | 国以贤智能科技(上海)股份有限公司 | 一种避障方法、装置、设备和存储介质 |
| CN112034861A (zh) * | 2020-09-15 | 2020-12-04 | 航天科工智能机器人有限责任公司 | 一种仿生自主机器人自主避障系统及其避障方法 |
| CN112132929A (zh) * | 2020-09-01 | 2020-12-25 | 北京布科思科技有限公司 | 一种基于深度视觉和单线激光雷达的栅格地图标记方法 |
| CN112232201A (zh) * | 2020-10-15 | 2021-01-15 | 广州富港万嘉智能科技有限公司 | 车辆避障路线规划方法、车辆避障方法、计算机可读存储介质及agv小车 |
| CN112294197A (zh) * | 2020-11-04 | 2021-02-02 | 深圳市普森斯科技有限公司 | 扫地机的清扫控制方法、电子装置及存储介质 |
| CN112379392A (zh) * | 2020-10-26 | 2021-02-19 | 华南理工大学 | 基于单线激光雷达通过隧道的无人车导航控制方法 |
| CN112462768A (zh) * | 2020-11-25 | 2021-03-09 | 深圳拓邦股份有限公司 | 移动机器人导航地图的创建方法、装置及移动机器人 |
| CN112462758A (zh) * | 2020-11-06 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 一种建图方法、装置、计算机可读存储介质及机器人 |
| CN112507899A (zh) * | 2020-12-15 | 2021-03-16 | 上海有个机器人有限公司 | 一种三维激光雷达图像识别方法以及设备 |
| CN112505723A (zh) * | 2021-02-03 | 2021-03-16 | 之江实验室 | 一种基于导航点选择的三维地图重建方法 |
| CN112578363A (zh) * | 2019-09-30 | 2021-03-30 | 上海禾赛科技股份有限公司 | 激光雷达运动轨迹获取方法及装置、介质 |
| CN112612037A (zh) * | 2020-12-01 | 2021-04-06 | 珠海市一微半导体有限公司 | 一种融合定位方法及移动机器人 |
| CN112904331A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN112965082A (zh) * | 2021-02-26 | 2021-06-15 | 浙江大学 | 一种基于激光雷达的自适应沿墙导航方法 |
| CN112995578A (zh) * | 2019-12-02 | 2021-06-18 | 杭州海康威视数字技术股份有限公司 | 电子地图显示方法、装置、系统及电子设备 |
| CN113050632A (zh) * | 2021-03-11 | 2021-06-29 | 珠海市一微半导体有限公司 | 用于机器人探索未知区域的地图探索方法、芯片及机器人 |
| CN113075686A (zh) * | 2021-03-19 | 2021-07-06 | 长沙理工大学 | 一种基于多传感器融合的电缆沟智能巡检机器人建图方法 |
| WO2021134809A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市欢创科技有限公司 | 测距模组、机器人、测距方法及非易失性可读存储介质 |
| CN113377097A (zh) * | 2021-01-25 | 2021-09-10 | 杭州易享优智能科技有限公司 | 一种用于视障人士导盲的路径规划与避障方法 |
| CN113379831A (zh) * | 2021-06-22 | 2021-09-10 | 北京航空航天大学青岛研究院 | 一种基于双目摄像头和人形机器人的增强现实方法 |
| CN113520246A (zh) * | 2021-07-30 | 2021-10-22 | 珠海一微半导体股份有限公司 | 移动机器人补偿清洁方法及系统 |
| CN113589321A (zh) * | 2021-06-16 | 2021-11-02 | 浙江理工大学 | 视觉障碍人员的智能导航助手 |
| CN113640802A (zh) * | 2021-07-30 | 2021-11-12 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
| CN113702995A (zh) * | 2021-09-01 | 2021-11-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种用于辅助挂放接地线作业的空间定位系统 |
| CN113741503A (zh) * | 2021-09-16 | 2021-12-03 | 吉林工程技术师范学院 | 一种自主定位式无人机及其室内路径自主规划方法 |
| CN114637302A (zh) * | 2022-04-15 | 2022-06-17 | 安徽农业大学 | 一种基于计算机视觉的自动行进避障方法及系统 |
| CN114692731A (zh) * | 2022-03-09 | 2022-07-01 | 华南理工大学 | 基于单目视觉与激光测距阵列的环境感知融合方法及系统 |
| CN115328173A (zh) * | 2022-10-14 | 2022-11-11 | 深圳市功夫机器人有限公司 | 基于激光雷达的移动机器人控制方法及移动机器人 |
| AU2021266203B2 (en) * | 2021-01-25 | 2023-01-19 | Shandong Alesmart Intelligent Technology Co., Ltd. | Semantic laser-based multilevel obstacle avoidance system and method for mobile robot |
| CN113640802B (zh) * | 2021-07-30 | 2024-05-17 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102297658A (zh) * | 2011-05-20 | 2011-12-28 | 南京航空航天大学 | 基于双线激光的三维信息检测方法 |
| CN102353684A (zh) * | 2011-06-23 | 2012-02-15 | 南京林业大学 | 基于双激光三角法的激光肉图像采集方法 |
| US20130305805A1 (en) * | 2011-01-31 | 2013-11-21 | Agency For Defense Development | Device, system and method for calibration of camera and laser sensor |
| CN104303010A (zh) * | 2012-03-30 | 2015-01-21 | 唯景公司 | 通过折叠三角测量传感器光学器件路径的共轴距离测量 |
| CN204632107U (zh) * | 2015-05-21 | 2015-09-09 | 武汉万集信息技术有限公司 | 一种基于扫描式激光测距仪的组合型车型识别系统 |
| CN105093235A (zh) * | 2015-08-18 | 2015-11-25 | 北京控制工程研究所 | 一种同步扫描交会测量融合成像系统 |
| CN105652305A (zh) * | 2016-01-08 | 2016-06-08 | 深圳大学 | 一种动态环境下轨道检测平台的三维定位定姿方法及系统 |
| CN106017312A (zh) * | 2016-03-22 | 2016-10-12 | 武汉武大卓越科技有限责任公司 | 结构光三角测量自动标定系统及标定方法 |
| DE102016008689A1 (de) * | 2016-07-16 | 2017-02-09 | Daimler Ag | Sensorkalibriertarget zur Kalibrierung von verschiedenen, auf unterschiedlichen Prinzipien beruhenden Sensoreinrichtungen |
| CN106650701A (zh) * | 2017-01-05 | 2017-05-10 | 华南理工大学 | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 |
| CN106646407A (zh) * | 2016-12-15 | 2017-05-10 | 广州汽车集团股份有限公司 | 雷达标定设备校验方法、装置和系统 |
| CN107367721A (zh) * | 2017-07-31 | 2017-11-21 | 天津大学 | 一种用于动态位姿测量的位姿测量装置 |
| CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及系统 |
| CN107886477A (zh) * | 2017-09-20 | 2018-04-06 | 武汉环宇智行科技有限公司 | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 |
| CN108012143A (zh) * | 2017-12-04 | 2018-05-08 | 深圳市沃特沃德股份有限公司 | 双目摄像头标定方法及装置 |
-
2018
- 2018-05-16 CN CN201810465437.0A patent/CN108663681B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130305805A1 (en) * | 2011-01-31 | 2013-11-21 | Agency For Defense Development | Device, system and method for calibration of camera and laser sensor |
| CN102297658A (zh) * | 2011-05-20 | 2011-12-28 | 南京航空航天大学 | 基于双线激光的三维信息检测方法 |
| CN102353684A (zh) * | 2011-06-23 | 2012-02-15 | 南京林业大学 | 基于双激光三角法的激光肉图像采集方法 |
| CN104303010A (zh) * | 2012-03-30 | 2015-01-21 | 唯景公司 | 通过折叠三角测量传感器光学器件路径的共轴距离测量 |
| CN204632107U (zh) * | 2015-05-21 | 2015-09-09 | 武汉万集信息技术有限公司 | 一种基于扫描式激光测距仪的组合型车型识别系统 |
| CN105093235A (zh) * | 2015-08-18 | 2015-11-25 | 北京控制工程研究所 | 一种同步扫描交会测量融合成像系统 |
| CN105652305A (zh) * | 2016-01-08 | 2016-06-08 | 深圳大学 | 一种动态环境下轨道检测平台的三维定位定姿方法及系统 |
| CN106017312A (zh) * | 2016-03-22 | 2016-10-12 | 武汉武大卓越科技有限责任公司 | 结构光三角测量自动标定系统及标定方法 |
| DE102016008689A1 (de) * | 2016-07-16 | 2017-02-09 | Daimler Ag | Sensorkalibriertarget zur Kalibrierung von verschiedenen, auf unterschiedlichen Prinzipien beruhenden Sensoreinrichtungen |
| CN106646407A (zh) * | 2016-12-15 | 2017-05-10 | 广州汽车集团股份有限公司 | 雷达标定设备校验方法、装置和系统 |
| CN106650701A (zh) * | 2017-01-05 | 2017-05-10 | 华南理工大学 | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 |
| CN107478214A (zh) * | 2017-07-24 | 2017-12-15 | 杨华军 | 一种基于多传感器融合的室内定位方法及系统 |
| CN107367721A (zh) * | 2017-07-31 | 2017-11-21 | 天津大学 | 一种用于动态位姿测量的位姿测量装置 |
| CN107886477A (zh) * | 2017-09-20 | 2018-04-06 | 武汉环宇智行科技有限公司 | 无人驾驶中立体视觉与低线束激光雷达的融合矫正方法 |
| CN108012143A (zh) * | 2017-12-04 | 2018-05-08 | 深圳市沃特沃德股份有限公司 | 双目摄像头标定方法及装置 |
Non-Patent Citations (6)
| Title |
|---|
| CHEN, HAICHAO等: ""IMPLEMENTATION OF ACHEAP AND PORTABLE THREE-DIMENSIONAL SCANNER SYSTEM"", 《 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS》 * |
| KUEN-HAN LIN 等: "Mapping and Localization in 3D Environments Using a 2D Laser Scanner and a Stereo Camera", 《JOURNAL OF INFORMATION SCIENCE AND ENGINEERING》 * |
| WANG YAXIONG等: ""Identification and location of grapevine sucker based on information fusion of 2D laser scanner and machine vision"", 《INTERNATIONAL JOURNAL OF AGRICULTURAL AND BIOLOGICAL ENGINEERING》 * |
| 周俞辰: ""基于激光三角测距法的激光雷达原理综述"", 《电子技术》 * |
| 杜钊君 等: "基于激光测距与双目视觉信息融合的移动机器人SLAM研究", 《计算机测量与控制》 * |
| 毕盛等: ""基于多传感器信息融合的仿人机器人跌倒检测及控制"", 《华南理工大学学报(自然科学版)》 * |
Cited By (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111174788B (zh) * | 2018-11-13 | 2023-05-02 | 北京京东乾石科技有限公司 | 一种室内二维建图方法和装置 |
| CN111174788A (zh) * | 2018-11-13 | 2020-05-19 | 北京京东尚科信息技术有限公司 | 一种室内二维建图方法和装置 |
| CN111323027A (zh) * | 2018-12-17 | 2020-06-23 | 兰州大学 | 一种基于激光雷达与环视相机融合制作高精度地图方法及装置 |
| CN111352090A (zh) * | 2018-12-21 | 2020-06-30 | 保定市天河电子技术有限公司 | 集成姿态系统的激光雷达及控制方法 |
| CN109752724A (zh) * | 2018-12-26 | 2019-05-14 | 珠海市众创芯慧科技有限公司 | 一种图像激光一体式导航定位系统 |
| CN109443368A (zh) * | 2019-01-14 | 2019-03-08 | 轻客小觅智能科技（北京）有限公司 | 无人驾驶机器人的导航方法、装置、机器人及存储介质 |
| CN109782768A (zh) * | 2019-01-26 | 2019-05-21 | 哈尔滨玄智科技有限公司 | 一种适配于内行星式复合轮系搬运机器人的自主导航系统 |
| CN109765901A (zh) * | 2019-02-18 | 2019-05-17 | 华南理工大学 | 基于线激光与双目视觉的动态代价地图导航方法 |
| CN110210280A (zh) * | 2019-03-01 | 2019-09-06 | 北京纵目安驰智能科技有限公司 | 一种超视距感知方法、系统、终端和存储介质 |
| CN110210280B (zh) * | 2019-03-01 | 2024-04-19 | 北京纵目安驰智能科技有限公司 | 一种超视距感知方法、系统、终端和存储介质 |
| CN110826474A (zh) * | 2019-03-10 | 2020-02-21 | 成都家有为力机器人技术有限公司 | 基于特定目标识别与激光slam的语义地图构建的系统 |
| CN109916393A (zh) * | 2019-03-29 | 2019-06-21 | 电子科技大学 | 一种基于机器人位姿的多重栅格值导航方法及其应用 |
| CN109910011A (zh) * | 2019-03-29 | 2019-06-21 | 齐鲁工业大学 | 一种基于多传感器的机械臂避障方法和机械臂 |
| CN110412596A (zh) * | 2019-07-10 | 2019-11-05 | 上海电机学院 | 一种基于图像信息和激光点云的机器人定位方法 |
| CN110568846A (zh) * | 2019-08-28 | 2019-12-13 | 佛山市兴颂机器人科技有限公司 | 一种agv的智能导航方法及系统 |
| CN110471422A (zh) * | 2019-08-29 | 2019-11-19 | 南京理工大学 | 智能轮椅的障碍物检测与自主避障方法 |
| CN110780670B (zh) * | 2019-09-19 | 2023-03-21 | 上海机器人产业技术研究院有限公司 | 基于模糊控制算法的机器人避障控制方法 |
| CN110780670A (zh) * | 2019-09-19 | 2020-02-11 | 上海机器人产业技术研究院有限公司 | 基于模糊控制算法的机器人避障控制方法 |
| CN112578363A (zh) * | 2019-09-30 | 2021-03-30 | 上海禾赛科技股份有限公司 | 激光雷达运动轨迹获取方法及装置、介质 |
| CN110827353A (zh) * | 2019-10-18 | 2020-02-21 | 天津大学 | 一种基于单目摄像头辅助的机器人定位方法 |
| CN110827353B (zh) * | 2019-10-18 | 2023-03-28 | 天津大学 | 一种基于单目摄像头辅助的机器人定位方法 |
| CN112904331B (zh) * | 2019-11-19 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN112904331A (zh) * | 2019-11-19 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 移动轨迹的确定方法、装置、设备及存储介质 |
| CN112995578B (zh) * | 2019-12-02 | 2022-09-02 | 杭州海康威视数字技术股份有限公司 | 电子地图显示方法、装置、系统及电子设备 |
| CN112995578A (zh) * | 2019-12-02 | 2021-06-18 | 杭州海康威视数字技术股份有限公司 | 电子地图显示方法、装置、系统及电子设备 |
| WO2021134809A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市欢创科技有限公司 | 测距模组、机器人、测距方法及非易失性可读存储介质 |
| CN111152237B (zh) * | 2020-01-22 | 2023-12-22 | 深圳国信泰富科技有限公司 | 一种两侧设置激光雷达的机器人头部及其环境采样方法 |
| CN111152237A (zh) * | 2020-01-22 | 2020-05-15 | 深圳国信泰富科技有限公司 | 一种两侧设置激光雷达的机器人头部及其环境采样方法 |
| CN111366912A (zh) * | 2020-03-10 | 2020-07-03 | 上海西井信息科技有限公司 | 激光传感器与摄像头标定方法、系统、设备及存储介质 |
| CN111366912B (zh) * | 2020-03-10 | 2021-03-16 | 上海西井信息科技有限公司 | 激光传感器与摄像头标定方法、系统、设备及存储介质 |
| CN111637890A (zh) * | 2020-07-15 | 2020-09-08 | 济南浪潮高新科技投资发展有限公司 | 一种结合终端增强现实技术的移动机器人导航方法 |
| CN111950420A (zh) * | 2020-08-04 | 2020-11-17 | 国以贤智能科技(上海)股份有限公司 | 一种避障方法、装置、设备和存储介质 |
| CN111781936A (zh) * | 2020-08-07 | 2020-10-16 | 深圳中智永浩机器人有限公司 | 机器人路径规划方法、装置、机器人及计算机可读存储介质 |
| CN112132929A (zh) * | 2020-09-01 | 2020-12-25 | 北京布科思科技有限公司 | 一种基于深度视觉和单线激光雷达的栅格地图标记方法 |
| CN112132929B (zh) * | 2020-09-01 | 2024-01-26 | 北京布科思科技有限公司 | 一种基于深度视觉和单线激光雷达的栅格地图标记方法 |
| CN112034861A (zh) * | 2020-09-15 | 2020-12-04 | 航天科工智能机器人有限责任公司 | 一种仿生自主机器人自主避障系统及其避障方法 |
| CN112232201A (zh) * | 2020-10-15 | 2021-01-15 | 广州富港万嘉智能科技有限公司 | 车辆避障路线规划方法、车辆避障方法、计算机可读存储介质及agv小车 |
| CN112379392A (zh) * | 2020-10-26 | 2021-02-19 | 华南理工大学 | 基于单线激光雷达通过隧道的无人车导航控制方法 |
| CN112294197A (zh) * | 2020-11-04 | 2021-02-02 | 深圳市普森斯科技有限公司 | 扫地机的清扫控制方法、电子装置及存储介质 |
| CN112462758A (zh) * | 2020-11-06 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 一种建图方法、装置、计算机可读存储介质及机器人 |
| CN112462758B (zh) * | 2020-11-06 | 2022-05-06 | 深圳市优必选科技股份有限公司 | 一种建图方法、装置、计算机可读存储介质及机器人 |
| CN112462768B (zh) * | 2020-11-25 | 2024-03-29 | 深圳拓邦股份有限公司 | 移动机器人导航地图的创建方法、装置及移动机器人 |
| CN112462768A (zh) * | 2020-11-25 | 2021-03-09 | 深圳拓邦股份有限公司 | 移动机器人导航地图的创建方法、装置及移动机器人 |
| CN112612037B (zh) * | 2020-12-01 | 2023-10-24 | 珠海一微半导体股份有限公司 | 一种融合定位方法及移动机器人 |
| CN112612037A (zh) * | 2020-12-01 | 2021-04-06 | 珠海市一微半导体有限公司 | 一种融合定位方法及移动机器人 |
| CN112507899A (zh) * | 2020-12-15 | 2021-03-16 | 上海有个机器人有限公司 | 一种三维激光雷达图像识别方法以及设备 |
| CN113377097A (zh) * | 2021-01-25 | 2021-09-10 | 杭州易享优智能科技有限公司 | 一种用于视障人士导盲的路径规划与避障方法 |
| AU2021266203B2 (en) * | 2021-01-25 | 2023-01-19 | Shandong Alesmart Intelligent Technology Co., Ltd. | Semantic laser-based multilevel obstacle avoidance system and method for mobile robot |
| CN112505723A (zh) * | 2021-02-03 | 2021-03-16 | 之江实验室 | 一种基于导航点选择的三维地图重建方法 |
| CN112505723B (zh) * | 2021-02-03 | 2024-01-23 | 之江实验室 | 一种基于导航点选择的三维地图重建方法 |
| CN112965082A (zh) * | 2021-02-26 | 2021-06-15 | 浙江大学 | 一种基于激光雷达的自适应沿墙导航方法 |
| CN112965082B (zh) * | 2021-02-26 | 2024-01-12 | 浙江大学 | 一种基于激光雷达的自适应沿墙导航方法 |
| CN113050632B (zh) * | 2021-03-11 | 2022-06-14 | 珠海一微半导体股份有限公司 | 用于机器人探索未知区域的地图探索方法、芯片及机器人 |
| CN113050632A (zh) * | 2021-03-11 | 2021-06-29 | 珠海市一微半导体有限公司 | 用于机器人探索未知区域的地图探索方法、芯片及机器人 |
| CN113075686A (zh) * | 2021-03-19 | 2021-07-06 | 长沙理工大学 | 一种基于多传感器融合的电缆沟智能巡检机器人建图方法 |
| CN113075686B (zh) * | 2021-03-19 | 2024-01-12 | 长沙理工大学 | 一种基于多传感器融合的电缆沟智能巡检机器人建图方法 |
| CN113589321A (zh) * | 2021-06-16 | 2021-11-02 | 浙江理工大学 | 视觉障碍人员的智能导航助手 |
| CN113379831A (zh) * | 2021-06-22 | 2021-09-10 | 北京航空航天大学青岛研究院 | 一种基于双目摄像头和人形机器人的增强现实方法 |
| CN113379831B (zh) * | 2021-06-22 | 2022-09-09 | 北京航空航天大学青岛研究院 | 一种基于双目摄像头和人形机器人的增强现实方法 |
| CN113640802A (zh) * | 2021-07-30 | 2021-11-12 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
| CN113520246A (zh) * | 2021-07-30 | 2021-10-22 | 珠海一微半导体股份有限公司 | 移动机器人补偿清洁方法及系统 |
| CN113640802B (zh) * | 2021-07-30 | 2024-05-17 | 国网上海市电力公司 | 一种基于多融合传感器的机器人空间定位方法和系统 |
| CN113702995A (zh) * | 2021-09-01 | 2021-11-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种用于辅助挂放接地线作业的空间定位系统 |
| CN113741503B (zh) * | 2021-09-16 | 2024-01-30 | 吉林工程技术师范学院 | 一种自主定位式无人机及其室内路径自主规划方法 |
| CN113741503A (zh) * | 2021-09-16 | 2021-12-03 | 吉林工程技术师范学院 | 一种自主定位式无人机及其室内路径自主规划方法 |
| CN114692731A (zh) * | 2022-03-09 | 2022-07-01 | 华南理工大学 | 基于单目视觉与激光测距阵列的环境感知融合方法及系统 |
| CN114637302B (zh) * | 2022-04-15 | 2022-10-18 | 安徽农业大学 | 一种基于计算机视觉的自动行进避障方法及系统 |
| CN114637302A (zh) * | 2022-04-15 | 2022-06-17 | 安徽农业大学 | 一种基于计算机视觉的自动行进避障方法及系统 |
| CN115328173A (zh) * | 2022-10-14 | 2022-11-11 | 深圳市功夫机器人有限公司 | 基于激光雷达的移动机器人控制方法及移动机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108663681B (zh) | 2021-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108663681A (zh) | 基于双目摄像头与二维激光雷达的移动机器人导航方法 | |
| CN109765901A (zh) | 基于线激光与双目视觉的动态代价地图导航方法 | |
| WO2020258721A1 (zh) | 智能巡航车导航方法及系统 | |
| CN106227212B (zh) | 基于栅格地图和动态校准的精度可控室内导航系统及方法 | |
| Wulf et al. | Colored 2D maps for robot navigation with 3D sensor data | |
| CN102650886B (zh) | 基于主动全景视觉传感器的机器人视觉系统 | |
| Kuramachi et al. | G-ICP SLAM: An odometry-free 3D mapping system with robust 6DoF pose estimation | |
| CN110211228A (zh) | 用于建图的数据处理方法及装置 | |
| US20230064071A1 (en) | System for 3d surveying by an autonomous robotic vehicle using lidar-slam and an estimated point distribution map for path planning | |
| CN106569225A (zh) | 一种基于测距传感器的无人车实时避障方法 | |
| Holz et al. | Continuous 3D sensing for navigation and SLAM in cluttered and dynamic environments | |
| CN110658828A (zh) | 一种地貌自主探测方法及无人机 | |
| Kim et al. | Autonomous mobile robot localization and mapping for unknown construction environments | |
| RU2740229C1 (ru) | Способ локализации и построения навигационных карт мобильного сервисного робота | |
| JP2003247805A (ja) | 体積計測方法及び体積計測プログラム | |
| Yoshida et al. | 3D laser scanner with gazing ability | |
| CN110202577A (zh) | 一种实现障碍物检测的自主移动机器人及其方法 | |
| Jensen et al. | Laser range imaging using mobile robots: From pose estimation to 3D-models | |
| Kim et al. | LiDAR configuration comparison for urban mapping system | |
| Fregene et al. | Incremental multi-agent robotic mapping of outdoor terrains | |
| Chang et al. | Reconstruction of 3D contour with an active laser‐vision robotic system | |
| Muramatsu et al. | Mobile robot navigation utilizing the web based aerial images without prior teaching run | |
| Kolu et al. | A mapping method tolerant to calibration and localization errors based on tilting 2D laser scanner | |
| Kita et al. | 3D map building using mobile robot with scan device | |
| CN114911223A (zh) | 一种机器人导航方法、装置、机器人及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |