CN106950985B - 一种自动送货方法及装置 - Google Patents
一种自动送货方法及装置 Download PDFInfo
- Publication number
- CN106950985B CN106950985B CN201710164955.4A CN201710164955A CN106950985B CN 106950985 B CN106950985 B CN 106950985B CN 201710164955 A CN201710164955 A CN 201710164955A CN 106950985 B CN106950985 B CN 106950985B
- Authority
- CN
- China
- Prior art keywords
- image
- delivery
- destination
- map
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002716 delivery method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种自动送货方法及装置,通过预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;接收送货请求,获取货物运送目的地信息;利用送货区域地图进行路径规划,生成从运输点到目的地的路径信息;在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达目的地。本申请通过实时构建地图,能够获取最优路径,使得送货机器人或者无人机能够灵活应对各种场景,采取最优行动方案,缩短了送货时间;并且本申请实现了机器人的实时定位,定位准确,精度高。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种自动送货方法及装置。
背景技术
目前,物联网技术发展迅速,已经普遍贯穿于人们的生活中。每当过年过节抑或是平时,快递公司都有大量的货物要送到客户手中。这需要耗费大量的人力物力,同时,工作任务重对快递员来说存在着极大的工作压力和安全隐患。在无人机、机器人等产品技术飞速发展的今天,为了解决这一问题,提出利用机器人或是无人飞机代替人工送货的构思,这一构思已经有应用。但是,由于技术有限,并不能解决现实生活存在的全自动智能导航的问题,使得现有的机器人送货存在定位不精确、送货路径长、送货时间长等不足。
目前,移动机器人自助导航有多种导航方式,主要有里程计、视觉导航、陀螺仪或者捷联惯导、超声波传感器导航、激光雷达导航等。但是他们都存在着这样或那样的不足,如里程计和陀螺仪导航方式存在累积误差问题,激光测距雷达和超声波传感器需要较多的参照物且设备昂贵,视觉导航存在光线干扰导致可靠性低的问题。
发明内容
本发明的目的是提供一种自动送货方法及装置,以解决现有送货技术定位不准确、路径规划差、送货出错率高、送货时间长的问题。
为解决上述技术问题,本发明提供一种自动送货方法,包括:
预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;
接收送货请求,获取货物运送目的地信息;
利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息;
在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达所述目的地。
可选地,所述预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图包括:
利用双目视觉系统扫描送货区域环境信息,其中,左摄像机采集到的图像为左图像,右摄像机采集到的图像为右图像;
将所述左图像以及所述右图像进行立体匹配,得到两幅图像之间的像素同名点;
对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系;
构建送货区域地图,所述送货区域地图包含障碍物的三维坐标、障碍物与机器人之间的距离信息。
可选地,所述将所述左图像以及所述右图像进行立体匹配,得到两幅图像之间的像素同名点包括:
计算所述左图像以及所述右图像像素点之间的匹配代价函数;
在代价空间中选择匹配代价小对应的点作为匹配点对,进行立体匹配,得到两幅图像之间的像素同名点。
可选地,在所述对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系之前还包括:
对采集到的所述左图像以及所述右图像进行极线校正。
可选地,所述对采集到的所述左图像以及所述右图像进行极线校正包括:
通过旋转变换,以使所述左图像以及所述右图像平行;
对所述左图像以及所述右图像中的极线进行对齐操作,生成校正后的图像。
可选地,所述构建送货区域地图包括:
利用视差原理,根据所述左图像以及所述右图像生成图像的三维坐标;
采用距离变换,将局部障碍物地图映射到安全距离空间,得到距离矩阵。
可选地,所述利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息包括:
在所述距离矩阵中定位惩罚函数,利用A*算法进行搜索,生成从运输点到目的地的安全路径。
可选地,还包括:
送达目的地后,采用人脸识别的方式判断当前接收货物的用户是否为预设的收件人;如果是,则卸载货物;如果否,则拒绝卸载货物。
可选地,还包括:
在货物运输完毕后,按照原来行驶的路径返回或者识别当前路况重新进行路线规划返回。
本发明还提供了一种自动送货装置,包括:
地图构建模块,用于预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;
请求接收模块,用于接收送货请求,获取货物运送目的地信息;
路径规划模块,用于利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息;
实时避障模块,用于在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达所述目的地。
本发明所提供的自动送货方法及装置,通过预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;接收送货请求,获取货物运送目的地信息;利用送货区域地图进行路径规划,生成从运输点到目的地的路径信息;在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达目的地。本申请通过实时构建地图,能够获取最优路径,使得送货机器人或者无人机能够灵活应对各种场景,采取最优行动方案,缩短了送货时间;并且本申请实现了机器人的实时定位,定位准确,精度高。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的自动送货方法的一种具体实施方式的流程图;
图2为本发明实施例中构建送货区域地图的过程示意图;
图3为本发明所提供的自动送货方法的另一种具体实施方式的示意图;
图4为原始立体图像对I0、I1与平面C的位置关系图;
图5为两幅图像旋转后的平行视图;
图6为生成校正图像的过程示意图;
图7为本发明实施例提供的自动送货装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的自动送货方法的一种具体实施方式的流程图如图1所示,该方法包括:
步骤S101:预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;
利用双目视觉和视觉SLAM(即时定位和地图构建)技术扫描送货区域的环境和楼宇,建立送货区域的局部地图,实现机器人实时定位。
作为一种具体实施方式,参照图2,本步骤中预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图的过程可以具体包括:
步骤S1011:利用双目视觉系统扫描送货区域环境信息,其中,左摄像机采集到的图像为左图像,右摄像机采集到的图像为右图像;
步骤S1012:将所述左图像以及所述右图像进行立体匹配,得到两幅图像之间的像素同名点;
其中,进行立体匹配的过程可以具体为:计算所述左图像以及所述右图像像素点之间的匹配代价函数;在代价空间中选择匹配代价小对应的点作为匹配点对,进行立体匹配,得到两幅图像之间的像素同名点。
步骤S1013:对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系;
步骤S1014:构建送货区域地图,所述送货区域地图包含障碍物的三维坐标、障碍物与机器人之间的距离信息。
进一步地,在所述对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系之前还包括:对采集到的所述左图像以及所述右图像进行极线校正。
进行极线校正的过程可以具体包括:通过旋转变换,以使所述左图像以及所述右图像平行;对所述左图像以及所述右图像中的极线进行对齐操作,生成校正后的图像。
步骤S102:接收送货请求,获取货物运送目的地信息;
具体地,快递员或者用户使用APP下单,机器人在运输点扫码开箱,装载货物。用户指定目的地(门牌号),启动机器人运输。机器人接收到送货请求,并从中提取出目的地信息。
步骤S103:利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息;
移动机器人可利用送货区域地图进行路径规划,从运输点自主运送货物到目的地(业主门口)。具体为:根据机器人的运动模型(可以实现什么样的运动,不能实现什么样的运动),在MAP_DIST中定义惩罚函数F,即代价函数,利用A*算法进行搜索,生成从运输点到目的地的安全路径。
步骤S104:在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达所述目的地。
机器人在运动过程中,利用双目视觉实时进行障碍物检测,动态修正运输路径,自主避开障碍物。
具体可以设置障碍物安全指标T,如果检测到机器人与障碍物之间的距离Z≤T,那么,该障碍物将对机器人的运动造成威胁,此时,机器人需要另外找一条最佳安全路径行走。
最佳安全路径定义为:
该路径方向与机器人当前时刻的前一段时间长度内的运动方向不能相反;
该路径上检测到的障碍物与机器人之间的距离Z>T;
该路径是到终点的最短路径。
本发明所提供的自动送货方法,通过预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;接收送货请求,获取货物运送目的地信息;利用送货区域地图进行路径规划,生成从运输点到目的地的路径信息;在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达目的地。本申请通过实时构建地图,能够获取最优路径,使得机器人能够灵活应对各种场景,采取最优行动方案,缩短了送货时间;并且本申请实现了机器人的实时定位,定位准确,精度高。
在上述任一实施例的基础上,本发明所提供的自动送货方法还可以进一步包括:送达目的地后,采用人脸识别的方式判断当前接收货物的用户是否为预设的收件人;如果是,则卸载货物;如果否,则拒绝卸载货物。
本发明实施例采用人脸签收技术,能够提高了货物的安全性,进一步降低了送货的出错率。
此外,进一步地,本发明实施例还可以包括:在货物运输完毕后,按照原来行驶的路径返回或者识别当前路况重新进行路线规划返回。
以送货区域为小区为例,参照图3,下面结合实施场景对本发明所提供的自动送货方法进行进一步详细阐述。
步骤S201:构建小区局部地图。
利用双目视觉和视觉SLAM(即时定位和地图构建)技术扫描小区环境和楼宇,建立小区局部地图,实现机器人实时定位。
该过程可以具体包括:
步骤S2011:利用双目视觉系统扫描小区环境和楼宇。由左摄像头拍摄得到的图像称为左图像,由右摄像头拍摄得到的图像称为右图像。
步骤S2012:将左、右图像进行立体匹配:左、右图像进行立体匹配,得到两幅图像之间的像素同名点,用于计算稠密深度图。
计算像素点之间的匹配代价函数:图像中任意点(i,j)在视差估计为d的匹配代价定义为:
Cost(i,j,d)=|Ileft(i,j)-Iright(i,j)|
其中,Ileft(i,j)、Iright(i,j)分别为左图像点(i,j)和右图像点(i,j) 的像素值。
在代价空间C={Cost(i,j,d)}中选择匹配代价小对应的点作为匹配点对。
步骤S2013:前后帧匹配:前后帧之间根据运动假设,进行像素点的光度匹配,得到匹配点对后,我们就可以计算前后两个图像间的转换关系。求图像之间的转换关系归结为求图像坐标系之间的旋转和平移关系,即求旋转矩阵R和平移矩阵T,也就是相机位姿(R,T)。根据重投影误差求相机位姿(R,T)的问题,是一个非线性最小二乘问题,进一步的描述为:优化光学残差,然后计算位姿。
利用高斯牛顿法求解光学残差最小二乘问题,具体如下:
其中,xl,ij、xr,ij分别为由从左图像Ileft投影到右图像Iright的位置和该点在右图像Iright的真实位置。
牛顿迭代估计像素投影位置:
迭代直至收敛,即可得到优化后的相机位姿(R*,T*)。由此,记得到优化后的左右图像坐标系的转换关系,即:
Ileft=R*×T*×Iright
步骤S2014:极线教正:为了使标定参数结果更加方便应用,对拍摄到的左、右图像进行极线校正。极线校正就是利用旋转、平移的方法对图像进行变换,使得两幅图像的所有极线在一个平面上且行对准。
极线校正就是寻找对合适的投影变换矩阵H0、H1(单应矩阵)分别对图像I0、I1进行变换得到H0I0、H1I1,并满足:其中F 是其对应的基本矩阵,对每一对匹配点u0∈I0,u1∈I1,有u0 TFu1=0,校正后的基本矩阵。
通过旋转变换,使左、右图像I0、I1平行。具体为:有一个平面E 平行于直线C0C1,E与I0、I1分别相交于直线d0、d1,E与I0、I1的夹角分别为θ0、θ1,如图4所示。那么,将I0、I1分别绕直线d0、d1旋转θ0、θ1,得到这时,E与分别平行,从而之间也互相平行。
左、右图像平行以后,的各自极线是平行的,但是这些极线通常与x轴存在夹角,如图5所示,因此对图像进行极线对齐操作。简单地说,就是以其中一幅图像为基准,另一幅图像通过一定的旋转平移变换即可得到两幅图像平行且对应的极线在一条水平线上。
由于上述得出H0、H1是假设基本矩阵F已知,但是事实上F为未知。为此,通过利用Levenberg_Marquardt算法来计算H0、H1的最优解。
生成校正后的图像。如图6所示。详细说明为:得到Hi之后,对 Ii实施变换Hi便可得到校正后的图像HiIi。但是这样做会使得新图像 HiIi中的某些点不能在Ii中找到对应的点,从而产生“空洞(holes)”现象。为此,采用下述方法对图像进行逆向映射,从而消除空洞,实现精准匹配。
(1)计算图像HiIi;
(2)求解HiIi的最小边界矩形Recti;
(3)对Recti进行平移,使Recti在左上角的点平移到坐标系的原点。对于Recti在垂直方向的平移量Δyi(i=0,1):
(4)以从左到右、从上到下的顺序,计算Recti中的每一个点ui'在图像Ii中的对应点ui。
(5)检查ui是否落在原始图像Ii范围内,若在,则将ui对应的像素拷贝到点ui'的位置;否则将点ui'的颜色变为黑色,从而生成校正后的图像。
步骤S2015:构建局部地图:所构建的地图即是双目视觉深度图,其中包含了障碍物的具体三维坐标和障碍物与机器人之间的距离。为了实现机器人对安全环境的实时感知,需要将深度图转换到安全距离空间MAP_DIST中。
获取深度图:利用是视差原理结合双目摄像系统相机之间的转换参数得到图像的三维坐标。左图像像素坐标(xl,yl)、右图像像素坐标(xr,yr)与三维空间坐标(XW,YW,ZW)的关系如下式所示:
其中,xl和xr表示左右图像匹配点对在像素坐标系下的横坐标,yl表示左图像中匹配点在像素坐标系下的纵坐标。B表示左右相机间的基线距离,f表示左相机焦距。B和f根据相机标定得到。由此就得到了物体的三维坐标,其中的Z就是深度点云数据,也是物体与机器人之间的距离。
距离变换:采用距离变换,将局部障碍物地图(深度图)映射到安全距离空间,得到MAP_DIST。在MAP_DIST中,例边界点越远的点越亮,处在该点的无人机越安全。距离变换描述为:首先将图像二值化,然后给每个像素赋值为离它最近的背景像素到它的距离,即可得到距离矩阵,即MAP_DIST。
步骤S2016:实时定位:机器人在运动过程中,由起点到当前位置,会产生多组同一相机时间连续的图像的对应关系,可以通过计算这些图像的转换关系,最终算出机器人当前的位置和朝向。
具体包括:
计算像素点之间的匹配代价函数:图像中任意点(i,j)在视差估计为d的匹配代价定义为:
Cost(i,j,d)=|Ik(i,j)-Ik+1(i,j)|
其中,Ik(i,j)、Ik+1(i,j)分别为在时间点k由相机A拍摄的图像点(i,j) 的像素值和在时间点(k+1)由相机A拍摄的图像点(i,j)的像素值。
匹配:在代价空间C={Cost(i,j,d)}中选择匹配代价小对应的点作为匹配点对。
得到匹配点对后,如同步骤S2013所述方法,可以求得同一相机 A拍摄的时间相邻的图像之间的对应关系:
Ik+1(i,j)=RA,k *×TA,k *×Ik(i,j)
最后,根据时间相邻图像之间的转换关系,由传递性,可以得到当前位置相对与之前每一个位置的相姿关系。
其中,RA *×TA *=(RA,k *×TA,k *)×(RA,k-1 *×TA,k-1 *)
步骤S202:快递员或者用户使用APP下单,机器人在运输点扫码开箱,装载货物。
步骤S203:用户指定目的地(门牌号),启动机器人运输。
步骤S204:轮式移动机器人可利用小区地图进行路径规划,从运输点自主运送货物到目的地(业主门口)。具体为:根据机器人的规律模型(可以实现什么样的运动,不能实现什么样的运动),在MAP_DIST 中定义惩罚函数F,即代价函数,利用A*算法搜索产生局部安全路径 PATH。算法是一种静态路网中求解最短路最有效的直接搜索方法, A*算法解决路径规划问题过程如下所述:
定义从起点得到终点的估价函数:F(n)=g(n)+h(n)。
其中,g(n)是状态空间(距离空间MAP_DIST)中从起点到第n 个节点的实际代价,h(n)是从第n个节点到终点的最佳路径估计代价。保证找到最短路径关键在于估价函数h(n)的选取。
估价值h(n)≤n到目标节点的距离实际值,在这种情况下,搜索的点最多,搜索范围最大,效率低。但是能够得到最优解,并且如果估计距离h(n)等于最短距离,那么搜索将严格沿着最短路径进行,此时的搜索效率是最高的。
步骤S205:机器人在运动过程中,利用双目视觉实时进行障碍物检测,动态修正运输路径,自主避开障碍物。
进一步描述为:设置障碍物安全指标T,如果检测到机器人与障碍物之间的距离Z≤T,那么,该障碍物将对机器人的运动造成威胁,此时,机器人需要另外找一条最佳安全路径行走。
最佳安全路径定义为:
1.该路径方向与机器人当前时刻的前一段时间长度内的运动方向不能相反。
2.该路径上检测到的障碍物与机器人之间的距离Z>T。
3.该路径是到终点的最短路径。
步骤S206:机器人在运动过程中,重复步骤S201—步骤S205,直到到达目的地。
步骤S207:机器人到达业主门口中,进行人脸签收,卸载货物。所述人脸签收,即时利用人脸识别技术,识别签收的人是否是货物收件人,如果不是,则机器人拒绝卸载货物;如果是,则机器人才将货物交给主人,这能够保证了货物的安全性。
步骤S208:机器人返回运输点。
机器人返回运输点的过程中,对于路径规划,有两种方案,一种是沿原路返回,一种是利用来的时候的方法,实时识别当前路况,然后做出选择,这均不影响本发明的实现。
本发明实施例通过实时构建地图,获取最优路径,使得机器人能够灵活应对场景,采取最优行动方案,缩短送货时间。本申请还能够实现机器人实时定位,定位准确,精度高。此外,本发明实施例采用人脸签收,提高了货物的安全性,降低了送货出错率。
下面对本发明实施例提供的自动送货装置进行介绍,下文描述的自动送货装置与上文描述的自动送货方法可相互对应参照。
图7为本发明实施例提供的自动送货装置的结构框图,参照图7 自动送货装置可以包括:
地图构建模块100,用于预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;
请求接收模块200,用于接收送货请求,获取货物运送目的地信息;
路径规划模块300,用于利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息;
实时避障模块400,用于在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达所述目的地。
本实施例的自动送货装置用于实现前述的自动送货方法,因此自动送货装置中的具体实施方式可见前文中的自动送货方法的实施例部分,例如,地图构建模块100,请求接收模块200,路径规划模块300,实时避障模块400,分别用于实现上述自动送货方法中步骤S101, S102,S103和S104,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
本发明所提供的自动送货装置,通过预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;接收送货请求,获取货物运送目的地信息;利用送货区域地图进行路径规划,生成从运输点到目的地的路径信息;在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达目的地。本申请通过实时构建地图,能够获取最优路径,使得送货机器人或者无人机能够灵活应对各种场景,采取最优行动方案,缩短了送货时间;并且本申请实现了机器人的实时定位,定位准确,精度高。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程 ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的自动送货方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种自动送货方法,其特征在于,包括:
预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;
接收送货请求,获取货物运送目的地信息;
利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息;
在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达所述目的地;
其中,所述预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图包括:
利用双目视觉系统扫描送货区域环境信息,其中,左摄像机采集到的图像为左图像,右摄像机采集到的图像为右图像;
将所述左图像以及所述右图像进行立体匹配,得到两幅图像之间的像素同名点;
对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系,即前后帧图像之间根据运动假设,进行像素点的光度匹配,得到匹配点对后,求解相机位姿;
构建送货区域地图,所述送货区域地图包含障碍物的三维坐标、障碍物与机器人之间的距离信息。
2.如权利要求1所述的自动送货方法,其特征在于,所述将所述左图像以及所述右图像进行立体匹配,得到两幅图像之间的像素同名点包括:
计算所述左图像以及所述右图像像素点之间的匹配代价函数;
在代价空间中选择匹配代价小对应的点作为匹配点对,进行立体匹配,得到两幅图像之间的像素同名点。
3.如权利要求2所述的自动送货方法,其特征在于,在所述对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系之前还包括:
对采集到的所述左图像以及所述右图像进行极线校正。
4.如权利要求3所述的自动送货方法,其特征在于,所述对采集到的所述左图像以及所述右图像进行极线校正包括:
通过旋转变换,以使所述左图像以及所述右图像平行;
对所述左图像以及所述右图像中的极线进行对齐操作,生成校正后的图像。
5.如权利要求1至4任一项所述的自动送货方法,其特征在于,所述构建送货区域地图包括:
利用视差原理,根据所述左图像以及所述右图像生成图像的三维坐标;
采用距离变换,将局部障碍物地图映射到安全距离空间,得到距离矩阵。
6.如权利要求5所述的自动送货方法,其特征在于,所述利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息包括:
在所述距离矩阵中定位惩罚函数,利用A*算法进行搜索,生成从运输点到目的地的安全路径。
7.如权利要求5所述的自动送货方法,其特征在于,还包括:
送达目的地后,采用人脸识别的方式判断当前接收货物的用户是否为预设的收件人;如果是,则卸载货物;如果否,则拒绝卸载货物。
8.如权利要求5所述的自动送货方法,其特征在于,还包括:
在货物运输完毕后,按照原来行驶的路径返回或者识别当前路况重新进行路线规划返回。
9.一种自动送货装置,其特征在于,包括:
地图构建模块,用于预先采用双目视觉以及视觉即时定位地图构建方法,构建送货区域地图;
请求接收模块,用于接收送货请求,获取货物运送目的地信息;
路径规划模块,用于利用所述送货区域地图进行路径规划,生成从运输点到目的地的路径信息;
实时避障模块,用于在运送过程中,采用双目视觉实时进行障碍物检测,动态修正运输路径,以避开检测到的障碍物,直到到达所述目的地;
其中,所述地图构建模块的工作方法包括:
利用双目视觉系统扫描送货区域环境信息,其中,左摄像机采集到的图像为左图像,右摄像机采集到的图像为右图像;
将所述左图像以及所述右图像进行立体匹配,得到两幅图像之间的像素同名点;
对前后帧图像进行像素点的光度匹配,计算前后两幅图像之间的转换关系,即前后帧图像之间根据运动假设,进行像素点的光度匹配,得到匹配点对后,求解相机位姿;
构建送货区域地图,所述送货区域地图包含障碍物的三维坐标、障碍物与机器人之间的距离信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710164955.4A CN106950985B (zh) | 2017-03-20 | 2017-03-20 | 一种自动送货方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710164955.4A CN106950985B (zh) | 2017-03-20 | 2017-03-20 | 一种自动送货方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106950985A CN106950985A (zh) | 2017-07-14 |
CN106950985B true CN106950985B (zh) | 2020-07-03 |
Family
ID=59472161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710164955.4A Active CN106950985B (zh) | 2017-03-20 | 2017-03-20 | 一种自动送货方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106950985B (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106826851A (zh) * | 2017-02-21 | 2017-06-13 | 福州市贝芽智能科技有限公司 | 一种基于多传感器融合技术的智能早教机器人 |
CN107272710B (zh) * | 2017-08-08 | 2021-07-13 | 河海大学常州校区 | 一种基于视觉定位的医用物流机器人系统及其控制方法 |
CN107608379A (zh) * | 2017-09-25 | 2018-01-19 | 南京律智诚专利技术开发有限公司 | 无人机飞行绕行方法 |
CN109634267B (zh) * | 2017-10-09 | 2024-05-03 | 北京瑞悟科技有限公司 | 一种用于商场超市智能拣货送货机器人 |
CN108107906B (zh) * | 2017-12-24 | 2021-02-23 | 广西南宁英凡达科技有限公司 | 无人机送货系统 |
CN108388266A (zh) * | 2018-04-09 | 2018-08-10 | 郑州檀乐科技有限公司 | 一种用于物流送货的无人机系统 |
CN108364159A (zh) * | 2018-04-09 | 2018-08-03 | 郑州檀乐科技有限公司 | 一种无人机物流面签装置和方法 |
CN108520377A (zh) * | 2018-04-09 | 2018-09-11 | 郑州琼佩电子技术有限公司 | 一种无人机物流面签方法 |
CN109059903A (zh) * | 2018-08-21 | 2018-12-21 | 北京云迹科技有限公司 | 路径规划方法和送货机器人 |
CN109062214B (zh) * | 2018-08-22 | 2021-03-09 | 北京云迹科技有限公司 | 一种路径选择方法和送货机器人 |
CN109146385A (zh) * | 2018-08-30 | 2019-01-04 | 上海与德科技有限公司 | 一种物品运送方法、装置、设备及存储介质 |
CN109240291B (zh) * | 2018-09-05 | 2022-04-15 | 顺德职业技术学院 | 一种基于远程控制的机器人运动线路规划方法及系统 |
CN109324615A (zh) * | 2018-09-20 | 2019-02-12 | 深圳蓝胖子机器人有限公司 | 办公楼送货控制方法、装置以及计算机可读存储介质 |
CN109481205B (zh) * | 2018-12-17 | 2020-07-17 | 南通大学附属医院 | 一种ai病房专用被服运送更换护理车 |
CN109934533A (zh) * | 2019-03-04 | 2019-06-25 | 王德生 | 一种快递智能管理方法及装置 |
CN110909585B (zh) * | 2019-08-15 | 2022-09-06 | 纳恩博(常州)科技有限公司 | 一种路线确定方法、可行进设备、和存储介质 |
CN110618700A (zh) * | 2019-08-23 | 2019-12-27 | 西南交通大学 | 用于社区配送的三维地理信息系统及无人机航迹路径规划应用方法 |
CN111191951B (zh) * | 2020-01-03 | 2023-04-18 | 东南大学 | 一种无人机载机平台集送货调度方法 |
CN113536832A (zh) * | 2020-04-13 | 2021-10-22 | 百度在线网络技术(北京)有限公司 | 配送机器人的控制方法、装置、电子设备和存储介质 |
CN112013857A (zh) * | 2020-08-27 | 2020-12-01 | 西安达升科技股份有限公司 | 一种激光、视觉的agv导航方法及系统 |
CN112723054B (zh) * | 2021-01-12 | 2022-12-13 | 深圳优地科技有限公司 | 基于机器人的货运方法、装置和智能设备 |
CN112882480B (zh) * | 2021-03-23 | 2023-07-21 | 海南师范大学 | 针对人群环境的激光与视觉融合slam的系统及方法 |
CN113199454A (zh) * | 2021-06-22 | 2021-08-03 | 北京航空航天大学 | 一种轮式移动智能物流作业机器人系统 |
CN113706032B (zh) * | 2021-08-31 | 2023-11-07 | 北京京东振世信息技术有限公司 | 一种订单妥投管理方法和装置 |
CN114360274B (zh) * | 2021-12-13 | 2023-04-07 | 珠海格力智能装备有限公司 | 配送车导航方法、系统、计算机设备和存储介质 |
CN115291614B (zh) * | 2022-10-08 | 2022-12-20 | 广东技术师范大学 | 基于移动机器人的控制方法及控制系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005209090A (ja) * | 2004-01-26 | 2005-08-04 | Matsushita Electric Works Ltd | 自己位置認識配膳車 |
CN102608998A (zh) * | 2011-12-23 | 2012-07-25 | 南京航空航天大学 | 嵌入式系统的视觉导引agv系统及方法 |
CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
CN105518728A (zh) * | 2014-11-28 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 一种无人机、无人机送货方法及系统 |
CN106022038A (zh) * | 2016-05-12 | 2016-10-12 | 鲁东大学 | 一种基于人脸识别的物流取件系统 |
CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及系统 |
CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
CN106338993A (zh) * | 2016-10-11 | 2017-01-18 | 北京京东尚科信息技术有限公司 | 无人配送车以及无人配送车控制方法和装置 |
CN106370884A (zh) * | 2016-09-09 | 2017-02-01 | 成都通甲优博科技有限责任公司 | 基于双目相机计算机视觉技术的车辆测速方法 |
CN106371445A (zh) * | 2016-11-17 | 2017-02-01 | 浙江大学 | 一种基于拓扑地图的无人车规划控制方法 |
CN206021087U (zh) * | 2016-09-20 | 2017-03-15 | 中国石油大学(华东) | 一种具有自主避障功能的四旋翼飞行器火情巡检装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101714256B (zh) * | 2009-11-13 | 2011-12-14 | 河北工业大学 | 基于全方位视觉的动态目标识别和定位方法 |
CN103413313B (zh) * | 2013-08-19 | 2016-08-10 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
CN103631264A (zh) * | 2013-12-04 | 2014-03-12 | 苏州大学张家港工业技术研究院 | 一种同时定位与地图创建方法及装置 |
CN105865449B (zh) * | 2016-04-01 | 2020-05-05 | 深圳市杉川机器人有限公司 | 基于激光和视觉的移动机器人的混合定位方法 |
CN106204595B (zh) * | 2016-07-13 | 2019-05-10 | 四川大学 | 一种基于双目摄像机的机场场面三维全景监视方法 |
-
2017
- 2017-03-20 CN CN201710164955.4A patent/CN106950985B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005209090A (ja) * | 2004-01-26 | 2005-08-04 | Matsushita Electric Works Ltd | 自己位置認識配膳車 |
CN102608998A (zh) * | 2011-12-23 | 2012-07-25 | 南京航空航天大学 | 嵌入式系统的视觉导引agv系统及方法 |
CN105518728A (zh) * | 2014-11-28 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 一种无人机、无人机送货方法及系统 |
CN105225482A (zh) * | 2015-09-02 | 2016-01-06 | 上海大学 | 基于双目立体视觉的车辆检测系统和方法 |
CN106022038A (zh) * | 2016-05-12 | 2016-10-12 | 鲁东大学 | 一种基于人脸识别的物流取件系统 |
CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及系统 |
CN106228605A (zh) * | 2016-07-29 | 2016-12-14 | 东南大学 | 一种基于动态规划的立体匹配三维重建方法 |
CN106370884A (zh) * | 2016-09-09 | 2017-02-01 | 成都通甲优博科技有限责任公司 | 基于双目相机计算机视觉技术的车辆测速方法 |
CN206021087U (zh) * | 2016-09-20 | 2017-03-15 | 中国石油大学(华东) | 一种具有自主避障功能的四旋翼飞行器火情巡检装置 |
CN106338993A (zh) * | 2016-10-11 | 2017-01-18 | 北京京东尚科信息技术有限公司 | 无人配送车以及无人配送车控制方法和装置 |
CN106371445A (zh) * | 2016-11-17 | 2017-02-01 | 浙江大学 | 一种基于拓扑地图的无人车规划控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106950985A (zh) | 2017-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106950985B (zh) | 一种自动送货方法及装置 | |
US11989028B2 (en) | Mobile robot system and method for generating map data using straight lines extracted from visual images | |
US10268201B2 (en) | Vehicle automated parking system and method | |
Huang et al. | Visual odometry and mapping for autonomous flight using an RGB-D camera | |
De Silva et al. | Fusion of LiDAR and camera sensor data for environment sensing in driverless vehicles | |
US11151741B2 (en) | System and method for obstacle avoidance | |
Veľas et al. | Calibration of rgb camera with velodyne lidar | |
US20160093052A1 (en) | Method and apparatus for detecting obstacle based on monocular camera | |
JP6469905B2 (ja) | 適応型グランドプレーン推定を用いた自律運転のためのモノキュラ3d位置特定 | |
CN109325979B (zh) | 基于深度学习的机器人回环检测方法 | |
Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
KR20150144730A (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
CN108027975B (zh) | 用于密集立体匹配的快速成本聚合 | |
KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
CN112378333B (zh) | 仓储货物测量方法和装置 | |
EP3703008A1 (en) | Object detection and 3d box fitting | |
Sons et al. | Mapping and localization using surround view | |
Hoa et al. | Efficient determination of disparity map from stereo images with modified sum of absolute differences (SAD) algorithm | |
Oishi et al. | ND voxel localization using large-scale 3D environmental map and RGB-D camera | |
CN111256689B (zh) | 一种机器人定位方法、机器人和存储介质 | |
Chavan et al. | Obstacle detection and avoidance for automated vehicle: A review | |
Leishman et al. | Robust Motion Estimation with RBG-D Cameras | |
Li-Chee-Ming et al. | Augmenting visp’s 3d model-based tracker with rgb-d slam for 3d pose estimation in indoor environments | |
Ölmez et al. | Metric scale and angle estimation in monocular visual odometry with multiple distance sensors | |
Kassir et al. | Novel qualitative visual odometry for a ground: Vehicle based on funnel lane concept |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |