CN108226938B - 一种agv小车的定位系统和方法 - Google Patents

一种agv小车的定位系统和方法 Download PDF

Info

Publication number
CN108226938B
CN108226938B CN201711291698.7A CN201711291698A CN108226938B CN 108226938 B CN108226938 B CN 108226938B CN 201711291698 A CN201711291698 A CN 201711291698A CN 108226938 B CN108226938 B CN 108226938B
Authority
CN
China
Prior art keywords
point cloud
working environment
dimensional point
global
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711291698.7A
Other languages
English (en)
Other versions
CN108226938A (zh
Inventor
李伟光
刘志洋
万好
张景润
陈辉
庄义钦
郭明军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Halei Daily Necessities Co ltd
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201711291698.7A priority Critical patent/CN108226938B/zh
Publication of CN108226938A publication Critical patent/CN108226938A/zh
Application granted granted Critical
Publication of CN108226938B publication Critical patent/CN108226938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种AGV小车的定位系统,包括:全局建图模块,利用激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;深度学习模块,利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图学习模型和特征匹配准则,并存入云服务器端;局部建图模块,利用Kinect传感器实时采集工作环境的图像数据,根据小孔成像原理构建工作环境的局部三维点云地图;匹配定位模块;实时显示模块。本发明还公开了一种AGV小车的定位方法。本发明通过利用Kinect传感器来替代激光雷达来讲降低成本,并利用深度学习来训练全局工作环境,实现AGV小车的实时定位,并具有较强的鲁棒性。

Description

一种AGV小车的定位系统和方法
技术领域
本发明涉及移动机器人的定位领域,尤其涉及一种AGV小车的定位系统与方法。
背景技术
AGV小车(Automated Guided Vehicle)属于移动式机器人,是一种具有自主定位、导航与避障功能的自动化物流设备,用于构建现代制造车间的柔性化物流系统。实现移动机器人的自主定位是机器人导航与避障的前提和关键。
目前,AGV小车常见的定位方式为GPS定位、激光雷达定位和视觉定位三种。GPS定位技术是通过接收GPS卫星信号来实现定位,信号容易受到建筑和树木的影响,且定位误差大,不适用于AGV小车的室内定位;激光雷达定位技术是通过测量周围环境的距离和角度来实现定位,定位精度高,但是价格昂贵不适用于AGV小车的定位;视觉定位技术通过处理图像流数据来估计AGV小车的位置,由于相机价格低廉,信息丰富且拓展性强,很适用于AGV小车的室内定位。Kinect是一种RGB-D相机传感器,能够采集环境中的彩色图像和深度图像,并且能重建环境的局部三维稠密点云地图。
发明内容
本发明的目的是针对当前GPS和激光雷达定位的缺陷,提供了一种AGV小车的定位系统和方法。
一种AGV小车的定位系统,包括:
全局建图模块,利用激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;
深度学习模块,利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图学习模型和特征匹配准则,并存入云服务器端;
局部建图模块,利用Kinect传感器实时采集工作环境的图像数据,包括彩色图像和深度图像,根据小孔成像原理构建工作环境的局部三维点云地图;
匹配定位模块,根据特征匹配准则,在全局三维点云地图中搜索局部三维点云地图信息,根据匹配到的信息恢复AGV小车的位姿信息;
实时显示模块,用于显示工作环境的二维点云地图,并实时显示各AGV小车的在全局地图中的位姿信息。
优选地,所述的图像数据包括彩色图像和深度图像。
优选地,所述的激光雷达安装在AGV小车顶部中心位置,用于扫描工作环境得到激光数据并建立全局三维点云地图。
优选地,所述的Kinect传感器安装在AGV小车的正前方,用于获取工作环境的图像数据并构建局部三维点云地图。
优选地,所述的激光雷达为多线激光雷达。
优选地,所述激光雷达的数量为1台。
优选地,所述的Kinect传感器的数量至少为3台。
一种AGV小车的定位方法,包括步骤:
(1)激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;
(2)利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图的学习模型和特征匹配准则,并将地图学习模型存入云端服务器;
(3)Kinect传感器实时采集工作环境的图像数据,根据小孔成像原理构建工作环境的局部三维点云地图;
(4)根据特征匹配准则,在全局三维点云地图中搜索局部三维点云地图信息,对匹配到的信息进行计算恢复AGV小车的位姿信息;
(5)在实时显示模块上实时显示各AGV小车在全局地图上的位姿信息。
优选地,所述的步骤(1)具体包括:
所述激光雷达以360度旋转扫描环境,通过三角测量原理实时计算出环境与激光雷达中心的距离和角度信息;
通过ICP匹配算法估计出AGV小车的位姿,并同时构建出环境的全局三维点云地图。
优选地,所述的步骤(3)具体包括:
以30FPS的速率采集环境中的彩色图像和深度图像;
根据张正友标定法标定Kinect相机,得到相机的内参:相机的焦距(fx,fy),相机的光圈中心(cx,cy);
通过小孔成像原理恢复深度图像上任一点的三维坐标,从而得到环境的局部三维点云地图。
相比现有技术,本发明具有如下有益效果:
(1)本发明采用相对廉价的Kinect传感器代替多线激光雷达,通过构建环境的局部点云地图并匹配全局点云地图的方法实现AGV小车的自主定位,从而降低AGV小车的成本。
(2)本发明采用深度学习的方法来训练全局三维点云地图得到特征模型和匹配准则,不仅可以满足AGV小车实时定位的需求,而且能提高小车的定位精度。
附图说明
图1为本发明所述的一种AGV小车的定位系统的框架示意图。
图2为本发明所述的一种AGV小车的定位方法的流程示意图。
具体实施方式
下面结合实施例及附图,对本发明方案作进一步地详细说明,但本发明的实施方式不限于此。
如图1所示,一种AGV小车的定位系统,包括:
全局建图模块,利用激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;
深度学习模块,利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图学习模型和特征匹配准则,并将地图学习模型存入云端服务器;
局部建图模块,利用Kinect传感器实时采集工作环境的图像数据,根据小孔成像原理构建工作环境的局部三维点云地图,所述图像数据包括彩色图像和深度图像;
匹配定位模块,根据特征匹配准则,在全局三维点云地图中搜索局部三维点云地图信息,根据匹配到的信息恢复AGV小车的位姿信息,包括AGV小车的位置和朝向;
实时显示模块,用于显示工作环境的二维点云地图,并实时显示各AGV小车的在全局地图中的位姿信息,可用于AGV小车的调度与导航功能。
所述的激光雷达为一台多线激光雷达,安装在AGV小车顶部中心位置,用于扫描工作环境得到激光数据并建立全局三维点云地图。
所述的Kinect传感器至少有三台,安装在AGV小车的正前方,用于获取工作环境的图像数据并构建局部三维点云地图。
如图2所示,一种AGV小车的定位方法,包括步骤:
S1、激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;
S2、利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图的学习模型和特征匹配准则,并将地图学习模型存入云端服务器;
S3、Kinect传感器实时采集工作环境的图像数据,根据小孔成像原理构建工作环境的局部三维点云地图;
S4、根据特征匹配准则,在全局三维点云地图中搜索局部三维点云地图信息,对匹配到的信息进行计算恢复AGV小车的位姿信息;
S5、在实时显示模块上实时显示各AGV小车在全局地图上的位姿信息。
具体而言,所述的步骤S1具体包括:
S11、所述激光雷达以360度旋转扫描环境,通过三角测量原理实时计算出环境与激光雷达中心的距离和角度信息;
S12、通过ICP匹配算法估计出AGV小车的位姿,并同时构建出环境的全局三维点云地图。
具体而言,所述的步骤S3具体包括:
S31、Kinect传感器以30FPS的速率采集环境中的彩色图像和深度图像;
S32、根据张正友标定法标定Kinect相机,得到相机的内参:相机的焦距(fx,fy),相机的光圈中心(cx,cy);
S33、通过小孔成像原理恢复深度图像上任一点的三维坐标,从而得到环境的局部三维点云地图。
本发明的上述实例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合和简化,均视为等效的置换方式,都包含在本发明的保护范围之内。

Claims (10)

1.一种AGV小车的定位系统,其特征在于,包括:
全局建图模块,利用激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;
深度学习模块,利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图学习模型和特征匹配准则,并存入云服务器端;
局部建图模块,利用Kinect传感器实时采集工作环境的图像数据,根据小孔成像原理构建工作环境的局部三维点云地图;
匹配定位模块,根据特征匹配准则,在全局三维点云地图中搜索局部三维点云地图信息,根据匹配到的信息恢复AGV小车的位姿信息;
实时显示模块,用于显示工作环境的二维点云地图,并实时显示各AGV小车的在全局地图中的位姿信息。
2.根据权利要求1所述的定位系统,其特征在于,所述的图像数据包括彩色图像和深度图像。
3.根据权利要求1所述的定位系统,其特征在于,所述的激光雷达安装在AGV小车顶部中心位置,用于扫描工作环境得到激光数据并建立全局三维点云地图。
4.根据权利要求1所述的定位系统,其特征在于,所述的Kinect传感器安装在AGV小车的正前方,用于获取工作环境的图像数据并构建局部三维点云地图。
5.根据权利要求3所述的定位系统,其特征在于,所述的激光雷达为多线激光雷达。
6.根据权利要求1所述的定位系统,其特征在于,所述激光雷达的数量为1台。
7.根据权利要求1所述的定位系统,其特征在于,所述的Kinect传感器的数量至少为3台。
8.一种AGV小车的定位方法,其特征在于,包括步骤:
(1)激光雷达扫描工作环境得到激光数据,同时利用定位与建图算法构建工作环境的全局三维点云地图;
(2)利用深度学习的方法训练工作环境的全局三维点云地图,以获得该地图的学习模型和特征匹配准则,并将地图学习模型存入云端服务器;
(3)Kinect传感器实时采集工作环境的图像数据,根据小孔成像原理构建工作环境的局部三维点云地图;
(4)根据特征匹配准则,在全局三维点云地图中搜索局部三维点云地图信息,对匹配到的信息进行计算恢复AGV小车的位姿信息;
(5)在实时显示模块上实时显示各AGV小车在全局地图上的位姿信息。
9.根据权利要求8所述的定位方法,其特征在于,所述的步骤(1)具体包括:
所述激光雷达以360度旋转扫描环境,通过三角测量原理实时计算出环境与激光雷达中心的距离和角度信息;
通过ICP匹配算法估计出AGV小车的位姿,并同时构建出环境的全局三维点云地图。
10.根据权利要求8所述的定位方法,其特征在于,所述的步骤(3)具体包括:
以30FPS的速率采集环境中的彩色图像和深度图像;
根据张正友标定法标定Kinect相机,得到相机的内参:相机的焦距(fx,fy),相机的光圈中心(cx,cy);
通过小孔成像原理恢复深度图像上任一点的三维坐标,从而得到环境的局部三维点云地图。
CN201711291698.7A 2017-12-08 2017-12-08 一种agv小车的定位系统和方法 Active CN108226938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711291698.7A CN108226938B (zh) 2017-12-08 2017-12-08 一种agv小车的定位系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711291698.7A CN108226938B (zh) 2017-12-08 2017-12-08 一种agv小车的定位系统和方法

Publications (2)

Publication Number Publication Date
CN108226938A CN108226938A (zh) 2018-06-29
CN108226938B true CN108226938B (zh) 2021-09-21

Family

ID=62653996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711291698.7A Active CN108226938B (zh) 2017-12-08 2017-12-08 一种agv小车的定位系统和方法

Country Status (1)

Country Link
CN (1) CN108226938B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035841B (zh) * 2018-09-30 2020-10-09 上海交通大学 停车场车辆定位系统及方法
CN109458994B (zh) * 2018-10-24 2021-04-13 北京控制工程研究所 一种空间非合作目标激光点云icp位姿匹配正确性判别方法及系统
CN109459734B (zh) * 2018-10-30 2020-09-11 百度在线网络技术(北京)有限公司 一种激光雷达定位效果评估方法、装置、设备及存储介质
CN109887028B (zh) * 2019-01-09 2023-02-03 天津大学 一种基于点云数据配准的无人车辅助定位方法
EP3749976A4 (en) * 2019-01-30 2021-08-18 Baidu.com Times Technology (Beijing) Co., Ltd. DEEP LEARNING FEATURES EXTRACTION FOR LIDAR LOCALIZATION OF AUTONOMOUS DRIVING VEHICLES
CN111679663A (zh) * 2019-02-25 2020-09-18 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN110132130A (zh) * 2019-03-05 2019-08-16 上海宾通智能科技有限公司 激光雷达位置标定方法、系统及其数据处理方法、系统
CN110068824B (zh) * 2019-04-17 2021-07-23 北京地平线机器人技术研发有限公司 一种传感器位姿确定方法和装置
CN110084853A (zh) * 2019-04-22 2019-08-02 北京易达图灵科技有限公司 一种视觉定位方法及系统
CN110187348A (zh) * 2019-05-09 2019-08-30 盈科视控(北京)科技有限公司 一种激光雷达定位的方法
CN112102646B (zh) * 2019-06-17 2021-12-31 北京初速度科技有限公司 一种泊车定位中的停车场入口定位方法、装置及车载终端
CN110398745A (zh) * 2019-08-05 2019-11-01 湖南海森格诺信息技术有限公司 基于激光雷达和视觉的叉车定位方法
CN110456797B (zh) * 2019-08-19 2022-06-28 杭州电子科技大学 一种基于2d激光传感器的agv重定位系统及方法
CN112455502B (zh) * 2019-09-09 2022-12-02 中车株洲电力机车研究所有限公司 基于激光雷达的列车定位方法及装置
CN111781929A (zh) * 2020-07-08 2020-10-16 苏州索亚机器人技术有限公司 Agv小车及3d激光雷达定位与导航方法
CN112762824B (zh) * 2020-12-24 2022-04-22 中南大学 一种无人车定位方法及系统
CN114842156A (zh) * 2021-02-01 2022-08-02 华为技术有限公司 一种三维地图的构建方法及装置
CN113496637B (zh) * 2021-06-18 2023-01-03 湖南华壹影业有限公司 影像信息时空扫描用辅助训练系统
CN113658449B (zh) * 2021-07-27 2022-09-23 上海交通大学 停车场车辆定位系统及方法
CN113984401A (zh) * 2021-08-27 2022-01-28 吉林大学 基于三维信息的汽车智能检测执行系统与方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008566A (zh) * 2007-01-18 2007-08-01 上海交通大学 基于地面纹理的智能车视觉装置及其全局定位方法
CN101122800A (zh) * 2007-08-24 2008-02-13 北京航空航天大学 一种复合式视觉导航方法与装置
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法
CN106949893A (zh) * 2017-03-24 2017-07-14 华中科技大学 一种三维避障的室内机器人导航方法和系统
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107328418A (zh) * 2017-06-21 2017-11-07 南华大学 移动机器人在陌生室内场景下的核辐射探测路径自主规划方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008566A (zh) * 2007-01-18 2007-08-01 上海交通大学 基于地面纹理的智能车视觉装置及其全局定位方法
CN101122800A (zh) * 2007-08-24 2008-02-13 北京航空航天大学 一种复合式视觉导航方法与装置
CN103389103A (zh) * 2013-07-03 2013-11-13 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN106441319A (zh) * 2016-09-23 2017-02-22 中国科学院合肥物质科学研究院 一种无人驾驶车辆车道级导航地图的生成系统及方法
CN106949893A (zh) * 2017-03-24 2017-07-14 华中科技大学 一种三维避障的室内机器人导航方法和系统
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN107328418A (zh) * 2017-06-21 2017-11-07 南华大学 移动机器人在陌生室内场景下的核辐射探测路径自主规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉导航AGV定位与路径规划技术研究;郑少华;《中国优秀硕士学位论文全文数据库信息科技辑》;20170215;第12页第1段-17页第1段、第39页第1段-51页第1段 *

Also Published As

Publication number Publication date
CN108226938A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108226938B (zh) 一种agv小车的定位系统和方法
CN109313031B (zh) 车载处理装置
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN103941746B (zh) 无人机巡检图像处理系统及方法
CN102460074B (zh) 用于组合三维位置和二维强度地图绘制进行定位的方法和装置
CN104932515B (zh) 一种自主巡航方法以及巡航设备
EP3825807A1 (en) Method, device and assembly for map generation
CN109374008A (zh) 一种基于三目摄像头的图像采集系统及方法
EP4179500A1 (en) Method and system for generating bird's eye view bounding box associated with object
CN111487642A (zh) 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法
CN110859044A (zh) 自然场景中的集成传感器校准
WO2019154179A1 (en) Group optimization depth information method and system for constructing 3d feature map
CN110764110B (zh) 路径导航方法、装置及计算机可读存储介质
CN113566833A (zh) 一种多传感器融合的车辆定位方法及系统
CN114413909A (zh) 一种室内移动机器人定位方法及系统
CN109282813B (zh) 一种无人艇全局障碍物识别的方法
CN109709977B (zh) 移动轨迹规划的方法、装置及移动物体
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN106370160A (zh) 一种机器人室内定位系统和方法
CN115014338A (zh) 一种基于二维码视觉和激光slam的移动机器人定位系统及方法
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
CN118168545A (zh) 基于多源传感器融合的除草机器人定位导航系统及方法
Khan et al. Multimodal Object Detection and Ranging Based on Camera and Lidar Sensor Fusion for Autonomous Driving
CN114445494A (zh) 一种图像获取和处理方法、图像获取装置及机器人
CN117635683A (zh) 一种基于多相机的小车室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240108

Address after: 510900 Yuanzhougang Village, Taiping Town, Conghua District, Guangzhou City, Guangdong Province (Factory A01)

Patentee after: GUANGZHOU HALEI DAILY NECESSITIES CO.,LTD.

Address before: 511458 Guangdong, Guangzhou, Nansha District, 25 South Road, South China Road, Guangzhou, China

Patentee before: SOUTH CHINA University OF TECHNOLOGY