CN105467994B - 视觉与测距融合的送餐机器人室内定位方法 - Google Patents
视觉与测距融合的送餐机器人室内定位方法 Download PDFInfo
- Publication number
- CN105467994B CN105467994B CN201510846232.3A CN201510846232A CN105467994B CN 105467994 B CN105467994 B CN 105467994B CN 201510846232 A CN201510846232 A CN 201510846232A CN 105467994 B CN105467994 B CN 105467994B
- Authority
- CN
- China
- Prior art keywords
- controller
- laser range
- reference point
- meal delivery
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000012054 meals Nutrition 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000004888 barrier function Effects 0.000 claims description 12
- 235000013305 food Nutrition 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000004148 unit process Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
视觉与测距融合的送餐机器人室内定位方法，属于机器人定位技术领域，包括视觉传感器、激光测距传感器、驱动转轴、控制器，所述视觉传感器和激光测距传感器的输入端均与驱动转轴的输出端连接，视觉传感器和激光测距传感器的输出端与控制器连接；所述控制器的输出端与驱动转轴的输入端连接，控制器内部设置有信号处理单元和存储单元。本发明在不对餐厅设施进行改造的情况下，通过简单的标定手段，即可完成机器人在餐厅中的定位，在快速部署机器人的同时，也降低了生产成本，有利于搭载本室内定位系统的机器人的大规模推广。
Description
技术领域
本发明属于机器人定位技术领域，特别是涉及到一种送餐机器人室内定位系统。
背景技术
随着劳动力成本的提升和技术发展而带来的机器人技术的发展，机器人技术被越来越多的应用于日常生活中，而室内机器人在当中占有很大的比例，室内运行的移动机器人，既要知道自身坐标，又要知道目标点的坐标，这完全依赖于定位系统。室内一般并非开阔场地，并可能存在人与其他等实时移动的物体，这就对机器人的室内定位系统提出了比较高的要求。
目前，已经出现了许多针对机器人的室内定位系统，有通过在地面铺设磁性路标的系统，此类系统需要对地面做出改造，工程量比较大，而且机器人只能像火车一样在指定的路线行走，灵活性较差；有通过激光雷达传感器与IMU单元融合的定位系统，此系统虽然相对磁性路标系统有很大的灵活性，但是由于高精度IMU系统复杂，只用于军用系统中，而民用的IMU精度一般，且会积累误差，长期使用后会导致精度下降。目前还没有出现能比较好用于送餐机器人的室内定位系统。因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
发明内容
本发明所要解决的技术问题是：提供一种视觉与测距融合的送餐机器人室内定位方法，在不对餐厅设施进行改造的情况下，通过简单的标定手段，即可完成机器人在餐厅中的定位，在快速部署机器人的同时，也降低了生产成本，有利于搭载本室内定位系统的机器人的大规模推广。
视觉与测距融合的送餐机器人室内定位系统，其特征是：包括视觉传感器、激光测距传感器、驱动转轴、控制器，所述视觉传感器和激光测距传感器的输入端均与驱动转轴的输出端连接，视觉传感器和激光测距传感器的输出端与控制器连接；所述控制器的输出端与驱动转轴的输入端连接，控制器内部设置有信号处理单元和存储单元。
视觉与测距融合的送餐机器人室内定位方法，其特征是：应用权利要求1所述的定位系统，包括以下步骤，
步骤一、启动送餐机器人，同时启动权利要求所述的定位系统，激光测距传感器和视觉传感器在转轴的驱动下匀速转动，在扫描中，控制器进行记录送餐机器人与周边障碍物的距离，同时采集了周边障碍物的图像，每个障碍物的图像信号发送至控制器处理后，筛选并记录特征图像，控制器建立图像特征与图像距离相对应的数据库；
步骤二、控制器将所述步骤一中采集的数据库内部的数据进行筛选，选取特征点A、B、C作为参考点A、参考点B、参考点C，送餐机器人与其距离分别为a，b，c；控制器内部自动对参考点A、参考点B、参考点C相对于送餐机器人的距离a、b、c进行存储记录；完成定位系统坐标相对于参考点A、参考点B、参考点C的标定；
步骤三、重复所述步骤一和步骤二，将餐厅室内的点进行标定，在控制器内建立餐厅室内坐标的数据点云图，完成餐厅室内障碍物坐标点的标定；
步骤四、根据所述步骤三建立的数据点云图，启动送餐机器人进行送餐服务，送餐机器人运行中通过旋转扫描的视觉传感器和激光测距传感器再次扫描周围障碍物时，周围障碍物的距离与图像信息再次被采集，采集到的参考点信息通过模糊处理技术与控制器内已经存储的信息进行对比，图像信息与距离信息均与存储信息相同，定位成功，按控制器采集的数据路径行走。
所述视觉传感器采集的图像信号和所述激光测距传感器采集的距离信号均由控制器内部设置的信号处理单元处理。
所述餐厅室内坐标的数据点云图存储在控制器内部的存储单元中。
所述步骤四中送餐机器人通过旋转扫描的视觉传感器采集到控制器内未标定图像，激光测距传感器采集的距离数据为两次不同数据，控制器设置未标定图像为移动障碍物。
所述激光测距传感器为一维激光测距传感器。
通过上述设计方案，本发明可以带来如下有益效果：一种视觉与测距融合的送餐机器人室内定位系统及定位方法，在不对餐厅设施进行改造的情况下，通过简单的标定手段，即可完成机器人在餐厅中的定位，在快速部署机器人的同时，也降低了生产成本，有利于搭载本室内定位系统的机器人的大规模推广。
本发明的进一步有益效果在于：
1、激光测距传感器采用一维激光测距传感器响应速度快，成本低；且通过激光测距传感器和视觉传感器结合的旋转扫描来完成一维距离到二维平面中的点的转换，操作简单。
2、视觉技术成熟可靠，并且微电子技术的高速发展使具有视觉处理能力的数字信号处理器成本大大降低，利用移动平台处理视觉信号成为可能。
3、在送餐机器人定位系统进行扫描时，利用室内已经存在的标志物作为参考点，不需要再投入巨大资源对环境做改造。
4、一次扫描即可完美记录参考点，从而计算坐标，部署速度大大提高。
5、通过视觉信号来校验距离信号，解决了室内定位系统中测距传感器容易被移动物体干扰造成误判的问题。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明示视觉与测距融合的送餐机器人室内定位系统示意图。
图2为本发明示视觉与测距融合的送餐机器人室内定位系统餐厅标定坐标点示意图。
图中1-视觉传感器、2-激光测距传感器、3-驱动转轴、4-控制器、5-参考点A、6-参考点B、7-参考点C、8-送餐机器人。
具体实施方式
一种视觉与测距融合的送餐机器人室内定位方法，如图1所示，包括视觉传感器1、激光测距传感器2、驱动转轴3、控制器4，所述视觉传感器1和激光测距传感器2的输入端均与驱动转轴3的输出端连接，视觉传感器1和激光测距传感器2的输出端与控制器4连接；所述控制器4的输出端与驱动转轴3的输入端连接，控制器4内部设置有信号处理单元和存储单元。
驱动转轴3驱动可以旋转用于扫描的视觉传感器1和激光测距传感器2。视觉传感器1负责在扫描中采集图像，激光测距传感器2负责在扫描中测量机器人与障碍物之间的距离。视觉传感器1获得图像信号，激光测距传感器2获得距离信号，控制器4负责控制驱动转轴3运转，处理激光测距传感器2和视觉传感器1的信号。
本发明工作过程如图2所示，定位开始前，系统先进行一次标定。送餐机器人8首先进行扫描，激光测距传感器2和视觉传感器1在驱动转轴3的驱动下匀速转动，在扫描中，控制器4记录了与周边障碍物的距离，同时采集了周边障碍物的图像，每个障碍物的图像经过控制器4处理后，筛选出明显特征并记录，控制器建立图像特征与图像距离的一一对应。系统进行筛选，选取有在视觉上易于区分，具有明显轮廓和明显颜色特征的A，B，C作为参考点A5,参考点B6，参考点C7，送餐机器人8此时与其距离分别为a，b，c。此时即完成了送餐机器人8坐标相对于参考点A5,参考点B6，参考点C7的标定。如此重复扫掠，将室内的点进行标定，最终依靠控制器4强大的数据处理能力建立室内坐标的点云图。
定位工作过程如下所叙述，当送餐机器人8在运行中通过旋转扫描的视觉传感器1和激光测距传感器2再次扫描周围障碍物时，周围障碍物的距离与图像信息再次被采集，当参考点A5,参考点B6，参考点C7的信息通过模糊处理技术与控制器4已经存储的信息进行对比时，如果图像信息与距离信息均与存储信息相同，即定位系统与参考点A5,参考点B6，参考点C7的距离分别为a，b，c，则送餐机器人8位于之前通过参考点A5,参考点B6，参考点C7完成定位的点之上，定位成功。
通过多设立参考点，增强模糊处理，系统能完成精确定位。
当有移动障碍物进入视野时，定位系统可以通过视觉传感器1与激光测距传感器2相结合，剔除动态目标。方法如下：当视觉传感器1采集到非标定图像时，若激光测距传感器2的数据对应两次不同的距离，控制器4在减去自身坐标后，若非标定图像相对送餐机器人8距离仍然不相同，则非标定图像为运动障碍物。
Claims (1)
1.视觉与测距融合的送餐机器人室内定位方法，采用视觉与测距融合的送餐机器人室内定位系统，包括视觉传感器(1)、激光测距传感器(2)、驱动转轴(3)、控制器(4)，所述视觉传感器(1)和激光测距传感器(2)的输入端均与驱动转轴(3)的输出端连接，视觉传感器(1)和激光测距传感器(2)的输出端与控制器(4)连接；所述控制器(4)的输出端与驱动转轴(3)的输入端连接，控制器(4)内部设置有信号处理单元和存储单元，其特征是：包括以下步骤，
步骤一、启动送餐机器人(8)，同时启动所述采用视觉与测距融合的送餐机器人室内定位系统，激光测距传感器(2)和视觉传感器(1)在转轴(3)的驱动下匀速转动，在扫描中，控制器(4)进行记录送餐机器人(8)与周边障碍物的距离，同时采集了周边障碍物的图像，每个障碍物的图像信号发送至控制器(4)处理后，筛选并记录特征图像，控制器(4)建立图像特征与图像距离相对应的数据库；
步骤二、控制器(4)将所述步骤一中采集的数据库内部的数据进行筛选，选取特征点A、B、C作为参考点A(5)、参考点B(6)、参考点C(7)，送餐机器人(8)与其距离分别为a、b、c，控制器(4)内部自动对参考点A(5)、参考点B(6)、参考点C(7)相对于送餐机器人(8)的距离a、b、c进行存储记录；完成定位系统坐标相对于参考点A(5)、参考点B(6)、参考点C(7)的标定；
步骤三、重复所述步骤一和步骤二，将餐厅室内的点进行标定，在控制器(4)内建立餐厅室内坐标的数据点云图，完成餐厅室内障碍物坐标点的标定；
步骤四、根据所述步骤三建立的数据点云图，启动送餐机器人(8)进行送餐服务，送餐机器人(8)运行中通过旋转扫描的视觉传感器(1)和激光测距传感器(2)再次扫描周围障碍物时，周围障碍物的距离与图像信息再次被采集，采集到的参考点信息通过模糊处理技术与控制器(4)内已经存储的信息进行对比，图像信息与距离信息均与存储信息相同，定位成功，按控制器(4)采集的数据路径行走；
所述视觉传感器(1)采集的图像信号和所述激光测距传感器(2)采集的距离信号均由控制器(4)内部设置的信号处理单元处理；
所述餐厅室内坐标的数据点云图存储在控制器(4)内部的存储单元中；
所述步骤四中送餐机器人(8)通过旋转扫描的视觉传感器(1)采集到控制器(4)内未标定图像，激光测距传感器(2)采集的距离数据为两次不同数据，控制器(4)设置未标定图像为移动障碍物；
所述激光测距传感器(2)为一维激光测距传感器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510846232.3A CN105467994B (zh) | 2015-11-27 | 2015-11-27 | 视觉与测距融合的送餐机器人室内定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510846232.3A CN105467994B (zh) | 2015-11-27 | 2015-11-27 | 视觉与测距融合的送餐机器人室内定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105467994A CN105467994A (zh) | 2016-04-06 |
| CN105467994B true CN105467994B (zh) | 2019-01-18 |
Family
ID=55605800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510846232.3A Active CN105467994B (zh) | 2015-11-27 | 2015-11-27 | 视觉与测距融合的送餐机器人室内定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105467994B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105953787A (zh) * | 2016-04-27 | 2016-09-21 | 河北德普电器有限公司 | 一种机器人导航地图生成系统 |
| CN105807775A (zh) * | 2016-05-17 | 2016-07-27 | 上海酷哇机器人有限公司 | 具有自主跟随避障功能的移动机器人 |
| CN106272562A (zh) * | 2016-08-31 | 2017-01-04 | 贺宜 | 一种机器视觉和机器人的配合方法 |
| CN108319290A (zh) * | 2017-01-16 | 2018-07-24 | 财团法人金属工业研究发展中心 | 利用无人机拍摄风机叶面的方法、内储程序的计算机程序产品及可读取记录媒体 |
| CN106737774A (zh) * | 2017-02-23 | 2017-05-31 | 天津商业大学 | 一种无标定机械臂视觉伺服控制装置 |
| US11366450B2 (en) * | 2017-03-23 | 2022-06-21 | Abb Schweiz Ag | Robot localization in a workspace via detection of a datum |
| CN107065871A (zh) * | 2017-04-07 | 2017-08-18 | 东北农业大学 | 一种基于机器视觉的自走餐车识别定位系统及方法 |
| CN108710371B (zh) * | 2018-05-28 | 2021-08-10 | 杭州艾豆智能科技有限公司 | 一种采用测距激光扫描建图的机器人室内定位方法 |
| CN108687784A (zh) * | 2018-08-10 | 2018-10-23 | 合肥阅辞科技有限公司 | 送餐机器人 |
| CN113359692B (zh) * | 2020-02-20 | 2022-11-25 | 杭州萤石软件有限公司 | 一种障碍物的避让方法、可移动机器人 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1186035A (ja) * | 1997-07-11 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 距離参照型景観ラベリング装置およびシステム |
| CN101660912A (zh) * | 2009-09-25 | 2010-03-03 | 湖南农业大学 | 一种自动导航定位装置及方法 |
| CN202512438U (zh) * | 2012-02-19 | 2012-10-31 | 陶重犇 | 一种鱼眼摄像头的移动机器人slam平台 |
| CN102867057A (zh) * | 2012-09-17 | 2013-01-09 | 北京航空航天大学 | 一种基于视觉定位的虚拟向导构建方法 |
| CN103278170A (zh) * | 2013-05-16 | 2013-09-04 | 东南大学 | 基于显著场景点检测的移动机器人级联地图创建方法 |
| CN103512579A (zh) * | 2013-10-22 | 2014-01-15 | 武汉科技大学 | 一种基于热红外摄像机和激光测距仪的地图构建方法 |
| CN205301998U (zh) * | 2015-11-27 | 2016-06-08 | 长春诺惟拉智能科技有限责任公司 | 视觉与测距融合的送餐机器人室内定位系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7728869B2 (en) * | 2005-06-14 | 2010-06-01 | Lg Electronics Inc. | Matching camera-photographed image with map data in portable terminal and travel route guidance method |
| US8744665B2 (en) * | 2009-07-28 | 2014-06-03 | Yujin Robot Co., Ltd. | Control method for localization and navigation of mobile robot and mobile robot using the same |
-
2015
- 2015-11-27 CN CN201510846232.3A patent/CN105467994B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1186035A (ja) * | 1997-07-11 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 距離参照型景観ラベリング装置およびシステム |
| CN101660912A (zh) * | 2009-09-25 | 2010-03-03 | 湖南农业大学 | 一种自动导航定位装置及方法 |
| CN202512438U (zh) * | 2012-02-19 | 2012-10-31 | 陶重犇 | 一种鱼眼摄像头的移动机器人slam平台 |
| CN102867057A (zh) * | 2012-09-17 | 2013-01-09 | 北京航空航天大学 | 一种基于视觉定位的虚拟向导构建方法 |
| CN103278170A (zh) * | 2013-05-16 | 2013-09-04 | 东南大学 | 基于显著场景点检测的移动机器人级联地图创建方法 |
| CN103512579A (zh) * | 2013-10-22 | 2014-01-15 | 武汉科技大学 | 一种基于热红外摄像机和激光测距仪的地图构建方法 |
| CN205301998U (zh) * | 2015-11-27 | 2016-06-08 | 长春诺惟拉智能科技有限责任公司 | 视觉与测距融合的送餐机器人室内定位系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105467994A (zh) | 2016-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105467994B (zh) | 视觉与测距融合的送餐机器人室内定位方法 | |
| CN112525162B (zh) | 一种无人机测量输电线路影像距离的系统及方法 | |
| WO2022061945A1 (zh) | 一种电力线路安全距离检测方法 | |
| EP2918972B1 (de) | Verfahren und handhaltbares Entfernungsmessgerät zum Erzeugen eines Raummodells | |
| CN110287519A (zh) | 一种集成bim的建筑工程施工进度监测方法及系统 | |
| CN103941746A (zh) | 无人机巡检图像处理系统及方法 | |
| CN109737981B (zh) | 基于多传感器的无人车目标搜索装置及方法 | |
| CN112465960B (zh) | 一种三维模型的尺寸标定装置及方法 | |
| CN103605978A (zh) | 基于三维实景数据的城市违章建筑识别系统及方法 | |
| Cho et al. | Target-focused local workspace modeling for construction automation applications | |
| CN108681337B (zh) | 一种涵洞或桥梁专用巡查无人机及无人机巡查方法 | |
| CN106352871A (zh) | 一种基于天花板人工信标的视觉室内定位系统和方法 | |
| CN105388908A (zh) | 基于机器视觉的无人机定位着降方法及系统 | |
| CN112254670B (zh) | 一种基于光扫描和智能视觉融合的3d信息采集设备 | |
| CN112529948A (zh) | 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 | |
| CN108225180A (zh) | 一种涂装定位系统和方法 | |
| CN114413909A (zh) | 一种室内移动机器人定位方法及系统 | |
| CN112257536B (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
| CN205301998U (zh) | 视觉与测距融合的送餐机器人室内定位系统 | |
| CN112254638B (zh) | 一种可俯仰调节的智能视觉3d信息采集设备 | |
| CN111340884B (zh) | 一种双目异构相机与rfid的双重目标定位与身份辨识方法 | |
| CN205176663U (zh) | 一种基于机器视觉的无人机电力线定位着降系统 | |
| CN112308900A (zh) | 一种基于led圆环检测的四旋翼无人机相对位姿估计方法 | |
| CN111060921A (zh) | 一种房屋信息采集终端及系统 | |
| EP3943979A1 (en) | Indoor device localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160705 Address after: 130000, 1303B-3 room 14, 2499 Wei Shan Road, Changchun hi tech Zone, Jilin, China Applicant after: CHANGCHUN YAOGUANG TECHNOLOGY CO., LTD. Address before: 511, room 130000, ferry innovation factory, 246 revision Road, Jilin, Changchun Applicant before: SHANGHAI NOVELOR INTELLIGENT TECHNOLOGY CO., LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |