CN108958256A - 一种基于ssd物体检测模型的移动机器人视觉导航方法 - Google Patents

一种基于ssd物体检测模型的移动机器人视觉导航方法 Download PDF

Info

Publication number
CN108958256A
CN108958256A CN201810814616.0A CN201810814616A CN108958256A CN 108958256 A CN108958256 A CN 108958256A CN 201810814616 A CN201810814616 A CN 201810814616A CN 108958256 A CN108958256 A CN 108958256A
Authority
CN
China
Prior art keywords
ssd
mobile robot
computer
robot
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810814616.0A
Other languages
English (en)
Inventor
林伟阳
于兴虎
佟明斯
卫作龙
李湛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Youmai De Intelligent Equipment Co Ltd
Original Assignee
Zhejiang Youmai De Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Youmai De Intelligent Equipment Co Ltd filed Critical Zhejiang Youmai De Intelligent Equipment Co Ltd
Priority to CN201810814616.0A priority Critical patent/CN108958256A/zh
Publication of CN108958256A publication Critical patent/CN108958256A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本发明公开了一种基于SSD物体检测模型的移动机器人视觉导航方法，包括如下步骤：（1）利用CCD相机拍摄工作场景的全局；（2）人工标注出移动机器人上的标志、障碍物的位置，利用标注后的图片输入对SSD神经网络进行训练，使用训练后的模型来处理全局相机拍摄的图像，从中提取两个移动机器人标记和障碍物的位置；（3）从而利用计算机计算移动机器人的位置和方向。本发明利用相机捕捉整个场景，自动构建环境模型，并通过视觉反馈实现动态路径规划，通过使用SSD模型来提高对象定位的准确性，解决了现有视觉传感器操作中需要手动标注图像数据，费时费力，且其稳定性经常受到传感器噪音、场景变化等因素影响的问题。

Description

一种基于SSD物体检测模型的移动机器人视觉导航方法
技术领域
本发明涉及人工智能技术领域，具体为一种基于SSD物体检测模型的移动机器人视觉导航方法。
背景技术
视觉传感器是指：利用光学元件和成像装置获取外部环境图像信息的仪器，通常用图像分辨率来描述视觉传感器的性能。视觉传感器的精度不仅与分辨率有关，而且同被测物体的检测距离相关。被测物体距离越远，其绝对的位置精度越差。视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。视觉传感器具有从一整幅图像捕获光线的数以千计的像素。图像的清晰和细腻程度通常用分辨率来衡量，以像素数量表示。Banner工程公司提供的部分视觉传感器能够捕获130万像素。因此，无论距离目标数米或数厘米远，传感器都能“看到”十分细腻的目标图像。
视觉传感器广泛应用在移动机器人的自主导航中，但其在操作中需要手动标注图像数据，费时费力，且其稳定性经常受到传感器噪音、场景变化等因素的影响，为此，我们提出一种基于SSD物体检测模型的移动机器人视觉导航方法。
发明内容
本发明的目的在于提供一种基于SSD物体检测模型的移动机器人视觉导航方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于SSD物体检测模型的移动机器人视觉导航方法，包括如下步骤：
（1）利用CCD相机拍摄工作场景的全局；
（2）人工标注出移动机器人上的标志、障碍物的位置，利用标注后的图片输入对SSD神经网络进行训练，
（3）使用训练后的模型来处理全局相机拍摄的图像，从中提取两个移动机器人标记和障碍物的位置，从而利用计算机计算移动机器人的位置和方向；
（4）利用逆坐标变换矩阵实现图像坐标系向世界坐标系的转换，实时获取目标位置；
（5）机器人通过无线通信在计算机发送的控制指令下移动；
（6）机器人移动位置后，将移动的距离、移动的方向和角度再次通过无线通信向计算机反馈；
（7）接收反馈信息的计算机计算出机器人的实际移动轨迹与计划移动轨迹，并进行对比和修正，从而避免机器人偏离计划移动轨迹，保证计算机控制的准确性。
优选的，所述步骤（2）中使用SSD神经网络处理全局相机拍摄的图像，从而获得两个移动机器人标记和障碍物的位置。
优选的，所述步骤（4）中逆坐标变换矩阵通过CCD相机标定过程获得。
与现有技术相比，本发明的有益效果是：本发明利用相机捕捉整个场景，自动构建环境模型，并通过视觉反馈实现动态路径规划，特别针对定位目标易受环境干扰的情况，通过使用SSD模型来提高对象定位的准确性，从而实现了一个高精度，鲁棒的室内环境自主导航控制系统，本方法成本低廉，易于实现，且可靠性高，解决了现有视觉传感器操作中需要手动标注图像数据，费时费力，且其稳定性经常受到传感器噪音、场景变化等因素影响的问题。
附图说明
图1为本发明系统结构图；
图2为本发明算法流程图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种基于SSD物体检测模型的移动机器人视觉导航方法，包括如下步骤：
（1）利用CCD相机拍摄工作场景的全局；
（2）人工标注出移动机器人上的标志、障碍物的位置，利用标注后的图片输入对SSD神经网络进行训练，
（3）使用训练后的模型来处理全局相机拍摄的图像，从中提取两个移动机器人标记和障碍物的位置，从而利用计算机计算移动机器人的位置和方向；
（4）利用逆坐标变换矩阵实现图像坐标系向世界坐标系的转换，实时获取目标位置；
（5）机器人通过无线通信在计算机发送的控制指令下移动；
（6）机器人移动位置后，将移动的距离、移动的方向和角度再次通过无线通信向计算机反馈；
（7）接收反馈信息的计算机计算出机器人的实际移动轨迹与计划移动轨迹，并进行对比和修正，从而避免机器人偏离计划移动轨迹，保证计算机控制的准确性。
实施例一：
首先利用CCD相机拍摄工作场景的全局；然后人工标注出移动机器人上的标志、障碍物的位置，利用标注后的图片输入对SSD神经网络进行训练，使用训练后的模型来处理全局相机拍摄的图像，从中提取两个移动机器人标记和障碍物的位置，使用SSD神经网络处理全局相机拍摄的图像，从而获得两个移动机器人标记和障碍物的位置；然后从而利用计算机计算移动机器人的位置和方向；然后利用逆坐标变换矩阵实现图像坐标系向世界坐标系的转换，实时获取目标位置；机器人通过无线通信在计算机发送的控制指令下移动，机器人移动位置后，将移动的距离、移动的方向和角度再次通过无线通信向计算机反馈；接收反馈信息的计算机计算出机器人的实际移动轨迹与计划移动轨迹，并进行对比和修正，从而避免机器人偏离计划移动轨迹，保证计算机控制的准确性。
实施例二：
在实施例一中，再加上下述工序：
步骤（2）中使用SSD神经网络处理全局相机拍摄的图像，从而获得两个移动机器人标记和障碍物的位置，步骤（4）中逆坐标变换矩阵通过CCD相机标定过程获得。
首先利用CCD相机拍摄工作场景的全局；然后人工标注出移动机器人上的标志、障碍物的位置，利用标注后的图片输入对SSD神经网络进行训练，使用训练后的模型来处理全局相机拍摄的图像，从中提取两个移动机器人标记和障碍物的位置，使用SSD神经网络处理全局相机拍摄的图像，从而获得两个移动机器人标记和障碍物的位置；然后从而利用计算机计算移动机器人的位置和方向；然后利用逆坐标变换矩阵实现图像坐标系向世界坐标系的转换，实时获取目标位置，其中逆坐标变换矩阵通过CCD相机标定过程获得；机器人通过无线通信在计算机发送的控制指令下移动，机器人移动位置后，将移动的距离、移动的方向和角度再次通过无线通信向计算机反馈；接收反馈信息的计算机计算出机器人的实际移动轨迹与计划移动轨迹，并进行对比和修正，从而避免机器人偏离计划移动轨迹，保证计算机控制的准确性。
本发明利用相机捕捉整个场景，自动构建环境模型，并通过视觉反馈实现动态路径规划，特别针对定位目标易受环境干扰的情况，通过使用SSD模型来提高对象定位的准确性，从而实现了一个高精度，鲁棒的室内环境自主导航控制系统，本方法成本低廉，易于实现，且可靠性高，解决了现有视觉传感器操作中需要手动标注图像数据，费时费力，且其稳定性经常受到传感器噪音、场景变化等因素影响的问题。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种基于SSD物体检测模型的移动机器人视觉导航方法，其特征在于：包括如下步骤：
（1）利用CCD相机拍摄工作场景的全局；
（2）人工标注出移动机器人上的标志、障碍物的位置，利用标注后的图片输入对SSD神经网络进行训练，
（3）使用训练后的模型来处理全局相机拍摄的图像，从中提取两个移动机器人标记和障碍物的位置，从而利用计算机计算移动机器人的位置和方向；
（4）利用逆坐标变换矩阵实现图像坐标系向世界坐标系的转换，实时获取目标位置；
（5）机器人通过无线通信在计算机发送的控制指令下移动；
（6）机器人移动位置后，将移动的距离、移动的方向和角度再次通过无线通信向计算机反馈；
（7）接收反馈信息的计算机计算出机器人的实际移动轨迹与计划移动轨迹，并进行对比和修正，从而避免机器人偏离计划移动轨迹，保证计算机控制的准确性。
2.根据权利要求1所述的一种基于SSD物体检测模型的移动机器人视觉导航方法，其特征在于：所述步骤（2）中使用SSD神经网络处理全局相机拍摄的图像，从而获得两个移动机器人标记和障碍物的位置。
3.根据权利要求1所述的一种基于SSD物体检测模型的移动机器人视觉导航方法，其特征在于：所述步骤（4）中逆坐标变换矩阵通过CCD相机标定过程获得。
CN201810814616.0A 2018-07-23 2018-07-23 一种基于ssd物体检测模型的移动机器人视觉导航方法 Pending CN108958256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810814616.0A CN108958256A (zh) 2018-07-23 2018-07-23 一种基于ssd物体检测模型的移动机器人视觉导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810814616.0A CN108958256A (zh) 2018-07-23 2018-07-23 一种基于ssd物体检测模型的移动机器人视觉导航方法

Publications (1)

Publication Number Publication Date
CN108958256A true CN108958256A (zh) 2018-12-07

Family

ID=64464128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810814616.0A Pending CN108958256A (zh) 2018-07-23 2018-07-23 一种基于ssd物体检测模型的移动机器人视觉导航方法

Country Status (1)

Country Link
CN (1) CN108958256A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579848A (zh) * 2018-12-27 2019-04-05 武汉大学 一种保持全局路径下机器人的中间规划方法
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN109724603A (zh) * 2019-01-08 2019-05-07 北京航空航天大学 一种基于环境特征检测的室内机器人导航方法
CN110646574A (zh) * 2019-10-08 2020-01-03 张家港江苏科技大学产业技术研究院 基于无人船的水质电导率自主检测系统及方法
CN113485326A (zh) * 2021-06-28 2021-10-08 南京深一科技有限公司 一种基于视觉导航的自主移动机器人

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681541A (zh) * 2011-03-10 2012-09-19 上海方伴自动化设备有限公司 一种机器人图像识别和视觉定位的方法
CN105486311A (zh) * 2015-12-24 2016-04-13 青岛海通机器人系统有限公司 室内机器人定位导航方法及装置
CN106066645A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 在操作推土机的同时测量和绘制地形的方法和控制系统
CN107368074A (zh) * 2017-07-27 2017-11-21 南京理工大学 一种基于视频监控的机器人自主导航方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681541A (zh) * 2011-03-10 2012-09-19 上海方伴自动化设备有限公司 一种机器人图像识别和视觉定位的方法
CN106066645A (zh) * 2015-04-21 2016-11-02 赫克斯冈技术中心 在操作推土机的同时测量和绘制地形的方法和控制系统
CN105486311A (zh) * 2015-12-24 2016-04-13 青岛海通机器人系统有限公司 室内机器人定位导航方法及装置
CN107368074A (zh) * 2017-07-27 2017-11-21 南京理工大学 一种基于视频监控的机器人自主导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEI LIU等: "SSD: Single Shot MultiBox Detector", 《LECTURE NOTES IN COMPUTER SCIENCE》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109579848A (zh) * 2018-12-27 2019-04-05 武汉大学 一种保持全局路径下机器人的中间规划方法
CN109579848B (zh) * 2018-12-27 2020-03-10 武汉大学 一种保持全局路径下机器人的中间规划方法
CN109657638A (zh) * 2018-12-28 2019-04-19 百度在线网络技术（北京）有限公司 障碍物定位方法、装置和终端
CN109724603A (zh) * 2019-01-08 2019-05-07 北京航空航天大学 一种基于环境特征检测的室内机器人导航方法
CN110646574A (zh) * 2019-10-08 2020-01-03 张家港江苏科技大学产业技术研究院 基于无人船的水质电导率自主检测系统及方法
CN110646574B (zh) * 2019-10-08 2022-02-08 张家港江苏科技大学产业技术研究院 基于无人船的水质电导率自主检测系统及方法
CN113485326A (zh) * 2021-06-28 2021-10-08 南京深一科技有限公司 一种基于视觉导航的自主移动机器人

Similar Documents

Publication Publication Date Title
CN108958256A (zh) 一种基于ssd物体检测模型的移动机器人视觉导航方法
CN111174799B (zh) 地图构建方法及装置、计算机可读介质、终端设备
Song et al. Survey on camera calibration technique
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
CN105953771A (zh) 一种主动式经纬仪系统及测量方法
CN110910459B (zh) 一种对摄像装置的标定方法、装置及标定设备
CN103886107A (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN106504287B (zh) 基于模板的单目视觉目标空间定位系统
US20130113897A1 (en) Process and arrangement for determining the position of a measuring point in geometrical space
CN104584032A (zh) 混合式精确跟踪
CN103475820B (zh) 一种摄像机中pi位置校正方法及系统
CN105278454A (zh) 基于机械臂视觉定位系统的机器人手眼定位算法
CN106651957B (zh) 基于模板的单目视觉目标空间定位方法
EP3128482A1 (en) Method for calibration of a stereo camera
CN113340277A (zh) 一种基于无人机倾斜摄影的高精度定位方法
CN111780715A (zh) 一种视觉测距方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及系统
CN102082905B (zh) 一种检测摄像机光轴位置的方法
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
CN101082488A (zh) 异地遥测之图像拼接方法
CN108592789A (zh) 一种基于bim和机器视觉技术的钢结构工厂预拼装方法
Guan et al. Indoor localization system of ROS mobile robot based on visible light communication
CN112686960B (zh) 一种基于光线追迹的相机入瞳中心及视线方向的标定方法
CN112017303B (zh) 一种基于增强现实技术的设备维修辅助方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181207