CN114003042B - 一种基于强化学习的移动机器人路径跟踪方法 - Google Patents
一种基于强化学习的移动机器人路径跟踪方法 Download PDFInfo
- Publication number
- CN114003042B CN114003042B CN202111288353.2A CN202111288353A CN114003042B CN 114003042 B CN114003042 B CN 114003042B CN 202111288353 A CN202111288353 A CN 202111288353A CN 114003042 B CN114003042 B CN 114003042B
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- theoretical
- center
- drainage channel
- scanning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000002787 reinforcement Effects 0.000 title claims abstract description 14
- 230000005484 gravity Effects 0.000 claims abstract description 20
- 238000004140 cleaning Methods 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 abstract description 2
- 239000010865 sewage Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种基于强化学习的移动机器人路径跟踪方法，涉及机器人路径跟踪技术领域。该基于强化学习的移动机器人路径跟踪方法，包括以下步骤：步骤一，对前进方向进行断面扫描；步骤二，确定理论行进路径；步骤三，定义移动机器人的重心前进轨迹。本发明中，通过移动机器人得到排水通道内的重心前进轨迹，随着移动机器人在排水通道内的不断移动，可以得到整个城市排水系统新安装的排水通道的重心前进轨迹，为后续清理机器人的清理过程提供追踪路径，过程中也可获得排水通道内部缺陷的位置，便于即使维修，防止使用后出现渗漏的情况。
Description
技术领域
本发明涉及机器人路径跟踪技术领域，具体为一种基于强化学习的移动机器人路径跟踪方法。
背景技术
城市排水系统是处理和排除城市污水和雨水的工程设施系统，是城市公用设施的组成部分。城市排水系统规划是城市总体规划的组成部分。城市排水系统通常由排水管道和污水处理厂组成。在实行污水、雨水分流制的情况下，污水由排水管道收集，送至污水处理后，排入水体或回收利用；雨水径流由排水管道收集后，就近排入水体。
由于城市排水系统的排水通道在长期使用后需要进行清理，因此需要为进行清理机器人提供清理路径，由于排水通道在安装后的轴线并不一定与理论中的一样，因此直接使用会导致清理机器人无法按照预定的路径进行清理。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于强化学习的移动机器人路径跟踪方法，解决了清理机器人在进行清理时需要提供追踪路径的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于强化学习的移动机器人路径跟踪方法，包括以下步骤：
步骤一：对前进方向进行断面扫描
确定移动机器人在排水通道内的前进方向，并使用移动机器人上安装的断面扫描仪对排水通道的内壁按照前进1mm扫描500-1000次的频率进行断面扫描；
步骤二：确定理论行进路径
将每10次断面扫描进行一次边缘重合，并确定边缘重合的拟合范围，接着将各次断面扫描边缘上拟合重复度最高的点紧进行依次连接，这样可以得到每10次断面扫描的理论边缘，并得到理论拟合中心，同时将10次内的各个断面扫描的扫描中心点提取出来，以理论边缘按相等的距离向理论拟合中心做同心圆靠近，在扫描中心点均匀分布到两侧后停止，之后去掉最内和最外的扫描中心点，接下来将剩余的扫描中心点按照最小二乘法得到扫描中心点的分布轨迹，将分布轨迹的最高点和最低点做经过理论拟合中心的连线，并将上述连线的中心点与理论拟合中心连接，两者的中心即为排水通道的理论中心，接下来将每10次断面扫描对用的理论中心连接起来即可得到理论前进轨迹；
步骤三：定义移动机器人的重心前进轨迹
定义移动机器人重心对应位置按前进方向相邻两个理论中心连线做法线对应的平面，并要求移动机器人的重心位于上述的平面内，另得到上述两个理论中心与平面的交点A，将交点与移动机器人的重心的连接，将移动机器人前、后轮中心面与排水通道内壁的接触点连接起来，得到的连线与平面的相交点为轮迹点，位于移动机器人两侧的轮迹点连线与交点A和移动机器人的重心连线相交，得到交点B，移动机器人前进路径中，各个交点B连线即为重心前进轨迹。
优选的，所述排水通道的内壁为圆形，这样的得到理论边缘为排水通道的理论内壁轮廓，其对应的理论拟合中心为排水通道理论内壁轮廓的中心。
优选的，所述断面扫描为扫描排水通道的内壁轮廓。
优选的，所述断面扫描过程中使用移动机器人的高频相机进行拍照。
优选的，所述移动机器人采用四个轮子进行运动。
(三)有益效果
本发明提供了一种基于强化学习的移动机器人路径跟踪方法。具备以下有益效果：
本发明中，通过移动机器人得到排水通道内的重心前进轨迹，随着移动机器人在排水通道内的不断移动，可以得到整个城市排水系统新安装的排水通道的重心前进轨迹，为后续清理机器人的清理过程提供追踪路径，过程中也可获得排水通道内部缺陷的位置，便于即使维修，防止使用后出现渗漏的情况。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
本发明实施例提供一种基于强化学习的移动机器人路径跟踪方法，包括以下步骤：
步骤一：对前进方向进行断面扫描
确定移动机器人在排水通道内的前进方向，并使用移动机器人上安装的断面扫描仪对排水通道的内壁按照前进1mm扫描500-1000次的频率进行断面扫描，其具体为排水通道的内壁轮廓，这里扫描的为刚安装布置好未使用的排水通道，排水通道的内壁为圆形；
步骤二：确定理论行进路径
将每10次断面扫描进行一次边缘重合，并确定边缘重合的拟合范围，接着将各次断面扫描边缘上拟合重复度最高的点紧进行依次连接，这样可以得到每10次断面扫描的理论边缘，并得到理论拟合中心，同时将10次内的各个断面扫描的扫描中心点提取出来，以理论边缘按相等的距离向理论拟合中心做同心圆靠近，在扫描中心点均匀分布到两侧后停止，之后去掉最内和最外的扫描中心点，接下来将剩余的扫描中心点按照最小二乘法得到扫描中心点的分布轨迹，将分布轨迹的最高点和最低点做经过理论拟合中心的连线，并将上述连线的中心点与理论拟合中心连接，两者的中心即为排水通道的理论中心，接下来将每10次断面扫描对用的理论中心连接起来即可得到理论前进轨迹，上述得到的理论边缘为排水通道的理论内壁轮廓，对应的理论拟合中心为排水通道理论内壁轮廓的中心，理论内壁轮廓和理论拟合中心可以避免排水通道内壁局部缺陷或微小弯曲的影响，理论拟合中心与排水通道生产时的理论中心基本重合；
步骤三：定义移动机器人的重心前进轨迹
定义移动机器人重心对应位置按前进方向相邻两个理论中心连线做法线对应的平面，并要求移动机器人的重心位于上述的平面内，另得到上述两个理论中心与平面的交点A，将交点与移动机器人的重心的连接，将移动机器人前、后轮中心面与排水通道内壁的接触点连接起来，得到的连线与平面的相交点为轮迹点，位于移动机器人两侧的轮迹点连线与交点A和移动机器人的重心连线相交，得到交点B，移动机器人前进路径中，各个交点B连线即为重心前进轨迹。
断面扫描过程中使用移动机器人的高频相机进行拍照，这样可以获得排水通道内壁的缺陷位置。
移动机器人采用四个轮子进行运动，移动机器人的四个轮子要求为弹性变形小。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于强化学习的移动机器人路径跟踪方法，其特征在于，包括以下步骤：
步骤一：对前进方向进行断面扫描
确定移动机器人在排水通道内的前进方向，并使用移动机器人上安装的断面扫描仪对排水通道的内壁按照前进1mm扫描500-1000次的频率进行断面扫描；
步骤二：确定理论行进路径
将每10次断面扫描进行一次边缘重合，并确定边缘重合的拟合范围，接着将各次断面扫描边缘上拟合重复度最高的点进行依次连接，这样可以得到每10次断面扫描的理论边缘，并得到理论拟合中心，同时将10次内的各个断面扫描的扫描中心点提取出来，以理论边缘按相等的距离向理论拟合中心做同心圆靠近，在扫描中心点均匀分布到两侧后停止，之后去掉最内和最外的扫描中心点，接下来将剩余的扫描中心点按照最小二乘法得到扫描中心点的分布轨迹，将分布轨迹的最高点和最低点做经过理论拟合中心的连线，并将上述连线的中心点与理论拟合中心连接，两者的中心即为排水通道的理论中心，接下来将每10次断面扫描对用的理论中心连接起来即可得到理论前进轨迹；
步骤三：定义移动机器人的重心前进轨迹
定义移动机器人重心对应位置按前进方向相邻两个理论中心连线做法线对应的平面，并要求移动机器人的重心位于上述的平面内，另得到上述两个理论中心与平面的交点A，将交点与移动机器人的重心的连接，将移动机器人前、后轮中心面与排水通道内壁的接触点连接起来，得到的连线与平面的相交点为轮迹点，位于移动机器人两侧的轮迹点连线与交点A和移动机器人的重心连线相交，得到交点B，移动机器人前进路径中，各个交点B连线即为重心前进轨迹。
2.根据权利要求1所述的一种基于强化学习的移动机器人路径跟踪方法，其特征在于：所述排水通道的内壁为圆形，这样的得到理论边缘为排水通道的理论内壁轮廓，其对应的理论拟合中心为排水通道理论内壁轮廓的中心。
3.根据权利要求1所述的一种基于强化学习的移动机器人路径跟踪方法，其特征在于：所述断面扫描为扫描排水通道的内壁轮廓。
4.根据权利要求1所述的一种基于强化学习的移动机器人路径跟踪方法，其特征在于：所述断面扫描过程中使用移动机器人的高频相机进行拍照。
5.根据权利要求1所述的一种基于强化学习的移动机器人路径跟踪方法，其特征在于：所述移动机器人采用四个轮子进行运动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288353.2A CN114003042B (zh) | 2021-11-02 | 2021-11-02 | 一种基于强化学习的移动机器人路径跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288353.2A CN114003042B (zh) | 2021-11-02 | 2021-11-02 | 一种基于强化学习的移动机器人路径跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114003042A CN114003042A (zh) | 2022-02-01 |
| CN114003042B true CN114003042B (zh) | 2023-05-12 |
Family
ID=79926410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111288353.2A Active CN114003042B (zh) | 2021-11-02 | 2021-11-02 | 一种基于强化学习的移动机器人路径跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114003042B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008529752A (ja) * | 2005-02-18 | 2008-08-07 | アイロボット コーポレーション | 湿式および乾式清掃用の自律的表面清掃ロボット |
| CN105307116A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于移动机器人的分布式视觉定位系统及方法 |
| CN109240091A (zh) * | 2018-11-13 | 2019-01-18 | 燕山大学 | 一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法 |
| CN111079611A (zh) * | 2019-12-09 | 2020-04-28 | 成都奥伦达科技有限公司 | 一种道路面及其标志线的自动提取方法 |
| CN111552292A (zh) * | 2020-05-09 | 2020-08-18 | 沈阳建筑大学 | 基于视觉的移动机器人路径生成与动态目标跟踪方法 |
| CN111598097A (zh) * | 2020-05-08 | 2020-08-28 | 福建省海峡智汇科技有限公司 | 一种基于机器人视觉的仪表位置、读数识别方法和系统 |
| CN113029145A (zh) * | 2021-03-01 | 2021-06-25 | 西安交通大学 | 一种基于强化学习的视觉拓扑导航方法 |
| CN113096161A (zh) * | 2021-03-31 | 2021-07-09 | 哈尔滨工业大学（深圳） | 一种密集行人环境下强化学习移动机器人的导航方法及装置 |
| CN113342003A (zh) * | 2021-07-14 | 2021-09-03 | 北京邮电大学 | 基于开闭环pid型迭代学习的机器人轨迹跟踪控制方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2755461C1 (ru) * | 2020-06-26 | 2021-09-16 | Общество с ограниченной ответственностью "АВТОМАТИЧЕСКИЕ СИСТЕМЫ СПАСЕНИЯ" (ООО "АСС") | Самодвижущийся комплекс пожаротушения на базе самоходного робота |
-
2021
- 2021-11-02 CN CN202111288353.2A patent/CN114003042B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008529752A (ja) * | 2005-02-18 | 2008-08-07 | アイロボット コーポレーション | 湿式および乾式清掃用の自律的表面清掃ロボット |
| CN105307116A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于移动机器人的分布式视觉定位系统及方法 |
| CN109240091A (zh) * | 2018-11-13 | 2019-01-18 | 燕山大学 | 一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法 |
| CN111079611A (zh) * | 2019-12-09 | 2020-04-28 | 成都奥伦达科技有限公司 | 一种道路面及其标志线的自动提取方法 |
| CN111598097A (zh) * | 2020-05-08 | 2020-08-28 | 福建省海峡智汇科技有限公司 | 一种基于机器人视觉的仪表位置、读数识别方法和系统 |
| CN111552292A (zh) * | 2020-05-09 | 2020-08-18 | 沈阳建筑大学 | 基于视觉的移动机器人路径生成与动态目标跟踪方法 |
| CN113029145A (zh) * | 2021-03-01 | 2021-06-25 | 西安交通大学 | 一种基于强化学习的视觉拓扑导航方法 |
| CN113096161A (zh) * | 2021-03-31 | 2021-07-09 | 哈尔滨工业大学（深圳） | 一种密集行人环境下强化学习移动机器人的导航方法及装置 |
| CN113342003A (zh) * | 2021-07-14 | 2021-09-03 | 北京邮电大学 | 基于开闭环pid型迭代学习的机器人轨迹跟踪控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 非完整城市排水管道机器人反演跟踪控制;涂君;陈浩;;湖北工业大学学报(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114003042A (zh) | 2022-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114003042B (zh) | 一种基于强化学习的移动机器人路径跟踪方法 | |
| CN205928998U (zh) | 混凝土结构件自动化喷淋养护系统 | |
| CN101354785A (zh) | 一种冷凝器清洗机器人中的视觉精确定位方法 | |
| CN106890814A (zh) | 一种移动式清洗系统 | |
| RU2412011C1 (ru) | Способ изготовления распределительного коллектора из термопластичных комплектующих и материалов для установки элементов формирования струйных потоков | |
| CN103952751B (zh) | 一种电镀喷淋清洗液回收循环利用的装置 | |
| CN209493633U (zh) | 一种节水型逆流漂洗装置 | |
| CN111424985A (zh) | 一种基于bim技术的混凝土自动喷淋养护优化方法 | |
| CN205673129U (zh) | 汽车轮毂加工流水线 | |
| CN101456681B (zh) | 能修除光学元件局部误差的离子束极轴加工方法 | |
| CN106001036A (zh) | 一种玻璃清洗水回收装置 | |
| CN208630558U (zh) | 一种有轨电车洗车库与淋雨库并股道设置结构 | |
| CN107520197A (zh) | 一种用于泵的钢板零件的激光去污方法 | |
| CN219615242U (zh) | 一种脱硫塔 | |
| CN210390074U (zh) | 用于保温管聚乙烯外护管挤出用水的处理系统 | |
| CN106914499A (zh) | 降低乳化液系统氯离子含量的装置 | |
| CN110639969A (zh) | 一种中厚板除鳞集管喷嘴偏转角定位工具及其应用 | |
| CN208455783U (zh) | 一种防堵塞的市政工程排水管道 | |
| CN105443756A (zh) | 制备大尺寸特厚有机玻璃用密封垫条及表面保护方法 | |
| CN212069236U (zh) | 一种电脑天线喷漆冶具 | |
| CN209957900U (zh) | 一种自动皮模线装置 | |
| CN219689439U (zh) | 一种火电厂中电化学软化处理装置的供水系统 | |
| CN221209302U (zh) | 一种玻璃基板水洗装置 | |
| CN213387908U (zh) | 水厂专用反渗透膜隔断装置 | |
| CN216791528U (zh) | 一种汽车智能喷淋密封检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |