CN111598911A - 一种机器人平台的自主巡线方法、装置及存储介质 - Google Patents
一种机器人平台的自主巡线方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111598911A CN111598911A CN202010724361.6A CN202010724361A CN111598911A CN 111598911 A CN111598911 A CN 111598911A CN 202010724361 A CN202010724361 A CN 202010724361A CN 111598911 A CN111598911 A CN 111598911A
- Authority
- CN
- China
- Prior art keywords
- line
- lane line
- robot
- lane
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012216 screening Methods 0.000 claims abstract description 52
- 230000008859 change Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人平台的自主巡线方法、装置及存储介质。所述方法包括：获取机器人巡线场景的地面俯视图，并检测出所述地面俯视图中的所有线段；从所述所有线段中筛选得到满足预设线段角度、能量值及距离参数要求的所述机器人的初始车道线，并控制所述机器人沿所述初始车道线行驶；在机器人行驶过程中，获取下一帧图像中满足预设角度变化速率和距离变化速率要求的预测车道线，根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线，并控制所述机器人沿所述新的车道线行驶。本发明提升了车道线检测及跟踪的准确率。
Description
技术领域
本发明涉及视觉导航技术领域，特别是涉及一种机器人平台的自主巡线方法、装置及存储介质。
背景技术
随着机器人技术的日趋成熟，机器人的应用场景也越来越广泛，例如：军事上的侦查监视、服务消费上的无人驾驶、送餐机器人、消防、环境检测、电力巡检等。由于机器人在各个领域发挥着越来越重要的作用，大众对机器人的智能化需求也越来越高。
近年来，机器人自主巡线功能成为了研究的热点。现有的机器人自主巡线算法主要包括基于深度学习的巡线算法和基于传统视觉的巡线算法。基于深度学习的巡线算法需要大量不同场景的人工标注好的训练数据以及高性能的gpu，因此场景泛化性较差，且对设备硬件要求高。基于传统视觉的巡线算法在常用的cpu上就能达到实时的处理速度，且具有精度高，成本低，部署到嵌入式设备方便等特点。然而，本发明的发明人研究发现，现有的基于传统视觉的巡线算法仍存在车道线检测精度低、无法识别任意角度的折线等不足。
发明内容
本发明提供了一种机器人平台的自主巡线方法、装置及存储介质，能够在一定程度上解决现有机器人巡线算法存在的车道线检测精度低、无法识别任意角度的折线等不足。
为解决上述技术问题，本发明采用的技术方案为：
一种机器人平台的自主巡线方法，包括以下步骤：
获取机器人巡线场景的地面俯视图，并检测出所述地面俯视图中的所有线段；
从所述所有线段中筛选得到满足预设线段角度、能量值及距离参数要求的初始车道线，并控制所述机器人沿所述初始车道线行驶；
在机器人行驶过程中，获取下一帧图像中满足预设角度变化速率和距离变化速率要求的预测车道线，根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线，并控制所述机器人沿所述新的车道线行驶。
本发明采用的技术方案还包括：在机器人行驶过程中，检测下一帧图像中是否存在折线，当存在折线时，对所述折线进行跟踪，并控制所述机器人旋转至与所述折线平行后，控制所述机器人沿所述折线行驶。
本发明采用的技术方案还包括：所述检测出所述地面俯视图中的所有线段包括：
将机器人巡线场景的当前帧图像转换为灰度图；
对所述灰度图进行高斯模糊处理；
利用透视变换矩阵对所述高斯模糊处理后的灰度图进行透视变换，得到对应的所述地面俯视图；
对所述地面俯视图进行边缘检测+霍夫变换，得到所述地面俯视图中所有的线段。
本发明采用的技术方案还包括：所述根据设定的线段角度、能量值及距离参数从所述所有线段中筛选得到所述机器人的初始车道线包括：
从所述所有线段中筛选得到符合第一筛选规则的两条左右相邻的车道线段，将筛选得到的两条车道线段形成的车道设定为机器人的初始车道线；所述第一筛选规则包括：
所述两条车道线段之间的角度差不能超过设定度数；
所述两条车道线段的能量值大于设定阈值，且左边车道线段的能量值为负，右边车道线段的能量值为正；
所述两条车道线段之间的实际距离在车道线实际宽度范围内。
本发明采用的技术方案还包括：所述控制所述机器人沿所述初始车道线行驶包括：
将所述初始车道线逆透视转换到图像坐标系，再由图像坐标系转换到相机坐标系；
计算所述左边车道线段和左边车道线段的四个顶点在相机坐标系下的位置，然后计算所述机器人与初始车道线之间的距离和夹角；
根据所述距离和夹角计算结果控制所述机器人沿所述初始车道线行驶。
本发明采用的技术方案还包括：所述根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线包括：
设定角度变化速率△θ为所述初始车道线前五帧的角度平均变化量；
设定距离变化速率△d为所述初始车道线前五帧在图像坐标系x轴方向移动的像素值的平均值；
通过△θ和△d预测得到下一帧图像中车道线所在的位置，并定义此时的车道线为预测车道线；
从所述俯视图所有线段中筛选出与所述预测车道线之间的角度差不超过设定度数、与所述预测车道线的左边线段真实距离或右边线段真实距离不超过设定距离的车道线段，且所述车道线段的能量值大于设定阈值；
定义所述预测车道线与所筛选的车道线段形成的车道线为新的车道线。
本发明采用的技术方案还包括：所述根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线还包括：
如果在下一帧图像中没有跟踪到新的车道线，则判断连续设定帧数的图像中是否跟踪到新的车道线；
如果判断连续设定帧数的图像中没有跟踪到新的车道线，则判定所述机器人已偏移车道线，控制机器人停止运行。
本发明采用的技术方案还包括：所述通过折线检测模块检测下一帧图像中是否存在折线包括：
在所述俯视图的所有线段中剔除掉与当前车道线夹角小于第二设定度数的线段，得到折线候选线段；
从所述折线候选线段中选取符合第三筛选规则的两条线段，即为检测得到的折线；所述第三筛选规则为：
所述两条线段之间的角度差小于第一设定度数；
所述两条线段之间的实际距离与当前车道线实际宽度之差小于设定值；
所述两条线段的能量值与当前车道线的两条线段能量值之差小于设定阈值。
本发明采用的技术方案还包括：所述对所述折线进行跟踪包括：
计算所述机器人与所述折线之间的距离与夹角；
判断所述机器人与折线之间的距离是否在设定的距离范围内；
如果在设定的距离范围内，控制所述机器人停止行驶并原地旋转，当旋转至与所述折线平行时，将所述折线更新为新的车道线。
本发明采用的另一技术方案为：一种机器人平台的自主巡线装置，所述装置包括：
线段检测模块：用于获取机器人巡线场景的地面俯视图，并检测出所述地面俯视图中的所有线段；
初始车道线筛选模块：用于从所述所有线段中筛选得到满足预设线段角度、能量值及距离参数要求的所述机器人的初始车道线，并控制所述机器人沿所述初始车道线行驶；
车道线跟踪模块：用于在机器人行驶过程中，获取下一帧图像中满足预设角度变化速率和距离变化速率要求的预测车道线，根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线，并控制所述机器人沿所述新的车道线行驶。
为解决上述技术问题，本发明采用的再一个技术方案是：提供一种机器人平台的自主巡线装置，包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利上述的机器人平台的自主巡线方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制机器人自主巡线。
为解决上述技术问题，本发明采用的再一个技术方案是：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行上述的机器人平台的自主巡线方法。
本发明的有益效果是：
一、在初始车道线选取和车道线跟踪过程中，添加了角度、能量，线段间的距离判别，同时利用帧间信息进行车道线的选取和跟踪，得到的车道线角度精度高，误差小，提升了车道线检测的准确率。
二、采用车道线跟踪，利用帧间信息筛选当前帧的候选车道线段，再通过距离、角度、能量值进一步筛选车道线段并且补全得到新的车道线，能够提升机器人在车道线破损、被遮挡、光照条件弱等环境下的鲁棒性。
三、在跟踪车道线的同时采用折线检测模块实时检测是否有折线存在，当检测到折线时，对折线进行跟踪，当机器人与折线距离在设定范围内时，控制机器人停下并转弯至与折线平行，然后控制机器人沿折线继续行驶；该方案能够识别任意角度的折线并沿着折线转弯，提升机器人在复杂弯曲的路径上的巡线能力。
附图说明
图1是本发明第一实施例的机器人平台的自主巡线方法流程示意图；
图2是本发明第二实施例的机器人平台的自主巡线方法流程示意图；
图3a为本发明第二实施例中获取的原始当前帧图像；
图3b为本发明第二实施例中透视变换得到的地面俯视图；
图4为本发明第二实施例的线段能量值计算方式示意图；
图5是本发明实施例的机器人平台的自主巡线装置第一结构示意图；
图6是本发明实施例的机器人平台的自主巡线装置第二结构示意图；
图7是本发明实施例的存储介质结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
实施例一
请参阅图1，是本发明第一实施例的机器人平台的自主巡线方法流程示意图。本发明第一实施例的机器人平台的自主巡线方法包括以下步骤：
S100：获取机器人巡线场景的地面俯视图，并检测出地面俯视图中的所有线段；
S100中，地面俯视图的获取方式为：将机器人巡线场景的当前帧图像由彩色图转换到灰度图，然后对灰度图进行高斯模糊处理，再根据透视变换矩阵对高斯模糊处理后的灰度图进行透视变换，得到对应的地面俯视图。
线段检测方式具体为：对地面俯视图进行canny检测+hough变换，检测出地面俯视图中所有的线段。
S110：根据设定的线段角度、能量值及距离参数从所有线段中筛选得到机器人的初始车道线，并控制机器人沿所述初始车道线行驶；
S110中，初始车道线的筛选方式具体为：从检测得到的所有线段中筛选得到符合第一筛选规则的两条左右相邻的车道线段，并将筛选得到的两条车道线段形成的车道设定为机器人的初始车道线；第一筛选规则包括：
（1）由于一条车道线的左右两条线段是平行的，因此筛选得到的两条车道线段之间的角度差不能超过第一设定度数（本发明设定该度数为10度，具体可根据实际操作进行设定）；
（2）两条车道线段的能量值需要大于设定阈值，且左边车道线段的能量值为负，右边车道线段的能量值为正；
（3）两条车道线段之间的实际距离应该在车道线实际宽度范围内；通常情况下，车道线实际宽度范围为0.15m-0.4m；筛选得到的两条车道线段之间的真实距离即为初始车道线的实际宽度。
S120：在机器人行驶过程中，根据角度变化速率和距离变化速率获取下一帧图像中的预测车道线，根据预测车道线以及设定的线段角度、能量值及距离参数从所有线段中筛选得到新的车道线，并控制机器人沿新的车道线行驶；
S120中，新的车道线筛选方式具体为：机器人在运动过程中，车道线在俯视图中的角度和位置会发生变化，设定角度变化速率
为初始车道线前五帧的角度平均变化量，设定距离变化速率
为初始车道线前五帧在图像坐标系x轴方向移动的像素值的平均值，通过
，
两个参数预测得到下一帧图像中车道线所在的位置，并定义此时的车道线为预测车道线，然后根据预测车道线从地面俯视图所有线段中筛选出符合第二筛选规则的车道线段，第二筛选规则具体为：
（1）从俯视图所有线段中筛选出与预测车道线之间的角度差不超过第一设定度数（本发明设定该度数为10度，具体可根据实际操作进行设定），且与预测车道线的左边线段真实距离或右边线段真实距离不超过设定距离（本发明设定该距离为0.05m，具体可根据实际操作进行设定）的车道线段；
（2）筛选出的车道线段的能量值大于设定阈值；本发明通过将线段能量值加入到车道线跟踪判别中，能够提升车道线跟踪的准确率。
S130：在机器人行驶过程中，检测下一帧图像中是否存在折线，当存在折线时，对折线进行跟踪，并控制机器人旋转至与折线平行后，控制所述机器人沿所述折线行驶。
S130中，折线检测方式具体为：在俯视图的所有线段中剔除掉与当前车道线夹角小于第二设定度数（本发明设定该度数为30度，具体可根据实际操作进行设定）的所有线段，得到折线候选线段；从折线候选线段中选取符合第三筛选规则的两条线段，即为检测得到的折线。并判断机器人与折线的距离是否在设定的距离范围（本申请设定该距离范围为1米，具体可根据实际操作进行设定）内，如果在设定距离范围内，通过ROS发布控制命令以控制机器人停止并原地旋转，当旋转至与折线平行时，将该折线更新为新的车道线。
本发明第一实施例的机器人平台的自主巡线方法在初始车道线选取和车道线跟踪过程中，添加了角度、能量，线段间的距离判别，提升了车道线检测的准确率；
同时，通过折线检测识别任意角度的折线并沿着折线转弯，提升机器人在复杂弯曲的路径上的巡线能力。
实施例二
请参阅图2，是本发明第二实施例的机器人平台的自主巡线方法流程示意图。本发明第二实施例的机器人平台的自主巡线方法包括以下步骤：
S200：获取机器人巡线场景的当前帧图像；
S210：对当前帧图像进行处理，获取其对应的地面俯视图，并检测出地面俯视图中的所有线段；
S210中，当前帧图像的处理具体包括：将当前帧图像由彩色图转换到灰度图，然后对灰度图进行高斯模糊处理，再根据透视变换矩阵对高斯模糊处理后的灰度图进行透视变换，得到对应的地面俯视图；并对地面俯视图进行canny检测+hough变换，检测出地面俯视图中所有的线段。具体如图3a和图3b所示，图3a为原始当前帧图像，图3b为透视变换得到的地面俯视图。其中，透视变换公式为：
， 
为点在透视变换后地面俯视图中的坐标，
为透视变换前在图像坐标系中的坐标，H为透视变换矩阵。
S220：从检测得到的所有线段中筛选得到符合第一筛选规则的两条左右相邻的车道线段，并将筛选得到的两条车道线段形成的车道设定为机器人的初始车道线；
S220中，第一筛选规则具体为：
（1）由于一条车道线的左右两条线段是平行的，因此筛选得到的两条车道线段之间的角度差不能超过第一设定度数（本发明设定该度数为10度，具体可根据实际操作进行设定）；
（2）两条车道线段的能量值需要大于设定阈值，且左边车道线段的能量值为负，右边车道线段的能量值为正；其中，线段能量值的计算方式如图4所示，在图4的（a）中，当线段与水平线之间的夹角大于45度时，线段AB上有一点C，C的左右各有一个虚线三角形，该三角形的底为40像素，高为20像素；在图4的（b）中，当线段角度绝对值小于45度时，取点C的上下三角形区域的计算能量。点C的能量值公式为：
，其中S1为左（上）边三角形内各个像素点的像素值和；S2为右（下）边三角形内各个像素点的像素值和；N=400，代表三角形区域的面积，为常量。在线段AB上均匀取十个点，求十个点的能量平均值即为该线段的能量值。本发明通过将线段能量值加入到车道线选取判别中，能够提升车道线的检测精度。
（3）两条车道线段之间的实际距离应该在车道线实际宽度范围内；通常情况下，车道线实际宽度范围为0.15m-0.4m；筛选得到的两条车道线段之间的真实距离即为初始车道线的实际宽度。
S230：计算机器人与初始车道线之间的距离和夹角，并根据距离和夹角计算结果控制机器人沿初始车道线行驶；
S230中，机器人与初始车道线之间的距离和角度计算方式具体为：将初始车道线逆透视转换到图像坐标系，再由图像坐标系转换到相机坐标系；假设在地面俯视图中检测得到的左边车道线段的两个顶点为
和
，右边车道线段的两个顶点为
和
，将初始车道线转换到图像坐标系下的计算公式如下：
将
、
、
和
四个顶点的图像坐标转换到相机坐标下的计算公式为：
上述公式中，
点的图像坐标系坐标为
，相机坐标系坐标为
；
点的图像坐标系坐标为
，相机坐标系坐标为
；
点的图像坐标系坐标为
，相机坐标系坐标为
；
点的图像坐标系坐标为
，相机坐标系坐标为
；K为相机的内参矩阵；h用公式编辑器编辑为相机的高度，即地面在相机坐标系下的
值，该值由测量得出。
机器人与初始车道线之间的距离以及夹角计算公式为：
上述公式中，θ为机器人朝向与初始车道线之间的夹角；
为机器人到初始车道线左边线段的距离；
为机器人到初始车道线右边线段的距离；d为机器人到初始车道线的距离；W为初始车道线的实际宽度。
计算出机器人与初始车道线之间距离和夹角后，通过ROS（Robot OperatingSystem，机器人操作系统）将距离和夹角计算结果发布给机器人控制系统，机器人控制系统通过DWA路径规划算法控制机器人沿初始车道线行驶。
S240：在机器人行驶过程中，对每一帧图像进行车道线跟踪，并判断俯视图中是否存在符合第二筛选规则的车道线段，如果存在，执行S250；如果不存在，执行S260；
S240中，机器人在运动过程中，车道线在俯视图中的角度和位置会发生变化，设定角度变化速率
为初始车道线前五帧的角度平均变化量，设定距离变化速率
为初始车道线前五帧在图像坐标系x轴方向移动的像素值的平均值，通过
，
两个参数预测得到下一帧图像中车道线所在的位置，并定义此时的车道线为预测车道线，然后根据预测车道线从地面俯视图所有线段中筛选出符合第二筛选规则的车道线段，第二筛选规则具体为：
（1）从俯视图所有线段中筛选出与预测车道线之间的角度差不超过第一设定度数（本发明设定该度数为10度，具体可根据实际操作进行设定），且与预测车道线的左边线段真实距离或右边线段真实距离不超过设定距离（本发明设定该距离为0.05m，具体可根据实际操作进行设定）的车道线段；
（2）筛选出的车道线段的能量值大于设定阈值；本发明通过将线段能量值加入到车道线跟踪判别中，能够提升车道线跟踪的准确率。
如果筛选出符合第二筛选规则的车道线段，即表示已跟踪到新的车道线，则将机器人的初始车道线更新为由筛选出的车道线段形成的新的车道线，且
和
的参数值随着跟踪到新的车道线而实时更新。反之，如果没有筛选出符合第二筛选规则的线段，则表示该帧图像中未跟踪到新的车道线。
本发明第二实施例中，通过增加
，
两个参数来补偿帧间的车道线位置变化，利用帧间信息对车道线进行跟踪，而无需每帧都重新检测车道线，可以提高车道线的跟踪准确率。
S250：将机器人的初始车道线更新为新的车道线，并计算机器人与新的车道线之间的距离和夹角，根据距离和夹角计算结果控制机器人沿新的车道线行驶，并执行S280；
S250中，更新车道线后，通过前述的公式(1)和公式(2)求出新的车道线的左右两条线段的四个顶点在相机坐标系下的位置，并根据公式(3)-(7)求出机器人与新的车道线之间的距离和夹角，然后通过ROS将距离和夹角计算结果发布给机器人控制系统，机器人控制系统通过DWA路径规划算法控制机器人沿新的车道线行驶。
S260：判断连续设定帧数的图像中是否跟踪到车道线，如果跟踪到车道线，则重新执行S200；如果未跟踪到车道线，执行S270；
S260中，如果连续设定帧数的图像（本发明中设定帧数为10帧，具体可根据实际操作进行设置）中都未跟踪到车道线，则判定机器人已偏移车道线，则控制机器人停止运行。
S270：控制机器人停止运行，结束；
S280：在机器人行驶过程中，通过折线检测模块实时检测下一帧图像中是否存在折线，如果不存在折线，则继续执行S240；如果存在折线，执行S290；
S280中，折线检测方法具体为：在俯视图的所有线段中剔除掉与当前车道线夹角小于第二设定度数（本发明设定该度数为30度，具体可根据实际操作进行设定）的所有线段，得到折线候选线段；从折线候选线段中选取符合第三筛选规则的两条线段，即为检测得到的折线。
第三筛选规则具体为：
（1）两条线段之间的角度差小于第一设定度数（本发明设定该度数为10度，具体可根据实际操作进行设定）；
（2）两条线段之间的实际距离与当前车道线实际宽度之差小于设定值（本发明设定该值为0.05m，具体可根据实际操作进行设定）；
（3）两条线段的能量值与当前车道线的两条线段能量值之差小于设定阈值。
S290：折线检测，并计算机器人与折线之间的距离与夹角；
S290中，折线检测方法以及机器人与折线的距离与夹角计算方法与S240中的车道线跟踪方法以及S230中的机器人与车道线的距离与夹角计算方法相同，本步骤不再赘述。
S300：根据机器人与折线的距离与夹角计算结果控制机器人沿折线旋转，当机器人旋转至与折线平行时，将该折线更新为新的车道线，并控制机器人沿新的车道线行驶；
S300中，折线更新方法具体为：判断机器人与折线的距离是否在设定的距离范围（本申请设定该距离范围为1米，具体可根据实际操作进行设定）内，如果在设定距离范围内，通过ROS发布控制命令以控制机器人停止并原地旋转，当旋转至与折线平行时，将该折线更新为新的车道线；如果不在设定距离范围内， 则结束。本发明通过增加折线检测模块使得机器人在复杂环境下配合折线进行自主导航。
相对于现有技术，本发明第二实施例的机器人平台的自主巡线方法至少包括以下有益效果：
一、在初始车道线选取过程中，添加了角度、能量值及线段间的距离判别，同时利用帧间信息进行车道线的跟踪，使跟踪到的车道线角度精度高，误差小，提升了车道线检测及跟踪的准确率。
二、采用车道线跟踪，利用帧间信息筛选当前帧的候选车道线段，再通过距离、角度、能量值进一步筛选车道线段并且补全得到新的车道线，能够提升机器人在车道线破损、被遮挡、光照条件弱等环境下的鲁棒性。
三、在跟踪车道线的同时采用折线检测模块实时检测是否有折线存在，当检测到折线时，对折线进行跟踪，当机器人与折线距离在设定范围内时，控制机器人停下并转弯至与折线平行，然后控制机器人沿折线继续行驶；该方案能够识别任意角度的折线并沿着折线转弯，提升机器人在复杂弯曲的路径上的巡线能力。
请参阅图5，图5展示了本发明实施例的机器人平台的自主巡线装置的第一结构示意图。该装置40包括：
线段检测模块41：用于获取机器人巡线场景的地面俯视图，并检测出地面俯视图中的所有线段；
初始车道线筛选模块42：用于根据设定的线段角度、能量值及距离参数从所有线段中筛选得到机器人的初始车道线，并控制机器人沿所述初始车道线行驶；
车道线跟踪模块43：用于在机器人行驶过程中，根据角度变化速率和距离变化速率获取下一帧图像中的预测车道线，根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线，并控制所述机器人沿所述新的车道线行驶。
请参阅图6，图6展示了本发明机器人平台的自主巡线装置的第二结构示意图。如图6所示，该装置50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述机器人平台的自主巡线方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制机器人自主巡线。
其中，处理器51还可以称为CPU（Central Processing Unit，中央处理单元）。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图7，图7为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (12)
1.一种机器人平台的自主巡线方法，其特征在于，包括以下步骤：
获取机器人巡线场景的地面俯视图，并检测出所述地面俯视图中的所有线段；
从所述所有线段中筛选得到满足预设线段角度、能量值及距离参数要求的所述机器人的初始车道线，并控制所述机器人沿所述初始车道线行驶；
在机器人行驶过程中，获取下一帧图像中满足预设角度变化速率和距离变化速率要求的预测车道线，根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线，并控制所述机器人沿所述新的车道线行驶。
2.根据权利要求1所述的机器人平台的自主巡线方法，其特征在于，所述控制所述机器人沿所述新的车道线行驶还包括：
在机器人行驶过程中，检测下一帧图像中是否存在折线，当存在折线时，对所述折线进行跟踪，并控制所述机器人旋转至与所述折线平行后，控制所述机器人沿所述折线行驶。
3.根据权利要求1所述的机器人平台的自主巡线方法，其特征在于，所述检测出所述地面俯视图中的所有线段包括：
将机器人巡线场景的当前帧图像转换为灰度图；
对所述灰度图进行高斯模糊处理；
利用透视变换矩阵对所述高斯模糊处理后的灰度图进行透视变换，得到对应的所述地面俯视图；
对所述地面俯视图进行边缘检测+霍夫变换，得到所述地面俯视图中所有的线段。
4.根据权利要求3所述的机器人平台的自主巡线方法，其特征在于，
所述根据设定的线段角度、能量值及距离参数从所述所有线段中筛选得到所述机器人的初始车道线包括：
从所述所有线段中筛选得到符合第一筛选规则的两条左右相邻的车道线段，将筛选得到的两条车道线段形成的车道设定为机器人的初始车道线；所述第一筛选规则包括：
所述两条车道线段之间的角度差不能超过设定度数；
所述两条车道线段的能量值大于设定阈值，且左边车道线段的能量值为负，右边车道线段的能量值为正；
所述两条车道线段之间的实际距离在车道线实际宽度范围内。
5.根据权利要求4所述的机器人平台的自主巡线方法，其特征在于，所述控制所述机器人沿所述初始车道线行驶包括：
将所述初始车道线逆透视转换到图像坐标系，再由图像坐标系转换到相机坐标系；
计算所述左边车道线段和左边车道线段的四个顶点在相机坐标系下的位置，然后计算所述机器人与初始车道线之间的距离和夹角；
根据所述距离和夹角计算结果控制所述机器人沿所述初始车道线行驶。
6.根据权利要求1所述的机器人平台的自主巡线方法，其特征在于，所述根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线包括：
设定角度变化速率△θ为所述初始车道线前五帧的角度平均变化量；
设定距离变化速率△d为所述初始车道线前五帧在图像坐标系x轴方向移动的像素值的平均值；
通过△θ和预测得到下一帧图像中车道线所在的位置，并定义此时的车道线为预测车道线；
从所述俯视图所有线段中筛选出与所述预测车道线之间的角度差不超过设定度数、与所述预测车道线的左边线段真实距离或右边线段真实距离不超过设定距离的车道线段，且所述车道线段的能量值大于设定阈值；
定义所述预测车道线与所筛选的车道线段形成的车道线为新的车道线。
7.根据权利要求6所述的机器人平台的自主巡线方法，其特征在于，所述根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线还包括：
如果在下一帧图像中没有跟踪到新的车道线，则判断连续设定帧数的图像中是否跟踪到新的车道线；
如果判断连续设定帧数的图像中没有跟踪到新的车道线，则判定所述机器人已偏移车道线，控制机器人停止运行。
8.根据权利要求2所述的机器人平台的自主巡线方法，其特征在于，所述通过折线检测模块检测下一帧图像中是否存在折线包括：
在所述俯视图的所有线段中剔除掉与当前车道线夹角小于第二设定度数的线段，得到折线候选线段；
从所述折线候选线段中选取符合第三筛选规则的两条线段，即为检测得到的折线；所述第三筛选规则为：
所述两条线段之间的角度差小于第一设定度数；
所述两条线段之间的实际距离与当前车道线实际宽度之差小于设定值；
所述两条线段的能量值与当前车道线的两条线段能量值之差小于设定阈值。
9.根据权利要求8所述的机器人平台的自主巡线方法，其特征在于，所述对所述折线进行跟踪包括：
计算所述机器人与所述折线之间的距离与夹角；
判断所述机器人与折线之间的距离是否在设定的距离范围内；
如果在设定的距离范围内，控制所述机器人停止行驶并原地旋转，当旋转至与所述折线平行时，将所述折线更新为新的车道线。
10.一种机器人平台的自主巡线装置，其特征在于，所述装置包括：
线段检测模块：用于获取机器人巡线场景的地面俯视图，并检测出所述地面俯视图中的所有线段；
初始车道线筛选模块：用于从所述所有线段中筛选得到满足预设线段角度、能量值及距离参数要求的所述机器人的初始车道线，并控制所述机器人沿所述初始车道线行驶；
车道线跟踪模块：用于在机器人行驶过程中，获取下一帧图像中满足预设角度变化速率和距离变化速率要求的预测车道线，根据所述预测车道线以及设定的线段角度、能量值及距离参数从所述所有线段中筛选得到新的车道线，并控制所述机器人沿所述新的车道线行驶。
11.一种机器人平台的自主巡线装置，其特征在于，所述装置包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-9任一项所述的机器人平台的自主巡线方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制机器人自主巡线。
12.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至9任一项所述的机器人平台的自主巡线方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020106772684 | 2020-07-14 | ||
| CN202010677268 | 2020-07-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111598911A true CN111598911A (zh) | 2020-08-28 |
| CN111598911B CN111598911B (zh) | 2020-12-04 |
Family
ID=72183061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010724361.6A Active CN111598911B (zh) | 2020-07-14 | 2020-07-24 | 一种机器人平台的自主巡线方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111598911B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114001738A (zh) * | 2021-09-28 | 2022-02-01 | 浙江大华技术股份有限公司 | 视觉巡线定位方法、系统以及计算机可读存储介质 |
| CN115271402A (zh) * | 2022-07-19 | 2022-11-01 | 中环洁环境有限公司 | 基于道路环境的环卫车选择方法、系统、介质及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107909007A (zh) * | 2017-10-27 | 2018-04-13 | 上海识加电子科技有限公司 | 车道线检测方法及装置 |
| CN109583280A (zh) * | 2017-09-29 | 2019-04-05 | 比亚迪股份有限公司 | 车道线识别方法、装置、设备及存储介质 |
| CN109785291A (zh) * | 2018-12-20 | 2019-05-21 | 南京莱斯电子设备有限公司 | 一种车道线自适应检测方法 |
| CN111209770A (zh) * | 2018-11-21 | 2020-05-29 | 北京三星通信技术研究有限公司 | 一种车道线识别方法及装置 |
-
2020
- 2020-07-24 CN CN202010724361.6A patent/CN111598911B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583280A (zh) * | 2017-09-29 | 2019-04-05 | 比亚迪股份有限公司 | 车道线识别方法、装置、设备及存储介质 |
| CN107909007A (zh) * | 2017-10-27 | 2018-04-13 | 上海识加电子科技有限公司 | 车道线检测方法及装置 |
| CN111209770A (zh) * | 2018-11-21 | 2020-05-29 | 北京三星通信技术研究有限公司 | 一种车道线识别方法及装置 |
| CN109785291A (zh) * | 2018-12-20 | 2019-05-21 | 南京莱斯电子设备有限公司 | 一种车道线自适应检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙宇飞: "高级辅助驾驶中的车道线检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王志等: "移动机器人导航系统中的车道线检测方法及实现", 《计算机测量与控制》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114001738A (zh) * | 2021-09-28 | 2022-02-01 | 浙江大华技术股份有限公司 | 视觉巡线定位方法、系统以及计算机可读存储介质 |
| CN115271402A (zh) * | 2022-07-19 | 2022-11-01 | 中环洁环境有限公司 | 基于道路环境的环卫车选择方法、系统、介质及设备 |
| CN115271402B (zh) * | 2022-07-19 | 2023-06-27 | 中环洁环境有限公司 | 基于道路环境的环卫车选择方法、系统、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111598911B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816991B2 (en) | Vehicle environment modeling with a camera | |
| CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
| Zhou et al. | Automated evaluation of semantic segmentation robustness for autonomous driving | |
| CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
| Huang et al. | A fast point cloud ground segmentation approach based on coarse-to-fine Markov random field | |
| CN111598911B (zh) | 一种机器人平台的自主巡线方法、装置及存储介质 | |
| CN110136058B (zh) | 一种基于俯视拼接图的建图方法及车载终端 | |
| Zou et al. | Real-time full-stack traffic scene perception for autonomous driving with roadside cameras | |
| CN112947419B (zh) | 避障方法、装置及设备 | |
| CN107330922A (zh) | 基于运动信息和区域特征的航拍视频运动目标检测方法 | |
| CN111508272B (zh) | 提供基于照相机的鲁棒物体距离预测的方法及装置 | |
| CN111931764A (zh) | 一种目标检测方法、目标检测框架及相关设备 | |
| US10902610B2 (en) | Moving object controller, landmark, and moving object control method | |
| CN114494329B (zh) | 用于移动机器人在非平面环境自主探索的导引点选取方法 | |
| CN114119659A (zh) | 一种多传感器融合的目标跟踪方法 | |
| Carrera et al. | Lightweight SLAM and Navigation with a Multi-Camera Rig. | |
| Küçükyildiz et al. | Development and optimization of a DSP-based real-time lane detection algorithm on a mobile platform | |
| CN114581678A (zh) | 一种模板特征匹配的自动跟踪与重识别方法 | |
| CN114549562A (zh) | 基于UNet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质 | |
| CN114972492A (zh) | 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质 | |
| CN112405526A (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
| CN111553342A (zh) | 一种视觉定位方法、装置、计算机设备和存储介质 | |
| CN115902977A (zh) | 基于视觉和gps的变电站机器人双重定位方法及系统 | |
| CN113409268B (zh) | 基于单目相机的可通行区域检测方法、装置及存储介质 | |
| CN113792634B (zh) | 一种基于车载相机的目标相似性评分计算方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |