CN115903805A - 面向交通场景人行横道区域的轮式机器人监测方法及系统 - Google Patents

Abstract

本发明属于计算机视觉监测技术领域，具体涉及一种面向交通场景人行横道区域的轮式机器人监测方法及系统，本发明具有主动性、适应性、协同性三个特点，主动性体现在机器人监测不依赖与外部指令和控制，完全自主执行任务；适应性体现在可自动根据环境目标的变化，如感知受限、避障自我完成动态路径规划及运动，实现自主的调控功能，另外，本发明中机器人不受限于路况，占用区域小，也不影响交通；协同性体现在内部的多任务互相耦合关系，如多目标检测跟踪与行人意图及预测进行任务的关联，以协同形式实现多种技术目的；另外，本方法涉及到V2X通信模块，可实现机器人与交通场景中的车、路、云的相互的通信联系，助力交通管理。

Description

面向交通场景人行横道区域的轮式机器人监测方法及系统

技术领域

本发明属于计算机视觉监测技术领域，具体涉及一种面向交通场景人行横道区域的轮式机器人监测方法及系统。

背景技术

当前在交通场景中特别是交叉路口，交通参与者数目庞大，行人密集，传统方案通常在路口会有交警指挥机动车的交通，而在道路的人行横道两侧则会有安全劝导员负责行人的通行安全提示。这种方式不可避免的导致人力资源的浪费，成本较高，且安全劝导员无法做到长期集中注意力对人行横道区域的监测。其他方案如直接在道路路侧部署固定的监控设备(如监控相机)，如图1所示，对目标区域进行监测，或者采用人行横道安全文明通行指引机器人(https://www.afzhan.com/news/Detail/62900.html)，类似的还有：智能机器人“交警”；

(https://www.sensorexpert.com.cn/article/10278.html，https://www.163.com/dy/article/EM2TC0LV05376QX3.html)；

当前专利查询中主要以完成对机器人本身的设计，暂未查到方法设计；当前无论是机器人交警还是机器人劝导员的查询方案中，主要有以下弊端：

1.机器人功能严格限定，导致执行任务类型较少和功能单一；

2.机器人不足够智能，主要体现在大多依靠接受外界指令或信息才进行工作，如https://www.afzhan.com/news/Detail/62900.html中提到该机器人劝导员是与路口交通指挥信号灯系统联网的，根据接受外界型号进行监测，无法做到智能感知，且提醒功能较为单一，同时还有类似于一种交通违法抓拍功能。类似的，如交警机器人：https://www.sensorexpert.com.cn/article/10278.html，机器人与智能信号机进行联动，尽管可以执行道路巡逻、车管咨询、事故警戒等任务(不同类工种机器人)，但无法彻底独立自主的工作，依然存在局限性，此外相关专利，如专利CN109741614A发明公开一种交通机器人的控制系统及方法，主要设计了控制系统，使交通机器人根据交通灯的指示状态做出相应的指示手势并移动至相应的位置。其它相关专利主要以实用新型为主，发明专利以设计机器人为主，与本专利所述内容无明显冲突。

发明内容

发明目的：为解决上述问题，本发明将设计一种用轮式机器人代替安全劝导员执行自主监测任务的方法，具体涉及面向交通场景人行横道区域的轮式机器人监测方法及系统，该方法具有主动性、适应性、协同性。

技术方案：

第一方面：面向交通场景人行横道区域的轮式机器人监测方法，包括：所述方法包括：

根据人行横道区域划定机器人可移动区域α和ROI感知区域；

基于所述感知区域，采集感知原始数据；

对所述原始数据进行分析处理，并根据机器人的实时位置与路径规划结合，调整自身运动状态和位置并输出感知结果；

根据所述感知结果判断是否存在感知受限；

基于所述感知受限情况，机器人实时调整运动路径，并根据实时运动再次进行感知；

实时将多目标数据和行人数据进行结构化处理与存储；

基于所述多目标数据和所述行人数据判断行人是否存在危险行为，并作出对应调整。

在进一步的实施例中，所述人行横道区域为道路路边四边形区域并标记端点A1、A2、A3、A4；所述ROI感知区域为人行横道区域向外扩大若干区域，所述机器人可移动区域α为人行横道区域。

在进一步的实施例中，所述采集感知原始数据是基于所述ROI感知区域场景中信息，通过激光雷达采集原始的感知数据，单目相机获取红绿灯信息，在机器人初始位置调整相机支撑架高度与角度，使其红绿灯在的相机图像视野的中心位置，若机器人运动导致视野中丢失红绿灯，则相机支撑架对应进行旋转调整，用于始终获取红绿灯信息。

在进一步的实施例中，其特征在于，对所述原始数据进行分析处理是对多目标的检测跟踪，即通过激光雷达对ROI感知区域场景中的多个行人同时感知，并考虑目标的连续运动实现对目标的检测跟踪，且输出目标的位置、尺寸、速度、角度。

在进一步的实施例中，其特征在于，所述根据机器人的实时位置与路径规划结合，调整自身运动状态和位置并输出感知结果是机器人在可移动区域α内，通过SLAM将输出在地图中机器人的实时位置，该信息将作为实现运动规划的基础、并与路径规划结合，调整机器人自身运动状态和位置用于达到更好的监测效果,且该机器人所涉及的运动规划基于地图与定位信息，由全局路径规划和局部路径规划组成；

所述全局路径规划是将只设定运动范围的边界即可移动区域α，以及将该区域进行分级、分区域划分，对各个边界点和线在地图中进行位置标记，将信息输入基于机器人初始位置建立的坐标系；

所述局部路径规划是机器人运动调整的过程，包括：避障调整和感知受限调整，所述避障调整试试目标进入机器人安全范围视为检测到障碍物。

在进一步的实施例中，其特征在于，机器人在可移动区域α内进行全局路径规划和局部路径规划时，区域先进行分级、分区域划分，以确定机器人的可移动的安全范围，将四边形的宽度进行等分，设定α＝{α₁,α₂,α₃,α₄,α₅}，其中α₁,α₂区域为活动区，α₁优先级高于α₂，α₃,α₄区域为调整区，α₃优先级高于α₄，α₅区域为预备区，每个区域分为左右半区，即最终机器人可移动区域α由十个小区域组成，设定机器人安全半径为r，由半径r组成的圆形即为机器人可移动的安全范围。

在进一步的实施例中，其特征在于，所述路径规划运动的具体方法如下：

机器人初始位置在α₁的中点，并以此建立坐标系，默认基础运动设定以从左到右，再从右到左循环形式，每次反向以当安全范围触及到边界作为判断依据；

机器人优先向相邻区域移动，首次运动调整时以选择与机器人所处小区域在相同大区的小区域，第二次及以后的运动调整时，选择跨大区域的小区，当完成跨大区运动时，该逻辑将重新刷新；

当规定时间内检测到大于设定目标个数进行安全范围，触发运动调整条件应立即遵循二次优先原则，即跨大区移动，若原位置所处区域为活动区，则应至少运动到调整区，若运动持续，以最终到达预备区α₅结束；

在连续多次运动调整后或处于预备区α₅时，若设定时间内不再触发运动调整条件，则机器人回到初始点。

在进一步的实施例中，所述感知受限包括：

多目标之间的遮挡情况，遮挡情况是多目标的立体检测框之间的重叠，以规定时间内连续检测到正向遮挡中的完全遮挡和75％＜遮挡＜100％判断为存在所涉及目标感知受限，当感知受限目标比例大于总数的75％占比时，触发运动调整条件；

信度阈值与所占比例，在连续检测时间内，以conf<80％判断检测该目标检测数据的不可信，当不可信目标数量占比达到总数的75％时，判断为感知受限，触发运动调整条件，conf表示检测置信度。

在进一步的实施例中，本方法还包括：将所有数据和提示报警信息通过VX2模块发送到车、路、云，同时可以开放通信接口，用于开展其他协同任务。

第二方面：面向交通场景人行横道区域的轮式机器人监测系统，用于实现上述监测方法，所述系统包括：

360°激光雷达，用于感知ROI感知区域中的信息；

惯性测量单元，用于测量物体三轴姿态角、角速率以及加速度；

单目相机，用于采集周围图像，且设有360°旋转支撑架；

V2X通信模块，用于将所有数据和提示报警信息发送到车、路、云，同时可以开放通信接口，用于开展其他协同任务；

实时计算模块，用于根据感知数据进行计算行人及周围信息；

运动控制模块，用于进行机器人的控制；

供电系统，用于为机器人进行供电。

有益效果：本发明属于计算机视觉监测技术领域，具体涉及面向交通场景人行横道区域的轮式机器人监测方法及系统，本发明具有主动性、适应性、协同性三个特点：。

1.主动性体现在机器人监测不依赖与外部指令和控制，完全自主执行任务。

2.适应性体现在可自动根据环境目标的变化(如感知受限、避障)自我完成动态路径规划及运动，实现自主的调控功能。另外，本发明中机器人不受限于路况，占用区域小，也不影响交通。

3.协同性体现在内部的多任务互相耦合关系，如多目标检测跟踪与行人意图及预测进行任务的关联，以协同形式实现多种技术目的；另外，本方法涉及到V2X通信模块，可实现机器人与交通场景中的车、路、云的相互的通信联系，助力交通管理。

附图说明

图1是现有技术中机器人监测示意图。

图2是本发明的监测系统示意图。

图3是本发明的监测系统流程图。

图4是本发明监测方法的机器人可移动区域α和ROI感知区域以及区域先分级、分区域划分示意图。

图5是本发明监测方法的机器人路径规划运动流程图。

图6是本发明监测方法的感知受限中多目标之间的遮挡情况示意图。

图7是本发明监测方法的感知受限中置信度阈值与所占比例示意图。

图8是本发明监测方法工作步骤图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

面向交通场景人行横道区域的轮式机器人监测方法，如图8所示，包括：

步骤S1、根据人行横道区域划定机器人可移动区域α和ROI感知区域；

步骤S2、基于所述感知区域，采集感知原始数据；

步骤S3、对所述原始数据进行分析处理，并根据机器人的实时位置与路径规划结合，调整自身运动状态和位置并输出感知结果；

步骤S4、根据所述感知结果判断是否存在感知受限；

步骤S5、基于所述感知受限情况，机器人实时调整运动路径，并根据实时运动再次进行感知；

步骤S6、实时将多目标数据和行人数据进行结构化处理与存储；

步骤S7、基于所述多目标数据和所述行人数据判断行人是否存在危险行为，并作出对应调整。

步骤S8、将所有数据和提示报警信息通过VX2模块发送到车、路、云，同时可以开放通信接口，用于开展其他协同任务

结合图2至图6所示，下文进行本方法和系统的具体说明：

本发明的实施主要包括以下步骤：

步骤S1.划定机器人可移动区域α，默认为道路路边四边形区域并标记端点A1、A2、A3、A4；设定人行横道区域，根据该区域标记ROI感知区域，默认感知区域为人行横道区域往外扩大5～15米(可根据实际路况大小制定，若ROI感知区域与可移动区域α重叠或交叉，对本方法无影响可忽略)。

步骤S2.基于ROI场景中信息，通过激光雷达采集原始的感知数据(行人)。单目相机获取红绿灯信息，在机器人初始位置调整相机支撑架高度与角度，使其红绿灯在的相机图像视野的中心位置，若机器人运动导致视野中丢失红绿灯，则相机支撑架对应进行旋转调整，达到始终能获取红绿灯信息的效果。

步骤S3.(1)对原始数据用实时AI算法进行分析处理——对多目标的检测跟踪

通过激光雷达对场景中的多个行人同时感知，并考虑目标的连续运动实现对目标的检测跟踪，最终可输出目标的位置、尺寸、速度、角度等。

采用基于激光雷达目标检测的PointRCNN算法，可以实现3D多目标的检测跟踪。具体由两个步骤组成：先利用PointNet++网络实现前景与背景分割，这里执行的是点云分类和分割任务，即前景点的分割以及3D预测框的生成；然后是对这个预测框进行调整优化，最后对每个目标生成对应的一个经过优化后的3D BBox信息(步骤S4中提到的立体检测框)。

(2)与此同时，机器人在可移动区域α内，通过SLAM与路径规划结合，调整自身运动状态和位置以实现更佳的监测效果。

SLAM采用激光雷达SLAM中的LIO-SAM算法，通过激光-惯性紧耦合的框架，能够进行高精度、实时的移动机器人轨迹估计(定位)和地图构建。SLAM将输出在地图中机器人的实时位置，该信息将作为实现运动规划的基础。

该机器人所涉及的运动规划基于地图与定位信息，由全局路径规划和局部路径规划组成，局部路径规划涉及到避障调整。(以下详细说明)

1)前置条件：如下图所示，根据四边形的宽度进行等分，设定α＝{α₁,α₂,α₃,α₄,α₅}，其中α₁,α₂区域为活动区，前者优先级更高，α₃,α₄区域为调整区，前者优先级更高，α₅区域为预备区。每个区域分为左右半区，即最终α由十个小区域组成。设定机器人安全半径为r，r＝1米，由r组成的圆形即为安全范围。

2)全局路径规划：没有严格意义上去设定整个运动路径的起点与终点，所以也不考虑最便捷的运动路径，而是将只设定运动范围的边界(可移动区域α)，以及将该区域进行分级、分区域划分，对各个边界点和线在地图中进行位置标记(将信息输入基于机器人初始位置建立的坐标系)。

3)局部路径规划：指的是机器人运动调整的过程。从两个约束进行考虑，一是避障调整(当目标进入机器人安全范围视为检测到障碍物)，二是感知受限调整。这时局部路径规划将做出微调。

路径规划运动的逻辑和规则如下：

A.机器人初始位置在α₁的中点(坐标系以此建立)，默认基础运动设定以从左到右，再从右到左循环形式，每次反向以当安全范围触及到边界作为判断依据。

B.在机器人需要进行运动调整时，应遵循“相邻移动”的大原则，并执行“首次同区优先，二次跨区优先”的逻辑。

具体解释为：机器人优先向相邻区域移动(小区域)，首次运动调整时以选择与机器人所处小区域在相同大区的小区域，第二次及以后的运动调整时，选择跨大区域的小区，当完成跨大区运动时，该逻辑将重新刷新。(如机器人处于α₁时触发运动调整条件，此时可向α₂和b₁移动，但根据首次优先原则，应先向α₂移动，若在α₂中再次触发运动调整条件，此时可向α₁和b₂移动，根据二次优先原则，选择b₂进行跨大区移动，并执行刷新该逻辑。)

机器人在同大区内移动速度设定为0.8m/s，跨大区运动时速度设定为1.2m/s。

C.特殊的，当1s内检测到大于5个目标进行安全范围，触发运动调整条件应立即遵循二次优先原则，即跨大区移动，若原位置所处区域为活动区，则应至少运动到调整区，若运动持续，以最终到达预备区α₅结束。

D.在连续多次运动调整后或处于预备区α₅时，若10秒内不再触发运动调整条件，则机器人回到初始点。

步骤S4.根据步骤S3中的感知结果判断是否存在感知受限，若存在，此时将触发运动调整条件，并往回进行反馈，开始步骤S5，并同时执行步骤S6；如未感知受限则直接往下到步骤S6。

感知受限条件可以从两个角度判断：一是多目标之间的遮挡情况，二是置信度阈值与所占比例。

A.遮挡情况主要考虑对多目标的立体检测框之间的重叠，以3秒内连续检测到正向遮挡中的完全遮挡和75％＜遮挡＜100％判断为存在所涉及目标感知受限，当感知受限目标比例大于总数的75％占比时，触发运动调整条件。

B.在针对多目标检测跟踪的过程中，存在着检测置信度conf(可以理解为每个目标检测数据可靠性)，如下图所示。在连续检测时间3s内，以conf<80％判断检测该目标检测数据的不可信，当不可信目标数量占比达到总数的75％时，判断为感知受限，触发运动调整条件。

步骤S5.基于感知受限情况，机器人实时调整运动路径，即局部的动态路径规划，根据实时运动再次进行感知，即重复步骤3，该步骤的目的提高感知准确率与精度；

步骤S6.实时将多目标数据和行人数据进行结构化处理与存储。

步骤S7.基于步骤S6的数据判断行人是否存在危险行为，以脱离人行横道和闯红灯为主。若存在危险行为，则发出警报声。反之，则不进行提示报警。

脱离人行横道：以目标位置离开人行横道区域3s及其以上作为判断条件；

闯红灯：以在红灯时间内，目标位置发生位移且与机器人距离逐渐缩短，该过程持续时间2s及其以上作为判断条件。

步骤S8.将所有数据和提示报警信息通过VX2模块发送到车、路、云，同时可以开放通信接口，以便开展可能的协同任务。

面向交通场景人行横道区域的轮式机器人监测系统，用于实现上述监测方法，所述系统包括：

360°激光雷达，用于感知ROI感知区域中的信息；

惯性测量单元，用于测量物体三轴姿态角、角速率以及加速度；

单目相机，用于采集周围图像，且设有360°旋转支撑架；

V2X通信模块，用于将所有数据和提示报警信息发送到车、路、云，同时可以开放通信接口，用于开展其他协同任务；

实时计算模块，用于根据感知数据进行计算行人及周围信息；

运动控制模块，用于进行机器人的控制；

供电系统，用于为机器人进行供电。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.面向交通场景人行横道区域的轮式机器人监测方法，其特征在于，所述方法包括：

根据人行横道区域划定机器人可移动区域α和ROI感知区域；

基于所述感知区域，采集感知原始数据；

对所述原始数据进行分析处理，并根据机器人的实时位置与路径规划结合，调整自身运动状态和位置并输出感知结果；

根据所述感知结果判断是否存在感知受限；

基于所述感知受限情况，机器人实时调整运动路径，并根据实时运动再次进行感知；

实时将多目标数据和行人数据进行结构化处理与存储；

基于所述多目标数据和所述行人数据判断行人是否存在危险行为，并作出对应调整。

2.根据权利要求1所述的面向交通场景人行横道区域的轮式机器人监测方法，所述人行横道区域为道路路边四边形区域并标记端点A1、A2、A3、A4；所述ROI感知区域为人行横道区域向外扩大若干区域，所述机器人可移动区域α为人行横道区域。

3.根据权利要求1所述的面向交通场景人行横道区域的轮式机器人监测方法，所述采集感知原始数据是基于所述ROI感知区域场景中信息，通过激光雷达采集原始的感知数据，单目相机获取红绿灯信息，在机器人初始位置调整相机支撑架高度与角度，使其红绿灯在的相机图像视野的中心位置，若机器人运动导致视野中丢失红绿灯，则相机支撑架对应进行旋转调整，用于始终获取红绿灯信息。

4.根据权利要求1所述的面向交通场景人行横道区域的轮式机器人监测方法，其特征在于，对所述原始数据进行分析处理是对多目标的检测跟踪，即通过激光雷达对ROI感知区域场景中的多个行人同时感知，并考虑目标的连续运动实现对目标的检测跟踪，且输出目标的位置、尺寸、速度、角度。

5.根据权利要求1所述的面向交通场景人行横道区域的轮式机器人监测方法，其特征在于，所述根据机器人的实时位置与路径规划结合，调整自身运动状态和位置并输出感知结果是机器人在可移动区域α内，通过SLAM将输出在地图中机器人的实时位置，该信息将作为实现运动规划的基础、并与路径规划结合，调整机器人自身运动状态和位置用于达到更好的监测效果,且该机器人所涉及的运动规划基于地图与定位信息，由全局路径规划和局部路径规划组成；

所述全局路径规划是将只设定运动范围的边界即可移动区域α，以及将该区域进行分级、分区域划分，对各个边界点和线在地图中进行位置标记，将信息输入基于机器人初始位置建立的坐标系；

所述局部路径规划是机器人运动调整的过程，包括：避障调整和感知受限调整，所述避障调整试试目标进入机器人安全范围视为检测到障碍物。

6.根据权利要求5所述的面向交通场景人行横道区域的轮式机器人监测方法，其特征在于，机器人在可移动区域α内进行全局路径规划和局部路径规划时，区域先进行分级、分区域划分，以确定机器人的可移动的安全范围，将四边形的宽度进行等分，设定α＝{α₁,α₂,α₃,α₄,α₅}，其中α₁,α₂区域为活动区，α₁优先级高于α₂，α₃,α₄区域为调整区，α₃优先级高于α₄，α₅区域为预备区，每个区域分为左右半区，即最终机器人可移动区域α由十个小区域组成，设定机器人安全半径为r，由半径r组成的圆形即为机器人可移动的安全范围。

7.根据权利要求6所述的面向交通场景人行横道区域的轮式机器人监测方法，其特征在于，所述路径规划运动的具体方法如下：

机器人初始位置在α₁的中点，并以此建立坐标系，默认基础运动设定以从左到右，再从右到左循环形式，每次反向以当安全范围触及到边界作为判断依据；

机器人优先向相邻区域移动，首次运动调整时以选择与机器人所处小区域在相同大区的小区域，第二次及以后的运动调整时，选择跨大区域的小区，当完成跨大区运动时，该逻辑将重新刷新；

当规定时间内检测到大于设定目标个数进行安全范围，触发运动调整条件应立即遵循二次优先原则，即跨大区移动，若原位置所处区域为活动区，则应至少运动到调整区，若运动持续，以最终到达预备区α₅结束；

在连续多次运动调整后或处于预备区α₅时，若设定时间内不再触发运动调整条件，则机器人回到初始点。

8.根据权利要求1所述的面向交通场景人行横道区域的轮式机器人监测方法，其特征在于，所述感知受限包括：

多目标之间的遮挡情况，遮挡情况是多目标的立体检测框之间的重叠，以规定时间内连续检测到正向遮挡中的完全遮挡和75％＜遮挡＜100％判断为存在所涉及目标感知受限，当感知受限目标比例大于总数的75％占比时，触发运动调整条件；

信度阈值与所占比例，在连续检测时间内，以conf<80％判断检测该目标检测数据的不可信，当不可信目标数量占比达到总数的75％时，判断为感知受限，触发运动调整条件，conf表示检测置信度。

9.根据权利要求1所述的面向交通场景人行横道区域的轮式机器人监测方法，本方法还包括：将所有数据和提示报警信息通过VX2模块发送到车、路、云，同时可以开放通信接口，用于开展其他协同任务。

10.面向交通场景人行横道区域的轮式机器人监测系统，用于实现权利要求1至9任一项监测方法，所述系统包括：

360°激光雷达，用于感知ROI感知区域中的信息；

惯性测量单元，用于测量物体三轴姿态角、角速率以及加速度；

单目相机，用于采集周围图像，且设有360°旋转支撑架；

V2X通信模块，用于将所有数据和提示报警信息发送到车、路、云，同时可以开放通信接口，用于开展其他协同任务；

实时计算模块，用于根据感知数据进行计算行人及周围信息；

运动控制模块，用于进行机器人的控制；

供电系统，用于为机器人进行供电。

Images