CN115762145B - 基于多机器人协作的弯道视觉延伸及实时检测预警系统 - Google Patents

Abstract

本发明属于车辆预警领域，具体涉及一种基于多机器人协作的弯道视觉延伸及实时检测预警系统。所述预警系统包括多机器人子系统、边缘计算模块和大屏显示模块；所述多机器人子系统包括智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块和网络摄像头；所述多机器人子系统安装在智能小车上，所述智能小车安装在弯道道路护栏上，并可沿所述弯道道路护栏滑动；所述边缘计算模块安装在弯道道路护栏中央；所述大屏显示模块安装在弯道道路护栏外侧。本发明将多机器人子系统采集数据和边缘计算模块计算的信息反馈到大屏显示模块，解决了现有方案凸面反光镜的视野受限和受天气情况影响大的问题，降低了弯道路段事故的发生率。

Description

基于多机器人协作的弯道视觉延伸及实时检测预警系统

技术领域

本发明属于车辆预警领域，具体涉及一种基于多机器人协作的弯道视觉延伸及实时检测预警系统。

背景技术

在弯道处由于障碍物遮挡的原因产生视觉盲区，弯道两侧的司机都对弯道处交通情况缺乏了解。特别是在天气恶劣情况下，一旦发生紧急情况留给驾驶员的反应时间少，增大了交通事故发生的概率，给司机和行人带来很大的安全隐患。

目前为保障弯道行驶安全，最常采用的措施是使用凸面反光镜，该装置具有施工简单、成本低、养护方便等优点，但其具有以下问题：

①凸面镜发挥作用的程度极易受天气情况影响，并且表面产生污损后发挥作用的能力又会下降；

②在夜晚，光线昏暗的条件下，凸面镜反射效果差；

③凸面镜位置是固定的，且光线反射是有角度要求的，因此依靠凸面镜反射所能查看的距离是有限的，特别是车主离镜面位置较远时因为视野受限看到的信息更少。

发明内容

针对性现有技术中使用凸面反光镜，存在急转弯距离远视野受限，受降雨、大雾、夜间天气情况影响大等问题。本发明的主要目的在于提供一种基于多机器人协作的弯道视觉延伸及检测预警系统，用于解决在急转弯处人视野受限看不清前方路况、会车时因司机反应不及时而出现车祸的问题。该系统不仅能作为人类眼睛的延伸去观察前方弯道的具体路况，从而将捕获的视觉场景实时传递给弯道另一侧的驾驶人员，还能通过声光信息预警及时提醒驾驶员注意前方来车。

为达到以上目的，本发明采用的技术方案为：

一种基于多机器人协作的弯道视觉延伸及实时检测预警系统，所述预警系统包括多机器人子系统、边缘计算模块和大屏显示模块；所述多机器人子系统包括智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块和网络摄像头；所述多机器人子系统安装在智能小车上，所述智能小车安装在弯道道路护栏上，并可沿所述弯道道路护栏滑动；所述边缘计算模块安装在弯道道路护栏中央；所述大屏显示模块安装在弯道道路护栏外侧。

进一步的，所述多机器人子系统中，所述智慧路灯模块用于根据道路环境自适应为所述网络摄像头补光；所述距离监测模块用于监测所述智能小车与障碍物之间的距离；所述声光预警模块用于对识别出的目标物体进行预警；所述射频通信模块用于与所述边缘计算模块或/和其他智能小车的射频通信模块进行通信；所述电机驱动模块用于驱动所述智能小车沿所述弯道道路护栏滑动；所述网络摄像头用于实时采集弯曲道路的目标物体数据。

进一步的，所述多机器人子系统还包括环境监测模块，所述环境监测模块用于监测弯曲道路的温湿度数据和敏感气体数据。

进一步的，同一弯道道路护栏中包括多个智能小车，每个智能小车的射频通信模块作为同一弯道道路护栏中其他智能小车的射频通信模块的中继节点，在所述同一弯道道路护栏中，按照实时检测的WiFi信号强度确定多个智能小车之间的间隔距离。

进一步的，所述边缘计算模块包括根据多机器人子系统的网络摄像头采集的目标物体数据，采用内置的图像识别方法识别出目标物体，并将识别出的所述目标物体通过射频通信模块传回所述多机器人子系统的红绿灯预警模块。

进一步的，所述大屏显示模块用于对网络摄像头拍摄的目标物体数据和声光预警模块显示的预警信息进行同屏分块显示。

进一步的，所述预警系统还包括辅助装置，所述辅助装置安装在弯道道路护栏外侧，所述辅助装置包括充电固定座和充电桩，所述充电桩用于对所述智能小车充电，所述充电固定座用于固定所述智能小车。

进一步的，所述预警系统还包括云平台，所述云平台通过所述多机器人子系统的射频通信模块与所述多机器人子系统的其他各个模块连接。

本发明的有益效果：

1、本发明的多机器人子系统包含多个传感器设备，能够实时监测到弯曲道路相关数据；所述多机器人智能子系统中安装有智慧路灯模块，能减小极端天气（大雾天气等）对视野的影响；能够在夜晚等光线昏暗场景下正常工作。同时将所述多机器人子系统搭载在智能小车中，能够扩大司机在弯道处的视野范围，解决凸面镜不能移动的问题；本系统中当第一个智能小车沿弯道另一侧移动时，其余智能小车也会同步跟着向前移动，以保证前方路况通过无线的方式稳定传输到弯道另一侧的大屏显示设备，这样就可以通过实时通信使两个及以上的智能小车同步向前探索，从而捕获多角度和更远距离的视频信息。

2、本发明的边缘计算设备安装在弯道道路护栏中央，当识别到有效信息立刻返回给红绿灯模块进行实时预警，极低的传输延迟和醒目的光学信号都极大程度地提高了安全性与容错率。

3、本发明的大屏显示设备部署在弯道道路护栏两侧，便于驾驶员和行人查看实时的弯道信息。

4、本发明的辅助装置，能够借助当前弯曲道路的现有电力供应系统或者太阳能供电方案为所述多机器人子系统供电，还可以根据无线充电桩为所述多机器人子系统供电，实现机器人自动依靠充电，保证了预警系统的整体运行。

5、本发明的云平台通过所述多机器人子系统的射频通信模块与所述多机器人子系统通信，能够获取多机器人子系统中采集到的各类信息，能够对这些信息处理后反馈给大屏显示模块，供驾驶员和行人实时查看。

6、本发明通过多机器人子系统采集的数据，利用边缘计算设备实时计算预警，不仅解决了现有方案凸面反光镜的视野受限和受天气情况影响大等问题，还能够及时给驾驶员或行人有效提示，降低了弯道路段事故的发生率，其在一定程度上保障了驾驶人员和行人的生命安全。

附图说明

图1是本发明第一实施例的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统结构图；

图2是本发明第二实施例的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统结构图；

图3是本发明第二实施例的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统结构图；

图4是本发明实施例在一种弯曲道路场景下的预警系统示意图；

图5是本发明实施例所述预警系统时的实现方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明第一实施例的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统结构图，如图1所示，所述预警系统包括多机器人子系统、边缘计算模块和大屏显示模块；所述多机器人子系统包括智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块和网络摄像头；所述多机器人子系统安装在智能小车上，所述智能小车安装在弯道道路护栏上，并可沿所述弯道道路护栏滑动；所述边缘计算模块安装在弯道道路护栏中央；所述大屏显示模块安装在弯道道路护栏外侧。

图2是本发明第二实施例的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统结构图，如图2所示，所述预警系统包括多机器人子系统、边缘计算模块、大屏显示模块和辅助模块；所述多机器人子系统包括智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块、网络摄像头和环境监测模块；所述多机器人子系统安装在智能小车上，所述智能小车安装在弯道道路护栏上，并可沿所述弯道道路护栏滑动；所述边缘计算模块安装在弯道道路护栏中央；所述大屏显示模块安装在弯道道路护栏外侧；所述辅助装置安装在弯道道路护栏外侧，所述辅助装置包括充电固定座和充电桩，所述充电桩用于对所述智能小车充电，所述充电固定座用于固定所述智能小车。

图3是本发明第三实施例的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统结构图，如图3所示，所述预警系统包括多机器人子系统、边缘计算模块、大屏显示模块和云平台；所述多机器人子系统包括智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块、网络摄像头和环境监测模块；所述多机器人子系统安装在智能小车上，所述智能小车安装在弯道道路护栏上，并可沿所述弯道道路护栏滑动；所述边缘计算模块安装在弯道道路护栏中央；所述大屏显示模块安装在弯道道路护栏外侧；所述辅助装置安装在弯道道路护栏外侧。所述云平台与所述多机器人子系统中各个模块连接。

在本发明实施例中，所述多机器人子系统中，所述智慧路灯模块用于根据道路环境自适应为所述网络摄像头补光；所述距离监测模块用于监测所述智能小车与障碍物之间的距离；所述声光预警模块用于对识别出的目标物体进行预警；所述射频通信模块用于与所述边缘计算模块或/和其他智能小车的射频通信模块进行通信；所述电机驱动模块用于驱动所述智能小车沿所述弯道道路护栏滑动；所述网络摄像头用于实时采集弯曲道路的目标物体数据。

在一些实施例中，所述智慧路灯模块能够实时感知道路环境的光照强度，当所述光照强度低于预设定阈值时，则自动开启灯光，不仅能够每隔一段距离布放且照亮前方道路，也能给网络摄像头提供补光功能，进一步减小夜晚给系统带来的负面影响。

在一些实施例中，所述距离监测模块能够通过超声波等手段检测到弯道护栏附近有障碍物阻拦轨道时（比如行人可能会坐在护栏上，道路旁树枝脱落在护栏上），可及时向电机驱动模块报告，并令智能小车停止移动，避免所述智能小车损坏。

在一些实施例中，所述声光预警模块可以通过红绿灯进行展示，举个例子，当在弯道其中一侧的智能小车检测到有车辆或行人出现时，位于弯道另一侧的多个智能小车上的声光预警模块便会同时出现“红灯”指示；而无预定目标物体出现时，正常状态下出现“绿灯”指示。基于所述声光预警模块，就能够实现视觉延伸及实时检测预警，给远离弯道处的司机或行人提供预警信息，增大反应时间。

在一些实施例中，所述射频通信模块可以是WiFi射频通信模块，也可以是4G/5G通信模块，只要能够实现与边缘计算设备或/和云平台通信即可，此时边缘计算设备或/和云平台中具有与所述射频通信模块相同制式或者相同协议的通信设备；当所述射频通信模块为WiFi射频通信模块时，多个智能小车之间能依次建立热点、UDP连接，为协同移动提供支撑能力。

在一些实施例中，所述电机驱动模块可以采用现有的物联网设备，用于驱动所述智能小车沿着弯道道路护栏移动，当所述弯道道路护栏存在障碍物时，也可停止驱动所述智能小车沿着弯道道路护栏移动，避免智能小车与障碍物发生碰撞。

在一些实施例中，所述网络摄像头可以基于ESP32主板与OV2640模组，能将视频信息无线传递到大屏显示模块上，同时，当多个智能小车上搭载网络摄像头时，能够控制智能小车队列捕获不同路段不同角度的路况信息，以作为人类眼睛的延伸去观察前方弯道的具体路况，并且将捕获的视觉场景实时传递给弯道的另一侧的驾驶人员。在本发明实施例中，同一弯道道路护栏中包括多个智能小车，每个智能小车的射频通信模块作为同一弯道道路护栏中其他智能小车的射频通信模块的中继节点，在所述同一弯道道路护栏中，按照实时检测的射频信号强度确定多个智能小车之间的间隔距离。

在本发明实施例中，考虑到弯道道路上智能小车的数量过多会造成浪费，数量过少会导致覆盖不全面，因此本发明以射频信号强度结合弯道道路来合理布置智能小车数量，并确定出智能小车之间的间隔距离，具体的，确定出同一弯道道路上距离最远的两个位置，采用二分法在弯道道路上部署智能小车，当距离最远的两个智能小车的信号接近最低信号强度阈值，则停止部署新的智能小车。

在本发明实施例中，所述边缘计算模块包括根据多机器人子系统的网络摄像头采集的目标物体数据，采用内置的图像识别方法识别出目标物体，并将识别出的所述目标物体通过射频通信模块传回所述多机器人子系统的红绿灯预警模块。

在一些实施例中，所述边缘计算模块中内置的图像识别方法可以是YOLOv5算法，通过搭建YOLOv5环境、能够实时识别目标物体如车辆和行人，能够传回多机器人子系统下的声光预警模块，实现实时检测预警功能。在本发明实施例中，所述大屏显示模块用于对网络摄像头拍摄的目标物体数据和声光预警模块显示的预警信息进行同屏分块显示。

在本发明的优选实施例中，所述多机器人子系统还可以包括环境监控模块，所述环境监控模块可以实时采集温湿度和气体敏感值数据，这些环境数据可以上传给云平台，所述云平台对采集到的环境数据进行处理后，进行空气质量预测，并将空气质量预测结果返回给大屏显示模块中，以提醒驾驶员或者行人注意天气影响带来的安全行驶问题。图4是本发明实施例在一种弯曲道路场景下的预警系统示意图，如图4所示，在一双向行驶的弯曲道路中，两侧的弯曲道路护栏上都设置有智能小车队列，其中靠近障碍物一侧为智能小车队列A，背离障碍物一侧为智能小车队列B，其中，智能小车队列A和智能小车队列B都有多个智能小车，这样能够捕获不同角度不同路段的路况信息；每个智能小车上安装有多机器人子系统，所述多机器人子系统搭载有智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块和网络摄像头；在背离障碍物的一侧还安装有大屏显示模块，为了便于驾驶员和行人观察，可以在多个位置安装大屏显示模块；除此以外，在弯曲道路护栏中央还安装有边缘计算模块，所述边缘计算模块位于中央时，更有利于弯曲道路上的所有智能小车进行通信；除此以外，无线充电桩和充电固定座也可以安装在靠近弯曲道路护栏的外侧，便于对智能小车充电。

图5是本发明实施例所述预警系统时的实现方法流程图，如图5所示，所述实现方法包括：

弯道同侧的队首智能小车远离弯道中央，沿着弯曲道路护栏向前运动；弯道同侧的其他智能小车同步向前运动，同侧的智能小车协同运动；边缘计算设备通过网络摄像头采集的视频数据进行计算，检测是否有车辆或者行人位于所述弯曲道路护栏上，若有，则令智能小车中的声光预警模块启动预警信息，否则令网络摄像头实时向边缘计算模块实时传输视频数据；当所述距离检测模块探测到前方有障碍物，所有智能小车停止向前运动，否则自动记录当前信号强度；判断队首智能小车的信号强度是否大于强度阈值，若大于强度阈值，则继续判断智能小车的信号是否小于电量阈值，若小于电量阈值，则继续判断队尾智能小车与无线充电桩的距离，如果距离小于距离阈值，则需要建立无线充电桩与智能小车的连接，并向所述智能小车供电；否则持续工作即可。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端” 、 “顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、 “连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于多机器人协作的弯道视觉延伸及实时检测预警系统，其特征在于，所述预警系统包括多机器人子系统、边缘计算模块和大屏显示模块；所述多机器人子系统包括智慧路灯模块、距离监测模块、声光预警模块、射频通信模块、电机驱动模块和网络摄像头；所述多机器人子系统安装在智能小车上，所述智能小车安装在弯道道路护栏上，并可沿所述弯道道路护栏滑动；所述边缘计算模块安装在弯道道路护栏中央；所述大屏显示模块安装在弯道道路护栏外侧；

所述多机器人子系统中，所述智慧路灯模块用于根据道路环境自适应为所述网络摄像头补光；所述距离监测模块用于监测所述智能小车与障碍物之间的距离；所述声光预警模块用于对识别出的目标物体进行预警；所述射频通信模块用于与所述边缘计算模块或/和其他智能小车的射频通信模块进行通信；所述电机驱动模块用于驱动所述智能小车沿所述弯道道路护栏滑动；所述网络摄像头用于实时采集弯曲道路的目标物体数据；

同一弯道道路护栏中包括多个智能小车，每个智能小车的射频通信模块作为同一弯道道路护栏中其他智能小车的射频通信模块的中继节点，在所述同一弯道道路护栏中，按照实时检测的射频信号强度确定多个智能小车之间的间隔距离；

所述边缘计算模块包括根据多机器人子系统的网络摄像头采集的目标物体数据，采用内置的图像识别方法识别出目标物体，并将识别出的所述目标物体通过射频通信模块传回所述多机器人子系统的声光预警模块；所述大屏显示模块用于对网络摄像头拍摄的目标物体数据和声光预警模块显示的预警信息进行同屏分块显示。

2.根据权利要求1所述的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统，其特征在于，所述多机器人子系统还包括环境监测模块，所述环境监测模块用于监测弯曲道路的温湿度数据和敏感气体数据。

3.根据权利要求1所述的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统，其特征在于，所述预警系统还包括辅助装置，所述辅助装置安装在弯道道路护栏外侧，所述辅助装置包括充电固定座和充电桩，所述充电桩用于对所述智能小车充电，所述充电固定座用于固定所述智能小车。

4.根据权利要求1所述的一种基于多机器人协作的弯道视觉延伸及实时检测预警系统，其特征在于，所述预警系统还包括云平台，所述云平台与所述多机器人子系统通过射频通信模块连接。