CN117238132A - 一种智能叉路口预警系统 - Google Patents

Abstract

本发明公开了一种智能叉路口预警系统，包括热成像摄像仪、路口预警模块、示警模块；当有行人、车辆、动物等物体出现在规定的可视范围内，系统可以根据行人、车辆、动物等物体速度，来判断前方路口是否可以正常通行，通过路口预警模块设定的算法判断识别后，示警模块在作出指示。该系统可以安装在路线视距不足的曲线部分，山岭区道路极小的曲线半径处、通视恶劣的交叉路口(特别是无信号的交叉路口)、铁路道口以及地下停车场的狭窄转弯处，避免需要时刻关注道路反光镜，避免转弯路口车辆速度过快来不及及时做出反应出现事故。与现有的道路反光镜相比，解决了道路反光镜容易脏、易破损，占用额外空间，分散司机注意力等问题。同时优化了目标检测的算法，将目标检测算法应用到路口的视频检测中，为我们的汽车，行人通过一些特殊类型的路口提供了一种更安全的、更便捷的、更智能的智能路口通行预警系统。

Description

一种智能叉路口预警系统

技术领域

本发明涉及图像识别和智能交通领域，具体为一种智能叉路口预警系统。

背景技术

目前，绝大多数车辆驾驶在路线视距不足的曲线部分，山岭区道路极小的曲线半径处、通视恶劣的交叉路口(特别是无信号的交叉路口)、铁路道口以及地下停车场的狭窄转弯处，都只能通过对面车辆的灯光、喇叭声或者路口安装的反光镜来判断路口的情况，这样就会导致驾驶员需要时刻注意外界的一些影响因素，会分散一部分注意力，可能还会被突如其来的情况吓一跳或者来不及反应，造成安全事故。

中国专利号201620954440.5，公开了一种基于计算机视觉的交叉路口通行预警系统，在交叉路口特定区域设置虚拟线圈，特写摄像机的视场对准虚拟线圈，全景摄像机的视场包括交叉路口各个方向视角。具体应用在施工地段交叉路口通行的车辆与行人异常情况时进行预警，这种方式需要分析的样本数据比较大，处理的情况会更加复杂，而且迁移应用效果不好，相对而言投入的成本比较高，对分析者比较有帮助而对实际的使用者效果不好。

针对上述情况，现在的路口通行预警系统很多地方需要技术创新，尽量在不改变现有路口装置和结构、不影响驾驶员正常驾驶的前提下，设计一种更加智能，使用更方便，应用场景更广泛的一种智能叉路口预警系统，解决目前车辆通过有视线死角的路口或者转弯处时遇到的问题。

发明内容

本发明的目的在于提供了一种智能叉路口预警系统，以解决上述背景技术中车辆在通过一些特殊类型路口的时候只能依赖路口安装的反光镜，对面来车的喇叭声、灯光来判断对面来车情况，但是遇上反光镜破损、视线不足，驾驶习惯不好的驾驶员、没有安全意识的行人通过这些特殊类型路口时，驾驶员需要时刻关注这种情况，会分散一部分注意力，可能还被对面车辆突然放响、行人和动物等突然出现等突发情况吓一跳还是很危险的，而且路边安装的反光镜会经常出现破损，容易被尘土弄脏，占地方，坏了之后不易维护，需要专人不定期的巡视。

1.为实现上述目的，本发明提供如下技术方案：一种智能叉路口预警系统，包括热成像摄像仪、路口预警模块、示警模块；电源向各个模块供电，热成像摄像仪与路口预警控制模块通过无线进行连接，路口预警模块与示警模块也通过无线进行连接。

本发明一种智能叉路口预警系统是将热成像摄像仪、示警模块可以根据路口类型安装在不同的来车方向的立杆或者一些墙壁上，示警模块根据在规定可视范围内目标物体的速度，再将所得数据传送到路口预警模块，通过路口内路口预警模块内设定算法识别后，会有不同颜色的灯光亮起提示来对司机或者行人进行警示；路口预警控制模块作为整个系统的核心，进行输入输出接口的控制，其中就包括上面提到的接收热成像摄像仪的视频或者图片、示警模块的控制，目标检测算法的部署、目标的检测；各类型的路口都将采用一个路口预警控制模块，然后根据来车方向的数量进行热成像摄像仪、示警模块的数目选择，然后电源模块从就近的路政供电系统或者小区供电系统接入，有光照条件的可以利用太阳能供电和电网供电相结合的方式，通过隔离放在控制柜内。

本发明在应用前需要准备数据集，然后进行标记，生成标签，制作符合该算法使用的数据集格式，才能进行模型的训练。首先根据我们现在使用的场景不同灵活的选择数据集图片，现在我们主要选择三大类并且定义为三类person类、car类、animal类，包括不同场景下的行人10000张图片、汽车20000张图片、常见的动物20000张图片，后面可以根据我们使用的场景来丰富我们的数据集，以便能够检测更多种类的目标。对数据集进行划分80％的训练集，10％测试集，10％验证集。根据我们对速度和准确度的要求选择合适的训练模型，并且对配置文件进行修改，训练完模型之后进行模型评估，我们的评估结果准确度为95％，召回率为100％，FPS能达到40。这些模型的评估结果完全能够达到我们使用的要求。

与现有技术相比，本发明的优点如下：

1.本发明安装在一些存在视线死角的特殊路口，能够保证驾驶员比较直观地了解对面来车方向的情况，大大减少了安全事故的发生，可有效地解决双向车辆安全快速会车问题。驾驶员也不用一直盯着传统的反光镜来判断路口的情况，正常的驾驶就能清楚了解来车方向的情况。

2.本发明采用目前比较流行的目标检测算法，可以准确地对待检测区域出现的目标进行识别检测，示警模块既能显示路口的目标，又能显示距离和目标物体的速度，而且算法可以很好地应用在视频流，可以实时的对规定的可视范围进行检测。

3.本发明使用范围更广泛，不管是白天还是夜晚，野外还是地下停车场，丁字路口还是其他类型存在视线死角的路口都可以应用本发明。

4.本发明可以将实时的运行情况，拍摄画面上传到后台的服务器端，后台工作人员可以清楚地知道每个系统的工作情况，可以对每个路口的数据进行一些分析，对不同场景下的系统进行改进，并且可以减少维护成功，不需要专人去巡检设备是否能够正常工作。

附图说明

图1为本发明主视流程示意图。

图2为本发明安装示意图

图2中：

1、示警模块

2、热成像摄像仪

3、路口预警控制模块

4、热成像摄像仪

5、示警模块

图3为本发明示警模块显示内容示意图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

2.一种智能叉路口预警系统，包括包括热成像摄像仪、路口预警模块、示警模块；电源模块向各个模块供电，热成像摄像仪与路口预警控制模块通过无线进行连接，路口预警模块与示警模块也通过无线进行连接。工作原理：参阅图1，本发明提供技术方案：热成像摄像仪构成整个系统的输入部分；热成像摄像仪采用分辨率、灵敏度、信噪比、强光抑制功能、背光抑制功能、色彩还原功能、数字降噪功能的摄像仪，保证采集的图像或者视频效果更好更清晰，噪波点更少，在光线不足或者强光干扰的情况下都能拍摄清晰。而且采用的模块内部集成了DSP芯片进行数字降噪，通过检测和分析帧存储器中的图像信息，自动降低相对静止画面的增益幅度，极大地消除了信号中的干扰噪声波，从而有效地提高了画面清晰度和洁净度，而且方便安装与调试，热成像摄像仪接口可以采用GigE端口对摄像仪进行设置和调试。通过这个端口可以远程控制摄像仪，修改摄像仪里面的参数，无需到现场对摄像仪进行调整；通过这种快捷方便的端口，大大节省了人力和调试时间。

参阅图1，本发明提供技术方案：示警模块构成整个系统的输出部分。示警模块由红绿两种颜色组成，示警方式采用用红灯闪烁、绿灯长亮的模式；先判断目标识别物是否出现在可视范围内，根据所测得速度，然后路口预警模块内设定算法判断识别后，当示警模块绿灯亮起，代表目标识别物处于静止状态，驾驶员控制车速放心通过；当红灯闪烁时，如果红灯闪烁的频率越快代表路口目标识别物在移动的速度很快，需要驾驶员控制车速缓慢行驶，同时观察是否需要让行。可视范围可以通过目标到路口的距离计算使用假设有一个宽度为W的目标或者物体，然后将这个目标放在距离的摄像仪为D的位置，用摄像仪对物体进行拍照并且测量物体的像素宽度P。这样就得出了摄像仪焦距的公式：

同理，在本发明中，我们的热成像摄像仪采集模块固定安装，提前计算好固定的焦距。当目标靠近摄像仪采集模块时，我们对式1.1进行公式变形得到目标距离摄像仪的距离

然后再根据热成摄像仪实际距离路口的位置，再与D′进行计算得到目标距离路口的距离；显示模块主要用来显示我们路口目标检测的输出结果，包括出现目标的种类以及置信度。

参阅图1，本发明提供技术方案：路口预警控制模块作为整个发明的核心，既需要接收输入部分的视频传入，进行目标检测算法的部署，对视频进行目标检测，又需要控制输出部分的工作方式。目标检测的主要目的是让计算机可以自动识别图片或者视频帧中我们事先需要检测目标的类别，并在该目标周围绘制边界框，标示出每个目标的位置。按一定规则在图片上产生一系列的候选区域，然后根据这些候选区域与图片上物体真实框之间的位置关系对候选区域进行标注。跟真实框足够接近的那些候选区域会被标注为正样本，同时将真实框的位置作为正样本的位置目标。偏离真实框较大的那些候选区域则会被标注为负样本，负样本不需要预测位置或者类别。使用卷积神经网络提取图片特征并对候选区域的位置和类别进行预测。这样每个预测框就可以看成是一个样本，根据真实框相对它的位置和类别进行了标注而获得标签值，通过网络模型预测其位置和类别，将网络预测值和标签值进行比较，就可以建立起损失函数。

采用的目标检测算法不管是在GPU上的运行速度还是在COCO数据集上的精度都相对其他算法略胜一筹，整个算法架构分为三个部分骨架、颈部和头部。利用CSP(Cross-Stage Partial Networks)作为主干，从输入图像中提取特征。PANet被用作收集特征金字塔的主干，头部是最终的检测层，它使用特征上的锚框来检测对象。输入端表示将图片输入到算法网络。该网络的输入图像大小为608*608，该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。该算法中将手动修改初始锚框功能嵌入到代码中，每次训练时，根据数据集的名称自适应的计算出最佳的锚框，用户可以根据自己的需求将功能关闭或者打开。省掉了每次需要根据使用的数据集自己修改的过程。在网络训练阶段，算法使用Mosaic数据增强操作，提升模型的训练速度和网络的精度，Mosaic数据增强采用了4张图片，随机缩放、随机裁剪、随机排布的方式进行拼接。这种增强方法可以将几张图片组合成一张，这样不仅可以丰富数据集的同时极大的提升网络的训练速度，而且可以降低模型的内存需求。并提出了一种自适应锚框计算与自适应图片缩放方法。基准网络通常是一些性能优异的分类器种的网络，该模块用来提取一些通用的特征表示，网络不仅使用了CSPDarknet53结构，而且使用了Focus结构作为基准网络。Neck网络通常位于基准网络和头网络的中间位置，利用它可以进一步提升特征的多样性及鲁棒性。Head用来完成目标检测结果的输出。针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支。

基于整个专利来说，我们不需要检测过于密集、微小的、背景过于复杂的目标，所以只需要采用最小的S系列网络模型就可以，S系列的模型十几m大小，速度很快，对于正常大小的目标检测精度也足够，嵌入式设备可以使用。

首先根据我们应用场景准备大量数据集，其中包括各种场景下的行人、常见型号的汽车、以及常见的动物图片，然后使用标注软件进行标注，最后生成我们训练用的数据集，总文件夹下分别为Annotations(用于存放xml格式的图片标注文件)，images(存放jpg格式的图片文件)，ImageSets(存放的是txt格式的分类和检测的数据集分割文件。然后用脚本生成ImageSets文件夹下的数据集分割文件和labels文件夹下的标签文件，数据集划分的比例和目标类别信息需要手动修改，一般训练集：测试集：验证集的比例为8：1：1划分，至此所有的数据集制作完成。

然后根据我们使用的算法配置我们需要的环境，安装依赖包。修改配置文件，数据集方面的yaml文件修改，其中train，val，test后面分别改为我们自己生成的训练集、验证集和测试集图片的路径，nc为数据集的类别数，我这里只分了三类，names为类别的名称(person,car,animal)。然后修改我们需要迭代的次数和batch-size，根据我们的电脑配置进行修改，修改完成后开始进行训练。到最后可以看到我们的精确率能够达到0.958，召回率为1，mAP为0.995,可以看到训练的模型的效果还是不错的，自动将最好的一代保存起来，我们用图片进行测试，可以把图片中的目标都能够框选出来，而且类别也都正确。然后我们接着开启我们电脑的摄像头进行动态实时测试，略微有点延时，大约在0.5s左右，在接受范围内，但是精度还是非常不错的。

最后将我们训练好的模型部署到我们的路口预警控制模块，首先将我们通过自带的export.py文件将训练好的pt模型文件转化为onnx文件，然后进入到安装编译好的ncnn目录下，将onnx2ncnn和ncnnoptimize两个可执行文件，可以复制到工程下，方便后面的操作，然后修改配置参数，删掉Split、Crop、Concat层新增Focus层，将最后的Reshape层，把输出数量改为-1，否则最终导出的文件，测试时会有很多框，ncnnoptimize优化模型，使用onnx2ncnn转换为ncnn模型，然后利用C++做一些后处理，生成我们最终下载到路口预警控制模块的文件，所有的部署工作完成。

参阅图1，本发明提供技术方案：电源模块作为整个系统正常工作的保证，供电的稳定至关重要。由于每个模块应用的电压等级不一致，将不同电压转换电路之间单独做了隔离，以防干扰，然后整个供电系统加入稳压保护，过流保护。除了市政供电以外，可以结合使用太阳能供电。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的保护范围由所附权利要求及其等同物限定。

Claims (4)

1.一种智能叉路口预警系统，包括热成像摄像仪、路口预警模块、示警模块；电源模块向各个模块供电，热成像摄像仪与路口预警控制模块通过无线进行连接，路口预警模块与示警模块也通过无线进行连接。

2.根据权利要求1所述的一种智能叉路口预警系统，其特征在于：在转角或者路口等视线受阻的地方，当有行人、车辆、动物等物体出现在规定的可视范围内，根据行人、车辆、动物等物体速度，判断是否存在交通隐患，根据所测得速度，通过路口预警模块内设定算法判断识别后，再通过示警模块做出指示。当出现红灯闪烁的时候，目标识别物在移动，需要驾驶员控制车速缓慢行驶，同时观察是否需要让行；当出现绿灯的时候，目标识别物处于静止状态，驾驶员控制车速放心通过。

3.根据权利要求1所述的一种智能叉路口预警系统，其特征在于：示警模块采用红灯闪烁、绿灯长亮的模式；当有行人、车辆、动物等物体出现在规定的范围内，根据已经测得行人、车辆、动物等物体速度，示警模块的红灯根据物体速度的快慢体现出不同频率的闪烁。

4.根据权利要求1所述的一种智能叉路口预警系统，其特征在于：适用性较广泛；例如视距不足的曲线部分、山岭区道路极小的曲线半径处、通视恶劣的交叉路口(特别是无信号的交叉路口)、铁路道口以及地下停车场的狭窄转弯处等地方。