CN114332159A - 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 - Google Patents
一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 Download PDFInfo
- Publication number
- CN114332159A CN114332159A CN202111568523.2A CN202111568523A CN114332159A CN 114332159 A CN114332159 A CN 114332159A CN 202111568523 A CN202111568523 A CN 202111568523A CN 114332159 A CN114332159 A CN 114332159A
- Authority
- CN
- China
- Prior art keywords
- guardrail
- target
- line
- pedestrian
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质，包括：(1)标定与护栏线平行的若干条不等距离的阈值线；(2)部署检测速率控制模块和目标检测模块；(3)通过检测速率控制模块实现对目标检测模块检测速率的控制；(4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；(5)利用预警模块判断是否翻越护栏。本发明以较高的精度对行人违规翻越护栏进行预警，并将翻越护栏的过程上传至道路管理部门，利用这些信息，道路管理部门可以更好地对违规行为进行管控；本发明提出检测速率控制模块，合理地控制工控机的检测速率，降低能源消耗，延长设备使用寿命，响应节能减排的号召。
Description
技术领域
本发明属于道路工程技术领域，特别是涉及一种基于目标追踪算法的行人翻越护栏行为预警的方法、系统、设备及存储介质。
背景技术
随着我国经济的快速发展以及人民生活水平的提高，私家车的数量呈现出井喷式的增加。汽车数量快速增长的背后，道路交通安全问题也变得日益突出，每年的交通事故伤亡的人数触目惊心。造成交通事故多发的原因之一就是行人不走人行横道，随意翻越城市道路中央分隔带护栏或高速公路路侧护栏。这种无视道路法规道德行为严重影响了交通系统的高效运行及人民的生命安全，造成严重的经济财产损失。因此，如何准确识别出翻越道路护栏的违规行为就具有重要意义。
目前，国内外对于高速公路、城市道路的护栏巡检多采用人工检测或基于摄像头的远程监控等方式。其中，最常见的是人工检测，通过安排工作人员巡视特定路段并记录违章范围道路护栏的行为，但个人同时巡视的护栏长度有限，造成巡视效率低，耗费人工成本巨大。除此之外，通过在道路上每隔一段距离安置一个违章行为检测摄像头，将摄像头画面集成在远程终端，利用人工同时巡视多个摄像头画面以对翻越护栏行为进行监测，该方法在一定程度上提高了监测效率，但其本质还是利用人工进行监测。在人工智能潮流的影响下，逐渐出现了人工智能在道路违章行为检测中的应用。
我国在多地开展了基于深度学习的车辆违章行为检测的工作，融合图像处理技术、图像分割技术、目标检测与跟踪技术、数字信号采集与处理等相关技术，对车辆违停、非紧急情况下违规占用应急车道、随意变更车道、驾驶中驾驶员手持电话等交通事故诱发率占比较高的车辆违章行为进行实地检测，但目前目标检测技术在行人翻越护栏上鲜有涉及，已经应用的检测技术检测精度较低。除此之外，无论是否有人在护栏附近，检测算法始终运行，造成资源浪费。
发明内容
鉴于目前行人违规翻越道路护栏检测效率低，检测精度低的问题，本发明提出一种基于目标追踪算法的行人违规翻越护栏的预警方法。
本发明还提供了一种基于目标追踪算法的行人违规翻越护栏的预警及上传系统。
本发明另外还提供了一种计算机设备和存储介质。
术语解释：
1、深度学习，学习样本数据内在规律和表示层次，学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。其最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据；
2、目标检测，其任务是找出图像中所有感兴趣的目标(物体)，确定他们的位置和大小，是机器视觉领域的核心问题之一；
3、YOLO v3，是一个用于目标检测的网络，可以实现较为快速的检测出图像中的物体；
4、OpenCV，是Intel开源计算机视觉库。它由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法；
5、边缘检测，计算机视觉领域非常重要的一种图像特征提取方法。通过边缘检测可以找到图像中像素亮度发生剧烈变化像素点的结合，通常这些集合表现出来往往是轮廓。通过边缘检测，就能将物体的轮廓检测出来；
6、护栏线，利用边缘检测算法，提取护栏的轮廓，将其简化为一条曲线，利用OpenCV将其绘制在视频流中每张图像中，以表示实际的护栏位置；
7、检测速率控制模块，当在第一阈值线的范围内若没有行人目标存在，该模块控制工控机使其每秒仅检测1帧图像；当行人出现在第一阈值线与第二阈值线之间时，该模块控制工控机每秒检测15帧图像；当行人出现在第二阈值线与第三阈值线之间时，该模块控制工控机每秒检测30帧图像；当行人出现在两条第三阈值线之间时，该模块控制工控机每秒检测30帧图像，同时以每秒10帧的速率进行拍照，保存翻越证据；
8、Canny边缘检测，是一种流行的边缘检测算法，其创新在于使用了双阈值进行检测，然后将所有的边缘连接在一起，形成边缘曲线或者线段，可以效果非常好地物体轮廓检测出来；
9、目标检测模块，主要利用训练好的YOLO v3神经网络对行人进行检测，检测类别仅为行人，不含车辆，检测效率高；
10、目标追踪模块，主要利用目标检测得出的检测框，将检测框的几何中心作为当前时刻目标的位置，将各个时刻的几何中心相连，即可完成对目标的追踪；
11、预警模块，当行人有翻越护栏的倾向时，向道路管控中心上传预警信息；当行人确认翻越护栏时，控制摄像头连续拍摄目标，留下行人翻越护栏证据；
12、Pytorch深度学习环境，一种开源的Python深度学习库，用于目标检测等应用程序，通过Pytorch深度学习环境可以方便地搭建用于目标检测的卷积神经网络；
13、像素，由一个数字序列表示的图像中的一个最小单位。
本发明的技术方案为：
一种基于目标追踪算法的行人违规翻越护栏的预警方法，包括步骤如下：
(1)标定与护栏线平行的若干条不等距离的阈值线；
(2)部署检测速率控制模块和目标检测模块；
(3)通过检测速率控制模块实现对目标检测模块检测速率的控制；
(4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；
(5)依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏。
根据本发明优选的，在步骤(1)中，在护栏附近固定安装监控摄像头与工控机，具体是指：将监控摄像头安装在护栏正上方5m高处，将工控机安装在路灯的灯杆旁。
根据本发明优选的，在步骤(1)中，利用OpenCV标定与护栏线平行的三条不等距离的阈值线，包括第一阈值线、第二阈值线、第三阈值线；包括步骤如下：
1.1：保持工控机处于打开状态，与监控摄像头连接状态良好，固定视频流图像输出尺寸为800×600；
1.2：利用Canny边缘检测算法，检测护栏轮廓线与放置的6个防撞锥，利用护栏轮廓特征，剔除其余轮廓线，利用OpenCV在护栏轮廓中心重新绘制一条代表护栏位置的曲线，作为护栏线；
1.3：在护栏左、右两侧1m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第一阈值线；
1.4：在护栏左、右两侧0.5m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第二阈值线；
1.5：在护栏左、右两侧0.2m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第三阈值线。
根据本发明优选的，步骤(2)中，检测速率控制模块具体工作过程如下：
利用OpenCV截取视频数据，截取速率为每秒30张图像；
依据目标检测结果的反馈，输出不同结果，具体是指：如果两条第一阈值线之间的范围内无行人，则每秒输出1帧图片；如果两条第一阈值线之间的范围内有行人，则每秒输出15张图像；如果第二阈值线与第三阈值线之间的范围内有行人，则每秒输出30张图像。
根据本发明优选的，步骤(2)中，目标检测模块的部署，步骤如下：
2.1：制作行人数据集，行人数据集中包括各类姿态的行人以及不同场景下的行人，将行人数据集按照8:2的比例划分为训练集与测试集；
2.2：利用训练集训练开源的YOLO v3目标检测算法，并使用测试集检验YOLO v3目标检测算法的检测效果，得到训练好的用于行人分类的YOLO v3目标检测网络；
2.3：在工控机中部署Pytorch深度学习环境，在工控机上运行训练好的用于行人分类的YOLO v3目标检测网络，每秒处理30帧以上图像数据；
2.4：目标检测模块部署完成后，连接目标检测模块与检测速率控制模块；
2.5：部署完成后，实地测试目标检测模块的检测结果，当检测到行人时，使用目标框将目标框选起来。
进一步优选的，步骤(3)的具体实现过程如下：
3.1：将监控摄像头拍摄得到的视频数据输入检测速率控制模块，检测速率控制模块将视频流截取成若干张图片，起初以每秒一张图片的速率输入目标检测模块；
3.2：若目标检测模块在两条第一阈值线之间的范围内没有检测到行人，则保持每秒1帧图片的检测速率；
若目标检测模块在第一阈值线与第二阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒15帧图片的速率输入目标检测模块；
若目标检测模块在第二阈值线与第三阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块；
若目标检测模块在第三阈值线与护栏线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块，同时控制监控摄像头以每秒10帧图片的速率进行拍照。
根据本发明优选的，步骤(4)中，利用目标跟踪模块记录及预测行人轨迹的具体实现过程为：
4.1：目标检测模块每检测一张图像，就把检测结果输出给目标追踪模块；
4.2：目标追踪模块收集各个检测到的目标框，目标框为矩形，利用OpenCV取目标框的几何中心点作为目标当前时刻所在的几何位置，多个时刻的几何位置相连即得到目标在过去一段时间内的轨迹线，利用OpenCV将轨迹线绘制在每一帧图像中，即目标跟踪；
4.3：目标轨迹预测通过目标追踪实现，
对于第i张图像，当前图像中的检测框的几何中心点为Pi；对于第i+1张图像，当前图像中的检测框的几何中心点为Pi+1；连接Pi与Pi+1并延长至与护栏线相交，测得夹角为αi；如此，得到n个夹角，i＝1…n，计算n个的平均值αaverage；
检测夹角的同时，记录Pi与Pi+1在图像中的坐标点，坐标点所在的坐标系以图像左上角顶点作为原点，向右代表x轴正向，向下代表y轴正向；依据传入两张图像的时间差以及两个几何中心点的坐标点所在像素的距离，计算出几何中心点在图像上移动的速度vi，如此，得到n个速度，计算速度的平均值vaverage；
4.4：对目标在接下来m张图像中的位置进行预测。
进一步优选的，步骤4.3中，夹角平均值的计算方式，如式(I)所示：
式(I)中，n表示n个夹角，αaverage表示n个夹角的平均值。
进一步优选的，步骤4.3中，速度的计算方式，如式(II)所示：
式(II)中，vi表示第i+1张图像输入时刻几何中心点在图像上移动的速度，xi、yi表示第i张图像上几何中心点所在像素的位置，xi+1、yi+1表示第i+1张图像上几何中心点所在像素的位置，t表示两张图像输入的时间检测。
进一步优选的，步骤4.3中，速度平均值的计算方式，如式(III)所示：
式(III)中，n表示n个速度值，vaverage表示n个速度值的平均值。
进一步优选的，步骤4.4中的预测过程如下：
4.4.1：根据检测到的当前时刻的目标轨迹，目标几何中心点下一个时刻在图像中的像素点个数如式(IV)所示；
s＝vaverage×t (IV)
式(IV)中，s表示在时间t内移动的像素距离；
4.4.2：目标几何中心移动的方向为与护栏线成αaverage角度的方向；
4.4.3：根据移动距离与移动方向，即预测下一张图像中目标所在的位置；
4.4.4：第一次预测成功后，将这个点也作为计算平均速度、平均夹角的数据点，重复步骤4.4.1-4.4.3，共计预测m次；
4.4.5：连接m个预测点与目标检测出的点，形成一条轨迹，完成目标追踪。
根据本发明优选的，步骤(5)中，依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏，预测过程如下：
5.1：引入第一预警参数与第二预警参数，第一阈值线与第二阈值线之间区域的第一预警参数为0.5-0.55，第二阈值线与第三阈值线之间区域的第一预警参数为0.75-0.8，第三阈值线与护栏线之间区域的第一预警参数为0.95-1；第二预警参数与目标轨迹线的延长线与护栏线之间的夹角αa有关，其计算公式见式(V)所示：
5.2：根据预测的第m次目标几何中心所在的区域选择第一预警参数，αa取第一个预测点与第m个预测点的连线的延长线与护栏线之间的夹角，从而通过式(V)确定第二预警参数；
5.3：计算判断阈值，判断阈值bar_value的计算见式(VI)所示：
bar_value＝第一预警参数*第二预警参数(VI)
5.4：根据判断阈值，对行人翻越护栏行为进行预测，判断过程如下：
若第一个预测点与第m个预测点的连线直接与护栏线相交，那么判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第三阈值线与护栏线之间，那么第一预警参数取1，按照式(V)计算第二预警参数，利用式(VI)计算bar_value，若bar_value大于0.8，则判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第二阈值线与第三阈值线之间，那么第一预警参数取0.8，按照式(V)计算第二预警参数，利用式(VI)计算bar_value，若bar_value大于0.8，则判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第一阈值线与第二阈值线之间，此时判定为不翻越护栏。
进一步优选的，第一阈值线与第二阈值线之间区域的第一预警参数为0.5，第二阈值线与第三阈值线之间区域的第一预警参数为0.8，第三阈值线与护栏线之间区域的第一预警参数为1。
一种基于目标追踪算法的行人违规翻越护栏的预警系统，包括检测速率控制模块、目标检测模块、目标追踪模块与预警模块；检测速率控制模块用于控制工控机使用目标检测算法的检测速率；目标检测模块主要使用YOLO v3神经网络对行人进行检测；目标追踪模块主要基于目标检测模块的检测结果，实现对未来m帧图像中的目标位置进行预测；预警模块主要用于判断行人是否会翻越护栏。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于目标追踪算法的行人违规翻越护栏的预警方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于目标追踪算法的行人违规翻越护栏的预警方法的步骤。
本发明的有益效果为：
1、本发明基于行人目标检测算法，能够预测短时间内行人的轨迹，能够以94％以上的精度对行人违规翻越护栏的行人进行实时预测，并将翻越护栏的过程上传至道路管理部门，利用这些信息，道路管理部门可以更好地对违规行为进行管控，为智慧交通工程添砖加瓦。
2、本发明可以有效地降低因行人违规翻护栏引起交通事故的概率。
3、本发明提出的检测速率控制模块，合理地控制工控机的检测速率，降低能源消耗，延长设备使用寿命，响应节能减排的号召。
附图说明
图1是本发明基于目标追踪算法的行人违规翻越护栏的预警方法的流程示意图；
图2是3种阈值线及护栏线的分布示意图；
图3是检测速率控制模块工作过程流程示意图；
图4是目标轨迹线的延长线与护栏线之间的夹角示意图；
图5是目标追踪模块工作过程流程示意图；
图6是预警模块工作过程流程示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于目标追踪算法的行人违规翻越护栏的预警方法，如图1所示，包括步骤如下：
(1)标定与护栏线平行的若干条不等距离的阈值线；
(2)部署检测速率控制模块和目标检测模块；
(3)通过检测速率控制模块实现对目标检测模块检测速率的控制；
(4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；
(5)依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏，并上传数据。
实施例2
根据实施例1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其区别在于：
在步骤(1)中，在护栏附近固定安装监控摄像头与工控机，具体是指：将监控摄像头安装在护栏正上方5m高处，这一高度可以看到整个路面状况，将工控机安装在路灯的灯杆旁。使用过程中保持两个设备的稳定。
在步骤(1)中，利用OpenCV标定与护栏线平行的三条不等距离的阈值线，包括第一阈值线(阈值线1)、第二阈值线(阈值线2)、第三阈值线(阈值线3)；如图2所示，包括步骤如下：
1.1：保持工控机处于打开状态，与监控摄像头连接状态良好，固定视频流图像输出尺寸为800×600；
1.2：利用Canny边缘检测算法，检测护栏轮廓线与放置的6个防撞锥，利用护栏轮廓特征，剔除其余轮廓线，利用OpenCV在护栏轮廓中心重新绘制一条代表护栏位置的曲线，作为护栏线；
1.3：在护栏左、右两侧1m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第一阈值线；
1.4：在护栏左、右两侧0.5m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第二阈值线；
1.5：在护栏左、右两侧0.2m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第三阈值线。
步骤(2)中，如图3所示，检测速率控制模块具体工作过程如下：
利用OpenCV截取视频数据，截取速率为每秒30张图像；
依据目标检测结果的反馈，输出不同结果，具体是指：如果两条第一阈值线之间的范围内无行人，则每秒输出1帧图片；如果两条第一阈值线之间的范围内有行人，则每秒输出15张图像；如果第二阈值线与第三阈值线之间的范围内有行人，则每秒输出30张图像。
步骤2.2中的实现伪代码为：
if两条阈值线1之间无行人：
output每秒1张图像
elif阈值线1与阈值线2之间有行人：
output每秒15张图像
elif阈值线2与阈值线3之间有行人：
output每秒30张图像
else：
output每秒30张图像并拍照
封装该部分代码，使其成为一个独立的模块，安装在工控机中，完成检测速率控制模块的部署。
步骤(2)中，目标检测模块的部署，步骤如下：
2.1：制作行人数据集，行人数据集中包括各类姿态的行人(直立、弯腰、下蹲、步行、跑步等姿态)以及不同场景下的行人(城市道路、人行道)，将行人数据集按照8:2的比例划分为训练集与测试集；
2.2：利用训练集训练开源的YOLO v3目标检测算法，并使用测试集检验YOLO v3目标检测算法的检测效果，得到训练好的用于行人分类的YOLO v3目标检测网络；
2.3：在工控机中部署Pytorch深度学习环境，在工控机上运行训练好的用于行人分类的YOLO v3目标检测网络，每秒处理30帧以上图像数据；
2.4：目标检测模块部署完成后，连接目标检测模块与检测速率控制模块；
2.5：部署完成后，实地测试目标检测模块的检测结果，当检测到行人时，使用目标框将目标框选起来。
目标检测模块与检测速率控制模块连接的目的是通过检测速率控制模块控制目标检测模块的运行速率。
目标检测模块会全部检测输入的视频流数据，这会使CPU长期保持高负荷运转，使设备寿命降低。本发明提出了一种检测速率控制模块实现对目标检测模块检测速率的控制，步骤(3)的具体实现过程如下：
3.1：将监控摄像头拍摄得到的视频数据输入检测速率控制模块，检测速率控制模块将视频流截取成若干张图片，起初以每秒一张图片的速率输入目标检测模块；
3.2：若目标检测模块在两条第一阈值线之间的范围内没有检测到行人，则保持每秒1帧图片的检测速率；
若目标检测模块在第一阈值线与第二阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒15帧图片的速率输入目标检测模块；
若目标检测模块在第二阈值线与第三阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块；
若目标检测模块在第三阈值线与护栏线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块，同时控制监控摄像头以每秒10帧图片的速率进行拍照。保存翻越证据，通过有线传输将数据上传到道路管理部门。
步骤(4)中，如图5所示，利用目标跟踪模块记录及预测行人轨迹的具体实现过程为：
4.1：目标检测模块每检测一张图像，就把检测结果输出给目标追踪模块；
4.2：目标追踪模块收集各个检测到的目标框，目标框为矩形，利用OpenCV取目标框的几何中心点作为目标当前时刻所在的几何位置，多个时刻的几何位置相连即得到目标在过去一段时间内的轨迹线，利用OpenCV将轨迹线绘制在每一帧图像中，即目标跟踪；
4.3：目标轨迹预测通过目标追踪实现，
如图4所示，对于第i张图像，当前图像中的检测框的几何中心点为Pi；对于第i+1张图像，当前图像中的检测框的几何中心点为Pi+1；连接Pi与Pi+1并延长至与护栏线相交，测得夹角为αi；对于其他时刻的几何中心点，同样采取上述方式，如此，得到n个夹角，i＝1…n，计算n个的平均值αaverage；
检测夹角的同时，记录Pi与Pi+1在图像中的坐标点，坐标点所在的坐标系以图像左上角顶点作为原点，向右代表x轴正向，向下代表y轴正向；依据传入两张图像的时间差以及两个几何中心点的坐标点所在像素的距离，计算出几何中心点在图像上移动的速度vi，同样采取上述方式，如此，得到n个速度，计算速度的平均值vaverage；
4.4：对目标在接下来m张图像中的位置进行预测。
步骤4.3中，夹角平均值的计算方式，如式(I)所示：
式(I)中，n表示n个夹角，αaverage表示n个夹角的平均值。
步骤4.3中，速度的计算方式，如式(II)所示：
式(II)中，vi表示第i+1张图像输入时刻几何中心点在图像上移动的速度，xi、yi表示第i张图像上几何中心点所在像素的位置，xi+1、yi+1表示第i+1张图像上几何中心点所在像素的位置，t表示两张图像输入的时间检测。
步骤4.3中，速度平均值的计算方式，如式(III)所示：
式(III)中，n表示n个速度值，vaverage表示n个速度值的平均值。
步骤4.4中的预测过程如下：
4.4.1：根据检测到的当前时刻的目标轨迹，目标几何中心点下一个时刻在图像中的像素点个数如式(IV)所示；
s＝vaverage×t (IV)
式(IV)中，s表示在时间t内移动的像素距离；
4.4.2：目标几何中心移动的方向为与护栏线成αaverage角度的方向；
4.4.3：根据移动距离与移动方向，即预测下一张图像中目标所在的位置；
4.4.4：第一次预测成功后，将这个点也作为计算平均速度、平均夹角的数据点，重复步骤4.4.1-4.4.3，共计预测m次；
4.4.5：连接m个预测点与目标检测出的点，形成一条轨迹，完成目标追踪。
步骤(5)中，依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏，如图6所示，预测过程如下：
5.1：引入第一预警参数与第二预警参数，第一阈值线与第二阈值线之间区域的第一预警参数为0.5-0.55，第二阈值线与第三阈值线之间区域的第一预警参数为0.75-0.8，第三阈值线与护栏线之间区域的第一预警参数为0.95-1；第二预警参数与目标轨迹线的延长线与护栏线之间的夹角αa有关，其计算公式见式(V)所示：
5.2：根据预测的第m次目标几何中心所在的区域选择第一预警参数，αa取第一个预测点与第m个预测点的连线的延长线与护栏线之间的夹角，从而通过式(V)确定第二预警参数；
5.3：计算判断阈值，判断阈值bar_value的计算见式(VI)所示：
bar_value＝第一预警参数*第二预警参数(VI)
5.4：根据判断阈值，对行人翻越护栏行为进行预测，判断过程如下：
若第一个预测点与第m个预测点的连线直接与护栏线相交，那么判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第三阈值线与护栏线之间，那么第一预警参数取1，按照式(V)计算第二预警参数，利用式(VI)计算bar_value，若bar_value大于0.8，则判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第二阈值线与第三阈值线之间，那么第一预警参数取0.8，按照式(V)计算第二预警参数，利用式(VI)计算bar_value，若bar_value大于0.8，则判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第一阈值线与第二阈值线之间，此时判定为不翻越护栏。
实施例3
根据实施例2所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其区别在于：
第一阈值线与第二阈值线之间区域的第一预警参数为0.5，第二阈值线与第三阈值线之间区域的第一预警参数为0.8，第三阈值线与护栏线之间区域的第一预警参数为1。
实际应用中各环节的检测精度如表1所示：
表1
实施例4
一种基于目标追踪算法的行人违规翻越护栏的预警系统，包括检测速率控制模块、目标检测模块、目标追踪模块与预警模块；检测速率控制模块用于控制工控机使用目标检测算法的检测速率；目标检测模块主要使用YOLO v3神经网络对行人进行检测；目标追踪模块主要基于目标检测模块的检测结果，实现对未来m帧图像中的目标位置进行预测；预警模块主要用于判断行人是否会翻越护栏。
实施例5
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现实施例1-3任一所述的基于目标追踪算法的行人违规翻越护栏的预警方法的步骤。
实施例6
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1-3所述的基于目标追踪算法的行人违规翻越护栏的预警方法的步骤。
Claims (10)
1.一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，包括步骤如下：
(1)标定与护栏线平行的若干条不等距离的阈值线；
(2)部署检测速率控制模块和目标检测模块；
(3)通过检测速率控制模块实现对目标检测模块检测速率的控制；
(4)根据行人目标检测结果，利用目标跟踪模块记录及预测行人轨迹；
(5)依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏。
2.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，在步骤(1)中，利用OpenCV标定与护栏线平行的三条不等距离的阈值线，包括第一阈值线、第二阈值线、第三阈值线；包括步骤如下：
1.1：保持工控机处于打开状态，与监控摄像头连接状态良好，固定视频流图像输出尺寸为800×600；
1.2：利用Canny边缘检测算法，检测护栏轮廓线与放置的6个防撞锥，利用护栏轮廓特征，剔除其余轮廓线，利用OpenCV在护栏轮廓中心重新绘制一条代表护栏位置的曲线，作为护栏线；
1.3：在护栏左、右两侧1m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第一阈值线；
1.4：在护栏左、右两侧0.5m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第二阈值线；
1.5：在护栏左、右两侧0.2m处各放置一个防撞锥，根据各个防撞锥在视频中的位置，利用OpenCV将其坐标点标注出来，然后分别作通过这两个坐标点的护栏线的平行线，作为第三阈值线。
3.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(2)中，检测速率控制模块具体工作过程如下：
利用OpenCV截取视频数据，截取速率为每秒30张图像；
依据目标检测结果的反馈，输出不同结果，具体是指：如果两条第一阈值线之间的范围内无行人，则每秒输出1帧图片；如果两条第一阈值线之间的范围内有行人，则每秒输出15张图像；如果第二阈值线与第三阈值线之间的范围内有行人，则每秒输出30张图像。
4.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(2)中，目标检测模块的部署，步骤如下：
2.1：制作行人数据集，行人数据集中包括各类姿态的行人以及不同场景下的行人，将行人数据集按照8:2的比例划分为训练集与测试集；
2.2：利用训练集训练开源的YOLO v3目标检测算法，并使用测试集检验YOLO v3目标检测算法的检测效果，得到训练好的用于行人分类的YOLO v3目标检测网络；
2.3：在工控机中部署Pytorch深度学习环境，在工控机上运行训练好的用于行人分类的YOLO v3目标检测网络，每秒处理30帧以上图像数据；
2.4：目标检测模块部署完成后，连接目标检测模块与检测速率控制模块；
2.5：部署完成后，实地测试目标检测模块的检测结果，当检测到行人时，使用目标框将目标框选起来。
5.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(3)的具体实现过程如下：
3.1：将监控摄像头拍摄得到的视频数据输入检测速率控制模块，检测速率控制模块将视频流截取成若干张图片，起初以每秒一张图片的速率输入目标检测模块；
3.2：若目标检测模块在两条第一阈值线之间的范围内没有检测到行人，则保持每秒1帧图片的检测速率；
若目标检测模块在第一阈值线与第二阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒15帧图片的速率输入目标检测模块；
若目标检测模块在第二阈值线与第三阈值线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块；
若目标检测模块在第三阈值线与护栏线之间的范围内检测到行人，将该检测结果反馈给检测速率控制模块，检测速率控制模块以每秒30帧图片的速率输入目标检测模块，同时控制监控摄像头以每秒10帧图片的速率进行拍照。
6.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(4)中，利用目标跟踪模块记录及预测行人轨迹的具体实现过程为：
4.1：目标检测模块每检测一张图像，就把检测结果输出给目标追踪模块；
4.2：目标追踪模块收集各个检测到的目标框，目标框为矩形，利用OpenCV取目标框的几何中心点作为目标当前时刻所在的几何位置，多个时刻的几何位置相连即得到目标在过去一段时间内的轨迹线，利用OpenCV将轨迹线绘制在每一帧图像中，即目标跟踪；
4.3：目标轨迹预测通过目标追踪实现，对于第i张图像，当前图像中的检测框的几何中心点为Pi；对于第i+1张图像，当前图像中的检测框的几何中心点为Pi+1；连接Pi与Pi+1并延长至与护栏线相交，测得夹角为αi；如此，得到n个夹角，i＝1…n，计算n个的平均值αaverage；
检测夹角的同时，记录Pi与Pi+1在图像中的坐标点，坐标点所在的坐标系以图像左上角顶点作为原点，向右代表x轴正向，向下代表y轴正向；依据传入两张图像的时间差以及两个几何中心点的坐标点所在像素的距离，计算出几何中心点在图像上移动的速度vi，如此，得到n个速度，计算速度的平均值vaverage；
4.4：对目标在接下来m张图像中的位置进行预测；
进一步优选的，步骤4.3中，夹角平均值的计算方式，如式(I)所示：
式(I)中，n表示n个夹角，αaverage表示n个夹角的平均值；
进一步优选的，步骤4.3中，速度的计算方式，如式(Ⅱ)所示：
式(Ⅱ)中，vi表示第i+1张图像输入时刻几何中心点在图像上移动的速度，xi、yi表示第i张图像上几何中心点所在像素的位置，xi+1、yi+1表示第i+1张图像上几何中心点所在像素的位置，t表示两张图像输入的时间检测；
进一步优选的，步骤4.3中，速度平均值的计算方式，如式(III)所示：
式(III)中，n表示n个速度值，vaverage表示n个速度值的平均值；
进一步优选的，步骤4.4中的预测过程如下：
4.4.1：根据检测到的当前时刻的目标轨迹，目标几何中心点下一个时刻在图像中的像素点个数如式(Ⅳ)所示；
s＝vaverage×t (Ⅳ)
式(Ⅳ)中，s表示在时间t内移动的像素距离；
4.4.2：目标几何中心移动的方向为与护栏线成αaverage角度的方向；
4.4.3：根据移动距离与移动方向，即预测下一张图像中目标所在的位置；
4.4.4：第一次预测成功后，将这个点也作为计算平均速度、平均夹角的数据点，重复步骤4.4.1-4.4.3，共计预测m次；
4.4.5：连接m个预测点与目标检测出的点，形成一条轨迹，完成目标追踪。
7.根据权利要求1所述的一种基于目标追踪算法的行人违规翻越护栏的预警方法，其特征在于，步骤(5)中，依据行人轨迹及其所处的阈值线范围，利用预警模块判断是否翻越护栏，预测过程如下：
5.1：引入第一预警参数与第二预警参数，第一阈值线与第二阈值线之间区域的第一预警参数为0.5-0.55，第二阈值线与第三阈值线之间区域的第一预警参数为0.75-0.8，第三阈值线与护栏线之间区域的第一预警参数为0.95-1；第二预警参数与目标轨迹线的延长线与护栏线之间的夹角αa有关，其计算公式见式(Ⅴ)所示：
5.2：根据预测的第m次目标几何中心所在的区域选择第一预警参数，αa取第一个预测点与第m个预测点的连线的延长线与护栏线之间的夹角，从而通过式(Ⅴ)确定第二预警参数；
5.3：计算判断阈值，判断阈值bar_value的计算见式(VI)所示：
bar_value＝第一预警参数*第二预警参数 (VI)
5.4：根据判断阈值，对行人翻越护栏行为进行预测，判断过程如下：
若第一个预测点与第m个预测点的连线直接与护栏线相交，那么判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第三阈值线与护栏线之间，那么第一预警参数取1，按照式(Ⅴ)计算第二预警参数，利用式(VI)计算bar_value，若bar_value大于0.8，则判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第二阈值线与第三阈值线之间，那么第一预警参数取0.8，按照式(Ⅴ)计算第二预警参数，利用式(VI)计算bar_value，若bar_value大于0.8，则判定为翻越护栏，此时调动检测速率控制模块，对目标进行连续拍照，并将拍照数据上传至道路管理部门；
若第一个预测点与第m个预测点的连线没有与护栏线相交，且第m个预测点位于第一阈值线与第二阈值线之间，此时判定为不翻越护栏；
进一步优选的，第一阈值线与第二阈值线之间区域的第一预警参数为0.5，第二阈值线与第三阈值线之间区域的第一预警参数为0.8，第三阈值线与护栏线之间区域的第一预警参数为1。
8.一种基于目标追踪算法的行人违规翻越护栏的预警系统，其特征在于，包括检测速率控制模块、目标检测模块、目标追踪模块与预警模块；检测速率控制模块用于控制工控机使用目标检测算法的检测速率；目标检测模块主要使用YOLO v3神经网络对行人进行检测；目标追踪模块主要基于目标检测模块的检测结果，实现对未来m帧图像中的目标位置进行预测；预警模块主要用于判断行人是否会翻越护栏。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一所述的基于目标追踪算法的行人违规翻越护栏的预警方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一所述的基于目标追踪算法的行人违规翻越护栏的预警方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568523.2A CN114332159A (zh) | 2021-12-21 | 2021-12-21 | 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568523.2A CN114332159A (zh) | 2021-12-21 | 2021-12-21 | 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332159A true CN114332159A (zh) | 2022-04-12 |
Family
ID=81054559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111568523.2A Pending CN114332159A (zh) | 2021-12-21 | 2021-12-21 | 一种基于目标追踪算法的行人违规翻越护栏的预警方法、系统、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332159A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977906A (zh) * | 2023-09-22 | 2023-10-31 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种实时展示行人违规翻越道路隔离带方法 |
-
2021
- 2021-12-21 CN CN202111568523.2A patent/CN114332159A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116977906A (zh) * | 2023-09-22 | 2023-10-31 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种实时展示行人违规翻越道路隔离带方法 |
| CN116977906B (zh) * | 2023-09-22 | 2023-12-26 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种实时展示行人违规翻越道路隔离带方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105744232B (zh) | 一种基于行为分析技术的输电线路视频防外破的方法 | |
| CN103778786B (zh) | 一种基于显著车辆部件模型的交通违章检测方法 | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN103914688B (zh) | 一种城市道路障碍物识别系统 | |
| CN101847206B (zh) | 基于交通监控设施的行人流量统计方法与系统 | |
| CN104751634B (zh) | 高速公路隧道行车图像采集信息的综合应用方法 | |
| CN102903239B (zh) | 交通路口车辆左右违章转向检测方法和系统 | |
| CN106652465A (zh) | 一种道路异常驾驶行为的识别方法及系统 | |
| Song et al. | Vehicle behavior analysis using target motion trajectories | |
| CN103096121B (zh) | 一种摄像头移动检测方法及装置 | |
| CN113345237A (zh) | 一种使用路侧激光雷达数据提取车辆轨迹的变道识别与预测方法、系统、设备及存储介质 | |
| KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
| KR102167292B1 (ko) | 이기종 센싱값을 이용한 도로 상태 정보 수집 장치 및 방법 | |
| CN110929676A (zh) | 一种基于深度学习的违章掉头实时检测方法 | |
| CN114267082B (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| CN107705577B (zh) | 一种基于车道线标定车辆违章变道的实时检测方法及系统 | |
| CN113822285A (zh) | 一种用于复杂应用场景的车辆违停识别方法 | |
| KR20210158037A (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| CN111680610A (zh) | 一种施工场景异常监测方法和装置 | |
| CN111951576A (zh) | 一种基于车辆识别的交通灯控制系统及其方法 | |
| CN114529880A (zh) | 一种城市轨道异物侵限检测方法、装置、系统及存储介质 | |
| CN105405297B (zh) | 一种基于监控视频的交通事故自动检测方法 | |
| CN114329074B (zh) | 一种匝道路段通行能效检测方法和系统 | |
| CN104268548A (zh) | 一种基于道路图像的积雪检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |