CN115083208B - 人车冲突预警方法、预警分析方法、电子设备及存储介质 - Google Patents

人车冲突预警方法、预警分析方法、电子设备及存储介质 Download PDF

Info

Publication number
CN115083208B
CN115083208B CN202210849723.3A CN202210849723A CN115083208B CN 115083208 B CN115083208 B CN 115083208B CN 202210849723 A CN202210849723 A CN 202210849723A CN 115083208 B CN115083208 B CN 115083208B
Authority
CN
China
Prior art keywords
vehicle
early warning
pedestrian
video
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210849723.3A
Other languages
English (en)
Other versions
CN115083208A (zh
Inventor
吕国林
周益辉
黄振宇
胡鹏
黄丽萍
朱述宝
修科鼎
丘建栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202210849723.3A priority Critical patent/CN115083208B/zh
Publication of CN115083208A publication Critical patent/CN115083208A/zh
Application granted granted Critical
Publication of CN115083208B publication Critical patent/CN115083208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出涉及人车冲突预警方法、预警分析方法、电子设备及存储介质，属于深度学习技术领域。包括边缘端预警装置、行人和车辆目标检测模块、判断行人和车辆发生冲突模块和预警模块；所述边缘端预警装置用于获取道路转弯区行人和车辆视频数据；所述行人和车辆目标检测模块用于检测行人和车辆目标；所述判断行人和车辆发生冲突模块用于判断行人和车辆是否发生冲突；所述预警模块用于播报预警信息，提示车辆慢行。本发明实现了立即调动预警设备立即响应，解决了现有技术中存在的预警方式不够智能化，云平台远程响应过慢和无效响应的问题，为过往车辆提供有效的智能化预警服务，保障行人过街和车辆行驶安全。

Description

人车冲突预警方法、预警分析方法、电子设备及存储介质
技术领域
本发明涉及一种预警方法，尤其涉及人车冲突预警方法、预警分析方法、电子设备及存储介质，属于深度学习技术领域。
背景技术
随着我国经济的不断发展，机动车数量逐年递增，每年都会发生大量的交通事故，造成大量的经济损失。智能交通系统的需求日益强烈，如何减少交通事故，为机动车驾驶人提供安全的出行服务，也是智能交通当下急需解决的问题。
从以往的交通事故来看，交叉转弯路口是最严重的事故频发地。在机动车行驶的过程中，交叉转弯路口由于存在视野盲区，驾驶人未能提前预知路况，一旦碰到紧急情况，很容易发生严重的交通事故，造成不可挽回的损失。
面对路口交通盲区的突发情况，传统的预警方式，常在转弯路口处设立一些临时警告牌，或者喇叭提示行人注意或者车辆慢行。
这种方式存在监察不及时，管理困难等问题，导致服务效率低下，不能有效避免交通事故发生的问题。
随着传统预警方式的缺点逐渐暴露，一些较为智能的预警方式出现了，如在转弯路口安装一些传感器设备检测过往的车辆，比如摄像头、激光雷达等设备，检测到车辆之后，将车辆信息发送到远程的云平台，云平台再下发预警操作给预警设备，比如喇叭、信息屏等。
但是这种由边端传感器检测，云平台远程响应，再下发预警信息到预警设备的方式，会因为网络延迟和中途调度转换过多的问题，不能及时在车辆和行人发生冲撞之前进行告警；而且，由于没有判断行人和车辆是否发生冲突就告警，存在很多无效报警情况。
因此，亟需人车冲突预警系统或方法，解决不能及时在车辆和行人发生冲撞之前进行告警而产生的无效报警的问题。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的不能及时在车辆和行人发生冲撞之前进行告警而产生的无效报警的问题的技术问题，本发明提供人车冲突预警方法、预警分析方法、电子设备及存储介质。
方案一：人车冲突预警方法，包括以下步骤：
S1.接入摄像头实时视频流数据，对视频中的行人和车辆进行目标检测和跟踪，获取行人和车辆在视频画面内的属性信息；
S2.根据视频流每帧图片中行人和车辆在视频画面内的属性信息，使用人车冲突算法计算和判断在转弯区域范围内的行人和车辆是否发生冲突情况；
S3.发生人车冲突情况，控制广播设备和RSU设备广播播放预先设置的MP3预警提示语音；控制RSU设备向周围车辆的发送预警信息，提示车辆慢行。
优选的，所述对视频中的行人和车辆进行目标检测的方法是，对图片中的行人和车辆进行识别、定位，给出行人和车辆在原图片中的位置坐标（left, top, width,height）的形式给出，其中，left, top, width, height分别为矩形区域的左上角横坐标、左上角纵坐标、宽度及高度。
优选的，所述对视频中的行人和车辆进行目标检测跟踪的方法是，获取行人和车辆的位移量D，实现过程是：使用KLT算法进行对目标进行唯一ID标记，KLT算法定义同一目标出现在两帧图像I、J中，如果图像中两点匹配，那么以这两点为中心，W为窗口存在极小的灰度平方差，当解得的残差e小于设定的阈值，认为跟踪到角点，获得位移向量D。
优选的，所述计算和判断在转弯区域范围内的行人和车辆是否发生冲突情况的方法是，包括以下步骤：
S21. 将视频画面定义为二维平面的第一象限坐标系，在视频画面上，画一个n边形包围道路转弯区域，并将n边形各个边线段的坐标点按照固定的格式保存到坐标点文件；
S22. 读取n边形坐标点文件各个边线段的起点坐标（StartX，StartY），得到n边形顶点坐标集合{{x[0], y[0]}，{x[1], y[1]}...{x[n-1], y[n-1]}}，根据视频图片帧数据里面的行人和车辆的矩形二维坐标信息（left, top, width, height），判断行人和车辆这两个是否同时出现在n边形区域范围内；
S23.在路口转弯区范围内，根据连续帧图片上目标车辆的时空关系计算车辆行驶速度，判断车辆行驶速度是否大于设定的阈值；
S24.在路口转弯区范围内，根据连续帧图片上目标车辆和行人的空间关系，判断车辆是否在不断向行人驶进；
S25.当行人和车辆之间的距离不断缩短，并且车辆移动速度大于阈值，则判定车辆在不断向行人驶进，发生了人车冲突的情况。
优选的，所述计算判断行人和车辆这两个是否同时出现在n边形区域范围内的方法是，包括以下步骤：
S221. 计算当前目标的中心点坐标(obj_x，obj_y)；obj_x = left + width/2，obj_y = top+ height/2；
S222. 将(obj_x，obj_y)与n边形顶点坐标集合{{x[0], y[0]}，{x[1], y[1]}...{x[n -1], y[n-1]}}做比较，计算求取中心点坐标(obj_x，obj_y)延x轴正方向的水平延长线与n边形边的交点个数，具体方法是，
S2221.初始另i = 0， j = n - 1，c = 0；
S2222.如果i < n，循环计算步骤S2213和步骤S2214，否则退出；
S2223.如果(obj_y < y[i]) != (obj_y < y[j])且obj_x < (x[j] - x[i]) *(obj_y - y[i]) / (y[j] - y[i] ) + x[i] 都为真，则交点存在，交点个数c = c + 1；
S2224.j = i；i = i + 1；跳转到步骤S2212；
S223.根据得到交点个数c判断行人和车辆这两个是否同时出现在n边形区域范围内，如果1 = c%2，说明目标在n边形区域范围内；如果车辆和行人目标再区域范围内的数量都大于0，则确定行人和车辆同时出现在n边形区域范围内；
所述判断车辆行驶速度是否大于设定的阈值的方法是，包括以下步骤：
S231.假设设定一个跳帧值为k，速度阈值为v_thread，视频二维画面分辨率与现实道路长度的比例为scale；
S232.在第n帧图片中，某个车辆中心点的坐标为(car_x0, car_y0)，记录它的唯一ID；
S233.在第n + k帧图片中，某个车辆中心点的坐标为(car_x1, car_y1)，对比它的ID是否和第n帧图片里面的车辆id相同，如果相同，进行下一步；
S234.从n帧到n+k帧图片，共花费时间t，那么速度为
Figure 855374DEST_PATH_IMAGE002
；
S235.如果v>v_thread成立，则说明车辆行驶速度大于阈值；
所述判断车辆是否在不断向行人驶进的方法是，包括以下步骤：
S241. 假设设定一个跳帧值为k，移动阈值为line_thread；
S242. 在第n帧图片中，行人和车辆中心点的坐标分别为(person_x0, person_y0)，(car_x0, car_y0)，那么两者间距离为line0=(car_x0 - person_x0)2 + (car_y0 -person_y0)2 ；
S243. 在第n + k帧图片中，行人和车辆中心点的坐标分别为(person_x1,person_y1)，(car_x1, car_y1)，那么两者间距离为line1=(car_x1 - person_x1)2 +(car_y1 - person_y1)2；
S244. 如果line_thread < (line0 - line1)成立，则说明车辆和行人不断靠近。
方案二：人车冲突预警分析方法，基于方案二所述人车冲突预警方法实现的，包括以下步骤：
S1. 对现场视频进行截图，生成结构化的预警日志数据，将预警日志数据发送到远程云服务平台的数据库；所述现场视频为方案二所述的发生人车冲突情况的视频；
S2. 云服务平台读取数据库里面存储的预警日志数据记录，生成预警历史事件清单和进行历史事件的总体评估分析。
优选的，所述预警历史事件清单包括预警信息、预警信息的视频抓拍图片、预警信息的效果和服务人数；所述历史事件的总体评估分析包括预警指标总览、预警数量变化趋势和预警数量分布。
方案三：一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的人车冲突预警方法的步骤。
方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的人车冲突预警方法。
本发明的有益效果如下：本发明基于人工智能深度学习算法识别过往行人和车辆，利用冲突识别算法并判断冲突情况，一旦发生人车冲突，立即调动预警设备立即响应，然后再将结构化的预警日志数据上传到云平台，解决以往预警方式不够智能化，云平台远程响应过慢和无效响应的问题，为过往车辆提供有效的智能化预警服务，保障行人过街和车辆行驶安全。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为人车冲突预警系统结构连接示意图；
图2为人车冲突预警方法应用场景示意图；
图3为人车冲突预警方法流程示意图。
具体实施方式
为了使本发明实施例中的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1说明本实施方式，人车冲突预警系统，包括边缘端预警装置、行人和车辆目标检测模块、判断行人和车辆发生冲突模块和预警模块；
所述边缘端预警装置用于获取道路转弯区行人和车辆视频数据；
所述行人和车辆目标检测模块用于检测行人和车辆目标；
所述判断行人和车辆发生冲突模块用于判断行人和车辆是否发生冲突；
所述预警模块用于播报预警信息，提示车辆慢行。
具体的，实现本实施例所述的预警系统首先应在道路转弯路口处搭建边缘端预警装置；
在转弯路口处，立一根灯杆，灯杆上挂载边缘计算网关、高清摄像头，广播音箱和RSU车路协同通讯单元设备，设备的安装点位和功能如下：
灯杆：安装在转弯盲区路口，配置有LED灯用于提供照明，以及挂载多种终端设备；
边缘计算网关，设置在灯杆内部，连接多个终端设备（摄像头、广播和RSU），用于视频数据分析、预警数据传输和联动其它设备。
高清摄像头：设置在灯杆上部，用于实时监控道路状况；
广播音箱：设置在灯杆上部，用于实时广播信息；
RSU车路协同通讯单元：设置在灯杆上部，用于广播预警信息发送给过往车辆。
具体的，所述预警模块为广播音像；
具体的，所述行人和车辆目标检测模块、判断行人和车辆发生冲突模块为边缘计算网关。
实施例2、参照图2-图3说明本实施方式，人车冲突预警方法，包括以下步骤：
S1.接入摄像头实时视频流数据，对视频中的行人和车辆进行目标检测和跟踪，获取行人和车辆在视频画面内的属性信息；
具体的，利用深度学习算法对视频中的行人和车辆进行目标检测和跟踪，获取行人和车辆在视频画面内的属性信息；
所述属性信息包括：分类标签、在二维平面内目标检测框的坐标信息和目标跟踪的唯一ID；
具体的，分类标签包括：行人和车辆；
具体的，目标检测框的坐标信息包括left, top, width, height；
具体的，唯一ID通过位移向量D获得。
所述对视频中的行人和车辆进行目标检测的方法是，对图片中的行人和车辆进行识别、定位，给出行人和车辆在原图片中的位置坐标（left, top, width, height）的形式给出，其中，left, top, width, height分别为矩形区域的左上角横坐标、左上角纵坐标、宽度及高度。
所述对视频中的行人和车辆进行目标检测跟踪的方法是，获取行人和车辆的位移量D，实现过程是：使用KLT算法进行对目标进行唯一ID标记，KLT算法定义同一目标出现在两帧图像I、J中，如果图像中两点匹配，那么以这两点为中心，W为窗口存在极小的灰度平方差，当解得的残差e小于设定的阈值，认为跟踪到角点，获得位移向量D。
KLT算法定义同一目标出现在两帧图像I、J中，如果图像中两点匹配，那么以这两点为中心，W为窗口存在极小的灰度平方差，当解得的残差e足够小（小于设定的阈值），即可认为是跟踪到的角点，从而获得位移向量D；
像素点的光强度函数可以由其泰勒展开式表示，g指强度梯度，D指像素位移：
Figure 975776DEST_PATH_IMAGE004
计算出一个D值使窗口内偏差光强能量最小，即使其导数为0：
Figure 83410DEST_PATH_IMAGE006
由上式得Gd=e，可以估计出位移向量D；
确定跟踪角点，角点是根据G矩阵的两个特征值来选择的，当e值解得足够小（设定的阈值），
Figure 806515DEST_PATH_IMAGE008
，即可认为是跟踪到的角点，
Figure 951713DEST_PATH_IMAGE010
为矩阵特征值。
S2.根据视频流每帧图片中行人和车辆在视频画面内的属性信息，使用人车冲突算法计算和判断在转弯区域范围内的行人和车辆是否发生冲突情况，具体方法是，包括以下步骤：
S21. 将视频画面定义为二维平面的第一象限坐标系，在视频画面上，画一个n边形包围道路转弯区域，并将n边形各个边线段的坐标点按照固定的格式保存到坐标点文件；
S22. 读取n边形坐标点文件各个边线段的起点坐标（StartX，StartY），得到n边形顶点坐标集合{{x[0], y[0]}，{x[1], y[1]}...{x[n-1], y[n-1]}}，根据视频图片帧数据里面的行人和车辆的矩形二维坐标信息（left, top, width, height），判断行人和车辆这两个是否同时出现在n边形区域范围内，具体方法是，，包括以下步骤：
S221. 首先根据图片中某个目标的矩形区域信息(left, top, width, height)，计算当前目标的中心点坐标(obj_x，obj_y)；obj_x = left + width/2，obj_y = top+height/2；
S222. 将(obj_x，obj_y)与n边形顶点坐标集合{{x[0], y[0]}，{x[1], y[1]}...{x[n -1], y[n-1]}}做比较，计算求取中心点坐标(obj_x，obj_y)延x轴正方向的水平延长线与n边形边的交点个数，具体方法是，
S2221.初始另i = 0， j = n - 1，c = 0；
S2222.如果i < n，循环计算步骤S2213和步骤S2214，否则退出；
S2223.如果(obj_y < y[i]) != (obj_y < y[j])且obj_x < (x[j] - x[i]) *(obj_y - y[i]) / (y[j] - y[i] ) + x[i] 都为真，则交点存在，交点个数c = c + 1；
S2224.j = i；i = i + 1；跳转到步骤S2212；
S223.根据得到交点个数c判断行人和车辆这两个是否同时出现在n边形区域范围内，如果1 = c%2，说明目标在n边形区域范围内；如果车辆和行人目标再区域范围内的数量都大于0，则确定行人和车辆同时出现在n边形区域范围内；
S23.在路口转弯区范围内，根据连续帧图片上目标车辆的时空关系计算车辆行驶速度，判断车辆行驶速度是否大于设定的阈值；
在连续的帧图片中，采用跳帧的方式，即每隔固定的帧图片数目取一帧图片，并根据车辆的唯一ID记录跟踪同一车辆，计算同一车辆在前后时间差上，在视频二维画面上的移动距离，移动距离乘以一个比例得到现实移动距离，再经过现实移动距离与时间差的计算即可得到行驶速度，具体方法是，包括以下步骤：
S231.假设设定一个跳帧值为k，速度阈值为v_thread，视频二维画面分辨率与现实道路长度的比例为scale；
S232.在第n帧图片中，某个车辆中心点的坐标为(car_x0, car_y0)，记录它的唯一ID；
S233.在第n + k帧图片中，某个车辆中心点的坐标为(car_x1, car_y1)，对比它的ID是否和第n帧图片里面的车辆id相同，如果相同，进行下一步；
S234.从n帧到n+k帧图片，共花费时间t，那么速度为
Figure DEST_PATH_IMAGE012
；
S235.如果v>v_thread成立，则说明车辆行驶速度大于阈值；
S24.在路口转弯区范围内，根据连续帧图片上目标车辆和行人的空间关系，判断车辆是否在不断向行人驶进；
在连续的帧图片中，采用跳帧的方式，即每隔固定的帧图片数目取一帧图片计算该图片上行人和车辆的两者距离，再比较前后移动的距离是否超过阈值，具体方法是，包括以下步骤：
S241. 假设设定一个跳帧值为k，移动阈值为line_thread；
S242. 在第n帧图片中，行人和车辆中心点的坐标分别为(person_x0, person_y0)，(car_x0, car_y0)，那么两者间距离为line0=(car_x0 - person_x0)2 + (car_y0 -person_y0)2 ；
S243. 在第n + k帧图片中，行人和车辆中心点的坐标分别为(person_x1,person_y1)，(car_x1, car_y1)，那么两者间距离为line1=(car_x1 - person_x1)2 +(car_y1 - person_y1)2；
S244. 如果line_thread < (line0 - line1)成立，则说明车辆和行人不断靠近。
S25.当行人和车辆之间的距离不断缩短，并且车辆移动速度大于阈值，则判定车辆在不断向行人驶进，发生了人车冲突的情况。
S3.发生人车冲突情况，控制广播设备和RSU设备广播播放预先设置的MP3预警提示语音；控制RSU设备向周围车辆的发送预警信息，提示车辆慢行。
实施例3、参照图2说明本实施例，人车冲突预警分析方法，包括以下步骤：
S1. 对现场视频进行截图，生成结构化的预警日志数据，将预警日志数据发送到远程云服务平台的数据库；
具体的，所述现场视频为发生人车冲突情况的视频；
S2. 云服务平台读取数据库里面存储的预警日志数据记录，生成预警历史事件清单和进行历史事件的总体评估分析。
所述历史时间清单包括预警信息、预警信息的视频抓拍图片、预警信息的效果、服务人数、预警指标总览、预警数量变化趋势和预警数量分布。
具体的，所述预警信息包括发生时间、路口位置、视频监测设备编号和广播设备编号、可查看预警信息的的视频抓拍图片、可查看预警信息的效果和服务人数；
历史事件的总体评估分析包括预警指标总览、预警数量变化趋势和预警数量分布；
具体的，预警指标总览包括今日预警总数、服务人数以及历史预警总数、服务人数；
具体的，预警数量变化趋势包括近一周或近一个月或任意时间段的预警事件数量的变化趋势；
具体的，预警数量分布包括不同路口的预警信息数量分布。
实施例4、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例5、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (7)

1.人车冲突预警方法，其特征在于，包括以下步骤：
S1.接入实时视频流数据，对视频中的行人和车辆进行目标检测和跟踪，获取行人和车辆在视频画面内的属性信息；
S2.根据视频流每帧图片中行人和车辆在视频画面内的属性信息，使用人车冲突算法计算和判断在转弯区域范围内的行人和车辆是否发生冲突情况，方法是，包括以下步骤：
S21.将视频画面定义为二维平面的第一象限坐标系，在视频画面上，画一个n边形包围道路转弯区域，并将n边形各个边线段的坐标点按照固定的格式保存到坐标点文件；
S22.读取n边形坐标点文件各个边线段的起点坐标（StartX，StartY），得到n边形顶点坐标集合{{x[0],y[0]}，{x[1],y[1]}...{x[n-1],y[n-1]}}，根据视频图片帧数据里面的行人和车辆的矩形二维坐标信息（left,top,width,height），其中，left,top,width,height分别为矩形区域的左上角横坐标、左上角纵坐标、宽度及高度；判断行人和车辆这两个是否同时出现在n边形区域范围内，方法是，包括以下步骤：
S221.计算当前目标的中心点坐标(obj_x，obj_y)；obj_x=left+width/2，obj_y=top+height/2；
S222.将(obj_x，obj_y)与n边形顶点坐标集合{{x[0],y[0]}，{x[1],y[1]}...{x[n-1],y[n-1]}}做比较，计算求取中心点坐标(obj_x，obj_y)延x轴正方向的水平延长线与n边形边的交点个数，具体方法是，
S2221.初始另i=0，j=n-1，c=0；
S2222.如果i<n，循环计算步骤S2213和步骤S2214，否则退出；
S2223.如果(obj_y<y[i])!=(obj_y<y[j])且obj_x<(x[j]-x[i])*(obj_y-y[i])/(y[j]-y[i])+x[i]都为真，则交点存在，交点个数c=c+1；
S2224.j=i；i=i+1；跳转到步骤S2212；
S223.根据得到交点个数c判断行人和车辆这两个是否同时出现在n边形区域范围内，如果1=c%2，说明目标在n边形区域范围内；如果车辆和行人目标再区域范围内的数量都大于0，则确定行人和车辆同时出现在n边形区域范围内；
S23.在路口转弯区范围内，根据连续帧图片上目标车辆的时空关系计算车辆行驶速度，判断车辆行驶速度是否大于设定的阈值，方法是，包括以下步骤：
S231.假设设定一个跳帧值为k，速度阈值为v_thread，视频二维画面分辨率与现实道路长度的比例为scale；
S232.在第n帧图片中，某个车辆中心点的坐标为(car_x0,car_y0)，记录它的唯一ID；
S233.在第n+k帧图片中，某个车辆中心点的坐标为(car_x1,car_y1)，对比它的ID是否和第n帧图片里面的车辆id相同，如果相同，进行下一步；
S234.从n帧到n+k帧图片，共花费时间t，那么速度为
Figure 239315DEST_PATH_IMAGE002
；
S235.如果v>v_thread成立，则说明车辆行驶速度大于阈值；
S24.在路口转弯区范围内，根据连续帧图片上目标车辆和行人的空间关系，判断车辆是否在不断向行人驶进，方法是，包括以下步骤：
S241.假设设定一个跳帧值为k，移动阈值为line_thread；
S242.在第n帧图片中，行人和车辆中心点的坐标分别为(person_x0,person_y0)，(car_x0,car_y0)，那么两者间距离为line0=(car_x0-person_x0)2+(car_y0-person_y0)2；
S243.在第n+k帧图片中，行人和车辆中心点的坐标分别为(person_x1,person_y1)，(car_x1,car_y1)，那么两者间距离为line1=(car_x1-person_x1)2+(car_y1-person_y1)2；
S244.如果line_thread<(line0-line1)成立，则说明车辆和行人不断靠近；
S25.当行人和车辆之间的距离不断缩短，并且车辆移动速度大于阈值，则判定车辆在不断向行人驶进，发生了人车冲突的情况；
S3.发生人车冲突情况，控制广播设备和RSU设备广播播放预先设置的MP3预警提示语音；控制RSU设备向周围车辆的发送预警信息，提示车辆慢行。
2.根据权利要求1所述的人车冲突预警方法，其特征在于，所述对视频中的行人和车辆进行目标检测的方法是，对图片中的行人和车辆进行识别、定位，给出行人和车辆在原图片中的位置坐标（left,top,width,height）的形式给出。
3.根据权利要求2所述的人车冲突预警方法，其特征在于，所述对视频中的行人和车辆进行目标检测跟踪的方法是，获取行人和车辆的位移量D，实现过程是：使用KLT算法进行对目标进行唯一ID标记，KLT算法定义同一目标出现在两帧图像I、J中，如果图像中两点匹配，那么以这两点为中心，W为窗口存在极小的灰度平方差，当解得的残差e小于设定的阈值，认为跟踪到角点，获得位移向量D。
4.人车冲突预警分析方法，其特征在于，基于权利要求1-3任一项所述人车冲突预警方法实现的，包括以下步骤：
步骤一、对现场视频进行截图，生成结构化的预警日志数据，将预警日志数据发送到远程云服务平台的数据库；所述现场视频为权利要求1-3任一项所述的发生人车冲突情况的视频；
步骤二、云服务平台读取数据库里面存储的预警日志数据记录，生成预警历史事件清单和进行历史事件的总体评估分析。
5.根据权利要求4所述的人车冲突预警分析方法，其特征在于，所述预警历史事件清单包括预警信息、预警信息的视频抓拍图片、预警信息的效果和服务人数；所述历史事件的总体评估分析包括预警指标总览、预警数量变化趋势和预警数量分布。
6.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-3任一项所述的人车冲突预警方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-3任一项所述的人车冲突预警方法。
CN202210849723.3A 2022-07-20 2022-07-20 人车冲突预警方法、预警分析方法、电子设备及存储介质 Active CN115083208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210849723.3A CN115083208B (zh) 2022-07-20 2022-07-20 人车冲突预警方法、预警分析方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210849723.3A CN115083208B (zh) 2022-07-20 2022-07-20 人车冲突预警方法、预警分析方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115083208A CN115083208A (zh) 2022-09-20
CN115083208B true CN115083208B (zh) 2023-02-03

Family

ID=83260700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210849723.3A Active CN115083208B (zh) 2022-07-20 2022-07-20 人车冲突预警方法、预警分析方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115083208B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012020B (zh) * 2023-01-10 2024-08-06 深圳市睿星旗航科技有限公司 一种智慧斑马线行人个性化警示系统

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652556A (zh) * 2015-10-28 2017-05-10 中国移动通信集团公司 一种人车避撞方法及装置
US10363944B1 (en) * 2018-02-14 2019-07-30 GM Global Technology Operations LLC Method and apparatus for evaluating pedestrian collision risks and determining driver warning levels
CN110334678A (zh) * 2019-07-12 2019-10-15 哈尔滨理工大学 一种基于视觉融合的行人检测方法
CN110678915A (zh) * 2017-05-25 2020-01-10 本田技研工业株式会社 车辆控制装置
CN110781774A (zh) * 2019-10-10 2020-02-11 江苏理工学院 基于深度学习的平交路口智能引导系统和方法
CN111210662A (zh) * 2020-03-04 2020-05-29 五邑大学 一种基于机器视觉与dsrc的交叉口安全预警系统及其预警方法
CN111369828A (zh) * 2020-03-09 2020-07-03 杭州海康威视系统技术有限公司 一种车辆转弯盲区的安全预警系统及方法
CN111815986A (zh) * 2020-09-02 2020-10-23 深圳市城市交通规划设计研究中心股份有限公司 一种交通事故预警方法、装置、终端设备及存储介质
CN111899515A (zh) * 2020-09-29 2020-11-06 深圳市城市交通规划设计研究中心股份有限公司 一种基于智慧道路边缘计算网关的车辆检测系统
CN111932882A (zh) * 2020-08-13 2020-11-13 广东飞达交通工程有限公司 一种基于图像识别的道路事故实时预警系统、方法和设备
CN113096187A (zh) * 2021-05-03 2021-07-09 湖北汽车工业学院 一种车辆与障碍物相对位置自动获取方法
CN113345216A (zh) * 2021-05-28 2021-09-03 蓝海（福建）信息科技有限公司 一种面向大型活动的车辆调度方法
CN113936501A (zh) * 2021-10-12 2022-01-14 青岛科技大学 基于目标检测的智能路口通行预警系统
CN113947946A (zh) * 2021-10-15 2022-01-18 华东交通大学 一种基于车联网v2x与视频融合的港区行车安全监测方法
CN113978457A (zh) * 2021-12-24 2022-01-28 深圳佑驾创新科技有限公司 一种碰撞风险预测方法及装置
CN114093023A (zh) * 2020-07-31 2022-02-25 丰田自动车株式会社 移动体妨碍检测装置、系统、方法及存储介质
CN114332776A (zh) * 2022-03-07 2022-04-12 深圳市城市交通规划设计研究中心股份有限公司 非机动车占用人行道检测方法、系统、设备及存储介质
CN114333366A (zh) * 2021-09-28 2022-04-12 宁波均联智行科技股份有限公司 基于v2x的危险预警方法及装置
CN114312836A (zh) * 2021-12-24 2022-04-12 阿波罗智联(北京)科技有限公司 自动驾驶车辆礼让行人的方法、装置、设备及存储介质
CN114495551A (zh) * 2021-12-31 2022-05-13 上海人工智能创新中心 轨迹规划方法、装置、设备和计算机可读存储介质
CN114537447A (zh) * 2022-03-31 2022-05-27 驭势科技（北京）有限公司 安全通行方法、装置、电子设备和存储介质
CN114694415A (zh) * 2022-03-17 2022-07-01 安庆师范大学 一种急转弯道防碰撞预警方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112018015498A2 (pt) * 2016-01-29 2019-01-22 Nissan Motor método para controlar o deslocamento de um veículo e dispositivo para controlar o deslocamento de um veículo
JP6901555B2 (ja) * 2017-06-02 2021-07-14 本田技研工業株式会社 自動運転車の制御のための車両制御装置及び方法
US10803746B2 (en) * 2017-11-28 2020-10-13 Honda Motor Co., Ltd. System and method for providing an infrastructure based safety alert associated with at least one roadway
CN111260928B (zh) * 2018-11-30 2021-07-20 浙江宇视科技有限公司 车辆不礼让行人检测方法及装置
US11498554B2 (en) * 2020-02-25 2022-11-15 Ford Global Technologies, Llc Enhanced object detection and response
CN112229414B (zh) * 2020-10-22 2023-03-24 广州极飞科技股份有限公司 障碍物规避路线的生成方法、装置、无人设备和存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106652556A (zh) * 2015-10-28 2017-05-10 中国移动通信集团公司 一种人车避撞方法及装置
CN110678915A (zh) * 2017-05-25 2020-01-10 本田技研工业株式会社 车辆控制装置
US10363944B1 (en) * 2018-02-14 2019-07-30 GM Global Technology Operations LLC Method and apparatus for evaluating pedestrian collision risks and determining driver warning levels
CN110334678A (zh) * 2019-07-12 2019-10-15 哈尔滨理工大学 一种基于视觉融合的行人检测方法
CN110781774A (zh) * 2019-10-10 2020-02-11 江苏理工学院 基于深度学习的平交路口智能引导系统和方法
CN111210662A (zh) * 2020-03-04 2020-05-29 五邑大学 一种基于机器视觉与dsrc的交叉口安全预警系统及其预警方法
CN111369828A (zh) * 2020-03-09 2020-07-03 杭州海康威视系统技术有限公司 一种车辆转弯盲区的安全预警系统及方法
CN114093023A (zh) * 2020-07-31 2022-02-25 丰田自动车株式会社 移动体妨碍检测装置、系统、方法及存储介质
CN111932882A (zh) * 2020-08-13 2020-11-13 广东飞达交通工程有限公司 一种基于图像识别的道路事故实时预警系统、方法和设备
CN111815986A (zh) * 2020-09-02 2020-10-23 深圳市城市交通规划设计研究中心股份有限公司 一种交通事故预警方法、装置、终端设备及存储介质
CN111899515A (zh) * 2020-09-29 2020-11-06 深圳市城市交通规划设计研究中心股份有限公司 一种基于智慧道路边缘计算网关的车辆检测系统
CN113096187A (zh) * 2021-05-03 2021-07-09 湖北汽车工业学院 一种车辆与障碍物相对位置自动获取方法
CN113345216A (zh) * 2021-05-28 2021-09-03 蓝海（福建）信息科技有限公司 一种面向大型活动的车辆调度方法
CN114333366A (zh) * 2021-09-28 2022-04-12 宁波均联智行科技股份有限公司 基于v2x的危险预警方法及装置
CN113936501A (zh) * 2021-10-12 2022-01-14 青岛科技大学 基于目标检测的智能路口通行预警系统
CN113947946A (zh) * 2021-10-15 2022-01-18 华东交通大学 一种基于车联网v2x与视频融合的港区行车安全监测方法
CN113978457A (zh) * 2021-12-24 2022-01-28 深圳佑驾创新科技有限公司 一种碰撞风险预测方法及装置
CN114312836A (zh) * 2021-12-24 2022-04-12 阿波罗智联(北京)科技有限公司 自动驾驶车辆礼让行人的方法、装置、设备及存储介质
CN114495551A (zh) * 2021-12-31 2022-05-13 上海人工智能创新中心 轨迹规划方法、装置、设备和计算机可读存储介质
CN114332776A (zh) * 2022-03-07 2022-04-12 深圳市城市交通规划设计研究中心股份有限公司 非机动车占用人行道检测方法、系统、设备及存储介质
CN114694415A (zh) * 2022-03-17 2022-07-01 安庆师范大学 一种急转弯道防碰撞预警方法和系统
CN114537447A (zh) * 2022-03-31 2022-05-27 驭势科技（北京）有限公司 安全通行方法、装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Obstacle Avoidance Algorithm for AUV Based on Obstacle"s Detected Outline;Zheping Yan;《2018 37th Chinese Control Conference (CCC)》;20181007;5257-5262 *
基于双目视觉的车辆前方运动目标检测与测距技术研究;王亚;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190815;C035-162 *
基于深度学习的行人和骑行者检测及防碰撞预警系统研究;高雪婷;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20190215;C035-137 *
行人过街时人-车交互特性分析与过街行为预测建模;王辉;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20220215;20220215 *

Also Published As

Publication number Publication date
CN115083208A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
WO2021223418A1 (zh) 基于视觉差的停车检测方法及装置
CN107945520A (zh) 一种路边停车检测及计费系统及方法
CN113470371B (zh) 识别违规车辆的方法、系统和计算机可读存储介质
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN115083208B (zh) 人车冲突预警方法、预警分析方法、电子设备及存储介质
WO2024046053A1 (zh) 车辆违规检测方法、装置及系统、存储介质
KR102526583B1 (ko) 딥러닝 기반 교차로 객체검지 및 자동 알람 시스템
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
US10643407B1 (en) Driving event recording method and system for non-image-based car accident cause determination
CN212724329U (zh) 覆盖双向车道的违法鸣笛和违法改装车抓拍系统
CN113538967B (zh) 一种十字路口场景下的车路协同装置及方法
WO2022233099A1 (zh) 基于联网adas调查路域交通违法行为时空特征的方法
CN114170809A (zh) 超速检测方法、装置、系统、电子设备和介质
CN114511825A (zh) 一种区域占用检测方法、装置、设备及存储介质
Das et al. Vehicular Propagation Velocity Forecasting Using Open CV
MUNAJAT et al. A NEW METHOD FOR ANALYZING CONGESTION LEVELS BASED ON ROAD DENSITY AND VEHICLE SPEED.
CN113298964A (zh) 一种基于高位视频路边停车联动管理方法及系统
CN114333392A (zh) 基于rfid的路侧停车监测预警方法及其系统
Umar et al. Intelligent-Based Control System for Effective Road Traffic Management in Nigeria: A Proposed Model
TW202013218A (zh) 非圖像判斷之行車事件紀錄方法及系統
Ge A spatial-temporal-map-based traffic video analytic model for large-scale cloud-based deployment
CN111223205A (zh) 非图像判断的行车事件记录方法及系统
CN111613066A (zh) 一种机动车不依法停车让行行为的自动取证系统和方法
KR102340902B1 (ko) 스쿨존을 모니터링하는 장치 및 방법
Gao et al. Crossing road monitoring system based on adaptive decision for illegal situation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant