CN116229389B - 一种车辆碰撞预警方法、系统、电子设备及存储介质 - Google Patents

一种车辆碰撞预警方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116229389B
CN116229389B CN202310474916.XA CN202310474916A CN116229389B CN 116229389 B CN116229389 B CN 116229389B CN 202310474916 A CN202310474916 A CN 202310474916A CN 116229389 B CN116229389 B CN 116229389B
Authority
CN
China
Prior art keywords
feature map
vehicle collision
collision detection
calculation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310474916.XA
Other languages
English (en)
Other versions
CN116229389A (zh
Inventor
王金波
郭振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Transportation Technology Co ltd
Original Assignee
Tianyi Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Transportation Technology Co ltd filed Critical Tianyi Transportation Technology Co ltd
Priority to CN202310474916.XA priority Critical patent/CN116229389B/zh
Publication of CN116229389A publication Critical patent/CN116229389A/zh
Application granted granted Critical
Publication of CN116229389B publication Critical patent/CN116229389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及人工智能技术领域，具体公开了一种车辆碰撞预警方法、系统、电子设备及存储介质，方法包括基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；获取预设时间内车辆碰撞检测模型输出的所有车辆碰撞检测结果；基于所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警。通过本发明的方案，实现了对车辆碰撞事故的实时检测和告警，提高了车辆碰撞检测识别的准确率、召回率和鲁棒性，减少了相关部门对车辆碰撞事故的响应时间，提高了交通事故路段的通行效率，提高了严重碰撞事故的救援效率。

Description

一种车辆碰撞预警方法、系统、电子设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种车辆碰撞预警方法、系统、电子设备及存储介质。
背景技术
当前车辆碰撞检测与预警方案主要通过人工搜索监控视频进行车辆碰撞识别与告警，当前方案存在的效率低、消耗资源大、人工监控成本高的问题，并且对于交通碰撞事故路端通报不及时，危害其他出行人员安全和造成道路拥堵的问题，对于严重的车辆碰撞事故还存在反应时间长，对受害者救援不及时的问题。
发明内容
有鉴于此，本发明提出了一种车辆碰撞预警方法、系统、电子设备及存储介质，基于车辆碰撞检测模型，对路侧摄像头采集的视频数据进行实时的车辆碰撞检测，解决了当前人工搜索监控视频进行车辆碰撞识别存在的效率低、消耗资源大、人工监控成本高等问题；同时本发明的方案还能够对检测到的大概率发生碰撞事故的区域实时告警和存储，自动提醒交通管理部门和救助部门重点关注可能发生交通事故的路段区域，缩短对车辆碰撞事故响应时间，提高交通事故道路通行效率，降低交通事故受害者伤亡率，解决了对于交通碰撞事故路端通报不及时，危害其他出行人员安全和造成道路拥堵的问题，还解决了对于严重的车辆碰撞事故反应时间长，对受害者救援不及时的问题。
基于上述目的，本发明实施例的一方面提供了一种车辆碰撞预警方法，方法包括：
基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；
获取预设时间内所述车辆碰撞检测模型输出的所有车辆碰撞检测结果；
基于所述所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警。
在一些实施方式中，所述基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果的步骤包括基于所述车辆碰撞检测模型执行以下步骤：
接收所述第二图像并对所述第二图像进行特征提取，得到第一特征图；
对所述第一特征图进行特征提取与特征融合，得到第二特征图，并对所述第二特征图进行自适应加权计算，得到第三特征图；
响应于对所述第二特征图进行自适应加权计算的次数大于第一阈值，将最后一次自适应加权计算得到的第四特征图作为车辆碰撞检测结果输出。
在一些实施方式中，所述对所述第二图像进行特征提取，得到第一特征图的步骤包括：
对所述第二图像依次进行卷积、归一化和激活计算，得到所述第一特征图。
在一些实施方式中，所述对所述第一特征图进行特征提取与特征融合，得到第二特征图的步骤包括：
对所述第一特征图依次进行可变形卷积计算、归一化计算和激活计算，得到第五特征图，并对所述第一特征图依次进行标准卷积计算、归一化计算和激活计算，得到第六特征图；
对所述第五特征图和所述第六特征图依次进行拼接计算和使用预设卷积核的卷积计算，得到所述第二特征图。
在一些实施方式中，所述对所述第五特征图和所述第六特征图依次进行拼接计算和使用预设卷积核的卷积计算，得到所述第二特征图的步骤包括：
按序列对所述第五特征图和所述第六特征图进行拼接计算，得到第七特征图；
使用所述预设卷积核对所述第七特征图进行卷积计算，得到所述第二特征图。
在一些实施方式中，所述归一化计算的步骤包括：
对接收到的特征图分别进行层归一化计算、批归一化计算和实例归一化计算，得到第一层归一化计算结果、第一批归一化计算结果、第一实例归一化计算结果；
对所述第一层归一化计算结果、所述第一批归一化计算结果、所述第一实例归一化计算结果进行相加以及求平均值计算。
在一些实施方式中，所述对所述第二特征图进行自适应加权计算，得到第三特征图的步骤包括：
将所述第二特征图作为权重参数，其中，所述权重参数包括对应于所述第五特征图的第一权重参数和对应于所述第六特征图的第二权重参数；
按照通道将所述第一权重参数与第五特征图进行相乘，得到第八特征图；
按通道将所述第二权重参数与第六特征图进行相乘，得到第九特征图；
按照通道、位置点以及对应的第一权重参数和第二权重参数对所述第八特征图和所述第九特征图进行计算，得到所述第三特征图。
在一些实施方式中，所述按照通道、位置点以及对应的第一权重参数和第二权重参数对所述第八特征图和所述第九特征图进行计算的步骤包括：
按照通道以及位置点对所述第八特征图和所述第九特征图进行求和计算；
使用求和计算结果除以所述第八特征图和所述第九特征图中对应位置的第一权重参数和第二权重参数之和。
在一些实施方式中，所述基于判断结果判定是否进行告警的步骤包括：
若是所述发生车辆碰撞的次数未超过第二阈值，则不进行告警；
若是所述发生车辆碰撞的次数超过第二阈值，则进行第一次告警，并判断车辆碰撞的严重程度；
若是所述车辆碰撞的严重程度达到二次告警条件，则进行二次告警；
若是所述车辆碰撞的严重程度未达到二次告警条件，则不进行二次告警。
在一些实施方式中，在所述基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测步骤之前，方法还包括：
对采集的视频流进行分帧处理得到第一图像，其中，所述第一图像为道路区域图像；
对所述第一图像进行预处理得到第二图像，其中，所述第二图像为道路机动车行驶区域图像；
将所述第二图像输入到所述车辆碰撞检测模型。
本发明实施例的另一方面，还提供了一种车辆碰撞预警系统，系统包括：
车辆碰撞检测模块，所述车辆碰撞检测模块配置为基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；
获取模块，所述获取模块配置为获取预设时间内所述车辆碰撞检测模型输出的所有车辆碰撞检测结果；
告警模块，所述告警模块配置为基于所述所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警。
本发明实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述计算机程序由所述处理器执行时实现如上方法的步骤。
本发明实施例的再一方面，还提供了一种存储介质，存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
本发明至少具有以下有益技术效果：本发明可以对监控路段车辆碰撞事故实时检测和自动化告警，减少交通管理部门和救护单位对车辆碰撞事故的响应时间，提高严重碰撞事故的救援效率，降低严重车祸事故导致的非必要死亡率，提高交通事故路段的通行效率；本发明的碰撞事故检测方案，无需多人24小时值守，人工成本低，无需安装新摄像头，部署成本低；本发明提出的特征提取自适应加权模块和LBIA-Block模块，可以在模型训练时自主学习增加车辆碰撞事故特征的权重，可以提高模型特征图空间信息丰富度，提高模型对碰撞事故区域特征检测识别的准确率、召回率和鲁棒性，同时这些模块即插即用，也可以扩展应用在其他目标检测模型中提高模型进行目标检测的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明提供的车辆碰撞预警方法的一实施例的流程图；
图2为本发明提供的车辆碰撞预警方法的又一实施例的流程图；
图3为本发明提供的车辆碰撞检测模型中的车辆碰撞检测流程的一实施例的流程图；
图4为本发明提供的车辆碰撞检测流程的又一实施例的示意图；
图5为本发明提供的CLS-Block模块进行特征提取的一实施例的示意图；
图6为本发明提供的特征提取自适应加权模块进行特征提取预自适应加权的一实施例的示意图；
图7为本发明提供的LBIA-Block模块进行归一化计算和卷积计算的一实施例的示意图；
图8为本发明提供的车辆碰撞预警系统的一实施例的示意图；
图9为本发明提供的电子设备的一实施例的结构示意图；
图10为本发明提供的存储介质的一实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种车辆碰撞预警方法。在如图1所示的实施例中，该方法包括如下步骤：
S100、基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；
S200、获取预设时间内车辆碰撞检测模型输出的所有车辆碰撞检测结果；
S300、基于所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警。
在步骤S100中，基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的图像进行车辆碰撞检测识别；若没有检测到发生车辆碰撞事故则持续对后续输入的图像进行检测；若检测到了车辆碰撞，则对该结果进行缓存，可以缓存在计算机内存或硬盘等存储设备中。通过对路侧摄像头采集的视频数据进行实时的车辆碰撞检测，解决了当前人工搜索监控视频进行车辆碰撞识别存在的效率低、消耗资源大、人工监控成本高等问题。
在步骤S200和S300中，判断最近一段时间段内输出的所有车辆碰撞检测结果，在输出的所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过预设阈值，并基于判断结果判定是否进行告警。若所有车辆碰撞检测结果中发生车辆碰撞的次数超过预设阈值，则向相关部门进行告警，否则进行告警。
上述方案通过对监控路段车辆碰撞事故进行实时检测和自动化告警，减少相关部门对车辆碰撞事故的响应时间，提高严重碰撞事故的救援效率，降低严重车祸事故导致的非必要死亡率，提高交通事故路段的通行效率。
以下结合具体的车辆碰撞检测流程阐述本发明的构思，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图2所示，车辆碰撞检测的具体步骤如下：
S10、对采集的视频流进行分帧处理得到第一图像，其中，第一图像为道路区域图像；
S20、对第一图像进行预处理得到第二图像，其中，第二图像为道路机动车行驶区域图像；
S30、将第二图像输入到车辆碰撞检测模型；
S40、基于车辆碰撞检测模型执行车辆碰撞检测步骤；
S50、获取预设时间内车辆碰撞检测模型输出的所有车辆碰撞检测结果；
S60、基于所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值；
S70、若是发生车辆碰撞的次数超过第二阈值，则向交通管理部门进行告警，并判断车辆碰撞的严重程度；
S80、若是车辆碰撞的严重程度达到二次告警条件，则向救助中心进行二次告警。
在步骤S10~S30中，使用路端摄像头进行视频图像数据采集，对采集的视频序列进行分帧处理，得到每一帧图像，对分帧处理后的图像进行色彩变换、清晰度增强、感兴趣区域裁剪等预处理，然后将预处理后的图像输入到车辆碰撞检测模型进行车辆碰撞检测识别。
在步骤S40中，基于车辆碰撞检测模型对接收到的预处理后的图像进行车辆碰撞检测识别；若没有检测到发生车辆碰撞事故则持续对后续输入的图像进行检测；若检测到了车辆碰撞，则对该结果进行缓存，可以缓存在计算机内存或硬盘等存储设备中。通过对路侧摄像头采集的视频数据进行实时的车辆碰撞检测，解决了当前人工搜索监控视频进行车辆碰撞识别存在的效率低、消耗资源大、人工监控成本高等问题。
在步骤S50~S80中，判断最近一段时间段内是否出现N次以上的车辆碰撞；若是出现了N次以上的车辆碰撞，则判定出现N次以上的车辆碰撞的区域发生了交通事故，对于摄像机采集的视频数据进行存储并向交通管理部门进行告警，通知他们进行处理；同时判断车辆碰撞的严重程度，严重程度分为轻微、中等、严重；若是出现严重的车辆碰撞交通事故，则进行二次告警，即，向救助中心自动告警求助，例如可以通过自动拨打救助中线电话的方式，由此减少了对严重交通事故受害者的救助反应时间，降低事故的伤亡率；对于轻微车辆碰撞和中等车辆碰撞（例如，刮蹭），则不向救助中心告警，避免有限的救护医疗资源浪费；若最近一段时间段内是检测到的车辆碰撞次数小于等于N次，则不进行告警，继续对输入的图像进行车辆碰撞检测，由此可以减少对交通事故事件误报风险。
此外，还可以通过设置最大缓存时间的方式，来删除缓存中缓存车辆碰撞检测结果的时间大于预设最大缓存时间的车辆碰撞检测结果，以此进行资源释放，减少硬件资源的消耗，节约成本。
如图3所示，步骤S40中的车辆碰撞检测模型中的车辆碰撞检测流程为：
S41、接收关于道路区域行驶车辆的第二图像并对第二图像进行特征提取，得到第一特征图；
S42、对第一特征图进行特征提取与特征融合，得到第二特征图，并对第二特征图进行一次自适应加权计算，得到第三特征图；
S43、判断对第二特征图进行自适应加权计算的次数是否大于第一阈值；
S44、响应于进行自适应加权计算的次数不大于第一阈值，返回步骤S42；
S45、响应于进行自适应加权计算的次数大于第一阈值，将最后一次进行自适应加权计算得到的第四特征图作为车辆碰撞检测结果输出。
以下结合具体的车辆碰撞检测流程阐述本发明的构思，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图4所示，车辆碰撞检测流程对输入检测模型的图片先使用CLS-Block模块（在本实施例中，CLS-Block模块可以理解为特征提取模块）进行特征提取，然后将经过CLS-Block模块计算得到的特征图输入到特征提取自适应加权模块（Feature ExtractionAdaptive Weighting Module，简称FEAWM）进行更深层次的特征提取与特征融合以及对特征图不同区域的自适应加权计算，重复以上CLS-Block模块和FEAWM模块M次进行不同深度的语义特征提取，将得到的计算结果输入检测头以预测车辆碰撞区域。
通过本实施例，可以减少模型参数和计算量，提高模型推理速度，可以在模型训练时通过自主学习增加车辆碰撞特征的权重，提高模型对碰撞事故区域特征检测识别的准确率、召回率和鲁棒性。
此外，由于碰撞事故发生区域一般会比较大且事故发生区域不是固定的矩形区域，因此，在本实施例中，可以将上述车辆碰撞检测流程应用于单头输出的检测模型（例如，anchor-free），通过采用单头输出的检测模型的方式对碰撞事故发生区域预测，可以降低模型复杂度，进一步减少模型参数和计算量、提高模型推理速度。
在一些实施方式中，如图5所示，CLS-Block模块进行特征提取的具体过程为：首先通过卷积核尺寸为3×3，stride（步长）为2，padding（填充）为1的标准卷积模块（Convolution，简称Conv.）对CLS-Block模块接收的特征图进行卷积计算，之后通过一个层归一化模块（Layer Normalization，简称Layer Norm.）对卷积计算后的特征图进行归一化计算，最后通过Swish激活函数对经过归一化计算之后的特征图进行激活计算，并输出经过激活计算得到的特征图。
应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
在一些实施方式中，步骤S42中，对第一特征图进行特征提取与特征融合，得到第二特征图的具体过程如下：
S421、对第一特征图依次进行可变形卷积计算、归一化计算和激活计算，得到第五特征图，并对第一特征图依次进行标准卷积计算、归一化计算和激活计算，得到第六特征图；
S422、按序列对第五特征图和第六特征图进行拼接计算，得到第七特征图；
S423、使用预设卷积核对所述第七特征图进行卷积计算，得到第二特征图。
在一些实施方式中，步骤S42中，对第二特征图进行一次自适应加权计算，得到第三特征图的具体过程如下：
S424、将第二特征图作为权重参数，其中，权重参数包括对应于第五特征图的第一权重参数和对应于第六特征图的第二权重参数；
S425、按照通道将第一权重参数与第五特征图进行相乘，得到第八特征图；
S426、按通道将第二权重参数与第六特征图进行相乘，得到第九特征图；
S427、按照通道以及位置点对第八特征图和第九特征图进行求和计算，并使用求和计算结果除以第八特征图和第九特征图中对应位置的第一权重参数和第二权重参数之和，得到第三特征图。
以下结合具体的特征提取与自适应加权过程阐述本发明的构思，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图6所示，为FEAWM模块进行特征提取与自适应加权的流程示意图，FEAWM模块会对输入的特征图分别使用可变形卷积（Deformable Convolution，简称Def. Conv）和标准卷积（Standard Convolution，简称Stand. Conv）进行计算，然后将各自的计算结果输入LBIA-Block模块（在本实施例中，LBIA-Block模块可以理解为归一化激活模块）进行归一化和激活处理，将以上经过可变形卷积和标准卷积分支计算的两个分支分别记作分支1和分支2，经过分支1和分支2计算后的特征图通道数和尺寸与输入的FEAWM模块的特征图一致。将经过分支1和分支2计算后的特征图按序列使用cat函数进行拼接，得到拼接特征图，拼接特征图较拼接前的特征图相比，尺寸不变，通道数变为之前通道数的2倍。对拼接特征图使用1×1的卷积核进行卷积计算，计算结果作为分支1和分支2特征图的权重参数分别与输入的相应分支对应通道的特征图进行相乘得到新特征图，对于加权计算后的分支1和分支2的特征图使用add函数进行对应通道位置点进行求和再除以对应位置的两分支的权重参数之和，将计算结果作为下一个模块的输入，在上述计算过程中，分支1和分支2的特征图的各个位置点的权重大小在模型训练过程中可以自适应学习，提高了模型的鲁棒性。
本发明实施例中的各个功能模块是独立实现的，可以实现即插即用，因此在模型搭建时可以根据部署环境的复杂程度，自定义调整网络模型的深度，降低了模型搭建的复杂度，提高了模型的鲁棒性。
在一些实施方式中，步骤S421中进行归一化计算的具体过程如下：
S4211、对接收到的特征图分别进行层归一化计算、批归一化计算和实例归一化计算，得到第一层归一化计算结果、第一批归一化计算结果、第一实例归一化计算结果；
S4212、对第一层归一化计算结果、第一批归一化计算结果、第一实例归一化计算结果进行相加以及求平均值计算。
以下结合具体的归一化计算过程阐述本发明的构思，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图7所示，LBIA-Block模块由层归一化（Layer Normalization，简称LN）、批归一化（Batch Normalization，简称BN）和实例归一化(Instance Normalization，简称IN)三个分支和add函数组成，LBIA-Block模块的三个分支会对输入的卷积计算结果进行不同维度的归一化计算和激活计算，最后对三个维度的计算结果进行相加求平均，经过LBIA-Block模块计算后的特征图具有更加丰富的空间信息，提高了车辆碰撞检测模型的检测精度和准确率。
在一些实施方式中，可以将本发明实施例中的CLS-Block模块、FEAWM模块和LBIA-Block模块应用于CenterNet、CornerNet、MobileNetv3、YOLOX等目标检测模型，用于车辆碰撞的检测，以此提高目标检测模型的性能。
通过以上实施例，本发明可以对监控路段车辆碰撞事故实时检测和自动化告警，减少交通管理部门和救护单位对车辆碰撞事故的响应时间，提高严重碰撞事故的救援效率，降低严重车祸事故导致的非必要死亡率，提高交通事故路段的通行效率；本发明的碰撞事故检测方案，无需多人24小时值守，人工成本低，无需安装新摄像头，部署成本低；本发明提出的特征提取自适应加权模块和LBIA-Block模块，可以在模型训练时自主学习增加车辆碰撞事故特征的权重，可以提高模型特征图空间信息丰富度，提高模型对碰撞事故区域特征检测识别的准确率、召回率和鲁棒性，同时这些模块即插即用，也可以扩展应用在其他目标检测模型中提高模型进行目标检测的性能。
基于同一发明构思，根据本发明的另一个方面，如图8所示，本发明的实施例还提供了一种车辆碰撞预警系统，系统包括：
车辆碰撞检测模块10，所述车辆碰撞检测模块10配置为基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；
获取模块20，所述获取模块20配置为获取预设时间内所述车辆碰撞检测模型输出的所有车辆碰撞检测结果；
告警模块30，所述告警模块30配置为基于所述所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警。
基于同一发明构思，根据本发明的另一个方面，如图9所示，本发明的实施例还提供了一种电子设备30，在该电子设备30中包括处理器310以及存储器320，存储器320存储有可在处理器上运行的计算机程序321，处理器310执行程序时执行如上的方法的步骤。
其中，存储器作为一种非易失性存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述车辆碰撞预警方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行系统的各种功能应用以及数据处理，即实现上述方法实施例的车辆碰撞预警方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
基于同一发明构思，根据本发明的另一个方面，如图10所示，本发明的实施例还提供了一种存储介质40，存储介质40存储有被处理器执行时执行如上方法的计算机程序410。
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (12)

1.一种车辆碰撞预警方法，其特征在于，方法包括：
基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；
获取预设时间内所述车辆碰撞检测模型输出的所有车辆碰撞检测结果；
基于所述所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警；
其中，所述基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果的步骤包括基于所述车辆碰撞检测模型执行以下步骤：
接收所述第二图像并对所述第二图像进行特征提取，得到第一特征图；
对所述第一特征图进行特征提取与特征融合，得到第二特征图，并对所述第二特征图进行自适应加权计算，得到第三特征图；
响应于对所述第二特征图进行自适应加权计算的次数大于第一阈值，将最后一次自适应加权计算得到的第四特征图作为车辆碰撞检测结果输出。
2.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行特征提取，得到第一特征图的步骤包括：
对所述第二图像依次进行卷积、归一化和激活计算，得到所述第一特征图。
3.根据权利要求1所述的方法，其特征在于，所述对所述第一特征图进行特征提取与特征融合，得到第二特征图的步骤包括：
对所述第一特征图依次进行可变形卷积计算、归一化计算和激活计算，得到第五特征图，并对所述第一特征图依次进行标准卷积计算、归一化计算和激活计算，得到第六特征图；
对所述第五特征图和所述第六特征图依次进行拼接计算和使用预设卷积核的卷积计算，得到所述第二特征图。
4.根据权利要求3所述的方法，其特征在于，所述对所述第五特征图和所述第六特征图依次进行拼接计算和使用预设卷积核的卷积计算，得到所述第二特征图的步骤包括：
按序列对所述第五特征图和所述第六特征图进行拼接计算，得到第七特征图；
使用所述预设卷积核对所述第七特征图进行卷积计算，得到所述第二特征图。
5.根据权利要求3所述的方法，其特征在于，所述归一化计算的步骤包括：
对接收到的特征图分别进行层归一化计算、批归一化计算和实例归一化计算，得到第一层归一化计算结果、第一批归一化计算结果、第一实例归一化计算结果；
对所述第一层归一化计算结果、所述第一批归一化计算结果、所述第一实例归一化计算结果进行相加以及求平均值计算。
6.根据权利要求3所述的方法，其特征在于，所述对所述第二特征图进行自适应加权计算，得到第三特征图的步骤包括：
将所述第二特征图作为权重参数，其中，所述权重参数包括对应于所述第五特征图的第一权重参数和对应于所述第六特征图的第二权重参数；
按照通道将所述第一权重参数与第五特征图进行相乘，得到第八特征图；
按通道将所述第二权重参数与第六特征图进行相乘，得到第九特征图；
按照通道、位置点以及对应的第一权重参数和第二权重参数对所述第八特征图和所述第九特征图进行计算，得到所述第三特征图。
7.根据权利要求6所述的方法，其特征在于，所述按照通道、位置点以及对应的第一权重参数和第二权重参数对所述第八特征图和所述第九特征图进行计算的步骤包括：
按照通道以及位置点对所述第八特征图和所述第九特征图进行求和计算；
使用求和计算结果除以所述第八特征图和所述第九特征图中对应位置的第一权重参数和第二权重参数之和。
8.根据权利要求1所述的方法，其特征在于，所述基于判断结果判定是否进行告警的步骤包括：
若是所述发生车辆碰撞的次数未超过第二阈值，则不进行告警；
若是所述发生车辆碰撞的次数超过第二阈值，则进行第一次告警，并判断车辆碰撞的严重程度；
若是所述车辆碰撞的严重程度达到二次告警条件，则进行二次告警；
若是所述车辆碰撞的严重程度未达到二次告警条件，则不进行二次告警。
9.根据权利要求1所述的方法，其特征在于，在所述基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测步骤之前，方法还包括：
对采集的视频流进行分帧处理得到第一图像，其中，所述第一图像为道路区域图像；
对所述第一图像进行预处理得到第二图像，其中，所述第二图像为道路机动车行驶区域图像；
将所述第二图像输入到所述车辆碰撞检测模型。
10.一种车辆碰撞预警系统，其特征在于，包括：
车辆碰撞检测模块，所述车辆碰撞检测模块配置为基于车辆碰撞检测模型对接收到的关于道路区域行驶车辆的第二图像进行碰撞检测，并输出车辆碰撞检测结果；
获取模块，所述获取模块配置为获取预设时间内所述车辆碰撞检测模型输出的所有车辆碰撞检测结果；
告警模块，所述告警模块配置为基于所述所有车辆碰撞检测结果判断发生车辆碰撞的次数是否超过第二阈值，并基于判断结果判定是否进行告警；
其中，所述车辆碰撞检测模块还配置为基于所述车辆碰撞检测模型执行以下步骤：接收所述第二图像并对所述第二图像进行特征提取，得到第一特征图；对所述第一特征图进行特征提取与特征融合，得到第二特征图，并对所述第二特征图进行自适应加权计算，得到第三特征图；响应于对所述第二特征图进行自适应加权计算的次数大于第一阈值，将最后一次自适应加权计算得到的第四特征图作为车辆碰撞检测结果输出。
11.一种电子设备，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1至9任意一项所述的方法的步骤。
12.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1至9任意一项所述的方法的步骤。
CN202310474916.XA 2023-04-28 2023-04-28 一种车辆碰撞预警方法、系统、电子设备及存储介质 Active CN116229389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310474916.XA CN116229389B (zh) 2023-04-28 2023-04-28 一种车辆碰撞预警方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310474916.XA CN116229389B (zh) 2023-04-28 2023-04-28 一种车辆碰撞预警方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116229389A CN116229389A (zh) 2023-06-06
CN116229389B true CN116229389B (zh) 2023-09-01

Family

ID=86573468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310474916.XA Active CN116229389B (zh) 2023-04-28 2023-04-28 一种车辆碰撞预警方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116229389B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160837A (zh) * 2015-09-29 2015-12-16 爱培科科技开发（深圳）有限公司 一种基于移动终端的行车报警信息云端获取方法及系统
CN107093327A (zh) * 2017-04-21 2017-08-25 华南理工大学 一种行车碰撞处理方法及系统
CN112084928A (zh) * 2020-09-04 2020-12-15 东南大学 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112884220A (zh) * 2021-02-08 2021-06-01 深圳广联赛讯股份有限公司 基于关联规则的碰撞预测方法、装置、设备及存储介质
CN113744565A (zh) * 2021-09-06 2021-12-03 北京百度网讯科技有限公司 一种碰撞预警方法、装置、电子设备及自动驾驶车辆
CN115107687A (zh) * 2022-07-14 2022-09-27 奇瑞汽车股份有限公司 车辆的紧急救援方法、装置、车辆及存储介质
CN115635977A (zh) * 2022-10-20 2023-01-24 一汽解放汽车有限公司 一种车辆碰撞预警方法、装置、电子设备及存储介质
CN115691215A (zh) * 2022-07-20 2023-02-03 青岛讯极科技有限公司 一种基于YOLOv5-GRU的道路护栏碰撞检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160837A (zh) * 2015-09-29 2015-12-16 爱培科科技开发（深圳）有限公司 一种基于移动终端的行车报警信息云端获取方法及系统
CN107093327A (zh) * 2017-04-21 2017-08-25 华南理工大学 一种行车碰撞处理方法及系统
CN112084928A (zh) * 2020-09-04 2020-12-15 东南大学 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112884220A (zh) * 2021-02-08 2021-06-01 深圳广联赛讯股份有限公司 基于关联规则的碰撞预测方法、装置、设备及存储介质
CN113744565A (zh) * 2021-09-06 2021-12-03 北京百度网讯科技有限公司 一种碰撞预警方法、装置、电子设备及自动驾驶车辆
CN115107687A (zh) * 2022-07-14 2022-09-27 奇瑞汽车股份有限公司 车辆的紧急救援方法、装置、车辆及存储介质
CN115691215A (zh) * 2022-07-20 2023-02-03 青岛讯极科技有限公司 一种基于YOLOv5-GRU的道路护栏碰撞检测方法
CN115635977A (zh) * 2022-10-20 2023-01-24 一汽解放汽车有限公司 一种车辆碰撞预警方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN116229389A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN112333431B (zh) 场景监测方法、装置、电子设备及存储介质
KR20200100792A (ko) 목표 추적 방법 및 장치, 저장 매체
CN106341661B (zh) 巡逻机器人
CN108701396B (zh) 一种车前积雪与结冰的检测报警方法、存储介质和服务器
CN105894700A (zh) 基于图像的车内活动物体远程观测、报警装置及方法
CN109788242B (zh) 救援系统、救援方法及其所使用的服务器
CN113011833A (zh) 施工现场的安全管理方法、装置、计算机设备和存储介质
CN112299172A (zh) 手势求救的识别方法、装置及存储介质
KR20190082692A (ko) 안전관리 시스템 및 그 방법
CN114202711A (zh) 一种列车车厢内异常行为智能监测方法、装置及监控系统
CN114155595A (zh) 行为检测监控方法、智能摄像头及智能监控系统
CN112509322A (zh) 一种基于无人机的高速交通事故监管方法、系统及可读存储介质
CN112382097A (zh) 一种基于动态交通流的城市道路监管方法、系统及可读存储介质
CN116229389B (zh) 一种车辆碰撞预警方法、系统、电子设备及存储介质
CN113869220A (zh) 重大交通事故的监测方法及系统
CN116403162B (zh) 一种机场场面目标行为识别方法、系统及电子设备
CN113408319A (zh) 一种城市道路异常感知处理方法、装置、系统及存储介质
CN115965894A (zh) 巡逻机器人的控制方法、装置、电子设备及存储介质
CN113283286B (zh) 一种驾驶员异常行为检测方法和装置
CN114004720A (zh) 核查方法、装置、核查服务器、核查系统及存储介质
CN113506436A (zh) 一种用于监管的检测车内驾驶员玩手机的系统及方法
CN116189117B (zh) 一种危险驾驶行为识别方法、系统、电子设备及存储介质
US20200160500A1 (en) Prediction device, prediction method, and storage medium
JP2021164008A (ja) 情報処理方法、情報処理装置、プログラム及び情報処理システム
CN114596708B (zh) 智能调度系统、方法、装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant