CN112446316B - 事故检测方法、电子设备及存储介质 - Google Patents

事故检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112446316B
CN112446316B CN202011314812.5A CN202011314812A CN112446316B CN 112446316 B CN112446316 B CN 112446316B CN 202011314812 A CN202011314812 A CN 202011314812A CN 112446316 B CN112446316 B CN 112446316B
Authority
CN
China
Prior art keywords
video frame
static
target video
region
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011314812.5A
Other languages
English (en)
Other versions
CN112446316A (zh
Inventor
吴成路
余言勋
王耀农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011314812.5A priority Critical patent/CN112446316B/zh
Publication of CN112446316A publication Critical patent/CN112446316A/zh
Priority to PCT/CN2021/124913 priority patent/WO2022105517A1/en
Priority to EP21893665.6A priority patent/EP4229547A4/en
Application granted granted Critical
Publication of CN112446316B publication Critical patent/CN112446316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种事故检测方法、电子设备及存储介质。该方法包括：从视频数据中获取目标视频帧；提取目标视频帧的静态区域；利用事故检测模型对静态区域进行事故检测，得到车辆事故检测结果。通过上述方式，能够提高车辆事故的检测精度。

Description

事故检测方法、电子设备及存储介质
技术领域
本申请涉及图像处理领域，特别是涉及一种事故检测方法、电子设备及存储介质。
背景技术
为方便人们的出行，交通道路的畅通变得愈加重要。但是很多情况下难以避免道路上车辆事故的发生。车辆事故突发性强且破坏性大，因此车辆事故一旦发生，救援不及时或现场保护不周，都极易造成道路瘫痪甚至引发二次事故，影响人们的安全与舒适度。因此，对车辆事故检测以使相关人员对车辆事故及时响应是非常重要的课题。然而，现有的车辆事故检测方法的精度不高。
发明内容
本申请提供一种事故检测方法、电子设备及存储介质，能够解决现有的车辆事故检测方法的精度不高的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种事故检测方法。该方法包括：从视频数据中获取目标视频帧；提取目标视频帧的静态区域；利用事故检测模型对静态区域进行事故检测，得到车辆事故检测结果。通过上述方式，能够提高车辆事故检测结果的精度。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请将可能发生车辆事故的区域定位在目标图像帧中的静态区域，并进一步利用事故检测模型对静态区域进行事故检测得到车辆事故检测结果。由于发生车辆事故的区域必然存在静态目标，因此仅对目标视频帧中的静态区域进行检测的方式，能够提高事故检测的精度。另外，相较于利用目标跟踪加逻辑判断的事故检测方式，本申请利用事故检测模型直接获取车辆事故检测结果的方式更加简单，并且能够进一步提高事故检测的精度，有效避免目标跟踪中遮挡、角度偏移等情况导致的误检/漏检情况发生。
附图说明
图1是事故检测系统一一结构示意图；
图2是车辆之间前后碰撞示意图；
图3是车辆与预设固定物之间碰撞示意图；
图4是车辆侧翻示意图；
图5是本申请事故检测方法第一实施例的流程示意图；
图6是目标视频帧短边填充示意图；
图7是本申请事故检测方法第二实施例的流程示意图；
图8是本申请对目标视频帧与在先视频帧融合的结果示意图；
图9是本申请事故检测方法第三实施例的流程示意图；
图10是图9中S32的具体流程示意图；
图11是目标视频帧的区域框示意图；
图12是经合并的目标视频帧的区域框示意图；
图13是本申请事故检测方法第四实施例的流程示意图；
图14是图13中S42的具体流程示意图；
图15是目标视频帧一示意图；
图16是目标视频帧中的连通域示意图；
图17是经合并的目标视频帧中的连通域对应的区域框示意图；
图18是本申请事故检测方法第五实施例的流程示意图；
图19是静态目标的三维区域框示意图；
图20是图18中S53的具体流程示意图；
图21是本申请事故检测模型的结构示意图；
图22是本申请电子设备一实施例的结构示意图；
图23是本申请存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
在对本申请提供的事故检测方法进行介绍之前，对其应用场景进行举例说明。
本申请提供的事故检测方法可以依赖事故检测系统实现。参阅图1，事故检测系统可以包括摄像器件和检测设备。摄像器件预先被布设在交通道路的需要监控的区域，摄像器件实时获取监控区域的视频数据，并自发地或者在检测设备的请求下传回检测设备，检测设备对视频数据包括的视频帧进行检测，以确定监控区域是否有事故发生。
需要说明的是，本申请中事故检测模型、目标检测模型和目标分割模型的训练样本至少包括一种车辆事故类型的图像。在一具体实施方式中，本申请中事故检测模型、目标检测模型和目标分割模型中的至少一个的训练样本可以包括以下一种或多种图像：包含车辆之间正面碰撞的图像、包含车辆之间前后碰撞的图像、包含车辆之间侧面碰撞的图像、包含车辆与预设固定物之间碰撞的图像、包含车辆侧翻的图像以及包含车辆解体的图像。
其中，预设固定物可以为道路设施，如道路栏杆、灯杆、标志杆、建筑物和绿植等等。车辆侧翻/解体可以为车辆单独因爆胎、机件老化和机件失灵等引发的。车辆之间前后碰撞的图像示例请参阅图2，车辆与预设固定物(道路栏杆)之间碰撞的图像示例请参阅图3，包含车辆侧翻的图像示例请参阅图4。
图5是本申请事故检测方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。如图5所示，本实施例可以包括：
S11：从视频数据中获取目标视频帧。
视频数据可以为布设在监控区域的摄像器件获取到的实时视频帧序列，视频数据可以包括多个视频帧。本申请的事故检测所针对的对象为视频数据中的全部或者部分视频帧。本申请实施例中将当前待检测的视频帧称为目标视频帧。
在本申请的事故检测所针对的对象为视频数据中的部分视频帧的情况下，可以从视频数据中获取每相隔第二预设帧数的视频帧，以分别作为目标视频帧。换句话说，可以对将该视频数据进行采样得到目标视频帧，相邻两次采样间隔第二预设帧数的视频帧。第二预设帧数的取值可以基于监控区域的车流量、检测精度、检测速度中的至少一种来设定。例如，高速路与隧道场景下第二预设帧数取值为5。
另外，考虑到不同摄像器件获取到的视频数据的分辨率可能不同，而S12是基于固定的视频帧尺寸进行的。因此在进入S12之前，可以先对目标视频帧进行尺寸变换。其中，尺寸变换的方式可以为二次非线性插值、线性插值等。
此外，考虑到对目标视频帧进行尺寸变换会引起目标视频帧形变，影响事故检测的准确率。因此在对目标视频帧进行尺寸变换之前，还可以先对目标视频帧进行短边填充。例如，目标视频帧的短边填充值为127。对目标视频帧进行短边填充的示例请参阅图6，图6中，目标视频帧的长边为a，短边为b，经填充的短边为c。
S12：提取目标视频帧的静态区域。
静态区域可以为包含静态目标的区域。静态目标可以为相对于路面处于静止状态的目标，例如行人、车辆等等。
可以理解的是，出现车辆事故的区域包含静态目标。因此，本申请中将目标视频帧中可能存在事故的区域定位在包含静态目标的区域，即静态区域。并且，每一静态区域对应一种可能存在的车辆事故类型。换句话说，每一静态区域被认为是存在某种类型的车辆事故而提取的。例如，将目标视频帧中包含车头和车尾距离很近的两辆静止的车，则将这两辆车对应的区域作为一个可能存在车辆之间前后碰撞事故的静态区域提取出来，该静止区域对应的可能存在的事故类型为车辆之间前后碰撞事故。
可以利用目标检测模型或者目标分割模型等等方式来提取目标视频帧的静态区域。其中对利用目标检测模型或者目标分割模型来提取目标视频帧的静态区域的具体描述请参见后面的实施例。相对于利用目标检测模型提取静态区域，目标分割模型提取静态区域的方式耗时较长，精度较高。
可以直接对目标视频帧进行静态区域提取。但是考虑到动态区域(包含动态目标的区域，动态目标即相对于路面处于运动状态的目标)可能会对提取目标视频帧的静态区域的过程产生干扰，可以先将目标视频帧的动态区域模糊化，在对目标视频帧进行静态区域提取。
可以理解的是，对目标视频帧进行静态区域提取是基于目标视频帧的前景区域进行的。但是目标视频帧的前景区域不仅包括静态区域，还包括动态区域，因此可能误将目标视频帧的动态区域误认为是静态区域。故可以先模糊化目标视频帧中的动态区域，再将经模糊化的目标视频帧进行静态区域提取。由于目标视频帧中的动态区域被模糊化后，被视为背景区域，而静态区域是在前景区域的基础上进行提取的，因此对经模糊化的目标视频帧进行静态区域提取，能够减小动态区域对静态区域提取的干扰。
S13：利用事故检测模型对静态区域进行事故检测，得到车辆事故检测结果。
可以直接对S12得到的目标视频帧的静态区域作为事故检测模型的输入。但是为提高事故检测精度，可以先对目标视频帧的静态区域进行预设比例扩增。例如，预设比例可以取值为1.2。可以理解的是，扩增静态区域可以丰富静态区域所包含的信息量，从而利用事故检测模型对经扩增的静态区域进行事故检测，能够得到更加准确的车辆事故检测结果。
事故检测模型用于检测至少一种车辆事故类型。车辆事故检测结果可以包括静态区域中存在对应车辆事故类型的概率。例如，静态区域对应的可能存在的车辆事故类型为车辆前后碰撞，则车辆事故检测结果包括该静态区域存在车辆前后碰撞的概率。
当车辆事故检测结果包括该静态区域存在车辆前后碰撞的概率达到预设概率阈值时，可以直接认为发生了车辆前后碰撞的事故。当然，为了提高事故检测的准确度，还可以在得到车辆事故检测结果之后进一步对车辆事故检测结果校正，将经校正的车辆事故检测结果作为最终的车辆事故检测结果。
通过本实施例的实施，本申请将可能发生车辆事故的区域定位在目标图像帧中的静态区域，并进一步利用事故检测模型对静态区域进行事故检测得到车辆事故检测结果。由于发生车辆事故的区域必然存在静态目标，因此仅对目标视频帧中的静态区域进行检测的方式，能够提高事故检测的精度。另外，相较于利用目标跟踪加逻辑判断的事故检测方式，本申请利用事故检测模型直接获取车辆事故检测结果的方式更加简单，并且能够进一步提高事故检测的精度，有效避免目标跟踪中遮挡、角度偏移等情况导致的误检/漏检情况发生。
图7是本申请事故检测方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。本实施例中，S21可以为在S12之前包括的步骤，S22可以为对S12的进一步扩展。如图7所示，本实施例可以包括：
S21：利用在先视频帧对目标视频帧的动态区域进行模糊化，得到经模糊化的目标视频帧。
在先视频帧为视频数据中的时间先于目标视频帧的视频帧。其中，可以利用目标视频帧的所有在先视频帧对目标视频帧的动态区域进行模糊化，也可以利用与目标视频帧时间最近的预设数量个在先视频帧对目标视频帧进行模糊化。举例说明，目标视频帧为视频帧15，可以利用视频帧1-14对目标视频帧进行模糊化；在预设数量为5的情况下，可以利用视频帧10-14对目标视频帧进行模糊化。
其中，对利用目标视频帧的所有在先视频帧对目标视频帧的动态区域进行模糊化，可以理解为利用目标视频帧的经模糊化的前一视频帧对目标视频帧的动态区域进行模糊化。举例说明，目标视频帧为视频帧15，目标视频帧的前一视频帧为视频帧14。利用视频帧1-13对视频帧14进行模糊化得到的经模糊化的视频帧14，利用经模糊化的视频帧14对视频帧15进行模糊化可以得到经模糊化的视频帧15。
可以基于指数平滑滤波、高斯滤波等方式利用在先视频帧对目标视频帧的动态区域进行模糊化，得到经模糊化的目标视频帧。并且，利用在先视频帧对目标视频帧的动态区域进行模糊化的方式可以为对目标视频帧与在先视频帧进行融合，以得到经模糊化的目标视频帧。
下面以利用指数平滑滤波方式对目标视频帧与所有在先视频帧进行融合进行说明。可以将目标视频帧与目标视频帧的所有在先视频帧融合，也即将目标视频帧与经模糊化的上一视频帧进行融合，依据的计算公式可以如下：
B＝(1-α)×B′+α×P。
其中，B为经模糊化的目标视频帧，α为目标视频帧的指数平滑滤波权重，B′为经模糊化的前一视频帧，P为目标视频帧。
利用指数平滑滤波方式对目标视频帧与所有在先视频帧进行融合的结果示例请参阅图8。
S22：提取经模糊化的目标视频帧的静态区域。
可以理解的是，将目标视频帧中的动态区域模糊化后，目标视频帧中的动态区域被视为背景区域。因此相较于直接对目标视频帧进行静态区域提取的方式，对经模糊化的目标视频帧进行静态区域提取，能够减少动态区域对静态区域提取过程的干扰，提高静态区域提取的准确度。
图9是本申请事故检测方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。如图9所示，在利用目标检测模型提取目标视频帧的静态区域的情况下，S12可以包括以下子步骤：
S31：利用目标检测模型对目标视频帧进行目标检测，得到目标视频帧中的静态目标对应的区域框。
与传统的视觉处理方法相比，目标检测模型在相近的计算复杂度下对不同的事故类型的检测具有更好的鲁棒性。
静态目标对应的区域框可以通过静态目标对应的区域的坐标或者(坐标，长度，宽度)来表示。
S32：基于静态目标对应的区域框，确定目标视频帧的静态区域。
可以直接将单个静态目标对应的区域框作为一个静态区域。或者可以将单个静态目标对应的区域框进行预设比例扩增，将经扩增的区域框作为一个静态区域。
可以理解的是，当目标视频帧中存在静态目标聚集的情况时，发生事故的可能性较高。而静态目标聚集可以体现为不同静态目标对应的区域框距离较近或者重叠。因此，在另一具体实施方式中，可以将静态目标聚集的区域作为一个整体，也即可以利用并差集结构将目标视频帧中多个距离小于预设距离阈值的区域框合并为一个新的区域框；再将各区域框作为不同的静态区域，或者分别将各区域框进行预设比例扩增，将经扩增的各区域框作为对应的静态区域。参阅图10，在此情况下，S32可以包括以下子步骤：
S321：将目标视频帧中距离小于预设距离阈值的区域框进行合并，得到新的区域框。
目标视频帧中的区域框随着合并而更新，经更新的目标视频帧中，新的区域框替代了对应的原区域框。
S322：基于新的区域框确定目标视频帧的静态区域。
可以直接将经更新的目标视频帧中的各区域框作为不同的静态区域。也可以分别将各区域框进行预设比例扩增，将经扩增的各区域框作为对应的静态区域。
下面以一个例子的形式对S321-S322进行详细说明。现检测出目标视频帧中包括静态目标1-5对应的区域框1-5，其中静态目标2对应的区域框2和静态区域3对应的区域框3之间距离小于预设距离阈值，静态目标3对应的区域框3和静态目标4对应的区域框4也小于预设距离阈值，则将静态目标2-4对应的区域框2-4合并为一个新的区域框6，也即将静态目标2-4对应的区域框的最小外接矩形框作为新的静态目标2-4对应的区域框6。经合并，区域框6替代了区域框2-4，故目标视频帧中包括的区域框更新为区域框1、6、5。
其中，将图11中目标视频帧的区域框2-4合并为区域框6(区域框2-4)的示例请参阅图12。此外，图12中区域框6’为对区域框6进行预设比例扩增的结果。
图13是本申请事故检测方法第四实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图13所示的流程顺序为限。如图13所示，在利用目标分割模型提取目标视频帧的静态区域的情况下，S12可以包括以下子步骤：
S41：利用目标分割模型对目标视频帧进行目标分割，得到目标视频帧中的静态目标的连通域。
可以利用目标分割模型对目标视频帧进行语义分割，以将目标视频帧中不同类别的静态目标分割出来。
可以理解的是，语义分割得到的连通域中，目标视频帧存在重叠的相同类别的静态目标对应同一个连通域(A)。为了将每个静态目标的连通域分割出来，还可以在语义分割的基础上，利用目标分割模型对目标视频帧进行实例分割，得到每个静态目标的连通域(PA)。
因此，利用分割模型得到的目标视频帧中的连通域可以包括A和/或PA。
S42：基于静态目标的连通域，确定目标视频帧的静态区域。
可以直接将目标分割模型得到的静态目标的连通域的外接矩形框作为对应的静态区域。但是考虑到当目标视频帧中不同静态目标距离较近的情况时，发生事故的可能性较高。因此，可以将距离小于预设距离阈值的连通域对应的外接矩形框合并为一个新的区域框，再确定目标视频帧的静态区域。参阅图14，在此情况下，S42可以包括以下子步骤：
S421：获取各连通域对应的区域框。
连通域对应的区域框可以为连通域的最小外接矩形框。
S422：将目标视频帧中满足预设条件的两个连通域对应的区域框进行合并，得到新的区域框。
其中，预设条件为两个连通域之间的距离与两个连通域对应的静态目标的宽度满足预设关系。
可以理解的是，由于可能存在摄像器件镜头的远近、视角等因素，如果仅依据两个连通域之间的距离来确定对应两个静态目标的距离，会存在较大误差。因此可以以静态目标的宽度作为参照，来确定两个连通域的距离，进而更加准确地确定对应两个静态目标之间的距离。
举例说明，车辆1-2对应连通域1-2，在连通域1和连通域2的中心坐标之间的欧式距离是车辆1的宽度的1.2倍，则将连通域1和连通域2对应的区域框合并为新的区域框3。
目标视频帧中的区域框随着合并而更新，并且新的区域框替代了对应的原区域框。
S423：基于新的区域框确定目标视频帧的静态区域。
本步骤的详细描述请参见S322的说明，在此不再重复。
以一个例子的形式对本实施例S421-S423进行详细说明。图15为目标视频帧，目标视频帧中包括两辆车，图16为目标视频帧中的连通域分割结果，其中包括连通域3和连通域4，其中两辆车存在重叠，故两辆车车辆和车辆对应同一个连通域3，行人对应连通域4。连通域3和连通域4满足预设条件，则将连通域3对应的区域框d(图未示)和连通域4对应的区域框e(图未示)合并为一个新的区域框f，合并结果如图17所示。经合并，区域框f替代了区域框d、e，故目标视频帧中包括的区域框更新为区域框f。
如前面第一实施例中提及的，车辆事故检测结果包含静态区域中存在对应事故类型的概率。若静态区域中存在对应事故类型的概率达到预设概率阈值，则可以直接认为存在该种类型的车辆事故，否则直接认为不存在该种类型的事故。
但是为了提高车辆事故检测结果的精度，还可以进一步对车辆事故检测结果进行校验。若车辆事故检测结果包含符合预设情况的概率，则对车辆事故检测结果中符合预设情况的概率进行校正。其中，预设情况为概率小于预设概率阈值，且对应静态区域中存在多个静态目标至少部分重叠。
可以理解的是，由于目标检测模型或目标分割模型得到的区域框为图像坐标系下的区域框(二维)，其包括的信息量有限，在静态区域中存在静态目标至少部分重叠的情况下，得到的车辆事故检测结果不够准确，也即对碰撞事故的检出率较低。若静态区域对应的存在事故的概率小于预设概率阈值，意味着该静态区域不存在事故；但是静态区域中存在静态目标至少部分重叠的情况下，可能存在车辆追尾等碰撞事故。故此种情况下可以对车辆事故检测结果进行校正。具体可以如下：
图18是本申请事故检测方法第五实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图18所示的流程顺序为限。如图18所示，本实施例可以包括：
S51：分别对静态区域中至少部分重叠的多个静态目标进行三维转换，得到多个静态目标的三维区域框。
对图像坐标系中的点(x,y)三维转换为世界坐标系中的(x,y,z)所依据的公式可以如下:
Figure BDA0002791020970000121
其中，为投影变换矩阵，K为监控相机内参，R为图像坐标系与世界坐标系间旋转变换向量，t为图像坐标系与世界坐标系间平移变换向量。
转换得到的三维区域框的示例请参阅图19。
S52：确定多个静态目标的三维区域框的相交区域，并获取相交区域与其中一个静态目标的三维区域框之间的体积比。
例如，可以获取相交区域与其中体积最小的一个静态目标的三维区域框之间的体积比。
S53：基于体积比，对车辆事故检测结果中符合预设情况的概率进行校正。
可以但不限于用该静态区域对应的体积比与原存在事故的概率的加权和代替原存在事故的概率。参阅图20，在此情况下，S53可以包括以下子步骤：
S531：将体积比与符合预设情况的概率进行加权，得到加权结果。
S532：利用加权结果替代车辆事故检测结果中符合预设情况的概率。
此外，在上述实施例的基础上，得到最终的车辆事故检测结果之后，还可以对车辆事故检测结果进行编码输出。具体而言，将车辆事故检测结果中达到预设概率阈值的概率编码为“1”输出，将小于预设概率阈值的概率编码为“0”输出。
下面以一个例子的方式对事故检测模型对静态区域进行事故检测，得到车辆事故检测结果的过程进行说明。如图21所示，事故检测模型包括3个卷积层+非线性激活层结构，2个最大值池化层+卷积层+非线性激活层结果，2个线性层，一个softmax层。利用事故检测模型得到的车辆事故检测结果包括目标图像帧中6个静态区域对应的概率编码值。
图22是本申请电子设备一实施例的结构示意图。如图22所示，该电子设备包括处理器61、与处理器61耦接的存储器62。
其中，存储器62存储有用于实现上述任一实施例的方法的程序指令；处理器61用于执行存储器62存储的程序指令以实现上述方法实施例的步骤。其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图23是本申请存储介质一实施例的结构示意图。如图23所示，本申请实施例的计算机可读存储介质70存储有程序指令71，该程序指令71被执行时实现本申请上述实施例提供的方法。其中，该程序指令71可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质70中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质70包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种事故检测方法，其特征在于，包括：
从视频数据中获取目标视频帧；
提取所述目标视频帧的静态区域；
利用事故检测模型对所述静态区域进行事故检测，得到车辆事故检测结果；
所述提取所述目标视频帧的静态区域，包括：
利用目标分割模型对所述目标视频帧进行目标分割，得到所述目标视频帧中的静态目标的连通域；获取所述静态目标的连通域对应的区域框；将所述目标视频帧中满足预设条件的两个所述连通域对应的所述区域框进行合并，得到新的所述区域框；基于新的所述区域框确定所述目标视频帧的静态区域；其中，所述预设条件为两个所述连通域之间的距离与两个所述连通域对应的所述静态目标的宽度满足预设关系。
2.根据权利要求1所述的方法，其特征在于，在所述提取所述目标视频帧的静态区域之前，所述方法还包括：
利用在先视频帧对所述目标视频帧的动态区域进行模糊化，得到经模糊化的所述目标视频帧；
所述提取所述目标视频帧的静态区域，包括：
提取经模糊化的所述目标视频帧的静态区域。
3.根据权利要求2所述的方法，其特征在于，所述利用在先视频帧对所述目标视频帧的动态区域进行模糊化，得到新的所述目标视频帧，包括：
将所述目标视频帧与所述在先视频帧进行融合，得到经模糊化的所述目标视频帧。
4.根据权利要求1所述的方法，其特征在于，所述提取所述目标视频帧的静态区域，包括：
利用目标检测模型对所述目标视频帧进行目标检测，得到所述目标视频帧中的所述静态目标对应的区域框；并基于所述静态目标对应的区域框，确定所述目标视频帧的静态区域。
5.根据权利要求4所述的方法，其特征在于，所述基于所述静态目标对应的区域框，确定所述目标视频帧的静态区域，包括：
将所述目标视频帧中距离小于预设距离阈值的所述区域框进行合并，得到新的所述区域框；
基于所述新的区域框确定所述目标视频帧的静态区域。
6.根据权利要求4所述的方法，其特征在于，所述事故检测模型、所述目标检测模型和所述目标分割模型中的至少一个的训练样本包括以下一种或多种图像：包含车辆之间正面碰撞的图像、包含车辆之间前后碰撞的图像、包含车辆之间侧面碰撞的图像、包含车辆与预设固定物之间碰撞的图像、包含车辆侧翻的图像以及包含车辆解体的图像。
7.根据权利要求1所述的方法，其特征在于，所述事故检测模型用于检测至少一种车辆事故类型，所述车辆事故检测结果包括所述静态区域存在对应所述车辆事故类型的概率，所述利用事故检测模型对所述静态区域进行事故检测，得到车辆事故检测结果之后，还包括：
若所述车辆事故检测结果包含符合预设情况的概率，则对所述车辆事故检测结果中符合预设情况的所述概率进行校正，其中，所述预设情况为所述概率小于预设概率阈值，且对应所述静态区域中存在多个所述静态目标至少部分重叠。
8.根据权利要求7所述的方法，其特征在于，所述对所述车辆事故检测结果中符合预设情况的所述概率进行校正，包括：
分别对所述静态区域中至少部分重叠的多个所述静态目标进行三维转换，得到多个所述静态目标的三维区域框；
确定所述多个所述静态目标的三维区域框的相交区域，并获取所述相交区域与其中一个所述静态目标的三维区域框之间的体积比；
基于所述体积比，对所述车辆事故检测结果中符合预设情况的所述概率进行校正。
9.根据权利要求8所述的方法，其特征在于，所述基于所述体积比，对所述车辆事故检测结果中符合预设情况的所述概率进行校正，包括：
将所述体积比与符合预设情况的所述概率进行加权，得到加权结果；
利用所述加权结果替代所述车辆事故检测结果中符合预设情况的所述概率。
10.根据权利要求1所述的方法，其特征在于，所述从视频数据中获取目标视频帧，包括：
从所述视频数据中获取每相隔第二预设帧数的视频帧，以分别作为所述目标视频帧；
和/或，在所述提取所述目标视频帧的静态区域之前，所述方法还包括：
对所述目标视频帧进行尺寸变换，和/或，对所述目标视频帧进行短边填充；
和/或，在所述提取所述目标视频帧的静态区域之后，且在所述利用事故检测模型对所述静态区域进行事故检测之前，所述方法还包括：
对所述目标视频帧的静态区域进行预设比例扩增。
11.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-10中任一项所述的方法。
12.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-10中任一项所述的方法。
CN202011314812.5A 2020-11-20 2020-11-20 事故检测方法、电子设备及存储介质 Active CN112446316B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011314812.5A CN112446316B (zh) 2020-11-20 2020-11-20 事故检测方法、电子设备及存储介质
PCT/CN2021/124913 WO2022105517A1 (en) 2020-11-20 2021-10-20 Systems and methods for detecting traffic accidents
EP21893665.6A EP4229547A4 (en) 2020-11-20 2021-10-20 SYSTEMS AND METHODS FOR DETECTING TRAFFIC ACCIDENTS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011314812.5A CN112446316B (zh) 2020-11-20 2020-11-20 事故检测方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112446316A CN112446316A (zh) 2021-03-05
CN112446316B true CN112446316B (zh) 2022-06-07

Family

ID=74737543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011314812.5A Active CN112446316B (zh) 2020-11-20 2020-11-20 事故检测方法、电子设备及存储介质

Country Status (3)

Country Link
EP (1) EP4229547A4 (zh)
CN (1) CN112446316B (zh)
WO (1) WO2022105517A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446316B (zh) * 2020-11-20 2022-06-07 浙江大华技术股份有限公司 事故检测方法、电子设备及存储介质
CN113762219A (zh) * 2021-11-03 2021-12-07 恒林家居股份有限公司 一种移动会议室内人物识别方法、系统和存储介质
CN115376311A (zh) * 2022-07-08 2022-11-22 济南瑞源智能城市开发有限公司 一种针对隧道的车辆态势分析方法及设备
CN114913470B (zh) * 2022-07-11 2022-10-28 浙江大华技术股份有限公司 一种事件检测方法及装置
CN115662112A (zh) * 2022-09-30 2023-01-31 南京市德赛西威汽车电子有限公司 一种碰撞事件处理方法，处理系统，路侧单元和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4480299B2 (ja) * 2001-06-21 2010-06-16 富士通マイクロエレクトロニクス株式会社 移動体を含む画像の処理方法及び装置
CN101105892A (zh) * 2007-07-30 2008-01-16 深圳市融合视讯科技有限公司 一种车辆交通事故的自动检测方法
CN102496000B (zh) * 2011-11-14 2013-05-08 电子科技大学 一种城市交通事故检测方法
CN103258432B (zh) * 2013-04-19 2015-05-27 西安交通大学 基于视频的交通事故自动识别处理方法和系统
CN104183127B (zh) * 2013-05-21 2017-02-22 北大方正集团有限公司 交通监控视频检测方法和装置
CN108510718A (zh) * 2018-05-28 2018-09-07 深圳市零度智控科技有限公司 基于大数据的报警方法、装置、终端设备及可读存储介质
CN110659551A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 运动状态的识别方法、装置及车辆
CN111369807B (zh) * 2020-03-24 2022-04-12 北京百度网讯科技有限公司 一种交通事故的检测方法、装置、设备和介质
CN111800616A (zh) * 2020-07-22 2020-10-20 多伦信息技术有限公司 一种交通事故智能检测系统
CN112446316B (zh) * 2020-11-20 2022-06-07 浙江大华技术股份有限公司 事故检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
EP4229547A1 (en) 2023-08-23
WO2022105517A1 (en) 2022-05-27
CN112446316A (zh) 2021-03-05
EP4229547A4 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
CN112446316B (zh) 事故检测方法、电子设备及存储介质
US20200290608A1 (en) Forward collision control method and apparatus, electronic device, program, and medium
US10043082B2 (en) Image processing method for detecting objects using relative motion
US10037604B2 (en) Multi-cue object detection and analysis
Lee et al. Real-time illegal parking detection in outdoor environments using 1-D transformation
CN111259878A (zh) 一种检测文本的方法和设备
CN111563516B (zh) 行人掩码与三维场景融合显示的方法、终端及存储介质
US20170103536A1 (en) Counting apparatus and method for moving objects
CN108629225B (zh) 一种基于多幅子图与图像显著性分析的车辆检测方法
CN112883768A (zh) 对象计数方法及装置、设备、存储介质
CN113408413B (zh) 应急车道的识别方法、系统及装置
CN112766046B (zh) 一种目标检测方法及相关装置
CN111507126A (zh) 一种驾驶辅助系统的报警方法、装置及电子设备
Ashraf et al. HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation
CN111931745B (zh) 车辆检测方法、装置、电子设备及存储介质
Kim et al. Small object detection (SOD) system for comprehensive construction site safety monitoring
CN113689493A (zh) 镜头附着物检测方法、装置、电子设备和存储介质
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及系统
CN110889352A (zh) 图像模糊化处理方法、计算机装置及计算机可读存储介质
CN114419531A (zh) 目标检测方法、目标检测系统以及计算机可读存储介质
KR101432727B1 (ko) 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
Garg et al. Low complexity techniques for robust real-time traffic incident detection
Dang et al. A Vision Based System Design for Over-Sized Vessel Detecting and Warning Using Convolutional Neural Network
Lee et al. Energy constrained forward collision warning system with a single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant