CN111860383B - 一种群体异常行为识别方法、装置、设备及存储介质 - Google Patents

一种群体异常行为识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111860383B
CN111860383B CN202010732152.6A CN202010732152A CN111860383B CN 111860383 B CN111860383 B CN 111860383B CN 202010732152 A CN202010732152 A CN 202010732152A CN 111860383 B CN111860383 B CN 111860383B
Authority
CN
China
Prior art keywords
vehicle
clustering
sequence
identified
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010732152.6A
Other languages
English (en)
Other versions
CN111860383A (zh
Inventor
杨元峰
刘昭斌
刘刚
张量
鲜学丰
钟卫铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Vocational University
Original Assignee
Suzhou Vocational University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vocational University filed Critical Suzhou Vocational University
Priority to CN202010732152.6A priority Critical patent/CN111860383B/zh
Publication of CN111860383A publication Critical patent/CN111860383A/zh
Application granted granted Critical
Publication of CN111860383B publication Critical patent/CN111860383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种群体异常行为识别方法，通过先将待识别视频流所对应的监控场景划分成多个语义区域，将待识别视频流中各个时间点的图像中，对应同一语义区域的车辆进行聚类得到车辆聚类信息，之后根据该车辆聚类信息构建的群体运动聚类列表中，可以反映出沿时间点的先后顺序各个车辆经过语义区域的顺序，即该时间段的待识别行为模式组合，待识别行为模式组合包括该时间段内同时存在的多种轨迹。通过待识别行为模式组合可以反映出一段时间内同时存在的多种轨迹，通过该待识别行为模式组合可是识别出是否有行为异常的车辆。本发明还提供了一种群体异常行为识别装置、一种群体异常行为识别设备以及一种计算机可读存储介质，同样具有上述有益效果。

Description

一种群体异常行为识别方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，特别是涉及一种群体异常行为识别方法、一种群体异常行为识别装置、一种群体异常行为识别设备以及一种计算机可读存储介质。
背景技术
随着城市化的快速发展，车辆数量急剧增加，城市交通拥堵、交通事故等一系列问题日趋严重，并已成为影响城市可持续发展的障碍。各种交通违法行为仍然是引发道路交通事故的主要原因，而交通事故的发生又会加剧交通拥堵状况。因此，通过视频监控的形式对交通道路上发生异常事故和行为异常的车辆进行有效的检测和实时监控显得尤为重要。
目前常用的异常行为识别方法首先从训练样本中学习运动目标的行为模型；然后将待识别的运动目标的行为与已经学习好的行为模型进行模式匹配，如果待识别的运动目标的行为与模型之间的差异较大，相应的行为将被视为异常行为。
然而，已有的方法中仅能对单个运动目标的异常行为进行识别。在存在多种行为模式的复杂的监控场景中，当这些行为分别单独与已经学习好的行为模型进行模式匹配时，可能都会被识别为正常的行为；然而，从整个场景中考虑，这些行为不能同时共存，其中的部分行为应该被识别为异常行为。现有的方法不能识别这种复杂场景中的异常行为。所以如何提供一种群体异常行为识别方法是本领域技术人员急需解决的问题。
发明内容
本发明的目的是提供一种群体异常行为识别方法，可以识别复杂场景中的异常行为；本发明的另一目的在于提供一种群体异常行为识别装置、一种群体异常行为识别设备以及一种计算机可读存储介质，可以识别复杂场景中的异常行为。
为解决上述技术问题，本发明提供一种群体异常行为识别方法，包括：
获取待识别视频流；
将所述待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息；所述待识别视频流内预设有多个所述时间点，任一所述图像内划分有多个所述语义区域，所述语义区域为所述待识别视频流中具有同类运动轨迹的区域；
根据所述车辆聚类信息构建群体运动聚类列表；所述群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，所述关键车辆集合包括相邻所述时间点之间满足结构相似度条件的车辆聚类信息的交集，所述车辆聚类序列包括沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息；
将所述车辆聚类序列转换为语义区域序列，得到待识别行为模式组合；所述语义区域序列为所述关键车辆集合对应车辆在所述待识别视频流内经过所述语义区域的顺序；
根据所述待识别行为模式组合确定异常行为车辆。
可选的，所述根据所述车辆聚类信息构建群体运动聚类列表包括：
计算相邻所述时间点对应的图像中任两所述车辆聚类信息之间的结构相似度；
当所述结构相似度不小于所述结构相似度阈值时，将两所述车辆聚类信息的交集插入所述群体运动聚类列表作为一所述关键车辆集合，并将沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息作为一所述车辆聚类序列；
当所述结构相似度小于所述结构相似度阈值时，将两所述车辆聚类信息中对应最新时间点的车辆聚类信息插入所述群体运动聚类列表作为一所述关键车辆集合，并将对应的车辆聚类信息作为一所述车辆聚类序列。
可选的，在所述将所述车辆聚类序列转换为语义区域序列之后，还包括：
删除每个所述语义区域序列中重复所述语义区域的编号。
可选的，所述根据所述待识别行为模式组合确定异常行为车辆包括：
将所述待识别行为模式组合与标准行为模式组合进行对比，得到异常语义区域序列，并根据所述异常语义区域序列对应的关键车辆集合确定异常行为车辆。
可选的，相邻所述时间点之间的时间间隔相同。
可选的，还包括：
获取训练视频流；所述训练视频流与所述待识别视频流对应同一监控场景；
将所述监控场景划分为多个单元格；
对所述训练视频流中车辆进行跟踪，得到车辆运动轨迹；
对所述车辆运动轨迹进行聚类；
当任一所述单元格中经过的所述车辆运动轨迹归属于同一聚类类别的比例大于比例阈值时，标注对应所述聚类类别的标识信息；
将对应同一所述标识信息的单元格合并为所述语义区域。
可选的，所述对所述车辆运动轨迹进行聚类包括：
通过谱聚类模型对所述车辆运动轨迹进行聚类。
本发明还提供了一种群体异常行为识别装置，包括：
第一获取模块：用于获取待识别视频流；
第一聚类模块：用于将所述待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息；所述待识别视频流内预设有多个所述时间点，任一所述图像内划分有多个所述语义区域，所述语义区域为所述待识别视频流中具有同类运动轨迹的区域；
列表构建模块：用于根据所述车辆聚类信息构建群体运动聚类列表；所述群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，所述关键车辆集合包括相邻所述时间点之间满足结构相似度条件的车辆聚类信息的交集，所述车辆聚类序列包括沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息；
序列转换模块：用于将所述车辆聚类序列转换为语义区域序列，得到待识别行为模式组合；所述语义区域序列为所述关键车辆集合对应车辆在所述待识别视频流内经过所述语义区域的顺序；
识别模块：用于根据所述待识别行为模式组合确定异常行为车辆。
本发明还提供了一种群体异常行为识别设备，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如上述任一项所述群体异常行为识别方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述群体异常行为识别方法的步骤。
本发明所提供的一种群体异常行为识别方法，包括获取待识别视频流；将视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息；视频流内预设有多个时间点，任一图像内划分有多个语义区域，语义区域为视频流中具有同类运动轨迹的区域；根据车辆聚类信息构建群体运动聚类列表；群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，关键车辆集合包括相邻时间点之间满足结构相似度条件的车辆聚类信息的交集，车辆聚类序列包括沿时间点先后顺序排列的关键车辆集合所对应的车辆聚类信息；将车辆聚类序列转换为语义区域序列，得到待识别行为模式组合；语义区域序列为关键车辆集合对应车辆在视频流内经过语义区域的顺序；根据待识别行为模式组合确定异常行为车辆。
通过先将待识别视频流所对应的监控场景划分成多个语义区域，将待识别视频流中各个时间点的图像中，对应同一语义区域的车辆进行聚类得到车辆聚类信息，之后根据该车辆聚类信息构建的群体运动聚类列表中，可以反映出沿时间点的先后顺序各个车辆经过语义区域的顺序，即该时间段的待识别行为模式组合，待识别行为模式组合包括该时间段内同时存在的多种轨迹。由于在实际车辆行驶过程中，单独一辆车的轨迹通常是符合要求的，例如车辆闯红灯的轨迹实质上也与正常行驶车辆的轨迹相同。但是闯红灯的轨迹与其他正常行驶车辆的轨迹相组合时，该组合则于正常行驶轨迹的组合产生差别。在本申请中通过待识别行为模式组合可以反映出一段时间内同时存在的多种轨迹，通过该待识别行为模式组合可是识别出是否有行为异常的车辆。
本发明还提供了一种群体异常行为识别装置、一种群体异常行为识别设备以及一种计算机可读存储介质，同样具有上述有益效果，在此不再进行赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种群体异常行为识别方法的流程图；
图2为本发明实施例所提供的一种具体的群体异常行为识别方法的流程图；
图3为本发明实施例所提供的一种群体异常行为识别装置的结构框图；
图4为本发明实施例所提供的一种群体异常行为识别设备的结构框图。
具体实施方式
本发明的核心是提供一种群体异常行为识别方法。在现有技术中，已有的方法中仅能对单个运动目标的异常行为进行识别。在存在多种行为模式的复杂的监控场景中，当这些行为分别单独与已经学习好的行为模型进行模式匹配时，可能都会被识别为正常的行为；然而，从整个场景中考虑，这些行为不能同时共存，其中的部分行为应该被识别为异常行为。现有的方法不能识别这种复杂场景中的异常行为。
而本发明所提供的一种群体异常行为识别方法，通过先将待识别视频流所对应的监控场景划分成多个语义区域，将待识别视频流中各个时间点的图像中，对应同一语义区域的车辆进行聚类得到车辆聚类信息，之后根据该车辆聚类信息构建的群体运动聚类列表中，可以反映出沿时间点的先后顺序各个车辆经过语义区域的顺序，即该时间段的待识别行为模式组合，待识别行为模式组合包括该时间段内同时存在的多种轨迹。由于在实际车辆行驶过程中，单独一辆车的轨迹通常是符合要求的，例如车辆闯红灯的轨迹实质上也与正常行驶车辆的轨迹相同。但是闯红灯的轨迹与其他正常行驶车辆的轨迹相组合时，该组合则于正常行驶轨迹的组合产生差别。在本申请中通过待识别行为模式组合可以反映出一段时间内同时存在的多种轨迹，通过该待识别行为模式组合可是识别出是否有行为异常的车辆。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的一种群体异常行为识别方法的流程图。
参见图1，在本发明实施例中，群体异常行为识别方法包括：
S101：获取待识别视频流。
有关获取待识别视频流的具体方式可以参考现有技术，在此不再进行赘述。在本发明实施例中，待识别视频流需要对应一稳定的监控场景。相应的，本步骤中获取的待识别视频流通常为通过监控摄像头获取的目标路口或目标道路的车辆行驶视频流。
S102：将待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息。
在本发明实施例中，所述待识别视频流内预设有多个所述时间点，任一所述图像内划分有多个所述语义区域，所述语义区域为所述待识别视频流中具有同类运动轨迹的区域。
在本发明实施例中，首选需要在视频流内设置多个时间点，进而获取视频流在各个时间点的图像，每个时间点的图像中通常包括有预先训练得到的语义区域，以及在各个语义区域内分布的车辆。上述语义区域通常会将监控场景划分成多个区域，而语义区域即监控场景中具有同类运动轨迹的区域。有关语义区域的划分将在下述发明实施例中做详细介绍，在此不再进行赘述。
在本步骤中，会将待识别视频流中，各个时间点的图像，位于同一语义区域的车辆进行聚类，得到车辆聚类信息，有关将同一语义区域的车辆进行聚类具体方法可以参考现有技术，在此不再进行赘述。有关车辆聚类信息的具体内容将在下述发明实施例中做详细介绍，在此不再进行赘述。
通常情况下，相邻所述时间点之间的时间间隔相同，即上述时间点通常均匀分布在待识别视频流的时间轴中。
S103：根据车辆聚类信息构建群体运动聚类列表。
在本发明实施例中，所述群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，所述关键车辆集合包括相邻所述时间点之间满足结构相似度条件的车辆聚类信息的交集，所述车辆聚类序列包括沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息。
在本步骤中，首先会计算相邻时间点所对应的图像之间，各个车辆聚类信息的结构相似度，并根据该结构相似度构建群体运动聚类列表。其中，会将满足结构相似度条件的车辆聚类信息的交集作为关键车辆集合，并将该交集对应的车辆聚类信息按时间点的先后顺序进行排列得到该关键车辆集合所对应的车辆聚类序列。上述关键车辆集合可以理解为相邻时间点之间的相同车辆，而该关键车辆集合对应的车辆聚类序列可以表示为该车辆经过语义区域的顺序。有关群体运动聚类列表的具体形式将在下述发明实施例中做详细介绍，在此不再进行赘述。
S104：将车辆聚类序列转换为语义区域序列，得到待识别行为模式组合。
在本发明实施例中，所述语义区域序列为所述关键车辆集合对应车辆在所述待识别视频流内经过所述语义区域的顺序。其中，任一语义区域序列可以表示为一类车辆在监控场景中大致的运动轨迹，即行为模式，而上述待识别行为模式组合包括在同一时间段内，即由上述各个时间点所对应的时间段内同时存在的运动轨迹。
S105：根据待识别行为模式组合确定异常行为车辆。
具体的，在本步骤中，通常需要将所述待识别行为模式组合与标准行为模式组合进行对比，得到异常语义区域序列，并根据所述异常语义区域序列对应的关键车辆集合确定异常行为车辆。上述标准行为模式组合即预先训练出的，没有异常的行为模式组合。再将待识别行为模式组合与标准行为模式组合想对比可以看出待识别行为模式组合中，是否存在异常语义区域序列，即在同一时刻本不应该出现在行为模式组合中的语义区域序列。若存在，则可以根据该异常语义区域序列所对应的关键车辆集合确定异常行为车辆，通常会对该异常行为车辆进行跟踪锁定。上述标准行为模式组合即预先通过训练视频流，或标准视频流训练得到的行为模式组合，该标准行为模式组合的生成过程与上述待识别行为模式组合的生成过程基本相同，可以参考上述S102至S104，其区别仅仅是所使用视频流不同。
本发明实施例所提供的一种群体异常行为识别方法，通过先将待识别视频流所对应的监控场景划分成多个语义区域，将待识别视频流中各个时间点的图像中，对应同一语义区域的车辆进行聚类得到车辆聚类信息，之后根据该车辆聚类信息构建的群体运动聚类列表中，可以反映出沿时间点的先后顺序各个车辆经过语义区域的顺序，即该时间段的待识别行为模式组合，待识别行为模式组合包括该时间段内同时存在的多种轨迹。由于在实际车辆行驶过程中，单独一辆车的轨迹通常是符合要求的，例如车辆闯红灯的轨迹实质上也与正常行驶车辆的轨迹相同。但是闯红灯的轨迹与其他正常行驶车辆的轨迹相组合时，该组合则于正常行驶轨迹的组合产生差别。在本申请中通过待识别行为模式组合可以反映出一段时间内同时存在的多种轨迹，通过该待识别行为模式组合可是识别出是否有行为异常的车辆。
有关本发明所提供的一种群体异常行为识别方法的具体内容将在下述发明实施例中做详细介绍。
请参考图2，图2为本发明实施例所提供的一种具体的群体异常行为识别方法的流程图。
参见图2，在本发明实施例中，群体异常行为识别方法包括：
S201：获取训练视频流。
在本发明实施例中，所述训练视频流与所述待识别视频流对应同一监控场景。上述训练视频流中通常不包含有异常行为车辆，并且训练视频流与待识别视频流需要对应同一监控场景，以便通过训练视频流所划分的语义区域可以应用于待识别视频流。
S202：将监控场景划分为多个单元格。
有关单元格的具体大小以及具体数目可以根据实际情况自行设定，在此不做具体限定。
S203：对训练视频流中车辆进行跟踪，得到车辆运动轨迹。
有关具体的跟踪算法，以及车辆运动轨迹的具体形式可以根据实际情况自行设定，在此不做具体限定。
S204：对车辆运动轨迹进行聚类。
具体的，在本发明实施例中，通常通过谱聚类模型对所述车辆运动轨迹进行聚类，该谱聚类模型即谱聚类算法模型，其具体步骤如下：
S1：计算任意两条轨迹间的Hausdorff距离值作为相似度值，构造轨迹数据的相似度矩阵S。
S2：构造拉普拉斯矩阵L＝D-1/2SD-1/2，其中D为对角矩阵，
S3：计算矩阵L的特征值，并对该特征值从大到小排序。
S4：提取前k个:特征值的特征向量x1，x2，…，xk，构造矩阵X＝[x1，x2，…，xk]。对X的行向量进行归一化处理，得到矩阵Y，
S5：将矩阵Y的每一行看成k维空间中的点，利用K-means将其聚成k类，由此实现对车辆轨迹序列的聚类。
当然，在本步骤中也可以选用其他聚类模型对上述车辆运动轨迹进行聚类，在本发明实施例中不做具体限定。
S205：当任一单元格中经过的车辆运动轨迹归属于同一聚类类别的比例大于比例阈值时，标注对应聚类类别的标识信息。
在本步骤中，如果经过单元格的归属于某一聚类类别C的车辆运动轨迹的数量，占所有经过此单元格的车辆轨迹数量的比例，大于比例阈值T，则在本步骤中会标注此单元格编号为C，C＝1，2，…，k。每个单元格有0个或多个编号，该编号即单元格的标识信息。
S206：将对应同一标识信息的单元格合并为语义区域。
在本步骤中，通常需要将分割好的语义区域进行编号，其通常形如C1，C2，...，Cm，其中m是语义区域的数目。
上述S201至S206即在监控场景中划分语义区域的步骤，上述S201至S206通常只在识别异常行为之前执行，不与下述步骤同时执行。
S207：获取待识别视频流。
S208：将待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息。
上述S207至S208与上述发明实施例中S101至S102基本一致，详细内容已在上述发明实施例中做详细介绍。在本步骤中，在同一时间点内得到的车辆聚类信息的集合可以表示为：其中：/> 表示在时间点ti的第j个车辆聚类内的车辆集合，n是该集合内的车辆数，ojv表示第j个车辆聚类内的车辆v，m对应的是语义区域的数目。
S209：计算相邻时间点对应的图像中任两车辆聚类信息之间的结构相似度。
在本发明实施例中，按时间的先后顺序，对应第一个时间点的群体运动聚类列表，即初始群体运动聚类列表中包括有群体运动聚类群体运动聚类形式化表示为<S，G>，其中，S是关键车辆集合，G是车辆聚类序列。
在本发明实施例中，通常会按照时间点的先后顺序依次计算待识别视频流中相邻时间点所对应图像之间，任两车辆聚类信息之间的结构相似度，然后根据计算得到的结构相似度结果对应执行下述S210或S211。通常情况下，在每计算完一时间点所对应的图像之后，会执行下述S210或S211，并重新循环至本步骤计算下一时间点所对应图像之间的结构相似度，直至计算完成全部时间点所对应的图像。
在本步骤中，在时间点ti(i≥2)，以下述公式计算时间点ti-1和ti上的任意两个车辆聚类信息和/>的相似度：
其中，表示车辆聚类信息/>和/>的交集车辆数量；/>表示车辆聚类信息/>和/>的并集车辆数量。
S210：当结构相似度不小于结构相似度阈值时，将两车辆聚类信息的交集插入群体运动聚类列表作为一关键车辆集合，并将沿时间点先后顺序排列的关键车辆集合所对应的车辆聚类信息作为一车辆聚类序列。
若在时间点ti(i≥2)，结构相似度本步骤中则将/>作为群体运动聚类插入至群体运动聚类列表中，其中/>表示关键车辆集合，/>表示其对应的车辆聚类序列，θ是结构相似度阈值。有关该结构相似度阈值的具体数值可以根据实际情况自行设定，在此不做具体限定。
具体的，在时间点ti+1(i≥2)，如果则需要将作为群体运动聚类插入至群体运动聚类列表中，同时在群体运动聚类列表中删除/>
S211：当结构相似度小于结构相似度阈值时，将两车辆聚类信息中对应最新时间点的车辆聚类信息插入群体运动聚类列表作为一关键车辆集合，并将对应的车辆聚类信息作为一车辆聚类序列。
反之，若在时间点ti(i≥2)，上述结构相似度时，需要将作为群体运动聚类插入至建群体运动聚类列表中。其中，其中/>表示关键车辆集合，/>表示其对应的车辆聚类序列。
若在时间点ti+1(i≥2)，时，需要将/>作为群体运动聚类插入至列表L中。
S212：将车辆聚类序列转换为语义区域序列。
在本步骤中，具体会提取群体运动聚类列表中各个群体运动聚类，将形如的车辆聚类序列输出为语义区域序列/>其中ψ为任一车辆聚类序列对应的车辆聚类信息的数量。
S213：删除每个语义区域序列中重复语义区域的编号，得到待识别行为模式组合。
在本步骤中，由于在相邻时间点内，对应车辆可能没有驶出所在的语义区域，相应的在语义区域序列中会存在大量重复的语义区域。在本步骤中，需要删除每个语义区域序列中重复语义区域的编号，即删除每个语义区域序列中的重复项，从而精简语义区域序列。
S214：根据待识别行为模式组合确定异常行为车辆。
本步骤与上述S105基本一致，详细内容请参考上述发明实施例，在此不再进行赘述。
本发明实施例所提供的一种群体异常行为识别方法，通过待识别行为模式组合可以反映出一段时间内同时存在的多种轨迹，通过该待识别行为模式组合可是识别出是否有行为异常的车辆。
下面对本发明实施例所提供的一种群体异常行为识别装置进行介绍，下文描述的群体异常行为识别装置与上文描述的群体异常行为识别方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的一种群体异常行为识别装置的结构框图。
参见图3，在本发明实施例中，群体异常行为识别装置可以包括：
第一获取模块100：用于获取待识别视频流。
第一聚类模块200：用于将所述待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息；所述待识别视频流内预设有多个所述时间点，任一所述图像内划分有多个所述语义区域，所述语义区域为所述待识别视频流中具有同类运动轨迹的区域。
列表构建模块300：用于根据所述车辆聚类信息构建群体运动聚类列表；所述群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，所述关键车辆集合包括相邻所述时间点之间满足结构相似度条件的车辆聚类信息的交集，所述车辆聚类序列包括沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息。
序列转换模块400：用于将所述车辆聚类序列转换为语义区域序列，得到待识别行为模式组合；所述语义区域序列为所述关键车辆集合对应车辆在所述待识别视频流内经过所述语义区域的顺序。
识别模块500：用于根据所述待识别行为模式组合确定异常行为车辆。
作为优选的，在本发明实施例中，所述列表构建模块300包括：
结构相似度单元：用于计算相邻所述时间点对应的图像中任两所述车辆聚类信息之间的结构相似度。
第一添加单元：用于当所述结构相似度不小于所述结构相似度阈值时，将两所述车辆聚类信息的交集插入所述群体运动聚类列表作为一所述关键车辆集合，并将沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息作为一所述车辆聚类序列；
第二添加单元：用于当所述结构相似度小于所述结构相似度阈值时，将两所述车辆聚类信息中对应最新时间点的车辆聚类信息插入所述群体运动聚类列表作为一所述关键车辆集合，并将对应的车辆聚类信息作为一所述车辆聚类序列。
作为优选的，在本发明实施例中，还包括：
删除模块：用于删除每个所述语义区域序列中重复所述语义区域的编号。
作为优选的，在本发明实施例中，识别模块500具体用于：
将所述待识别行为模式组合与标准行为模式组合进行对比，得到异常语义区域序列，并根据所述异常语义区域序列对应的关键车辆集合确定异常行为车辆。
作为优选的，在本发明实施例中，相邻所述时间点之间的时间间隔相同。
作为优选的，在本发明实施例中，还包括：
第二获取模块：用于获取训练视频流；所述训练视频流与所述待识别视频流对应同一监控场景。
划分模块：用于将所述监控场景划分为多个单元格。
跟踪模块：用于对所述训练视频流中车辆进行跟踪，得到车辆运动轨迹。
第二聚类模块：用于对所述车辆运动轨迹进行聚类。
标识模块：用于当任一所述单元格中经过的所述车辆运动轨迹归属于同一聚类类别的比例大于比例阈值时，标注对应所述聚类类别的标识信息。
合并模块：用于将对应同一所述标识信息的单元格合并为所述语义区域。
作为优选的，在本发明实施例中，所述第二聚类模块具体用于：
通过谱聚类模型对所述车辆运动轨迹进行聚类。
本实施例的群体异常行为识别装置用于实现前述的群体异常行为识别方法，因此群体异常行为识别装置中的具体实施方式可见前文中群体异常行为识别方法的实施例部分，例如，第一获取模块100，第一聚类模块200，列表构建模块300，序列转换模块400，识别模块500分别用于实现上述群体异常行为识别方法中步骤S101，S102，S103，S104以及S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
下面对本发明实施例提供的一种群体异常行为识别设备进行介绍，下文描述的群体异常行为识别设备与上文描述的群体异常行为识别方法以及群体异常行为识别装置可相互对应参照。
请参考图4，图4为本发明实施例所提供的一种群体异常行为识别设备的结构框图。
参照图4，该群体异常行为识别设备可以包括处理器11和存储器12。
所述存储器12用于存储计算机程序；所述处理器11用于执行所述计算机程序时实现上述发明实施例中所述的群体异常行为识别方法。
本实施例的群体异常行为识别设备中处理器11用于安装上述发明实施例中所述的群体异常行为识别装置，同时处理器11与存储器12相结合可以实现上述任一发明实施例中所述的群体异常行为识别方法。因此群体异常行为识别设备中的具体实施方式可见前文中的群体异常行为识别方法的实施例部分，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的一种群体异常行为识别方法。其余内容可以参照现有技术，在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种群体异常行为识别方法、一种群体异常行为识别装置、一种群体异常行为识别设备以及一种计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种群体异常行为识别方法，其特征在于，包括：
获取待识别视频流；
将所述待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息；所述待识别视频流内预设有多个所述时间点，任一所述图像内划分有多个所述语义区域，所述语义区域为所述待识别视频流中具有同类运动轨迹的区域；
根据所述车辆聚类信息构建群体运动聚类列表；所述群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，所述关键车辆集合包括相邻所述时间点之间满足结构相似度条件的车辆聚类信息的交集，所述车辆聚类序列包括沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息；
将所述车辆聚类序列转换为语义区域序列，得到待识别行为模式组合；所述语义区域序列为所述关键车辆集合对应车辆在所述待识别视频流内经过所述语义区域的顺序；
根据所述待识别行为模式组合确定异常行为车辆；
所述根据所述车辆聚类信息构建群体运动聚类列表包括：
计算相邻所述时间点对应的图像中任两所述车辆聚类信息之间的结构相似度；
当所述结构相似度不小于所述结构相似度阈值时，将两所述车辆聚类信息的交集插入所述群体运动聚类列表作为一所述关键车辆集合，并将沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息作为一所述车辆聚类序列；
当所述结构相似度小于所述结构相似度阈值时，将两所述车辆聚类信息中对应最新时间点的车辆聚类信息插入所述群体运动聚类列表作为一所述关键车辆集合，并将对应的车辆聚类信息作为一所述车辆聚类序列；
所述根据所述待识别行为模式组合确定异常行为车辆包括：
将所述待识别行为模式组合与标准行为模式组合进行对比，得到异常语义区域序列，并根据所述异常语义区域序列对应的关键车辆集合确定异常行为车辆；
还包括：
获取训练视频流；所述训练视频流与所述待识别视频流对应同一监控场景；
将所述监控场景划分为多个单元格；
对所述训练视频流中车辆进行跟踪，得到车辆运动轨迹；
对所述车辆运动轨迹进行聚类；
当任一所述单元格中经过的所述车辆运动轨迹归属于同一聚类类别的比例大于比例阈值时，标注对应所述聚类类别的标识信息；
将对应同一所述标识信息的单元格合并为所述语义区域。
2.根据权利要求1所述的方法，其特征在于，在所述将所述车辆聚类序列转换为语义区域序列之后，还包括：
删除每个所述语义区域序列中重复所述语义区域的编号。
3.根据权利要求1所述的方法，其特征在于，相邻所述时间点之间的时间间隔相同。
4.根据权利要求1所述的方法，其特征在于，所述对所述车辆运动轨迹进行聚类包括：
通过谱聚类模型对所述车辆运动轨迹进行聚类。
5.一种群体异常行为识别装置，其特征在于，包括：
第一获取模块：用于获取待识别视频流；
第一聚类模块：用于将所述待识别视频流在预设时间点的图像中，位于同一语义区域内的车辆进行聚类，得到车辆聚类信息；所述待识别视频流内预设有多个所述时间点，任一所述图像内划分有多个所述语义区域，所述语义区域为所述待识别视频流中具有同类运动轨迹的区域；
列表构建模块：用于根据所述车辆聚类信息构建群体运动聚类列表；所述群体运动聚类列表包括关键车辆集合和车辆聚类序列之间的对应关系，所述关键车辆集合包括相邻所述时间点之间满足结构相似度条件的车辆聚类信息的交集，所述车辆聚类序列包括沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息；
序列转换模块：用于将所述车辆聚类序列转换为语义区域序列，得到待识别行为模式组合；所述语义区域序列为所述关键车辆集合对应车辆在所述待识别视频流内经过所述语义区域的顺序；
识别模块：用于根据所述待识别行为模式组合确定异常行为车辆；
所述列表构建模块包括：
结构相似度单元：用于计算相邻所述时间点对应的图像中任两所述车辆聚类信息之间的结构相似度；
第一添加单元：用于当所述结构相似度不小于所述结构相似度阈值时，将两所述车辆聚类信息的交集插入所述群体运动聚类列表作为一所述关键车辆集合，并将沿所述时间点先后顺序排列的所述关键车辆集合所对应的车辆聚类信息作为一所述车辆聚类序列；
第二添加单元：用于当所述结构相似度小于所述结构相似度阈值时，将两所述车辆聚类信息中对应最新时间点的车辆聚类信息插入所述群体运动聚类列表作为一所述关键车辆集合，并将对应的车辆聚类信息作为一所述车辆聚类序列；
识别模块具体用于：
将所述待识别行为模式组合与标准行为模式组合进行对比，得到异常语义区域序列，并根据所述异常语义区域序列对应的关键车辆集合确定异常行为车辆；
还包括：
第二获取模块：用于获取训练视频流；所述训练视频流与所述待识别视频流对应同一监控场景；
划分模块：用于将所述监控场景划分为多个单元格；
跟踪模块：用于对所述训练视频流中车辆进行跟踪，得到车辆运动轨迹；
第二聚类模块：用于对所述车辆运动轨迹进行聚类；
标识模块：用于当任一所述单元格中经过的所述车辆运动轨迹归属于同一聚类类别的比例大于比例阈值时，标注对应所述聚类类别的标识信息；
合并模块：用于将对应同一所述标识信息的单元格合并为所述语义区域。
6.一种群体异常行为识别设备，其特征在于，所述设备包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序时实现如权利要求1至4任一项所述群体异常行为识别方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述群体异常行为识别方法的步骤。
CN202010732152.6A 2020-07-27 2020-07-27 一种群体异常行为识别方法、装置、设备及存储介质 Active CN111860383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010732152.6A CN111860383B (zh) 2020-07-27 2020-07-27 一种群体异常行为识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010732152.6A CN111860383B (zh) 2020-07-27 2020-07-27 一种群体异常行为识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111860383A CN111860383A (zh) 2020-10-30
CN111860383B true CN111860383B (zh) 2023-11-10

Family

ID=72947290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010732152.6A Active CN111860383B (zh) 2020-07-27 2020-07-27 一种群体异常行为识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111860383B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238834B (zh) * 2022-09-22 2022-12-09 中国测绘科学研究院 一种基于轨迹数据的用户群体时空异常模式识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334845A (zh) * 2007-06-27 2008-12-31 中国科学院自动化研究所 一种基于轨迹序列分析和规则归纳的视频行为识别方法
CN102054176A (zh) * 2010-12-23 2011-05-11 中国科学院自动化研究所 用计算机对运动目标的场景图像建立语义场景模型的方法
CN108986474A (zh) * 2018-08-01 2018-12-11 平安科技（深圳）有限公司 交通事故的定责方法、装置、计算机设备及计算机存储介质
CN109643367A (zh) * 2016-07-21 2019-04-16 御眼视觉技术有限公司 用于自主车辆导航的众包和分发稀疏地图以及车道测量
CN110059807A (zh) * 2019-04-26 2019-07-26 腾讯科技（深圳）有限公司 图像处理方法、装置和存储介质
CN111311010A (zh) * 2020-02-22 2020-06-19 中国平安财产保险股份有限公司 车辆风险预测方法、装置、电子设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140024999A1 (en) * 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device utilization methods and systems
US10593108B2 (en) * 2017-10-31 2020-03-17 Skycatch, Inc. Converting digital aerial images into a three-dimensional representation utilizing processing clusters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334845A (zh) * 2007-06-27 2008-12-31 中国科学院自动化研究所 一种基于轨迹序列分析和规则归纳的视频行为识别方法
CN102054176A (zh) * 2010-12-23 2011-05-11 中国科学院自动化研究所 用计算机对运动目标的场景图像建立语义场景模型的方法
CN109643367A (zh) * 2016-07-21 2019-04-16 御眼视觉技术有限公司 用于自主车辆导航的众包和分发稀疏地图以及车道测量
CN108986474A (zh) * 2018-08-01 2018-12-11 平安科技（深圳）有限公司 交通事故的定责方法、装置、计算机设备及计算机存储介质
CN110059807A (zh) * 2019-04-26 2019-07-26 腾讯科技（深圳）有限公司 图像处理方法、装置和存储介质
CN111311010A (zh) * 2020-02-22 2020-06-19 中国平安财产保险股份有限公司 车辆风险预测方法、装置、电子设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cluster Based Semantic Data Aggregation in VANETs;S. Koyamparambil Mammu 等;《2015 IEEE 29th International Conference on Advanced Information Networking and Applications》;747-753 *
基于RFID位置语义的室内移动轨迹聚类算法;夏英 等;《重庆邮电大学学报（自然科学版）》;第30卷(第03期);383-389 *

Also Published As

Publication number Publication date
CN111860383A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN109558823B (zh) 一种以图搜图的车辆识别方法及系统
CN111753985B (zh) 基于神经元覆盖率的图像深度学习模型测试方法与装置
Jiang et al. Abnormal event detection from surveillance video by dynamic hierarchical clustering
CN102385705B (zh) 利用多特征自动集群法的异常行为侦测系统与方法
CN111310583A (zh) 一种基于改进的长短期记忆网络的车辆异常行为识别方法
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
CN110288823B (zh) 一种基于朴素贝叶斯网络的交通违章误判识别方法
CN111524350B (zh) 车路协同异常行驶状况检测方法、系统、终端设备及介质
CN111274886B (zh) 一种基于深度学习的行人闯红灯违法行为分析方法及系统
CN112732905B (zh) 一种基于知识图谱的交通事故分析与防控方法及系统
CN111860383B (zh) 一种群体异常行为识别方法、装置、设备及存储介质
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
BARODI et al. Improved deep learning performance for real-time traffic sign detection and recognition applicable to intelligent transportation systems
CN111724607B (zh) 转向灯使用检测方法、装置、计算机设备和存储介质
CN111210634B (zh) 智能交通信息处理方法、装置、智能交通系统及服务器
CN114023085B (zh) 一种基于卡口检测数据的交叉口信号配时参数推断方法
Van Hinsbergh et al. Vehicle point of interest detection using in-car data
CN115187886A (zh) 一种车辆违规行为检测方法、装置及电子设备
Haryono et al. Accuracy in Object Detection Based on Image Processing at the Implementation of Motorbike Parking on the Street
CN113673332A (zh) 对象识别方法、装置以及计算机可读存储介质
CN114627646B (zh) 一种基于车牌识别数据的路段交通流模式识别方法及系统
CN112115996B (zh) 图像数据的处理方法、装置、设备及存储介质
Yasamorn et al. Object Detection of Pedestrian Crossing Accident Using Deep Convolutional Neural Networks
KR102624702B1 (ko) 자동차 번호 인식 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant