CN112016413B - 对象间异常行为的检测方法及装置 - Google Patents

对象间异常行为的检测方法及装置 Download PDF

Info

Publication number
CN112016413B
CN112016413B CN202010814904.3A CN202010814904A CN112016413B CN 112016413 B CN112016413 B CN 112016413B CN 202010814904 A CN202010814904 A CN 202010814904A CN 112016413 B CN112016413 B CN 112016413B
Authority
CN
China
Prior art keywords
image
objects
region
frame sequence
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010814904.3A
Other languages
English (en)
Other versions
CN112016413A (zh
Inventor
朱文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Leading Technology Co Ltd
Original Assignee
Nanjing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Technology Co Ltd filed Critical Nanjing Leading Technology Co Ltd
Priority to CN202010814904.3A priority Critical patent/CN112016413B/zh
Publication of CN112016413A publication Critical patent/CN112016413A/zh
Application granted granted Critical
Publication of CN112016413B publication Critical patent/CN112016413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种对象间异常行为的检测方法及装置。分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和对象区域的位置信息；根据获取的对象区域的位置信息，计算每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；若存在目标区域相似度大于预设第一阈值，则确定目标区域相似度对应的两个对象区域为相同对象的对象区域；相应的，计算每帧图像中每两个对象的对象区域的区域重合度；若待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定待识别图像帧序列存在对象间的异常行为。该方法提高了检测效率，以及检测准确度。

Description

对象间异常行为的检测方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种对象间异常行为的检测方法及装置。
背景技术
随着计算机技术、通讯技术与图像处理技术的发展，视频监控已经在各种应用场合得到广泛应用。目前网约车系统、公交系统等乘车系统，虽然都越来越重视视频监控，但只是事件发生后调取视频进行取证。然而，现有的视频监控不能在对象间的异常行为发生时对该事件进行自动分析与报警。对象间的异常行为可以是对象间的肢体冲突事件。
发明内容
本申请实施例提供一种对象间异常行为的检测方法及装置，解决了现有技术存在的上述问题，以实现对对象间异常行为的实时检测，提高了检测效率和检测准确度。
第一方面，提供了一种对象间异常行为的检测方法，该方法可以包括：
分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，所述每帧图像包括至少两个对象；
根据获取的对象区域的位置信息，计算所述每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；
若计算出的区域相似度中存在大于预设第一阈值的目标区域相似度，则确定所述目标区域相似度对应的两个对象区域为相同对象的对象区域；
根据获取的对象区域的位置信息，计算所述每帧图像中每两个对象的对象区域的区域重合度；
若所述待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定所述待识别图像帧序列存在对象间的异常行为。
在一个可选的实现中，分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息之前，所述方法还包括：
若检测到当前时刻的当前图像包括至少两个对象，且存在两个对象区域间的区域重合度大于预设第二阈值，则采集以所述当前时刻的下一时刻为起始时刻的预设时间段内的视频；
将所述视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。
在一个可选的实现中，确定所述待识别图像序列存在对象间的异常行为之后，所述方法还包括：
向服务器发送告警指示信息，所述告警指示信息包括存在对象间的异常行为的检测结果，以使服务器根据所述检测结果发出视频采集指令；
根据所述视频采集指令，实时采集当前视频，并实时向所述服务器发送所述当前视频。
在一个可选的实现中，分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，包括：
通过已训练的对象检测模型，分别对所述每帧图像中各对象进行对象区域检测，得到所述各对象在相应图像上的对象区域和所述对象区域的位置信息；所述位置信息包括所述对象区域的位置和相应对象区域中心点的位置；
其中，所述对象检测模型为根据包含对象的图像样本集进行迭代训练获得的。
在一个可选的实现中，所述对象检测模型的训练过程包括：
获取包含对象的图像样本集和每帧图像样本中对象的对象区域标注信息；
根据所述图像样本集，对神经网络模型进行训练，得到每帧图像样本中对象的对象区域，以及所述对象区域的位置信息；
计算所述每帧图像样本中对象的对象区域的位置信息与相应对象区域标注信息的损失值；所述损失值包括对象区域的位置损失值和相应对象区域的中心点的位置损失值；
根据所述损失值，对所述神经网络模型的模型参数进行迭代更新，训练出对象检测模型。
第二方面，提供了一种对象间异常行为的检测装置，该装置可以包括：获取单元、计算单元和确定单元；
所述获取单元，用于分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，所述每帧图像包括至少两个对象；
所述计算单元，用于根据获取的对象区域的位置信息，计算所述每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；
所述确定单元，用于若计算出的区域相似度中存在大于预设第一阈值的目标区域相似度，则确定所述目标区域相似度对应的两个对象区域为相同对象的对象区域；
所述计算单元，还用于根据获取的对象区域的位置信息，计算所述每帧图像中每两个对象的对象区域的区域重合度；
所述确定单元，还用于若所述待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定所述待识别图像帧序列存在对象间的异常行为。
在一个可选的实现中，所述装置还包括采集单元；
所述采集单元，用于若检测到当前时刻的当前图像包括至少两个对象，且存在两个对象区域间的区域重合度大于预设第二阈值，则采集以所述当前时刻的下一时刻为起始时刻的预设时间段内的视频；
所述确定单元，还用于将所述视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。
在一个可选的实现中，所述装置还包括发送单元；
所述发送单元，用于向服务器发送告警指示信息，所述告警指示信息包括存在对象间的异常行为的检测结果，以使服务器根据所述检测结果发出视频采集指令；
以及，根据所述视频采集指令，实时采集当前视频，并实时向所述服务器发送所述当前视频。
在一个可选的实现中，所述获取单元，具体用于通过已训练的对象检测模型，分别对所述各图像帧中各对象进行对象区域检测，得到所述各对象在相应图像上的对象区域和所述对象区域的位置信息；所述位置信息包括所述对象区域的位置和相应对象区域中心点的位置；
其中，所述对象检测模型为根据包含对象的图像样本集进行迭代训练获得的。
在一个可选的实现中，所述装置还包括训练单元；
所述训练单元，用于：
获取包含对象的图像样本集和每帧图像样本中对象的对象区域标注信息；
根据所述图像样本集，对神经网络模型进行训练，得到每帧图像样本中对象的对象区域，以及所述对象区域的位置信息；
计算所述每帧图像样本中对象的对象区域的位置信息与相应对象区域标注信息的损失值；所述损失值包括对象区域的位置损失值和相应对象区域的中心点的位置损失值；
根据所述损失值，对所述神经网络模型的模型参数进行迭代更新，训练出对象检测模型。
第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。
本发明实施例提供的对象间异常行为的检测方法分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和对象区域的位置信息，每帧图像包括至少两个对象；根据获取的对象区域的位置信息，计算每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；若存在目标区域相似度大于预设第一阈值，则确定目标区域相似度对应的两个对象区域为相同对象的对象区域；根据获取的对象区域的位置信息，计算每帧图像中每两个对象的对象区域的区域重合度；若待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定待识别图像帧序列存在对象间的异常行为。该方法提高了检测效率，降低人工成本，且通过对象区域间的区域重合度判断对象间是否存在异常行为，提高了检测效率和检测准确度。
附图说明
图1为本发明实施例提供的一种对象间异常行为的检测方法的流程示意图；
图2为本发明实施例提供的一种对象检测模型输出的图像示意图；
图3为本发明实施例提供的一种对象间异常行为的检测装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供的对象间异常行为的检测方法可以应用在终端上。
该终端可以是车载设备，也可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(User Equipment，UE)、手持设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备、移动台(Mobile station，MS)、移动终端(Mobile Terminal)等。该终端具备经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信的能力。
以该检测方法可以应用在车载设备中为例。当车启动时，车载安全系统的摄像设备，如硬盘录像机(Digital Video Recorder，DVR)开始工作，实时对车内环境进行采集，得到行车内的待识别图像帧序列，并输入到车载神经网络边缘计算终端(AI Box)进行对象间异常行为的检测。
判断在连续的预设数量帧图像中是否均存在相同两个对象的对象区域的区域重合度，如交并比(Intersection over Union，IoU)大于预设第二阈值，以确定待识别图像帧序列是否存在对象间异常行为，最后通过互联网协议向服务器，如运营后台发送包含检测结果的告警指示信息。也就是说，当两个对象区域在一定时间段内持续保持区域重叠状态时，确定待识别图像帧序列存在对象间异常行为。
这样，无需人工对待识别图像帧序列进行长时间监管，也能够识别出待识别图像帧序列中是否存在对象间异常行为，提高检测效率，降低人工成本，且通过对象区域间的区域重合度判断相应对象间是否存在对象间异常行为，提高了检测准确度。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1为本发明实施例提供的一种对象间异常行为的检测方法的流程示意图。如图1所示，该方法可以包括：
步骤S110、分别从待识别图像帧序列的各帧图像中检测获取各对象的对象区域和对象区域的位置信息。
在本发明实施例中，在执行该步骤之前，实时检测当前时刻的当前图像中的对象数量；
若对象数量为一个，则继续检测当前时刻的下一时刻的图像中的对象数量；
若对象数量为至少两个，则通过已训练的对象检测模型获取各对象的对象区域，并检测每两个对象区域间的区域重合度中是否存在大于预设第二阈值α的区域重合度，α的取值范围可以为[0.2，0.8]；
可选的，两个对象间的区域重合度可以表示为：
Figure GDA0003608505340000071
其中，Ri和Rj用于表示不同对象区域的面积。
当存在两个对象区域间的区域重合度大于预设第二阈值α时，触发对象间异常行为检测，并采集以当前时刻的下一时刻为起始时刻的预设时间段内的视频，并将该视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。其中，对象检测模型为根据包含对象的图像样本集进行迭代训练获得的。预设跳帧数是根据两帧图像内容变化程度是否保持在一定范围内设置的，即该两帧图像满足相同对象的对象区域的坐标变动在预设范围内。
之后，通过已训练的对象检测模型分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和对象区域的位置信息。其中，已训练的对象检测模型分别对每帧图像中各对象进行对象区域检测，得到各对象在相应图像上的对象区域，以及该对象区域的位置信息；该位置信息可以包括对象区域的位置和相应对象区域中心点的位置。对象区域中心点为该对象区域两条对角线的交点。
在一种可实现的实施例中，对象检测模型可以采用一阶检测网络，其包括18层残差卷积网络(Resnet18)作为特征提取骨干网和两个1*1卷积网络层。
一张P*Q大小的输入图像，经过Resnet18降采样率为r，得到图像大小为(P/r)*(Q/r)的处理后的图像。处理后的图像分别通过两个1*1卷积层，输出对象的对象区域预测图和该对象区域中心点热图。其中，对象区域预测图包括对象区域和对象区域的位置；对象区域中心点热图包括对象区域中心点位置。如图2所示，经对象检测模型输出的图像S包括两个对象的对象区域(虚线所示)，对象区域预测图包括虚线所示的两个对象区域，对象区域A的位置和相应对象区域中心点O1的位置可以由点A1坐标和点A2坐标确定；对象区域B的位置和相应对象区域中心点O2的位置可以由点B1坐标和点B2坐标确定。
其中，对象检测模型的训练过程可以包括：
获取包含对象的图像样本集和每个图像样本中对象的对象区域标注信息；
根据图像样本集，对神经网络模型进行训练，得到每个图像样本中对象的对象区域，以及该对象区域的位置信息；位置信息包括对象区域的位置和相应对象区域中心点的位置；
采用预设损失函数，计算每个图像样本中对象的对象区域的位置信息与相应对象区域标注信息的损失值；损失值包括对象区域的位置损失值和相应对象区域中心点的位置损失值；
预设损失函数由对象区域中心点损失L(c)和对象区域的位置损失L(s)组成，可以表示为：J＝λL(c)+L(s)；
其中，λ为平衡系数，一般取0.1～10。
对象区域中心点损失L(c)可以表示为：
Figure GDA0003608505340000091
上式中，N为预测对象个数，M为特征图像素点数，pi每个像素为对象或对象区域中心的预测概率。
对象区域的位置损失L(s)可以表示为：
Figure GDA0003608505340000092
Figure GDA0003608505340000093
上式中，si和ti分别为对象区域的位置预测概率和真实标签。
进一步的，根据损失值，对神经网络模型的模型参数进行迭代更新，训练出对象检测模型。
需要说明的是，对象检测模型还可以为Faster R-CNN、多分类单杆检测器(SingleShot MultiBox Detector，SSD)、只看一次(You Only Look Once，YOLO)等，本申请实施例中对此并不进行限制。
步骤S120、根据获取的对象区域的位置信息，检测各帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度是否大于预设第一阈值。
由于连续的相邻两帧图像的间隔时间非常小，相同对象在相邻两帧图像中的位置几乎不变，即对象区域的坐标变动微小，故为了确定连续多帧图像中是否存在相同对象，可以计算两个相邻图像中两个对象间的区域相似度。
具体的，计算第一图像中每个对象区域分别与第一图像相邻的第二图像中每个对象区域的区域相似度；
可选的，两个对象区域的区域相似度可以表示为：
Figure GDA0003608505340000094
其中，Rm和Rn用于表示不同对象区域的面积。
若区域相似度大于预设第一阈值β，则表明区域相似度对应的两个对象区域相似，故确定区域相似度对应的两个对象区域为相同对象的对象区域，由此可确定出各帧图像中各对象。其中，β的取值范围可以为[0.7，1]。
若区域相似度不大于预设第一阈值β，则确定区域相似度对应的两个对象区域为不相同对象的对象区域。
步骤S130、根据获取的对象区域的位置信息，计算连续的预设数量帧图像中每两个对象的对象区域的区域重合度，确定待识别图像帧序列是否存在对象间的异常行为。
为了实现检测的准确性，在确定各帧图像中的各对象后，进行目标跟踪，以检测连续的预设数量帧图像中是否均存在相同两个对象的对象区域的重叠。
具体的，根据获取的对象区域的位置信息，计算连续的预设数量帧图像中每两个对象的对象区域的区域重合度。
若连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则表明相同两个对象在连续的预设数量帧图像中肢体存在重叠，此时确定待识别图像帧序列存在对象间的异常行为。
否则，确定待识别图像帧序列不存在对象间的异常行为。
需要说明的是，对于相互倚靠、抱小孩等对象间的行为，由于两个对象的对象区域间的交集面积较小，并集面积较大，导致区域重合度较小，即不大于预设第二阈值α，则确定两个对象间未发生异常行为。
进一步的，在确定待识别图像序列中存在对象间的异常行为之后，还可以向服务器发送告警指示信息，告警指示信息可以包括存在对象间异常行为的检测结果，以使服务器根据检测结果发出视频采集指令；根据视频采集指令，实时采集当前视频，并实时向服务器发送当前视频。
例如，以该检测方法可以应用在车载设备中为例，在确定待识别图像序列中存在打架行为之后，AIBox可以通过互联网协议发送告警指示信息给运营平台，运营平台收到告警指示信息后，打开DVR车内摄像头推流开关，通过RTMP视频流协议实时查看车内视频，进行确认和进一步处理，避免事态升级，以避免重大的公共安全危害事件发生。
可见，该方法通过检测连续预设数量帧图像，先确定图像中的各对象，再检测相同两个对象的对象区域是否持续保持重叠，若是，则确定存在对象间异常行为。
需要说明的是，本发明实施例的对象间异常行为的检测方法也可以先确定连续预设数量帧图像中是否均存在两个对象区域持续保持重叠，若存在，再检测持续保持重叠的两个对象区域对应的对象是否是相同的两个对象，若是，则确定存在对象间异常行为。
与上述方法对应的，本发明实施例还提供一种对象间异常行为的检测装置，如图3所示，该检测装置包括：获取单元310、计算单元320和确定单元330；
获取单元310，用于分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，所述每帧图像包括至少两个对象；
计算单元320，用于根据获取的对象区域的位置信息，计算所述每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；
确定单元330，用于若计算出的区域相似度中存在大于预设第一阈值的目标区域相似度，则确定所述目标区域相似度对应的两个对象区域为相同对象的对象区域；
计算单元320，还用于根据获取的对象区域的位置信息，计算所述每帧图像中每两个对象的对象区域的区域重合度；
确定单元330，还用于若所述待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定所述待识别图像帧序列存在对象间的异常行为。
在一个可选的实现中，所述装置还包括采集单元340；
采集单元340，用于若检测到当前时刻的当前图像包括至少两个对象，且存在两个对象区域间的区域重合度大于预设第二阈值，则采集以所述当前时刻的下一时刻为起始时刻的预设时间段内的视频；
确定单元330，还用于将所述视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。
在一个可选的实现中，所述装置还包括发送单元350；
发送单元350，用于向服务器发送告警指示信息，所述告警指示信息包括存在对象间的异常行为的检测结果，以使服务器根据所述检测结果发出视频采集指令；
以及，根据所述视频采集指令，实时采集当前视频，并实时向所述服务器发送所述当前视频。
在一个可选的实现中，获取单元310，具体用于通过已训练的对象检测模型，分别对所述各图像帧中各对象进行对象区域检测，得到所述各对象在相应图像上的对象区域和所述对象区域的位置信息；所述位置信息包括所述对象区域的位置和相应对象区域中心点的位置；
其中，所述对象检测模型为根据包含对象的图像样本集进行迭代训练获得的。
在一个可选的实现中，所述装置还包括训练单元360；
训练单元360，用于：
获取包含对象的图像样本集和每帧图像样本中对象的对象区域标注信息；
根据所述图像样本集，对神经网络模型进行训练，得到每帧图像样本中对象的对象区域，以及所述对象区域的位置信息；
计算所述每帧图像样本中对象的对象区域的位置信息与相应对象区域标注信息的损失值；所述损失值包括对象区域的位置损失值和相应对象区域的中心点的位置损失值；
根据所述损失值，对所述神经网络模型的模型参数进行迭代更新，训练出对象检测模型。
本发明上述实施例提供的检测装置的各功能单元的功能，可以通过上述各方法步骤来实现，因此，本发明实施例提供的检测装置中的各个单元的具体工作过程和有益效果，在此不复赘述。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器410、通信接口420、存储器430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。
存储器430，用于存放计算机程序；
处理器410，用于执行存储器430上所存放的程序时，实现如下步骤：
分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，所述每帧图像包括至少两个对象；
根据获取的对象区域的位置信息，计算所述每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；
若计算出的区域相似度中存在大于预设第一阈值的目标区域相似度，则确定所述目标区域相似度对应的两个对象区域为相同对象的对象区域；
根据获取的对象区域的位置信息，计算所述每帧图像中每两个对象的对象区域的区域重合度；
若所述待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定所述待识别图像帧序列存在对象间的异常行为。
在一个可选的实现中，分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息之前，所述方法还包括：
若检测到当前时刻的当前图像包括至少两个对象，且存在两个对象区域间的区域重合度大于预设第二阈值，则采集以所述当前时刻的下一时刻为起始时刻的预设时间段内的视频；
将所述视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。
在一个可选的实现中，确定所述待识别图像序列存在对象间的异常行为之后，所述方法还包括：
向服务器发送告警指示信息，所述告警指示信息包括存在对象间的异常行为的检测结果，以使服务器根据所述检测结果发出视频采集指令；
根据所述视频采集指令，实时采集当前视频，并实时向所述服务器发送所述当前视频。
在一个可选的实现中，分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，包括：
通过已训练的对象检测模型，分别对所述每帧图像中各对象进行对象区域检测，得到所述各对象在相应图像上的对象区域和所述对象区域的位置信息；所述位置信息包括所述对象区域的位置和相应对象区域中心点的位置；
其中，所述对象检测模型为根据包含对象的图像样本集进行迭代训练获得的。
在一个可选的实现中，所述对象检测模型的训练过程包括：
获取包含对象的图像样本集和每帧图像样本中对象的对象区域标注信息；
根据所述图像样本集，对神经网络模型进行训练，得到每帧图像样本中对象的对象区域，以及所述对象区域的位置信息；
计算所述每帧图像样本中对象的对象区域的位置信息与相应对象区域标注信息的损失值；所述损失值包括对象区域的位置损失值和相应对象区域的中心点的位置损失值；
根据所述损失值，对所述神经网络模型的模型参数进行迭代更新，训练出对象检测模型。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图1所示的实施例中的各步骤来实现，因此，本发明实施例提供的电子设备的具体工作过程和有益效果，在此不复赘述。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的检测方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的检测方法。
本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。

Claims (10)

1.一种对象间异常行为的检测方法，其特征在于，所述方法包括：
若检测到当前时刻的当前图像包括至少两个对象，且存在两个对象区域间的区域重合度大于预设第二阈值，则采集以所述当前时刻的下一时刻为起始时刻的预设时间段内的视频，根据所述视频确定待识别图像帧序列；
分别从所述待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，所述每帧图像包括至少两个对象；
根据获取的对象区域的位置信息，计算所述每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；
若计算出的区域相似度中存在大于预设第一阈值的目标区域相似度，则确定所述目标区域相似度对应的两个对象区域为相同对象的对象区域；
根据获取的对象区域的位置信息，计算所述每帧图像中每两个对象的对象区域的区域重合度；
若所述待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定所述待识别图像帧序列存在对象间的异常行为，对象间的异常行为是指对象间的肢体冲突事件。
2.如权利要求1所述的方法，其特征在于，根据所述视频确定待识别图像帧序列，包括：
将所述视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。
3.如权利要求1所述的方法，其特征在于，确定所述待识别图像序列存在对象间的异常行为之后，所述方法还包括：
向服务器发送告警指示信息，所述告警指示信息包括存在对象间的异常行为的检测结果，以使服务器根据所述检测结果发出视频采集指令；
根据所述视频采集指令，实时采集当前视频，并实时向所述服务器发送所述当前视频。
4.如权利要求1所述的方法，其特征在于，分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，包括：
通过已训练的对象检测模型，分别对所述每帧图像中各对象进行对象区域检测，得到所述各对象在相应图像上的对象区域和所述对象区域的位置信息；所述位置信息包括所述对象区域的位置和相应对象区域中心点的位置；
其中，所述对象检测模型为根据包含对象的图像样本集进行迭代训练获得的。
5.如权利要求4所述的方法，其特征在于，所述对象检测模型的训练过程包括：
获取包含对象的图像样本集和每帧图像样本中对象的对象区域标注信息；
根据所述图像样本集，对神经网络模型进行训练，得到每帧图像样本中对象的对象区域，以及所述对象区域的位置信息；
计算所述每帧图像样本中对象的对象区域的位置信息与相应对象区域标注信息的损失值；所述损失值包括对象区域的位置损失值和相应对象区域的中心点的位置损失值；
根据所述损失值，对所述神经网络模型的模型参数进行迭代更新，训练出对象检测模型。
6.一种对象间异常行为的检测装置，其特征在于，所述装置包括：采集单元、获取单元、计算单元和确定单元；
所述采集单元，用于若检测到当前时刻的当前图像包括至少两个对象，且存在两个对象区域间的区域重合度大于预设第二阈值，则采集以所述当前时刻的下一时刻为起始时刻的预设时间段内的视频；
所述确定单元，用于根据所述视频确定待识别图像帧序列；
所述获取单元，用于分别从待识别图像帧序列中检测获取每帧图像中各对象的对象区域和所述对象区域的位置信息，所述每帧图像包括至少两个对象；
所述计算单元，用于根据获取的对象区域的位置信息，计算所述每帧图像中每个对象区域分别与相邻图像中每个对象区域的区域相似度；
所述确定单元，还用于若计算出的区域相似度中存在大于预设第一阈值的目标区域相似度，则确定所述目标区域相似度对应的两个对象区域为相同对象的对象区域；
所述计算单元，还用于根据获取的对象区域的位置信息，计算所述每帧图像中每两个对象的对象区域的区域重合度；
所述确定单元，还用于若所述待识别图像帧序列中连续的预设数量帧图像中均存在相同两个对象的对象区域的区域重合度大于预设第二阈值，则确定所述待识别图像帧序列存在对象间的异常行为，对象间的异常行为是指对象间的肢体冲突事件。
7.如权利要求6所述的装置，其特征在于，
所述确定单元，具体用于将所述视频对应的图像帧序列确定为待识别图像帧序列，或按照预设跳帧数和时间顺序，从所述视频对应的图像帧序列中选择获取图像帧序列，并将获取的图像帧序列确定为待识别图像帧序列。
8.如权利要求6所述的装置，其特征在于，所述装置还包括发送单元；
所述发送单元，用于向服务器发送告警指示信息，所述告警指示信息包括存在对象间的异常行为的检测结果，以使服务器根据所述检测结果发出视频采集指令；
以及，根据所述视频采集指令，实时采集当前视频，并实时向所述服务器发送所述当前视频。
9.一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存储的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202010814904.3A 2020-08-13 2020-08-13 对象间异常行为的检测方法及装置 Active CN112016413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010814904.3A CN112016413B (zh) 2020-08-13 2020-08-13 对象间异常行为的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010814904.3A CN112016413B (zh) 2020-08-13 2020-08-13 对象间异常行为的检测方法及装置

Publications (2)

Publication Number Publication Date
CN112016413A CN112016413A (zh) 2020-12-01
CN112016413B true CN112016413B (zh) 2022-06-07

Family

ID=73504315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010814904.3A Active CN112016413B (zh) 2020-08-13 2020-08-13 对象间异常行为的检测方法及装置

Country Status (1)

Country Link
CN (1) CN112016413B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508109B (zh) * 2020-12-10 2023-05-19 锐捷网络股份有限公司 一种图像识别模型的训练方法及装置
CN112800944B (zh) * 2021-01-26 2023-12-19 北京市商汤科技开发有限公司 人群行为检测方法及装置、电子设备和存储介质
CN113111839A (zh) * 2021-04-25 2021-07-13 上海商汤智能科技有限公司 行为识别方法及装置、设备和存储介质
CN113112495B (zh) * 2021-04-30 2024-02-23 浙江华感科技有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN113139084A (zh) * 2021-05-14 2021-07-20 北京爱奇艺科技有限公司 一种视频去重方法及装置
CN113486763A (zh) * 2021-06-30 2021-10-08 上海商汤临港智能科技有限公司 车舱内人员冲突行为的识别方法及装置、设备和介质
CN113673318B (zh) * 2021-07-12 2024-05-03 浙江大华技术股份有限公司 一种动作检测方法、装置、计算机设备和存储介质
CN114723678A (zh) * 2022-03-21 2022-07-08 盛视科技股份有限公司 基于视频图像的高压电线异物检测方法及检测系统
CN114820561A (zh) * 2022-05-16 2022-07-29 奥蒂玛光学科技（深圳）有限公司 一种异常区域检测方法、自动光学检测设备以及存储介质
CN115063739B (zh) * 2022-06-10 2023-06-16 嘉洋智慧安全科技(北京)股份有限公司 异常行为的检测方法、装置、设备及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740517A (zh) * 2018-12-29 2019-05-10 上海依图网络科技有限公司 一种确定待识别对象的方法及装置
CN109784238A (zh) * 2018-12-29 2019-05-21 上海依图网络科技有限公司 一种确定待识别对象的方法及装置
CN109800675A (zh) * 2018-12-29 2019-05-24 上海依图网络科技有限公司 一种确定人脸对象的识别图像的方法及装置
CN109815842A (zh) * 2018-12-29 2019-05-28 上海依图网络科技有限公司 一种确定待识别对象的属性信息的方法及装置
CN110414313A (zh) * 2019-06-06 2019-11-05 平安科技（深圳）有限公司 异常行为告警方法、装置、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740517A (zh) * 2018-12-29 2019-05-10 上海依图网络科技有限公司 一种确定待识别对象的方法及装置
CN109784238A (zh) * 2018-12-29 2019-05-21 上海依图网络科技有限公司 一种确定待识别对象的方法及装置
CN109800675A (zh) * 2018-12-29 2019-05-24 上海依图网络科技有限公司 一种确定人脸对象的识别图像的方法及装置
CN109815842A (zh) * 2018-12-29 2019-05-28 上海依图网络科技有限公司 一种确定待识别对象的属性信息的方法及装置
CN110414313A (zh) * 2019-06-06 2019-11-05 平安科技（深圳）有限公司 异常行为告警方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN112016413A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016413B (zh) 对象间异常行为的检测方法及装置
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
CN110288599B (zh) 一种坏点检测方法、装置、电子设备及存储介质
CN111369590A (zh) 多目标跟踪方法、装置、存储介质及电子设备
CN114005074B (zh) 交通事故的确定方法、装置及电子设备
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
CN110910355A (zh) 包裹堵塞检测方法、装置以及计算机存储介质
CN111914656A (zh) 一种人员行为检测方法、装置、电子设备及存储介质
CN110866428B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN112017323A (zh) 一种巡检报警方法、装置、可读存储介质及终端设备
CN110647818A (zh) 一种遮挡目标物体的识别方法及装置
CN113869137A (zh) 事件检测方法、装置、终端设备及存储介质
CN111079621A (zh) 检测对象的方法、装置、电子设备和存储介质
CN111126317A (zh) 一种图像处理方法、装置、服务器及存储介质
CN110865415A (zh) 一种安检方法及装置
CN114584836B (zh) 电子产品使用行为检测方法、装置、系统及介质
CN113470013A (zh) 一种搬移物品的检测方法及装置
CN113807228A (zh) 停车事件提示方法、装置、电子设备以及存储介质
CN113221819A (zh) 包裹暴力分拣的检测方法、装置、计算机设备和存储介质
CN111914793A (zh) 一种基于区域人数的预警方法、装置及设备
CN113205079B (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN112380938B (zh) 一种人脸识别及测温方法、装置、设备及介质
CN111102987B (zh) 一种救援车辆跟踪方法、装置、服务器和介质
CN111698642A (zh) 告警分发方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant