CN111767783A - 行为检测、模型训练方法、装置、电子设备及存储介质 - Google Patents

行为检测、模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111767783A
CN111767783A CN202010322302.6A CN202010322302A CN111767783A CN 111767783 A CN111767783 A CN 111767783A CN 202010322302 A CN202010322302 A CN 202010322302A CN 111767783 A CN111767783 A CN 111767783A
Authority
CN
China
Prior art keywords
behavior
distance
preset
extraction model
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010322302.6A
Other languages
English (en)
Inventor
赵飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010322302.6A priority Critical patent/CN111767783A/zh
Publication of CN111767783A publication Critical patent/CN111767783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本申请实施例提供了一种行为检测、模型训练方法、装置、电子设备及存储介质，涉及图像检测技术领域，检测方法包括：在待检测视频中获取包含目标对象的待检测图像序列，其中，待检测视频为：在预设场景下采集的视频；将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，其中，行为特征提取模型为：用于提取预设场景中对象的行为特征的神经网络模型；计算待对比行为特征与预设的正常行为的参考特征之间的相对距离，在相对距离大于或等于预设距离阈值的情况下，确定待检测图像序列中目标对象的行为为异常行为。由此可见，应用本申请实施例提供的行为检测方案，可以提高行为检测的准确度。

Description

行为检测、模型训练方法、装置、电子设备及存储介质
技术领域
本申请涉及图像检测技术领域，特别是涉及一种行为检测、模型训练方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的快速发展，图像处理技术的应用也越来越广泛。例如，在安防领域，可以利用图像处理技术，对图像采集设备所采集的视频中对象的行为进行检测，包括检测对象的行为是异常行为还是正常行为。
现有技术中，通常利用异常行为检测模型来对待检测视频中对象的行为进行检测。上述异常行为检测模型需要利用正样本和负样本进行预先训练，上述正样本为包含异常行为的视频，负样本为包含正常行为的视频。
然而，在实际场景中，异常行为的发生概率很低，导致包含异常行为的视频的数量很少，进而导致模型训练中的正样本数量很少。这样训练得到的异常行为检测模型，在对输入的视频进行检测时，输出的结果的准确率较低。从而导致应用现有技术对视频中对象的行为进行检测的准确度较低。
发明内容
本申请实施例的目的在于提供一种行为检测、模型训练方法、装置、电子设备及存储介质，以提高行为检测的准确度。具体技术方案如下：
第一方面，本申请实施例提供了一种行为检测方法，所述方法包括：
在待检测视频中获取包含目标对象的待检测图像序列，其中，所述待检测视频为：在预设场景下采集的视频；
将所述待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，其中，所述行为特征提取模型为：用于提取所述预设场景中对象的行为特征的神经网络模型；
计算所述待对比行为特征与预设的正常行为的参考特征之间的相对距离，在所述相对距离大于或等于预设距离阈值的情况下，确定所述待检测图像序列中所述目标对象的行为为异常行为。
本申请的一个实施例中，通过以下方式训练得到所述行为特征提取模型：
获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
获得所述预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
本申请的一个实施例中，所述距离差值条件包括：
正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值；或
正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值，且正常样本行为特征之间的第二特征距离小于或等于预设的第二距离阈值；或
将所述第一特征距离和第二特征距离输入预设函数得到的距离函数值满足距离函数条件，其中，所述距离函数条件为：在所述距离函数值与所述第一特征距离正相关、与所述第二特征距离负相关的情况下，所述距离函数值大于或等于第一函数阈值，或，在所述距离函数值与所述第一特征距离负相关、与所述第二特征距离正相关的情况下，所述距离函数值小于或等于第二函数阈值。
本申请的一个实施例中，所述基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型，包括：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离；
若所述第一特征距离小于预设的第一距离阈值，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述第一特征距离大于或等于所述第一距离阈值，得到最终训练完成的行为特征提取模型。
本申请的一个实施例中，所述基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型，包括：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离；
若所述第一特征距离小于预设的第一距离阈值或所述第二特征距离大于预设的第二距离阈值，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述第一特征距离大于或等于所述第一距离阈值且所述第二特征距离小于或等于所述第二距离阈值，得到最终训练完成的行为特征提取模型。
本申请的一个实施例中，所述基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型，包括：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离；
将所述第一特征距离和第二特征距离输入预设函数，得到距离函数值；
若所述距离函数值不满足预设的距离函数条件，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述距离函数值满足所述距离函数条件，得到最终训练完成的行为特征提取模型，其中，所述距离函数条件为：在所述距离函数值与所述第一特征距离正相关、与所述第二特征距离负相关的情况下，所述距离函数值大于或等于第一函数阈值，或，在所述距离函数值与所述第一特征距离负相关、与所述第二特征距离正相关的情况下，所述距离函数值小于或等于第二函数阈值。
本申请的一个实施例中，通过以下方式确定所述参考特征：
将所获得的所述预设场景下采集的正常样本图像序列输入最终训练完成的行为特征提取模型，得到参考正常样本行为特征；
计算所得到的参考正常样本行为特征的特征中心，作为所述参考特征。
本申请的一个实施例中，所述在待检测视频中获取包含目标对象的待检测图像序列，包括：
在待检测视频中获取包含目标对象的行为区域的待检测图像序列，其中，所述行为区域为：预设时长内所述目标对象的行为在所述待检测视频的图像中所覆盖的区域。
本申请的一个实施例中，通过以下方式确定所述行为区域：检测所述预设时长期间，所述待检测视频的每一帧图像中，所述目标对象所在目标区域；将包含每一帧图像中目标区域的区域，确定为行为区域。
本申请的一个实施例中，在所述确定所述待检测图像序列中所述目标对象的行为为异常行为步骤之后，所述方法还包括：确定所述待检测图像序列的起始时间和结束时间；对所述待检测视频中，所述起始时间和结束时间期间的视频进行显示。
第二方面，本申请实施例提供了一种行为特征提取模型训练方法，所述方法包括：
获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
获得预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
第三方面，本申请实施例提供了一种行为检测装置，所述装置包括：
图像序列获得模块，用于在待检测视频中获取包含目标对象的待检测图像序列，其中，所述待检测视频为：在预设场景下采集的视频；
行为特征提取模块，用于将所述待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，其中，所述行为特征提取模型为：用于提取所述预设场景中对象的行为特征的神经网络模型；
行为确定模块，用于计算所述待对比行为特征与预设的正常行为的参考特征之间的相对距离，在所述相对距离大于或等于预设距离阈值的情况下，确定所述待检测图像序列中所述目标对象的行为为异常行为。
第四方面，本申请实施例提供了一种行为特征提取模型训练装置，所述装置包括：
第一样本获得模块，用于获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
第一模型训练模块，用于以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
第二样本获得模块，用于获得预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
第二模型训练模块，用于基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
第五方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
第六方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第二方面任一所述的方法步骤。
第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第二方面任一所述的方法步骤。
第九方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的行为检测方法。
第十方面，本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的行为特征提取模型训练方法。
本申请实施例有益效果：
应用本申请实施例提供的方案进行行为检测时，首先在待检测视频中获取包含目标对象的待检测图像序列，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离。由于上述参考特征可以表征正常行为的特征，因此在相对距离大于或等于预设距离阈值的情况下，认为上述目标对象的行为与正常行为的差异较大，进而确定待检测图像序列中目标对象的行为为异常行为。这样通过对目标对象的行为特征与预设的正常行为的参考特征相比较，根据比较结果确定目标对象的行为是否为异常行为，可以提高行为检测的准确度。
另一方面，待检测视频为预设场景下采集的视频，且行为特征提取模型为：用于提取预设场景中对象的行为特征的神经网络模型。这样行为特征提取模型更能适应上述预设场景，提取得到的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的行为检测方法的一种流程示意图；
图2为图1所示实施例中，行为特征提取模型训练方法的一种流程示意图；
图3为图1所示实施例中，行为特征提取模型训练方法的另一种流程示意图；
图4为图1所示实施例中，行为特征提取模型训练方法的又一种流程示意图；
图5为图1所示实施例中，行为检测方法的另一种流程示意图；
图6为应用图5所示实施例获得的行为区域的一种示意图；
图7为图1所示实施例中，行为检测方法的又一种流程示意图；
图8为本申请实施例提供的行为检测装置的一种结构示意图；
图9为本申请实施例提供的行为特征提取模型训练装置的一种结构示意图；
图10为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高对视频中对象的行为进行检测的准确度，本申请实施例提供了一种行为检测、模型训练方法、装置、电子设备及存储介质，以下分别进行详细说明。
参见图1，图1为本申请实施例提供的行为检测方法的一种流程示意图，该方法可以应用于计算机、手机、图像采集设备、监控设备等电子设备中。行为检测方法包括如下步骤101-步骤103。
步骤101，在待检测视频中获取包含目标对象的待检测图像序列。
其中，待检测视频为：在预设场景下采集的视频。上述预设场景可以是工厂、商场、学校等。待检测视频可以是图像采集设备采集的视频，例如，可以是安防摄像头拍摄的视频。上述待检测视频也可以是从数据库中获取的视频，还可以是其他设备发送的视频等。
待检测视频中可以包含待进行行为检测的目标对象，上述目标对象可以是人、动物、汽车、等。目标对象可以包括一个对象，也可以包括多个对象。
目标对象的行为包括正常行为和异常行为。在不同的预设场景下，正常行为和异常行为的区分标准不同。以目标对象为人、预设场景为商场为例，正常行为可以是静坐、行走、站立等，异常行为可以是追逐、冲突、拥堵等；以目标对象为汽车、预设场景为十字路口为例，正常行为可以是停车、行驶、转弯等，异常行为可以是追尾、翻车、堵车等。
待检测图像序列为：在待检测视频中抽取的、包含目标对象的图像序列。每一图像序列中图像的数量可以是16帧、20帧、30帧等，本申请实施例并不对此进行限定。
为了提高后续对待检测图像序列进行行为特征提取的准确度，进而提高行为检测的准确度，待检测图像序列的每一帧图像中可以均包含目标对象。而在对准确度要求比较宽松的情况下，待检测图像序列中可以部分帧图像包含目标对象。例如，假设待检测图像序列包含16帧图像，其中13帧图像中包含目标对象，剩余3帧图像中不包含目标对象。
本申请的一个实施例中，可以对待检测视频进行目标检测，从而确定待检测视频中包含目标对象的视频帧，抽取包含目标对象的视频帧，组成待检测图像序列。这样待检测图像序列中每一帧图像中均包含目标对象，后续对待检测图像序列进行检测时，可以提高检测的准确度。
其中，可以利用目标检测算法对待检测视频进行目标检测，上述算法包括：DMP(Deep Matching Prior Network，深度匹配先验网络)算法、FRCNN(区域卷积神经网络)模型、YOLO算法、SSD(Single Shot MultiBox Detector)算法等。
步骤102，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征。
其中，行为特征提取模型可以为：用于提取预设场景中对象的行为特征的神经网络模型。
上述神经网络模型的架构可以是resnet(Residual Neural Network，深度残差网络)18模型、resnet50模型、resnet101模型、resnet152模型、VGG(Visual Geometry GroupNetwork)模型等。
步骤103，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离，在相对距离大于或等于预设距离阈值的情况下，确定待检测图像序列中目标对象的行为为异常行为。
其中，上述正常行为为：针对预设场景设定的正常行为，正常行为的参考特征可以表征该预设场景下正常行为的特征。
具体的，可以计算待对比行为特征和参考特征之间的相对距离，上述相对距离可以表征特征之间的差异度，在上述相对距离大于或等于预设距离阈值的情况下，说明待对比行为特征与参考特征之间的差异度较大，进而说明目标对象的行为与正常行为的差异度较大，因此可以认为目标对象的行为为异常行为。在上述相对距离小于预设距离阈值的情况下，说明待对比行为特征与参考特征之间的差异度较小，进而说明目标对象的行为与正常行为的差异度较小，因此可以认为目标对象的行为不是异常行为。
例如，假设计算得到待对比行为特征与参考特征之间的相对距离为0.7，预设距离阈值为0.6，可见，上述相对距离大于距离阈值，说明待对比行为特征与参考特征之间的差异度较大，因此认为待对比行为特征所表征的行为为异常行为。
本申请的一个实施例中，可以利用特征距离计算算法计算待对比行为特征与参考特征之间的相对距离，上述特征距离计算算法可以是计算欧氏距离的算法、计算余弦距离的算法、计算汉明距离的算法等。
本申请的一个实施例中，在计算得到待对比行为特征与预设的正常行为的参考特征之间的相对距离后，可以在相对距离小于或等于预设正常距离阈值的情况下，认为待检测图像序列中目标对象的行为与正常行为差异较小，因此确定待检测图像序列中目标对象的行为为正常行为。其中，上述预设正常距离阈值的取值小于或等于步骤103中预设距离阈值的取值。
本申请的一个实施例中，还可以计算待对比行为特征与预设的异常行为的参考特征之间的相对距离，在上述相对距离小于预设的阈值的情况下，认为待检测图像序列中目标对象的行为与异常行为差异较小，因此确定待检测图像序列中目标对象的行为为异常行为。
本申请的一个实施例中，在确定待检测图像序列中目标对象的行为为异常行为后，可以生成报警信号，触发报警。
应用上述实施例提供的方案进行行为检测时，首先在待检测视频中获取包含目标对象的待检测图像序列，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离。由于上述参考特征可以表征正常行为的特征，因此在相对距离大于或等于预设距离阈值的情况下，认为上述目标对象的行为与正常行为的差异较大，进而确定待检测图像序列中目标对象的行为为异常行为。这样通过对目标对象的行为特征与预设的正常行为的参考特征相比较，根据比较结果确定目标对象的行为是否为异常行为，可以提高行为检测的准确度。另一方面，待检测视频为预设场景下采集的视频，且行为特征提取模型为：用于提取预设场景中对象的行为特征的神经网络模型。这样行为特征提取模型更能适应上述预设场景，提取得到的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
参见图2，图2为图1所示实施例中，行为特征提取模型训练方法的一种流程示意图，该方法包括以下步骤201-步骤204：
步骤201，获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注。
其中，上述行为类别可以是人工预先对每一初始样本图像序列中样本对象的行为进行标注得到的类别，上述行为类别可以是静坐、走路、慢跑等。
初始样本图像序列可以是任一场景的视频中抽取的图像序列，这种情况下，可以人工对初始样本图像序列中样本对象的行为类别进行标注。
初始样本图像序列也可以是从公开的数据库中获取的图像序列。对于公开的数据库中的图像序列，可能预先携带有行为类别。这种情况下，可以使用图像序列中自带的行为类别作为标注类别。
步骤202，以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型。
具体的，可以分别将各个初始样本图像序列和每一初始样本图像序列中样本对象的行为类别输入初始神经网络模型，得到多个初始输出结果，利用预设的损失函数和上述行为类别，计算初始输出结果的损失值，根据损失值对初始神经网络模型的参数进行调整，得到初始行为特征提取模型。后续会对上述训练过程进行详细介绍。
步骤203，获得预设场景下采集的多个正常样本图像序列和异常样本图像序列。
其中，正常样本图像序列中对象的行为属于针对预设场景预先设定的正常行为，异常样本图像序列中对象的行为属于针对预设场景预先设定的异常行为。
具体的，可以预先针对预设场景设定正常行为和异常行为。例如，针对公园场景，可以预先设定正常行为包括：行走、跑步、跳舞等，预先设定异常行为包括：拥堵、打斗等。当样本图像序列中对象的行为属于上述预设的正常行为时，可以认为该样本图像序列为正常样本图像序列；当样本图像序列中对象的行为属于上述预设的异常行为时，可以认为该样本图像序列为异常样本图像序列。
本申请的一个实施例中，可以在预设场景下，采集人工模拟的异常行为的样本视频，再从样本视频中获得异常样本图像序列。具体的，可以由人工模拟预设场景下可能产生的异常行为，对上述模拟的行为进行视频采集，再从所采集的样本视频中获得异常样本图像序列。这样可以解决预设场景下异常行为的出现频次较少、异常样本图像序列数量较少的问题。
步骤204，基于各个正常样本图像序列和异常样本图像序列，以初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
本申请的一个实施例中，上述距离差值条件可以包括以下条件中的至少一种：
条件一：正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值。
具体的，对正常样本行为特征与异常样本行为特征之间的第一特征距离进行判断，当上述第一特征距离大于或等于预设的第一距离阈值时，认为满足距离差值条件。
条件二：正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值，且正常样本行为特征之间的第二特征距离小于或等于预设的第二距离阈值。
具体的，对正常样本行为特征与异常样本行为特征之间的第一特征距离、正常样本行为特征之间的第二特征距离进行判断，当第一特征距离大于或等于预设的第一距离阈值、且第二特征距离小于或等于预设的第二距离阈值时，认为满足距离差值条件。
条件三：将第一特征距离和第二特征距离输入预设函数得到的距离函数值满足距离函数条件。
其中，距离函数条件为：在距离函数值与第一特征距离正相关、与第二特征距离负相关的情况下，距离函数值大于或等于第一函数阈值，或，在距离函数值与第一特征距离负相关、与第二特征距离正相关的情况下，距离函数值小于或等于第二函数阈值。
具体的，可以对第一距离函数值进行判断，上述第一距离函数值为：按照第一预设函数对第一特征距离和第二特征距离进行计算得到的值，第一预设函数与第一特征距离正相关，与第二特征距离负相关。在第一距离函数值大于或等于预设的第一函数阈值时，可以认为满足距离差值条件。例如，将第一特征距离记为x，将第二特征距离记为y，假设上述第一预设函数为F＝x+1/y，可见，在x越大、y越小的情况下，第一距离函数值越大，在上述第一距离函数值大于或等于第一函数阈值时，可以认为满足距离差值条件；
还可以对第二距离函数值进行判断，上述第二距离函数值为：按照第二预设函数对第一特征距离和第二特征距离进行计算得到的值，第二预设函数与第一特征距离负相关、与第二特征距离正相关。在第二距离函数值小于或等于预设的第二函数阈值时，可以认为满足距离差值条件。例如，将第一特征距离记为x，将第二特征距离记为y，假设上述第二预设函数为F＝x-3+y，可见，在x越大、y越小的情况下，距离函数值越小，在上述第二距离函数值小于或等于第二函数阈值时，可以认为满足距离差值条件。
对于上述步骤204，可以首先将各个正常样本图像序列输入训练完成的初始行为特征提取模型，得到正常样本行为特征，并将各个异常样本图像序列输入上述初始行为特征提取模型，得到异常样本行为特征。
之后可以计算正常样本行为特征与异常样本行为特征之间的距离差值，基于距离差值对初始行为特征提取模型进行参数调整。当正常样本图像序列对应的正常样本行为特征与异常样本图像序列对应的异常样本行为特征之间的距离差值满足预设的识别异常行为的距离差值条件，说明依据上述行为特征提取模型，得到的正常行为图像序列与异常行为图像序列的输出结果之间的差异度大，便于利用上述行为特征提取模型区分正常行为和异常行为，因此在这种情况下，认为模型训练结束，得到最终训练完成的行为特征提取模型。这样得到的行为特征提取模型更能适应预设场景，提取的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
对于上述步骤204，至少有三种具体实现方式：
第一种，可以分别将各个正常样本图像序列和异常样本图像序列输入初始行为特征提取模型，获得初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征，计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离。
例如，假设正常样本图像序列和异常样本图像序列中包括1000个正常样本图像序列和100个异常样本图像序列，分别计算每一正常样本图像序列对应的正常样本行为特征与异常样本行为特征之间的第一特征距离，可以得到100 000个第一特征距离。
若第一特征距离小于预设的第一距离阈值，对初始行为特征提取模型进行参数调整，返回上述分别将所述各个正常样本图像序列和异常样本图像序列输入初始行为特征提取模型的步骤，直到第一特征距离大于或等于第一距离阈值，获得参数调整后的初始行为特征提取模型，作为最终训练完成的行为特征提取模型。
第二种，还可以分别将各个正常样本图像序列和异常样本图像序列输入初始行为特征提取模型，获得初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征。计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离。
例如，假设正常样本图像序列和异常样本图像序列中包括100个正常样本图像序列，分别计算各个正常样本图像序列之间的第二特征距离，可以得到4950个第一特征距离。
若第一特征距离小于预设的第一距离阈值或第二特征距离大于预设的第二距离阈值，对初始行为特征提取模型进行参数调整，返回分别将各个正常样本图像序列和异常样本图像序列输入行为特征提取模型的步骤，直到第二特征距离小于或等于第二距离阈值且第一特征距离大于或等于第一距离阈值，获得参数调整后的行为特征提取模型，作为最终训练完成的行为特征提取模型。本实施例中，第二距离阈值小于或等于第一距离阈值。
第三种，可以分别将各个正常样本图像序列和异常样本图像序列输入初始行为特征提取模型，获得初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征，计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离，将第一特征距离和第二特征距离输入预设函数，得到距离函数值，若距离函数值不满足预设的距离函数条件，对初始行为特征提取模型进行参数调整，返回分别将各个正常样本图像序列和异常样本图像序列输入初始行为特征提取模型的步骤，直到距离函数值满足所述距离函数条件，得到最终训练完成的行为特征提取模型。
具体的，在得到第二特征距离和第一特征距离后，还可以将第二特征距离和第一特征距离输入第一预设函数，得到第一距离函数值。若第一距离函数值小于第一函数阈值，说明正常行为特征之间的特征距离较大，或正常行为特征与异常行为特征之间的特征距离较小，不满足距离差值条件，因此对初始行为特征提取模型进行参数调整，返回分别将各个正常样本图像序列和异常样本图像序列输入行为特征提取模型的步骤，直至第一距离函数值大于或等于第一函数阈值，获得参数调整后的行为特征提取模型，作为最终训练完成的行为特征提取模型。
另外，在得到第二特征距离和第一特征距离后，还可以将第二特征距离和第一特征距离输入第二预设函数，得到第二距离函数值。若第二距离函数值大于第二函数阈值，说明正常行为特征之间的特征距离较大，或正常行为特征与异常行为特征之间的特征距离较小，不满足距离差值条件，因此对初始行为特征提取模型进行参数调整，返回分别将各个正常样本图像序列和异常样本图像序列输入行为特征提取模型的步骤，直至第二距离函数值小于或等于第一函数阈值，获得参数调整后的行为特征提取模型，作为最终训练完成的行为特征提取模型。
应用上述实施例最终得到的行为特征提取模型，对该预设场景下获取的正常样本图像序列和异常样本图像序列进行特征提取时，正常样本图像序列的输出结果之间的差异度较小，正常样本图像序列与异常样本图像序列的输出结果之间的差异度较大，这样便于依据该行为特征提取模型的特征提取结果对该预设场景下的异常行为进行检测，提高检测结果的准确度。
本申请的一个实施例中，可以根据上述最终训练完成的行为特征提取模型确定参考特征。具体可以将所获得的预设场景下采集的正常样本图像序列输入最终训练完成的行为特征提取模型，得到参考正常样本行为特征，计算所得到的参考正常样本行为特征的特征中心，作为参考特征。
本申请的一个实施例中，在计算特征中心时，可以利用K-means(均值聚类)算法计算各个正常样本行为特征的特征中心，作为参考特征。还可以计算各个正常样本行为特征的均值，作为参考特征。
在其他的实施例中，预设的正常行为的参考特征也可以由人工基于经验值设定。
这样依据该预设场景下的正常样本图像序列的正常样本行为特征计算得到的特征中心，更能适应该场景下对象的行为特征，在根据上述特征中心判断该场景下对象的行为是否为异常行为时，判断结果准确度更高。
参见图3，本申请的一个实施例中，对于上述步骤202，在训练初始行为特征提取模型时，具体可以包括如下步骤2021-步骤2023。
步骤2021，分别将各个初始样本图像序列输入初始神经网络模型，得到多个初始输出结果。
上述初始神经网络模型为行为特征提取模型的初始模型，将初始样本图像序列输入初始神经网络模型，可以得到初始输出结果。
上述初始输出结果的形式可以是向量、矩阵、数列等，初始输出结果的维度可以是64维、256维、512维等。
步骤2022，基于多个初始输出结果、各个初始样本图像序列中样本对象的行为类别和预设的损失函数，计算损失值。
其中，上述损失函数可以是Contrastive Loss(对比损失)函数，还可以是TripletLoss(网络损失)函数等，本申请实施例并不对此进行限定。
具体的，可以预先设定每一行为类别的行为的标准行为特征，上述标准行为特征为衡量该类行为的特征。针对每一初始样本图像序列，可以根据该初始样本图像序列所标注的行为类别，确定该行为类别对应的标准行为特征，计算该初始样本图像序列对应的初始输出结果相对上述确定的标准行为特征之间的距离，并按照损失函数的算法，基于上述距离计算得到损失值。
例如，假设所标注的行为类别为行走的初始样本图像序列，对应的初始输出结果格式为64维向量：
[8 20 15 96 8 74 24 …… 34 24]
行为类别对应的标准行为特征为：
[95 24 36 41 51 74 69 ……5 15]
以Contrastive Loss函数作为损失函数计算损失值，则需要首先计算上述初始输出结果与标准行为特征之间的欧氏距离，再根据Contrastive Loss函数计算损失值。
步骤2023，根据损失值对初始神经网络模型进行参数调整，返回步骤2021，直至训练结束，得到初始神经网络模型。
具体的，可以先基于上述计算得到的损失值，判断初始神经网络模型是否收敛，如果未收敛，则对初始神经网络模型进行参数调整，参数调整之后，返回上述步骤2021，继续将初始样本图像序列输入参数调整后的初始神经网络模型，得到输出结果，并计算损失值，再次依据损失值进行参数调整，直至初始神经网络模型收敛，认为训练结束，得到行为特征提取模型。
本申请的另一个实施例中，初始神经网络模型训练完成的条件可以是训练次数大于或等于预设的次数阈值，上述次数阈值可以是10万次、20万次、50万次等。上述初始神经网络模型训练完成的条件还可以是步骤2022中计算得到的损失值小于预设阈值。
参见图4，图4为本申请实施例提供的行为特征提取模型训练方法的又一流程示意图，包括如下步骤401至步骤408：
步骤401，获得多个初始样本图像序列，并对各个初始样本图像序列中样本对象的行为类别进行标注。
步骤402，分别将各个初始样本图像序列和对应的标注输入初始神经网络模型，得到多个初始输出结果。
步骤403，基于多个初始输出结果、各个初始样本图像序列中样本对象的行为类别和预设的损失函数，计算损失值。
步骤404，根据损失值对初始神经网络模型进行参数调整，返回步骤402，直到初始神经网络模型训练完成，得到初始神经网络模型。
步骤405，获得预设场景下采集的多个正常样本图像序列和异常样本图像序列。
步骤406，将各个正常样本图像序列和异常样本图像序列输入初始行为特征提取模型，获得初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征。
步骤407，计算各个正常样本行为特征之间的第二特征距离、各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离。
步骤408，若第二特征距离大于预设的第二距离阈值或第一特征距离小于预设的第一距离阈值，对初始行为特征提取模型进行参数调整，返回步骤406，直到第二特征距离小于或等于第二距离阈值且第一特征距离大于或等于第一距离阈值，获得更新后的行为特征提取模型，作为最终训练完成的行为特征提取模型。
参见图5，本申请的一个实施例中，对于上述图1中的步骤101，在待检测视频中获取包含目标对象的待检测图像序列时，包括如下步骤1011：
步骤1011，在待检测视频中获取包含目标对象的行为区域的待检测图像序列。
其中，行为区域为：预设时长内目标对象的行为在待检测视频的图像中所覆盖的区域。上述预设时长可以是10秒、30秒、60秒等。
本申请的一个实施例中，在确定行为区域时，可以检测预设时长期间，待检测视频的每一帧图像中，目标对象所在目标区域，将包含每一帧图像中目标区域的区域，确定为行为区域。
其中，上述目标区域可以是目标对象在图像中的外接矩形区域、外接圆形区域、外接椭圆区域等。具体的，可以利用目标检测算法确定图像中目标对象所在的目标区域。
上述行为区域可以是每一帧图像中目标区域映射在同一图像中所组成的区域，也可以是是每一帧图像中目标区域映射在同一图像中的区域外接的矩形区域、圆形区域、椭圆区域等。
参见图6，假设图中人物为目标对象，人物的外接矩形区域为目标区域，该人物在图像序列中由第一位置移动至第二位置，将第一位置的目标区域和第二位置的目标区域映射在同一图像中，并以各个目标区域的外接矩形区域为行为区域，可以得到如图6所示的行为区域。
本申请的一个实施例中，针对待检测视频的每一帧图像中目标对象的目标区域R1、R2……Rn，检测每一帧图像中目标区域左上角顶点的坐标和右下角顶点的坐标，可以得到：
Ri＝[(left_top_Rix,left_top_Riy)，(right_bottom_Rix,right_bottom_Riy)]
其中，left_top_Rix表示第i个目标区域的左上角顶点的x坐标，left_top_Riy表示第i个目标区域的左上角顶点的y坐标，right_bottom_Rix表示第i个目标区域的右下角顶点的x坐标，right_bottom_Riy表示第i个目标区域的右下角顶点的y坐标。
以各个目标区域的左上角顶点中最靠近左侧的顶点的x坐标、最靠近上侧的y坐标为行为区域左上角顶点的坐标，以各个目标区域的右下角顶点中最靠近右侧的顶点的x坐标、最靠近下侧的y坐标为行为区域右下角顶点的坐标，确定行为区域。
具体的，行为区域的左上角顶点的坐标为：
(min{left_top_x},max{left_top_y})
行为区域的右下角顶点的坐标为：
(max{right_bottom_x},min{right_bottom_y})
待检测视频的每一帧图像中，包含图像采集设备拍摄区域的全部内容，而在对目标对象进行行为检测时，不需要对目标对象所在的目标区域以外的区域中的内容进行检测。因此，由待检测视频的每一视频帧中的行为区域组成待检测图像序列，可以减小检测的数据量，提高检测效率，节省计算资源，而且还可以避免其他因素对检测结果的干扰。
本申请的一个实施例中，对于上述图1中的步骤101，在从待检测视频中抽取待检测图像序列时，可以抽取连续的预设帧数的图像，组成待检测图像序列，其中，在利用行为特征提取模型对待检测图像序列中目标对象的行为进行特征提取的情况下，上述预设帧数的取值，与模型训练时样本图像序列的帧数相同。
具体的，可以从待检测视频中抽取当前视频帧之前连续的预设帧数的视频帧，组成待检测图像序列。
本申请的一个实施例中，还可以按照预设的图像间隔抽取预设帧数的待检测图像序列，上述预设图像间隔可以是2帧、3帧、5帧等。
例如，假设视频帧的图像序列包括f1、f2……fn，预设的图像间隔为2帧，预设帧数为5，则待检测图像序列为：f1、f3、f5、f7、f9。
本申请的一个实施例中，可以按照预设的时序分割策略，在待检测视频中提取预设帧数的待检测图像序列。
其中，上述时序分割策略可以是固定时间片分割策略，即按照固定的时间间隔在待检测视频中抽取视频帧组成待检测图像序列。上述固定时间可以是1秒、2秒、3秒等。假设上述固定时间为3秒，则自当前时刻起，在之前的视频中，每间隔3秒抽取一帧图像，直至抽取预设帧数的图像，组成待检测图像序列。
上述时序分割策略还可以是变长时间片分割策略，即抽取视频帧的时间间隔是变化的。例如，假设需要获取16帧图像的序列，则可以自当前时刻起，在之前的视频帧，首先每间隔1秒获取一帧图像，直至获取10帧图像，之后再每间隔3秒获取一帧图像，直至获取6帧图像，一共获取16帧图像，组成待检测图像序列。
这样的话，可以在临近当前时刻的时间段，较为频繁地抽取图像，在远离当前时刻的时间段，较为稀疏地抽取图像，这样得到的待检测图像序列中，大部分的图像为接近当前时刻的图像。对上述待检测图像序列进行行为特征提取，得到的行为特征更接近当前目标对象的行为的特征。
本申请的一个实施例中，还可以按照滑窗的形式确定待检测图像序列。具体的，可以预先设定匹配窗口，按照预设的步长，在待检测视频中滑动上述匹配窗口，抽取每一窗口中的视频帧，组成待检测图像序列。
本申请的一个实施例中，在获取待检测图像序列时，可以首先抽取预设帧数的视频帧，再截取抽取的视频帧中的行为区域，得到待检测图像序列；还可以先对待检测图像序列中的行为区域进行截取，再从截取后的视频帧中抽取预设数量的视频帧，得到待检测图像序列。
本申请的一个实施例中，在上述图1中的步骤103确定待检测图像序列中目标对象的行为为异常行为步骤之后，可以确定待检测图像序列的起始时间和结束时间，对待检测视频中，起始时间和结束时间期间的视频进行显示。
例如，假设待检测图像序列的起始时间为第3秒时刻，结束时间为第8秒时刻，则显示待检测视频中第3秒时刻至第8秒时刻的视频。这样在显示视频时，不会因为待检测图像序列而丢帧，便于用户观看完整的视频。
本申请的一个实施例中，还可以在显示的视频中标注行为区域。具体的，可以在显示的视频中标注行为区域的外边框，这样便于用于直观地查看目标对象运动经过的区域。
参见图7，图7为本申请实施例提供的行为检测方法的又一种流程示意图，包括如下步骤701至步骤704：
步骤701，在待检测视频中获取目标对象的行为区域的待检测图像序列。
步骤702，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征。
步骤703，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离，在相对距离大于或等于预设距离阈值的情况下，确定待检测图像序列中目标对象的行为为异常行为。
步骤704，确定待检测图像序列的起始时间和结束时间，对待检测视频中，起始时间和结束时间期间的视频进行显示，并标注行为区域。
应用上述实施例提供的方案进行行为检测时，首先在待检测视频中获取包含目标对象的待检测图像序列，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离。由于上述参考特征可以表征正常行为的特征，因此在相对距离大于或等于预设距离阈值的情况下，认为上述目标对象的行为与正常行为的差异较大，进而确定待检测图像序列中目标对象的行为为异常行为。这样通过对目标对象的行为特征与预设的正常行为的参考特征相比较，根据比较结果确定目标对象的行为是否为异常行为，可以提高行为检测的准确度。另一方面，待检测视频为预设场景下采集的视频，且行为特征提取模型为：用于提取预设场景中对象的行为特征的神经网络模型。这样行为特征提取模型更能适应上述预设场景，提取得到的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
参见图8，图8为本申请实施例提供的一种行为检测装置的结构示意图，所述装置包括：
图像序列获得模块801，用于在待检测视频中获取包含目标对象的待检测图像序列，其中，所述待检测视频为：在预设场景下采集的视频；
行为特征提取模块802，用于将所述待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，其中，所述行为特征提取模型为：用于提取所述预设场景中对象的行为特征的神经网络模型；
行为确定模块803，用于计算所述待对比行为特征与预设的正常行为的参考特征之间的相对距离，在所述相对距离大于或等于预设距离阈值的情况下，确定所述待检测图像序列中所述目标对象的行为为异常行为。
本申请的一个实施例中，所述装置还包括模型训练模块，用于通过以下方式训练得到所述行为特征提取模型，所述模型训练模块包括：
第一样本获得单元，用于获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
第一模型训练单元，用于以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
第二样本获得单元，用于获得所述预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
第二模型训练单元，用于基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
本申请的一个实施例中，所述距离差值条件包括：
正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值；或
正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值，且正常样本行为特征之间的第二特征距离小于或等于预设的第二距离阈值；或
将所述第一特征距离和第二特征距离输入预设函数得到的距离函数值满足距离函数条件，其中，所述距离函数条件为：在所述距离函数值与所述第一特征距离正相关、与所述第二特征距离负相关的情况下，所述距离函数值大于或等于第一函数阈值，或，在所述距离函数值与所述第一特征距离负相关、与所述第二特征距离正相关的情况下，所述距离函数值小于或等于第二函数阈值。
本申请的一个实施例中，所述第二模型训练单元，具体用于：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离；
若所述第一特征距离小于预设的第一距离阈值，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述第一特征距离大于或等于所述第一距离阈值，得到最终训练完成的行为特征提取模型。
本申请的一个实施例中，所述第二模型训练单元，具体用于：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离；
若所述第一特征距离小于预设的第一距离阈值或所述第二特征距离大于预设的第二距离阈值，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述第一特征距离大于或等于所述第一距离阈值且所述第二特征距离小于或等于所述第二距离阈值，得到最终训练完成的行为特征提取模型。
本申请的一个实施例中，所述第二模型训练单元，具体用于：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离；
将所述第一特征距离和第二特征距离输入预设函数，得到距离函数值；
若所述距离函数值不满足预设的距离函数条件，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述距离函数值满足所述距离函数条件，得到最终训练完成的行为特征提取模型，其中，所述距离函数条件为：在所述距离函数值与所述第一特征距离正相关、与所述第二特征距离负相关的情况下，所述距离函数值大于或等于第一函数阈值，或，在所述距离函数值与所述第一特征距离负相关、与所述第二特征距离正相关的情况下，所述距离函数值小于或等于第二函数阈值。
本申请的一个实施例中，所述装置还包括参考特征确定模块，用于通过以下方式确定所述参考特征：
将所获得的所述预设场景下采集的正常样本图像序列输入最终训练完成的行为特征提取模型，得到参考正常样本行为特征；
计算所得到的参考正常样本行为特征的特征中心，作为所述参考特征。
本申请的一个实施例中，所述图像序列获得模块801，具体用于：
在待检测视频中获取包含目标对象的行为区域的待检测图像序列，其中，所述行为区域为：预设时长内所述目标对象的行为在所述待检测视频的图像中所覆盖的区域。
本申请的一个实施例中，所述装置还包括行为区域确定模块，用于通过以下方式确定所述行为区域：检测所述预设时长期间，所述待检测视频的每一帧图像中，所述目标对象所在目标区域；将包含每一帧图像中目标区域的区域，确定为行为区域。
本申请的一个实施例中，所述装置还包括视频显示模块，用于在确定所述待检测图像序列中所述目标对象的行为为异常行为后，确定所述待检测图像序列的起始时间和结束时间；对所述待检测视频中，所述起始时间和结束时间期间的视频进行显示。
应用上述实施例提供的方案进行行为检测时，首先在待检测视频中获取包含目标对象的待检测图像序列，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离。由于上述参考特征可以表征正常行为的特征，因此在相对距离大于或等于预设距离阈值的情况下，认为上述目标对象的行为与正常行为的差异较大，进而确定待检测图像序列中目标对象的行为为异常行为。这样通过对目标对象的行为特征与预设的正常行为的参考特征相比较，根据比较结果确定目标对象的行为是否为异常行为，可以提高行为检测的准确度。另一方面，待检测视频为预设场景下采集的视频，且行为特征提取模型为：用于提取预设场景中对象的行为特征的神经网络模型。这样行为特征提取模型更能适应上述预设场景，提取得到的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
参见图9，图9为本申请实施例提供的行为特征提取模型训练装置的一种结构示意图，所述装置包括：
第一样本获得模块901，用于获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
第一模型训练模块902，用于以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
第二样本获得模块903，用于获得预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
第二模型训练模块904，用于基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
这样得到的行为特征提取模型更能适应预设场景，提取的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
本申请实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，存储器1003，用于存放计算机程序；处理器1001，用于执行存储器1003上所存放的程序时，实现行为检测和/或行为特征提取模型训练方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一行为检测和/或行为特征提取模型训练方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一行为检测和/或行为特征提取模型训练方法。
应用上述实施例提供的方案进行行为检测时，首先在待检测视频中获取包含目标对象的待检测图像序列，将待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，计算待对比行为特征与预设的正常行为的参考特征之间的相对距离。由于上述参考特征可以表征正常行为的特征，因此在相对距离大于或等于预设距离阈值的情况下，认为上述目标对象的行为与正常行为的差异较大，进而确定待检测图像序列中目标对象的行为为异常行为。这样通过对目标对象的行为特征与预设的正常行为的参考特征相比较，根据比较结果确定目标对象的行为是否为异常行为，可以提高行为检测的准确度。另一方面，待检测视频为预设场景下采集的视频，且行为特征提取模型为：用于提取预设场景中对象的行为特征的神经网络模型。这样行为特征提取模型更能适应上述预设场景，提取得到的预设场景中目标对象的行为特征更加准确，可以进一步提高行为检测的准确度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种行为检测方法，其特征在于，所述方法包括：
在待检测视频中获取包含目标对象的待检测图像序列，其中，所述待检测视频为：在预设场景下采集的视频；
将所述待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，其中，所述行为特征提取模型为：用于提取所述预设场景中对象的行为特征的神经网络模型；
计算所述待对比行为特征与预设的正常行为的参考特征之间的相对距离，在所述相对距离大于或等于预设距离阈值的情况下，确定所述待检测图像序列中所述目标对象的行为为异常行为。
2.根据权利要求1所述的方法，其特征在于，通过以下方式训练得到所述行为特征提取模型：
获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
获得所述预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
3.根据权利要求2所述的方法，其特征在于，所述距离差值条件包括：
正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值；或
正常样本行为特征与异常样本行为特征之间的第一特征距离大于或等于预设的第一距离阈值，且正常样本行为特征之间的第二特征距离小于或等于预设的第二距离阈值；或
将所述第一特征距离和第二特征距离输入预设函数得到的距离函数值满足距离函数条件，其中，所述距离函数条件为：在所述距离函数值与所述第一特征距离正相关、与所述第二特征距离负相关的情况下，所述距离函数值大于或等于第一函数阈值，或，在所述距离函数值与所述第一特征距离负相关、与所述第二特征距离正相关的情况下，所述距离函数值小于或等于第二函数阈值。
4.根据权利要求2所述的方法，其特征在于，所述基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型，包括：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离；
若所述第一特征距离小于预设的第一距离阈值，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述第一特征距离大于或等于所述第一距离阈值，得到最终训练完成的行为特征提取模型。
5.根据权利要求2所述的方法，其特征在于，所述基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型，包括：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离；
若所述第一特征距离小于预设的第一距离阈值或所述第二特征距离大于预设的第二距离阈值，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述第一特征距离大于或等于所述第一距离阈值且所述第二特征距离小于或等于所述第二距离阈值，得到最终训练完成的行为特征提取模型。
6.根据权利要求2所述的方法，其特征在于，所述基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型，包括：
分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型，获得所述初始行为特征提取模型输出的正常样本行为特征和异常样本行为特征；
计算各个正常样本行为特征与各个异常样本行为特征之间的第一特征距离、各个正常样本行为特征之间的第二特征距离；
将所述第一特征距离和第二特征距离输入预设函数，得到距离函数值；
若所述距离函数值不满足预设的距离函数条件，对所述初始行为特征提取模型进行参数调整，返回所述分别将各个正常样本图像序列和异常样本图像序列输入所述初始行为特征提取模型的步骤，直到所述距离函数值满足所述距离函数条件，得到最终训练完成的行为特征提取模型，其中，所述距离函数条件为：在所述距离函数值与所述第一特征距离正相关、与所述第二特征距离负相关的情况下，所述距离函数值大于或等于第一函数阈值，或，在所述距离函数值与所述第一特征距离负相关、与所述第二特征距离正相关的情况下，所述距离函数值小于或等于第二函数阈值。
7.根据权利要求2所述的方法，其特征在于，通过以下方式确定所述参考特征：
将所获得的所述预设场景下采集的正常样本图像序列输入最终训练完成的行为特征提取模型，得到参考正常样本行为特征；
计算所得到的参考正常样本行为特征的特征中心，作为所述参考特征。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述在待检测视频中获取包含目标对象的待检测图像序列，包括：
在待检测视频中获取包含目标对象的行为区域的待检测图像序列，其中，所述行为区域为：预设时长内所述目标对象的行为在所述待检测视频的图像中所覆盖的区域。
9.根据权利要求8所述的方法，其特征在于，通过以下方式确定所述行为区域：
检测所述预设时长期间，所述待检测视频的每一帧图像中，所述目标对象所在目标区域；
将包含每一帧图像中目标区域的区域，确定为行为区域。
10.一种行为特征提取模型训练方法，其特征在于，所述方法包括：
获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
获得预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
11.一种行为检测装置，其特征在于，所述装置包括：
图像序列获得模块，用于在待检测视频中获取包含目标对象的待检测图像序列，其中，所述待检测视频为：在预设场景下采集的视频；
行为特征提取模块，用于将所述待检测图像序列输入预先训练完成的行为特征提取模型进行行为特征提取，得到待对比行为特征，其中，所述行为特征提取模型为：用于提取所述预设场景中对象的行为特征的神经网络模型；
行为确定模块，用于计算所述待对比行为特征与预设的正常行为的参考特征之间的相对距离，在所述相对距离大于或等于预设距离阈值的情况下，确定所述待检测图像序列中所述目标对象的行为为异常行为。
12.一种行为特征提取模型训练装置，其特征在于，所述装置包括：
第一样本获得模块，用于获得多个初始样本图像序列，并对每一初始样本图像序列中样本对象的行为类别进行标注；
第一模型训练模块，用于以各个初始样本图像序列、每一初始样本图像序列中样本对象的行为类别为输入，对初始神经网络模型进行训练，得到初始行为特征提取模型；
第二样本获得模块，用于获得预设场景下采集的多个正常样本图像序列和异常样本图像序列，其中，所述正常样本图像序列中对象的行为属于针对所述预设场景预先设定的正常行为，所述异常样本图像序列中对象的行为属于针对所述预设场景预先设定的异常行为；
第二模型训练模块，用于基于所述各个正常样本图像序列和异常样本图像序列，以所述初始行为特征提取模型输出的正常样本行为特征与异常样本行为特征之间的距离差值，满足预设的识别异常行为的距离差值条件为训练目标，对所述初始行为特征提取模型进行再次训练，获得最终训练完成的行为特征提取模型。
13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。
CN202010322302.6A 2020-04-22 2020-04-22 行为检测、模型训练方法、装置、电子设备及存储介质 Pending CN111767783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010322302.6A CN111767783A (zh) 2020-04-22 2020-04-22 行为检测、模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010322302.6A CN111767783A (zh) 2020-04-22 2020-04-22 行为检测、模型训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111767783A true CN111767783A (zh) 2020-10-13

Family

ID=72720760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010322302.6A Pending CN111767783A (zh) 2020-04-22 2020-04-22 行为检测、模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111767783A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380971A (zh) * 2020-11-12 2021-02-19 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN112528801A (zh) * 2020-12-02 2021-03-19 上海高德威智能交通系统有限公司 一种异常事件检测方法、模型训练方法和装置
CN112633496A (zh) * 2020-12-18 2021-04-09 杭州海康威视数字技术股份有限公司 一种检测模型的处理方法及装置
CN112907949A (zh) * 2021-01-20 2021-06-04 北京百度网讯科技有限公司 交通异常的检测方法、模型的训练方法及装置
CN113469057A (zh) * 2021-07-02 2021-10-01 中南大学 火眼视频自适应检测方法、装置、设备及介质
CN113570473A (zh) * 2021-06-25 2021-10-29 深圳供电局有限公司 设备故障监测方法、装置、计算机设备和存储介质
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质
CN113673503A (zh) * 2021-08-25 2021-11-19 浙江大华技术股份有限公司 一种图像检测的方法及装置
CN113724214A (zh) * 2021-08-23 2021-11-30 唯智医疗科技(佛山)有限公司 一种基于神经网络的图像处理方法及装置
CN115457601A (zh) * 2022-11-14 2022-12-09 中国平安财产保险股份有限公司 牲畜面部检测方法、装置、计算机设备及存储介质
CN116049755A (zh) * 2023-03-15 2023-05-02 阿里巴巴（中国）有限公司 时间序列的检测方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917207A (zh) * 2012-10-24 2013-02-06 沈阳航空航天大学 基于运动序列的异常行为视觉监测系统
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及系统
CN110087099A (zh) * 2019-03-11 2019-08-02 北京大学 一种保护隐私的监控方法和系统
US20190325197A1 (en) * 2017-11-28 2019-10-24 Shenzhen Sensetime Technology Co., Ltd Methods and apparatuses for searching for target person, devices, and media
CN110956111A (zh) * 2019-11-22 2020-04-03 苏州闪驰数控系统集成有限公司 人工智能cnn、lstm神经网络步态识别系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102917207A (zh) * 2012-10-24 2013-02-06 沈阳航空航天大学 基于运动序列的异常行为视觉监测系统
US20190325197A1 (en) * 2017-11-28 2019-10-24 Shenzhen Sensetime Technology Co., Ltd Methods and apparatuses for searching for target person, devices, and media
CN109145841A (zh) * 2018-08-29 2019-01-04 武汉大学 一种基于视频监控的异常事件的检测方法及装置
CN110087099A (zh) * 2019-03-11 2019-08-02 北京大学 一种保护隐私的监控方法和系统
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及系统
CN110956111A (zh) * 2019-11-22 2020-04-03 苏州闪驰数控系统集成有限公司 人工智能cnn、lstm神经网络步态识别系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
印勇;张毅;刘丹平;: "基于改进Hu矩的异常行为识别", 计算机技术与发展, no. 09, 10 September 2009 (2009-09-10), pages 90 - 92 *
张俊阳;谢维信;植柯霖;: "基于运动前景效应图特征的人群异常行为检测", 信号处理, no. 03, 25 March 2018 (2018-03-25), pages 296 - 304 *
黄鑫;肖世德;宋波;: "监控视频中的车辆异常行为检测", 计算机系统应用, no. 02, 15 February 2018 (2018-02-15), pages 125 - 131 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380971A (zh) * 2020-11-12 2021-02-19 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN112380971B (zh) * 2020-11-12 2023-08-25 杭州海康威视数字技术股份有限公司 一种行为检测方法、装置及设备
CN112528801A (zh) * 2020-12-02 2021-03-19 上海高德威智能交通系统有限公司 一种异常事件检测方法、模型训练方法和装置
CN112528801B (zh) * 2020-12-02 2024-02-02 上海高德威智能交通系统有限公司 一种异常事件检测方法、模型训练方法和装置
CN112633496A (zh) * 2020-12-18 2021-04-09 杭州海康威视数字技术股份有限公司 一种检测模型的处理方法及装置
CN112633496B (zh) * 2020-12-18 2023-08-08 杭州海康威视数字技术股份有限公司 一种检测模型的处理方法及装置
CN112907949B (zh) * 2021-01-20 2022-11-22 北京百度网讯科技有限公司 交通异常的检测方法、模型的训练方法及装置
CN112907949A (zh) * 2021-01-20 2021-06-04 北京百度网讯科技有限公司 交通异常的检测方法、模型的训练方法及装置
CN113570473B (zh) * 2021-06-25 2024-02-09 深圳供电局有限公司 设备故障监测方法、装置、计算机设备和存储介质
CN113570473A (zh) * 2021-06-25 2021-10-29 深圳供电局有限公司 设备故障监测方法、装置、计算机设备和存储介质
CN113469057A (zh) * 2021-07-02 2021-10-01 中南大学 火眼视频自适应检测方法、装置、设备及介质
CN113469057B (zh) * 2021-07-02 2023-04-28 中南大学 火眼视频自适应检测方法、装置、设备及介质
CN113673342A (zh) * 2021-07-19 2021-11-19 浙江大华技术股份有限公司 行为检测方法、电子装置和存储介质
CN113724214A (zh) * 2021-08-23 2021-11-30 唯智医疗科技(佛山)有限公司 一种基于神经网络的图像处理方法及装置
CN113724214B (zh) * 2021-08-23 2024-02-23 唯智医疗科技(佛山)有限公司 一种基于神经网络的图像处理方法及装置
CN113673503A (zh) * 2021-08-25 2021-11-19 浙江大华技术股份有限公司 一种图像检测的方法及装置
CN113673503B (zh) * 2021-08-25 2024-03-26 浙江大华技术股份有限公司 一种图像检测的方法及装置
CN115457601A (zh) * 2022-11-14 2022-12-09 中国平安财产保险股份有限公司 牲畜面部检测方法、装置、计算机设备及存储介质
CN116049755A (zh) * 2023-03-15 2023-05-02 阿里巴巴（中国）有限公司 时间序列的检测方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111767783A (zh) 行为检测、模型训练方法、装置、电子设备及存储介质
CN110047095B (zh) 基于目标检测的跟踪方法、装置及终端设备
CN109165589B (zh) 基于深度学习的车辆重识别方法和装置
CN108038176B (zh) 一种路人库的建立方法、装置、电子设备及介质
CN108268867B (zh) 一种车牌定位方法及装置
CN108805016B (zh) 一种头肩区域检测方法及装置
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
CN111210399B (zh) 一种成像质量评价方法、装置及设备
CN109325440B (zh) 人体动作识别方法及系统
CN109426785B (zh) 一种人体目标身份识别方法及装置
WO2018121287A1 (zh) 目标再识别方法和装置
CN112348117A (zh) 场景识别方法、装置、计算机设备和存储介质
CN109740416B (zh) 目标跟踪方法及相关产品
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
WO2022127814A1 (zh) 一种图像的显著性物体检测方法、装置、设备及存储介质
CN111814846B (zh) 属性识别模型的训练方法、识别方法及相关设备
CN110674680A (zh) 活体识别的方法、装置、存储介质
CN113435355A (zh) 多目标奶牛身份识别方法及系统
CN111814612A (zh) 目标的脸部检测方法及其相关装置
CN112733666A (zh) 一种难例图像的搜集、及模型训练方法、设备及存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN114299546A (zh) 识别宠物身份的方法、装置、存储介质及电子设备
CN114168768A (zh) 图像检索方法及相关设备
CN112132892A (zh) 目标位置标注方法、装置及设备
CN111738173A (zh) 视频片段检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination