CN111814653B - 一种视频中异常行为的检测方法、装置、设备及存储介质 - Google Patents

一种视频中异常行为的检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111814653B
CN111814653B CN202010633797.4A CN202010633797A CN111814653B CN 111814653 B CN111814653 B CN 111814653B CN 202010633797 A CN202010633797 A CN 202010633797A CN 111814653 B CN111814653 B CN 111814653B
Authority
CN
China
Prior art keywords
video
abnormal behavior
dimensional
target
residual convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010633797.4A
Other languages
English (en)
Other versions
CN111814653A (zh
Inventor
徐轲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Jiaochi Artificial Intelligence Research Institute Co ltd
Original Assignee
Suzhou Jiaochi Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Jiaochi Artificial Intelligence Research Institute Co ltd filed Critical Suzhou Jiaochi Artificial Intelligence Research Institute Co ltd
Priority to CN202010633797.4A priority Critical patent/CN111814653B/zh
Publication of CN111814653A publication Critical patent/CN111814653A/zh
Application granted granted Critical
Publication of CN111814653B publication Critical patent/CN111814653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种视频中异常行为的检测方法、装置、设备及存储介质，该方法包括：当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。本发明实施例的技术方案，实现了通过计算机完成对视频中异常行为动作的检测，提高了获取视频中异常行为动作的效率，节省了大量人力成本和时间成本，避免了由于人工监测导致漏检测现象发生。

Description

一种视频中异常行为的检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理和视频监控领域，尤其涉及一种视频中异常行为的检测方法、装置、设备及存储介质。
背景技术
随着科技的不断进步，视频监控技术被广泛应用于各个行业，尤其对于公公场所的安全性需求，提供了极大的帮助。
现有的视频监控技术仅能用于视频的捕获、存储和回放，功能性较为单一，对于视频图像中的异常行为(例如，打架和伤人)，还是通过安保人员的监测方式获取。
然而，人工监测的方式容易出现人员疲惫现象，尤其面对不同通道传来的监控视频时，往往会目不暇接、反应迟缓，很难及时观察到一些潜在的异常行为，无法对突发的异常行为做出迅速、高效、合理、准确的反应。
发明内容
本发明实施例提供了一种视频中异常行为的检测方法、装置、设备及存储介质。
第一方面，本发明实施例提供了一种视频中异常行为的检测方法，包括：
当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。
第二方面，本发明实施例提供了一种视频中异常行为的检测装置，包括：
视频片段集获取模块，用于当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
异常行为得分获取模块，用于将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
异常行为检测执行模块，用于根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。
第三方面，本发明实施例还提供了一种设备，设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所述的视频中异常行为的检测方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时实现本发明任意实施例所述的视频中异常行为的检测方法。
本发明实施例的技术方案，将待检测的视频分割为视频片段集后，通过训练完成的目标异常行为识别模型，获取各视频片段的异常行为得分，并据此判断待检测的视频中是否存在异常行为，实现了通过计算机完成对视频中异常行为动作的检测，提高了获取视频中异常行为动作的效率，节省了大量人力成本和时间成本，避免了由于人工监测导致漏检测现象发生。
附图说明
图1是本发明实施例一提供的一种视频中异常行为的检测方法的流程图；
图2是本发明实施例二提供的一种视频中异常行为的检测方法的流程图；
图3A是本发明实施例三提供的一种视频中异常行为的检测方法的流程图；
图3B是本发明实施例三提供的三维卷积神经网络单元的结构图；
图3C是本发明实施例三提供的第一类型三维残差卷积模块的结构图；
图3D是本发明实施例三提供的第二类型三维残差卷积模块的结构图；
图3E是本发明实施例三提供的第三类型三维残差卷积模块的结构图；
图3F是本发明实施例三提供的第四类型三维残差卷积模块的结构图；
图4是本发明实施例四提供的一种视频中异常行为的检测方法的流程图；
图5是本发明实施例五提供的一种视频中异常行为的检测方法的流程图；
图6是本发明实施例六提供的一种视频中异常行为的检测装置的结构框图；
图7是本发明实施例七提供的一种设备的结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频中异常行为的检测方法的流程图，本实施例适用于对视频图像中的异常行为进行检测，该方法可以由本发明实施例中的视频中异常行为的检测装置来执行，该装置可以通过软件和/或硬件实现，并集成在终端设备中，典型的，可以集成监控摄像组件的控制终端中，该方法具体包括如下步骤：
S110、当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段。
需要进行异常行为检测的视频，可能为一段时长较长的视频，例如，由监控摄像头拍摄的历史监控录像，时长可达几个小时甚至几十个小时，也可能为一段时长较短的视频，例如，由监控摄像头拍摄的实时监控录像，以10秒作为获取周期，也即待检测视频的时长为10秒，为了便于对视频图像的识别，需要将待检测的视频进行分割处理；预设片段时长可以根据需求设定，通常设定为较短时长的视频片段，例如，将预设片段时长设定为3秒，也即将获取到的待检测的视频分割为一个或多个3秒长度的视频片段，并组成视频片段集；当待检测的视频被分割成多个视频片段后，该视频中剩余部分不足3秒时，以实际剩余时长作为一个视频片段；特别的，当待检测的视频时长较短，小于等于预设片段时长时，该视频本身作为一个视频片段。
S120、将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分。
目标异常行为识别模型是通过训练样本训练后获取的数学模型，在本发明实施例中，用于根据输入的各个视频片段，通过提取图像内容，例如，图像中是否存在挥动武器、挥拳和/或脚踢等异常行为动作，进而确定该视频片段的异常行为得分，而视频片段中不同的异常行为动作，异常行为得分也不相同，例如，挥动武器和脚踢，这两个动作的危险程度不同，获取到的异常行为得分也不相同；其中，异常行为得分，也即异常行为的概率，其取值范围为大于等于0且小于等于1，如果判断该视频片段中存在异常行为的概率越高，那么相应的，异常行为得分越高。
可选的，在本发明实施例中，目标异常行为识别模型基于神经网络算法构建；具体的，在将所述视频片段集输入至训练完成的目标异常行为识别模型前，包括：根据神经网络算法构建初始异常行为识别模型；获取训练样本集；其中，所述训练样本集包括至少一个训练样本，所述训练样本包括至少一个正视频包和至少一个负视频包，所述正视频包包括异常行为动作，所述负视频包不包括异常行为动作，所述正视频包根据所述预设片段时长分割为正视频示例集，所述负视频包根据所述预设片段时长分割为负视频示例集，所述正视频示例集包括至少一个正视频示例，所述负视频示例集包括至少一个负视频示例，所述正视频示例和所述负视频示例均包括标签；根据所述训练样本集中的至少一个训练样本对所述初始异常行为识别模型进行训练，以获取训练完成的目标异常行为识别模型。
正视频包是包括异常行为动作的视频，不管该视频的时长长短，只要该视频中出现了异常行为动作，该视频即视为正视频包；例如，一段视频的时长为15分钟，出现异常行为动作的时长仅为10秒，那么该视频仍被视为正视频包，正视频包根据预设片段时长(例如，3秒)分割后的视频片段集即为正视频示例集，每个视频片段即为正视频示例，以上述技术方案为例，获取到的正视频示例集包括300个时长均为3秒的正视频示例；负视频包是不包括异常行为动作的视频，不管该视频的时长长短，只要该视频中未出现异常行为动作，该视频即为负视频包；例如，一段视频的时长为5分钟，未出现异常行为动作，那么该视频即为负视频包，负视频包根据预设片段时长(例如，3秒)分割后的视频片段集即为负视频示例集，每个视频片段即为负视频示例，以上述技术方案为例，获取到的负视频示例集包括了100个时长均为3秒的负视频示例。标签，标注了视频示例的属性信息；在多示例学习中，每个视频示例都有对应的标签，在本发明实施例中，标签中标注了该视频示例中是否存在异常行为动作，若该视频示例中存在异常行为动作，则标注为1；若该视频示例中不存在异常行为动作，则标注为0。特别的，标签中标注的分值，也表示了异常行为识别模型识别该视频示例时的期望值，也即期望异常行为得分，例如，对于存在异常行为的正视频示例，希望异常行为识别模型的识别结果为1，也即判断该视频示例中存在异常行为的概率为1，对于负视频示例，希望异常行为识别模型的识别结果为0，也即判断该视频示例中存在异常行为的概率为0。
可选的，在本发明实施例中，训练集样本可以通过图像识别数据库ImageNet获取；其中，ImageNet是用于视觉对象识别软件研究的大型可视化数据库，包括1400万个注释图像，用以指示图片中的对象，以及2万多个分类类别，而在其中至少一百万个图像中，还提供了边界框，因此，ImageNet提供了丰富的图像识别训练样本。
可选的，在本发明实施例中，所述根据所述训练样本集中的至少一个训练样本对所述初始异常行为识别模型进行训练，以获取训练完成的目标异常行为识别模型，包括：将所述训练样本集中的第一训练样本输入至所述初始异常行为识别模型中，以获取所述第一训练样本中各视频示例的预测异常行为得分，并将预测异常行为得分最高的正视频示例和负视频示例，分别作为目标正视频示例和目标负视频示例；根据所述第一训练样本中各视频示例的预测异常行为得分，绘制接受者操作特征曲线，并获取与所述接受者操作特征曲线对应的曲线下方面积；判断所述曲线下方面积是否符合预设阈值条件；若所述曲线下方面积符合预设阈值条件，则将所述初始异常行为识别模型作为训练完成的目标初始异常行为识别模型。
由于初始构建的异常行为识别模型仅仅具备通用的图像识别能力，并未经过训练样本进行针对性训练，因此，初始异常行为识别模型识别各视频示例(包括该训练样本中的所有正视频示例和负视频示例)获得的异常行为得分存在一定误差，将该异常行为得分作为预测值；在该训练样本的所有正视频示例中，获取该预测值(即预测异常行为得分)最高的示例作为目标正视频示例，目标正视频示例也即该训练样本中最有可能出现异常行为的视频片段；在所有负视频示例中，获取该预测值最高的示例作为目标负视频示例。
接受者操作特征曲线(receiver operating characteristic curve，ROC曲线)在机器学习中用来衡量二值分类的性能，根据各视频示例的预测异常行文得分和各视频示例的期望异常行为得分，绘制出相关的ROC曲线；而ROC曲线中曲线下方面积，也即ROC曲线下与坐标轴围成的面积(Area Under Curve，AUC)，该数值在大于等于0且小于等于1的范围内，数值越大，也即越接近于1或等于1，表明二值分类的性能越好，在本发明实施例中，AUC的数值越大，表明构建的异常行为识别模型对异常行为判断的准确性越高；预设阈值条件，是根据需要设定的面积阈值，预设阈值条件的数值越大，那么表明要求构建的异常行为识别模型的准确性越高；当AUC的数值大于等于预设阈值条件时，则表明构建的异常行为识别模型已经具备了较好的分类准确性，可以作为训练完成的目标异常行为识别模型使用。
若所述曲线下方面积不符合预设阈值条件，则根据所述目标正视频示例的预测异常行为得分、所述目标负视频示例的预测异常行为得分、所述目标正视频示例的期望异常行为得分和所述目标负视频示例的期望异常行为得分，调整所述初始异常行为识别模型的网络参数，以获取调整后的中间异常行为识别模型，并继续获取所述训练样本集中的第二训练样本对所述中间异常行为识别模型进行训练，直至获取到目标曲线下方面积符合预设阈值条件时，将与所述目标曲线下方面积对应的目标中间异常行为识别模型作为训练完成的目标异常行为识别模型。网络参数，是神经网络中的权重值；由于初始神经网络模型在建立时，权重值是随机或根据经验值建立的，因此，通常需要对初始建立的神经网络模型进行多次训练，以调整其网络参数；而对网络参数的调整，是通过反向传播算法，将输入数据输入神经网络模型获取的激励响应，也即预测输出值，以及与输入数据对应的实际期望值，进行差值运算，获取神经网络模型中隐层和输出层之间的响应误差，再根据响应误差获取各突触上的权重值；例如，将目标正视频示例的期望异常行为得分(即实际期望值)和目标正视频示例的预测异常行为得分(即预测输出值)进行差值处理，并将差值结果作为响应误差；也可以将目标负视频示例的期望异常行为得分和目标负视频示例的预测异常行为得分进行差值处理，并将差值结果作为响应误差；还可以将目标正视频示例的期望异常行为得分和目标正视频示例的预测异常行为得分(即预测输出值)进行差值处理的结果，与目标负视频示例的期望异常行为得分和目标负视频示例的预测异常行为得分(即预测输出值)进行差值处理的结果，再进行平均值处理，将获取的平均值作为响应误差；在本发明实施例中，对响应误差的获取方式不作具体限定。
S130、根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。
获取到各个视频片段的异常行为得分后，可以根据预设得分阈值，判断各个视频片段中是否存在异常行为；其中，预设得分阈值，是判断一个视频片段中是否存在异常行为的临界值，例如，预设得分阈值为0.8，也即当一个视频片段的异常行为得分大于等于0.8时，即可判断该视频片段中存在异常行为；如果视频片段集中至少一个视频片段中存在异常行为，那么即可判断该视频中存在异常行为；如果视频片段集中的视频片段都不存在异常行为，那么即可判断该视频中不存在异常行为。特别的，视频片段集中，存在异常行为的视频片段越多，也反应了该视频存在异常行为的时长越长。
本发明实施例的技术方案，将待检测的视频分割为视频片段集后，通过训练完成的目标异常行为识别模型，获取各视频片段的异常行为得分，并据此判断待检测的视频中是否存在异常行为，实现了通过计算机完成对视频中异常行为动作的检测，提高了获取视频中异常行为动作的效率，节省了大量人力成本和时间成本，避免了由于人工监测导致漏检测现象发生。
实施例二
图2为本发明实施例二提供的一种视频中异常行为的检测方法的流程图，本实施例在上述技术方案的基础上具体化，在本发明实施例中，根据目标正视频示例的预测异常行为得分、目标负视频示例的预测异常行为得分、目标正视频示例的期望异常行为得分和目标负视频示例的期望异常行为得分，构建目标函数，并根据目标函数调整初始异常行为识别模型的网络参数，该方法具体包括如下步骤：
S210、将目标正视频示例的期望异常行为得分与所述目标负视频示例的期望异常行为得分的差值，作为目标期望得分。
目标正视频示例的期望异常行为得分和目标负视频示例的期望异常行为得分均可以通过各自视频示例的标签直接获取，对于存在异常行为动作的正视频示例来说，期望异常行为得分为1，也即希望判断该视频示例存在异常行为的概率为1；对于负视频示例来说，期望异常行为得分为0，也即判断该视频示例存在异常行为的概率为0；由此可知，目标期望得分可以表示为1-0＝1。
S220、将所述目标正视频示例的预测异常行为得分与所述目标负视频示例的预测异常行为得分的差值，作为目标预测得分。
目标预测得分可以通过多示例排序损失函数(公式1.1)表示：
其中，i是正视频包的编号，p是正视频示例的编号，j是负视频包的编号，q是正视频示例的编号，N是该训练样本中视频包的数量，NC是该训练样本中正视频包的数量，在本发明实施例中，为了便于计算，将训练样本中的正视频包放在负视频包的前边，由此，xi,p和xj,q分别表示对应的正视频示例和负视频示例，A(xi,p)和A(xy,q)分别表示正视频示例的预测异常行为得分和负视频示例的预测异常行为得分，和/>分别表示目标正视频示例的预测异常行为得分和目标负视频示例的预测异常行为得分。
由于正视频包中预测异常行为得分最高的正视频示例，最有可能是出现异常行为的视频片段，而负视频包中异常行为得分最高的负视频示例，是最有可能被错误预测的，也即该负视频示例中本身不存在异常行为，但因为其预测异常行为得分过高，可能被错误预测为异常行为，因此，为了使预测异常行为得分最高的正视频示例与预测异常得分最高的负视频示例在预测异常行为得分在分值上差距尽可能增大，因此，目标预测得分可以通过折页损失形式的多示例排序损失函数(公式1.2)表示：
S230、根据所述目标预测得分，构建目标函数。
由于视频片段的图像序列在时间上是连续的，因此两个相邻的视频片段之间的异常行为得分相差不大且相对平滑，因此可以通过添加时序平滑约束的方式，最小化两个相邻视频片段的异常行为得分的差值，具体的可以通过时序平滑约束项(公式1.3)表示：
其中，β1表示时序平滑约束系数，可以根据需要设定，例如，设定为0.9；ni表示第i个视频包中视频示例的个数。
同时，由于视频中发生异常行为的时间范围通常相对较小，所以正视频包中存在异常行为的正视频示例的得分应该是稀疏的，因此可以通过添加稀疏性约束，使得视频片段的异常行为得分具有稀疏性，具体的可以通过稀疏约束项(公式1.4)表示：
其中，β2表示稀疏约束系数，可以根据需要设定，例如，设定为0.999。
由公式1.2、公式1.3和公式1.4可以获取目标函数(公式1.5)
其中，是正则化项，β3是正则化项系数，可以根据需要设定；W表示网络参数，即权重值。
S240、根据所述目标函数和所述目标期望得分，调整所述初始异常行为识别模型的网络参数。
将目标期望得分与目标函数的差值，作为响应误差，再通过反向传播算法，再根据响应误差即可获取神经网络模型中各突触上的权重值，进而获取到目标异常行为识别模型。
本发明实施例的技术方案，在对初始异常行为识别模型进行训练时，将目标正视频示例与所述目标负视频示例的期望异常行为得分的差值，作为目标期望得分，以及目标正视频示例与所述目标负视频示例的预测异常行为得分的差值，作为目标预测得分，进而根据目标期望得分和目标预测得分调整初始异常行为识别模型的网络参数，相比于通过单一视频示例自身的期望得分与预测得分进行模型训练，简化了模型的训练过程，同时充分考虑了对困难示例(即目标负视频示例)的训练，保证了初始异常行为识别模型的训练效果。
实施例三
图3A为本发明实施例三提供的一种视频中异常行为的检测方法的流程图，本实施例在上述技术方案的基础上具体化，在本发明实施例中，根据二维空间卷积单元和一维时序卷积单元，构建用于识别视频中异常行为的三维卷积神经网络模型，该方法具体包括如下步骤：
S310、获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块；其中，所述第一类型三维残差卷积模块包括第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块。
卷积神经网络(Convolutional Neural Networks，CNN)是深度学习(DeepLearning)中包含卷积计算且具有深度结构的前馈神经网络(Feedforward NeuralNetworks)；在本发明实施例中，通过二维卷积神经网络和一维卷积神经网络表示三维卷积神经网络，以图3B为例，卷积核为3×3×3的三维卷积单元，拆分为卷积核为1×3×3的二维空间卷积单元和3×1×1的一维时域卷积单元，拆分后的三维卷积神经网络单元相比于同样深度的二维卷积神经网络单元，并未增加参数数量和运行时间，同时，由于其中的二维空间卷积单元可以使用已有的图像数据(例如，利用ImageNet图像识别数据库中已有的图像数据)进行预训练，因此不需要通过大量且精细标注的视频数据进行训练，减少了对视频数据的标注需求。二维空间卷积单元，具有高度和宽度两个空间维度，可以表示视频数据的空间信息；一维时序卷积单元，具有深度维度，可以表示视频信息在时间上的连续性，因此，在获取视频图像中每一帧视觉特征的同时，还能获取相邻帧随时间推移的变化。
三维卷积神经网络模型，包括：卷积层、池化层、激活层和全连接层；所述卷积层包括至少一个三维残差卷积组件；所述三维残差卷积组件，用于提取图像特征；其中，所述三维残差卷积组件根据所述二维空间卷积单元和所述一维时序卷积单元构建。卷积层，用于通过获取特征图(feature map)来提取图像中的特征，例如，图像的颜色特征、纹理特征、形状特征和空间关系特征；其中，颜色特征，描述了图像或图像区域所对应的景物的表面性质，是基于像素点的特征；纹理特征，描述了图像或图像区域所对应景物的表面性质，其需要在包含多个像素点的区域中进行统计计算；形状特征，则描述物体外边界的轮廓特征，以及整体上的区域特征；空间关系特征，是视频图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，例如，连接关系、重叠关系以及包含关系等，在本发明实施例中，对提取的图像特征不作具体限定；池化层，用于减少图像特征的维度，以简化计算复杂度，以及压缩图像特征，以便于在所有图像特征中提取主要特征；激活层，用于提供激励函数；其中，激励函数，表示了神经网络中上层节点的输出与下层节点输入之间的函数关系，通常将非线性函数作为激励函数，使得神经网络模型不再只能反映输入与输出的线性关系，可以趋近于反映任意的函数关系，进而提高神经网络模型的表达能力，在本发明实施例中，可选的，将线性整流函数(Rectified Linear Unit，ReLU)作为激活层中的激励函数；全连接层，用于连接特征，并计算获取目标数值；三维卷积神经网络模型可通过全连接层，将计算获取的目标数值发送给分类器(例如，softmax分类器)，以实现图像分类。
通过二维空间卷积神经网络单元(卷积核为1×3×3)和一维时序卷积神经网络单元(卷积核为3×1×1)来表示三维卷积神经网络(卷积核为3×3×3)时，彼此之间的连接关系无法确定，如图3C所示，可以存在串行连接、并行连接和捷径连接等不同的连接方式，由此也获取到三种对应的三维残差卷积模块，即第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；而三维残差卷积组件则包括至少一个第一串行连接三维残差卷积模块、至少一个第一并行连接三维残差卷积模块和至少一个第一捷径串行连接三维残差卷积模块。
可选的，在本发明实施例中，在根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块后，还包括：获取第一一维瓶颈卷积单元和第二一维瓶颈卷积单元，并根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块；其中，所述第二类型三维残差卷积模块包括第二串行连接三维残差卷积模块、第二并行连接三维残差卷积模块和第二捷径串行连接三维残差卷积模块。在第一类型残差卷积模块中添加瓶颈结构，可以有效减少计算复杂度，具体的，如图3D所示，第一一维瓶颈卷积单元(卷积核为1×1×1)设置在二维空间卷积单元之前，用于降低图像特征的维度，以减少计算的复杂度，第二二维卷积单元(卷积核为1×1×1)设置在一维时域卷积单元之后，用于恢复图像特征的维度。
可选的，在本发明实施例中，在根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块后，还包括：在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块；其中，所述第三类型三维残差卷积模块包括第三串行连接三维残差卷积模块、第三并行连接三维残差卷积模块和第三捷径串行连接三维残差卷积模块。在执行卷积操作后，进行批量归一化操作以及激励函数的激励作用，可以消除权重值规模对梯度传播的影响，提升三维卷积神经网络模型训练时的收敛速度，提高泛化能力；其中，批量归一化(Batch Normalization，BN)，是将每个待处理数据减去各待处理数据的均值，再除以各处理数据的方差，使各待处理数据服从均值为0且方差为1的分布(也即标准高斯分布)，其作用在于加快神经网络模型的训练速度和收敛速度，消除权值规模对梯度传播的影响，进而防止梯度爆炸和梯度消失，同时，防止过拟合现象的发生。具体的，如图3E所示，在第二类型三维残差卷积模块中插入多个批量归一化单元和激励函数单元，以获取第三类型三维残差卷积模块。
可选的，在本发明实施例中，在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块后，还包括：在所述第三类型三维残差卷积模块中，以捷径连接方式插入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块；其中，所述第四类型三维残差卷积模块包括第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块。由于在残差神经网络中，跳跃连接会遇到输入与输出维度不匹配的情况，导致恒等映射不能直接相加，因此，为了减少神经网络的参数数量，统一输入输出的维度，以捷径连接的方式连接加入第三一维瓶颈卷积单元(卷积核为1×1×1)；具体的，如图3F所示，在第三类型三维残差卷积模块中以捷径连接的方式加入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块。
S320、根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件。
根据第一类型三维残差卷积模块，构建的三维残差卷积组件中包括至少一个第一串行连接三维残差卷积模块、至少一个第一并行连接三维残差卷积模块和至少一个第一捷径串行连接三维残差卷积模块。
可选的，在本发明实施例中，所述根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件，包括：根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件。根据第二类型三维残差卷积模块，构建的三维残差卷积组件中包括至少一个第二串行连接三维残差卷积模块、至少一个第二并行连接三维残差卷积模块和至少一个第二捷径串行连接三维残差卷积模块。
可选的，在本发明实施例中，所述根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件，包括：根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件。根据第三类型三维残差卷积模块，构建的三维残差卷积组件中包括至少一个第三串行连接三维残差卷积模块、至少一个第三并行连接三维残差卷积模块和至少一个第三捷径串行连接三维残差卷积模块。
可选的，在本发明实施例中，所述根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件，包括：根据所述第四类型三维残差卷积模块，构建所述三维残差卷积组件。根据第四类型三维残差卷积模块，构建的三维残差卷积组件中包括至少一个第四串行连接三维残差卷积模块、至少一个第四并行连接三维残差卷积模块和至少一个第四捷径串行连接三维残差卷积模块。
本发明实施例的技术方案，通过二维空间卷积单元和一维时序卷积单元，构建三维卷积神经网络模型，并在训练完成后用于提取图像特征，以及根据图像特征获取异常行为得分，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率，同时，使用现有的图像识别数据库中的训练参数即可完成对模型的训练，避免了手动构建预训练参数的繁琐过程，节省了大量的时间成本和人力成本。
实施例四
图4为本发明实施例四提供的一种视频中异常行为的检测方法的流程图，本实施例在上述技术方案的基础上进行具体化，在本实施例中，三维卷积神经网络模型的卷积层包括四个三维残差卷积组件，该方法具体包括如下步骤：
S401、获取目标视频。
目标视频是像素为224×224×3的图像。
S402、将目标视频输入初始卷积组件。
初始卷积组件的卷积核为7×7×64，步长为2，输入数据为224×224×3的图像，输出数据为112×112×64的图像。
S403、将初始卷积组件的输出数据输入第一激活层。
第一激活层对初始卷积组件的卷积结果进行批量归一化操作，并将ReLU作为激励函数。
S404、将第一激活层的输出数据输入第一池化层。
第一池化层采用最大值池化(max pooling)，也即选取图像区域的最大值作为该区域池化后的数值，卷积核为3×3×64，步长为2。
S405、将第一池化层的输出数据输入第一三维残差卷积组件。
第一三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块(共3个第四类型三维残差卷积模块)；第一三维残差卷积组件的输出数据为56×56×256的图像。
S406、将第一三维残差卷积组件的输出数据输入第二三维残差卷积组件。
第二三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块、第四捷径串行连接三维残差卷积模块和第四串行连接三维残差卷积模块(共4个第四类型三维残差卷积模块)；第二三维残差卷积组件的输出数据为28×28×512的图像。
S407、将第二三维残差卷积组件的输出数据输入第三三维残差卷积组件。
第三三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块、第四捷径串行连接三维残差卷积模块、第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块(共6个第四类型三维残差卷积模块)；第三三维残差卷积组件的输出数据为14×14×1024的图像。
S408、将第三三维残差卷积组件的输出数据输入第四三维残差卷积组件。
第四三维残差卷积组件包括串行连接的第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块(共3个第四类型三维残差卷积模块)；第四三维残差卷积组件的输出数据为7×7×2048的图像。
S409、将第四三维残差卷积组件的输出数据输入第二激活层。
第二激活层将ReLU作为激励函数。
S410、将第二激活层的输出数据输入至第二池化层。
第二池化层采用平均值池化，也即选取图像区域的平均值作为该区域池化后的值，卷积核为7×7，步长为1，输出数据为1×2048的图像。
S411、获取图像特征。
本发明实施例的技术方案，通过二维空间卷积单元和一维时序卷积单元，构建三维卷积神经网络模型，并在训练完成后用于图像识别，并根据图像识别结果获取异常行为得分，在充分利用目标空间信息和连续帧时间特性的基础上，并未增加神经网络模型的参数数量和运行时间，简化了图像特征的提取过程，提高了图像特征的提取效率。
实施例五
图5为本发明实施例五提供的一种视频中异常行为的检测方法的流程图，本应用场景在上述技术方案的基础上进行具体化，在本实施例中，三维卷积神经网络模型的卷积层包括四个全连接组件，该方法具体包括如下步骤：
S501、将获取到的图像特征输入第一全连接组件。
第一全连接组件包括1024个权重值，并采用ReLU作为激活函数，通过第一全连接组件获取的第一特征映射结果进行L2归一化处理，以降低计算复杂度。
S502、将第一全连接组件的输出结果输入至第二全连接组件。
第一全连接组件的输出结果，采用随机丢弃50％参数的丢弃策略，以降低计算复杂度；第二全连接组件包括512个权重值，通过第二全连接组件获取的第二特征映射结果进行L2归一化处理，以降低计算复杂度。
S503、将第二全连接组件的输出结果输入至第三全连接组件。
第二全连接组件的输出结果，采用随机丢弃50％参数的丢弃策略，以降低计算复杂度；第三全连接组件包括64个权重值，通过第三全连接组件获取的第三特征映射结果进行L2归一化处理，以降低计算复杂度。
S504、将第三全连接组件的输出结果输入至第四全连接组件。
第三全连接组件的输出结果，采用随机丢弃50％参数的丢弃策略，以降低计算复杂度；第四全连接组件包括1个权重值，通过第四全连接组件获取的第三特征映射结果进行L2归一化处理，以降低计算复杂度。
S505、获取目标计算数值。
以判断视频中是否存在异常行为(例如，挥刀、挥拳和踢腿)为例，通过卷积层获取到目标视频的图像特征，全连接层根据图像特征计算获取图像中存在异常行为的得分，也即存在异常行为的概率，并将该概率值发送给分类器，以使分类器根据获取到的目标计算数值(即概率值)进行二值分类，进而判断视频中是否存在异常行为。
本发明实施例的技术方案，通过全连接层对卷积层输出的图像特征进行的数值计算，获取到相关的目标计算数值，为分类器进行二值分类提供了有效的参考数据，实现了视频中图像的类别划分。
实施例六
图6是本发明实施例六所提供的一种视频中异常行为的检测装置的结构框图，该装置具体包括：视频片段集获取模块610、异常行为得分获取模块620和异常行为检测执行模块630；
视频片段集获取模块610，用于当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
异常行为得分获取模块620，用于将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
异常行为检测执行模块630，用于根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。
本发明实施例的技术方案，将待检测的视频分割为视频片段集后，通过训练完成的目标异常行为识别模型，获取各视频片段的异常行为得分，并据此判断待检测的视频中是否存在异常行为，实现了通过计算机完成对视频中异常行为动作的检测，提高了获取视频中异常行为动作的效率，节省了大量人力成本和时间成本，避免了由于人工监测导致漏检测现象发生。
可选的，在上述技术方案的基础上，视频中异常行为的检测装置，还包括：
初始模型获取模块，用于根据神经网络算法构建初始异常行为识别模型；
训练样本集获取模块，用于获取训练样本集；其中，所述训练样本集包括至少一个训练样本，所述训练样本包括至少一个正视频包和至少一个负视频包，所述正视频包包括异常行为动作，所述负视频包不包括异常行为动作，所述正视频包根据所述预设片段时长分割为正视频示例集，所述负视频包根据所述预设片段时长分割为负视频示例集，所述正视频示例集包括至少一个正视频示例，所述负视频示例集包括至少一个负视频示例，所述正视频示例和所述负视频示例均包括标签；
目标模型获取模块，用于根据所述训练样本集中的至少一个训练样本对所述初始异常行为识别模型进行训练，以获取训练完成的目标异常行为识别模型。
可选的，在上述技术方案的基础上，目标模型获取模块，具体包括：
目标示例获取单元，用于将所述训练样本集中的第一训练样本输入至所述初始异常行为识别模型中，以获取所述第一训练样本中各视频示例的预测异常行为得分，并将预测异常行为得分最高的正视频示例和负视频示例，分别作为目标正视频示例和目标负视频示例；
特征曲线获取单元，用于根据所述第一训练样本中各视频示例的预测异常行为得分，绘制接受者操作特征曲线，并获取与所述接受者操作特征曲线对应的曲线下方面积；
曲线下方面积判断单元，用于判断所述曲线下方面积是否符合预设阈值条件；
第一目标模型获取单元，用于若所述曲线下方面积符合预设阈值条件，则将所述初始异常行为识别模型作为训练完成的目标初始异常行为识别模型。
可选的，在上述技术方案的基础上，目标模型获取模块，还包括：
第二目标模型获取单元，用于若所述曲线下方面积不符合预设阈值条件，则根据所述目标正视频示例的预测异常行为得分、所述目标负视频示例的预测异常行为得分、所述目标正视频示例的期望异常行为得分和所述目标负视频示例的期望异常行为得分，调整所述初始异常行为识别模型的网络参数，以获取调整后的中间异常行为识别模型，并继续获取所述训练样本集中的第二训练样本对所述中间异常行为识别模型进行训练，直至获取到目标曲线下方面积符合预设阈值条件时，将与所述目标曲线下方面积对应的目标中间异常行为识别模型作为训练完成的目标异常行为识别模型。
可选的，在上述技术方案的基础上，第二目标模型获取单元，包括：
目标预测得分获取子单元，用于将所述目标正视频示例的期望异常行为得分与所述目标负视频示例的期望异常行为得分的差值，作为目标期望得分；
目标预测得分获取子单元，用于将所述目标正视频示例的预测异常行为得分与所述目标负视频示例的预测异常行为得分的差值，作为目标预测得分；
目标函数获取子单元，用于根据所述目标预测得分，构建目标函数；
网络参数调整子单元，用于根据所述目标函数和所述目标期望得分，调整所述初始异常行为识别模型的网络参数。
可选的，在上述技术方案的基础上，目标函数获取子单元，具体用于根据所述目标预测得分、平滑约束项、稀疏约束项和正则化项，构建目标函数。
可选的，在上述技术方案的基础上，初始模型获取模块，具体用于获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型。
可选的，在上述技术方案的基础上，三维卷积神经网络模型，包括：卷积层、池化层、激活层和全连接层；所述卷积层包括至少一个三维残差卷积组件；所述三维残差卷积组件，用于提取图像特征；其中，所述三维残差卷积组件根据所述二维空间卷积单元和所述一维时序卷积单元构建。
可选的，在上述技术方案的基础上，初始模型获取模块，包括：
第一类型三维残差卷积模块获取单元，用于根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块；其中，所述第一类型三维残差卷积模块包括第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；
三维残差卷积组件获取单元，用于根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，初始模型获取模块，还包括：
第二类型三维残差卷积模块获取单元，用于获取第一一维瓶颈卷积单元和第二一维瓶颈卷积单元，并根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块；其中，所述第二类型三维残差卷积模块包括第二串行连接三维残差卷积模块、第二并行连接三维残差卷积模块和第二捷径串行连接三维残差卷积模块。
可选的，在上述技术方案的基础上，三维残差卷积组件获取单元，具体用于根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，初始模型获取模块，还包括：
第三类型三维残差卷积模块获取单元，用于在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块；其中，所述第三类型三维残差卷积模块包括第三串行连接三维残差卷积模块、第三并行连接三维残差卷积模块和第三捷径串行连接三维残差卷积模块。
可选的，在上述技术方案的基础上，三维残差卷积组件获取单元，具体用于根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件。
可选的，在上述技术方案的基础上，初始模型获取模块，还包括：
第四类型三维残差卷积模块获取单元，用于在所述第三类型三维残差卷积模块中，以捷径连接方式插入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块；其中，所述第四类型三维残差卷积模块包括第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块。
可选的，在上述技术方案的基础上，三维残差卷积组件获取单元，具体用于根据所述第四类型三维残差卷积模块，构建所述三维残差卷积组件。
上述装置可执行本发明任意实施例所提供的视频中异常行为的检测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的方法。
实施例七
图7为本发明实施例七提供的一种设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备12的框图。图7显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例一或实施例二所提供的视频中异常行为的检测方法。也即：当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。
实施例八
本发明实施例八还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任意实施例所述的视频中异常行为的检测方法；该方法包括：
当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种视频中异常行为的检测方法，其特征在于，包括：
当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为；
其中，所述目标异常行为识别模型的训练过程，包括：
根据神经网络算法构建初始异常行为识别模型；
获取训练样本集；其中，所述训练样本集包括至少一个训练样本，所述训练样本包括至少一个正视频包和至少一个负视频包，所述正视频包包括异常行为动作，所述负视频包不包括所述异常行为动作，所述正视频包根据所述预设片段时长分割为正视频示例集，所述负视频包根据所述预设片段时长分割为负视频示例集，所述正视频示例集包括至少一个正视频示例，所述负视频示例集包括至少一个负视频示例，所述正视频示例和所述负视频示例均包括标签；
将所述训练样本集中的第一训练样本输入至所述初始异常行为识别模型中，以获取所述第一训练样本中各视频示例的预测异常行为得分，并将所述预测异常行为得分最高的正视频示例和负视频示例，分别作为目标正视频示例和目标负视频示例；
根据所述第一训练样本中各视频示例的预测异常行为得分，绘制接受者操作特征曲线，并获取与所述接受者操作特征曲线对应的曲线下方面积；
判断所述曲线下方面积是否符合预设阈值条件；
若所述曲线下方面积不符合预设阈值条件，则将所述目标正视频示例的期望异常行为得分与所述目标负视频示例的期望异常行为得分的差值，作为目标期望得分；将所述目标正视频示例的预测异常行为得分与所述目标负视频示例的预测异常行为得分的差值，作为目标预测得分；根据所述目标预测得分，构建目标函数；根据所述目标函数和所述目标期望得分，调整所述初始异常行为识别模型的网络参数，以获取调整后的中间异常行为识别模型；
继续获取所述训练样本集中的第二训练样本对所述中间异常行为识别模型进行训练，直至获取到目标曲线下方面积符合预设阈值条件时，将与所述目标曲线下方面积对应的目标中间异常行为识别模型作为训练完成的目标异常行为识别模型；
若所述曲线下方面积符合预设阈值条件，则将所述初始异常行为识别模型作为训练完成的目标异常行为识别模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标预测得分，构建目标函数，包括：
根据所述目标预测得分、平滑约束项、稀疏约束项和正则化项，构建所述目标函数。
3.根据权利要求1所述的方法，其特征在于，所述根据神经网络算法构建初始异常行为识别模型，包括：
获取二维空间卷积单元和一维时序卷积单元，并根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述三维卷积神经网络模型，包括：卷积层、池化层、激活层和全连接层；所述卷积层包括至少一个三维残差卷积组件；
所述三维残差卷积组件，用于提取图像特征；
其中，所述三维残差卷积组件根据所述二维空间卷积单元和所述一维时序卷积单元构建。
5.根据权利要求4所述的方法，其特征在于，所述根据所述二维空间卷积单元和所述一维时序卷积单元，构建三维卷积神经网络模型，包括：
根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块；其中，所述第一类型三维残差卷积模块包括第一串行连接三维残差卷积模块、第一并行连接三维残差卷积模块和第一捷径串行连接三维残差卷积模块；
根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件。
6.根据权利要求5所述的方法，其特征在于，在根据所述二维空间卷积单元和所述一维时序卷积单元，构建第一类型三维残差卷积模块后，还包括：
获取第一一维瓶颈卷积单元和第二一维瓶颈卷积单元，并根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块；其中，所述第二类型三维残差卷积模块包括第二串行连接三维残差卷积模块、第二并行连接三维残差卷积模块和第二捷径串行连接三维残差卷积模块；
所述根据所述第一类型三维残差卷积模块，构建所述三维残差卷积组件，包括：
根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件。
7.根据权利要求6所述的方法，其特征在于，在根据所述第一一维瓶颈卷积单元、所述第二一维瓶颈卷积单元和所述第一类型三维残差卷积模块，构建第二类型三维残差卷积模块后，还包括：
在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块；其中，所述第三类型三维残差卷积模块包括第三串行连接三维残差卷积模块、第三并行连接三维残差卷积模块和第三捷径串行连接三维残差卷积模块；
所述根据所述第二类型三维残差卷积模块，构建所述三维残差卷积组件，包括：
根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件。
8.根据权利要求7所述的方法，其特征在于，在所述第二类型三维残差卷积模块中，插入至少一个批量归一化单元和至少一个激励函数单元，以获取第三类型三维残差卷积模块后，还包括：
在所述第三类型三维残差卷积模块中，以捷径连接方式插入第三一维瓶颈卷积单元，以获取第四类型三维残差卷积模块；其中，所述第四类型三维残差卷积模块包括第四串行连接三维残差卷积模块、第四并行连接三维残差卷积模块和第四捷径串行连接三维残差卷积模块；
所述根据所述第三类型三维残差卷积模块，构建所述三维残差卷积组件，包括：
根据所述第四类型三维残差卷积模块，构建所述三维残差卷积组件。
9.一种视频中异常行为的检测装置，其特征在于，包括：
视频片段集获取模块，用于当获取到待检测的视频时，将所述视频根据预设片段时长进行分割，以获取匹配的视频片段集；其中，所述视频片段集包括至少一个视频片段；
异常行为得分获取模块，用于将所述视频片段集输入至训练完成的目标异常行为识别模型，以获取所述视频片段集中至少一个所述视频片段的异常行为得分；
异常行为检测执行模块，用于根据所述视频片段集中至少一个所述视频片段的异常行为得分，判断待检测的所述视频中是否存在异常行为；
初始模型获取模块，用于根据神经网络算法构建初始异常行为识别模型；
训练样本集获取模块，用于获取训练样本集；其中，所述训练样本集包括至少一个训练样本，所述训练样本包括至少一个正视频包和至少一个负视频包，所述正视频包包括异常行为动作，所述负视频包不包括所述异常行为动作，所述正视频包根据所述预设片段时长分割为正视频示例集，所述负视频包根据所述预设片段时长分割为负视频示例集，所述正视频示例集包括至少一个正视频示例，所述负视频示例集包括至少一个负视频示例，所述正视频示例和所述负视频示例均包括标签；
目标模型获取模块，包括：目标示例获取单元、特征曲线获取单元、曲线下方面积判断单元、第一目标模型获取单元和第二目标模型获取单元；
所述目标示例获取单元，用于将所述训练样本集中的第一训练样本输入至所述初始异常行为识别模型中，以获取所述第一训练样本中各视频示例的预测异常行为得分，并将所述预测异常行为得分最高的正视频示例和负视频示例，分别作为目标正视频示例和目标负视频示例；
所述特征曲线获取单元，用于根据所述第一训练样本中各视频示例的预测异常行为得分，绘制接受者操作特征曲线，并获取与所述接受者操作特征曲线对应的曲线下方面积；
所述曲线下方面积判断单元，用于判断所述曲线下方面积是否符合预设阈值条件；
所述第一目标模型获取单元，用于若所述曲线下方面积符合预设阈值条件，则将所述初始异常行为识别模型作为训练完成的目标异常行为识别模型；
所述第二目标模型获取单元，包括：目标期望得分获取子单元、目标预测得分获取子单元、目标函数获取子单元和网络参数调整子单元；
所述目标期望得分获取子单元，用于若所述曲线下方面积不符合预设阈值条件，则将所述目标正视频示例的期望异常行为得分与所述目标负视频示例的期望异常行为得分的差值，作为目标期望得分；
所述目标预测得分获取子单元，用于将所述目标正视频示例的预测异常行为得分与所述目标负视频示例的预测异常行为得分的差值，作为目标预测得分；
所述目标函数获取子单元，用于根据所述目标预测得分，构建目标函数；
所述网络参数调整子单元，用于根据所述目标函数和所述目标期望得分，调整所述初始异常行为识别模型的网络参数，以获取调整后的中间异常行为识别模型；继续获取所述训练样本集中的第二训练样本对所述中间异常行为识别模型进行训练，直至获取到目标曲线下方面积符合预设阈值条件时，将与所述目标曲线下方面积对应的目标中间异常行为识别模型作为训练完成的目标异常行为识别模型。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的视频中异常行为的检测方法。
11.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的视频中异常行为的检测方法。
CN202010633797.4A 2020-07-02 2020-07-02 一种视频中异常行为的检测方法、装置、设备及存储介质 Active CN111814653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010633797.4A CN111814653B (zh) 2020-07-02 2020-07-02 一种视频中异常行为的检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010633797.4A CN111814653B (zh) 2020-07-02 2020-07-02 一种视频中异常行为的检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111814653A CN111814653A (zh) 2020-10-23
CN111814653B true CN111814653B (zh) 2024-04-05

Family

ID=72856243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010633797.4A Active CN111814653B (zh) 2020-07-02 2020-07-02 一种视频中异常行为的检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111814653B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633126A (zh) * 2020-12-18 2021-04-09 联通物联网有限责任公司 视频处理方法及装置
CN114092045A (zh) * 2021-11-10 2022-02-25 深圳市文君创艺广告文化传媒有限公司 基于物联网的社区建档方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263728A (zh) * 2019-06-24 2019-09-20 南京邮电大学 基于改进的伪三维残差神经网络的异常行为检测方法
WO2019233244A1 (zh) * 2018-06-08 2019-12-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
EP3620983A1 (en) * 2018-09-05 2020-03-11 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233244A1 (zh) * 2018-06-08 2019-12-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
EP3620983A1 (en) * 2018-09-05 2020-03-11 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for data analysis
CN110263728A (zh) * 2019-06-24 2019-09-20 南京邮电大学 基于改进的伪三维残差神经网络的异常行为检测方法
CN111079539A (zh) * 2019-11-19 2020-04-28 华南理工大学 一种基于异常追踪的视频异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵春晖 ; 杨莹 ; 宿南 ; .基于行动片段补充生成器的异常行为检测方法.沈阳大学学报(自然科学版).2019,(06),全文. *

Also Published As

Publication number Publication date
CN111814653A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
EP4148622A1 (en) Neural network training method, image classification system, and related device
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
US20200097742A1 (en) Training neural networks for vehicle re-identification
CN110765860B (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN110414344B (zh) 一种基于视频的人物分类方法、智能终端及存储介质
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN111310731A (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
JP7414901B2 (ja) 生体検出モデルのトレーニング方法及び装置、生体検出の方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN109325440B (zh) 人体动作识别方法及系统
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
US11501110B2 (en) Descriptor learning method for the detection and location of objects in a video
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN111209774A (zh) 目标行为识别及显示方法、装置、设备、可读介质
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN112101344B (zh) 一种视频文本跟踪方法及装置
CN111368634A (zh) 基于神经网络的人头检测方法、系统及存储介质
CN112232140A (zh) 人群计数方法、装置、电子设备及计算机存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN111881775B (zh) 一种人脸实时识别方法和装置
CN113221662B (zh) 人脸识别模型的训练方法及装置、存储介质、终端
CN111814865A (zh) 一种图像识别方法、装置、设备及存储介质
CN114399780A (zh) 表格检测方法、表格检测模型训练方法及装置
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant