CN114913442A - 一种异常行为检测方法、装置及计算机存储介质 - Google Patents

一种异常行为检测方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN114913442A
CN114913442A CN202110127453.0A CN202110127453A CN114913442A CN 114913442 A CN114913442 A CN 114913442A CN 202110127453 A CN202110127453 A CN 202110127453A CN 114913442 A CN114913442 A CN 114913442A
Authority
CN
China
Prior art keywords
detected
target
abnormal
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110127453.0A
Other languages
English (en)
Inventor
金栋梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Suzhou Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Suzhou Software Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110127453.0A priority Critical patent/CN114913442A/zh
Publication of CN114913442A publication Critical patent/CN114913442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种异常行为检测方法、装置及计算机存储介质，该方法包括：确定待检测图像中的至少一个待检测目标；基于包含待检测图像的视频序列，对至少一个待检测目标进行特征学习，得到至少一个待检测目标各自的综合特征向量；综合特征向量表示待检测目标的外观特征和运动特征组合的特征向量；利用预设分类模型对至少一个待检测目标各自的综合特征向量进行分类计算，得到至少一个待检测目标各自的异常分数；根据至少一个待检测目标各自的异常分数，从至少一个待检测目标中确定待检测图像的异常目标。这样，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。

Description

一种异常行为检测方法、装置及计算机存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种异常行为检测方法、装置及计算机存储介质。
背景技术
异常行为检测技术是计算机视觉和模式识别的一个分支，目前已被广泛应用于智能视频监控技术中。异常行为检测技术对于提升公共场所管制水平、构建社会治理体制具有重要意义，而且能够明显减少对人力资本的消耗。
在相关技术中，异常行为检测算法的原理包括以下几种类型：基于社会力建模、基于局部运动聚类和基于时空纹理建模。然而，这些异常行为检测算法都需要根据异常事件的先验信息来提取异常特征，然后当判断到视频序列中出现异常特征时进行报警。但是，由于异常事件种类多样，实际应用中异常事件的先验信息相对缺乏，导致异常行为检测算法的准确率不高。
发明内容
本申请提供了一种异常行为检测方法、装置及计算机存储介质，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供了一种异常行为检测方法，该方法包括：
确定待检测图像中的至少一个待检测目标；
基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；
利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；
根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
第二方面，本申请实施例提供了一种异常行为检测装置，该异常行为检测装置包括获取单元、特征单元、计算单元和检测单元，其中，
获取单元，配置为确定待检测图像中的至少一个待检测目标；
特征单元，配置为基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；
计算单元，配置为利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；
检测单元，配置为根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
第三方面，本申请实施例提供了一种异常行为检测装置，该异常行为检测装置包括存储器和处理器；其中，
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如第一方面所述方法的步骤。
第四方面，本申请实施例提供了一种计算机存储介质，该计算机存储介质存储有异常行为检测程序，该异常行为检测程序被至少一个处理器执行时实现如第一方面所述方法的步骤。
本申请实施例提供了一种异常行为检测方法、装置及计算机存储介质，确定待检测图像中的至少一个待检测目标；基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。这样，在待检测图像中确定多个待检测目标，以待检测目标为对象进行特征提取和后续的异常行为检测，提高了异常行为检测的速度；另外，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。
附图说明
图1为本申请实施例提供的一种异常行为检测方法的流程示意图；
图2为本申请实施例提供的另一种异常行为检测方法的流程示意图；
图3为本申请实施例提供的一种异常行为检测装置的组成结构示意图；
图4为本申请实施例提供的另一种异常行为检测装置的组成结构示意图；
图5为本申请实施例提供的再一种异常行为检测装置的组成结构示意图；
图6为本申请实施例提供的一种异常行为检测装置的硬件结构示意图；
图7为本申请实施例提供的一种异常行为检测系统的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
视频序列中的异常行为检测(或称为异常事件检测)是计算机视觉和模式识别的一个分支，目前已被广泛应用智能视频监控技术应用中，通过计算机视觉能够极大地减少对人力资本的消耗，具有重要的现实意义。同时，异常行为检测对于提升公共场所管制水平、创新社会治理体制同样具有重要意义，是安防近年来预防和打击暴力恐怖事件，维护社会稳定和安全的主要防治措施。异常行为检测需要对输入的视频序列进行行为理解分析，然后自行检测跟踪、分类判断是否有可疑的行人车辆突然冲入人群，例如火车站无故徘徊、行人急速奔跑、相互斗殴等异常举动。随着视频监控的需求日趋多样，理解与识别各种各样的行为是异常行为检测算法进一步深入行业应用中必须解决的问题。只有把研究的算法与多种实际应用相结合，才能满足用户日趋增长的需求，未来智能视频分析技术的市场价值才可以体现出来。
在相关技术中，主要的异常行为检测方法有以下几类：(1)基于社会力模型：对人际网络中的人际空间的受力情况进行建模，通过对每帧图像用网格分割的方法进行网络粒子采集，对正常视频进行训练，计算社会交互作用力，根据均值滤波设定的阈值判定正常和异常行为；(2)基于局部运动聚类：利用光流原理得到微观运动信息，将相对距离和速度相差较小的类别并为一组，实现微观层次到介观的转化，根据介观模型中速度场的速度大小可以对正常或异常特征行为进行分类，当图像坐标系与速度场中的坐标系相对应时，聚类中心出现在异常区域并停留很长时间，被判定为异常行为；(3)基于时空纹理建模：通过对人群区域的检测后提取人群时空卷积片，经过标准化和小波变化之后对时空纹理特征进行重建并统计分析，和正常实例的建模一样，异常行为检测也是经过标准化和小波变换的时空纹理特征建模，通过和正常特征统计的结果进行比较从而区分出异常的行为。
对于相关技术中的异常行为检测方法，仍然存在以下缺点：
(1)对于输入的视频序列，无法在不同环境下实现稳定、可靠的前景目标提取，复杂环境中的目标检测仍然存在不同因素的干扰；
(2)无法选取有效、鲁棒的特征描述人体的行为，大多数现有的方法都是基于局部和全局的特征进行学习，而没有显式地利用场景中的目标；
(3)缺乏异常数据样本，异常事件总是伴随在正常事件中发生，并没有基于上下文，对异常行为的识别存在很大的局限性，对非常规的异常行为不适用。
基于此，本申请实施例提供了一种异常行为检测方法，该方法的基本思想为：确定待检测图像中的至少一个待检测目标；基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。这样，在待检测图像中确定多个待检测目标，以待检测目标为对象进行特征提取和后续的异常行为检测，提高了异常行为检测的速度；另外，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。
下面将结合附图对本申请各实施例进行详细说明。
在本申请的一实施例中，参见图1，其示出了本申请实施例提供的一种异常行为检测方法的流程示意图。如图1所示，该方法可以包括：
S101：确定待检测图像中的至少一个待检测目标。
需要说明的是，在一些复杂的场景下，待检测图像中可能包括多个物品、人物、车辆或者建筑物等，而本申请实施例是以单个检测目标为单位进行后续分析的。因此，在获取待检测图像后，需要确定待检测图像中的至少一个待检测目标。在这里，待检测目标可以是单独的物品、人物、车辆或者建筑物等，另外待检测目标也可以是固定大小的图像块。
还需要说明的是，为了在待检测图像中确定出具体的待检测目标，可以选用目标检测算法进行自动化检测。因此，在一些实施例中，所述确定待检测图像中的至少一个待检测目标，可以包括：
利用预设检测模型对所述待检测图像进行目标检测，得到至少一组边界框；
利用所述至少一组边界框对所述待检测图像进行切割，得到所述至少一个待检测目标。
需要说明的是，通过预设检测模型对待检测图像进行目标检测，能够在待检测图像中得到至少一组边界框，而一组边界框也就代表着一个待检测图像。之后，利用边界框对所述待检测图像进行切割，就得到了该组边界框对应的待检测目标。
在这里，预设检测模型根据实际使用场景进行选取，例如Feature PyramidNetworks算法(一种高效的提取特征的卷积算法，简称FPN)、RCNN(一种基于深度学习的网络目标检测方法)或者其他已有的算法。在一种具体的实施方式中，利用基于FPN的单镜头目标检测器来检测目标，该目标检测器在精度和速度之间进行了最佳权衡。同时，由于FPN的算法结构，它可以准确地检测较小的目标，并且它可以在GPU上每秒处理13帧，这些优点对于开发一个实用的异常事件检测框架具有十分重要的意义。
在经过以上步骤后，在待检测图像中获得了至少一个待检测目标。
S102：基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量。
需要说明的是，本申请实施例中的异常行为判断方法应用在视频流中，也就是说，待检测图像实际上是视频序列中的其中一帧图像。因此，在获得待检测图像中的至少一个待检测目标之后，根据待检测图像所在的视频序列，对至少一个待检测目标进行特征学习，最终得到所述至少一个待检测目标各自的综合特征向量，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量。
也就是说，对于每一待检测目标，需要提取出待检测目标的外观特征和运动特征，从而得到该待检测目标的综合特征向量。这样，通过后续对待检测目标的综合特征向量进行分析，能够判断待检测目标是否异常。
还需要说明的是，所述视频序列包括第t帧图像、第(t-n)帧图像和第(t+n)帧图像；其中，所述第t帧图像表示所述待检测图像，n为大于0的整数，t为大于或等于n的整数。
相应地，在一些实施例中，所述对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量，可以包括：
利用第一特征模型对所述第t帧图像进行外观特征学习，得到所述至少一个待检测目标各自的外观特征向量；
利用第二特征模型对根据所述第t帧图像和所述第(t-n)帧图像进行运动特征学习，得到所述至少一个待检测目标各自的第一运动特征向量；
利用第三特征模型对所述第t帧图像和所述第(t+n)帧图像进行运动特征学习，得到所述至少一个待检测目标各自的第二运动特征向量；
将所述至少一个待检测目标各自的外观特征向量、所述至少一个待检测目标各自的第一运动特征向量和所述至少一个待检测目标各自的第二运动特征向量进行组合，得到所述至少一个待检测目标各自的综合特征向量。
需要说明的是，所述视频序列至少包括三帧图像，分别为第t帧图像、第(t-n)帧图像和第(t+n)帧图像，n为大于0的整数，t为大于或等于n的整数，从而根据不同帧图像获得待检测目标的运动特征。这里，第t帧图像即为前述的待检测图像，n可以根据实际需要进行选择，例如n＝3。
当n较小时，待检测目标在第(t-n)帧图像、第t帧图像和第(t+n)帧图像之间的位置变化会相对较小，因此可以仍然利用之前在第t帧图像中确定出的边界框获取第(t-n)帧图像和第(t+n)帧图像中的待检测目标，无需额外进行目标追踪，能够提高计算效率。
还需要说明的是，根据视频序列，利用第一特征模型对所述第t帧图像进行外观特征学习，得到至少一个待检测目标各自的外观特征向量。也就是说，对于具体一个待检测目标，利用待检测图像中该待检测目标对应的图像部分，通过第一特征模型来计算待检测图像的外观特征向量。
在一种具体的实施方式中，对于待检测图像，通过预设检测模型获取每一个待检测目标的边界框，并根据边界框裁剪得到每一个待检测目标的图像部分，然后将图像部分转换为灰度图像，将具体一个待检测目标的灰度图像送入第一特征模型，就可以获得待检测目标的外观特征向量。
还需要说明的是，利用第二特征模型对第t帧图像和第(t-n)帧图像进行运动特征学习，得到每一待检测目标各自的第一运动特征向量。也就是说，第一运动特征向量是指待检测目标从第(t-n)帧图像运动到第t帧图像的运动特征。
进一步地，在一些实施例中，第一运动特征向量的具体计算方法为：将所述待检测图像和所述第(t-n)帧图像进行相减操作，得到其中一个待检测目标的第一图像梯度；
利用所述第二特征模型对所述其中一个待检测目标的第一图像梯度进行计算，得到其中一个待检测目标的第一运动特征向量。
需要说明的是，对于具体一个待检测目标，由于该待检测目标在第(t-n)帧图像和第t帧图像中的位置变动不大，可以直接利用该待检测目标在第t帧图像中的边界框对第(t-n)帧图像进行切割，就能够得到该待检测目标在第(t-n)帧图像对应的图像部分。这样，将待检测目标在第(t-n)帧图像对应的图像部分和在第t帧图像对应的图像部分相减，能够得到该待检测目标对应的第一图像梯度，将第一图像梯度送入第二特征模型，就得到了该待检测目标的第二运动特征向量。
还需要说明的是，利用第三特征模型对第t帧图像和第(t+n)帧图像进行运动特征学习，得到每一待检测目标各自的二运动特征向量。也就是说，第二运动特征向量是指待检测目标从第t帧图像运动到第(t+n)帧图像的运动特征。
进一步地，在一些实施例中，第一运动特征向量的具体计算方法为：将所述第(t+n)帧图像和待检测图像进行相减操作，得到其中一个待检测目标的第二图像梯度；
利用所述第三特征模型对所述其中一个待检测目标的第二图像梯度进行计算，得到其中一个待检测目标的第二运动特征向量。
需要说明的是，对于具体一个待检测目标，由于该待检测目标在第(t+n)帧图像和第t帧图像中的位置变动不大，可以直接利用该待检测目标在第t帧图像中的边界框对第(t+n)帧图像进行切割，就能够得到该待检测目标在第(t+n)帧图像对应的图像部分。类似的，将该待检测目标在第(t+n)帧图像对应的图像部分和在第t帧图像对应的图像部分进行相减，能够得到该待检测目标对应的第二图像梯度，将第二图像梯度送入第三特征模型，得到该待检测目标的第二运动特征向量。
还需要说明的是，预设特征模型可以利用输出和输入的像素均方误差作为训练指标，从而无需监督指标，提升了特征提取的效率。另外，第一特征模型、第二特征模型和第三特征模型可以根据实际需求选用。例如，可以分别训练自动编码器作为第一特征模型、第二特征模型和第三特征模型，也可以采用其他已有的算法。因此，在一些实施例中，所述第一特征模型可以是外观卷积自编码器，所述第二特征模型可以是第一运动卷积自编码器，所述第三特征模型可以是第二运动卷积自编码器。
需要说明的是，对于具体一个待检测目标，在得到外观特征向量、第一运动特征向量和第二运动特征向量之后，将所得到的外观特征向量、第一运动特征向量和第二运动特征向量进行组合，从而得到该待检测目标的综合特征向量。也就是说，综合特征向量是待检测目标的潜在外观特征和潜在运动特征的串联。
这样，对于每一待检测目标，都得到了待检测目标的外观特征和运动特征，并根据待检测目标的外观特征和运动特征，组合生成该待检测目标的综合特征向量。
S103：利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数。
需要说明的是，对于具体一个待检测目标，在得到综合特征向量之后，利用预设分类模型对综合特征向量进行分类计算，就得到了该待检测目标的异常分数。
在这里，所述预设分类模型用于指示待检测目标与多个预设正常目标的相似程度。因此，异常分数的高低实际上代表了待检测目标与预设正常目标的相似程度，而待检测目标与预设正常目标的相似程度越高，那么可以认为待检测目标为异常目标的可能性越低。基于这个思想，在不依赖异常事件的先验信息的基础上，同样可以实现异常行为检测。
进一步地，所述预设分类模型包括k个分类子模型，k为正整数。因此，在一些实施例中，该方法还可以包括：
获取预设样本集合；其中，所述预设样本集合中包括多个综合特征向量；
对所述预设样本集合中的多个综合特征向量进行聚类分析，得到k个分类样本簇；
基于所述k个分类样本簇分别对原始分类模型进行训练，得到k个分类子模型；其中，第i个分类子模型用于区分所述第i个分类样本簇和其他分类样本簇，i为小于或等于k的正整数；
将所述k个分类子模型确定为所述预设分类模型。
需要说明的是，在实际应用中，异常事件先验信息很难获取，所以本申请实施例利用正常样本作为参考信息。具体的，通过将正常样本进行聚类，将异常行为检测问题转化为一个多类分类问题，从而训练得到预设分类模型。基于这个思路，预设分类模型的训练步骤如下：
首先，在用于训练预设分类模型的训练视频中，获取作为训练样本的预设样本集合。预设样本集合是根据正常样本得到的，正常样本是指训练视频中检测到的处于正常行为状态的目标，例如人物行走、车辆行驶、人物跳跃等。同样的，该正常样本的图像也经过了前述的特征提取步骤，从而预设样本集合中包括有多个正常样本的综合特征向量；
其次，利用聚类算法对预设样本集合进行聚类分析，从而得到k个分类样本簇，一个分类样本簇可以认为是具有相似性的一类预设正常样本。这样，对于具体一个分类样本簇，其他(k-1)个分类样本簇都可以认为是伪异常样本，从而解决了异常事件先验信息不足的问题；
然后，利用所获得的k个分类样本簇对原始分类模型进行训练，得到k个分类子模型。具体的，k个分类子模型是分别进行训练的。也就是说，在训练第i个分类子模型，以第i个分类样本簇中的数据为正数据，以除第i个分类样本簇之外的其他分类样本簇中的数据为负数据，对原始分类模型进行训练。这样，所得到的第i个分类子模型能够区分所述第i个分类样本簇和其他分类样本簇；
最后，将k个分类子模型确定为所述预设分类模型。
需要说明的是，原始分类模型可以是多种原理的分类模型，例如二元支持向量机模型(Support Vector Machines，SVM)、逻辑回归模型(Logistic Regression)，用于将其中一个分类样本簇与其他的分类样本簇进行区分。
综上，根据正常样本构成的预设样本集合训练得到了预设分类模型，从而避免了对于异常事件先验信息的依赖，在缺乏异常事件数据的情况下，仍然能够保持较高的异常行为检测准确率。
还需要说明的是，由于预设分类模型包括k个分类子模型，所以对于每个综合特征向量，在经过预设分类模型的计算后会得到k个计算结果。因此，在一些实施例中，所述利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数，可以包括：
针对所述至少一个待检测目标中的每一待检测目标，利用所述k个分类子模型分别对所述每一待检测目标的综合特征向量进行分类计算，得到所述每一待检测目标的k个分类分数；
从所述每一待检测目标的k个分类分数中，选取所述每一待检测目标的最高分类分数；
对所述每一待检测目标的最高分类分数进行取负操作，得到所述每一待检测目标的异常分数，以得到所述至少一个待检测目标各自的异常分数。
需要说明的是，对于具体一个待检测目标的综合特征向量，将该综合特征向量分别送入k个子模型，对应得到k个计算分类分数。
在这里，对于k个分类子模型，每个分类子模型都能够将一个分类样本簇与其他样本簇进行区分。也就是说，对于第i个分类子模型，根据测试样本(即待检测目标的综合特征向量)计算得到分类分数越负，则测试样本更接近与其他(k-1)个分类样本簇，由于其他样本簇的本质是伪异常样本，所以负样本其实也是正常样本。总的来说，分类分数的计算结果越负，说明计算结果所对应的待检测目标所拥有的正常特征越多。
因此，为了衡量待检测目标的异常性，需要在k个计算分类分数中确定出最高分类分数，将最高分类分数进行取负操作，将最终得到的分数作为待检测目标的异常分数。经过这样的变换，异常结果越大，待检测目标异常的可能性就越高。
这样，对于待检测图像，利用预设特征模型计算得到了至少一个待检测目标各自的异常分数。
S104：根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
需要说明的是，对于待检测图像，根据其中包含的至少一个待检测目标各自的异常分数，能够判断待检测图像中的异常目标，以便及时提醒工作人员注意，对于提升公共场所管制水平、创新社会治理体制具有重要意义。
进一步地，在一些实施例中，所述根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标，可以包括：
从所述至少一个待检测目标各自的异常分数中选取最高异常分数，将所述最高异常分数对应的待检测目标确定为所述异常目标。
需要说明的是，待检测图像包括有至少一个待检测目标，将这多个待检测目标的异常分数进行比较，然后将异常分数最高的待检测目标确定为异常目标。
需要说明的是，在本申请实施例中，还可以进行帧级预测，即可以根据异常分数的比较结果先确定待检测图像是否为异常图像，然后再进一步确定具体的异常目标。因此，在一些实施例中，在所述从所述至少一个待检测目标各自的异常分数中选取最高异常分数之后，该方法还可以包括：
将所述最高异常分数确定为所述待检测图像的综合异常分数；
当所述综合异常分数大于预设阈值时，执行所述将所述最高异常分数对应的待检测目标确定为所述异常目标的步骤。
需要说明的是，在得到最高异常分数之后，可以将其确定为待检测图像的综合异常分数，然后根据综合异常分数与预设阈值的比较结果确定待检测图像是否包括异常目标。具体地，如果待检测图像的综合异常分数高于预设阈值，那么判定待检测图像中包含异常目标，这时候再继续确定具体的异常目标；如果待检测图像的综合异常分数低于或等于预设阈值，那么判定待检测图像中不包含异常目标。在这里，预设阈值的大小可以根据实际使用需求进行设置。
除此之外，还可以选择对视频序列逐帧进行处理，然后得到每一帧图像对应的综合异常分数；之后，根据每一帧图像对应的综合异常分数，可以在视频序列中确定出异常图像帧，从而提醒工作人员注意。
还需要说明的是，在确定出异常目标之后，还可以对异常目标进行标记，以便提醒工作人员注意。因此，在一些实施例中，在所述从所述至少一个待检测目标中确定所述待检测图像的异常目标之后，该方法还可以包括：
在所述待检测图像中标记所述异常目标。
需要说明的是，具体的标记方式可以是将该异常目标的边界框进行显示，或者弹窗提醒等方式，本申请实施例在此不作限定。
这样，经过本申请实施例的异常行为检测方法，能够在视频流中检测出包含有异常目标的图像帧，同时标记出该图像帧上的异常目标。
从以上内容可以看出，本申请实施例欲保护一种视频序列中的异常行为检测方法，具体包括引入了一个基于对象中心卷积自动编码的无监督特征学习框架，对动作和外观信息进行编码。其次，本申请实施例提出一种基于聚类训练样本为正常类的监督分类方法。然后使用一对多异常事件分类器将每个正常类与其余类分开。也就是说，本申请实施例提供的视频序列中的异常行为检测方法旨在摆脱缺乏关于异常事件的先验信息的影响，从而平衡计算时间和检测精度。另外，本申请实施例提出的一种基于对象为中心的卷积自编码器的无监督特征学习框架，能快速定位分割目标并准确检测出显著性目标。由于在目标检测和特征学习的基础上再对模型进行训练，缩短了异常行为检测的计算时间，而且提高了异常行为检测的精度。
综上所述，本申请实施例提供了一种异常行为检测方法，通过确定待检测图像中的至少一个待检测目标；基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。这样，在待检测图像中确定多个待检测目标，以待检测目标为对象进行特征提取和后续的异常行为检测，提高了异常行为检测的速度；另外，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。
在本申请的另一实施例中，参见图2，其示出了本申请实施例提供的另一种异常行为检测方法的流程示意图。如图2所示，该方法可以包括：
S201：目标检测。
需要说明的是，在本申请实施例中，异常行为检测方法是以单个目标为对象进行检测的。因此，对于当前视频帧(相当于前述的待检测图像)，采用目标检测器进行目标检测，从而获得当前视频帧中的多个待检测目标。在这里，利用基于FPN的单镜头目标检测器来检测当前视频帧中的多个目标，该目标检测器在精度和速度之间进行了最佳权衡。之所以选择这种目标检测器，是因为由于FPN体系结构，它可以准确地检测较小的目标，并且它可以在GPU上每秒处理13帧，这些优点对于开发一个实用的异常事件检测框架具有十分重要的意义。
对于输入视频流，应用目标检测器逐帧进行检测，最终获得了每帧图像中目标的一组边界框。基于该边界框裁剪目标，将裁剪生成的图像将转换为灰度图像。接下来，将灰度图像直接传递到特征学习阶段，从而学习以对象为中心的外观特征。
还需要说明的是，对于当前视频帧，还需要得到其中包含目标的运动信息，因此还需要联合当前视频帧前后位置的视频帧。假设当前视频帧为第t帧图像，那么还需要联合第(t-n)帧图像和第(t+n)帧图像，才能得到待检测目标的运动信息，这里n为大于0的整数，t为大于或等于n的整数。以下以n＝3为例进行说明。
如图2所示，相对于当前帧t，还需要获取(t-3)和(t+3)处的帧。由于帧之间的时间距离不显著，所以不需要跟踪目标，相反，利用在t帧确定的边界框可以直接在(t-3)和(t+3)帧裁剪目标，对于每个目标，最终得到两个图像梯度，一个表示从t-3帧到t帧的运动变化，另一个表示从第t帧开始到t+3帧的运动变化。这样，这两个图像梯度也被传递到特征学习阶段，以便学习以对象为中心的运动特征。
S202：特征学习。
需要说明的是，在获得目标对应的灰度图像和两个图像梯度后，利用自动编码器学习该目标的特征。
根据前述步骤，特征学习阶段的输入包括：用于学习外观特征的灰度图像和用于学习运动特征的两个图像梯度。因此，为了得到每个目标检测的特征向量，采用了三个卷积自动编码器(相当于前述的预设特征模型)；其中，一个自动编码器(相当于前述的第一特征模型)将包含裁剪的目标图像作为输入，它固有地学习潜在的外观特征，另外两个自动编码器(相当于前述的第二特征模型和第三特征模型)将两个图像梯度作为输入，分别捕捉目标在检测时刻之前(即(t-3)帧到t帧)和检测时刻之后(即t帧到(t+3)帧)的移动情况，即自动编码器可以学习潜在的运动特征(相当于前述的第一运动特征和第二运动特征)。
上述三个自动编码器都基于相同的轻量级架构，由一个具有3个卷积层和最大池层的编码器、一个具有3个上采样和卷积层的解码器以及一个用于最终输出的附加卷积层组成。对于每个卷积自动编码器，输入和输出的大小都为(64×64×1)像素。所有卷积层都基于(3×3)大小的滤波器。每个卷积层，除了最后一层，每个卷积层都使用线性整流函数(Rectified Linear Unit,ReLU)作为激活函数。编码器的前两个卷积层每个包含32个滤波器，而第三个卷积层包含16个滤波器。编码器的最大池层基于跨距为2的(2×2)大小的滤波器。每个卷积自动编码器的产生的潜在特征表示，由16个大小为(8×8)大小的激活图组成。在解码器中，每个调整大小的上采样层使用最近邻方法将输入激活的采样数增加2倍。解码器中的第一卷积层包含16个滤波器。解码器的接下来两个卷积层各包含32个滤波器。解码器的最后卷积层包含一个大小为(3×3)大小的滤波器。最后一个卷积层的主要目的是将输出深度从(64×64×32)减小到(64×64×1)。然后，使用Adam优化器(一种自适应学习率的优化器)对自动编码器进行训练，使用像素均方误差作为损失函数，如式(1)所示：
Figure BDA0002924476050000161
其中，I和O是输入和输出图像，且输入图像和输出图像的大小均为h×w像素(本申请实施例中h＝w＝64)。
在这里，训练视频中选用的正常行为样本，因此自动编码器学习表示只包含训练视频中检测到的目标的正常行为。此外，潜在特征应该以不同于异常目标的正常目标的更好方式体现，因此自动编码器通常为正常目标的重构。每个目标检测样本最终得到的综合特征向量是潜在外观特征和潜在运动特征的串联。由于每个卷积自动编码器的潜在激活图为8×8×16，最终的特征向量有3072维。
这样，对于每一个目标，都提取到了用于指示潜在外观特征和潜在运动特征的综合特征向量。
S203：模型训练。
需要说明的是，本申请实施例将异常行为检测任务形式化为一个多类分类问题。也就是说，通过构造一个上下文，将正常样本中的一个子集相对另一个子集相当于伪异常样本，来弥补真实异常样本缺少的问题。
在本申请实施例中，通过使用k均值聚类算法(k-means)将正常样本聚类成k个簇来实现前述的想法，每一个簇代表一种不同于其他类的正常类。从给定簇i的角度来看，属于其他簇的样本(来自集合{1，2，…，k}\i)可以看作(伪)异常。因此，对每个簇i训练一个二元分类器gi，二元分类器具体可以选择SVM。借助二元分类器gi，能够将集群i(即第i簇中的样本数据)正标记数据点与集群{1，2，…，k}\i(即其他簇中的样本数据)负标记数据点分离，如式(2)所示：
Figure BDA0002924476050000171
其中x∈Rm，Rm为正常或异常的测试样本，w是权重向量，b是偏差项。
也就是说，对于gi，x为k个簇中的样本数据，且第i簇中的样本数据为正常，其他簇中的样本数据为(伪)异常。从以上可以看出，与真正的异常样本相比，负样本实际上可以被认为与簇i中样本的关系更为密切。因此，识别任务更加困难，从而可以帮助支持向量机选择更好的支持向量。
这样，对于每个簇i，都训练一个独立的二元分类器gi，一个测试样本的最终分类得分是k个分类器返回的得分中的最高得分。换言之，一个测试样本的分类分数是根据一对多(one-versus-rest)方案选择的。相关技术中，一对多方案通常用于二进制分类器，以解决多类问题。
S204：行为分析。
需要说明的是，在推理阶段，每个测试样本x由k个二元支持向量机模型(即前述训练好的gi)进行打分，取最高的得分后再取负号作为该测试样本x的异常得分。此时，测试样本的异常得分越高，则测试样本异常的可能性越大。
然后，通过将从待检测图像裁剪的多个目标的分数相加，得到了待检测图像的像素级异常预测图。如果两个对象的边界框重叠，则取交集中的最大值。为了获得帧级预测，将预测图中的最高得分作为相应帧的异常分数，通过高斯滤波器来暂时平滑帧级的异常得分，当异常分数高于预设阈值时，则判断该图像帧包含有异常目标。
另外，对于判定为包含有异常目标的图像帧，将其中异常分数最高的目标确定为异常目标并标记出来，以提醒工作人员的注意。
综上所述，本申请实施例提供了一种视频中的异常行为检测方法，首先，该方法引入了一个基于对象中心卷积自动编码的无监督特征学习框架，对动作和外观信息进行编码；其次，该方法提出一种基于聚类训练样本为正常类的监督分类方法。然后使用一对多异常事件分类器将每个正常类与其余类分开。具体包括以下内容：
(1)本申请引入了一种基于对象为中心的卷积自编码器的无监督特征学习框架，该框架用来编码运动和外观信息；
(2)本申请还提出了一种基于训练样本聚类为正常簇的监督分类方法，用一个one-versus-rest的异常事件分类器将每个正常聚类和其他的分开。
相比较于相关技术中的异常行为检测方法，本申请实施例具有以下优点：
(1)提高了目标检测和特征学习的速度
本申请实施例中应用了基于FPN的单镜头目标检测器，在图形处理器(GraphicsProcessing Unit，GPU)上每秒能处理13帧，这大大增加了目标检测的速度，使用的基于对象为中心的卷积自编码器是基于在TensorFlow框架(一种端到端开源机器学习平台)中实现的，大大提高了特征学习的速度；
(2)提高了异常行为检测的精度
在本申请实施例中，对于运动目标、静止目标，尤其对微小目标都能准确的检出。另外，现有的技术由于缺乏关于异常事件的先验信息，这些方法不能完全区分正常和异常事件，本申请中用一种多类分类的思想，弥补了异常样本的不足，最终该方法的工作特征曲线下面积(Area Under Curve，AUC)为98.6％。可以看出本实施例具有较高的准确率，大大提高了异常行为检测的精度。
示例性地，参见图3，其示出了本申请实施例提供的另一种异常行为检测装置30的组成结构示意图。如图3所示，该异常行为检测装置30可以包括处理器模块301、视频采集模块302、存储器303和终端显示模块304；其中，存储器303中包括有目标检测模块3031、特征学习模块3032和行为分析模块3033，这些模块通过总线互连；其中，
处理器模块301：可以是中央处理单元(CPU)或者具有数据处理能力和指令执行能力的其它形式的处理单元，并且可以控制其它模块中的组件以执行期望的功能。
视频采集模块302：用于采集待处理的相邻帧作为样本，可以包括摄像头3021和视频编译/解码器3022。具体地，在摄像头3021捕捉待检测图像后，利用视频编码/解码器3022处理后，发送预处理后的图像数据给其后的各模块。
存储器303：存储器303包含目标检测模块3031、特征学习模块3032、行为分析模块3033。存储器303包括一个或多个计算机程序产品，可以包括各种形式的计算机可读存储介质，可以是高速缓冲存储器(cache)等。在所述计算机可读存储介质上部署这些模块，用于存储基于多类分类的异常行为检测算法的程序指令和各种应用数据，以及采集到的输入视频图像，从而在处理器301运行所需程序等，能够实现前述的步骤；其中，
通过目标检测模块3031执行目标检测的步骤：基于FPN的单镜头目标检测器来对相邻三帧的目标提取出来，传递到特征学习阶段；
通过特征学习模块3032执行特征学习的步骤：使用三个以对象为中心的自编码器，学习运动和外观的潜在特征，得到组合的特征向量；
另外，处理器301还能够执行模型训练的步骤：本申请实施例提出了一种新的训练方法，通过构造一个上下文，将异常行为检测任务形式化为一个多类分类问题，使用预设分类模型(具体为one-versus-rest分类器)解决多类问题；
通过行为分析模块3033执行行为分析的步骤：将预测图中的最高得分作为相应帧的异常分数，同时将图像帧中最高分类得分所对应的目标确定为异常目标，并标记出来。
终端显示模块304：向外部输出各种信息，例如视频帧信息，经过目标检测、特征学习、模型训练、行为分析后处理后得到的检测结果，终端显示模块304可以集成在显示器3041、投影仪3042等之中，从而呈现最终的检测结果。
综上所述，本申请提出一种异常行为检测装置，从输入到输出，包含视频采集及预处理、算法及程序存储、训练分析、终端显示各部分，利用基于多类分类的异常行为检测装置能快速处理视频图像，达到实时准确的检测异常行为的目标。
本申请实施例提供了一种异常行为检测方法，通过本实施例对前述实施例的详细阐述，从中可以看出，在待检测图像中确定多个待检测目标，以待检测目标为对象进行特征提取和后续的异常行为检测，提高了异常行为检测的速度；另外，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。
在本申请的再一实施例中，基于前述实施例相同的发明构思，参见图4，其示出了本申请实施例提供的另一种异常行为检测装30的组成结构示意图。如图4所示，该异常行为检测装置30包括获取单元401、特征单元402、计算单元403和检测单元404，其中，
获取单元401，配置为确定待检测图像中的至少一个待检测目标；
特征单元402，配置为基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；
计算单元403，配置为利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；
检测单元404，配置为根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
在一些实施例中，获取单元401，具体配置为利用预设检测模型对所述待检测图像进行目标检测，得到至少一组边界框；利用所述至少一组边界框对所述待检测图像进行切割，得到所述至少一个待检测目标。
在一些实施例中，所述视频序列包括第t帧图像、第(t-n)帧图像和第(t+n)帧图像；其中，所述第t帧图像表示所述待检测图像，n为大于0的整数，t为大于或等于n的整数；特征单元402，具体配置为利用第一特征模型对所述第t帧图像进行外观特征学习，得到所述至少一个待检测目标各自的外观特征向量；利用第二特征模型对根据所述第t帧图像和所述第(t-n)帧图像进行运动特征学习，得到所述至少一个待检测目标各自的第一运动特征向量；利用第三特征模型对所述第t帧图像和所述第(t+n)帧图像进行运动特征学习，得到所述至少一个待检测目标各自的第二运动特征向量；将所述至少一个待检测目标各自的外观特征向量、所述至少一个待检测目标各自的第一运动特征向量和所述至少一个待检测目标各自的第二运动特征向量进行组合，得到所述至少一个待检测目标各自的综合特征向量。
在一些实施例中，所述第一特征模型为外观卷积自编码器，所述第二特征模型为第一运动卷积自编码器，所述第三特征模型为第二运动卷积自编码器。
在一些实施例中，所述预设分类模型包括k个分类子模型，k为正整数。如图5所示，该异常行为检测装30还包括训练单元405，配置为获取预设样本集合；其中，所述预设样本集合中包括多个综合特征向量；对所述预设样本集合中的多个综合特征向量进行聚类分析，得到k个分类样本簇；基于所述k个分类样本簇分别对原始分类模型进行训练，得到k个分类子模型；其中，第i个分类子模型用于区分所述第i个分类样本簇和其他分类样本簇，i为小于或等于k的正整数；将所述k个分类子模型确定为所述预设分类模型。
在一些实施例中，检测单元404，具体配置为针对所述至少一个待检测目标中的每一待检测目标，利用所述k个分类子模型分别对所述每一待检测目标的综合特征向量进行分类计算，得到所述每一待检测目标的k个分类分数；从所述每一待检测目标的k个分类分数中，选取所述每一待检测目标的最高分类分数；对所述每一待检测目标的最高分类分数进行取负操作，得到所述每一待检测目标的异常分数，以得到所述至少一个待检测目标各自的异常分数。
在一些实施例中，检测单元404，还配置为从所述至少一个待检测目标各自的异常分数中选取最高异常分数，将所述最高异常分数对应的待检测目标确定为所述异常目标。
可以理解地，在本实施例中，“单元”可以是部分电路、部分处理器、部分程序或软件等等，当然也可以是模块，还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本实施例提供了一种计算机存储介质，该计算机存储介质存储有异常行为检测程序，所述异常行为检测程序被至少一个处理器执行时实现前述实施例中任一项所述的方法的步骤。
基于上述的一种异常行为检测装置30的组成以及计算机存储介质，参见图6，其示出了本申请实施例提供的一种异常行为检测装置30的具体硬件结构示意图，如图6所示，所述异常行为检测装置30可以包括：通信接口501、存储器502和处理器503；各个组件通过总线设备504耦合在一起。可理解，总线设备504用于实现这些组件之间的连接通信。总线设备504除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线设备504。其中，通信接口501，用于在与其他外部网元之间进行收发信息过程中，信号的接收和发送；
存储器502，用于存储能够在处理器503上运行的计算机程序；
处理器503，用于在运行所述计算机程序时，执行：
确定待检测图像中的至少一个待检测目标；
基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；
利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；
根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
可以理解，本申请实施例中的存储器502可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步链动态随机存取存储器(Synchronous link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请描述的设备和方法的存储器502旨在包括但不限于这些和任意其它适合类型的存储器。
而处理器503可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器503可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(APPlication Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器502，处理器503读取存储器502中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本申请描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(APPlication Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本申请所述功能的模块(例如过程、函数等)来实现本申请所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器503还配置为在运行所述计算机程序时，执行前述实施例中任一项所述的方法的步骤。
基于上述异常行为检测装置30的组成以及硬件结构示意图，参见图7，其示出了本申请实施例提供的一种异常行为检测系统60的组成结构示意图。如图7所示，该异常行为检测系统60至少包括前述实施例中任一项所述的异常行为检测装置30。
对于异常行为检测系统60而言，在待检测图像中确定多个待检测目标，以待检测目标为对象进行特征提取和后续的异常行为检测，提高了异常行为检测的速度；另外，利用预设分类模型来确定待检测图像中的异常目标，无需依赖异常事件的先验信息，提高了异常行为检测的准确率。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
需要说明的是，在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种异常行为检测方法，其特征在于，所述方法包括：
确定待检测图像中的至少一个待检测目标；
基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；
利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；
根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
2.根据权利要求1所述的异常行为检测方法，其特征在于，所述确定待检测图像中的至少一个待检测目标，包括：
利用预设检测模型对所述待检测图像进行目标检测，得到至少一组边界框；
利用所述至少一组边界框对所述待检测图像进行切割，得到所述至少一个待检测目标。
3.根据权利要求1所述的异常行为检测方法，其特征在于，所述视频序列包括第t帧图像、第(t-n)帧图像和第(t+n)帧图像；其中，所述第t帧图像表示所述待检测图像，n为大于0的整数，t为大于或等于n的整数；
所述对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量，包括：
利用第一特征模型对所述第t帧图像进行外观特征学习，得到所述至少一个待检测目标各自的外观特征向量；
利用第二特征模型对根据所述第t帧图像和所述第(t-n)帧图像进行运动特征学习，得到所述至少一个待检测目标各自的第一运动特征向量；
利用第三特征模型对所述第t帧图像和所述第(t+n)帧图像进行运动特征学习，得到所述至少一个待检测目标各自的第二运动特征向量；
将所述至少一个待检测目标各自的外观特征向量、所述至少一个待检测目标各自的第一运动特征向量和所述至少一个待检测目标各自的第二运动特征向量进行组合，得到所述至少一个待检测目标各自的综合特征向量。
4.根据权利要求3所述的异常行为检测方法，其特征在于，所述第一特征模型为外观卷积自编码器，所述第二特征模型为第一运动卷积自编码器，所述第三特征模型为第二运动卷积自编码器。
5.根据权利要求1所述的异常行为检测方法，其特征在于，所述预设分类模型包括k个分类子模型，k为正整数；所述方法还包括：
获取预设样本集合；其中，所述预设样本集合中包括多个综合特征向量；
对所述预设样本集合中的多个综合特征向量进行聚类分析，得到k个分类样本簇；
基于所述k个分类样本簇分别对原始分类模型进行训练，得到k个分类子模型；其中，第i个分类子模型用于区分所述第i个分类样本簇和其他分类样本簇，i为小于或等于k的正整数；
将所述k个分类子模型确定为所述预设分类模型。
6.根据权利要求5所述的异常行为检测方法，其特征在于，所述利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数，包括：
针对所述至少一个待检测目标中的每一待检测目标，利用所述k个分类子模型分别对所述每一待检测目标的综合特征向量进行分类计算，得到所述每一待检测目标的k个分类分数；
从所述每一待检测目标的k个分类分数中，选取所述每一待检测目标的最高分类分数；
对所述每一待检测目标的最高分类分数进行取负操作，得到所述每一待检测目标的异常分数，以得到所述至少一个待检测目标各自的异常分数。
7.根据权利要求1所述的异常行为检测方法，其特征在于，所述根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标，包括：
从所述至少一个待检测目标各自的异常分数中选取最高异常分数，将所述最高异常分数对应的待检测目标确定为所述异常目标。
8.一种异常行为检测装置，其特征在于，所述异常行为检测装置包括获取单元、特征单元、计算单元和检测单元，其中，
所述获取单元，配置为确定待检测图像中的至少一个待检测目标；
所述特征单元，配置为基于包含所述待检测图像的视频序列，对所述至少一个待检测目标进行特征学习，得到所述至少一个待检测目标各自的综合特征向量；其中，所述综合特征向量表示所述待检测目标的外观特征和运动特征组合的特征向量；
所述计算单元，配置为利用预设分类模型对所述至少一个待检测目标各自的综合特征向量进行分类计算，得到所述至少一个待检测目标各自的异常分数；
所述检测单元，配置为根据所述至少一个待检测目标各自的异常分数，从所述至少一个待检测目标中确定所述待检测图像的异常目标。
9.一种异常行为检测装置，其特征在于所述异常行为检测装置包括存储器和处理器；其中，
所述存储器，用于存储能够在所述处理器上运行的计算机程序；
所述处理器，用于在运行所述计算机程序时，执行如权利要求1至7任一项所述方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有异常行为检测程序，所述异常行为检测程序被至少一个处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202110127453.0A 2021-01-29 2021-01-29 一种异常行为检测方法、装置及计算机存储介质 Pending CN114913442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110127453.0A CN114913442A (zh) 2021-01-29 2021-01-29 一种异常行为检测方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110127453.0A CN114913442A (zh) 2021-01-29 2021-01-29 一种异常行为检测方法、装置及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114913442A true CN114913442A (zh) 2022-08-16

Family

ID=82761608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110127453.0A Pending CN114913442A (zh) 2021-01-29 2021-01-29 一种异常行为检测方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114913442A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958876A (zh) * 2023-07-28 2023-10-27 郑州轻工业大学 一种基于多光谱双目立体视觉的视频异常行为检测方法和系统
CN117079079A (zh) * 2023-09-27 2023-11-17 中电科新型智慧城市研究院有限公司 视频异常检测模型的训练方法、视频异常检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958876A (zh) * 2023-07-28 2023-10-27 郑州轻工业大学 一种基于多光谱双目立体视觉的视频异常行为检测方法和系统
CN117079079A (zh) * 2023-09-27 2023-11-17 中电科新型智慧城市研究院有限公司 视频异常检测模型的训练方法、视频异常检测方法及系统
CN117079079B (zh) * 2023-09-27 2024-03-15 中电科新型智慧城市研究院有限公司 视频异常检测模型的训练方法、视频异常检测方法及系统

Similar Documents

Publication Publication Date Title
KR102171122B1 (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
EP4035064B1 (en) Object detection based on pixel differences
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
CN112132119B (zh) 客流统计方法、装置、电子设备和存储介质
US9008365B2 (en) Systems and methods for pedestrian detection in images
US20180114071A1 (en) Method for analysing media content
US10607098B2 (en) System of a video frame detector for video content identification and method thereof
WO2020020472A1 (en) A computer-implemented method and system for detecting small objects on an image using convolutional neural networks
Tavakkoli et al. Non-parametric statistical background modeling for efficient foreground region detection
CN109460787B (zh) 入侵检测模型建立方法、装置及数据处理设备
Naik et al. Deep-violence: individual person violent activity detection in video
CN109919223B (zh) 基于深度神经网络的目标检测方法及装置
CN114913442A (zh) 一种异常行为检测方法、装置及计算机存储介质
Tyagi et al. A review of deep learning techniques for crowd behavior analysis
T'Jampens et al. Automatic detection, tracking and counting of birds in marine video content
Arya et al. Object detection using deep learning: A review
CN113378675A (zh) 一种同时检测和特征提取的人脸识别方法
Bondalapati et al. RETRACTED ARTICLE: Moving object detection based on unified model
Kumar Crowd behavior monitoring and analysis in surveillance applications: a survey
Yang et al. Video anomaly detection for surveillance based on effective frame area
Teja Static object detection for video surveillance
García-González et al. Background modeling by shifted tilings of stacked denoising autoencoders
Negri Estimating the queue length at street intersections by using a movement feature space approach
CN114387496A (zh) 一种目标检测方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination