CN114764895A - 异常行为检测装置和方法 - Google Patents

Abstract

本发明提供异常行为检测装置和方法。该异常行为检测装置，包括：可疑姿态检测模块，针对视频中的一帧的图像，检测可疑姿态，根据可疑姿态来确定可疑姿态检测框；以及异常行为检测模块，从视频中截取一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

Description

异常行为检测装置和方法

技术领域

本发明涉及视频图像处理领域，尤其是，涉及基于视频图像的异常行为检测装置和方法。

背景技术

公共安全事关国家、社会的稳定，直接影响人民群众的生命财产安全。为了保障公共安全，实时发现安检场景的异常行为并及时预警，以保障人民群众的出行安全，是非常必要的。

近年来，在本技术领域中，利用深度学习技术检测图像中的异常行为并对连续的动作进行识别，是研究热点之一。其中，如何有效、快速、实时地识别出视频中的行为动作，仍然是众多研究人员的核心工作。

发明内容

最近几年，基于深度学习的行为识别算法的研究取得了重大突破，主要是卷积神经网络在计算机视觉领域的识别率大幅提升。

目前，一些深度学习领域的视频行为识别方法，可分为两个方向：一个方向是，使用3D卷积神经网或3D卷积神经网路结合双流的方式，对视频图像中出现的行为动作进行识别，然而，这样的方式不能识别出作出动作的人。另一个方向是，使用人体骨架加RNN神经网路的方式，对视频中出现的行人进行动作识别，这样的方式能够识别出作出动作的人。

然而，上述的两个方式，在大场景下的视频监控中，在不指定ROI区域时，对整个场景下的异常行为的识别效果并不好。在人较多时，基于人体骨架的动作识别的计算量比较大，实时性较差。使用3D卷积神经网络的方式，每次都要对连续的多帧图像进行动作识别，需要耗费很大的计算机资源。

本发明的发明人发现，行为动作是一个连续的过程，需要从多帧连续的视频图像中识别出，很难通过单个图像识别出要发生的动作，但是，在单个图像上可以较好地检测出行人做动作的时的姿态。

因此，本发明提供一种在减少计算量，提高计算速度的同时，能够准确地识别出异常行为的异常行为检测装置和方法。

作为本发明的一个实施方式提供一种异常行为检测装置，包括：可疑姿态检测模块，针对视频中的一帧的图像，检测可疑姿态，根据可疑姿态来确定可疑姿态检测框；以及异常行为检测模块，从视频中截取一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

在上述的异常行为检测装置中，可疑姿态检测模块利用可疑姿态检测模型来检测可疑姿态，可疑姿态检测模型是目标检测卷积神经网络模型，异常行为检测模块利用异常行为判断模型来判断是否为异常行为，异常行为判断模型是3D卷积神经网络模型。

在上述的异常行为检测装置中，可疑姿态检测模块包括：一帧图像提取部，从视频中提取一帧的图像；可疑姿态检测部，将一帧的图像输入到可疑姿态检测模型，判断是否为可疑姿态；以及可疑姿态检测框确定部，当可疑姿态检测部检测到可疑姿态时，在图像中确定出可疑姿态检测框。

在上述的异常行为检测装置中，可疑姿态检测模型是YOLOV3目标检测网络模型。

在上述的异常行为检测装置中，异常行为检测模块包括：预定帧图像截取部，截取预定帧的图像；以及异常行为判断部，将预定帧的图像输入到异常行为判断模型，判断是否为异常行为；以及结果输出部，作为结果，输出异常行为的类型以及可疑姿态检测框的图像。

在上述的异常行为检测装置中，异常行为判断模型是基于vgg16框架的3D神经网络模型。

在上述的异常行为检测装置中，可疑姿态检测模型还检测作出可疑姿态的可疑人员，并且，可疑姿态检测模块还包括：跟踪框确定部，根据所检测出的可疑人员，确定可疑人员跟踪框，异常行为检测模块还包括：可疑人员跟踪部，针对预定帧的图像，利用跟踪算法，对可疑人员跟踪框进行跟踪，结果输出部还输出可疑人员跟踪框的图像。

在上述的异常行为检测装置中，结果输出部所输出的可疑人员跟踪框的图像包含：预定帧中的每一帧的图像中的可疑人员跟踪框的图像。

在上述的异常行为检测装置中，结果输出部所输出的可疑人员跟踪框的图像包含：由预定帧中的每一帧的可疑人员跟踪框的图像来构成的运动图像。

在上述的异常行为检测装置中，将标注好的可疑姿态训练数据导入到可疑姿态检测模型中，对可疑姿态检测模型进行训练；使用训练完成的可疑姿态检测模型对采集的视频数据进行检测，生成异常行为训练数据；以及使用异常行为训练数据，对异常行为判断模型进行训练。

作为本发明的另一实施方式提供一种异常行为检测方法，包括：可疑姿态检测步骤，针对视频中的一帧的图像，检测可疑姿态，根据可疑姿态来确定可疑姿态检测框；以及异常行为检测步骤，从视频中截取一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

在上述的异常行为检测方法中，在可疑姿态检测步骤中，利用可疑姿态检测模型来检测可疑姿态，可疑姿态检测模型是目标检测卷积神经网络模型，在异常行为检测步骤中，利用异常行为判断模型来判断是否为异常行为，异常行为判断模型是3D卷积神经网络模型。

在上述的异常行为检测方法中，可疑姿态检测步骤包括：从视频中提取一帧的图像；

将一帧的图像输入到可疑姿态检测模型，判断是否为可疑姿态；以及当可疑姿态检测部检测到可疑姿态时，在图像中确定出可疑姿态检测框。

在上述的异常行为检测方法中，可疑姿态检测模型是YOLOV3目标检测网络模型。

在上述的异常行为检测方法中，异常行为检测步骤包括：截取预定帧的图像；以及将预定帧的图像输入到异常行为判断模型，判断是否为异常行为；以及结果输出部，作为结果，输出异常行为的类型以及可疑姿态检测框的图像。

在上述的异常行为检测方法中，异常行为判断模型是基于vgg16框架的3D神经网络模型。

在上述的异常行为检测方法中，可疑姿态检测模型还检测作出可疑姿态的可疑人员，并且，可疑姿态检测步骤还包括：根据所检测出的可疑人员，确定可疑人员跟踪框，异常行为检测步骤还包括：针对预定帧的图像，利用跟踪算法，对可疑人员跟踪框进行跟踪，在结果输出步骤中，还输出可疑人员跟踪框的图像。

在上述的异常行为检测方法中，在结果输出步骤中输出的可疑人员跟踪框的图像包含：预定帧中的每一帧的图像中的可疑人员跟踪框的图像。

在上述的异常行为检测方法中，在结果输出步骤中输出的可疑人员跟踪框的图像包含：由预定帧中的每一帧的可疑人员跟踪框的图像来构成的运动图像。

在上述的异常行为检测方法中，将标注好的可疑姿态训练数据导入到可疑姿态检测模型中，对可疑姿态检测模型进行训练；使用训练完成的可疑姿态检测模型对采集的视频数据进行检测，生成异常行为训练数据；以及使用异常行为训练数据，对异常行为判断模型进行训练。

作为本发明的另一实施方式提供一种异常行为检测装置，包括：存储器：以及处理器，执行存储在存储器中的程序，使得计算机执行以下处理：针对视频中的一帧的图像，检测可疑姿态，根据可疑姿态来确定可疑姿态检测框；以及从视频中截取一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

作为本发明的另一实施方式提供一种计算机可读存储介质，存储有异常行为检测程序，异常行为检测程序使得计算机执行以下处理：针对视频中的一帧的图像，检测可疑姿态，根据可疑姿态来确定可疑姿态检测框；以及从视频中截取一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

在本发明中，通过针对视频中的一帧的图像，检测可疑姿态，确定可疑姿态检测框，并针对该可疑姿态检测框，获取前后的连续的预定帧的图像，能够在减少计算量，提高计算速度的同时，能够准确地识别出异常行为。另外，在本发明中，能够通过对一帧的图像的检测，自动确定可疑姿态检测框，不需要人工划定ROI区域等，从而能够减少操作人员的工作量，提高检测效率，更有利于实时检测。

附图说明

图1是示出本发明的第一实施方式所涉及的异常行为检测方法的流程图；

图2是示出第一实施方式的实施例1所涉及的异常行为检测方法的流程图；

图3是示出作为可疑姿态检测模型的一个示例的YOLOV3网络模型的示意图；

图4是示出作为异常行为判断模型的一个示例的基于vgg16框架的3D卷积神经网络模型的示意图；

图5是示出第一实施方式的实施例2所涉及的异常行为检测方法的流程图；

图6是示出确定可疑姿态检测框和可疑人员跟踪框的一个示例的图；

图7是示出可疑姿态检测框内的图像的一个示例的图；

图8是示出本发明的第二实施方式所涉及的异常行为检测装置的构成的示意图；

图9是示出第一实施方式的实施例1所涉及的异常行为检测装置的构成的示意图；

图10是示出第一实施方式的实施例2所涉及的异常行为检测装置的构成的示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性的实施方式或实施例。虽然附图中显示了本发明的示例性的实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施方式或实施例所限制。相反，提供这些实施方式或实施例是为了能够更清楚地理解本发明。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式或实施例能够以除了图示或描述的以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备，不限于清楚地列出的步骤或单元，而是可以包括没有清楚地列出的其它步骤或单元。

<第一实施方式>

以下，作为本发明的第一实施方式，对异常行为检测方法进行说明。

图1是示出本发明的第一实施方式所涉及的异常行为检测方法的流程图。

如图1所示，在S10步骤中，针对视频中的一帧的图像，检测可疑姿态，根据该可疑姿态来确定可疑姿态检测框。

在S20步骤中，针对在S10步骤中获得的可疑姿态检测框，从视频中截取该一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据这些截取的预定帧的图像，判断是否为异常行为。在这里，异常行为的类型可以是遗留包裹、隔栏递物、打架斗殴等。对于异常行为的类型没有特别限定，可以根据应用场景来设定。

由此可知，在本实施方式中，首先，利用可疑姿态检测模型检测出视频中的某一帧图像中的可能是异常行为的一部分的可疑姿态，获取可疑姿态检测框。然后，使用该可疑姿态检测框来截取连续多张图像，传给异常行为判断模型来识别异常行为。这样就不用人工划定ROI区域，就能够自动得到检测框，仅截取检测框内的预定帧的图像数据，从而在减少计算量、提高计算速度的情况下，能够通过多张图像准确识别异常行为，从而能够对视频中发生的异常行为进行快速、准确的检测。

另外，在本实施方式中，在S10步骤中，可以采用由目标检测卷积神经网络模型的可疑姿态检测模型来针对一帧的图像检测可疑姿态，并且，在S20步骤中，可以采用由3D卷积神经网络模型构成的异常行为判断模型来对预定帧(例如，n帧)的图像，判断上述的可疑姿态相关的行为是否为异常行为。通过将目标检测卷积神经网络模型作为可疑姿态检测模型，可以在单张图像中快速找到可疑姿态，从而确定出可疑姿态检测框。通过将3D卷积神经网络模型作为异常行为判断模型，能够从多张图像中准确地识别异常行为。

以下，对S10步骤和S20步骤的具体的实施例进行说明。

(实施例1)

图2是示出第一实施方式的实施例1所涉及的异常行为检测方法的流程图。

首先，对S10步骤进行详细说明。

在S11步骤中，从视频中提取一帧的图像。

在视频监控的应用场景中，该视频为监控视频，可以从监控用的摄像机等获取该视频，而S11步骤的图像提取可以实时地进行或周期性地进行。

在S12步骤中，将该一帧的图像输入到可疑姿态检测模型中。

在S13步骤中，通过可疑姿态检测模型判断该一帧的图像中是否有可疑姿态。在S13步骤中，若判断为“是”，即检测到可疑姿态，则进入S14步骤，若判断为“否”，即没有检测到可疑姿态，则返回S11步骤。

在这里，可疑姿态检测模型是目标检测卷积神经网络模型。该模型是通过事先标注好的可疑姿态训练数据来训练而成的。可疑姿态训练数据的类型可以是与遗留包裹、隔栏递物、打架斗殴等异常行为相关的姿态类型，可以根据应用场景和所关注的行为来设定。可疑姿态是可能与异常行为相关的姿态。即，可疑姿态表示可能是该异常行为的某一状态的姿态。

具体来说，例如，该模型可以是YOLOV3目标检测网络模型。通过将事先标注好的可疑姿态训练数据导入到YOLOV3目标检测网络来进行训练，获得训练后的可疑姿态检测模型。本发明的可疑姿态检测模型并没有特别限定，只要是能够进行目标检测的卷积神经网络模型即可。优选的是，2维的目标检测的卷积神经网络模型，能够使得计算速度较快。

作为一个示例，YOLOV3网络模型可以采用如下模型：采用3×3和1×1的卷积来堆叠而成，并去掉池化层，使用卷积层收缩图片，其网络架构如图3所示。在这样构成可疑姿态检测模型的情况下，能够使得计算速度更快，有利于快速检测可疑姿态。

在S14步骤中，根据在S13步骤检测到的可疑姿态，在该图像中确定出可疑姿态检测框。在S14步骤中，也可以直接剪切出可疑姿态检测框的图像。

接下来，对S20步骤进行详细说明。

在S21步骤中，从视频中截取上述的S11步骤所提取的一帧的图像的前后的预定帧(例如，n帧)的可疑姿态检测框内的图像。换言之，对于视频中的上述一帧的前后的预定帧的图像，均截取出可疑姿态检测框内的图像。在这里，一帧的图像的前后的预定帧是指包含该一帧的图像共计预定帧(n帧)。对于预定帧的个数n没有特别限定，能够识别出行为的范围即可。n可以根据要识别的异常行为的种类而适当地设定。例如，打架的异常行为，由于持续时间较长，所以n值可以设定得较大，而扔东西的异常行为，由于持续时间较短，所以可以设定得较大。如果要识别多种异常行为时，选择能够识别所有所关注的异常行为的n即可。

在这里，一帧的图像的前后的预定帧包含从S11步骤所提取的一帧开始的的预定帧，即将该一帧作为第1帧的n帧。

在这里，由于仅截取可疑姿态检测框内的图像，因此与对所有图像范围进行计算的情况相比，能够减少计算量，同时，由于集区前后预定帧的图像，也能够通过多张图像来识别异常行为。

在S22步骤中，将在S21步骤中获得的预定帧(n帧)的图像输入到异常行为判断模型中。

在S23步骤中，通过判断异常行为判断模型判断是否为异常行为。

在这里，异常行为判断模型是3D卷积神经网络模型。该模型是使用异常行为训练数据来训练而成的。其中，异常行为训练数据可以是使用训练完成的可疑姿态检测模型对采集的视频数据进行检测来生成的。异常行为训练数据的类型可以分为背景、遗留包裹、隔栏递物、打架斗殴等。可以根据应用场景和所关注行为来设定。异常行为的类型和上述的可疑姿态的类型是相关联的。

本发明的异常行为判断模型并没有特别限定，只要是能够进行行为检测的3D卷积神经网络模型即可。

具体来说，例如，该模型可以是基于vgg16框架的3D卷积神经网络模型。

作为一个示例，可以采用如下模型：将vgg16框架中的2D卷积层和池化层换成3D卷积层和3D池化层，将输入层改为16×3×112×112，即，连续16张图像，3个通道，图像的宽高为112×112，从而网络架构成为如图4所示。在这种情况下，能够使得计算速度快且计算精度高，有利于异常行为的快速、准确识别。

在S24步骤中，确定要作为结果输出的内容。

在这里，作为结果，可以输出异常行为的类型以及可疑姿态检测框的图像。

在这里，异常行为的类型是通过上述的异常行为判断模型的计算结果来得到的。

可疑姿态检测框的图像既可以是在上述的S14步骤中确定的该一帧的图像中的可疑姿态检测框的图像。

另外，也可以作为结果，输出警报。该警报可以是文字信息，也可以是控制扬声器发出警报的控制信号等。

在实施例1中，通过针对单一帧的图像适用由目标检测卷积神经网络模型构成的可疑姿态检测模型来识别可疑姿态，可以确定出可疑姿态检测框，从而能够从单一帧的图像快速找到可疑姿态。然后，针对该可疑姿态检测框的范围，截取该帧前后的连续n帧的图像，对该n帧图像适用由3D卷积神经网络模型构成的异常行为判断模型识别异常行为，由此，通过仅截取可疑姿态检测框的范围内的n帧的图像，减少了要处理的图像数据的量，进而减少计算量，从而减少所占用的计算资源，与此同时，通过对n帧的图像进行异常行为识别，能够保证异常行为识别的准确率。

(实施例2)

实施例2与实施例1的区别在于，还识别作出了可疑姿态或异常行为的人员。

图5是示出第一实施方式的实施例2所涉及的异常行为检测方法的流程图。

具体来说，如图5所示，S10步骤还包括S15步骤，S20步骤还包括S25步骤。

即，在S10步骤的S13步骤中，可疑姿态检测模型不仅检测可疑姿态，还检测作出该可疑姿态的人员、即可疑人员。与此对应地，在可疑姿态检测模型的训练中，可以增加关于可疑人员的训练数据。

在S15步骤中，根据在S13步骤中确定的可疑人员，确定出可疑人员跟踪框。

在S25步骤中，针对可疑人员跟踪框，利用跟踪算法，对可疑人员跟踪框进行跟踪。

在这里，对于跟踪算法没有特别限定，只要能够对多张图片的特定目标进行跟踪的算法即可。作为跟踪算法，可以使用KCF(Kernel Correlation Filter)目标跟踪算法，能够获得较好的跟踪效果。

在S24步骤中，作为输出内容，还输出可疑人员跟踪框的图像。

在这里，可疑人员跟踪框的图像可以是n帧之中的每一帧(第1帧～第n帧)的图像中的可疑人员跟踪框的图像。也可以是由第1帧～第n帧的可疑人员跟踪框的图像构成的运动图像，通过输出运动图像，能够使得用户更加直观地观察到异常行为进行过程。

在实施例2中，不仅能够与实施例1同样地快速、准确地检测出异常行为，同时，还能够识别出作出异常行为的人员。

以下，以隔栏递物的场景为例，对实施例1和实施例2的异常行为检测方法进行举例说明。图6是示出确定可疑姿态检测框和可疑人员跟踪框的一个示例的图。图7是示出可疑姿态检测框内的图像的一个示例的图。

图6所示，在S10步骤中，在一帧的图像中，通过可疑姿态检测模型检测到有可能是与隔栏递物的异常行为相关的可疑姿态C时，在该一帧的图像中，确定出可疑姿态检测框K，并剪切出可疑姿态检测框K内的图像，从而获得如图7所示的图像。

在上述的实施例2中，还通过可疑姿态检测模型识别出作出了可疑姿态C的人员A和人员B，确定分别包含人员A和人员B的头部的可疑人员跟踪框KA和可疑人员跟踪框KB。

在S20步骤中，针对剪切出可疑姿态检测框K的范围，获取该帧前后的连续n帧的图像，并基于该n帧的可疑姿态检测框K的图像，通过异常行为判断模型进行异常行为检测。其中，在实施例2中，还对可疑人员跟踪框KA和可疑人员跟踪框KB进行目标跟踪。

作为结果，可以输出异常行为判断模型判断的异常行为的类型、可疑姿态检测框K的图像、可疑人员跟踪框KA和可疑人员跟踪框KB的图像。

在这里，所输出的可疑姿态检测框K的图像可以如图7所示，所输出的可疑人员跟踪框KA、可疑人员跟踪框KB的图像可以是第1帧～第n帧的可疑人员跟踪框KA、可疑人员跟踪框KB的图像，既可以以多个静态图像的方式输出，也可以以动态图像的方式输出。

<第二实施方式>

以下，作为本发明的第二实施方式，对异常行为检测装置进行说明。

本实施方式的异常行为检测装置可以具有处理器和存储器。异常行为检测装置可以通过处理器执行存储在存储器中的异常行为检测程序来实现上述的各功能模块或功能部。这些功能模块或功能部是按照其所执行的功能来划分的，在物理上，可以是一体的，也可以是分开的。

其中，处理器可以包括CPU(Central Processing Unit，中央处理单元)、GPU(Graphics Processing Unit，图形处理器)等。处理器可以包含多个处理器，或者包含多核处理器，分别执行的部分处理，从而减轻单个处理器或单个处理单元的处理负荷。其中，多个处理器、或者多核处理器可以分别并行执行上述部分处理，从而能够提高运算速度。

存储器例如包括存储有程序和各种数据的ROM(Read Only Memory，只读存储器)、以及作为CPU的工作区域而使用的RAM(Random Access Memory，随机存取存储器)。

异常行为检测装置也可以包括FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)、ASIC(Application Specific Integrated Circuit，专用集成芯片)等硬件。可以由FPGA、ASIC等来实现异常行为检测装置所执行的部分或全部的处理。

由此，本实施方式的异常行为检测装置既可以用软件实现，也可以用软件和硬件相结合的方式实现，也可以用硬件实现。

作为应用场景，本实施方式的异常行为检测装置例如可以应用于例如安检视频监控等中，在这种情况下，异常行为检测装置例如可以作为现场安检设备的一部分，也可以安装在监控室的监控主机中。但实施方式的异常行为检测装置的应用场景不限于此。

以下，对构成异常行为检测装置的各功能模块和功能部进行详细说明。

图8是示出本发明的第二实施方式所涉及的异常行为检测装置100的构成的示意图。

如图8所示，异常行为检测装置100可以包括可疑姿态检测模块10和异常行为检测模块20。

可疑姿态检测模块10针对视频中的一帧的图像，检测可疑姿态，根据可疑姿态来确定可疑姿态检测框。

异常行为检测模块20从视频中截取该一帧前后的连续的预定帧的可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

另外，在本实施方式中，可疑姿态检测模块10可以采用由目标检测卷积神经网络模型的可疑姿态检测模型来针对一帧的图像检测可疑姿态，并且，异常行为检测模块20可以采用由3D卷积神经网络模型构成的异常行为判断模型来对预定帧(例如，n帧)的图像，判断上述的可疑姿态相关的行为是否为异常行为。

通过本实施方式，能够获得与第一实施方式同样的不用划定ROI区域，能够减少计算量，快速且准确地识别异常行为的效果。

(实施例1)

图9是示出第二实施方式的实施例1所涉及的异常行为检测装置100的构成的示意图。

如图9所示，可疑姿态检测模块10可以包括：一帧图像提取部11、可疑姿态检测部12、可疑姿态检测框确定部13。

一帧图像提取部11从视频中提取一帧的图像。即，一帧图像提取部11可以执行第一实施方式中的S11步骤的处理。

可疑姿态检测部12将一帧的图像输入到可疑姿态检测模型，判断是否为可疑姿态。即，可疑姿态检测部12可以执行第一实施方式中的S12、S13步骤的处理。

可疑姿态检测框确定部13根据可疑姿态检测部12检测到的可疑姿态，在该图像中确定出可疑姿态检测框。同时，可疑姿态检测框确定部13也可以直接剪切出可疑姿态检测框的图像。即，可疑姿态检测框确定部13可以执行第一实施方式中的S14步骤的处理。

另外，如图9所示，异常行为检测模块20可以包括：预定帧图像截取部21、异常行为判断部22、结果输出部23。

预定帧图像截取部21从视频中提取上述的一帧图像提取部11所提取的一帧的前后的预定帧(例如，n帧)的可疑姿态检测框内的图像。即，预定帧图像截取部21可以执行第一实施方式中的S21步骤的处理。

异常行为判断部22将预定帧图像截取部21所提取出的预定帧的图像输入到异常行为判断模型，判断是否为异常行为。即，异常行为判断部22可以执行第一实施方式中的S22、S23步骤的处理。

结果输出部23确定要作为结果输出的内容。在这里，作为结果，可以输出异常行为的类型以及可疑姿态检测框的图像。即，结果输出部23可以执行第一实施方式中的S24步骤的处理。

本实施例1也能够获得与第一实施方式的实施例1相同的效果。

(实施例2)

图10是示出第一实施方式的实施例2所涉及的异常行为检测装置的构成的示意图。实施例2与实施例1的区别在于，还包括：识别作出了可疑姿态或异常行为的人员的部件。即，如图10所示，可疑姿态检测模块10还可以包括跟踪框确定部14，异常行为检测模块20还可以包括可疑人员跟踪部。

在实施例2中，可疑姿态检测部12通过可疑姿态检测模型还检测出作出可疑姿态的可疑人员。

跟踪框确定部14根据可疑姿态检测部12检测出的可疑人员，确定可疑人员跟踪框。即，跟踪框确定部14可以执行第一实施方式中的S15步骤的处理。

可疑人员跟踪部24针对预定帧的图像，利用跟踪算法，对可疑人员跟踪框进行跟踪。即，跟踪框确定部24可以执行第一实施方式中的S25步骤的处理。

此时，结果输出部23还输出可疑人员跟踪框的图像。

在实施例2中，不仅能够与实施例1同样地快速、准确地检测出异常行为，同时，还能够识别出作出异常行为的人员。

在第二实施方式中，一帧图像提取部11、可疑姿态检测部12、可疑姿态检测框确定部13、跟踪框确定部14、预定帧图像截取部21、异常行为判断部22、结果输出部23、可疑人员跟踪部24所进行的处理的细节可以参考第一实施方式中的相关记载。

如上所述，在本实施方式中，上述的可疑姿态检测模块10、异常行为检测模块20、一帧图像提取部11、可疑姿态检测部12、可疑姿态检测框确定部13、跟踪框确定部14、预定帧图像截取部21、异常行为判断部22、结果输出部23、可疑人员跟踪部24可以通过处理器执行存储在存储器中的异常行为检测程序来实现。

以上，虽然结合附图描述了本发明的实施方式和具体实施例，但是本领域技术人员可以在不脱落本发明的精神和范围的情况下做出各种修改和变形，这样的修改和变形均落入由所述权利要求所限定的范围之内。

Claims (22)

1.一种异常行为检测装置，包括：

可疑姿态检测模块，针对视频中的一帧的图像，检测可疑姿态，根据所述可疑姿态来确定可疑姿态检测框；以及

异常行为检测模块，从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

2.如权利要求1所述的异常行为检测装置，其中，

所述可疑姿态检测模块利用可疑姿态检测模型来检测可疑姿态，所述可疑姿态检测模型是目标检测卷积神经网络模型，

所述异常行为检测模块利用异常行为判断模型来判断是否为异常行为，所述异常行为判断模型是3D卷积神经网络模型。

3.如权利要求2所述的异常行为检测装置，其中，

所述可疑姿态检测模块包括：

一帧图像提取部，从视频中提取所述一帧的图像；

可疑姿态检测部，将所述一帧的图像输入到可疑姿态检测模型，判断是否为可疑姿态；以及

可疑姿态检测框确定部，当所述可疑姿态检测部检测到可疑姿态时，在所述图像中确定出可疑姿态检测框。

4.如权利要求3所述的异常行为检测装置，其中，

所述可疑姿态检测模型是YOLOV3目标检测网络模型。

5.如权利要求2所述的异常行为检测装置，其中，

所述异常行为检测模块包括：

预定帧图像截取部，截取所述预定帧的图像；以及

异常行为判断部，将所述预定帧的图像输入到异常行为判断模型，判断是否为异常行为；以及

结果输出部，作为结果，输出所述异常行为的类型以及所述可疑姿态检测框的图像。

6.如权利要求5所述的异常行为检测装置，其中，

所述异常行为判断模型是基于vgg16框架的3D神经网络模型。

7.如权利要求5所述的异常行为检测装置，其中，

所述可疑姿态检测模型还检测作出所述可疑姿态的可疑人员，

并且，所述可疑姿态检测模块还包括：

跟踪框确定部，根据所检测出的可疑人员，确定可疑人员跟踪框，

所述异常行为检测模块还包括：

可疑人员跟踪部，针对预定帧的图像，利用跟踪算法，对所述可疑人员跟踪框进行跟踪，

所述结果输出部还输出所述可疑人员跟踪框的图像。

8.如权利要求7所述的异常行为检测装置，其中，

所述结果输出部所输出的所述可疑人员跟踪框的图像包含：

所述预定帧中的每一帧的图像中的所述可疑人员跟踪框的图像。

9.如权利要求8所述的异常行为检测装置，其中，

所述结果输出部所输出的所述可疑人员跟踪框的图像包含：

由所述预定帧中的每一帧的所述可疑人员跟踪框的图像来构成的运动图像。

10.如权利要求5所述的异常行为检测装置，其中，

将标注好的可疑姿态训练数据导入到可疑姿态检测模型中，对可疑姿态检测模型进行训练；

使用训练完成的可疑姿态检测模型对采集的视频数据进行检测，生成异常行为训练数据；以及

使用所述异常行为训练数据，对异常行为判断模型进行训练。

11.一种异常行为检测方法，包括：

可疑姿态检测步骤，针对视频中的一帧的图像，检测可疑姿态，根据所述可疑姿态来确定可疑姿态检测框；以及

异常行为检测步骤，从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

12.如权利要求11所述的异常行为检测方法，其中，

在所述可疑姿态检测步骤中，利用可疑姿态检测模型来检测可疑姿态，所述可疑姿态检测模型是目标检测卷积神经网络模型，

在所述异常行为检测步骤中，利用异常行为判断模型来判断是否为异常行为，所述异常行为判断模型是3D卷积神经网络模型。

13.如权利要求12所述的异常行为检测方法，其中，

所述可疑姿态检测步骤包括：

从视频中提取所述一帧的图像；

将所述一帧的图像输入到可疑姿态检测模型，判断是否为可疑姿态；以及

当所述可疑姿态检测部检测到可疑姿态时，在所述图像中确定出可疑姿态检测框。

14.如权利要求13所述的异常行为检测方法，其中，

所述可疑姿态检测模型是YOLOV3目标检测网络模型。

15.如权利要求12所述的异常行为检测方法，其中，

所述异常行为检测步骤包括：

截取所述预定帧的图像；以及

将所述预定帧的图像输入到异常行为判断模型，判断是否为异常行为；以及

结果输出部，作为结果，输出所述异常行为的类型以及所述可疑姿态检测框的图像。

16.如权利要求15所述的异常行为检测方法，其中，

所述异常行为判断模型是基于vgg16框架的3D神经网络模型。

17.如权利要求15所述的异常行为检测方法，其中，

所述可疑姿态检测模型还检测作出所述可疑姿态的可疑人员，

并且，所述可疑姿态检测步骤还包括：

根据所检测出的可疑人员，确定可疑人员跟踪框，

所述异常行为检测步骤还包括：

针对预定帧的图像，利用跟踪算法，对所述可疑人员跟踪框进行跟踪，

在所述结果输出步骤中，还输出所述可疑人员跟踪框的图像。

18.如权利要求17所述的异常行为检测方法，其中，

在所述结果输出步骤中输出的所述可疑人员跟踪框的图像包含：

所述预定帧中的每一帧的图像中的所述可疑人员跟踪框的图像。

19.如权利要求18所述的异常行为检测方法，其中，

在所述结果输出步骤中输出的所述可疑人员跟踪框的图像包含：

由所述预定帧中的每一帧的所述可疑人员跟踪框的图像来构成的运动图像。

20.如权利要求15所述的异常行为检测方法，其中，

将标注好的可疑姿态训练数据导入到可疑姿态检测模型中，对可疑姿态检测模型进行训练；

使用训练完成的可疑姿态检测模型对采集的视频数据进行检测，生成异常行为训练数据；以及

使用所述异常行为训练数据，对异常行为判断模型进行训练。

21.一种异常行为检测装置，包括：

存储器：以及

处理器，执行存储在所述存储器中的程序，使得计算机执行以下处理：

针对视频中的一帧的图像，检测可疑姿态，根据所述可疑姿态来确定可疑姿态检测框；以及

从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

22.一种计算机可读存储介质，存储有异常行为检测程序，所述异常行为检测程序使得计算机执行以下处理：

针对视频中的一帧的图像，检测可疑姿态，根据所述可疑姿态来确定可疑姿态检测框；以及

从所述视频中截取所述一帧前后的连续的预定帧的所述可疑姿态检测框内的图像，根据截取的预定帧的图像，判断是否为异常行为。

Images