CN113553950A - 一种异常事件检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种异常事件检测方法、装置、电子设备及存储介质，方法包括：获取图像序列，并从图像序列中确定出N个图像区域集合；每个图像区域集合中，包括图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；针对每个中心区域，从图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；利用每个轨迹序列分别进行异常事件检测。

Description

一种异常事件检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种异常事件检测方法、装置、电子设备及存储介质。

背景技术

视频中的异常事件检测是计算机视觉领域的一个重要问题，目前，可以利用计算机视觉和深度学习的技术自动检测发生在视频中的异常事件。

传统的异常事件检测方法，是对输入的视频序列进行全图的数据增强或其他预处理后，输入到分类模型中进行检测，或者，通过人群密集分布情况来粗略定位事件中心点，检测方式的效率较低，准确性较差。

发明内容

本公开实施例期望提供一种异常事件检测方法、装置、电子设备及存储介质。

本公开实施例的技术方案是这样实现的：

本公开实施例提供了一种异常事件检测方法，所述方法包括：

获取图像序列，并从所述图像序列中确定出N个图像区域集合；每个图像区域集合中，包括所述图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；

针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；

针对每个中心区域，从所述图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；

利用每个轨迹序列分别进行异常事件检测。

在上述方法中，所述从所述图像序列中确定出N个图像区域集合，包括：

针对所述图像序列的每一帧图像中，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域；

将所述图像序列中每一帧图像分别对应的图像区域组中，行人密集程度排序相同的图像区域划分至同一集合，得到所述N个图像区域集合。

在上述方法中，所述针对所述图像序列的每一帧图像中，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域，包括：

针对所述图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框；

针对每组扩展检测框，确定包含的不同扩展检测框之间的重叠比，并根据得到的重叠比构建对应的第一邻接矩阵；

针对每组扩展检测框，基于对应的第一邻接矩阵，确定包含的每个扩展检测框的匹配次数，并按照匹配次数从大到小，依次选取N个扩展检测框组成一组中心检测框；

针对所述图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域。

在上述方法中，所述针对所述图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框，包括：

从第i帧图像中获取至少一个行人检测框；

在所述第i帧图像中，将所述至少一个行人检测框中每个行人检测框分别作为中心，按照第一预设比例外扩形成一个扩展检测框；

将外扩得到的扩展检测框组成所述第i帧图像对应的一组扩展检测框；

其中，所述第i帧图像为所述图像序列中任意一帧图像，i为大于等于1的自然数。

在上述方法中，所述针对所述图像序列的每一帧图中，基于对应的一组中心检测框，确定一组图像区域，包括：

从第k帧图像中，获取组成对应的一组中心检测框的N个扩展检测框对应的N个行人检测框；

从所述第k帧图像中，将所述N个行人检测框中每个行人检测框分别作为中心，按照第二预设比例外扩形成一个图像区域；

将外扩得到的图像区域组成所述第k帧图像对应的一组图像区域；

其中，所述第k帧图像为所述图像序列中任意一帧图像，k为大于等于1的自然数。

在上述方法中，所述针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域，包括：

针对每个图像区域集合，确定集合内不同图像区域之间的重叠比，并根据得到的重叠比构建对应的第二邻接矩阵，得到N个第二邻接矩阵；

针对每个图像区域集合，基于对应的第二邻接矩阵，确定集合内每个图像区域的匹配次数；

从每个图像区域集合中，选取出匹配次数最大的图像区域作为中心区域。

在上述方法中，所述利用每个轨迹序列分别进行异常事件检测，包括：

利用预设异常事件检测模型，对每个轨迹序列分别进行异常事件检测，得到对应的异常事件检测结果。

本公开实施例提供了一种异常事件检测装置，所述装置包括：

区域确定模块，用于获取图像序列，并从所述图像序列中确定出N个图像区域集合；每个图像区域集合中，包括所述图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；

区域选取模块，用于针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；

序列确定模块，用于针对每个中心区域，从所述图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；

异常检测模块，用于利用每个轨迹序列分别进行异常事件检测。

在上述装置中，所述区域确定模块，具体用于针对所述图像序列的每一帧图像，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域；将所述图像序列中每一帧图像分别对应的图像区域组中，行人密集程度排序相同的图像区域划分至同一集合，得到所述N个图像区域集合。

在上述装置中，所述区域确定模块，具体用于针对所述图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框；针对每组扩展检测框，确定包含的不同扩展检测框之间的重叠比，并根据得到的重叠比构建对应的第一邻接矩阵；针对每组扩展检测框，基于对应的第一邻接矩阵，确定包含的每个扩展检测框的匹配次数，并按照匹配次数从大到小，依次选取N个扩展检测框组成一组中心检测框；针对所述图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域。

在上述装置中，所述区域确定模块，具体用于从第i帧图像中获取至少一个行人检测框；在所述第i帧图像中，将所述至少一个行人检测框中每个行人检测框分别作为中心，按照第一预设比例外扩形成一个扩展检测框；将外扩得到的扩展检测框组成所述第i帧图像对应的一组扩展检测框；其中，所述第i帧图像为所述图像序列中任意一帧图像，i为大于等于1的自然数。

在上述装置中，所述区域确定模块，具体用于从第k帧图像中，获取组成对应的一组中心检测框的N个扩展检测框对应的N个行人检测框；从所述第k帧图像中，将所述N个行人检测框中每个行人检测框分别作为中心，按照第二预设比例外扩形成一个图像区域；将外扩得到的图像区域组成所述第k帧图像对应的一组图像区域；其中，所述第k帧图像为所述图像序列中任意一帧图像，k为大于等于1的自然数。

在上述装置中，所述区域选取模块，具体用于针对每个图像区域集合，确定集合内不同图像区域之间的重叠比，并根据得到的重叠比构建对应的第二邻接矩阵；针对每个图像区域集合，基于对应的第二邻接矩阵，确定集合内每个图像区域的匹配次数；从每个图像区域集合中，选取出匹配次数最大的图像区域作为中心区域。

在上述装置中，所述异常检测模块，具体用于利用预设异常事件检测模型，对每个轨迹序列分别进行异常事件检测，得到对应的异常事件检测结果。

本公开实施例提供了一种电子设备，所述电子设备包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的一个或者多个程序，以实现上述异常事件检测方法。

本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述异常事件检测方法。

本公开实施例提供了一种异常事件检测方法、装置、电子设备及存储介质，方法包括：获取图像序列，并从图像序列中确定出N个图像区域集合；每个图像区域集合中，包括图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；针对每个图像区域集合中，基于集合内图像区域的空间分布情况选取出一个中心区域；针对每个中心区域，从图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；利用每个轨迹序列分别进行异常事件检测。本公开实施例提供的技术方案，通过基于中心点一致性约束的启发式行人密集群体位置估计方式，不仅降低了异常事件检测的数据量，提高了检测效率，还为异常事件检测提供了有效感知野，提高了检测准确性。

附图说明

图1为本公开实施例提供的一种异常事件检测方法的流程示意图；

图2为本公开实施例提供的一种确定图像区域组的流程示意图；

图3为本公开实施例提供的一种示例性的轨迹序列的示意图；

图4为本公开实施例提供的一种异常事件检测装置的结构示意图；

图5为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

本公开实施例提供了一种异常事件检测方法，其执行主体可以是异常事件检测装置，例如，异常事件检测方法可以由终端设备或服务器或其它电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，异常事件检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

图1为本公开实施例提供的一种异常事件检测方法的流程示意图。如图1所示，在本公开的实施例中，异常事件检测方法主要包括以下步骤：

S101、获取图像序列，并从图像序列中确定出N个图像区域集合；每个图像区域集合中，包括图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数。

在本公开的实施例中，异常事件检测装置可以先获取图像序列，从而从图像序列中确定出N个图像区域集合。

需要说明的是，在本公开的实施例中，异常事件检测装置可以包括图像采集器件，从而利用图像采集器件采集某一场景的连续帧图像，得到图像序列，当然，图像序列也可以是独立的摄像装置采集到的，例如，摄像头采集到的，之后，传输至异常事件检测装置。具体的图像序列的获取方式，以及图像序列，可以根据实际需求和应用场景确定，本公开实施例不作限定。

需要说明的是，在本公开的实施例中，异常事件检测装置确定的N个图像区域集合，每个图像区域集合中，包括图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同。

具体的，在本公开的实施例中，异常事件检测装置从图像序列中确定出N个图像区域集合，包括：针对图像序列的每一帧图像，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域；将图像序列中每一帧图像分别对应的图像区域组中，行人密集程度排序相同的图像区域划分至同一集合，得到N个图像区域集合。

需要说明的是，在本公开的实施例中，图像序列包括在时序上依次排布的多帧图像，异常事件检测装置对于其中的每一帧图像，均可以按照行人密集程度由大到小，依次确定出N个图像区域，从而将N个图像区域作为该帧图像对应的一组图像区域，从而最终确定出多组图像区域。

可以理解的是，在本公开的实施例中，异常事件检测装置针对多组图像区域，将不同组中行人密集程度排序相同的图像区域划分至同一集合，即，将多组图像区域中，每组行人密集程度排序第一的图像区域选取出，划分至同一集合，依次类推，直至将每组行人密集程度排序最后的图像选取出，划分至同一集合，并且，由于每组图像区域均包括N个图像区域，因此，最终划分出的图像集合的数量也同样为N个。

图2为本公开实施例提供的一种确定图像区域组的流程示意图。如图2所示，在本公开的实施例中，主要包括以下步骤：

S201、针对图像序列的每一帧图像中，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框。

需要说明的是，在本公开的实施例中，异常事件检测装置针对图像序列中的每一帧图像，可以分别进行行人检测，从而从中针对检测到的每个行人生成一个行人检测框，之后，将每个行人检测框进行扩大，扩大后的即为扩展检测框，一帧图像中全部的扩展检测框即组成该帧图像对应的一组扩展检测框。由于图像序列包括多帧图像，因此，异常事件检测装置按照上述方式确定每一帧图像对应的一组扩展检测框。

具体的，在本公开的实施例中，异常事件检测装置针对图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框，包括：从第i帧图像中获取至少一个行人检测框；在第i帧图像中，将至少一个行人检测框中每个行人检测框分别作为中心，按照第一预设比例外扩形成一个扩展检测框；将外扩得到的扩展检测框组成第i帧图像对应的一组扩展检测框；其中，第i帧图像为图像序列中任意一帧图像，i为大于等于1的自然数。

需要说明的是，在本公开的实施例中，对于图像序列中任意一帧图像，即第i帧图像，异常事件检测装置可以从中获取到至少一个行人检测框，从而在第i帧图像中，分别以获得的每个行人检测框为中心，以一定比例进行外扩，这样，得到的扩展检测框不仅仅包括行人检测框中包括的行人，还包括行人周围的图像信息，例如，行人周边的人或物，这样，便于后续评估对应位置的人群密度等信息，使得后续图像区域确定更为精准。对于行人检测框的外扩方式，异常事件检测装置也可以直接将每个行人检测框外扩到预设尺寸，即得到的每个扩展检测框的尺寸均为预设的同一尺寸，异常事件检测装置还可以基于不同行人检测框在所属一帧图像中的位置，采用不同的外扩方式进行外扩，本公开实施例不作限定。

需要说明的是，在本公开的实施例中，第一预设比例可以根据实际需求和应用场景设定，本公开实施例不作限定。例如，第一预设比例可以为1.5倍，即以行人检测框为中心，在图像中向外将检测框扩大1.5倍，扩大后的即为扩展检测框。

S202、针对每组扩展检测框，确定包含的不同扩展检测框之间的重叠比，并根据得到的重叠比构建对应的第一邻接矩阵。

在本公开的实施例中，异常事件检测装置在获得每一帧图像的一组扩展检测框之后，即可针对每组扩展检测框，确定包含的不同扩展检测框之间的重叠比，并根据得到的重叠比构建对应的第一邻接矩阵。

需要说明的是，在本公开的实施例中，对于每组扩展检测框，异常事件检测装置可以计算其中的每个扩展检测框，与该组内其它扩展检测框之间的重叠比，从而构建相应的第一邻接矩阵，该第一邻接矩阵实际上记录了该组内两两扩展检测框之间的重叠情况。

需要说明的是，在本公开的实施例中，异常事件检测装置针对每组扩展检测框，根据得到的不同扩展检测框之间的重叠比构建对应的第一邻接矩阵，实际上就是将每个重叠比作为第一邻接矩阵中的一个元素。

S203、针对每组扩展检测框，基于对应的第一邻接矩阵，确定包含的每个扩展检测框的匹配次数，并按照匹配次数从大到小，依次选取N个扩展检测框组成一组中心检测框。

在本公开的实施例中，异常事件检测装置在针对每组扩展检测框确定出对应的第一邻接矩阵之后，即可基于该第一邻接矩阵，确定该组内每个扩展检测框的匹配次数，并按照匹配次数从大到小，依次选取N个扩展检测框组成一组中心检测框。

可以理解的是，在本公开的实施例中，对于每一组扩展检测框，其对应的第一邻接矩阵包括了其中不同扩展检测框之间的重叠比信息，因此，异常事件检测装置可以从第一邻接矩阵中，直接获知每个扩展检测框与组内其它扩展检测框是否存在重叠，例如，对于一个扩展检测框，如果第一邻接矩阵中包括的其与组内一个扩展检测框之间的重叠比为0，则表征与该扩展检测框不存在重叠，如果重叠比不为0，则表征与该扩展检测框存在重叠。如果一个扩展检测框与另一个扩展检测框存在重叠，则匹配次数记为一次，从而可以确定出该扩展检测框的匹配次数。

在本公开的实施例中，异常事件检测装置在确定出一组扩展检测框中每个扩展检测框的匹配次数的情况下，即可按照匹配次数从大到小，进行扩展检测框的选取，并将选取出的N个扩展检测框组成一组中心检测框。

可以理解的是，在本公开的实施例中，每组扩展检测框中，由于每个扩展检测框实际上是由行人检测框扩大得到的，即包括行人，如果一个扩展检测框的匹配次数较多，即与较多的扩展检测框存在重叠，那么该扩展检测框周围将分布较多行人，该扩展检测框所在位置实际上是一个行人密集区域的中心，因此，异常事件检测装置将其从该组扩展检测框中选取出，从而后续可以基于该扩展检测框从所属的一帧图像中准确确定出行人密集程度较大的区域。

需要说明的是，在本公开的实施例中，对于一组扩展检测框，其中可能存在部分扩展检测框的匹配次数相同的情况，异常事件检测装置在按照匹配次数从大到小进行选取时，可以进一步基于其他信息从匹配次数相同的部分扩展检测框中进行选取，例如，可以进一步获取匹配次数相同的部分扩展检测框中，每个扩展检测框的面积，从中选取出面积较大的扩展检测框。

S204、针对图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域。

在本公开的实施例中，异常事件检测装置可以针对图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域，。

需要说明的是，在本公开的实施例中，如步骤S203所述，每组中心检测框实际上由一组扩展检测框中的N个扩展检测框组成，而每组扩展检测框实际上包括于图像序列的一帧图像中，因此，每组中心检测框实际上包括于图像序列的一帧图像中。

具体的，在本公开的实施例中，异常事件检测装置针对图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域，包括：从第k帧图像中，获取组成对应的一组中心检测框的N个扩展检测框对应的N个行人检测框；从第k帧图像中，将N个行人检测框中每个行人检测框分别作为中心，按照第二预设比例外扩形成一个图像区域；将外扩得到的图像区域组成第k帧图像对应的一组图像区域；其中，第k帧图像为图像序列中任意一帧图像，k为大于等于1的自然数。

需要说明的是，在本公开的实施例中，对于第k帧图像对应的一组中心检测框，其包括在第k帧图像中，由N个扩展检测框组成，每个扩展检测框均由一个行人检测框扩大得到，异常事件检测装置可以从第k帧图像中，直接获取对应的N个行人检测框，从而进一步以每个行人检测框为中心，以一定比例进行外扩，这样，得到的图像区域不仅仅包括行人检测框中包括的行人，还包括行人周围的图像信息，例如，行人周边的人或物，这样，便于后续进行异常事件检测，使得异常事件检测更为精准。对于行人检测框的外扩方式，异常事件检测装置也可以直接将每个行人检测框外扩到预设尺寸，即得到的每个扩展检测框的尺寸均为预设的同一尺寸，异常事件检测装置还可以基于不同行人检测框在所属一帧图像中的位置，采用不同的外扩方式进行外扩，本公开实施例不作限定。

需要说明的是，在本公开的实施例中，第二预设比例可以根据实际需求和应用场景设定，本公开实施例不作限定。例如，第二预设比例可以为2倍，即以行人检测框为中心，在图像中向外将检测框扩大2倍，扩大后的即为图像区域。

需要说明的是，在本公开的实施例中，由于扩展检测框的选取实际上只是为了基本的进行行人中心的估计，而图像区域实际上是进行后续异常事件检测的基础区域，因此，可以规定第二预设比例大于第一预设比例，即在确定图像区域时，相比于扩展检测框，包括的信息更多，当然，可以包括更多的行人，从而为后续进行异常事件检测提供有效的感知野。

S102、针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域。

在本公开的实施例中，异常事件检测装置在从图像序列中确定出N个图像区域集合的情况下，可以针对每个图像区域集合，基于集合内图像区域的空间分布情况选取一个中心区域。

具体的，在本公开的实施例中，异常事件检测装置针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域，包括：针对每个图像区域集合，确定集合内不同图像区域之间的重叠比，并根据得到的重叠比构建对应的第二邻接矩阵；针对每个图像区域集合，基于N个第二邻接矩阵中对应的第二邻接矩阵，确定集合内每个图像区域的匹配次数；从每个图像区域集合中，选取出匹配次数最大的图像区域作为中心区域。

需要说明的是，在本公开的实施例中，与上述针对每组扩展检测框中每个扩展检测框确定匹配次数的方式相同，异常事件检测装置可以针对每个图像区域集合，确定集合内不同图像区域之间的重叠比，从而构建相应的第二邻接矩阵，该第二邻接矩阵表征了集合内的图像区域在空间位置的分布情况，为了保证中心点的一致性，异常事件检测装置从集合中选取出行人最密集的图像区域作为中心区域，即匹配次数最大的图像区域，最终从N个图像区域中选取出N个中心区域。

S103、针对每个中心区域，从图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列。

在本公开的实施例中，异常事件检测装置在得到每个中心区域之后，即可针对每个中心区域域，从图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列。

需要说明的是，在本公开的实施例中，异常事件检测装置在从图像序列的每一帧图像中，扣取出一个中心区域对应位置的图像区域之后，可以将这些图像区域进行尺度调整，再基于时序拼接成一个轨迹序列。

图3为本公开实施例提供的一种示例性的轨迹序列的示意图。如图3所示，如果图像序列包括5帧图像，那么一个轨迹序列实际上可以包括5个图像区域，其中，5个图像区域分别为5帧图像中选取的同一位置的区域，5个图像区域扣取的基准，即中心区域，具体可以是第2个图像区域所示的区域，从而得到组成所示轨迹序列的5个图像区域。

需要说明的是，在本公开的实施例中，异常事件检测装基于一个中心区域进行图像区域抠取，可以在每帧图像中以该中心区域的中心点对应的位置为中心，抠取的预设尺寸的图像区域，如果中心在图像边缘，对于无法抠取到预设尺寸的部分，可以以黑色填充。

可以理解的是，对于图像序列的每一帧图像，不同帧确定的中心点可能会存在不一致的现象，如果直接进行图像区域合并，则覆盖的异常事件检测的范围过大，容易包含大量的无效信息，从而检测效率较低，而在本公开的实施例中，异常事件检测装置直接从一组图像区域中确定一个中心区域，之后，针对每一帧图像统一抠取中心区域位置的图像区域，进行组合，这样得到的轨迹序列中心点一致，保证了抠图区域的代表性和有效性，后续利用其进行异常事件检测的范围较为合理，检测效率较高。

S104、利用每个轨迹序列分别进行异常事件检测。

在本公开的实施例中，异常事件检测装置在得到轨迹序列的情况下，即可利用每个轨迹序列分别进行异常事件检测。

具体的，在本公开的实施例中，异常事件检测装置利用每个轨迹序列分别进行异常事件检测，包括：利用预设异常事件检测模型，对N个轨迹序列中的每个轨迹序列进行异常事件检测，得到对应的异常事件检测结果。

需要说明的是，在本公开的实施例中，预设异常事件检测模型，用于进行异常事件检测，具体的预设异常事件检测模型可以是特定的图像分类网络等，本公开实施例不作限定。

需要说明的是，在本公开的实施例中，异常事件检测装置可以利用预设异常事件检测装置，根据每个轨迹序列进行异常事件检测，从而得到该轨迹序列所对应的现实场景区域是否出现异常事件。

可以理解的是，在本公开的实施例中，异常事件检测装置重复N次轨迹序列的生成过程，生成N个不同区域对应的轨迹序列分别进行异常事件检测，提升了图像区域的召回同时保证模型对事件的有效感受野。

需要说明的是，在本公开的实施例中，对于多个轨迹序列，也有可能表征出一个异常事件，因此，异常事件检测装置还可以将多个轨迹序列同时输入预设异常事件检测模型，预设异常事件检测模型可以结合多个轨迹序列进行异常事件检测，分析出对应的一个异常事件。

本公开实施例提供了一种异常事件检测方法，包括：获取图像序列，并从图像序列中确定出N个图像区域集合；每个图像区域集合中，包括图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；针对每个中心区域，从图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列，；利用每个轨迹序列分别进行异常事件检测。本公开实施例提供的异常事件检测方法，通过基于中心点一致性约束的启发式行人密集群体位置估计方式，不仅降低了异常事件检测的数据量，提高了检测效率，还为异常事件检测提供了有效感知野，提高了检测准确性。

本公开实施例提供了一种异常事件检测装置。图4为本公开实施例提供的一种异常事件检测装置的结构示意图。如图4所示，在本公开的实施例中，异常事件检测装置包括：

区域确定模块401，用于获取图像序列，并从所述图像序列中确定出N个图像区域集合；每个图像区域集合中，包括所述图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；

区域选取模块402，用于针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；

序列确定模块403，用于针对每个中心区域，从所述图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；

异常检测模块404，用于利用每个轨迹序列分别进行异常事件检测。

在本公开一实施例中，所述区域确定模块401，具体用于针对所述图像序列的每一帧图像，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域；将所述图像序列中每一帧图像分别对应的图像区域组中，行人密集程度排序相同的图像区域划分至同一集合，得到所述N个图像区域集合。

在本公开一实施例中，所述区域确定模块401，具体用于针对所述图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框；针对每组扩展检测框，确定包含的不同扩展检测框之间的重叠比，并根据得到的重叠比构建对应的第一邻接矩阵；针对每组扩展检测框，基于对应的第一邻接矩阵，确定包含的每个扩展检测框的匹配次数，并按照匹配次数从大到小，依次选取N个扩展检测框组成一组中心检测框；针对所述图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域。

在本公开一实施例中，所述区域确定模块401，具体用于从第i帧图像中获取至少一个行人检测框；在所述第i帧图像中，将所述至少一个行人检测框中每个行人检测框分别作为中心，按照第一预设比例外扩形成一个扩展检测框，；将外扩得到的扩展检测框组成所述第i帧图像对应的一组扩展检测框；其中，所述第i帧图像为所述图像序列中任意一帧图像，i为大于等于1的自然数。

在本公开一实施例中，所述区域确定模块401，具体用于从第k帧图像中，获取组成对应一组中心检测框的N个扩展检测框对应的N个行人检测框；从所述第k帧图像中，将所述N个行人检测框中每个行人检测框分别作为中心，按照第二预设比例外扩形成一个图像区域；将外扩得到的图像区域组成所述第k帧图像对应的一组图像区域；其中，所述第k帧图像为所述图像序列中任意一帧图像，k为大于等于1的自然数。

在本公开一实施例中，所述区域选取模块402，具体用于针对每个图像区域集合，确定集合内不同图像区域之间的重叠比，并根据得到的重叠比构建对应的第二邻接矩阵；针对每个图像区域集合，基于对应的第二邻接矩阵，确定集合内每个图像区域的匹配次数；从每个图像区域集合中，选取出匹配次数最大的图像区域作为中心区域。

在本公开一实施例中，所述异常检测模块404，具体用于利用预设异常事件检测模型，对每个轨迹序列进行异常事件检测，得到对应的异常事件检测结果。

本公开实施例提供了一种异常事件检测方法，包括：获取图像序列，并从图像序列中确定出N个图像区域集合；每个图像区域集合中，包括图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；针对每个图像区域集合中，基于集合内图像区域的空间分布情况选取出一个中心区域；针对每个中心区域，从图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；利用每个轨迹序列分别进行异常事件检测。本公开实施例提供的异常事件检测装置，通过基于中心点一致性约束的启发式行人密集群体位置估计方式，不仅降低了异常事件检测的数据量，提高了检测效率，还为异常事件检测提供了有效感知野，提高了检测准确性。

本公开实施例提供了一种电子设备。图5为本公开实施例提供的一种电子设备的结构示意图。如图5所示，在本公开的实施例中，电子设备包括：处理器501、存储器502和通信总线503；其中，

所述通信总线503，用于实现所述处理器501和所述存储器502之间的连接通信；

所述处理器501，用于执行所述存储器502中存储的一个或者多个程序，以实现上述异常事件检测方法。

本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现上述异常事件检测方法。计算机可读存储介质可以是是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信号处理设备的处理器以产生一个机器，使得通过计算机或其他可编程信号处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信号处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信号处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。

Claims (10)

1.一种异常事件检测方法，其特征在于，所述方法包括：

获取图像序列，并从所述图像序列中确定出N个图像区域集合；每个图像区域集合中，包括所述图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；

针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；

针对每个中心区域，从所述图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；

利用每个轨迹序列分别进行异常事件检测。

2.根据权利要求1所述的方法，其特征在于，所述从所述图像序列中确定出N个图像区域集合，包括：

针对所述图像序列的每一帧图像，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域；

将所述图像序列中每一帧图像分别对应的图像区域组中，行人密集程度排序相同的图像区域划分至同一集合，得到所述N个图像区域集合。

3.根据权利要求2所述的方法，其特征在于，所述针对所述图像序列的每一帧图像，按照行人密集程度由大到小，依次确定出N个图像区域组成一组图像区域，包括：

针对所述图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框；

针对每组扩展检测框，确定包含的不同扩展检测框之间的重叠比，并根据得到的重叠比构建对应的第一邻接矩阵；

针对每组扩展检测框，基于对应的第一邻接矩阵，确定包含的每个扩展检测框的匹配次数，并按照匹配次数从大到小，依次选取N个扩展检测框组成一组中心检测框；

针对所述图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域。

4.根据权利要求3所述的方法，其特征在于，所述针对所述图像序列的每一帧图像，获取每个行人检测框，并分别扩大成一个扩展检测框，组成一组扩展检测框，包括：

从第i帧图像中获取至少一个行人检测框；

在所述第i帧图像中，将所述至少一个行人检测框中每个行人检测框分别作为中心，按照第一预设比例外扩形成一个扩展检测框；

将外扩得到的扩展检测框组成所述第i帧图像对应的一组扩展检测框；

其中，所述第i帧图像为所述图像序列中任意一帧图像，i为大于等于1的自然数。

5.根据权利要求3所述的方法，其特征在于，所述针对所述图像序列的每一帧图像，基于对应的一组中心检测框，确定一组图像区域，包括：

从第k帧图像中，获取组成对应的一组中心检测框的N个扩展检测框对应的N个行人检测框；

从所述第k帧图像中，将所述N个行人检测框中每个行人检测框分别作为中心，按照第二预设比例外扩形成一个图像区域；

将外扩得到的图像区域组成所述第k帧图像对应的一组图像区域；

其中，所述第k帧图像为所述图像序列中任意一帧图像，k为大于等于1的自然数。

6.根据权利要求1所述的方法，其特征在于，所述针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域，包括：

针对每个图像区域集合，确定集合内不同图像区域之间的重叠比，并根据得到的重叠比构建对应的第二邻接矩阵；

针对每个图像区域集合，基于对应的第二邻接矩阵，确定集合内每个图像区域的匹配次数；

从每个图像区域集合中，选取出匹配次数最大的图像区域作为中心区域。

7.根据权利要求1所述的方法，其特征在于，所述利用每个轨迹序列分别进行异常事件检测，包括：

利用预设异常事件检测模型，对每个轨迹序列分别进行异常事件检测，得到对应的异常事件检测结果。

8.一种异常事件检测装置，其特征在于，所述装置包括：

区域确定模块，用于获取图像序列，并从所述图像序列中确定出N个图像区域集合；每个图像区域集合中，包括所述图像序列中每一帧图像内的一个图像区域，且每个图像区域在所属一帧图像中各图像区域间行人密集程度的排序相同；N为大于等于1的自然数；

区域选取模块，用于针对每个图像区域集合，基于集合内图像区域的空间分布情况选取出一个中心区域；

序列确定模块，用于针对每个中心区域，从所述图像序列的每一帧图像抠取对应位置的图像区域，组成一个轨迹序列；

异常检测模块，用于利用每个轨迹序列分别进行异常事件检测。

9.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和通信总线；其中，

所述通信总线，用于实现所述处理器和所述存储器之间的连接通信；

所述处理器，用于执行所述存储器中存储的一个或者多个程序，以实现权利要求1-7任一项所述的异常事件检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可以被一个或者多个处理器执行，以实现权利要求1-7任一项所述的异常事件检测方法。

Images