CN113869123A - 一种基于人群的事件检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种基于人群的事件检测方法及相关装置，该方法包括：在当前帧图像中确定待检测区域，并根据待检测区域在每一帧参考图像中检测参考区域，其中，参考图像为与当前帧图像在时间上相邻的预设数量帧图像，参考区域与待检测区域在图像中的位置对应；提取待检测区域和检测到的每一个参考区域中的空间人群骨骼图；将提到的各个待检测区域和所有参考区域中的空间人群骨骼图按照时间排列顺序依次连接，获得待检测区域所对应的时空人群骨骼图；对时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类。本申请所提供的技术方案可以降低环境影响对人群的事件检测的影响，进而提高了对人群的事件检测的准确性和适用性。

Description

一种基于人群的事件检测方法及相关装置

技术领域

本申请涉及视频技术分类技术领域，特别是涉及一种基于人群的事件检测方法及相关装置。

背景技术

随着城镇化进程加快，城市人口密度在急剧增加，公共基础设施地铁商场内常常会迎来短期的人流高峰。当人群密集时，为了减少安全隐患，对于人群的异常行为的检测就显得十分必要。传统的人群异常行为的识别多是使用图像信息作为输入，比较容易受到环境信息的干扰，进而造成人群异常行为的识别不够准确。故需要一种可以解决上述技术问题的技术方案。

发明内容

本申请主要解决的技术问题是提供一种基于人群的事件检测方法及相关装置，可以降低环境影响对人群异常事件检测的影响，进而提高了对人群异常事件检测的准确性和适用性。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于人群的事件检测方法，所述方法包括：

在当前帧图像中确定待检测区域，并根据所述待检测区域在每一帧参考图像中检测参考区域，其中，所述参考图像为与所述当前帧图像在时间上相邻的预设数量帧图像，所述参考区域与所述待检测区域在图像中的位置对应；

提取所述待检测区域和检测到的每一个所述参考区域中的空间人群骨骼图；

将提取的各个所述空间人群骨骼图按照时间排列顺序依次连接，获得所述待检测区域所对应的时空人群骨骼图；

对所述时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，所述电子设备包括处理器以及与所述处理器耦接的存储器；

其中，

所述存储器用于存储计算机程序；

所述处理器用于运行所述计算机程序以执行如上所述的方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现如上所述的方法。

本申请的有益效果是：区别于现有技术的情况，本申请所提供的技术方案，通过在当前帧图像中确定待检测区域，并根据待检测区域在参考图像中检测参考区域，然后提取待检测区域和检测到的每一个参考区域中的空间人群骨骼图，并在提取到空间人群骨骼图之后，将待检测区域和所有参考区域中的空间人群骨骼图按照时间排列顺序依次连接，进而获得待检测区域所对应的时空人群骨骼图，再对时空人群骨骼图进行特征提取，并基于所提取到的特征进行事件分类，在本申请所提供的技术方案，通过在当前帧图像中确定不易受外部环境影响的人体骨骼图，然后再基于人体骨骼图确定空间人群骨骼图和时空人群骨骼图，实现在对人群的事件检测过程中，降低外部环境对于人群的事件检测准确性的影响；同时由于是基于不易受环境影响的人群骨骼图对人群的事件进行检测，故本申请所提供的技术方案可以较好地提高对人群的事件检测的准确性和适用性。

附图说明

图1为本申请一种基于人群的事件检测方法一实施例中的流程示意图；

图2为本申请一种人群异常时间检测方法另一实施例中的流程示意图；

图3为本申请一种基于人群的事件检测方法另一实施例中的流程示意图；

图4为本申请一种基于人群的事件检测方法的再一实施例中的流程示意图；

图5为一实施例中对于待检测区域和参考区域划分获得子区域的示意图；

图6为本申请一种基于人群的事件检测方法的又再一实施例中的流程示意图；

图7为本申请一种电子设备一实施例中的结构示意图；

图8为本申请一种计算机可读存储介质一实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参见图1，图1为本申请一种基于人群的事件检测方法一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括步骤S110至步骤S140。

S110：在当前帧图像中确定待检测区域，并根据待检测区域在每一帧参考图像中检测参考区域。

在对当前帧图像进行人群异常事件检测时，首先在当前帧图像中确定待检测区域。其中，待检测区域为图像中所包括的需要进行事件检测的区域。进一步地，也可以将待检测区域理解为高密度人群区域。可以理解的是，同一帧图像中可以包括多个待检测区域，故在当前实施例中，对于待检测区域的数量不做任何限定，具体根据实际需求或实际的检测结果确定。

在一实施例中，上述步骤中的在当前帧图像中确定待检测区域，进一步包括：对当前帧图像进行人群密度检测，并选择人群密度大于预设密度阈值且面积大于预设面积阈值的区域，确定为待检测区域。其中，预设密度阈值为预先设定的用于判断区域是否为待检测区域的人群密度经验值，预设面积阈值为预先设定的用于判断区域是否为待检测区域的面积经验值，具体均可以根据实际需求进行设置，在此不做限定。具体地，待检测区域的确定过程可以参见下文图2所对应的部分，在此不重复阐述。

在另一实施例中，上述步骤中的在当前帧图像中确定待检测区域，进一步包括：根据预先设定，在当前帧图像中确定待检测区域。在当前实施例中，用户可以根据自身的需求设定只对图像中的设定位置进行事件检测，以确定人群事件的类型，即用户可以预先设定待检测区域的范围，故在对当前帧图像进行人群事件检测时，只需要将预先设定的范围确定为待检测区域即可。

例如预先设定待检测区域为所获取的图像中的固定范围内的区域。例如：当前帧图像以及参考图像是针对电梯口进行采集，且采集的角度和位置不发生改变，则对应的电梯口在图像中的位置相对也不会发生改变，用户可以根据需求将当前帧图像中的电梯口的位置设置为待检测区域，则在获取到当前帧图像时，可以直接根据预先的设定将电梯口区域确定为待检测区域。

当在当前帧图像中确定待检测区域之后，然后再根据所确定的待检测区域在每一帧参考图像中检测参考区域。其中，参考图像为与当前帧图像在时间上相邻的预设数量帧图像，预设数量为预先设定的经验值，参考图像的具体数量可以根据实际需求进行设置。在一实施例中，参考图像具体可以是当前帧图像的之前和/或之后预设数量帧图像。参考区域与待检测区域在图像中的位置对应，即是根据待检测区域的位置信息在参考图像中对应确定的参考区域，参考区域在参考图像中的位置信息和待检测区域在当前帧图像中的位置信息是相同的。

其中，需要说明的是，参考区域为参考图像中与待检测区域位置相同、且是高密度人群区域的区域。对于步骤S110中在预设数量帧的参考图像中所确定的参考区域的数量不做限定，参考区域的数量只需要大于或等于1即可。

其中，当前帧图像和参考图像为按照相同拍摄角度俯视拍摄预定场景所获得具有时间序列的图像，在此对于拍摄角度不做限定，具体依据实际需求进行设置。如，在一实施例中，当前帧图像和参考图像为利用摄像装置俯视拍摄人群得到的，当前帧图像可以为每秒钟采样2帧，连续采样6s所得的一段图片序列中的一帧。其中，摄像装置的安装高度可以是在6米以下，拍摄角度为45度以内。

S120：提取待检测区域和检测到的每一个参考区域中的空间人群骨骼图。

在确定待检测区域和参考区域之后，分别从待检测区域和检测到的每一个参考区域中提取空间人群骨骼图。其中，空间人群骨骼图是待检测区域或参考区域中的至少部分人体骨骼图获取得到的，而人体骨骼图是基于人体目标的人体关键点获取得到，在一个人体目标中所获取的人体关键点的数量是根据需求预先设定的。

S130：将提取的各个空间人群骨骼图按照时间排列顺序依次连接，获得待检测区域所对应的时空人群骨骼图。

在分别提取得到待检测区域的空间人群骨骼图和每一个参考区域中的空间人群骨骼图之后，进一步将待检测区域和所提取到的各个参考区域中的空间人群骨骼图按照时间排列顺序依次对应连接，获得待检测区域所对应的时空人群骨骼图。

如，在一实施例中，如若当前帧图像为第n帧，参考图像为n-1帧、n-2帧、n-3帧、n+1帧、n+2帧、n+3帧，则依次将n-1帧、n-2帧、n-3帧、n帧、n+1帧、n+2帧和n+3帧中的空间人群骨骼图连接，获得待检测区域所对应的时空人群骨骼图。其中，连接方式是将对应子区域中的人体骨骼图的相同部位的人体关键点对应连接。

S140：对时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类。

获得待检测区域所对应的时空人群骨骼图之后，对时空人群骨骼图进行特征提取，然后根据特征提取所得的特征进行人群事件分类。其中，人群事件的类型是预先设定。如可以根据实际需求预先设定人群事件的类型包括：跑动、打架、正常场景。可以理解的是，在其他实施例中，人群事件的类型还可以包括其他类型，具体在此不一一列举。

在当前实施例中，通过在当前帧图像中确定待检测区域，并根据待检测区域在预设数量帧参考图像中确定至少一个参考区域，然后提取待检测区域和每一个参考区域中的空间人群骨骼图，并在提取到空间人群骨骼图之后，将待检测区域和所有参考区域中的空间人群骨骼图按照时间排列顺序依次连接，进而获得待检测区域所对应的时空人群骨骼图，再对时空人群骨骼图进行特征提取，并基于所提取到的特征进行事件分类，在本申请所提供的技术方案，通过在当前帧图像中确定不易受外部环境影响的人体骨骼图，然后再基于人体骨骼图确定空间人群骨骼图和时空人群骨骼图，实现在对人群异常事件检测过程中，降低外部环境对于异常事件检测准确性的影响；同时由于是基于不易受环境影响的人群骨骼图对人群异常事件进行检测，故本申请所提供的技术方案可以较好地提高对人群异常时间检测的准确性和适用性。

进一步地，请参见图2，图2为本申请一种基于人群的事件检测方法另一实施例中的流程示意图。在当前实施例中，上述步骤S110中的根据待检测区域在每一帧参考图像中检测参考区域，进一步包括步骤S201至步骤S202。

S201：分别提取每一帧参考图像中与待检测区域对应的候选参考区域。

当在当前帧图像中确定待检测区域之后，则会进一步在预设数量帧参考图像中确定至少一个参考区域。首先，会根据待检测区域的位置信息，分别提取每一帧参考图像中与待检测区域对应的候选参考区域。其中，候选参考区域在参考图像中的位置信息与待检测区域在当前帧图像中的位置信息相同。

其中，需要说明的是，步骤S201中所提取得到的与同一个待检测区域相对应的候选参考区域的数量和参考图像的数量相同。如，在当前帧图像中确定得到一个待检测区域，则对应的在步骤S201中则会分别在每一帧参考图像中提取得到一个候选参考区域。再比如：如若在当前帧图像中确定得到两个待检测区域，则步骤S201则会分别根据所确定的两个待检测区域的位置信息，在每一帧参考图像中对应提取两个候选参考区域。

S202：将人群密度大于或等于预设密度阈值的各个候选参考区域，确定为参考区域。

在分别提取每一帧参考图像中与待检测区域对应的候选参考区域之后，进一步判断每一个候选参考区域内的人群密度是否大于或等于预设密度阈值。如若判断得到某一个候选参考区域的人群密度大于或等于预设密度阈值，判断得到当前候选参考区域为高密度人群区域，可以作为参考区域，此时则会将该人群密度大于或等于预设密度阈值的候选参考区域，确定为参考区域。反之，若判断得到某一候选参考区域的人群密度小于预设密度阈值，则判断得到当前候选参考区域不是高密度人群区域，不可以作为参考区域。

在分别提取每一帧参考图像中与待检测区域对应的候选参考区域之后，则会分别判断每一个候选参考区域的人群密度是否大于或等于预设密度阈值，并将人群密度大于或等于预设密度阈值的各个候选参考区域，分别确定为参考区域。

请参见图3，图3为本申请一种基于人群的事件检测方法另一实施例中的流程示意图。在当前实施例中着重阐述上述步骤S110中的对当前帧图像进行人群密度检测，并选择人群密度大于或等于预设密度阈值且面积大于或等于预设面积阈值的区域，确定为待检测区域。

具体地，在当前实施例中，上述步骤对当前帧图像进行人群密度检测，并选择人群密度大于或等于预设密度阈值且面积大于或等于预设面积阈值的区域，确定为待检测区域进一步包括步骤S301至步骤S304。

S301：利用人群密度估算网络模型对当前帧图像进行密度提取，获得人群密度图。

在获取到当前帧图像时，利用人群密度估算网络模型对当前帧图像进行密度提取，获得人群密度图。

进一步地，利用人群密度估算网络模型对当前帧图像进行密度提取，进而获得至少一个人群密度图。其中，人群密度图为从当前帧图像中提取得到包括人群的和人群密度的区域，通过步骤S301从当前帧图像中获得多个人群密度图。

其中，人群密度估算网络模型至少包括：SA-Net和ic-CNN。

S302：分别对人群密度图进行降噪处理，获得人群密度大于或等于预设密度阈值的多个离散的连通域。

在获得人群密度图之后，分别对人群密度图进行降噪处理，进而获得人群密度大于或等于预设密度阈值的多个离散的连通域。具体地，在获得人群密度图之后，对人群密度图进行膨胀操作并过滤掉像素值小于像素阈值的像素点，然后将密度相同的且连接在一起的人群密度图作为一个连通域，并过滤掉人群密度小于预设密度阈值的连通域，进而获得多个离散的连通域。其中，不同的连通域之间是不相连的，即不同的连通域之间的最小距离是大于零的。在获得多个离散的连通域的同时，同时还会获得离散的连通域之间的最小距离，以用于执行下述步骤S303。

其中，预设密度阈值是用于判断人群密度是否符合高密度人群的经验值，具体可以根据实际的需求进行设置。

S303：将距离小于预设距离阈值的连通域进行合并。

在获得人群密度大于或等于预设密度阈值的多个离散的连通域之后，进一步将距离小于预设距离阈值的连通域进行合并，进而获得较大的连通域。其中，预设距离阈值是预先设定的用于判断两个连通域是否需要合并的距离经验值，可以根据实际的需求进行设置调整。

进一步地，步骤S303是将最小距离小于预设距离阈值的连通域进行合并，进而获得较大的连通域。其中，由于两个连通域之间在不同位置可以具有不同的距离，故步骤S303中是基于两个连通域的最小距离确定是否合并。具体地，最小距离指的是两个连通域之间的最小距离，如可以是指两个连通域边界之间的最小距离。

更进一步地，对于同一个连通域可能存在多个其他的连通域与其自身的距离小于预设距离阈值。此时则会分别将与自身距离小于预设距离阈值的多个其他连通域与当前的连通域合并。比如，对于当前帧图像中的连通域A，同时存在3个连通域B、C、D分别与连通域A的距离均小于预设距离阈值，则此时会将连通域B、C、D和A合并，进而获得一个较大的连通域。

S304：若确定合并后的连通域的面积大于或等于面积阈值，则将合并后的连通域确定为待检测区域。

在将距离小于预设距离阈值的连通域合并之后，进一步确定合并之后所得的连通域的面积，然后判断合并后的连通域的面积是否大于或等于预设的面积阈值，若确定在执行步骤合并操作之后的连通域的面积大于或等于面积阈值，则将合并后的连通域确定为待检测区域。如若判断得到合并所得的连通域的面积大于或等于面积阈值，则判断得到合并之后的连通域为待检测区域；反之，如若判断得到合并所得的连通域的面积小于面积阈值，则判断得到合并之后的连通域不是待检测区域。其中，面积阈值为预先设定的用于从面积维度上判断连通域是否为待检测区域的经验值，在此对于面积阈值不做限定，具体可以根据需求进行设定。

进一步地，在另一实施例中，合并后的连通域包括合并所得的新的连通域和步骤S303中不满足合并条件的连通域。其中，不满足合并条件的连通域为与其他任意一个连通域距离均大于或等于小于预设距离阈值的连通域。也可以将步骤S304理解为：将距离小于预设距离阈值的连通域进行合并获得新的连通域之后，会分别判断当前帧图像中所得的所有连通域的面积是否大于或等于面积阈值，并将面积大于或等于面积阈值的连通域确定为待检测区域。

例如，经过执行步骤S301和步骤S302之后，在当前帧图像中获得5个连通域A、B、C、D和E，经过步骤S303确定得到存在A和B两个连通域符合所设定的合并的条件，并将A和B两个连通域合并获得新的连通域A+B，则步骤S304会判断连通域A+B、C、D和E这四个连通域的面积是否大于或等于面积阈值，并将A+B、C、D和E这四个连通域中面积大于或等于面积阈值的确定为待检测区域。

更进一步地，如若一帧图像中同时存在多个连通域时，则会针对每一个连通域，分别判断每个连通域的面积是否大于或等于面积阈值。如若判断得到某个连通域的面积大于或等于面积阈值，则会将该连通域确定为待检测区域。

其中，如上所述，待检测区域为人群密度大于或等于预设密度阈值、且面积大于或等于面积阈值的连通域。反之，如若判断得到执行过合并步骤之后当前帧图像中的所得到的某一个连通域的面积小于面积阈值，则判断得到当前的连通域不是待检测区域。

请参见图4，图4为本申请一种基于人群的事件检测方法的再一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括步骤S401至步骤S406。

S401：在当前帧图像中确定待检测区域，并根据待检测区域在每一帧参考图像中检测参考区域。

在当前实施例中，步骤S401与上文所述的步骤S110相同，对应可以参见步骤S110所对应的各个实施例。在当前实施例中，上述步骤S120提取待检测区域和检测到的每一个参考区域中的空间人群骨骼图，进一步包括步骤S402至步骤S404。

S402：分别提取待检测区域和检测到的每一个参考区域中所包括的人体目标的人体关键点，进而分别获得待检测区域和每一个参考区域中的人体骨骼图。

当在当前帧图像中确定待检测区域，并根据待检测区域在预设数量帧参考图像中确定参考区域之后，进一步分别提取待检测区域和检测到的每一个参考区域中所包括的人体目标的人体关键点，然后基于所提取的人体目标的人体关键点获得人体目标所对应的人体骨骼图，从而实现分别获得待检测区域和每一个参考区域中的人体骨骼图。其中，步骤S402中所提取的人体关键点的数量是预先根据需求设定的，即预先设定在人体目标上所提取人体关键点的位置，如可以分别设置在四肢、脸部、脖子等部分提取设定数量的人体关键点。如，在一实施例中，可以设定在每个人体目标上提取18个人体关键点，对应的步骤S402可以理解为：分别提取待检测区域和每一个参考区域中所包括的人体目标的18个人体关键点，并基于所提取的人体关键点获得人体骨骼图。

进一步地，在一实施例中，可以是利用openpose分别提取待检测区域和每一个参考区域中所包括的人体目标的人体关键点。

S403：分别对待检测区域和检测到的每一个参考区域进行划分，分别获得多个子区域。

在分别提取得到每个待检测区域和检测到的每一个参考区域中所包括的人体目标的人体关键点，并分别获得待检测区域和检测到的每一个参考区域中的人体骨骼图之后，进一步分别对待检测区域和检测到的每一个参考区域进行划分，进而获得多个子区域。其中，对于待检测区域和与该待检测区域所对应的参考区域进行划分的规则是相同的。其中，需要说明的是，在其他实施例中并不限定步骤S402和步骤S403的执行顺序，步骤S402和步骤S403可以是同时执行，也可以是根据设定顺序一前一后依次执行。

进一步地，在一实施例中，步骤S403进一步包括：分别以待检测区域和参考区域的外接矩形框的中心为基准点，并绕基准点分别对待检测区域和参考区域进行等角度划分，获得多个子区域。如在一实施例中，可以将待检测区域和参考区域划分得到八个子区域。其中需要说明的是，对于划分所得的子区域的数量不做限定，具体以实际的设置为准。

请结合图5，图5为一实施例中对于待检测区域和参考区域划分获得子区域的示意图。在图5所示意的实施例中，50为待检测区域，51为待检测区域50的外接矩形框，图5所示意的是以待检测区域50的外接矩形框的中心O为基准点对待检测区域进行划分等角度划分，进而获得待检测区域的多个子区域1至8，同理也会按照相同的方法对待检测区域50所对应的参考区域进行划分，在当前实施例中，也是以参考区域的外接矩形框的中心为基准点，并绕着基准点分别对参考区域进行等角度划分，从而获得参考区域中的多个子区域。

更进一步地，在另一实施例中，对于待检测区域和参考区域进行划分，划分所得的待检测区域的子区域的所包括的坐标和参考区域的子区域所包括的范围是相同的，也可以理解为待检测区域的子区域的所包括的坐标和参考区域中对应位置的子区域所包括坐标是相同的。

可以理解的是，在另一实施例中，也可以是按照其他的划分方式，对待检测区域和参考区域进行划分，在此不一一列举。

S404：针对待检测区域和参考区域，分别从各自的子区域中选择满足预定提取条件的人体骨骼图并进行连接，获得空间人群骨骼图。

在分别对待检测区域和每一个参考区域进行划分，分别获得多个子区域之后，则会进一步针对待检测区域和参考区域，分别从各自的子区域中选择满足预定提取条件的人体骨骼图并进行连接，获得空间人群骨骼图。

在一实施例中，满足预定提取条件的人体骨骼图为各子区域中距待检测区域中心或参考区域中心距离最小的人体骨骼图。则步骤S404为：针对待检测区域，分别从其所包括的各个子区域中选择与待检测区域中心的距离最小的人体骨骼图，针对每一个参考区域，分别从参考区域所包括的子区域中选择与参考区域中心的距离最小的人体骨骼图。其中，需要说明的是，待检测区域和参考区域中所包括的子区域中可以不包括人体骨骼图，则对应的在执行步骤S404时，如若某一个子区域中不包括任何人体骨骼图，则在提取当前子区域时可以直接对应跳过当前子区域，提取其他子区域中满足预定提取条件的人体骨骼图，并在连接当前子区域时也跳过当前子区域，直接与下一个子区域中所选择的满足预定提取条件的人体骨骼图连接。

进一步地，在一实施例中，步骤S404进一步包括：依照子区域的排布顺序，依次连接相邻的子区域中的满足预定提取条件的人体骨骼图，进而获得空间人群骨骼图。请同时结合图5所示意图的子区域分布图，在针对待检测区域和参考区域，分别从各自的子区域中选择满足预定提取条件的人体骨骼图之后，按照子区域的排布顺序，从子区域1开始，依次对子区域1、子区域2、子区域3、子区域4、子区域5、子区域6、子区域7和子区域8中的人体骨骼图进行连接，进而获得当前待检测区域的人群骨骼图，对于与待检测区域50所对应的参考区域也是如此，依次连接其所包括的子区域中的所选择的满足预定提取条件的人体骨骼图，进而获取到当前参考区域的人群骨骼图。需要说明的是，对于待检测区域或任意一个参考区域中所包括的子区域而言，如若该子区域中不存在任何的人体骨骼图，则对应跳过不包括人体骨骼图的子区域直接连接下一个子区域中的人体骨骼图。

更进一步地，上述连接相邻的子区域中的满足预定提取条件的人体骨骼图，进一步包括：将相邻的子区域中的满足预定提取条件的人体骨骼图中对应于相同部位的人体关键点分别连接。在当前实施例中，在连接相邻子区域中的人体骨骼图时，则会对应将处于相同部位的人体关键点分别连接。以图5为例，如将子区域1中满足预定提取条件的人体骨骼图中的手部的人体关键点，分别与相邻的子区域2和子区域8中满足预定提取条件的人体骨骼图中的手部的人体关键点连接，如若子区域2中不包括任何人体骨骼图，则会对应跳过子区域2，直接连接子区域3中所包括的人体骨骼图，依次类推。

在当前实施例中，上述步骤S130将提取的各个空间人群骨骼图按照时间排列顺序依次连接，获得待检测区域所对应的时空人群骨骼图，进一步包括步骤S405。

S405：针对待检测区域和所有参考区域各自所对应的空间人群骨骼图，按照时间排列顺序，分别将对应于同一子区域的人体骨骼图中的对应于相同部位的人体关键点进行连接，获得时空人群骨骼图。

在获得待检测区域和参考区域的空间人群骨骼图之后，进一步按照时间排列顺序，即按照待检测区域和参考区域各自所在的图像的时间排列顺序，分别将对应于同一个子区域内的人体骨骼图进行连接，具体是将对应于同一个子区域中的人体骨骼图中对应于相同部位的人体关键点进行连接，进而获得时空人群骨骼图。其中，也可以将步骤S405中所述的同一子区域理解为在各自所在的图像中的位置信息相同的子区域。

S406：对时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类。

步骤S406与上文所述的步骤S140相同，具体可以参见上文对应部分的阐述，在此不重复。

在当前实施例中，通过对待检测区域按照中心点径向划分获得多个子区域，连接每个子区域检测到的人体骨骼图中相同部位的人体关键点，获得空间人群骨骼图，实现在提取人群特征时更加关注整体人群的运动，为准确对人群异常检测提供了较好地特征基础。同时，在当前实施例中，将待检测区域和参考区域中的空间人群骨骼图按照时间排序对应连接，并基于时空人群骨骼图对人群异常行为进行分类，有利于抽象人体骨骼姿态，降低特征提取的干扰因素，排除背景动态信息干扰，排除光照和噪声干扰，丰富运动信息，实现更为准确地对人群进行检测，提高检测的准确性。

请参见图6，图6为本申请一种基于人群的事件检测方法的又再一实施例中的流程示意图。在当前实施例中，本申请所提供的方法包括S601至步骤S606。

S601：在当前帧图像中确定待检测区域，并根据待检测区域在每一帧参考图像中检测参考区域。

S602：提取待检测区域和检测到的每一个参考区域中的空间人群骨骼图。

S603：将提取的各个待检测区域和所有参考区域中的空间人群骨骼图按照时间排列顺序依次连接，获得待检测区域所对应的时空人群骨骼图。

在当前实施例中，步骤S601至步骤S603与上文所述的步骤S110至步骤S130相同，具体可以参见上文对应部分的阐述，具体在此不再重复。同时，上述步骤S140对时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类，进一步包括步骤S604至步骤S606。

S604：对时空人群骨骼图进行特征提取获得特征矩阵。

在获得待检测区域所对应的时空人群骨骼图之后，进一步对时空人群骨骼图进行特征提取，进而获得特征矩阵。

进一步地，在一实施例中，可以是通过对提取的时空人群骨骼图进行图卷积进而完成特征提取，从而获得当前帧图像的时空人群骨骼图的特征矩阵。

S605：将特征矩阵输入至全连接层网络，并通过激活函数对全连接层网络的输出结果进行激活处理得到各个事件类型的置信度。

在获得特征矩阵之后，进一步将特征矩阵输入至全连接层网络，进而实现对特征矩阵进行降维处理，并利用激活函数对全连接层网络的输出结果进行激活处理，进而获得各个事件类型的置信度。其中，事件类型是根据经验进行预先设定的，如事件可以包括正常场景、奔跑、骚乱和打架。开业理解的是，在其他实施例中，事件还可以包括其他的类型，如聚集、四散等，具体在此不一一列举。其中，激活函数可以包括softmax，即可以是利用softmax对全连接层网络的输出结果进行激活处理得到各个事件类型的置信度。

S606：将置信度最高的事件类型输出为待检测区域所对应的事件类型。

在获得各个事件类型的置信度之后，则会对应将置信度最高的事件类型输出为待检测区域所对应的事件类型。如，在一实施例中，如若事件包括奔跑、骚乱和打架，经过激活处理得到正常场景置信度为100、奔跑的置信度为30，骚乱的置信度为25，打架的置信度为10，则会对应的判断得到当前的待检测区域对应的事件类型为正常场景。

结合上述图1至图6，在对人群进行异常检测时，在当前帧图像中确定待检测区域，并根据待检测区域在预设数量帧参考图像中确定至少一个参考区域，然后使用openpose提取待检测区域和每一个参考区域中所包括的人体目标的18个人体关键点，每个关键点输出为(x,y,c),其中x，y为横纵坐标，c为关键点置信度。再基于人体关键点获得人体骨骼图。再分别基于待检测区域中所包括的人体骨骼图获取得到待检测区域的空间人群骨骼图，分别基于各个参考区域中所包括的人体骨骼图获得其所对应的空间人群骨骼图。

其中，如若当前帧图像为T帧，将每个待检测区域划分为8个子区域，则T帧图像中的某一个待检测区域的人群骨架图由8个人的N个关键点构成：G＝(V,E)，其中V＝{Vtpn|t＝1,…T,p＝1,…8,n＝1,…18}是所有关键点，E表示所有的边的连接关系，由Es，Ep，Et三部分构成，Es＝{VtpiVtpj|(i,j)为自然连接的关键点}，Ep＝{VtpnVt(p+1)n|(p,p+1)为8个子区域中的人体骨骼图相同的关键点进行连接}，Et＝{Vtpn V(t+1)pn|(t,t+1)为T帧相同关键点的连接}。

其中，图卷积核分区策略如下：

其中，l_ti(v_tj)为图卷积核分区结果，r_j为关键点到人体骨骼重心距离，γ_i指的是卷积核中心到人体骨骼重心的距离。

在获得人体骨骼图之后，进一步获得待检测区域和参考区域的人群骨骼图，再将待检测区域和所有参考区域中的空间人群骨骼图按照时间排列顺序依次连接，获得待检测区域所对应的时空人群骨骼图，再对时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类。

空间卷积公式如下：

其中，f_in表示输入的时空人群骨骼图，f_out表示输出特征图，即特征矩阵，w为权重矩阵，Z为归一化项。

时空建模的公式如下：

其中，参数K为空间卷积核大小，参数Γ控制的是时间维度卷积核大小，B(Vti)表示将不同帧之间的同一关键点进行连接的集合，lti(vtj)是单张图片的label map，l_ST表示时空维度的lable map。

本申请所提供的技术方案，基于人体关键点获得不易被外部环境干扰的人体骨骼图，然后进一步基于人体骨骼图获得待检测区域的人群骨骼图，即通过抽象人体的骨骼姿态，降低特征提取的干扰因素，排除背景动态信息、光照、噪声等干扰，实现更好地丰富人体目标的运动信息，更有利于运行性强相关类型事件的检测。同时，可以更好地使用分块构建的骨骼图卷积有利于强化人群内各个单独个体之间的联系，使人群骨架变成一个整体，同时结合时间维度连接人群骨骼图，可以更好的捕捉人群在时序上的变化特征，从而实现准确检测得到人群的事件类型，同时可以更好地解决室内低安装高度的人群异常行为检测的背景鲁邦性问题。

需要说明的是，上述各个实施例中所阐述的步骤，在相互不矛盾的前提下，可以相互组合以获得更多的功能，进而实现对人群进行异常检测，具体在此不一一列举。

请参见图7，图7为本申请一种电子设备一实施例中的结构示意图。在当前实施例中，本申请所提供的电子设备700包括处理器701以及与处理器701耦接的存储器702。电子设备700可以执行图1至图6及其对应的任意一个实施例中所述的方法。

其中，存储器702包括本地储存(图未示)，且用于存储有计算机程序，计算机程序被执行时可以实现图1至图6及其所对应的任意一个实施例中所述的方法。

处理器701与存储器702耦接，处理器701用于运行计算机程序，以执行如上图1至图6及其对应的任意一个实施例中所述的方法。进一步地，在一些实施例中，电子设备可包括移动终端、车载终端、摄像头、电脑终端、计算机、具备计算存储能力的图像采集设备、服务器等中的任意一种，也可以包括其他任何具有计算处理功能的设备。

参见图8，图8为本申请一种计算机可读存储介质一实施例结构示意图。该计算机可读存储介质800存储有能够被处理器运行的计算机程序801，该计算机程序801用于实现如上图1至图6及其对应的任意一个实施例中所描述的方法。具体地，上述计算机可读存储介质800可以是存储器、个人计算机、服务器、网络设备，或者U盘等其中的一种，具体在此不做任何限定。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种基于人群的事件检测方法，其特征在于，所述方法包括：

在当前帧图像中确定待检测区域，并根据所述待检测区域在每一帧参考图像中检测参考区域，其中，所述参考图像为与所述当前帧图像在时间上相邻的预设数量帧图像，所述参考区域与所述待检测区域在图像中的位置对应；

提取所述待检测区域和检测到的每一个所述参考区域中的空间人群骨骼图；

将提取的各个所述空间人群骨骼图按照时间排列顺序依次连接，获得所述待检测区域所对应的时空人群骨骼图；

对所述时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类。

2.根据权利要求1所述的方法，其特征在于，所述当前帧图像和所述参考图像为按照相同拍摄角度俯视拍摄预定场景所获得的图像。

3.根据权利要求1所述的方法，其特征在于，所述在当前帧图像中确定待检测区域，进一步包括：

对所述当前帧图像进行人群密度检测，并选择人群密度大于预设密度阈值且面积大于预设面积阈值的区域，确定为所述待检测区域。

4.根据权利要求3所述的方法，其特征在于，所述对所述当前帧图像进行人群密度检测，并选择人群密度大于预设密度阈值且面积大于预设面积阈值的区域，确定为所述待检测区域，进一步包括：

利用人群密度估算网络模型对所述当前帧图像进行密度提取，获得人群密度图；

分别对所述人群密度图进行降噪处理，获得所述人群密度大于或等于所述预设密度阈值的多个离散的连通域；

将距离小于预设距离阈值的连通域进行合并；

若确定合并后的所述连通域的面积大于或等于所述面积阈值，则将所述合并后的所述连通域确定为所述待检测区域。

5.根据权利要求3所述的方法，其特征在于，所述根据所述待检测区域在每一帧参考图像检测参考区域，进一步包括：

分别提取每一帧参考图像中与所述待检测区域对应的候选参考区域；

将人群密度大于或等于所述预设密度阈值的各个所述候选参考区域，确定为所述参考区域。

6.根据权利要求1所述的方法，其特征在于，所述提取所述待检测区域和检测到的每一个所述参考区域中的空间人群骨骼图，进一步包括：

分别提取所述待检测区域和检测到的每一个所述参考区域中所包括的人体目标的人体关键点，进而分别获得所述待检测区域和每一个所述参考区域中的人体骨骼图；

分别对所述待检测区域和检测到的每一个所述参考区域进行划分，分别获得多个子区域；

针对所述待检测区域和所述参考区域，分别从各自的所述子区域中选择满足预定提取条件的人体骨骼图并进行连接，获得所述空间人群骨骼图。

7.根据权利要求6所述方法，其特征在于，所述满足预定提取条件的人体骨骼图为各所述子区域中距所述待检测区域中心或所述参考区域中心距离最小的人体骨骼图。

8.根据权利要求6所述方法，其特征在于，所述针对所述待检测区域和所述参考区域，分别从各自的所述子区域中选择满足预定提取条件的人体骨骼图并进行连接，获得所述空间人群骨骼图，进一步包括：

依照所述子区域的排布顺序，依次对相邻的所述子区域中满足预定提取条件的人体骨骼图进行连接，获得所述空间人群骨骼图。

9.根据权利要求8所述的方法，其特征在于，所述连接相邻的所述子区域中的满足预定提取条件的人体骨骼图，进一步包括：

针对相邻的子区域，将所述满足预定提取条件的人体骨骼图中相同部位的人体关键点分别连接。

10.根据权利要求6所述的方法，其特征在于，所述分别对所述待检测区域和每一个所述参考区域进行划分，分别获得多个子区域，进一步包括：

分别以所述待检测区域和所述参考区域的外接矩形框的中心为基准点，并绕所述基准点分别对所述待检测区域和所述参考区域进行等角度划分，获得多个所述子区域。

11.根据权利要求1所述的方法，其特征在于，所述将提取的各个所述空间人群骨骼图按照时间排列顺序依次连接，获得所述待检测区域所对应的时空人群骨骼图，进一步包括：

针对所述待检测区域和所有所述参考区域各自所对应的所述空间人群骨骼图，按照时间排列顺序，分别将对应于同一子区域的人体骨骼图中的对应于相同部位的人体关键点进行连接，获得所述时空人群骨骼图。

12.根据权利要求1所述的方法，其特征在于，所述对所述时空人群骨骼图进行特征提取，并基于提取到的特征进行事件分类，进一步包括：

对所述时空人群骨骼图进行特征提取获得特征矩阵；

将所述特征矩阵输入至全连接层网络，并通过激活函数对所述全连接层网络的输出结果进行激活处理得到各个事件类型的置信度；

将置信度最高的事件类型输出为所述待检测区域所对应的事件类型。

13.一种电子设备，其特征在于，所述电子设备包括处理器以及与所述处理器耦接的存储器；其中，

所述存储器用于存储计算机程序；

所述处理器用于运行所述计算机程序以执行权利要求1至12任意一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有能够被处理器运行的计算机程序，所述计算机程序用于实现权利要求1至12任一项所述的方法。

Images