CN114743262A - 行为检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种行为检测方法，包括：获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。由于融合了邻近摄像头在时空维度上的行为检测结果，提高了行人的行为检测结果的准确率。

Description

行为检测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种行为检测方法、装置、电子设备及存储介质。

背景技术

随着图像处理技术的发展，以图像处理技术为基础的人工智能落地于智慧城市的建设，从而帮助城市进行更好的管理。在智慧城市的建设中，对于行人的管理尤为重要，现有方法是通过设置在公共场合的摄像头对行人进行动作识别，从而得到行人的行为来进行管理分析，但是由于摄像头在对行人进行图像采集的过程中，存在物体遮挡、视角单一、光线变化等因素的影响，使得采集到的图像质量不高，导致行人的行为检测结果的准确率较低。

发明内容

本发明实施例提供一种行为检测方法，旨在解决现有方法中行人的行为检测结果准确率较低的问题，通过对邻近摄像头对应的待检测图像序列进行行为检测，得到单人对象的行为检测结果和群体对象的行为检测结果，并将每个摄像头检测到的单人对象的行为检测结果进行融合，或者将每个摄像头检测到的群体对象的行为检测结果进行融合，得到单人对象的最终行为检测结果或者群体对象的最终行为检测结果，融合了邻近摄像头在时空维度上的行为检测结果，提高了行人的行为检测结果的准确率。

第一方面，本发明实施例提供一种行为检测方法，包括以下步骤：

获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；

对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；

对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

进一步的，所述对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果，包括：

根据所述邻近摄像头中各个摄像头之间的邻接关系，确定所述邻近摄像头对应的拓扑关系；

通过所述拓扑关系，对所述邻近摄像头中各个摄像头对应的行为检测结果进行对象匹配处理，获得所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

进一步的，所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果之前，方法还包括：

确定所述待检测图像序列的检测类型，所述检测类型包括单人行为检测和群体行为检测，其中，单人行为检测用于对所述第一待检测对象进行行为检测，所述群体行为检测用于对所述第二待检测对象进行行为检测；

根据所述检测类型，确定与所述检测类型对应的检测策略，所述检测策略包括所述单人行为检测和所述群体行为检测中至少一项；

所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

进一步的，在所述检测类型为单人行为检测时；所述通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

对所述邻近摄像头中各个摄像头对应的待检测图像序列进行滤波处理，确定所述第一待检测对象的局部标识；

根据所述拓扑关系以及所述局部标识，确定所述第一待检测对象的全局标识；

根据所述全局标识，在所述邻近摄像头中各个摄像头对应的待检测图像序列中确定所述邻近摄像头中各个摄像头对应的目标图像；

对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果。

进一步的，所述对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果，包括：

对所述目标图像进行关键点提取，获得所述第一待检测对象对应的多个关键点坐标；

将所述第一待检测对象对应的多个关键点坐标输入训练获得的第一行为识别网络，通过所述训练获得的第一行为识别网络输出得到所述第一待检测对象对应的行为检测结果，所述第一行为识别网络被训练为单人行为检测。

进一步的，在所述检测类型为集体行为检测时；所述通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域；

将所述密集区域输入训练获得的第二行为识别网络，通过所述训练获得的第二行为识别网络输出得到所述第二待检测对象对应的行为检测结果，所述第二行为识别网络被训练为群体行为检测。

进一步的，所述在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域，包括：

在所述待检测图像序列中进行抽帧，确定目标待检测图像序列；

在所述目标待检测图像序列中确定所述第二待检测对象所在的区域坐标；

根据所述区域坐标，在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域。

第二方面，本发明实施例提供一种行为检测装置，装置包括：

获取模块，用于获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；

第一检测模块，用于对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；

融合模块，用于对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明实施例提供的行为检测方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现发明实施例提供的行为检测方法中的步骤。

本发明实施例中，获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。通过对邻近摄像头对应的待检测图像序列进行行为检测，得到单人对象的行为检测结果和群体对象的行为检测结果，并将每个摄像头检测到的单人对象的行为检测结果进行融合，或者将每个摄像头检测到的群体对象的行为检测结果进行对象匹配处理，得到单人对象的最终行为检测结果或者群体对象的最终行为检测结果，融合了邻近摄像头在时空维度上的行为检测结果，提高了行人的行为检测结果的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种行为检测方法的流程图；

图2是本发明实施例提供的一种多个摄像头的设置示意图；

图3是本发明实施列提供的一种多摄像头的行人追踪方法的示意图；

图4是本发明实施例提供的一种集体行为检测方法的流程图；

图5是本发明实施例提供的另一种行为检测方法的流程图；

图6是本发明实施例提供的一种行为检测装置的结构示意图；

图7是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，图1是本发明实施例提供的一种行为检测方法的流程图，如图1所示，该行为检测方法包括以下步骤：

101、获取邻近摄像头对应的待检测图像序列。

在本发明实施例中，待检测图像序列由待检测图像按时序排列得到，每个摄像头可以对自身的监测区域进行实时监测，获得的是待检测图像序列可以是视频流，因而，待检测图像则是待检测视频流中的视频帧，对于任意一个时刻，当前的视频帧即为待检测图像。

待检测对象可以是人、动物或者其他物品，在本发明实施例中以人为待检测对象为例进行解释，同一待检测图像序列中的待检测对象可以是一个或多个。当待检测对象为一个时，也可以称为单人对象，本发明实施例称为第一待检测对象，当待检测对象为多个时，也可以称为群体对象，本发明实施例称为第二待检测对象。

上述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，上述第一待检测对象为单人对象，上述第二待检测对象为群体对象，上述邻近摄像头包括邻接的多个摄像头，多个摄像头安装于监控区域，多个摄像头用于对各自监控区域进行实时监控，以获得各自监控区域的待检测图像序列，对于任一监测时刻，每个摄像头对应一个待检测图像，对于一个监测时段，序列每个摄像头对应一个待检测图像。

需要说明的是，当各个监控区域为相邻区域时，多个摄像头为邻近摄像头，行人可以依次行经这些相邻区域。

进一步的，第一待检测对象为单人对象，单人对象指的是单独的行人，其行为模式符合单人行为模式，第二待检测对象为群体对象，群体对象指的是两个或两个以上的同行者，其行为模式符合群体行为模式。监控区域中通常会出现第一待检测对象和第二待检测对象中至少一项，比如，可能出现第一待检测对象，也可能出现第二待检测对象，还可能同时出现第一待检测对象和第二待检测对象，因此，每一个摄像头的待检测图像序列可以包括第一待检测对象和第二待检测对象中至少一项。

请参考图2，图2是本发明实施例提供的一种多个摄像头的设置示意图，如图2所示，监控区域是公共场所的4个相邻的监控区域，多个摄像头包括4个摄像头，4个摄像头中每个摄像头对应一个监控区域，当每个监控区域出现四个游客时，对应的摄像头能够采集到包括四个游客的待检测图像序列。

102、对待检测图像序列进行行为检测，得到第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

针对于每一个摄像头，利用其对应的待检测图像序列，确定对应于该摄像头的第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

其中，第一待检测对象的行为模式符合单人行为模式，第一待检测对象对应的行为检测结果可以是单人对象的行为检测结果，第二待检测对象的行为模式符合群体行为模式，第二待检测对象对应的行为检测结果可以是群体对象的行为检测结果。

例如图2所示，监控区域是A商场3楼的过道，多个摄像头包括4个摄像头，依次设置在过道相邻的路段区域；当该监控区域出现一个游客时，该个游客依次行经4个摄像头对应的路段区域，每一个摄像头均可以获取到包括该个游客的待检测图像序列，根据该四个摄像头对应的四个待检测图像序列，分别获得四个摄像头对应的该个游客的行为检测结果，也即获得该个游客对应的四个行为检测结果，该个游客对应的四个行为检测结果均为单人对象的行为检测结果。当该监控区域出现四个游客时，四个游客依次行经4个摄像头对应的路段区域，每一个摄像头均可以获取到包括四个游客的待检测图像序列，根据该四个摄像头对应的四个待检测图像序列，分别获得四个摄像头对应的四个游客的行为检测结果，也即获得四个游客对应的四个行为检测结果，该四个游客对应的四个行为检测结果均为群体对象的行为检测结果。当该监控区域出现五个游客时，其中一个游客单独行走，另外四个游客结伴行走，五个游客依次行经4个摄像头对应的路段区域，每一个摄像头均可以获取到包括五个游客的待检测图像序列，根据该四个摄像头对应的四个待检测图像序列，分别获得四个摄像头对应的五个游客的行为检测结果，也即获得一个游客对应的四个行为检测结果，以及四个游客对应的四个行为检测结果，一个游客对应的四个行为检测结果均为单人对象的行为检测结果，该四个游客对应的四个行为检测结果均为群体对象的行为检测结果。

103、对邻近摄像头对应的行为检测结果进行对象匹配处理，得到第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

在本发明实施例中，上述对象匹配处理可以是将不同摄像头中同一个对象进行匹配，从而得到该个对象在不同摄像头中的图像信息。上述对象匹配处理也可以是行人重识别技术，通过行人重识别技术，对邻近摄像头对应的行为检测结果进行融合，得到第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

在本发明实施例中，行人重识别技术(re-identification，简称ReID)，行人重识别也称行人再识别，是利用计算机视觉技术判断图像或者视频流中是否存在特定行人的技术。在行人重识别中，给定一个摄像头的监控行人图像，检索跨摄像头下的该行人图像。

由于邻近摄像头中包括邻接的多个摄像头，每个摄像头的待检测图像序列对应一个待检测对象行为检测结果，因此，可以通过行人重识别技术，将邻近摄像头中相同待检测对象对应的行为检测结果进行融合，得到该待检测对象的最终行为检测结果。

针对单个摄像头，对该个摄像头对应的行为检测结果进行融合获得最终行为检测结果，最终行为检测结果是综合了多个摄像头的行为检测结果的。通过对多个摄像头对应的行为检测结果进行融合，获得待检测对象的最终行为检测结果，可以有效地避免因单个摄像头的图像存在遮挡信息或单个摄像头的图像光线较差时，导致的检测结果准确率较低的情况发生，从而使得检测结果的准确率得到提高。

进一步的，对多个摄像头对应的行为检测结果进行融合，获得待检测对象的最终行为检测结果的步骤中，可以根据邻近摄像头中各个摄像头之间的邻接关系，确定邻近摄像头对应的拓扑关系；通过邻近摄像头对应的拓扑关系，对邻近摄像头中各个摄像头对应的行为检测结果进行对象匹配处理，获得第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

可以将邻近摄像头中各个摄像头之间的邻接关系作为上述拓扑关系，进而可以根据多个摄像头的拓扑关系，确定各个摄像头的权重，根据各个摄像头的权重以及各个摄像头对应的行为检测结果，进行加权求和，获得最终行为检测结果。

邻近摄像头中各个摄像头之间的拓扑关系通常是指邻近摄像头中各个摄像头的安装位置关系，对于相邻的监控区域，存在相邻连接的关系，其对应设置的摄像头也存在这种相邻连接的关系。在一种可能的实施例中，摄像头安装于不同的位置，对应的拓扑关系不同，对应的权重可能也不同。

进一步的，对待检测图像序列进行行为检测，得到第一待检测对象和第二待检测对象中至少一项对应的行为检测结果的步骤之前，还可以确定待检测图像序列的检测类型，检测类型包括单人行为检测和群体行为检测，其中，单人行为检测用于对第一待检测对象进行行为检测，群体行为检测用于对第二待检测对象进行行为检测；根据检测类型，确定与检测类型对应的检测策略，检测策略包括单人行为检测和群体行为检测中至少一项；在对待检测图像序列进行行为检测，得到第一待检测对象和第二待检测对象中至少一项对应的行为检测结果的步骤中，可以通过检测策略对待检测图像序列进行行为检测，得到第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

在本发明中，不同的检测类型对应的检测策略不同，在本发明中，检测类型可以包括单人行为检测和集体行为检测，例如，待检测对象为第一待检测对象时，检测类型为单人行为检测，单人行为检测是指对单个人的行为进行检测。等检测对象为第二待检测对象时，检测类型为群体行为检测，集体行为检测是指对多个人的集体行为进行检测，例如，单人行为检测可以是对单个人的滑倒、爬墙、抽烟、摔倒、攀爬等的行为检测，集体检测可以是多个人的行人聚集、打架斗殴、街头赌博等的行为检测。

检测策略可以包括只对第一待检测对象进行单人行为检测，只对第二待检测对象进行群体行为检测，同时对第一待检测对象进行单人行为检测，以及对第二待检测对象进行群体行为检测。

具体的，在检测类型为单人行为检测时；在通过检测策略对待检测图像序列进行行为检测，得到第一待检测对象和第二待检测对象中至少一项对应的行为检测结果的步骤中，可以对邻近摄像头中各个摄像头对应的待检测图像序列进行滤波处理，确定第一待检测对象的局部标识；根据拓扑关系以及局部标识，确定第一待检测对象的全局标识；根据全局标识，在邻近摄像头中各个摄像头对应的待检测图像序列中确定邻近摄像头中各个摄像头对应的目标图像；对目标图像进行单人行为检测，得到第一待检测对象对应的行为检测结果。

在一种可能的实施例中，上述滤波处理可以采用卡尔曼滤波法或粒子滤波法进行滤波处理，可以通过多摄像头的行人追踪技术，在单个摄像头的待检测图像序列中对每一帧图像检测所有的行人目标，再通过卡尔曼滤波法或粒子滤波法对关联前后几帧或前后相邻帧，赋予每个行人目标一个局部的ID，并生成局部的人体追踪轨迹，最后根据摄像头的拓扑结构关系图，以及ReID算法完成整体的邻近摄像头的行人追踪，并分配全局ID，生成每个行人目标全局的追踪轨迹。上述多摄像头的行人追踪过程可以如图3所示，图3是本发明实施列提供的一种多摄像头的行人追踪方法的示意图。

具体的，可以记录当前时刻为t；接入可用的N个摄像头。通过for i in N指令处理每个摄像头。读取摄像头i的待检测图像序列，并完成行人检测，分配局部的ID。采用卡尔曼滤波法或粒子滤波法完成t时刻与(t-1)时刻的行人关联匹配，更新局部的ID。完成全局(全局指的是最初始时刻到t时刻)的行人匹配，更新全局ID和追踪轨迹。

在对目标图像进行单人行为检测，得到第一待检测对象对应的行为检测结果的步骤中，可以对目标图像进行关键点提取，获得第一待检测对象对应的多个关键点坐标；将第一待检测对象对应的多个关键点坐标输入训练获得的第一行为识别网络，通过训练获得的第一行为识别网络输出得到第一待检测对象对应的行为检测结果，第一行为识别网络被训练为单人行为检测。目标图像为基于待检测图像序列的连续图像。

具体的，可以对目标图像进行时间序列上的关键点提取，获得第一待检测对象的多个关键点坐标；将多个关键点坐标输入训练获得的ST-GCN网络，获得第一待检测对象的行为检测结果。ST-GCN网络为图卷积网络，可以多个关键点进行卷积识别，得到第一待检测对象的行为检测结果。

在一种可能的实施例中，可以根据邻近摄像头的追踪轨迹结果，来判断待检测图像序列的检测类型，具体的，当两个追踪轨迹在时间和空间上的相似度大于预设的相似度阈值时，则认为两个追踪轨迹分别对应的两个行人目标为群体对象(即第二待检测对象)，当一个追踪轨迹与其余任意一个追踪轨迹在时间和空间上的相似度小于预设的相似度阈值时，则认为该个追踪轨迹对应的行人目标为单人对象(即第一待检测对象)。

待检测图像序列包括当前时刻的图像帧和当前时刻之前的连续图像帧。对于任意一个摄像头的当前时刻，将当前图像序列输入训练得到的行人检测模型中，获得行人目标的一个初始行人检测结果，并将当前时刻之前的连续图像帧输入该训练得到的行人检测模型，获得行人目标的一个历史行人检测结果，然后基于该初始行人检测结果和历史行人检测结果，通过卡尔曼滤波法或粒子滤波法进行关联匹配，建立行人目标在当前时刻之前与当前时刻的关联，进而可以确定出行人目标在该摄像头下的局部标识，局部标识可以是局部ID(待分析对象在该摄像头下的唯一标识)，同时，还可以通过不断建立行人目标在当前时刻之前与当前时刻的关联，确定行人目标的局部轨迹，局部轨迹可以是指在该摄像头下待分析对象的运动轨迹。

然后基于各个摄像头的拓扑关系，确定行人目标的全局标识(行人目标在全部的多个摄像头下的唯一标识)。同时，还可以基于各个局部轨迹和各个摄像头的拓扑关系，确定行人目标的全局轨迹。

获得全局标识后，可以在每个摄像头对应的待分析图像序列中确定出具有时序关系的多个目标图像，目标图像包括行人目标。然后再对目标图像上提取出行人目标在时间序列上的关键点的关键点坐标。上述关键点可以是指人体的18个关节对应的关键点，可以包括：左目、右目、左耳、右耳、鼻子、左肩、右肩、首、左肘、右肘、左手首、右手首、左腰、右腰、左膝、右膝做足首和右足首，这18个关键点在目标图像上对应的坐标即为关键点坐标。上述关键点还可以是人体骨骼点，可以根据人体骨骼点之间的拓扑结构进行判别，进而减少背景对识别效果的干扰。

然后将全部的目标图像对应的全部关键点坐标输入训练获得的图卷积网络ST-GCN网络进行识别，获得上述的行为检测结果。

图卷积网络ST-GCN网络是利用训练样本进行训练的，训练样本包括用于训练的关键点坐标和该用于训练的关键点坐标对应的检测结果，当训练的迭代次数到达要求时，即可获得上述的训练获得的图卷积网络ST-GCN网络。

可以理解的是，当待检测对象为多个第一待检测对象时，第一待检测对象为单人对象，单人对象对应一个行人目标，对于每个行人目标会对应一个全局标识和局部标识，根据各个行人目标对应的全局标识，对每个摄像头确定出对应的多个目标图像，然后针对该摄像头，分别获得多个全局标识一一对应的行为检测结果，根据各个行人目标的全局标识，进一步获得各个行人目标的行为检测结果。

然后按照上述方式，根据每个摄像头对应的行为检测结果以及根据多个摄像头之间的拓扑关系确定的权重，得到第一待检测对象对应的最终行为检测结果。

进一步的，当检测类型为集体行为检测时；在通过检测策略对待检测图像序列进行行为检测，得到第一待检测对象和第二待检测对象中至少一项对应的行为检测结果的步骤中，可以在待检测图像序列中确定与第二待检测对象对应的密集区域；将密集区域输入训练获得的第二行为识别网络，通过训练获得的第二行为识别网络输出得到第二待检测对象对应的行为检测结果，第二行为识别网络被训练为群体行为检测。

其中，在待检测图像序列中确定与第二待检测对象对应的密集区域的步骤中，可以在待检测图像序列中进行抽帧，确定目标待检测图像序列；在目标待检测图像序列中确定第二待检测对象所在的区域坐标；根据区域坐标，在待检测图像序列中确定与第二待检测对象对应的密集区域。

可以将待检测图像序列进行抽帧后，得到连续的n张图像帧作为目标待检测图像序列，对在目标待检测图像序列最中间的图像帧进行密集区域检测，其中，密集区域指的是图像中行人目标密度大于人数阈值的图像区域。例如，目标待检测图像序列包括n帧图像，n为大于1的自然数，则可以对目标待检测图像序列中的第n/2或(n+1)/2个图像帧进行密集区域检测。

针对每个摄像头，在目标待检测图像序列中确定出第二待检测对象存在的区域——密集区域，密集区域在对应图像帧中的坐标即为区域坐标，将目标待检测图像序列中与区域坐标对应的区域均确定为第二待检测对象对应的密集区域，从而获得与目标待检测图像序列中各个图像帧一一对应的密集区域。

然后将该摄像头的全部的密集区域按图像帧的时间顺序输入训练获得的第二行为识别网络，获得对应的行为检测结果，训练获得的第二行为识别网络可以是训练获得的3D卷积网络。其中，训练获得的3D卷积网络可以是利用训练样本对初始的3D卷积网络进行训练获得，该训练样本包括密集区域对应的训练图像和该训练图像对应的行为分析结果，当训练的迭代次数达到要求时，得到训练获得的3D卷积网络。上述集体行为检测方法可以参考图4，图4是本发明实施例提供的一种集体行为检测方法的流程图。

然后按照上述方式，根据每个摄像头中第二待检测对象对应的行为检测结果以及根据多个摄像头之间的拓扑关系确定的权重，得到第二待检测对象对应的最终行为检测结果。

显而易见的是，对于每个摄像头，利用自己的行为检测结果进行投票，每个摄像头的投票重要性基于摄像头的权重确定，根据全部摄像头的投票结果，获得最终行为检测结果。

例如，四个摄像头的权重相同，第一待检测对象为人M，检测类型为单人行为检测，对应的四个行为检测结果为人M摔倒、人M摔倒、人M蹲着和人M坐着，根据该四个行为检测结果获得的最终行为检测结果为人M摔倒。

又例如，四个摄像头的权重相同，第二待检测对象为人群N，检测类型为群体行为检测，对应的四个行为检测结果为人群N行走、人群N打架、人群N打架和人群N打架，根据该四个行为检测结果获得的最终行为检测结果为人群N打架。

需要说明的是，上述第一待检测对象的行为检测和第二待检测对象的行为检测可以根据检测策略同时进行，也可以单独进行。

在本发明中，只对待检测图像序列的密集区域进行检测，避免对图像背景也进行识别，从而减少了进行行为检测时输入训练获得的3D卷积网络的数据量，提高了训练获得的3D卷积网络的数据处理速度，进而提高了行为检测的检测效率。同时，只对密集区域进行分析，避免了非密集区域的无效信息对密集区域的干扰，提高了最终行为检测结果的准确率。

在本发明中，单人行为检测和集体行为检测采用不同的检测策略，检测的针对性较强，从而使得行为检测结果的准确率也较高。

请继续参考图5，图5是本发明实施例提供的另一种行为检测方法的流程图，如图5所示，在开始后，接入各个摄像头，获取待检测图像序列；对各个待检测图像序列进行单人动作识别，若识别到单人动作，则进行行人目标检测和追踪，对各个摄像头进行行人重识别和行人追踪融合，进行人体关键点检测，将检测到的人体关键点输入ST-GCN网络预测摔倒、攀爬等单人的动作行为；若识别不到单人动作或识别到群体动作，则进行可疑密集区域检测，将多路摄像头的可疑密集区域融合，通过3D卷积网络识别打架、聚众等集体动作行为。

实施例本发明，可以通过对邻近摄像头对应的待检测图像序列进行行为检测，得到单人对象的行为检测结果和群体对象的行为检测结果，并将每个摄像头检测到的单人对象的行为检测结果进行对象匹配处理，或者将每个摄像头检测到的群体对象的行为检测结果进行对象匹配处理，得到单人对象的最终行为检测结果或者群体对象的最终行为检测结果，融合了邻近摄像头在时空维度上的行为检测结果，提高了行人的行为检测结果的准确率。

需要说明的是，本发明实施例提供的行为检测方法可以应用于智能手机、电脑、服务器等设备。

可选的，请参见图6，图6是本发明实施例提供的一种行为检测装置的结构示意图，如图6所示，装置包括：

获取模块601，用于获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；

第一检测模块602，用于对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；

匹配模块603，用于对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

进一步的，所述匹配模块603，包括：

第一确定子模块，用于根据所述邻近摄像头中各个摄像头之间的邻接关系，确定所述邻近摄像头对应的拓扑关系；

匹配子模块，用于通过所述拓扑关系，对所述邻近摄像头中各个摄像头对应的行为检测结果进行对象匹配处理，获得所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

进一步的，所述检测模块602之前，所述装置还包括：

第一确定模块，用于确定所述待检测图像序列的检测类型，所述检测类型包括单人行为检测和群体行为检测，其中，单人行为检测用于对所述第一待检测对象进行行为检测，所述群体行为检测用于对所述第二待检测对象进行行为检测；

第二确定模块，用于根据所述检测类型，确定与所述检测类型对应的检测策略，所述检测策略包括所述单人行为检测和所述群体行为检测中至少一项；

第二检测模块，用于所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

第三检测模块，用于通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

进一步的，在所述检测类型为单人行为检测时；所述第二检测模块，包括：

处理子模块，用于对所述邻近摄像头中各个摄像头对应的待检测图像序列进行滤波处理，确定所述第一待检测对象的局部标识；

第二确定子模块，用于根据所述拓扑关系以及所述局部标识，确定所述第一待检测对象的全局标识；

第三确定子模块，用于根据所述全局标识，在所述邻近摄像头中各个摄像头对应的待检测图像序列中确定所述邻近摄像头中各个摄像头对应的目标图像；

检测子模块，用于对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果。

进一步的，所述检测子模块，包括：

提取单元，用于对所述目标图像进行关键点提取，获得所述第一待检测对象对应的多个关键点坐标；

输出单元，用于将所述第一待检测对象对应的多个关键点坐标输入训练获得的第一行为识别网络，通过所述训练获得的第一行为识别网络输出得到所述第一待检测对象对应的行为检测结果，所述第一行为识别网络被训练为单人行为检测。

进一步的，在所述检测类型为集体行为检测时；所述第二检测模块，包括：

第四确定子模块，用于在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域；

输出子模块，用于将所述密集区域输入训练获得的第二行为识别网络，通过所述训练获得的第二行为识别网络输出得到所述第二待检测对象对应的行为检测结果，所述第二行为识别网络被训练为群体行为检测。

进一步的，所述第四确定子模块，包括：

第一确定单元，用于在所述待检测图像序列中进行抽帧，确定目标待检测图像序列；

第二确定单元，用于在所述目标待检测图像序列中确定所述第二待检测对象所在的区域坐标；

第三确定单元，用于根据所述区域坐标，在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域。

需要说明的是，本发明实施例提供的行为检测装置可以应用于可以进行图层级的业务分析的智能手机、电脑、服务器等设备。

本发明实施例提供的行为检测装置能够实现上述方法实施例中行为检测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参见图7，图7是本发明实施例提供的一种电子设备的结构示意图，如图7所示，包括：存储器702、处理器701及存储在存储器702上并可在处理器701上运行的行为检测方法的计算机程序，其中：

处理器701用于调用存储器702存储的计算机程序，执行如下步骤：

获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；

对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；

对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

进一步的，处理器701执行的所述对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果，包括：

根据所述邻近摄像头中各个摄像头之间的邻接关系，确定所述邻近摄像头对应的拓扑关系；

通过所述拓扑关系，对所述邻近摄像头中各个摄像头对应的行为检测结果进行对象匹配处理，获得所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

进一步的，处理器701执行的所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果之前，方法还包括：

确定所述待检测图像序列的检测类型，所述检测类型包括单人行为检测和群体行为检测，其中，单人行为检测用于对所述第一待检测对象进行行为检测，所述群体行为检测用于对所述第二待检测对象进行行为检测；

根据所述检测类型，确定与所述检测类型对应的检测策略，所述检测策略包括所述单人行为检测和所述群体行为检测中至少一项；

所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

进一步的，处理器701执行的在所述检测类型为单人行为检测时；所述通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

对所述邻近摄像头中各个摄像头对应的待检测图像序列进行滤波处理，确定所述第一待检测对象的局部标识；

根据所述拓扑关系以及所述局部标识，确定所述第一待检测对象的全局标识；

根据所述全局标识，在所述邻近摄像头中各个摄像头对应的待检测图像序列中确定所述邻近摄像头中各个摄像头对应的目标图像；

对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果。

进一步的，处理器701执行的所述对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果，包括：

对所述目标图像进行关键点提取，获得所述第一待检测对象对应的多个关键点坐标；

将所述第一待检测对象对应的多个关键点坐标输入训练获得的第一行为识别网络，通过所述训练获得的第一行为识别网络输出得到所述第一待检测对象对应的行为检测结果，所述第一行为识别网络被训练为单人行为检测。

进一步的，处理器701执行的在所述检测类型为集体行为检测时；所述通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域；

将所述密集区域输入训练获得的第二行为识别网络，通过所述训练获得的第二行为识别网络输出得到所述第二待检测对象对应的行为检测结果，所述第二行为识别网络被训练为群体行为检测。

进一步的，处理器701执行的所述在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域，包括：

在所述待检测图像序列中进行抽帧，确定目标待检测图像序列；

在所述目标待检测图像序列中确定所述第二待检测对象所在的区域坐标；

根据所述区域坐标，在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域。

需要说明的是，本发明实施例提供的电子设备可以应用于可以进行行为检测的智能手机、电脑、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中行为检测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的行为检测方法或应用端行为检测方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random Access Memory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种行为检测方法，其特征在于，包括以下步骤：

获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；

对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；

对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

2.如权利要求1所述的方法，其特征在于，所述对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果，包括：

根据所述邻近摄像头中各个摄像头之间的邻接关系，确定所述邻近摄像头对应的拓扑关系；

通过所述拓扑关系，对所述邻近摄像头中各个摄像头对应的行为检测结果进行对象匹配处理，获得所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

3.如权利要求1所述的方法，其特征在于，所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果之前，方法还包括：

确定所述待检测图像序列的检测类型，所述检测类型包括单人行为检测和群体行为检测，其中，单人行为检测用于对所述第一待检测对象进行行为检测，所述群体行为检测用于对所述第二待检测对象进行行为检测；

根据所述检测类型，确定与所述检测类型对应的检测策略，所述检测策略包括所述单人行为检测和所述群体行为检测中至少一项；

所述对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果。

4.如权利要求3所述的方法，其特征在于，在所述检测类型为单人行为检测时；所述通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

对所述邻近摄像头中各个摄像头对应的待检测图像序列进行滤波处理，确定所述第一待检测对象的局部标识；

根据所述拓扑关系以及所述局部标识，确定所述第一待检测对象的全局标识；

根据所述全局标识，在所述邻近摄像头中各个摄像头对应的待检测图像序列中确定所述邻近摄像头中各个摄像头对应的目标图像；

对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果。

5.如权利要求4所述的方法，其特征在于，所述对所述目标图像进行单人行为检测，得到所述第一待检测对象对应的行为检测结果，包括：

对所述目标图像进行关键点提取，获得所述第一待检测对象对应的多个关键点坐标；

将所述第一待检测对象对应的多个关键点坐标输入训练获得的第一行为识别网络，通过所述训练获得的第一行为识别网络输出得到所述第一待检测对象对应的行为检测结果，所述第一行为识别网络被训练为单人行为检测。

6.如权利要求3所述的方法，其特征在于，在所述检测类型为集体行为检测时；所述通过所述检测策略对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果，包括：

在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域；

将所述密集区域输入训练获得的第二行为识别网络，通过所述训练获得的第二行为识别网络输出得到所述第二待检测对象对应的行为检测结果，所述第二行为识别网络被训练为群体行为检测。

7.如权利要求6所述的方法，其特征在于，所述在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域，包括：

在所述待检测图像序列中进行抽帧，确定目标待检测图像序列；

在所述目标待检测图像序列中确定所述第二待检测对象所在的区域坐标；

根据所述区域坐标，在所述待检测图像序列中确定与所述第二待检测对象对应的密集区域。

8.一种行为检测装置，其特征在于，包括：

获取模块，用于获取邻近摄像头对应的待检测图像序列，所述待检测图像序列包括第一待检测对象和第二待检测对象中至少一项，所述第一待检测对象为单人对象，所述第二待检测对象为群体对象，所述邻近摄像头包括邻接的多个摄像头；

第一检测模块，用于对所述待检测图像序列进行行为检测，得到所述第一待检测对象和第二待检测对象中至少一项对应的行为检测结果；

匹配模块，用于对所述邻近摄像头对应的行为检测结果进行对象匹配处理，得到所述第一待检测对象和第二待检测对象中至少一项对应的最终行为检测结果。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的行为检测方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的行为检测方法中的步骤。

Images