CN112818939A - 一种行为检测方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种行为检测方法、装置及电子设备。其中，所述方法包括：确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头拍摄视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；针对所述各个人员中的每个人员进行姿态检测，得到所述各个人员的姿态；根据所述各个人员的姿态以及所述各个物品在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。可以有效提高行为检测的准确性。

Description

一种行为检测方法、装置及电子设备

技术领域

本发明涉及智能交通技术领域，特别是涉及一种行为检测方法、装置及电子设备。

背景技术

出于实际需求，在一些应用场景中需要检测目标人员是否存在异常行为，例如为避免驾驶员因抽烟、玩手机等异常行为引发交通事故，需要检测驾驶员是否存在抽烟、玩手机等异常行为，以便及时对驾驶员进行警告或使得相关人员及时进行应对。

相关技术中，可以是利用摄像机拍摄驾驶员，并对拍摄得到的图像进行人脸检测，以确定驾驶员面部所在区域，在拍摄得到的图像中驾驶员面部所在区域的一定范围内进行物品检测，当检测到驾驶员面部所在区域的一定范围内存在如手机、烟等物品时，确定驾驶员存在异常行为。

但是在拍摄图像时可能将驾驶员身后和周遭的其他人员也拍摄进来，因此图像中存在的手机、烟等物品可能并非驾驶员正在使用的物品，而是其他人员正在使用的物品，示例性的，如图2所示，如果乘客在驾驶员身后玩手机，则拍摄到的图像中该乘客的手机可能处于驾驶员脸部附近，导致错误地判断驾驶员存在玩手机的异常行为。

因此，如何准确检测目标人员是否存在异常行为成为亟待解决的技术问题。

发明内容

本发明实施例的目的在于提供一种行为检测方法、装置及电子设备，以实现提高行为检测的准确性。具体技术方案如下：

在本发明实施例的第一方面，提供了一种行为检测方法，所述方法包括：

确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头解析所得视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；

针对所述各个人员中的每个人员进行姿态检测，得到所述各个人员的姿态；

根据所述各个人员的姿态以及所述各个物品在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；

如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述待检测图像为从车载摄像头拍摄视频解析得到的多个视频帧；

所述如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为，包括：

统计异常视频帧的数目，所述异常视频帧为所述多个视频帧中存在归属人员为所述目标人员的物品的视频帧；

如果所述异常视频帧的数目与所述多个视频帧的数目的比值大于预设比例阈值，确定所述目标人员存在异常行为。

在一种可能的实施例中，在所述统计异常视频帧的数目之后，所述方法还包括：

如果所述异常视频帧的数目与所述多个视频帧的数目的比值不大于预设比例阈值，确定所述目标人员不存在异常行为。

在一种可能的实施例中，采用以下方式确定所述待检测图像中的各个物品：

通过预先训练得到的物体检测模型，对所述待检测图像进行物品检测，得到所述待检测图像中存在物品的图像区域；

针对得到的每个图像区域，通过预先训练得到的物体分类模型，对该图像区域的图像进行物体识别，确定该图像区域内存在的物体。

在一种可能的实施例中，所述针对所述各个人员中的每个人员，进行姿态检测，得到所述各个人员的姿态，包括：

通过预先训练得到人体关键点检测模型，对所述待检测图像进行人体关键点检测，得到人体关键点检测结果；

通过预先训练得到的姿态分类模型，对所述人体关键点检测结果进行姿态分类，得到所述各个人员的姿态；

其中，所述人体关键点检测模型预先通过以下方式训练得到的：

将标注有关键点位置信息以及关键点所属人体结构的样本图像输入至初始模型，得到所述初始模型输出的关键点位置信息以及关键点所属人体结构；

根据第一差值和第二差值构建损失函数，其中，所述第一差值用于表示标注的关键点位置信息与输出的关键点位置信息之间的差值，所述第二差值用于表示标注的关键点所属人体结构与输出的关键点所属人体结构之间的差值，所述损失函数与所述第一差值正相关，并且与所述第二差值正相关；

根据所述损失函数调整所述初始模型的模型参数，直至达到预设结束条件，得到人体关键点检测模型。

在一种可能的实施例中，所述如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为，包括：

如果所述各个物品中存在归属人员为所述目标人员的物品，且所述目标人员的姿态为预设异常姿态，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述目标人员为目标车辆的驾驶员，所述待检测图像为所述目标车辆的行驶速度大于预设速度阈值时拍摄所述目标人员得到的。

在本发明实施例的第二方面，提供了行为检测装置，所述装置包括：

目标检测模块，用于确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头解析所得视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；

姿态检测模块，用于针对所述各个人员中的每个人员，进行姿态检测，得到所述各个人员的姿态；

物品关联模块，用于根据所述各个人员的姿态以及所述各个物品的在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；

行为检测模块，用于如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述待检测图像为从车载摄像头拍摄视频解析得到的多个视频帧；

所述行为检测模块具体用于统计异常视频帧的数目，所述异常视频帧为所述多个视频帧中存在归属人员为所述目标人员的物品的视频帧；

如果所述异常视频帧的数目与所述多个视频帧的数目的比值大于预设比例阈值，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述行为检测模块，还用于如果所述异常视频帧的数目与所述多个视频帧的数目的比值不大于预设比例阈值，确定所述目标人员不存在异常行为。

在一种可能的实施例中，采用以下方式确定所述待检测图像中的各个物品：

通过预先训练得到的物体检测模型，对所述待检测图像进行物品检测，得到所述待检测图像中存在物品的图像区域；

针对得到的每个图像区域，通过预先训练得到的物体分类模型，对该图像区域的图像进行物体识别，确定该图像区域内存在的物体。

在一种可能的实施例中，所述姿态检测模块，具体用于通过预先训练得到人体关键点检测模型，对所述待检测图像进行人体关键点检测，得到人体关键点检测结果；

通过预先训练得到的姿态分类模型，对所述人体关键点检测结果进行姿态分类，得到所述各个人员的姿态；

其中，所述人体关键点检测模型预先通过以下方式训练得到的：

将标注有关键点位置信息以及关键点所属人体结构的样本图像输入至初始模型，得到所述初始模型输出的关键点位置信息以及关键点所属人体结构；

根据第一差值和第二差值构建损失函数，其中，所述第一差值用于表示标注的关键点位置信息与输出的关键点位置信息之间的差值，所述第二差值用于表示标注的关键点所属人体结构与输出的关键点所属人体结构之间的差值，所述损失函数与所述第一差值正相关，并且与所述第二差值正相关；

根据所述损失函数调整所述初始模型的模型参数，直至达到预设结束条件，得到人体关键点检测模型。

在一种可能的实施例中，所述行为检测模块，具体用于如果所述各个物品中存在归属人员为所述目标人员的物品，且所述目标人员的姿态为预设异常姿态，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述目标人员为目标车辆的驾驶员，所述待检测图像为所述目标车辆的行驶速度大于预设速度阈值时拍摄所述目标人员得到的。

在本发明实施例的第三方面，提供了一种电子设备，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。

在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

本发明实施例有益效果：

本发明实施例提供的行为检测方法、装置及电子设备，可以结合人体姿态确定各个物品的归属，从而有效地降低将其他人员的行为错误判断为目标人员的异常行为的可能性，因此可以有效提高行为检测的准确性。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的行为检测方法的一种流程示意图；

图2为本发明实施例提供的待检测图像的一种示意图；

图3为本发明实施例提供的待检测图像的另一种示意图；

图4为本发明实施例提供的行为检测系统的一种架构示意图；

图5为本发明实施例提供的行为检测装置的一种结构示意图；

图6为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1所示为本发明实施例提供的行为检测方法的一种流程示意图，可以包括：

S101，确定待检测图像中存在各个人员与各个物品。

S102，针对各个人员中的每个人员进行姿态检测，得到各个人员的姿态。

S103，根据各个人员的姿态以及各个物品在待检测图像中的位置，确定各个物品的归属人员。

S104，如果各个物品中存在归属人员为目标人员的物品，确定目标人员存在异常行为。

选用该实施例，可以结合人体姿态确定各个物品的归属，从而有效地降低将其他人员的行为错误判断为目标人员的异常行为的可能性，因此可以有效提高行为检测的准确性。

其中，在S101中，待检测图像为车载摄像头解析所得视频流，待检测图像中至少存在目标人员，待检测图像中可以包括除目标人员以外的其他人员，也可以不包括除目标人员以外的其他人员。并且，待检测图像中可以是包括目标人员的人脸图像和人体图像，也可以是只包括目标人员的人脸图像。并且待检测图像可以是一个图像也可以多个图像，示例性的，待检测图像可以是从车载摄像头拍摄视频解析得到的多个连续或非连续的视频帧。

物品为与预设异常行为存在关联的物品，预设异常行为根据应用场景的不同可以是指不同的异常行为，以检测驾驶员在驾驶过程中的异常行为为例，异常行为可以包括玩手机、抽烟等。与玩手机存在关联的物品为手机，与抽烟存在关联的物品为烟。

在S102中，人员的姿态用于表示待检测图像中人员所处的姿势，示例性的，人员的姿态可以用于表示人员所处的姿势为目视前方，人员的姿态也可以用于表示人员所处的姿势为歪头夹着手机等。

由于待检测图像中至少存在目标人员，因此通过姿态检测可以至少得到目标人员的姿态。姿态检测的方式根据应用场景的不同，示例性的，在一种可能的实施例中，可以是通过预先训练得到的人体关键点检测模型，对待检测图像进行人体关键点检测，得到人体关键点检测结果，并通过预先训练得到的姿态分类模型，对人体关键点结果进行姿态分类，得到各人员的姿态。

其中，人体关键点检测模型可以是预先通过以下方式训练得到的：

将标注有关键点位置信息以及关键点所属人体结构的样本图像输入至初始模型，得到初始模型输出的关键点位置信息以及关键点所属人体结构；

根据第一差值和第二差值构建损失函数，其中，第一差值用于表示标注的关键点位置信息与输出的关键点位置信息之间的差值，第二差值用于表示标注的关键点所属人体结构与输出的关键点所属人体结构之间的差值，损失函数与第一差值正相关，并且与第二差值正相关；

根据损失函数调整初始模型的模型参数，直至达到预设结束条件，得到人体关键点检测模型。预设结束条件可以包括模型参数的收敛性达到预设收敛性阈值，也可以包括调整次数达到预设次数阈值等。

损失函数可以是按照下式构建得到的：

其中，Lⁱ表示该初始模型在第i个尺度的损失函数，i为取值范围在[1,max]之内的任意正整数，max为该初始模型输出的位置信息所具有的尺度的数目，N表示关键点的数目，

表示输出的第n个关键点在第i个尺度上的位置信息，

表示标注的第n个关键点在第i个尺度上的位置信息，α为预设权重，

表示输出的第j个关键点所属人体结构，

表示标注的第j个关键点所属人体结构。

在S103中，归属人员为与物品之间的空间关联性最高的人员，物品与人员之间的空间关联性可以是根据物品与人员之间的距离确定得到的，并且物品与人员之间的空间关联性理论上和物品与人员之间的距离负相关。即在除距离以外的其他影响空间关联性的参数不变的情况下，物品与人员之间的距离越近物品与人员之间的空间关联性越高，物品与人员之间的距离越远物品与人员之间的空间关联性越低。

在S104中，可以理解的是由于物品为与预设异常行为存在关联的物品，因此如果一个物品的归属人员为目标人员，则可以认为目标人员在通过该物品进行与该物品存在关联的预设异常行为，示例性的，假设手机的归属人员为目标人员，则可以确定目标人员存在玩手机的异常行为。

如果待检测图像为一个图像，则物品的归属人员为目标人员是指在该一个图像中该物品的归属人员为目标人员。当待检测图像为多个图像时，物品的归属人员为目标人员是指在该多个图像中的至少n个图像中该物品的归属人员为目标人员，n为大于等于1的正整数并且n的数值可以根据实际需求进行设置，示例性的，在一种可能的实施例中n可以被设置为多个图像中包括的图像数目的75％，例如假设多个图像中一共包括40个图像，则n可以为40*75％＝30。当多个图像中包括的图像数目的75％不为整数时，n可以被设置为多个图像中包括的图像数目的75％向上取整或向下取整得到的结果。

在另一种可能的实施例中，假设待检测图像为拍摄目标人员得到的视频中的多个视频帧，则可以是统计异常视频帧的数目，其中，异常视频帧为多个视频帧中存在归属人员为目标人员的物品的视频帧，如果异常视频帧的数目与多个视频帧的数目的比值大于预设比例阈值，则确定目标人员存在异常行为，如果异常视频帧的数目与多个视频帧的数目的比值不大于预设比例阈值，则确定目标人员不存在异常行为。

可以理解的是，一个行为往往会持续一段时间，因此如果目标人员存在异常行为，则应该在一定数量的视频帧中均在使用与该异常行为存在关联的物品进行异常行为，因此在该一定数量的视频帧中该物品的归属人员为目标人员，即该一定数量的视频帧为异常视频帧。因此，如果目标人员存在异常行为，则异常视频帧的数目与多个视频帧的数目的比值应当大于预设比例阈值。反之，如果异常视频帧的数目与多个视频帧的数目的比值不大于预设比例阈值，则可以认为异常视频帧是误判，此时目标人员并不存在异常行为。

为了更清楚的对本发明实施例提供的行为检测方法的效果进行说明，可以参见图2，图2所示的待检测图像中，手机位于司机面部所在区域的一定范围内，但是此时司机并不存在异常行为，如果是按照背景技术中描述的方式进行行为检测，则将导致误判司机存在异常行为。

而如果按照本发明实施例提供的行为检测方法，由于手机被后排乘客握住，因此基于各人员的姿态可以确定手机的归属人员为后排乘客而非司机，因此不会误判司机存在异常行为。可见，本发明实施例提供的行为检测方法能够有效提高行为检测的准确性。

参见图3，图3中由于玩手机的后排乘客并未漏出脸部，因此仅根据姿态可能将手机的归属人员确定为司机，导致误判司机存在异常行为。基于此，在一种可能的实施例中，可以是当各个物品中存在归属人员为目标人员的物品，且目标人员的姿态为预设异常姿态时，确定目标人员存在异常行为。

预设异常姿态根据应用场景的不同可以包括不同的姿态，并且预设异常姿态应当为目标人员在正常行为中不会处于的姿态，例如，以目标人员为驾驶员为例，驾驶员在正常驾驶过程中理论上不会处于低头、歪头夹着手机等姿态，因此可以将低头、歪头夹着手机等姿态作为预设异常姿态。

仍以图3为例，虽然手机的归属人员为司机，但是由于司机的姿态并不为预设异常姿态，因此可以判定司机不存在异常行为。可见，选用该实施例可以进一步提高行为检测的准确性。

为了更清楚的对本发明实施例提供的行为检测方法进行说明，下面将以检测目标车辆的驾驶员是否存在危险驾驶行为的场景为例，进行说明。可以参见图4，图4所示为本发明实施例提供的行为检测系统的一种系统架构图，包括：车载摄像头视频流单元401、多目标检测单元402、目标分类单元403、姿态分析单元404、单帧行为分析单元405、多帧行为报警单元406。

其中，车载摄像头视频流单元401用于控制车载摄像头拍摄驾驶员周围的图像作为待检测图像，其中，车载摄像头可以是安装于车辆中控台、仪表盘、A柱等区域中的一个或多个区域。并且车载摄像头可以包括可见光模式和红外光模式，其中，可见光模式用于拍摄可见光图像，红外光模式用于拍摄红外光图像。车载摄像头视频流单元401中还可以包括光感元件，车载摄像头视频流单元401可以通过光感元件确定当前场景中的光照强度，如果光照强度高于预设强度阈值，则控制车载摄像头进入可见光模式，如果光照强度不高于预设强度阈值，则控制车载摄像头进入红外光模式。

并且，在一种可能的实施例中，车载摄像头视频流单元401中还可以包括速度感应元件，车载摄像头视频流单元401可以通过速度感应元件确定目标车辆的速度，如果目标车辆的速度高于预设速度阈值，则控制车载摄像头开始拍摄待检测图像，如果目标车辆的速度不高于预设速度阈值，则控制车载摄像头停止拍摄待检测图像。

多目标检测单元402用于检测待检测图像中存在的目标，所检测的目标包括与人员相关的目标以及与预设异常行为存在关联的物品，示例性的，可以是检测待检测图像中存在的人脸、人体、手机、水杯、香烟等。

目标分类单元403用于对检测得到的目标进行分类，可以理解的是检测出的目标可能存在误判，示例性的，假设驾驶员嘴部叼有牙签，则在目标检测时可能将牙签误判为香烟，因此需要进行目标分类以降低误判概率。

姿态分析单元404用于进行姿态检测，关于姿态检测可以参见前述S102中的相关描述，在此不再赘述。

单帧行为分析单元405用于针对拍摄到的视频流中的各个视频帧，根据各个人员的姿态以及各个物品在该视频帧中的位置，确定各个物品的归属人员。当确定该视频帧中存在归属人员为目标人员的物品时，单帧行为分析单元可以进行单帧报警。

多帧行为报警单元406可以统计一段时间内，如3s内，发生单帧报警的次数，如果单帧报警的次数与拍摄到的视频流在该一段时间内的总帧数的比值高于预设比例阈值，则进行报警，如果单帧报警的次数与拍摄到的视频流在该一段时间内的总帧数的比值不高于预设比例阈值，则不进行报警。

参见图5，图5所示为本发明实施例提供的行为检测装置的一种结构示意图，可以包括：

目标检测模块501，用于确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头解析所得视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；

姿态检测模块502，用于针对所述各个人员中的每个人员，进行姿态检测，得到所述各个人员的姿态；

物品关联模块503，用于根据所述各个人员的姿态以及所述各个物品的在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；

行为检测模块504，用于如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述待检测图像为从车载摄像头拍摄视频解析得到的多个视频帧；

所述行为检测模块504具体用于统计异常视频帧的数目，所述异常视频帧为所述多个视频帧中存在归属人员为所述目标人员的物品的视频帧；

如果所述异常视频帧的数目与所述多个视频帧的数目的比值大于预设比例阈值，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述行为检测模块504，还用于如果所述异常视频帧的数目与所述多个视频帧的数目的比值不大于预设比例阈值，确定所述目标人员不存在异常行为。

在一种可能的实施例中，采用以下方式确定所述待检测图像中的各个物品：

通过预先训练得到的物体检测模型，对所述待检测图像进行物品检测，得到所述待检测图像中存在物品的图像区域；

针对得到的每个图像区域，通过预先训练得到的物体分类模型，对该图像区域的图像进行物体识别，确定该图像区域内存在的物体。

在一种可能的实施例中，所述姿态检测模块502，具体用于通过预先训练得到人体关键点检测模型，对所述待检测图像进行人体关键点检测，得到人体关键点检测结果；

通过预先训练得到的姿态分类模型，对所述人体关键点检测结果进行姿态分类，得到所述各个人员的姿态；

其中，所述人体关键点检测模型预先通过以下方式训练得到的：

将标注有关键点位置信息以及关键点所属人体结构的样本图像输入至初始模型，得到所述初始模型输出的关键点位置信息以及关键点所属人体结构；

根据第一差值和第二差值构建损失函数，其中，所述第一差值用于表示标注的关键点位置信息与输出的关键点位置信息之间的差值，所述第二差值用于表示标注的关键点所属人体结构与输出的关键点所属人体结构之间的差值，所述损失函数与所述第一差值正相关，并且与所述第二差值正相关；

根据所述损失函数调整所述初始模型的模型参数，直至达到预设结束条件，得到人体关键点检测模型。

在一种可能的实施例中，所述行为检测模块504，具体用于如果所述各个物品中存在归属人员为所述目标人员的物品，且所述目标人员的姿态为预设异常姿态，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述目标人员为目标车辆的驾驶员，所述待检测图像为所述目标车辆的行驶速度大于预设速度阈值时拍摄所述目标人员得到的。

本发明实施例还提供了一种电子设备，如图6所示，包括：

存储器601，用于存放计算机程序；

处理器602，用于执行存储器601上所存放的程序时，实现如下步骤：

确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头解析所得视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；

针对所述各个人员中的每个人员进行姿态检测，得到所述各个人员的姿态；

根据所述各个人员的姿态以及所述各个物品在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；

如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述待检测图像为从车载摄像头拍摄视频解析得到的多个视频帧；

所述如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为，包括：

统计异常视频帧的数目，所述异常视频帧为所述多个视频帧中存在归属人员为所述目标人员的物品的视频帧；

如果所述异常视频帧的数目与所述多个视频帧的数目的比值大于预设比例阈值，确定所述目标人员存在异常行为。

在一种可能的实施例中，在所述统计异常视频帧的数目之后，所述方法还包括：

如果所述异常视频帧的数目与所述多个视频帧的数目的比值不大于预设比例阈值，确定所述目标人员不存在异常行为。

在一种可能的实施例中，采用以下方式确定所述待检测图像中的各个物品：

通过预先训练得到的物体检测模型，对所述待检测图像进行物品检测，得到所述待检测图像中存在物品的图像区域；

针对得到的每个图像区域，通过预先训练得到的物体分类模型，对该图像区域的图像进行物体识别，确定该图像区域内存在的物体。

在一种可能的实施例中，所述针对所述各个人员中的每个人员，进行姿态检测，得到所述各个人员的姿态，包括：

通过预先训练得到人体关键点检测模型，对所述待检测图像进行人体关键点检测，得到人体关键点检测结果；

通过预先训练得到的姿态分类模型，对所述人体关键点检测结果进行姿态分类，得到所述各个人员的姿态；

其中，所述人体关键点检测模型预先通过以下方式训练得到的：

将标注有关键点位置信息以及关键点所属人体结构的样本图像输入至初始模型，得到所述初始模型输出的关键点位置信息以及关键点所属人体结构；

根据第一差值和第二差值构建损失函数，其中，所述第一差值用于表示标注的关键点位置信息与输出的关键点位置信息之间的差值，所述第二差值用于表示标注的关键点所属人体结构与输出的关键点所属人体结构之间的差值，所述损失函数与所述第一差值正相关，并且与所述第二差值正相关；

根据所述损失函数调整所述初始模型的模型参数，直至达到预设结束条件，得到人体关键点检测模型。

在一种可能的实施例中，所述如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为，包括：

如果所述各个物品中存在归属人员为所述目标人员的物品，且所述目标人员的姿态为预设异常姿态，确定所述目标人员存在异常行为。

在一种可能的实施例中，所述目标人员为目标车辆的驾驶员，所述待检测图像为所述目标车辆的行驶速度大于预设速度阈值时拍摄所述目标人员得到的。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一行为检测方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一行为检测方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种行为检测方法，其特征在于，所述方法包括：

确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头解析所得视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；

针对所述各个人员中的每个人员进行姿态检测，得到所述各个人员的姿态；

根据所述各个人员的姿态以及所述各个物品在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；

如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。

2.根据权利要求1所述的方法，其特征在于，所述待检测图像为从车载摄像头拍摄视频解析得到的多个视频帧；

所述如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为，包括：

统计异常视频帧的数目，所述异常视频帧为所述多个视频帧中存在归属人员为所述目标人员的物品的视频帧；

如果所述异常视频帧的数目与所述多个视频帧的数目的比值大于预设比例阈值，确定所述目标人员存在异常行为。

3.根据权利要求2所述的方法，其特征在于，在所述统计异常视频帧的数目之后，所述方法还包括：

如果所述异常视频帧的数目与所述多个视频帧的数目的比值不大于预设比例阈值，确定所述目标人员不存在异常行为。

4.根据权利要求1所述的方法，其特征在于，采用以下方式确定所述待检测图像中的各个物品：

通过预先训练得到的物体检测模型，对所述待检测图像进行物品检测，得到所述待检测图像中存在物品的图像区域；

针对得到的每个图像区域，通过预先训练得到的物体分类模型，对该图像区域的图像进行物体识别，确定该图像区域内存在的物体。

5.根据权利要求1所述的方法，其特征在于，所述针对所述各个人员中的每个人员，进行姿态检测，得到所述各个人员的姿态，包括：

通过预先训练得到人体关键点检测模型，对所述待检测图像进行人体关键点检测，得到人体关键点检测结果；

通过预先训练得到的姿态分类模型，对所述人体关键点检测结果进行姿态分类，得到所述各个人员的姿态；

其中，所述人体关键点检测模型预先通过以下方式训练得到的：

将标注有关键点位置信息以及关键点所属人体结构的样本图像输入至初始模型，得到所述初始模型输出的关键点位置信息以及关键点所属人体结构；

根据第一差值和第二差值构建损失函数，其中，所述第一差值用于表示标注的关键点位置信息与输出的关键点位置信息之间的差值，所述第二差值用于表示标注的关键点所属人体结构与输出的关键点所属人体结构之间的差值，所述损失函数与所述第一差值正相关，并且与所述第二差值正相关；

根据所述损失函数调整所述初始模型的模型参数，直至达到预设结束条件，得到人体关键点检测模型。

6.根据权利要求1所述的方法，其特征在于，所述如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为，包括：

如果所述各个物品中存在归属人员为所述目标人员的物品，且所述目标人员的姿态为预设异常姿态，确定所述目标人员存在异常行为。

7.根据权利要求1所述的方法，其特征在于，所述目标人员为目标车辆的驾驶员，所述待检测图像为所述目标车辆的行驶速度大于预设速度阈值时拍摄所述目标人员得到的。

8.一种行为检测装置，其特征在于，所述装置包括：

目标检测模块，用于确定待检测图像中存在的各个人员与各个物品，所述待检测图像为车载摄像头解析所得视频流，所述待检测图像中至少存在目标人员，所述各个物品为与预设异常行为存在关联的物品；

姿态检测模块，用于针对所述各个人员中的每个人员，进行姿态检测，得到所述各个人员的姿态；

物品关联模块，用于根据所述各个人员的姿态以及所述各个物品的在所述待检测图像中的位置，确定所述各个物品的归属人员，其中，所述归属人员为与物品之间的空间关联性最高的人员；

行为检测模块，用于如果所述各个物品中存在归属人员为所述目标人员的物品，确定所述目标人员存在异常行为。

9.一种电子设备，其特征在于，包括：

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。

Images