CN109086662B - 一种异常行为检测方法及装置 - Google Patents

Abstract

本发明公开了一种异常行为检测方法及装置，所述方法包括：基于检测模型，确定每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；针对每个目标对象和每个异常行为，根据该目标对象和该异常行为的检测框的交并比，确定该目标对象是否存在该异常行为。本发明实施例提供的异常行为检测方法，基于一个检测模型来实现，将图像输入到检测模型中，经过一次的特征提取便可以输出是否存在异常行为的检测结果，因此不存在重复的特征提取，节约了检测资源，而且，针对不同的目标对象，以及不同的异常行为，都可以基于本案的检测模型进行检测，不需要训练多个模型，因此降低了模型训练和维护的成本。

Description

一种异常行为检测方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种异常行为检测方法及装置。

背景技术

道路交通事故给人们的生命、财产带来极大伤害，每年造成的人员死亡数超过十万人。其中，很多时候是因为驾驶员的异常行为造成的道路交通事故。驾驶员的异常行为包括未打电话、抽烟、未系安全带等。为了减少道路交通事故的发生，需要及时准确的检测出驾驶员的异常行为。

现有技术中进行驾驶员的异常行为检测时，一般先检测出车窗内的目标，例如主驾驶员，副驾驶员，安全带等，然后再确定特定目标的异常行为，例如主驾驶员是否在打电话，是否系安全带等，在检测车窗内目标时，需要将图像输入对应的模型，对图像进行特征提取，之后在确定特定目标的异常行为时，仍需要将图像输入对应的模型，此时也需要对图像进行特征提取，这样便存在重复的特征提取，浪费了检测资源。另外，现有技术中检测车窗内的目标对象时，每个目标对象都需要基于一个对应的模型，例如基于模型1检测主驾驶员，基于模型2检测安全带等。确定特定目标的异常行为时，每个异常行为也都需要基于一个对应的模型，例如基于模型3确定主驾驶员是否在打电话，基于模型4确定主驾驶员是否系安全带等。这样不可避免的会增加模型训练和维护的成本。

发明内容

本发明实施例提供了一种异常行为检测方法及装置，用以解决现有技术中存在重复的特征提取，浪费检测资源，以及模型训练和维护的成本较大的问题。

本发明实施例提供了一种异常行为检测方法，所述方法包括：

将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；

针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。

进一步地，根据所述交并比，确定该目标对象是否存在该异常行为之前，所述方法还包括：

确定该异常行为是显性异常行为，还是隐性异常行为；

如果该异常行为是显性异常行为，所述根据所述交并比，确定该目标对象是否存在该异常行为包括：

判断所述交并比是否大于预设的第一阈值，如果是，确定该目标对象存在该异常行为；

如果该异常行为是隐性异常行为，所述根据所述交并比，确定该目标对象是否存在该异常行为包括：

判断所述交并比是否大于预设的第二阈值，如果否，确定该目标对象存在该异常行为。

进一步地，所述显性异常行为包括：

接打电话、吸烟和远光灯开启；

所述隐性异常行为包括：

未系安全带。

进一步地，所述检测模型包括主网、检测子网和分类子网；

基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图包括：

基于所述检测模型中的主网，对所述第一图像进行卷积处理，确定第一基础特征图，将所述第一基础特征图输入所述检测模型中的检测子网；基于所述检测模型中的检测子网，对所述第一基础特征图进行卷积处理，确定第一特征图；

所述确定该目标对象存在该异常行为之前，所述方法还包括：

将所述第一基础特征图输入所述检测模型的分类子网，并将所述第一特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第一特征图和所述第一基础特征图进行处理，确定该目标对象存在该异常行为的置信度；判断所述置信度是否大于预设的第三阈值，如果是，进行后续步骤。

进一步地，确定该目标对象存在该异常行为之后，所述方法还包括：

输出该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息。

进一步地，预先训练检测模型的过程包括：

获取训练图像集中的每个第二图像，针对所述每个第二图像，将该第二图像和该第二图像对应的标定图像输入到检测模型；其中，所述标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息；

基于检测模型的主网，确定第二基础特征图，将所述第二基础特征图分别输入所述检测模型的检测子网和分类子网；

基于所述检测子网，对所述第二基础特征图进行卷积处理，确定第五特征图，以及所述第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，并将所述第五特征图输入所述分类子网；

基于所述分类子网中的卷积层和全连接层，对所述第五特征图和所述第二基础特征图进行处理，确定该目标对象存在该异常行为的置信度；

针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对所述第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

另一方面，本发明实施例提供了一种异常行为检测装置，所述装置包括：

第一确定模块，用于将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；

第二确定模块，用于针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。

进一步地，所述装置还包括：

第三确定模块，用于确定该异常行为是显性异常行为，还是隐性异常行为；

如果该异常行为是显性异常行为，所述第二确定模块，具体用于判断所述交并比是否大于预设的第一阈值，如果是，确定该目标对象存在该异常行为；

如果该异常行为是隐性异常行为，所述第二确定模块，具体用于判断所述交并比是否大于预设的第二阈值，如果否，确定该目标对象存在该异常行为。

进一步地，所述显性异常行为包括：

接打电话、吸烟和远光灯开启；

所述隐性异常行为包括：

未系安全带。

进一步地，所述检测模型包括主网、检测子网和分类子网；

所述第一确定模块，具体用于基于所述检测模型中的主网，对所述第一图像进行卷积处理，确定第一基础特征图，将所述第一基础特征图输入所述检测模型中的检测子网；基于所述检测模型中的检测子网，对所述第一基础特征图进行卷积处理，确定第一特征图；

所述装置还包括：

判断模块，用于将所述第一基础特征图输入所述检测模型的分类子网，并将所述第一特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第一特征图和所述第一基础特征图进行处理，确定该目标对象存在该异常行为的置信度；判断所述置信度是否大于预设的第三阈值，如果是，触发第二确定模块。

进一步地，所述装置还包括：

输出模块，用于输出该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息。

进一步地，所述装置还包括：

训练模块，用于获取训练图像集中的每个第二图像，针对所述每个第二图像，将该第二图像和该第二图像对应的标定图像输入到检测模型；其中，所述标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息；基于检测模型的主网，确定第二基础特征图，将所述第二基础特征图分别输入所述检测模型的检测子网和分类子网；基于所述检测子网，对所述第二基础特征图进行卷积处理，确定第五特征图，以及所述第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，并将所述第五特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第五特征图和所述第二基础特征图进行处理，确定该目标对象存在该异常行为的置信度；针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对所述第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

本发明实施例提供了一种异常行为检测方法及装置，所述方法包括：将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。

由于在本发明实施例中，基于检测模型确定第一特征图，并确定第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。本发明实施例提供的异常行为检测方法，基于一个检测模型来实现，将图像输入到检测模型中，经过一次的特征提取便可以输出是否存在异常行为的检测结果，因此不存在重复的特征提取，节约了检测资源，而且，针对不同的目标对象，以及不同的异常行为，都可以基于本案的检测模型进行检测，不需要训练多个模型，因此降低了模型训练和维护的成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1提供的一种异常行为检测过程示意图；

图2为本发明实施例3提供的检测模型结构示意图；

图3为本发明实施例3提供的异常行为检测流程图；

图4为本发明实施例提供的异常行为检测装置结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

图1为本发明实施例提供的一种异常行为检测过程示意图，该过程包括以下步骤：

S101：将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息。

本发明实施例提供的异常行为检测方法应用于电子设备，该电子设备可以是PC、个人电脑等设备，也可以是图像采集设备。

安装在路口的卡口设备可以获取经过该路口的车辆视频信息，利用车辆检测器可以获取视频中的车辆图像，如果需要检测车窗内驾驶员或副驾驶员的异常行为，例如驾驶员未系安全带，驾驶员打电话等，则需要截取车辆图像中的车窗部分图像，该车窗部分图像即为待检测的第一图像；如果需要检测车辆的异常行为，例如开远光灯，则直接将车辆图像作为待检测的第一图像。其中，获取待检测的第一图像的过程属于现有技术，在此不再对该过程进行赘述。

电子设备中保存有预先训练完成的检测模型，电子设备获取到待检测的第一图像后，将该第一图像输入到检测模型中，检测模型中包括多个卷积层，基于检测模型中的卷积层可以对第一图像进行卷积处理，可以确定出第一特征图，该第一特征图中包含每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息。

其中，目标对象包括驾驶员、副驾驶员、车灯等，异常行为包括接打电话、吸烟、未系安全带和远光灯开启等。检测框可以是矩形检测框，检测框的位置信息可以是在图像坐标系中检测框的四个顶点的坐标信息，也可以是检测框的一个顶点的坐标信息和检测框的长度和宽度。在本发明实施例中不对检测框的位置信息进行具体限定，只要能够标示出检测框在第一图像中的位置区域即可。

S102：针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。

基于检测模型，在确定第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息时，针对每个目标对象，该目标对象的检测框可能有多个，针对每个异常行为，该异常行为的检测框也可能有多个。针对该目标对象的每个检测框，以及该异常行为的每个检测框，可以确定该检测框相对于检测模型的预设锚点的坐标偏移量和响应值，将响应值小于预设的响应阈值的检测框滤除，针对剩余的检测框，按照类别进行非极大值抑制处理，可以得到该目标对象的检测框和该异常行为的检测框。

针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，可以确定出该目标对象和该异常行为的检测框的交并比。根据交并比，可以确定该目标对象是否存在该异常行为。例如，检测模型中可以预设一个交并比阈值，如果该交并比大于预设的交并比阈值，则确定该目标对象存在该异常行为；或者检测模型中可以预设一个交并比阈值范围，如果该交并比在预设的交并比范围内，则确定该目标对象存在该异常行为，否则确定该目标对象不存在该异常行为。

例如，目标对象为驾驶员，异常行为为接打电话，驾驶员检测框与接打电话检测框的交并比大于预设的交并比阈值，则确定驾驶员在接打电话；或者驾驶员检测框与接打电话检测框的交并比在预设的交并比范围内，则确定驾驶员在接打电话，否则确定驾驶员未接打电话。

由于在本发明实施例中，基于检测模型确定第一特征图，并确定第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。本发明实施例提供的异常行为检测方法，基于一个检测模型来实现，将图像输入到检测模型中，经过一次的特征提取便可以输出是否存在异常行为的检测结果，因此不存在重复的特征提取，节约了检测资源，而且，针对不同的目标对象，以及不同的异常行为，都可以基于本案的检测模型进行检测，不需要训练多个模型，因此降低了模型训练和维护的成本。

实施例2：

为了使确定目标对象是否存在异常行为更准确，在上述实施例的基础上，在本发明实施例中，根据所述交并比，确定该目标对象是否存在该异常行为之前，所述方法还包括：

确定该异常行为是显性异常行为，还是隐性异常行为；

如果该异常行为是显性异常行为，所述根据所述交并比，确定该目标对象是否存在该异常行为包括：

判断所述交并比是否大于预设的第一阈值，如果是，确定该目标对象存在该异常行为；

如果该异常行为是隐性异常行为，所述根据所述交并比，确定该目标对象是否存在该异常行为包括：

判断所述交并比是否大于预设的第二阈值，如果否，确定该目标对象存在该异常行为。

针对每个目标对象和每个异常行为，检测模型在确定该目标对象是否存在该异常行为之前，还可以判断该异常行为是显性异常行为，还是隐性异常行为。其中，所述显性异常行为包括：接打电话、吸烟和远光灯开启；所述隐性异常行为包括：未系安全带。

检测模型中可以预设第一阈值，如果该异常行为是显性异常行为，则判断该目标对象与该异常行为的检测框的交并比是否大于预设的第一阈值，如果是，则确定该目标对象存在该异常行为。检测模型中可以预设第二阈值，如果该异常行为是隐性异常行为，则判断该目标对象与该异常行为的检测框的交并比是否大于预设的第二阈值，如果否，则确定该目标对象存在该异常行为。否则，确定该目标对象不存在该异常行为。其中，预设的第一阈值和预设的第二阈值可以相同也可以不同。

例如，在检测驾驶员是否接打电话时，由于接打电话为显性异常行为，因此判断驾驶员的检测框和接打电话的检测框的交并比是否大于预设的第一阈值，如果是，确定驾驶员在接打电话，否则确定驾驶员没有接打电话。再例如，在检测驾驶员是否系安全带时，由于未系安全带为隐性异常行为，因此判断驾驶员的检测框和安全带的检测框的交并比是否大于预设的第二阈值，如果否，确定驾驶员未系安全带，否则确定驾驶员系安全带。

由于在本发明实施例中，结合异常行为为显性还是隐形，以及检测框交并比与预设阈值的大小关系，来确定目标对象是否存在异常行为，具体的，如果该异常行为是显性异常行为，交并比大于预设的第一阈值，确定该目标对象存在该异常行为，否则确定该目标对象不存在该异常行为；如果该异常行为是隐性异常行为，交并比不大于预设的第二阈值，确定该目标对象存在该异常行为，否则确定该目标对象不存在该异常行为。因此，确定该目标对象是否存在该异常行为更准确。

实施例3：

在上述各实施例的基础上，在本发明实施例中，所述检测模型包括主网、检测子网和分类子网；

基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图包括：

基于所述检测模型中的主网，对所述第一图像进行卷积处理，确定第一基础特征图，将所述第一基础特征图输入所述检测模型中的检测子网；基于所述检测模型中的检测子网，对所述第一基础特征图进行卷积处理，确定第一特征图；

所述确定该目标对象存在该异常行为之前，所述方法还包括：

将所述第一基础特征图输入所述检测模型的分类子网，并将所述第一特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第一特征图和所述第一基础特征图进行处理，确定该目标对象存在该异常行为的置信度；判断所述置信度是否大于预设的第三阈值，如果是，进行后续步骤。

图2为本发明实施例提供的检测模型结构示意图，检测模型包括主网、检测子网和分类子网。车窗图片输入到主网，主网中包括多个卷积层Conv，在图2中，检测子网中包括2个卷积层Conv，检测子网可以输出对应的检测结果。在图2中，分类子网中包括2个卷积层Conv和多个全连接层fc，每个全连接层对应一个属性，该属性为接打电话、吸烟、远光灯开启、未系安全带等等。

图3为本发明实施例提供的异常行为检测流程图。

待检测的第一图像输入到检测模型中的主网，基于检测模型中的主网，对第一图像进行卷积处理，确定第一基础特征图。其中，确定第一基础特征图的过程属于现有技术，在此不再对该过程进行赘述。主网将第一基础特征图分别输入到检测子网和分类子网。检测子网和分类子网中都包括多个卷积层，图2中示出了检测子网和分类子网中分别包括两个卷积层，但并不对卷积层数量进行限定。

检测子网对第一基础特征图进行两次卷积处理，得到第一特征图，并将第一特征图输入到分类子网。分类子网首先对第一基础特征图进行一次卷积处理，然后将卷积处理后的第一基础特征图和第一特征图进行融合。其中，卷积处理后的第一基础特征图和第一特征图分辨率相同，将卷积处理后的第一基础特征图和第一特征图对应像素点的像素值相加，得到融合后的特征图，并对融合后的特征图进行卷积处理，得到待输入到全连接层的特征图。为了保证全连接层的处理效果，可以使待输入到全连接层的特征图的面积小于64。

分类子网中包含多个分支，每个分支采用全连接层，并且一个分支对应一个异常行为，例如分类子网中包含5个分支，每个分支分别用于检测驾驶员是否系安全带，检测驾驶员是否接打电话，检测驾驶员是否吸烟，检测副驾驶员是否系安全带，检测远光灯是否开启。

将待输入到全连接层的特征图分别输入到分类子网中的每个分支，每个分支基于全连接层可以输出各个属性项的预测值，对于是否系安全带，属性项包括是，否和无法辨认；对于其他异常行为，属性项包括是和否。针对每个分支得到的预测值进行Softmax计算，得到该分支对应的目标对象存在异常行为的置信度。

检测模型中预设有第三阈值，针对每个目标对象和每个异常行为，如果基于检测子网确定该目标对象存在该异常行为，并且基于分类子网确定该目标对象存在该异常行为的置信度大于预设的第三阈值，则确定该目标对象存在该异常行为。

在本发明实施例中，由于将检测子网得到的第一特征图输入到分类子网，使检测子网和分类子网两个子任务在异常行为的检测上有更好的一致性。并且，针对每个目标对象和每个异常行为，如果基于检测子网确定该目标对象存在该异常行为，并且基于分类子网确定该目标对象存在该异常行为的置信度大于预设的第三阈值，确定该目标对象存在该异常行为。因此使确定该目标对象存在该异常行为更准确。

实施例4：

为了方便用户能够利用检测模型输出的检测结果，在上述各实施例的基础上，在本发明实施例中，确定该目标对象存在该异常行为之后，所述方法还包括：

输出该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息。

电子设备在确定该目标对象存在该异常行为之后，可以将该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息输出在显示屏上，用户可以直观的在显示屏上看到存在的异常行为，为用户取证和人工确认提供了方便。

实施例5：

在上述各实施例的基础上，在本发明实施例中，预先训练检测模型的过程包括：

获取训练图像集中的每个第二图像，针对所述每个第二图像，将该第二图像和该第二图像对应的标定图像输入到检测模型；其中，所述标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息；

基于检测模型的主网，确定第二基础特征图，将所述第二基础特征图分别输入所述检测模型的检测子网和分类子网；

基于所述检测子网，对所述第二基础特征图进行卷积处理，确定第五特征图，以及所述第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，并将所述第五特征图输入所述分类子网；

基于所述分类子网中的卷积层和全连接层，对所述第五特征图和所述第二基础特征图进行处理，确定该目标对象存在该异常行为的置信度；

针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对所述第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

电子设备中保存有训练图像集，在保存训练图像集时，如果需要检测车窗内驾驶员或副驾驶员的异常行为，例如驾驶员未系安全带，驾驶员打电话等，在获取一定数量的车辆图像后，截取车辆图像中的车窗部分图像，并随机对车窗部分图像进行水平翻转、对比度和亮度调整、颜色偏移、小角度旋转、尺度缩放、位置偏移，实现对车窗部分图像的增广，然后采用固定尺寸的窗口，随机截取增广后的车窗部分图像，得到训练图像集。如果需要检测车辆的异常行为，例如开远光灯，则直接对获取的一定数量的车辆图像进行水平翻转、对比度和亮度调整、颜色偏移、小角度旋转、尺度缩放、位置偏移，实现对车辆图像的增广，然后采用固定尺寸的窗口，随机截取增广后的车辆图像，得到训练图像集。

针对训练图像集中的每个第二图像，保存有该第二图像对应的标定图像，标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息。对于车窗部分图像，标定的目标对象可以是主驾驶员、副驾驶员、年检标签、挂件、遮阳板、纸巾盒、摆件等，异常行为可以是打电话、吸烟、未系安全带等。对于车辆图像，标定的目标对象可以是车牌、车窗、天窗、车标、车灯区，异常行为可以是远光灯开启。该目标对象是否存在该异常行为的标识信息可以是，数字1代表该目标对象存在该异常行为，数字0代表该目标对象不存在该异常行为，或者其他的标识信息，例如字母，只要能够标识出该目标对象存在该异常行为，还是不存在该异常行为即可。

针对训练图像集中的每个第二图像，将该第二图像和对应的标定图像输入到检测模型，检测模型的主网对第二图像进行卷积处理，确定第二基础特征图，并将第二基础特征图分别输入检测模型的检测子网和分类子网。基于检测子网，对第二基础特征图进行卷积处理，确定第五特征图，并确定第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，然后将第五特征图输入分类子网；基于分类子网中的卷积层和全连接层对第五特征图和第二基础特征图进行处理。

具体的，检测子网对第二基础特征图进行卷积处理，并将卷积处理后的第二基础特征图输入到分类子网。分类子网首先对第二基础特征图进行卷积处理，然后将卷积处理后的第二基础特征图和检测子网输出的特征图进行融合。其中，卷积处理后的第二基础特征图和检测子网输出的特征图分辨率相同，将卷积处理后的第二基础特征图和检测子网输出的特征图对应像素点的像素值相加，得到融合后的特征图，并对融合后的特征图进行卷积处理，得到待输入到全连接层的特征图。

将待输入到全连接层的特征图分别输入到分类子网中的每个分支，每个分支基于全连接层可以输出各个属性项的预测值，对于是否系安全带，属性项包括是，否和无法辨认；对于其他异常行为，属性项包括是和否。针对每个分支得到的预测值进行Softmax计算，得到该分支对应的目标对象存在异常行为的置信度。

针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

在本发明实施例提供中，可以采用小批量随机梯度下降的方法训练检测模型，当然也可以采用其他的模型训练方法进行训练，在此不进行限定。

图4为本发明实施例提供的异常行为检测装置结构示意图，所述装置包括：

第一确定模块41，用于将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；

第二确定模块42，用于针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。

所述装置还包括：

第三确定模块43，用于确定该异常行为是显性异常行为，还是隐性异常行为；

如果该异常行为是显性异常行为，所述第二确定模块42，具体用于判断所述交并比是否大于预设的第一阈值，如果是，确定该目标对象存在该异常行为；

如果该异常行为是隐性异常行为，所述第二确定模块42，具体用于判断所述交并比是否大于预设的第二阈值，如果否，确定该目标对象存在该异常行为。

所述显性异常行为包括：

接打电话、吸烟和远光灯开启；

所述隐性异常行为包括：

未系安全带。

所述检测模型包括主网、检测子网和分类子网；

所述第一确定模块41，具体用于基于所述检测模型中的主网，对所述第一图像进行卷积处理，确定第一基础特征图，将所述第一基础特征图输入所述检测模型中的检测子网；基于所述检测模型中的检测子网，对所述第一基础特征图进行卷积处理，确定第一特征图；

所述装置还包括：

判断模块44，用于将所述第一基础特征图输入所述检测模型的分类子网，并将所述第一特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第一特征图和所述第一基础特征图进行处理，确定该目标对象存在该异常行为的置信度；判断所述置信度是否大于预设的第三阈值，如果是，触发第二确定模块42。

所述装置还包括：

输出模块45，用于输出该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息。

所述装置还包括：

训练模块46，用于获取训练图像集中的每个第二图像，针对所述每个第二图像，将该第二图像和该第二图像对应的标定图像输入到检测模型；其中，所述标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息；基于检测模型的主网，确定第二基础特征图，将所述第二基础特征图分别输入所述检测模型的检测子网和分类子网；基于所述检测子网，对所述第二基础特征图进行卷积处理，确定第五特征图，以及所述第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，并将所述第五特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第五特征图和所述第二基础特征图进行处理，确定该目标对象存在该异常行为的置信度；针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对所述第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

本发明实施例提供了一种异常行为检测方法及装置，所述方法包括：将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。

由于在本发明实施例中，基于检测模型确定第一特征图，并确定第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为。本发明实施例提供的异常行为检测方法，基于一个检测模型来实现，将图像输入到检测模型中，经过一次的特征提取便可以输出是否存在异常行为的检测结果，因此不存在重复的特征提取，节约了检测资源，而且，针对不同的目标对象，以及不同的异常行为，都可以基于本案的检测模型进行检测，不需要训练多个模型，因此降低了模型训练和维护的成本。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种异常行为检测方法，其特征在于，所述方法包括：

将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；

针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为；

根据所述交并比，确定该目标对象是否存在该异常行为之前，所述方法还包括：

确定该异常行为是显性异常行为，还是隐性异常行为；

如果该异常行为是显性异常行为，所述根据所述交并比，确定该目标对象是否存在该异常行为包括：

判断所述交并比是否大于预设的第一阈值，如果是，确定该目标对象存在该异常行为；

如果该异常行为是隐性异常行为，所述根据所述交并比，确定该目标对象是否存在该异常行为包括：

判断所述交并比是否大于预设的第二阈值，如果否，确定该目标对象存在该异常行为；

所述显性异常行为包括：

接打电话、吸烟和远光灯开启；

所述隐性异常行为包括：

未系安全带。

2.如权利要求1所述的方法，其特征在于，所述检测模型包括主网、检测子网和分类子网；

基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图包括：

基于所述检测模型中的主网，对所述第一图像进行卷积处理，确定第一基础特征图，将所述第一基础特征图输入所述检测模型中的检测子网；基于所述检测模型中的检测子网，对所述第一基础特征图进行卷积处理，确定第一特征图；

所述确定该目标对象存在该异常行为之前，所述方法还包括：

将所述第一基础特征图输入所述检测模型的分类子网，并将所述第一特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第一特征图和所述第一基础特征图进行处理，确定该目标对象存在该异常行为的置信度；判断所述置信度是否大于预设的第三阈值，如果是，进行后续步骤。

3.如权利要求1所述的方法，其特征在于，确定该目标对象存在该异常行为之后，所述方法还包括：

输出该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息。

4.如权利要求2所述的方法，其特征在于，预先训练检测模型的过程包括：

获取训练图像集中的每个第二图像，针对所述每个第二图像，将该第二图像和该第二图像对应的标定图像输入到检测模型；其中，所述标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息；

基于检测模型的主网，确定第二基础特征图，将所述第二基础特征图分别输入所述检测模型的检测子网和分类子网；

基于所述检测子网，对所述第二基础特征图进行卷积处理，确定第五特征图，以及所述第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，并将所述第五特征图输入所述分类子网；

基于所述分类子网中的卷积层和全连接层，对所述第五特征图和所述第二基础特征图进行处理，确定该目标对象存在该异常行为的置信度；

针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对所述第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

5.一种异常行为检测装置，其特征在于，所述装置包括：

第一确定模块，用于将获取到的待检测的第一图像输入预先训练完成的检测模型中，基于所述检测模型，对所述第一图像进行卷积处理，确定第一特征图；并确定所述第一特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息；

第二确定模块，用于针对每个目标对象和每个异常行为，根据该目标对象的检测框的位置信息和该异常行为的检测框的位置信息，确定该目标对象和该异常行为的检测框的交并比，根据所述交并比，确定该目标对象是否存在该异常行为；

所述装置还包括：

第三确定模块，用于确定该异常行为是显性异常行为，还是隐性异常行为；

如果该异常行为是显性异常行为，所述第二确定模块，具体用于判断所述交并比是否大于预设的第一阈值，如果是，确定该目标对象存在该异常行为；

如果该异常行为是隐性异常行为，所述第二确定模块，具体用于判断所述交并比是否大于预设的第二阈值，如果否，确定该目标对象存在该异常行为；

所述显性异常行为包括：

接打电话、吸烟和远光灯开启；

所述隐性异常行为包括：

未系安全带。

6.如权利要求5所述的装置，其特征在于，所述检测模型包括主网、检测子网和分类子网；

所述第一确定模块，具体用于基于所述检测模型中的主网，对所述第一图像进行卷积处理，确定第一基础特征图，将所述第一基础特征图输入所述检测模型中的检测子网；基于所述检测模型中的检测子网，对所述第一基础特征图进行卷积处理，确定第一特征图；

所述装置还包括：

判断模块，用于将所述第一基础特征图输入所述检测模型的分类子网，并将所述第一特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第一特征图和所述第一基础特征图进行处理，确定该目标对象存在该异常行为的置信度；判断所述置信度是否大于预设的第三阈值，如果是，触发第二确定模块。

7.如权利要求5所述的装置，其特征在于，所述装置还包括：

输出模块，用于输出该目标对象的检测框的位置信息，以及该异常行为的检测框的位置信息。

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

训练模块，用于获取训练图像集中的每个第二图像，针对所述每个第二图像，将该第二图像和该第二图像对应的标定图像输入到检测模型；其中，所述标定图像中包括每个目标对象的检测框的位置信息，每个异常行为的检测框的位置信息，以及针对每个目标对象和每个异常行为，该目标对象是否存在该异常行为的标识信息；基于检测模型的主网，确定第二基础特征图，将所述第二基础特征图分别输入所述检测模型的检测子网和分类子网；基于所述检测子网，对所述第二基础特征图进行卷积处理，确定第五特征图，以及所述第五特征图中每个目标对象的检测框的位置信息，以及每个异常行为的检测框的位置信息，并将所述第五特征图输入所述分类子网；基于所述分类子网中的卷积层和全连接层，对所述第五特征图和所述第二基础特征图进行处理，确定该目标对象存在该异常行为的置信度；针对每个目标对象和每个异常行为，确定该目标对象的检测框与该异常行为的检测框的交并比，根据该目标对象的检测框与该异常行为的检测框的交并比，该目标对象存在该异常行为的置信度，以及针对所述第二图像对应的标定图像，确定的该目标对象的检测框与该异常行为的检测框的交并比，以及所述标定图像中该目标对象是否存在该异常行为的标识信息，对所述检测模型进行训练。

Images