CN109886209A - 异常行为检测方法及装置、车载设备 - Google Patents

Abstract

本申请涉及深度学习技术领域，提供一种异常行为检测方法及装置、车载设备。其中，异常行为检测方法包括：获取包含车辆驾驶人员的待检测图像；确定待检测图像中车辆驾驶人员的人脸区域，并将包含人脸区域的人脸图像输入至第一神经网络模型进行特征提取；将待检测图像输入至第二神经网络模型进行特征提取；对第一神经网络模型输出的特征以及第二神经网络模型输出的特征进行融合，并根据融合后的特征确定车辆驾驶人员的行为的类别。上述方法在进行异常行为检测时，既考虑了车辆驾驶人员的局部特征，又考虑了车辆驾驶人员的全局特征，从而方法对于复杂的光照环境具有良好的鲁棒性，对异常行为检测的准确率较高，有利于避免交通事故的发生。

Description

异常行为检测方法及装置、车载设备

技术领域

本申请涉及深度学习技术领域，具体而言，涉及一种异常行为检测方法及装置、车载设备。

背景技术

随着社会的发展，汽车在生活中占的比重越来越大。对影响驾驶人员驾驶的异常行为进行检测并在检测到异常行为后进行预警，能够从驾驶人员的角度实现对交通事故进行预防和控制，具有重要的研究意义。尽管近年来国内外对异常行为检测的研究取得了重要进展，但由于车内环境光照不均匀，现有的异常行为检测方法准确度较差。

发明内容

有鉴于此，本申请实施例提供一种异常行为检测方法及装置、车载设备，在检测异常行为时同时考虑车辆驾驶人员的局部特征和全局特征，改善了方法对于复杂光照环境的鲁棒性。为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种异常行为检测方法，包括：

获取包含车辆驾驶人员的待检测图像；

确定所述待检测图像中所述车辆驾驶人员的人脸区域，并将包含所述人脸区域的人脸图像输入至第一神经网络模型进行特征提取；

将所述待检测图像输入至第二神经网络模型进行特征提取；

对所述第一神经网络模型输出的特征以及所述第二神经网络模型输出的特征进行融合，并根据融合后的特征确定所述车辆驾驶人员的行为的类别，所述车辆驾驶人员的行为的类别包括正常驾驶行为以及至少一种异常驾驶行为。

上述方法在进行特征提取时，既提取了车辆驾驶人员的局部特征(人脸图像的特征)，又提取了车辆驾驶人员的全局特征(待检测图像的特征)，在对于车辆驾驶人员的行为的分类时，根据上述两种特征融合后的特征进行分类。相当于既考虑了车内整体的光照环境，又考虑了容易发生异常行为的局部区域内的光照环境，因此方法对于复杂的光照环境具有良好的鲁棒性，对异常行为检测的准确率较高，有利于避免交通事故的发生。

其中，驾驶人员在驾驶时主要依赖于视觉观察，因此将人脸区域作为重点关注的可能发生异常行为的局部区域是合理的。车辆驾驶人员的行为的类别中包括至少一种异常驾驶行为，因此在确定分类的同时也实现了异常行为的检测。

在第一方面的一些实施例中，在所述将包含所述人脸区域的人脸图像输入至第一神经网络模型进行特征提取之前，所述方法还包括：

在所述待检测图像中对所述人脸区域进行扩张，所述人脸图像为扩张后的区域对应的图像。

一些异常驾驶行为，例如在驾驶时打电话，电话的位置可能在人脸附近，如果只提取人脸区域的特征，可能导致检测效果不佳，对人脸区域扩张后，则可以将电话也包含到人脸图像中，从而改善异常行为的检测效果。

在第一方面的一些实施例中，所述待检测图像为红外摄像头采集的灰度图像。

普通摄像头采集的图像易受光照影响，特别是夜间可能无法获得可分辨的图像，而红外摄像头采集的灰度图像则受光照影响较小。

在第一方面的一些实施例中，所述对所述第一神经网络模型输出的特征以及所述第二神经网络模型输出的特征进行融合，包括：

计算表示所述第一神经网络模型输出的特征的向量与表示所述第二神经网络模型输出的特征的向量的外积，将所述外积对应的向量确定为所述融合后的特征。

计算两个向量的外积，能够将向量中不同维度的特征进行充分组合，有利于特征的深度融合，进而获得更好的检测效果。

在第一方面的一些实施例中，所述异常驾驶行为包括驾驶时抽烟、驾驶时打电话以及驾驶时喝水。

在第一方面的一些实施例中，所述第一神经网络模型和/或所述第二神经网络性包括依次连接的：至少一个第一卷积层、全局平均池化层、至少一个第一卷积模块、至少一个第二卷积层以及全连接层，其中所述第一卷积模块为利用逐点卷积以及深度可分离卷积进行特征提取的神经网络单元。

这些实施例中的全局平均池化能够通过减少模型中的参数数量来降低模型在训练时发生过拟合的可能性。而采用深度可分离卷积和逐点卷积同样有利于减少模型中参数的数量，从而加快模型的运算速度。

在第一方面的一些实施例中，所述第一卷积模块包括依次连接的：第二卷积模块、拼接层以及通道交换层；

其中，所述第二卷积模块包括第一特征提取分支以及第二特征提取分支，所述第一特征提取分支包括依次连接的第一逐点卷积层、第一深度可分离卷积层以及第二逐点卷积层，所述第二特征提取分支包括依次连接的第二深度可分离卷积层以及第三逐点卷积层，所述第一深度可分离卷积层以及所述第二深度可分离卷积层均采用分组的深度可分离卷积，所述第一特征提取分支以及所述第二特征提取分支分别用于对输入所述第一卷积模块的特征进行进一步特征提取；

所述拼接层用于拼接所述第一特征提取分支输出的特征以及所述第二特征提取分支输出的特征，并输出拼接后的特征；

所述通道交换层用于交换所述拼接后的特征中各分组所包含的通道，其中，所述分组是所述第二卷积模块在利用分组的深度可分离卷积进行特征提取时形成的。

设置两个不同的特征提取分支可以提取更多的特征，改善后续的异常行为检测结果。设置通道交换层则使得在通道交换后，每个分组内能包含更多的信息，使得后续的特征提取能提取到更多有价值的特征，同样有利于改善后续的异常行为检测结果。

在第一方面的一些实施例中，所述获取包含车辆驾驶人员的待检测图像，包括：

从包含所述车辆驾驶人员的视频数据中，每间隔预设帧数抽取一帧图像作为所述待检测图像。

在一些计算资源有限的环境中，逐帧处理比较困难，采取抽帧的方式可以节约计算资源，并且由于车辆驾驶人员的行为通常是连续的，会持续一段时间，因此采取抽帧的方式同样能够有效检测到异常驾驶行为。

在第一方面的一些实施例中，在所述获取包含车辆驾驶人员的待检测图像之前，所述方法还包括：

利用训练集中的训练图像训练所述第一神经网络模型以及所述第二神经网络模型。

模型的训练和模型的使用可以在同一设备上，也可以在不同的设备上。例如，可以在高性能的服务器上训练模型，然后将模型部署到车载设备上。

在第一方面的一些实施例中，所述训练图像中包含攻击图像，所述攻击图像是指指满足如下条件的图像：图像中的所述车辆驾驶人员的行为与所述异常驾驶行为类似，但属于所述正常驾驶行为。

在训练时采用了攻击图像，从而训练好的模型能够有效区分异常驾驶行为和类似于异常驾驶行为的正常驾驶行为，减少误检的情况。

在第一方面的一些实施例中，所述利用训练集中的训练图像训练所述第一神经网络模型以及所述第二神经网络模型，包括：

对所述训练图像进行增广处理后获得增广图像，利用增广图像训练所述第一神经网络模型以及所述第二神经网络模型。

由于成本等原因的限制，训练图像可能数量有限，并且也难以覆盖大量的场景，对训练图像进行增广，可以增加训练图像的数量，并且覆盖更多的场景，有利于改善模型的鲁棒性，提高其预测精度。

在第一方面的一些实施例中，所述对所述训练图像进行数据增广处理后获得增广图像，包括以下至少一种：

对所述训练图像进行翻转，并将翻转后的图像确定为所述增广图像；

对所述训练图像进行旋转，并将旋转后的图像确定为所述增广图像；

对所述训练图像进行尺度变换，并将变换后的图像确定为所述增广图像；

从所述训练图像中随机选取一个图像区域，并将所述图像区域对应的图像确定为所述增广图像。

在第一方面的一些实施例中，在所述利用训练集中的训练图像训练所述第一神经网络模型以及所述第二神经网络模型之后，所述方法还包括：

对训练好的所述第一神经网络模型以及所述第二神经网络模型的模型参数进行量化。

参数量化后，模型的精度有所降低，但采用一些较好的量化方法，这种精度的损失非常有限，而带来的是模型运算速度的大幅提高以及模型占用存储空间的显著下降，使得模型能够部署于一些计算存储资源有限的环境中，例如部署在嵌入式的车载设备上，支持实时的异常行为检测，有利于及时发现车辆驾驶人员的异常驾驶行为，避免交通事故的发生。

第二方面，本申请实施例提供一种异常行为检测装置，包括：

图像获取模块，用于获取包含车辆驾驶人员的待检测图像；

第一特征提取模块，用于确定所述待检测图像中所述车辆驾驶人员的人脸区域，并将包含所述人脸区域的人脸图像输入至第一神经网络模型进行特征提取；

第二特征提取模块，用于将所述待检测图像输入至第二神经网络模型进行特征提取；

异常检测模块，用于对所述第一神经网络模型输出的特征以及所述第二神经网络模型输出的特征进行融合，并根据融合后的特征确定所述车辆驾驶人员的行为的类别，所述车辆驾驶人员的行为的类别包括正常驾驶行为以及至少一种异常驾驶行为。

第三方面，本申请实施例提供一种车载设备，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一个可能的实施例提供的方法的步骤。

在第三方面的一些实施例中，所述设备还包括：用于采集待检测图像的红外摄像头。

在第三方面的一些实施例中，所述设备为嵌入式设备。

嵌入式设备具有体积小、功耗低的特点，适合于车载并安装在不影响车辆功能的位置，可以实现异常驾驶行为的实时检测。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一个可能的实施例提供的方法的步骤。

为使本申请的上述目的、技术方案和有益效果能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种可应用于本申请实施例中的车载设备的结构示意图。

图2示出了本申请实施例提供的一种异常行为检测方法的流程图；

图3示出了本申请实施例提供的异常行为检测方法的工作原理图；

图4示出了第一神经网络模型和/或第二神经网络模型的一种可能的结构示意图；

图5示出了第一卷积模块的一种可能的结构图；

图6示出了本申请实施例提供的一种异常行为检测装置的功能模块图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于将一个实体或者操作与另一个实体或操作区分开来，而不能理解为指示或暗示相对重要性，也不能理解为要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请实施例提供一种车载设备100，如图1所示。参照图1，车载设备100包括一个或多个(图中仅示出一个)处理器110以及一个或多个(图中仅示出一个)存储器120，在一些实现方式中，还可能包括红外线摄像头130和/或输出设备140。这些组件通过总线系或信号线互连并相互通讯，图1中的箭头仅表示组件间一种可能的连接方式。

处理器110可以是一种具有数据处理能力和/或指令执行能力的处理单元。例如，可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、微控制单元(MicroController Unit，MCU)、网络处理器(Network Processor，NP)或者其他常规处理器；还可以是专用处理器，包括数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuits，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器110还可以控制车载设备100中的其他组件以执行期望的功能。

存储器120可以是各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)、高速缓冲存储器(Cache)等。非易失性存储器例如可以包括只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)、电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)、闪存(Flash)等。

在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器110可以读取并运行这些计算机程序指令，以实现本申请实施例提供的异常行为检测方法的步骤以及其他期望的功能。

红外摄像头130用于采集包含车辆驾驶人员的待检测图像，红外摄像头130采集的待检测图像为灰度图像。

输出设备140用于输出异常行为检测结果或者其他期望输出的信息，输出设备可以是显示器(以图形方式输出)、扬声器(以语音方式输出)、报警器(以声光报警信号方式输出)等设备。

可以理解，图1所示的结构仅为示意，车载设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

需要指出，图1中的部分组件，例如输出设备140，在一些实现方式中，也可以不属于车载设备100的一部分，比如车辆本身配置有中控显示屏，则车载设备100可以不必另外配置输出设备140，直接使用中控显示屏作为用于信息的输出。

车载设备100，顾名思义安装在车辆上，可以在车辆驾驶人员驾驶车辆的过程中获取包含车辆驾驶人员的待检测图像并进行异常行为的检测。这种检测可以是实时的，例如通过红外摄像头130不断采集待检测图像，并通过输出设备140实时输出检测结果，形成对车辆驾驶人员的实时反馈。当然也可以是非实时的，例如通过红外摄像头130不断采集待检测图像并将其保存至存储器120，在之后的某个时刻(例如驾驶结束时)由处理器110执行异常行为检测，将检测结果作为评价本次驾驶安全性的依据。总之，车载设备100具体的应用方式不作限定。

于本申请实施例中，车载设备100可以是，但不限于是嵌入式设备。嵌入式设备具有体积小、功耗低的特点，适合于车载并安装在不影响车辆功能的位置。

图2示出了本申请实施例提供的一种异常行为检测方法的流程图。在阐述时，以方法的步骤由图1中的车载设备100的处理器110执行为例，但这不应当视为对该方法的步骤的执行主体的限制。例如，方法的步骤也可以在一台普通的计算机的中央处理器上执行，待检测图像事先采集好并保存在计算机的硬盘上。参照图2，该方法包括：

步骤S10：获取包含车辆驾驶人员的待检测图像。

待检测图像可以通过设置在车内的摄像头进行采集，摄像头可以设置在车辆驾驶人员的正前方等能够拍摄到人脸的位置。在多数情况下，摄像头采集到的数据为视频数据，视频数据中的每一帧都可以作为待检测图像。

车载设备100可以对每一帧图像都进行异常行为检测，这种做法检测精度较高，但比较消耗计算资源，因此在一些计算资源有限的环境中，例如车载设备100是嵌入式设备的情况，其运算能力十分有限，也可以采取抽帧检测的做法。具体为，从包含车辆驾驶人员的视频数据中，每间隔预设帧数抽取一帧图像作为待检测图像。由于减少了单位时间内的待检测图像的数量，因此嵌入式设备也能够正常工作，有利于改善检测的实时性。并且，由于车辆驾驶人员的行为通常是在时间上是连续的，因此采取抽帧的方式所获取的待检测图像同样能够表征用户的行为，从而同样能够有效检测到异常驾驶行为。

上述摄像头可以是普通摄像头，用于采集彩色图像(如RGB图像)。但在外部光照环境变化时，彩色图像的内容易受环境变化的影响，例如在夜间，因曝光不足，普通的摄像头可能无法采集到可分辨的图像，进而将彩色图像作为待检测图像难以实现夜间驾驶时异常行为的检测。因此，在一些实现方式中，上述摄像头也可以是红外摄像头130，将红外摄像头采集灰度图像作为待检测图像，这样的灰度图像受光照影响相对较小，特别是在夜间也可保证图像质量，因此有利于改善异常行为检测的结果。

步骤S11：确定待检测图像中车辆驾驶人员的人脸区域，并将包含人脸区域的人脸图像输入至第一神经网络模型进行特征提取。

参照图3，本申请实施例提供的异常行为检测方法在对待检测图像进行特征提取时包括两个分支，图3中左边的分支对应步骤S11，右边的分支对应步骤S12，步骤S11以及步骤S12执行的先后顺序不作限定，可以先执行一个再执行另一个，也可以并行执行。

可以通过人脸检测确定车辆驾驶人员的面部在待检测图像中所在的位置，称为人脸区域，例如，大多数人脸检测算法都会输出一个待检测图像中的检测框作为检测结果，人脸区域就是该检测框所确定的矩形区域。具体采用何种人脸检测算法不作限定，例如可以采用，但不限于FaceRCNN、S3FD、SSH、PyramidBox等方法。

人脸图像是指包含人脸区域的图像，但并不一定仅包含人脸区域。在执行步骤S11之前，第一神经网络模型已经训练好，第一神经网络模型以人脸图像作为输入，输出提取到的人脸图像的特征。第一神经网络模型的结构不作限定，例如可以采用基于现有架构(如Vgg、ResNet、GoogleNet等)的卷积神经网络模型。

由于人脸图像对应于待检测图像中包含人脸的一部分，因此提取到的特征是车辆驾驶人员的局部特征。考虑到驾驶人员在驾驶时主要依赖于视觉观察，从而异常驾驶行为主要是指在驾驶过程中做出的影响视觉观察的行为，因此将人脸区域作为重点关注的可能发生异常行为的局部区域，并进行特征提取是合理的。可以理解的，如果希望能够有效检测发生在人体其他位置的异常驾驶行为，也可以提取这些位置所在的局部区域的特征。

在一些实现方式中，人脸图像就是待检测图像中的人脸区域所对应的图像，即检测到人脸区域后立即可以进行特征提取。对于部分异常驾驶行为，例如在驾驶时喝水，由于在喝水时容器通常会接触嘴巴，因此人脸区域中已经包含异常驾驶行为的动作，在此基础上进行特征提取，进而判断是否存在驾驶人员喝水的情况是合理的。

但对于另一部分异常驾驶行为，例如在驾驶时打电话，电话的位置可能在人脸附近，并未包含在检测到的人脸区域内，因此如果只提取人脸区域的特征，可能导致无法检测到此种异常驾驶行为。因此在另一些实现方式中，获得人脸区域后，可以对其进行适当扩张，例如按照预设的比例扩张，比如将人脸区域的面积扩张为原来的1.5倍，又例如可以按照预设的尺寸扩张，比如将人脸区域的边界向外延伸100个像素。人脸图像与扩张后的区域相对应，仍然以打电话的情况为例，扩张后的区域将有很大可能将电话包含在其中，从而在此基础上进行特征提取，进而判断是否存在驾驶人员打电话的情况是合理的，即有利于改善异常行为的检测效果。

步骤S12：将待检测图像输入至第二神经网络模型进行特征提取。

在执行步骤S12之前，第二神经网络模型已经训练好，第二神经网络模型以待检测图像作为输入，输出提取到的待检测图像的特征。第二神经网络模型的结构不作限定，例如可以采用基于现有架构(如Vgg、ResNet、GoogleNet等)的卷积神经网络模型。在一些比较简单的实现方式中，第二神经网络模型和第一神经网络模型可以采用相同的结构。对于待检测图像提取到的特征是车辆驾驶人员的全局特征。

步骤S13：对第一神经网络模型输出的特征以及第二神经网络模型输出的特征进行融合，并根据融合后的特征确定车辆驾驶人员的行为的类别。

特征融合可以采取不同的方式，例如拼接，求和(包括加权求和)等等。在一些实现方式中，对第一神经网络模型输出的特征以及第二神经网络模型输出的特征均采用向量表示，则融合后的特征也可以是一个向量，同时该向量定义为两个神经网络模型输出的特征向量的外积。

以三维空间中的外积为例，假设两个特征向量 则将l,m,n,o,p,q都视为提取到的特征，可见在外积对应的向量中，包括多个两两特征的组合(如mq,np等)，即两个特征向量进行了充分的融合，能够更好地表征待检测的对象，从而有利于获得更好的检测结果。对于特征向量是更高维度的情况，可作类似分析，不再具体阐述。

融合后的特征可以被输出至图3中的分类器，分类器会预测出待检测图像属于每种行为类别的置信度，进一步的，根据置信度的大小可以判断待检测图像属于哪种类别，即获得异常行为的检测结果。其中，车辆驾驶人员的行为的类别包括正常驾驶行为以及至少一种异常驾驶行为。例如，在一些实现方式中，异常驾驶行为包括驾驶时抽烟、驾驶时打电话以及驾驶时喝水三种行为类别，则分类器可以输出四种分类结果(正常驾驶行为以及上述三种异常驾驶行为)。又例如，在一些实现方式中，只检测驾驶时打电话这一种异常驾驶行为，其他异常驾驶行为不考虑，则分类器可以输出两种分类结果(正常驾驶行为以及驾驶时打电话)。图3中的分类器可以是，但不限于softmax分类器。

进一步的，若车载设备100包括输出设备140，则异常行为的检测结果可以被处理器110发送至输出设备140，对车辆驾驶人员进行提示，促使其意识到并改正自身的不当行为，避免发生交通事故。当然，发送到输出设备140的信息内容是不限定的，例如可以是具体的异常行为的类别，也可以只是一个模糊的类别(无论是那种异常驾驶行为都归为异常驾驶行为)，等等。

现有技术无法有效检测异常驾驶行为的主要原因是车内环境光照复杂，而本申请实施例提供的异常行为检测方法在进行特征提取时，既提取了车辆驾驶人员的局部特征(人脸图像的特征)，又提取了车辆驾驶人员的全局特征(待检测图像的特征)，在对于车辆驾驶人员的行为的分类时，根据上述两种特征融合后的特征进行分类。相当于既考虑了车内整体的光照环境，又考虑了容易发生异常行为的局部区域内的光照环境，因此方法对于复杂的光照环境具有良好的鲁棒性，对异常行为检测的准确率较高，有利于避免交通事故的发生。

图4示出了第一神经网络模型和/或第二神经网络模型的一种可能的结构示意图，即两个神经网络模型中的任意一个可以采取此种结构，或者两个神经网络模型都可以采用此种结构。

参照图4，该结构包括依次连接的至少一个第一卷积层(图中仅示出一个)、全局平均池化层、至少一个第一卷积模块(图中仅示出两个)、至少一个第二卷积层(图中仅示出一个)以及全连接层，其中第一卷积模块为利用逐点卷积以及深度可分离卷积进行特征提取的神经网络单元，该网络单元的具体结构不作限定，在图5中会给出一种可能的结构。

其中，全局平均池化能够通过减少模型中的参数数量来降低模型在训练时发生过拟合的可能性，从而最终提高异常行为检测的精度。而采用深度可分离卷积和逐点卷积同样有利于减少模型中参数的数量，从而加快模型的运算速度，有利于实现实时的异常行为检测，也有利于使模型能够更快地完成训练以及减少参数占用的存储空间。各层采用的超参数(如卷积层的卷积核尺寸、步长等)不作限定，可以根据需求进行设置。

参照图5，第一卷积模块的一种可能的结构包括依次连接的第二卷积模块、拼接层以及通道交换层。

其中，第二卷积模块进一步包括第一特征提取分支(图5中靠上的分支)以及第二特征提取分支(图5中靠下的分支)，第一特征提取分支包括依次连接的第一逐点卷积层、第一深度可分离卷积层以及第二逐点卷积层，第二特征提取分支包括依次连接的第二深度可分离卷积层以及第三逐点卷积层，第一深度可分离卷积层以及第二深度可分离卷积层均采用分组的深度可分离卷积(即先按通道分组再逐个分组计算深度可分离卷积)，第一特征提取分支以及第二特征提取分支分别用于对输入第一卷积模块的特征进行进一步特征提取，例如，对于图4而言，输入靠左的第一卷积模块的特征就全局平均池化层输出的特征。关于逐点卷积以及深度可分离卷积的优点在上面已经阐述，不再重复，而在进行深度可分离卷积之前进行分组则能够进一步降低运算量。各层采用的超参数不作限定，可以根据需求进行设置。设置两个不同的特征提取分支可以提取更多的特征，从而改善后续的异常行为检测结果。

拼接层用于拼接第一特征提取分支输出的特征以及第二特征提取分支输出的特征，并输出拼接后的特征。

通道交换层用于交换拼接后的特征中各分组所包含的通道。其中，分组是第二卷积模块在利用分组的深度可分离卷积进行特征提取时形成的。设置通道交换层使得在通道交换后，每个分组内能包含更多的信息(因为获得了其他分组中的通道)，从而使得后续的特征提取能提取到更多有价值的特征，同样有利于改善后续的异常行为检测结果。

总之，图5所示的第一卷积模块为一种轻量级的网络结构，其参数量较少，运算效率高，也易于训练。

下面介绍第一神经网络模型以及第二神经网络模型的训练方法。训练步骤可以在步骤S10之前执行。需要指出，模型的训练和模型的使用可以在同一设备上，也可以在不同的设备上。例如，可以在高性能的服务器上训练模型，然后将模型部署到车载设备100上，其原因在于模型训练通常需要大量的数据，并且进行多轮迭代，对于一些性能不高的设备可能难以支持模型的训练。但如果只是使用模型进行异常行为检测则对设备性能的要求可以放宽很多。

在一些实现方式中，利用训练集中的训练图像对第一神经网络模型以及第二神经网络模型同时进行训练，训练过程和图3所示的模型的使用过程是类似的，只是会根据输出的分类结果调整模型的参数，直至满足训练结束条件，例如模型收敛、已经训练了足够的轮次等条件。

以车辆驾驶人员的行为的类别包括正常驾驶行为、驾驶时抽烟、驾驶时打电话以及驾驶时喝水四种类别的情况为例，训练集中也应包含标注有这四种标签的样本。这些标签可以自动生成，例如，在驾驶人员抽烟的过程中采集到的图像全部标注为驾驶时抽烟。在训练开始之前，还可以通过人工或者某些算法去除每种类别中的标签存在错误的脏数据。

在一些实现方式中，可以有意地在训练图像加入一些攻击图像，攻击图像是指满足如下条件的图像：图像中的车辆驾驶人员的行为与异常驾驶行为类似，但属于所述正常驾驶行为。例如，驾驶人员模仿了一下抽烟的动作，但手里并没有拿烟，此时采集到的驾驶人员的图像就属于一种攻击图像。在训练时采用了攻击图像，训练好的模型就能够有效区分异常驾驶行为和类似于异常驾驶行为的正常驾驶行为，从而减少误检的情况，改善异常行为检测的精度。

由于成本等原因的限制，训练集中的训练图像可能数量有限，并且也难以覆盖大量的场景。因此在一些实现方式中，可以在开始正式训练前对训练图像进行增广处理，以增加训练图像的数量并覆盖更多的场景，不妨将增广处理后获得的新的训练图像称为增广图像，利用增广图像以及原始的训练图像共同进行神经网络模型的训练，有利于改善模型的鲁棒性，提高异常行为检测的精度。

下面列举一些可能的增广处理方法，需要指出，下面的方法仅仅是示例性的，并不代表在实施时只能采用这些增广处理方法。

a.对训练图像进行翻转，并将翻转后的图像确定为增广图像。其中，所谓的翻转可以是水平翻转、垂直翻转等。

b.对训练图像进行旋转，并将旋转后的图像确定为增广图像。其中，旋转可以按照预设的多个角度逐一进行。

c.对训练图像进行尺度变换，并将变换后的图像确定为增广图像。其中，尺度变换是指对图像进行缩放。

d.从训练图像中随机选取一个图像区域，并将图像区域对应的图像确定为增广图像。此种方式即随机获取训练图像的局部图像。

在一些实现方式中，训练好第一神经网络模型以及所述第二神经网络模型后，还可以对模型的参数进行量化，例如将参数的精度从32bit进一步量化为8bit。参数量化后，模型的精度有所降低，但采用一些较好的量化方法，这种精度的损失非常有限，而带来的是模型运算速度的大幅提高以及模型占用存储空间的显著下降，使得模型能够部署于一些计算存储及资源有限的环境中，例如部署在嵌入式的车载设备100上，支持实时的异常行为检测，有利于及时发现车辆驾驶人员的异常驾驶行为，避免交通事故的发生。

具体的量化算法包括但不限于剪枝和共享、低秩分解、设计紧凑卷积核、知识蒸馏、TensorRT8－bitInference等方法。其中TensorRT8－bitInference方法在量化时不需要重新训练被量化的神经网络模型，量化完后模型可以立即进行部署，十分方便。

在一些实现方式中，于模型量化之前，还可以利用测试集中的测试图像对模型的一些指标进行测试，例如测试异常行为检测的准确率，若发现准确率较低，可以在训练集中加入新的训练样本重新进行训练，又例如测试模型的参数数量和/或模型的运算量(可以用每秒浮点运算次数等方式进行表征)，若发现模型的参数数量较大和/或模型的运算量较大，则可以对模型进行上述量化处理，否则也可以不对模型进行量化，直接使用原始精度的模型。当然，在模型不能满足测试要求时，也可以重新对模型进行设计。

本申请实施例还提供一种异常行为检测装置300，如图6所示。参照图6，该装置包括：

图像获取模块310，用于获取包含车辆驾驶人员的待检测图像；

第一特征提取模块320，用于确定待检测图像中车辆驾驶人员的人脸区域，并将包含人脸区域的人脸图像输入至第一神经网络模型进行特征提取；

第二特征提取模块330，用于将待检测图像输入至第二神经网络模型进行特征提取；

异常检测模块340，用于对第一神经网络模型输出的特征以及第二神经网络模型输出的特征进行融合，并根据融合后的特征确定车辆驾驶人员的行为的类别，车辆驾驶人员的行为的类别包括正常驾驶行为以及至少一种异常驾驶行为。

本申请实施例提供的异常行为检测装置300，其实现原理及产生的技术效果在前述方法实施例中已经介绍，为简要描述，装置实施例部分未提及之处，可参考方法施例中相应内容。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本申请各个实施例所述方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种异常行为检测方法，其特征在于，包括：

获取包含车辆驾驶人员的待检测图像；

确定所述待检测图像中所述车辆驾驶人员的人脸区域，并将包含所述人脸区域的人脸图像输入至第一神经网络模型进行特征提取；

将所述待检测图像输入至第二神经网络模型进行特征提取；

对所述第一神经网络模型输出的特征以及所述第二神经网络模型输出的特征进行融合，并根据融合后的特征确定所述车辆驾驶人员的行为的类别，所述车辆驾驶人员的行为的类别包括正常驾驶行为以及至少一种异常驾驶行为。

2.根据权利要求1所述的异常行为检测方法，其特征在于，在所述将包含所述人脸区域的人脸图像输入至第一神经网络模型进行特征提取之前，所述方法还包括：

在所述待检测图像中对所述人脸区域进行扩张，所述人脸图像为扩张后的区域对应的图像。

3.根据权利要求1所述的异常行为检测方法，其特征在于，所述待检测图像为红外摄像头采集的灰度图像。

4.根据权利要求1所述的异常行为检测方法，其特征在于，所述对所述第一神经网络模型输出的特征以及所述第二神经网络模型输出的特征进行融合，包括：

计算表示所述第一神经网络模型输出的特征的向量与表示所述第二神经网络模型输出的特征的向量的外积，将所述外积对应的向量确定为所述融合后的特征。

5.根据权利要求1所述的异常行为检测方法，其特征在于，所述异常驾驶行为包括驾驶时抽烟、驾驶时打电话以及驾驶时喝水。

6.根据权利要求1所述的异常行为检测方法，其特征在于，所述第一神经网络模型和/或所述第二神经网络性包括依次连接的：至少一个第一卷积层、全局平均池化层、至少一个第一卷积模块、至少一个第二卷积层以及全连接层，其中所述第一卷积模块为利用逐点卷积以及深度可分离卷积进行特征提取的神经网络单元。

7.根据权利要求6所述的异常行为检测方法，其特征在于，所述第一卷积模块包括依次连接的：第二卷积模块、拼接层以及通道交换层；

其中，所述第二卷积模块包括第一特征提取分支以及第二特征提取分支，所述第一特征提取分支包括依次连接的第一逐点卷积层、第一深度可分离卷积层以及第二逐点卷积层，所述第二特征提取分支包括依次连接的第二深度可分离卷积层以及第三逐点卷积层，所述第一深度可分离卷积层以及所述第二深度可分离卷积层均采用分组的深度可分离卷积，所述第一特征提取分支以及所述第二特征提取分支分别用于对输入所述第一卷积模块的特征进行进一步特征提取；

所述拼接层用于拼接所述第一特征提取分支输出的特征以及所述第二特征提取分支输出的特征，并输出拼接后的特征；

所述通道交换层用于交换所述拼接后的特征中各分组所包含的通道，其中，所述分组是所述第二卷积模块在利用分组的深度可分离卷积进行特征提取时形成的。

8.根据权利要求1－7中任一项所述的异常行为检测方法，其特征在于，在所述获取包含车辆驾驶人员的待检测图像之前，所述方法还包括：

利用训练集中的训练图像训练所述第一神经网络模型以及所述第二神经网络模型。

9.根据权利要求8所述的异常行为检测方法，其特征在于，所述训练图像中包含攻击图像，所述攻击图像是指满足如下条件的图像：图像中的所述车辆驾驶人员的行为与所述异常驾驶行为类似，但属于所述正常驾驶行为。

10.根据权利要求8所述的异常行为检测方法，其特征在于，在所述利用训练集中的训练图像训练所述第一神经网络模型以及所述第二神经网络模型之后，所述方法还包括：

对训练好的所述第一神经网络模型以及所述第二神经网络模型的模型参数进行量化。

11.一种异常行为检测装置，其特征在于，包括：

图像获取模块，用于获取包含车辆驾驶人员的待检测图像；

第一特征提取模块，用于确定所述待检测图像中所述车辆驾驶人员的人脸区域，并将包含所述人脸区域的人脸图像输入至第一神经网络模型进行特征提取；

第二特征提取模块，用于将所述待检测图像输入至第二神经网络模型进行特征提取；

异常检测模块，用于对所述第一神经网络模型输出的特征以及所述第二神经网络模型输出的特征进行融合，并根据融合后的特征确定所述车辆驾驶人员的行为的类别，所述车辆驾驶人员的行为的类别包括正常驾驶行为以及至少一种异常驾驶行为。

12.一种车载设备，其特征在于，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求1－10中任一项所述的方法的步骤。

13.根据权利要求12所述的车载设备，其特征在于，所述设备还包括：用于采集待检测图像的红外摄像头。

14.根据权利要求13所述的车载设备，其特征在于，所述设备为嵌入式设备。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行权利要求1－10中任一项所述的方法的步骤。