CN111325058A - 驾驶行为检测方法、装置、系统及存储介质 - Google Patents

Abstract

本发明实施例公开了一种驾驶行为检测方法、装置、系统及存储介质，该方法包括：获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包含耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。能够有效降低虚警的概率，提高了驾驶行为检测及预警的准确性。

Description

驾驶行为检测方法、装置、系统及存储介质

技术领域

本发明涉及驾驶控制领域，具体涉及一种驾驶行为检测方法、装置、系统及存储介质。

背景技术

随着汽车数量的增加，汽车的行驶安全越来越成为人们关注的问题。汽车行驶过程中驾驶员打电话、抽烟的行为，成为了汽车行驶过程中行驶安全的隐患。如何在驾驶员做出以上危险的驾驶行为时做出有效的预警，从而及时提醒驾驶员采取正确的驾驶方式，成为了如今亟待解决的问题。

现有的驾驶员打电话、抽烟检测预警功能，一般采用机器视觉的方法，采集视频数据，通过机器学习或图像分割的方法检测驾驶员打电话、抽烟的危险驾驶行为。打电话、抽烟时都会有手的动作，且电话和烟本身成像面积远小于手，其特征也少，因此，单纯用机器学习的方法，基于手放在耳部和嘴部的情形生成的预警信号往往并非真正的危险驾驶行为，会引起较大的虚警(虚假报警)。即便在此基础上加上手部运动趋势的判别，仍解决不了抬手引起的虚警，且肤色分割受环境影响较大而容易出现漏检、误检，图像分割也同样受环境影响较大。

如何有效减少基于机器学习对驾驶员打电话、抽烟等危险驾驶行为进行预警导致的虚警，是一个亟待解决的技术问题。

发明内容

有鉴于此，本发明实施例提供了一种驾驶行为检测方法、装置、系统及存储介质，旨在提高对驾驶员危险驾驶行为检测的准确性。

本发明实施例的技术方案是这样实现的：

本发明实施例第一方面，提供一种驾驶行为检测方法，包括：

获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包含耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；

基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。

本发明实施例第二方面，提供一种驾驶行为检测装置，包括：

区域确定模块，用于获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包括耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；

预警模块，用于基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。

本发明实施例第三方面，提供一种驾驶行为检测系统，包括：

存储器，用于存储可执行程序；

处理器，用于执行所述存储器中存储的可执行程序时，实现前述任一实施例所述的驾驶行为检测方法。

本发明实施例第四方面，提供一种计算机存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现前述任一实施例所述的驾驶行为检测方法。

本发明实施例提供的技术方案中，基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息，通过设置的说话阈值实现了对第一预警驾驶行为是否包含说话状态的检测，通过设置的亮斑阈值实现了对第二预警驾驶行为是否包含烟尾亮斑的检测，能够有效降低虚警的概率，提高了驾驶行为检测及预警的准确性。

附图说明

图1为本发明一实施例驾驶行为检测方法的流程示意图；

图2为本发明一实施例中人脸特征点的分布示意图；

图3为本发明一实施例中烟尾亮斑检测的流程示意图；

图4为本发明另一实施例驾驶行为检测方法的流程示意图；

图5为本发明一实施例驾驶行为检测装置的结构示意图；

图6为本发明一实施例驾驶行为检测系统的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本发明实施例提供一种驾驶行为检测方法，该方法包括：

步骤101，获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包含耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；

本实施例中，可以采用红外摄像头采集驾驶员的图像信息，譬如，摄像头相对于驾驶员保持合适的角度，确保能够获取驾驶员完整的脸部图像信息。处理器接收摄像头采集的图像信息，通过人脸检测算法提取目标感兴趣区域。

在一实施例中，基于DLIB库的SVM(支持向量机)人脸检测算法来识别图像信息中的人脸特征点，并通过人脸特征点(即关键点)对齐算法，譬如ERT(回归树)人脸特征点对齐算法得到人脸对齐的特征点的位置信息。如图2所示，人脸特征点的位置信息可以标注驾驶员头部各个器官的具体位置，从而实现根据图像信息确定脸部的预设位置的轮廓特征点的位置，进而根据轮廓特征点提取第一目标感兴趣区域和第二目标感兴趣区域。

在一可选实施方式中，根据所述轮廓特征点提取所述第一目标感兴趣区域和所述第二目标感兴趣区域，包括：根据所述轮廓特征点确定人脸轮廓边界线，根据所述人脸轮廓边界线确定耳部区域对应的边沿端点，基于所述耳部区域对应的边沿端点生成闭合的所述第一目标感兴趣区域，所述第一目标感兴趣区域包括左侧耳部区域和右侧耳部区域；根据所述轮廓特征点及所述人脸轮廓边界线确定嘴部区域对应的边沿端点，基于所述嘴部区域对应的边沿端点生成闭合的所述第二目标感兴趣区域。

请参阅图2，在一实施例中，通过人脸检测算法和人脸特征点对齐算法得到人脸特征点如图2所示，示意出68个人脸特征点，其中，第0号点至第16号点标注了人脸的轮廓，第17号点至第21号点标注了右侧眉毛区域，第22号点至第26号点标注了左侧眉毛区域，第27号点至第35号点标注了鼻子区域，第36号点至第41号点标注了右侧眼睛区域，第42号点至第47号点标注了左侧眼睛区域，第48号点至第67号点标注了嘴巴区域。根据以上特征点的位置信息，本实施例进一步确定驾驶员耳部位置对应的第一目标感兴趣区域以及驾驶员的嘴部位置对应的第二目标感兴趣区域，该第一目标感兴趣区域包括：驾驶员左侧和右侧的耳部位置对应的目标感兴趣区域。

为了更好的契合驾驶员打电话或者吃东西时手贴在耳部和嘴部的角度，可以选取旋转矩形区域作为异常行为检测的第一目标感兴趣区域。以左侧耳部的目标感兴趣区域为例，先选取人脸轮廓特征点，第0号点，第16号点和第8号点，取第0号点和第16号点的中点，根据该中点和第8号点做连线，再分别过第16号点和第0号点做相对于所述连线的平行线，此时得到了人脸轮廓的边界线，再分别过第16号点和第0号点做反向延长线，延长长度为原线段的0.5倍，并得到延长后的端点的坐标，再过第16号点的反向延长线的端点做过第16号点的直线的法线量，法向量的方向沿着耳部向外，其长度为过第16号点的线段的0.75倍。再将得到的法线量分别加到过第16号点的线段的两个端点上，并分别反向延长法向量长度的0.2倍，得到左侧耳部区域的上边沿和下边沿，再依次连接上边沿和下边沿的端点，使其成为闭合的目标感兴趣区域，即可得到驾驶员左侧耳部的目标感兴趣区域。同理可以得到驾驶员右侧耳部的目标感兴趣区域。

对于嘴部位置对应的第二目标感兴趣区域，选取驾驶员人脸特征点中的第28号点、第48号点、第54号点和第57号点。做第48号点和第54号点的连线，并分别从第48号点和第54号点做该连线的延长线，延长长度均为原线段的0.8倍。再分计算第28号点和第57号距离过48号点和第54号点直线的距离，再做两条过第48号点和第54号点直线的法向量，两条法向量分别向上和向下，向上的法向量长度为第28号点到过第48号点和第54号点直线的距离，向下的法向量的长度为第57号点到过第48号点和第54号点直线的距离的3.4倍长度。再将计算到的这两个法向量分别加到过第48号点和第54号点线段的端点上，得到嘴部感兴趣区域的左边沿和右边沿，再依次连接各边沿的端点，使其形成闭合的矩形区域，即可得到嘴部的目标感兴趣区域。

本实施例中，目标感兴趣区域的扩充方法采用倍数扩充，相较于相关技术中的像素扩充方法，更能适应尺度变换，且确定的第一目标感兴趣区域和第二目标感兴趣区域能够满足异常行为的检测需求，减少漏检及误检的概率，利于降低虚警概率。

步骤102，基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。

本实施例中，在确定是否存在第一预警驾驶行为(如打电话)时，需要根据说话阈值和第二目标感兴趣区域进行检测，确定嘴部的动作符合设定要求时，生成提醒驾驶员注意当前驾驶行为的预警消息，有效降低了因抬手动作检测导致的虚警。在确定是否存在第二预警驾驶行为(如抽烟)时，需要根据设置的亮斑阈值，检测第二目标感兴趣区域是否存在烟尾亮斑，在确定存在烟尾亮斑时生成提醒驾驶员注意当前驾驶行为的预警消息，亦有效降低了虚警概率。本实施例检测方法有效提高了驾驶行为检测及预警的准确性。

在一实施例中，所述基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为之前，包括：基于连续的多个所述图像信息的第二目标感兴趣区域，提取用于表征所述驾驶员说话状态的嘴部特征，根据所述嘴部特征确定所述说话阈值。

可选地，所述提取用于表征所述驾驶员说话状态的嘴部特征，根据所述嘴部特征确定所述设置的说话阈值包括：提取对应的所述第二目标感兴趣区域中的嘴部高度和嘴部宽度，得到对应的嘴部高宽比，根据设置数量的所述图像信息所确定的嘴部高宽比的方差值确定所述设置的说话阈值。

在一可选的实施例中，为了针对不同的驾驶员得到对应的说话阈值，需要分别进行说话阈值的学习来设置对应的说话阈值。譬如，获取连续的多帧所述图像信息，并基于第二目标感兴趣区域，提取嘴部高度和嘴部宽度，计算嘴部高宽比，嘴部高宽比＝嘴部高度/嘴部宽度。根据当前帧与之前连续多帧的嘴部高宽比，计算嘴部高宽比的方差值，根据连续多帧的嘴部高宽比的方差值确定设置的说话阈值。

可选地，为了避免设置说话阈值时需要驾驶员主动配合导致的操作复杂性和驾驶员容易针对规则来干扰说话阈值的设置，譬如，说话阈值设定时，需要驾驶员闭嘴与说“啊”的嘴型，如果驾驶员故意表现出与平时不同的嘴型，则很可能导致得到的说话阈值错误。本实施例还提出一种非主动配合的自适应的说话阈值学习方法，在无驾驶员配合的情况下，确保说话阈值的适应性。

在一实施例中，开始说话阈值学习时，根据获取的图像信息，检测到人脸特征点的基础上，计算嘴部高宽比。嘴部高宽比＝嘴部高度/嘴部宽度。如图2所示，嘴部高度是第61、67号点之间的欧式距离、第62、66号点之间的欧式距离及第63、65号点之间的欧式距离的最大值。嘴部宽度是第60、64号点之间的欧式距离。存储每帧的嘴部高宽比数据，譬如，当获取到当前帧与该当前帧之前29帧的嘴部高宽比数据时，计算这30组嘴部高宽比数据的方差，并存储。按同样的方法累计得到30个方差值时，计算其最小值。设置说话阈值为该最小值的3倍，限定其阈值范围为[0.02，0.6]。在说话阈值未落入该阈值范围时，若说话阈值小于0.02，则将下限值0.02更新为说话阈值，若说话阈值大于0.6，则将上限值0.6更新为说话阈值。需要说明的是，阈值范围可以根据需要进行设定，这里，用最小值是为了滤除在学习阶段，驾驶员偶尔说话的情况，而设置下限值，是为了滤掉嘴部完全无任何微小变化的情况，设置上限是为了减少驾驶员在学习阶段恶意保持全程说话状态。本实施例说话阈值的设置无需驾驶员主动配合，从而降低了操作复杂性，且亦有效避免了驾驶员主动恶意规避导致的说话阈值的设置错误，进一步提高了驾驶行为检测的可靠性。

在另一实施例中，为了避免在说话阈值学习时，驾驶员因嘴部一直处于说话状态，从而导致说话阈值学习错误的问题。可选地，第一次说话阈值学习结束后，每隔设定时长(如10分钟)将再次开启说话阈值学习，在得到的新阈值与原阈值中取最小值，将该最小值更新为说话阈值。在另一实施方式中，连续开启设定次数说话阈值学习后，计算均值，并将该小于且最接近该均值的学习值更新为说话阈值。譬如，连续开启6次说话阈值学习后，取6个说话阈值中小于均值但最接近均值的值为该驾驶员的最终说话阈值。

在一实施例中，所述基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时之前，包括：基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息，基于所述第二目标感兴趣区域与所述说话阈值得到所述第一预警驾驶行为对应的第二检测信息；根据所述第一检测信息和所述第二检测信息，确定是否存在所述第一预警驾驶行为。

这里，所述基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息之前，包括：获取包含驾驶员脸部图像的第一图像训练集，所述第一图像训练集包括对应正常驾驶行为的正样本图像、对应打电话驾驶行为的负样本图像；基于所述第一图像训练集中的正样本图像、负样本图像分别对第一训练分类器进行迭代训练，直至满足收敛条件，得到训练后的所述第一训练分类器。

需要说明的是，该第一训练分类器的训练可以离线设置，并将训练后的第一训练分类器导入至用于驾驶行为检测的处理器中。当然，也可以采用该处理器直接对第一图像训练集进行训练生成所述第一训练分类器。

对于第一图像训练集，该第一图像训练集包括对应正常驾驶行为的正样本图像、对应打电话驾驶行为的负样本图像。在确定包含耳部位置的第一目标感兴趣区域后，即可截取包含驾驶员耳部区域的图像数据，并按照正样本图像、负样本图像分别进行训练，得到训练好的第一训练分类器，训练好的第一训练分类器包括用于识别正常驾驶行为的第一子分类器、用于识别打电话驾驶行为的第二子分类器。第一训练分类器的训练算法可以为基于HOG(方向梯度直方图)特征的SVM(支持向量机)算法。

需要说明的是，需要采集正负样本对应的图像，其中，正样本为驾驶员正常驾驶时截取的耳部图像，负样本为驾驶员在驾驶过程中打电话时截取的耳部图像。本系统中左侧打电话和右侧打电话分开训练第一训练分类器。训练第一训练分类器前，可以对截取的图片大小进行归一化。训练时，正负样本比例合适，需要尽量采集充足的样本数据进行训练。可选地，第一训练分类器可以采用离线训练的方式进行训练。

所述基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息，包括：将当前获取到的包含驾驶员脸部图像的图像信息输入所述训练后的所述第一训练分类器，得到所述第一检测信息。本实施例中，对当前获取的图像信息截取第一目标感兴趣区域的信息，且对区域的图像信息进行归一化，导入第一训练分类器即可检测出分类结果。根据该分类结果即可判定当前图像信息中驾驶员是否存在打电话的动作行为，根据分类结果生成第一检测信息。

在得到第一检测信息后，本实施例还对当前图像信息基于第二目标感兴趣区域和所述说话阈值得到第一预警驾驶行为对应的第二检测信息。本实施例中，根据当前帧图像信息的第二目标感兴趣区域提取嘴部高度和嘴部宽度，计算嘴部高宽比，并和当前图像信息之前的连续多帧图像信息的对应的嘴部高宽比生成方差值(譬如，计算当前帧与前29帧嘴部宽高比数据的方差值)，根据该方差值与设置的说话阈值的比较结果得到第二检测信息，若该方差值大于设置的说话阈值，则判定驾驶员处于说话状态。在得到第一检测信息和第二检测信息后，确定驾驶员存在打电话行为及检测到驾驶员处于说话状态时，生成用于提醒驾驶员注意驾驶行为的预警信息，该预警信息可以为声音预警信息或者灯光预警信息或者声音与灯光结合的预警信息，以提醒驾驶员在驾驶过程中不要打电话。有效降低了虚警发生概率，提高了检测的可靠性及准确性。在另一实施例中，在得到第一检测信息和第二检测信息时，生成预警信息并将预警信息发送至远程监控平台，以供远程监控平台统计驾驶员的异常驾驶行为。

在一实施例中，所述基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时之前，包括：基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息，基于所述第二目标感兴趣区域与所述亮斑阈值得到所述第二预警驾驶行为对应的第四检测信息；根据所述第三检测信息和所述第四检测信息，确定是否存在所述第二预警驾驶行为。

在一实施例中，所述基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息之前，包括：获取包含驾驶员脸部图像的第二图像训练集，所述第二图像训练集包括对应正常驾驶行为的正样本图像、对应抽烟驾驶行为的负样本图像；基于所述第二图像训练集中的正样本图像、负样本图像分别对第二训练分类器进行迭代训练，直至满足收敛条件，得到训练后的所述第二训练分类器。

需要说明的是，该第二训练分类器的训练可以离线设置，并将训练后的第二训练分类器导入至用于驾驶行为检测的处理器中。当然，也可以采用该处理器直接对第二图像训练集进行训练生成所述第二训练分类器。

对于第二图像训练集，该第二图像训练集包括对应正常驾驶行为的正样本图像、对应抽烟驾驶行为的负样本图像，在确定包含嘴部位置的第二目标感兴趣区域后，即可截取包含驾驶员嘴部区域的图像数据，并按照对应的图像类别分别进行训练，得到训练好的第二训练分类器。训练后的第二分类器包括用于识别正常驾驶行为的第三子分类器、用于识别抽烟驾驶行为的第四子分类器。第二训练分类器的训练算法可以为基于HOG(方向梯度直方图)特征的SVM(支持向量机)算法。

需要说明的是，需要采集正负样本对应的图像，其中，正样本为驾驶员正常驾驶时截取的嘴部图像，负样本为驾驶员在驾驶过程中抽烟时截取的嘴部图像。训练第二训练分类器前，可以对截取的图片大小进行归一化。训练时，正负样本比例合适，需要尽量采集充足的样本数据进行训练。可选地，第二训练分类器可以采用离线训练的方式进行训练。

在一实施例中，所述基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息，包括：将当前获取到的包含驾驶员脸部图像的图像信息输入所述训练后的所述第二训练分类器，得到所述第三检测信息。本实施例中，对当前获取的图像信息截取第二目标感兴趣区域的信息，且对区域的图像信息进行归一化，导入第二训练分类器即可检测出分类结果。根据该分类结果生成第三检测信息，该第三检测信息包含当前图像信息中驾驶员是否存在抽烟的动作行为的检测结果。

请参阅图3，在一实施例中，所述基于所述第二目标感兴趣区域与所述亮斑阈值得到所述第二预警驾驶行为对应的第四检测信息，包括：

步骤301，对当前图像信息中的所述第二目标感兴趣区域进行图像二值化处理；

根据图像信息提取的第二目标感兴趣区域确定嘴部ROI(感兴趣区域)，并对该ROI图像进行二值化处理。可选地，由于烟尾的亮斑在红外图像中显示为白色斑点，可以采用固定阈值对ROI图像进行二值化处理得到二值化图像。

步骤302，根据二值化图像提取至少一个候选亮斑区域；

在二值化图像中获取所有的8连通区域，即为候选亮斑。这里，8连通区域是指从区域内每一象素出发，可通过八个方向，即上、下、左、右、左上、右上、左下、右下这八个方向的移动的组合，在不越出区域的前提下，到达区域内的任意象素。

步骤303，获取各所述候选亮斑区域对应的外接矩形、各所述候选亮斑区域的亮点数量及各候选亮斑的中心位置；

步骤304，判断各候选亮斑区域是否满足预设条件；

判断各候选亮斑区域的外接矩形的面积是否大于第一阈值、亮点数量是否大于第二阈值及外接矩形的中心是否位于脸部区域内。

步骤305，检测到亮斑；

确定至少一个所述候选亮斑区域的外接矩形的面积大于第一阈值、亮点数量大于第二阈值及所述外接矩形的中心位于脸部区域内，则判定检测到亮斑，并生成检测到亮斑的第四检测信息。本实施例中，设置的亮斑阈值包括第一阈值和第二阈值，具体的设置可以根据亮斑的检测精度来合理选取。

步骤306，没有检测到亮斑。

若没有检测到符合设定条件的亮斑区域，则生成未检测到亮斑的第四检测信息。

本实施例中，根据第三检测信息确定当前的图像信息存在驾驶过程中抽烟动作时，还进一步根据该图像信息和亮斑阈值检测是否存在烟尾亮斑，仅在二者均存在时，生成用于提醒驾驶员注意驾驶行为的预警信息，该预警信息可以为声音预警信息或者灯光预警信息或者声音与灯光结合的预警信息，以提醒驾驶员在驾驶过程中不要抽烟。有效降低了虚警发生概率，提高了检测的可靠性及准确性。在另一实施例中，还根据第三检测信息和第四检测信息，生成预警信息并将预警信息发送至远程监控平台，以供远程监控平台统计驾驶员的异常驾驶行为。

请参阅图4，本发明一实施例驾驶行为检测方法包括以下步骤：

步骤401，获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域。

这里，可以采用红外摄像头采集驾驶员的图像信息，譬如，摄像头相对于驾驶员保持合适的角度，确保能够获取驾驶员完整的脸部图像信息。处理器接收摄像头采集的图像信息，通过人脸检测算法提取目标感兴趣区域。示例性地，基于DLIB库的SVM(支持向量机)人脸检测算法来识别图像信息中的人脸特征点，并通过人脸特征点(即关键点)对齐算法，譬如ERT(回归树)人脸特征点对齐算法得到人脸对齐的特征点的位置信息。如图2所示，人脸特征点的位置信息可以标注驾驶员头部各个器官的具体位置，从而实现根据图像信息确定脸部的预设位置的轮廓特征点的位置，进而根据轮廓特征点提取第一目标感兴趣区域和第二目标感兴趣区域。该第一目标感兴趣区域包括：驾驶员左侧和右侧的耳部位置对应的目标感兴趣区域。该第二目标感兴趣区域为驾驶员的嘴部位置对应的目标感兴趣区域。

步骤402，基于当前图像信息中的所述第一目标感兴趣区域进行打电话检测。

将当前获取到的包含驾驶员脸部图像的图像信息输入训练后的第一训练分类器，得到所述第一检测信息。本实施例中，对当前获取的图像信息截取第一目标感兴趣区域的信息，且对区域的图像信息进行归一化，导入第一训练分类器即可检测出分类结果。根据该分类结果生成第一检测信息，即可判定当前图像信息中驾驶员是否存在打电话的动作行为。

步骤403，基于当前图像信息中的所述第二目标感兴趣区域进行说话检测。

根据当前帧图像信息的第二目标感兴趣区域提取嘴部高度和嘴部宽度，计算嘴部高宽比，并和当前图像信息之前的连续多帧图像信息的对应的嘴部高宽比生成方差值(譬如，计算当前帧与前29帧嘴部宽高比数据的方差值)，根据该方差值与设置的说话阈值生成第二检测信息，若该方差值大于设置的说话阈值，则判定驾驶员处于说话状态。

步骤404，基于当前图像信息中的所述第二目标感兴趣区域进行抽烟检测。

将当前获取到的包含驾驶员脸部图像的图像信息输入训练后的第二训练分类器，得到第三检测信息。本实施例中，对当前获取的图像信息截取第二目标感兴趣区域的信息，且对区域的图像信息进行归一化，导入第二训练分类器即可检测出分类结果。根据该分类结果生成第三检测信息，即可判定当前图像信息中驾驶员是否存在抽烟的动作行为。

步骤405，基于当前图像信息中的所述第二目标感兴趣区域进行烟尾亮斑检测。

对当前图像信息中的所述第二目标感兴趣区域进行图像二值化处理；根据二值化图像提取至少一个候选亮斑区域；获取各所述候选亮斑区域对应的外接矩形与各所述候选亮斑区域的亮点数量；根据所述候选亮斑区域的外接矩形的面积是否大于第一阈值、亮点数量是否大于第二阈值及所述外接矩形的中心是否位于脸部区域内，生成所述第四检测信息。若确定至少一个所述候选亮斑区域的外接矩形的面积大于第一阈值、亮点数量大于第二阈值及所述外接矩形的中心位于脸部区域内，则判定检测到烟尾亮斑。

步骤406，基于检测结果进行危险驾驶行为决策。

基于第一检测信息、第二检测信息、第三检测信息及第四检测信息的检测结果确定是否存在危险驾驶行为。根据第一检测信息和第二检测信息，若存在打电话动作行为和检测到说话状态，则判定存在驾驶员在驾驶过程中打电话的危险驾驶行为，生成用于提示驾驶员不要打电话的第一预警信息和/或发送驾驶员存在打电话的危险驾驶行为的监测信息给远程监控平台；根据第三检测信息和第四检测信息，若存在抽烟动作行为和检测到烟尾亮斑，判定存在驾驶员在驾驶过程中抽烟的危险驾驶行为，生成用于提示驾驶员不要抽烟的第二预警信息和/或发送驾驶员存在抽烟的危险驾驶行为的监测信息给远程监控平台。

在一实施例中，可选地，可以在得到第一检测信息与第二检测信息时，根据连续多帧图像信息的检测结果进行综合判断，在连续多帧(数量可以设置)图像信息的检测结果中均存在打电话动作行为和检测到说话状态，判定存在驾驶员在驾驶过程中打电话的危险驾驶行为，以实现多帧检测过滤的策略，进一步提升检测结果的准确性，降低虚警概率的发生。同理，可以在得到第三检测信息与第四检测信息时，根据连续多帧图像信息的检测结果进行综合判断，在连续多帧(数量可以设置)图像信息的检测结果中均存在抽烟动作行为和检测到烟尾亮斑，判定存在驾驶员在驾驶过程中抽烟的危险驾驶行为。

本发明实施例还提供一种驾驶行为检测装置，参阅图5，该装置包括：

区域确定模块501，用于获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包括耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；

预警模块502，用于基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。

在一实施例中，该装置还包括：

说话阈值设置模块，用于基于连续的多个所述图像信息的第二目标感兴趣区域，提取用于表征所述驾驶员说话状态的嘴部特征，根据所述嘴部特征确定所述设置的说话阈值。

在一实施例中，该装置还包括：

分类器训练模块，用于获取包含驾驶员脸部图像的第一图像训练集，所述第一图像训练集包括对应正常驾驶行为的正样本图像、对应打电话驾驶行为的作为负样本图像；基于所述第一图像训练集中的正样本图像、负样本图像分别对第一训练分类器进行迭代训练，直至满足收敛条件，得到训练后的所述第一训练分类器；和/或，获取包含驾驶员脸部图像的第二图像训练集，所述第二图像训练集包括对应正常驾驶行为的正样本图像、对应抽烟驾驶行为的负样本图像；基于所述第二图像训练集中的正样本图像、负样本图像分别对第二训练分类器进行迭代训练，直至满足收敛条件，得到训练后的所述第二训练分类器。

在一实施例中，预警模块502具体用于：基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息，基于所述第二目标感兴趣区域与所述说话阈值得到所述第一预警驾驶行为对应的第二检测信息；根据所述第一检测信息和所述第二检测信息，确定是否存在所述第一预警驾驶行为。

在一实施例中，所述基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息，包括：将当前获取到的包含驾驶员脸部图像的图像信息输入所述训练后的所述第一训练分类器，得到所述第一检测信息。

在一实施例中，预警模块502具体用于：基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息，基于所述第二目标感兴趣区域与所述亮斑阈值得到所述第二预警驾驶行为对应的第四检测信息；根据所述第三检测信息和所述第四检测信息，确定是否存在所述第二预警驾驶行为。

在一实施例中，所述基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息，包括：将当前获取到的包含驾驶员脸部图像的图像信息输入所述训练后的所述第二训练分类器，得到所述第三检测信息。

在一实施例中，所述基于所述第二目标感兴趣区域与所述亮斑阈值得到所述第二预警驾驶行为对应的第四检测信息，包括：对当前图像信息中的所述第二目标感兴趣区域进行图像二值化处理；根据二值化图像提取至少一个候选亮斑区域；获取各所述候选亮斑区域对应的外接矩形与各所述候选亮斑区域的亮点数量；根据所述候选亮斑区域的外接矩形的面积是否大于第一阈值、亮点数量是否大于第二阈值及所述外接矩形的中心是否位于脸部区域内，生成所述第四检测信息。

需要说明的是，本发明实施例提供的驾驶行为检测装置与上述驾驶行为检测方法的实施例属于同一发明构思，上述各模块的具体实现过程可以参照前述方法实施例，在此不做赘述。

本发明实施例还提供一种驾驶行为检测系统。图6仅仅示出了该驾驶行为检测系统的示例性结构而非全部结构，根据需要可以实施图4示出的部分结构或全部结构。

本发明实施例提供的驾驶行为检测系统600包括：至少一个处理器601、存储器602、用户接口603和至少一个网络接口604。驾驶行为检测系统600中的各个组件通过总线系统605耦合在一起。可以理解，总线系统605用于实现这些组件之间的连接通信。总线系统605除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统605。

其中，用户接口603可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器602可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。

本发明实施例中的存储器602用于存储各种类型的数据以支持驾驶行为检测方法的执行。这些数据的示例包括：用于在驾驶行为检测系统上运行的任何可执行程序，如可执行程序6021，实现本发明实施例的驾驶行为检测方法的程序可以包含在可执行程序6021中。

本发明实施例揭示的驾驶行为检测方法可以应用于处理器601中，或者由处理器601实现。处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，驾驶行为检测方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器、数字信号处理器(DSP，Digital SignalProcessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器601可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成本发明实施例提供的驾驶行为检测方法的步骤。

本发明实施例还提供一种智能车辆，该智能车辆包括车辆本体及前述实施例所述的驾驶行为检测系统，车辆本体上设有用于采集驾驶员脸部图像信息的至少一个摄像头，摄像头与处理器601通信连接，处理器601读取存储器602中的信息，并结合摄像头采集的图像信息，可以实现本发明任一实施例所述的驾驶行为检测方法的步骤。

本发明实施例还提供了一种可读存储介质，存储介质可以包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述可读存储介质存储有可执行程序；所述可执行程序用于被处理器执行时实现本发明任一实施例所述的驾驶行为检测方法。

本领域内的技术人员应明白，本发明实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理系统的处理器以产生一个机器，使得通过计算机或其他可编程数据处理系统的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理系统以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理系统上，使得在计算机或其他可编程系统上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程系统上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种驾驶行为检测方法，其特征在于，包括：

获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包含耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；

基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。

2.如权利要求1所述的驾驶行为检测方法，其特征在于，所述基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为之前，包括：

基于连续的多个所述图像信息的第二目标感兴趣区域，提取用于表征所述驾驶员说话状态的嘴部特征，根据所述嘴部特征确定所述设置的说话阈值。

3.如权利要求2所述的驾驶行为检测方法，其特征在于，所述提取用于表征所述驾驶员说话状态的嘴部特征，根据所述嘴部特征确定所述设置的说话阈值包括：

提取对应的所述第二目标感兴趣区域中的嘴部高度和嘴部宽度，得到对应的嘴部高宽比，根据设置数量的所述图像信息所确定的嘴部高宽比的方差值确定所述设置的说话阈值。

4.如权利要求1所述的驾驶行为检测方法，其特征在于，所述基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为之前，包括：

基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息，基于所述第二目标感兴趣区域与所述说话阈值得到所述第一预警驾驶行为对应的第二检测信息；

根据所述第一检测信息和所述第二检测信息，确定是否存在所述第一预警驾驶行为。

5.如权利要求4所述的驾驶行为检测方法，其特征在于，所述基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息之前，包括：

获取包含驾驶员脸部图像的第一图像训练集，所述第一图像训练集包括对应正常驾驶行为的正样本图像、对应打电话驾驶行为的作为负样本图像；

基于所述第一图像训练集中的正样本图像、负样本图像分别对第一训练分类器进行迭代训练，直至满足收敛条件，得到训练后的所述第一训练分类器；

所述基于当前图像信息中的所述第一目标感兴趣区域得到所述第一预警驾驶行为对应的第一检测信息，包括：

将当前获取到的包含驾驶员脸部图像的图像信息输入所述训练后的所述第一训练分类器，得到所述第一检测信息。

6.如权利要求1所述的驾驶行为检测方法，所述基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为之前，包括：

基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息，基于所述第二目标感兴趣区域与所述亮斑阈值得到所述第二预警驾驶行为对应的第四检测信息；

根据所述第三检测信息和所述第四检测信息，确定是否存在所述第二预警驾驶行为。

7.如权利要求6所述的驾驶行为检测方法，所述基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息之前，包括：

获取包含驾驶员脸部图像的第二图像训练集，所述第二图像训练集包括对应正常驾驶行为的正样本图像、对应抽烟驾驶行为的负样本图像；

基于所述第二图像训练集中的正样本图像、负样本图像分别对第二训练分类器进行迭代训练，直至满足收敛条件，得到训练后的所述第二训练分类器；

所述基于当前图像信息中的所述第二目标感兴趣区域得到所述第二预警驾驶行为对应的第三检测信息，包括：

将当前获取到的包含驾驶员脸部图像的图像信息输入所述训练后的所述第二训练分类器，得到所述第三检测信息。

8.如权利要求7所述的驾驶行为检测方法，所述基于所述第二目标感兴趣区域与所述亮斑阈值得到所述第二预警驾驶行为对应的第四检测信息，包括：

对当前图像信息中的所述第二目标感兴趣区域进行图像二值化处理；

根据二值化图像提取至少一个候选亮斑区域；

获取各所述候选亮斑区域对应的外接矩形与各所述候选亮斑区域的亮点数量；

根据所述候选亮斑区域的外接矩形的面积是否大于第一阈值、亮点数量是否大于第二阈值及所述外接矩形的中心是否位于脸部区域内，生成所述第四检测信息。

9.一种驾驶行为检测装置，其特征在于，包括：

区域确定模块，用于获取包含驾驶员脸部图像的图像信息，提取所述图像信息中的目标感兴趣区域，所述目标感兴趣区域包括：包括耳部位置的第一目标感兴趣区域和包含嘴部位置的第二目标感兴趣区域；

预警模块，用于基于所述第一目标感兴趣区域、所述第二目标感兴趣区域和设置的说话阈值，确定存在第一预警驾驶行为时，和/或，基于所述第二目标感兴趣区域和设置的亮斑阈值，确定存在第二预警驾驶行为时，发出对应的预警信息。

10.一种驾驶行为检测系统，其特征在于，包括：

存储器，用于存储可执行程序；

处理器，用于执行所述存储器中存储的可执行程序时，实现如权利要求1至8任一所述的驾驶行为检测方法。

11.一种计算机存储介质，其特征在于，存储有可执行程序，所述可执行程序被处理器执行时，实现如权利要求1至8任一所述的驾驶行为检测方法。

Images