CN114842618A - 一种嵌入式司机行为状态预警方法、装置、车辆及介质 - Google Patents

Abstract

本发明公开了一种嵌入式司机行为状态预警方法、装置、车辆及介质。该方法包括：通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；根据异常状态信息确定驾驶人员是否满足驾驶条件；当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。即，本发明实施例，通过清晰度的筛选保证待识别图像的识别的正确率，并根据异常预警模型确定待识别图像中驾驶人员在行车过程中行为状态，得异常状态信息，根据异常状态信息与驾驶条件的关系进行预警，避免了仅根据驾驶员的闭眼时长和头部姿态确定驾驶人员状态，提高驾驶员状态识别的准确度。

Description

一种嵌入式司机行为状态预警方法、装置、车辆及介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种嵌入式司机行为状态预警方法、装置、车辆及介质。

背景技术

随着车辆安全监督的高度电子化，各种车辆上安装人员状态监测终端系统，对于车辆行驶过程中列车员的行为状态进行监测，比如：长时间闭眼、抽烟驾驶、拨打电话等不良行为习惯的识别、提醒、记录、存储并可通过接口实现数据输出的辅助驾驶行为装置。现有的人员状态监测系统主要用于车辆管理，仅凭借AI算法识别眼睛疲劳的功能，无法全场景更精准的识别驾驶员睁眼呆滞、睁眼确眼球不看前方、睁眼疲劳等异常状态，而在轨道交通行业内对驾驶员状态识别精准度高，驾驶位置宽广，现有汽车上应的识别方案无法满足列车识别环境要求。

发明内容

本发明提供一种嵌入式司机行为状态预警方法、装置、车辆及介质，以实现根据驾驶人员在行车过程中行为状态进行驾驶人员状态识别，提高了驾驶员状态识别的准确度。

第一方面，本发明实施例提供了一种嵌入式司机行为状态预警方法，应用于车辆，该方法包括：

通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

进一步的，在通过摄像头监测驾驶人员得到监测视频之前，还包括：

确定所述车辆的驾驶位置信息和所述驾驶人员的人体信息；

根据所述车辆的驾驶位置信息和所述驾驶人员的人体信息确定监测所述驾驶人员的监测位置，所述监测位置用于指导安装所述摄像头；

基于所述驾驶人员的监测位置确定所述摄像头的监测区域；

根据所述监测区域和监测需求信息对所述摄像头进行角度调节。

进一步的，根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像，包括：

确定所述监测视频中每张图像帧的清晰度；

将所述每张图像帧的清晰度与预设清晰度阈值进行比对，将所述监测视频中清晰度大于所述预设清晰度阈值的图像帧确定为所述待识别图像。

进一步的，在将所述待识别图像输入异常预警模型之前，还包括：

确定所述驾驶人员的人体信息，并根据所述驾驶人员的人体信息确定所述监测视频中待识别图像的监测要素是否完整；

当所述待识别图像的监测要素不完整时，则根据所述驾驶人员的人体信息对所述待识别图像的监测要素进行完善，并触发执行将所述待识别图像输入异常预警模型。

进一步的，并根据所述驾驶人员的人体信息确定所述监测视频中待识别图像的监测要素是否完整，包括：

根据所述驾驶人员的人体信息确定所述驾驶人员的预设头部轨迹变动范围和预设眼球轨迹变动范围；

确定所述待识别图像中相邻两帧之间对应形成的头部轨迹是否在所述预设头部轨迹变动范围内，并确定所述待识别图像中相邻两帧之间对应形成的眼球轨迹是否在所述预设眼球轨迹变动范围内；

当所述待识别图像中相邻两帧之间对应形成的头部轨迹不符合预设头部轨迹变动范围且眼球轨迹不符合预设变动范围，则确定所述待识别图像的监测要素不完整。

进一步的，根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件，包括：

根据所述待识别图像确定所述驾驶人员是否处于异常驾驶状态；

当所述驾驶人员处于异常驾驶状态，则从所述待识别图像中识别出人脸区域图像；

根据所述人脸区域图像确定所述驾驶人员的心率信息，并根据所述心率信息确定所述驾驶人员是否满足驾驶条件。

进一步的，所述待识别图像包括多张，所述根据所述待识别图像确定所述驾驶人员是否处于异常驾驶状态，包括：

根据所述待识别图像确定眼球停留时间和闭眼时长；

当所述待识别图像中的头部姿态异常、所述眼球停留时间超过预设停留时间、且所述闭眼时长超过预设时长，则确定所述驾驶人员处于异常驾驶状态。

第二方面，本发明实施例还提供了一种嵌入式司机行为状态预警装置，该装置包括：

图像筛选模块，用于通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

信息确定模块，用于将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

条件确定模块，用于根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

驾驶预警模块，用于当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

第三方面，本发明实施例还提供了一种车辆，该车辆包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的嵌入式司机行为状态预警方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的嵌入式司机行为状态预警方法。

本发明实施例，通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；根据异常状态信息确定驾驶人员是否满足驾驶条件；当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。即，本发明实施例，通过清晰度的筛选保证待识别图像的识别的正确率，并根据异常预警模型确定待识别图像中驾驶人员在行车过程中行为状态，得异常状态信息，根据异常状态信息与驾驶条件的关系进行预警，避免了仅根据驾驶员的闭眼时长和头部姿态确定驾驶人员状态，提高了驾驶员状态识别的准确度。

附图说明

图1是本发明实施例提供的嵌入式司机行为状态预警方法的一个流程示意图；

图2是本发明实施例提供的嵌入式司机行为状态预警方法的另一流程示意图；

图3是本发明实施例提供的嵌入式司机行为状态预警装置的一个结构示意图；

图4是本发明实施例提供的车辆的一个结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的嵌入式司机行为状态预警方法的一个流程示意图，该方法可以由本发明实施例提供的嵌入式司机行为状态预警装置来执行，该装置可采用软件和/或硬件的方式实现。在一个具体的实施例中，该装置可以集成在车辆。以下实施例将以该装置集成在车辆中为例进行说明，参考图1，该方法具体可以包括如下步骤：

S110、通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；

示例地，监测视频可以来自摄像头采集的驾驶人员在驾驶室内的视频，其中，摄像头可以是监测视频的视频采集设备具有视频采集功能，摄像头还可以是高度集成的行为状态预警装置，具备体积小的特点，可以直接嵌入式安装在台面上，监测视频可以是实时采集的监测视频，也可以是预先采集的监测视频；当监测视频为实时采集的监测视频时，即是对驾驶室内的驾驶人员进行实时的行为状态的监测，查看驾驶人员是否符合驾驶条件，减少车辆行驶过程中事故率；当监测视频为预先采集的监测视频可以是对不同驾驶人员的驾驶过程进行评分，并经过驾驶人员的行为状态中的评分确定出提高驾驶评分的措施。监测视频中图像帧的清晰度可以是监测视频中每张图像帧中驾驶人员的行为动作和画面的辨识度，其中，驾驶室内根据环境因素的影响使得图像帧的清晰度不同，例如：白天的清晰度较高、晚上清晰度较低、车辆行驶至隧道清晰度降低、驾驶人员在佩戴眼镜时，遮挡面部使得图像清晰度降低。监测视频中的待识别图像可以是监测视频中满足预设清晰度阈值的图像帧，用于输入到异常预警模型进行驾驶人员的行为动作的识别。

具体实现中，通过车辆的驾驶室内安装的摄像头对驾驶室内的驾驶人员进行行为监测，并通过摄像头得到驾驶室内驾驶人员的监测视频。其中，摄像头可以具备智能补光的功能，在车辆处于晚上和经过隧道时，通过智能补光增强监测视频中图像帧的清晰度。通过确定检测视频中每张图像帧的清晰度，并根据实际需求和实验数据预设清晰度阈值，利用预设清晰度阈值筛选出监测视频中的待识别图像，以便于输入异常预警模型对待识别图像中的信息进行识别，对驾驶人员在驾驶室内的异常行为进行监测。

S120、将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；

具体实现中，可以将待识别图像输入异常预警模型执行驾驶室内驾驶人员的行为识别，异常预警模型的输出可以是待识别图像中驾驶人员的异常状态信息，可以根据异常状态信息中内容确定驾驶人员的驾驶状态，依据驾驶状态可以确定驾驶人员是否符合驾驶条件。其中，异常状态信息可以是驾驶人员的不良行为习惯或驾驶人员的非正常驾驶行为，比如：不专注瞭望、驾驶期间拨打电话、抽烟、玩手机等行车分神驾驶；睡觉、眼神呆滞、眼睛没有看向前方的疲劳驾驶；突然疾病的带病驾驶。

S130、根据异常状态信息确定驾驶人员是否满足驾驶条件；

具体实现中，驾驶条件可以是根据驾驶的安全行为规则设定的驾驶人员在驾驶行为条件，即驾驶在正常驾驶状态对应的行为，比如：眼见注视驾驶方向、各肢体都在车辆的驾驶操作盘对应的位置(双手在方向盘上、左右踩踏在规定位置等)，实施驾驶条件的基础在于驾驶人员具备驾驶证件，驾驶前驾驶人员的身体指标满足驾驶要求。将待识别图像输入异常预警模型，得到待识别图像的异常状态信息，根据待识别图像中驾驶人员的异常状态信息。根据待识别图像中驾驶人员的异常状态信息确定驾驶人员的驾驶状态，当驾驶状态为异常驾驶状态，则该驾驶人员不满足驾驶条件，不能继续驾驶车辆进行行驶；当驾驶人员的驾驶状态为正常驾驶，则该驾驶人员满足驾驶条件，可以继续驾驶车辆在预设道路上行进。

S140、当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。

具体实现中，根据待识别图像中驾驶人员的异常状态信息。根据待识别图像中驾驶人员的异常状态信息确定驾驶人员的驾驶状态，当驾驶状态为异常驾驶状态，则该驾驶人员不满足驾驶条件，不能继续驾驶车辆进行行驶。需要判别待识别图像的异常状态信息的预警等级，当确定待识别图像的异常状态信息中的驾驶人员的头部姿态为低头、抬头、左顾右盼，则确定异常状态信息中驾驶人员的头部姿态异常；当确定待识别图像的异常状态信息中驾驶人员的眼球或视线出现睁眼呆滞、睁眼眼球不看前方、睁眼疲劳异常等，则确定异常状态信息中驾驶人员的眼球视线异常；当确定待识别图像的异常状态信息中眼皮闭合出现场闭眼或眯眼的状态，则确定异常信息驾驶人员的分神或疲劳驾驶。根据异常状态信息中不同的异常状态或不同的异常状态的组合对应的形成不同的预警等级，可以通过不同预警等级对应的预警信息的不同进行相应的预警，可以是通过扬声器的语音预警，也可以是文字预警，预警设备可以是扬声器、喇叭和显示屏等。

本发明实施例装置，通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；根据异常状态信息确定驾驶人员是否满足驾驶条件；当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。即，本发明实施例，通过清晰度的筛选保证待识别图像的识别的正确率，并根据异常预警模型确定待识别图像中驾驶人员在行车过程中行为状态，得异常状态信息，根据异常状态信息与驾驶条件的关系进行预警，避免了仅根据驾驶员的闭眼时长和头部姿态确定驾驶人员状态，提高了驾驶员状态识别的准确度。

下面进一步描述本发明实施例提供的嵌入式司机行为状态预警方法，如图2所示，该方法具体可以包括如下步骤：

S210、通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；

进一步的，在通过摄像头监测驾驶人员得到监测视频之前，还包括：

确定车辆的驾驶位置信息和驾驶人员的人体信息；

根据车辆的驾驶位置信息和驾驶人员的人体信息确定监测驾驶人员的监测位置，监测位置用于指导安装摄像头；

基于驾驶人员的监测位置确定摄像头的监测区域；

根据监测区域和监测需求信息对摄像头进行角度调节。

示例地，驾驶位置信息可以是驾驶人员在车辆内的固定驾驶位置信息，即车辆内对驾驶人员设置的驾驶座位的位置信息，其中，车辆的驾驶位置相对固定，具有一定的可调节范围，每个驾驶人员的个体信息的不同对应的具体的驾驶位置信息不同。驾驶人员的人体信息可以是驾驶人员的身体信息和行为信息，驾驶人员的身体信息可以是身高、体重、面部横竖中线位置信息等，驾驶人员的行为信息可以是驾驶人员驾驶过程中身体姿势中头部倾斜度、身体倾斜度、眼球转动速度、头部移动速度等。监测位置可以是驾驶室内摄像头的安装位置，或者驾驶室内摄像头采集驾驶人员的监测视频的角度对应的定点位置，用于对摄像头进行安装，比如：可以是车辆内瞭望摄像头的孔位，其中，监测位置的确定基于驾驶人位置信息和驾驶人员的人体信息。监测区域可以是摄像头可以清晰监测到驾驶室内驾驶人员的身体区域和驾驶行为区域。监测需求信息可以是基于摄像头需要采集到的驾驶人员的信息，比如：驾驶人员的面部信息、驾驶人员的头部姿态、驾驶人员在驾驶车辆时肢体的位置，驾驶人员的健康信息。其中，驾驶人员的健康信息可以是驾驶人员的心率等信息。

具体实现中，确定当前车辆的驾驶位置信息和驾驶人员的人体信息，根据驾驶位置信息和驾驶人员的人体信息基于摄像头采集最佳清晰度距离，确定摄像头距离人脸的距离，并根据驾驶人员的面部竖中线确定摄像头的活动角度，比如：设备距离人脸可以是25cm，以驾驶人员的面部竖中线左右可以各偏45度。根据摄像头距离人脸的距离和摄像头的活动角度确定监测驾驶人员的监测位置，并基于监测位置对摄像头进行安装。其中，在确定摄像头距离人脸的距离和摄像头的活动角度之前，根据驾驶位置信息、驾驶人员的人体信息和历史驾驶信息确定驾驶人员对应的驾驶位置信息。当驾驶人员进入驾驶室内，并坐于驾驶位置进行驾驶之前，基于当前摄像头和驾驶人员的监测位置确定摄像头对驾驶人员的监测区域，即拍到驾驶室内图像所对应的区域。将监测区域和监测需求信息进行比对，确定监测区域是否可以采集到所有的监测需求信息，当监测区域采集不到所有的监测需求信息，对摄像头进行角度调整，直至监测区域采集到所有监测需求信息。

进一步的，根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像，包括：

确定监测视频中每张图像帧的清晰度；

将每张图像帧的清晰度与预设清晰度阈值进行比对，将监测视频中清晰度大于预设清晰度阈值的图像帧确定为待识别图像。

示例地，可以根据实际需求或实验数据预先设置清晰度阈值，通过清晰度阈值确定该监测视频中每张图像是否可以识别出驾驶人员的异常状体信息。比如，可以将监测视频中每张图像帧的清晰度与预设清晰度阈值进行比较，如果图像帧的清晰度阈值大于预设清晰度阈值，则确定该图像帧中驾驶人员的异常状态信息可以被识别；如果图像真的清晰度小于预设清晰度阈值，则确定该图像中驾驶人员的异常状态信息不能被识别。

具体实现中，在该图像帧大于预设清晰度阈值时，说明当前图像帧中图像画面清晰，则可以对驾驶人员的行为信息进行精准识别，避免因为图像帧图像画面的清晰度不够的情况下，异常预警模型对图像中的驾驶人员的异常状态信息进行误识别，降低异常预警模型识别的准确度。

S220、确定驾驶人员的人体信息，并根据驾驶人员的人体信息确定监测视频中待识别图像的监测要素是否完整；

示例地，可以根据驾驶人员的历史驾驶信息和训练信息确定驾驶人员的人体信息中的行为信息，可以是眼球转动速度和头部移动速度，用于确定待识别图像中驾驶人员的监测要素是否完整。监测要素可以是待识别图像中驾驶人员的各行为动作是否连贯，或完整，比如：眼球转动轨迹是否完整，头部轨迹是否完整。

具体实现中，根据驾驶人员在历史驾驶信息和训练信息确定驾驶人员的人体信息中的行为信息，其中，历史驾驶信息和训练信息可以是驾驶人员的人体信息库中与驾驶人员进行关联存储的，或者根据预设时段内的测试性的驾驶信息和各驾驶项目的训练信息确定驾驶人员的人体信息。根据驾驶人员的人体信息确定监测视频中待识别图像的监测要素是否完整，即根据行为信息中眼球转动速度和头部移动速度确定待识别图像中监测要素是否完整，以避免因为监测视频中图像帧的清晰度的筛选破坏监测视频中驾驶人员的异常状态信息的完整性，降低驾驶人员的异常状态信息的精确度。

S230、当待识别图像的监测要素不完整时，则根据驾驶人员的人体信息对待识别图像的监测要素进行完善，并触发执行将待识别图像输入异常预警模型。

具体实现中，根据行为信息中眼球转动速度和头部移动速度确定待识别图像中监测要素不完整，即根据眼球转动速度和头部移动速度确定待识别图像中驾驶人员的眼球轨迹和头部轨迹不符合人体信息的预设变动范围，则根据驾驶人员人体信息对待识别图像的监测要素进行完善，即根据驾驶人员的眼球转动速度和头部移动速度对待识别图像的监测要求中的眼球轨迹和头部轨迹进行恢复，使得待识别图像中驾驶人员的眼球轨迹和头部轨迹符合人体信息的预设变动范围，同时将完善后的待识别图像输入异常预警模型进行异常状态信息识别。

进一步的，并根据驾驶人员的人体信息确定监测视频中待识别图像的监测要素是否完整，包括：

根据驾驶人员的人体信息确定驾驶人员的预设头部轨迹变动范围和预设眼球轨迹变动范围；

确定待识别图像中相邻两帧之间对应形成的头部轨迹是否在预设头部轨迹变动范围内，并确定待识别图像中相邻两帧之间对应形成的眼球轨迹是否在预设眼球轨迹变动范围内；

当待识别图像中相邻两帧之间对应形成的头部轨迹不符合预设头部轨迹变动范围且眼球轨迹不符合预设变动范围，则确定待识别图像的监测要素不完整。

示例地，预设眼球轨迹变动范围可以是根据驾驶人员的眼球转动速度预设的待识别图像中相邻两帧之间可能出现的眼球轨迹变动范围，可以是监测视频的帧间时间内驾驶人员的眼球变动范围。预设头部轨迹变动范围可以是根据驾驶人员的头部移动速度预设的待识别图像中相邻两帧之间可能出现的头部轨迹变动范围，可以是监测视频的帧间时间内驾驶人员的头部变动范围。

具体实现中，根据驾驶人员的人体信息中的眼球转动速度和头部转动速度预设驾驶人员的预设头部轨迹变动范围和预设眼球轨迹变动范围，可以是根据历史数据的真实变动范围确定，也可以是根据历史数据的仿真模拟关系获得不同转动速度对应的不同的变动范围。计算待识别图像中相邻两帧对应形成的头部轨迹和眼球轨迹，并确定待识别图像中相邻两帧之间对应形成的头部轨迹是否在预设头部轨迹变动范围内，同时确定待识别图像中相邻两帧之间对应形成的眼球轨迹是否在预设眼球轨迹变动范围内，当待识别图像中相邻两帧之间对应形成的头部轨迹不符合预设头部轨迹变动范围且眼球轨迹不符合预设变动范围，则说明待识别图像的监测要素不完整，需要对待识别图像的监测要素进行完善；当待识别图像中相邻两帧之间对应形成的头部轨迹符合预设头部轨迹变动范围且眼球轨迹符合预设变动范围，则说明待识别图像的监测要素完整，可输入异常预警模型进行异常状态识别；当待识别图像中相邻两帧之间对应形成的头部轨迹不符合预设头部轨迹变动范围且眼球轨迹符合预设变动范围，需要综合分析头部轨迹的合理性，确定待识别图像头部位置和眼球位置是否移动，如果移动，则需要对待识别图像的监测要素进行完善；当待识别图像中相邻两帧之间对应形成的头部轨迹符合预设头部轨迹变动范围且眼球轨迹不符合预设变动范围，则需要对待识别图像的监测要素进行完善。

S240、将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；

进一步的，根据异常状态信息确定驾驶人员是否满足驾驶条件，包括：

根据待识别图像确定驾驶人员是否处于异常驾驶状态；

当驾驶人员处于异常驾驶状态，则从待识别图像中识别出人脸区域图像；

根据人脸区域图像确定驾驶人员的心率信息，并根据心率信息确定驾驶人员是否满足驾驶条件。

具体实现中，人脸区域图像可以是待识别图像中驾驶室内驾驶人员的人脸图像区域，用于扣去特定区域内的一块肤色区域进行均值计算，并通过特定区域的预设时长的计算时序特征，对人特定区域的图像进行时频分析确定肤色变化曲线，根据肤色变化曲线确定驾驶人员的心率信息。其中，驾驶人员的心率信息可以是驾驶人员的心率值，在确定驾驶人员处于异常驾驶状态，需要进一步确定驾驶人员的健康状态，当根据驾驶人员的心率信息确定驾驶人员的健康状态为病态，则确定驾驶人员不满足驾驶条件，需要预警及时更换驾驶人员，并呼叫医护人员进行救助；当根据驾驶人员的心率信息确定驾驶人员的健康状态为正常，则确定驾驶人员不满足驾驶条件，则需要对驾驶人员进行驾驶预警，并不需要医护人员。

进一步的，待识别图像包括多张，根据待识别图像确定驾驶人员是否处于异常驾驶状态，包括：

根据待识别图像确定眼球停留时间和闭眼时长；

当待识别图像中的头部姿态异常、眼球停留时间超过预设停留时间、且闭眼时长超过预设时长，则确定驾驶人员处于异常驾驶状态。

示例地，眼球停留时间可以是驾驶人员的眼球中瞳孔在一个方向上的停留时间，用于判断驾驶人员是否处于分神驾驶状态。闭眼时长可以是驾驶人员在驾驶过程中的最长闭眼时长。头部姿态异常可以是驾驶人员头部在预设范围内，头部姿态不是注视前方时，可能出现抬头、低头、左顾右盼的姿态动作。预设停留时间可以是根据需求和实验数据预设的驾驶人员的眼球中瞳孔注视一个方向停留时间。预设时长可以是根据需求和实验数据预设的驾驶人员的正常眼球闭眼或眨眼所需要最长的时间。

具体实现中，将待识别图像输入异常预警模型，得到待识别图像的异常状态信息。根据待识别图像的异常状态信息中眼球停留时间和闭眼时长确定驾驶人员是否处于异常驾驶状态。当待识别图像中的头部姿态异常、眼球停留时间超过预设停留时间、且闭眼时长超过预设时长，则确定驾驶人员处于异常驾驶状态。

本发明实施例中，根据待识别图像确定眼球停留时间和闭眼时长，其中，眼球停留时长和闭眼时长均为待识别图像中多张图像确定一次眼球停留时间和闭眼时长。当预设停留时间和预设时长对应的预设时间段内监测视频的累计停留时间和时长时，则可以是待识别图像中多张图像中总的眼球停留时间和闭眼时长。

S250、根据异常状态信息确定驾驶人员是否满足驾驶条件；

S260、当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。

本发明实施例装置，通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；根据异常状态信息确定驾驶人员是否满足驾驶条件；当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。即，本发明实施例，通过清晰度的筛选保证待识别图像的识别的正确率，并根据异常预警模型确定待识别图像中驾驶人员在行车过程中行为状态，得异常状态信息，根据异常状态信息与驾驶条件的关系进行预警，避免了仅根据驾驶员的闭眼时长和头部姿态确定驾驶人员状态，提高了驾驶员状态识别的准确度。

图3是本发明实施例提供的嵌入式司机行为状态预警装置的结构示意图，如图3所示，该嵌入式司机行为状态预警装置包括：

图像筛选模块310，用于通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

信息确定模块320，用于将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

条件确定模块330，用于根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

驾驶预警模块340，用于当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

一实施例中，所述图像筛选模块310在通过摄像头监测驾驶人员得到监测视频之前，还包括：

确定所述车辆的驾驶位置信息和所述驾驶人员的人体信息；

根据所述车辆的驾驶位置信息和所述驾驶人员的人体信息确定监测所述驾驶人员的监测位置，所述监测位置用于指导安装所述摄像头；

基于所述驾驶人员的监测位置确定所述摄像头的监测区域；

根据所述监测区域和监测需求信息对所述摄像头进行角度调节。

一实施例中，所述图像筛选模块310根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像，包括：

确定所述监测视频中每张图像帧的清晰度；

将所述每张图像帧的清晰度与预设清晰度阈值进行比对，将所述监测视频中清晰度大于所述预设清晰度阈值的图像帧确定为所述待识别图像。

一实施例中，所述信息确定模块320在将所述待识别图像输入异常预警模型之前，还包括：

确定所述驾驶人员的人体信息，并根据所述驾驶人员的人体信息确定所述监测视频中待识别图像的监测要素是否完整；

当所述待识别图像的监测要素不完整时，则根据所述驾驶人员的人体信息对所述待识别图像的监测要素进行完善，并触发执行将所述待识别图像输入异常预警模型。

一实施例中，所述信息确定模块320根据所述驾驶人员的人体信息确定所述监测视频中待识别图像的监测要素是否完整，包括：

根据所述驾驶人员的人体信息确定所述驾驶人员的预设头部轨迹变动范围和预设眼球轨迹变动范围；

确定所述待识别图像中相邻两帧之间对应形成的头部轨迹是否在所述预设头部轨迹变动范围内，并确定所述待识别图像中相邻两帧之间对应形成的眼球轨迹是否在所述预设眼球轨迹变动范围内；

当所述待识别图像中相邻两帧之间对应形成的头部轨迹不符合预设头部轨迹变动范围且眼球轨迹不符合预设变动范围，则确定所述待识别图像的监测要素不完整。

一实施例中，所述条件确定模块330根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件，包括：

根据所述待识别图像确定所述驾驶人员是否处于异常驾驶状态；

当所述驾驶人员处于异常驾驶状态，则从所述待识别图像中识别出人脸区域图像；

根据所述人脸区域图像确定所述驾驶人员的心率信息，并根据所述心率信息确定所述驾驶人员是否满足驾驶条件。

一实施例中，所述条件确定模块330所述待识别图像包括多张，所述根据所述待识别图像确定所述驾驶人员是否处于异常驾驶状态，包括：

根据所述待识别图像确定眼球停留时间和闭眼时长；

当所述待识别图像中的头部姿态异常、所述眼球停留时间超过预设停留时间、且所述闭眼时长超过预设时长，则确定所述驾驶人员处于异常驾驶状态。

本发明实施例装置，通过摄像头监测驾驶人员得到监测视频，并根据监测视频中图像帧的清晰度筛出监测视频中的待识别图像；将待识别图像输入异常预警模型，得到待识别图像的异常状态信息；根据异常状态信息确定驾驶人员是否满足驾驶条件；当驾驶人员不满足驾驶条件，则根据异常状态信息进行预警。即，本发明实施例，通过清晰度的筛选保证待识别图像的识别的正确率，并根据异常预警模型确定待识别图像中驾驶人员在行车过程中行为状态，得异常状态信息，根据异常状态信息与驾驶条件的关系进行预警，避免了仅根据驾驶员的闭眼时长和头部姿态确定驾驶人员状态，提高了驾驶员状态识别的准确度。

图4为本发明实施例提供的一种车辆的结构示意图。图4示出了适于用来实现本发明实施方式的示例性车辆12的框图。图4显示的车辆12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，车辆12以通用计算设备的形式表现。车辆12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

车辆12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被车辆12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。车辆12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

车辆12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该车辆12交互的设备通信，和/或与使得该车辆12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，车辆12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与车辆12的其它模块通信。应当明白，尽管图中未示出，可以结合车辆12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的嵌入式司机行为状态预警方法，该方法包括：

通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的嵌入式司机行为状态预警方法，该方法包括：

通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种嵌入式司机行为状态预警方法，其特征在于，应用于车辆，包括：

通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

2.根据权利要求1所述的方法，其特征在于，在通过摄像头监测驾驶人员得到监测视频之前，还包括：

确定所述车辆的驾驶位置信息和所述驾驶人员的人体信息；

根据所述车辆的驾驶位置信息和所述驾驶人员的人体信息确定监测所述驾驶人员的监测位置，所述监测位置用于指导安装所述摄像头；

基于所述驾驶人员的监测位置确定所述摄像头的监测区域；

根据所述监测区域和监测需求信息对所述摄像头进行角度调节。

3.根据权利要求1所述的方法，其特征在于，根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像，包括：

确定所述监测视频中每张图像帧的清晰度；

将所述每张图像帧的清晰度与预设清晰度阈值进行比对，将所述监测视频中清晰度大于所述预设清晰度阈值的图像帧确定为所述待识别图像。

4.根据权利要求1所述的方法，其特征在于，在将所述待识别图像输入异常预警模型之前，还包括：

确定所述驾驶人员的人体信息，并根据所述驾驶人员的人体信息确定所述监测视频中待识别图像的监测要素是否完整；

当所述待识别图像的监测要素不完整时，则根据所述驾驶人员的人体信息对所述待识别图像的监测要素进行完善，并触发执行将所述待识别图像输入异常预警模型。

5.根据权利要求4所述的方法，其特征在于，并根据所述驾驶人员的人体信息确定所述监测视频中待识别图像的监测要素是否完整，包括：

根据所述驾驶人员的人体信息确定所述驾驶人员的预设头部轨迹变动范围和预设眼球轨迹变动范围；

确定所述待识别图像中相邻两帧之间对应形成的头部轨迹是否在所述预设头部轨迹变动范围内，并确定所述待识别图像中相邻两帧之间对应形成的眼球轨迹是否在所述预设眼球轨迹变动范围内；

当所述待识别图像中相邻两帧之间对应形成的头部轨迹不符合预设头部轨迹变动范围且眼球轨迹不符合预设变动范围，则确定所述待识别图像的监测要素不完整。

6.根据权利要求1所述的方法，其特征在于，根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件，包括：

根据所述待识别图像确定所述驾驶人员是否处于异常驾驶状态；

当所述驾驶人员处于异常驾驶状态，则从所述待识别图像中识别出人脸区域图像；

根据所述人脸区域图像确定所述驾驶人员的心率信息，并根据所述心率信息确定所述驾驶人员是否满足驾驶条件。

7.根据权利要求6所述的方法，其特征在于，所述待识别图像包括多张，所述根据所述待识别图像确定所述驾驶人员是否处于异常驾驶状态，包括：

根据所述待识别图像确定眼球停留时间和闭眼时长；

当所述待识别图像中的头部姿态异常、所述眼球停留时间超过预设停留时间、且所述闭眼时长超过预设时长，则确定所述驾驶人员处于异常驾驶状态。

8.一种嵌入式司机行为状态预警装置，其特征在于，包括：

图像筛选模块，用于通过摄像头监测驾驶人员得到监测视频，并根据所述监测视频中图像帧的清晰度筛出所述监测视频中的待识别图像；

信息确定模块，用于将所述待识别图像输入异常预警模型，得到所述待识别图像的异常状态信息；

条件确定模块，用于根据所述异常状态信息确定所述驾驶人员是否满足驾驶条件；

驾驶预警模块，用于当所述驾驶人员不满足驾驶条件，则根据所述异常状态信息进行预警。

9.一种车辆，其特征在于，所述车辆包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至7中任一所述的嵌入式司机行为状态预警方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一所述的嵌入式司机行为状态预警方法。

Images