CN110001652B - 驾驶员状态的监测方法、装置及终端设备 - Google Patents

Abstract

本发明适用于计算机技术领域，提供了一种驾驶员状态的监测方法、装置和终端设备，所述方法包括：获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；根据人脸视频及语音信息，确定驾驶员的生理指标和心理指标；根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。本发明通过视频和音频双重因素确定驾驶员的生理指标和心理指标，能够使生理指标和心理指标的检查结果更加精确，从而根据精确的检测结果对驾驶行为进行干预，避免驾驶员因疲劳、心理紧张(如路怒)或突发疾病等危险驾驶造成交通事故，保证驾驶员的行车安全。

Description

驾驶员状态的监测方法、装置及终端设备

技术领域

本发明属于计算机技术领域，尤其涉及一种驾驶员状态的监测方法、装置及终端设备。

背景技术

随着汽车数量的日益增多和高速公路的不端延伸，车速越来越快，道路交通安全形势日益严峻，汽车交通事故随之增多，不仅造成了大量人员伤亡和巨额的经济损失，而且导致了诸多社会问题。根据调查显示，交通事故的两个重要原因就是心理紧张(如路怒等)和疲劳驾驶，驾驶员在心理紧张或者疲劳时，对周围环境的感知判断能力和对车辆的操控能力都大幅度降低，很容易发生交通事故。

目前，对驾驶员疲劳驾驶的防范措施通常是通过对驾驶员的行驶过程进行图像监测，并根据图像判断是否为瞌睡，但是单纯的瞌睡监测是疲劳驾驶的结果，无法提前准确的判断出驾驶员的疲劳状态和心理状态，对危险驾驶的预防效果欠佳。

发明内容

有鉴于此，本发明实施例提供了驾驶员状态的监测方法及终端设备，以解决现有技术中单纯的图像监测无法准确的判断出驾驶员的身体状态，对危险驾驶的防范效果欠佳的问题。

本发明实施例的第一方面提供了一种驾驶员状态的监测方法，包括：

获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；

根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；

根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；

根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。

本发明实施例的第二方面提供了一种驾驶员状态的监测装置，包括：

驾驶员信息获取模块，用于获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；

指标生成模块，用于根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；

健康指标检测模块，用于根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；

防范措施获取模块，用于根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防范措施。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述驾驶员状态的监测方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述驾驶员状态的监测方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。本发明实施例通过视频和音频双重因素确定驾驶员的生理指标、心理指标及健康指标，能够使生理指标、心理指标和健康指标的检查结果更加精确，从而根据精确的检测结果对驾驶行为进行干预，避免驾驶员因疲劳、心理紧张或突发疾病等危险驾驶造成交通事故，保证驾驶员的行车安全。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的驾驶员状态的监测方法的实现流程示意图；

图2是本发明实施例提供的图1中S101的实现流程示意图；

图3是本发明实施例提供的图2中S201的实现流程示意图；

图4是本发明实施例提供的图1中S103的实现流程示意图；

图5是本发明实施例提供的驾驶员状态的监测方法的结构示意图；

图6是本发明实施例提供的终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例1：

图1示出了本发明的一个实施例提供的驾驶员状态的监测方法的实现流程，其过程详述如下：

S101：获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息。

在本实施例中，驾驶员状态的监测方法应用于设置在驾驶车辆内部的终端设备。终端设备分别与图像采集装置和麦克风连接，图像采集装置设置于驾驶位前方可以拍摄到驾驶员脸部图像的位置。同样的，麦克风设置在驾驶位前方能够清晰接收到驾驶员声音的位置。

在本实施例中，图像采集装置采集目标人物的人脸图像，并合成人脸视频。图像采集装置可以为摄像头、摄像机、相机、扫描仪、手机、平板电脑等其他带有拍照功能的设备中的一种或多种，以及视频采集卡。

当图像采集装置采集到人脸视频时，各个图像采集装置按照预设时间段将人脸视频发送至终端设备，预设时间段可以为5s或者10s。

S102：根据所述人脸视频及语音信息，确定所述驾驶员的生理指标和心理指标。

在本实施例中，单独的基于人脸视频的心理检测可能存在误差，因此，为了提高驾驶员心理指标的检测，对人脸视频及语音信息进行综合计算分析，得到准确的心理指标。

S103：根据所述驾驶员的生理指标，对所述驾驶员的健康指标进行检测。

在本实施例中，根据驾驶员的生理指标和心理指标，可以检测驾驶员的健康指标是否存在异常，如房颤或者糖尿病等异常。

S103：根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防范措施。

在本实施例中，当检测出驾驶员当前的生理指标、心理指标及健康指标等身体状态信息时，根据身体的状态信息对行车驾驶行为采取相应的措施，例如，当检测到驾驶员疲惫时，可以发出警告，并对车辆进行限速，从而降低事故发生的概率。

从上述实施例可知，本发明实施例获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。本发明实施例通过视频和音频双重因素确定驾驶员的生理指标、心理指标及健康指标，能够使生理指标、心理指标和健康指标的检查结果更加精确，从而根据精确的检测结果对驾驶行为进行干预，避免驾驶员因疲劳或突发疾病等危险驾驶造成交通事故，保证驾驶员的行车安全。

在本发明的一个实施例中，所述人脸视频包括第一人脸视频和第二人脸视频，所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头，图1的S101具体包括：

获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频；或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸信息。

在本实施例中，由于驾驶员在开车途中，外界光线变化较大，因此可以采用红外摄像头来保持恒定的照明。红外摄像头采用红外线照明灯照射驾驶员，使照射到驾驶员身上的光线恒定，红外摄像头采用红外滤光片，滤除可见光，得到红外图像，使拍摄的图像不受外界可见光的干扰，提高人脸视频的准确性。

在本实施例中，在光线变化不大的情况下，也可以采用普通彩色摄像头的第二人脸视频进行生理指标提取。

在本实施例中，普通彩色摄像头和红外摄像头的选择根据实时的现场光照情况自动进行判断，具体包括：

终端设备获取一段时间内的光照信息，当光照强度变化较小时，调用普通彩色摄像头拍摄驾驶员的人脸视频，当光照强度变化较大时，调用红外摄像头拍摄驾驶员的人脸视频，本实施例中一段时间可以为5分钟或者10分钟。

如图2所示，在本发明的一个实施例中，图2示出了S102的具体实现流程，其过程详述如下：

S201：根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标，所述生理特征包括性别、年龄和种族，所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种，所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种。

S202：提取所述语音信息中的语音特征，并将所述语音信息转化为文本信息。

在本实施例中，根据驾驶员的语音信息中的语音特征，可以得到该驾驶员的当前状态，例如，可以根据驾驶员说话的语气，判断该驾驶员是否存在痛苦、不舒服的情况。

可选的，还可以将提取到的语音信息转化为文本信息，根据文本信息及语音特征，准确的获取驾驶员想要表达的意思。

S203：根据所述生理特征、表情信息、生理指标、语音特征及文本信息，得到所述驾驶员的心理指标。

在本实施例中，根据人脸视频及语音信息，可以得到驾驶员的生理指标及心理指标，从而根据驾驶员的生理指标及心理指标，得到驾驶员当前的身体健康状况。

如图3所示，在本发明的一个实施例中，图3示出了S201的具体实现流程，其过程详述如下：

S301：将所述人脸视频输入第一深度学习模型，得到所述驾驶员的生理特征。

在本实施例中，可以预先采用大量的第一训练样本训练第一深度学习模型，第一训练样本包括人脸视频和生理特征。然后将人脸视频输入训练好的第一深度学习模型，根据人脸视频中的人脸特征，得到驾驶员的性别、年龄和种族等生理特征。

可以理解的，由于年龄、性别以及种族不同，人的生理指标的正常取值范围不同。因此，为了提高生理指标检测结果的准确性，需要通过人脸视频获取驾驶员的生理特征，然后通过获取到的生理指标，参考生理特征，确定驾驶员的生理指标是否正常。

S302：将所述人脸视频输入第二深度学习模型，得到所述驾驶员的表情信息。

在本实施例中，获取第二训练样本训练第二深度学习模型，第二训练样本包括人脸视频和对应的表情信息。然后将人脸视频输入训练好的第二深度学习模型，提取人脸视频中的表情信息，表情信息可以包括微笑、哭泣和痛苦等表情。

S303：根据所述人脸视频，检测所述驾驶员毛细血管的变化规律，得到所述驾驶员的心率、血氧及心率变异性；以及检测所述驾驶员呼吸时肌肉的变化规律，得到所述驾驶员的呼吸数据。

在本实施例中，当人脸视频为第一人脸视频时，第一人脸视频为驾驶员的人脸红外图像，通过对驾驶员呼吸时毛细血管的变化规律进行检测分析，得到驾驶员的心率、心率变异性、血氧及血压等生理指标。并根据第一人脸视频，检测驾驶员呼吸时肌肉的变化规律，得到驾驶员的呼吸数据。进一步地，还可以通过深度学习方法确定驾驶员的生理指标。

当人脸视频为第二人脸视频时，第二人脸视频为驾驶员的人脸彩色图像，通过对驾驶员呼吸时毛细血管的变化规律进行检测分析，得到驾驶员的心率、心率变异性、血氧及血压等生理指标。并根据第二人脸视频，检测驾驶员呼吸时肌肉的变化规律，得到驾驶员的呼吸数据。进一步地，还可以通过深度学习方法确定驾驶员的生理指标。

在本发明的一个实施例中，图2中的S203的实现流程还可以包括：

将所述生理特征、表情信息、生理指标、语音特征及文本信息输入第三深度学习模型，得到所述驾驶员的心理指标。

在本实施例中，通过对生理特征、表情信息、生理指标、语音信息等多种因素综合分析，可以得到对应的心理指标。将这种关系经过训练得到第三深度学习模型，从而根据第三深度学习模型，及上述多种因素，得到驾驶员的心理指标，能够提高心理指标检测的准确性。

在本实施例中，心理指标可以包括清醒、生理疲惫、昏昏欲睡、紧张、放松、痛苦、愉悦等中的一种或多种。

在本发明的一个实施例中，所述心理指标包括紧张和疲惫，所述健康指标包括异常指标，所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种，S103的具体实现流程可以如图4所示，其过程详述如下：

S401：若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标，则生成语音提醒信息及限速指令，并播报所述语音提醒信息，以及发送所述限速指令至所述车辆控制端，所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度。

具体地，若驾驶员的血压变化值超出预设血压变化阈值，则判定驾驶员身体状况非常差，处于危险驾驶状态，则生成语音提醒信息，提醒驾驶员当前身体状况非常差，建议靠边停车，并对车辆进行限速控制或停车控制。

进一步地，当检测到驾驶员的身体状况非常差时，终端设备可以根据检测得到的结果生成报警信息，报警信息包括GPS定位得到的位置信息、检测得到的驾驶员的心理指标及生理指标，将报警信息发送至急救中心，急救人员根据报警信息可以根据驾驶员的心理指标和生理指标提前准备需要的药物和设备，并及时的到达现场，从而避免驾驶员在行驶过程中发生急症而造成的事故，保证了驾驶员及其他路人的安全。

S402：若所述驾驶员的心理指标为紧张或疲惫，则生成音乐播放指令，并将所述音乐播放指令发送至车载音乐播放器，所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。

在本实施例中，当心理指标为紧张或疲惫时，也可以生成限速指令，对车辆进行自动限速，同时可以生成语音信息，提醒驾驶员注意休息，避免疲劳驾驶。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例2：

如图5所示，本发明的一个实施例提供的驾驶员状态的监测装置100，用于执行图1所对应的实施例中的方法步骤，其包括：

驾驶员信息获取模块110，用于获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；

指标生成模块120，用于根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；

健康指标检测模块130，用于根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；

防范措施获取模块140，用于根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防范措施。

从上述实施例可知，本发明实施例获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施。本发明实施例通过视频和音频双重因素确定驾驶员的生理指标、心理指标及健康指标，能够使生理指标、心理指标和健康指标的检查结果更加精确，从而根据精确的检测结果对驾驶行为进行干预，避免驾驶员因疲劳或突发疾病等危险驾驶造成交通事故，保证驾驶员的行车安全。

在本发明的一个实施例中，所述人脸视频包括第一人脸视频和第二人脸视频，所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头，图5所对应的实施例中的驾驶员信息获取模块110包括：获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频；或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸视频。

在本发明的一个实施例中，图5所对应的实施例中的指标生成模块还包括用于执行图2所对应的实施例中的方法步骤的结构，其包括：

人脸视频分析单元，用于根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标，所述生理特征包括性别、年龄和种族，所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种，所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种；

语音分析单元，用于提取所述语音信息中的语音特征，并将所述语音信息转化为文本信息；

心理指标获取单元，用于根据所述生理特征、表情信息、生理指标、语音特征及文本信息，得到所述驾驶员的心理指标。

在本发明的一个实施例中，人脸视频分析单元还包括用于执行图3所对应的实施例中的方法步骤的结构，其包括：

生理特征获取子单元，用于将所述人脸视频输入第一深度学习模型，得到所述驾驶员的生理特征；

表情信息获取子单元，用于将所述人脸视频输入第二深度学习模型，得到所述驾驶员的表情信息；

生理指标获取子单元，用于检测所述驾驶员毛细血管的变化规律，得到所述驾驶员的心率、血氧及心率变异性；以及检测所述驾驶员呼吸时肌肉的变化规律，得到所述驾驶员的呼吸数据。

在本发明的一个实施例中，心理指标获取单元具体包括：将所述生理特征、表情信息、生理指标、语音特征及文本信息输入第三深度学习模型，得到所述驾驶员的心理指标。

在本发明的一个实施例中，所述心理指标包括紧张和疲惫，所述健康指标包括异常指标，所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种，图5所对应的实施例中的防范措施获取模块130还包括用于执行图4所对应的实施例中的方法步骤的结构，其包括：

第一防范措施获取单元，用于若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标，则生成语音提醒信息及限速指令，并播报所述语音提醒信息，以及发送所述限速指令至所述车辆控制端，所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度；

第二防范措施获取单元，用于若所述驾驶员的心理指标为紧张或疲惫，则生成音乐播放指令，并将所述音乐播放指令发送至车载音乐播放器，所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。

在一个实施例中，驾驶员状态的监测装置100还包括其他功能模块/单元，用于实现实施例1中各实施例中的方法步骤。

实施例3：

本发明实施例还提供了一种终端设备6，包括存储器61、处理器60以及存储在存储器61中并可在处理器60上运行的计算机程序62，所述处理器60执行所述计算机程序62时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述处理器60执行所述计算机程序62时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图5所示的模块110至140的功能。

所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备6可包括，但不仅限于，处理器60、存储器61。例如所述终端设备6还可以包括输入输出设备、网络接入设备、总线等。

所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器60等。

所述存储器61可以是所述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序62以及所述终端设备6所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。

实施例4：

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序62，计算机程序62被处理器60执行时实现如实施例1中所述的各实施例中的步骤，例如图1所示的步骤S101至步骤S104。或者，所述计算机程序62被处理器60执行时实现如实施例2中所述的各装置实施例中的各模块的功能，例如图5所示的模块110至140的功能。

所述的计算机程序62可存储于一计算机可读存储介质中，该计算机程序62在被处理器60执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序62包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例系统中的模块或单元可以根据实际需要进行合并、划分和删减。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种驾驶员状态的监测方法，其特征在于，包括：

获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；

根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；

根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；

根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防预措施；

所述根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标，包括：

根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标；

提取所述语音信息中的语音特征，并将所述语音信息转化为文本信息；

根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息，得到所述驾驶员的心理指标。

2.如权利要求1所述的驾驶员状态的监测方法，其特征在于，所述人脸视频包括第一人脸视频和第二人脸视频，所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头，所述获取图像采集装置采集的驾驶员的人脸视频，包括：

获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频；或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸信息。

3.如权利要求1所述的驾驶员状态的监测方法，其特征在于，

所述生理特征包括性别、年龄和种族，所述生理指标包括心率、呼吸数据、心率变异性、血氧、和血压变化值中的一种或多种，所述表情包括喜欢、愤怒、悲哀、惊惧、厌恶、焦急和平淡中的一种或多种。

4.如权利要求3所述的驾驶员状态的监测方法，其特征在于，所述根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标，包括：

将所述人脸视频输入第一深度学习模型，得到所述驾驶员的生理特征；

将所述人脸视频输入第二深度学习模型，得到所述驾驶员的表情信息；

根据所述人脸视频，检测所述驾驶员毛细血管的变化规律，得到所述驾驶员的心率、血氧及心率变异性；以及检测所述驾驶员呼吸时肌肉的变化规律，得到所述驾驶员的呼吸数据。

5.如权利要求3所述的驾驶员状态的监测方法，其特征在于，所述根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息，得到所述驾驶员的心理指标，包括：

将所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息输入第三深度学习模型，得到所述驾驶员的心理指标。

6.如权利要求1至2任一项所述的驾驶员状态的监测方法，其特征在于，所述心理指标包括紧张和疲惫，所述健康指标包括异常指标，所述异常指标包括心率过高、呼吸过快、血氧过低、血压变化过速、房颤和糖尿病中的一种或多种，所述根据所述驾驶员的生理指标及心理指标，生成相应的防范措施，包括：

若所述驾驶员的至少一个生理指标超出预设生理指标阈值或至少一个健康指标为异常指标，则生成语音提醒信息及限速指令，并播报所述语音提醒信息，以及发送所述限速指令至车辆控制端，所述限速指令用于指示所述车辆控制端根据所述限速指令减小车辆的最大运行速度；

若所述驾驶员的心理指标为紧张或疲惫，则生成音乐播放指令，并将所述音乐播放指令发送至车载音乐播放器，所述音乐播放指令用于指示所述车载音乐播放器播放舒缓音乐。

7.一种驾驶员状态的监测装置，其特征在于，包括：

驾驶员信息获取模块，用于获取图像采集装置采集的驾驶员的人脸视频，并获取麦克风采集的驾驶员的语音信息；

指标生成模块，用于根据所述人脸视频及所述语音信息，确定所述驾驶员的生理指标和心理指标；

健康指标检测模块，用于根据所述驾驶员的生理指标及心理指标，对所述驾驶员的健康指标进行检测；

防范措施获取模块，用于根据所述驾驶员的生理指标、心理指标及健康指标，生成相应的防范措施；

所述指标生成模块包括：

人脸视频分析单元，用于根据所述人脸视频，提取所述驾驶员的生理特征、表情信息及生理指标；

语音分析单元，用于提取所述语音信息中的语音特征，并将所述语音信息转化为文本信息；

心理指标获取单元，用于根据所述生理特征、所述表情信息、所述生理指标、所述语音特征及所述文本信息，得到所述驾驶员的心理指标。

8.如权利要求7所述的驾驶员状态的监测装置，其特征在于，所述人脸视频包括第一人脸视频和第二人脸视频，所述图像采集装置包括至少一个红外摄像头和至少一个普通彩色摄像头，所述驾驶员信息获取模块，包括：

获取至少一个红外摄像头发送的所述驾驶员的第一人脸视频；

或获取至少一个普通彩色摄像头发送的所述驾驶员的第二人脸视频。

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。

Images