CN109017797B - 驾驶员情绪识别方法和实施该方法的车载控制单元 - Google Patents

Abstract

本发明涉及一种识别驾驶员情绪的方法，该方法包括如下步骤：在一段车辆行程内采集能够反映驾驶员情绪的属性数据，并以第一时间间隔将所采集的属性数据分割成多个数据区段；针对所有数据区段，通过聚类算法仅依靠其自身数据获得每个数据区段所属的数据类；对所获得的一个或多个数据类中的每个数据区段赋以相应的情绪标签，使得每一个数据类中的数据区段对应一种情绪类别；以已赋情绪标签的所有数据区段进行机器学习以获得情绪识别模型；及在车辆行驶过程中实时采集属性数据，以所述情绪识别模型识别实时属性数据对应的时间的驾驶员情绪。本发明还涉及一种用于实施该方法的车载控制单元。

Description

驾驶员情绪识别方法和实施该方法的车载控制单元

技术领域

本发明涉及车辆技术领域，具体而言，本发明涉及一种识别驾驶员情绪的方法和实施该方法的车载控制单元。

背景技术

车辆的行驶安全性受驾驶员的个人情绪影响很大，现今由于驾驶员的不良情绪所导致的交通事故层出不穷，假如能够准确地辨认和判断驾驶员的面部表情和认识状况，以在事故发生之前感知驾驶员情绪从而采取相应的干预措施，则能大大削减交通事端和人员伤亡的发生。

另外，随着移动互联网和人工智能的出现，车辆领域发生了很大变化，特别是对于目前比较热门的辅助驾驶和自动驾驶技术而言，不仅要求车辆能够感知车内外环境，还要求时刻关注驾驶员的身体状况和情绪变化。汽车厂商认为，驾驶员的面部表情、目视方向及生命体征在改善车辆与驾驶员的交互体验和自动驾驶技术的未来发展中都属于非常关键的信息。

目前在实际应用中，一般都是通过利用摄像头、心跳探测器、语音采集器、体征探测器等一系列复杂的设备来获知驾驶员的面部表情、脉搏、呼吸频率以及出汗情况，由此判断驾驶员情绪，然而这类设备会导致额外的研发成本和安装复杂性，且易受周围环境的影响，在有些场景下无法准确地辨识驾驶员情绪。例如，利用摄像头捕捉人像的方式一般只能识别出几种有限的表情(例如生气、害怕、高兴、悲伤等)，而且有时人的情绪不一定在表情上体现，有的时候可能只是内心的波澜，无法通过摄像头识别。

发明内容

本发明旨在解决上述问题中的一个或多个，提供一种低成本、高准确度、高效率的驾驶员情绪识别方法，该方法以包括行车参数、道路交通数据、车辆环境数据等在内的属性数据作为分析基础来反推驾驶员情绪，无需安装额外的摄像头、语音采集器、体征探测器等。根据本发明的方法采用机器学习的方式训练分类器，节约了人工成本，并且所能识别的情绪类别更加丰富多样。

根据本发明的一个方面，提供了一种识别驾驶员情绪的方法，该方法包括如下步骤：在一段车辆行程内采集能够反映驾驶员情绪的属性数据，并以第一时间间隔将所采集的属性数据分割成多个数据区段；针对所有数据区段，通过聚类算法仅依靠其自身数据获得每个数据区段所属的数据类；对所获得的一个或多个数据类中的每个数据区段赋以相应的情绪标签，使得每一个数据类中的数据区段对应一种情绪类别；以已赋情绪标签的所有数据区段进行机器学习以获得情绪识别模型；及在车辆行驶过程中实时采集属性数据，以所述情绪识别模型识别实时属性数据对应的时间的驾驶员情绪。

其中，情绪识别模型通过如下步骤获得：将已赋情绪标签的所有数据区段划分为训练集和测试集；利用不同机器学习算法对所述训练集进行训练，以获得多个学习模型；以及利用所述测试集对所述多个学习模型的性能进行测试，以将性能最优的学习模型选定为情绪识别模型。

其中，所述属性数据包括行车参数、交通道路数据、环境数据中的至少一者。

其中，所述行车参数包括车辆行驶速度、加速度、换挡频率、行驶方向、引擎开启时间、熄火时间、车辆位置，所述交通道路数据包括交通拥堵程度、道路上的噪音状况、道路坑洼度、路面湿滑度，所述环境数据包括天气状况数据、车内温度、湿度、音乐、空气质量数据。

根据本发明的另一方面，提供了一种车载控制单元，该车载控制单元连接至车辆总线网络和/或连接至装配于车辆上的传感设备，该车载控制单元能够利用根据本发明的上述方法识别驾驶员情绪并基于所识别的驾驶员情绪发出相应的警示信息或控制指令。

优选地，该车载控制单元为车辆中控台或车辆仪表。

优选地，当识别到第一驾驶员情绪时，车辆中控台或车辆仪表通过其显示屏/扬声器向车辆驾驶员发出警示信息以提醒车辆驾驶员采取相应的操作。

优选地，当识别到第二驾驶员情绪时，该车载控制单元向高级驾驶辅助系统或自动驾驶系统发出控制指令以接管部分或全部的驾驶任务。

通过纳入本文的附图以及随后与附图一起用于说明本发明的某些原理的具体实施方式，本发明的方法所具有的其它特征和优点将变得清楚或更为具体地得以说明。

附图说明

下文将参考附图进一步描述本发明的实施例，在附图中：

图1示出了根据本发明的用于识别驾驶员情绪的方法的流程图；

图2示出了对某段行程内的属性数据进行聚类的示意图；

图3示出了获取用以实施根据本发明的情绪识别方法的机器学习模型的示意图；

图4示出了用于实施根据本发明的情绪识别方法的车载控制单元的信号连接示意图。

具体实施方式

下面将参照附图并通过实施例来描述根据本发明的驾驶员情绪识别方法。在下面的描述中，阐述了许多具体细节以便使所属技术领域的技术人员更全面地了解本发明。但是，对于所属技术领域内的技术人员明显的是，本发明的实现可不具有这些具体细节中的一些。相反，可以考虑用下面的特征和要素的任意组合来实施本发明，而无论它们是否涉及不同的实施例。因此，下面的各个方面、特征、实施例和优点仅作说明之用而不应被看作是权利要求的要素或限定，除非在权利要求中明确提出。

在驾驶车辆的过程中，驾驶员的情绪可能受到周围多种因素的影响，例如驾驶员在堵车情况下会感到有压力，在高速路上以单一速度行驶时可能感到疲劳、乏味，需要频繁地换道时会感到烦躁、生气，或者下雨天会感到忧郁、分神。这些情绪有时无法通过常规的摄像机捕捉，但其通常会反映在驾驶员的驾驶行为上，例如，驾驶员在感到焦虑时可能会频繁地换挡或踩刹车，在疲劳或分神时长时间不会操作车辆，在亢奋时会超速驾驶或执行甩尾、漂移等危险动作。

因此，本发明旨在收集这些能够反映驾驶员情绪的属性数据，通过对这些数据进行聚类分析来反推驾驶员的当前情绪。其中，属性数据的属性可粗略划分为三大类：第一类为行车参数，如车辆行驶速度、加速度、换挡频率、行驶方向、引擎开启时间、熄火时间、车辆位置等；第二类为交通道路数据，如交通拥堵程度、道路上的噪音状况、道路坑洼度、路面湿滑度等；第三类为环境数据，如天气状况数据、车内温度、湿度、音乐、空气质量数据等。

图1示出了基于上述构思的驾驶员情绪识别方法的流程图。如图1中所示，首先在步骤S101中，例如利用车载T-box以一次开车行程为单位收集属性数据，将每一次开车行程的属性数据切分成若干区段，例如以每5分钟的时间间隔分割属性数据，将每5分钟区间内的数据区段连接成时间序列，则每个数据区段/数据集结合了这5分钟内的行车参数、交通道路数据及环境数据。

然后，在步骤S102中，针对所分割出来的所有数据区段，通过聚类算法仅依靠这些数据区段的自身数据属性获得每个数据区段所属的数据类。本领域是人员可以理解，步骤S102是根据所分割出来的多个数据区段中的属性数据之间的关联程度以一种“物以类聚”的方式将属性类似(关联程度高)的数据聚合为一类，则每个数据类对应一种驾车行为。作为一个示例，例如可采用k-means聚类算法对所有的数据区段做聚类，以把所述多个数据区段聚合成k种类别，其中k可由用户自由设定，例如将k设定为20，则可以把所有的数据区段聚合成20类。如果需要细分出30种情绪，则可以将k设定为30。

其中，k-means算法的原理为按K值先随机定义k个中心点，每个中心点包括某个时刻所采集的所有属性数据(例如包括图2的(a)表中的第一行所列举的属性数据)，通过算法不断收敛最终获得正式的k个中心点，则将每个中心点周边的数据(和中心点一定距离内的数据)归集为和该中心点同属一个数据类。本领域技术人员应当理解，对多个数据区段做聚类并不限于所列举的k-means算法，并且分割属性数据的时间间隔也可由用户自由设定，例如可以以每1分钟、2分钟、3分钟的时间间隔分隔某段行程所采集的属性数据。

随后，在步骤S103中，基于步骤S102中所获得的聚类结果，对所获得的一个或多个数据类中的每个数据区段赋以相应的情绪标签(label)，使得每一个数据类的数据区段对应一种情绪类别，其中，赋以情绪标签的过程即为将聚类所获得的k种类别的属性数据人工分配以对应的驾驶员情绪的过程。接下来，需要对已赋情绪标签的所有数据区段进行机器学习以获得情绪识别模型。具体地，在步骤S104中将所有5分钟的数据区段划分成训练集和测试集，随后在步骤S105中利用训练集以不同的算法，例如梯度提升树(gradient boostedtrees)、逻辑回归法(logistic regression)、深度学习(deep leaning)等训练出多个学习模型，再在步骤S106中利用测试集测试哪种算法/模型的性能最优，从而以交叉认证的方式选定性能最优的学习模型作为最终的情绪识别模型，即，用作根据属性数据推测驾驶员情绪的分类器。

在实际应用场景当中，实时采集车辆行驶过程中的属性数据，并将所采集的属性数据应用到所获得的情绪识别模型上，以利用所述情绪识别模型识别实时属性数据所对应的时刻的驾驶员情绪(步骤S107)。

其中，考虑到驾驶员的情绪一般会反映在他/她的驾驶行为上，通过数据分析驾驶员的驾驶行为，可以更精确地获知他/她处于何种情绪中，因此，在实际应用场景当中从车辆上实时采集的数据结合了当前的行车参数，优选包括车辆行驶速度、加速度、换挡频率、行驶方向、引擎开启时间、熄火时间、车辆位置等。另外，考虑到驾驶员的情绪还会受到周围环境的影响，因此除了行车参数以外从车辆上实时采集的数据还结合了交通道路数据、环境数据，例如当前的交通拥堵程度、道路上的噪音状况、道路坑洼度、路面湿滑度、天气状况数据、车内温度、湿度、音乐、空气质量数据等，通过综合考虑上述可能反映/影响驾驶员情绪的数据可以使得驾驶员的情绪识别更加准确。

其中，根据本发明的上述情绪识别方法可借助车载控制单元(例如车辆中控台或车辆仪表)实施，该车载控制单元连接装配于车辆上的传感设备以获得属性数据，并且还可连接车辆总线网络以在识别出驾驶员的当前情绪之后，基于所识别的驾驶员情绪发出相应的警示信息或控制指令(步骤S108)。例如当识别到分神的驾驶员情绪时，例如车辆中控台或车辆仪表通过其显示屏/扬声器向车辆驾驶员发出警示信息以提醒车辆驾驶员采取相应的操作，或者当识别到疲劳的驾驶员情绪时车载控制单元向ADAS(高级驾驶辅助系统)或自动驾驶系统发出控制指令以接管驾驶任务。作为另一示例，当识别到愤怒的驾驶员情绪时，车载控制单元控制车辆打开氛围灯、舒缓音乐。

图2示出了对某段行程内的属性数据进行聚类的示意图。如图2所示，假设行程1从起始地出发到达目的地。采集该段行程内的属性数据(例如包括车辆速度、方向、时间、GPS位置、天气状况以及控制质量指数AQI)，并将这些数据以一定的时间间隔(例如5分钟)进行分割，则每5分钟的时间区段内的数据集如图2中的(a)所示。将所有5分钟的数据集以特定算法做聚类，例如如图2中的(b)所示聚类成三类群簇1、群簇2、群簇3，然后人工理解三个cluster里的数据集含义，群簇1是开心，群簇2是平静，群簇3是不开心。

图3示出了获取用以实施根据本发明的情绪识别方法的机器学习模型的示意图。如图2中所示对所有5分钟的数据集进行聚类并基于聚类结果(群簇1、群簇2、群簇3)对不同类别的数据集打标签(群簇1是开心，群簇2是平静，群簇3是不开心)，然后利用图3中所示的流程训练学习模型。具体而言，将所有带标签的数据区段划分成训练集和测试集，随后利用训练集以不同的算法训练出多个学习模型，再利用测试集测试所述多个学习模型的性能，从而将性能最优的学习模型选定作为最终的驾驶员情绪识别模型。

图3中示出了利用训练集训练出四个学习模型，包括模型1、模型2、模型3、模型4，然后利用测试集测试这四个学习模型的性能，分别对应性能1、性能2、性能3、性能4，其中得出模型3所对应的性能3最优，因此该模型3被用作驾驶员情绪识别模型/分类器。在实际应用中，将实时数据以一定的时间间隔应用至模型3，得到驾驶员情绪的识别结果。

图4示出了用于实施根据本发明的情绪识别方法的车载控制单元的信号连接示意图。如图4中所示，图1至3中所示出的情绪识别方法可借助车载控制单元(例如车辆中控台或车辆仪表)实施，该车载控制单元连接有传感设备以获得属性数据，并且还可连接车辆总线网络以在识别出驾驶员的当前情绪之后，基于所识别的驾驶员情绪发出相应的警示信息或控制指令。例如当识别到分神的驾驶员情绪时，例如车载控制单元、特别是车辆中控台或车辆仪表通过其显示屏/扬声器向车辆驾驶员发出警示信息以提醒车辆驾驶员采取相应的操作，或者当识别到疲劳的驾驶员情绪时向ADAS或自动驾驶系统发出控制指令以接管驾驶任务。

综上所述，根据本发明的方法能够以低成本、高准确度、高效率的方式实现驾驶员的情绪识别。该方法以包括行车参数、道路交通数据、车辆环境数据等在内的属性数据作为分析基础来反推驾驶员情绪，无需安装额外的摄像头、语音采集器、体征探测器等。另外，根据本发明的方法采用非监督式机器学习的方式训练分类器，节约了人工成本，并且所能识别的情绪类别更加丰富多样。

本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器或微控制器执行本发明各个实施方式所述方法的全部或部分步骤。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。在本发明各方法实施例中，所述各步骤的序号并非用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，对各步骤的先后变化也在本发明的保护范围之内。

虽然本发明已以较佳实施例披露如上，但本发明并非限于此。任何本领域技术人员，在不脱离本发明的精神和范围内所作的各种更动与修改，均应纳入本发明的保护范围内，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (8)

1.一种通过机器学习识别驾驶员情绪的方法，其特征在于，该方法包括如下步骤：

在一段车辆行程内采集能够反映驾驶员情绪的属性数据，并以第一时间间隔将所采集的属性数据分割成多个数据区段；

针对所有数据区段，通过聚类算法仅依靠其自身数据获得每个数据区段所属的数据类；

对所获得的一个或多个数据类中的每个数据区段赋以相应的情绪标签，使得每一个数据类中的数据区段对应一种情绪类别；

以已赋情绪标签的所有数据区段进行机器学习以获得情绪识别模型；及

在车辆行驶过程中实时采集属性数据，以所述情绪识别模型识别实时属性数据对应的时间的驾驶员情绪。

2.根据权利要求1所述的方法，其特征在于，情绪识别模型通过如下步骤获得：

将已赋情绪标签的所有数据区段划分为训练集和测试集；

利用不同机器学习算法对所述训练集进行训练，以获得多个学习模型；以及

利用所述测试集对所述多个学习模型的性能进行测试，以将性能最优的学习模型选定为情绪识别模型。

3.根据权利要求1或2所述的方法，其特征在于，所述属性数据包括行车参数、交通道路数据、环境数据中的至少一者。

4.根据权利要求3所述的方法，其特征在于，

所述行车参数包括车辆行驶速度、加速度、换挡频率、行驶方向、引擎开启时间、熄火时间、车辆位置，

所述交通道路数据包括交通拥堵程度、道路上的噪音状况、道路坑洼度、路面湿滑度，

所述环境数据包括天气状况数据、车内温度、湿度、音乐、空气质量数据。

5.一种车载控制单元，其特征在于，该车载控制单元连接至车辆总线网络和/或连接至装配于车辆上的传感设备，该车载控制单元能够利用根据权利要求1所述的方法识别驾驶员情绪并基于所识别的驾驶员情绪发出相应的警示信息或控制指令。

6.根据权利要求5所述的车载控制单元，其特征在于，该车载控制单元为车辆中控台或车辆仪表。

7.根据权利要求6所述的车载控制单元，其特征在于，当识别到第一驾驶员情绪时，车辆中控台或车辆仪表通过其显示屏/扬声器向车辆驾驶员发出警示信息以提醒车辆驾驶员采取相应的操作。

8.根据权利要求5所述的车载控制单元，其特征在于，当识别到第二驾驶员情绪时，该车载控制单元向高级驾驶辅助系统或自动驾驶系统发出控制指令以接管部分或全部的驾驶任务。

Images