CN112677977B - 行车状态识别方法、装置、电子设备和转向灯控制方法 - Google Patents

Abstract

本发明提供一种行车状态识别方法、装置、电子设备和转向灯控制方法，所述行车状态识别方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于所述转头信息、所述车道信息、所述转角幅度信息和所述车辆与路口的关系信息，确定行车状态，所述行车状态包括转向、直行和其他。根据本发明的行车状态识别方法，通过采集车辆自身参数信息、车辆外部环境信息和驾驶员的头部动作，实现了对各种有效信息的综合利用，可以准确识别驾驶员的驾驶意图，确定行车状态，有效弥补了驾驶员对车辆控制的不足。

Description

行车状态识别方法、装置、电子设备和转向灯控制方法

技术领域

本发明涉及车辆自动控制技术领域，尤其涉及一种行车状态识别方法、装置、电子设备和转向灯控制方法。

背景技术

随着信息时代的发展，应用驾驶辅助系统的车型越来越多，且驾驶辅助系统的功能越来越多，控制准确度也越来越高。而识别或预测车辆的行车状态，是进行下一步辅助控制的基础。

以打转向灯为例：比如驾驶员刚刚打转向灯后执行了变道，在变道完成后，由于方向盘回正时的角度较小，转向灯一直处于开启状态；或者驾驶员准备转向，并提前打了转向灯，由于避障等原因，转动方向盘，导致转向灯熄灭。错误的转向灯状态会影响其他车辆的判断，危及行车安全。

以高速行驶为例：驾驶员在高速公路行车时，车速较快，高速公路的弯道一般是事故的多发地，如果能提前准确识别直行还是转向，有助于提醒驾驶员降低车速。

发明内容

本发明提供一种行车状态识别方法、装置、电子设备和转向灯控制方法，用以解决现有技术中的驾驶辅助系统识别准确率不高的缺陷，实现准确识别驾驶员的驾驶意图，确定行车状态。

本发明提供一种行车状态识别方法，包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于所述转头信息、所述车道信息、所述转角幅度信息和所述车辆与路口的关系信息，确定行车状态，所述行车状态包括转向、直行和其他。

根据本发明提供的一种行车状态识别方法，所述基于驾驶员的人脸图像，确定驾驶员的转头信息，包括：

从采集到的驾驶员的人脸图像中，筛选出目标人脸图像；

基于所述目标人脸图像，确定人脸朝向特征；

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，所述转头信息包括所述转头频率特征。

根据本发明提供的一种行车状态识别方法，所述从采集的驾驶员的人脸图像中，筛选出目标人脸图像，包括：

以目标时间间隔捕捉驾驶员的人脸图像；

对比相邻的两张人脸图像的差异度；

在所述差异度大于目标值的情况下，确定所述相邻的两张人脸图像为所述目标人脸图像。

根据本发明提供的一种行车状态识别方法，所述基于所述目标人脸图像，确定人脸朝向特征，包括：

对所述目标人脸图像的目标区域进行特征提取，得到人脸特征向量；

基于所述人脸特征向量，确定所述人脸朝向特征。

根据本发明提供的一种行车状态识别方法，所述基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，包括：

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在所述目标时间段内的转头次数；

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在所述目标时间段内的转头总时长；

基于所述转头次数和所述转头总时长，确定所述转头频率特征；

其中，所述目标时间段的起点为确定驾驶员转头的时刻。

根据本发明提供的一种行车状态识别方法，所述基于行车图像，确定车辆的车道信息，包括：

将所述行车图像进行预处理；

对预处理后的行车图像进行边缘检测，得到边缘特征；

确定所述预处理后的行车图像的掩膜图；

根据所述边缘特征和所述掩膜图的掩膜区域，从所述预处理后的行车图像中，提取目标像素点；

基于所述目标像素点，确定对应的车道线；

基于所述车道线，确定所述车道信息。

根据本发明提供的一种行车状态识别方法，所述车辆的工作参数包括：车辆的轮胎转角、车速、车重和轮胎摩擦力。

本发明还提供一种行车状态识别装置，包括：第一确定模块，用于基于驾驶员的人脸图像，确定驾驶员的转头信息；第二确定模块，用于基于行车图像，确定车辆的车道信息；第三确定模块，用于基于车辆的工作参数，确定车辆的转角幅度信息；第四确定模块，用于基于车辆的位置信息，确定车辆与路口的关系信息；第五确定模块，用于基于所述转头信息、所述车道信息、所述转角幅度信息和所述车辆与路口的关系信息，确定行车状态，所述行车状态包括转向、直行和其他。

本发明还提供一种转向灯控制方法，包括：如上述任一种所述的行车状态识别方法；获取车辆的转向灯的状态信息；基于所述行车状态和所述转向灯的状态信息，确定转向灯控制指令。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述行车状态识别方法或转向灯控制方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述行车状态识别方法或转向灯控制方法的步骤。

本发明提供的行车状态识别方法、装置、电子设备和转向灯控制方法，通过采集车辆自身参数信息、车辆外部环境信息和驾驶员的头部动作，实现了对各种有效信息的综合利用，可以准确识别驾驶员的驾驶意图，确定行车状态，有效弥补了驾驶员对车辆控制的不足。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的行车状态识别方法的流程示意图；

图2是本发明提供的行车状态识别方法中步骤110的流程示意图；

图3是本发明提供的行车状态识别方法中步骤120的流程示意图；

图4是本发明提供的行车状态识别方法中的掩膜图；

图5是本发明提供的行车状态识别装置的结构示意图；

图6是本发明提供的转向灯控制方法的流程示意图；

图7是本发明提供的转向灯控制装置的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图4描述本发明的行车状态识别方法。本发明实施例的行车状态识别方法的执行主体，可以为车机。

如图1所示，本发明实施例的行车状态识别方法包括：步骤110-步骤150。

步骤110、基于驾驶员的人脸图像，确定驾驶员的转头信息；

在该步骤中，驾驶员的人脸图像可以通过安装于车辆驾驶室内，且朝后的摄像头采集，比如通过安装于驾驶侧A柱的摄像头采集驾驶员的人脸图像。

实际的采集方式可以为以目标周期持续采集驾驶员的人脸图像，即每隔相同时间间隔就捕捉一次驾驶员的人脸图像，这个时间间隔可以设置得较短，比如0.5s，以防止遗漏驾驶员的转头动作。

采集到的驾驶员的人脸图像可以发送给车机。

通过分析持续采集的驾驶员的人脸图像，可以得到驾驶员的转头信息，驾驶员的转头信息包括至少包括以下至少一项：是否转头、转向哪一侧、转头的时长、转头的频次等。

可以理解的是，如果驾驶员频繁向左看，则驾驶员有一定的可能性要向左变道或者向左转向。

步骤120、基于行车图像，确定车辆的车道信息；

可以理解的是，车辆两个安装有左前摄像头和右前摄像头，左前摄像头安装于车身左侧，且朝前设置，右前摄像头安装于车身右侧，且朝前设置，比如左前摄像头可以安装于左前翼子板，右前摄像头可以安装于右前翼子板。

左前摄像头和右前摄像头可以用于采集行车图像。

在车辆正常行驶于某一车道内时，左前摄像头可以采集到包含该车道的左车道线的行车图像；右前摄像头可以采集到包含该车道的右车道线的行车图像。

比如从两侧的行车图像中，均能识别到完整且朝前的车道线，则可以初步确认当前车辆在直行的概率高。

比如从两侧的行车图像中，均能识别到完整的车道线，但是两条车道线的倾斜角度不同，则根据倾斜角度，可以初步确定车辆的倾斜程度。

比如从两侧的行车图像中，至少一个行车图像中的车道线不完整，或无车道线，可以初步确认当前车辆在变道的概率高。

车道信息则用于表征车辆相对于车道的方位，用于帮助判断行车状态。

步骤130、基于车辆的工作参数，确定车辆的转角幅度信息；

在实际的执行中，车辆的工作参数可以包括：车辆的轮胎转角、车速、车重和轮胎摩擦力。

车辆的轮胎转角、车速、车重和轮胎摩擦力可以通过对应的传感器采集，并发送给车机。

在实际执行中，对实时获取的车辆的轮胎转角、车速、车重和轮胎摩擦力，可以通过训练好的多项式模型，计算车辆的转角幅度信息。

具体地，可以结合该车辆的轮胎转角、车速、车重、轮胎摩擦力和转角幅度的历史数据，通过多项式模型逐步回归的方法拟合出该多项式模型。

步骤140、基于车辆的位置信息，确定车辆与路口的关系信息；

在该步骤中，可以实时采集车辆的位置信息(比如经纬度)，结合地图数据，确定车辆所处的道路，并确定与车辆距离最近的路口的位置信息，基于车辆的位置信息和该路口的位置信息，确定车辆与该路口的距离。

确定该距离小于目标距离，则判断车辆处于路口；确定该距离不小于目标距离，则判断车辆不处于路口。

上述目标距离可以为预设值，比如目标距离可以介于20m-80m，比如目标距离可以为50m。

步骤150、基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他。

在该步骤中，可以通过逻辑判断模型或神经网络模型来实现。

上述行车状态识别方法，综合考虑上述四种信息(转头信息、车道信息、转角幅度信息和车辆与路口的关系信息)，可以确定当前的行车状态，或者驾驶员大概率可能要切换到的行车状态，这种判断方法准确，可以准确识别驾驶员的驾驶意图。

根据本发明实施例的行车状态识别方法，通过采集车辆自身参数信息、车辆外部环境信息和驾驶员的头部动作，实现了对各种有效信息的综合利用，可以准确识别驾驶员的驾驶意图，确定行车状态，有效弥补了驾驶员对车辆控制的不足。

在一些实施例中，如图2所示，步骤110，基于驾驶员的人脸图像，确定驾驶员的转头信息，可以包括：步骤111-步骤113。

步骤111、从采集到的驾驶员的人脸图像中，筛选出目标人脸图像；

以目标周期持续采集驾驶员的人脸图像，即每隔相同时间间隔就捕捉一次驾驶员的人脸图像，这样可以采集到相当多的人脸图像。

可以理解的是，采集的大部分人脸图像中，驾驶员都是在观察前方，通过初步筛选可以确定哪些图像可能与转头对应，从而降低后续步骤的计算量。

在实际的执行中，步骤111可以包括：以目标时间间隔捕捉驾驶员的人脸图像；对比相邻的两张人脸图像的差异度；在差异度大于目标值的情况下，确定相邻的两张人脸图像为目标人脸图像。

目标人脸图像以两张为一组。

换言之，对连续获取到的人脸图像进行连续对比，发生明显特征变化的前后两张人脸图像可能表示驾驶员转头了。

相邻的两张人脸图像的差异度可以通过多种形式的特征对比实现：

其一，视线方向。

在人脸识别中，确定各张人脸图像中视线的方向，相邻的两张人脸图像中视线方向的差值，表征差异度。

比如，在相邻的两张人脸图像中视线方向的差值大于目标差值时，确定差异度大于目标值。

其二，人脸图像中脸部区域的完整性。

在人脸识别中，确定各张人脸图像中五官的数目。

比如，在相邻的两张人脸图像中五官数目的差值大于目标差值时，确定差异度大于目标值。

步骤112、基于目标人脸图像，确定人脸朝向特征；

对于筛选后的目标人脸图像，可以通过分析，确定人脸朝向特征。人脸朝向特征用于表征驾驶员是否转头。

在一些实施例中，步骤112可以包括：对目标人脸图像的目标区域进行特征提取，得到人脸特征向量；基于人脸特征向量，确定人脸朝向特征。

目标区域可以为特征较为明显的区域，比如眼睛和鼻子。

对目标人脸图像的目标区域进行特征提取，得到人脸特征向量，包括：

将目标人脸图像按目标尺寸裁剪，比如目标尺寸可以为320×360；

将裁剪后的目标人脸图像转换为二值灰度图像；

将二值灰度图像划分为n行m列，目标区域(眼睛和鼻子)的位置信息可以用特定行的矩阵来描述；

用Sobel边缘算子进行边缘检测后找到矩阵中的值为“1”的像素点个数；

分别统计出矩阵中的值为“1”的像素点，提取出的像素点个数用一个向量表示出来，得到人脸特征向量。

步骤“基于人脸特征向量，确定人脸朝向特征”，在实际的执行中，可以通过神经网络模型来实现。

将人脸特征向量输入至人脸朝向识别模型，输出人脸朝向特征；其中，人脸朝向识别模型为，以人脸样本特征向量为样本，以预先确定的与人脸样本图像对应的人脸朝向特征为样本标签训练得到，其中人脸样本特征向量为从人脸样本图像进行特征提取得到的。

该人脸朝向识别模型可以为概率神经网络，距离目标人脸图像越近的人脸样本图像，其对目标人脸图像的影响力越大。假设距离目标人脸图像较近的一些人脸样本图像都是人脸朝向左，距离目标人脸图像稍远一些的人脸样本图像都是人脸朝向右，那么目标人脸图像偏向于人脸朝向左的概率更大。通过已经训练好的人脸朝向识别模型能够快速准确的识别出人脸的朝向。

在训练人脸朝向识别模型前，需要收集多个不同朝向的人脸样本图像，将每张人脸样本图像按照脸部朝向进行标记分类，得到样本集，用于人脸朝向识别模型的训练，使得人脸朝向识别模型在进行脸部朝向识别时能够更加精准的识别。

在实际的执行中，对样本图像库中的人脸样本图像按目标尺寸裁剪，将裁剪后的人脸样本图像按包含图像编号和转向类别信息的固定的格式进行命名，方便标签值与相对应提取出的人脸样本特征向量进行匹配。

将裁剪后的人脸样本图像转换为二值灰度图像；将二值灰度图像划分为n行m列，目标区域(眼睛和鼻子)的位置信息可以用特定行的矩阵来描述；用Sobel边缘算子进行边缘检测后找到矩阵中的值为“1”的像素点个数；分别统计出矩阵中的值为“1”的像素点，提取出的像素点个数用一个向量表示出来，得到人脸样本特征向量，该人脸样本特征向量与对应的标签值可以用于训练人脸朝向识别模型。

步骤113、基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，转头信息包括转头频率特征。

可以理解的是，在步骤112中确定人脸朝向特征时，脸部朝向前方的不作记录，如果有向左或者向右的记为转头一次，并记录转头发生时间和/或转头方向。

转头频率特征可以用于表征在目标时间段内，转头的次数和时长。

需要说明的是，在正常的直行驾驶中，驾驶员也会偶尔转头观察后视镜，以采集周围环境情况，通过确定转头频率特征，可以排除掉正常直行时偶尔转头的干扰。

在一些实施例中，步骤113可以包括：

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在目标时间段内的转头次数；基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在目标时间段内的转头总时长；基于转头次数和转头总时长，确定转头频率特征；其中，目标时间段的起点为确定驾驶员转头的时刻。

换言之，在检测到驾驶员转头的时间点开始，作为一个计时起点，确定以该时间点为起点，之后的目标时间段内，驾驶员转头的次数，以及总共处于转头状态的总时长，基于转头次数和转头总时长确定的转头频率特征，可以有效确定，驾驶员的驾驶意图。

比如，可以依据确定的分级评分规则，用分级评分表征转头频率特征。目标时间段可以设定为10s，以转头5次和转头总时长5秒为满分，计算驾驶员的转头次数得分和转头总时长得分，并得出转头频率特征。以历史数据转头频率特征的三分位数为阈值，将用户的转头频率特征标记为高频、中频和低频，若0分则标记为无。

这样，可以简化转头频率特征，以简化后续的计算。

在一些实施例中，步骤120、基于行车图像，确定车辆的车道信息，包括：步骤121-步骤126。

步骤121、将行车图像进行预处理；

通过预处理，可以简化行车图像，便于后续的特征提取。

在实际的执行中，将行车图像进行预处理可以包括转换灰度图和去除噪声点数据。

其中，转换灰度图包括将读取的图片数据转换成灰度图，方便后续的处理。

对于去除数据中噪声数据，可以采用高斯滤波的方法，将图片中一些不清晰的数据点去除。

采用高斯滤波的方式去噪，至少可以选用如下三方式：

其一、使用默认值。

直接使用高斯滤波函数GaussianBlur的默认参数，来进行噪声去除。这种方式较为简单，计算量小。

其二、调整参数。

在处理过程中，可以通过设置损失函数，利用优化算法调整高斯滤波函数GaussianBlur的部分参数，这样可以达到更好的去噪效果。

其三、分路段设参数。

在处理过程中，可以提前在各个路段计算好高斯滤波函数GaussianBlur的参数，然后把各个路段的参数值存储到云端，根据车辆的GPS数据获取相应的参数值，以便达到最好的过滤效果。

在实际的执行中，该方法更合适用于特定路线定点往返的车辆，比如公共交通车辆，或者特定封闭场景内的车辆，比如工厂园区内的运输车。

步骤122、对预处理后的行车图像进行边缘检测，得到边缘特征；

在实际的执行的过程中，在进行边缘检测时可以采用sobel算子，在计算sobel算子时，需要计算对对预处理后的行车图像做水平方向和垂直方向的sobel卷积核卷积，在计算x和y方向上的一阶差分矩阵时参数ksize为3。最后将x和y方向的两个矩阵叠加，综合考虑水平和垂直方向的像素灰度值变化强度，就能得到边缘特征。

可以理解的是，由于车道线与周围车地面颜色对比明显，sobel边缘检测可以有效剔除不重要的信息，保留行车图像重要的结构属性，得到的边缘图效果也更好。

步骤123、确定预处理后的行车图像的掩膜图；

需要说明的是，在进行车道判断时，需要提取行车图像中与车道相关的信息，但是左前摄像头或右前摄像头采集的行车图像中具有相当多的干扰信息，通过得到掩膜图可以摒除无用信息，帮助提取有效信息。

如图4所示，在实际的执行中，根据车道信息在两侧摄像头获取的行车图像中的位置，可以得到梯形掩模区域。

步骤124、根据边缘特征和掩膜图的掩膜区域，从预处理后的行车图像中，提取目标像素点；

在实际的执行中，将用掩膜图与预处理后的行车图像求交集，再根据边缘特征即可得到目标像素点，比如可以通过opencv中的bitwise_and函数实现。

步骤125、基于目标像素点，确定对应的车道线；

该步骤用于将步骤124得到的多个目标像素点整合成直线，从而得到车道线。

在实际的执行中，可以通过霍夫变换得到直线，包括但不限于标准霍夫变换、多尺度霍夫变换和累计概率霍夫变换，以累计概率霍夫变换为例：在opencv中通过HoughLinesP函数实现，且选用HoughLinesP函数默认的参数即可，经过HoughLinesP函数输出后的是多条线的两个端点坐标，即可得到直线。

步骤126、基于车道线，确定车道信息。

可以理解的是，马路上的车道线包括虚线，对于虚线，需要将虚线连接完整，对于虚线上的多个点，通过相邻的两个点，可以计算得到斜率和截距。

对一张行车图像中，同一侧的多个点得到的斜率和截距进行平均，然后直接利用平均后的参数可以直接画出一条完整的直线(车道线)。

需要说明的是，由于摄像头获取的单边的车道线信息，当车开始变道时，单侧摄像头则获取不到完整的直线，另一侧摄像头可以获取车道线，此时可以认定为汽车处于变道之中。当两侧摄像头都能够获取车道线信息时认为汽车处于直行中。

另外，对于车辆的左右两侧的摄像头采集的行车图像，均采用上述方法处理。

对于步骤150、基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态。由于需要输入多种信息，对于获取的信息可以预先进行处理整合，比如对分类变量进行one-hot处理，以使得各个信息的形式更统一，便于处理。

在步骤150中，可以通过神经网络模型的方式处理这些输入信息，以得到行车状态。

步骤150包括：将转头信息、车道信息、转角幅度信息和车辆与路口的关系信息输入至行车识别模型，得到行车状态。

行车识别模型为，以转头样本信息、车道样本信息、转角幅度样本信息和车辆与路口的关系样本信息为样本，以预先确定的与样本对应的行车样本状态为样本标签训练得到。

转头样本信息、车道样本信息、转角幅度样本信息和车辆与路口的关系样本信息可以通过上述方法获取。

在实际的执行中，可以通过采集车辆的历史数据作为训练的样本数据，并对样本数据进行人工标注。抽取一部分带转向过程的数据，按照统一的时间粒度，根据真实情况标注其每个时刻的行车状态，行车状态的标签值分为：直行、转向或其他状态。

利用标注好的历史数据，训练行车识别模型。

行车识别模型可以为LSTM神经网络模型。

综上所述，本发明实施例的行车状态识别方法，应用了车道识别算法，并且在识别车道时采用的是sobel边缘检测算子，由于车道线与周围车地面颜色对比明显，sobel边缘检测剔除了不重要的信息，保留了图像重要的结构属性，得到的边缘图效果也更好；利用了用户的转头信息，采用学习能力更强的神经网络算法去判断用户的人脸转向动作，算法的识别精度更高；本申请较好的利用了用户的行为信息，甚至包括车辆行驶中的车道信息，用以辅助判断车辆的行驶状态，更加精确的判断用户的行驶动向。

下面对本发明提供的行车状态识别装置进行描述，下文描述的行车状态识别装置与上文描述的行车状态识别方法可相互对应参照。

下面对本发明提供的行车状态识别装置进行描述，下文描述的行车状态识别装置与上文描述的行车状态识别方法可相互对应参照。

如图5所示，本发明实施例的行车状态识别装置可以包括：第一确定模块510、第二确定模块520、第三确定模块530、和第四确定模块540、第五确定模块550。

第一确定模块510，用于基于驾驶员的人脸图像，确定驾驶员的转头信息；

第二确定模块520，用于基于行车图像，确定车辆的车道信息；

第三确定模块530，用于基于车辆的工作参数，确定车辆的转角幅度信息；

第四确定模块540，用于基于车辆的位置信息，确定车辆与路口的关系信息；

第五确定模块550，用于基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他。

根据本发明实施例的行车状态识别装置，通过采集车辆自身参数信息、车辆外部环境信息和驾驶员的头部动作，实现了对各种有效信息的综合利用，可以准确识别驾驶员的驾驶意图，确定行车状态，有效弥补了驾驶员对车辆控制的不足。

在一些实施例中，第一确定模块510，包括：筛选模块，用于从采集到的驾驶员的人脸图像中，筛选出目标人脸图像；第一确定单元，用于基于目标人脸图像，确定人脸朝向特征；第二确定单元，用于基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，转头信息包括转头频率特征。

在一些实施例中，筛选模块，还用于以目标时间间隔捕捉驾驶员的人脸图像；对比相邻的两张人脸图像的差异度；在差异度大于目标值的情况下，确定相邻的两张人脸图像为目标人脸图像。

在一些实施例中，第一确定单元，还用于对目标人脸图像的目标区域进行特征提取，得到人脸特征向量；基于人脸特征向量，确定人脸朝向特征。

在一些实施例中，第二确定单元，还用于基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在目标时间段内的转头次数；基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在目标时间段内的转头总时长；基于转头次数和转头总时长，确定转头频率特征；其中，目标时间段的起点为确定驾驶员转头的时刻。

在一些实施例中，第二确定模块520，还用于将行车图像进行预处理；对预处理后的行车图像进行边缘检测，得到边缘特征；确定预处理后的行车图像的掩膜图；根据边缘特征和掩膜图的掩膜区域，从预处理后的行车图像中，提取目标像素点；基于目标像素点，确定对应的车道线；基于车道线，确定车道信息。

在一些实施例中，车辆的工作参数包括：车辆的轮胎转角、车速、车重和轮胎摩擦力。

上述实施例的行车状态识别方法可以用于多种辅助驾驶场景，包括但不限于转向灯控制和车速控制等。

比如在将行车状态识别方法用于车速控制时，如果识别到车辆在过弯时，提醒驾驶员注意车速。

如图6所示，本发明还提供了一种转向灯控制方法。

本发明还提供的转向灯控制方法包括：

如上述任一种实施例的行车状态识别方法；

通过行车状态识别方法，可以得到车辆的行车状态。

步骤160、获取车辆的转向灯的状态信息；

需要说明的是，在车辆的转向灯的状态信息时，需要注意与在进行行车状态识别时，采集信息的时间同步。转向灯的状态信息包括左/右转向灯打开，左/右转向灯关闭。

步骤170、基于行车状态和转向灯的状态信息，确定转向灯控制指令。

如表1所述，可以根据上述映射关系确定转向灯控制指令。

表1

转向灯控制系统在接收到上述转向灯控制指令，需要执行对应的操作。

在具体应用时，车机会实时收集并清洗数据，输入训练好的模型中，判断其此刻的行车状态，是直行、转弯或其他。当车辆处于其他状态时，系统不做任何处理；当判断车辆处于直行状态，且转向灯打开，保持此状况目标时长(目标时长可设定为5秒或10秒)后，转向灯将自动关闭；当车辆处于转向状态，且转向灯未打开，立刻会打开转向灯，方向跟随车辆行驶角度。

例如：当车辆即将行驶进十字路口，打开右转向灯并走在最右侧车道，方向盘右转，突然发现路上有异物，方向盘回正进行避让。此时转向灯根据其原理自动关闭，而本系统检测到车辆仍处于转向状态，且转向灯关闭，此时系统将根据车辆当前和历史行驶角度，自动开启右转向灯。

再如：在高速行驶的高架桥上，车辆打开左转向灯，向左侧车道变道，由于转向角度较小，根据转向灯原理，方向盘回正后转向灯依然保持开启，而驾驶员没有注意到转向灯状况，没有手动关闭转向灯，且车继续保持直行。此时，本方法会判断车辆处于直行状态，且观察到转向灯开启，在保持此状态5秒后，系统会发起转向灯控制指令，关闭转向灯。

根据本发明实施例的转向灯控制方法，通过采集车辆自身参数信息、车辆外部环境信息和驾驶员的头部动作，实现了对各种有效信息的综合利用，可以准确识别驾驶员的驾驶意图，确定行车状态，并依据行车状态辅助控制转向灯，有效弥补了驾驶员对车辆控制的不足。

本发明实施例的行车状态识别方法，应用了车道识别算法，并且在识别车道时采用的是sobel边缘检测算子，由于车道线与周围车地面颜色对比明显，sobel边缘检测剔除了不重要的信息，保留了图像重要的结构属性，得到的边缘图效果也更好；利用了用户的转头信息，采用学习能力更强的神经网络算法去判断用户的人脸转向动作，算法的识别精度更高；本申请较好的利用了用户的行为信息，甚至包括车辆行驶中的车道信息，用以辅助判断车辆的行驶状态，更加精确的判断用户的行驶动向；对于转向灯的控制，考虑的情况更加全面，不仅解决了转弯忘记打转向灯的情况，还考虑到长时间直行时关闭已经打开的转向灯的情况。

下面对本发明提供的转向灯控制装置进行描述，下文描述的转向灯控制装置与上文描述的转向灯控制方法可相互对应参照。

如图7所示，本发明提供的转向灯控制装置，包括：第一确定模块510、第二确定模块520、第四确定模块540、第五确定模块550。第一获取单元560和第六确定单元570、

第一确定模块510，用于基于驾驶员的人脸图像，确定驾驶员的转头信息；

第二确定模块520，用于基于行车图像，确定车辆的车道信息；

第三确定模块530，用于基于车辆的工作参数，确定车辆的转角幅度信息；

第四确定模块540，用于基于车辆的位置信息，确定车辆与路口的关系信息；

第五确定模块550，用于基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；

第一获取单元560，用于获取车辆的转向灯的状态信息；

第六确定单元570，用于基于行车状态和转向灯的状态信息，确定转向灯控制指令。

根据本发明实施例的转向灯控制装置，通过采集车辆自身参数信息、车辆外部环境信息和驾驶员的头部动作，实现了对各种有效信息的综合利用，可以准确识别驾驶员的驾驶意图，确定行车状态，并依据行车状态辅助控制转向灯，有效弥补了驾驶员对车辆控制的不足。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行行车状态识别方法，该方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；或者执行转向灯控制方法，该方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；获取车辆的转向灯的状态信息；基于行车状态和转向灯的状态信息，确定转向灯控制指令。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的行车状态识别方法，该方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；或者执行转向灯控制方法，该方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；获取车辆的转向灯的状态信息；基于行车状态和转向灯的状态信息，确定转向灯控制指令。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的行车状态识别方法，该方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；或者执行转向灯控制方法，该方法包括：基于驾驶员的人脸图像，确定驾驶员的转头信息；基于行车图像，确定车辆的车道信息；基于车辆的工作参数，确定车辆的转角幅度信息；基于车辆的位置信息，确定车辆与路口的关系信息；基于转头信息、车道信息、转角幅度信息和车辆与路口的关系信息，确定行车状态，行车状态包括转向、直行和其他；获取车辆的转向灯的状态信息；基于行车状态和转向灯的状态信息，确定转向灯控制指令。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种行车状态识别方法，其特征在于，包括：

基于驾驶员的人脸图像，确定驾驶员的转头信息；

基于行车图像，确定车辆的车道信息；

基于车辆的工作参数，确定车辆的转角幅度信息；

基于车辆的位置信息，确定车辆与路口的关系信息；

基于所述转头信息、所述车道信息、所述转角幅度信息和所述车辆与路口的关系信息，确定行车状态，所述行车状态包括转向和直行；

所述基于驾驶员的人脸图像，确定驾驶员的转头信息，包括：

从采集到的驾驶员的人脸图像中，筛选出目标人脸图像；

基于所述目标人脸图像，确定人脸朝向特征；

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，所述转头信息包括所述转头频率特征；

所述车辆的工作参数包括：车辆的轮胎转角、车速、车重和轮胎摩擦力。

2.根据权利要求1所述的行车状态识别方法，其特征在于，所述从采集的驾驶员的人脸图像中，筛选出目标人脸图像，包括：

以目标时间间隔捕捉驾驶员的人脸图像；

对比相邻的两张人脸图像的差异度；

在所述差异度大于目标值的情况下，确定所述相邻的两张人脸图像为所述目标人脸图像。

3.根据权利要求1所述的行车状态识别方法，其特征在于，所述基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，包括：

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在所述目标时间段内的转头次数；

基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员在所述目标时间段内的转头总时长；

基于所述转头次数和所述转头总时长，确定所述转头频率特征；

其中，所述目标时间段的起点为确定驾驶员转头的时刻。

4.根据权利要求1-3中任一项所述的行车状态识别方法，其特征在于，所述基于行车图像，确定车辆的车道信息，包括：

将所述行车图像进行预处理；

对预处理后的行车图像进行边缘检测，得到边缘特征；

确定所述预处理后的行车图像的掩膜图；

根据所述边缘特征和所述掩膜图的掩膜区域，从所述预处理后的行车图像中，提取目标像素点；

基于所述目标像素点，确定对应的车道线；

基于所述车道线，确定所述车道信息。

5.一种行车状态识别装置，其特征在于，包括：

第一确定模块，用于基于驾驶员的人脸图像，确定驾驶员的转头信息，所述第一确定模块，用于从采集到的驾驶员的人脸图像中，筛选出目标人脸图像；基于所述目标人脸图像，确定人脸朝向特征；基于驾驶员在目标时间段的人脸朝向特征，确定驾驶员的转头频率特征，所述转头信息包括所述转头频率特征；

第二确定模块，用于基于行车图像，确定车辆的车道信息；

第三确定模块，用于基于车辆的工作参数，确定车辆的转角幅度信息，所述车辆的工作参数包括：车辆的轮胎转角、车速、车重和轮胎摩擦力；

第四确定模块，用于基于车辆的位置信息，确定车辆与路口的关系信息；

第五确定模块，用于基于所述转头信息、所述车道信息、所述转角幅度信息和所述车辆与路口的关系信息，确定行车状态，所述行车状态包括转向和直行。

6.一种转向灯控制方法，其特征在于，包括：

如权利要求1-4中任一项所述的行车状态识别方法；

获取车辆的转向灯的状态信息；

基于所述行车状态和所述转向灯的状态信息，确定转向灯控制指令。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述行车状态识别方法或权利要求6所述转向灯控制方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述行车状态识别方法或权利要求6所述转向灯控制方法的步骤。

Images