CN109815817A - 一种驾驶员的情绪识别方法及音乐推送方法 - Google Patents

Abstract

本发明公开一种驾驶员的情绪识别方法及音乐推送方法，用于车载终端，其中，驾驶员的情绪识别方法，包括：获取驾驶员的当前人脸图像；对当前人脸图像进行处理得到增强图像；从增强图像中提取图像特征值；将图像特征值输入到神经网络模型进行训练，并输出训练结果；根据训练结果，识别图像特征值所属的情绪类别。本发明通过将驾驶员的当前人脸图像输入神经网络模型进行训练，当驾驶员在驾车和在车中休息的过程中，都能快速识别出驾驶员当前人脸图像所属的情绪类别，及时获知驾驶员的情绪状态，有利于云端服务器及时向车载终端推送与驾驶员的每种情绪对应的音乐，进而有利于驾驶员调节情绪，确保驾驶员在稳定的情绪状态中进行安全驾驶。

Description

一种驾驶员的情绪识别方法及音乐推送方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种驾驶员的情绪识别方法及音乐播放方法。

背景技术

驾驶员在驾车的过程中可能会受到各种情绪的影响，而不同的情绪将会影响驾驶员不同的驾车行为，因此，识别驾驶员的不同情绪在驾驶员驾车的过程中具有重要意义。

目前由于驾驶员在驾车的过程中，只有驾驶员本人能够获知自己的当前情绪状态，所以，驾驶员的情绪状态往往被忽略，如果驾驶员的当前情绪属于不良的情绪状态，而不良的情绪状态不能引起关注，显然，不利于驾驶员进行安全驾驶。

发明内容

有鉴于此，本发明实施例提供了一种驾驶员的情绪识别方法，以解决驾驶员在驾车的过程，往往忽略驾驶员的情绪状态，不利于驾驶员进行安全驾驶的问题。

根据第一方面，本发明实施例提供了一种驾驶员的情绪识别方法，用于车载终端，包括如下步骤：获取驾驶员的当前人脸图像；对所述当前人脸图像进行处理得到增强图像；从所述增强图像中提取图像特征值；将所述图像特征值输入到神经网络模型进行训练，并输出训练结果；根据所述训练结果，识别所述图像特征值所属的情绪类别。

结合第一方面，在第一方面第一实施方式中，所述对所述当前人脸图像进行处理得到增强图像的步骤包括：从所述当前人脸图像中提取亮度图像和反射图像；对所述反射图像进行校正；对所述亮度图像和所述反射图像进行计算得到所述增强图像。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述从所述增强图像中提取图像特征值的步骤包括：从所述增强图像中确定目标像素点；以所述目标像素点为中心，将所述增强图像进行划分为多个区域图像；获取每个区域图像中的每个像素点的梯度方向和梯度幅值；从所述每个区域图像中获取梯度方向相同的像素点；根据所述梯度方向相同的像素点，构建多维梯度图像；根据所述多维梯度图像，获取所述图像特征值。

结合第一方面，在第一方面第三实施方式中，根据所述训练结果，识别所述图像特征值所属的情绪类别的步骤包括：采集多种不同的情绪图像；将每种情绪图像输入到所述神经网络模型进行训练得到所述每种情绪图像的特征阈值；根据所述每种情绪的特征阈值，对所述多种不同情绪图像进行分类；将所述训练结果与所述每种情绪的特征阈值进行比较，识别所述图像特征值所属的情绪类别。

结合第一方面第三实施方式中，在第一方面第四实施方式中，所述将所述训练结果与所述每种情绪的特征阈值进行比较，识别所述图像特征值所属的情绪类别的步骤包括：获取所述训练结果对应的特征参数；判断所述训练结果对应的特征参数是否属于所述每种情绪的特征阈值；如果所述训练结果对应的特征参数属于所述每种情绪的特征阈值，则所述当前人脸图像属于该种情绪图像。

结合第一方面第四实施方式中，在第一方面第五实施方式中，如果所述训练结果对应的特征参数不属于所述每种情绪的特征阈值，则所述当前人脸图像不属于该种情绪图像。

根据第二方面，本发明实施例提供了一种音乐推送方法，用于云端服务器，包括：所述的驾驶员的情绪识别方法获取驾驶员的当前人脸图像所属的情绪类别；根据所述情绪类别，向车载终端推送与所述情绪类别对应的音乐。

根据第三方面，本发明实施例提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现所述的驾驶员的情绪识别方法的步骤；或实现所述的音乐推送方法的步骤。

根据第四方面，本发明实施例提供了一种车载终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的驾驶员的情绪识别方法的步骤。

根据第五方面，本发明实施例提供了一种云端服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的音乐推送方法的步骤。

本发明实施例技术方案，具有如下优点：

本发明公开一种驾驶员的情绪识别方法及音乐推送方法，其中，驾驶员的情绪识别方法，用于车载终端，包括：获取驾驶员的当前人脸图像；对当前人脸图像进行处理得到增强图像；从增强图像中提取图像特征值；将图像特征值输入到神经网络模型进行训练，并输出训练结果；根据训练结果，识别图像特征值所属的情绪类别。本发明通过将驾驶员的当前人脸图像输入神经网络模型进行训练，当驾驶员在驾车和在车中休息的过程中，都能快速识别出驾驶员当前人脸图像所属的情绪类别，及时获知驾驶员的情绪状态，有利于云端服务器及时向车载终端推送与驾驶员的每种情绪对应的音乐，进而有利于驾驶员调节情绪，确保驾驶员在稳定的情绪状态中进行安全驾驶。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中驾驶员的情绪识别方法的第一流程图；

图2为本发明实施例中划分增强图像的示意图；

图3为本发明实施例中驾驶员的情绪识别方法的第二流程图；

图4为本发明实施例中音乐推送方法的流程图；

图5为本发明实施例中车载终端的硬件结构示意图；

图6为本发明实施例中云端服务器的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供一种驾驶员的情绪识别方法，用于车载终端，如图1所示，包括如下步骤：

S11、获取驾驶员的当前人脸图像。当前人脸图像是利用车载终端上的摄像头进行图像采集。例如：在驾驶员驾车的过程中或驾驶员停车休息的过程中都可以进行人脸图像采集，以便实现实时识别出驾驶员的当前人脸图像所属的情绪类别。

S12、对当前人脸图像进行处理得到增强图像。此处的增强图像主要是利用Retinex算法获取。利用Retinex算法增强图像，是将原来不清晰的图像变得清晰或强调某些感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理方法。

具体地，上述步骤S12还包括；

第一步，从当前人脸图像中提取亮度图像和反射图像。由于图像的形成主要由两部分构成；亮度图像L(x,y)和反射图像R(x,y)，其中亮度图像也可以叫做入射光图像。设当前人脸图像I(x,y)，则I(x,y)＝L(x,y)*R(x，y)。所以，可以从当前人脸图像I(x,y)中提取出亮度图像L(x,y)和反射图像R(x,y)，利用Retinex算法，可以从当前人脸图像I(x,y)中剔除亮度图像L(x,y)得到反射图像R(x,y)。

具体地，为了将复杂的乘积形式转化为简单的加减运算，采用接近人眼亮度感知能力的对数形式表示：

i(x,y)＝l(x，y)+r(x,y)；其中，

i(x,y)＝log[I(x,y)]；l(x,y)＝log[L(x,y)]；r(x,y)＝log[R(x,y)]；

上述Retinex算法主要目的是从采集的当前人脸图像中除去亮度图像的影响，进而得到反射图像。

第二步，对反射图像进行校正。此处的校正方式主要采用Gamma校正算法，此处的Gamma校正算法主要是对反射图像进行预动态压缩，即调节反射图像在增强图像中的比例，即对反射图像进行图像补偿。对反射图像进行校正的公式如下：

其中，r'(x,y)为校正后的反射图像，r(x,y)为反射图像，y为正数。

第三步，对亮度图像和反射图像进行计算得到增强图像。

具体地，把亮度图像l(x,y)和校正后的反射图像r'(x,y)在对数域相加，再进行反对数运算，可以得到增强图像。具体公式如下：

R(x,y)＝exp[R'(x,y)]＝exp[r'(x,y)+l(x,y)]，其中，R(x,y)为增强图像。

S13、从增强图像中提取图像特征值。此处提取图像特征值主要利用HOG算法对图像进行特征提取。

具体地，上述步骤S13还包括：

第一步，从增强图像中确定目标像素点。此处的目标像素点为图像的关键像素点，可以在增强图像中确定权重值最大的像素点作为目标像素点。

第二步，以目标像素点为中心，将增强图像进行划分为多个区域图像。以该目标像素点为中心，将图像分为多个区域。例如：如图2所示，将8×8的增强图像A,以其目标像素点a为中心，将增强图像A划分为4×4的4个区块图像，4个区块图像就是上述中的4个区域图像。

第三步，获取每个区域图像中的每个像素点的梯度方向和梯度幅值。

具体地，每个区域图像的每个像素点的梯度方向的计算公式如下：

θ(x,y)＝tan^-1(R(x,y+1)-R(x，y-1))/(R(x+1,y)-R(x-1，y))；

其中，θ(x,y)表示每个区域图像的每个像素点的梯度方向，x-1和x+1分别表示与该像素点相邻的像素点的横坐标，y-1和y+1分别表示与该像素点相邻的像素点的纵坐标，所以，每个区域图像的每个像素点的梯度方向是根据与其相邻像素点的图像增强值计算得到。此处的梯度方向为有符号的8个方向。

具体地，每个区域图像的每个像素点的梯度方向的计算公式如下：

其中，m(x,y)表示每个区域图像的每个像素点的梯度幅值，x-1和x+1分别表示与该像素点相邻的像素点的横坐标，y-1和y+1分别表示与该像素点相邻的像素点的纵坐标。

第四步，从每个区域图像中获取梯度方向相同的像素点。由于梯度方向是有多个方向，在每个区域图像中查找梯度方向相同的像素点。

第五步，根据梯度方向相同的像素点，构建多维梯度图像。例如：在同一区域图像上存在多个梯度方向相同的多个像素点，将这多个像素点的权重值进行累加，由于梯度方向为8个方向，所以，可以将这累加的多个像素点组成一个8维梯度直方图，每个区域图像都是按照此方式进行构建多维梯度图像。

第六步，根据多维梯度图像，获取图像特征值。由于每个区域图像都构建多维梯度图像，所以，将每个区域图像所构建的多维梯度图像再连成多维梯度图像，该多维梯度图像是个向量值，可代表图像特征值，例如：以目标像素点为中心的增强图像被划分为了4个区域图像，每个区域图像构成8维梯度直方图，则4个区域图像就构成4*8＝32维梯度图像。将增强图像转变为多维梯度图像的目的是为了更加精确地提取图像的特征值。

S14、将图像特征值输入到神经网络模型进行训练，并输出训练结果。此处的神经网络模型就是用来训练图像特征值的通用模型，通过模型训练得出最终的训练结果。

S15、根据训练结果，识别图像特征值所属的情绪类别。情绪的类别多种多样，例如：生气的情绪、悲伤的情绪、开心的情绪、愤怒的情绪、忧郁的情绪、愤怒的情绪、焦虑的情绪。因此，上述步骤S15，如图3所示，具体还包括：

S151、采集多种不同的情绪图像。利用车载终端上的摄像头采集多种不同类型的人脸情绪图像，例如：采集生气的情绪、悲伤的情绪、开心的情绪、愤怒的情绪、忧郁的情绪、激动的情绪、焦虑的情绪等七种不同的情绪图像。通过采集每种人脸情绪图像，为了获取每种情绪图像的特征阈值，可以对多种不同情绪图像进行分类。采集出的每种不同情绪图像也需要利用上述中Retinex算法、HOG算法分别先后对图像进行处理和特征提取。

S152、将每种情绪图像输入到神经网络模型进行训练得到每种情绪图像的特征阈值。例如：将上述采集的七种不同的情绪图像输入到神经网络模型进行训练得到每种情绪所具有的特征阈值，该特征阈值能够代表每种情绪。此处指每种情绪图像为已经过HOG特征提取的每种情绪图像。

S153、根据每种情绪的特征阈值，对多种不同情绪图像进行分类。例如：采集出了7种不同情绪图像，通过神经网络模型进行训练，分别可以得出每种情绪图像对应的特征阈值。例如：开心的情绪图像对应的特征阈值为[0，3)，生气的情绪图像对应的特征阈值为[3,6),愤怒的情绪图像对应的特征阈值为[6,9)。所以，按照每种不同情绪图像分别对应不同的特征阈值，可以将多种不同情绪图像进行分类。

S154、将训练结果与每种情绪的特征阈值进行比较，识别图像特征值所属的情绪类别。

具体地，上述步骤S154，还包括：

第一步，获取训练结果对应的特征参数。此处的特征参数为所采集驾驶员当前人脸图像经过神经网络模型进行训练得出的特征参数。

第二步，判断训练结果对应的特征参数是否属于每种情绪的特征阈值。例如：训练结果对应的特征参数为2，2属于开心的情绪图像对应的特征阈值为[0，3)，当训练结果对应的特征参数为5,属于生气的情绪图像对应的特征阈值为[3,6)。

第三步，如果训练结果对应的特征参数属于每种情绪的特征阈值，则当前人脸图像属于该种情绪图像。根据训练结果所对应的特征参数，确定该特征参数所属的特征阈值，可得到驾驶员的当前情绪图像所对应的情绪类别。

本发明实施例中的驾驶员的情绪识别方法，还包括：

如果训练结果对应的特征参数不属于每种情绪的特征参数，则当前人脸图像不属于该种情绪图像。例如：当训练结果对应的特征参数为4，不属于特征阈值[0，3)的范围，所以，可确定出驾驶员的当前人脸图像不属于开心的情绪，即代表驾驶员处于不开心的状态。

本发明实施例中的驾驶员的情绪识别方法，通过将驾驶员的当前人脸图像输入经网络模型进行训练，当驾驶员在驾车和在车中休息的过程中，都能快速识别出驾驶员当前人脸图像所属的情绪类别，及时获知驾驶员的情绪状态，有利于云端服务器及时向车载终端推送与驾驶员的每种情绪对应的音乐，进而有利于驾驶员调节情绪，确保驾驶员在稳定的情绪状态中进行安全驾驶。

实施例2

本发明实施例提供一种音乐推送方法，用于云端服务器，如图4所示，包括：

S41、利用驾驶员的情绪识别方法获取驾驶员的当前人脸图像所属的情绪类别。利用实施例1中的驾驶员的情绪识别方法，获取驾驶员的当前人脸图像的情绪状态，即实施例1中的终端设备识别出驾驶员的当前情绪后，将驾驶员的当前情绪发送给云端服务器。

S42、根据情绪类别，向车载终端推送与情绪类别对应的音乐。云端服务器根据驾驶员当前情绪所属的情绪类别，向车载终端推送与驾驶员情绪对应的音乐，以便调节驾驶员的情绪状态。云端服务器根据对不同类型音乐进行定义，对不同音乐进行分类，例如：分为欢快的音乐，安静的音乐，兴奋的音乐等。例如：驾驶员的当前人脸图像属于生气的情绪类别，此时，云端服务器可以向驾驶员所驾驶的车辆的车载终端推送安静的音乐，缓解其当前生气的状态，以达到调节驾驶员的情绪状态，以免驾驶员在驾车的过程中因为不良情绪的影响发生危险事故。

本发明实施例中的音乐推送方法，可以结合驾驶员的不同的情绪状态，向驾驶员推送与其情绪状态对应的音乐类型，进而辅助驾驶员调节不同的情绪状态，以免因不良情绪影响安全驾驶，所以，有助于辅助驾驶员进行安全驾驶，同时，当驾驶员在驾车的过程中，也可以给驾驶员增添乐趣。

实施例3

本发明实施例提供一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现实施例1中的方法的步骤。该存储介质上还存储有当前人脸图像、增强图像、训练结果、当前人脸图像中包含的亮度图像和反射图像、多种不同情绪图像等。

其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

实施例4

本发明实施例提供一种车载终端，如图5所示，包括存储器520、处理器510及存储在存储器520上并可在处理器510上运行的计算机程序，处理器510执行程序时实现实施例1中方法的步骤。

图5是本发明实施例提供的执行列表项操作的处理方法的一种车载终端的硬件结构示意图，如图5所示，该车载终端包括一个或多个处理器510以及存储器520，图5中以一个处理器510为例。

执行列表项操作的处理方法的车载终端还可以包括：输入装置530和输出装置540。

处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器510可以为中央处理器(Central Processing Unit，CPU)。处理器510还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

实施例5

本发明实施例提供一种云端服务器，如图6所示，包括存储器620、处理器610及存储在存储器620上并可在处理器610上运行的计算机程序，处理器610执行程序时实现实施例1中方法的步骤。

图6是本发明实施例提供的执行列表项操作的处理方法的一种云端服务器的硬件结构示意图，如图6所示，该云端服务器包括一个或多个处理器610以及存储器620，图6中以一个处理器610为例。

执行列表项操作的处理方法的云端服务器还可以包括：输入装置630和输出装置640。

处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器610可以为中央处理器(Central Processing Unit，CPU)。处理器610还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种驾驶员的情绪识别方法，用于车载终端，其特征在于，包括如下步骤：

获取驾驶员的当前人脸图像；

对所述当前人脸图像进行处理得到增强图像；

从所述增强图像中提取图像特征值；

将所述图像特征值输入到神经网络模型进行训练，并输出训练结果；

根据所述训练结果，识别所述图像特征值所属的情绪类别。

2.根据权利要求1所述的驾驶员的情绪识别方法，其特征在于，所述对所述当前人脸图像进行处理得到增强图像的步骤包括：

从所述当前人脸图像中提取亮度图像和反射图像；

对所述反射图像进行校正；

对所述亮度图像和所述反射图像进行计算得到所述增强图像。

3.根据权利要求2所述的驾驶员的情绪识别方法，其特征在于，所述从所述增强图像中提取图像特征值的步骤包括：

从所述增强图像中确定目标像素点；

以所述目标像素点为中心，将所述增强图像进行划分为多个区域图像；

获取每个区域图像中的每个像素点的梯度方向和梯度幅值；

从所述每个区域图像中获取梯度方向相同的像素点；

根据所述梯度方向相同的像素点，构建多维梯度图像；

根据所述多维梯度图像，获取所述图像特征值。

4.根据权利要求1所述的驾驶员的情绪识别方法，其特征在于，根据所述训练结果，识别所述图像特征值所属的情绪类别的步骤包括：

采集多种不同的情绪图像；

将每种情绪图像输入到所述神经网络模型进行训练得到所述每种情绪图像的特征阈值；

根据所述每种情绪的特征阈值，对所述多种不同情绪图像进行分类；

将所述训练结果与所述每种情绪的特征阈值进行比较，识别所述图像特征值所属的情绪类别。

5.根据权利要求4所述的驾驶员的情绪识别方法，其特征在于，所述将所述训练结果与所述每种情绪的特征阈值进行比较，识别所述图像特征值所属的情绪类别的步骤包括：

获取所述训练结果对应的特征参数；

判断所述训练结果对应的特征参数是否属于所述每种情绪的特征阈值；

如果所述训练结果对应的特征参数属于所述每种情绪的特征阈值，则所述当前人脸图像属于该种情绪图像。

6.根据权利要求5所述的驾驶员的情绪识别方法，其特征在于，还包括：

如果所述训练结果对应的特征参数不属于所述每种情绪的特征阈值，则所述当前人脸图像不属于该种情绪图像。

7.一种音乐推送方法，用于云端服务器，其特征在于，包括：

利用权利要求1-6任一项所述的驾驶员的情绪识别方法获取驾驶员的当前人脸图像所属的情绪类别；

根据所述情绪类别，向车载终端推送与所述情绪类别对应的音乐。

8.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-6任一项所述的驾驶员的情绪识别方法的步骤；或实现权利要求7中所述的音乐推送方法的步骤。

9.一种车载终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6任一项所述的驾驶员的情绪识别方法的步骤。

10.一种云端服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求7所述的音乐推送方法的步骤。