CN110135355A - 一种利用色彩与音效主动调控驾驶员情绪的方法 - Google Patents

Abstract

本发明公开了一种利用色彩与音效主动调控驾驶员情绪的方法，利用本发明方法可以预先识别出驾驶员可能存在的情绪，及时变换车厢内的灯光和音效进而调节驾驶员情绪，可以降低安全风险，一定程度地避免因愤怒、慌张等消极情绪带来的交通事故行为，可以有效保障人们的生命和财产安全。

Description

一种利用色彩与音效主动调控驾驶员情绪的方法

技术领域

本发明涉及表情识别与驾驶员安全领域，具体涉及一种利用色彩(氛围灯)与音效主动调控驾驶员情绪的方法。

背景技术

近年来，交通事故的发生频率不断上升。每年因交通事故造成的人员伤亡数量庞大，且随着汽车的不断普及，这个数字还呈现上升的趋势。交通事故的频发不仅和路况环境有关，也和车辆因素以及人为因素有很大关联。以下式子可以用来描述事故的发生：A＝f(PV R E)。式中的A、P、V、R、E分别代表交通事故多少、人为因素、车辆因素、道路因素以及环境因素。其中人的因素——即驾驶员的自身原因，包括常见的路怒症、疲劳驾驶、行车焦虑、慌张等等，都是导致交通事故发生的重要原因。

驾驶员在行车过程中，会出现各种各样的情绪，包括愤怒、厌恶、兴奋、胆怯等等。这其中的情绪按照正负状态划分，既存在过正面情绪，也存在过负面情绪，这些都有可能对驾驶员的行车过程造成不良影响。而在驾驶的过程中，驾驶员的实时消极情绪往往得不到有效的缓解，因此诱发出了大量的交通事故。对于驾驶员而言，应该保持的情绪是稳定的中性情绪，在这种情绪状态下驾驶员的处理危机能力会保持较高的水平。随着近年来的智能驾驶辅助领域以及人工智能领域的发展，驾驶员的情绪状态越来越成为科研关注的指标，如何调节舒缓驾驶员的心理也将可能成为未来技术的重点研究方向。

发明内容

针对现有技术的不足，本发明旨在提供一种利用色彩与音效主动调控驾驶员情绪的方法。

为了实现上述目的，本发明采用如下技术方案：

一种利用色彩与音效主动调控驾驶员情绪的方法，包括如下步骤：

S1、找出人脸样本图像上的特征点：

S2、通过步骤S1找出人脸样本图像的特征点之后，对驾驶员常见的表情进行AU单元标记，降维之后进行降维训练得到xml文件，用于进行表情识别；

S3、建立效应量测量模型；

色彩的类型对情绪的影响记为F1，表示如下：

F1＝(W1-E1)/Q_spooled；

其中W1表示色彩冷暖度，E1表示单独色彩影响下的情绪负面影响度，Q_spooled表示实验组的混合标准差；

其中的k₁,k₂,…,k_w表示情绪样本的编号，w表示情绪样本的数量；d表示情绪样本的标准差；

同理，音乐的类型对情绪的影响记为F2：

F2＝(W2-E2)/Q_spooled

其中W2表示音乐类型，E2表示单独音乐影响下的负面情绪影响度，Q_spooled表示实验组的混合标准差；

令效应量测量模型C为：

S4、利用步骤S2中得到的xml文件对不同驾驶环境中不同色彩和音效下的驾驶员表情进行识别，并计算在不同的表情下，不同色彩和音效下对应的效应量C值；

S5、利用步骤S2得到的xml文件对驾驶员的表情进行识别，并根据步骤S4得到的在不同的表情下不同色彩和音效下对应的效应量C值，调控车内的色彩和音效，从而实现调控驾驶员的情绪。

进一步地，步骤S1的具体过程为：

S1.1、对人脸样本图像进行预处理，然后提取每张人脸样本图像的特征值与特征向量：

假设每张人脸样本图像上有K个特征点，每个特征点的坐标为(x_k，y_k)，此时人脸样本图像n上的K个特征点的坐标用向量表示为：

计算所有人脸样本图像的平均形状为：

N为人脸样本图像的数量；

用每个人脸样本图像n的矩阵Yⁿ减去得到矩阵

按下式求出每个人脸样本图像n对应的矩阵Aⁿ：

Aⁿ表示人脸样本图像n的权重系数矩阵，Xⁿ表示样本图像n的特征矩阵；

S1.2、步骤S1.1中求得的人脸样本图像的权重系数矩阵表示人脸样本图像中每个部位在人脸形状中的重要程度，根据权重系数矩阵进行人脸形状的初始化；

S1.3、在人脸形状中训练匹配点：

正例人脸样本图像设定为1，并与此相反的负例人脸样本图像设定为-1，采用线性的支持向量机进行训练；

利用线性的支持向量机对人脸样本图像中的脸部形状进行判断，找出特征区域，在寻找特征区域的时候会得到与之对应的响应函数Q(a_j,b_j)，得到拟合出的响应函数公式：

q(a_j,b_j)＝λ_j(a_j-a₀)²+η_j(b_j-b₀)²+σ_j；

其中(a_j,b_j)表示特征点j的坐标；η_j，σ_j，λ_j表示对应响应函数的参数，未知，需要在后面进行求解；响应函数公式q(a_j,b_j)要在点(a₀，b₀)求出最大值；得到目标函数为：

即让响应函数的值Q(a_j,b_j)与q(a_j,b_j)之间的误差最小；

S1.4、对步骤S1.3中得到的目标函数进行最小化：

将人脸样本图像转化为一维向量Q_L＝[Q₁₁,Q₁₂,Q₁₃...]；

令δ_j＝[λ_j,η_j,σ_j]^T，ψ_j＝[(a_j-a₀)(b_j-b₀)]，则目标函数为：

求解出函数关于ψ_j的二次最小化如下：

min q(a_j,b_j)＝B_j ^TH_jB_j-2F_j ^TB_j+λ_ja₀+η_jb₀+σ_j；

其中

记特征点的个数为M，则有：

限制目标函数为:

其中，x是人脸样本图像转化为一维向量后的表示，τ是惩罚因子，d_j是利用主成分分析得到的特征向量的系数，χ_j是对应特征向量的特征值；由于λ_ja₀ ²+η_jb₀ ²+σ_j去掉不会影响二次函数的形状，因此只保留影响形状的因子为：

此时令：

其中进一步表示为

P₁,P₁,…,P_M表示利用主成分分析得到的特征向量，向量的值乘以x就是特征向量系数可以表示d_mq；

最终得到：

在拟合的过程中求解f(x)的最小值，得到人脸样本图像的特征点。

进一步地，步骤S1.3中，所述线性的支持向量机如下：

D⁽ⁱ⁾＝β^TU⁽ⁱ⁾+α；

其中U表示样本子集，β^T＝[β₁,β,β₃.....]代表元素的权重，α表示偏移量；i为图像像素的个数。

进一步地，步骤S4中，根据C值划分在不同的表情下不同的色彩和音效对驾驶员心理影响效果的大小，划分标准为：

C≥0.75表示大效应量，影响较大；0.55≤C<0.75表示中效应量，影响中等；0.25≤C<0.55表示较小效应量，影响较小；C<0.25表示小效应量，影响微弱；

步骤S5中具体根据所述划分标准，针对不同驾驶员的表情选择大效应量的色彩和音效，并据此对车内的色彩和音效进行调控。

进一步地，步骤S5中，具体利用车内的氛围灯和音响设备对车内的色彩和音效进行调控。

本发明的有益效果在于：利用本发明方法建立的系统，可以预先识别出驾驶员可能存在的情绪，并及时变换车厢内的灯光和音效进而调节驾驶员情绪，可以降低安全风险，一定程度地避免因愤怒、慌张等消极情绪带来的交通事故行为，可以有效保障人们的生命和财产安全。

具体实施方式

以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本实施例提供一种利用色彩与音效主动调控驾驶员情绪的方法，包括如下步骤：

S1、找出人脸样本图像上的特征点：

S1.1、对人脸样本图像进行预处理(包括图像归一化、降噪等处理)，然后提取每张人脸样本图像的特征值与特征向量：

假设每张人脸样本图像上有K个特征点，每个特征点的坐标为(x_k，y_k)，此时人脸样本图像n上的K个特征点的坐标用向量表示为：

计算所有人脸样本图像的平均形状为：

N为人脸样本图像的数量；

用每个人脸样本图像n的矩阵Yⁿ减去得到矩阵

需要说明的是，矩阵的均值为0。

按下式求出每个人脸样本图像n对应的矩阵Aⁿ：

Aⁿ表示人脸样本图像n的权重系数矩阵，Xⁿ表示样本图像n的特征矩阵；

S1.2、步骤S1.1中求得的人脸样本图像的权重系数矩阵表示人脸样本图像中每个部位在人脸形状中的重要程度，根据权重系数矩阵进行人脸形状的初始化；

S1.3、在人脸形状中训练匹配点：

正例人脸样本图像设定为1，并与此相反的负例人脸样本图像设定为-1，采用线性的支持向量机进行训练；所述线性的支持向量机如下：

D⁽ⁱ⁾＝β^TU⁽ⁱ⁾+α；

其中U表示样本子集，β^T＝[β₁,β,β₃.....]代表元素的权重，α表示偏移量；i为图像像素的个数；

利用线性的支持向量机可以对人脸样本图像中的脸部形状进行判断，找出合适的特征区域，在寻找合适的特征区域的时候会得到与之对应的响应函数Q(a_j,b_j)，得到拟合出的响应函数公式：

q(a_j,b_j)＝λ_j(a_j-a₀)²+η_j(b_j-b₀)²+σ_j；

其中(a_j,b_j)表示特征点j的坐标；η_j，σ_j，λ_j表示对应响应函数的参数，未知，需要在后面进行求解；响应函数公式q(a_j,b_j)要在点(a₀，b₀)求出最大值；得到目标函数为：

即让响应函数的值Q(a_j,b_j)与q(a_j,b_j)之间的误差最小；

S1.4、对步骤S1.3中得到的目标函数进行最小化：

将人脸样本图像转化为一维向量Q_L＝[Q₁₁,Q₁₂,Q₁₃...]；

为了简化后续的式子，令δ_j＝[λ_j,η_j,σ_j]^T，ψ_j＝[(a_j-a₀)(b_j-b₀)]，则目标函数为：

求解出函数关于ψ_j的二次最小化如下：

min q(a_j,b_j)＝B_j ^TH_jB_j-2F_j ^TB_j+λ_ja₀+η_jb₀+σ_j；

其中

记特征点的个数为M，则有：

限制目标函数为:

其中，x是人脸样本图像转化为一维向量后的表示，τ是惩罚因子，d_j是利用主成分分析得到的特征向量的系数，χ_j是对应特征向量的特征值；由于λ_ja₀ ²+η_jb₀ ²+σ_j去掉不会影响二次函数的形状，因此只保留影响形状的因子为：

此时令：

其中进一步表示为

P₁,P₁,…,P_M表示利用主成分分析得到的特征向量，向量的值乘以x就是特征向量系数可以表示d_mq；

最终得到：

在拟合的过程中求解f(x)的最小值，得到人脸样本图像的特征点。

S2、通过步骤S1找出人脸样本图像的特征点(68个)之后，对驾驶员常见的表情进行AU单元标记，降维之后进行降维训练得到xml文件，用于进行表情识别；

S3、建立效应量测量模型；

由于情绪样本数量的限制，单独计算因素引起的差别可以使某些指标不受样本数量的影响，两个效应量单独计算求均值，定义C值的大小为效应值。实际运用中色彩与音乐类型都是影响因素，但是两个因素相互独立互相之间并无联系，但是又在情绪影响中同时起作用在实际运用中色彩与音乐类型都是影响因素。

色彩的类型对情绪的影响记为F1，表示如下：

F1＝(W1-E1)/Q_spooled；

其中W1表示色彩冷暖度，E1表示单独色彩影响下的情绪负面影响度，Q_spooled表示实验组的混合标准差。由于是单方面的单向影响，因此有：

其中的k₁,k₂,…,k_w表示情绪样本的编号，w表示情绪样本的数量；d表示情绪样本的标准差；

同理，音乐的类型对情绪的影响记为F2：

F2＝(W2-E2)/Q_spooled

其中W2表示音乐类型，E2表示单独音乐影响下的负面情绪影响度，Q_spooled表示实验组的混合标准差。

为了使得效应量的值的范围限制在0到1之间，令效应量测量模型C为：

S4、利用步骤S2中得到的xml文件对不同驾驶环境中不同色彩和音效下的驾驶员表情进行识别，并计算在不同的表情下，不同色彩和音效下对应的效应量C值；C值大小对应表示的是不同色彩和音效对驾驶员的影响效果如表1所示：

表1驾驶员心理效应量对应表

S5、利用步骤S2得到的xml文件对驾驶员的表情进行识别，并根据步骤S4得到的在不同的表情下不同色彩和音效下对应的效应量C值，利用车内的氛围灯和音响设备调控车内的色彩和音效，从而实现调控驾驶员的情绪。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (5)

1.一种利用色彩与音效主动调控驾驶员情绪的方法，其特征在于，包括如下步骤：

S1、找出人脸样本图像上的特征点：

S2、通过步骤S1找出人脸样本图像的特征点之后，对驾驶员常见的表情进行AU单元标记，降维之后进行降维训练得到xml文件，用于进行表情识别；

S3、建立效应量测量模型；

色彩的类型对情绪的影响记为F1，表示如下：

F1＝(W1-E1)/Q_spooled；

其中W1表示色彩冷暖度，E1表示单独色彩影响下的情绪负面影响度，Q_spooled表示实验组的混合标准差；

其中的k₁,k₂,…,k_w表示情绪样本的编号，w表示情绪样本的数量；d表示情绪样本的标准差；

同理，音乐的类型对情绪的影响记为F2：

F2＝(W2-E2)/Q_spooled

其中W2表示音乐类型，E2表示单独音乐影响下的负面情绪影响度，Q_spooled表示实验组的混合标准差；

令效应量测量模型C为：

S4、利用步骤S2中得到的xml文件对不同驾驶环境中不同色彩和音效下的驾驶员表情进行识别，并计算在不同的表情下，不同色彩和音效下对应的效应量C值；

S5、利用步骤S2得到的xml文件对驾驶员的表情进行识别，并根据步骤S4得到的在不同的表情下不同色彩和音效下对应的效应量C值，调控车内的色彩和音效，从而实现调控驾驶员的情绪。

2.根据权利要求1所述的利用色彩与音效主动调控驾驶员情绪的方法，其特征在于，步骤S1的具体过程为：

S1.1、对人脸样本图像进行预处理，然后提取每张人脸样本图像的特征值与特征向量：

假设每张人脸样本图像上有K个特征点，每个特征点的坐标为(x_k，y_k)，此时人脸样本图像n上的K个特征点的坐标用向量表示为：

计算所有人脸样本图像的平均形状为：

N为人脸样本图像的数量；

用每个人脸样本图像n的矩阵Yⁿ减去得到矩阵

按下式求出每个人脸样本图像n对应的矩阵Aⁿ：

Aⁿ表示人脸样本图像n的权重系数矩阵，Xⁿ表示样本图像n的特征矩阵；

S1.2、步骤S1.1中求得的人脸样本图像的权重系数矩阵表示人脸样本图像中每个部位在人脸形状中的重要程度，根据权重系数矩阵进行人脸形状的初始化；

S1.3、在人脸形状中训练匹配点：

正例人脸样本图像设定为1，并与此相反的负例人脸样本图像设定为-1，采用线性的支持向量机进行训练；

利用线性的支持向量机对人脸样本图像中的脸部形状进行判断，找出特征区域，在寻找特征区域的时候会得到与之对应的响应函数Q(a_j,b_j)，得到拟合出的响应函数公式：

q(a_j,b_j)＝λ_j(a_j-a₀)²+η_j(b_j-b₀)²+σ_j；

其中(a_j,b_j)表示特征点j的坐标；η_j，σ_j，λ_j表示对应响应函数的参数，未知，需要在后面进行求解；响应函数公式q(a_j,b_j)要在点(a₀，b₀)求出最大值；得到目标函数为：

即让响应函数的值Q(a_j,b_j)与q(a_j,b_j)之间的误差最小；

S1.4、对步骤S1.3中得到的目标函数进行最小化：

将人脸样本图像转化为一维向量Q_L＝[Q₁₁,Q₁₂,Q₁₃...]；

令δ_j＝[λ_j,η_j,σ_j]^T，ψ_j＝[(a_j-a₀)(b_j-b₀)]，则目标函数为：

求解出函数关于ψ_j的二次最小化如下：

min q(a_j,b_j)＝B_j ^TH_jB_j-2F_j ^TB_j+λ_ja₀+η_jb₀+σ_j；

其中

记特征点的个数为M，则有：

限制目标函数为:

其中，x是人脸样本图像转化为一维向量后的表示，τ是惩罚因子，d_j是利用主成分分析得到的特征向量的系数，χ_j是对应特征向量的特征值；由于λ_ja₀ ²+η_jb₀ ²+σ_j去掉不会影响二次函数的形状，因此只保留影响形状的因子为：

此时令：

其中进一步表示为

P₁,P₁,…,P_M表示利用主成分分析得到的特征向量，向量的值乘以x就是特征向量系数可以表示d_mq；

最终得到：

在拟合的过程中求解f(x)的最小值，得到人脸样本图像的特征点。

3.根据权利要求1所述的利用色彩与音效主动调控驾驶员情绪的方法，其特征在于，步骤S1.3中，所述线性的支持向量机如下：

D⁽ⁱ⁾＝β^TU⁽ⁱ⁾+α；

其中U表示样本子集，β^T＝[β₁,β,β₃.....]代表元素的权重，α表示偏移量；i为图像像素的个数。

4.根据权利要求1所述的利用色彩与音效主动调控驾驶员情绪的方法，其特征在于，步骤S4中，根据C值划分在不同的表情下不同的色彩和音效对驾驶员心理影响效果的大小，划分标准为：

C≥0.75表示大效应量，影响较大；0.55≤C<0.75表示中效应量，影响中等；0.25≤C<0.55表示较小效应量，影响较小；C<0.25表示小效应量，影响微弱；

步骤S5中具体根据所述划分标准，针对不同驾驶员的表情选择大效应量的色彩和音效，并据此对车内的色彩和音效进行调控。

5.根据权利要求1或4所述的利用色彩与音效主动调控驾驶员情绪的方法，其特征在于，步骤S5中，具体利用车内的氛围灯和音响设备对车内的色彩和音效进行调控。