CN113173170A - 基于人员画像个性化算法 - Google Patents

Abstract

本发明公开了一种基于人员画像个性化算法，包括以下步骤：S1，获取当前时刻的环境信息和车辆的当前状态信息；S21，在当前时刻的环境下，当车辆的历史操作记录的数据量小于阈值，将车辆的历史操作记录发送至内部存储并训练好的驾驶员风格分类器，所述驾驶员风格分类器识别所述驾驶员风格并发送至决策模块；S22，在当前时刻的环境下，当车辆的历史操作记录的数据量大于阈值；将车辆的历史操作记录发送至处理器，处理器搭建深度学习推荐模型。本发明的主要目的在于提供一种基于人员画像个性化算法，建立完全符合用户驾驶习惯和驾驶偏好的自动驾驶算法，同时在控制算法并未训练好之前，提高控制算法训练初期驾驶体验和智能化程度。

Description

基于人员画像个性化算法

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种基于人员画像个性化算法。

背景技术

自动驾驶技术是汽车工业史上的一次大变革，装备了自动驾驶设备的汽车具备了“聪明的大脑”，可以在行驶过程中自主做出适当的驾驶行为。近年来，美、欧、日等发达国家和地区将自动驾驶作为交通未来发展的重要方向，在技术研发、道路测试、标准法规、政策等方面为自动驾驶及其载体——智能网联汽车的发展提供政策支持，加快自动驾驶商业化进程。然而，现阶段自动驾驶个性化驾驶程度较低，一般都是根据用户驾驶车辆的行为将用户驾驶风格进行分类，从而根据驾驶风格实行自动化驾驶，但是，一方面，仅仅将用户机械化的划分为某种特定的驾驶风格进行自动化驾驶，将会导致个性化程度较低，不能完全贴合用户的驾驶习惯和驾驶偏好，另外一方面，要完全贴合用户的驾驶习惯和驾驶偏好，需要大量的训练样本进行训练，将会导致控制算法训练初期的驾驶体验和智能化程度较差。

发明内容

本发明的主要目的在于提供一种基于人员画像个性化算法，建立完全符合用户驾驶习惯和驾驶偏好的自动驾驶算法，同时在控制算法并未训练好之前，采用用户风格划分的方式，针对驾驶风格来进行自动驾驶，提高控制算法训练初期驾驶体验和智能化程度。

本申请的提出了一种基于人员画像个性化算法，包括以下步骤：

S1，获取当前时刻的环境信息和车辆的当前状态信息；S21，在当前时刻的环境下，当车辆的历史操作记录的数据量小于阈值，将车辆的历史操作记录发送至内部存储并训练好的驾驶员风格分类器，所述驾驶员风格分类器识别所述驾驶员风格并发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶；

S22，在当前时刻的环境下，当车辆的历史操作记录的数据量大于阈值；将车辆的历史操作记录发送至处理器，处理器搭建深度学习推荐模型，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶。

优选地，所述处理器搭建深度学习推荐模型包括：对在每个时间点，S22a，将当前场景下，驾驶员加速，减速，转向，超车的驾驶操作分别进行编码，将驾驶操作变为机器可识别的控制向量，S22b，将控制向量输入深度学习推荐模型，经过门限循环单元模型处理层后，进入全连接层，全连接层激活函数softmax函数输出下一时间点每个驾驶操作被执行的概率；S22c，将预测过程中输出概率之和最大的多个驾驶操作推荐给处理器，处理器基于用户的交互或者评价函数来将当前环境的驾驶操作输出至决策模块，当切换至自动驾驶模式时，决策模块在相同环境下基于处理器输出控制命令控制车辆自动驾驶。

优选地，训练过程中，选择适用于多分类交叉熵损失作为损失函数，其计算公式如下：

其中，N代表驾驶员的N种驾驶样本，表示第n个样本是否属于第i个类别，取值为0或1，i种类别分别包括加速，减速，转向，超车四种驾驶操作类型，

表示输出的结果，训练模型时，输入为用户历史操作类型的前K-1个历史操作记录，输出为操作类型的第2至k个，K的取值由当前操作类型的操作次数来决定。

优选地，所述S22c，将预测过程中输出概率之和最大的多个驾驶操作推荐给处理器，处理器基于用户的交互或者评价函数来将当前环境的驾驶操作输出至决策模块，具体包括：用户通过语音交互的方式选择当前环境下的驾驶操作，或者，所述评价函数为：P＝Nrs/N，R＝N/Nr；P为推荐操作准确的概率，R为驾驶操作召回的概率，N为历史操作记录的数据量，Nrs为当前环境下驾驶操作被驾驶员执行的次数，Nr当前环境下驾驶操作被推荐的次数，F评分技术公式为：2e^RP/E^P+R为,当评分F大于预设值时，模型训练完成，处理器将当前环境的驾驶操作输出值决策模型。

优选地，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶。具体包括：获取车辆当前时刻的环境图像；将环境图像输入至深度学习推荐模型，得到当前时刻的环境图像对应的驾驶操作的类型和具体参数，决策模块根据驾驶操作的类型和具体参数输出控制命令控制车辆自动驾驶。

优选地，所述所述驾驶员风格分类器识别所述驾驶员风格包括：所述驾驶员风格分类器将驾驶员风格发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶；所述驾驶员风格分类器接收驾驶员习性信息后，根据训练好的驾驶员模型进行初始化辨识，再通过隐马尔可夫算法进行在线辨识得到极大似然值，根据极大似然值判断驾驶员的习性类型。

优选地，还包括，当识别所述车辆需要进行避障时，则通过深度强化学习算法进行避碰，其奖励函数为：

其中，Di表示车辆与障碍物的最小会遇距离；D_s表示避免发生碰撞的最近距离；k_C∈[0,1]表示碰撞影响系数；Ii表示车辆碰撞概率；C表示车辆航向角；d_t表示t时刻障碍物平均距离；δ表示车辆偏移车道线的横向角度；k_a∈[0,1]表示动作影响系数；V₀和V_S分别表示车辆当前速度和期望速度；a_t(C)a_t(C)表示决策集合中方向变化，a_t(V)表示决策集合速度变化。

本发明通过将获取当前时刻获取当前时刻的环境信息和车辆的当前状态信息；在当前时刻的环境下，当车辆的历史操作记录的数据量小于阈值，将车辆的历史操作记录发送至内部存储并训练好的驾驶员风格分类器，所述驾驶员风格分类器将驾驶员风格发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶，另外，具体的驾驶风格包括稳健型，激进型和一般型，从而可以使得用户的驾驶习惯和个性化模型没有建立之前，可以通过分类器判定用户的驾驶风格，而从而在自动驾驶过程中，可以直接采用与用户的驾驶风格匹配的驾驶风格进行自动驾驶，而不考虑具体的驾驶环境和具体的驾驶时刻下的个性化驾驶，另外，在搭建深度学习推荐模型时，在当前时刻的环境下，当车辆的历史操作记录的数据量大于阈值；将车辆的历史操作记录发送至处理器，处理器搭建深度学习推荐模型，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶；从而可以做到不管何时，何地或者何种天气都能针对性进行个性化驾驶，从而使得每个驾驶控制指令都能符合驾驶员的驾驶风格和驾驶个性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于人员画像个性化算法的流程图；

图2为本发明基于人员画像个性化算法中深度学习推荐模型的训练流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参照图1至图2，本优选实施例中，一种基于人员画像个性化算法，包括以下步骤：

S1，获取当前时刻的环境信息和车辆的当前状态信息；

S21，在当前时刻的环境下，当车辆的历史操作记录的数据量小于阈值，将车辆的历史操作记录发送至内部存储并训练好的驾驶员风格分类器，所述驾驶员风格分类器识别所述驾驶员风格并发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶；

S22，在当前时刻的环境下，当车辆的历史操作记录的数据量大于阈值；将车辆的历史操作记录发送至处理器，处理器搭建深度学习推荐模型，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶。

本发明通过将获取当前时刻获取当前时刻的环境信息和车辆的当前状态信息；在当前时刻的环境下，当车辆的历史操作记录的数据量小于阈值，将车辆的历史操作记录发送至内部存储并训练好的驾驶员风格分类器，所述驾驶员风格分类器将驾驶员风格发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶，另外，具体的驾驶风格包括稳健型，激进型和一般型，从而可以使得用户的驾驶习惯和个性化模型没有建立之前，可以通过分类器判定用户的驾驶风格，而从而在自动驾驶过程中，可以直接采用与用户的驾驶风格匹配的驾驶风格进行自动驾驶，而不考虑具体的驾驶环境和具体的驾驶时刻下的个性化驾驶，另外，在搭建深度学习推荐模型时，在当前时刻的环境下，当车辆的历史操作记录的数据量大于阈值；将车辆的历史操作记录发送至处理器，处理器搭建深度学习推荐模型，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶；从而可以做到不管何时，何地或者何种天气都能针对性进行个性化驾驶，从而使得每个驾驶控制指令都能符合驾驶员的驾驶风格和驾驶个性。

进一步地，所述处理器搭建深度学习推荐模型包括：对在每个时间点，S22a，将当前场景下，驾驶员加速，减速，转向，超车的驾驶操作分别进行编码，将驾驶操作变为机器可识别的控制向量，S22b，将控制向量输入深度学习推荐模型，经过门限循环单元模型处理层后，进入全连接层，全连接层激活函数softmax函数输出下一时间点每个驾驶操作被执行的概率；S22c，将预测过程中输出概率之和最大的多个驾驶操作推荐给处理器，处理器基于用户的交互或者评价函数来将当前环境的驾驶操作输出至决策模块，当切换至自动驾驶模式时，决策模块在相同环境下基于处理器输出控制命令控制车辆自动驾驶。

优选地，训练过程中，选择适用于多分类交叉熵损失作为损失函数，其计算公式如下：

其中，N代表驾驶员的N种驾驶样本，表示第n个样本是否属于第i个类别，取值为0或1，i种类别分别包括加速，减速，转向，超车四种驾驶操作类型，

表示输出的结果，训练模型时，输入为用户历史操作类型的前K-1个历史操作记录，输出为操作类型的第2至k个，K的取值由当前操作类型的操作次数来决定。

获取当前时刻，当前环境下驾驶员进行的加速，减速，转向，超车四种驾驶操作类型，他们的编号分别是1,2,3,4.首先我们利用编码将其表示为输入层的向量，若将隐含层的节点设为3，则在隐含层通过GRU(门限循环单元模型)结构的作用，输出一个1*3的向量。最后，全连接层上输出各个操作在下一时间出现的概率，将输出概率和最大的N个操作作为驾驶员的推荐。比如：加速类型，加速度可以为1m/s²，5m/s²，6m/s²，10m/s²，将其编码为输入向量A(a1，a2,a3,a4)，则在隐含层通过GRU(门限循环单元模型)结构的作用，输出一个A^*(a^*1，a^*2,a^*3,a^*4)的向量，最后，全连接层上输出加速度处于1m/s²，5m/s²，6m/s²，10m/s²在下一时间出现的概率，基于同样的原理，将减速，转向，超车中输出概率和最大的驾驶操作作为驾驶员的推荐。

另外，优选地，所述S22c，将预测过程中输出概率之和最大的多个驾驶操作推荐给处理器，处理器基于用户的交互或者评价函数来将当前环境的驾驶操作输出至决策模块，具体包括：用户通过语音交互的方式选择当前环境下的驾驶操作，或者，所述评价函数为：P＝Nrs/N，R＝N/Nr；P为推荐操作准确的概率，R为驾驶操作召回的概率，N为历史操作记录的数据量，Nrs为当前环境下驾驶操作被驾驶员执行的次数，Nr当前环境下驾驶操作被推荐的次数，F评分技术公式为：2e^RP/E^P+R为,当评分F大于预设值时，模型训练完成，处理器将当前环境的驾驶操作输出值决策模型。具体的说，在模型建立过程中，可以在当前环境，比如高速公路或者正常行驶公路或者拥挤路段，驾驶员减速的次数是50次，其中，减速度0-5m/s²的次数是20次，减速度5-10m/s²的次数是10次，减速度10-20m/s²的次数是7次，减速度20以上m/s²的次数是3次；类似地，而加速，转向以及超车的操作次数以及具体的操作参数可以也可以进行统计，当遇到同样场景下，而驾驶员的历史操作次数即N可以是100或者200设置更多，Nr可以为每次模型推荐的次数，而Nrs可以统计在当前操作下，操作次数最多的，比如就是减速度0-5m/s²的次数是20次，其次数是最多的，就将此作为Nrs，从而基于上述公式就可以计算其中的评分F，在F评分大于90分时，则判定模型建立完成。

优选地，其中，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶。具体包括：获取车辆当前时刻的环境图像；将环境图像输入至深度学习推荐模型，得到当前时刻的环境图像对应的驾驶操作的类型和具体参数，决策模块根据驾驶操作的类型和具体参数输出控制命令控制车辆自动驾驶。从而可以使得不管是何种驾驶环境和驾驶时刻，可以根据用户的习惯和喜好进行自动化驾驶。

另外，优选地，所述所述驾驶员风格分类器识别所述驾驶员风格包括：所述驾驶员风格分类器将驾驶员风格发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶；所述驾驶员风格分类器接收驾驶员习性信息后，根据训练好的驾驶员模型进行初始化辨识，再通过隐马尔可夫算法进行在线辨识得到极大似然值，根据极大似然值判断驾驶员的习性类型。

另外，需要说明的是，驾驶员的驾驶习惯和风格，往往会造成驾驶员处于危险之中，特别是避碰和避障过程中，从而在判定车辆与障碍物存在碰撞风险时，则基于深度强化学习进行避碰，从而当识别所述车辆需要进行避障时，则通过深度强化学习算法进行避碰，其奖励函数为：

其中，Di表示车辆与障碍物的最小会遇距离；D_s表示避免发生碰撞的最近距离；k_C∈[0,1]表示碰撞影响系数；Ii表示车辆碰撞概率；C表示车辆航向角；d_t表示t时刻障碍物平均距离；δ表示车辆偏移车道线的横向角度；k_a∈[0,1]表示动作影响系数；V₀和V_S分别表示车辆当前速度和期望速度；a_t(C)a_t(C)表示决策集合中方向变化，a_t(V)表示决策集合速度变化。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (7)

1.一种基于人员画像个性化算法，其特征在于，包括以下步骤：

S1，获取当前时刻的环境信息和车辆的当前状态信息；

S21，在当前时刻的环境下，当车辆的历史操作记录的数据量小于阈值，将车辆的历史操作记录发送至内部存储并训练好的驾驶员风格分类器，所述驾驶员风格分类器识别所述驾驶员风格并发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶；

S22，在当前时刻的环境下，当车辆的历史操作记录的数据量大于阈值；将车辆的历史操作记录发送至处理器，处理器搭建深度学习推荐模型，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶。

2.如权利要求1所述的基于人员画像个性化算法，其特征在于，所述处理器搭建深度学习推荐模型包括：对在每个时间点，S22a，将当前场景下，驾驶员加速，减速，转向，超车的驾驶操作分别进行编码，将驾驶操作变为机器可识别的控制向量，S22b，将控制向量输入深度学习推荐模型，经过门限循环单元模型处理层后，进入全连接层，全连接层激活函数softmax函数输出下一时间点每个驾驶操作被执行的概率；S22c，将预测过程中输出概率之和最大的多个驾驶操作推荐给处理器，处理器基于用户的交互或者评价函数来将当前环境的驾驶操作输出至决策模块，当切换至自动驾驶模式时，决策模块在相同环境下基于处理器输出控制命令控制车辆自动驾驶。

3.如权利要求2所述的基于人员画像个性化算法，其特征在于，训练过程中，选择适用于多分类交叉熵损失作为损失函数，其计算公式如下：

其中，N代表驾驶员的N种驾驶样本，表示第n个样本是否属于第i个类别，取值为0或1，i种类别分别包括加速，减速，转向，超车四种驾驶操作类型，

表示输出的结果，训练模型时，输入为用户历史操作类型的前K-1个历史操作记录，输出为操作类型的第2至k个，K的取值由当前操作类型的操作次数来决定。

4.如权利要求2所述的基于人员画像个性化算法，其特征在于，所述S22c，将预测过程中输出概率之和最大的多个驾驶操作推荐给处理器，处理器基于用户的交互或者评价函数来将当前环境的驾驶操作输出至决策模块，具体包括：用户通过语音交互的方式选择当前环境下的驾驶操作，或者，所述评价函数为：P＝Nrs/N，R＝N/Nr；P为推荐操作准确的概率，R为驾驶操作召回的概率，N为历史操作记录的数据量，Nrs为当前环境下驾驶操作被驾驶员执行的次数，Nr当前环境下驾驶操作被推荐的次数，F评分技术公式为：2e^RP/E^P+R为,当评分F大于预设值时，模型训练完成，处理器将当前环境的驾驶操作输出值决策模型。

5.如权利要求1所述的基于人员画像个性化算法，其特征在于，其中，切换至自动驾驶模式时，决策模块在相同环境下基于深度学习推荐模型输出控制命令控制车辆自动驾驶。具体包括：获取车辆当前时刻的环境图像；将环境图像输入至深度学习推荐模型，得到当前时刻的环境图像对应的驾驶操作的类型和具体参数，决策模块根据驾驶操作的类型和具体参数输出控制命令控制车辆自动驾驶。

6.如权利要求1所述的基于人员画像个性化算法，其特征在于，所述所述驾驶员风格分类器识别所述驾驶员风格包括：所述驾驶员风格分类器将驾驶员风格发送至决策模块，当切换至自动驾驶模式时，决策模块根据驾驶员风格输出控制命令控制车辆自动驾驶；所述驾驶员风格分类器接收驾驶员习性信息后，根据训练好的驾驶员模型进行初始化辨识，再通过隐马尔可夫算法进行在线辨识得到极大似然值，根据极大似然值判断驾驶员的习性类型。

7.如权利要求1所述的基于人员画像个性化算法，其特征在于，还包括，当识别所述车辆需要进行避障时，则通过深度强化学习算法进行避碰，其奖励函数为：

其中，Di表示车辆与障碍物的最小会遇距离；D_s表示避免发生碰撞的最近距离；k_C∈[0,1]表示碰撞影响系数；Ii表示车辆碰撞概率；C表示车辆航向角；d_t表示t时刻障碍物平均距离；δ表示车辆偏移车道线的横向角度；k_a∈[0,1]表示动作影响系数；V₀和V_S分别表示车辆当前速度和期望速度；a_t(C)a_t(C)表示决策集合中方向变化，a_t(V)表示决策集合速度变化。

Images