CN112651446A - 一种基于联盟链的无人驾驶汽车训练方法 - Google Patents

Abstract

本发明公开了一种基于联盟链的无人驾驶汽车训练方法，包括：1)参与训练的无人驾驶汽车构建自身节点并形成联盟链；2)统一初始化行动向量和状态向量；3)训练节点获取目的地及沿途道路信息，初始化模型中的行动价值函数并开始训练；4)训练节点开启本轮行动策略并将当前时刻行动和状态上传至联盟链进行联合判断；5)判断当前节点是否到达预设目的地，是则结束训练，否则执行步骤4)。提出了一种决策正确性的多方评价方法，能在保证安全的前提下，利用其他无人驾驶车辆所训练好的模型来评估当前无人驾驶车辆做出的决策的好坏，从而极大程度上避免了由于无人驾驶汽车的模型代码不完善，训练样本少，本地决策正确性低所带来的安全问题。

Description

一种基于联盟链的无人驾驶汽车训练方法

技术领域

本发明涉及区块链领域，特别是涉及一种基于联盟链的无人驾驶汽车训练方法。

背景技术

无人驾驶汽车的提出至今已经有了许多年，但是由于技术上还未达到绝对的安全所以目前无人驾驶汽车主要还是以展示为主，只出现在一些重大的活动中。从20世纪70年代开始，美国、英国、德国等发达国家开始进行无人驾驶汽车的研究，在可行性和实用化方面都取得了突破性的进展。中国从20世纪80年代开始进行无人驾驶汽车的研究，国防科技大学在1992年成功研制出中国第一辆真正意义上的无人驾驶汽车。如今无人驾驶汽车的技术有许多，主流的无人驾驶技术都是通过利用环境感知、数据预处理、场景判断、行为决策组成的无人驾驶系统。虽然有着一些的研究进展，但是想让无人驾驶汽车从研究走向我们的日常生活还存在着种种苦难。例如在谷歌想将无人驾驶汽车走向商品化的过程中，在测试阶段无人驾驶汽车发生了11次交通事故，虽然都不严重，但也让谷歌无人驾驶汽车项目的推广向后延期；优步的无人驾驶汽车在道路测试半年后发生了一次极其严重的翻车事故也让无人驾驶汽车的安全性再次受到质疑。无人驾驶汽车在道路上驾驶测试的过程中发生交通事故往往是因为一些代码上的不完善，以及训练样本不足的原因。无人驾驶汽车的训练分为两部分，第一部分是模拟驾驶，通过计算机模拟虚拟的驾驶环境，再去不断训练修正驾驶的行为，再经过模拟驾驶的环境训练后就会进入道路实测的阶段，往往在此时由于之前模拟训练时难以覆盖现实道路中所有可能发生的情况，所以在道路测试中遇到无法判断的情况就会导致无人驾驶汽车发生事故。此外目前的无人驾驶汽车技术主要是通过模拟训练后，在本地根据训练好的驾驶模型获取道路的实时状况并做出应对，所以模型容易收到外来的攻击，安全性较差，一旦模型中的一些参数被修改，很容易导致重大的交通事故。

发明内容

本发明的目的是提供一种基于联盟链的无人驾驶汽车训练方法，以解决上述现有技术存在的问题，为了有效的保证每个无人驾驶汽车模型的安全性，更能通过多方计算验证保证无人驾驶汽车每个决策的正确性。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于联盟链的无人驾驶汽车训练方法，具体步骤为：

S1，构建训练模型，参与训练的无人驾驶汽车构建自身节点并形成联盟链；

S2，统一初始化行动向量和状态向量；

S3，训练节点获取目的地及沿途道路信息，初始化所述模型中的所述行动价值函数并开始训练；

S4，训练节点开启本轮行动策略并将当前时刻行动向量和状态向量上传至联盟链进行联合判断；

S5，判断当前节点是否到达预设目的地，“否”则执行步骤S4，“是”则结束训练。

进一步地，所述联盟链的建立间接过程是通过自动调用已有的以太坊的代码函数完成的。

进一步地，所述统一初始化行动向量是指根据无人驾驶行动策略，将要执行的无人驾驶操作进行编码，使得每一种操作都占用1-3位编码，其中1位表示是否进行该操作，另外位数表示操作的具体数据。

进一步地，所述状态向量由车辆上的视觉传感器、激光雷达、超声传感器、微波雷达、GPS、里程计、磁罗盘等传感器获得，每种传感器控制1-2位的编码。

基于上述训练方法，本申请对上述无人驾驶汽车的训练过程进行评估，判断是否可行，公开了一种基于上述训练方法的无人驾驶汽车决策正确性多方评估方法，具体步骤为：

1)监听当前状态向量的变化；

2)判断是否有状态发生变化：若状态没有发生变化，则继续监听；若发生了变化，则进行下一步；

3)计算当前行动价值函数并获取最大价值的行动；

4)将得到的最大价值行动和之前的状态向量上传至联盟链中；

5)其他节点通过智能合约获得并利用该状态计算该行动的得分，并整合一个最终的评价得分M；

6)判断最终评价得分M是否大于预设值：若大于预设值，则执行当前得分最高的行动，并结束本轮训练；若没有大于预设值，则计算除去上个行动之外行动价值得分最高的行动，再从步骤4)重新运算，直到结束训练。

进一步地，所述步骤3)中计算当前行动价值函数的公式中输入当前的状态向量，并根据做出的行动和历史行动激励求解数学期望，最终通过求解该数学期望的最大值获取最大价值的行动向量。

进一步地，所述3)中计算当前行动价值函数的公式为：

Q_π(s，a)＝E[U_t|S_t＝s，A_t＝a]

式中行动价值函数Q_π(s，a)为在t时刻状态s下做出行动a的价值打分，E为求期望的函数，U_t为一个历史步骤激励，S_t为t时刻的状态输入，A_t为t时刻的行动输入。

进一步地，所述历史步骤激励U_t的计算公式为：

U_t＝R_t+αR_t+1+α²R_t+2+...+α^xR_t+x

式中步骤t的重要性函数，R_t为t步骤的奖励值，α为0-1之间的一个系数，x为一个小于等于5的值，其中历史步骤激励U_t不超过5步。

进一步地，所述步骤5)中的最终得分M的计算公式为：

式中M为最终得分，n为参与评价的节点的数量，δ_i为第i个节点的可信度指数，m_i为第i个节点的评价得分，min(m)为n个评价节点中最低的评分，max(m)为n个评价节点中最高的评分，r_i为节点i参与正确预测的次数，w_i为节点i参与错误预测的次数。

本发明公开了以下技术效果：

本发明提出了一种基于联盟链的无人驾驶汽车训练方法，能保证在训练过程中的安全性，防止第三方恶意攻击无人驾驶汽车的行动决策，还能由多方验证无人驾驶汽车的行动决策的正确性，提高无人驾驶汽车的安全性，提出了一种决策正确性的多方评价方法，能在保证安全的前提下，利用其他无人驾驶的车辆所训练好的模型来评估当前无人驾驶车辆做出的决策的好坏，从而极大程度上避免了由于无人驾驶汽车的模型代码不完善，训练样本少，本地决策正确性低所带来的安全问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为总体流程图；

图2为联合训练流程图。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为是对本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值。在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引用并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

实施例1

本发明提供一种基于联盟链的无人驾驶汽车训练方法，具体步骤为：

S1，构建训练模型，参与训练的无人驾驶汽车构建自身节点并形成联盟链；

S2，统一初始化行动向量a和状态向量s；

S3，训练节点获取目的地及沿途道路信息，初始化模型中的行动价值函数Q并开始训练；

S4，训练节点开启本轮行动策略并将当前时刻行动向量和状态向量上传至联盟链进行联合判断；

S5，判断当前节点是否到达预设目的地，“否”则执行步骤S4，“是”则结束训练。

其中所述步骤S1中的构建自身节点形成联盟链指的是无人驾驶汽车以个体为单位在区块链上注册账户，这里指的区块链为二代区块链以太坊，然后在这些无人驾驶汽车账户之间建立连接形成联盟链，其中建立连接的过程是通过自动调用已有的以太坊的代码函数完成的。所述联盟链是区块链中的一种特殊的机制，与传统区块链的区别在于：传统的区块链是自身能通过私钥访问自身相关的数据，通过给他人分享公钥来让他人访问自身上传的数据，而本申请所用到的联盟链的参与方能直接访问其他参与方上传在联盟链中的任意信息，但是非参与方只能看到有这一种链式的存储区块，并不能得到里面的具体内容。

所述步骤S2中的行动向量为：描述无人驾驶汽车的行动的一种向量表示，所述统一初始化行动向量是指根据无人驾驶行动策略，将要执行的无人驾驶操作进行编码，使得每一种操作都占用1-3位编码，其中1位表示是否进行该操作，另外位数表示操作的具体数据。

所述状态向量为：无人驾驶汽车所处的状态的一种向量表示，所述状态向量由车辆上的视觉传感器、激光雷达、超声传感器、微波雷达、GPS、里程计、磁罗盘等传感器获得，每种传感器控制1-2位的编码。

所述步骤S3中的获取目的地是指人为设定的无人驾驶汽车行驶的目标地点，沿途道路信息是指通过现有的路径规划方法或系统获取到达目的地的路线包括信号灯数量、拥堵状况、道路施工状况、预计通行时间等。行动价值函数在一种无人驾驶汽车决策正确性的多方评估方法中有相关的解释，初始化行动价值函数的含义为根据现有情况确定函数中的一些参数，例如历史激励函数U_t的计算公式中的α。

基于上述训练方法，本申请对上述无人驾驶汽车的训练过程进行评估，判断是否可行，公开了一种基于上述训练方法的无人驾驶汽车决策正确性多方评估方法，具体步骤为：

1)监听当前状态向量的变化；

2)判断是否有状态发生变化：若状态没有发生变化，则继续监听；若发生了变化，则进行下一步；

3)计算当前行动价值函数并获取最大价值的行动；

4)将得到的最大价值行动和之前的状态向量上传至联盟链中；

5)其他节点通过智能合约获得并利用该状态计算该行动的得分，并整合一个最终的评价得分M；

6)判断最终评价得分M是否大于预设值：若大于预设值，则执行当前得分最高的行动，并结束本轮训练；若没有大于预设值，则计算除去上个行动之外行动价值得分最高的行动，再从步骤4)重新运算，直到结束训练。

其中步骤2)中的状态发生改变包含传感器收集的诸多状态，例如前放是否有信号灯，信号灯颜色，四周是否有其他车辆，是否检测到行人等。

所述步骤3)中计算当前行动价值函数的公式中输入当前的状态向量，并根据做出的行动和历史行动激励求解数学期望，最终通过求解该数学期望的最大值获取最大价值的行动向量。

其中步骤3)中计算当前行动价值函数的公式为：

Q_π(s，a)＝E[U_t|S_t＝s，A_t＝a]

式中行动价值函数Q_π(s，a)为在步骤t时状态s下做出行动a的价值打分，E为求期望的函数，U_t为一个历史步骤激励。

而U_t的计算公式为：

U_t＝R_t+αR_t+1+α²R_t+2+...+α^xR_t+x

式中步骤t的重要性函数，R_t为t步骤的奖励值，如果没有异常状态产生则R_t为固定加分值，如果在之前的步骤中产生异常，例如发送剐蹭，驶入错误的车道等则扣除相应的分数，如在当前步骤中避免了异常发生，则会获得一定的额外激励，α为0-1之间的一个系数，x为一个小于等于5的值，其中历史激励不超过5步。

步骤5)中的M计算公式为：

式中M为最终得分，n为参与评价的节点的数量，δ_i为第i个节点的可信度指数，m_i为第i个节点的评价得分，min(m)为n个评价节点中最低的评分，max(m)为n个评价节点中最高的评分，r_i为节点i参与正确预测的次数，w_i为节点i参与错误预测的次数。

例如现有5辆无人驾驶汽车同时参与了本发明的方法训练，那么在构成联盟链开始训练的过程中。例如1号无人驾驶汽车处在状态s1的状态下，所述S1的状态为80，800，0，0，0，0201，为了简单说明所以状态位只写了6位，状态的向量会根据实际无人驾驶汽车不同传感器所采集到的数据而不同，例如此时的无人驾驶汽车状态表示，第一位80表示80km/h的时速，第二位500表示前方800m处检测到信号灯，第三位1表示前方信号灯为绿灯，第四位表示0当前处于匀速行使状态，第五位1表示检测到前方无行人，第六位0101表示前后左右方向检测到的车辆数目，变化成了s2：80，500，1，0，1，0201，含义为时速80km/h，前方500m处有信号灯且为红灯，车辆处于匀速行使状态，前放有行人出现，前后左右的车辆数分别为0，2，0，1。

那么在此类情况下，1号无人驾驶汽车就会根据现有的行动价值函数计算出，价值最高的行动，例如计算出最高价值的行动向量为：1，3，0，0，此向量也是为了简单说明只写了少数几位，第一位表示需要进行的动作为踩刹车，第二位表示踩刹车的程度为第三级，第三位所期望达到的目标速度为0km/和，第4位表示无需转向。

1号无人驾驶汽车计算出当前最高价值的行动向量后会将其上传至联盟链中，其他4个参与方即2-5号无人驾驶汽车会立刻根据其状态的转变s1到s2，根据自身的行动价值函数计算出一个最高价值的行动向量，并和1号无人驾驶汽车就算出的行动向量进行比较，相似度越高，则对1号无人驾驶汽车给出的打分就越高。这里给出一个相似度得分计算的公式如下：

m_pq为节点p对q的打分，在这里就能为2号无人驾驶汽车对1号无人驾驶汽车的打分，无人驾驶汽车在联盟链上能看作不同的节点，所以可能会有不同的称呼，a_pi表示节点p的行动向量a中第i个元素，该得分计算出是一个0-1的值，得分越高相似度越高。

计算出所有的打分后根据公式计算出最终的打分函数，其中涉及到了各个节点的可信度指标，可信度指标初始值均为1，在有了评价记录后会发生对应的改变，所述改变的方式如流程图边上的文字所述，其中预测正确与否给出相应的解释，如果在此示例中2号无人驾驶汽车计算认为1号无人驾驶汽车的行动有误，3-5号认为无误，最终得分也超过了设定的阈值，则2号无人驾驶汽车预测错误，3-5号预测正确。

当1号无人驾驶汽车的行动被认为无误后立刻执行该行动，并继续参与训练。总的训练过程为一个同步多发的过程，如果参与汽车数量较多的话，会建立一个评价小组来参与某个汽车的决策过程。评价小组的组成由两个选择因素，第一为预测的准确率，第二为当前无人驾驶汽车模型是否空闲，所述空闲是指该无人驾驶汽车同时计算的数量少于一定的阈值。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (9)

1.一种基于联盟链的无人驾驶汽车训练方法，其特征在于，包括以下步骤：

S1，构建训练模型，参与训练的无人驾驶汽车构建自身节点并形成联盟链；

S2，统一初始化行动向量和状态向量；

S3，训练节点获取目的地及沿途道路信息，初始化所述模型中的所述行动价值函数并开始训练；

S4，训练节点开启本轮行动策略并将当前时刻行动向量和状态向量上传至联盟链进行联合判断；

S5，判断当前节点是否到达预设目的地，“否”则执行步骤S4，“是”则结束训练。

2.根据权利要求1所述的基于联盟链的无人驾驶汽车训练方法，其特征在于：所述联盟链的建立间接过程是通过自动调用已有的以太坊的代码函数完成的。

3.根据权利要求1所述的基于联盟链的无人驾驶汽车训练方法，其特征在于：所述统一初始化行动向量是指根据无人驾驶行动策略，将要执行的无人驾驶操作进行编码，使得每一种操作都占用1-3位编码，其中1位表示是否进行该操作，另外位数表示操作的具体数据。

4.根据权利要求1所述的基于联盟链的无人驾驶汽车训练方法，其特征在于：所述状态向量由车辆上的视觉传感器、激光雷达、超声传感器、微波雷达、GPS、里程计、磁罗盘等传感器获得，每种传感器控制1-2位的编码。

5.一种基于无人驾驶汽车训练方法的决策正确性多方评估方法，其特征在于，包括以下步骤：

1)监听当前状态向量的变化；

2)判断是否有状态发生变化：若状态没有发生变化，则继续监听；若发生了变化，则进行下一步；

3)计算当前行动价值函数并获取最大价值的行动；

4)将得到的最大价值行动和之前的状态向量上传至联盟链中；

5)其他节点通过智能合约获得并利用该状态计算该行动的得分，并整合一个最终的评价得分M；

6)判断最终评价得分M是否大于预设值：若大于预设值，则执行当前得分最高的行动，并结束本轮训练；若没有大于预设值，则计算除去上个行动之外行动价值得分最高的行动，再从步骤4)重新运算，直到结束训练。

6.根据权利要求5所述的基于无人驾驶汽车训练方法的决策正确性多方评估方法，其特征在于：所述步骤3)中计算当前行动价值函数的公式中输入当前的状态向量，并根据做出的行动和历史行动激励求解数学期望，最终通过求解该数学期望的最大值获取最大价值的行动向量。

7.根据权利要求5所述的基于无人驾驶汽车训练方法的决策正确性多方评估方法，其特征在于：所述3)中计算当前行动价值函数的公式为：

Q_π(s，a)＝E[U_t|S_t＝s，A_t＝a]

式中行动价值函数Q_π(s，a)为在t时刻状态s下做出行动a的价值打分，E为求期望的函数，U_t为一个历史步骤激励，S_t为t时刻的状态输入，A_t为t时刻的行动输入。

8.根据权利要求7所述的基于无人驾驶汽车训练方法的决策正确性多方评估方法，其特征在于：所述历史步骤激励U_t的计算公式为：

U_t＝R_t+αR_t+1+α²R_t+2+...+α^xR_t+x

式中步骤t的重要性函数，R_t为t步骤的奖励值，α为0-1之间的一个系数，x为一个小于等于5的值，其中历史步骤激励U_t不超过5步。

9.基于无人驾驶汽车训练方法的决策正确性多方评估方法，其特征在于：所述步骤5)中的最终得分M的计算公式为：

式中M为最终得分，n为参与评价的节点的数量，δ_i为第i个节点的可信度指数，m_i为第i个节点的评价得分，min(m)为n个评价节点中最低的评分，max(m)为n个评价节点中最高的评分，r_i为节点i参与正确预测的次数，w_i为节点i参与错误预测的次数。

Images