CN114675742A - 一种面向高度自动驾驶的人机决策逻辑在线校验方法 - Google Patents

Abstract

本发明公开了一种面向高度自动驾驶的人机决策逻辑在线校验方法，其方法为：第一步、数据及信息流输入；第二步、在线评估周期进行计算，具体步骤为：步骤一、建立混杂态势评估模型；步骤二、进行混杂态势在线评估；步骤三、进行在线评估周期计算；第三步、对人机混合决策模型进行综合评价，具体步骤为：步骤一、进行人机混合决策模型可解释性评价；步骤二、进行时域决策结果预测；步骤三、进行已用知识库评价；步骤四、进行人机混合决策模型及知识库更新情况判断；步骤五、进行人机混合决策模型综合评价。有益效果：避免人机混合决策过程存在的算法局限及故障隐患，提高了人机混合决策的安全性及可信性。

Description

一种面向高度自动驾驶的人机决策逻辑在线校验方法

技术领域

本发明涉及一种人机决策逻辑在线校验方法，具体涉及一种面向高度自动驾驶的人机决策逻辑在线校验方法。

背景技术

目前，由于完全自动驾驶的技术局限性和其所面临的社会困境，加之民众接受度较低，人机共驾将成为未来社会长期存在的一种智能驾驶形式。深入的人机一致性协同机理分析是人机共驾的理论基础，受“人驾”属性和“机驾”决策逻辑影响，基于高度人机一致性决策的安全可信人机协同共驾研究是未来智能交通系统的技术核心之一。目前人机共驾系统决策层主要基于数据训练的方式实现混合决策过程及人机驾驶权仲裁逻辑，基于第2、3代人工智能理论的数据训练算法普遍存在不可解释且不可释义的弊端，同时由于在线决策故障存在安全隐患且决策算法自学习能力弱限制了车辆对场景的适应性，上述系统缺陷共同对人机混合决策过程及输出结果的可信性提出了挑战。因此，需要建立一种面向高度自动驾驶的人机决策逻辑在线校验方法，实时验证人机决策过程及决策结果的可信性。

面向高度自动驾驶的人机决策逻辑在线校验具备以下几个特点。首先，实时性要求高。真实道路行驶环境具有高复杂度、高动态性变化的特点，因此人机决策逻辑在线校验模型需具备很强的实时性，判断不同时刻的人机混合决策结果的合理性；其次，模型辨识精度与校验精度要求高。在交通环境中，自动驾驶系统的首要任务是保证驾驶人及其他交通参与者的安全性，这首先要求人机混合决策模型的决策结果具有很高的精度与可信度，而人机决策逻辑在线校验模型作为保障安全性的最后一道防线，也应具有非常高的模型辨识精度与校验精度；最后，模型复杂度较高。人机混合决策模型考虑多方面因素，如驾驶人、自动驾驶车辆以及车辆周围环境等从而得到决策结果，因此人机决策逻辑在线校验模型在校验过程中，也要充分考略到决策模型的各个方面，对模型所用到的算法、知识库以及模型中的内参等进行评估，因此在线校验模型具有较高的复杂度。

目前国内外团队已经探索了模型校验的相关方法，但是现有的技术仍存在一定不足。首先，在高度自动驾驶领域关于人机决策逻辑校验的技术较少，大部分研究聚焦在人机混合决策模型的建立上，缺乏对决策模型的解释性与可信性评价；其次，关于人机决策逻辑在线校验的技术较少，交通系统不同于其他系统，具有高度的非线性动态特性，对安全性要求极为苛刻，这要求校验模型必须在线且具有高度的实时性；最后，关于人机混合决策的评价模型较为简单，缺乏体系化，目前人机混合决策模型已经融入了深度学习、强化学习等人工智能领域的机器学习算法，但评价模型还依旧停留在针对基于规则和基于博弈论的决策逻辑层面，而且没有一套完整的评价体系。

中国专利CN201911358599.5公开了一种基于驾驶员实时风险响应的动态人机共驾驾驶权分配方法，该方法包通过采集环境信息和自车信息获取周围车辆对自车的综合风险作用强度，从而实时判断驾驶员的驾驶状态，并计算驾驶权重分配因子，属于一种切换型人机共驾的决策模型。中国专利201910154814.3公开了一种在人机共驾车道保持系统中驾驶权分配的方法，通过模糊控制确定共驾系数，实现共驾系数的连续变化从而防止控制权突变，保证车道保持系统的安全性与舒适性，属于一种共享型人机共驾的决策模型。上述两项专利建立了人机混合决策的模型，但并未针对所设计的模型进行在线校验，不能完全保证决策过程的可解释性与决策结果的可信性。中国专利202110090864.7公开了一种基于数字孪生虚实交互技术的人机共驾测试方法，通过虚拟仿真场景、虚拟传感器(雷达、相机等)与实车的自动驾驶控制器之间的交互来测试和优化车辆的人机交互及共驾性能和乘员舒适性。该专利从仿真实验的角度对人机混合决策模型进行了验证，但并未从决策逻辑的机理层面进行验证，无法对人机混合决策模型的可解释性进行评价，且无法进行在线校验。

发明内容

本发明的目的是为了在车辆的完全自动驾驶的状态下实时验证人机决策过程及决策结果的可信性，而提供的一种面向高度自动驾驶的人机决策逻辑在线校验方法。

本发明提供的面向高度自动驾驶的人机决策逻辑在线校验方法，其方法包括如下步骤：

第一步、数据及信息流输入，具体步骤如下：

将传感器检测到的人-交通混杂态势的多模态态势数据输入在线评估周期计算模型；将在线评估计算周期、人机混合决策驾驶权评估结果、人机混合增强智能决策模型内参以及人机混合决策内模结构输入人机混合决策综合评估模型，作为人机混合决策模型的评估依据；

作为输入的人-交通混杂态势的多模态态势数据中包含了可表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据，可表征车辆状态的车辆态势数据和可表征车辆周围交通环境状态的环境态势数据；驾驶人态势数据中，驾驶人的年龄、驾龄、驾驶里程以及受教育程度的指标能够反映驾驶人的驾驶能力，此外，血流量脉冲、皮肤电导以及眼动参数作为三个典型的生理指标，能够在一定程度上反映驾驶人的驾驶状态；车辆态势数据包括平均车速、加速度标准差以及前轮转角标准差所反映的车辆纵向与横向运动状态的指标；环境态势数据能够反映车辆周围交通环境中的行车风险，分为静态障碍物造成的风险与动态障碍物造成的风险，风险大小通过车头时距、碰撞时间和相对速度的指标或建立行车风险场求解场强的方式来表征；

作为输入的人机混合决策模型的数据包含了模型中深度学习算法的神经元组结构与计算结果、模型内参、模型已用知识库以及决策结果；

第二步、对在线评估周期进行计算，具体步骤如下：

步骤一、进行人-交通混杂态势可观性分析及人-交通混杂态势的多模态态势数据质量分析，建立包含“人”态势及“交通”态势在内的混杂态势评估模型，通过基于可观性量表的参数分析，评估特定驾驶情景产生的多模态场景信息的可观测程度；通过基于参数逻辑门限的数据质量分析，评估特定驾驶情景产生的多模态场景信息的传输质量；

步骤二、进行人-交通混杂态势危急程度在线评估，通过对人-交通混杂态势的多模态态势数据进行聚类，将表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据、表征车辆状态的车辆态势数据和表征车辆周围交通环境状态的环境态势数据分类，每一类对应人-交通混杂态势危急程度的一个层级；通过对聚类结果进行降维，降低人-交通混杂态势危急层级的复杂度，增加人-交通混杂态势危急层级划分的合理性；通过将聚类结果与物理世界映射，得到人-交通混杂态势危险边界回归模型，建立起多层级人-交通混杂态势边界评价理论体系；

步骤三、进行在线评估周期计算，通过建立基于二维线性规划的态势评估与态势危险度映射模型，确定人机混合决策在线评估模型的计算周期；

第三步、对人机混合决策模型进行综合评价，具体步骤如下：

步骤一、进行人机混合决策模型可解释性评价，人机混合决策评价模型通过对人机混合增强决策中所用到的深度学习模型的可解释性进行研究，分析神经元组结构、算力及计算结果，实现对人机混合决策模型可解释性评价；

步骤二、进行基于模型预测控制的滚动时域决策结果预测，通过模型预测控制模拟人脑的决策过程，根据驾驶员预瞄原理，得到驾驶员在滚动时域的决策结果；通过模型预测控制模拟“机器脑”的决策过程，在考虑驾驶员操作的基础上跟踪参考路径，协助驾驶员完成操作；

步骤三、进行人机混合决策模型已用知识库评价，通过对人机混合决策模型知识库的场景元素的复杂度进行分析，从而得到已用知识库的复杂程度，作为判断人机混合决策模型可信性的一个依据；

步骤四、进行人机混合决策模型及知识库更新情况判断，通过对人机混合决策模型、内参及知识库进行相似性分析，设定更新阈值，从而判断更新的必要性；通过对人机混合决策模型、内参及知识库更新方式进行评价，分析更新的效果；

步骤五、进行基于层次分析法的人机混合决策模型综合评价，通过分析上述步骤一至步骤四中评价指标之间的影响关系建立层次结构模型，根据专家经验构造判断矩阵；通过层析排序确定评价指标的影响权重，进行一致性检验验证重要性排序的正确性；根据各指标的评价结果与层次分析法所得的排序结果，得到人机混合决策逻辑多层级在线校验结果，作为人机混合决策逻辑的在线反馈数据。

第二步中的步骤一通过人-交通混杂态势可观性分析与人-交通混杂态势的多模态态势数据质量分析，建立了混杂态势评估模型，具体如下：

人-交通混杂态势可观性分析采用基于量表评价的分析方法，对人-交通混杂态势的观测分为对驾驶人驾驶能力及驾驶状态的观测、对车辆状态的观测以及对车辆周围行驶环境的观测三个部分，这三部分的可观性共同决定了混杂态势的可观性，在上述三个待观测的部分中分别选取能够表征可观性的参数，并为参数设定阈值，将这些参数汇总制作可观性量表，通过对其中参数进行分析判断人-交通混杂态势可观性；

人-交通混杂态势的多模态态势数据质量分析主要评估数据的内在质量、数据量的适当程度以及数据的时效性；

数据的内在质量分为两个维度，包括数据正确性和数据精度，正确性评估数据正确、可靠和无错误的程度，精度是指数据采集和存储的精度，对于数据集L，设数据正确性和数据精度的量化值分别为q_c、q_p，其最低质量要求分别为θ_c、θ_p，则数据集L必须满足最低内在质量要求，如下式所示：

R＝(q_c≥θ_c)∩(q_p≥θ_p)

数据l_i∈L的正确性用q_c ⁱ表示，精度用q_p ⁱ表示，则数据集L的正确性和精度可以通过平均函数计算：

数据量的适当程度是数据质量分析的又一个维度，数据越多，训练模型的性能就越高，用于当前任务的数据集的数据数量要足够完成当前任务，且不会引起额外的资源浪费；

数据的时效性是指当前数据库中的数据适合当前任务的程度，时效性用两个参数来量化，即currency与volatility，其中， currency指数据的使用期限，volatility指数据保持有效的时间，通过数据集中数据片段的最大或平均时效性来评估数据集L 的时效性；

第二步中的步骤二通过基于数据驱动的机器学习算法，将人-交通混杂态势的多模态态势数据进行聚类，从而建立起混杂态势的危急程度评估模型，具体如下：

混杂态势危急程度评估模型采用蚁群算法对人-交通混杂态势数据进行聚类，假设用于蚁群搜索的人-交通混杂态势的多模态态势数据集L具有m个独立参数特征及其对应的E个观测变量，基于蚁群聚类的人-交通混杂态势分类即为在L中找到能够使每个数据样本到达聚类数目已知的聚类中心的距离之和达到最小的划分，如下式：

式中，l_ip为第i个数据样本的第p个模型参数特征，c_jp为第j个类中心的第p个模型参数特征，E_j为观测变量E中第j 类对应的观测变量，ω_ij为观测变量与分类间的从属关系标志量，蚁群聚类的分类质量通过迭代更新方程提高，更新方程如下式所示:

式中，P_ij为数据样本跨类转换的概率，τ_ij为数据样本i和所属类j间的标准化信息素，ρ(0<ρ<1)为信息素挥发度，τ_ij(t) 为数据样本i和所属类j在t时刻的信息素浓度；

当聚类结果的类别较多，与物理世界中预设的人-交通混杂态势层次数不一致时，按照预设的人-交通混杂态势层次数，将聚类结果中相近的类别划分为一类进行降维，另外，还需要建立聚类结果与物理世界中预设的人-交通混杂态势各层次的映射关系，考虑到待映射元素间存在逻辑联系，但并无可解释的物理及数理推导关系，采用多维线性优化回归模型，得到人 -交通混杂态势评价方程表达式如下式所示：

式中，SO_CX为人-交通混杂态势危急程度，

为人-交通混杂态势的多模态态势数据集L的有效值子集，β为回归系数。

第三步中的步骤一在人机混合决策过程中，混合增强智能理论能够获得环境信息、车辆状态信息以及人的推断信息，机器通过深度学习与强化学习理解人的推断过程与决策模式，以类脑计算模式填补人的决策缺陷，赋予自动驾驶系统较强的决策能力，实现“人机超脑决策”模式，为保证决策结果的安全性与可信性，对人机混合决策模型中的深度学习模型进行可解释性研究，具体如下：

首先获取骨干网络最后一层全连接层的分类权重，以此作为决策树叶子节点，构建决策树层次结构，通过对节点输出进行可视化，使得深度决策树可解释性不再局限于节点精度及决策路径，而是能够在空间位置上给出可视化解释，直观理解模型逐层决策依据，同时，通过基于卷积核相关度验证模型可解释性的方法，对于模型输出特征图组进行扰动，以节点注意力图与决策路径变化为依据，验证决策树分类依据的可靠性；

在传统的基于类激活映射的可视化方法中，将最后一层卷积层输出的k个特征映射图A^k进行加权平均池化，得出注意力图，具体来说，让倒数第二层产生K个特征图，A^k∈R^{u ×v}，每个元素以i，j为索引，所以A^k _i,j指的是特征图A^k在位置(i， j)的激活，然后使用全局平均池化对这些特征图进行空间池化，并对其进行线性变换，产生每个类c的得分Y^c，如下式所示：

在计算a_k ^(c)的过程中，需要计算反向传播梯度与激活函数，即对权重矩阵与激活函数的连续矩阵进行乘积，直到梯度被传播到最终的卷积层，这些反向传播的梯度在宽度与高度维度上进行全局平均池化，分别以i和j为索引，从而得到神经元重要性权重a_k ^(c)，如下式所示：

权重a_k ^(c)代表了深度学习网络特征图的部分线性化，并获得特征图k对目标类c的重要性，对前向激活图进行加权组合，并在其后进行激活函数映射，得到模型构建的注意力图，如下式所示：

采用优化类激活映射算法，将全局平均池化后的权重a_k ^(c)转化为基于矩阵值权重W_k ^(c),如下式所示：

其主要方式为经由模型最后一层卷积层后去掉全局平均池化层，对卷积层输出进行可视化从而保留最后一层卷积层的空间位置信息；

使用哈达玛积对特征图与权重W_k ^(c)作乘，记为W_k ^(c)*A^k，在哈达玛积的定义当中，若A＝(a_ij)与矩阵B＝(b_ij)为同阶矩阵，其哈达玛积记为C＝(c_ij),如下式所示：

W_k ^(c)与A^k同为m×n矩阵，因哈达玛积能最大限度保留空间位置信息，突出显著性决策区域，所以使用哈达玛积将权重 W_k ^(c)与特征图相乘，输出权重特征图，如下式所示：

所提出的优化类激活映射图保留了ReLU激活函数并将其应用于特征图的线性组合，ReLU激活函数能够有效区分相关和不相关的像素并提取对分类结果类有较高贡献度的特征，随后在特征图组中构建激活映射，对经过激活函数的特征图进行显著性映射求和得到注意力图，如下式所示：

度量卷积核单元相关度使用IoU算法，在不同的网络中能够比较不同表征的可解释性，探究骨干网络相关卷积核对于模型类别的影响程度，以此验证决策依据的置信度，如下式所示：

上述公式通过计算该层特征图二值化激活区域与不同语义标签结果的交并比来确定该层卷积核所具备的语义信息，其中，x代表输入样本，c代表类别信息，k代表某一卷积层的第k个卷积核单元，L_c(x)为输入图像的像素级标注区域，M_c(x) 为像素的单元激活图A_k(x)进行上采样得到的激活图，并与输入像素的图像级标注L_c(x)进行比较，进行二值化语义分割，设定默认阈值为IoU_k,c>0.05，当存在卷积核单元对应多个语义相关时取IoU最大值，则此卷积核单元为特定类别语义单元。

第三步中的步骤二基于模型预测控制的方法对滚动时域内的人机混合决策结果进行预测，可增强人机决策结果的一致性；

以信息对称条件下人机协同转向操作为例，驾驶员在对称条件对控制器具备一定的适应性，利用模型预测控制模拟人脑的决策过程，根据驾驶员预瞄原理，驾驶员未来状态的预测方程如下所示：

X_h(k+1|k)＝S_shxx(k)+S_shuU_a(k)+S_shuU_h(k)

Z_h(k+1|k)＝S_shzx(k)+S_shuU_a(k)+S_shuU_h(k)

其中预测方程中的矩阵如下所示：

式中，δ_h为驾驶员的控制输入，δ_h为“机器脑”的控制输入，P为预测步数，N为控制步数，驾驶员的决策过程与控制器类似，其主要目标为跟踪所预瞄的理想的参考路径，驾驶员的理想路径用R_h(k+1)表示：

R_h(k+1)＝[r_h(k+1) r_h(k+2) … r_h(k+P)]^T

驾驶员的目标由两部分表达，其中一部分是对理想路径跟踪，另一部分是对控制量的惩罚项，而两个目标通过权重Γ_sh与Γ_suh进行权衡，因此驾驶员的决策可由以下控制目标优化求解表达：

求解获得驾驶员的决策变量U_h(k)后，选取U_h(k)的第一个量进行执行；

“机器脑”接收驾驶员的控制变量，在考虑驾驶员操作的基础上跟踪参考路径，协助驾驶员完成转向操作，根据动力学模型，控制器的预测方程如下形式：

X_a(k+1|k)＝S_saxx(k)+S_sauU_a(k)+S_sauU_h(k)

Z_a(k+1|k)＝S_sazx(k)+S_suzaU_a(k)+S_sazU_h(k)

预测方程中的矩阵具体表达形式如下：

其中R_a(k+1)为“机器脑”转向控制的参考路径：

信息对称条件下“机器脑”控制目标与驾驶员类似，即跟踪一条理想的参考行车轨迹，因此“机器脑”的控制目标表达为如下形式：

其中Γ_sa与Γ_sua为“机器脑”控制目标目标函数的权重矩阵；

根据安全约束分析，车辆的侧向位置不应超过道路边界：

w是车辆的宽度，y_r(k+i)和y_l(k+i)是道路边界在预测时域的离散值；

此外，必须考虑满足以下约束条件的转向系统饱和：

Δδ_min≤Δδ_f(k+i)≤Δδ_max

其中Δδ_f(k+i)是前轮转角的增量，Δδ_min和Δδ_max分别是前轮角度变化率的上下界；

“机器脑”的控制策略表示为如下带约束的优化问题:

求解“机器脑”的决策变量后按照预定的驾驶权重与驾驶员决策变量进行交互叠加，得到基于模型预测控制的滚动时域的人机决策的预测结果。

第三步中的步骤三通过对人机混合决策模型知识库的静态知识库复杂度与动态知识库复杂度进行分析，从而评价已用知识库的复杂度；

静态知识库复杂度引入信息熵理论确定静态知识库要素的信息熵，考虑静态知识库要素的类型和权重，静态复杂度系数，即信息熵的计算公式为：

式中，θ₁为静态知识库复杂度系数；h为静态知识库复杂度中各个组成要素所对应分组标签的类型总数；p_i为根据静态知识库复杂度构建的图形结构中相同类型节点数与节点总数的比值；

不同静态知识库要素权重根据专家打分确定：

C_O＝θ₁×(β₁ΣY₁+β₂ΣY₂+β₃ΣY₃+β₄ΣY₄+β₅ΣY₅)

式中，C_o为静态知识库复杂度；β_n为静态知识库组成要素中第n个分组所对应的权重；Y_n为静态知识库组成要素中第n 个分组内各个组成要素所对应的预设分值之和；

基于引力模型研究，提出动态知识库复杂度与场景中的动态因素有关，复杂度与测试车辆和参与者的速度、两者之间的距离与夹角存在一种数学函数关系，将动态因素对测试车辆的影响作用视为知识库复杂度的场效应机制，测试车辆与参与者之间的相对速度与距离作为衡量场强度的指标，对知识库复杂度的场分布进行数学描述，将动态因素进行抽象概括，根据测试车辆属性与交通参与者属性初步形成具有场效应的复杂度引力模型结构体系，其模型的基本形式为：

C₁＝c·K₁·K₂

式中，C₁为动态知识库复杂度；K₁为测试车辆的属性值；K₂为交通参与者的属性值；c为常数；

测试车辆的属性值的计算公式为：

式中，a为常系数，为调整模型规范的一个常数；t₁为测试车辆的反应时间；v₁为测试车辆的行车速度；d₁为测试车辆与交通参与者的距离；θ为测试车辆与其他交通参与者之间的夹角；

交通参与者属性值的计算公式为：

式中，p为常数；t₂为交通参与者的被感测时间；v₂为交通参与者的速度；d₂为交通参与者的运动距离；

根据静态知识库复杂度和动态知识库复杂度计算得到已用知识库复杂度，即：

C＝C₀·C₁

式中，C为已用知识库复杂度。

第三步中的步骤四通过对人机混合决策模型及知识库进行相似性分析判断更新的必要性，通过评价更新方式分析更新的效果；

人机混合决策模型中神经网络的模型更新过程整体上分为两步，第一步前向传播预测结果，第二步根据预测结果进行反向反馈，人机混合决策模型的相似性分析通过误差偏差量e的范围进行确定，具体过程如下：

1)网络初始化：给各个连接权值以及偏置设定[-1,1]内的随机数，然后设定损失函数e，并且设置学习率以及误差精度；

2)指定训练样本与样本输出：设置训练样本和样本输出，然后传入到神经网络中；

3)隐含层、输出层计算：计算隐含层各神经元的输入和输出，并由此的如输出层的输出结果；

4)误差偏量e的计算：根据网络模型输出层的输出结果与样本实际输出，计算误差偏量e，如果e在范围内则说明模型相似性较高，符合要求，无需进行模型更新，进入7)继续对新样本进行学习，如果不在则进行更新；

5)权值的更新：根据损失函数计算权值的梯度，根据损失函数最小化的原则进行梯度下降，依次从输出层向输入层更新神经元的连接权值；

6)偏置的更新：根据损失函数计算偏置的梯度，根据损失函数最小化的原则进行梯度下降，依次从输出层向输入层更新每一层的偏置；

7)执行下一次学习，进入2)；

人机混合决策模型知识库相似性分析需分析静态知识库与动态知识库复杂度的变化情况，根据静态知识库与动态知识库中各元素的重要性权重，设定相似性阈值，当超过阈值时，则对知识库进行更新，不超过阈值说明知识库相似度较高，能够满足人机混合决策模型决策的需求，无需进行更新；

人机混合决策模型与知识库更新方式的评价要考虑更新所用时间、更新的计算量以及更新的准确性这些因素，通过量表分析的方法综合判断。

第三步中的步骤五通过层次分析法将人机混合决策模型的不同评价指标进行重要性排序，分配重要性权重，进而根据各评价指标的评价结果，得到人机混合决策模型的综合评价结果；

将人机混合决策模型的评价指标条理化和层次化，构造出一个有序的、梯次递进的结构模型；

采用专家咨询法构造判断矩阵，请多位资深专家、具有丰富驾驶经验的驾驶员对各评价指标的重要性进行评价打分，通过1-9标度对同一层次的两个评价指标进行重要性比较，从而构建相应的判断矩阵，得到各评价指标的重要性权重；

为保证权重指标的合理性，须根据判断矩阵求出最大特征值之后对判断矩阵进行一致性检验，一致性检验的公式为：

式中，RI为层次总排序平均随机一致性指标的标准值，根据判断矩阵阶数不同取不同的值；CI为层次总排序一致性指标，CI的定义及相关计算公式为：

ω＝(ω₁,ω₂,...,ω_n)^T

式中，λ_max为判断矩阵最大特征值；n为判断矩阵的阶数；A为矩阵，如果CR<0.1，说明判断矩阵的一致性良好，满足一致性要求；

各评价指标重要性排序完成后，根据各指标的重要性权重与评价结果得到人机混合决策模型的综合评价结果。

本发明的有益效果：

本发明提供了一种面向高度自动驾驶的人机决策逻辑在线校验方法，避免人机混合决策过程存在的算法局限及故障隐患，克服了人机混合决策模型各层级的不可解释且不可释义特性对智能车辆安全及可信性带来的技术瓶颈，提高了人机混合决策的安全性及可信性。具体有益效果如下：

1、本发明提供了一种数据及信息流输入模型，除人-交通混杂态势数据以外，还包括人机混合决策模型的内模结构、内参以及决策结果等数据，数据结构更加详细且全面，模态更加完整；

2、本发明提供了一种混杂态势可观性及数据质量分析模型，可科学量化地评价人-交通混杂态势的可观程度和人-交通混杂态势多模态数据的数据质量；

3、本发明提供了一种混杂态势危急程度评估模型，可运用数据聚类的方法建立多层级态势边界的回归模型，科学量化地评估混杂态势的危急程度；

4、本发明提供了一种在线评估计算周期模型，通过对态势评估和态势危急程度评估结果进行二维线性规划得到在线评估所需的周期，建立了在线评估周期的计算原则，奠定了在线校验的理论基础；

5、本发明提供了一种人机混合决策模型可解释性的评价模型，使人机混合决策的决策过程更加透明，增加了决策结果的可信性；

6、本发明提供了一种基于模型预测控制的滚动时域决策结果预测模型，可对人机混合决策结果进行预测，作为评估未来人机态势的依据；

7、本发明提供了一种人机混合决策模型内参及已用知识库的评价模型，能够评估已有决策模型及知识库适合当前人机态势的程度，确保了决策的安全性；

8、本发明提供了一种决策模型、内参及知识库更新情况判断模型，为模型及知识库更新以及更新方法评价提供了科学量化的依据；

9、本发明提供了一种人机混合决策综合评价模型，能够对决策模型进行全方位的评价，拓展了决策模型的分析角度，增加了模型的可信度；

综上所述，本发明所提供的人机决策逻辑在线校验方法属于一种通用的人机混合决策模型评价手段，可满足现有域控制器算力的要求，具有较高的可靠性、一致性与普适性，作为一种冗余的功能模块，极大提高了预期功能安全系统的可信性与驾驶人可接受程度。

附图说明

图1为本发明所述的人机决策逻辑在线校验方法的整体步骤示意图。

图2为本发明所述的人机决策逻辑在线校验方法的架构示意图。

图3为本发明所述的第一步涉及的数据及信息流组成示意图。

图4为本发明所述的第二步中步骤一的示例性架构示意图。

图5为本发明所述的第二步中步骤二的示例性架构示意图。

图6为本发明所述的第三步中步骤一的示例性架构示意图。

图7为本发明所述的第三步中步骤二的示例性架构示意图。

图8为本发明所述的第三步中步骤三的示例性架构示意图。

图9为本发明所述的第三步中步骤四的示例性架构示意图。

图10为本发明所述的第三步中步骤五的示例性架构示意图。

具体实施方式

请参阅图1至图10所示：

本发明提供的面向高度自动驾驶的人机决策逻辑在线校验方法，具体方法如下所述：

第一步、数据及信息流输入；

第二步、对在线评估周期进行计算；

第三步、对人机混合决策模型进行综合评价；

第一步中数据及信息流输入的过程如下：

将传感器检测到的人-交通混杂态势的多模态态势数据输入在线评估周期计算模型；将在线评估计算周期、人机混合决策驾驶权评估结果、人机混合增强智能决策模型内参以及人机混合决策内模结构输入人机混合决策综合评估模型。

在附图2中示出第一步涉及的数据及信息流组成的示意图。第一步通过将人-交通混杂态势数据以及来自人机混合决策模型的各种数据整合，输入至在线评估模型中，作为人机混合决策模型的评估依据。

作为输入的人-交通混杂态势的多模态态势数据中包含了可表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据，可表征车辆状态的车辆态势数据和可表征车辆周围交通环境状态的环境态势数据。驾驶人态势数据中，驾驶人的年龄、驾龄、驾驶里程以及受教育程度等指标均可反映驾驶人的驾驶能力，此外，血流量脉冲、皮肤电导以及眼动参数作为三个典型的生理指标，能够在一定程度上反映驾驶人的驾驶状态；车辆态势数据一般包括平均车速、加速度标准差以及前轮转角标准差等反映车辆纵向与横向运动状态的指标；环境态势数据可反映车辆周围交通环境中的行车风险，一般可分为静态障碍物造成的风险与动态障碍物造成的风险，风险大小可进一步通过车头时距、碰撞时间和相对速度等指标或建立行车风险场求解场强的方式来表征。

作为输入的人机混合决策模型的数据包含了模型中深度学习算法的神经元组结构与计算结果、模型内参、模型已用知识库以及决策结果等。

第二步中对在线评估周期进行计算的过程如下：

步骤一、进行人-交通混杂态势可观性分析及人-交通混杂态势的多模态态势数据质量分析。建立包含“人”态势及“交通”态势在内的混杂态势评估模型，通过基于可观性量表的参数分析，评估特定驾驶情景产生的多模态场景信息的可观测程度；通过基于参数逻辑门限的数据质量分析，评估特定驾驶情景产生的多模态场景信息的传输质量。

步骤二、进行人-交通混杂态势危急程度在线评估。通过对人-交通混杂态势的多模态态势数据进行聚类，将表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据、表征车辆状态的车辆态势数据和表征车辆周围交通环境状态的环境态势数据分类，每一类对应人-交通混杂态势危急程度的一个层级；通过对聚类结果进行降维，降低人-交通混杂态势危急层级的复杂度，增加人-交通混杂态势危急层级划分的合理性；通过将聚类结果与物理世界映射，得到人-交通混杂态势危险边界回归模型，建立起多层级人-交通混杂态势边界评价理论体系。

步骤三、进行在线评估周期计算。通过建立基于二维线性规划的态势评估与态势危险度映射模型，确定人机混合决策在线评估模型的计算周期。

在附图3中示出第二步的步骤一的一示例性实施方式。第二步的步骤一通过人-交通混杂态势可观性分析与人-交通混杂态势的多模态态势数据质量分析，建立了混杂态势评估模型。

人-交通混杂态势可观性分析采用基于量表评价的分析方法。对人-交通混杂态势的观测可分为对驾驶人驾驶能力及驾驶状态的观测、对车辆状态的观测以及对车辆周围行驶环境的观测三个部分，这三部分的可观性共同决定了混杂态势的可观性。因此，可在上述三个待观测的部分中分别选取能够表征可观性的参数，并为参数设定阈值，将这些参数汇总制作可观性量表，通过对其中参数进行分析判断人-交通混杂态势可观性。

人-交通混杂态势的多模态态势数据质量分析主要评估数据的内在质量、数据量的适当程度以及数据的时效性。

数据的内在质量可分为两个维度，包括数据正确性和数据精度。正确性评估数据正确、可靠和无错误的程度，精度是指数据采集和存储的精度。对于数据集L，设数据正确性和数据精度的量化值分别为q_c、q_p，其最低质量要求分别为θ_c、θ_p，则数据集L必须满足最低内在质量要求，如下式所示：

R＝(q_c≥θ_c)∩(q_p≥θ_p)

数据l_i∈L的正确性用q_c ⁱ表示，精度用q_p ⁱ表示，则数据集L的正确性和精度可以通过平均函数计算：

数据量的适当程度是数据质量分析的又一个维度。在多数情况下，数据越多，训练模型(如深度学习模型)的性能就越高，但是，当数据集的大小超过某个最佳点时，不但会造成不必要的计算和存储资源浪费，还会降低决策性能。因此，用于当前任务的数据集的数据数量应该足够完成当前任务，且不会引起额外的资源浪费。

数据的时效性是指当前数据库中的数据适合当前任务的程度。时效性的一般用两个参数来量化——currency与volatility，其中，currency指数据的使用期限，volatility指数据保持有效的时间，可通过数据集中数据片段的最大或平均时效性来评估数据集L的时效性。

在附图4中示出第二步的步骤二的一示例性实施方式。第二步的步骤二通过基于数据驱动的机器学习算法，将人-交通混杂态势的多模态态势数据进行聚类，从而建立起混杂态势的危急程度评估模型。

混杂态势危急程度评估模型采用蚁群算法对人-交通混杂态势数据进行聚类。假设用于蚁群搜索的人-交通混杂态势的多模态态势数据集L具有m个独立参数特征及其对应的E个观测变量，基于蚁群聚类的人-交通混杂态势分类即为在L中找到可以使每个数据样本到达聚类数目已知的聚类中心的距离之和达到最小的划分，如下式：

式中，l_ip为第i个数据样本的第p个模型参数特征，c_jp为第j个类中心的第p个模型参数特征，E_j为观测变量E中第j类对应的观测变量，ω_ij为观测变量与分类间的从属关系标志量。蚁群聚类的分类质量通过迭代更新方程提高，更新方程如下式所示:

式中，P_ij为数据样本跨类转换的概率，τ_ij为数据样本i和所属类j间的标准化信息素，ρ(0<ρ<1)为信息素挥发度，τ_ij(t)为数据样本i和所属类j在t时刻的信息素浓度。

当聚类结果的类别较多，与物理世界中预设的人-交通混杂态势层次数不一致时，可按照预设的人-交通混杂态势层次数，将聚类结果中相近的类别划分为一类进行降维。另外，由于聚类后的聚类结果尚不具有物理意义，还需要建立聚类结果与物理世界中预设的人-交通混杂态势各层次的映射关系。考虑到待映射元素间存在逻辑联系，但并无可解释的物理及数理推导关系，故采用多维线性优化回归模型，得到人-交通混杂态势评价方程表达式如下式所示：

式中，SO_CX为人-交通混杂态势危急程度，

为人-交通混杂态势的多模态态势数据集L的有效值子集，β为回归系数。

第三步中对人机混合决策模型进行综合评价的过程如下：

步骤一、进行人机混合决策模型可解释性评价。人机混合决策评价模型通过对人机混合增强决策中所用到的深度学习模型的可解释性进行研究，分析神经元组结构、算力及计算结果，实现对人机混合决策模型可解释性评价。

步骤二、进行基于模型预测控制的滚动时域决策结果预测。通过模型预测控制模拟人脑的决策过程，根据驾驶员预瞄原理，得到驾驶员在滚动时域的决策结果；通过模型预测控制模拟“机器脑”的决策过程，在考虑驾驶员操作的基础上跟踪参考路径，协助驾驶员完成操作。

步骤三、进行人机混合决策模型已用知识库评价。通过对人机混合决策模型知识库的场景元素的复杂度进行分析，从而得到已用知识库的复杂程度，可作为判断人机混合决策模型可信性的一个依据。

步骤四、进行人机混合决策模型及知识库更新情况判断。通过对人机混合决策模型、内参及知识库进行相似性分析，设定更新阈值，从而判断更新的必要性；通过对人机混合决策模型、内参及知识库更新方式进行评价，分析更新的效果。

步骤五、进行基于层次分析法的人机混合决策模型综合评价。通过分析上述评价指标之间的影响关系建立层次结构模型，根据专家经验构造判断矩阵；通过层析排序确定评价指标的影响权重，进行一致性检验验证重要性排序的正确性；根据各指标的评价结果与层次分析法所得的排序结果，得到人机混合决策逻辑多层级在线校验结果，作为人机混合决策逻辑的在线反馈数据。

在附图5中示出第三步的步骤一的一示例性实施方式。在人机混合决策过程中，混合增强智能理论能够获得环境信息、车辆状态信息以及人的推断信息，机器通过深度学习与强化学习理解人的推断过程与决策模式，以类脑计算模式填补人的决策缺陷，赋予自动驾驶系统较强的决策能力，实现“人机超脑决策”模式。为保证决策结果的安全性与可信性，需对人机混合决策模型中的深度学习模型进行可解释性研究。

首先获取骨干网络最后一层全连接层的分类权重，以此作为决策树叶子节点，构建决策树层次结构。通过对节点输出进行可视化，使得深度决策树可解释性不再局限于节点精度及决策路径，而是能够在空间位置上给出可视化解释，直观理解模型逐层决策依据。同时，通过基于卷积核相关度验证模型可解释性的方法，对于模型输出特征图组进行扰动，以节点注意力图与决策路径变化为依据，验证决策树分类依据的可靠性。

在传统的基于类激活映射的可视化方法中，将最后一层卷积层输出的k个特征映射图A^k进行加权平均池化，得出注意力图。具体来说，让倒数第二层产生K个特征图，A^k∈R^{u ×v}，每个元素以i，j为索引，所以A^k _i,j指的是特征图A^k在位置(i， j)的激活。然后使用全局平均池化对这些特征图进行空间池化，并对其进行线性变换，产生每个类c的得分Y^c，如下式所示：

在计算a_k ^(c)的过程中，需要计算反向传播梯度与激活函数，即对权重矩阵与激活函数的连续矩阵进行乘积，直到梯度被传播到最终的卷积层。这些反向传播的梯度在宽度与高度维度(分别以i和j为索引)上进行全局平均池化，从而得到神经元重要性权重a_k ^(c)，如下式所示：

权重a_k ^(c)代表了深度学习网络特征图的部分线性化，并获得特征图k对目标类c的重要性，对前向激活图进行加权组合，并在其后进行激活函数映射，可得到模型构建的注意力图，如下式所示：

采用优化类激活映射算法，将全局平均池化后的权重a_k ^(c)转化为基于矩阵值权重W_k ^(c),如下式所示：

其主要方式为经由模型最后一层卷积层后去掉全局平均池化层，对卷积层输出进行可视化从而保留最后一层卷积层的空间位置信息。

使用哈达玛积对特征图与权重W_k ^(c)作乘，记为W_k ^(c)*A^k。在哈达玛积的定义当中，若A＝(a_ij)与矩阵B＝(b_ij)为同阶矩阵，其哈达玛积记为C＝(c_ij),如下式所示：

W_k ^(c)与A^k同为m×n矩阵，因哈达玛积能最大限度保留空间位置信息，突出显著性决策区域，所以使用哈达玛积将权重 W_k ^(c)与特征图相乘，输出权重特征图，如下式所示：

所提出的优化类激活映射图保留了ReLU激活函数并将其应用于特征图的线性组合，因为ReLU激活函数能够有效区分相关和不相关的像素并提取对分类结果类有较高贡献度的特征。随后在特征图组中构建激活映射，对经过激活函数的特征图进行显著性映射求和得到注意力图，如下式所示：

度量卷积核单元相关度使用IoU算法，在不同的网络中能够比较不同表征的可解释性，探究骨干网络相关卷积核对于模型类别的影响程度，以此验证决策依据的置信度，如下式所示：

上述公式主要通过计算该层特征图二值化激活区域与不同语义标签结果的交并比来确定该层卷积核所具备的语义信息。其中，x代表输入样本，c代表类别信息，k代表某一卷积层的第k个卷积核单元，L_c(x)为输入图像的像素级标注区域，M_c(x) 为像素的单元激活图A_k(x)进行上采样得到的激活图，并与输入像素的图像级标注L_c(x)进行比较，进行二值化语义分割。设定默认阈值为IoU_k,c>0.05，当存在卷积核单元对应多个语义相关时取IoU最大值，则此卷积核单元为特定类别语义单元。

在附图6中示出第三步的步骤二的一示例性实施方式。第三步的步骤二基于模型预测控制的方法对滚动时域内的人机混合决策结果进行预测，可增强人机决策结果的一致性。

以信息对称条件下人机协同转向操作为例，驾驶员在对称条件对控制器具备一定的适应性，利用模型预测控制模拟人脑的决策过程，根据驾驶员预瞄原理，驾驶员未来状态的预测方程如下所示：

X_h(k+1|k)＝S_shxx(k)+S_shuU_a(k)+S_shuU_h(k)

Z_h(k+1|k)＝S_shzx(k)+S_shuU_a(k)+S_shuU_h(k)

其中预测方程中的矩阵如下所示：

式中，δ_h为驾驶员的控制输入，δ_h为“机器脑”的控制输入，P为预测步数，N为控制步数。驾驶员的决策过程与控制器类似，其主要目标为跟踪所预瞄的理想的参考路径，驾驶员的理想路径用R_h(k+1)表示：

R_h(k+1)＝[r_h(k+1) r_h(k+2) … r_h(k+P)]^T

驾驶员的目标由两部分表达，其中一部分是对理想路径跟踪，另一部分是对控制量的惩罚项，而两个目标通过权重Γ_sh与Γ_suh进行权衡，因此驾驶员的决策可由以下控制目标优化求解表达：

求解获得驾驶员的决策变量U_h(k)后，选取U_h(k)的第一个量进行执行。

“机器脑”接收驾驶员的控制变量，在考虑驾驶员操作的基础上跟踪参考路径，协助驾驶员完成转向操作，根据动力学模型，控制器的预测方程如下形式：

X_a(k+1|k)＝S_saxx(k)+S_sauU_a(k)+S_sauU_h(k)

Z_a(k+1|k)＝S_sazx(k)+S_suzaU_a(k)+S_sazU_h(k)

预测方程中的矩阵具体表达形式如下：

其中R_a(k+1)为“机器脑”转向控制的参考路径：

信息对称条件下“机器脑”控制目标与驾驶员类似，即跟踪一条理想的参考行车轨迹，因此“机器脑”的控制目标可以表达为如下形式：

其中Γ_sa与Γ_sua为“机器脑”控制目标目标函数的权重矩阵。

根据安全约束分析，车辆的侧向位置不应超过道路边界：

w是车辆的宽度，y_r(k+i)和y_l(k+i)是道路边界在预测时域的离散值。

此外，必须考虑满足以下约束条件的转向系统饱和：

Δδ_min≤Δδ_f(k+i)≤Δδ_max

其中Δδ_f(k+i)是前轮转角的增量，Δδ_min和Δδ_max分别是前轮角度变化率的上下界。

因此“机器脑”的控制策略可以表示为如下带约束的优化问题:

求解“机器脑”的决策变量后按照预定的驾驶权重与驾驶员决策变量进行交互叠加，即可得基于模型预测控制的滚动时域的人机决策的预测结果。

在附图7中示出第三步的步骤三的一示例性实施方式。第三步的步骤三通过对人机混合决策模型知识库的静态知识库复杂度与动态知识库复杂度进行分析，从而评价已用知识库的复杂度。

静态知识库复杂度引入信息熵理论确定静态知识库要素的信息熵，考虑静态知识库要素的类型和权重。静态复杂度系数 (信息熵)计算公式为：

式中，θ₁为静态知识库复杂度系数；h为静态知识库复杂度中各个组成要素所对应分组标签的类型总数；p_i为根据静态知识库复杂度构建的图形结构中相同类型节点数与节点总数的比值。

不同静态知识库要素权重根据专家打分确定：

C_O＝θ₁×(β₁ΣY₁+β₂ΣY₂+β₃ΣY₃+β₄ΣY₄+β₅ΣY₅)

式中，C_o为静态知识库复杂度；β_n为静态知识库组成要素中第n个分组所对应的权重；Y_n为静态知识库组成要素中第n个分组内各个组成要素所对应的预设分值之和。

基于引力模型研究，提出动态知识库复杂度与场景中的动态因素有关，复杂度与测试车辆和参与者的速度、两者之间的距离与夹角等存在某种数学函数关系。将动态因素对测试车辆的影响作用视为知识库复杂度的场效应机制，测试车辆与参与者之间的相对速度与距离作为衡量场强度的指标，对知识库复杂度的场分布进行数学描述，将动态因素进行抽象概括。根据测试车辆属性与交通参与者属性初步形成具有场效应的复杂度引力模型结构体系，其模型的基本形式为：

C₁＝c·K₁·K₂

式中，C₁为动态知识库复杂度；K₁为测试车辆的属性值；K₂为交通参与者的属性值；c为常数。

测试车辆的属性值的计算公式为：

式中，a为常系数，为调整模型规范的一个常数；t₁为测试车辆的反应时间；v₁为测试车辆的行车速度；d₁为测试车辆与交通参与者的距离；θ为测试车辆与其他交通参与者之间的夹角。

交通参与者属性值的计算公式为：

式中，p为常数；t₂为交通参与者的被感测时间；v₂为交通参与者的速度；d₂为交通参与者的运动距离。

根据静态知识库复杂度和动态知识库复杂度计算得到已用知识库复杂度，即：

C＝C₀·C₁

式中，C为已用知识库复杂度。

在附图8中示出第三步的步骤四的一示例性实施方式。通过对人机混合决策模型及知识库进行相似性分析判断更新的必要性，通过评价更新方式分析更新的效果。

人机混合决策模型中神经网络的模型更新过程整体上可以分为两步，第一步前向传播预测结果，第二步根据预测结果进行反向反馈。人机混合决策模型的相似性分析通过误差偏差量e的范围进行确定，具体过程为：

1)网络初始化：给各个连接权值以及偏置设定[-1,1]内的随机数，然后设定损失函数e，并且设置学习率以及误差精度；

2)指定训练样本与样本输出：设置训练样本和样本输出，然后传入到神经网络中；

3)隐含层、输出层计算：计算隐含层各神经元的输入和输出，并由此的如输出层的输出结果；

4)误差偏量e的计算：根据网络模型输出层的输出结果与样本实际输出，计算误差偏量e，如果e在范围内则说明模型相似性较高，符合要求，无需进行模型更新，进入(7)继续对新样本进行学习即可，如果不在则进行更新；

5)权值的更新：根据损失函数计算权值的梯度，根据损失函数最小化的原则进行梯度下降，依次从输出层向输入层更新神经元的连接权值；

6)偏置的更新：根据损失函数计算偏置的梯度，根据损失函数最小化的原则进行梯度下降，依次从输出层向输入层更新每一层的偏置；

7)执行下一次学习，进入(2)。

人机混合决策模型知识库相似性分析需分析静态知识库与动态知识库复杂度的变化情况，根据静态知识库与动态知识库中各元素的重要性权重，设定相似性阈值，当超过阈值时，则对知识库进行更新，不超过阈值说明知识库相似度较高，能够满足人机混合决策模型决策的需求，无需进行更新。

人机混合决策模型与知识库更新方式的评价可考虑更新所用时间、更新的计算量、更新的准确性等因素，通过量表分析的方法综合判断。

在附图9中示出第三步的步骤五的一示例性实施方式。通过层次分析法将人机混合决策模型的不同评价指标进行重要性排序，分配重要性权重，进而根据各评价指标的评价结果，得到人机混合决策模型的综合评价结果。

将人机混合决策模型的评价指标条理化和层次化，构造出一个有序的、梯次递进的结构模型。

采用专家咨询法构造判断矩阵，请多位资深专家、具有丰富驾驶经验的驾驶员对各评价指标的重要性进行评价打分，通过1-9标度对同一层次的两个评价指标进行重要性比较，从而构建相应的判断矩阵，得到各评价指标的重要性权重。

为保证权重指标的合理性，须根据判断矩阵求出最大特征值之后对判断矩阵进行一致性检验，一致性检验的公式为：

式中，RI为层次总排序平均随机一致性指标的标准值，根据判断矩阵阶数不同取不同的值；CI为层次总排序一致性指标。CI的定义及相关计算公式为：

ω＝(ω₁,ω₂,...,ω_n)^T

式中，λ_max为判断矩阵最大特征值；n为判断矩阵的阶数；A为矩阵。如果CR<0.1，说明判断矩阵的一致性良好，满足一致性要求。

各评价指标重要性排序完成后，即可根据各指标的重要性权重与评价结果得到人机混合决策模型的综合评价结果。

Claims (8)

1.一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：其方法包括如下步骤：

第一步、数据及信息流输入，具体步骤如下：

将传感器检测到的人-交通混杂态势的多模态态势数据输入在线评估周期计算模型；将在线评估计算周期、人机混合决策驾驶权评估结果、人机混合增强智能决策模型内参以及人机混合决策内模结构输入人机混合决策综合评估模型，作为人机混合决策模型的评估依据；

作为输入的人-交通混杂态势的多模态态势数据中包含了可表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据，可表征车辆状态的车辆态势数据和可表征车辆周围交通环境状态的环境态势数据；驾驶人态势数据中，驾驶人的年龄、驾龄、驾驶里程以及受教育程度的指标能够反映驾驶人的驾驶能力，此外，血流量脉冲、皮肤电导以及眼动参数作为三个典型的生理指标，能够在一定程度上反映驾驶人的驾驶状态；车辆态势数据包括平均车速、加速度标准差以及前轮转角标准差所反映的车辆纵向与横向运动状态的指标；环境态势数据能够反映车辆周围交通环境中的行车风险，分为静态障碍物造成的风险与动态障碍物造成的风险，风险大小通过车头时距、碰撞时间和相对速度的指标或建立行车风险场求解场强的方式来表征；

作为输入的人机混合决策模型的数据包含了模型中深度学习算法的神经元组结构与计算结果、模型内参、模型已用知识库以及决策结果；

第二步、对在线评估周期进行计算，具体步骤如下：

步骤一、进行人-交通混杂态势可观性分析及人-交通混杂态势的多模态态势数据质量分析，建立包含“人”态势及“交通”态势在内的混杂态势评估模型，通过基于可观性量表的参数分析，评估特定驾驶情景产生的多模态场景信息的可观测程度；通过基于参数逻辑门限的数据质量分析，评估特定驾驶情景产生的多模态场景信息的传输质量；

步骤二、进行人-交通混杂态势危急程度在线评估，通过对人-交通混杂态势的多模态态势数据进行聚类，将表征驾驶人驾驶能力及驾驶状态的驾驶人态势数据、表征车辆状态的车辆态势数据和表征车辆周围交通环境状态的环境态势数据分类，每一类对应人-交通混杂态势危急程度的一个层级；通过对聚类结果进行降维，降低人-交通混杂态势危急层级的复杂度，增加人-交通混杂态势危急层级划分的合理性；通过将聚类结果与物理世界映射，得到人-交通混杂态势危险边界回归模型，建立起多层级人-交通混杂态势边界评价理论体系；

步骤三、进行在线评估周期计算，通过建立基于二维线性规划的态势评估与态势危险度映射模型，确定人机混合决策在线评估模型的计算周期；

第三步、对人机混合决策模型进行综合评价，具体步骤如下：

步骤一、进行人机混合决策模型可解释性评价，人机混合决策评价模型通过对人机混合增强决策中所用到的深度学习模型的可解释性进行研究，分析神经元组结构、算力及计算结果，实现对人机混合决策模型可解释性评价；

步骤二、进行基于模型预测控制的滚动时域决策结果预测，通过模型预测控制模拟人脑的决策过程，根据驾驶员预瞄原理，得到驾驶员在滚动时域的决策结果；通过模型预测控制模拟“机器脑”的决策过程，在考虑驾驶员操作的基础上跟踪参考路径，协助驾驶员完成操作；

步骤三、进行人机混合决策模型已用知识库评价，通过对人机混合决策模型知识库的场景元素的复杂度进行分析，从而得到已用知识库的复杂程度，作为判断人机混合决策模型可信性的一个依据；

步骤四、进行人机混合决策模型及知识库更新情况判断，通过对人机混合决策模型、内参及知识库进行相似性分析，设定更新阈值，从而判断更新的必要性；通过对人机混合决策模型、内参及知识库更新方式进行评价，分析更新的效果；

步骤五、进行基于层次分析法的人机混合决策模型综合评价，通过分析上述步骤一至步骤四中评价指标之间的影响关系建立层次结构模型，根据专家经验构造判断矩阵；通过层析排序确定评价指标的影响权重，进行一致性检验验证重要性排序的正确性；根据各指标的评价结果与层次分析法所得的排序结果，得到人机混合决策逻辑多层级在线校验结果，作为人机混合决策逻辑的在线反馈数据。

2.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第二步中的步骤一通过人-交通混杂态势可观性分析与人-交通混杂态势的多模态态势数据质量分析，建立了混杂态势评估模型，具体如下：

人-交通混杂态势可观性分析采用基于量表评价的分析方法，对人-交通混杂态势的观测分为对驾驶人驾驶能力及驾驶状态的观测、对车辆状态的观测以及对车辆周围行驶环境的观测三个部分，这三部分的可观性共同决定了混杂态势的可观性，在上述三个待观测的部分中分别选取能够表征可观性的参数，并为参数设定阈值，将这些参数汇总制作可观性量表，通过对其中参数进行分析判断人-交通混杂态势可观性；

人-交通混杂态势的多模态态势数据质量分析主要评估数据的内在质量、数据量的适当程度以及数据的时效性；

数据的内在质量分为两个维度，包括数据正确性和数据精度，正确性评估数据正确、可靠和无错误的程度，精度是指数据采集和存储的精度，对于数据集L，设数据正确性和数据精度的量化值分别为q_c、q_p，其最低质量要求分别为θ_c、θ_p，则数据集L必须满足最低内在质量要求，如下式所示：

R＝(q_c≥θ_c)∩(q_p≥θ_p)

数据l_i∈L的正确性用q_c ⁱ表示，精度用q_p ⁱ表示，则数据集L的正确性和精度可以通过平均函数计算：

数据量的适当程度是数据质量分析的又一个维度，数据越多，训练模型的性能就越高，用于当前任务的数据集的数据数量要足够完成当前任务，且不会引起额外的资源浪费；

数据的时效性是指当前数据库中的数据适合当前任务的程度，时效性用两个参数来量化，即currency与volatility，其中，currency指数据的使用期限，volatility指数据保持有效的时间，通过数据集中数据片段的最大或平均时效性来评估数据集L的时效性。

3.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第二步中的步骤二通过基于数据驱动的机器学习算法，将人-交通混杂态势的多模态态势数据进行聚类，从而建立起混杂态势的危急程度评估模型，具体如下：

混杂态势危急程度评估模型采用蚁群算法对人-交通混杂态势数据进行聚类，假设用于蚁群搜索的人-交通混杂态势的多模态态势数据集L具有m个独立参数特征及其对应的E个观测变量，基于蚁群聚类的人-交通混杂态势分类即为在L中找到能够使每个数据样本到达聚类数目已知的聚类中心的距离之和达到最小的划分，如下式：

式中，l_ip为第i个数据样本的第p个模型参数特征，c_jp为第j个类中心的第p个模型参数特征，E_j为观测变量E中第j类对应的观测变量，ω_ij为观测变量与分类间的从属关系标志量，蚁群聚类的分类质量通过迭代更新方程提高，更新方程如下式所示:

式中，P_ij为数据样本跨类转换的概率，τ_ij为数据样本i和所属类j间的标准化信息素，ρ(0<ρ<1)为信息素挥发度，τ_ij(t)为数据样本i和所属类j在t时刻的信息素浓度；

当聚类结果的类别较多，与物理世界中预设的人-交通混杂态势层次数不一致时，按照预设的人-交通混杂态势层次数，将聚类结果中相近的类别划分为一类进行降维，另外，还需要建立聚类结果与物理世界中预设的人-交通混杂态势各层次的映射关系，考虑到待映射元素间存在逻辑联系，但并无可解释的物理及数理推导关系，采用多维线性优化回归模型，得到人-交通混杂态势评价方程表达式如下式所示：

式中，SO_CX为人-交通混杂态势危急程度，

为人-交通混杂态势的多模态态势数据集L的有效值子集，β为回归系数。

4.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第三步中的步骤一在人机混合决策过程中，混合增强智能理论能够获得环境信息、车辆状态信息以及人的推断信息，机器通过深度学习与强化学习理解人的推断过程与决策模式，以类脑计算模式填补人的决策缺陷，赋予自动驾驶系统较强的决策能力，实现“人机超脑决策”模式，为保证决策结果的安全性与可信性，对人机混合决策模型中的深度学习模型进行可解释性研究，具体如下：

首先获取骨干网络最后一层全连接层的分类权重，以此作为决策树叶子节点，构建决策树层次结构，通过对节点输出进行可视化，使得深度决策树可解释性不再局限于节点精度及决策路径，而是能够在空间位置上给出可视化解释，直观理解模型逐层决策依据，同时，通过基于卷积核相关度验证模型可解释性的方法，对于模型输出特征图组进行扰动，以节点注意力图与决策路径变化为依据，验证决策树分类依据的可靠性；

在传统的基于类激活映射的可视化方法中，将最后一层卷积层输出的k个特征映射图A^k进行加权平均池化，得出注意力图，具体来说，让倒数第二层产生K个特征图，A^k∈R^u×v，每个元素以i，j为索引，所以A^k _i,j指的是特征图A^k在位置(i，j)的激活，然后使用全局平均池化对这些特征图进行空间池化，并对其进行线性变换，产生每个类c的得分Y^c，如下式所示：

在计算a_k ^(c)的过程中，需要计算反向传播梯度与激活函数，即对权重矩阵与激活函数的连续矩阵进行乘积，直到梯度被传播到最终的卷积层，这些反向传播的梯度在宽度与高度维度上进行全局平均池化，分别以i和j为索引，从而得到神经元重要性权重a_k ^(c)，如下式所示：

权重a_k ^(c)代表了深度学习网络特征图的部分线性化，并获得特征图k对目标类c的重要性，对前向激活图进行加权组合，并在其后进行激活函数映射，得到模型构建的注意力图，如下式所示：

采用优化类激活映射算法，将全局平均池化后的权重a_k ^(c)转化为基于矩阵值权重W_k ^(c),如下式所示：

其主要方式为经由模型最后一层卷积层后去掉全局平均池化层，对卷积层输出进行可视化从而保留最后一层卷积层的空间位置信息；

使用哈达玛积对特征图与权重W_k ^(c)作乘，记为W_k ^(c)*A^k，在哈达玛积的定义当中，若A＝(a_ij)与矩阵B＝(b_ij)为同阶矩阵，其哈达玛积记为C＝(c_ij),如下式所示：

W_k ^(c)与A^k同为m×n矩阵，因哈达玛积能最大限度保留空间位置信息，突出显著性决策区域，所以使用哈达玛积将权重W_k ^(c)与特征图相乘，输出权重特征图，如下式所示：

所提出的优化类激活映射图保留了ReLU激活函数并将其应用于特征图的线性组合，ReLU激活函数能够有效区分相关和不相关的像素并提取对分类结果类有较高贡献度的特征，随后在特征图组中构建激活映射，对经过激活函数的特征图进行显著性映射求和得到注意力图，如下式所示：

度量卷积核单元相关度使用IoU算法，在不同的网络中能够比较不同表征的可解释性，探究骨干网络相关卷积核对于模型类别的影响程度，以此验证决策依据的置信度，如下式所示：

上述公式通过计算该层特征图二值化激活区域与不同语义标签结果的交并比来确定该层卷积核所具备的语义信息，其中，x代表输入样本，c代表类别信息，k代表某一卷积层的第k个卷积核单元，L_c(x)为输入图像的像素级标注区域，M_c(x)为像素的单元激活图A_k(x)进行上采样得到的激活图，并与输入像素的图像级标注L_c(x)进行比较，进行二值化语义分割，设定默认阈值为IoU_k,c>0.05，当存在卷积核单元对应多个语义相关时取IoU最大值，则此卷积核单元为特定类别语义单元。

5.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第三步中的步骤二基于模型预测控制的方法对滚动时域内的人机混合决策结果进行预测，可增强人机决策结果的一致性；

以信息对称条件下人机协同转向操作为例，驾驶员在对称条件对控制器具备一定的适应性，利用模型预测控制模拟人脑的决策过程，根据驾驶员预瞄原理，驾驶员未来状态的预测方程如下所示：

X_h(k+1|k)＝S_shxx(k)+S_shuU_a(k)+S_shuU_h(k)

Z_h(k+1|k)＝S_shzx(k)+S_shuU_a(k)+S_shuU_h(k)

其中预测方程中的矩阵如下所示：

式中，δ_h为驾驶员的控制输入，δ_h为“机器脑”的控制输入，P为预测步数，N为控制步数，驾驶员的决策过程与控制器类似，其主要目标为跟踪所预瞄的理想的参考路径，驾驶员的理想路径用R_h(k+1)表示：

R_h(k+1)＝[r_h(k+1) r_h(k+2)…r_h(k+P)]^T

驾驶员的目标由两部分表达，其中一部分是对理想路径跟踪，另一部分是对控制量的惩罚项，而两个目标通过权重Γ_sh与Γ_suh进行权衡，因此驾驶员的决策可由以下控制目标优化求解表达：

求解获得驾驶员的决策变量U_h(k)后，选取U_h(k)的第一个量进行执行；

“机器脑”接收驾驶员的控制变量，在考虑驾驶员操作的基础上跟踪参考路径，协助驾驶员完成转向操作，根据动力学模型，控制器的预测方程如下形式：

X_a(k+1|k)＝S_saxx(k)+S_sauU_a(k)+S_sauU_h(k)

Z_a(k+1|k)＝S_sazx(k)+S_suzaU_a(k)+S_sazU_h(k)

预测方程中的矩阵具体表达形式如下：

其中R_a(k+1)为“机器脑”转向控制的参考路径：

信息对称条件下“机器脑”控制目标与驾驶员类似，即跟踪一条理想的参考行车轨迹，因此“机器脑”的控制目标表达为如下形式：

其中Γ_sa与Γ_sua为“机器脑”控制目标目标函数的权重矩阵；

根据安全约束分析，车辆的侧向位置不应超过道路边界：

w是车辆的宽度，y_r(k+i)和y_l(k+i)是道路边界在预测时域的离散值；

此外，必须考虑满足以下约束条件的转向系统饱和：

Δδ_min≤Δδ_f(k+i)≤Δδ_max

其中Δδ_f(k+i)是前轮转角的增量，Δδ_min和Δδ_max分别是前轮角度变化率的上下界；

“机器脑”的控制策略表示为如下带约束的优化问题:

求解“机器脑”的决策变量后按照预定的驾驶权重与驾驶员决策变量进行交互叠加，得到基于模型预测控制的滚动时域的人机决策的预测结果。

6.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第三步中的步骤三通过对人机混合决策模型知识库的静态知识库复杂度与动态知识库复杂度进行分析，从而评价已用知识库的复杂度；

静态知识库复杂度引入信息熵理论确定静态知识库要素的信息熵，考虑静态知识库要素的类型和权重，静态复杂度系数，即信息熵的计算公式为：

式中，θ₁为静态知识库复杂度系数；h为静态知识库复杂度中各个组成要素所对应分组标签的类型总数；p_i为根据静态知识库复杂度构建的图形结构中相同类型节点数与节点总数的比值；

不同静态知识库要素权重根据专家打分确定：

C_O＝θ₁×(β₁∑Y₁+β₂∑Y₂+β₃∑Y₃+β₄∑Y₄+β₅∑Y₅)

式中，C_o为静态知识库复杂度；β_n为静态知识库组成要素中第n个分组所对应的权重；Y_n为静态知识库组成要素中第n个分组内各个组成要素所对应的预设分值之和；

基于引力模型研究，提出动态知识库复杂度与场景中的动态因素有关，复杂度与测试车辆和参与者的速度、两者之间的距离与夹角存在一种数学函数关系，将动态因素对测试车辆的影响作用视为知识库复杂度的场效应机制，测试车辆与参与者之间的相对速度与距离作为衡量场强度的指标，对知识库复杂度的场分布进行数学描述，将动态因素进行抽象概括，根据测试车辆属性与交通参与者属性初步形成具有场效应的复杂度引力模型结构体系，其模型的基本形式为：

C₁＝c·K₁·K₂

式中，C₁为动态知识库复杂度；K₁为测试车辆的属性值；K₂为交通参与者的属性值；c为常数；

测试车辆的属性值的计算公式为：

式中，a为常系数，为调整模型规范的一个常数；t₁为测试车辆的反应时间；v₁为测试车辆的行车速度；d₁为测试车辆与交通参与者的距离；θ为测试车辆与其他交通参与者之间的夹角；

交通参与者属性值的计算公式为：

式中，p为常数；t₂为交通参与者的被感测时间；v₂为交通参与者的速度；d₂为交通参与者的运动距离；

根据静态知识库复杂度和动态知识库复杂度计算得到已用知识库复杂度，即：

C＝C₀·C₁

式中，C为已用知识库复杂度。

7.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第三步中的步骤四通过对人机混合决策模型及知识库进行相似性分析判断更新的必要性，通过评价更新方式分析更新的效果；

人机混合决策模型中神经网络的模型更新过程整体上分为两步，第一步前向传播预测结果，第二步根据预测结果进行反向反馈，人机混合决策模型的相似性分析通过误差偏差量e的范围进行确定，具体过程如下：

1)网络初始化：给各个连接权值以及偏置设定[-1,1]内的随机数，然后设定损失函数e，并且设置学习率以及误差精度；

2)指定训练样本与样本输出：设置训练样本和样本输出，然后传入到神经网络中；

3)隐含层、输出层计算：计算隐含层各神经元的输入和输出，并由此的如输出层的输出结果；

4)误差偏量e的计算：根据网络模型输出层的输出结果与样本实际输出，计算误差偏量e，如果e在范围内则说明模型相似性较高，符合要求，无需进行模型更新，进入7)继续对新样本进行学习，如果不在则进行更新；

5)权值的更新：根据损失函数计算权值的梯度，根据损失函数最小化的原则进行梯度下降，依次从输出层向输入层更新神经元的连接权值；

6)偏置的更新：根据损失函数计算偏置的梯度，根据损失函数最小化的原则进行梯度下降，依次从输出层向输入层更新每一层的偏置；

7)执行下一次学习，进入2)；

人机混合决策模型知识库相似性分析需分析静态知识库与动态知识库复杂度的变化情况，根据静态知识库与动态知识库中各元素的重要性权重，设定相似性阈值，当超过阈值时，则对知识库进行更新，不超过阈值说明知识库相似度较高，能够满足人机混合决策模型决策的需求，无需进行更新；

人机混合决策模型与知识库更新方式的评价要考虑更新所用时间、更新的计算量以及更新的准确性这些因素，通过量表分析的方法综合判断。

8.根据权利要求1所述的一种面向高度自动驾驶的人机决策逻辑在线校验方法，其特征在于：所述的第三步中的步骤五通过层次分析法将人机混合决策模型的不同评价指标进行重要性排序，分配重要性权重，进而根据各评价指标的评价结果，得到人机混合决策模型的综合评价结果；

将人机混合决策模型的评价指标条理化和层次化，构造出一个有序的、梯次递进的结构模型；

采用专家咨询法构造判断矩阵，请多位资深专家、具有丰富驾驶经验的驾驶员对各评价指标的重要性进行评价打分，通过1-9标度对同一层次的两个评价指标进行重要性比较，从而构建相应的判断矩阵，得到各评价指标的重要性权重；

为保证权重指标的合理性，须根据判断矩阵求出最大特征值之后对判断矩阵进行一致性检验，一致性检验的公式为：

式中，RI为层次总排序平均随机一致性指标的标准值，根据判断矩阵阶数不同取不同的值；CI为层次总排序一致性指标，CI的定义及相关计算公式为：

ω＝(ω₁,ω₂,...,ω_n)^T

式中，λ_max为判断矩阵最大特征值；n为判断矩阵的阶数；A为矩阵，如果CR<0.1，说明判断矩阵的一致性良好，满足一致性要求；

各评价指标重要性排序完成后，根据各指标的重要性权重与评价结果得到人机混合决策模型的综合评价结果。

Images