CN115659178A - 基于深度强化学习和专家知识库的无人车故障诊断方法 - Google Patents

Abstract

本发明属于无人驾驶应用技术领域，尤其涉及一种基于深度强化学习和专家知识库的无人车故障诊断方法。本发明通过深度强化学习和专家知识的深度融合，使二者在无人车故障诊断领域更好地发挥其优势。本发明技术方案中，基于专家知识库和完整的训练样本，通过深度强化学习算法进行模型训练，得到深度强化学习知识系统；根据深度强化学习知识系统和专家知识库，建立故障名称和诊断数据之间的解释库；基于深度强化学习知识系统实现对预处理后的无人车数据的诊断，并通过解释库输出故障名称，若该故障无解则更新知识系统和解释库，从而有效提升了故障的检测范围，减少了无人车因故障引起的安全事故的发生。

Description

基于深度强化学习和专家知识库的无人车故障诊断方法

技术领域

本发明属于无人驾驶应用技术领域，尤其涉及一种基于深度强化学习和专家知识库的无人车故障诊断方法。

背景技术

无人车是无人驾驶无人车、自动驾驶无人车或电脑驾驶无人车的简称，能够对道路和障碍物进行探测和识别，是一种通过电脑系统控制，替代人做出各种决策，以实现无人驾驶功能的智能化无人车。

随着智慧化矿山的建设，电机车无人驾驶正在被越来越多的矿山企业所认可。无人驾驶系统的实施，可以减少运输水平作业人员，包括井下电机车司机和溜井放矿工，在井上控制室一个人可以监管多台车的运行，改善劳动环境，增加设备运行时间，提高生产能力，达到本质安全水平，真正实现机械化换人、自动化减人的目标。

然而，无人车依赖于核心中控电脑实现对各种子系统的控制，并保证车辆的正常行驶，一旦某个子系统或设备发生故障，但未能及时的诊断和检测，就会产生极大的安全隐患。所以无人车的故障诊断与检测是极为重要的，及时定位故障类型并发出提醒，能有效避免严重事故的发生，提升无人车的行驶安全性。

发明内容

本发明针对上述的无人车所存在的技术问题，提出一种方法简单、操作方便且能够将深度强化学习和专家知识应用于无人车故障诊断领域，能根据专家经验和自主学习有效检测故障类型，降低了无人车因故障检测不及时而带来的安全隐患的基于深度强化学习和专家知识库的无人车故障诊断方法。

为了达到上述目的，本发明采用的技术方案为，本发明提供一种基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，包括以下步骤：

S1:获取专家知识库和完整的训练样本，作为模型训练数据；

S2:对所述模型训练数据，通过深度强化学习算法进行训练学习，得到深度强化学习知识系统；

S3:根据所述深度强化学习知识系统和专家知识库，建立深度强化学习知识系统输出结果和故障类型之间的解释库；

S4:获取无人车的图像、传感器状态以及设备配置等数据，作为待处理数据；

S5:对所述待处理数据进行数据预处理后，作为待检测数据；

S6:将无人车的待检测数据输入深度强化学习知识系统，输出故障标志位和待解释的诊断结果；

S7:若故障标志位为0，表示无故障发生；

若故障标志位为1，表示有故障发生，则执行步骤S8；

S8:将待解释的诊断结果输入到解释库，若解释库中有解，则输出故障的具体信息，并保存故障信息到数据库，若无解，则执行步骤S9；

S9：根据深度强化学习知识系统的诊断，更新专家知识和解释库；其中，所述S2步骤中，深度强化学习算法进行模型训练的过程如下：

a、将训练样本随机分为70％的训练集和30％的测试集；

b、设置初始配置：输入训练集故障数据作为状态空间S，输入训练集故障类型作为动作空间A，折扣率γ，学习率η和贪心率ε，初始化经验池D，容量为N，初始化Q网络的参数θ，初始化目标Q网络的参数θ^-，初始化状态s并设置训练轮数epi；

c、状态s下，采用贪心策略得到动作a_i，Agent执行动作a，数据环境根据输出故障类型与真实故障对比得到奖励值r，并给出下一个数据状态s′，状态s′下，采用贪心策略得到动作a_i′；

d、将e_t＝(s,a,r,s′)存放在初始化经验池D中；

e、从D中随机选取k个经验样本(s_j,a_j,r_j,s_j′)，j＝1,2,...,k,k＜N；

f、

对损失函数L(θ)执行梯度下降算法，更新神经网络参数θ，每C次更新目标网络参数θ^-＝θ；

g、循环除初始参数配置以外的上述步骤，直到Q(s,a^·,θ_i)收敛或者达到最大的训练轮数epi，并使用测试集进行模型测试，得到深度强化学习知识系统。

作为优选，所述步骤S1中，专家知识库数据指：根据专家经验，在无人车行驶过程中，由何种设备或系统故障导致的何种驾驶故障的发生，并以此形成故障数据的输入、输出关系表，构建专家知识库；所述完整的训练样本是指无人车行驶过程中的正常和故障数据。

作为优选，步骤S3中，解释库的建立过程如下：首先，基于深度强化学习知识系统，以专家知识库中的各故障现象作为输入，输出结果值；然后，根据结果值和专家知识库中的故障类型，建立输出结果和故障类型之间的映射关系表，存储到数据库后完成解释库的建立。

作为优选，步骤S5中，数据的预处理过程如下：根据不同类型的输入数据，采用不同方法进行数据清洗工作，以随时间线性增长的数据为例，设传感器1输入为D＝{d₁,d₂,d₃,...,d_n}；对D进行缺失值的识别和处理：在R语言里使用函数is.na判别，函数complete.cases识别样本数据是否完整，并采用替换法对缺失值进行替换；对D进行异常值的识别和处理：识别D中远离正常值范围的点，并采用平均值修正的方法处理并替换该异常值；数据清洗结束后将该组数据标记为无人车的待检测数据。

作为优选，步骤S6中，深度强化学习知识系统故障诊断的流程如下：输入故障数据s到深度强化学习知识系统模型；输出正常或故障的诊断结果r，并将故障标志位flag对应置0或1；当故障标志位flag为0时无故障，为1时输入到解释库，在映射表中查表匹配到故障类型并输出最终的诊断结果，将该结果保存到数据库后推送至用户处理。

作为优选，步骤S9中，更新专家知识库和解释库的流程如下：保存深度强化学习知识系统模型的输入参数组为S_u，保存模型的诊断结果为R_u；更新专家知识库中的故障表项信息，添加故障征兆S_u和对应的故障类型R_u，并将待更新位置1，等待用户确认并更新该条故障记录；更新解释库中的故障映射表信息，添加故障类型R_u和故障名称N_w，并将待更新位置1，等待用户确认并更新该条记录的故障名称N_w。用户完成专家知识库和解释库的更新确认，并进行故障名称设置后，下次该故障数据将会被诊断为对应的故障类型。

与现有技术相比，本发明的优点和积极效果在于，

本发明提出基于深度强化学习和专家知识库的无人车故障诊断方法，通过深度强化学习和专家知识的深度融合，使二者在无人车故障诊断领域更好地发挥其优势。本发明技术方案中，基于专家知识库和完整的训练样本，通过深度强化学习算法进行模型训练，得到深度强化学习知识系统；根据深度强化学习知识系统和专家知识库，建立故障名称和诊断数据之间的解释库；基于深度强化学习知识系统实现对预处理后的无人车数据的诊断，并通过解释库输出故障名称，若该故障无解则更新知识系统和解释库，从而有效提升了故障的检测范围，减少了无人车因故障引起的安全事故的发生。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于深度强化学习和专家知识库的无人车故障诊断方法的故障诊断方法流程图；

图2为本发明的基于深度强化学习和专家知识库的无人车故障诊断方法的深度强化学习模型训练流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

实施例1，如图1、图2所示，本实施例提供一种基于深度强化学习和专家知识库的无人车故障诊断方法

要想对故障进行判断，就要先知道有哪些故障，为此，在本实施例中，首先，获取专家知识库和完整的训练样本，作为模型训练数据。其中，根据专家经验，在无人车行驶过程中，由何种设备或系统故障导致的何种驾驶故障的发生，并以此形成故障数据的输入、输出关系表，作为深度强化学习进行模型训练的学习反馈目标；完整的训练样本主要指的是汽车行驶过程中的正常和故障数据，并对数据进行了简单标注。这样，就得到了模型训练的数据。

然后，即可对得到的模型训练数据通过深度强化学习算法进行训练学习，进而得到深度强化学习知识系统。具体的训练方法如下：

将训练样本随机分为70％的训练集和30％的测试集；

设置初始配置：输入训练集故障数据作为状态空间S，输入训练集故障类型作为动作空间A，折扣率γ，学习率η和贪心率ε，初始化经验池D，容量为N，初始化Q网络的参数θ，初始化目标Q网络的参数θ^-，初始化状态s并设置训练轮数epi；

状态s下，采用贪心策略得到动作a_i，Agent执行动作a，数据环境根据输出故障类型与真实故障对比得到奖励值r，并给出下一个数据状态s′，状态s′下，采用贪心策略得到动作a_i′；

将e_t＝(s,a,r,s′)存放在初始化经验池D中；

从D中随机选取k个经验样本(s_j,a_j,r_j,s_j′)，j＝1,2,...,k,k＜N；

对损失函数L(θ)执行梯度下降算法，更新神经网络参数θ，每C次更新目标网络参数θ^-＝θ；

循环除初始参数配置以外的上述步骤，直到Q(s,a^·,θ_i)收敛或者达到最大的训练轮数epi，并使用测试集进行模型测试，得到深度强化学习知识系统。

然后，根据所述深度强化学习知识系统和专家知识库，建立深度强化学习知识系统输出结果和故障类型之间的解释库。解释库的建立过程如下：

基于深度强化学习知识系统，以专家知识库中的各故障现象作为输入，输出结果值；根据结果值和专家知识库中的故障类型，建立输出结果和故障类型之间的映射关系表，存储到数据库后完成解释库的建立。

接着，获取无人车的图像、传感器状态以及设备配置等数据，作为待处理数据。然后，对所述待处理数据进行数据预处理后，作为待检测数据。

数据预处理的方法为：根据不同类型的输入数据，采用不同方法进行数据清洗工作，以随时间线性增长的数据为例，设传感器1输入为D＝{d₁,d₂,d₃,...,d_n}；

对D进行缺失值的识别和处理：在R语言里使用函数is.na判别，函数complete.cases识别样本数据是否完整，并采用替换法对缺失值进行替换；

对D进行异常值的识别和处理：识别D中远离正常值范围的点，并采用平均值修正的方法处理并替换该异常值；

数据清洗结束后将该组数据标记为无人车的待检测数据。

将无人车的待检测数据输入深度强化学习知识系统，输出故障标志位和待解释的诊断结果，具体的说，深度强化学习知识系统故障诊断的流程如下：

输入故障数据s到深度强化学习知识系统模型；

输出正常或故障的诊断结果r，并将故障标志位flag对应置0或1；

当故障标志位flag为0时无故障，为1时输入到解释库，在映射表中查表匹配到故障类型并输出最终的诊断结果，将该结果保存到数据库后推送至用户处理。

故障标志位为0，表示无故障发生；

若故障标志位为1，表示有故障发生，则将待解释的诊断结果输入到解释库，若解释库中有解，则输出故障的具体信息，并保存故障信息到数据库，若无解，则根据深度强化学习知识系统的诊断，更新专家知识和解释库；更新专家知识库和解释库的流程如下：

保存深度强化学习知识系统模型的输入参数组为S_u，保存模型的诊断结果为R_u；

更新专家知识库中的故障表项信息，添加故障征兆S_u和对应的故障类型R_u，并将待更新位置1，等待用户确认并更新该条故障记录；

更新解释库中的故障映射表信息，添加故障类型R_u和故障名称N_w，并将待更新位置1，等待用户确认并更新该条记录的故障名称N_w。

用户完成专家知识库和解释库的更新确认，并进行故障名称设置后，下次该故障数据将会被诊断为对应的故障类型。

通过上述的设置，有效实现了故障模型的训练，进而对无人车的故障诊断提供安全、可靠的保障。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (6)

1.一种基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，包括以下步骤：

S1:获取专家知识库和完整的训练样本，作为模型训练数据；

S2:对所述模型训练数据，通过深度强化学习算法进行训练学习，得到深度强化学习知识系统；

S3:根据所述深度强化学习知识系统和专家知识库，建立深度强化学习知识系统输出结果和故障类型之间的解释库；

S4:获取无人车的图像、传感器状态以及设备配置等数据，作为待处理数据；

S5:对所述待处理数据进行数据预处理后，作为待检测数据；

S6:将无人车的待检测数据输入深度强化学习知识系统，输出故障标志位和待解释的诊断结果；

S7:若故障标志位为0，表示无故障发生；

若故障标志位为1，表示有故障发生，则执行步骤S8；

S8:将待解释的诊断结果输入到解释库，若解释库中有解，则输出故障的具体信息，并保存故障信息到数据库，若无解，则执行步骤S9；

S9：根据深度强化学习知识系统的诊断，更新专家知识和解释库；其中，

所述S2步骤中，深度强化学习算法进行模型训练的过程如下：

a、将训练样本随机分为70％的训练集和30％的测试集；

b、设置初始配置：输入训练集故障数据作为状态空间S，输入训练集故障类型作为动作空间A，折扣率γ，学习率η和贪心率ε，初始化经验池D，

容量为N，初始化Q网络的参数θ，初始化目标Q网络的参数θ^-，初始化状态s并设置训练轮数epi；

c、状态s下，采用贪心策略得到动作a_i，Agent执行动作a，数据环境根据输出故障类型与真实故障对比得到奖励值r，并给出下一个数据状态s′，状

态s′下，采用贪心策略得到动作a′_i；

d、将e_t＝(s,a,r,s′)存放在初始化经验池D中；

e、从D中随机选取k个经验样本(s_j,a_j,r_j,s_j′)，j＝1,2,...,k,k＜N；

f、

对损失函数L(θ)执行梯度下降算法，更新神经网络参数θ，每C次更新目标网络参数θ^-＝θ；

g、循环除初始参数配置以外的上述步骤，直到Q(s,a^·,θ_i)收敛或者达到最大的训练轮数epi，并使用测试集进行模型测试，得到深度强化学习知识系统。

2.根据权利要求1所述的基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，所述步骤S1中，专家知识库数据指：根据专家经验，在无人车行驶过程中，由何种设备或系统故障导致的何种驾驶故障的发生，并以此形成故障数据的输入、输出关系表，构建专家知识库；所述完整的训练样本是指无人车行驶过程中的正常和故障数据。

3.根据权利要求2所述的基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，步骤S3中，解释库的建立过程如下：首先，基于深度强化学习知识系统，以专家知识库中的各故障现象作为输入，输出结果值；然后，根据结果值和专家知识库中的故障类型，建立输出结果和故障类型之间的映射关系表，存储到数据库后完成解释库的建立。

4.根据权利要求3所述的基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，步骤S5中，数据的预处理过程如下：根据不同类型的输入数据，采用不同方法进行数据清洗工作，以随时间线性增长的数据为例，设传感器1输入为D＝{d₁,d₂,d₃,...,d_n}；对D进行缺失值的识别和处理：在R语言里使用函数is.na判别，函数complete.cases识别样本数据是否完整，并采用替换法对缺失值进行替换；对D进行异常值的识别和处理：识别D中远离正常值范围的点，并采用平均值修正的方法处理并替换该异常值；数据清洗结束后将该组数据标记为无人车的待检测数据。

5.根据权利要求4所述的基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，步骤S6中，深度强化学习知识系统故障诊断的流程如下：输入故障数据s到深度强化学习知识系统模型；输出正常或故障的诊断结果r，并将故障标志位flag对应置0或1；当故障标志位flag为0时无故障，为1时输入到解释库，在映射表中查表匹配到故障类型并输出最终的诊断结果，将该结果保存到数据库后推送至用户处理。

6.根据权利要求5所述的基于深度强化学习和专家知识库的无人车故障诊断方法，其特征在于，步骤S9中，更新专家知识库和解释库的流程如下：保存深度强化学习知识系统模型的输入参数组为S_u，保存模型的诊断结果为R_u；更新专家知识库中的故障表项信息，添加故障征兆S_u和对应的故障类型R_u，并将待更新位置1，等待用户确认并更新该条故障记录；更新解释库中的故障映射表信息，添加故障类型R_u和故障名称N_w，并将待更新位置1，等待用户确认并更新该条记录的故障名称N_w。用户完成专家知识库和解释库的更新确认，并进行故障名称设置后，下次该故障数据将会被诊断为对应的故障类型。

Images