CN114330109A - 无人驾驶场景下深度强化学习模型的可解释性方法及系统 - Google Patents

Abstract

本发明涉及模型学习领域，具体涉及一种无人驾驶场景下深度强化学习模型的可解释性方法及系统。该方法及装置选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的强化学习模型，对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型。以至少解决现有技术不能精准分析图片各个特征对模型决策的影响的技术问题。

Description

无人驾驶场景下深度强化学习模型的可解释性方法及系统

技术领域

本发明属于模型学习领域，尤其涉及一种无人驾驶场景下深度强化学习模型的可解释性方法及系统。

背景技术

无人驾驶场景下深度强化学习模型的可解释性技术实现了对无人驾驶场景下的不透明模型的解释，内置了无人驾驶场景下的深度强化学习模型问题和解释问题的解决算法和优化方案，向用户解释并可视化了无人驾驶环境中模型的运行与决策过程中的重要因素。其中深度强化学习模型主要涉及在无人驾驶环境下，为了智能体进行自主决策而进行的各种深度强化学习算法(DeepReinforcementLearning，DRL)的选择。可解释的人工智能(ExplainableAI,XAI)作为一项人工智能新兴领域，主要是对各种AI算法模型进行解释与可视化。而可解释强化学习(ExplainableReinforcementLearning，XRL)则是XAI技术中的一个分支，通过一系列手段对强化学习模型进行解释，其中包括对目前和深度学习相结合的深度强化学习的解释，并以用户可理解的文本或者图片的格式进行可视化，呈现给用户。

DRL是深度学习与强化学习结合的算法，结合了深度学习的感知能力和强化学习的决策能力，并得到了更深层次的发展，包括基于值函数(value-based)的DRL、基于策略(policy-based)的DRL、基于模型的(model-based)DRL、基于分层(hierarchical-based)的DRL等。

XRL则是可解释强化学习，用该技术对DRL进行解释与可视化，XRL技术分类如下：

(1)根据提取信息的时间分为：内在解释的(intrinsicinterpretability)，内在解释在训练时被构造成内在可解释或本身就是可解释的，比如决策树；事后解释(post-hocinterpretability)，事后解释是通过在训练后通过创建第二个更简单的模型或者扰动法等其他操作，从而为原始模型提供解释，替代模型或显著图比较典型。

(2)根据解释的范围分为：全局解释(globalinterpretability)和局部解释(localinterpretability)，全局解释整个、一般的模型行为，而局部解释为特定的决策提供解释。在实践中很难实现全局模型的可解释性，尤其是对于超出少数参数的模型。因此局部可解释性可以更容易地应用。解释做出特定决定或单一预测的原因意味着可解释性在局部发生。通常，使用这种可解释性的方式来生成单独的解释，以说明为什么模型为实例做出特定决策的理由。

深度强化学习模型的可解释性技术是无人驾驶、计算机领域的重点问题。XRL作为XAI的子领域，尚未得到广泛研究。现在对深度强化学习的研究方向是事后解释(post-hocinterpretability)，既有全局解释(globalinterpretability)，也有局部解释(localinterpretability)。虽然XRL起步较晚，但是目前也有几个典型研究在事后解释(post-hocinterpretability)也有几个典型研究。同时XAI中针对其他的人工智能模型的解释性算法也可以利用到DRL的解释中。

事后解释(post-hocinterpretability)：2018年，Greydanus等人在ICML论文上提出显著图法(Saliencymap)这是基于扰动的方法，对输入直接进行扰动。通过对区域性的高斯模糊，对比正常图片与模糊图片经过网络时的差值，模糊区域在图片上进行滑动，从而遍历整张图片，得到多个差值。其中差值大的区域对智能体决策起到重要作用，得出DRL学习的关键区域。但是现有的基于扰动的计算显着性的方法通常会突出显示与代理所采取的动作无关的输入区域。2020年，Nikaash等人在ICLR论文中提出的方法SARFA(特定和相关特征归因)通过平衡两个方面(特殊性和相关性)来生成更加突出的显着性图，这两个方面捕获了不同的显着性需求。第一个记录了摄动对将要解释的动作的相对预期回报的影响。第二部分权衡了不相关的特征，这些特征改变了将要解释的动作以外的动作的相对预期回报。也可以通过训练第二个可解释模型来逼近原来的黑匣子模型，2016年，Ribeiro等人在SIGKDD论文中提出了LIME算法，训练了一个线性可解释的模型来逼近原来的分类网络，从而对卷积(CNN)分类网络进行了解释，同时该方法也用到了对图片进行的扰动。

现有的关于深度强化学习模型的可解释性技术都是基于扰动技术和训练可解释模型逼近来实现，但是目前提出的方法都有局限性并有极大的改进空间，并且在解释范围不能量化或解释速度低，不能更好地为深度强化学习模型提供合理的解释。现有的算法局限性也不能很好地满足实际应用对解释性算法的需求。

通过扰动输入进行解释的显著图算法(Saliencymap)需要将输入图片按照一定间隔对图片进行区域高斯模糊，每模糊一次都要将模糊的图片输入网络，将得到的值与原图片进入网络得到的值取差值，从而得到该区域对模型决策的影响程度，这样通过均匀模糊不容易得到图片中特定特征对模型决策的影响，当模糊范围小，时不能覆盖整个特征，只能是该特征某一部分对决策的影响；当模糊范围比较大时，容易覆盖多个特征，不能得到某一个特征对模型决策的影响，不利于精准分析图片各个特征对模型决策的影响；

而训练简单模型逼近复杂模型的LIME算法，通过使用简单的模型来对复杂的分类网络进行逼近，利用简单的一维线性模型，将输入图片进行一维量化以及扰动后，对原模型进行逼近。最后可以通过查看线性模型的系数大小来对模型进行解释。该方法可以很好地解释输入图片的特征对模型决策的影响。但是LIME一次只会对一个样本进行解释，并且每次都需要新建立一个模型，这种算法虽然比较通用且准确，但是用起来花费时间较长，并且很难将数据利用在网络的更新上，并且在场景变换快、速度要求高的场景中不是非常适用。

发明内容

本发明实施例提供了一种无人驾驶场景下深度强化学习模型的可解释性方法及系统，以至少解决现有技术不能精准分析图片各个特征对模型决策的影响的技术问题。

根据本发明的一实施例，提供了一种无人驾驶场景下深度强化学习模型的可解释性方法，包括以下步骤：

选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的强化学习模型；

对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型。

进一步地，对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型包括：

首先通过模型与环境交互得到状态图像，通过超像素分割将图片根据特征分为固定的块数，通过对不规则区域的高斯模糊的方法依次分别模糊得到图像集；

之后将图像集与原图分别输入网络，得到原图与模糊图像的决策值，两者做差，得到差值矩阵；

将差值矩阵通过上采样，使得矩阵大小等于输入图像的大小，并将差值矩阵的值乘以预设的倍数叠加到原图中。

进一步地，选择深度强化学习中的A3C作为无人驾驶中的智能体自主决策的算法。

进一步地，无人驾驶环境选择carla仿真环境，选择合适的场景，选择图片作为输入。

进一步地，对强化学习模型输入无人驾驶场景下拍摄的图片之前还包括：对无人驾驶场景下拍摄的图片进行预处理。

进一步地，对无人驾驶场景下拍摄的图片进行预处理包括：

将输入图片转换成进行解释时所需要的形式：将无人驾驶环境中合适的图像特征找出来并进行分割，利用最小的分割块数来囊括无人驾驶环境中所需要的特征。

进一步地，图像分割将具有相似纹理、颜色、亮度特征的相邻像素构成有视觉意义的不规则像素块，并用少量像素来代替大量像素；其中图像模糊为每一个像素都取周边像素的平均值。

进一步地，使用显著图算法对图片进行特征的划分及进行特征影响力的量化分析。

进一步地，该方法还包括：

以用户易理解的形式将解释的内容展现给用户。

根据本发明的另一实施例，提供了一种无人驾驶场景下深度强化学习模型的可解释性系统，包括：

网络模型模块，用于选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的强化学习模型；

解释性算法模块，用于对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型。

本发明实施例中的无人驾驶场景下深度强化学习模型的可解释性方法及系统，选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的强化学习模型，对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明无人驾驶场景下深度强化学习模型的可解释性方法及系统的整体设计框架图；

图2为本发明无人驾驶场景下深度强化学习模型的可解释性方法及系统的工作流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明为一款新颖的XRL算法，针对深度强化学习模型，为其决策的解释与可视化提供的在快速与准确的解决方案；对输入图片中确定的特征对模型决策的影响进行量化；为提高速度，减少每张图片的超像素块数；为设计出通用的适应各种实际场景的可解释性算法，在设计过程中不依赖某种特定的模型，所以本发明提出的XRL是不依赖于某一模型(Model-free)，并且适应实际出现的场景问题，XRL还应具备一定的灵活性和扩展性，以便能适应特征数不同的各个场景。

本发明要解决的问题是利用超像素(Superpixel)分割、高斯模糊(GaussianBlur)、显著性图(Saliencymap)、深度强化学习(Deepreinforcementlearning)等算法解决无人驾驶场景下深度强化学习模型不可知问题及其延伸问题，通过解释性算法使用户了解决策过程中的有利因素以及不利因素，并通过良好的人机交互形式展现给用户。为用户呈现智能体的决策依据，增加用户对无人驾驶模型的信任度。

本发明技术方案的基本内容包括如下：

1.设计通用的解释性算法，对深度强化学习每个系列算法都适用；

2.针对解释性算法过程中的输入图像预处理的设计；

3.通过网络与预处理图像进行对决策影响的解释；

4.将解释内容通过可视化技术对用户展现。

无人驾驶场景下深度强化学习模型的可解释性方法及系统整体设计框架由3部分组成：网络模型部分、解释性算法部分、网络改进部分，如图1所示。

(1)网络模型部分

网络模型部分包含了在无人驾驶场景下的深度强化学习算法的选择、场景的设计与模型训练。

本发明需要事先选择合适的仿真环境以及适合的深度强化学习算法，通过比较，选择深度强化学习中的A3C(Asynchronousadvantageactor-critic)作为无人驾驶中的智能体自主决策的算法。无人驾驶环境选择carla仿真环境，选择合适的场景，选择图片作为输入：然后通过训练，最后得到收敛的强化学习模型，此时就得到了本发明所需的接下来进行解释的模型。

(2)解释性算法部分

解释性算法部分包括图片预处理、显著图运算(求解差值矩阵)、可视化等模块。

其中，图片预处理的结果将有利于显著图算法(Saliencymap)模块的运行以及特征的划分，有利于解释性算法对特征影响力的量化分析；显著图算法(Saliencymap)模块则将计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，从而得到模型的决策过程中的重要因素；可视化模块通过以用户易理解的形式将解释的内容展现给用户。

(3)网络改进部分

通过解释的信息，加强有用的信息，隔离不重要的信息，使得网络效果更好，并进一步验证解释的效果。

无人驾驶场景下深度强化学习模型的可解释性方法及系统需要满足三项基本要求：

(1)无人驾驶场景。场景尽量丰富，接近真实情况，并得到收敛的深度强化学习模型。

(2)解释性算法，预处理部分尽可能使得图片分出的特征数量合适。

(3)显著图的区域要尽量收敛，不要过于分散。

基于此三项要求，本发明设计了无人驾驶场景下深度强化学习模型的可解释性方法及系统的工作流程，如图2所示。

当本发明得到所需要的模型后，便要开始对模型进行解释，首先通过模型与环境交互得到状态图像，通过超像素(Superpixel)分割将图片根据特征分为固定的块数，之后通过对不规则区域的高斯模糊(GaussianBlur)的方法依次分别模糊得到图像集。之后将图像集与原图分别输入网络，这样就得到了原图与模糊图像的决策值，两者做差，得到差值矩阵。将差值矩阵通过上采样，使得矩阵大小等于输入图像的大小，并将差值矩阵的值乘以一定的倍数叠加到原图中，从而以显著图的形式展现给用户。之后得到显著性增强有意义部分的区域，得到改进网络模型的目的。

其中XRL的图像预处理问题，是XRL进行分析的前提，将输入图片转换成本发明进行解释时所需要的形式，可以描述为：将无人驾驶环境中合适的图像特征找出来并进行分割，可以将一些不重要或者说比较小的特征不分割，利用最小的分割块数来囊括无人驾驶环境中所需要的特征，从而大大减少耗费的时间，从而达到了所效果。本发明使用的基于超像素分割以及高斯模糊预处理算法，很好地实现了对输入图像主要特征的分割以及不规则特征的高斯模糊，是较好的可用于深度强化学习模型解释的预处理方法。

图像预处理遵循传统的图像处理算法过程：图像分割将具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块，并用少量像素来代替大量像素。图像模糊可以理解为每一个像素都取周边像素的平均值。

该解释性算法特点是在每个解释过程中对特征的重要性进行了量化，并分别对决策有正负两个，因此，将只描述与传统解释性算法不同的部分：

不规则区域的模糊：图片的模糊部分是消除部分特征，使得图像与原图在特征上有所区别，方便后续进行与原图得到的策略进行对比，关于模糊的地方需要注意的是模糊处尽量与未模糊处平滑过渡，以免模糊部分与未模糊之间过于明显的边界对模型的决策造成影响。

特征解释：将图片按照特征区域进行处理，得到了特征区域对模型决策影响程度并进行了量化，通过归一化处理，使得各个特征有了对比性，并且计算每个特征对决策的正向的影响和负向的影响，得到的数据有利于接下来对模型的更新。

根据解释对模型进行改进：得到的解释，可以知道模型正常运行过程中，有利因素是哪些，不利因素是哪些。同时当模型出错时，也可以了解到具体是输入图像的哪一个特征造成了系统决策失败。通过这些信息从而可以对模型进行改进。

本发明的关键点和欲保护点至少在于：

1.XRL整体设计方案；

2.图像预处理方法可视化；

3.基于可解释性的深度强化学习模型改进算法。

本发明针对无人驾驶场景下深度强化学习模型的可解释性场景，以解决该场景下DRL模型不透明问题，对其决策进行解释，并提供可视化得人机交互界面，在一定程度上解释了深度强化学习模型的可解释性问题，增加用户的信任度问题，同时为模型的改进提供了依据。本发明主要体现了以下优点：

对输入图片特征对模型决策的影响进行量化以及对比，得到重要特征；

解释系统以为由模块化组成，具有灵活性高，扩展性好等特点；

在图像预处理阶段可以将图像特征进行不规则区域进行平滑模糊化，使得模糊区域与未模糊区域平滑交接；

可以通过解释的内容，对深度强化学习模型进行进一步的改进，这是目前解释系统和模型改进系统所未涉及的部分。

以无人驾驶环境为实验平台，验证了XRL及模型改进方案，验证了XRL算法，并通过仿真平台可视化算法使得用户了解了模型决策依据，并根据该依据进行模型的改进。

本发明替换方案至少为：

1.XRL系统具有可扩展性，可任意组合扩展模块，以便符合客户需求。例如增加或者变更图片预处理过程、改变图片的扰动方式、改变差值计算方法等。

2.提出通过解释性改进模型，增强正向特征，抑制负面特征，实现模型改进。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，包括以下步骤：

选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的强化学习模型；

对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型。

2.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型包括：

首先通过模型与环境交互得到状态图像，通过超像素分割将图片根据特征分为固定的块数，通过对不规则区域的高斯模糊的方法依次分别模糊得到图像集；

之后将图像集与原图分别输入网络，得到原图与模糊图像的决策值，两者做差，得到差值矩阵；

将差值矩阵通过上采样，使得矩阵大小等于输入图像的大小，并将差值矩阵的值乘以预设的倍数叠加到原图中。

3.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，选择深度强化学习中的A3C作为无人驾驶中的智能体自主决策的算法。

4.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，无人驾驶环境选择carla仿真环境，选择合适的场景，选择图片作为输入。

5.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，对强化学习模型输入无人驾驶场景下拍摄的图片之前还包括：对无人驾驶场景下拍摄的图片进行预处理。

6.根据权利要求5所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，对无人驾驶场景下拍摄的图片进行预处理包括：

将输入图片转换成进行解释时所需要的形式：将无人驾驶环境中合适的图像特征找出来并进行分割，利用最小的分割块数来囊括无人驾驶环境中所需要的特征。

7.根据权利要求6所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，图像分割将具有相似纹理、颜色、亮度特征的相邻像素构成有视觉意义的不规则像素块，并用少量像素来代替大量像素；其中图像模糊为每一个像素都取周边像素的平均值。

8.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，使用显著图算法对图片进行特征的划分及进行特征影响力的量化分析。

9.根据权利要求1所述的无人驾驶场景下深度强化学习模型的可解释性方法，其特征在于，所述方法还包括：

以用户易理解的形式将解释的内容展现给用户。

10.一种无人驾驶场景下深度强化学习模型的可解释性系统，其特征在于，包括：

网络模型模块，用于选择合适的仿真环境以及适合的深度强化学习算法，通过训练得到收敛的强化学习模型；

解释性算法模块，用于对强化学习模型输入无人驾驶场景下拍摄的图片，对图片进行特征的划分及进行特征影响力的量化分析，计算各个特征对模型决策的影响程度，并得到相应的差值矩阵，得到改进型网络模型。

Images