CN110222822B - 黑盒预测模型内部特征因果图的构建方法 - Google Patents

Abstract

本发明涉及黑盒预测模型内部特征因果图的构建方法，通过汽车前部的摄像头捕获道路前方的场景图像，将其送入黑盒模型，在将所提取到的场景特征映射为方向盘指令的同时，将特征可视化并以解释图的形式展示特征间的相关关系，最后再通过特征实数化和特征筛选转化为特征因果图，找出产生此指令的原因。该技术将深度学习模型提取到的车前部摄像头所捕获图像的特征映射为车的方向盘控制指令，并给出下达该指令的原因。每一条指令的原因的给出有助于研究者快速发现不符合真实环境的指令或不利于全局优化的指令，通过进一步调整，可以使自动驾驶模型的性能得到大大的提高，为其安全保障提供了解释的依据。

Description

黑盒预测模型内部特征因果图的构建方法

技术领域

本发明涉及黑盒预测模型的可解释性研究领域，着重关注于深度学习模型的内部特征因果图的构建方法。

背景技术

深度学习是机器学习的一个重要分支，它在目标检测、图像分类等问题上都已经取得了较为显著的效果。深度神经网络完成某一特定任务都是通过设定网络层数、每一层对应的神经元个数和激活函数类型等来确定网络结构，再利用大量标签数据进行误差反向传播优化参数，这是一个“端到端”的模型，又叫作黑盒预测模型。然而，在诸如自动驾驶、金融决策、医疗健康等高风险领域，仅仅在预测的准确度方面展现出模型的良好性能是远远不够的，为了提高用户对产品的信任度、加大产品应用范围，了解模型所作出预测的依据是关键步骤之一。因此，有关黑盒预测模型的可解释性的研究在近几年备受关注。

通俗地说，解释预测模型实质是指找出造成模型生成此预测结果的原因。关于深度学习模型可解释性的研究较为经典的方法有：通过类激活映射方法找出特征单元，并以热力图的形式在生成结果中加以展示；在卷积神经网络中，利用反卷积技术生成卷积层所提取到的特征图。除此之外，与本发明联系最紧密的是特征解释图的生成。该技术是将图像数据送入卷积神经网络，在产生预测结果的同时生成一个特征解释图。该解释图的节点来自卷积层所提取到的特征对象，结合卷积层的空间位置确定节点在图中的层数以及边的连接方式。但是，这些可解释性方法很大程度上只能说明特征与预测结果间的相关关系，不足以找出导致预测结果产生的真正原因。

根据以上问题，结合统计学中因果关系发现原理，构建黑盒预测模型的特征因果图是提高可解释性的有效方法之一。特征因果图将呈现相邻层间部分对象特征的因果关系，最后一层的特征节点则是最终对预测结果产生影响的直接原因。该技术可以应用于自动驾驶领域，将深度学习模型提取到的车前部摄像头所捕获图像的特征映射为车的方向盘控制指令，并给出下达该指令的原因。每一条指令的原因的给出有助于研究者快速发现不符合真实环境的指令或不利于全局优化的指令，通过进一步调整，可以使自动驾驶模型的性能得到大大的提高，为其安全保障提供了解释的依据。

发明内容

针对现有技术在黑盒预测模型可解释性方面研究的不足，本发明提出一种用于解释深度学习模型内部特征的方法，并应用于自动驾驶领域。具体而言，通过汽车前部的摄像头捕获道路前方的场景图像，将其送入黑盒模型，在将所提取到的场景特征映射为方向盘指令的同时，将特征可视化并以解释图的形式展示特征间的相关关系，最后再通过特征实数化和特征筛选转化为特征因果图，找出产生此指令的原因。

为实现上述目的，本发明采用如下的技术方案：

一种用于解释深度学习模型内部特征的技术包含以下步骤：

步骤1：搭建深度卷积神经网络(CNN)框架，在将场景图像映射为方向盘指令的过程中，生成场景特征图像；

步骤2：分解特征图中的混合对象，利用部分对象及特征空间位置构建车辆操作指令解释图；

步骤3：对车辆操作指令解释图中的单一对象特征节点进行因果筛选；

步骤4：根据因果关系节点及其所处位置构建车辆操作指令因果图。

具体而言，对于步骤1中的利用深度卷积神经网络实现车辆自动驾驶的具体原理如下：

整个CNN的构建主要包括三个模块：输入/输出模块、卷积模块和全连接模块，如图2所示。

输入模块：存放汽车摄像头所捕获的场景图像；

卷积模块：包含卷积层、池化层和RELU层。

卷积层：针对汽车摄像头所捕获的场景图像(长、宽、深度为256*256*3)，将其与一个5*5*3的卷积模板进行点积运算，卷积模板的深度必须与输入图像的深度相同。生成特征图的个数取决于卷积模板的个数，二者保持相等。原理如下：

卷积操作原理如公式(1)所示：

其中，input指的是汽车摄像头所捕获的场景图像；filter是指网络中设定的卷积模板；feature map则是汽车摄像头所捕获的图像与卷积模板进行点积操作后生成的特征图像。

池化层：设定大小为2*2且每次滑动步长为2的过滤器，对卷积层生成的特征图像进行特征压缩，即在特征图的每一个子区域中寻找最大值，并且只保留最大值特征。

RELU层：将上一层的输出特征送入激活函数f(x)＝max(0，x)中，x则表示池化层的输出特征，目的是在神经网络进行反向传播的时候消除梯度爆炸。

全连接模块：该层设定1024个神经元，将最后一个卷积模块生成的数据送入全连接层，进行加权操作。

输出模块：设定16个神经元，对应16个汽车方向盘的转动方向，与上一层的特征向量进行加权和softmax操作，生成16个概率，概率总和为1。其中，概率最大的神经元对应的汽车方向盘转动方向即为最终预测结果。

根据卷积层生成的特征图像，结合神经网络空间结构建立特征解释图，具体方式为：将一个特征图像视为一个顶点，同一卷积层生成的特征图像视作特征解释图的同一层顶点，顶点之间构建边，边的方向等同于神经网络的传播方向。

对于步骤2中分解特征图像中的混合对象，利用部分对象及神经网络空间结构建立特征解释图的具体说明如下：

在自动驾驶过程中，场景特征图是根据步骤1所产生的，但场景特征图通常包含的都是混合对象模式，即一张场景特征图中可能既包括指示灯又包括测速仪等部分对象。因此，先将最后一个卷积层的特征图中的混合对象模式分解开，形成多个单一的部分对象特征，再自顶向下地寻找前一个卷积层所生成的特征图中的部分对象。在这过程中，将每个部分对象特征视为一个顶点，同一卷积层的部分对象特征视作特征解释图的同一层顶点，顶点之间构建边，边的方向等同于神经网络的传播方向。

解释图的构建步骤如下：

Step1：从层次最深的卷积层开始分解混合特征图中的部分对象模式，建立图的顶层G_L；

Step2：通过顶层的模式/结点进一步分解相邻低卷积层的部分对象模式，构建G_L-1；

Step3：不断迭代，直至第一个卷积层的部分对象模式被分解，构建G₁；

Step4：通过全连接相邻层的顶点构建特征解释图的边，方向为G₁→G_L。

关于步骤3中的对解释图中的部分对象特征节点进行因果筛选的详细说明如下：

步骤3-1：将部分对象特征图用矩阵M表示，矩阵M中的元素值m_pq为部分对象特征图中对应位置的像素值。

步骤3-2：将特征矩阵M通过函数

映射到实数空间，转换原理如公式(2)所示：

其中，M_ij表示第i层的第j个部分对象的特征矩阵；矩阵大小为P×Q，矩阵M_ij中的某个元素记为

表示矩阵M_ij中元素的平均值；r_ij表示矩阵M_ij经过函数

映射所得的实数值；k表示某一层部分特征对象的数量。

步骤3-3：利用非线性最小二乘法拟合相邻层部分对象特征间的函数f，构建形如公式(3)所示的等式：

其中，f_ij(·)表示第i层的第j个部分对象特征数与第i-1层的所有部分对象特征数间的函数关系；

表示第i-1层的所有部分对象特征数；E_ij表示噪音项。

步骤3-4：利用加性噪音模型判定相邻层节点间的因果方向是否与特征所处网络中的空间位置方向相矛盾，若矛盾，则删除原有边，若该节点与前一层的所有结点均无因果关系，则删除该节点。判定因果关系的算法如下：

算法：

其中，g_ij(·)和E_ij′分别是使

等式成立的函数和噪音项；由

到

实质上是等式变形的过程，目的是为得到进行逆向操作后的噪音项E_ij′的分布类型；C_ij为输出数值，若C_ij＝0，表示第i层的第j个部分对象与前一层的部分对象特征无因果关系，反之，则存在因果关系。

附图说明

结合附图和实施例对本发明进一步说明。

图1表示黑盒预测模型特征因果图的构建流程图；

图2表示卷积神经网络结构图；

图3表示特征解释图的生成示意图；

图4表示因果特征筛选流程图；

图5是特征因果图的生成示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明，如图1所示，本实施例提供了一种基于自动驾驶的黑盒预测模型的特征因果图构建，包括以下四个步骤：

步骤1：构建卷积神经网络，实现车辆的自动无人驾驶。它将车辆前端摄像头所捕获的场景图像进行了识别，从而转化为方向盘转动的指令。AlexNet、GoogLeNet等卷积神经网络对图像识别都有着卓越的性能，因此，为了实现车辆的自动驾驶，构建包括输入/输出模块、卷积模块和全连接模块的卷积神经网络是第一步，网络结构如图2所示。其中，最核心的部分是卷积模块，卷积模块包含卷积层、池化层和RELU层，卷积原理如下：

其中，input指的是汽车摄像头所捕获的场景图像；filter是指网络中设定的卷积模板；feature map则是汽车摄像头所捕获的图像与卷积模板进行点积操作后生成的特征图。

步骤2：分解特征图中的混合对象，生成特征解释图。在场景图像经过卷积操作后，会有特征图生成，通常，该特征图中的特征对象均为混合模式，即一张场景特征图中可能有红绿灯、测速仪、斑马线、花草、水滩等多个部分对象。所以，为了便于解释图的构建，先将特征图中的混合对象分解为部分对象，对应于解释图中的节点，即每个节点表示单一对象的特征图，再结合特征所处于网络的位置，全连接相邻层顶点，方向与神经网络传播方向保持一致，如图3所示。

解释图的构建步骤如下：

Step1：从层次最深的卷积层开始分解混合特征图中的部分对象模式，建立图的顶层G_L；

Step2：通过顶层的模式/结点进一步分解相邻低卷积层的部分对象模式，构建G_L-1；

Step3：不断迭代，直至第一个卷积层的部分对象模式被分解，构建G₁。

Step4：通过全连接相邻层的顶点构建特征解释图的边，方向为G₁→G_L。

本发明的主要亮点在于步骤3、4，以车辆操作指令解释图为基础，利用因果筛选技术构建了基于黑盒预测模型的车辆操作指令因果图。车辆操作指令因果图呈现了在某一时刻，车辆接受到的指令与产生该指令的原因。

步骤3：对解释图中的单一对象特征节点进行因果筛选，找出对产生该指令有重大影响的单一对象，比如：汽车接受“减速并在50米后停下”的指令的原因是在特征图中有“红灯”、“测速仪”，而此时“斑马线”、“花草”、“水滩”则可能只是相关因素，而并非原因因素。因果筛选的流程如图4所示。

3-1：单一对象特征图的本质仍然是图像，针对场景图像，最后一个卷积层上对应的部分对象特征在语义上可能表示为红绿灯、测速仪、斑马线、花草、水滩等。因此，为了便于后续利用统计知识进行因果特征筛选，首先得用矩阵M进行表示，矩阵M中的元素值为单一对象特征图中对应位置的像素值。

3-2：除最后一个卷积层外，其他卷积层提取出的部分对象特征可能还不具有明确的语义，因此，为了找出相邻层部分对象特征间的具体函数关系，需要将特征矩阵M通过函数

映射到实数空间，转换原理如下所示：

其中，M_ij表示第i层的第j个单一对象的特征矩阵；矩阵大小为P×Q，矩阵M_ij中的某个元素记为

表示矩阵M_ij中元素的平均值；r_ij表示矩阵M_ij经过函数

映射所得的实数值。

3-3：在前两步对部分特征对象预处理的基础上，利用非线性最小二乘法方法拟合相邻层部分对象特征间的函数f，构建如下形式的等式：

其中，f_ij表示第i层的第j个单一对象特征数与第i-1层的所有部分对象特征数间的函数关系；

表示第i-1层的所有单一对象特征数；E_ij表示噪音项。

3-4：假定相邻层间的部分对象特征均具有因果关系，而网络层次的空间位置是确定的，则决定了相邻层间特征的因果方向。再利用加性噪音模型判定相邻层节点间的因果方向是否与特征所处网络中的空间位置方向相矛盾，若矛盾，则无因果关系，否则，有因果关系。算法如下所示：

算法1：

步骤4：生成基于车辆自动驾驶的特征因果图。根据步骤3中判定相邻层间部分特征对象的因果关系结果，将有因果关系的相邻层节点的连接边保留，无因果关系的相邻层节点的连接边删除。若该节点与前一层的所有节点均无因果关系，则删除该节点。特征因果图的生成示意图如图5所示。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样性的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须依据权利要求范围来确定其技术性范围。

Claims (1)

1.黑盒预测模型内部特征因果图的构建方法，其特征在于包含以下步骤：

步骤1：搭建深度卷积神经网络CNN框架，在将场景图像映射为方向盘指令的过程中，生成场景特征图像；

步骤2：分解场景特征图像中的混合对象，利用部分对象及特征空间位置构建车辆操作指令解释图；

步骤3：对车辆操作指令解释图中的部分对象特征节点进行因果筛选；

步骤4：根据因果关系节点及其所处位置构建车辆操作指令因果图；

对于步骤1中整个CNN的构建包括三个模块：输入/输出模块、卷积模块和全连接模块；

输入模块：存放汽车摄像头所捕获的场景图像；

卷积模块：包含卷积层、池化层和RELU层；

卷积层：针对汽车摄像头所捕获的场景图像，场景图像长、宽、深度为256*256*3，将其与一个5*5*3的卷积模板进行点积运算，卷积模板的深度必须与输入图像的深度相同；生成特征图的个数取决于卷积模板的个数，二者保持相等；

原理如下：

卷积操作原理如公式(1)所示：

其中，input指的是汽车摄像头所捕获的场景图像；filter是指网络中设定的卷积模板；feature map则是汽车摄像头所捕获的图像与卷积模板进行点积操作后生成的特征图像；

池化层：设定大小为2*2且每次滑动步长为2的过滤器，对卷积层生成的特征图像进行特征压缩，即在特征图的每一个子区域中寻找最大值，并且只保留最大值特征；

RELU层：将上一层的输出特征送入激活函数f(x)＝max(0,x)中，x则表示池化层的输出特征，目的是在神经网络进行反向传播的时候消除梯度爆炸；

全连接模块：该模块设定1024个神经元，将最后一个卷积模块生成的数据送入全连接层，进行加权操作；

输出模块：设定16个神经元，对应16个汽车方向盘的转动方向，与上一层的特征向量进行加权和softmax操作，生成16个概率，概率总和为1；其中，概率最大的神经元对应的汽车方向盘转动方向即为最终预测结果；

根据卷积层生成的特征图像，结合神经网络空间结构建立特征解释图，具体方式为：将一个特征图像视为一个顶点，同一卷积层生成的特征图像视作特征解释图的同一层顶点，顶点之间构建边，边的方向等同于神经网络的传播方向；

对于步骤2中分解特征图像中的混合对象，利用部分对象及神经网络空间结构建立特征解释图的具体说明如下：

在自动驾驶过程中，场景特征图是根据步骤1所产生的，但场景特征图通常包含的都是混合对象模式，即一张场景特征图中既包括指示灯又包括部分对象；因此，先将最后一个卷积层的特征图中的混合对象模式分解开，形成多个单一的部分对象特征，再自顶向下地寻找前一个卷积层所生成的特征图中的部分对象；在这过程中，将每个部分对象特征视为一个顶点，同一卷积层的部分对象特征视作特征解释图的同一层顶点，顶点之间构建边，边的方向等同于神经网络的传播方向；

解释图的构建步骤如下：

Step1：从层次最深的卷积层开始分解混合特征图中的部分对象模式，建立图的顶层G_L；

Step2：通过顶层的模式/节点进一步分解相邻低卷积层的部分对象模式，构建G_L-1；

Step3：不断迭代，直至第一个卷积层的部分对象模式被分解，构建G₁；

Step4：通过全连接相邻层的顶点构建特征解释图的边，方向为G₁→G_L；

关于步骤3中的对解释图中的部分对象特征节点进行因果筛选的详细说明如下：

步骤3-1：将部分对象特征图用矩阵M表示，矩阵M中的元素值m_pq为部分对象特征图中对应位置的像素值；

步骤3-2：将特征矩阵M通过函数

映射到实数空间，转换原理如公式(2)所示：

其中，M_ii表示第i层的第j个部分对象的特征矩阵；矩阵大小为P×Q，矩阵M_ij中的某个元素记为

表示矩阵M_ij中元素的平均值；r_ij表示矩阵M_ij经过函数

映射所得的实数值；k表示某一层部分特征对象的数量；

步骤3-3：利用非线性最小二乘法拟合相邻层部分对象特征间的函数f，构建形如公式(3)所示的等式：

其中，f_ij(·)表示第i层的第j个部分对象特征数与第i-1层的所有部分对象特征数间的函数关系；

表示第i-1层的所有部分对象特征数；E_ij表示噪音项；

步骤3-4：利用加性噪音模型判定相邻层节点间的因果方向是否与特征所处网络中的空间位置方向相矛盾，若矛盾，则删除原有边，若该节点与前一层的所有节点均无因果关系，则删除该节点；判定因果关系的算法如下：

算法：

其中，g_ij(·)和E_ij′分别是使

等式成立的函数和噪音项；由

到

实质上是等式变形的过程，目的是为得到进行逆向操作后的噪音项E_ij′的分布类型；C_ij为输出数值，若C_ij＝0，表示第i层的第j个部分对象与前一层的部分对象特征无因果关系，反之，则存在因果关系。

Images