CN110533159B - 一种基于介科学指导提高深度学习数据集质量及模型可解释性的方法 - Google Patents

Abstract

本发明属于人工智能领域，涉及一种通过应用介科学方法论提高深度学习数据集质量及模型可解释性的方法。本发明的实施流程为：界定物理系统、建立每个物理系统的介尺度模型、建立所处理对象的完整物理模型、建立对象特征与物理属性之间的关联、为对象特征建立一维标签、建立训练集和测试集、使用深度学习进行建模、利用训练模型进行预测、解释训练模型。与现有的深度学习方法相比，由于与所处理对象的物理模型相关联，本发明具有所需数据集较小、所建模型的可解释性较好等优点。

Description

一种基于介科学指导提高深度学习数据集质量及模型可解释 性的方法

技术领域

本发明属于人工智能领域，涉及一种通过应用介科学方法论提高深度学习数据集质量及模型可解释性的方法。

背景技术

深度学习技术由人工神经网络技术发展而来。该技术以人工神经网络技术为基础，通过大幅度增加节点数目、隐藏层数目，对网络构型和计算算法进行改进，极大地提升了对复杂对象建模的能力。然而，由于节点、隐藏层数目的增加和网络构型的多样性导致变量数目的急剧增加和数学模型复杂程度的提高，在提升模型精度的同时，深度学习对数据集样本数的需求也大大增加，从而导致了建模时间开销和计算资源需求的大为增加。这是深度学习技术的缺点之一。

用户应用深度学习技术处理具体对象时，是将该技术作为一个数学工具来使用的，并没有与所处理具体对象的物理内容直接关联。对于要解决的具体问题，深度学习网络就是一个“黑箱”：在寻优建模过程中，该技术忽略输入、输出数据的实际物理意义；即使显式地写出所得到模型的数学表达式，也难以解释其物理内涵，因为该模型中的参量不是对应物理系统状态空间的参量。这是目前深度学习技术的另一个主要缺点，即模型的可解释性差；而模型的可解释性差也就导致模型的普适性差。

深度学习技术的上述缺点将会成为深度学习技术发展的瓶颈，制约人工智能的进一步发展和应用。然而，由于这些缺点源自深度学习技术的基本原理和基本方法，仅靠网络构型的创新、算法的优化、激励函数的改变等，难以从本质上克服这些缺点。

起源于化工领域的介科学为克服上述困难提供了可能的途径。按照介科学的观点，系统的复杂性存在于介区域中的介尺度上，表现为状态空间内的时空非均匀结构；复杂性来自两种或以上主导机制的竞争与协调，主导机制的具体表达与系统有关，也与系统所处的层次有关。将介科学方法论应用到深度学习技术中，克服深度学习技术的上述困难，是本发明的思路。

发明内容

本发明的目的是，针对目前深度学习技术要求数据集的样本数必须很大，获得的模型可解释性差等缺点，提出一种应用介科学指导提高深度学习数据集质量及模型可解释性的方法。

本发明的技术方案是，一种应用介科学指导提高深度学习数据集质量及模型可解释性的方法，其特征在于，基于所处理对象的物理内容，提炼主导机制，建立介尺度模型，将介尺度模型与深度学习过程相关联，提升深度学习模型的可解释性，并减少训练集的样本数需求，包括以下步骤：

1、界定物理系统──分析所处理的对象所对应的所有物理系统，确定每个物理系统的单元尺度、系统尺度，从而明确其介尺度；

2、建立每个物理系统的介尺度模型──分析每个物理系统中的不同过程对该系统中介尺度结构的影响趋势，据此提炼出导致极端介尺度结构的主导机制，以及每个主导机制独立发挥主导作用的操作区域。由于介区域中实际复杂介尺度结构基于这些极端介尺度结构，由这些极端介尺度结构的主导机制构建出多目标优化或多目标变分表达，作为该系统介区域介尺度结构的稳定性条件。结合其他物理守恒关系，进一步构建出该系统的介区域介尺度模型。同时，对于单个主导机制独立发挥主导作用的操作区域，由该主导机制结合其他物理守恒关系，构建出该系统在该区域的介尺度模型；

3、建立所处理对象的完整物理模型──如果所处理的对象包含不止一个物理系统，则在建立每个物理系统的介尺度模型的基础上，通过参数传递或尺度衔接，构建出描述所处理对象的完整物理模型；

4、建立对象特征与物理属性之间的关联──基于上述完整物理模型，在蕴含对象特征的实验或模拟结果与上述完整物理模型的物理参量之间建立关联，同时也在上述完整物理模型的不同物理参量之间建立关联。具体做法是，在指定操作条件下进行实验或模拟，或者获得已有实验或模拟结果的操作条件，然后利用上述完整物理模型计算出同样操作条件下所处理对象的各项物理属性数值，从而建立实验或模拟结果与物理属性之间的关联，也同时建立不同物理属性之间的关联；

5、为对象特征建立一维标签──基于上述对象特征与物理属性之间的关联，选择一种属性作为对象特征的标签，该属性应与对象特征之间存在一一对应关系；

6、建立训练集和测试集──按上述标签对应的属性，离散选取该属性取不同数值时所对应的实验或模拟结果，构成训练集和测试集。在系统行为复杂的介区域选取该属性取值间隔较小、较为密集的离散点，在单机制主导的其他系统行为简单的区域则所选取离散点之间的间隔可较大，甚至每个区域只选取一个点。对于每个离散点，优先选取连续时间序列的结果作为训练集和测试集的数据；

7、使用深度学习进行建模──利用上述训练集和测试集进行深度学习，建立输入数据与标签之间的关联模型；

8、利用训练模型进行预测──对于训练集和测试集以外的实验或模拟结果数据，使用上述深度学习建立的模型进行预测，得到与标签关联的属性的最终数值；

9、解释训练模型──依据标签所对应属性的物理意义，解释预测结果，认识输入数据与标签所对应属性之间的关联；并基于前述建立的不同物理属性之间的关联，获得其他物理属性的数值，认识输入数据与其他物理属性之间的关联。

与现有的深度学习方法相比，由于与所处理对象的物理模型相关联，本发明具有所需数据集较小、所建模型的可解释性较好等优点。首先，训练集和测试集数据的选取具有很高的自觉性，即依据物理模型所描绘的特征-属性关系来选取离散的关键数据，比如在系统行为复杂的介区域数据采样的间隔较小，而在其他系统行为简单的区域则数据采样的间隔可以很大。这避免了盲目组织训练集和测试集时导致的数据冗余或样本不足，不但提高了建立训练集和测试集的效率，同时也提高了训练集和测试集数据的代表性和有效性，减少了训练集和测试集的数据量，从而可以有效缩短深度学习建模的时间，降低深度学习建模对计算资源的需求。其次，由于依据物理模型，建立了特征与物理属性之间的关联，也建立了不同物理属性之间的关联，所以预测结果可以与多种物理属性相对应，提高了所建模型的可解释性。

附图说明

本发明的应用介科学指导提高深度学习数据集质量及模型可解释性方法的实施流程图。

具体实施方式

实施例1：基于二维模拟图像识别三维气-固流动系统所处流域及其平均空隙率

首先，确定气-固流动系统的单元为单个固体颗粒，所处理问题只包含一个系统，其中的介尺度为颗粒聚团尺度。该系统中的极端介尺度结构有两种：一是颗粒聚团尺寸大至系统尺寸，即固定床，对应的主导机制是平均空隙率趋于最小值；另一种是颗粒聚团尺寸小至单元尺寸，即稀相输送，对应的主导机制是用于悬浮和输送单位体积床层内颗粒的能量消耗速率趋于最小值。处于固定床和稀相输送之间的介区域是流化床，其稳定性条件是用于悬浮和输送单位质量颗粒的能量消耗速率趋于最小值，是上述两个主导机制之间竞争中协调的结果。由此，结合物理守恒关系，建立起所处理问题的完整物理模型，即EMMS(能量最小多尺度)模型。然后，按此物理模型，计算出物理属性随操作条件的变化曲线，比如恒定颗粒流量和材料性质时床层中平均空隙率随表观气速的变化曲线。依此曲线，在流化床区域取10个离散点，在固定床区域取1个离散点，在稀相输送区域取1个离散点，以平均空隙率数值建立12个标签。按上述每个离散点对应的操作条件分别进行直接数值模拟，模拟达到稳态时，对每个离散点以500微秒的时间间隔，连续采集100帧纵剖面二维图像，其中80帧作为训练集，20帧作为测试集。对12个离散点共得到1200帧图像，其中960帧构成训练集，240帧构成测试集。随后，以上述训练集和测试集训练一个20层卷积神经网络，采用均方误差损失函数和Adam优化器，得到平均空隙率与模拟图像数据的关联模型。最后，随机设定一个操作条件进行直接数值模拟，模拟达到稳态时，随机采集10帧纵剖面二维图像，由上述训练出的模型进行识别，得到最终预测的平均空隙率，再对应到平均空隙率随表观气速的变化曲线上，得到表观气速数值。

实施例2：基于二维实验图像识别三维气-固流动系统所处流域及其平均空隙率

首先，确定气-固流动系统的单元为单个固体颗粒，所处理问题只包含一个系统，其中的介尺度为颗粒聚团尺度。该系统中的极端介尺度结构有两种：一是颗粒聚团尺寸大至系统尺寸，即固定床，对应的主导机制是平均空隙率趋于最小值；另一种是颗粒聚团尺寸小至单元尺寸，即稀相输送，对应的主导机制是用于悬浮和输送单位体积床层内颗粒的能量消耗速率趋于最小值。处于固定床和稀相输送之间的介区域是流化床，其稳定性条件是用于悬浮和输送单位质量颗粒的能量消耗速率趋于最小值，是上述两个主导机制之间竞争中协调的结果。由此，结合物理守恒关系，建立起所处理问题的完整物理模型，即EMMS(能量最小多尺度)模型。然后，按此物理模型，计算出物理属性随操作条件的变化曲线，比如恒定颗粒流量和材料性质时床层中平均空隙率随表观气速的变化曲线。依此曲线，在流化床区域取8个离散点，在固定床区域取1个离散点，在稀相输送区域取1个离散点，以平均空隙率数值建立10个标签。对上述每个离散点对应的操作条件分别进行实验，实验达到稳态时，对每个离散点以1秒的时间间隔，在反应器高度的下1/3处，连续采集50帧横截面二维CT(计算机断层扫描)图像，其中40帧作为训练集，10帧作为测试集。对10个离散点共得到500帧图像，其中400帧构成训练集，100帧构成测试集。随后，以上述训练集和测试集训练一个15层卷积神经网络，采用均方误差损失函数和Adam优化器，得到平均空隙率与实验图像数据的关联模型。最后，随机设定一个操作条件进行实验，实验达到稳态时，在反应器高度的下1/3处，随机采集5帧横截面二维CT图像，由上述训练出的模型进行识别，得到最终预测的平均空隙率，再对应到平均空隙率随表观气速的变化曲线上，得到表观气速数值。

Claims (1)

1.一种应用介科学指导提高深度学习数据集质量及模型可解释性的方法，其特征在于，基于三维气-固流动系统的介尺度结构，提炼主导机制，建立介尺度模型，将介尺度模型与深度学习过程相关联，提升深度学习模型的可解释性，并减少训练集的样本数需求；

其中，所述介尺度为颗粒聚团尺度；

所述的应用介科学指导提高深度学习数据集质量及模型可解释性的方法，包括以下步骤：

(1)分析所述三维气-固流动系统所对应的所有物理系统，确定每个物理系统的单元尺度、系统尺度，从而明确其介尺度；

(2)分析步骤(1)获得的每个物理系统中的不同过程对该系统中介尺度结构的影响趋势，据此提炼出导致极端介尺度结构的主导机制，以及每个主导机制独立发挥主导作用的操作区域；由于介区域中实际复杂介尺度结构基于这些极端介尺度结构，由这些极端介尺度结构的主导机制构建出多目标优化或多目标变分表达，作为该系统介区域介尺度结构的稳定性条件；结合其他物理守恒关系，进一步构建出该系统的介区域介尺度模型；同时，对于单个主导机制独立发挥主导作用的操作区域，由该主导机制结合其他物理守恒关系，构建出该系统在该区域的介尺度模型；

(3)如果步骤(1)所述三维气-固流动系统包含不止一个系统，则在步骤(2)建立每个系统的介尺度模型的基础上，通过参数传递或尺度衔接，构建出描述步骤(1)所处理对象的完整物理模型；

(4)基于步骤(3)建立的完整物理模型，在蕴含步骤(1)所述三维气-固流动系统的特征的实验或模拟结果与步骤(3)建立的完整物理模型的物理参量之间建立关联，同时也在步骤(3)建立的完整物理模型的不同物理参量之间建立关联具体做法是，在指定操作条件下对步骤(1)所述三维气-固流动系统进行实验或模拟，或者获得步骤(1)所述三维气-固流动系统的已有实验或模拟结果的操作条件，然后利用步骤(3)建立的完整物理模型计算出同样操作条件下步骤(1)所述三维气-固流动系统的各项物理属性数值，从而建立步骤(1)所述三维气-固流动系统的实验或模拟结果与该所述三维气-固流动系统物理属性之间的关联，也同时建立该所述三维气-固流动系统不同物理属性之间的关联；

(5)基于步骤(4)建立的所述三维气-固流动系统的特征与物理属性之间的关联，选择一种属性作为对象特征的标签，该属性应与所述三维气-固流动系统的特征之间存在一一对应关系；

(6)按步骤(5)选定标签对应的属性，离散选取该属性取不同数值时所对应的实验或模拟结果，构成训练集和测试集；在系统行为复杂的介区域选取该属性取值间隔较小、较为密集的离散点，在单机制主导的其他系统行为简单的区域则所选取离散点之间的间隔可较大，甚至每个区域只选取一个点；对于每个离散点，优先选取连续时间序列的结果作为训练集和测试集的数据；

(7)利用步骤(6)建立的训练集和测试集进行深度学习，建立输入数据与标签之间的关联模型；

(8)对于训练集和测试集以外的实验或模拟结果，使用步骤(7)建立的深度学习模型进行预测，得到与标签关联的属性的最终数值；

(9)基于步骤(5)，依据标签所对应属性的物理意义，解释预测结果，认识输入数据与标签所对应属性之间的关联；并基于步骤(4)建立的不同物理属性之间的关联，获得其他物理属性的数值，认识输入数据与其他物理属性之间的关联。

Images