CN114492741A - 一种深度贝叶斯网络建模训练方法 - Google Patents

Abstract

本发明属于人工智能技术领域，公开的一种深度贝叶斯网络建模训练方法，采用分析对象的特征初步确定贝叶斯网络的模型节点，确定为用深度神经网络获得的特征向量替换的深度节点；将样本数据分为训练集和测试集确定深度神经网络模型结构并初始化网络参数，原始数据输入到深度神经网络中获得其输出特征，通过未离散化的训练集获得离散量化后的全样本训练集、获得训练后的贝叶斯网络、获得其输出特征、获得离散量化后的全样本测试集，达到对深度神经网络的输出节点进行准确度预测。本发明能够通过特征工程获得的特征量进行建模推理，并且能够直接对原始数据进行处理。具有完备的数学理论基础、可解释性好，并且具有自动特征提取能力的贝叶斯网络模型。

Description

一种深度贝叶斯网络建模训练方法

技术领域

本发明属于人工智能技术领域，特别是数据挖掘技术领域的一种深度贝叶斯网络建模训练方法。

背景技术

近年来，以深度学习为代表的新一代人工智能技术在图像识别、语音识别等领域不断取得突破，极大地提高了当前机器学习算法的性能。数据驱动的深度学习方法可以自动地从数据中提取特征和进行抽象，挖掘其中的高阶相关性，但是这类模型的可解释性通常较差，对虚假信息的鉴别力也不足，容易犯关键性错误；同时，深度学习模型基本不具备真正的推理能力，也无法很好的结合已有的专家知识，对大量训练数据的依赖使得在很多应用领域都受到限制；另外，目前最好的深度学习系统(如AlphaGo系统)也只能用于具有完全信息的受限环境。

贝叶斯网络是另外一种常见的机器学习方法，基于概率理论和图论，既有牢固的数学基础，又有形象直观的语义，是目前不确定知识表示和推理领域中最有效的理论模型之一。贝叶斯网络不仅具有强大的建模功能，而且具有完美的推理机制，贝叶斯网络能够通过有效融合先验知识和当前观察值来完成各种查询。但是贝叶斯的推理一般是基于特征量的，不具备对原始数据的建模推理能力，其模型结构、参数以及推理精度都严重受制于特征选择。

深度学习具有很强自动特征提取能力，贝叶斯网络在推理和引入专家知识方面具有得天独厚的优势，但其不具有可解释性、鲁棒性差、易被欺骗且依赖大量的训练样本；贝叶斯网络能有效的结合专家知识且具有完备的数学理论基础、可解释性好，但其只能对通过特征工程获得的特征量进行建模推理，而无法直接对原始数据进行处理。

发明内容

为克服现有技术的不足，本发明提出一种针对监督型深度贝叶斯网络的建模训练方法。

为实现上述发明目的，本发明采用技术方案如下：

一种针对监督深度神经网络的建模训练方法，其步骤如下：

步骤1：通过分析对象的特征，结合专家知识初步确定贝叶斯网络的模型的节点；

步骤2：根据实际情况将模型中的某些节点确定为用深度神经网络获得的特征向量替换——深度节点；

步骤3：将样本数据分为训练集和测试集；

步骤4：根据原始数据特点确定深度神经网络模型结构并初始化网络参数；

步骤5：将训练集中深度节点的原始数据输入到深度神经网络中，并计算获得其输出特征；

步骤6：将深度学习的输出特征与训练集中基于人工特征进行组合得到包含深度节点的未离散化的训练集；

步骤7：利用均匀离散或聚类分析算法对训练集进行离散量化，获得离散量化后的全样本训练集；

步骤8：基于步骤7获得的训练集，利用贝叶斯网络结构学习和参数学习算法对贝叶斯网络进行学习，获得训练后的贝叶斯网络；

步骤9：将测试集中深度节点的原始数据输入到深度神经网络中，并计算获得其输出特征；

步骤10：将深度学习的输出特征与训练集中基于人工特征进行组合得到包含深度节点的未离散化的测试集；

步骤11：利用与步骤7一样的算法对测试集进行离散量化，获得离散量化后的全样本测试集；

步骤12：利用测试集对深度神经网络的输出节点进行准确度预测，如果符合要求结束训练，否则转到步骤13；

步骤13：将步骤12获得的精度转化为深度神经网络的误差值；

步骤14：利用梯度下降法等训练方法对深度神经网络的参数进行调整，转到步骤5。

一种针对监督深度神经网络的建模训练方法，所述用于贝叶斯网络训练的样本集，由于贝叶斯网络需要的训练样本数量与各节点的状态数成指数正相关关系，工程应用中一般需要对样本进行空间离散量化为有限的状态数，特征空间离散量化方法可分为均匀划分和、非均匀划分方法和聚类算法，由于均匀划分具有量化的可解释性，采用的均匀划分方法为：

对于效应特征X，设Ω为效应特征空间，K_max为特征最大取值，K_min为最小取值，N为状态数，那么，对于特征取值x所属状态为S_x：

一种针对监督深度神经网络的建模训练方法，所述贝叶斯网络训练与推理，包括：

贝叶斯网络的训练包括结构学习和参数学习，结构学习算法，具体如下：在给出训练数据D后，将贝叶网络G的后验概率作为评分由贝叶斯公式易得：

式中P(D)不会影响不同的结构G，所以不考虑它，忽略该项取对数可得：

logP(G|D)∝logP(G,D)＝logP(D|G)+logP(G)

上式中P(D|G)项称为边缘似然度，计算方式如下：

P(D|G)＝∫P(D|G,Θ)P(Θ|G)dΘ

对Θ取均匀分布可得CH评分：

取狄利克雷分布可得BDe评分：

评分函数中α_ij·是节点i所要设置的超参数，超参数的设置比较困难，取为均匀分布，m_ijk为数据集D中满足X_i＝k且Pa(X_i)＝j的样本个数，r_i为节点X_i状态取值个数；

基于贝叶斯的评分采用BDe评分，用该评分需要给出超参数α_ijk的值，当默认结构先验信息服从均匀分布时，对α_ijk取均匀分布：

α_ijk＝αP(X_i＝k,π(X_i)＝j|G)＝α/(r_iqi)

将式代入BDe评分即可得到BDeu评分；

贝叶斯估计参数学习算法：与结构学习中基于贝叶斯的评分函数类似，在贝叶斯参数学习中，参数Θ被视为随机变量，计算出Θ的后验概率就得到最后的取值，计算公式如下：

p(Θ|D)＝p(D|Θ)·p(Θ)/p(D)

式中先验分布P(Θ)服从狄立克雷(Dirichlet)分布：

然后代入公式得到Θ的后验概率：

式中

α₁,...,α_r是超参数，包含了先验知识，最后得到θ_k的估计：

推理采用团结书推理算法，具体步骤如下：

步骤1：将贝叶斯网络转化为团树：建立贝叶斯网络的Moral图、三角化Moral图、再确定所有的团、最后建立团树。Moral图指的是：将一个有向无圈图中的每个节点的不同父节点结合，即在它们之间加一条边，然后去掉所有边的方向所得到的无向图。三角化Moral图是将Moral图通过添加边变为三角图的过程，如果一个无向图中的每个包含大于等于4个节点的圈都有一条弦(弦：连接圈中两个不相邻节点的边)，那么该图称为三角图。

步骤2：对团树进行初始化：对团树中的状态进行初始化赋值。

步骤3：消息传递：将证据信息在团树中的各节点间进行传递，使团树最终能够达到全局一致。

步骤4：概率计算：通过一致的团树求得任意变量的概率分布。

一种针对监督深度神经网络的建模训练方法，所述推理精度计算及误差转换，是将贝叶斯网络的性能指标的推理精度转化为深度神经网络的误差，基于全样本训练的转化方法，具体步骤如下：

步骤1：将所有的样本一次输入到深度神经网络，计算获得其输出特征；

步骤2：利用特征1获得的深度节点的特征与其余特征工程获得的特征直接拼接为全数据样本，再利用上述均匀划分方法获得离散化的训练样本，利用上述贝叶斯网络训练方法对贝叶斯网络进行结构和参数的训练；

步骤3：基于测试样本集，利用贝叶斯网络推理算法，利用最大概率标准得到深度节点的推理精度di(i＝1,2,……n)，n为测试样本数量，按如下公式得到精度均值

步骤4：按如下公式将精度均值转化为误差深度神经网络的输出节点误差Δ：

步骤5：获得误差后，利用随机梯度下降法等深度神经网络训练方法对网络参数进行调整。

由于采用上述技术方案，本发明具有如下优越性：

一种深度贝叶斯网络建模训练方法，采用深度学习具有强大的自动特征提取能力，将深度学习与贝叶斯网络有效的融合结合的优势，可得到“深度贝叶斯网络”——具有自动特征提取能力的贝叶斯网络模型。克服其不具有可解释性、鲁棒性差、易被欺骗且依赖大量训练样本的缺陷，通过贝叶斯网络能有效的结合专家知识且具有完备的数学理论基础、可解释性好及对通过特征工程获得的特征量进行建模推理，并且能够直接对原始数据进行处理。

附图说明

图1深度贝叶斯网络结构示意图；

图2深度贝叶斯网络中的典型深度神经网络结构；

图3深度贝叶斯网络训练流程。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1、2、3所示，一种深度贝叶斯网络建模训练方法，采用深度学习具有强大的自动特征提取能力，克服其不具有可解释性、鲁棒性差、易被欺骗且依赖大量的训练样本，通过贝叶斯网络能有效的结合专家知识且具有完备的数学理论基础、可解释性好及对通过特征工程获得的特征量进行建模推理，本发明结合二者的优势，将深度学习与贝叶斯网络有效的融合，可得到“深度贝叶斯网络”——具有自动特征提取能力的贝叶斯网络模型，其自动特征提取能力是依靠深度学习模型获得，如图1所示。

根据深度贝叶斯网络中的深度模型类型，可分为无监督深度贝叶斯网络和监督深度贝叶斯网络。无监督深度贝叶斯网络的训练可分段训练，但有监督深度贝叶斯网络需要获得误差反馈，无法进行分段训练。为将深度神经网络和贝叶斯网络进行融合训练，提出一种针对监督深度神经网络的建模训练方法，如图3所示，具体如下：

步骤1：通过分析对象的特征，结合专家知识初步确定贝叶斯网络的模型的节点；

步骤2：根据实际情况将模型中的某些节点确定为用深度神经网络获得的特征向量替换(深度节点)；

步骤3：将样本数据分为训练集和测试集

步骤4：根据原始数据特点确定深度神经网络模型结构并初始化网络参数；

步骤5：将训练集中深度节点的原始数据输入到深度神经网络中，并计算获得其输出特征；

步骤6：将深度学习的输出特征与训练集中基于人工特征进行组合得到包含深度节点的未离散化的训练集；

步骤7：利用均匀离散或聚类分析算法对训练集进行离散量化，获得离散量化后的全样本训练集；

步骤8：基于步骤7获得的训练集，利用贝叶斯网络结构学习和参数学习算法对贝叶斯网络进行学习，获得训练后的贝叶斯网络；

步骤9：将测试集中深度节点的原始数据输入到深度神经网络中，并计算获得其输出特征；

步骤10：将深度学习的输出特征与训练集中基于人工特征进行组合得到包含深度节点的未离散化的测试集；

步骤11：利用与步骤7一样的算法对测试集进行离散量化，获得离散量化后的全样本测试集；

步骤12：利用测试集对深度神经网络的输出节点进行准确度预测，如果符合要求结束训练，否则转到步骤13；

步骤13：将步骤12获得的精度转化为深度神经网络的误差值；

步骤14：利用梯度下降法等训练方法对深度神经网络的参数进行调整，转到步骤5。

深度贝叶斯网络训练样本及深度神经网络的结构

(1)深度贝叶斯网络的训练样本结构

与传统贝叶斯网络的训练样本不同的是，深度贝叶斯网络的训练样本是由原始数据与特征向量共同组成，如表1所示。其中原始数据将作为深度网络的输入，由深度网络提取特征后与其余特征向量组合成可供贝叶斯网络学习的特征化样本。

表1深度贝叶斯网络的训练样本结构

原始数据包括图片、信号、语音、文字等数据，其数据格式可以是一维向量也可使多维矩阵，但不同的数据类型将影响深度神经网络的类型和结构，需要根据具体问题进行合理选择。

(2)深度贝叶斯网络中深度神经网络结构

传统深度神经网络输入一般为图片、语音、文字等原始数据，输出为分类、预测结果，且监督深度神经网络需要对每个样本进行标注。深度贝叶斯网络中的神经神经网络典型结构如图2所示，其中，I1，I2，……In表示模型的输入，可是图片、信号等原始数据，Y1，Y2为输出特征，深度网络的类型可为CNN、LSTM等等，这根据输入数据的类型而定。

(3)特征融合与离散划分

深度神经网络提取的特征与特征工程获得的特征向量进行直接拼接即可得到用于贝叶斯网络训练的样本集，但由于贝叶斯网络需要的训练样本数量与各节点的状态数成指数正相关关系，工程应用中一般需要对样本进行空间离散量化为有限的状态数。特征空间离散量化方法可分为均匀划分和、非均匀划分方法和聚类算法等。由于均匀划分具有量化的可解释性，本发明采用均匀划分方法。

对于效应特征X，设Ω为效应特征空间，K_max为特征最大取值，K_min为最小取值，N为状态数，那么，对于特征取值x所属状态为S_x：

(4)贝叶斯网络训练与推理

贝叶斯网络的训练包括结构学习和参数学习。

①结构学习算法，具体如下：

在给出训练数据D后，将贝叶网络G的后验概率作为评分。

由贝叶斯公式易得：

式中P(D)不会影响不同的结构G，所以可以不考虑它，忽略该项取对数可得：

logP(G|D)∝logP(G,D)＝logP(D|G)+logP(G)

上式中P(D|G)项称为边缘似然度，计算方式如下：

P(D|G)＝∫P(D|G,Θ)P(Θ|G)dΘ

对Θ取均匀分布可得CH评分：

取狄利克雷分布可得BDe评分：

评分函数中α_ij·是节点i所要设置的超参数，超参数的设置比较困难，一般取为均匀分布。m_ijk为数据集D中满足X_i＝k且Pa(X_i)＝j的样本个数，r_i为节点X_i状态取值个数。

基于贝叶斯的评分一般采用BDe评分，用该评分需要给出超参数α_ijk的值，当默认结构先验信息服从均匀分布时，对α_ijk取均匀分布：

α_ijk＝αP(X_i＝k,π(X_i)＝j|G)＝α/(r_iqi)

将式代入BDe评分即可得到BDeu评分。

②贝叶斯估计参数学习算法：

与结构学习中基于贝叶斯的评分函数类似，在贝叶斯参数学习中，参数Θ被视为随机变量，计算出Θ的后验概率就可以得到最后的取值。计算公式如下：

p(Θ|D)＝p(D|Θ)·p(Θ)/p(D)

式中先验分布P(Θ)服从狄立克雷(Dirichlet)分布：

然后代入公式可以得到Θ的后验概率：

式中

α₁,...,α_r是超参数，包含了先验知识。

最后可以得到θ_k的估计：

③推理采用团结书推理算法：

步骤1：将贝叶斯网络转化为团树：建立贝叶斯网络的Moral图、三角化Moral图、再确定所有的团、最后建立团树。Moral图指的是：将一个有向无圈图中的每个节点的不同父节点结合，即在它们之间加一条边，然后去掉所有边的方向所得到的无向图。三角化Moral图是将Moral图通过添加边变为三角图的过程，如果一个无向图中的每个包含大于等于4个节点的圈都有一条弦(弦：连接圈中两个不相邻节点的边)，那么该图称为三角图。

步骤2：对团树进行初始化：对团树中的状态进行初始化赋值。

步骤3：消息传递：将证据信息在团树中的各节点间进行传递，使团树最终能够达到全局一致。

步骤4：概率计算：通过一致的团树求得任意变量的概率分布。

(5)推理精度计算及误差转换

深度贝叶斯网络训练的关键在于如何将贝叶斯网络的性能指标(如推理精度)转化为深度神经网络的误差。提出一种基于全样本训练的转化方法，具体步骤如下：

步骤1：将所有的样本一次输入到深度神经网络，计算获得其输出特征；

步骤2：利用特征1获得的深度节点的特征与其余特征工程获得的特征直接拼接为全数据样本，再利用上述均匀划分方法获得离散化的训练样本，利用上述贝叶斯网络训练方法对贝叶斯网络进行结构和参数的训练；

步骤3：基于测试样本集，利用贝叶斯网络推理算法，利用最大概率标准得到深度节点的推理精度di(i＝1,2,……n)，n为测试样本数量，按如下公式得到精度均值

步骤4：按如下公式将精度均值转化为误差深度神经网络的输出节点误差Δ：

步骤5：获得误差后，利用随机梯度下降法等深度神经网络训练方法对网络参数进行调整。

Claims (4)

1.一种针对监督深度神经网络的建模训练方法，其特征是：其步骤如下：

步骤1：通过分析对象的特征，结合专家知识初步确定贝叶斯网络的模型的节点；

步骤2：根据实际情况将模型中的某些节点确定为用深度神经网络获得的特征向量替换——深度节点；

步骤3：将样本数据分为训练集和测试集；

步骤4：根据原始数据特点确定深度神经网络模型结构并初始化网络参数；

步骤5：将训练集中深度节点的原始数据输入到深度神经网络中，并计算获得其输出特征；

步骤6：将深度学习的输出特征与训练集中基于人工特征进行组合得到包含深度节点的未离散化的训练集；

步骤7：利用均匀离散或聚类分析算法对训练集进行离散量化，获得离散量化后的全样本训练集；

步骤8：基于步骤7获得的训练集，利用贝叶斯网络结构学习和参数学习算法对贝叶斯网络进行学习，获得训练后的贝叶斯网络；

步骤9：将测试集中深度节点的原始数据输入到深度神经网络中，并计算获得其输出特征；

步骤10：将深度学习的输出特征与训练集中基于人工特征进行组合得到包含深度节点的未离散化的测试集；

步骤11：利用与步骤7一样的算法对测试集进行离散量化，获得离散量化后的全样本测试集；

步骤12：利用测试集对深度神经网络的输出节点进行准确度预测，如果符合要求结束训练，否则转到步骤13；

步骤13：将步骤12获得的精度转化为深度神经网络的误差值；

步骤14：利用梯度下降法等训练方法对深度神经网络的参数进行调整，转到步骤5。

2.一种针对监督深度神经网络的建模训练方法，其特征是：所述用于贝叶斯网络训练的样本集，由于贝叶斯网络需要的训练样本数量与各节点的状态数成指数正相关关系，工程应用中一般需要对样本进行空间离散量化为有限的状态数，特征空间离散量化方法可分为均匀划分和、非均匀划分方法和聚类算法，由于均匀划分具有量化的可解释性，采用的均匀划分方法为：

对于效应特征X，设Ω为效应特征空间，K_max为特征最大取值，K_min为最小取值，N为状态数，那么，对于特征取值x所属状态为S_x：

3.一种针对监督深度神经网络的建模训练方法，其特征是：所述贝叶斯网络训练与推理，包括：

贝叶斯网络的训练包括结构学习和参数学习，结构学习算法，具体如下：在给出训练数据D后，将贝叶网络G的后验概率作为评分由贝叶斯公式易得：

式中P(D)不会影响不同的结构G，所以不考虑它，忽略该项取对数可得：

log P(G|D)∝log P(G,D)＝log P(D|G)+log P(G)

上式中P(D|G)项称为边缘似然度，计算方式如下：

P(D|G)＝∫P(D|G,Θ)P(Θ|G)dΘ

对Θ取均匀分布可得CH评分：

取狄利克雷分布可得BDe评分：

评分函数中α_ij·是节点i所要设置的超参数，超参数的设置比较困难，取为均匀分布，m_ijk为数据集D中满足X_i＝k且Pa(X_i)＝j的样本个数，r_i为节点X_i状态取值个数；

基于贝叶斯的评分采用BDe评分，用该评分需要给出超参数α_ijk的值，当默认结构先验信息服从均匀分布时，对α_ijk取均匀分布：

α_ijk＝αP(X_i＝k,π(X_i)＝j|G)＝α/(r_iq_i)

将式代入BDe评分即可得到BDeu评分；

贝叶斯估计参数学习算法：与结构学习中基于贝叶斯的评分函数类似，在贝叶斯参数学习中，参数Θ被视为随机变量，计算出Θ的后验概率就得到最后的取值，计算公式如下：

p(Θ|D)＝p(D|Θ)·p(Θ)/p(D)

式中先验分布P(Θ)服从狄立克雷(Dirichlet)分布：

然后代入公式得到Θ的后验概率：

式中

α₁,...,α_r是超参数，包含了先验知识，最后得到θ_k的估计：

推理采用团结书推理算法，具体步骤如下：

步骤1：将贝叶斯网络转化为团树：建立贝叶斯网络的Moral图、三角化Moral图、再确定所有的团、最后建立团树；Moral图指的是：将一个有向无圈图中的每个节点的不同父节点结合，即在它们之间加一条边，然后去掉所有边的方向所得到的无向图；三角化Moral图是将Moral图通过添加边变为三角图的过程，如果一个无向图中的每个包含大于等于4个节点的圈都有一条弦(弦：连接圈中两个不相邻节点的边)，那么该图称为三角图；

步骤2：对团树进行初始化：对团树中的状态进行初始化赋值；

步骤3：消息传递：将证据信息在团树中的各节点间进行传递，使团树最终能够达到全局一致；

步骤4：概率计算：通过一致的团树求得任意变量的概率分布。

4.一种针对监督深度神经网络的建模训练方法，其特征是：所述推理精度计算及误差转换，是将贝叶斯网络的性能指标的推理精度转化为深度神经网络的误差，基于全样本训练的转化方法，具体步骤如下：

步骤1：将所有的样本一次输入到深度神经网络，计算获得其输出特征；

步骤2：利用特征1获得的深度节点的特征与其余特征工程获得的特征直接拼接为全数据样本，再利用上述均匀划分方法获得离散化的训练样本，利用上述贝叶斯网络训练方法对贝叶斯网络进行结构和参数的训练；

步骤3：基于测试样本集，利用贝叶斯网络推理算法，利用最大概率标准得到深度节点的推理精度di(i＝1,2,……n)，n为测试样本数量，按如下公式得到精度均值

步骤4：按如下公式将精度均值转化为误差深度神经网络的输出节点误差Δ：

步骤5：获得误差后，利用随机梯度下降法等深度神经网络训练方法对网络参数进行调整。

Images