CN104361396A - 基于马尔可夫逻辑网的关联规则迁移学习方法 - Google Patents

Abstract

本发明涉及一种基于马尔可夫逻辑网的关联规则迁移学习方法，从源领域到目标领域迁移MLN结构的算法主要分为两个部分：首先，将源领域中的MLN结构与目标领域进行映射，建立两个领域之间的关联；然后，对映射得到的结构进行优化以适应目标领域的指标，该方法的效果是，不仅可以简洁明了地描述庞大的Markov网，而且还可以灵活地在Markov网中融入模块化知识；并且能够容忍知识域中存在不完整性和矛盾性；提高了算法速度；可以通过限制用于更新的子句数量和限制每个子句的更新类型，来约束搜索空间。

Description

基于马尔可夫逻辑网的关联规则迁移学习方法

技术领域

本发明涉及一种将Markov网与一阶逻辑相结合的统计关系学习方法，尤其是一种基于马尔可夫逻辑网的关联规则迁移学习方法。

背景技术

迁移学习根据不同任务间的相似性，将源领域数据向目标领域迁移，实现对已有知识的利用，使传统的从零开始学习变成可积累的学习，并且提高了学习效率，其最大的特点就是利用相关领域的知识来帮助完成目标领域的学习任务。源领域和目标领域中相关知识的表达方式有很多，可分为样本实例、特征映射、模型参数和关联规则，针对不同的知识表达方式选择恰当的迁移学习方法是保障目标领域学习的前提。

关联规则迁移指的是发现相似的领域间共有规则、结构和逻辑等关联知识，并通过建立合适的映射来进行迁移。在关联规则迁移的假设中，领域和领域之间必须是相关的，其中的数据间存在某些相互联系。相关知识迁移的目的在于利用相关领域的数据联系模式来帮助学习。假设源领域与目标领域在样本关系方面具有相似性，并试图寻找这种样本关系。这种方法首先学习源领域的样本关系知识，接着建立源领域相关对象与目标领域相关对象之间的对应关系，最后将源领域的样本关系知识直接或经过变换迁移到目标领域中。因此，它处理的对象是社会化网络数据，不直接对源样本进行重新利用，而是对样本表示之间的关系进行重新利用。因此，这些样本可以用于不同领域之间知识迁移。

马尔可夫逻辑网(Markov Logic Network，MLN)是将Markov网与一阶逻辑相结合的统计关系学习方法，最早是由美国华盛顿大学的两位学者Domingos和Richardson提出,并论证了MLN作为统计关系学习的统一框架的可能性。一方面，从概率统计的角度来看，MLN不仅可以简洁明了地描述庞大的Markov网，而且还可以灵活地在Markov网中融入模块化知识；另一方面，MLN给一阶谓词逻辑加入了处理不确定性问题的能力,并且能够容忍知识域中存在不完整性和矛盾性。因此，统计关系学习中的许多问题都可以用MLN来解决。鉴于此，当前国际人工智能界普遍公认MLN是一种较完美地结合一阶谓词逻辑和概率图模型的复杂性和不确定性问题表示和处理方法，具有十分重要的研究价值和广阔的应用前景。

在一阶逻辑知识库中，每个可能世界必须满足知识库中所有的公式，否则该世界不可能存在，即发生概率为0。MLN的基本思想是将一阶逻辑的限制放松：一个世界违反公式越多，其发生概率越小，但未必为0。MLN为知识库中的每个公式附上权值，并用权值来表示公式限制强度的大小，权值越大，满足该公式的世界的发生概率与不满足该公式的世界的发生概率之间的差就越大。随着公式上权值的增加，MLN逐渐向纯一阶逻辑知识库靠拢。

近年来，针对MLN的研究取得了卓有成效的进展。2005年，Singla等发表的文章《Discriminative training of Markov logicnetworks》为解决伪似然参数学习中非邻接变量之间推理结果不理想的问题，提出了一种判别训练的参数学习方法。Kok等的文章《Learning the structure of Markov logic networks》提出了一种自顶向下的从关系数据库中学习MLN结构的算法，极大地提高了学习的搜索效率和准确率。Davis等的文章《Deep transfervia second-orderMarkov logic》提出一种二阶逻辑的马尔可夫模型用于迁移学习，其思想是利用二阶马尔可夫逻辑来表示源领域当中的结构规则，然后应用到目标领域中去。

在人工智能领域，可以利用概率图模型较好地处理不确定性，用一阶逻辑简洁地描述复杂的知识，而在许多实际应用中，需要同时利用二者的优势，将二者结合起来。现有的方法大都是将概率和一阶逻辑的有限子集相结合，但多数比较复杂。

MLN虽然是一种较完美地结合一阶谓词和概率图模型的复杂性和不确定性问题表示和处理方法，但是将它用于知识迁移的文章还没有见到。Davis提出的DTM算法采用二阶逻辑的马尔可夫进行深度学习，利用二阶马尔可夫逻辑来表示源领域当中的结构规则，然后应用到目标领域中去。然而，用二阶马尔可夫逻辑并不能完全表示目标领域和源领域之间的关系，只有MLN才考虑社会化网络数据，可以对样本表示之间的关系进行重新利用，而不直接对源样本进行重新利用。

目前，针对关联规则迁移学习的研究成果尚不多见，现有的方法往往存在关系表达比较复杂的缺点，导致时间复杂度过大，迁移代价过高。

发明内容

本发明的目的是提供，一种基于马尔可夫逻辑网的关联规则迁移学习方法，通过对从源领域中得到的与当前目标领域相关的源领域模型的迁移来完成精确有效的结构学习，将迁移视为优化结构，给出一个算法来诊断源MLN结构中不正确部分并加以优化，提高学习的精确性。

该发明采用马尔可夫逻辑网来表示目标领域和源领域之间的关联规则，除了有穷集的假设外没有其他限制，是一种将统计和关系相结合的简单而强大的表示方法。通过对从源领域中得到的与当前目标领域相关的源领域模型的迁移来完成精确有效的结构学习，从而避免负迁移的产生，进而提高学习精度。

本发明的技术解决方案：一种基于马尔可夫逻辑网的关联规则迁移学习方法，从源领域到目标领域迁移MLN结构的算法主要分为两个部分：首先，将源领域中的MLN结构与目标领域进行映射，建立两个领域之间的关联；然后，对映射得到的结构进行优化以适应目标领域的指标,具体为：

第一部分：结构映射，结构映射的目的是发现从源MLN到目标MLN的最优映射，映射的好坏根据目标领域映射的MLN的性能评价，由加权伪对数似然值WPLL进行估计；

主要有两种映射方法，全局映射和局部映射。在多数情况下，由于搜索空间的大小随着源领域中谓词的数量呈指数级增长，寻找最优全局映射在计算量上不可能实现。综合考虑，局部映射方法较为可行，因为一个源子句中谓词的个数远远小于MLN结构中的源谓词总数。因此，在本发明的中，采用局部谓词映射寻找最优映射。

步骤1)清空谓词映射，清空类型约束；

步骤2)选取未映射的源谓词和目标谓词；

步骤3)判断源谓词和目标谓词是否兼容，若是，执行步骤4；若不是，执行步骤6；如果两个谓词拥有相同的参数个数，且参数的类型能和当前约束兼容，则它们兼容；

步骤4)加入此映射，并更新类型约束；

步骤5)判断源谓词是否都已映射，如果没有，则转步骤2；如果有，则转步骤8；

步骤6)判断目标谓词是否都已映射，如果没有，则转步骤7，如果有，则转步骤5；

步骤7)对于下一个未映射的目标谓词，转步骤3；

步骤8)输出谓词映射。

第二部分：结构优化

步骤1)自诊断，自诊断的目的是查找MLN中不准确的部分以期得到优化，即，算法检查源MLN，逐一确定子句是否需要改变长度，利用迁移的MLN在目标领域中进行推断，搜寻不成立的子句并查找原因，通过Gibbs采样来完成自诊断，即依次检验目标领域中的每个谓词，将正在测试的当前谓词标记为P^*；

根据子句相关与否，好坏与否的所有可能的方式，定义闭文字X可能的4种情形，即：

[相关，好]，所有子句条件都满足，结论都正确；

[相关，坏]，所有子句条件都满足，但是结论不正确；

[不相关，好]，所有子句条件不能都满足，因此子句不被激励，即使受到激励，结论也不正确；

[不相关，坏]，所有子句条件不能都满足，但是子句一旦被激励，结论正确；

以上情形考虑条件全部满足，结论都正确的所有可能情况，如果条件都满足，将这些子句标记为相关的，否则为不相关；当且仅当结论是正确的时，标记相关子句为好的；当且仅当结论为错误时，标记不相关子句为好的。

虽然子句仅包含标记为P^*中的一个文字，但是算法同样适用于含有多文字的子句。这种分类法可以表示为如下公式：

$P(X=x|{\mathrm{MB}}_x=m)=\frac{e^{S_X(x,m)}}{e^{S_X(0,m)}+e^{S_X(1,m)}}---\left(1\right)$

仅仅当子句属于[相关，好]这种情形时，X＝x的概率才会增加，当子句在[相关，坏]这个情形中时，X＝x的概率降低，而在另外两种情形中的子句对这个公式没有影响。为了解释这一问题，定义一个与X有关的闭子句集合中的子句g_irr∈G_X。不论X的真实值是多少，这个g_irr都能满足条件；又因为不管X的取值为多少，g_irr(X＝x,MB_X＝m)的取值都为1，式(1)中的S_X(x,m)可被重写成：

$\begin{array}{c}{S}_X(x,m)={\mathrm{\Σ}}_{g_i\∈G_X}{\mathrm{\ω}}_i{g}_i(X=x,{\mathrm{MB}}_X=m)\\ ={\mathrm{\Σ}}_{g_i\∈G_X,i\≠\mathrm{irr}}{\mathrm{\ω}}_i{g}_i(X=x,M{B}_X=m)+{\mathrm{\ω}}_{\mathrm{irr}}{g}_{\mathrm{irr}}(X=x,{\mathrm{MB}}_X=m)\\ ={\mathrm{\Σ}}_{g_i\∈G_X,i\≠\mathrm{irr}}{\mathrm{\ω}}_i{g}_i(X=x,M{B}_X=m)+{\mathrm{\ω}}_{\mathrm{irr}}\end{array}---\left(\text{2}\right)$

根据以上推导，可以将式(1)写为：

$P(X=x|{\mathrm{MB}}_X=m)=\frac{e^{S_X^{*}(x,m)+{\mathrm{\ω}}_{\mathrm{irr}}}}{e^{S_X^{*}(0,m)+{\mathrm{\ω}}_{\mathrm{irr}}}+e^{S_X^{*}(1,m)+{\mathrm{\ω}}_{\mathrm{irr}}}}=\frac{e^{{\mathrm{\ω}}_{\mathrm{irr}}}{e}^{S_X^{*}(x,m)}}{e^{{\mathrm{\ω}}_{\mathrm{irr}}}(e^{S_X^{*}(0,m)}+e^{S_X^{*}(1,m)})}---\left(3\right)$

由此可以看出，g_irr和在计算和定义中可以忽略。然而，如果[不相关，坏]情形中子句中除X以外的其他文字被删除，X的值将变得重要，将会移动至[相关，好]的情形中。类似的，如果在[相关，坏]子句中增加文字，将会忽视X的值，并移动至[不相关，好]的情形中，并且X有正确值的概率不再降低。

步骤2)结构更新，根据自诊断的结果，将太长的子句缩短，并将太短的子句加长。

采用过滤束搜索beam搜索对子句的集合进行优化，即在每一步迭代中，文字增加或减少都在当前的集合中完成；选取其中最优的n个子句，再进行新的迭代；不考虑每一子句中所有文字的加长和缩短，而是仅仅从标记了缩短的子句中移除文字，在标记了加长的子句中添加文字，并利用WPLL进行打分，通过限制用于更新的子句数量和限制每个子句的更新类型，来约束搜索空间。

步骤3)搜索新子句，利用关系寻径RPF方法来搜索目标领域中的新子句。

前面两个步骤都是对于源领域迁移学习得到的子句进行更新优化，而无法去挖掘目标领域中特定关系的子句。

为了解决这个问题，利用关系寻径(RPF)方法来搜索目标领域中的新子句。RPF是一种数据驱动方法，用来设计搜索路径以克服局部极值点，考虑将其用于优化阶段，以发现源领域与目标领域之间的特定关系。RPF将关系领域视为图G，常量用节点表示，其任意两个常量的长度至少是2，由边连接。RPF在G中搜索路径，如果找到这个路径，就可以写成闭子句形式。前件是由标记路径上每个边的谓词连接在一起组成的，标记连接两个常量的边的文字称为结论。利用爬山搜索法，尽可能在前件中增加谓词来提高子句性能。

本发明的有益效果是：一种基于马尔可夫逻辑网的关联规则迁移学习方法，其效果是1)本发明考虑的对象是社会化网络数据，不直接对源样本进行重新利用，而是对样本表示之间的关系进行重新利用；2)本发明采用马尔可夫逻辑网来描述源领域模型，一方面，不仅可以简洁明了地描述庞大的Markov网，而且还可以灵活地在Markov网中融入模块化知识；另一方面，MLN给一阶谓词逻辑加入了处理不确定性问题的能力，并且能够容忍知识域中存在不完整性和矛盾性；3)本发明针对搜索空间的大小随着源领域中谓词的数量呈指数级增长的现象，在结构映射部分采用局部谓词映射来寻找最优映射，将MLN结构中的每个子句独立出来，单独寻找每个子句中出现的所有谓词的最优映射，而不管其余子句，进而提高算法速度；4)本发明在结构优化部分，不考虑每一子句中所有文字的加长和缩短，而是仅仅从标记了缩短的子句中移除文字，在标记了加长的子句中添加文字，并利用WPLL进行打分。因此，可以通过限制用于更新的子句数量和限制每个子句的更新类型，来约束搜索空间。

附图说明

附图1是结构映射的流程图；

附图2是图2WebKB→IMDB的迁移曲线；

附图3UW-CSE→IMDB的迁移曲线；

附图4WebKB→UW-CSE的迁移曲线；

附图5IMDB→UW-CSE的迁移曲线。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

本发明的效果可以通过以下实验进一步说明：

1.实验设置

实验采用3个相关领域数据集IMDB，WebKB和UW-CSE进行验证。每个数据集被划分为若干个相互独立的子集，包含许多相关信息。因为子集都是彼此独立的，其中一部分作为训练数据，其他作为测试数据来处理子集中多关系数据。IMDB数据库由国际电影数据库给出，被划分为5个子集，每个子集包含4部电影以及电影的导演和其中一些演员，每个导演根据其指导电影的类型被划分成不同流派；UW-CSE数据集由Richardson和Domingos编译，给出了华盛顿大学计算机科学与工程系的人员和这些人员之间关系的描述；WebKB数据库统计的是计算科学部门的大学的人员关系。表1给出了3个数据库的谓词结构和数据库的附加信息。

表1 数据集的详细信息

文献《Learning the structure of Markov logic networks》中采用自顶向下的从关系数据库中学习MLN结构的算法，在beam搜索中执行多次迭代，并在每次迭代之后将找到的最优子句加入到MLN中，这里称为TDB。实验比较了以下几种算法的性能：1)在目标领域中根据已知数据自动生成的MLN上运行TDB算法，这里标记为ScrTDB，表示从头开始学习；2)在此基础上，用TDB来修正迁移到目标领域的源结构，记为TrTDB；3)本发明对迁移的MLN进行映射优化，记为TMOMLN。

MLN相关的迁移学习、权值计算和推理是在Alchemy软件包下进行的，Alchemy是一个基于Markov逻辑表示的软件包，提供了一系列统计关系学习、结构学习、决策理论和逻辑推理方面的算法。设定长子句罚函数的参数为0.01，每个子句最多拥有5个变量，IMDB和WebKB中最小权参数是0.1，UW-CSE中最小权参数是1，其余的均采用Alchemy的默认参数，3个领域中参数的设置相同。

实验中考虑了下面4种迁移场景：WebKB→IMDB，UW-CSE→IMDB，WebKB→UW-CSE，IMDB→UW-CSE。我们不研究迁移到WebKB数据集的情况，因为它每个子集中含有少量的谓词和大量的常数，这将会很容易学习。因此，将WebKB作为源领域会有很好的效果。

2.结果与分析

为了评价得到的MLN，必须对其进行推理，这里采用Markov链蒙特卡罗算法MC-SAT，迭代测试领域内每个谓词的闭文字，其余的作为验证，然后对结果取平均值。为了评价这些结果，采用两种统计关系学习中常用的标准评价体系，查全率查准率曲线下面积(AUC)与条件对数似然性(CLL)来评价实验结果。

图2至图5给出了4个迁移场景的迁移曲线，曲线上的误差棒是对每个谓词闭集求标准误差再取平均值而得到的，可以看出每个图中都会产生误差，但有时这个误差值很小。

下面，用数据的形式来表示算法性能的差异。根据两个统计数据来验证实验的结果：迁移率TR和改进百分比PI。TR是迁移学习曲线下面积和从头开始学习曲线下面积大小的比值。如果TR>1，表示目标领域的学习性能得到提高。PI是目标领域内一个子集迁移学习和从头开始学习相比在精确度上的提高率，由于迁移学习中目标领域的数据有限，所以PI非常重要。表2所示给出了在ScrTDB上采用迁移学习的AUC和CLL的TR、PI值。

表2 和ScrTDB算法相比时AUC和CLL上的TR和PI

由表2可以看出，对AUC而言，TMOMLN和TrTDB没有任一种是压倒性地好于另一种方法，但是对于4种迁移的平均值而言，TMOMLN方法好于TrTDB。另外，在WebKB→UW-CSE迁移中，TMOMLN的PI值要小于TrTDB的值，即使它们的TR值相差不大。产生这个现象是由于UW-CSE中的子集不是同分布的，领域间实体变化会产生大量的相互影响。只要TMOMLN使用这些子集中的一个来对源结构进行自诊断，它将有可能会被这个子集引入错误方向，进而对源子句产生错误的分配。

同样由表2可知，对CLL而言，迁移学习总是能提高学习性能，而且TMOMLN的结果在所有情况下都要优于TrTDB。但是，有一特殊情况，实验IMDB→UW-CSE表明，加入迁移作用，CLL的性能提高，但AUC的性能却降低了，可以认为这一微小的劣势是由于随机变化造成的。

表3比较了三种算法的总体训练时间，可以看出，TMOMLN的训练快于TrTDB，且这两种算法的迁移都要比ScrTDB快。在相同的情况下，TrTDB比ScrTDB训练所花时间要少。在过滤束搜索时，TMOMLN使用较少的子句，如表4所示。

表3 总体训练时间的平均值

综上所述，利用MLN的结构表达迁移知识的方式，可以很大程度上提高概率推理的准确率，由此证明基于MLN的迁移学习方法可以获得比传统机器学习方法更好的效果。并且，这种方法的代价也比传统的机器学习方法少，这是因为通过相关域中已有的结构得到所要的知识结构比从海量的数据中分析得到要容易得多。

该实例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述实施例。

Claims (7)

1.一种基于马尔可夫逻辑网的关联规则迁移学习方法，从源领域到目标领域迁移MLN结构的算法主要分为两个部分：首先，将源领域中的MLN结构与目标领域进行映射，建立两个领域之间的关联；然后，对映射得到的结构进行优化以适应目标领域的指标,具体为： 

第一部分：结构映射，结构映射的目的是发现从源MLN到目标MLN的最优映射，映射的好坏根据目标领域映射的MLN的性能评价，由加权伪对数似然值WPLL进行估计； 

第二部分：结构优化 

步骤1)自诊断，自诊断的目的是查找MLN中不准确的部分以期得到优化，即，算法检查源MLN，逐一确定子句是否需要改变长度，利用迁移的MLN在目标领域中进行推断，搜寻不成立的子句并查找原因，通过Gibbs采样来完成自诊断，即依次检验目标领域中的每个谓词，将正在测试的当前谓词标记为P^*； 

步骤2)结构更新，根据自诊断的结果，将太长的子句缩短，并将太短的子句加长； 

步骤3)搜索新子句，利用关系寻径RPF方法来搜索目标领域中的新子句。 

2.根据权利要求1所述的一种基于马尔可夫逻辑网的关联规则迁移学习方法，其特征是，结构映射的具体方法为： 

步骤1)清空谓词映射，清空类型约束； 

步骤2)选取未映射的源谓词和目标谓词； 

步骤3)判断源谓词和目标谓词是否兼容，若是，执行步骤4；若不是，执行步骤6；如果两个谓词拥有相同的参数个数，且参数的类型能和当前约束兼容，则它们兼容； 

步骤4)加入此映射，并更新类型约束； 

步骤5)判断源谓词是否都已映射，如果没有，则转步骤2；如果有，则转步骤8； 

步骤6)判断目标谓词是否都已映射，如果没有，则转步骤7，如果有，则转步骤5； 

步骤7)对于下一个未映射的目标谓词，转步骤3； 

步骤8)输出谓词映射。 

3.根据权利要求1所述的一种基于马尔可夫逻辑网的关联规则迁移学习方法，其特征是，第一部分中寻找最优映射采用局部谓词映射的方法，因为搜索空间的大小随着源领域中谓词的数量呈指数级增长，且一个源子句中谓词的个数远远小于MLN结构中的源谓词总数。 

4.根据权利要求1所述的一种基于马尔可夫逻辑网的关联规则迁移学习方法，其特征是，第二部分中，步骤1的具体诊断方法为： 

根据子句相关与否，好坏与否的所有可能的方式，定义闭文字X可能的4种情形，即： 

[相关，好]，所有子句条件都满足，结论都正确； 

[相关，坏]，所有子句条件都满足，但是结论不正确； 

[不相关，好]，所有子句条件不能都满足，因此子句不被激励， 即使受到激励，结论也不正确； 

[不相关，坏]，所有子句条件不能都满足，但是子句一旦被激励，结论正确； 

以上情形考虑条件全部满足，结论都正确的所有可能情况，如果条件都满足，将这些子句标记为相关的，否则为不相关；当且仅当结论是正确的时，标记相关子句为好的；当且仅当结论为错误时，标记不相关子句为好的。 

5.根据权利要求4所述的一种基于马尔可夫逻辑网的关联规则迁移学习方法，其特征是，虽然子句仅包含标记为P^*中的一个文字，但是算法同样适用于含有多文字的子句，这种分类法表示为如下公式： 

仅仅当子句属于[相关，好]这种情形时，X＝x的概率才会增加，当子句在[相关，坏]这个情形中时，X＝x的概率降低，而在另外两种情形中的子句对这个公式没有影响，为了解释这一问题，定义一个与X有关的闭子句集合中的子句g_irr∈G_X，不论X的真实值是多少，这个g_irr都能满足条件；又因为不管X的取值为多少，g_irr(X＝x,MB_X＝m)的取值都为1，式(1)中的S_X(x,m)可被重写成： 

根据以上推导，可以将式(1)写为： 

由此可以看出，g_irr和在计算和定义中可以忽略；然而，如果[不相关，坏]情形中子句中除X以外的其他文字被删除，X的值将变得重要，将会移动至[相关，好]的情形中；类似的，如果在[相关，坏]子句中增加文字，将会忽视X的值，并移动至[不相关，好]的情形中，并且X有正确值的概率不再降低。 

6.根据权利要求1所述的一种基于马尔可夫逻辑网的关联规则迁移学习方法，其特征是，第二部分中，步骤2的具体步骤为：采用过滤束搜索beam搜索对子句的集合进行优化，即在每一步迭代中，文字增加或减少都在当前的集合中完成；选取其中最优的n个子句，再进行新的迭代；不考虑每一子句中所有文字的加长和缩短，而是仅仅从标记了缩短的子句中移除文字，在标记了加长的子句中添加文字，并利用WPLL进行打分，通过限制用于更新的子句数量和限制每个子句的更新类型，来约束搜索空间。 

7.根据权利要求1所述的一种基于马尔可夫逻辑网的关联规则迁移学习方法，其特征是，第二部分的步骤3中所述的巡径RPF方法为：RPF是一种数据驱动方法，用来设计搜索路径以克服局部极值点，考虑将其用于优化阶段，以发现源领域与目标领域之间的特定关系；RPF将关系领域视为图G，常量用节点表示，其任意两个常量的长度至少是2，由边连接；RPF在G中搜索路径，如果找到这个路径，就可以写成闭子句形式；前件是由标记路径上每个边的谓词连接在一起组成 的，标记连接两个常量的边的文字称为结论；利用爬山搜索法，尽可能在前件中增加谓词来提高子句性能。