CN109408527B - 一种基于向量空间的rdf结构化查询自动构建方法 - Google Patents

Abstract

本发明公开了一种基于向量空间的RDF结构化查询自动构建方法，利用概括局部子图将RDF图映射到连续向量空间中，学习RDF图中每个节点与边的向量表示；在给定通过自然语言问题表达的查询意图后，提取问题中的实体、关系短语，并将它们在RDF图中匹配得到候选匹配节点、边；然后，利用RDF图的向量表示将候选匹配节点、边的集合表示为向量并计算最优查询结构；最后利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询。通过对RDF图向量表示的利用，查询构建的效率得到了大大提高；同时可以避免在确定结构过程中对实体与关系短语进行精确的匹配，提高了匹配的召回率；在最后的查询生成过程中，翻译机制也保证了所生成查询与RDF图的一致性。

Description

一种基于向量空间的RDF结构化查询自动构建方法

技术领域

本发明属于基于RDF数据自动回答自然语言问题技术领域，具体涉及一种基于向量空间的RDF结构化查询自动构建方法。

背景技术

RDF全称为资源描述框架(Resource Description Framework)，是国际互联网协会(W3C)推荐的一种发布、分享和连接互联网上各类数据资源的标准规范。近年来，越来越多的大规模RDF图数据，例如DBpedia和Wikidata，被发布在了互联网上。大规模RDF图中包含了丰富的信息。目前，对RDF图进行查询的主要方法是使用结构化的查询语言，例如SPARQL和GraphQL。然而，结构化查询语言的语法规则较为复杂，且在使用时要求用户对RDF图的结构与模式有着精确的认识。这大大阻碍了普通用户对RDF数据的利用，也不利于RDF数据的发展。因此，怎样将用户使用自然语言表达的查询意图自动地转换为可以直接在RDF图中进行查询的结构化查询成为了近年来的研究热点。

现有存在问题如下：

1)首先其针对的是用户输入的关键字，而在很多情况下关键字并不能清楚地表达用户的查询意图，例如：如果用户想查询“奥巴马的妻子的母校是什么？”，那么如果只输入关键词“奥巴马”、“妻子”、“母校”的话，就无法确定用户是想查询“奥巴马的母校”还是“妻子的母校”。而本专利针对的是自然语言问题，因此适用范围更加广范，查询结果更加精确；

2)上述专利是基于传统图论的方法搜索子图并生成SPARQL查询的，如果应用于规模巨大的RDF图，其效率将会变得非常低。而本专利是基于离线过程中学习得到的向量表示进行的，结构化查询的构建主要是数值运算过程，因此效率更高。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于向量空间的RDF结构化查询自动构建方法，以离线过程中学习得到的RDF图的向量表示为基础，通过数值运算的方式高效准确地根据输入的自然语言问题构建结构化查询。

本发明采用以下技术方案：

一种基于向量空间的RDF结构化查询自动构建方法，首先利用概括局部子图将RDF图映射到连续向量空间中，学习RDF图中每个节点与边的向量表示；然后给定通过自然语言问题表达的查询意图后，提取问题中的实体、关系短语，并在RDF图中匹配得到候选匹配节点、边；再利用RDF图的向量表示将候选匹配节点、边的集合表示为向量并计算最优查询结构；最后利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询。

具体的，利用概括局部子图将RDF图映射到连续向量空间中，学习RDF图中每个节点与边的向量表示具体包括以下步骤：

S101、设

为RDF图中节点的集合，ε为RDF图中边的集合；一条RDF三元组为(v_h,e,v_t)，其中，

即头节点v_h由边e指向尾节点v_t，一个RDF图

是RDF三元组的有限集合；

S102、对于RDF图

中的一个节点

其局部子图为三元组集合如下：

对于RDF图中的一个边e∈ε，其局部子图为：

S103、对于RDF图中的一个实体节点

其概括局部子图如下：

其中，v_c'为实体节点v'_e所对应的类别节点；

S104、对于RDF图中的每一个节点v与边e，利用其概括局部子图学习其在连续向量空间中的向量表示，即v与e；该学习过程在离线阶段完成，学习得到的向量表示在后续在线的RDF结构化查询构建中直接使用。

进一步的，步骤S103中，对于RDF图中的一个类别节点

其概括局部子图为：

其中，v_c为实体节点v_e所对应的类别节点；

对于RDF图中的一个边e∈ε，其概括局部子图为：

其中，v_c,v_c'为实体节点v_e,v_e'所对应的类别节点。

进一步的，步骤S104中，在分别给定节点v与边e的概括局部子图

与

的条件下，定义得到节点v与边e的条件概率，通过最大化RDF图中所有节点与边的联合概率，学习得到RDF图的向量表示；

节点v的条件概率如下：

其中，

是一个用于度量节点v′与概括局部子图

之间相互关系的函数；

RDF图中节点的向量表示通过最大化以下联合概率得到：

边e的条件概率如下：

其中，

是一个用于度量节点e′与概括局部子图

之间相互关系的函数；

RDF图中边的向量表示通过最大化以下联合概率得到：

同时考虑节点与边的联合概率，通过最大化目标函数得到RDF图的向量表示如下：

O＝λ_vO_v+λ_eO_e

其中，λ_v与λ_e为权值系数。

具体的，提取问题中的实体、关系短语，并在RDF图中匹配得到候选匹配节点、边的步骤如下：

S201、给定表达查询意图的自然语言问题Q，提取实体短语{ent₁,ent₂,...,ent_n}与关系短语{rel₁,rel₂,...,rel_m}；

S202、将每一个实体/关系短语映射到RDF图中，得到其候选匹配节点/边的集合。

进一步的，步骤S202中，对于实体短语ent₁，其候选匹配节点的集合表示为

对于关系短语rel₁，其候选匹配节边的集合表示为

问题Q所有的候选匹配节点/边集合表示为

与

具体的，利用RDF图的向量表示将候选匹配节点、边的集合表示为向量并计算最优查询结构包括以下步骤：

S301、利用学习得到的RDF向量表示计算每个候选匹配节点集合C_v以及候选匹配边集合C_e的向量表示；

S302、将每个候选匹配节点集合与候选匹配边集合分别看作一个节点与一个边，构建所有可能的目标查询的结构表示；

S303、基于翻译机制，计算每个结构矩阵的损失值如下：

如果结构矩阵M_S'的损失值f₃(M_S')最小，则结构矩阵M_S'表示最优的目标查询结构。

进一步的，步骤S302中，给定候选匹配节点/边集合

与

以结构矩阵来表示一种结构如下：

对于M_S中的每个元素m_i,j，如果m_i,j＝k，则表示候选匹配节点集合

通过候选匹配边集合

连接到了候选匹配节点集合

如果m_i,j＝0，则

与

之间不存在边；

结构矩阵满足条件如下：

如果i＝j，则m_i,j＝0；如果m_i,j＞0，则m_j,i＝0；M_S中非零元素的数量为m；对于一个整数α，如果0＜α＜n+1，则

对于一个整数β，如果0＜β＜m+1，M_S中存在元素m_i,j＝β。

具体的，利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询包括以下步骤：

S401、基于计算得到的最优结构，通过从每个候选匹配节点/边集合中选取一个节点/边可以构建多个可能的结构化查询表示Q_R；

S402、对于每个可能的结构化查询表示，在此计算其损失值f₄(Q_R)；

S403、损失值最小的结构化查询表示为最优的，将其中的类别节点替换为变量，并将变量通过表示类别的边指向原本的类别节点，得到自然语言问题所对应的RDF结构化查询。

进一步的，多个可能的结构化查询表示Q_R表示如下：

损失值f₄(Q_R)表示如下：

。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于向量空间的RDF结构化查询自动构建方法，首先在线下将大规模RDF图映射到向量空间中，目的在于获得RDF图中节点与边的向量表示，从而可以在结构化查询的构建过程中以更高效的数值计算代替传统的图算法。线上过程中，在给定由自然语言问题表达的查询意图后，本发明首先对自然语言问题中的实体短语与关系短语进行匹配，目的在于获得目标结构化查询的构成节点与边；然后，将每个短语的匹配结果表示为一个向量并计算目标查询的结构，提高了确定结构过程的效率；最后，基于计算得到的最优结构，利用翻译机制生成目标结构化查询；这一过程保证了最优候选匹配节点与边的选择是全局最优的，同时通过数值计算也缩短了产生最终结构化查询的时间消耗。

进一步的，在RDF图向量表示的学习过程中考虑概括局部信息，使得同一个实体或关系短语所对应的候选匹配节点或边在向量空间中较为接近，同时保留了翻译机制。

进一步的，首先定义RDF图中节点与边的局部子图，在此基础上定义概括局部子图，为RDF图向量表示的学习提供概括局部信息。

进一步的，通过最大化RDF图中所有节点与边的联合概率，学习得到RDF图的向量表示，学习到的向量表示将应用在结构化查询的构建过程中。

进一步的，在RDF图中对自然语言问题中的实体与关系短语进行匹配，得到候选匹配节点与边。

进一步的，将每个实体与关系短语对应的候选匹配节点与边表示为一个向量，然后利用翻译机制计算目标结构化查询的结构，避免了在确定结构中进行精确的短语匹配，大大提高了效率与召回率。

进一步的，在确定目标查询的结构后，利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询。该过程主要为数值计算，效率高，且产生的结果为全局最优。同时，翻译机制保证了产生的结构化查询与RDF图的一致性。

综上所述，本发明能够解决如何基于自然语言问题所表达的查询意图自动生成RDF结构化查询的问题。其结构化查询的在线构建过程是基于在离线过程中学习到的RDF图的向量表示。一方面，查询构建的效率得到了大大提高；另一方面，本发明避免了在确定结构过程中对实体与关系短语进行精确的匹配，提高了匹配的召回率；最后，本发明基于翻译机制生成最终查询，保证了所生成查询与RDF图的一致性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实例中所述方法的框架图；

图2为本发明实例中所述RDF结构化查询生成的线上过程示意图；

图3为本发明实例中所述最优匹配节点、边选择与目标查询生成过程。

具体实施方式

本发明提供了一种基于向量空间的RDF结构化查询自动构建方法，首先利用概括局部子图将RDF图映射到连续向量空间中，学习RDF图中每个节点与边的向量表示；然后给定通过自然语言问题表达的查询意图后，首先提取问题中的实体、关系短语，并将它们在RDF图中匹配得到候选匹配节点、边；再利用RDF图的向量表示将候选匹配节点、边的集合表示为向量并计算最优查询结构；最后利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询。

请参阅图1，本发明一种基于向量空间的RDF结构化查询自动构建方法，包括以下步骤：

S1、定义RDF图中节点与边的局部子图，基于此分析得到节点与边的概括局部子图，利用概括局部子图表达的信息将RDF图映射到连续低维向量空间中，生成RDF图中节点与边的向量表示；

S101、设

为RDF图中节点的集合，ε为RDF图中边的集合；一条RDF三元组为(v_h,e,v_t)，其中，

即头节点v_h由边e指向尾节点v_t，一个RDF图

是RDF三元组的有限集合；

本申请将RDF图中的节点分为两类，即实体节点与类型节点，每个实体节点

代表了一个确定的实体，而每个类别节点

代表了一类实体节点所属的类别。

S102、对于RDF图

中的一个节点

其局部子图为三元组集合如下：

对于RDF图中的一个边e∈ε，其局部子图为

S103、对于RDF图中的一个实体节点

其概括局部子图如下：

其中，v_c'为实体节点v'_e所对应的类别节点；

对于RDF图中的一个类别节点

其概括局部子图为：

其中，v_c为实体节点v_e所对应的类别节点；

对于RDF图中的一个边e∈ε，其概括局部子图为：

其中，v_c,v_c'为实体节点v_e,v_e'所对应的类别节点。

S104、对于RDF图中的每一个节点v与边e，利用其概括局部子图学习其在连续向量空间中的向量表示，即v与e；该学习过程在离线阶段完成，学习得到的向量表示在后续在线的RDF结构化查询构建中可以直接使用无需更多的更改，本步骤具体过程如下：

对于同一个实体/关系短语所对应的候选匹配节点/边来说，它们的概括局部子图通常包含了相似的信息；在分别给定节点v与边e的概括局部子图

与

的条件下，定义得到节点v与边e的条件概率，通过最大化RDF图中所有节点与边的联合概率，学习得到RDF图的向量表示。

节点v的条件概率如下：

式中，

是一个用于度量节点v′与概括局部子图

之间相互关系的函数，定义如下：

式中，

为

中三元组的个数；

RDF图中节点的向量表示可以通过最大化以下联合概率得到：

边e的条件概率如下：

式中，

是一个用于度量节点e′与概括局部子图

之间相互关系的函数，定义如下：

式中，

为

中三元组的个数；

RDF图中边的向量表示可以通过最大化以下联合概率得到：

同时考虑节点与边的联合概率，通过最大化一下目标函数得到RDF图的向量表示：

O＝λ_vO_v+λ_eO_e

式中，λ_v与λ_e为权值系数。

考虑到RDF图的规模巨大，直接计算以上联合概率将是费时甚至不切实际的，在此可以基于负采样进行估算。

以节点v的条件概率为例，可通过以下公式估算：

式中，n为负例的数量，σ(·)为sigmoid函数，v'为从负例节点集合

中抽样得到的负例节点，且对于任意

要求

S2、给定由自然语言问题表达的查询意图，对该自然语言问题进行分析，提取自然语言问题中的实体短语和关系短语；然后，在RDF图中对实体短语和关系短语进行匹配，得到每个实体短语可能对应的节点以及每个关系短语可能对应的边，即候选匹配节点与候选匹配边，如图2所示；

S201、给定表达查询意图的自然语言问题Q，首先从中提取实体短语{ent₁,ent₂,...,ent_n}与关系短语{rel₁,rel₂,...,rel_m}；

每个实体短语将对应于结构化查询中的一个节点或变量，而每个关系短语将对应于结构化查询中的一条边；

S202、将每一个实体/关系短语映射到RDF图中，得到其候选匹配节点/边的集合；

对于实体短语ent₁其候选匹配节点的集合表示为

对于关系短语rel₁，其候选匹配节边的集合表示为

问题Q所有的候选匹配节点/边集合可以表示为

与

S3、利用RDF图在连续向量空间中的表示，将每个实体/关系短语所对应的多个候选匹配节点/边表示为一个连续向量。然后利用翻译机制，计算得到目标RDF结构化查询的最优结构，如图2所示；

S301、利用学习得到的RDF向量表示计算每个候选匹配节点集合C_v以及候选匹配边集合C_e的向量表示，如下所示：

S302、将每个候选匹配节点集合与候选匹配边集合分别看作一个节点与一个边，构建所有可能的目标查询的结构表示；

给定候选匹配节点/边集合

与

在此以结构矩阵来表示一种结构，如下所示：

对于M_S中的每个元素m_i,j，如果m_i,j＝k，则表示候选匹配节点集合

通过候选匹配边集合

连接到了候选匹配节点集合

而如果m_i,j＝0，则

与

之间不存在边。

结构矩阵应满足以下条件：

1)如果i＝j，则m_i,j＝0；

2)如果m_i,j＞0，则m_j,i＝0

3)M_S中非零元素的数量为m；

4)对于一个整数α，如果0＜α＜n+1，则

5)对于一个整数β，如果0＜β＜m+1，M_S中存在元素m_i,j＝β；

S303、基于翻译机制，计算每个结构矩阵的损失值，如下所示：

对于结构矩阵M_S'，如果其损失值f₃(M_S')最小，则M_S'即表示了最优的目标查询结构。

S4、基于计算得到的最优结构以及翻译机制，在向量空间中计算得到每个实体/关系短语所对应的最优匹配节点/边；再将最优匹配节点中的类型节点替换为变量后生成目标RDF结构化查询，如图3所示。

S401、基于计算得到的最优结构，通过从每个候选匹配节点/边集合中选取一个节点/边可以构建多个可能的结构化查询表示，表示如下：

S402、对于每个可能的结构化查询表示，在此计算其损失值，如下：

S403、损失值最小的结构化查询表示即为最优的，将其中的类别节点替换为变量，并将变量通过表示类别的边指向原本的类别节点，即可以得到自然语言问题所对应的RDF结构化查询。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (7)

1.一种基于向量空间的RDF结构化查询自动构建方法，其特征在于，首先利用概括局部子图将RDF图映射到连续向量空间中，学习RDF图中每个节点与边的向量表示；然后给定通过自然语言问题表达的查询意图后，提取问题中的实体、关系短语，并在RDF图中匹配得到候选匹配节点、边；再利用RDF图的向量表示将候选匹配节点、边的集合表示为向量并计算最优查询结构；最后利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询；

利用概括局部子图将RDF图映射到连续向量空间中，学习RDF图中每个节点与边的向量表示具体包括以下步骤：

S101、设

为RDF图中节点的集合，ε为RDF图中边的集合；一条RDF三元组为(v_h,e,v_t)，其中，

即头节点v_h由边e指向尾节点v_t，一个RDF图

是RDF三元组的有限集合；

S102、对于RDF图

中的一个节点

其局部子图为三元组集合如下：

对于RDF图中的一个边e∈ε，其局部子图为：

S103、对于RDF图中的一个实体节点

其概括局部子图如下：

其中，v_c'为实体节点v'_e所对应的类别节点；

S104、对于RDF图中的每一个节点v与边e，利用其概括局部子图学习其在连续向量空间中的向量表示，即v与e；该学习过程在离线阶段完成，学习得到的向量表示在后续在线的RDF结构化查询构建中直接使用；

利用翻译机制选取每个候选集合中的最优匹配节点、边并生成目标结构化查询包括以下步骤：

S401、基于计算得到的最优结构，通过从每个候选匹配节点/边集合中选取一个节点/边可以构建多个可能的结构化查询表示Q_R；

S402、对于每个可能的结构化查询表示，在此计算其损失值f₄(Q_R)；

S403、损失值最小的结构化查询表示为最优的，将其中的类别节点替换为变量，并将变量通过表示类别的边指向原本的类别节点，得到自然语言问题所对应的RDF结构化查询，多个可能的结构化查询表示Q_R表示如下：

损失值f₄(Q_R)表示如下：

。

2.根据权利要求1所述的基于向量空间的RDF结构化查询自动构建方法，其特征在于，步骤S103中，对于RDF图中的一个类别节点

其概括局部子图为：

其中，v_c为实体节点v_e所对应的类别节点；

对于RDF图中的一个边e∈ε，其概括局部子图为：

其中，v_c,v_c'为实体节点v_e,v_e'所对应的类别节点。

3.根据权利要求2所述的基于向量空间的RDF结构化查询自动构建方法，其特征在于，步骤S104中，在分别给定节点v与边e的概括局部子图

与

的条件下，定义得到节点v与边e的条件概率，通过最大化RDF图中所有节点与边的联合概率，学习得到RDF图的向量表示；

节点v的条件概率如下：

其中，

是一个用于度量节点v′与概括局部子图

之间相互关系的函数；

RDF图中节点的向量表示通过最大化以下联合概率得到：

边e的条件概率如下：

其中，

是一个用于度量节点e′与概括局部子图

之间相互关系的函数；

RDF图中边的向量表示通过最大化以下联合概率得到：

同时考虑节点与边的联合概率，通过最大化目标函数得到RDF图的向量表示如下：

O＝λ_vO_v+λ_eO_e

其中，λ_v与λ_e为权值系数。

4.根据权利要求1所述的基于向量空间的RDF结构化查询自动构建方法，其特征在于，提取问题中的实体、关系短语，并在RDF图中匹配得到候选匹配节点、边的步骤如下：

S201、给定表达查询意图的自然语言问题Q，提取实体短语{ent₁,ent₂,...,ent_n}与关系短语{rel₁,rel₂,...,rel_m}；

S202、将每一个实体/关系短语映射到RDF图中，得到其候选匹配节点/边的集合。

5.根据权利要求4所述的基于向量空间的RDF结构化查询自动构建方法，其特征在于，步骤S202中，对于实体短语ent₁，其候选匹配节点的集合表示为

对于关系短语rel₁，其候选匹配节边的集合表示为

问题Q所有的候选匹配节点/边集合表示为

与

6.根据权利要求1所述的基于向量空间的RDF结构化查询自动构建方法，其特征在于，利用RDF图的向量表示将候选匹配节点、边的集合表示为向量并计算最优查询结构包括以下步骤：

S301、利用学习得到的RDF向量表示计算每个候选匹配节点集合C_v以及候选匹配边集合C_e的向量表示；

S302、将每个候选匹配节点集合与候选匹配边集合分别看作一个节点与一个边，构建所有可能的目标查询的结构表示；

S303、基于翻译机制，计算每个结构矩阵的损失值如下：

如果结构矩阵M_S'的损失值f₃(M_S')最小，则结构矩阵M_S'表示最优的目标查询结构。

7.根据权利要求6所述的基于向量空间的RDF结构化查询自动构建方法，其特征在于，步骤S302中，给定候选匹配节点/边集合

与

以结构矩阵来表示一种结构如下：

对于M_S中的每个元素m_i,j，如果m_i,j＝k，则表示候选匹配节点集合

通过候选匹配边集合

连接到了候选匹配节点集合

如果m_i,j＝0，则

与

之间不存在边；

结构矩阵满足条件如下：

如果i＝j，则m_i,j＝0；如果m_i,j＞0，则m_j,i＝0；M_S中非零元素的数量为m；对于一个整数α，如果0＜α＜n+1，则

对于一个整数β，如果0＜β＜m+1，M_S中存在元素m_i,j＝β。

Images