CN104246763B - 对文本进行处理以构造文本模型的方法 - Google Patents

Abstract

文本被处理以构造文本的模型。文本具有共用词汇。文本被分成文本的集合和子集。共用词汇在两个或更多个集合中的用法不同，并且两个或更多个子集的主题不同。针对文本定义概率模型。该概率模型将文本中的各单词视为具有位置和单词值的标志，并且使用该概率模型中的随机变量的分布来表示在文本中的共用词汇的用法、主题、子主题和针对各标志的单词值，其中该随机变量是离散的。对应于与单词关联的词汇用法、单词值、主题和子主题，针对模型，估计参数。

Description

对文本进行处理以构造文本模型的方法

技术领域

本发明总体上涉及文本处理，更具体地，涉及构造针对具有共用词汇的不同用法的文本的集合的模型。

背景技术

在许多实际情形下，文本中具有不同词汇用法模式的片段可能指的是相同的主题，然而这些片段可能使用不同的关键词语来表达相同的含义。例如，同种语言的不同地方方言、论述中的正式的或学术的不同级别、写作的不同风格代表了词汇用法的这种差异，所有这些我们可以称之为更广义的方言。重要的问题则是：给定了一种方言中的查询词语，如何可以可靠地以不同方言返回相关片段。解决这种问题在信息检索方面将会具有实际价值，其中在不熟悉领域利用不同的关键词语搜索可用信息会是困难的任务。这种情形的示例是针对不同编程语言的用户手册、针对不同品牌产品的用户手册，或者来自不同大学的选课目录。

在统计学中，潜在狄利克雷分配(LDA)是生成模型(generative model)，其试图通过分析文档中单词的同时出现来寻找被称为主题的单词簇的。LDA及其扩展将各文档建模为主题的混合体，其中，各单词从多个主题中的一个产生。

LDA指定概率过程来产生文档中的单词，就这个意义而言，它是生成模型。对于给定文档，根据狄利克雷分布先验概率提取多项式主题概率的集合和被给定主题的多项式单词概率的集合。然后，对于文档中的各单词位置，根据文档的主题概率提取主题；最后，根据该主题的单词概率分布提取单词。然而，当观察数据时，各文档的主题分布、被给定主题的单词的概率分布和产生文档中的各单词的主题是未知的。LDA中的推测总体上是对各文档中的主题概率的后验分布、被给定主题的单词的概率、主题向各单词的指派的估计。

尽管LDA本身不旨在将方言依存性建模，但已经为此目的开发了它的许多扩展。

使用主题模型的词意明确化方法试图根据单词的预定标记的层次来学习多义词的隐含含义。用于多语言语料库的其它模型需要对齐的或在句法上近似的文档。其它模型作用于未对齐的文档，然而，这些模型以不同词汇对对应主题建模。相比之下，我们的方法是完全不受监督的并且在共用词汇内对方言建模。

这些方面的一个相关工作是“方言主题模型”(diaTM)，它将语料库中的不同文档与来自方言混合体和主题混合体这两者的不同提取物相关联。我们正在考虑以下应用：将各语料库与仅一种方言相关联并且所有语料库共用通用主题集合。然而，各语料库可将不同术语与各主题相关联。这样将在不带来主题的差别的情况下，引起语料库(对应于方言)中语言的系统性变化。“方言主题模型”的结构没有使得这种约束的定制化容易，因为它允许各语料库定义不同的主题集合。

其它相关工作是适应主题的潜在狄利克雷分配模型(τLDA)和层次潜在狄利克雷分配(hLDA)模型，潜在狄利克雷分配模型将技术层次与主题层次平行地建模，层次潜在狄利克雷分配模型使用巢型中国餐厅处理(nested Chinese restaurant process)对针对已学习的主题的树状层次建模。这些模型最适于解决不同特异性(或“技术性”)级别的文档，这不一定是我们考虑的应用中的情况。

以上方法的另一个问题是，这些方法不能够直接识别随方言变化而变化的等同词语的集合。这表示将该问题的固有约束精确地建模的失败，并且会导致信息检索的结果不准确。

发明内容

本发明总体涉及处理文本的集合。假设各集合(也被称为“语料库”)包括文本的子集合(也被称为“文档”)。语料库内的所有文档通过相同的词汇用法模式(也称为“方言”)表征，而它们就标题(也被称为“主题”)而言可以是不同的。词汇中的一些词语在含义上是等同的，但在不同方言上系统性地不同。该模型可分开地表征各文档的方言和主题，以隔离针对特定任务而关注的成分(方言或主题)。

术语“语料库”和“文档”没有约束这些术语可表示的内容。语料库可以是文本的集合，并且文档是该文本的子集合。例如，语料库可以是不同的书，文档可以是这些书中的章节，或者各语料库可以是一群人写的消息的集合，并且文档可以是该集合中的一些段落。同样，以上提及的“主题”和“方言”将分别取它们的标题和词汇用法的一般含义。

本发明的实施方式提供了针对由共用词汇的不同方言中的单词构成的文档的概率模型。具体地，该模型是基于被称为潜在狄利克雷再分布(LDR)的潜在狄利克雷分布(LDA)的扩展形式。LDR是LDA的扩展形式，其旨在处理以下情况：存在通过变化词汇用法来表征的多个语料库，在这个意义上，使用一个语料库中的特定单词表示的含义可使用另一个语料库中的不同单词来表示，这个差别不依赖于语料库内的特定文档。

LDR使用主题模型将单词分布分配给各文档。在LDR中，以方言独立方式用主题产生被称为子主题的单词占位符，继而子主题以方言依存方式产生单词。借助这些子主题，LDR能够在可变术语(随方言的变化而变化的术语)之间进行单词概率的再分配。相比之下，如果对于所有这些方言而言术语的用法是等同的，则词汇术语相对于特定方言集合是恒定的。

实施方式提供了使用诸如吉布斯采样或混合型蒙特卡罗(Monte-Carlo)的蒙特卡罗方法进行推测的方法。

在统计学中，吉布斯采样用两个或更多个随机变量的联合概率分布产生一系列样本。这些样本逼近联合后验分布。

附图说明

图1是根据本发明的实施方式的图形模型。

图2是现有技术的主题模型的图形模型。

图3是根据本发明的实施方式的产生文本模型的流程图。

图4是根据本发明的实施方式的对文本集合建模的方法的流程图。

具体实施方式

介绍

本发明的实施方式提供了潜在狄利克雷分配(LDA)的扩展形式，称为潜在狄利克雷再分配(LDR)。LDR是旨在处理由不同的词汇用法来表征多个语料库中的至少一些而其它语料库可以具有相同词汇用法的情况的现有技术LDA的扩展形式。通常，如本文使用的，词汇用法与单词在各种文本中的用法有关。

在LDR中，仍然针对各文档从狄利克雷分配独立地提取主题概率，并且针对文档中的各单词位置从这些分布中提取主题，完全和在LDA中一样。这里我们认为文本中的各单词是具有位置和单词值的标志(token)。

然而，LDR主题不直接产生单词，而是产生针对被称为子主题的单词的占位符。这些子主题旨在代表单词的语义含义。因此，本文中子主题的使用具有与语义相关的特别含义，这是在现有技术文本建模中没有发现的。

各文档的单词然后从被给定子主题的单词的概率提取。这些单词概率依赖于语料库的词汇用法(但不依赖于语料库内的特定文档)并且允许用不同的单词表达给定含义，这依赖于语料库中出现的词汇用法。这被称为依赖于词汇用法，将针对特定含义的概率“再分配”给不同的单词。

针对各方言的被给定子主题的单词的概率从狄利克雷分布提取，如被给定主题的子主题的概率那样。然而，从只具有几个非零元素的意义上来说，针对被给定子主题的单词的概率的狄利克雷分布的参数被约束成稀疏的。在统计学中，稀疏是本领域熟知的术语。

针对给定子主题，只有几个单词具有明显非零的概率，在这个意义上，这样确保了子主题中的单词数量少。

通常，LDR中的推测涉及以下各项的后验分布的估计：

1)方言概率；

2)各文档中的主题概率；

3)被给定主题的子主题的概率；

4)被给定子主题和方言的单词的概率；

5)将方言向各语料库的指派；

6)将子主题向各标志的指派；以及

7)将主题向各标志的指派。

相关现有技术是“方言主题模型”，其将语料库中的不同文档与来自方言混合体和主题混合体的不同样本相关联。该模型遭受不被约束的困扰，在于各方言具有其自身的由被给定主题的单词的概率的集合。这妨碍了主题在不同方言上可识别。

我们的LDR模型的区别在于，根据独立于方言的由子主题给定的主题的概率，在不同的方言上，主题被约束成相同的。由单词给定的子主题的概率受以独立于方言的方式稀疏的狄利克雷先验概率的约束，使得各子主题仅能够产生属于小的集合的单词，而与方言无关。“方言主题模型”的不同结构没有促使构想出这种约束。

现有技术的方言主题模型可以退化成针对各方言的独立的主题模型，而我们的LDR模型产生对应于不同方言的主题模型。与“主题适应”(另一种现有技术的方法)相反，我们的模型向词语分配合适的概率，然后，能够在少量术语之间进行概率的依赖于方言的再分配。因此，我们的模型可用于同时处理来自不同方言的文档，以及推测与之前未见的文档对应的方言。用现有技术的主题适应方法，这是不可能的。

在本说明书中，定义并且使用下面的变量。

C：语料库的数量

c：语料库索引

D_c：预料库c中的文档的数量

d：语料库c中的文档的索引

z：主题(在子主题上的分布)(z_i：针对标志i的主题指派)

k：主题索引

K：主题的数量

θ_c,d：语料库c中针对文档d的主题分布

φ_k：主题k的子主题的主题独立(多项)分布

u：子主题或含义(单词分布)(u_i：针对标志i的子主题指派)

m：子主题索引

M：子主题的数量

V：词汇大小

J：预期对于子主题内的所有方言而言可变的术语的平均数量

w：单词(w_i：针对标志i的单词指派)

N_c,d：语料库c的文档d中的单词的数量

l：方言(l_c：语料库c的方言分派)

L：方言的数量

Ψ：在方言上的分布

π：对称狄利克雷分布(对于Ψ)的标量参数

γ_l,m：针对子主题m和方言l的单词的多项式分布

η_m：针对子主题m的子主题独立狄利克雷先验概率(对于γ_l,m)

α：针对对称狄利克雷分布的标量参数(对于θ_c,d)

β：针对对称狄利克雷分布的标量参数(对于φ_k)

λ：标量参数化指数分布

W：所有单词指派的集合

Z：所有主题指派的集合

U：所有子主题分派的集合

X：随机变量

Θ：所有θ_c,d的集合

Φ：所有φ_k的集合

γ：所有γ_l,m的集合

Dir：狄利克雷分布

exp：指数分布

Mult：多项式分布

潜在狄利克雷再分配

在LDR中，假设根据从语料库独立多项先验分布提取的相同语料库依存词汇用法(或方言)l_c∈{1，...，L}将写入语料库c＝1，...，C中的文档d＝1，...，D_c。特定情况从将方言的数量设置成等于语料库的数量并且将一个方言指派给各自语料库得到。

我们将各文档d＝1，...，D_c与从狄利克雷分布提取的主题上的分布θ_c,d相关联，其中，所有语料库在所有主题上被共用。这里，我们向各主题z∈{1，...，K}关联“子主题”u∈{1，...，M}上的分布。我们向各子主题关联词汇术语{1，...，V}上的分布。以下，描述子主题背后的直观。

对于各标志i＝1，...，N_c，d，根据θ_c,d提取主题z_i＝k然后，从主题依存多项式φ_k提取子主题u_i＝m。依赖于方言和子主题指派这二者，从多项式γ_lc,m中选择词汇术语。

我们模型的关键特征是我们对γ_l:L,1:M设置的子主题依存狄利克雷先验概率η_1:M。以下，描述这个特征的动机。

生成模型

详细地，指定先验的、多个方言L、主题K、子主题M和词汇大小V，其中，K明显小于M，M小于V。该模型具有针对对称狄利克雷分布的三个标量参数α、β和π。标量λ将指数分布参数化。

生成模型是

1.η_m|λ～exp(λ)；m＝1，...，M；

2.φ_k|β～Dir(β)；k＝1，...，K；

3.ψ|π～Dir(π)；

4.γ_l，m|η_m～Dir(η_m)，m＝1，...，M，l＝1，...，L；

5.针对c＝1，...，C：

a)l_c|ψ～Mult(ψ)，

b)θ_c，d|α～Dir(θ)，d＝1，...，D_c；

6.针对c＝1，...，C，d＝1，...，D_c，i＝1，...，N_c，d：

a)z_c，d，i|θ_c，d～Mult(θ_c，d)，

为了简化这个描述，在θ_1:C,1:Dc、Ψ和φ_1：K的狄利克雷分布先验概率是对称的。然而，实际上，它们可以不对称。

注意的是，以上的生成处理只是模型结构的定义，并且在实践中它不实际用于数据的构造。仅假设观察到的数据是这样产生的。对观察到的数据进行分析的目标是通过求解逆问题来估计模型的参数。

图1示出针对我们LDR的图形模型100，该模型指定变量之间的统计依存关系。这使用了称为“板计数法”的计数法。在右下角带有字母“X”的各矩形意味着该结构将被重复X次。这里，大矩形意味着将相同结构重复C次，针对每个语料库一次。然后，在各语料库c内，再将中间大小的矩形中的结构重复D次，针对语料库中每个文档一次(精确地说，D_c次)，因为对于不同语料库，各语料库中的文档的数量可以不同。然后，在属于语料库c的各文档d中，将最内结构重复N次，针对该文档内部每个单词一次(精确地说，N_c,d)，因为对于不同文档，各文档中的单词的数量可以不同。如果存在连接A和B的定向边，则对A有条件地(即，根据依赖于A的分布)产生随机变量B。这与这些变量是否在同一矩形内无关。

注意的是，这不是处理图。使用这个模型的过程观察来自给定文档的单词并且寻找后验概率分布，和/或所关注变量(诸如，方言)的最有可能的值、或与主题分布最佳匹配的数据库中的文档。

图2示出与现有技术LDA相当的模型。在该模型中，外部矩形201代表文档，并且内部矩形202代表文档内的主题和单词的重复选择。

术语之间的建模再分配

现在，描述我们LDR的动机，重点放在直观上。

单词的子主题含义

M个子主题是单词W_i的期望的“含义”。独立于方言来从主体依存分布提取子主题u_i，并且单词概率依赖于单词的期望的含义和方言这两者是有意义的。

理想地，每个恒定术语对应于其自身的子主题。对于可变术语，该模型向群组指派含义等同的术语，并且将一个子主题与该群组中的所有术语相关联。

我们考虑子主题与恒定术语相关联。在这种情况下，已经确定了单词，并且适当构造的子主题依存多项式没有将概率再分配给另一个术语。然而，当选择对应于可变群组的子主题时，正确地向最高概率再分配给适于方言的术语。

用于再分配的稀疏狄利克雷分布先验概率

我们描述用于自动学习适当构造的多项式的技术。

通过为γ_l:L,1:M给定由η_1:M参数化的、子主题依存的、非对称狄利克雷分布先验概率，使用贝叶斯方法以不受监管的方式自动学习适当构造的多项式。

在V-1维的概率单成形定义狄利克雷分布，V-1维的概率单成形是其中各顶点对应于词汇术语的多面体。我们希望这个狄利克雷分布是稀疏的，即，对于分布，在多面体的(p-1)面(对应于子主题m下的p个可变术语)或者单个顶点(子主题m下的恒定术语)赋予权重。狄利克雷分布本身并非稀疏的，但来自分布中的提取物支持稀疏。

针对稀疏狄利克雷分布的超先验

狄利克雷分布转换成任何高概率词汇术语，例如，针对子主题m的j'，具有大于所有其它术语的对应η_m，j′。为了促进此转换，我们在各η_1:M的各分量上设置共用指数超先验。也就是说，假设η_m,j～exp{λ}，m＝1,…,M，j＝1,…,V.

我们提出了用于设置标量λ的试探。如果J是术语的平均数量，则期望在子主题m内在所有方言上术语变化。考虑随机变量X_i～i.i.d.exp(λ)中的提取物。我们想要将大于一的采样术语的期望数量约束成J，也就是说，对应的标量是λ＝log(V)-log(J)。

平均地，语料库内的各文档使用一个术语，这个术语对于不同方言是变化的。这对应于词汇中的总共D＝Σ_cΣ_d1个可变术语，我们期望在子主题上平均分布。因此，J＝D/M并且

将组合搜索放宽为贝叶斯再分配

我们描述学习在多个方言上的单词等同的问题。因此，我们形成针对各方言的术语的多项式概率(这里，γ_1:L)以最优地表征方言。这样必须找到术语的最优稀疏选择来表示方言中的可变术语。这是搜索空间等于V的幂集的组合优化问题，该问题造成了计算上难控制的任务。

通过使用贝叶斯法和在多个方言上共用的子主题依存狄利克雷分布先验概率，我们将组合搜索放宽到连续优化，其是在推测期间自动执行的。

从含义到子主题

我们希望M非常接近V，并且每个词汇术语(或可变术语的群组)具有对应的逐个方言的单词多项式，准确地指明何时使用该术语。然而，这必须满足LMV≈LV²单词多项式参数，对于实际应用这是不合理的。因此，我们减小了M的值。

推测和学习

对于我们的模型而言遗憾的是指数和狄利克雷分布不是共轭的，所以变分推测和吉布斯采样不是直接进行的。可以通过使用各种采样方法(诸如，混合蒙特卡罗、倒塌吉布斯采样或切片采样)执行推测。

图3示出根据本发明的实施方式的对文档建模的步骤。

图1中实现的概率模型302与包括用语料库和文档标记的文本训练数据在内的训练数据301结合使用，以估计303包括方言、主题、子主题和单词分布参数在内的模型参数304。

以上步骤可在如本领域已知的与存储器和输入/输出接口连接的处理器中执行。

在这一点上，该模型可用于多种应用，诸如方言估计、主题估计、检索主题相关文档、文档摘要或其它语言建模任务。

应用

图4示出本发明在示例应用中的使用。图1中实现的概率模型402与包括用语料库和文档标记的文本训练数据在内的训练数据401结合使用，以估计403包括方言、主题、子主题和单词分布参数在内的模型参数404。

为了方言估计，文本输入405与模型参数404结合使用，以计算410从中导出方言类别估计411的方言分数。

为了主题估计，文本输入405与模型参数404结合使用，以计算420从中导出主题类别估计421的主题分数。

为了文档检索，文本输入405与模型参数404结合使用，以计算430从中导出匹配文档ID 431的文档分数。

本发明的效果

潜在狄利克雷再分配能够成功地学习先验概率，以在没有过拟合的情况下表征由不同方言构成的文档。

在搜索应用中，在给定了查询术语或文档的情况下，能够使用LDR根据文档主题的分布将术语与其它各语料库中的最有可能的文档相关联。

另选地，能够使用诸如相关主题模型这样的联系方法来推测来自不同语料库的任两个文档之间的联系。解释是除了方言外，所联系文档涵盖了相同材料。

Claims (9)

1.一种在被处理器中执行的程序访问的存储器中的对文本进行处理以构造该文本的模型的方法，该方法包括以下步骤：

获取所述文本，其中，所述文本具有共用词汇，其中，所述文本包括单词，其中，所述文本被划分成文本集合并且至少一个文本集合被划分成文本的子集，其中，共用词汇在两个或更多个集合中的用法不同，并且两个或更多个子集的主题不同；

在所述存储器中存储针对所述文本的概率模型，其中，所述概率模型将所述文本中的各单词视为具有位置和单词值的标志，并且使用所述概率模型中的随机变量分布来表示在所述文本中针对各标志的共用词汇的用法、主题、子主题和单词值，其中，所述随机变量是离散的，其中，各文本集合具有词汇用法随机变量，其中，各标志与对应于所述主题、所述子主题和所述单词值的随机变量相关联，其中，与针对所述标志的所述主题关联的所述随机变量的分布依赖于包括所述标志的文本的子集合，与针对所述标志的所述子主题关联的所述随机变量的分布依赖于所述标志的所述主题，并且针对所述标志的单词值的随机变量分布依赖于包括所述标志的文本集合的所关联的子主题和词汇用法；以及

基于与所述单词关联的所述词汇用法、所述单词值、所述主题和所述子主题，估计所述概率模型的参数，其中，所述方法中的所述步骤在处理器中执行。

2.根据权利要求1所述的方法，所述方法还包括以下步骤：

使用所述模型来估计词汇用法。

3.根据权利要求1所述的方法，其中，训练数据中的各词汇用法对应于方言。

4.根据权利要求3所述的方法，所述方法还包括：

使用所述模型来估计所述文本的方言。

5.根据权利要求2所述的方法，所述方法还包括：

优化独立于词汇用法的主题模型。

6.根据权利要求1所述的方法，所述方法还包括：

使用所述模型检索对于词汇用法而言不变的在主题上相关的子集合。

7.根据权利要求1所述的方法，所述方法还包括：

使用所述模型执行文本摘要化。

8.根据权利要求1所述的方法，所述方法还包括：

将被给定子主题的单词指派的分布约束成稀疏的。

9.根据权利要求1所述的方法，其中所述模型是潜在狄利克雷模型。