CN101894297A - 判别设备、判别方法和计算机程序 - Google Patents

Abstract

本发明提供了一种判别设备、判别方法和计算机程序，所述判别设备包括：特征量提取部，其从判别对象中提取特征量；以及判别器，所述判别器包括：被表达为贝叶斯网络的多个弱判别器，所述贝叶斯网络具有节点，向每个节点分配从所述特征量提取部输入的两个或更多所述特征量中的对应一个特征量；以及组合器，其组合通过所述多个弱判别器获得的所述判别对象的各个判别结果。

Description

判别设备、判别方法和计算机程序

技术领域

本发明涉及一种判别设备、判别方法和计算机程序，其使用基于对象的特征量来单独地判别对象的多个弱假设通过助推(boosting)来进行判别，并且通过助推来学习弱假设。

背景技术

通过样本学习获得的学习机包括许多弱假设和对这些假设进行组合的组合器。这里，作为在不依赖于输入的情况下使用固定权重对弱假设的输出进行集成的组合器的例子，提供了“助推”。

在助推中，学习样本的分布被处理，使得通过使用以前生成的弱假设的学习结果而增加不擅长制造错误的学习样本的权重，并且基于该分布执行新的弱假设的学习。因此，产生了许多不正确答案并难以判别的学习样本的权重相对增加，并且弱判别器一个接一个地被选择，使得正确的答案被给予具有重的权重、换言之即难以判别的学习样本。一个接一个地执行弱假设在学习中的生成，并且稍后生成的弱假设依赖于较早生成的弱假设。

这里，基于弱假设进行判别处理的弱判别器对应于“滤波器”，该滤波器使用某种特征量根据输入而输出二元确定结果。一般地，当助推用作判别器时，常常使用判别与每个维度无关的提取的特征量的阈值的弱假设的类型。然而，问题在于，许多弱假设对于产生良好性能而言是必要的。而且，用户发现难以获得学习之后的弱假设的配置，并且因此学习结果的可读性不足。而且，用于判别的弱假设的数目会影响在确定时的计算量，并且这样一来就难以通过具有不足计算能力的硬件来实现判别器。

而且，作为另一个例子，已提议了一种总体学习设备，其使用弱判别器作为滤波器，该滤波器使用非常简单的特征量(像素之间的差别特征)、亦即两个参考像素的亮度值之间的差别来判别对象(例如参见日本待审专利申请公布第2005-157679号)。通过该设备，可以在牺牲识别性能的同时加速对象的检测处理。然而，如果对象难以通过差别来线性判别，则对象无法通过弱假设来分类。

发明内容

希望提供一种极好的判别设备、判别方法和计算机程序，其优选地使用基于对象的特征量来单独地判别对象的多个弱假设通过助推来进行判别，并且允许优选地通过助推来学习单独的弱假设。

还希望提供一种极好的判别设备、判别方法和计算机程序，其可以提高判别性能，同时减少将要使用的弱假设的数目。

进一步希望提供一种极好的判别设备、判别方法和计算机程序，其可以缩短学习时间，减少判别时的计算量，并且通过减少将要使用的弱假设的数目而实现学习结果可读性方面的改善。

根据本发明的实施例，提供了一种判别设备，其包括：特征量提取部，其从判别对象中提取特征量；以及判别器，所述判别器包括：被表达为贝叶斯(Bayesian)网络的多个弱判别器，所述贝叶斯网络具有节点，向每个节点分配从所述特征量提取部输入的两个或更多所述特征量中的对应一个特征量；以及组合器，其组合通过所述多个弱判别器获得的所述判别对象的各个判别结果。

在上述实施例中，判别器可以使用具有弱假设的贝叶斯网络的判别目标节点的推断概率作为弱假设的输出。

在上述实施例中，BOW(Bag of Words，词袋)或其它高维特征量向量可以用于判别对象，并且弱判别器可以包括从特征量提取部所提取的高维特征量向量当中使预定的维度数目或以下的特征量作为每个节点的贝叶斯网络。

在上述实施例中，文本可以包括在判别对象中，并且判别器可以对意见语句或其它种类的文本执行二元判别。

在上述实施例中，基于弱假设贝叶斯网络的判别目标节点的推断概率是否大于预定值，判别器可以确定弱假设的正误。

根据上述实施例的判别设备可以进一步包括学习部，该学习部学习将要由多个弱判别器分别使用的弱假设以及使用助推通过以前的学习而获得的各个弱假设的权重信息。

在上述实施例中，学习部通过限制由一个弱假设使用的特征量维度的数目，可以减少弱假设候选的数目。

在上述实施例中，学习部在用于一个弱假设的特征量维度的数目为1的假定之下可以计算每个维度的一维弱假设的估计值，并且可以通过以维度的估计值的降序方式组合用于弱假设的必要数目的特征量维度来创建弱假设候选。

而且，根据本发明的另一个实施例，提供了一种判别方法，其包括以下步骤：从判别对象中提取特征量；以及通过被表达为贝叶斯网络的多个弱假设来判别所述判别对象，所述贝叶斯网络具有节点，向每个节点分配通过提取特征量的步骤而获得的两个或更多所述特征量中的对应一个特征量，并且组合通过所述多个弱假设获得的所述判别对象的各个判别结果。

而且，根据本发明的另一个实施例，提供了一种计算机程序，其使计算机起到判别设备的作用，所述判别设备包括：特征量提取部，其从判别对象中提取特征量；以及判别器，所述判别器包括：被表达为贝叶斯网络的多个弱判别器，所述贝叶斯网络具有节点，向每个节点分配从所述特征量提取部输入的两个或更多所述特征量中的对应一个特征量；以及组合器，其组合通过所述多个弱判别器获得的所述判别对象的各个判别结果。

上述计算机程序是以计算机可读格式描述的计算机程序，以便在计算机上实现预定处理。换言之，通过在计算机中安装上述计算机程序，基于协调的操作可以获得与上述判别设备相同的优点。

通过本发明，可以提供一种极好的判别设备、判别方法和计算机程序，其优选地使用基于对象的特征量来单独地判别对象的多个弱假设通过助推来进行判别，并且允许优选地通过助推来学习单独的弱假设。

而且，通过本发明，可以提供一种极好的判别设备、判别方法和计算机程序，其可以提高判别性能，同时减少将要使用的弱假设的数目。

而且，通过本发明，可以提供一种极好的判别设备、判别方法和计算机程序，其可以缩短学习时间，减少判别时的计算量，并且通过减少将要使用的弱假设的数目而实现学习结果可读性方面的改善。

在一般的弱假设中，特征量的各个维度独立地经历阈值判别，并且难以实现良好的性能，除非使用许多弱假设。而且，在使用许多弱假设的情况下，用户变得难以掌握学习之后的弱假设的配置。与此形成对照，通过本发明的上述实施例，贝叶斯网络(BN)用作弱假设，并且通过输入学习样本使用BN弱假设来进行推断。因此，将判别对象的特征量与分别对应于特征量的各个维度的多个判别表面相比较，以便可以获得高性能。而且，通过本发明，可以产生下述良好结果：使用BN弱假设在助推中减少弱假设的数目，并且改善学习结果的可读性。

通过本发明的实施例，弱假设贝叶斯网络的判别目标节点的推断概率用作弱假设的输出，并且通过多个弱判别器获得的判别对象的各个判别结果被组合，以便可以提高判别性能，同时减少将要使用的弱假设的数目。

通过本发明的实施例，弱假设贝叶斯网络的特征量节点的维度的数目受到限制，以便可以减少学习时间，可以减少判别时的计算量，并且可以实现学习结果可读性方面的改善。

通过本发明的实施例，文本可以包括在判别对象中，并且可以执行对意见语句或其它种类的文本的二元判别。

通过本发明的实施例，基于弱假设贝叶斯网络的判别目标节点的推断概率是否大于预定值，判别器可以确定弱假设的正误。

通过本发明的实施例，学习部可以缩短学习时间，并且可以通过减少将要使用的弱假设的数目而改善学习结果的可读性。

通过本发明的实施例，由一个弱假设使用的特征量维度的数目受到限制，并且这样一来就可以减少将要估计的弱假设候选的数目。因此，可以缩短学习时间。

通过本发明的实施例，在用于一个弱假设的特征量维度的数目为1的假定之下计算每个维度的一维弱假设的估计值，并且通过以维度的估计值的降序方式组合用于弱假设的必要数目的特征量维度来创建弱假设候选。因此，可以减少将要估计的弱假设候选的数目，并且可以缩短学习时间。

通过本发明的下述实施例以及参考附图进行的详细描述，本发明的将要解决的上述和其它问题以及特征和优点将会变得明显。

附图说明

图1是图示文本判别设备10的配置的示意图；

图2是图示判别器13的内部配置的示意图；

图3是图示表达用于判别意见语句的弱假设的贝叶斯网络的配置的例子的示图；

图4是图示用于使用助推、使用贝叶斯网络作为弱假设来学习弱判别器的处理过程的流程图；

图5A是图示作为弱假设的贝叶斯网络的例子的示图；

图5B是图示作为弱假设的贝叶斯网络的例子的示图；

图6是图示用于使用作为弱假设的贝叶斯网络、使用助推来判别意见语句的处理过程的流程图；

图7是图示在将本发明应用于文本判别的情况下弱假设的数目与性能(具有贝叶斯网络的助推的性能，所述贝叶斯网络包括两个特征量节点和一个特征量节点，换言之总共包括三个节点)之间的关系的示图；

图8是图示用于在不显著减少BN弱假设候选当中具有最佳估计的BN弱假设候选的估计值的情况下减少BN弱假设的数目的处理过程的流程图；

图9A是图示用于在不显著减少BN弱假设候选当中具有最佳估计的BN弱假设候选的估计值的情况下减少BN弱假设的数目的处理过程的示图；

图9B是图示用于在不显著减少BN弱假设候选当中具有最佳估计的BN弱假设候选的估计值的情况下减少BN弱假设的数目的处理过程的示图；

图10A是用于说明通过具有一维特征量的弱假设进行的判别方法的性能的示图；

图10B是用于说明使用作为弱假设的贝叶斯网络的判别方法的性能的示图；

图10C是用于说明使用作为弱假设的特征量差别的判别方法的性能的示图；

图11是图示对其应用意见语句判别的系统的配置的例子的示意图；以及

图12是图示信息设备的配置的例子的示图。

具体实施方式

在下文中，将参考附图对其中将本发明应用于文本判别的实施例给予详细的描述。

作为文本判别的例子，可以给出“意见语句判别”，其判别输入的语句是否是意见语句。意见语句是包括对一定事物持有的主意的语句。意见语句常常包括以“意见”形式强调的个人偏好。例如，语句“我喜欢下棋”包括了个人意见“喜欢”，所以这个语句是“意见语句”。另一方面，语句“音乐会将会在12月2日举行”是仅陈述事实而没有包括个人意见的语句，所以是“非意见语句”。

图11示意性图示了对其应用意见语句判别的系统的配置的例子。附图中示出的系统包括：偏好提取部，其从个人书写的语句中提取偏好信息；以及服务提供部，其基于个人偏好信息提供诸如偏好呈现之类的服务。

在偏好提取部1101中，意见语句判别部1101A一个接一个地从个人文件数据库1101B中取出个人书写的语句，判别是否是意见语句，并且仅提取包括强烈意见性的语句。而且个人偏好估计部1101C估计并提取对象，并且一个接一个地将偏好存储在个人偏好信息数据库1101D中作为个人偏好信息。

另一方面，服务提供部1102呈现个人偏好作为例子。个人偏好判别部1102A判别存储在个人偏好信息数据库1101D中的每个条目，并且确定是正还是负。而且个人偏好呈现部1102B根据偏好条目的数目显示标记，例如作为来自个人博客的主观语句提取的结果。

可以说，随着预处理从个人书写的许多语句如日记、博客等中提取个人偏好，判别意见语句是有效的。而且，从个人书写的语句中提取的偏好信息不仅用于起到对个人偏好进行分类和呈现(反馈)的作用，以及起到对购买内容、商品等等进行推荐的作用，而且还用于扩展到不同种类的业务。明显地，如果将要用于预处理的意见语句的判别性能提高，则可以获得正确的偏好呈现和准确的内容推荐。

意见语句判别部1101A包括判别器B，该判别器B输出输入语句s的意见语句判别结果t。判别器B可以通过以下表达式(1)来表达。注意，如果输入语句是意见语句，则输出t为“1”。反之，如果输入语句是非意见语句，则输出t为“-1”。

t＝B(s)                …(1)

图1示意性地图示了作为判别器B来操作的文本判别设备10的配置。文本判别设备10包括：输入部11，其接收将要成为用于每个语句的判别对象的文本输入；特征量提取部12，其提取输入语句的特征量；判别器13，其基于输入语句所持有的特征量来确定输入语句是否是意见语句；以及学习部14，其执行判别器13的在先学习。

输入部11在学习时从学习样本中捕捉输入语句s，并且在用于每个语句的判别时从判别对象如日记、博客等中捕捉输入语句s。下一步，特征量提取部12从输入语句s中提取一个或多个特征量f，并且将特征量供应给判别器13。特征量提取部12输出特征量向量，该特征量向量具有在用于单词的每个(语音、语法或语义)特性或用于作为维度要素的每个单词的输入语句中计数的出现频率的信息。

在本发明中，使用助推以便集成作为判别器13的弱假设的输出。图2示意性地图示了判别器13的内部配置。如图所示的判别器13包括多个弱判别器21-1、21-2、......以及组合器22。在Adaboost的情况下，组合器包括加法器，该加法器通过将各个弱判别器的输出与各个权重相乘而获得加权择多判决。

弱判别器21-1......中的每一个具有对应一个弱假设，该弱假设基于输入语句s所持有的d维特征量f⁽¹⁾，f⁽²⁾，......，和f^(d)(换言之即d维特征量向量)确定输入语句s是意见语句还是非意见语句。弱判别器21-1......中的每一个用自身弱假设中的每一个检查从特征量提取部12(之前描述)供应的特征量向量，并且输出输入语句s是否是意见语句的估计值。并且加法器22计算这些弱判别结果的加权择多判决B(s)，并将其输出作为判别器13的判别结果t。

通过使用助推的学习部14所执行的在先学习来获得用于意见语句判别的弱判别器(或弱判别器所使用的弱假设)21-1......和将要由各个弱判别器21-1......相乘的权重。

在学习弱假设时，多个语句用作经历了在两个类别(亦即是意见语句还是非意见语句)之间进行判别(换言之，经历了作标记)的学习样本，并且特征量提取部12针对每个学习样本提取的特征量向量被输入到各个弱判别器21-1......中。并且弱判别器21-1......已预先学习了意见语句和非意见语句的各个特征量的弱假设。换言之，通过使用学习样本进行学习，已一个接一个地生成了弱假设。在这样的学习过程中，根据各个弱假设的可靠性的加权择多判决的权重被学习。尽管弱判别器21-1......中的每一个不具有高判别能力，但是作为对多个弱判别器21-1......进行组合的结果，建立了整体上具有高判别能力的判别器13。

另一方面，在判别时，各个弱判别器21-1......将输入语句s所持有的特征量与预先学习的弱假设相比较，并且确定地或随机地输出输入语句是否是意见语句的估计值。加法器22在随后的阶段中将从各个弱判别器21-1......输出的估计值与分别对应于各个弱判别器21-1......的可靠性的权重α1......相乘，并且输出加权择多判决值。

如上所述，使用了对多个弱假设的输出进行集成的助推。本发明具有的特征之一在于，贝叶斯网络(BN)用作弱假设。

这里，贝叶斯网络是一种形成为具有一组随机变量作为节点的网络(也被称为概率网络或偶然网络)。贝叶斯网络是一种图形模型，它通过连接一对直接影响的节点(例如指示X直接影响Y的从节点X至节点Y的箭头)，用概率来描述因果关系。然而，网络是有向非循环图(DAG)，它在箭头方向上没有循环。而且，每个节点具有条件概率分布，其中双亲节点(箭头的根部)对所关心节点的影响被量化。贝叶斯网络是广泛用于非确定环境下的推断问题的表达形式(公知常识)。

当对文本执行意见语句判别时，可以想到的是，从输入语句s提取的一个或多于一个的维度的特征量可以直接影响输入语句s的意见语句判别结果，直接影响可以在具有不同维度的特征量之间发生，意见语句判别结果可以直接影响具有特定维度的特征量。因此，用于判别意见语句的弱假设可以通过贝叶斯网络来表达，该贝叶斯网络使用具有预定数目的维度的特征量和输入语句s的意见语句判别结果作为输入节点，并且使用要被判别的节点作为输出节点，而且用箭头连接一对直接影响的节点。并且弱假设贝叶斯网络的要被判别的节点的推断概率被确定为弱假设的输出。而且，取决于弱假设贝叶斯网络的要被判别的节点的推断概率是否大于某个值，可以判别弱假设的正误。

在下文中，对应于特征量的节点被称为“特征量节点”，并且对应于意见语句判别结果的节点被称为“输出节点”。通过特征量节点和输出节点的有向非循环图表达的弱假设也被称为“BN弱假设”。

BN弱假设具有两种参数：对于当值被输入到全部特征量节点中时输出节点的概率估计而言必要的条件概率分布和各个特征量节点的阈值。这些参数对于计算BN弱假设的估计值而言是必要的。

图3图示了表达用于判别意见语句的弱假设的贝叶斯网络的配置的例子。在如图所示的例子中，贝叶斯网络包括三个节点，亦即二维特征量节点(输入1，输入2)和判别结果t的输出节点(输出)。各个特征量节点通过箭头连接到作为BN弱假设判别结果的输出节点，作为直接影响输出节点的双亲节点。

并且如图所示的BN弱假设具有两种参数，亦即对于当值被输入到全部特征量节点中时输出节点的概率估计而言必要的条件概率分布和各个特征量节点的阈值。如果作为输入节点的各个特征量节点(输入1，输入2)是二元离散节点，则可以如下面的表1那样描述各个特征量节点的阈值。而且，如果各个特征量节点是离散节点，则对于输出节点概率估计而言必要的条件概率分布可以被描述为如下面的表2所示的条件概率表。

表1

	阈值
		输入1	30.134
输入2	-0.74

表2

输入1	输入2	意见语句	非意见语句
				之下	之下	0.2	0.8
之下	之上	0.3	0.7
				之上	之下	0.1	0.9
之上	之上	0.7	0.3

图4作为流程图图示了用于使用助推、使用贝叶斯网络作为弱假设来学习弱判别器的处理过程。在下文中，参考附图对于在学习部14中使用贝叶斯网络作为弱假设的助推中的学习方法给出详细的描述。

特征量提取部12输出特征量向量，该特征量向量具有在用于单词的每个(语音、语法或语义)特性或用于作为维度要素的每个单词的输入语句中计数的出现频率的信息。在下文中，假定特征量提取部12从第k个输入语句s_k中提取d个特征量f_k ⁽¹⁾，f_k ⁽²⁾，...，f_k ^(d)，换言之即通过以下表达式(2)表达的d维特征量向量ε(s_k)。

$\mathrm{\ϵ}\left(s_k\right)=[f_k^{\left(1\right)},f_k^{\left(2\right)},\·\·\·,f_k^{\left(d\right)}]=f_k\·\·\·\left(2\right)$

特征量提取部12例如可以基于输入语句的形态学分析结果来提取特征量。更加具体地，特征量向量是已登记单词的出现频率、语音部分的出现频率、其二元语法(bi-gram)等。而且，特征量提取部12可以处理可以在自然语言处理中正常使用的任何其它特征量，并且可以并行安排特征量以同时使用它们。

在助推学习时，特征量提取部12从全部学习样本T中提取特征量向量。用于判别两种类别的判别标记y附着到学习样本T中的每一个(如果第k个语句学习样本s_k是意见语句，则y_k＝1，并且如果是非意见语句，则y_k＝-1)。假定学习样本T的语句的总数为m，特征量提取部12已提取特征量之后的学习样本T可以通过以下表达式(3)来表达。

$T=\left[\begin{array}{c}[f_1,y_1]\\ [f_2,y_2]\\ \·\\ \·\\ \·\\ [f_m,y_m]\end{array}\right]\·\·\·\left(3\right)$

而且，在判别意见语句时反映难度水平等的样本权重w_k被添加到学习样本T中包括的每个样本s_k。提取特征量之后的学习样本，换言之即用于每个样本s_k的判别标记y_k和特征向量f_k，连同样本权重w_k一起被输入(步骤S41)。

下一步，创建多个BN弱假设候选(在下文中被称为“BN弱假设候选”)(步骤S42)，其将特征量的各个维度作为用于弱判别器21-1......的节点。

如上所述，BN弱假设包括“特征量节点”，其将具有一个或多于一个的维度的特征量的输入作为输入节点，并且将意见语句判别结果作为“输出节点”，而且通过用箭头将一对直接影响的节点连接起来的贝叶斯网络来表达(参见图3)。在步骤42中，具有全部所述结构的贝叶斯网络可以简单地被创建为BN弱假设候选。然而，如图5A所示，多种有向非循环图(DAG)被给出作为使用二维特征量的贝叶斯网络。可以想到的是，根据将要成为用于每个图的双亲节点的特征量的组合，存在_dC₂个BN弱假设候选。以相同的方式，如图5B所示，多种有向非循环图(DAG)被给出作为使用三维特征量的贝叶斯网络。可以想到的是，根据将要成为用于每个图的双亲节点的特征量的组合，存在_dC₃个BN弱假设候选。简言之，具有n个节点的BN弱假设候选的总数变成巨大的数，如通过以下表达式(4)示出的那样。因此，在计算成本等方面，估计所有的作为BN弱假设候选的结构是不现实的。

$2^{\frac{1}{2}{(n-1)}^2}~n!\·2^{\frac{1}{2}{(n-1)}^2}\·\·\·\left(4\right)$

因此，在步骤S42中，不是所有的结构都用作BN弱假设候选，而是BN弱假设的候选的数目已被减少到L。作为减少候选数目的方法，例如有对将要在一个贝叶斯网络中使用的特征量的维度的数目(如图5A所示，维度的数目为2，或者如图5B所示，维度的数目为3)进行限制的方法，以及简单地仅创建L个贝叶斯网络的方法。而且，可以通过以下减少BN弱假设的候选的数目：仅提供L个网络结构，该网络结构允许使用结构化学习算法(公知常识)如K2、PC等更加正确地表达学习样本。在下文中，为了方便起见，将在下述假定之下给出描述：网络结构被限制到只有一种，其示出在图5A中的页面空间上的最左侧，并且使用L＝_dC₂(＝d(d-1)/2)个BN弱假设候选。

粗略地说，学习BN弱假设的方法是执行包括以下的处理循环：学习(步骤S44)用于每个BN弱假设候选的最优参数；使用学习样本T计算(步骤S45)估计值；以及对样本权重计算(步骤S50)与必要的BN弱假设的数目相对应的次数。在每次的处理循环中，基于计算的估计值按顺序选择具有最佳性能的BN弱假设候选。

在步骤S42中创建的L个BN弱假设候选中之一被提取(步骤S43)，然后，首先对提取的BN弱假设候选学习最优参数(步骤S44)。

如上所述，在BN弱假设的情况下，对于计算估计值而言必要的参数是两种参数，亦即对于当值被输入到全部特征量节点中时的概率估计而言必要的条件概率分布和各个特征量节点的阈值。以与一般助推相同的方式，这些参数被获得，使得BN弱假设候选的估计值变得最大。通过对全部特征量节点的组合执行全面搜索以得到最优组合，可以获得各个特征量节点的阈值。而且，使用一般的BN条件概率分布算法可以获得条件概率分布。

下一步，在学习参数之后，对于BN弱假设候选针对全部学习样本计算估计值(步骤S45)。

为了在助推中从如以下表达式(5)所示的L个弱假设候选H{h₁，h₂，...，h_L}中选择具有最佳性能的弱假设候选h^＊，有必要对于每个弱假设候选h_l计算如以下表达式(6)所表达的估计值E(h)。注意，在以下表达式中，h₁指示第一弱假设候选，并且l是小于L的正整数。

H＝{h₁，h₂，…，h_L}             …(5)

$h^{*}=\arg \underset{h_l}{\max }\left(E_{T,w^s}\left(h_l\right)\right)\·\·\·\left(6\right)$

在一般助推的情况下，如以下表达式(7)所示，所有的学习样本T被输入到弱假设候选h_l中，并且其输出t等于标记y_k的样本s_k的样本权重w_k ^s的全体值等(换言之，已正确判别了是否是意见语句)用于弱假设候选h_l的估计值E(h_l)。

$E_{T,w^s}^{\mathrm{type}1}\left(h_l\right)=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_k^s\·1_{\left(h_l\left(f_k\right)=y_k\right)}\·\·\·\left(7\right)$

在一般的弱假设h_lg中，仅使用d维特征量当中的一维特征来计算输出。如以下表达式(8)所示，通过从作为输入值的特征量f_k与符号v_l ^＊的乘积产生的值是否大于阈值θ_l ^＊，来确定弱假设h₁g的输出。

$h_l^g\left(f_k\right)=h_l^g\left(f_k^{\mathrm{jl}}\right)=\mathrm{sgn}(v_l^{*}\·f_k^{\mathrm{jl}}-{\mathrm{\θ}}_l^{*})\·\·\·\left(8\right)$

注意，在上面的表达式(8)中使用的符号v^＊和阈值θ^＊是在计算估计值之前对于每个弱假设候选h_lg独立地获得的，使得一般弱假设候选h_lg的估计值E(h_lg)变得最大，如以下表达式(9)所示。

$\{v_l^{*},{\mathrm{\θ}}_l^{*}\}=\arg \underset{\left\{v_{l,}{\mathrm{\θ}}_l\right\}}{\max }\left(E_{T,w^s}\left(h_l^g\right)\right)\·\·\·\left(9\right)$

在一般的弱假设中，特征量的各个维度经历阈值判别，因此在不使用许多弱假设的情况下难以产生良好性能。而且，在使用许多弱假设的情况下，用户变得难以在学习之后掌握弱假设的配置。而且，难以通过具有不足计算能力的硬件来实现判别器。

与此形成对照，在本发明中，贝叶斯网络(BN)用作弱假设，并且在输入学习样本的情况下通过使用BN弱假设来进行推断。具体地，如以下表达式(10)所示，第k个样本s_k的特征量向量f_k被输入，并且具有分配给判别结果t_k的节点(输出)的最高推断概率P_hl(t_k|f_k)的事件(意见语句或非意见语句)被确定为BN弱假设候选h_l ^BN的输出。在这样的情况下，以与上述一般算法相同的方式，可以使用上面的表达式(7)来计算每个BN弱假设候选h_l ^BN的估计值E(h_l ^BN)。

$h_l^{\mathrm{BN}}\left(f_k\right)=\underset{t_k}{\arg \max }{P_h}_l\left(t_k\right|f_k)\·\·\·\left(10\right)$

在这点上，作为除了上面的表达式(7)之外的计算BN弱假设候选的估计值的方法(类型2)，可以使用事件的概率值等于输出节点(输出)的标记的所有学习样本的加权总值作为估计值。换言之，如以下表达式(11)所示，对于第k个样本s_k的特征量向量f_k而言等于贝叶斯网络的输出节点(输出)的标记的事件y_k的概率值P_hl(y_k|f_k)被计算。进一步，对于每个样本乘以加权因子w_k ^s，并且对于所有学习样本T的加权概率值的总值被计算成为BN弱假设候选h_l ^BN的估计值E(h_l ^BN)。注意，在以下表达式(11)中，所有学习样本T的样本s_k的总数被假定为m。

$E_{T,w^s}^{\mathrm{type}}\left(h_l^{\mathrm{BN}}\right)=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_k^s\·P_{\mathrm{hl}}\left(y_k\right|f_k)\·\·\·\left(11\right)$

代替地，作为除了上面的表达式(7)之外的计算BN弱假设候选的估计值的方法(类型3)，如以下表达式(12)所示，可以使用信息量参考如BIC、AIC等来计算BN弱假设候选h_l ^BN的估计值E(h_l ^BN)。由此可以使用一种指数，该指数指示了弱假设候选h_l ^BN的结构如何正确地估计了所有的学习样本。

$E_{T,w^s}^{\mathrm{type}3}\left(h_l^{\mathrm{BN}}\right)={\mathrm{score}}_B(T_{w^s},h_l^{\mathrm{BN}})=P\left(T_{w^s}\right|h_l^{\mathrm{BN}})\·\·\·\left(12\right)$

无论使用上述表达式(7)、(11)和(12)中的哪一个，为了计算BN弱假设候选h_l ^BN的估计值E(h_l ^BN)，都有必要具有两种参数，亦即对于当值被输入到全部特征量节点中时输出节点的概率估计而言必要的条件概率分布D_l ^＊和各个特征量节点j的阈值θ_l ^j＊。如果各个特征量节点全都是离散节点，则各个特征量节点的阈值θ_l ^j＊可以被描述为表1，并且条件概率分布D_l ^＊可以被描述为如表2所示的条件概率表(之前描述)。

在步骤S45中使用上述表达式(7)、(11)和(12)中的任何一个计算估计值E(h_l ^BN)之前，有必要已在步骤S44中计算了两种参数，亦即条件概率分布D_l ^＊和各个特征量节点j的阈值θ_l ^j＊。以与一般助推相同的方式，例如可以根据以下表达式(13)计算上述值，以便各个BN弱假设候选h_l ^BN的估计值E(h_l ^BN)变得最大。

$\{{\mathrm{\θ}}_l^{j^{*}},D_l^{*}\}=\arg \underset{\{{\mathrm{\θ}}_l^{j^{*}},D_l^{*}\}}{\max }{E}_{T,w^s\left(h_l^{\mathrm{BN}}\right)}\·\·\·\left(13\right)$

在上述表达式(13)中，通过组合所有的特征量节点并进行全面搜索，可以获得各个特征量的阈值。而且，使用一般的BN条件概率分布算法可以获得条件概率分布。

对于在步骤S42中按顺序创建的所有L个BN弱假设候选，执行在步骤S44中进行的学习BN弱假设候选h_l ^BN的参数以及在步骤S45中进行的计算BN弱假设候选h_l ^BN的估计值E(h_l ^BN)。

并且当对于所有BN弱假设候选h_l ^BN进行的计算估计值E(h_l ^BN)完成(在步骤S46中为是)时，它们之中具有最高估计值的BN弱假设候选被选择作为将要用于第n个弱判别器21-n的BN弱假设(步骤S47)(注意，n是从1至L的整数，并且对应于处理循环中的重复次数)。

下一步，以与一般助推相同的方式，基于所选择的BN弱假设候选的估计值，设置将要给予弱判别器21-t的BN弱假设权重α_n(步骤S48)。假定被选择作为第n个弱判别器21-n的BN弱假设的估计值为e_n，例如，在AdaBoost的情况下，使用以下表达式(14)可以计算BN弱假设权重α_n。

α_n＝1/2ln(e_n/1-e_n)                …(14)

在步骤S47中选择的BN弱假设以及在步骤S48中计算的BN弱假设权重被一个接一个地存储作为助推学习结果。

如上所述的选择将要用作判别器21-n的BN弱假设以及弱假设权重计算处理S42至S48被重复地执行，直到所选择的BN弱假设的总数n达到预定数目(步骤S49)。

这里，为了选择下一个BN弱假设，当再次返回到BN弱假设候选的创建处理(步骤S42)时(在步骤S49中为否)，基于在步骤S47中采用的BN弱假设来更新(步骤S50)包括在学习样本T中的每个样本s_k的样本权重w_k。例如，如以下表达式(15)所示，可以基于针对每个样本s_k而言的判别标记y_k和特征向量f_k以及对于各个样本s_k的判别结果h_t(f_k)来计算样本权重。

w_n+1，k＝w_n，kexp(-α_ny_kh_n(f_k))

$w_{n+1,k}=w_{n+1,k}/\underset{k}{\mathrm{\Σ}}{w}_{n+1}\·\·\·\left(15\right)$

在这点上，在使用贝叶斯网络作为弱假设的助推学习的上述描述中，假定所有的特征量节点都具有离散值(二元值)。然而，本发明的要旨不一定限于此。例如，如果特征量节点中的一部分或全部是多取值节点或连续节点，只要可以估计输出节点的概率，那么也不会有问题。

而且，可以应用于本发明的助推算法不限于AdaBoost(离散AdaBoost)。例如，如以下表达式(16)所示，弱假设输出连续的值，以便助推算法如Gentle Boost或Real Boost等也可以应用于本发明。

$h_l^{\mathrm{BN}}\left(f_k\right)=P_{h_l}\left(1\right|f_k)\·\·\·\left(16\right)$

通过根据图4所示的处理过程的助推学习，可以获得包括BN弱假设的弱判别器的需求数目，并且可以使用各个弱判别器的BN弱假设权重来判别意见语句。

图6通过流程图图示了以贝叶斯网络作为弱假设使用助推来判别意见语句的处理过程。作为上述助推的学习结果，假定与弱判别器21-1......相同数目的BN弱假设及其BN弱假设的权重被存储。

首先，特征量提取部12从将要成为判别对象的输入语句中提取特征量向量(步骤S61)。

下一步，判别器13用0来初始化判别值(步骤S62)。

这里，提取通过助推学习获得的BN弱假设中之一(步骤S63)。

下一步，在步骤S61所获得的特征量向量之中，被分配给表达BN弱假设的贝叶斯网络的各个特征量节点的特征量维度数目被输入(步骤S64)。

下一步，使用贝叶斯网络推断算法来估计输出节点的概率(步骤S65)。并且通过将估计的概率值与对应于BN弱假设的权重相乘来计算BN弱假设的输出(步骤S66)。并且在步骤S66中计算的BN弱假设的输出被添加到判别值(步骤S67)。

如果在步骤S63中提取的第n个BN弱假设候选h_n ^BN的特征量节点全都是离散的节点，则在步骤S65的贝叶斯网络推断算法中，对于每个特征量节点j在输入的特征量维度值和相应的阈值θ_n ^j＊之间进行比较。并且通过参考条件概率表D_n ^＊，可以获得对于每个特征量节点j的比较结果的组合所指示的输出标记(输入语句是意见语句的概率)。通过将输出标记的值与BN弱假设h_n ^BN所持有的BN弱假设的权重相乘来获得BN弱假设的输出，然后将输出值添加到判别值。

对于通过助推学习获得的所有BN弱假设都执行这样的BN弱假设的输出计算以及添加到判别值(步骤S68)。并且获得的最终判别值的符号指示了输入语句是意见语句还是非意见语句。这个符号被输出作为判别结果(步骤S69)，并且这个处理程序结束。

图7通过实线示出了在将本发明应用于文本判别的情况下弱假设的数目和性能之间的关系。注意，这是在贝叶斯网络包括两个特征量节点和一个特征量节点、换言之即总共三个节点的情况下的助推的性能。在附图中，其中对于每个特征量维度而言独立地执行阈值判别的一般弱假设中的性能和弱假设的数目之间的关系为了比较通过虚线也被示出。

如图所示，在一般的弱假设中，即使弱假设的数目变为1024，F值也没有太大改善。在这点上，本发明的发明人进行了一般弱假设的数目一直到8192为止的实验。然而，F值并没有超过0.8592。与此形成对照，在使用贝叶斯网络用于弱假设的情况下，仅用大约6个弱假设就可以确保良好的文本判别性能。简言之，通过本发明，可以说，使用比现有技术的算法更少数目的弱假设就可以获得足够高的性能。

在这点上，即使如图5A和图5B所示对BN弱假设候选的网络结构加以限制，当特征量的维度的数目大时，弱假设的候选的数目L(＝_dC₂(＝d(d-1)/2))也变大。图8作为流程图图示了用于在不减少BN弱假设候选当中具有最佳估计的BN弱假设候选的估计值的情况下减少BN弱假设的数目的处理过程。

首先，以与一般助推算法相同的方式，假定为每一个特征量维度提供一个弱假设，计算用于每个维度的一维弱假设的估计值(步骤S81)。

下一步，以一维弱假设的估计值的降序排列的方式按顺序存储弱假设候选，并且创建具有良好估计值的弱假设候选的组合(步骤S82)。图9A图示了其中根据估计值对用于每个维度的一维弱假设进行分类的状态。

并且对于按一维弱假设估计值的降序排列的BN弱假设的必要特征量维度的数目，仅有预定数目的组合被选择作为弱假设候选(步骤S83)。图9B图示了其中当特征量二维BN弱假设候选被创建时使用高达6个组合的状态。

如图10A所示，具有一维特征量的弱假设简单地确定具有特定维度(F1)的特征量是否超过了阈值(换言之，判别对象的特征量在附图中存在于空间中判别表面的哪一侧)，因此判别能力通常较低。与此形成对照，例如如图5A所示，如果贝叶斯网络用作弱假设，则即使在包括三个节点、亦即包括对应于二维特征量的特征量节点和对应于判别结果的输出节点的相对简单的网络结构的情况下，如图10B所示，判别对象的特征量与对应于各个维度的特征量的判别表面1和2相比较，从而弱假设水平方面的判别能力较高。因此，在类似性能的情况下，使用如本发明的情况下那样的BN弱假设可以减少助推弱假设的数目。

另一方面，存在一种判别方法，其中特征量差别用作弱假设，如上述日本待审专利申请公布第2005-157679号中所述。然而，在该方法中，对两个特征量F1和F2之间的差F1-F2是否超过阈值简单地进行确定，换言之，对特征量存在于如图10C所示的判别空间中的判别表面的哪一侧简单地进行确定，因此判别能力通常较低。与此形成对照，在使用贝叶斯网络作为弱假设的判别方法中，即使在如图5A所示的简单的网络结构中，也如图10B所示提供对应于各个维度的特征量的判别表面1和2，因此弱假设水平方面的判别能力较高。所以，与使用特征量差别作为弱假设的判别方法相比，在类似性能的情况下，可以说，使用如本发明中的BN弱假设可以减少助推弱假设的数目。

在这点上，例如通过在信息设备如个人计算机(PC)等上实施预定的应用，可以实现根据本发明的文本判别设备10。图12图示了信息设备的配置。

在操作系统(OS)所提供的程序执行环境之下，中央处理单元(CPU)1201执行存储在只读存储器(ROM)1202或硬盘驱动器(HDD)1211中的程序。例如，通过CPU 1201执行预定程序，可以实现如上所述使用贝叶斯网络作为弱假设的助推学习处理，并且可以实现使用贝叶斯网络作为弱假设的助推判别处理。

ROM 1202持久存储上电自检(POST)、基本输入输出系统(BIOS)等的程序代码。随机存取存储器(RAM)1203用于当由CPU 1201执行时加载存储在ROM 1202和硬盘驱动器(HDD)1211中的程序，并且用于临时存储正在执行的程序的工作数据。这些通过局部总线1204相互连接，该局部总线1204直接连接到CPU 1201。

局部总线1204通过网桥1205连接到输入/输出总线1206如外围部件互连(PCI)总线等。

键盘1208和指示装置1209如鼠标等是由用户操作的输入装置。显示器1210包括液晶显示器(LCD)或阴极射线管(CRT)等，并且通过文本和图像显示各种信息。

HDD 1211是包含作为记录介质的硬盘的驱动单元，并且驱动硬盘。硬盘用于存储CPU 1201所执行的程序如操作系统、各种应用程序等以及数据文件等。

例如，应用程序如通过使用贝叶斯网络作为弱假设的助推进行的学习处理和通过使用贝叶斯网络作为弱假设的助推进行的判别处理可以安装在HDD 1211中。而且，根据图4所示的处理过程学习的多个BN弱假设和各个BN弱假设的加权因子可以存储在HDD 1211中。而且，可以将针对助推的用于学习处理的学习样本T存储在HDD 1211中。

通信部1212是有线或无线的通信接口，用于将信息设备互连到网络如局域网(LAN)等。例如，可以通过通信部1212从外部服务器(附图中未示出)向HDD 1211下载应用程序，该应用程序执行通过使用贝叶斯网络作为弱假设的助推进行的学习处理和通过使用贝叶斯网络作为弱假设的助推进行的判别处理。而且，可以通过通信部1212从外部服务器(附图中未示出)向HDD 1211下载将要用于助推的判别处理的多个BN弱假设和各个BN弱假设的加权因子。代替地，可以通过通信部1212向外部服务器(附图中未示出)供应已允许从信息设备上的学习处理获得的多个BN弱假设和各个BN弱假设的加权因子。

本申请包含与2009年5月22日向日本专利局申请的日本优先权专利申请JP 2009-124386中公开的主题相关的主题，其整体内容通过引用结合于此。

本领域技术人员应当理解，取决于设计需要和其它因素，可能发生各种修改、组合、再组合和变更，它们都在所附权利要求及其等价物的范围之内。

Claims (10)

1.一种判别设备，包括：

特征量提取部，其从判别对象中提取特征量；以及

判别器，所述判别器包括：被表达为贝叶斯网络的多个弱判别器，所述贝叶斯网络具有节点，向每个节点分配从所述特征量提取部输入的两个或更多所述特征量中的对应一个特征量；以及组合器，其组合通过所述多个弱判别器获得的所述判别对象的各个判别结果。

2.根据权利要求1所述的判别设备，其中，所述判别器使用具有弱假设的所述贝叶斯网络的判别目标节点的推断概率作为所述弱假设的输出。

3.根据权利要求1所述的判别设备，其中，词袋(BOW)或其它高维特征量向量用于所述判别对象，并且

所述弱判别器包括从所述特征量提取部所提取的高维特征量向量当中使预定的维度数目或以下的特征量作为每个节点的贝叶斯网络。

4.根据权利要求1所述的判别设备，其中，文本包括在所述判别对象中，并且所述判别器对意见语句或其它种类的文本执行二元判别。

5.根据权利要求1所述的判别设备，其中，基于弱假设贝叶斯网络的判别目标节点的推断概率是否大于预定值，所述判别器确定所述弱假设的正误。

6.根据权利要求1所述的判别设备，进一步包括学习部，所述学习部学习将要由所述多个弱判别器分别使用的弱假设以及使用助推通过以前的学习而获得的各个弱假设的权重信息。

7.根据权利要求6所述的判别设备，其中，所述学习部通过限制由一个弱假设使用的特征量维度的数目而减少弱假设候选的数目。

8.根据权利要求6所述的判别设备，其中，所述学习部在用于一个弱假设的特征量维度的数目为1的假定之下计算每个维度的一维弱假设的估计值，并且通过以维度的估计值的降序方式组合用于弱假设的必要数目的特征量维度来创建弱假设候选。

9.一种判别方法，包括以下步骤：

从判别对象中提取特征量；以及

通过被表达为贝叶斯网络的多个弱假设来判别所述判别对象，所述贝叶斯网络具有节点，向每个节点分配通过提取特征量的步骤而获得的两个或更多所述特征量中的对应一个特征量，并且组合通过所述多个弱假设获得的所述判别对象的各个判别结果。

10.一种计算机程序，其使计算机起到判别设备的作用，所述判别设备包括：

特征量提取部，其从判别对象中提取特征量；以及

判别器，所述判别器包括：被表达为贝叶斯网络的多个弱判别器，所述贝叶斯网络具有节点，向每个节点分配从所述特征量提取部输入的两个或更多所述特征量中的对应一个特征量；以及组合器，其组合通过所述多个弱判别器获得的所述判别对象的各个判别结果。

Images