CN104272301B

CN104272301B - 用于提取一部分文本的方法、计算机可读介质和计算机

Info

Publication number: CN104272301B
Application number: CN201380021425.4A
Authority: CN
Inventors: 金山博; 村上拓真; 宅间大介
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2012-04-25
Filing date: 2013-03-29
Publication date: 2018-01-23
Anticipated expiration: 2033-03-29
Also published as: US9740681B2; JP5607859B2; WO2013161510A1; JPWO2013161510A1; US20130289978A1; DE112013002187T5; CN104272301A

Abstract

为了在有限的时间/资源下有效地分析评论文本，提供了一种从大量评论文本中有效地提取人们(分析者)将参考的一部分评论文本的技术。用于由计算机从多个文本中提取一部分文本的方法包括以下步骤：首次评价在每个文本中包括的肯定表达的度量和否定表达的度量；根据多个评价函数来二次评价每个文本，多个评价函数中的至少一部分评价函数使用肯定表达的度量和否定表达的度量作为变量；优先于具有更低等级的评价结果的文本，提取具有更高等级的评价结果的文本，各个评价结果是基于多个评价函数中的相同评价函数。

Description

用于提取一部分文本的方法、计算机可读介质和计算机

技术领域

本发明涉及信息处理技术，更具体地，涉及使用信息处理支持声誉分析的技术。

背景技术

随着信息通信技术的进步，已经观察到更多人通过因特网分享观点的模式。例如，已经观察到产品的购买者在邮购网站上发布有关该产品的评论文本的模式，以及餐馆的用户在所谓口口相传的通信网站上发布有关该餐馆的文本评论的模式。在任何模式中，网站的用户可在方便时查看评论文本。这种评论功能或评论网站不仅对网站的用户有用，因为用户被引导在将来购买产品或利用服务，而且对产品或服务的提供者也有用，因为可以从购买者/用户获得有价值的反馈。迄今为止，已经提出了各种技术方案以从大量的评论文本中获取有用的结果(参见专利文献和非专利文献)。

【专利文献】

【专利文献1】公开号为No.2007-299071的日本未审专利申请

【专利文献2】公开号为No.2004-514220的日本未审专利申请(PCT申请的译文)

【专利文献3】公开号为No.10-27181的日本未审专利申请

【专利文献4】公开号为No.2006-146567的日本未审专利申请

【专利文献5】国际公开号为WO2009/060829的国内再出版PCT国际专利申请

【专利文献6】公开号为WO2008/075524的国内再出版PCT国际专利申请

【非专利文献】

【非专利文献1】Turney博士的“Thumbs up or thumbs down？Semanticorientation applied to unsupervised classification of reviews”，计算机语言协会第40次年会的第二次会议记录，2002年7月，第417-424页，计算机语言协会在斯特劳斯堡发布。

发明内容

人们阅读大量评论文本的全部是低效的。相反，如果人们随机阅读某些评论文本，则可能会错过有用的评论文本。

本发明是针对这种问题提出的，本发明的一个目的是提供一种用于有效地从大量的评论文本中提取文本人们(分析者)会参照的一部分评论以便在有限时间/资源下有效地分析评论文本的技术。

为了解决上述问题，经过深入研究，本发明的发明人已经构思出以下的发明。根据本发明，提供了一种用于由计算机从多个文本中提取一部分文本的方法。该方法包括以下步骤：首次评价在每个文本中包括的肯定表达的度量和否定表达的度量；根据多个评价函数来二次评价每个文本，多个评价函数中的至少一部分评价函数使用肯定表达的度量和否定表达的度量作为变量；以及优先于具有更低等级的评价结果的文本，提取具有更高等级的评价结果的文本，各个评价结果是基于多个评价函数中的相同评价函数。

一部分评价函数中的一个评价函数可以是对具有平均的肯定表达度量和平均的否定表达度量的文本输出具有更高等级的评价结果的函数。具体地，可用作该函数的表达式如下：_p+nC_pα^p(1-α)ⁿ×(p+n)，其中p是肯定表达的数量，n是否定表达的数量，α是在所有文本中包括的肯定表达的数量与肯定表达的数量和否定表达的数量的和的比率。

作为另一个评价函数，可以选择肯定表达的度量与否定表达度量的和或者肯定表达度量与否定表达度量的差。

另外，在首次评价的步骤中，肯定表达的度量和否定表达的度量可以基于在每个文本中包括的肯定表达的数量和否定表达的数量而被首次评价。

另外，在提取的步骤中，具有基于多个评价函数中不同的评价函数的各个评价结果的文本可按预定顺序提取。

另外，该方法还可包括向用户输出所提取的文本的步骤。在这种情况下，哪个评价函数已经对所提取的文本给出评价结果以使得该文本根据评价结果来提取被一起输出给用户。另外，在所提取的文本中包括的肯定表达和否定表达可以不同的表达形式输出。

当然，在掌握本发明作为计算机程序产品或计算机系统的情况下，也可以提供实质上与在上述的掌握本发明作为方法的情况下相同的技术特征。

根据本发明，人们(分析者)会参照的一部分评论文本可以从大量的评论文本中有效地提取。

附图说明

图1是用于说明评论网站系统的示意图。

图2包括用于说明在评论网站服务器中包括的硬盘装置中存储的数据的数据结构的图。

图3是用于说明计算机的硬件配置的框图。

图4是计算机的功能框图。

图5是用于说明计算机所执行的过程的流程图。

图6是用于说明由计算机执行的一部分过程的示意图。

图7是用于说明评价函数的含义的示意图。

图8是表示输出屏幕的例子的图。

具体实施方式

以下将参照附图描述执行本发明的最佳模式。下面给出的实施例并不意味着限制根据权利要求的发明。另外，在实施例中描述的所有特征组合并不必然是本发明的解决手段必不可少的。另外，本发明可以采用许多不同的形式实现，并不应当被解释为限于在此描述的实施例中的内容。在整个实施例的说明中，相同的单元用相同的附图标记表示(除非特别说明)。

图1是用于说明评论网站系统的示意图。该系统包括评论网站服务器2和用户终端，它们被连接以便能够通过因特网4彼此通信。另外，作为用户终端，可以采用具有其中提供了通信功能的任意配置的计算机。例如，除了智能电话31、平板电脑32、和(笔记本)个人计算机33(已示出)以外，还可以采用个人数字助理(PDA)、车载计算机和上网本(未示出)。

图2是用于说明在评论网站服务器2中包括的硬盘装置20和21中存储的数据的数据结构的图。在存储在硬盘装置20的评论表(图2(a))中，包括了指示每个评论文本被发送/发表的日期和时间的发送日期和时间(created_at)、用于标识每个评论文本的评论ID(id)、用于标识已发送了评论文本的用户的用户ID(user_id)、以及作为评论文本的内容的文本(“文本”)。同时，在存储在硬盘装置21的用户表(图2(b))中，包括了用于标识用户的用户ID(user_id)、用于标识用户的性别(“性别”)、年龄(“年龄”)和居住场所(“位置”)的信息。应当注意，用于标识作为评论对象的产品或服务的ID可以被添加到评论ID中。

图3是用于说明个人计算机1的硬件配置的框图。关于计算机1的硬件配置，包括(低速和高速)总线10、CPU(算术和控制单元)11、RAM(随机存取存储器：存储设备)12、ROM(只读存储器：存储设备)13、HDD(硬盘驱动器：存储设备)14、通信接口15和输入/输出接口16，它们被连接到总线10。此外，还包括了鼠标17、平板显示器(显示设备)18、键盘等，其被连接到输入/输出接口16。应当注意，在上述的描述中，对于计算机1使用了典型的个人计算机体系结构。然而，例如针对更高数据处理能力或可用性的需求，可以使用多个CPU 11、多个HDD 14等。另外，可以使用例如包括桌上型的各种类型的计算机系统。

关于计算机1的软件配置，包括提供基本功能的操作系统(OS)、利用OS功能的应用软件、以及用于输入/输出设备的驱动器软件。每个软件连同各种类型的数据一起被加载到RAM 12中，并由CPU 11等执行，由此，计算机1在整体上作为图4所示的功能模块起作用以执行图5所示的过程。

图4是用于说明根据实施例的计算机1的功能模块的功能框图。计算机1实现首次评价模块101、二次评价模块102、提取模块103和输出模块104的功能。

图5是用于说明由计算机1执行的过程的流程图。另外，图6是用于说明图5的流程图中的步骤S101至S103的示意图。首先，获取(S101)多个评论文本D(1)至D(N)，它们每一个包括特定专有名词(在此表示为PPP)。需要注意，N是特别大的值，因此，一列评论文本的显示屏并不容易被显示。具体地，从计算机1向评论服务器2传输条件。作为条件，例如，可以设置其中在评论文本中包括作为专用名词的PPP以及评论文本被发送的时间段在特定时间段内的条件。接着，计算机1从评论网站服务器2接收关于满足上述条件的一组评论文本。在这种情况下，接收关于满足上述条件的一组评论文本的数据(见图2(a))以及与这些评论文本相关联的用户的简档(见图2(b))。所接收的数据被存储在计算机1的HDD 14中。另外，上述的时间段可包括将来时间，并且评论文本可从评论网站服务器2传输到计算机1，直到上述的时间段期满。另外，关于不同配置，在大量的关于这组评论文本的数据(见图2(a))和大量的与这些评论文本相关联的用户的简档(见图2(b))被预先存储在计算机1的HDD 14中的情况下，可以从这些数据中搜索满足上述条件的一组评论文本。

接着，在每个评论文本中包括的肯定表达的度量和否定表达的度量被首次评价模块101首次评价(步骤S101)。在此，一列表示有利的有利评语/表达(肯定表达)和一列表示不利的不利评语/表达(否定表达)被预先存储在HDD 14中。对在每个评论文本中包括的有利评语/表达的数量和不利评语/表达的数量进行计数。优选地，这些评价评语/表达预先根据作为评价对象的产品或服务而设置。另外需要注意，例如，对于各个有利评语/表达和各个不利评语/表达，可以分别预先设置与有利程度对应的分数和与不利程度对应的分数，首次评价可以根据这些分数来执行。

下面提供关于化妆品的四个评论文本的首次评价的结果。圆括号内的部分是有利评语/表达，尖括号内的部分是不利评语/表达。

评论文本1：五个有利评语，没有不利评语

该产品是(好的)！原因在于它(量大)而且(便宜)。另外因为它于其它护肤品具有(高兼容性)，因此我(感觉使用它是安全的)。

评论文本2：五个有利评语和一个不利评语

我特别(没有粉刺问题)，但我买这款产品是因为它(价格合理)。它(刺激性小)，并且(特别适合)年轻人。现在，因为我皮肤干燥，甚至当我在皮肤上涂润肤液时，我的皮肤也<不是特别滋润>。所以我现在不用它。它似乎对于有粉刺问题的人是(好)的。

评论文本3：四个有利评语和一个不利评语

我(觉得使用它是安全的)这种产品适用于粗糙或长粉刺皮肤，但我通常使用爽肤水。我很少在脸上涂抹这种产品并拍脸。当在粉刺出现的区域大量使用该产品时，该区域在某些程度上会(变好)。在湿润性方面，具有干性皮肤的人<不适合>该产品，但它刚好适合于油性皮肤(它是很好的润肤露)。

评论文本4：两个有利评语和三个不利评语

我<认为这款产品不是很有效>。我<认为我不需要它>，因为最近我没有粉刺或痤疮。因为它不会刺激皮肤，所以我把它用作爽肤水。我会再次买它吗？我不知道。但它很便宜，不是吗？

接着，由二次评价模块102根据多个评价函数来二次评价评论文本。在此，使用下面的五个评价函数。

评价函数m1：p

评价函数m2：p+n

评价函数m3：p/(p+n)

评价函数m4：p-n

评价函数m5：_p+nC_pα^p(1-α)ⁿ×(p+n)，其中，α是在所有评论文本中包括的有利评语的数量与评价评语的数量的比率。

各个评价函数的含义如下。评价函数m1评价包括大量有利评语的评论文本，以便给它高等级。评价函数m2评价包含大量评价评语的评论文本，而不管这些评价评语是否是有利评语/不利评语，以便给它高等级。评价函数m3评价有利评语与评价评语的比率高的评论文本，以便给它高等级。评价函数m4通过最小化不利评语的数量来评价包括大量有利评语的评论文本，以便给它高等级。评价函数m5评价具有平均的肯定表达度量和平均的否定表达度量的评论文本，以便给它高等级。另外，评价函数m5根据下面的背景确定。在所有评论文本中包括的评价表达的发生被认为是用等式α＝P_all/(P_all+N_all)表示的p比率的伯努利试验。在此，P_all和N_all分别表示在所有评论文本中包括的有利评语的数量和不利评语的数量。通过执行k次试验(k个评价表达)获取的p比率的分布的密度函数变成通过在垂直方向上以1/k收缩二次分布B(k,α)的密度函数而得到的形状。在该分布中，用表达式p_x/(p_x+n_x)表示的p比率将被观测到的概率被认为是评论文本x的评价表达的索引，其中p_x和n_x分别是在评论文本x中包括的有利评语的数量和不利评语的数量。需要注意，当m和n是大的值时，需要花费大量时间来计算_mC_n，因此，在需要时，该分布可以用正态分布或泊松分布近似。

图7是用于说明评价函数m1、m2和m5的图。在该二维图中，纵轴表示有利评语的数量p，横轴表示不利评语的数量n。每个文本D使用标记×标示。另外，评价函数m1的轮廓线、评价函数m2的轮廓线和评价函数m5的轮廓线分别用细线、虚线和粗线表示。评论文本包括各种评论文本，诸如包括较少评价论表达的评论文本和包括不满的评论文本。由粉丝撰写的评论文本、包括大量评价表达的评论文本和代表平均意见并包括大量评价表达的评论文本可以分别用评价函数m1、评价函数m2和评价函数m5有效地分类。

接着，由提取模块103提取K个评论文本(步骤S103)。通过评价函数m1至m5，对每个评论文本D给出五个评价分数。对于每个评价函数，提取模块103将各个评论文本从被给予最高分数的评论文本开始按顺序排序。接着，选择被评价函数m1给予最高分数的评论文本、被评价函数m2给予最高分数的评论文本、被评价函数m3给予最高分数的评论文本、被评价函数m4给予最高分数的评论文本和被评价函数m5给予最高分数的评论文本(在消除了重复的情况下最多5个)。接着，选择被评价函数m1给予第二高分数的评论文本、被评价函数m2给予第二高分数的评论文本、被评价函数m3给予第二高分数的评论文本、被评价函数m4给予第二高分数的评论文本和被评价函数m5给予第二高分数的评论文本(在消除了重复的情况下最多5个)。此后同样地，执行评论文本的选择，直到评论文本的数量达到K。

接着，由输出模块104在显示器18上显示所选择的K个评论文本(步骤S104)。图8表示显示屏幕的一个例子。在该屏幕上，显示了所选择的K个评论文本的一部分。注意用粗矩形围绕的部分，显示了评论文本，以使得可以一眼认出哪个评价函数已经对每个评论文本给出高的评价分数，并由此根据该评价分数选择文本。例如，关于显示在屏幕顶部的评论文本，检查框被放置在列m1、m2和m5上。应当理解，评论文本根据通过评价函数m1、m2和m5获取的评价结果来显示。另外，可以移除用户认为不必要的评价函数，而添加新的评价函数。另外，只有通过特定评价函数获得的评价结果可被显示。此外，可以使用图标简化显示评价结果。应当注意，输出模块104还可在显示器18上显示图7中表示的图。

通过执行上述过程，包括有利意见的评价文本可被公平地提取。换句话说，仅包括有利意见的评论文本、另外包括不利意见的评论文本等可被包括在K个评论文本中。因此，增加了用户(分析者)可在用户(分析者)能完成阅读的信息量或者可在显示器上显示为一列的信息量的范围内访问用户(分析者)当然想要抓取的有利信息的概率。另外，当显示信息时，用户(分析者)可以直观地理解顺序不是一维顺序。另外，用户(分析者)可有针对性地参照该用户(分析者)感兴趣的评论文本。

需要注意，本发明可以采用完全硬件实现、完全软件实现和包括软件和硬件单元的实现的形式。在优选实施例中，本发明以软件形式实现，其包括但不限于固件、驻留软件、微码和解析器pico码。

另外，本发明可以采用计算机程序产品或计算机可读介质的形式，其包括用于由计算机或任何指令执行系统或者与计算机或任何指令执行系统一起使用的程序代码。为了说明的目的，计算机可读介质可以是任何包含、存储、传送、传播或传输用于由指令执行系统、装置或设备或者与其一起使用的程序产品的装置。具体地，上述的解析器控制模块构成指令执行系统或这种意义上的“计算机”。

介质可以是电的、磁的、光的、电磁的、红外的、或半导体系统(或装置或设备)或传播介质。计算机可读介质的例子包括半导体或固态存储器、磁带、可移动计算机硬盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的当前例子包括只读光盘(CD-ROM)、读/写光盘(CD-R/W)和DVD。

适合于存储和/或执行程序代码的数据处理系统可包括至少一个直接或者通过系统总线间接连接到存储器单元的处理器。存储器单元可包括在程序代码的实际执行期间使用的本地存储器、大容量存储设备和高速缓存器，其提供至少一些程序代码的临时存储以便减少代码在执行期间必须从大容量存储设备读取的次数。

附图标记

1：个人计算机；11：CPU(算术和控制单元)；12：RAM(随机存取存储器：存储设备)；13：ROM(只读存储器：存储设备)；14：HDD(硬盘：存储设备)；15：通信接口；16：输入/输出接口；17：鼠标；18：平板显示器(显示设备)；2：评论网站服务器；20、21：硬盘装置；31：智能电话；32：平板电脑；33：(笔记本)个人计算机；101：首次评价模块；102：二次评价模块；103：提取模块；104：输出模块。

Claims

1.一种由计算机从多个文本中提取一部分文本的方法，包括：

首次评价在所述多个文本中的每个文本中包括的肯定表达的度量和否定表达的度量，其中所述肯定表达的度量和所述否定表达的度量基于在每个文本中包括的肯定表达的数量和否定表达的数量而被首次评价；

根据多个评价函数，二次评价每个文本，所述多个评价函数中的至少一部分评价函数使用所述肯定表达的度量和所述否定表达的度量作为变量；

基于由所述多个评价函数中的每个评价函数对每个文本给出的评价分数，对所述每个文本给出等级；

优先于具有更低等级的评价结果的文本，提取具有更高等级的评价结果的文本，所述各个评价结果是基于所述多个评价函数中的同一个评价函数；以及

向用户输出所提取的文本中的每个，其中所提取的文本中的每个被显示用于识别哪个评价函数对所提取的文本中的每个给出更高的评价分数。

2.根据权利要求1所述的方法，其中，所述一部分评价函数中的一个评价函数是对具有平均的肯定表达的度量和平均的否定表达的度量的文本输出更高等级的评价结果的函数。

3.根据权利要求1所述的方法，其中，所述一部分评价函数中的一个评价函数用表达式_p+nC_pα^p(1-α)ⁿ×(p+n)表示，其中p是肯定表达的数量，n是否定表达的数量，α是在所有文本中包括的肯定表达的数量与肯定表达的数量和否定表达的数量的和的比率。

4.根据权利要求1所述的方法，其中，所述一部分评价函数中的一个评价函数用所述肯定表达的度量与所述否定表达的度量的和表示。

5.根据权利要求1所述的方法，其中，所述一部分评价函数中的一个评价函数用所述肯定表达的度量与所述否定表达的度量的差表示。

6.根据权利要求1所述的方法，其中，在所述提取的步骤中，具有基于所述多个评价函数中不同的评价函数的各个评价结果的文本按预定顺序提取。

7.根据权利要求1所述的方法，其中，在所述输出的步骤中，哪个评价函数已经对所提取的文本给出评价结果以使得所述文本根据所述评价结果而提取被一起输出给所述用户。

8.根据权利要求1所述的方法，其中，在所述输出的步骤中，在所提取的文本中包括的所述肯定表达和所述否定表达以不同的表达形式输出。

9.一种计算机可读介质，其包括计算机程序，所述计算机程序使计算机执行在根据权利要求1的方法中包括的各个步骤。

10.一种用于从多个文本中提取一部分文本的计算机，包括：

用于首次评价在所述多个文本中每个文本中包括的肯定表达的度量和否定表达的度量的装置,其中所述肯定表达的度量和所述否定表达的度量基于在每个文本中包括的肯定表达的数量和否定表达的数量而被首次评价；

用于根据多个评价函数来二次评价每个文本的装置，所述多个评价函数中的至少一部分评价函数使用所述肯定表达的度量和所述否定表达的度量作为变量；

用于基于由所述多个评价函数中的每个评价函数对每个文本给出的评价分数，对所述每个文本给出等级的装置；

用于优先于具有更低等级的评价结果的文本，提取具有更高等级的评价结果的文本的装置，所述各个评价结果是基于所述多个评价函数中的同一个评价函数；以及

用于向用户输出所提取的文本中的每个的装置，其中所提取的文本中的每个被显示用于识别哪个评价函数对所提取的文本中的每个给出更高的评价分数。