CN105469104A - 文本信息相似度的计算方法、装置及服务器 - Google Patents

Abstract

本公开提供一种文本信息相似度的计算方法、装置及服务器，所述方法的一具体实施方式包括：判断第一文本信息与第二文本信息的结构类型是否相同；若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0；若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度；获取第一文本信息与第二文本信息的内容近似度；基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。该实施方式提高了计算两个文本信息之间相似度的准确性。

Description

文本信息相似度的计算方法、装置及服务器

技术领域

本公开涉及计算机技术领域，特别涉及一种文本信息相似度的计算方法、装置及服务器。

背景技术

随着科技的不断发展，计算机人工智能技术变得日益完善和成熟，人工智能技术的发展使人们的生活越来越便利。例如，服务提供商可以对用户接收到的通知类型的文本信息进行聚类分析，以根据聚类分析的结果向用户提供一些服务，从而提高用户体验。而确定文本信息两两之间的相似度是进行聚类分析的基础，因此，如何更准确的确定两个文本信息之间的相似度变得尤为重要。

发明内容

本公开提供一种文本信息相似度的计算方法、装置及服务器，以解决计算两个文本信息之间相似度的准确性低的问题。

根据本公开实施例的第一方面，提供一种文本信息相似度的计算方法，包括：

判断第一文本信息与第二文本信息的结构类型是否相同；

若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0；

若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度；

获取第一文本信息与第二文本信息的内容近似度；

基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。

可选的，所述方法还包括：

分别将所述第一文本信息以及所述第二文本信息作为待分析文本信息，对所述待分析文本信息执行结构分析的操作，以确定所述第一文本信息以及所述第二文本信息的结构类型。

可选的，所述对待分析文本信息执行结构分析的操作，包括：

从所述待分析文本信息中查找出预定的符号和/或关键词；

确定所述预定的符号和/或关键词在所述待分析文本信息中的排布形式；

查找出与所述排布形式匹配的结构类型，作为所述待分析文本信息的结构类型。

可选的，所述获取第一文本信息与第二文本信息的主题近似度，包括：

获取所述第一文本信息的主题向量作为第一向量；

获取所述第二文本信息的主题向量作为第二向量；

基于所述第一向量以及第二向量确定所述主题近似度。

可选的，所述基于所述第一向量以及第二向量确定所述主题近似度，包括：

计算出所述第一向量与所述第二向量所成的夹角的余弦值，作为所述主题近似度。

可选的，所述获取第一文本信息与第二文本信息的内容近似度，包括：

基于N元语法N-gram模型确定所述第一文本信息与所述第二文本信息的内容近似度，其中，N为大于等于2的整数。

可选的，所述基于N-gram模型确定所述第一文本信息与所述第二文本信息的内容近似度，包括：

从所述第一文本信息中获取N元词组的集合作为第一集合；

从所述第二文本信息中获取N元词组的集合作为第二集合；

确定所述第一集合与所述第二集合的交集的元素个数；

确定所述第一集合与所述第二集合的并集的元素个数；

计算出所述交集的元素个数除以所述并集的元素个数的商值，作为所述内容近似度。

可选的，所述基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度，包括：

计算出所述主题近似度与所述内容近似度的加权平均值，作为所述第一文本信息与第二文本信息的相似度。

根据本公开实施例的第二方面，提供一种文本信息相似度的计算装置，包括：

判断模块，被配置为判断第一文本信息与第二文本信息的结构类型是否相同；

第一确定模块，被配置为在结构类型不同时，确定第一文本信息与第二文本信息的相似度为0；

主题近似度获取模块，被配置为在结构类型相同时，获取第一文本信息与第二文本信息的主题近似度；

内容近似度获取模块，被配置为获取第一文本信息与第二文本信息的内容近似度；

第二确定模块，被配置为基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。

可选的，所述装置还包括：

结构分析模块，被配置为分别将所述第一文本信息以及所述第二文本信息作为待分析文本信息，对所述待分析文本信息执行结构分析的操作，以确定所述第一文本信息以及所述第二文本信息的结构类型。

可选的，所述结构分析模块包括：

查找子模块，被配置为从所述待分析文本信息中查找出预定的符号和/或关键词；

排布形式确定子模块，被配置为确定所述预定的符号和/或关键词在所述待分析文本信息中的排布形式；

匹配子模块，被配置为查找出与所述排布形式匹配的结构类型，作为所述待分析文本信息的结构类型。

可选的，所述主题近似度获取模块包括：

第一向量获取子模块，被配置为获取所述第一文本信息的主题向量作为第一向量；

第二向量获取子模块，被配置为获取所述第二文本信息的主题向量作为第二向量；

主题近似度确定子模块，被配置为基于所述第一向量以及第二向量确定所述主题近似度。

可选的，所述主题近似度确定子模块包括：

余弦值计算子模块，被配置为计算出所述第一向量与所述第二向量所成的夹角的余弦值，作为所述主题近似度。

可选的，所述内容近似度获取模块包括：

确定子模块，被配置为基于N元语法N-gram模型确定所述第一文本信息与所述第二文本信息的内容近似度，其中，N为大于等于2的整数。

可选的，所述确定子模块包括：

第一集合获取子模块，被配置为从所述第一文本信息中获取N元词组的集合作为第一集合；

第二集合获取子模块，被配置为从所述第二文本信息中获取N元词组的集合作为第二集合；

交集元素个数确定子模块，被配置为确定所述第一集合与所述第二集合的交集的元素个数；

并集元素个数确定子模块，被配置为确定所述第一集合与所述第二集合的并集的元素个数；

商值计算子模块，被配置为计算出所述交集的元素个数除以所述并集的元素个数的商值，作为所述内容近似度。

可选的，所述第二确定模块，包括：

计算子模块，被配置为计算出所述主题近似度与所述内容近似度的加权平均值，作为所述第一文本信息与第二文本信息的相似度。

根据本公开实施例的第三方面，提供一种服务器，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

判断第一文本信息与第二文本信息的结构类型是否相同；

若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0；

若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度；

获取第一文本信息与第二文本信息的内容近似度；

基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的上述实施例提供的一种文本信息相似度的计算方法，在判断出第一文本信息与第二文本信息的结构类型不同时，确定第一文本信息与第二文本信息的相似度为0，并在结构类型相同时，基于上述两个文本信息的主题近似度以及内容近似度确定这两个文本信息的相似度。从而提高了计算两个文本信息之间相似度的准确性。

本公开的上述实施例提供的另一种文本信息相似度的计算方法，通过将第一文本信息以及第二文本信息作为待分析文本信息，对待分析文本信息执行结构分析的操作，从而确定第一文本信息以及第二文本信息的结构类型，有助于提高计算两个文本信息之间相似度的准确性。

本公开的上述实施例提供的另一种文本信息相似度的计算方法，通过基于第一文本信息的主题向量以及第二文本信息的主题向量确定主题近似度。从而有助于提高计算两个文本信息之间相似度的准确性。

本公开的上述实施例提供的另一种文本信息相似度的计算方法，通过基于N元语法N-gram模型确定第一文本信息与第二文本信息的内容近似度，使用户在进行切换操作时无需进行多级操作，从而有助于提高计算两个文本信息之间相似度的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种文本信息相似度的计算方法的流程图；

图2是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的流程图；

图3是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的流程图；

图4是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的流程图；

图5是本公开根据一示例性实施例示出的一种文本信息相似度的计算方法的装置的框图；

图6是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图7是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图8是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图9是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图10是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图11是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图12是本公开根据一示例性实施例示出的另一种文本信息相似度的计算方法的装置的框图；

图13是本公开根据一示例性实施例示出的一种文本信息相似度的计算装置的一结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前，通信技术的飞速发展使人们的生活越来越便利，一些服务提供商为了给用户提供更好的体验，可能会对用户接收到的通知类型的短信进行聚类分析，以根据聚类分析的结果向用户提供一些服务。如，特定的服务提供商提供的服务器可以收集所有移动终端用户接收到的各种通知类短信。然后，求得这些短信两两之间的相似度，基于上述相似度对这些短信进行聚类分析，将相同类型的短信聚成一类，再根据短信的类别以及短信的具体内容提供相应的服务。

例如，一种场景可以为，用户在网上订好车票或机票后，购票平台会将用户购票的相关信息通过短信的形式发送给用户。但用户乘车或乘机的时间可能会在很久之后，因此，购票平台发送的该信息无法在合适的时间有效的提醒用户乘车或乘机。在此情况下，特定的服务提供商提供的服务器首先可以确定该短信为乘车或乘机类别的短信，然后可以根据短信的具体内容确定服务策略(如，在乘车或乘机日前一天或两天向用户发送提醒消息等)，并基于该策略在预定的时刻执行服务操作。

又例如，另一种场景可以为，用户报名参加某个考试，考试管理平台会将考试的相关信息或者通知(如，缴费时间和缴费金额，或者考试时间和考试地点等)通过短信的形式发送给用户。特定的服务提供商提供的服务器首先可以确定该短信为考试类别的短信，然后可以根据短信的具体内容确定相应的服务策略(如，在考试前一天向用户发送提醒消息以及考试的注意事项等)，并基于该策略在预定的时刻执行服务操作。

由此可见，如何更准确的确定两个文本信息之间的相似度变得尤为重要。本公开实施例提供了一种文本信息相似度的计算方法，能更准确高效的确定两个文本信息之间的相似度。

如图1所示，图1是根据一示例性实施例示出的一种文本信息相似度的计算方法的流程图，该方法可以应用于服务器中。该方法包括以下步骤：

在步骤101中，判断第一文本信息与第二文本信息的结构类型是否相同。

在本实施例中，文本信息的结构类型取决于该文本信息的内容的句式结构，不同的句式结构对应不同的结构类型。句式结构可以包括总分结构，分总结构，并列结构，因果结构，等等，还可以包括较为复杂的嵌套结构等。例如，某个文本信息内容如下：您定制的(1)动感地带上网套餐18元，语音剩余24分钟，短信剩余100条，数据流量剩余0.0MB，(2)新30元数据流量可选包，数据流量剩余408.11MB，(3)赠送本地4G流量，本地4G流量直充赠送剩余1024.0MB，(4)IP1000，语音剩余994分钟，感谢您的使用。可以确定该文本信息的句式结构为并列结构。

又例如，某个文本信息内容如下：您本月已使用移动数据流量125.37MB，套餐内流量剩余344.63MB，其中：国内通用流量剩余4.59MB，半年包流量剩余340.04MB。可以确定该文本信息的句式结构为总分结构。

可以理解，文本信息的句式结构还可以包括其它形式的结构，本公开对文本信息的句式结构的具体形式不限定。

在步骤102中，若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0。

一般来说，通知类信息通常按照一定的模板生成，每种模板具有一定的结构类型，因此，相同类别的信息应该具有相同的结构类型。如果两个文本信息的结构类型不同，则即使这两个文本信息的主题相近，或者内容相近，也认为这两个文本信息不是一种类别的信息，即这两个文本信息的相似度为0。

在步骤103中，若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度。

在步骤104中，获取第一文本信息与第二文本信息的内容近似度。

在步骤105中，基于上述主题近似度以及上述内容近似度确定第一文本信息与第二文本信息的相似度。

在本实施例中，如果两个文本信息的结构类型相同，则说明这两个文本信息有可能比较相似。可以进一步根据这两个文本信息的主题以及具体内容，确定这两个文本信息的相似度。

在本实施例中，两个文本信息之间的主题近似度为基于这两个文本信息的主题确定的近似度，这两个文本信息的主题越相近，其主题近似度越高。可以采用各种主题模型计算文本信息之间的主题近似度。在一种实现方式中，可以采用LDA(LatentDirichletAllocation，文档主题生成模型)主题模型确定两个文本信息的主题近似度。在另一种实现方式中，还可以通过PLSA(ProbabilityLatentSemanticAnalysis，概率潜语义分析)主题模型确定两个文本信息的主题近似度。可以理解，还可以通过其它的方式确定两个文本信息的主题近似度，本公开对此方面不限定。

在本实施例中，两个文本信息之间的内容近似度为基于这两个文本信息的内容确定的近似度，这两个文本信息的内容越相近，其内容近似度越高。在一种实现方式中，可以基于句法分析树相似性的方法确定两个文本信息之间的内容近似度。在另一种实现方式中，还可以通过N-gram模型确定两个文本信息的内容近似度。可以理解，还可以通过其它的方式确定两个文本信息的内容近似度，本公开对此方面不限定。

本公开的上述实施例提供的文本信息相似度的计算方法，在判断出第一文本信息与第二文本信息的结构类型不同时，确定第一文本信息与第二文本信息的相似度为0，并在结构类型相同时，基于上述两个文本信息的主题近似度以及内容近似度确定这两个文本信息的相似度。从而提高了计算两个文本信息之间相似度的准确性。

如图2所示，图2根据一示例性实施例示出的另一种文本信息相似度的计算方法的流程图，该实施例在图1实施例的基础上描述了进一步确定第一文本信息与第二文本信息的结构类型的过程，该方法可以应用于服务器中，包括以下步骤：

在步骤201中，分别将第一文本信息以及第二文本信息作为待分析文本信息，对待分析文本信息执行结构分析的操作，以确定第一文本信息以及第二文本信息的结构类型。

在本实施例中，将所有需要比较相似度的文本信息(包括第一文本信息以及第二文本信息)作为待分析文本信息，对每个待分析文本信息执行结构分析的操作，从而确定这些待分析文本信息的结构类型。一般来说，文本信息的结构类型取决于该文本信息的内容的句式结构，不同的句式结构对应不同的结构类型。而文本信息中的某些符号和/或关键词的排布形式(如这些符号和/或关键词在上述文本信息中的排列顺序及分布等)，可能决定了文本信息的句式结构，因此，可以基于文本信息中的某些符号和/或关键词(可以只基于符号，也可以只基于关键词，也可以基于符号和关键词)的排布形式，确定该文本信息的结构类型。

具体来说，可以首先确定一些符号和/或关键词的排布形式，每种排布形式对应一种结构类型，然后将这些符号和/或关键词的排布形式与结构类型的对应关系预先进行存储。在确定待分析文本信息的结构类型时，从待分析文本信息中查找出预定的符号和/或关键词，并确定这些预定的符号和/或关键词在该待分析文本信息中的排布形式，然后从已存储的数据中查找出与上述预定的符号和/或关键词在该待分析文本信息中的排布形式匹配的结构类型，作为该待分析文本信息的结构类型。

需要说明的是，预定的符号可以是任意的符号，如数字编号1、2、3……等，或者标点符号【】；“”等。关键词可以是任意的关键词，如一些关联词，或者一些单位名称，或者一些量词等等。可以理解，预定的符号以及关键词还可以是其它任何合适的符号以及关键词，本公开对预定的符号以及关键词的选择方面不限定。

在步骤202中，判断第一文本信息与第二文本信息的结构类型是否相同。

在步骤203中，若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0。

在步骤204中，若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度。

在步骤205中，获取第一文本信息与第二文本信息的内容近似度。

在步骤206中，基于上述主题近似度以及上述内容近似度确定第一文本信息与第二文本信息的相似度。

在本实施例中，可以基于上述主题近似度以及上述内容近似度确定第一文本信息与第二文本信息的相似度。例如，可以将上述主题近似度以及上述内容近似度的平均值确定为第一文本信息与第二文本信息的相似度。

又例如，还可以计算出上述主题近似度与上述内容近似度的加权平均值，作为第一文本信息与第二文本信息的相似度。假设，用simt(A,B)表示第一文本信息与第二文本信息的主题近似度，用simg(A,B)表示第一文本信息与第二文本信息的内容近似度，用sim(A,B)表示第一文本信息与第二文本信息的相似度，则sim(A,B)＝αsimt(A,B)+βsimg(A,B)，其中，α为simt(A,B)的权重参数，β为simg(A,B)的权重参数，α²+β²＝1。可以理解，α和β可以为任意满足上述公式的大于0的数，本公开对α和β的具体取值不限定。

需要说明的是，对于与图1实施例中相同的步骤，在上述图2实施例中不再进行赘述，相关内容可参见图1实施例。

本公开的上述实施例提供的文本信息相似度的计算方法，通过将第一文本信息以及第二文本信息作为待分析文本信息，对待分析文本信息执行结构分析的操作，从而确定第一文本信息以及第二文本信息的结构类型，有助于提高计算两个文本信息之间相似度的准确性。

如图3所示，图3是根据一示例性实施例示出的另一种文本信息相似度的计算方法的流程图，该实施例详细描述了获取第一文本信息与第二文本信息的主题近似度的过程，该方法可以用于服务器中，包括以下步骤：

在步骤301中，判断第一文本信息与第二文本信息的结构类型是否相同。

在步骤302中，若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0。

在步骤303中，若结构类型相同，则获取第一文本信息的主题向量作为第一向量。

在步骤304中，获取第二文本信息的主题向量作为第二向量。

在步骤305中，基于第一向量以及第二向量确定上述主题近似度。

在本实施例中，可以分别获取所有需要比较相似度的文本信息(包括第一文本信息以及第二文本信息)的主题向量。在本实施例的一种实现方式中，可以对所有需要比较相似度的文本信息进行初步分组，分组的依据可以为该文本信息的发送者所属号码段等，然后，采用LDA模型对同一组文本信息进行训练，从而获得每条文本信息的主题向量。在本实施例的另一种实现方式中，还可以通过PLSA主题模型获得每条文本信息的主题向量。可以理解，还可以通过其它可以实现的方式获得每条文本信息的主题向量，本公开对获得文本信息的主题向量的具体方式方面不限定。

在本实施例中，将获取到的第一文本信息的主题向量作为第一向量，将获取到的第二文本信息的主题向量作为第二向量，基于第一向量以及第二向量确定上述主题近似度。在本实施例的一种实现方式中，可以基于向量欧氏距离的方法，根据第一向量以及第二向量确定上述主题近似度。

在本实施例的另一种实现方式中，还可以将第一向量与第二向量所成的夹角的余弦值，作为主题近似度。具体地，假设用vec(A)表示第一向量(第一文本信息的主题向量)，用vec(B)表示第二向量(第二文本信息的主题向量)，用simt(A,B)表示第一文本信息与第二文本信息的主题近似度，则满足公式：simt(A,B)＝cos(vec(A),vec(B))。其中，cos(vec(A),vec(B))表示第一向量vec(A)与第二向量vec(B)所成夹角的余弦值。

在步骤306中，获取第一文本信息与第二文本信息的内容近似度。

在步骤307中，基于上述主题近似度以及上述内容近似度确定第一文本信息与第二文本信息的相似度。

需要说明的是，对于与图1和图2实施例中相同的步骤，在上述图3实施例中不再进行赘述，相关内容可参见图1和图2实施例。

本公开的上述实施例提供的文本信息相似度的计算方法，通过基于第一文本信息的主题向量以及第二文本信息的主题向量确定主题近似度。从而有助于提高计算两个文本信息之间相似度的准确性。

如图4所示，图4是根据一示例性实施例示出的另一种文本信息相似度的计算方法的流程图，该实施例详细描述了获取第一文本信息与第二文本信息的内容近似度的过程，该方法可以用于服务器中，包括以下步骤：

在步骤401中，判断第一文本信息与第二文本信息的结构类型是否相同。

在步骤402中，若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0。

在步骤403中，若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度。

在步骤404中，基于N元语法N-gram模型确定第一文本信息与第二文本信息的内容近似度，其中，N为大于等于2的整数。

在本实施例中，可以采用N-gram模型确定第一文本信息与第二文本信息的内容近似度，N为大于等于2的整数。具体地，首先，可以从第一文本信息中获取N元词组的集合作为第一集合，从第二文本信息中获取N元词组的集合作为第二集合。然后，确定第一集合与第二集合的交集的元素个数，同时，确定第一集合与第二集合的并集的元素个数。计算出上述交集的元素个数除以上述并集的元素个数的商值，作为上述内容近似度。

例如，用D(A)表示第一集合(从第一文本信息中获取的N元词组的集合)，用D(B)表示第二集合(从第二文本信息中获取的N元词组的集合)，则∣D(A)∩D(B)∣表示第一集合与第二集合的交集的元素个数，∣D(A)∪D(B)∣表示第一集合与第二集合的并集的元素个数，用simg(A,B)表示第一文本信息与第二文本信息的内容近似度，则满足公式：

simg(A,B)＝∣D(A)∩D(B)∣/∣D(A)∪D(B)∣

需要说明的是，N元词组为最小粒度的N个字符按顺序出现的组合。例如，假设，第一文本信息的内容为abcdefg，第二文本信息的内容为cdeagbf，取N＝2，则第一文本信息的2元词组的集合为{ab，bc，cd，de，ef，fg}，第二文本信息的2元词组的集合为{cd，de，ea，ag，gb，bf}。则D(A)∩D(B)＝{cd，de}，∣D(A)∩D(B)∣＝2，D(A)∪D(B)＝{ab，bc，cd，de，ef，fg，ea，ag，gb，bf}，∣D(A)∪D(B)∣＝10，则simg＝20％。

在步骤405中，基于上述主题近似度以及上述内容近似度确定第一文本信息与第二文本信息的相似度。

需要说明的是，对于与图1-图3实施例中相同的步骤，在上述图4实施例中不再进行赘述，相关内容可参见图1-图3实施例。

本公开的上述实施例提供的文本信息相似度的计算方法，通过基于N元语法N-gram模型确定第一文本信息与第二文本信息的内容近似度，使用户在进行切换操作时无需进行多级操作，从而有助于提高计算两个文本信息之间相似度的准确性。

应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。例如，在图1的流程100中，可以先执行步骤104，获取第一文本信息与第二文本信息的内容近似度，然后再执行步骤103，获取第一文本信息与第二文本信息的主题近似度。又例如，在图3的流程300中，可以先执行步骤304，获取第二文本信息的主题向量作为第二向量，再执行步骤303，获取第一文本信息的主题向量作为第一向量。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

与前述文本信息相似度的计算方法实施例相对应，本公开还提供了文本信息相似度的计算装置及其所应用的服务器的实施例。

如图5所示，图5是本公开根据一示例性实施例示出的一种文本信息相似度的计算装置框图，该装置包括：判断模块501，第一确定模块502，主题近似度获取模块503，内容近似度获取模块504以及第二确定模块505。

其中，判断模块501，被配置为判断第一文本信息与第二文本信息的结构类型是否相同；

第一确定模块502，被配置为在结构类型不同时，确定第一文本信息与第二文本信息的相似度为0；

主题近似度获取模块503，被配置为在结构类型相同时，获取第一文本信息与第二文本信息的主题近似度；

内容近似度获取模块504，被配置为获取第一文本信息与第二文本信息的内容近似度；

第二确定模块505，被配置为基于上述主题近似度以及上述内容近似度确定第一文本信息与第二文本信息的相似度。

如图6所示，图6是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图5所示实施例的基础上，该装置还可以进一步包括：结构分析模块506。结构分析模块506，被配置为分别将第一文本信息以及第二文本信息作为待分析文本信息，对上述待分析文本信息执行结构分析的操作，以确定第一文本信息以及第二文本信息的结构类型。

如图7所示，图7是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图6所示实施例的基础上，结构分析模块506可以包括查找子模块701，排布形式确定子模块702和匹配子模块703。

其中，查找子模块701，被配置为从待分析文本信息中查找出预定的符号和/或关键词；

排布形式确定子模块702，被配置为确定预定的符号和/或关键词在待分析文本信息中的排布形式；

匹配子模块703，被配置为查找出与上述排布形式匹配的结构类型，作为上述待分析文本信息的结构类型。

如图8所示，图8是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图5所示实施例的基础上，主题近似度获取模块503可以包括：第一向量获取子模块801，第二向量获取子模块802，主题近似度确定子模块803。

其中，第一向量获取子模块801，被配置为获取第一文本信息的主题向量作为第一向量；

第二向量获取子模块802，被配置为获取第二文本信息的主题向量作为第二向量；

主题近似度确定子模块803，被配置为基于第一向量以及第二向量确定上述主题近似度。

如图9所示，图9是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图8所示实施例的基础上，主题近似度确定子模块803可以包括：余弦值计算子模块901。余弦值计算子模块901，被配置为计算出第一向量与第二向量所成的夹角的余弦值，作为上述主题近似度。

如图10所示，图10是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图5所示实施例的基础上，内容近似度获取模块504可以进一步包括：确定子模块1001。确定子模块1001，被配置为基于N元语法N-gram模型确定第一文本信息与第二文本信息的内容近似度，其中，N为大于等于2的整数。

如图11所示，图11是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图10所示实施例的基础上，确定子模块1001可以包括：第一集合获取子模块1101，第二集合获取子模块1102，交集元素个数确定子模块1103，并集元素个数确定子模块1104，商值计算子模块1105。

其中，第一集合获取子模块1101，被配置为从第一文本信息中获取N元词组的集合作为第一集合；

第二集合获取子模块1102，被配置为从第二文本信息中获取N元词组的集合作为第二集合；

交集元素个数确定子模块1103，被配置为确定第一集合与第二集合的交集的元素个数；

并集元素个数确定子模块1104，被配置为确定第一集合与第二集合的并集的元素个数；

商值计算子模块1105，被配置为计算出上述交集的元素个数除以上述并集的元素个数的商值，作为上述内容近似度。

如图12所示，图12是本公开根据一示例性实施例示出的另一种文本信息相似度的计算装置框图，该实施例在前述图5所示实施例的基础上，第二确定模块505可以包括：计算子模块1201。计算子模块1201，被配置为计算出上述主题近似度与上述内容近似度的加权平均值，作为第一文本信息与第二文本信息的相似度。

应当理解，上述装置可以预先设置在服务器中，也可以通过下载等方式而加载到服务器中。上述装置中的相应模块可以与服务器中的模块相互配合以实现文本信息相似度的计算方案。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本公开还提供一种服务器，该服务器包括有处理器；用于存储处理器可执行指令的存储器；其中，该处理器被配置为：

判断第一文本信息与第二文本信息的结构类型是否相同；

若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0；

若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度；

获取第一文本信息与第二文本信息的内容近似度；

基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。

图13是根据一示例性实施例示出的一种文本信息相似度的计算装置1300的一结构示意图。例如，装置1300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图13，装置1300可以包括以下一个或多个组件：处理组件1302，存储器1304，电源组件1306，多媒体组件1308，音频组件1310，输入/输出(I/O)的接口1312，传感器组件1314，以及通信组件1316。

处理组件1302通常控制装置1300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。

存储器1304被配置为存储各种类型的数据以支持在装置1300的操作。这些数据的示例包括用于在装置1300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1306为装置1300的各种组件提供电力。电源组件1306可以包括电源管理系统，一个或多个电源，及其他与为装置1300生成、管理和分配电力相关联的组件。

多媒体组件1308包括在所述装置1300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当装置1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(MIC)，当装置1300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。

I/O接口1312为处理组件1302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1314包括一个或多个传感器，用于为装置1300提供各个方面的状态评估。例如，传感器组件1314可以检测到装置1300的打开/关闭状态，组件的相对定位，例如所述组件为装置1300的显示器和小键盘，传感器组件1314还可以检测装置1300或装置1300一个组件的位置改变，用户与装置1300接触的存在或不存在，装置1300方位或加速/减速和装置1300的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器，微波传感器或温度传感器。

通信组件1316被配置为便于装置1300和其他设备之间有线或无线方式的通信。装置1300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由装置1300的处理器1320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (17)

1.一种文本信息相似度的计算方法，其特征在于，所述方法包括：

判断第一文本信息与第二文本信息的结构类型是否相同；

若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0；

若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度；

获取第一文本信息与第二文本信息的内容近似度；

基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

分别将所述第一文本信息以及所述第二文本信息作为待分析文本信息，对所述待分析文本信息执行结构分析的操作，以确定所述第一文本信息以及所述第二文本信息的结构类型。

3.根据权利要求2所述的方法，其特征在于，所述对待分析文本信息执行结构分析的操作，包括：

从所述待分析文本信息中查找出预定的符号和/或关键词；

确定所述预定的符号和/或关键词在所述待分析文本信息中的排布形式；

查找出与所述排布形式匹配的结构类型，作为所述待分析文本信息的结构类型。

4.根据权利要求1所述的方法，其特征在于，所述获取第一文本信息与第二文本信息的主题近似度，包括：

获取所述第一文本信息的主题向量作为第一向量；

获取所述第二文本信息的主题向量作为第二向量；

基于所述第一向量以及第二向量确定所述主题近似度。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一向量以及第二向量确定所述主题近似度，包括：

计算出所述第一向量与所述第二向量所成的夹角的余弦值，作为所述主题近似度。

6.根据权利要求1所述的方法，其特征在于，所述获取第一文本信息与第二文本信息的内容近似度，包括：

基于N元语法N-gram模型确定所述第一文本信息与所述第二文本信息的内容近似度，其中，N为大于等于2的整数。

7.根据权利要求6所述的方法，其特征在于，所述基于N-gram模型确定所述第一文本信息与所述第二文本信息的内容近似度，包括：

从所述第一文本信息中获取N元词组的集合作为第一集合；

从所述第二文本信息中获取N元词组的集合作为第二集合；

确定所述第一集合与所述第二集合的交集的元素个数；

确定所述第一集合与所述第二集合的并集的元素个数；

计算出所述交集的元素个数除以所述并集的元素个数的商值，作为所述内容近似度。

8.根据权利要求1所述的方法，其特征在于，所述基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度，包括：

计算出所述主题近似度与所述内容近似度的加权平均值，作为所述第一文本信息与第二文本信息的相似度。

9.一种文本信息相似度的计算装置，其特征在于，所述装置包括：

判断模块，被配置为判断第一文本信息与第二文本信息的结构类型是否相同；

第一确定模块，被配置为在结构类型不同时，确定第一文本信息与第二文本信息的相似度为0；

主题近似度获取模块，被配置为在结构类型相同时，获取第一文本信息与第二文本信息的主题近似度；

内容近似度获取模块，被配置为获取第一文本信息与第二文本信息的内容近似度；

第二确定模块，被配置为基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

结构分析模块，被配置为分别将所述第一文本信息以及所述第二文本信息作为待分析文本信息，对所述待分析文本信息执行结构分析的操作，以确定所述第一文本信息以及所述第二文本信息的结构类型。

11.根据权利要求10所述的装置，其特征在于，所述结构分析模块包括：

查找子模块，被配置为从所述待分析文本信息中查找出预定的符号和/或关键词；

排布形式确定子模块，被配置为确定所述预定的符号和/或关键词在所述待分析文本信息中的排布形式；

匹配子模块，被配置为查找出与所述排布形式匹配的结构类型，作为所述待分析文本信息的结构类型。

12.根据权利要求9所述的装置，其特征在于，所述主题近似度获取模块包括：

第一向量获取子模块，被配置为获取所述第一文本信息的主题向量作为第一向量；

第二向量获取子模块，被配置为获取所述第二文本信息的主题向量作为第二向量；

主题近似度确定子模块，被配置为基于所述第一向量以及第二向量确定所述主题近似度。

13.根据权利要求12所述的装置，其特征在于，所述主题近似度确定子模块包括：

余弦值计算子模块，被配置为计算出所述第一向量与所述第二向量所成的夹角的余弦值，作为所述主题近似度。

14.根据权利要求9所述的装置，其特征在于，所述内容近似度获取模块包括：

确定子模块，被配置为基于N元语法N-gram模型确定所述第一文本信息与所述第二文本信息的内容近似度，其中，N为大于等于2的整数。

15.根据权利要求14所述的装置，其特征在于，所述确定子模块包括：

第一集合获取子模块，被配置为从所述第一文本信息中获取N元词组的集合作为第一集合；

第二集合获取子模块，被配置为从所述第二文本信息中获取N元词组的集合作为第二集合；

交集元素个数确定子模块，被配置为确定所述第一集合与所述第二集合的交集的元素个数；

并集元素个数确定子模块，被配置为确定所述第一集合与所述第二集合的并集的元素个数；

商值计算子模块，被配置为计算出所述交集的元素个数除以所述并集的元素个数的商值，作为所述内容近似度。

16.根据权利要求9所述的装置，其特征在于，所述第二确定模块，包括：

计算子模块，被配置为计算出所述主题近似度与所述内容近似度的加权平均值，作为所述第一文本信息与第二文本信息的相似度。

17.一种服务器，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

判断第一文本信息与第二文本信息的结构类型是否相同；

若结构类型不同，则确定第一文本信息与第二文本信息的相似度为0；

若结构类型相同，则获取第一文本信息与第二文本信息的主题近似度；

获取第一文本信息与第二文本信息的内容近似度；

基于所述主题近似度以及所述内容近似度确定第一文本信息与第二文本信息的相似度。