CN105468782B - 一种查询-资源匹配度判断的方法及装置 - Google Patents

Abstract

本发明公开了一种查询‑资源匹配度判断的方法及装置，涉及互联网技术领域，解决了现有的根据用户反馈判断query‑资源匹配度的方式伤害用户体验的问题。本发明的方法包括：从资源分类体系中收集的各个类别的训练样本进行处理，获得对应类别的样本空间，并将训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型，通过SVM分类模型对query近邻文档进行分类，根据近邻文档的分类结果判断query的类别与对应资源的类别是否匹配。本发明主要用于对查询query与资源的匹配度进行判断。

Description

一种查询-资源匹配度判断的方法及装置

技术领域

本发明涉及互联网技术领域，特别是涉及一种查询-资源匹配度判断的方法及装置。

背景技术

在互联网领域搜索厂商通常在几十个垂直方向上与众多的内容生产者进行合作，由合作方提供各个垂直领域的高质量结构化数据，并指定了相应的一批查询query(称为种子query)。这些种子query大多与结构化数据非常匹配，用户搜索这些种子query或相关query时展现对应的结构化数据，有助于提升用户体验。但在实际情况中，合作方为了追求更多的导流，会在提供的种子query中含有一些与其结构化数据并不相关的数据。例如，“江南”、“小公主”等种子query与汽车的相关性弱，但被合作方作为种子query与一些型号的汽车进行关联。这样当用户搜索“江南”、“小公主”等种子query时得到的将会是关于汽车的信息，这样会伤害用户体验和搜索厂商的品牌。

现有的query-资源匹配度计算是通过用户的行为来判断的，当用户搜索某个种子query时，先把合作方提供的结构化数据信息展现给用户，一段时间后，当用户点击数/资源展现数的值低于设定的阈值时，则认为种子query与资源不匹配，对种子query做下线处理。

在使用现有处理方式的过程中，发明人发现：虽然这种处理方式对于高频的种子query来说是有效的，但还是以伤害用户体验为代价；而对于低频的种子query来说，由于统计信息不足，难以获得统计特征，因此处理结果不一定有效，错误的种子query在线上的存在时间也更长。

发明内容

有鉴于此，本发明提出了一种查询-资源匹配度判断的方法及装置，主要目的在于解决现有的根据用户反馈判断query-资源匹配度的方式伤害用户体验的问题。

依据本发明的第一个方面，本发明提供了一种查询-资源匹配度判断的方法，包括：

根据资源分类体系收集各个类别的文档作为训练样本；

对训练样本进行处理，获得对应不同类别的样本空间，样本空间包括特征分词；

将训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型；

通过SVM分类模型对获取的查询query近邻文档进行分类；

统计近邻文档的分类结果，判断query的类别与对应资源的类别是否匹配。

进一步的，所述根据资源分类体系收集各个类别的文档作为训练样本，包括：

在各个类别资源中随机收集一批query并通过搜索引擎抓取相应的文档，得到包含各个类别文档的训练样本；和/或

从互联网上抓取网页文档，根据网页文档所属的分类信息从所述网页文档中得到包含各个类别文档的训练样本。

进一步的，对所述训练样本进行处理，获得对应不同类别的样本空间，包括：

将所述训练样本的文档进行分词处理得到切分词串；

计算所述切分词串中每个分词的信息增益；

按照信息增益由大到小的顺序筛选出排序前20％的分词作为特征分词，形成所述样本空间。

进一步的，将所述训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型，包括：

根据所述训练样本的文档的每个分词在所述样本空间中出现与否，将文档的每个分词转换为特征值，形成文档向量；

从各个类别的文档向量中随机选择数量相同的文档向量作为样本文档向量；

获取SVM模型的参数，所述参数包括：惩罚系数C和径向基函数自带的参数gamma；

根据所述样本文档向量和所述参数计算出SVM分类模型。

进一步的，所述获取SVM模型的参数，包括：

调用网格参数寻优函数获取最优参数。

进一步的，根据所述样本文档向量和所述最优参数计算出SVM分类模型，包括：

在所述样本文档向量中找出各个类别的文档向量与其他类别的文档向量的最优分类超平面，得到代表各个类别的文档向量的支持向量，形成SVM分类模型的判别函数。

进一步的，通过所述SVM分类模型对获取的查询query近邻文档进行分类，包括：

通过搜索引擎对query进行搜索，从搜索结果中获取前K个文档作为query的近邻文档；

对所述近邻文档进行向量化处理；

通过所述SVM分类模型对向量化的近邻文档进行分类。

进一步的，统计所述近邻文档的分类结果，判断所述query的类别与对应资源的类别是否匹配，包括：

根据所述近邻文档的分类结果计算对应的query的置信度，所述近邻文档的分类结果同时为query对应资源的类别。

依据本发明的第二个方面，本发明提供了一种查询-资源匹配度判断的装置，包括：

收集单元，用于根据资源分类体系收集各个类别的文档作为训练样本；

处理单元，用于对收集单元收集的训练样本进行处理，获得对应不同类别的样本空间，样本空间包括特征分词；

训练单元，用于将收集单元收集的训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型；

分类单元，用于通过训练单元得到的SVM分类模型对获取的查询query近邻文档进行分类；

判断单元，用于根据分类单元得到的近邻文档的分类结果，判断query的类别与对应资源的类别是否匹配。

进一步的，所述收集单元用于在各个类别资源中随机收集一批query并通过搜索引擎抓取相应的文档，得到包含各个类别文档的训练样本；和/或从互联网上抓取网页文档，根据网页文档所属的分类信息从所述网页文档中得到包含各个类别文档的训练样本。

进一步的，所述处理单元包括：

分词模块，用于将所述训练样本的文档进行分词处理得到切分词串；

计算模块，用于计算所述切分词串中每个分词的信息增益；

筛选模块，用于按照信息增益由大到小的顺序筛选出排序前20％的分词作为特征分词，形成所述样本空间。

进一步的，所述训练单元包括：

转换模块，用于根据所述训练样本的文档的每个分词在所述样本空间中出现与否，将文档的每个分词转换为特征值，形成文档向量；

选择模块，用于从各个类别的文档向量中随机选择数量相同的文档向量作为样本文档向量；

获取模块，用于获取SVM模型的参数，所述参数包括：惩罚系数C和径向基函数自带的参数gamma；

计算模块，用于根据所述样本文档向量和所述参数计算出SVM分类模型。

进一步的，所述训练单元用于调用网格参数寻优函数获取最优参数。

进一步的，所述训练单元用于在所述样本文档向量中找出各个类别的文档向量与其他类别的文档向量的最优分类超平面，得到代表各个类别的文档向量的支持向量，形成SVM分类模型的判别函数。

进一步的，所述分类单元包括：

搜索模块，用于通过搜索引擎对query进行搜索，从搜索结果中获取前K个文档作为query的近邻文档；

处理模块，用于对所述近邻文档进行向量化处理；

分类模块，用于通过所述SVM分类模型对向量化的近邻文档进行分类。

进一步的，所述判断单元还用于根据所述近邻文档的分类结果计算对应的query的置信度，所述近邻文档的分类结果同时为query对应资源的类别。

借由上述技术方案，本发明实施例提供的查询-资源匹配度判断的方法及装置，能够对从资源分类体系中收集的各个类别的训练样本进行处理，获得对应不同类别的样本空间，并将训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型，通过SVM分类模型对query近邻文档进行分类，根据近邻文档的分类结果判断query的类别与对应资源的类别是否匹配；而现有技术中query-资源匹配度计算是通过用户的行为来判断，先把合作方提供的结构化信息展现给用户，经过一段时间后通过用户点击数/资源展现数的比值是否小于阈值来确认query与资源是否匹配。与现有技术会伤害用户体验的缺陷相比，本发明能够定向收录合作方数据，在数据入库之前就完成对query与资源的匹配度计算，滤除与资源明显不匹配的query，避免当用户搜索这些query时，把不匹配的资源展现给用户。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种查询-资源匹配度判断的方法的流程图；

图2示出了本发明实施例提供的一种查询-资源匹配度判断的装置的组成框图；

图3示出了本发明实施例提供的一种查询-资源匹配度判断的装置的组成框图；

图4示出了本发明实施例提供的一种查询-资源匹配度判断的装置的组成框图。

具体实施方式

下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

现有的query-资源匹配度计算是通过用户的行为来判断的，当用户搜索某个种子query时，先把合作方提供的结构化数据信息展现给用户，一段时间后，当用户点击数/资源展现数的值低于设定的阈值时，则认为种子query与资源不匹配，对种子query做下线处理。虽然这种处理方式对于高频的种子query来说是有效的，但还是以伤害用户体验为代价；而对于低频的种子query来说，由于统计信息不足，难以获得统计特征，因此处理结果不一定有效，错误的种子query在线上的存在时间也更长。

为了解决上述问题，本发明实施例提供了一种查询-资源匹配度判断的方法，能够定向收录合作方数据，在数据入库之前就完成对query与资源的匹配度计算，如图1所示，该方法包括：

101、根据资源分类体系收集各个类别的文档作为训练样本。

搜索厂商通常在几十个垂直方向上与众多的内容生产者进行合作，由合作方提供各个垂直领域高质量的结构化数据。厂商根据业务需求可以构建资源分类体系，该资源分类体系可以包括：旅游、汽车、游戏、体育、小说等类别。在本实施例的步骤101中，需要根据资源分类体系中的资源分类情况收集各个类别的文档作为训练样本。

102、对训练样本进行处理，获得对应不同类别的样本空间。

由于资源分类体系中业务复杂，通常获取的训练样本规模过大，规模过大的训练样本可能会造成后续处理的瘫痪，因此需要从大量的训练样本中选择出一些有代表性的样本而又不影响分类的效果。因此在步骤101中得到包含各个类别文档的训练样本后，需要对训练样本进行处理，获得对应不同类别的样本空间，该样本空间包含一些有代表性的特征样本，也就是特征分词。

103、将训练样本向量化后训练SVM模型，得到SVM分类模型。

由于支持向量机SVM分类的前提是把文本向量化表示，因此在训练SVM模型时需要结合步骤102得到的样本空间，将训练样本向量化后才能通过训练得到SVM分类模型。

104、通过SVM分类模型对获取的查询query近邻文档进行分类。

通常对于某一新实例来说，在训练数据集中找到与该新实例最邻近的K个实例，这K个实例多数属于某个类，就可以把该新实例分类到这个类中。因此，要判断query对应资源的类别，就需要根据步骤103得到的SVM分类模型对query近邻文档进行分类，根据query近邻文档的类别得到query对应资源的类别。

105、统计近邻文档的分类结果，判断query的类别与对应资源的类别是否匹配。

由于根据query近邻文档的类别可以确定query对应资源的类别，也就是合作方指定给query的资源，因此步骤105统计近邻文档的分类结果，可以判断query的类别与对应资源(合作方指定资源)的类别是否匹配。

本发明实施例提供的查询-资源匹配度判断的方法，能够对从资源分类体系中收集的各个类别的训练样本进行处理，获得对应不同类别的样本空间，并将训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型，通过SVM分类模型对query近邻文档进行分类，根据近邻文档的分类结果判断query的类别与对应资源的类别是否匹配；而现有技术中query-资源匹配度计算是通过用户的行为来判断，先把合作方提供的结构化信息展现给用户，经过一段时间后通过用户点击数/资源展现数的比值是否小于阈值来确认query与资源是否匹配。与现有技术会伤害用户体验的缺陷相比，本发明能够定向收录合作方数据，在数据入库之前就完成对query与资源的匹配度计算，滤除与资源明显不匹配的query，避免当用户搜索这些query时，把不匹配的资源展现给用户。

为了更好的对上述图1所示的方法进行理解，作为对上述实施方式的细化和扩展，本发明实施例将针对图1中的步骤进行详细说明。

query是为了在数据库中寻找某一特定文件、网站、记录或一系列记录，由搜索引擎或数据库送出的消息，用户可以直接点击query进行搜索得到相应的数据资源。因此，本实施例在根据资源分类体系收集各个类别的文档作为训练样本时，作为一种可选的实施方式，可以在各个类别资源中随机收集一批query并通过搜索引擎抓取相应的文档，得到包含各个类别文档的训练样本，也就是在搜索引擎上直接使用一定时间内网民搜索的query，过滤掉黄赌毒反结果，通过搜索引擎抓取资源匹配正确的query对应的文档，得到训练样本。

或者，作为另一种可选的实施方式，也可以从互联网上抓取网页文档，根据网页文档所属的分类信息从网页文档中得到包含各个类别文档的训练样本。实际操作时可以基于网络爬虫工具从互联网上抓取通用语料，通常是从网站的某个页面(一般是首页)开始，读取网页的内容，找到在网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止，用这种方式获取到的网页文档往往大而全。同时，获取到的网页文档都带有确定文档所属的具体领域的标签，也就是文档的分类信息，根据网页文档的标签可以得到网页文档的类别，从而得到包含各个类别文档的训练样本。

当通过上述方式获取到训练样本后，需要对训练样本进行一定的处理才能在后续对训练样本进行分类。本步骤对训练样本进行处理也就是要从大量的训练样本中提取出有代表性的特征样本而又不影响分类效果。因此首先要对训练样本的文档进行分词处理，得到由多个分词组成的切分词串。在信息论中，信息增益用来描述特征能够为分类系统带来多少信息量，带来的信息量越多，该特征越重要。对一个特征而言，系统有它和没它时信息量将发生变化，而前后信息量的差值就是这个特征给系统带来的信息量，所谓信息量就是熵。而在本实施例中可以将一个分词看成一个特征，通过计算每个分词的信息增益来确定分词的重要性。本实施例中可以通过下述公式计算分词的信息增益：Entropy(S)＝-(p+)*log(p+)-(p-)*log(p-)。其中，p+和p-分别为包含该分词和不包含该分词的文档数占总文档数的比例。这里需要说明的是，为了使计算数据标准化，对于某个分词在一篇文档中多次出现的情况，本发明实施例只对该文档统计一次，不重复计数。当计算出每个分词的信息增益后，按照信息增益值的大小进行排序，筛选出排序前20％的分词作为特征分词，这些特征分词具有很高的代表性，能够代表训练样本而且不影响分类效果，这些特征分词形成了样本空间。根据实际情况，往往筛选出排序前7％或8％的分词作为特征分词就可形成有代表性的样本空间。获取具有代表性的特征分词作为样本空间能够降低文本分类中训练样本的规模，避免维度灾难。

本实施例提供的通过信息增益筛选出具有代表性的特征分词来避免维度灾难只是本发明的一种实施方式，当然还可以利用映射将高纬度空间映射到低纬度空间，从而达到降维的目的，如使用Topic Mode ling。

当获取到具有代表性的样本空间后，可以准备构建SVM分类模型。构建SVM分类模型的关键在于SVM模型参数以及SVM模型训练样本。本实施例中的SVM模型参数包括惩罚系数C、径向基函数自带的参数gamma，其中惩罚系数C即对误差的宽容度，C值越高，说明越不能容忍出现误差，C值过大或过小，泛化能力变差；gamma值隐含的决定了数据映射到新的特征空间后的分布，gamma值越大，支持向量越少，gamma值越小，支持向量越多。在构建SVM分类模型时，通常需要使用最优参数，在本实施例中可以通过调用网格参数寻优函数获取到最优的C值和gamma值；SVM模型训练样本是通过将各个类别的文档向量化，并随机从各个类别的文档向量中选择数量相同的文档向量作为样本文档向量，该样本文档向量即为SVM模型训练样本。在对各个类别的文档进行向量化时，本实施例提供了一种实施方式，可以根据各个类别文档的每个分词在样本空间中出现与否，将文档的每个分词转换为特征值，形成文档向量。例如，“如^要^购买^商品^请^联系^我”是经过分词的一个文档，样本空间中包含的特征分词有“购买、商品、联系”，则根据文档的每个分词在样本空间中出现与否，若出现则将分词转换为特征值1，若没有出现则将分词转换为特征值0，则该文档可以转换为文档向量[0011010]。

当通过上述方式获取到SVM模型参数以及SVM模型训练样本后，选择多次方的多项式核函数，将样本文档向量映射到高维特征空间。利用SVM在样本文档向量中找出各个类别的文档向量与其他类别的文档向量的最优分类超平面，得到代表各个类别的文档向量的支持向量及其相应的VC可信度，形成判断各特征类别的判别函数。一般来讲径向基核函数是不会出现太大偏差的，进一步加上参数C和gamma的调优，使得绝大部分类别的准确和召回都在85％以上。

当通过上述方式训练出SVM分类模型后，就需要用SVM分类模型对query对应的资源进行分类预测了。由于直接计算query与结构化数据的相关度很困难，所以需要对query的意图进行判别，本实施例借鉴了K近邻的统计思想，为query寻找到最匹配的K个近邻文档，以近邻文档的分类投票结果描述query的意图，也就是query对应的资源类别。这里需要说明的是，寻找query的K个近邻文档个与query最相关的网页文档，而不是K个最近的query，query近邻文档的获取是通过搜索引擎对query进行搜索，从搜索结果中获取前K个文档作为query的近邻文档。

当获取到query的近邻文档后，需要对近邻文档进行向量化处理才能被SVM分类模型进行分类。其中，向量化处理的过程也需要对近邻文档进行分词，并根据近邻文档的分词在样本空间中的出现与否，将近邻文档的每个分词转换为特征值，形成近邻文档向量。通过SVM分类模型对向量化的近邻文档进行分类，将其通过核函数作用映射到特征空间中，作为判别函数的输入，利用分类判决函数得出分类结果。

当完成对query近邻文档的分类后，需要对分类结果进行统计，得到的query近邻文档的类别也就是query对应资源的类别，从而判断出query类别与其对应资源的类别是否匹配。若匹配，则将query保留在线上供用户点击搜索，若不匹配，则将query做下线处理。在对分类结果进行统计时，除了可以根据近邻文档的分类结果得到query对应资源的类别，还可以根据近邻文档的分类结果计算对应的query的置信度。例如：query＝“2015款**手机”，K取20，在搜索该query的20个近邻文档中有18个文档的分类结果是手机，则说明该query的对应资源的类别为手机，该query的类别与其对应资源的类别匹配，该query的置信度为18/20＝0.9。

本发明实施例借鉴了K近邻的统计思想并结合支持向量机学习算法，以query近邻文档的分类结果描述query的对应资源类别，避免了直接计算query与结构化数据的相关度所带来的困难；此外，本实施例允许合作方为资源指定种子query，使各垂直领域的结构化数据高时效性、准确的展示给用户。

进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种查询-资源匹配度判断的装置，如图2所示，该装置包括：收集单元21、处理单元22、训练单元23、分类单元24及判断单元25，其中，

收集单元21，用于根据资源分类体系收集各个类别的文档作为训练样本；

处理单元22，用于对收集单元21收集的训练样本进行处理，获得对应不同类别的样本空间，样本空间包括特征分词；

训练单元23，用于将收集单元21收集的训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型；

分类单元24，用于通过训练单元23得到的SVM分类模型对获取的查询query近邻文档进行分类；

判断单元25，用于根据分类单元24得到的近邻文档的分类结果，判断query的类别与对应资源的类别是否匹配。

进一步的，收集单元21用于在各个类别资源中随机收集一批query并通过搜索引擎抓取相应的文档，得到包含各个类别文档的训练样本；和/或从互联网上抓取网页文档，根据网页文档所属的分类信息从网页文档中得到包含各个类别文档的训练样本。

进一步的，如图3所示，处理单元22包括：

分词模块221，用于将训练样本的文档进行分词处理得到切分词串；

计算模块222，用于计算切分词串中每个分词的信息增益；

筛选模块223，用于按照信息增益由大到小的顺序筛选出排序前20％的分词作为特征分词，形成样本空间。

进一步的，训练单元23包括：

转换模块231，用于根据训练样本的文档的每个分词在样本空间中出现与否，将文档的每个分词转换为特征值，形成文档向量；

选择模块232，用于从各个类别的文档向量中随机选择数量相同的文档向量作为样本文档向量；

获取模块233，用于获取SVM模型的参数，参数包括：惩罚系数C和径向基函数自带的参数gamma；

计算模块234，用于根据样本文档向量和参数计算出SVM分类模型。

进一步的，训练单元23用于调用网格参数寻优函数获取最优参数。

进一步的，训练单元23用于在样本文档向量中找出各个类别的文档向量与其他类别的文档向量的最优分类超平面，得到代表各个类别的文档向量的支持向量，形成SVM分类模型的判别函数。

进一步的，如图4所示，分类单元24包括：

搜索模块241，用于通过搜索引擎对query进行搜索，从搜索结果中获取前K个文档作为query的近邻文档；

处理模块242，用于对近邻文档进行向量化处理；

分类模块243，用于通过SVM分类模型对向量化的近邻文档进行分类。

进一步的，判断单元25还用于根据近邻文档的分类结果计算对应的query的置信度，近邻文档的分类结果同时为query对应资源的类别。

本发明实施例提供的查询-资源匹配度判断的装置，能够对从资源分类体系中收集的各个类别的训练样本进行处理，获得对应不同类别的样本空间，并将训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型，通过SVM分类模型对query近邻文档进行分类，根据近邻文档的分类结果判断query的类别与对应资源的类别是否匹配；而现有技术中query-资源匹配度计算是通过用户的行为来判断，先把合作方提供的结构化信息展现给用户，经过一段时间后通过用户点击数/资源展现数的比值是否小于阈值来确认query与资源是否匹配。与现有技术会伤害用户体验的缺陷相比，本发明能够定向收录合作方数据，在数据入库之前就完成对query与资源的匹配度计算，滤除与资源明显不匹配的query，避免当用户搜索这些query时，把不匹配的资源展现给用户。

此外，本发明实施例借鉴了K近邻的统计思想并结合支持向量机学习算法，以query近邻文档的分类结果描述query的对应资源类别，避免了直接计算query与结构化数据的相关度所带来的困难；同时，本实施例允许合作方为资源指定种子query，使各垂直领域的结构化数据高时效性、准确的展示给用户。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的发明名称(如确定网站内链接等级的装置)中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (16)

1.一种查询-资源匹配度判断的方法，其特征在于，所述方法包括：

根据资源分类体系收集各个类别的文档作为训练样本；

对所述训练样本进行处理，获得对应不同类别的样本空间，所述样本空间包括特征分词；

将所述训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型；

通过所述SVM分类模型对获取的查询query近邻文档进行分类；

统计所述近邻文档的分类结果，判断所述query的类别与所述query对应资源的类别是否匹配。

2.根据权利要求1所述的方法，其特征在于，所述根据资源分类体系收集各个类别的文档作为训练样本，包括：

在各个类别资源中随机收集一批query并通过搜索引擎抓取相应的文档，得到包含各个类别文档的训练样本；和/或

从互联网上抓取网页文档，根据网页文档所属的分类信息从所述网页文档中得到包含各个类别文档的训练样本。

3.根据权利要求1-2任一项所述的方法，其特征在于，对所述训练样本进行处理，获得对应不同类别的样本空间，包括：

将所述训练样本的文档进行分词处理得到切分词串；

计算所述切分词串中每个分词的信息增益；

按照信息增益由大到小的顺序筛选出排序前20％的分词作为特征分词，形成所述样本空间。

4.根据权利要求1所述的方法，其特征在于，将所述训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型，包括：

根据所述训练样本的文档的每个分词在所述样本空间中出现与否，将文档的每个分词转换为特征值，形成文档向量；

从各个类别的文档向量中随机选择数量相同的文档向量作为样本文档向量；

获取SVM模型的参数，所述参数包括：惩罚系数C和径向基函数自带的参数gamma；

根据所述样本文档向量和所述参数计算出SVM分类模型。

5.根据权利要求4所述的方法，其特征在于，所述获取SVM模型的参数，包括：

调用网格参数寻优函数获取最优参数。

6.根据权利要求5所述的方法，其特征在于，根据所述样本文档向量和所述最优参数计算出SVM分类模型，包括：

在所述样本文档向量中找出各个类别的文档向量与其他类别的文档向量的最优分类超平面，得到代表各个类别的文档向量的支持向量，形成SVM分类模型的判别函数。

7.根据权利要求1所述的方法，其特征在于，通过所述SVM分类模型对获取的查询query近邻文档进行分类，包括：

通过搜索引擎对query进行搜索，从搜索结果中获取前K个文档作为query的近邻文档；

对所述近邻文档进行向量化处理；

通过所述SVM分类模型对向量化的近邻文档进行分类。

8.根据权利要求1所述的方法，其特征在于，统计所述近邻文档的分类结果，判断所述query的类别与对应资源的类别是否匹配，包括：

根据所述近邻文档的分类结果计算对应的query的置信度，所述近邻文档的分类结果同时为query对应资源的类别。

9.一种查询-资源匹配度判断的装置，其特征在于，所述装置包括：

收集单元，用于根据资源分类体系收集各个类别的文档作为训练样本；

处理单元，用于对所述收集单元收集的所述训练样本进行处理，获得对应不同类别的样本空间，所述样本空间包括特征分词；

训练单元，用于将所述收集单元收集的所述训练样本向量化后训练支持向量机SVM模型，得到SVM分类模型；

分类单元，用于通过所述训练单元得到的所述SVM分类模型对获取的查询query近邻文档进行分类；

判断单元，用于根据所述分类单元得到的所述近邻文档的分类结果，判断所述query的类别与所述query对应资源的类别是否匹配。

10.根据权利要求9所述的装置，其特征在于，所述收集单元用于在各个类别资源中随机收集一批query并通过搜索引擎抓取相应的文档，得到包含各个类别文档的训练样本；和/或

从互联网上抓取网页文档，根据网页文档所属的分类信息从所述网页文档中得到包含各个类别文档的训练样本。

11.根据权利要求9-10任一项所述的装置，所述处理单元包括：

分词模块，用于将所述训练样本的文档进行分词处理得到切分词串；

计算模块，用于计算所述切分词串中每个分词的信息增益；

筛选模块，用于按照信息增益由大到小的顺序筛选出排序前20％的分词作为特征分词，形成所述样本空间。

12.根据权利要求9所述的装置，所述训练单元包括：

转换模块，用于根据所述训练样本的文档的每个分词在所述样本空间中出现与否，将文档的每个分词转换为特征值，形成文档向量；

选择模块，用于从各个类别的文档向量中随机选择数量相同的文档向量作为样本文档向量；

获取模块，用于获取SVM模型的参数，所述参数包括：惩罚系数C和径向基函数自带的参数gamma；

计算模块，用于根据所述样本文档向量和所述参数计算出SVM分类模型。

13.根据权利要求12所述的装置，所述训练单元用于调用网格参数寻优函数获取最优参数。

14.根据权利要求13所述的装置，所述训练单元用于在所述样本文档向量中找出各个类别的文档向量与其他类别的文档向量的最优分类超平面，得到代表各个类别的文档向量的支持向量，形成SVM分类模型的判别函数。

15.根据权利要求9所述的装置，所述分类单元包括：

搜索模块，用于通过搜索引擎对query进行搜索，从搜索结果中获取前K个文档作为query的近邻文档；

处理模块，用于对所述近邻文档进行向量化处理；

分类模块，用于通过所述SVM分类模型对向量化的近邻文档进行分类。

16.根据权利要求9所述的装置，所述判断单元还用于根据所述近邻文档的分类结果计算对应的query的置信度，所述近邻文档的分类结果同时为query对应资源的类别。