CN101206674A

CN101206674A - 以商品为媒介的增强型相关搜索系统及其方法

Info

Publication number: CN101206674A
Application number: CNA2007103017112A
Authority: CN
Inventors: 刘刚; 庄洪波; 刘建国; 王洪涛; 张研
Original assignee: BEIJING KEWEN SHUYE INFORMATION TECHNOLOGY Co Ltd
Current assignee: BEIJING KEWEN SHUYE INFORMATION TECHNOLOGY Co Ltd
Priority date: 2007-12-25
Filing date: 2007-12-25
Publication date: 2008-06-25

Abstract

本发明公开了一种以商品为媒介的增强型相关搜索系统，该系统由四个模块组成：Data updater模块、Indexer模块、Search service模块、Controller模块组成，通过提取搜索词与该搜索词下的商品之间关系，利用向量模型算出搜索词间的相似度，得到商品之间的内在联系；本发明还公开了其方法，利用搜索词与商品之间的映射关系，建立意义相关索引和字面相关索引。从而达到了改善意义型相关搜索提示词质量，使推荐相关词紧跟商品销售趋势。

Description

以商品为媒介的增强型相关搜索系统及其方法

技术领域

本发明涉及信息检索领域，尤其是涉及到一种电子商务网站以商品为媒介的相关搜索改进技术。

背景技术

相关搜索是对用户的搜索关键词，给出有某种相关性的其他关键词的技术，在一定程度上可以起到修正用户的输入关键词，引导用户搜索相关度最大的关键词的作用。

当前，通用搜索网站的实现，例如：百度、Google等搜索结果页面会显示出相关搜索的结果。相关搜索结果中的关键词是和用户搜索的关键词比较相近而且搜索量比较大的。其实现结果可能出现三种情况：①基本的实现法：把大量用户进行搜索的输入词进行分词和索引，然后当每一次进行搜索的时候，对这个“搜索的关键词索引”进行搜索，就得到了相关搜索；②相关性的实现法：把部分词进行近义词的相关度运算，得到权重数据；③广告推广效应法，人为为某些关键词给出特定的相关搜索词。例如，某个电子商务网站为了推广某个品牌的商品，在用户搜索关键词“数码相机”时给出“松下/索尼/奥林巴斯/富士/佳能”等相关搜索词。

以上方法应用于电子商务网站的不足：对于②所描述的方法一般要通过近义词表等基础词表。相关搜索结果很大程度上取绝于词表的质量，并且推荐的词要和商品相关，这又增加了人为的选词工作。再者电子商务网站商品更新速度快，词表的更新也是一个繁琐的问题。对于③所描述的方法更多的是人工筛选工作，随着要推荐的词增多，工作量越大。

目前对于以商品为向导的近义相关词研究甚少，例如：搜索一个作者，如果可以给出他们的作品相关词，用户会更感兴趣；反之搜索一本书，给出作者提示，或者该作者著的其他相关书；用户搜索某类物品，给出该类物品经典品牌的推荐等等。而这种以商品为向导近义词的相关性搜索对于电子商务网站的经营日趋重要。

发明内容

本发明针对上述迫切需求，提出了一种与商品相关的增强型搜索实施方案，整个相关搜索系统由四个模块组成：如图1所示

1.数据更新模块：Data updater，读取数据库中的相关数据，以文件形式保存；

2.索引模块：Indexer，对更新的数据建立索引，以文件形式保存；

3.搜索服务模块：Search service，实时处理用户查询请求；

4.控制器模块：Controller，每隔一定更新周期调度以上三个模块的执行，以便于更新数据

整个系统流程如图1所示，Search service模块为一个搜索服务进程，每当系统重新启动时它会自动运行，实时处理用户的查询请求，并将结果返回给前台。Controller模块为总调度器，每隔一定时间调度Data updater模块，从数据库读取数据进行预处理，然后启动Indexer模块，使用更新的数据建立索引，再将Search Service模块重新启动载入新的索引文件，启动服务。这就是整个更新过程。

整个系统中发明部分存在于Indexer模块和Search service模块，即相关词索引的建立与查询，下文主要阐述一下它们的技术实现。

一般说来，相关搜索是运用下述规律实现的。

相关词一般可以分为两种：

字面相关：两个关键词文字间有相同的部分，如“商务英语”<-->“外贸英语”。字面相关可以通过计算文字重叠程度来考察。具体操作可以参照上文提到的相关词的“基本实现”法来实施。

意义相关：意义相关指两个关键词有某种词义上的相关性，不要求文字间的重复出现，可以是相近，相反，从属，包含等关系，例如“姚明”<-->“我的世界我的梦”，这两个词是作者与作品的关系。

而对于意义相关的相关词在电子商务网站商品搜索中具有重要的意义。这里提出一种基于日志中用户搜索反馈信息的方法，来优化意义型相关搜索，以达到更好的推荐商品的作用。下面介绍本发明的基于日志用户反馈信息法。

首先，用户反馈信息的获取：

搜索日志是记录用户搜索行为的源头，通过提取用户的搜索词，和在该搜索词下点击的商品来分析关键词间的相关性。

具体来说：用户搜索一个商品分为两个步骤：①输入某个关键词，得到某些搜索结果；②选择某个搜索结果。步骤①只说明该关键词能够搜索某个商品，而该关键词和商品的重要性有待于进一步验证。②则说明了某个关键词能够代表某个商品，与该商品联系很紧密，这样就找到了一个该商品的特征属性。

同样用户搜索了另外一个关键词，也点击了该商品，则此商品和该关键词也具有紧密的关系。这样就找到了该商品的另一个特征属性。

以此类推可以找到该商品的另外一些特征属性。

这些特征属性与商品之间存在着很紧密的联系，通过文档篇章分析很难确切的获得这些紧密的关系。当然用户选择也具有一定的随机性，会出现一些噪声，需要进行一些去噪处理。通过用户的选择来确定每个元素的特征向量，该方法加入了人的反馈因素，能够大大减少机器处理单一性、公式化的缺点。

其次，处理反馈信息

最终目的需要找到关键词和关键词的相关性，从用户反馈信息可以直接得到关键词和商品的关系，可以这种关系为中间媒介，来获得最终需要的关系。

a.关键词到商品的关系

具体操作方式：在数据库中记录这样的一个表。该表包含三个字段用下表所示。

用户搜索词

该词下用户点击的商品ID

发生次数

用户在网站中搜索时首先填入关键词，然后如果在搜索有结果的情况下又点击了某个结果中的商品，便记录下关键词和商品ID，并使发生次数加一。通过对发生次数大于某个阀值的记录进行统计，便能建立起关键词和商品之间的简明扼要的关系。

b.关键词到关键词的关系

这一步由关键词和商品的关系计算出关键词和关键词间的关系，对于每个关键字找出其对应的商品ID，这些ID就作为某个关键词的属性来使用，而发生次数作为某个属性的权重来处理。这样每个关键词就对应于一个向量，该向量每个元素是商品ID及其权重。于是两个关键词的相关度计算就转换为向量间相似度的计算了，向量相似度计算时可以利用向量空间法模型，以及经典的TF-IDF公式等，几种方法可以结合使用。

下文将获得这种意义相关词的过程用图2加以说明：

用户搜索关键词KEY1得到了产品Product(1～6)但只有产品Product(1～4)被点击，那么有理由认为产品Product(1～4)更能说明关键词KEY1的意图，于是把它们作为关键词KEY1的特征向量，搜索关键词KEY2得到了产品Product(2～7)但只有产品Product(2～5)被点击，同样道理把产品Product(2～5)作为关键词KEY2的特征向量。然后通过这两个向量就可以计算两个关键词之间的相似度，由于过滤掉了不少体现不了关键词意图的商品，比直接利用关键词KEY1、KEY2的搜索结果向量计算相似度要准确不少。计算相似度方法众多，例如：最简单的方法按照共有商品次数计算，或者向量余弦法等等。

字面型相关搜索参照上文说得“基本实现”，意义型相关搜索主要实施方案：利用数据库中的用户搜索词和点击商品记录，统计出每一个关键词对应的商品ID向量，然后把关键词的向量表示进行相似度计算，以便得到关键词和关键词的相似度，最后把意义相关词写入文件。查询时即通过这个索引文件获取一个关键词的相似提示结果，把结果包装返回给前台。

本系统实现的方法包括建立索引流程与查询流程。

这里有一个分支，其中c～g是产生意义相关索引的分支，而h，i是产生普通索引的分支。

a.首先程序初始化，对程序运行环境进行设置、载入分词词库等操作。

b.连接数据库，读取用户反馈信息，其结构为：关键词-商品ID-搜索次数。

c.建立关键词到商品ID向量的哈希映射，哈希表的每一个节点为这样一个对：键为关键词，值为商品向量，该向量每一个元素由商品ID号和搜索次数构成。这个表是用来计算关键词相似度的基本表，不妨称这个表为K-P表，K表示关键词，P表示商品向量。

d.建立商品到关键词向量的哈希映射，这正是上面映射的相反映射。其中哈希表的键为商品ID，值为关键词向量，该向量每一个元素由关键词和搜索次数构成。称这个表为P-K表。

e.计算关键词间的相似度。根据上面两个映射，计算相似度。伪代码如下：

for每一个关键词Ki

for Ki对应的每一个商品Pj

for Pj对应的每一个关键词Km

按上文的TF-IDF公式计算Ki和Km的相似度

f.对每个关键词对应的相似词按照相似度由大到小排序。

g.生成意义相关索引结构。

h.对每一个关键词分词建立索引。

i.生成字面相关的索引。

j.两部分索引合并，写入文件，备查询时使用。

其中搜索流程：如图4所示

k.对用户查询串进行预处理、分词。

l.搜索意义相关索引，查找相应结果。

m.搜索字面相关索引，查找相应结果。

n.对两部分索引按照相关程度排序、并按一定比例分配、合并。

o.包装搜索结果数据，向前台返回。

本发明改善了意义型相关搜索的提示词质量，克服了使用词表方式的复杂度及缺点，使推荐相关词紧跟商品销售趋势，并且无需使用人工筛选工作，使商品搜索达到很好的适应性的目的，从而给用户提供了更多更好的服务，吸引用户多购买商品，增加了销售量。

附图说明

图1是本发明的系统总框架图

图2是本发明的关键词相似度计算图

图3是本发明的建立索引流程图

图4是本发明的搜索流程图

具体实施方式

例1：关键词“行者无疆”搜索

1.建立索引过程

普通索引：

步骤h，i：生成字面相关索引：对关键词分词分成行者/无疆，然后处理包含这两个分词的关键词。生成字面相关词：‘天行者’，‘一个瑜伽行者的自传’，‘乐行者’等。

特殊索引：

步骤b：连接数据库，读取用户反馈信息

用户关键词该词下用户点击的商品ID 发生次数

行者无疆 8955037 566

行者无疆 8925132 429

行者无疆 9021779 132

行者无疆 681124 73

行者无疆 47395 73

行者无疆 441477 62

行者无疆 9190517 34

行者无疆 8784450 31

行者无疆 9189172 21

行者无疆 423774 21

文化苦旅 47395 2779

文化苦旅 8925129 389

文化苦旅 472421 176

文化苦旅 9190517 80

文化苦旅 8955037 75

文化苦旅 25505 61

文化苦旅 104053 57

千年一叹 697257 1297

千年一叹 8925124 291

千年一叹 707683 168

千年一叹 47395 158

千年一叹 8955037 82

千年一叹 157499 52

千年一叹 9190517 48

余秋雨 472421 1640

余秋雨 47395 1497

余秋雨 8914530 1326

余秋雨 9260490 1158

余秋雨 9190517 1154

余秋雨 9203900 1087

余秋雨 697257 1048

…… …… ……

步骤c，d：建立关键词到商品的映射，和商品到关键词的映射

部分映射关系：

关键词到商品ID：行者无疆->8955037，8925132，681124，47395，441477……

商品ID到关键词：9190517->文化苦旅，千年一叹，余秋雨，山居笔记……

步骤e：计算关键词间的相似度可以利用经典的向量空间法模型，TF-IDF公式，或者其他向量相似度计算方法。

这里简单描述一下向量空间法：对于向量空间法模型，

表示用户搜索的两个关键词对应的商品ID向量表示。W_i，a表示这个词在该商品坐标轴下的权重信息。

{\overset{&RightArrow;}{Q}}_{a} = (W_{1, a}, W_{2, a}, . . ., W_{i, a})

{\overset{&RightArrow;}{Q}}_{b} = (W_{1, b}, W_{2, b}, . . ., W_{i, b})

有了以上两个向量便可以对两个关键词进行相似度进行计算了，可以采用向量夹角的余弦值作为相似度。

similarity ({\overset{&RightArrow;}{Q}}_{a}, {\overset{&RightArrow;}{Q}}_{b}) = \frac{{\overset{&RightArrow;}{Q}}_{a} \cdot {\overset{&RightArrow;}{Q}}_{b}}{| | {\overset{&RightArrow;}{Q}}_{a} | | \cdot | | {\overset{&RightArrow;}{Q}}_{b} | |} = \frac{Σ_{i = 1}^{t} W_{i, a} \times W_{i, b}}{\sqrt{Σ_{i = 1}^{t} {W_{i, a}}^{2}} \times \sqrt{Σ_{i = 1}^{t} {W_{i, b}}^{2}}}

W_{i, a} = f_{i, a} \times \log \frac{N}{n_{i}};

f_{i, a} = \frac{{freq}_{i, a}}{\max_{i} {freq}_{i, a}}

其中freq_i，a表示用户搜索关键词a，然后点击第i篇文档的次数，log

中N表示总共的

商品数，n_i表示所有搜索关键词a的用户，点击的商品种类之和。

步骤h：按照上面公式计算出相似度、排序。

相关词	cos值	相关次数	关联商品ID
相关词	cos值	相关次数	关联商品ID	文化苦旅千年一叹余秋雨山居笔记	0.3597430.3552020.2828590.232771	3322	8955037，47395，919051747395，8955037，919051747395，919051747395，9190517

步骤i，g：将普通索引和特殊索引合并就得到了以下索引结构

行者无疆---》天行者，一个瑜伽行者的自传，乐行者，文化苦旅，千年一叹，余秋雨。

2.搜索流程

a.对用户查询词进行分词：分成行者/无疆.

b.在意义相关索引中查找对应的相关词得到：文化苦旅，千年一叹，余秋雨等结果。

c.在字面相关索引中查找‘行者’和‘无疆’对应的相关词得到：‘天行者’，‘一个瑜伽行者的自传’，‘乐行者’等结果。

d.结果合并排序：得到：天行者，一个瑜伽行者的自传，乐行者，文化苦旅，千年一叹，余秋雨。

e.然后将提示出的相关词包装成XML通过网络发送到前台页面。

例2：关键词“香水”搜索

1.建立索引过程

普通索引：

步骤h，i：生成字面相关索引：对关键词分词只有一个词香水，然后处理包含这个分词的关键词。生成字面相关词：男士香水，香水有毒，女士香水，黑色香水……等。

特殊索引：

步骤b：连接数据库，读取用户反馈信息

用户关键词	该词下用户点击的商品ID	发生次数
用户关键词	该词下用户点击的商品ID	发生次数	香水	9086338	3099

香水香水香水香水香水香水香水香水安娜苏安娜苏安娜苏安娜苏安娜苏安娜苏安娜苏安娜苏安娜苏安娜苏范思哲范思哲范思哲范思哲范思哲范思哲Burberry巴宝莉Burberry巴宝莉Burberry巴宝莉Burberry巴宝莉

92362627401319923730392372269236269681921923719290390459237192923722692371929237195903904590516907401319681921927335992733579237303923730192362699237226903904592654109237216923719292372179237226

7966184764374333333093056244383633222019141454504732181370706965

Burberry巴宝莉Burberry巴宝莉Burberry巴宝莉Burberry巴宝莉Burberry巴宝莉

9237192681921923721492362839236282

6463604441

部分映射关系：

关键词到商品ID：香水->9237192，9237226，9237303，9039045，681921……

商品ID到关键词：9237226->安娜苏，范思哲，Burberry巴宝莉……

步骤e：同示例1

步骤h：计算出相似度、排序。

相关词	cos值	相关次数	关联商品ID
相关词	cos值	相关次数	关联商品ID	安娜苏范思哲Burberry巴宝莉	0.2227660.2177560.175121	533	9237192，9237226，681921，9039045，74013199237303，9039045，92372269237226，9237192，681921

香水---》男士香水，香水有毒，女士香水，黑色香水，安娜苏，范思哲，Burberry巴宝莉

2.搜索流程

a.对用户关键词‘香水’进行分词：分成香水

b.在意义相关索引中查找对应的相关词得到：安娜苏，范思哲，Burberry巴宝莉，等结果。

c.在字面相关索引中查找‘香水’对应的相关词得到：男士香水，香水有毒，女士香水等结果。

d.结果合并排序：得到：男士香水，香水有毒，女士香水，黑色香水，安娜苏，范思哲，Burberry巴宝莉。

Claims

1.一种以商品为媒介的增强型相关搜索系统，由四个模块组成：数据更新Dataupdater模块、索引Indexer模块、搜索服务Search service模块、控制器Controller模块，其中搜索服务Search service模块为一个搜索服务进程，每当系统重新启动时它会自动运行，实时处理用户的查询请求，并将结果返回给前台；控制器Controller模块为总调度器，每隔一定时间调度数据更新Data updater模块，从数据库读取数据进行预处理，然后启动索引Indexer模块，使用更新的数据建立索引，再将搜索服务Search Service模块重新启动载入新的索引文件，启动服务。

2.如权利要求1所述的一种以商品为媒介的增强型相关搜索系统，其特征在于在Searchservice模块采用基于日志中用户搜索反馈信息的方法：

(1)首先，从搜索日志中提取用户的搜索词和在该搜索词下点击的商品来分析关键词间的相关性，从而获取用户“关键词—商品”之间的反馈信息；

(2)然后，对每个关键字找出其对应的商品ID，而发生次数作为某个商品ID的权重来处理，于是形成了关键词到商品向量的映射关系，通过计算商品向量间相似度，就得出了关键词之间的相似关系。

3.如权利要求2所述的一种以商品为媒介的增强型相关搜索系统，其特征在于通过用户的选择来确定每个元素的特征向量，并进行一些去噪处理。

4.如权利要求3所述的一种以商品为媒介的增强型相关搜索系统，其特征在于向量相似度计算可以利用向量空间模型、TF-IDF公式或者其他相似公式的一种或几种方法结合。

5.一种以商品为媒介的增强型相关搜索方法，包括建立索引流程与查询流程，

其中建立索引流程步骤包括：

a.首先程序初始化，对程序运行环境进行设置、载入分词词库等操作；

b.连接数据库，读取用户反馈信息，其结构为：关键词-商品ID-搜索次数；

c.建立关键词到商品ID向量的哈希映射，键为关键词，值为商品向量，该向量每一个元素由商品ID号和搜索次数构成；

d.建立商品到关键词向量的哈希映射，键为商品ID，值为关键词向量，这是上面映射的相反映射；

e.根据上面两个映射计算关键词间的相似度；

f.对每个关键词对应的相似词按照相似度由大到小排序；

g.生成意义相关索引结构；

h.对每一个关键词分词建立索引；

i.生成字面相关的索引；

j.两部分索引合并，写入文件，备查询时使用；

其中搜索流程步骤包括：

k.对用户查询串进行预处理、分词；

l.搜索意义相关索引，查找相应结果；

m.搜索字面相关索引，查找相应结果；

n.对两部分索引按照相关程度排序、并按一定比例分配、合并；

o.包装搜索结果数据，向前台返回；

6.如权利要求5所述的一种以商品为媒介的增强型相关搜索方法，其特征在于向量相似度计算可以利用向量空间法模型、TF-IDF公式、共有商品次数或者其它相似公式计算的一种或几种方法结合。

7.如权利要求5所述的一种以商品为媒介的增强型相关搜索方法，其特征在于通过用户的选择来确定每个元素的特征向量，并进行一些去噪处理。