CN110427547A - 一种基于行业特征的搜索系统及搜索方法 - Google Patents

Abstract

一种基于行业特征的搜索系统，用户画像模块依次与关键词处理与用户映射模块、结果评分模块、结果优化模块、个性化展示模块连接；用户画像模块包括线上调研模块和线下调研模块，线上调研模块和线下调研模块分别与人群搜索画像模块连接，线上调研模块和线下调研模块均采用问卷形式，人群搜索画像模块包括ETL数据处理模块。本发明提供了一种基于行业特征的搜索系统及搜索方法，能确定搜索结果与客户之间的相关性，能优化搜索结果的推荐，解决了个性展示的问题，推广应用具有良好的经济效益和社会效益。

Description

一种基于行业特征的搜索系统及搜索方法

技术领域

本发明属于搜索技术领域，特别涉及一种基于行业特征的搜索系统及搜索方法，用于确定搜索结果与客户之间的相关性。

背景技术

随着互联网规模的迅速发展，人们获取信息的方式越来越多，信息呈爆炸式增长，用户逐渐由信息匮乏走向了信息过载时代，在海量信息中用户很难高效的获取自己相关的信息。为了方便用户快速获取相关信息，网站按照类目进行分类或者提供搜索窗口使其来搜索，但是基于类目的查询只能覆盖较少一部分内容，为此必须要基于搜索对网站搜索进行优化。

第一代搜索引擎是基于万维网的搜索引擎,1994年4月,第一个搜索引擎WebCrawler(http://www.webcrawler.com)在美国诞生，早期搜索引擎主要使用基于文档内容信息的匹配和排序算法,较典型的包括布尔模型、向量空间模型、概率检索模型、模糊集合模型、扩展布尔检索模型等。第一代搜索引擎往往以反馈结果的数量来衡量检索结果的好坏,即求全,然而研究表明，在全球11个主要的搜索引擎中,仅能搜索到国际互联网上全部页面的16％，甚至更低。这主要是因为这些搜索引擎没有及时更新资料；同时,第一代搜索引擎检索结果的相关性较差,检索结果数量通常超过用户的接受能力，且排序缺乏合理性,用户往往找不到与检索提问最相关的结果。

1998年,随着Google的出现,第二代搜索引擎诞生。第二代搜索引擎依靠机器抓取,建立在超链分析基础之上,提高了查准率,检索思想、方法和目标有了根本性的改变。在信息检索过程中仍存在以下几个主要问题:1).查全率低。在现有的搜索引擎当中还没有一种能覆盖整个因特网的信息资源,Google所收录的网页数急剧下降,这里说的下降不是从90％降到80％之类的,而是几万页、几十万页降到几百页；2).查准率低。现有搜索引擎的检索结果相关性不高,对检索到的信息仅采取机械的关键词匹配,不能理解自然语言,缺乏知识处理能力,导致对信息的判断力较差,往往造成信息丢失,检索结果存在大量垃圾,常出现答非所问的情况。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序(或者包含商业化的竞价排名、商业推广、或者广告)后，这些结果将按照与搜索关键词的相关度高低(或与相关度毫无关系)，依次排列。

2003年8月20日,中国搜索CEO陈沛首次提出了第三代搜索引擎的概念。

用户在使用搜索引擎时，搜索引擎是无法得知用户当前使用场景。搜索引擎排序的逻辑是根据用户关键词与页面中内容在经过复杂的算法进行排序(或者包含商业化的竞价排名、商业推广、或者广告)后，这些结果将按照与搜索关键词的相关度高低展现给客户。这些忽略使用场景的搜索解决很大程度是无法满足用户需求的，例如当一个IT从业人员搜索调度的时候其实想获取的是关于软件开发中调度的设计思路，但是一个制造业搜索调度时关心的可能是车辆调度或者工作安排调度等情况。然而用户点击了相关链接之后，多次搜索关键字返回的结果并没有变化，这其实从一定程度上无法后期针对用户进行个性化的搜索结果推荐。

除此之外，单纯的从查全率以及查准率并无法吸引用户，因为搜索发展至今，大体上技术已经相对成熟，不同搜索引擎之间具体的结果差距较小，如果利用搜索引擎来合理的展示结果，从而提高用户的留存率以及召回率，也是当前需要考虑的问题。

目前第三代搜索引擎研究多基于技术驱动型理念,从技术的角度改进搜索引擎来更好地满足用户需求。而基于行业特征的个性化搜索能力仍然是第三代搜索引擎的发展趋向。

如何设计一种基于行业特征的搜索系统及搜索方法，如何确定搜索结果与客户之间的相关性，如何优化搜索结果的推荐以及展示问题，成为急需解决的问题。

发明内容

本发明的目的是要解决上述技术问题。

一种基于行业特征的搜索系统，包括用户画像模块，其特征在于：所述的用户画像模块依次与关键词处理与用户映射模块、结果评分模块、结果优化模块、个性化展示模块连接；

用户画像模块包括线上调研模块和线下调研模块，线上调研模块和线下调研模块分别与人群搜索画像模块连接，线上调研模块和线下调研模块均采用问卷形式，人群搜索画像模块包括ETL数据处理模块；

用户画像模块通过建立人群或者个体的各个维度的画像，来并打上各种标签来描述用户特点，根据用户的标签进行个性化推荐；在搜索系统中，首先我们对于一些已经知道其画像的特定人群，通过线上调研模块和线下调研模块来确定其搜索习惯以及特点，包括进行搜索的地点、时间、搜索的关键字、搜索的方式、搜索使用的浏览器版本、搜索的展现形式；设定搜索习惯为AC，展现形式为SC；利用ETL对数据进行处理，将问卷的数据进行汇总以及分析，建立用户标签与搜索特点的映射关系，并且通过数据库或者其他存储引擎进行持久化存储；构建的关系可以用表示，其中T代表人群Tags；S代表搜索特点，并且是多对多的关系；

关键词处理与用户映射模块由关键词处理模块与用户映射模块组成，其中关键词处理模块由用户搜索关键字处理模块、用户关键字与后台系统的关键词行业库匹配模块组成；用户映射模块由搜索特征模块和权重计算模块组成，搜索特征模块与权重计算模块连接；

在用户映射模块中，当用户通过搜索引擎进行搜索时，由于搜索是通过HTTP请求与后台数据库进行交互，能获取到用户的IP地址、查询时间、浏览器类型以及版本、搜索的渠道、查询关键字信息，这个时候根据这些信息与用户画像模块中的存储引擎进行匹配，获取在该种条件下最能的用户群体的画像；由于S与T是多对多的关系，那么基于该种搜索方式会存在一个系数α来表示属于该不同人群Tags的概率；对于这些Tags选取与搜索查全率以及查准率相关的Tags加权计算，获取所属某种行业的具体权重值β；

关键词处理模块包括分词模块、扩充模块、词语模块、行业模块；关键词处理模块进行关键字处理时，用户搜索关键字处理模块对关键字进行分词、相似性计算以及纠正；用户关键字与后台系统的关键词行业库匹配模块利用后台模块对关键字进行行业化，用户搜索某一个关键字后，后台数据系统中关于该关键字存在于多个行业特征，搜索引擎会根据该关键字与不同行业作为条件进行搜索，获取该关键字对应该结果的相关系数为γ；

结果评分模块利用α×β×γ对获取的结果进行加权，获得最新的结果排序，由于是基于概率模型进行推荐，所以当用户点击的结果与推荐的不一致，存在惩罚系数σ、奖励系数τ,这两个系数用来迭代上述的α、β，即α：＝α×σ以及β：＝τβ，其中σ以及τ成反比，并且α越小τ越大；

结果优化模块由新线上调研模块、新线下调研模块、新人群搜索画像模块、曝光调整模块组成，其中新线上调研模块、新线下调研模块分别与新人群搜索画像模块连接，新人群搜索画像模块与曝光调整模块连接；

结果优化模块包括两个方面的优化，对于人群的SC以及AC进行优化，由于技术的发展，提供的搜索的入口增加，相应的SC以及AC会发生变化，需要定时的更新标签与搜索的映射关系库进行优化；对于搜索结果进行的优化，对某种关键字的查询出现频率过于集中的结果进行降权处理，以给予一些非头部的搜索结果曝光的关系；

个性化展示模块由搜索结果处理模块和个性化展示模块组成，根据用户搜索画像映射获取用户群体偏爱的展示形式，对搜索的结果进行处理成特定的搁置，然后通过搜索界面进行展示出来，具体为根据上述的α以及β确定最合适的展示形式，推荐给用户。

一种基于行业特征的搜索方法，其特征在于：包括以下操作步骤：

1)、用户登录系统输入搜索关键字，前台程序将关键字通过HTTP或者WebSocket的方式传入到后台系统中，系统获取用户搜索基本信息以及关键字；

2)、后台系统通过搜索基本信息到后台存储引擎进行查询；

3)、获取该种搜索特种下所有的标签映射信息；

4)、后台系统首先针对关键字进行处理，包括纠错、分词以及寻找近义词组成一个关键词的词组将该词组中的每一个词从我们库中找打上行业标签，之后进行搜索，并且通过上面步骤的系数进行加权，其中分词采用的是NLPIR分词系统；

5)、对上述的结果进行排序以及评分；

6)、将系统中的结果按照不同行业顺序返回到客户页面中；

7)、根据查询习惯的标签特点进行个性化展示；

8)、用户根据自己兴趣进行点击或者查看以及反馈；

9)、点击的行为被记录下来，该链接所在的行业将会加权，未点击的将会被降权，同时也会更新到映射库中；

10)、所有的权重结果被汇集到系统中，然后计算出最新的查询权重；

11)、当用户再次搜索的时候，系统将会直接把行业特征加上到用户的搜索关键字上，是用户的搜索符合个性化。

本发明提供了一种基于行业特征的搜索系统及搜索方法，能确定搜索结果与客户之间的相关性，能优化搜索结果的推荐，解决了个性展示的问题，符合信息过载时代快速高效的获取相关信息的需求，通过根据用户的搜索行为确定用户所属于的行业，并且将这种特征运用到行业搜索的过程中，提高了搜索结果的准确率，减少了用户筛选信息花费的时间，计算过程是实时、持续，能应对用户的行业特征发生变化带来的一些影响；符合搜索引擎个性化的特点，推广应用具有良好的经济效益和社会效益。

附图说明

图1是本发明的工作流程图。

图2是本发明的用户映射模块结构组成图。

图3是本发明的关键词处理模块结构组成图。

图4是本发明的结果优化模块结构组成图。

图5是本发明的个性化展示模块结构组成图。

具体实施方式

下面结合附图对本发明作进一步说明，但不作为对本发明的限制：

一种基于行业特征的搜索系统，包括用户画像模块，所述的用户画像模块依次与关键词处理与用户映射模块、结果评分模块、结果优化模块、个性化展示模块连接；

用户画像模块包括线上调研模块和线下调研模块，线上调研模块和线下调研模块分别与人群搜索画像模块连接，线上调研模块和线下调研模块均采用问卷形式，人群搜索画像模块包括ETL数据处理模块；线上调研模块的方式为网站链接、短信、微信、邮箱等，线下调研模块的方式为街头访问；

用户画像模块通过建立人群或者个体的各个维度的画像，来并打上各种标签(例如年龄、性别、星座、行业、收入、喜好等)来描述用户特点，根据用户的标签进行个性化推荐；在搜索系统中，首先我们对于一些已经知道其画像的特定人群，通过线上调研模块和线下调研模块来确定其搜索习惯以及特点，包括进行搜索的地点、时间、搜索的关键字、搜索的方式(mobile、web或者app等)、搜索使用的浏览器版本、搜索的展现形式；设定搜索习惯(用什么浏览器、怎么搜索等)为AC，展现形式为SC；利用ETL对数据进行处理，将问卷的数据进行汇总以及分析，建立用户标签与搜索特点的映射关系，并且通过数据库或者其他存储引擎进行持久化存储；构建的关系可以用表示，其中T代表人群Tags；S代表搜索特点，并且是多对多的关系；

关键词处理与用户映射模块由关键词处理模块与用户映射模块组成，其中关键词处理模块由用户搜索关键字处理模块、用户关键字与后台系统的关键词行业库匹配模块组成；用户映射模块由搜索特征模块和权重计算模块组成，搜索特征模块与权重计算模块连接；

在用户映射模块中，当用户通过搜索引擎进行搜索时，由于搜索是通过HTTP请求与后台数据库进行交互，能获取到用户的IP地址、查询时间、浏览器类型以及版本、搜索的渠道、查询关键字信息，这个时候根据这些信息与用户画像模块中的存储引擎进行匹配，获取在该种条件下最能的用户群体的画像；由于S与T是多对多的关系，那么基于该种搜索方式会存在一个系数α来表示属于该不同人群Tags的概率；对于这些Tags选取与搜索查全率以及查准率相关的Tags(例如行业、年龄)加权计算，获取所属某种行业的具体权重值β；

关键词处理模块包括分词模块、扩充模块、词语模块、行业模块；关键词处理模块进行关键字处理时，用户搜索关键字处理模块对关键字进行分词、相似性计算以及纠正；用户关键字与后台系统的关键词行业库匹配模块利用后台模块对关键字进行行业化，用户搜索某一个关键字后，后台数据系统中关于该关键字存在于多个行业特征，搜索引擎会根据该关键字与不同行业作为条件进行搜索，获取该关键字对应该结果的相关系数为γ；

在用户映射模块中我们获取到了系数不同人群Tags的概率α以及行业的权重β以及搜索结果的相关系数γ，结果评分模块利用α×β×γ对获取的结果进行加权，获得最新的结果排序，由于是基于概率模型进行推荐，所以当用户点击的结果与推荐的不一致，存在惩罚系数σ、奖励系数τ,这两个系数用来迭代上述的α、β，即α：＝α×σ以及β：＝τβ，其中σ以及τ成反比，并且α越小τ越大；

结果优化模块由新线上调研模块、新线下调研模块、新人群搜索画像模块、曝光调整模块组成，其中新线上调研模块、新线下调研模块分别与新人群搜索画像模块连接，新人群搜索画像模块与曝光调整模块连接；

结果优化模块包括两个方面的优化，对于人群的SC以及AC进行优化，由于技术的发展，提供的搜索的入口增加，相应的SC以及AC会发生变化，需要定时的更新标签与搜索的映射关系库进行优化；对于搜索结果进行的优化，对某种关键字的查询出现频率过于集中的情况，例如上述的关于“调度”的搜索，需要对一些某种关键字的查询出现频率过于集中的结果进行降权处理，以给予一些非头部的搜索结果曝光的关系；

个性化展示模块由搜索结果处理模块和个性化展示模块组成，根据用户搜索画像映射获取用户群体偏爱的展示形式，对搜索的结果进行处理成特定的搁置，然后通过搜索界面进行展示出来，具体为根据上述的α以及β确定最合适的展示形式，推荐给用户。

一种基于行业特征的搜索方法，包括以下操作步骤：

1)、用户登录系统输入搜索关键字，前台程序将关键字通过HTTP或者WebSocket的方式传入到后台系统中，系统获取用户搜索基本信息以及关键字；

2)、后台系统通过搜索基本信息到后台存储引擎进行查询；

3)、获取该种搜索特种下所有的标签映射信息；

4)、后台系统首先针对关键字进行处理，包括纠错、分词以及寻找近义词组成一个关键词的词组将该词组中的每一个词从我们库中找打上行业标签，之后进行搜索，并且通过上面步骤的系数进行加权，其中分词采用的是NLPIR分词系统；

5)、对上述的结果进行排序以及评分；

6)、将系统中的结果按照不同行业顺序返回到客户页面中；

7)、根据查询习惯的标签特点进行个性化展示；

8)、用户根据自己兴趣进行点击或者查看以及反馈；

9)、点击的行为被记录下来，该链接所在的行业将会加权，未点击的将会被降权，同时也会更新到映射库中；

10)、所有的权重结果被汇集到系统中，然后计算出最新的查询权重；

11)、当用户再次搜索的时候，系统将会直接把行业特征加上到用户的搜索关键字上，是用户的搜索符合个性化。

具体实施时，本发明的用户画像模块根据问卷设计确认该被调研对象对于搜索的偏好以及倾向，之后对于线上以及线下的数据进行整合保存到数据库或者其他存储引擎中，由于搜索的偏好以及情况由于新的技术或者新的搜索特性发生变化，所以该库会进行一个持续的更新以保证数据的准确性；

用户映射模块主要是利用搜索信息，到用户画像模块进行检索，匹配到基于该搜索特征下属于不同Tags的概率，然后根据不同Tags进行统计分析，计算属于不同行业或者其他与搜索有关的权重，用来对后面的搜索结果进行加权；

关键词处理模块中分词全部采用的NLPIR分词系统，同时结合自己的行业关键词库，来进行分词；一个词语被分割成多个单词，例如“调度平台”被切分成“调度/平台”，其中“平台”与“系统”比较近似，所以返回给系统的搜索关键字便调度/平台、调度/系统；由于“调度”存在于多个行业中，例如交通行业的车辆调度、软件行业的定时调度，所以调度会打上交通以及软件的行业标签；

结果优化模块主要是对人群搜索画像的更新以及对于结果曝光的调整，用来满足随着技术更新带来的搜索特征的变化、搜索结果的头部特点导致部分搜索结果无法曝光；系统根据关键字进行搜索，搜索之后，用户将会得到结果，由于关键字已经打上了行业的标签，每个返回的链接也将会带上所属的标签，用户可以选择点击或者跳过返回的结果，这些点击/未点击的行为都将会被存储到系统中，同时还会根据用户的行为计算单词页面行业的权重；

个性化展示模块根据用户搜索画像映射获取用户群体偏爱的展示形式，对搜索的结果进行处理成特定的搁置，然后通过搜索界面进行展示出来。

实施例一、个性化展示模块中，由于不同的Tags存在不同的SC偏好，例如缩略展示(即展示搜索结果的标题)、动态展示(将搜索结果原页面的视频进行展示出来)、自动翻页展示(假如有多个搜索结果进行翻页)、语音播报搜索结果等多种展现形式，根据上述的α以及β确定最合适的展示形式，推荐给用户。

上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举，而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (2)

1.一种基于行业特征的搜索系统，包括用户画像模块，其特征在于：所述的用户画像模块依次与关键词处理与用户映射模块、结果评分模块、结果优化模块、个性化展示模块连接；

用户画像模块包括线上调研模块和线下调研模块，线上调研模块和线下调研模块分别与人群搜索画像模块连接，线上调研模块和线下调研模块均采用问卷形式，人群搜索画像模块包括ETL数据处理模块；

用户画像模块通过建立人群或者个体的各个维度的画像，来并打上各种标签来描述用户特点，根据用户的标签进行个性化推荐；在搜索系统中，首先我们对于一些已经知道其画像的特定人群，通过线上调研模块和线下调研模块来确定其搜索习惯以及特点，包括进行搜索的地点、时间、搜索的关键字、搜索的方式、搜索使用的浏览器版本、搜索的展现形式；设定搜索习惯为AC，展现形式为SC；利用ETL对数据进行处理，将问卷的数据进行汇总以及分析，建立用户标签与搜索特点的映射关系，并且通过数据库或者其他存储引擎进行持久化存储；构建的关系可以用表示，其中T代表人群Tags；S代表搜索特点，并且是多对多的关系；

关键词处理与用户映射模块由关键词处理模块与用户映射模块组成，其中关键词处理模块由用户搜索关键字处理模块、用户关键字与后台系统的关键词行业库匹配模块组成；用户映射模块由搜索特征模块和权重计算模块组成，搜索特征模块与权重计算模块连接；

在用户映射模块中，当用户通过搜索引擎进行搜索时，由于搜索是通过HTTP请求与后台数据库进行交互，能获取到用户的IP地址、查询时间、浏览器类型以及版本、搜索的渠道、查询关键字信息，这个时候根据这些信息与用户画像模块中的存储引擎进行匹配，获取在该种条件下最能的用户群体的画像；由于S与T是多对多的关系，那么基于该种搜索方式会存在一个系数α来表示属于该不同人群Tags的概率；对于这些Tags选取与搜索查全率以及查准率相关的Tags加权计算，获取所属某种行业的具体权重值β；

关键词处理模块包括分词模块、扩充模块、词语模块、行业模块；关键词处理模块进行关键字处理时，用户搜索关键字处理模块对关键字进行分词、相似性计算以及纠正；用户关键字与后台系统的关键词行业库匹配模块利用后台模块对关键字进行行业化，用户搜索某一个关键字后，后台数据系统中关于该关键字存在于多个行业特征，搜索引擎会根据该关键字与不同行业作为条件进行搜索，获取该关键字对应该结果的相关系数为γ；

结果评分模块利用α×β×γ对获取的结果进行加权，获得最新的结果排序，由于是基于概率模型进行推荐，所以当用户点击的结果与推荐的不一致，存在惩罚系数σ、奖励系数τ,这两个系数用来迭代上述的α、β，即α：＝α×σ以及β：＝τβ，其中σ以及τ成反比，并且α越小τ越大；

结果优化模块由新线上调研模块、新线下调研模块、新人群搜索画像模块、曝光调整模块组成，其中新线上调研模块、新线下调研模块分别与新人群搜索画像模块连接，新人群搜索画像模块与曝光调整模块连接；

结果优化模块包括两个方面的优化，对于人群的SC以及AC进行优化，由于技术的发展，提供的搜索的入口增加，相应的SC以及AC会发生变化，需要定时的更新标签与搜索的映射关系库进行优化；对于搜索结果进行的优化，对某种关键字的查询出现频率过于集中的结果进行降权处理，以给予一些非头部的搜索结果曝光的关系；

个性化展示模块由搜索结果处理模块和个性化展示模块组成，根据用户搜索画像映射获取用户群体偏爱的展示形式，对搜索的结果进行处理成特定的搁置，然后通过搜索界面进行展示出来，具体为根据上述的α以及β确定最合适的展示形式，推荐给用户。

2.一种基于行业特征的搜索方法，其特征在于：包括以下操作步骤：

1)、用户登录系统输入搜索关键字，前台程序将关键字通过HTTP或者WebSocket的方式传入到后台系统中，系统获取用户搜索基本信息以及关键字；

2)、后台系统通过搜索基本信息到后台存储引擎进行查询；

3)、获取该种搜索特种下所有的标签映射信息；

4)、后台系统首先针对关键字进行处理，包括纠错、分词以及寻找近义词组成一个关键词的词组将该词组中的每一个词从我们库中找打上行业标签，之后进行搜索，并且通过上面步骤的系数进行加权，其中分词采用的是NLPIR分词系统；

5)、对上述的结果进行排序以及评分；

6)、将系统中的结果按照不同行业顺序返回到客户页面中；

7)、根据查询习惯的标签特点进行个性化展示；

8)、用户根据自己兴趣进行点击或者查看以及反馈；

9)、点击的行为被记录下来，该链接所在的行业将会加权，未点击的将会被降权，同时也会更新到映射库中；

10)、所有的权重结果被汇集到系统中，然后计算出最新的查询权重；

11)、当用户再次搜索的时候，系统将会直接把行业特征加上到用户的搜索关键字上，是用户的搜索符合个性化。