CN110110228A - 基于互联网与词袋的专业文献智能即时推荐方法及系统 - Google Patents

Abstract

本发明设计了一种基于互联网与词袋的专业文献智能即时推荐方法及系统。本系统主要涉及电子信息和互联网技术领域，先通过定义新的词汇语义相似度公式，然后提取单个文章关键名词、某类文章关键名词、用户文章需求信息，对应生成词袋；再将用户文章需求词袋与文章类别词袋根据公式确定类别，接着再与该类别下的单个文章词袋匹配，得出推荐列表推送至用户。本系统通过网络爬虫技术更新数据库，及时进行文章推荐，然后通过通信单元，将生成的推荐文章列表推送给用户。用户可对推荐文章进行标记，不断训练词袋，以优化推荐结果。本发明能够发掘潜在信息需求，及时向用户推送更新信息，较好的解决用户重复检索带来时间浪费的问题，提高推荐效率与精度。

Description

基于互联网与词袋的专业文献智能即时推荐方法及系统

技术领域

本发明涉及电子信息和互联网技术领域，尤其涉及一种基于互联网与词袋的专业文献智能即时推荐方法及系统。

背景技术

互联网和智能电子技术的快速普及，给用户在获取信息的方式及数量上带来了极大的便利。但是由于人类智慧成果的快速积累带来的网络信息量爆发式增长，使得用户在面对海量信息的时候难以及时获取自己所需信息。

解决信息过载问题的一个有效方案是推荐系统。它根据用户所提供的关键词、兴趣爱好、历史记录等，计算分析得出用户所需信息的潜在特征，生成该用户个性化信息需求解决方案，再与数据库中数据的特征信息相匹配，得出匹配程度最高的K条数据生成推荐列表，推送给用户。目前较常见的推荐方法有：基于内容的、基于协同过滤和基于混合的方法。

解决数据库更新问题的一个有效方案是爬虫技术。它通过访问网页链接指向的数据库，下载获取指定主题所需的信息，更新自己的数据库资源。也可通过购买、用户上传分享等方式完善数据库等。

解决信息及时提醒问题的一个有效方案是数字电子通信技术。它通过接受上位机发送指令，将所要发送的信息通过无线通信模块发送给移动接受终端，及时提醒用户。

解决用户信息保密问题的一个有效方案是人脸识别技术。它通过提取用户的面部生物学特征，作为用户登录更改设置的前提条件，保障用户信息内容的安全性。当前较为常见的个人信息验证方式有：密令、指纹识别、虹膜识别等。

现有的技术主要存在以下几个方面的不足：

1.同一用户每次使用同一推荐系统，提出的信息需求相类似，所获得的结果相类似，无法过滤相同结果，重复劳动性强，在结果的数据量较大的情况下，容易出现遗漏现象；

2、传统的文献推荐系统，对不同词汇表达相同语义的关键词识别不精确，容易将相同类别的文章划归至不同门类中，影响最终推荐系统的精确度；

3、传统的推荐系统，需要用户主动查询，一次查询过后后续无法及时让用户掌握数据更新情况；

4、传统的推荐系统，对用户信息需求不明确，检索范围过于宽泛，用户还需要从庞大的结果中搜寻自己所需的资料。

发明内容

为了解决现有技术的不足，本发明提供了一种基于互联网与词袋的专业文献智能即时推荐方法及系统，本方法能够不断更新数据库，不断优化用户信息需求方案，对已注册的有效用户，能够及时推送新数据中符合用户信息需求的文献。

本发明是通过以下技术方案实现的：

作为本发明的第一方面，提供了一种基于互联网与词袋的专业文献智能即时推荐方法：

用户注册：通过目前常用的个人计算机或智能手机即可获得满足要求的个人面部图像，即可创建个人用户，然后填写用户的联系方式，例如手机号码或邮箱信息，再设置个人兴趣爱好、文献分类、关键字，可补充参考文献和文献评级等其他信息，最终完成账户注册，成为有效账户；

用户登录：接收用户拍摄的人脸图像，将人脸图像发送至服务器端，进行人脸识别操作，服务器处理人脸图像，与数据库中预先存储的用户面部图像数据进行匹配，如果存在与之匹配的信息，则表示用户登录成功，可进行之后的操作；如果匹配失败，则向用户反馈匹配失败信息；

数据库更新：数据库第一次更新，先进入指定开放数据库，利用网络爬虫技术抓取所需文献信息，然后对数据进行清洗，去除相同文献，然后提取文献关键信息录入数据库；数据库再次更新，设置数据库更新时间，更新时同样进入指定数据库，爬取新增加的文献信息，然后对文献进行清洗，将新增文献录入数据库；

个性化推荐：推荐过程中，先将文章标记类别，再将文章中的词汇依照词汇间语义相似度公式计算出，把语义相似的词汇进行合并，得到新的词汇集，然后计算提取出该篇文章的主要关键词，与相同类别下的其他文章关键词进行合并，生成该类别文章的词汇库；第一次推荐，先按照上述方案分别确定出据库中已有文章和用户上传文章(如果有的话)的关键词，再根据用户设定的兴趣爱好以及用户上传文章(如果有的话)生成个性化词汇库，确定用户所需文献类别，然后将数据库中文献的信息与用户所需文献类别信息相匹配，生成推荐列表；再次推荐：先确定新文章的关键词与类别，再与用户个性化词汇库匹配，生成推荐列表；用户可标记推荐文章，若为所需文献，可进一步优化个人文章需求的个性化词汇库；

新信息传递：服务器根据推荐列表获取相关文章主要关键词、摘要等信息编辑所要发送信息内容，若用户设置有用户邮箱，则通过服务器邮箱将发送信息在指定时间发送至目标邮箱；若用户设置有手机信息，则通过服务器传达发送指令，经由GPRS短信模块，将信息发送至目标移动端，提醒用户接受。

附图说明

图1是本发明提供的基于互联网与词袋的专业文献智能即时推荐方法及系统的结构示意图：

图2用户注册/登录操作设计示意图

具体实施方式

下面将结合本发明实例中的附图，对本发明实例中的技术方案尽心搞清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分实例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的基于互联网与词袋的专业文献智能即时推荐方法及系统的结构示意图，如图1所示，包括服务器单元101、图像采集单元102、客户端单元103、移动端单元104、通信单元105、数据采集单元106、数据存储单元107、语义相似计算单元108、推荐方法单元109；

其中，图像采集单元102与客户端单元103连接，获取用户面部图像经由客户端单元103向服务器单元101发送数据；

客户端单元103用于与服务器单元101进行数据传输，实现用户操作；移动端单元104用于接受即时信息；

通信单元105用于接受服务器单元101指令，向移动端104发送即时信息；

数据采集单元106用于在指定网站爬取数据信息，下载至服务器单元101；

数据存储单元107用于存储服务器单元101处理过的用户面部图像数据、个人配置数据、用户文献个性化推荐方案、下载的文献等数据；

语义相似处理单元108用来处理文章，进行词汇提取合并；

推荐方法单元109用于计算生成用户信息需求方案，分析数据库文献的特征并于用户信息需求相匹配，将符合要求的文献生成推荐列表，发送至用户。

其中，包含头像采集单元102和客户端单元103的用户注册/登录操作设计示意图如图2所示：

注册时，由头像采集单元102摄像用户头像图像发送至客户端单元103验证是否符合条件，若符合条件将图片发送至服务器单元101生成账户，进入用户登录步骤；若头像集失败，则选择是否继续采集，若继续采集直至成位置，否则注册失败；

登录时，由头像采集单元102获取用户头像经由客户端单元103判别是否符合要求，若符合则将图片发送至服务器单元101，不符合则选择是否继续登录，直至符合要求进入下一步；服务器单元101将接受到的图像数据与数据库中用户信息比对，若存在则进入系统，若不存在则重新登录；进入系统后，先判断该用户数据是否为有效账户，若完全，则在系统中进行其他操作，如不完全，则补充用户信息直至完全成为有效账户为止。

进一步的，用户头像分辨率需要超过480p，以满足头像识别要求。

进一步的，用户必须填写是数据有用户信息需求类别、兴趣爱好、用户邮箱或手机号码，可以选择填写的信息有用户文献需求参考文章等。

进一步的，用户可选择推荐文章更新时间，更新频率。

进一步的，用户当获取推荐文章后，可对文章进行标记，是否符合推荐需求。

进一步的，用户可设置多个栏目，在各栏目下设定各自的文章需求信息。

其中，移动端单元104为可接入网络打开指定邮箱的移动该设备，或者可接收短信的手机设备。

其中，通信单元105具体为GPRS短信模块，可通过RS232串行口与微处理器的UART串口双向数据流连接，所述GPRS短信模块用于将所述微控制器转换得到的推荐列表通过短信的形式发送至所述的手机移动单元。

进一步的，信息发送内容包括文章名称、作者、单位、关键词、摘要、发行期刊、文献类别等。

进一步的，新文章同步到用户中，请求用户标记是否有用。

其中，数据采集单元106为爬虫爬取指定数据库网站上所有文献信息，包括作者、单位、题目、摘要、正文、关键词、发表时间、发表期刊、期刊类别，爬取相应的信息后，存储至数据存储单元107。

进一步的，可通过购买数据库的方式，更新文章数据。

进一步的，可通过用户上传文献的方式更新文章数据库。

其中，语义相似处理单元108具体算法为先提取出所有文献中出现的名词，生成词袋，再汇总计算出可描述词袋中名词的所有解释性语句数，假设每条语句等概率出现，现定义名词C所包含的信息量为解释该词汇所需解释性语句数n占总语句数N的比率，公式为：

i_c＝n/N； (1)

然后我们根据公式(2)计算出词袋中所有词汇两两间的语义相似度，公式(2)中Common(A，B)为描述A、B相同语义部分的信息量，Description(A，B)为描述词汇A、B全部语义的信息量，最后我们通过设定阈值TR，将词汇间语义相似度超过TR的词汇归纳为相近词汇。

进一步的，解释词汇语义的解释性语句来源于规则性词典，可以为 Hownet2000。

其中，推荐方法单元109具体实施方法为：

步骤一：先提取文章TID中关键词组Keys_TID＝(T₁，T₂...T_m)，再提取文章正文词组，进行语义合并，然后将正文中出现频率最高的前K个词汇与关键词组合并成为该文章的专属词袋WordBag_TID＝(T₁，T₂...T_s+1，T_s+2...T_k+s)，设关键词的权重为w_std，合并词汇的权重为相似语义词汇权重和，最后统计出各词在词袋中的权重WordWeight_TID＝(w_1，std，w_2，std，...w_s，std，w₁...w_k)，，文章 TID的表达为：

步骤二：先汇总各文章类别下的关键词和正文出现的所有名词，进行语义相似合并，然后将出现频率最高的前n个关键词组Keys_CAT＝(T₁，T₂...T_n)和正文中出现频率最高的前m个名词合并作为代表该类别(CAT)文章的词袋 WordBag_CAT＝(T₁，T₂...T_n，T_n+1...T_n+m)，设关键词的权重为w_std，合并词汇的权重为相似语义词汇权重和，最后统计出各词在词袋中的权重WordWeight_CAT＝ (w_1，std，w_2，std，...w_n，std，w₁...w_m)，文章类别CAT的表达为：

步骤三：先根据用户UID选择的文章类别、兴趣爱好汇总出用户信息需求的r个关键词组Keys_UID＝(T₁，T₂...T_r)，设其关键词权重都为w_key再将上传的文章(如有)参考步骤二生成参考文献词袋库WordBag_REF＝ (T₁，T₂...p，T_p+1...T_p+q)，词汇权重WordWeight_REF＝(w_1，std，w_2，std，...w_n，std，w₁...w_m)，其中p为参考文献关键词数，q为正文关键词数，汇总Keys_UID与WordBag_REF＝(T₁，T₂...p，T_p+1...T_p+q)，得到用户专属词袋库WordBag_UID＝(T₁，T₂...T_r，T_r+1...T_r+p，T_r+p+1...T_r+p+q)，权重为WordWeight_UID＝(w_1，key...w_r，keyw_1，std，w_2，std，...w_n，std，w₁...w_m)

步骤四：根据公式(5)获得词袋Bag_CAT，再在各栏目下找出词汇对应的权值weight_UID和weight_CAT

Bag_CAT＝WordBag_CAT∩WordBag_UID＝(T_bag，1，T_bag，2...T_bag，j)， (5)

再根据公(6)式获得该类别文献推荐值，

根据θ_CAT高低排序，确定最合适推荐类别。

步骤五：根据公式(7)获得步骤四计算最终类别的各文章词袋Bag_TID，再在各栏目下找出词汇对应的权值weight_UID和weight_TID

Bag_TID＝WordBag_TID∩WordBag_UID＝(T_bag，1，T_bag，2...T_bag，i)， (7)

再根据公式(8)获得该文章推荐值，

根据θ_TID高低排序，确定最合适推荐文章目录。

进一步的，推荐过程中，可推荐与目标用户有相似文献需求的其他用户标记有用的文章。

进一步的，推荐过程中，可推荐有相似标记文章目录的其他用户标记的文章。

进一步的，将最匹配文献类别下的文章依照文章专属词袋与用户个性化需求词袋进行匹配，依照相似程度进行排序。

进一步的，用户新标记有用的文章可对用户个性化文章需求词袋进行更新。

进一步的，新标记类别的文章可对文章类别词袋库进行更新。

Claims (7)

1.一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：包括服务器单元101、图像采集单元102、客户端单元103、移动端单元104、通信单元105、数据采集单元106、数据存储单元107、语义相似计算单元108、推荐方法单元109；

其中，图像采集单元102与客户端单元103连接，获取用户面部图像经由客户端单元103向服务器单元101发送数据；

客户端单元103用于与服务器单元101进行数据传输，实现用户操作；移动端单元104用于接受即时信息；

通信单元105用于接受服务器单元101指令，向移动端104发送即时信息；

数据采集单元106用于在指定网站爬取数据信息，下载至服务器单元101；

数据存储单元107用于存储服务器单元101处理过的用户面部图像数据、个人配置数据、用户文献个性化推荐方案、下载的文献等数据；

语义相似处理单元108用来处理文章，进行词汇提取合并；

推荐方法单元109用于计算生成用户信息需求方案，分析数据库文献的特征并于用户信息需求相匹配，将符合要求的文献生成推荐列表，发送至用户。

2.根据权利1所述的一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：采集单元102和客户端单元103的用户注册/登录操作设计示意图如图2所示：

注册时，由头像采集单元102摄像用户头像图像发送至客户端单元103验证是否符合条件，若符合条件将图片发送至服务器单元101生成账户，进入用户登录步骤；若头像集失败，则选择是否继续采集，若继续采集直至成位置，否则注册失败；

登录时，由头像采集单元102获取用户头像经由客户端单元103判别是否符合要求，若符合则将图片发送至服务器单元101，不符合则选择是否继续登录，直至符合要求进入下一步；服务器单元101将接受到的图像数据与数据库中用户信息比对，若存在则进入系统，若不存在则重新登录；进入系统后，先判断该用户数据是否为有效账户，若完全，则在系统中进行其他操作，如不完全，则补充用户信息直至完全成为有效账户为止。

进一步的，用户头像分辨率需要超过480p，以满足头像识别要求。

进一步的，用户必须填写是数据有用户信息需求类别、兴趣爱好、用户邮箱或手机号码，可以选择填写的信息有用户文献需求参考文章等。

进一步的，用户可选择推荐文章更新时间，更新频率。

进一步的，用户当获取推荐文章后，可对文章进行标记，是否符合推荐需求。

进一步的，用户可设置多个栏目，在各栏目下设定各自的文章需求信息。

3.根据权利1所述的一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：移动端单元104为可接入网络打开指定邮箱的移动该设备，或者可接收短信的手机设备。

4.根据权利1所述的一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：通信单元105具体为GPRS短信模块，可通过RS232串行口与微处理器的UART串口双向数据流连接，所述GPRS短信模块用于将所述微控制器转换得到的推荐列表通过短信的形式发送至所述的手机移动单元。

进一步的，所述的微控制器具体为Ti公司生产的型号为MSP430F247的16位低功耗处理器。

进一步的，信息发送内容包括文章名称、作者、单位、关键词、摘要、发行期刊、文献类别等。

进一步的，新文章同步到用户中，请求用户标记是否有用。

5.根据权利1所述的一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：数据采集单元106为爬虫爬取指定数据库网站上所有文献信息，包括作者、单位、题目、摘要、正文、关键词、发表时间、发表期刊、期刊类别，爬取相应的信息后，存储至数据存储单元107。

进一步的，可通过购买数据库的方式，更新文章数据。

进一步的，可通过用户上传文献的方式更新文章数据库。

6.根据权利1所述的一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：语义相似处理单元108具体算法为先提取出所有文献中出现的名词，生成词袋，再汇总计算出可描述词袋中名词的所有解释性语句数，假设每条语句等概率出现，现定义名词C所包含的信息量为解释该词汇所需解释性语句数n占总语句数N的比率，公式为：

i_c＝n/N； (1)

然后我们根据公式(2)计算出词袋中所有词汇两两间的语义相似度，公式(2)中Common(A，B)为描述A、B相同语义部分的信息量，Description(A，B)为描述词汇A、B全部语义的信息量，最后我们通过设定阈值TR，将词汇间语义相似度超过TR的词汇归纳为相近词汇。

进一步的，解释词汇语义的解释性语句来源于规则性词典，可以为Hownet2000。

7.根据权利1所述的一种基于互联网与词袋的专业文献智能即时推荐方法及系统，其特征在于：推荐方法单元109具体实施方法为：

步骤一：先提取文章TID中关键词组Keys_TID＝(T₁，T₂…T_m)，再提取文章正文词组，进行语义合并，然后将正文中出现频率最高的前K个词汇与关键词组合并成为该文章的专属词袋WordBag_TID＝(T₁，T₂…T_s+1，T_s+2…T_k+s)，设关键词的权重为W_std，合并词汇的权重为相似语义词汇权重和，最后统计出各词在词袋中的权重WordWeight_TID＝(w_1，std，w_2，std，…w_s，std，w₁…w_k)，，文章TID的表达为：

步骤二：先汇总各文章类别下的关键词和正文出现的所有名词，进行语义相似合并，然后将出现频率最高的前n个关键词组Keys_CAT＝(T₁，T₂…T_n)和正文中出现频率最高的前m个名词合并作为代表该类别(CAT)文章的词袋WordBag_CAT＝(T₁，T₂…T_n，T_n+1…T_n+m)，设关键词的权重为w_std，合并词汇的权重为相似语义词汇权重和，最后统计出各词在词袋中的权重WordWeight_CAT＝(w_1，std，w_2，std，…w_n，std，w₁…w_m)，文章类别CAT的表达为：

步骤三：先根据用户UID选择的文章类别、兴趣爱好汇总出用户信息需求的r个关键词组Keys_UID＝(T₁，T₂…T_r)，设其关键词权重都为w_key再将上传的文章(如有)参考步骤二生成参考文献词袋库WordBag_REF＝(T₁，T₂…p，T_p+1…T_p+q)，词汇权重WordWeight_REF＝(w_1，std，w_2，std，…w_n，std，w₁…w_m)，其中p为参考文献关键词数，q为正文关键词数，汇总Keys_UID与WordBag_REF＝(T₁，T₂…p，T_p+1…T_p+q)，得到用户专属词袋库WordBag_UID＝(T₁，T₂…T_r，T_r+1…T_r+p，T_r+p+1…T_r+p+q)，权重为WordWeight_UID＝(w_1，key…w_r，keyw_1，std，w_2，std，…w_n，std，w₁…w_m)

步骤四：根据公式(5)获得词袋Bag_CAT，再在各栏目下找出词汇对应的权值weight_UID和weight_CAT

Bag_CAT＝WordBag_CAT∩WordBag_UID＝(T_bag，1，T_bag，2…T_bag，j)， (5)

再根据公(6)式获得该类别文献推荐值，

根据θ_CAT高低排序，确定最合适推荐类别。

步骤五：根据公式(7)获得步骤四计算最终类别的各文章词袋Bag_TID，再在各栏目下找出词汇对应的权值weight_UID和weight_TID

Bag_TID＝WordBag_TID∩WordBag_UID＝(T_bag，1，T_bag，2…T_bag，i)， (7)

再根据公式(8)获得该文章推荐值，

根据θ_TID高低排序，确定最合适推荐文章目录。

进一步的，推荐过程中，可推荐与目标用户有相似文献需求的其他用户标记有用的文章。

进一步的，推荐过程中，可推荐有相似标记文章目录的其他用户标记的文章。

进一步的，将最匹配文献类别下的文章依照文章专属词袋与用户个性化需求词袋进行匹配，依照相似程度进行排序。

进一步的，用户新标记有用的文章可对用户个性化文章需求词袋进行更新。

进一步的，新标记类别的文章可对文章类别词袋库进行更新。