CN104361102B - 一种基于群组匹配的专家推荐方法及系统 - Google Patents

Abstract

本发明公开了一种基于群组匹配的专家推荐方法及系统，属于互联网技术领域，所述方法包括：S1：通过网络爬虫获取专家列表中各专家的网页信息；S2：对所述网页信息进行提取，以获得各专家的专家学术信息；S3：根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；S4：根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家。本发明通过群组匹配的方式实现专家推荐，提高了专家推荐效率，大幅降低时间开销，另外，计算各专家与待匹配项目之间的匹配度时，还考虑了各专家与待匹配项目之间的社会关系匹配度，从而在实现专家推荐时，还有效避免或预防了学术腐败问题。

Description

一种基于群组匹配的专家推荐方法及系统

技术领域

本发明涉及互联网技术领域，特别涉及一种基于群组匹配的专家推荐方法及系统。

背景技术

科研项目的评审效率和评审质量对一个单位甚至一个国家的科研发展水平有重要影响。作为一种快捷、先进的评审方式，网络评审贯穿一个科研或工程项目从立项、申请、组织、论证、评估、验收、奖励到备案等各个阶段的全生命周期，其宗旨是利用计算机和网络系统替代传统的人工操作，从而低评审成本、提高工作效率和评审质量，并利用电子信息系统来规范评审过程。

近年来，云计算、大数据、推荐系统、深度学习、社会网络等新型信息技术的迅速发展使得智能化的网络评审成为可能，其中智能化的专家推荐系统是整个网络评审过程的核心与难点。这里智能化的含义是：系统不仅能对内部信息(基于代码、精确化、结构化)进行处理和提炼，还能不断汇聚外部信息(基于语义、模糊化、非结构化)，通过数据积累对专家本身进行分类和评价，生成更具指导意义的智能专家库，从而构造更为合理的推荐模型和算法，但现有的专家推荐系统存在专家推荐效率过低的问题，导致时间开销过大。

发明内容

鉴于上述问题，本发明提供了一种基于群组匹配的专家推荐方法，所述方法包括：

S1：通过网络爬虫获取专家列表中各专家的网页信息；

S2：对所述网页信息进行提取，以获得各专家的专家学术信息；

S3：根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；

S4：根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，所述群组匹配模型为所有待匹配项目推荐专家的匹配度之和达到最大时，所述待匹配项目和推荐的专家之间的对应关系。

其中，步骤S1中，根据所述专家列表中的专家姓名通过网络爬虫获取专家列表中各专家的网页信息。

其中，步骤S2具体包括：

S201：从所述网页信息中搜索与当前专家的专家姓名及工作单位相匹配的网页信息，若未搜索到，则执行步骤S202，否则从搜索到的第一个网页信息中提取出专家学术信息，并执行步骤S203，所述专家列表包括：各专家的专家姓名及工作单位；

S202：从所述网页信息中搜索与当前专家的专家姓名相匹配的网页信息，从搜索到的第一个网页信息中提取专家学术信息；

S203：将所述专家列表中未提取专家学术信息的专家作为当前专家，并返回步骤S201。

其中，所述专家学术信息包括：专家姓名、工作单位、研究领域关键词、论文名称及论文作者。

其中，步骤S3中，根据所述专家学术信息通过下式计算各专家与待匹配项目之间的匹配度，

M_i,j＝α*MK_i,j+β*MJ_i,j+γ*ML_i,j-δ*MS_i,j

其中，M_i,j为专家i与待匹配项目j之间的匹配度，α、β、γ、δ均为常数，MK_i,j为专家i与待匹配项目j之间的科研领域关键词匹配度，MJ_i,j为专家i与待匹配项目j之间的期刊会议标签匹配度，ML_i,j为专家i与待匹配项目j之间的学术层次匹配度，MS_i,j为专家i与待匹配项目j之间的社会关系匹配度。

其中，所述MS_i,j通过下式进行计算，

其中，为权重值；δ_i,j为专家i与第v个专家之间工作单位的相关度，当工作单位相同时，δ_i,j的取值为1，否则取值为0；sp为专家i与第v个专家合作过的论文；n为论文作者的数量；t_i为专家i所占的权重；t_v为第v个专家所占的权重；k为待匹配项目j所对应项目申请人的序号；a为待匹配项目j所对应项目申请人的数量。

其中，所述群组匹配模型为：

其中，c_i,j为群组匹配矩阵，当专家i推荐给第j个项目时，则矩阵中对应的第i行第j列取值为1，否则取值为0；m为待匹配项目的总数；n为专家的总数；ε为每个待匹配项目所对应专家数量的最大值；σ为每个专家所对应项目数量的最大值。

其中，步骤S4中，根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，具体包括：

S401：根据所述研究领域关键词确定每个待匹配项目所对应的专家，并将每个待匹配项目所对应的专家按照所述匹配度进行排序；

S402：依次将所述匹配度最高的专家分配给对应的待匹配项目，直至所述待匹配项目所对应专家数量达到了最大值ε或所述专家所对应项目数量达到了最大值σ。

本发明还公开了一种基于群组匹配的专家推荐系统，所述系统包括：

网页获取模块，用于通过网络爬虫获取专家列表中各专家的网页信息；

信息提取模块，用于对所述网页信息进行提取，以获得各专家的专家学术信息；

匹配度计算模块，用于根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；

专家推荐模块，用于根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，所述群组匹配模型为所有待匹配项目推荐专家的匹配度之和达到最大时，所述待匹配项目和推荐的专家之间的对应关系。

本发明通过群组匹配的方式实现专家推荐，提高了专家推荐效率，大幅降低时间开销，另外，计算各专家与待匹配项目之间的匹配度时，还考虑了各专家与待匹配项目之间的社会关系匹配度，从而在实现专家推荐时，还有效避免或预防了学术腐败问题。

附图说明

图1是本发明一种实施方式的基于群组匹配的专家推荐方法的流程图；

图2是本发明一种实施方式的基于群组匹配的专家推荐系统的结构框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明一种实施方式的基于群组匹配的专家推荐方法的流程图；参照图1，所述方法包括：

S1：通过网络爬虫获取专家列表中各专家的网页信息；

需要说明的是，一般的搜索引擎中需要网络爬虫下载大量的数据，而步骤S1的网络爬虫只需要访问单站点(即学术性网站)，并且规则明显，故而不需要用到分布式及网页排名等技术。

不过目标网站需要对身份进行认证，所以我们需要使用浏览器解析认证过程，然后模拟浏览器登录服务器进行爬取。一般来说，网站的认证机制可以通过模拟cookie来获取，经过对目标网站的分析，发现目标网站也是通过cookie进行认证。所以，首先人工登录网站服务器获取到拥有权限的cookie，然后拷贝到网络爬虫中，网络爬虫使用这个权限对网页进行爬取。

经过分析，获取专家的网页信息时只需要改动提交的http中的专家编号范围参数就可以获取到相应的网页信息。获取的网页信息以html网页的形式保存在硬盘中，然后使用正则表达式对网页信息进行解析，获取到专家的信息，并构建了基本专家数据库。

可理解的是，本步骤中，根据所述专家列表中的专家姓名通过网络爬虫获取专家列表中各专家的网页信息。

S2：对所述网页信息进行提取，以获得各专家的专家学术信息；

需要说明的是，有了基本专家数据库后，可以使用专家姓名和工作单位对专家进行筛选，提取专家学术信息。在提取专家学术信息的过程中，发现有很多专家列表中的专家出现了重名的现象，故而可以通过工作单位进行区分。

本步骤可由以下步骤S201～203实现：

S201：从所述网页信息中搜索与当前专家的专家姓名及工作单位相匹配的网页信息，若未搜索到，则执行步骤S202，否则从搜索到的第一个网页信息中提取出专家学术信息，并执行步骤S203，所述专家列表包括：各专家的专家姓名及工作单位；

S202：从所述网页信息中搜索与当前专家的专家姓名相匹配的网页信息，从搜索到的第一个网页信息中提取专家学术信息；

S203：将所述专家列表中未提取专家学术信息的专家作为当前专家，并返回步骤S201。

可选地，所述专家学术信息包括：专家姓名、工作单位、研究领域关键词、论文名称及论文作者。

S3：根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；

S4：根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，所述群组匹配模型为所有待匹配项目推荐专家的匹配度之和达到最大时，所述待匹配项目和推荐的专家之间的对应关系。

在实现专家推荐时，需要相关领域的专家来评审项目，故而专家和项目之间的匹配度与专家和项目的领域相关度成正相关；为了避免和预防学术腐败，若项目的申请人和评审专家之间具有社交关系的相关度，如共同合作过论文、在同一个工作单位等，那么专家和项目之间的匹配度，则与专家和项目之间的社交关系相关度成反比，故而，步骤S3中，根据所述专家学术信息通过下式计算各专家与待匹配项目之间的匹配度，

M_i,j＝α*MK_i,j+β*MJ_i,j+γ*ML_i,j-δ*MS_i,j

其中，M_i,j为专家i与待匹配项目j之间的匹配度，α、β、γ、δ均为常数，MK_i,j为专家i与待匹配项目j之间的科研领域关键词匹配度，MJ_i,j为专家i与待匹配项目j之间的期刊会议标签匹配度，ML_i,j为专家i与待匹配项目j之间的学术层次匹配度，MS_i,j为专家i与待匹配项目j之间的社会关系匹配度。

为计算所述社会关系匹配度，可选地，所述MS_i,j通过下式进行计算，

其中，为权重值；δ_i,j为专家i与第v个专家之间工作单位的相关度，当工作单位相同时，δ_i,j的取值为1，否则取值为0；sp为专家i与第v个专家合作过的论文；n为论文作者的数量；t_i为专家i所占的权重(该权重可根据论文作者顺序确定)；t_v为第v个专家所占的权重(该权重可根据论文作者顺序确定)；k为待匹配项目j所对应项目申请人的序号；a为待匹配项目j所对应项目申请人的数量。

可选地，假设专家i的科研领域关键词表述为向量<K_i,1,K_i,2,K_i,3,...,K_i,N>，其权重(实际是关键词频率)表述为向量<w_i,1,w_i,2,w_i,3,...,w_i,N>；项目j的科研领域关键词表述为向量<K_j,1,K_j,2,K_j,3,...,K_j,N>，其权重(实际是关键词频率)表述为向量<w_j,1,w_j,2,w_j,3,...,w_j,N>。使用基于内容的向量推荐算法，定义科研领域关键词匹配度MK_i,j为：

这里R(K_i,x,K_j,y)表示两个科研领域关键词K_i,x和K_j,y的相似度(R＝Resemblance)。

由于科研领域关键词在进行提取时，通常不会特别准确，故而，在计算R(K_i,x,K_j,y)时，首先计算两个科研关键词的编辑距离：Levenshein distance，编辑距离是指两个字串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。假设编辑距离为d，两个科研关键词中最长的词长度为max，那么相似度便为1-d/max。

假设专家i的期刊会议标签表述为向量<J_i,1,J_i,2,J_i,3,...,J_i,N>，其权重(实际是标签频率)表述为向量<w_i,1,w_i,2,w_i,3,...,w_i,N>；项目j的期刊会议标签表述为向量<J_j,1,J_j,2,J_j,3,...,J_j,N>，其权重(实际是标签频率)表述为向量<w_j,1,w_j,2,w_j,3,...,w_j,N>。使用基于标签的向量推荐算法，定义期刊会议标签匹配度MJ_i,j为：

这里I(J_i,x,J_j,y)表示两个期刊会议标签J_i,x和J_j,y是否相同(I＝Identity)。

需要注意的是，由于期刊会议标签一般是十分精确的，不同于R(K_i,x,K_j,y)介于0到1.0之间，I(J_i,x,J_j,y)当期刊会议标签相等时取1，不相等时取0。

假设专家i的学术层次向量为<单位级别，职称，科研项目规模>，其中单位级别为所在高校层次：如985、211、普通本科、专科之类；职称：如硕士生导师、博士生导师、长江学者、院士等；科研项目规模：已经申请完毕包括已经完成和正在进行的国家科研项目：如863项目等，评价指标为科研资金数额；

对于使用这样一组向量表示的集合，使用k-means聚类方法对专家的学生层次进行聚类，首先选取k个具有代表性的专家，把和代表专家相似的专家放到一类里面，这样把专家放到k个类别里面。计算两个专家的学术层次相似度的时候，如果两个专家属于同一类，那么相似度为1，如果两个专家不处于一类，那么相似度为0。

那么每一个项目的申请人的学术层次我们可以使用这样一组向量V₁、V₂、V₃、……、V_p(假设项目j共有p个申请人)来表示。在计算某个专家和项目之间的学术层次匹配度的时候，可以分别计算专家和每个项目申请人的相似度，然后求和，除以申请人的个数，得到项目和专家之间的相似度。

可选地，所述群组匹配模型为：

其中，c_i,j为群组匹配矩阵，当专家i推荐给第j个项目时，则矩阵中对应的第i行第j列取值为1，否则取值为0；m为待匹配项目的总数；n为专家的总数；ε为每个待匹配项目所对应专家数量的最大值；σ为每个专家所对应项目数量的最大值。

为便于确定为所述待匹配项目所推荐的专家，可选地，步骤S4中，根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，具体包括：

S401：根据所述研究领域关键词确定每个待匹配项目所对应的专家，并将每个待匹配项目所对应的专家按照所述匹配度进行排序；

S402：依次将所述匹配度最高的专家分配给对应的待匹配项目，直至所述待匹配项目所对应专家数量达到了最大值ε或所述专家所对应项目数量达到了最大值σ。

本发明还公开了一种基于群组匹配的专家推荐系统，参照图2，所述系统包括：

网页获取模块，用于通过网络爬虫获取专家列表中各专家的网页信息；

信息提取模块，用于对所述网页信息进行提取，以获得各专家的专家学术信息；

匹配度计算模块，用于根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；

专家推荐模块，用于根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，所述群组匹配模型为所有待匹配项目推荐专家的匹配度之和达到最大时，所述待匹配项目和推荐的专家之间的对应关系。

本系统还包括用于实现上述方法各步骤的模块、子模块、单元、子单元，为避免重复说明，不再赘述。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (5)

1.一种基于群组匹配的专家推荐方法，其特征在于，所述方法包括：

S1：通过网络爬虫获取专家列表中各专家的网页信息；

S2：对所述网页信息进行提取，以获得各专家的专家学术信息；

S3：根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；

S4：根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，所述群组匹配模型为所有待匹配项目推荐专家的匹配度之和达到最大时，所述待匹配项目和推荐的专家之间的对应关系；

所述专家学术信息包括：专家姓名、工作单位、研究领域关键词、论文名称及论文作者；

步骤S4中，根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，具体包括：

S401：根据所述研究领域关键词确定每个待匹配项目所对应的专家，并将每个待匹配项目所对应的专家按照所述匹配度进行排序；

S402：依次将所述匹配度最高的专家分配给对应的待匹配项目，直至所述待匹配项目所对应专家数量达到了最大值ε或所述专家所对应项目数量达到了最大值σ；

步骤S3中，根据所述专家学术信息通过下式计算各专家与待匹配项目之间的匹配度，

M_i,j＝α*MK_i,j+β*MJ_i,j+γ*ML_i,j-δ*MS_i,j

其中，M_i,j为专家i与待匹配项目j之间的匹配度，α、β、γ、δ均为常数，MK_i,j为专家i与待匹配项目j之间的科研领域关键词匹配度，MJ_i,j为专家i与待匹配项目j之间的期刊会议标签匹配度，ML_i,j为专家i与待匹配项目j之间的学术层次匹配度，MS_i,j为专家i与待匹配项目j之间的社会关系匹配度；

所述MS_i,j通过下式进行计算，

<mrow> <msub> <mi>MS</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>a</mi> </msubsup> <msub> <mi>r</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </mrow>

其中， 为权重值；δ_i,j为专家i与第v个专家之间工作单位的相关度，当工作单位相同时，δ_i,j的取值为1，否则取值为0；sp为专家i与第v个专家合作过的论文；n为论文作者的数量；t_i为专家i所占的权重；t_v为第v个专家所占的权重；k为待匹配项目j所对应项目申请人的序号；a为待匹配项目j所对应项目申请人的数量。

2.如权利要求1所述的方法，其特征在于，步骤S1中，根据所述专家列表中的专家姓名通过网络爬虫获取专家列表中各专家的网页信息。

3.如权利要求2所述的方法，其特征在于，步骤S2具体包括：

S201：从所述网页信息中搜索与当前专家的专家姓名及工作单位相匹配的网页信息，若未搜索到，则执行步骤S202，否则从搜索到的第一个网页信息中提取出专家学术信息，并执行步骤S203，所述专家列表包括：各专家的专家姓名及工作单位；

S202：从所述网页信息中搜索与当前专家的专家姓名相匹配的网页信息，从搜索到的第一个网页信息中提取专家学术信息；

S203：将所述专家列表中未提取专家学术信息的专家作为当前专家，并返回步骤S201。

4.如权利要求1所述的方法，其特征在于，所述群组匹配模型为：

<mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msub> <mi>M</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>&amp;times;</mo> <msub> <mi>c</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow>

其中，c_i,j为群组匹配矩阵，当专家i推荐给第j个项目时，则矩阵中对应的第i行第j列取值为1，否则取值为0；m为待匹配项目的总数；n为专家的总数；ε为每个待匹配项目所对应专家数量的最大值；σ为每个专家所对应项目数量的最大值。

5.一种基于群组匹配的专家推荐系统，其特征在于，所述系统包括：

网页获取模块，用于通过网络爬虫获取专家列表中各专家的网页信息；

信息提取模块，用于对所述网页信息进行提取，以获得各专家的专家学术信息；

匹配度计算模块，用于根据所述专家学术信息计算各专家与待匹配项目之间的匹配度；

专家推荐模块，用于根据所述匹配度及群组匹配模型通过动态规划算法确定为所述待匹配项目所推荐的专家，所述群组匹配模型为所有待匹配项目推荐专家的匹配度之和达到最大时，所述待匹配项目和推荐的专家之间的对应关系；

所述专家学术信息包括：专家姓名、工作单位、研究领域关键词、论文名称及论文作者；

所述专家推荐模块具体用于：

根据所述研究领域关键词确定每个待匹配项目所对应的专家，并将每个待匹配项目所对应的专家按照所述匹配度进行排序；

依次将所述匹配度最高的专家分配给对应的待匹配项目，直至所述待匹配项目所对应专家数量达到了最大值ε或所述专家所对应项目数量达到了最大值σ；

根据所述专家学术信息通过下式计算各专家与待匹配项目之间的匹配度，

M_i,j＝α*MK_i,j+β*MJ_i,j+γ*ML_i,j-δ*MS_i,j

其中，M_i,j为专家i与待匹配项目j之间的匹配度，α、β、γ、δ均为常数，MK_i,j为专家i与待匹配项目j之间的科研领域关键词匹配度，MJ_i,j为专家i与待匹配项目j之间的期刊会议标签匹配度，ML_i,j为专家i与待匹配项目j之间的学术层次匹配度，MS_i,j为专家i与待匹配项目j之间的社会关系匹配度；

所述MS_i,j通过下式进行计算，

<mrow> <msub> <mi>MS</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>a</mi> </msubsup> <msub> <mi>r</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>k</mi> </mrow> </msub> </mrow>

其中， 为权重值；δ_i,j为专家i与第v个专家之间工作单位的相关度，当工作单位相同时，δ_i,j的取值为1，否则取值为0；sp为专家i与第v个专家合作过的论文；n为论文作者的数量；t_i为专家i所占的权重；t_v为第v个专家所占的权重；k为待匹配项目j所对应项目申请人的序号；a为待匹配项目j所对应项目申请人的数量。