CN103605671B - 科研信息演化的分析方法和装置 - Google Patents
科研信息演化的分析方法和装置 Download PDFInfo
- Publication number
- CN103605671B CN103605671B CN201310522710.6A CN201310522710A CN103605671B CN 103605671 B CN103605671 B CN 103605671B CN 201310522710 A CN201310522710 A CN 201310522710A CN 103605671 B CN103605671 B CN 103605671B
- Authority
- CN
- China
- Prior art keywords
- scientific research
- topic
- scientific
- evolution
- author
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011160 research Methods 0.000 title claims abstract description 268
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 34
- 238000009826 distribution Methods 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 4
- 210000003462 vein Anatomy 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 238000000556 factor analysis Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036962 time dependent Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- CMWTZPSULFXXJA-VIFPVBQESA-N naproxen Chemical compound C1=C([C@H](C)C(O)=O)C=CC2=CC(OC)=CC=C21 CMWTZPSULFXXJA-VIFPVBQESA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
Abstract
提供了一种科研信息演化的分析方法和装置,方法包括:通过采集单元采集预设领域的二篇以上科研文献;通过预处理单元对科研文献的进行预处理,并构建二篇以上科研文献的作者主题演化模型;通过获取单元设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果。在本发明提供的实施例中,采集预设领域的科研文献,对科研文献进行预处理,并构建科研文献的作者主题演化模型,利用演化运算公式获取科研信息演化结果,科研信息演化结果在揭示科研文献的主题、科研人员的研究兴趣的同时,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间变化的规律,有助于把握预设领域内科研主题的演化脉络。
Description
技术领域
本发明涉及科研信息分析的技术领域,尤其是涉及科研信息演化的分析方法和装置。
背景技术
科研文献作为学术成果的主要载体,凝聚了科研人员的大量汗水和智慧,是人类社会中传播知识、进行学术交流的重要手段,任何科学研究的成果都是建立在之前的科学研究的基础之上的。普赖斯科研文献指数增长定律和逻辑曲线增长模型表明:科研文献的数量正呈指数级增长。为了准确把握科技发展现状,可以结合科研文献的特征信息,从海量的科研文献中找出科技主题及其内部的发展脉络。其中,科研文献资源包含大量的特征信息,例如单词与单词之间的潜在语义关系、科研文献主题与作者的关系(作者的研究兴趣)、研究热点的兴起、成熟到衰退的过程等。
在现有技术中,Rosen-Zvi等人在LDA模型中引入作者隐变量,用作者-主题(Author-Topic,AT)分布取代LDA模型中的科研文献-主题分布。AT模型可以有效地挖掘科研文献的作者与科研文献的主题之间的联系,找出科研人员的研究兴趣。然而,AT模型隐式地假设每个科研人员只有一个研究兴趣,为克服这一限制条件,Mimno等人在AT模型的基础上构建了作者-身份-主题(Author-Persona-Topic,APT)模型。该模型将科研人员的“身份”(Persona)与研究兴趣相对应,并给出了一种估计研究兴趣个数的启发式方法。然而,AT和APT模型在挖掘科研人员的研究兴趣时,都是只考虑了其撰写的科研文献,而均未直接考虑时间因素的影响,所以无法揭示科研文献的主题、科研人员的研究兴趣随时间变化的规律。
发明内容
本发明提供一种科研信息演化的分析方法和装置,用于解决现有技术中不能揭示科研文献的主题、科研人员的研究兴趣随时间变化的规律的问题。
为解决现有技术中的上述问题,本发明提供了一种科研信息演化的分析方法,其中,包括:
通过采集单元采集预设领域的二篇以上科研文献;
通过预处理单元对所述科研文献进行预处理,并构建所述二篇以上科研文献的作者主题演化模型;
通过获取单元设定科研信息估算参数,利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果。
本发明还提供了一种科研信息演化的分析装置,其中包括:采集单元、预处理单元和获取单元;
所述采集单元用于采集预设领域的二篇以上科研文献;
所述预处理单元用于对所述科研文献的进行预处理,并构建所述二篇以上科研文献的作者主题演化模型;
所述获取单元用于设定科研信息估算参数,利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果。
本发明提供的实施例的有益效果:
在本实施例中,采集预设领域的二篇以上科研文献,对科研文献进行预处理,并构建二篇以上科研文献的作者主题演化模型,设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果,科研信息演化结果在揭示科研文献的主题、科研人员的研究兴趣的同时,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间变化的规律,有助于把握预设领域内科研主题的演化脉络。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明科研信息演化的分析方法第一实施例的流程图;
图2为本发明科研信息演化的分析方法第二实施例的流程图;
图3为本实施例中AToT模型的概率图;
图4为本实施例中主题“增强学习”随时间变化的趋势图;
图5为本实施例中主题“EM和混合模型”随时间变化的趋势图;
图6为本实施例中主题“眼睛识别及因子分析”随时间变化的趋势图;
图7为本实施例中主题“数据模型及学习算法”随时间变化的趋势图;
图8为本实施例中主题“支持向量机和核方法”随时间变化的趋势图;
图9为本实施例中主题“神经网络”随时间变化的趋势图;
图10为本实施例中主题“语音识别”随时间变化的趋势图;
图11为本实施例中主题“贝叶斯学习”随时间变化的趋势图;
图12为本实施例中科研文献的时间分布图;
图13为本实施例中科研人员研究主题的时间演化模型图;
图14为本实施例中AT模型和AToT模型的困惑度比较示意图;
图15为本发明科研信息演化的分析装置第一实施例的结构示意图;
图16为本发明科研信息演化的分析装置第二实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样定义,不会用理想化或过于正式的含义来解释。
图1为本发明科研信息演化的分析方法第一实施例的流程图。如图1所示,本实施例科研信息演化的分析方法的工作流程包括如下步骤:
步骤101、通过采集单元采集预设领域的二篇以上科研文献。
在本实施例中,可以通过电脑来执行采集单元、预处理单元和获取单元的功能。在本步骤中,通过采集单元采集预设领域的二篇以上科研文献,例如,可以通过采集单元采集某个科研领域的1000篇科研文献。通过采集单元采集预设领域的二篇以上科研文献之后,进入步骤102。
步骤102、通过预处理单元对科研文献进行预处理,并构建二篇以上科研文献的作者主题演化模型。
在本步骤中,通过预处理单元对采集到的所有科研文献进行预处理,包括过滤停用单词、数字和低于预设频率的单词等,并对科研文献的作者姓名进行消歧操作,姓名消歧方法包括:人工消歧法、半自动消歧法、自动消歧法以及混合消歧法等,预处理完成后可以整理得到由V个词项构成的词典以及A个作者组成的科技工作者集合,并将科研文献的发表时间进行归一化处理到区间(0,1)。构建采集到各科研文献的作者主题演化模型(Author-Topic over Time,AToT),具体包括:采用吉布斯采样算法公式计算主题词项参数Φ、作者主题参数Θ、科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n。其中,吉布斯采样算法公式如下所示:
其中,K表示采集的至少二篇科研文献隐含的主题数量,Nm表示科研文献m中单词的数量,am表示撰写科研文献m的作者形成的向量,Am表示撰写科研文献m的作者数量,ψk表示主题k随时间变化的贝塔Beta分布参数向量,zm,n表示科研文献m中第n个单词的主题分配,xm,n表示科研文献m中第n个单词的作者分配,wm,n表示科研文献m中第n个单词,tm,n表示科研文献m中第n个单词的时间戳,α是θa(a=1,…,A)的狄利克雷Dirichlet先验参数向量,θa表示作者a的主题概率分布,β是的狄利克雷先验参数向量,表示主题k的词项概率分布,z﹁m,n表示分配到单词wm,n的主题以外的所有主题变量,x﹁m,n表示分配到单词wm,n的作者以外的所有作者变量,表示词项v被分配主题zm,n的次数,表示作者xm,n所负责的单词被分配主题k的次数。
通过预处理单元对科研文献进行预处理,并构建二篇以上科研文献的作者主题演化模型之后,进入步骤103。
步骤103、通过获取单元设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果。
在本步骤中,利用步骤102中预处理结果,通过获取单元采用的近似推断算法设定科研信息估算参数,其中,科研信息估算参数包括:主题词项参数作者主题参数和主题时间参数科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n。其中,设定主题词项参数作者主题参数科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n的近似推断算法包括:变分期望最大化、期望传播、以及吉布斯采样等。而设定主题时间参数Ψ可以采用的近似推断算法:最大似然估计法、矩估计法、计划评审技术(ProgramEvaluation and Review Technique,PERT)估计法、双边幂分布(Two-Sided PowerDistribution,TSP)估计法以及分位数估计法等。
然后,利用演化计算公式运算上述的科研估算参数,以获取科研信息演化结果,其中,演化计算公式如下所示:
P(k,t|a)=P(k|a)p(k|t)=θa,k×Beta(ψk,1,ψk,2)
其中,θa,k表示科研文献作者a主题k的概率分布,ψk,1和ψk,2表示主题k随时间变化的Beta分布参数,Beta(·,·)表示贝塔分布的概率密度函数。
在本实施例中,利用演化计算公式运算上述的科研估算参数,以获取科研信息演化结果,并将科研信息演化结果显示给用户,例如通过显示单元向用户显示科研信息演化结果,通过上述步骤获取的科研信息演化结果不仅揭示科研文献的主题、科研人员的研究兴趣,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间演化的规律。
在本实施例中,采集预设领域的二篇以上科研文献,对科研文献进行预处理,并构建二篇以上科研文献的作者主题演化模型,设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果,科研信息演化结果在揭示科研文献的主题、科研人员的研究兴趣的同时,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间变化的规律,有助于把握预设领域内科研主题的演化脉络。
图2为本发明科研信息演化的分析方法第二实施例的流程图,图3为本实施例中AToT模型的概率图,图4为本实施例中主题“增强学习”随时间变化的趋势图,图5为本实施例中主题“EM和混合模型”随时间变化的趋势图,图6为本实施例中主题“眼睛识别及因子分析”随时间变化的趋势图,图7为本实施例中主题“数据模型及学习算法”随时间变化的趋势图,图8为本实施例中主题“支持向量机和核方法”随时间变化的趋势图,图9为本实施例中主题“神经网络”随时间变化的趋势图,图10为本实施例中主题“语音识别”随时间变化的趋势图,图11为本实施例中主题“贝叶斯学习”随时间变化的趋势图,图12为本实施例中科研文献的时间分布图,图13为本实施例中科研人员研究主题的时间演化模型图,图14为本实施例中AT模型和AToT模型的困惑度比较示意图。如图2所示,本实施例科研信息演化的分析方法的工作流程具体包括如下步骤:
步骤201、通过采集单元采集预设领域的二篇以上科研文献。
在本实施例中,采集整理《神经信息处理系统》(Neural Information ProcessingSystem,NIPS)从1987年至1999年共13年的会议论文全文,科研文献的数量为1740篇,进入步骤202。
步骤202、通过预处理单元对科研文献进行预处理。
在本步骤中,通过预处理单元对采集到的所有科研文献的进行预处理,包括过滤停用单词、数字和低于预设频率的单词等,并对科研文献的作者姓名进行消歧操作,姓名消歧方法包括:人工消歧法、半自动消歧法、自动消歧法以及混合消歧法等,预处理完成后可以整理得到由V个词项构成的词典以及A个作者组成的科技工作者集合,并将科研文献的发表时间进行归一化处理到区间(0,1)。本实施例中,通过预处理单元对采集的NIPS会议论文进行预处理,预处理完成后可以整理得到由V个单词项构成的单词集合、A个作者组成的科技工作者集合,并将NIPS会议论文的发表时间归一化到区间(0,1),其中,V=12364,A=2037。对科研文献的进行预处理之后,进入步骤203。
步骤203、构建采集的科研文献的作者主题演化模型。
在本步骤中,构建采集的科研文献的AToT模型,AToT模型的概率图如图3所示,具体包括:采用吉布斯采样算法公式计算主题词项参数Φ、作者主题参数Θ、科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n。其中,吉布斯采样算法公式如下所示:
其中,K表示采集的至少二篇科研文献隐含的主题数量,Nm表示科研文献m中单词的数量,am表示撰写科研文献m的作者形成的向量,Am表示撰写科研文献m的作者数量,ψk表示主题k随时间变化的贝塔Beta分布参数向量,zm,n表示科研文献m中第n个单词的主题分配,xm,n表示科研文献m中第n个单词的作者分配,wm,n表示科研文献m中第n个单词,tm,n表示科研文献m中第n个单词的时间戳,α是θa(a=1,…,A)的狄利克雷Dirichlet先验参数向量,θa表示作者a的主题概率分布,β是的狄利克雷先验参数向量,表示主题k的词项概率分布,z﹁m,n表示分配到单词wm,n的主题以外的所有主题变量,x﹁m,n表示分配到单词wm,n的作者以外的所有作者变量,表示词项v被分配主题zm,n的次数,表示作者xm,n所负责的单词被分配主题k的次数,其中,可以令K=100,αk=50/K(k∈[1,K]),βv=0.1(v∈[1,V])。构建二篇以上科研文献的作者主题演化模型之后,进入步骤204。
步骤204、通过获取单元设定科研信息估算参数。
在本步骤中,根据步骤203构建的AToT模型,利用步骤202中预处理结果,通过获取单元采用的近似推断算法设定科研信息估算参数,其中,科研信息估算参数包括:主题词项参数作者主题参数和主题时间参数科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n。
在本实施例中,运行2000次吉布斯采样迭代,整个过程将趋于收敛,此时为每个单词wm,n分配了相应的主题zm,n和作者xm,n,采用狄利克雷分布的期望估计主题k的词项概率分布参数和作者a的主题概率分布参数θa,和θa的计算公式如下所示:
为提高ψk的计算速度,采用矩估计法计算主题k随时间变化的Beta分布参数向量ψk,计算公式如下所示:
其中,tk表示预设领域的主题k采样的均值,表示预设领域主题k采样方差,其中,tk和的计算公式分别如下所示:
其中,表示科研文献m中的单词被分配主题k的次数。
在本步骤中,利用作者主题演化模型计算得到1740篇科研文献的100个主题,每个主题的描述包括三部分:(a)与主题最相关的前10个词项及相应的概率;(b)与主题最相关的前10个科研人员及相应的概率;(c)主题随时间的变化趋势。计算得到1740篇科研文献的其中8个主题如表1所示:
表1
通过获取单元设定科研信息估算参数,计算出1740篇科研文献的100个主题词项概率、作者主题概率以及主题时间参数之后,进入步骤205。
步骤205、利用演化运算公式运算科研估算参数,以获取科研信息演化结果。
在本步骤中,利用演化计算公式运算上述的科研估算参数,以获取科研信息演化结果,其中,演化计算公式如下所示:
P(k,t|a)=P(k|a)p(k|t)=θa,k×Beta(ψk,1,ψk,2)
其中,θa,k表示科研文献作者a主题k的概率,ψk,1和ψk,2表示主题k随时间变化的Beta分布,Beta(·,·)表示贝塔分布的概率密度函数。
对于每个科研人员a∈[1,A],将得到一个大小为K×(1999-1987+1)=100×13的矩阵,该矩阵的每个元素表示该科研人员在特定时间点对特定主题的感兴趣程度。以表1中的科研人员Sejnowski为例来介绍技术方案。
科研人员Sejnowski于1987至1999年之间,在NIPS会议上共发表科研文献43篇,其中,43篇科研文献的时间分布图如图12所示,Sejnowski在不同时期的研究主题的时间演化模型图如图13所示,图13中采用的是辛顿Hinton图来展示Sejnowski在不同时期的研究主题的时间演化,将对不同主题感兴趣的程度表示为矩形的面积,矩形面积越大,说明Sejnowski对该主题的研究兴趣越高。从图13中可以看出,在1987年至1999年期间,Sejnowski的研究主题主要是“脸谱识别与因子分析”(主题51),“神经网络”(主题37)和“数据模型与学习算法”(主题58),其中,Sejnowski早期(1989年至1993年)的研究兴趣是眼睛识别及因子分析”,而从1994年开始Sejnowski的研究主题扩展到“神经网络”(1994年)和“数据模型及学习算法”(1996年),而且研究强度较大(发表文献数量增多)。1997年以后Sejnowski的研究主题又回归到“眼睛识别及因子分析”上,研究强度也有所下降。在1987年至1999年整个期间,Sejnowski一直围绕自己的主要研究主题“眼睛识别及因子分析”开展研究工作。
在本实施例中,利用演化计算公式运算上述的科研估算参数,以获取科研信息演化结果,并将科研信息演化结果显示给用户,例如通过显示单元向用户显示科研信息演化结果,通过上述步骤获取的科研信息演化结果不仅揭示科研文献的主题、科研人员的研究兴趣,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间演化的规律。
在实际应用中,困惑度(Perplexity)是评价模型泛化能力的标准指标,困惑度值越小,说明模型泛化能力越强。为了评价作者主题演化AToT模型的泛化能力,本实施例将1740篇科研文献进一步分为两部分,其中,1557篇文档作为训练集,183篇文档作为测试集,测试集中包含102篇单作者科研文献,而且测试集中出现的所有作者必须在训练集中也出现。在AToT模型中,对于测试集中的科研文献困惑度计算公式如下:
其中,
根据训练集得到的参数Φ、Θ和Ψ,估算出困惑度计算公式中的Φ、Θ和Ψ的具体值,本实施例对测试集运行S(例如S=10)次吉布斯采样,困惑度取S次采样的平均值。从图14中可以看出,主题数量超过10个时,AToT模型的困惑度明显小于AT模型,说明AToT模型的性能要优于AT模型。
在本实施例中,采集预设领域的二篇以上科研文献,对科研文献进行预处理,并构建二篇以上科研文献的作者主题演化模型,设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果,科研信息演化结果在揭示科研文献的主题、科研人员的研究兴趣的同时,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间变化的规律,有助于把握预设领域内科研主题的演化脉络。
图15为本发明科研信息演化的分析装置第一实施例的结构示意图。如图15所示,本实施例科研信息演化的分析装置包括:采集单元701、预处理单元702和获取单元703。其中,采集单元701用于采集预设领域的二篇以上科研文献,预处理单元702用于对科研文献的进行预处理,并构建二篇以上科研文献的作者主题演化模型,获取单元703用于设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果。
其中,预处理单元702构建二篇以上科研文献的作者主题演化模型,具体为:采用吉布斯采样算法公式计算主题词项参数Φ、作者主题参数Θ、科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n;其中,吉布斯采样算法公式如下所示:
其中,K表示采集的至少二篇科研文献隐含的主题数量,Nm表示科研文献m中单词的数量,am表示撰写科研文献m的作者形成的向量,Am表示撰写科研文献m的作者数量,ψk表示主题k随时间变化的贝塔Beta分布参数向量,zm,n表示科研文献m中第n个单词的主题分配,xm,n表示科研文献m中第n个单词的作者分配,wm,n表示科研文献m中第n个单词,tm,n表示科研文献m中第n个单词的时间戳,α是θa(a=1,…,A)的狄利克雷Dirichlet先验参数向量,θa表示作者a的主题概率分布,β是的狄利克雷先验参数向量,表示主题k的词项概率分布,z﹁m,n表示分配到单词wm,n的主题以外的所有主题变量,x﹁m,n表示分配到单词wm,n的作者以外的所有作者变量,表示词项v被分配主题zm,n的次数,表示作者xm,n所负责的单词被分配主题k的次数。
获取单元703设定科研信息估算参数,具体包括:采用狄利克雷分布的期望估计主题k的词项概率分布参数和作者a的主题概率分布参数θa:
采用矩估计法计算主题k随时间变化的Beta分布参数向量ψk,计算公式如下所示:
其中,tk表示预设领域的主题k采样的均值,表示预设领域主题k采样方差,所述tk和的计算公式分别如下所示:
其中,表示科研文献m中的单词被分配主题k的次数。
获取单元703利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果中,所述演化计算公式如下所示:
P(k,t|a)=P(k|a)p(k|t)=θa,k×Beta(ψk,1,ψk,2)
其中,θa,k表示作者a主题k的概率分布,ψk,1和ψk,2表示主题k随时间变化的Beta分布参数向量。
在本实施例中,通过采集单元采集预设领域的二篇以上科研文献,通过预处理单元对科研文献进行预处理,并构建二篇以上科研文献的作者主题演化模型,通过获取单元设定科研信息估算参数,利用演化运算公式运算科研估算参数,以获取科研信息演化结果,科研信息演化结果在揭示科研文献的主题、科研人员的研究兴趣的同时,也能揭示挖掘预设科研领域科研的主题、科研人员的研究兴趣等随时间变化的规律,有助于把握预设领域内科研主题的演化脉络。
图16为本发明科研信息演化的分析装置第二实施例的结构示意图。如图16所示,本实施例科研信息演化的分析装置还包括:显示单元704,显示单元704用于将科研信息演化结果显示给用户,显示单元704的显示方式包括采用折线图和/或辛顿Hinton图,以方便用户直观地科研人员的研究主题等随时间变化的规律。
本技术领域技术人员可以理解,本发明可以涉及用于执行本申请中所述操作中的一项或多项操作的设备。所述设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备,所述通用计算机有存储在其内的程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、随即存储器(RAM)、只读存储器(ROM)、电可编程ROM、电可擦ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性卡片或光线卡片。可读介质包括用于以由设备(例如,计算机)可读的形式存储或传输信息的任何机构。例如,可读介质包括随即存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光学存储介质、闪存装置、以电的、光的、声的或其他的形式传播的信号(例如载波、红外信号、数字信号)等。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器,从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种科研信息演化的分析方法,其特征在于,包括:
通过采集单元采集预设领域的二篇以上科研文献;
通过预处理单元对所述科研文献进行预处理,并构建所述二篇以上科研文献的作者主题演化模型;
通过获取单元设定科研信息估算参数,利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果;
其中,科研信息估算参数包括:主题词项参数作者主题参数和主题时间参数科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n;
ψk表示主题k随时间变化的贝塔Beta分布参数向量。
2.根据权利要求1所述的科研信息演化的分析方法,其特征在于,还包括:
通过显示单元将所述科研信息演化结果显示给用户,显示方式包括采用折线图和/或辛顿Hinton图。
3.根据权利要求1所述的科研信息演化的分析方法,其特征在于,通过预处理单元对所述科研文献的进行预处理,具体包括:
过滤所述科研文献中的停用单词、数字和低于预设频率的单词,对所述科研文献的作者姓名进行消歧;
获取所述二篇以上科研文献的A个作者和V个词项,以及对所述二篇以上科研文献的发表时间进行归一化处理。
4.根据权利要求1所述的科研信息演化的分析方法,其特征在于,构建所述二篇以上科研文献的作者主题演化模型,具体包括:
采用吉布斯采样算法公式计算主题词项参数Φ、作者主题参数Θ、科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n;
吉布斯采样算法公式如下所示:
其中,K表示采集的至少二篇科研文献隐含的主题数量,Nm表示科研文献m中单词的数量,am表示撰写科研文献m的作者形成的向量,Am表示撰写科研文献m的作者数量,ψk表示主题k随时间变化的贝塔Beta分布参数向量,zm,n表示科研文献m中第n个单词的主题分配,xm,n表示科研文献m中第n个单词的作者分配,wm,n表示科研文献m中第n个单词,tm,n表示科研文献m中第n个单词的时间戳,α是θa(a=1,…,A)的狄利克雷Dirichlet先验参数向量,θa表示作者a的主题概率分布,β是(k=1,…,K)的狄利克雷先验参数向量,表示主题k的词项概率分布,z﹁m,n表示分配到单词wm,n的主题以外的所有主题变量,x﹁m,n表示分配到单词wm,n的作者以外的所有作者变量,表示词项v被分配主题zm,n的次数,表示作者xm,n所负责的单词被分配主题k的次数。
5.根据权利要求4所述的科研信息演化的分析方法,其特征在于,设定科研信息估算参数,具体包括:
采用狄利克雷分布的期望估计主题k的词项概率分布参数和作者a的主题概率分布参数θa的计算公式如下所示:
采用矩估计法计算主题k随时间变化的Beta分布参数向量ψk,计算公式如下所示:
其中,tk表示预设领域的主题k采样的均值,表示预设领域主题k采样方差,所述tk和的计算公式分别如下所示:
其中,表示科研文献m中的单词被分配主题k的次数。
6.根据权利要求4或5所述的科研信息演化的分析方法,其特征在于,利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果中,所述演化计算公式如下所示:
P(k,t|a)=P(k|a)p(k|t)=θa,k×Beta(ψk,1,ψk,2)
其中,表示作者a主题k的概率,ψk,1和ψk,2表示主题k随时间变化的Beta分布参数。
7.一种科研信息演化的分析装置,其特征在于,包括:采集单元、预处理单元和获取单元;
所述采集单元用于采集预设领域的二篇以上科研文献;
所述预处理单元用于对所述科研文献进行预处理,并构建所述二篇以上科研文献的作者主题演化模型;
所述获取单元用于设定科研信息估算参数,利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果;
其中,科研信息估算参数包括:主题词项参数作者主题参数和主题时间参数科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n;
ψk表示主题k随时间变化的贝塔Beta分布参数向量。
8.根据权利要求7所述的科研信息演化的分析装置,其特征在于,还包括:
显示单元,用于将所述科研信息演化结果显示给用户,所述显示单元的显示方式包括采用折线图和/或辛顿Hinton图。
9.根据权利要求7所述的科研信息演化的分析装置,其特征在于,所述预处理单元构建所述二篇以上科研文献的作者主题演化模型,具体包括:
采用吉布斯采样算法公式计算主题词项参数Φ、作者主题参数Θ、科研文献m中第n个单词的主题分配zm,n和科研文献m中第n个单词的作者分配xm,n;
吉布斯采样算法公式如下所示:
其中,K表示采集的至少二篇科研文献隐含的主题数量,Nm表示科研文献m中单词的数量,am表示撰写科研文献m的作者形成的向量,Am表示撰写科研文献m的作者数量,ψk表示主题k随时间变化的贝塔Beta分布参数向量,zm,n表示科研文献m中第n个单词的主题分配,xm,n表示科研文献m中第n个单词的作者分配,wm,n表示科研文献m中第n个单词,tm,n表示科研文献m中第n个单词的时间戳,α是θa(a=1,…,A)的狄利克雷Dirichlet先验参数向量,θa表示作者a的主题概率分布,β是(k=1,…,K)的狄利克雷先验参数向量,表示主题k的词项概率分布,z﹁m,n表示分配到单词wm,n的主题以外的所有主题变量,x﹁m,n表示分配到单词wm,n的作者以外的所有作者变量,表示词项v被分配主题zm,n的次数,表示作者xm,n所负责的单词被分配主题k的次数。
10.根据权利要求9所述的科研信息演化的分析装置,其特征在于,所述获取单元设定科研信息估算参数,具体包括:
采用狄利克雷分布的期望估计主题k的词项概率分布参数和作者a的主题概率分布参数θa:
采用矩估计法计算主题k随时间变化的Beta分布参数向量ψk,计算公式如下所示:
其中,tk表示预设领域的主题k采样的均值,表示预设领域主题k采样方差,所述tk和的计算公式分别如下所示:
其中,表示科研文献m中的单词被分配主题k的次数。
11.根据权利要求9或10所述的科研信息演化的分析装置,其特征在于,所述获取单元利用演化运算公式运算所述科研估算参数,以获取科研信息演化结果中,所述演化计算公式如下所示:
P(k,t|a)=P(k|a)p(k|t)=θa,k×Beta(ψk,1,ψk,2)
其中,θa,k表示作者a主题k的概率,ψk,1和ψk,2表示主题k随时间变化的Beta分布参数。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310522710.6A CN103605671B (zh) | 2013-10-29 | 2013-10-29 | 科研信息演化的分析方法和装置 |
KR1020140148627A KR101679249B1 (ko) | 2013-10-29 | 2014-10-29 | 과학연구 정보 진화의 분석 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310522710.6A CN103605671B (zh) | 2013-10-29 | 2013-10-29 | 科研信息演化的分析方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103605671A CN103605671A (zh) | 2014-02-26 |
CN103605671B true CN103605671B (zh) | 2017-01-11 |
Family
ID=50123896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310522710.6A Active CN103605671B (zh) | 2013-10-29 | 2013-10-29 | 科研信息演化的分析方法和装置 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101679249B1 (zh) |
CN (1) | CN103605671B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106021222B (zh) * | 2016-05-09 | 2019-04-30 | 浙江农林大学 | 一种科研文献主题演化的分析方法和装置 |
CN107577657B (zh) * | 2017-07-14 | 2020-09-11 | 北京赛时科技有限公司 | 邮箱作者对应方法和装置 |
CN111325390B (zh) * | 2020-02-17 | 2023-04-18 | 电子科技大学 | 一种基于兴趣演化的学者合作关系预测方法 |
CN112765305B (zh) * | 2020-12-31 | 2024-05-14 | 北京工业大学 | 作者的兴趣主题的分析方法、装置、电子设备及存储介质 |
CN114417837B (zh) * | 2022-01-19 | 2024-02-13 | 合肥工业大学 | 基于主题演化趋势的科技大数据流行性及前沿性度量方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077175A (zh) * | 2012-01-12 | 2013-05-01 | 西安邮电学院 | 一种有效的学术合作关系网络协作构建与自适应进化方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150450A (ja) * | 2010-01-20 | 2011-08-04 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
KR101102468B1 (ko) * | 2011-04-22 | 2012-01-05 | 한국과학기술정보연구원 | 기술의 발전 속도 예측 장치 및 방법 |
-
2013
- 2013-10-29 CN CN201310522710.6A patent/CN103605671B/zh active Active
-
2014
- 2014-10-29 KR KR1020140148627A patent/KR101679249B1/ko active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077175A (zh) * | 2012-01-12 | 2013-05-01 | 西安邮电学院 | 一种有效的学术合作关系网络协作构建与自适应进化方法 |
Non-Patent Citations (1)
Title |
---|
基于引证关系的国内情报学领域作者研究活力与影响力分析;邱均平等;《图书馆论坛》;20111231;第31卷(第6期);第51-61页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103605671A (zh) | 2014-02-26 |
KR101679249B1 (ko) | 2016-11-24 |
KR20150050465A (ko) | 2015-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103605671B (zh) | 科研信息演化的分析方法和装置 | |
Jiang et al. | Expert feature-engineering vs. deep neural networks: which is better for sensor-free affect detection? | |
Kim | Determining the number of latent classes in single-and multiphase growth mixture models | |
Zhang et al. | Multivariate time series missing data imputation using recurrent denoising autoencoder | |
CN111339286B (zh) | 一种基于主题可视化的探索机构研究状况的方法 | |
CN104765723A (zh) | 用于构建会议内容的设备和方法 | |
CN112732910B (zh) | 跨任务文本情绪状态评估方法、系统、装置及介质 | |
Zhao et al. | A hybrid recognition model of microseismic signals for underground mining based on CNN and LSTM networks | |
Walliman | Research Basics | |
Flores et al. | Depression screening using deep learning on follow-up questions in clinical interviews | |
CN118230971A (zh) | 医疗信息抽取方法、装置、电子设备和存储介质 | |
Behnisch et al. | Urban data-mining: spatiotemporal exploration of multidimensional data | |
Rohajawati et al. | Unveiling Insights: A Knowledge Discovery Approach to Comparing Topic Modeling Techniques in Digital Health Research | |
CN116798623A (zh) | 基于人工智能的睡眠评估方法、装置、设备及存储介质 | |
CN105787459A (zh) | 一种基于最优评分稀疏判别的erp信号分类方法 | |
Halpin | Tracks through time and continuous processes: transitions, sequences, and social structure | |
Melek et al. | Roza: a new and comprehensive metric for evaluating classification systems | |
Cahoon et al. | Continuous Stress Monitoring for Healthcare Workers: Evaluating Generalizability Across Real-World Datasets | |
Li et al. | Seizurebank: A repository of analysis-ready seizure signal data | |
CN107430600A (zh) | 可扩展的web数据提取 | |
Yargholi et al. | Chaos–chaos transition of left hemisphere EEGs during standard tasks of Waterloo-Stanford Group Scale of hypnotic susceptibility | |
Dwivedi et al. | Mental Health in Messages: Unravelling Emotional Patterns Through Advanced Text Analysis | |
Zhao et al. | New Frontiers of Biostatistics and Bioinformatics | |
Zhang et al. | Cumulative Tsallis entropy based on power spectrum of financial time series | |
Li et al. | A RUSBoosted tree method for k-complex detection using tunable Q-factor wavelet transform and multi-domain feature extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1195376 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1195376 Country of ref document: HK |