CN107402984B - 一种基于主题的分类方法及装置 - Google Patents

一种基于主题的分类方法及装置 Download PDF

Info

Publication number
CN107402984B
CN107402984B CN201710560996.5A CN201710560996A CN107402984B CN 107402984 B CN107402984 B CN 107402984B CN 201710560996 A CN201710560996 A CN 201710560996A CN 107402984 B CN107402984 B CN 107402984B
Authority
CN
China
Prior art keywords
company
probability
theme
classification
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710560996.5A
Other languages
English (en)
Other versions
CN107402984A (zh
Inventor
张快
程浩
柳超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dike Technology Co Ltd
Original Assignee
Beijing Dike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dike Technology Co Ltd filed Critical Beijing Dike Technology Co Ltd
Priority to CN201710560996.5A priority Critical patent/CN107402984B/zh
Publication of CN107402984A publication Critical patent/CN107402984A/zh
Application granted granted Critical
Publication of CN107402984B publication Critical patent/CN107402984B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于主题的分类方法及装置，所述方法包括：获取公司信息；根据所述公司信息，获取与每个公司对应的特征词集合；根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。所述装置执行上述方法。本发明实施例提供的基于主题的分类方法及装置，能够准确地确定公司的主题分类。

Description

一种基于主题的分类方法及装置
技术领域
本发明实施例涉及信息分类领域，具体涉及一种基于主题的分类方法及装置。
背景技术
随着信息技术的发展，对信息分类，尤其是对公司所属的类型进行分类显得尤为重要。
现有技术通过分析处理信息的特征变量，实现对信息的分类，但是存在以下缺陷：(1)由于特征变量数量巨大，使得计算实现过程复杂；(2)特征变量的冗余性，以公司为例：某类公司可能会存在很多特征变量，这些特征变量之间存在相关或无关的特性，使得无法根据特征变量准确地确定该公司的主题分类。
因此，如何解决上述的技术缺陷，并准确地确定公司的主题分类，成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于主题的分类方法及装置。
第一方面，本发明实施例提供一种基于主题的分类方法，所述方法包括：
获取公司信息；
根据所述公司信息，获取与每个公司对应的特征词集合；
根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；
将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；
根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
第二方面，本发明实施例提供一种基于主题的分类装置，所述装置包括：
第一获取单元，用于获取公司信息；
第二获取单元，用于根据所述公司信息，获取与每个公司对应的特征词集合；
构建单元，用于根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；
确定单元，用于将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；
归类单元，用于根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
第三方面，本发明实施例提供另一种基于主题的分类装置，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
获取公司信息；
根据所述公司信息，获取与每个公司对应的特征词集合；
根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；
将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；
根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
获取公司信息；
根据所述公司信息，获取与每个公司对应的特征词集合；
根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；
将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；
根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
本发明实施例提供的基于主题的分类方法及装置，能够准确地确定公司的主题分类。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于主题的分类方法的流程示意图；
图2为本发明实施例基于主题的分类装置的结构示意图；
图3为本发明实施例提供的装置实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例基于主题的分类方法的流程示意图，如图1所示，本发明实施例提供的一种基于主题的分类方法，包括以下步骤：
S1：获取公司信息。
具体的，装置获取公司信息。公司信息可以包括与公司关联的公司集合、与公司关联的人名集合、公司简介、行业类别、经营范围、公司产品等。但不作具体限定。
S2：根据所述公司信息，获取与每个公司对应的特征词集合。
具体的，装置根据所述公司信息，获取与每个公司对应的特征词集合。公司信息可以记为：Ci＝{与公司Ci关联的公司集合；与公司Ci关联的人名集合；公司简介；行业类别；经营范围；公司产品等}，其中不同i的数值表示不同的公司。其中，可以将公司简介、经营范围等文本信息进行全模式分词，获取其中表征公司特点的特征词，从而组成与每个公司对应的特征词集合{feat1，feat2，feat3……，featn}，如表1所示：
表1
Feat1 Feat2 … Featn
C1 0 0 1
C2 1 0 1
C3 1 0 0
C4 1 1 1
…… …… …… …… ……
表1中的每一元素代表对应的公司是否有对应的特征词，如果有则为1，否则为0。可以看出同一公司可以存在多个特征词(如C4的Feat1、Feat2、Featn)，即C4存在特征冗余的问题，引入一种基于企业的主题模型来解决这个问题，用一个主题分类来表示公司特征，从而达到降维的效果，同一个主题分类可以包含上述所属的类似特征，解决了特征冗余的问题。
S3：根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率。
具体的，装置根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率。似然度函数还可以包括第二概率，第二概率为主题分类为m的公司具有特征词j的概率，对于第一概率说明如下：所有公司服从一个K项的多项式分布，即对于所有公司中的任意公司Ci有一定的概率属于第m(m∈[1,K])个类(把所有公司分成K类，每个公司属于其中一个类)，记这个概率为对于第二概率说明如下：对于一个主题m，所有特征词服从一个Y项的多项式分布,不同主题m下的特征分布不同(如：主题分类为IT类中的特征词互联网、电脑等概率较高，主题分类为财经类别中的特征词股票、上市等概率比较高)，将在主题m下具有特征词j的概率记为θmj。似然度函数用于观测所有特征词、可以为如下公式：
其中，为第一概率；θmj为第二概率、第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。
S4：将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率。
具体的，装置将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率。对于求解上述似然度函数达到最大值时的第一概率，可以先对上式取对数，再采用最大期望算法(Expectation Maximization Algorithm，以下简称“EM算法”)进行迭代计算，最终上式会收敛到最大值，将最后一次迭代所得到的和θmj为最终解(为目标第一概率)，(求解上述似然度函数为现有成熟的技术，不再具体描述)。对于每个公司的主体特征向量Ti可以记为：
S5：根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
具体的，装置根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。可以用如下公式计算每两个公司的相似度：
其中，Sim(T1,T2)为任意两个公司的相似度；T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，|T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。相似度阈值可以根据实际情况自主设置，举例说明如下：C1与C2的相似度为0.9、C1与C3的相似度为0.7、C2与C3的相似度为0.85，相似度阈值选为0.8，则将C1与C2归属于主题分类1、C2与C3归属于主题分类2，C1与C3不能归属于任一主题分类。
本发明实施例提供的基于主题的分类方法，能够准确地确定公司的主题分类。
在上述实施例的基础上，所述似然度函数还包含第二概率；相应的，根据所述特征词集合，构建包含有第一概率和第二概率的似然度函数，包括：
根据如下公式构建所述似然度函数：
其中，为第一概率；θmj为第二概率、所述第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。
具体的，装置根据如下公式构建所述似然度函数：
其中，为第一概率；θmj为第二概率、所述第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。可参照上述实施例，不再赘述。
本发明实施例提供的基于主题的分类方法，通过构建、求解包含有第一概率和第二概率的似然度函数，能够快速、并准确地确定公司的主题分类。
在上述实施例的基础上，所述根据所述主题特征向量，计算每两个公司的相似度，包括：
根据如下公式计算每两个公司的相似度：
其中，T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。
具体的，装置根据如下公式计算每两个公司的相似度：
其中，T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，|T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。可参照上述实施例，不再赘述。
本发明实施例提供的基于主题的分类方法，通过计算每两个公司的相似度，并与相似度阈值作比较，进一步能够准确地确定公司的主题分类。
在上述实施例的基础上，所述方法还包括：
若所述公司是由同一指定人作为高管和/或股东，则根据所述同一主题分类的分类结果，区分所述同一指定人。
具体的，装置若判断获知所述公司是由同一指定人作为高管和/或股东，则根据所述同一主题分类的分类结果，区分所述同一指定人。在进行企业信息检索查询时，我们经常会遇到相同人名的情况。例如：在“李某”作为法人/高管的公司中，既有北京百度网讯科技有限公司、北京百付宝科技有限公司、福建百度博瑞网络科技有限公司、百度云计算有限公司，又有山西格尔工程咨询有限公司、北京易悦科技有限公司、巴中市新绿农业有限公司等上百家公司。如何能够知道哪些“李某”的名字是一个实体人，并对应哪些公司，就成为了一个令人困扰的问题，参照上述说明中最终获得的同一主题分类的分类结果，可以区分“李某”如下：
李某1：{北京百度网讯科技有限公司；福建百度博瑞网络科技有限公司；百度云计算有限公司}；
李某2：{山西格尔工程咨询有限公司}；
李某3：{北京易悦科技有限公司}；
李某4：{巴中市新绿农业有限公司}。
本发明实施例提供的基于主题的分类方法，还能够区分同一指定人对应公司的主题分类。
在上述实施例的基础上，所述方法还包括：
若检测到与所述同一指定人同名的新公司，获取所述新公司的第一信息。
具体的，装置若检测到与所述同一指定人同名的新公司，获取所述新公司的第一信息。需要说明的是：当有法人/高管或股东为与该同一指定人同名的新公司加入时，会检测到与同一指定人同名的新公司。
根据所述第一信息，获取与所述新公司对应的新特征词集合。
具体的，装置根据所述第一信息，获取与所述新公司对应的新特征词集合。可参照上述实施例说明，不再赘述。
根据所述新特征词集合，计算每一主题分类的所有第二概率之和。
具体的，装置根据所述新特征词集合，计算每一主题分类的所有第二概率之和。计算第二概率的方法可以采用上述说明的EM算法，但不作具体限定。
将K个所述所有第二概率之和相加，以获得全部主题分类的第二概率总和。
具体的，装置将K个所述所有第二概率之和相加，以获得全部主题分类的第二概率总和。每一主题m，计算其中j为新公司的第j个特征。假设某公司的特征有“互联网”，“大数据”，“财经”，这三个特征的概率为{0.01,0.01,0.0001}，那么的值为:0.01+0.01+0.0001＝0.0201，以此类推，完成其他的计算。可得到全部主题分类的第二概率总和(即之间的总和，记为sumT)。
计算所述每一主题分类的所有第二概率之和与所述全部主题分类的第二概率总和的比值，并将所有的K个比值组成新公司的新主题特征向量。
具体的，装置计算所述每一主题分类的所有第二概率之和与所述全部主题分类的第二概率总和的比值，并将所有的K个比值组成新公司的新主题特征向量。计算与sumT的比值、与sumT的比值，以此类推，共计K个，并组成新主题特征向量。
依次计算所述新主题特征向量和原有公司的每一主题特征向量的第一相似度，将数值最大的第一相似度作为目标第一相似度。
具体的，装置依次计算所述新主题特征向量和原有公司的每一主题特征向量的第一相似度，将数值最大的第一相似度作为目标第一相似度。举例说明如下：新主题特征向量记为TNEW，原有公司的每一主题特征向量记为 依次计算相似度Sim(TNEW,T1)、Sim(TNEW,T2)、Sim(TNEW,T3)，其数值分别为0.92、0.88、0.79，则将Sim(TNEW,T1)作为目标第一相似度，
将所述目标第一相似度对应的原有公司的主题分类作为所述新公司的主题分类。
具体的，装置将所述目标第一相似度对应的原有公司的主题分类作为所述新公司的主题分类。参照上述实施例，将Sim(TNEW,T1)对应的原有公司C1的主题分类1作为新公司的主题分类。
本发明实施例提供的基于主题的分类方法，还能够对新增公司进行准确的主题分类。
图2为本发明实施例基于主题的分类装置的结构示意图，如图2所示，本发明实施例提供了一种基于主题的分类装置，包括第一获取单元1、第二获取单元2、构建单元3、确定单元4和归类单元5，其中：
第一获取单元1用于获取公司信息；第二获取单元2用于根据所述公司信息，获取与每个公司对应的特征词集合；构建单元3用于根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；确定单元4用于将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；归类单元5用于根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
具体的，第一获取单元1用于获取公司信息；第二获取单元2用于根据所述公司信息，获取与每个公司对应的特征词集合；构建单元3用于根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；确定单元4用于将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；归类单元5用于根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
本发明实施例提供的基于主题的分类装置，能够准确地确定公司的主题分类。
在上述实施例的基础上，所述似然度函数还包含第二概率；相应的，所述构建单元3具体用于：
根据如下公式构建所述似然度函数：
其中，为第一概率；θmj为第二概率、所述第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。
具体的，所述构建单元3具体用于：
根据如下公式构建所述似然度函数：
其中，为第一概率；θmj为第二概率、所述第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。
本发明实施例提供的基于主题的分类装置，通过构建、求解包含有第一概率和第二概率的似然度函数，能够快速、并准确地确定公司的主题分类。
在上述实施例的基础上，所述归类单元5具体用于：
根据如下公式计算每两个公司的相似度：
其中，T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，|T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。
具体的，所述归类单元5具体用于：
根据如下公式计算每两个公司的相似度：
其中，T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，|T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。
本发明实施例提供的基于主题的分类装置，通过计算每两个公司的相似度，并与相似度阈值作比较，进一步能够准确地确定公司的主题分类
本发明实施例提供的基于主题的分类装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图3为本发明实施例提供的装置实体结构示意图，如图3所示，所述装置包括：处理器(processor)301、存储器(memory)302和总线303；
其中，所述处理器301、存储器302通过总线303完成相互间的通信；
所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取公司信息；根据所述公司信息，获取与每个公司对应的特征词集合；根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取公司信息；根据所述公司信息，获取与每个公司对应的特征词集合；根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取公司信息；根据所述公司信息，获取与每个公司对应的特征词集合；根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (8)

1.一种基于主题的分类方法，其特征在于，包括：
获取公司信息；
根据所述公司信息，获取与每个公司对应的特征词集合；
根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；
将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；
根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类；
所述似然度函数还包含第二概率；相应的，根据所述特征词集合，构建包含有第一概率和第二概率的似然度函数，包括：
根据如下公式构建所述似然度函数：
其中，为第一概率；θmj为第二概率、所述第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。
2.根据权利要求1所述的方法，其特征在于，所述根据所述主题特征向量，计算每两个公司的相似度，包括：
根据如下公式计算每两个公司的相似度：
其中，T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，|T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
若所述公司是由同一指定人作为高管和/或股东，则根据所述同一主题分类的分类结果，区分所述同一指定人。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若检测到与所述同一指定人同名的新公司，获取所述新公司的第一信息；
根据所述第一信息，获取与所述新公司对应的新特征词集合；
根据所述新特征词集合，计算每一主题分类的所有第二概率之和；
将K个所述所有第二概率之和相加，以获得全部主题分类的第二概率总和；
计算所述每一主题分类的所有第二概率之和与所述全部主题分类的第二概率总和的比值，并将所有的K个比值组成新公司的新主题特征向量；
依次计算所述新主题特征向量和原有公司的每一主题特征向量的第一相似度，将数值最大的第一相似度作为目标第一相似度；
将所述目标第一相似度对应的原有公司的主题分类作为所述新公司的主题分类。
5.一种基于主题的分类装置，其特征在于，包括：
第一获取单元，用于获取公司信息；
第二获取单元，用于根据所述公司信息，获取与每个公司对应的特征词集合；
构建单元，用于根据所述特征词集合，构建包含有第一概率的似然度函数，其中，所述第一概率为每个公司归属于K个主题分类中的一个分类m的概率；
确定单元，用于将使所述似然度函数达到最大值的第一概率作为目标第一概率，并获取每个公司的主题特征向量，所述主题特征向量包括所述目标第一概率；
归类单元，用于根据所述主题特征向量，计算每两个公司的相似度，并将所述相似度高于相似度阈值的每两个公司归属于同一主题分类；
所述似然度函数还包含第二概率；相应的，所述构建单元具体用于：
根据如下公式构建所述似然度函数：
其中，为第一概率；θmj为第二概率、所述第二概率为主题分类为m的公司具有特征词j的概率；K为主题分类的总分类数；m为主题分类中的第m个主题分类；C为所有公司；i为所有公司C中的第i个公司；FC为第i个公司中的所有特征词；j为所有特征词FC中的第j个特征词。
6.根据权利要求5所述的装置，其特征在于，所述归类单元具体用于：
根据如下公式计算每两个公司的相似度：
其中，T1为第一个公司的主题特征向量，T2为第二个公司的主题特征向量，|T1|为第一个公司的主题特征向量值；|T2|为第二个公司的主题特征向量值。
7.一种基于主题的分类装置，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
CN201710560996.5A 2017-07-11 2017-07-11 一种基于主题的分类方法及装置 Active CN107402984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710560996.5A CN107402984B (zh) 2017-07-11 2017-07-11 一种基于主题的分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710560996.5A CN107402984B (zh) 2017-07-11 2017-07-11 一种基于主题的分类方法及装置

Publications (2)

Publication Number Publication Date
CN107402984A CN107402984A (zh) 2017-11-28
CN107402984B true CN107402984B (zh) 2018-11-20

Family

ID=60404630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710560996.5A Active CN107402984B (zh) 2017-07-11 2017-07-11 一种基于主题的分类方法及装置

Country Status (1)

Country Link
CN (1) CN107402984B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272211A (zh) * 2018-08-29 2019-01-25 张连祥 基于区域经济发展规划的产业集群分析评价系统及方法
CN114861787A (zh) * 2022-04-27 2022-08-05 北京金堤科技有限公司 获取存在重名情况的待查询人员名下公司的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034414A (zh) * 2006-03-10 2007-09-12 索尼株式会社 信息处理设备和方法以及程序
CN105243389A (zh) * 2015-09-28 2016-01-13 北京橙鑫数据科技有限公司 公司名称的行业分类标签的确定方法和装置
CN105260414A (zh) * 2015-09-24 2016-01-20 精硕世纪科技（北京）有限公司 用户行为相似性计算方法及装置
TWI544348B (zh) * 2011-11-15 2016-08-01 凱洛斯未來集團公司 開端式偵測及文字資料中之字叢集之分類

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9367526B1 (en) * 2011-07-26 2016-06-14 Nuance Communications, Inc. Word classing for language modeling
CN105045812B (zh) * 2015-06-18 2019-01-29 上海高欣计算机系统有限公司 文本主题的分类方法及系统
US20170083820A1 (en) * 2015-09-21 2017-03-23 International Business Machines Corporation Posterior probabilistic model for bucketing records
CN106021413B (zh) * 2016-05-13 2019-07-02 清华大学 基于主题模型的自展式特征选择方法及系统
CN106547822A (zh) * 2016-09-29 2017-03-29 北京奇艺世纪科技有限公司 一种文本相关性确定方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034414A (zh) * 2006-03-10 2007-09-12 索尼株式会社 信息处理设备和方法以及程序
TWI544348B (zh) * 2011-11-15 2016-08-01 凱洛斯未來集團公司 開端式偵測及文字資料中之字叢集之分類
CN105260414A (zh) * 2015-09-24 2016-01-20 精硕世纪科技（北京）有限公司 用户行为相似性计算方法及装置
CN105243389A (zh) * 2015-09-28 2016-01-13 北京橙鑫数据科技有限公司 公司名称的行业分类标签的确定方法和装置

Also Published As

Publication number Publication date
CN107402984A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
Tuor et al. Overcoming noisy and irrelevant data in federated learning
Rajamohamed et al. Improved credit card churn prediction based on rough clustering and supervised learning techniques
Kim et al. Improved churn prediction in telecommunication industry by analyzing a large network
CN109766454A (zh) 一种投资者分类方法、装置、设备及介质
US20160357845A1 (en) Method and Apparatus for Classifying Object Based on Social Networking Service, and Storage Medium
CN108564393A (zh) 潜在客户评分方法、装置和系统
CN111582538A (zh) 一种基于图神经网络的社群价值预测方法及系统
Sharma et al. Trend analysis in machine learning research using text mining
Zhu et al. Portal nodes screening for large scale social networks
CN111641608A (zh) 异常用户识别方法、装置、电子设备及存储介质
CN115688024A (zh) 基于用户内容特征和行为特征的网络异常用户预测方法
CN113554175A (zh) 一种知识图谱构建方法、装置、可读存储介质及终端设备
Peng et al. The health care fraud detection using the pharmacopoeia spectrum tree and neural network analytic contribution hierarchy process
CN107402984B (zh) 一种基于主题的分类方法及装置
Shazly et al. An efficient hybrid approach for Twitter sentiment analysis based on bidirectional recurrent neural networks
Zhang et al. Community detection in attributed collaboration network for statisticians
CN106844743B (zh) 维吾尔语文本的情感分类方法及装置
Olech et al. Hierarchical gaussian mixture model with objects attached to terminal and non-terminal dendrogram nodes
CN116304518A (zh) 用于信息推荐的异质图卷积神经网络模型构建方法及系统
CN110489660B (zh) 一种社交媒体公开数据的用户经济状况画像方法
CN117291722A (zh) 对象管理方法、相关设备及计算机可读介质
CN110705889A (zh) 一种企业筛选方法、装置、设备及存储介质
Choi et al. Dynamic nonparametric random forest using covariance
CN107767278B (zh) 社群层次结构构建方法和装置
Chang et al. Automated feature engineering for fraud prediction in online credit loan services

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant