CN108399227A - 自动打标签的方法、装置、计算机设备及存储介质 - Google Patents

自动打标签的方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108399227A
CN108399227A CN201810145692.7A CN201810145692A CN108399227A CN 108399227 A CN108399227 A CN 108399227A CN 201810145692 A CN201810145692 A CN 201810145692A CN 108399227 A CN108399227 A CN 108399227A
Authority
CN
China
Prior art keywords
text
word
keyword
labelled
participle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810145692.7A
Other languages
English (en)
Other versions
CN108399227B (zh
Inventor
陈海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810145692.7A priority Critical patent/CN108399227B/zh
Priority to PCT/CN2018/085348 priority patent/WO2019153552A1/zh
Publication of CN108399227A publication Critical patent/CN108399227A/zh
Application granted granted Critical
Publication of CN108399227B publication Critical patent/CN108399227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种自动打标签的方法、装置、计算机设备及存储介质。该方法包括：将待打标签文本进行分词预处理，得到预处理文本；将预处理文本输入词语逆频率TF‑IDF算法模型，得到待打标签文本的关键词集；根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。该方法通过自动学习的方式对文章打标签，避免了手动打标，提高打标效率且节省人力成本。

Description

自动打标签的方法、装置、计算机设备及存储介质
技术领域
本申请涉及文章分类技术领域，尤其涉及一种自动打标签的方法、装置、计算机设备及存储介质。
背景技术
文章的标签有助于文章的搜索以及分类，目前常用的方式是手动打标签，即作者为自己的文章编辑标签，但是并非所有作者都为自己的文章打标签。若海量的未打标签的文章都通过手动打标的方式来实现标签的添加，则效率极其低下，而且极大的增加了人力成本。
发明内容
本申请提供了一种自动打标签的方法、装置、计算机设备及存储介质，旨在解决现有技术海量的未打标签的文章都通过手动打标的方式来实现标签的添加，导致效率极其低下，而且极大增加了人力成本的问题。
第一方面，本申请提供了一种自动打标签的方法，其包括：
将待打标签文本进行分词预处理，得到预处理文本；
将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；
根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；
获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
第二方面，本申请提供了一种自动打标签的装置，其包括：
文本预处理单元，用于将待打标签文本进行分词预处理，得到预处理文本；
关键词集获取单元，用于将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；
最终概率分布获取单元，用于根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；
打标单元，用于获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
第三方面，本申请又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请提供的任一项所述的自动打标签的方法。
第四方面，本申请还提供了一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行本申请提供的任一项所述的自动打标签的方法。
本申请提供一种自动打标签的方法、装置、计算机设备及存储介质。该方法将待打标签文本进行分词预处理，得到预处理文本；将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。该方法通过自动学习的方式对文章打标签，避免了手动打标，提高打标效率且节省人力成本。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种自动打标签的方法的示意流程图；
图2为本申请实施例提供的一种自动打标签的方法的子流程示意流程图；
图3是本申请实施例提供的一种自动打标签的方法的另一子流程示意图；
图4为本申请实施例提供的一种自动打标签的装置的示意性框图；
图5为本申请实施例提供的一种自动打标签的装置的子单元示意性框图；
图6为本申请实施例提供的一种自动打标签的装置的另一子单元示意性框图；
图7为本申请实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本申请实施例提供的一种自动打标签的方法的示意流程图。该方法应用于台式电脑、手提电脑、平板电脑等终端中。如图1所示，该方法包括步骤S101～S104。
S101、将待打标签文本进行分词预处理，得到预处理文本。
如图2所示，所述步骤S101包括以下步骤：
S1011、对待打标签文本进行分词，得到分词后文本。
在本实施例中，是基于概率统计模型的分词方法对待打标签文本进行分词。基于概率统计模型的分词方法的步骤如下：
S10111、对一个待分词的子串S，按照从左到右的顺序取出全部候选词w1,w2,…,wi,…,wn；
S10112、到词典中查出每个候选词的概率值P(wi)，并记录每个候选词的全部左邻词；
S10113、计算每个候选词的累计概率，同时比较得到每个候选词的最佳左邻词；
S10114、如果当前词wn是字串S的尾词，且累计概率P(wn)最大，则wn就是S的终点词；
S10115、从wn开始，按照从右到左顺序，依次将每个词的最佳左邻词输出，即S的分词结果。
S1012、对分词后文本包括的分词一一设置加权值。
在本实施例中，以已进行分词的待打标签文本中分词来进行加权处理，也就是已进行分词的待打标签文本中是可以视作由多个分词组成，此时对整篇已进行分词的待打标签文本从头至尾按位置、词性、长度等因素对文本中的各分词进行加权处理，按如下规则：
文本第一个词是标题，赋予权值8*；段首第一个词等于“摘要”，则赋予权值5*；段首第一个词等于“关键词”或“结论”，则赋予权值5*；词语长度等于2，赋予权值3*；词性为名词，赋予权值2*；其他，每段首赋予权值1*。
S1013、删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组。
三元组<wi，frei，vi>表示待打标签文本经处理后的结果集，其中wi是词语，frei是词语wi加权后出现的次数，vi是词语在文本中的位置权重；其中，当对分词后文本包括的分词一一设置加权值后，需删除其中的停用词(停用词包括虚拟词、语气组词、副词、符号、一个字的词，这些停用词不会作为关键词的候选词)，能准确的筛选出候选的关键词进行后续处理。
S1014、获取第一三元组中词频大于预设词频阈值所对分词之间的词语相似度；
其中，通过词语相似度计算，计算第一三元组<wi，frei，vi>中词频frei>2的所有词语相似度simij；当simij>0.9则认为两个词语的相似度极高，在文本中可以替换，将返回四元组<wi，wj，simij，frei+frej>，并删除第一三元组里的词语wj。四元组<wi，wj，simij，frei+frej>表示对三元组中部分词语计算相似度后的集合，其中simij表示词语wi、wj的相似度，frei+frej表示两个词语的词频之和。
S1015、若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本。
其中，在第一三元组<wi，frei，vi>中，查找四元组<wi，wj，simij，frei+frej>中的词语；当三元组的frei替换为四元组中的frei+frej，重新组成第二三元组<wi，frei+frej，vi>，该第二三元组<wi，frei+frej，vi>即为预处理文本。
通过文本预处理，所得到的预处理文本满足关键词筛选模型的输入标准(即将文本进行了向量化处理)，能更为准确的得到文章的关键词。
当对待打标签文本进行分词后，就能对各词语的词频进行统计，以作为文章标签的候选词。
S102、将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集。
在一实施例中，所述词语逆频率TF-IDF算法模型为：
其中，TF部分分子ni，j表示词语ti在文本j中出现的次数，分母表示文本j中所有的词语频词和，IWF部分分子表示语料库中所有词语频数之和，nti表示词语ti在语料库中出现的总频数。
如图3所示，所述步骤S102包括以下步骤：
S1021、生成语料库词语统计结果集；
S1022、获取预处理文本；
S1023、将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集。
在本实施例中，语料库词语统计结果集是基于语料库得到的。语料库是用户预先挑选一定数量文章(如2000篇)，采用步骤S10111-S10115中的文本预处理算法，忽略步骤S10114中相似度计算的步骤，对语料库中的文章分别进行处理，得到二元组<wi，frei>，其中wi是词语，frei是词语wi加权后出现的频次。合并所有二元组<wi，frei>，得到<wi，freisum>，其中freisum是词语wi在语料库中出现的总频次，也即<wi，freisum>即为所生成的语料库词语统计结果集。将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集，所得到的关键词集准确度较高。
S103、根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布。
在一实施例中，所述根据待打标签文本的关键词集得到初始化转移矩阵中，所述初始化转移矩阵为n维方阵，n维方阵的维数与关键词集中关键词总个数相等；所述初始的关键词概率分布为每一行值均为1/n的n维列向量；其中，n为与关键词集中关键词总个数相等的正整数；
所述由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算记为Vm＝MVm-1，其中，m为正整数，V0为初始的关键词概率分布，M为初始化转移矩阵。
在本实施例中，例如，关键词集中关键词的总个数为4个，分别记为A，B，C，D。根据关键词的位置、词性、长度等因素得到初始化转移矩阵M为：
假设每一个关键词为待打标签文本的最终标签的概率都是相等的，即1/n；故初始的关键词概率分布就是一个所有值都为1/n的n维列向量V0；用Vn＝MVn-1计算得到关键词最终概率分布Vn(此初始化转移矩阵M乘以Vn-1，经过不断迭代(一般是30次左右)最终会收敛，不会出现一直迭代的情况)。
S104、获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
作为步骤S103-S104的另一实施例，也可以是根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算，当Vn这一n维列向量种有一行出现大于预设概率值时，则停止迭代并将该行对应的关键词作为待打标签文本的标签。若同时出现了多行大于预设概率值的情况，则将这些行对应的关键词同时作为待打标签文本的标签。
在一实施例中，所述步骤S101之前，还包括：
S100、爬取待打标签文本，并存储至MongoDB数据库中。即原始数据从网上爬取，得到待打标签文本，存放到MongoDB数据库。通过爬取数据，可设置一筛选条件，即爬取未设置标签的文本从而进行打标签。
该方法通过自动学习的方式对文章打标签，避免了手动打标，提高打标效率且节省人力成本。
本申请实施例还提供一种自动打标签的装置，该自动打标签的装置用于执行前述任一项自动打标签的方法。具体地，请参阅图4，图4是本申请实施例提供的一种自动打标签的装置的示意性框图。自动打标签的装置100可以安装于台式电脑、平板电脑、手提电脑、等终端中。
如图4所示，自动打标签的装置100包括文本预处理单元101、关键词集获取单元102、最终概率分布获取单元103、打标单元104。
文本预处理单元101，用于将待打标签文本进行分词预处理，得到预处理文本。
如图5所示，所述文本预处理单元101包括以下子单元：
分词单元1011，用于对待打标签文本进行分词，得到分词后文本。
在本实施例中，是基于概率统计模型的分词方法对待打标签文本进行分词。基于概率统计模型的分词方法如下：
1)对一个待分词的子串S，按照从左到右的顺序取出全部候选词w1,w2,…,wi,…,wn；
2)到词典中查出每个候选词的概率值P(wi)，并记录每个候选词的全部左邻词；
3)计算每个候选词的累计概率，同时比较得到每个候选词的最佳左邻词；
4)如果当前词wn是字串S的尾词，且累计概率P(wn)最大，则wn就是S的终点词；
5)从wn开始，按照从右到左顺序，依次将每个词的最佳左邻词输出，即S的分词结果。
加权单元1012，用于对分词后文本包括的分词一一设置加权值。
在本实施例中，以已进行分词的待打标签文本中分词来进行加权处理，也就是已进行分词的待打标签文本中是可以视作由多个分词组成，此时对整篇已进行分词的待打标签文本从头至尾按位置、词性、长度等因素对文本中的各分词进行加权处理，按如下规则：
文本第一个词是标题，赋予权值8*；段首第一个词等于“摘要”，则赋予权值5*；段首第一个词等于“关键词”或“结论”，则赋予权值5*；词语长度等于2，赋予权值3*；词性为名词，赋予权值2*；其他，每段首赋予权值1*。
统计单元1013，用于删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组。
三元组<wi，frei，vi>表示待打标签文本经处理后的结果集，其中wi是词语，frei是词语wi加权后出现的次数，vi是词语在文本中的位置权重；其中，当对分词后文本包括的分词一一设置加权值后，需删除其中的停用词(停用词包括虚拟词、语气组词、副词、符号、一个字的词，这些停用词不会作为关键词的候选词)，能准确的筛选出候选的关键词进行后续处理。
相似度获取单元1014，用于获取第一三元组中词频大于预设词频阈值所对分词之间的词语相似度。
其中，通过词语相似度计算，计算第一三元组<wi，frei，vi>中词频frei>2的所有词语相似度simij；当simij>0.9则认为两个词语的相似度极高，在文本中可以替换，将返回四元组<wi，wj，simij，frei+frej>，并删除第一三元组里的词语wj。四元组<wi，wj，simij，frei+frej>表示对三元组中部分词语计算相似度后的集合，其中simij表示词语wi、wj的相似度，frei+frej表示两个词语的词频之和。
删词单元1015，用于若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本。
其中，在第一三元组<wi，frei，vi>中，查找四元组<wi，wj，simij，frei+frej>中的词语；当三元组的frei替换为四元组中的frei+frej，重新组成第二三元组<wi，frei+frej，vi>，该第二三元组<wi，frei+frej，vi>即为预处理文本。
通过文本预处理，所得到的预处理文本满足关键词筛选模型的输入标准(即将文本进行了向量化处理)，能更为准确的得到文章的关键词。
当对待打标签文本进行分词后，就能对各词语的词频进行统计，以作为文章标签的候选词。
关键词集获取单元102，用于将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集。
在一实施例中，所述词语逆频率TF-IDF算法模型为：
其中，TF部分分子ni，j表示词语ti在文本j中出现的次数，分母表示文本j中所有的词语频词和，IWF部分分子表示语料库中所有词语频数之和，nti表示词语ti在语料库中出现的总频数。
如图6所示，所述关键词集获取单元102包括以下子单元：
第一处理单元1021，用于生成语料库词语统计结果集；
第二处理单元1022，用于获取预处理文本；
关键词集计算单元1023，用于将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集。
在本实施例中，语料库词语统计结果集是基于语料库得到的。语料库是用户预先挑选一定数量文章(如2000篇)，采用文本预处理单元101中的文本预处理算法，忽略相似度计算的步骤，对语料库中的文章分别进行处理，得到二元组<wi，frei>，其中wi是词语，frei是词语wi加权后出现的频次。合并所有二元组<wi，frei>，得到<wi，freisum>，其中freisum是词语wi在语料库中出现的总频次，也即<wi，freisum>即为所生成的语料库词语统计结果集。将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集，所得到的关键词集准确度较高。
最终概率分布获取单元103，用于根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布。
在一实施例中，所述根据待打标签文本的关键词集得到初始化转移矩阵中，所述初始化转移矩阵为n维方阵，n维方阵的维数与关键词集中关键词总个数相等；所述初始的关键词概率分布为每一行值均为1/n的n维列向量；其中，n为与关键词集中关键词总个数相等的正整数；
所述由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算记为Vm＝MVm-1，其中，m为正整数，V0为初始的关键词概率分布，M为初始化转移矩阵。
在本实施例中，例如，关键词集中关键词的总个数为4个，分别记为A，B，C，D。根据关键词的位置、词性、长度等因素得到初始化转移矩阵M为：
假设每一个关键词为待打标签文本的最终标签的概率都是相等的，即1/n；故初始的关键词概率分布就是一个所有值都为1/n的n维列向量V0；用Vn＝MVn-1计算得到关键词最终概率分布Vn(此初始化转移矩阵M乘以Vn-1，经过不断迭代(一般是30次左右)最终会收敛，不会出现一直迭代的情况)。
打标单元104，用于获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
作为最终概率分布获取单元103和打标单元104的另一实施例，也可以是根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算，当Vn这一n维列向量种有一行出现大于预设概率值时，则停止迭代并将该行对应的关键词作为待打标签文本的标签。若同时出现了多行大于预设概率值的情况，则将这些行对应的关键词同时作为待打标签文本的标签。
在一实施例中，自动打标签的装置100，还包括：
爬取单元，用于爬取待打标签文本，并存储至MongoDB数据库中。即原始数据从网上爬取，得到待打标签文本，存放到MongoDB数据库。通过爬取数据，可设置一筛选条件，即爬取未设置标签的文本从而进行打标签。
可见，该装置通过自动学习的方式对文章打标签，避免了手动打标，提高打标效率且节省人力成本。
上述自动打标签的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500设备可以是终端。该终端可以是平板电脑、笔记本电脑、台式电脑、个人数字助理等电子设备。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种自动打标签的方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种自动打标签的方法。
该网络接口505用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：将待打标签文本进行分词预处理，得到预处理文本；将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
在一实施例中，处理器502还执行如下操作：对待打标签文本进行分词，得到分词后文本；对分词后文本包括的分词一一设置加权值；删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组；获取第一三元组中词频大于预设词频阈值所对分词之间的词语相似度；若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本。
在一实施例中，处理器502还执行如下操作：生成语料库词语统计结果集；获取预处理文本；将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；其中，所述词语逆频率TF-IDF算法模型为：
其中，TF部分分子ni，j表示词语ti在文本j中出现的次数，分母表示文本j中所有的词语频词和，IWF部分分子表示语料库中所有词语频数之和，nti表示词语ti在语料库中出现的总频数。
在一实施例中，所述根据待打标签文本的关键词集得到初始化转移矩阵中，所述初始化转移矩阵为n维方阵，n维方阵的维数与关键词集中关键词总个数相等；所述初始的关键词概率分布为每一行值均为1/n的n维列向量；其中，n为与关键词集中关键词总个数相等的正整数；
所述由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算记为Vm＝MVm-1，其中，m为正整数，V0为初始的关键词概率分布，M为初始化转移矩阵。
在一实施例中，处理器502还执行如下操作：爬取待打标签文本，并存储至MongoDB数据库中。
本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供一种存储介质。该存储介质可以为存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时实现：将待打标签文本进行分词预处理，得到预处理文本；将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
在一实施例中，该程序指令被处理器执行时实现：对待打标签文本进行分词，得到分词后文本；对分词后文本包括的分词一一设置加权值；删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组；获取第一三元组中词频大于预设词频阈值所对分词之间的词语相似度；若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本。
在一实施例中，该程序指令被处理器执行时实现：生成语料库词语统计结果集；获取预处理文本；将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；其中，所述词语逆频率TF-IDF算法模型为：
其中，TF部分分子ni，j表示词语ti在文本j中出现的次数，分母表示文本j中所有的词语频词和，IWF部分分子表示语料库中所有词语频数之和，nti表示词语ti在语料库中出现的总频数。
在一实施例中，所述根据待打标签文本的关键词集得到初始化转移矩阵中，所述初始化转移矩阵为n维方阵，n维方阵的维数与关键词集中关键词总个数相等；所述初始的关键词概率分布为每一行值均为1/n的n维列向量；其中，n为与关键词集中关键词总个数相等的正整数；
所述由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算记为Vm＝MVm-1，其中，m为正整数，V0为初始的关键词概率分布，M为初始化转移矩阵。
在一实施例中，该程序指令被处理器执行时实现：爬取待打标签文本，并存储至MongoDB数据库中。
所述存储介质可以是前述设备的内部存储单元，例如设备的硬盘或内存。所述存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种自动打标签的方法，其特征在于，包括：
将待打标签文本进行分词预处理，得到预处理文本；
将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；
根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；
获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
2.根据权利要求1所述的自动打标签的方法，其特征在于，所述将待打标签文本进行分词预处理，得到预处理文本，包括：
对待打标签文本进行分词，得到分词后文本；
对分词后文本包括的分词一一设置加权值；
删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组；
获取第一三元组中词频大于预设词频阈值所对分词之间的词语相似度；
若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本。
3.根据权利要求2所述的自动打标签的方法，其特征在于，所述词语逆频率TF-IDF算法模型为：
其中，TF部分分子ni，j表示词语ti在文本j中出现的次数，分母表示文本j中所有的词语频词和，IWF部分分子表示语料库中所有词语频数之和，nti表示词语ti在语料库中出现的总频数；
所述将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集，包括：
生成语料库词语统计结果集；
获取预处理文本；
将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集。
4.根据权利要求1所述的自动打标签的方法，其特征在于，所述根据待打标签文本的关键词集得到初始化转移矩阵中，所述初始化转移矩阵为n维方阵，n维方阵的维数与关键词集中关键词总个数相等；所述初始的关键词概率分布为每一行值均为1/n的n维列向量；其中，n为与关键词集中关键词总个数相等的正整数；
所述由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算记为Vm＝MVm-1，其中，m为正整数，V0为初始的关键词概率分布，M为初始化转移矩阵。
5.根据权利要求4所述的自动打标签的方法，其特征在于，所述将待打标签文本进行分词预处理，得到预处理文本，之前包括：
爬取待打标签文本，并存储至MongoDB数据库中。
6.一种自动打标签的装置，其特征在于，包括：
文本预处理单元，用于将待打标签文本进行分词预处理，得到预处理文本；
关键词集获取单元，用于将预处理文本输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集；
最终概率分布获取单元，用于根据待打标签文本的关键词集得到初始化转移矩阵，由初始化转移矩阵及初始的关键词概率分布经过多次迭代相乘运算直至收敛后，得到关键词最终概率分布；
打标单元，用于获取关键词最终概率分布中概率最大值的对应行，获取概率最大值的对应行所对应关键词，并将所述关键词设置为待打标签文本的标签。
7.根据权利要求6所述的自动打标签的装置，其特征在于，所述文本预处理单元，包括：
分词单元，用于对待打标签文本进行分词，得到分词后文本；
加权单元，用于对分词后文本包括的分词一一设置加权值；
统计单元，用于删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组；
相似度获取单元，用于获取第一三元组中词频大于预设词频阈值所对分词之间的词语相似度；
删词单元，用于若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本。
8.根据权利要求7所述的自动打标签的装置，其特征在于，所述词语逆频率TF-IDF算法模型为：
其中，TF部分分子ni，j表示词语ti在文本j中出现的次数，分母表示文本j中所有的词语频词和，IWF部分分子表示语料库中所有词语频数之和，nti表示词语ti在语料库中出现的总频数；
所述关键词集获取单元，包括：
第一处理单元，用于生成语料库词语统计结果集；
第二处理单元，用于获取预处理文本；
关键词集计算单元，用于将预处理文本及语料库词语统计结果集输入词语逆频率TF-IDF算法模型，得到待打标签文本的关键词集。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的自动打标签的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的自动打标签的方法。
CN201810145692.7A 2018-02-12 2018-02-12 自动打标签的方法、装置、计算机设备及存储介质 Active CN108399227B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810145692.7A CN108399227B (zh) 2018-02-12 2018-02-12 自动打标签的方法、装置、计算机设备及存储介质
PCT/CN2018/085348 WO2019153552A1 (zh) 2018-02-12 2018-05-02 自动打标签的方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810145692.7A CN108399227B (zh) 2018-02-12 2018-02-12 自动打标签的方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108399227A true CN108399227A (zh) 2018-08-14
CN108399227B CN108399227B (zh) 2020-09-01

Family

ID=63096435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810145692.7A Active CN108399227B (zh) 2018-02-12 2018-02-12 自动打标签的方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN108399227B (zh)
WO (1) WO2019153552A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069594A (zh) * 2019-03-07 2019-07-30 平安科技（深圳）有限公司 合同确认方法、装置、电子设备及存储介质
CN110147545A (zh) * 2018-09-18 2019-08-20 腾讯科技（深圳）有限公司 文本的结构化输出方法及系统、存储介质和计算机设备
CN110175233A (zh) * 2019-03-07 2019-08-27 平安科技（深圳）有限公司 目标主体画像分析的方法、装置、计算机装置及存储介质
CN110427492A (zh) * 2019-07-10 2019-11-08 阿里巴巴集团控股有限公司 生成关键词库的方法、装置和电子设备
CN111046163A (zh) * 2019-11-15 2020-04-21 贝壳技术有限公司 未读消息的处理方法、装置、存储介质及设备
CN111125355A (zh) * 2018-10-31 2020-05-08 北京国双科技有限公司 一种信息处理方法及相关设备
CN111400484A (zh) * 2020-03-20 2020-07-10 支付宝(杭州)信息技术有限公司 一种关键词提取方法和系统
CN111444704A (zh) * 2020-03-27 2020-07-24 中南大学 基于深度神经网络的网络安全关键词抽取方法
CN111611461A (zh) * 2019-05-14 2020-09-01 北京精准沟通传媒科技股份有限公司 一种数据处理方法和装置
CN111797325A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 事件贴标方法、装置、存储介质及电子设备
CN112579738A (zh) * 2020-12-23 2021-03-30 广州博冠信息科技有限公司 目标对象的标签处理方法、装置、设备及存储介质
CN112905786A (zh) * 2019-12-04 2021-06-04 北京沃东天骏信息技术有限公司 一种标签推荐方法和装置
CN113762678A (zh) * 2020-10-30 2021-12-07 北京京东振世信息技术有限公司 确定产品的优选制造商的方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229881B2 (en) * 2007-07-16 2012-07-24 Siemens Medical Solutions Usa, Inc. System and method for creating and searching medical ontologies
CN103052953A (zh) * 2010-08-11 2013-04-17 索尼公司 信息处理设备、信息处理方法和程序
CN103078897A (zh) * 2012-11-29 2013-05-01 中山大学 一种实现Web业务细粒度分类与管理的系统
CN103942340A (zh) * 2014-05-09 2014-07-23 电子科技大学 一种基于文本挖掘的微博用户兴趣识别方法
CN105893573A (zh) * 2016-03-31 2016-08-24 天津大学 一种基于地点的多模态媒体数据主题提取模型

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640488A (en) * 1995-05-05 1997-06-17 Panasonic Technologies, Inc. System and method for constructing clustered dictionary for speech and text recognition
CN103778215B (zh) * 2014-01-17 2016-08-17 北京理工大学 一种基于情感分析和隐马尔科夫模型融合的股市预测方法
CN104077417B (zh) * 2014-07-18 2018-05-22 中国科学院计算技术研究所 社交网络中的人物标签推荐方法和系统
CN107301199B (zh) * 2017-05-17 2021-02-12 北京融数云途科技有限公司 一种数据标签生成方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229881B2 (en) * 2007-07-16 2012-07-24 Siemens Medical Solutions Usa, Inc. System and method for creating and searching medical ontologies
CN103052953A (zh) * 2010-08-11 2013-04-17 索尼公司 信息处理设备、信息处理方法和程序
CN103078897A (zh) * 2012-11-29 2013-05-01 中山大学 一种实现Web业务细粒度分类与管理的系统
CN103942340A (zh) * 2014-05-09 2014-07-23 电子科技大学 一种基于文本挖掘的微博用户兴趣识别方法
CN105893573A (zh) * 2016-03-31 2016-08-24 天津大学 一种基于地点的多模态媒体数据主题提取模型

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147545B (zh) * 2018-09-18 2023-08-29 腾讯科技（深圳）有限公司 文本的结构化输出方法及系统、存储介质和计算机设备
CN110147545A (zh) * 2018-09-18 2019-08-20 腾讯科技（深圳）有限公司 文本的结构化输出方法及系统、存储介质和计算机设备
CN111125355A (zh) * 2018-10-31 2020-05-08 北京国双科技有限公司 一种信息处理方法及相关设备
CN110175233A (zh) * 2019-03-07 2019-08-27 平安科技（深圳）有限公司 目标主体画像分析的方法、装置、计算机装置及存储介质
CN110069594A (zh) * 2019-03-07 2019-07-30 平安科技（深圳）有限公司 合同确认方法、装置、电子设备及存储介质
CN110175233B (zh) * 2019-03-07 2022-03-11 平安科技（深圳）有限公司 目标主体画像分析的方法、装置、计算机装置及存储介质
CN110069594B (zh) * 2019-03-07 2023-10-10 平安科技（深圳）有限公司 合同确认方法、装置、电子设备及存储介质
CN111797325A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 事件贴标方法、装置、存储介质及电子设备
CN111611461A (zh) * 2019-05-14 2020-09-01 北京精准沟通传媒科技股份有限公司 一种数据处理方法和装置
CN111611461B (zh) * 2019-05-14 2021-06-04 北京精准沟通传媒科技股份有限公司 一种数据处理方法和装置
CN110427492B (zh) * 2019-07-10 2023-08-15 创新先进技术有限公司 生成关键词库的方法、装置和电子设备
CN110427492A (zh) * 2019-07-10 2019-11-08 阿里巴巴集团控股有限公司 生成关键词库的方法、装置和电子设备
CN111046163A (zh) * 2019-11-15 2020-04-21 贝壳技术有限公司 未读消息的处理方法、装置、存储介质及设备
CN112905786A (zh) * 2019-12-04 2021-06-04 北京沃东天骏信息技术有限公司 一种标签推荐方法和装置
CN111400484B (zh) * 2020-03-20 2023-06-02 支付宝(杭州)信息技术有限公司 一种关键词提取方法和系统
CN111400484A (zh) * 2020-03-20 2020-07-10 支付宝(杭州)信息技术有限公司 一种关键词提取方法和系统
CN111444704A (zh) * 2020-03-27 2020-07-24 中南大学 基于深度神经网络的网络安全关键词抽取方法
CN111444704B (zh) * 2020-03-27 2023-09-19 中南大学 基于深度神经网络的网络安全关键词抽取方法
CN113762678A (zh) * 2020-10-30 2021-12-07 北京京东振世信息技术有限公司 确定产品的优选制造商的方法、装置、设备和介质
CN112579738A (zh) * 2020-12-23 2021-03-30 广州博冠信息科技有限公司 目标对象的标签处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2019153552A1 (zh) 2019-08-15
CN108399227B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN108399227A (zh) 自动打标签的方法、装置、计算机设备及存储介质
CN108399228A (zh) 文章分类方法、装置、计算机设备及存储介质
CN108509413A (zh) 文摘自动提取方法、装置、计算机设备及存储介质
CN109739978A (zh) 一种文本聚类方法、文本聚类装置及终端设备
CN103999035B (zh) 用于状态机中的数据分析的方法及系统
CN104471552B (zh) 用于处置状态机引擎所接收的数据的方法及系统
Saraç et al. An ant colony optimization based feature selection for web page classification
CN110032632A (zh) 基于文本相似度的智能客服问答方法、装置及存储介质
Zhang et al. Extractive document summarization based on convolutional neural networks
CN104603741B (zh) 在模式辨识处理系统中用于电力管理的方法及系统
CN108804642A (zh) 检索方法、装置、计算机设备及存储介质
CN109766437A (zh) 一种文本聚类方法、文本聚类装置及终端设备
CN106294684A (zh) 词向量的文本分类方法及终端设备
CN107145503A (zh) 基于word2vec的远监督非分类关系提取方法及系统
CN108197144B (zh) 一种基于BTM和Single-pass的热点话题发现方法
CN104487956B (zh) 用于使用状态机引擎中的状态向量数据的方法及系统
CN108874956A (zh) 海量文件检索方法、装置、计算机设备及存储介质
CN107256156A (zh) 用于状态机中的检测的方法及系统
CN107992477A (zh) 文本主题确定方法、装置及电子设备
CN112650923A (zh) 新闻事件的舆情处理方法及装置、存储介质、计算机设备
CN109918498B (zh) 一种问题入库方法和装置
CN106156163B (zh) 文本分类方法以及装置
CN109684476A (zh) 一种文本分类方法、文本分类装置及终端设备
US20240160626A1 (en) System and method for automatic creation of ontological databases and semantic searching
CN109657116A (zh) 一种舆情搜索方法、搜索装置、存储介质和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant