CN111027306A - 一种基于关键词抽取和词移距离的知识产权匹配技术 - Google Patents

一种基于关键词抽取和词移距离的知识产权匹配技术 Download PDF

Info

Publication number
CN111027306A
CN111027306A CN201911335380.3A CN201911335380A CN111027306A CN 111027306 A CN111027306 A CN 111027306A CN 201911335380 A CN201911335380 A CN 201911335380A CN 111027306 A CN111027306 A CN 111027306A
Authority
CN
China
Prior art keywords
keyword
distance
word
text
keywords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911335380.3A
Other languages
English (en)
Inventor
王家奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuanbao Technology Wuhan Co ltd
Original Assignee
Yuanbao Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanbao Technology Wuhan Co ltd filed Critical Yuanbao Technology Wuhan Co ltd
Priority to CN201911335380.3A priority Critical patent/CN111027306A/zh
Publication of CN111027306A publication Critical patent/CN111027306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于关键词抽取和词移距离的知识产权匹配技术，包括专利文本中标记部分文本、专利标题和内容的关键词特征工程、LightGBM训练模型、通过关键词LightGBM模型抽取关键词和关键词权重，用WMD计算两个专利文本之间关键词和权重结合在一起的距离值，基于专利标题和内容的匹配方法首先提取专利和标题拼接成文本之后，用训练好的模型抽取关键词并得到关键词在文本中的权重，当计算专利的文本相似度时，将抽取的关键词和权重和另一篇专利的关键词和权重放在WMD（word mover’s distance）中计算两篇文章的相似度，相似度以两篇文章的距离值作为参考，距离值越近表示越相似，最后设定阈值将小于阈值的值排序，最后将排序的距离对应的专利推荐给搜索用户。

Description

一种基于关键词抽取和词移距离的知识产权匹配技术
技术领域
本发明涉及文本处理技术领域，具体为一种基于关键词抽取和词移距离的知识产权匹配技术。
背景技术
专利文献作为知识的载体，为知识的分享、传播做出了巨大的贡献，个人、高校、企业不仅可以申请专利为知识产权收到法律的保护，避免剽窃或抄袭带来的损失，还可以通过搜索专利为个人或企业提供技术解决方案，或者专利可以为企业分析合作伙伴或竞争对手的技术发展提供参考，所以当企业或个人在互联网上搜索相关专利时，推荐相似度高的结果给用户至关重要；
目前对于专利文本的相似度计算主要包括人工文本分类，并人工标注关键词，用关键词来做集合操作或关键词向量化后计算文本的相似度，在关键词做集合操作时，无法人工标记权重，最终也无法对集合操作的结果进行排序，也可以通过多关键词向量化后，大多采用拼接向量的方式来表达文本的向量，最后通过计算相似度方法如：余弦相似度来计算向量之间的相似度，然后根据相似度计算的结果对专利文本进行排序，以上方法存在的问题包括：人工标注关键词不仅耗费资源，且搜索结果的权重无法给出，多关键词向量化没有考虑关键词在文本中的权重，以及可能存在的语义最相近的词之间的距离，基于以上缺点，专利文本加标题之间的相似度往往效果不是很好。
发明内容
本发明提供一种基于关键词抽取和词移距离的知识产权匹配技术，可以有效解决上述背景技术中提出人工标注关键词不仅耗费资源，且搜索结果的权重无法给出，多关键词向量化没有考虑关键词在文本中的权重，以及可能存在的语义最相近的词之间的距离的问题。
为实现上述目的，本发明提供如下技术方案：一种基于关键词抽取和词移距离的知识产权匹配技术，包括专利文本中标记部分文本、专利标题和内容的关键词特征工程、LightGBM训练模型、通过关键词LightGBM模型抽取关键词和关键词权重，用WMD计算两个专利文本之间关键词和权重结合在一起的距离值，将距离值转化为相似度排序与推荐；
具体包含以下步骤：
S1、首先在专利文本中标记部分文本，标记专利文本的二元组可以表示为<T+C，K>；
S2、专利标题和内容的关键词特征工程：对文本分词，然后通过 TF-IDF值选取TopK的词作为候选关键词，然后针对关键词做特征工程；
S3、LightGBM训练模型，提取训练数据的特征，然后根据前TOP-K 的关键词是否在训练集中，打上标签0或1，最后用LightGBM训练候选关键词的特征，得到抽取关键词以及权重的LightGBM模型；
S4、用WMD计算文本相似度：用训练好的LightGBM抽取要比对的专利文本的标题加内容的关键词和权重，然后关键词用Bert模型转化为词向量，用WMD将两篇专利的关键词向量和权重做计算，得到两篇文章的距离值；
S5、距离值转化为相似度排序与推荐：距离值越短表示文本越相似，所以距离值从小到大排序，取固定数量的结果做推荐。
优选的，所述步骤S1中T表示标题，C表示文本内容，K表示关键词，T+C表示标题插入到文本的第一句，标记数据作为训练集，标记数量越多，训练模型越精确。
优选的，所述步骤S2中分词主要用到结巴分词库，TF-IDF用来做词频和文档逆词频统计，通过TF-IDF值的排序得到前K的关键词。
优选的，所述步骤S3中LightGBM为一种传统机器学习的决策树算法；
其中特征工程中的特征包括：词性、是否出现在标题、是否在文章第一句话、是否在文章最后一句话、tf值、最早出现位置、textrank 值，关机词所在位置，ske共现矩阵偏度。
优选的，所述步骤S1中中文Bert模型为Bert-as-service模型，无需训练，直接加载，Bert已经在多个中文库做过预训练，较其它模型的优势是可以做句子级向量。
优选的，所述步骤S4中WMD是一种计算句子之间距离的方法，距离越小，相似度越高，通过计算词之间的移动距离来得到文档的距离。
与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，目的在于企业园区内企业通过特定高校来检索企业所需的潜在专利，为企业的发展寻找技术支持，基于专利标题和内容的匹配方法首先提取专利和标题拼接成文本之后，用训练好的模型抽取关键词并得到关键词在文本中的权重，当计算专利的文本相似度时，将抽取的关键词和权重和另一篇专利的关键词和权重放在WMD(word mover’s distance)中计算两篇文章的相似度，相似度以两篇文章的距离值作为参考，距离值越近表示越相似，最后设定阈值将小于阈值的值排序，最后将排序的距离对应的专利推荐给搜索用户。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是专利文本标题加摘要的相似度计算流程图；
图2是WMD计算不同文本之间的权重的关键词和权重；
图3是LightGBM模型训练流程图；
图4是结合用户使用的专利相似度计算实施流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明提供技术方案，一种基于关键词抽取和词移距离的知识产权匹配技术，
步骤一、关键词训练数据标记：准备训练集，即人工标注专利的关键词数据；
人工标注数据三元组表示<T，C，K>，其中T表示专利的标题，C 表示专利文本的内容，K表示专利的关键词。
步骤二、对文本做分词处理和提取候选关键词：将结巴分词将标题和文本作为整体文本分词，然后用TF计算每个词的词频，然后选取TF值较大的前m个作为专利文本的候选关键词，其中对于在某一文档dj里的词语ti来说，ti的词频可表示为：
Figure RE-GDA0002364418810000051
其中ni,j是词语ti在文档dj中的出现次数，分母则是在文件 dj中所有词语的出现次数之和；
步骤三、专利标题加内容的关键词特征工程：特征工程主要从数据分析和经验得到，研究主题是候选关键词在文档中的属性；
判定候选关键词是否是文档真实关键词的特征包括：是否出现在标题，TF值，是否出现在标题，是否出现在正文第一句，是否出现在正文最后一句，是否包含数字，是否包含英文，共现矩阵偏度，词性等。
步骤四、训练抽取关键词的LightGBM模型：从训练样本的候选关键词中统计步骤三中每一个关键词的特征信息，判断该候选关键词是否在训练集标注的关键词组里面，若在词组内，该关键词标记为 1，若不在则标记为0；
将每条关键词的特征和标签输入LightGBM模型训练，最终得到抽取关键词的LightGBM模型。
LightGBM是基于Xgboost上改进而来，Xgboost是基于GBDT即梯度提升树的，其基本思想是运用分类回归树(CART)进行集成学习。 Xgboost是基于预排序的方法，即所有特征按照特征的数值进行排序，消耗了内存，在遍历分割点时，分裂增益计算花费时间；
LightGBM采用基于梯度的单边采样来减少样本的维度，并采用直方图(Histogram)算法将互斥特征合并降低特征的维度，降低寻找决策树最佳分割点的时间。
步骤五、在用户输入专利时，从数据库中读取该专利的标题和内容，然后用结巴和TF值来提取候选关键词，最后通过特征工程抽取关键词特征，用训练好的LightGBM模型对关键词特征进行预测，最后得到预测特征值的分数，通过分数排序，得到前n的关键词为预测关键词，该关键词的预测分数作为关键词的权重。
步骤六、WMD计算文本相似度:WMD加载专利关键词和权重(K1,W1)， (K2,W2)来计算两篇文章的距离值，距离越近表示越相似，WMD的描述如下：
权重W的计算公式：
Figure RE-GDA0002364418810000061
其中ci表示词i在文本中出现的次数，j表示文档中第j个词，n 表示词典的大小。
第i个词和第j个词的距离表示为：
m(i,j)＝||xi-xj||2；
假设有一个预训练的Bert模型的词向量矩阵为X∈Rd×n,n表示词典大小，d表示词向量维度，xi表示单词向量化。
最终可累计求和得到两个文档之间的表达式：
Figure RE-GDA0002364418810000071
约束：
Figure RE-GDA0002364418810000072
Figure RE-GDA0002364418810000073
其中wi，wj分别表示各个词在两个文档的权重向量，即文档特征。
步骤七、在测试集上统计相似度值在不同数据标签上的分布，在相似与不相似的分布的交点设置为阀值d，最终将大于阀值d的专利呈现给用户。
如图3-4所示的本发明的方法流程图：
步骤一、获取用户输入的标题和文本；
步骤二、建立专利标题、内容、关键词和权重库，首先查询专利和文本库，用关键词抽取的LightGBM抽取关键词，并将关键词关联到专利文本；
步骤三、对文本做分词处理和提取关键词，在一对多遍历计算专利文本相似度时，首先从数据库查询要匹配的专利标题和文本；
步骤四、将抽取得到的专利关键词和权重加载到WMD做计算，每一对计算的关键词和权重可以表示为(K1,W1)，(K2,W2)；
步骤五、通过一对N个专利的模式，计算N次 WMD((K1,W1),(K2,W2))得到距离值得到距离值列表(d1,d2,d3...dn；
步骤六、在测试集上统计相似度值在不同数据标签上的分布，在相似与不相似的分布的交点设置为阀值d,最终将大于阀值d的前每个专利呈现给用户。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于关键词抽取和词移距离的知识产权匹配技术，其特征在于：包括专利文本中标记部分文本、专利标题和内容的关键词特征工程、LightGBM训练模型、通过关键词LightGBM模型抽取关键词和关键词权重，用WMD计算两个专利文本之间关键词和权重结合在一起的距离值，将距离值转化为相似度排序与推荐；
具体包含以下步骤：
S1、首先在专利文本中标记部分文本，标记专利文本的二元组可以表示为<T+C，K>；
S2、专利标题和内容的关键词特征工程：对文本分词，然后通过TF-IDF值选取TopK的词作为候选关键词，然后针对关键词做特征工程；
S3、LightGBM训练模型，提取训练数据的特征，然后根据前TOP-K的关键词是否在训练集中，打上标签0或1，最后用LightGBM训练候选关键词的特征，得到抽取关键词以及权重的LightGBM模型；
S4、用WMD计算文本相似度：用训练好的LightGBM抽取要比对的专利文本的标题加内容的关键词和权重，然后关键词用Bert模型转化为词向量，用WMD将两篇专利的关键词向量和权重做计算，得到两篇文章的距离值；
S5、距离值转化为相似度排序与推荐：距离值越短表示文本越相似，所以距离值从小到大排序，取固定数量的结果做推荐。
2.根据权利要求1所述的一种基于关键词抽取和词移距离的知识产权匹配技术，其特征在于，所述步骤S1中T表示标题，C表示文本内容，K表示关键词，T+C表示标题插入到文本的第一句，标记数据作为训练集，标记数量越多，训练模型越精确。
3.根据权利要求1所述的一种基于关键词抽取和词移距离的知识产权匹配技术，其特征在于，所述步骤S2中分词主要用到结巴分词库，TF-IDF用来做词频和文档逆词频统计，通过TF-IDF值的排序得到前K的关键词。
4.根据权利要求1所述的一种基于关键词抽取和词移距离的知识产权匹配技术，其特征在于，所述步骤S3中LightGBM为一种传统机器学习的决策树算法；
其中特征工程中的特征包括：词性、是否出现在标题、是否在文章第一句话、是否在文章最后一句话、tf值、最早出现位置、textrank值，关机词所在位置，ske共现矩阵偏度。
5.根据权利要求1所述的一种基于关键词抽取和词移距离的知识产权匹配技术，其特征在于，所述步骤S1中中文Bert模型为Bert-as-service模型，无需训练，直接加载，Bert已经在多个中文库做过预训练，较其它模型的优势是可以做句子级向量。
6.根据权利要求1所述的一种基于关键词抽取和词移距离的知识产权匹配技术，其特征在于，所述步骤S4中WMD是一种计算句子之间距离的方法，距离越小，相似度越高，通过计算词之间的移动距离来得到文档的距离。
CN201911335380.3A 2019-12-23 2019-12-23 一种基于关键词抽取和词移距离的知识产权匹配技术 Pending CN111027306A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911335380.3A CN111027306A (zh) 2019-12-23 2019-12-23 一种基于关键词抽取和词移距离的知识产权匹配技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911335380.3A CN111027306A (zh) 2019-12-23 2019-12-23 一种基于关键词抽取和词移距离的知识产权匹配技术

Publications (1)

Publication Number Publication Date
CN111027306A true CN111027306A (zh) 2020-04-17

Family

ID=70211511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911335380.3A Pending CN111027306A (zh) 2019-12-23 2019-12-23 一种基于关键词抽取和词移距离的知识产权匹配技术

Country Status (1)

Country Link
CN (1) CN111027306A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694927A (zh) * 2020-05-22 2020-09-22 电子科技大学 一种基于改进词移距离算法的文档自动评阅方法
CN112100363A (zh) * 2020-09-22 2020-12-18 上海蜜度信息技术有限公司 一种基于关键词的文本信息精准匹配方法、系统、存储介质、终端
CN112417147A (zh) * 2020-11-05 2021-02-26 腾讯科技（深圳）有限公司 训练样本的选取方法与装置
CN113836261A (zh) * 2021-08-27 2021-12-24 哈尔滨工业大学 一种专利文本新颖性/创造性预测方法及装置
CN116070624A (zh) * 2023-04-06 2023-05-05 中南大学 一种基于环保案件要素的类案推送方法
CN113836261B (zh) * 2021-08-27 2024-05-31 哈尔滨工业大学 一种专利文本新颖性和创造性预测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247780A (zh) * 2017-06-12 2017-10-13 北京理工大学 一种基于知识本体的专利文献相似性度量方法
CN108549634A (zh) * 2018-04-09 2018-09-18 北京信息科技大学 一种中文专利文本相似度计算方法
CN109992646A (zh) * 2019-03-29 2019-07-09 腾讯科技（深圳）有限公司 文本标签的提取方法和装置
CN110297913A (zh) * 2019-06-12 2019-10-01 中电科大数据研究院有限公司 一种电子公文实体抽取方法
CN110297870A (zh) * 2019-05-30 2019-10-01 南京邮电大学 一种金融领域中文新闻标题情感分类方法
CN110362678A (zh) * 2019-06-04 2019-10-22 哈尔滨工业大学（威海） 一种自动提取中文文本关键词的方法与装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247780A (zh) * 2017-06-12 2017-10-13 北京理工大学 一种基于知识本体的专利文献相似性度量方法
CN108549634A (zh) * 2018-04-09 2018-09-18 北京信息科技大学 一种中文专利文本相似度计算方法
CN109992646A (zh) * 2019-03-29 2019-07-09 腾讯科技（深圳）有限公司 文本标签的提取方法和装置
CN110297870A (zh) * 2019-05-30 2019-10-01 南京邮电大学 一种金融领域中文新闻标题情感分类方法
CN110362678A (zh) * 2019-06-04 2019-10-22 哈尔滨工业大学（威海） 一种自动提取中文文本关键词的方法与装置
CN110297913A (zh) * 2019-06-12 2019-10-01 中电科大数据研究院有限公司 一种电子公文实体抽取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MATT J. KUSNER ET AL.: "From word embeddings to document distances", ICML\'15: PROCEEDINGS OF THE 32ND INTERNATIONAL CONFERENCE ON INTERNATIONAL CONFERENCE ON MACHINE LEARNING, vol. 37, pages 957 - 966 *
官赛萍等: "基于WMD距离与近邻传播的新闻评论聚类", vol. 31, no. 5, pages 203 - 214 *
徐鑫鑫等: "利用加权词句向量的文本相似度计算方法", vol. 40, no. 10, pages 2072 - 2076 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111694927A (zh) * 2020-05-22 2020-09-22 电子科技大学 一种基于改进词移距离算法的文档自动评阅方法
CN111694927B (zh) * 2020-05-22 2023-07-21 电子科技大学 一种基于改进词移距离算法的文档自动评阅方法
CN112100363A (zh) * 2020-09-22 2020-12-18 上海蜜度信息技术有限公司 一种基于关键词的文本信息精准匹配方法、系统、存储介质、终端
CN112417147A (zh) * 2020-11-05 2021-02-26 腾讯科技（深圳）有限公司 训练样本的选取方法与装置
CN113836261A (zh) * 2021-08-27 2021-12-24 哈尔滨工业大学 一种专利文本新颖性/创造性预测方法及装置
CN113836261B (zh) * 2021-08-27 2024-05-31 哈尔滨工业大学 一种专利文本新颖性和创造性预测方法及装置
CN116070624A (zh) * 2023-04-06 2023-05-05 中南大学 一种基于环保案件要素的类案推送方法

Similar Documents

Publication Publication Date Title
CN110298033B (zh) 关键词语料标注训练提取系统
CN107861939B (zh) 一种融合词向量和主题模型的领域实体消歧方法
Deepak et al. A novel firefly driven scheme for resume parsing and matching based on entity linking paradigm
Devika et al. Sentiment analysis: a comparative study on different approaches
CN108628828B (zh) 一种基于自注意力的观点及其持有者的联合抽取方法
CN110427563B (zh) 一种基于知识图谱的专业领域系统冷启动推荐方法
CN111027306A (zh) 一种基于关键词抽取和词移距离的知识产权匹配技术
CN110134792B (zh) 文本识别方法、装置、电子设备以及存储介质
Avasthi et al. Techniques, applications, and issues in mining large-scale text databases
CN112036177A (zh) 基于多模型融合的文本语义相似度信息处理方法及系统
CN112188312B (zh) 用于确定新闻的视频素材的方法和装置
CN109615001B (zh) 一种识别相似文章的方法和装置
CN114065758A (zh) 一种基于超图随机游走的文档关键词抽取方法
Zaroor et al. A hybrid approach to conceptual classification and ranking of resumes and their corresponding job posts
Gong et al. A semantic similarity language model to improve automatic image annotation
CN110020024B (zh) 一种科技文献中链接资源的分类方法、系统、设备
Eyecioglu et al. Constructing a Turkish corpus for paraphrase identification and semantic similarity
Berrahou et al. How to extract unit of measure in scientific documents?
Kelkar et al. Resume analyzer using text processing
Torres et al. Support vector machines for semantic relation extraction in Spanish language
Bettiche et al. Opinion mining in social networks for Algerian dialect
CN116933782A (zh) 一种电商文本关键词提取处理方法及系统
CN111563361A (zh) 文本标签的提取方法及装置、存储介质
Schirmer et al. A new dataset for topic-based paragraph classification in genocide-related court transcripts
Kortum et al. Leveraging Natural Language Processing to Analyze Scientific Content: Proposal of an NLP Pipeline for the Field of Computer Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination