CN109948121A - 文章相似度挖掘方法、系统、设备及存储介质 - Google Patents
文章相似度挖掘方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN109948121A CN109948121A CN201711385538.9A CN201711385538A CN109948121A CN 109948121 A CN109948121 A CN 109948121A CN 201711385538 A CN201711385538 A CN 201711385538A CN 109948121 A CN109948121 A CN 109948121A
- Authority
- CN
- China
- Prior art keywords
- article
- similarity
- digging
- feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 239000013598 vector Substances 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000002203 pretreatment Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000009412 basement excavation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文章相似度挖掘方法、系统、设备及存储介质，其中方法包括步骤：S1、对多篇文章进行预处理，获取每篇文章的特征词；S2、基于TF‑IDF计算所述特征词的TF‑IDF权重；S3、根据所述TF‑IDF权重生成每篇文章的归一化的特征向量；S4、计算任意两个所述特征向量的相似度。本发明通过将文件进行分词、去停用词、提取特征词等预处理，然后采用改进的TF‑IDF方法计算特征词语的权重，通过TF‑IDF计算出文章的向量，形成表示文章的向量，然后通过计算文章的向量间的相似度，从而挖掘出更精准的相似文章并向用户推荐，从而抓住用户浏览偏好，提升了用户文章的点击转化率，提高用户浏览阅读体验。
Description
技术领域
本发明涉及数据挖掘领域，特别涉及一种基于向量空间模型的文章相似度挖掘方法、系统、设备及存储介质。
背景技术
随着互联网和人工智能的发展，人们获得信息的来源更丰富，特别是目前处于大数据时代，在用户浏览完一篇文章后，若能够自动地为用户推荐相似度高的相关文章，则可进一步抓住用户的偏好心理，从而在很大程度上提高用户的个性化体验。由于文章都是有字词组成，所以通常就将文章拆分为若干特征字词，并将这些特征字词形成特征集合，即将文章转化成特征向量，然后通过比较特征向量间的相似性来得到文章之间的相似度。现有技术中，在计算特征向量时，主要采用布尔权重、词频权重、TF-IDF(term frequency–inverse document frequency，词频-逆向文件频率)等方法来计算特征词语的权重。其中，布尔权重表示一个特征词语在文章中是否出现，所以布尔权重的优点是计算简单快速，缺点是无法体现高频词和低频词的区别；词频权重是表示一个特征词语在文章中出现的频率，所以词频权重的优点是快捷地统计出各个特征词语在文章中出现的次数，缺点是找不出特征词语在不同文章中的分布情况。
发明内容
本发明要解决的技术问题是为了克服现有技术中布尔权重虽计算简单快速但无法体现高频词和低频词的区别，而词频权重虽能快捷地统计出各个特征词语在文章中出现的次数但不能找出特征词语在不同文章中的分布情况的缺陷，提供一种文章相似度挖掘方法、系统、设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种文章相似度挖掘方法，其特点是，包括步骤：
S1、对多篇文章进行预处理，获取每篇文章的特征词；
S2、基于TF-IDF计算所述特征词的TF-IDF权重；
S3、根据所述TF-IDF权重生成每篇文章的归一化的特征向量；
S4、计算任意两个所述特征向量的相似度。
本方案中，在预处理获得能够表征文章显著类别信息的特征词后，采用TF-IDF对特征词进行降权，从而使用降权后的特征向量来表示文章，这样在大数据的当下，大量文章之间的相似性就可转变为计算特征向量之间的相似性，从而可以采用大数据计算如Spark(专为大规模数据处理而设计的快速通用的计算引擎)进行文章之间相似度的挖掘。
较佳地，步骤S1具体包括：
S11、读取多篇文章，并清洗所述文章；
S12、基于分词词库对已清洗的所述文章进行分词；
S13、基于停用词词库对已分词的所述文章去停用词；
S14、基于特征词词库对已去停用词的所述文章进行特征词提取。
本方案中，鉴于读取的文章一般来自于基础语料数据库如大数据平台提供的文章描述表、文章属性表等，这些文章数据很不规范，里面有json字符串，也有很多特殊符号，所以在进行分词前，一般采用Spark程序做正则匹配自动化处理进行数据清洗，比如去标点，去语气词，还包括文本格式转化，去除html网页标签等。
较佳地，步骤S12具体包括：基于分词词库对已清洗的所述文章采用隐马尔可夫模型进行分布式分词。
较佳地，在步骤S14前，将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库。
较佳地，步骤S2中TF-IDF权重的计算公式如下：
其中，
表示第t个特征词的归一化词频权重；
表示第t个特征词的归一化逆向文件频率权重；
ct表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，dt表示含有第t个特征词的文章篇数，α为常数，α取值为0～1。
较佳地，步骤S4中计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法。
较佳地，步骤S4还包括将所述特征向量及计算出的相似度存储于大数据平台；
所述文章相似度挖掘方法还包括：
S5、当接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章；
S6、根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列；
S7、从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，当所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章，然后将所述推荐文章按所述预设推荐数量向所述用户推荐和展示。
较佳地，在步骤S7前，记录所述用户的偏好主题，将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中。
较佳地，所述文章相似度挖掘方法还包括：根据配置参数，将新增文章按步骤S1–S4处理后衔接更新到大数据平台。
本发明还提供一种文章相似度挖掘系统，其特点是，包括文章表示模块和相似度计算模块，所述文章表示模块包括文本预处理单元、特征词提取单元、向量权重计算单元和文章向量化单元；
所述文本预处理单元用于对多篇文章进行预处理；
所述特征词提取单元用于获取每篇文章的特征词；
所述向量权重计算单元用于基于TF-IDF计算所述特征词的TF-IDF权重；
所述文章向量化单元用于根据所述TF-IDF权重生成每篇文章的归一化的特征向量；
所述相似度计算模块用于计算任意两个所述特征向量的相似度。
较佳地，所述文本预处理单元包括读取子单元、清洗子单元、分词子单元和去停用词子单元；
所述读取子单元用于读取多篇文章；
所述清洗子单元用于清洗已读取的所述文章；
所述分词子单元用于基于分词词库对已清洗的所述文章进行分词；
所述去停用词子单元用于基于停用词词库对已分词的所述文章去停用词；
所述特征词提取单元用于基于特征词词库对已去停用词的所述文章进行特征词提取。
较佳地，所述分词子单元包括隐马尔可夫模型，所述隐马尔可夫模型用于基于分词词库对已清洗的所述文章进行分布式分词。
较佳地，所述文章表示模块还包括词库更新单元，所述词库更新单元用于在执行所述特征词提取单元前，将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库。
较佳地，所述向量权重计算单元中用于计算TF-IDF权重的公式如下：
其中，
表示第t个特征词的归一化词频权重；
表示第t个特征词的归一化逆向文件频率权重；
ct表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，dt表示含有第t个特征词的文章篇数，α为常数，α取值为0～1。
较佳地，所述相似度计算模块中用于计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法。
较佳地，所述文章相似度挖掘系统还包括结果处理模块，所述结果处理模块包括结果整合单元、相似文章分析单元和推荐展示单元；
所述结果整合单元用于将所述特征向量及计算出的相似度存储于大数据平台；
所述相似文章分析单元用于在接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章，还用于根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列，还用于从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，并在所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章；
所述推荐展示单元用于将所述相似文章分析单元输出的所述推荐文章按所述预设推荐数量向所述用户推荐和展示。
较佳地，所述相似文章分析单元还用于记录所述用户的偏好主题，并将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中。
较佳地，所述文章相似度挖掘系统还包括大数据平台模块，所述大数据平台模块包括参数配置单元和衔接管理单元；
所述参数配置单元用于配置大数据平台的运行参数；
所述衔接管理单元用于将新增文章经所述文章表示模块和所述相似度计算模块处理后衔接更新到大数据平台。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点是，所述处理器执行所述程序时实现上述的文章相似度挖掘方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特点是，所述程序被处理器执行时实现上述的文章相似度挖掘方法的步骤。
本发明的积极进步效果在于：本发明首先对文章进行分词、去停用词、提取特征词等预处理，然后采用改进的TF-IDF方法计算特征词语的权重，通过TF-IDF计算出文章的向量，然后计算出代表文章的向量之间的相似度，从而挖掘出更精准的相似文章并向用户推荐，从而抓住用户浏览偏好，提升了用户文章的点击转化率，提高用户浏览阅读体验。
附图说明
图1为本发明的实施例1的文章相似度挖掘方法的流程图。
图2为本发明的实施例1的文章相似度挖掘方法的步骤S101的流程图。
图3为本发明的实施例1的文章相似度挖掘方法的生成向量的示意图。
图4为本发明的实施例1的文章相似度挖掘方法的整体框图示意图。
图5为本发明的实施例2的文章相似度挖掘方法的流程图。
图6为本发明的实施例3的文章相似度挖掘系统的组成示意图。
图7为本发明的实施例4的电子设备的硬件结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例涉及的文章相似度挖掘方法包括步骤：
步骤S101、对多篇文章进行预处理，获取每篇文章的特征词。
具体实施时，如图2所示，步骤S101包括：
步骤S101-1、读取多篇文章，并清洗已读取的文章；
鉴于读取的文章一般来自于基础语料数据库如大数据平台提供的文章描述表、文章属性表等，这些文章数据很不规范，里面有json字符串，也有很多特殊符号，所以在进行分词前，一般采用Spark程序做正则匹配自动化处理进行数据清洗，比如去标点，去语气词，还包括文本格式转化，去除html网页标签等。
步骤S101-2、基于分词词库对已清洗的文章进行分词；
具体实施时，因为中文没有明显的切分标志，可优选隐马尔可夫模型进行分布式分词，从而将文章分成由词项组成的集合。
步骤S101-3、基于停用词词库对已分词的文章去停用词；
其中，停用词例如可以是“啊”、“呢”、“的”等无实际意义的词。
步骤S101-4、基于特征词词库对已去停用词的文章进行特征词提取。
本实施例中，特征词词库可由常用特征词词库和特色词词库组成，其中特色词词库一般由自定义词作为特色词构成，可由人工增减，对于不同应用平台，特色词可设置不同，比如针对电商平台，特色词如商家名称、品牌名称、商品名称、商品型号等能反映电商平台特点的一些词。具体实施时，还可将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库，使得特征词库不断得到充实，这样根据特征词词库提取出的特征词更能反映文章。
步骤S102、基于TF-IDF计算所述特征词的TF-IDF权重。
具体实施时，TF-IDF权重的计算公式如下：
其中，
表示第t个特征词的归一化词频权重；
表示第t个特征词的归一化逆向文件频率权重；
ct表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，dt表示含有第t个特征词的文章篇数，α为常数，α取值为0～1。这里，经验常数α的设置是对文章进行了拉普拉斯平滑处理，防止当n＝dt时出现权重异常值，具体实施中α取值0.01。
步骤S103、根据所述TF-IDF权重生成每篇文章的归一化的特征向量。
具体实施时，通过上述步骤S101-S103，就将文章集合表征成向量空间模型，在该模型中涉及到三个基本概念，文档、词项和权重，文档是文章中句子的集合，词项是表示文档的基本语言单位，权重是用来表示每个词项在文章中的重要程度。其中，向量空间模型简单架构如图3所示，即将原始文章集合中的文章通过清洗、分词、去停用词后，通过选择特征词将文章表示成由多个无序特征词组成的集合，然后通过对这些特征词权重计算后形成文章对应的归一化向量，最后将这些归一化向量生成向量空间模型来表征文章集合，这样就把文章相似性的处理转化成数学中的向量运算。这时，通过采用特征词来表征文章，可极大地降低了文章对比处理的维度，进一步，通过TF-IDF降权，将特征词用归一化的数值进行表示，由于归一化数值很小的特征词并不能很好地表征文章，这时还可将数值很小的特征词进行舍弃，以进一步减小特征向量的维度，形成归一化的特征向量，这样可方便后续向量计算。
步骤S104、计算任意两个所述特征向量的相似度。
具体实施时，计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法，这里优选了余弦相似度。这四种计算方法主要特点如下：
(1)余弦内积：通过计算两个向量的内积，可以得到两个向量之间夹角的余弦值，得到两个向量的相似性，即两篇文章的相似性；
(2)Pearson相似：Pearson相关系数就是分别对两个向量进行了总体标准化后，计算两者之间的余弦夹角得到；
(3)Jaccard相似系数：比较两个向量共有的特征数目，共有的特征数目越多，两个向量越相似；
(4)余弦相似度：余弦相似度通过两篇文章向量夹角的余弦值，来对文章间的差异进行衡量，余弦相似度较其它距离度量，更加注重两个文章向量在方向上的不同。
因此，基于上述步骤S101-S104进行文章相似度挖掘流程的框图如图4所示，首先将待挖掘文档集合分成一篇篇文章，比如对每篇文章进行文章编号便于后续处理，然后对每篇文章基于分词词库进行分词(分词前还做数据清洗，图4中未标识出清洗相关内容)、基于停用词词库进行去停用词、基于特征词词库进行特征词提取，然后进行特征词权重计算，得到文章的归一化特征向量，有这些特征向量组成向量空间，最后通过向量计算相似文章。
本实施例中，鉴于新文章不断涌现，需要将新增文章添加到数据平台中，以进一步扩充数据，所述文章相似度挖掘方法还包括：根据配置参数，将新增文章按步骤S101-S104处理后衔接更新到大数据平台。这时，就可通过Spark大数据平台将昨天的离线文章部分和今天新增的实时文章更新部分进行衔接更新到数据平台中。为了计算速度快，在计算今天增量文章的相似文章时，以昨天的离线文章作为基础表，每小时新拉来一批文章，程序判断是否在文章基础表中，在基础表中就不用计算它的相似文章了，因为昨天离线部分已经计算过，只是针对那些离线文章基础表中没有的文章，计算相似文章，这样节省了计算资源。具体可通过Spark大数据平台中的数据脚本管理模块，把Spark程序放在调度平台上进行统一管理，从而可以每天做成定时离线任务，保证数据准时更新；另外，通过Spark参数性能配置模块，配置Spark程序运行参数，比如driver-cores，executor-cores，num-executors，driver-memory，executor-memory等参数，这里分别设置driver-cores等于4，executor-cores等于8，num-executors等于5，driver-memory等于16G，executor-memory等于16G。
为便于理解本实施例的效果，通过本实施例提供的文章相似度挖掘方法，对11万篇文章的文档集进行了挖掘，比如针对标题为“谷歌变硬了：Pixel/Pixel XL真机上手评测！”的文章(文档集中的文章编号为43930)进行相似文章挖掘，这里仅挑选出相似度最高的前五篇，结果如表1所示。
表1文章编号43930的相似文章挖掘结果
| 相似文章编号 | 37054 | 39502 | 102832 | 106845 | 44610 |
| 相似度 | 0.6872 | 0.6793 | 0.6464 | 0.5714 | 0.5679 |
根据表1可知，与它相似度最高的为文章编号37054(相似度为0.6872)，其次是文章编号39502(相似度为0.6793)，具体见表1，就不再一一罗列。这五篇文章都是关于高科技主题的，表明了挖掘效果良好，可将这些文章作为文章编号43930的相似文章。
实施例2
本实施例涉及的文章相似度挖掘方法与实施例1的基本相同，不同之处在于，如图5所示，步骤S104还包括将所述特征向量及计算出的相似度存储于大数据平台，这样在用户进行阅览时，可以基于大数据平台向用户进行相关文章阅读推荐；所述文章相似度挖掘方法还包括：
步骤S105、当接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章；
步骤S106、根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列；
具体实施时，还可通过记录所述用户的偏好主题，将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中。这样，通过将相似文章进行排序形成推荐文章队列，使得所推荐的文章更能反映出用户的阅读习惯和阅读兴趣，从而提高用户体验。
步骤S107、从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，当所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章，然后将所述推荐文章按所述预设推荐数量向所述用户推荐和展示。这样，在推荐数量不足时，可将与用户最近浏览过的文章相似度高的文章加以推荐给用户，既可提高用户阅读体验，还可提高文章的点击率。当然，在推荐文章数量不足时，还可将热点文章向用户加以推荐，方便了用户了解最近的热点事件。
实施例3
如图6所示，本实施例涉及的文章相似度挖掘系统包括文章表示模块1和相似度计算模块2，文章表示模块1包括文本预处理单元11、特征词提取单元12、向量权重计算单元13和文章向量化单元14，文本预处理单元11用于对多篇文章进行预处理，特征词提取单元12用于获取每篇文章的特征词，向量权重计算单13用于基于TF-IDF计算所述特征词的TF-IDF权重，文章向量化单元14用于根据所述TF-IDF权重生成每篇文章的归一化的特征向量，相似度计算模2用于计算任意两个所述特征向量的相似度，具体实施时，相似度计算模块2中用于计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法，这里优选余弦相似度方法进行计算。
本实施例中，文本预处理单元11包括读取子单元111、清洗子单元112、分词子单元113和去停用词子单元114，读取子单元111用于读取多篇文章，清洗子单112用于清洗已读取的所述文章，分词子单元113用于基于分词词库对已清洗的所述文章进行分词，去停用词子单114用于基于停用词词库对已分词的所述文章去停用词，特征词提取单元12用于基于特征词词库对已去停用词的所述文章进行特征词提取。
具体实施时，分词子单元113可优选隐马尔可夫模型，并基于分词词库采用所述隐马尔可夫模型对已清洗的文章进行分布式分词。
具体实施时，向量权重计算单元13中计算TF-IDF权重的公式如下：
其中，
表示第t个特征词的归一化词频权重；
表示第t个特征词的归一化逆向文件频率权重；
ct表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，dt表示含有第t个特征词的文章篇数，α为0～1的常数，这里α取值为0.01。
本实施例中，文章表示模块1还包括词库更新单元15，词库更新单元15用于在执行特征词提取单元12前，将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库。特征词词库可由常用特征词词库和特色词词库组成，其中特色词词库一般由自定义词作为特色词构成，可由人工增减，对于不同应用平台，特色词可设置不同，比如针对电商平台，特色词如商家名称、品牌名称、商品名称、商品型号等能反映电商平台一些词。具体实施时，还可将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库，使得特征词库不断得到充实，这样根据特征词词库提取出的特征词更能反映文章
通过文本预处理单元11是对原始语料如待挖掘的文档集中的文章进行如清洗、分词，去停用词等预处理，这里采用Spark程序用来自动匹配识别停用词；特征词提取单元12主要是通过TF词频和/或IDF逆文档率来判断哪些词语需要作为特征词，进而为特征词构建特征词表索引，这里词库更新单元15中优选词语的IDF值来选择特征词构建出词库；向量权重计算单元13将每个词的TF-IDF值作为该词语的权重表示，进而整篇文章就构成了一个向量。这样每篇文章都可以表示为一个向量，实现了文章向量化，将文章的相似比较转换为向量的数学运算。
本实施例中，所述文章相似度挖掘系统还包括结果处理模块3，结果处理模块3包括结果整合单元31、相似文章分析单元32和推荐展示单元33，其中结果整合单元31用于将所述特征向量及计算出的相似度存储于大数据平台，相似文章分析单32用于在接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章，还用于根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列，还用于从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，并在所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章；推荐展示单元33用于将相似文章分析单元32输出的所述推荐文章按所述预设推荐数量向所述用户推荐和展示。
具体实施时，相似文章分析单元32还用于记录所述用户的偏好主题，并将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中，进一步提高推荐效果和用户体验。
本实施例中，所述文章相似度挖掘系统还包括大数据平台模块4，大数据平台模块4包括参数配置单元41和衔接管理单元42，其中参数配置单元41用于配置大数据平台的运行参数，衔接管理单元42用于将新增文章经文章表示模块1和相似度计算模块2处理后衔接更新到大数据平台。具体实施中，通过参数配置单元41配置Spark程序运行参数，比如driver-cores，executor-cores，num-executors，driver-memory，executor-memory等参数，这里分别设置driver-cores等于4，executor-cores等于8，num-executors等于5，driver-memory等于16G，executor-memory等于16G。
实施例4
本实施例涉及的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点是，所述处理器执行所述程序时实现实施例1或实施例2所述的文章相似度挖掘方法。
图7为本实施例涉及的电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性的电子设备50的框图。图7显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备50可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备50的组件可以包括但不限于：上述至少一个处理器51、上述至少一个存储器52、连接不同系统组件(包括存储器52和处理器51)的总线53。
总线53包括数据总线、地址总线和控制总线。
存储器52可以包括易失性存储器，例如随机存取存储器(RAM)521和/或高速缓存存储器522，还可以进一步包括只读存储器(ROM)523。
存储器52还可以包括具有一组(至少一个)程序模块524的程序工具525，这样的程序模块524包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器51通过运行存储在存储器52中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的文章相似度挖掘方法。
电子设备50也可以与一个或多个外部设备54(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口55进行。并且，电子设备50还可以通过网络适配器56与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信，网络适配器56通过总线53与电子设备50的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例5
本实施例涉及一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1或实施例2所述的文章相似度挖掘方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1或实施例2所述的文章相似度挖掘方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (20)
1.一种文章相似度挖掘方法，其特征在于，包括：
S1、对多篇文章进行预处理，获取每篇文章的特征词；
S2、基于TF-IDF计算所述特征词的TF-IDF权重；
S3、根据所述TF-IDF权重生成每篇文章的归一化的特征向量；
S4、计算任意两个所述特征向量的相似度。
2.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S1具体包括：
S11、读取多篇文章，并清洗所述文章；
S12、基于分词词库对已清洗的所述文章进行分词；
S13、基于停用词词库对已分词的所述文章去停用词；
S14、基于特征词词库对已去停用词的所述文章进行特征词提取。
3.如权利要求2所述的文章相似度挖掘方法，其特征在于，步骤S12具体包括：基于分词词库对已清洗的所述文章采用隐马尔可夫模型进行分布式分词。
4.如权利要求2所述的文章相似度挖掘方法，其特征在于，所述文章相似度挖掘方法还包括：在步骤S14前，将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库。
5.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S2中TF-IDF权重的计算公式如下：
其中，
表示第t个特征词的归一化词频权重；
表示第t个特征词的归一化逆向文件频率权重；
ct表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，dt表示含有第t个特征词的文章篇数，α为常数，α取值为0～1。
6.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S4中计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法。
7.如权利要求1所述的文章相似度挖掘方法，其特征在于，步骤S4还包括将所述特征向量及计算出的相似度存储于大数据平台，所述文章相似度挖掘方法还包括：
S5、当接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章；
S6、根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列；
S7、从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，当所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章，然后将所述推荐文章按所述预设推荐数量向所述用户推荐和展示。
8.如权利要求7所述的文章相似度挖掘方法，其特征在于，所述文章相似度挖掘方法还包括：在步骤S7前，记录所述用户的偏好主题，将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中。
9.如权利要求1所述的文章相似度挖掘方法，其特征在于，所述文章相似度挖掘方法还包括：
根据配置参数，将新增文章按步骤S1–S4处理后衔接更新到大数据平台。
10.一种文章相似度挖掘系统，其特征在于，包括文章表示模块和相似度计算模块，所述文章表示模块包括文本预处理单元、特征词提取单元、向量权重计算单元和文章向量化单元；
所述文本预处理单元用于对多篇文章进行预处理；
所述特征词提取单元用于获取每篇文章的特征词；
所述向量权重计算单元用于基于TF-IDF计算所述特征词的TF-IDF权重；
所述文章向量化单元用于根据所述TF-IDF权重生成每篇文章的归一化的特征向量；
所述相似度计算模块用于计算任意两个所述特征向量的相似度。
11.如权利要求10所述的文章相似度挖掘系统，其特征在于，所述文本预处理单元包括读取子单元、清洗子单元、分词子单元和去停用词子单元；
所述读取子单元用于读取多篇文章；
所述清洗子单元用于清洗已读取的所述文章；
所述分词子单元用于基于分词词库对已清洗的所述文章进行分词；
所述去停用词子单元用于基于停用词词库对已分词的所述文章去停用词；
所述特征词提取单元用于基于特征词词库对已去停用词的所述文章进行特征词提取。
12.如权利要求11所述的文章相似度挖掘系统，其特征在于，所述分词子单元包括隐马尔可夫模型，所述隐马尔可夫模型用于基于分词词库对已清洗的所述文章进行分布式分词。
13.如权利要求11所述的文章相似度挖掘系统，其特征在于，所述文章表示模块还包括词库更新单元，所述词库更新单元用于在执行所述特征词提取单元前，将IDF值大于预设权重阈值的词和/或将自定义词作为特征词，并更新到所述特征词词库。
14.如权利要求10所述的文章相似度挖掘系统，其特征在于，所述向量权重计算单元中用于计算TF-IDF权重的公式如下：
其中，
表示第t个特征词的归一化词频权重；
表示第t个特征词的归一化逆向文件频率权重；
ct表示第t个特征词的词频，表示n篇文章中所有特征词的总词频，n表示文章总篇数，dt表示含有第t个特征词的文章篇数，α为常数，α取值为0～1。
15.如权利要求10所述的文章相似度挖掘系统，其特征在于，所述相似度计算模块中用于计算任意两个所述特征向量的相似度的方法包括余弦内积、Pearson相似系数、Jaccard相似系数和余弦相似度中的任意一种方法。
16.如权利要求10所述的文章相似度挖掘系统，其特征在于，所述文章相似度挖掘系统还包括结果处理模块，所述结果处理模块包括结果整合单元、相似文章分析单元和推荐展示单元；
所述结果整合单元用于将所述特征向量及计算出的相似度存储于大数据平台；
所述相似文章分析单元用于在接收到用户请求目标文章时，从所述大数据平台中获取所述目标文章，还用于根据所述目标文章与所述大数据平台中其他文章之间的相似度按相似度从高到低排序形成所述用户的推荐文章队列，还用于从所述推荐文章队列中提取相似度大于预设相似度阈值的文章作为推荐文章，并在所述推荐文章的数量小于预设推荐数量时，还从与所述用户上一次点击的文章的相似度大于所述预设相似度阈值的文章中按相似度从高到低提取文章追加为所述推荐文章；
所述推荐展示单元用于将所述相似文章分析单元输出的所述推荐文章按所述预设推荐数量向所述用户推荐和展示。
17.如权利要求16所述的文章相似度挖掘系统，其特征在于，所述相似文章分析单元还用于记录所述用户的偏好主题，并将与所述偏好主题的文章的相似度大于所述预设相似度阈值的文章按相似度从高到低更新到所述推荐文章队列中。
18.如权利要求10所述的文章相似度挖掘系统，其特征在于，所述文章相似度挖掘系统还包括大数据平台模块，所述大数据平台模块包括参数配置单元和衔接管理单元；
所述参数配置单元用于配置大数据平台的运行参数；
所述衔接管理单元用于将新增文章经所述文章表示模块和所述相似度计算模块处理后衔接更新到大数据平台。
19.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的文章相似度挖掘方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的文章相似度挖掘方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711385538.9A CN109948121A (zh) | 2017-12-20 | 2017-12-20 | 文章相似度挖掘方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711385538.9A CN109948121A (zh) | 2017-12-20 | 2017-12-20 | 文章相似度挖掘方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109948121A true CN109948121A (zh) | 2019-06-28 |
Family
ID=67004274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711385538.9A Pending CN109948121A (zh) | 2017-12-20 | 2017-12-20 | 文章相似度挖掘方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109948121A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334356A (zh) * | 2019-07-15 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 文章质量的确定方法、文章筛选方法、以及相应的装置 |
| CN110457699A (zh) * | 2019-08-06 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种停用词挖掘方法、装置、电子设备及存储介质 |
| CN110727784A (zh) * | 2019-09-05 | 2020-01-24 | 上海异势信息科技有限公司 | 基于内容的文章推荐方法及系统 |
| CN110727786A (zh) * | 2019-09-12 | 2020-01-24 | 武汉儒松科技有限公司 | 自学习的知识库管理方法、装置、终端设备及存储介质 |
| CN110909132A (zh) * | 2019-11-30 | 2020-03-24 | 南京森林警察学院 | 一种基于语义分析的警务学习内容分析划归方法 |
| CN110956031A (zh) * | 2019-11-13 | 2020-04-03 | 广州供电局有限公司 | 文本相似度匹配的方法、装置及系统 |
| CN111241239A (zh) * | 2020-01-07 | 2020-06-05 | 科大讯飞股份有限公司 | 重题检测方法、相关设备及可读存储介质 |
| CN111444320A (zh) * | 2020-06-16 | 2020-07-24 | 太平金融科技服务（上海）有限公司 | 文本检索方法、装置、计算机设备和存储介质 |
| CN111460243A (zh) * | 2020-03-27 | 2020-07-28 | 上海携程商务有限公司 | 景点名称文本相似性检测方法、系统、设备及存储介质 |
| CN112257419A (zh) * | 2020-11-06 | 2021-01-22 | 开普云信息科技股份有限公司 | 一种基于词频和语义计算专利文献相似度的智能检索方法、装置、电子设备及其存储介质 |
| CN112527971A (zh) * | 2020-12-25 | 2021-03-19 | 华戎信息产业有限公司 | 一种相似文章的检索方法和系统 |
| CN112579908A (zh) * | 2020-12-28 | 2021-03-30 | 济南大象信息技术有限公司 | 一种网站文章自定义推荐方法 |
| CN112711650A (zh) * | 2019-10-24 | 2021-04-27 | 富驰律法(北京)科技有限公司 | 一种公益诉讼线索挖掘方法及系统 |
| CN112784042A (zh) * | 2021-01-12 | 2021-05-11 | 北京明略软件系统有限公司 | 结合文章结构与聚合词向量的文本相似度计算方法及系统 |
| CN113688954A (zh) * | 2021-10-25 | 2021-11-23 | 苏州浪潮智能科技有限公司 | 一种计算文本相似度的方法、系统、设备和存储介质 |
| CN113780449A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技（深圳）有限公司 | 文本相似度的计算方法、装置、存储介质及计算机设备 |
| CN115329051A (zh) * | 2022-10-17 | 2022-11-11 | 成都大学 | 一种多视角新闻信息快速检索方法、系统、存储介质及终端 |
| CN115878764A (zh) * | 2022-03-07 | 2023-03-31 | 北京中关村科金技术有限公司 | 语音回访问卷调查方法及系统、计算设备、存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012194690A (ja) * | 2011-03-15 | 2012-10-11 | Ntt Comware Corp | 特徴量算出装置、文書類似度算出装置、特徴量算出方法およびプログラム |
| CN103207899A (zh) * | 2013-03-19 | 2013-07-17 | 新浪网技术(中国)有限公司 | 文本文件推荐方法及系统 |
| CN106095737A (zh) * | 2016-06-07 | 2016-11-09 | 杭州凡闻科技有限公司 | 文档相似度计算方法及相似文档全网检索跟踪方法 |
-
2017
- 2017-12-20 CN CN201711385538.9A patent/CN109948121A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012194690A (ja) * | 2011-03-15 | 2012-10-11 | Ntt Comware Corp | 特徴量算出装置、文書類似度算出装置、特徴量算出方法およびプログラム |
| CN103207899A (zh) * | 2013-03-19 | 2013-07-17 | 新浪网技术(中国)有限公司 | 文本文件推荐方法及系统 |
| CN106095737A (zh) * | 2016-06-07 | 2016-11-09 | 杭州凡闻科技有限公司 | 文档相似度计算方法及相似文档全网检索跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨新武；李森；刘椿年: "基于BP网络的中文文本分类技术", 《微计算机应用》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334356A (zh) * | 2019-07-15 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 文章质量的确定方法、文章筛选方法、以及相应的装置 |
| CN110334356B (zh) * | 2019-07-15 | 2023-08-04 | 腾讯科技（深圳）有限公司 | 文章质量的确定方法、文章筛选方法、以及相应的装置 |
| CN110457699A (zh) * | 2019-08-06 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种停用词挖掘方法、装置、电子设备及存储介质 |
| CN110457699B (zh) * | 2019-08-06 | 2023-07-04 | 腾讯科技（深圳）有限公司 | 一种停用词挖掘方法、装置、电子设备及存储介质 |
| CN110727784A (zh) * | 2019-09-05 | 2020-01-24 | 上海异势信息科技有限公司 | 基于内容的文章推荐方法及系统 |
| CN110727784B (zh) * | 2019-09-05 | 2023-11-10 | 上海异势信息科技有限公司 | 基于内容的文章推荐方法及系统 |
| CN110727786A (zh) * | 2019-09-12 | 2020-01-24 | 武汉儒松科技有限公司 | 自学习的知识库管理方法、装置、终端设备及存储介质 |
| CN112711650A (zh) * | 2019-10-24 | 2021-04-27 | 富驰律法(北京)科技有限公司 | 一种公益诉讼线索挖掘方法及系统 |
| CN112711650B (zh) * | 2019-10-24 | 2024-04-12 | 富驰律法(北京)科技有限公司 | 一种公益诉讼线索挖掘方法及系统 |
| CN110956031A (zh) * | 2019-11-13 | 2020-04-03 | 广州供电局有限公司 | 文本相似度匹配的方法、装置及系统 |
| CN110909132A (zh) * | 2019-11-30 | 2020-03-24 | 南京森林警察学院 | 一种基于语义分析的警务学习内容分析划归方法 |
| CN110909132B (zh) * | 2019-11-30 | 2023-10-20 | 南京森林警察学院 | 一种基于语义分析的警务学习内容分析划归方法 |
| CN111241239A (zh) * | 2020-01-07 | 2020-06-05 | 科大讯飞股份有限公司 | 重题检测方法、相关设备及可读存储介质 |
| CN111241239B (zh) * | 2020-01-07 | 2022-12-02 | 科大讯飞股份有限公司 | 重题检测方法、相关设备及可读存储介质 |
| CN111460243A (zh) * | 2020-03-27 | 2020-07-28 | 上海携程商务有限公司 | 景点名称文本相似性检测方法、系统、设备及存储介质 |
| CN111444320A (zh) * | 2020-06-16 | 2020-07-24 | 太平金融科技服务（上海）有限公司 | 文本检索方法、装置、计算机设备和存储介质 |
| CN112257419A (zh) * | 2020-11-06 | 2021-01-22 | 开普云信息科技股份有限公司 | 一种基于词频和语义计算专利文献相似度的智能检索方法、装置、电子设备及其存储介质 |
| CN112527971A (zh) * | 2020-12-25 | 2021-03-19 | 华戎信息产业有限公司 | 一种相似文章的检索方法和系统 |
| CN112579908A (zh) * | 2020-12-28 | 2021-03-30 | 济南大象信息技术有限公司 | 一种网站文章自定义推荐方法 |
| CN112784042A (zh) * | 2021-01-12 | 2021-05-11 | 北京明略软件系统有限公司 | 结合文章结构与聚合词向量的文本相似度计算方法及系统 |
| CN113780449B (zh) * | 2021-09-16 | 2023-08-25 | 平安科技（深圳）有限公司 | 文本相似度的计算方法、装置、存储介质及计算机设备 |
| CN113780449A (zh) * | 2021-09-16 | 2021-12-10 | 平安科技（深圳）有限公司 | 文本相似度的计算方法、装置、存储介质及计算机设备 |
| CN113688954A (zh) * | 2021-10-25 | 2021-11-23 | 苏州浪潮智能科技有限公司 | 一种计算文本相似度的方法、系统、设备和存储介质 |
| CN115878764B (zh) * | 2022-03-07 | 2023-08-11 | 北京中关村科金技术有限公司 | 语音回访问卷调查方法及系统、计算设备、存储介质 |
| CN115878764A (zh) * | 2022-03-07 | 2023-03-31 | 北京中关村科金技术有限公司 | 语音回访问卷调查方法及系统、计算设备、存储介质 |
| CN115329051B (zh) * | 2022-10-17 | 2022-12-20 | 成都大学 | 一种多视角新闻信息快速检索方法、系统、存储介质及终端 |
| CN115329051A (zh) * | 2022-10-17 | 2022-11-11 | 成都大学 | 一种多视角新闻信息快速检索方法、系统、存储介质及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948121A (zh) | 文章相似度挖掘方法、系统、设备及存储介质 | |
| CN109189942B (zh) | 一种专利数据知识图谱的构建方法及装置 | |
| CN106874292B (zh) | 话题处理方法及装置 | |
| US20140207782A1 (en) | System and method for computerized semantic processing of electronic documents including themes | |
| CN104199833B (zh) | 一种网络搜索词的聚类方法和聚类装置 | |
| CN104881458B (zh) | 一种网页主题的标注方法和装置 | |
| CN107506389B (zh) | 一种提取职位技能需求的方法和装置 | |
| CN111104526A (zh) | 一种基于关键词语义的金融标签提取方法及系统 | |
| CN104077407B (zh) | 一种智能数据搜索系统及方法 | |
| CN108269122B (zh) | 广告的相似度处理方法和装置 | |
| CN103778205A (zh) | 一种基于互信息的商品分类方法和系统 | |
| CN112148881B (zh) | 用于输出信息的方法和装置 | |
| CN103838756A (zh) | 一种确定推送信息的方法及装置 | |
| WO2020233344A1 (zh) | 一种搜索方法、装置及存储介质 | |
| CN107908616B (zh) | 预测趋势词的方法和装置 | |
| CN104077417A (zh) | 社交网络中的人物标签推荐方法和系统 | |
| CN110807086B (zh) | 文本数据标注方法及装置、存储介质、电子设备 | |
| CN110209875B (zh) | 用户内容画像确定方法、访问对象推荐方法和相关装置 | |
| CN108509490B (zh) | 一种网络热点话题发现方法及系统 | |
| CN112818230B (zh) | 内容推荐方法、装置、电子设备和存储介质 | |
| CN107239564A (zh) | 一种基于监督主题模型的文本标签推荐方法 | |
| CN110795613B (zh) | 商品搜索方法、装置、系统及电子设备 | |
| CN110008473A (zh) | 一种基于迭代方法的医疗文本命名实体识别标注方法 | |
| CN116049379A (zh) | 知识推荐方法、装置、电子设备和存储介质 | |
| CN104077288B (zh) | 网页内容推荐方法和网页内容推荐设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |