CN111241824B - 一种用于中文隐喻信息识别的方法 - Google Patents

一种用于中文隐喻信息识别的方法 Download PDF

Info

Publication number
CN111241824B
CN111241824B CN202010023217.XA CN202010023217A CN111241824B CN 111241824 B CN111241824 B CN 111241824B CN 202010023217 A CN202010023217 A CN 202010023217A CN 111241824 B CN111241824 B CN 111241824B
Authority
CN
China
Prior art keywords
word
text
metaphor
initial data
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010023217.XA
Other languages
English (en)
Other versions
CN111241824A (zh
Inventor
张欢
王礼鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinaso Information Technology Co ltd
Original Assignee
Chinaso Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinaso Information Technology Co ltd filed Critical Chinaso Information Technology Co ltd
Priority to CN202010023217.XA priority Critical patent/CN111241824B/zh
Publication of CN111241824A publication Critical patent/CN111241824A/zh
Application granted granted Critical
Publication of CN111241824B publication Critical patent/CN111241824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种用于中文隐喻信息识别的方法，包括，S1、对互联网上文本信息组成的初始数据集进行分类提取关键词，根据隐喻词的规律自动生成不同类别的隐喻词字典；S2、对初始数据集中的第一个文本进行特征提取，并进行初步识别；S3、将提取的特征作为卷积神经网络的输入特征，对初始数据集中的第一个文本进行隐喻信息识别，获取第一个文本的最终识别结果；S4、重复步骤S2和S3，遍历初始数据集中所有的文本，获取所有文本的最终识别结果，将其组成隐喻词集，并用其对字典集中的字典进行更新、修正和去除冗余。优点是：利用三级判断，一方面对于明显的隐喻词快速判断，得出识别结果；另一方面增大召回，从而减少新生隐喻词的漏检和识别的错误。

Description

一种用于中文隐喻信息识别的方法
技术领域
本发明涉及隐喻信息识别领域，尤其涉及一种用于中文隐喻信息识别的方法。
背景技术
近年来，随着互联网的日益蓬勃发展，网络信息安全，尤其是其中的内容安全，得到了越来越广泛的关注。网络平台为有害信息提供了平台，大量的敏感有害信息通过网络平台进行传播扩散，严重危害了网络信息安全。针对危害网络内容安全的行为研究越来越多，已经成为新的研究热点。为了逃避相关的安全审查和过滤检测，隐喻词成为利用自然语言处理技术来传播有害敏感信息的手段，隐喻词就是将安全审查和过滤检测技术敏感的词语用谐音词、拼音缩写等代替，一方面不影响正常理解，一方面又可以逃过检查。因为此对隐喻词的识别和挖掘至关重要。如何在海量的信息数据中，快速地准确地判断文本是否含有隐喻词并且获得伪装性的隐喻词在内容安全领域一直是极具挑战性的问题，涉及自然语言处理、数据挖掘、机器学习等多个学科的技术和方法。
现有的技术文献中，一般是基于字符串匹配的分词方法和基于统计的分词方法，对于已收录词库的词语分词结果误差较小，但对于一些新词效果不是很好，导致中文隐喻信息识别错误，进一步导致隐喻词的挖掘失败。
发明内容
本发明的目的在于提供一种用于中文隐喻信息识别的方法，从而解决现有技术中存在的前述问题。
为了实现上述目的，本发明采用的技术方案如下：
一种用于中文隐喻信息识别的方法，所述方法包括如下步骤，
S1、对互联网上的文本信息组成的初始数据集进行分类提取关键词，并根据隐喻词的规律自动生成不同类别的隐喻词字典；
S2、对初始数据集中的第一个文本进行特征提取，并根据提取的特征进行初步识别；
S3、步骤S2识别失败后，将步骤S2中提取的特征作为卷积神经网络的输入特征，对初始数据集中的第一个文本进行隐喻信息识别，获取第一个文本的最终识别结果；
S4、重复步骤S2和S3，遍历所述初始数据集中所有的文本，获取所有文本的最终识别结果，并将其组成隐喻词集，使用隐喻词集对字典集中的字典进行更新、修正和去除冗余。
优选的，步骤S1具体包括如下内容，
S11、利用爬虫爬取新闻、微博、博客、水木社区以及视频网站弹幕中的文本信息作为初始数据集，所述初始数据集为S0＝{s1,s2,…sN}；
其中，si为所述初始数据集中的第i个文本，i＝1,2,…N；N为所述初始数据集中的文本总数；
S12、利用GBDT方法对文本进行分类，获取新闻类、BBS类、小说类和微博博客类；利用TF-IDF的特征结合命名实体识别和词性识别，从各个类中的文本里提取到不同内容类别方面相关的候选词；通过分析隐喻词的规律，根据汉语拼音缩写、英文缩写、语音替换、谐音替换、汉字的拆解和英文替换的方法由计算机根据候选词自动生成一批隐喻词，形成字典集，所述字典集为D0＝[d1,d2,d3,d4]，
其中，d1为新闻类字典，d2为BBS类字典，d3为小说类字典，d4为微博博客类字典。
优选的，步骤S2具体包括如下内容，
S21、对初始数据集中的第一个文本进行分类，并记录其分类类型，作为第一特征值，所述第一特征值表示为f1；
S22、对初始数据集中的第一个文本进行分词，记录每个词的词性信息，并计算每个词与字典集中词的语音相似度、字形相似度，对所述词性信息、语音相似度和字形相似度进行加权求和，判断求和结果与第一设定阈值的大小关系，若求和结果大于或等于第一设定阈值，则将该词判定为隐喻词；若求和结果小于第一设定阈值，则记录该词的词性信息为第二特征值、语音相似度为第三特征值、字形相似度为第四特征值，并执行步骤S23；所述第二特征值、第三特征值和第四特征值分别表示为f2、f3、f4；
S23、对初始数据集中的第一个文本进行分割切词，并使用word2vec模型训练切词结果，获取目标词以及与该所述目标词在同一句子中的多个上下文单词，在语义词库中查找目标词的同义词、反义词、直接上位词和直接下位词，并将这些词以及他们的变形作为候选单词集；计算上下文单词与候选单词集中每个词的相似度，并将相似度最高的词作为最合适的候选目标词，计算目标词和候选目标词的余弦相似度，若计算结果小于第二设定阈值，则认为目标单词为隐喻词；若计算结果大于或等于第二设定阈值，则将上下文单词的向量作为第五特征值，并执行步骤S3；所述第五特征值表示为f5。
优选的，步骤S23中，对初始数据集中的第一个文本进行分割切词具体为，依据符号“。”、“？”和“！”，按照句子对初始数据集中的第一个文本进行分割，并在分割完成后对每个句子进行切词。
优选的，步骤S23中，所述上下文单词至少为10个；若不足10个，则选取上下句中近邻的词作为上下文单词。
优选的，步骤S23中，在计算上下文单词与候选单词集中每个词的相似度时，上下文单词由上下文单词的词向量均值表示。
优选的，步骤S23中，当计算结果小于第二设定阈值，则认为目标单词为隐喻词，且所述目标单词的隐喻意思的同义词为候选目标词。
优选的，S3具体为，将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值作为特征集，所述特征集表示为F＝[f1,f2,f3,f4,f5]，将所述特征集作为卷积神经网络卷积层的输入特征，对所述初始数据集中的第一文本进行进一步的隐喻信息识别，获取第一文本的最终识别结果。
本发明的有益效果是：1、在对隐喻词进行基本特征提取的基础上，基于CNN的隐喻信息识别，最终判断中文信息是否含有隐喻词，并获得相应的隐喻关键词，同时可以挖掘文中含有的隐喻关键词。2、针对隐喻词的识别，生成了相应的候选字典，利用三级判断，一方面对于明显的隐喻词快速判断，快速得出识别结果；另一方面增大召回，从而减少新生隐喻词的漏检，减少识别的错误。3、生成的隐喻词集可以对字典进行周期性的更新、修正、去除冗余。
附图说明
图1是本发明实施例中所述方法的原理流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本实施例中提供了一种用于中文隐喻信息识别的方法，所述方法包括如下步骤，
一种用于中文隐喻信息识别的方法，所述方法包括如下步骤，
S1、对互联网上的文本信息组成的初始数据集进行分类提取关键词，并根据隐喻词的规律由计算机自动生成不同类别的隐喻词字典；具体为，获取互联网上的文本信息作为初始数据集，对所述初始数据集进行分类获取字典集，所述字典集中包括新闻类字典、BBS类字典、小说类字典和微博博客类字典。
S2、对初始数据集中的第一个文本进行特征提取，并根据提取的特征进行初步识别；具体为，对初始数据集中的第一个文本，根据预训练的word2vec模型获得其上下文的词向量，及其上位词、同义词的词向量作为特征，并根据这些特征进行初步的识别；
S3、步骤S2识别失败后，将步骤S2中提取的特征作为卷积神经网络的输入特征，对初始数据集中的第一个文本进行隐喻信息识别，获取第一个文本的最终识别结果；
S4、重复步骤S2和S3，遍历所述初始数据集中所有的文本，获取所有文本的最终识别结果，并将其组成隐喻词集，使用隐喻词集对字典集中的字典进行更新、修正和去除冗余。
本实施例中，步骤S1具体包括如下内容，
S11、利用爬虫爬取新闻、微博、博客、水木社区以及各大视频网站弹幕中的文本信息作为初始数据集，所述初始数据集为S0＝{s1,s2,…sN}；
其中，si为所述初始数据集中的第i个文本，i＝1,2,…N；N为所述初始数据集中的文本总数；
S12、利用GBDT方法对文本进行分类，获取新闻类、BBS类、小说类和微博博客类；利用TF-IDF的特征结合命名实体识别和词性识别，从各个类中的文本里提取到不同内容类别方面相关的候选词；通过分析隐喻词的规律，根据汉语拼音缩写、英文缩写、语音替换、谐音替换、汉字的拆解和英文替换等的方法由计算机根据候选词自动生成一批隐喻词，形成字典集，所述字典集为D0＝[d1,d2,d3,d4]，
其中，d1为新闻类字典，d2为BBS类字典，d3为小说类字典，d4为微博博客类字典。字典中每行由关键词和生成权重组成。
本实施例中，步骤S2具体包括如下内容，
S21、使用支持向量机分类器对初始数据集中的第一个文本进行分类，并记录其分类类型，作为第一特征值，所述第一特征值表示为f1；
S22、对初始数据集中的第一个文本进行分词，记录每个词的词性信息，并计算每个词与字典集中词的语音相似度、字形相似度，对所述词性信息、语音相似度和字形相似度进行加权求和，判断求和结果与第一设定阈值的大小关系，若求和结果大于或等于第一设定阈值，则将该词判定为隐喻词；若求和结果小于第一设定阈值，则记录该词的词性信息为第二特征值、语音相似度为第三特征值、字形相似度为第四特征值，并执行步骤S23；所述第二特征值、第三特征值和第四特征值分别表示为f2、f3、f4；
S23、对初始数据集中的第一个文本进行分割切词，并使用word2vec模型训练切词结果，获取目标词以及与该所述目标词在同一句子中的多个上下文单词，在语义词库中查找目标词的同义词、反义词、直接上位词和直接下位词，并将这些词以及他们的变形作为候选单词集；计算上下文单词与候选单词集中每个词的相似度，并将相似度最高的词作为最合适的候选目标词，计算目标词和候选目标词的余弦相似度，若计算结果小于第二设定阈值，则认为目标单词为隐喻词；若计算结果大于或等于第二设定阈值，则将上下文单词的向量作为第五特征值，并执行步骤S3；所述第五特征值表示为f5。
步骤S23中，对初始数据集中的第一个文本进行分割切词具体为，依据符号“。”、“？”和“！”，按照句子对初始数据集中的第一个文本进行分割，并在分割完成后对每个句子进行切词。
步骤S23中，所述上下文单词至少为10个；若不足10个，则选取上下句中近邻的词作为上下文单词。
步骤S23中，在计算上下文单词与候选单词集中每个词的相似度时，上下文单词由上下文单词的词向量均值表示。
本实施例中，对文本s1(第一个文本)进行分词，按照“。”，“？”，“！”等符号以句子为单位分割原文，分割后对各个句子进行切词，获取切词结果，使用百科语料训练的word2vec模型，对切词结果进行训练，得到目标词Wt和该目标词Wt同一句子中的上下文单词Wc1、Wc2,…WcM，上下文单词至少为10个，若不足，选取上下句中近邻的词。根据CSC中文语义词库，查找目标词的同义词、反义词、直接上位词和直接下位词，将这些同义词、反义词、直接上位词和直接下位词以及他们的变形作为候选单词集W。计算上下文单词和候选单词集中每个词的相似度，并找出相似度最高的词作为最合适的候选目标词W*，上下文单词由上下文单词词向量的均值表示。计算实际目标词Wt和最合适的候选目标词W*的余弦相似度，如果相似度小于第二设定阈值，则认为目标单词Wt是有隐喻信息的，并且隐喻意思的同义词为W*。如果相似度大于或等于第二设定阈值，则将上下文单词词向量作为第五特征值f5＝[c1,c2,…cM]T，其中M为特征向量维数，M取值为300。也就是说，第五特征值是300维的词向量。
本实施例中，将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值作为特征集，所述特征集表示为F＝[f1,f2,f3,f4,f5]，将所述特征集作为卷积神经网络卷积层的输入特征，对所述初始数据集中的第一文本进行进一步的隐喻信息识别，获取第一文本的最终识别结果。
本实施例中，基于卷积神经网络对第一文本进行识别，需要经过5层网络，每层都由3x3的卷积、BN、RELU组成，经过全局的平均池化层和全连接层，最后通过softmax层的判断，输出对相应的目标词的判断结果，进一步得到中文隐喻信息的识别结果，也就是最终的识别结果。具体如下表所示。
Figure GDA0002719374520000061
Figure GDA0002719374520000071
本实施例中，重复步骤S2和S3，以遍历初始数据集S0中的所有文本，可以得到所有相关的隐喻词集D0 *，利用隐喻词集对字典D0进行更新、修正、去除冗余。初始数据集中的所有文本通过步骤S2和步骤S3后生成的结果均被记录，并在一定周期后用来对字典D0进行更新、修正、去除冗余。
本实施例中，在对隐喻词进行基本特征提取的基础上，基于CNN的隐喻信息识别，最终判断中文信息是否含有隐喻词，并获得相应的隐喻关键词。针对隐喻词的识别，生成了相应的候选字典，利用三级判断，增大召回，从而减少新生隐喻词的漏检。第一级是与字典中各词在词性、语音相似度、字形相似度进行加权求和判断是否是隐喻词，否则进入第二级判断；第二级主要是根据目标词的上下文的词向量，在CSC中文语义词库中目标词的同义词、反义词、直接上位词、下位词中选取分值最高的作为隐喻词同义词，比较同义词和目标词的余弦相似度，小于设定阈值则判断为隐喻词，否则进入第三级判断；第三级判断为前两级提取的特征，结合文本的分类结果，通过CNN判断得到文中的隐喻关键词，进一步得到中文隐喻信息的识别结果。
通过采用本发明公开的上述技术方案，得到了如下有益的效果：
本发明提供了一种用于中文隐喻信息识别的方法，所述方法在对隐喻词进行基本特征提取的基础上，基于CNN的隐喻信息识别，最终判断中文信息是否含有隐喻词，并获得相应的隐喻关键词，同时可以挖掘文中含有的隐喻关键词。针对隐喻词的识别，生成了相应的候选字典，利用三级判断，一方面对于明显的隐喻词快速判断，快速得出识别结果；另一方面增大召回，从而减少新生隐喻词的漏检，减少识别的错误。本方法中生成的隐喻词集可以对字典进行周期性的更新、修正、去除冗余。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (6)

1.一种用于中文隐喻信息识别的方法，其特征在于：所述方法包括如下步骤，
S1、对互联网上的文本信息组成的初始数据集进行分类提取关键词，并根据隐喻词的规律自动生成不同类别的隐喻词字典；
S2、对初始数据集中的第一个文本进行特征提取，并根据提取的特征进行初步识别；
S3、步骤S2识别失败后，将步骤S2中提取的特征作为卷积神经网络的输入特征，对初始数据集中的第一个文本进行隐喻信息识别，获取第一个文本的最终识别结果；
S4、重复步骤S2和S3，遍历所述初始数据集中所有的文本，获取所有文本的最终识别结果，并将其组成隐喻词集，使用隐喻词集对字典集中的字典进行更新、修正和去除冗余；
步骤S1具体包括如下内容，
S11、利用爬虫爬取新闻、微博、博客、水木社区以及视频网站弹幕中的文本信息作为初始数据集，所述初始数据集为S0＝{s1,s2,…sN}；
其中，si为所述初始数据集中的第i个文本，i＝1,2,…N；N为所述初始数据集中的文本总数；
S12、利用GBDT方法对文本进行分类，获取新闻类、BBS类、小说类和微博博客类；利用TF-IDF的特征结合命名实体识别和词性识别，从各个类中的文本里提取到不同内容类别方面相关的候选词；通过分析隐喻词的规律，根据汉语拼音缩写、英文缩写、语音替换、谐音替换、汉字的拆解和英文替换的方法由计算机根据候选词自动生成一批隐喻词，形成字典集，所述字典集为D0＝[d1,d2,d3,d4]，
其中，d1为新闻类字典，d2为BBS类字典，d3为小说类字典，d4为微博博客类字典；
步骤S2具体包括如下内容，
S21、对初始数据集中的第一个文本进行分类，并记录其分类类型，作为第一特征值，所述第一特征值表示为f1；
S22、对初始数据集中的第一个文本进行分词，记录每个词的词性信息，并计算每个词与字典集中词的语音相似度、字形相似度，对所述词性信息、语音相似度和字形相似度进行加权求和，判断求和结果与第一设定阈值的大小关系，若求和结果大于或等于第一设定阈值，则将该词判定为隐喻词；若求和结果小于第一设定阈值，则记录该词的词性信息为第二特征值、语音相似度为第三特征值、字形相似度为第四特征值，并执行步骤S23；所述第二特征值、第三特征值和第四特征值分别表示为f2、f3、f4；
S23、对初始数据集中的第一个文本进行分割切词，并使用word2vec模型训练切词结果，获取目标词以及与该所述目标词在同一句子中的多个上下文单词，在语义词库中查找目标词的同义词、反义词、直接上位词和直接下位词，并将这些词以及他们的变形作为候选单词集；计算上下文单词与候选单词集中每个词的相似度，并将相似度最高的词作为最合适的候选目标词，计算目标词和候选目标词的余弦相似度，若计算结果小于第二设定阈值，则认为目标单词为隐喻词；若计算结果大于或等于第二设定阈值，则将上下文单词的向量作为第五特征值，并执行步骤S3；所述第五特征值表示为f5。
2.根据权利要求1所述的用于中文隐喻信息识别的方法，其特征在于：步骤S23中，对初始数据集中的第一个文本进行分割切词具体为，依据符号“。”、“？”和“！”，按照句子对初始数据集中的第一个文本进行分割，并在分割完成后对每个句子进行切词。
3.根据权利要求2所述的用于中文隐喻信息识别的方法，其特征在于：步骤S23中，所述上下文单词至少为10个；若不足10个，则选取上下句中近邻的词作为上下文单词。
4.根据权利要求3所述的用于中文隐喻信息识别的方法，其特征在于：步骤S23中，在计算上下文单词与候选单词集中每个词的相似度时，上下文单词由上下文单词的词向量均值表示。
5.根据权利要求4所述的用于中文隐喻信息识别的方法，其特征在于：步骤S23中，当计算结果小于第二设定阈值，则认为目标单词为隐喻词，且所述目标单词的隐喻意思的同义词为候选目标词。
6.根据权利要求5所述的用于中文隐喻信息识别的方法，其特征在于：步骤S3具体为，将第一特征值、第二特征值、第三特征值、第四特征值和第五特征值作为特征集，所述特征集表示为F＝[f1,f2,f3,f4,f5]，将所述特征集作为卷积神经网络卷积层的输入特征，对所述初始数据集中的第一文本进行进一步的隐喻信息识别，获取第一文本的最终识别结果。
CN202010023217.XA 2020-01-09 2020-01-09 一种用于中文隐喻信息识别的方法 Active CN111241824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010023217.XA CN111241824B (zh) 2020-01-09 2020-01-09 一种用于中文隐喻信息识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010023217.XA CN111241824B (zh) 2020-01-09 2020-01-09 一种用于中文隐喻信息识别的方法

Publications (2)

Publication Number Publication Date
CN111241824A CN111241824A (zh) 2020-06-05
CN111241824B true CN111241824B (zh) 2020-11-24

Family

ID=70866800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023217.XA Active CN111241824B (zh) 2020-01-09 2020-01-09 一种用于中文隐喻信息识别的方法

Country Status (1)

Country Link
CN (1) CN111241824B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035759A (zh) * 2020-09-02 2020-12-04 胡煜昊 英文新闻媒体报道的假新闻检测方法
CN113641816A (zh) * 2021-08-20 2021-11-12 安徽淘云科技股份有限公司 一种信息显示方法、装置、存储介质及设备
CN114970554B (zh) * 2022-08-02 2022-10-21 国网浙江省电力有限公司宁波供电公司 一种基于自然语言处理的文档校验方法
CN116226332B (zh) * 2023-02-24 2024-02-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543084A (zh) * 2018-11-09 2019-03-29 西安交通大学 一种建立面向网络社交媒体的隐蔽敏感文本的检测模型的方法
CN110209805A (zh) * 2018-04-26 2019-09-06 腾讯科技（深圳）有限公司 文本分类方法、装置、存储介质和计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107102989B (zh) * 2017-05-24 2020-09-29 南京大学 一种基于词向量、卷积神经网络的实体消歧方法
CN109408642B (zh) * 2018-08-30 2021-07-16 昆明理工大学 一种基于距离监督的领域实体属性关系抽取方法
CN109902179A (zh) * 2019-03-04 2019-06-18 上海宝尊电子商务有限公司 基于自然语言处理的筛选电商垃圾评论的方法
CN110222250B (zh) * 2019-05-16 2021-07-27 中国人民公安大学 一种面向微博的突发事件触发词识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209805A (zh) * 2018-04-26 2019-09-06 腾讯科技（深圳）有限公司 文本分类方法、装置、存储介质和计算机设备
CN109543084A (zh) * 2018-11-09 2019-03-29 西安交通大学 一种建立面向网络社交媒体的隐蔽敏感文本的检测模型的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的文本表示与分类方法研究;闫琰;《中国博士学位论文全文数据库（经济与管理科学辑）》;20141015;第8-25页 *
隐喻自动处理研究进展;贾玉祥;《中文信息学报》;20091130;第23卷(第6期);第46-53页 *

Also Published As

Publication number Publication date
CN111241824A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN110442760B (zh) 一种问答检索系统的同义词挖掘方法及装置
CN111241824B (zh) 一种用于中文隐喻信息识别的方法
US9317498B2 (en) Systems and methods for generating summaries of documents
CN111177365A (zh) 一种基于图模型的无监督自动文摘提取方法
CN109522547B (zh) 基于模式学习的中文同义词迭代抽取方法
CN107577671A (zh) 一种基于多特征融合的主题词提取方法
Yüksel et al. Turkish tweet classification with transformer encoder
WO2018056423A1 (ja) シナリオパッセージ分類器、シナリオ分類器、及びそのためのコンピュータプログラム
CN112507711A (zh) 文本摘要抽取方法及系统
Taradhita et al. Hate Speech Classification in Indonesian Language Tweets by Using Convolutional Neural Network.
Gulati et al. A novel technique for multidocument Hindi text summarization
Fatyanosa et al. Classification method comparison on Indonesian social media sentiment analysis
Rehman et al. User-aware multilingual abusive content detection in social media
Chader et al. Sentiment Analysis for Arabizi: Application to Algerian Dialect.
Jia et al. A Chinese unknown word recognition method for micro-blog short text based on improved FP-growth
Nehar et al. Rational kernels for Arabic root extraction and text classification
Alqahtani et al. Survey of authorship identification tasks on Arabic texts
Akther et al. Compilation, analysis and application of a comprehensive Bangla Corpus KUMono
Rino et al. A comparison of automatic summarizers of texts in Brazilian Portuguese
Al Taawab et al. Transliterated bengali comment classification from social media
Maree et al. Optimizing machine learning-based sentiment analysis accuracy in bilingual sentences via preprocessing techniques.
Prasetyo et al. Hate speech content detection system on Twitter using K-nearest neighbor method
Meena et al. Feature priority based sentence filtering method for extractive automatic text summarization
CN115828854B (zh) 一种基于上下文消歧的高效表格实体链接方法
Fatihin et al. Public Sentiment on User Reviews about Application in Handling COVID-19 using Naive Bayes Method and Support Vector Machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant