CN113987172A - 恶意评论识别方法、装置、系统及计算机可读存储介质 - Google Patents

恶意评论识别方法、装置、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN113987172A
CN113987172A CN202111230714.8A CN202111230714A CN113987172A CN 113987172 A CN113987172 A CN 113987172A CN 202111230714 A CN202111230714 A CN 202111230714A CN 113987172 A CN113987172 A CN 113987172A
Authority
CN
China
Prior art keywords
malicious
comment
text
score
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111230714.8A
Other languages
English (en)
Inventor
葛胜利
魏国富
夏玉明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Data Security Solutions Co Ltd
Original Assignee
Information and Data Security Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Data Security Solutions Co Ltd filed Critical Information and Data Security Solutions Co Ltd
Priority to CN202111230714.8A priority Critical patent/CN113987172A/zh
Publication of CN113987172A publication Critical patent/CN113987172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例公开了一种恶意评论识别方法，获取待检测评论文本、所述待检测评论文本对应的评论用户以及评论对象；使用文本情感分类模型对所述待检测评论文本进行恶意程度评分，得到第一恶意程度评分；识别所述待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；根据所述评论用户的历史评论信息、所述评论对象的历史评论信息，得到第三恶意程度评分；根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分，根据所述恶意评分确定所述待检测评论是否为恶意评论。本发明综合评论文本的多维度特征得到综合的恶意评分，提高了恶意评论识别的准确度。

Description

恶意评论识别方法、装置、系统及计算机可读存储介质
技术领域
本发明涉及恶意评论检测领域，尤其涉及一种恶意评论的识别方法。
背景技术
内容类网站文章的评论中，经常会出现谩骂评论，包括对新闻当事人的辱骂、对小编的问候以及评论回复中对楼主的攻击等，不仅会影响平台的品质，更主要的是会影响用户体验。所以如何减少谩骂评论的出现是一个值得解决的问题。但由于评论数量的量级较大，依靠人工审核并不现实。
现有技术依赖于关键词库来识别恶意评论，也即通过大量人工标注过的文本作为比对集合，当待检测评论中的某词语或某个文字与标注过的标注过的文本相同，则判断该词语或文字对应的所属的评论为恶意评论。虽然现有技术能够在一定程度上实现恶意评论的检测识别，但由于其匹配规则不够灵活，恶意评论的用户容易通过对敏感词的各种变化绕过该匹配规则，从而降低恶意评论的识别准确率；另外，现有技术中需要大量的文本标注，且需及时更新维护关键词库，识别效率也较低。
针对现有技术中恶意评论识别准确率低、识别效率较低的问题，目前还没有一个有效的解决方法。
发明内容
为解决上述问题，本发明提供一种恶意评论识别方法，装置、系统及计算机可读存储介质，综合三方面的恶意程度评分得到待检测评论的恶意评分，在评分过程中是以评论本身的特征进程打分的，并不依赖于与关键词库中的数据比对，以解决现有技术中恶意评论识别准确率低、识别效率低的问题。
为达到上述目的，本发明提供了一种恶意评论识别方法，该方法包括：获取待检测评论文本、所述待检测评论文本对应的评论用户以及评论对象；使用文本情感分类模型对所述待检测评论文本进行恶意程度评分，得到第一恶意程度评分；识别所述待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；根据所述评论用户的历史评论信息、所述评论对象的历史评论信息，得到第三恶意程度评分；根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分，根据所述恶意评分确定所述待检测评论是否为恶意评论。
进一步可选的，所述使用文本情感分类模型对所述待检测评论文本进行恶意程度评分之前，包括：获取多个样本评论文本，并提取其中被标识为恶意的样本恶意评论文本；在所述样本恶意评论文本中将隐藏敏感文字替换为敏感文字，得到对抗文本；将所述对抗文本与所述样本评论文本输入至神经网络模型进行训练，得到所述文本情感分类模型。
进一步可选的，所述获取多个样本评论文本之后，包括：滤除所述样本评论文本中的特殊符号；对所述样本评论文本中的文本数据进行分词处理；删除所述样本评论文本中的停用词。
进一步可选的，根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分包括：将所述第一恶意程度评分与第一权值的乘积、所述第二恶意程度评分与第二权值的乘积以及所述第三恶意程度评分与第三权值的乘积相加，得到所述待检测评论文本的恶意评分；判断所述恶意评分是否大于预设恶意评分阈值，当所述恶意评分大于所述预设恶意评分阈值时，将所述待检测评论文本判定为恶意评论。
另一方面，本发明还提供了一种恶意评论识别装置，包括：评论信息获取模块，用于获取待检测评论文本、所述待检测评论文本对应的评论用户以及评论对象；第一恶意程度评分确定模块，用于使用文本情感分类模型对所述待检测评论文本进行恶意程度评分，得到第一恶意程度评分；第二恶意程度评分确定模块，用于识别所述待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；第三恶意程度评分确定模块，用于根据所述评论用户的历史评论信息、所述评论对象的历史评论信息，得到第三恶意程度评分；恶意评论判定模块，用于根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分，根据所述恶意评分确定所述待检测评论是否为恶意评论。
进一步可选的，还包括：样本恶意评论文本获取模块，用于获取多个样本评论文本，并提取其中被标识为恶意的样本恶意评论文本；对抗文本生成模块，用于在所述样本恶意评论文本中将隐藏敏感文字替换为敏感文字，得到对抗文本；文本情感分类模型生成模块，用于将所述对抗文本与所述样本评论文本输入至神经网络模型进行训练，得到所述文本情感分类模型。
进一步可选的，该装置还包括：特殊符号过滤模块，用于滤除所述样本评论文本中的特殊符号；分词模块，用于对所述样本评论文本中的文本数据进行分词处理；删除模块，用于删除所述样本评论文本中的停用词。
进一步可选的，所述恶意评论判定模块包括：数据处理子模块，用于将所述第一恶意程度评分与第一权值的乘积、所述第二恶意程度评分与第二权值的乘积以及所述第三恶意程度评分与第三权值的乘积相加，得到所述待检测评论文本的恶意评分；判断子模块，用于判断所述恶意评分是否大于预设恶意评分阈值，当所述恶意评分大于所述预设恶意评分阈值时，将所述待检测评论文本判定为恶意评论。
另一方面，本发明还提供了一种恶意评论识别系统，包括上述的恶意评论识别装置。
另一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的恶意评论识别方法。
上述技术方案具有如下有益效果：通过文本情感分类模型对待检测评论文本标记第一恶意程度评分，是待检测评论文本与敏感文字联系起来；再根据特殊字符数量以及文本长度对待检测评论文本标记第二恶意程度评分；根据历史评论数据对待检测评论文本标记第三恶意程度评分，从而使待检测评论文本根据多维度特征进行评分，使恶意评分更加客观可靠，从而提高恶意评论的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的恶意评论识别方法的流程图；
图2是本发明实施例提供的文本情感分类模型生成方法的流程图；
图3是本发明实施例提供的样本评论文本处理的方法流程图；
图4是本发明实施例提供的待检测评论文本的恶意评分生成方法的流程图；
图5是本发明实施例提供的恶意评论识别装置的结构示意图；
图6是本发明实施例提供的样本恶意评论文本获取模块、对抗文本生成模块以及文本情感分类模型生成模块的结构示意图；
图7是本发明实施例提供的特殊符号过滤模块、分词模块以及删除模块的结构示意图；
图8是本发明实施例提供的恶意评论判定模块的结构示意图。
附图标记：100-评论信息获取模块 200-第一恶意程度评分确定模块 300-第二恶意程度评分确定模块 400-第三恶意程度评分确定模块 500-恶意评论判定模块 5001-数据处理子模块 5002-判断子模块 600-样本恶意评论文本获取模块 700-对抗文本生成模块 800-文本情感分类模型生成模块 900-特殊符号过滤模块 1000-分词模块 1100-删除模块
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为解决现有技术中对恶意评论识别效率低、识别准确度低的问题，本发明提供了一种恶意评论识别方法，图1是本发明实施例提供的恶意评论识别方法的流程图，如图1所示，该方法包括：
S101、获取待检测评论文本、待检测评论文本对应的评论用户以及评论对象；
在数据获取阶段，识别并提取网页上的评论信息，至少应包括评论文本信息，评论用户信息，用户评论对象，账号信息等，并从中提取出每条评论的评论文本、评论用户以及评论对象，作为恶意评论的数据检测基础。
S102、使用文本情感分类模型对待检测评论文本进行恶意程度评分，得到第一恶意程度评分；
由于中文的同音、拟声字等对于传统的规则来说很难识别，常常会因为恶意攻击的用户在文本中增加无意义的、新的字符就绕过规则。若采用传统规则的原始样本集对模型进行训练后得到的识别模型进行恶意评论识别，很难准确的识别这些绕过规则的文本，从而造成漏检影响识别准确率。为避免出现该情况，本实施例中通过在原始样本中增添衍生的对抗样本来训练文本情感分类模型，使最终生成的识别模型能够在攻击对象有意添加干扰字符的情况下，依旧保持较高的识别准确度。
当对待检测评论文本进行检测时，文本情感分类模型会根据评论文本的敏感词汇多少或严重程度对评论文本进行整体打分，以得到待检测评论文本的第一恶意程度评分。
S103、识别待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；
由于在恶意攻击用户发送的恶意评论中，可能存在一些插入进敏感字符中的特殊符号，这些恶意评论与正常评论相比，特殊字符的数量显然更多；另外，用户进行语言文字表达时，其一句话的长度通常在一个规则的范围内，若恶意攻击用户有意添加了多个特殊字符，容易使整句话的长度较正常评论更长。因此，特殊字符的数量以及评论文本的文本长度在一定意义上可以判断所述待检测评论文本的恶意程度，本实施例综合待检测评论文本中的特殊字符个数以及文本长度，对待检测评论文本进行打分，得到第二恶意程度评分。在该过程中，可使用随机森林，SVM，XGboost等算法训练得到恶意干扰分类模型，以方便对评论进行恶意检测。
其中，本实施例指的特殊字符至少包括：英文字母个数、数学字符个数、生僻字个数、标点符号个数、独立字母个数。
S104、根据评论用户的历史评论信息、评论对象的历史评论信息，得到第三恶意程度评分；
此步骤中可建立一个用户评分模型以对待检测评论进行打分，作为一种具体的实施方式，根据下式计算第三恶意程度评分：
Figure BDA0003315768970000051
公式中，α(用户言论评分系数)＝用户历史恶意言论数/用户历史评论数；
β(用户评论对象评分系数)＝评论对象历史恶意言论数/评论对象历史评论数；
Figure BDA0003315768970000052
其中，NP，Nn分别代表表达正面情感和负面情感的词汇数目；wpi，wpj分别代表正面情感词汇和负面情感词汇的权值。
S105、根据第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到待检测评论文本的恶意评分，根据恶意评分确定待检测评论是否为恶意评论。
将第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分综合起来，使待检测评论文本最终的恶意评分与评论文本的多维度特征值相联系，使恶意评分更加的真实可靠，再根据恶意评分的大小确定待检测评论文本是否为恶意评论，提高恶意评论识别的准确性。
作为一种可选的实施方式，图2是本发明实施例提供的文本情感分类模型生成方法的流程图，如图2所示，使用文本情感分类模型对待检测评论文本进行恶意程度评分之前，包括：
S106、获取多个样本评论文本，并提取其中被标识为恶意的样本恶意评论文本；
S107、在样本恶意评论文本中将隐藏敏感文字替换为敏感文字，得到对抗文本；
S108、将对抗文本与样本评论文本输入至神经网络模型进行训练，得到文本情感分类模型。
由于传统的规则中，对于中文的同音，拟声字等不易识别，为避免恶意攻击用户通过文字替换或特殊字符增加来绕过规则，本实施例首先提取样本评论文本中的样本恶意评论文本，在样本恶意评论文本的基础上，通过对隐藏敏感文字进行一系列随机替换、增加、修改的方式，将隐藏敏感文字转化为敏感文字，这些包含敏感文字的文本即为对抗文本，将对抗文本与样本评论文本输入至神经网络模型中，训练得到文本情感分类模型。优选的，CNN可作为训练文本情感分类模型的神经网络模型。作为一个经典的神经网络模型，CNN具有极强的特征提取能力，而且运行速度比RNNs要快的多。textCNN采用的卷积核大小为N*d，其中d是词向量的维度，N作为超参数由人工选择。这样可以捕捉句子中的n-grams，接着通过一个max-pooling层，捕捉其中最重要的特征，同时还可以解决句子长度不一的问题。
其中，将隐藏敏感文字替换为敏感文字的策略至少包括：
·中文将中文字符转换成对应的拼音或拼音首字母,如：ni→你；
·中文字符火星文化,如：伱→你，汏爺→大爷；
·中文偏旁部首拆分，如：亻也→他，亻尔→你；
·中文特殊偏旁拆分，如一夕匕→死；
·将中文字符替换成相同发音的字符，如泥→你；
·将中文字符替换成有相同右偏旁的字符,如犸→妈；
·英文同形状替换，如α→a，β→b；
·数字同形状替换，如数字1→字母l，数字0→字母o；
·广义谐音字替换，包括中、英、数字的多种组合+中文口音，如xla0→小；
·针对非英文、数字的token，将首尾以外的字符随机乱序，如fcuk→fuck；
·随机插入噪声在一个英文、数字的token内部插入随机分隔符，如n i→ni；
·在临近范围内重新排列字符，如你想我→我想你；
·文本语句中添加特殊符号干扰语句，如(你)-你；
本实施例使用经过文本替换的对抗文本训练生成文本情感分类模型，提高了恶意样本的复杂度，进而提高了文本情感分类模型的鲁棒性。
作为一种可选的实施方式，图3是本发明实施例提供的样本评论文本处理的方法流程图，如图3所示，获取多个样本评论文本之后，包括：
S109、滤除样本评论文本中的特殊符号；
滤除样本评论文本中的特殊符号意在清洗样本评论文本中无意义的文本数据，或其它的冗余信息，将某些特殊符号进行转换。在实际使用过程中，文本内容中容易出现很多除中文之外的字符，如标点符号、数字、字母等等，这些符号有少部分是具有信息的。除此之外大部分的特殊符号对于文本分类任务来说应该是冗余的无意义信息，所以需要将它们删除，从而避免干扰分类器性能，同时也可以减少分类负担。
S110、对样本评论文本中的文本数据进行分词处理；
由于中文不像英文那样具有天然的分隔符，所以一般情况下，中文自然语言处理的第一步就是要对语料进行分词处理，以划分出一个文本中的多个字符串，方便后续数据处理。
S111、删除样本评论文本中的停用词。
停用词(Stop Words)经常出现在文档中，却没有具体的实际意义。在中文文档中如“啊”、“在”、“的”之类，这些词也可称作虚词，包含副词、冠词、代词等，在文档中使用十分广泛，但却不会对文档分类提供帮助。因此，在研究文本分类等数据挖掘问题时，经常会将它们预先剔除，既可以减少存储空间、降低计算成本，又可以防止它们干扰分类器的性能。
作为一种可选的实施方式，图4是本发明实施例提供的待检测评论文本的恶意评分生成方法的流程图，如图4所示，根据第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到待检测评论文本的恶意评分包括：
S1051、将第一恶意程度评分与第一权值的乘积、第二恶意程度评分与第二权值的乘积以及第三恶意程度评分与第三权值的乘积相加，得到待检测评论文本的恶意评分；
S1052、判断恶意评分是否大于预设恶意评分阈值，当恶意评分大于预设恶意评分阈值时，将待检测评论文本判定为恶意评论。
为第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分分别赋予第一权值、第二权值以及第三权值，计算各恶意程度评分与其相对应的权值相乘得到加权的恶意程度评分，将三个加权后的恶意程度评分相加，得到最终的恶意评分。使用恶意评分与预设恶意评分阈值相对比，若恶意评分大于预设恶意评分阈值，则将其对应的评论文本判定为恶意评论。
作为一种具体的实施方式，第一恶意程度评分为0.6，第一权值为0.4，第二恶意程度评分为0.5，第二权值为0.3，第三恶意程度评分为0.8，第三权值为0.3，则恶意评分＝0.6*0.4+0.5*0.3+0.8*0.3＝0.63，预设恶意评分阈值为0.6，恶意评分0.63大于预设恶意评分阈值为0.6，因此判定该评论文本为恶意评论。
本发明实施例还提供了一种恶意评论识别装置，图5是本发明实施例提供的恶意评论识别装置的结构示意图，如图5所示，该装置包括：
评论信息获取模块100，用于获取待检测评论文本、待检测评论文本对应的评论用户以及评论对象；
在数据获取阶段，识别并提取网页上的评论信息，至少应包括评论文本信息，评论用户信息，用户评论对象，账号信息等，并从中提取出每条评论的评论文本、评论用户以及评论对象，作为恶意评论的数据检测基础。
第一恶意程度评分确定模块200，用于使用文本情感分类模型对待检测评论文本进行恶意程度评分，得到第一恶意程度评分；
由于中文的同音、拟声字等对于传统的规则来说很难识别，常常会因为恶意攻击的用户在文本中增加无意义的、新的字符就绕过规则。若采用传统规则的原始样本集对模型进行训练后得到的识别模型进行恶意评论识别，很难准确的识别这些绕过规则的文本，从而造成漏检影响识别准确率。为避免出现该情况，本实施例中通过在原始样本中增添衍生的对抗样本来训练文本情感分类模型，使最终生成的识别模型能够在攻击对象有意添加干扰字符的情况下，依旧保持较高的识别准确度。
当对待检测评论文本进行检测时，文本情感分类模型会根据评论文本的敏感词汇多少或严重程度对评论文本进行整体打分，以得到待检测评论文本的第一恶意程度评分。
第二恶意程度评分确定模块300，用于识别待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；
由于在恶意攻击用户发送的恶意评论中，可能存在一些插入进敏感字符中的特殊符号，这些恶意评论与正常评论相比，特殊字符的数量显然更多；另外，用户进行语言文字表达时，其一句话的长度通常在一个规则的范围内，若恶意攻击用户有意添加了多个特殊字符，容易使整句话的长度较正常评论更长。因此，特殊字符的数量以及评论文本的文本长度在一定意义上可以判断所述待检测评论文本的恶意程度，本实施例综合待检测评论文本中的特殊字符个数以及文本长度，对待检测评论文本进行打分，得到第二恶意程度评分。在该过程中，可使用随机森林，SVM，XGboost等算法训练得到恶意干扰分类模型，以方便对评论进行恶意检测。
其中，本实施例指的特殊字符至少包括：英文字母个数、数学字符个数、生僻字个数、标点符号个数、独立字母个数。
第三恶意程度评分确定模块400，用于根据评论用户的历史评论信息、评论对象的历史评论信息，得到第三恶意程度评分；
此步骤中可建立一个用户评分模型以对待检测评论进行打分，作为一种具体的实施方式，根据下式计算第三恶意程度评分：
Figure BDA0003315768970000091
公式中，α(用户言论评分系数)＝用户历史恶意言论数/用户历史评论数；
β(用户评论对象评分系数)＝评论对象历史恶意言论数/评论对象历史评论数；
Figure BDA0003315768970000092
其中，NP，Nn分别代表表达正面情感和负面情感的词汇数目；wpi，wpj分别代表正面情感词汇和负面情感词汇的权值。
恶意评论判定模块500，用于根据第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到待检测评论文本的恶意评分，根据恶意评分确定待检测评论是否为恶意评论。
将第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分综合起来，使待检测评论文本最终的恶意评分与评论文本的多维度特征值相联系，使恶意评分更加的真实可靠，再根据恶意评分的大小确定待检测评论文本是否为恶意评论，提高恶意评论识别的准确性。
作为一种可选的实施例，图6是本发明实施例提供的样本恶意评论文本获取模块、对抗文本生成模块以及文本情感分类模型生成模块的结构示意图，如图6所示，该装置还包括：
样本恶意评论文本获取模块600，用于获取多个样本评论文本，并提取其中被标识为恶意的样本恶意评论文本；
对抗文本生成模块700，用于在样本恶意评论文本中将隐藏敏感文字替换为敏感文字，得到对抗文本；
文本情感分类模型生成模块800，用于将对抗文本与样本评论文本输入至神经网络模型进行训练，得到文本情感分类模型。
由于传统的规则中，对于中文的同音，拟声字等不易识别，为避免恶意攻击用户通过文字替换或特殊字符增加来绕过规则，本实施例首先提取样本评论文本中的样本恶意评论文本，在样本恶意评论文本的基础上，通过对隐藏敏感文字进行一系列随机替换、增加、修改的方式，将隐藏敏感文字转化为敏感文字，这些包含敏感文字的文本即为对抗文本，将对抗文本与样本评论文本输入至神经网络模型中，训练得到文本情感分类模型。优选的，CNN可作为训练文本情感分类模型的神经网络模型。作为一个经典的神经网络模型，CNN具有极强的特征提取能力，而且运行速度比RNNs要快的多。textCNN采用的卷积核大小为N*d，其中d是词向量的维度，N作为超参数由人工选择。这样可以捕捉句子中的n-grams，接着通过一个max-pooling层，捕捉其中最重要的特征，同时还可以解决句子长度不一的问题。
其中，将隐藏敏感文字替换为敏感文字的策略至少包括：
·中文将中文字符转换成对应的拼音或拼音首字母,如：ni→你；
·中文字符火星文化,如：伱→你，汏爺→大爷；
·中文偏旁部首拆分，如：亻也→他，亻尔→你；
·中文特殊偏旁拆分，如一夕匕→死；
·将中文字符替换成相同发音的字符，如泥→你；
·将中文字符替换成有相同右偏旁的字符,如犸→妈；
·英文同形状替换，如α→a，β→b；
·数字同形状替换，如数字1→字母l，数字0→字母o；
·广义谐音字替换，包括中、英、数字的多种组合+中文口音，如xla0→小；
·针对非英文、数字的token，将首尾以外的字符随机乱序，如fcuk→fuck；
·随机插入噪声在一个英文、数字的token内部插入随机分隔符，如n i→ni；
·在临近范围内重新排列字符，如你想我→我想你；
·文本语句中添加特殊符号干扰语句，如(你)-你；
本实施例使用经过文本替换的对抗文本训练生成文本情感分类模型，提高了恶意样本的复杂度，进而提高了文本情感分类模型的鲁棒性。
作为一种可选的实施方式，图7是本发明实施例提供的特殊符号过滤模块、分词模块以及删除模块的结构示意图，如图7所示，该装置还包括：
特殊符号过滤模块900，用于滤除样本评论文本中的特殊符号；
滤除样本评论文本中的特殊符号意在清洗样本评论文本中无意义的文本数据，或其它的冗余信息，将某些特殊符号进行转换。在实际使用过程中，文本内容中容易出现很多除中文之外的字符，如标点符号、数字、字母等等，这些符号有少部分是具有信息的。除此之外大部分的特殊符号对于文本分类任务来说应该是冗余的无意义信息，所以需要将它们删除，从而避免干扰分类器性能，同时也可以减少分类负担。
分词模块1000，用于对样本评论文本中的文本数据进行分词处理；
由于中文不像英文那样具有天然的分隔符，所以一般情况下，中文自然语言处理的第一步就是要对语料进行分词处理，以划分出一个文本中的多个字符串，方便后续数据处理。
删除模块1100，用于删除样本评论文本中的停用词。
停用词(Stop Words)经常出现在文档中，却没有具体的实际意义。在中文文档中如“啊”、“在”、“的”之类，这些词也可称作虚词，包含副词、冠词、代词等，在文档中使用十分广泛，但却不会对文档分类提供帮助。因此，在研究文本分类等数据挖掘问题时，经常会将它们预先剔除，既可以减少存储空间、降低计算成本，又可以防止它们干扰分类器的性能。
作为一种可选的实施方式，图8是本发明实施例提供的恶意评论判定模块的结构示意图，如图8所示，恶意评论判定模块500包括：
数据处理子模块5001，用于将第一恶意程度评分与第一权值的乘积、第二恶意程度评分与第二权值的乘积以及第三恶意程度评分与第三权值的乘积相加，得到待检测评论文本的恶意评分；
判断子模块5002，用于判断恶意评分是否大于预设恶意评分阈值，当恶意评分大于预设恶意评分阈值时，将待检测评论文本判定为恶意评论。
为第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分分别赋予第一权值、第二权值以及第三权值，计算各恶意程度评分与其相对应的权值相乘得到加权的恶意程度评分，将三个加权后的恶意程度评分相加，得到最终的恶意评分。使用恶意评分与预设恶意评分阈值相对比，若恶意评分大于预设恶意评分阈值，则将其对应的评论文本判定为恶意评论。
作为一种具体的实施方式，第一恶意程度评分为0.6，第一权值为0.4，第二恶意程度评分为0.5，第二权值为0.3，第三恶意程度评分为0.8，第三权值为0.3，则恶意评分＝0.6*0.4+0.5*0.3+0.8*0.3＝0.63，预设恶意评分阈值为0.6，恶意评分0.63大于预设恶意评分阈值为0.6，因此判定该评论文本为恶意评论。
本发明实施例还提供了一种恶意评论识别系统，包括上述的恶意评论识别装置。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述的恶意评论识别方法。
上述存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
上述技术方案具有如下有益效果：通过文本情感分类模型对待检测评论文本标记第一恶意程度评分，是待检测评论文本与敏感文字联系起来；再根据特殊字符数量以及文本长度对待检测评论文本标记第二恶意程度评分；根据历史评论数据对待检测评论文本标记第三恶意程度评分，从而使待检测评论文本根据多维度特征进行评分，使恶意评分更加客观可靠，从而提高恶意评论的识别准确率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种恶意评论识别方法，其特征在于：
获取待检测评论文本、所述待检测评论文本对应的评论用户以及评论对象；
使用文本情感分类模型对所述待检测评论文本进行恶意程度评分，得到第一恶意程度评分；
识别所述待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；
根据所述评论用户的历史评论信息、所述评论对象的历史评论信息，得到第三恶意程度评分；
根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分，根据所述恶意评分确定所述待检测评论是否为恶意评论。
2.根据权利要求1所述的恶意评论识别方法，其特征在于，所述使用文本情感分类模型对所述待检测评论文本进行恶意程度评分之前，包括：
获取多个样本评论文本，并提取其中被标识为恶意的样本恶意评论文本；
在所述样本恶意评论文本中将隐藏敏感文字替换为敏感文字，得到对抗文本；
将所述对抗文本与所述样本评论文本输入至神经网络模型进行训练，得到所述文本情感分类模型。
3.根据权利要求2所述的恶意评论识别方法，其特征在于，所述获取多个样本评论文本之后，包括：
滤除所述样本评论文本中的特殊符号；
对所述样本评论文本中的文本数据进行分词处理；
删除所述样本评论文本中的停用词。
4.根据权利要求1所述的恶意评论识别方法，其特征在于，根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分包括：
将所述第一恶意程度评分与第一权值的乘积、所述第二恶意程度评分与第二权值的乘积以及所述第三恶意程度评分与第三权值的乘积相加，得到所述待检测评论文本的恶意评分；
判断所述恶意评分是否大于预设恶意评分阈值，当所述恶意评分大于所述预设恶意评分阈值时，将所述待检测评论文本判定为恶意评论。
5.一种恶意评论识别装置，其特征在于，包括：
评论信息获取模块，用于获取待检测评论文本、所述待检测评论文本对应的评论用户以及评论对象；
第一恶意程度评分确定模块，用于使用文本情感分类模型对所述待检测评论文本进行恶意程度评分，得到第一恶意程度评分；
第二恶意程度评分确定模块，用于识别所述待检测评论文本的特殊字符个数以及文本长度，并根据特殊字符个数以及评论长度得到第二恶意程度评分；
第三恶意程度评分确定模块，用于根据所述评论用户的历史评论信息、所述评论对象的历史评论信息，得到第三恶意程度评分；
恶意评论判定模块，用于根据所述第一恶意程度评分、第二恶意程度评分以及第三恶意程度评分得到所述待检测评论文本的恶意评分，根据所述恶意评分确定所述待检测评论是否为恶意评论。
6.根据权利要求5所述的恶意评论识别装置，其特征在于，还包括：
样本恶意评论文本获取模块，用于获取多个样本评论文本，并提取其中被标识为恶意的样本恶意评论文本；
对抗文本生成模块，用于在所述样本恶意评论文本中将隐藏敏感文字替换为敏感文字，得到对抗文本；
文本情感分类模型生成模块，用于将所述对抗文本与所述样本评论文本输入至神经网络模型进行训练，得到所述文本情感分类模型。
7.根据权利要求6所述的恶意评论识别装置，其特征在于，还包括：
特殊符号过滤模块，用于滤除所述样本评论文本中的特殊符号；
分词模块，用于对所述样本评论文本中的文本数据进行分词处理；
删除模块，用于删除所述样本评论文本中的停用词。
8.根据权利要求5所述的恶意评论识别装置，其特征在于，所述恶意评论判定模块包括：
数据处理子模块，用于将所述第一恶意程度评分与第一权值的乘积、所述第二恶意程度评分与第二权值的乘积以及所述第三恶意程度评分与第三权值的乘积相加，得到所述待检测评论文本的恶意评分；
判断子模块，用于判断所述恶意评分是否大于预设恶意评分阈值，当所述恶意评分大于所述预设恶意评分阈值时，将所述待检测评论文本判定为恶意评论。
9.一种恶意评论识别系统，其特征在于，包括如权利要求5-8任一项所述的恶意评论识别装置。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一项所述的恶意评论识别方法。
CN202111230714.8A 2021-10-22 2021-10-22 恶意评论识别方法、装置、系统及计算机可读存储介质 Pending CN113987172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111230714.8A CN113987172A (zh) 2021-10-22 2021-10-22 恶意评论识别方法、装置、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111230714.8A CN113987172A (zh) 2021-10-22 2021-10-22 恶意评论识别方法、装置、系统及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113987172A true CN113987172A (zh) 2022-01-28

Family

ID=79740175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111230714.8A Pending CN113987172A (zh) 2021-10-22 2021-10-22 恶意评论识别方法、装置、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113987172A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115068957A (zh) * 2022-08-11 2022-09-20 杭银消费金融股份有限公司 一种多维度应用系统管控方法及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115068957A (zh) * 2022-08-11 2022-09-20 杭银消费金融股份有限公司 一种多维度应用系统管控方法及设备
CN115068957B (zh) * 2022-08-11 2022-11-11 杭银消费金融股份有限公司 一种多维度应用系统管控方法及设备

Similar Documents

Publication Publication Date Title
El et al. Authorship analysis studies: A survey
CN101315622B (zh) 检测文件相似度的系统及方法
Eskander et al. Foreign words and the automatic processing of Arabic social media text written in Roman script
CN108255813B (zh) 一种基于词频-逆文档与crf的文本匹配方法
Gupta et al. A survey of common stemming techniques and existing stemmers for indian languages
Haruechaiyasak et al. LexToPlus: A thai lexeme tokenization and normalization tool
CN112287684A (zh) 融合变体词识别的短文本审核方法及装置
Farra et al. Generalized character-level spelling error correction
Abbasi et al. Applying authorship analysis to Arabic web content
CN111046660B (zh) 一种识别文本专业术语的方法及装置
Prasad et al. Influence of lexical, syntactic and structural features and their combination on authorship attribution for Telugu text
Bedrick et al. Robust kaomoji detection in Twitter
CN115238697A (zh) 基于自然语言处理的司法命名实体识别方法
Farhoodi et al. N-gram based text classification for Persian newspaper corpus
Gupta Hybrid algorithm for multilingual summarization of Hindi and Punjabi documents
Nehar et al. Rational kernels for Arabic root extraction and text classification
Nehar et al. An efficient stemming for arabic text classification
Sembok et al. Arabic word stemming algorithms and retrieval effectiveness
Venčkauskas et al. Problems of authorship identification of the national language electronic discourse
CN113987172A (zh) 恶意评论识别方法、装置、系统及计算机可读存储介质
Singh et al. Review of real-word error detection and correction methods in text documents
El-Defrawy et al. Enhancing root extractors using light stemmers
Zhu et al. A unified tagging approach to text normalization
Al Taawab et al. Transliterated bengali comment classification from social media
Oriola et al. Automatic detection of toxic south african tweets using support vector machines with n-gram features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination