CN111400439A - 网络不良数据监控方法、装置及存储介质 - Google Patents
网络不良数据监控方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111400439A CN111400439A CN202010119614.7A CN202010119614A CN111400439A CN 111400439 A CN111400439 A CN 111400439A CN 202010119614 A CN202010119614 A CN 202010119614A CN 111400439 A CN111400439 A CN 111400439A
- Authority
- CN
- China
- Prior art keywords
- word
- bad
- words
- vocabulary
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Abstract
本发明涉及网络数据监控技术领域，本发明提供一种网络不良数据监控方法、装置及计算机可读存储介质，其中的方法包括：对目标文本进行分词处理；将分词集合中的词语与预设不良词汇对照表比对，从分词集合中筛选出不良词语，将不良词语加载到第一不良词汇表；通过词语相似度计算公式，计算出每个待选词语的相似度均值，将相似度均值大于预设相似度阈值的待选词语加载到第一不良词汇表；通过情感分析算法，筛除不满足预设不良词情感趋向规则的词语；通过词语位置结构法，筛除不符合不良词汇语句位置结构的词语。本发明能够更加精准的发现未登录的不良词汇，与现有技术相比较，收录的不良词汇的精确度和准确度更高。
Description
技术领域
本发明涉及网络数据监控技术领域，尤其涉及一种网络不良数据监控方法、装置及计算机可读存储介质。
背景技术
随着互联网的迅猛发展，信息爆炸的时代早已来临。网络文本作为互联网信息传播的主要载体也得到了飞速的发展，网络语言日新月异，同时网络语言的低俗化日益严重，针对网络不良词汇的监控和发现面临极大的挑战。
随着互联网的普遍，各种网络论坛、网络文章和网络媒体等不断出现，每天都有大量的文本产生，在网络上存在大量的不良词汇。网络不良词汇监控的最大难点在于网络语言更新的速度较快、词汇变化多样，且无明显规律。很多检测模型不具有针对未登录词的自动识别功能，或者仅依赖简单的词语之间的相似性计算收集未登录词。这也导致了随着时间的发展，未被系统收录的未登录词越来越多，或者已经收录的未登录词的质量越来越差。这样就会导致现有的监控模型的精度下降，效果大打折扣，不能精准的发现未登录的不良词汇。
发明内容
基于上述现有技术中存在的问题，本发明提供一种网络不良数据监控方法、装置及计算机可读存储介质，其主要目的在于，通过对目标文本进行分词处理后将每个分词与预设的不良词汇对照表中的不良词汇进行比对，将相同的不良词语加载到第一不良词汇表，由于不良词汇对照表中的不良词汇有限，可能存在与不良词语相似的不良词存在，所以通过词语相似度计算公式对目标文本中的分词再次进行计算，将符合预设相似度阈值范围的词语加载到第一不良词汇表中，由于相似度计算发现的不良词并非是一定的，所以再通过情感分析算法和词语位置结构法对第一不良词汇表中非不良词进行筛除处理，最后输出第三不良词汇表。能够更加精准的发现未登录的不良词汇，与现有技术相比较，收录的不良词汇的精确度更高，提高了准确度。
为实现上述目的，本发明提供一种网络不良数据监控方法，该方法包括：
对目标文本进行分词处理，得到分词集合；
将所述分词集合中的词语与预设不良词汇对照表比对，从所述分词集合中筛选出不良词语，将所述不良词语加载到第一不良词汇表，将所述分词集合中筛选后的剩余词语作为待选词语；
通过词语相似度计算公式，计算出每个所述待选词语与预设不良词汇对照表中词语的相似度均值，将所述相似度均值大于预设相似度阈值的待选词语加载到所述第一不良词汇表；
通过情感分析算法，从所述第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表；
通过词语位置结构法，从所述第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
优选地，通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值的步骤包括：
对每个所述待选词语进行向量化处理，得到待选词语的词向量；
将每个待选词语的词向量分别与预设的不良词的词向量集合中的不良词向量通过词语相似度计算公式进行相似度计算，得到N个相似度值，其中，所述预设的不良词的词向量集合是通过将所述预设不良词汇对照表中词语进行向量化处理得到的词向量集合；
根据N个相似度值，获得所述待选词语与预设不良词汇对照表中词语的相似度均值。
优选地，所述词语相似度计算公式为：
其中，W1为待选词语的词向量，W2为预设的不良词的词向量集合中任一词向量，n为词向量维度，W1i为W1在i个维度下W1的值，W2i为W2在i个维度下W2的值。
优选地，通过情感分析算法，从所述第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表的步骤包括：
对所述第一不良词汇表中的词语进行向量化处理，得到待计算词向量；
通过词共现频率计算公式分别计算出所述待计算词向量与预构建文明词汇库中词向量的词共现频率和所述待计算词向量与预构建不文明词汇库中词向量的词共现频率，作为待用词共现频率；
根据所述待用词共现频率，通过情感分析计算公式计算出所述第一不良词汇表中各词语的情感倾向强度值；
将所述第一不良词汇表中各词语的情感倾向强度值与预设情感倾向强度阈值规则比对，根据所述情感倾向强度阈值规则筛除所述第一不良词汇表中不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
优选地，所述词共现频率计算公式为：
其中，F(N1，N2)指的是在全部n篇文章中，N1，N2在设定大小的窗口内同时出现的频率，F(N1)，F(N2)指的是在全部n篇文章中N1，N2分别出现的频率。
优选地，所述情感分析计算公式为：
其中，Q为第一不良词汇表中的词语，Cwords为预构建文明词汇库，Iwords为预构建不文明词汇库，PMI(Q，cword)为第一不良词汇表中的词语与预构建文明词汇库中词向量的共现频率，PMI(Q，Iword)为第一不良词汇表中的词语与预构建不文明词汇库中词向量的共现频率，SO-PMI(Q)为第一不良词汇表中词语Q的情感倾向强度值。
优选地，所述情感倾向强度阈值规则为：
若所述第一不良词汇表中的词语的情感倾向强度值大于或等于零，则该词语为不满足预设不良词情感趋向规则的词语；
若所述第一不良词汇表中的词语的情感倾向强度值小于零，则该词语为满足预设不良词情感趋向规则的词语。
优选地，通过词语位置结构法，从所述第二不良词汇表中筛除不符合不良词汇语句位置结构的词语的步骤包括：
将所述第二不良词汇表中的词语与预先构建的不良词汇语句模板中的不良词汇所在的语句位置结构进行比较；
从所述第二不良词汇表中筛除不符合所述不良词汇语句模板中的不良词汇所在的语句位置结构的词语，得到第三不良词汇表。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括：存储器、处理器，所述存储器中存储有网络不良数据监控程序，所述网络不良数据监控程序被所述处理器执行时实现如下步骤：
对目标文本进行分词处理，得到分词集合；
将所述分词集合中的词语与预设不良词汇对照表比对，从所述分词集合中筛选出不良词语，将所述不良词语加载到第一不良词汇表，将所述分词集合中筛选后的剩余词语作为待选词语；
通过词语相似度计算公式，计算出每个所述待选词语与预设不良词汇对照表中词语的相似度均值，将所述相似度均值大于预设相似度阈值的待选词语加载到所述第一不良词汇表；
通过情感分析算法，从所述第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表；
通过词语位置结构法，从所述第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有网络不良数据监控程序，所述网络不良数据监控程序被处理器执行时，实现如上所述的网络不良数据监控方法中的任意步骤。
本发明提出的网络不良数据监控方法、装置及计算机可读存储介质，通过对目标文本进行分词处理后将每个分词与预设的不良词汇对照表中的不良词汇进行比对，将相同的不良词语加载到第一不良词汇表，由于不良词汇对照表中的不良词汇有限，可能存在与不良词语相似的不良词存在，所以通过词语相似度计算公式对目标文本中的分词再次进行计算，将符合预设相似度阈值范围的词语加载到第一不良词汇表中，由于相似度计算发现的不良词并非是一定的，所以再通过情感分析算法和词语位置结构法对第一不良词汇表中非不良词进行筛除处理，最后输出第三不良词汇表。能够更加精准的发现未登录的不良词汇，与现有技术相比较，收录的不良词汇的精确度更高，提高了准确度。
附图说明
图1为本发明网络不良数据监控方法较佳实施例的应用环境示意图；
图2为图1中网络不良数据监控程序较佳实施例的模块示意图；
图3为本发明网络不良数据监控方法较佳实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种网络不良数据监控方法，应用于一种电子装置1。参照图1所示，为本发明网络不良数据监控方法较佳实施例的应用环境示意图。
在本实施例中，电子装置1可以是服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。
该电子装置1包括：处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。该至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，可读存储介质也可以是电子装置1的外部存储器11，例如电子装置1上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(FlashCard)等。
在本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的网络不良数据监控程序10、预设不良词汇对照表等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行网络不良数据监控程序10等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线14用于实现上述这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括摄像装置，摄像装置既可以是电子装置1的一部分，也可以独立于电子装置1。在一些实施例中，电子装置1为智能手机、平板电脑、便携计算机等具有摄像头的终端设备，则摄像装置即为电子装置1的摄像头。在其他实施例中，电子装置1可以为服务器，摄像装置独立于该电子装置1、与该电子装置1通过有线或者无线网络连接。例如，该摄像装置安装于特定场所，如办公场所、监控区域，对进入该特定场所的目标进行实时拍摄得到实时图像，通过网络将拍摄得到的实时图像传输至处理器12。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。该触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子装置1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子装置1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及网络不良数据监控程序10；处理器12执行存储器11中存储的网络不良数据监控程序10时实现如下步骤：
对目标文本进行分词处理，得到分词集合；
将分词集合中的词语与预设不良词汇对照表比对，从分词集合中筛选出不良词语，将不良词语加载到第一不良词汇表，将分词集合中筛选后的剩余词语作为待选词语；
通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值，将相似度均值大于预设相似度阈值的待选词语加载到第一不良词汇表；
通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表；
通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
为了能够得到每个待选词语与预设不良词汇对照表中词语的相似度均值，通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值的步骤包括：
对每个待选词语进行向量化处理，得到待选词语的词向量；
将每个待选词语的词向量分别与预设的不良词的词向量集合中的不良词向量通过词语相似度计算公式进行相似度计算，得到N个相似度值，其中，预设的不良词的词向量集合是通过将预设不良词汇对照表中词语进行向量化处理得到的词向量集合；
根据N个相似度值，获得待选词语与预设不良词汇对照表中词语的相似度均值。
更加具体地，词语相似度计算公式为：
其中，W1为待选词语的词向量，W2为预设的不良词的词向量集合中任一词向量，n为词向量维度，W1i为W1在i个维度下W1的值，W2i为W2在i个维度下W2的值。
由于通过相似度计算获得的不良词可能混入非不良词，所以需要对第一不良词汇表中的词语进行筛选，通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表的步骤包括：
对第一不良词汇表中的词语进行向量化处理，得到待计算词向量；
通过词共现频率计算公式分别计算出待计算词向量与预构建文明词汇库中词向量的词共现频率和待计算词向量与预构建不文明词汇库中词向量的词共现频率，作为待用词共现频率；
根据待用词共现频率，通过情感分析计算公式计算出第一不良词汇表中各词语的情感倾向强度值；
将第一不良词汇表中各词语的情感倾向强度值与预设情感倾向强度阈值规则比对，根据情感倾向强度阈值规则筛除第一不良词汇表中不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
更为具体地，词共现频率计算公式为：
其中，F(N1，N2)指的是在全部n篇文章中，N1，N2在设定大小的窗口内同时出现的频率，F(N1)，F(N2)指的是在全部n篇文章中N1，N2分别出现的频率。
更为具体地，情感分析计算公式为：
其中，Q为第一不良词汇表中的词语，Cwords为预构建文明词汇库，Iwords为预构建不文明词汇库，PMI(Q，cword)为第一不良词汇表中的词语与预构建文明词汇库中词向量的共现频率，PMI(Q，Iword)为第一不良词汇表中的词语与预构建不文明词汇库中词向量的共现频率，SO-PMI(Q)为第一不良词汇表中词语Q的情感倾向强度值。
更为具体地，情感倾向强度阈值规则为：
若第一不良词汇表中的词语的情感倾向强度值大于或等于零，则该词语为不满足预设不良词情感趋向规则的词语；
若第一不良词汇表中的词语的情感倾向强度值小于零，则该词语为满足预设不良词情感趋向规则的词语。
为了进一步筛除第二不良词汇表中的非不良词，通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语的步骤包括：
将第二不良词汇表中的词语与预先构建的不良词汇语句模板中的不良词汇所在的语句位置结构进行比较；
从第二不良词汇表中筛除不符合不良词汇语句模板中的不良词汇所在的语句位置结构的词语，得到第三不良词汇表。
在其他实施例中，网络不良数据监控程序10还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。
本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。参照图2所示，为图1中网络不良数据监控程序10较佳实施例的程序模块图。所述网络不良数据监控程序10可以被分割为：分词处理模块110、不良词语筛选模块120、词语相似度计算模块130、情感分析模块140、词语位置结构筛选模块150。
所述模块110-150所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
分词处理模块110：用于对目标文本进行分词处理，得到分词集合。
不良词语筛选模块120：用于将分词集合中的词语与预设不良词汇对照表比对，从分词集合中筛选出不良词语，将不良词语加载到第一不良词汇表，将分词集合中筛选后的剩余词语作为待选词语。
词语相似度计算模块130：用于通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值，将相似度均值大于预设相似度阈值的待选词语加载到第一不良词汇表。
情感分析模块140：用于通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
词语位置结构筛选模块150：用于通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
此外，本发明还提供一种网络不良数据监控方法。参照图3所示，为本发明网络不良数据监控方法较佳实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，网络不良数据监控方法包括：步骤S10-步骤S50。
步骤S10，对目标文本进行分词处理，得到分词集合。
随着互联网的普及，网络文本信息越来越多，为了维护互联网秩序，通常需要对网络上的不良词汇进行监控，当检查一篇网络文章中是否存在不良词语时，需要先对目标文章进行分词处理，分词处理是对文本情感分析的基础步骤，在现有技术中，对文本进行分词的常用的中文分词工具有：
结巴分词、HanLP、pynlpir分词、ansj分词器、LTP、thulac分词等。对目标文本进行分词处理后，获得分词集合。
步骤S20，将分词集合中的词语与预设不良词汇对照表比对，从分词集合中筛选出不良词语，将不良词语加载到第一不良词汇表，将分词集合中筛选后的剩余词语作为待选词语。
具体地，将分词集合中的每个词语与预设不良词汇对照表中的不良词比对，预设不良词汇对照表中储存有大量的不良词汇，通过比对，能够确定分词集合中的不良词语，将分词集合中确定为不良词语的词语筛选出来，并加载到第一不良词汇表。
其中，预设不良词汇对照表中的不良词语可来源于网络中常见的不良词语，当将分词集合中的词语与预设不良词汇对照表比对时，分词集合中的词语与预设不良词汇对照表中的不良词完全相同，则从分词集合中将该词语筛选出来加载到第一不良词汇表中，例如，在分词集合中存在“智障”这个词语，在预设不良词汇对照表中也记载着“智障”这个词语，则将分词集合中的“智障”筛选出来，记载到第一不良词汇表。
步骤S30，通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值，将相似度均值大于预设相似度阈值的待选词语加载到第一不良词汇表。
由于预设不良词汇对照表中的不良词汇通常都是已经被记载的不良词语，记载的不良词语有限，如果分词集合中存在没有记载在预设不良词汇对照表中的不良词语，则对分词集合中的不良词语筛选不够彻底，因此通过词语相似度计算公式能够从分词集合中剩余的词语中筛选出与预设不良词汇对照表中的不良词相似的不良词语，例如，分词集合中剩余的词语中有“弱智”这个词语，而预设不良词汇对照表中没有记载“弱智”这个词语，但记载了“智障”这个词语，则通过相似度计算，得到相似度均值，通过相似度均值与预设相似度阈值的比较，最终从分词集合中剩余的词语中筛选出与不良词相似的词语。
其中，通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值的步骤包括：
对每个待选词语进行向量化处理，得到待选词语的词向量；
将每个待选词语的词向量分别与预设的不良词的词向量集合中的不良词向量通过词语相似度计算公式进行相似度计算，得到N个相似度值，其中，预设的不良词的词向量集合是通过将预设不良词汇对照表中词语进行向量化处理得到的词向量集合；
根据N个相似度值，获得待选词语与预设不良词汇对照表中词语的相似度均值。
具体地，将分词集合中筛选后的剩余词语作为待选词语，每个待选词语进行量化处理后得到待选词语的词向量，预先对预设不良词汇对照表中词语进行向量化处理，得到预设的不良词的词向量集合，以任一待选词语的词向量为例，将该待选词语的词向量与预设的不良词的词向量集合中的每个不良词向量通过词语相似度计算公式进行相似度计算，得到N个相似度值，其中，N为预设不良词汇对照表中词语的个数，再将N个相似度值加和后求平均值，即为该待选词语与预设不良词汇对照表中词语的相似度均值，每个待选词语均按照上述方法进行相似度计算，得到相似度均值。
其中，词语相似度计算公式为：
其中，W1为待选词语的词向量，W2为预设的不良词的词向量集合中任一词向量，n为词向量维度，W1i为W1在i个维度下W1的值，W2i为W2在i个维度下W2的值。
预先设置好相似度阈值范围，从分词集合的剩余词语中筛选出符合预设相似度阈值范围的词语，加载到第一不良词汇表中。
步骤S40，通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
通过相似度筛选出的不良词语可能存在非不良词语，所以需要对第一不良词汇表中的词语进行筛除非不良词的处理，通过情感分析算法(其英文缩写为SO-PMI算法)，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，其中，情感分析算法(其英文缩写为SO-PMI算法)为点互信息算法，用来计算词语情感倾向强度值。
其中，通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表的步骤包括：
对第一不良词汇表中的词语进行向量化处理，得到待计算词向量；
通过词共现频率计算公式分别计算出待计算词向量与预构建文明词汇库中词向量的词共现频率和待计算词向量与预构建不文明词汇库中词向量的词共现频率，作为待用词共现频率；
根据待用词共现频率，通过情感分析计算公式计算出第一不良词汇表中各词语的情感倾向强度值；
将第一不良词汇表中各词语的情感倾向强度值与预设情感倾向强度阈值规则比对，根据情感倾向强度阈值规则筛除第一不良词汇表中不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
其中，词共现频率计算公式为：
其中，F(N1，N2)指的是在全部n篇文章中，N1，N2在设定大小的窗口内同时出现的频率，F(N1)，F(N2)指的是在全部n篇文章中N1，N2分别出现的频率。
其中，情感分析计算公式为：
其中，Q为第一不良词汇表中的词语，Cwords为预构建文明词汇库，Iwords为预构建不文明词汇库，PMI(Q，cword)为第一不良词汇表中的词语与预构建文明词汇库中词向量的共现频率，PMI(Q，Iword)为第一不良词汇表中的词语与预构建不文明词汇库中词向量的共现频率，SO-PMI(Q)为第一不良词汇表中词语Q的情感倾向强度值。
优选地，情感倾向强度阈值规则为：
若第一不良词汇表中的词语的情感倾向强度值大于或等于零，则该词语为不满足预设不良词情感趋向规则的词语；
若第一不良词汇表中的词语的情感倾向强度值小于零，则该词语为满足预设不良词情感趋向规则的词语。
具体地，采用情感分析算法判断词语极性是基于大规模语料挖掘词语的极性，依据的是未登录的词汇与已经判断出极性的现有的词汇共现的频率来判断未登录词的极性。词共现指的是在一定的词语窗口内，两个词语同时出现。
例如，我们一般会形容一个人既“积极”又“乐观”，很少会说一个人既“积极”又“丧气”。这就是两个词语之间的点互关系，也就是这两个词之间的关联程度，即PMI值(词语共现值)，PMI就是两个随机变量之间的点互信息。
使用情感分析算法判断词汇极性需要构建种子词库，预构建不文明词汇库作为不良种子词汇库，收录同等数量的文明词汇作为预构建文明词汇词库，再根据情感分析计算公式进行计算得到的词语w的情感倾向强度值，再根据情感倾向强度阈值规则判断该词语为不良词汇的可能性。
步骤S50，通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
为了进一步将第二不良词汇表中存在的非不良词语筛除，还需要进一步对第二不良词汇表中的词语进行筛除处理，通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表。
其中，过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语的步骤包括：
将第二不良词汇表中的词语与预先构建的不良词汇语句模板中的不良词汇所在的语句位置结构进行比较；
从第二不良词汇表中筛除不符合不良词汇语句模板中的不良词汇所在的语句位置结构的词语，得到第三不良词汇表。
具体地，由于在用词语相似度计算两个词w1和w2的过程中，往往会引入很多“杂质”，即两个词语的相似度很高，但是却不是表达同一意思，比如“智障”和“障碍”这两个词的相似度高达0.5324，但是明显“智障”是一个不文明词，而“障碍”是一个中性词。为了减少引入这种“杂质”，设计了一个词语位置结构判断方法。例如，一个不文明用户形容一个人的时候，“你真是个弱智”、“你真是个智障”，但是我们不会形容一个人“你真是个障碍”。所以词语位置结构判断是对词语相似度计算的一个很好的补充。虽然会有“你真是个好人”这种句式相同，但语义完全不同的句子，但是“好人”和“智障”的相似度很低，所以位置结构判断法是基于相似度很高的不文明词语做进一步判断，所以一般不会遇到上述的情况。
具体的做法是根据切词工具提供的词性标注和句法分析功能，以“你真是个智障”为例，它的词性标注为：你(r)/真是(d)/个(q)/智障(n)。可以将此句式和词性结构作为一个模板收录。而“这是个障碍”的词性标注为：这(r)/是(v)/个(q)/障碍(n)。障碍这个词和智障这个词无论是句法结构还是词性结构的用法都不同，所以根据总结的词语句法词性结构模板可以减少引入这种“杂质”。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有网络不良数据监控程序，所述网络不良数据监控程序被处理器执行时实现如下操作：
对目标文本进行分词处理，得到分词集合；
将分词集合中的词语与预设不良词汇对照表比对，从分词集合中筛选出不良词语，将不良词语加载到第一不良词汇表，将分词集合中筛选后的剩余词语作为待选词语；
通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值，将相似度均值大于预设相似度阈值的待选词语加载到所述第一不良词汇表；
通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表；
通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
优选地，通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值的步骤包括：
对每个待选词语进行向量化处理，得到待选词语的词向量；
将每个待选词语的词向量分别与预设的不良词的词向量集合中的不良词向量通过词语相似度计算公式进行相似度计算，得到N个相似度值，其中，预设的不良词的词向量集合是通过将预设不良词汇对照表中词语进行向量化处理得到的词向量集合；
根据N个相似度值，获得待选词语与预设不良词汇对照表中词语的相似度均值。
优选地，词语相似度计算公式为：
其中，W1为待选词语的词向量，W2为预设的不良词的词向量集合中任一词向量，n为词向量维度，W1i为W1在i个维度下W1的值，W2i为W2在i个维度下W2的值。
优选地，通过情感分析算法，从第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表的步骤包括：
对第一不良词汇表中的词语进行向量化处理，得到待计算词向量；
通过词共现频率计算公式分别计算出待计算词向量与预构建文明词汇库中词向量的词共现频率和待计算词向量与预构建不文明词汇库中词向量的词共现频率，作为待用词共现频率；
根据待用词共现频率，通过情感分析计算公式计算出第一不良词汇表中各词语的情感倾向强度值；
将第一不良词汇表中各词语的情感倾向强度值与预设情感倾向强度阈值规则比对，根据情感倾向强度阈值规则筛除第一不良词汇表中不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
优选地，词共现频率计算公式为：
其中，F(N1，N2)指的是在全部n篇文章中，N1，N2在设定大小的窗口内同时出现的频率，F(N1)，F(N2)指的是在全部n篇文章中N1，N2分别出现的频率。
优选地，情感分析计算公式为：
其中，Q为第一不良词汇表中的词语，Cwords为预构建文明词汇库，Iwords为预构建不文明词汇库，PMI(Q，cword)为第一不良词汇表中的词语与预构建文明词汇库中词向量的共现频率，PMI(Q，Iword)为第一不良词汇表中的词语与预构建不文明词汇库中词向量的共现频率，SO-PMI(Q)为第一不良词汇表中词语Q的情感倾向强度值。
优选地，情感倾向强度阈值规则为：
若第一不良词汇表中的词语的情感倾向强度值大于或等于零，则该词语为不满足预设不良词情感趋向规则的词语；
若第一不良词汇表中的词语的情感倾向强度值小于零，则该词语为满足预设不良词情感趋向规则的词语。
优选地，通过词语位置结构法，从第二不良词汇表中筛除不符合不良词汇语句位置结构的词语的步骤包括：
将第二不良词汇表中的词语与预先构建的不良词汇语句模板中的不良词汇所在的语句位置结构进行比较；
从第二不良词汇表中筛除不符合不良词汇语句模板中的不良词汇所在的语句位置结构的词语，得到第三不良词汇表。
本发明之计算机可读存储介质的具体实施方式与上述网络不良数据监控方法、电子装置的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种网络不良数据监控方法，应用于电子装置，其特征在于，所述方法包括：
对目标文本进行分词处理，得到分词集合；
将所述分词集合中的词语与预设不良词汇对照表比对，从所述分词集合中筛选出不良词语，将所述不良词语加载到第一不良词汇表，将所述分词集合中筛选后的剩余词语作为待选词语；
通过词语相似度计算公式，计算出每个所述待选词语与预设不良词汇对照表中词语的相似度均值，将所述相似度均值大于预设相似度阈值的待选词语加载到所述第一不良词汇表；
通过情感分析算法，从所述第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表；
通过词语位置结构法，从所述第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
2.根据权利要求1所述的网络不良数据监控方法，其特征在于，通过词语相似度计算公式，计算出每个待选词语与预设不良词汇对照表中词语的相似度均值的步骤包括：
对每个所述待选词语进行向量化处理，得到待选词语的词向量；
将每个待选词语的词向量分别与预设的不良词的词向量集合中的不良词向量通过词语相似度计算公式进行相似度计算，得到N个相似度值，其中，所述预设的不良词的词向量集合是通过将所述预设不良词汇对照表中词语进行向量化处理得到的词向量集合；
根据N个相似度值，获得所述待选词语与预设不良词汇对照表中词语的相似度均值。
3.根据权利要求1所述的网络不良数据监控方法，其特征在于，所述词语相似度计算公式为：
其中，W1为待选词语的词向量，W2为预设的不良词的词向量集合中任一词向量，n为词向量维度，W1i为W1在i个维度下W1的值，W2i为W2在i个维度下W2的值。
4.根据权利要求1所述的网络不良数据监控方法，其特征在于，通过情感分析算法，从所述第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表的步骤包括：
对所述第一不良词汇表中的词语进行向量化处理，得到待计算词向量；
通过词共现频率计算公式分别计算出所述待计算词向量与预构建文明词汇库中词向量的词共现频率和所述待计算词向量与预构建不文明词汇库中词向量的词共现频率，作为待用词共现频率；
根据所述待用词共现频率，通过情感分析计算公式计算出所述第一不良词汇表中各词语的情感倾向强度值；
将所述第一不良词汇表中各词语的情感倾向强度值与预设情感倾向强度阈值规则比对，根据所述情感倾向强度阈值规则筛除所述第一不良词汇表中不满足预设不良词情感趋向规则的词语，得到第二不良词汇表。
5.根据权利要求4所述的网络不良数据监控方法，其特征在于，所述词共现频率计算公式为：
其中，F(N1，N2)指的是在全部n篇文章中，N1，N2在设定大小的窗口内同时出现的频率，F(N1)，F(N2)指的是在全部n篇文章中N1，N2分别出现的频率。
6.根据权利要求4所述的网络不良数据监控方法，其特征在于，所述情感分析计算公式为：
其中，Q为第一不良词汇表中的词语，Cwords为预构建文明词汇库，Iwords为预构建不文明词汇库，PMI(Q，cword)为第一不良词汇表中的词语与预构建文明词汇库中词向量的共现频率，PMI(Q，Iword)为第一不良词汇表中的词语与预构建不文明词汇库中词向量的共现频率，SO-PMI(Q)为第一不良词汇表中词语Q的情感倾向强度值。
7.根据权利要求4所述的网络不良数据监控方法，其特征在于，所述情感倾向强度阈值规则为：
若所述第一不良词汇表中的词语的情感倾向强度值大于或等于零，则该词语为不满足预设不良词情感趋向规则的词语；
若所述第一不良词汇表中的词语的情感倾向强度值小于零，则该词语为满足预设不良词情感趋向规则的词语。
8.根据权利要求1所述的网络不良数据监控方法，其特征在于，通过词语位置结构法，从所述第二不良词汇表中筛除不符合不良词汇语句位置结构的词语的步骤包括：
将所述第二不良词汇表中的词语与预先构建的不良词汇语句模板中的不良词汇所在的语句位置结构进行比较；
从所述第二不良词汇表中筛除不符合所述不良词汇语句模板中的不良词汇所在的语句位置结构的词语，得到第三不良词汇表。
9.一种电子装置，其特征在于，该电子装置包括：存储器、处理器，所述存储器中存储有网络不良数据监控程序，所述网络不良数据监控程序被所述处理器执行时实现如下步骤：
对目标文本进行分词处理，得到分词集合；
将所述分词集合中的词语与预设不良词汇对照表比对，从所述分词集合中筛选出不良词语，将所述不良词语加载到第一不良词汇表，将所述分词集合中筛选后的剩余词语作为待选词语；
通过词语相似度计算公式，计算出每个所述待选词语与预设不良词汇对照表中词语的相似度均值，将所述相似度均值大于预设相似度阈值的待选词语加载到所述第一不良词汇表；
通过情感分析算法，从所述第一不良词汇表中筛除不满足预设不良词情感趋向规则的词语，得到第二不良词汇表；
通过词语位置结构法，从所述第二不良词汇表中筛除不符合不良词汇语句位置结构的词语，得到第三不良词汇表并输出。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有网络不良数据监控程序，所述网络不良数据监控程序被处理器执行时，实现如权利要求1至8中任一项所述的网络不良数据监控方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010119614.7A CN111400439A (zh) | 2020-02-26 | 2020-02-26 | 网络不良数据监控方法、装置及存储介质 |
| PCT/CN2020/136403 WO2021169499A1 (zh) | 2020-02-26 | 2020-12-15 | 网络不良数据监控方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010119614.7A CN111400439A (zh) | 2020-02-26 | 2020-02-26 | 网络不良数据监控方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111400439A true CN111400439A (zh) | 2020-07-10 |
Family
ID=71428466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010119614.7A Pending CN111400439A (zh) | 2020-02-26 | 2020-02-26 | 网络不良数据监控方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111400439A (zh) |
| WO (1) | WO2021169499A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021169499A1 (zh) * | 2020-02-26 | 2021-09-02 | 平安科技（深圳）有限公司 | 网络不良数据监控方法、装置、系统及存储介质 |
| WO2023061304A1 (zh) * | 2021-10-13 | 2023-04-20 | 广东机电职业技术学院 | 一种基于大数据的威胁情报预警文本分析方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897566B (zh) * | 2022-03-21 | 2023-08-04 | 深圳市单仁牛商科技股份有限公司 | 一种基于大数据的短视频合规性在线诊断分析方法及诊断分析系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464898A (zh) * | 2009-01-12 | 2009-06-24 | 腾讯科技（深圳）有限公司 | 一种提取文本主题词的方法 |
| CN104142913A (zh) * | 2013-05-07 | 2014-11-12 | 株式会社日立制作所 | 词语极性的判别方法和判别系统 |
| CN110825840A (zh) * | 2019-11-08 | 2020-02-21 | 北京声智科技有限公司 | 词库扩充方法、装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101520802A (zh) * | 2009-04-13 | 2009-09-02 | 腾讯科技（深圳）有限公司 | 一种问答对的质量评价方法和系统 |
| CN101639824A (zh) * | 2009-08-27 | 2010-02-03 | 北京理工大学 | 一种针对不良信息的基于情感倾向性分析的文本过滤方法 |
| CN104915327B (zh) * | 2014-03-14 | 2019-01-29 | 腾讯科技（深圳）有限公司 | 一种文本信息的处理方法及装置 |
| CN107992471B (zh) * | 2017-11-10 | 2021-09-10 | 北京光年无限科技有限公司 | 一种人机交互过程中的信息过滤方法及装置 |
| CN108984600B (zh) * | 2018-06-04 | 2020-03-03 | 百度在线网络技术（北京）有限公司 | 交互处理方法、装置、计算机设备及可读介质 |
| CN111400439A (zh) * | 2020-02-26 | 2020-07-10 | 平安科技（深圳）有限公司 | 网络不良数据监控方法、装置及存储介质 |
-
2020
- 2020-02-26 CN CN202010119614.7A patent/CN111400439A/zh active Pending
- 2020-12-15 WO PCT/CN2020/136403 patent/WO2021169499A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101464898A (zh) * | 2009-01-12 | 2009-06-24 | 腾讯科技（深圳）有限公司 | 一种提取文本主题词的方法 |
| CN104142913A (zh) * | 2013-05-07 | 2014-11-12 | 株式会社日立制作所 | 词语极性的判别方法和判别系统 |
| CN110825840A (zh) * | 2019-11-08 | 2020-02-21 | 北京声智科技有限公司 | 词库扩充方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 唐波;陈光;王星雅;王非;陈小慧;: "微博新词发现及情感倾向判断分析", 山东大学学报(理学版), no. 01, pages 20 - 25 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021169499A1 (zh) * | 2020-02-26 | 2021-09-02 | 平安科技（深圳）有限公司 | 网络不良数据监控方法、装置、系统及存储介质 |
| WO2023061304A1 (zh) * | 2021-10-13 | 2023-04-20 | 广东机电职业技术学院 | 一种基于大数据的威胁情报预警文本分析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021169499A1 (zh) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491433B (zh) | 聊天应答方法、电子装置及存储介质 | |
| CN109446517B (zh) | 指代消解方法、电子装置及计算机可读存储介质 | |
| CN109471944B (zh) | 文本分类模型的训练方法、装置及可读存储介质 | |
| WO2017045443A1 (zh) | 一种图像检索方法及系统 | |
| CN107145571B (zh) | 一种搜索方法及装置 | |
| US8041120B2 (en) | Unified digital ink recognition | |
| CN107704480A (zh) | 扩展和强化知识图的方法和系统以及计算机介质 | |
| CN111400439A (zh) | 网络不良数据监控方法、装置及存储介质 | |
| US10282374B2 (en) | System and method for feature recognition and document searching based on feature recognition | |
| CN111797214A (zh) | 基于faq数据库的问题筛选方法、装置、计算机设备及介质 | |
| EP3115907A1 (en) | Common data repository for improving transactional efficiencies of user interactions with a computing device | |
| CN111814465A (zh) | 基于机器学习的信息抽取方法、装置、计算机设备及介质 | |
| CN109634436B (zh) | 输入法的联想方法、装置、设备及可读存储介质 | |
| CN112199588A (zh) | 舆情文本筛选方法及装置 | |
| CN105302849A (zh) | 注释显示辅助设备及辅助注释显示的方法 | |
| WO2016057238A1 (en) | Linking thumbnail of image to web page | |
| CN110598123B (zh) | 基于画像相似性的信息检索推荐方法、装置及存储介质 | |
| CN110750983A (zh) | 语料识别方法、装置、设备及计算机可读存储介质 | |
| US20220058214A1 (en) | Document information extraction method, storage medium and terminal | |
| CN113869063A (zh) | 数据推荐方法、装置、电子设备及存储介质 | |
| CN111858966B (zh) | 知识图谱的更新方法、装置、终端设备及可读存储介质 | |
| CN112559688A (zh) | 财报的阅读难度计算方法、装置、设备及可读存储介质 | |
| CN114742058B (zh) | 一种命名实体抽取方法、装置、计算机设备及存储介质 | |
| CN115563515A (zh) | 文本相似性检测方法、装置、设备及存储介质 | |
| CN111985217B (zh) | 一种关键词提取方法、计算设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40032045 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |