CN113705225A - 敏感词数据处理方法、装置和电子设备 - Google Patents
敏感词数据处理方法、装置和电子设备 Download PDFInfo
- Publication number
- CN113705225A CN113705225A CN202111044386.2A CN202111044386A CN113705225A CN 113705225 A CN113705225 A CN 113705225A CN 202111044386 A CN202111044386 A CN 202111044386A CN 113705225 A CN113705225 A CN 113705225A
- Authority
- CN
- China
- Prior art keywords
- sensitive
- text
- words
- word
- sensitive word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本申请提供一种敏感词数据处理方法、装置和电子设备，涉及数据处理技术，该方法包括：获取待检测文本；利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，其中，所述敏感词词库包括多个疑似敏感词；若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，并生成敏感词提示信息。本申请的方法，通过对待检测文本中的文本敏感词进行上下文匹配处理，可以确定待检测文本的目标敏感词，并生成敏感词提示信息，进而，提高了识别敏感词的准确率，便于用户根据敏感词提示信息确定、修改敏感词。
Description
技术领域
本申请涉及数据处理技术，尤其涉及一种敏感词数据处理方法、装置和电子设备。
背景技术
目前，随着互联网的日益发展，各种网页消息的传播速度极快，具体的，网页消息的种类较多，主要包括健康消息及不健康消息，例如，不健康消息包括色情、暴力等信息，所以，一旦不健康词语在网络中肆意传播，会严重影响网络环境。从而需要对不健康词语这样的敏感词进行检测。
现有技术中，在检测网络中的文本中的敏感词时，依据预先配置的敏感词，检测文本中是否出现与预先配置的敏感词相同的词语。
然而现有技术中，有一些词本身出现在文本中不是一个敏感词，但是由于作者的错误使用或者错误搭配，这些词就变成了敏感词，现有的敏感词检测方法，会对这类敏感词存在误报或者漏报现象，导致检测该类敏感词的准确率较低。
发明内容
本申请提供一种敏感词数据处理方法、装置和电子设备，用以解决识别敏感词的准确率较低的技术问题。
第一方面，本申请提供一种敏感词数据处理方法，包括：
获取待检测文本；
利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，其中，所述敏感词词库包括多个疑似敏感词；
若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，并生成敏感词提示信息。
进一步的，若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，包括：
根据预设的敏感词与检测类型之间的对应关系，确定所述文本敏感词对应的检测类型；
若所述文本敏感词对应的检测类型为上下文敏感类型，则依据所述上下文敏感类型所对应的匹配词语，对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，其中，所述匹配词语包括上文待匹配词语和下文待匹配词语。
进一步的，依据所述上下文敏感类型所对应的匹配词语，对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，包括：
若确定所述文本敏感词与所述上下文敏感类型所对应的匹配词语相同，则确定所述文本敏感词为所述待检测文本的目标敏感词。
进一步的，利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，包括：
若确定所述待检测文本中具有与所述敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。
进一步的，所述方法还包括：
获取多个疑似敏感词，并根据所述多个疑似敏感词建立所述敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，所述检测类型具有对应的匹配词语，所述匹配词语包括上文待匹配词语和下文待匹配词语。
进一步的，所述方法还包括：
若确定所述文本敏感词对应的检测类型为任意敏感类型，则确定所述文本敏感词为所述待检测文本的目标敏感词，并生成敏感词提示信息。
进一步的，所述方法还包括：
针对所述敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。
第二方面，本申请提供一种敏感词数据处理装置，包括：
第一获取单元，用于获取待检测文本；
检测单元，用于利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，其中，所述敏感词词库包括多个疑似敏感词；
第一处理单元，用于若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词；
提示单元，用于生成敏感词提示信息。
进一步的，所述第一处理单元，包括：
确定模块，用于根据预设的敏感词与检测类型之间的对应关系，确定所述文本敏感词对应的检测类型；
处理模块，用于若所述文本敏感词对应的检测类型为上下文敏感类型，则依据所述上下文敏感类型所对应的匹配词语，对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，其中，所述匹配词语包括上文待匹配词语和下文待匹配词语。
进一步的，所述处理模块，具体用于：
若确定所述文本敏感词与所述上下文敏感类型所对应的匹配词语相同，则确定所述文本敏感词为所述待检测文本的目标敏感词。
进一步的，所述检测单元，具体用于：
若确定所述待检测文本中具有与所述敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。
进一步的，所述装置还包括：
第二获取单元，用于获取多个疑似敏感词；
建立单元，用于根据所述多个疑似敏感词建立所述敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，所述检测类型具有对应的匹配词语，所述匹配词语包括上文待匹配词语和下文待匹配词语。
进一步的，所述装置还包括：
第二处理单元，用于若确定所述文本敏感词对应的检测类型为任意敏感类型，则确定所述文本敏感词为所述待检测文本的目标敏感词，并生成敏感词提示信息。
进一步的，所述装置还包括：
生成单元，用于针对所述敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。
第三方面，本申请提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法。
本申请提供的敏感词数据处理方法、装置和电子设备，获取待检测文本；利用预设词典中的敏感词词库对待检测文本进行检测，确定文本敏感词，其中，敏感词词库包括多个疑似敏感词；若确定文本敏感词对应的检测类型为上下文敏感类型，则对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词，并生成敏感词提示信息。本方案中，可以利用预设词典中的敏感词词库对待检测文本进行检测，确定文本敏感词，然后确定文本敏感词对应的检测类型，若确定文本敏感词对应的检测类型为上下文敏感类型，对文本敏感词进行上下文匹配处理，如果文本敏感词与上下文匹配成功，则确定文本敏感词为待检测文本的目标敏感词，并针对目标敏感词生成敏感词提示信息，所以，通过对待检测文本中的文本敏感词进行上下文匹配处理，可以确定待检测文本的目标敏感词，并生成敏感词提示信息，进而，提高了识别敏感词的准确率，便于用户根据敏感词提示信息确定、修改敏感词。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的一种敏感词数据处理方法的流程示例图；
图2为本申请实施例提供的另一种敏感词数据处理方法的流程示例图；
图3为本申请实施例提供的另一种敏感词数据处理方法的流程示例图；
图4为本申请实施例提供的一种敏感词数据处理装置的结构示例图；
图5为本申请实施例提供的另一种敏感词数据处理装置的装置示例图；
图6为本申请实施例提供的一种电子设备的结构示意图；
图7为本申请实施例提供的一种电子设备的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
一个示例中，随着互联网的日益发展，各种网页消息的传播速度极快，具体的，网页消息的种类较多，主要包括健康消息及不健康消息，例如，不健康消息包括色情、暴力等信息，所以，一旦不健康词语在网络中肆意传播，会严重影响网络环境。从而需要对不健康词语这样的敏感词进行检测。现有技术中，在检测网络中的文本中的敏感词时，依据预先配置的敏感词，检测文本中是否出现与预先配置的敏感词相同的词语，还能检测预先配置的敏感词的变体、有干扰符号的情况。然而现有技术有一些词本身出现在文本中不是一个敏感词，但是由于作者的错误使用或者错误搭配，这些词就变成了敏感词，现有的敏感词检测方法，会对这类敏感词存在误报或者漏报现象，导致检测该类敏感词的准确率较低。
本申请提供的敏感词数据处理方法、装置和电子设备，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1为本申请实施例提供的一种敏感词数据处理方法的流程示例图，如图1所示，该包括：
101、获取待检测文本。
示例性地，本实施例的执行主体可以为电子设备、或者终端设备、或者敏感词数据处理装置或设备、或者其他可以执行本实施例的装置或设备，对此不做限制。本实施例中以执行主体为电子设备进行介绍。
首先，需要获取待检测文本。可以从存储器中获取待检测文本；或者，从网页上获取待检测文本，或者接收其他设备传输的待检测文本。初始的待检测文本，可以是word文档、或者图片、PDF文件；可以将初始的待检测文本转换为可以识别出词语的待检测文本。
102、利用预设词典中的敏感词词库对待检测文本进行检测，确定文本敏感词，其中，敏感词词库包括多个疑似敏感词。
示例性地，预先建立了一个预设词典，该中包括了一个敏感词词库，敏感词词库由多个疑似敏感词构成，所以电子设备可以根据预设词典中的敏感词词库对待检测文本进行检测，当待检测文本中出现与疑似敏感词相同的词语时，可以将词语确定为文本敏感词。
103、若确定文本敏感词对应的检测类型为上下文敏感类型，则对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词。
示例性地，检测类型包括任意敏感类型及上下文敏感类型，其中，上下文敏感类型包括：在某个词中敏感、同某些词并列敏感、不加标点敏感、加标点敏感、数字敏感、段内出现敏感、特征敏感及句内出现敏感等类型。首先可以分析出文本敏感词对应的检测类型；若确定文本敏感词对应的检测类型为上下文敏感类型，则可以采用上下文匹配处理方法对文本敏感词进行处理，进而得到待检测文本的目标敏感词。
一个示例中，图3为本申请实施例提供的另一种敏感词数据处理方法的流程示例图，如图3所示，任意敏感类型包括：只要文本敏感词出现在待检测文本中，则直接认定该文本敏感词为目标敏感词；在某个词中敏感包括：文本敏感词出现在某个词中，则为目标敏感词，即该目标敏感词的上下文为配置的指定敏感词，指定敏感词相当于预设词典中的匹配词语，则认为该文本敏感词为目标敏感词；同某些词并列敏感包括：定位到文本敏感词，检查该文本敏感词是否与配置的指定敏感词之间用指定并列分隔符号相连，如果是，则提示目标敏感词；不加标点敏感包括：定位到文本敏感词，检测该文本敏感词是否位于引号中，如果该文本敏感词前后没有加双引号，则提示该文本敏感词为目标敏感词；加标点敏感包括：定位到文本敏感词，检测该文本敏感词是否位于引号中，如果该词前后加了双引号，则提示该文本敏感词为目标敏感词；数字敏感包括：该方法检测含有数字的敏感词词中数字是否使用正确，首先将文本敏感词按照词语中的数字分隔，匹配到分隔后最长的词，然后进行上下文数字和文本匹配，若匹配成功，判断数字使用是否规范，如果不规范则提示该文本敏感词为目标敏感词；段内出现敏感包括：定位到文本敏感词，检查该文本敏感词所在自然段内是否同时出现该文本敏感词所配置的并列敏感词，并列敏感词相当于预设词典中的匹配词语，若同时出现，则提示相应的敏感词；特征敏感包括：根据特征查敏感词，对敏感词特征进行总结，具体的，定位到文本敏感词起始部分，检查起始部分与截止部分均匹配的，中间间隔指定字数的词，作为目标敏感词进行提示；句内出现敏感包括：定位到文本敏感词，检查该文本敏感词所在句内是否同时出现该文本敏感词所配置的并列敏感词，若同时出现，则提示相应词为敏感词。
104、生成敏感词提示信息。
示例性地，电子设备确定出目标敏感词后，根据目标敏感词生成敏感词提示信息，进而提示用户待检测文本中具有敏感词。其中，敏感词提示信息，可以为以下的任意一种：弹窗提示、文本提示、语音提示。
本申请实施例中，获取待检测文本；利用预设词典中的敏感词词库对待检测文本进行检测，确定文本敏感词，其中，敏感词词库包括多个疑似敏感词；若确定文本敏感词对应的检测类型为上下文敏感类型，则对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词，并生成敏感词提示信息。本方案中，可以利用预设词典中的敏感词词库对待检测文本进行检测，确定文本敏感词，然后确定文本敏感词对应的检测类型，若确定文本敏感词对应的检测类型为上下文敏感类型，对文本敏感词进行上下文匹配处理，如果文本敏感词与上下文匹配成功，则确定文本敏感词为待检测文本的目标敏感词，并针对目标敏感词生成敏感词提示信息，所以，通过对待检测文本中的文本敏感词进行上下文匹配处理，可以确定待检测文本的目标敏感词，并生成敏感词提示信息，进而，提高了识别敏感词的准确率，便于用户根据敏感词提示信息确定、修改敏感词。
图2为本申请实施例提供的另一种敏感词数据处理方法的流程示例图，如图2所示，该方法包括：
201、获取多个疑似敏感词，并根据多个疑似敏感词建立敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，检测类型具有对应的匹配词语，匹配词语包括上文待匹配词语和下文待匹配词语。
示例性地，本实施例的执行主体可以为电子设备、或者终端设备、或者敏感词数据处理装置或设备、或者其他可以执行本实施例的装置或设备，对此不做限制。本实施例中以执行主体为电子设备进行介绍。
电子设备可以预先获取多个疑似敏感词，并根据多个疑似敏感词建立敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，检测类型具有对应的检测规则及匹配词语，匹配词语包括上文待匹配词语和下文待匹配词语，所以，可以基于敏感词词库、检测规则及匹配词语建立预设词典，具体的，预设词典可以是二进制词典。
202、获取待检测文本。
示例性地，本步骤可以参见图1中的步骤101，不再赘述。
203、若确定待检测文本中具有与敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。其中，敏感词词库包括多个疑似敏感词。
示例性地，将待检测文本中的词语与敏感词词库中的疑似敏感词进行比较，若确定待检测文本中具有与疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。
204、根据预设的敏感词与检测类型之间的对应关系，确定文本敏感词对应的检测类型。
示例性的，检测类型包括任意敏感类型及上下文敏感类型，电子设备可以根据预设的敏感词与检测类型之间的对应关系，确定文本敏感词对应的检测类型。
205、若文本敏感词对应的检测类型为上下文敏感类型，则依据上下文敏感类型所对应的匹配词语，对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词，其中，匹配词语包括上文待匹配词语和下文待匹配词语。
一个示例中，步骤205具体包括：若文本敏感词对应的检测类型为上下文敏感类型，则若确定文本敏感词与上下文敏感类型所对应的匹配词语相同，则确定文本敏感词为待检测文本的目标敏感词。
示例性地，在步骤204之后，如果文本敏感词对应的检测类型为上下文敏感类型，则根据上下文敏感类型对应的检测规则及匹配词语，判断文本敏感词是否与上下文敏感类型所对应的匹配词语相同，若确定文本敏感词与上下文敏感类型所对应的匹配词语相同，则确定文本敏感词为待检测文本的目标敏感词，其中，匹配词语包括上文待匹配词语和下文待匹配词语。
206、若确定文本敏感词对应的检测类型为任意敏感类型，则确定文本敏感词为待检测文本的目标敏感词。
示例性地，任意敏感类型是指文本敏感词只要出现在待检测文本中，则直接认定该文本敏感词为目标敏感词，示例性地，在步骤204之后，电子设备若确定文本敏感词对应的检测类型为任意敏感类型，则可以直接确定文本敏感词为待检测文本的目标敏感词。
207、生成敏感词提示信息。
示例性地，在步骤205或者步骤206之后，电子设备可以根据目标敏感词生成敏感词提示信息，还能根据颜色、下划线或标注等方式标记目标敏感词的位置。
208、针对敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。
示例性地，电子设备可以针对敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息，文本修改信息包括针对目标敏感词的修改方法等。
本申请实施例中，获取多个疑似敏感词，并根据多个疑似敏感词建立敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，检测类型具有对应的匹配词语，匹配词语包括上文待匹配词语和下文待匹配词语；获取待检测文本；若确定待检测文本中具有与敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词；根据预设的敏感词与检测类型之间的对应关系，确定文本敏感词对应的检测类型；若文本敏感词对应的检测类型为上下文敏感类型，则依据上下文敏感类型所对应的匹配词语，对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词；若确定文本敏感词对应的检测类型为任意敏感类型，则确定文本敏感词为待检测文本的目标敏感词；生成敏感词提示信息；针对敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。所以，基于敏感词词库及匹配词语等信息，对待检测文本中的文本敏感词进行上下文匹配处理，可以确定待检测文本的目标敏感词，并生成敏感词提示信息及文本修改信息，进而，提高了识别敏感词的准确率，便于用户根据敏感词提示信息确定、修改敏感词，解决了识别敏感词的准确率较低的技术问题。
图4为本申请实施例提供的一种敏感词数据处理装置的结构示意图，如图4所示，该装置包括：
第一获取单元41，用于获取待检测文本。
检测单元42，用于利用预设词典中的敏感词词库对待检测文本进行检测，确定文本敏感词，其中，敏感词词库包括多个疑似敏感词。
第一处理单元43，用于若确定文本敏感词对应的检测类型为上下文敏感类型，则对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词。
提示单元44，用于生成敏感词提示信息。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图5为本申请实施例提供的另一种敏感词数据处理装置的结构示意图，在图4所示实施例的基础上，如图5所示，第一处理单元43，包括：
确定模块431，用于根据预设的敏感词与检测类型之间的对应关系，确定文本敏感词对应的检测类型。
处理模块432，用于若文本敏感词对应的检测类型为上下文敏感类型，则依据上下文敏感类型所对应的匹配词语，对文本敏感词进行上下文匹配处理，得到待检测文本的目标敏感词，其中，匹配词语包括上文待匹配词语和下文待匹配词语。
一个示例中，处理模块43，具体用于：若确定文本敏感词与上下文敏感类型所对应的匹配词语相同，则确定文本敏感词为待检测文本的目标敏感词。
一个示例中，检测单元42，具体用于：
若确定待检测文本中具有与敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。
一个示例中，本实施例提供的装置，还包括：
第二获取单元51，用于获取多个疑似敏感词。
建立单元52，用于根据多个疑似敏感词建立敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，检测类型具有对应的匹配词语，匹配词语包括上文待匹配词语和下文待匹配词语。
一个示例中，本实施例提供的装置，还包括：
第二处理单元53，用于若确定文本敏感词对应的检测类型为任意敏感类型，则确定文本敏感词为待检测文本的目标敏感词。
一个示例中，本实施例提供的装置，还包括：
生成单元54，用于针对敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图6为本发明实施例提供的一种电子设备的结构示意图，如图6所示，电子设备包括：存储器61，处理器62；
存储器61中存储有可在处理器62上运行的计算机程序；
处理器62被配置为执行如上述实施例提供的方法。
电子设备还包括接收器63和发送器64。接收器63用于接收外部设备发送的指令和数据，发送器64用于向外部设备发送指令和数据。
图7是本发明实施例提供的一种电子设备的框图，该电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例提供的方法。
本发明实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (17)
1.一种敏感词数据处理方法，其特征在于，包括：
获取待检测文本；
利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，其中，所述敏感词词库包括多个疑似敏感词；
若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，并生成敏感词提示信息。
2.根据权利要求1所述的方法，其特征在于，若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，包括：
根据预设的敏感词与检测类型之间的对应关系，确定所述文本敏感词对应的检测类型；
若所述文本敏感词对应的检测类型为上下文敏感类型，则依据所述上下文敏感类型所对应的匹配词语，对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，其中，所述匹配词语包括上文待匹配词语和下文待匹配词语。
3.根据权利要求2所述的方法，其特征在于，依据所述上下文敏感类型所对应的匹配词语，对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，包括：
若确定所述文本敏感词与所述上下文敏感类型所对应的匹配词语相同，则确定所述文本敏感词为所述待检测文本的目标敏感词。
4.根据权利要求1所述的方法，其特征在于，利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，包括：
若确定所述待检测文本中具有与所述敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个疑似敏感词，并根据所述多个疑似敏感词建立所述敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，所述检测类型具有对应的匹配词语，所述匹配词语包括上文待匹配词语和下文待匹配词语。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
若确定所述文本敏感词对应的检测类型为任意敏感类型，则确定所述文本敏感词为所述待检测文本的目标敏感词，并生成敏感词提示信息。
7.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
针对所述敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。
8.一种敏感词数据处理装置，其特征在于，包括：
第一获取单元，用于获取待检测文本；
检测单元，用于利用预设词典中的敏感词词库对所述待检测文本进行检测，确定文本敏感词，其中，所述敏感词词库包括多个疑似敏感词；
第一处理单元，用于若确定所述文本敏感词对应的检测类型为上下文敏感类型，则对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词；
提示单元，用于生成敏感词提示信息。
9.根据权利要求8所述的装置，其特征在于，所述第一处理单元，包括：
确定模块，用于根据预设的敏感词与检测类型之间的对应关系，确定所述文本敏感词对应的检测类型；
处理模块，用于若所述文本敏感词对应的检测类型为上下文敏感类型，则依据所述上下文敏感类型所对应的匹配词语，对所述文本敏感词进行上下文匹配处理，得到所述待检测文本的目标敏感词，其中，所述匹配词语包括上文待匹配词语和下文待匹配词语。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，具体用于：
若确定所述文本敏感词与所述上下文敏感类型所对应的匹配词语相同，则确定所述文本敏感词为所述待检测文本的目标敏感词。
11.根据权利要求8所述的装置，其特征在于，所述检测单元，具体用于：
若确定所述待检测文本中具有与所述敏感词词库中的疑似敏感词相同的相同词语，则确定该相同词语为文本敏感词。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取单元，用于获取多个疑似敏感词；
建立单元，用于根据所述多个疑似敏感词建立所述敏感词词库，并建立敏感词与检测类型之间的对应关系，其中，所述检测类型具有对应的匹配词语，所述匹配词语包括上文待匹配词语和下文待匹配词语。
13.根据权利要求8-12任一项所述的装置，其特征在于，所述装置还包括：
第二处理单元，用于若确定所述文本敏感词对应的检测类型为任意敏感类型，则确定所述文本敏感词为所述待检测文本的目标敏感词，并生成敏感词提示信息。
14.根据权利要求8-12任一项所述的装置，其特征在于，所述装置还包括：
生成单元，用于针对所述敏感词提示信息中包括的目标敏感词，生成并发送文本修改信息。
15.一种电子设备，其特征在于，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的方法。
17.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111044386.2A CN113705225A (zh) | 2021-09-07 | 2021-09-07 | 敏感词数据处理方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111044386.2A CN113705225A (zh) | 2021-09-07 | 2021-09-07 | 敏感词数据处理方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113705225A true CN113705225A (zh) | 2021-11-26 |
Family
ID=78660839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111044386.2A Pending CN113705225A (zh) | 2021-09-07 | 2021-09-07 | 敏感词数据处理方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705225A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114840477A (zh) * | 2022-06-30 | 2022-08-02 | 深圳乐播科技有限公司 | 一种基于云会议的文件敏感指数确定方法及相关产品 |
| CN115408490A (zh) * | 2022-11-01 | 2022-11-29 | 广东省信息工程有限公司 | 一种基于知识库的官文校对方法、系统、设备及存储介质 |
| CN117077678A (zh) * | 2023-10-13 | 2023-11-17 | 河北神玥软件科技股份有限公司 | 一种敏感词识别方法、装置、设备及介质 |
| CN117313695A (zh) * | 2023-09-01 | 2023-12-29 | 鹏城实验室 | 文本敏感性检测方法、装置、电子设备及可读存储介质 |
| CN117349889A (zh) * | 2023-10-20 | 2024-01-05 | 深圳市志合创伟信息技术有限公司 | 一种基于云计算的安全数据的访问控制方法、系统及终端 |
| WO2024011933A1 (zh) * | 2022-07-11 | 2024-01-18 | 华为云计算技术有限公司 | 一种组合敏感词检测方法、装置及集群 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110727766A (zh) * | 2019-10-18 | 2020-01-24 | 上海斗象信息科技有限公司 | 敏感词的检测方法 |
| CN111241389A (zh) * | 2019-12-30 | 2020-06-05 | 陕西数字基地出版传媒集团有限公司 | 基于矩阵的敏感词过滤方法、装置、电子设备、存储介质 |
| CN112631436A (zh) * | 2020-12-22 | 2021-04-09 | 科大讯飞股份有限公司 | 输入法敏感词的过滤方法及装置 |
| CN113010637A (zh) * | 2021-02-24 | 2021-06-22 | 世纪龙信息网络有限责任公司 | 一种文本审核方法及装置 |
-
2021
- 2021-09-07 CN CN202111044386.2A patent/CN113705225A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110727766A (zh) * | 2019-10-18 | 2020-01-24 | 上海斗象信息科技有限公司 | 敏感词的检测方法 |
| CN111241389A (zh) * | 2019-12-30 | 2020-06-05 | 陕西数字基地出版传媒集团有限公司 | 基于矩阵的敏感词过滤方法、装置、电子设备、存储介质 |
| CN112631436A (zh) * | 2020-12-22 | 2021-04-09 | 科大讯飞股份有限公司 | 输入法敏感词的过滤方法及装置 |
| CN113010637A (zh) * | 2021-02-24 | 2021-06-22 | 世纪龙信息网络有限责任公司 | 一种文本审核方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李志敏: "《垃圾邮件识别与处理技术研究》", 31 December 2015, 北京理工大学出版社, pages: 22 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114840477A (zh) * | 2022-06-30 | 2022-08-02 | 深圳乐播科技有限公司 | 一种基于云会议的文件敏感指数确定方法及相关产品 |
| CN114840477B (zh) * | 2022-06-30 | 2022-09-27 | 深圳乐播科技有限公司 | 一种基于云会议的文件敏感指数确定方法及相关产品 |
| WO2024011933A1 (zh) * | 2022-07-11 | 2024-01-18 | 华为云计算技术有限公司 | 一种组合敏感词检测方法、装置及集群 |
| CN115408490A (zh) * | 2022-11-01 | 2022-11-29 | 广东省信息工程有限公司 | 一种基于知识库的官文校对方法、系统、设备及存储介质 |
| CN117313695A (zh) * | 2023-09-01 | 2023-12-29 | 鹏城实验室 | 文本敏感性检测方法、装置、电子设备及可读存储介质 |
| CN117313695B (zh) * | 2023-09-01 | 2024-07-30 | 鹏城实验室 | 文本敏感性检测方法、装置、电子设备及可读存储介质 |
| CN117077678A (zh) * | 2023-10-13 | 2023-11-17 | 河北神玥软件科技股份有限公司 | 一种敏感词识别方法、装置、设备及介质 |
| CN117077678B (zh) * | 2023-10-13 | 2023-12-29 | 河北神玥软件科技股份有限公司 | 一种敏感词识别方法、装置、设备及介质 |
| CN117349889A (zh) * | 2023-10-20 | 2024-01-05 | 深圳市志合创伟信息技术有限公司 | 一种基于云计算的安全数据的访问控制方法、系统及终端 |
| CN117349889B (zh) * | 2023-10-20 | 2024-10-18 | 深圳市志合创伟信息技术有限公司 | 一种基于云计算的安全数据的访问控制方法、系统及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113705225A (zh) | 敏感词数据处理方法、装置和电子设备 | |
| US10296201B2 (en) | Method and apparatus for text selection | |
| CN110781813B (zh) | 图像识别方法及装置、电子设备和存储介质 | |
| CN109799916B (zh) | 一种候选项联想方法和装置 | |
| CN110569329B (zh) | 数据处理方法及装置、电子设备和存储介质 | |
| CN105376412A (zh) | 信息处理的方法及装置 | |
| EP3644177A1 (en) | Input method, device, apparatus, and storage medium | |
| CN111813932B (zh) | 文本数据的处理方法、分类方法、装置及可读存储介质 | |
| CN110673753B (zh) | 按键误触纠错方法及装置 | |
| CN105101121B (zh) | 一种信息发送的方法及装置 | |
| CN113987128A (zh) | 相关文章搜索方法、装置、电子设备和存储介质 | |
| CN113920293A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
| CN107179837B (zh) | 输入方法及装置 | |
| CN110213062B (zh) | 处理消息的方法及装置 | |
| CN111324214B (zh) | 一种语句纠错方法和装置 | |
| CN104636320A (zh) | 数据处理方法及装置 | |
| CN111079421A (zh) | 一种文本信息分词处理的方法、装置、终端及存储介质 | |
| CN108108356B (zh) | 一种文字翻译方法、装置及设备 | |
| CN110084065B (zh) | 数据脱敏方法及装置 | |
| RU2636673C2 (ru) | Способ и устройство для сохранения строки | |
| CN110837741B (zh) | 一种机器翻译方法、装置及系统 | |
| CN107526683B (zh) | 应用程序功能冗余度的检测方法、装置及存储介质 | |
| CN110620960B (zh) | 视频的字幕处理方法及装置 | |
| CN106919395B (zh) | 应用通知显示方法及装置 | |
| CN112000571A (zh) | 一种测试方法、装置和用于测试的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |