CN114330308A - 多模态违禁词检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了多模态违禁词检测方法、装置、计算机设备及存储介质。所述方法包括：获取终端上传的音视频数据以及文字数据，以得到初始文件；对所述初始文件提取文字，以得到待检测文本语料；对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；根据所述检测结果生成修改意见。通过实施本发明实施例的方法可实现自动检测短视频内容是否存在违禁词，效率高，且准确率高。

Description

多模态违禁词检测方法、装置、计算机设备及存储介质

技术领域

本发明涉及词语检测方法，更具体地说是指多模态违禁词检测方法、装置、计算机设备及存储介质。

背景技术

自媒体从业者每发布一个短视频于第三方平台时，都需要主动再三检查短视频中的文案信息是否有违背短视频平台规则，一旦不小心违背了相关不该出现的词语，轻则限制流量，重则会导致封号。

而传统的违禁词检查方法则是根据个人的经验积累，一遍又一遍观看制作好的短视频内容，从而发现是否存在违禁词，此方法效率低下，且纯靠经验积累，内容非常容易触碰到平台规则，从而存在限流或封号的风险。

因此，有必要设计一种新的方法，实现自动检测短视频内容是否存在违禁词，效率高，且准确率高。

发明内容

本发明的目的在于克服现有技术的缺陷，提供多模态违禁词检测方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：多模态违禁词检测方法，包括：

获取终端上传的音视频数据以及文字数据，以得到初始文件；

对所述初始文件提取文字，以得到待检测文本语料；

对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；

根据所述检测结果生成修改意见。

其进一步技术方案为：所述对所述初始文件提取文字，以得到待检测文本语料，包括：

采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；

将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；

整合所述文字内容以及所述文字数据，以得到待检测文本语料。

其进一步技术方案为：所述对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果，包括：

对所述待检测文本语料进行停用词过滤，以得到过滤结果；

定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；

构建违禁词树；

定义字典以及长度数组；

将所述违禁词树存储于字典内；

遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；

输出所述第一数组，以得到检测结果。

其进一步技术方案为：所述构建违禁词树，包括：

创建一个哈希表，以得到树的空白根节点；

遍历违禁词词库，得到当前违禁词字符串；

遍历所述当前违禁词字符串，得到当前字符；

判断树结构中是否包含所述当前字符；

若树结构中未包含所述当前字符，则构建树的一个节点，并将所述当前字符作为新节点的字符，执行所述遍历所述当前违禁词字符串，得到当前字符；

若树结构中包含所述当前字符，则判断当前遍历的字符是否是当前违禁词字符串的最后一个字符；

若当前遍历的字符是当前违禁词字符串的最后一个字符，则判断当前违禁词字符串是否是违禁词词库内的最后一个违禁词字符串；

若当前违禁词字符串是违禁词词库内的最后一个违禁词字符串，则输出树结构，以得到违禁词树；

若当前违禁词字符串不是违禁词词库内的最后一个违禁词字符串，则遍历违禁词词库中的下一个违禁词字符串，得到当前违禁词字符串，并执行所述遍历所述当前违禁词字符串，得到当前字符；

若当前遍历的字符不是当前违禁词字符串的最后一个字符，则向下遍历当前违禁词字符串，以更新当前字符，并执行所述判断树结构中是否包含所述当前字符。

其进一步技术方案为：所述遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内，包括：

获取所述过滤结果的第一个字符，以得到当前字符；

判断所述字典内的违禁词树中是否存在当前字符的节点；

若所述字典内的违禁词树中存在当前字符的节点，则将长度数组加一；

判断当前字符的节点是否是违禁词树的叶子结点；

若当前字符的节点是违禁词树的叶子结点，则从当前字符开始，长度为长度数组的数值的字符为违禁词，将所述违禁词存储第一数组内；

判断当前字符是否是所述过滤结果中的最后一个字符；

若当前字符是所述过滤结果中的最后一个字符，则执行所述输出所述第一数组，以得到检测结果；

若当前字符不是所述过滤结果中的最后一个字符，则获取当前字符的下一个字符，以更新所述当前字符，并执行所述判断所述字典内的违禁词树中是否存在当前字符的节点；

若当前字符的节点不是违禁词树的叶子结点，则执行所述获取当前字符的下一个字符，以更新所述当前字符；

若所述字典内的违禁词树中不存在当前字符的节点，则执行所述获取当前字符的下一个字符，以更新所述当前字符。

本发明还提供了多模态违禁词检测装置，包括：

文件获取单元，用于获取终端上传的音视频数据以及文字数据，以得到初始文件；

提取单元，用于对所述初始文件提取文字，以得到待检测文本语料；

检测单元，用于对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；

意见生成单元，用于根据所述检测结果生成修改意见。

其进一步技术方案为：所述提取单元包括：

音频提取子单元，用于采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；

文字转化子单元，用于将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；

整合子单元，用于整合所述文字内容以及所述文字数据，以得到待检测文本语料。

其进一步技术方案为：所述检测单元包括：

过滤子单元，用于对所述待检测文本语料进行停用词过滤，以得到过滤结果；

数组定义子单元，用于定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；

构建子单元，用于构建违禁词树；

字典定义子单元，用于定义字典以及长度数组；

存储子单元，用于将所述违禁词树存储于字典内；

遍历子单元，用于遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；

输出子单元，用于输出所述第一数组，以得到检测结果。

本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明与现有技术相比的有益效果是：本发明通过获取终端上传的音视频数据以及文字数据，利用python的moviepy将视频数据转为音频数据，借用第三方技术将音频转为文字，利用DFA的思想，对所述待检测文本语料结合违禁词树进行违禁词检测，并根据检测结果生成修改意见，实现自动检测短视频内容是否存在违禁词，效率高，且准确率高。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的多模态违禁词检测方法的应用场景示意图；

图2为本发明实施例提供的多模态违禁词检测方法的流程示意图；

图3为本发明实施例提供的多模态违禁词检测方法的子流程示意图；

图4为本发明实施例提供的多模态违禁词检测方法的子流程示意图；

图5为本发明实施例提供的多模态违禁词检测方法的子流程示意图；

图6为本发明实施例提供的多模态违禁词检测方法的子流程示意图；

图7为本发明实施例提供的违禁词树的示意图；

图8为本发明实施例提供的多模态违禁词检测装置的示意性框图；

图9为本发明实施例提供的多模态违禁词检测装置的提取单元的示意性框图；

图10为本发明实施例提供的多模态违禁词检测装置的检测单元的示意性框图；

图11为本发明实施例提供的多模态违禁词检测装置的构建子单元的示意性框图；

图12为本发明实施例提供的多模态违禁词检测装置的遍历子单元的示意性框图；

图13为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的多模态违禁词检测方法的应用场景示意图。图2为本发明实施例提供的多模态违禁词检测方法的示意性流程图。该多模态违禁词检测方法应用于服务器中。该服务器与终端进行数据交互，通过终端获取用户上传的音视频数据以及文字数据，将这些文件转换为文字，并结合违禁词树进行违禁词检测，根据检测结果生成修改意见，以便于终端持有者即用户进行修改。

图2是本发明实施例提供的多模态违禁词检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。

S110、获取终端上传的音视频数据以及文字数据，以得到初始文件。

在本实施例中，初始文件是指终端上传的音视频数据以及文字数据。

在本实施例中，终端所上传的音视频数据存放在云服务器中，如阿里的oss、七牛云等。

S120、对所述初始文件提取文字，以得到待检测文本语料。

在本实施例中，待检测文本语料是指初始文件转换为文字所得的结果。

在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S123。

S121、采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件。

在本实施例中，首先需要将初始文件中的视频数据内的音频内容提取出来，以便于转换为文字，进行违禁词的检测。

S122、将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容。

在本实施例中，文字内容是指将提取所得的音频文件与初始文件中的音频数据一起转化为文字，以便于后续的违禁词检测。

S123、整合所述文字内容以及所述文字数据，以得到待检测文本语料。

在本实施例中，首先对初始文件的三个部分进行判断，以筛选出视频数据，对视频数据进行音频提取，并与初始文件的音频数据一起转化为文字，与初始文件内的文字数据进行合并，由此形成待检测文本语料，在进行音频转化为文字时，可以利用第三方接口将音频转化为文字，如阿里的语音识别接口。

S130、对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果。

在本实施例中，检测结果是指待检测文本语料内的违禁词，可以为空，也可以不是空，当检测结果不是空集时，检测结果除了展示违禁词，还会把其所在的位置展示。

在本实施例中，采用DFA(确定有穷自动机，Deterministic Finite Automaton)的思想检测违禁词，实现自动检测短视频内容是否存在违禁词，效率高，且准确率高。

在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S137。

S131、对所述待检测文本语料进行停用词过滤，以得到过滤结果。

在本实施例中，过滤结果是指对待检测文本语料进行停用词滤除处理后得到的文本。

对待检测文本语料进行停用词过滤，可以加快文本检测的速度，记过滤结果为text。

S132、定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组。

在本实施例中，第一数组是指用于存储违禁词的数组，也就是一个集合，初始值为零。

S133、构建违禁词树。

在本实施例中，违禁词树是指将所有违禁词作为节点的树。违禁词树采用改进后的Trie树结构。违禁词树具备一下特征：根节点不包含任何字符；除根节点以外的每个节点记录不定量的字符串以及结束标志符号，子节点采用哈希机制；从根节点到某一个节点路径上的所有字符串连接起来构成新的字符串；每个词的公共前缀共享一个分支。

在一实施例中，请参阅图5，上述的步骤S133可包括步骤S133a～S133j。

S133a、创建一个哈希表，以得到树的空白根节点；

S133b、遍历违禁词词库，得到当前违禁词字符串。

在本实施例中，违禁词词库是由若干个违禁词字符串构成的数据库，这些违禁词字符串可以是事先确定好的。

S133cn、遍历所述当前违禁词字符串，得到当前字符。

在本实施例中，当前字符是指当前违禁词字符串内的某个字符。

S133d、判断树结构中是否包含所述当前字符；

S133e、若树结构中未包含所述当前字符，则构建树的一个节点，并将所述当前字符作为新节点的字符，执行所述步骤S133c；

S133f、若树结构中包含所述当前字符，则判断当前遍历的字符是否是当前违禁词字符串的最后一个字符；

S133g、若当前遍历的字符是当前违禁词字符串的最后一个字符，则判断当前违禁词字符串是否是违禁词词库内的最后一个违禁词字符串；

S133h、若当前违禁词字符串是违禁词词库内的最后一个违禁词字符串，则输出树结构，以得到违禁词树；

S133i、若当前违禁词字符串不是违禁词词库内的最后一个违禁词字符串，则遍历违禁词词库中的下一个违禁词字符串，得到当前违禁词字符串，并执行步骤S133c；

S133j、若当前遍历的字符不是当前违禁词字符串的最后一个字符，则向下遍历当前违禁词字符串，以更新当前字符，执行所述步骤S133d。

上述的步骤S133a～S133j，是对违禁词词库内的每个违禁词字符串的每个字符都进行遍历，以每个字符作为树的节点，构建整个违禁词树，以便于后续检测违禁词时，可快速查找违禁词。

在另一实施例中，上述的步骤S133可直接放置在步骤S110之前执行，也就是最开始就构建违禁词树，在进行违禁词使用时，可以沿用已经构建的违禁词树，只有在违禁词词库更新时，才会对违禁词树采用上述的步骤S133a～S133j的步骤进行再次更新。

举一个例子：假设违禁词词库有“煞笔”、“王八蛋”、“王八羔子”这三个词，则构建的违禁词树如图7所示，在采用代码构建违禁词树时，用is_end表示当前字符是否为叶子结点，即结束状态。

S134、定义字典以及长度数组。

在本实施例中，字典是用于存储违禁词树的数组；长度数组适用于存储违禁词长度的数组。

定义nowMap的字典来存储违禁词树，定义长度数组lenth来存储检测到的违禁词长度，初始值为0。

S135、将所述违禁词树存储于字典内；

S136、遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内。

在一实施例中，请参阅图6，上述的步骤S136可包括步骤S1361～S1367。

S1361、获取所述过滤结果的第一个字符，以得到当前字符；

S1362、判断所述字典内的违禁词树中是否存在当前字符的节点；

S1363、若所述字典内的违禁词树中存在当前字符的节点，则将长度数组加一；

S1364、判断当前字符的节点是否是违禁词树的叶子结点；

S1365、若当前字符的节点是违禁词树的叶子结点，则从当前字符开始，长度为长度数组的数值的字符为违禁词，将所述违禁词存储第一数组内；

S1366、判断当前字符是否是所述过滤结果中的最后一个字符；

若当前字符是所述过滤结果中的最后一个字符，则执行步骤S137；

S1367、若当前字符不是所述过滤结果中的最后一个字符，则获取当前字符的下一个字符，以更新所述当前字符，并执行所述步骤S1362；

若当前字符的节点不是违禁词树的叶子结点，则执行所述步骤S1367；

若所述字典内的违禁词树中不存在当前字符的节点，则执行所述步骤S1367。

从过滤结果的第一个字符开始，循环执行以下操作，直到过滤结果最后一个字符被执行结束，定义一个整型变量i表示过滤结果的当前位置，初始值指向过滤结果的第一个字符位置，以整形变量i标识当前检测的字符。

在本实施例中，取出过滤结果第i个位置上的字符text[i]，判断nowMap上是否存有text[i]对应的节点，即text[i]in nowMap.keys()是否为True，如果nowMap上存有text[i]对应的节点，长度数组length加1；判断字符text[i]是否是叶子结点，即nowMap[text[i]][‘is_end’]是否是1，当字符text[i]是叶子结点，则表明该字符text[i]为结束的字符，则从过滤结果的第i个位置的字符开始，长度为length的所有字符为违禁词，即text[i:i+length]为违禁词，将这些违禁词加入到第一数组内；字符text[i]不是叶子结点，整形变量i加1，再次取出过滤结果第i个位置上的字符text[i]，执行上述的流程。否nowMap上不存有text[i]对应的节点，整形变量i加1，并再次取出过滤结果第i个位置上的字符text[i]，执行上述的流程。由此，结合违禁词树上的每个节点的字符以及叶子结点，对过滤结果内的每个字符都进行检测，筛选出违禁词，全自动执行，准确率高。

S137、输出所述第一数组，以得到检测结果。

在本实施例中，检测结果是指包括检测到的违禁词以及所在的位置，或者是为空。

当未检测到违禁词时，检测结果为空；当检测到违禁词时，将违禁词加入到第一数组中，并且明确指出是违禁词在待检测文本语料的位置，还可以追溯到初始文件内的哪个位置，便于用户修改。

S140、根据所述检测结果生成修改意见。

在本实施例中，当检测出所有的违禁词后，可采用已有的词库给出每个违禁词可替换的词表，由此形成修改意见，供用户修改参考。当然，若检测结果为空，则修改意见也为空。

上述的多模态违禁词检测方法，通过获取终端上传的音视频数据以及文字数据，利用python的moviepy将视频数据转为音频数据，借用第三方技术将音频转为文字，利用DFA的思想，对所述待检测文本语料结合违禁词树进行违禁词检测，并根据检测结果生成修改意见，实现自动检测短视频内容是否存在违禁词，效率高，且准确率高。

图8是本发明实施例提供的一种多模态违禁词检测装置300的示意性框图。如图8所示，对应于以上多模态违禁词检测方法，本发明还提供一种多模态违禁词检测装置300。该多模态违禁词检测装置300包括用于执行上述多模态违禁词检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图8，该多模态违禁词检测装置300包括文件获取单元301、提取单元302、检测单元303以及意见生成单元304。

文件获取单元301，用于获取终端上传的音视频数据以及文字数据，以得到初始文件；提取单元302，用于对所述初始文件提取文字，以得到待检测文本语料；检测单元303，用于对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；意见生成单元304，用于根据所述检测结果生成修改意见。

在一实施例中，如图9所示，所述提取单元302包括音频提取子单元3021、文字转化子单元3022以及整合子单元3023。

音频提取子单元3021，用于采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；文字转化子单元3022，用于将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；整合子单元3023，用于整合所述文字内容以及所述文字数据，以得到待检测文本语料。

在一实施例中，如图10所示，所述检测单元303包括过滤子单元3031、数组定义子单元3032、构建子单元3033、字典定义子单元3034、存储子单元3035、遍历子单元3036以及输出子单元3037。

过滤子单元3031，用于对所述待检测文本语料进行停用词过滤，以得到过滤结果；数组定义子单元3032，用于定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；构建子单元3033，用于构建违禁词树；字典定义子单元3034，用于定义字典以及长度数组；存储子单元3035，用于将所述违禁词树存储于字典内；遍历子单元3036，用于遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；输出子单元3037，用于输出所述第一数组，以得到检测结果。

在一实施例中，如图11所示，所述构建子单元3033包括哈希表创建模块30331、词库遍历模块30332、字符串遍历模块30333、字符判断模块30334、节点创建模块30335、向下遍历模块30336、最后判断模块30337、输出模块30338、下一字符串遍历模块30339以及向下遍历子单元303310。

哈希表创建模块30331，用于创建一个哈希表，以得到树的空白根节点；词库遍历模块30332，用于遍历违禁词词库，得到当前违禁词字符串；字符串遍历模块30333，用于遍历所述当前违禁词字符串，得到当前字符；字符判断模块30334，用于判断树结构中是否包含所述当前字符；节点创建模块30335，用于若树结构中未包含所述当前字符，则构建树的一个节点，并将所述当前字符作为新节点的字符，执行所述遍历所述当前违禁词字符串，得到当前字符；向下遍历模块30336，用于若树结构中包含所述当前字符，则判断当前遍历的字符是否是当前违禁词字符串的最后一个字符；最后判断模块30337，用于若当前遍历的字符是当前违禁词字符串的最后一个字符，则判断当前违禁词字符串是否是违禁词词库内的最后一个违禁词字符串；输出模块30338，用于若当前违禁词字符串是违禁词词库内的最后一个违禁词字符串，则输出树结构，以得到违禁词树；下一字符串遍历模块30339，用于若当前违禁词字符串不是违禁词词库内的最后一个违禁词字符串，则遍历违禁词词库中的下一个违禁词字符串，得到当前违禁词字符串，并执行所述遍历所述当前违禁词字符串，得到当前字符。向下遍历子单元303310，用于若当前遍历的字符不是当前违禁词字符串的最后一个字符，则向下遍历当前违禁词字符串，以更新当前字符，并执行所述判断树结构中是否包含所述当前字符。

在一实施例中，如图12所示，所述遍历子单元3036包括当前字符获取模块30361、节点判断模块30362、长度加一模块30363、结点判断模块30364、存储模块30365、最后字符判断模块30336以及更新模块30337。

当前字符获取模块30361，用于获取所述过滤结果的第一个字符，以得到当前字符；节点判断模块30362，用于判断所述字典内的违禁词树中是否存在当前字符的节点；若所述字典内的违禁词树中不存在当前字符的节点，则执行所述获取当前字符的下一个字符，以更新所述当前字符。长度加一模块30363，用于若所述字典内的违禁词树中存在当前字符的节点，则将长度数组加一；结点判断模块30364，用于判断当前字符的节点是否是违禁词树的叶子结点；若当前字符的节点不是违禁词树的叶子结点，则执行所述获取当前字符的下一个字符，以更新所述当前字符；存储模块30365，用于若当前字符的节点是违禁词树的叶子结点，则从当前字符开始，长度为长度数组的数值的字符为违禁词，将所述违禁词存储第一数组内；最后字符判断模块30336，用于判断当前字符是否是所述过滤结果中的最后一个字符；若当前字符是所述过滤结果中的最后一个字符，则执行所述输出所述第一数组，以得到检测结果；更新模块30337，用于若当前字符不是所述过滤结果中的最后一个字符，则获取当前字符的下一个字符，以更新所述当前字符，并执行所述判断所述字典内的违禁词树中是否存在当前字符的节点。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述多模态违禁词检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述多模态违禁词检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图13所示的计算机设备上运行。

请参阅图13，图13是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图13，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种多模态违禁词检测方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种多模态违禁词检测方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：

获取终端上传的音视频数据以及文字数据，以得到初始文件；对所述初始文件提取文字，以得到待检测文本语料；对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；根据所述检测结果生成修改意见。

在一实施例中，处理器502在实现所述对所述初始文件提取文字，以得到待检测文本语料步骤时，具体实现如下步骤：

采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；整合所述文字内容以及所述文字数据，以得到待检测文本语料。

在一实施例中，处理器502在实现所述对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果步骤时，具体实现如下步骤：

对所述待检测文本语料进行停用词过滤，以得到过滤结果；定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；构建违禁词树；定义字典以及长度数组；将所述违禁词树存储于字典内；遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；输出所述第一数组，以得到检测结果。

在一实施例中，处理器502在实现所述构建违禁词树步骤时，具体实现如下步骤：

创建一个哈希表，以得到树的空白根节点；遍历违禁词词库，得到当前违禁词字符串；遍历所述当前违禁词字符串，得到当前字符；判断树结构中是否包含所述当前字符；若树结构中未包含所述当前字符，则构建树的一个节点，并将所述当前字符作为新节点的字符，执行所述遍历所述当前违禁词字符串，得到当前字符；若树结构中包含所述当前字符，则判断当前遍历的字符是否是当前违禁词字符串的最后一个字符；若当前遍历的字符是当前违禁词字符串的最后一个字符，则判断当前违禁词字符串是否是违禁词词库内的最后一个违禁词字符串；若当前违禁词字符串是违禁词词库内的最后一个违禁词字符串，则输出树结构，以得到违禁词树；若当前违禁词字符串不是违禁词词库内的最后一个违禁词字符串，则遍历违禁词词库中的下一个违禁词字符串，得到当前违禁词字符串，并执行所述遍历所述当前违禁词字符串，得到当前字符；若当前遍历的字符不是当前违禁词字符串的最后一个字符，则向下遍历当前违禁词字符串，以更新当前字符，并执行所述判断树结构中是否包含所述当前字符。

在一实施例中，处理器502在实现所述遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内步骤时，具体实现如下步骤：

获取所述过滤结果的第一个字符，以得到当前字符；判断所述字典内的违禁词树中是否存在当前字符的节点；若所述字典内的违禁词树中存在当前字符的节点，则将长度数组加一；判断当前字符的节点是否是违禁词树的叶子结点；若当前字符的节点是违禁词树的叶子结点，则从当前字符开始，长度为长度数组的数值的字符为违禁词，将所述违禁词存储第一数组内；判断当前字符是否是所述过滤结果中的最后一个字符；若当前字符是所述过滤结果中的最后一个字符，则执行所述输出所述第一数组，以得到检测结果；若当前字符不是所述过滤结果中的最后一个字符，则获取当前字符的下一个字符，以更新所述当前字符，并执行所述判断所述字典内的违禁词树中是否存在当前字符的节点；若当前字符的节点不是违禁词树的叶子结点，则执行所述获取当前字符的下一个字符，以更新所述当前字符；若所述字典内的违禁词树中不存在当前字符的节点，则执行所述获取当前字符的下一个字符，以更新所述当前字符。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：

获取终端上传的音视频数据以及文字数据，以得到初始文件；对所述初始文件提取文字，以得到待检测文本语料；对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；根据所述检测结果生成修改意见。

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述初始文件提取文字，以得到待检测文本语料步骤时，具体实现如下步骤：

采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；整合所述文字内容以及所述文字数据，以得到待检测文本语料。

在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果步骤时，具体实现如下步骤：

对所述待检测文本语料进行停用词过滤，以得到过滤结果；定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；构建违禁词树；定义字典以及长度数组；将所述违禁词树存储于字典内；遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；输出所述第一数组，以得到检测结果。

在一实施例中，所述处理器在执行所述计算机程序而实现所述构建违禁词树步骤时，具体实现如下步骤：

创建一个哈希表，以得到树的空白根节点；遍历违禁词词库，得到当前违禁词字符串；遍历所述当前违禁词字符串，得到当前字符；判断树结构中是否包含所述当前字符；若树结构中未包含所述当前字符，则构建树的一个节点，并将所述当前字符作为新节点的字符，执行所述遍历所述当前违禁词字符串，得到当前字符；若树结构中包含所述当前字符，则判断当前遍历的字符是否是当前违禁词字符串的最后一个字符；若当前遍历的字符是当前违禁词字符串的最后一个字符，则判断当前违禁词字符串是否是违禁词词库内的最后一个违禁词字符串；若当前违禁词字符串是违禁词词库内的最后一个违禁词字符串，则输出树结构，以得到违禁词树；若当前违禁词字符串不是违禁词词库内的最后一个违禁词字符串，则遍历违禁词词库中的下一个违禁词字符串，得到当前违禁词字符串，并执行所述遍历所述当前违禁词字符串，得到当前字符；若当前遍历的字符不是当前违禁词字符串的最后一个字符，则向下遍历当前违禁词字符串，以更新当前字符，并执行所述判断树结构中是否包含所述当前字符。

在一实施例中，所述处理器在执行所述计算机程序而实现所述遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内步骤时，具体实现如下步骤：

获取所述过滤结果的第一个字符，以得到当前字符；判断所述字典内的违禁词树中是否存在当前字符的节点；若所述字典内的违禁词树中存在当前字符的节点，则将长度数组加一；判断当前字符的节点是否是违禁词树的叶子结点；若当前字符的节点是违禁词树的叶子结点，则从当前字符开始，长度为长度数组的数值的字符为违禁词，将所述违禁词存储第一数组内；判断当前字符是否是所述过滤结果中的最后一个字符；若当前字符是所述过滤结果中的最后一个字符，则执行所述输出所述第一数组，以得到检测结果；若当前字符不是所述过滤结果中的最后一个字符，则获取当前字符的下一个字符，以更新所述当前字符，并执行所述判断所述字典内的违禁词树中是否存在当前字符的节点；若当前字符的节点不是违禁词树的叶子结点，则执行所述获取当前字符的下一个字符，以更新所述当前字符；若所述字典内的违禁词树中不存在当前字符的节点，则执行所述获取当前字符的下一个字符，以更新所述当前字符。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.多模态违禁词检测方法，其特征在于，包括：

获取终端上传的音视频数据以及文字数据，以得到初始文件；

对所述初始文件提取文字，以得到待检测文本语料；

对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；

根据所述检测结果生成修改意见。

2.根据权利要求1所述的多模态违禁词检测方法，其特征在于，所述对所述初始文件提取文字，以得到待检测文本语料，包括：

采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；

将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；

整合所述文字内容以及所述文字数据，以得到待检测文本语料。

3.根据权利要求1所述的多模态违禁词检测方法，其特征在于，所述对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果，包括：

对所述待检测文本语料进行停用词过滤，以得到过滤结果；

定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；

构建违禁词树；

定义字典以及长度数组；

将所述违禁词树存储于字典内；

遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；

输出所述第一数组，以得到检测结果。

4.根据权利要求3所述的多模态违禁词检测方法，其特征在于，所述构建违禁词树，包括：

创建一个哈希表，以得到树的空白根节点；

遍历违禁词词库，得到当前违禁词字符串；

遍历所述当前违禁词字符串，得到当前字符；

判断树结构中是否包含所述当前字符；

若树结构中未包含所述当前字符，则构建树的一个节点，并将所述当前字符作为新节点的字符，执行所述遍历所述当前违禁词字符串，得到当前字符；

若树结构中包含所述当前字符，则判断当前遍历的字符是否是当前违禁词字符串的最后一个字符；

若当前遍历的字符是当前违禁词字符串的最后一个字符，则判断当前违禁词字符串是否是违禁词词库内的最后一个违禁词字符串；

若当前违禁词字符串是违禁词词库内的最后一个违禁词字符串，则输出树结构，以得到违禁词树；

若当前违禁词字符串不是违禁词词库内的最后一个违禁词字符串，则遍历违禁词词库中的下一个违禁词字符串，得到当前违禁词字符串，并执行所述遍历所述当前违禁词字符串，得到当前字符；

若当前遍历的字符不是当前违禁词字符串的最后一个字符，则向下遍历当前违禁词字符串，以更新当前字符，并执行所述判断树结构中是否包含所述当前字符。

5.根据权利要求3所述的多模态违禁词检测方法，其特征在于，所述遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内，包括：

获取所述过滤结果的第一个字符，以得到当前字符；

判断所述字典内的违禁词树中是否存在当前字符的节点；

若所述字典内的违禁词树中存在当前字符的节点，则将长度数组加一；

判断当前字符的节点是否是违禁词树的叶子结点；

若当前字符的节点是违禁词树的叶子结点，则从当前字符开始，长度为长度数组的数值的字符为违禁词，将所述违禁词存储第一数组内；

判断当前字符是否是所述过滤结果中的最后一个字符；

若当前字符是所述过滤结果中的最后一个字符，则执行所述输出所述第一数组，以得到检测结果；

若当前字符不是所述过滤结果中的最后一个字符，则获取当前字符的下一个字符，以更新所述当前字符，并执行所述判断所述字典内的违禁词树中是否存在当前字符的节点；

若当前字符的节点不是违禁词树的叶子结点，则执行所述获取当前字符的下一个字符，以更新所述当前字符；

若所述字典内的违禁词树中不存在当前字符的节点，则执行所述获取当前字符的下一个字符，以更新所述当前字符。

6.多模态违禁词检测装置，其特征在于，包括：

文件获取单元，用于获取终端上传的音视频数据以及文字数据，以得到初始文件；

提取单元，用于对所述初始文件提取文字，以得到待检测文本语料；

检测单元，用于对所述待检测文本语料结合违禁词树进行违禁词检测，以得到检测结果；

意见生成单元，用于根据所述检测结果生成修改意见。

7.根据权利要求6所述的多模态违禁词检测装置，其特征在于，所述提取单元包括：

音频提取子单元，用于采用python的moviepy库提取所述初始文件中的视频数据对应的音频文件；

文字转化子单元，用于将所述音频文件与所述初始文件中的音频文件转化为文字，以得到文字内容；

整合子单元，用于整合所述文字内容以及所述文字数据，以得到待检测文本语料。

8.根据权利要求6所述的多模态违禁词检测装置，其特征在于，所述检测单元包括：

过滤子单元，用于对所述待检测文本语料进行停用词过滤，以得到过滤结果；

数组定义子单元，用于定义用于存储违禁词的数组，设置所述数组的初始值为空，以得到第一数组；

构建子单元，用于构建违禁词树；

字典定义子单元，用于定义字典以及长度数组；

存储子单元，用于将所述违禁词树存储于字典内；

遍历子单元，用于遍历所述过滤结果，根据所述过滤结果以及所述违禁词筛选所述过滤结果内的违禁词，并存储第一数组内；

输出子单元，用于输出所述第一数组，以得到检测结果。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

Images