CN117332039A

CN117332039A - 文本检测方法、装置、设备和存储介质

Info

Publication number: CN117332039A
Application number: CN202311218607.2A
Authority: CN
Inventors: 方滨兴; 贾焰; 张民; 顾钊铨; 齐佳音; 余跃; 徐春香; 张欢; 梁栩建; 谭昊
Original assignee: Peng Cheng Laboratory
Current assignee: Peng Cheng Laboratory
Priority date: 2023-09-20
Filing date: 2023-09-20
Publication date: 2024-01-02
Anticipated expiration: 2043-09-20

Abstract

本申请实施例提供文本检测方法、装置、设备和存储介质，涉及人工智能技术领域。该方法包括：利用预设检测词表初步将包含敏感词的检测文本筛选出来，再利用多个安全检测模型对初筛后的检测文本更细粒度的合规性判断，得到表征合规性的检测得分，这里检测得分越高表征检测文段的安全性越高。在后续检测过程中，本实施例并不仅简单地将所有检测文段的检测得分通过作为合规性结果，而是预留一定的冗余，虽然一些检测文段的检测得分没有通过，但是其数量较少，则也可以认为其合规。通过多阶段检测，从粗粒度到细粒度进行合规判断，能够在整体上降低检测文本被误检的概率。

Description

文本检测方法、装置、设备和存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及文本检测方法、装置、设备和存储介质。

背景技术

文本合规性检测是对文本内容进行分析和筛查，以确保其满足合规要求。这里的文本内容适用范围比较广泛，例如社交媒体中的评论内容、大语言模型的生成内容、内容平台的发布内容等。以大语言模型的生成内容为例，大语言模型的核心思想是基于上下文的语言生成，能够通过学习大量的文本数据，理解句子的结构、语法规则和语义关系，从而根据给定的上下文信息，生成连贯且符合语言规则的文生成内容，并展示给用户。

相关技术中，对文本内容的合规性检查主要是基于敏感词库比对的方式，如果文本内容中包含敏感词，则进行敏感词替换。但是这种合规检测方式很容易造成误检。

发明内容

本申请实施例的主要目的在于提出文本检测方法、装置、设备和存储介质，降低生成文本的误检概率。

为实现上述目的，本申请实施例的第一方面提出了一种文本检测方法，包括：

获取检测文本，并基于预设检测词表，在所述检测文本中查找检测词，得到初始检测结果；所述预设检测词表包括多个所述检测词；

确定所述初始检测结果指示所述检测文本中包括至少一个所述检测词，则将所述检测文本分割成多个检测文段；

将所述检测文段输入多个安全检测模型进行安全检测，得到所述检测文段的检测得分；

将所述检测得分小于第一得分阈值的所述检测文段作为决策文段，如果所述决策文段的数量小于决策数量阈值，确定所述检测文本的检测结果为检测通过。

在一些实施例，所述如果所述决策文段的数量小于决策数量阈值，确定所述检测文本的检测结果为检测通过，包括：

如果所述决策文段的数量小于决策数量阈值，且所述数量不为0，则获取所述决策文段的所述检测得分作为决策得分；

当所述决策得分大于第二得分阈值，且对应的所述决策文段的文本长度在所述检测文本的总文本长度中占比小于决策长度阈值，则确定所述检测文本的检测结果为检测通过。

在一些实施例，所述初始检测结果包括第一检测结果，所述第一检测结果用于指示所述检测文本中包括至少一个所述检测词；所述在所述检测文本中查找检测词，得到初始检测结果，包括：

将所述检测文本进行分词，得到待测分词序列；所述待测分词序列中包括多个待测词；

在所述待测分词序列中匹配所述预设检测词表中每个所述检测词；

若匹配到至少一个所述检测词，确定所述初始检测结果为所述第一检测结果。

在一些实施例，所述在所述检测文本中查找检测词，得到初始检测结果，还包括：

若未匹配到所述检测词，则获取所述待测词与所述预设检测词表中所述检测词的相似度值，并选取所述相似度值的最大值；

如果所述最大值大于或等于相似度阈值，确定所述检测文本中包括所述最大值对应的所述检测词，确定所述初始检测结果为所述第一检测结果。

在一些实施例，所述获取所述待测词与所述预设检测词表中所述检测词的相似度值，包括：

基于每个所述待测词的词性，将第一词性的所述待测词作为目标待测词，并计算所述目标待测词的待测嵌入向量；

获取所述预设检测词表中每个所述检测词的检测嵌入向量；

根据所述待测嵌入向量和所述检测嵌入向量的相似度，得到所述相似度值。

在一些实施例，所述获取所述预设检测词表中每个所述检测词的检测嵌入向量，包括：

对所述预设检测词表中所述检测词进行第一词向量生成操作，得到第一词向量，以及对所述预设检测词表中所述检测词进行第二词向量生成操作，得到第二词向量；

对所述第一词向量和所述第二词向量按位进行加权平均，得到所述检测嵌入向量。

在一些实施例，所述将所述检测文段输入多个安全检测模型进行安全检测，得到所述检测文段的检测得分，包括：

获取每个所述安全检测模型对所述检测文段进行安全检测得到的安全检测概率向量；

根据所述检测文段中包含的所述检测词所属的文本领域，生成所述安全检测模型对应的权重；

基于每个所述权重对多个所述安全检测概率向量计算加权和，得到所述检测得分。

在一些实施例，所述基于预设检测词表，在所述检测文本中查找检测词，得到初始检测结果之前，所述文本检测方法还包括：

获取所述检测文本对应的待匹配文本，并将所述待匹配文本与预设白名单和预设黑名单进行匹配；

如果所述预设白名单中匹配到所述待匹配文本，则确定所述检测文本的检测结果为检测通过；

如果所述预设黑名单中匹配到所述待匹配文本，则确定所述检测文本的检测结果为检测不通过。

获取预设内容正则表达式，对所述检测文本进行预设内容的匹配，获取所述检测文本中所述预设内容的字符位置；

基于所述字符位置将所述检测文本中所述预设内容替换为掩码内容，得到替换后的所述检测文本。

为实现上述目的，本申请实施例的第二方面提出了一种文本检测装置，包括：

初始检测模块：用于获取检测文本，并基于预设检测词表，在所述检测文本中查找检测词，得到初始检测结果；所述预设检测词表包括多个所述检测词；

检测文段获取模块：用于确定所述初始检测结果指示所述检测文本中包括至少一个所述检测词，则将所述检测文本分割成多个检测文段；

安全检测模块：用于将所述检测文段输入多个安全检测模型进行安全检测，得到所述检测文段的检测得分；

检测结果确定模块：用于将所述检测得分小于第一得分阈值的所述检测文段作为决策文段，如果所述决策文段的数量小于决策数量阈值，确定所述检测文本的检测结果为检测通过。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请实施例提出的文本检测方法、装置、设备和存储介质，通过获取检测文本，并基于预设检测词表，在检测文本中查找检测词，得到初始检测结果；其中，预设检测词表包括多个检测词；接着确定初始检测结果指示检测文本中包括至少一个检测词后，则将检测文本分割成多个检测文段；再将检测文段输入多个安全检测模型进行安全检测，得到检测文段的检测得分；最后将检测得分小于第一得分阈值的检测文段作为决策文段，如果决策文段的数量小于决策数量阈值，确定检测文本的检测结果为检测通过。本申请实施例中检测词即敏感词，利用预设检测词表初步将包含敏感词的检测文本筛选出来，作为存在潜在风险的文本，再利用多个安全检测模型对初筛后的检测文本更细粒度的合规性判断，得到表征合规性的检测得分，由于多个安全检测模型的模型结构不全相同，因此可以利用到不同模型的特点和性能，这里检测得分越高表征检测文段的安全性越高。但是本申请实施例并不仅仅简单地将所有检测文段的检测得分通过作为合规性结果，而是预留一定的冗余，虽然一些检测文段的检测得分没有通过，但是其数量较少，则也可以认为其合规。通过多阶段检测，从粗粒度到细粒度进行合规判断，能够在整体上降低检测文本被误检的概率。

附图说明

图1是本申请实施例提供的文本检测方法的流程图。

图2为本申请实施例提供的文本检测方法中对检测文本进行快速响应的过程示意图。

图3为本申请实施例提供的文本检测方法中得到初始检测结果的流程图。

图4为本申请实施例提供的文本检测方法中检测嵌入向量生成过程示意图。

图5为本申请实施例提供的文本检测方法中得到检测得分的流程图。

图6为本申请实施例提供的文本检测方法中检测得分的计算过程示意图。

图7为本申请实施例提供的文本检测方法的详细过程示意图。

图8是本申请又一实施例提供的文本检测装置结构框图。

图9是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

文本合规性检测是对文本内容进行分析和筛查，以确保其满足合规要求。这里的文本内容适用范围比较广泛，例如社交媒体中的评论内容、大语言模型的生成内容、内容平台的发布内容等。以大语言模型的生成内容为例，大语言模型的核心思想是基于上下文的语言生成，能够通过学习大量的文本数据，理解句子的结构、语法规则和语义关系，从而根据给定的上下文信息，生成连贯且符合语言规则的文生成内容，并展示给用户。如果大语言模型的生成内容不合规，例如在对话过程中生成内容包含敏感词、违禁词等，可能导致用户接收到不良信息。

相关技术中，通过对文本内容基于敏感词库比对的方式进行合规性检查，如果文本内容中包含敏感词，则进行敏感词替换。如果一些文本内容中包含敏感词，但是这种敏感词属于应该显示的内容，例如检测文本中包含敏感词，敏感词表达了一种异常的动作，检测文本表达的意思是打击这个敏感词对应的动作，在这种场景中，如果将敏感词替换，就造成误检，失去文本内容真实的含义。

基于此，本申请实施例提供一种文本检测方法、装置、设备和存储介质，利用预设检测词表初步将包含敏感词的检测文本筛选出来，作为存在潜在风险的文本，再利用多个安全检测模型对初筛后的检测文本更细粒度的合规性判断，得到表征合规性的检测得分，由于多个安全检测模型的模型结构不全相同，因此可以利用到不同模型的特点和性能，这里检测得分越高表征检测文段的安全性越高。但是本申请实施例并不仅仅简单地将所有检测文段的检测得分通过作为合规性结果，而是预留一定的冗余，虽然一些检测文段的检测得分没有通过高安全性检测，但是其数量较少且检测得分不低，则也可以认为其合规。通过多阶段检测，从粗粒度到细粒度进行合规判断，能够在整体上降低检测文本被误检的概率。

本申请实施例提供文本检测方法、装置、设备和存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的文本检测方法。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的文本检测方法，涉及人工智能技术领域，尤其涉及数据挖掘技术领域。本申请实施例提供的文本检测方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的计算机程序。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如支持文本检测的客户端，也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。其中，终端通过网络与服务器进行通信。该文本检测方法可以由终端或服务器执行，或由终端和服务器协同执行。

在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等。此外，终端还可以是智能车载设备。该智能车载设备应用本实施例的文本检测方法提供相关的服务，提升驾驶体验。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间组成点对点(P2P，Peer To Peer，P2P)网络，P2P协议是一个运行在传输控制协议(Transmission Control Protocol，TCP)协议之上的应用层协议。服务器上可以安装文本检测系统的服务端，通过该服务端可以与终端进行交互，例如服务端上安装对应的软件，软件可以是实现文本检测方法的应用等，但并不局限于以上形式。终端与服务器之间可以通过蓝牙、通用串行总线(Universal Serial Bus，USB)或者网络等通讯连接方式进行连接，本实施例在此不做限制。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。

下面描述本申请实施例中的文本检测方法。

图1是本申请实施例提供的文本检测方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S110至步骤S140。同时可以理解的是，本实施例对图1中步骤S110至步骤S140的顺序不做具体限定，可以根据实际需求调整步骤顺序或者减少、增加某些步骤。

步骤S110：获取检测文本，并基于预设检测词表，在检测文本中查找检测词，得到初始检测结果。

其中，预设检测词表包括多个检测词，这里的检测词可以是敏感词、禁用词或者其他不合规的词。本申请实施例中预设检测词表的来源可以是：根据权威机构发布的检测词列表、不同行业的标准制定机构发布的检测词列表、第三方数据提供商的检测词列表以及根据实际业务自定义的检测词列表。另外本申请实施例中检测词列表会根据实际情况周期性地进行维护和更新。

在一实施例中，检测文本可以是社交媒体中的评论内容、大语言模型的生成内容、内容平台的发布内容等任何需要进行合规性检测的文本内容，本实施例对检测文本的内容并不限定。

另外，在一实施例中，为了对检测文本进行快速响应，可以在得到检测文本后，对检测文本进行黑白名单的快速匹配，根据匹配结果，得到检测文本的检测结果。具体过程包括：获取检测文本对应的待匹配文本，并将待匹配文本与预设白名单和预设黑名单进行匹配。如果预设白名单中匹配到待匹配文本，则确定检测文本的检测结果为检测通过。如果预设黑名单中匹配到待匹配文本，则确定检测文本的检测结果为检测不通过。

参照图2，图2为本申请实施例中对检测文本进行快速响应的过程示意图。

首先将检测文本去除语气词、停用词等信息，得到检测文本对应的待匹配文本，然后将待匹配文本在预设白名单中进行匹配。如果预设白名单中匹配到待匹配文本，则将检测文本的检测结果设为检测通过，直接放行。如果预设黑名单中匹配到待匹配文本，则将检测文本的检测结果设为检测不通过，直接屏蔽。如果待匹配文本既不存在于预设白名单，也不存在与预设黑名单，则需要对待匹配文本对应的检测文本进行后续合规性检测。可以理解的是，本实施例中预设白名单中包括多个白名单文本，预设黑名单中包括多个黑名单文本，这里的匹配可以是全句匹配，目的是对检测文本进行初步快速响应。另外，白名单文本和黑名单文本都可以进行去除语气词、停用词等相关操作。

得到需要进一步进行合规性检测的检测文本后，需要对检测文本中的隐私信息进行脱敏。隐私信息是指涉及用户敏感信息的文本片段，本申请实施例中隐私信息可以包括但不限于个人身份信息(如姓名、地址、电话号码)、财务信息(如银行账号、信用卡号)、健康信息、社交媒体帐号、密码等。对检测文本中的隐私信息进行脱敏做主要是考虑到以下几点：首先，能够保护对象隐私，如果不去除这些隐私信息，会存在泄露用户隐私的风险。其次，检测文本中包含的隐私信息可能是结构复杂、稀疏分布以及个性化的信息，如果不去除隐私信息，一方面会影响本申请中安全检测模型的泛化能力和模型检测性能，另一方面也会影响对检测文本进行合规性检测的处理速度和效率。

在一实施例中，对检测文本中的隐私信息进行脱敏的过程具体包括：获取预设内容正则表达式，对检测文本进行预设内容的匹配，获取检测文本中预设内容的字符位置，基于字符位置将检测文本中预设内容替换为掩码内容，得到替换后的检测文本。

其中，预设内容正则表达式是一种用于匹配预设内容的正则表达式，这里的预设内容指的是上面实施例提到的隐私信息。根据隐私信息的种类，如果隐私信息具体包括邮箱地址、手机号码、身份证号码、银行卡号码以及账号密码，那么预设内容正则表达式如下表1所示。

预设内容	预设内容正则表达式
		邮箱地址	[a-zA-Z0-9._％+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}
手机号码	\b\d{3}[-.\s]？\d{3}[-.\s]？\d{4}\b
		身份证号码	\b\d{17}[\dXx]\b
信用卡号码	\b\d{4}[-\s]？\d{4}[-\s]？\d{4}[-\s]？\d{4}\b
		密码	^(？＝.[A-Za-z])(？＝.\d)(？＝.[@$！％#？&])[A-Za-z\d@$！％*#？&]{8,}$

表1预设内容正则表达式

可见，上述表1中预设内容正则表达式为针对不同的预设内容可能包含的字符对应设置的正则表达式，能够匹配相关的字符。可以理解的是，本申请实施例中预设内容可以根据实际情况设定，对应的预设内容正则表达式也随之设定。

上述实施例在对检测文本中的隐私信息进行脱敏时，可以逐一选取预设内容正则表达式，根据预设内容正则表达式生成对应的子串格式，在检测文本对应的字符串中查询符合该子串格式的子串，如果存在对应的子串，则将该子串作为预设内容，同时获取预设内容在检测文本中的字符位置，然后将检测文本中对应字符位置的字符替换为设定好的掩码内容，得到替换后的检测文本。掩码内容可以是“*”等通用的占位符，本实施例对掩码内容不做限定。

在得到替换后的检测文本后，接着在检测文本中查找检测词，得到初始检测结果，这一步的目的是判断检测文本中是否包含检测词。在一实施例中，参照图3，在检测文本中查找检测词，得到初始检测结果的过程具体包括步骤S111至步骤S114：

步骤S111：将检测文本进行分词，得到待测分词序列。

其中，可以利用“jieba”等分词工具对检测文本进行分词，得到多个待测词，利用多个待测词构成待测分词序列。

步骤S112：在待测分词序列中匹配预设检测词表中每个检测词。

该实施例中，将每一个待测词都在预测检测词表中进行遍历，判断是否存在某个检测词与待测词相同，如果相同，则表示待测词在预设检测词表中匹配到。

步骤S113：若匹配到至少一个检测词，确定初始检测结果为第一检测结果。

其中，如果至少一个待测词能够匹配到对应的检测词，就表明检测文本中存在敏感词，需要进一步进行合规检测，此时设定初始检测结果为第一检测结果，这里的第一检测结果用于指示检测文本中包括至少一个检测词。

步骤S114：若未匹配到检测词，则获取待测词与预设检测词表中检测词的相似度值，并选取相似度值的最大值，如果最大值大于或等于相似度阈值，确定检测文本中包括最大值对应的检测词，确定初始检测结果为第一检测结果。

在一实施例中，如果匹配过程中，每一个待测分词序列的待测词都没有匹配到对应的检测词，此时可能存在待测词是检测词的相似词的情况，为了提升合规性检测的准确性，需要进行相似度匹配过程。

其中，步骤S114中获取待测词与预设检测词表中检测词的相似度值的具体过程是：基于每个待测词的词性，将第一词性的待测词作为目标待测词，并计算目标待测词的待测嵌入向量，获取预设检测词表中每个检测词的检测嵌入向量，根据待测嵌入向量和检测嵌入向量的相似度，得到相似度值。

上述过程中，第一词性可以是形容词、名词、动词等信息量较大的词，基于第一词性可以对待测词进行筛选得到目标待测词，这样做的目的是减少检测文本中的信息冗余，从而提高相似度匹配的效率。

接着对目标待测词进行向量化，生成对应的待测嵌入向量。可以利用预训练的词向量模型实现向量化过程，词向量模型可以是Word2Vec或BERT等。本实施例不限制待测嵌入向量的获取过程。

对于预设检测词表中每个检测词的检测嵌入向量，本申请实施例中为了提升检测嵌入向量的蕴含的语义信息，综合利用多种不同词向量生成算法的优势，生成每个检测词的检测嵌入向量。在一实施例中，获取预设检测词表中每个检测词的检测嵌入向量的具体过程包括：对预设检测词表中检测词进行第一词向量生成操作，得到第一词向量，以及对预设检测词表中检测词进行第二词向量生成操作，得到第二词向量。对第一词向量和第二词向量按位进行加权平均，得到检测嵌入向量。

可见上述实施例中第一词向量生成操作与第二词向量生成操作是不同的嵌入方法。由于不同的嵌入方法可能会捕捉到不同的语义和上下文信息，因此利用两种不同的嵌入方法得到检测词的第一词向量和第二词向量，进行加权融合得到检测嵌入向量，能够提高检测嵌入向量的表达能力，有助于捕捉检测词的更全面、更丰富的语义信息。另外，不同的嵌入方法可能对特定类型的检测词表现更好，而对其他类型的检测嵌入向量表现较差，因此本申请实施例通过加权融合的方式，来减轻某种嵌入方法对特定类型的检测词的过度关注，从而缓解检测词分布偏置问题，进一步提升检测嵌入向量的表达能力。进一步地，不同的嵌入方法可能在不同的粒度上对检测词进行编码。例如，某些嵌入方法可能更适合捕捉检测词的局部上下文信息，而另一些嵌入方法则更擅长检测词的全局语义，因此通过加权融合，也可以在不同粒度上综合不同嵌入方法的优势，提供更丰富、更全面的检测嵌入向量。

在一实施例中，预设检测词表中每个检测词的检测嵌入向量的生成过程具体是：对于预设检测词表中每个检测词进行分词处理，将其切分为子词或字符，分词有助于捕捉检测词的形态和构词法特征。然后使用FastText进行第一词向量生成操作得到第一词向量，利用Word2Vec进行第二词向量生成操作得到第二词向量。其中，这两个词向量的维度相同，维度可以根据实际需求设定，例如取值为[100，500]。接着对于每个检测词，将FastText和Word2Vec生成的第一词向量和第二词向量按位进行加权和，得到维度不变的检测嵌入向量。这里的加权可以使用简单的加权平均或其他加权方法，加权的目的是充分利用两种嵌入方法各自的优势，生成更丰富和准确的检测嵌入向量。

参照图4，为了示意方便，假设第一词向量和第二词向量的维度为5，第一词向量对应的权重为a，第二词向量对应的权重为b，第一词向量表示为{x1,x2,x3,x4,x5},第二词向量表示为{y1,y2,y3,y4,y5},则分别从第1位、第2位、…、第5位按位进行加权平均，得到每一位对应的嵌入向量，其中，第1位的嵌入向量表示为(a*x1+b*y1)/2，以此类推，再根据5个嵌入向量构成检测嵌入向量。

如上述过程，假设检测嵌入向量表示为：其中，sw_i表示检测词，/>表示检测词sw_i对应的嵌入向量，c表示检测词的数量。检测文本中目标待测词构成的待测嵌入向量的序列表示为：[e₁,e₂,…,e_m]，其中，e_i表示第i个目标待测词的待测嵌入向量，m表示目标待测词的数量。此时，获取待测词与预设检测词表中检测词的相似度值，并选取相似度值的最大值的过程表示为：

其中，S_max_i表示第i个目标待测词对应的最大值，表示第i个目标待测词与第j个检测词的相似度值，Max(·)表示取最大值。该实施例中相似度值可以根据待测嵌入向量与嵌入向量的向量距离计算得到，即相似度值表示为：

可以理解的是，相似度值可以按照其他的计算方式获得，例如余弦相似度、欧式距离等。

接着判断目标待测词的最大值大于或等于相似度阈值，则可以确定目标待测词与最大值对应的检测词相似，因此可以确定初始检测结果为第一检测结果。这里的相似度阈值可以根据实际需求设定，其值越大，表示将目标待测词判断为敏感词的要求更高、更严格，其取值区间可以为[0.80,0.99]。

经过上述过程无论是直接匹配或者相似度匹配，如果确定检测文本中包括至少一个检测词，则需要进一步进行合规性检测，否则将检测文本直接放行。另外，将经过相似度匹配判定与检测词相似的目标待测词作为新的检测词，加入预设检测词表，使得后续匹配过程中能够直接匹配，提升匹配效率。

步骤S120：确定初始检测结果指示检测文本中包括至少一个检测词，则将检测文本分割成多个检测文段。

其中，如果检测文本中至少包括一个检测词，则需要进一步判断，避免误检。例如检测文本中包含检测词A，检测词A表达了一种异常的动作，检测文本表达的意思是打击这个检测词A对应的动作，在这种场景中，如果直接屏蔽检测文本，就造成误检。

但是如果检测文本较长，可能只有一部分内容与检测词相关，此时如果直接以检测文本全文进行合规性检测，会带来较多的背景干扰，因此本申请实施例将检测文本进行分割得到多个检测文段，这样检测词所在的检测文段中不存在较多干扰，同时不同检测文段可能具有不同的上下文特征、语义特征，分别进行检测可以更好地捕捉到这些细微差别，进而提升整体的检测结果准确性。另外，对于较长的检测文本，全文检测会需要更长的处理时间和计算资源，因此将检测文本拆分为多个检测文段，可以并行处理每个检测文段，提高合规性检测的效率。

上述实施例中，检测文段需要满足：每个检测文段的总字符长度需要满足下面安全检测模型的输入长度限制，总字符长度不能超过预设长度，例如预设长度为500；并且每个检测文段都以标点符号结尾。

步骤S130：将检测文段输入多个安全检测模型进行安全检测，得到检测文段的检测得分。

在一实施例中，多个安全检测模型的模型结构不全相同，同时多个安全检测模型构成一个集成模型，也就是说，集成模型中包括至少两个以上不同的网络结构。由于安全检测模型具有不同的网络结构和参数设置，因此不同的安全检测模型对输入的检测文段的处理方式不同，通过组合多个结构不同的安全检测模型得到集成模型，能够获得更多样化、更全面的特征表示和学习能力。另外，不同的安全检测模型在处理数据时可能关注不同的特征，通过组合来利用不同模型之间的互补性，能够从多个视角，获取更全面准确的特征信息，降低单个安全检测模型的结果偏差，提高结果的准确性。在一实施例中，安全检测模型可以是卷积神经网络模型、决策树、随机森林等模型，其目的是对输入的检测文段进行分析，生成是否合规的结论，本实施例对安全检测模型的结构并不限定。

在一实施例中，参照图5，将检测文段输入多个安全检测模型进行安全检测，得到检测文段的检测得分的过程具体包括步骤S131至步骤S133：

步骤S131：获取每个安全检测模型对检测文段进行安全检测得到的安全检测概率向量。

步骤S132：根据检测文段中包含的检测词所属的文本领域，生成安全检测模型对应的权重。

步骤S133：基于每个权重对多个安全检测概率向量计算加权和，得到检测得分。

其中，不同的应用场景中，检测文本的文本领域不同，文本领域可以是金融领域、交通领域、医疗领域、社交领域等。由于不同的安全检测模型具有不同的学习能力，因此可以根据安全检测模型的结构特征，在训练时针对不同的文本领域，对具有检测优势的安全检测模型进行训练，使得选取的安全检测模型在对应的文本领域的合规性检测中检测准确度较高。但是还需要保留一部分安全检测模型利用通用训练数据进行训练，以此避免单个安全检测模型的结果偏差。也就是说，虽然本申请实施例中包括多个不同的安全检测模型，但是其中一些安全检测模型可能是利用特定的文本领域对应的训练数据训练得到，因此其在对应的文本领域检测性能较好。此时对于该文本领域的检测文段来说，对应的安全检测模型输出结果的权重最高，通用数据训练的安全检测模型的权重次之，其他的安全检测模型的权重最低。可以理解的是，选取的检测性能较好的安全检测模型的数量不限定为1个，并且选取的安全检测模型的模型结构也不限定为一定相同，可以根据计算设备的计算性能和计算开支综合设定。另外，不同的文本领域选取的性能较好的安全检测模型的数量也可以不同。

参照图6，图6为本申请实施例中检测得分的计算过程示意图。

假设有5个安全检测模型，分别是安全检测模型1、安全检测模型2、安全检测模型3、安全检测模型4和安全检测模型5。其中，安全检测模型3作为输入的检测文段对应的性能较高的模型，安全检测模型1和安全检测模型5是利用通用数据训练得到的。此时安全检测模型3的权重w1最高，安全检测模型1的权重w2和安全检测模型5的权重3次之，安全检测模型2的权重w4和安全检测模型4的权重w5最低。其中，为了方便起见，可以将不同的文本领域和对应的安全检测模型的权重之间的对应关系进行存储。直接根据检测文段中包含的检测词所属的文本领域，生成安全检测模型对应的权重，接着利用不同的权重与对应安全检测模型对检测文段进行安全检测得到的安全检测概率向量进行加权后求和，得到检测得分。

上述实施例中，假设第i个安全检测模型对检测文段进行安全检测得到的安全检测概率向量表示为pⁱ，第i个安全检测模型的权重为wi，此时检测文段的检测得分为可见，检测得分能够从多角度反映检测文段是否合规。

步骤S140：将检测得分小于第一得分阈值的检测文段作为决策文段，如果决策文段的数量小于决策数量阈值，确定检测文本的检测结果为检测通过。

其中，这里的第一得分阈值可以是大于0.5的值，例如0.7。根据第一得分阈值能够初步判断检测得分是否达标。如果第一得分阈值定的比较高，则对于检测结果的判断标准比较严格。

上述过程中如果检测文段的检测得分小于第一得分阈值，则将该检测文段作为决策文段。根据决策数量阈值可知，决策文段的数量可以是0和其他小于决策数量阈值的整数。如果决策数量阈值为2，此时决策文段的数量只能为0或者1时，检测文本的检测结果才是检测通过。如果检测文段的检测得分全部大于或等于第一得分阈值，则此时决策文段的数量为0，对检测文本直接放行，检测文本的检测结果为检测通过。

本申请实施例有些检测文本可能是符合常规的合规性检查，但是如果第一得分阈值设定稍微高一些，此时，该检测文本并不能通过第一得分阈值的筛选过程，因此将其作为决策文本进一步进行判断。在一实施例中，步骤S140中，如果决策文段的数量小于决策数量阈值，确定检测文本的检测结果为检测通过具体包括以下：如果决策文段的数量小于决策数量阈值，且数量不为0，则获取决策文段的检测得分作为决策得分。当决策得分大于第二得分阈值，且对应的决策文段的文本长度在检测文本的总文本长度中占比小于决策长度阈值，则确定检测文本的检测结果为检测通过。

这里决策文段的数量小于决策数量阈值，且数量不为0，说明检测文本的检测文段并没有全部通过第一得分阈值的筛选，存在一定数量的检测文段的检测得分小于第一得分阈值，因此进一步将决策文段的检测得分作为决策得分进行判断。

此时如果决策得分大于第二得分阈值，说明决策得分位于第二得分阈值与第一得分阈值之间，假设第二得分阈值为0.5，则0.5<决策得分<0.7。其虽然没有完全达到第一得分阈值0.7对应的高安全的标准，但是其大于第二得分阈值0.5，说明经过多个安全检测模型判定后，该决策文段的安全系数较高，可以判定其属于风险较低的检测文段。

接着判断决策文段的文本长度在检测文本的总文本长度中占比是不是大于决策长度阈值，例如可以设置决策长度阈值为30％。这里是为了判断决策文段在检测文本中的占比，占比越小，说明大部分的检测文段都是通过第一得分阈值的高安全性文本，只有决策文段这一小部分的内容未通过高安全性检测，但是又具有较高的安全系数，可以认为该检测文本符合放行规则，可以设置检测文本的检测结果为检测通过。

经过上述过程得到检测文本的检测结果，根据检测结果判断是否放行该检测文本。

本申请实施例的文本检测方法中包含多个安全检测模型，因此可以预先对多个安全检测模型进行训练。在应用过程中可以利用应用过程中的检测结果对安全检测模型的模型权重进行微调，进一步提升文本检测的准确性。

另外，本申请实施例的预设黑名单和预设白名单，通过众测标注反馈的过程生成。众测标注反馈的过程具体包括：首先生成标注任务，然后将标注任务发送给标注人员进行人工标注。接着根据人工标注的结果更新预设黑名单和预设白名单。

下面通过一个具体实施例描述众测标注反馈过程。

例如对于任一待标注文本发布的标注任务中均包含：“任务描述，待标注文本，标注内容”三部分内容，其中任务描述是对此次标注任务的标注规则、标准的描述。

以下是一个“任务描述”的示例：

“本任务涉及对文本内容进行合规性判定，以确保其符合相关的合规规定。不合规涉及的内容包括不限于：敏感词(例如xxx)、违禁词(例如xxx)等。

请您阅读待标注文本，并选择你的合规性判断结果为：“合规”、“不合规”或“不确定”，若您选择“合规”/“不合规”，请给出对应您认为文本“合规”/“不合规”的概率值，输入值必须>0.5且≤1；若您的合规性判断结果为“不确定”，则无需输入值，默认概率为0.5。

标注内容则是对标注人员返回的数据格式进行规范，并要求标注人员返回结果。

以下是对应“任务描述”的标注内容：

请选择以上文本的合规性结果？A.合规B.不合规C.不确定；

请输入你认为上述文本合规/不合规的概率(输入值必须>0.5且≤1)；

注：输入数据不符合要求将无法提交标注结果。

经过上述过程构造多个标注任务，将标注任务在众测平台发布后，标注人员可自由选择标注任务进行标注。在收集到预设数量的标注人员的标注结果后，标注完成，发布的任务将自动撤销，同时，标注人员将不再能够访问该任务并提交标注结果。这里的预设数量可以根据标注成本确定，预设数量越大标注结果越准确，但更耗时耗力。

在收集到足够数量的标注数据后，采用多数投票法确定对应待标注文本的最终合规性结果，如果出现平局的情况，则通过人工专家确定结果，人工专家具有一票决定权。

通过上述过程构建预设黑名单、预设白名单。另外将应用过程中所有的检测文本均进行众测标注反馈，生成标注任务进行分析。如果被放行的检测文本，在人工标注阶段确定为“不合规”，则将该检测文本加入预设黑名单；若被屏蔽的检测文本在人工标注阶段确定为“合规”，则将该检测文本加入预设白名单。

下面通过图7描述本申请实施例的文本检测方法的详细过程。

首先获取检测文本，接着将检测文本在误检快速响应模块中与预设黑名单和预设白名单进行匹配，如果预设白名单中匹配到待匹配文本，则确定检测文本的检测结果为检测通过，并对检测文本进行放行；如果预设黑名单中匹配到待匹配文本，则确定检测文本的检测结果为检测不通过，对该检测文本进行屏蔽。

接着将既不存在于预设白名单，也不存在与预设黑名单的检测文本送入文本敏感性过滤模块，将检测文本的每一个待测词都在预测检测词表中进行遍历，判断是否存在某个检测词与待测词相同或者相似，如果相同或相似，则表示待测词在预设检测词表中匹配到，将检测文本送入文本内容安全性分类模块进行进一步分析。如果待测词在预设检测词表中未匹配到，则确定检测文本的检测结果为检测通过，并对检测文本进行放行。

文本内容安全性分类模块中将检测文本分割成多个检测文段，然后将检测文段输入多个安全检测模型进行安全检测，得到检测文段的检测得分。如果检测文段的检测得分全部大于或等于第一得分阈值，则此时决策文段的数量为0，对检测文本直接放行。如果检测文段的检测得分小于第一得分阈值，则将该检测文段作为决策文段，如果决策文段的数量小于决策数量阈值，且数量不为0，则获取决策文段的检测得分作为决策得分，当决策得分大于第二得分阈值，且对应的决策文段的文本长度在检测文本的总文本长度中占比小于决策长度阈值，则确定检测文本的检测结果为检测通过。

检测不通过的作为不合规文本，对其进行屏蔽。然后将检测文本输入众测标注反馈模块，利用众测标注反馈方式对预设黑名单和预设白名单进行更新。

本申请实施例提供的技术方案，通过获取检测文本，并基于预设检测词表，在检测文本中查找检测词，得到初始检测结果；其中，预设检测词表包括多个检测词；接着确定初始检测结果指示检测文本中包括至少一个检测词后，则将检测文本分割成多个检测文段；再将检测文段输入多个安全检测模型进行安全检测，得到检测文段的检测得分；最后将检测得分小于第一得分阈值的检测文段作为决策文段，如果决策文段的数量小于决策数量阈值，确定检测文本的检测结果为检测通过。本申请实施例中检测词即敏感词，利用预设检测词表初步将包含敏感词的检测文本筛选出来，作为存在潜在风险的文本，再利用多个安全检测模型对初筛后的检测文本更细粒度的合规性判断，得到表征合规性的检测得分，由于多个安全检测模型的模型结构不全相同，因此可以利用到不同模型的特点和性能，这里检测得分越高表征检测文段的安全性越高。但是本申请实施例并不仅仅简单地将所有检测文段的检测得分通过作为合规性结果，而是预留一定的冗余，虽然一些检测文段的检测得分没有通过高安全性检测，但是其数量较少，且检测得分不低，则也可以认为其合规。通过多阶段检测，从粗粒度到细粒度进行合规判断，能够在整体上降低检测文本被误检的概率。

本申请实施例还提供一种文本检测装置，可以实现上述文本检测方法，参照图8，该装置包括：

初始检测模块810：用于获取检测文本，并基于预设检测词表，在检测文本中查找检测词，得到初始检测结果；预设检测词表包括多个检测词。

检测文段获取模块820：用于确定初始检测结果指示检测文本中包括至少一个检测词，则将检测文本分割成多个检测文段。

安全检测模块830：用于将检测文段输入多个安全检测模型进行安全检测，得到检测文段的检测得分。

检测结果确定模块840：用于将检测得分小于第一得分阈值的检测文段作为决策文段，如果决策文段的数量小于决策数量阈值，确定检测文本的检测结果为检测通过。

本实施例的文本检测装置的具体实施方式与上述文本检测方法的具体实施方式基本一致，在此不再赘述。

本申请实施例还提供了一种电子设备，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本申请实施上述的文本检测方法。该电子设备可以为包括手机、平板电脑、个人数字助理(PersonalDigital Assistant，简称PDA)、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器901，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器902，可以采用ROM(ReadOnlyMemory，只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory，随机存取存储器)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的文本检测方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述文本检测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提出的文本检测方法、文本检测装置、电子设备、存储介质，利用预设检测词表初步将包含敏感词的检测文本筛选出来，作为存在潜在风险的文本，再利用多个安全检测模型对初筛后的检测文本更细粒度的合规性判断，得到表征合规性的检测得分，由于多个安全检测模型的模型结构不全相同，因此可以利用到不同模型的特点和性能，这里检测得分越高表征检测文段的安全性越高。但是本申请实施例并不仅仅简单地将所有检测文段的检测得分通过作为合规性结果，而是预留一定的冗余，虽然一些检测文段的检测得分没有通过高安全性检测，但是其数量较少且检测得分不低，则也可以认为其合规。通过多阶段检测，从粗粒度到细粒度进行合规判断，能够在整体上降低检测文本被误检的概率。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims

1.一种文本检测方法，其特征在于，包括：

2.根据权利要求1所述的文本检测方法，其特征在于，所述如果所述决策文段的数量小于决策数量阈值，确定所述检测文本的检测结果为检测通过，包括：

3.根据权利要求1所述的文本检测方法，其特征在于，所述初始检测结果包括第一检测结果，所述第一检测结果用于指示所述检测文本中包括至少一个所述检测词；所述在所述检测文本中查找检测词，得到初始检测结果，包括：

4.根据权利要求3所述的文本检测方法，其特征在于，所述在所述检测文本中查找检测词，得到初始检测结果，还包括：

5.根据权利要求4所述的文本检测方法，其特征在于，所述获取所述待测词与所述预设检测词表中所述检测词的相似度值，包括：

获取所述预设检测词表中每个所述检测词的检测嵌入向量；

6.根据权利要求5所述的文本检测方法，其特征在于，所述获取所述预设检测词表中每个所述检测词的检测嵌入向量，包括：

7.根据权利要求1所述的文本检测方法，其特征在于，所述将所述检测文段输入多个安全检测模型进行安全检测，得到所述检测文段的检测得分，包括：

8.根据权利要求1所述的文本检测方法，其特征在于，所述基于预设检测词表，在所述检测文本中查找检测词，得到初始检测结果之前，所述文本检测方法还包括：

9.根据权利要求1所述的文本检测方法，其特征在于，所述基于预设检测词表，在所述检测文本中查找检测词，得到初始检测结果之前，所述文本检测方法还包括：

10.一种文本检测装置，其特征在于，包括：

11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述的文本检测方法。

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的文本检测方法。