CN117351336A - 图像审核方法和相关设备 - Google Patents

Abstract

本申请公开了图像审核方法和相关设备，该方法包括：将待审图像输入预先训练好的问答模型，以输出待审图像是否违规的回答结果及待审图像的内容描述文本；基于内容描述文本确定待审图像命中不同违规原因的置信得分；根据每一置信得分和相应的得分阈值之间的大小关系，确定待审图像是否违规。问答模型的使用可直接地综合回答待审图像是否违规，输出的内容描述文本有助于挖掘视觉内容在文字上的表意，提高图像审核的准确度。对问答模型无法确切评判出违规与否的待审图像做置信得分的计算，可确保对待审图像的审核有实质性的确切结果(违规与否)，避免审核结果空虚。可见，本申请能多渠道地严格审核图像，从而更细粒度地维护图像阅览环境。

Description

图像审核方法和相关设备

技术领域

本申请实施例涉及图像技术领域，尤其涉及图像审核方法和相关设备。

背景技术

为维护晴朗的、正向的互联网空间，互联网监管方要求，应防控有害的图像内容在网络平台上展示。

由于图像内容非常丰富，其创作者的背景和目的也各不相同，故目前对于每一违规类型的图像，都要针对性地训练好一个个相应的审核模型以审核图像。但实际情况中，一个个模型对图像是否违规的审核结果有所不同，容易出现审核结果大相径庭的情况，致使实则违规的图像被误认为正常图像而公布于众。

针对于此，有必要提供有效的解决方案。

发明内容

本申请实施例提供了图像审核方法和相关设备，用于提高对不同违规图像的泛化审核能力。

本申请实施例第一方面提供一种图像审核方法，包括：

将待审图像输入预先训练好的问答模型，以输出所述待审图像是否违规的回答结果及所述待审图像的内容描述文本；所述回答结果包含为空的结果，所述内容描述文本用以关注并表达所述待审图像中图示内容的语义；

基于所述内容描述文本确定所述待审图像命中不同违规原因的置信得分，并根据每一所述置信得分和相应的所述得分阈值之间的大小关系，得到所述待审图像是否违规的确定结果；每一所述违规原因分配有相应的得分阈值；

根据所述回答结果及所述确定结果，综合判断所述待审图像是否违规。

本申请实施例第二方面提供一种电子设备，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。

本申请实施例第三方面提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。

本申请实施例第四方面提供一种包含指令或计算机程序的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如本申请实施例第一方面或第一方面的任一具体实现方式所描述的方法。

从以上技术方案可以看出，本申请实施例至少具有以下优点：

问答模型的使用可直接地综合回答待审图像是否违规，同时，输出的内容描述文本，有助于挖掘视觉内容在文字上的表意，降低纯视觉审核带来的关注点遗漏，提高图像审核的准确度。此外，对问答模型无法确切评判出违规与否(即回答结果为空)的待审图像做置信得分的计算，可确保对待审图像的审核有实质性的明确结果(违规或不违规)，避免审核结果空虚；另一方面，综合回答结果及由得分阈值确定的结果，能多渠道地严格审判图像是否违规，从而更细粒度地维护图像阅览环境。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

需要说明的是，虽然各实施例所涉及的流程性示意图(若存在)中各个步骤按照箭头的指示依次绘制，但除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图1为本申请实施例图像审核方法的一个系统架构图；

图2为本申请实施例图像审核方法的一个流程示意图；

图3为本申请实施例图像审核方法的另一流程示意图；

图4为本申请实施例图像审核方法的问答模型结构示意图；

图5为本申请实施例图像审核方法的另一流程示意图；

图6为本申请实施例电子设备的一个结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在以下的描述中，涉及到“一个具体实施方式”或“一个具体示例”等类似表达，其描述了所有可能实施例的子集，但是可以理解，“一个具体实施方式”或“一个具体示例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，涉及到的术语多个是指至少两个。本申请所说的某数值达到阈值(如果存在)，在一些具体示例中，可包括前者大于阈值后者的情况；若提及“任意”或“至少一”等类似表述，具体可指所列举示例中的任一种示例或这些示例之间的任意组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

为了更好地实现本申请的图像审核方法，现提供如图1所示的本方法的系统架构示意图。该系统可以包括至少一个终端设备101和一个服务器102；终端设备101上可以安装有不同类型应用程序，例如，在该终端设备101上可以安装有即时通讯应用程序、直播应用程序、会议通信应用程序等等；该终端设备101可以是为智能手机、平板电脑、笔记本电脑、台式电脑、智能车载等等。服务器102可以用于存储终端设备101的不同类型应用程序所产生的应用数据和图像数据；服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

本图像审核方法可由终端设备101或服务器102任一方执行，也可由双方共同执行，具体可根据实际应用场景确定，此处不做限制。其中，上述方法由终端设备101和服务器102共同执行时，具体应用场景可为，终端设备101接收并上传用户输入的待审图像；服务器102使用问答模型输出待审图像是否违规的回答结果及待审图像的内容描述文本，基于内容描述文本确定待审图像命中不同违规原因的置信得分，并由置信得分及其得分阈值之间的大小关系，确定待审图像是否违规。

上述的应用环境仅为方便理解所作的示例，可以理解的是，本申请实施例不仅局限于上述应用环境。

下面将对本申请的方法做进一步的详细说明。

请参阅图2，本申请第一方面提供一种图像审核方法的一个具体实施例，该实施例包括如下操作步骤：

步骤21、将待审图像输入预先训练好的问答模型，以输出待审图像是否违规的回答结果及待审图像的内容描述文本。

其中，回答结果包含为空的结果，内容描述文本用以关注并表达待审图像中图示内容的语义。问答模型可将图像转成文本，实现图像内容理解和问题答复。问答模型的输出结果可包括：对问题“图像是否存在违规内容？”或“图像是否违规？”等的回答结果(如“是”、“否”或“空”)，及与待审图像示意匹配的内容描述文本，内容描述文本与待审图像中的图示内容在语义表达上相对应。其中，为“空”的回答结果表示，问答模型无法确切判定图像是否违规，该原因可能是，对于图中存在的客观违规内容，如图中存在的恐怖、虚假宣传、低俗或指向敏感等客观令人不适的内容，问答模型能直接给出“是”或“否”的答案，相应的，还可以给出对应的违规原因或解释。但是，对于存在人为主观评判或新出现的不在传统审核规则内的违规内容，如图像中存在的抽烟、喝酒、纹身、枪支刀具或密集人群等不良导向标签的内容，即面对主观不适的内容，问答模型常无法直接给出确切的回答(“是”或“否”)即回答结果为空。

针对于此，需要对问答模型无法直接判定违规与否的图像做进一步的审核，以免实则违规的图像侥幸通过审核被公开，造成不良影响。

步骤22、基于内容描述文本确定待审图像命中不同违规原因的置信得分，并根据每一置信得分和相应的得分阈值之间的大小关系，得到待审图像是否违规的确定结果。

每一违规原因分配有相应的得分阈值。实际应用中，各违规原因分配到的得分阈值可由实际经验确定，此处不做限定。上述置信得分可指待审图像被评为命中某违规原因的可信度。违规原因可包括，示意文本内至少含有劣迹艺人名称、虚假广告语或敏感用词等关键词；更进一步的，违规原因还可以是，示意文本内包含与前述关键词有一定联系的关联词，如某劣迹艺人的演唱会“xx演唱会”或某敏感用词的网络用词等；简言之，违规原因是对违规内容的定义，具体可依据事实背景和/或划定的审核尺寸自定义，此处不做限定。

为了准确召回违规图像，可根据每一置信得分和相应的得分阈值之间的大小关系，确定待审图像是否违规。一般的，若某置信得分超过(大于或等于)其相应的得分阈值，则可认为该待审图像违规，但为了增强可信度，可以在多个置信得分均超过其得分阈值时，才最终认定该图像违规。

步骤23、根据回答结果及确定结果，综合判断待审图像是否违规。

综上，本申请实施例的问答模型可直接地综合回答待审图像是否违规，同时，输出的内容描述文本，有助于挖掘视觉内容在文字上的表意，降低纯视觉审核带来的关注点遗漏，提高图像审核的准确度。此外，对问答模型无法确切评判出违规与否(即回答结果为空)的待审图像做置信得分的计算，可确保对待审图像的审核有实质性的明确结果(违规或不违规)，避免审核结果空虚；另一方面，综合回答结果及由得分阈值确定的结果，能多渠道地严格审判图像是否违规，从而更细粒度地维护图像阅览环境。

在上述示例说明的基础上，下面将提供一些具体的可能实施示例，实际应用中，这些示例之间的实施内容可根据相应的功能原理、应用逻辑由需地结合或单独实施，具体可由实际场景而定。

本申请基于图2的示例内容，提供一种图像审核方法的另一具体实施例，该实施例包括如下操作步骤：

步骤21、将待审图像输入预先训练好的问答模型，以输出待审图像是否违规的回答结果及待审图像的内容描述文本。

如图3所示，问答模型的换称为多模态图片内容问答大模型，该问答模型的使用方法可为：输入一张图像，提出一个问题，这里的问题包括但不限于，“输入的图像是否违规？”、“xx用词是否违规？”或“图像是否存在低俗或血腥等违规内容或倾向？”；问答模型会智能化地理解图像内容，并根据问题输出答案(“是”、“否”或“空”)，当然，还可以给出关于回答“是”的原因或解释。简言之，问答模型不仅具有图像内容理解能力，还具有问题理解和文本推理能力，能通过直接提问的方式获得输入图像是否存在内容安全问题的回答，该问答模型主要组成可如图4所示：包括图像编码器、图文跨模态特征对齐模块(可简称对齐模块)、语言模型(LLM)。

首先，输入的图像会经过图像编码器模块编码得到一图像嵌入特征(embedding)，该图像embedding通过图文跨模态特征对齐模块，生成能被语言模型理解的文本embedding，最后，大语言模型基于文本embedding解码得到针对问题(“图像是否违规？”)的答案(是、否或空)、内容描述文本(如“这张图像展示了两名有纹身的男子，其中一男子握有碎酒瓶”)，当然还可以输出对答案是违规时的相关原因或解释。此处，图像审核的问题提出可以是根据输入的图像(如根据展示对象“人物”、图像embedding或内容描述文本等)配置的不同问题，也可以是固化的问题，即不管输入什么样的图像都是问“图像是否存在违规内容？”或“图像存在xx类违规内容吗？”，具体不做限制。图像编码器可以是现有模型，包括但不限于ViT、YoLo系列等的模型，也可以是更具表征能力的视觉模型；图像编码器的本质是提取输入图像在图像模态的特征向量embedding，以供对齐模块能找到准确表达该图像embedding的文本模态embedding，进而保障后续的大语言模型编码出更能说明图像示意的内容描述文本，即精准地实现图生义，使得图像审核任务转为更可靠的文本审核任务。换言之，对齐模块目的是，提取可以被LLM(或称安全审核文本大模型)识别的文本embedding，该对齐模块或称模型的训练阶段可包括，将输入的图文对特征进行跨模态的特征对比学习，此跨模态指不同模态(图像模态与文本模态)的特征之间相映射。大语言模型构建了问答模型的强大推理能力，可以是现有技术，包括但不限于encoder-decoder架构模型等，也可以是安全审核特有的模型。可见，上述对齐模块可以实现图像内容和LLM模型的灵活适配，使得对图像内容是否安全这一垂直或特定审核场景的应用，具有更精准的识别性能，即能非通用、针对性地细粒度审查图像违规与否。

为提高问答模型在结果(“是”或“否”)预测和文本描述上的准确效力，可在问答模型中增设引导性指令。故作为一种可能的实施方式，步骤21之前，本申请实施例的方法还可以包括：识别待审图像中所展现出的对象，以引导问答模型关注对象的详情信息后输出回答结果和内容描述文本；对象的详情信息包含人物名称、人物穿着和器具造型中的至少一种。具体的，可能的示例1为，在问答模型的对齐模块中增加指令感知模块，通过输入不同的指令引导对齐模块关注不同细节或任务下的图像信息特征表示；此指令的可扩展性强，可以灵活修改，以期能指导模型对实况中的图像进行细节检测和识别，例如某指令可设为：当图像中出现人物时，关注人物的名称和人物是否存在手势低俗或衣着不雅的情况。可能的示例2为，在推理过程中，支持提示语prompt输入到LLM，即往对齐后的文本embedding特征上附加prompt，以指导LLM模型更优质地做逻辑解码，从而适配各种图像审核的问答任务，应对多种违规图像的识别。需说明的是，上述可能的示例1和2可单独实施或结合实施，具体可由需自定，

从宏观角度而言，为应对日益更新的新违规规则，作为一种可能的实施方式，问答模型的训练过程可包括：采集最近一段时间内出现的新违规原因，并依据新违规原因配置新问句；使用新问句调整问答模型的模型参数，直至问答模型达到收敛条件时，得到新问答模型。从微观角度而言，具体可以是，借助新问句调整问答模型中的LLM模型参数，以完成对问答模型的更新和效果提升。

步骤22、基于内容描述文本确定待审图像命中不同违规原因的置信得分，并根据每一置信得分和相应的得分阈值之间的大小关系，得到待审图像是否违规的确定结果。

在一些具体示例中，“基于内容描述文本确定待审图像命中不同违规原因的置信得分”的过程，可包括下述任一实施方式：

方式1.采用文本分类与检测模型)将内容描述文本输入预先训练好的文本检测模型，以输出待审图像对应的各违规原因及命中违规原因的置信得分。

方式2.采用知识库检索)提取内容描述文本对应的特征向量，并通过特征向量与知识库内各库存向量间的相似度，检索出预设数目个相似度居高(top K)的目标库存向量；根据特征向量与目标库存向量间的相似度，计算待审图像面向目标库存向量对应的违规原因时的置信得分。

当然，作为一种可能的实施方式，也可以综合上述方式1和方式2的结果。

面对问答模型无法确切回答违规与否的疑似主观不适图像，可如图3所示采用方式1和/或方式2做进一步的检测。方式1中，问答模型输出的图像内容描述(即内容描述文本)经过文本分类与检测模型(即文本检测模型)，可输出疑似的违规类型和相应的置信度得分。该文本检测模型可以是现有模型，也可以是在现有模型的基础上使用审核标准和审核数据等进行微调得到的模型，此审核标准可指对违规内容的定义，如对某劣迹艺人的背景定义等相关内容的审核尺度和规则；审核数据可指被分类好的违规数据和正常数据，违规数据可包含一张图像违规的原因和/或embedding特征等，正常数据则指内容无害的不违规数据。方式2中，问答模型输出的内容描述文本可被向量化即执行word2vec操作，检索引擎将生成的特征向量与知识库中的库存向量进行匹配性检索，以输出与特征向量相似的结果和相应的置信度得分，该结果可包含最相似(即top K，K＝1)的目标库存向量及其与特征向量的相似度，该相似度可用于计算待审图像面向目标库存向量指向的违规原因时的置信得分，置信得分越高表示命中该违规原因的可信度越高。当然，目标库存向量的数目可由需自定而非仅一个，即top K中的K取值不限。

为了提高检索的精准率，可按照库存向量对应文本的文本长度，将长句式的内容描述文本切分成符合该文本长度的多条子文本。故在一些具体示例中，上述“提取内容描述文本对应的特征向量”的操作过程可包括：按库存向量对应文本的预设文本长度，对内容描述文本进行切分处理，以得到多条子文本；提取每条子文本对应的特征向量即文本embedding，作为与各库存向量相比的参比向量。此处的预设文本长度可以是不超过5个文字等，具体可由需自定。

在一些具体示例中，上述知识库的构建过程可包括：每隔一预设周期采集预设格式的违规文本，各违规文本所命中的违规原因不同，即对应所属的违规类型不同；对超出预设文本长度的违规文本进行切分处理，得到预设文本长度的文本内容；提取每一预设文本长度的文本内容所对应的特征向量作为库存向量，以构成知识库。

具体的，上述构建过程可主要由审核规则与标准运营管理平台负责：对审核规则、审核数据等知识文档先进行数据预处理，再进行文本分片和分块处理，之后提取切分所得的各文本的文本embedding(即向量化处理)，并将最后向量化后的embedding特征存储到审核知识库(即作为向量检索库的组成)。换言之，审核规则、违规数据等会事先被分割和向量化存储在审核知识库中，以供待审图像的特征向量检索出与之匹配的目标库存向量，进而明确待审图像违规与否及其违规原因等。因文档内容繁杂，上述数据预处理可包含文档格式修改、数据格式统一、数据对齐、数据清洗等中的任意操作，分片和分块可分别理解为分段和分句。

如图5所示，为有效提高知识库对违规图像的识别准确度和召回率，可引用具有引导意义的提示语prompt。故作为一种可能的实施过程，上述方式2中，通过特征向量与知识库内各库存向量间的相似度，检索出预设数目个相似度居高(top K)的(旧)目标库存向量之后，根据特征向量与目标库存向量间的相似度，计算待审图像面向目标库存向量对应的违规原因时的置信得分之前，还可以包括如下操作：根据内容描述文本和各(旧)目标库存向量构造提示语(prompt)；基于提示语的语义引导，检索出与特征向量相匹配的新目标库存向量，新目标库存向量用于替补各(旧)目标库存向量。此处，新旧目标库存向量的数量可以相同或不同，用于构造prompt的(旧)目标库存向量数目N可以小于等于K个，具体均不做限制。实际应用中，可将相似度居高的topN个(旧)目标库存向量即检索结果、问答模型事先生成的内容描述文本和prompt拼接在一起，并将拼接结果输入文本安全审核大模型，得到知识库检索引擎的最终识别结果，该识别结果较比无prompt加入的上述方式2检索结果更为准确、快捷，例如，能更精准地检索出更为贴近的目标库存向量，使得能更可靠地追溯违规图像所属的违规目标原因，精确定位其主要的违规类型到底是指向敏感、含劣迹内容还是虚假广告等。

在一些具体示例中，“根据每一置信得分和相应的得分阈值之间的大小关系，确定待审图像是否违规”的操作过程可包括：若检测模型输出的置信得分超过相应的得分阈值，和/或，若特征向量输出的最高置信得分超过相应的得分阈值，则确定待审图像违规。

步骤23、根据回答结果及确定结果，综合判断待审图像是否违规。

在一些具体示例中，步骤23的操作过程可包括：对回答结果和确定结果分别对应的得分值进行加权融合，并在融合结果大于融合阈值时，确定待审图像违规。例如，对图像的识别结果为“是(违规)、否(不违规)或空(不明确违规与否)”时的得分值，可分别预设为1、0.5、0，融合结果＝回答结果*权重值A+确定结果*权重值B，此得分值和权重值可由需自定，具体不做限定。

示例性的，如图3所示，若第①步问答模型的回答结果是客观违规答案(如明确的“是”)，则表示待审图像存在明显违规内容(如含低俗或血腥等不适内容)，可直接进入终审确认环节(可人为介入)输出结果。如果回答结果为空即没有明确的“是”或“否”，仅包含对待审图像的内容描述文本，则表示待审图像存在令人主观不适的疑似内容(如可能含抽烟、纹身或斗殴等图样)，故该内容描述文本可经过第②步文本检测模型和/或第③步知识库检索的审核，第②步和/或第③步的置信得分会与阈值做比较，如果超过相应的阈值则表示有违规内容，需进入终审确认环节，反之则为正常图像可直接通过审核，无需终审。此处，第②步和/或第③步两种审核方式，可以单独使用，为达到更佳效果也可以结合使用。如果结合使用，第④步综合审核结果的模块将综合两种审核方式的审核结果；一般地，为了更高的召回率，如果两种审核方式中有任一方式判断图像违规就综合判断其违规；如需更高精确率，也可以两种审核方式都判断违规时才综合判断该图像违规，否则为正常图像。

基于图2的示例说明，作为一种可能的实施方式，步骤23之后，本申请实施例的图像审核方法还可以包括：将超过各自得分阈值的置信得分按由大到小的顺序排序，并确定排序中首位置信得分对应的违规原因为待审图像违规的目标原因；其中，参与排序的置信得分包含，回答结果为是时问答模型输出的置信得分。换言之，作为可选方案，图3中①的结果可以全部输入②和/或③进行检测，最终综合①②③的结果进行审核判断，具体可类似上述综合②③时的判法，此处不做赘述。

此外，对于图3中的审核规则与标准运营平台，随着业务和平台生态等多种因素的变化，审核规则和标准会相应修改与变更，故可周期性地自动更新审核知识库，以保证知识库检索引擎的内容符合最新的审核标准，从而实现快速响应新审核标准下的图像审核需求，提高图像审核场景的准确率和召回率。

作为一种可能的实施情况，本申请提及的置信得分也可以直接用相似度替代，具体可由需设定，不做限制。此外需说明的是，本申请提及的违规类型、违规原因、违规规则、审核标准之间可替代性使用，均可理解为对违规内容的定义。

综上，本申请实施例是一种泛化能力强、开发和维护成本低的图像审核方法，有益之处有：

1.降低了图像审核算法研发的成本：按照现有的方法，需要为图像审核研发分别适应不同违规类型的很多个模型，每个模型的研发都需要经过数据收集与标注、模型训练与优化、服务发布与运维等，费时费力，即运维一个个模型的成本高，包括面对不断涌现的新违规内容时，新违规内容的加入将占用大量的训练时长和资源成本，不利于模型落地使用。而本申请实施例的方法只需研发一套问答模型，就能处理各类违规图像，不依赖大量标注数据，大大降低了标注成本和模型迭代的研发难度。

2.问答模型具备更好的泛化能力，融合了编码模型和大语言模型(LLM)等的优势，可利用语言大模型的语义信息，辅助图像内容的理解和识别，并直接给出图像是否存在客观违规内容的回答；对于无法确切回答的主观内容，经过文本检测模型和/或知识库检索，可进一步输出符合审核标准和规则的识别结果，且识别结果丰富、细致。加上不同的prompt引导，使得一个问答模型可以适配多种审核任务，能够召回更多样的违规内容；具体的，可在输入待审图像到问答模型后，配合prompt引导模型输出符合内容审核关注的图像内容描述和高质量回答，以提高问答模型的审核准确率和泛化能力。

3.快速响应处置新违规图像：通过引入知识库检索引擎，在zero-shot场景下，能适应变动的审核策略和规则的需求，快速对新违规样本召回，提高审核质量和效率。

请参阅图6，本申请实施例的电子设备600可以包括一个或一个以上中央处理器CPU(CPU，central processing units)601和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。

其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在电子设备600上执行存储器605中的一系列指令操作。

电子设备600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

该中央处理器601可以执行前述第一方面或第一方面的任一具体方法实施例所执行的操作，具体不再赘述。

本申请提供的一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上述第一方面或第一方面的任一具体实现方式所描述的方法。

本申请提供的一种包含指令或计算机程序的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述第一方面或第一方面的任一具体实现方式所描述的方法。

可以理解的是，在本申请的各种实施例中，各步骤的序号大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统(若存在)、装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统或装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品(计算机程序产品)存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，业务服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-only memory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种图像审核方法，其特征在于，包括：

将待审图像输入预先训练好的问答模型，以输出所述待审图像是否违规的回答结果及所述待审图像的内容描述文本；所述回答结果包含为空的结果，所述内容描述文本用以关注并表达所述待审图像中图示内容的语义；

基于所述内容描述文本确定所述待审图像命中不同违规原因的置信得分，并根据每一所述置信得分和相应的所述得分阈值之间的大小关系，得到所述待审图像是否违规的确定结果；每一所述违规原因分配有相应的得分阈值；

根据所述回答结果及所述确定结果，综合判断所述待审图像是否违规。

2.根据权利要求1所述的图像审核方法，其特征在于，所述基于所述内容描述文本确定所述待审图像命中不同违规原因的置信得分，包括：

将所述内容描述文本输入预先训练好的文本检测模型，以输出所述待审图像对应的各违规原因及命中所述违规原因的置信得分。

3.根据权利要求1所述的图像审核方法，其特征在于，所述基于所述内容描述文本确定所述待审图像命中不同违规原因的置信得分，包括：

提取所述内容描述文本对应的特征向量，并通过所述特征向量与知识库内各库存向量间的相似度，检索出预设数目个相似度居高的目标库存向量；

根据所述特征向量与所述目标库存向量间的相似度，计算所述待审图像面向所述目标库存向量对应的违规原因时的置信得分。

4.根据权利要求3所述的图像审核方法，其特征在于，所述知识库的构建过程包括：

每隔一预设周期采集预设格式的违规文本，各所述违规文本所命中的违规原因不同；

对超出预设文本长度的所述违规文本进行切分处理，得到所述预设文本长度的文本内容；

提取每一所述预设文本长度的文本内容所对应的特征向量作为库存向量，以构成所述知识库。

5.根据权利要求3所述的图像审核方法，其特征在于，通过所述特征向量与知识库内各库存向量间的相似度，检索出预设数目个相似度居高的目标库存向量之后，根据所述特征向量与所述目标库存向量间的相似度，计算所述待审图像面向所述目标库存向量对应的违规原因时的置信得分之前，所述方法还包括：

根据所述内容描述文本和各所述目标库存向量构造提示语；

基于所述提示语的语义引导，检索出与所述特征向量相匹配的新目标库存向量，所述新目标库存向量用于替补各所述目标库存向量。

6.根据权利要求1所述的图像审核方法，其特征在于，根据所述回答结果及所述确定结果，综合判断所述待审图像是否违规，包括：

对所述回答结果和所述确定结果分别对应的得分值进行加权融合，并在融合结果大于融合阈值时，确定所述待审图像违规。

7.根据权利要求1所述的图像审核方法，其特征在于，根据每一所述置信得分和相应的所述得分阈值之间的大小关系，得到所述待审图像是否违规的确定结果之后，所述方法还包括：

将超过各自所述得分阈值的所述置信得分按由大到小的顺序排序，并确定所述排序中首位置信得分对应的违规原因为所述待审图像违规的目标原因；其中，参与所述排序的置信得分包含，所述回答结果为是时所述问答模型输出的置信得分。

8.根据权利要求1所述的图像审核方法，其特征在于，将待审图像输入预先训练好的问答模型之前，所述方法还包括：

识别所述待审图像中所展现出的对象，以引导所述问答模型关注所述对象的详情信息后输出所述回答结果和所述内容描述文本；所述对象的详情信息包含人物名称、人物穿着和器具造型中的至少一种。

9.一种电子设备，其特征在于，包括：中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行权利要求1至8中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至8中任意一项所述的方法。