CN116824580A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本说明书一个或多个实施例提供了一种图像处理方法、装置、设备及存储介质，其中方法包括：获取待进行风险检测的图像，将该图像输入至风险检测模型，通过风险检测模型，提取该图像的图像特征，该图像特征为用于表示该图像的图像内容与待检测的风险信息之间的相关性的特征，待检测的风险信息包括多个类别的风险信息，根据该图像特征和风险检测模型预先训练得到的待检测的风险信息对应的语义特征，确定该图像的风险信息。

Description

图像处理方法、装置、设备及存储介质

技术领域

本文件涉及数据安全领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

在图像内容安全防控领域，对图像内容进行安全防控，识别出图像中具有的风险信息，比如识别出图像中蕴含的色情、暴恐、政敏、赌博等风险信息，是图像内容安全防控领域的重点技术研究方向之一。因此，需要提供更加高效准确的技术方案，来对图像中所具有的风险信息进行识别。

发明内容

本说明书一个或多个实施例的目的是提供一种图像处理方法，包括：获取待进行风险检测的图像。将所述图像输入至风险检测模型。通过所述风险检测模型，提取所述图像的图像特征。所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征。所述待检测的风险信息包括多个类别的风险信息。根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

本说明书一个或多个实施例的目的是提供一种图像处理装置，包括：获取单元，获取待进行风险检测的图像。将所述图像输入至风险检测模型。提取单元，通过所述风险检测模型，提取所述图像的图像特征。所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征。所述待检测的风险信息包括多个类别的风险信息。确定单元，根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

本说明书一个或多个实施例的目的是提供一种图像处理设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器：获取待进行风险检测的图像。将所述图像输入至风险检测模型。通过所述风险检测模型，提取所述图像的图像特征。所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征。所述待检测的风险信息包括多个类别的风险信息。根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

本说明书一个或多个实施例的目的是提供一种存储介质，用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时实现以下方法：获取待进行风险检测的图像。将所述图像输入至风险检测模型。通过所述风险检测模型，提取所述图像的图像特征。所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征。所述待检测的风险信息包括多个类别的风险信息。根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一实施例提供的图像处理方法的流程示意图；

图2为本说明书一实施例提供的训练好的风险检测模型的结构示意图；

图3为本说明书一实施例提供的待训练的风险检测模型的结构示意图；

图4为本公开一实施例提供的风险检测模型的训练流程示意图；

图5为本说明书一实施例提供的图像处理装置的结构示意图；

图6为本说明书一实施例提供的图像处理设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。需要说明的是，在不冲突的情况下，本说明书中的一个或多个实施例以及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本说明书一个或多个实施例。

本说明书一实施例提供了一种图像处理方法，能够高效准确的对图像中所具有的风险信息进行识别。该图像处理方法可以应用在后台服务器或服务器集群上，由服务器或者服务器集群执行实现。

图1为本说明书一实施例提供的图像处理方法的流程示意图，如图1所示，该流程包括：

步骤S102，获取待进行风险检测的图像，将图像输入至风险检测模型；

步骤S104，通过风险检测模型，提取图像的图像特征；图像特征为用于表示图像的图像内容与待检测的风险信息之间的相关性的特征；待检测的风险信息包括多个类别的风险信息；

步骤S106，根据图像特征和风险检测模型预先训练得到的待检测的风险信息对应的语义特征，确定图像的风险信息。

通过本实施例，能够通过预先训练好的风险检测模型识别图像的风险信息，并且，通过该风险监测模型能够识别图像具有的多个类别的风险信息，还能够合理平衡模型规模和风险识别准确程度之间的关系，在模型规模可控的情况下提升风险识别的准确程度，达到高效准确的对图像中所具有的风险信息进行识别的效果。

上述步骤S102中，获取待进行风险检测的图像。该图像可以是任意内容的图像，本实施例不做限定。接着，将获取的图像输入至预先训练好的风险检测模型。该风险检测模型为基于深度学习的神经网络模型。

上述步骤S104中，通过风险检测模型，提取图像的图像特征。该图像特征能够表示图像的图像内容与待检测的风险信息之间的相关性。具体而言，在不同应用场景中图像特征所表示的含义不同，例如，在识别图像内容的场景中，图像特征可以表示图像的颜色值、图像所包含的物体的边缘位置等，在本实施例中，在识别图像所具有的风险信息时，能够从图像中提取用于表示图像的图像内容与待检测的风险信息之间的相关性的特征，该相关性可以理解为图像内容与风险信息之间的相关联的程度，比如，在图像特征的特征向量的值趋近于预设值时，表示图像内容与风险信息之间很相关，图像很大可能具有风险信息，又如，在图像特征的特征向量的值远离于预设值时，表示图像内容与风险信息之间非常不相关，图像很大可能不具有风险信息。

待检测的风险信息为风险检测模型训练之前预先确定好的信息，待检测的风险信息包括多个类别的风险信息，待检测的风险信息所表示的待检测的风险可以为多个，该多个风险来自于多个类别，比如，待检测的风险信息包括：图像中是否有A风险、图像中是否有B风险，分别对应第一类别的A风险、第二类别的B风险。因此，待检测的风险信息相当于是风险检测模型的识别指标，通过风险检测模型，在各个待检测的风险信息中识别图像所具有的风险信息，以确定图像所具有的风险。

在一个实施例中，风险检测模型包括第一图像特征提取模块和第二图像特征提取模块，相应地，通过风险检测模型，提取图像的图像特征，包括：

通过第一图像特征提取模块，基于预设的基准特征提取策略，提取图像的基准特征作为第一特征；

通过第二图像特征提取模块，基于待检测的风险信息，提取图像的与待检测的风险信息相关的特征作为第二特征；

根据第一特征和第二特征，生成图像的图像特征。

具体地，在训练好的风险检测模型中，具有第一图像特征提取模块和第二图像特征提取模块。第一图像特征提取模块获取到图像后，可以基于预设的基准特征提取策略，提取图像的基准特征作为第一特征。基准特征为在预设的一个或多个图像处理领域内通用的图像特征，通过基准特征提取策略，能够从图像中提取到在预设的一个或多个图像处理领域内通用的图像特征。其中，预设的一个或多个图像处理领域包括但不限于风控领域、图像内容分类领域、图像内容识别领域等，基准特征包括但不限于图像中所包含的物体、图像的颜色值、图像的颜色变化规律、图像中的物体边缘、图像中的人物动作等常见的特征。由于第一图像特征提取模块的作用是提取在预设的一个或多个图像处理领域内通用的图像特征，因此第一图像特征提取模块可以为在风险检测模型训练之前预先训练好的模块，在风险检测模型的训练过程中，第一图像特征提取模块的模块参数不再发生改变。

第二图像特征提取模块获取到图像后，可以基于待检测的风险信息，提取图像的与待检测的风险信息相关的特征作为第二特征。具体地，第二图像特征提取模块为在风险检测模型训练过程中参与训练过程参数发生变化的模块。第二图像特征提取模块可以根据所要检测的风险信息也即待检测的风险信息，提取图像的与待检测的风险信息相关的特征作为第二特征。

举例而言，待检测的风险信息包括图像中是否有第一类别的A风险、图像中是否有第二类别的B风险，则通过第二图像特征提取模块，可以根据待检测的风险信息，提取图像的与待检测的风险信息相关的特征作为第二特征，比如提取与A风险相关特征、与B风险相关的特征作为第二特征。其中，与A风险相关特征可以为与A风险相关的人物动作特征、人物衣着特征、物品种类特征等，与B风险相关的特征也可以为与B风险相关的人物动作特征、人物衣着特征、物品种类特征等。最后，根据第一特征和第二特征，生成图像的图像特征。

可见，通过本实施例，能够提取图像的第一特征和第二特征，由于第一特征是图像处理领域内的通用特征，第二特征是与待检测的风险信息相关的特征，因此根据第一特征和第二特征，通过多特征提取并结合的方式，可以得到用于表示图像内容与待检测的风险信息之间的相关性的特征，进而基于该特征准确识别图像是否具有风险信息，提高风险检测模型的精准度。

在一个实施例中，根据第一特征和第二特征，生成图像的图像特征，包括：

将第一特征和第二特征相加，得到图像的图像特征。

具体地，第一特征可以举例为a*m维度的特征向量，第二特征的维度可以与第一特征的维度相同，都为a*m维度的特征向量，其中，a表示对图像进行分块得到的块数，m表示每块图像的特征，则可以将特征向量中行数列数相同的元素值相加，得到相加后的特征向量，相加后的特征向量也为a*m维度的特征向量，相加后的特征向量即为图像的图像特征。

可见，通过本实施例，能够通过将第一特征和第二特征相加的方式，高效快速的得到图像的图像特征，进而基于该特征准确识别图像是否具有风险信息，提高风险检测模型的精准度。

根据前面介绍可知，第一图像特征提取模块可以为在风险检测模型训练之前预先训练好的模块，在风险检测模型的训练过程中，第一图像特征提取模块的模块参数不再发生改变。第二图像特征提取模块可以为在风险检测模型训练过程中参与训练过程参数发生变化的模块。在一个实施例中，第一图像特征提取模块为在风险检测模型训练前预先训练好的CLIP(Contrastive Language–Image Pre-training，对比语言-图像预训练)图像编码器。第二图像特征提取模块为在风险检测模型训练过程中进行训练的视觉编码器。

关于CLIP的概念可以参考如下：

CLIP(Contrastive Language–Image Pre-training)是一种多模态预训练的算法或模型，基于CLIP编码器的模型是一个基于图像和文本并行的多模态模型，CLIP的核心思想是将图像和文本映射到同一个特征空间，在这同一个特征空间内，所表示的内容相近似的文本和图像，其特征向量也相近似。

基于CLIP的核心思想，基于CLIP编码器的模型由两个编码器组成，图像编码器：用于将图像映射到特征空间，文本编码器：用于将文本映射到相同的特征空间。在模型训练过程中，图像编码器会对图像进行特征提取得到多个图像特征向量，文本编码器会对文本进行特征提取得到多个文本特征向量，基于CLIP编码器的模型的训练目标是令所表示的内容相近似的一个文本和图像对的特征向量相似度尽可能高，从而使得文本特征和图像特征相互匹配，训练好的模型在对图像进行处理时，可以识别到图像对应的文本特征，从而对图像进行分类。

根据CLIP编码器的原理，基于CLIP编码器实现本实施例中的风险检测模型时，风险检测模型也包括CLIP图像编码器和与CLIP图像编码器相对应的CLIP文本编码器。前面提到的第一图像特征提取模块为CLIP图像编码器，CLIP文本编码器将在后文介绍。训练好的风险检测模型会识别到图像对应的文本特征，在一个文本特征对应一个风险信息的情况下，基于图像对应的文本特征即可在多个待检测的风险信息中确定图像具有的风险信息。关于风险检测模型的具体结构和训练过程，将在后文详细说明。

关于第二图像特征提取模块，其可以为在风险检测模型训练过程中进行训练的视觉编码器。第二图像特征提取模块可以采用任意的神经网络结构，本实施例不做限定。

可见，通过本实施例，设置第一图像特征提取模块为在风险检测模型训练前预先训练好的CLIP图像编码器，设置第二图像特征提取模块为在风险检测模型训练过程中进行训练的视觉编码器，能够借助于CLIP编码器的思想和原理，提高训练好的风险监测模型的风险识别的精准度，并且由于CLIP文本编码器可以对多个文本进行编码，因此可以通过多个文本表达多个风险信息，从而使得训练好的风险检测模型可以识别图像具有的多个风险信息，合理平衡模型规模和风险识别准确程度之间的关系，在模型规模可控的情况下提升风险识别的准确程度，达到高效准确的对图像中所具有的风险信息进行识别的效果。

上述步骤S106中，根据提取到的图像特征和风险检测模型预先训练得到的待检测的风险信息对应的语义特征，确定图像的风险信息。这里风险检测模型预先训练得到的待检测的风险信息对应的语义特征，即为基于CLIP的文本编码器对多个预定义的文本进行训练并预先训练得到的待检测的风险信息对应的语义特征，每个预定义的文本表达一个风险信息。

在一个实施例中，根据图像特征和风险检测模型预先训练得到的待检测的风险信息对应的语义特征，确定图像的风险信息，包括：

对图像特征和待检测的风险信息对应的语义特征进行拼接，得到拼接特征；

基于拼接特征，确定图像的风险信息。

具体地，待检测的风险信息的数量有多个，在风险检测模型训练之前，确定好各个待检测的风险信息，比如，待检测的风险信息包括：第一类别的A风险、第二类别的B风险、第三类别的C风险等，通过风险检测模型检测图像中是否具有A风险、是否具有B风险以及是否具有C风险。具体风险信息的内容可以根据需求确定。基于每个待检测的风险信息，风险检测模型在训练过程中可以训练得到每个待检测的风险信息对应的语义特征，从而在对图像进行风险检测时，基于图像特征和每个待检测的风险信息对应的语义特征，确定图像的风险信息。

图像特征可以为a*m维度的特征向量，待检测的风险信息对应的语义特征可以为b*m维度的特征向量，其中，a表示对图像进行分块得到的块数，b表示语义特征的数量，一个语义特征对应一个待检测的风险信息，因此b也表示待检测的风险信息的数量，m表示每块图像的特征，也表示每个语义特征，也即每块图像和每个语义特征通过相同维度的特征向量表示。基于此，对图像特征和各个待检测的风险信息对应的语义特征进行拼接，得到拼接特征，拼接特征为(a+b)*m的特征向量。然后，基于拼接特征，确定图像的风险信息。

可见，通过本实施例，能够对图像特征和待检测的风险信息对应的语义特征进行拼接，得到拼接特征，基于拼接特征，确定图像的风险信息，特征拼接的方式操作简单易于实现，从而高效快速的确定图像的风险信息。

根据前面的介绍可知，在对图像进行风险识别时，需要将图像分成多块，因此图像包括多个子图像块。图像特征为a*m维度的特征向量，图像特征包括每个子图像块的特征。待检测的风险信息对应的语义特征为b*m维度的特征向量，待检测的风险信息对应的语义特征包括每个待检测的风险信息的语义特征。拼接特征为(a+b)*m的特征向量，因此拼接特征的第一维度的长度a+b等于子图像块的数量a与待检测的风险信息的数量b之和，拼接特征的第二维度的长度m等于子图像块的特征的维度或者等于待检测的风险信息对应的语义特征的维度，具体地，子图像块的特征的维度或者待检测的风险信息对应的语义特征的维度也可以都为m，也即拼接特征的第二维度的长度m等于子图像块的特征的维度也等于待检测的风险信息对应的语义特征的维度。并且，拼接特征的第一维度对应的特征为子图像块的特征或者为待检测的风险信息对应的语义特征，比如，对于拼接特征(a+b)*m，其第一维度(a+b)中前a个维度对应的特征为子图像块的特征，后b个维度对应的特征为每个待检测的风险信息对应的语义特征。

基于以上对拼接特征的分析，在一个实施例中，基于拼接特征，确定图像的风险信息，包括：

针对每个第一维度，根据该第一维度对应的特征与各个第一维度对应的特征之间的相似度，更新该第一维度对应的特征；

在各个第一维度对应的特征更新完成之后，得到更新后的拼接特征；

基于更新后的拼接特征，确定图像的风险信息。

具体地，对于拼接特征(a+b)*m，其第一维度为(a+b)，每个第一维度对应的特征都为m维的特征，每个m维的特征可以为每个子图像块的特征也可以为每个待检测的风险信息对应的语义特征。首先，对于每个第一维度，根据该第一维度对应的特征与各个第一维度对应的特征之间的相似度，更新该第一维度对应的特征，并在各个第一维度对应的特征更新完成之后，将各个第一维度对应的更新后的特征，组合为更新后的拼接特征。接着，基于更新后的拼接特征，确定图像的风险信息。能够理解，每个第一维度对应的特征即为每个第一维度对应的特征向量。

举例而言，假设a+b等于500，m等于1024，则对于500个1024特征向量中的第一个1024特征向量，根据该1024特征向量与全部的500个1024特征向量中的每个特征向量之间的特征向量相似度，更新该第一个1024特征向量的特征向量值，在更新之后，对于500个1024特征向量中的第二个1024特征向量，根据该1024特征向量与全部的500个1024特征向量(包括更新后的第一个1024特征向量)中的每个特征向量之间的特征向量相似度，更新该第二个1024特征向量的特征向量值，在更新之后，对于500个1024特征向量中的第三个1024特征向量，根据该1024特征向量与全部的500个1024特征向量(包括更新后的第一个和第二个1024特征向量)中的每个特征向量之间的特征向量相似度，更新该第三个1024特征向量的特征向量值，从而通过这种办法更新每个1024特征向量，500个更新后的1024特征向量组合得到更新后的拼接特征。接着，基于更新后的拼接特征，确定图像的风险信息。其中，500个1024特征向量可以根据预定方式确定各个1024特征向量的顺序，比如，在矩阵中从上到下的顺序即为各个1024特征向量的顺序，从而基于该顺序确定第一个1024特征向量、第二个1024特征向量……最后一个1024特征向量。任意两个1024特征向量之间的特征向量相似度，可以通过任意方式计算得到，比如基于欧式距离计算得到，这里不做限定。

可见，通过本实施例，能够通过更新拼接特征的方式，确定图像的风险信息，确定风险信息的过程简单易于实现，从而提高确定图像的风险信息的效率。

在一个实施例中，针对每个第一维度，根据该第一维度对应的特征与各个第一维度对应的特征之间的相似度，更新该第一维度对应的特征，包括：

针对每个第一维度，计算该第一维度对应的特征与各个第一维度对应的特征之间的相似度；

针对每个第一维度，根据上述相似度对各个第一维度对应的特征进行加权求和，得到更新后的该第一维度对应的特征。

继续上面的例子，假设a+b等于500，m等于1024，则对于500个1024特征向量中的第一个1024特征向量，计算该1024特征向量与全部的500个1024特征向量中的每个特征向量之间的特征向量相似度，计算特征向量之间的相似度的方式可以采用任意方式，比如基于欧式距离计算得到，这里不做限定。得到第一个1024特征向量与全部的500个1024特征向量中的每个特征向量之间的特征向量相似度之后，将特征向量相似度作为权重，对500个1024特征向量进行加权求和，每个特征向量的权重为每个特征向量所对应的相似度，加权求和得到的特征向量即为更新后的第一个1024特征向量。

对于500个1024向量中的第二个1024向量，计算该1024特征向量与全部的500个1024特征向量(包括更新后的第一个1024向量)中的每个特征向量之间的特征向量相似度，计算特征向量之间的相似度的方式可以采用任意方式，比如基于欧式距离计算得到，这里不做限定。得到第二个1024特征向量与全部的500个1024特征向量中的每个特征向量之间的特征向量相似度之后，将特征向量相似度作为权重，对500个1024特征向量进行加权求和，每个特征向量的权重为每个特征向量所对应的相似度，加权求和得到的特征向量即为更新后的第二个1024特征向量。

继续按照这种方式，针对每个第一维度，计算该第一维度对应的特征与各个第一维度对应的特征之间的相似度，根据该相似度对各个第一维度对应的特征进行加权求和，得到更新后的该第一维度对应的特征，从而得到更新后的每个第一维度对应的特征。

上面更新第一维度对应的特征的过程，可以称为基于自注意力机制计算特征向量之间的相似度更新特征向量。特征向量之间的相似度越大，说明这两个特征向量对于彼此越重要，因此相似度也表示了特征向量的重要性。

可见，通过本实施例，针对每个第一维度，能够计算该第一维度对应的特征与各个第一维度对应的特征之间的相似度，针对每个第一维度，根据相似度对各个第一维度对应的特征进行加权求和，得到更新后的该第一维度对应的特征，从而高效快速的更新拼接特征。

在一个实施例中，基于更新后的拼接特征，确定图像的风险信息，包括：

在更新后的拼接特征中，查找目标第一维度对应的特征；目标第一维度为对应待检测的风险信息的第一维度；

根据目标第一维度对应的特征，确定图像的风险信息。

具体地，对于拼接特征(a+b)*m，在更新后，更新后的拼接特征也为(a+b)*m的特征向量，只不过更新前后特征向量中的元素值发生变化。对于更新后的拼接特征，其第一维度为(a+b)，每个第一维度对应的特征都为m维的特征，每个m维的特征可以为每个子图像块的特征也可以为每个待检测的风险信息对应的语义特征。

因此，首先，在更新后的拼接特征中，查找目标第一维度对应的特征。目标第一维度为对应待检测的风险信息的第一维度，在更新后的拼接特征(a+b)*m中，若b表示待检测的风险信息，则b所表示的即为目标第一维度，b所表示的维度对应的特征向量即为目标第一维度对应的特征向量。接着，根据目标第一维度对应的特征，确定图像的风险信息。

可见，通过本实施例，能够在更新后的拼接特征中，查找目标第一维度对应的特征；目标第一维度为对应待检测的风险信息的第一维度，根据目标第一维度对应的特征，确定图像的风险信息，具有确定图像的风险信息准确高效的优点。

在一个实施例中，根据目标第一维度对应的特征，确定图像的风险信息，包括：

对目标第一维度对应的特征进行概率化处理，得到图像具有目标第一维度对应的待检测的风险信息的概率；

根据图像具有目标第一维度对应的待检测的风险信息的概率，确定图像的风险信息。

具体地，在前面的例子中，查找到的目标第一维度对应的特征为更新后的拼接特征(a+b)*m中b所表示的维度对应的特征向量，这里，对b所表示的维度对应的特征向量进行概率化处理，得到图像具有目标第一维度对应的待检测的风险信息的概率。例如，在每个b所表示的维度上，每个m维度的特征向量都可以被处理成一个位于0-1之间的数值，该数值即表示了图像具有相应维度对应的待检测的风险信息的概率。在一个具体的例子中，b的取值为100，表示100个风险信息，m取值为1024，将每个b所表示的维度对应的1024向量都处理为一个位于0-1之间的值，从而通过该值表示图像具有对应的风险信息的概率。

接着，根据图像具有每个目标第一维度对应的待检测的风险信息的概率，确定图像的风险信息，比如，若概率大于0.5，则确定图像具有对应的风险信息，反之，确定图像不具有对应的风险信息，从而在各个待检测的风险信息中识别得到图像具有的风险信息。

可见，通过本实施例，能够通过对目标第一维度对应的特征向量进行概率化处理的方式，确定图像的风险信息，具有确定风险信息准确效率高的优点。

图2为本说明书一实施例提供的训练好的风险检测模型的结构示意图，如图2所示，该训练好的风险检测模型包括CLIP图像编码器、视觉编码器、特征拼接层和风险信息确定模块。其中，CLIP图像编码器即为第一图像特征提取模块，视觉编码器即为第二图像特征提取模块。

在一个实施例中，待检测风险信息的图像输入到风险检测模型之后，通过第一图像特征提取模块，基于预设的基准特征提取策略，提取图像的基准特征作为第一特征，通过第二图像特征提取模块，基于待检测的风险信息，提取图像的与待检测的风险信息相关的特征作为第二特征，第一特征和第二特征通过特征相加操作，得到图像特征，图像特征被传输到特征拼接层，特征拼接层的另外一个输入为预先训练好的每个待检测的风险信息对应的语义特征，特征拼接层对图像特征和每个待检测的风险信息对应的语义特征进行拼接，得到拼接特征。拼接特征被传输到风险信息确定模块，风险信息确定模块通过以上的流程，基于拼接特征确定图像所具有的风险信息并输出图像所具有的风险信息。

下面介绍风险检测模型的训练过程。图3为本说明书一实施例提供的待训练的风险检测模型的结构示意图，如图3所示，待训练的风险检测模型包括第一图像特征提取模块、第二图像特征提取模块、第一文本编码器、第二文本编码器、特征拼接层、风险信息确定模块、损失函数模块。

其中，第一图像特征提取模块为预先训练好的参数不变的模块，第二图像特征提取模块为需要训练的模型。在第一图像特征提取模块为CLIP图像编码器时，第一文本编码器为CLIP文本编码器，为基于CLIP的技术构思与CLIP图像编码器一同使用的文本编码器，第一文本编码器也为预先训练好的参数不变的模块，第二文本编码器为需要训练的模型。

如图3所示，一个第一文本编码器和一个第二文本编码器组合成一套文本编码器，待训练的风险检测模型所包括的文本编码器的套数根据待检测的风险信息对应的风险类别和待检测的风险信息对应的检测任务类型确定。具体地，首先确定待检测的风险信息对应的风险类别的数量，比如，待检测的风险信息的数量为100个风险，但是都属于同一类别的风险，接着，确定待检测的风险信息对应的检测任务类型，检测任务类型分为多标签任务、单标签任务和检测对象任务，多标签任务指的是在图像中检测到多个预定风险中的至少一个，单标签任务指的是在图像中检测到多个预定风险中的至多一个，检测对象任务指的是在图像中检测到具有风险的预定对象并确定预定对象在图像中的位置信息。

根据待检测的风险信息对应的风险类别和待检测的风险信息对应的检测任务类型，确定待训练的风险检测模型所包括的文本编码器的套数，包括：按照检测任务类型与一套文本编码器一一对应、不同风险类别对应不同的成套的文本编码器的原则，根据待检测的风险信息对应的风险类别和待检测的风险信息对应的检测任务类型，确定待训练的风险检测模型所包括的文本编码器的套数。

比如，在待检测的风险信息对应的风险类别为两类，其中第一类风险中待检测的风险信息对应的检测任务类型包括单标签任务和检测对象任务，第二类风险中待检测的风险信息对应的检测任务类型包括多标签任务的情况下，需要设置三套文本编码器，每套文本编码器都包括一个第一文本编码器和一个第二文本编码器，其中第一套文本编码器对应于第一类风险的单标签任务，第二套文本编码器对应于第一类风险的检测对象任务，第三套文本编码器对应于第二类风险的多标签任务。

图3中，以需要检测一类风险类别且该风险类别对应多标签任务、单标签任务和检测对象任务为例，示意出了三套文本编码器。

图4为本公开一实施例提供的风险检测模型的训练流程示意图，如图3和图4所示，在一个实施例中，风险检测模型通过以下方式训练得到：

步骤S402，获取预先标记有风险信息的样本图像和用于表示待检测的风险信息的文本数据；

步骤S404，将样本图像和文本数据输入至预先搭建的模型架构；模型架构包括预先训练好的第一图像特征提取模块、待训练的第二图像特征提取模块、预先训练好的第一文本编码器和待训练的第二文本编码器；

步骤S406，基于样本图像和文本数据，训练第二图像特征提取模块和第二文本编码器，得到风险检测模型。

上述步骤S402中，首先，获取预先标记有风险信息的样本图像。对样本图像标记风险信息的方式与待检测的风险信息对应的检测任务类型相关，根据待检测的风险信息对应的检测任务类型确定样本图像中的风险信息的标记方式。比如，在检测任务类型包括多标签任务时，通过回答样本图像对应的多个风险问题中的至少一个问题的方式，标记样本图像中的至少一个风险信息，在检测任务类型包括单标签任务时，通过回答样本图像对应的多个风险问题中的至多一个问题的方式，标记样本图像中的至多一个风险信息，在检测任务类型包括检测对象任务时，通过在样本图像中标记具有风险的对象及该对象的位置的方式，标记样本图像中的至少一个风险信息。

并且，获取用于表示待检测的风险信息的文本数据。文本数据的内容与待检测的风险信息相关，根据待检测的风险信息确定用于表示待检测的风险信息的文本数据的内容。比如，在待检测的风险信息包括A、B、C、D等多个风险时，其中A、B、C、D等多个风险可以分别属于不同的检测任务类型和不同类别的风险，文本数据可以举例为：图像中是否具有A风险、图像中是否具有B风险、图像中是否具有C风险、图像中是否具有D风险等。

上述步骤S404中，将样本图像和文本数据输入至预先搭建的模型架构。具体地，将样本图像输入至预先训练好的第一图像特征提取模块和待训练的第二图像特征提取模块。确定文本数据所表示的待检测的风险信息对应的检测任务类型，根据检测任务类型将文本数据输入至与检测任务类型相对应的一套文本编码器中的第一文本编码器。第一文本编码器为预先训练好的模块，待训练的第二文本编码器的输入为预设的特征向量，比如预设的维度为1024的特征向量。

具体地，确定每个待检测的风险信息对应的检测任务类型，根据检测任务类型，将用于表示每个待检测的风险信息的文本数据输入到相应的检测任务类型所对应的第一文本编码器中。比如，以一类待检测的风险为例，待检测的风险信息包括A、B、C、D等多个风险时，其中A、B对应多标签任务，通过多标签任务检测得到A和B，C对应单标签任务，通过单标签任务检测得到C，D对应检测对象任务，通过检测对象任务检测得到D，则将用于表示A和B的文本数据，比如图像中是否具有A风险、图像中是否具有B风险输入到多标签任务对应的一套文本编码器中的第一文本编码器，并在第二文本编码器中输入预设的特征向量，以及，将用于表示C的文本数据，比如图像中是否具有C风险输入到单标签任务对应的一套文本编码器中的第一文本编码器，并在第二文本编码器中输入预设的特征向量，以及，将用于表示D的文本数据，比如图像中是否具有D风险输入到检测对象任务对应的一套文本编码器中的第一文本编码器，并在第二文本编码器中输入预设的特征向量。

上述步骤S406中，基于样本图像和文本数据，训练第二图像特征提取模块和第二文本编码器，得到风险检测模型。由于第一图像特征提取模块为预先训练好的模块，第一文本编码器为预先训练好的模块，因此在第二图像特征提取模块和第二文本编码器训练完成后，即可得到风险检测模型。

在一个实施例中，基于样本图像和文本数据，训练第二图像特征提取模块和第二文本编码器，包括：

通过第一图像特征提取模块和第二图像特征提取模块，提取样本图像的样本特征；样本特征为用于表示样本图像的图像内容与待检测的风险信息之间的相关性的预估特征；

通过第一文本编码器、第二文本编码器和文本数据，生成待检测的风险信息对应的预估语义特征；

基于样本特征、待检测的风险信息对应的预估语义特征和样本图像标记的风险信息，训练第二图像特征提取模块和第二文本编码器。

具体地，将样本图像输入到预先搭建的模型架构，模型架构中的第一图像特征提取模块和第二图像特征提取模块可以提取样本图像的样本特征。根据前面对图像进行风险识别的过程介绍可知，在训练好的风险检测模型中，可以通过第一图像特征提取模块和第二图像特征提取模块提取图像的图像特征，图像特征为用于表示图像的图像内容与待检测的风险信息之间的相关性的特征，由于在模型训练过程中，第二图像特征提取模块的参数还没有训练准确，因此通过第一图像特征提取模块和第二图像特征提取模块提取的样本图像的样本特征，为用于表示样本图像的图像内容与待检测的风险信息之间的相关性的预估特征，该预估特征并不是准确的特征，随着模型训练的推进，该预估特征也会逐渐变的准确，从而使得提取的图像特征变得准确。

接着，还可以通过第一文本编码器、第二文本编码器和上述的文本数据，生成待检测的风险信息对应的预估语义特征。在训练好的风险检测模型中，可以通过第一文本编码器、第二文本编码器和上述的文本数据，生成待检测的风险信息对应的语义特征，由于在模型训练过程中，第二文本编码器的参数还没有训练准确，因此通过第一文本编码器、第二文本编码器和上述的文本数据生成的语义特征，为待检测的风险信息对应的预估语义特征，该预估语义特征并不是准确的语义特征，随着模型训练的推进，该预估语义特征也会逐渐变的准确，从而得到待检测的风险信息对应的语义特征。

最后，基于样本特征、待检测的风险信息对应的预估语义特征和样本图像标记的风险信息，训练第二图像特征提取模块和第二文本编码器。

可见，通过本实施例，能够提取样本图像的用于表示样本图像的图像内容与待检测的风险信息之间的相关性的预估的样本特征，并生成待检测的风险信息对应的预估语义特征，从而基于样本特征、待检测的风险信息对应的预估语义特征和样本图像标记的风险信息，准确训练第二图像特征提取模块和第二文本编码器。

在一个实施例中，通过第一图像特征提取模块和第二图像特征提取模块，提取样本图像的样本特征，包括：

通过第一图像特征提取模块，基于预设的基准特征提取策略，提取样本图像的基准特征作为第一样本特征；

通过第二图像特征提取模块，基于待检测的风险信息，提取样本图像的与待检测的风险信息预估相关的特征作为第二样本特征；

根据第一样本特征和第二样本特征，生成样本图像的样本特征。

首先，通过第一图像特征提取模块，根据预设的基准特征提取策略，提取样本图像的基准特征作为第一样本特征。该第一图像特征提取模块提取样本图像的第一样本特征的过程，与该第一图像特征提取模块提取待进行风险检测的图像的第一特征的过程相同。具体地，基准特征为在预设的一个或多个图像处理领域内通用的图像特征，通过基准特征提取策略，能够从图像中提取到在预设的一个或多个图像处理领域内通用的图像特征。其中，预设的一个或多个图像处理领域包括但不限于风控领域、图像内容分类领域、图像内容识别领域等，基准特征包括但不限于图像中所包含的物体、图像的颜色值、图像的颜色变化规律、图像中的物体边缘、图像中的人物动作等常见的特征。

接着，通过第二图像特征提取模块，基于待检测的风险信息，提取样本图像的与待检测的风险信息预估相关的特征作为第二样本特征。在训练好的风险检测模型中，第二图像特征提取模块可以提取图像的与待检测的风险信息相关的特征，但是在模型训练过程中，第二图像特征提取模块的参数还不够准确，因此对样本图像提取出来的特征称之为与待检测的风险信息预估相关的特征。

举例而言，待检测的风险信息包括图像中是否有A风险、图像中是否有B风险，则通过第二图像特征提取模块，可以根据待检测的风险信息，提取样本图像的与待检测的风险信息预估相关的特征作为第二样本特征，比如提取与A风险预估相关特征、与B风险预估相关的特征作为第二样本特征。其中，与A风险预估相关特征可以为与A风险预估相关的人物动作特征、人物衣着特征、物品种类特征等，与B风险预估相关的特征也可以为与B风险预估相关的人物动作特征、人物衣着特征、物品种类特征等。

最后，根据第一样本特征和第二样本特征，生成样本图像的样本特征。参考之前的图像风险检测的过程，这里可以将第一特征和第二样本特征相加，得到图像的图像特征。例如，第一样本特征可以举例为a*m维度的特征向量，第二样本特征的维度可以与第一特征的维度相同，都为a*m维度的特征向量，其中，a表示对样本图像进行分块得到的块数，m表示每块图像的特征，则可以将特征向量中行数列数相同的元素值相加，得到相加后的特征向量，相加后的特征向量也为a*m维度的特征向量，相加后的特征向量即为样本图像的样本特征。

可见，通过本实施例，能够通过第一图像特征提取模块，提取样本图像的第一样本特征，通过第二图像特征提取模块，提取样本图像的第二样本特征，从而根据第一样本特征和第二样本特征，准确生成样本图像的样本特征。

在一个实施例中，通过第一文本编码器、第二文本编码器和文本数据，生成待检测的风险信息对应的预估语义特征，包括：

通过第一文本编码器，对上述的文本数据进行编码，得到文本数据的语义特征；

通过第二文本编码器，对预设特征进行编码，得到预设特征对应的语义特征；预设特征为预估的用于表示待检测的风险信息的语义的特征；

根据文本数据的语义特征和预设特征对应的语义特征，生成待检测的风险信息对应的预估语义特征。

根据前面的介绍可知，文本数据的内容与待检测的风险信息相关，根据待检测的风险信息确定用于表示待检测的风险信息的文本数据的内容。比如，在待检测的风险信息包括A、B、C、D等多个风险时，其中A、B、C、D等多个风险可以分别属于不同的检测任务类型和不同的风险类别，文本数据可以举例为：图像中是否具有A风险、图像中是否具有B风险、图像中是否具有C风险、图像中是否具有D风险等。

根据前面的介绍可知，第一文本编码器和第二文本编码器可以成套出现并使用。确定每个待检测的风险信息对应的检测任务类型，根据检测任务类型，将用于表示每个待检测的风险信息的文本数据输入到相应的检测任务类型所对应的第一文本编码器中。例如，以一类风险为例，待检测的风险信息包括A、B等多个风险时，其中A、B对应多标签任务，通过多标签任务检测得到A和B，则将用于表示A和B的文本数据，比如图像中是否具有A风险、图像中是否具有B风险输入到多标签任务对应的一套文本编码器中的第一文本编码器。在每套文本编码器中，待训练的第二文本编码器的输入为预设的特征向量，也即上述提到的预设特征，比如预设的维度为1024的特征向量，预设特征为预估的用于表示待检测的风险信息的语义的特征。预设特征的特征值可以随机初始化得到。

通过每套文本编码器中的第一文本编码器，对接收到的文本数据进行编码，得到文本数据的语义特征。通过每套文本编码器中的第二文本编码器，对接收到的预设特征进行编码，得到预设特征对应的语义特征。并且，根据文本数据的语义特征和预设特征对应的语义特征，生成待检测的风险信息对应的预估语义特征。

可见，通过本实施例，能够通过第一文本编码器，对文本数据进行编码，得到文本数据的语义特征，通过第二文本编码器，对预设特征进行编码，得到预设特征对应的语义特征，根据文本数据的语义特征和预设特征对应的语义特征，生成待检测的风险信息对应的预估语义特征。能够理解，在训练好的风险检测模型中，随着第二文本编码器参数的准确度的提高，通过第一文本编码器和第二文本编码器可以对预估语义特征进行修正，得到待检测的风险信息对应的准确的语义特征。

在一个实施例中，根据文本数据的语义特征和预设特征对应的语义特征，生成待检测的风险信息对应的预估语义特征，包括：

将文本数据的语义特征和预设特征对应的语义特征相加，得到待检测的风险信息对应的预估语义特征。

结合图3和前面的描述可以理解，每套文本编码器中的每个第一文本编码器输出一个或多个文本数据的语义特征，语义特征的数量等于输入到第一文本编码器中的文本数据的数量，一个文本数据对应一个语义特征，每套文本编码器中的每个第二文本编码器输出一个或多个预设特征对应的语义特征，语义特征的数量等于输入到第二文本编码器中的预设特征的数量，一个预设特征对应一个语义特征，通常情况下，对于多标签任务和单标签任务，设置在一套文本编码器中，输入到第一文本编码器中的样本文本的数量等于输入到第二文本编码器中的预设特征的数量，对于检测对象任务，设置在一套文本编码器中，输入到第一文本编码器中的样本文本的数量小于输入到第二文本编码器中的预设特征的数量。

基于此，对于多标签任务和单标签任务的同一套文本编码器，将其中的第一文本编码器输出的文本数据的语义特征和第二文本编码器输出的预设特征对应的语义特征相加，得到该套文本编码器的相加之后的特征，对于检测对象任务的同一套文本编码器，将其中的第一文本编码器输出的文本数据的语义特征和第二文本编码器输出的预设特征对应的语义特征进行拼接，得到拼接之后的特征。对各套文本编码器的输出特征进行拼接，得到待检测的风险信息对应的预估语义特征。

比如，以图3为例，在需要检测一类风险类别且该风险类别对应多标签任务、单标签任务和检测对象任务的情况下，共具有三套文本编码器，也即六个文本编码器，每个文本编码器输出的语义特征均可以表示为n*m的特征向量，n为输入到每个文本编码器中的文本数据或预设特征的数量，对于多标签任务和单标签任务，在一套文本编码器中，输入到第一文本编码器中的样本文本的数量等于输入到第二文本编码器中的预设特征的数量，对于检测对象任务，在一套文本编码器中，输入到第一文本编码器中的样本文本的数量小于输入到第二文本编码器中的预设特征的数量，不同套文本编码器中对应的文本数据的数量可以相同可以不同，不同套文本编码器中对应的预设特征的数量可以相同可以不同，因此n的取值随着文本编码器的变化而变化，m为每个语义特征的维度，可以设置为1024维。首先，对于多标签任务和单标签任务的同一套文本编码器，由于输入到第一文本编码器中的样本文本的数量等于输入到第二文本编码器中的预设特征的数量，因此第一文本编码器输出的语义特征的数量等于第二文本编码器输出的语义特征的数量，比如都为100*1024维度的特征向量，因此，将第一文本编码器输出的文本数据的语义特征和第二文本编码器输出的预设特征对应的语义特征中的相同位置的特征值相加，得到该套文本编码器的加和特征。

接着，对于检测对象任务，其不同点在于，对应的第一文本编码器和第二文本编码器的输出结果进行拼接而非相加，对于检测对象任务，其第一文本编码器输入的文本数据的数量可以不等于第二文本编码器输入的预设特征的数量，因此第一文本编码器输出的语义特征的数量可以不等于第二文本编码器输出的语义特征的数量，因此对第一文本编码器和第二文本编码器的输出结果进行拼接，比如，第一文本编码器输出为50*1024的向量，第二文本编码器输出为100*1024的向量，50和100分别表示语义特征的数量，1024为语义特征的维度，则拼接得到(100+50)*1024的向量。

最后，在特征拼接层，对不同套文本编码器的输出结果进行拼接，得到(n1+n2+n3)*m维的特征向量，即为待检测的风险信息对应的预估语义特征。其中，n1*m为第一套文本编码器的加和特征，其中每个特征值来自于第一文本编码器和第二文本编码器的加和结果。n2*m为第二套文本编码器的加和特征，其中每个特征值来自于第一文本编码器和第二文本编码器的加和结果。n3*m为第三套文本编码器的拼接特征，其中每个特征值来自于第一文本编码器和第二文本编码器的拼接结果。特征拼接层除了可以对各套文本编码器的输出结果进行拼接以外，还能够将样本特征与待检测的风险信息对应的预估语义特征进行拼接。

可见，通过本实施例，能够通过对每个文本编码器输出的文本数据的语义特征和预设特征对应的语义特征相加以及拼接的方式，准确得到待检测的风险信息对应的预估语义特征。

在一个实施例中，基于样本特征、待检测的风险信息对应的预估语义特征和样本图像标记的风险信息，训练第二图像特征提取模块和第二文本编码器，包括：

基于样本特征和待检测的风险信息对应的预估语义特征，确定样本图像的预估风险信息；

根据样本图像的预估风险信息和样本图像标记的风险信息，训练第二图像特征提取模块和第二文本编码器。

具体地，参考图3中的模型结构，在生成样本图像的样本特征和待检测的风险信息对应的预估语义特征之后，可以通过特征拼接层和风险信息确定模块，确定样本图像的预估风险信息。再根据损失函数模块，根据样本图像的预估风险信息和样本图像标记的风险信息，求解损失函数从而训练第二图像特征提取模块和第二文本编码器。特征拼接层不需要进行训练，风险信息确定模块中的参数需要进行训练。

可见，通过本实施例，能够基于样本特征和待检测的风险信息对应的预估语义特征，确定样本图像的预估风险信息，根据样本图像的预估风险信息和样本图像标记的风险信息，通过计算损失的方式训练第二图像特征提取模块和第二文本编码器。

在一个实施例中，基于样本特征和待检测的风险信息对应的预估语义特征，确定样本图像的预估风险信息，包括：在特征拼接层，对样本特征与待检测的风险信息对应的预估语义特征进行拼接，得到拼接特征，基于拼接特征，确定样本图像的预估风险信息。其中，样本图像包括多个子图像块，样本图像的样本特征包括子图像块的特征。拼接特征的第一维度的长度等于子图像块的数量与待检测的风险信息的数量之和。拼接特征的第二维度的长度等于子图像块的特征的维度并且等于待检测的风险信息对应的预估语义特征的维度。拼接特征的第一维度对应的特征为子图像块的特征或者为待检测的风险信息对应的预估语义特征。

进一步地，基于拼接特征，确定样本图像的预估风险信息，包括：针对每个第一维度，根据该第一维度对应的特征与各个第一维度对应的特征之间的相似度，更新该第一维度对应的特征，在各个第一维度对应的特征更新完成之后，得到更新后的拼接特征，基于更新后的拼接特征，确定样本图像的预估风险信息。

进一步地，针对每个第一维度，根据该第一维度对应的特征与各个第一维度对应的特征之间的相似度，更新该第一维度对应的特征，包括：针对每个第一维度，计算该第一维度对应的特征与各个第一维度对应的特征之间的相似度；针对每个第一维度，根据相似度对各个第一维度对应的特征进行加权求和，得到更新后的该第一维度对应的特征。

进一步地，基于更新后的拼接特征，确定样本图像的预估风险信息，包括：在更新后的拼接特征中，查找目标第一维度对应的特征；目标第一维度为对应待检测的风险信息的第一维度；根据目标第一维度对应的特征，确定样本图像的预估风险信息。

进一步地，根据目标第一维度对应的特征，确定样本图像的预估风险信息，包括：对目标第一维度对应的特征进行概率化处理，得到样本图像具有目标第一维度对应的待检测的风险信息的概率，根据样本图像具有目标第一维度对应的待检测的风险信息的概率，确定样本图像的预估风险信息。

可以看出来，根据样本图像的样本特征和待检测的风险信息对应的预估语义特征，确定样本图像的预估风险信息的过程，与之前介绍的根据图像的图像特征和风险检测模型预先训练得到的待检测的风险信息对应的语义特征，确定图像的风险信息的过程类似，因此这里不再重复具体过程，可以参考前面的描述。

在一个实施例中，根据样本图像的预估风险信息和样本图像标记的风险信息，训练第二图像特征提取模块和第二文本编码器，包括：

根据待检测的风险信息对应的损失函数，计算样本图像的预估风险信息和样本图像标记的风险信息之间的损失值；

根据损失值，反馈调节第二图像特征提取模块和第二文本编码器的参数。

根据前面介绍可知，风险检测模型可以应对不同的检测任务，比如多标签任务、单标签任务和检测对象任务，因此，对于每个风险类别下的每个任务，都设置有对应的损失函数，如图3所示，以对一个风险类别下的多标签任务、单标签任务和检测对象任务进行风险检测为例，多标签任务对应于ASL(Asymmetric Loss，不对称损失)损失函数，通过ASL损失函数，计算样本图像的预估风险信息中基于多标签任务检测到的风险信息和样本图像标记的风险信息中基于多标签任务标记的风险信息之间的损失值，单标签任务对应于CE损失函数，通过CE(cross entropy loss，像素级别的交叉熵损失)损失函数，计算样本图像的预估风险信息中基于单标签任务检测到的风险信息和样本图像标记的风险信息中基于单标签任务标记的风险信息之间的损失值，检测对象任务对应于检测框匹配定位分类损失函数，通过检测框匹配定位分类损失函数，计算样本图像的预估风险信息中基于检测对象任务检测到的风险信息和样本图像标记的风险信息中基于检测对象任务标记的风险信息之间的损失值。最后，根据各个损失值，反馈调节第二图像特征提取模块和第二文本编码器的参数，得到训练好的风险检测模型。

可见，通过本实施例，为不同的检测任务设置不同的损失函数，能够提高模型的训练精准度。

下面介绍在模型训练完成之后，得到待检测的风险信息对应的语义特征的过程。具体地，在模型训练过程中，输入到每个第二文本编码器中的预设特征的值也随着模型训练过程发生变化，也即预设特征在风险检测模型的训练过程中被优化。基于此，在训练得到风险检测模型之后，还包括：

通过第一文本编码器，对文本数据进行编码，得到文本数据的语义特征；

通过第二文本编码器，对优化后的预设特征进行编码，得到优化后的预设特征对应的语义特征；

根据文本数据的语义特征和优化后的预设特征对应的语义特征，生成待检测的风险信息对应的语义特征。

首先，通过第一文本编码器，对每个风险信息的文本数据进行编码，得到每个文本数据的语义特征。由于第一文本编码器为预先训练好的先验模块，因此通过第一文本编码器，对文本数据进行编码，得到文本数据的语义特征的过程，在模型训练中和模型训练后的具体过程都相同。接着，通过第二文本编码器，对优化后的预设特征进行编码，得到优化后的预设特征对应的语义特征。这里与模型训练中的区别在于，输入数据为优化后的预设特征。最后，根据文本数据的语义特征和优化后的预设特征对应的语义特征，生成待检测的风险信息对应的语义特征。

可见，通过本实施例，能够在模型训练完成后，得到待检测的风险信息对应的语义特征。由于训练好的模型对图像进行风险检测时，只需要使用待检测的风险信息对应的语义特征，因此图2与图3相比，可以去掉各个文本编码器。

在一个实施例中，根据文本数据的语义特征和优化后的预设特征对应的语义特征，生成待检测的风险信息对应的语义特征，包括：

将文本数据的语义特征和优化后的预设特征对应的语义特征相加，得到待检测的风险信息对应的语义特征。

具体地，基于不同的检测任务类型，将对应于各个检测任务的所有的文本编码器输出的文本数据的语义特征和优化后的预设特征对应的语义特征相加以及拼接，得到待检测的风险信息对应的语义特征。这一过程与模型训练过程中得到待检测的风险信息对应的预估语义特征的过程类似，因此这里不再重复。

可见，通过本实施例，能够通过特征向量相加和拼接的方式，得到待检测的风险信息对应的语义特征，为模型用于图像风险识别做准备。

下面再参考图3和图2，对本说明书实施例中提供的风险检测模型的训练过程和应用过程做详细说明。

对于训练过程，首先，确定待检测的风险信息。待检测的风险信息包括多个类别的多个风险信息，为每个类别的每个风险信息设置对应的文本数据，文本数据用于表达风险信息。比如，文本数据为“图像中有A风险”，用于表示第一类别的A风险。确定每个风险对应的检测任务类型，检测任务类型包括多标签任务、单标签任务和检测对象任务，通过每种任务在样本图像中标记相对应的风险信息，并为每类风险下的每种检测任务设置一套文本编码器，文本编码器包括第一文本编码器和第二文本编码器。

确定待训练的模型架构，待训练的模型架构包括参数冻结也即预先训练好的第一图像特征提取模块、待训练的第二图像特征提取模块、多套文本编码器，一套文本编码器对应一类风险下的一种检测任务，每套文本编码器包括参数冻结也即预先训练好的第一文本编码器和待训练的第二文本编码器。

在模型训练阶段，样本图像被输入至第一图像特征提取模块和第二图像特征提取模块块，每类风险下的每个风险信息的文本数据，基于风险信息对应的检测任务类型，被输入到相应的第一文本编码器中，每个第二文本编码器中输入预设特征向量。

第一图像特征提取模块提取样本图像的通用特征作为第一样本特征，第二图像特征提取模块提取样本图像的用于表示风险信息的特征作为第二样本特征，第一样本特征和第二样本特征相加，得到样本图像的样本特征。其中，第一样本特征为a*m维度的特征向量，a表示样本图像分块得到的块数，m表示每块的特征向量，第二样本特征也为a*m维度的特征向量，a表示样本图像分块得到的块数，m表示每块的特征向量，因此，在特征相加时，将相同行列位置对应的特征值相加，得到的样本特征也为a*m维度的特征向量。

对于多标签任务和单标签任务，第一文本编码器提取文本数据的语义特征，第二文本编码器提取预设特征向量对应的语义特征，在一套文本编码器中，第一文本编码器提取的文本数据的语义特征和第二文本编码器提取的预设特征向量对应的语义特征相加，得到该套的加和特征。比如，在一套文本编码器中，文本数据的语义特征为b*m维度的特征向量，b为输入到第一文本编码器中的文本数据的数量，也即等于每个检测任务对应的需要检测出来的风险信息的数量，预设特征向量对应的语义特征也为b*m维度的特征向量，b为输入到第二文本编码器中的预设特征的数量，因此，在一套文本编码器中，第一文本编码器提取的文本数据的语义特征和第二文本编码器提取的预设特征向量对应的语义特征中的相同位置的特征值相加，得到该套的加和特征。

对于检测对象任务，其不同点在于，对应的第一文本编码器和第二文本编码器的输出结果进行拼接而非相加，对于检测对象任务，其第一文本编码器输入的文本数据的数量可以不等于第二文本编码器输入的预设特征的数量，因此第一文本编码器输出的语义特征的数量可以不等于第二文本编码器输出的语义特征的数量，因此对第一文本编码器和第二文本编码器的输出结果进行拼接，比如，第一文本编码器输出为50*1024的向量，第二文本编码器输出为100*1024的向量，50和100分别表示语义特征的数量，1024为语义特征的维度，则拼接得到(100+50)*1024的向量。

最后，对不同套文本编码器的输出结果进行拼接，得到样本图像的预估的用于表示风险信息的语义特征。假设共有三套文本编码器，输出特征分别为b1*m、b2*m、b3*m，则拼接特征也即样本图像的预估的用于表示风险信息的语义特征为(b1+b2+b3)*m。m表示每个语义特征的维度。

在模型训练阶段，基于样本图像的样本特征、待检测的风险信息对应的预估语义特征和样本图像标记的风险信息，训练第二图像特征提取模块和第二文本编码器。具体地，对样本图像的样本特征、待检测的风险信息对应的预估语义特征进行拼接，对于拼接得到的特征，采用基于自注意力机制的相似度计算方法，对拼接特征进行更新，再在更新后的拼接特征中查找每个风险信息对应的特征向量，将各个风险信息对应的特征向量处理为一个概率值，表示样本图像具有对应风险的概率，从而确定到样本图像具有的风险信息。将样本图像具有的风险信息与样本图像标记的风险信息进行损失函数的计算，从而训练第二图像特征提取模块和第二文本编码器。

在模型训练完成后，可以基于优化后的预设特征和文本数据，生成待检测的风险信息对应的准确的语义特征。具体地，将优化后的预设特征和文本数据分别输入到第一文本编码器和第二文本编码器，对于多标签任务和单标签任务，同一套内的文本编码器的输出结果在相同行列位置上进行相加，如图3所示，需要注意的是，对于检测对象任务，其不同点在于，对应的第一文本编码器和第二文本编码器的输出结果进行拼接而非相加，在特征拼接层，不同套文本编码器的输出结果进行拼接，得到待检测的风险信息对应的准确的语义特征。

在模型使用阶段，去掉各个文本编辑器，将需要处理的图像输入到第一图像特征提取模块和第二图像特征提取模块，通过第一图像特征提取模块和第二图像特征提取模块，采用与训练类似的过程，提取图像的图像特征。将图像特征与待检测的风险信息对应的语义特征进行拼接，对于拼接得到的特征，采用基于自注意力机制的相似度计算方法，对拼接特征进行更新，再采用与训练类似的过程，根据更新后的拼接特征计算得到图像具有的风险信息，从而完成风险检测过程。

以上实施例中的第一图像特征提取模块可以为Frozen Clip Image Encoder，多模预训练模型CLIP的图像编码器，提取任务无关的图像特征，不可训练。第二图像特征提取模块可以为Vision Transformer可训练视觉编码器，学习下游任务相关的图像特征。第一文本编码器可以为Frozen Clip Text Encoder，多模预训练模型CLIP的文本编码器，对每个类别的描述文本提取特征，不可训练，第二文本编码器可以为Transformer模块，可训练的self-attention模块，输入是可学习的类别表征，对该表征进行相关性建模，并映射到类别可分的高维空间，每个风险任务独享一个模块，学习各个风险的高维特征，风险信息确定模块可以为Fusion Transformer模块，对前面模块输出信息融合交互的模块，对多个任务学习的特征进行相互融合。

通过本实施例中的方法训练得到的风险检测模型至少具有以下技术效果：

1、通过一个风险检测模型可以检测图像中的不同类别的风险，实现了对多类别风险的融合检测，相当于得到一个基于大数据训练的应对多类别风险的统一模型；

2、通过一个风险检测模型实现对多类别风险的融合检测，一方面可以节省模型规模，节省风险检测消耗的计算机资源并且保证每个类别的风险的检测精准度；另一方面可以在有限制的扩大模型规模的情况下大幅度提高每个类别的风险的检测精准度；

3、通过一个风险检测模型实现对多类别风险的融合检测，还能够考虑到不同类别的风险之间的相关性，从而进一步提高风险检测的准确程度；

4、风险检测模型利用CLIP多模预训练的大模型作为底层算法模型，针对每类风险用单独的文本编码器transformer统一建模，最后综合建模图像特征和风险特征，最终同时输出所有风险，达到了用一个大模型作为统一的底座进行表征学习，训练预测全部统一化，能成倍降低人力成本、提高风险识别性能、在成本不变的情况下提高风险表征能力的效果。

图5为本说明书一实施例提供的图像处理装置的结构示意图，如图5所示，该装置包括：

获取单元51，获取待进行风险检测的图像，将所述图像输入至风险检测模型；

提取单元52，通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

确定单元53，根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

可选地，所述风险检测模型包括第一图像特征提取模块和第二图像特征提取模块；提取单元52，

通过所述第一图像特征提取模块，基于预设的基准特征提取策略，提取所述图像的基准特征作为第一特征；

通过所述第二图像特征提取模块，基于所述待检测的风险信息，提取所述图像的与所述待检测的风险信息相关的特征作为第二特征；

根据所述第一特征和所述第二特征，生成所述图像的图像特征。

可选地，提取单元52，

将所述第一特征和所述第二特征相加，得到所述图像的图像特征。

可选地，所述第一图像特征提取模块为在所述风险检测模型训练前预先训练好的对比语言-图像预训练CLIP图像编码器；所述第二图像特征提取模块为在所述风险检测模型训练过程中进行训练的视觉编码器。

可选地，确定单元53，

对所述图像特征和所述待检测的风险信息对应的语义特征进行拼接，得到拼接特征；

基于所述拼接特征，确定所述图像的风险信息。

可选地，所述图像包括多个子图像块；所述图像特征包括所述子图像块的特征；所述拼接特征的第一维度的长度等于所述子图像块的数量与所述待检测的风险信息的数量之和；所述拼接特征的第二维度的长度等于所述子图像块的特征的维度或者等于所述待检测的风险信息对应的语义特征的维度；所述拼接特征的所述第一维度对应的特征为所述子图像块的特征或者为所述待检测的风险信息对应的语义特征。

可选地，确定单元53，

针对每个所述第一维度，根据该第一维度对应的特征与各个所述第一维度对应的特征之间的相似度，更新该第一维度对应的特征；

在各个所述第一维度对应的特征更新完成之后，得到更新后的所述拼接特征；

基于更新后的所述拼接特征，确定所述图像的风险信息。

可选地，确定单元53，

针对每个所述第一维度，计算该第一维度对应的特征与各个所述第一维度对应的特征之间的相似度；

针对每个所述第一维度，根据所述相似度对各个所述第一维度对应的特征进行加权求和，得到更新后的该第一维度对应的特征。

可选地，确定单元53，

在更新后的所述拼接特征中，查找目标第一维度对应的特征；所述目标第一维度为对应所述待检测的风险信息的第一维度；

根据所述目标第一维度对应的特征，确定所述图像的风险信息。

可选地，确定单元53，

对所述目标第一维度对应的特征进行概率化处理，得到所述图像具有所述目标第一维度对应的所述待检测的风险信息的概率；

根据所述图像具有所述目标第一维度对应的所述待检测的风险信息的概率，确定所述图像的风险信息。

可选地，还包括训练单元，

获取预先标记有风险信息的样本图像和用于表示待检测的风险信息的文本数据；

将所述样本图像和所述文本数据输入至预先搭建的模型架构；所述模型架构包括预先训练好的第一图像特征提取模块、待训练的第二图像特征提取模块、预先训练好的第一文本编码器和待训练的第二文本编码器；

基于所述样本图像和所述文本数据，训练所述第二图像特征提取模块和所述第二文本编码器，得到所述风险检测模型。

可选地，训练单元，

通过所述第一图像特征提取模块和所述第二图像特征提取模块，提取所述样本图像的样本特征；所述样本特征为用于表示所述样本图像的图像内容与所述待检测的风险信息之间的相关性的预估特征；

通过所述第一文本编码器、所述第二文本编码器和所述文本数据，生成所述待检测的风险信息对应的预估语义特征；

基于所述样本特征、所述待检测的风险信息对应的预估语义特征和所述样本图像标记的风险信息，训练所述第二图像特征提取模块和所述第二文本编码器。

可选地，训练单元，

通过所述第一图像特征提取模块，基于预设的基准特征提取策略，提取所述样本图像的基准特征作为第一样本特征；

通过所述第二图像特征提取模块，基于所述待检测的风险信息，提取所述样本图像的与所述待检测的风险信息预估相关的特征作为第二样本特征；

根据所述第一样本特征和所述第二样本特征，生成所述样本图像的样本特征。

可选地，训练单元，

通过所述第一文本编码器，对所述文本数据进行编码，得到所述文本数据的语义特征；

通过所述第二文本编码器，对预设特征进行编码，得到所述预设特征对应的语义特征；所述预设特征为预估的用于表示所述待检测的风险信息的语义的特征；

根据所述文本数据的语义特征和所述预设特征对应的语义特征，生成所述待检测的风险信息对应的预估语义特征。

可选地，训练单元，

将所述文本数据的语义特征和所述预设特征对应的语义特征相加，得到所述待检测的风险信息对应的预估语义特征。

可选地，训练单元，

基于所述样本特征和所述待检测的风险信息对应的预估语义特征，确定所述样本图像的预估风险信息；

根据所述样本图像的预估风险信息和所述样本图像标记的风险信息，训练所述第二图像特征提取模块和所述第二文本编码器。

可选地，训练单元，

根据所述待检测的风险信息对应的损失函数，计算所述样本图像的预估风险信息和所述样本图像标记的风险信息之间的损失值；

根据所述损失值，反馈调节所述第二图像特征提取模块和所述第二文本编码器的参数。

可选地，所述预设特征在所述风险检测模型的训练过程中被优化；训练单元，

在训练得到所述风险检测模型之后，通过所述第一文本编码器，对所述文本数据进行编码，得到所述文本数据的语义特征；

通过所述第二文本编码器，对优化后的所述预设特征进行编码，得到优化后的所述预设特征对应的语义特征；

根据所述文本数据的语义特征和优化后的所述预设特征对应的语义特征，生成所述待检测的风险信息对应的语义特征。

可选地，训练单元，

将所述文本数据的语义特征和优化后的所述预设特征对应的语义特征相加，得到所述待检测的风险信息对应的语义特征。

通过本实施例，能够通过预先训练好的风险检测模型识别图像的风险信息，并且，通过该风险监测模型能够识别图像具有的多个类别的风险信息，还能够合理平衡模型规模和风险识别准确程度之间的关系，在模型规模可控的情况下提升风险识别的准确程度，达到高效准确的对图像中所具有的风险信息进行识别的效果。

本实施例中提供的图像处理装置能够实现前述的图像处理方法实施例的各个过程，并达到相同的效果和功能，这里不再重复。

本说明书一个或多个实施例还提供了一种图像处理设备，该设备用于执行上述的图像处理方法，图6为本说明书一实施例提供的图像处理设备的结构示意图，如图6所示，图像处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1001和存储器1002，存储器1002中可以存储有一个或一个以上应用程序或数据。其中，存储器1002可以是短暂存储或持久存储。存储在存储器1002的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括图像处理设备中的一系列计算机可执行指令。更进一步地，处理器1001可以设置为与存储器1002通信，在图像处理设备上执行存储器1002中的一系列计算机可执行指令。图像处理设备还可以包括一个或一个以上电源1003，一个或一个以上有线或无线网络接口1004，一个或一个以上输入输出接口1005，一个或一个以上键盘1006等。

在一个具体的实施例中，所述图像处理设备包括有处理器以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器实现以下流程：

获取待进行风险检测的图像，将所述图像输入至风险检测模型；

通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

通过本实施例，能够通过预先训练好的风险检测模型识别图像的风险信息，并且，通过该风险监测模型能够识别图像具有的多个类别的风险信息，还能够合理平衡模型规模和风险识别准确程度之间的关系，在模型规模可控的情况下提升风险识别的准确程度，达到高效准确的对图像中所具有的风险信息进行识别的效果。

本实施例中提供的图像处理设备能够实现前述的图像处理方法实施例的各个过程，并达到相同的效果和功能，这里不再重复。

进一步地，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

获取待进行风险检测的图像，将所述图像输入至风险检测模型；

通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

通过本实施例，能够通过预先训练好的风险检测模型识别图像的风险信息，并且，通过该风险监测模型能够识别图像具有的多个类别的风险信息，还能够合理平衡模型规模和风险识别准确程度之间的关系，在模型规模可控的情况下提升风险识别的准确程度，达到高效准确的对图像中所具有的风险信息进行识别的效果。

本实施例中提供的存储介质中的计算机可执行指令被执行时，能够实现前述的图像处理方法实施例的各个过程，并达到相同的效果和功能，这里不再重复。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于虚拟装置或电子设备或存储介质或系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HD Cal、JHDL(Java Hardware Description Language)、Lava、Lola、My HDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本说明书一个或多个的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (22)

1.一种图像处理方法，包括：

获取待进行风险检测的图像，将所述图像输入至风险检测模型；

通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

2.根据权利要求1所述的方法，所述风险检测模型包括第一图像特征提取模块和第二图像特征提取模块；所述通过所述风险检测模型，提取所述图像的图像特征，包括：

通过所述第一图像特征提取模块，基于预设的基准特征提取策略，提取所述图像的基准特征作为第一特征；

通过所述第二图像特征提取模块，基于所述待检测的风险信息，提取所述图像的与所述待检测的风险信息相关的特征作为第二特征；

根据所述第一特征和所述第二特征，生成所述图像的图像特征。

3.根据权利要求2所述的方法，所述根据所述第一特征和所述第二特征，生成所述图像的图像特征，包括：

将所述第一特征和所述第二特征相加，得到所述图像的图像特征。

4.根据权利要求2或3所述的方法，所述第一图像特征提取模块为在所述风险检测模型训练前预先训练好的对比语言-图像预训练CLIP图像编码器；所述第二图像特征提取模块为在所述风险检测模型训练过程中进行训练的视觉编码器。

5.根据权利要求1所述的方法，所述根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息，包括：

对所述图像特征和所述待检测的风险信息对应的语义特征进行拼接，得到拼接特征；

基于所述拼接特征，确定所述图像的风险信息。

6.根据权利要求5所述的方法，所述图像包括多个子图像块；所述图像特征包括所述子图像块的特征；所述拼接特征的第一维度的长度等于所述子图像块的数量与所述待检测的风险信息的数量之和；所述拼接特征的第二维度的长度等于所述子图像块的特征的维度或者等于所述待检测的风险信息对应的语义特征的维度；所述拼接特征的所述第一维度对应的特征为所述子图像块的特征或者为所述待检测的风险信息对应的语义特征。

7.根据权利要求6所述的方法，所述基于所述拼接特征，确定所述图像的风险信息，包括：

针对每个所述第一维度，根据该第一维度对应的特征与各个所述第一维度对应的特征之间的相似度，更新该第一维度对应的特征；

在各个所述第一维度对应的特征更新完成之后，得到更新后的所述拼接特征；

基于更新后的所述拼接特征，确定所述图像的风险信息。

8.根据权利要求7所述的方法，所述针对每个所述第一维度，根据该第一维度对应的特征与各个所述第一维度对应的特征之间的相似度，更新该第一维度对应的特征，包括：

针对每个所述第一维度，计算该第一维度对应的特征与各个所述第一维度对应的特征之间的相似度；

针对每个所述第一维度，根据所述相似度对各个所述第一维度对应的特征进行加权求和，得到更新后的该第一维度对应的特征。

9.根据权利要求7所述的方法，所述基于更新后的所述拼接特征，确定所述图像的风险信息，包括：

在更新后的所述拼接特征中，查找目标第一维度对应的特征；所述目标第一维度为对应所述待检测的风险信息的第一维度；

根据所述目标第一维度对应的特征，确定所述图像的风险信息。

10.根据权利要求9所述的方法，所述根据所述目标第一维度对应的特征，确定所述图像的风险信息，包括：

对所述目标第一维度对应的特征进行概率化处理，得到所述图像具有所述目标第一维度对应的所述待检测的风险信息的概率；

根据所述图像具有所述目标第一维度对应的所述待检测的风险信息的概率，确定所述图像的风险信息。

11.根据权利要求1所述的方法，所述风险检测模型通过以下方式训练得到：

获取预先标记有风险信息的样本图像和用于表示待检测的风险信息的文本数据；

将所述样本图像和所述文本数据输入至预先搭建的模型架构；所述模型架构包括预先训练好的第一图像特征提取模块、待训练的第二图像特征提取模块、预先训练好的第一文本编码器和待训练的第二文本编码器；

基于所述样本图像和所述文本数据，训练所述第二图像特征提取模块和所述第二文本编码器，得到所述风险检测模型。

12.根据权利要求11所述的方法，所述基于所述样本图像和所述文本数据，训练所述第二图像特征提取模块和所述第二文本编码器，包括：

通过所述第一图像特征提取模块和所述第二图像特征提取模块，提取所述样本图像的样本特征；所述样本特征为用于表示所述样本图像的图像内容与所述待检测的风险信息之间的相关性的预估特征；

通过所述第一文本编码器、所述第二文本编码器和所述文本数据，生成所述待检测的风险信息对应的预估语义特征；

基于所述样本特征、所述待检测的风险信息对应的预估语义特征和所述样本图像标记的风险信息，训练所述第二图像特征提取模块和所述第二文本编码器。

13.根据权利要求12所述的方法，所述通过所述第一图像特征提取模块和所述第二图像特征提取模块，提取所述样本图像的样本特征，包括：

通过所述第一图像特征提取模块，基于预设的基准特征提取策略，提取所述样本图像的基准特征作为第一样本特征；

通过所述第二图像特征提取模块，基于所述待检测的风险信息，提取所述样本图像的与所述待检测的风险信息预估相关的特征作为第二样本特征；

根据所述第一样本特征和所述第二样本特征，生成所述样本图像的样本特征。

14.根据权利要求12所述的方法，所述通过所述第一文本编码器、所述第二文本编码器和所述文本数据，生成所述待检测的风险信息对应的预估语义特征，包括：

通过所述第一文本编码器，对所述文本数据进行编码，得到所述文本数据的语义特征；

通过所述第二文本编码器，对预设特征进行编码，得到所述预设特征对应的语义特征；所述预设特征为预估的用于表示所述待检测的风险信息的语义的特征；

根据所述文本数据的语义特征和所述预设特征对应的语义特征，生成所述待检测的风险信息对应的预估语义特征。

15.根据权利要求14所述的方法，所述根据所述文本数据的语义特征和所述预设特征对应的语义特征，生成所述待检测的风险信息对应的预估语义特征，包括：

将所述文本数据的语义特征和所述预设特征对应的语义特征相加，得到所述待检测的风险信息对应的预估语义特征。

16.根据权利要求12所述的方法，所述基于所述样本特征、所述待检测的风险信息对应的预估语义特征和所述样本图像标记的风险信息，训练所述第二图像特征提取模块和所述第二文本编码器，包括：

基于所述样本特征和所述待检测的风险信息对应的预估语义特征，确定所述样本图像的预估风险信息；

根据所述样本图像的预估风险信息和所述样本图像标记的风险信息，训练所述第二图像特征提取模块和所述第二文本编码器。

17.根据权利要求16所述的方法，所述根据所述样本图像的预估风险信息和所述样本图像标记的风险信息，训练所述第二图像特征提取模块和所述第二文本编码器，包括：

根据所述待检测的风险信息对应的损失函数，计算所述样本图像的预估风险信息和所述样本图像标记的风险信息之间的损失值；

根据所述损失值，反馈调节所述第二图像特征提取模块和所述第二文本编码器的参数。

18.根据权利要求14所述的方法，所述预设特征在所述风险检测模型的训练过程中被优化；在训练得到所述风险检测模型之后，还包括：

通过所述第一文本编码器，对所述文本数据进行编码，得到所述文本数据的语义特征；

通过所述第二文本编码器，对优化后的所述预设特征进行编码，得到优化后的所述预设特征对应的语义特征；

根据所述文本数据的语义特征和优化后的所述预设特征对应的语义特征，生成所述待检测的风险信息对应的语义特征。

19.根据权利要求18所述的方法，所述根据所述文本数据的语义特征和优化后的所述预设特征对应的语义特征，生成所述待检测的风险信息对应的语义特征，包括：

将所述文本数据的语义特征和优化后的所述预设特征对应的语义特征相加，得到所述待检测的风险信息对应的语义特征。

20.一种图像处理装置，包括：

获取单元，获取待进行风险检测的图像，将所述图像输入至风险检测模型；

提取单元，通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

确定单元，根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

21.一种图像处理设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：

获取待进行风险检测的图像，将所述图像输入至风险检测模型；

通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。

22.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下方法：

获取待进行风险检测的图像，将所述图像输入至风险检测模型；

通过所述风险检测模型，提取所述图像的图像特征；所述图像特征为用于表示所述图像的图像内容与待检测的风险信息之间的相关性的特征；所述待检测的风险信息包括多个类别的风险信息；

根据所述图像特征和所述风险检测模型预先训练得到的所述待检测的风险信息对应的语义特征，确定所述图像的风险信息。