CN116883909A - 直播敏感图像识别方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种直播敏感图像识别方法、装置、计算机设备和存储介质。通过多任务标签识别模型，基于待识别的直播图像进行针对直播图像的各级敏感特征的识别任务和预设敏感源的多种特征的识别任务后，输出各识别任务的多个标签预测值，基于多个标签预测值与通过融合得到的预设直播敏感图像判定规则，得到直播图像的敏感识别结果。相较于传统的通过多个模型识别的方式，本方案通过结合多任务的图像标签预测，以及基于标签融合的判定规则，识别直播图像中的敏感内容，提高了直播敏感图像的识别效率。

Description

直播敏感图像识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及直播技术领域，特别是涉及一种直播敏感图像识别方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着互联网技术的发展，目前通过手机等设备进行直播或观看直播成为了主流。为保证直播间的内容健康，需要对直播间的视频图像进行敏感识别，即对直播敏感图像进行管控。目前对还直播敏感图像进行识别的方式通常是通过一二级联审核模型的方式进行识别。然而，通过一二级联审核方式进行识别，需要使用多个模型，使得识别的效率降低。

因此，目前的直播敏感图像识别方法存在识别效率低的缺陷。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高识别效率的直播敏感图像识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种直播敏感图像识别方法，所述方法包括：

获取待识别的直播图像；

将所述直播图像输入经训练的多任务标签识别模型，获取所述多任务标签识别模型基于所述直播图像输出的与各识别任务对应的多个标签预测值；所述各识别任务包括针对所述直播图像的各级敏感特征的识别任务、针对所述直播图像中预设敏感源的多种特征的识别任务；

根据所述多个标签预测值与预设的直播敏感图像判定规则，得到对所述直播图像的敏感识别结果；所述直播敏感图像判定规则基于对与所述各识别任务对应的多个标签融合得到。

在其中一个实施例中，所述方法还包括：

获取携带标注的历史图像样本，以及获取所述历史图像样本对应的多种历史预设敏感源特征标签预测值和各级历史敏感特征标签预测值；所述标注基于所述历史图像样本的图像类型确定，所述标注表征对携带标注的历史图像样本的学习策略；

将所述历史图像样本输入待训练的多任务标签识别模型，由所述多任务标签识别模型根据所述历史图像样本，输出对应的多种预设敏感源特征标签训练值和各级敏感特征标签训练值；

根据所述历史图像样本携带的标注，以及所述多种预设敏感源特征标签训练值与所述多种历史预设敏感源特征标签预测值的第一比较结果，确定第一损失函数值；

根据所述历史图像样本携带的标注，以及所述各级敏感特征标签训练值与所述各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值，调整所述待训练的多任务标签识别模型中的模型参数，直至满足预设训练结束条件时，得到经训练的多任务标签识别模型。

在其中一个实施例中，所述各级敏感特征包括一级敏感特征和二级敏感特征；所述一级敏感特征的分类范围大于所述二级敏感特征的分类范围；所述获取携带标注的历史图像样本，包括：

获取公共图像样本以及历史直播图像样本；

对所述公共图像样本添加第一标注；所述第一标注表征忽略学习所述公共图像样本对应的各级敏感特征；

对所述历史直播图像样本添加第二标注，并从所述历史直播图像样本中确定预设数量的目标历史直播图像样本，对所述目标历史直播图像样本添加第三标注；所述第二标注表征忽略学习所述历史直播图像样本的二级敏感特征；所述第三标注表征学习所述目标历史直播图像样本的各级敏感特征和预设敏感源的多种特征；

根据携带所述第一标注的公共图像样本、携带所述第二标注的历史直播图像样本和携带所述第三标注的目标历史直播图像样本，得到历史图像样本。

在其中一个实施例中，所述根据所述历史图像样本携带的标注，以及所述各级敏感特征标签训练值与所述各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值，包括：

若所述历史图像样本携带所述第一标注，确定所述第二损失函数值为第一预设值；所述第一预设值表征忽略学习所述历史图像样本对应的各级敏感特征；

若所述历史图像样本携带所述第二标注，根据所述历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；

若所述历史图像样本携带所述第三标注，根据所述历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的比较结果，确定第一子损失函数值，根据所述历史图像样本对应的二级敏感特征标签训练值与二级历史敏感特征标签预测值的比较结果，确定第二子损失函数值；基于所述第一子损失函数值和所述第二子损失函数值确定第二损失函数值。

在其中一个实施例中，所述预设敏感源为人，所述预设敏感源的多种特征包括人体特征和露肤度特征；所述各级敏感特征包括一级敏感特征和二级敏感特征；所述一级敏感特征的分类范围大于所述二级敏感特征的分类范围；

所述将所述直播图像输入经训练的多任务标签识别模型，包括：

将所述直播图像输入经训练的多任务标签识别模型，由所述多任务标签识别模型识别所述直播图像中的人体特征输出的人物标签预测值、识别所述直播图像中人体特征对应的露肤度特征输出的露肤度标签预测值、识别所述直播图像中一级敏感特征输出的一级敏感特征标签预测值、以及识别所述直播图像中二级敏感特征输出的二级敏感特征标签预测值。

在其中一个实施例中，所述方法还包括：

根据所述一级敏感特征的识别任务对应的第一标签阈值，确定第一判定规则；

根据不包含人体特征和露肤度特征的二级敏感特征的识别任务对应的第二标签阈值，确定第二判定规则；

根据包含人体特征或露肤度特征的二级敏感特征的识别任务对应的第三标签阈值、以及所述人体特征的识别任务对应的第四标签阈值或所述露肤度特征的识别任务对应的第五标签阈值，确定第三判定规则；

根据所述第一判定规则、第二判定规则和第三判定规则，确定预设的直播敏感图像判定规则。

第二方面，本申请提供了一种直播敏感图像识别装置，所述装置包括：

获取模块，用于获取待识别的直播图像；

标签识别模块，用于将所述直播图像输入经训练的多任务标签识别模型，获取所述多任务标签识别模型基于所述直播图像输出的与各识别任务对应的多个标签预测值；所述各识别任务包括针对所述直播图像的各级敏感特征的识别任务、针对所述直播图像中预设敏感源的多种特征的识别任务；

敏感识别模块，用于根据所述多个标签预测值与预设的直播敏感图像判定规则，得到对所述直播图像的敏感识别结果；所述直播敏感图像判定规则基于对与所述各识别任务对应的多个标签融合得到。

第三方面，本申请提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

上述直播敏感图像识别方法、装置、计算机设备、存储介质和计算机程序产品，通过多任务标签识别模型，基于待识别的直播图像进行针对直播图像的各级敏感特征的识别任务和预设敏感源的多种特征的识别任务后，输出各识别任务的多个标签预测值，基于多个标签预测值与通过融合得到的预设直播敏感图像判定规则，得到直播图像的敏感识别结果。相较于传统的通过多个模型识别的方式，本方案通过结合多任务的图像标签预测，以及基于标签融合的判定规则，识别直播图像中的敏感内容，提高了直播敏感图像的识别效率。

附图说明

图1为一个实施例中直播敏感图像识别方法的流程示意图；

图2为一个实施例中样本构建步骤的流程示意图；

图3为一个实施例中直播敏感图像训练识别步骤的流程示意图；

图4为一个实施例中规则判断步骤的流程示意图；

图5为一个实施例中直播敏感图像识别装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种直播敏感图像识别方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现，包括以下步骤：

步骤S202，获取待识别的直播图像。

其中，终端可以是可以进行直播的设备，例如手机或电脑等。用户在通过终端进行直播时，终端可以对用户的直播图像进行敏感内容的识别。其中，敏感内容表示不符合直播规范的内容。终端可以获取直播间中的待识别的直播图像。其中，终端可以通过对待识别的直播图像进行敏感识别，确定其中是否包含敏感内容，例如穿着过于暴露的人体等。

步骤S204，将直播图像输入经训练的多任务标签识别模型，获取多任务标签识别模型基于直播图像输出的与各识别任务对应的多个标签预测值；各识别任务包括针对直播图像的各级敏感特征的识别任务、针对直播图像中预设敏感源的多种特征的识别任务。

其中，多任务是机器学习的一个子领域，同时解决多个学习任务，与单独训练模型相比，多任务学习利用各任务之间的共性和差异，来提高特定任务模型的学习效率和预测准确性。终端可以预先训练出多任务标签识别模型。例如，终端可以基于携带标注的历史图像样本，对待训练的多任务标签识别模型进行训练，基于待训练的多任务标签识别模型输出的标签训练值，以及对应的历史图像样本的标注，确定不同的损失函数，并基于损失函数调整对应的模型参数，重复上述输入识别并调整的过程直至满足预设训练结束条件时，得到经训练的多任务标签识别模型。

终端获取到待识别的直播图像后，可以将该直播图像输入上述经训练的多任务标签识别模型，从而多任务标签识别模型可以基于输入的直播图像进行多个识别任务，输出与各识别任务对应的多个标签预测值。其中，上述各识别任务包括针对直播图像的各级敏感特征的识别任务，还可以包括针对直播图像中预设敏感源的多种特征的识别任务。其中，在一些实施例中，各级敏感特征可以包括一级敏感特征和二级敏感特征，其中一级敏感特征的分类范围可以大于二级敏感特征的分类范围。具体地，一级敏感特征可以是基于粗粒度审核的特征，一级敏感特征对应的识别任务可以是识别违规或者不违规；二级敏感特征可以是基于细粒度审核的特征，二级敏感特征对应的识别任务可以是针对直播图像中具体内容是否存在敏感信息的识别。

其中，在一些实施例中，上述预设敏感源可以是人，终端可以通过多任务标签识别模型对直播图像中人的多种特征进行识别任务。例如，终端通过多任务标签识别模型，识别直播图像中是否存在人体，还可以识别直播图像中人体的露肤度等。其中，露肤度表示人体的皮肤裸露比例。

步骤S206，根据多个标签预测值与预设的直播敏感图像判定规则，得到对直播图像的敏感识别结果；直播敏感图像判定规则基于对与各识别任务对应的多个标签融合得到。

其中，终端可以预先制定预设的直播敏感图像判定规则，并根据多个标签预测值与预设的直播敏感图像判定规则，确定对直播图像的敏感识别结果。其中，终端可以基于对于各识别任务对应的多个标签融合得到上述预设的直播敏感图像判定规则。例如，终端基于一级敏感特征对应的标签预测值和二级敏感特征对应的标签预测值确定不同的判定规则；终端基于包含人体的特征的二级敏感特征的标签预测值和不包含人体的特征的二级敏感特征的标签预测值，分别确定不同的判定规则。具体地，对于包含人体的特征的二级敏感特征的标签预测值，终端通过融合人体的特征对应的标签预测值的判定规则，与该二级敏感特征的标签预测值的判定规则，共同判断对应的直播图像中是否包含敏感内容，进而得到直播图像的敏感识别结果。

其中，上述各级敏感特征对应的标签预测值可以包括多个，终端可以在基于各标签预测值对应的判定规则，检测到任意一个标签预测值大于其对应的阈值时，确定直播图像的敏感识别结果为存在敏感内容，并确定直播间违规。终端确定直播间存在敏感内容时，可以对直播间进行相应的处理。例如关闭直播间，或展示敏感内容警告信息等。

上述直播敏感图像识别方法中，通过多任务标签识别模型，基于待识别的直播图像进行针对直播图像的各级敏感特征的识别任务和预设敏感源的多种特征的识别任务后，输出各识别任务的多个标签预测值，基于多个标签预测值与通过融合得到的预设直播敏感图像判定规则，得到直播图像的敏感识别结果。相较于传统的通过多个模型识别的方式，本方案通过结合多任务的图像标签预测，以及基于标签融合的判定规则，识别直播图像中的敏感内容，提高了直播敏感图像的识别效率。

在一个实施例中，还包括：获取携带标注的历史图像样本，以及获取历史图像样本对应的历史特征标签；标注基于历史图像样本的图像类型确定，标注表征对携带标注的历史图像样本的学习策略；历史特征标签包括多种历史预设敏感源特征标签预测值和各级历史敏感特征标签预测值；将历史图像样本输入待训练的多任务标签识别模型，由多任务标签识别模型根据历史图像样本，输出对应的多种预设敏感源特征标签训练值和各级敏感特征标签训练值；根据历史图像样本携带的标注，以及多种预设敏感源特征标签训练值与多种历史预设敏感源特征标签预测值的第一比较结果，确定第一损失函数值；根据历史图像样本携带的标注，以及各级敏感特征标签训练值与各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；根据第一损失函数值和第二损失函数值，调整待训练的多任务标签识别模型中的模型参数，直至满足预设训练结束条件时，得到经训练的多任务标签识别模型。

本实施例中，终端可以预先对待训练的多任务标签识别模型进行训练。其中，终端可以首先获取携带标注的历史图像样本，以及获取历史图像样本对应的多种历史预设敏感源特征标签预测值和各级历史敏感特征标签预测值。其中，历史图像样本可以有多个，各历史图像样本携带的标注可以基于历史图像样本的图像类型确定。不同标注表征对携带不同标注的历史图像样本的不同学习策略。其中，历史图像样本的类型可以包括公共图像样本和历史直播图像样本。其中，公共图像样本可以是从公共图像数据库中获取的图像，历史直播图像样本可以是从历史直播中获取的图像。上述公共图像样本和历史直播图像样本均可以是已经被审核识别过的图像，则终端可以预先基于这些图像样本的识别结果，确定其中包含的敏感内容，并添加对应的标注。

例如，在一个实施例中，终端可以获取公共图像样本以及历史直播图像样本。终端可以对公共图像样本添加第一标注。其中，第一标注表征忽略学习公共图像样本对应的各级敏感特征；即由于公共图像样本缺省对敏感内容识别的标签，在训练时终端可以基于第一标注确定忽略对敏感内容的标签学习，并进行针对预设敏感源的多种特征的学习。

终端可以对历史直播图像样本添加第二标注，并从历史直播图像样本中确定预设数量的目标历史直播图像样本，对目标历史直播图像样本添加第三标注。其中，历史直播图像样本也称为业务数据，第二标注表征忽略学习历史直播图像样本的二级敏感特征；即终端基于第二标注的历史直播图像，对待训练的多任务标签识别模型进行针对一级敏感特征和预设敏感源的多种特征的学习。上述第三标注表征学习目标历史直播图像样本的各级敏感特征和预设敏感源的多种特征。即终端可以基于第三标注的历史直播图像，对待训练的多任务标签识别模型进行针对一级敏感特征、二级敏感特征和预设敏感源的多种特征的学习。从而终端可以根据携带第一标注的公共图像样本、携带第二标注的历史直播图像样本和携带第三标注的目标历史直播图像样本，得到历史图像样本。

终端可以将上述历史图像样本输入待训练的多任务标签识别模型。多任务标签识别模型根据历史图像样本，可以通过对历史图像样本进行特征提取，通过识别提取的特征并输出对应的多种预设敏感源特征标签训练值，以及各级敏感特征标签训练值。其中，上述多种预设敏感源特征和各级敏感特征分别有对应的损失函数。损失函数的值可以基于历史图像样本的标注以及标签训练值和标签预测值的对比共同得到。

例如，终端可以根据上述历史图像样本携带的标注，以及多种预设敏感源特征标签训练值与多种历史预设敏感源特征标签预测值的第一比较结果，确定第一损失函数值。终端还可以根据历史图像样本携带的标注，以及各级敏感特征标签训练值与各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值。其中，上述历史图像样本携带的标注的值不同，对应的损失函数值也会不同。例如，当标注的值为第一预设的值时，终端可以将损失函数的值确定为第一预设函数值，进而表示忽略对该损失函数的值的学习，当标注的值为第二预设的值时，终端可以结合上述比较结果确定损失函数的值，进而表示进行对该损失函数的值的学习。

从而终端可以根据第一损失函数值和第二损失函数值，调整待训练的多任务标签识别模型中的模型参数，并返回上述将历史图像样本输入待训练的多任务标签识别模型的步骤，直至满足预设训练结束条件时，得到经训练的多任务标签识别模型。其中，预设训练结束条件可以是在预设训练次数内，上述第一损失函数值和第二损失函数值均收敛，或者训练次数达到预设训练次数。

具体地，上述预设敏感源可以是人，上述一级敏感特征可以是粗粒度的特征，二级敏感特征可以是细粒度的特征。如图2所示，图2为一个实施例中样本构建步骤的流程示意图。在训练前，终端可以预先构建样本的数据集。终端可以从公共图像数据库中，获取公共图像样本，并基于人体分割算法和皮肤分割算法，对公共图像样本进行人体分割和皮肤分割，得到公共图像样本中的人体分割结果图和皮肤分割结果图，进而终端可以基于人体分割结果图和皮肤分割结果图得到公共图像样本中是否有人的标签，即上述历史预设敏感源特征标签预测值。

终端还可以从业务图像数据库中，获取历史直播图像样本，并基于人体分割算法和皮肤分割算法，对历史直播图像样本进行人体分割和皮肤分割，得到历史直播图像样本中的人体分割结果图和皮肤分割结果图，进而终端可以基于人体分割结果图和皮肤分割结果图得到历史直播图像样本中是否有人的标签，即上述历史预设敏感源特征标签预测值。

其中，上述预设敏感源特征还可以包括露肤度，即人体的皮肤裸露程度，终端可以基于分割mask确定露肤度。其中，分割mask表示像素级别的分类标签，比如，皮肤分割是一个二分类任务，输入图像尺寸是(h,w,3)，那么mask就可以是(h,w,1)的二值图，1表示皮肤，0表示背景，记录了分割结果真值。具体地，终端确定露肤度的函数可以如下所示：(皮肤分割mask面积和人体分割mask面积交集)/(人体分割mask面积)。其中，皮肤分割mask表示上述皮肤分割结果图对应的二值图，人体分割mask表示上述人体分割结果图对应的二值图。

另外，由于历史直播图像样本经过识别审核，终端可以基于历史的识别结果，确定历史直播图像样本对应的人审粗粒度标签，例如违规图像和不违规图像，即上述一级敏感特征标签预测值。同时，终端还可以从历史直播图像样本中提取部分图像样本，通过对这些图像样本进行人工标注，得到提取的图像样本对应的细粒度标签，即上述二级敏感特征标签预测值。其中，粗粒度和细粒度是一个相对的概念，根据标签定义范围的细致程度区分的，标签定义范围相对小，就说是细粒度标签，反之相对范围大的，定义为粗粒度标签，往往1个粗粒度标签包括多个细粒度标签。另外，在另外一些实施例中，上述历史直播图像样本中的各级敏感特征还可以是其他类型的特征。

针对待训练的多任务标签识别模型的训练过程可以如图3所示，图3为一个实施例中直播敏感图像训练识别步骤的流程示意图。终端可以基于图像样本的类型不同，对图像样本进行相应的标注。对于公共图像样本，由于缺省任务标签，在训练过程中，终端可以将其真实标签，即各级敏感特征标签进行第一标注，代表忽略该标签的学习。例如，针对公共图像样本的第一标注可以为(1,1,-1,-1)，表示终端基于公共图像样本，对待训练的多任务标签识别模型进行露肤度标签的学习、是否有人的标签的学习，以及忽略对粗粒度分类的标签的学习和忽略对细粒度分类的标签的学习。

对于业务数据，即上述历史直播图像样本，终端将其中只有人审粗粒度标签的数据，即只对一级敏感特征进行识别的历史直播图像样本，终端将其细粒度预测任务对应的标签标注为第二标注，进而表示忽略该标签的学习。例如，针对仅包含人审粗粒度标签的历史直播图像样本的第二标注可以为(1,1,0,-1)，表示终端基于历史直播图像样本，对待训练的多任务标签识别模型进行露肤度标签的学习、是否有人的标签的学习、对粗粒度分类的标签的学习，以及忽略对细粒度分类的标签的学习。

终端可以从上述业务数据中，获取部分数据进行人工标注，得到包含细粒度标签的历史直播图像样本，对于这类样本，终端对其进行第三标注，表示对所有标签均进行学习。

例如，针对预先标注了细粒度标签的历史直播图像样本的第三标注可以为(1,1,1,27)，表示终端基于历史直播图像样本，对待训练的多任务标签识别模型进行露肤度标签的学习、是否有人的标签的学习、对粗粒度分类的标签的学习，以及对细粒度分类的标签的学习。

终端在训练过程中，可以将公共图像样本和历史直播图像样本等训练图片输入待训练的多任务标签识别模型，并由多任务标签识别模型对图像训练图片进行特征提取。其中，多任务标签识别模型对提取的特征进行多任务识别，不同任务共享相同的特征提取器，独立各自的预测判别全连接层，并且不同任务相互协助学习训练图片中的内容特征，得到更为精准的深度特征。例如，多任务标签识别模型对提取的特征分别进行露肤度预测、是否有人预测、粗粒度预测和细粒度预测，得到四个对应的标签训练值，包括露肤度标签训练值、人体标签训练值、粗粒度标签训练值和细粒度标签训练值。终端通过结合上述各标签对应的标注，以及各标签的训练值与相应标签的预测值的比较，确定各预测任务对应的损失函数值，从而终端基于得到的各损失函数值对待训练的多任务标签识别模型的模型参数进行调整，包括但不限于对特征提取的参数进行调整和对各个预测任务的参数进行调整等。从而终端可以基于迭代训练多次调整上述模型参数，在达到预设训练结束条件时，得到经训练的多任务标签识别模型。

通过上述实施例，终端通过结合人体的特征、露肤度特征、粗粒度特征和细粒度特征，以及对不同图像样本的标注，对待训练的多任务标签识别模型进行训练，使得终端可以基于不同标注的图像样本，对多任务标签识别模型进行不同标签的学习，基于训练完成的多任务标签识别模型可以对直播图像中的敏感内容进行识别，提高了敏感直播图像的识别效率。

在一个实施例中，根据历史图像样本携带的标注，以及各级敏感特征标签训练值与各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值，包括：若历史图像样本携带第一标注，确定第二损失函数值为第一预设值；第一预设值表征忽略学习历史图像样本对应的各级敏感特征；若历史图像样本携带第二标注，根据历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；若历史图像样本携带第三标注，根据历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的比较结果，确定第一子损失函数值，根据历史图像样本对应的二级敏感特征标签训练值与二级历史敏感特征标签预测值的比较结果，确定第二子损失函数值；基于第一子损失函数值和第二子损失函数值确定第二损失函数值。

本实施例中，上述图像样本的标注可以基于图像样本的类型不同而不同。不同标注的图像样本，其确定损失函数值的方式也不同。例如，对于携带第一标注的历史图像样本，终端可以确定其对应的第二损失函数值为第一预设值。其中，第二损失函数可以是各级敏感特征标签对应的损失函数值。第一预设值表示终端忽略学习上述历史图像样本对应的各级敏感特征。具体地，终端可以忽略学习上述公共图像样本对应的各级敏感特征。

对于携带第二标注的历史图像样本，终端可以根据历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值。即表示终端忽略学习上述历史图像样本对应的二级敏感特征。具体地，终端可以忽略学习上述历史直播图像样本对应的二级敏感特征。

对于携带第三标注的历史图像样本，终端可以根据历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的比较结果，确定第一子损失函数值，根据历史图像样本对应的二级敏感特征标签训练值与二级历史敏感特征标签预测值的比较结果，确定第二子损失函数值；基于第一子损失函数值和第二子损失函数值确定第二损失函数值。即表示终端对历史图像样本的所有特征均进行学习。具体地，终端可以学习上述目标历史直播图像样本对应的各级敏感特征。

通过本实施例，终端可以基于图像样本的不同标注，对待训练的多任务标签识别模型进行不同的学习策略，提高了模型训练的准确度，进而终端基于经训练的多任务标签识别模型进行直播敏感图像的识别，提高了敏感内容的识别效率。

在一个实施例中，将直播图像输入经训练的多任务标签识别模型，包括：将直播图像输入经训练的多任务标签识别模型，由多任务标签识别模型识别直播图像中的人体特征输出的人物标签预测值、识别直播图像中人体特征对应的露肤度特征输出的露肤度标签预测值、识别直播图像中一级敏感特征输出的一级敏感特征标签预测值、以及识别直播图像中二级敏感特征输出的二级敏感特征标签预测值。

本实施例中，上述经训练的多任务标签识别模型可以对输入的直播图像进行多任务识别。其中，上述预设敏感源可以是人，上述预设敏感源的特征可以是人体特征，包括是否有人的人物特征和露肤度特征等。上述各级敏感特征可以包括一级敏感特征和二级敏感特征。例如内容的一级敏感特征和二级敏感特征。上述多任务标签识别模型可以包括针对人体特征的是否有人的预测、露肤度的预测、一级敏感特征的预测和二级敏感特征的预测。

终端可以将上述直播图像输入经训练的多任务标签识别模型，多任务标签识别模型可以对述直播图像进行特征提取，例如提取人体特征，对人体特征进行是否有人的识别，得到人物标签预测值；还可以对人体特征进行露肤度特征的识别，输出对应的露肤度标签预测值；多任务标签识别模型还可以识别直播图像中的一级敏感特征，输出对应的一级敏感特征标签预测值；还可以识别直播图像中的二级敏感特征，输出对应的二级敏感特征标签预测值。其中，当多任务标签识别模型未检测到直播图像中的人体特征时，可以将人物标签预测值和露肤度标签预测值设置为预设的标签值，以表示直播图像中未包含人体特征。

具体地，一级敏感特征可以是粗粒度特征，二级敏感特征可以是细粒度特征。则终端可以由多任务标签识别模型，基于对上述内容的粗粒度特征的识别，输出对应的内容粗粒度标签预测值，以及基于上述内容的细粒度特征的识别，输出对应的内容细粒度标签预测值。

通过本实施例，终端可以通过多任务标签识别模型，对直播图像的特征进行多任务识别，进而基于输出的标签预测值识别直播图像是否为敏感直播图像，提高了直播敏感图像识别的效率。并且，通过多任务的算法模型结构设计，结合业务侧容易获取的粗粒度标签和少量人工精细标注的细粒度标签，在控制模型成本的同时，降低人工标注的成本，有效控制了整体方案成本问题，获得了较为精准的识别结果。

在一个实施例中，还包括：根据一级敏感特征的识别任务对应的第一标签阈值，确定第一判定规则；根据不包含人体特征和露肤度特征的二级敏感特征的识别任务对应的第二标签阈值，确定第二判定规则；根据包含人体特征或露肤度特征的二级敏感特征的识别任务对应的第三标签阈值、以及人体特征的识别任务对应的第四标签阈值或露肤度特征的识别任务对应的第五标签阈值，确定第三判定规则；根据第一判定规则、第二判定规则和第三判定规则，确定预设的直播敏感图像判定规则。

本实施例中，终端可以通过融合规则，对多任务标签预测值进行敏感识别。其中，上述预设的直播敏感图像判定规则可以包括多种。例如，终端可以根据一级敏感特征的识别任务对应的第一标签阈值，确定第一判定规则。其中，一级敏感特征可以是定义范围较为宽泛的敏感特征。二级敏感特征可以是定义范围较具体的敏感特征。对于不包含人体特征和露肤度特征的二级敏感特征，终端可以基于这些二级敏感特征的识别任务对应的第二标签阈值，确定第二判定规则。对于包含人体特征或露肤度特征的二级敏感特征，终端可以通过融合的方式确定判定规则。

例如，终端可以基于这些二级敏感特征的识别任务对应的第三标签阈值以及人体特征的识别任务对应的第四标签阈值，确定第三判定规则；终端还可以根据这些二级敏感特征的识别任务对应的第三标签阈值以及露肤度特征的识别任务对应的第五标签阈值，确定第三判定规则；另外，在一些实施例中，终端还可以基于这些二级敏感特征的识别任务对应的第三标签阈值、人体特征的识别任务对应的第四标签阈值以及露肤度特征的识别任务对应的第五标签阈值，确定第三判定规则。从而终端可以基于上述第一判定规则、第二判定规则和第三判定规则，确定预设的直播敏感图像判定规则。

终端确定上述判定规则后，可以用于对多任务标签识别模型输出的多个标签预测值进行判定。例如，在一个实施例中，终端可以首先判定一级敏感特征标签预测值是否大于对应的第一标签阈值，若否，表示直播图像中未包含敏感内容，终端可以结束判定；若是，终端可以进行进一步判断。例如，对于不包含人体特征和露肤度特征的二级敏感特征，终端可以分别对这些二级敏感特征标签预测值是否大于其对应的第二标签阈值进行判断，若是，则表示直播图像包含敏感内容，终端可以确定直播违规。

对于包含人体特征或露肤度特征的二级敏感特征，终端可以对这些二级敏感特征标签预测值是否大于其对应的第三标签阈值进行判断，同时结合判断对应的人物标签预测值是否大于对应的第四标签阈值，或结合露肤度标签预测值是否大于对应的第五标签阈值；若二级敏感特征标签预测值大于其对应的第三标签阈值，且对应的人物标签预测值大于对应的第四标签阈值，表示直播图像包含敏感内容，终端可以确定直播违规。若二级敏感特征标签预测值大于其对应的第三标签阈值，且对应的露肤度标签预测值大于对应的第五标签阈值，表示直播图像包含敏感内容，终端可以确定直播违规。

具体地，如图4所示，图4为一个实施例中规则判断步骤的流程示意图。上述一级敏感特征标签预测值可以是粗粒度标签预测值，上述二级敏感特征可以是细粒度标签预测值。th*代表某个标签所需要的置信度的阈值，即上述的第一标签阈值至第五标签阈值。其中，该阈值可以根据业务具体所需要的效果而调整制定。终端可以通过首先判断粗粒度标签预测值是否大于对应的th0，在确定大于时，进一步判断各个细粒度标签预测值是否大于对应的th阈值，并且，对于一些和人物相关的细粒度标签，终端可以组合使用人体和露肤度的标签阈值进行判定，来提升该标签预测的精确度。

通过本实施例，终端可以通过结合人体的特征对应的标签预测值以及敏感特征的标签预测值进行敏感内容的判断，从而提高了识别直播敏感图像的识别精确度和效率。并且，通过引入容易获取的与目标标签相关的任务标签，例如皮肤裸露度、是否有人等，来协助算法模型学习目标标签，同时对输出的标签使用融合规则，能有效的降低模型对精准标签数据的依赖，提升整个审核方案的识别的精确度。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的直播敏感图像识别方法的直播敏感图像识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个直播敏感图像识别装置实施例中的具体限定可以参见上文中对于直播敏感图像识别方法的限定，在此不再赘述。

在一个实施例中，如图5所示，提供了一种直播敏感图像识别装置，包括：获取模块500、标签识别模块502和敏感识别模块504，其中：

获取模块500，用于获取待识别的直播图像。

标签识别模块502，用于将直播图像输入经训练的多任务标签识别模型，获取多任务标签识别模型基于直播图像输出的与各识别任务对应的多个标签预测值；各识别任务包括针对直播图像的各级敏感特征的识别任务、针对直播图像中预设敏感源的多种特征的识别任务。

敏感识别模块504，用于根据多个标签预测值与预设的直播敏感图像判定规则，得到对直播图像的敏感识别结果；直播敏感图像判定规则基于对与各识别任务对应的多个标签融合得到。

在一个实施例中，上述装置还包括：训练模块，用于获取携带标注的历史图像样本，以及获取历史图像样本对应的多种历史预设敏感源特征标签预测值和各级历史敏感特征标签预测值；标注基于历史图像样本的图像类型确定，标注表征对携带标注的历史图像样本的学习策略；将历史图像样本输入待训练的多任务标签识别模型，由多任务标签识别模型根据历史图像样本，输出对应的多种预设敏感源特征标签训练值和各级敏感特征标签训练值；根据历史图像样本携带的标注，以及多种预设敏感源特征标签训练值与多种历史预设敏感源特征标签预测值的第一比较结果，确定第一损失函数值；根据历史图像样本携带的标注，以及各级敏感特征标签训练值与各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；根据第一损失函数值和第二损失函数值，调整待训练的多任务标签识别模型中的模型参数，直至满足预设训练结束条件时，得到经训练的多任务标签识别模型。

在一个实施例中，上述训练模块，用于获取公共图像样本以及历史直播图像样本；对公共图像样本添加第一标注；第一标注表征忽略学习公共图像样本对应的各级敏感特征；对历史直播图像样本添加第二标注，并从历史直播图像样本中确定预设数量的目标历史直播图像样本，对目标历史直播图像样本添加第三标注；第二标注表征忽略学习历史直播图像样本的二级敏感特征；第三标注表征学习目标历史直播图像样本的各级敏感特征和预设敏感源的多种特征；根据携带第一标注的公共图像样本、携带第二标注的历史直播图像样本和携带第三标注的目标历史直播图像样本，得到历史图像样本。

在一个实施例中，上述训练模块，用于若历史图像样本携带第一标注，确定第二损失函数值为第一预设值；第一预设值表征忽略学习历史图像样本对应的各级敏感特征；若历史图像样本携带第二标注，根据历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；若历史图像样本携带第三标注，根据历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的比较结果，确定第一子损失函数值，根据历史图像样本对应的二级敏感特征标签训练值与二级历史敏感特征标签预测值的比较结果，确定第二子损失函数值；基于第一子损失函数值和第二子损失函数值确定第二损失函数值。

在一个实施例中，上述标签识别模块502，用于将直播图像输入经训练的多任务标签识别模型，由多任务标签识别模型识别直播图像中的人体特征输出的人物标签预测值、识别直播图像中人体特征对应的露肤度特征输出的露肤度标签预测值、识别直播图像中一级敏感特征输出的一级敏感特征标签预测值、以及识别直播图像中二级敏感特征输出的二级敏感特征标签预测值。

在一个实施例中，上述装置还包括：规则确定模块，用于根据一级敏感特征的识别任务对应的第一标签阈值，确定第一判定规则；根据不包含人体特征和露肤度特征的二级敏感特征的识别任务对应的第二标签阈值，确定第二判定规则；根据包含人体特征或露肤度特征的二级敏感特征的识别任务对应的第三标签阈值、以及人体特征的识别任务对应的第四标签阈值或露肤度特征的识别任务对应的第五标签阈值，确定第三判定规则；根据第一判定规则、第二判定规则和第三判定规则，确定预设的直播敏感图像判定规则。

上述直播敏感图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种直播敏感图像识别方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述的直播敏感图像识别方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的直播敏感图像识别方法。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的直播敏感图像识别方法。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种直播敏感图像识别方法，其特征在于，所述方法包括：

获取待识别的直播图像；

将所述直播图像输入经训练的多任务标签识别模型，获取所述多任务标签识别模型基于所述直播图像输出的与各识别任务对应的多个标签预测值；所述各识别任务包括针对所述直播图像的各级敏感特征的识别任务、针对所述直播图像中预设敏感源的多种特征的识别任务；

根据所述多个标签预测值与预设的直播敏感图像判定规则，得到对所述直播图像的敏感识别结果；所述直播敏感图像判定规则基于对与所述各识别任务对应的多个标签融合得到。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取携带标注的历史图像样本，以及获取所述历史图像样本对应的多种历史预设敏感源特征标签预测值和各级历史敏感特征标签预测值；所述标注基于所述历史图像样本的图像类型确定，所述标注表征对携带标注的历史图像样本的学习策略；

将所述历史图像样本输入待训练的多任务标签识别模型，由所述多任务标签识别模型根据所述历史图像样本，输出对应的多种预设敏感源特征标签训练值和各级敏感特征标签训练值；

根据所述历史图像样本携带的标注，以及所述多种预设敏感源特征标签训练值与所述多种历史预设敏感源特征标签预测值的第一比较结果，确定第一损失函数值；

根据所述历史图像样本携带的标注，以及所述各级敏感特征标签训练值与所述各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；

根据所述第一损失函数值和所述第二损失函数值，调整所述待训练的多任务标签识别模型中的模型参数，直至满足预设训练结束条件时，得到经训练的多任务标签识别模型。

3.根据权利要求2所述的方法，其特征在于，所述各级敏感特征包括一级敏感特征和二级敏感特征；所述一级敏感特征的分类范围大于所述二级敏感特征的分类范围；所述获取携带标注的历史图像样本，包括：

获取公共图像样本以及历史直播图像样本；

对所述公共图像样本添加第一标注；所述第一标注表征忽略学习所述公共图像样本对应的各级敏感特征；

对所述历史直播图像样本添加第二标注，并从所述历史直播图像样本中确定预设数量的目标历史直播图像样本，对所述目标历史直播图像样本添加第三标注；所述第二标注表征忽略学习所述历史直播图像样本的二级敏感特征；所述第三标注表征学习所述目标历史直播图像样本的各级敏感特征和预设敏感源的多种特征；

根据携带所述第一标注的公共图像样本、携带所述第二标注的历史直播图像样本和携带所述第三标注的目标历史直播图像样本，得到历史图像样本。

4.根据权利要求3所述的方法，其特征在于，所述根据所述历史图像样本携带的标注，以及所述各级敏感特征标签训练值与所述各级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值，包括：

若所述历史图像样本携带所述第一标注，确定所述第二损失函数值为第一预设值；所述第一预设值表征忽略学习所述历史图像样本对应的各级敏感特征；

若所述历史图像样本携带所述第二标注，根据所述历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的第二比较结果，确定第二损失函数值；

若所述历史图像样本携带所述第三标注，根据所述历史图像样本对应的一级敏感特征标签训练值与一级历史敏感特征标签预测值的比较结果，确定第一子损失函数值，根据所述历史图像样本对应的二级敏感特征标签训练值与二级历史敏感特征标签预测值的比较结果，确定第二子损失函数值；基于所述第一子损失函数值和所述第二子损失函数值确定第二损失函数值。

5.根据权利要求1所述的方法，其特征在于，所述预设敏感源为人，所述预设敏感源的多种特征包括人体特征和露肤度特征；所述各级敏感特征包括一级敏感特征和二级敏感特征；所述一级敏感特征的分类范围大于所述二级敏感特征的分类范围；

所述将所述直播图像输入经训练的多任务标签识别模型，包括：

将所述直播图像输入经训练的多任务标签识别模型，由所述多任务标签识别模型识别所述直播图像中的人体特征输出的人物标签预测值、识别所述直播图像中人体特征对应的露肤度特征输出的露肤度标签预测值、识别所述直播图像中一级敏感特征输出的一级敏感特征标签预测值、以及识别所述直播图像中二级敏感特征输出的二级敏感特征标签预测值。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述一级敏感特征的识别任务对应的第一标签阈值，确定第一判定规则；

根据不包含人体特征和露肤度特征的二级敏感特征的识别任务对应的第二标签阈值，确定第二判定规则；

根据包含人体特征或露肤度特征的二级敏感特征的识别任务对应的第三标签阈值、以及所述人体特征的识别任务对应的第四标签阈值或所述露肤度特征的识别任务对应的第五标签阈值，确定第三判定规则；

根据所述第一判定规则、第二判定规则和第三判定规则，确定预设的直播敏感图像判定规则。

7.一种直播敏感图像识别装置，其特征在于，所述装置包括：

获取模块，用于获取待识别的直播图像；

标签识别模块，用于将所述直播图像输入经训练的多任务标签识别模型，获取所述多任务标签识别模型基于所述直播图像输出的与各识别任务对应的多个标签预测值；所述各识别任务包括针对所述直播图像的各级敏感特征的识别任务、针对所述直播图像中预设敏感源的多种特征的识别任务；

敏感识别模块，用于根据所述多个标签预测值与预设的直播敏感图像判定规则，得到对所述直播图像的敏感识别结果；所述直播敏感图像判定规则基于对与所述各识别任务对应的多个标签融合得到。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。