CN114708470A - 违规图片的识别方法、介质和计算设备 - Google Patents

Abstract

本公开的实施方式提供了一种违规图片的识别方法。该方法包括：将待识别的第一图片输入至识别模型，以基于所述识别模型的输出结果确定所述第一图片的合规性；其中，所述识别模型包括多个相互独立的监督模型，以及多个相互独立的半监督模型；所述识别模型是通过对所述多个监督模型以及所述多个半监督模型进行训练而获得的。通过多个相互独立的监督模型和多个相互独立的半监督模型可以训练出用于识别违规图像的识别模块，克服了单一训练模型泛化能力弱的问题，从而显著地提高了识别模型对违规图片的识别准确性，违规图片的识别精度较高。此外，本公开的实施方式提供了一种介质和计算设备。

Description

违规图片的识别方法、介质和计算设备

技术领域

本公开的实施方式涉及图像识别领域，更具体地，本公开的实施方式涉及违规图片的识别方法、介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着对网络的净化要求增大，需要加大力度的清除网络上违规的图片。而违规图片可以通过识别模型进行查找。

示例性技术中，识别模型通过监督模型学习得到的。在进行监督学习时，需要采用违规图片作为标注样本进行学习。相对于正常图片，违规图片的占比较少，使得训练出来的识别模型的泛化能力较弱，降低了识别模型对违规图片的识别准确性，违规图片的识别精度较低。

发明内容

本公开提供一种违规图片的识别方法、介质和计算设备，以解决违规图片的识别精度较低的问题。

在本公开实施方式的第一方面中，提供了一种违规图片的识别方法，包括：将待识别的第一图片输入至识别模型，以基于所述识别模型的输出结果确定所述第一图片的合规性；其中，所述识别模型包括多个相互独立的监督模型，以及多个相互独立的半监督模型；所述识别模型是通过对所述多个监督模型以及所述多个半监督模型进行训练而获得的。

在本公开的一个实施例中，所述识别模型是通过对所述多个监督模型以及所述多个半监督模型进行训练而获得的，包括：通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，以获得所述识别模型；其中，所述样本数据包括：在真实的违规图片识别业务中所出现的第一无标签数据，以及，从公共图片资源池中所收集的第二无标签数据

在本公开的另一实施例中，所述通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，以获得所述识别模型的步骤之前，还包括：通过冷启动数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行预训练，以使相应的多个监督模型以及相应的多个半监督模型具备标签预测能力；其中，所述冷启动数据池中样本数据是由人工标注的第一有标签数据，所述第一有标签数据的样本数量小于预设数量。

在本公开的另一个实施例中，所述通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，还包括：为所述第一无标签数据添加标签；为所述第二无标签数据添加标签。

在本公开的另一个实施例中，所述为所述第一无标签数据添加标签，包括：将所述第一无标签数据输入所述多个监督模型，以获得各个监督模型对于所述第一无标签数据中第一样本图片所应归属的违规类别的第一概率预测值；响应于所述监督模型对于所述第一样本图片所应归属的违规类别的第一概率预测值大于预设的第一概率阈值，为所述第一样本图片添加所述监督模型所判定的第一违规类别标签；基于投票机制从各个所述监督模型所判定的第一违规类别标签中确定所述第一样本图片的第一预测标签，并为所述第一样本图片所属的第一无标签数据添加第一预测标签，得到第二有标签数据。

在本公开的另一个实施例中，所述为所述第二无标签数据添加标签，包括：为第一部分的所述第二无标签数据添加正样本的标签；为第二部分的多个所述第二无标签数据添加负样本的标签。

在本公开的另一个实施例中，所述为第一部分的所述第二无标签数据添加正样本的标签，包括：将所述第二无标签数据输入所述多个监督模型，以获得各个所述监督模型对于所述第二无标签数据中第二样本图片所应归属的违规类别的第二概率预测值；响应于所述监督模型对于所述第二样本图片所应归属的违规类别的第二概率预测值大于预设的第二概率阈值且小于预设的第三概率阈值，为所述第二样本图片添加所述监督模型所判定的第二违规类别标签；基于投票机制从各个所述监督模型所判定的第二违规类别标签中确定出相应样本图片的第二预测标签，并为所述第二样本图片所属的第二无标签数据添加第二预测标签，所述第二预设标签是正样本的标签。

在本公开的另一个实施例中，所述为第二部分的多个所述第二无标签数据添加负样本的标签，包括：根据各个所述第二有标签数据对所述多个监督模型重新进行训练；响应于所述多个监督模型满足停止训练条件，为第二部分的多个所述第二无标签数据添加负样本的标签。

在本公开的另一个实施例中，所述根据各个所述第二有标签数据对所述多个监督模型重新进行训练的步骤包括：响应于所述多个监督模型不满足停止训练条件，返回执行所述为所述第一无标签数据添加标签的步骤。

在本公开的另一个实施例中，所述根据各个所述第二有标签数据对所述多个监督模型重新进行训练，包括：通过置信学习算法对所述第二有标签数据中的噪声数据进行过滤，并基于过滤后所剩余的第二有标签数据对所述多个监督模型重新进行训练。

在本公开的另一个实施例中，所述通过置信学习算法对所述第二有标签数据中的噪声数据进行过滤，并基于过滤后所剩余的第二有标签数据对所述多个监督模型重新进行训练的步骤包括：确定第二有标签数据中的噪声标签与真实标签，并基于所述噪声标签与所述真实标签之间的联合分布，确定所述第二有标签数据中的噪声数据，所述噪声数据为被所述监督模型所错误标注的样本数据；滤除所述第二有标签数据中的所述噪声数据，并基于剩余的所述第二有标签数据对所述多个监督模型重新进行训练。

在本公开的另一个实施例中，各个所述监督模型预设的第一概率阈值不同、各个所述监督模型预设的第二概率阈值不同、且各个所述监督模型预设的第三概率阈值不同。

在本公开的另一个实施例中，所述为第二部分的多个所述第二无标签数据添加负样本的标签，包括：将所述第二无标签数据输入所述多个监督模型，获得出现误判的第三无标签数据；采用各个所述半监督模型对各个所述第三无标签数据以及所述第二有标签数据进行半监督学习，得到所述第三无标签数据所属违规类别出现误判的半监督模型；将所述第二无标签数据输入，所述第三无标签数据所属违规类别出现误判的半监督模型，获得所述半监督模型对出现误判所述第二无标签数据中第二样本图片所应归属的违规类别的第三概率预测值；对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签。

在本公开的另一个实施例中，所述对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签的步骤之后，还包括：通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对所述多个监督模型进行训练，得到识别模型。

在本公开的另一个实施例中，所述对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签的步骤之后，还包括：通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对所述多个监督模型进行训练；将所述第二无标签数据输入，训练后的所述多个监督模型，获得各个所述监督模型对于所述第二无标签数据中第二样本图片所应归属的违规类别的第五概率预测值；获取位于预设概率区间的所述第五概率预测值的第二无标签数据，以进行标签的人工标注；通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、添加负样本的标签的第二无标签数据以及人工标签的第二无标签数据，对训练后的所述多个监督模型重新进行训练，得到识别模型。

在本公开的另一个实施例中，所述第一无标签数据是从文本、图像以及视频中获得的。

在本公开的另一个实施例中，所述监督模型以及所述半监督模型的初始训练参数，是基础模型经真实违规业务中的数据训练完毕后的训练参数。

在本公开的另一个实施例中，所述基础模型经真实违规业务中的数据训练，包括：对真实违规业务中的数据的第三样本图片进行处理，得到第四样本图片以及辅助信息，所述处理包括旋转、缩放和/或着色，所述辅助信息是所述第三样本图片与所述第四样本图片之间的关系；通过所述第三样本图片、所述第四样本图片、辅助信息训练所述基础模型。

本公开实施方式的第二方面中，提供了一种违规图片的识别装置，包括：输入模块，用于将待识别的第一图片输入至识别模型，以基于所述识别模型的输出结果确定所述第一图片的合规性；其中，所述识别模型包括多个相互独立的监督模型，以及多个相互独立的半监督模型；所述识别模型是通过对所述多个监督模型以及所述多个半监督模型进行训练而获得的。

在本公开的一个实施例中，违规图片的识别装置包括：训练模块，用于通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，以获得所述识别模型；其中，所述样本数据包括：在真实的违规图片识别业务中所出现的第一无标签数据，以及，从公共图片资源池中所收集的第二无标签数据。

在本公开的另一个实施例中，违规图片的识别装置包括：所述训练模块，还用于通过冷启动数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行预训练，以使相应的多个监督模型以及相应的多个半监督模型具备标签预测能力；其中，所述冷启动数据池中样本数据是由人工标注的第一有标签数据，所述第一有标签数据的样本数量小于预设数量。

在本公开的另一个实施例中，违规图片的识别装置包括：添加模块，用于为所述第一无标签数据添加标签；所述添加模块，还用于为所述第二无标签数据添加标签。

在本公开的另一个实施例中，违规图片的识别装置包括：输入模块，用于将所述第一无标签数据输入所述多个监督模型，以获得各个监督模型对于所述第一无标签数据中第一样本图片所应归属的违规类别的第一概率预测值；所述添加模块，还用于响应于所述监督模型对于所述第一样本图片所应归属的违规类别的第一概率预测值大于预设的第一概率阈值，为所述第一样本图片添加所述监督模型所判定的第一违规类别标签；确定模块，用于基于投票机制从各个所述监督模型所判定的第一违规类别标签中确定所述第一样本图片的第一预测标签，并为所述第一样本图片所属的第一无标签数据添加第一预测标签，得到第二有标签数据。

在本公开的另一个实施例中，违规图片的识别装置包括：所述添加模块，还用于为第一部分的所述第二无标签数据添加正样本的标签；所述添加模块，还用于为第二部分的多个所述第二无标签数据添加负样本的标签。

在本公开的另一个实施例中，违规图片的识别装置包括：所述输入模块，还用于将所述第二无标签数据输入所述多个监督模型，以获得各个所述监督模型对于所述第二无标签数据中第二样本图片所应归属的违规类别的第二概率预测值；所述添加模块，还用于响应于所述监督模型对于所述第二样本图片所应归属的违规类别的第二概率预测值大于预设的第二概率阈值且小于预设的第三概率阈值，为所述第二样本图片添加所述监督模型所判定的第二违规类别标签；所述确定模块，还用于基于投票机制从各个所述监督模型所判定的第二违规类别标签中确定出相应样本图片的第二预测标签，并为所述第二样本图片所属的第二无标签数据添加第二预测标签，所述第二预设标签是正样本的标签。

在本公开的另一个实施例中，违规图片的识别装置包括：所述训练模块，还用于根据各个所述第二有标签数据对所述多个监督模型重新进行训练；所述添加模块，还用于响应于所述多个监督模型满足停止训练条件，为第二部分的多个所述第二无标签数据添加负样本的标签。

在本公开的一个实施例中，违规图片的识别装置包括：执行模块，用于响应于所述多个监督模型不满足停止训练条件，返回执行所述为所述第一无标签数据添加标签的步骤。

在本公开的另一个实施例中，违规图片的识别装置包括：过滤模块，用于通过置信学习算法对所述第二有标签数据中的噪声数据进行过滤，并基于过滤后所剩余的第二有标签数据对所述多个监督模型重新进行训练。

在本公开的另一个实施例中，违规图片的识别装置包括：所述确定模块，还用于确定第二有标签数据中的噪声标签与真实标签，并基于所述噪声标签与所述真实标签之间的联合分布，确定所述第二有标签数据中的噪声数据，所述噪声数据为被所述监督模型所错误标注的样本数据；所述过滤模块，还用于滤除所述第二有标签数据中的所述噪声数据，并基于剩余的所述第二有标签数据对所述多个监督模型重新进行训练。

在本公开的另一个实施例中，所述违规图片的识别装置内的各个所述监督模型预设的第一概率阈值不同、各个所述监督模型预设的第二概率阈值不同、且各个所述监督模型预设的第三概率阈值不同。

在本公开的另一个实施例中，违规图片的识别装置包括：所述输入模块，还用于将所述第二无标签数据输入所述多个监督模型，获得出现误判的第三无标签数据；学习模块，用于采用各个所述半监督模型对各个所述第三无标签数据以及所述第二有标签数据进行半监督学习，得到所述第三无标签数据所属违规类别出现误判的半监督模型；所述输入模块，还用于将所述第二无标签数据输入，所述第三无标签数据所属违规类别出现误判的半监督模型，获得所述半监督模型对出现误判所述第二无标签数据中第二样本图片所应归属的违规类别的第三概率预测值；所述添加模块，还用于对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签。

在本公开的另一个实施例中，违规图片的识别装置包括：所述添加模块，还用于通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对所述多个监督模型进行训练，得到识别模型。

在本公开的另一个实施例中，违规图片的识别装置包括：所述添加模块，还用于通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对所述多个监督模型进行训练；所述输入模块，还用于将所述第二无标签数据输入，训练后的所述多个监督模型，获得各个所述监督模型对于所述第二无标签数据中第二样本图片所应归属的违规类别的第五概率预测值；获取模块，用于获取位于预设概率区间的所述第五概率预测值的第二无标签数据，以进行标签的人工标注；所述添加模块，还用于通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、添加负样本的标签的第二无标签数据以及人工标签的第二无标签数据，对训练后的所述多个监督模型重新进行训练，得到识别模型。

在本公开的另一个实施例中，所述第一无标签数据是从文本、图像以及视频中获得的。

在本公开的另一个实施例中，所述违规图片的识别装置内的所述监督模型以及所述半监督模型的初始训练参数，是基础模型经真实违规业务中的数据训练完毕后的训练参数。

在本公开的另一个实施例中，违规图片的识别装置包括：处理模块，用于对真实违规业务中的数据的第三样本图片进行处理，得到第四样本图片以及辅助信息，所述处理包括旋转、缩放和/或着色，所述辅助信息是所述第三样本图片与所述第四样本图片之间的关系；所述训练模块，还用于通过所述第三样本图片、所述第四样本图片、辅助信息训练所述基础模型。

在本公开实施方式的第三方面中，提供了一种介质，包括：计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的违规图片的识别方法。

在本公开实施方式的第四方面中，提供了一种计算设备，包括：存储器以及处理器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上所述的违规图片的识别方法。

根据本公开实施方式的多个相互独立的监督模型和多个相互独立的半监督模型可以训练出用于识别违规图像的识别模块，克服了单一训练模型泛化能力弱的问题，从而显著地提高了识别模型对违规图片的识别准确性，违规图片的识别精度较高。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示意性地示出了根据本公开实施方式的识别模型的训练示意图；

图2示意性地示出了根据本公开一实施例的流程示意图；

图3示意性地示出了根据本公开另一实施例的流程示意图；

图4示意性地示出了根据本公开又一实施例的流程示意图；

图5示意性地示出了根据本公开再一实施例的流程示意图；

图6示意性地示出了根据本公开实施例提供的程序产品的示意图；

图7示意性地示出了根据本公开实施例提供的违规图片的识别装置的结构示意图；

图8示意性地示出了根据本公开实施例提供的计算设备的结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本公开的实施方式，提出了一种违规图片的方法、介质和计算设备。

在本文中，需要理解的是，所涉及的术语以及术语的含义如下：

违规图片：指的是包含不文明行为、暴恐等垃圾信息的图片；

识别模型：用于识别违规图片的模型；

监督模型：利用有标签数据训练得到的模型；

半监督模型：利用有标签数据以及无标签数据训练得到的模型；

第一无标签数据：是真实的违规图片识别业务中所出现的无标签数据，包括有图片；

真实的违规图片识别业务：指的是自定义数据池，自定义数据池中的数据通过关键词搜索、关键字关联搜索、以图搜图以及视频搜索等方式获取；

第二无标签数据：公共图片资源池中的无标签数据；

公共图片资源池：指的是线上随机数据池，线上随机数据池中的数据是线上随机获取得到的；

冷启动数据池：指的是包含少量有标签数据的数据池，用于启动识别模型的训练；

置信学习：用于识别标签错误、描述标签噪声，以从数据中剔除噪声数据；

自监督学习：利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

半监督学习：通过借助无标签数据来提升有监督过程中的模型性能。具体来说就是在少量样本标签的引导下，充分利用隐藏在大量无标签数据中的数据提高模型的学习性能，减少数据资源的浪费，同时解决了有标签数据较少时监督学习方法泛化能力不强和缺少样本标签引导时无监督学习方法不准确的问题。

主动学习：通过一定的算法选出最有价值和信息量的未标记样本，交由专家进行人工标记，然后将人工标注得到的数据再次使用有监督学习模型或者半监督学习模型进行训练，逐步提升模型的效果。将人工经验融入模型中，使得有效降低模型学习所需要的标注数据量。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

发明概述

本发明人发现，违规数据占实际海量数据的比重小，据统计违规数据大约仅占实际海量数据的0.05％；

用于训练识别模型的有标签数据需要进行人工标注，导致标注成本高；

识别模型的精度泛化能力受限，在实际的标注过程中训练数据通常会因标注质量存在噪声数据。当噪声数据严重且标注数据量较少时，对模型精度和召回来说影响较大，若直接剔除这类噪声样本，那么监督学习可用的样本又进一步减少。另外当训练样本较少时，因其所涵盖的domain(域)范围较少，故其识别模型的泛化能力会受到影响。

通过冷启动数据池中的有标签数据训练得到一批相互独立的监督模型，利用监督模型对无标签数据打标，再利用打标数据对监督模型进行训练，再重复多次迭代后，从而可以得到多个具有对违规图片具有较好识别能力的监督模型，在此基础上通过多个半监督模型对监督模型提供的无标签数据进行半监督学习，得到作为负样本的标签数据，最后通过负样本的标签数据对监督模型进行学习，从而得到较高识别精度以及泛化能力的识别模型。

在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。

应用场景总览

首先参考图1，图1为本公开实施方式的识别模型的训练流程示意图，包括多模态融合数据启动以及数据迭代过程等多个阶段，具体流程如下：

1、利用自监督学习从大规模的无监督数据中挖掘出监督信息，通过监督信息以及标签数据对基础模型进行训练，再将训练后的基础模型的网络参数设置为多个模型的初始训练参数。

2、通过少量的有标签数据对设置初始训练参数的多个训练模型进行训练，也即多个监督模型进行有监督学习，得到多个具有预测能力的监督模型。有标签数据为冷启动数据，冷启动数据是多模态融合的少量人工标签的数据。有标签数据来源包括OCR(OpticalCharacter Recognition，光学字符识别)、以图搜图、关键字爬虫以及视频流等。冷启动数据的多模态融合指的是从文本、图片、视频多个层次搜索得到违规图片所组合的有标签数据。

3、利用具有预测能力的多个监督模型对无标签数据进行预测，基于多个监督模型的融合体系得到监督数据以及半监督数据。无标签数据来源于OCR、以图搜图、关键字爬虫、视频流以及线上随机获取的数据。融合体系指的是结合多个监督模型对无标签数据的预测结果进行投票的机制体系。监督数据一部分来源于监督模型的打标以及人工打标。多个监督模型能够在无标签数据中识别出违规图片，利用数据清洗装置对违规图片进行数据清洗，将清洗后的违规图片输入至监督模型，监督模型即可为清洗后的违规图片进行打标。多个监督模型通过主动学习能够识别出原本难以分类的无标签数据，这些无标签数据通过人工标注得到监督数据。多个监督模型可以从无标签数据中识别出有价值的无标签数据作为半监督数据。有价值的无标签数据指的是能够提升模块泛化能力的无标签数据，有价值的无标签数据例如为难以被确定为违规的图片。

4、多个监督模型可以通过监督数据进行重新训练，重新训练后的多个监督模型再从无标签数据中获取监督数据，且利用新获取的监督数据进行多个监督数据的新一轮训练，也即多个监督模型需要进行多轮的训练，直至多个监督模型对违规图片具有较好的识别能力。各个监督模型完成多轮训练后，多个监督模型再从无标签数据中筛选出部分无标签数据作为半监督数据。一个或多个半监督模型通过监督数据以及半监督数据进行半监督学习，以对多个监督模型进行finetune(微调)，从而得到识别模型。

示例性方法

下面结合图1的应用场景，参考图2-图5来描述根据本公开示例性实施方式的用于违规图片的识别方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。

示例性的，本公开的实施例的执行设备可为具有数据处理能力的终端。

参考图2，图2示例性的示出了根据本公开实施例提供的违规图片识别方法一实施例的流程示意图，违规图片的识别方法包括：

步骤S201，将待识别的第一图片输入至识别模型，以基于识别模型的输出结果确定第一图片的合规性；其中，识别模型包括多个相互独立的监督模型，以及多个相互独立的半监督模型；识别模型是通过对多个监督模型以及多个半监督模型进行训练而获得的。

在本实施例中，终端中设置有识别模型，识别模型包括多个相互独立的监督模型以及多个相互独立的半监督模型。相互独立的多个监督模型指的是网络结构不同的监督模型，相互独立的多个半监督模型指的是网络结构不同的半监督模型。监督模型指的是通过有标签数据进行监督学习得到的模型，半监督模型指的是通过有标签数据以及无标签数据进行半监督学习得到的模型。需要说明的是，有标签数据指的是具备标签的图片数据，无标签数据指的是不具备标签的图片数据。标签用于确定图片的合规性，也即用于指示图片数据的违规情况。本实施例中，标签所指示的违规情况包括：违规、违规的具体类别、或者不违规。

终端获取第一图片，第一图片是当前需要识别违规情况的图片。第一图片可由用户上传。终端将待识别的第一图片输入至识别模型，得到识别模型的输出结果。终端基于输出结果即可确定第一图片的合规性。具体的，输出结果包括违规、违规的具体类别、以及不违规三种结果，若是输出结果是违规或者违规的具体类别，则第一图片是违规图片；若输出结果是不违规，则第一图片是合规图片。

识别模型是多个监督模型以及多个半监督模型训练得到的。而监督模型以及半监督模型对第一图片都具备识别能力，终端可以得到多个识别结果，基于每个监督模型以及每个半监督模型对多个识别结果进行投票，终端综合各个监督模型以及各个半监督模型的投票即可得到最终的输出结果。

在本实施例中，多个相互独立的监督模型和多个相互独立的半监督模型可以训练出用于识别违规图像的识别模块，克服了单一训练模型泛化能力弱的问题，从而显著地提高了识别模型对违规图片的识别准确性，违规图片的识别精度较高。

参照图3，图3为本公开违规图片的识别方法另一实施例的流程示意图，基于图2所示的实施例，步骤S201之前，还包括：

步骤S202，通过样本数据池中的样本数据对多个监督模型以及多个半监督模型进行训练，以获得识别模型；其中，样本数据包括：在真实的违规图片识别业务中所出现的第一无标签数据，以及，从公共图片资源池中所收集的第二无标签数据。

在本实施例中，多个监督模型以及多个半监督模型是通过样本数据池中的样本数据训练得到的。样本数据包括第一无标签数据以及第二无标签数据。第一无标签数据是真实的违规图片识别业务中所出现的数据。第二无标签数据是公共图片资源数据池中所收集的数据。公共图片资源数据池中的数据是线上随机获取得到的，公共图片资源数据池中的第二无标签数据会定时进行更新。

第一无标签数据是定向获取的数据，通过关键词搜索、关键字关联搜索以及图片从文本、图片以及视频中搜索，且第一无标签数据大部分是违规图片，仅有少了是不违规图片，不违规图片是因为搜索不准确而造成的。此外，第一无标签数据中有较多的难例数据，难例数据指的是监督模型难以分类的数据，也即监督模型难以识别图片是否为合规图片。监督模型通过对难例数据的学习，能够提高监督模型的识别能力。

公共图片资源池中的第二无标签数据是随机获取的，且会进行多次随机获取，因而第二无标签数据是海量的，第二无标签数据主要是为了让识别模型识别到更多的线上数据，且可使得识别模型的学习域的范围能够匹配线上数据的分布范围，也即提高了识别模型的识别范围。

为保证速度和准确率之间的平衡，对监督模型进行训练时，输入监督模型的图片会先进行分辨率大小的缩放，具体缩放尺度依据实际任务需求进行，通常默认为224像素×224像素。图片输入监督模型的网络前通常需要对数据进行归一化操作，从而保证模型训练过程中的数据分布一致。对此，可对样本数据池中的所有样本数据进行图像预处理，图像预处理包括缩放操作以及数据归一化，从而直接采用样本数据池中的样本数据对监督模型以及半监督模型进行训练。

在本实施例中，通过样本数据池中的第一无标签数据以及线上随机获取的第二无标签数据，对多个监督模型以及半监督模型进行训练，得到识别精度较高的识别模型。

参照图4，图4是本公开违规图片的识别方法又一实施例的流程示意图，基于图3所示的实施例，步骤S202之前，还包括：

步骤S203，通过冷启动数据池中的样本数据对多个监督模型以及多个半监督模型进行预训练，以使相应的多个监督模型以及相应的多个半监督模型具备标签预测能力；其中，冷启动数据池中样本数据是由人工标注的第一有标签数据，第一有标签数据的样本数量小于预设数量。

在本实施例中，冷启动数据池中包括多个样本数据，冷启动数据池中的样本数据是有人工标注的有标签数据，定义为第一有标签数据。第一有标签数据是少量，也即第一有标签数据的样本数量小于预设数量，预设数量为一个较小的数值，例如，预设数量为500。

第一有标签数据用于训练多个监督模型以及多个半监督模型，从而使得多个监督模型以及多个半监督模型具有标签预测能力。标签预测能力指的是，监督模型以及半监督模型对无标签数据所应归属的标签类别作出预测。

一示例中，监督模型以及半监督模型可以设置默认的初始训练参数，再采用第一有标签数据进行训练。

在另一示例中，将监督模型以及半监督模型的初始训练参数设置为自监督学习得到训练参数。自监督学习是利用辅助任务从大规模的无监督数据中获取监督信息，辅助任务包括图像选择、图像着色等，而监督信息指的是图像与经过辅助任务处理后的图像之间的关系，例如，图像A旋转90度后得到图像B，A、B两个图像之间是一个没有旋转、一个旋转90度，监督信息为图像A未旋转以及图像B相对图像A旋转90度。基于监督信息的自监督学习，可以使得监督模型以及半监督模型预测两个图像分别旋转多少度。采用监督信息对监督模型以及半监督的网络进行训练，可以使得监督模型以及半监督模型学习到有价值的数据。

在又一示例中，可以采用真实违规业务中的数据训练基础模型，且基础模型要通过监督信息进行自监督学习，学习完成后将基础模型的训练参数作为监督模型以及半监督模型的初始训练参数，以进一步提高监督模型以及半监督模型的识别精度以及泛化能力。其中，基础模型经真实违规业务中的数据训练包括如下步骤：

1、对真实违规业务中的数据的第三样本图片进行处理，得到第四样本图片以及辅助信息(辅助信息即为上述的监督信息)，相应的处理方式包括旋转、缩放和/或着色，辅助信息是第三样本图片与第四样本图片之间的关系；

2、通过第三样本图片、第四样本图片、辅助信息训练基础模型。

在本实施例中，通过人工标注的少量第一有标签数据训练得到多个具有标签预测能力的监督模型以及半监督模型，从而使得多个半监督模型以及多个监督模型基于训练所获得的标签预测能力进行学习，为识别精度高的识别模型的训练打好基础。

参照图5，图5为本公开违规图片的识别方法再一实施例的流程示意图，基于图4所示的实施例，步骤S203包括：

步骤S501，为第一无标签数据添加标签。

在本实施例中，在多个监督模型进行训练的过程中，会对第一无标签数据进行打标，也即为第一无标签数据添加标签。第一无标签数据大部分是违规图片，第一无标签数据所添加的标签用于表征第一无标签数据是违规图片。

在一示例中，第一无标签数据添加标签步骤具体如下：

1、将第一无标签数据输入多个监督模型，以获得各个监督模型对于第一无标签数据中第一样本图片所应归属的违规类别的第一概率预测值。

多个监督模型的网络结构不同，且网络结构差异越大则最终得到的识别模型的识别精度会更高。监督模型经过第一有标签数据的训练，得到了标签预测能力。第一无标签数据中的样本图片定义为第一样本图片，概率预测值定义为第一预测概率值。违规类别例如为血腥图片、枪支图片等类型。例如，监督模型A对样本图片a预测结果是血腥图片的概率预测值是95％、监督模型B对样本图片a的预测结果是枪支图片的概率预测值是90％。

2、响应于监督模型对于第一样本图片所应归属的违规类别的第一概率预测值大于预设的第一概率阈值，为第一样本图片添加监督模型所判定的第一违规类别标签。

每个监督模型中设置有第一概率阈值。若是监督模型A对第一样本图片的第一概率预测值大于监督模型A所设置的第一概率阈值，则监督模型A认为第一样本图片所属的第一无标签图片应该打上标签。监督模型的网络结构不同，因而不同监督模型所设置的第一概率阈值是不同的。

终端确定各个待打标的第一样本图片，待打标的第一样本图片归属的违规类别的第一概率预测值是大于第一概率阈值的。终端为这些样本图片添加监督模型所判断的第一违规类别标签。例如，监督模型A对第一样本图片a的预测结果是：血腥图片的第一概率预测值是95％、枪支图片的第一概率预测值是80％，监督模型A所设置的第一概率阈值是90％，则监督模型A为第一样本图片a添加血腥标签。

3、基于投票机制从各个监督模型所判定的第一违规类别标签中确定第一样本图片的第一预测标签，并为第一样本图片所属的第一无标签数据添加第一预测标签，得到第二有标签数据。

不同监督模型对第一样本图片添加有不同的第一违规类别标签，则可基于投票机制从第一样本图片的各个第一违规类别标签中确定第一样本图片的第一预测标签。例如，有五个监督模型，监督模型A、B以及C对第一样本图片添加的是血腥标签，监督模型D以及E对第一样本图片添加的是枪支标签，基于投票机制的少数服从多数原则，第一预测标签为血腥标签。终端为第一样本图片所属的第一无标签数据添加第一预测标签，即可得到第二有标签数据。

在另一实例中，为第一无标签数据添加标签包括以下流程：

1、将第一无标签数据输入多个监督模型，以获得各个监督模型对第一无标签数据中第一样本图片的第一概率预测值。

每个监督模型对第一无标签数据进行预测，得到每个监督模型对第一概率预测值。每个监督模型设置有不同的第一概率阈值。

2、确定大于监督模型所设置的第一概率阈值的第一概率预测值的第一数量。

监督模型有多个，每个监督模型均对第一样本图片进行预测，使得第一样本图片具有多个第一概率预测值。终端确定大于第一概率阈值的第一概率预测值的数量。例如，监督模型A设置的第一概率阈值是90％、监督模型B设置的第一概率阈值是85％、监督模型C设置的第一概率阈值是92％、监督模型D设置的第一概率阈值是87％、监督模型E设置的第一概率阈值是98％；监督模型A对第一样本图片的第一概率预测值是95％、监督模型B对第一样本图片的第一概率预测值是92％、监督模型C对第一样本图片的第一概率预测值是88％、监督模型D对第一样本图片的第一概率预测值是93％、监督模型E对第一样本图片的第一概率预测值是99％，则监督模型A所对应的第一概率预测值95％大于第一概率阈值90％、监督模型B所对应的第一概率预测值92％大于第一概率阈值85％、则监督模型C所对应的第一概率预测值88％小于第一概率阈值92％、监督模型D所对应的第一概率预测值93％大于第一概率阈值87％、监督模型E所对应的第一概率预测值99％大于第一概率阈值98％，则第一数量是4个。

3、确定第一数量与监督模型的总数量之间的第一比值。

4、响应于第一比值大于第一预设比值，为第一样本图片所属的第一无标签数据添加第一预测标签，得到第二有标签数据。

终端计算第一比值与监督模型的总数量之间的第一比值，若是第一比值大于第一预设比值，则第一样本图片是违规图片，终端则为第一样本图片所属的第一无标签数据打上第一预测标签得到第二有标签数据。第一预测标签指的是违规图片的标签。第一预设比值可为任意合适的数值，例如，第一预设比值为0.5。

步骤S502，为第二无标签数据添加标签。

在对第一无标签数据添加标签后，为了提高识别模型对线上数据的识别能力，需要对第二无标签数据进行打标签。第二无标签数据的打标可以包括：为第一部分的第二无标签数据添加正样本的标签以及为第二部分的多个第二无标签数据添加负样本的标签。本实施例中，将需要添加正样本的标签的各个第二无标签数据定义为第一部分的第二无标签数据，公共图片资源池中剩下的第二无标签数据则定义为第二部分的无标签数据。

需要说明的是，第一无标签数据打标后，多个监督模型会通过打标的第一无标签数据进行训练，而打标的第一无标签数据是正样本，使得训练后多个监督模型具备正样本数据的识别能力，而缺乏具备负样本数据的识别能力。因而第二无标签数据的正样本的标签通过多个监督模型添加，而第二无标签数据的负样本的标签通过多个半监督模型添加。

在本实施例中，通过对第一无标签数据以及第二无标签数据添加标签，为识别精度较高的识别模型的训练提供了海量的样本数据。

在一实施例中，为第一部分的第二无标签数据添加正样本的标签，包括：

1、将第二无标签数据输入多个监督模型，以获得各个监督模型对于第二无标签数据中第二样本图片所应归属的违规类别的第二概率预测值。

在本实施例中，第二无标签数据的数量是海量的，存在大量的违规图片。可以从第二无标签数据中得到作为样本数据的违规图片。

监督模型经过第一有标签数据的训练，得到了标签预测能力。将无标签数据输入分别输入多个监督模型，得到每个监督模型对第二无标签数据中第二样本图片所属的违规类别的第二概率值。违规类别例如为血腥图片、枪支图片等类型。例如，监督模型A对样本图片A的预测结果是血腥图片的概率预测值是95％、监督模型B对样本图片A的预测结果是枪支图片的概率预测值是90％。

2、响应于监督模型对于第二样本图片所应归属的违规类别的第二概率预测值大于预设的第二概率阈值且小于预设的第三概率阈值，为第二样本图片添加监督模型所判定的第二违规类别标签。

由于线上数据是源源不断地，因此从线上的随机数据(第二无标签数据)中会存在很多简单样例(即监督模型对数据的预测得分很高)，这部分简单样例对于模型性能地提升增益几乎为0，因此需要将这一部分(高分)的数据进行剔除，所以需要选择设置两个阈值。对此，每个监督模型中设置有第二概率阈值以及第三概率阈值，第三概率阈值大于第二概率阈值。监督模型不同，监督模型设置的二概率阈值不同，且设置的第三概率阈值不同。

而在自定义数据(第一无标签数据中)中，由于是定向挖掘的，因此获得数据是相对比较难以分类的，且挖掘这部分数据量也不会很多，因此这部分数据只需要设置一个阈值就可以了，也即对于第一无标签数据的打标，监督模型仅需设置第一概率阈值。

若是监督模型A对第二样本图片的第二概率预测值大于监督模型A所设置的第二概率阈值且小于第三概率阈值，则监督模型A认为第二样本图片所属的第二无标签图片应该打上标签。

终端确定各个待打标的第二样本图片，待打标的第二样本图片归属的违规类别的第二概率预测值是大于第二概率阈值且小于第三概率阈值的。例如，监督模型设置违规类别为枪支的第二概率阈值是90％，第三概率阈值是95％，若是某张图片预测出是枪支图片的概率是92％，92％大于第二概率阈值90％且小于第三概率阈值95％，则该图片是待打标的第二样本图片。终端为这些样本图片添加监督模型所判断的第二违规类别标签。例如，监督模型A对第二样本图片A的预测结果是血腥图片的第二概率预测值是95％，且监督模型A所设置的第二概率阈值是90％、第三概率阈值是98％，则监督模型A为第二样本图片A添加血腥标签。

3、基于投票机制从各个监督模型所判定的第二违规类别标签中确定出相应样本图片的第二预测标签，并为第二样本图片所属的第二无标签数据添加第二预测标签，第二预设标签是正样本的标签。正样本标签的图片指的是违规图片，而负样本标签图片指的是合规图片。

不同监督模型对第二样本图片添加有不同的第二违规类别标签，则可基于投票机制从第二样本图片的各个第二违规类别标签中确定第二样本图片的第二预测标签。例如，有五个监督模型，监督模型A、B以及C对第二样本图片添加的是血腥标签，监督模型D以及E对第二样本图片添加的是枪支标签，基于投票机制的少数服从多数原则，第二预测标签为血腥标签。终端为第二样本图片所属的第二无标签数据添加第二预测标签，即可得到第二有标签数据。在本实施例中，第二预测标签是正样本的标签。

在本实施例中，终端通过多个监督模型对第二无标签数据进行打标，得到识别模型训练所需的正样本的样本数据。

在一实施例中，为第一部分的第二无标签数据添加正样本的标签，包括：

1、将第二无标签数据输入多个监督模型，以获得各个监督模型对第二无标签数据中第二样本图片的第二概率预测值。

每个监督模型对第二无标签数据进行预测，得到每个监督模型对第二概率预测值。每个监督模型设置有不同的第二概率阈值，以及不同的第三概率值。

2、确定大于监督模型所设置的第二概率阈值且小于第三概率阈值的第二概率阈值的第二数量。

监督模型有多个，每个监督模型均对第二样本图片进行预测，使得第二样本图片具有多个第二概率预测值。终端确定大于第二概率阈值且小于第三概率阈值的第二概率预测值的数量。例如，监督模型A设置的第二概率阈值以及第三概率阈值分别是90％以及95％、监督模型B设置的第二概率阈值以及第三概率阈值分别是85％以及90％、监督模型C设置的第二概率阈值以及第三概率阈值分别是92％以及96％、监督模型D设置的第二概率阈值以及第三概率阈值是87％以及95％、监督模型E设置的第二概率阈值是以及第三概率阈值95％以及98％；监督模型A对第二样本图片的第二概率预测值是93％、监督模型B对第二样本图片的第二概率预测值是92％、监督模型C对第二样本图片的第二概率预测值是88％、监督模型D对第二样本图片的第二概率预测值是93％、监督模型E对第二样本图片的第二概率预测值是99％，则监督模型A所对应的第一概率预测值93％大于第二概率阈值90％且小于第三概率阈值95％、监督模型B所对应的第二概率预测值92％大于第三概率阈值90％、则监督模型C所对应的第二概率预测值88％小于第二概率阈值92％、监督模型D所对应的第二概率预测值93％大于第二概率阈值87％且小于第三概率阈值95％、监督模型E所对应的第二概率预测值99％大于第三概率阈值98％，则第二数量是3个。

3、确定第二数量与监督模型的总数量之间的第二比值。

4、响应于第二比值大于第二预设比值，为第二样本图片所属的第二无标签数据添加第一预测标签，得到第二有标签数据。

终端计算第二比值与监督模型的总数量之间的第二比值，若是第二比值大于第二预设比值，则第二样本图片是违规图片，终端则为第二样本图片所属的第二无标签数据打上第一预测标签得到第二有标签数据。第一预测标签指的是违规图片的标签。

在本实施例中，终端通过多个监督模型对第二无标签数据进行打标，得到识别模型训练所需的正样本的样本数据。

在一实施例中，为第二部分的多个第二无标签数据添加负样本的标签，包括：

根据各个第二有标签数据对多个监督模型重新进行训练。

在本实施例中，在为第一无标签数据添加标签以及为第一部分的第二无标签数据添加正样本的标签后，得到第二有标签数据，通过第二有标签数据对监督模型重新训练，得到泛化能力提升的各个监督模型。

终端中设置有停止训练条件，停止训练条件例如为多个监督模型的训练次数达到设定次数、或者各个监督模型的训练参数均不再继续收敛。

需要说明的是，多个监督模型在每一轮对第一无标签数据进行打标后，需要确定各个监督模型对线上随机数据的识别是否存在误差，也即采用监督模型对部分第二无标签数据进行识别，若是识别正确的第二无标签数据的数量大于设定数量，多个监督模型采用打标的第一无标签数据进行下一轮的训练。若是识别正确的第二无标签数据的数量小于或等于设定数量，则多个监督模型需要对第二无标签数据添加标签，在下一轮训练时，通过打标的第一无标签数据以及第二无标签数据进行训练，从而弥补监督模型对线上数据识别精度低的问题。此外，在倒数第二轮监督模型为第一无标签数据打标后，监督模型需对第二无标签数据添加标签，最后通过打标的第一无标签数据以及第二无标签数据训练得到最后的监督模型。可以理解的是，在倒数第二轮训练之前的每一轮训练中，若是监督模型出现对线上数据识别精度低的问题，则需要对第二无标签数据添加标签以进行监督模型的下一轮训练。

响应于多个监督模型满足停止训练条件，为部分的第二无标签数据添加负样本的标签。

在当多个监督模型满足停止训练条件时，为第二部分的多个第二无标签数据添加负样本的标签。响应于多个监督模型不满足停止训练条件，则返回执行为第一无标签数据添加标签的步骤，也即多个监督模型进行新一轮的训练。

具体的，第二无标签数据添加负样本的标签的流程如下：

1、将第二无标签数据输入多个监督模型，获得出现误判的第三无标签数据。

监督模型对第一无标签数据进行打标，主要是为了完成了正样本的挑选。但是在监督模型训练过程中，需要负样本参与训练。但由于第一无标签数据是基于违规图片的特征定向获取的。定向获取的图片可能不准确，可能会存在合规图片，但第一无标签数据还是以正样本(违规图片是正样本)为主。因此，从各个第一无标签数据中能够挖掘出的负样本数量较少。若监督模型直接从公共资源数据池上挖掘负样本，监督模型可能会对某一种类型图片产生误判，且监督模型对某一类型的误判分数较高，监督模型难以直接通过阈值从各个第二无标签数据中获得大量负样本。对此，在本实施例中，通过半监督模型的半监督学习，这一类型的误判样本进行学习，使得半监督模型“将错就错”的学习到对该类型样本的误判能力。半监督模型通过学习到的误判能力从第二无标签数据中挑选出误判样本以作为负样本，也即半监督模型能够从海量的第二无标签数据中获取大量的负样本，降低了足够数量的负样本的获取难度，从而可以通过足够数量的负样本训练监督模型，进而提高了由监督模型得到的识别模型的识别精度。

在通过监督学习，也即多个监督模型完成迭代训练后，各个监督模型具有对违规图片识别精度加高的能力。但是监督模型还是存在识别错误的问题，也即会将不是违规的图片确认为违规图片的情况。终端将多个第二无标签数据输入至多个监督模型，得到具有识别结果的第二无标签数据，人工对各个具有识别结果的第二无标签数据进行复核，从而获得识别不准确的第二无标签数据，识别不准确的第二无标签数据即为出现识别错误的第三无标签数据。第三无标签数据是具有价值的无标签数据。例如，监督模型将火锅图片(不违规图片)识别为轮盘图片(违规图片)。

2、采用各个半监督模型对各个第三无标签数据以及第二有标签数据进行半监督学习，得到具有误判能力的半监督模型

终端采用各个半监督模型对第三无标签数据以及第二有标签数据进行半监督学习，从而使得半监督模型学习到误判能力。例如，第三无标签数据本身是火锅图片，第三无标签数据被监督模型识别为轮盘图片，半监督模型学习到的误判能力则指的是将火锅图片误判为轮盘图片的能力。

需要说的是，半监督模型可以进行多次半监督学习，从而使得半监督模型得到很准确的误判能力。例如，能够将98％的火锅图片误判为轮盘图片。

3、将第二无标签数据输入，第三无标签数据所属违规类别出现误判的半监督模型，获得半监督模型对出现误判第二无标签数据中第二样本图片所应归属的违规类别的第三概率预测值。

在半监督模型学习到误判能力后，将第二无标签数据输入至半监督模型中，从而获取到出现误判的第二无标签数据，以及出现误判的第二无标签数据的第三概率预测值。

4、对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签。

半监督模型设置有第四概率阈值，且第四概率阈值较大，例如，第四概率阈值为99％。半监督模型对第二无标签数据进行预测得到第二无标签数据的第三概率预测值，若是第三概率预测值对大于预设的第四概率阈值，则半监督模型对该二无标签数据添加负样本的标签。

终端通过添加标签的第一无标签数据、添加正样本标签的第二无标签数据以及添加负样本标签的第二无标签数据对多个监督模型进行训练得到识别模型。

可以理解的是，利用监督模型对某一类图片的识别错误，使得半监督模型学习到对这类图片的误判能力，再利用半监督误判能力以及较高的第四概率阈值从海量的第二无标签数据筛选出这一类图片作为负样本，再通过负样本的数据以及第二有标签数据对监督模型进行训练，从而消除监督模型对这类图片的误判，提高了监督模型对图片的识别准确性。这种策略即为将错就错策略。

在一实施例中，根据各个第二有标签数据对多个监督模型重新进行训练，包括：

通过置信学习算法对第二有标签数据中的噪声数据进行过滤，并基于过滤后所剩余的第二有标签数据对多个监督模型重新进行训练。

在本实施例中，在多个监督模型得到第二有标签数据后，需要对第二标签数据进行噪声剔除，也即剔除识别错误的第二有标签数据。

终端通过置信学习算法对第二有标签数据的噪声数据进行过滤，并基于过滤后的剩余的第二有标签数据对多个监督模型重新进行训练，从而训练得到识别精度提高的监督模型。

具体的，通过置信学习算法对第二有标签数据中的噪声数据进行过滤，并基于过滤后所剩余的第二有标签数据对多个监督模型重新进行训练的包括：

1、确定第二有标签数据中的噪声标签与真实标签，并基于噪声标签与真实标签之间的联合分布，确定第二有标签数据中的噪声数据，噪声数据为被监督模型所错误标注的样本数据。

终端确定第二有标签数据中的噪声标签与真实标签，一个第二有标签数据有多个噪声标签。终端确定每个噪声标签与真实标签之间的差异值，各个差异值在坐标系中进行描点，即可构成联合分布。若是绝大部分的差异值位于一个面积较小的区域(坐标系中的区域)，则第二有标签数据不是噪声数据。若是各个差异值分散在坐标系内，而不是集中在一个面积较小的区域内，则第二有标签数据是噪声数据。

在一示例中，终端可以将多个第二有标签数据分成K份，先分别对K-1份以及1份的第二有标签数据进行预测，则每个第二有标签数据得到一个噪声标签；再分别对K-2份以及2份的第二有标签数据进行预测，则每个第二有标签数据得到一个噪声标签：按照此方式，直至分别进行1份以及K-1份第二有标签数据的预测，每个第二有标签数据得到最后一个噪声标签。上述噪声标签的获取只是为了便于说明，在实际过程中，K-1份和1份、K-2份和2份、……1份和K-1份的第二有标签数据是同时进行预测的。例如，将多个第二有标签数据分成序号分别为1、2、3的三份第二有标签数据，进行序号1和2的第二有标签数据的预测、以及序号为3的第二有标签数据的预测；在进行序号2和3的第二有标签数据的预测、以及序号为1的第二有标签数据的预测。

2、滤除第二有标签数据中的噪声数据，并基于剩余的第二有标签数据对多个监督模型重新进行训练。

终端滤除噪声数据，即可基于剩余的第二有标签数据对多个监督模型重新进行训练。

需要说明的是，终端可以从所有第二有标签数据中提取部分第二有标签数据，对提取的第二有标签数据进行识别，若是正确识别的第二有标签的数量与提取的第二有标签数据的比值大于设定的比值，即可确定监督模型对第二有标签数据的识别准确率高于设定准确率，则无需进行置信学习；若是比值小于或等于设定的比值，即可确定监督模型对第二有标签数据的识别准确率低于设定准确率，则需要进行置信学习。

在本实施例中，通过置信学习从第二有标签数据中剔除噪声数据，从而提高监督模型的识别精度，进而提升识别模型对违规图片的识别精度。

在一实施例中，对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签的步骤之后，还包括：

1、通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对多个监督模型进行训练。

在本实施例中，在得到添加负样本标签的第二无标签数据后，终端通过各个第二有标签数据以及负样本标签的第二无标签数据对各个监督模型进行训练，从而消除监督模型对某一类图片的误判。

2、将第二无标签数据输入，训练后的多个监督模型，获得各个监督模型对于第二无标签数据中第二样本图片所应归属的违规类别的第五概率预测值。

公共图片资源池中经过多个监督模型以及多个半监督模型的挖掘，剩下的第二无标签数据是较难分类的数据。此时，可以采用主动学习的思路，利用模型获取到较难分类的第二无标签数据进行人工标注，再利用人工标注的第二无标签数据进行学习，进一步提高模型的识别精度以及泛化能力。

对此，将公共图片资源池中剩余的第二无标签数据输入至训练后的多个监督模型，此时的监督模型指的是消除一类或多类图片误判之后的监督模型。终端可以得到多个监督模型对各个第二无标签数据中第二样本所属违规类别的第五概率预测值。

3、获取位于预设概率区间的第五概率预测值的第二无标签数据，以进行标签的人工标注。

终端中设置有预设概率区间，位于预设概率区间的第五概率预测值的第二无标签数据即为难以分类的数据。预设概率区间可以为任意合适的区间，例如，预设概率区间可以是[0.3，0.8]。这些筛选出来的第二无标签数据可进行人工标注。

4、通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、添加负样本的标签的第二无标签数据以及人工标签的第二无标签数据，对训练后的多个监督模型重新进行训练，得到识别模型。

终端通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、添加负样本的标签的第二无标签数据以及人工标注的第二无标签数据，对训练后的多个监督模型重新进行训练，即可得到识别精度高的识别模型。

基于上述实施例，本公开提供的违规图片的识别方法具有如下有益效果：

1、多个相互独立的监督模型和多个相互独立的半监督模型可以训练出用于识别违规图像的识别模块，克服了单一训练模型泛化能力弱的问题，从而显著地提高了识别模型对违规图片的识别准确性，违规图片的识别精度较高。

2、通过定向获取的第一无标签数据对监督模型的训练能够，提高识别模型对违规图片的识别能力，且通过随机获取的第二无标签数据对监督模型的训练，能够提高识别模型的识别范围。

3、通过少量的人工标注的数据对多个半监督模型以及多个监督模型的预训练，使得多个半监督模型以及多个监督模型对无标签数据具有一定的标签预测能力，进而训练出具有良好识别能力的识别模型，也即通过少量的人工标签数据即可训练得到具有良好识别能力的识别模型，降低了识别模型的人工标注成本。

4、多个监督模型以及多个半监督模型的初始训练参数是基础模型训练后的参数，基础模型是真实违规业务场景中的数据训练得到的，提高了多个监督模型以及多个半监督模型对真实违规业务场景中违规图片的识别精度。

5、在多个监督模型得到各个有标签数据后，通过置信学习从有标签数据中剔除识别错误的数据，也即剔除噪声数据，再利用剔除噪声数据后的各个有标签数据对多个监督模型进行训练，从而得到识别精度更高的监督模型。

6、在多个监督模型具有良好的识别能力后，通过多个半监督模型的半监督学习为监督模型提供负样本，使得多个监督模型基于负样本消除对一类或者多类图片的物品，提高了由监督模型以及半监督模型训练得到的识别模型的识别精度以及泛化能力。

7、在监督模型基于负样本进行训练后，训练后的监督模型从剩余的第二无标签数据中获取难以识别的无标签数据进行人工标注，再利用人工标注的无标签数据进行监督模型的训练，提高了识别模型对难以分类的图片的识别能力。

示例性介质

在介绍了本公开示例性实施方式的方法之后，接下来，参考图6对本公开示例性实施方式的存储介质进行说明。

参考图6所示，存储介质60中存储着根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括计算机执行指令，该计算机执行指令用于使计算设备执行本公开所提供的违规图片的识别方法。然而，本公开的程序产品不限于此。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机执行指令。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开公开操作的计算机执行指令，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。计算机执行指令可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备。

示例性装置

在介绍了本公开示例性实施方式的介质之后，接下来，参考图7对本公开示例性实施方式的违规图片的识别装置进行说明，用于实现上述任一方法实施例中的方法，其实现原理和技术效果类似，在此不再赘述。

参考图7，图7示意性地示出了根据本公开实施例提供的违规图片的识别装置的结构示意图。如图7所示，违规图片的识别装置包括：

输入模块701，用于将待识别的第一图片输入至识别模型，以基于识别模型的输出结果确定第一图片的合规性；其中，识别模型包括多个相互独立的监督模型，以及多个相互独立的半监督模型；识别模型是通过对多个监督模型以及多个半监督模型进行训练而获得的。

在本公开的一个实施例中，违规图片的识别装置包括：

训练模块702，用于通过样本数据池中的样本数据对多个监督模型以及多个半监督模型进行训练，以获得识别模型；其中，样本数据包括：在真实的违规图片识别业务中所出现的第一无标签数据，以及，从公共图片资源池中所收集的第二无标签数据。

在本公开的另一个实施例中，违规图片的识别装置包括：

训练模块702，还用于通过冷启动数据池中的样本数据对多个监督模型以及多个半监督模型进行预训练，以使相应的多个监督模型以及相应的多个半监督模型具备标签预测能力；其中，冷启动数据池中样本数据是由人工标注的第一有标签数据，第一有标签数据的样本数量小于预设数量。

在本公开的另一个实施例中，违规图片的识别装置包括：

添加模块703，用于为第一无标签数据添加标签；

添加模块703，还用于为第二无标签数据添加标签。

在本公开的另一个实施例中，违规图片的识别装置包括：

输入模块701，用于将第一无标签数据输入多个监督模型，以获得各个监督模型对于第一无标签数据中第一样本图片所应归属的违规类别的第一概率预测值；

添加模块703，还用于响应于监督模型对于第一样本图片所应归属的违规类别的第一概率预测值大于预设的第一概率阈值，为第一样本图片添加监督模型所判定的第一违规类别标签；

确定模块704，用于基于投票机制从各个监督模型所判定的第一违规类别标签中确定第一样本图片的第一预测标签，并为第一样本图片所属的第一无标签数据添加第一预测标签，得到第二有标签数据。

在本公开的另一个实施例中，违规图片的识别装置包括：

添加模块703，还用于为第一部分的第二无标签数据添加正样本的标签；

添加模块703，还用于为第二部分的多个第二无标签数据添加负样本的标签。

在本公开的另一个实施例中，违规图片的识别装置包括：

输入模块701，还用于将第二无标签数据输入多个监督模型，以获得各个监督模型对于第二无标签数据中第二样本图片所应归属的违规类别的第二概率预测值；

添加模块703，还用于响应于监督模型对于第二样本图片所应归属的违规类别的第二概率预测值大于预设的第二概率阈值且小于预设的第三概率阈值，为第二样本图片添加监督模型所判定的第二违规类别标签；

确定模块704，还用于基于投票机制从各个监督模型所判定的第二违规类别标签中确定出相应样本图片的第二预测标签，并为第二样本图片所属的第二无标签数据添加第二预测标签，第二预设标签是正样本的标签。

在本公开的另一个实施例中，违规图片的识别装置包括：

训练模块702，还用于根据各个第二有标签数据对多个监督模型重新进行训练；

添加模块703，还用于响应于多个监督模型满足停止训练条件，为第二部分的多个第二无标签数据添加负样本的标签。

执行模块705，用于响应于多个监督模型不满足停止训练条件，返回执行为第一无标签数据添加标签的步骤。

在本公开的另一个实施例中，违规图片的识别装置包括：

过滤模块706，用于通过置信学习算法对第二有标签数据中的噪声数据进行过滤，并基于过滤后所剩余的第二有标签数据对多个监督模型重新进行训练。

在本公开的另一个实施例中，违规图片的识别装置包括：

确定模块704，还用于确定第二有标签数据中的噪声标签与真实标签，并基于噪声标签与真实标签之间的联合分布，确定第二有标签数据中的噪声数据，噪声数据为被监督模型所错误标注的样本数据；

过滤模块706，还用于滤除第二有标签数据中的噪声数据，并基于剩余的第二有标签数据对多个监督模型重新进行训练。

在本公开的另一个实施例中，违规图片的识别装置包括：违规图片的识别装置内的各个监督模型预设的第一概率阈值不同、各个监督模型预设的第二概率阈值不同、且各个监督模型预设的第三概率阈值不同。

在本公开的另一个实施例中，违规图片的识别装置包括：

输入模块701，还用于将第二无标签数据输入多个监督模型，获得出现误判的第三无标签数据；

学习模块707，用于采用各个半监督模型对各个第三无标签数据以及第二有标签数据进行半监督学习，得到第三无标签数据所属违规类别出现误判的半监督模型；

输入模块701，还用于将第二无标签数据输入，第三无标签数据所属违规类别出现误判的半监督模型，获得半监督模型对出现误判第二无标签数据中第二样本图片所应归属的违规类别的第三概率预测值；

添加模块703，用于对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签。

在本公开的另一个实施例中，违规图片的识别装置包括：

添加模块703，还用于通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对多个监督模型进行训练，得到识别模型。

在本公开的另一个实施例中，违规图片的识别装置包括：

添加模块703，还用于通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对多个监督模型进行训练；

输入模块701，还用于将第二无标签数据输入，训练后的多个监督模型，获得各个监督模型对于第二无标签数据中第二样本图片所应归属的违规类别的第五概率预测值；

获取模块708，用于获取位于预设概率区间的第五概率预测值的第二无标签数据，以进行标签的人工标注；

添加模块703，还用于通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、添加负样本的标签的第二无标签数据以及人工标签的第二无标签数据，对训练后的多个监督模型重新进行训练，得到识别模型。

在本公开的另一个实施例中，第一无标签数据是从文本、图像以及视频中获得的。

在本公开的另一个实施例中，违规图片的识别装置内的监督模型以及半监督模型的初始训练参数，是基础模型经真实违规业务中的数据训练完毕后的训练参数。

在本公开的另一个实施例中，违规图片的识别装置包括：

处理模块709，用于对真实违规业务中的数据的第三样本图片进行处理，得到第四样本图片以及辅助信息，处理包括旋转、缩放和/或着色，辅助信息是第三样本图片与第四样本图片之间的关系；

训练模块702，还用于通过第三样本图片、第四样本图片、辅助信息训练基础模型。

示例性计算设备

在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图8对本公开示例性实施方式的计算设备进行说明。

图8显示的计算设备80仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，计算设备80以通用计算设备的形式表现。计算设备80的组件可以包括但不限于：至少一个处理单元801、至少一个存储单元802，连接不同系统组件(包括处理单元801和存储单元802)的总线803。其中，至少一个存储单元802中存储有计算机执行指令；至少一个处理单元801包括处理器，处理器执行该计算机执行指令，以实现上文描述的方法。

总线803包括数据总线、控制总线和地址总线。

存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)8023。

存储单元802还可以包括具有一组(至少一个)程序模块8028的程序/实用工具8025，这样的程序模块8028包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备80也可以与一个或多个外部设备808(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了违规图片的识别装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种违规图片的识别方法，其特征在于，包括：

将待识别的第一图片输入至识别模型，以基于所述识别模型的输出结果确定所述第一图片的合规性；其中，所述识别模型包括多个相互独立的监督模型，以及多个相互独立的半监督模型；所述识别模型是通过对所述多个监督模型以及所述多个半监督模型进行训练而获得的。

2.根据权利要求1所述的违规图片的识别方法，其特征在于，所述识别模型是通过对所述多个监督模型以及所述多个半监督模型进行训练而获得的，包括：

通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，以获得所述识别模型；其中，所述样本数据包括：在真实的违规图片识别业务中所出现的第一无标签数据，以及，从公共图片资源池中所收集的第二无标签数据。

3.根据权利要求2所述的违规图片的识别方法，其特征在于，所述通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，以获得所述识别模型的步骤之前，还包括：

通过冷启动数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行预训练，以使相应的多个监督模型以及相应的多个半监督模型具备标签预测能力；其中，所述冷启动数据池中样本数据是由人工标注的第一有标签数据，所述第一有标签数据的样本数量小于预设数量。

4.根据权利要求3所述的违规图片的识别方法，其特征在于，所述通过样本数据池中的样本数据对所述多个监督模型以及所述多个半监督模型进行训练，还包括：

为所述第一无标签数据添加标签；以及，

为所述第二无标签数据添加标签。

5.根据权利要求4所述的违规图片的识别方法，其特征在于，所述为所述第二无标签数据添加标签，包括：

为第一部分的所述第二无标签数据添加正样本的标签；

为第二部分的多个所述第二无标签数据添加负样本的标签。

6.根据权利要求5所述的违规图片的识别方法，其特征在于，所述为第二部分的多个所述第二无标签数据添加负样本的标签，包括：

根据各个第二有标签数据对所述多个监督模型重新进行训练，所述第二有标签数据是添加标签的第一无标签数据；

响应于所述多个监督模型满足停止训练条件，为第二部分的多个所述第二无标签数据添加负样本的标签。

7.根据权利要求5所述的违规图片的识别方法，其特征在于，所述为第二部分的多个所述第二无标签数据添加负样本的标签，包括：

将所述第二无标签数据输入所述多个监督模型，获得出现误判的第三无标签数据；

采用各个所述半监督模型对各个所述第三无标签数据以及所述第二有标签数据进行半监督学习，得到所述第三无标签数据所属违规类别出现误判的半监督模型；

将所述第二无标签数据输入，所述第三无标签数据所属违规类别出现误判的半监督模型，获得所述半监督模型对出现误判所述第二无标签数据中第二样本图片所应归属的违规类别的第三概率预测值；

对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签。

8.根据权利要求5所述的违规图片的识别方法，其特征在于，所述对大于预设的第四概率阈值的第三概率预测值的第二无标签数据，添加负样本的标签的步骤之后，还包括：

通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、以及添加负样本的标签的第二无标签数据，对所述多个监督模型进行训练；

将所述第二无标签数据输入，训练后的所述多个监督模型，获得各个所述监督模型对于所述第二无标签数据中第二样本图片所应归属的违规类别的第五概率预测值；

获取位于预设概率区间的所述第五概率预测值的第二无标签数据，以进行标签的人工标注；

通过添加标签的第一无标签数据、添加正样本的标签的第二无标签数据、添加负样本的标签的第二无标签数据以及人工标签的第二无标签数据，对训练后的所述多个监督模型重新进行训练，得到识别模型。

9.一种介质，其特征在于，包括：计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的违规图片的识别方法。

10.一种计算设备，其特征在于，包括：

存储器以及处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至8任一项所述的违规图片的识别方法。

Images