CN114581732A

CN114581732A - 一种图像处理及模型训练方法、装置、设备和存储介质

Info

Publication number: CN114581732A
Application number: CN202210210668.3A
Authority: CN
Inventors: 龚琛婷; 谭啸; 孙昊
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2022-03-04
Filing date: 2022-03-04
Publication date: 2022-06-03

Abstract

本公开提供了一种图像处理及模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、3D视觉和深度学习技术领域。具体实现方案为：分别采用两个不同预训练模型对第一无标签数据进行检测，得到所述第一无标签数据对应的两组初始标注信息；根据所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签。能够提高为无标签数据确定的伪标签的精准性。

Description

一种图像处理及模型训练方法、装置、设备和存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、3D视觉和深度学习技术领域。

背景技术

随着人工智能技术的发展，半监督检测技术逐渐兴起，半监督检测技术是利用少量有标签数据和大量无标签数据对神经网络模型进行训练的技术，该技术可以避免大量高成本的标注工作。然而对于半监督检测技术，如何自动为无标签数据精准添加伪标签至关重要。

发明内容

本公开提供了一种图像处理及模型训练方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：

分别采用两个不同预训练模型对第一无标签数据进行检测，得到所述第一无标签数据对应的两组初始标注信息；

根据所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签。

根据本公开的另一方面，提供了一种模型训练方法，包括：

获取包含第二无标签数据和有标签数据的训练样本，以及所述第二无标签数据的伪标签；其中，所述第二无标签数据的伪标签采用本公开任一实施例所述图像处理方法得到；

根据所述训练样本和所述第二无标签数据的伪标签，对待训练模型进行训练。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的图像处理方法，和/或模型训练方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的图像处理方法，和/或模型训练方法。

本公开实施例的方案，给出了一种为无标签数据确定伪标签的新思路，极大的提高了伪标签确定的精准性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种图像处理方法的流程图；

图2是根据本公开实施例提供的一种图像处理方法的流程图；

图3是根据本公开实施例提供的一种图像处理方法的流程图；

图4是根据本公开实施例提供的一种图像处理方法的流程图；

图5是根据本公开实施例提供的一种模型训练方法的流程图；

图6是根据本公开实施例提供的模型训练的原理图；

图7是根据本公开实施例提供的一种图像处理装置的结构示意图；

图8是根据本公开实施例提供的一种模型训练装置的结构示意图；

图9是用来实现本公开实施例的图像处理方法和/或模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在介绍本公开实施例之前，先对现有技术为无标签数据添加伪标签的方式进行简单的介绍，现有技术通常采用一个预训练模型对无标签数据预测初始标注信息，然后直接将该初始标注信息中置信度高于置信度阈值的子标注信息作为无标签数据的伪标签。即现有技术仅考虑预测结果的置信度来为无标签数据添加伪标签，忽略了目标对象的类别信息预测的是否准确，可能会为无标签数据引入噪声伪标签，严重影响为无标签数据添加的伪标签的准确性。为了解决该问题，本公开实施例提供了一种通过两个不同的预训练模型来为无标签数据添加伪标签的方式，具体实现方式如下。

图1是根据本公开实施例提供的一种图像处理方法的流程图；本公开实施例适用于为无标签数据确定伪标签的情况。该方法可以由图像处理装置来执行，该装置可以采用软件和/或硬件的方式实现。如图1所示，本实施例提供的图像处理方法可以包括：

S101，分别采用两个不同预训练模型对第一无标签数据进行检测，得到第一无标签数据对应的两组初始标注信息。

其中，预训练模型可以是预先采用大量的有标签数据训练好的，能够实现目标检测任务的神经网络模型。可选的，该目标检测任务可以包括但不限于：检测目标对象的位置和目标对象的类别等。需要说明的是，本实施例需要使用两个不同的预训练模型，两个不同的预训练模型可以是模型的网络结构不同，也可以是网络结构相同但模型参数不同。对此不进行限定。

有标签数据可以是对采集的原始数据手动添加了真实检测结果标签(即真标签)的数据；无标签数据即为采集的原始数据，即没有为原始数据手动添加真标签。例如，若原始数据为采集的人脸图像数据，则无标签数据即为采集到的所有人脸图像数据，而有标签数据可以是人工预先对采集的人脸图像数据添加了真实的人脸区域标注和人脸身份标注后的图像数据。第一无标签数据为本实施例需要执行标签添加处理的无标签数据。初始标注信息可以是对无标签数据的检测结果进行标注的信息，可以包括但不限于：目标对象的标注框位置信息、目标对象属于各可选类别的概率分布信息和检测结果的置信度信息等。

可选的，在本实施例中，可以将第一无标签数据输入到第一预训练模型中，得到第一预测训练模型对第一无标签数据进行目标检测后输出的该第一无标签数据对应的第一组初始标注信息；将第一无标签数据输入到第二预训练模型中，得到第二预测训练模型对第一无标签数据进行目标检测后输出的该第一无标签数据对应的第二组初始标注信息。

需要说明的是，由于第一预测训练模型和第二预测训练模型是两个不同的预训练模型，所以得到的第一组初始标注信息和第二组初始标注信息，虽然标注项相同，但是具体的标注内容可能不完全相同。即得到的两组初始标注信息是不完全相同的。另外，由于第一无标签数据中包含的目标对象的个数可能是一个或多个，且两个预训练模型的检测结果也不可能完全准确，所以对于每一组初始标注信息，其中可能包含一个或多个目标对象对应的子标注信息。且两组初始标注信息中包含的子标注信息的数量可能相同，也可能不同。

S102，根据两组初始标注信息之间的相似度，确定第一无标签数据的伪标签。

其中，伪标签可以与真标签对应，即伪标签并非手动为采集数据添加真实标签，而是采用一定的方式，自动为采集数据添加与真标签较为近似的标签。

可选的，由于每组初始标注信息中都包含有一个或多个目标对象的子标注信息，所以本实施例根据两组初始标注信息之间的相似度，确定第一无标签数据的伪标签的一种可实现方式为：将第一组初始标注信息中的每一子标注信息，分别与第二组初始标注信息中的每一子标注信息进行相似度计算，并将两组初始标注信息之间相似度较高(如大于相似度阈值)的子标注信息作为第一无标签数据的伪标签。例如，若第一组初始标注信息中的子标注信息1与第二组初始标注信息中的子标注信息2之间的相似度大于相似度阈值，则将子标注信息1与子标注信息2作为第一无标签数据的伪标签。

另一种可实现方式为：在上述第一种可实现方式得到相似度较高的子标注信息后，对相似度较高的子标注信息进行进一步筛选(如置信度筛选和/或去重筛选等)后,并将筛选后的子标注信息作为第一无标签数据的伪标签。

可选的，在本实施例中，确定不同组的子标注信息的相似度时，可以为不同标注项设置不同的相似度权重值，如概率分布信息的相似度权重高于标注框位置信息的相似度权重。最终确定的子标注信息的相似度可以是各标注项对应的加权相似度值。

本公开实施例的方案，采用两个不同的预训练模型检测无标签数据的初始标注信息，并通过比较两组初始标注信息之间的相似度，来从两组初始标注信息中确定无标签数据的伪标签。相比于现有技术仅考虑预测结果的置信度来为无标签数据添加伪标签，本方案在为无标签数据添加伪标签的过程中考虑到了预测结果中的各标注项，很好的避免了噪声伪标签的引入，提高了伪标签添加的准确性。另外，对于任意目标对象，由于不同预训练模型输出的预测结果是相近的，所以本实施例基于不同预训练模型对同一无标签数据输出的初始标注信息之间的相似度，来确定伪标签，能够极大提高伪标签确定的准确性。

图2是根据本公开实施例提供的一种图像处理方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何根据两组初始标注信息之间的相似度，确定第一无标签数据的伪标签进行详细解释说明，如图2所示，本实施例提供的图像处理方法可以包括：

S201，分别采用两个不同预训练模型对第一无标签数据进行检测，得到第一无标签数据对应的两组初始标注信息。

S202，根据两组初始标注信息之间的相似度，从两组初始标注信息中确定匹配标注信息对。

其中，匹配标注信息对可以是从不同组初始标注信息中抽取出的对应无标注数据中的同一目标对象的两个子标注信息构成的一组数据对。即一组匹配标注信息对中的两个子标注信息取自不同组初始标注信息。

可选的，本实施例根据两组初始标注信息之间的相似度，确定匹配标注信息对的具体实现方式为：先将第一组初始标注信息中的每一子标注信息，分别与第二组初始标注信息中的每一子标注信息进行相似度计算，得到两组初始标注信息之间的相似度。接下来一种可实现方式为：直接将两组初始标注信息之间，相似度大于相似度阈值的两两子标注信息，作为一组匹配标注信息对。另一种可实现方式为：若第一组初始标注信息中的子标注信息1，与第二组初始标注信息中的各子标注信息进行相似度比较时，与第二组初始标注信息中的子标注信息2的相似度最高，且第二组初始标注信息中的子标注信息2，与第一组初始标注信息中的各子标注信息进行相似度比较时，与第一组初始标注信息中的子标注信息1的相似度最高，则将子标注信息1和子标注信息2作为一组匹配标注信息对。即将两组初始标注信息中，互为最高相似度的两个子标注信息作为一组匹配标注信息对。

S203，根据匹配标注信息对，确定第一无标签数据的伪标签。

可选的，本实施例根据匹配标注信息对，确定第一无标签数据的伪标签的一种可实现方式为：直接将S202确定的匹配标注信息对中的每一子标注信息都作为第一无标签数据的伪标签。

然而，考虑到一组匹配标注信息对中的两个子标注信息对应同一目标对象，所以为了避免为同一目标对象添加多个伪标签，提高伪标签添加的精准性，本实施例的另一种可实现方式为：对匹配标注信息对进行融合处理，得到第一无标签数据的伪标签。具体的，对每一组匹配标注信息对中的两个子标注信息进行融合处理，得到各匹配标注信息对的融合标注信息，并将该融合标注信息作为第一无标签数据的伪标签。

可选的，本实施例对匹配标注信息对进行融合处理的方式有很多，对此不进行限定，例如，一种可实现方式为采用非极大值抑制(NMS)算法对匹配标注信息对中的各子标注信息进行去重处理，并将处理后的子标注信息作为融合标注信息。另一种可实现方式为：对匹配标注信息对中的两个子标注信息进行均值处理，得到匹配标注信息对的融合标注信息等。

本公开实施例的方案，采用两个不同的预训练模型检测无标签数据的初始标注信息，并通过比较两组初始标注信息之间的相似度，从两组初始标注信息中确定从两组初始标注信息中确定匹配标注信息对，进而从对匹配标注信息对中提取第一无标签数据的伪标签。由于本方案确定的每一匹配标注信息对对应一个目标对象，所以通过确定匹配标注信息对，来进一步定位各目标对象最终关联的伪标签，进一步提高了伪标签确定的精准性。

图3是根据本公开实施例提供的一种图像处理方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何根据两组初始标注信息之间的相似度，从两组初始标注信息中确定匹配标注信息对进行详细解释说明，如图3所示，本实施例提供的图像处理方法可以包括：

S301，分别采用两个不同预训练模型对第一无标签数据进行检测，得到第一无标签数据对应的两组初始标注信息。

S302，根据两组初始标注信息中标注位置之间的相似度，从两组初始标注信息中确定候选标注信息对。

其中，候选标注信息对可以是初步从两组初始标注信息中确定出的可能对应同一目标对象的两个子标注信息构成的信息对。

可选的，本实施例可以先将第一组初始标注信息中的每一子标注信息中的目标对象的标注框位置信息，分别与第二组初始标注信息中的每一子标注信息中的目标对象的标注框位置信息进行相似度计算，得到两组初始标注信息中，标注位置之间的相似度。接下来一种可实现方式为：直接将两组初始标注信息中，标注位置之间相似度大于相似度阈值的两两子标注信息，作为一组候选标注信息对。

另一种可实现方式为：根据第一组初始标注信息中的目标子标注信息与第二组初始标注信息中的每一子标注信息的标注位置之间的第一相似度，以及第二组初始标注信息中的目标子标注信息与第一组初始标注信息中的每一子标注信息的标注位置之间的第二相似度，从两组初始标注信息中确定候选标注信息对。其中，本实施例依次将第一组初始标注信息中的每一子标注信息作为第一组初始标注信息中的目标子标注信息，以及依次将第二初始标注信息中的每一子标注信息作为第二组初始标注信息中的目标子标注信息。

具体的，从第一组初始标注信息中的目标子标注信息(即第一目标子标注信息)与第二组初始标注信息中的每一子标注信息的标注位置之间的第一相似度中，找到第二组初始标注信息中，与第一目标子标注信息相似度最高的位置匹配子标注信息(即第一位置匹配子标注信息)；从第二组初始标注信息中的目标子标注信息(即第二目标子标注信息)与第一组初始标注信息中的每一子标注信息的标注位置之间的第一相似度中，找到第一组初始标注信息中，与第二目标子标注信息相似度最高的位置匹配子标注信息(即第二位置匹配子标注信息)；若第一位置匹配子标注信息即为第二目标子标注信息，且第二位置匹配子标注信息即为第一目标子标注信息，则将第一目标子标注信息和第二目标子标注信息作为一组候选标注信息对。

本方案在选择将两组初始标注信息中标注位置相似度互为最大的两个子标注信息作为一组候选标注信息对，使得每一目标对象对应一组候选标注信息对，提高了候选标注信息对确定的唯一性和准确性。

S303，根据候选标注信息对关联的类别预测信息的相似度，从候选标注信息对中确定匹配标注信息对。

其中，匹配标注信息对，可以是从候选标注信息对中筛选出的最佳的表征同一目标对象的两个子标注信息构成的信息对。

本实施例可以对每一候选标注信息对，对其中的两个子标注信息的概率分布信息进行相似度计算，得到该候选标注信息对关联的类别预测信息的相似度。预先设定一个类别相似度阈值，并将每个候选标注信息对关联的类别预测信息的相似度与类别相似度阈值比较，将大于类别相似度阈值的各类别预测信息的相似度对应的候选标注信息对作为匹配标注信息对。

S304，根据匹配标注信息对，确定第一无标签数据的伪标签。

本公开实施例的方案，采用两个不同的预训练模型检测无标签数据的初始标注信息，并通过比较两组初始标注信息中标注位置之间相似度，初步确定候选标注信息对，再根据候选标注信息对关联的类别预测信息的相似度，确定匹配标注信息对，进而从对匹配标注信息对中提取第一无标签数据的伪标签。本方案通过标注位置之间相似度以及类别预测信息的相似度两个维度来确定匹配标注信息对，提高了匹配标注信息对确定的准确性，进而提高了为无标签数据确定伪标签的准确性。

可选的，在本公开实施例中，两组初始标注信息中标注位置之间的相似度的确定方式可以为确定第一组初始标注信息中的每一子标注信息的标注位置，与第二组初始标注信息中的每一子标注信息的标注位置之间的交并比(IOU)，作为两组初始标注信息中标注位置之间的相似度。本实施例通过计算两位置区域之间的交并比表征两标注位置之间的相似度，为标注位置的相似度确定提供了一种优选方式，该方式能够更为准确的确定标注位置之间的相似度。除此之外，也可以通过计算不同位置区域之间的间隔距离等来表征相似度，对此不进行限定。

可选的，在本公开实施例中，候选标注信息对中类别预测信息之间的相似度的确定方式可以为：根据候选标注信息对中类别预测信息，确定候选标注信息对的相对熵(即KL散度)，作为候选标注信息对中类别预测信息之间的相似度。本实施例通过计算两个不同预测信息之间KL散度来表征两个不同预测信息之间的相似度，为预测信息的相似度确定提供了一种优选方式，该方式能够更为准确的确定出候选标注信息对中类别预测信息之间的相似度。

图4是根据本公开实施例提供的一种图像处理方法的流程图。本公开实施例在上述实施例的基础上，进一步对如何根据两组初始标注信息之间的相似度，确定第一无标签数据的伪标签进行详细解释说明，如图4所示，本实施例提供的图像处理方法可以包括：

S401，分别采用两个不同预训练模型对第一无标签数据进行检测，得到第一无标签数据对应的两组初始标注信息。

S402，根据两组初始标注信息的置信度，以及两组初始标注信息之间的相似度，确定第一无标签数据的伪标签。

可选的，本实施例在S401确定出两组初始标注信息后，针对两组初始标注信息中的每一子标注信息，判断该子标注信息对应的检测结果的置信度是否大于置信度阈值，并将置信度小于置信度阈值的各子标注信息从其所在的初始标注信息中剔除，进而根据剔除后的两组初始标注信息之间的相似度，按照上述实施例介绍的任一种方式来确定第一无标签数据的伪标签。

本公开实施例的方案，采用两个不同的预训练模型检测无标签数据的初始标注信息，进而根据两组初始标注信息中每一子标注信息的置信度，以及两组初始标注信息之间的相似度，来确定第一无标签数据的伪标签。本方案在确定伪标签时，先基于置信度剔除准确性不高的子标注信息，然后再通过子标注信息之间的相似度，来确定最终的伪标签，同时考虑置信度和标注信息的相似度，进一步保证了伪标签确定的准确性。

图5是根据本公开实施例提供的一种模型训练方法的流程图；本公开实施例适用于基于半监督检测技术进行模型训练的情况。尤其适用于基于半监督检测技术，采用上述任意实施例为无标签数据添加伪标签后，进行模型训练的情况。该方法可以由模型训练装置来执行，该装置可以采用软件和/或硬件的方式实现。如图5所示，本实施例提供的模型训练方法可以包括：

S501，获取包含第二无标签数据和有标签数据的训练样本，以及第二无标签数据的伪标签。

其中，训练样本为对待训练模型进行训练的样本数据，该训练样本中包含有标签数据和无标签数据，该无标签数据即为第二无标签数据。由于基于半监督检测技术进行模型训练的时候，需要为无标签数据添加伪标签，本实施采用上述任意实施例所述的图像处理方法来为本实施例的第二无标签数据添加伪标签。对此不进行限定。

可选的，本实施例在获取训练样本时，可以获取少量的有标签数据和大量的第二无标签数据作为训练样本，并采用上述任意实施例所述的图像处理方法来获取本实施例的第二无标签数据的伪标签。

可选的，在本实施例中，为了提高第二无标签数据的伪标签确定的准确性，在采用两个不同的预训练模型通过上述实施例的方式确定第二无标签数据的伪标签前，可以先采用训练样本中的有标签数据来对两个不同预训练模型进行参数调整，使得调整后的两个不同预训练模型能够更准确的为训练样本中的第二无标签数据确定伪标签。

S502，根据训练样本和第二无标签数据的伪标签，对待训练模型进行训练。

可选的，本实施例可以分别将训练样本中的有标签数据和无标签数据输入到待训练模型中，得到待训练模型输出的有标签数据对应的第一预测结果，以及无标签数据对应的第二预测结果；然后将第一预测结果和有标签数据对应的真标签输入到损失函数中，得到第一组训练损失；将第二组预测结果和无标签数据对应的伪标签输入到损失函数中，得到第二组训练损失；其中，损失函数可以是交叉熵损失函数，或者平方损失函数(即L2损失函数)等。进而采用第一组训练损失和第二组训练损失对待训练模型进行训练。不断优化待训练模型中的模型参数。具体的，本实施例需要采用多组训练样本，基于上述方法对待训练模型进行多次迭代训练，直至达到预设的训练停止条件，则停止调整待训练模型的模型参数。训练停止条件可以包括：训练次数达到预设次数，或者训练损失收敛等。

可选的，本实施例在采用第一组训练损失和第二组训练损失对待训练模型进行训练时，可以是分别采用两组训练损失对待训练模型进行训练，也可以是对两组训练损失进行融合，如求和处理、加权求和处理，或求均值处理等，得到融合损失，进而根据融合损失来对待训练模型进行训练。

本公开实施例的方案，在基于包含无标签数据和有标签数据的训练样本，采用半监督检测技术对待训练模型进行训练的时候，先通过上述任意实施例介绍的通过两个不同预训练模型来为无标签数据添加伪标签后，再基于训练样本和添加的伪标签，来对待训练模型进行训练。本方案在训练模型的时候，只需人工为无标签数据标注少量的真标签，然后通过两个不同预训练模型来为大量的无标签数据添加精准的伪标签，即可实现模型训练，极大的提高了半监督检测技术训练模型的成本和准确性。

图6是根据本公开实施例提供的模型训练的原理图。本实施例在上述实施例的基础上，给出了如何基于半监督检测技术，通过两个预先训练的不同老师检测模型

和

(即两个不同预训练模型)来对学生检测模型M^S(即待训练模型)进行训练的优选实例。本实施例的训练样本中包含m个有标签数据和n个无标签数据构成，且n远大于m。即训练样本中包含少量的有标签数据和大量的无标签数据。如图6所示，训练模型的过程具体包括：

(一)、通过训练样本中的m个有标签数据先对教师检测模型

和

进行有监督训练，以优化教师检测模型

和

的模型参数。

(二)、基于训练样本中的m个有标签数据对学生检测模型M^S进行预热有监督训练。

(三)、分别采用教师检测模型

和

对n个无标签数据进行目标检测，得到教师检测模型

输出的第一组初始标注信息

和教师检测模型

输出的第二组初始标注信息

其中，B¹集合中的每一元素代表教师检测模型

对一个无标签数据进行检测输出初始标注信息。B²集合中的每一元素代表教师检测模型

对一个无标签数据进行检测输出初始标注信息。

例如，针对每一无标签数据(如无标签数据I_n)，将该无标签数据I_n输入至教师检测模型

将输出该图像上的u个目标对象的初始标注信息

的上标1代表教师模型

下标n代表第n张无标签图像I_n。同理，将I_n输入至教师检测模型

可得到教师检测模型

输出的该图像上v个目标对象的初始标注信息

其中，每个子标注信息b包含目标对象的标注框位置信息(x，y，w，h)、目标对象属于各可选类别的概率分布信息P＝[p(1)，p(2)，…，p(C)]和检测结果的置信度信息s。其中，(x，y)为标注框的某一顶点(如左上角)的位置坐标；w和h分别表示标注框的宽度值和高度值。P(C)表征目标对象属于第C个可选类别的概率值。

(四)、根据预先设置的置信度阈值τ_s，对于第一组初始标注信息

和第二组初始标注信息

中的每一初始标注信息中的各子标注信息进行置信度判断，只保留置信度s大于τ_s的各子标注信息。

例如，对于

输出的u个目标对象的初始标注信息

依次判断

至

的置信度信息s是否大于置信度阈值τ_s，若是，则保留，否则，从

中删除。

(五)、根据上述基于置信度阈值过滤后的两组初始标注信息之间的相似度，从过滤后的两组初始标注信息中确定匹配标注信息对。

具体的，针对每一无标签数据I_n，假设教师检测模型

对该无标签数据I_n输出的

经过滤后得到

教师检测模型

对该无标签数据I_n输出的

经过滤后得到

则可以通过如下三个子步骤来确定该无标签数据I_n对应的匹配标注信息对。

(1)、针对

中的每一子标注信息(即

至

)的标注框位置，分别与

中的每一子标注信息(即

至

)的标注框位置计算交并比(IOU)，对于教师检测模型

中的每个子标注信息

在

中选取与其IOU最大的一个子标注信息

若

在

中与其IOU最大的子标注信息为

即二者互为最大IOU时，则

和

为该无标签数据I_n对应的一组候选标注信息对

(2)、计算候选标注信息对

中

的概率分布信息

与

的概率分布信息

的KL散度，KL散度值越小，表示该候选标注信息对的概率分布越相似，进而表示该候选标注信息对预测的类别信息的确定性较高。KL散度计算公式如下：

其中，

为子标注信息

与子标注信息

之间的KL散度值；

为子标注信息

属于第c个可选类别的概率值；

子标注信息

属于第c个可选类别的概率值；C为可选类别的总个数。

(3)、判断(2)中计算的候选标注信息对

对应的KL散度D_KL是否小于KL散度阈值τ_KL，若是，则将该候选标注信息对作为匹配标注信息对。

(六)、对(五)中确定的所有匹配标注信息对进行非极大值抑制(NMS)处理，得到第一无标签数据的伪标签。此时完成了获取无标签数据的伪标签操作。

(七)采用训练样本中的无标签数据，以及无标签数据对应的伪标签，对预热训练后的学生模型M^S进行训练。

本实施例针对半监督检测技术，通过两个不同的教师检测模型对无标签数据生成伪标签，再根据置信度和不同组初始标注信息之间的位置相似度和类别概率相似度进行过滤，将过滤后的子标注信息作为伪标签，提供给学生模型进行训练，可在避免大量标注成本的情况下进一步提高学生检测模型的效果。

图7是根据本公开实施例提供的一种图像处理装置的结构示意图。本公开实施例适用于为无标签数据确定伪标签的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例的图像处理方法。如图7所示，该模型训练装置700包括：

数据检测模块701，用于分别采用两个不同预训练模型对第一无标签数据进行检测，得到所述第一无标签数据对应的两组初始标注信息；

伪标签确定模块702，用于根据所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签。

进一步的，所述伪标签确定模块702，包括：

匹配对确定单元，用于根据所述两组初始标注信息之间的相似度，从所述两组初始标注信息中确定匹配标注信息对；

伪标签确定单元，用于根据所述匹配标注信息对，确定所述第一无标签数据的伪标签。

进一步的，所述匹配对确定单元，包括：

第一信息对确定子单元，用于根据所述两组初始标注信息中标注位置之间的相似度，从所述两组初始标注信息中确定候选标注信息对；

第二信息对确定子单元，用于根据所述候选标注信息对关联的类别预测信息的相似度，从所述候选标注信息对中确定匹配标注信息对。

进一步的，所述第一信息对确定子单元具体用于：

根据第一组初始标注信息中的目标子标注信息与第二组初始标注信息中的每一子标注信息的标注位置之间的第一相似度，以及第二组初始标注信息中的目标子标注信息与第一组初始标注信息中的每一子标注信息的标注位置之间的第二相似度，从所述两组初始标注信息中确定候选标注信息对。

进一步的，所述图像处理装置700，还包括：

位置相似度确定模块，用于确定第一组初始标注信息中的每一子标注信息的标注位置，与第二组初始标注信息中的每一子标注信息的标注位置之间的交并比，作为所述两组初始标注信息中标注位置之间的相似度。

进一步的，所述图像处理装置700，还包括：

类别相似度确定模块，用于根据所述候选标注信息对中类别预测信息，确定所述候选标注信息对的相对熵，作为所述候选标注信息对中类别预测信息之间的相似度。

进一步的，所述伪标签确定单元，具体用于：

对所述匹配标注信息对进行融合处理，得到所述第一无标签数据的伪标签。

进一步的，所述伪标签确定模块702还具体用于：

根据所述两组初始标注信息的置信度，以及所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签。

图8是根据本公开实施例提供的一种模型训练装置的结构示意图。本公开实施例适用于基于半监督检测技术进行模型训练的情况。尤其适用于基于半监督检测技术，采用上述任意实施例为无标签数据添加伪标签后，进行模型训练的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例的模型训练方法。如图8所示，该模型训练装置800包括：

数据获取模块801，用于获取包含第二无标签数据和有标签数据的训练样本，以及所述第二无标签数据的伪标签；其中，所述第二无标签数据的伪标签采用本公开任意实施例所述图像处理装置得到；

模型训练模块802，用于根据所述训练样本和所述第二无标签数据的伪标签，对待训练模型进行训练。

上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

本公开的技术方案中，所涉及的有标签数据和无标签数据等的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像处理方法和/或模型训练方法。例如，在一些实施例中，图像处理方法和/或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像处理方法和/或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法和/或模型训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims

1.一种图像处理方法，包括：

2.根据权利要求1所述的方法，其中，所述根据所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签，包括：

根据所述两组初始标注信息之间的相似度，从所述两组初始标注信息中确定匹配标注信息对；

根据所述匹配标注信息对，确定所述第一无标签数据的伪标签。

3.根据权利要求2所述的方法，其中，所述根据所述两组初始标注信息之间的相似度，从所述两组初始标注信息中确定匹配标注信息对，包括：

根据所述两组初始标注信息中标注位置之间的相似度，从所述两组初始标注信息中确定候选标注信息对；

根据所述候选标注信息对关联的类别预测信息的相似度，从所述候选标注信息对中确定匹配标注信息对。

4.根据权利要求3所述的方法，其中，所述根据所述两组初始标注信息中标注位置之间的相似度，从所述两组初始标注信息中确定候选标注信息对，包括：

5.根据权利要求3或4所述的方法，还包括：

确定第一组初始标注信息中的每一子标注信息的标注位置，与第二组初始标注信息中的每一子标注信息的标注位置之间的交并比，作为所述两组初始标注信息中标注位置之间的相似度。

6.根据权利要求3所述的方法，还包括：

根据所述候选标注信息对中类别预测信息，确定所述候选标注信息对的相对熵，作为所述候选标注信息对中类别预测信息之间的相似度。

7.根据权利要求2所述的方法，其中，所述根据所述匹配标注信息对，确定所述第一无标签数据的伪标签，包括：

8.根据权利要求1-7中任一项所述的方法，其中，根据所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签，包括：

9.一种模型训练方法，包括：

获取包含第二无标签数据和有标签数据的训练样本，以及所述第二无标签数据的伪标签；其中，所述第二无标签数据的伪标签采用权利要求1-8中任一项所述图像处理方法得到；

10.一种图像处理装置，包括：

数据检测模块，用于分别采用两个不同预训练模型对第一无标签数据进行检测，得到所述第一无标签数据对应的两组初始标注信息；

伪标签确定模块，用于根据所述两组初始标注信息之间的相似度，确定所述第一无标签数据的伪标签。

11.根据权利要求10所述的装置，其中，所述伪标签确定模块，包括：

12.根据权利要求11所述的装置，其中，所述匹配对确定单元，包括：

13.根据权利要求12所述的装置，其中，所述第一信息对确定子单元具体用于：

14.根据权利要求12或13所述的装置，还包括：

15.根据权利要求12所述的装置，还包括：

16.根据权利要求11所述的装置，其中，所述伪标签确定单元，具体用于：

17.根据权利要求10-16中任一项所述的装置，其中，所述伪标签确定模块还具体用于：

18.一种模型训练装置，包括：

数据获取模块，用于获取包含第二无标签数据和有标签数据的训练样本，以及所述第二无标签数据的伪标签；其中，所述第二无标签数据的伪标签采用权利要求10-17中任一项所述图像处理装置得到；

模型训练模块，用于根据所述训练样本和所述第二无标签数据的伪标签，对待训练模型进行训练。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的图像处理方法，和/或权利要求9所述的模型训练方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的图像处理方法，和/或权利要求9所述的模型训练方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的图像处理方法，和/或权利要求9所述的模型训练方法。