CN115984618A - 图像检测模型训练、图像检测方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种图像检测模型训练、图像检测方法、装置、设备及介质，涉及人工智能领域，具体涉及深度学习领域和图像处理领域等。具体实现方案为：获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像；对所述训练图像数据进行检测，得到检测结果和对应的置信度；根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像；基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。本公开实施例可以提高模型训练速度。

Description

图像检测模型训练、图像检测方法、装置、设备及介质

技术领域

本公开涉及人工智能领域，具体涉及深度学习领域和图像处理领域等，尤其涉及一种图像检测模型训练、图像检测方法、装置、设备及介质。

背景技术

深度学习已广泛用于社会生产的各个领域，例如金融、工业和教育等。

深度学习主要的两个驱动方向是模型和数据，模型的创新是一个长期的过程，所以要将深度学习应用于特定的业务场景，数据驱动往往是最重要的。

发明内容

本公开提供了一种图像检测模型训练、图像检测方法、装置、设备及介质。

根据本公开的一方面，提供了一种图像检测模型训练方法，包括：

获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像；

对所述训练图像数据进行检测，得到检测结果和对应的置信度；

根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像；

基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

根据本公开的另一方面，提供了一种图像检测方法，包括：

获取目标图像；

将所述目标图像输入到图像检测模型中，得到所述目标图像的检测结果，所述图像检测模型采用如本公开任一项实施例所述的图像检测模型训练方法训练得到。

根据本公开的一方面，提供了一种图像检测模型训练装置，包括：

训练图像获取模块，用于获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像；

检测置信度确定模块，用于对所述训练图像数据进行检测，得到检测结果和对应的置信度；

无标注图像划分模块，用于根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像；

模型训练模块，用于基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

根据本公开的另一方面，提供了一种图像检测装置，包括：

目标图像获取模块，用于获取目标图像；

目标图像检测模块，用于将所述目标图像输入到图像检测模型中，得到所述目标图像的检测结果，所述图像检测模型采用如本公开任一项实施例所述的图像检测模型训练方法训练得到。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的图像检测模型训练方法或图像检测方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的图像检测模型训练方法或图像检测方法。

根据本公开的另一方面，提供了一种计算机程序对象，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的图像检测模型训练方法或图像检测方法。

本公开实施例可以提高模型训练速度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例公开的一种图像检测模型训练方法的流程图；

图2是根据本公开实施例公开的另一种图像检测模型训练方法的流程图；

图3是根据本公开实施例公开的另一种图像检测模型训练方法的流程图；

图4是根据本公开实施例公开的另一种图像检测模型训练方法的流程图；

图5是根据本公开实施例公开的另一种图像检测模型训练方法的流程图；

图6是根据本公开实施例公开的一种图像检测方法的流程图；

图7是根据本公开实施例公开的一种图像检测模型训练装置的结构示意图；

图8是根据本公开实施例公开的一种图像检测装置的结构示意图；

图9是用来实现本公开实施例的图像检测模型训练方法或图像检测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本公开实施例公开的一种图像检测模型训练方法的流程图，本实施例可以适用于图像检测模型训练的情况。本实施例方法可以由图像检测模型训练装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。

S101、获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像。

训练图像数据包括大量训练图像。有标注图像是指有标注信息的图像。而无标注图像是指无标注信息的图像。标注信息用于有监督训练模型，具体的，标注信息可以是分类信息、识别信息、处理结果和程度数值等。训练图像数据可以替换以下至少一项：文本、图像、语音或视频等。示例性的，图像检测模型用于对图像进行分类，标注信息可以是分类结果。又如，图像检测模型用于对图像进行目标识别，标注信息可以是目标物体对应的目标框和目标物体的类型。又如，图像检测模型用于对图像进行清晰度识别，标注信息可以是清晰度等级。此外，还可以是其他场景，对此不具体限定。

S102、对所述训练图像数据进行检测，得到检测结果和对应的置信度。

对训练图像数据进行检测，是对训练图像数据中每个训练图像进行检测，每个训练图像得到一个检测结果和该检测结果对应的置信度。检测结果为图像检测模型输出得到的结果。检测结果对应的置信度为检测结果的可靠程度。其中，检测可以包括下述至少一项：分类、识别、处理和程度检测等。示例性的，图像检测模型用于在图像中进行目标检测，具体是在图像中确定至少一个目标框和各目标框的置信度。其中，检测结果为全部目标框，检测结果对应的置信度为全部目标框的置信度。

可以采用一些可靠的方式对训练图像数据进行检测。示例性的，分类，可以采用聚类算法，或者可以采用预先训练的可靠模型进行检测。

S103、根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像。

无标注图像包括伪标注图像和其他图像。伪标注图像为处理结果可靠的无标注图像。其他图像为处理结果不可靠的无标注图像。伪标注图像结合处理结果，可以作为伪标注图像的标注信息，使得伪标注图像转变为有标注图像训练模型。其他图像为处理结果不可靠的无标注图像，无法利用其他图像的检测结果作为其他图像的标注信息进行使用。

可以根据置信度，筛选出可靠的检测结果，并将可靠的检测结果对应的无标注图像确定为伪标注图像，并将不可靠的检测结果对应的无标注图像确定为其他图像。此外还可以进一步对伪标注图像和其他图像进行细分，或者无标注图像除了伪标注图像和其他图像之外额外设置更多的图像。可以根据需要进行设定，对此不具体限定。

S104，基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

伪标注图像的检测结果作为伪标注图像的标注信息，并作为有标注图像进行有监督训练，有标注图像进行有监督训练。而其他图像进行无监督训练。可选的，其他图像可以根据自身包括的特征对模型进行训练，例如采用其他图像的一致性特征，具体是其他图像中在不同条件下仍相同的特征，可以通过使一致性特征尽可能相同，并使不一致的特征尽可能存在差异的目标来训练模型。示例性的，采用多个算法或者多种方式对其他图像进行检测，通常，同一图像在针对相同功能的所提取的特征或检测结果相同，不同图像针对相同功能的所提取的特征或检测结果不同。相应的，根据前述内容构造损失函数，并更新模型参数直至损失函数收敛，模型训练完成。

根据本公开的技术方案，通过有标注图像的预测结果和置信度，筛选无标注图像，可以减少伪标注图像的划分随机性，提高伪标注图像的划分准确性和精度，并针对伪标注图像和其他图像进行不同方式训练，实现训练图像的利用率，增加训练图像的多样性，从而增加训练图像内容的代表性，提高模型的检测准确性，同时，可以简化无标注图像的划分过程，提高图像划分效率，从而增加模型训练速度。

图2是根据本公开实施例公开的另一种图像检测模型训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像，具体化为：根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值；根据各所述类型的检测结果的置信度阈值、各所述无标注图像的检测结果和对应的置信度，对各所述无标注图像进行划分，得到伪标注图像和其他图像。

S201、获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像。

S202、对所述训练图像数据进行检测，得到检测结果和对应的置信度。

可选的，对所述训练图像数据进行检测，得到检测结果和对应的置信度，包括：采用预先训练的目标模型对所述训练图像数据进行检测，得到检测结果和对应的置信度，所述目标模型与所述图像检测模型相互独立。

目标模型的输入和图像检测模型的输入相同；目标模型的输出和图像检测模型的输出相同。目标模型用于对训练图像进行检测，得到训练图像的检测结果，以及检测结果对应的置信度。示例性的，图像检测模型用于在图像中识别车辆，相应的，目标模型同样用于在图像中识别车辆。又如，图像检测模型用于图像分类，目标模型同样用于图像分类。

目标模型为可靠的训练完成的模型。目标模型的模型结构可以与图像检测模型相同，也可以不同。目标模型的训练和图像检测模型的训练相互独立。目标模型可以理解为复杂、准确性高且精度高的模型。图像检测模型可以理解为简单和轻量级模型。

通过基于目标模型对训练图像的准确检测结果，以对图像检测模型进行训练，可以提高图像的划分准确性，从而提高图像检测模型的检测准确性，同时，基于目标模型对训练图像进行检测，提高检测速度，提高图像的划分速度。

S203、根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值。

训练图像存在多个类型的检测结果。可以对检测结果进行划分，得到至少一个类型的检测结果，并针对各类型，统计置信度，得到每个类型的检测结果的置信度。根据各类型的置信度，确定各类型的置信度的分布，根据一个类型下集中分布的置信度，确定该类型的检测结果的置信度阈值。实际上，针对每一个类型，置信度的分布情况可以用于衡量该类型的检测结果的大多数，从而，筛选出可靠的频率高的置信度，并因此确定置信度阈值以筛选无标注图像的可靠的检测结果，可以提高筛选准确性。

示例性的，可以根据将一个类型下的置信度的均值或中位数，确定为置信度阈值；或者对一个类型下的置信度，进行统计，将数量最多的置信度，确定为置信度阈值，还可以是其他情况，对此不具体限定。

需要说明的是，如果有标注图像的检测结果与标注信息不同，则确定有标注图像检测错误，该有标注图像不参与置信度阈值的计算。

S204、根据各所述类型的检测结果的置信度阈值、各所述无标注图像的检测结果和对应的置信度，对各所述无标注图像进行划分，得到伪标注图像和其他图像。

置信度阈值用于划分伪标注图像和其他图像。示例性的，可以将检测结果的置信度大于等于置信度阈值的无标注图像，确定为伪标注图像；将检测结果的置信度小于置信度阈值的无标注图像，确定为其他图像。

现有中采用人工经验设定置信度阈值，导致置信度阈值具有主观性和随机性。通过有标注图像的置信度统计信息确定置信度阈值，可以提高置信度阈值的稳定性和客观性，从而提高置信度阈值的准确性。

可选的，所述根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值，包括：对各所述有标注图像的检测结果进行分类，获取至少一个类型的检测结果，以及各所述类型下的有标注图像的图像数量；根据所述类型下的有标注图像的图像数量以及所述类型的检测结果对应的置信度，计算所述类型的检测结果的置信度阈值。

图像数量为一个类型的正确的检测结果的数量，也是正确的检测结果为该类型的有标注图像的数量。实际上，有标注图像的标注信息可以理解为正确信息。正确的检测结果是指，检测结果与有标注图像的标注信息相同。可以先筛选出标注信息与检测结果相同的有标注图像，并从中筛选出同一个类型的检测结果的数量，并确定为该类型的图像数量。根据图像数量和该类型下的置信度的数值，计算置信度均值，确定为置信度阈值。

示例性的，针对图像分类的图像检测模型，存在一个类型的检测结果为类别c，基于如下公式计算类别c的置信度阈值Tc：

其中，N为所有分类结果为c且标注信息为c的图像数量，Pi为图像i属于类别c的置信度。

对于某个无标注图像，得到其分类结果为c和对应的置信度Pc，如果Pc大于等于Tc，则将无标注图像划分至子集1，反之将无标注图像划分至子集2。子集1包括伪标注图像，子集2为其他图像。

通过统计类型的有标注图像的图像数量和该类型下分布的置信度，统计置信度均值，计算该类型的置信度阈值，可以准确根据置信度分布情况，确定置信度阈值，并据此划分无标注图像，可以提高无标注图像划分精度，提高无标注图像的划分准确性。

S205、基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

可选的，基于有标注图像和伪标注图像，对图像检测模型进行有监督训练，以及，基于其他图像，对图像检测模型进行无监督训练，包括：基于有标注图像的标注信息和伪标注图像的检测结果，计算有监督损失值；基于其他图像的一致性特征，计算无监督损失值；对有监督损失值和无监督损失值进行融合，得到总损失值；根据总损失值，对图像检测模型进行训练。

对有监督损失值和无监督损失值进行求和计算，得到总损失值。根据总损失值，对图像检测模型进行训练。通过将其他图像与伪标注图像进行区分计算损失，并且将伪标注图像和有标注图像进行有监督损失计算，在损失上进一步细分不同图像的计算方式，可以细化不同图像对模型的影响，提高模型检测准确性，并兼顾应用到全部图像，提高图像的利用率，降低图像的生成和收集成本，提高模型训练速度。

根据本公开的技术方案，通过有标注图像的置信度统计信息确定置信度阈值，可以提高置信度阈值的稳定性和客观性，从而提高置信度阈值的准确性，准确分类无标注图像，针对性训练模型，在兼顾图像代表性的同时，增加图像的数量，减少图像的获取成本，提高模型训练效率和准确性。

图3是根据本公开实施例公开的另一种图像检测模型训练方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。基于所述其他图像，对所述图像检测模型进行无监督训练，具体化为：对所述其他图像进行数据增强，得到数据增强图像，所述数据增强图像包括第一图像和第二图像，所述第一图像的数据增强和所述第二图像的数据增强方式不同；针对同一其他图像，计算对应的第一图像的特征和对应的第二图像的特征之间的图像内相似度；针对不同其他图像，计算两个其他图像之间的数据增强图像的特征之间的图像外相似度；根据所述图像内相似度和所述图像外相似度，计算无监督损失值；根据所述无监督损失值对所述图像检测模型进行训练。

S301、获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像。

S302、对所述训练图像数据进行检测，得到检测结果和对应的置信度。

S303、根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像。

S304、基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练。

可选的，基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，包括：基于所述有标注图像的标注信息和所述伪标注图像的检测结果，计算有监督损失值。

伪标注图像和有标注图像可以采用相同方式计算损失值，还可以采用不同方式计算损失值。将伪标注图像的损失值与有标注图像的损失值进行融合，得到有监督损失值。具体的，可以将伪标注图像的损失值与有标注图像的损失值之和确定有监督损失值。

示例性的，对于有标注图像，可以直接用交叉熵损失进行监督，计算损失值为L1；伪标注图像直接用其检测结果作为标注信息，计算交叉熵损失进行监督训练，损失值为L2，则有监督损失值为L1+L2。

可选的，还可以对不同图像的损失值设置权重，可以将伪标注图像的损失值与有标注图像的损失值的加权和确定为有监督损失值，则有监督损失值为λ1*L1+λ2*L2。

S305、对所述其他图像进行数据增强，得到数据增强图像，所述数据增强图像包括第一图像和第二图像，所述第一图像的数据增强和所述第二图像的数据增强方式不同。

数据增强用于增加图像的自身特征，并明显与其他的图像自身特征之间的差异。数据增强图像的数量为至少两个，具体包括第一图像和第二图像。此外，数据增强图像还可以包括第三图像、第四图像……不同图像之间的增强方式不同。示例性的，数据增强图像的数量为两个，包括一个第一图像和一个第二图像。数据增强方式，可以根据应用场景确定。示例性的，针对图像检测模型为图像分类模型，图像增强方式可以包括颜色、形状亮度或对比度等。

不同的其他图像可以采用相同方式，也可以采用不同方式计算损失值。同样，不同方式的话可以预设不同的权重。采用不同的权重加权不同方式的其他图像的损失值得到无监督损失值。

S306、针对同一其他图像，计算对应的第一图像的特征和对应的第二图像的特征之间的图像内相似度。

图像内相似度是指同一个图像的经过不同数据增强方式得到的相应图像之间的相似度。具体的，数据增强图像包括一个第一图像和一个第二图像，图像内相似度为第一图像和第二图像之间的相似度。

S307、针对不同其他图像，计算两个其他图像之间的数据增强图像的特征之间的图像外相似度。

图像外相似度是指不同图像的之间的相似度。具体的，其他图像A与其他图像B之间的图像外相似度包括下述至少一项：其他图像A的第一图像与其他图像B的第一图像之间的相似度、其他图像A的第一图像与其他图像B的第二图像之间的相似度、以及其他图像A的第二图像与其他图像B的第一图像之间的相似度。

S308、根据所述图像内相似度和所述图像外相似度，计算无监督损失值。

S309、根据所述无监督损失值对所述图像检测模型进行训练。

以最大化图像内相似度，并最小化图像外相似度为目标，构造其他图像的无监督损失值。其中，图像之间的相似度，可以具体通过图像的特征之间的相似度进行表征。示例性的，f₁为第一图像的特征，f₂为第二图像的特征，基于如下公式计算图像内相似度S(f₁，f₂)：

可以针对每个其他图像，最大化图像内相似度，最小化图像外相似度，相应的，该其他图像的损失值为一个分式，分子为图像内相似度，分母为该其他图像的图像内相似度、该其他图像的任意一个数据增强图像与剩余的其他图像的任意一个数据增强图像的图像外相似度之和，也即最大化损失值，可以实现最大化图像内容相似度的占比。为了达到收敛的效果，在分式之前添加负号。相应的，基于特征比对计算无监督损失值L3，具体基于如下公式计算：

其中

和

分别代表图像i两种数据增强方式的特征。M为图像数量，i与j不同。

有监督训练和无监督训练结合共同训练图像检测模型，具体是对有监督损失值和无监督损失值融合，得到总损失值，可以是将有监督损失值与无监督损失值进行累加，或者采用相应的权重进行加权。

如前例，L＝λ1*L1+λ2*L2+λ3*L3。

根据总损失值更新图像检测模型的参数，直至总损失值收敛或者最小，确定训练完成。

可选的，所述数据增强方式包括下述至少一项：图像几何变换和图像像素变换。

在本公开实施例中，图像检测模型为图像分类模型，数据增强方式为图像增强方式。图像几何变换用于对整体进行调整。图像像素变换用于对像素级别进行调整。示例性的，图像几何变换可以包括：裁减、旋转和平移等，图像像素变换包括：亮度、对比度和颜色等。在一个具体的例子中，第一图像和第二图像采用图像几何变换得到，但第一图像采用裁剪，而第二图像采用旋转。可选的，第一图像采用图像几何变换得到，第二图像采用图像像素变换得到。图像几何变换和图像像素变换是不同类型的增强方式，而采用完全独立的增强方式，可以进一步增加第一图像和第二图像之间的不同，突出第一图像和第二图像之间的差异性，从而提高第一图像和第二图像之间的代表性，通过第一图像和第二图像训练模型，提高模型检测准确性。

通过将数据增强方式设置为图像几何变换和图像像素变换，使得在其他图像的检测结果不可用的情况下，增加了其他图像的一致性内容，以增加其他图像的可用性，从而增强了模型对无标注图像的特征提取能力。

根据本公开的技术方案，通过不同数据增强方式利用其他图像中在数据增强方式中一致性的特征进行对比计算损失，可以从其他图像中提取出可用的内容计算损失，提高其他图像的利用率，增强了模型对其他图像的特征提取能力，从而减少无效图像，降低图像的获取成本，提高模型训练效率。

图4和图5是根据本公开的技术方案提供的一种图像检测模型训练方法的流程图。在用于图像分类的图像检测模型的应用场景中。

第一阶段，如图4所示，一方面，将有标注图像输入到预先训练的目标模型Q中，得到有标注图像的检测结果和对应的置信度。目标模型Q为图像分类。对各有标注图像的检测结果进行分类，获取至少一个类型的检测结果，以及各类型下的有标注图像的图像数量；根据类型下的有标注图像的图像数量以及检测结果对应的置信度，计算类型的检测结果的置信度阈值。具体的，存在一个类别c，基于如下公式计算类别c的置信度阈值Tc：

其中，N为所有分类结果为c且标注信息为c的图像数量，Pi为图像i属于类别c的置信度。

另一方面，将无标注图像输入到预先训练的目标模型Q中，得到无标注图像的检测结果和对应的置信度。

如果无标签图像的检测结果为类别c，相应的置信度为Pc，比较Pc和Tc。在Pc≥Tc时，将该无标注图像划分为子集1，作为伪标注图像；在Pc<Tc时，将该无标注图像划分为子集2，作为其他图像。

在无标注图像划分完成之后，如图5所示，基于划分后的图像对图像检测模型F进行训练。

全部图像均输入值图像检测模型F中。针对有标注图像和子集1，直接用交叉熵损失进行监督，有标注图像的交叉熵损失值为L1，子集1认为检测结果为可靠的标注信息，子集1交叉熵损失值为L2。

基于特征比对计算无监督损失值L3。1、假设某个batch(批)中包含了M个子集2中的其他图像，则对这个M个其他图像采用两种不同的数据增强方式(例如方式1是裁减、旋转或平移等，方式2是改变亮度或对比度)，得到2*M个其他图像；2、将2*M个其他图像输入至图像检测模型F，计算得到2*M个特征；3、计算单个特征和其他剩下(2*M-1)特征的余弦相似度，计算公式如下：

4、基于特征比对计算损失：

通过比例系数融合3个损失，有监督损失值λ1*L1+λ2*L2，计算总损失值L＝λ1*L1+λ2*L2+λ3*L3。可以根据实际训练情况调整损失的比例，并保证比例之和为1。通过总损失值对图像检测模型F进行监督训练。根据本公开的技术方案，提出了一种基于伪标注和特征比对的半监督训练方案，旨在节省业务数据的标注时间和成本，用少量有标注图像和大量无标注图像对模型进行优化训练；对比已有方法，可以通过计算得到每一类别伪标注的阈值，不需要认为设定，并且充分利用了无标注图像。

图6是根据本公开实施例公开的一种图像检测方法的流程图，本实施例可以适用于图像检测模型应用的情况。本实施例方法可以由图像检测装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。

S601、获取目标图像。

目标图像用于作为图像检测模型的输入。目标图像可以是采集得到的实时图像，还可以是预存的本地图像。目标图像的获取方式可以根据实际情况设定，对此不具体限定。

S602，将所述目标图像输入到图像检测模型中，得到所述目标图像的检测结果，所述图像检测模型采用如本公开任一项实施例所述的图像检测模型训练方法训练得到。

图像检测模型用于对目标图像进行检测，得到目标图像的检测结果。示例性的，图像检测模型用于对图像进行分类，具体是检测目标图像的类型。示例性的，目标图像为包括车辆的图像，图像检测模型用于确定目标图像中车辆的类型。又如，目标图像为票据图像，图像检测模型用于确定目标图像中票据的类型。又如，目标图像为工业加工产品的图像，图像检测模型用于确定目标图像中产品是否存在瑕疵。

根据本公开的技术方案，通过本公开提供的图像检测模型训练方法得到图像检测模型，并基于图像检测模型对目标图像进行图像检测，可以快速实现图像检测功能，提高图像检测的检测效率，降低图像检测的人工成本，同时兼顾图像检测的准确性。

根据本公开的实施例，图7是本公开实施例中的图像检测模型训练装置的结构图，本公开实施例适用于模型训练的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。

如图7所示的一种图像检测模型训练装置700，包括：训练图像获取模块701、检测置信度确定模块702、无标注图像划分模块703和模型训练模块704。其中，

训练图像获取模块701，用于获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像；

检测置信度确定模块702，用于对所述训练图像数据进行检测，得到检测结果和对应的置信度；

无标注图像划分模块703，用于根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像；

模型训练模块704，用于基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

根据本公开的技术方案，通过有标注图像的预测结果和置信度，划分无标注图像，可以减少伪标注图像的划分随机性，提高伪标注图像的划分准确性和精度，并针对伪标注图像和其他图像进行不同方式训练，实现训练图像的利用率，增加训练图像的多样性，从而增加训练图像内容的代表性，提高模型的检测准确性，同时，可以简化无标注图像的划分过程，提高图像划分效率，从而增加模型训练速度。

进一步的，所述无标注图像划分模块703，包括：置信度阈值计算单元，用于根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值；无标注图像划分单元，用于根据各所述类型的检测结果的置信度阈值、各所述无标注图像的检测结果和对应的置信度，对各所述无标注图像进行划分，得到伪标注图像和其他图像。

进一步的，所述置信度阈值计算单元，包括：检测结果统计子单元，用于对各所述有标注图像的检测结果进行分类，获取至少一个类型的检测结果，以及各所述类型下的有标注图像的图像数量；置信度阈值检测子单元，用于根据所述类型下的有标注图像的图像数量以及所述类型的检测结果对应的置信度，计算所述类型的检测结果的置信度阈值。

进一步的，所述模型训练模块704，包括：数据增强单元，用于对所述其他图像进行数据增强，得到数据增强图像，所述数据增强图像包括第一图像和第二图像，所述第一图像的数据增强和所述第二图像的数据增强方式不同；内相似度计算单元，用于针对同一其他图像，计算对应的第一图像的特征和对应的第二图像的特征之间的图像内相似度；外相似度计算单元，用于针对不同其他图像，计算两个其他图像之间的数据增强图像的特征之间的图像外相似度；无监督损失检测单元，用于根据所述图像内相似度和所述图像外相似度，计算无监督损失值；无监督训练单元，用于根据所述无监督损失值对所述图像检测模型进行训练。

进一步的，所述数据增强方式包括下述至少一项：图像几何变换和图像像素变换。

进一步的，所述检测置信度确定模块702，包括：预训练模型检测单元，用于采用预先训练的目标模型对所述训练图像数据进行检测，得到检测结果和对应的置信度，所述目标模型与所述图像检测模型相互独立。

上述图像检测模型训练装置可执行本公开任意实施例所提供的图像检测模型训练方法，具备执行图像检测模型训练方法相应的功能模块和有益效果。

根据本公开的实施例，图8是本公开实施例中的图像检测装置的结构图，本公开实施例适用于图像检测模型应用的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。

如图8所示的一种图像检测装置800，包括：目标图像获取模块801和目标图像检测模块802。其中，

目标图像获取模块801，用于获取目标图像；

目标图像检测模块802，用于将所述目标图像输入到图像检测模型中，得到所述目标图像的检测结果，所述图像检测模型采用如本公开任一项实施例所述的图像检测模型训练方法训练得到。

根据本公开的技术方案，通过本公开提供的图像检测模型训练方法得到图像检测模型，并基于图像检测模型对目标图像进行图像检测，可以快速实现图像检测功能，提高图像检测的检测效率，降低图像检测的人工成本，同时兼顾图像检测的准确性。

上述图像检测装置可执行本公开任意实施例所提供的图像检测方法，具备执行图像检测方法相应的功能模块和有益效果。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序对象。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性区域图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像检测模型训练方法或图像检测方法。例如，在一些实施例中，图像检测模型训练方法或图像检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的图像检测模型训练方法或图像检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像检测模型训练方法或图像检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准对象(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种图像检测模型训练方法，包括：

获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像；

对所述训练图像数据进行图像检测，得到检测结果和对应的置信度；

根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像；

基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

2.根据权利要求1所述的方法，其中，所述根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像，包括：

根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值；

根据各所述类型的检测结果的置信度阈值、各所述无标注图像的检测结果和对应的置信度，对各所述无标注图像进行划分，得到伪标注图像和其他图像。

3.根据权利要求2所述的方法，其中，所述根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值，包括：

对各所述有标注图像的检测结果进行分类，获取至少一个类型的检测结果，以及各所述类型下的有标注图像的图像数量；

根据所述类型下的有标注图像的图像数量以及所述类型的检测结果对应的置信度，计算所述类型的检测结果的置信度阈值。

4.根据权利要求1所述的方法，其中，所述基于所述其他图像，对所述图像检测模型进行无监督训练，包括：

对所述其他图像进行数据增强，得到数据增强图像，所述数据增强图像包括第一图像和第二图像，所述第一图像的数据增强和所述第二图像的数据增强方式不同；

针对同一其他图像，计算对应的第一图像的特征和对应的第二图像的特征之间的图像内相似度；

针对不同其他图像，计算两个其他图像之间的数据增强图像的特征之间的图像外相似度；

根据所述图像内相似度和所述图像外相似度，计算无监督损失值；

根据所述无监督损失值对所述图像检测模型进行训练。

5.根据权利要求4所述的方法，其中，所述数据增强方式包括下述至少一项：图像几何变换和图像像素变换。

6.根据权利要求1所述的方法，其中，所述对所述训练图像数据进行检测，得到检测结果和对应的置信度，包括：

采用预先训练的目标模型对所述训练图像数据进行检测，得到检测结果和对应的置信度，所述目标模型与所述图像检测模型相互独立。

7.一种图像检测方法，包括：

获取目标图像；

将所述目标图像输入到图像检测模型中，得到所述目标图像的检测结果，所述图像检测模型采用如权利要求1-6任一项所述的图像检测模型训练方法训练得到。

8.一种图像检测模型训练装置，包括：

训练图像获取模块，用于获取训练图像数据，所述训练图像数据包括有标注图像和无标注图像；

检测置信度确定模块，用于对所述训练图像数据进行检测，得到检测结果和对应的置信度；

无标注图像划分模块，用于根据所述有标注图像的检测结果和对应的置信度，对所述无标注图像进行划分，得到伪标注图像和其他图像；

图像模型训练模块，用于基于所述有标注图像和所述伪标注图像，对图像检测模型进行有监督训练，以及，基于所述其他图像，对所述图像检测模型进行无监督训练。

9.根据权利要求8所述的装置，其中，所述无标注图像划分模块，包括：

置信度阈值计算单元，用于根据所述有标注图像的检测结果和对应的置信度，计算至少一个类型的检测结果的置信度阈值；

无标注图像划分单元，用于根据各所述类型的检测结果的置信度阈值、各所述无标注图像的检测结果和对应的置信度，对各所述无标注图像进行划分，得到伪标注图像和其他图像。

10.根据权利要求9所述的装置，其中，所述置信度阈值计算单元，包括：

检测结果统计子单元，用于对各所述有标注图像的检测结果进行分类，获取至少一个类型的检测结果，以及各所述类型下的有标注图像的图像数量；

置信度阈值检测子单元，用于根据所述类型下的有标注图像的图像数量以及所述类型的检测结果对应的置信度，计算所述类型的检测结果的置信度阈值。

11.根据权利要求8所述的装置，其中，所述图像模型训练模块，包括：

数据增强单元，用于对所述其他图像进行数据增强，得到数据增强图像，所述数据增强图像包括第一图像和第二图像，所述第一图像的数据增强和所述第二图像的数据增强方式不同；

内相似度计算单元，用于针对同一其他图像，计算对应的第一图像的特征和对应的第二图像的特征之间的图像内相似度；

外相似度计算单元，用于针对不同其他图像，计算两个其他图像之间的数据增强图像的特征之间的图像外相似度；

无监督损失检测单元，用于根据所述图像内相似度和所述图像外相似度，计算无监督损失值；

无监督训练单元，用于根据所述无监督损失值对所述图像检测模型进行训练。

12.根据权利要求11所述的装置，其中，所述数据增强方式包括下述至少一项：图像几何变换和图像像素变换。

13.根据权利要求8所述的装置，其中，所述检测置信度确定模块，包括：

预训练模型检测单元，用于采用预先训练的目标模型对所述训练图像数据进行检测，得到检测结果和对应的置信度，所述目标模型与所述图像检测模型相互独立。

14.一种图像检测装置，包括：

目标图像获取模块，用于获取目标图像；

目标图像检测模块，用于将所述目标图像输入到图像检测模型中，得到所述目标图像的检测结果，所述图像检测模型采用如权利要求1-6任一项所述的图像检测模型训练方法训练得到。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像检测模型训练方法，或执行权利要求7所述的图像检测方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的图像检测模型训练方法，或执行根据权利要求7所述的图像检测方法。

17.一种计算机程序对象，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的图像检测模型训练方法，或执行根据权利要求7所述的图像检测方法。

Images