CN114373081A - 图像处理方法及装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。方法包括基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；根据所述置信度，确定所述样本图像是否为相似样本；过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。如此，根据样本图像的置信度，能够准确的确定样本图像是否为相似样本，从而将初始样本集中的相似样本过滤，保留与预设的训练集相似度较低的样本图像，生成目标样本集，通过与训练集相似度较低的目标样本集再次训练检测模型，可增加检测模型的鲁棒性，提升了检测模型的性能，且无需通过人工来对训练样本进行标记选取，减少标记成本。

Description

图像处理方法及装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，更具体而言，涉及一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。

背景技术

通过深度学习方法实现的模型，一般需要大量标记样本进行模型训练，标记样本质量的选择影响模型性能，如何从海量数据中选择有效样本进行标记，加入模型中训练，以提升模型性能及减少人工成本是至关重要的。

发明内容

本申请实施方式提供一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。

本申请实施方式的图像处理方法包括基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；根据所述置信度，确定所述样本图像是否为相似样本；过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

本申请实施方式的图像处理装置包括检测模块、确定模块和过滤模块。所述检测模块用于基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；所述确定模块用于根据所述置信度，确定所述样本图像是否为相似样本；及所述过滤模块用于过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

本申请实施方式的电子设备包括处理器，所述处理器用于基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；根据所述置信度，确定所述样本图像是否为相似样本；过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

本申请实施方式的非易失性计算机可读存储介质包含计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如下图像处理方法：基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；根据所述置信度，确定所述样本图像是否为相似样本；过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质中，通过检测初始样本集中的样本图像的置信度，可准确地确定检测模型对样本图像的检测准确性。可以理解，检测模型是基于预设的训练集训练的。因此，样本图像的置信度越低，说明检测模型对样本图像的检测准确性越低，样本图像与预设的训练集中的图像的相似性就越低。根据样本图像的置信度，能够准确的确定样本图像是否为相似样本，从而将初始样本集中的相似样本过滤掉，只保留与预设的训练集相似度较低的样本图像，生成目标样本集。通过与训练集相似度较低(即，检测模型学习效果较差的)的目标样本集再次训练检测模型，可增加检测模型的鲁棒性，提升了检测模型的性能，且无需通过人工来对训练样本进行标记选取，减少标记成本。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图；

图2是本申请某些实施方式的图像处理装置的模块示意图；

图3是本申请某些实施方式的电子设备的结构示意图；

图4是本申请某些实施方式的图像处理方法的原理示意图；

图5是本申请某些实施方式的图像处理方法的流程示意图；

图6是本申请某些实施方式的图像处理方法的流程示意图；

图7是本申请某些实施方式的图像处理方法的流程示意图；

图8是本申请某些实施方式的图像处理方法的流程示意图；

图9是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。

具体实施方式

下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

请参阅图1，本申请实施方式提供一种图像处理方法。该图像处理方法包括步骤：

011：基于预设的检测模型，检测初始样本集中的样本图像的置信度，置信度表示样本图像的类型的准确度；

012：根据置信度，确定样本图像是否为相似样本；

013：过滤多个初始样本集中的相似样本，以生成目标样本集。

请参阅图2，本申请实施方式提供一种图像处理装置10。图像处理装置10包括检测模块11、确定模块12和过滤模块13。检测模块11、确定模块12和过滤模块13分别用于执行步骤011、步骤012和步骤013。检测模块11用于基于预设的检测模型，检测初始样本集中的样本图像的置信度，置信度表示样本图像的类型的准确度；确定模块12用于根据置信度，确定样本图像是否为相似样本；过滤模块13用于过滤多个初始样本集中的相似样本，以生成目标样本集。

请参阅图3，本申请实施方式提供一种电子设备100，电子设备100包括处理器20。处理器20用于基于预设的检测模型，检测初始样本集中的样本图像的置信度，置信度表示样本图像的类型的准确度；根据置信度，确定样本图像是否为相似样本；过滤多个初始样本集中的相似样本，以生成目标样本集。

其中，电子设备100可以是手机、平板电脑、显示设备、笔记本电脑、台式电脑等。

具体地，以自动驾驶领域采集的场景图像作为样本图像为例，车辆的摄像头采集的场景图像的数量是非常庞大的，而庞大的场景图像中，由于车辆可能在场景差异较小的路段行驶，如高速，其场景图像的差异是非常小的，若根据差异较小的样本图像来对检测模型进行训练，则会导致检测模型仅能检测某一类场景，检测模型的性能较差。

本申请的图像处理方法通过预设的检测模型来检测样本图像，检测模型能够输出样本图像的类型以及置信度。样本图像可单独具有一个类型，例如，检测模型识别样本图像的场景类型，样本图像的场景类型可以是高速路场景、城市场景等，样本图像的置信度即表示检测模型对场景类型的检测准确度。

样本图像的类型还可包括样本图像中的每个像素的类型，样本图像的置信度则包括样本图像的每个像素的置信度。从而精确的检测样本图像中包含的不同目标对象的类型，如类型为行人、楼栋、交通信号灯等。

预设的检测模型由预设的训练集训练得到，训练集包括多个训练样本，本实施方式以检测模型能够对样本图像的每个像素的类型和置信度进行输出为例进行说明。

可以理解，置信度越高，说明检测模型对像素的类型的检测准确性越高，置信度越低，则表示检测模型对像素的类型的检测准确性越低。在检测模型检测得到每个像素的类型及置信度后，处理器20根据样本图像的置信度，即可准确的评估检测模型对样本图像的检测准确度的高低，从而确定样本图像是否为相似样本。

例如，处理器20可将样本图像的所有像素的置信度之和、所有像素的置信度的中位数或者所有像素的置信度的平均值来和预设阈值进行比较，若大于预设阈值，则表示检测模型对样本图像的检测准确性较高，因此，可确定样本图像为相似样本。

其中，预设阈值为经验值，对于同一个初始样本集而言，预设阈值设置的越大，则确定的相似样本的数量在初始样本集的比例就越小，因此，可根据初始样本集的样本图像的数量，以及最终需要的目标样本集的样本图像的数量，来确定预设阈值。

请参阅图4，横轴为预设阈值，纵轴为目标样本集占初始样本集的比例，可以看出，预设阈值越大，目标样本集占初始样本集的比例则越大，即相似样本占初始样本集的比例越小。若初始样本集为10000张，目标样本集仅需要1000张，可设置预设阈值为0.88，使得目标样本集占初始样本集的比例大致为0.1，从而在保证获取到足够数量的目标样本集的同时，尽可能保证选取出来的样本图像和经过预设的训练集训练得到的检测模型的训练样本的差异最大。

最后，处理器20将初始样本集中的相似样本过滤掉，从而根据初始样本集中，与训练样本的差异较大的样本图像生成目标样本集，目标样本集可用于后续对检测模型再次进行训练，通过与训练集差异较大的目标样本集进行训练，可提升检测模型的鲁棒性，进一步提升检测模型的性能。

本申请实施方式的图像处理方法、图像处理装置10和电子设备100，在启动送餐服务时，通过检测初始样本集中的样本图像的置信度，可准确地确定检测模型对样本图像的检测准确性。可以理解，检测模型是基于预设的训练集训练的。因此，样本图像的置信度越低，说明检测模型对样本图像的检测准确性越低，样本图像与预设的训练集中的图像的相似性就越低。根据样本图像的置信度，能够准确的确定样本图像是否为相似样本，从而将初始样本集中的相似样本过滤掉，只保留与预设的训练集相似度较低的样本图像，生成目标样本集。通过与训练集相似度较低(即，检测模型学习效果较差的)的目标样本集再次训练检测模型，可增加检测模型的鲁棒性，提升了检测模型的性能，且无需通过人工来对训练样本进行标记选取，减少标记成本。

请参阅图2、图3、图5和图6，在某些实施方式中，图像处理方法还包括：

014：根据预设的训练集训练检测模型，以使得检测模型收敛。

步骤014包括：

0141：输入训练样本到检测模型，以输出训练样本中每个像素的检测类型、检测类型对应的第一概率和第一检测置信度；

0142：根据像素对应的第一概率和第一检测置信度，确定第二概率；

0143：根据像素对应的第二概率、第二概率对应的检测类型、像素的预设类型和像素的预设概率，计算类型损失值；及

0144：根据类型损失值调整检测模型，直至检测模型收敛。

在某些实施方式中，图像处理装置10还包括第一训练模块14，第一训练模块14用于执行步骤014、步骤0141、步骤0142、步骤0143和步骤0144。也即是说，第一训练模块14用于根据预设的训练集训练检测模型，以使得检测模型收敛。第一训练模块14用于输入训练样本到检测模型，以输出训练样本中每个像素的检测类型、检测类型对应的第一概率和第一检测置信度；根据像素对应的第一概率和第一检测置信度，确定第二概率；根据像素对应的第二概率、第二概率对应的检测类型、像素的预设类型和像素的预设概率，计算类型损失值；及根据类型损失值调整检测模型，直至检测模型收敛。

在某些实施方式中，处理器20还用于执行步骤014、步骤0141、步骤0142、步骤0143和步骤0144。即，处理器20用于根据预设的训练集训练检测模型，以使得检测模型收敛。处理器20还用于输入训练样本到检测模型，以输出训练样本中每个像素的检测类型、检测类型对应的第一概率和第一检测置信度；根据像素对应的第一概率和第一检测置信度，确定第二概率；根据像素对应的第二概率、第二概率对应的检测类型、像素的预设类型和像素的预设概率，计算类型损失值；及根据类型损失值调整检测模型，直至检测模型收敛。

具体地，检测模型可根据预设的训练集训练，直至收敛。训练具体如下：

首先，将训练集的训练样本输入到检测模型，例如，训练集包括100张训练样本，每张训练样本输入到检测模型后，检测模型依据初始设置的检测算法，能够输出每张训练样本中每个像素的检测类型、检测类型对应的第一概率和第一检测置信度，例如，检测类型包括车辆和行人，每个检测类型均存在一个对应的第一概率，且每个像素的所有检测类型对应的第一概率的和为1。

例如，像素为车辆的概率为0.8，像素为行人的概率为0.2，第一检测置信度则为该像素0.8的几率为车辆的准确度，例如，在第一检测置信度为1时，则说明检测模型检测该像素0.8的几率为车辆和0.2的几率为行人是准确的，而第一检测置信度为0.5时，说明检测模型检测该像素0.8的几率为车辆和0.2的几率为行人的准确度只有0.5。

处理器20首先根据检测类型对应的第一概率和第一检测置信度，确定第二概率，如第二概率为第一概率和第一检测置信度的乘积，如检测类型为车辆的第一概率为0.8，检测类型为行人的第一概率为0.2，第一检测置信度为0.8，则第二概率对应车辆和行人分别为0.64和0.16，也即是说，检测模型检测该像素0.64的几率为车辆，0.16的概率为行人。

之后，处理器20根据像素对应的第二概率、检测类型、以及该像素的预设类型和预设概率，来计算类型损失值。例如，可根据每个检测类型对应的第二概率和预设概率确定类型损失值(如以第二概率和预设概率的差值确定)。

在一个例子中，类型损失值可根据以下公式计算得到：

其中，Lt为类型损失值，Pi为检测类型i对应的第一概率，Pi’为检测类型i对应的第二概率，c为第一检测置信度，M为检测类型的数量减1，yi为真实的类别标签，yi的值为预设概率，采用one-hot编码。

c为1，表示检测模型非常自信，此时pi＝pi’，相当训练一个不输出第一检测置信度的检测模型。如果c趋向于0，检测模型对训练样本不确定，检测模型则正常训练，使得pi’趋向yi，从而实现每个像素的检测类型、第一概率和第一检测置信度的输出。

例如，检测类型i包括车辆和行人，像素对应的yi为(1,0)，yi的第一项表示像素的预设类型的是否为车辆(为车辆时值为1，否则值为0)，yi的第二项表示像素的预设类型的是否为行人(为行人时值为1，否则值为0)，可以理解，类型损失值中，最终保留的只有检测类型和预设类型相同的类型损失值。

在确定类型损失值后，即可根据类型损失值对检测模型进行调整，具体可以是所有像素的类型损失值之和作为训练样本的类型损失值，然后根据训练样本的类型损失值来对检测模型进行调整，以使得检测模型的梯度不断下降，从而训练至收敛。例如，训练集的100张训练样本经过多轮训练，使得检测模型收敛。如此，在训练时通过检测第一检测置信度，并基于第一检测置信度和第一概率来确定像素的第二概率，使得检测模型在收敛后，能够准确地检测每个样本图像的置信度，如样本图像中每个像素的置信度。

请参阅图2、图3和图7，在某些实施方式中，步骤014还包括：

0145：根据第一检测置信度确定置信度损失值；

步骤0144包括：

0146：根据类型损失值和置信度损失值调整检测模型，直至检测模型收敛。

在某些实施方式中，第一训练模块14还用于执行步骤0145和步骤0146。也即是说，第一训练模块14用于根据第一检测置信度确定置信度损失值；根据类型损失值和置信度损失值调整检测模型，直至检测模型收敛。

在某些实施方式中，处理器20还用于执行步骤0145和步骤0146。即，处理器20用于根据第一检测置信度确定置信度损失值；根据类型损失值和置信度损失值调整检测模型，直至检测模型收敛。

具体地，为了阻止检测模型的经过类型损失值调整后，输出的c总是为0，导致检测模型无法收敛，故添加一个对数惩罚项，即置信度损失值，并使用二分类的交叉熵损失函数确定置信度损失值。

处理器20可根据第一检测置信度计算置信度损失值。例如，置信度损失值的计算函数如下：

其中，n＝1，c为第一检测置信度，yci为预设置信度，yci设置1(即预设置信度始终为1，表示检测模型输出的检测类型和第一概率是准确的)，从而阻止检测模型训练时c一直为0，导致检测模型无法收敛的情况。

在计算得到每个像素的置信度损失值后，可根据类型损失值和置信度损失值共同调整检测模型，以使得检测模型收敛。如将所有像素的类型损失值和置信度损失值的和作为训练样本的最终损失值，从而根据最终损失值来训练检测模型，以使得检测模型收敛。如此，可保证检测模型能够正常输出第一检测置信度的同时，能够正常收敛，且根据最终损失值训练检测模型，能够提高训练效率。

请参阅图2、图3和图8，在某些实施方式中，图像处理方法还包括：

015：根据训练集和目标样本集训练检测模型，以使得检测模型收敛。

在某些实施方式中，第二训练模块15还用于执行步骤015。也即是说，第二训练模块15用于根据训练集和目标样本集训练检测模型，以使得检测模型收敛。

在某些实施方式中，处理器20还用于执行步骤015。即，处理器20用于根据训练集和目标样本集训练检测模型，以使得检测模型收敛。

具体地，在得到目标样本集后，为了进一步提升检测模型的鲁棒性和检测性能，可重新根据目标样本集和训练集来对检测模型进行训练，如将目标样本集和训练集合并为一个目标训练集，再根据目标训练集训练检测模型。根据目标训练集训练检测模型的具体方式请参照根据预设的训练集训练检测模型的方式，在此不再赘述。如此，通过检测模型不仅能够实现图像的类型检测，而且还能够从海量的样本图像中选择与训练检测模型的样本集不同的样本图像，从而提高检测模型的鲁棒性以及检测性能。

在某些实施方式中，计算目标样本集中的任意两张样本图像的相似度，在任意两张样本图像的相似度大于预设相似度时，将相似度大于预设相似度的两张样本图像中的任一张从目标样本集中删除。

具体地，通过检测模型，可以从海量样本图像中选择与训练样本差异较大的样本图像，但检测模型可能选出相同或场景相同的样本图像，为了确保选择样本多样性及有效性，处理器可对目标样本集中的样本图像进行处理，以计算任意两张样本图像的相似度，在相似度大于预设相似度(如80％)时，可确定两张样本图像的可能是相同场景的样本图像(如在车辆行驶过程中，连续采集的多张场景图像的场景内容基本是相同的)，因此，可将相似度大于预设相似度的两张样本图像中的任一张从目标样本集中删除，从而保证目标样本集中的样本图像不仅和训练样本是存在差异的，相互之间也是存在差异的，从而提高使用目标样本集训练检测模型后，检测模型的鲁棒性。

请参阅图9，本申请实施方式还提供一种包含计算机程序401的非易失性计算机可读存储介质400。当计算机程序401被一个或多个处理器500执行时，使得一个或多个处理器500执行上述任一实施方式的图像处理方法。

请结合图1，例如，计算机程序201被一个或多个处理器2020执行时，使得处理器2020执行以下图像处理方法：

011：基于预设的检测模型，检测初始样本集中的样本图像的置信度，置信度表示样本图像的类型的准确度；

012：根据置信度，确定样本图像是否为相似样本；

013：过滤多个初始样本集中的相似样本，以生成目标样本集。

请结合图5和图6，再例如，计算机程序201被一个或多个处理器2020执行时，使得处理器2020执行以下图像处理方法：

014：根据预设的训练集训练检测模型，以使得检测模型收敛。

步骤014包括：

0141：输入训练样本到检测模型，以输出训练样本中每个像素的检测类型、检测类型对应的第一概率和第一检测置信度；

0142：根据像素对应的第一概率和第一检测置信度，确定第二概率；

0143：根据像素对应的第二概率、第二概率对应的检测类型、像素的预设类型和像素的预设概率，计算类型损失值；及

0144：根据类型损失值调整检测模型，直至检测模型收敛。

在本说明书的描述中，参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；

根据所述置信度，确定所述样本图像是否为相似样本；

过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：

根据预设的训练集训练所述检测模型，以使得所述检测模型收敛。

3.根据权利要求2所述的图像处理方法，其特征在于，所述训练集包括多个训练样本，所述根据预设的训练集训练所述检测模型，以使得所述检测模型收敛，包括：

输入所述训练样本到所述检测模型，以输出所述训练样本中每个像素的检测类型、所述检测类型对应的第一概率、和第一检测置信度；

根据所述像素对应的所述第一概率和所述第一检测置信度，确定第二概率；

根据所述像素对应的所述第二概率、所述第二概率对应的所述检测类型、所述像素的预设类型和所述像素的预设概率，计算类型损失值；及

根据所述类型损失值调整所述检测模型，直至所述检测模型收敛。

4.根据权利要求3所述的图像处理方法，其特征在于，所述训练集包括多个训练样本，所述根据预设的训练集训练所述检测模型，以使得所述检测模型收敛，还包括：

根据所述第一检测置信度确定置信度损失值；

所述根据所述类型损失值调整所述检测模型，直至所述检测模型收敛，包括：

根据所述类型损失值和所述置信度损失值调整所述检测模型，直至所述检测模型收敛。

5.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述类型损失值和所述置信度损失值调整所述检测模型，直至所述检测模型收敛，包括：

根据所述训练样本的所有像素的所述类型损失值与所有像素的所述置信度损失值的和调整所述检测模型，直至所述检测模型收敛。

6.根据权利要求1所述的图像处理方法，其特征在于，所述根据预设的训练集训练所述检测模型，以使得所述检测模型收敛，包括：

根据所述训练集和所述目标样本集训练所述检测模型，以使得所述检测模型收敛。

7.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述置信度，确定所述样本图像是否为相似样本，包括：

在所述样本图像中，所有像素的置信度的和、中位数、或平均值大于预设阈值时，确定所述样本图像为相似样本。

8.根据权利要求1所述的图像处理方法，其特征在于，所述预设阈值越大，所述相似样本占所述初始样本集的比例越小。

9.一种图像处理装置，其特征在于，包括：

检测模块，用于基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；

确定模块，用于根据所述置信度，确定所述样本图像是否为相似样本；及

过滤模块，用于过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于基于预设的检测模型，检测初始样本集中的样本图像的置信度，所述置信度表示所述样本图像的类型的准确度；根据所述置信度，确定所述样本图像是否为相似样本；过滤多个所述初始样本集中的所述相似样本，以生成目标样本集。

11.一种包括计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-8任意一项所述的图像处理方法。

Images