CN111382807B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取样本图像集；所述样本图像集包括第一样本图像和第二样本图像；所述第一样本图像的数量和所述第二样本图像的数量均多于一个；提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征；根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征；根据各所述第二样本图像之间的相似度，确定各所述第二样本图像的多样性特征；基于所述第二样本图像的难易度特征和多样性特征，对所述第二样本图像进行筛选；筛选出的第二样本图像和所述第一样本图像共同用于模型训练。采用本方法能够提升模型训练效率。

Description

图像处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。

背景技术

随着人工智能的兴起和发展，机器学习模型的训练、以及采用训练的机器学习模型进行数据处理越来越广泛。比如，采用图像样本训练用于进行图像处理的分类模型或者使用分类模型对图像进行分类处理等。

目前在训练图像处理模型时，需要使用大量的样本图像来进行训练，才能达到较好的模型训练效果。由于样本图像量大，会导致模型训练耗时长的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低模型训练耗时的图像处理方法、装置、计算机设备和存储介质。

一种图像处理方法，所述方法包括：

获取样本图像集；所述样本图像集包括第一样本图像和第二样本图像；所述第一样本图像的数量和所述第二样本图像的数量均多于一个；

提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征；

根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征；

根据各所述第二样本图像之间的相似度，确定各所述第二样本图像的多样性特征；

基于所述第二样本图像的难易度特征和多样性特征，对所述第二样本图像进行筛选；筛选出的第二样本图像和所述第一样本图像共同用于模型训练。

一种图像处理装置，所述装置包括：

获取模块，用于获取样本图像集；所述样本图像集包括第一样本图像和第二样本图像；所述第一样本图像的数量和所述第二样本图像的数量均多于一个；

提取模块，用于提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征；

确定模块，用于根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征；根据各所述第二样本图像之间的相似度，确定各所述第二样本图像的多样性特征；

筛选模块，用于基于所述第二样本图像的难易度特征和多样性特征，对所述第二样本图像进行筛选；筛选出的第二样本图像和所述第一样本图像共同用于模型训练。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤。

上述图像处理方法、装置、计算机设备和存储介质，在获取到包括第一样本图像和第二样本图像的样本图像集后，即自动提取各第一样本图像的图像特征以及各第二样本图像的图像特征，通过度量第二样本图像与第一样本图像在图像特征上的相似度，量化出第二样本图像对于模型训练的难易程度，并通过度量第二样本图像之间的相似度，量化出第二样本图像的多样化程度。这样，基于第二样本图像对于模型训练的难易程度以及多样化程度来筛选第二样本图像，可以筛选出更有价值的第二样本图像；而且，筛选出的第二样本图像和第一样本图像共同用于模型训练时，既能极大地提高模型训练的效率，又能在极大程度上保障训练模型所取得的性能，尤其是在突发情况下训练模型时间有限的场景下效果尤为明显。

附图说明

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程示意图；

图3为一个实施例中图像处理方法的原理示意图；

图4为另一个实施例中图像处理方法的流程示意图；

图5为一个实施例中基于度量学习的图像处理的原理示意图；

图6A为一个实施例中可视化展示负样本图像的难易度特征向量和多样性特征向量的示意图；

图6B为另一个实施例中可视化展示负样本图像的难易度特征向量和多样性特征向量的示意图；

图6C为另一个实施例中可视化展示负样本图像的难易度特征向量和多样性特征向量的示意图；

图7为一个实施例中图像处理装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明：

本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102获取样本图像集后上传至服务器104，其中，该样本图像集包括第一样本图像和第二样本图像。服务器104在获取到终端102上传的样本图像集后，提取样本图像集中各第一样本图像的图像特征以及各第二样本图像的图像特征；然后根据第二样本图像与第一样本图像在图像特征上的相似度，确定各第二样本图像的难易度特征；以及根据第二样本图像之间的相似度，确定各第二样本图像的多样性特征；再基于第二样本图像的难易度特征和多样性特征，对第二样本图像进行筛选。这样，第一样本图像和筛选出的第二样本图像共同用于模型训练时，一方面由于样本数量减少，可以降低模型训练的耗时，提高模型训练效率；另一方面由于第二样本图像筛选是以第二样本图像的难易度特征和多样性特征为依据进行的，依此筛选出的第二样本图像兼顾其对模型的难易程度和自身的多样性更具价值，即使训练模型的样本量减少仍能保障训练模型所取得的性能可达到甚至优于使用所有样本图像训练模型所取得的性能。

在另外的实施例中，终端102和服务器104均可单独用于执行本申请提供的图像处理方法。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于计算机设备为例进行说明。该计算机设备可以是图1中的终端102，也可以是图1中的服务器104。该图像处理方包括以下步骤：

步骤202，获取样本图像集；样本图像集包括第一样本图像和第二样本图像；第一样本图像的数量和第二样本图像的数量均多于一个。

其中，样本图像集是用于训练模型的样本图像的集合。样本图像是用作模型训练样本的图像。可以理解，在训练模型时，可以使用样本图像集中所有样本图像来进行训练；也可以使用样本图像集中部分样本图像来进行训练。本申请实施例中，在保障训练模型所取得性能的条件下，从样本图像集中筛选出部分样本图像来进行训练，减少了模型训练的样本量，可以提高模型的训练效率。

在本申请实施例中，样本图像集包括第一样本图像和第二样本图像，第一样本图像的数量和第二样本图像的数量均多于一个，第一样本图像和第二样本图像所属的类别不同。第一样本图像所属的类别可以唯一也可以多于一种，第二样本图像所属的类别可以唯一也可以多于一种。

举例说明，图3示出了一个实施例中图像处理的原理示意图。参考图3可以看到样本图像集包括第一样本图像和第二样本图像。

在一个实施例中，在待训练的目标模型为二分类模型时，第一样本图像可以是正样本图像，是用作正样本的图像；第二样本图像可以是负样本图像，是用作负样本的图像。正样本是指属于某一类别的样本，负样本则是指不属于该类别的样本。比如，在人脸识别的模型场景中，包括人脸的图像可以用作正样本图像，不包括人脸的图像则可以用作负样本图像。当然，第一样本图像也可以是负样本图像，第二样本图像则可以是正样本图像。

其中，目标模型是对样本图像进行筛选后，采用筛选出的样本图像去训练的对象，是一种机器学习模型。机器学习模型可采用神经网络模型、支持向量机或者逻辑回归模型等。

在一个实施例中，在待训练的目标模型为多分类模型时，第一样本图像是属于某一类别的样本图像，第二样本图像可以是属于另一类别的样本图像。样本图像集还可以包括属于其他类别的样本图像，如第三样本图像和/或第四样本图像等。比如，在图像分类的模型场景中，人物图像可以用作第一样本图像，动物图像可以用作第二样本图像，植物图像可以用作第三样本图像。

在一个实施例中，在待训练的目标模型为多分类模型时，第一样本图像可以是属于某一类别的样本图像，不属于该类别的样本图像可以统称为第二样本图像；当然也可以是第二样本图像属于某一类别的样本图像，不属于该类别的样本图像可以统称为第一样本图像。

在一个具体的实施例中，用作模型训练样本的图像可以是医学影像，即样本图像可以是样本医学影像。医学影像是一种医学领域的特殊图像，是为了医疗或医学研究，对目标对象以非侵入方式取得的内部组织影像。比如，电子计算机断层扫描(ComputedTomography，CT)图像、磁共振成像(Magnetic ResonanceImaging，MRI)图像、超声(B超、彩色多普勒超声、心脏彩超以及三维彩超)图像、X光图像、心电图、脑电图以及光学摄影等由医学仪器生成的图像。

在一个具体的实施例中，样本医学影像包括正样本医学影像和负样本医学影像。正样本医学影像可以是属于某一类别的医学影像，负样本医学影像则是不属于该类别的医学影像。比如，正样本医学影像是CT图像，负样本医学影像为非CT图像。再比如，正样本医学影像是新冠肺炎CT图像，负样本医学影像为非新冠肺炎CT图像。

步骤204，提取各第一样本图像的图像特征及各第二样本图像的图像特征。

其中，图像特征是反映图像特性的数据。具体地，计算机设备可通过特征提取模型提取样本图像的图像特征。特征提取模型可采用神经网络模型、支持向量机或者逻辑回归模型等。特征提取模型可以是专用于提取图像特征的模型，模型的输出为提取的图像特征。特征提取模型也可以是实现其他功能的模型，模型中间层的输出为提取的图像特征。比如分类模型中分类层之前层的输出。

特征提取模型可事先根据样本训练得到。模型训练可以是监督学习或自监督学习等模型训练方式。具体的模型训练过程可参考后续实施例中的相关描述。

具体地，计算机设备可将各第一样本图像以及各第二样本图像，分别输入特征提取模型，获取该特征提取模型中网络层的输出，得到图像特征。在另外的实施例中，计算机设备也可采用其他方式提取样本图像的图像特征。

继续参考图3，可以看到将样本图像集中的样本图像输入特征提取模型，可以得到各样本图像各自相应的图像特征。

步骤206，根据各第二样本图像与各第一样本图像在图像特征上的相似度，确定各第二样本图像的难易度特征。

需要说明的是，在本实施例中，第二样本图像是需要进行筛选的图像。

其中，难易度特征是反映样本对于目标模型的难易程度特征层面的数据。可以理解，第二样本图像与第一样本图像在图像特征上越相似，即代表第二样本图像在特征表达上与第一样本图像越接近，目标模型越难以区分，对目标模型的难度越大。目标模型是采用样本图像进行训练的对象。

具体地，计算机设备可对每一个第二样本图像，计算该第二样本图像的图像特征与每一个第一样本图像的图像特征之间的相似度，度量出每一个第二样本图像的图像特征到第一样本特征池的距离。第一样本特征池包括各第一样本图像的图像特征。这样，通过度量出第二样本图像的图像特征到第一样本特征池的距离，从而量化第二样本图像对于目标模型的难易程度。

继续参考图3，可以看到根据各第二样本图像与各第一样本图像在图像特征上的相似度，可以得到各第二样本图像的难易度特征。

步骤208，根据各第二样本图像之间的相似度，确定各第二样本图像的多样性特征。

其中，多样性特征是反映样本多样性特征层面的数据。可以理解，第二样本图像与其他第二样本图像的相似性越低，即代表该第二样本图像越多样化。

具体地，计算机设备可对每一个第二样本图像，计算该第二样本图像与每一个第二样本图像之间的相似度，度量出每一个第二样本图像与其他第二样本图像在特征空间的距离。这样，通过度量出第二样本图像与其他第二样本图像在特征空间的距离，从而量化第二样本图像的多样化程度。

其中，特征空间可以是图像特征的特征空间，那么计算该第二样本图像与每一个第二样本图像之间的相似度，即计算该第二样本图像的图像特征与每一个第二样本图像的图像特征之间的相似度。特征空间也可以是难易度特征的特征空间，那么计算该第二样本图像与每一个第二样本图像之间的相似度，即计算该第二样本图像的难易度特征与每一个第二样本图像的难易度特征之间的相似度。

继续参考图3，可以看到根据各第二样本图像与各第二样本图像在图像特征或者难易度特征上的相似度，可以得到各第二样本图像的多样性特征。

步骤210，基于第二样本图像的难易度特征和多样性特征，对第二样本图像进行筛选；筛选出的第二样本图像和第一样本图像共同用于模型训练。

具体地，计算机设备在得到每个第二样本图像的难易度特征和多样性特征后，兼顾这两种特征层面的特征数据，对第二样本图像进行筛选，筛选出的第二样本图像和第一样本图像用作训练集来训练目标模型。其中，筛选出的第二样本图像，覆盖了不同难度和不同多样性的样本，更满足模型训练的实际需要。

继续参考图3，可以看到第二样本图像的难易度特征和多样性特征，可以第二样本图像进行筛选，筛选出的第二样本图像和第一样本图像共同用于训练目标模型。

上述图像处理方法，在获取到包括第一样本图像和第二样本图像的样本图像集后，即自动提取各第一样本图像的图像特征以及各第二样本图像的图像特征，通过度量第二样本图像与第一样本图像在图像特征上的相似度，量化出第二样本图像对于模型训练的难易程度，并通过度量第二样本图像之间的相似度，量化出第二样本图像的多样化程度。这样，基于第二样本图像对于模型训练的难易程度以及多样化程度来筛选第二样本图像，可以筛选出更有价值的第二样本图像；而且，筛选出的第二样本图像和第一样本图像共同用于模型训练时，既能极大地提高模型训练的效率，又能在极大程度上保障训练模型所取得的性能，尤其是在突发情况下训练模型时间有限的场景下效果尤为明显。

在一个实施例中，步骤204包括：通过深度学习网络，分别提取各第一样本图像的图像特征以及各第二样本图像的图像特征；其中，深度学习网络根据第一样本图像自监督学习得到。

其中，深度学习网络是用于从样本图像中提取图像特征的模型。深度学习网络可以用作上述实施例提到的特征提取模型。可以理解，在需要对第二样本图像进行筛选，以筛选出有价值的第二样本图像时，为了度量第二样本到第一样本池的距离，从而量化第二样本对于目标模型的难易程度，在训练深度学习网络的阶段，可以仅使用第一样本图像对深度学习网络进行预训练。深度学习网络可以是一种机器学习模型。

自监督学习是基于无监督的数据，通过数据本身的结构或者特性，自动构造训练标签，再类似监督学习一样进行学习的模型训练方式。自监督学习的训练标签不需要人工设置，可以减少训练成本。

在一个具体的实施例中，计算机设备可采用魔方变换的自监督方式训练深度学习网络。具体地，计算机设备可先对第一样本图像进行类似打乱魔方的操作，将魔方的解法作为监督信息，训练深度学习网络复原被打乱的第一样本图像。其中，模型训练的训练评价指标为网络解决打乱第一样本图像的正确率。

在一个具体的实施例中，样本图像为三维样本医学影像。

具体地，计算机设备可获取通过第一样本图像自监督学习得到深度学习网络，每次将样本图像集中的其中一个样本图像输入深度学习网络，得到该样本图像的图像特征，从而得到各第一样本图像的图像特征以及各第二样本图像的图像特征。

继续参考图3，可以看出，用于对样本图像进行特征提取的深度学习网络（特征提取模型），根据第一样本图像训练得到。

上述实施例中，一方面通过第一样本图像训练得到的深度学习网络来提取第一样本图像以及第二样本图像的图像特征，可以更好地度量第二样本图像到第一样本图像池的距离；另一方面通过自监督学习方式训练深度学习网络，可以免去人工设置监督信息的工作量，降低人力成本。

在一个实施例中，在第一样本图像仅包括一种类别的样本图像时，可采用这些第一样本图像自监督学习得到一个深度学习网络，后续即可度量第二样本图像到第一样本图像所属类别的样本图像池的距离。在第一样本图像包括多于一种类别的样本图像时，计算机设备可通过各个类别的样本图像分别自监督学习得到一个深度学习网络。即深度学习网络的数量与第一样本图像的类别的数量相同。这样可以分别度量第二样本图像到每一种类别的样本图像池的距离。

在一个实施例中，步骤206包括：分别将每个第二样本图像作为目标样本图像；计算目标样本图像的图像特征与各第一样本图像的图像特征的相似度；将相似度作为向量元素，得到目标样本图像相应的难易度特征向量；难易度特征向量的向量维度与第一样本图像的数量相同；难易度特征向量的向量元素均值与第二样本图像的难易程度成反比。

其中，样本图像在图像特征上的相似度具体可以采用余弦相似度、搬土距离（Earth mover's distance，EMD）、曼哈顿距离或者马氏距离等。

具体地，目标样本图像表示计算机设备处理的目标。计算机设备会对每一个第二样本图像，计算该第二样本图像的图像特征分别与每一个第一样本图像的图像特征之间的相似度，故每一个第二样本图像均会被作为目标样本图像。由于每一个第二样本图像分别与每一个第一样本图像均会计算出一个图像特征上的相似度，故每一个第二样本图像对应计算出的相似度的数量，与第一样本图像的数量相同。将一个第二样本图像对应计算出的相似度作为向量元素，可得到该第二样本图像相应的难易度特征向量，该难易度特征向量的向量维度与第一样本图像的数量相同。举例说明，假设第一样本图像的数量为246，那么对其中一个第二样本图像PNi，计算其与246个第一样本图像的相似度，可以得到一个246维的难易度特征向量。

其中，难易度特征向量的向量元素均值能反映第二样本图像到第一样本特征池的距离，距离越近代表特征表达上与第一样本图像越接近，使得目标模型越难区分。因此，难易度特征向量的向量元素均值与第二样本图像的难易程度成反比，即难易度特征向量的向量元素均值越小，第二样本图像对于目标模型的难度越大。

在一个具体的实施例中，计算机设备采用搬土距离来衡量特征之间的相似度。搬土距离的计算公式如下：

（1）

该计算公式（1）包括以下约束条件：

（2）

其中，

表示一个样本图像的高维特征（如图像特征或者难易度特征等），

表示另一个图像样本的高维特征，D表示高维特征的维度，具体地：

,

。

表示两个高维特征之间的搬土距离，

表示连接

与

的路径的权重，

表示

与

之间的距离。在实际的应用中可将

统一设置为1，即各路径的权重相等。

上述实施例中，通过计算第二样本图像与每一个第一样本图像的特征之间的相似度，来度量第二样本图像到第一样本特征池的距离，从而量化第二样本对于目标模型的难易程度。这样可以此为依据来筛选第二样本图像，提高样本筛选效果。

在一个实施例中，在待训练的目标模型为二分类模型、且需要对负样本图像进行筛选时，或者，在待训练的目标模型为多分类模型、需要对第二样本图像进行筛选、且第一图像样本和第二图像样本都是单类别样本时，即可直接按照上述实施例筛选出负样本图像（或第二样本图像）。

在一个实施例中，在待训练的目标模型为多分类模型、需要对第二样本图像进行筛选、且第一样本图像包括多于一种类别的样本图像时，计算机设备还可对每个第二样本图像，计算该第二样本图像的图像特征分别与每一个类别的每一个样本图像的图像特征之间的相似度。其中，要计算第二样本图像和哪一类别样本图像在图像特征上的相似度时，采用基于该类别样本图像训练得到的深度学习模型来提取图像特征计算相似度。而且计算机设备还可以对每个第二样本图像分别得到多个中间难易度特征，该中间难易度特征的数量与第一样本图像的类别的数量相同，然后根据这些中间难易度特征得到最终的难易度特征。

举例说明，假设待训练的目标模型为多分类模型，第二样本图像是属于某一类别的样本图像，不属于该类别的样本图像统称为第一样本图像。假设第一样本图像的数量为756，其中，A类别样本图像的数量为168，B类别样本图像的数量为391，C类别样本图像的数量为197。对于其中一个第二样本图像，计算机设备可直接计算该第二样本图像分别与756个第一样本图像之间在图像特征上的相似度，得到756维的难易度特征向量。计算机设备也可分类别计算该第二样本图像分别与某个类别的样本图像在图像特征上的相似度，得到3个中间难易度特征向量（168维、391维和197维），将根据这三个中间难易度特征向量得到最终的难易度特征向量，比如拼接、加权求和或者融合等。

其中，无论是直接计算难易度特征向量还是分步计算难易度特征向量，在计算第二样本图像与某个类别的样本图像在图像特征上的相似度时，提取该图像特征的深度学习网络根据该类别的样本图像训练得到。

在一个实施例中，在待训练的目标模型为多分类模型、需要对第二样本图像进行筛选、且第二样本图像包括多于一种类别的样本图像时，计算机设备还可对每一类第二样本图像，计算该类别的第二样本图像的图像特征分别与每一个第一样本图像的图像特征之间的相似度，即按类别分批次计算相似度。后续筛选时，即按类别筛选。

举例说明，假设待训练的目标模型为多分类模型，第一样本图像是属于某一类别的样本图像，不属于该类别的样本图像统称为第二样本图像。假设第一样本图像的数量为156，第二样本图像的数量为756，其中，A类别样本图像的数量为168，B类别样本图像的数量为391，C类别样本图像的数量为197。对于A类别的其中一个第二样本图像，计算机设备可直接计算该类别的第二样本图像分别与156个第一样本图像之间在图像特征上的相似度，得到156维的难易度特征向量；对于B类别的其中一个第二样本图像，计算机设备可直接计算该类别的第二样本图像分别与156个第一样本图像之间在图像特征上的相似度，得到156维的难易度特征向量；对于C类别的其中一个第二样本图像，计算机设备可直接计算该类别的第二样本图像分别与156个第一样本图像之间在图像特征上的相似度，得到156维的难易度特征向量。后续，计算机设备则分别对A类别、B类别和C类别的第二样本图像进行筛选，这三个类别分别筛选出的第二样本图像的集合即为最终筛选出的第二样本图像。

另外，在待训练的目标模型为多分类模型、需要对第二样本图像进行筛选、且第一样本图像和第二样本图像都包括多于一种类别的样本图像时，则结合上述两个实施例的处理步骤。可以理解，多于多分类情况的处理，即是将多分类划分为多个二分类，分别对每个二分类进行处理，在对二分类结果再次度量。

在一个实施例中，步骤208包括：根据各第二样本图像之间在图像特征上的相似度，确定各第二样本图像的多样性特征；或者，根据各第二样本图像之间在难易度特征上的相似度，确定各第二样本图像的多样性特征。

在一个实施例中，根据各第二样本图像之间在图像特征上的相似度，确定各第二样本图像的多样性特征，包括：分别将每个第二样本图像作为目标样本图像；计算目标样本图像的图像特征与各第二样本图像的图像特征之间的相似度；将相似度作为向量元素，得到目标样本图像相应的多样性特征向量；多样性特征向量的向量维度与第二样本图像的数量相同；多样性特征向量的向量元素均值与第二样本图像的多样性程度成正比。

具体地，目标样本图像表示计算机设备处理的目标。计算机设备会对每一个第二样本图像，计算该第二样本图像的图像特征分别与每一个第二样本图像的图像特征之间的相似度，故每一个第二样本图像均会被作为目标样本图像。由于每一个第二样本图像分别与每一个第二样本图像均会计算出一个图像特征上的相似度，故每一个第二样本图像对应计算出的相似度的数量，与第二样本图像的数量相同。将一个第二样本图像对应计算出的相似度作为向量元素，可得到该第二样本图像相应的多样性特征向量，该多样性特征向量的向量维度与第二样本图像的数量相同。

举例说明，假设第二样本图像的数量为1785，那么对其中一个第二样本图像PNi，计算其与1785个第二样本图像的相似度，可以得到一个1785维多样性特征向量。

其中，多样性特征向量的向量元素均值能反映第二样本图像相对其他第二样本图像的距离，距离越近代表第二样本图像与其他第二样本图像越相似，则第二样本图像的多样化程度越低。因此，多样性特征向量的向量元素均值与第二样本图像的多样化程度成正比，即多样性特征向量的向量元素均值越大，第二样本图像的多样化程度越高。

在一个实施例中，根据各第二样本图像之间在难易度特征上的相似度，确定各第二样本图像的多样性特征，包括：分别将每个第二样本图像作为目标样本图像；计算目标样本图像的难易度特征与各第二样本图像的难易度特征之间的相似度；将相似度作为向量元素，得到目标样本图像相应的多样性特征向量；多样性特征向量的向量维度与第二样本图像的数量相同；多样性特征向量的向量元素均值与第二样本图像的多样性程度成正比。

其中，样本图像在难易度特征上的相似度，也可以采用余弦相似度、搬土距离（Earth mover's distance，EMD）、曼哈顿距离或者马氏距离等。

具体地，目标样本图像表示计算机设备处理的目标。计算机设备会对每一个第二样本图像，计算该第二样本图像的难易度特征分别与每一个第二样本图像的难易度特征之间的相似度，故每一个第二样本图像均会被作为目标样本图像。由于每一个第二样本图像分别与每一个第二样本图像均会计算出一个难易度特征上的相似度，故每一个第二样本图像对应计算出的相似度的数量，与第二样本图像的数量相同。将一个第二样本图像对应计算出的相似度作为向量元素，可得到该第二样本图像相应的多样性特征向量，该多样性特征向量的向量维度与第二样本图像的数量相同。

上述实施例中，通过计算第二样本图像与每一个第二样本图像的特征之间的相似度，来度量第二样本图像与其他第二样本图像的距离，从而量化第二样本图像的多样化程度。这样可以此为依据来筛选第二样本图像，提高样本筛选的效果。而且，在通过第二样本图像与每一个第二样本图像的难易度特征之间的相似度，来度量第二样本图像与其他第二样本图像的距离时，由于难易度特征是根据第二样本图像与每一个第一样本图像的图像特征之间的相似度得到，兼顾了第二样本图像与第一样本图像的相似度，使得第二样本图像多样化程度的量化结果更加可靠。

在一个实施例中，基于第二样本图像的难易度特征和多样性特征，对第二样本图像进行筛选，包括：按照难易度特征对相应的第二样本图像进行排序得到第一排序分布；按照多样性特征对相应的第二样本图像进行排序得到第二排序分布；根据第一排序分布和第二排序分布得到第二样本图像的综合排序；对综合排序下的第二样本图像进行采样，得到筛选出的第二样本图像。

具体地，计算机设备可计算难易度特征的难易度特征值以及多样性特征的多样性特征值，对第二样本图像按照相应的难易度特征值的升序排序得到第一排序分布，并按照第二样本图像按照相应的多样性特征值的降序排序得到第二排序分布。

在一个实施例中，难易度特征和多样性特征均为向量，可将难易度特征向量的向量元素平均值作为难易度特征值，将多样性特征向量的向量元素平均值作为多样性特征值，再对难易度特征值和多样性特征值加权求和，得到联合评估量化结果。

在一个实施例中，根据第一排序分布和第二排序分布得到第二样本图像的综合排序，包括：按照相应的排序权重联合第一排序分布和第二排序分布，得到第二样本图像的综合排序。对综合排序下的第二样本图像进行采样，得到筛选出的第二样本图像，包括：采用长尾分布的采样方式从综合排序下的第二样本图像中，采样得到预设数量的第二样本图像。

具体地，计算机设备再按照相应的排序权重联合第一排序分布和第二排序分布，得到第二样本图像的综合排序，如下式所示：

（3）

其中，

为难易度特征（Difficulty），

为多样性特征（Diversity），

表示第一排序分布，

为第二排序分布，

为第一排序分布的排序权重，

为第二排序分布的排序权重。

为综合排序结果。

进一步地，计算机设备可采用长尾分布的形式对综合排序下的第二样本图像进行数量为N的采样，在排序较高的区域采集更多的样本，且采集的负样本图像覆盖不同难度和多样性的样本的数据。

上述实施例中，将不同难度与多样性的数据加入训练集，可以利用较少的训练数据得到较好的模型性能，从而大幅减少模型训练时间，完成模型的快速迭代与部署，而且符合模型训练的实际需求。

在一个实施例中，步骤204包括：通过第一深度学习网络，分别提取各第一样本图像的第一图像特征以及各第二样本图像的第一图像特征；第一深度学习网络根据第一样本图像自监督学习得到；通过第二深度学习网络，分别提取各第一样本图像的第二图像特征以及各第二样本图像的第二图像特征；第二深度学习网络根据第二样本图像自监督学习得到。

可以理解，在需要对第二样本图像进行筛选，以从大量第二样本图像中筛选出有价值的第二样本图像时，为了度量第二样本到第一样本池的距离，从而量化第二样本对于目标模型的难易程度，在训练深度学习网络的阶段，可以仅使用第一样本图像对深度学习网络进行预训练。另一方面，在需要对第一样本图像进行筛选，以从大量第一样本图像中筛选出有价值的第一样本图像时，为了度量第一样本到第二样本池的距离，从而量化第一样本对于目标模型的难易程度，在训练深度学习网络的阶段，可以仅使用第二样本图像对深度学习网络进行预训练。也就是说，采用第一样本图像训练的深度学习网络用来筛选第二样本图像，采用第二样本图像训练的深度学习网络用来筛选第一样本图像。

在一个实施例中，步骤206包括：根据第二样本图像与第一样本图像在第一图像特征上的相似度，确定各第二样本图像的难易度特征。该图像处理方法还包括：根据各第一样本图像与各第二样本图像在第二图像特征上的相似度，确定各第一样本图像的难易度特征；根据各第一样本图像之间的相似度，确定各第一样本图像的多样性特征；基于第一样本图像的难易度特征和多样性特征，对第一样本图像进行筛选；筛选出的第二样本图像和筛选出的第一样本图像共同用于模型训练。

具体地，在筛选第二样本图像时，先由基于第一样本图像训练得到的第一深度学习网络来对样本图像进行特征提取，再基于第一深度学习网络提取的第一图像特征来进行后续第二样本图像的难易度特征以及多样性特征的计算，进而依据第二样本图像的难易度特征以及多样性特征来对第二样本图像进行筛选。在筛选第一样本图像时，则先由基于第二样本图像训练得到的第二深度学习网络来对样本图像进行特征提取，再基于第二深度学习网络提取的第二图像特征来进行后续第一样本图像的难易度特征以及多样性特征的计算，进而依据第一样本图像的难易度特征以及多样性特征来对第一样本图像进行筛选。

这样，在某一类别或某些类别的样本的数量较大时，都可以基于样本的难易程度和多样性对样本进行筛选，减少样本的数量，进而减少模型训练时间。

本申请还提供一种对突发状况进行响应的应用场景。可以理解，机器学习模型（包括深度学习网络）通常需要大量的样本数据进行学习才能得到比较令人满意的性能。但是现实应用中往往会出现一些突发状况，这些突发状况下存在应对突发人工智能引擎开发的需求，且此时机器学习模型的开发和训练时间十分有限。本申请提供的基于度量学习的图像处理方法能够在大量的训练数据中找到有价值的训练数据，从而减少训练数据的总量，缩短模型训练与开发周期；进而可以有效应对突发人工智能引擎开发的需求，缩短基于机器学习模型的人工智能引擎开发周期（主要是缩短引擎训练时长），从而实现人工智能引擎的快速迭代与部署。比如，面对紧急实施垃圾分类管理时，快速训练用于处理垃圾图像的机器学习模型，识别垃圾所属类别；或者，面对紧急实施高速公路全面ETC通行时，快速训练用于处理车牌图像的机器学习模型，识别车牌图像中的车牌号码等。尤其是在智能医学领域，比如面对大规模突发性传染疾病时，需要快速训练用于处理医学影像的机器学习模型，此时效果更为明显。

具体地，该图像处理方法在该应用场景应用时，样本图像集为样本医学影像集，样本医学影像集包括正样本医学影像和负样本医学影像，正样本医学影像的数量远小于负样本医学影像的数量，需要对负样本医学影像进行筛选。该图像处理方法在该应用场景具体包括以下步骤：

步骤402，获取样本医学影像集；样本医学影像集包括正样本医学影像和负样本医学影像；正样本医学影像的数量和负样本医学影像的数量均多于一个，且正样本医学影像的数量远小于负样本医学影像的数量。

在一个具体的实施例中，计算机设备可获取多家医院提供的305个新冠肺炎（COVID-19）CT数据作为正样本医学影像，2000个非新冠肺炎CT数据作为负样本医学影像。其中，246例COVID-19 CT数据和1785例非新冠肺炎CT数据作为模型训练的训练集。剩下的数据用作模型测试的测试集。

步骤404，通过深度学习网络，分别提取各正样本医学影像的图像特征及各负样本医学影像的图像特征；该深度学习网络根据正样本医学影像自监督学习得到。

举例说明，图5示出了一个实施例中基于度量学习的图像处理的原理示意图。参考图5，计算机设备在获取到样本医学影像集，样本医学影像集包括正样本医学影像和负样本医学影像。计算机设备采用深度学习网络对样本医学影像集中的各样本医学影像提取图像特征，得到两个特征池即该图5中的正样本特征池（Positive sample feature pool）和负样本特征池（Negative sample feature pool）。

步骤406，分别将每个负样本医学影像作为目标样本医学影像；计算目标样本医学影像的图像特征与各正样本医学影像的图像特征的第一相似度；将第一相似度作为向量元素，得到目标样本医学影像相应的难易度特征向量；该难易度特征向量的向量维度与正样本医学影像的数量相同，且该难易度特征向量的向量元素均值与负样本医学影像的难易程度成反比。

举例说明，假设正样本医学影像的数量为246。计算机设备计算负样本医学影像与每一个正样本医学影像的相似度，那么对于该负样本医学影像，即可得到246个相似度，继而可以得到一个246维的难易度特征向量。该难易度特征向量的向量元素均值能反映负样本医学影像到正样本医学影像特征池的距离。距离越近代表在特征表达上与正样本医学影像越接近，使得目标模型难以区分，因此，负样本医学影像到正样本医学影像特征池的距离越小，负样本医学影像对于目标模型的难度越大。

步骤408，分别将每个负样本医学影像作为目标样本医学影像；计算目标样本医学影像的难易度特征与各负样本医学影像的难易度特征之间的第二相似度；将第二相似度作为向量元素，得到目标样本医学影像相应的多样性特征向量；该多样性特征向量的向量维度与负样本医学影像的数量相同，且该多样性特征向量的向量元素均值与负样本医学影像的多样性程度成正比。

举例说明，假设负样本医学影像的数量为1785。计算机设备对这些负样本医学影像两两配对，计算配对的两个负样本医学影像的难易度特征向量的相似度，那么对于每个负样本医学影像，即可得到1785个相似度，继而可以得到一个1785维的多样性特征向量。该多样性特征向量的向量元素均值能反映负样本医学影像相对于其他负样本医学影像在特征空间中的距离。距离越远代表负样本医学影像的多样性越好。

继续参考图5，可以看到，计算机设备可以通过搬土距离来衡量特征向量之间的相似度，以度量负样本医学影像到正样本医学影像特征池的距离，以及度量负样本医学影像和其他负样本医学影像之间的距离，这样可以量化评估负样本医学影像对目标模型的难易程度和自身的多样化程度（Difficulty and diversity evaluation），得到负样本图像的难易度特征向量和多样性特征向量。

举例说明，图6A、图6B和图6C分别示出了一个实施例中可视化展示负样本图像的难易度特征向量Difficulty和多样性特征向量Diversity的示意图。参考图6A、图6B和图6C可以看出，这些图中通过扇形面积可视化展示特征向量。具体地根据特征向量的维度，对360度圆周进行均匀划分，一个向量元素对应一个扇形面积，扇形半径的大小与相应向量元素的大小正相关。其中，图6A为对应高难度的难易度特征向量（High

）的可视化图，以及对应高多样性的多样性特征向量（High

）的可视化图；图6B为对应高难度的难易度特征向量（High

）的可视化图，以及对应低多样性的多样性特征向量（Low

）的可视化图；图6C为对应低难度的难易度特征向量（Low

）的可视化图，以及对应高多样性的多样性特征向量（High

）的可视化图。

步骤410，将难易度特征向量的向量元素平均值，作为相应的负样本医学影像的难易度特征值，并将多样性特征向量的向量元素平均值，作为相应的负样本医学影像的多样性特征值。

步骤412，按照难易度特征值对相应的负样本医学影像升序排序得到正排序分布；按照多样性特征值对相应的负样本医学影像降序排序得到负排序分布；按照相应的排序权重联合正排序分布和负排序分布，得到负样本医学影像的综合排序；采用长尾分布的采样方式从综合排序下的负样本医学影像中，采样得到预设数量的负样本医学影像；采样得到的负样本医学影像与正医学影像样本共同用于模型训练。

在本实施例中，在面对突发情况时，正样本医学影像难以获取，且负样本医学影像远远大于正样本医学影像的数量，这样在使用深度学习模型来进行图像分类或者分割任务之前，可以先对训练数据进行挑选，将所有正样本医学影像纳入训练集并利用度量学习在负样本医学影像中搜索有用样本，以将比较有价值的训练样本筛选出来，减少训练样本数量，从而达到缩短网络训练时间，快速响应AI赋能需求。

应该理解的是，虽然上述实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块701、提取模块702、确定模块703和筛选模块704，其中：

获取模块701，用于获取样本图像集；样本图像集包括第一样本图像和第二样本图像；第一样本图像的数量和第二样本图像的数量均多于一个；

提取模块702，用于提取各第一样本图像的图像特征及各第二样本图像的图像特征；

确定模块703，用于根据各第二样本图像与各第一样本图像在图像特征上的相似度，确定各第二样本图像的难易度特征；根据各第二样本图像之间的相似度，确定各第二样本图像的多样性特征；

筛选模块704，用于基于第二样本图像的难易度特征和多样性特征，对第二样本图像进行筛选；筛选出的第二样本图像和第一样本图像共同用于模型训练。

在一个实施例中，提取模块702还用于通过深度学习网络，分别提取各第一样本图像的图像特征以及各第二样本图像的图像特征；其中，深度学习网络根据第一样本图像自监督学习得到。

在一个实施例中，确定模块703还用于分别将每个第二样本图像作为目标样本图像；计算目标样本图像的图像特征与各第一样本图像的图像特征的相似度；将相似度作为向量元素，得到目标样本图像相应的难易度特征向量；难易度特征向量的向量维度与第一样本图像的数量相同；难易度特征向量的向量元素均值与第二样本图像的难易程度成反比。

在一个实施例中，确定模块703还用于根据各第二样本图像之间在图像特征上的相似度，确定各第二样本图像的多样性特征；或者，根据各第二样本图像之间在难易度特征上的相似度，确定各第二样本图像的多样性特征。

在一个实施例中，确定模块703还用于分别将每个第二样本图像作为目标样本图像；计算目标样本图像的难易度特征与各第二样本图像的难易度特征之间的相似度；将相似度作为向量元素，得到目标样本图像相应的多样性特征向量；多样性特征向量的向量维度与第二样本图像的数量相同；多样性特征向量的向量元素均值与第二样本图像的多样性程度成正比。

在一个实施例中，筛选模块704还用于按照难易度特征对相应的第二样本图像进行排序得到第一排序分布；按照多样性特征对相应的第二样本图像进行排序得到第二排序分布；根据第一排序分布和第二排序分布得到第二样本图像的综合排序；对综合排序下的第二样本图像进行采样，得到筛选出的第二样本图像。

在一个实施例中，筛选模块704还用于按照相应的排序权重联合第一排序分布和第二排序分布，得到第二样本图像的综合排序；采用长尾分布的采样方式从综合排序下的第二样本图像中，采样得到预设数量的第二样本图像。

在一个实施例中，提取模块702还用于通过第一深度学习网络，分别提取各第一样本图像的第一图像特征以及各第二样本图像的第一图像特征；第一深度学习网络根据第一样本图像自监督学习得到；通过第二深度学习网络，分别提取各第一样本图像的第二图像特征以及各第二样本图像的第二图像特征；第二深度学习网络根据第二样本图像自监督学习得到。

在一个实施例中，确定模块703还用于根据各第二样本图像与各第一样本图像在第一图像特征上的相似度，确定各第二样本图像的难易度特征；根据各第一样本图像与各第二样本图像在第二图像特征上的相似度，确定各第一样本图像的难易度特征；根据各第一样本图像之间的相似度，确定各第一样本图像的多样性特征；筛选模块704还用于基于第一样本图像的难易度特征和多样性特征，对第一样本图像进行筛选；筛选出的第二样本图像和筛选出的第一样本图像共同用于模型训练。

上述图像处理装置，在获取到包括第一样本图像和第二样本图像的样本图像集后，即自动提取各第一样本图像的图像特征以及各第二样本图像的图像特征，通过度量第二样本图像与第一样本图像在图像特征上的相似度，量化出第二样本图像对于模型训练的难易程度，并通过度量第二样本图像之间的相似度，量化出第二样本图像的多样化程度。这样，基于第二样本图像对于模型训练的难易程度以及多样化程度来筛选第二样本图像，可以筛选出更有价值的第二样本图像；而且，筛选出的第二样本图像和第一样本图像共同用于模型训练时，既能极大地提高模型训练的效率，又能在极大程度上保障训练模型所取得的性能，尤其是在突发情况下训练模型时间有限的场景下效果尤为明显。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器也可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (19)

1.一种图像处理方法，其特征在于，所述方法包括：

获取样本图像集；所述样本图像集包括第一样本图像和第二样本图像；所述第一样本图像的数量和所述第二样本图像的数量均多于一个；

提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征；

根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征；

根据各所述第二样本图像之间在难易度特征上的相似度，确定各所述第二样本图像的多样性特征；

基于所述第二样本图像的难易度特征和多样性特征，对所述第二样本图像进行筛选；筛选出的第二样本图像和所述第一样本图像共同用于模型训练。

2.根据权利要求1所述的方法，其特征在于，所述提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征，包括：

通过深度学习网络，分别提取各所述第一样本图像的图像特征以及各所述第二样本图像的图像特征；

其中，所述深度学习网络根据所述第一样本图像自监督学习得到。

3.根据权利要求1所述的方法，其特征在于，所述根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征，包括：

分别将每个第二样本图像作为目标样本图像；

计算所述目标样本图像的图像特征与各第一样本图像的图像特征的相似度；

将所述相似度作为向量元素，得到所述目标样本图像相应的难易度特征向量；所述难易度特征向量的向量维度与所述第一样本图像的数量相同；所述难易度特征向量的向量元素均值与第二样本图像的难易程度成反比。

4.根据权利要求1所述的方法，其特征在于，所述根据各所述第二样本图像之间在难易度特征上的相似度，确定各所述第二样本图像的多样性特征，包括：

分别将每个第二样本图像作为目标样本图像；

计算所述目标样本图像的难易度特征与各第二样本图像的难易度特征之间的相似度；

将所述相似度作为向量元素，得到所述目标样本图像相应的多样性特征向量；所述多样性特征向量的向量维度与所述第二样本图像的数量相同；所述多样性特征向量的向量元素均值与第二样本图像的多样性程度成正比。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第二样本图像的难易度特征和多样性特征，对所述第二样本图像进行筛选，包括：

按照所述难易度特征对相应的第二样本图像进行排序得到第一排序分布；

按照所述多样性特征对相应的第二样本图像进行排序得到第二排序分布；

根据所述第一排序分布和所述第二排序分布得到第二样本图像的综合排序；

对综合排序下的第二样本图像进行采样，得到筛选出的第二样本图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一排序分布和所述第二排序分布得到第二样本图像的综合排序，包括：

按照相应的排序权重联合所述第一排序分布和所述第二排序分布，得到第二样本图像的综合排序；

所述对综合排序下的第二样本图像进行采样，得到筛选出的第二样本图像，包括：

采用长尾分布的采样方式从综合排序下的第二样本图像中，采样得到预设数量的第二样本图像。

7.根据权利要求1所述的方法，其特征在于，所述提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征，包括：

通过第一深度学习网络，分别提取各所述第一样本图像的第一图像特征以及各所述第二样本图像的第一图像特征；所述第一深度学习网络根据所述第一样本图像自监督学习得到；

通过第二深度学习网络，分别提取各所述第一样本图像的第二图像特征以及各所述第二样本图像的第二图像特征；所述第二深度学习网络根据所述第二样本图像自监督学习得到。

8.根据权利要求7所述的方法，其特征在于，所述根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征，包括：

根据各所述第二样本图像与各所述第一样本图像在第一图像特征上的相似度，确定各所述第二样本图像的难易度特征；

所述方法还包括：

根据各所述第一样本图像与各所述第二样本图像在第二图像特征上的相似度，确定各所述第一样本图像的难易度特征；

根据各所述第一样本图像之间的相似度，确定各所述第一样本图像的多样性特征；

基于所述第一样本图像的难易度特征和多样性特征，对所述第一样本图像进行筛选；筛选出的第二样本图像和筛选出的第一样本图像共同用于模型训练。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述样本图像集为样本医学影像集；所述第一样本图像为正样本医学影像；所述第二样本图像为负样本医学影像；所述正样本医学影像的数量远小于所述负样本医学影像的数量。

10.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取样本图像集；所述样本图像集包括第一样本图像和第二样本图像；所述第一样本图像的数量和所述第二样本图像的数量均多于一个；

提取模块，用于提取各所述第一样本图像的图像特征及各所述第二样本图像的图像特征；

确定模块，用于根据各所述第二样本图像与各所述第一样本图像在图像特征上的相似度，确定各所述第二样本图像的难易度特征；根据各所述第二样本图像之间在难易度特征上的相似度，确定各所述第二样本图像的多样性特征；

筛选模块，用于基于所述第二样本图像的难易度特征和多样性特征，对所述第二样本图像进行筛选；筛选出的第二样本图像和所述第一样本图像共同用于模型训练。

11.根据权利要求10所述的装置，其特征在于，所述提取模块还用于通过深度学习网络，分别提取各所述第一样本图像的图像特征以及各所述第二样本图像的图像特征；其中，所述深度学习网络根据所述第一样本图像自监督学习得到。

12.根据权利要求10所述的装置，其特征在于，所述确定模块还用于分别将每个第二样本图像作为目标样本图像；计算所述目标样本图像的图像特征与各第一样本图像的图像特征的相似度；将所述相似度作为向量元素，得到所述目标样本图像相应的难易度特征向量；所述难易度特征向量的向量维度与所述第一样本图像的数量相同；所述难易度特征向量的向量元素均值与第二样本图像的难易程度成反比。

13.根据权利要求10所述的装置，其特征在于，所述确定模块还用于分别将每个第二样本图像作为目标样本图像；计算所述目标样本图像的难易度特征与各第二样本图像的难易度特征之间的相似度；将所述相似度作为向量元素，得到所述目标样本图像相应的多样性特征向量；所述多样性特征向量的向量维度与所述第二样本图像的数量相同；所述多样性特征向量的向量元素均值与第二样本图像的多样性程度成正比。

14.根据权利要求10所述的装置，其特征在于，所述筛选模块还用于按照所述难易度特征对相应的第二样本图像进行排序得到第一排序分布；按照所述多样性特征对相应的第二样本图像进行排序得到第二排序分布；根据所述第一排序分布和所述第二排序分布得到第二样本图像的综合排序；对综合排序下的第二样本图像进行采样，得到筛选出的第二样本图像。

15.根据权利要求14所述的装置，其特征在于，所述筛选模块还用于按照相应的排序权重联合所述第一排序分布和所述第二排序分布，得到第二样本图像的综合排序；采用长尾分布的采样方式从综合排序下的第二样本图像中，采样得到预设数量的第二样本图像。

16.根据权利要求10所述的装置，其特征在于，所述提取模块还用于通过第一深度学习网络，分别提取各所述第一样本图像的第一图像特征以及各所述第二样本图像的第一图像特征；所述第一深度学习网络根据所述第一样本图像自监督学习得到；通过第二深度学习网络，分别提取各所述第一样本图像的第二图像特征以及各所述第二样本图像的第二图像特征；所述第二深度学习网络根据所述第二样本图像自监督学习得到。

17.根据权利要求16所述的装置，其特征在于，所述确定模块还用于根据各所述第二样本图像与各所述第一样本图像在第一图像特征上的相似度，确定各所述第二样本图像的难易度特征；根据各所述第一样本图像与各所述第二样本图像在第二图像特征上的相似度，确定各所述第一样本图像的难易度特征；根据各所述第一样本图像之间的相似度，确定各所述第一样本图像的多样性特征；所述筛选模块还用于基于所述第一样本图像的难易度特征和多样性特征，对所述第一样本图像进行筛选；筛选出的第二样本图像和筛选出的第一样本图像共同用于模型训练。

18.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。

19.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

Images