CN115631391B - 基于深度主动学习的图像挑选方法、装置及存储介质 - Google Patents

基于深度主动学习的图像挑选方法、装置及存储介质 Download PDF

Info

Publication number
CN115631391B
CN115631391B CN202211513065.7A CN202211513065A CN115631391B CN 115631391 B CN115631391 B CN 115631391B CN 202211513065 A CN202211513065 A CN 202211513065A CN 115631391 B CN115631391 B CN 115631391B
Authority
CN
China
Prior art keywords
image data
active learning
image
initial
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211513065.7A
Other languages
English (en)
Other versions
CN115631391A (zh
Inventor
黄耀
孟超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aqiu Technology Co ltd
Original Assignee
Beijing Aqiu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aqiu Technology Co ltd filed Critical Beijing Aqiu Technology Co ltd
Priority to CN202211513065.7A priority Critical patent/CN115631391B/zh
Publication of CN115631391A publication Critical patent/CN115631391A/zh
Application granted granted Critical
Publication of CN115631391B publication Critical patent/CN115631391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度主动学习技术领域，公开了一种基于深度主动学习的图像挑选方法、装置及存储介质，所述方法包括：根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；在模型训练次数不为预设数值时，根据已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；根据基于深度主动学习的初始图像分割模型确定未标注图像数据的梯度范数；根据梯度范数和未标注图像数据挑选目标图像数据；通过上述方式，根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数，再根据梯度范数挑选目标图像数据，能够有效提高挑选所需图像数据的准确性和效率，进而达到使用数量少、高质量的图像数据提高模型性能的目的。

Description

基于深度主动学习的图像挑选方法、装置及存储介质
技术领域
本发明涉及深度主动学习技术领域，尤其涉及基于深度主动学习的图像挑选方法、装置及存储介质。
背景技术
随着深度神经网络模型在解决现实世界视觉任务方面的能力不断增强，以及随后对可用技术的吸收，对大型注释数据集的需求日益重要，基于深度学习的语义分割，面临缺乏有效的训练数据的问题，并且语义分割的逐像素标注成本远比单一图像标注量高很多，非常耗时耗力，对于标签数据量相对有限、标注成本高的数据现象，目前常用的解决思路为：半监督学习，是指共同利用少量带标注样本和大量无标注样本，充分地实现数据的价值，挖掘数据规律；或者是主动构造更可靠有效的标签数据集，使得学习模型更具有泛化能力，但是上述解决思路大多采用常规的样本选择策略，仅适用于普通的分类任务，且无法向其他数据集扩展，造成挑选所需图像数据的准确性和效率较低，导致训练的模型性能较差。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于深度主动学习的图像挑选方法、装置及存储介质，旨在解决现有技术挑选所需图像数据的准确性和效率较低，造成训练的模型性能较差的技术问题。
为实现上述目的，本发明提供了一种基于深度主动学习的图像挑选方法，所述基于深度主动学习的图像挑选方法包括以下步骤：
根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；
在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；
根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；
根据所述梯度范数和未标注图像数据挑选目标图像数据。
可选地，所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据，包括：
将所述全部图像数据的预设比例数据划分为待标注图像数据；
采用预设标注策略对所述待标注图像数据进行标注，得到已标注训练图像数据；
按照所述预设比例将所述已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据。
可选地，所述在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型，包括：
在模型训练次数不为预设数值时，获取自定义组件结构；
根据所述自定义组件结构得到若干数量的网络层、数据存储结构以及网络对象；
根据所述若干数量的网络层、数据存储结构以及网络对象构建深度主动学习网络架构；
对所述深度主动学习网络架构的网络参数进行初始化；
根据所述已标注初始训练图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
可选地，所述根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数，包括：
根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测，得到当前图像数据预测结果；
根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数；
根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数。
可选地，所述根据所述梯度范数和未标注图像数据挑选目标图像数据，包括：
按照预设顺序对所述梯度范数进行排序；
根据梯度范数排序结果在未标注图像数据挑选当前图像数据；
根据所述当前图像数据确定初始聚类中心；
根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离；
根据所述欧式距离对所述当前图像数据进行筛选；
采用预设标注策略对筛选后的当前图像数据进行标注，得到当前标注图像；
根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
可选地，所述根据所述梯度范数和未标注图像数据挑选目标图像数据之后，还包括：
根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型；
根据待处理全部图像数据和待标注图像数据得到测试图像数据；
根据所述测试图像数据对所述基于深度主动学习的目标图像分割模型进行测试，得到目标图像分割准确率和目标图像分割召回率；
获取所述基于深度主动学习的初始图像分割模型的当前图像分割准确率和当前图像分割召回率；
在所述目标图像分割准确率大于所述初始当前图像分割准确率、且所述目标图像分割准确率大于或等于预设分割阈值、且所述目标图像分割召回率大于所述当前图像分割召回率时，获取目标图像数据的挑选次数；
在所述目标图像数据的挑选次数达到预设标注预算阈值时，停止所述目标图像分割模型的迭代更新；
在目标图像分割准确率小于或等于所述初始当前图像分割准确率、或所述当前图像分割准确率小于预设分割阈值、且所述目标图像分割召回率小于或等于所述当前图像分割召回率时，对目标图像分割模型进行迭代更新。
可选地，所述在所述目标图像数据的挑选次数达到预设标注预算阈值时，停止所述目标图像分割模型的迭代更新之后，还包括：
根据目标图像数据得到待分割样本图像；
通过所述目标图像分割模型对所述待分割样本图像进行分割，得到若干数量的样本图像分割块；
对所述若干数量的样本图像分割块进行检测，得到当前图像块检测结果；
在所述当前图像块检测结果满足图像分割规则时，通过目标图像分割模型对其他待分割样本图像进行分割。
此外，为实现上述目的，本发明还提出一种基于深度主动学习的图像挑选装置，所述基于深度主动学习的图像挑选装置包括：
获取模块，用于根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；
训练模块，用于在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；
确定模块，用于根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；
挑选模块，用于根据所述梯度范数和未标注图像数据挑选目标图像数据。
此外，为实现上述目的，本发明还提出一种基于深度主动学习的图像挑选设备，所述基于深度主动学习的图像挑选设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度主动学习的图像挑选程序，所述基于深度主动学习的图像挑选程序配置为实现如上文所述的基于深度主动学习的图像挑选方法。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于深度主动学习的图像挑选程序，所述基于深度主动学习的图像挑选程序被处理器执行时实现如上文所述的基于深度主动学习的图像挑选方法。
本发明提出的基于深度主动学习的图像挑选方法，根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；根据所述梯度范数和未标注图像数据挑选目标图像数据；通过上述方式，根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数，再根据梯度范数挑选目标图像数据，能够有效提高挑选所需图像数据的准确性和效率，进而达到使用数量少、高质量的图像数据提高模型性能的目的。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于深度主动学习的图像挑选设备的结构示意图；
图2为本发明基于深度主动学习的图像挑选方法第一实施例的流程示意图；
图3为本发明基于深度主动学习的图像挑选方法一实施例的整体流程示意图；
图4为本发明基于深度主动学习的图像挑选方法第二实施例的流程示意图；
图5为本发明基于深度主动学习的图像挑选装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于深度主动学习的图像挑选设备结构示意图。
如图1所示，该基于深度主动学习的图像挑选设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于深度主动学习的图像挑选设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于深度主动学习的图像挑选程序。
在图1所示的基于深度主动学习的图像挑选设备中，网络接口1004主要用于与网络一体化平台工作站进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于深度主动学习的图像挑选设备中的处理器1001、存储器1005可以设置在基于深度主动学习的图像挑选设备中，所述基于深度主动学习的图像挑选设备通过处理器1001调用存储器1005中存储的基于深度主动学习的图像挑选程序，并执行本发明实施例提供的基于深度主动学习的图像挑选方法。
基于上述硬件结构，提出本发明基于深度主动学习的图像挑选方法实施例。
参照图2，图2为本发明基于深度主动学习的图像挑选方法第一实施例的流程示意图。
在第一实施例中，所述基于深度主动学习的图像挑选方法包括以下步骤：
步骤S10，所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据。
需要说明的是，本实施例的执行主体为基于深度主动学习的图像挑选设备，还可为其他可实现相同或相似功能的设备，例如图像处理控制器等，本实施例对此不作限制，在本实施例中，以图像处理控制器为例进行说明。
应当理解的是，已标注初始训练图像数据指的是用于训练深度主动学习的图像分割模型的图像数据，该已标注初始训练图像数据和未标注图像数据均是经过预设标注策略标注过的图像数据，未标注图像数据指的是放入未标注集的已标注图像数据，该未标注图像数据也可以称作未标注样本。
进一步地，步骤S10，包括：将所述全部图像数据的预设比例数据划分为待标注图像数据；采用预设标注策略对所述待标注图像数据进行标注，得到已标注训练图像数据；按照所述预设比例将所述已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据。
可以理解的是，全部图像数据指的是采集的所有图像数据，该全部图像数据包括但不限于待标注图像数据和测试图像数据，该待标注图像数据为待处理全部图像数据的预设比例数据，例如，将待处理全部图像数据的10%划分为待标注图像数据，将待处理全部图像数据的90%划分为测试图像数据，预设标注策略指的是对不同的图像数据进行标注的策略，该预设标注策略可以为标签标注法，然后将已标注训练图像数据的10%划分为已标注初始训练图像数据，已标注训练图像数据的90%划分为未标注图像数据。
步骤S20，在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型。
可以理解的是，初始图像分割模型指的是采用深度主动学习方式训练的图像分割模型，模型训练次数指的是图像分割模型的训练轮次，预设次数可以为1次，在判定模型训练次数不为预设数值时，则主动选择策略采用自动挑选方式，然后使用已标注初始训练图像数据进行训练，得到基于深度主动学习的初始图像分割模型，在模型训练次数为预设数值时，表明训练的分割模型并未达到最优性能，也即无法使用分割模型对图像数据的反馈来进行主动的数据挑选，所以采用主动选择策略为随机挑选策略。
进一步地，步骤S20，包括：在模型训练次数不为预设数值时，获取自定义组件结构；根据所述自定义组件结构得到若干数量的网络层、数据存储结构以及网络对象；根据所述若干数量的网络层、数据存储结构以及网络对象构建深度主动学习网络架构；对所述深度主动学习网络架构的网络参数进行初始化；根据所述已标注初始训练图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
应当理解的是，自定义组件结构指的是构建深度主动学习网络架构的组件结构，构建深度主动学习网络架构采用的方式为卷积神经网络和主动学习相结合，若干数量的网络层包括但不限于BatchNorm批规范化层、scale层、ReLU激活层以及ConvolutionDepthwise层，数据存储结构可以为Input Blob和Output Blob的实际数据的存储结构，网络对象包括但不限于Solver中的训练网络对象和测试网络对象，然后按照Convolution卷积、BatchNorm批规范化层、scale层、ReLU激活层以及ConvolutionDepthwise层的顺序进行堆叠，并将主动学习的挑选过程封装成函数类，并将其作为模块追加在分割模型之后，从而得到深度主动学习网络架构，且Blob是一个不定维的矩阵，在Caffe中表示一个拉直的四维矩阵，四个维度分别对应Batch Size（N），FeatureMap的通道数（C），Feature Map高度(H)以及宽度(W)，然后根据已标注初始训练图像数据和深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
步骤S30，根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数。
应当理解的是，在训练出基于深度主动学习的初始图像分割模型，根据基于深度主动学习的初始图像分割模型预测出未标注图像数据的梯度范数。
进一步地，步骤S30，包括：根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测，得到当前图像数据预测结果；根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数；根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数。
可以理解的是，非线性神经网络函数指的是非线性化的神经网络函数，映射非线性函数指的是将输入参数映射到网络倒数第二层输出的非线性函数，在本实施例中，在确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数后，计算未标注图像数据的梯度范数，具体为：
Figure 117394DEST_PATH_IMAGE001
；
其中，
Figure 633302DEST_PATH_IMAGE002
为未标注图像数据的梯度范数，
Figure 781518DEST_PATH_IMAGE003
为初始化参数，
Figure 385805DEST_PATH_IMAGE004
和
Figure 339986DEST_PATH_IMAGE005
均为 网络
Figure 900280DEST_PATH_IMAGE006
参数，z为映射非线性函数，
Figure 544364DEST_PATH_IMAGE007
为非线性神经网络函数，
Figure 370369DEST_PATH_IMAGE008
为当前图像数据预 测结果，x为设定样本。
步骤S40，根据所述梯度范数和未标注图像数据挑选目标图像数据。
进一步地，步骤S40，包括：按照预设顺序对所述梯度范数进行排序；根据梯度范数排序结果在未标注图像数据挑选当前图像数据；根据所述当前图像数据确定初始聚类中心；根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离；根据所述欧式距离对所述当前图像数据进行筛选；采用预设标注策略对筛选后的当前图像数据进行标注，得到当前标注图像；根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
应当理解的是，未标注图像数据的梯度范数存在多个，在得到梯度范数后，按照预设顺序对梯度范数进行排序，该预设顺序可以为由大到小，然后在未标注图像数据中挑选梯度范数最大对应的图像数据作为当前图像数据，然后根据当前图像数据的最大梯度向量确定初始聚类中心，再根据目标欧式距离算法计算当前图像数据与初始聚类中心的欧式距离，具体为：
Figure 65923DEST_PATH_IMAGE009
；
其中，D(x)为欧式距离，
Figure 293773DEST_PATH_IMAGE010
为当前图像数据的位置点，
Figure 108758DEST_PATH_IMAGE011
为初始聚类中心的位置 点。
可以理解的是，在计算出当前图像数据与初始聚类中心的欧式距离后，将该欧式距离加入到欧式距离最小的聚类中心，然后更新聚类中心，并重新计算每一类的中心，直至聚类中心的位置不再发生变化。
应当理解的是，在得到筛选后的当前图像后，采用预设标注策略对该筛选后的当前图像数据进行标注，得到当前标注图像，然后将当前标注图像加入到已标注初始训练图像数据中，并更新加入后的已标注初始训练图像数据的数据分布，以得到目标图像数据。
可以理解的是，参考图3，图3为整体流程示意图，具体为：将已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据，然后使用已标注初始训练图像数据训练基于深度主动学习的初始图像分割模型，然后根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数，再根据未标注图像数据的梯度范数挑选当前图像数据，然后使用预设标注策略对当前图像数据进行标注，得到当前标注图像，再将当前标注图像加入至已标注初始训练图像数据，以得到目标图像数据，以及将当前标注图像从未标注图像数据中删除，然后根据目标图像数据训练基于深度主动学习的目标图像分割模型。
本实施例所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；根据所述梯度范数和未标注图像数据挑选目标图像数据；通过上述方式，根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数，再根据梯度范数挑选目标图像数据，能够有效提高挑选所需图像数据的准确性和效率，进而达到使用数量少、高质量的图像数据提高模型性能的目的。
在一实施例中，如图4所述，基于第一实施例提出本发明基于深度主动学习的图像挑选方法第二实施例，所述步骤S40之后，还包括：
步骤S501，根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型。
应当理解的是，在得到目标图像数据后，将目标图像数据输入至初始化后的深度主动学习网络架构中，以训练基于深度主动学习的目标图像分割模型。
步骤S502，根据待处理全部图像数据和待标注图像数据得到测试图像数据。
可以理解的是，测试图像数据指的是用于测试分割模型的准确率和召回率的图像数据，该测试图像数据是根据待处理全部图像数据和待标注图像数据得到的，具体是待处理全部图像数据中除待标注图像数据之外的图像数据均为测试图像数据。
步骤S503，根据所述测试图像数据对所述基于深度主动学习的目标图像分割模型进行测试，得到目标图像分割准确率和目标图像分割召回率。
应当理解的是，在得到测试图像数据后，将测试图像数据输入至基于深度主动学习的目标图像分割模型进行测试，得到目标正类预测图像数据、目标负类预测图像数据以及目标错误反例图像数据，然后分别计算目标图像分割准确率和目标图像分割召回率，具体为：
Figure 609010DEST_PATH_IMAGE012
；
Figure 904993DEST_PATH_IMAGE013
；
其中，Accuracy1为目标图像分割准确率，TP1为目标正类预测图像数据，TN1为目标负类预测图像数据，sum为测试图像数据，Recall1为目标图像分割召回率，FN1为目标错误反例图像数据。
步骤S504，获取所述基于深度主动学习的初始图像分割模型的当前图像分割准确率和当前图像分割召回率。
可以理解的是，在得到测试图像数据后，将测试图像数据输入至基于深度主动学习的初始图像分割模型进行测试，得到当前正类预测图像数据、当前负类预测图像数据以及当前错误反例图像数据，然后分别计算当前图像分割准确率和当前图像分割召回率，具体为：
Figure 252929DEST_PATH_IMAGE014
；
Figure 241744DEST_PATH_IMAGE015
；
其中，Accuracy2为当前图像分割准确率，TP2为当前正类预测图像数据，TN2为当前负类预测图像数据，sum为测试图像数据，Recall2为当前图像分割召回率，FN2为当前错误反例图像数据。
步骤S505，在所述目标图像分割准确率大于所述初始当前图像分割准确率、且所述目标图像分割准确率大于或等于预设分割阈值、且所述目标图像分割召回率大于所述当前图像分割召回率时，获取目标图像数据的挑选次数。
应当理解的是，在得到目标图像分割准确率和目标图像分割召回率后，判断目标图像分割准确率是否大于初始当前图像分割准确率、目标图像分割召回率是否大于当前图像分割召回率，若均是，则表明本次训练的图像分割模型的性能得到了提升，然后继续判断目标图像分割准确率是否大于或等于预设分割阈值，若是，则表明训练的基于深度主动学习的目标图像分割模型合格，无需继续重复主动训练过程，此时停止训练，直接将基于深度主动学习的目标图像分割模型输出。
步骤S506，在所述目标图像数据的挑选次数达到预设标注预算阈值时，停止所述目标图像分割模型的迭代更新。
可以理解的是，在得到目标图像数据的挑选次数后，判断目标图像数据的挑选次数是否达到预设标注预算阈值，若是，则停止迭代更新，例如，预设标注预算阈值为600，在进行多轮自动挑选之后达到600次时停止迭代更新。
进一步地，步骤S506之后，还包括：在所述目标图像数据的挑选次数达到预设标注预算阈值时，停止所述目标图像分割模型的迭代更新之后，还包括：根据目标图像数据得到待分割样本图像；通过所述目标图像分割模型对所述待分割样本图像进行分割，得到若干数量的样本图像分割块；对所述若干数量的样本图像分割块进行检测，得到当前图像块检测结果；在所述当前图像块检测结果满足图像分割规则时，通过目标图像分割模型对其他待分割样本图像进行分割。
应当理解的是，待分割样本图像指的是需要进行分割的样本图像，将待分割样本图像输入至目标图像分割模型中，以使目标图像分割模型对待分割样本图像进行分割，得到若干数量的样本图像分割块，然后判断若干数量的样本图像分割块的检测结果是否满足图像分割规则，若是，则表明目标图像分割模型的分割性能极优，此时可以使用目标图像分割模型继续对其他待分割样本图像进行分割。
步骤S507，在目标图像分割准确率小于或等于所述初始当前图像分割准确率、或所述当前图像分割准确率小于预设分割阈值、且所述目标图像分割召回率小于或等于所述当前图像分割召回率时，对目标图像分割模型进行迭代更新。
应当理解的是，在满足目标图像分割准确率小于或等于初始当前图像分割准确率、或当前图像分割准确率小于预设分割阈值、且目标图像分割召回率小于或等于当前图像分割召回率中的至少一个条件时，还需要继续图像分割模型的迭代更新。
本实施例根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型，根据待处理全部图像数据和待标注图像数据得到测试图像数据，然后使用测试图像数据分别测试基于深度主动学习的目标图像分割模型的分割准确率和分割召回率、基于深度主动学习的初始图像分割模型的分割准确率和分割召回率；在目标图像分割准确率大于初始当前图像分割准确率、且目标图像分割准确率大于或等于预设分割阈值、且目标图像分割召回率大于当前图像分割召回率时，判断目标图像数据的挑选次数是否达到预设标注预算阈值，若是，则停止所述目标图像分割模型的迭代更新；若否，则对目标图像分割模型进行迭代更新，从而能够有效提高训练出的图像分割模型的性能。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于深度主动学习的图像挑选程序，所述基于深度主动学习的图像挑选程序被处理器执行时实现如上文所述的基于深度主动学习的图像挑选方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图5，本发明实施例还提出一种基于深度主动学习的图像挑选装置，所述基于深度主动学习的图像挑选装置包括：
获取模块10，用于所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据。
训练模块20，用于在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型。
确定模块30，用于根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数。
挑选模块40，用于根据所述梯度范数和未标注图像数据挑选目标图像数据。
本实施例所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；根据所述梯度范数和未标注图像数据挑选目标图像数据；通过上述方式，根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数，再根据梯度范数挑选目标图像数据，能够有效提高挑选所需图像数据的准确性和效率，进而达到使用数量少、高质量的图像数据提高模型性能的目的。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于深度主动学习的图像挑选方法，此处不再赘述。
本发明所述基于深度主动学习的图像挑选装置的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，一体化平台工作站，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度主动学习的图像挑选方法，其特征在于，所述基于深度主动学习的图像挑选方法包括以下步骤：
根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；
在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；
根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；
根据所述梯度范数和未标注图像数据挑选目标图像数据；
所述根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数，包括：
根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测，得到当前图像数据预测结果；
根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数；
根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数；
所述根据所述梯度范数和未标注图像数据挑选目标图像数据，包括：
按照预设顺序对所述梯度范数进行排序；
根据梯度范数排序结果在未标注图像数据挑选当前图像数据；
根据所述当前图像数据确定初始聚类中心；
根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离；
根据所述欧式距离对所述当前图像数据进行筛选；
采用预设标注策略对筛选后的当前图像数据进行标注，得到当前标注图像；
根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
2.如权利要求1所述的基于深度主动学习的图像挑选方法，其特征在于，所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据，包括：
将所述全部图像数据的预设比例数据划分为待标注图像数据；
采用预设标注策略对所述待标注图像数据进行标注，得到已标注训练图像数据；
按照所述预设比例将所述已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据。
3.如权利要求1所述的基于深度主动学习的图像挑选方法，其特征在于，所述在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型，包括：
在模型训练次数不为预设数值时，获取自定义组件结构；
根据所述自定义组件结构得到若干数量的网络层、数据存储结构以及网络对象；
根据所述若干数量的网络层、数据存储结构以及网络对象构建深度主动学习网络架构；
对所述深度主动学习网络架构的网络参数进行初始化；
根据所述已标注初始训练图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
4.如权利要求1至3中任一项所述的基于深度主动学习的图像挑选方法，其特征在于，所述根据所述梯度范数和未标注图像数据挑选目标图像数据之后，还包括：
根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型；
根据待处理全部图像数据和待标注图像数据得到测试图像数据；
根据所述测试图像数据对所述基于深度主动学习的目标图像分割模型进行测试，得到目标图像分割准确率和目标图像分割召回率；
获取所述基于深度主动学习的初始图像分割模型的当前图像分割准确率和当前图像分割召回率；
在所述目标图像分割准确率大于初始当前图像分割准确率、且所述目标图像分割准确率大于或等于预设分割阈值、且所述目标图像分割召回率大于所述当前图像分割召回率时，获取目标图像数据的挑选次数；
在所述目标图像数据的挑选次数达到预设标注预算阈值时，停止所述目标图像分割模型的迭代更新；
在目标图像分割准确率小于或等于所述初始当前图像分割准确率、或所述当前图像分割准确率小于预设分割阈值、且所述目标图像分割召回率小于或等于所述当前图像分割召回率时，对目标图像分割模型进行迭代更新。
5.如权利要求4所述的基于深度主动学习的图像挑选方法，其特征在于，所述在所述目标图像数据的挑选次数达到预设标注预算阈值时，停止所述目标图像分割模型的迭代更新之后，还包括：
根据目标图像数据得到待分割样本图像；
通过所述目标图像分割模型对所述待分割样本图像进行分割，得到若干数量的样本图像分割块；
对所述若干数量的样本图像分割块进行检测，得到当前图像块检测结果；
在所述当前图像块检测结果满足图像分割规则时，通过目标图像分割模型对其他待分割样本图像进行分割。
6.一种基于深度主动学习的图像挑选装置，其特征在于，所述基于深度主动学习的图像挑选装置包括：
获取模块，用于根据全部图像数据得到已标注初始训练图像数据和未标注图像数据；
训练模块，用于在模型训练次数不为预设数值时，根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型；
确定模块，用于根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数；
挑选模块，用于根据所述梯度范数和未标注图像数据挑选目标图像数据；
所述确定模块，还用于根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测，得到当前图像数据预测结果；根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数；根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数；
所述挑选模块，还用于按照预设顺序对所述梯度范数进行排序；根据梯度范数排序结果在未标注图像数据挑选当前图像数据；根据所述当前图像数据确定初始聚类中心；根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离；根据所述欧式距离对所述当前图像数据进行筛选；采用预设标注策略对筛选后的当前图像数据进行标注，得到当前标注图像；根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
7.一种基于深度主动学习的图像挑选设备，其特征在于，所述基于深度主动学习的图像挑选设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度主动学习的图像挑选程序，所述基于深度主动学习的图像挑选程序配置有实现如权利要求1至5中任一项所述的基于深度主动学习的图像挑选方法。
8.一种存储介质，其特征在于，所述存储介质上存储有基于深度主动学习的图像挑选程序，所述基于深度主动学习的图像挑选程序被处理器执行时实现如权利要求1至5中任一项所述的基于深度主动学习的图像挑选方法。
CN202211513065.7A 2022-11-30 2022-11-30 基于深度主动学习的图像挑选方法、装置及存储介质 Active CN115631391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211513065.7A CN115631391B (zh) 2022-11-30 2022-11-30 基于深度主动学习的图像挑选方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211513065.7A CN115631391B (zh) 2022-11-30 2022-11-30 基于深度主动学习的图像挑选方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115631391A CN115631391A (zh) 2023-01-20
CN115631391B true CN115631391B (zh) 2023-03-21

Family

ID=84910382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211513065.7A Active CN115631391B (zh) 2022-11-30 2022-11-30 基于深度主动学习的图像挑选方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115631391B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426924B (zh) * 2015-12-14 2018-12-07 北京工业大学 一种基于图像中层特征的场景分类方法
AU2021275995A1 (en) * 2020-05-22 2023-01-19 Insitro, Inc. Predicting disease outcomes using machine learned models
CN113554131B (zh) * 2021-09-22 2021-12-03 四川大学华西医院 医学图像处理和分析方法、计算机设备、系统和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595636A (zh) * 2018-04-25 2018-09-28 复旦大学 基于深度跨模态相关性学习的手绘草图的图像检索方法

Also Published As

Publication number Publication date
CN115631391A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
US8756174B2 (en) Forward feature selection for support vector machines
CN111950643B (zh) 图像分类模型训练方法、图像分类方法及对应装置
Kim et al. A shape-based approach for salient object detection using deep learning
CN110334735B (zh) 多任务网络生成方法、装置、计算机设备和存储介质
CN112116599B (zh) 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN107886082B (zh) 图像中数学公式检测方法、装置、计算机设备及存储介质
CN113785305A (zh) 一种检测倾斜文字的方法、装置及设备
CN111192678B (zh) 病理显微图像诊断、模型训练方法、装置、设备及介质
CN113822116A (zh) 文本识别方法、装置、计算机设备和存储介质
CN112669298A (zh) 一种基于模型自训练的地基云图像云检测方法
CN112906865B (zh) 神经网络架构搜索方法、装置、电子设备及存储介质
CN112434618A (zh) 基于稀疏前景先验的视频目标检测方法、存储介质及设备
CN115147598A (zh) 目标检测分割方法、装置、智能终端及存储介质
CN114676777A (zh) 一种基于孪生网络的自监督学习细粒度图像分类方法
CN112287965A (zh) 图像质量检测模型训练方法、装置和计算机设备
CN111222557A (zh) 图像分类方法、装置、存储介质及电子设备
CN111192279B (zh) 基于边缘检测的物体分割方法、电子终端及存储介质
He et al. Pointinst3d: Segmenting 3d instances by points
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
CN114528913A (zh) 基于信任和一致性的模型迁移方法、装置、设备及介质
CN114565803A (zh) 用于提取难样本的方法、装置及机械设备
CN111914949B (zh) 基于强化学习的零样本学习模型的训练方法及装置
CN115631391B (zh) 基于深度主动学习的图像挑选方法、装置及存储介质
CN115908363B (zh) 肿瘤细胞统计方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant