CN113177566B - 一种特征提取模型训练方法、装置及计算机设备 - Google Patents

一种特征提取模型训练方法、装置及计算机设备 Download PDF

Info

Publication number
CN113177566B
CN113177566B CN202110581559.8A CN202110581559A CN113177566B CN 113177566 B CN113177566 B CN 113177566B CN 202110581559 A CN202110581559 A CN 202110581559A CN 113177566 B CN113177566 B CN 113177566B
Authority
CN
China
Prior art keywords
image
feature extraction
aug
image block
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110581559.8A
Other languages
English (en)
Other versions
CN113177566A (zh
Inventor
刘思言
王博
郑文杰
杨祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Global Energy Interconnection Research Institute
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd, Global Energy Interconnection Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN202110581559.8A priority Critical patent/CN113177566B/zh
Publication of CN113177566A publication Critical patent/CN113177566A/zh
Application granted granted Critical
Publication of CN113177566B publication Critical patent/CN113177566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种特征提取模型训练方法、装置及计算机设备，该方法包括如下步骤：获取特征提取模型的图像训练数据集，特征提取模型的图像训练数据集包括：无标签图像训练数据集；对特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；将图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。本发明通过对裁切后的图像块进行两次不同的预处理操作，将得到的图像块对集输入到第一机器学习模型中进行训练，直接学习目标图像块的特征，能够适应样本图像分辨率高、图像内容较为复杂的条件，提高特征提取模型的性能。

Description

一种特征提取模型训练方法、装置及计算机设备
技术领域
本发明涉及人工智能技术领域，具体涉及一种特征提取模型训练方法、装置及计算机设备。
背景技术
图像目标检测任务的深度神经网络模型往往需要大量的标注样本进行有监督训练得到，但是对海量的数据进行标记需要花费大量的时间和资源。而无监督对比学习训练神经网络模型时不需要依赖数据标签，可以自动发现数据集中潜在的结构，节省了大量时间以及硬件资源。因此对无监督对比学习算法的投入与研究越来越多。
无监督对比学习是利用无标签图像样本训练用于图像特征提取的骨干神经网络的技术，神经网络的无监督对比学习的训练过程中，通常会对图像进行两次不同的预处理(例如，缩放、拉伸等)，通过学习不同变换下同一图像的一致性来提升神经网络的特征提取能力，然而常规的无监督对比学习方法强调要学习不同尺度的共同特征，但是没有考虑在高分辨率图像下进行两次不同的裁切可能会造成得到的两个图像块的关联性不强。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中无监督对比学习难以适用于样本分辨率较高的目标特征提取任务中的缺陷，从而提供一种特征提取模型训练方法、装置及计算机设备。
根据第一方面，本发明公开了一种特征提取模型训练方法，包括如下步骤：获取特征提取模型的图像训练数据集，所述特征提取模型的图像训练数据集包括：无标签图像训练数据集；对所述特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；对所述图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；将所述图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。
可选地，所述第一机器学习模型包括：特征提取卷积神经网络和特征预测神经网络，所述特征提取卷积神经网络包括：ResNet、Inception、VGG。
可选地，在所述得到特征提取模型之后，所述方法还包括：获取目标检测模型的图像训练数据集，所述目标检测模型的图像训练数据集包括：有标签图像训练数据集；将所述有标签图像训练数据集输入到第二机器学习模型中进行训练，得到目标检测模型，所述第二机器学习模型包括所述特征提取模型中的特征提取卷积神经网络。
可选地，所述预处理操作至少包括：缩放操作、拉伸操作、裁切操作、亮度调节操作、对比度调节操作、饱和度调节操作、色相调节操作。
可选地，所述图像块对集中的图像块对在其对应的图像区域的交并比大于或等于预设阈值。
可选地，所述第二机器学习模型还包括：检测神经网络，所述检测神经网络包括：YOLO的检测器、Faster R-CNN的检测器、RFCN的检测器、RetinaNet的检测器、SSD的检测器。
可选地，所述预设条件包括：损失值在预设范围内，所述损失值通过如下公式计算得到：
L(I′aug，I″aug)＝-P(B(I′aug))·B(I″aug)
其中，L(I′aug，I″aug)表示损失值；I′aug和I″aug表示图像块对；B(I″aug)表示图像块I″aug经过特征提取卷积神经网络的输出张量；P(B(I′aug))表示图像块经过特征提取卷积神经网络和特征预测神经网络的输出张量。
根据第二方面，本发明还公开了一种特征提取模型训练装置，包括：第一获取模块，用于获取图像训练数据集，所述图像训练数据集包括：无标签图像训练数据集；裁切模块，用于对所述图像训练数据集中的每一张图像进行裁切，得到图像块集；预处理模块，用于对所述图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；第一训练模块，用于将所述图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。
根据第三方面，本发明还公开了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的特征提取模型训练方法的步骤。
根据第四方面，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的特征提取模型训练方法的步骤。
本发明技术方案，具有如下优点：
本发明提供的特征提取模型训练方法及装置，通过获取特征提取模型的图像训练数据集，特征提取模型的图像训练数据集包括：无标签图像训练数据集；对特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；将图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。本发明通过对裁切后的图像块进行两次不同的预处理操作，得到图像块对集，将图像块对集输入到第一机器学习模型中进行训练，直接学习目标图像块的特征，能够适应样本图像分辨率高、图像内容较为复杂的条件，提高特征提取模型的性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中特征提取模型训练方法的一个具体示例的流程图；
图2为本发明实施例中图像块对集形成的一个具体示例图；
图3为本发明实施例中特征提取模型训练装置的一个具体示例的原理框图；
图4为本发明实施例中计算机设备的一个具体示例图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例公开了一种特征提取模型训练方法，可以应用于电力场景，例如，输电线路、变电站的巡航图像的目标特征提取，该目标可以为传输线、螺钉、变压器、绝缘子等，该方法也可以应用于其他高分辨率图像的目标特征提取的场景，如图1所示，包括如下步骤：
S11：获取特征提取模型的图像训练数据集，特征提取模型的图像训练数据集包括：无标签图像训练数据集。
示例性地，该特征提取模型的图像训练集可以仅仅包括：无标签图像训练数据集Du＝{Iu}，其中Iu表示无标签图像训练数据集中的图像，也可以同时包括：无标签图像训练数据集和有标签图像训练数据集Ds＝{(Is，y)}，其中IS为有标签图像训练数据集中的图像，y表示图像的标签，该标签可以包括：目标位置、目标类型等，例如，y＝{obj＝{(k，x1，y1，x2，y2)}|k∈[0，C]，k为整数}，其中obj为图像中的目标，k为目标类别，(x1，y1)为目标框的左上角在图像中的坐标，(x2，y2)为目标框的右下角在图像中的坐标，C为目标总类别数。
该特征提取模型的图像训练数据集的获取方法可以从高分辨率摄像设备(例如，单反相机等)直接获取，对于有标签图像训练数据集，可以在获取到图像后进行人工标注，也可以从现有的数据库中获取，例如，该有标签图像训练数据集可以采用现有的MSCOCO数据样本集，标签也可以采用MSCOCO数据样本集的目标检测标签；该无标签图像训练数据集可以采用现有的ImageNet数据集中的全部图像。本发明实施例对该特征提取模型的图像训练数据集的获取方法不作具体限定，本领域技术人员可以根据实际业务需求确定。
S12：对特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集。
示例性地，在本发明实施例中，可以对特征提取模型的图像训练数据集中的每一个图像进行随机缩放1至5次，使得图像面积为原图像面积的0.04至1倍，且图像的长宽比例保持不变，可以得到1-5个图像块。本发明通过对每一个图像进行多次图像块采样，丰富了图像块集的构成，提高模型的泛化能力。在上述缩放后得到的图像中裁切大小为300*300像素的图像块。若原图像来自有标签图像训练数据集，则裁切时所得的图像块中至少包含一个目标框，若原图像来自无标签图像训练数据集，则随机选取图像块的裁切位置。
在本发明实施例中，将图像块集合记为Dcrop＝{Icrop}，其中Icrop表示裁切后得到的图像块。
S13：对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集。
示例性地，该预处理操作可以包括：缩放操作、拉伸操作、裁切操作、亮度调节操作、对比度调节操作、饱和度调节操作、色相调节操作等。本发明实施例对该预处理操作不作具体限定，本领域技术人员可以根据实际情况确定。
在本发明实施例中，对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集，可以对每一个图像块随机进行两次不同类型的预处理操作，得到图像块对集Daug＝{(I′aug，I″aug)}，其中I′aug和I″aug表示Icrop经过不同的预处理操作得到的图像块。
上述两次不同的预处理操作可以是两次固定标准的预处理操作，也可以是两次随机的预处理操作。本发明实施例对该两次不同的预处理操作不作具体限定，本领域技术人员可以根据实际情况确定。
如图2所示，图像I经过缩放裁切可以得到图像块Icrop，图像块Icrop经过2次不同的预处理操作，得到图像块I′aug和图像块I″aug，组成图像块对(I′aug，I″aug)。
本发明实施例采用两次随机的预处理操作。例如，该预处理操作可以包括：采用随机缩放操作可以将像素为300*300的图像块缩放为像素为300*300至像素为900*900的图像块，且长宽比例保持不变；采用随机拉伸操作将上述缩放后得到的图像块的两个边长之一拉伸为原边长的1至1.3倍；采用随机裁切操作在随机拉伸后得到的图像块中裁切面积为224*224像素的图像块；对随机裁切后所得的图像块以80％的概率调节亮度为0.9至1.1倍，将图像块的80％的区域的饱和度调节为0.9至1.1倍，将图像块的80％的区域的色相调节为18°。上述各个数值均为举例，不用于限制本方案，本领域技术人员可以根据实际情况调整各个数值。本发明实施例通过对部分图像块进行预处理，保证图像块有部分与原图像一样，避免了与原图像差距太大不利于学习特征的问题。
S14：将图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。
示例性地，将上述图像块对集输入到第一机器学习模型中进行无监督对比训练，该第一机器学习模型可以包括：特征提取卷积神经网络B和特征预测神经网络P，特征提取卷积神经网络包括：ResNet、Inception、VGG类的神经网络，包括其分支算法(例如，ResNetl01、VGG19等)以及其衍生算法(例如，ResNext、ResNest等)。本发明实施例对该特征卷积神经网络B不作具体限定，本领域技术人员可以根据实际情况确定，本发明实施例采用的特征卷积神经网络B为ResNet-50，采用的特征预测神经网络P为多层感知机制。
在本发明实施例中，将图像块对集输入到第一机器学习模型中进行迭代训练，直到满足预设条件，得到特征卷积神经网络B和特征预测神经网络P的最优参数即得到特征提取模型。上述预设条件可以为损失值在预设范围内(例如，0.05-0.08)，也可以为迭代次数达到预设阈值(例如，100次)本发明实施例对该预设条件不作具体限定，本领域技术人员可以根据实际情况确定。
当预设条件可以为损失值在预设范围内时，损失值可以通过如下公式计算得到：
L(I′aug，I″aug)＝-P(B(I′aug))·B(I″aug)
其中，L(I′aug，I″aug)表示损失值；I′aug和I″aug表示图像块对；B(I″aug)表示图像块I″aug经过特征提取卷积神经网络的输出张量；P(B(I′aug))表示图像块经过特征提取卷积神经网络和特征预测神经网络的输出张量。
本发明提供的特征提取模型训练方法，通过获取特征提取模型的图像训练数据集，特征提取模型的图像训练数据集包括：无标签图像训练数据集；对特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；将图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。本发明通过对裁切后的图像块进行两次不同的预处理操作，得到图像块对集，将图像块对集输入到第一机器学习模型中进行训练，直接学习目标图像块的特征，能够适应样本图像分辨率高、图像内容较为复杂的条件，提高特征提取模型的性能。
作为本发明实施例一个可选实施方式，在上述步骤S14之后，该特征提取模型训练方法还包括：
首先，获取目标检测模型的图像训练数据集，目标检测模型的图像训练数据集包括：有标签图像训练数据集。该目标检测模型的有标签图像训练数据集可以与上述特征提取模型的图像训练数据集中的有标签图像训练数据集一样，具体可参见上述步骤S11的描述，在此不再赘述。
其次，将有标签图像训练数据集输入到第二机器学习模型中进行训练，得到目标检测模型，第二机器学习模型包括特征提取模型中的特征提取卷积神经网络。
示例性地，该第二机器学习模型包括：特征提取模型中的特征提取卷积神经网络，该特征提取卷积神经网络的初始参数为上述最优参数该第二机器学习模型还包括：检测神经网络，检测神经网络包括：YOLO的检测器、Faster R-CNN的检测器、RFCN的检测器、RetinaNet的检测器、SSD的检测器等。本发明实施例采用的检测神经网络为YOLO网络的检测器。将有标签图像训练数据集输入到第二机器学习模型中进行有监督训练，得到目标检测模型。
作为本发明实施例一个可选实施方式，图像块对集中的图像块对在其对应的图像区域的交并比大于或等于预设阈值。
示例性地，该交并比指的是图像块对共同占据的区域的面积与两个图像块对占据的总面积的比值。该预设阈值可以为0.1。其对应的图像区域可以是原图像块，也可以是原训练图像。本发明实施例对该预设阈值以及其对应的图像区域均不作具体限定，本领域技术人员可以根据实际情况确定。
本发明实施例通过设置图像块对交并比的预设阈值，使图像块对中的两个图像块的区域有一定的重叠，保证图像块对具备一定的一致性，使得无监督对比学习的能够更加稳定地收敛。
本发明实施例还公开了一种特征提取模型训练装置，如图3所示，包括：
第一获取模块21，用于获取特征提取模型的图像训练数据集，特征提取模型的图像训练数据集包括：无标签图像训练数据集；具体实现方式见上述实施例中步骤S11的相关描述，在此不再赘述。
裁切模块22，用于对特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；具体实现方式见上述实施例中步骤S12的相关描述，在此不再赘述。
预处理模块23，用于对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；具体实现方式见上述实施例中步骤S13的相关描述，在此不再赘述。
第一训练模块24，用于将图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型；具体实现方式见上述实施例中步骤S14的相关描述，在此不再赘述。
本发明提供的特征提取模型训练装置，通过获取特征提取模型的图像训练数据集，特征提取模型的图像训练数据集包括：无标签图像训练数据集；对特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；对图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；将图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型。本发明通过对裁切后的图像块进行两次不同的预处理操作，得到图像块对集，将图像块对集输入到第一机器学习模型中进行训练，直接学习目标图像块的特征，能够适应样本图像分辨率高、图像内容较为复杂的条件，提高特征提取模型的性能。
作为本发明实施例一个可选实施方式，第一机器学习模型包括：特征提取卷积神经网络和特征预测神经网络，特征提取卷积神经网络包括：ResNet、Inception、VGG。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，该特征提取模型训练装置还包括：
第二获取模块，用于获取目标检测模型的图像训练数据集，目标检测模型的图像训练数据集包括：有标签图像训练数据集。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
第二训练模块，用于将有标签图像训练数据集输入到第二机器学习模型中进行训练，得到目标检测模型，第二机器学习模型包括特征提取模型中的特征提取卷积神经网络。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，预处理操作至少包括：缩放操作、拉伸操作、裁切操作、亮度调节操作、对比度调节操作、饱和度调节操作、色相调节操作。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，图像块对集中的图像块对在其对应的图像区域的交并比大于或等于预设阈值。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，第二机器学习模型还包括：检测神经网络，检测神经网络包括：YOLO的检测器、Faster R-CNN的检测器、RFCN的检测器、RetinaNet的检测器、SSD的检测器。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
作为本发明实施例一个可选实施方式，预设条件包括：损失值在预设范围内，损失值通过如下公式计算得到：
L(I′aug，I″aug)＝-P(B(I′aug))·B(I″aug)
其中，L(I′aug，I″aug)表示损失值；I′aug和I″aug表示图像块对；B(I″aug)表示图像块I″aug经过特征提取卷积神经网络的输出张量；P(B(I′aug))表示图像块经过特征提取卷积神经网络和特征预测神经网络的输出张量。具体实现方式见上述实施例中对应的步骤的相关描述，在此不再赘述。
本发明实施例还提供了一种计算机设备，如图4所示，该计算机设备可以包括处理器31和存储器32，其中处理器31和存储器32可以通过总线或者其他方式连接，图4中以通过总线连接为例。
处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的特征提取模型训练方法对应的程序指令/模块(例如，图3所示的第一获取模块21、裁切模块22、预处理模块23和第一训练模块24)。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的特征提取模型训练方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1所示实施例中的特征提取模型训练方法。
上述计算机设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (8)

1.一种特征提取模型训练方法，其特征在于，包括如下步骤：
获取特征提取模型的图像训练数据集，所述特征提取模型的图像训练数据集包括：无标签图像训练数据集；
对所述特征提取模型的图像训练数据集中的每一张图像进行裁切，得到图像块集；
对所述图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；
将所述图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型；
所述第一机器学习模型包括：特征提取卷积神经网络和特征预测神经网络，所述特征提取卷积神经网络包括：ResNet、Inception、VGG；
所述预设条件包括：损失值在预设范围内，所述损失值通过如下公式计算得到：
L(I′aug,I″aug)＝-P(B(I′aug))·B(I″aug)
其中，L(I′aug,I″aug)表示损失值；I′aug和I″aug表示图像块对；B(I″aug)表示图像块I″aug经过特征提取卷积神经网络的输出张量；P(B(I′aug))表示图像块经过特征提取卷积神经网络和特征预测神经网络的输出张量。
2.根据权利要求1所述的方法，其特征在于，在所述得到特征提取模型之后，所述方法还包括：
获取目标检测模型的图像训练数据集，所述目标检测模型的图像训练数据集包括：有标签图像训练数据集；
将所述有标签图像训练数据集输入到第二机器学习模型中进行训练，得到目标检测模型，所述第二机器学习模型包括所述特征提取模型中的特征提取卷积神经网络。
3.根据权利要求1所述的方法，其特征在于，所述预处理操作至少包括：缩放操作、拉伸操作、裁切操作、亮度调节操作、对比度调节操作、饱和度调节操作、色相调节操作。
4.根据权利要求1所述的方法，其特征在于，所述图像块对集中的图像块对在其对应的图像区域的交并比大于或等于预设阈值。
5.根据权利要求2所述的方法，其特征在于，所述第二机器学习模型还包括：检测神经网络，所述检测神经网络包括：YOLO的检测器、Faster R-CNN的检测器、RFCN的检测器、RetinaNet的检测器、SSD的检测器。
6.一种特征提取模型训练装置，其特征在于，包括：
第一获取模块，用于获取图像训练数据集，所述图像训练数据集包括：无标签图像训练数据集；
裁切模块，用于对所述图像训练数据集中的每一张图像进行裁切，得到图像块集；
预处理模块，用于对所述图像块集中的每一个图像块进行两次不同的预处理操作，得到图像块对集；
第一训练模块，用于将所述图像块对集输入到第一机器学习模型中进行训练，直到满足预设条件，得到特征提取模型；
其中，第一机器学习模型包括：特征提取卷积神经网络和特征预测神经网络，特征提取卷积神经网络包括：ResNet、Inception、VGG；
所述预设条件包括：损失值在预设范围内，所述损失值通过如下公式计算得到：
L(I′aug,I″aug)＝-P(B(I′aug))·B(I″aug)
其中，L(I′aug,I″aug)表示损失值；I′aug和I″aug表示图像块对；B(I″aug)表示图像块I″aug经过特征提取卷积神经网络的输出张量；P(B(I′aug))表示图像块经过特征提取卷积神经网络和特征预测神经网络的输出张量。
7.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5任一所述的特征提取模型训练方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的特征提取模型训练方法的步骤。
CN202110581559.8A 2021-05-26 2021-05-26 一种特征提取模型训练方法、装置及计算机设备 Active CN113177566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110581559.8A CN113177566B (zh) 2021-05-26 2021-05-26 一种特征提取模型训练方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110581559.8A CN113177566B (zh) 2021-05-26 2021-05-26 一种特征提取模型训练方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113177566A CN113177566A (zh) 2021-07-27
CN113177566B true CN113177566B (zh) 2024-03-12

Family

ID=76927163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110581559.8A Active CN113177566B (zh) 2021-05-26 2021-05-26 一种特征提取模型训练方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN113177566B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223002B (zh) * 2022-05-09 2024-01-09 广州汽车集团股份有限公司 模型训练方法、开门动作检测方法、装置以及计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909820A (zh) * 2019-12-02 2020-03-24 齐鲁工业大学 基于自监督学习的图像分类方法及系统
CN112016633A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 一种模型训练方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909820A (zh) * 2019-12-02 2020-03-24 齐鲁工业大学 基于自监督学习的图像分类方法及系统
CN112016633A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 一种模型训练方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Unified Framework for Feature Extraction based on Contrastive Learning;Hongjie Zhang;《arXiv》;第1-36页 *
Jean-Bastien Grill 等.Bootstrap Your Own Latent A New Approach to Self-Supervised Learning.《arXiv》.2020,正文第3-4节. *
采用无监督学习算法与卷积的图像分类模型;王改华;李涛;吕朦;袁国亮;;华侨大学学报(自然科学版)(01);第152-157页 *

Also Published As

Publication number Publication date
CN113177566A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
KR20220023335A (ko) 결함 검출 방법 및 관련 장치, 기기, 저장 매체, 컴퓨터 프로그램 제품
CN109712127B (zh) 一种用于机巡视频流的输电线路故障检测方法
CN112183788A (zh) 一种域自适应设备运检系统和方法
CN111260055A (zh) 基于三维图像识别的模型训练方法、存储介质和设备
CN113192646B (zh) 目标检测模型构建方法及不同目标间距离监控方法、装置
CN113688947B (zh) 一种配电设备红外图像故障识别方法及系统
US20220164952A1 (en) Capture and Storage of Magnified Images
CN113177566B (zh) 一种特征提取模型训练方法、装置及计算机设备
CN113516146A (zh) 一种数据分类方法、计算机及可读存储介质
CN112446376B (zh) 一种工业图像智能分割压缩方法
CN113591758A (zh) 一种人体行为识别模型训练方法、装置及计算机设备
CN114842243A (zh) 一种基于大跨度巡线机器人的故障检测方法、系统及设备
CN115223043A (zh) 一种草莓缺陷检测方法、装置、计算机设备及存储介质
CN111402250A (zh) 基于边缘计算的机器视觉缺陷检测方法和平台
CN114494786A (zh) 一种基于多层协调卷积神经网络的细粒度图像分类方法
CN115861922B (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
WO2023207535A1 (zh) 一种伪标签框生成方法、装置及电子设备
CN112348085A (zh) 一种电力数据监测系统与方法
JP2023069083A (ja) 学習装置、学習方法、学習プログラム、物体検出装置、物体検出方法、物体検出プログラム、学習支援システム、学習支援方法及び学習支援プログラム
CN115115573A (zh) 一种基于transformer模型的铆钉缺陷检测方法及系统
CN113591645A (zh) 一种基于区域卷积神经网络的电力设备红外图像识别方法
Das et al. Object Detection on Scene Images: A Novel Approach
CN113052820A (zh) 一种基于神经网络技术的电路设备缺陷识别方法
CN112395993A (zh) 基于监控视频数据的遮挡船只检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant