CN113011468B - 图像特征提取方法及装置 - Google Patents

图像特征提取方法及装置 Download PDF

Info

Publication number
CN113011468B
CN113011468B CN202110213940.9A CN202110213940A CN113011468B CN 113011468 B CN113011468 B CN 113011468B CN 202110213940 A CN202110213940 A CN 202110213940A CN 113011468 B CN113011468 B CN 113011468B
Authority
CN
China
Prior art keywords
image
feature extraction
model
sample
transformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110213940.9A
Other languages
English (en)
Other versions
CN113011468A (zh
Inventor
冯建兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Haohua Technology Co ltd
Original Assignee
Shanghai Haohua Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Haohua Technology Co ltd filed Critical Shanghai Haohua Technology Co ltd
Priority to CN202110213940.9A priority Critical patent/CN113011468B/zh
Publication of CN113011468A publication Critical patent/CN113011468A/zh
Application granted granted Critical
Publication of CN113011468B publication Critical patent/CN113011468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像学习技术领域，具体提供了一种图像特征提取方法及装置，旨在解决如何提高图像特征学习的效果的技术问题。为此目的，根据本发明实施例的方法，可以对训练集内的每个图像样本分别进行图像随机变换，以获取每个图像样本对应的一个或多个随机变换图像；分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集；采用图像质量评估模型并且根据每个图像样本，获取每个随机变换图像的质量评估值；根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练；利用训练好的图像特征提取模型对目标图像进行图像特征提取。通过上述步骤，可以提高模型图像特征学习的效果。

Description

图像特征提取方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像特征提取方法及装置。
背景技术
基于深度学习的图像分类往往需要大量的标注数据，但是获取大量的标注数据成本很高甚至是不可能的，如何在无需标注数据的情况下(无监督)学习到图像中的重要特征，进而为后续的计算提供一个很好的基础具有很高的科研和实用价值。
现有的无监督图像特征学习方法中提取图像特征准确性最高的是基于对比的无监督图像特征学习方法，该方法主要是通过约束同一张图像经过随机变换得到的图像之间的嵌入向量(embedding)接近，而不同图像的嵌入向量远离来实现无监督图像特征学习。然而，采用该方法的缺点在于并不是所有的经随机变换得到的图像都是合理的，有些经随机变换得到的图像质量较差，例如采用随机裁剪的方法会导致一些图像的核心部分被裁掉，显然，利用这些图像进行图像特征学习提取到的图像特征准确性较差。
相应地，本领域需要一种新的图像特征提取方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何准确提取图像特征的技术问题的图像特征提取方法及装置。
第一方面，提供一种图像特征提取方法，所述方法包括：
对训练集内的每个图像样本分别进行图像随机变换，以获取每个所述图像样本对应的一个或多个随机变换图像；
分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集，其中，所述第一图像集包括多个第一图像对，每个所述第一图像对包括两个由同一图像样本得到的随机变换图像，所述第二图像集包括多个第二图像对，每个所述第二图像对包括两个由不同的图像样本得到的随机变换图像；
采用图像质量评估模型并且根据每个所述图像样本，分别对每个所述图像样本对应的随机变换图像进行图像质量评估，以获取每个所述随机变换图像的质量评估值；
根据所述第一图像集、所述第二图像集以及每个所述随机变换图像的质量评估值，对图像特征提取模型进行模型训练；
利用训练好的图像特征提取模型对目标图像进行图像特征提取。
在上述图像特征提取方法的一个技术方案中，“采用图像质量评估模型并且根据每个所述图像样本，分别对每个所述图像样本对应的随机变换图像进行图像质量评估”的步骤具体包括：
采用所述图像质量评估模型获取每个所述图像样本的图像样本特征向量，以及每个所述图像样本对应的每个所述随机变换图像的变换图像特征向量；
根据每个所述图像样本的图像样本特征向量以及每个所述图像样本对应的每个所述随机变换图像的变换图像特征向量，对每个所述随机变换图像进行图像分类预测，以获取每个所述随机变换图像被预测为与相应的图像样本属于同一类别图像的概率；
根据每个所述随机变换图像的概率设定每个所述随机变换图像的质量评估值。
在上述图像特征提取方法的一个技术方案中，所述图像质量评估模型包括图像拼接模块和卷积神经网络；
所述图像拼接模块被配置成对每个所述图像样本以及每个所述图像样本对应的每个随机变换图像进行图像拼接，以获取每个所述图像样本对应的多个拼接图像；
所述卷积神经网络被配置成获取所述拼接图像的图像特征向量，根据所述图像特征向量进行图像分类预测，以获取所述拼接图像中的随机变换图像被预测为与所述拼接图像中的图像样本属于同一类别图像的概率。
在上述图像特征提取方法的一个技术方案中，所述图像质量评估模型包括特征提取模块和图像分类模块，所述特征提取模块的模块结构与所述图像特征提取模型的模型结构相同，所述图像分类模块包括顺次连接的全连接层和Sigmoid函数层；
所述特征提取模块被配置成提取每个图像样本的图像样本特征向量以及直接获取在对所述图像特征提取模型进行模型训练时所述图像特征提取模型提取到的每个随机变换图像的变换图像特征向量，并且对每个图像样本的图像样本特征向量以及每个图像样本的对应的每个随机变换图像的变换图像特征向量进行特征向量拼接，以获取每个图像样本对应的多个拼接特征向量；
所述图像分类模块被配置成根据每个所述拼接特征向量进行图像分类预测，以获取所述拼接特征中变换图像特征向量对应的随机变换图像被预测为与所述拼接特征中图像样本特征向量对应的图像样本属于同一类别图像的概率。
在上述图像特征提取方法的一个技术方案中，“根据所述第一图像集、所述第二图像集以及每个所述随机变换图像的质量评估值，对图像特征提取模型进行模型训练”的步骤具体包括：
利用下式所示的模型损失函数L并且根据所述第一图像集、所述第二图像集以及每个所述随机变换图像的质量评估值，计算所述图像特征提取模型的模型损失值：
L＝L1+L2×α
其中，所述L1表示预设的损失函数，所述L2表示所述损失函数的约束项，所述α表示预设的加权参数；
所述
Figure BDA0002952435230000031
所述S表示所述第一图像集；所述D表示所述第二图像集；所述p和所述p′分别表示所述第一图像对中两个随机变换图像的变换图像特征向量；所述p和所述q分别表示所述第二图像对中两个随机变换图像的变换图像特征向量；所述τ表示超参数；所述p·p′表示所述第一图像对中两个随机变换图像的变换图像特征向量的内积；所述p·q表示所述第二图像对中两个随机变换图像的变换图像特征向量的内积；所述cp表示变换图像特征向量p对应的随机变换图像的质量评估值；所述cp′表示变换图像特征向量p′对应的随机变换图像的质量评估值；所述cq表示变换图像特征向量q对应的随机变换图像的质量评估值；
所述
Figure BDA0002952435230000041
所述n表示对训练集内的图像样本进行图像随机变换得到的随机变换图像的总数；所述ci表示对训练集内的图像样本进行图像随机变换得到的所有随机变换图像中的第i个随机变换图像的质量评估值；
根据所述模型损失值，计算所述图像特征提取模型中每个模型参数各自对应的梯度，并且根据所述梯度反向传播更新所述图像特征提取模型的模型参数进行模型优化，以完成模型训练。
在上述图像特征提取方法的一个技术方案中，“计算所述图像特征提取模型的模型损失值”的步骤具体包括：
采用所述图像特征提取模型分别提取所述第一图像集与所述第二图像集内每个随机变换图像的变换图像特征向量；
采用下式所示的方法分别对每个所述变换图像特征向量进行归一化处理：
v′＝v/||v||2
利用模型损失函数L并且根据经所述归一化处理后的变换图像特征向量以及每个所述随机变换图像的质量评估值，计算所述图像特征提取模型的模型损失值；
其中，所述||v||2表示所述变换图像特征向量v的L2范数；所述v′表示所述归一化处理后的变换图像特征向量。
在上述图像特征提取方法的一个技术方案中，所述卷积神经网络是基于Resnet18网络或Resnet50网络构建的神经网络并且所述卷积神经网络中的特征提取层直接与所述卷积神经网络的输出层连接；
其中，所述卷积神经网络的输出层包括Sigmoid函数层。
在上述图像特征提取方法的一个技术方案中，“对训练集内的每个图像样本分别进行图像随机变换”的步骤具体包括：
对训练集内的每个图像样本分别进行随机裁剪和缩放、并且/或者随机改变每个所述图像样本的亮度、对比度以及饱和度、并且/或者随机将每个所述图像样本转变为灰度图、并且/或者对每个所述图像样本进行随机水平或垂直翻转。
第二方面，提供一种计算机可读存储介质，该计算机可读存储介质中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述任一项技术方案所述的图像特征提取方法。
第三方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述任一项技术方案所述的图像特征提取方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，通过对训练集内的每个图像样本分别进行图像随机变换，以获取每个图像样本对应的一个或多个随机变换图像；分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集，其中，第一图像集包括多个第一图像对，每个第一图像对包括两个由同一图像样本得到的随机变换图像，第二图像集包括多个第二图像对，每个第二图像对包括两个由不同的图像样本得到的随机变换图像；采用图像质量评估模型并且根据每个图像样本，分别对每个图像样本对应的随机变换图像进行图像质量评估，以获取每个随机变换图像的质量评估值；根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练；利用训练好的图像特征提取模型对目标图像进行图像特征提取。通过分别对每个图像样本对应的随机变换图像进行图像质量评估，并且根据第一图像集(相似样本集)、第二图像集(不相似样本集)以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练，利用图像的质量评估值对模型训练过程进行约束，使得训练好的图像特征提取模型不仅能够学习到图像特征提取的能力，还能够降低图像质量差的随机变换图像对特征提取结果的影响，提高了模型图像特征学习的效果。
附图说明
下面参照附图来描述本发明的具体实施方式，附图中：
图1是根据本发明的一个实施例的图像特征提取方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的基于训练集中的图像样本对图像特征提取模型进行模型训练的示意图；
图3是根据本发明的另一个实施例的基于训练集中的图像样本对图像特征提取模型进行模型训练的示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
现有的无监督图像特征学习方法中提取图像特征准确性最高的是基于对比的无监督图像特征学习方法，该方法主要是通过约束同一张图像经过随机变换得到的图像之间的嵌入向量(embedding)接近，而不同图像的嵌入向量远离来实现无监督图像特征学习。然而，采用该方法的缺点在于并不是所有的经随机变换得到的图像都是合理的，有些经随机变换得到的图像质量较差，例如采用随机裁剪的方法会导致一些图像的核心部分被裁掉，显然，利用这些图像进行图像特征学习提取到的图像特征准确性较差。
在本发明实施例中，可以对训练集内的每个图像样本分别进行图像随机变换，以获取每个图像样本对应的一个或多个随机变换图像；分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集，其中，第一图像集包括多个第一图像对，每个第一图像对包括两个由同一图像样本得到的随机变换图像，第二图像集包括多个第二图像对，每个第二图像对包括两个由不同的图像样本得到的随机变换图像；采用图像质量评估模型并且根据每个图像样本，分别对每个图像样本对应的随机变换图像进行图像质量评估，以获取每个随机变换图像的质量评估值；根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练；利用训练好的图像特征提取模型对目标图像进行图像特征提取。通过分别对每个图像样本对应的随机变换图像进行图像质量评估，并且根据第一图像集(相似样本集)、第二图像集(不相似样本集)以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练，利用图像的质量评估值对模型训练过程进行约束，使得训练好的图像特征提取模型不仅能够学习到图像特征提取的能力，还能够降低图像质量差的图像对特征提取结果的影响，完全克服了质量差的图像对模型图像特征学习效果的影响，提高了模型图像特征学习的效果。
在本发明的一个应用场景中，某单位想要对一批图像进行图像分析，可以先利用根据本发明的一个实施例的图像特征提取方法来提取这批图像的图像特征，以便于安装有图像分析装置的计算机设备根据提取到的图像特征进行图像分析。
参阅附图1，图1是根据本发明的一个实施例的图像特征提取方法的主要步骤流程示意图。如图1所示，本发明实施例中的图像特征提取方法主要包括以下步骤：
步骤S101：对训练集内的每个图像样本分别进行图像随机变换，以获取每个图像样本对应的一个或多个随机变换图像；分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集，其中，第一图像集包括多个第一图像对，每个第一图像对包括两个由同一图像样本得到的随机变换图像，第二图像集包括多个第二图像对，每个第二图像对包括两个由不同的图像样本得到的随机变换图像。
一个实施方式中，步骤S101中“对训练集内的每个图像样本分别进行图像随机变换”的步骤具体包括：对训练集内的每个图像样本分别进行随机裁剪和缩放、并且/或者随机改变每个图像样本的亮度、对比度以及饱和度、并且/或者随机将每个图像样本转变为灰度图、并且/或者对每个图像样本进行随机水平或垂直翻转。
在本实施方式中，随机裁剪缩放变换可以从均匀分布U(0.2,1)中选取一个随机数r，然后从原图中随机选取一个面积为r的矩形(假设原图的面积为1)，矩形的长宽比例也是一个服从均匀分布U(3/4,4/3)的随机数；随机颜色变换可以从均匀分布U(0.6,1.4)中随机选取三个随机数r1,r2,r3，按照随机数来改变图像的亮度，对比度和饱和度，此外，还可以随机地从均匀分布U(-0.4,0.4)中选取色调；随机灰度图变换可以以0.2的概率随机将图片变成灰度图；随机水平翻转变换可以以0.5的概率将图片进行水平翻转。
步骤S102：采用图像质量评估模型并且根据每个图像样本，分别对每个图像样本对应的随机变换图像进行图像质量评估，以获取每个随机变换图像的质量评估值。
一个实施方式中，步骤S102中“采用图像质量评估模型并且根据每个图像样本，分别对每个图像样本对应的随机变换图像进行图像质量评估”的步骤具体包括：
步骤1：采用图像质量评估模型获取每个图像样本的图像样本特征向量，以及每个图像样本对应的每个随机变换图像的变换图像特征向量；
步骤2：根据每个图像样本的图像样本特征向量以及每个图像样本对应的每个随机变换图像的变换图像特征向量，对每个随机变换图像进行图像分类预测，以获取每个随机变换图像被预测为与相应的图像样本属于同一类别图像的概率；
步骤3：根据每个随机变换图像的概率设定每个随机变换图像的质量评估值。例如，直接将概率设置为质量评估值。
在本实施方式中，若某个随机变换图像被预测为与相应的图像样本属于同一类别图像的概率越大，则说明该随机变换图像与相应的图像样本越相似，即该随机变换图像的质量越好，因此，可以根据每个随机变换图像的概率设定每个随机变换图像的质量评估值。
下面通过不同的实施例来对图像质量评估模型的具体结构及功能进行描述。
实施例一
参阅附图2，图2示例性地示出了本实施例中基于训练集中的图像样本对图像特征提取模型进行模型训练的示意图。在本实施方式中，图像质量评估模型包括图像拼接模块和卷积神经网络；图像拼接模块被配置成对每个图像样本以及每个图像样本对应的每个随机变换图像进行图像拼接，以获取每个图像样本对应的多个拼接图像；卷积神经网络被配置成获取拼接图像的图像特征向量，根据图像特征向量进行图像分类预测，以获取拼接图像中的随机变换图像被预测为与拼接图像中的图像样本属于同一类别图像的概率。
在本实施方式中，首先对每个图像样本以及每个图像样本对应的每个随机变换图像进行图像拼接，然后获取拼接图像的图像特征向量并且根据图像特征进行图像分类预测(即先拼接再获取特征)，通过直接添加一个图像质量评估模型的方式获取随机变换图像的质量评估值，简单便捷，适用性强。
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，卷积神经网络的结构包括输入层、隐含层和输出层，其中，隐含层又包括卷积层和池化层，卷积神经网络的卷积层和池化层能够响应输入特征的平移不变性，能够识别位于图像空间不同位置的相近特征，以此实现提取图像特征的目的。需要说明的是，本发明实施例的卷积神经网络可以是基于Resnet18网络或Resnet50网络构建的神经网络并且卷积神经网络中的特征提取层直接与卷积神经网络的输出层连接；其中，卷积神经网络的输出层包括Sigmoid函数层。
在本实施方式中，卷积神经网络中的特征提取层能够提取图像的特征向量(例如本实施例中的拼接图像的图像特征向量)；卷积神经网络中的特征提取层直接与卷积神经网络的输出层连接指的是卷积神经网络的池化层直接与输出层连接，二者之间不包括全连接层。需要说明的是，Sigmoid函数是机器学习技术领域中常规的神经网络的激活函数，其能够将输入变量映射为0-1之间的数值，为了描述简洁，在此不再对Sigmoid函数的具体工作原理进行赘述。
实施例二
参阅附图3，图3示例性地示出了本实施例中基于训练集中的图像样本对图像特征提取模型进行模型训练的示意图。在本实施方式中，图像质量评估模型包括特征提取模块和图像分类模块，特征提取模块的模块结构与图像特征提取模型的模型结构相同，图像分类模块包括顺次连接的全连接层和Sigmoid函数层；特征提取模块被配置成提取每个图像样本的图像样本特征向量以及直接获取在对图像特征提取模型进行模型训练时图像特征提取模型提取到的每个随机变换图像的变换图像特征向量，并且对每个图像样本的图像样本特征向量以及每个图像样本的对应的每个随机变换图像的变换图像特征向量进行特征拼接，以获取每个图像样本对应的多个拼接特征；图像分类模块被配置成根据每个拼接特征进行图像分类预测，以获取拼接特征中变换图像特征向量对应的随机变换图像被预测为与拼接特征中图像样本特征向量对应的图像样本属于同一类别图像的概率。
在本实施方式中，首先获取每个图像样本的图像样本特征向量以及每个随机变换图像的变换图像特征向量，然后对每个图像样本的图像样本特征向量以及每个图像样本的对应的每个随机变换图像的变换图像特征向量进行特征拼接以获得拼接特征，根据每个拼接特征进行图像分类预测(即先获取特征再拼接)，通过利用图像特征提取模型原本的结构并且增加图像分类模块的方式获取随机变换图像的质量评估值，降低了图像质量评估模型的复杂程度，尽可能利用图像特征提取模型原本的结构，不必额外增加一个图像质量评估模型，从而降低模型计算量。
步骤S103：根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练；利用训练好的图像特征提取模型对目标图像进行图像特征提取。
一个实施方式中，步骤S103中“根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练”的步骤具体包括：
步骤11：利用公式(1)所示的模型损失函数L并且根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，计算图像特征提取模型的模型损失值：
L＝L1+L2×α (1)
其中，L1表示预设的损失函数，L2表示损失函数的约束项，α表示预设的加权参数；
Figure BDA0002952435230000111
S表示第一图像集；D表示第二图像集；p和p′分别表示第一图像对中两个随机变换图像的变换图像特征向量；p和q分别表示第二图像对中两个随机变换图像的变换图像特征向量；τ表示超参数；p·p′表示第一图像对中两个随机变换图像的变换图像特征向量的内积；p·q表示第二图像对中两个随机变换图像的变换图像特征向量的内积；cp表示变换图像特征向量p对应的随机变换图像的质量评估值；cp′表示变换图像特征向量p′对应的随机变换图像的质量评估值；cq表示变换图像特征向量q对应的随机变换图像的质量评估值；
Figure BDA0002952435230000112
n表示对训练集内的图像样本进行图像随机变换得到的随机变换图像的总数；ci表示对训练集内的图像样本进行图像随机变换得到的所有随机变换图像中的第i个随机变换图像的质量评估值。
步骤12：根据模型损失值，计算图像特征提取模型中每个模型参数各自对应的梯度，并且根据梯度反向传播更新图像特征提取模型的模型参数进行模型优化，以完成模型训练。
在本实施方式中，模型损失函数L中包括随机变换图像的质量评估值，如果随机变换图像的质量好，其质量评估值就高，如果随机变换图像的质量差，其质量评估值就低，通过上述步骤11至步骤12，使得训练好的图像特征提取模型不仅能够学习到图像特征提取的能力，还能够降低图像质量差的随机变换图像对特征提取结果的影响，从而提高模型图像特征学习的效果。
本实施方式中，上述L1中的cp×cp′还可以被替换为cp+cp′，也可以被替换为min(cp，cp′)，又可以被替换为max(cp，cp′)，或者被替换为其他计算方式，只要能够表示第一图像对的两个随机变换图像的质量评估值即可；同样的，上述L1中的cp×cq还可以被替换为cp+cq，也可以被替换为min(cp，cq)，又可以被替换为max(cp，cq)，或者被替换为其他计算方式，只要能够表示第二图像对的两个随机变换图像的质量评估值即可。
一个实施方式中，“计算图像特征提取模型的模型损失值”的步骤具体包括：
步骤21：采用图像特征提取模型分别提取第一图像集与第二图像集内每个随机变换图像的变换图像特征向量；
步骤22：采用公式(2)所示的方法分别对每个变换图像特征向量进行归一化处理：
v′＝v/||v||2 (2)
步骤23：利用模型损失函数L并且根据经归一化处理后的变换图像特征向量以及每个随机变换图像的质量评估值，计算图像特征提取模型的模型损失值；
其中，||v||2表示变换图像特征向量v的L2范数；v′表示归一化处理后的变换图像特征向量。
在本实施方式中，在图像特征提取模型提取到变换图像特征向量的基础上，通过归一化处理，可以将每个变换图像特征向量的长度变成1，最后每张随机变换图像均对应一个长度恒定的列向量，在本发明实施例中，列向量的长度可以是128。
在本发明实施例中，通过对训练集内的每个图像样本分别进行图像随机变换，以获取每个图像样本对应的一个或多个随机变换图像；分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集，其中，第一图像集包括多个第一图像对，每个第一图像对包括两个由同一图像样本得到的随机变换图像，第二图像集包括多个第二图像对，每个第二图像对包括两个由不同的图像样本得到的随机变换图像；采用图像质量评估模型并且根据每个图像样本，分别对每个图像样本对应的随机变换图像进行图像质量评估，以获取每个随机变换图像的质量评估值；根据第一图像集、第二图像集以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练；利用训练好的图像特征提取模型对目标图像进行图像特征提取。通过分别对每个图像样本对应的随机变换图像进行图像质量评估，并且根据第一图像集(相似样本集)、第二图像集(不相似样本集)以及每个随机变换图像的质量评估值，对图像特征提取模型进行模型训练，利用图像的质量评估值对模型训练过程进行约束，使得训练好的图像特征提取模型不仅能够学习到图像特征提取的能力，还能够降低图像质量差的随机变换图像对特征提取结果的影响，提高了模型图像特征学习的效果。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的图像特征提取方法的程序，该程序可以由处理器加载并运行以实现上述图像特征提取方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中存储是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的图像特征提取方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的图像特征提取方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种图像特征提取方法，其特征在于，所述方法包括：
对训练集内的每个图像样本分别进行图像随机变换，以获取每个所述图像样本对应的一个或多个随机变换图像；
分别对每个随机变换图像进行分类，以形成第一图像集和第二图像集，其中，所述第一图像集包括多个第一图像对，每个所述第一图像对包括两个由同一图像样本得到的随机变换图像，所述第二图像集包括多个第二图像对，每个所述第二图像对包括两个由不同的图像样本得到的随机变换图像；
采用图像质量评估模型并且根据每个所述图像样本，分别对每个所述图像样本对应的随机变换图像进行图像质量评估，以获取每个所述随机变换图像的质量评估值；
根据所述第一图像集、所述第二图像集以及每个所述随机变换图像的质量评估值，对图像特征提取模型进行模型训练；
利用训练好的图像特征提取模型对目标图像进行图像特征提取；
“采用图像质量评估模型并且根据每个所述图像样本，分别对每个所述图像样本对应的随机变换图像进行图像质量评估”的步骤具体包括：
采用所述图像质量评估模型获取每个所述图像样本的图像样本特征向量，以及每个所述图像样本对应的每个所述随机变换图像的变换图像特征向量；
根据每个所述图像样本的图像样本特征向量以及每个所述图像样本对应的每个所述随机变换图像的变换图像特征向量，对每个所述随机变换图像进行图像分类预测，以获取每个所述随机变换图像被预测为与相应的图像样本属于同一类别图像的概率；
根据每个所述随机变换图像的概率设定每个所述随机变换图像的质量评估值。
2.根据权利要求1所述的图像特征提取方法，其特征在于，所述图像质量评估模型包括图像拼接模块和卷积神经网络；
所述图像拼接模块被配置成对每个所述图像样本以及每个所述图像样本对应的每个随机变换图像进行图像拼接，以获取每个所述图像样本对应的多个拼接图像；
所述卷积神经网络被配置成获取所述拼接图像的图像特征向量向量，根据所述图像特征向量进行图像分类预测，以获取所述拼接图像中的随机变换图像被预测为与所述拼接图像中的图像样本属于同一类别图像的概率。
3.根据权利要求1所述的图像特征提取方法，其特征在于，所述图像质量评估模型包括特征提取模块和图像分类模块，所述特征提取模块的模块结构与所述图像特征提取模型的模型结构相同，所述图像分类模块包括顺次连接的全连接层和Sigmoid函数层；
所述特征提取模块被配置成提取每个图像样本的图像样本特征向量以及直接获取在对所述图像特征提取模型进行模型训练时所述图像特征提取模型提取到的每个随机变换图像的变换图像特征向量，并且对每个图像样本的图像样本特征向量以及每个图像样本的对应的每个随机变换图像的变换图像特征向量进行特征向量拼接，以获取每个图像样本对应的多个拼接特征向量；
所述图像分类模块被配置成根据每个所述拼接特征向量进行图像分类预测，以获取所述拼接特征中变换图像特征向量对应的随机变换图像被预测为与所述拼接特征中图像样本特征向量对应的图像样本属于同一类别图像的概率。
4.根据权利要求2或3中任一项所述的图像特征提取方法，其特征在于，“根据所述第一图像集、所述第二图像集以及每个所述随机变换图像的质量评估值，对图像特征提取模型进行模型训练”的步骤具体包括：
利用下式所示的模型损失函数L并且根据所述第一图像集、所述第二图像集以及每个所述随机变换图像的质量评估值，计算所述图像特征提取模型的模型损失值：
L＝L1+L2×α
其中，所述L1表示预设的损失函数，所述L2表示所述损失函数的约束项，所述α表示预设的加权参数；
所述
Figure FDA0003905919730000021
所述S表示所述第一图像集；所述D表示所述第二图像集；所述p和所述p′分别表示所述第一图像对中两个随机变换图像的变换图像特征向量；所述p和所述q分别表示所述第二图像对中两个随机变换图像的变换图像特征向量；所述τ表示超参数；所述p·q′表示所述第一图像对中两个随机变换图像的变换图像特征向量的内积；所述p·q表示所述第二图像对中两个随机变换图像的变换图像特征向量的内积；所述cp表示变换图像特征向量p对应的随机变换图像的质量评估值；所述cp′表示变换图像特征向量p′对应的随机变换图像的质量评估值；所述cq表示变换图像特征向量q对应的随机变换图像的质量评估值；
所述
Figure FDA0003905919730000031
所述n表示对训练集内的图像样本进行图像随机变换得到的随机变换图像的总数；所述ci表示对训练集内的图像样本进行图像随机变换得到的所有随机变换图像中的第i个随机变换图像的质量评估值；
根据所述模型损失值，计算所述图像特征提取模型中每个模型参数各自对应的梯度，并且根据所述梯度反向传播更新所述图像特征提取模型的模型参数进行模型优化，以完成模型训练。
5.根据权利要求4所述的图像特征提取方法，其特征在于，“计算所述图像特征提取模型的模型损失值”的步骤具体包括：
采用所述图像特征提取模型分别提取所述第一图像集与所述第二图像集内每个随机变换图像的变换图像特征向量；
采用下式所示的方法分别对每个所述变换图像特征向量进行归一化处理：
v′＝v/||v||2
利用模型损失函数L并且根据经所述归一化处理后的变换图像特征向量以及每个所述随机变换图像的质量评估值，计算所述图像特征提取模型的模型损失值；
其中，所述||v||2表示所述变换图像特征向量v的L2范数；所述v′表示所述归一化处理后的变换图像特征向量。
6.根据权利要求2所述的图像特征提取方法，其特征在于，所述卷积神经网络是基于Resnet18网络或Resnet50网络构建的神经网络并且所述卷积神经网络中的特征提取层直接与所述卷积神经网络的输出层连接；
其中，所述卷积神经网络的输出层包括Sigmoid函数层。
7.根据权利要求1所述的图像特征提取方法，其特征在于，“对训练集内的每个图像样本分别进行图像随机变换”的步骤具体包括：
对训练集内的每个图像样本分别进行随机裁剪和缩放、并且/或者随机改变每个所述图像样本的亮度、对比度以及饱和度、并且/或者随机将每个所述图像样本转变为灰度图、并且/或者对每个所述图像样本进行随机水平或垂直翻转。
8.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的图像特征提取方法。
9.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的图像特征提取方法。
CN202110213940.9A 2021-02-25 2021-02-25 图像特征提取方法及装置 Active CN113011468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110213940.9A CN113011468B (zh) 2021-02-25 2021-02-25 图像特征提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110213940.9A CN113011468B (zh) 2021-02-25 2021-02-25 图像特征提取方法及装置

Publications (2)

Publication Number Publication Date
CN113011468A CN113011468A (zh) 2021-06-22
CN113011468B true CN113011468B (zh) 2022-12-13

Family

ID=76387442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110213940.9A Active CN113011468B (zh) 2021-02-25 2021-02-25 图像特征提取方法及装置

Country Status (1)

Country Link
CN (1) CN113011468B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657528B (zh) * 2021-08-24 2024-02-13 湖南国科微电子股份有限公司 图像特征点提取方法、装置、计算机终端及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317779B2 (en) * 2012-04-06 2016-04-19 Brigham Young University Training an image processing neural network without human selection of features
CN109685785A (zh) * 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109919010A (zh) * 2019-01-24 2019-06-21 北京三快在线科技有限公司 图像处理方法及装置
CN109934239B (zh) * 2019-03-07 2021-09-21 上海皓桦科技股份有限公司 图像特征提取方法
CN110288542A (zh) * 2019-06-18 2019-09-27 福州数据技术研究院有限公司 一种基于随机变换的肝部病理图像样本增强方法
CN110991325A (zh) * 2019-11-29 2020-04-10 腾讯科技（深圳）有限公司 一种模型训练的方法、图像识别的方法以及相关装置
CN111582150B (zh) * 2020-05-07 2023-09-05 江苏日颖慧眼智能设备有限公司 一种人脸质量评估的方法、装置和计算机存储介质
CN112215833B (zh) * 2020-10-22 2021-09-28 江苏云从曦和人工智能有限公司 图像质量评估方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN113011468A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN108229490B (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN110555399B (zh) 手指静脉识别方法、装置、计算机设备及可读存储介质
WO2019089192A1 (en) Weakly-supervised semantic segmentation with self-guidance
JP6731529B1 (ja) 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体
CN110046622B (zh) 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN112836756B (zh) 图像识别模型训练方法、系统和计算机设备
CN110059677A (zh) 基于深度学习的数字表识别方法及设备
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111583282A (zh) 图像分割方法、装置、设备及存储介质
CN111177447B (zh) 一种基于深度网络模型的行人图像识别方法
CN118134818B (zh) 基于荧光玻片的扫描和ai荧光图像处理方法及其应用
CN113011468B (zh) 图像特征提取方法及装置
CN114724145A (zh) 一种字符图像识别方法、装置、设备及介质
CN111814820A (zh) 图像处理方法及装置
CN112149745B (zh) 确定难例样本的方法、装置、设备及存储介质
CN117884379A (zh) 一种矿石分选方法及系统
CN116342628B (zh) 病理图像分割方法、装置和计算机设备
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
WO2023061465A1 (en) Methods, systems, and media for computer vision using 2d convolution of 4d video data tensors
CN116797613B (zh) 多模态细胞分割、模型训练方法、装置、设备、存储介质
CN117115453B (zh) 目标图像生成方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant