CN111950567A - 一种提取器训练方法、装置、电子设备及存储介质 - Google Patents

一种提取器训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111950567A
CN111950567A CN202010834252.XA CN202010834252A CN111950567A CN 111950567 A CN111950567 A CN 111950567A CN 202010834252 A CN202010834252 A CN 202010834252A CN 111950567 A CN111950567 A CN 111950567A
Authority
CN
China
Prior art keywords
image
training
label
feature extractor
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010834252.XA
Other languages
English (en)
Other versions
CN111950567B (zh
Inventor
秦永强
刘金露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi Chengdu Technology Co ltd
Original Assignee
Innovation Qizhi Chengdu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Chengdu Technology Co ltd filed Critical Innovation Qizhi Chengdu Technology Co ltd
Priority to CN202010834252.XA priority Critical patent/CN111950567B/zh
Publication of CN111950567A publication Critical patent/CN111950567A/zh
Application granted granted Critical
Publication of CN111950567B publication Critical patent/CN111950567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种提取器训练方法、装置、电子设备及存储介质，用于改善获得的神经网络模型识别少样本类别的样本数据的正确率非常低的问题。该方法包括：获得原始图像和原始图像对应的分类标签；以原始图像为训练数据，以分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器；对原始图像进行旋转，获得旋转图像和旋转图像对应的旋转标签，旋转图像是对原始图像中的目标对象进行旋转后获得的，旋转标签为旋转图像的角度方向标签；以旋转图像为训练图像，以旋转标签为训练标签，使用角度判别器对首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。

Description

一种提取器训练方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能和深度学习的技术领域，具体而言，涉及一种提取器训练方法、装置、电子设备及存储介质。
背景技术
人工智能(Artificial Intelligence，AI)，是指研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
深度学习(Deep Learning)，是机器学习中一种基于对数据进行表征学习的算法，深度学习是机器学习的分支，也是一种以人工神经网络为架构，对数据进行表征学习的算法。
目前的深度学习分类技术依赖于大量的训练数据，这些训练数据中很容易出现数据不均衡问题，也就是说，在训练数据中的某些类别的样本数据数量大，这些样本数据数量大对应的类别又被称为基础类别(base class)，而某些类别的样本数据数量小，这些样本数据数量小对应的类别又被称为少样本类别(few-shot class)，这里的少样本类别的情况例如：该类别对应的商品是冷门商品，冷门商品是很难采集到足够的数据。
针对训练数据中出现的数据不均衡问题，先利用基础类别的大量样本数据训练出一个神经网络模型，然后利用少样本类别的训练数据对模型进行微调，再利用微调后的模型去识别少样本类别的样本数据；然而在具体的实践过程中发现，使用上述方式训练获得的神经网络模型识别少样本类别的样本数据的正确率非常低。
发明内容
本申请实施例的目的在于提供一种提取器训练方法、装置、电子设备及存储介质，用于改善获得的神经网络模型识别少样本类别的样本数据的正确率非常低的问题。
本申请实施例提供了一种提取器训练方法，包括：获得原始图像和原始图像对应的分类标签，原始图像为目标对象的图像，分类标签为原始图像的具体类别；以原始图像为训练数据，以分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器，特征提取器是提取图像特征的神经网络；对原始图像进行旋转，获得旋转图像和旋转图像对应的旋转标签，旋转图像是对原始图像中的目标对象进行旋转后获得的，旋转标签为旋转图像的角度方向标签；以旋转图像为训练图像，以旋转标签为训练标签，使用角度判别器对首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。在上述的实现过程中，通过以原始图像为训练数据对未经训练的特征提取器进行训练，获得训练后的特征提取器；再对原始图像旋转后的图像作为训练数据，并使用角度判别器对训练后的特征提取器进行再次训练，获得再次训练后的特征提取器，使得再次训练后的特征提取器与学习到类别无关标注信息，这里的标注信息可以理解为一种根据输入数据相关性得到的标签，从而有效地增加了再次训练后的特征提取器的泛化能力，并提高了该特征提取器识别少样本类别的样本数据的正确率，从而有效地改善了获得的神经网络模型识别少样本类别的样本数据的正确率非常低的问题。
可选地，在本申请实施例中，以原始图像为训练数据，以分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，包括：使用未经训练的特征提取器提取原始图像的图像特征；使用余弦分类器对图像特征进行预测，获得图像特征的预测标签；根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练。在上述的实现过程中，通过使用未经训练的特征提取器提取原始图像的图像特征；使用余弦分类器对图像特征进行预测，获得图像特征的预测标签；根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练；从而有效地提高了特征提取器识别基础类别的原始图像的准确率。
可选地，在本申请实施例中，根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练，包括：根据图像特征的预测标签和分类标签计算第一损失值，第一损失值表征图像特征的预测标签对应类别和分类标签对应类别之间的差异；根据第一损失值对未经训练的特征提取器进行训练。
可选地，在本申请实施例中，以旋转图像为训练图像，以旋转标签为训练标签，使用角度判别器对首次训练后的特征提取器进行再次训练，包括：使用首次训练后的特征提取器提取旋转图像的旋转特征；使用角度判别器对旋转特征进行预测，获得旋转特征的预测标签；根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练。在上述的实现过程中，通过使用首次训练后的特征提取器提取旋转图像的旋转特征；使用角度判别器对旋转特征进行预测，获得旋转特征的预测标签；根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练；有效地提高了特征提取器的泛化能力，从而提升了特征提取器识别少样本类别的原始图像的准确率。
可选地，在本申请实施例中，根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练，包括：根据旋转特征的预测标签和旋转标签计算第二损失值，第二损失值表征预测标签对应旋转角度和旋转标签对应旋转角度之间的差异；根据第二损失值对首次训练后的特征提取器进行再次训练。在上述的实现过程中，通过根据旋转特征的预测标签和旋转标签计算第二损失值，第二损失值表征预测标签对应旋转角度和旋转标签对应旋转角度之间的差异；根据第二损失值对首次训练后的特征提取器进行再次训练；有效地提高了特征提取器的泛化能力，从而提升了特征提取器识别少样本类别的原始图像的准确率。
可选地，在本申请实施例中，在获得再次训练后的特征提取器之后，还包括：获得待测图像，待测图像对应的类别样本数量少于原始图像对应的类别样本数量；使用再次训练后的特征提取器提取待测图像的分类特征；使用余弦分类器预测分类特征的具体类别。在上述的实现过程中，通过获得待测图像，待测图像对应的类别样本数量少于原始图像对应的类别样本数量；使用再次训练后的特征提取器提取待测图像的分类特征；使用余弦分类器预测分类特征的具体类别；即通过预先使特征提取器学习到与类别无关的角度方向标注信息，有效地提高了特征提取器的泛化能力，从而提升了特征提取器识别少样本类别的原始图像的准确率。
可选地，在本申请实施例中，获得待测图像，包括：接收终端设备发送的待测图像；在使用余弦分类器预测分类特征的具体类别之后，还包括：向终端设备发送分类特征的具体类别，分类特征的具体类别用于被终端设备使用或展示。在上述的实现过程中，通过向终端设备发送分类特征的具体类别，分类特征的具体类别用于被终端设备使用或展示，从而有效地提高了终端设备获得待测图像的具体类别的正确率。
本申请实施例还提供了一种提取器训练装置，包括：原始数据获得模块，用于获得原始图像和原始图像对应的分类标签，原始图像为目标对象的图像，分类标签为原始图像的具体类别；模型首次训练模块，用于以原始图像为训练数据，以分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器，特征提取器是提取图像特征的神经网络；旋转数据获得模块，用于对原始图像进行旋转，获得旋转图像和旋转图像对应的旋转标签，旋转图像是对原始图像中的目标对象进行旋转后获得的，旋转标签为旋转图像的角度方向标签；模型再次训练模块，用于以旋转图像为训练图像，以旋转标签为训练标签，使用角度判别器对首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。
可选地，在本申请实施例中，模型首次训练模块，包括：第一特征提取模块，用于使用未经训练的特征提取器提取原始图像的图像特征；第一标签获得模块，用于使用余弦分类器对图像特征进行预测，获得图像特征的预测标签；第一模型训练模块，用于根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练。
可选地，在本申请实施例中，第一模型训练模块，包括：第一损失值计算模块，用于根据图像特征的预测标签和分类标签计算第一损失值，第一损失值表征图像特征的预测标签对应类别和分类标签对应类别之间的差异；第二模型训练模块，用于根据第一损失值对未经训练的特征提取器进行训练。
可选地，在本申请实施例中，模型再次训练模块，包括：第二特征提取模块，用于使用首次训练后的特征提取器提取旋转图像的旋转特征；第二标签获得模块，用于使用角度判别器对旋转特征进行预测，获得旋转特征的预测标签；第三模型训练模块，用于根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练。
可选地，在本申请实施例中，第三模型训练模块，包括：第二损失值计算模块，用于根据旋转特征的预测标签和旋转标签计算第二损失值，第二损失值表征预测标签对应旋转角度和旋转标签对应旋转角度之间的差异；第四模型训练模块，用于根据第二损失值对首次训练后的特征提取器进行再次训练。
可选地，在本申请实施例中，提取器训练装置，还包括：待测图像获得模块，用于获得待测图像，待测图像对应的类别样本数量少于原始图像对应的类别样本数量；分类特征提取模块，用于使用再次训练后的特征提取器提取待测图像的分类特征；具体类别预测模块，用于使用余弦分类器预测分类特征的具体类别。
可选地，在本申请实施例中，提取器训练装置，还包括：待测图像接收模块，用于接收终端设备发送的待测图像；具体类别发送模块，用于向终端设备发送分类特征的具体类别，分类特征的具体类别用于被终端设备使用或展示。
本申请实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的提取器训练方法的流程示意图；
图2示出的本申请实施例提供的对特征提取器进行训练的示意图；
图3示出的本申请实施例提供的使用特征提取器对图像进行预测的流程示意图；
图4示出的本申请实施例提供的电子设备提供特征提取器训练服务的流程示意图；
图5示出的本申请实施例提供的电子设备提供图像分类预测服务的流程示意图；
图6示出的本申请实施例提供的提取器训练装置的结构示意图；
图7示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。
在介绍本申请实施例提供的提取器训练方法之前，先介绍本申请实施例所涉及的一些概念：
模型训练，是指根据训练数据对目标模型进行训练，具体的训练方式根据训练数据的情况可以包括：监督式学习和无监督学习等方式，下面将分别对这两种方式进行详细地说明。
监督式学习(Supervised learning)，又被称为监督式训练，是机器学习的一种方法，可以由训练资料中学到或建立一个学习模式(learning model)或学习函数，并依此模式推测新的实例。通常训练数据可以包括训练集和测试集，使用训练集对模型进行训练，获得训练后的模型，再使用测试集预测训练后的模型的准确率。
无监督学习(unsupervised learning)，又被称为无监督式训练，是指机器学习的一种方法，没有给定事先标记过的训练示例，自动对输入的数据进行分类或分群；无监督学习的主要包括：聚类分析(cluster analysis)、关系规则(association rule)、维度缩减(dimensionalityreduce)和生成对抗网络(Generative Adversarial Network，GAN)等。
自监督学习(Self Supervised Learning)，是指从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征；也就是说，自监督学习的监督信息不是人工标注的，而是使用学习器在大规模无监督数据中自动构造监督信息，来进行监督学习或训练；因此，自监督学习可以看作是无监督学习(Unsupervised Learning)中的一种学习方式。
服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。当然在具体的实施过程中，上述的服务器可以具体选择大型机或者小型机，这里的小型机是指采用精简指令集计算(ReducedInstruction Set Computing，RISC)、单字长定点指令平均执行速度(MillionInstructions Per Second，MIPS)等专用处理器，主要支持UNIX操作系统的封闭且专用的提供计算服务的设备；这里的大型机，又名大型主机，是指使用专用的处理器指令集、操作系统和应用软件来提供计算服务的设备。
需要说明的是，本申请实施例提供的提取器训练方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者上述的服务器，设备终端例如：智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personaldigital assistant，PDA)、移动上网设备(mobile Internet device，MID)、网络交换机或网络路由器等。
在介绍本申请实施例提供的提取器训练方法之前，先介绍该提取器训练方法适用的应用场景，这里的应用场景包括但不限于：在对神经网络模型或者机器学习模型进行训练之后，需要使用该神经网络模型或者机器学习模型对少样本类别的样本数据进行识别等场景，或者获取到已经预先训练的神经网络模型或者机器学习模型，在使用具体的业务图像作为训练数据对神经网络模型或者机器学习模型进行微调，但是由于这些业务图像过少导致神经网络模型或者机器学习模型对这些业务图像的识别率非常低，在使用图像增强方法对这些业务图像进行扩充后，仍然很难提高神经网络模型或者机器学习模型对这些业务图像的识别率的场景等等。
请参见图1示出的本申请实施例提供的提取器训练方法的流程示意图；该提取器训练方法通过以原始图像为训练数据对未经训练的特征提取器进行训练，获得训练后的特征提取器；再对原始图像旋转后的图像作为训练数据，并使用角度判别器对训练后的特征提取器进行再次训练，获得再次训练后的特征提取器，使得再次训练后的特征提取器与学习到类别无关标注信息，这里的标注信息可以理解为一种根据输入数据相关性得到的标签，从而有效地增加了再次训练后的特征提取器的泛化能力，并提高了该特征提取器识别少样本类别的样本数据的正确率；该提取器训练方法可以包括如下步骤：
步骤S110：获得原始图像和原始图像对应的分类标签。
原始图像，是指包含目标对象的图像，这里的原始图像就是基础类别的样本数据，这里的基础类别数据具体例如ImageNet数据集，ImageNet数据集是一个用于视觉对象识别研究的大型图像数据集，可以用于视觉目标识别软件研究。该数据集包括手动注释的1400多万张图像；这里的原始图像可以是多张图像，具体例如：若目标对象是猫和狗，那么这里的原始图像则是包括猫和狗的多张图像；可以理解的是，这里的原始图像中的每个图像包括至少一个目标对象。
分类标签，是指上述原始图像的具体类别；具体例如：若目标对象是猫和狗，即这里的原始图像中包括猫和狗；可以理解的是，这里的原始图像中的每个图像对应的类别为猫和狗，这里的猫和狗可以使用标签标示，具体的标签例如：使用1表示猫，使用2表示狗，那么包含猫的原始图像对应的标签为1，而且包含狗的原始图像对应的标签为2。
上述步骤S110中的原始图像和分类标签可以分开获取，具体例如：人工的收集原始图像，并人工地识别原始图像的分类标签，具体的收集原始图像过程例如：使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得原始图像；当然，也可以将原始图像和分类标签打包为训练压缩包一起获取，这里以训练压缩包一起获取为例进行说明。上述的训练压缩包的获得方式包括：第一种方式，使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得训练压缩包；然后该终端设备向电子设备发送训练压缩包，然后电子设备接收终端设备发送的训练压缩包，电子设备可以将训练压缩包存储至文件系统、数据库或移动存储设备中；第二种方式，获取预先存储的训练压缩包，具体例如：从文件系统中获取训练压缩包，或者从数据库中获取训练压缩包，或者从移动存储设备中获取训练压缩包；第三种方式，使用浏览器等软件获取互联网上的训练压缩包，或者使用其它应用程序访问互联网获得训练压缩包。
在步骤S110之后，执行步骤S120：以原始图像为训练数据，以分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器。
特征提取器(Feature Extractor)，是指用于提取图像中的图像特征的神经网络；这里的特征提取器可以是深度神经网络，常用的深度神经网络包括：VGG网络、Resnet网络、Wide Resnet网络和Inception网络等；其中，VGG网络具体例如：VGG16或者VGG19；Resnet网络具体例如：Resnet12、Resnet50或者Resnet101；Wide Resnet网络具体例如Wide Resnet-28-10网络，这里的Wide Resnet-28-10网络有时又被缩写为WRN-28-10；Inception网络具体例如：Inception v1、Inception v2或者Inception v3；在具体的实践过程中，这里的特征提取器也可以采用GoogleNet。
余弦分类器(Cosine Classifier)，是指使用余弦相似度对图像特征进行分类的神经网络，以使特征提取器提取出来的特征具有类别相关性，具体地，余弦分类器可以是一个单层的神经网络，其中，这里的余弦分类器学习的是分类权重W，具体形式为：cos(X,W)，cos()是指计算X和W的余弦相似度，X是指图像特征，W是分类权重。
请参见图2示出的本申请实施例提供的对特征提取器进行训练的示意图；上述步骤S120中的使用余弦分类器对未经训练的特征提取器进行训练的实施方式包括：
步骤S121：使用未经训练的特征提取器提取原始图像的图像特征。
上述步骤S121的实施方式包括：若特征提取器为VGG网络、Resnet网络、WideResnet网络或者Inception网络，那么使用VGG网络、Resnet网络、Wide Resnet网络或者Inception网络对原始图像的特征进行提取，获得原始图像的图像特征。
步骤S122：使用余弦分类器对图像特征进行预测，获得图像特征的预测标签。
上述步骤S122的实施方式具体例如：假设一共有五个类别，那么余弦分类器学习到的分类权重可以表示为W＝{w1,w2,…,w5}，其中的每个w是个权重向量，假如某个图像特征x与分类权重W中的w2(第二个权重向量)的余弦相似度最大，则该图像特征x应该被分为第2类，可以将这里的第2类确定为该图像特征的预测标签。
步骤S123：根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练。
上述步骤S123的实施方式包括：根据图像特征的预测标签和分类标签构建第一损失函数，将预测标签和分类标签的具体值代入第一损失函数计算获得第一损失值，再根据第一损失值对未经训练的特征提取器进行训练，其中，这里的第一损失值表征图像特征的预测标签对应类别和分类标签对应类别之间的差异，这里的第一损失函数例如：平方损失函数、指数损失函数(exponential loss)、0-1损失函数(zero-one loss)和绝对值损失函数等等。
在上述的实现过程中，通过使用未经训练的特征提取器提取原始图像的图像特征；使用余弦分类器对图像特征进行预测，获得图像特征的预测标签；根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练；从而有效地提高了特征提取器识别基础类别的原始图像的准确率。
在步骤S110之后，执行步骤S130：对原始图像进行旋转，获得旋转图像和旋转图像对应的旋转标签。
旋转图像，是指对原始图像中的目标对象进行旋转后获得的图像，因为上述的原始图像就是基础类别的样本数据，因此，这里的旋转图像也是基础类别的样本数据；具体例如：原始图像是包含猫的图像，其中猫的脸正面朝图像外，猫头向上且猫四肢向下；若将包含猫的图像进行旋转180度，那么猫头向下且猫四肢向上的图像就可以理解为这里的旋转图像，当然在具体的实践过程中，可以旋转任意角度，任意角度包括：0°、10°、30°、50°、60°、90°、120°、180°、200°、240°、270°和300°等等。
旋转标签，是指旋转图像的角度方向标签，具体例如：将包含猫的图像进行旋转180度，那么这里的180度则可以理解为旋转标签，同理地，0°、10°、30°、50°、60°、90°、120°、180°、200°、240°、270°和300°等等旋转角度或者旋转角度对应的标签均可以理解为旋转图像的旋转标签。
其中，上述的步骤S120和步骤S130的执行顺序可以不作限制，可以步骤S120先执行且步骤S130后执行，也可以步骤S130先执行且步骤S120后执行，当然也可以步骤S120和步骤S130并行执行，即步骤S120和步骤S130一起执行。
上述步骤S130中的对原始图像进行旋转的实施方式包括：对原始图像进行旋转0°、10°、30°、50°、60°、90°、120°、180°、200°、240°、270°或300°等角度，获得旋转后的旋转图像，以及旋转图像对应的旋转标签，具体例如：可以将0°、10°、30°、50°、60°、90°、120°、180°、200°、240°、270°或300°等旋转角度确定为旋转标签，也可以对其进行一定的计算后确定为旋转标签，例如除以10且去掉单位，那么获得的0、1、3、5、6、9、12、18、20、24、27或30可以被确定为旋转标签。
在步骤S120或者步骤S130之后，执行步骤S140：以旋转图像为训练图像，以旋转标签为训练标签，使用角度判别器对首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。
角度判别器，又被称为方向判别器，主要由神经网络构成，可以用角度判别器来判断图片的角度，例如图像经过0°、90°、180°或270°的旋转，那么经过训练的角度判别器能够从该图像中识别出旋转角度为0°、90°、180°或270°。
上述步骤S140中的使用角度判别器对首次训练后的特征提取器进行再次训练的实施方式包括：
步骤S141：使用首次训练后的特征提取器提取旋转图像的旋转特征。
上述步骤S141的实施方式包括：若旋转图像的旋转角度分别为0°、90°、180°或270°，且首次训练后的特征提取器为VGG网络、Resnet网络、Wide Resnet网络或者Inception网络，那么使用VGG网络、Resnet网络、Wide Resnet网络或者Inception网络对旋转图像的特征进行提取，获得旋转图像的旋转特征。
步骤S142：使用角度判别器对旋转特征进行预测，获得旋转特征的预测标签。
上述步骤S142的实施方式具体例如：若使用旋转角度为标签，那么使用角度判别器对旋转特征进行预测，获得旋转特征的旋转角度为0°、90°、180°或270°，这里的0°、90°、180°或270°为预测标签；若使用旋转角度对应的数值为标签，那么使用角度判别器对旋转特征进行预测，获得旋转特征的旋转角度为0、9、18或27，这里的0、9、18或27为预测标签。
步骤S143：根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练。
上述步骤S143的实施方式包括：根据旋转特征的预测标签和旋转标签构建第二损失函数，将旋转特征的预测标签和旋转标签的具体值代入第二损失函数计算获得第二损失值，再根据第二损失值对首次训练后的特征提取器进行再次训练，其中，第二损失值表征预测标签对应旋转角度和旋转标签对应旋转角度之间的差异，这里的第二损失函数例如：平方损失函数、指数损失函数(exponential loss)、0-1损失函数(zero-one loss)和绝对值损失函数等等。
从上面的训练过程可以看出，利用角度判别器来判断图片旋转的角度，这里的角度是与类别无关的标注信息，这种标注信息是一种根据输入数据相关性得到的标签信息，这个获得标签信息的过程可以理解为自监督学习的过程；因此，本申请实施例能够在保证特征提取器学习到类别相关信息的基础上，利用自监督学习的思想，让特征提取器学习到类别无关信息，从而增加特征提取器的泛化能力，使得特征提取器避免在基础类别上的过拟合。在上述的实现过程中，通过使用首次训练后的特征提取器提取旋转图像的旋转特征；使用角度判别器对旋转特征进行预测，获得旋转特征的预测标签；根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练；有效地提高了特征提取器的泛化能力，从而提升了特征提取器识别少样本类别的原始图像的准确率。
在上述的实现过程中，通过以原始图像为训练数据对未经训练的特征提取器进行训练，获得训练后的特征提取器；再对原始图像旋转后的图像作为训练数据，并使用角度判别器对训练后的特征提取器进行再次训练，获得再次训练后的特征提取器，使得再次训练后的特征提取器与学习到类别无关标注信息，这里的标注信息可以理解为一种根据输入数据相关性得到的标签，从而有效地增加了再次训练后的特征提取器的泛化能力，并提高了该特征提取器识别少样本类别的样本数据的正确率，从而有效地改善了获得的神经网络模型识别少样本类别的样本数据的正确率非常低的问题。
请参见图3示出的本申请实施例提供的使用特征提取器对图像进行预测的流程示意图；可选地，在本申请实施例中，在获得再次训练后的特征提取器之后，还可以使用特征提取器对图像进行预测，那么在步骤S140之后，使用特征提取器对图像进行预测的过程可以包括：
步骤S210：获得待测图像。
待测图像，是指对应的类别样本数量少于原始图像对应的类别样本数量；这里的待测图像具体例如：若基础类别的原始图像是使用包含猫和狗的图像作为训练数据，那么这里的待测图像可以是包含兔子的图像等，即这里的待测图像可以是少样本的类别图像。
上述步骤S210中的待测图像的获得方式包括：第一种方式，使用摄像机、录像机或彩色照相机等终端设备对目标对象进行拍摄，获得待测图像；然后该终端设备向电子设备发送待测图像，然后电子设备接收终端设备发送的待测图像，电子设备可以将待测图像存储至文件系统、数据库或移动存储设备中；第二种方式，获取预先存储的待测图像，具体例如：从文件系统中获取待测图像，或者从数据库中获取待测图像，或者从移动存储设备中获取待测图像；第三种方式，使用浏览器等软件获取互联网上的待测图像，或者使用其它应用程序访问互联网获得待测图像。
步骤S220：使用再次训练后的特征提取器提取待测图像的分类特征。
上述步骤S220的实施方式包括：若再次训练后的特征提取器为VGG网络、Resnet网络、Wide Resnet网络或者Inception网络，那么使用VGG网络、Resnet网络、Wide Resnet网络或者Inception网络对待测图像的特征进行提取，获得待测图像的分类特征。
步骤S230：使用余弦分类器预测分类特征的具体类别。
上述步骤S230的实施方式具体例如：假设一共有五个类别，那么余弦分类器学习到的分类权重可以表示为W＝{w1,w2,…,w5}，其中的每个w是个权重向量，假如待测图像x与分类权重W中的w2(第二个权重向量)的余弦相似度最大，则该待测图像x应该被分为第2类，这里的第2类就是分类特征对应的具体类别。
在上述的实现过程中，通过获得待测图像，待测图像对应的类别样本数量少于原始图像对应的类别样本数量；使用再次训练后的特征提取器提取待测图像的分类特征；使用余弦分类器预测分类特征的具体类别；即通过预先使特征提取器学习到与类别无关的角度方向标注信息，有效地提高了特征提取器的泛化能力，从而提升了特征提取器识别少样本类别的原始图像的准确率。
请参见图4示出的本申请实施例提供的电子设备提供特征提取器训练服务的流程示意图；可选地，执行上述提取器训练方法的电子设备还可以与终端设备进行交互，以提供特征提取器训练服务，那么提供特征提取器训练服务的过程可以包括：
步骤S310：电子设备接收终端设备发送的原始图像和原始图像对应的分类标签，原始图像为目标对象的图像，分类标签为原始图像的具体类别。
上述步骤S310的实施方式例如：电子设备通过传输控制协议(TransmissionControl Protocol，TCP)或者用户数据报协议(User Datagram Protocol，UDP)接收终端设备发送的原始图像和原始图像对应的分类标签，其中，原始图像为目标对象的图像，分类标签为原始图像的具体类别，这里的TCP协议又名网络通讯协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议；在因特网协议族中，TCP层是位于IP层之上，应用层之下的中间层；不同主机的应用层之间经常需要可靠的、像管道一样的连接，但是IP层不提供这样的流机制，而是提供不可靠的包交换；这里的UDP是User Datagram Protocol的简称，中文名是用户数据报协议，UDP协议是开放式系统互联(Open System Interconnection，OSI)参考模型中一种无连接的传输层协议。
步骤S320：以原始图像为训练数据，以分类标签为训练标签，电子设备使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器。
步骤S330：电子设备对原始图像进行旋转，获得旋转图像和旋转图像对应的旋转标签。
步骤S340：以旋转图像为训练图像，以旋转标签为训练标签，电子设备使用角度判别器对首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。
其中，上述步骤S320至步骤S340的实施原理和实施方式与步骤S120至步骤S140的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S120至步骤S140的描述。
步骤S350：电子设备向终端设备发送再次训练后的特征提取器。
上述步骤S350的实施方式包括：电子设备通过TCP协议或者UDP协议向终端设备发送再次训练后的特征提取器。在上述的实现过程中，通过向终端设备发送分类特征的具体类别，分类特征的具体类别用于被终端设备使用或展示，从而有效地提高了终端设备获得待测图像的具体类别的正确率。
请参见图5示出的本申请实施例提供的电子设备提供图像分类预测服务的流程示意图；可选地，执行上述提取器训练方法的电子设备还可以与终端设备进行交互，以提供图像分类预测服务，那么提供图像分类预测服务的过程可以包括：
步骤S410：电子设备接收终端设备发送的待测图像。
上述步骤S410的实施方式例如：电子设备通过超文本传输协议(Hyper TextTransfer Protocol，HTTP)和超文本传输安全协议(Hyper Text Transfer ProtocolSecure，HTTPS)接收终端设备发送的待测图像；其中，这里的HTTP是一个简单的请求响应协议，HTTP协议通常运行在传输控制协议(Transmission Control Protocol，TCP)之上的协议；这里的HTTPS又被称为HTTP Secure，是一种通过计算机网络进行安全通信的传输协议；HTTPS开发的主要目的，是提供对网站服务器的身份认证，保护交换数据的隐私与完整性。
步骤S420：电子设备使用再次训练后的特征提取器提取待测图像的分类特征。
步骤S430：电子设备使用余弦分类器预测分类特征的具体类别。
其中，上述步骤S420至步骤S430的实施原理和实施方式与步骤S220至步骤S230的实施原理和实施方式是相似或类似的，因此，这里不再对该步骤的实施方式和实施原理进行说明，如有不清楚的地方，可以参考对步骤S220至步骤S230的描述。
步骤S440：电子设备向终端设备发送分类特征的具体类别。
上述步骤S440的实施方式例如：电子设备使用HTTP协议或者HTTPS协议向终端设备发送分类特征的具体类别。
步骤S450：终端设备使用或展示分类特征的具体类别。
上述步骤S450的实施方式例如：终端设备使用该分类特征的具体类别判断是否应该拍照，或者在显示屏上述显示分类特征的具体类别等等。在上述的实现过程中，通过向终端设备发送分类特征的具体类别，分类特征的具体类别用于被终端设备使用或展示，从而有效地提高了终端设备获得待测图像的具体类别的正确率。
请参见图6示出的本申请实施例提供的提取器训练装置的结构示意图；本申请实施例提供了一种提取器训练装置500，包括：
原始数据获得模块510，用于获得原始图像和原始图像对应的分类标签，原始图像为目标对象的图像，分类标签为原始图像的具体类别。
模型首次训练模块520，用于以原始图像为训练数据，以分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器，特征提取器是提取图像特征的神经网络。
旋转数据获得模块530，用于对原始图像进行旋转，获得旋转图像和旋转图像对应的旋转标签，旋转图像是对原始图像中的目标对象进行旋转后获得的，旋转标签为旋转图像的角度方向标签。
模型再次训练模块540，用于以旋转图像为训练图像，以旋转标签为训练标签，使用角度判别器对首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。
可选地，在本申请实施例中，模型首次训练模块，包括：
第一特征提取模块，用于使用未经训练的特征提取器提取原始图像的图像特征。
第一标签获得模块，用于使用余弦分类器对图像特征进行预测，获得图像特征的预测标签。
第一模型训练模块，用于根据图像特征的预测标签和分类标签对未经训练的特征提取器进行训练。
可选地，在本申请实施例中，第一模型训练模块，包括：
第一损失值计算模块，用于根据图像特征的预测标签和分类标签计算第一损失值，第一损失值表征图像特征的预测标签对应类别和分类标签对应类别之间的差异。
第二模型训练模块，用于根据第一损失值对未经训练的特征提取器进行训练。
可选地，在本申请实施例中，模型再次训练模块，包括：
第二特征提取模块，用于使用首次训练后的特征提取器提取旋转图像的旋转特征。
第二标签获得模块，用于使用角度判别器对旋转特征进行预测，获得旋转特征的预测标签。
第三模型训练模块，用于根据旋转特征的预测标签和旋转标签对首次训练后的特征提取器进行再次训练。
可选地，在本申请实施例中，第三模型训练模块，包括：
第二损失值计算模块，用于根据旋转特征的预测标签和旋转标签计算第二损失值，第二损失值表征预测标签对应旋转角度和旋转标签对应旋转角度之间的差异。
第四模型训练模块，用于根据第二损失值对首次训练后的特征提取器进行再次训练。
可选地，在本申请实施例中，提取器训练装置，还包括：
待测图像获得模块，用于获得待测图像，待测图像对应的类别样本数量少于原始图像对应的类别样本数量。
分类特征提取模块，用于使用再次训练后的特征提取器提取待测图像的分类特征。
具体类别预测模块，用于使用余弦分类器预测分类特征的具体类别。
可选地，在本申请实施例中，提取器训练装置，还可以包括：
待测图像接收模块，用于接收终端设备发送的待测图像。
具体类别发送模块，用于向终端设备发送分类特征的具体类别，分类特征的具体类别用于被终端设备使用或展示。
应理解的是，该装置与上述的提取器训练方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，OS)中的软件功能模块。
请参见图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备600，包括：处理器610和存储器620，存储器620存储有处理器610可执行的机器可读指令，机器可读指令被处理器610执行时执行如上的方法。
本申请实施例还提供了一种存储介质630，该存储介质630上存储有计算机程序，该计算机程序被处理器610运行时执行如上的方法。
其中，存储介质630可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (10)

1.一种提取器训练方法，其特征在于，包括：
获得原始图像和所述原始图像对应的分类标签，所述原始图像为目标对象的图像，所述分类标签为所述原始图像的具体类别；
以所述原始图像为训练数据，以所述分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器，所述特征提取器是提取图像特征的神经网络；
对所述原始图像进行旋转，获得旋转图像和所述旋转图像对应的旋转标签，所述旋转图像是对所述原始图像中的目标对象进行旋转后获得的，所述旋转标签为所述旋转图像的角度方向标签；
以所述旋转图像为训练图像，以所述旋转标签为训练标签，使用角度判别器对所述首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。
2.根据权利要求1所述的方法，其特征在于，所述以所述原始图像为训练数据，以所述分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，包括：
使用所述未经训练的特征提取器提取所述原始图像的图像特征；
使用余弦分类器对所述图像特征进行预测，获得所述图像特征的预测标签；
根据所述图像特征的预测标签和所述分类标签对所述未经训练的特征提取器进行训练。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像特征的预测标签和所述分类标签对所述未经训练的特征提取器进行训练，包括：
根据所述图像特征的预测标签和所述分类标签计算第一损失值，所述第一损失值表征所述图像特征的预测标签对应类别和所述分类标签对应类别之间的差异；
根据所述第一损失值对所述未经训练的特征提取器进行训练。
4.根据权利要求1所述的方法，其特征在于，所述以所述旋转图像为训练图像，以所述旋转标签为训练标签，使用角度判别器对所述首次训练后的特征提取器进行再次训练，包括：
使用所述首次训练后的特征提取器提取所述旋转图像的旋转特征；
使用所述角度判别器对所述旋转特征进行预测，获得所述旋转特征的预测标签；
根据所述旋转特征的预测标签和所述旋转标签对所述首次训练后的特征提取器进行再次训练。
5.根据权利要求4所述的方法，其特征在于，所述根据所述旋转特征的预测标签和所述旋转标签对所述首次训练后的特征提取器进行再次训练，包括：
根据所述旋转特征的预测标签和所述旋转标签计算第二损失值，所述第二损失值表征所述预测标签对应旋转角度和所述旋转标签对应旋转角度之间的差异；
根据所述第二损失值对所述首次训练后的特征提取器进行再次训练。
6.根据权利要求1-5任一所述的方法，其特征在于，在所述获得再次训练后的特征提取器之后，还包括：
获得待测图像，所述待测图像对应的类别样本数量少于所述原始图像对应的类别样本数量；
使用所述再次训练后的特征提取器提取所述待测图像的分类特征；
使用所述余弦分类器预测所述分类特征的具体类别。
7.根据权利要求6所述的方法，其特征在于，所述获得待测图像，包括：
接收终端设备发送的所述待测图像；
在所述使用所述余弦分类器预测所述分类特征的具体类别之后，还包括：
向所述终端设备发送所述分类特征的具体类别，所述分类特征的具体类别用于被所述终端设备使用或展示。
8.一种提取器训练装置，其特征在于，包括：
原始数据获得模块，用于获得原始图像和所述原始图像对应的分类标签，所述原始图像为目标对象的图像，所述分类标签为所述原始图像的具体类别；
模型首次训练模块，用于以所述原始图像为训练数据，以所述分类标签为训练标签，使用余弦分类器对未经训练的特征提取器进行训练，获得首次训练后的特征提取器，所述特征提取器是提取图像特征的神经网络；
旋转数据获得模块，用于对所述原始图像进行旋转，获得旋转图像和所述旋转图像对应的旋转标签，所述旋转图像是对所述原始图像中的目标对象进行旋转后获得的，所述旋转标签为所述旋转图像的角度方向标签；
模型再次训练模块，用于以所述旋转图像为训练图像，以所述旋转标签为训练标签，使用角度判别器对所述首次训练后的特征提取器进行再次训练，获得再次训练后的特征提取器。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。
10.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
CN202010834252.XA 2020-08-18 2020-08-18 一种提取器训练方法、装置、电子设备及存储介质 Active CN111950567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010834252.XA CN111950567B (zh) 2020-08-18 2020-08-18 一种提取器训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010834252.XA CN111950567B (zh) 2020-08-18 2020-08-18 一种提取器训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111950567A true CN111950567A (zh) 2020-11-17
CN111950567B CN111950567B (zh) 2024-04-09

Family

ID=73342215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010834252.XA Active CN111950567B (zh) 2020-08-18 2020-08-18 一种提取器训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111950567B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733849A (zh) * 2021-01-11 2021-04-30 浙江智慧视频安防创新中心有限公司 模型训练方法、图像旋转角度矫正方法及装置
CN113360696A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 图像配对方法、装置、设备以及存储介质
US20220207266A1 (en) * 2020-12-31 2022-06-30 Sensetime International Pte. Ltd. Methods, devices, electronic apparatuses and storage media of image processing
WO2023142452A1 (zh) * 2022-01-26 2023-08-03 郑州云海信息技术有限公司 模型训练方法、铁路接触网异常检测方法及相关装置
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
CN117274148B (zh) * 2022-12-05 2024-07-09 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030099395A1 (en) * 2001-11-27 2003-05-29 Yongmei Wang Automatic image orientation detection based on classification of low-level image features
US20140333722A1 (en) * 2013-05-13 2014-11-13 Samsung Electronics Co., Ltd. Apparatus and method of processing depth image using relative angle between image sensor and target object
CN108038474A (zh) * 2017-12-28 2018-05-15 深圳云天励飞技术有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
US20190347571A1 (en) * 2017-02-03 2019-11-14 Koninklijke Philips N.V. Classifier training
CN110796029A (zh) * 2019-10-11 2020-02-14 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN111104942A (zh) * 2019-12-09 2020-05-05 熵智科技(深圳)有限公司 一种模板匹配网络训练方法、识别方法及装置
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030099395A1 (en) * 2001-11-27 2003-05-29 Yongmei Wang Automatic image orientation detection based on classification of low-level image features
US20140333722A1 (en) * 2013-05-13 2014-11-13 Samsung Electronics Co., Ltd. Apparatus and method of processing depth image using relative angle between image sensor and target object
US20190347571A1 (en) * 2017-02-03 2019-11-14 Koninklijke Philips N.V. Classifier training
CN108038474A (zh) * 2017-12-28 2018-05-15 深圳云天励飞技术有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质
CN110796029A (zh) * 2019-10-11 2020-02-14 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN111104942A (zh) * 2019-12-09 2020-05-05 熵智科技(深圳)有限公司 一种模板匹配网络训练方法、识别方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220207266A1 (en) * 2020-12-31 2022-06-30 Sensetime International Pte. Ltd. Methods, devices, electronic apparatuses and storage media of image processing
CN112733849A (zh) * 2021-01-11 2021-04-30 浙江智慧视频安防创新中心有限公司 模型训练方法、图像旋转角度矫正方法及装置
CN113360696A (zh) * 2021-06-23 2021-09-07 北京百度网讯科技有限公司 图像配对方法、装置、设备以及存储介质
WO2023142452A1 (zh) * 2022-01-26 2023-08-03 郑州云海信息技术有限公司 模型训练方法、铁路接触网异常检测方法及相关装置
CN117274148A (zh) * 2022-12-05 2023-12-22 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法
CN117274148B (zh) * 2022-12-05 2024-07-09 魅杰光电科技(上海)有限公司 基于深度学习的无监督晶圆缺陷检测方法

Also Published As

Publication number Publication date
CN111950567B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111950567B (zh) 一种提取器训练方法、装置、电子设备及存储介质
US10885383B2 (en) Unsupervised cross-domain distance metric adaptation with feature transfer network
CN108229478B (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
US10699195B2 (en) Training of artificial neural networks using safe mutations based on output gradients
CN109086873B (zh) 递归神经网络的训练方法、识别方法、装置及处理设备
US20190095764A1 (en) Method and system for determining objects depicted in images
EP3767536A1 (en) Latent code for unsupervised domain adaptation
US10726335B2 (en) Generating compressed representation neural networks having high degree of accuracy
CN111783749A (zh) 一种人脸检测方法、装置、电子设备及存储介质
CN111275046B (zh) 一种字符图像识别方法、装置、电子设备及存储介质
CN110210335B (zh) 一种行人重识别学习模型的训练方法、系统和装置
CN112529020B (zh) 基于神经网络的动物识别方法、系统、设备及存储介质
CN112906685B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN113313215B (zh) 图像数据处理方法、装置、计算机设备和存储介质
Turchini et al. Convex polytope ensembles for spatio-temporal anomaly detection
CN111062019A (zh) 用户攻击检测方法、装置、电子设备
CN112651467B (zh) 卷积神经网络的训练方法和系统以及预测方法和系统
CN114422271A (zh) 数据处理方法、装置、设备及可读存储介质
CN111652320B (zh) 一种样本分类方法、装置、电子设备及存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN113191183A (zh) 人员重新识别中的无监督域纠正伪标签方法及装置
CN115035463B (zh) 行为识别方法、装置、设备和存储介质
CN108596068B (zh) 一种动作识别的方法和装置
CN115622793A (zh) 一种攻击类型识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant