CN111291817A - 图像识别方法、装置、电子设备和计算机可读介质 - Google Patents

图像识别方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN111291817A
CN111291817A CN202010098022.1A CN202010098022A CN111291817A CN 111291817 A CN111291817 A CN 111291817A CN 202010098022 A CN202010098022 A CN 202010098022A CN 111291817 A CN111291817 A CN 111291817A
Authority
CN
China
Prior art keywords
target
image
classification
neural network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010098022.1A
Other languages
English (en)
Other versions
CN111291817B (zh
Inventor
王塑
窦毅琨
刘宇
王亚可
王泽荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010098022.1A priority Critical patent/CN111291817B/zh
Publication of CN111291817A publication Critical patent/CN111291817A/zh
Application granted granted Critical
Publication of CN111291817B publication Critical patent/CN111291817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像识别方法、装置、电子设备和计算机可读介质，涉及图像处理的技术领域，包括获取待识别图像；并将待识别图像输入至目标神经网络中，得到待识别图像的特征信息和待识别图像的重构图像，其中，目标神经网络包括特征提取网络和重构网络；基于待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于重构图像计算目标神经网络中重构网络的重构损失函数；基于目标损失函数和重构损失函数确定待识别图像的样本类型，本申请缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。

Description

图像识别方法、装置、电子设备和计算机可读介质
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种图像识别方法、装置、电子设备和计算机可读介质。
背景技术
当前，训练处理遮挡、活体、检测等开集问题时，往往是通过同时采集正样本数据和负样本数据来训练神经网络模型。但是，在开集问题中，负样本数据类型几乎是无法穷尽的。这给开集问题的训练带来非常大的困难。以遮挡问题为例，负样本中采集一些遮挡类型后，如手、比等物体后，其很难保证在树叶、座椅等物体遮挡上同样能够实现准确的识别率。
为了解决开集问题，传统技术存在以下几种方法：
方法一、在特征空间中判断待分类样本到已分类样本之间的L2距离。其中，L2距离越大，则样本为负样本的可能性越大；
方法二、在训练分类问题的同时，同时训练重构问题。即将训练原图首先变换到特征，再由特征变换到恢复图，从而通过判断原图和恢复图的之间精确度，来判断样本是否为负样本，其中，负样本恢复的精度更小。
但是，上述方法存在以下问题：当特征提取模型对待分类样本和已分类样本进行处理后，存在可能，使待分类样本和已分类样本这两张图在相同的特征空间上，而这会导致方法一失效，无法进行判断。而方法二，一种特殊情况是，当特征提取模型保留了所有的原图信息时，总是存在方法将特征图重构回原图，从而使方法失效。
发明内容
有鉴于此，本发明的目的在于提供一种图像识别方法、装置、电子设备和计算机可读介质，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
第一方面，本发明实施例提供了一种图像识别方法，包括：获取待识别图像；并将所述待识别图像输入至目标神经网络中，得到所述待识别图像的特征信息和所述待识别图像的重构图像，其中，所述目标神经网络包括特征提取网络和重构网络；基于所述待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于所述重构图像计算所述目标神经网络中重构网络的重构损失函数，其中，所述目标分类特征信息为特征提取网络确定出的所述待识别图像所属分类的特征信息；基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型。
进一步地，所述目标神经网络包括以下至少之一：单类型神经网络、多类型神经网络和未知多类型神经网络；所述单类型神经网络的分类类别为一种；所述多类型神经网络的分类类别为多种；所述未知多类型神经网络的分类类别为多种，且多种分类类别中包含已知分类类别和未知分类类别。
进一步地，所述目标神经网络为所述单类型神经网络；基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括：获取第一损失阈值和第二损失阈值；若所述目标损失函数大于所述第一损失阈值，和/或，所述重构损失函数大于所述第二损失阈值，则确定所述待识别图像的样本类型为负样本。
进一步地，所述目标神经网络为所述多类型神经网络；所述方法还包括：获取所述特征提取网络的各个分类类别的分类特征信息；基于所述待识别图像的特征信息和所述分类特征信息计算所述待识别图像所属于每个分类类别的第一预测概率，得到多个第一预测概率；基于所述多个第一预测概率在多个分类类别确定所述待识别图像所属的目标分类类别；将所述目标分类类别对应的特征信息确定为所述目标分类特征信息。
进一步地，基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括：获取与每个分类类别相对应的第一损失阈值；以及获取与每个分类类别相对应的第二损失阈值；若所述目标损失函数大于每个第一损失阈值，和/或，所述重构损失函数大于每个第二损失阈值，则确定所述待识别图像的样本类型为负样本。
进一步地，所述方法还包括：确定所述第一损失阈值，以及确定所述第二损失阈值。
进一步地，确定所述第一损失阈值，以及确定所述第二损失阈值包括：若所述目标神经网络的分类类别为多种，则为每种分类类别确定第一损失阈值；以及，若所述目标神经网络的分类类别为多种，则为每种分类类别确定第二损失阈值。
进一步地，确定所述第一损失阈值，以及确定所述第二损失阈值包括：获取预先设定的目标通过率；其中，所述目标通过率包括：正样本通过率或者负样本通过率；通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
进一步地，所述目标神经网络为所述未知多类型神经网络；所述方法还包括：获取目标底库图像；将所述目标底库图像输入至所述特征提取网络中，得到所述目标底库图像的特征信息，其中，每一张目标底库图像对应所述未知多类型神经网络的一个底库分类类别。
进一步地，所述方法还包括：基于所述目标底库图像的特征信息和所述待识别图像的特征信息确定所述待识别图像所属于每个底库分类类别的第二预测概率，得到多个第二预测概率；基于所述多个第二预测概率确定所述待识别图像所属的目标底库分类类别；并将所述目标底库分类类别对应的特征信息确定为所述目标分类特征信息。
进一步地，确定所述第一损失阈值，以及确定所述第二损失阈值还包括：将所述目标底库图像的特征信息输入至阈值网络中，并将所述阈值网络的输出数据确定为所述第一损失阈值和所述第二损失阈值。
进一步地，所述方法还包括：获取目标验证集数据，并基于所述目标验证集数据构建训练样本；其中，所述目标验证集数据中包含至少一张底库图像，且所述至少一张底库图像所属于多个目标对象，所述训练样本中的输入数据为所述至少一张底库图像的特征信息，输出数据为预设第一损失阈值和预设第二损失阈值；根据所述训练样本对初始阈值网络进行训练，得到所述阈值网络。
进一步地，基于所述目标验证集数据构建训练样本包括：利用所述特征提取网络提取所述目标验证集数据中的至少一张底库图像的特征信息；按照所述至少一张底库图像所属的目标对象，对所述至少一张底库图像的特征信息进行分类，得到多个第一目标数据组，其中，一个目标对象对应一个第一目标数据组；为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；基于所述第一目标数据组和为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
进一步地，基于所述目标验证集数据构建训练样本包括：利用所述特征提取网络提取所述目标验证集数据中至少一张底库图像的特征信息；并按照所述目标对象的特征信息将所述至少一张底库图像的特征信息进行聚类分组，得到至少一个第二目标数据组；为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；基于所述第二目标数据组和为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
进一步地，所述方法还包括：获取训练样本，其中，所述训练样本的样本类型为正样本；利用所述训练样本训练初始神经网络中的初始特征提取网络和初始重构网络，得到所述目标神经网络中的特征提取网络和所述重构网络。
第二方面，本发明实施例提供了一种图像识别装置，包括：获取单元，用于获取待识别图像；并将所述待识别图像输入至目标神经网络中，得到所述待识别图像的特征信息和所述待识别图像的重构图像，其中，所述目标神经网络包括特征提取网络和重构网络；计算单元，用于基于所述待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于所述重构图像计算所述目标神经网络中重构网络的重构损失函数，其中，所述目标分类特征信息为特征提取网络确定出的所述待识别图像所属分类的特征信息；第一确定单元，用于基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的方法的步骤。
第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面中任一项所述的方法的步骤。
在本发明实施例中，首先获取待识别图像；并将待识别图像输入至目标神经网络中，得到待识别图像的特征信息和待识别图像的重构图像；之后，基于待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于重构图像计算目标神经网络中重构网络的重构损失函数，以及基于重构图像计算目标神经网络中重构网络的重构损失函数；最后，基于目标损失函数和重构损失函数确定待识别图像的样本类型。通过上述描述可知，在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种电子设备的结构示意图；
图2是根据本发明实施例的一种图像识别方法的流程图；
图3是根据本发明实施例的一种目标神经网络的示意图；
图4是根据本发明实施例的一种单类型神经网络的结构示意图；
图5是根据本发明实施例的一种多类型神经网络的结构示意图；
图6是根据本发明实施例的一种初始阈值网络的结构图；
图7是根据本发明实施例的一种图像识别装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像识别方法。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110用于进行采集待识别图像，其中，摄像机所采集的数据经过所述图像识别方法得到待识别图像的样本类型。
实施例2：
根据本发明实施例，提供了一种图像识别方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种图像识别方法的流程图，如图2所示，该方法包括如下步骤：
步骤S202，获取待识别图像；并将所述待识别图像输入至目标神经网络中，得到所述待识别图像的特征信息和所述待识别图像的重构图像，其中，所述目标神经网络包括特征提取网络和重构网络。
在本申请中，如图3所示，目标神经网络包含特征提取网络和重构网络两个部分，且特征提取网络的输出部分和重构网络的输入部分相连接。
特征提取网络用于提取待识别图像的特征信息，重构网络用于基于特征信息重构得到重构图像。
如图3所示，特征提取网络包含依次连接的：至少一个卷积层，池化层和全连接层；同样地，如图3所示，重构网络包含依次连接的：全连接层、池化层和至少一个卷积层。
需要说明的是，在本申请中，特征提取网络和重构网络并不限定于如图3所示的结构，还可以为其他的结构，本申请对此不做具体限定。
需要说明的是，在本申请中，该目标神经网络可以为用于进行遮挡识别，活体识别和安全识别的模型，除此之外，还可以为其他关于开集问题的神经网络模型，本申请对此不做具体限定。
步骤S204，基于所述待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于所述重构图像计算所述目标神经网络中重构网络的重构损失函数，其中，所述目标分类特征信息为特征提取网络确定出的所述待识别图像所属分类的特征信息。
在将待识别图像输入到目标神经网络之后，就可以通过特征提取网络对待识别图像进行特征提取，得到待识别图像的特征信息；之后，将待识别图像的特征信息输入至重构图像中，得到待识别图像的重构图像。接下来，就可以基于待识别图像的特征信息和目标分类特征信息计算目标损失函数，并基于重构图像和待识别图像的特征信息计算重构网络的重构损失函数。
步骤S206，基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型。
在计算得到目标损失函数和重构损失函数之后，就可以基于目标损失函数和重构损失函数确定待识别图像的样本类型。
可选地，在本实施例中，样本类型包括正样本和负样本。其中，正样本为与特征提取网络的分类类型相关的样本，负样本为与特征提取网络的分类类型无关的样本。
在本发明实施例中，首先获取待识别图像；并将待识别图像输入至目标神经网络中，得到待识别图像的特征信息和待识别图像的重构图像；之后，确定目标特征信息，并基于待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于重构图像计算目标神经网络中重构网络的重构损失函数，以及基于重构图像计算目标神经网络中重构网络的重构损失函数；最后，基于目标损失函数和重构损失函数确定待识别图像的样本类型。通过上述描述可知，在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
在本实施例中，目标神经网络包括以下至少之一：单类型神经网络、多类型神经网络和未知多类型神经网络。
具体地，所述单类型神经网络的分类类别为一种；
所述多类型神经网络的分类类别为多种；
所述未知多类型神经网络的分类类别为多种，且多种分类类别中包含已知分类类别和未知分类类别。
下面将在下述实施例中，针对上述三种目标神经网络对本申请的图像识别方法进行详细的介绍。
实施例3：
第一、目标神经网络为单类型神经网络
在本申请中，单类型神经网络是指其分类类别为一种，例如，判断人脸是否有遮挡，如果完全没有遮挡那么该图像为正样本，其他任何形式的遮挡都属于负样本。
在本实施例中，在获取到待识别图像之后，将待识别图像输入至单类型神经网络中，得到待识别图像的特征信息和待识别图像的重构图像。之后，基于待识别图像的特征信息和目标分类特征信息计算目标损失函数，其中，该目标损失函数为回归损失函数，例如，可以为L2损失函数。并基于重构图像计算单类型神经网络中重构网络的重构损失函数。在确定出回归损失函数和重构损失函数之后，就可以基于回归损失函数和重构损失函数确定待识别图像的样本类型(例如，是否为负样本)。
在一个可选的实施方式中，步骤S206，基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括如下步骤：
步骤S11，获取第一损失阈值和第二损失阈值；
步骤S12，若所述目标损失函数大于所述第一损失阈值，和/或，所述重构损失函数大于所述第二损失阈值，则确定所述待识别图像的样本类型为负样本。
具体地，可以预先为目标损失函数设定一个阈值，即第一损失阈值，并为重构损失函数设定一个阈值，即，第二损失阈值。在基于目标损失函数和重构损失函数来确定待识别图像的样本类型时，可以结合第一损失阈值和第二损失阈值来实现。
在本申请中，首先，可以获取预先设定的第一损失阈值和第二损失阈值，然后，将目标损失函数和第一损失阈值进行比较，和/或，将重构损失函数和第二损失阈值进行比较。如果比较结果为目标损失函数大于第一损失函数，和/或，重构损失函数大于第二损失阈值，则可以确定该待识别图像的样本类型为负样本。
在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
需要说明的是，在本申请中，针对单类型神经网络，在执行上述步骤S202至步骤S206所描述的过程之前，需要对单类型神经网络的初始神经网络进行训练，以及确定第一损失阈值和第二损失阈值，下面，将重点介绍该过程。
(一)单类型神经网络的初始神经网络的训练过程可以描述为如下过程：
首先，获取训练样本，其中，所述训练样本的样本类型为正样本；
然后，利用所述训练样本训练初始神经网络中的初始特征提取网络和初始重构网络，得到所述目标神经网络中的特征提取网络和所述重构网络。
如图4所示的为单类型神经网络的结构图。如图4所示，单类型神经网络的目标损失函数为L2损失函数。
在本申请中，重构损失函数reconstruct loss可以表示为：L1＝abs(img0-img1).mean()，其中，img0为输入到单类型神经网络的特征提取网络的输入端的初始图像(例如，待识别图像)，img1为初始图像(例如，待识别图像)的重构图像。L2损失函数可以表示为：L2＝(abs(feature-feature0)∧2).mean()。除此之外，还可以包含其他损失函数，例如，Weight decay损失函数等其他损失函数。
需要说明的是，在L2损失函数中，feature0可以理解为正样本的特征的聚集中心，正样本通过特征提取网络和L2损失函数会使特征聚集到feature0附近，也即，feature0为目标分类特征信息；Feature为待识别图像的特征信息。初始图像图img0如果在特征信息上接近正样本的特征信息，就会在测试时显示L2损失函数小，否则就大。因此，feature0可以选择为任意一个常数，例如，选择为零。且在本申请中，重构损失函数和L2损失函数满足与特征距离正相关。特征距离是指(abs(feature-feature0)^2).sum()，即为feature和feature0的L2距离。L2损失函数与特征距离正相关可以表示为：可以选择其他形式的L2损失函数，只要这个L2损失函数能使当特征距离减小时，L2损失函数就减小即可。比如L2＝f((abs(feature-feature0)^2).sum())，其中，f是一个函数，且f的导数f’>0。对重构损失函数也有类似的改造方案，比如L1＝g(abs(img0-img1).mean())，且g是一个函数，且g的导数g’>0。
在按照上述所描述的方式搭建好单类型神经网路的初始神经网络之后，就可以获取训练样本，其中，训练样本的样本类型为正样本。之后，就可以利用训练样本对单类型神经网络的初始神经网络进行训练，从而得到目标神经网络。
在本实施例中，在对单类型神经网络的初始神经网络进行训练之后，就可以确定所述第一损失阈值，以及确定所述第二损失阈值。
在本实施例中，由于单类型神经网络的分类类别为一种，因此，可以为该分类类型所对应的L2损失函数确定第一损失阈值，以及为重构损失函数确定第二损失阈值。
(二)在本实施例中，可以通过以下方式确定所述第一损失阈值，以及确定所述第二损失阈值，具体包括：
确定方式一
首先，获取预先设定的目标通过率；其中，所述目标通过率包括：正样本通过率；
然后，通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
具体地，假设单类型神经网络的正样本通过率为p，且假设L2损失函数和重构损失函数带来的正样本通过率损失相同。
再假设L2损失函数带来的正样本通过率为pA，重构损失函数的带来的正样本通过率为pB，由于p＝pA×pB，且pA＝pB，所以可以得到
Figure BDA0002385683380000131
在本申请中，可以将验证集的正样本数据过特征提取网络和重构网络，分别得到分类特征信息和重构图像；然后基于分类特征信息和重构图像，计算目标损失函数和重构损失函数；之后，将计算出的目标损失函数和重构损失函数分别与特定的阈值进行比对，其中，阈值比对的结果要求正样本在分类损失函数的通过率为pA(即，在特定的阈值下通过L2损失函数的概率为
Figure BDA0002385683380000141
)，在重构损失函数的通过率为pB(即，在特定的阈值下通过重构损失函数的概率为
Figure BDA0002385683380000142
)，那样正样本总的通过率为pA*pB＝p。
确定方式二
首先，获取预先设定的目标通过率；其中，所述目标通过率包括：负样本通过率；
然后，通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
具体地，假设单类型神经网络的负样本通过率为p，且假设L2损失函数和重构损失函数带来的负样本通过率损失相同。
再假设L2损失函数带来的负样本通过率为pA，重构损失函数带来的负样本通过率为pB，由于p＝pA×pB，且pA＝pB，所以可以得到
Figure BDA0002385683380000143
在本申请中，可以将验证集的负样本数据过特征提取网络和重构网络，分别得到分类特征信息和重构图像；然后基于分类特征信息和重构图像，计算目标损失函数和重构损失函数；之后，将计算出的目标损失函数和重构损失函数分别与特定的阈值进行比对，其中，阈值比对的结果要求负样本在分类损失函数的通过率为pA(即，在特定的阈值下通过L2损失函数的概率为
Figure BDA0002385683380000144
)，在重构损失函数的通过率为pB(即，在特定的阈值下通过重构损失函数的概率为
Figure BDA0002385683380000145
)，那样负样本总的通过率为pA*pB＝p。
实施例4：
第二、目标神经网络为多类型神经网络
在本申请中，多类型神经网络的分类类别为多种，在该多种分类类别中，包含已知分类类别，除此之外，还可以包含未知分类类别。
在本实施例中，在获取到待识别图像之后，将待识别图像输入至多类型神经网络中，得到待识别图像的特征信息和待识别图像的重构图像。之后，确定目标分类特征信息，并基于待识别图像的特征信息和目标分类特征信息计算目标损失函数；并基于重构图像计算单类型神经网络中重构网络的重构损失函数。在确定出目标损失函数和重构损失函数之后，就可以基于目标损失函数和重构损失函数确定待识别图像的样本类型(例如，是否为负样本)。如果不是负样本，则可以通过目标神经网络所确定分类概率确定待识别图像的样本类型，即确定待识别图像为多个分类类别中所属的类别。
在本实施例的一个可选实施方式中，步骤S204，所述方法还包括通过以下方式确定目标分类特征信息：
(1)、获取所述特征提取网络的各个分类类别的分类特征信息；
(2)、基于所述待识别图像的特征信息和所述分类特征信息计算所述待识别图像所属于每个分类类别的第一预测概率，得到多个第一预测概率；
(3)、基于所述多个第一预测概率在多个分类类别确定所述待识别图像所属的目标分类类别；
(4)、将所述目标分类类别对应的特征信息确定为所述目标分类特征信息。
具体地，在本申请中，对于多个分类类别的目标神经网络，可以先使用待识别图像的特征信息和分类特征(即，特征提取网络的各个分类类别的分类特征信息)，得到待识别图像在每一种分类类别上的预测概率(即，第一预测概率)，从而基于多个第一预测概率确定当前待识别图像最大可能的分类类别，这样可以获得目标分类类别。因此，可以得到目标分类类别的特征信息(即，目标分类特征信息)。在得到目标分类特征信息之后，就可以基于目标分类特征信息和待识别图像的特征信息计算目标损失函数(即，L2损失函数)；以及计算待识别图像和重构图像重构损失函数。之后，基于目标损失函数和重构损失函数确定待识别图像的样本类型。
基于此，上述步骤S208，基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括如下步骤：
步骤S31，获取与每个分类类别相对应的第一损失阈值；以及获取与每个分类类别相对应的第二损失阈值；
步骤S32，若所述目标损失函数大于每个第一损失阈值，和/或，所述重构损失函数大于每个第二损失阈值，则确定所述待识别图像的样本类型为负样本。
具体地，可为预先为特征提取网络的每个分类类别设定一个第一损失阈值，并为每个分类类别设定一个第二损失阈值。在基于目标损失函数和重构损失函数来确定待识别图像的样本类型时，可以结合为每个分类类别确定的第一损失阈值和为每个分类类别确定的第二损失阈值来实现。
在本申请中，首先，可以获取预先设定的第一损失阈值和第二损失阈值，然后，将目标损失函数和每个第一损失阈值进行比较，和/或，将重构损失函数和每个第二损失阈值进行比较。如果比较结果为目标损失函数均满足以下条件：目标损失函数大于每个第一损失阈值，和/或，比较结果为重构损失函数均满足以下条件：重构损失函数大于每个第二损失阈值，则可以确定该待识别图像的样本类型为负样本。
需要说明的是，在本实施例中，目标损失函数可以为L2损失函数。
在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
需要说明的是，在本申请中，针对多类型神经网络，在执行上述步骤S202至步骤S208所描述的过程之前，需要对多类型神经网络的初始神经网络进行训练，以及确定第一损失阈值和第二损失阈值，下面，将重点介绍该过程。
(一)多类型神经网络的初始神经网络的训练过程可以描述为如下过程：
首先，获取训练样本，其中，所述训练样本的样本类型为正样本；
然后，利用所述训练样本训练初始神经网络中的初始特征提取网络和初始重构网络，得到所述目标神经网络中的特征提取网络和所述重构网络。
如图5所示的为多类型神经网络的结构图。如图5所示，多类型神经网络的分类损失函数包括以下至少之一：softmax损失函数、类内距离损失函数、triplet损失函数、AM-softmax损失函数。
在本申请中，重构损失函数reconstruct loss可以表示为：L1＝abs(img0-img1).mean()，其中，img0为输入到单类型神经网络的特征提取网络的输入端的初始图像，img1为初始图像的重构图像。分类损失函数包括以下至少之一：softmax损失函数、类内距离损失函数、triplet损失函数、AM-softmax损失函数。除此之外，还可以包含其他损失函数，例如，Weight decay损失函数等其他损失函数。
需要说明的是，在多分类神经网络中，还可以设置ring loss，ring loss能够使多分类神经网络的特征提取网络所提取到的特征信息进行归一化处理，其中，归一化可以理解为将特征信息的长度变成R。可选地，Ring loss的结构大概是A*(((abs(feature)^2).sum()-R)^B)，表示特征的长度越接近R越好。它和Softmax/AM-softmax组合在一起就能形成metric learning(度量学习)的效果。
在按照上述所描述的方式搭建好多类型神经网路的初始神经网络之后，就可以获取训练样本，其中，训练样本的样本类型为各个分类类型的正样本。之后，就可以利用训练样本对多类型神经网络的初始神经网络进行训练，从而得到多类型神经网络。
(二)、在本实施例中，在对多类型神经网络的初始神经网络进行训练之后，就可以确定所述第一损失阈值，以及确定第二损失阈值。
在本实施例中，由于多类型神经网络的分类类别为多种，因此，可以为每种分类类别分别确定一个第一损失阈值；以及为每种分类类别分别确定一个第二损失阈值。
在本实施例中，可以通过以下方式为每种分类类别确定第一损失阈值，以及为每种分类类别确定第二损失阈值，具体包括：
确定方式一
首先，获取预先设定的目标通过率；其中，所述目标通过率包括：正样本通过率；
然后，通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
具体地，假设多类型神经网络的正样本通过率为p，且假设L2损失函数和重构损失函数带来的正样本通过率损失相同。
再假设L2损失函数带来的正样本通过率为pA，重构损失函数的带来的正样本通过率为pB，由于p＝pA×pB，且pA＝pB，所以可以得到
Figure BDA0002385683380000181
在本申请中，可以将验证集的正样本数据过特征提取网络和重构网络，分别得到分类特征信息和重构图像；然后基于分类特征信息和重构图像，计算目标损失函数和重构损失函数；之后，将计算出的目标损失函数和重构损失函数分别与特定的阈值进行比对，其中，阈值比对的结果要求正样本在分类损失函数的通过率为pA(即，在特定的阈值下通过L2损失函数的概率为
Figure BDA0002385683380000182
)，在重构损失函数的通过率为pB(即，在特定的阈值下通过重构损失函数的概率为
Figure BDA0002385683380000183
)，那样正样本总的通过率为pA*pB＝p。
确定方式二
首先，获取预先设定的目标通过率；其中，所述目标通过率包括：负样本通过率；
然后，通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
具体地，假设多类型神经网络的负样本通过率为p，且假设L2损失函数和重构损失函数带来的负样本通过率损失相同。
再假设L2损失函数带来的负样本通过率为pA，重构损失函数带来的负样本通过率为pB，由于p＝pA×pB，且pA＝pB，所以可以得到
Figure BDA0002385683380000191
在本申请中，可以将验证集的负样本数据过特征提取网络和重构网络，分别得到分类特征信息和重构图像；然后基于分类特征信息和重构图像，计算目标损失函数和重构损失函数；之后，将计算出的目标损失函数和重构损失函数分别与特定的阈值进行比对，其中，阈值比对的结果要求负样本在分类损失函数的通过率为pA(即，在特定的阈值下通过L2损失函数的概率为
Figure BDA0002385683380000192
)，在重构损失函数的通过率为pB(即，在特定的阈值下通过重构损失函数的概率为
Figure BDA0002385683380000193
)，那样负样本总的通过率为pA*pB＝p。
需要说明的是，针对每种分类类别所对应的第一损失阈值，以及每种分类类别所对应的第二损失阈值，均可以采用上述确定方式一和确定方式二来实现，此处不再一一赘述。
实施例5：
第三、目标神经网络为未知多类型神经网络
在本实施例中，如果目标神经网络为未知多类型神经网络，那么本申请的图像识别方法的具体过程可以描述为以下过程：
首先，获取目标底库图像，并将目标底库图像输入至所述特征提取网络中，得到目标底库图像的特征信息，其中，每一张目标底库图像对应所述未知多类型神经网络的一个底库分类类别。
然后，获取待识别图像，并将待识别图像输入至目标神经网络的特征提取网络和重构网络中，得到待识别图像的特征信息和所述待识别图像的重构图像。
接下来，利用目标底库图像的特征信息和待识别图像的特征信息计算目标神经网络中特征提取网络的目标损失函数；并基于重构图像和待识别图像计算目标神经网络中重构网络的重构损失函数。最后，利用目标损失函数和重构损失函数确定所述待识别图像的样本类型。
在一个可选的实施方式中，在利用目标底库图像的特征信息和待识别图像的特征信息计算目标神经网络中特征提取网络的目标损失函数时，可以利用目标底库图像的特征信息确定目标分类特征信息，具体包括以下过程：
首先，基于所述目标底库图像的特征信息和所述待识别图像的特征信息确定所述待识别图像所属于每个底库分类类别的第二预测概率，得到多个第二预测概率；
然后，基于所述多个第二预测概率确定所述待识别图像所属的目标底库分类类别；并将所述目标底库分类类别对应的特征信息确定为所述目标分类特征信息。
具体地，目标底库图像中包含多张底库图像，在本申请中，可以将目标底库图像输入到特征提取网络中，得到目标底库图像的特征信息，在得到目标底库图像的特征信息之后，需要将其保存，其中，每一张目标底库图像就是一个底库分类类别。
在得到目标底库图像的特征信息之后，可以基于目标底库图像的特征信息和待识别图像的特征信息得到待识别图像在每一种底库分类类别上的预测概率(即，第二预测概率)，得到多个第二预测概率，从而基于多个第二预测概率确定当前待识别图像最大可能的底库分类类别，这样可以获得目标底库分类类别。在得到目标底库分类类别之后，就可以将目标底库分类类别对应的特征信息确定为目标分类特征信息。在得到目标分类特征信息之后，就可以基于目标分类特征信息和待识别图像的特征信息计算目标损失函数(即，L2损失函数)；以及计算待识别图像和重构图像重构损失函数。之后，基于目标损失函数和重构损失函数确定待识别图像的样本类型。
在一个可选的实施方式中，步骤S208，基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括如下步骤：
步骤S11，获取第一损失阈值和第二损失阈值；
步骤S12，若所述目标损失函数大于所述第一损失阈值，和/或，所述重构损失函数大于所述第二损失阈值，则确定所述待识别图像的样本类型为负样本。
具体地，可以预先为目标损失函数设定一个阈值，即第一损失阈值，并为重构损失函数设定一个阈值，即，第二损失阈值。在基于目标损失函数和重构损失函数来确定待识别图像的样本类型时，可以结合第一损失阈值和第二损失阈值来实现。
在本申请中，首先，可以获取预先设定的第一损失阈值和第二损失阈值，然后，将目标损失函数和第一损失阈值进行比较，和/或，将重构损失函数和第二损失阈值进行比较。如果比较结果为目标损失函数大于第一损失函数，和/或，重构损失函数大于第二损失阈值，则可以确定该待识别图像的样本类型为负样本。
在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
需要说明的是，在本申请中，针对未知多类型神经网络，在执行上述步骤S202至步骤S208所描述的过程之前，需要对未知多类型神经网络的初始神经网络进行训练，以及确定第一损失阈值和第二损失阈值，下面，将重点介绍该过程。
(一)未知多类型神经网络的初始神经网络的训练过程可以描述为如下过程：
首先，获取训练样本，其中，所述训练样本的样本类型为正样本；
然后，利用所述训练样本训练初始神经网络中的初始特征提取网络和初始重构网络，得到所述目标神经网络中的特征提取网络和所述重构网络。
需要说明的是，在本实施例中，对未知多类型神经网络的初始神经网络的训练过程与上述实施例4中对多类型神经网络的初始神经网络的训练过程相同，此处不再一一赘述。
(二)在本实施例中，在对未知多类型神经网络的初始神经网络进行训练之后，就可以确定所述第一损失阈值，以及确定所述第二损失阈值。
在一个可选的实施方式中，可以通过以下方式确定所述第一损失阈值，以及确定所述第二损失阈值还，具体包括：
将目标底库图像的特征信息输入至阈值网络中，并将阈值网络的输出数据确定为所述第一损失阈值和所述第二损失阈值。
也就是说，在本实施例中，首先构建一个初始阈值网络，然后，对该初始阈值网络进行训练的，得到一个训练之后的阈值网络。之后，就可以将目标底库图像的特征信息输入至该阈值网络中，从而得到第一损失阈值和第二损失阈值。
如图6所示的为该初始阈值网络的结构图，如图6所示，该初始阈值网络包括输入层，网络层和输出层，其中，输入层用于输入特征信息，网络层用于对特征信息进行处理，从而得到第一损失阈值和第二损失阈值，输出层用于输出第一损失阈值和第二损失阈值。
需要说明的是，在本实施例中，网络层是一个全连接网络，例如可以由多个全连接层组合在一起；网络层还可以使用resnet的结构和bottleneck的结构等，本申请对此不作具体限定。
在一个可选的实施方式中，网络层的结构可以选择为以下结构：
feat->fc(n1)->batch_normalization->ReLu->fc(n2)->batch_normalization->ReLu->fc(n3)->batch_normalization->ReLu->fc(2)。
其中，fc(n)表示是一个全连接层；resnet结构是指在fc->batch_normalization->ReLu单元中增加了残差学习单元；bottleneck结构是指网络层中间的某些fc(n)的输出层变小。
在构建如图6所示的初始阈值网络之后，就可以对该初始阈值网络进行训练，得到训练之后的阈值网络，具体训练方法可以描述为以下过程：
首先，获取目标验证集数据，并基于所述目标验证集数据构建训练样本；其中，所述目标验证集数据中包含至少一张底库图像，且所述至少一张底库图像所属于多个目标对象，所述训练样本中的输入数据为所述至少一张底库图像的特征信息，输出数据为预设第一损失阈值和预设第二损失阈值；
然后，根据所述训练样本对初始阈值网络进行训练，得到所述阈值网络。
具体地，在本申请中，可以获取至少一张底库图像，然后，将至少一张底库图像输入到目标神经网络的特征提取网络中，得到每个底库图像的特征信息，并为每个特征信息预先设定一组输出数据，即，预设第一损失阈值和预设第二损失阈值，从而根据特征信息和其相对应的输出数据训练特征到阈值的初始阈值网络。
在一个可选的实施方式中，基于所述目标验证集数据构建训练样本包括如下过程：
首先，利用所述特征提取网络提取所述目标验证集数据中的至少一张底库图像的特征信息；
然后，按照所述至少一张底库图像所属的目标对象，对所述至少一张底库图像的特征信息进行分类，得到多个第一目标数据组，其中，一个目标对象对应一个第一目标数据组；
接下来，为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；
最后，基于所述第一目标数据组和为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
具体地，在本申请中，将至少一张底库图像中所属于同一个目标对象的底库图像作为一个类别的图像。然后，通过目标神经网络中的特征提取网络对每个类别的底库图像进行特征提取，得到每个类别的底库图像的特征信息，从而将每个类别的底库图像的特征信息确定为一个第一目标数据组，得到多个目标数据组。之后，可以为每个第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值。其中，可以采用上述实施例中所描述的确定方式一和确定方式二所描述的方式，确定预设第一损失阈值和预设第二损失阈值，此处不再一一赘述。
在为第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值之后，就可以将第一目标数据组确定为初始阈值网络的输出数据，并将预设第一损失阈值和预设第二损失阈值确定为初始阈值网络的输出数据，从而通过该输入数据和输出数据来训练初始阈值网络，得到训练之后的阈值网络。
在一个可选的实施方式中，基于所述目标验证集数据构建训练样本还包括：
首先，利用所述特征提取网络提取所述目标验证集数据中至少一张底库图像的特征信息；并按照所述目标对象的特征信息将所述至少一张底库图像的特征信息进行聚类分组，得到至少一个第二目标数据组；
然后，为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；
最后，基于所述第二目标数据组和为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
具体地，在本申请中，首先利用目标神经网络中的特征提取网络提取每个底库图像的特征信息，得到全部底库图像的特征信息。之后，按照所述目标对象的特征信息将全部底库图像的特征进行聚类分组，得到至少一个第二目标数据组。接下来，为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值。其中，可以采用上述实施例中所描述的确定方式一和确定方式二所描述的方式，确定预设第一损失阈值和预设第二损失阈值，此处不再一一赘述。最后，基于第二目标数据组和其相对应的预设第一损失阈值和预设第二损失阈值训练初始阈值网络，得到训练之后的阈值网络。
进一步需要说明的是，在本申请中，网络阈值的损失函数可以表示为：
L＝mean(abs(T(f)-Treal))，其中，f表示特征信息，T表示阈值网络将特征信息转化之后得到的两个阈值(即，第一损失阈值和第二损失阈值)，Treal为上述预设第一损失阈值和预设第二损失阈值。
通过上述描述可知，在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
实施例6：
本发明实施例还提供了一种图像识别装置，该图像识别装置主要用于执行本发明实施例上述内容所提供的图像识别方法，以下对本发明实施例提供的图像识别装置做具体介绍。
图7是根据本发明实施例的一种图像识别装置的示意图，如图7所示，该图像识别装置主要包括：
获取单元10，用于获取待识别图像；并将所述待识别图像输入至目标神经网络中，得到所述待识别图像的特征信息和所述待识别图像的重构图像，其中，所述目标神经网络包括特征提取网络和重构网络；
计算单元20，用于基于所述待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于所述重构图像计算所述目标神经网络中重构网络的重构损失函数；
第一确定单元30，用于基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型，其中，所述目标分类特征信息为特征提取网络确定出的所述待识别图像所属分类的特征信息。
在本发明实施例中，首先获取待识别图像；并将待识别图像输入至目标神经网络中，得到待识别图像的特征信息和待识别图像的重构图像；之后，确定目标分类特征信息，并基于待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于重构图像计算目标神经网络中重构网络的重构损失函数；最后，基于目标损失函数和重构损失函数确定待识别图像的样本类型。通过上述描述可知，在本申请中，通过结合目标损失函数和重构损失函数来判断样本类型的方式，能够保证在对图像的样本类型进行判断时，保留图像的完整信息，从而提高图像的分类精度，以缓解了在采用传统图像分类方法确定图像的样本类型时，分类准确度较差的技术问题。
可选地，所述目标神经网络包括以下至少之一：单类型神经网络、多类型神经网络和未知多类型神经网络；所述单类型神经网络的分类类别为一种；所述多类型神经网络的分类类别为多种；所述未知多类型神经网络的分类类别为多种，且多种分类类别中包含已知分类类别和未知分类类别。
可选地，所述目标神经网络为所述单类型神经网络；确定单元用于：获取第一损失阈值和第二损失阈值；若所述目标损失函数大于所述第一损失阈值，和/或，所述重构损失函数大于所述第二损失阈值，则确定所述待识别图像的样本类型为负样本。
可选地，所述目标神经网络为所述多类型神经网络；该装置用于：获取所述特征提取网络的各个分类类别的分类特征信息；基于所述待识别图像的特征信息和所述分类特征信息计算所述待识别图像所属于每个分类类别的第一预测概率，得到多个第一预测概率；基于所述多个第一预测概率在多个分类类别确定所述待识别图像所属的目标分类类别；将所述目标分类类别对应的特征信息确定为所述目标分类特征信息。
可选地，第一确定单元用于：获取与每个分类类别相对应的第一损失阈值；以及获取与每个分类类别相对应的第二损失阈值；若所述目标损失函数大于每个第一损失阈值，和/或，所述重构损失函数大于每个第二损失阈值，则确定所述待识别图像的样本类型为负样本。
可选地，该装置还用于：确定所述第一损失阈值，以及确定所述第二损失阈值。
可选地，该装置还用于：若所述目标神经网络的分类类别为多种，则为每种分类类别确定第一损失阈值；以及，若所述目标神经网络的分类类别为多种，则为每种分类类别确定第二损失阈值。
可选地，该装置还用于：获取预先设定的目标通过率；其中，所述目标通过率包括：正样本通过率或者负样本通过率；通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
可选地，所述目标神经网络为所述未知多类型神经网络；该装置还用于：获取目标底库图像；将所述目标底库图像输入至所述特征提取网络中，得到所述目标底库图像的特征信息，其中，每一张目标底库图像对应所述未知多类型神经网络的一个底库分类类别。
可选地，该装置还用于：基于所述目标底库图像的特征信息和所述待识别图像的特征信息确定所述待识别图像所属于每个底库分类类别的第二预测概率，得到多个第二预测概率；基于所述多个第二预测概率确定所述待识别图像所属的目标底库分类类别；并将所述目标底库分类类别对应的特征信息确定为所述目标分类特征信息。
可选地，该装置还用于：将所述目标底库图像的特征信息输入至阈值网络中，并将所述阈值网络的输出数据确定为所述第一损失阈值和所述第二损失阈值。
可选地，该装置还用于：获取目标验证集数据，并基于所述目标验证集数据构建训练样本；其中，所述目标验证集数据中包含至少一张底库图像，且所述至少一张底库图像所属于多个目标对象，所述训练样本中的输入数据为所述至少一张底库图像的特征信息，输出数据为预设第一损失阈值和预设第二损失阈值；根据所述训练样本对初始阈值网络进行训练，得到所述阈值网络。
可选地，该装置还用于：利用所述特征提取网络提取所述目标验证集数据中的至少一张底库图像的特征信息；按照所述至少一张底库图像所属的目标对象，对所述至少一张底库图像的特征信息进行分类，得到多个第一目标数据组，其中，一个目标对象对应一个第一目标数据组；为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；基于所述第一目标数据组和为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
可选地，该装置还用于：利用所述特征提取网络提取所述目标验证集数据中至少一张底库图像的特征信息；并按照所述目标对象的特征信息将所述至少一张底库图像的特征信息进行聚类分组，得到至少一个第二目标数据组；为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；基于所述第二目标数据组和为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
可选地，该装置还用于：获取训练样本，其中，所述训练样本的样本类型为正样本；利用所述训练样本训练初始神经网络中的初始特征提取网络和初始重构网络，得到所述目标神经网络中的特征提取网络和所述重构网络。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种图像识别方法，其特征在于，包括：
获取待识别图像；并将所述待识别图像输入至目标神经网络中，得到所述待识别图像的特征信息和所述待识别图像的重构图像，其中，所述目标神经网络包括特征提取网络和重构网络；
基于所述待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于所述重构图像计算所述目标神经网络中重构网络的重构损失函数，其中，所述目标分类特征信息为特征提取网络确定出的所述待识别图像所属分类的特征信息；
基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型。
2.根据权利要求1所述的方法，其特征在于，所述目标神经网络包括以下至少之一：单类型神经网络、多类型神经网络和未知多类型神经网络；
所述单类型神经网络的分类类别为一种；
所述多类型神经网络的分类类别为多种；
所述未知多类型神经网络的分类类别为多种，且多种分类类别中包含已知分类类别和未知分类类别。
3.根据权利要求2所述的方法，其特征在于，所述目标神经网络为所述单类型神经网络；基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括：
获取第一损失阈值和第二损失阈值；
若所述目标损失函数大于所述第一损失阈值，和/或，所述重构损失函数大于所述第二损失阈值，则确定所述待识别图像的样本类型为负样本。
4.根据权利要求2所述的方法，其特征在于，所述目标神经网络为所述多类型神经网络；所述方法还包括：
获取所述特征提取网络的各个分类类别的分类特征信息；
基于所述待识别图像的特征信息和所述分类特征信息计算所述待识别图像所属于每个分类类别的第一预测概率，得到多个第一预测概率；
基于所述多个第一预测概率在多个分类类别确定所述待识别图像所属的目标分类类别；
将所述目标分类类别对应的特征信息确定为所述目标分类特征信息。
5.根据权利要求4所述的方法，其特征在于，基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型包括：
获取与每个分类类别相对应的第一损失阈值；以及获取与每个分类类别相对应的第二损失阈值；
若所述目标损失函数大于每个第一损失阈值，和/或，所述重构损失函数大于每个第二损失阈值，则确定所述待识别图像的样本类型为负样本。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
确定所述第一损失阈值，以及确定所述第二损失阈值。
7.根据权利要求6所述的方法，其特征在于，确定所述第一损失阈值，以及确定所述第二损失阈值包括：
若所述目标神经网络的分类类别为多种，则为每种分类类别确定第一损失阈值；以及
若所述目标神经网络的分类类别为多种，则为每种分类类别确定第二损失阈值。
8.根据权利要求6所述的方法，其特征在于，确定所述第一损失阈值，以及确定所述第二损失阈值包括：
获取预先设定的目标通过率；其中，所述目标通过率包括：正样本通过率或者负样本通过率；
通过所述目标通过率确定所述第一损失阈值和所述第二损失阈值。
9.根据权利要求6所述的方法，其特征在于，所述目标神经网络为所述未知多类型神经网络；所述方法还包括：
获取目标底库图像；
将所述目标底库图像输入至所述特征提取网络中，得到所述目标底库图像的特征信息，其中，每一张目标底库图像对应所述未知多类型神经网络的一个底库分类类别。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
基于所述目标底库图像的特征信息和所述待识别图像的特征信息确定所述待识别图像所属于每个底库分类类别的第二预测概率，得到多个第二预测概率；
基于所述多个第二预测概率确定所述待识别图像所属的目标底库分类类别；并将所述目标底库分类类别对应的特征信息确定为所述目标分类特征信息。
11.根据权利要求9或10所述的方法，其特征在于，确定所述第一损失阈值，以及确定所述第二损失阈值还包括：
将所述目标底库图像的特征信息输入至阈值网络中，并将所述阈值网络的输出数据确定为所述第一损失阈值和所述第二损失阈值。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
获取目标验证集数据，并基于所述目标验证集数据构建训练样本；其中，所述目标验证集数据中包含至少一张底库图像，且所述至少一张底库图像所属于多个目标对象，所述训练样本中的输入数据为所述至少一张底库图像的特征信息，输出数据为预设第一损失阈值和预设第二损失阈值；
根据所述训练样本对初始阈值网络进行训练，得到所述阈值网络。
13.根据权利要求12所述的方法，其特征在于，基于所述目标验证集数据构建训练样本包括：
利用所述特征提取网络提取所述目标验证集数据中的至少一张底库图像的特征信息；
按照所述至少一张底库图像所属的目标对象，对所述至少一张底库图像的特征信息进行分类，得到多个第一目标数据组，其中，一个目标对象对应一个第一目标数据组；
为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；
基于所述第一目标数据组和为每个所述第一目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
14.根据权利要求10所述的方法，其特征在于，基于所述目标验证集数据构建训练样本包括：
利用所述特征提取网络提取所述目标验证集数据中至少一张底库图像的特征信息；并按照所述目标对象的特征信息将所述至少一张底库图像的特征信息进行聚类分组，得到至少一个第二目标数据组；
为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值；
基于所述第二目标数据组和为每个第二目标数据组确定相对应的预设第一损失阈值和预设第二损失阈值，构建所述训练样本。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本，其中，所述训练样本的样本类型为正样本；
利用所述训练样本训练初始神经网络中的初始特征提取网络和初始重构网络，得到所述目标神经网络中的特征提取网络和所述重构网络。
16.一种图像识别装置，其特征在于，包括：
获取单元，用于获取待识别图像；并将所述待识别图像输入至目标神经网络中，得到所述待识别图像的特征信息和所述待识别图像的重构图像，其中，所述目标神经网络包括特征提取网络和重构网络；
计算单元，用于基于所述待识别图像的特征信息和目标分类特征信息计算目标损失函数，以及基于所述重构图像计算所述目标神经网络中重构网络的重构损失函数，其中，所述目标分类特征信息为特征提取网络确定出的所述待识别图像所属分类的特征信息；
第一确定单元，用于基于所述目标损失函数和所述重构损失函数确定所述待识别图像的样本类型。
17.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至15中任一项所述的方法的步骤。
18.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至15中任一项所述的方法的步骤。
CN202010098022.1A 2020-02-17 2020-02-17 图像识别方法、装置、电子设备和计算机可读介质 Active CN111291817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010098022.1A CN111291817B (zh) 2020-02-17 2020-02-17 图像识别方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010098022.1A CN111291817B (zh) 2020-02-17 2020-02-17 图像识别方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN111291817A true CN111291817A (zh) 2020-06-16
CN111291817B CN111291817B (zh) 2024-01-23

Family

ID=71024451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098022.1A Active CN111291817B (zh) 2020-02-17 2020-02-17 图像识别方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN111291817B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860606A (zh) * 2020-06-24 2020-10-30 上海小零网络科技有限公司 图像分类的方法、装置以及存储介质
CN111967492A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 分类模型的训练方法、装置、电子设备以及存储介质
CN112801014A (zh) * 2021-02-08 2021-05-14 深圳市华付信息技术有限公司 一种可兼容不同版本模型的特征对比识别方法
CN112990300A (zh) * 2021-03-11 2021-06-18 北京深睿博联科技有限责任公司 前景识别方法、装置、设备及计算机可读存储介质
CN113793325A (zh) * 2021-09-22 2021-12-14 北京市商汤科技开发有限公司 一种检测方法、装置、计算机设备和存储介质
CN116452851A (zh) * 2023-03-17 2023-07-18 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 病症分类模型的训练方法、装置、终端及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344921A (zh) * 2019-01-03 2019-02-15 湖南极点智能科技有限公司 一种基于深度神经网络模型的图像识别方法、装置及设备
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110570845A (zh) * 2019-08-15 2019-12-13 武汉理工大学 一种基于域不变特征的语音识别方法
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
US20190392260A1 (en) * 2018-06-25 2019-12-26 Fujitsu Limited Method and apparatus for training classification model, method and apparatus for classifying

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190392260A1 (en) * 2018-06-25 2019-12-26 Fujitsu Limited Method and apparatus for training classification model, method and apparatus for classifying
CN109344921A (zh) * 2019-01-03 2019-02-15 湖南极点智能科技有限公司 一种基于深度神经网络模型的图像识别方法、装置及设备
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN110570845A (zh) * 2019-08-15 2019-12-13 武汉理工大学 一种基于域不变特征的语音识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THOMAS ROBERT: "HybridNet: Classification and Reconstruction Cooperation for Semi-Supervised Learning" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860606A (zh) * 2020-06-24 2020-10-30 上海小零网络科技有限公司 图像分类的方法、装置以及存储介质
CN111860606B (zh) * 2020-06-24 2021-09-14 上海小零网络科技有限公司 图像分类的方法、装置以及存储介质
CN111967492A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 分类模型的训练方法、装置、电子设备以及存储介质
CN112801014A (zh) * 2021-02-08 2021-05-14 深圳市华付信息技术有限公司 一种可兼容不同版本模型的特征对比识别方法
CN112990300A (zh) * 2021-03-11 2021-06-18 北京深睿博联科技有限责任公司 前景识别方法、装置、设备及计算机可读存储介质
CN113793325A (zh) * 2021-09-22 2021-12-14 北京市商汤科技开发有限公司 一种检测方法、装置、计算机设备和存储介质
WO2023045350A1 (zh) * 2021-09-22 2023-03-30 上海商汤智能科技有限公司 检测方法、装置、计算机设备、存储介质和程序产品
CN113793325B (zh) * 2021-09-22 2024-05-24 北京市商汤科技开发有限公司 一种检测方法、装置、计算机设备和存储介质
CN116452851A (zh) * 2023-03-17 2023-07-18 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 病症分类模型的训练方法、装置、终端及可读存储介质

Also Published As

Publication number Publication date
CN111291817B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN111291817B (zh) 图像识别方法、装置、电子设备和计算机可读介质
WO2021077984A1 (zh) 对象识别方法、装置、电子设备及可读存储介质
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN109697434B (zh) 一种行为识别方法、装置和存储介质
CN109583332B (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN110472675B (zh) 图像分类方法、图像分类装置、存储介质与电子设备
WO2019200782A1 (zh) 样本数据分类方法、模型训练方法、电子设备及存储介质
CN111652290B (zh) 一种对抗样本的检测方法及装置
CN111738351B (zh) 模型训练方法、装置、存储介质及电子设备
CN112784670A (zh) 基于像素差异的对象检测
CN106203387A (zh) 人脸验证方法及系统
CN109840413B (zh) 一种钓鱼网站检测方法及装置
US10423817B2 (en) Latent fingerprint ridge flow map improvement
CN110413815B (zh) 人像聚类清洗方法和装置
CN111028940B (zh) 肺结节多尺度检测方法、装置、设备及介质
CN114627412A (zh) 基于误差重构实现无监督深度伪造视频检测处理的方法、装置、处理器及其计算机存储介质
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN112613349A (zh) 基于深度混合卷积神经网络的时序动作检测方法及装置
CN113158777A (zh) 质量评分方法、质量评分模型的训练方法及相关装置
CN112052816A (zh) 基于自适应图卷积对抗网络的人体行为预测方法及系统
CN111382791A (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN110717407A (zh) 基于唇语密码的人脸识别方法、装置及存储介质
CN112597997A (zh) 感兴趣区域确定方法、图像内容识别方法及装置
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN111639517A (zh) 人脸图像筛选方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant