CN110503160B - 图像识别方法、装置、电子设备及存储介质 - Google Patents

图像识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110503160B
CN110503160B CN201910804386.4A CN201910804386A CN110503160B CN 110503160 B CN110503160 B CN 110503160B CN 201910804386 A CN201910804386 A CN 201910804386A CN 110503160 B CN110503160 B CN 110503160B
Authority
CN
China
Prior art keywords
image
function
recognition model
word vector
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910804386.4A
Other languages
English (en)
Other versions
CN110503160A (zh
Inventor
申世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910804386.4A priority Critical patent/CN110503160B/zh
Publication of CN110503160A publication Critical patent/CN110503160A/zh
Application granted granted Critical
Publication of CN110503160B publication Critical patent/CN110503160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开关于一种图像识别方法、装置、电子设备和存储介质，属于计算机技术领域。包括：将待识别图像输入至第一图像识别模型中，第一图像识别模型为添加了全连接层的图像识别模型，全连接层中的每个第一节点与第一图像识别模型中全连接层的上一层的每个第二节点相连；通过每个第二节点，获取待识别图像的第一特征向量；通过每个第一节点将第一特征向量进行加权处理，得到第二特征向量；根据第二特征向量，确定待识别图像的第二类别。通过每个第一节点将每个第二节点输出的第一特征向量进行加权处理，使得第一图像识别模型在识别待识别图像的图像特征时，可以结合先验知识对待识别图像进行图像特征提取，进而提高了图像识别模型的准确率。

Description

图像识别方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像识别方法装置、电子设备及存储介质。
背景技术
随着计算机技术的发展，深度学习技术应用也越来越广泛，通过深度学习技术可以训练出多种神经网络模型，通过神经网络模型可以完成多种识别操作。例如，神经网络模型为图像识别模型时，可以通过图像识别模型对输入的待识别图像进行识别，得到图像识别结果。
相关技术中，在对图像识别模型进行训练时，获取样本图像的类别和该样本图像的图像特征，进而根据该图像特征和图像类别对神经网络模型进行训练，得到图像识别模型。
上述相关技术中，由于图像识别模型的训练过程中，只根据已知类别的样本图像进行训练，导致图像识别模型只能根已知的类别对待识别图像进行分类识别，而待识别图像可能为未知类别的图像，这种情况下，图像识别模型只能将该待识别图像识别为模型训练过程中的已知类别，导致识别错误，图像识别的准确率低。
发明内容
本公开提供一种图像识别方法装置、电子设备及存储介质，能够克服图像识别模型只能将该待识别图像识别为模型训练过程中的已知类别，导致识别错误，图像识别的准确率低的问题。
一方面，提供一种图像识别方法，包括：
将待识别图像输入至第一图像识别模型中，所述第一图像识别模型为添加了全连接层的图像识别模型，所述全连接层中的每个第一节点与所述第一图像识别模型中所述全连接层的上一层的每个第二节点相连；
通过所述每个第二节点，获取所述待识别图像的第一特征向量，所述第一特征向量为根据所述第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；
通过所述每个第一节点将所述每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量；
根据所述第二特征向量，确定所述待识别图像的第二类别，所述第二类别与已知的第一类别不同。
在一种可能的实现方式中，所述将待识别图像输入至第一图像识别模型中之前，所述方法还包括：
获取第一样本图像和用于识别所述第一类别的第二图像识别模型，所述第一样本图像的类别为第一类别；
根据所述第一样本图像和所述第二图像识别模型，确定所述第二图像识别模型的分类损失函数和参数正则化损失函数；
在所述第二图像识别模型中加入所述全连接层，得到第三图像识别模型，以及，根据所述第一样本图像和所述第三图像识别模型，确定所述第三图像模型的词向量损失函数；
基于所述分类损失函数、所述参数正则化损失函数、所述词向量正则化损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型。
在另一种可能的实现方式中，所述根据所述第一样本图像和所述第三图像识别模型，确定所述第三图像模型的词向量损失函数，包括：
根据所述第一样本图像的第一类别，确定所述第一类别对应的第一词向量；
根据所述第一词向量，确定所述全连接层的参数向量与所述第一词向量的差值，得到所述词向量损失函数。
在另一种可能的实现方式中，所述基于所述分类损失函数、所述参数正则化损失函数、所述词向量正则化损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型，包括：
将所述分类损失函数、所述参数正则化损失函数和所述词向量正则化损失函数进行加权求和，得到所述第三图像识别模型的损失函数；
根据所述损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型。
在另一种可能的实现方式中，所述根据所述第二特征向量，确定所述待识别图像的第二类别，包括：
基于图文转换矩阵，将所述第二特征向量转换为第二词向量；
根据所述第二词向量，确定词向量空间中与所述第二词向量最近的第三词向量；
确定所述第三词向量对应的第二类别。
在另一种可能的实现方式中，所述基于图文转换矩阵，将所述第二特征向量转换为第二词向量之前，所述方法还包括：
获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量；
根据所述第二样本图像的第三类别，确定与所述第三类别对应的第四词向量；
确定第一矩阵，所述第一矩阵为所述图文转换矩阵的转置矩阵，根据所述第一矩阵，将所述第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数；
对于每个第二样本图像，根据所述第二样本图像的第三特征向量，对所述第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将所述第二变量对应的矩阵进行转置，得到所述图文转换矩阵。
在另一种可能的实现方式中，所述对于每个第二样本图像，确定所述第二样本图像的图像向量函数与所述第二样本图像的第三特征向量匹配的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵，包括：
确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；
确定所述第一函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
在另一种可能的实现方式中，所述确定所述第二样本图像的图像向量函数与所述第二样本图像的第三特征向量匹配的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵，包括：
确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；
基于所述图文转换矩阵的第二变量，将所述第二样本图像的第三特征向量转换为词向量，得到所述第二样本图像对应的词向量函数，所述第二变量为所述第一变量的转置变量；
确定所述第二样本图像的词向量函数与所述第一词向量之差，得到第二函数；
确定所述第一函数和所述第二函数之和，得到第三函数；
确定所述第三函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
另一方面，提供一种图像识别装置，包括：
输入模块，被配置为将待识别图像输入至第一图像识别模型中，所述第一图像识别模型为添加了全连接层的图像识别模型，所述全连接层中的每个第一节点与所述第一图像识别模型中所述全连接层的上一层的每个第二节点相连；
第一获取模块，被配置为通过所述每个第二节点，获取所述待识别图像的第一特征向量，所述第一特征向量为根据所述第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；
加权模块，被配置为通过所述每个第一节点将所述每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量；
第一确定模块，被配置为根据所述第二特征向量，确定所述待识别图像的第二类别，所述第二类别与已知的第一类别不同。
在一种可能的实现方式中，所述装置还包括：
第二获取模块，被配置为获取第一样本图像和用于识别所述第一类别的第二图像识别模型，所述第一样本图像的类别为第一类别；
第二确定模块，被配置为根据所述第一样本图像和所述第二图像识别模型，确定所述第二图像识别模型的分类损失函数和参数正则化损失函数；
第三确定模块，被配置为在所述第二图像识别模型中加入所述全连接层，得到第三图像识别模型，以及，根据所述第一样本图像和所述第三图像识别模型，确定所述第三图像模型的词向量损失函数；
训练模块，被配置为基于所述分类损失函数、所述参数正则化损失函数、所述词向量正则化损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型。
在另一种可能的实现方式中，所述第三确定模块，还被配置为根据所述第一样本图像的第一类别，确定所述第一类别对应的第一词向量；根据所述第一词向量，确定所述全连接层的参数向量与所述第一词向量的差值，得到所述词向量损失函数。
在另一种可能的实现方式中，所述训练模块，还被配置为将所述分类损失函数、所述参数正则化损失函数和所述词向量正则化损失函数进行加权求和，得到所述第三图像识别模型的损失函数；根据所述损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型。
在另一种可能的实现方式中，所述第一确定模块，还被配置为基于图文转换矩阵，将所述第二特征向量转换为第二词向量；根据所述第二词向量，确定词向量空间中与所述第二词向量最近的第三词向量；确定所述第三词向量对应的第二类别。
在另一种可能的实现方式中，所述装置还包括：
第三获取模块，被配置为获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量；
第四确定模块，被配置为根据所述第二样本图像的第三类别，确定与所述第三类别对应的第四词向量；
第五确定模块，被配置为确定第一矩阵，所述第一矩阵为所述图文转换矩阵的转置矩阵，根据所述第一矩阵，将所述第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数；
转置模块，被配置为对于每个第二样本图像，根据所述第二样本图像的第三特征向量，对所述第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将所述第二变量对应的矩阵进行转置，得到所述图文转换矩阵。
在另一种可能的实现方式中，所述转置模块，还被配置为确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；确定所述第一函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
在另一种可能的实现方式中，所述转置模块，还被配置为确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；基于所述图文转换矩阵的第二变量，将所述第二样本图像的第三特征向量转换为词向量，得到所述第二样本图像对应的词向量函数，所述第二变量为所述第一变量的转置变量；确定所述第二样本图像的词向量函数与所述第一词向量之差，得到第二函数；确定所述第一函数和所述第二函数之和，得到第三函数；确定所述第三函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
另一方面，提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行本公开实施例的方法实施例中所述的图像识别方法。
另一方面，提供了一种非临时性计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被服务器的处理器执行时实现本公开实施例的方法实施例中所述的图像识别方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在本公开实施例中，将待识别图像输入至第一图像识别模型中，第一图像识别模型为添加了全连接层的图像识别模型，全连接层中的每个第一节点与第一图像识别模型中全连接层的上一层的每个第二节点相连；通过每个第二节点，获取待识别图像的第一特征向量，第一特征向量为根据第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；通过每个第一节点将每个第二节点输出的第一特征向量进行加权处理，使得第一图像识别模型在识别待识别图像的图像特征时，可以结合先验知识对待识别图像进行图像特征提取，根据提取到的图像特征对待识别图像进行识别，使第一图像模型可以识别未知类别的图像，进而提高了图像识别模型的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像识别方法的流程图。
图2为根据一示例性实施例示出的一种图像识别方法的流程图。
图3为根据一示例性实施例示出的一种图像识别方法的流程图。
图4是根据一示例性实施例示出的一种SAE模型进行编码和解码的示意图。
图5是根据一示例性实施例示出的一种图像识别装置的框图。
图6是根据一示例性实施例示出的一种图像识别的电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开实施例中，通过在第二图像识别模型中，添加全连接层，得到第一图像识别模型。在模型训练的过程中，通过确定该全连接层的词向量正则化损失函数，确定该第一图像识别模型的词向量正则化损失，通过添加该全连接层，对词向量进行正则化，利用了先验知识对深度学习网络进行限制，从而提供了第一图像识别模型的表达能力，实现了将待识别图像的图像特征进行全连接处理，使得第一图像识别模型识别到的图像特征可以为模型训练过程中未知类别的图像的图像特征，进而使该第一图像识别模型可以识别出模型训练过程中未知类别的图像所属的图像类别，从而提高了对待识别图像的分类的准确率。
图1是根据一示例性实施例示出的一种图像识别方法的流程图，如图1所示，该方法包括以下步骤。
在步骤S11中，将待识别图像输入至第一图像识别模型中，该第一图像识别模型为添加了全连接层的图像识别模型，该全连接层中的每个第一节点与该第一图像识别模型中该全连接层的上一层的每个第二节点相连。
在步骤S12中，通过该每个第二节点，获取该待识别图像的第一特征向量，该第一特征向量为根据该第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量。
在步骤S13中，通过该每个第一节点将该每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量。
在步骤S14中，根据该第二特征向量，确定该待识别图像的第二类别，该第二类别与已知的第一类别不同。
在一种可能的实现方式中，该将待识别图像输入至第一图像识别模型中之前，该方法还包括：
获取第一样本图像和用于识别该第一类别的第二图像识别模型，该第一样本图像的类别为第一类别；
根据该第一样本图像和该第二图像识别模型，确定该第二图像识别模型的分类损失函数和参数正则化损失函数；
在该第二图像识别模型中加入该全连接层，得到第三图像识别模型，以及，根据该第一样本图像和该第三图像识别模型，确定该第三图像模型的词向量损失函数；
基于该分类损失函数、该参数正则化损失函数、该词向量正则化损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型。
在另一种可能的实现方式中，该根据该第一样本图像和该第三图像识别模型，确定该第三图像模型的词向量损失函数，包括：
根据该第一样本图像的第一类别，确定该第一类别对应的第一词向量；
根据该第一词向量，确定该全连接层的参数向量与该第一词向量的差值，得到该词向量损失函数。
在另一种可能的实现方式中，该基于该分类损失函数、该参数正则化损失函数、该词向量正则化损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型，包括：
将该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数进行加权求和，得到该第三图像识别模型的损失函数；
根据该损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型。
在另一种可能的实现方式中，该根据该第二特征向量，确定该待识别图像的第二类别，包括：
基于图文转换矩阵，将该第二特征向量转换为第二词向量；
根据该第二词向量，确定词向量空间中与该第二词向量最近的第三词向量；
确定该第三词向量对应的第二类别。
在另一种可能的实现方式中，该基于图文转换矩阵，将该第二特征向量转换为第二词向量之前，该方法还包括：
获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量；
根据该第二样本图像的第三类别，确定与该第三类别对应的第四词向量；
确定第一矩阵，该第一矩阵为该图文转换矩阵的转置矩阵，根据该第一矩阵，将该第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数；
对于每个第二样本图像，根据该第二样本图像的第三特征向量，对该第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将该第二变量对应的矩阵进行转置，得到该图文转换矩阵。
在另一种可能的实现方式中，该对于每个第二样本图像，确定该第二样本图像的图像向量函数与该第二样本图像的第三特征向量匹配的第一变量，将该第一变量进行转置，得到该图文转换矩阵，包括：
确定该第二样本图像的第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数；
确定该第一函数的函数值最小时的第一变量，将该第一变量进行转置，得到该图文转换矩阵。
在另一种可能的实现方式中，该确定该第二样本图像的图像向量函数与该第二样本图像的第三特征向量匹配的第一变量，将该第一变量进行转置，得到该图文转换矩阵，包括：
确定该第二样本图像的第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数；
基于该图文转换矩阵的第二变量，将该第二样本图像的第三特征向量转换为词向量，得到该第二样本图像对应的词向量函数，该第二变量为该第一变量的转置变量；
确定该第二样本图像的词向量函数与该第一词向量之差，得到第二函数；
确定该第一函数和该第二函数之和，得到第三函数；
确定该第三函数的函数值最小时的第一变量，将该第一变量进行转置，得到该图文转换矩阵。
在本公开实施例中，将待识别图像输入至第一图像识别模型中，第一图像识别模型为添加了全连接层的图像识别模型，全连接层中的每个第一节点与第一图像识别模型中全连接层的上一层的每个第二节点相连；通过每个第二节点，获取待识别图像的第一特征向量，第一特征向量为根据第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；通过每个第一节点将每个第二节点输出的第一特征向量进行加权处理，使得第一图像识别模型在识别待识别图像的图像特征时，可以结合先验知识对待识别图像进行图像特征提取，根据提取到的图像特征对待识别图像进行识别，使第一图像模型可以识别未知类别的图像，进而提高了图像识别模型的准确率。
图2是根据一示例性实施例示出的一种图像识别方法的流程图，在本公开实施例中，以在进行图像识别之前，通过对神经网络模型进行训练得到第一图像识别模型为例进行说明，如图2所示，该方法包括以下步骤。
在步骤S21中，电子设备获取第一样本图像和用于识别第一类别的第二图像识别模型，该第一样本图像的类别为第一类别。
其中，第一类别为已知的图像类别，该第一类别可以为用户自定义的图像类别，也可以为电子设备默认的图像类别，另外，该第一类别可以为一个图像类别也可以为多个图像类别，在本公开实施例中，对此均不作具体限定。其中，该图像类别可以为按照图像内容进行分类的图像类别，也可以为按照图像的拍摄时间进行分类的图像类别。
该第二图像识别模型可以为预先训练好的神经网络模型，也可以为电子设备根据初始的神经网络模型训练得到的神经网络模型。
当该第二图像识别模型为预先训练好的神经网络模型时，在一种可能的实现方式中，电子设备可以事先存储训练好的第二图像识别模型，当电子设备需要获取该第二图像识别模型时，直接根据数据接口调用本地存储的第二图像识别模型。在另一种可能的实现方式中，第一服务器中事先存储第二图像识别模型，当电子设备需要获取该第二图像识别模型时，电子设备向第一服务器发送第一获取请求，第一服务器接收到该第一获取请求后，根据该第一获取请求获取第二图像识别模型，向电子设备发送该第二图像识别模型，电子设备接收该第一服务器发送的第二图像识别模型。
当该第二图像识别模型为电子设备根据初始的神经网络模型训练得到的神经网络模型时，电子设备获取该第二图像识别模型的过程可以为：电子设备获取该初始的神经网络模型，根据第一样本图像对该初始的神经网络模型进行训练得到第二图像识别模型。其中，电子设备可以自己对该初始的神经网络模型进行训练得到该第二图像识别模型，该电子设备还可以通过第二服务器对该初始的神经网络模型进行训练，再接收第二服务器发送的第二图像识别模型，其中，第二服务器对该初始的网络模型进行训练的过程与电子设备对初始的网络模型进行训练的过程相似，在此不再赘述。
其中，该第一服务器和第二服务器可以为相同的服务器也可以为不同的服务器，在本公开实施例中，对此不作具体限定。例如，该第一服务器和第二服务器都可以为Imagenet(图像网)对应的服务器。
另外，该第二图像识别模型可以为任一中神经网络模型，例如，该第二图像识别模型可以为VGG(Visual Geometry Group Network，视觉几何组网络)模型等，在本公开实施例中，对第二图像识别模型所属的神经网络模型不作具体限定。
该电子设备可以为手机、PAD(Portable Android Device，平板电脑)或者电脑设备等任一电子设备，在本公开实施例中，对该电子设备不作具体限定。
在步骤S22中，电子设备根据该第一样本图像和该第二图像识别模型，确定该第二图像识别模型的分类损失函数和参数正则化损失函数。
在本步骤中，电子设备根据该第二图像识别模型分别确定该第二图像识别模型的分类损失函数和参数正则化损失函数。
其中，电子设备根据该第二图像识别模型，确定该第二图像识别模型的分类损失函数的过程可以为：电子设备确定第一类别的数量K，第一样本图像的数量N，通过以下公式一确定该第二图像识别模型的损失函数。
公式一：
Figure GDA0003388879780000101
其中，Llog(Y,P)表示该第二图像识别模型的分类损失函数，K表示第一类别的数量，k表示第k个第一类别，yi,k为指示函数，用于指示第i个第一样本图像为是否为第k个第一类别，Y表示该函数值，N表示第一样本图像的数量，i表示第i个第一样本图像，pi，k表示第i个样本预测为第k个图像类别值的概率，P表示该i和k分别取任意值时pi，k的取值。
该电子设备确定该第二图像识别模型的参数W，根据该第二图像识别模型的参数W，通过以下公式二，确定该第二图像识别模型的参数正则化损失函数，其中为了防止模型过于复杂，这里对第二图像识别模型的模型参数进行了限制。
公式二：
Figure GDA0003388879780000111
其中，LW表示参数正则化损失函数，W为第二图像识别模型的参数。通过W进行表示。
获取到第二图像识别模型的分类损失函数和参数正则化损失函数后，电子设备可以根据该分类损失函数和参数正则化损失函数的权重，对该分类损失函数和参数正则化损失函数进行加权求和，通过以下公式三，得到该第二图像识别模型的损失函数。
公式三：
Figure GDA0003388879780000112
其中，L1为第二图像识别模型的损失函数，Llog(Y,P)表示该第二图像识别模型的分类损失函数，LW表示参数正则化损失函数，α为参数正则化损失的系数，该α可以根据该第二图像识别模型的分类损失函数和参数正则化损失函数的权重确定，用于平衡两个损失函数的比重。
在步骤S23中，电子设备在该第二图像识别模型中加入该全连接层，得到第三图像识别模型。
在本步骤中，电子设备在上述第二图像识别模型中，添加全连接层，该全连接层的每个第一节点与该全连接层的上一层中的每个第二节点连接，该全连接层可以添加在该第二图像识别模型的输出层之前，用于在识别模型输出识别到的图像特征之前，将该图像识别模型识别到的图像特征进行全连接处理，得到新的图像特征。
需要说明的一点是，电子设备获取到该第二图像识别模型后，可以先根据该第二图像识别模型确定该第二图像识别模型对应的分类损失函数和参数正则化损失函数，再向该第二图像识别模型中添加该全连接层；电子设备还可以先向该第二图像识别模型中添加该全连接层，再获取该第二图像识别模型的分类损失函数和参数正则化损失函数；电子设备还可以同时获取该第二图像识别模型的分类损失函数和参数正则化损失函数并向该第二图像识别模型中添加该全连接层。也即电子设备可以先执行步骤S22再执行步骤S23，电子设备也可以先执行步骤S23再执行步骤S22，电子设备还可以同时执行步骤S22和S23，在本公开实施例中，对该电子设备执行步骤S22和步骤S23的顺序不作具体限定。
在步骤S24中，电子设备根据该第一样本图像和该第三图像识别模型，确定该第三图像模型的词向量损失函数。
在本步骤中，电子设备根据该第一样本图像的图像特征和该第三图像识别模型全连接层，确定第三图像识别模型的词向量损失函数。该过程可以通过以下步骤(1)-(2)实现，包括：
(1)电子设备根据第一类别，确定该第一类别对应的第一词向量。
在本步骤中，电子设备可以先根据该第一类别确定该第一类别对应的图像特征，根据该图像特征确定该第一类别对应的第一词向量。电子设备还可以直接根据该第一类别和第一词向量的对应关系确定该第一类别对应的词向量，在本公开实施例中，对电子设备获取该第一词向量的方法不作具体限定。
当电子设备根据该第一类别确定该第一类别对应的图像特征，根据该图像特征确定该第一类别对应的第一词向量时，电子设备中事先存储第一类别和图像特征的对应关系以及词向量空间，该词向量空间中存储该图像特征与词向量的对应关系。相应的，当该电子设备根据该第一类别确定该第一类别对应的图像特征，根据该图像特征确定该第一类别对应的第一词向量的过程可以为：电子设备根据该第一类别，从第一类别和图像特征的对应关系中确定该第一类别对应的图像特征，根据该图像特征，从该词向量空间中确定该图像特征对应的第一词向量。
需要说明的一点是，该电子设备中还可以不存储该第一类别和图像特征的对应关系以及该词向量空间，而是从第三服务器中获取该第一类别对应的第一词向量。相应的，当该电子设备根据该第一类别确定该第一类别对应的图像特征，根据该图像特征确定该第一类别对应的第一词向量的过程可以为：电子设备向第三服务器发送第二获取请求，该第二获取请求中携带该第一类别，第三服务器接收到该第二获取请求后，根据该第二获取请求从第一类别和图像特征的对应关系中，确定与该第一类别对应的图像特征，再根据该图像特征，从词向量空间中，确定与该图像特征对应的第一词向量，将该第一词向量发送给电子设备，电子设备接收该第一词向量。
当该电子设备直接根据该第一类别和第一词向量的对应关系确定该第一类别对应的词向量时，电子设备事先存储该第一类别和词向量特征的对应关系。相应的，本步骤可以为：电子设备确定该第一类别，根据该第一类别，从本地存储的词向量空间中确定与该第一类别对应的第一词向量。其中，该词向量空间中存储该第一类别和词向量的对应关系。
需要说明的一点是，该电子设备还可以不存储该词向量空间，而是从第四服务器中获取该第一类别对应的第一词向量。相应的，当该电子设备直接根据该第一类别和第一词向量的对应关系确定该第一类别对应的词向量时，本步骤可以为：电子设备向第四服务器发送第三获取请求，该第三获取请求中，携带该第一类别，第四服务器接收到该第三获取请求后，根据该第三获取请求，从第一类别和词向量的对应关系中，确定与该第一类别对应的第一词向量，向电子设备发送该第一词向量。
需要说明的另一点是，该第一词向量可以为多维度词向量，并且，该第一词向量的维数可以根据需要进行设置，该第一词向量的维数小于图像特征向量的维数，该在本公开实施例中，对该第一词向量的维数不作具体限定。例如，该第一词向量的维数可以为300维或200维等。
(2)电子设备根据该第一词向量，确定该全连接层的参数向量与该第一词向量的差值，得到该词向量损失函数。
其中，该全连接层的向量维度和词向量维度相同，在本步骤中，通过确定全连接层中的每一维度的参数向量和第一词向量的每一维度的参数向量之间的差值，根据该差值确定该全连接层的词向量正则化损失函数，该词向量损失函数可以由公式四表示：
公式四：L2＝|FC-WE|2
其中，L2表示词向量损失函数，FC为第三图像识别模型的全连接层的参数向量，该参数向量为未知的参数变量，WE为第一词向量，|FC-WE|为该全连接层的参数向量与第一词向量的差值的模长。
在步骤S25中，电子设备基于该第二图像识别模型的分类损失函数、该参数正则化损失函数、该词向量正则化损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型。
在本步骤中，电子设备基于第一样本图像、分类损失函数、该参数正则化损失函数和该词向量正则化损失函数对添加有全连接层的第三图像识别模型进行训练，当该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数收敛时，确定训练完成得到第一图像识别模型。
该训练第一图像识别模型的过程可以通过以下步骤(1)-(2)实现，包括：
(1)电子设备将该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数进行加权求和，得到该第三图像识别模型的损失函数。
在本步骤中，电子设备根据分类损失函数、该参数正则化损失函数和该词向量正则化损失函数的权重，对该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数进行加权求和，通过以下公式五确定该第三图像识别模型的损失函数。
公式五：
Figure GDA0003388879780000141
其中，L表示该第三图像识别模型的损失函数，Llog(Y,P)为该第二图像识别模型的分类损失函数，
Figure GDA0003388879780000142
为第二图像识别模型的参数正则化损失函数，|FC-WE|2为第三图像识别模型的词向量正则化损失函数，α和β分别为参数正则化损失的系数和词向量正则化损失函数的系数，α和β可以根据该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数的权重确定，α和β用于平衡该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数的比重。
(2)电子设备根据该损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型。
在本步骤中，电子设备根据第一样本图像对该第三图像识别模型进行迭代训练，直到该损失函数收敛时，则确定该迭代训练完成，得到该第一图像识别模型。
需要说明的一点是，该对图像识别模型进行训练得到第一图像识别模型的过程可以由该电子设备执行也可以由第四服务器执行，在本公开实施例中，对此不作具体限定。当该第一图像识别模型为由第四服务器训练得到的图像识别模型时，电子设备获取该第一图像识别模型的过程可以为：电子设备向第四服务器发送第四获取请求，第四服务器接收该第四获取请求，根据该第四获取请求进行模型训练，得到第一图像识别模型，向该电子设备发送该第一图像识别模型，电子设备接收该第一图像识别模型。其中，第四服务器对第三图像识别模型进行训练得到第一图像识别模型的过程与电子设备对第三图像识别模型进行训练得到该第一图像识别模型的过程相似，在此不再赘述。另外，该第四服务器可以与第三服务器相同，也可以与第三服务器不同，在本公开实施例中，对此不作具体限定。
在本公开实施例中，将待识别图像输入至第一图像识别模型中，第一图像识别模型为添加了全连接层的图像识别模型，全连接层中的每个第一节点与第一图像识别模型中全连接层的上一层的每个第二节点相连；通过每个第二节点，获取待识别图像的第一特征向量，第一特征向量为根据第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；通过每个第一节点将每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量；根据第二特征向量，确定待识别图像的第二类别，第二类别与已知的第一类别不同。通过在图像识别模型中添加全连接层，对该待识别图像的图像特征进行全连接处理，使得第一图像识别模型在识别待识别图像的图像特征时，可以结合先验知识对待识别图像进行图像特征提取，根据提取到的图像特征对待识别图像进行识别，使第一图像模型可以识别未知类别的图像，进而提高了图像识别模型的准确率。
并且，在本公开实施例中，通过在模型训练过程中，添加全连接层，得到第三图像识别模型，进而通过对添加了全连接层的第三图像识别模型进行模型训练，确定该第三图像识别模型的词向量损失函数，通过在模型训练的过程中加入对全连接层的词向量正则化损失函数的计算，提高了第一图像识别模型的鲁棒性，通过加入对词向量正则化损失函数的计算，实现通过先验知识对第一图像识别模型进行限制，从而提高了第一图像识别模型对图像特征的表达能力。
图3是根据一示例性实施例示出的一种图像识别方法的流程图，如图3所示，包括以下步骤。
在步骤S31中，电子设备将待识别图像输入至第一图像识别模型中，该第一图像识别模型为添加了全连接层的图像识别模型，该全连接层中的每个第一节点与该第一图像识别模型中该全连接层的上一层的每个第二节点相连。
其中，该第一图像识别模型包括多个网络层，该全连接层设置在第一图像识别模型的倒数第二层，即输出层的前一层。该第一图像识别模型中该全连接层中包括多个第一节点，该多个第一节点与该第一图像识别模型中全连接层的上一层的多个第二节点连接。例如，该全连接层中的多个第一节点可以和特征提取层中的多个第二节点连接。
该多个第一节点的数量和多个第二节点的数量相同，且该多个第一节点的数量和多个第二节点的数量可以根据特征向量的维度进行设置，在本公开实施例中，对该多个第一节点和第二节点的数量不作具体限定。
在步骤S32中，电子设备通过该每个第二节点，获取该待识别图像的第一特征向量，该第一特征向量为根据该第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量。
在本步骤中，电子设备通过第一图像识别模型中的网络层对该待识别图像进行特征提取，得到该待识别图像对应的图像特征。该第二节点为该第一图像识别模型中，进行特征提取的网络层中的第二节点。其中，该待识别图像的图像特征由第一特征向量表示，该第一特征向量的维度可以根据需要进行设置，在本公开实施例中，对该第一特征向量的维度不作具体限定，例如，该第一特征向量的维度可以为1024维或2048维等。
该第二节点的数量与该第一特征向量的维度相同或者不同。在一种可能的实现方式中，该第二节点的数量与该第一特征向量的维度相同，相应的，在本实现方式中，每个第二节点都输出根据待识别图像提取到的图像特征对应的向量值，将该每个第二节点输出的向量值组成该第一特征向量。
在另一种可能的实现方式中，该第二节点的数量大于该第一特征向量的维度，相应的，在本实现方式中，该多个第二节点中，至少一个第二节点输出向量值，另一部分节点不输出向量值，相应的，该第一特征向量为根据该至少一个第二节点输出的向量值组成的第一特征向量。
另外，由于在模型训练的过程中，第一图像识别模型是根据已知类型的第一样本图像训练得到的，在本步骤中，第一图像识别模型中的第二节点对该待识别图像进行特征提取时，提取到的特征为根据该第一样本图像的类别识别到的第一特征向量。
在步骤S33中，电子设备通过该每个第一节点将该每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量。
在本步骤中，电子设备通过第一图像识别模型中全连接层的第一节点，接收每个第二节点输出的第一特征向量，根据该第一节点对该第一特征向量的每一维向量进行加权处理，得到加权后的多维特征向量，由加权后的多维向量组成第二特征向量。
在一种可能的实现方式中，通过该多个第一节点对多个第二节点输出的第一特征向量进行加权时，可以将每个第二节点输出的第一特征向量的向量值都进行加权。在另一种可能的实现方式中，通过该多个第一节点对多个第二节点输出的第一特征向量进行加权时，可以对第二节点输出的部分第一特征向量的特征值进行加权。其中，该选择的多个第二节点可以为随机选择的多个第二节点，也可以为事先指定的多个第二节点。在本公开实施例中，对此不作具体限定。
另外，对该第二节点输出的向量值进行加权时，每个第二节点的权重可以相同也可以不同，在本公开实施例中，对此不作具体限定。并且，该每个第二节点的加权权重可以为事先规定加权权重，也可以为根据多个第二节点的输出的多个向量值确定的加权权重，在本公开实施例中，对此也不作具体限定。
在步骤S34中，电子设备基于图文转换矩阵，将该第二特征向量转换为第二词向量。
在本步骤中，电子设备将该第二特征向量与图文转换矩阵进行叉乘运算，得到运算结果，将该运算结果作为该第二词向量。
在本步骤中或者在本步骤之前，电子设备获取图文转换矩阵。该图文转换矩阵可以为电子设备自己训练得到的，也可以为电子设备获取其他设备训练得到的。在本公开实施例中，对此不作具体限定。
当电子设备自己训练得到图文转换矩阵时，可以通过以下步骤(1)-(4)实现，包括：
(1)电子设备获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量。
本步骤与步骤S31-S32相似，在此不再赘述。
(2)电子设备根据该第二样本图像的第三类别，确定与该第三类别对应的第四词向量。
本步骤与步骤S24中的步骤(1)相似，在此不再赘述。
(3)电子设备确定第一矩阵，该第一矩阵为该图文转换矩阵的转置矩阵，根据该第一矩阵，将该第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数。
在本步骤中，电子设备确定该图文转换矩阵对应的第一变量，以及确定该图文转换矩阵对应的第二变量。基于该第二变量，将该第四词向量转换为图像特征向量，得到该第二样本图像的图像向量函数。相应的，图文转换矩阵的维度可以根据需要进行设置并更改，在本公开实施例中，对此不作具体限定。例如，该图文转换矩阵可以为一个m行n列的矩阵，例如，该图文转换矩阵可以表示为
Figure GDA0003388879780000171
其中，
Figure GDA0003388879780000172
为该图文转化矩阵的第一变量。转置矩阵为将该图文转换矩阵的行、列互换后的矩阵，因此，该图文转换矩阵的转置矩阵为：
Figure GDA0003388879780000173
其中，
Figure GDA0003388879780000174
为该转置矩阵的第二变量，第一变量为第二变量的转置变量。由于，该图文转换矩阵为未知的矩阵，则该第一变量和第二变量为未知变量，因此，该电子设备将每个第二样本图像对应的第四词向量和转置矩阵叉乘，得到的图像特征向量为图像向量函数。
(4)对于每个第二样本图像，电子设备根据该第二样本图像的第三特征向量，对该第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将该第二变量对应的矩阵进行转置，得到该图文转换矩阵。
在一种可能的实现方式中，电子设备可以将该第二样本图像的第三特征向量代入到该第二样本图像对应的图像向量函数中，求解得到该第二变量对应的矩阵，进而确定该图文转换矩阵。
在另一种可能的实现方式中，电子设备可以通过SAE(Stacked Autoencoder，堆栈式自编码器)模型对第二样本图像中的第三特征向量进行编解码，得到解码后的图像特征向量，根据该解码后图像特征向量与第三特征向量的相似性，确定该图文转换矩阵。如图4所示，图4是一种SAE模型进行编码和解码的示意图，该SAE模型包括：编码层、隐层和解码层。参见图4，向该SAE模型的编码层中输入原始数据X，编码层将原始数据X经图文转换矩阵W编码为一个新的表达形式S，即隐层；解码层将隐层S经W的转置矩阵WT解码为X'，得到输出矩阵X'。其中，原始数据和输出数据均可以为图像特征向量，隐层可以为词向量。
在通过SAE模型进行编码和解码时，解码后的数据尽可能恢复为原始数据。基于此，电子设备可以通过以下两种实现方式实现，得到图文转换矩阵。
第一种实现方式，电子设备确定该第二样本图像的第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数；确定该第一函数的函数值最小时的第二变量，将该第二变量进行转置，得到该图文转换矩阵。
在本公开实施例中，语义自编码器中只有一层隐层，隐层S的维数小于原始数据X的维数，而图像特征向量的维数一般为1024维或者2048维，词向量的维数一般为300维，词向量的维数小于图像特征向量的维数，因此，在本公开实施例中，电子设备可以将图像特征作为上述语义自编码器中的原始数据X，将词向量作为隐层S，输出数据仍为图像特征X'，将图文转换矩阵作为矩阵W，图文转换矩阵的转置矩阵作为W的转置矩阵WT。则在本公开实施例中，电子设备将该第三特征向量作为原始数据X输入至SAE模型的编码层。图像向量函数为转置矩阵和第四词向量的乘积，其中，转置矩阵可以表示为WT，第四词向量表示为S，则图像向量函数可以表示为WTS，则电子设备根据第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数可以为：
Figure GDA0003388879780000181
其中，
Figure GDA0003388879780000182
表示X-WTS的绝对值的平方，F为范数，
Figure GDA0003388879780000183
则表示X-WTS的绝对值的平方值最小值。
电子设备确定该第一函数后，可以对该第一函数进行求解，确定该第一函数的函数值最小时对应的第二变量，将该第二变量进行转置运算，得到第一变量，从而得到该图文转换矩阵。
第二种实现方式，电子设备确定该第二样本图像的第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数；基于该图文转换矩阵的第一变量，将该第二样本图像的第三特征向量转换为词向量，得到该第二样本图像对应的词向量函数；确定该第二样本图像的词向量函数与该第四词向量之差，得到第二函数；确定该第一函数和该第二函数之和，得到第三函数；确定该第三函数的函数值最小时的第二变量，将该第二变量进行转置，得到该图文转换矩阵。
该实现方式中，电子设备在对第一函数求解之前，可以对第一函数进行松弛运算，得到第三函数，对第三函数进行求解，确定第三函数的函数值最小时的第二变量，将第二变量进行转置，得到图文转换矩阵的第一变量，从而得到图文转换矩阵。
其中，检测对第一函数进行松弛运算的过程可以为：电子设备基于图文转换矩阵对应的第一变量，将第二样本图像的第三特征向量和图文转换矩阵叉乘，得到词向量，由于第一变量为未知变量，因此，得到的词向量为词向量函数。电子设备确定词向量函数与第四词向量之差，得到第二函数。将第一函数和第二函数进行求和，得到第三函数。
例如，第四词向量表示为S，词向量函数表示为WX，则第二函数可以表示为：
Figure GDA0003388879780000191
电子设备将第二函数和第一函数进行求和，得到第三函数，第三函数可以表示为：
Figure GDA0003388879780000192
电子设备可以通过任一求解算法对第三函数进行求解，在第三函数的函数值最小时得到转置矩阵对应的第二变量，将第二变量的行、列互换，得到第一变量，从而得到图文转换矩阵。其中，电子设备在对第三函数进行求解时，可以通过拉格朗日法进行求解，在本公开实施例中，对求解算法不作具体限定。该松弛运算可以为拉格朗日松弛，在本公开实施例中，对该松弛运算不作具体限定。
在一种可能的实现方式中，电子设备还可以确定第二函数对应的松弛因子，确定松弛因子和第二函数的乘积，得到第四函数，将第四函数和第一函数进行求和，得到第五函数。确定第五函数的函数值最小时的第二变量，将第二变量进行转置，得到图文转换矩阵对应的第一变量，从而得到图文转换矩阵。例如，第四函数可以表示为：
Figure GDA0003388879780000193
则第五函数可以表示为：
Figure GDA0003388879780000194
其中λ为松弛因子。
本公开实施例中，电子设备获取多个第二样本图像，通过语义自编码不断进行迭代优化，最终得到图文转换矩阵。
第三种实现方式，电子设备确定该第二样本图像的词向量函数与该第四词向量之差，得到第二函数；确定该第二函数的函数值最小时的第二变量，将该第二变量进行转置，得到该图文转换矩阵。
在本实现方式中，电子设备将该第三特征向量作为原始数据X输入至SAE模型的编码层。SAE模型将该第三特征向量X与第一变量进行叉乘，得到第二图像的词向量函数，确定该词向量函数与该第二图像特征对应的第四词向量的差，得到第二函数，当该第四词向量表示为S，词向量函数表示为WX，则第二函数可以表示为：
Figure GDA0003388879780000195
电子设备可以通过任一方法对该第二函数进行求解，确定该第二函数最小时的得到转置矩阵对应的第二变量，将第二变量的行、列互换，得到第一变量，从而得到图文转换矩阵。
需要说明的一点是，原有的语义自编码器为非监督学习的，当直接将第三特征向量经语义自编码器编码后得到的可能为词向量，也可能为其他模态下的特征向量，因此，这种转换具有不确定性。而本公开实施例中，通过将图文转换矩阵和第三特征向量的乘积转换为词向量，对SAE模型的编码过程起到了约束作用，从而该语义自编码器由非监督学习的语义自编码器变为监督学习的语义自编码器，使得语义自编码的隐层S表示在相应的模态空间内。另外，在本公开实施例中，隐层S不仅是第三特征向量在文字模态空间下的另一种表示，同时还具有清晰的语义，也即具有第三特征向量和第四词向量的共同特征。
在步骤S35中，电子设备根据该第二词向量，确定词向量空间中与该第二词向量最近的第三词向量。
在本步骤中，电子设备确定第二词向量与词向量空间中的每个词向量之间的距离，该词向量之间的距离可以为欧氏距离、曼哈顿距离等，在本公开实施例中，对该距离的计算方式不作具体限定。
在一种可能的实现方式中，电子设备分别确定该第二词向量与该词向量空间中的多个词向量之间的距离，从该词向量空间中选择与该第二词向量之间的距离最小的第三词向量。
在本实现方式中，电子设备将第二词向量与该词向量空间中的多个词向量之间的距离，将该多个词向量与第二词向量之间的距离进行对比，确定出与该第二词向量之间的距离最近的第三词向量，保证了选择第三词向量的准确性。
在另一种可能的实现方式中，该词向量空间中，将多个词向量分为不同的词向量集合。相应的，电子设备根据该第二词向量，确定词向量空间中与该第二词向量最近的第三词向量的过程可以为：电子设备分别确定该第二词向量与每个词向量集合中的词向量之间的距离，分别确定每个向量集合中与该第二词向量之间的距离最近的词向量，之后再从多个词向量中选择与该第二词向量之间的距离最小的第三词向量。
在本实现方式中，电子设备从该词向量空间中的多个词向量集合中分别确定与该第二词向量距离最近的词向量，再从该多个词向量中选择出与该第二词向量之间的距离最近的第三词向量，在保证了选择的第三词向量准确的前提下，提高了计算速度，提高了效率。
在另一种可能的实现方式中，该词向量空间中存储多个词向量集合，每个词向量集合中为距离相近的词向量，电子设备根据该第二词向量，确定词向量空间中与该第二词向量最近的第三词向量时，可以先确定该第二词向量与每个词向量集合之间的距离，进而从该多个词向量集合中确定与该第二词向量距离最近的目标词向量集合，分别确定该目标词向量集合与每个词向量与第二词向量之间的距离，从而确定与该是第二词向量之间的距离最小的第三词向量。
在本实现方式中，该电子设备先从多个词向量集合中，选择目标词向量集合，再从该目标词向量集合中，选择与该第二词向量集合距离最近的第三词向量，使得电子设备无需确定词向量空间中的每个词向量与第二词向量之间的距离，从而提高了电子设备的计算效率。
在步骤S36中，电子设备确定该第三词向量对应的第二类别。
其中，该第二类别为与第一类别不同的图像类别，即该第二类别为第一图像识别模型未知的图像类别。
电子设备确定了第三词向量后，从该词向量空间中确定该第三词向量对应的图像类别，将该图像类别确定为第二类别。其中，该电子设备确定该第三词向量对应的图像类别的过程与步骤S24的步骤(1)中，电子设备根据第一类别确定第一类别对应的第一词向量的过程相似，在此不再赘述。
在本公开实施例中，将待识别图像输入至第一图像识别模型中，第一图像识别模型为添加了全连接层的图像识别模型，全连接层中的每个第一节点与第一图像识别模型中全连接层的上一层的每个第二节点相连；通过每个第二节点，获取待识别图像的第一特征向量，第一特征向量为根据第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；通过每个第一节点将每个第二节点输出的第一特征向量进行加权处理，使得第一图像识别模型在识别待识别图像的图像特征时，可以结合先验知识对待识别图像进行图像特征提取，根据提取到的图像特征对待识别图像进行识别，使第一图像模型可以识别未知类别的图像，进而提高了图像识别模型的准确率。
图5是根据一示例性实施例示出的一种图像识别装置框图。参照图5，该装置包括输入模块501，第一获取模块502，加权模块503和第一确定模块504。
输入模块501，被配置为将待识别图像输入至第一图像识别模型中，该第一图像识别模型为添加了全连接层的图像识别模型，该全连接层中的每个第一节点与该第一图像识别模型中该全连接层的上一层的每个第二节点相连；
第一获取模块502，被配置为通过该每个第二节点，获取该待识别图像的第一特征向量，该第一特征向量为根据该第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；
加权模块503，被配置为通过该每个第一节点将该每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量；
第一确定模块504，被配置为根据该第二特征向量，确定该待识别图像的第二类别，该第二类别与已知的第一类别不同。
在一种可能的实现方式中，该装置还包括：
第二获取模块，被配置为获取第一样本图像和用于识别该第一类别的第二图像识别模型，该第一样本图像的类别为第一类别；
第二确定模块，被配置为根据该第一样本图像和该第二图像识别模型，确定该第二图像识别模型的分类损失函数和参数正则化损失函数；
第三确定模块，被配置为在该第二图像识别模型中加入该全连接层，得到第三图像识别模型，以及，根据该第一样本图像和该第三图像识别模型，确定该第三图像模型的词向量损失函数；
训练模块，被配置为基于该分类损失函数、该参数正则化损失函数、该词向量正则化损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型。
在另一种可能的实现方式中，该第三确定模块，还被配置为根据该第一样本图像的第一类别，确定该第一类别对应的第一词向量；根据该第一词向量，确定该全连接层的参数向量与该第一词向量的差值，得到该词向量损失函数。
在另一种可能的实现方式中，该训练模块，还被配置为将该分类损失函数、该参数正则化损失函数和该词向量正则化损失函数进行加权求和，得到该第三图像识别模型的损失函数；根据该损失函数和该第一样本图像，对该第三图像识别模型进行迭代训练，得到该第一图像识别模型。
在另一种可能的实现方式中，该第一确定模块504，还被配置为基于图文转换矩阵，将该第二特征向量转换为第二词向量；根据该第二词向量，确定词向量空间中与该第二词向量最近的第三词向量；确定该第三词向量对应的第二类别。
在另一种可能的实现方式中，该装置还包括：
第三获取模块，被配置为获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量；
第四确定模块，被配置为根据该第二样本图像的第三类别，确定与该第三类别对应的第四词向量；
第五确定模块，被配置为确定第一矩阵，该第一矩阵为该图文转换矩阵的转置矩阵，根据该第一矩阵，将该第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数；
转置模块，被配置为对于每个第二样本图像，根据该第二样本图像的第三特征向量，对该第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将该第二变量对应的矩阵进行转置，得到该图文转换矩阵。
在另一种可能的实现方式中，该转置模块，还被配置为确定该第二样本图像的第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数；确定该第一函数的函数值最小时的第一变量，将该第一变量进行转置，得到该图文转换矩阵。
在另一种可能的实现方式中，该转置模块，还被配置为确定该第二样本图像的第三特征向量与该第二样本图像的图像向量函数之差，得到第一函数；基于该图文转换矩阵的第二变量，将该第二样本图像的第三特征向量转换为词向量，得到该第二样本图像对应的词向量函数，该第二变量为该第一变量的转置变量；确定该第二样本图像的词向量函数与该第一词向量之差，得到第二函数；确定该第一函数和该第二函数之和，得到第三函数；确定该第三函数的函数值最小时的第一变量，将该第一变量进行转置，得到该图文转换矩阵。
在本公开实施例中，将待识别图像输入至第一图像识别模型中，第一图像识别模型为添加了全连接层的图像识别模型，全连接层中的每个第一节点与第一图像识别模型中全连接层的上一层的每个第二节点相连；通过每个第二节点，获取待识别图像的第一特征向量，第一特征向量为根据第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；通过每个第一节点将每个第二节点输出的第一特征向量进行加权处理，使得第一图像识别模型在识别待识别图像的图像特征时，可以结合先验知识对待识别图像进行图像特征提取，根据提取到的图像特征对待识别图像进行识别，使第一图像模型可以识别未知类别的图像，进而提高了图像识别模型的准确率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6示出了本公开一个示例性实施例提供的电子设备600的结构框图。该电子设备600可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备600包括有：处理器601和存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本公开中方法实施例提供的图像识别方法。
在一些实施例中，电子设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置电子设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在电子设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在电子设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位电子设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为电子设备600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以电子设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测电子设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对电子设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在电子设备600的侧边框和/或显示屏605的下层。当压力传感器613设置在电子设备600的侧边框时，可以检测用户对电子设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时，由处理器601根据用户对显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子设备600的正面、背面或侧面。当电子设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制显示屏605的显示亮度。具体地，当环境光强度较高时，调高显示屏605的显示亮度；当环境光强度较低时，调低显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在电子设备600的前面板。接近传感器616用于采集用户与电子设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变小时，由处理器601控制显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变大时，由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对电子设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种图像识别方法，其特征在于，包括：
获取第一样本图像和用于识别第一类别的第二图像识别模型，所述第一样本图像的类别为第一类别；
根据所述第一样本图像和所述第二图像识别模型，确定所述第二图像识别模型的分类损失函数和参数正则化损失函数；
在所述第二图像识别模型中加入全连接层，得到第三图像识别模型，以及，根据所述第一样本图像的第一类别，确定所述第一类别对应的第一词向量；根据所述第一词向量，确定所述全连接层的参数向量与所述第一词向量的差值，得到所述第三图像模型的词向量损失函数；
基于所述分类损失函数、所述参数正则化损失函数、所述词向量损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到第一图像识别模型；
将待识别图像输入至所述第一图像识别模型中，所述第一图像识别模型为添加了所述全连接层的图像识别模型，所述全连接层中的每个第一节点与所述第一图像识别模型中所述全连接层的上一层的每个第二节点相连；
通过所述每个第二节点，获取所述待识别图像的第一特征向量，所述第一特征向量为根据所述第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；
通过所述每个第一节点将所述每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量；
根据所述第二特征向量，确定所述待识别图像的第二类别，所述第二类别与已知的第一类别不同。
2.根据权利要求1所述的方法，其特征在于，所述基于所述分类损失函数、所述参数正则化损失函数、所述词向量损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型，包括：
将所述分类损失函数、所述参数正则化损失函数和所述词向量损失函数进行加权求和，得到所述第三图像识别模型的损失函数；
根据所述损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征向量，确定所述待识别图像的第二类别，包括：
基于图文转换矩阵，将所述第二特征向量转换为第二词向量；
根据所述第二词向量，确定词向量空间中与所述第二词向量最近的第三词向量；
确定所述第三词向量对应的第二类别。
4.根据权利要求3所述的方法，其特征在于，所述基于图文转换矩阵，将所述第二特征向量转换为第二词向量之前，所述方法还包括：
获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量；
根据所述第二样本图像的第三类别，确定与所述第三类别对应的第四词向量；
确定第一矩阵，所述第一矩阵为所述图文转换矩阵的转置矩阵，根据所述第一矩阵，将所述第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数；
对于每个第二样本图像，根据所述第二样本图像的第三特征向量，对所述第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将所述第二变量对应的矩阵进行转置，得到所述图文转换矩阵。
5.根据权利要求4所述的方法，其特征在于，所述对于每个第二样本图像，根据所述第二样本图像的第三特征向量，对所述第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将所述第二变量对应的矩阵进行转置，得到所述图文转换矩阵，包括：
确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；
确定所述第一函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
6.根据权利要求4所述的方法，其特征在于，所述根据所述第二样本图像的第三特征向量，对所述第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将所述第二变量对应的矩阵进行转置，得到所述图文转换矩阵，包括：
确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；
基于所述图文转换矩阵的第二变量，将所述第二样本图像的第三特征向量转换为词向量，得到所述第二样本图像对应的词向量函数；
确定所述第二样本图像的词向量函数与所述第一词向量之差，得到第二函数；
确定所述第一函数和所述第二函数之和，得到第三函数；
确定所述第三函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
7.一种图像识别装置，其特征在于，包括：
输入模块，被配置为将待识别图像输入至第一图像识别模型中，所述第一图像识别模型为添加了全连接层的图像识别模型，所述全连接层中的每个第一节点与所述第一图像识别模型中所述全连接层的上一层的每个第二节点相连；
第一获取模块，被配置为通过所述每个第二节点，获取所述待识别图像的第一特征向量，所述第一特征向量为根据所述第一图像识别模型在训练过程中已知的第一类别提取的第一特征向量；
加权模块，被配置为通过所述每个第一节点将所述每个第二节点输出的第一特征向量进行加权处理，得到第二特征向量；
第一确定模块，被配置为根据所述第二特征向量，确定所述待识别图像的第二类别，所述第二类别与已知的第一类别不同；
所述装置还包括：
第二获取模块，被配置为获取第一样本图像和用于识别所述第一类别的第二图像识别模型，所述第一样本图像的类别为第一类别；
第二确定模块，被配置为根据所述第一样本图像和所述第二图像识别模型，确定所述第二图像识别模型的分类损失函数和参数正则化损失函数；
第三确定模块，被配置为在所述第二图像识别模型中加入所述全连接层，得到第三图像识别模型，以及，根据所述第一样本图像和所述第三图像识别模型，确定所述第三图像模型的词向量损失函数；
训练模块，被配置为基于所述分类损失函数、所述参数正则化损失函数、所述词向量损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型；
所述第三确定模块，还被配置为根据所述第一样本图像的第一类别，确定所述第一类别对应的第一词向量；根据所述第一词向量，确定所述全连接层的参数向量与所述第一词向量的差值，得到所述词向量损失函数。
8.根据权利要求7所述的装置，其特征在于，所述训练模块，还被配置为将所述分类损失函数、所述参数正则化损失函数和所述词向量损失函数进行加权求和，得到所述第三图像识别模型的损失函数；根据所述损失函数和所述第一样本图像，对所述第三图像识别模型进行迭代训练，得到所述第一图像识别模型。
9.根据权利要求7所述的装置，其特征在于，所述第一确定模块，还被配置为基于图文转换矩阵，将所述第二特征向量转换为第二词向量；根据所述第二词向量，确定词向量空间中与所述第二词向量最近的第三词向量；确定所述第三词向量对应的第二类别。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第三获取模块，被配置为获取至少一个第二样本图像中的每个第二样本图像对应的第三特征向量；
第四确定模块，被配置为根据所述第二样本图像的第三类别，确定与所述第三类别对应的第四词向量；
第五确定模块，被配置为确定第一矩阵，所述第一矩阵为所述图文转换矩阵的转置矩阵，根据所述第一矩阵，将所述第四词向量转换为图像特征向量，得到第二样本图像的图像向量函数；
转置模块，被配置为对于每个第二样本图像，根据所述第二样本图像的第三特征向量，对所述第二样本图像的图像向量函数进行求解，得到第二变量对应的矩阵，将所述第二变量对应的矩阵进行转置，得到所述图文转换矩阵。
11.根据权利要求10所述的装置，其特征在于，所述转置模块，还被配置为确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；确定所述第一函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
12.根据权利要求10所述的装置，其特征在于，所述转置模块，还被配置为确定所述第二样本图像的第三特征向量与所述第二样本图像的图像向量函数之差，得到第一函数；基于所述图文转换矩阵的第二变量，将所述第二样本图像的第三特征向量转换为词向量，得到所述第二样本图像对应的词向量函数；确定所述第二样本图像的词向量函数与所述第一词向量之差，得到第二函数；确定所述第一函数和所述第二函数之和，得到第三函数；确定所述第三函数的函数值最小时的第一变量，将所述第一变量进行转置，得到所述图文转换矩阵。
13.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的易失性或非易失性存储器；
其中，所述一个或多个处理器被配置为执行权利要求1～6任一项所述的图像识别方法。
14.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，所述指令被服务器的处理器执行时实现权利要求1～6任一项所述的图像识别方法。
CN201910804386.4A 2019-08-28 2019-08-28 图像识别方法、装置、电子设备及存储介质 Active CN110503160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804386.4A CN110503160B (zh) 2019-08-28 2019-08-28 图像识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804386.4A CN110503160B (zh) 2019-08-28 2019-08-28 图像识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110503160A CN110503160A (zh) 2019-11-26
CN110503160B true CN110503160B (zh) 2022-03-25

Family

ID=68590186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804386.4A Active CN110503160B (zh) 2019-08-28 2019-08-28 图像识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110503160B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111437607B (zh) * 2020-03-20 2023-08-18 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112085128B (zh) * 2020-10-27 2022-06-07 苏州浪潮智能科技有限公司 一种基于脉动阵列的图像识别方法、装置和介质
CN113988949A (zh) * 2021-11-15 2022-01-28 北京有竹居网络技术有限公司 一种推广信息处理方法、装置、设备及介质、程序产品
CN114821751B (zh) * 2022-06-27 2022-09-27 北京瑞莱智慧科技有限公司 图像识别方法、装置、系统及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295521B (zh) * 2016-07-29 2019-06-04 厦门美图之家科技有限公司 一种基于多输出卷积神经网络的性别识别方法、装置及计算设备
CN109101984B (zh) * 2017-06-20 2022-04-08 北京中科奥森数据科技有限公司 一种基于卷积神经网络的图像识别方法及装置
CN107480690A (zh) * 2017-07-04 2017-12-15 中国科学院计算技术研究所 一种基于支持向量机的包含未知类别的多分类方法
US10733538B2 (en) * 2017-09-29 2020-08-04 Oracle International Corporation Techniques for querying a hierarchical model to identify a class from multiple classes
CN108549899B (zh) * 2018-03-07 2022-02-15 中国银联股份有限公司 一种图像识别方法及装置
CN108629414B (zh) * 2018-05-09 2020-04-14 清华大学 深度哈希学习方法及装置
CN108805259A (zh) * 2018-05-23 2018-11-13 北京达佳互联信息技术有限公司 神经网络模型训练方法、装置、存储介质及终端设备
CN109271852A (zh) * 2018-08-07 2019-01-25 重庆大学 一种基于深度神经网络的行人检测再识别的处理方法
CN109472284A (zh) * 2018-09-18 2019-03-15 浙江大学 一种基于无偏嵌入零样本学习的电芯缺陷分类方法
CN109919192A (zh) * 2019-01-30 2019-06-21 中国地质大学（武汉） 一种基于卷积神经网络和词向量的图像分类方法及系统
CN109947960B (zh) * 2019-03-08 2024-01-23 南京信息工程大学 基于深度卷积的人脸多属性联合估计模型构建方法
CN110070067B (zh) * 2019-04-29 2021-11-12 北京金山云网络技术有限公司 视频分类方法及其模型的训练方法、装置和电子设备
CN110097010A (zh) * 2019-05-06 2019-08-06 北京达佳互联信息技术有限公司 图文检测方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN110503160A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN110149541B (zh) 视频推荐方法、装置、计算机设备及存储介质
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN109299315B (zh) 多媒体资源分类方法、装置、计算机设备及存储介质
CN110134804B (zh) 图像检索方法、装置及存储介质
CN110503160B (zh) 图像识别方法、装置、电子设备及存储介质
CN111737573A (zh) 资源推荐方法、装置、设备及存储介质
CN108288032B (zh) 动作特征获取方法、装置及存储介质
CN108320756B (zh) 一种检测音频是否是纯音乐音频的方法和装置
CN110942046B (zh) 图像检索方法、装置、设备及存储介质
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN111581958A (zh) 对话状态确定方法、装置、计算机设备及存储介质
CN111738365B (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN113763931B (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN114299306A (zh) 获取图像检索模型的方法、图像检索方法、装置和设备
CN112001442B (zh) 特征检测方法、装置、计算机设备及存储介质
CN110232417B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN111341307A (zh) 语音识别方法、装置、电子设备及存储介质
CN113361376B (zh) 获取视频封面的方法、装置、计算机设备及可读存储介质
CN113343709B (zh) 意图识别模型的训练方法、意图识别方法、装置及设备
CN111988664B (zh) 视频处理方法、装置、计算机设备及计算机可读存储介质
CN114996515A (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN114925667A (zh) 内容分类方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant