CN117253075A - 图像识别的方法、装置、设备以及存储介质 - Google Patents

图像识别的方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN117253075A
CN117253075A CN202311052838.0A CN202311052838A CN117253075A CN 117253075 A CN117253075 A CN 117253075A CN 202311052838 A CN202311052838 A CN 202311052838A CN 117253075 A CN117253075 A CN 117253075A
Authority
CN
China
Prior art keywords
vector
image
layer
convolution layer
linear mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311052838.0A
Other languages
English (en)
Inventor
胡静
姜文翼
石东升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202311052838.0A priority Critical patent/CN117253075A/zh
Publication of CN117253075A publication Critical patent/CN117253075A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像识别的方法、装置、设备以及存储介质，涉及计算机视觉、深度学习、云存储等技术领域，具体实现方案为：对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量；采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量；采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征；基于注意力特征，对目标图像进行分类。

Description

图像识别的方法、装置、设备以及存储介质
技术领域
本公开整体涉及人工智能技术领域，尤其涉及计算机视觉、深度学习、云存储等技术领域。具体涉及一种图像识别的方法、装置、设备以及存储介质。
背景技术
目前，对于图像识别以对图像进行分类，是人工智能技术的重要应用之一。例如，在商业活动中，基于活动现场采集的图像进行是否存在人群聚集的情况进行分类；又或者，基于宠物图像识别图中所呈现对象具体所属的物种。
在相关技术中，通常采用人工智能模型对图像进行识别，以确定图像所属的类别，例如，可以采用基于多头自注意力(MSA，Multiple Self Attention)的识别模型。
发明内容
本公开提供了一种用于图像识别的方法、装置、设备以及存储介质。
根据本公开的一方面，提供了一种图像识别的方法，包括：对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量；采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量；采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征；基于注意力特征，对目标图像进行分类。
根据本公开实施例的图像识别方法，首先对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征，基于注意力特征，对目标图像进行分类。由于采用了深度可分离卷积层和第一线性映射层替换了相关技术中的MSA层，进行基于注意力机制的识别，解决了MSA层引入注意力机制时所需的运行资源量大的问题。
根据本公开的另一方面，提供了一种图像识别装置，装置包括：图像特征提取模块，用于对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量；第一线性映射层模块，用于采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量；拆分模块，用于采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；注意力特征模块，用于根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征；分类模块，用于基于注意力特征，对目标图像进行分类。
根据本公开实施例的图像识别方法以及装置，首先对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征，基于注意力特征，对目标图像进行分类。由于采用了深度可分离卷积层和第一线性映射层替换了相关技术中的MSA层，进行基于注意力机制的识别，解决了MSA层引入注意力机制时所需的运行资源量大的问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例所提供的一种图像识别方法的流程示意图一；
图2为本公开实施例所提供的一种图像识别方法的流程示意图二；
图3为本公开实施例所提供的一种图像识别方法的流程示意图三；
图4为本公开实施例所提供的图像识别模型的模型结构示意图；
图5为为本公开实施例所提供的获取第一图像特征向量对应的框架示意图；
图6为本公开实施例所提供的残差变形网络模型对应的框架示意图；
图7为本公开实施例所提供的一种图像识别装置的结构示意图；
图8是用来实现本公开实施例的图像识别的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
其中，需要说明的是，本公开技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
图1为本公开实施例所提供的一种图像识别方法的流程示意图一。
如图1所示，该方法包括以下步骤：
步骤101，对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量。
其中，需要说明的是，本公开实施例提供的图像识别方法可以由图像识别装置执行，其中，图像识别装置可以由软件和/或者硬件实现。其中，图像识别装置可以为电子设备，也可以被配置在电子设备中。本公开实施例以图像识别方法被配置在电子设备中为例进行说明。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
本步骤中对目标图像进行的图像特征提取，是用以提取目标图像中各像素点所携带的图像信息，以得到目标图像在图像细节和/或轮廓方面的图像特征，即第一图像特征向量。
在一些示例中，获取待识别类别的目标图像，将待识别类别的目标图像输入卷积层进行特征提取，以得到卷积层的输出向量。将卷积层的输出向量作为第一图像特征向量。
在另一些示例中，可以将待识别类别的目标图像输入到卷积层进行特征提取，进而，将卷积层的输出向量进行映射，以调整该输出向量维度，以作为第一图像特征向量。
需要说明的是，本实施例中用于进行特征提取的卷积层可以是一层也可以是多层，各层卷积层采用的卷积核大小可以相同可以不同，本实施例中对此不作限定。
步骤102，采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量。
其中，查询条件向量，即参数Q，在注意力机制中用于表征查询目标，在本实施例中指示所需查询的图像类别，即待识别类别。在本实施例中，已通过预先进行的训练，使得该第一线性映射层进行了相关模型参数的调整，从而可以将输入的第一图像特征向量线性映射到指示待识别类别的查询条件向量，也就是说，已通过预先进行的训练使得第一线性映射层学习到输入的第一图像特征向量与查询条件向量之间的映射关系。
步骤103，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量。
深度可分离卷积层，用于对输入的向量进行拆分，将卷积核分成两个单独的卷积核，这两个卷积核进行两个卷积即深度卷积和逐点卷积。通过深度可分离卷积层进行的拆分，一方面减少了后续运算的向量尺寸，节省了运算资源，另一方面，拆分出的两向量分别对应了注意力机制中的K参数和V参数，便于结合注意力机制进行后续的图像识别任务。
可选地，在一些示例中，将第一图像特征向量输入到深度可分离卷积层中，对第一图像特征向量进行拆分，以得到深度可分离卷积层的两个输出向量，对深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和权重向量。
其中，可以理解的是，将深度可分离卷积层的一个输出向量输入到第三线性映射层进行线性映射，以得到被查询向量，将深度可分离卷积层的另一个输出向量输入到第四线性映射层进行线性映射，以得到权重向量。
其中，可以理解的是，第三线性映射层与第四线性映射层为不同的两个线性映射层。
步骤104，根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征。
本实施例中，通过结合注意力机制中的查询条件向量(Q参数)、被查询向量(K参数)和权重向量(V参数)，对目标图像的第一图像特征进行注意力增强，从而得到目标图像的注意力特征。注意力特征相较于第一图像特征，更加突出了特征之中对于所需的图像分类有正面意义的部分，并弱化了特征之中对于所需的图像分类没有明显作用的部分。从而有助于提高分类的准确性。
可选地，在一些示例中，为了确定目标图像的注意力特征，首先对查询条件向量和被查询向量进行融合，以得到第一融合向量，将第一融合向量进行语义特征提取，以得到语义向量，将语义向量与权重向量进行融合，根据融合得到的第二融合向量，确定目标图像的注意力特征。
其中，可以理解的是，将第一融合向量输入卷积层和归一化指数函数层中，可以进行语义特征提取，以得到语义向量。
步骤105，基于注意力特征，对目标图像进行分类。
在本示例中，将目标图像的注意力特征输入到分类层中，对目标图像的注意力特征进行分数预测，以得到目标图像对应的类别置信度分数，对目标图像对应的类别置信度分数是否大于分数阈值进行判断，若大于分数阈值，则对目标图像进行分类，反之，对目标图像进行舍弃。
其中，可以理解的是，分数阈值根据工作人员根据实际情况来确定，本实施例不做限定。
根据本公开实施例的图像识别方法，首先对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征，基于注意力特征，对目标图像进行分类。由于采用了深度可分离卷积层和第一线性映射层替换了相关技术中的MSA层，进行基于注意力机制的识别，解决了MSA层引入注意力机制时所需的运行资源量大的问题。
基于上述实施例的基础上，为了可以清楚理解如何根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征，下面结合图2对该实施例的方法进行进一步示例性描述。
图2为本公开实施例所提供的一种图像识别方法的流程图二。
如图2所示，该方法可以包括：
步骤201，对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量。
本步骤的具体说明，可参考前述实施例中步骤101。本实施例中对此不再赘述。
步骤202，基于第一图像特征向量，确定查询条件向量，被查询向量和权重向量。
其中，可以理解的是，采用第一线性映射层对第一图像特征向量进行线性映射，以获取查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到被查询向量以及权重向量。
例如，第一图像特征向量为x，将x输入到深度可分离卷积层并采用线性映射层分别进行映射以得到K参数和V参数，且将x输入到另一线性映射层得到Q参数。
其中，可以理解的是，K参数为被查询向量，V参数为权重向量，Q参数为查询条件向量。
本实施例中，采用第一线性映射层对第一图像特征向量进行线性映射，以获取查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到被查询向量以及权重向量，由于采用了深度可分离卷积层和第一线性映射层替换了相关技术中的MSA层，进行基于注意力机制的识别，解决了MSA层引入注意力机制时所需的运行资源量大的问题。
步骤203，对查询条件向量和被查询向量进行融合，以得到第一融合向量。
可选地，采用将查询条件向量和被查询向量相乘的方式进行融合，以得到第一融合向量。
步骤204，将第一融合向量输入卷积层和归一化指数函数层进行语义特征提取，以得到语义向量。
例如，归一化指数函数层可以根据softmax(柔性最大值传输函数)来确定，在实施例中不做限定。
其中，softmax函数又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。它将多个神经元的输出，映射到(0,1)区间内。
可选地，可以将第一融合向量输入卷积层进行进一步地卷积，以进行特征映射和提取，进而采用softmax作为激活函数进行激活。由于第一融合向量是对应Q参数的查询条件向量和对应K参数的被查询向量之间的融合结果，在注意力机制中，Q参数和K参数之间的乘积指示了V参数，即被查询向量对于图像分类贡献度。因此，在语义向量中携带有基于Q参数和K参数所确定出的第一图像特征对于图像分类贡献度。
步骤205，将语义向量与权重向量进行融合，以得到第二融合向量。
其中，根据将查询条件向量和被查询向量进行融合得到的第一融合向量进行语义特征提取，以得到语义向量。从前述步骤中可知，在语义向量中携带有基于Q参数和K参数所确定出的第一图像特征对于图像分类贡献度。而权重向量，是通过对第一图像特征向量采用深度可分离卷积拆分后的一个输出向量进行线性映射得到。也就是说，通过两种方式得到的图像分类贡献度，即权重向量和语义向量，将这两种方式得到的携带有图像分类贡献度的权重向量基于相似度进行融合，从而进一步加强了第二融合向量所指示的图像分类的贡献度。
例如，将Q参数与x进行融合，以得到第一融合向量，将第一融合向量输入到卷积层，采用softmax输出语义特征，对语义特征进行提取，以得到语义向量，将语义向量与V参数进行融合，以得到第二融合向量。
其中，可以理解的是，在将语义向量与V参数进行融合的过程中，会存在语义向量与V参数比对相似度的情况。
其中，可以理解的是，步骤204中的Q参数，x，V参数的含义与步骤201中的含义相同，此次不再赘述。
步骤206，采用第二线性映射层，对融合得到的第二融合向量进行线性映射。
步骤207，将第二线性映射层的输出向量与作为残差的第一图像特征向量进行融合，以得到目标图像的注意力特征。
其中，可以理解的是，根据对融合得到的第二融合向量进行线性映射，以得到第二线性映射层的输出向量。
本实施例中，残差部分体现在第一图像特征向量与第二融合向量进行融合的部分，通过增加第一图像特征向量参与后续分类，避免了训练的过拟合问题，提高了模型的泛化性能。
本实施例提供的方法，通过对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量；根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征，基于注意力特征，对目标图像进行分类，由于采用了深度可分离卷积层和第一线性映射层替换了相关技术中的MSA层，进行基于注意力机制的识别，解决了MSA层引入注意力机制时所需的运行资源量大的问题。
在本公开的一个实施例中，可以理解的是，对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，采用第一线性映射层对第一图像特征向量进行线性映射，以获取查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到被查询向量以及权重向量，为了可以清楚了解，如何获取第一图像特征向量，查询条件向量，被查询向量以及权重向量。下面结合图3对该实施例的图像识别方法进行进一步示例性描述。
图3为本公开实施例所提供的一种图像识别方法的流程图三。
如图3所示，该方法包括以下步骤：
步骤301，获取将待识别类别的目标图像，将目标图像输入卷积层进行特征提取，以得到卷积层的输出向量。
在一些示例中，将目标图像输入卷积层进行分块图像特征提取，以得到卷积层的输出向量，其中，卷积层的输出向量包括目标图像中各图像块进行图像特征提取所得到的第二图像特征向量。
其中，可以理解的是，为了得到卷积层的输出向量，需要对将待识别类别的目标图像进行分块处理。
本实施例中，将目标图像输入卷积层进行分块图像特征提取，以得到卷积层的输出向量，可以提升卷积层的特征提取能力。
例如，将目标图像输入卷积层进行特征提取之后进行分块，得到多个图像块，将每一个图像块输入图像块嵌入层中进行嵌入，依据尺度变换参数对各个图像块的分辨率部分进行降采样，各个图像块的通道部分进行升采样。
步骤302，对卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，以实现对卷积层的输出向量的维度变换。
其中，可以理解的是，对卷积层的输出向量，采用图像块嵌入层进行维度变换，根据维度变换后的输出向量，确定第一图像特征向量。
其中，可以理解的是，对卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，其中，尺度变换参数中分辨率降维的倍率高于色彩通道数升维的倍率。
例如，采用图像块嵌入层可以对卷积层的输出向量进行4倍分辨率降维并且2倍色彩通道数升维处理。
其中，可以理解的是，图像块嵌入层依据的尺度变换参数由开发人员根据实际情况来进行设置，此处不再赘述。
本实施例中，对卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，可以提升对于多种类型图像的特征感知能力。
在本示例中，图像块嵌入层依据的尺度变换参数为至少两套，其中，至少两套的尺度变换参数中的分辨率降维的倍率不同。
其中，可以理解的是，基于图像块嵌入层依据的尺度变换参数至少两套的情况，对卷积层的输出向量至少可以进行两次维度变换。
本实施例中，基于图像块嵌入层依据的尺度变换参数为至少两套，则对卷积层的输出向量至少可以进行两次维度变换，通过对卷积层的输出向量进行多次的维度变换，可以提高对各图像块特征提取的精确度，可以提升卷积层的特征提取能力。
步骤303，根据各图像块维度变换后的第二图像特征向量，以及相应图像块在目标图像中的位置编码进行特征融合，以得到各图像块的第一图像特征向量。
在本示例中，根据对卷积层的输出向量进行维度变换，以实现对卷积层的输出向量包括的第二图像特征向量的维度变换。
其中，可以理解的是，卷积层的输出向量包括目标图像中各图像块进行图像特征提取所得到的第二图像特征向量。
在一些示例中，在获取各图像块维度变换后的第二图像特征向量之后，可以将第二图像特征向量与各图像块对应的位置编码进行特征融合，从而以得到各图像块的第一图像特征向量。
其中，可以理解的是，位置编码是基于这个图像块在待识别类别的目标图像图像中的相对位置进行编码。
本实施例中，对各图像块维度变换后的第二图像特征向量以及相应图像块在目标图像中的位置编码进行特征融合，可以关注到多图像块之间的语义关联性，有助于涵盖到对多种类型目标图像的识别。
步骤304，采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量。
步骤305，将第一图像特征向量输入到深度可分离卷积层，以得到深度可分离卷积层的两个输出向量。
步骤306，将深度可分离卷积层的一个输出向量输入到第三线性映射层进行线性映射，以得到被查询向量。
步骤307，将所深度可分离卷积层的另一个输出向量输入到第四线性映射层进行线性映射，以得到权重向量。
本实施例中，对深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和权重向量，包括：将深度可分离卷积层的一个输出向量输入到第三线性映射层进行线性映射，以得到被查询向量；将深度可分离卷积层的另一个输出向量输入到第四线性映射层进行线性映射，以得到权重向量，由于采用了深度可分离卷积层对两个输出向量分别进行线性映射，可以解决MSA层引入注意力机制时所需的运行资源量大的问题。
本公开实施例的图像识别方法，将目标图像输入卷积层进行特征提取，以得到卷积层的输出向量，对卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，以实现对卷积层的输出向量的维度变换，根据各图像块维度变换后的第二图像特征向量，以及相应图像块在目标图像中的位置编码进行特征融合，以得到各图像块的第一图像特征向量，采用第一线性映射层对第一图像特征向量进行线性映射，以获取查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到被查询向量以及权重向量。由于采用了深度可分离卷积层和第一线性映射层替换了相关技术中的MSA层，进行基于注意力机制的识别，解决了MSA层引入注意力机制时所需的运行资源量大的问题。
其中，需要说明的是，关于步骤304至步骤307的具体描述，可参见本公开实施例中的相关描述，此处不再赘述。
作为一种示例，为了实现对目标图像进行分类。可通过图像识别模型对目标图像进行分类。
其中，需要说明的是，该图像识别模型为了可以实现对目标图像进行分类，首先获取待识别类别的图片，对图片进行特征提取，对提取出来的向量进行位置编码以及图像块嵌入，以得到第一图像特征向量，将第一图像特征向量输入到残差变形网络模块中，以确定图片的注意力特征，基于注意力特征，对图片的注意力特征进行分数预测，以得到图片对应的类别置信度分数，对图片对应的类别置信度分数是否大于分数阈值进行判断，若大于分数阈值，则对图片进行检出，反之，对图片进行舍弃，该图像识别模型的模型结构可以如图5所示。
其中，可以理解的是，为了提高图像识别模型的精确性，本公开的图像识别模型已经进行了预先训练。
在一些示例中，图像识别模型的训练过程可以包括以下内容：获取训练图像集合，其中，训练图像集合中的训练图像标注有分类；将训练图像输入图像识别模型，以获取图像识别模型输出的图像特征；基于图像识别模型输出的图像特征与标注的分类之间的差异来对图像识别模型的参数进行调整。
作为一种示例，为了可以实现得到各图像块的第一图像特征向量的任务，本公开的获取第一图像特征向量的示意图可以首先在图像块嵌入模块获取各图像块维度变换后的第二图像特征向量以及对各图像块进行位置编码之后，然后将第二图像特征向量与各图像块对应的位置编码输入到残差变形网络模块中，以实现对第二图像特征向量与各图像块对应的位置编码的特征融合，该获取第一图像特征向量的示意图对应的框架示意图可以如图5所示，由此，该获取第一图像特征向量的示意图加强了在图像块嵌入模块对第二图像特征向量进行特征提取能力，提升对于多种类型图像的特征感知能力。
作为一种示例，为了可以实现得到目标图像的注意力特征的任务，可以通过本公开的残差变形网络模型来实现，本公开的残差变形网络模型可以首先在采用Linear(线性映射)层对第一图像特征向量进行线性映射，以获取查询条件向量，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到被查询向量以及权重向量之后，对查询条件向量和被查询向量进行融合，以得到第一融合向量，将第一融合向量输入Conv(卷积)层和归一化指数函数(Softmax)层进行语义特征提取，以得到语义向量，然后将语义向量与权重向量进行融合，以得到第二融合向量，采用Linear(线性映射)层，对融合得到的第二融合向量进行线性映射，最后根据采用Linear(线性映射)层线性映射的输出向量，与作为残差的第一图像特征向量进行融合，以得到目标图像的注意力特征，该残差变形网络模型对应的框架示意图可以如图6所示，由此，避免了训练的过拟合问题，提高了模型的泛化性能。
图7为本公开实施例所提供的一种图像识别装置的结构示意图。
如图所示，该图像识别装置700包括：图像特征提取模块701、第一线性映射层模块702、拆分模块703、注意力特征模块704、分类模块705。
图像特征提取模块701，用于对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量。
第一线性映射层模块702，用于采用第一线性映射层对第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量。
拆分模块703，用于采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量。
注意力特征模块704，用于根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征。
分类模块705，用于基于注意力特征，对目标图像进行分类。在本公开的一个实施例中，根据查询条件向量、被查询向量和对应的权重向量，确定目标图像的注意力特征，注意力特征模块704还包括：
第一融合向量单元，用于对查询条件向量和被查询向量进行融合，以得到第一融合向量；
语义特征提取单元，用于将第一融合向量输入卷积层和归一化指数函数层进行语义特征提取，以得到语义向量；
第二融合向量单元，用于将语义向量与权重向量进行融合；
第一确定单元，用于根据融合得到的第二融合向量，确定目标图像的注意力特征。
其中，根据融合得到的第二融合向量，确定目标图像的注意力特征，第一确定单元还包括：
采用第二线性映射层，对融合得到的第二融合向量进行线性映射；
将第二线性映射层的输出向量与作为残差的第一图像特征向量进行融合，以得到目标图像的注意力特征。
在本公开的一个实施例中，对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，图像特征提取模块701包括：
第一特征提取单元，用于将待识别类别的目标图像输入卷积层进行特征提取，以得到卷积层的输出向量；
维度变换单元，用于对卷积层的输出向量，采用图像块嵌入层进行维度变换；
第二确定单元，用于根据维度变换后的输出向量，确定第一图像特征向量。
其中，对卷积层的输出向量，采用图像块嵌入层进行维度变换，维度变换单元包括：
对卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，其中，尺度变换参数中分辨率降维的倍率高于色彩通道数升维的倍率。
在本公开的一个实施例中，将待识别类别的目标图像输入卷积层进行特征提取，以得到卷积层的输出向量，第一特征提取单元包括：
将目标图像输入卷积层进行分块图像特征提取，以得到卷积层的输出向量，其中，卷积层的输出向量包括目标图像中各图像块进行图像特征提取所得到的第二图像特征向量。
在本公开的一个实施例中，根据维度变换后的输出向量，确定第一图像特征向量，第二确定单元包括：
根据各图像块维度变换后的第二图像特征向量，以及相应图像块在目标图像中的位置编码进行特征融合，以得到各图像块的第一图像特征向量。
在本公开的一个实施例中，维度变换单元还包括：尺度变换参数为至少两套，其中，至少两套尺度变换参数中的分辨率降维的倍率不同。
在本公开的一个实施例中，采用深度可分离卷积层对第一图像特征向量进行拆分，以得到注意力机制中用于进行类别识别的被查询向量，以及用于指示被查询向量对于图像分类贡献度的权重向量，拆分模块703包括：
深度可分离卷积层单元，用于将第一图像特征向量输入到深度可分离卷积层，以得到深度可分离卷积层的两个输出向量；
第一线性映射单元，用于对深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和权重向量。
对应的，对深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和所述权重向量，第一线性映射单元包括：
将深度可分离卷积层的一个输出向量输入到第三线性映射层进行线性映射，以得到被查询向量；
将深度可分离卷积层的另一个输出向量输入到第四线性映射层进行线性映射，以得到权重向量。
在本公开的一个实施例中，在基于注意力特征，对目标图像进行分类的情况下，对应的，分类模块705还包括：
分数预测单元，用于将目标图像的注意力特征输入到分类层中，对目标图像的注意力特征进行分数预测，以得到目标图像对应的类别置信度分数。
判断单元，用于对目标图像对应的类别置信度分数是否大于分数阈值进行判断。
第一分类单元，用于若大于分数阈值，则对目标图像进行分类，反之，对目标图像进行舍弃。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8是用来实现本公开实施例的图像识别的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)802中的计算机程序或者从存储单元805加载到RAM(Random AccessMemory，随机访问/存取存储器)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。I/O(Input/Output，输入/输出)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口5805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元805，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如方法图像识别。例如，在一些实施例中，方法图像识别可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的方法图像识别的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法图像识别。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic DeVice，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种图像识别方法，包括：
对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量；
采用第一线性映射层对所述第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量；
采用深度可分离卷积层对所述第一图像特征向量进行拆分，以得到所述注意力机制中用于进行类别识别的被查询向量，以及用于指示所述被查询向量对于图像分类贡献度的权重向量；
根据所述查询条件向量、所述被查询向量和对应的权重向量，确定所述目标图像的注意力特征；
基于所述注意力特征，对所述目标图像进行分类。
2.根据权利要求1所述的方法，其中，所述根据所述查询条件向量、所述被查询向量和对应的权重向量，确定所述目标图像的注意力特征，包括：
对所述查询条件向量和所述被查询向量进行融合，以得到第一融合向量；
将所述第一融合向量输入卷积层和归一化指数函数层进行语义特征提取，以得到语义向量；
将所述语义向量与所述权重向量进行融合；
根据融合得到的第二融合向量，确定所述目标图像的注意力特征。
3.根据权利要求2所述的方法，其中，所述根据融合得到的第二融合向量，确定所述目标图像的注意力特征，包括：
采用第二线性映射层，对融合得到的所述第二融合向量进行线性映射；
将所述第二线性映射层的输出向量与作为残差的所述第一图像特征向量进行融合，以得到所述目标图像的注意力特征。
4.根据权利要求1-3任一项所述的方法，其中，所述对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，包括：
将待识别类别的所述目标图像输入卷积层进行特征提取，以得到所述卷积层的输出向量；
对所述卷积层的输出向量，采用图像块嵌入层进行维度变换；
根据维度变换后的输出向量，确定所述第一图像特征向量。
5.根据权利要求4所述的方法，其中，所述对所述卷积层的输出向量，采用图像块嵌入层进行维度变换，包括：
对所述卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，其中，所述尺度变换参数中分辨率降维的倍率高于色彩通道数升维的倍率。
6.根据权利要求4所述的方法，其中，所述将待识别类别的所述目标图像输入卷积层进行特征提取，以得到所述卷积层的输出向量，包括：
将所述目标图像输入卷积层进行分块图像特征提取，以得到所述卷积层的输出向量，其中，所述卷积层的输出向量包括所述目标图像中各图像块进行图像特征提取所得到的第二图像特征向量。
7.根据权利要求6所述的方法，其中，所述根据维度变换后的输出向量，确定所述第一图像特征向量，包括：
根据各图像块维度变换后的所述第二图像特征向量，以及相应图像块在所述目标图像中的位置编码进行特征融合，以得到各所述图像块的第一图像特征向量。
8.根据权利要求5所述的方法，其中，所述尺度变换参数为至少两套，其中，至少两套所述尺度变换参数中的所述分辨率降维的倍率不同。
9.根据权利要求1-3任一项所述的方法，其中，所述采用深度可分离卷积层对所述第一图像特征向量进行拆分，以得到所述注意力机制中用于进行类别识别的被查询向量，以及用于指示所述被查询向量对于图像分类贡献度的权重向量，包括：
将所述第一图像特征向量输入到所述深度可分离卷积层，以得到所述深度可分离卷积层的两个输出向量；
对所述深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和所述权重向量。
10.根据权利要求9所述的方法，其中，所述对所述深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和所述权重向量，包括：
将所述深度可分离卷积层的一个输出向量输入到第三线性映射层进行线性映射，以得到所述被查询向量；
将所述深度可分离卷积层的另一个输出向量输入到第四线性映射层进行线性映射，以得到所述权重向量。
11.一种图像识别的装置，包括：
图像特征提取模块，用于对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量；
第一线性映射层模块，用于采用第一线性映射层对所述第一图像特征向量进行线性映射，以得到注意力机制中用于指示待识别类别的查询条件向量；
拆分模块，用于采用深度可分离卷积层对所述第一图像特征向量进行拆分，以得到所述注意力机制中用于进行类别识别的被查询向量，以及用于指示所述被查询向量对于图像分类贡献度的权重向量；
注意力特征模块，用于根据所述查询条件向量、所述被查询向量和对应的权重向量，确定所述目标图像的注意力特征；
分类模块，用于基于所述注意力特征，对所述目标图像进行分类。
12.根据权利要求11所述的装置，其特征在于，所述根据所述查询条件向量、所述被查询向量和对应的权重向量，确定所述目标图像的注意力特征，所述注意力特征模块包括：
第一融合向量单元，用于对所述查询条件向量和所述被查询向量进行融合，以得到第一融合向量；
语义特征提取单元，用于将所述第一融合向量输入卷积层和归一化指数函数层进行语义特征提取，以得到语义向量；
第二融合向量单元，用于将所述语义向量与所述权重向量进行融合；
第一确定单元，用于根据融合得到的第二融合向量，确定所述目标图像的注意力特征。
13.根据权利要求12所述的装置，其特征在于，所述根据融合得到的第二融合向量，确定所述目标图像的注意力特征，所述第一确定单元还用于：
采用第二线性映射层，对融合得到的所述第二融合向量进行线性映射；
将所述第二线性映射层的输出向量与作为残差的所述第一图像特征向量进行融合，以得到所述目标图像的注意力特征。
14.根据权利要求11-13任一项所述的装置，其特征在于，所述对待识别类别的目标图像进行图像特征提取，以得到第一图像特征向量，所述图像特征提取模块包括：
第一特征提取单元，用于将待识别类别的所述目标图像输入卷积层进行特征提取，以得到所述卷积层的输出向量；
维度变换单元，用于对所述卷积层的输出向量，采用图像块嵌入层进行维度变换；
第二确定单元，用于根据维度变换后的输出向量，确定所述第一图像特征向量。
15.根据权利要求14所述的装置，其特征在于，所述对所述卷积层的输出向量，采用图像块嵌入层进行维度变换，所述维度变换单元还用于：
对所述卷积层的输出向量，采用图像块嵌入层依据尺度变换参数进行分辨率降维和色彩通道数升维处理，其中，所述尺度变换参数中分辨率降维的倍率高于色彩通道数升维的倍率。
16.根据权利要求14所述的装置，其特征在于，所述将待识别类别的所述目标图像输入卷积层进行特征提取，以得到所述卷积层的输出向量，所述第一特征提取单元还用于：
将所述目标图像输入卷积层进行分块图像特征提取，以得到所述卷积层的输出向量，其中，所述卷积层的输出向量包括所述目标图像中各图像块进行图像特征提取所得到的第二图像特征向量。
17.根据权利要求16所述的装置，其特征在于，所述根据维度变换后的输出向量，确定所述第一图像特征向量，所述第一特征提取单元还用于：
根据各图像块维度变换后的所述第二图像特征向量，以及相应图像块在所述目标图像中的位置编码进行特征融合，以得到各所述图像块的第一图像特征向量。
18.根据权利要求14所述的装置，其特征在于，所述尺度变换参数为至少两套，其中，至少两套所述尺度变换参数中的所述分辨率降维的倍率不同。
19.根据权利要求11-13任一项所述的装置，其特征在于，所述采用深度可分离卷积层对所述第一图像特征向量进行拆分，以得到所述注意力机制中用于进行类别识别的被查询向量，以及用于指示所述被查询向量对于图像分类贡献度的权重向量，所述拆分模块包括：
深度可分离卷积层单元，用于将所述第一图像特征向量输入到所述深度可分离卷积层，以得到所述深度可分离卷积层的两个输出向量；
第一线性映射单元，用于对所述深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和所述权重向量。
20.根据权利要求19所述的装置，其特征在于，所述对所述深度可分离卷积层的两个输出向量分别进行线性映射，以得到对应的被查询向量和所述权重向量，所述第一线性映射单元还用于：
将所述深度可分离卷积层的一个输出向量输入到第三线性映射层进行线性映射，以得到所述被查询向量；
将所述深度可分离卷积层的另一个输出向量输入到第四线性映射层进行线性映射，以得到所述权重向量。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
CN202311052838.0A 2023-08-21 2023-08-21 图像识别的方法、装置、设备以及存储介质 Pending CN117253075A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311052838.0A CN117253075A (zh) 2023-08-21 2023-08-21 图像识别的方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311052838.0A CN117253075A (zh) 2023-08-21 2023-08-21 图像识别的方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
CN117253075A true CN117253075A (zh) 2023-12-19

Family

ID=89130293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311052838.0A Pending CN117253075A (zh) 2023-08-21 2023-08-21 图像识别的方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN117253075A (zh)

Similar Documents

Publication Publication Date Title
CN112949710B (zh) 一种图像的聚类方法和装置
US10691928B2 (en) Method and apparatus for facial recognition
WO2021218471A1 (zh) 一种用于图像处理的神经网络以及相关设备
CN114120253B (zh) 图像处理方法、装置、电子设备和存储介质
CN113222942A (zh) 多标签分类模型的训练方法和预测标签的方法
CN113591918B (zh) 图像处理模型的训练方法、图像处理方法、装置和设备
CN113379627A (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN115457329B (zh) 图像分类模型的训练方法、图像分类方法和装置
CN112561060A (zh) 神经网络训练方法及装置、图像识别方法及装置和设备
EP4401007A1 (en) Neural network acquisition method, data processing method and related device
CN114863437B (zh) 文本识别方法、装置、电子设备和存储介质
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN112650885A (zh) 视频分类方法、装置、设备和介质
CN113177449A (zh) 人脸识别的方法、装置、计算机设备及存储介质
JP2023133274A (ja) Ｒｏｉ検出モデルのトレーニング方法、検出方法、装置、機器および媒体
CN114783597B (zh) 多类疾病诊断的诊断方法及装置、电子设备和存储介质
CN114926322B (zh) 图像生成方法、装置、电子设备和存储介质
CN116152702A (zh) 点云标签的获取方法、装置、电子设备和自动驾驶车辆
CN115082598A (zh) 文本图像生成、训练、文本图像处理方法以及电子设备
CN115565186A (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN114842541A (zh) 模型的训练及人脸识别方法、装置、设备以及存储介质
CN117253075A (zh) 图像识别的方法、装置、设备以及存储介质
CN114117037A (zh) 意图识别方法、装置、设备和存储介质
CN113205131A (zh) 图像数据的处理方法、装置、路侧设备和云控平台
CN115861684B (zh) 图像分类模型的训练方法、图像分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination