CN116630639A - 对象图像的识别方法及装置 - Google Patents
对象图像的识别方法及装置 Download PDFInfo
- Publication number
- CN116630639A CN116630639A CN202310893047.4A CN202310893047A CN116630639A CN 116630639 A CN116630639 A CN 116630639A CN 202310893047 A CN202310893047 A CN 202310893047A CN 116630639 A CN116630639 A CN 116630639A
- Authority
- CN
- China
- Prior art keywords
- object image
- feature vector
- vector matrix
- self
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 350
- 239000011159 matrix material Substances 0.000 claims abstract description 276
- 230000004927 fusion Effects 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及图像处理技术领域，提供了一种对象图像的识别方法及装置，该方法包括：获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像；根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵；根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵；根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵；根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息。本公开能够通过识别遮挡对象图像来确定对象图像的标识，提高对象识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种对象图像的识别方法及装置。
背景技术
随着互联网技术的快速发展，通过图像识别模型可以对对象图像进行处理，得到该对象图像的标识信息。但是，当通过该图像识别模型识别遮挡对象图像时，现有算法为了解决遮挡场景下的识别问题，从两方面进行解决，首先通过数据增强产生更多遮挡图像数据，然后通过在网络中加入对遮挡区域的掩码学习来降低遮挡区域的权重，这些算法没有解决遮挡场景下对象结构被破坏的问题，导致通过该图像识别模型得到的标识信息不够准确。
发明内容
有鉴于此，本公开实施例提供了一种对象图像的识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术中没有解决遮挡场景下对象结构被破坏的问题，导致通过该图像识别模型得到的标识信息不够准确的技术问题。
本公开实施例的第一方面，提供了一种对象图像的识别方法，该方法包括：获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像；根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵；根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵；根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵；根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息。
本公开实施例的第二方面，提供了一种对象图像的识别装置，该装置包括：获取模块，用于获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像；第一确定模块，用于根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵；第二确定模块，用于根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵；第三确定模块，用于根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵；第四确定模块，用于根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像，根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵，根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵，根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵，根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息，以此方式可以在对象被遮挡的情况下，仍能够通过识别遮挡对象图像来确定对象图像的标识，提高对象识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。在对象不被遮挡时，基于对象图像的空间通道融合特征向量矩阵确定的标识信息更加准确。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图；
图2是本公开实施例提供的一种对象图像的识别方法的流程示意图；
图3是本公开实施例提供的另一种对象图像的识别方法的流程示意图；
图4是本公开实施例提供的再一种对象图像的识别方法的流程示意图；
图5是本公开实施例提供的一种对象图像的识别装置的结构示意图；
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
需要说明的是，本公开所涉及的用户信息(包括但不限于终端设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103中的一种或多种，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送图像数据等。第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如服务器105可以从第一端设备103（也可以是第二终端设备102或第三终端设备103）获取对象图像，并根据该对象图像获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像，根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵，根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵，根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵，根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息。以此方式可以在对象被遮挡的情况下，仍能够通过识别遮挡对象图像来确定对象图像的标识，提高对象识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。在对象不被遮挡时，基于对象图像的空间通道融合特征向量矩阵确定的标识信息更加准确。
在一些实施例中，本发明实施例所提供的对象图像的识别方法一般由服务器105执行，相应地，对象图像的识别装置一般设置于服务器105中。在另一些实施例中，某些终端设备可以具有与服务器相似的功能从而执行本方法。因此，本发明实施例所提供的对象图像的识别方法不限定在服务器端执行。
下面将结合附图详细说明根据本公开实施例的对象图像的识别方法和装置。
图2是本公开实施例提供的一种对象图像的识别方法的流程示意图。本公开实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如电子设备可以是图1示出的服务器。
如图2所示，该对象图像的识别方法包括步骤S210至步骤S250。
在步骤S210中，获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像。
步骤S220，根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵。
在步骤S230中，根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵。
在步骤S240中，根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵。
在步骤S250中，根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息。
该方法可以获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像，根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵，根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵，根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵，根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息，以此方式可以在对象被遮挡的情况下，仍能够通过识别遮挡对象图像来确定对象图像的标识，提高对象识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。在对象不被遮挡时，基于对象图像的空间通道融合特征向量矩阵确定的标识信息更加准确。
在本公开一些实施例中，上述正常对象图像例如可以是用户脸部没有被遮挡的人脸图像。上述遮挡对象图像例如可以是用户脸部被遮挡的人脸图像。例如，用户戴着口罩的人脸图像、用户戴着眼罩的人脸图像等等，但不限于此。
在本公开一些实施例中，图2示出的方法步骤可以由对象识别模型的骨干网络、自相似度模块、卷积层、全局平均池化层、以及全连接层对上述正常对象图像或上述遮挡对象图像进行处理，以获取对应图像的标识信息。在本申请中可以通过图3和图4示出的训练方法对该对象识别模型进行训练。
图3是本公开实施例提供的另一种对象图像的识别方法的流程示意图。
如图3所示，上述方法还可以包括可以包括步骤S310至步骤S360。
步骤S310，获取训练样本，并将训练样本输入到对象识别模型，训练样本中包含正常历史对象图像。
步骤S320，根据正常历史对象图像确定正常历史对象图像的初始特征向量矩阵。
步骤S330，根据正常历史对象图像的初始特征向量矩阵确定正常历史对象图像的空间自相似特征向量矩阵，以及根据正常历史对象图像的初始特征向量矩阵确定正常历史对象图像的通道自相似特征向量矩阵。
步骤S340，根据正常历史对象图像的空间自相似特征向量矩阵和正常历史对象图像的通道自相似特征向量矩阵，确定正常历史对象图像的空间通道融合特征向量矩阵。
步骤S350，根据正常历史对象图像的空间通道融合特征向量矩阵，确定用于标识正常历史对象的信息。
步骤S360，循环上述步骤，直至对象识别模型收敛时停止训练。
图4是本公开实施例提供的再一种对象图像的识别方法的流程示意图。
如图4所示，上述方法还可以包括可以包括步骤S410至步骤S460。
步骤S410，获取训练样本，并将训练样本输入到对象识别模型，训练样本中包含遮挡历史对象图像。
步骤S420，根据遮挡历史对象图像确定遮挡历史对象图像的初始特征向量矩阵。
步骤S430，根据遮挡历史对象图像的初始特征向量矩阵确定遮挡历史对象图像的空间自相似特征向量矩阵，以及根据遮挡历史对象图像的初始特征向量矩阵确定遮挡历史对象图像的通道自相似特征向量矩阵。
步骤S440，根据遮挡历史对象图像的空间自相似特征向量矩阵和遮挡历史对象图像的通道自相似特征向量矩阵，确定遮挡历史对象图像的空间通道融合特征向量矩阵。
步骤S450，根据遮挡历史对象图像的空间通道融合特征向量矩阵，确定用于标识遮挡历史对象的信息。
步骤S460，循环上述步骤，直至对象识别模型收敛时停止训练。
通过上述图3和图4示出的训练方法，可以通过数据增强为训练数据集中的正常历史对象图像添加遮挡物，从而构成遮挡历史对象图像数据集；然后通过上述骨干网络从正常历史对象图像或遮挡历史对象图像提取初始特征向量矩阵，以此方式提取的对象特征有利于对象识别任务，将提取的特征输入自相似度模块，以提取空间自相似度特征向量矩阵和通道自相似度特征向量矩阵，并与初始特征向量矩阵分别拼接，然后通过卷积层和全局平均池化层进一步的增强对象特征，将增强后的对象特征输入分类层（即上述全连接层），计算出输出结果，通过网络的输出结果和标签计算损失，通过损失反向更新网络参数，以此来循环训练该对象识别模型，直至该对象识别模型收敛时停止训练。
在本公开一些实施例中，根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵包括：针对初始特征向量矩阵中一个特征向量，计算该特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度；根据各个特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度，确定对象图像的空间自相似特征向量矩阵。
在本公开一些实施例中，根据各个特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度，确定对象图像的空间自相似特征向量矩阵包括：针对初始特征向量矩阵中一个特征向量，对该特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度进行加权平均，得到该特征向量的目标自相似度；根据各个特征向量的目标自相似度，确定对象图像的空间自相似特征向量矩阵。
基于前述实施例，上述自相似度模块包括两个自相似度子模块，分别自相似度子模块1和自相似度子模块2。通过自相似度子模块1对初始特征向量矩阵进行处理，对象图像的空间自相似特征向量矩阵。具体地，初始特征向量矩阵包含多个特征向量，计算各个特征向量与除自己之外的其他特征向量之间的空间相似度，然后进行加权平均，以此方式可以快速准确的获取对象图像的空间自相似特征向量矩阵。
在本公开一些实施例中，根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵包括：针对对象图像的初始特征向量矩阵中一通道的特征向量，计算该通道的特征向量与其他通道的特征向量之间的自相似度；根据各个通道的特征向量与其他通道的特征向量之间的自相似度，确定对象图像的通道自相似特征向量矩阵。
在本公开一些实施例中，根据各个通道的特征向量与其他通道的特征向量之间的自相似度，确定对象图像的通道自相似特征向量矩阵包括：针对对象图像的初始特征向量矩阵中一通道的特征向量，对该通道的特征向量与其他通道的特征向量之间的自相似度进行加权平均，得到该通道的特征向量的目标自相似度；根据各个通道的特征向量的目标自相似度，确定对象图像的通道自相似特征向量矩阵。
基于前述实施例，通过上述自相似度子模块2对初始特征向量矩阵进行处理，得到对象图像的通道自相似特征向量矩阵。例如，计算各个通道特征向量与除自己之外的其他通道特征向量之间的自相似度，然后进行加权平均，以此方式可以快速准确的获取对象图像的通道自相似特征向量矩阵。
在本公开一些实施例中，根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵包括：对对象图像的空间自相似特征向量矩阵和对象图像的初始特征向量矩阵进行融合处理，得到对象图像的空间融合特征向量矩阵，并对对象图像的空间融合特征向量矩阵进行卷积处理，得到对象图像的空间融合目标特征向量矩阵；对对象图像的通道自相似特征向量矩阵和对象图像的初始特征向量矩阵进行融合处理，得到对象图像的通道融合特征向量矩阵，并对对象图像的通道融合特征向量矩阵进行卷积处理，得到对象图像的通道融合目标特征向量矩阵；根据对象图像的空间融合目标特征向量矩阵和对象图像的通道融合目标特征向量矩阵，确定对象图像的空间通道融合初始特征向量矩阵；对对象图像的空间通道融合初始特征向量矩阵进行池化处理，得到对象图像的空间通道融合目标特征向量矩阵。
基于前述实施例，拼接对象图像的空间自相似特征向量矩阵和对象图像的初始特征向量矩阵，以此来实现空间特征和全量特征的融合。拼接对象图像的通道自相似特征向量矩阵和对象图像的初始特征向量矩阵，以此来实现通道特征和全量特征的融合。然后将两者拼接后的结果分别输入两个卷积层，进行进一步优化对象特征。将两个卷积层输出的结果相加，得到空间特征、通道特征、以及全量特征三者的初始融合特征，最后通过全局平均池化层，继续进行进一步优化对象特征，将全局平均池化层输出的结果输入到全连接层进行分类，以此方式得到用于标识正常对象图像或遮挡对象图像的信息更加准确。该方式可以显著提升遮挡场景下的对象识别算法精度。在本实施例中，用于标识正常对象图像或遮挡对象图像的信息例如可以是对象图像的身份信息（例如，身份id）。
下述为本公开装置实施例，可以用于执行本公开方法实施例。下文描述的对象图像的识别装置与上文描述的对象图像的识别方法可相互对应参照。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图5是本公开实施例提供的一种对象图像的识别装置的结构示意图。
如图5所示，该对象图像的识别装置500包括获取模块510、第一确定模块520、第二确定模块530、第三确定模块540和第四确定模块550。
具体地，获取模块510，用于获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像。
第一确定模块520，用于根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵。
第二确定模块530，用于根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩。
第三确定模块540，用于根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵。
第四确定模块550，用于根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息。
该对象图像的识别装置500可以获取对象图像的初始特征向量矩阵，对象图像包括正常对象图像或遮挡对象图像，根据对象图像的初始特征向量矩阵，确定对象图像的空间自相似特征向量矩阵，根据对象图像的初始特征向量矩阵，确定对象图像的通道自相似特征向量矩阵，根据对象图像的空间自相似特征向量矩阵和对象图像的通道自相似特征向量矩阵，确定对象图像的空间通道融合特征向量矩阵，根据对象图像的空间通道融合特征向量矩阵，确定用于标识对象的信息，以此方式可以在对象被遮挡的情况下，仍能够通过识别遮挡对象图像来确定对象图像的标识，提高对象识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。在对象不被遮挡时，基于对象图像的空间通道融合特征向量矩阵确定的标识信息更加准确。
在本公开一些实施例中，上述第一确定模块520被配置为：针对初始特征向量矩阵中一个特征向量，计算该特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度；根据各个特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度，确定对象图像的空间自相似特征向量矩阵。
在本公开一些实施例中，根据各个特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度，确定对象图像的空间自相似特征向量矩阵包括：针对初始特征向量矩阵中一个特征向量，对该特征向量与初始特征向量矩阵中其他特征向量之间的空间相似度进行加权平均，得到该特征向量的目标自相似度；根据各个特征向量的目标自相似度，确定对象图像的空间自相似特征向量矩阵。
在本公开一些实施例中，上述第二确定模块530被配置为：针对对象图像的初始特征向量矩阵中一通道的特征向量，计算该通道的特征向量与其他通道的特征向量之间的自相似度；根据各个通道的特征向量与其他通道的特征向量之间的自相似度，确定对象图像的通道自相似特征向量矩阵。
在本公开一些实施例中，根据各个通道的特征向量与其他通道的特征向量之间的自相似度，确定对象图像的通道自相似特征向量矩阵包括：针对对象图像的初始特征向量矩阵中一通道的特征向量，对该通道的特征向量与其他通道的特征向量之间的自相似度进行加权平均，得到该通道的特征向量的目标自相似度；根据各个通道的特征向量的目标自相似度，确定对象图像的通道自相似特征向量矩阵。
在本公开一些实施例中，上述第三确定模块540被配置为：对对象图像的空间自相似特征向量矩阵和对象图像的初始特征向量矩阵进行融合处理，得到对象图像的空间融合特征向量矩阵，并对对象图像的空间融合特征向量矩阵进行卷积处理，得到对象图像的空间融合目标特征向量矩阵；对对象图像的通道自相似特征向量矩阵和对象图像的初始特征向量矩阵进行融合处理，得到对象图像的通道融合特征向量矩阵，并对对象图像的通道融合特征向量矩阵进行卷积处理，得到对象图像的通道融合目标特征向量矩阵；根据对象图像的空间融合目标特征向量矩阵和对象图像的通道融合目标特征向量矩阵，确定对象图像的空间通道融合初始特征向量矩阵；对对象图像的空间通道融合初始特征向量矩阵进行池化处理，得到对象图像的空间通道融合目标特征向量矩阵。
在本公开一些实施例中，在获取对象图像的初始特征向量矩阵之前，上述对象图像的识别装置500还用于：获取训练样本，并将训练样本输入到对象识别模型，训练样本中包含正常历史对象图像或遮挡历史对象图像；根据正常历史对象图像确定正常历史对象图像的初始特征向量矩阵，或者根据遮挡历史对象图像确定遮挡历史对象图像的初始特征向量矩阵；根据正常历史对象图像的初始特征向量矩阵确定正常历史对象图像的空间自相似特征向量矩阵，以及根据正常历史对象图像的初始特征向量矩阵确定正常历史对象图像的通道自相似特征向量矩阵；或者根据遮挡历史对象图像的初始特征向量矩阵确定遮挡历史对象图像的空间自相似特征向量矩阵，以及根据遮挡历史对象图像的初始特征向量矩阵确定遮挡历史对象图像的通道自相似特征向量矩阵；根据正常历史对象图像的空间自相似特征向量矩阵和正常历史对象图像的通道自相似特征向量矩阵，确定正常历史对象图像的空间通道融合特征向量矩阵；或者根据遮挡历史对象图像的空间自相似特征向量矩阵和遮挡历史对象图像的通道自相似特征向量矩阵，确定遮挡历史对象图像的空间通道融合特征向量矩阵；根据正常历史对象图像的空间通道融合特征向量矩阵，确定用于标识正常历史对象的信息；或者根据遮挡历史对象图像的空间通道融合特征向量矩阵，确定用于标识遮挡历史对象的信息；循环上述步骤，直至对象识别模型收敛时停止训练。
图6是本公开实施例提供的电子设备6的示意图。如图6所示，该实施例的电子设备6包括：处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者，处理器601执行计算机程序603时实现上述各装置实施例中各模块的功能。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解，图6仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器601可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器602可以是电子设备6的内部存储单元，例如，电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备，例如，电子设备6上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (10)
1.一种对象图像的识别方法，其特征在于，所述方法包括：
获取所述对象图像的初始特征向量矩阵，所述对象图像包括正常对象图像或遮挡对象图像；
根据所述对象图像的初始特征向量矩阵，确定所述对象图像的空间自相似特征向量矩阵；
根据所述对象图像的初始特征向量矩阵，确定所述对象图像的通道自相似特征向量矩阵；
根据所述对象图像的空间自相似特征向量矩阵和所述对象图像的通道自相似特征向量矩阵，确定所述对象图像的空间通道融合特征向量矩阵；
根据所述对象图像的空间通道融合特征向量矩阵，确定用于标识所述对象的信息。
2.根据权利要求1所述的方法，其特征在于，根据所述对象图像的初始特征向量矩阵，确定所述对象图像的空间自相似特征向量矩阵包括：
针对所述初始特征向量矩阵中一个特征向量，计算该特征向量与所述初始特征向量矩阵中其他特征向量之间的空间自相似度；
根据各个特征向量与所述初始特征向量矩阵中其他特征向量之间的空间相似度，确定所述对象图像的空间自相似特征向量矩阵。
3.根据权利要求2所述的方法，其特征在于，根据各个特征向量与所述初始特征向量矩阵中其他特征向量之间的空间相似度，确定所述对象图像的空间自相似特征向量矩阵包括：
针对所述初始特征向量矩阵中一个特征向量，对该特征向量与所述初始特征向量矩阵中其他特征向量之间的空间相似度进行加权平均，得到该特征向量的目标自相似度；
根据各个特征向量的目标自相似度，确定所述对象图像的空间自相似特征向量矩阵。
4.根据权利要求1所述的方法，其特征在于，根据所述对象图像的初始特征向量矩阵，确定所述对象图像的通道自相似特征向量矩阵包括：
针对所述对象图像的初始特征向量矩阵中一通道的特征向量，计算该通道的特征向量与其他通道的特征向量之间的自相似度；
根据各个通道的特征向量与其他通道的特征向量之间的自相似度，确定所述对象图像的通道自相似特征向量矩阵。
5.根据权利要求4所述的方法，其特征在于，根据各个通道的特征向量与其他通道的特征向量之间的自相似度，确定所述对象图像的通道自相似特征向量矩阵包括：
针对所述对象图像的初始特征向量矩阵中一通道的特征向量，对该通道的特征向量与其他通道的特征向量之间的自相似度进行加权平均，得到该通道的特征向量的目标自相似度；
根据各个通道的特征向量的目标自相似度，确定所述对象图像的通道自相似特征向量矩阵。
6.根据权利要求1所述的方法，其特征在于，根据所述对象图像的空间自相似特征向量矩阵和所述对象图像的通道自相似特征向量矩阵，确定所述对象图像的空间通道融合特征向量矩阵包括：
对所述对象图像的空间自相似特征向量矩阵和所述对象图像的初始特征向量矩阵进行融合处理，得到所述对象图像的空间融合特征向量矩阵，并对所述对象图像的空间融合特征向量矩阵进行卷积处理，得到所述对象图像的空间融合目标特征向量矩阵；
对所述对象图像的通道自相似特征向量矩阵和所述对象图像的初始特征向量矩阵进行融合处理，得到所述对象图像的通道融合特征向量矩阵，并对所述对象图像的通道融合特征向量矩阵进行卷积处理，得到所述对象图像的通道融合目标特征向量矩阵；
根据所述对象图像的空间融合目标特征向量矩阵和所述对象图像的通道融合目标特征向量矩阵，确定所述对象图像的空间通道融合初始特征向量矩阵；
对所述对象图像的空间通道融合初始特征向量矩阵进行池化处理，得到所述对象图像的空间通道融合目标特征向量矩阵。
7.根据权利要求1所述的方法，其特征在于，在获取所述对象图像的初始特征向量矩阵之前，所述方法还包括：
获取训练样本，并将所述训练样本输入到对象识别模型，所述训练样本中包含正常历史对象图像或遮挡历史对象图像；
根据所述正常历史对象图像确定所述正常历史对象图像的初始特征向量矩阵，或者根据所述遮挡历史对象图像确定所述遮挡历史对象图像的初始特征向量矩阵；
根据所述正常历史对象图像的初始特征向量矩阵确定所述正常历史对象图像的空间自相似特征向量矩阵，以及根据所述正常历史对象图像的初始特征向量矩阵确定所述正常历史对象图像的通道自相似特征向量矩阵；或者根据所述遮挡历史对象图像的初始特征向量矩阵确定所述遮挡历史对象图像的空间自相似特征向量矩阵，以及根据所述遮挡历史对象图像的初始特征向量矩阵确定所述遮挡历史对象图像的通道自相似特征向量矩阵；
根据所述正常历史对象图像的空间自相似特征向量矩阵和所述正常历史对象图像的通道自相似特征向量矩阵，确定所述正常历史对象图像的空间通道融合特征向量矩阵；或者根据所述遮挡历史对象图像的空间自相似特征向量矩阵和所述遮挡历史对象图像的通道自相似特征向量矩阵，确定所述遮挡历史对象图像的空间通道融合特征向量矩阵；
根据所述正常历史对象图像的空间通道融合特征向量矩阵，确定用于标识所述正常历史对象的信息；或者根据所述遮挡历史对象图像的空间通道融合特征向量矩阵，确定用于标识所述遮挡历史对象的信息；
循环上述步骤，直至所述对象识别模型收敛时停止训练。
8.一种对象图像的识别装置，其特征在于，所述装置包括：
获取模块，用于获取所述对象图像的初始特征向量矩阵，所述对象图像包括正常对象图像或遮挡对象图像；
第一确定模块，用于根据所述对象图像的初始特征向量矩阵，确定所述对象图像的空间自相似特征向量矩阵；
第二确定模块，用于根据所述对象图像的初始特征向量矩阵，确定所述对象图像的通道自相似特征向量矩阵；
第三确定模块，用于根据所述对象图像的空间自相似特征向量矩阵和所述对象图像的通道自相似特征向量矩阵，确定所述对象图像的空间通道融合特征向量矩阵；
第四确定模块，用于根据所述对象图像的空间通道融合特征向量矩阵，确定用于标识所述对象的信息。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893047.4A CN116630639B (zh) | 2023-07-20 | 2023-07-20 | 对象图像的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310893047.4A CN116630639B (zh) | 2023-07-20 | 2023-07-20 | 对象图像的识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630639A true CN116630639A (zh) | 2023-08-22 |
| CN116630639B CN116630639B (zh) | 2023-12-12 |
Family
ID=87602829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310893047.4A Active CN116630639B (zh) | 2023-07-20 | 2023-07-20 | 对象图像的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630639B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110103640A1 (en) * | 2009-10-29 | 2011-05-05 | Sharp Kabushiki Kaisha | Image processing apparatus, image data output processing apparatus and image processing method |
| CN106980823A (zh) * | 2017-03-14 | 2017-07-25 | 天津大学 | 一种基于帧间自相似的动作识别方法 |
| CN111046911A (zh) * | 2019-11-13 | 2020-04-21 | 泰康保险集团股份有限公司 | 一种图像处理方法和装置 |
| CN111598117A (zh) * | 2019-02-21 | 2020-08-28 | 成都通甲优博科技有限责任公司 | 图像识别方法及装置 |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN116029908A (zh) * | 2023-02-28 | 2023-04-28 | 昆明理工大学 | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
-
2023
- 2023-07-20 CN CN202310893047.4A patent/CN116630639B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110103640A1 (en) * | 2009-10-29 | 2011-05-05 | Sharp Kabushiki Kaisha | Image processing apparatus, image data output processing apparatus and image processing method |
| CN106980823A (zh) * | 2017-03-14 | 2017-07-25 | 天津大学 | 一种基于帧间自相似的动作识别方法 |
| CN111598117A (zh) * | 2019-02-21 | 2020-08-28 | 成都通甲优博科技有限责任公司 | 图像识别方法及装置 |
| CN111046911A (zh) * | 2019-11-13 | 2020-04-21 | 泰康保险集团股份有限公司 | 一种图像处理方法和装置 |
| JP6830707B1 (ja) * | 2020-01-23 | 2021-02-17 | 同▲済▼大学 | ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法 |
| CN116029908A (zh) * | 2023-02-28 | 2023-04-28 | 昆明理工大学 | 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈秋雨等: "改进人脸特征矫正网络的遮挡人脸识别方法", 《计算机应用研究》, vol. 40, no. 5, pages 1535 - 1541 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630639B (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111164601B (zh) | 情感识别方法、智能装置和计算机可读存储介质 | |
| CN108491805B (zh) | 身份认证方法和装置 | |
| CN111368685B (zh) | 关键点的识别方法、装置、可读介质和电子设备 | |
| US10719693B2 (en) | Method and apparatus for outputting information of object relationship | |
| JP6731529B1 (ja) | 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体 | |
| CN111695462A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
| CN116524206B (zh) | 目标图像的识别方法及装置 | |
| CN114612987A (zh) | 一种表情识别方法及装置 | |
| CN114330565A (zh) | 一种人脸识别方法及装置 | |
| CN115100717A (zh) | 特征提取模型的训练方法、卡通对象的识别方法及装置 | |
| CN116630639B (zh) | 对象图像的识别方法及装置 | |
| CN111310743A (zh) | 人脸识别方法、装置、电子设备及可读存储介质 | |
| CN114972775A (zh) | 特征处理方法、装置、产品、介质及设备 | |
| CN116912518B (zh) | 图像的多尺度特征处理方法及装置 | |
| CN112070022A (zh) | 人脸图像识别方法、装置、电子设备和计算机可读介质 | |
| CN117372818B (zh) | 目标重识别方法及装置 | |
| CN113505648B (zh) | 行人检测方法、装置、终端设备及存储介质 | |
| CN117474037B (zh) | 基于空间距离对齐的知识蒸馏方法及装置 | |
| CN116912633B (zh) | 目标追踪模型的训练方法及装置 | |
| CN117475136A (zh) | 目标对象的图像确定方法及装置 | |
| CN117238008A (zh) | 年龄回归方法及装置 | |
| CN117893790A (zh) | 基于特征对齐的目标重识别方法及装置 | |
| CN118071985A (zh) | 基于局部特征监督的目标重识别方法及装置 | |
| CN117953346A (zh) | 基于特征一致性的目标重识别模型的训练方法及装置 | |
| CN118038015A (zh) | 基于局部特征分类的目标重识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |