CN116524206B - 目标图像的识别方法及装置 - Google Patents
目标图像的识别方法及装置 Download PDFInfo
- Publication number
- CN116524206B CN116524206B CN202310789219.3A CN202310789219A CN116524206B CN 116524206 B CN116524206 B CN 116524206B CN 202310789219 A CN202310789219 A CN 202310789219A CN 116524206 B CN116524206 B CN 116524206B
- Authority
- CN
- China
- Prior art keywords
- target image
- target
- channel
- spatial
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 108091006146 Channels Proteins 0.000 claims description 146
- 238000011176 pooling Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及图像处理技术领域，提供了一种目标图像的识别方法及装置，该方法包括：获取目标图像的特征图，该目标图像包括正常目标图像或遮挡目标图像；根据目标图像的特征图，确定目标图像的目标空间特征；根据目标图像的特征图，确定目标图像的目标通道特征；根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征；根据目标图像的空间通道融合特征，确定目标图像对应的标识信息。本公开的技术方案可以可以在目标被遮挡的情况下，仍能够通过识别遮挡目标图像来确定目标图像的标识，提高目标识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种目标图像的识别方法及装置。
背景技术
随着互联网技术的快速发展，目标识别技术在各个领域得到了广泛的应用。目标识别技术通过模型可以识别目标图像，并根据识别结果获悉目标标识。该技术可以用于安防、金融、教育等各种领域。然而，当目标被遮挡时，通过该模型识别遮挡目标图像时，现有目标识别算法为了解决目标关键点被遮挡的问题，通过丢弃遮挡区域的目标信息来降低其对识别的影响，这样得到的识别结果不准确。这是因为目标识别技术依赖于目标的特征点，当遮挡物挡住了特征点时，识别模型就无法准确识别目标。因此，研究人员正在寻找新的识别技术来解决这一问题，以提高目标识别技术的准确性和可靠性。
发明内容
有鉴于此，本公开实施例提供了一种目标图像的识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术中当目标被遮挡时，通过模型识别遮挡目标图像时，得到的识别结果不准确的技术问题。
本公开实施例的第一方面，提供了一种目标图像的识别方法，该方法包括：获取目标图像的特征图，目标图像包括正常目标图像或遮挡目标图像；根据目标图像的特征图，确定目标图像的目标空间特征；根据目标图像的特征图，确定目标图像的目标通道特征；根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征；根据目标图像的空间通道融合特征，确定目标图像对应的标识信息。
本公开实施例的第二方面，提供了一种目标图像的识别装置，该装置包括：获取模块，用于获取目标图像的特征图，目标图像包括正常目标图像或遮挡目标图像；第一确定模块，用于根据目标图像的特征图，确定目标图像的目标空间特征；第二确定模块，用于根据目标图像的特征图，确定目标图像的目标通道特征；第三确定模块，用于根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征；第四确定模块，用于根据目标图像的空间通道融合特征，确定目标图像对应的标识信息。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：获取目标图像的特征图，该目标图像包括正常目标图像或遮挡目标图像，根据目标图像的特征图，确定目标图像的目标空间特征，根据目标图像的特征图，确定目标图像的目标通道特征，然后根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征，并根据目标图像的空间通道融合特征，确定目标图像对应的标识信息，以此方式可以在目标被遮挡的情况下，仍能够通过识别遮挡目标图像来确定目标标识，提高目标识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图；
图2是本公开实施例提供的一种目标图像的识别方法的流程示意图；
图3是本公开实施例提供的确定目标图像对应的标识信息的步骤的流程示意图；
图4是本公开实施例提供的一种目标图像的识别装置的结构示意图；
图5是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
需要说明的是，本公开所涉及的用户信息(包括但不限于终端设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
图1示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103中的一种或多种，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送图像数据等。第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如服务器105可以从第一端设备103（也可以是第二终端设备102或第三终端设备103）获取目标图像的特征图，该目标图像包括正常目标图像或遮挡目标图像，根据目标图像的特征图，确定目标图像的目标空间特征，根据目标图像的特征图，确定目标图像的目标通道特征，然后根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征，并根据目标图像的空间通道融合特征，确定目标图像对应的标识信息，以此方式可以在目标被遮挡的情况下，仍能够通过识别遮挡目标图像来确定目标标识，提高目标识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。
在一些实施例中，本发明实施例所提供的目标图像的识别方法一般由服务器105执行，相应地，目标图像的识别装置一般设置于服务器105中。在另一些实施例中，某些终端设备可以具有与服务器相似的功能从而执行本方法。因此，本发明实施例所提供的目标图像的识别方法不限定在服务器端执行。
下面将结合附图详细说明根据本公开实施例的目标图像的识别方法和装置。
图2是本公开实施例提供的一种目标图像的识别方法的流程示意图。本公开实施例提供的方法可以由任意具备计算机处理能力的电子设备执行，例如电子设备可以是图1示出的服务器。
如图2所示，该目标图像的识别方法包括步骤S210至步骤S250。
在步骤S210中，获取目标图像的特征图，该目标图像包括正常目标图像或遮挡目标图像。
步骤S220，根据目标图像的特征图，确定目标图像的目标空间特征。
在步骤S230中，根据目标图像的特征图，确定目标图像的目标通道特征。
在步骤S240中，根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征。
在步骤S250中，根据目标图像的空间通道融合特征，确定目标图像对应的标识信息。
该方法可以获取目标图像的特征图，该目标图像包括正常目标图像或遮挡目标图像，根据目标图像的特征图，确定目标图像的目标空间特征，根据目标图像的特征图，确定目标图像的目标通道特征，然后根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征，并根据目标图像的空间通道融合特征，确定目标图像对应的标识信息，以此方式可以在目标被遮挡的情况下，仍能够通过识别遮挡目标图像来确定目标标识，提高目标识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。
在本公开一些实施例中，上述正常目标图像例如可以是用户脸部没有被遮挡的人脸图像。上述遮挡目标图像例如可以是用户脸部被遮挡的人脸图像。例如，用户戴着口罩的人脸图像、用户戴着眼罩的人脸图像等等，但不限于此。
在本公开一些实施例中，在执行步骤S210之前，上述方法还包括：获取训练样本，并将训练样本输入到目标识别模型，训练样本中包含正常历史目标图像或遮挡历史目标图像；根据正常历史目标图像确定正常历史目标图像的特征图，或者根据遮挡历史目标图像确定遮挡历史目标图像的特征图；根据正常历史目标图像的特征图确定正常历史目标图像的目标空间特征，以及根据正常历史目标图像的特征图确定正常历史目标图像的目标通道特征；或者根据遮挡历史目标图像的特征图确定遮挡历史目标图像的目标空间特征，以及根据遮挡历史目标图像的特征图确定遮挡历史目标图像的目标通道特征；将正常历史目标图像的目标空间特征和正常历史目标图像的目标通道特征进行融合，得到正常历史目标图像的空间通道融合特征；或者将遮挡历史目标图像的目标空间特征和遮挡历史目标图像的目标通道特征进行融合，得到遮挡历史目标图像的空间通道融合特征；根据正常历史目标图像的空间通道融合特征，确定正常历史目标图像对应的标识信息；或者根据遮挡历史目标图像的空间通道融合特征，确定遮挡历史目标图像对应的标识信息；循环上述步骤，直至目标识别模型收敛时停止训练。
基于前述实施例，上述目标识别模型可以包括骨干网络、空间特征修正模块、通道修正模块、特征融合模块、全连接层、以及分类层等等。其中，空间特征修正模块可以包括第一残差模块、卷积层、第二残差模块、以及空间全局平局池化层等等。通道修正模块可以包括通道全局平均池化层和三个全连接层。
基于前述实施例，可以将上述训练样本中的正常历史目标图像或遮挡历史目标图像输入到上述骨干网络，以提取正常历史目标图像的特征图或遮挡历史目标图像的特征图。将提取的正常历史目标图像的特征图或遮挡历史目标图像的特征图输入到上述空间特征修正模块和通道修正模块，得到正常历史目标图像的目标空间特征或遮挡历史目标图像的目标空间特征，以及正常历史目标图像的目标通道特征或遮挡历史目标图像的目标通道特征。将正常历史目标图像的目标空间特征和正常历史目标图像的目标通道特征输入到上述特征融合模块进行特征融合，得到正常历史目标图像的空间通道融合特征，或者将遮挡历史目标图像的目标空间特征和遮挡历史目标图像的目标通道特征输入到上述特征融合模块进行特征融合，得到遮挡历史目标图像的空间通道融合特征。将正常历史目标图像的空间通道融合特征或遮挡历史目标图像的空间通道融合特征经过全连接层和分类层处理，计算出最终输出，然后通过输出计算损失，并通过损失反向更新网络参数，循环上述步骤，直至目标识别模型收敛时停止训练。
在本公开一些实施例中，根据目标图像的特征图，确定目标图像的目标空间特征包括：根据目标图像的特征图，确定目标图像的空间权重图；基于目标图像的空间权重图与目标图像的特征图之间的乘积，确定目标图像的目标空间特征。具体地，根据目标图像的特征图，确定目标图像的空间权重图包括：将目标图像的特征图输入到第一残差模块，通过第一残差模块对目标图像的特征图进行处理，得到特征图的第一残差结果；将特征图的第一残差结果输入到卷积层，通过卷积层对第一残差结果进行处理，得到特征图的卷积结果；将特征图的卷积结果输入到第二残差模块，通过第二残差模块对特征图的卷积结果进行处理，得到特征图的第二残差结果；将特征图的第二残差结果输入到空间全局平均池化层，通过空间全局平均池化层对特征图的第二残差结果进行处理，得到特征图的空间池化结果，并通过空间激化函数对特征图的空间池化结果进行激化处理，得到目标图像的空间权重图。例如，输入目标图像的特征图首先会经过残差模块处理，这里包括两个残差模块，中间插入一个卷积层，残差模块的结构为ResNet50中的Block；将经过2个残差模块处理的目标特征经过空间全局平均池化层，计算出池化后的目标特征；将池化后的目标特征经过Sigmoid激活函数处理，得到目标图像的空间权重图；将目标图像的空间权重图和原始输入特征（即上述目标图像的特征图）进行相乘，得到修正后的空间特征（即上述目标图像的目标空间特征）。
在本公开一些实施例中，根据目标图像的特征图，确定目标图像的目标通道特征包括：根据目标图像的特征图，确定目标图像的通道权重图；基于目标图像的通道权重图与目标图像的特征图之间的乘积，确定目标图像的目标通道特征。具体地，根据目标图像的特征图，确定目标图像的通道权重图包括：将目标图像的特征图输入到通道全局平均池化层，通过通道全局平均池化层对目标图像的特征图进行处理，得到特征图的通道池化结果；将特征图的通道池化结果输入到全连接层模块，通过全连接层模块对特征图的通道池化结果进行处理，得到目标图像的目标特征矩阵，并通过通道激化函数对目标图像的目标特征矩阵进行处理，得到目标图像的通道权重图。例如，输入目标图像的特征图首先进行通道全局平均池化，计算出通道全局平均池化后的特征，即按照通道进行了特征聚合；将经过通过全局平均池化后的特征经过3个全连接层处理；将全连接层处理后的特征进行Sigmoid激活函数处理，得到目标图像的通道权重图；将目标图像的通道权重图和原始输入特征进行相乘（即上述目标图像的特征图），得到修正后的通道特征（即上述目标图像的目标通道特征）。
基于前述实施例，根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征。例如，将修正后的空间特征和修正后的通道特征进行融合，得到该目标图像的空间通道融合特征，这样可以通过从空间和通道角度对特征进行修正，缩小了遮挡目标特征和非遮挡目标特征在特征空间中的距离，从而提高了目标识别算法精度。然后将该目标图像的空间通道融合特征经过上述全连接层和分类层进行处理，输出目标图像的标识标签概率，基于该目标图像的标识标签概率可以快速准确的确定出遮挡目标图像的标识信息，提升复杂场景下的目标识别算法效果。在本实施例中，目标图像的标识信息例如可以是目标图像的身份信息（例如，身份id）
图3是本公开实施例提供的确定目标图像对应的标识信息的步骤的流程示意图。
如图3所示，上述步骤S250具体可以包括步骤S310和步骤S320。
步骤S310，根据目标图像的空间通道融合特征输入到分类层，通过分类层对目标图像的空间通道融合特征进行分类处理，得到目标图像的标识标签概率。
步骤S320，根据目标图像对应的标识标签概率，确定目标图像对应的标识信息。
该方法可以根据目标图像的空间通道融合特征输入到分类层，通过分类层对目标图像的空间通道融合特征进行分类处理，得到目标图像的标识标签概率，然后根据目标图像对应的标识标签概率，确定目标图像对应的标识信息，这样可以快速准确的确定出遮挡目标图像的目标标识，提升复杂场景下的目标识别算法效果。
在本公开一些实施例中，根据目标图像的空间通道融合特征输入到分类层，通过分类层对目标图像的空间通道融合特征进行分类处理，得到目标图像的标识标签概率。例如，通过分类层中的分类算法对目标图像的空间通道融合特征进行分类处理，以此来计算该目标图像的标识id的概率。在本实施例中，当该目标图像的标识id的概率大于预设概率时，确认目标图像的标识信息为该标识id对应的标识信息。该预设概率可以根据实际需求进行设置。
通过本公开提供的目标图像识别方法可以对遮挡目标图像进行精准的识别，以获取该遮挡目标的标识信息，可以有效地克服相关技术中通过模型识别遮挡目标图像时通过丢弃遮挡区域的目标信息来降低其对识别的影响导致的识别结果不准确的技术问题。
下述为本公开装置实施例，可以用于执行本公开方法实施例。下文描述的目标图像的识别装置与上文描述的目标图像的识别方法可相互对应参照。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图4是本公开实施例提供的一种目标图像的识别装置的结构示意图。
如图4所示，该目标图像的识别装置400包括获取模块410、第一确定模块420、第二确定模块430、第三确定模块440和第四确定模块450。
具体地，获取模块410，用于获取目标图像的特征图，目标图像包括正常目标图像或遮挡目标图像。
第一确定模块420，用于根据目标图像的特征图，确定目标图像的目标空间特征。
第二确定模块430，用于根据目标图像的特征图，确定目标图像的目标通道特征。
第三确定模块440，用于根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征。
第四确定模块450，用于根据目标图像的空间通道融合特征，确定目标图像对应的标识信息。
该目标图像的识别装置400可以获取目标图像的特征图，该目标图像包括正常目标图像或遮挡目标图像，根据目标图像的特征图，确定目标图像的目标空间特征，根据目标图像的特征图，确定目标图像的目标通道特征，然后根据目标图像的目标空间特征和目标图像的目标通道特征，确定目标图像的空间通道融合特征，并根据目标图像的空间通道融合特征，确定目标图像对应的标识信息，以此方式可以在目标被遮挡的情况下，仍能够通过识别遮挡目标图像来确定目标标识，提高目标识别模型的准确性和鲁棒性，为用户提供更好的标识识别服务。
在本公开的一些实施例中，上述第一确定模块420被配置为：根据目标图像的特征图，确定目标图像的空间权重图；基于目标图像的空间权重图与目标图像的特征图之间的乘积，确定目标图像的目标空间特征。
在本公开的一些实施例中，根据目标图像的特征图，确定目标图像的空间权重图包括：将目标图像的特征图输入到第一残差模块，通过第一残差模块对目标图像的特征图进行处理，得到特征图的第一残差结果；将特征图的第一残差结果输入到卷积层，通过卷积层对第一残差结果进行处理，得到特征图的卷积结果；将特征图的卷积结果输入到第二残差模块，通过第二残差模块对特征图的卷积结果进行处理，得到特征图的第二残差结果；将特征图的第二残差结果输入到空间全局平均池化层，通过空间全局平均池化层对特征图的第二残差结果进行处理，得到特征图的空间池化结果，并通过空间激化函数对特征图的空间池化结果进行激化处理，得到目标图像的空间权重图。
在本公开的一些实施例中，上述第二确定模块430又被配置为：根据目标图像的特征图，确定目标图像的通道权重图；基于目标图像的通道权重图与目标图像的特征图之间的乘积，确定目标图像的目标通道特征。
在本公开一些实施例中，根据目标图像的特征图，确定目标图像的通道权重图包括：将目标图像的特征图输入到通道全局平均池化层，通过通道全局平均池化层对目标图像的特征图进行处理，得到特征图的通道池化结果；将特征图的通道池化结果输入到全连接层模块，通过全连接层模块对特征图的通道池化结果进行处理，得到目标图像的目标特征矩阵，并通过通道激化函数对目标图像的目标特征矩阵进行处理，得到目标图像的通道权重图。
在本公开的一些实施例中，上述第四确定模块450被配置为：根据目标图像的空间通道融合特征输入到分类层，通过分类层对目标图像的空间通道融合特征进行分类处理，得到目标图像的标识标签概率；根据目标图像对应的标识标签概率，确定目标图像对应的标识信息。
在本公开的一些实施例中，上述目标图像的识别装置400还可以用于：获取训练样本，并将训练样本输入到目标识别模型，训练样本中包含正常历史目标图像或遮挡历史目标图像；根据正常历史目标图像确定正常历史目标图像的特征图，或者根据遮挡历史目标图像确定遮挡历史目标图像的特征图；根据正常历史目标图像的特征图确定正常历史目标图像的目标空间特征，以及根据正常历史目标图像的特征图确定正常历史目标图像的目标通道特征；或者根据遮挡历史目标图像的特征图确定遮挡历史目标图像的目标空间特征，以及根据遮挡历史目标图像的特征图确定遮挡历史目标图像的目标通道特征；将正常历史目标图像的目标空间特征和正常历史目标图像的目标通道特征进行融合，得到正常历史目标图像的空间通道融合特征；或者将遮挡历史目标图像的目标空间特征和遮挡历史目标图像的目标通道特征进行融合，得到遮挡历史目标图像的空间通道融合特征；根据正常历史目标图像的空间通道融合特征，确定正常历史目标图像对应的标识信息；或者根据遮挡历史目标图像的空间通道融合特征，确定遮挡历史目标图像对应的标识信息；循环上述步骤，直至目标识别模型收敛时停止训练。
图5是本公开实施例提供的电子设备5的示意图。如图5所示，该实施例的电子设备5包括：处理器501、存储器502以及存储在该存储器502中并且可在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块的功能。
电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器501可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现场可编程门阵列（Field-Programmable GateArray，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器502可以是电子设备5的内部存储单元，例如，电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备，例如，电子设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (7)
1.一种目标图像的识别方法，其特征在于，所述方法包括：
获取所述目标图像的特征图，所述目标图像包括正常目标图像或遮挡目标图像；
根据所述目标图像的特征图，确定所述目标图像的目标空间特征；
根据所述目标图像的特征图，确定所述目标图像的目标通道特征；
根据所述目标图像的目标空间特征和所述目标图像的目标通道特征，确定所述目标图像的空间通道融合特征；
根据所述目标图像的空间通道融合特征，确定所述目标图像对应的标识信息；
其中，根据所述目标图像的特征图，确定所述目标图像的目标空间特征包括：将所述目标图像的特征图输入到第一残差模块，通过所述第一残差模块对所述目标图像的特征图进行处理，得到所述特征图的第一残差结果；将所述特征图的第一残差结果输入到卷积层，通过所述卷积层对所述第一残差结果进行处理，得到所述特征图的卷积结果；将所述特征图的卷积结果输入到第二残差模块，通过所述第二残差模块对所述特征图的卷积结果进行处理，得到所述特征图的第二残差结果；将所述特征图的第二残差结果输入到空间全局平均池化层，通过所述空间全局平均池化层对所述特征图的第二残差结果进行处理，得到所述特征图的空间池化结果，并通过空间激活函数对所述特征图的空间池化结果进行激活处理，得到所述目标图像的空间权重图；基于所述目标图像的空间权重图与所述目标图像的特征图之间的乘积，确定所述目标图像的目标空间特征；
在获取所述目标图像的特征图之前，所述方法还包括：将训练样本中的正常历史目标图像或遮挡历史目标图像输入到骨干网络，以提取所述正常历史目标图像的特征图或所述遮挡历史目标图像的特征图；将所述正常历史目标图像的特征图或所述遮挡历史目标图像的特征图输入到空间特征修正模块和通道修正模块，得到正常历史目标图像的目标空间特征或遮挡历史目标图像的目标空间特征，以及正常历史目标图像的目标通道特征或遮挡历史目标图像的目标通道特征；将所述正常历史目标图像的目标空间特征和所述正常历史目标图像的目标通道特征输入到特征融合模块进行特征融合，得到正常历史目标图像的空间通道融合特征，或者将所述遮挡历史目标图像的目标空间特征和所述遮挡历史目标图像的目标通道特征输入到所述特征融合模块进行特征融合，得到遮挡历史目标图像的空间通道融合特征；将所述正常历史目标图像的空间通道融合特征或所述遮挡历史目标图像的空间通道融合特征经过全连接层和分类层处理，计算出最终输出，并通过输出计算损失，以及通过该损失反向更新网络参数，直至目标识别模型收敛时停止训练。
2.根据权利要求1所述的方法，其特征在于，根据所述目标图像的特征图，确定所述目标图像的目标通道特征包括：
根据所述目标图像的特征图，确定所述目标图像的通道权重图；
基于所述目标图像的通道权重图与所述目标图像的特征图之间的乘积，确定所述目标图像的目标通道特征。
3.根据权利要求2所述的方法，其特征在于，根据所述目标图像的特征图，确定所述目标图像的通道权重图包括：
将所述目标图像的特征图输入到通道全局平均池化层，通过所述通道全局平均池化层对所述目标图像的特征图进行处理，得到所述特征图的通道池化结果；
将所述特征图的通道池化结果输入到全连接层模块，通过所述全连接层模块对所述特征图的通道池化结果进行处理，得到所述目标图像的目标特征矩阵，并通过通道激活函数对所述目标图像的目标特征矩阵进行处理，得到所述目标图像的通道权重图。
4.根据权利要求1所述的方法，其特征在于，根据所述目标图像的空间通道融合特征，确定所述目标图像对应的标识信息包括：
根据所述目标图像的空间通道融合特征输入到分类层，通过所述分类层对所述目标图像的空间通道融合特征进行分类处理，得到所述目标图像的标识标签概率；
根据所述目标图像对应的标识标签概率，确定所述目标图像对应的标识信息。
5.一种目标图像的识别装置，其特征在于，所述装置包括：
获取模块，用于获取所述目标图像的特征图，所述目标图像包括正常目标图像或遮挡目标图像；
第一确定模块，用于根据所述目标图像的特征图，确定所述目标图像的目标空间特征；
第二确定模块，用于根据所述目标图像的特征图，确定所述目标图像的目标通道特征；
第三确定模块，用于根据所述目标图像的目标空间特征和所述目标图像的目标通道特征，确定所述目标图像的空间通道融合特征；
第四确定模块，用于根据所述目标图像的空间通道融合特征，确定所述目标图像对应的标识信息；
其中，根据所述目标图像的特征图，确定所述目标图像的目标空间特征包括：将所述目标图像的特征图输入到第一残差模块，通过所述第一残差模块对所述目标图像的特征图进行处理，得到所述特征图的第一残差结果；将所述特征图的第一残差结果输入到卷积层，通过所述卷积层对所述第一残差结果进行处理，得到所述特征图的卷积结果；将所述特征图的卷积结果输入到第二残差模块，通过所述第二残差模块对所述特征图的卷积结果进行处理，得到所述特征图的第二残差结果；将所述特征图的第二残差结果输入到空间全局平均池化层，通过所述空间全局平均池化层对所述特征图的第二残差结果进行处理，得到所述特征图的空间池化结果，并通过空间激活函数对所述特征图的空间池化结果进行激活处理，得到所述目标图像的空间权重图；基于所述目标图像的空间权重图与所述目标图像的特征图之间的乘积，确定所述目标图像的目标空间特征；
在获取所述目标图像的特征图之前，所述目标图像的识别装置还用于：将训练样本中的正常历史目标图像或遮挡历史目标图像输入到骨干网络，以提取所述正常历史目标图像的特征图或所述遮挡历史目标图像的特征图；将所述正常历史目标图像的特征图或所述遮挡历史目标图像的特征图输入到空间特征修正模块和通道修正模块，得到正常历史目标图像的目标空间特征或遮挡历史目标图像的目标空间特征，以及正常历史目标图像的目标通道特征或遮挡历史目标图像的目标通道特征；将所述正常历史目标图像的目标空间特征和所述正常历史目标图像的目标通道特征输入到特征融合模块进行特征融合，得到正常历史目标图像的空间通道融合特征，或者将所述遮挡历史目标图像的目标空间特征和所述遮挡历史目标图像的目标通道特征输入到所述特征融合模块进行特征融合，得到遮挡历史目标图像的空间通道融合特征；将所述正常历史目标图像的空间通道融合特征或所述遮挡历史目标图像的空间通道融合特征经过全连接层和分类层处理，计算出最终输出，并通过输出计算损失，以及通过该损失反向更新网络参数，直至目标识别模型收敛时停止训练。
6.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310789219.3A CN116524206B (zh) | 2023-06-30 | 2023-06-30 | 目标图像的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310789219.3A CN116524206B (zh) | 2023-06-30 | 2023-06-30 | 目标图像的识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524206A CN116524206A (zh) | 2023-08-01 |
| CN116524206B true CN116524206B (zh) | 2023-10-03 |
Family
ID=87399771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310789219.3A Active CN116524206B (zh) | 2023-06-30 | 2023-06-30 | 目标图像的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524206B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912632B (zh) * | 2023-09-12 | 2024-04-12 | 深圳须弥云图空间科技有限公司 | 基于遮挡的目标追踪方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086690A (zh) * | 2018-07-13 | 2018-12-25 | 北京旷视科技有限公司 | 图像特征提取方法、目标识别方法及对应装置 |
| CN111815639A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标分割方法及其相关装置 |
| CN113255821A (zh) * | 2021-06-15 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于注意力的图像识别方法、系统、电子设备及存储介质 |
| CN113468967A (zh) * | 2021-06-02 | 2021-10-01 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
| CN113628143A (zh) * | 2021-08-24 | 2021-11-09 | 合肥工业大学 | 一种基于多尺度卷积的加权融合图像去雾方法及装置 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN115019057A (zh) * | 2022-05-18 | 2022-09-06 | 北京百度网讯科技有限公司 | 图像特征提取模型确定方法及装置、图像识别方法及装置 |
| CN116012364A (zh) * | 2023-01-28 | 2023-04-25 | 北京建筑大学 | Sar图像变化检测方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598686B (zh) * | 2021-03-03 | 2021-06-04 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
-
2023
- 2023-06-30 CN CN202310789219.3A patent/CN116524206B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086690A (zh) * | 2018-07-13 | 2018-12-25 | 北京旷视科技有限公司 | 图像特征提取方法、目标识别方法及对应装置 |
| CN111815639A (zh) * | 2020-07-03 | 2020-10-23 | 浙江大华技术股份有限公司 | 目标分割方法及其相关装置 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN113468967A (zh) * | 2021-06-02 | 2021-10-01 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
| CN113255821A (zh) * | 2021-06-15 | 2021-08-13 | 中国人民解放军国防科技大学 | 基于注意力的图像识别方法、系统、电子设备及存储介质 |
| CN113628143A (zh) * | 2021-08-24 | 2021-11-09 | 合肥工业大学 | 一种基于多尺度卷积的加权融合图像去雾方法及装置 |
| CN115019057A (zh) * | 2022-05-18 | 2022-09-06 | 北京百度网讯科技有限公司 | 图像特征提取模型确定方法及装置、图像识别方法及装置 |
| CN116012364A (zh) * | 2023-01-28 | 2023-04-25 | 北京建筑大学 | Sar图像变化检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于多种特征融合的人脸识别算法;杨赛 等;计算机辅助设计与图形学学报(09);第91-96页 * |
| 双向特征融合的数据自适应SAR图像舰船目标检测模型;张筱晗 等;中国图象图形学报(09);第229-238页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524206A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229419B (zh) | 用于聚类图像的方法和装置 | |
| CN108280477B (zh) | 用于聚类图像的方法和装置 | |
| CN109214501B (zh) | 用于识别信息的方法和装置 | |
| CN112232309B (zh) | 用于热像人脸识别的方法、电子设备和存储介质 | |
| CN108509994B (zh) | 人物图像聚类方法和装置 | |
| CN116524206B (zh) | 目标图像的识别方法及装置 | |
| CN111695462A (zh) | 一种人脸识别方法、装置、存储介质和服务器 | |
| CN111767750A (zh) | 图像处理方法和装置 | |
| CN115393815A (zh) | 道路信息生成方法、装置、电子设备和计算机可读介质 | |
| CN116403250A (zh) | 存在遮挡的人脸识别方法及装置 | |
| CN115205736A (zh) | 视频数据的识别方法和装置、电子设备和存储介质 | |
| CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
| CN116030520A (zh) | 存在遮挡的人脸识别方法及装置 | |
| CN111062374A (zh) | 身份证信息的识别方法、装置、系统、设备及可读介质 | |
| CN116630639B (zh) | 对象图像的识别方法及装置 | |
| CN111898529B (zh) | 脸部检测方法、装置、电子设备和计算机可读介质 | |
| CN112418189B (zh) | 戴口罩人脸识别方法、装置、设备以及存储介质 | |
| CN112070022A (zh) | 人脸图像识别方法、装置、电子设备和计算机可读介质 | |
| CN113780239A (zh) | 虹膜识别方法、装置、电子设备和计算机可读介质 | |
| CN116912518B (zh) | 图像的多尺度特征处理方法及装置 | |
| CN112165594A (zh) | 基于视频通信的业务办理方法、装置、计算机设备 | |
| CN117392731B (zh) | 表情识别模型的训练方法和装置 | |
| CN115984783B (zh) | 人群计数方法及装置 | |
| CN116258915B (zh) | 多个目标部位联合检测的方法及装置 | |
| CN113706428B (zh) | 一种图像生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |