CN117372818B - 目标重识别方法及装置 - Google Patents

目标重识别方法及装置 Download PDF

Info

Publication number
CN117372818B
CN117372818B CN202311658619.7A CN202311658619A CN117372818B CN 117372818 B CN117372818 B CN 117372818B CN 202311658619 A CN202311658619 A CN 202311658619A CN 117372818 B CN117372818 B CN 117372818B
Authority
CN
China
Prior art keywords
shielding
occlusion
target
image
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311658619.7A
Other languages
English (en)
Other versions
CN117372818A (zh
Inventor
蒋召
周靖宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jiezi Yuntu Space Technology Co ltd
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Jiezi Yuntu Space Technology Co ltd
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jiezi Yuntu Space Technology Co ltd, Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Jiezi Yuntu Space Technology Co ltd
Priority to CN202311658619.7A priority Critical patent/CN117372818B/zh
Publication of CN117372818A publication Critical patent/CN117372818A/zh
Application granted granted Critical
Publication of CN117372818B publication Critical patent/CN117372818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种目标重识别方法及装置。该方法包括：利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；将训练图像输入目标重识别模型：通过遮挡增强网络处理训练图像，得到遮挡图像；通过特征提取网络处理遮挡图像，得到图像特征；通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数。采用上述技术手段，解决现有技术中，密集群体下因遮挡导致目标重识别错误的问题。

Description

目标重识别方法及装置
技术领域
本公开涉及目标检测技术领域，尤其涉及一种目标重识别方法及装置。
背景技术
目标重识别是指在视频集或者图片集中进行目标检索，其应用场景非常广泛。目前目标重识别算法在存在密集群体时容易识别错误。因为密集群体会存在大量遮挡，这些遮挡会造成关键点的信息丢失，从而导致识别错误。
发明内容
有鉴于此，本公开实施例提供了一种目标重识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，密集群体下因遮挡导致目标重识别错误的问题。
本公开实施例的第一方面，提供了一种目标重识别方法，包括：构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；获取训练数据，将训练数据中的训练图像输入目标重识别模型：通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；通过特征提取网络处理遮挡图像，得到图像特征；通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。
本公开实施例的第二方面，提供了一种目标重识别装置，包括：构建模块，被配置为构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；获取模块，被配置为获取训练数据，将训练数据中的训练图像输入目标重识别模型：第一处理模块，被配置为通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；第二处理模块，被配置为通过特征提取网络处理遮挡图像，得到图像特征；第三处理模块，被配置为通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；计算模块，被配置为分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；优化模块，被配置为依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；获取训练数据，将训练数据中的训练图像输入目标重识别模型：通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；通过特征提取网络处理遮挡图像，得到图像特征；通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。采用上述技术手段，可以解决现有技术中，密集群体下因遮挡导致目标重识别错误的问题，进而提高密集群体下目标重识别的准确率。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种目标重识别方法的流程示意图；
图2是本公开实施例提供的另一种目标重识别方法的流程示意图
图3是本公开实施例提供的一种目标重识别装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种目标重识别方法和装置。
图1是本公开实施例提供的一种目标重识别方法的流程示意图。图1的目标重识别方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该目标重识别方法包括：
S101，构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；
S102，获取训练数据，将训练数据中的训练图像输入目标重识别模型：
S103，通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；
S104，通过特征提取网络处理遮挡图像，得到图像特征；
S105，通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；
S106，分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；
S107，依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。
需要说明的是，残差网络可以选用resnet50（resnet50是一种残差网络）。依次串行连接遮挡增强网络、特征提取网络和遮挡区域学习网络，得到目标重识别模型。训练图像包含多个对象，对目标重识别模型的训练，是训练目标重识别模型从训练图像包含的多个对象中确定出特定的对象。目标重识别最常见的是行人重识别，目标重识别模型可以是行人重识别模型。
本公开实施例通过构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；获取训练数据，将训练数据中的训练图像输入目标重识别模型：通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；通过特征提取网络处理遮挡图像，得到图像特征；通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。采用上述技术手段，可以解决现有技术中，密集群体下因遮挡导致目标重识别错误的问题，进而提高密集群体下目标重识别的准确率。
进一步地，通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像，包括：通过遮挡增强网络对训练图像的各个位置进行遮挡处理，得到关于训练图像的各个位置的遮挡图像；其中，训练图像的各个位置包括训练图像的左上角部位、左下角部位、右上角部位和右下角部位；其中，遮挡图像，包括：左上角遮挡图像、左下角遮挡图像、右上角遮挡图像和右下角遮挡图像。
左上角遮挡图像、左下角遮挡图像、右上角遮挡图像和右下角遮挡图像均对应一个特征图、遮挡类别识别结果、对象识别结果、遮挡区域识别损失、遮挡类别识别损失以及对象识别损失。遮挡类别识别结果以及遮挡类别标签，均包括：左上角遮挡、左下角遮挡、右上角遮挡和右下角遮挡。
进一步地，通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像，包括：通过遮挡增强网络对训练图像的随机位置进行遮挡处理，得到关于训练图像的随机位置的遮挡图像。
该遮挡图像的遮挡类别识别结果以及遮挡类别标签均为该随机位置，但是遮挡类别识别结果可能识别该随机位置出错。
进一步地，构建遮挡区域学习网络，包括：利用全局通道平均池化层、激活层和二值化层构建遮挡区域学习分支；利用全连接层处理和分类层构建遮挡类别识别分支以及对象识别分支；利用遮挡区域学习分支、遮挡类别识别分支、对象识别分支和相乘层构建遮挡区域学习网络；其中，遮挡区域学习分支中激活层的输出和遮挡区域学习网络的输入作为相乘层的输入，相乘层的输出作为遮挡类别识别分支和对象识别分支的输入，遮挡区域学习分支的输入和遮挡区域学习网络的输入一样。
依次串行连接全局通道平均池化层、激活层和二值化层，得到遮挡区域学习分支。依次串行连接全连接层处理和分类层，得到遮挡类别识别分支以及对象识别分支（遮挡类别识别分支以及对象识别分支的结构是一样的，仅是训练不同，遮挡类别识别分支被训练用于识别遮挡类别，对象识别分支被训练用于识别图像中的特定对象）。连接遮挡区域学习分支、遮挡类别识别分支、对象识别分支和相乘层，得到遮挡区域学习网络。其中，遮挡区域学习分支中激活层的输出侧和遮挡区域学习网络的输入侧均连接到相乘层的输入侧，相乘层的输出侧连接到遮挡类别识别分支和对象识别分支的输入侧，遮挡区域学习分支的输入就是遮挡区域学习网络的输入。
进一步地，通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果，包括：将图像特征输入遮挡区域学习网络，在遮挡区域学习分支中：通过全局通道平均池化层处理图像特征，得到平均池化特征，通过激活层处理平均池化特征，得到激活特征，通过二值化层处理激活特征，得到特征图；通过相乘层对激活特征和图像特征进行处理，得到相乘特征；在遮挡类别识别分支中：依次通过全连接层处理和分类层处理相乘特征，得到遮挡类别识别结果；在对象识别分支中：依次通过全连接层处理和分类层处理相乘特征，得到对象识别结果。
将图像特征输入遮挡区域学习分支：将图像特征输入全局通道平均池化层，输出平均池化特征；将平均池化特征输入激活层，输出激活特征；将激活特征输入二值化层，输出特征图。激活层可以选用Sigmoid激活函数，激活特征是一个元素均为零到一之间数值的矩阵，二值化层是将该矩阵中的元素二值化，得到的特征图中的元素为零或一。可以用特征图中的零表示非遮挡区域，用一表示遮挡区域。
将激活特征和图像特征输入相乘层，输出相乘特征。将相乘特征输入遮挡类别识别分支：相乘特征依次通过全连接层处理和分类层处理，得到遮挡类别识别结果。将相乘特征输入对象识别分支：相乘特征依次通过全连接层处理和分类层处理，得到对象识别结果。
进一步地，分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失，包括：基于特征图和遮挡图像的遮挡区域标签，利用散度损失函数计算遮挡区域识别损失；基于遮挡类别识别结果和遮挡图像的遮挡类别标签，利用交叉熵损失函数计算遮挡类别识别损失；基于对象识别结果和遮挡图像的对象标签，利用交叉熵损失函数计算对象识别损失。
遮挡区域标签与特征图类似，遮挡区域标签是一个元素均为零或一的矩阵。遮挡区域标签中的零表示非遮挡区域，一表示遮挡区域。散度损失函数可以选用KL（Kullback-Leibler divergence）散度损失函数。遮挡类别识别结果以及遮挡类别标签表示遮挡位置类别或者遮挡区域类别。对象识别结果是识别出遮挡图像中的特定对象，遮挡图像的对象标签是标记的遮挡图像中的特定对象。
进一步地，依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练，包括：对遮挡区域识别损失、遮挡类别识别损失以及对象识别损失进行加权求和，得到总损失；依据总损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。
图2是本公开实施例提供的另一种目标重识别方法的流程示意图，如图2所示，该方法包括：
S201，删除遮挡区域学习分支中的二值化层，删除遮挡类别识别分支，以简化目标重识别模型；
S202，在接收到待检测的目标图像时，将目标图像输入简化后的目标重识别模型：
S203，通过特征提取网络处理目标图像，得到目标图像特征；
S204，通过全局通道平均池化层处理目标图像特征，得到目标平均池化特征；
S205，通过激活层处理目标平均池化特征，得到目标激活特征；
S206，通过相乘层对目标激活特征和目标图像特征进行处理，得到目标相乘特征；
S207，依次通过全连接层处理和分类层处理目标相乘特征，得到目标图像中目标对象的识别结果，以完成对目标对象的重识别。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种目标重识别装置的示意图。如图3所示，该目标重识别装置包括：
构建模块301，被配置为构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；
获取模块302，被配置为获取训练数据，将训练数据中的训练图像输入目标重识别模型：
第一处理模块303，被配置为通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；
第二处理模块304，被配置为通过特征提取网络处理遮挡图像，得到图像特征；
第三处理模块305，被配置为通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；
计算模块306，被配置为分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；
优化模块307，被配置为依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。
本公开实施例通过构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用遮挡增强网络、特征提取网络和遮挡区域学习网络构建目标重识别模型；获取训练数据，将训练数据中的训练图像输入目标重识别模型：通过遮挡增强网络处理训练图像，得到训练图像的遮挡图像；通过特征提取网络处理遮挡图像，得到图像特征；通过遮挡区域学习网络处理图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；分别基于特征图、遮挡类别识别结果以及对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；依据遮挡区域识别损失、遮挡类别识别损失以及对象识别损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。采用上述技术手段，可以解决现有技术中，密集群体下因遮挡导致目标重识别错误的问题，进而提高密集群体下目标重识别的准确率。
在一些实施例中，第一处理模块303还被配置为通过遮挡增强网络对训练图像的各个位置进行遮挡处理，得到关于训练图像的各个位置的遮挡图像；其中，训练图像的各个位置包括训练图像的左上角部位、左下角部位、右上角部位和右下角部位；其中，遮挡图像，包括：左上角遮挡图像、左下角遮挡图像、右上角遮挡图像和右下角遮挡图像。
在一些实施例中，第一处理模块303还被配置为通过遮挡增强网络对训练图像的随机位置进行遮挡处理，得到关于训练图像的随机位置的遮挡图像。
在一些实施例中，构建模块301还被配置为利用全局通道平均池化层、激活层和二值化层构建遮挡区域学习分支；利用全连接层处理和分类层构建遮挡类别识别分支以及对象识别分支；利用遮挡区域学习分支、遮挡类别识别分支、对象识别分支和相乘层构建遮挡区域学习网络；其中，遮挡区域学习分支中激活层的输出和遮挡区域学习网络的输入作为相乘层的输入，相乘层的输出作为遮挡类别识别分支和对象识别分支的输入，遮挡区域学习分支的输入和遮挡区域学习网络的输入一样。
在一些实施例中，第三处理模块305还被配置为将图像特征输入遮挡区域学习网络，在遮挡区域学习分支中：通过全局通道平均池化层处理图像特征，得到平均池化特征，通过激活层处理平均池化特征，得到激活特征，通过二值化层处理激活特征，得到特征图；通过相乘层对激活特征和图像特征进行处理，得到相乘特征；在遮挡类别识别分支中：依次通过全连接层处理和分类层处理相乘特征，得到遮挡类别识别结果；在对象识别分支中：依次通过全连接层处理和分类层处理相乘特征，得到对象识别结果。
在一些实施例中，计算模块306还被配置为基于特征图和遮挡图像的遮挡区域标签，利用散度损失函数计算遮挡区域识别损失；基于遮挡类别识别结果和遮挡图像的遮挡类别标签，利用交叉熵损失函数计算遮挡类别识别损失；基于对象识别结果和遮挡图像的对象标签，利用交叉熵损失函数计算对象识别损失。
在一些实施例中，优化处理模块306还被配置为对遮挡区域识别损失、遮挡类别识别损失以及对象识别损失进行加权求和，得到总损失；依据总损失优化目标重识别模型的参数，以完成对目标重识别模型的训练。
在一些实施例中，优化处理模块306还被配置为删除遮挡区域学习分支中的二值化层，删除遮挡类别识别分支，以简化目标重识别模型；在接收到待检测的目标图像时，将目标图像输入简化后的目标重识别模型：通过特征提取网络处理目标图像，得到目标图像特征；通过全局通道平均池化层处理目标图像特征，得到目标平均池化特征；通过激活层处理目标平均池化特征，得到目标激活特征；通过相乘层对目标激活特征和目标图像特征进行处理，得到目标相乘特征；依次通过全连接层处理和分类层处理目标相乘特征，得到目标图像中目标对象的识别结果，以完成对目标对象的重识别。
本公开实施例通过在接收到待检测的目标图像时，将目标图像输入简化后的目标重识别模型：通过特征提取网络处理目标图像，得到目标图像特征；通过全局通道平均池化层处理目标图像特征，得到目标平均池化特征；通过激活层处理目标平均池化特征，得到目标激活特征；通过相乘层对目标激活特征和目标图像特征进行处理，得到目标相乘特征；依次通过全连接层处理和分类层处理目标相乘特征，得到目标图像中目标对象的识别结果，以完成对目标对象的重识别。采用上述技术手段，可以解决现有技术中，密集群体下因遮挡导致目标重识别错误的问题，进而提高密集群体下目标重识别的准确率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (8)

1.一种目标重识别方法，其特征在于，包括：
构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用所述遮挡增强网络、所述特征提取网络和所述遮挡区域学习网络构建目标重识别模型；
获取训练数据，将所述训练数据中的训练图像输入所述目标重识别模型：
通过所述遮挡增强网络处理所述训练图像，得到所述训练图像的遮挡图像；
通过所述特征提取网络处理所述遮挡图像，得到图像特征；
通过所述遮挡区域学习网络处理所述图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；
分别基于所述特征图、所述遮挡类别识别结果以及所述对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；
依据所述遮挡区域识别损失、所述遮挡类别识别损失以及所述对象识别损失优化所述目标重识别模型的参数，以完成对所述目标重识别模型的训练；
其中，构建遮挡区域学习网络，包括：利用全局通道平均池化层、激活层和二值化层构建遮挡区域学习分支；利用全连接层处理和分类层构建遮挡类别识别分支以及对象识别分支；利用所述遮挡区域学习分支、所述遮挡类别识别分支、所述对象识别分支和相乘层构建所述遮挡区域学习网络；其中，所述遮挡区域学习分支中激活层的输出和所述遮挡区域学习网络的输入作为所述相乘层的输入，所述相乘层的输出作为所述遮挡类别识别分支和所述对象识别分支的输入，所述遮挡区域学习分支的输入和所述遮挡区域学习网络的输入一样；
其中，分别基于所述特征图、所述遮挡类别识别结果以及所述对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失，包括：基于所述特征图和所述遮挡图像的遮挡区域标签，利用散度损失函数计算所述遮挡区域识别损失；基于所述遮挡类别识别结果和所述遮挡图像的遮挡类别标签，利用交叉熵损失函数计算所述遮挡类别识别损失；基于所述对象识别结果和所述遮挡图像的对象标签，利用所述交叉熵损失函数计算所述对象识别损失；
其中，所述遮挡区域标签是一个元素均为零或一的矩阵，遮挡区域标签中的零表示非遮挡区域，一表示遮挡区域。
2.根据权利要求1所述的方法，其特征在于，通过所述遮挡增强网络处理所述训练图像，得到所述训练图像的遮挡图像，包括：
通过所述遮挡增强网络对所述训练图像的各个位置进行遮挡处理，得到关于所述训练图像的各个位置的遮挡图像；
其中，所述训练图像的各个位置包括所述训练图像的左上角部位、左下角部位、右上角部位和右下角部位；
其中，所述遮挡图像，包括：左上角遮挡图像、左下角遮挡图像、右上角遮挡图像和右下角遮挡图像。
3.根据权利要求1所述的方法，其特征在于，通过所述遮挡区域学习网络处理所述图像特征，得到特征图、遮挡类别识别结果以及对象识别结果，包括：
将所述图像特征输入所述遮挡区域学习网络，在所述遮挡区域学习分支中：通过所述全局通道平均池化层处理所述图像特征，得到平均池化特征，通过所述激活层处理所述平均池化特征，得到激活特征，通过所述二值化层处理所述激活特征，得到所述特征图；
通过所述相乘层对所述激活特征和所述图像特征进行处理，得到相乘特征；
在所述遮挡类别识别分支中：依次通过所述全连接层处理和所述分类层处理所述相乘特征，得到遮挡类别识别结果；
在所述对象识别分支中：依次通过所述全连接层处理和所述分类层处理所述相乘特征，得到所述对象识别结果。
4.根据权利要求1所述的方法，其特征在于，依据所述遮挡区域识别损失、所述遮挡类别识别损失以及所述对象识别损失优化所述目标重识别模型的参数，以完成对所述目标重识别模型的训练，包括：
对所述遮挡区域识别损失、所述遮挡类别识别损失以及所述对象识别损失进行加权求和，得到总损失；
依据所述总损失优化所述目标重识别模型的参数，以完成对所述目标重识别模型的训练。
5.根据权利要求1所述的方法，其特征在于，依据所述遮挡区域识别损失、所述遮挡类别识别损失以及所述对象识别损失优化所述目标重识别模型的参数，以完成对所述目标重识别模型的训练之后，所述方法还包括：
删除所述遮挡区域学习分支中的二值化层，删除所述遮挡类别识别分支，以简化所述目标重识别模型；
在接收到待检测的目标图像时，将所述目标图像输入简化后的目标重识别模型：
通过所述特征提取网络处理所述目标图像，得到目标图像特征；
通过所述全局通道平均池化层处理所述目标图像特征，得到目标平均池化特征；
通过所述激活层处理所述目标平均池化特征，得到目标激活特征；
通过所述相乘层对所述目标激活特征和所述目标图像特征进行处理，得到目标相乘特征；
依次通过所述全连接层处理和所述分类层处理所述目标相乘特征，得到所述目标图像中目标对象的识别结果，以完成对所述目标对象的重识别。
6.一种目标重识别装置，其特征在于，包括：
构建模块，被配置为构建遮挡增强网络和遮挡区域学习网络，将残差网络作为特征提取网络，利用所述遮挡增强网络、所述特征提取网络和所述遮挡区域学习网络构建目标重识别模型；
获取模块，被配置为获取训练数据，将所述训练数据中的训练图像输入所述目标重识别模型：
第一处理模块，被配置为通过所述遮挡增强网络处理所述训练图像，得到所述训练图像的遮挡图像；
第二处理模块，被配置为通过所述特征提取网络处理所述遮挡图像，得到图像特征；
第三处理模块，被配置为通过所述遮挡区域学习网络处理所述图像特征，得到特征图、遮挡类别识别结果以及对象识别结果；
计算模块，被配置为分别基于所述特征图、所述遮挡类别识别结果以及所述对象识别结果计算遮挡区域识别损失、遮挡类别识别损失以及对象识别损失；
优化模块，被配置为依据所述遮挡区域识别损失、所述遮挡类别识别损失以及所述对象识别损失优化所述目标重识别模型的参数，以完成对所述目标重识别模型的训练；
所述构建模块还被配置为利用全局通道平均池化层、激活层和二值化层构建遮挡区域学习分支；利用全连接层处理和分类层构建遮挡类别识别分支以及对象识别分支；利用所述遮挡区域学习分支、所述遮挡类别识别分支、所述对象识别分支和相乘层构建所述遮挡区域学习网络；其中，所述遮挡区域学习分支中激活层的输出和所述遮挡区域学习网络的输入作为所述相乘层的输入，所述相乘层的输出作为所述遮挡类别识别分支和所述对象识别分支的输入，所述遮挡区域学习分支的输入和所述遮挡区域学习网络的输入一样；
所述计算模块还被配置为基于所述特征图和所述遮挡图像的遮挡区域标签，利用散度损失函数计算所述遮挡区域识别损失；基于所述遮挡类别识别结果和所述遮挡图像的遮挡类别标签，利用交叉熵损失函数计算所述遮挡类别识别损失；基于所述对象识别结果和所述遮挡图像的对象标签，利用所述交叉熵损失函数计算所述对象识别损失；
其中，所述遮挡区域标签是一个元素均为零或一的矩阵，遮挡区域标签中的零表示非遮挡区域，一表示遮挡区域。
7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法的步骤。
CN202311658619.7A 2023-12-06 2023-12-06 目标重识别方法及装置 Active CN117372818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311658619.7A CN117372818B (zh) 2023-12-06 2023-12-06 目标重识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311658619.7A CN117372818B (zh) 2023-12-06 2023-12-06 目标重识别方法及装置

Publications (2)

Publication Number Publication Date
CN117372818A CN117372818A (zh) 2024-01-09
CN117372818B true CN117372818B (zh) 2024-04-12

Family

ID=89400608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311658619.7A Active CN117372818B (zh) 2023-12-06 2023-12-06 目标重识别方法及装置

Country Status (1)

Country Link
CN (1) CN117372818B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020008896A (ja) * 2018-07-02 2020-01-16 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム
CN113780483A (zh) * 2021-11-12 2021-12-10 首都医科大学附属北京潞河医院 结节超声分类数据处理方法及数据处理系统
CN113963428A (zh) * 2021-12-23 2022-01-21 北京的卢深视科技有限公司 模型训练方法、遮挡检测方法、系统、电子设备及介质
CN115631526A (zh) * 2022-10-28 2023-01-20 中国科学技术大学 基于自监督学习技术的被遮挡的人脸表情识别方法及应用
CN115937938A (zh) * 2022-12-05 2023-04-07 Oppo广东移动通信有限公司 人脸身份识别模型的训练方法、人脸身份识别方法及装置
WO2023142551A1 (zh) * 2022-01-28 2023-08-03 上海商汤智能科技有限公司 模型训练及图像识别方法和装置、设备、存储介质和计算机程序产品
CN116912636A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 目标识别方法及装置
CN116912632A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 基于遮挡的目标追踪方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220391621A1 (en) * 2021-06-04 2022-12-08 Microsoft Technology Licensing, Llc Occlusion-aware multi-object tracking
CN115249281B (zh) * 2022-01-29 2023-11-24 北京百度网讯科技有限公司 图像遮挡和模型训练方法、装置、设备以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020008896A (ja) * 2018-07-02 2020-01-16 カシオ計算機株式会社 画像識別装置、画像識別方法及びプログラム
CN113780483A (zh) * 2021-11-12 2021-12-10 首都医科大学附属北京潞河医院 结节超声分类数据处理方法及数据处理系统
CN113963428A (zh) * 2021-12-23 2022-01-21 北京的卢深视科技有限公司 模型训练方法、遮挡检测方法、系统、电子设备及介质
WO2023142551A1 (zh) * 2022-01-28 2023-08-03 上海商汤智能科技有限公司 模型训练及图像识别方法和装置、设备、存储介质和计算机程序产品
CN115631526A (zh) * 2022-10-28 2023-01-20 中国科学技术大学 基于自监督学习技术的被遮挡的人脸表情识别方法及应用
CN115937938A (zh) * 2022-12-05 2023-04-07 Oppo广东移动通信有限公司 人脸身份识别模型的训练方法、人脸身份识别方法及装置
CN116912636A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 目标识别方法及装置
CN116912632A (zh) * 2023-09-12 2023-10-20 深圳须弥云图空间科技有限公司 基于遮挡的目标追踪方法及装置

Also Published As

Publication number Publication date
CN117372818A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN116912632B (zh) 基于遮挡的目标追踪方法及装置
CN116912636B (zh) 目标识别方法及装置
CN116612500B (zh) 行人重识别模型训练方法及装置
CN114168768A (zh) 图像检索方法及相关设备
CN117372818B (zh) 目标重识别方法及装置
CN116246298A (zh) 一种空间占用人数统计方法、终端设备及存储介质
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN116912634B (zh) 目标追踪模型的训练方法及装置
CN116912633B (zh) 目标追踪模型的训练方法及装置
CN116912920B (zh) 表情识别方法及装置
CN117475215A (zh) 目标识别模型的训练方法及装置
CN117893790A (zh) 基于特征对齐的目标重识别方法及装置
CN117953346A (zh) 基于特征一致性的目标重识别模型的训练方法及装置
CN116630639B (zh) 对象图像的识别方法及装置
CN115984783B (zh) 人群计数方法及装置
CN117474037B (zh) 基于空间距离对齐的知识蒸馏方法及装置
CN116912889B (zh) 行人重识别方法及装置
CN116912518B (zh) 图像的多尺度特征处理方法及装置
CN118071985A (zh) 基于局部特征监督的目标重识别方法及装置
CN118038015A (zh) 基于局部特征分类的目标重识别方法及装置
CN117456562B (zh) 姿态估计方法及装置
CN117830615A (zh) 基于全局高阶关系的目标重识别方法及装置
CN118038016A (zh) 基于局部特征和全局特征联合优化的目标重识别方法及装置
CN118015537A (zh) 人群计数模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant