CN118071985A - 基于局部特征监督的目标重识别方法及装置 - Google Patents
基于局部特征监督的目标重识别方法及装置 Download PDFInfo
- Publication number
- CN118071985A CN118071985A CN202410054700.2A CN202410054700A CN118071985A CN 118071985 A CN118071985 A CN 118071985A CN 202410054700 A CN202410054700 A CN 202410054700A CN 118071985 A CN118071985 A CN 118071985A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- features
- feature
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000011176 pooling Methods 0.000 claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 66
- 230000015654 memory Effects 0.000 claims abstract description 61
- 230000011218 segmentation Effects 0.000 claims abstract description 59
- 238000000605 extraction Methods 0.000 claims abstract description 26
- 230000007787 long-term memory Effects 0.000 claims abstract description 13
- 230000006403 short-term memory Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 93
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 description 6
- 210000000689 upper leg Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种基于局部特征监督的目标重识别方法及装置。该方法包括：通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；依据局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数。
Description
技术领域
本公开涉及目标检测技术领域，尤其涉及一种基于局部特征监督的目标重识别方法及装置。
背景技术
目标重识别是指在视频或者图片中识别到特定对象，随着人工智能技术的发展，目标重识别的应用越来越广泛。在实际应用中很多情况下，目标重识别均需要面对视频或者图片中对象被遮挡的问题，遮挡会造成信息损失，而传统技术从检测结果或者最终处理得到的整体特征层面约束目标重识别模型的训练，并不能很好解决遮挡造成的信息损失。
发明内容
有鉴于此，本公开实施例提供了一种基于局部特征监督的目标重识别方法、装置、电子设备及计算机可读存储介质，以解决现有技术从检测结果或者整体特征层面约束目标重识别模型的训练，不能很好解决遮挡造成的信息损失的问题。
本公开实施例的第一方面，提供了一种基于局部特征监督的目标重识别方法，包括：构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
本公开实施例的第二方面，提供了一种基于局部特征监督的目标重识别装置，包括：构建模块，被配置为构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；获取模块，被配置为获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；第一处理模块，被配置为将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；第二处理模块，被配置为通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；第三处理模块，被配置为通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；第四处理模块，被配置为通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；计算模块，被配置为基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；优化模块，被配置为依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。采用上述技术手段，可以解决现有技术从检测结果或者整体特征层面约束目标重识别模型的训练，不能很好解决遮挡造成的信息损失的问题，进而提高目标重识别模型的精度。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种基于局部特征监督的目标重识别方法的流程示意图；
图2是本公开实施例提供的一种目标重识别模型的训练方法的流程示意图；
图3是本公开实施例提供的一种基于局部特征监督的目标重识别装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
下面将结合附图详细说明根据本公开实施例的一种基于局部特征监督的目标重识别方法和装置。
图1是本公开实施例提供的一种基于局部特征监督的目标重识别方法的流程示意图。图1的基于局部特征监督的目标重识别方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该基于局部特征监督的目标重识别方法包括：
S101，构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；
S102，获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；
S103，将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；
S104，通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；
S105，通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；
S106，通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；
S107，基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；
S108，依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
特征提取网络和分类网络是现有的网络，特征提取网络用于提取图像特征，可以使用CNN、VGG、ResNet和DenseNet等网络，分类网络用于基于最终处理的特征确定关于图像中对象的检测结果，分类网络常使用全连接层和激活层。
构建数据增强网络和局部特征监督网络，包括：数据增强网络用于对图像进行随机遮挡，也就是数据增强网络是一个对图像进行随机遮挡的算法。利用扩张卷积层、全局平均池化层和特征切分层构建第一分支网络，其中，特征切分层用于按照对象的身体部位将特征切分为各个身体部位对应的局部特征；利用宽度平均池化层、特征切分层和长短期记忆网络构建第二分支网络，其中，宽度平均池化层用于在特征的横向尺寸上进行平均池化操作；利用第一分支网络和第二分支网络构建局部特征监督网络。
扩张卷积(dilated convolutions)又名空洞卷积(atrous convolutions)；特征切分层是将一个特征切分为多个较小的特征，具体是按照对象的身体部位将特征切分为各个身体部位对应的局部特征；全局平均池化层用于在特征的所有像素值上进行平均池化操作；宽度平均池化层用于在特征的横向尺寸(也就是宽度维度或者水平分辨率)上进行平均池化操作；长短期记忆网络是LSTM(Long Short-Term Memory)。
每个训练图像组包含三张图像，其中，两张是关于同一个对象的图像，另一张关于另一个对象的图像。本申请实施例中的目标重识别可以是对任意目标的重识别，以行人重识别为例，那么训练图像组就是一个行人的两张图像以及另一个行人的一张图像。
根据本申请实施例提供的技术方案，构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。采用上述技术手段，可以解决现有技术从检测结果或者整体特征层面约束目标重识别模型的训练，不能很好解决遮挡造成的信息损失的问题，进而提高目标重识别模型的精度。
进一步地，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型，包括：将数据增强网络、特征提取网络和局部特征监督网络依次串行连接，将分类网络连接到局部特征监督网络的第一分支网络的全局平均池化层之后，得到目标重识别模型。
分类网络是基于第一分支网络中全局平均池化层输出的一张图像的全局平均池化特征确定该张图像的检测结果。
更进一步地，通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征，包括：利用第一分支网络处理各张图像对应的图像特征，分别通过第一分支网络中的全局平均池化层和特征切分层输出各张图像对应的全局平均池化特征和第一切分特征，其中，各张图像对应多个第一切分特征，各张图像对应的各个第一切分特征为该张图像中对象的一个身体部位对应的特征；利用第二分支网络处理各张图像对应的图像特征，通过第二分支网络中的长短期记忆特征输出各张图像对应的长短期记忆特征，其中，各张图像对应多个长短期记忆特征，各张图像对应的各个长短期记忆特征为该张图像中对象的一个身体部位对应的特征。
更进一步地，利用第一分支网络处理各张图像对应的图像特征，分别通过第一分支网络中的全局平均池化层和特征切分层输出各张图像对应的全局平均池化特征和第一切分特征，包括：将各张图像对应的图像特征输入第一分支网络处理：通过第一分支网络中的扩张卷积层处理各张图像对应的图像特征，得到各张图像对应的扩张特征；通过第一分支网络中的全局平均池化层处理各张图像对应的扩张特征，得到各张图像对应的全局平均池化特征；通过第一分支网络中的特征切分层处理各张图像对应的全局平均池化特征，得到各张图像对应的第一切分特征。
更进一步地，利用第二分支网络处理各张图像对应的图像特征，通过第二分支网络中的长短期记忆特征输出各张图像对应的长短期记忆特征，包括：将各张图像对应的图像特征输入第二分支网络处理：通过第二分支网络中的宽度平均池化层处理各张图像对应的图像特征，得到各张图像对应的宽度平均池化特征；通过第二分支网络中的特征切分层处理各张图像对应的宽度平均池化特征，得到各张图像对应的第二切分特征，其中，各张图像对应多个第二切分特征，各张图像对应的各个第二切分特征为该张图像中对象的一个身体部位对应的特征；通过第二分支网络中的长短期记忆网络处理各张图像对应的第二切分特征，得到各张图像对应的长短期记忆特征。
以目标重识别为行人重识别为例，一张图像中对象的身体部位可以包括头、肩、上半身、大腿和小腿等，那么第一分支网络中的特征切分层就是将一张图像对应的全局平均池化特征划分为头、肩、上半身、大腿和小腿等部位对应的第一切分特征；那么第二分支网络中的特征切分层就是将一张图像对应的全局平均池化特征划分为头、肩、上半身、大腿和小腿等部位对应的第二切分特征，第二分支网络中的长短期记忆网络处理各张图像对应的各个第二切分特征，得到各张图像对应的各个长短期记忆特征，长短期记忆网络处理一个第二切分特征得到一个长短期记忆特征。
进一步地，基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失，包括：基于各张图像对应的第一切分特征和长短期记忆特征，按照各张图像中对象的身体部位，利用特征监督损失函数计算各张图像对应的局部特征监督损失；基于每个训练图像组中的三张图像对应的全局平均池化特征，利用三元组损失函数计算每个训练图像组对应的三元组损失；基于各张图像对应的检测结果和标签，利用交叉熵损失函数计算各张图像对应的检测损失。
以目标重识别为行人重识别为例，一张图像中对象的身体部位包括头、肩、上半身、大腿和小腿五个部位，则该张图像对应头、肩、上半身、大腿和小腿五个部位的第一切分特征和长短期记忆特征。利用特征监督损失函数分别计算该张图像对应头、肩、上半身、大腿和小腿五个部位的第一切分特征和长短期记忆特征之间的监督损失，也就是说每个部位的第一切分特征和长短期记忆特征之间都有一个监督损失。最后按照设定的权重对该张图像对应五个监督损失加权求和，得到该张图像对应的局部特征监督损失。
更进一步地，依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练，包括：按照预设权重对每个训练图像组中三张图像对应的三个局部特征监督损失和三个检测损失以及该训练图像组对应的三元组损失加权求和，得到每个训练图像组对应的总损失；依据每个训练图像组对应的总损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
图2是本公开实施例提供的一种目标重识别模型的训练方法的流程示意图，如图2所示，该方法包括：
S201，基于各张图像对应的第一切分特征和长短期记忆特征，按照各张图像中对象的身体部位，利用特征监督损失函数计算各张图像对应的局部特征监督损失；
S202，基于每个训练图像组中的三张图像对应的全局平均池化特征，利用三元组损失函数计算每个训练图像组对应的三元组损失；
S203，基于各张图像对应的检测结果和标签，利用交叉熵损失函数计算各张图像对应的检测损失；
S204，按照预设权重对每个训练图像组中三张图像对应的三个局部特征监督损失和三个检测损失以及该训练图像组对应的三元组损失加权求和，得到每个训练图像组对应的总损失；
S205，依据每个训练图像组对应的总损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图3是本公开实施例提供的一种基于局部特征监督的目标重识别装置的示意图。如图3所示，该基于局部特征监督的目标重识别装置包括：
构建模块301，被配置为构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；
获取模块302，被配置为获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；
第一处理模块303，被配置为将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；
第二处理模块304，被配置为通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；
第三处理模块305，被配置为通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；
第四处理模块306，被配置为通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；
计算模块307，被配置为基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；
优化模块308，被配置为依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
根据本申请实施例提供的技术方案，构建数据增强网络和局部特征监督网络，利用数据增强网络、特征提取网络、局部特征监督网络和分类网络构建目标重识别模型；获取训练图像集，其中，训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；将每个训练图像组中的三张图像输入目标重识别模型：通过数据增强网络处理各张图像，得到随机遮挡后的各张图像；通过特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；通过局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；通过分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；依据计算得到的局部特征对齐损失、三元组损失和检测损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。采用上述技术手段，可以解决现有技术从检测结果或者整体特征层面约束目标重识别模型的训练，不能很好解决遮挡造成的信息损失的问题，进而提高目标重识别模型的精度。
在一些实施例中，构建模块301还被配置为利用扩张卷积层、全局平均池化层和特征切分层构建第一分支网络，其中，特征切分层用于按照对象的身体部位将特征切分为各个身体部位对应的局部特征；利用宽度平均池化层、特征切分层和长短期记忆网络构建第二分支网络，其中，宽度平均池化层用于在特征的横向尺寸上进行平均池化操作；利用第一分支网络和第二分支网络构建局部特征监督网络。
在一些实施例中，构建模块301还被配置为将数据增强网络、特征提取网络和局部特征监督网络依次串行连接，将分类网络连接到局部特征监督网络的第一分支网络的全局平均池化层之后，得到目标重识别模型。
在一些实施例中，第三处理模块305还被配置为利用第一分支网络处理各张图像对应的图像特征，分别通过第一分支网络中的全局平均池化层和特征切分层输出各张图像对应的全局平均池化特征和第一切分特征，其中，各张图像对应多个第一切分特征，各张图像对应的各个第一切分特征为该张图像中对象的一个身体部位对应的特征；利用第二分支网络处理各张图像对应的图像特征，通过第二分支网络中的长短期记忆特征输出各张图像对应的长短期记忆特征，其中，各张图像对应多个长短期记忆特征，各张图像对应的各个长短期记忆特征为该张图像中对象的一个身体部位对应的特征。
在一些实施例中，第三处理模块305还被配置为将各张图像对应的图像特征输入第一分支网络处理：通过第一分支网络中的扩张卷积层处理各张图像对应的图像特征，得到各张图像对应的扩张特征；通过第一分支网络中的全局平均池化层处理各张图像对应的扩张特征，得到各张图像对应的全局平均池化特征；通过第一分支网络中的特征切分层处理各张图像对应的全局平均池化特征，得到各张图像对应的第一切分特征。
在一些实施例中，第三处理模块305还被配置为将各张图像对应的图像特征输入第二分支网络处理：通过第二分支网络中的宽度平均池化层处理各张图像对应的图像特征，得到各张图像对应的宽度平均池化特征；通过第二分支网络中的特征切分层处理各张图像对应的宽度平均池化特征，得到各张图像对应的第二切分特征，其中，各张图像对应多个第二切分特征，各张图像对应的各个第二切分特征为该张图像中对象的一个身体部位对应的特征；通过第二分支网络中的长短期记忆网络处理各张图像对应的第二切分特征，得到各张图像对应的长短期记忆特征。
在一些实施例中，计算模块307还被配置为基于各张图像对应的第一切分特征和长短期记忆特征，按照各张图像中对象的身体部位，利用特征监督损失函数计算各张图像对应的局部特征监督损失；基于每个训练图像组中的三张图像对应的全局平均池化特征，利用三元组损失函数计算每个训练图像组对应的三元组损失；基于各张图像对应的检测结果和标签，利用交叉熵损失函数计算各张图像对应的检测损失。
在一些实施例中，优化模块308还被配置为按照预设权重对每个训练图像组中三张图像对应的三个局部特征监督损失和三个检测损失以及该训练图像组对应的三元组损失加权求和，得到每个训练图像组对应的总损失；依据每个训练图像组对应的总损失优化目标重识别模型的模型参数，以完成对目标重识别模型的训练。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图4是本公开实施例提供的电子设备4的示意图。如图4所示，该实施例的电子设备4包括：处理器401、存储器402以及存储在该存储器402中并且可在处理器401上运行的计算机程序403。处理器401执行计算机程序403时实现上述各个方法实施例中的步骤。或者，处理器401执行计算机程序403时实现上述各装置实施例中各模块/单元的功能。
电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备4可以包括但不仅限于处理器401和存储器402。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器401可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器402可以是电子设备4的内部存储单元，例如，电子设备4的硬盘或内存。存储器402也可以是电子设备4的外部存储设备，例如，电子设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器402还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器402用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于局部特征监督的目标重识别方法，其特征在于，包括：
构建数据增强网络和局部特征监督网络，利用所述数据增强网络、特征提取网络、所述局部特征监督网络和分类网络构建目标重识别模型；
获取训练图像集，其中，所述训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；
将每个训练图像组中的三张图像输入所述目标重识别模型：
通过所述数据增强网络处理各张图像，得到随机遮挡后的各张图像；
通过所述特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；
通过所述局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；
通过所述分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；
基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；
依据计算得到的局部特征对齐损失、三元组损失和检测损失优化所述目标重识别模型的模型参数，以完成对所述目标重识别模型的训练。
2.根据权利要求1所述的方法，其特征在于，构建数据增强网络和局部特征监督网络，包括：
所述数据增强网络用于对图像进行随机遮挡；
利用扩张卷积层、全局平均池化层和特征切分层构建第一分支网络，其中，所述特征切分层用于按照对象的身体部位将特征切分为各个身体部位对应的局部特征；
利用宽度平均池化层、所述特征切分层和长短期记忆网络构建第二分支网络，其中，所述宽度平均池化层用于在特征的横向尺寸上进行平均池化操作；
利用所述第一分支网络和所述第二分支网络构建所述局部特征监督网络。
3.根据权利要求2所述的方法，其特征在于，利用所述数据增强网络、特征提取网络、所述局部特征监督网络和分类网络构建目标重识别模型，包括：
将所述数据增强网络、所述特征提取网络和所述局部特征监督网络依次串行连接，将所述分类网络连接到所述局部特征监督网络的第一分支网络的全局平均池化层之后，得到所述目标重识别模型。
4.根据权利要求2所述的方法，其特征在于，通过所述局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征，包括：
利用所述第一分支网络处理各张图像对应的图像特征，分别通过所述第一分支网络中的全局平均池化层和特征切分层输出各张图像对应的全局平均池化特征和第一切分特征，其中，各张图像对应多个第一切分特征，各张图像对应的各个第一切分特征为该张图像中对象的一个身体部位对应的特征；
利用所述第二分支网络处理各张图像对应的图像特征，通过所述第二分支网络中的长短期记忆特征输出各张图像对应的长短期记忆特征，其中，各张图像对应多个长短期记忆特征，各张图像对应的各个长短期记忆特征为该张图像中对象的一个身体部位对应的特征。
5.根据权利要求4所述的方法，其特征在于，利用所述第二分支网络处理各张图像对应的图像特征，通过所述第二分支网络中的长短期记忆特征输出各张图像对应的长短期记忆特征，包括：
将各张图像对应的图像特征输入所述第二分支网络处理：
通过所述第二分支网络中的宽度平均池化层处理各张图像对应的图像特征，得到各张图像对应的宽度平均池化特征；
通过所述第二分支网络中的特征切分层处理各张图像对应的宽度平均池化特征，得到各张图像对应的第二切分特征，其中，各张图像对应多个第二切分特征，各张图像对应的各个第二切分特征为该张图像中对象的一个身体部位对应的特征；
通过所述第二分支网络中的长短期记忆网络处理各张图像对应的第二切分特征，得到各张图像对应的长短期记忆特征。
6.根据权利要求1所述的方法，其特征在于，基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失，包括：
基于各张图像对应的第一切分特征和长短期记忆特征，按照各张图像中对象的身体部位，利用特征监督损失函数计算各张图像对应的局部特征监督损失；
基于每个训练图像组中的三张图像对应的全局平均池化特征，利用三元组损失函数计算每个训练图像组对应的三元组损失；
基于各张图像对应的检测结果和标签，利用交叉熵损失函数计算各张图像对应的检测损失。
7.根据权利要求6所述的方法，其特征在于，依据计算得到的局部特征对齐损失、三元组损失和检测损失优化所述目标重识别模型的模型参数，以完成对所述目标重识别模型的训练，包括：
按照预设权重对每个训练图像组中三张图像对应的三个局部特征监督损失和三个检测损失以及该训练图像组对应的三元组损失加权求和，得到每个训练图像组对应的总损失；
依据每个训练图像组对应的总损失优化所述目标重识别模型的模型参数，以完成对所述目标重识别模型的训练。
8.一种基于局部特征监督的目标重识别装置，其特征在于，包括：
构建模块，被配置为构建数据增强网络和局部特征监督网络，利用所述数据增强网络、特征提取网络、所述局部特征监督网络和分类网络构建目标重识别模型；
获取模块，被配置为获取训练图像集，其中，所述训练图像集包括多个训练图像组，每个训练图像组包含两张关于同一个对象的图像和另一张关于另一个对象的图像；
第一处理模块，被配置为将每个训练图像组中的三张图像输入所述目标重识别模型：通过所述数据增强网络处理各张图像，得到随机遮挡后的各张图像；
第二处理模块，被配置为通过所述特征提取网络处理随机遮挡后的各张图像，得到各张图像对应的图像特征；
第三处理模块，被配置为通过所述局部特征监督网络处理各张图像对应的图像特征，得到各张图像对应的全局平均池化特征、第一切分特征和长短期记忆特征；
第四处理模块，被配置为通过所述分类网络处理各张图像对应的全局平均池化特征，得到各张图像对应的检测结果；
计算模块，被配置为基于各张图像对应的第一切分特征和长短期记忆特征计算局部特征监督损失，基于各张图像对应的全局平均池化特征计算三元组损失，基于各张图像对应的检测结果计算检测损失；
优化模块，被配置为依据计算得到的局部特征对齐损失、三元组损失和检测损失优化所述目标重识别模型的模型参数，以完成对所述目标重识别模型的训练。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410054700.2A CN118071985A (zh) | 2024-01-12 | 2024-01-12 | 基于局部特征监督的目标重识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410054700.2A CN118071985A (zh) | 2024-01-12 | 2024-01-12 | 基于局部特征监督的目标重识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118071985A true CN118071985A (zh) | 2024-05-24 |
Family
ID=91106604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410054700.2A Pending CN118071985A (zh) | 2024-01-12 | 2024-01-12 | 基于局部特征监督的目标重识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118071985A (zh) |
-
2024
- 2024-01-12 CN CN202410054700.2A patent/CN118071985A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840477B (zh) | 基于特征变换的受遮挡人脸识别方法及装置 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN111079539B (zh) | 一种基于异常追踪的视频异常行为检测方法 | |
| KR101618996B1 (ko) | 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 | |
| WO2022166258A1 (zh) | 行为识别方法、装置、终端设备及计算机可读存储介质 | |
| CN110941978B (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
| CN115082966B (zh) | 行人重识别模型训练方法、行人重识别方法、装置和设备 | |
| CN114494174A (zh) | 一种芯片焊接线缺陷检测方法及装置 | |
| CN111539458A (zh) | 特征图处理方法、装置、电子设备及存储介质 | |
| CN111444807A (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
| CN116912632B (zh) | 基于遮挡的目标追踪方法及装置 | |
| CN116524206B (zh) | 目标图像的识别方法及装置 | |
| CN116912636A (zh) | 目标识别方法及装置 | |
| CN118071985A (zh) | 基于局部特征监督的目标重识别方法及装置 | |
| CN114998283A (zh) | 一种镜头遮挡物检测方法及装置 | |
| CN117372818B (zh) | 目标重识别方法及装置 | |
| CN112084874A (zh) | 一种物体检测方法、装置及终端设备 | |
| CN118038015A (zh) | 基于局部特征分类的目标重识别方法及装置 | |
| CN117456562B (zh) | 姿态估计方法及装置 | |
| CN116630639B (zh) | 对象图像的识别方法及装置 | |
| CN118135189A (zh) | 基于特征一致性的目标重识别方法及装置 | |
| Han et al. | An attention-oriented U-Net model and global feature for medical image segmentation | |
| CN117830615A (zh) | 基于全局高阶关系的目标重识别方法及装置 | |
| CN117475215A (zh) | 目标识别模型的训练方法及装置 | |
| CN116912518B (zh) | 图像的多尺度特征处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |