CN111814655B - 目标重识别方法及其网络训练方法、相关装置 - Google Patents

目标重识别方法及其网络训练方法、相关装置 Download PDF

Info

Publication number
CN111814655B
CN111814655B CN202010637098.7A CN202010637098A CN111814655B CN 111814655 B CN111814655 B CN 111814655B CN 202010637098 A CN202010637098 A CN 202010637098A CN 111814655 B CN111814655 B CN 111814655B
Authority
CN
China
Prior art keywords
target
image
images
training
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010637098.7A
Other languages
English (en)
Other versions
CN111814655A (zh
Inventor
孙立波
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010637098.7A priority Critical patent/CN111814655B/zh
Publication of CN111814655A publication Critical patent/CN111814655A/zh
Priority to EP20943739.1A priority patent/EP4136580A4/en
Priority to PCT/CN2020/139349 priority patent/WO2022001034A1/en
Priority to US18/146,450 priority patent/US20230136547A1/en
Application granted granted Critical
Publication of CN111814655B publication Critical patent/CN111814655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标重识别方法及其网络训练方法、相关装置。该方法包括：获取训练图像集，训练图像集中包括多个目标的图像，且每个目标至少对应两种风格的图像；利用目标重识别网络对训练图像集中每张图像进行识别，得到每张图像的识别结果，识别结果包括图像的特征；基于识别结果获取目标重识别网络的损失，损失包括第一距离损失，第一距离损失是基于目标对应的不同风格的图像的特征之间的距离得到的；基于损失调整所述目标重识别网络的参数；重复上述步骤直至满足停止训练的条件。通过上述方式，本申请能够提高目标重识别网络的目标识别性能。

Description

目标重识别方法及其网络训练方法、相关装置
技术领域
本申请涉及图像识别技术领域，特别是涉及一种目标重识别方法及其网络训练方法、相关装置。
背景技术
相对于视角较固定的人脸识别任务，行人重识别不受人脸视角、人体姿态和摄像机视角的限制，其识别效果相对更好、应用场景更广泛。因此，近年来目标重识别技术取得了飞速的发展。
目标重识别技术旨在从视频或图像中找到特定的目标，其在安防、新零售和互联网等领域具有重要的应用价值。目标重识别技术针对的目标可以为行人、车辆等。一般采用目标重识别网络来进行目标识别，例如，使用行人重识别(Person Re-identification,ReID)网络来对行人图像进行识别。
现有技术中，在使用目标重识别网络之前，通常需要对其进行训练，使其后续在使用过程中得到的识别结果更加准确。然而，现有的训练方法得到的目标重识别网络对目标的识别效果不够好。
发明内容
本申请提供一种图像增强方法、电子设备及存储介质，能够解决现有的训练方法得到的目标重识别网络对目标的识别效果不够好的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种目标重识别网络的训练方法，该方法包括：获取训练图像集，训练图像集中包括多个目标的图像，且每个目标至少对应两种风格的图像；利用目标重识别网络对训练图像集中每张图像进行识别，得到每张图像的识别结果，识别结果包括图像的特征；基于识别结果获取目标重识别网络的损失，损失包括第一距离损失，第一距离损失是基于目标对应的不同风格的图像的特征之间的距离得到的；基于损失调整所述目标重识别网络的参数；重复上述步骤直至满足停止训练的条件。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种目标重识别方法，该方法包括：获取待识别图像和参考图像，其中，参考图像包括预设目标；利用目标重识别网络分别对待识别图像和参考图像进行识别，以得到待识别图像的特征和参考图像的特征；基于待识别图像的特征和参考图像的特征之间的相似度，确定待识别图像是否包括预设目标；其中，目标重识别网络是利用上述方法得到的。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请训练图像集中包括多个目标对应的多种风格的图像，因此利用目标重识别网络对训练图像集中每张图像识别，可以得到每个目标对应的多种风格的图像特征，进而将每个目标对应的不同种风格的图像特征之间的距离(类内距离)作为目标重识别网络的第一距离损失，并根据该第一距离损失调整目标重识别网络的参数，能够使得目标重识别网络在后续识别过程中，得到的同一目标对应的不同风格的图像的特征之间距离更小，从而能够减小图像风格差异(域间隙)对目标重识别网络识别结果带来的影响，提高目标重识别网络的跨域识别性能，由于目标重识别网络能够较好的跨域识别不同风格图像，故能够提高目标重识别网络的目标识别效果。
附图说明
图1是本申请目标重识别网络的训练方法第一实施例的流程示意图；
图2是本申请目标重识别网络的训练方法第二实施例的流程示意图；
图3是本申请目标重识别网络的训练方法第三实施例的流程示意图；
图4是本申请目标重识别网络的训练方法第四实施例的流程示意图；
图5是图4中S430的具体流程示意图；
图6是本申请目标重识别网络的训练方法第五实施例的流程示意图；
图7是本申请目标重识别方法一实施例的流程示意图；
图8是本申请电子设备一实施例的结构示意图；
图9是本申请存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
在实际应用场景中，利用源域图像集的第一图像(源域风格)训练得到的目标重识别网络，在对目标域图像集的第二图像(目标域风格)进行识别时，识别效果往往不够好。
具体而言，利用源域图像集的第一图像训练得到的目标重识别网络，在后续进行识别时，提取到的目标域风格的第二图像的特征辨别性不高，对源域风格的第一图像的识别效果明显优于目标域风格的第二图像的识别效果。也就是说，利用源域图像集的第一图像训练得到的目标重识别网络，更适应对源域风格的第一图像的识别。这是由于源域风格和目标域风格存在差异，也即源域风格的第一图像和目标域风格的第二图像之间存在域间隙。为减小目标重识别网络对图像识别过程中域间隙对识别效果产生的影响，提高目标重识别网络的跨域识别性能，本申请提供了一种目标重识别网络的训练方法，具体如下：
图1是本申请目标重识别网络的训练方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
S110：获取训练图像集。
训练图像集中包括多个目标的图像，且每个目标至少对应两种风格的图像。
本申请中所提及的目标可以为行人、车辆等。训练图像集中每张图像的尺寸相等，例如400*144。每张图像可以包含一个目标，也可以包含多个目标。为简化描述，本申请以训练图像集中每张图像包含一个目标进行说明。
训练图像集中每张图像可以带有标注信息，其中，每张图像带有的标注信息可以为当前图像包含的目标的标识(ID)信息，例如当前图像包含行人A，则其带有的标注信息可以为行人A的ID信息。训练集中每个目标的图像数量可以相同，也可以不同。训练集中每个目标的图像可以为包含当前目标的图像。例如，当前图像中包含行人A，则当前图像可以被称为行人A的图像。其中，可以将包含同一目标的图像看作一类。
训练图像集中每张图像具有一对应的图像风格，其中每个目标的图像风格有多种，不同目标的图像风格种类类别以及种类数量相同。所谓图像风格，可以体现为环境参数，例如，摄像头拍摄参数、光照强度、时间、地点、季节等。一般来说，可以认为在不同环境参数下获取到的图像属于不同风格，而在相同环境参数下获取到的图像属于同一风格。
训练图像集中每个目标对应的不同风格的图像是基于上述提及的源域图像集和目标域数据集获取到的，具体获取方法请参见后面的实施例。
S120：利用目标重识别网络对训练图像集中每张图像进行识别，以得到每张图像的识别结果。
识别结果包括图像的特征。可以将训练图像集送入目标重识别网络，以使目标重识别网络对训练图像集中每张图像进行识别(特征提取)，得到每张图像的特征。其中，目标重识别网络可以为能够进行目标重识别的神经网络，如RetNet-50残差网络。
S130：基于识别结果获取目标重识别网络的损失。
其中，损失包括第一距离损失，第一距离损失是基于目标对应的不同风格的图像的特征之间的距离得到的。
可以分别获取训练图像集中每个目标对应的不同风格的图像的特征之间的距离，然后可以基于每个目标对应的不同风格的图像的特征之间的距离获取第一距离损失。第一距离损失的具体获取过程请参见后面的实施例。
可以理解的是，训练图像集中同一目标对应的图像属于同一类，因此也可以将训练图像集中同一目标对应的不同风格的图像的特征之间的距离，称为当前目标的图像的类内距离。
S140：判断是否满足停止训练的条件。
停止训练的条件可以为训练次数达到预设次数，或者可以为训练时间达到预设时间，又或者可以为训练周期达到预设周期，又或者可以为计算损失小于预设阈值等。
若否，则执行S150；若是，则执行S160。
S150：基于损失调整目标重识别网络的参数。
在训练过程中，可以设置一初始学习率，例如设为0.00035，然后基于获取到的损失和设置的初始学习率调整目标重识别网络的参数，以逐渐优化该目标重识别网络，使其后续对图像中目标的识别效果更好，具体调整方法可以参见后面的实施例。
其中，基于上述获取到的第一距离损失不断调整目标重识别网络的参数，可以使得目标重识别网络在后续识别过程中，得到的同一目标对应的不同风格的图像特征分布方差减小，进而可以提高得到的同一目标对应的不同风格的图像特征之间的相似度(减小类内特征之间的距离)。
本步骤执行完之后可跳转至S120以重复执行上述步骤，直至满足停止训练的条件。
S160：停止训练。
通过上述实施例的实施，本申请训练图像集中包括多个目标对应的多种风格的图像，因此利用目标重识别网络对训练图像集中每张图像识别，可以得到每个目标对应的多种风格的图像特征，进而将每个目标对应的不同种风格的图像特征之间的距离(类内距离)作为目标重识别网络的第一距离损失，并根据该第一距离损失调整目标重识别网络的参数，能够使得目标重识别网络在后续识别过程中，得到的同一目标对应的不同风格的图像的特征之间距离更小，从而能够减小图像风格差异(域间隙)对目标重识别网络识别结果带来的影响，提高目标重识别网络的跨域识别性能。
图2是本申请目标重识别网络的训练方法第二实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。本实施例是对第一实施例中S130的进一步扩展，如图2所示，本实施例中，基于识别结果获取目标重识别网络的第一距离损失可以包括：
S210：基于目标对应的不同风格的图像的特征，分别获取每个目标对应的不同风格的统计特征。
可以基于每个目标对应的不同风格的图像的特征，获取每个目标对应的不同风格的统计特征。换句话说，对于每个目标而言，可以分别基于其对应的各风格的图像的特征，获取各风格的统计特征。
以其中一个目标行人A进行举例说明，行人A对应两种风格(风格1和风格2)的图像，其中风格1的图像为5张，风格2的图像为8张，则基于风格1的5张图像的特征获取风格1的统计特征，基于风格2的8张图像的特征获取风格2的统计特征。
统计特征也可以被称为特征中心。对于一个目标而言，其对应的一个风格的统计特征可以用于代表当前风格的所有图像的特征。例如，对于目标行人A而言，风格1的统计特征可以用于代表风格1的所有图像的特征，风格2的统计特征可以用于代表风格2的所有图像的特征。
如果以前面提及的方式将同一目标的图像看作一类，那么可以将同一目标的同种风格的图像看作一个子类，从而一种风格的统计特征也可以被称为当前风格的图像的子类中心。
S220：基于每个目标对应的不同风格的统计特征，获取目标重识别网络的第一距离损失。
可以基于每个目标对应的不同风格的统计特征之间的距离，来获取目标重识别网络的第一距离损失，具体获取过程可以参见后面的实施例。
图3是本申请目标重识别网络的训练方法第三实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例中S310是对上述S210的进一步扩展，S320-S330是对上述S220的进一步扩展，如图3所示，本实施例可以包括：
S310：对于每个目标，统计目标同一风格的图像的特征，以得到目标对应风格的统计特征。
其中，可以获取目标同一风格的图像的特征的平均特征，作为目标对应风格的统计特征。或者，可以获取目标同一风格的图像的特征的中位特征，作为目标对应风格的统计特征。
可以理解的是，图像的特征可以表示为特征向量，因此，平均特征也可以被称为平均特征向量(以下简称为平均向量)，中位特征也可以被称为中位特征向量(以下简称为中位向量)。
其中，可以根据目标同一风格的图像的特征向量计算得到平均向量。可以从目标同一风格的图像中选择一张作为代表目标该种风格的图像，并且，将选择的该张图像的特征向量作为中位向量。
S320：对于每个目标，获取目标对应的不同风格的统计特征之间的距离，作为目标的特征距离。
其中，可以获取目标对应的不同风格的统计特征之间的欧式距离，作为目标的特征距离。当然，在其他实施例中，也可以获取目标对应的不同风格的统计特征之间的余弦距离，作为目标的特征距离，在此不作具体限定。其中，计算每个目标的特征距离的方式应保持一致。
S330：基于不同目标的特征距离，获得目标重识别网络的第一距离损失。
可以将每个目标的特征距离之和，作为目标重识别网络的第一距离损失。当目标的特征距离为欧式距离时，第一距离损失的具体计算公式可以如下：
其中，P为目标数量，Mi为第i个目标对应的第一种风格图像数量，f(xi,a)为第i个目标对应的第一种风格的第a张图像的特征，Ni为第i个目标对应的第二种风格图像数量，f(xi,b)为第i个目标对应的第二种风格的第b张图像的特征。
为方便后续描述，可以将计算第一距离损失的函数称为特征分布损失函数。
图4是本申请目标重识别网络的训练方法第四实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图4所示的流程顺序为限。本实施例中是对上述S110的进一步扩展，如图4所示，本实施例可以包括：
S410：获取源域图像集和目标域图像集。
源域图像集中包括源域风格的第一图像，目标域图像集中包括目标域风格的第二图像。
其中，源域图像集中的第一图像数量与目标域图像集中的第二图像数量可以相等，也可以不等。源域图像集中的第一图像带有标注信息，目标域图像集中的第二图像未带标注信息。
目标域图像集可以为一个，也可以为多个，每个目标域图像集中图像的风格不同，为方便描述，本实施例以一个目标域图像集为例进行说明。
S420：基于源域图像集和目标域图像集，将源域图像集中的第一图像进行风格转换，以得到目标域风格的第三图像。
经风格转换得到的第三图像可以为保留第一图像的内容和标注信息，以及保留第二图像的风格的图像。
风格转换也可以被称为风格迁移或者风格翻译。对第一图像进行风格转换的方式有很多种，例如，可以采用VGG网络、生成式对抗网络(GAN)等来实现对第一图像的风格转换。
以生成式对抗网络为例进行说明，无监督学习的生成式对抗网络可以学习源域的第一图像和目标域的第二图像之间的风格差异，然后在不改变第一图像的内容和标注信息的情况下，对第一图像进行源域风格到目标风格的转换，最终生成保留第一图像的内容和标注信息，以及保留第二图像的目标域风格的第三图像。
S430：从包含第一图像和第三图像的混合图像集中，抽取若干图像组成训练图像集。
混合数据集可以由源域数据集和包括经风格转换得到的第三图像的数据集组成。其中，可以从混合图像集中随机抽取若干图像组成训练数据集，也可以按照一定规律从混合数据集中抽取若干图像组成训练数据集。下面以随机抽取为例进行说明:
参阅图5，S430可以包括以下子步骤：
S431：在混合图像集中获取每个目标对应的目标图像集。
可以先设定待抽取目标(即训练图像集中图像对应的目标)，然后从混合图像集获取每个待抽取目标的图像，以得到每个待抽取目标对应的目标图像集。其中，每个待抽取目标对应的目标图像集中包括两种风格的图像。
S432：按照随机均衡采样策略，从每个目标图像集中抽取预设数量张图像，以得到训练图像集。
所谓随机均衡采样策略，即从每个待抽取目标对应的目标图像集中随机抽取预设数量张图像，并且目标图像集中每张图像被抽取到的概率相等。从而可以使得抽取得到的每一训练图像集中均包含两种风格的图像，提高了训练图像集中图像的风格的均衡性，从而能够在后续训练过程中利用不同风格的图像对目标重识别网络进行训练，进而能够减小后续识别过程中图像风格差异(域间隙)对目标重识别网络识别结果带来的影响，提高目标重识别网络的跨域识别性能。
区别于本实施例的是，在其他实施例中，也可以在混合图像集中随机抽取多张图像组成训练图像集，按此方式得到的训练图像集中，每个目标对应的图像数量不一定相等。
本申请中，利用目标重识别网络得到的识别结果除了可以包括上述实施例中提及的图像的特征之外，还可以包括图像的分类结果，基于识别结果得到的损失除了可以包括上述实施例中的第一距离损失之外，还可以包括分类损失和/或第二距离损失。
其中，分类损失可以是基于图像的分类结果得到的，第二距离损失可以是基于图像的特征得到的。分类损失可以用于度量不同目标的图像的特征之间的距离(类间距离)；第二距离损失可以用于度量图像的特征之间的距离，具体可以用于度量同一目标的图像的特征之间的距离(类内距离)和不同目标的图像的特征之间的距离(类间距离)。
可选地，第二距离损失是利用三元组损失函数得到的。在其他实施方式中，第二距离损失也可以是由其他方式计算得到的。若第二距离损失是利用三元组损失函数得到的，则通过前面的实施例获取到的训练图像集中，每个目标对应的图像张数相等。例如，训练图像集中包含P个目标，每个目标对应K张图像。
可选地，分类损失是利用交叉熵损失函数得到的。当然，在其他实施例中，也可根据实际情况选取其他方法来获取目标重识别网络的分类损失。
若基于识别结果得到的损失包括第一距离损失、第二距离损失(利用三元组损失函数得到)和分类损失，则目标重识别网络整体的损失函数计算公式可以如下：
L＝Lce+Ltri+λLd，
其中，Lce为交叉熵损失函数，Ltri-hard为三元组损失函数，Ld为特征分布损失函数，λ为权重系数。
由于各种损失度量的距离类别不同，故可以预先设定一训练周期，以使得后续可以按照该训练周期来进行训练。例如，设定训练周期次数为580，利用优化器(例如Adam、Momentum、AdaGrad、SGD等)对网络进行该设定的训练周期次数的训练。
图6是本申请目标重识别网络的训练方法第五实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。如图6所示，按照训练周期来进行训练的方法可以包括：
S510：判断本次训练处于第一训练周期还是第二训练周期。
其中，第一训练周期和第二训练周期的其中一个可以为奇数训练周期，另一个可以为偶数训练周期。
若处于第一训练周期，则执行S520；若处于第二训练周期，则执行S530。
S520：基于第一识别结果中的分类结果，获取目标重识别网络的分类损失。
S530：基于第一识别结果中的特征，获取目标重识别网络的第一距离损失。
若目标重识别网络的损失还包括第二距离损失，则本步骤还可以基于第一识别结果中的特征，获取目标重识别网络的第二距离损失。
通过上述按照设定的训练周期进行训练的方式，能够使得对目标重识别网络的训练效果更好。
图7是本申请目标重识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图7所示的流程顺序为限。如图7所示，本实施例可以包括：
S610：获取待识别图像和参考图像。
其中，参考图像包括预设目标。
参考图像可以为底库中的图像，其中包括的目标信息已知，参考图像可以为一张或多张。待识别图像可以为一张、也可以为多张。本实施例后续步骤中以待识别图像为一张、参考图像为多张进行说明。
本步骤中，可以直接将拍摄器件获取到的场景图像作为待识别图像，也可以对拍摄器件获取到的场景图像进行预处理(例如水平翻转增强)后，作为待识别图像。
S620：利用目标重识别网络分别对待识别图像和参考图像进行识别，以得到待识别图像的特征和参考图像的特征。
其中，目标重识别网络可以但不限于利用上述实施例方法训练得到。
S630：基于待识别图像的特征和参考图像的特征之间的相似度，确定待识别图像是否包括预设目标。
经目标重识别网络得到的图像的特征可以表示为特征向量，因此，图像特征之间的相似度可以为特征向量之间的相似度。在计算特征向量之间的相似度之前，还可以对各图像的特征向量进行归一化处理。计算图像的特征向量之间相似度的公式可以如下：
其中，为待识别图像的特征向量，/>为当前参考图像的特征向量。计算得到的值越小，代表待识别图像与当前参考图像之间的相似度越大。
可根据计算得到的相似度确定待识别图像是否包括预设目标。例如，当待识别图像与参考图像相似度等于1或者大于预设第一相似度阈值时，认为待识别图中包括当前参考图像中的预设目标；当待识别图像与参考图像相似度等于0或者小于预设第二相似度阈值时，认为待识别图像中不包括当前参考图像中的预设目标，其中预设第一相似度阈值大于预设第二相似度阈值。
又如，在计算出相似度之后，可以按照相似度大小对参考图像进行排序，并将排序结果作为返回的结果，当然，也可以将排序靠前的预设数量的或者相似度最大的参考图像作为结果返回，从而能够实现排序结果和分值可视化。其中，排序结果能够体现待识别图像中目标为参考图像中预设目标的可能性高低。
图8是本申请电子设备一实施例的结构示意图。如图8所示，该电子设备包括处理器710、与处理器耦接的存储器720。
其中，存储器720存储有用于实现上述任一实施例的方法的程序指令；处理器710用于执行存储器720存储的程序指令以实现上述方法实施例的步骤。其中，处理器710还可以称为CPU(Central Processing Unit，中央处理单元)。处理器710可能是一种集成电路芯片，具有信号的处理能力。处理器710还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图9是本申请存储介质一实施例的结构示意图。如图9所示，本申请实施例的存储介质800存储有程序指令810，该程序指令810被执行时实现本申请上述实施例提供的方法。其中，该程序指令810可以形成程序文件以软件产品的形式存储在上述存储介质800中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质800包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种目标重识别网络的训练方法，其特征在于，包括：
获取训练图像集，所述训练图像集中包括多个目标的图像，且每个所述目标至少对应两种风格的图像，所述风格包括环境参数；
利用所述目标重识别网络对所述训练图像集中每张所述图像进行识别，以得到每张所述图像的识别结果，所述识别结果包括所述图像的特征；
基于所述识别结果获取所述目标重识别网络的损失，所述损失包括第一距离损失，所述第一距离损失是基于所述目标对应的不同风格的图像的特征之间的距离得到的；
基于所述损失调整所述目标重识别网络的参数；
重复上述步骤直至满足停止训练的条件；
所述基于所述识别结果获取所述目标重识别网络的第一距离损失，包括：
基于所述目标对应的不同风格的图像的特征，分别获取每个所述目标对应的不同风格的统计特征；
基于每个所述目标对应的不同风格的统计特征，获取所述目标重识别网络的第一距离损失。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标对应的不同风格的图像的特征，分别获取每个所述目标对应的不同风格的统计特征，包括：
对于每个所述目标，统计所述目标同一风格的图像的特征，以得到所述目标对应所述风格的统计特征；
所述基于每个所述目标对应的不同风格的统计特征，获取所述目标重识别网络的第一距离损失，包括：
对于每个所述目标，获取所述目标对应的不同风格的统计特征之间的距离，以作为所述目标的特征距离；
基于不同所述目标的特征距离，获得所述目标重识别网络的第一距离损失。
3.根据权利要求2所述的方法，其特征在于，所述统计所述目标同一风格的图像的特征，以得到所述目标对应所述风格的统计特征，包括：
获取所述目标同一风格的图像的特征的平均特征，作为所述目标对应所述风格的统计特征；或者，
获取所述目标同一风格的图像的特征的中位特征，作为所述目标对应所述风格的统计特征；
所述获取所述目标对应的不同风格的统计特征之间的距离，作为所述目标的特征距离，包括：
获取所述目标对应的不同风格的统计特征之间的欧式距离，作为所述目标的特征距离；
所述基于不同所述目标特征的特征距离，获得所述目标重识别网络的第一距离损失：
将每个所述目标特征的特征距离之和，作为所述目标重识别网络的第一距离损失。
4.根据权利要求1所述的方法，其特征在于，所述获取训练图像集，包括：
获取源域图像集和目标域图像集，所述源域图像集中包括源域风格的第一图像，所述目标域图像集中包括目标域风格的第二图像；
基于所述源域图像集和目标域图像集，将所述源域图像集中的第一图像进行风格转换，以得到所述目标域风格的第三图像；
从包含所述第一图像和第三图像的混合图像集中，抽取若干图像组成所述训练图像集。
5.根据权利要求4所述的方法，其特征在于，所述从包含所述第一图像和第三图像的混合图像集中，抽取若干图像组成所述训练图像集，包括：
在所述混合图像集中获取每个所述目标对应的目标图像集；
按照随机均衡采样策略，从每个所述目标图像集中抽取预设数量张图像，以得到所述训练图像集。
6.根据权利要求1所述的方法，其特征在于，所述损失还包括分类损失；所述基于所述识别结果获取所述目标重识别网络的损失包括：
若训练周期处于第一训练周期，则基于第一识别结果中的分类结果，获取所述目标重识别网络的分类损失；
若所述训练周期处于第二训练周期，则基于所述第一识别结果中的所述特征，获取所述目标重识别网络的第一距离损失；
所述第一训练周期和第二训练周期的其中一个为奇数训练周期，另一个为偶数训练周期。
7.根据权利要求6所述的方法，其特征在于，所述损失还包括第二距离损失，若所述训练周期处于所述第二训练周期，所述基于所述识别结果获取所述目标重识别网络的损失，还包括：
基于所述识别结果中的所述特征，获取所述目标重识别网络的第二距离损失；
和/或，所述第二距离损失是利用三元组损失函数得到的，所述分类损失是利用交叉熵损失函数得到的。
8.一种目标重识别方法，其特征在于，包括：
获取待识别图像和参考图像，其中，所述参考图像包括预设目标；
利用目标重识别网络分别对所述待识别图像和参考图像进行识别，以得到所述待识别图像的特征和所述参考图像的特征；
基于所述待识别图像的特征和所述参考图像的特征之间的相似度，确定所述待识别图像是否包括所述预设目标；
其中，所述目标重识别网络是利用权利要求1-7中任一项所述方法得到的。
9.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-8中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有程序指令，所述程序指令被执行时实现如权利要求1-8中任一项所述的方法。
CN202010637098.7A 2020-06-29 2020-07-03 目标重识别方法及其网络训练方法、相关装置 Active CN111814655B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010637098.7A CN111814655B (zh) 2020-07-03 2020-07-03 目标重识别方法及其网络训练方法、相关装置
EP20943739.1A EP4136580A4 (en) 2020-06-29 2020-12-25 TARGET REIDENTIFICATION METHOD, NETWORK TRAINING METHOD THEREFOR AND ASSOCIATED APPARATUS
PCT/CN2020/139349 WO2022001034A1 (en) 2020-06-29 2020-12-25 Target re-identification method, network training method thereof, and related device
US18/146,450 US20230136547A1 (en) 2020-06-29 2022-12-26 Target re-identification method, network training method thereof, and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010637098.7A CN111814655B (zh) 2020-07-03 2020-07-03 目标重识别方法及其网络训练方法、相关装置

Publications (2)

Publication Number Publication Date
CN111814655A CN111814655A (zh) 2020-10-23
CN111814655B true CN111814655B (zh) 2023-09-01

Family

ID=72856094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010637098.7A Active CN111814655B (zh) 2020-06-29 2020-07-03 目标重识别方法及其网络训练方法、相关装置

Country Status (1)

Country Link
CN (1) CN111814655B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022001034A1 (en) * 2020-06-29 2022-01-06 Zhejiang Dahua Technology Co., Ltd. Target re-identification method, network training method thereof, and related device
CN112488012A (zh) * 2020-12-03 2021-03-12 浙江大华技术股份有限公司 行人属性识别方法、电子设备及存储介质
CN113033282B (zh) * 2020-12-15 2024-05-28 广州云从鼎望科技有限公司 基于小物体检测的图像识别方法、装置以及介质
CN112967174B (zh) * 2021-01-21 2024-02-09 北京达佳互联信息技术有限公司 图像生成模型训练、图像生成方法、装置及存储介质
CN114266937A (zh) * 2021-12-20 2022-04-01 北京百度网讯科技有限公司 模型训练、图像处理方法，装置，设备以及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944553A (zh) * 2017-11-22 2018-04-20 浙江大华技术股份有限公司 一种cnn模型的微调方法及装置
CN108229532A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN108256439A (zh) * 2017-12-26 2018-07-06 北京大学 一种基于循环生成式对抗网络的行人图像生成方法及系统
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110222717A (zh) * 2019-05-09 2019-09-10 华为技术有限公司 图像处理方法和装置
WO2020088288A1 (zh) * 2018-10-30 2020-05-07 腾讯科技（深圳）有限公司 内窥镜图像的处理方法、系统及计算机设备
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
WO2020094026A1 (zh) * 2018-11-08 2020-05-14 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN111274992A (zh) * 2020-02-12 2020-06-12 北方工业大学 一种跨摄像头的行人重识别方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN108229532A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN107944553A (zh) * 2017-11-22 2018-04-20 浙江大华技术股份有限公司 一种cnn模型的微调方法及装置
CN108256439A (zh) * 2017-12-26 2018-07-06 北京大学 一种基于循环生成式对抗网络的行人图像生成方法及系统
WO2020088288A1 (zh) * 2018-10-30 2020-05-07 腾讯科技（深圳）有限公司 内窥镜图像的处理方法、系统及计算机设备
WO2020094026A1 (zh) * 2018-11-08 2020-05-14 腾讯科技（深圳）有限公司 组织结节检测及其模型训练方法、装置、设备和系统
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110222717A (zh) * 2019-05-09 2019-09-10 华为技术有限公司 图像处理方法和装置
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111274992A (zh) * 2020-02-12 2020-06-12 北方工业大学 一种跨摄像头的行人重识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于感知对抗网络的图像风格迁移方法研究;李君艺;尧雪娟;李海林;;合肥工业大学学报(自然科学版)(第05期);全文 *

Also Published As

Publication number Publication date
CN111814655A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814655B (zh) 目标重识别方法及其网络训练方法、相关装置
US11978245B2 (en) Method and apparatus for generating image
US11436739B2 (en) Method, apparatus, and storage medium for processing video image
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108446390B (zh) 用于推送信息的方法和装置
US20120027263A1 (en) Hand gesture detection
US20120027252A1 (en) Hand gesture detection
US11144800B2 (en) Image disambiguation method and apparatus, storage medium, and electronic device
CN110188829B (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN103870828A (zh) 图像相似度判断系统及方法
CN111667001B (zh) 目标重识别方法、装置、计算机设备和存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN111814846B (zh) 属性识别模型的训练方法、识别方法及相关设备
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
CN114783061B (zh) 一种吸烟行为检测方法、装置、设备和介质
CN111429476A (zh) 确定目标人物行动轨迹的方法和装置
CN112884147A (zh) 神经网络训练方法、图像处理方法、装置及电子设备
CN112257628A (zh) 一种户外比赛运动员的身份识别方法、装置及设备
CN110956098B (zh) 图像处理方法及相关设备
CN113269125A (zh) 一种人脸识别方法、装置、设备及存储介质
CN112819859A (zh) 一种应用于智慧安防的多目标跟踪方法及装置
CN109993178B (zh) 一种特征数据生成和特征匹配方法及装置
CN111079472A (zh) 图像对比方法和装置
CN112115740A (zh) 用于处理图像的方法和装置
Sun et al. Feature extraction and matching combined with depth information in visual simultaneous localization and mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant