CN112784749B - 目标模型的训练方法、目标对象的识别方法、装置及介质 - Google Patents

目标模型的训练方法、目标对象的识别方法、装置及介质 Download PDF

Info

Publication number
CN112784749B
CN112784749B CN202110089532.7A CN202110089532A CN112784749B CN 112784749 B CN112784749 B CN 112784749B CN 202110089532 A CN202110089532 A CN 202110089532A CN 112784749 B CN112784749 B CN 112784749B
Authority
CN
China
Prior art keywords
target
sample data
sample
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110089532.7A
Other languages
English (en)
Other versions
CN112784749A (zh
Inventor
王之港
王健
丁二锐
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110089532.7A priority Critical patent/CN112784749B/zh
Publication of CN112784749A publication Critical patent/CN112784749A/zh
Application granted granted Critical
Publication of CN112784749B publication Critical patent/CN112784749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本公开提供了目标模型的训练方法、目标对象的识别方法、装置、电子设备及计算机存储介质，涉及人工智能领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，第一样本数据包含设置有目标对象标签的多个第一目标样本；利用初始化模型提取第二样本数据中第二目标样本包含的目标对象的特征；根据第二目标样本包含的目标对象的特征为第二样本数据中第二目标样本分配伪标签；将有标签的第一样本数据和具有伪标签的第二样本数据作为训练样本数据，对初始化模型进行训练得到目标模型。如此，能够提高目标模型的泛化能力。

Description

目标模型的训练方法、目标对象的识别方法、装置及介质
技术领域
本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可以用于智能交通场景下。
背景技术
行人再识别(Person Re-identification，ReID)也称行人重识别，能够利用视觉处理技术判断图像中是否存在特定的行人。
相关技术中，行人再识别模型的训练过程需要用到大量的样本数据，但是要在一个特定场景下标注大量样本数据是非常费时费力的。在某个特定场景或数据集下训练好的行人再识别模型在其他场景下的泛化能力较差。
发明内容
本公开提供了一种目标模型的训练方法、目标对象的识别方法、装置、电子设备、计算机存储介质以及产品。
根据本公开的第一方面，提供了一种目标模型训练方法，包括：
利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，该第一样本数据包含设置有目标对象标签的多个第一目标样本；
利用该初始化模型提取该第二样本数据中第二目标样本包含的目标对象的特征；
根据该第二目标样本包含的目标对象的特征为该第二目标样本分配伪标签；
将有标签的该第一样本数据和具有伪标签的该第二样本数据作为训练样本数据，对该初始化模型进行训练得到目标模型。
根据本公开的第二方面，提供了一种目标对象的识别方法，包括：
获取包含目标对象的指定图像；
将第二目标场景的待识别视频图像输入目标模型，得到目标对象识别结果；
根据该指定图像以及目标对象识别结果，得到该指定图像中目标对象的追踪分析结果；
其中，该目标模型为通过第一方面所述的方法训练得到的目标模型
根据本公开的第三方面，提供了一种目标模型训练装置，包括：
获取模块，用于利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，该第一样本数据包含设置有目标对象标签的多个第一目标样本；
特征提取模块，用于利用该初始化模型提取该第二样本数据中第二目标样本包含的目标对象的特征；
分配模块，用于根据该第二目标样本包含的目标对象的特征为该第二目标样本分配伪标签；
训练模块，用于将有标签的该第一样本数据和具有伪标签的该第二样本数据作为训练样本数据，对该初始化模型进行训练得到目标模型。
根据本公开的第四方面，提供了一种目标对象的识别装置，包括：
接收模块，用于获取包含目标对象的指定图像；
识别模块，用于将第二目标场景的待识别视频图像输入目标模型，得到目标对象识别结果；
分析模块，用于根据该指定图像以及所述目标对象识别结果，得到该指定图像中目标对象的追踪分析结果；其中，该目标模型为通过第三方面所述的装置训练得到的目标模型。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术方案，能提高目标模型的泛化能力。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的目标模型的训练方法的流程示意图；
图2是根据本公开实施例的得到初始化模型的流程示意图；
图3是根据本公开实施例的分配伪标签的流程示意图；
图4是根据本公开实施例的目标模型的示意图；
图5是根据本公开实施例的训练目标模型的原理示意图；
图6是根据本公开实施例的目标对象的识别方法的流程示意图；
图7是根据本公开实施例的目标模型的训练装置的组成结构示意图一；
图8是根据本公开实施例的目标模型的训练装置的组成结构示意图二；
图9是根据本公开实施例的目标对象的识别装置的组成结构示意图；
图10是用来实现本公开实施例的目标模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在实际的工业应用中，可以利用摄像头捕捉的行人的一小段视频来进行行人再识别任务。目前行人再识别领域普遍存在的一个问题是，在某个特定场景或数据集下训练好的神经网络模型在其他场景下的泛化能力很差。采集特定应用场景的数据进行标注并重新训练模型是一个提升神经网络性能的理想方式。但是要在一个特定场景下标注大规模行人再识别任务的数据是非常费时费力的，在这种情况下，使用无监督域自适应方法就成了能够在新场景下使用行人再识别技术的一种有效途径。
相关技术中，无监督域自适应行人再识别方法基本都是针对图像级行人再识别任务提出的，其做法是基于在有标签数据集上训练的行人再识别模型，对无ID标签的行人数据集进行特征提取，然后对特征聚类以得到各个行人样本的伪ID标签。再根据伪ID标签进行标准的监督式训练。之后，利用监督式训练得到的模型对行人数据进行重新的特征提取、聚类、伪ID标签分配、再训练。往复迭代上述过程，直到模型收敛。
但是该过程存在两个问题：
(1)有标签数据集只被用来学习一个预训练模型，之后就只会用到无标签数据进行训练。这种情况没有充分利用宝贵的有标签数据，造成了极大浪费。
(2)没有专门针对视频级行人再识别任务设计方法，没有充分挖掘视频的特性。
针对这两个问题，本公开提出一种视频级多源无监督域自适应行人再识别方法。视频级是指进行行人再识别任务时用来比对的资料是行人的一小段视频。多源是指模型训练时会用到不同来源的有标签的样本数据和第二目标场景的无标签的样本数据。无监督指的是第二目标场景的第二样本数据没有ID标签。域自适应是指利用其他场景如第一目标场景的数据或模型来帮助第二目标场景进行模型训练。本公开是第一次针对视频级行人再识别任务提出的无监督域自适应方法，主要解决了现有无监督域自适应行人再识别模型训练时没有充分挖掘视频特性的问题和有标签数据利用不充分的问题。
本公开提供一种目标模型的训练方法，该方法可以应用于电子设备，该电子设备包括但不限于固定设备和/或移动设备，例如，固定设备包括但不限于服务器，服务器可以是云服务器或普通服务器。例如，移动设备包括但不限于：手机或平板电脑中的一项或是多项。如图1所示，该方法包括：
步骤S101：利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，该第一样本数据包含设置有目标对象标签的多个第一目标样本；
步骤S102：利用初始化模型提取第二样本数据中第二目标样本包含的目标对象的特征；
步骤S103：根据第二目标样本包含的目标对象的特征为第二目标样本分配伪标签；
步骤S104：将有标签的第一样本数据和具有伪标签的第二样本数据作为训练样本数据，对初始化模型进行训练得到目标模型。
其中，第一目标场景与第二目标场景是不同的两个应用场景。应用场景可以为小区、商场、学校、地铁、路口、候车厅等任意行人可能出现的区域。在应用场景内可以设置有拍摄装置，通过拍摄装置可以采集包含应用场景的图像，然后可以裁剪出其中的行人图像。比如，第一目标场景是小区，第二目标场景是商场。再比如，第一目标场景是学校，第二目标场景是小区。又比如，第一目标场景是地铁，第二目标场景是候车厅。其中，第二目标场景可以是应用被训练的目标模型的场景。也就是说，在通过有标签和无标签的样本数据对初始化模型进行训练后，可以将该训练得到的目标模型应用到第二目标场景中，使用目标模型对第二目标场景中的行人进行识别。
其中，第一样本数据中的样本数据包括第一目标样本以及对应的标签，该标签可以用于表示第一目标样本的ID，根据该标签可以区分不同的行人。第一目标样本可以通过多种渠道获得，例如，可以从公开的样本数据集中获取多个有标签的第一目标样本，或者，可以从一些应用场景获取多个有标签的第一目标样本。本公开对第一目标样本的获取方式不做限定。示例性地，第一目标样本是行人图像。在一些实施方式中，在获取到拍摄装置采集的图像后，可以通过视觉识别技术确定图像中行人所在的边界框(bounding box)，并对该边界框进行裁剪，得到感兴趣区域(Region Of Interest，ROI)的图像即行人图像。在一些实施方式中，可以通过人工裁剪的方式对图像进行裁剪，得到对应的行人图像；在获取到行人图像后，可以通过人工标注的方式确定行人图像对应的标签。本公开对第一样本数据中的行人图像的获取方式不做限定。
其中，第二样本数据中的样本数据包括第二目标样本，但是不包括第二目标样本对应的标签。示例性的，该第二目标样本是第二目标场景下的行人图像。在一些实施方式中，在获取到拍摄装置采集的视频后，可以通过视觉识别技术确定视频图像中行人所在的边界框，并对该边界框进行裁剪，得到感兴趣区域的图像即行人图像。
其中，目标对象是待识别的对象，比如，行人。
其中，伪标签可以是指伪ID，由于无标签的第二样本数据中只有第二目标样本，没有标签，因此，需要通过对第二目标样本进行处理，为其分配对应的标签，由于处理过程不同于人工标注，因此得到的标签并不一定是完全准确的，被称为伪标签。在一些实施方式中，可以通过有标签的第一样本数据和无标签的第二样本数据训练得到一个初始化模型，通过该初始化模型对无标签的第二样本数据进行处理，得到第二样本数据中第二目标样本对应的伪标签。在一些实施方式中，也可以利用训练得到的目标模型，对无标签的第二样本数据进行处理，得到第二样本数据中第二目标样本对应的伪标签。
本方案利用有标签的第一样本数据和无标签的第二样本数据对预设模型进行训练，得到初始化模型；利用初始化模型提取第二样本数据中第二目标样本包含的目标对象的特征；根据第二目标样本包含的目标对象的特征为第二样本数据中第二目标样本分配伪标签；将有标签的第一样本数据和具有伪标签的第二样本数据作为训练样本数据，对初始化模型进行训练得到目标模型。如此，利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型，相比于一般方案，使处理得到的初始化模型在第二目标场景上的性能更优，有利于下游的特征提取和伪标签生成；另外，将有标签的第一样本数据和具有伪标签的第二样本数据对初始化模型进行训练得到目标模型，相比于仅根据伪标签进行训练的方案来说，能够解决模型训练时有标签的样本数据利用不充分问题，能够进一步提升目标模型的泛化能力，从而提高目标模型的识别精度。
在本公开实施例中，在实现上述任一方法的基础上，如图2所示，利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型，包括：
步骤S201：将第一样本数据和第二样本数据输入预设模型，分别确定第一样本数据对应的第一损失函数以及第二样本数据对应的第二损失函数；
步骤S202：根据第一损失函数和第二损失函数确定总损失函数；
步骤S203：基于总损失函数调整该预设模型的网络参数，得到初始化模型。
其中，第一损失函数是有监督条件下的损失函数，比如，基于距离度量的损失函数、中心损失函数、基于概率分布度量的损失函数等有监督训练的损失函数。本公开不对第一损失函数的选取进行限定。
其中，第二损失函数是无监督条件下的损失函数，比如，三元组损失函数或对比损失函数等。本公开不对第二损失函数的选取进行限定。
通过上述实施方式，利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据训练得到的初始化模型，相对于未经过第二目标场景的第二样本数据训练得到的初始化模型，在第二目标场景下的泛化能力更强，有助于后续对第二目标场景的特征提取以及伪标签生成，从而有助于提高最终训练得到的目标模型的识别精度。
考虑到同一拍摄装置下每个行人的轨迹基本构成一段视频，而一段视频也基本对应一个行人。在本公开实施例中，在实现上述任一方法的基础上，在将第一样本数据和第二样本数据输入预设模型之前，该方法还可以包括：将第二样本数据中的第二目标样本分成M组，每组包括的第二目标样本为同一个摄像头下采集的包含同一个目标对象的第二目标样本；M为大于等于1的整数。其中，将第二样本数据输入预设模型，包括：将M组中的第i组包含的第二目标样本输入预设模型，其中，i为大于等于1且小于等于M的整数。
示例性地，第二样本数据是由10个拍摄装置采集得到的，将每个拍摄装置采集的视频图像分成一组，训练预设模型时，对于第二样本数据部分，每次读入一个拍摄装置采集得到的数据。
通过上述实施方式，对于无标签的第二样本数据，训练预设模型时每个批次(batch)只读入某个拍摄装置下的数据，使得同一段视频内的样本特征相互靠近，即属于同一个人的样本特征在特征空间应该相似，不同视频内的样本特征相互推远，即不同人的样本特征在特征空间应该远离，从而使得训练得到的初始化模型在第二目标场景上的性能更优。
在本公开实施例中，在实现上述任一方法的基础上，第二样本数据包括的第二目标样本是从多段视频中提取的，如图3所示，根据第二目标样本包含的目标对象的特征为第二目标样本分配伪标签，包括：
步骤S301：对多个视频中目标视频的多个第二目标样本进行特征聚类，得到多个簇；
步骤S302：根据多个簇，确定该目标视频中的多个第二目标样本的目标簇；
步骤S303：将该目标簇对应的索引值作为该目标视频中每个第二目标样本的伪标签。
示例性地，第二样本数据包括M个视频，分别记为视频1、视频2、…、视频M，以视频1为目标视频，视频1包括S个第二目标样本，选择视频1中的S1个第二目标样本，其中，S1小于或等于S，对S1个第二目标样本进行聚类，假设得到3个簇，分别记为簇1、簇2和簇3；其中，S1个第二目标样本中的60％的第二目标样本对应簇1，S1个第二目标样本中的30％的第二目标样本对应簇2，S1个第二目标样本中的10％的第二目标样本对应簇3；根据少数服从多数原则，将簇1确定为目标簇，确定S1个第二目标样本对应簇1，进而确定S个第二目标样本对应簇1，将簇1对应的索引值作为视频1中每个第二目标样本的伪标签。
具体来说，在获取到各无标签的第二目标样本对应的样本特征后，可以对样本特征进行聚类处理。可选的，可以使用DBSCAN、或k-means等聚类算法对提取的样本特征进行聚类。这样，无标签的第二目标样本在特征空间中就被划分成了许多不同的簇。根据无标签的第二目标样本在特征空间中对应的簇，为其分配伪标签，其中，伪标签可以为相应的簇索引。这样，每个无标签的第二目标样本就被分配好了伪标签。
通过上述实施方式，通过对无标签的第二目标样本对应的样本特征进行聚类处理，确定各无标签的第二目标样本对应的伪标签，能够快速实现为无标签第二目标样本分配伪标签，且具有一定的准确度，满足目标模型的训练需求。另外，通过选择性地对第二目标样本采样分析，能减少计算量，从而提高伪标签的分配速度。
在本公开实施例中，在实现上述任一方法的基础上，将有标签的第一样本数据和具有伪标签的第二样本数据作为训练样本数据，包括：根据第一样本数据中各第一目标样本对应的标签及来源，以及第二样本数据中各第二目标样本对应的伪标签及来源，创建训练样本数据；在一些实施方式中，对初始化模型进行训练得到目标模型，包括：获取各第一目标样本对应的样本特征和各第二目标样本对应的样本特征；根据各第一目标样本对应的样本特征、标签和来源，以及各第二目标样本的样本特征、伪标签和来源，对初始化模型进行训练。
其中，有标签的第一目标样本和无标签的第二目标样本都可以有其对应的来源。来源的具体体现方式可以根据实际需要来设置，本公开对此不作限制。
在本公开中，获取第一样本数据中各第一目标样本对应的来源、第二样本数据中各第二目标样本对应的来源，可以通过多种方式来实现。
在一些实施方式中，获取第一样本数据中各第一目标样本对应的来源，可以包括：获取至少一个第一目标场景下的多个第一目标样本；根据每个第一目标样本对应的第一目标场景确定第一目标样本的来源。
本公开不限定第一目标场景的数量以及从每一个第一目标场景获取的第一目标样本的数量。
示例性地，第一目标样本的来源可以为第一目标样本对应的第一目标场景，例如第一目标样本来自于哪个商场或小区。由于不同场景下，图像很可能具有不同的图像风格，光照、对比度等差距较大，因此，在获取到第一目标样本后，可以根据第一目标场景为第一目标样本标记其来源，以便更好地对目标模型进行训练。
举例来说，第一目标样本1和第一目标样本2都来自于小区A，则可以根据小区A确定该第一目标样本1和该第一目标样本2的来源，第一目标样本3来自于小区B，则可以根据小区B确定第一目标样本3的来源。
通过上述实施方式，根据每个有标签的第一目标样本的应用场景确定第一目标样本的来源，可以为不同场景的第一目标样本标记不同的来源，从而对不同应用场景的第一目标样本进行区分，减少不同的场景风格差异对模型训练的影响，提高模型训练的稳定性和精度。
在一些实施方式中，每个第一目标场景可以设置有至少一个拍摄装置；获取第一样本数据中各第一目标样本对应的来源，可以包括：针对每一有标签的第一目标样本，确定拍摄第一目标样本的拍摄装置；根据第一目标样本对应的第一目标场景以及对应的拍摄装置，确定第一目标样本的来源。
举例来说，在某一应用场景如小区A中包括三个拍摄装置，分别记为拍摄装置1、2、3，每个拍摄装置都可以拍摄多幅图像，从图像中可以裁剪出行人图像，对行人图像进行标注后，形成有标签的第一目标样本。若某一个第一目标样本是通过拍摄装置1获取的，那么该第一目标样本的来源可以记为A1。若另一个第一目标样本是通过拍摄装置2获取的，那么该另一个第一目标样本的来源可以记为A2。若又一个第一目标样本是通过拍摄装置3获取的，那么该又一个第一目标样本的来源可以记为A3。
由于第一目标场景的范围往往较大，所以经常会设置多个拍摄装置，每个拍摄装置的位置和所处环境都不相同，例如，商场的入口处自然光较强，商场的角落处往往光线不强，因此，将第一目标场景内的不同的拍摄装置采集到的第一目标样本标记为不同的来源，能够实现对第一目标场景的样本数据的细分，减少不同拍摄装置所处的环境差异对模型训练的影响，进一步提高模型训练的稳定性和精度。
在其它可选的实现方式中，还可以以其他维度来确定样本数据的来源。具体来说，可以通过应用场景、时间、光强等综合确定样本数据的来源。
举例来说，可以将采集第一目标样本的时间划分为多个时段，例如，下午1：00-3：00，属于强自然光时段，4：00-6：00，属于弱自然光时段。若第一目标样本拍摄于小区C的下午3：00，则标记其来源为C1，若第一目标样本拍摄于小区C的下午5：00，则标记其来源为C2。也就是说，同一个小区获取的多个第一目标样本，可以基于不同的时段划分为多个来源，从而区分不同风格的图像。
在一些实施方式中，获取多个第二目标样本的来源，可以包括：获取第二目标场景的多个无标签的第二目标样本；根据第二目标场景确定每一个第二目标样本的来源。
如此，根据第二目标场景确定无标签的第二目标样本的来源，可以为不同第二目标场景的样本数据标记不同的来源，避免第二目标场景的样本数据与其他第二目标场景的样本数据混淆，避免不同的场景风格差异降低模型的精度。
其中，无标签的第二目标样本的来源可以直接标记为第二目标场景，例如，第二目标应用场景为商场D，则第二目标样本的来源可以记为D。或者，可以根据第二目标应用场景结合其它信息确定样本数据的来源。
在一些实施方式中，第二目标场景设置有至少一个拍摄装置，确定每一第二目标样本的来源，包括：针对每一无标签的第二目标样本，确定拍摄第二目标样本的拍摄装置；根据第二目标场景以及对应的拍摄装置，确定第二目标样本的来源。
举例来说，在第二目标场景如商场E中包括两个拍摄装置，分别记为拍摄装置1、2，每个拍摄装置都可以拍摄多幅图像，从图像中可以裁剪出行人图像，形成无标签的第二目标样本。若某一第二目标样本中的行人图像是通过拍摄装置1获取的，那么该第二目标样本的来源可以记为E1。若另一第二目标样本是通过拍摄装置2获取的，那么该第二目标样本的来源可以记为E2。
如此，通过将第二目标场景内的不同的拍摄装置采集到的第二目标样本标记不同的来源，能够实现对无标签的第二目标样本的细分，进一步提高模型训练的稳定性和精度。
在本公开实施例中，在实现上述任一方法的基础上，根据各第一目标样本对应的样本特征、标签和来源，以及各第二目标样本的样本特征、伪标签和来源，对初始化模型进行训练，包括：将各第一目标样本对应的样本特征、标签和来源，以及各第二目标样本的样本特征、伪标签和来源，输入到初始化模型，以对初始化模型进行训练。其中，初始化模型包括批归一化层，该批归一化层中对应样本数据的多个来源，设置有多个批归一化分支；其中，在对初始化模型进行训练的过程中，进入该批归一化层的数据，被输入到与其来源对应的批归一化分支进行处理。
其中，初始化模型可以为神经网络模型，初始化模型包括多个层，例如卷积层、池化层、全连接层、批归一化层(Batch Normalization，BN))等等。样本数据输入到初始化模型后，依次经过各个层，从而完成对模型的训练。
其中，批归一化层用于对每一批数据进行归一化处理，批归一化层可以加快模型的收敛速度，并且可以使模型训练过程更加稳定。
在一些实施方式中，批归一化层中对应样本数据的多个来源，设置有多个批归一化分支。即用于对模型进行训练的样本数据的多个来源与模型中批归一化层中的多个分支一一对应。例如，有三个应用场景的样本数据，对应于三个来源，那么在批归一化层中可以设置三个分支，每个分支可以对应一个来源。
通过为不同来源的样本数据设置不同的批归一化分支，可以在一定程度将数据变换到标准正态分布，减少不同来源的数据之间的风格差异，进一步提高模型训练的精度。
图4示出了目标模型的示意图。目标模型可以包括输入层、卷积层、批归一化层、池化层、全连接层等。样本特征经过输入层后，进入卷积层进行卷积操作，卷积得到的数据进入批归一化层，批归一化层有多个分支，假设多个分支分别对应于来源A、B、C，第一个数据对应于来源A，那么输入到第一个批归一化层进行处理，第二个数据对应于来源B，那么输入到第二个批归一化层进行处理。在批归一化层后设置有池化层，数据从批归一化层的相应分支输出后，进入同一池化层进行处理。具体的后续处理过程属于现有技术，本实施例中不再赘述。
图4所示只是一种目标模型的示例。在其它可选的实现方式中，批归一化层和其它层的位置可以调换，还可以进一步增加或删减部分层，本公开对此不作限制。
在一些实施方式中，批归一化层中每个批归一化分支设置有对应的参数，每一样本数据用于对其来源对应的批归一化分支的参数进行训练。具体来说，数据在神经网络的训练过程中会经过特定的批归一化分支，而非共享批归一化层的参数。这样，对应不同来源的数据设置有不同的批归一化参数，通过训练可以对参数进行优化，通过参数优化可以实现目标模型的优化，简便高效且易于实现。
需要说明的是，除该批归一化层的参数之外，目标模型中的其它层的参数对于所有数据来说都是共享的。
通过上述实施方式，在通过目标模型对样本数据进行识别的过程中，进入批归一化层的数据，被输入到与其来源对应的批归一化分支进行处理，从而能够快速、准确地将识别过程中的数据根据其对应的来源输入到相应的批归一化分支中，完成对数据的归一化操作，快速准确地实现对不同来源的数据的修正，有效提高识别的速度和精度。
在本公开各实施例提供的技术方案的基础上，在对目标模型进行训练后，若目标模型不收敛，则重复下述步骤，直至目标模型收敛：通过训练得到的目标模型确定无标签的第二目标样本对应的伪标签；有标签的第一样本数据和具有伪标签的第二样本数据，对目标模型进行训练。
在本公开各实施例提供的技术方案的基础上，在对目标模型进行训练后，判断目标模型是否收敛，并在目标模型不收敛时，通过有标签的第一样本数据和具有伪标签的第二样本数据作为训练样本数据，进一步对目标模型进行训练，能够充分对有标签的第一目标样本和无标签的第二目标样本进行挖掘和利用，提高目标模型的稳定性和精度。
图5示出了模型训练的原理框图。本实施例中，将来自于同一来源的样本数据的集合称为一数据集。具体来说，可以获取多个有标签的数据集，分别记为数据集1、2……N，每个有标签的数据集可以包括多个有标签的第一目标样本，一个数据集中的第一目标样本来自于同一来源例如来自于同一应用场景，如第一目标场景。同时，还可以获取一个无标签的数据集，无标签的数据集可以包括多个无标签的第二目标样本，无标签的第二目标样本的来源可以为第二目标场景。
如图5所示，在本实施例提供的目标模型的训练过程中，可以首先通过501利用有标签的数据集进行监督训练，同时利用无标签的数据集进行训练，得到502中的ReID模型。由于整个训练过程可以是往复迭代进行的，所以502的ReID模型可以是由上述501得到的行初始化模型，也可以是后续通过506训练得到的目标模型。
具体的，考虑到视频级行人再识别的一个特点，即同一拍摄装置下每个行人的轨迹基本就构成一段视频，而一段视频也基本就对应一个行人。基于这点，可以使用对比学习方法使得同一段视频内的样本相互靠近(属于同一个人的样本在特征空间应该相似)，不同视频内的样本相互推远(不同人的样本在特征空间应该远离)。具体可以采用对比损失函数、或者再识别任务中常用的三元组损失函数等来达到此目的。需要注意的是，对于无标签的数据集，神经网络训练时每个批次(batch)只读入某个特定拍摄装置下的数据以满足上述条件。否则，同一批次混入不同拍摄装置的数据，则不同视频中的样本也可能属于同一个人。相比于一般方案，本公开在该步骤处理得到的初始化模型在目标场景上的性能更优，有利于下游的特征提取和伪标签生成过程。
在得到ReID模型后，可以进行503的特征提取步骤。具体的，使用502中的ReID模型对各样本数据中的行人图像进行特征提取，得到各样本数据对应的样本特征。有标签的样本数据和无标签的样本数据都参与此过程，并且标记每张图像来自于哪一个源，即哪一个数据集。示例性地，假设有标签的数据集有5个，无标签的数据集有1个，将5个有标签的数据集的标号分别记为数据集1、数据集2、数据集3、数据集4和数据集5，将无标签的数据集记为数据集6。标记每张图像是来自哪个数据集，比如是来自数据集1，还是来自数据集2，还是来自数据集3，还是数据集4，还是数据集5，还是数据集6。
在特征提取之后，可以进行504的特征聚类步骤。具体的，对样本特征进行聚类处理时，可以使用DBSCAN或k-means等聚类算法对得到的样本特征进行聚类，无标签的样本数据在特征空间中就被划分成了许多不同的簇。有标签的样本数据可以不参与特征聚类.。
在一些实施方式中，对无标签数据进行特征聚类，包括：将一段视频内对应的图像特征进行平均，作为该段视频的代表，然后使用得到的多个平均特征(对应多段视频)进行聚类。通过该实施方式虽然能够实现对无标签数据进行特征聚类，但是由于参与聚类的样本特征较少，不同身份的行人对应的视频被聚类到一起，准确度不能得到充分保证。
在一些实施方式中，对无标签数据进行特征聚类，包括：将一段视频内所有的图像特征都用于聚类，然后根据图像和视频的对应关系，使用众数投票原则来决定一段视频究竟属于哪个簇。通过该实施方式虽然能够实现对无标签数据进行特征聚类，但是由于参与聚类的样本特征过多，计算量过大，耗时较长。
在一些实施方式中，对无标签数据进行特征聚类，包括：
每段行人视频采样K张图像参与聚类，然后再利用众数投票原则决定该视频中的K张图像属于哪个簇。
示例性地，每段视频包括20张图像，K取5～10。当然，K可以根据实际需要如精度需求或速度需求进行设定或调整。
通过上述实施方式，通过对视频级数据进行采样，能减少计算量，从而提高伪标签分配速度。
视频中所有图像参与聚类，一张图像就相当于是一个视频中的样本点，同属于这条轨迹里面的多个图像，有可能是通过聚类算法，分到了不同的簇里面。示例性地，这条轨迹总共有10张图像，然后6张图像聚类后分到簇1里，有3张图像经聚类后分到簇2里，还有1张图像经聚类后分到簇3里，按少数服从多数原则，对这条轨迹中的10张图像分配伪标签，即将10张图片的伪标签为簇1。
其中，簇是行人的标签，同一个人对应一个簇，不同人对应的簇不同。示例性地，聚类出100个簇，那么，这100个簇对应100个人。
如此，通过聚类算法对提取的无标签数据特征进行聚类，将无标签数据在特征空间中划分成许多不同的簇，簇索引即为图像对应的伪标签，从而为伪标签分配提供依据。
在聚类处理后，可以进行505步骤的伪标签分配步骤。具体的，可以根据无标签的样本数据中行人图像在特征空间中对应的簇，为其分配伪标签。伪标签可以为相应的簇索引。这样，每个无标签的样本数据就被分配好了伪标签。
在506域相关的目标模型的训练中，有标签和无标签的数据都可以参与此过程。可以重复上述502至506的过程，直至目标模型收敛。其中，有标签数据和无标签数据来自于不同的场景，而不同场景下的图像很可能具有不同的图像风格(光照、对比度等等)，这导致直接混合使用有标签数据和无标签数据并不会提升所训练模型的性能，甚至造成精度下降。示例性地，为了解决这个问题，本公开使用一种已有的普适的域自适应相关的特定于域的批归一化(Domain Specific Batch Normalization，DSBN)处理方法如来消除不同场景数据间的差异。通过该技术可以使不同场景下的数据在特征空间尽可能相似，从而充分发挥有标签数据的利用价值。又示例性地，为了解决这个问题，本公开使用一种已有的域自适应相关的梯度反转层(Gradient Reversal Layer，GRL)方法来消除不同场景数据间的差异。通过该技术可以使不同场景下的数据在特征空间尽可能相似，从而充分发挥有标签数据的利用价值。
本公开在模型预训练阶段、伪标签生成阶段和域自适应阶段都考虑并利块用了视频的连续性特点。一些方案通常在为无标签数据进行伪标签分配后，弃用之前用于预训练的有标签数据，这是因为有标签数据并非来自目标应用场景，对性能提升作用不大。然而，这种流程并未充分挖掘、利用有标签数据的全部价值。本公开可以缩小有标签数据和目标场景数据的差异，从而在后续训练中继续使用有标签数据，能够进一步提升最终模型的精度。
应理解，图5所示的原理图为一种可选的具体实现方式，本领域技术人员可以基于图5的例子进行各种显而易见的变化和/或替换，得到的技术方案仍属于本公开实施例的公开范围。
在本公开实施例中，在实现上述任一方法的基础上，如图6所示，本实施例提供一种目标对象识别方法，包括：
步骤S601：获取包含目标对象的指定图像；
其中，该目标对象可以是行人。
步骤S602：将第二目标场景的待识别视频图像输入目标模型，得到目标对象识别结果；
步骤S603：根据该指定图像以及该目标对象识别结果，得到该指定图像中目标对象的追踪分析结果。
其中，追踪分析结果包括：待识别视频图像是否包括指定图像中的目标对象，以及在待识别视频图像包括指定图像中目标对象的情况下，该指定图像中目标对象的行动轨迹。
本实施例提供的目标对象的识别方法，通过目标模型对待识别视频图像进行识别，得到行人识别结果，在一定程度上提高了行人识别精度。根据指定图像以及目标对象识别结果，得到对指定图像中目标对象的追踪分析结果，能提高追踪分析结果的准确率。
本公开提供的身份验证方法，可以用于行人再识别项目或行人追踪等项目中。示例性地，方法的执行主体可以是电子设备，该电子设备可以是终端，还可以是服务器。
作为对上述各方法的实现，本公开还提供一种目标模型的训练装置。图7示出了目标模型的训练装置的示意图。如图7所示，该装置包括：
获取模块701，用于利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，该第一样本数据包含设置有目标对象标签的多个第一目标样本；
特征提取模块702，用于利用该初始化模型提取该第二样本数据中第二目标样本包含的目标对象的特征；
分配模块703，用于根据该第二目标样本包含的目标对象的特征为该第二目标样本分配伪标签；
训练模块704，用于将有标签的该第一样本数据和具有伪标签的该第二样本数据作为训练样本数据，对该初始化模型进行训练得到目标模型。
在一些实施方式中，该获取模块701，用于：
将该第一样本数据和该第二样本数据输入该预设模型，分别确定该第一样本数据对应的第一损失函数以及该第二样本数据对应的第二损失函数；
根据该第一损失函数和该第二损失函数确定总损失函数；
基于该总损失函数调整该预设模型的网络参数，得到该初始化模型。
在一些实施方式中，如图8所示，该装置还可以包括：
分组模块705，用于将该第二样本数据中的第二目标样本分成M组，每组包括的第二目标样本为同一个拍摄装置下采集的包含同一个目标对象的第二目标样本；M为大于等于1的整数；
其中，该获取模块701，还用于：
将该M组中的第i组包含的第二目标样本输入该预设模型，其中，i为大于等于1且小于等于M的整数。
在一些实施方式中，第二样本数据包括的第二目标样本是从多段视频中提取的，该分配模块703，用于：
对该多个视频中目标视频的多个该第二目标样本进行特征聚类，得到多个簇；
根据该多个簇，确定该目标视频中的多个该第二目标样本的目标簇；
将该目标簇对应的索引值作为该目标视频中每个该第二目标样本的伪标签。
在一些实施方式中，该训练模块704，可以包括：
创建单元，用于根据该第一样本数据中各该第一目标样本对应的标签及来源，以及该第二样本数据中各该第二目标样本对应的伪标签及来源，创建该训练样本数据；
训练单元，用于获取各该第一目标样本对应的样本特征和各该第二目标样本对应的样本特征；根据各该第一目标样本对应的样本特征、标签和来源，以及各该第二目标样本的样本特征、伪标签和来源，对该初始化模型进行训练。
在一些实施方式中，该训练单元，用于：
将各该第一目标样本对应的样本特征、标签和来源，以及各该第二目标样本的样本特征、伪标签和来源，输入到初始化模型，以对该初始化模型进行训练；
其中，该初始化模型包括批归一化层，该批归一化层中对应样本数据的多个来源，设置有多个批归一化分支；
其中，在对该初始化模型进行训练的过程中，进入该批归一化层的样本数据，被输入到与其来源对应的批归一化分支进行处理。
本公开实施例各装置中的各模块的功能可以参见上述目标模型的训练方法中的对应描述，在此不再赘述。
本公开的目标模型的训练装置，能提高目标模型的识别精度。
作为对上述各方法的实现，本公开还提供一种目标对象的识别装置。图9示出了目标对象的识别装置的示意图，如图9所示，该装置还可以包括：
接收模块901，用于获取包含目标对象的指定图像；
识别模块902，用于将第二目标场景的待识别视频图像输入目标模型，得到目标对象识别结果；
分析模块903，用于根据该指定图像以及该目标对象识别结果，得到该指定图像中目标对象的追踪分析结果。
本公开实施例各装置中的各模块的功能可以参见上述目标对象的识别方法中的对应描述，在此不再赘述。
本公开的目标对象的识别装置，能提高追踪分析结果的准确率。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如目标模型的训练方法。例如，在一些实施例中，目标模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的目标模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行目标模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种目标模型的训练方法，包括：
利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，所述第一样本数据包含设置有目标对象标签的多个第一目标样本；
利用所述初始化模型提取所述第二样本数据中第二目标样本包含的目标对象的特征；
根据所述第二目标样本包含的目标对象的特征为所述第二目标样本分配伪标签；
将有标签的所述第一样本数据和具有伪标签的所述第二样本数据作为训练样本数据，对所述初始化模型进行训练得到目标模型；
其中，所述方法还包括：
将所述第二样本数据中的第二目标样本分成M组，每组包括的第二目标样本为同一个拍摄装置下采集的包含同一个目标对象的第二目标样本；M为大于等于1的整数；其中，将所述第二样本数据输入所述预设模型，包括：将所述M组中的第i组包含的第二目标样本输入所述预设模型，其中，i为大于等于1且小于等于M的整数。
2.根据权利要求1所述的方法，其中，所述利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型，包括：
将所述第一样本数据和所述第二样本数据输入所述预设模型，分别确定所述第一样本数据对应的第一损失函数以及所述第二样本数据对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数确定总损失函数；
基于所述总损失函数调整所述预设模型的网络参数，得到所述初始化模型。
3.根据权利要求1所述的方法，其中，所述第二样本数据包括的第二目标样本是从多段视频中提取的，所述根据所述第二目标样本包含的目标对象的特征为所述第二目标样本分配伪标签，包括：
对所述多段视频中目标视频的多个所述第二目标样本进行特征聚类，得到多个簇；
根据所述多个簇，确定所述目标视频中的多个所述第二目标样本的目标簇；
将所述目标簇对应的索引值作为所述目标视频中每个所述第二目标样本的伪标签。
4.根据权利要求1所述的方法，其中，所述将有标签的所述第一样本数据和具有伪标签的所述第二样本数据作为训练样本数据，包括：
根据所述第一样本数据中各所述第一目标样本对应的标签及来源，以及所述第二样本数据中各所述第二目标样本对应的伪标签及来源，创建所述训练样本数据；
所述对所述初始化模型进行训练得到目标模型，包括：
获取各所述第一目标样本对应的样本特征和各所述第二目标样本对应的样本特征；
根据各所述第一目标样本对应的样本特征、标签和来源，以及各所述第二目标样本的样本特征、伪标签和来源，对所述初始化模型进行训练。
5.根据权利要求4所述的方法，其中，所述根据各所述第一目标样本对应的样本特征、标签和来源，以及各所述第二目标样本的样本特征、伪标签和来源，对所述初始化模型进行训练，包括：
将各所述第一目标样本对应的样本特征、标签和来源，以及各所述第二目标样本的样本特征、伪标签和来源，输入到初始化模型，以对所述初始化模型进行训练；
其中，所述初始化模型包括批归一化层，所述批归一化层中对应样本数据的多个来源，设置有多个批归一化分支；
其中，在对所述初始化模型进行训练的过程中，进入所述批归一化层的样本数据，被输入到与其来源对应的批归一化分支进行处理。
6.一种目标对象的识别方法，包括：
获取包含目标对象的指定图像；
将第二目标场景的待识别视频图像输入目标模型，得到目标对象识别结果；
根据所述指定图像以及所述目标对象识别结果，得到所述指定图像中目标对象的追踪分析结果；
其中，所述目标模型为通过权利要求1-5任一项所述的方法训练得到的目标模型；
其中，所述目标模型的训练样本数据包括第二样本数据，所述第二样本数据包括被分成M组的第二目标样本，每组包括的第二目标样本为同一个拍摄装置下采集的包含同一个目标对象的第二目标样本；M为大于等于1的整数；所述目标模型通过对初始化模型进行训练得到，所述初始化模型通过将所述M组中的第i组包含的第二目标样本输入预设模型进行训练得到，其中，i为大于等于1且小于等于M的整数。
7.一种目标模型的训练装置，包括：
获取模块，用于利用第一目标场景的有标签的第一样本数据和第二目标场景的无标签的第二样本数据对预设模型进行训练，得到初始化模型；其中，所述第一样本数据包含设置有目标对象标签的多个第一目标样本；
特征提取模块，用于利用所述初始化模型提取所述第二样本数据中第二目标样本包含的目标对象的特征；
分配模块，用于根据所述第二目标样本包含的目标对象的特征为所述第二目标样本分配伪标签；
训练模块，用于将有标签的所述第一样本数据和具有伪标签的所述第二样本数据作为训练样本数据，对所述初始化模型进行训练得到目标模型；
其中，所述装置还包括：分组模块，用于将所述第二样本数据中的第二目标样本分成M组，每组包括的第二目标样本为同一个拍摄装置下采集的包含同一个目标对象的第二目标样本；M为大于等于1的整数；
其中，所述获取模块，还用于：将所述M组中的第i组包含的第二目标样本输入所述预设模型，其中，i为大于等于1且小于等于M的整数。
8.根据权利要求7所述的装置，其中，所述获取模块，用于：
将所述第一样本数据和所述第二样本数据输入所述预设模型，分别确定所述第一样本数据对应的第一损失函数以及所述第二样本数据对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数确定总损失函数；
基于所述总损失函数调整所述预设模型的网络参数，得到所述初始化模型。
9. 根据权利要求7所述的装置，其中 ，所述第二样本数据包括的第二目标样本是从多段视频中提取的，所述分配模块，用于：
对所述多段视频中目标视频的多个所述第二目标样本进行特征聚类，得到多个簇；
根据所述多个簇，确定所述目标视频中的多个所述第二目标样本的目标簇；
将所述目标簇对应的索引值作为所述目标视频中每个所述第二目标样本的伪标签。
10.根据权利要求7所述的装置，其中，所述训练模块，包括：
创建单元，用于根据所述第一样本数据中各所述第一目标样本对应的标签及来源，以及所述第二样本数据中各所述第二目标样本对应的伪标签及来源，创建所述训练样本数据；
训练单元，用于获取各所述第一目标样本对应的样本特征和各所述第二目标样本对应的样本特征；根据各所述第一目标样本对应的样本特征、标签和来源，以及各所述第二目标样本的样本特征、伪标签和来源，对所述初始化模型进行训练。
11.根据权利要求10所述的装置，其中，所述训练单元，用于：
将各所述第一目标样本对应的样本特征、标签和来源，以及各所述第二目标样本的样本特征、伪标签和来源，输入到初始化模型，以对所述初始化模型进行训练；
其中，所述初始化模型包括批归一化层，所述批归一化层中对应样本数据的多个来源，设置有多个批归一化分支；
其中，在对所述初始化模型进行训练的过程中，进入所述批归一化层的样本数据，被输入到与其来源对应的批归一化分支进行处理。
12.一种目标对象的识别装置，包括：
接收模块，用于获取包含目标对象的指定图像；
识别模块，用于将第二目标场景的待识别视频图像输入目标模型，得到目标对象识别结果；
分析模块，用于根据所述指定图像以及所述目标对象识别结果，得到所述指定图像中目标对象的追踪分析结果；其中，所述目标模型为通过权利要求7-11任一项所述的装置训练得到的目标模型；
其中，所述目标模型的训练样本数据包括第二样本数据，所述第二样本数据包括被分成M组的第二目标样本，每组包括的第二目标样本为同一个拍摄装置下采集的包含同一个目标对象的第二目标样本；M为大于等于1的整数；所述目标模型通过对初始化模型进行训练得到，所述初始化模型通过将所述M组中的第i组包含的第二目标样本输入预设模型进行训练得到，其中，i为大于等于1且小于等于M的整数。
13. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-6中任一项所述的方法。
CN202110089532.7A 2021-01-22 2021-01-22 目标模型的训练方法、目标对象的识别方法、装置及介质 Active CN112784749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110089532.7A CN112784749B (zh) 2021-01-22 2021-01-22 目标模型的训练方法、目标对象的识别方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110089532.7A CN112784749B (zh) 2021-01-22 2021-01-22 目标模型的训练方法、目标对象的识别方法、装置及介质

Publications (2)

Publication Number Publication Date
CN112784749A CN112784749A (zh) 2021-05-11
CN112784749B true CN112784749B (zh) 2023-11-10

Family

ID=75758671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110089532.7A Active CN112784749B (zh) 2021-01-22 2021-01-22 目标模型的训练方法、目标对象的识别方法、装置及介质

Country Status (1)

Country Link
CN (1) CN112784749B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343979B (zh) * 2021-05-31 2022-11-08 北京百度网讯科技有限公司 用于训练模型的方法、装置、设备、介质和程序产品
CN113379718B (zh) * 2021-06-28 2024-02-02 北京百度网讯科技有限公司 一种目标检测方法、装置、电子设备以及可读存储介质
CN113435545A (zh) * 2021-08-14 2021-09-24 北京达佳互联信息技术有限公司 图像处理模型的训练方法及装置
CN113837670A (zh) * 2021-11-26 2021-12-24 北京芯盾时代科技有限公司 风险识别模型训练方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824692B1 (en) * 2016-09-12 2017-11-21 Pindrop Security, Inc. End-to-end speaker recognition using deep neural network
CN110298415A (zh) * 2019-08-20 2019-10-01 视睿（杭州）信息科技有限公司 一种半监督学习的训练方法、系统和计算机可读存储介质
CN110321965A (zh) * 2019-07-10 2019-10-11 腾讯科技（深圳）有限公司 物体重识别模型的训练方法、物体重识别的方法及装置
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111582185A (zh) * 2020-05-11 2020-08-25 北京百度网讯科技有限公司 用于识别图像的方法和装置
CN111783646A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 行人再识别模型的训练方法、装置、设备和存储介质
CN111932041A (zh) * 2020-10-09 2020-11-13 支付宝(杭州)信息技术有限公司 基于风险识别的模型训练方法、装置和电子设备
CN112149637A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 用于生成目标再识别模型和用于目标再识别的方法和装置
CN112215248A (zh) * 2019-07-11 2021-01-12 深圳先进技术研究院 深度学习模型训练方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704552B2 (en) * 2018-10-29 2023-07-18 Microsoft Technology Licensing, Llc Task detection in communications using domain adaptation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824692B1 (en) * 2016-09-12 2017-11-21 Pindrop Security, Inc. End-to-end speaker recognition using deep neural network
CN110321965A (zh) * 2019-07-10 2019-10-11 腾讯科技（深圳）有限公司 物体重识别模型的训练方法、物体重识别的方法及装置
CN112215248A (zh) * 2019-07-11 2021-01-12 深圳先进技术研究院 深度学习模型训练方法、装置、电子设备及存储介质
CN110298415A (zh) * 2019-08-20 2019-10-01 视睿（杭州）信息科技有限公司 一种半监督学习的训练方法、系统和计算机可读存储介质
CN111222648A (zh) * 2020-01-15 2020-06-02 深圳前海微众银行股份有限公司 半监督机器学习优化方法、装置、设备及存储介质
CN111582185A (zh) * 2020-05-11 2020-08-25 北京百度网讯科技有限公司 用于识别图像的方法和装置
CN111783646A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 行人再识别模型的训练方法、装置、设备和存储介质
CN111932041A (zh) * 2020-10-09 2020-11-13 支付宝(杭州)信息技术有限公司 基于风险识别的模型训练方法、装置和电子设备
CN112149637A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 用于生成目标再识别模型和用于目标再识别的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多模态生成对抗网络和三元组损失的说话人识别;陈莹;陈湟康;;电子与信息学报(第02期);全文 *
小样本条件下基于数据增强和WACGAN的雷达目标识别算法;朱克凡;王杰贵;刘有军;;电子学报(第06期);全文 *

Also Published As

Publication number Publication date
CN112784749A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN112784749B (zh) 目标模型的训练方法、目标对象的识别方法、装置及介质
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN113255694B (zh) 训练图像特征提取模型和提取图像特征的方法、装置
CN111783646B (zh) 行人再识别模型的训练方法、装置、设备和存储介质
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN111881714A (zh) 一种无监督跨域行人再识别方法
CN111967302B (zh) 视频标签的生成方法、装置及电子设备
CN113379718B (zh) 一种目标检测方法、装置、电子设备以及可读存储介质
CN113704531A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN113361710B (zh) 学生模型训练方法、图片处理方法、装置及电子设备
CN111932577B (zh) 文本检测方法、电子设备及计算机可读介质
CN112817755A (zh) 基于目标追踪加速的边云协同深度学习目标检测方法
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN113657483A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
Liao et al. Multi-scale saliency features fusion model for person re-identification
CN113378857A (zh) 目标检测方法、装置、电子设备及存储介质
Fang et al. Fast depth estimation from single image using structured forest
CN112836611A (zh) 确定身体部位语义图、模型训练和行人重识别方法及设备
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置
CN115272705B (zh) 显著性物体检测模型的训练方法、装置以及设备
CN114882334B (zh) 用于生成预训练模型的方法、模型训练方法及装置
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN115937993A (zh) 活体检测模型训练方法、活体检测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant