CN111967429A - 一种基于主动学习的行人重识别模型训练方法及装置 - Google Patents

一种基于主动学习的行人重识别模型训练方法及装置 Download PDF

Info

Publication number
CN111967429A
CN111967429A CN202010883005.9A CN202010883005A CN111967429A CN 111967429 A CN111967429 A CN 111967429A CN 202010883005 A CN202010883005 A CN 202010883005A CN 111967429 A CN111967429 A CN 111967429A
Authority
CN
China
Prior art keywords
pedestrian
image
training
feature vector
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010883005.9A
Other languages
English (en)
Other versions
CN111967429B (zh
Inventor
丁贵广
何涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010883005.9A priority Critical patent/CN111967429B/zh
Publication of CN111967429A publication Critical patent/CN111967429A/zh
Application granted granted Critical
Publication of CN111967429B publication Critical patent/CN111967429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及计算机技术领域，公开了一种基于主动学习的行人重识别模型训练方法，包括：获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集；对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，直至所述初始的行人重识别模型的参数满足训练停止条件。本申请基于主动学习训练的行人重识别模型可以适用于更多行人识别场景，可以提高行人重识别的识别结果准确率，节省数据标注成本。本申请还公开了一种基于主动学习的行人重识别模型训练装置、电子设备及存储介质。

Description

一种基于主动学习的行人重识别模型训练方法及装置
技术领域
本申请涉及计算机技术领域，例如涉及一种基于主动学习的行人重识别模型训练方法及装置。
背景技术
行人重识别是利用计算机视觉技术识别图像或者视频序列中是否存在特定行人的技术，行人重识别主要应用在智能视频监控和智能安保等领域。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
相关技术通常采用深度学习进行行人重识别，在不同的场景下模型实际效果误差较大，在模型训练时数据标注成本较高，导致行人重识别的识别结果准确率较低。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种基于主动学习的行人重识别模型训练方法、装置、设备及存储介质，以解决采用深度学习进行行人重识别，在不同的场景下模型实际效果误差较大，在模型训练时数据标注成本较高，导致行人重识别的识别结果准确率较低的技术问题。
本公开实施例提供了一种基于主动学习的行人重识别模型训练方法，包括：
获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集；
对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；
将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，直至所述初始的行人重识别模型的参数满足训练停止条件。
在一些实施例中，对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集，包括：
利用多目标追踪算法，对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到包含有至少一个视频片段的视频片段集；
对所述视频片段集进行数据格式转换，得到包括多帧行人图像以及所述行人图像的属性信息的行人图像数据集。
在一些实施例中，所述属性信息包括所述行人图像的行人ID和所述行人图像对应的图像获取单元；所述初始的行人重识别模型包括卷积神经网络；
将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，包括：
将所述行人图像数据集中的每帧行人图像和所述行人图像的属性信息输入到卷积神经网络，以使所述卷积神经网络输出每帧所述行人图像对应的D维特征向量；
将所述D维特征向量输入到所述属性信息中的所述图像获取单元对应的线性分类器中，以使所述线性分类器输出多维特征向量，其中，该多维特征向量包括所述图像获取单元采集到的所述行人图像中的行人数量；
根据D维特征向量和多维特征向量的真实标签，根据交叉熵损失函数对所述D维特征向量进行训练，以及根据三元组损失函数对所述多维特征向量进行训练，直至所述交叉熵损失函数和三元组损失函数的损失值收敛，得到行人重识别模型。
在一些实施例中，还包括：
将所述行人图像集中的每帧行人图像输入到所述行人重识别模型，以使所述行人重识别模型输出每帧所述行人图像对应的特征向量；
对所述特征向量进行聚类处理，得到包含有多帧行人图像对应的特征向量的多个类簇；
针对每一个类簇中的所述特征向量，计算所述特征向量的标准差；
根据所述标准差的大小，确定排序在前的预设数量个所述类簇；
在所述类簇中包含有多个行人的情况下，将所述类簇分成包含有单个行人的不同新类簇；
将所述新类簇作为真实标签，对所述交叉熵损失函数和三元组损失函数进行更新，直至所述行人重识别模型收敛。
在一些实施例中，对所述特征向量进行聚类处理，包括：
利用无监督聚类算法，对所述特征向量进行聚类处理。
本公开实施例还提供了一种基于主动学习的行人重识别模型训练装置，包括：
视频数据获取单元，被配置为获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集；
行人检测与追踪单元，被配置为对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；
模型训练单元，被配置为将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，直至所述初始的行人重识别模型的参数满足训练停止条件。
在一些实施例中，所述行人检测与追踪单元，包括：
行人检测与追踪模块，被配置为利用多目标追踪算法，对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到包含有至少一个视频片段的视频片段集；
数据格式转换模块，被配置为对所述视频片段集进行数据格式转换，得到包括多帧行人图像以及所述行人图像的属性信息的行人图像数据集。
在一些实施例中，所述属性信息包括所述行人图像的行人ID和所述行人图像对应的图像获取单元；所述初始的行人重识别模型包括卷积神经网络；所述模型训练单元包括：
图像输入模块，被配置为将所述行人图像数据集中的每帧行人图像和所述行人图像的属性信息输入到卷积神经网络，以使所述卷积神经网络输出每帧所述行人图像对应的D维特征向量；
向量输入模块，被配置为将所述D维特征向量输入到所述属性信息中的所述图像获取单元对应的线性分类器中，以使所述线性分类器输出多维特征向量，其中，该多维特征向量包括所述图像获取单元采集到的所述行人图像中的行人数量；
向量训练模块，被配置为基于所述行人图像的行人ID，根据交叉熵损失函数对所述D维特征向量进行训练，以及根据三元组损失函数对所述多维特征向量进行训练，直至所述交叉熵损失函数和三元组损失函数的损失值收敛，得到行人重识别模型。
本公开实施例还提供了一种电子设备，包括处理器和存储有程序指令的存储器，所述处理器被配置为在执行所述程序指令时，执行上述的基于主动学习的行人重识别模型训练方法的步骤。
本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于主动学习的行人重识别模型训练方法的步骤。
本公开实施例提供的基于主动学习的行人重识别模型训练方法、装置、设备及存储介质，可以实现以下技术效果：
通过对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，直至所述初始的行人重识别模型的参数满足训练停止条件。本公开实施例基于主动学习训练的行人重识别模型可以适用于更多行人识别场景，可以提高行人重识别的识别结果准确率，节省数据标注成本。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种基于主动学习的行人重识别模型训练方法的流程示意图；
图2是本公开实施例提供的另一种基于主动学习的行人重识别模型训练方法的流程示意图；
图3是本公开实施例提供的另一种基于主动学习的行人重识别模型训练方法的流程示意图；
图4是本公开实施例提供的多摄像头多任务训练的结构示意图；
图5是本公开实施例提供的另一种基于主动学习的行人重识别模型训练方法的流程示意图；
图6是本公开实施例提供的基于主动学习的行人重识别模型的训练结构示意图；
图7是本公开实施例提供的一种基于主动学习的行人重识别模型训练装置的结构示意图；
图8是本公开实施例提供了一种电子设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
参见图1，在一些实施例中，本公开实施例提供了一种基于主动学习的行人重识别模型训练方法，包括：
S101、获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集。
可选地，图像获取单元包括摄像头。
可选地，对于一个由Nc个摄像头组成的监控区域，采集每个摄像头的无标注的视频数据Vi，组成原始视频数据集
Figure BDA0002654664360000051
S102、对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集。
S103、将行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对初始的行人重识别模型进行训练，直至初始的行人重识别模型的参数满足训练停止条件。
本公开实施例基于主动学习训练的行人重识别模型可以适用于更多行人识别场景，可以提高行人重识别的识别结果准确率，节省数据标注成本。
参见图2，在一些实施例中，上述步骤S102、对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集，包括：
S201、利用多目标追踪算法，对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到包含有至少一个视频片段的视频片段集。
可选地，对每个摄像头采集的无标注的视频数据Vi，利用多目标追踪算法，例如，Deep SORT，对视频数据Vi中的多个行人进行行人检测与追踪，得到的结果为包含有至少一个视频片段的视频片段集，视频片段集采用以下公式表示；
Figure BDA0002654664360000061
其中，
Figure BDA0002654664360000062
表示第i个摄像头经过Deep SORT算法后输出的第j个行人的行人图像集合，该行人的ID为
Figure BDA0002654664360000063
共有Ni,j张行人图像。
S202、对视频片段集进行数据格式转换，得到包括多帧行人图像以及行人图像的属性信息的行人图像数据集。
可选地，格式转换后得到的行人图像数据集为：
Figure BDA0002654664360000064
上述行人图像数据集包括N张行人图像，其中，第m张行人图像为Im，对应的摄像头为cm。由多目标追踪算法在摄像头cm中采集的视频数据Vcm上进行处理，得到的行人ID为pm。由于检测算法的缺陷，可能会导致行人图像Im的检测结果存在误差，行人ID也会由于追踪算法的缺陷而与真实结果产生误差，并且由于追踪算法是对单一摄像头采集的视频数据进行处理，因此该行人ID是该摄像头内统一的ID，并不是常见的行人重识别数据集中全局统一的ID。而经过多目标追踪算法的自动化处理，可以低成本地获得行人重识别模型训练所需要的数据。
本公开实施例利用多目标追踪算法，自动地对视频数据进行行人检测与追踪处理，获得行人检测与追踪结果，行人检测与追踪结果包括由多帧行人图像和对应的行人ID、图像处理单元组成，无需人工处理，节省了标注成本，可以直接作为初始的行人重识别模型训练的输入数据。
参见图3，在一些实施例中，属性信息包括行人图像的行人ID和行人图像对应的图像获取单元；初始的行人重识别模型包括卷积神经网络；上述步骤S103、将行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对初始的行人重识别模型进行训练，包括：
S301、将行人图像数据集中的每帧行人图像和行人图像的属性信息输入到卷积神经网络，以使卷积神经网络输出每帧行人图像对应的D维特征向量。
如图4所示，为本公开实施例提供的多摄像头多任务训练的结构示意图，通过将行人图像数据集中的每帧行人图像和行人图像的属性信息输入到卷积神经网络(例如，ResNet-50)和Nc个线性分类器组成，每个摄像头对应一个线性分类器，该线性分类器的输出节点数为该摄像头采集到的行人图像中的行人数量。对于一张输入的行人图像(Im,pm,cm)，卷积神经网络的输出是一个D维特征向量rm∈R1×D。
S302、将D维特征向量输入到属性信息中的图像获取单元对应的线性分类器中，以使线性分类器输出多维特征向量，其中，该多维特征向量包括图像获取单元采集到的行人图像中的行人数量。
可选地，当前摄像头对应的第cm个线性分类器的输出为一个
Figure BDA0002654664360000071
维的特征向量
Figure BDA0002654664360000072
其它摄像头对应的线性分类器对该样本不产生输出。
S303、根据D维特征向量和多维特征向量的真实标签，根据交叉熵损失函数对D维特征向量进行训练，以及根据三元组损失函数对多维特征向量进行训练，直至交叉熵损失函数和三元组损失函数的损失值收敛，得到行人重识别模型。
可选地，根据D维特征向量rm∈R1×D和
Figure BDA0002654664360000073
维的特征向量
Figure BDA0002654664360000074
的真实标签pm，根据交叉熵损失函数对D维特征向量采用随机梯度下降的方式进行训练，根据三元组损失函数对
Figure BDA0002654664360000075
维的特征向量采用随机梯度下降的方式进行训练，直至交叉熵损失函数和三元组损失函数的损失值收敛，可以得到一个行人重识别模型。
参见图5，本公开实施例还提供了另一种基于主动学习的行人重识别模型训练方法，包括：
S501、将行人图像集中的每帧行人图像输入到行人重识别模型，以使行人重识别模型输出每帧行人图像对应的特征向量。
可选地，将上述得到的数据看作是无标注数据，忽略(Im,pm,cm)中的行人IDpm和摄像头cm，通过行人重识别模型，对每帧行人图像Im抽取其对应的特征向量rm。
S502、对特征向量进行聚类处理，得到包含有多帧行人图像对应的特征向量的多个类簇。
可选地，参见图6，为本公开实施例提供的基于主动学习的行人重识别模型的训练结构示意图，利用无监督聚类算法，对特征向量进行聚类处理。
可选地，利用无监督聚类算法(例如DBSCAN等)对所有行人图像对应的特征向量，进行聚类，得到Np个类簇，对于第i个类簇Li＝{Si,i}，其中，
Figure BDA0002654664360000076
表示该类簇中所包含的ni个行人图像对应的特征向量。
S503、针对每一个类簇中的特征向量，计算特征向量的标准差。
S504、根据标准差的大小，确定排序在前的预设数量个类簇。
可选地，可以根据实际需求确定选择的类簇的数量。
S505、在类簇中包含有多个行人的情况下，将类簇分成包含有单个行人的不同新类簇。
可选地，在类簇中没有包含多个行人的情况下，对该类簇不做处理。
S506、将新类簇作为真实标签，对交叉熵损失函数和三元组损失函数进行更新，直至行人重识别模型收敛。
本公开实施例提供了一种基于主动学习的行人重识别模型训练装置，参见图7，包括：
视频数据获取单元701，被配置为获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集；
行人检测与追踪单元702，被配置为对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；
模型训练单元703，被配置为将行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对初始的行人重识别模型进行训练，直至初始的行人重识别模型的参数满足训练停止条件。
在一些实施例中，行人检测与追踪单元702，包括：
行人检测与追踪模块，被配置为利用多目标追踪算法，对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到包含有至少一个视频片段的视频片段集；
数据格式转换模块，被配置为对视频片段集进行数据格式转换，得到包括多帧行人图像以及行人图像的属性信息的行人图像数据集。
在一些实施例中，属性信息包括行人图像的行人ID和行人图像对应的图像获取单元；初始的行人重识别模型包括卷积神经网络；模型训练单元703包括：
图像输入模块，被配置为将行人图像数据集中的每帧行人图像和行人图像的属性信息输入到卷积神经网络，以使卷积神经网络输出每帧行人图像对应的D维特征向量；
向量输入模块，被配置为将D维特征向量输入到属性信息中的图像获取单元对应的线性分类器中，以使线性分类器输出多维特征向量，其中，该多维特征向量包括图像获取单元采集到的行人图像中的行人数量；
向量训练模块，被配置为基于行人图像的行人ID，根据交叉熵损失函数对D维特征向量进行训练，以及根据三元组损失函数对多维特征向量进行训练，直至交叉熵损失函数和三元组损失函数的损失值收敛，得到行人重识别模型。
本公开实施例提供了一种电子设备，其结构如图8所示，包括：
处理器(processor)800和存储器(memory)801，还可以包括通信接口(Communication Interface)802和总线803。其中，处理器800、通信接口802、存储器801可以通过总线803完成相互间的通信。通信接口802可以用于信息传输。处理器800可以调用存储器801中的逻辑指令，以执行上述实施例的一种基于主动学习的行人重识别模型训练方法。
此外，上述的存储器801中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器801作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器800通过运行存储在存储器801中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的基于主动学习的行人重识别模型训练方法。
存储器801可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器801可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种产品(例如：计算机、手机等)，包含上述的基于主动学习的行人重识别模型训练装置。
本公开实施例提供的基于主动学习的行人重识别模型训练方法、装置、设备及产品，通过对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；将行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对初始的行人重识别模型进行训练，直至初始的行人重识别模型的参数满足训练停止条件。本申请训练的行人重识别模型可以适用于更多行人识别场景，可以提高行人重识别的识别结果准确率，节省数据标注成本
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述基于主动学习的行人重识别模型训练方法。
本公开实施例提供了一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使上述计算机执行上述基于主动学习的行人重识别模型训练方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例提供的计算机可读存储介质和计算机程序产品，通过对每个图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；将行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对初始的行人重识别模型进行训练，直至初始的行人重识别模型的参数满足训练停止条件。本申请训练的行人重识别模型可以适用于更多行人识别场景，可以提高行人重识别的识别结果准确率，节省数据标注成本。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括至少一个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例的方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种基于主动学习的行人重识别模型训练方法，其特征在于，包括：
获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集；
对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；
将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，直至所述初始的行人重识别模型的参数满足训练停止条件。
2.根据权利要求1所述的方法，其特征在于，对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集，包括：
利用多目标追踪算法，对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到包含有至少一个视频片段的视频片段集；
对所述视频片段集进行数据格式转换，得到包括多帧行人图像以及所述行人图像的属性信息的行人图像数据集。
3.根据权利要求2所述的方法，其特征在于，所述属性信息包括所述行人图像的行人ID和所述行人图像对应的图像获取单元；所述初始的行人重识别模型包括卷积神经网络；
将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，包括：
将所述行人图像数据集中的每帧行人图像和所述行人图像的属性信息输入到卷积神经网络，以使所述卷积神经网络输出每帧所述行人图像对应的D维特征向量；
将所述D维特征向量输入到所述属性信息中的所述图像获取单元对应的线性分类器中，以使所述线性分类器输出多维特征向量，其中，该多维特征向量包括所述图像获取单元采集到的所述行人图像中的行人数量；
根据D维特征向量和多维特征向量的真实标签，根据交叉熵损失函数对所述D维特征向量进行训练，以及根据三元组损失函数对所述多维特征向量进行训练，直至所述交叉熵损失函数和三元组损失函数的损失值收敛，得到行人重识别模型。
4.根据权利要求3所述的方法，其特征在于，还包括：
将所述行人图像集中的每帧行人图像输入到所述行人重识别模型，以使所述行人重识别模型输出每帧所述行人图像对应的特征向量；
对所述特征向量进行聚类处理，得到包含有多帧行人图像对应的特征向量的多个类簇；
针对每一个类簇中的所述特征向量，计算所述特征向量的标准差；
根据所述标准差的大小，确定排序在前的预设数量个所述类簇；
在所述类簇中包含有多个行人的情况下，将所述类簇分成包含有单个行人的不同新类簇；
将所述新类簇作为真实标签，对所述交叉熵损失函数和三元组损失函数进行更新，直至所述行人重识别模型收敛。
5.根据权利要求4所述的方法，其特征在于，对所述特征向量进行聚类处理，包括：
利用无监督聚类算法，对所述特征向量进行聚类处理。
6.一种基于主动学习的行人重识别模型训练装置，其特征在于，包括：
视频数据获取单元，被配置为获取监控区域的多个图像获取单元采集的无标注的视频数据，得到原始视频数据集；
行人检测与追踪单元，被配置为对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到行人图像数据集；
模型训练单元，被配置为将所述行人图像数据集作为训练样本输入到初始的行人重识别模型，利用主动学习策略对所述初始的行人重识别模型进行训练，直至所述初始的行人重识别模型的参数满足训练停止条件。
7.根据权利要求6所述的装置，其特征在于，所述行人检测与追踪单元，包括：
行人检测与追踪模块，被配置为利用多目标追踪算法，对每个所述图像获取单元采集的无标注的视频数据进行行人检测与追踪，得到包含有至少一个视频片段的视频片段集；
数据格式转换模块，被配置为对所述视频片段集进行数据格式转换，得到包括多帧行人图像以及所述行人图像的属性信息的行人图像数据集。
8.根据权利要求7所述的装置，其特征在于，所述属性信息包括所述行人图像的行人ID和所述行人图像对应的图像获取单元；所述初始的行人重识别模型包括卷积神经网络；所述模型训练单元包括：
图像输入模块，被配置为将所述行人图像数据集中的每帧行人图像和所述行人图像的属性信息输入到卷积神经网络，以使所述卷积神经网络输出每帧所述行人图像对应的D维特征向量；
向量输入模块，被配置为将所述D维特征向量输入到所述属性信息中的所述图像获取单元对应的线性分类器中，以使所述线性分类器输出多维特征向量，其中，该多维特征向量包括所述图像获取单元采集到的所述行人图像中的行人数量；
向量训练模块，被配置为基于所述行人图像的行人ID，根据交叉熵损失函数对所述D维特征向量进行训练，以及根据三元组损失函数对所述多维特征向量进行训练，直至所述交叉熵损失函数和三元组损失函数的损失值收敛，得到行人重识别模型。
9.一种电子设备，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至5中任一项所述的基于主动学习的行人重识别模型训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于主动学习的行人重识别模型训练方法的步骤。
CN202010883005.9A 2020-08-28 2020-08-28 一种基于主动学习的行人重识别模型训练方法及装置 Active CN111967429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010883005.9A CN111967429B (zh) 2020-08-28 2020-08-28 一种基于主动学习的行人重识别模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010883005.9A CN111967429B (zh) 2020-08-28 2020-08-28 一种基于主动学习的行人重识别模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN111967429A true CN111967429A (zh) 2020-11-20
CN111967429B CN111967429B (zh) 2022-11-01

Family

ID=73400481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010883005.9A Active CN111967429B (zh) 2020-08-28 2020-08-28 一种基于主动学习的行人重识别模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN111967429B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434809A (zh) * 2021-01-26 2021-03-02 成都点泽智能科技有限公司 基于主动学习的模型训练方法、装置及服务器
CN113139477A (zh) * 2021-04-27 2021-07-20 北京市商汤科技开发有限公司 训练井盖检测模型的方法、装置、设备及计算机存储介质
CN113326738A (zh) * 2021-05-06 2021-08-31 南京信息工程大学 基于深度网络和字典学习的行人目标检测与重识别方法
CN113449601A (zh) * 2021-05-28 2021-09-28 国家计算机网络与信息安全管理中心 基于渐进性平滑损失的行人重识别模型训练和识别方法与装置
CN113553970A (zh) * 2021-07-29 2021-10-26 广联达科技股份有限公司 一种行人重识别的方法、装置、设备及可读存储介质
CN113743313A (zh) * 2021-09-06 2021-12-03 北京易华录信息技术股份有限公司 一种行人识别方法、装置及电子设备
CN113780243A (zh) * 2021-09-29 2021-12-10 平安科技（深圳）有限公司 行人图像识别模型的训练方法、装置、设备以及存储介质
CN113936302A (zh) * 2021-11-03 2022-01-14 厦门市美亚柏科信息股份有限公司 行人重识别模型的训练方法、装置、计算设备及存储介质
WO2022213846A1 (zh) * 2021-04-07 2022-10-13 北京三快在线科技有限公司 识别模型的训练

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902662A (zh) * 2019-03-20 2019-06-18 中山大学 一种行人重识别方法、系统、装置和存储介质
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN110135295A (zh) * 2019-04-29 2019-08-16 华南理工大学 一种基于迁移学习的无监督行人重识别方法
CN110414368A (zh) * 2019-07-04 2019-11-05 华中科技大学 一种基于知识蒸馏的无监督行人重识别方法
US20200125897A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-Supervised Person Re-Identification Using Multi-View Clustering

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200125897A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Semi-Supervised Person Re-Identification Using Multi-View Clustering
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN109902662A (zh) * 2019-03-20 2019-06-18 中山大学 一种行人重识别方法、系统、装置和存储介质
CN110135295A (zh) * 2019-04-29 2019-08-16 华南理工大学 一种基于迁移学习的无监督行人重识别方法
CN110414368A (zh) * 2019-07-04 2019-11-05 华中科技大学 一种基于知识蒸馏的无监督行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAO HE等: "Towards Better Uncertainty Sampling: Active Learning with Multiple Views for Deep Convolutional Neural Network", 《IEEE》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434809A (zh) * 2021-01-26 2021-03-02 成都点泽智能科技有限公司 基于主动学习的模型训练方法、装置及服务器
WO2022213846A1 (zh) * 2021-04-07 2022-10-13 北京三快在线科技有限公司 识别模型的训练
CN113139477A (zh) * 2021-04-27 2021-07-20 北京市商汤科技开发有限公司 训练井盖检测模型的方法、装置、设备及计算机存储介质
CN113326738A (zh) * 2021-05-06 2021-08-31 南京信息工程大学 基于深度网络和字典学习的行人目标检测与重识别方法
CN113326738B (zh) * 2021-05-06 2023-07-07 南京信息工程大学 基于深度网络和字典学习的行人目标检测与重识别方法
CN113449601A (zh) * 2021-05-28 2021-09-28 国家计算机网络与信息安全管理中心 基于渐进性平滑损失的行人重识别模型训练和识别方法与装置
CN113553970A (zh) * 2021-07-29 2021-10-26 广联达科技股份有限公司 一种行人重识别的方法、装置、设备及可读存储介质
CN113743313A (zh) * 2021-09-06 2021-12-03 北京易华录信息技术股份有限公司 一种行人识别方法、装置及电子设备
CN113780243A (zh) * 2021-09-29 2021-12-10 平安科技（深圳）有限公司 行人图像识别模型的训练方法、装置、设备以及存储介质
CN113780243B (zh) * 2021-09-29 2023-10-17 平安科技（深圳）有限公司 行人图像识别模型的训练方法、装置、设备以及存储介质
CN113936302A (zh) * 2021-11-03 2022-01-14 厦门市美亚柏科信息股份有限公司 行人重识别模型的训练方法、装置、计算设备及存储介质
CN113936302B (zh) * 2021-11-03 2023-04-07 厦门市美亚柏科信息股份有限公司 行人重识别模型的训练方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN111967429B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111967429B (zh) 一种基于主动学习的行人重识别模型训练方法及装置
WO2022000426A1 (zh) 基于孪生深度神经网络的动目标分割方法及系统
CN108710865B (zh) 一种基于神经网络的司机异常行为检测方法
US11495264B2 (en) Method and system of clipping a video, computing device, and computer storage medium
US11023715B2 (en) Method and apparatus for expression recognition
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN106570439B (zh) 一种车辆检测方法及装置
CN111046732A (zh) 一种基于多粒度语义解析的行人重识别方法及存储介质
CN113627402B (zh) 一种图像识别方法及相关装置
WO2021243947A1 (zh) 对象再识别方法及装置、终端和存储介质
CN112819065A (zh) 基于多重聚类信息的无监督行人难样本挖掘方法和系统
CN115294150A (zh) 一种图像处理方法和终端设备
CN112926379A (zh) 一种构建人脸识别模型的方法及装置
CN110222772B (zh) 一种基于块级别主动学习的医疗图像标注推荐方法
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
CN112528903B (zh) 人脸图像获取方法、装置、电子设备及介质
CN113255394A (zh) 基于无监督学习的行人再识别方法及系统
CN113936175A (zh) 一种识别视频中的事件的方法及系统
CN113989556A (zh) 一种小样本医学影像分类方法和系统
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
CN112750128B (zh) 图像语义分割方法、装置、终端及可读存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置
CN111143544B (zh) 一种基于神经网络的柱形图信息提取方法及装置
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20201120

Assignee: CSIC PRIDE(Nanjing)Intelligent Equipment System Co.,Ltd

Assignor: TSINGHUA University

Contract record no.: X2023320000119

Denomination of invention: A training method and device for pedestrian recognition model based on active learning

Granted publication date: 20221101

License type: Common License

Record date: 20230323