CN112818755B - 一种基于主动学习的步态识别方法 - Google Patents

一种基于主动学习的步态识别方法 Download PDF

Info

Publication number
CN112818755B
CN112818755B CN202110041665.7A CN202110041665A CN112818755B CN 112818755 B CN112818755 B CN 112818755B CN 202110041665 A CN202110041665 A CN 202110041665A CN 112818755 B CN112818755 B CN 112818755B
Authority
CN
China
Prior art keywords
model
samples
active learning
sample
sample selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110041665.7A
Other languages
English (en)
Other versions
CN112818755A (zh
Inventor
冯镔
胡滨
肖劲轩
刘文予
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110041665.7A priority Critical patent/CN112818755B/zh
Publication of CN112818755A publication Critical patent/CN112818755A/zh
Application granted granted Critical
Publication of CN112818755B publication Critical patent/CN112818755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于主动学习的步态识别方法，对待检测输入图像，使用主模型提取出特征矩阵，使用副模型对样本进行评估和筛选。在训练过程中，首先使用数量相对较少的已标注样本对主模型和副模型进行训练，然后对未标注的样本进行评估。在得到未标注样本的评估结果后，按照既定策略进行样本筛选，将筛选出的样本加入到已标注样本集中，输入模型中继续进行训练。本方法利用主动学习的思想，从未标注的数据样本中选取更有价值的样本进行标注训练，可以大大减少人工标注的代价。在数据样本有限时，本方法也可用来选取信息量相对更丰富的样本，使模型能够有针对性进行训练，从而在样本有限的情况下，尽可能利用样本多样性来提升模型的效果。

Description

一种基于主动学习的步态识别方法
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于主动学习的步态识别方法。
背景技术
步态识别是一种独特的生物识别技术，研究的是如何从人类走路的姿态中识别出目标的身份。与其他的生物识别技术，如面部识别、虹膜识别等方法相比，步态识别可以在较远距离进行识别，并且无需受配者的主动参与。因此，在预防犯罪、法医鉴定以及社会保障方面具有广泛的应用。
目前的步态识别方法主要是基于深度学习的方法，将图像输入到设计好的深度学习模型当中进行处理和匹配，从而达到识别的目的。这样的方法往往需要大量的数据。然而，大量的数据往往意味着需要大量的人力与时间，很多时候，这样巨大的标注代价是不可承受的。此外，在一些情况下，数据的获取比较困难，数据样本的数量比较有限。
因此，需要设计基于主动学习的步态识别方法，能够从大量数据中筛选出有训练价值的数据进行标注，从而减少标注代价；同时在数据样本数量有限时，能够尽可能有效利用数据样本的多样性来提升步态识别方法的识别性能。
发明内容
本发明的目的在于提供一种基于主动学习的步态识别方法，该方法可以有效地从数据集中找到信息量较大的数据进行标注，从而大大减少数据标注的代价。同时，在数据集数据量有限的时候，可以充分利用数据的多样性，达到提升性能的目的。
为了实现上述目的，本发明提供了一种基于主动学习的步态识别方法，包括下述步骤：
(1)生成轮廓数据集：
(1.1)对一段步态序列中的每一帧轮廓图，依据每一行的像素和不为0的原则，找上边和下边；
(1.2)根据上边和下边对轮廓图进行切割；
(1.3)对切割后的图进行resize操作，高度为64，宽度保持比例；
(1.4)依据每一列的和最大的为中心线原则，找到中心线；
(1.5)中心线左右各32像素进行切割，不够的补0；
(1.6)得到对齐后的轮廓图；
(2)初始化已标注集与未标注集：
将生成的轮廓数据集作为训练特征提取主模型和样本选择副模型的数据集。按照不同的应用场景选择相应的策略，对数据集进行初始化。当数据集样本数量庞大、需要高昂的代价进行人工标注时，初始化数据集的策略是：将轮廓数据集中已经进行了标注的数据设置为已标注集，轮廓数据集中未进行标注的数据设置为未标注集。当数据集样本数量有限、难以获取更多样本时，初始化数据集的策略是：随机从生成的轮廓数据集中选择一定数量的样本作为已标注集，其余的样本视为未标注样本，加入未标注集；
(3)训练特征提取主模型：
(3.1)将初始化好的已标注集样本输入到特征提取主模型当中。使用卷积神经网络和池化层，将已标注集样本从图像序列编码成具有代表性的特征；
(3.2)使用注意力机制，将每一个序列中最大的特征值、中间特征值和平均特征值进行叠加，作为每个序列在模型中的特征表示；
(3.3)得到每个序列的特征表示后，按照不同的尺度将特征进行分层叠加，得到序列多尺度的特征表示；
(3.4)使用损失函数对得到的特征进行评估，反向传播训练特征提取主模型；
(4)训练主动学习样本选择副模型：
(4.1)使用特征提取主模型提取好已标注集中样本的特征后，将提取好的特征输入到主动学习样本选择副模型当中。根据不同的应用场景，选择主动学习样本选择副模型的训练方式。
(4.2)当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的每个样本预测不确定分数，以特征提取主模型的损失函数值作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练。
(4.3)当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的样本预测目标标签，以每个样本的真实标签作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练。
(5)更新已标注集与未标注集：
将训练好的特征提取主模型和主动学习样本选择副模型设置为测试模式，使用特征提取主模型提取未标注集中样本的特征，输入到主动学习样本选择副模型中，主动学习样本选择副模型对未标注集中每一个样本进行评估，按照设定好的选择策略，根据每个样本的不确定性分数或离相应目标标签特征中心距离的大小，将未标注数据集中的样本进行排序，选取K个样本进行标注后加入到已标注集中。
(6)重复步骤(3)到(5)，直到已标注数据集中的样本数量达到预先设定好的容量。
本发明的一个实施例中，所述步骤(3.3)中的损失函数的计算过程为：根据(3.1)中提取出的每个序列的特征，计算不同样本之间的距离，使标签相同的样本距离尽可能近，标签不同的样本距离尽可能远。
本发明的一个实施例中，所述步骤(4.1)中主动学习样本选择副模型的使用过程具体为：根据需求场景的不同，选择相应的主动学习样本选择副模型筛选策略，使用特征提取主模型生成的特征矩阵进行联合训练；当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，主动学习样本选择副模型对未标注集中的样本进行困难度的评估，筛选出困难样本进行标记，加入到已标注集中，送入到特征提取主模型进行进一步的训练；当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，主动学习样本选择副模型对样本进行混淆度的评估；主动学习样本选择副模型预测未标注集中样本的目标标签，分别计算出每个目标标签下所有序列的中心特征，选择未标注集中离相应目标标签中心特征距离最远的样本作为混淆度最大的样本加入到已标注集中，送入到特征提取主模型中进行训练。
本发明的一个实施例中，所述步骤(4.2)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输入的特征，输出对样本预测的不确定值。
本发明的一个实施例中，所述步骤(4.2)中的主动学习样本选择副模型的损失函数计算方式为：利用特征提取主模型的损失函数值作为副模型的监督信息；由于特征提取主模型的损失函数值会随着训练动态变化，因此，在计算主动学习样本选择副模型的损失函数值时，进行成对样本损失函数相对值的比较；即比较成对的样本损失函数值相对大小，若主动学习样本选择副模型预测的损失函数值相对大小与特征提取主模型损失函数值相对大小相符合，则认定主动学习样本选择副模型的预测正确。
本发明的一个实施例中，所述步骤(4.3)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输入的特征，输出对样本预测的标签。
本发明的一个实施例中，所述步骤(4.3)中的主动学习样本选择副模型的损失函数计算方式为：主动学习样本选择副模型对已标注集样本预测的标签值与样本的真实标签值计算交叉熵，即为主动学习样本选择副模型的损失函数值。
本发明的一个实施例中，所述步骤(5)中的目标标签特征中心的计算方式为：利用特征提取主模型得到未标注集中所有序列的特征矩阵，根据主动学习样本选择副模型对未标注集中样本预测的目标标签，计算每个目标标签下所有序列特征矩阵每一个维度上的平均值，即为每个目标标签的中心特征。
本发明的一个实施例中，所述步骤(5)中的样本与对应目标标签特征中心距离计算公式为：
Figure BDA0002895568920000051
其中x表示对应序列的特征矩阵，c表示序列对应目标标签的特征中心矩阵；||x||和||c||分别表示序列特征矩阵的中心特征矩阵的L2范数。
本发明的一个实施例中，所述步骤(5)中的选择策略具体为：将主动学习样本选择副模块设置为测试模式；当主动学习样本选择副模型主要目的为降低标注代价时，主动学习样本选择副模型给每个未标注样本预测一个不确定性分数，根据输出的分数将未标注样本进行排序，选择K个不确定性最高的数据进行标注，然后加入到已标注集中；当主动学习样本选择副模型主要目的为利用样本多样性时，主动学习样本选择副模型预测每个未标注样本的标签，通过选取每个目标标签下所有序列中距离相应目标特征中心距离最远的K个未标注样本进行标注，然后加入到已标注集。
本发明的一个实施例中，所述步骤(5)中的K值一般选取为数据集样本总数的十分之一。
通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下技术效果：
(1)方法独特新颖：在现有技术中，还没有将主动学习结合到步态识别任务的方法，本发明提出的方法目前在步态识别领域中比较新颖；
(2)结构简单有效：本发明方法相对于其他的主动学习方法，结构简单，设置一个副模型，利用主模型提取出的特征，使用简单的网络结构或者机器学习方法，对数据进行评估，结构简单但是效果明显；
(3)可移植性高：本发明方法不依赖于主模型的结构，只需要简单利用主模型输出的特征或中间层的特征来对样本进行不确定性或多样性的预测，主模型的结构改变不影响副模型的设计，可以与各种步态识别模型进行适配；
(4)鲁棒性强：本发明的副模型使用主模型的输出作为输入来对样本数据进行评估，可以使用简单的结构有效利用样本的步态信息，同时，副模型的关注重点在于数据的相对变化，因此能够适应不同的数据，鲁棒性强。
附图说明
图1是本发明一种基于主动学习的步态识别方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
以下首先就本发明的技术术语进行解释和说明：
CASIA-B数据集：包含124人，来自11个视角，每个视角包括10个视频，这10个视频中，共有124位行人，故共计13640个序列，3种表现变化(背包，穿大衣，普通行走)，在这10个视频中，6个是正常视频(简称nm，其中4个是gallery，2个为prob)，两个穿大衣视频(简称cl，均为prob)，2个带包视频(简称bg，均为prob)。数据格式为‘xxx-mm-nn-ttt.avi’
其中：
xxx:subject id,from 001to 124
mm:walking status,can be‘nm’(normal),‘cl’(in a coat)or‘bg’(with abag)
nn:sequence number
ttt:view angel,can be‘000’,‘018’,…,‘180’
卷积神经网络：一类包含有卷积操作且具有深度结构的前馈神经网络，通过卷积核的参数学习对输入进行表征学习；
池化层：一般在卷积层之间进行使用，用来进行特征参数的降维；
注意力机制：是一种通过学习资源分配机制，网络通过学习对象的特征，找到特征中相对重要和不重要的部分，通过加强重要的部分，抑制不重要的部分来使网络能够学到更重要的信息。
如图1所示，本发明提供了一种基于主动学习的步态识别方法，包括以下步骤：
(1)生成轮廓数据集：
(1.1)对一段步态序列中的每一帧轮廓图，依据每一行的像素和不为0的原则，找上边和下边；
(1.2)根据上边和下边对轮廓图进行切割；
(1.3)对切割后的图进行resize操作，高度为64，宽度保持比例；
(1.4)依据每一列的和最大的为中心线原则，找到中心线；
(1.5)中心线左右各32像素进行切割，不够的补0；
(1.6)得到对齐后的轮廓图；
(2)初始化已标注集与未标注集：
将生成的轮廓数据集作为训练特征提取主模型和样本选择副模型的数据集。按照不同的应用场景选择相应的策略，对数据集进行初始化。当数据集样本数量庞大、需要高昂的代价进行人工标注时，初始化数据集的策略是：将轮廓数据集中已经进行了标注的数据设置为已标注集，轮廓数据集中未进行标注的数据设置为未标注集。当数据集样本数量有限、难以获取更多样本时，初始化数据集的策略是：随机从生成的轮廓数据集中选择一定数量的样本作为已标注集，其余的样本视为未标注样本，加入未标注集；
(3)训练特征提取主模型：
(3.1)将初始化好的已标注集样本输入到特征提取主模型当中。使用卷积神经网络和池化层，将已标注集样本从图像序列编码成具有代表性的特征；
(3.2)使用注意力机制，将每一个序列中最大的特征值、中间特征值和平均特征值进行叠加，作为每个序列在模型中的特征表示；
(3.3)得到每个序列的特征表示后，按照不同的尺度将特征进行分层叠加，得到序列多尺度的特征表示；
(3.4)使用损失函数对得到的特征进行评估，反向传播训练特征提取主模型；
(4)训练主动学习样本选择副模型：
(4.1)使用特征提取主模型提取好已标注集中样本的特征后，将提取好的特征输入到主动学习样本选择副模型当中。根据不同的应用场景，选择主动学习样本选择副模型的训练方式。
(4.2)当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的每个样本预测不确定分数，以特征提取主模型的损失函数值作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练。
(4.3)当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的样本预测目标标签，以每个样本的真实标签作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练。
(5)更新已标注集与未标注集：
将训练好的特征提取主模型和主动学习样本选择副模型设置为测试模式，使用特征提取主模型提取未标注集中样本的特征，输入到主动学习样本选择副模型中，主动学习样本选择副模型对未标注集中每一个样本进行评估，按照设定好的选择策略，根据每个样本的不确定性分数或离相应目标标签特征中心距离的大小，将未标注数据集中的样本进行排序，选取K个样本进行标注后加入到已标注集中。
(6)重复步骤(3)到(5)，直到已标注数据集中的样本数量达到预先设定好的容量。
以下通过实验实例来证明本发明的有效性，实验结果证明本发明能够提高图像识别的识别准确率。
本发明在数据集上，与我们使用的基础网络进行了对比，表1是本发明方法在该数据集上的精度，其中Random表示随机选取样本加入标注集，Active表示我们使用的主动学习模型选取样本加入标注集，Backbone表示普通的步态识别方法使用全部数据集的结果，Backbone-75％表示使用主动学习样本选择模块筛选出的75％的数据量达到的性能。NM,BG,CL分别表示在目标正常行走、背包和身穿大衣三种状态下的识别准确率。结果的数值越大表示图像识别的准确率越高，从表中可以看到，本发明方法提升非常明显。在仅使用75％的数据量进行训练时，达到的性能已经跟Backbone使用全部数据达到的性能相近。
表1在CASIA-B数据集上的精度
Figure BDA0002895568920000091
Figure BDA0002895568920000101
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于主动学习的步态识别方法，其特征在于，所述方法包括下述步骤：
(1)生成轮廓数据集：
(1.1)对一段步态序列中的每一帧轮廓图，依据每一行的像素和不为0的原则，找上边和下边；
(1.2)根据上边和下边对轮廓图进行切割；
(1.3)对切割后的图进行resize操作，高度为64，宽度保持比例；
(1.4)依据每一列的和最大的为中心线原则，找到中心线；
(1.5)中心线左右各32像素进行切割，不够的补0；
(1.6)得到对齐后的轮廓图；
(2)初始化已标注集与未标注集：
将生成的轮廓数据集作为训练特征提取主模型和样本选择副模型的数据集，按照不同的应用场景选择相应的策略，对数据集进行初始化，当数据集样本数量庞大、需要高昂的代价进行人工标注时，初始化数据集的策略是：将轮廓数据集中已经进行了标注的数据设置为已标注集，轮廓数据集中未进行标注的数据设置为未标注集，当数据集样本数量有限、难以获取更多样本时，初始化数据集的策略是：随机从生成的轮廓数据集中选择一定数量的样本作为已标注集，其余的样本视为未标注样本，加入未标注集；
(3)训练特征提取主模型：
(3.1)将初始化好的已标注集样本输入到特征提取主模型当中，使用卷积神经网络和池化层，将已标注集样本从图像序列编码成具有代表性的特征；
(3.2)使用注意力机制，将每一个序列中最大的特征值、中间特征值和平均特征值进行叠加，作为每个序列在模型中的特征表示；
(3.3)得到每个序列的特征表示后，按照不同的尺度将特征进行分层叠加，得到序列多尺度的特征表示；
(3.4)使用损失函数对得到的特征进行评估，反向传播训练特征提取主模型；
(4)训练主动学习样本选择副模型：
(4.1)使用特征提取主模型提取好已标注集中样本的特征后，将提取好的特征输入到主动学习样本选择副模型当中，根据不同的应用场景，选择主动学习样本选择副模型的训练方式；
(4.2)当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的每个样本预测不确定分数，以特征提取主模型的损失函数值作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练；
(4.3)当数据集的数量比较有限、新样本获取困难，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，根据特征提取主模型提取出的特征，主动学习样本选择副模型对已标注集中的样本预测目标标签，以每个样本的真实标签作为真实值，计算主动学习样本选择副模型的损失函数值，反向传播进行训练；
(5)更新已标注集与未标注集：
将训练好的特征提取主模型和主动学习样本选择副模型设置为测试模式，使用特征提取主模型提取未标注集中样本的特征，输入到主动学习样本选择副模型中，主动学习样本选择副模型对未标注集中每一个样本进行评估，按照设定好的选择策略，根据每个样本的不确定性分数或离相应目标标签特征中心距离的大小，将未标注数据集中的样本进行排序，选取K个样本进行标注后加入到已标注集中；
(6)重复步骤(3)到(5)，直到已标注数据集中的样本数量达到预先设定好的容量。
2.根据权利要求1所述的基于主动学习的步态识别方法，其特征在于，所述步骤(3.3)中的损失函数的计算过程为：根据(3.1)中提取出的每个序列的特征，计算不同样本之间的距离，使标签相同的样本距离尽可能近，标签不同的样本距离尽可能远。
3.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.1)中主动学习样本选择副模型的使用过程具体为：根据需求场景的不同，选择相应的主动学习样本选择副模型筛选策略，使用特征提取主模型生成的特征矩阵进行联合训练；当数据样本数量庞大，需要大量的标注，标注代价高昂，主动学习样本选择副模型的主要目的是降低标注代价时，主动学习样本选择副模型对未标注集中的样本进行困难度的评估，筛选出困难样本进行标记，加入到已标注集中，送入到特征提取主模型进行进一步的训练；当数据集的数量比较有限，主动学习样本选择副模型的主要目的是充分利用数据样本的多样性时，主动学习样本选择副模型对样本进行混淆度的评估；主动学习样本选择副模型预测未标注集中样本的目标标签，分别计算出每个目标标签下所有序列的中心特征，选择未标注集中离相应目标标签中心特征距离最远的样本作为混淆度最大的样本加入到已标注集中，送入到特征提取主模型中进行训练。
4.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.2)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输入的特征，输出对样本预测的不确定值。
5.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.2)中的主动学习样本选择副模型的损失函数计算方式为：利用特征提取主模型的损失函数值作为副模型的监督信息；由于特征提取主模型的损失函数值会随着训练动态变化，因此，在计算主动学习样本选择副模型的损失函数值时，进行成对样本损失函数相对值的比较；即比较成对的样本损失函数值相对大小，若主动学习样本选择副模型预测的损失函数值相对大小与特征提取主模型损失函数值相对大小相符合，则认定主动学习样本选择副模型的预测正确。
6.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.3)中的主动学习样本选择副模型的具体训练方式为：利用特征提取主模型输出的特征矩阵作为输入，使用池化层和全连接层处理输入的特征，输出对样本预测的标签。
7.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(4.3)中的主动学习样本选择副模型的损失函数计算方式为：主动学习样本选择副模型对已标注集样本预测的标签值与样本的真实标签值计算交叉熵，即为主动学习样本选择副模型的损失函数值。
8.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(5)中的目标标签特征中心的计算方式为：利用特征提取主模型得到未标注集中所有序列的特征矩阵，根据主动学习样本选择副模型对未标注集中样本预测的目标标签，计算每个目标标签下所有序列特征矩阵每一个维度上的平均值，即为每个目标标签的中心特征。
9.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(5)中的样本与对应目标标签特征中心距离计算公式为：
Figure FDA0003540293250000041
其中x表示对应序列的特征矩阵，c表示序列对应目标标签的特征中心矩阵；||x||和||c||分别表示序列特征矩阵的中心特征矩阵的L2范数。
10.根据权利要求1或2所述的基于主动学习的步态识别方法，其特征在于，所述步骤(5)中的选择策略具体为：将主动学习样本选择副模块设置为测试模式；当主动学习样本选择副模型主要目的为降低标注代价时，主动学习样本选择副模型给每个未标注样本预测一个不确定性分数，根据输出的分数将未标注样本进行排序，选择K个不确定性最高的数据进行标注，然后加入到已标注集中；当主动学习样本选择副模型主要目的为利用样本多样性时，主动学习样本选择副模型预测每个未标注样本的标签，通过选取每个目标标签下所有序列中距离相应目标特征中心距离最远的K个未标注样本进行标注，然后加入到已标注集。
CN202110041665.7A 2021-01-13 2021-01-13 一种基于主动学习的步态识别方法 Active CN112818755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110041665.7A CN112818755B (zh) 2021-01-13 2021-01-13 一种基于主动学习的步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110041665.7A CN112818755B (zh) 2021-01-13 2021-01-13 一种基于主动学习的步态识别方法

Publications (2)

Publication Number Publication Date
CN112818755A CN112818755A (zh) 2021-05-18
CN112818755B true CN112818755B (zh) 2022-05-06

Family

ID=75869150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110041665.7A Active CN112818755B (zh) 2021-01-13 2021-01-13 一种基于主动学习的步态识别方法

Country Status (1)

Country Link
CN (1) CN112818755B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658109A (zh) * 2021-07-22 2021-11-16 西南财经大学 一种基于领域损失预测主动学习的玻璃缺陷检测方法
CN113487617A (zh) * 2021-07-26 2021-10-08 推想医疗科技股份有限公司 数据处理方法、装置、电子设备以及存储介质
CN114140873A (zh) * 2021-11-09 2022-03-04 武汉众智数字技术有限公司 一种基于卷积神经网络多层次特征的步态识别方法
CN114596637B (zh) * 2022-03-23 2024-02-06 北京百度网讯科技有限公司 图像样本数据增强训练方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726654A (zh) * 2018-12-19 2019-05-07 河海大学 一种基于生成对抗网络的步态识别方法
CN110309810A (zh) * 2019-07-10 2019-10-08 华中科技大学 一种基于批次中心相似度的行人重识别方法
CN111191732A (zh) * 2020-01-03 2020-05-22 天津大学 一种基于全自动学习的目标检测方法
CN111310799A (zh) * 2020-01-20 2020-06-19 中国人民大学 一种基于历史评估结果的主动学习算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208376B2 (en) * 2013-05-17 2015-12-08 Tata Consultancy Services Identification of people using multiple skeleton recording devices
US10595039B2 (en) * 2017-03-31 2020-03-17 Nvidia Corporation System and method for content and motion controlled action video generation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726654A (zh) * 2018-12-19 2019-05-07 河海大学 一种基于生成对抗网络的步态识别方法
CN110309810A (zh) * 2019-07-10 2019-10-08 华中科技大学 一种基于批次中心相似度的行人重识别方法
CN111191732A (zh) * 2020-01-03 2020-05-22 天津大学 一种基于全自动学习的目标检测方法
CN111310799A (zh) * 2020-01-20 2020-06-19 中国人民大学 一种基于历史评估结果的主动学习算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Novel Serial Multimodal Biometrics Framework Based on Semisupervised Learning Techniques;Qing Zhang 等;《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》;20141031;第1681-1694页 *
GaitPart: Temporal Part-based Model for Gait Recognition;Chao Fan等;《CVPR 2020》;20201231;第14225-14233页 *
构建基于小波熵的自训练半监督支持向量机分类模型评价老年人步态;吴建宁 等;《中国生物医学工程学报》;20131031;第32卷(第5期);第588-594页 *
视觉注意原理局部特征的行人检测;刘俊涛 等;《中国图象图形学报》;20120331;第17卷(第3期);第370-379页 *

Also Published As

Publication number Publication date
CN112818755A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112818755B (zh) 一种基于主动学习的步态识别方法
CN111814584B (zh) 基于多中心度量损失的多视角环境下车辆重识别方法
CN105373777B (zh) 一种用于人脸识别的方法及装置
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN104463209A (zh) 一种基于bp神经网络的pcb板上数字代码识别方法
Chanti et al. Improving bag-of-visual-words towards effective facial expressive image classification
CN110443257B (zh) 一种基于主动学习的显著性检测方法
KR20180038169A (ko) 딥 러닝 기반의 데이터특징을 이용한 도시영상의 안전도 분류방법
CN103839033A (zh) 一种基于模糊规则的人脸识别方法
CN107944398A (zh) 基于深度特征联合表示图像集人脸识别方法、装置和介质
CN106611156B (zh) 一种自适应深度空间特征的行人识别方法和系统
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
CN116385832A (zh) 双模态生物特征识别网络模型训练方法
CN106529490B (zh) 基于稀疏自编码码本实现笔迹鉴别的系统及方法
Ngxande et al. Detecting inter-sectional accuracy differences in driver drowsiness detection algorithms
Suratkar et al. Deep-fake video detection approaches using convolutional–recurrent neural networks
EP1480167A1 (en) Pattern feature selection method, classification method, judgment method, program, and device
CN113762041A (zh) 视频分类方法、装置、计算机设备和存储介质
CN117576781A (zh) 基于行为识别的训练强度监测系统及方法
Thepade et al. Enhanced face presentation attack prevention employing feature fusion of pre-trained deep convolutional neural network model and thepade's sorted block truncation coding
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN114973107B (zh) 基于多鉴别器协同和强弱共享机制的无监督跨域视频动作识别方法
Ma et al. Bottleneck feature extraction-based deep neural network model for facial emotion recognition
CN105718858A (zh) 一种基于正负广义最大池化的行人识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant