CN112446361A - 一种训练数据的清洗方法及设备 - Google Patents

一种训练数据的清洗方法及设备 Download PDF

Info

Publication number
CN112446361A
CN112446361A CN202011488865.9A CN202011488865A CN112446361A CN 112446361 A CN112446361 A CN 112446361A CN 202011488865 A CN202011488865 A CN 202011488865A CN 112446361 A CN112446361 A CN 112446361A
Authority
CN
China
Prior art keywords
human body
picture
class
pictures
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011488865.9A
Other languages
English (en)
Inventor
姬东飞
段魁
陈新泽
黄冠
都大龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinyi Intelligent Technology Co ltd
Original Assignee
Shanghai Xinyi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinyi Intelligent Technology Co ltd filed Critical Shanghai Xinyi Intelligent Technology Co ltd
Priority to CN202011488865.9A priority Critical patent/CN112446361A/zh
Publication of CN112446361A publication Critical patent/CN112446361A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请的目的是提供一种训练数据的清洗方法及设备，本申请通过获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征；基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇；根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据；根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。从而提高了大规模室外多场景的行人重识别精度和数据清洗速度，提高了模型训练效果。

Description

一种训练数据的清洗方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种训练数据的清洗方法及设备。
背景技术
行人重识别数据标注是将跨摄像头的同一行人标注为同一行人唯一标识码(id)，现有方案均只考虑了同一id的类内标注，即只保证了同一训练数据文件夹下都是同一个人，未考虑到不同文件夹的数据之间也是同一个人的情况，也就是说，同一个id可能会出现在两个文件夹，这将直接导致训练数据的不稳定，进而影响算法训练效果。同时，现有方案大多针对于单一室内固定场所，如超市等，并不适用于大规模室外多场景的层次化视频数据。考虑到在开放的多场景下行人重识别模型受各种因素干扰导致提取行人特征能力较差的情况，聚类效果会大大降低。
发明内容
本申请的一个目的是提供一种训练数据的清洗方法及设备，解决现有技术中大规模室外多场景的行人重识别精度低下以及模型训练效果差的问题。
根据本申请的一个方面，提供了一种训练数据的清洗方法，该方法包括：
获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征；
基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇；
根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据；
根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。
进一步地，根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据，包括：
根据预设人体图片数量阈值以及所述人体特征对每一个初始图片簇进行聚类处理，得到清洗后的类内数据，其中，所述清洗后的类内数据包括具有唯一标识码的目标图片簇。
进一步地，根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据，包括：
计算所有目标图片簇的类间相似度矩阵以确定两两目标图片簇之间的类间相似度，合并大于预设类间相似阈值的类间相似度对应的图片簇得到清洗后的类间数据。
进一步地，所述识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征，包括：
使用预设人体检测模型检测每一张待检测图片，得到每一张待检测图片中的人体框；
使用预设人体关键点模型对人体框内的像素进行检测确定人体关键点，使用预设人体特征提取模型对所述人体框内的像素进行计算确定人体特征。
进一步地，所述根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇，包括：
根据等间隔划分后的待检测图片对应的每一个人体框确定人体图片；
将所述等间隔划分后的待检测图片对应的多张人体图片作为初始图片簇。
进一步地，所述根据预设人体框数量阈值以及所述人体特征对每一个初始图片簇进行聚类处理，得到清洗后的类内数据，包括：
删除人体图片数量小于预设人体图片数量阈值的初始图片簇，使用预设聚类算法对剩余的每一个初始图片簇分别进行聚类得到每一个初始图片簇对应的多个聚类簇，将行人图片数量最大的聚类簇中的行人图片作为聚类后的初始图片簇；
计算所述聚类后的初始图片簇中的全部人体图片的特征均值，根据每一张人体图片的人体特征的特征值和所述特征均值对所述聚类后的初始图片簇中的每一张人体图片进行筛选处理，得到目标图片簇。
进一步地，所述根据每一张人体图片的人体特征的特征值和所述特征均值对所述聚类后的初始图片簇中的人体图片进行筛选处理，包括：
计算聚类后的初始图片簇中每一张人体图片的人体特征的特征值和所述特征均值的相似度，判断所述聚类后的初始图片簇中是否存在所述相似度小于预设类内相似阈值的人体图片，
若是，则在所述聚类后的初始图片簇中删除所述相似度对应的人体图片，重新计算所述特征均值。
进一步地，计算所有目标图片簇的类间相似度矩阵，包括：
将每一个目标图片簇的平均特征排列为特征矩阵，根据所述特征矩阵确定对应的转置矩阵，将所述特征矩阵与所述对应的转置矩阵进行矩阵相乘，得到类间相似度矩阵。
进一步地，将所有目标图片簇的特征排列为矩阵之前，还包括：
对目标图片簇中的人体图片或所述人体图片对应的特征进行指定方式处理，其中，所述指定方式包括翻转测试、查询拓展以及二次重排序。
进一步地，对所述待处理视频进行抽帧得到待检测图片，包括：
对所述待处理视频中大于预设时长的视频片段使用第一抽帧间隔进行抽帧得到待检测图片，对所述待处理视频中小于等于预设时长的视频片段使用第二抽帧间隔进行抽帧得到待检测图片，其中，所述第一抽帧间隔大于所述第二抽帧间隔。
进一步地，所述获取多位置下的多时间段的待处理视频包括：
分别获取设置于各个区域位置下的每个摄像头的全部时间段视频或指定时间段视频。
根据本申请的另一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述任一项所述的方法。
根据本申请的再一个方面，还提供了一种训练数据的清洗设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述任一项所述方法的操作。
与现有技术相比，本申请通过获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征；基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇；根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据；根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。从而提高了大规模室外多场景的行人重识别精度，并大大提高了模型训练效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个方面提供的一种训练数据的清洗方法流程示意图；
图2示出本申请一优选实施例中的一种人体框以及人体关键点的清洗应用示意图；
图3示出本申请一优选实施例中的一种类内清洗的方法流程示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出根据本申请的一个方面提供的一种训练数据的清洗方法流程示意图，该方法包括：步骤S11～S14，其中，步骤S11，获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征；步骤S12，基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇；步骤S13，根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据；步骤S14，根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。从而提高了大规模室外多场景的行人重识别精度，加快了数据清洗速度，并大大提高了模型训练效果。
具体地，步骤S11，获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征。在此，本申请实际应用环境优选为行人重识别模型的训练数据清洗。多个位置下的多时间段可为多个区域位置下的多个摄像头的多时间段，从而可以分别获取各个区域位置下的各个摄像头的各个时间段视频作为待处理视频，对待处理视频进行抽帧得到待检测图片，其中，所述抽帧处理可以为将待处理视频的每一帧按照时间顺序进行截图以完成抽帧处理；接着，利用区域位置、摄像头、时间段这几个参数来将待处理视频数据进行层次分类。在本申请一优选实施例中，分别获取设置于各个区域位置下的每个摄像头的全部时间段视频或指定时间段视频，将获取到每个时间段的视频数据进行类内清洗处理，将进行了层次分类后的视频数据进行多次反复的类间清洗处理，例如先合并某一摄像头下的各个时间段视频对应的图片数据，再合并某一位置区域下的各个摄像头视频对应的图片数据，最终再合并各个位置区域视频对应的图片数据，大大提高了类间合并重复图片簇的效果，有效提升类间清洗效果，适用于开放的多场景数据标注，使用清洗后的数据来提供给人工标注，将大大减少人工标注的工作量，同时使用清洗后的数据来训练行人重识别模型，可以有效提高行人重识别模型提取行人特征的抗环境干扰能力。其中，所述指定时间段为早晚高峰时间段，仅获取指定时间段的视频可以减少总体数据处理量，进一步提升数据清洗效率。接着，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征。在此，可以使用预设的多个模型对每一张待检测图片进行识别，从而得到每一张待检测图片对应的人体框、人体关键点以及人体特征。
步骤S12，基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇。在此，基于待处理视频的帧数将对应的待检测图片按照时间顺序进行等间隔划分成多个待检测图片簇，然后将每个待检测图片簇中的所有人体框确定为一个初始图片簇，也就是说按照时间顺序基于待处理视频的帧数等间隔划分得到多个初始图片簇，而初始图片簇中仅包含经过检测得到的人体框内的像素。
步骤S13，根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据。在此，根据所述人体框以及所述人体特征来确定一个类，这个类即为一个行人，将这个行人作为目标行人，通过所述人体框以及人体特征筛选所有的待检测图片得到包含所述目标行人的所有图片，将这些图片标注为该行人，形成类内数据，也就是经过类内清洗的初始图片簇(初始id)。比如，统计每个初始id中的人体图片数量，将人体图片数量小于预设人体图片数量阈值的初始id删除，将剩余的每一个初始id分别进行聚类处理来完成类内清洗，以便于去除行人数量较少的初始图片簇和非目标行人，减少类间合并的干扰图片簇，提高后续类间清洗效果。优选地，可以使用唯一标识码(id)对每一个图片簇进行标识，将每一个图片簇作为一个类别进行标识以便于对所有图片簇进行后续的聚类处理，例如类内聚类处理、类间聚类处理等。
步骤S14，根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。在此，根据所述清洗后的类内数据中的所有图片的人体特征来计算类间相似度矩阵，每一个类的图片为类内图片，则可以将每一个类内的所有图片的人体特征均值作为该类的人体特征，根据每个类的人体特征来形成特征矩阵，根据特征矩阵确定类间相似度矩阵，计算所述类间相似度矩阵来确定两两类间图片簇之间的类间相似度。对此，可以设定预设类间相似度阈值，将大于所述预设类间相似度阈值的多个图片簇进行合并，完成类间清洗过程，合并后的图片簇作为清洗后的类间数据。优选地，在进行类内清洗以及类间清洗后，均可以发送给标注人员进行人工标注，例如确定类内图片簇的清洗是否正确，删除非目标行人的人体框，或者纠正模型输出不准的框，进一步提高类内清洗以及类间清洗效果。接着，将人工标注后的数据进行打包后形成训练数据集，使用所述训练数据集训练人体特征提取模型能够有效提高模型训练后的鲁棒性，大大提高聚类效果，其中，所述人体特征提取模型优选为行人重识别模型。
在本申请一优选实施例中，在步骤S13中，根据预设人体图片数量阈值以及所述人体特征分别对每一个初始图片簇进行聚类处理，得到清洗后的类内数据，其中，所述清洗后的类内数据包括具有唯一标识码的目标图片簇。在此，根据每一个初始图片簇包含的人体图片数量、预设人体框数量阈值和提取得到的人体特征筛选出包含了目标行人的图片，通过分别对每个初始图片簇的聚类处理来完成对类内的清洗处理，得到清洗后的类内数据，清洗后的单一类内数据为目标图片簇，该目标图片簇的每一张人体图片均为同一名行人的行人框。针对目标图片簇使用唯一标识码(id)进行标注，以便于标识同一行人。
在本申请一优选实施例中，在步骤S14中，计算所有目标图片簇的类间相似度矩阵以确定两两目标图片簇之间的类间相似度，合并大于预设类间相似阈值的类间相似度对应的图片簇得到清洗后的类间数据。在此，将每一个目标图片簇中所有人体图片提取出来的平均特征均写进一个矩阵内，得到所有目标图片簇的特征矩阵，可以根据所述特征矩阵来确定类间相似度矩阵，通过对所述类间相似度矩阵的单次计算即可得到两两目标图片簇之间的类间相似度，当所述类间相似度大于预设类间相似阈值时，合并所述类间相似度对应的两个目标图片簇，当所有目标图片簇中类间相似度大于预设类间相似阈值的图片簇均合并完成后，即完成了类间清洗，得到清洗后的类间数据。其中，所述类即为单个行人的唯一标识标注方式，不同的类代表不同的文件夹中的不同行人，通过上述两两目标图片簇的类间相似度计算以及合并。优选地，可以先将不同摄像头拍摄到的同一人的图片簇聚类合并在一起，然后可以将不同区域内的不同摄像头拍摄到的同一人的图片簇聚类合并在一起，以此完成类间清洗工作，减少合并重复目标图片簇时的干扰图片簇，有效提升了类间清洗的合并效果，提高了训练集标注的准确度。
在本申请一优选实施例中，在步骤S11中，使用预设人体检测模型检测每一张待检测图片，得到每一张待检测图片中的人体框；使用预设人体关键点模型对人体框内的像素进行检测确定人体关键点，使用预设人体特征提取模型所述人体框内的像素进行计算确定人体特征。在此，可以使用预设人体检测模型检测每一张待检测图片中的人体框，例如FasterRCNN、RetinaNet、全卷积一阶段目标检测算法(FCOS)、CenterNet、YOLO，使用预设人体特征提取模型对人体框内像素进行计算确定人体特征，例如卷积神经网络、聚合通道特征(ACF)和积分通道特征(ICF)等。
在本申请一优选实施例中，在步骤S12中，根据等间隔划分后的待检测图片对应的每一个人体框确定人体图片；将所述等间隔划分后的待检测图片对应的多张人体图片作为初始图片簇。在此，将等间隔划分后的待检测图片对应的每一个人体框作为人体图片形成初始图片簇，也就是初始图片簇中的每一张人体图片均对应为人体框内的像素。
在本申请一优选实施例中，在步骤S13中，删除人体图片数量小于预设人体图片数量阈值的初始图片簇，使用预设聚类算法对剩余的每一个初始图片簇分别进行聚类得到每一个初始图片簇对应的多个聚类簇，将行人图片数量最大的聚类簇中的行人图片作为聚类后的初始图片簇；计算所述所述聚类后的初始图片簇中的全部人体图片的特征均值，根据每一张人体图片的人体特征的特征值和所述特征均值对所述聚类后的初始图片簇中的每一张人体图片进行筛选处理，得到目标图片簇。在此，删除人体图片数量小于预设人体框数量阈值的初始图片簇，例如去除掉无人的视频片段对应的初始图片簇；接着，使用预设聚类算法对剩余的每一个初始聚类簇进行聚类，例如具有噪声的基于密度的聚类方法(dbscan)和图算法等，得到聚类后的初始图片簇，其中，使用聚类算法可以得到初始图片簇对应的多个聚类簇，只保留人体图片数量最多的聚类簇中的人体图片作为聚类后的初始图片簇，完成对每一个初始图片簇的聚类处理，减少后续的标注工作量。然后，计算所述聚类后的初始图片簇中所有人体图片的特征均值，根据聚类后的初始图片簇中每一张人体图片的人体特征的特征值和所述特征均值筛选所述初始图片簇中的所有人体图片，例如针对每一张人体图片来计算该人体图片对应的特征与聚类后的初始图片簇的特征均值的相似度来确认是否均为同一行人，去除聚类后的初始图片簇中并非同一行人的人体图片，来得到多个仅有单一行人的目标图片簇。优选地，基于人体关键点过滤掉目标图片簇中的非行人图片簇和被遮挡的行人图片簇。图2示出本申请一优选实施例中的一种人体框以及人体关键点的标注应用示意图，在此，可以使用预设人体关键点模型检测人体框中的像素得到人体关键点，例如高分辨率神经网络(HRNet)等，以过滤被遮挡的行人，减少遮挡对于行人识别的影响，所述人体关键点可以设置为多个人体关节部位。
在本申请一优选实施例中，在步骤S13中，计算聚类后的初始图片簇中每一张人体图片的人体特征的特征值和所述特征均值的相似度，判断所述聚类后的初始图片簇中是否存在所述相似度小于预设类内相似阈值的人体图片，若是，则在所述聚类后的初始图片簇中删除所述相似度对应的人体图片，重新计算所述特征均值。在此，通过设置预设类内相似阈值来删除非目标行人对应的所有人体图片，在每一轮判断中删除非目标行人对应的所有人体图片后重新计算剩余全部人体图片的特征均值，并进行循环判断剩余每一张人体图片的人体特征的特征值和更新后的特征均值的相似度，以精确地保留单一行人的人体图片，也就是保留单一类的人体图片，完成图片簇的类内清洗。
在本申请一优选实施例中，在步骤S14中，计算所有目标图片簇的类间相似度矩阵，将每一个目标图片簇的平均特征排列为特征矩阵，根据所述特征矩阵确定对应的转置矩阵，将所述特征矩阵与所述对应的转置矩阵进行矩阵相乘，得到类间相似度矩阵。在此，使用矩阵计算的方式加速类间相似度的计算过程，对于每一个类间都要遍历其余全部类间，计算较慢，因此可以把全部目标图片簇中每个目标图片簇的全部人体图片的平均特征拼成一个矩阵，用矩阵形式一次计算即可得到类间相似度，大大提高了计算速度和图片清洗速度。在本申请一实施例中，存在10个目标图片簇(目标id)，特征维度为128维，将这些目标id的特征排列为(10，128)大小的矩阵，然后将(10，128)与其转置矩阵(128，10)进行矩阵相乘，得到(10，10)的相似度矩阵，使用所述相似度矩阵能够一次计算出了全部两两目标图片簇之间的类间相似度。
在本申请一优选实施例中，将目标图片簇的所有特征排列为特征矩阵之前，对目标图片簇中的人体图片或所述人体图片对应的特征进行指定方式处理，其中，所述指定方式包括翻转测试、查询拓展以及二次重排序。在此，所述指定方式为后处理方式，可以提高不同图片簇之间的类间清洗效果。翻转测试(flip_test)，将所有图片簇中的人体图片经过翻转测试处理后，得到人体图片本身以及其经过纵轴翻转的人体图片，这样的图片输入行人重识别模型后，人体特征提取模型提取这两张图片的人体特征，级联后作为最终特征，其中，所述人体特征提取模型优选为行人重识别模型。因为对图片簇进行类间清洗相当于图像检索任务，也就是找出相似的多个图片簇并合并，使用查询拓展(query_expansion)，即可根据目标图片簇中的所有人体图片对应的特征均值来针对一个目标图片簇在剩余的所有图片簇中查询一遍，确认最相似的n个图片簇，然后使用该n+1个图片簇的平均特征对目标图片簇的特征均值进行更新，而后根据所述更新后的特征均值再次对剩余的所有图片簇进行查询，循环上述过程。二次重排序(rerank)作为query_expansion的改进方法，不仅包括query_expansion，还引入K近邻以及杰卡德距离进行联合重新排序，能有效图片簇的提高类间清洗效果。
在本申请一优选实施例中，使用基于人体关键点对人体框进行随机截断处理后的训练数据训练人体特征提取模型，得到所述预设人体特征提取模型。在此，所述训练数据为公开训练集，将公开训练集中的数据使用本申请中的预设模型进行检测后得到人体关键点、人体特征和人体框，根据所述人体关键点对人体框进行随机截断处理，其中，针对人体框中的像素进行检测后得到了人体框中的人体关键点，例如头部、胯部、肩部、膝盖、脚踝等关节处，根据人体关键点对人体框进行随机截断处理，也就是在关键点处将行人框内的像素进行区域划分，这里的区域划分也就是图片裁切处理，使用经过随机截断处理后的公开训练集训练后得到的预设人体特征提取模型，能够将本申请中的初始图片簇聚类得到行人的全身图、行人的半身图乃至行人身体的局部图片，最后聚类得到的初始图片簇中包含了该行人的全身图以及随机位置截断的半身图、局部图。通过有效提高训练后得到的预设人体特征提取模型的鲁棒性，大大提升预设人体特征提取模型聚类效果。使用上述方式处理公开训练集得到其对应的清洗后的类内数据来更新迭代人体特征提取模型，得到预设人体特征提取模型，可以进一步提升本申请的数据清洗效果，其中，所述人体特征提取模型优选为行人重识别模型。
在本申请一优选实施例中，在步骤S11中，对所述待处理视频中大于预设时长的视频片段使用第一抽帧间隔进行抽帧得到待检测图片，对所述待处理视频中小于等于预设时长的视频片段使用第二抽帧间隔进行抽帧得到待检测图片，其中，所述第一抽帧间隔大于所述第二抽帧间隔。在此，设定的预设时长可以由用户根据需求自由设置。由于某一行人出现在了某些区域位置的某些摄像头下的一些时间段的视频内，即同一行人会出现在很多个小段落的视频中，那么这些小段落有长有短，有些行人可能站在那里和别人聊天不移动，出现的时间段自然就长；有些摄像头的拍摄区域大，同一行人出现时间就长，有些摄像头的拍摄区域小，同一行人出现时间就短。因为提供给标注人员的图片数量多少，会直接影响标注速度与工作量，同时也会影响类内类间清洗的工作量。因此针对视频片段较长的，抽帧间隔大一些；针对视频片段较短的，抽帧间隔小一些，以便于减少类内类间清洗工作量，加快后续标注速度，同时根据这样的抽帧方式可以让类内图片的人体特征变化更剧烈，以使得训练后的行人重识别模型鲁棒性更高。
图3示出本申请一优选实施例中的一种类内清洗的方法流程示意图，其中，所述id为同一目标行人的唯一标识码对应的文件夹，将视频数据每隔固定帧数切割后得到的待检测图片中的行人框对应的多张人体图片作为初始图片簇，只保留大于预设人体图片数量阈值的初始图片簇，接着使用聚类算法(dbscan)分别对每一个初始图片簇中的全部人体图片进行聚类，每一个初始图片簇经过聚类后得到多个聚类簇，记多个聚类簇中的第i个聚类簇包含的人体图片数量为Ni，其中i为正整数。接着，只保留人体图片数量Ni最大的对应聚类簇中的人体图片，计算保留的全部人体图片的特征均值并标准化，记为初始图片簇的代表特征m。遍历当前初始图片簇中的每一张人体图片，使用一维矩阵相乘的方式计算其特征与代表特征m的相似度。判断所述相似度是否大于预设类内相似阈值，若是，则输出为清洗后的类内数据；若否，则在初始图片簇id中去掉该人体图片，重新计算剩余全部人体图片的特征均值，作为新的代表特征。优选地，可根据预设迭代次数，循环该过程。
本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述一种训练数据的标注方法。
与上文所述的方法相对应的，本申请还提供一种终端，其包括能够执行上述图1或图2或图3或各个实施例所述的方法步骤的模块或单元，这些模块或单元可以通过硬件、软件或软硬结合的方式来实现，本申请并不限定。例如，在本申请一实施例中，还提供了一种训练数据的清洗设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行前述所述一种训练数据的清洗方法的操作。
例如，计算机可读指令在被执行时使所述一个或多个处理器：
获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征；基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇；根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据；根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (13)

1.一种训练数据的清洗方法，其中，所述方法包括：
获取多位置下的多时间段的待处理视频，对所述待处理视频进行抽帧得到待检测图片，识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征；
基于待处理视频的帧数对所有待检测图片依序进行等间隔划分，根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇；
根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据；
根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据。
2.根据权利要求1所述的方法，其中，根据所述人体框以及所述人体特征对每一个初始图片簇进行类内清洗，得到清洗后的类内数据，包括：
根据预设人体图片数量阈值以及所述人体特征对每一个初始图片簇进行聚类处理，得到清洗后的类内数据，其中，所述清洗后的类内数据包括具有唯一标识码的目标图片簇。
3.根据权利要求2所述的方法，其中，根据所述清洗后的类内数据计算类间相似度，对所述类间相似度对应的图片簇进行合并，得到清洗后的类间数据，包括：
计算所有目标图片簇的类间相似度矩阵以确定两两目标图片簇之间的类间相似度，合并大于预设类间相似阈值的类间相似度对应的图片簇得到清洗后的类间数据。
4.根据权利要求1所述的方法，其中，所述识别每一张待检测图片对应的人体框，根据所述人体框提取人体关键点和人体特征，包括：
使用预设人体检测模型检测每一张待检测图片，得到每一张待检测图片中的人体框；
使用预设人体关键点模型对人体框内的像素进行检测确定人体关键点，使用预设人体特征提取模型对所述人体框内的像素进行计算确定人体特征。
5.根据权利要求1所述的方法，其中，所述根据等间隔划分后的多张待检测图片对应的每一个人体框确定初始图片簇，包括：
根据等间隔划分后的待检测图片对应的每一个人体框确定人体图片；
将所述等间隔划分后的待检测图片对应的多张人体图片作为初始图片簇。
6.根据权利要求2或5所述的方法，其中，所述根据预设人体框数量阈值以及所述人体特征对每一个初始图片簇进行聚类处理，得到清洗后的类内数据，包括：
删除人体图片数量小于预设人体图片数量阈值的初始图片簇，使用预设聚类算法对剩余的每一个初始图片簇分别进行聚类得到每一个初始图片簇对应的多个聚类簇，将行人图片数量最大的聚类簇中的行人图片作为聚类后的初始图片簇；
计算所述聚类后的初始图片簇中的全部人体图片的特征均值，根据每一张人体图片的人体特征的特征值和所述特征均值对所述聚类后的初始图片簇中的每一张人体图片进行筛选处理，得到目标图片簇。
7.根据权利要求6所述的方法，其中，所述根据每一张人体图片的人体特征的特征值和所述特征均值对所述聚类后的初始图片簇中的人体图片进行筛选处理，包括：
计算聚类后的初始图片簇中每一张人体图片的人体特征的特征值和所述特征均值的相似度，判断所述聚类后的初始图片簇中是否存在所述相似度小于预设类内相似阈值的人体图片，
若是，则在所述聚类后的初始图片簇中删除所述相似度对应的人体图片，重新计算所述特征均值。
8.根据权利要求3所述的方法，其中，计算所有目标图片簇的类间相似度矩阵，包括：
将每一个目标图片簇的平均特征排列为特征矩阵，根据所述特征矩阵确定对应的转置矩阵，将所述特征矩阵与所述对应的转置矩阵进行矩阵相乘，得到类间相似度矩阵。
9.根据权利要求8所述的方法，其中，将目标图片簇的所有特征排列为特征矩阵之前，还包括：
对目标图片簇中的人体图片或所述人体图片对应的特征进行指定方式处理，其中，所述指定方式包括翻转测试、查询拓展以及二次重排序。
10.根据权利要求1所述的方法，其中，对所述待处理视频进行抽帧得到待检测图片，包括：
对所述待处理视频中大于预设时长的视频片段使用第一抽帧间隔进行抽帧得到待检测图片，对所述待处理视频中小于等于预设时长的视频片段使用第二抽帧间隔进行抽帧得到待检测图片，其中，所述第一抽帧间隔大于所述第二抽帧间隔。
11.根据权利要求1所述的方法，其中，所述获取多位置下的多时间段的待处理视频包括：
分别获取设置于各个区域位置下的每个摄像头的全部时间段视频或指定时间段视频。
12.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1至11中任一项所述的方法。
13.一种训练数据的清洗设备，其中，所述设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至11中任一项所述方法的操作。
CN202011488865.9A 2020-12-16 2020-12-16 一种训练数据的清洗方法及设备 Pending CN112446361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011488865.9A CN112446361A (zh) 2020-12-16 2020-12-16 一种训练数据的清洗方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011488865.9A CN112446361A (zh) 2020-12-16 2020-12-16 一种训练数据的清洗方法及设备

Publications (1)

Publication Number Publication Date
CN112446361A true CN112446361A (zh) 2021-03-05

Family

ID=74739126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011488865.9A Pending CN112446361A (zh) 2020-12-16 2020-12-16 一种训练数据的清洗方法及设备

Country Status (1)

Country Link
CN (1) CN112446361A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373212A (zh) * 2022-01-10 2022-04-19 中国民航信息网络股份有限公司 人脸识别模型构建方法、人脸识别方法及相关设备
CN115567719A (zh) * 2022-08-23 2023-01-03 天津市国瑞数码安全系统股份有限公司 一种多层次卷积的视频压缩方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909049A (zh) * 2017-11-29 2018-04-13 广州大学 基于最小二乘判别分析距离学习的行人重识别方法
CN108052485A (zh) * 2017-12-15 2018-05-18 东软集团股份有限公司 向量相似度的分布式计算方法和装置，存储介质和节点
CN108171181A (zh) * 2017-12-31 2018-06-15 南昌大学 一种适用于家居内的人体摔倒检测方法
CN109101620A (zh) * 2018-08-08 2018-12-28 广州神马移动信息科技有限公司 相似度计算方法、聚类方法、装置、存储介质及电子设备
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110991283A (zh) * 2019-11-21 2020-04-10 北京格灵深瞳信息技术有限公司 重识别及训练数据获取方法、装置、电子设备及存储介质
CN110991389A (zh) * 2019-12-16 2020-04-10 西安建筑科技大学 判断目标行人在非重叠相机视角中出现的匹配方法
CN111680131A (zh) * 2020-06-22 2020-09-18 平安银行股份有限公司 基于语义的文档聚类方法、系统及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909049A (zh) * 2017-11-29 2018-04-13 广州大学 基于最小二乘判别分析距离学习的行人重识别方法
CN108052485A (zh) * 2017-12-15 2018-05-18 东软集团股份有限公司 向量相似度的分布式计算方法和装置，存储介质和节点
CN108171181A (zh) * 2017-12-31 2018-06-15 南昌大学 一种适用于家居内的人体摔倒检测方法
CN109101620A (zh) * 2018-08-08 2018-12-28 广州神马移动信息科技有限公司 相似度计算方法、聚类方法、装置、存储介质及电子设备
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110991283A (zh) * 2019-11-21 2020-04-10 北京格灵深瞳信息技术有限公司 重识别及训练数据获取方法、装置、电子设备及存储介质
CN110991389A (zh) * 2019-12-16 2020-04-10 西安建筑科技大学 判断目标行人在非重叠相机视角中出现的匹配方法
CN111680131A (zh) * 2020-06-22 2020-09-18 平安银行股份有限公司 基于语义的文档聚类方法、系统及计算机设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114373212A (zh) * 2022-01-10 2022-04-19 中国民航信息网络股份有限公司 人脸识别模型构建方法、人脸识别方法及相关设备
CN115567719A (zh) * 2022-08-23 2023-01-03 天津市国瑞数码安全系统股份有限公司 一种多层次卷积的视频压缩方法和系统

Similar Documents

Publication Publication Date Title
Kayhan et al. On translation invariance in cnns: Convolutional layers can exploit absolute spatial location
US20200117906A1 (en) Space-time memory network for locating target object in video content
Kang Affective content detection using HMMs
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
Ma et al. Stage-wise salient object detection in 360 omnidirectional image via object-level semantical saliency ranking
CN107180056B (zh) 视频中片段的匹配方法和装置
CN111191649A (zh) 一种识别弯曲多行文本图像的方法与设备
CN111311475A (zh) 检测模型训练方法、装置、存储介质和计算机设备
CN110348392B (zh) 车辆匹配方法及设备
CN109857878B (zh) 物品标注方法及装置、电子设备及存储介质
CN112446361A (zh) 一种训练数据的清洗方法及设备
CN110688524A (zh) 视频检索方法、装置、电子设备及存储介质
CN109284700B (zh) 图像中多个人脸检测的方法、存储介质、设备及系统
CN111507332A (zh) 车辆vin码检测方法与设备
CN108932509A (zh) 一种基于视频跟踪的跨场景目标检索方法及装置
GB2579262A (en) Space-time memory network for locating target object in video content
Wang et al. Action recognition using edge trajectories and motion acceleration descriptor
Yang et al. MIDI passage retrieval using cell phone pictures of sheet music
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN110909655A (zh) 一种识别视频事件的方法及设备
CN110826365A (zh) 一种视频指纹生成方法和装置
CN110457998B (zh) 影像数据关联方法和设备、数据处理设备及介质
WO2024087358A1 (zh) 一种目标检测方法、装置、设备及非易失性可读存储介质
CN110852353A (zh) 路口分类方法及设备
CN111008294A (zh) 交通图像处理、图像检索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210305

WD01 Invention patent application deemed withdrawn after publication