CN112001243A - 一种行人重识别数据标注方法、装置及设备 - Google Patents

一种行人重识别数据标注方法、装置及设备 Download PDF

Info

Publication number
CN112001243A
CN112001243A CN202010691195.4A CN202010691195A CN112001243A CN 112001243 A CN112001243 A CN 112001243A CN 202010691195 A CN202010691195 A CN 202010691195A CN 112001243 A CN112001243 A CN 112001243A
Authority
CN
China
Prior art keywords
pedestrian
picture
ids
main
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010691195.4A
Other languages
English (en)
Inventor
王建强
吴川
顾友良
雷金铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Ziweiyun Technology Co ltd
Original Assignee
Guangzhou Ziweiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ziweiyun Technology Co ltd filed Critical Guangzhou Ziweiyun Technology Co ltd
Priority to CN202010691195.4A priority Critical patent/CN112001243A/zh
Publication of CN112001243A publication Critical patent/CN112001243A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种行人重识别数据标注方法，包括如下步骤：S2，获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID；S4，从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；S6,判断所述第一行人ID集合是否存在和所述第一主例是一类ID，如是，则将所述第一行人ID集合中和所述主例ID是一类的ID并入所述第一主例ID中，并将其记为新的行人ID；S8,将所述新的行人ID作为第二主例ID，并从gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；S10，判断所述第二行人图片是否存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中。本发明使得标注的行人ID数据更准确，没有一人多档的情况。

Description

一种行人重识别数据标注方法、装置及设备
技术领域
本发明涉及人工智能领域，具体来说，涉及一种行人重识别数据标注方法、装置及设备。
背景技术
行人重识别reID是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。该技术是在给定一个监控行人图像，在跨设备的情况下对该行人图像进行检索，目的在于弥补目前监控摄像头的视觉局限。，再加上行人reID的数据难以标注，因此在其开发过程中对标注数据的需求更是大大增加。然而，现有的行人reID标注流程是较为繁琐且复杂，不同摄像头造成的行人外观的巨大变化、目标遮挡、不同目标衣服颜色近似或者相同目标衣服颜色相差甚远等，这就使训练模型的难度增加，则需要花费的时间和训练成本投入的资源较高。
本文提供的背景描述用于总体上呈现本公开的上下文的目的。除非本文另外指示，在该章节中描述的资料不是该申请的权利要求的现有技术并且不要通过包括在该章节内来承认其成为现有技术。
发明内容
针对相关技术中的上述技术问题，本发明提出一种行人重识别数据标注方法，其特征在于，
S2，获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID，其中行人ID为预先为每个行人生成的不同的ID号；
S4，从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；
S6,判断所述第一行人ID集合是否存在和所述第一主例是一类ID，如是，则将所述第一行人ID集合中和所述主例ID是一类的ID并入所述第一主例ID中，并将其记为新的行人ID；
S8,将所述新的行人ID作为第二主例ID，并从gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；
S10，判断所述第二行人图片是否存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中，并从所述gallery中移除所述图片。
具体的，其中步骤S2还包括：将所述行人ID分为如下几类：
主类：从原始序列中选出当前ID下同一人图片量最多的作为主类；
次类：从原始序列中选出当前ID下同一人图片量其次多的作为次类；
虚景：图片中行人不是主体、或者行人在图片中占比小于80％、图片中行人数量大于或等于三人；
难例：行人遮挡超过40％、图片中出现两个人或者第二个人占比大于 30％；
无ID行人gallery：除以上四种情况剩下的图片数较零碎的作为 gallery类。
具体的，所述第一预设数量为10。
具体的，在步骤s6还包括，从所述主例ID中随机选出8张图片。
具体的，还包括步骤S12，根据质量评估指标对所述数据集进行评价，其中所述质量评估指标包括：原始序列和ID数据在每个摄像头下的分布情况、ID数据在摄像头之间的转移矩阵、行人主要的行走路线、时间段、日期、天气、摄像头个数、难易程度分布。
本发明还提供了一种行人重识别数据标注装置，其包括：
行人ID标注单元，用于获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID，其中行人ID为预先为每个行人生成的不同的 ID号；
相似行人ID生成单元，用于从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；
行人ID合并单元，用于在判断所述第一行人ID集合存在和所述第一主例是一类ID，则将所述第一行人ID集合中和所述主例ID是一类的ID 并入所述第一主例ID中，并将其记为新的行人ID；
相似行人数据生成单元,将所述新的行人ID作为第二主例ID，并从 gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；
行人数据合并单元，在判断所述第二行人图片是存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中，并从所述gallery中移除所述图片。
具体的，行人ID标注单元还包括：将所述行人ID分为如下几类：
主类：从原始序列中选出当前ID下同一人图片量最多的作为主类；
次类：从原始序列中选出当前ID下同一人图片量其次多的作为次类；
虚景：图片中行人不是主体、或者行人在图片中占比小于80％、图片中行人数量大于或等于三人；
难例：行人遮挡超过40％、图片中出现两个人或者第二个人占比大于30％；
无ID行人gallery：除以上四种情况剩下的图片数较零碎的作为 gallery类。
具体的，所述第一预设数量为10。
具体的，在行人ID合并单元还包括，从所述主例ID中随机选出8张图片。
具体的，所述装置还包括质量评价单元，用于根据质量评估指标对所述数据集进行评价，其中所述质量评估指标包括：原始序列和ID数据在每个摄像头下的分布情况、ID数据在摄像头之间的转移矩阵、行人主要的行走路线、时间段、日期、天气、摄像头个数、难易程度分布。
本发明通过先对获取的视频图像进行行人ID标注，并对标注后的ID进行 ID合并，并将划分在gallery中的行人图片补充到行人ID中，以形成行人ID 数据，使得标注的行人ID数据更准确，没有一人多档的情况，此外，通过本方法可减少标注的时间。此外还增加了对数据质量评估从而获得更为准确的行人ID数据，使得标注的行人ID数据多样性和复杂性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的行人重识别数据标注方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本实施例的一种行人重识别数据标注方法的流程图。如图1所示本实施例的方法，其包括如下步骤，
S2，获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID，其中行人ID为预先为每个行人生成的不同的ID号；
其中获取原始序列图像，可以是从前端摄像机获取的视频图像，并进过行人检测跟踪等算法得到相应的原始序列图像。其中行人检测跟踪算法采用现有的方法，本实施例并不限制具体的行人检测与跟踪的算法，只要能否实现行人检测与跟踪即可。更具体的所述前端摄像头可以布置于特定的场景下，例如校园、街道等，或者是为了收集行人重识别的图像集自行架设的摄像机。本领域技术人员可知所述前端摄像头可以是一个也可以是多个。此外，行人在所述前端摄像头中出现时，其姿态、环境也不相同。
获取相应的原始图像序列后，对所述图像序列进行行人ID标注，其中，行人ID为预先为每个行人生成的不同的ID号，参见表1：
表1行人ID举例
行人身份 行人ID
小明 1
小红 2
…
Bob N
一般情况下每一个行人均唯一对应一个行人ID，但在对行人进行ID 标注的时候，可以会出现一个行人对应多个行人ID的情况，例如因行人在所述前端摄像头中出现时，其姿态、环境也不相同，致使的标注人员将其误认为不同人的并给了两个行人ID。
行人ID可以预先知道其范围，例如在一个预设的采集场景中，可以预先知道有M个人进行采集，因此其相应的行人ID一般是在M左右，因需要对行人进行标注，其ID一般会设置大于M。
在对行人ID进行标注时，将所述行人ID分为如下几类：
主类：从原始序列中选出当前ID下同一人图片量最多的作为主类。
次类：从原始序列中选出当前ID下同一人图片量其次多的作为次类。
虚景：图片中行人不是主体、或者行人在图片中占比小于80％、图片中行人数量大于或等于三人。
难例：行人遮挡超过40％、图片中出现两个人或者第二个人占比大于 30％等。
无ID行人gallery：除以上四种情况剩下的图片数较零碎的作为 gallery类。
其中，虚景作为无效的图片舍弃不用，主类以及次类则作为训练行人 reID模型的训练集难例则在训练行人reID模型时，加入训练集中进行使用。
其中无ID行人gallery则是标注人员无法确定相应的人员归属到哪一个行人ID中，例如因为拍摄的角度问题，标注人员无法确定所述行人归属到哪一个行人ID。
S4，从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；
步骤S2中生成了N个行人ID，其中N为大于等于O的正整数，例如 1,2…N，本步骤中获取所述步骤S2中生成的行人ID中的任意一个作为主例ID，例如标号为1的行人ID作为主例ID，并根据一定的算法，从剩余的行人ID中，即标号为2-N的行人ID中，选出第一预设数量的第一行人 ID集合，其中所述第一行人ID集合是所述算法认为和所述主例ID相似的行人ID集合，例如选出行人ID 3，行人ID 10。
具体的，所述第一预设数量为10。
S6,判断所述第一行人ID集合是否存在和所述第一主例是一类ID，如是，则将所述第一行人ID集合中和所述主例ID是一类的ID并入所述第一主例ID中，并将其记为新的行人ID；
本步骤可以由标注人员进行判断选出的第一行人ID集合，例如行人 ID 3,行人ID10是否和所述第一主例是一类ID，也可由算法自动进行判断，本实施例不做具体限制。
因在步骤S2中因为标注出来的数据，有可能出现所述同一个行人因为标注的原因标注为两个行人，因此需要对所述行人ID进行合并。例如行人 ID 10是和行人ID 1是同一个人，应该划分为同一个行人ID，因此，将行人ID 10的所有图片移入行人ID 1中，并删除行人ID 10。
在由标注人员进行判断时，为了辅助标注人员进行准确的判断，在步骤S6之前，可以预先从主例ID中随机选出8张图片供标注人员进行参考，由标注人员根据所述8张图片进行判断给出的第一行人集合ID中是否存在和主例ID是一类的ID。例如，标注人员可以根据从ID 1选出的8张图片，来对比行人ID 3、ID 10中的行人是否和ID 1是相同的人。
在由算法进行判断时，也可以有算法根据从ID 1选出的8张图片，来对比行人ID3、ID 10中的行人是否和ID 1是相同的人。例如可以根据深度学习的方式来进行人员的相似性判断。
在步骤S6之后还包括步骤7，步骤7从所述剩余的行人ID中选出一个重复执行步骤S6，直到将所述行人ID执行完一遍。
步骤S7中，对于执行过的行人ID则不在执行，而已经删除ID的则因为删除了相应的ID也不在实行，因此保证了所有的行人ID仅被执行一遍。
S8,将所述新的行人ID作为第二主例ID，并从gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；
通过执行步骤S7之后，所有的行人ID已经执行完毕，并将存在重复的行人ID进行了合拼，但还存在有一些行人被分到了gallery类中，但其存在行人ID的情况，因此，步骤8从进行过合并的行人ID中，在gallery 中进行一次是否是同人的判断，以期把归位gallery中的行人重新进行行人标注。
通过步骤S6进行过合并生成新的行人ID为ID 1,本实施例仅以有一个行人ID进行合并进行距离说明，在实际中存在多个合并行人ID的情况，其处理方式与本实施例描述的相似，本实施例不在赘述。
S10，判断所述第二行人图片是否存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中，并从所述gallery中移除所述图片。
所述第二预设数量为20或30。
从所述ID 1中随机获取8张图片作为为参考，并根据算法从gallery 中的行人图片给出相似性top 20或top30的结果，供标注人员进行标注。标注人员从所属20或30张图片中选出和所述ID 1是同一个人的图片，并将所述图片移入所述ID 1中，并从所述gallery中删除所述和ID 1是同一个人的图片。
最终，经过步骤S10处理后，生成所述行人重识别标注数据，其中所述数据以M个以ID命名的文件夹，每个文件夹下都是同一个人的图片，且没有一人多档(一个人有多个ID)的情况。其中0<M<＝N。
本发明通过先对获取的视频图像进行行人ID标注，并对标注后的ID进行ID合并，并将划分在gallery中的行人图片补充到行人ID中，以形成行人ID 数据，使得标注的行人ID数据更准确，没有一人多档的情况。通过对标注后的ID进行ID合并，并将划分在gallery中的行人图片补充到行人ID中，可以有效的减少实现划分的ID的数量，可以将相应的行人标注分配给不同的人员进行标注，并通过标注后的ID进行合并来减少一人多档，从而避免了在进行行人标注时，标注人员必须知晓所有的标注的ID，从而不利于标注。因此，通过本方法可减少标注的时间。
S12,根据质量评估方法对所述数据集进行评价。
质量评估从数据的不同的维度对数据进行评估，来观察标注完成的数据是否符合我们的要求，标注完成的数据中ID量越多越好，ID下的图片量越多越好，ID下的图片跨越的摄像头数越多越好，还要保证数据有一定的复杂性、多样性等。
所述质量评估方法包括：原始序列和ID数据在每个摄像头下的分布情况、ID数据在摄像头之间的转移矩阵、行人主要的行走路线、时间段、日期、天气、摄像头个数、难易程度分布。
其中原始序列和ID数据在每个摄像头下的分布统计，主要是统计每一个摄像头经过的ID有多少，通过原始序列和ID数据统计分布的比较，分析那些摄像头经过的人比较多，成品率比较高，而哪些又是孤立摄像头，孤立摄像头是指没有获取相应的行人图像。可采用统计表格、以及直方图等方式进行呈现。
ID数据在摄像头之间的转移矩阵，每个ID既经过摄像头A也经过摄像头B的次数，呈现为二维矩阵；
行人主要的行走路线(摄像头路线)，结合摄像头在地图的具体位置分析所选取的摄像头是否合理。
ID数据在摄像头之间的相似度矩阵以及mAP向量，其中mAP向量从标注结果上统计每个摄像头下生成了多少ID，可反映摄像头下行人出现的时间长短，分析哪些摄像头是Hard摄像头，后续重点挖掘Hard摄像头和Easy 摄像头的数据，其中easy摄像头是指行人出现在摄像头的时间较长，Hard 摄像头则是指行人出现在摄像头的时间较短，并且出现在摄像头时间较长可以为大于一时间阈值，例如10s，出现在摄像头时间较短可以为小于一时间阈值，例如2s。
针对选取了距离较近的场景数据，就需要两个场景的ID数据互搜；互搜的目的是为了进一步完善ID，使不同场景的ID数据内部更纯。分析每批ID数据中的HardID和EasyID的分布，利用mAP来判断；AP分阶段： <50％，50％～70％，70％～90％，>90％的ID数量。通过这两种ID的分布来分析后续重点放在哪部分的摄像头中。
观察摄像头在实际地图的位置来进一步分析是否需要增加或删减一部分我们上述分析的某些特殊的摄像头；
通过进一步挖掘数据使得到的摄像头更加具有互通性，得到的行人数据也更加丰富。
本实施例增加了对数据质量评估从而获得更为准确的行人ID数据，在获取的行人ID数据不够多样性和复杂性的情况下，可以调整相应的摄像头或者在补充特定条件下的图片等等，使得标注的行人ID数据多样性和复杂性。
实施例二
本实施例提供了一种行人重识别数据标注装置，所述装置包括：
行人ID标注单元，用于获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID，其中行人ID为预先为每个行人生成的不同的 ID号；
其中获取原始序列图像，可以是从前端摄像机获取的视频图像，并进过行人检测跟踪等算法得到相应的原始序列图像。其中行人检测跟踪算法采用现有的方法，本实施例并不限制具体的行人检测与跟踪的算法，只要能否实现行人检测与跟踪即可。更具体的所述前端摄像头可以布置于特定的场景下，例如校园、街道等，或者是为了收集行人重识别的图像集自行架设的摄像机。本领域技术人员可知所述前端摄像头可以是一个也可以是多个。此外，行人在所述前端摄像头中出现时，其姿态、环境也不相同。
获取相应的原始图像序列后，对所述图像序列进行行人ID标注，其中，行人ID为预先为每个行人生成的不同的ID号，参见表1：
表1行人ID举例
行人身份 行人ID
小明 1
小红 2
…
Bob N
一般情况下每一个行人均唯一对应一个行人ID，但在对行人进行ID 标注的时候，可以会出现一个行人对应多个行人ID的情况，例如因行人在所述前端摄像头中出现时，其姿态、环境也不相同，致使的标注人员将其误认为不同人的并给了两个行人ID。
行人ID可以预先知道其范围，例如在一个预设的采集场景中，可以预先知道有M个人进行采集，因此其相应的行人ID一般是在M左右，因需要对行人进行标注，其ID一般会设置大于M。
在对行人ID进行标注时，将所述行人ID分为如下几类：
主类：从原始序列中选出当前ID下同一人图片量最多的作为主类。
次类：从原始序列中选出当前ID下同一人图片量其次多的作为次类。
虚景：图片中行人不是主体、或者行人在图片中占比小于80％、图片中行人数量大于或等于三人。
难例：行人遮挡超过40％、图片中出现两个人或者第二个人占比大于 30％等。
无ID行人gallery：除以上四种情况剩下的图片数较零碎的作为 gallery类。
其中无ID行人gallery则是标注人员无法确定相应的人员归属到哪一个行人ID中，例如因为拍摄的角度问题，标注人员无法确定所述行人归属到哪一个行人ID。
其中，虚景作为无效的图片舍弃不用，主类以及次类则作为训练行人 reID模型的训练集难例则在训练行人reID模型时，加入训练集中进行使用。
相似行人ID生成单元，用于从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；
行人ID标注单元中生成了N个行人ID，其中N为大于等于O的正整数，例如1,2…N，相似行人ID生成单元获取所述行人ID标注单元中生成的行人ID中的任意一个作为主例ID，例如标号为1的行人ID作为主例ID，并根据一定的算法，从剩余的行人ID中，即标号为2-N的行人ID中，选出第一预设数量的第一行人ID集合，其中所述第一行人ID集合是所述算法认为和所述主例ID相似的行人ID集合，例如选出行人ID 3，行人ID 10。
具体的，所述第一预设数量为10。
行人ID合并单元，用于在判断所述第一行人ID集合存在和所述第一主例是一类ID，则将所述第一行人ID集合中和所述主例ID是一类的ID 并入所述第一主例ID中，并将其记为新的行人ID；
行人ID合并ID单元，可以由标注人员进行判断选出的第一行人ID集合，例如行人ID 3,行人ID 10是否和所述第一主例是一类ID，也可由算法自动进行判断，本实施例不做具体限制。
因为标注出来的数据，有可能出现所述同一个行人因为标注的原因标注为两个行人，因此需要对所述行人ID进行合并。例如行人ID 10是和行人ID 1是同一个人，应该划分为同一个行人ID，因此，将行人ID 10的所有图片移入行人ID 1中，并删除行人ID 10。
在由标注人员进行判断时，为了辅助标注人员进行准确的判断，可以预先从主例ID中随机选出8张图片供标注人员进行参考，由标注人员根据所述8张图片进行判断给出的第一行人集合ID中是否存在和主例ID是一类的ID。例如，标注人员可以根据从ID 1选出的8张图片，来对比行人 ID 3、ID 10中的行人是否和ID 1是相同的人。
在由算法进行判断时，也可以有算法根据从ID 1选出的8张图片，来对比行人ID3、ID 10中的行人是否和ID 1是相同的人。例如可以根据深度学习的方式来进行人员的相似性判断。
相似行人数据生成单元,将所述新的行人ID作为第二主例ID，并从 gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；
所有的行人ID已经执行完毕，并将存在重复的行人ID进行了合拼，但还存在有一些行人被分到了gallery类中，但其存在行人ID的情况，因此，步骤8从进行过合并的行人ID中，在gallery中进行一次是否是同人的判断，以期把归为gallery中的行人重新进行行人标注。
进行过合并生成新的行人ID为ID 1,本实施例仅以有一个行人ID进行合并进行距离说明，在实际中存在多个合并行人ID的情况，其处理方式与本实施例描述的相似，本实施例不在赘述。
行人数据合并单元，在判断所述第二行人图片是存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中，并从所述gallery中移除所述图片。
所述第二预设数量为20或30。
从所述ID 1中随机获取8张图片作为为参考，并根据算法从gallery 中的行人图片给出相似性top 20或top30的结果，供标注人员进行标注。标注人员从所属20或30张图片中选出和所述ID 1是同一个人的图片，并将所述图片移入所述ID 1中，并从所述gallery中删除所述和ID 1是同一个人的图片。
最终，行人数据合并单元生成所述行人重识别标注数据，其中所述数据以M个以ID命名的文件夹，每个文件夹下都是同一个人的图片，且没有一人多档(一个人有多个ID)的情况。其中0<M<＝N。
本发明通过先对获取的视频图像进行行人ID标注，并对标注后的ID进行 ID合并，并将划分在gallery中的行人图片补充到行人ID中，以形成行人ID 数据，使得标注的行人ID数据更准确，没有一人多档的情况。通过对标注后的ID进行ID合并，并将划分在gallery中的行人图片补充到行人ID中，可以有效的减少实现划分的ID的数量，可以将相应的行人标注分配给不同的人员进行标注，并通过标注后的ID进行合并来减少一人多档，从而避免了在进行行人标注时，标注人员必须知晓所有的标注的ID，从而不利于标注。因此，通过本方法可减少标注的时间。
质量评价单元,根据质量评估方法对所述数据集进行评价。
质量评估从数据的不同的维度对数据进行评估，来观察标注完成的数据是否符合我们的要求，标注完成的数据中ID量越多越好，ID下的图片量越多越好，ID下的图片跨越的摄像头数越多越好，还要保证数据有一定的复杂性、多样性等。
所述质量评估方法包括：原始序列和ID数据在每个摄像头下的分布情况、ID数据在摄像头之间的转移矩阵、行人主要的行走路线、时间段、日期、天气、摄像头个数、难易程度分布。
其中原始序列和ID数据在每个摄像头下的分布统计，主要是统计每一个摄像头经过的ID有多少，通过原始序列和ID数据统计分布的比较，分析那些摄像头经过的人比较多，成品率比较高，而哪些又是孤立摄像头，孤立摄像头是指没有获取相应的行人图像。可采用统计表格、以及直方图等方式进行呈现。
ID数据在摄像头之间的转移矩阵，每个ID既经过摄像头A也经过摄像头B的次数，呈现为二维矩阵；
行人主要的行走路线(摄像头路线)，结合摄像头在地图的具体位置分析所选取的摄像头是否合理。
ID数据在摄像头之间的相似度矩阵以及mAP向量，其中mAP向量从标注结果上统计每个摄像头下生成了多少ID，可反映摄像头下行人出现的时间长短，分析哪些摄像头是Hard摄像头，后续重点挖掘Hard摄像头和Easy 摄像头的数据，其中easy摄像头是指行人出现在摄像头的时间较长，Hard 摄像头则是指行人出现在摄像头的时间较短，并且出现在摄像头时间较长可以为大于一时间阈值，例如10s，出现在摄像头时间较短可以为小于一时间阈值，例如2s。
针对选取了距离较近的场景数据，就需要两个场景的ID数据互搜；互搜的目的是为了进一步完善ID，使不同场景的ID数据内部更纯。分析每批ID数据中的HardID和EasyID的分布，利用mAP来判断；AP分阶段： <50％，50％～70％，70％～90％，>90％的ID数量。通过这两种ID的分布来分析后续重点放在哪部分的摄像头中。
观察摄像头在实际地图的位置来进一步分析是否需要增加或删减一部分我们上述分析的某些特殊的摄像头；
通过进一步挖掘数据使得到的摄像头更加具有互通性，得到的行人数据也更加丰富。
本实施例增加了对数据质量评估从而获得更为准确的行人ID数据在获取的行人ID数据不够多样性和复杂性的情况下，可以调整相应的摄像头或者在补充特定条件下的图片等等，使得标注的行人ID数据多样性和复杂性。
实施例三
本实施例提供了一种行人重识别数据标注设备30。该实施例的行人重识别数据标注设备30包括处理器31、存储器32以及存储在所述存储器32中并可在所述处理器31上运行的计算机程序。所述处理器31执行所述计算机程序时实现上述行人重识别数据标注方法实施例中的步骤。或者，所述处理器31 执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器32中，并由所述处理器31执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述行人重识别数据标注设备30中的执行过程。
其中，所述行人重识别数据标注设备30集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器31执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种行人重识别数据标注方法，其特征在于，
S2，获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID，其中行人ID为预先为每个行人生成的不同的ID号；
S4，从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；
S6,判断所述第一行人ID集合是否存在和所述第一主例是一类ID，如是，则将所述第一行人ID集合中和所述主例ID是一类的ID并入所述第一主例ID中，并将其记为新的行人ID；
S8,将所述新的行人ID作为第二主例ID，并从gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；
S10，判断所述第二行人图片是否存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中，并从所述gallery中移除所述图片。
2.根据权利要求1所述的方法，其中步骤S2还包括：将所述行人ID分为如下几类：
主类：从原始序列中选出当前ID下同一人图片量最多的作为主类；
次类：从原始序列中选出当前ID下同一人图片量其次多的作为次类；
虚景：图片中行人不是主体、或者行人在图片中占比小于80％、图片中行人数量大于或等于三人；
难例：行人遮挡超过40％、图片中出现两个人或者第二个人占比大于30％；
无ID行人gallery：除以上四种情况剩下的图片数较零碎的作为gallery类。
3.根据权利要求1所述的方法，所述第一预设数量为10。
4.根据权利要求1所述的方法，在步骤s6还包括，从所述主例ID中随机选出8张图片。
5.根据权利要求1所述的方法，还包括步骤S12，根据质量评估指标对所述数据集进行评价，其中所述质量评估指标包括：原始序列和ID数据在每个摄像头下的分布情况、ID数据在摄像头之间的转移矩阵、行人主要的行走路线、时间段、日期、天气、摄像头个数、难易程度分布。
6.一种行人重识别数据标注装置，其包括：
行人ID标注单元，用于获取原始序列图像，并对原始序列图像进行身份标签标注，获取行人ID，其中行人ID为预先为每个行人生成的不同的ID号；
相似行人ID生成单元，用于从所述行人ID中获取任意一个行人ID作为第一主例ID，并给出和所述第一主例ID相似的第一预设数量的第一行人ID集合；
行人ID合并单元，用于在判断所述第一行人ID集合存在和所述第一主例是一类ID，则将所述第一行人ID集合中和所述主例ID是一类的ID并入所述第一主例ID中，并将其记为新的行人ID；
相似行人数据生成单元,将所述新的行人ID作为第二主例ID，并从gallery中获取和所述第二主例ID相似的第二预设数量的第二行人图片；
行人数据合并单元，在判断所述第二行人图片是存在和所述第二主例是一类的ID，并将其加入所述第二主例ID中，并从所述gallery中移除所述图片。
7.根据权利要求6所述的装置，其中行人ID标注单元还包括：将所述行人ID分为如下几类：
主类：从原始序列中选出当前ID下同一人图片量最多的作为主类；
次类：从原始序列中选出当前ID下同一人图片量其次多的作为次类；
虚景：图片中行人不是主体、或者行人在图片中占比小于80％、图片中行人数量大于或等于三人；
难例：行人遮挡超过40％、图片中出现两个人或者第二个人占比大于30％；
无ID行人gallery：除以上四种情况剩下的图片数较零碎的作为gallery类。
8.根据权利要求6所述的装置，所述第一预设数量为10。
9.根据权利要求6所述的装置，在行人ID合并单元还包括，从所述主例ID中随机选出8张图片。
10.根据权利要求6所述的装置，还包括质量评价单元，用于根据质量评估指标对所述数据集进行评价，其中所述质量评估指标包括：原始序列和ID数据在每个摄像头下的分布情况、ID数据在摄像头之间的转移矩阵、行人主要的行走路线、时间段、日期、天气、摄像头个数、难易程度分布。
CN202010691195.4A 2020-07-17 2020-07-17 一种行人重识别数据标注方法、装置及设备 Pending CN112001243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010691195.4A CN112001243A (zh) 2020-07-17 2020-07-17 一种行人重识别数据标注方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010691195.4A CN112001243A (zh) 2020-07-17 2020-07-17 一种行人重识别数据标注方法、装置及设备

Publications (1)

Publication Number Publication Date
CN112001243A true CN112001243A (zh) 2020-11-27

Family

ID=73467012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010691195.4A Pending CN112001243A (zh) 2020-07-17 2020-07-17 一种行人重识别数据标注方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112001243A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN109858354A (zh) * 2018-12-27 2019-06-07 厦门市美亚柏科信息股份有限公司 一种人脸身份库、轨迹表建立和人脸轨迹查询方法和系统
CN110348282A (zh) * 2019-04-30 2019-10-18 贵州大学 用于行人重识别的方法和设备
CN110569918A (zh) * 2019-09-12 2019-12-13 腾讯科技（深圳）有限公司 一种样本分类的方法以及相关装置
CN110826390A (zh) * 2019-09-09 2020-02-21 博云视觉（北京）科技有限公司 一种基于人脸矢量特征的视频数据处理方法
US20200134321A1 (en) * 2018-02-12 2020-04-30 Beijing Sensetime Technology Development Co., Ltd. Pedestrian re-identification methods and apparatuses, electronic devices, and storage media
CN111126208A (zh) * 2019-12-11 2020-05-08 智慧眼科技股份有限公司 行人归档方法、装置、计算机设备及存储介质
CN111126123A (zh) * 2019-08-29 2020-05-08 西安理工大学 一种基于压缩的增量核零空间变换行人再识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
US20200134321A1 (en) * 2018-02-12 2020-04-30 Beijing Sensetime Technology Development Co., Ltd. Pedestrian re-identification methods and apparatuses, electronic devices, and storage media
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN109858354A (zh) * 2018-12-27 2019-06-07 厦门市美亚柏科信息股份有限公司 一种人脸身份库、轨迹表建立和人脸轨迹查询方法和系统
CN110348282A (zh) * 2019-04-30 2019-10-18 贵州大学 用于行人重识别的方法和设备
CN111126123A (zh) * 2019-08-29 2020-05-08 西安理工大学 一种基于压缩的增量核零空间变换行人再识别方法
CN110826390A (zh) * 2019-09-09 2020-02-21 博云视觉（北京）科技有限公司 一种基于人脸矢量特征的视频数据处理方法
CN110569918A (zh) * 2019-09-12 2019-12-13 腾讯科技（深圳）有限公司 一种样本分类的方法以及相关装置
CN111126208A (zh) * 2019-12-11 2020-05-08 智慧眼科技股份有限公司 行人归档方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘钱源 等: "基于监控视频的前景目标提取", 《数学建模及其应用》 *
王潇潇 等: "基于CNN-GRU度量网络的多目标跟踪算法", 《华东理工大学学报（自然科学版）》 *

Similar Documents

Publication Publication Date Title
EP2490171B1 (en) Person image search starting from clothing query text.
Peng et al. Learning multi-region features for vehicle re-identification with context-based ranking method
CN105184238A (zh) 一种人脸识别方法及系统
CN111212303B (zh) 视频推荐方法、服务器和计算机可读存储介质
CN112100438A (zh) 一种标签抽取方法、设备及计算机可读存储介质
US20190294863A9 (en) Method and apparatus for face classification
EP3474188A1 (en) Methods and systems for object search in a video stream
CN111061898A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114758362B (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
US11023714B2 (en) Suspiciousness degree estimation model generation device
CN110569918A (zh) 一种样本分类的方法以及相关装置
CN112507860A (zh) 一种视频标注方法、装置、设备及存储介质
CN106445146B (zh) 用于头盔显示器的手势交互方法与装置
CN113052008A (zh) 一种车辆重识别方法及装置
CN111539257A (zh) 人员重识别方法、装置和存储介质
CN111626303A (zh) 性别和年龄的识别方法、装置、存储介质及服务器
CN112422898B (zh) 一种引入深层次行为理解的视频浓缩方法
CN112949369A (zh) 一种基于人机协同的海量人脸图库检索方法
CN112001243A (zh) 一种行人重识别数据标注方法、装置及设备
CA3012927A1 (en) Counting objects in images based on approximate locations
Barz et al. Interactive Fixation-to-AOI Mapping for Mobile Eye Tracking Data based on Few-Shot Image Classification
Gurkan et al. Evaluation of human and machine face detection using a novel distinctive human appearance dataset
US11749021B2 (en) Retrieval device, control method, and non-transitory storage medium
Phan et al. Lspd: A large-scale pornographic dataset for detection and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination