CN110414294A - 行人重识别方法和装置 - Google Patents

行人重识别方法和装置 Download PDF

Info

Publication number
CN110414294A
CN110414294A CN201810383810.8A CN201810383810A CN110414294A CN 110414294 A CN110414294 A CN 110414294A CN 201810383810 A CN201810383810 A CN 201810383810A CN 110414294 A CN110414294 A CN 110414294A
Authority
CN
China
Prior art keywords
pedestrian
history
identified
mark
characteristic distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810383810.8A
Other languages
English (en)
Other versions
CN110414294B (zh
Inventor
吴江旭
张伟华
张洪光
彭刚林
孔磊锋
武跃峰
雍兴辉
李凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810383810.8A priority Critical patent/CN110414294B/zh
Priority to EP19792513.4A priority patent/EP3761221B1/en
Priority to PCT/CN2019/084489 priority patent/WO2019206265A1/zh
Priority to US17/044,578 priority patent/US11804059B2/en
Publication of CN110414294A publication Critical patent/CN110414294A/zh
Application granted granted Critical
Publication of CN110414294B publication Critical patent/CN110414294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种行人重识别方法和装置。行人重识别装置检测出指定视频帧中的待识别行人，在指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人，计算待识别行人与历史行人的特征距离，按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识，对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别。本公开能够有效抑制外界噪声干扰、提高行人重识别成功率。

Description

行人重识别方法和装置
技术领域
本公开涉及图像识别领域，特别涉及一种行人重识别方法和装置。
背景技术
行人重识别(Pedestrian Re-Identification，简称：Re-ID)技术，是通过利用同一摄像头在不同时间段采集的同一行人的图像，以及不同摄像头采集到的同一行人的图像，对行人轨迹进行跟踪。
发明内容
发明人通过研究发现，由于在实际场景下，行人的姿态、光照条件和拍摄角度等都会对基于行人外貌特征的行人重识别方案造成较大影响，最终导致行人重识别失败。
为此，本公开提供一种能够有效抑制外界噪声干扰、提高行人重识别成功率的行人重识别方案。
根据本公开的一个或多个实施例的一个方面，提供一种行人重识别方法，包括：检测出指定视频帧中的待识别行人；在指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人，其中指定时间段的结束时间为指定视频帧的拍摄时间；计算待识别行人与历史行人的特征距离；按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识；对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别。
可选地，对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别包括：对提取出的历史行人标识进行聚类，以便将相同的历史行人标识划归到同一聚类集合中；统计每个聚类集合中的标识数量；将标识数量最多的聚类集合中的历史行人标识作为待识别行人的标识。
可选地，在根据聚类结果对待识别行人进行识别后，还包括：在预定数量个特征距离中，计算每个历史行人标识所对应特征距离的平均值；根据计算结果，判断与待识别行人的标识相对应的特征距离的平均值是否为最小值；在与待识别行人的标识相对应的特征距离的平均值为最小值的情况下，判定待识别行人的标识与待识别行人相匹配。
可选地，在与待识别行人的标识相对应的特征距离的平均值不是最小值的情况下，增大预定数量的数值；判断预定数量的当前值是否大于第一门限；在预定数量的当前值不大于第一门限的情况下，执行按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的步骤。
可选地，在预定数量的当前值大于第一门限的情况下，给待识别行人分配新的历史行人标识。
可选地，在计算待识别行人与历史行人的特征距离后，还包括：对于每个历史行人标识，统计对应特征距离的数量；判断统计结果是否超过第二门限；在统计结果超过第二门限的情况下，将对应特征距离中的最大特征距离删除；然后执行按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的步骤。
根据本公开的一个或多个实施例的另一个方面，提供一种行人重识别装置，包括：检测模块，被配置为检测出指定视频帧中的待识别行人；历史行人提取模块，被配置为在指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人，其中指定时间段的结束时间为指定视频帧的拍摄时间；特征距离计算模块，被配置为计算待识别行人与历史行人的特征距离；标识提取模块，被配置为按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识；识别模块，被配置为对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别。
可选地，识别模块被配置为对提取出的历史行人标识进行聚类，以便将相同的历史行人标识划归到同一聚类集合中，统计每个聚类集合中的标识数量，将标识数量最多的聚类集合中的历史行人标识作为待识别行人的标识。
可选地，行人重识别装置还包括平均值计算模块，被配置为在识别模块根据聚类结果对待识别行人进行识别后，在预定数量个特征距离中，计算每个历史行人标识所对应特征距离的平均值；识别模块还被配置为根据平均值计算模块的计算结果，判断与待识别行人的标识相对应的特征距离的平均值是否为最小值，在与待识别行人的标识相对应的特征距离的平均值为最小值的情况下，判定待识别行人的标识与待识别行人相匹配。
可选地，识别模块还被配置为在与待识别行人的标识相对应的特征距离的平均值不是最小值的情况下，增大预定数量的数值，判断预定数量的当前值是否大于第一门限，在预定数量的当前值不大于第一门限的情况下，指示标识提取模块执行按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的操作。
可选地，识别模块还被配置为在预定数量的当前值大于第一门限的情况下，给待识别行人分配新的历史行人标识。
可选地，行人重识别装置还包括特征删除模块，被配置为在特征距离计算模块计算待识别行人与历史行人的特征距离后，对于每个历史行人标识，统计对应特征距离的数量，判断统计结果是否超过第二门限，在统计结果超过第二门限的情况下，将对应特征距离中的最大特征距离删除，然后指示标识提取模块执行按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的操作。
根据本公开的一个或多个实施例的另一个方面，提供一种行人重识别装置，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一个实施例的行人重识别方法的示例性流程图。
图2为本公开另一个实施例的行人重识别方法的示例性流程图。
图3为本公开一个实施例的行人重识别装置的示例性框图。
图4为本公开另一个实施例的行人重识别装置的示例性框图。
图5为本公开又一个实施例的行人重识别装置的示例性框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在相关技术中，通过使用特征提取和特征距离来判定一个行人是否为重复出现的行人。首先，将当前视频帧中的待识别行人特征提取出来，再将当前视频帧拍摄时间的前2分钟的视频帧中出现的行人作为历史行人。通过计算待识别行人与每个历史行人的特征距离，根据距离阈值来判断待识别行人是否与历史行人中的某个人是同一个人。
例如，设从当前视频帧中检测到的待识别行人为a1。在历史库中，在当前视频帧拍摄时间的前2分钟的视频帧中出现的历史行人共有16人。在这15人中，有5人为行人1，5人为行人2，6人为行人3。需要说明的是，由于摄像头会进行连续抓拍，因此同一行人会出现在多个视频帧中。
表1为待识别行人a1与历史行人中各行人1的特征距离。
ID1 ID1 ID1 ID1 ID1
a1 7.02946 6.72801 7.04967 7.2829 9.28402
表1
表2为待识别行人a1与历史行人中各行人2的特征距离。
ID2 ID2 ID2 ID2 ID2
a1 19.9999 21.879 19.8341 24.1748 23.2484
表2
表3为待识别行人a1与历史行人中各行人3的特征距离。
ID3 ID3 ID3 ID3 ID3 ID3
a1 2.97169 2.94814 4.43732 2.67215 15.59878 16.04216
表3
由于待识别行人a1实质上就是行人3，因此待识别行人a1与历史行人中各行人3的特征距离较小。但是行人3由于姿态、光照、拍摄角度等变化的原因，导致待识别行人a1与历史行人中标记为行人3的行人特征距离突变，如表3所示。在这种情况下，待识别行人a1与历史行人中标记为行人3的特征距离平均值为：
(2.9716+2.94814+4.43732+2.67215+15.59878+16.04216)/6＝7.445
显然，这个数值大于预先设置的距离阈值7.0。同时，待识别行人a1与行人2和行人3的特征距离平均值也超过阈值。由此，会将待识别行人a1视为是与行人1、行人2和行人3均不相同的行人，在这种情况下会给待识别行人a1分配新的行人标识，从而导致行人重识别失败。
为此，本公开提供一种能够有效抑制外界噪声干扰、提高行人重识别成功率的行人重识别方案。
图1为本公开一个实施例的行人重识别方法的示例性流程图。在一些实施例中，本实施例的方法步骤可由行人重识别装置执行。
在步骤101，检测出指定视频帧中的待识别行人。
在步骤102，在指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人。
在指定时间段中，指定时间段的结束时间为指定视频帧的拍摄时间。例如，指定时间段的长度为2分钟。
在步骤103，计算待识别行人与历史行人的特征距离。
在步骤104，按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识。
例如，在历史库中，标识为6的历史行人有10人，标识为7的历史行人有6人。在该实施例中，设待识别行人为行人6，历史库中的其他历史行人与待识别行人的特征距离的平均值较大，因此这里不再讨论。
待识别行人与行人6的特征距离的平均值为：
(7.18478+6.57366+6.71023+5.65011+4.6309+3.73646+5.03583+3.01242+1.57515+1.66077)/10＝4.57703
待识别行人与行人7的特征距离的平均值为：
(3.7303+2.37949+3.94587+4.21519+5.34866+6.1209)/6＝4.29007
由于特征受到干扰，待识别行人与行人7的特征距离更小，因此会将待识别行人重识别为行人7。
为了克服这一缺陷，本公开不再简单地计算特征距离平均值，而是从特征距离整体上进行分析。
在一些实施例中，如表4所示，按照特征距离从小到大的顺序，提取出前5个特征距离对应的历史行人标识。
特征距离值 历史行人ID
1.57515 6
1.66077 6
2.37949 7
3.01242 6
3.7303 7
表4
在步骤105，对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别。
可选地，通过对提取出的历史行人标识进行聚类，以便将相同的历史行人标识划归到同一聚类集合中。通过统计每个聚类集合中的标识数量，将标识数量最多的聚类集合中的历史行人标识作为待识别行人的标识。
在上述实施例中，通过聚类处理，将历史行人标识分为2个集合。第一个集合对应历史行人6，有3个历史行人标识。第二个集合对应历史行人7，有2个历史行人标识。在这种情况下，将第一个集合中涉及的历史行人标识6分配给待识别行人。即，通过上述处理，确定待识别行人的身份为历史行人6。
在本公开上述实施例提供的行人重识别方法中，通过从待识别行人和历史行人的特征距离整体上进行分析，从而能够有效抑制外界噪声干扰，提高行人重识别成功率。
图2为本公开另一个实施例的行人重识别方法的示例性流程图。在一些实施例中，本实施例的方法步骤由行人重识别装置执行。步骤201-205与上述实施例中的步骤101-105相同。
在步骤201，检测出指定视频帧中的待识别行人。
在步骤202，在指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人。
在步骤203，计算待识别行人与历史行人的特征距离。
在步骤204，按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识。
在步骤205，对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别。
在步骤206，在预定数量个特征距离中，计算每个历史行人标识所对应特征距离的平均值。
在步骤207，根据计算结果，判断与待识别行人的标识相对应的特征距离的平均值是否为最小值。
若与待识别行人的标识相对应的特征距离的平均值为最小值，执行步骤208。若与待识别行人的标识相对应的特征距离的平均值不是最小值，执行步骤209。
在步骤208，判定待识别行人的标识与待识别行人相匹配，确认表明行人重识别成功。
在上述实施例中，如表4所示，与历史行人标识6相对应的3个特征距离平均值为：
(1.57515+1.66077+3.01242)/3＝2.08278
与历史行人标识7相对应的2个特征距离平均值为：
(2.37949+3.7303)/2＝3.054895
由于历史行人标识6对应的特征距离平均值最小，而分配给待识别行人的标识也为标识6。由此表明行人重识别成功。
在步骤209，增大预定数量的数值。
在步骤210，判断预定数量的当前值是否大于第一门限。
若预定数量的当前值不大于第一门限的情况下，执行步骤204。若预定数量的当前值大于第一门限，则执行步骤211。
在步骤211，给待识别行人分配新的历史行人标识。
在上述实施例中，若分配给待识别行人的历史行人标识为标识6，而历史行人标识7对应的特征距离平均值最小。即表明行人重分配并不成功。在这种情况下，通过扩大预定数量N的数值，以便在重新进行识别处理的过程中，能够使用更多的历史样本。例如，可将N值扩大一倍。
在上述实施例中，若通过调整预定数量N，仍无法得到成功的行人重识别结果，则会认为该待识别行人未包括在历史行人中。在这种情况下，会给该待识别行人分配新的历史行人标识。
在一些实施例中，在步骤203后，进一步对于每个历史行人标识，统计对应特征距离的数量。判断统计结果是否超过第二门限。在统计结果超过第二门限的情况下，将对应特征距离中的最大特征距离删除，然后再执行步骤204。若统计结果未超过第二门限的情况下，则直接利用得到的特征距离进行行人重识别处理。
例如，由于行人在某个区域徘徊，因此在某个时间段内，在历史库中具有同一历史行人标识的信息会较多。由于行人姿态、光照、拍摄角度的因素的不同，因此会存在特征距离较大的情况。通过将对应特征距离中的最大特征距离删除，可有效过滤外界噪声。
在上述实施例中，若待识别行人为历史行人6，历史库中与历史行人标识6相对应的信息有21条，超过预定门限(例如，20条)。在这种情况下，在待识别行人与历史行人标识6的特征距离中，将数值最大的特征距离删除，利用剩余的20个特征距离进行相应处理。由此有效消除外界噪声干扰。
图3为本公开一个实施例的行人重识别装置的示例性框图。如图3所示，行人重识别装置包括检测模块31、历史行人提取模块32、特征距离计算模块33、标识提取模块34和识别模块35。
如图3所示，检测模块31被配置为检测出指定视频帧中的待识别行人。
历史行人提取模块32被配置为在指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人，其中指定时间段的结束时间为指定视频帧的拍摄时间。
在一些实施例中，指定时间段为2分钟。
特征距离计算模块33被配置为计算待识别行人与历史行人的特征距离。
标识提取模块34被配置为按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识。
识别模块35被配置为对提取出的历史行人标识进行聚类，并根据聚类结果对待识别行人进行识别。
在一些实施例中识别模块35被配置为对提取出的历史行人标识进行聚类，以便将相同的历史行人标识划归到同一聚类集合中，统计每个聚类集合中的标识数量，将标识数量最多的聚类集合中的历史行人标识作为待识别行人的标识。
在一些实施例中，如表4所示，通过聚类处理，将历史行人标识分为2个集合。第一个集合对应历史行人6，有3个历史行人标识。第二个集合对应历史行人7，有2个历史行人标识。在这种情况下，将第一个集合中涉及的历史行人标识6分配给待识别行人。即确定待识别行人的身份为历史行人6。
在本公开上述实施例提供的行人重识别装置中，通过从待识别行人和历史行人的特征距离整体上进行分析，从而能够有效抑制外界噪声干扰，提高行人重识别成功率。
图4为本公开另一个实施例的行人重识别装置的示例性框图。图4与图3相比，在图4所示实施例中，还包括平均值计算模块36。
如图4所示，平均值计算模块36被配置为在识别模块35根据聚类结果对待识别行人进行识别后，在预定数量个特征距离中，计算每个历史行人标识所对应特征距离的平均值。
识别模块35还被配置为根据平均值计算模块36的计算结果，判断与待识别行人的标识相对应的特征距离的平均值是否为最小值，在与待识别行人的标识相对应的特征距离的平均值为最小值的情况下，判定待识别行人的标识与待识别行人相匹配。
在一些实施例中，识别模块35还被配置为在与待识别行人的标识相对应的特征距离的平均值不是最小值的情况下，增大预定数量的数值，判断预定数量的当前值是否大于第一门限，在预定数量的当前值不大于第一门限的情况下，指示标识提取模块34执行按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的操作。
在一些实施例中，识别模块35还被配置为在预定数量的当前值大于第一门限的情况下，给待识别行人分配新的历史行人标识。
例如，若行人重识别不成功，则进一步扩大预定数量的数值，以便选取更多的历史样本进行识别。若扩大样本规模，仍无法成功实现行人重识别，则表明该待识别行人未包括在历史行人中。在这种情况下，会给该待识别行人分配新的历史行人标识。
在一些实施例中，如图4所示，行人重识别装置还包括特征删除模块37。
特征删除模块37被配置为在特征距离计算模块33计算待识别行人与历史行人的特征距离后，对于每个历史行人标识，统计对应特征距离的数量，判断统计结果是否超过第二门限，在统计结果超过第二门限的情况下，将对应特征距离中的最大特征距离删除，然后指示标识提取模块34执行按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的操作。
例如，由于行人在某个区域徘徊，因此在某个时间段内，在历史库中具有同一历史行人标识的信息会较多。由于行人姿态、光照、拍摄角度的因素的不同，因此会存在特征距离较大的情况。通过将对应特征距离中的最大特征距离删除，可有效过滤外界噪声。
图5为本公开又一个实施例的行人重识别装置的示例性框图。如图5所示，行人重识别装置包括存储器51和处理器52。
存储器51用于存储指令，处理器52耦合到存储器51，处理器52被配置为基于存储器存储的指令执行实现如图1或图2中任一实施例涉及的方法。
如图5所示，该行人重识别装置还包括通信接口53，用于与其它设备进行信息交互。同时，该装置还包括总线54，处理器52、通信接口53、以及存储器51通过总线54完成相互间的通信。
存储器51可以包含高速RAM存储器，也可还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器51也可以是存储器阵列。存储器51还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器52可以是一个中央处理器CPU，或者可以是专用集成电路ASIC，或者是被配置成实施本公开实施例的一个或多个集成电路。
本公开同时还涉及一种计算机可读存储介质，其中计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1或图2中任一实施例涉及的方法。
在一些实施例中，在上面所描述的功能单元模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(Field-ProgrammableGate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (14)

1.一种行人重识别方法，包括：
检测出指定视频帧中的待识别行人；
在所述指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人，其中所述指定时间段的结束时间为所述指定视频帧的拍摄时间；
计算所述待识别行人与所述历史行人的特征距离；
按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识；
对提取出的历史行人标识进行聚类，并根据聚类结果对所述待识别行人进行识别。
2.根据权利要求1所述的行人重识别方法，对提取出的历史行人标识进行聚类，并根据聚类结果对所述待识别行人进行识别包括：
对提取出的历史行人标识进行聚类，以便将相同的历史行人标识划归到同一聚类集合中；
统计每个聚类集合中的标识数量；
将标识数量最多的聚类集合中的历史行人标识作为所述待识别行人的标识。
3.根据权利要求2所述的行人重识别方法，在根据聚类结果对所述待识别行人进行识别后，还包括：
在所述预定数量个特征距离中，计算每个历史行人标识所对应特征距离的平均值；
根据计算结果，判断与所述待识别行人的标识相对应的特征距离的平均值是否为最小值；
在与所述待识别行人的标识相对应的特征距离的平均值为最小值的情况下，判定所述待识别行人的标识与所述待识别行人相匹配。
4.根据权利要求3所述的行人重识别方法，还包括，
在与所述待识别行人的标识相对应的特征距离的平均值不是最小值的情况下，增大所述预定数量的数值；
判断所述预定数量的当前值是否大于第一门限；
在所述预定数量的当前值不大于第一门限的情况下，执行所述按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的步骤。
5.根据权利要求4所述的行人重识别方法，还包括，
在所述预定数量的当前值大于第一门限的情况下，给所述待识别行人分配新的历史行人标识。
6.根据权利要求1-5中任一项所述的行人重识别方法，在计算所述待识别行人与所述历史行人的特征距离后，还包括：
对于每个历史行人标识，统计对应特征距离的数量；
判断统计结果是否超过第二门限；
在统计结果超过第二门限的情况下，将所述对应特征距离中的最大特征距离删除；
然后执行所述按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的步骤。
7.一种行人重识别装置，包括：
检测模块，被配置为检测出指定视频帧中的待识别行人；
历史行人提取模块，被配置为在所述指定视频帧的拍摄时间之前的指定时间段内，提取出所拍摄视频帧中出现的全部历史行人，其中所述指定时间段的结束时间为所述指定视频帧的拍摄时间；
特征距离计算模块，被配置为计算所述待识别行人与所述历史行人的特征距离；
标识提取模块，被配置为按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识；
识别模块，被配置为对提取出的历史行人标识进行聚类，并根据聚类结果对所述待识别行人进行识别。
8.根据权利要求7所述的行人重识别装置，其中，
识别模块被配置为对提取出的历史行人标识进行聚类，以便将相同的历史行人标识划归到同一聚类集合中，统计每个聚类集合中的标识数量，将标识数量最多的聚类集合中的历史行人标识作为所述待识别行人的标识。
9.根据权利要求8所述的行人重识别装置，还包括：
平均值计算模块，被配置为在识别模块根据聚类结果对所述待识别行人进行识别后，在所述预定数量个特征距离中，计算每个历史行人标识所对应特征距离的平均值；
识别模块还被配置为根据平均值计算模块的计算结果，判断与所述待识别行人的标识相对应的特征距离的平均值是否为最小值，在与所述待识别行人的标识相对应的特征距离的平均值为最小值的情况下，判定所述待识别行人的标识与所述待识别行人相匹配。
10.根据权利要求9所述的行人重识别装置，其中，
识别模块还被配置为在与所述待识别行人的标识相对应的特征距离的平均值不是最小值的情况下，增大所述预定数量的数值，判断所述预定数量的当前值是否大于第一门限，在所述预定数量的当前值不大于第一门限的情况下，指示标识提取模块执行所述按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的操作。
11.根据权利要求10所述的行人重识别装置，其中，
识别模块还被配置为在所述预定数量的当前值大于第一门限的情况下，给所述待识别行人分配新的历史行人标识。
12.根据权利要求7-11中任一项所述的行人重识别装置，还包括：
特征删除模块，被配置为在特征距离计算模块计算所述待识别行人与所述历史行人的特征距离后，对于每个历史行人标识，统计对应特征距离的数量，判断统计结果是否超过第二门限，在统计结果超过第二门限的情况下，将所述对应特征距离中的最大特征距离删除，然后指示标识提取模块执行所述按照特征距离从小到大的顺序，提取出预定数量个特征距离对应的历史行人标识的操作。
13.一种行人重识别装置，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-6中任一项的方法。
14.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-6中任一项的方法。
CN201810383810.8A 2018-04-26 2018-04-26 行人重识别方法和装置 Active CN110414294B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810383810.8A CN110414294B (zh) 2018-04-26 2018-04-26 行人重识别方法和装置
EP19792513.4A EP3761221B1 (en) 2018-04-26 2019-04-26 Pedestrian re-identification method and apparatus
PCT/CN2019/084489 WO2019206265A1 (zh) 2018-04-26 2019-04-26 行人重识别方法和装置
US17/044,578 US11804059B2 (en) 2018-04-26 2019-04-26 Pedestrian re-identification method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810383810.8A CN110414294B (zh) 2018-04-26 2018-04-26 行人重识别方法和装置

Publications (2)

Publication Number Publication Date
CN110414294A true CN110414294A (zh) 2019-11-05
CN110414294B CN110414294B (zh) 2023-09-26

Family

ID=68294845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810383810.8A Active CN110414294B (zh) 2018-04-26 2018-04-26 行人重识别方法和装置

Country Status (4)

Country Link
US (1) US11804059B2 (zh)
EP (1) EP3761221B1 (zh)
CN (1) CN110414294B (zh)
WO (1) WO2019206265A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368115A (zh) * 2020-03-03 2020-07-03 杭州海康威视系统技术有限公司 数据聚类方法、装置、聚类服务器及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874576B (zh) * 2019-11-14 2023-10-27 哈尔滨鹏博普华科技发展有限责任公司 一种基于典型相关分析融合特征的行人再识别方法
CN112052819A (zh) * 2020-09-15 2020-12-08 浙江智慧视频安防创新中心有限公司 一种行人重识别方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160319A (zh) * 2015-08-31 2015-12-16 电子科技大学 一种在监控视频下实现行人再识别的方法
US20160180196A1 (en) * 2014-12-22 2016-06-23 Canon Kabushiki Kaisha Object re-identification using self-dissimilarity
CN107153817A (zh) * 2017-04-29 2017-09-12 深圳市深网视界科技有限公司 行人重识别数据标注方法和装置
WO2017190656A1 (zh) * 2016-05-05 2017-11-09 华为技术有限公司 行人再识别方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664705B2 (en) * 2014-09-26 2020-05-26 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium
JP2018036870A (ja) * 2016-08-31 2018-03-08 富士ゼロックス株式会社 画像処理装置及びプログラム
US10275683B2 (en) * 2017-01-19 2019-04-30 Cisco Technology, Inc. Clustering-based person re-identification
CN107153824A (zh) 2017-05-22 2017-09-12 中国人民解放军国防科学技术大学 基于图聚类的跨视频行人重识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180196A1 (en) * 2014-12-22 2016-06-23 Canon Kabushiki Kaisha Object re-identification using self-dissimilarity
CN105160319A (zh) * 2015-08-31 2015-12-16 电子科技大学 一种在监控视频下实现行人再识别的方法
WO2017190656A1 (zh) * 2016-05-05 2017-11-09 华为技术有限公司 行人再识别方法和装置
CN107153817A (zh) * 2017-04-29 2017-09-12 深圳市深网视界科技有限公司 行人重识别数据标注方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN KOSTINGER 等: "Large Scale Metric Learning from Equivalence Constraints", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
王丽: "融合底层和中层字典特征的行人重识别", 《中国光学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368115A (zh) * 2020-03-03 2020-07-03 杭州海康威视系统技术有限公司 数据聚类方法、装置、聚类服务器及存储介质
CN111368115B (zh) * 2020-03-03 2023-09-29 杭州海康威视系统技术有限公司 数据聚类方法、装置、聚类服务器及存储介质

Also Published As

Publication number Publication date
WO2019206265A1 (zh) 2019-10-31
US11804059B2 (en) 2023-10-31
EP3761221A4 (en) 2021-12-22
EP3761221C0 (en) 2023-12-13
US20210201009A1 (en) 2021-07-01
CN110414294B (zh) 2023-09-26
EP3761221B1 (en) 2023-12-13
EP3761221A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
CN110414294A (zh) 行人重识别方法和装置
CN110533654A (zh) 零部件的异常检测方法及装置
CN111798487A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN104239843B (zh) 一种人脸特征点定位方法及装置
JP6809613B2 (ja) 画像前景の検出装置、検出方法及び電子機器
CN110781733A (zh) 图像去重方法、存储介质、网络设备和智能监控系统
CN107346410B (zh) 图片处理方法及装置
CN109902550A (zh) 行人属性的识别方法和装置
Wei et al. A counting method for complex overlapping erythrocytes-based microscopic imaging
CN113470013A (zh) 一种搬移物品的检测方法及装置
KR20220098309A (ko) 대상 검출 방법, 장치 및 전자 디바이스
WO2023040342A1 (zh) 用于空调器自清洁的方法及装置、空调器、服务器
CN105844615A (zh) 识别规则矩形区域的方法及装置
CN106375654B (zh) 用于控制网络相机的设备和方法
EP2667354B1 (en) Method and apparatus for analyzing stereoscopic or multi-view images
CN111951254B (zh) 基于边缘引导加权平均的源相机识别方法及系统
CN107874760A (zh) 一种医学影像中的导丝追踪方法、装置、设备及存储介质
CN111353511B (zh) 号码识别装置及方法
CN108010020B (zh) 一种硅片的滑道检测方法及装置
CN114419471B (zh) 一种楼层识别方法、装置、电子设备及存储介质
CN113362355B (zh) 一种地面材质识别方法、装置和扫地机器人
CN111079473A (zh) 性别识别方法、装置、电子设备及计算机可读存储介质
CN113469053B (zh) 眼动轨迹鉴别方法及系统
JP7264163B2 (ja) 判定方法、判定プログラムおよび情報処理装置
Raju et al. Comparative studies on cell segmentation by fuzzy logic and Canny edge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant