CN110414447B - 行人跟踪方法、装置及设备 - Google Patents

行人跟踪方法、装置及设备 Download PDF

Info

Publication number
CN110414447B
CN110414447B CN201910703259.5A CN201910703259A CN110414447B CN 110414447 B CN110414447 B CN 110414447B CN 201910703259 A CN201910703259 A CN 201910703259A CN 110414447 B CN110414447 B CN 110414447B
Authority
CN
China
Prior art keywords
frame
tracking
pedestrian detection
detection frame
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910703259.5A
Other languages
English (en)
Other versions
CN110414447A (zh
Inventor
杨静林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910703259.5A priority Critical patent/CN110414447B/zh
Publication of CN110414447A publication Critical patent/CN110414447A/zh
Priority to PCT/CN2020/105196 priority patent/WO2021018141A1/zh
Priority to US17/280,821 priority patent/US11830273B2/en
Application granted granted Critical
Publication of CN110414447B publication Critical patent/CN110414447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种行人跟踪方法、装置及设备，属于图像处理技术领域。行人跟踪方法包括：步骤a、检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；步骤b、判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；步骤c、在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，转向步骤a。通过本发明的技术方案，能够提高行人跟踪的准确率。

Description

行人跟踪方法、装置及设备
技术领域
本发明涉及图像处理技术领域，特别是指一种行人跟踪方法、装置及设备。
背景技术
目标跟踪，如行人跟踪是计算机视觉领域的一个重要方面，在人工智能(Artificial Intelligence，AI)、视频监控、人机交互、机器人、军事制导等领域都有广泛的应用前景。
相关技术中的多目标跟踪算法，主要是基于tracking-by-detection的模式，通过对相邻视频帧中检测出来的行人进行关联，达到多目标跟踪的效果。但是，由于行人之间的遮挡和交叉较多，容易存在行人跟踪丢失和误匹配的问题。
发明内容
本发明要解决的技术问题是提供一种行人跟踪方法、装置及设备，能够提高行人跟踪的准确率。
为解决上述技术问题，本发明的实施例提供技术方案如下：
本发明的实施例提供了一种行人跟踪方法，包括：
步骤a、检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；
步骤b、判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；
步骤c、在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，转向步骤a。
可选地，所述步骤b之后，所述方法还包括：
步骤d、在所述跟踪计数器的值小于预设第二阈值时，删除所述候选行人检测框，所述预设第二阈值小于所述预设第一阈值。
可选地，所述跟踪计数器为首次检测到所述候选行人检测框后建立，所述跟踪计数器的初始值为0或者为一大于0的整数。
可选地，所述判断所述候选行人检测框是否与已有跟踪框匹配包括：
计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离，在所述特征距离小于预设第三阈值时，判断所述候选行人检测框与已有跟踪框匹配，在所述特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，N为大于1的整数。
可选地，所述计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离包括：
计算所述候选行人检测框的特征；
计算所述候选行人检测框的特征与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数；
通过以下公式计算所述特征距离Dmean：
Figure BDA0002151410330000021
可选地，所述检测当前帧待检测图像中的候选行人检测框之后，所述方法还包括：
对当前帧待检测图像中的每个候选行人检测框，分别计算与其他候选行人检测框的偏交并比，在任一偏交并比的值大于预设第四阈值时，不保存所述候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存所述候选行人检测框的特征作为当前帧图像中的跟踪框的特征。
可选地，所述偏交并比为
Figure BDA0002151410330000022
其中，A为所述候选行人检测框，B为任一其他候选行人检测框。
本发明的实施例还提供了一种行人跟踪装置，包括：
检测模块，用于检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；
判断模块，用于判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；
处理模块，用于在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，由所述检测模块继续进行检测。
可选地，所述装置还包括：
删除模块，用于在所述跟踪计数器的值小于预设第二阈值时，删除所述候选行人检测框，所述预设第二阈值小于所述预设第一阈值。
可选地，所述跟踪计数器为首次检测到所述候选行人检测框后建立，所述跟踪计数器的初始值为0或者为一大于0的整数。
可选地，所述判断模块包括：
计算单元，用于计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离，在所述特征距离小于预设第三阈值时，判断所述候选行人检测框与已有跟踪框匹配，在所述特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，N为大于1的整数。
可选地，所述计算单元具体用于计算所述候选行人检测框的特征；计算所述候选行人检测框的特征与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数；通过以下公式计算所述特征距离Dmean：
Figure BDA0002151410330000031
可选地，所述装置还包括：
计算模块，用于对当前帧待检测图像中的每个候选行人检测框，分别计算与其他候选行人检测框的偏交并比，在任一偏交并比的值大于预设第四阈值时，不保存所述候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存所述候选行人检测框的特征作为当前帧图像中的跟踪框的特征。
可选地，所述偏交并比为
Figure BDA0002151410330000032
其中，A为所述候选行人检测框，B为任一其他候选行人检测框。
本发明的实施例还提供了一种行人跟踪设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的行人跟踪方法中的步骤。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的行人跟踪方法中的步骤。
本发明的实施例具有以下有益效果：
上述方案中，在检测出当前帧待检测图像中的候选行人检测框后，判断候选行人检测框是否与已有跟踪框匹配，在匹配时，将跟踪计数器的值加1；在不匹配时，将跟踪计数器的值减1，在跟踪计数器的值大于预设第一阈值时，才将候选行人检测框确定为目标行人检测框，这样可以提高跟踪标识切换的鲁棒性，避免在某一帧图像中误检出一个行人检测框后就为该行人检测框创建一个新的跟踪标识，能够提高行人跟踪的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例行人跟踪方法的流程示意图；
图2为本发明实施例行人跟踪装置的结构框图；
图3为本发明具体实施例行人跟踪方法的流程示意图；
图4-图6为计算交并比的示意图。
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
视频中的多行人跟踪具有行人多遮挡和交叉的特点，相关技术采用tracking-by-detection的框架进行跟踪。其中，首先要对视频帧进行行人的目标检测，对检测到的目标通过IOU(Intersection-over-Union，交并比)和行人重识别特征进行不同目标的区分，再通过匈牙利算法对检测结果和跟踪结果进行匹配，利用卡尔曼滤波进行跟踪，但该算法在实际应用中，存在如下不足：
(1)跟踪标识切换的鲁棒性不足：当某一帧图像中误检出一个行人检测框时，就会为该行人检测框创建一个新的跟踪标识，同样地，当某一帧图像中漏检一个行人检测框时，就会删除该行人检测框的跟踪标识。
(2)在多个行人的场景中，一个目标行人检测框中往往会包含部分其他目标行人，这样两个目标行人检测框的重识别(re-identification)特征会相对接近，对特征匹配带来难度和误差。
(3)另外，在进行目标行人检测框与跟踪框的匹配时，仅计算特征间的余弦距离，选取距离最小的跟踪框与当前的目标行人检测框进行匹配，利用的信息少，特征匹配有可能存在误差。
为了解决上述问题，本发明实施例提供一种行人跟踪方法、装置及设备，能够提高行人跟踪的准确率。
本发明的实施例提供了一种行人跟踪方法，如图1所示，包括：
步骤a、检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；
步骤b、判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；
步骤c、在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，转向步骤a。
本实施例中，在检测出当前帧待检测图像中的候选行人检测框后，判断候选行人检测框是否与已有跟踪框匹配，在匹配时，将跟踪计数器的值加1；在不匹配时，将跟踪计数器的值减1，在跟踪计数器的值大于预设第一阈值时，才将候选行人检测框确定为目标行人检测框，这样可以提高跟踪标识切换的鲁棒性，避免在某一帧图像中误检出一个行人检测框后就为该行人检测框创建一个新的跟踪标识，能够提高行人跟踪的准确率。
其中，第一阈值的取值可以根据实际情况进行设置。第一阈值与跟踪计数器的初始值之间的差值应大于1，这样可以避免在某一帧图像中误检出一个行人检测框后就将该行人检测框确定为目标行人检测框，并为该行人检测框创建一个新的跟踪标识。
一具体实施例中，所述步骤b之后，所述方法还包括：
步骤d、在所述跟踪计数器的值小于预设第二阈值时，删除所述候选行人检测框，所述预设第二阈值小于所述预设第一阈值。
本实施例中，对跟踪计数器的值进行判断，在跟踪计数器的值小于预设第二阈值后，才删除候选行人检测框，通过对第二阈值的值进行设置，可以避免在某一帧图像中漏检候选行人检测框时，就删除候选行人检测框。
可选地，所述跟踪计数器为首次检测到所述候选行人检测框后建立，所述跟踪计数器的初始值可以为0或者为一大于0的整数。
一具体实施例中，所述判断所述候选行人检测框是否与已有跟踪框匹配包括：
计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离，在所述特征距离小于预设第三阈值时，判断所述候选行人检测框与已有跟踪框匹配，在所述特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，N为大于1的整数。
本实施例中，为了能更好地判断候选行人检测框与已有跟踪框是否匹配，对当前帧的前N帧图像进行特征累计，利用当前帧的前N帧图像计算特征距离，降低特征匹配的误差，从而可以提高行人跟踪的准确率。
一具体示例中，所述计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离包括：
计算所述候选行人检测框的特征；
计算所述候选行人检测框的特征与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数；
通过以下公式计算所述特征距离Dmean：
Figure BDA0002151410330000071
一具体实施例中，所述检测当前帧待检测图像中的候选行人检测框之后，所述方法还包括：
对当前帧待检测图像中的每个候选行人检测框，分别计算与其他候选行人检测框的偏交并比，在任一偏交并比的值大于预设第四阈值时，不保存所述候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存所述候选行人检测框的特征作为当前帧图像中的跟踪框的特征。
在多个行人的场景中，一个目标行人检测框中往往会包含部分其他目标行人，这样两个目标行人检测框的重识别特征会相对接近，对特征匹配带来难度和误差，会影响行人跟踪的准确率，本实施例计算每个候选行人检测框与其他候选行人检测框的偏交并比，在偏交并比的值较大时，不保存候选行人检测框的特征，这样在进行特征匹配时，就不会利用未保存的候选行人检测框的特征进行特征匹配，从而能够降低特征匹配的难度和误差，进而有助于提高行人跟踪的准确率。
一具体示例中，所述偏交并比为
Figure BDA0002151410330000072
其中，A为所述候选行人检测框，B为任一其他候选行人检测框。这样在候选行人检测框A被候选行人检测框B包含的时候，A的偏IOU较大，反之，则较小。在候选行人检测框A与候选行人检测框B的偏IOU较大时，说明候选行人检测框B包含了候选行人检测框A的大部分区域，候选行人检测框A的reid特征不具有显著的区分效果，因此，不用于计算特征距离。
本发明的实施例还提供了一种行人跟踪装置，如图2所示，包括：
检测模块21，用于检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；
判断模块22，用于判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；
处理模块23，用于在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，由所述检测模块继续进行检测。
本实施例中，在检测出当前帧待检测图像中的候选行人检测框后，判断候选行人检测框是否与已有跟踪框匹配，在匹配时，将跟踪计数器的值加1；在不匹配时，将跟踪计数器的值减1，在跟踪计数器的值大于预设第一阈值时，才将候选行人检测框确定为目标行人检测框，这样可以提高跟踪标识切换的鲁棒性，避免在某一帧图像中误检出一个行人检测框后就为该行人检测框创建一个新的跟踪标识，能够提高行人跟踪的准确率。
其中，第一阈值的取值可以根据实际情况进行设置。第一阈值与跟踪计数器的初始值之间的差值应大于1，这样可以避免在某一帧图像中误检出一个行人检测框后就将该行人检测框确定为目标行人检测框，并为该行人检测框创建一个新的跟踪标识。
一具体实施例中，所述装置还包括：
删除模块，用于在所述跟踪计数器的值小于预设第二阈值时，删除所述候选行人检测框，所述预设第二阈值小于所述预设第一阈值。
本实施例中，对跟踪计数器的值进行判断，在跟踪计数器的值小于预设第二阈值后，才删除候选行人检测框，通过对第二阈值的值进行设置，可以避免在某一帧图像中漏检候选行人检测框时，就删除候选行人检测框。
可选地，所述跟踪计数器为首次检测到所述候选行人检测框后建立，所述跟踪计数器的初始值可以为0或者为一大于0的整数。
一具体实施例中，所述判断模块包括：
计算单元，用于计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离，在所述特征距离小于预设第三阈值时，判断所述候选行人检测框与已有跟踪框匹配，在所述特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，N为大于1的整数。
本实施例中，为了能更好地判断候选行人检测框与已有跟踪框是否匹配，对当前帧的前N帧图像进行特征累计，利用当前帧的前N帧图像计算特征距离，降低特征匹配的误差，从而可以提高行人跟踪的准确率。
一具体实施例中，所述计算单元具体用于计算所述候选行人检测框的特征；计算所述候选行人检测框的特征与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数；通过以下公式计算所述特征距离Dmean：
Figure BDA0002151410330000091
一具体实施例中，所述装置还包括：
计算模块，用于对当前帧待检测图像中的每个候选行人检测框，分别计算与其他候选行人检测框的偏交并比，在任一偏交并比的值大于预设第四阈值时，不保存所述候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存所述候选行人检测框的特征作为当前帧图像中的跟踪框的特征。
在多个行人的场景中，一个目标行人检测框中往往会包含部分其他目标行人，这样两个目标行人检测框的重识别特征会相对接近，对特征匹配带来难度和误差，会影响行人跟踪的准确率，本实施例计算每个候选行人检测框与其他候选行人检测框的偏交并比，在偏交并比的值较大时，不保存候选行人检测框的特征，这样在进行特征匹配时，就不会利用未保存的候选行人检测框的特征进行特征匹配，从而能够降低特征匹配的难度和误差，进而有助于提高行人跟踪的准确率。
一具体示例中，所述偏交并比为
Figure BDA0002151410330000092
其中，A为所述候选行人检测框，B为任一其他候选行人检测框。这样在候选行人检测框A被候选行人检测框B包含的时候，A的偏IOU较大，反之，则较小。在候选行人检测框A与候选行人检测框B的偏IOU较大时，说明候选行人检测框B包含了候选行人检测框A的大部分区域，候选行人检测框A的reid特征不具有显著的区分效果，因此，不用于计算特征距离。
一具体实施例中，如图3所示，行人跟踪方法包括以下步骤：
步骤301：输入当前帧待检测图像；
其中，待检测视频包括有多帧待检测图像，对每一帧待检测图像都需要分别执行行人跟踪操作。
步骤302：检测当前帧待检测图像中的候选行人检测框，该候选行人检测框对应有计数器，转向步骤303和步骤307；
对每一个新的候选行人检测框，建立一个临时的跟踪标识，并设置两个跟踪计数器a和b，其中计数器a初始值可以设置为0，在每一帧待检测图像中，当候选行人检测框与已有跟踪框匹配时，更新候选行人检测框的临时跟踪标识，且将计数器a的值+1，如果计数器a的值达到计数阈值thr1，此临时跟踪标识转化为确认的跟踪标识，将候选行人检测框确定为目标行人检测框，并继续跟踪；计数器b的初始值可以设置为一个大于零的常数，在每一帧待检测图像中，当候选行人检测框与已有跟踪框匹配时，更新候选行人检测框的临时跟踪标识，且将计数器b的值+1，如果候选行人检测框与已有跟踪框不匹配，将计数器b的值-1。当计数器b的值达到计数阈值thr2或者临时跟踪标识转化为确认的跟踪标识时，计数器b的值停止更新，当计数器b的值减至0时，删除该候选行人检测框。其中，计数器a和计数器b可以采用同一个计数器，此时thr1等于thr2，均等于上述第一阈值。
步骤303：计算该候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离；
本实施例中，通过Deepsort算法采用128维的reid特征向量进行候选行人检测框与跟踪框的匹配。为了能更好的进行匹配，deepsort算法对当前帧与前N帧图像的距离进行加权累计，进行特征间的匹配。
首先可以计算候选行人检测框与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数，n的取值从1到N，可以得到N个距离计算结果。其中，特征距离可以采用余弦距离，除了余弦距离，也可以采用其他的特征距离度量方法。
以每一帧的特征距离作为权值，进行累加，得到特征距离的累加值：
Figure BDA0002151410330000111
对此加权累加值取平均值，作为最后的特征距离：
Figure BDA0002151410330000112
步骤304：判断特征距离是否小于预设第三阈值，如果特征距离小于预设第三阈值，判断候选行人检测框与已有跟踪框匹配，如果特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，根据匹配结果更新计数器的值；
步骤305：判断计数器的值是否大于预设第一阈值，如果是，转向步骤306，如果否，获取下一帧待检测图像，转向步骤301；
步骤306：将候选行人检测框确定为目标行人检测框，并为该目标行人检测框创建一个新的跟踪标识；
之后，获取下一帧待检测图像，转向步骤301。
步骤307：对当前帧待检测图像中的每一候选行人检测框，计算与其他候选行人检测框的偏交并比；
IOU作为reid的补充，可以对行人跟踪起到辅助作用。但是，在多行人的场景下，传统的IOU具有一定的缺陷。如图4-图6所示，候选行人检测框A和候选行人检测框B存在重合区域，候选行人检测框A和候选行人检测框B的并集为图5中填充横线的部分，候选行人检测框A和候选行人检测框B的交集为图6中填充竖线的部分。传统的IOU是计算A与B的交集(A∩B)与A与B的并集(A∪B)的比值。但是，在多行人的情况下，候选行人检测框A中，有可能包含了候选行人检测框B的部分区域，尤其在包含了候选行人检测框B的大部分时，候选行人检测框A与候选行人检测框B的reid特征可能会出现特征距离较为接近的情况，使得特征匹配失败，进而跟踪错误。针对这一问题，本实施例提出偏IOU的计算方法，对当前帧的每个候选行人检测框，分别计算与其他候选行人检测框的偏IOU，即
Figure BDA0002151410330000121
在候选行人检测框A被候选行人检测框B包含的时候，候选行人检测框A的偏IOU(partial_iou)较大，反之，则较小。在候选行人检测框A与候选行人检测框B的偏IOU较大时，说明候选行人检测框B包含了候选行人检测框A的大部分区域，候选行人检测框A的reid特征不具有显著的区分效果，因此，不将候选行人检测框A的特征用于特征距离的计算，否则，将候选行人检测框A的特征计入统计，应用于前述的前N帧特征距离的计算中。
步骤308：判断偏交并比的值是否大于预设第四阈值，在任一偏交并比的值大于预设第四阈值时，不保存该候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存该候选行人检测框的特征作为当前帧图像中的跟踪框的特征，用于步骤303的特征距离的计算中。
本实施例中，在检测出当前帧待检测图像中的候选行人检测框后，判断候选行人检测框是否与已有跟踪框匹配，在匹配时，将跟踪计数器的值加1；在不匹配时，将跟踪计数器的值减1，在跟踪计数器的值大于预设第一阈值时，才将候选行人检测框确定为目标行人检测框，这样可以提高跟踪标识切换的鲁棒性，避免在某一帧图像中误检出一个行人检测框后就为该行人检测框创建一个新的跟踪标识，能够提高行人跟踪的准确率。
本发明的实施例还提供了一种行人跟踪设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的行人跟踪方法中的步骤。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的行人跟踪方法中的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、用户终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理用户终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理用户终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理用户终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理用户终端设备上，使得在计算机或其他可编程用户终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程用户终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者用户终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者用户终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者用户终端设备中还存在另外的相同要素。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (6)

1.一种行人跟踪方法，其特征在于，包括：
步骤a、检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；
步骤b、判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；
步骤c、在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，转向步骤a；所述第一阈值与所述跟踪计数器的初始值之间的差值应大于1；
所述步骤b之后，所述方法还包括：
步骤d、在所述跟踪计数器的值小于预设第二阈值时，删除所述候选行人检测框，所述预设第二阈值小于所述预设第一阈值；
所述判断所述候选行人检测框是否与已有跟踪框匹配包括：
计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离，在所述特征距离小于预设第三阈值时，判断所述候选行人检测框与已有跟踪框匹配，在所述特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，N为大于1的整数；
所述计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离包括：
计算所述候选行人检测框的特征；
计算所述候选行人检测框的特征与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数；
通过以下公式计算所述特征距离Dmean：
Figure FDA0003386861810000011
所述检测当前帧待检测图像中的候选行人检测框之后，所述方法还包括：
对当前帧待检测图像中的每个候选行人检测框，分别计算与其他候选行人检测框的偏交并比，在任一偏交并比的值大于预设第四阈值时，不保存所述候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存所述候选行人检测框的特征作为当前帧图像中的跟踪框的特征；
所述偏交并比为
Figure FDA0003386861810000021
其中，A为所述候选行人检测框，B为任一其他候选行人检测框。
2.根据权利要求1所述的行人跟踪方法，其特征在于，所述跟踪计数器为首次检测到所述候选行人检测框后建立，所述跟踪计数器的初始值为0或者为一大于0的整数。
3.一种行人跟踪装置，其特征在于，包括：
检测模块，用于检测当前帧待检测图像中的候选行人检测框，所述候选行人检测框对应一跟踪计数器；
判断模块，用于判断所述候选行人检测框是否与已有跟踪框匹配，在匹配时，所述跟踪计数器的值加1；在不匹配时，所述跟踪计数器的值减1；
处理模块，用于在所述跟踪计数器的值大于预设第一阈值时，将所述候选行人检测框确定为目标行人检测框，在所述跟踪计数器的值小于等于预设第一阈值时，获取下一帧待检测图像，由所述检测模块继续进行检测；所述第一阈值与所述跟踪计数器的初始值之间的差值应大于1；
所述装置还包括：
删除模块，用于在所述跟踪计数器的值小于预设第二阈值时，删除所述候选行人检测框，所述预设第二阈值小于所述预设第一阈值；
所述判断模块包括：
计算单元，用于计算所述候选行人检测框与当前帧的前N帧图像中的跟踪框的特征距离，在所述特征距离小于预设第三阈值时，判断所述候选行人检测框与已有跟踪框匹配，在所述特征距离大于等于预设第三阈值时，判断所述候选行人检测框与已有跟踪框不匹配，N为大于1的整数；
所述计算单元具体用于计算所述候选行人检测框的特征；计算所述候选行人检测框的特征与当前帧的前第n帧图像中的跟踪框的特征之间的距离dist(n)，n为大于等于1小于等于N的整数；通过以下公式计算所述特征距离Dmean：
Figure FDA0003386861810000031
所述装置还包括：
计算模块，用于对当前帧待检测图像中的每个候选行人检测框，分别计算与其他候选行人检测框的偏交并比，在任一偏交并比的值大于预设第四阈值时，不保存所述候选行人检测框的特征；在所有偏交并比的值均小于等于预设第四阈值时，保存所述候选行人检测框的特征作为当前帧图像中的跟踪框的特征；
所述偏交并比为
Figure FDA0003386861810000032
其中，A为所述候选行人检测框，B为任一其他候选行人检测框。
4.根据权利要求3所述的行人跟踪装置，其特征在于，所述跟踪计数器为首次检测到所述候选行人检测框后建立，所述跟踪计数器的初始值为0或者为一大于0的整数。
5.一种行人跟踪设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至2中任一项所述的行人跟踪方法中的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2中任一项所述的行人跟踪方法中的步骤。
CN201910703259.5A 2019-07-31 2019-07-31 行人跟踪方法、装置及设备 Active CN110414447B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910703259.5A CN110414447B (zh) 2019-07-31 2019-07-31 行人跟踪方法、装置及设备
PCT/CN2020/105196 WO2021018141A1 (zh) 2019-07-31 2020-07-28 用于多目标的行人跟踪方法、装置及设备
US17/280,821 US11830273B2 (en) 2019-07-31 2020-07-28 Multi-target pedestrian tracking method, multi-target pedestrian tracking apparatus and multi-target pedestrian tracking device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910703259.5A CN110414447B (zh) 2019-07-31 2019-07-31 行人跟踪方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110414447A CN110414447A (zh) 2019-11-05
CN110414447B true CN110414447B (zh) 2022-04-15

Family

ID=68364755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910703259.5A Active CN110414447B (zh) 2019-07-31 2019-07-31 行人跟踪方法、装置及设备

Country Status (3)

Country Link
US (1) US11830273B2 (zh)
CN (1) CN110414447B (zh)
WO (1) WO2021018141A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414447B (zh) 2019-07-31 2022-04-15 京东方科技集团股份有限公司 行人跟踪方法、装置及设备
CN113255411A (zh) * 2020-02-13 2021-08-13 北京百度网讯科技有限公司 目标检测方法、装置、电子设备及存储介质
CN111784224A (zh) * 2020-03-26 2020-10-16 北京京东乾石科技有限公司 物体跟踪方法和装置、控制平台和存储介质
CN112069879B (zh) * 2020-07-22 2024-06-07 深圳市优必选科技股份有限公司 一种目标人物跟随方法、计算机可读存储介质及机器人
CN112800841B (zh) * 2020-12-28 2024-05-17 深圳市捷顺科技实业股份有限公司 一种行人计数方法、装置、系统及计算机可读存储介质
CN112784725B (zh) * 2021-01-15 2024-06-07 北京航天自动控制研究所 行人防撞预警方法、设备、存储介质及堆高机
CN114757972B (zh) * 2022-04-15 2023-10-10 中国电信股份有限公司 目标跟踪方法、装置、电子设备及计算机可读存储介质
CN114782495B (zh) * 2022-06-16 2022-10-18 西安中科立德红外科技有限公司 一种多目标跟踪方法、系统及计算机存储介质
CN115546192B (zh) * 2022-11-03 2023-03-21 中国平安财产保险股份有限公司 牲畜数量识别方法、装置、设备及存储介质
CN116563769B (zh) * 2023-07-07 2023-10-20 南昌工程学院 一种视频目标识别追踪方法、系统、计算机及存储介质
CN117611636B (zh) * 2024-01-23 2024-04-26 中国水产科学研究院黄海水产研究所 一种鱼类跟踪方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844669A (zh) * 2016-03-28 2016-08-10 华中科技大学 一种基于局部哈希特征的视频目标实时跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5279635B2 (ja) * 2008-08-20 2013-09-04 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
US8237847B2 (en) * 2008-10-16 2012-08-07 Fujinon Corporation Auto focus system having AF frame auto-tracking function
US10963893B1 (en) * 2016-02-23 2021-03-30 Videomining Corporation Personalized decision tree based on in-store behavior analysis
US10019633B2 (en) * 2016-08-15 2018-07-10 Qualcomm Incorporated Multi-to-multi tracking in video analytics
CN109101859A (zh) * 2017-06-21 2018-12-28 北京大学深圳研究生院 使用高斯惩罚检测图像中行人的方法
CN108022258B (zh) 2017-10-20 2020-07-03 南京邮电大学 基于单次多框检测器与卡尔曼滤波的实时多目标跟踪方法
US11055555B2 (en) * 2018-04-20 2021-07-06 Sri International Zero-shot object detection
US10943204B2 (en) * 2019-01-16 2021-03-09 International Business Machines Corporation Realtime video monitoring applied to reduce customer wait times
AU2019200976A1 (en) * 2019-02-12 2020-08-27 Canon Kabushiki Kaisha Method, system and apparatus for generating training samples for matching objects in a sequence of images
AU2019100806A4 (en) * 2019-07-24 2019-08-29 Dynamic Crowd Measurement Pty Ltd Real-Time Crowd Measurement And Management Systems And Methods Thereof
CN110414447B (zh) 2019-07-31 2022-04-15 京东方科技集团股份有限公司 行人跟踪方法、装置及设备
CN111242977B (zh) * 2020-01-09 2023-04-25 影石创新科技股份有限公司 全景视频的目标跟踪方法、可读存储介质及计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844669A (zh) * 2016-03-28 2016-08-10 华中科技大学 一种基于局部哈希特征的视频目标实时跟踪方法
CN108053427A (zh) * 2017-10-31 2018-05-18 深圳大学 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN108734107A (zh) * 2018-04-24 2018-11-02 武汉幻视智能科技有限公司 一种基于人脸的多目标跟踪方法及系统
CN109063593A (zh) * 2018-07-13 2018-12-21 北京智芯原动科技有限公司 一种人脸跟踪方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A system for tracking and recognizing pedestrian faces using a network of loosely coupled cameras;Langis Gagnon et al;《Proceedings of SPIE - The International Society for Optical Engineering》;20061231;全文 *
基于人脸检测的人脸跟踪算法;梁路宏等;《计算机工程与应用》;20011231;全文 *

Also Published As

Publication number Publication date
CN110414447A (zh) 2019-11-05
WO2021018141A1 (zh) 2021-02-04
US11830273B2 (en) 2023-11-28
US20220004747A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN110414447B (zh) 行人跟踪方法、装置及设备
Shen et al. Fast online tracking with detection refinement
CN109816701B (zh) 一种目标跟踪方法及装置、存储介质
US11023759B2 (en) Method and device for correcting license plate
CN106934817B (zh) 基于多属性的多目标跟踪方法及装置
CN110807377B (zh) 目标跟踪和入侵检测方法、装置、及存储介质
WO2013053159A1 (zh) 一种车辆跟踪的方法及装置
CN106803263A (zh) 一种目标跟踪方法及装置
CN111429483A (zh) 高速跨摄像机多目标跟踪方法、系统、装置及存储介质
CN111709975A (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN111383246B (zh) 条幅检测方法、装置及设备
CN109118514B (zh) 一种目标跟踪方法
CN108573215B (zh) 道路反光区域检测方法、装置和终端
JP7120004B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡プログラム
CN111553234A (zh) 融合人脸特征与Re-ID特征排序的行人跟踪方法及装置
JP2019067159A (ja) 区画線認識装置
CN103473528A (zh) 目标越过绊线的检测方法及装置、视频监控系统
CN102034103A (zh) 一种遥感影像的线性要素提取方法
CN106950527B (zh) 一种多基线干涉仪测向体制下的脉冲信号分选方法
CN110084157B (zh) 图像重识别的数据处理方法及装置
CN110969898A (zh) 一种船舶高度的检测方法、装置及系统
CN114882491B (zh) 一种非机动车目标的跟踪方法、装置和电子设备
WO2023184833A1 (zh) 检测结果处理方法和装置、设备、介质及计算机程序产品
WO2022252482A1 (zh) 机器人及其环境地图构建方法和装置
WO2020237501A1 (zh) 一种多源协同道路车辆监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant