CN108665476A - 一种行人跟踪方法以及电子设备 - Google Patents

一种行人跟踪方法以及电子设备 Download PDF

Info

Publication number
CN108665476A
CN108665476A CN201710208767.7A CN201710208767A CN108665476A CN 108665476 A CN108665476 A CN 108665476A CN 201710208767 A CN201710208767 A CN 201710208767A CN 108665476 A CN108665476 A CN 108665476A
Authority
CN
China
Prior art keywords
whole body
tracked
body frame
tracking
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710208767.7A
Other languages
English (en)
Other versions
CN108665476B (zh
Inventor
杨怡
陈茂林
周剑辉
白博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Digital Technologies Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Digital Technologies Suzhou Co Ltd filed Critical Huawei Digital Technologies Suzhou Co Ltd
Priority to CN201710208767.7A priority Critical patent/CN108665476B/zh
Priority to PCT/CN2018/079514 priority patent/WO2018177153A1/zh
Priority to KR1020197026991A priority patent/KR102296088B1/ko
Priority to EP18774563.3A priority patent/EP3573022A4/en
Priority to JP2019553258A priority patent/JP6847254B2/ja
Publication of CN108665476A publication Critical patent/CN108665476A/zh
Priority to US16/587,941 priority patent/US20200027240A1/en
Application granted granted Critical
Publication of CN108665476B publication Critical patent/CN108665476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例提供了一种行人跟踪方法以及电子设备,所述方法包括:在检测周期内,获取出现在待跟踪视频内的待跟踪行人的上半身检测框,根据所述上半身检测框获取所述待跟踪行人的检测周期全身框,在所述跟踪周期内,根据检测周期全身框获取与上半身跟踪框对应的跟踪周期全身框,可见,通过所述跟踪周期全身框即可对所述待跟踪行人进行跟踪,因检测周期全身框的宽高比是可变的,因此即便待跟踪行人在所述检测周期内以异常的姿势出现时,则采用本实施例所示的方法依旧能够获取到所述待跟踪行人准确的跟踪周期全身框,从而实现了在待跟踪行人以异常姿势出现时,依旧能够实现对所述待跟踪行人的准备跟踪。

Description

一种行人跟踪方法以及电子设备
技术领域
本发明涉及通信技术领域,尤其涉及的是一种行人跟踪方法以及电子设备。
背景技术
在建立平安城市的时代背景下,智能视频分析系统越来越受到关注。智能视频分析系统需要自动化、智能化地对海量视频数据中的行人进行分析,比如计算行人运动轨迹、对禁区进行行人异常闯入检测、自动检测道路上的行人并提醒驾驶员注意避让、通过以图搜图帮助公安寻找犯罪嫌疑人等,可大大提高办事效率并降低人力成本。
为自动提取海量视频数据中的行人,需要采用行人检测与跟踪算法。行人检测是指输入一张图像,通过检测算法自动找到图像中的行人,并以矩形框的形式给出该行人的位置,这个矩形框称为行人的检测框。由于行人在视频中处于运动状态,需要采用行人跟踪算法对行人进行跟踪,得到行人在视频中每一帧的位置,该位置也是以矩形框的形式给出,这个矩形框则称为行人的跟踪框。
现有技术的缺陷在于:1、检测框不够准确:由于行人的检测框的宽高比是固定的,且是对行人全身进行检测,当行人以某种异常姿态出现时,例如腿张的特别开,导致宽高比变大,则固定宽高比的行人的检测框将会不太准确。2、检测框、跟踪框不能捕捉到行人行走过程中姿态的变化:由于行人在视频中是运动的,行人在行走过程中姿态可能会发生较大的变化,这种变化表现在视频图像中则为该行人的最小外接矩形框宽高比的变化。基于固定宽高比的检测框和跟踪框不能捕捉到行人行走过程中的姿态变化。
发明内容
本发明提供了一种无论待跟踪行人的姿势如何变化,依旧能够准确的实现跟踪的行人跟踪方法以及电子设备。
本发明实施例第一方面提供了一种行人跟踪方法,包括:
步骤A、确定待跟踪视频的检测周期和跟踪周期;
可选的,所述检测周期包含于所述跟踪周期内,且检测周期的持续时间小于所述跟踪周期的持续时间。
可选的,本实施例所示的所述检测周期可不包含于所述跟踪周期内,所述检测周期位于所述跟踪周期之前,且检测周期的持续时间小于所述跟踪周期的持续时间。
步骤B、获取待跟踪行人的上半身检测框。
具体的,在所述检测周期内,获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框。
更具体的,首先确定出目标图像帧,所述目标图像帧为出现所述待跟踪行人的图像帧。
在确定出所述目标图像帧时,即可在所述目标图像帧内获取所述上半身检测框。
步骤C、获取所述待跟踪行人的检测周期全身框。
具体的,根据所述上半身检测框获取所述待跟踪行人的检测周期全身框。
步骤D、待跟踪行人的上半身跟踪框。
具体的,在所述跟踪周期内,获取出现在所述待跟踪视频内的所述待跟踪行人的上半身跟踪框。
本实施例中,将所述检测周期内所获取到的所述检测周期全身框初始化为跟踪目标,以能够在所述跟踪周期内,对作为所述跟踪目标的所述待跟踪行人进行跟踪。
步骤E、获取跟踪周期全身框。
具体的,根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框;
所述跟踪周期全身框用于对所述待跟踪行人进行跟踪。
采用本实施例所示的方法,所获取到的所述检测周期全身框为根据所述待跟踪行人的上半身检测框得到的,且所述检测周期全身框的宽高比是可变的,因此即便待跟踪行人在所述检测周期内以异常的姿势出现时,则采用本实施例所示的方法依旧能够获取到所述待跟踪行人准确的跟踪周期全身框,从而实现了在待跟踪行人以异常姿势出现时,依旧能够实现对所述待跟踪行人的准备跟踪。
结合本发明实施例的第一方面,本发明实施例的第一方面的第一种实现方式中,所述步骤C之前,还执行如下步骤:
步骤C01、获取下半身扫描区域。
本实施例在获取到所述待跟踪行人的所述上半身检测框后,即可根据所述待跟踪行人的所述上半身检测框获取所述待跟踪行人的下半身扫描区域。
步骤C02、获取所述检测周期全身框。
具体的,若在所述下半身扫描区域内进行下半身检测获取到下半身检测框,则根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框。
采用本实施例所示的方法所获取到的所述检测周期全身框为所述待跟踪行人的上半身检测框和所述待跟踪行人的下半身检测框组合得到的,可见,所获取到的所述检测周期全身框的宽高比是可变的,因此即便待跟踪行人在所述检测周期内以异常的姿势出现时,例如,所述待跟踪行人腿张的特别开的姿势,使得待跟踪行人的上半身和下半身的比例发生变化时,可通过将分别获取到所述上半身检测框和下半身检测框进行组合依旧能够获取到所述待跟踪行人准确的所述检测周期全身框,从而实现了对待跟踪行人的准备跟踪。
结合本发明实施例的第一方面的第一种实现方式,本发明实施例的第一方面的第二种实现方式中,
所述上半身检测框其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标;
则步骤C01具体包括:
步骤C011、确定第一参数。
所述第一参数其中,所述Ratiodefault为预设的比值。
可选的,本实施例所述Ratiodefault为预先存储的,且所述Ratiodefault可为预先根据人体检测框的宽高比进行设置,例如,预先确定出所述人体检测框的宽高比为3:7,则可将Ratiodefault设定为3/7,并将所述Ratiodefault进行存储,以使在执行本步骤所示的过程中,可将所述Ratiodefault调取出来以进行所述第一参数的计算。
步骤C012、确定第二参数。
其中,所述第二参数
步骤C013、确定第三参数;
其中,所述第三参数
步骤C014、确定所述下半身扫描区域。
具体的,可根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域。
可见,在获取到所述第一参数、所述第二参数以及所述第三参数的情况下,即可确定出所述下半身扫描区域,以使在已获取到的所述下半身扫描区域中进行待跟踪行人的下半身检测框的检测,从而提升了获取待跟踪行人的下半身检测框的准确性和效率,提升了对待跟踪行人进行跟踪的效率。
结合本发明实施例的第一方面的第二种实现方式,本发明实施例的第一方面的第三种实现方式中,
所述步骤C014具体执行,根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域,其中,所述下半身扫描区域ScanArea=[Ls,Ts,Rs,Bs]。
具体的,所述Ls为所述下半身扫描区域的左上角横坐标,所示Ts为所述下半身扫描区域的左上角纵坐标,所述Rs为所述下半身扫描区域的右下角横坐标,所述Bs为所述下半身扫描区域的右下角纵坐标。
更具体的,所述所述 所述所述
所述paral1、所述paral2以及paral3为预设值,所述paral1、所述paral2以及paral3可为经验值,或操作人员可通过设定不同的paral1、所述paral2以及paral3实现不同的所述下半身扫描区域的设定。
所述igmW为所述待跟踪视频在所述检测周期内任一图像帧的宽度,所述imgH为所述待跟踪视频在所述检测周期内任一图像帧的高度。
采用本实施例所示的方法,能够在已获取到的所述下半身扫描区域中进行待跟踪行人的下半身检测框的检测,从而提升了获取待跟踪行人的下半身检测框的准确性和效率,提升了对待跟踪行人进行跟踪的效率,且在获取的过程中,可通过对参数(paral1、所述paral以及paral3)不同的设定,以实现不同的所述下半身扫描区域的设定,从而使得本实施例所示的方法的适用性强,以使在不同的应用场景下,可根据不同的参数的设定以实现不同的下半身检测框的定位,从而提升了待跟踪行人检测的准确性。
结合本发明实施例的第一方面的第一种实现方式至本发明实施例的第一方面的第三种实现方式任一项所述的方法,本发明实施例的第一方面的第四种实现方式中,
所述下半身检测框
其中,所述为所述下半身检测框的左上角横坐标,所述为所述下半身检测框的左上角纵坐标,所述为所述下半身检测框的右下角横坐标,所述为所述下半身检测框的右下角纵坐标;
所述步骤C包括:
步骤C11、确定所述检测周期全身框的左上角横坐标;
具体的,所述检测周期全身框的左上角横坐标为:
步骤C12、确定所述检测周期全身框的左上角纵坐标;
具体的,所述检测周期全身框的左上角纵坐标为:
步骤C13、确定所述检测周期全身框的右下角横坐标。
具体的,所述检测周期全身框的右下角横坐标为:
步骤C14、确定所述检测周期全身框的右下角纵坐标。
具体的,所述检测周期全身框的右下角纵坐标为:
步骤C15、确定所述检测周期全身框。
具体的,所述检测周期全身框为:
可见,采用本实施例所示的方法,所获取到的所述检测周期全身框为所述待跟踪行人的上半身检测框和所述待跟踪行人的下半身检测框组合得到的,从而使得即便待跟踪行人以异常的姿态出现时,例如腿张的特别开,导致宽高比变大,因本实施例能够对待跟踪行人的上半身和下半身分别进行检测,从而分别获取到所述待跟踪行人的上半身检测框和所述待跟踪行人的下半身检测框,即根据待跟踪行人姿态的不同,则使得所述检测周期全身框中的上半身检测框和所述下半身检测框具有不同的比例,则使得能够获取到准确的所述检测周期全身框,可见,基于可变的上半身检测框和所述下半身检测框的比例,则能够准确的捕捉到待跟踪行人行走过程中的姿态的变化,有效的避免了因待跟踪行人姿态的不同而无法对待跟踪行人进行跟踪的情况的出现。
结合本发明实施例的第一方面的第四种实现方式,本发明实施例的第一方面的第五种实现方式中,
所述步骤C之后,还需执行:
步骤D01、确定所述检测周期全身框的宽和所述检测周期全身框的高的比值;
具体的,所述检测周期全身框的宽和所述检测周期全身框的高的比值为
步骤D02、确定所述上半身检测框的高和所述检测周期全身框的高的比值。
具体的,所述上半身检测框的高和所述检测周期全身框的高的比值
步骤D03、确定所述跟踪周期全身框。
具体的,根据所述和所述确定所述跟踪周期全身框。
采用本实施例所示的方法,能够基于检测周期全身框的宽和所述检测周期全身框的高的比值以及基于所述上半身检测框的高和所述检测周期全身框的高的比值以确定所述跟踪周期全身框,因所述检测周期全身框能够准确的捕捉到待跟踪行人姿态的变化,则使得根据所述检测周期全身框所获取到的所述跟踪周期全身框能够准确的捕捉到待跟踪行人行走过程中的姿态的变化,提升了通过所述跟踪周期全身框对待跟踪行人进行跟踪的准确性,有效的避免了因待跟踪行人姿态的不同而无法对待跟踪行人进行跟踪的情况的出现。
结合本发明实施例的第一方面的第二种实现方式或本发明实施例的第一方面的第三种实现方式所述的方法,本发明实施例的第一方面的第六种实现方式中,
所述步骤C01之后,还需执行:
步骤C21、确定所述检测周期全身框的左上角横坐标。
具体的,若在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框,则确定所述检测周期全身框的左上角横坐标。
更具体的,所述检测周期全身框的左上角横坐标为:
步骤C22、确定所述检测周期全身框的左上角纵坐标。
具体的,所述检测周期全身框的左上角纵坐标为:
步骤C23、确定所述检测周期全身框的右下角横坐标。
具体的,所述检测周期全身框的右下角横坐标为
步骤C24、确定所述检测周期全身框的右下角纵坐标。
具体的,所述检测周期全身框的右下角纵坐标
步骤C25、确定所述检测周期全身框
可见,采用本实施例所示的方法,即便在所述下半身扫描区域内未获取到所述下半身检测框,则可根据所述上半身检测框对所述下半身检测框进行计算,从而在没有检测到所述下半身检测框的情况下依旧能够获取到所述检测周期全身框,从而有效的保障了对待跟踪行人进行跟踪,避免因待跟踪行人无法检测到下半身而不能实现对待跟踪行人进行跟踪的情况的出现,且能够准确的捕捉到待跟踪行人行走过程中的姿态的变化,有效的避免了因待跟踪行人姿态的不同而无法对待跟踪行人进行跟踪的情况的出现。
结合本发明实施例的第一方面的第六种实现方式,本发明实施例的第一方面的第七种实现方式中,
所述方法还包括:
步骤C31、获取预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值;
具体的,预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值为
步骤C32、确定所述上半身检测框的高和所述检测周期全身框的高的比值。
具体的,所述上半身检测框的高和所述检测周期全身框的高的比值为:
步骤C33、根据所述和所述确定所述跟踪周期全身框。
可见,采用本实施例所示的方法,即便在所述下半身扫描区域内未获取到所述下半身检测框,也可获取到跟踪周期全身框,从而有效的保障了对待跟踪行人进行跟踪。
结合本发明实施例的第一方面的第五种实现方式或本发明实施例的第一方面的第七种实现方式所述的方法,本发明实施例的第一方面的第八种实现方式中,
所述上半身跟踪框其中,所述为所述上半身跟踪框的左上角横坐标,所述为所述上半身跟踪框的左上角纵坐标,所述为所述上半身跟踪框的右下角横坐标,所述为所述上半身跟踪框的右下角纵坐标。
所述步骤C33具体包括:
步骤C331、确定所述跟踪周期全身框的左上角横坐标。
具体的,若则所述跟踪周期全身框的左上角横坐标
步骤C332、确定所述跟踪周期全身框的左上角纵坐标。
具体的,所述跟踪周期全身框的左上角纵坐标为:
步骤C333、确定所述跟踪周期全身框的右下角横坐标。
具体的,所述跟踪周期全身框的右下角横坐标
步骤C334、确定所述跟踪周期全身框的右下角纵坐标。
具体的,所述跟踪周期全身框的右下角纵坐标为:
更具体的,所述
步骤C335、确定所述跟踪周期全身框。
具体的,所述跟踪周期全身框为:
采用本实施例所示的方法,在所述检测周期全身框的左上角横坐标等于所述上半身检测框的左上角横坐标的情况下,能够计算得到所述跟踪周期全身框,从而使得即便因待跟踪行人姿态发生大幅度的变化,依旧能够获取到所述跟踪周期全身框,避免了无法跟踪到所述待跟踪行人的情况的出现,且能够提升对待跟踪行人进行跟踪的准确性。
结合本发明实施例第一方面至本发明实施例的第一方面的第八种实现方式任一项所述的方法,本发明实施例的第一方面的第九种实现方式中,
所述步骤D具体包括:
步骤D11、以所述上半身检测框为中心撒多个粒子。
具体的,以所述上半身检测框为中心撒多个粒子,所述多个粒子中的任一粒子的宽度和所述多个粒子中的任一粒子的高度的比值与所述上半身检测框的宽度和所述上半身检测框的高度的比值相同。
若在所述待跟踪视频的检测周期内的确定出所述上半身检测框,则在所述待跟踪视频的跟踪周期内的对所述待跟踪行人进行跟踪,因所述待跟踪行人在所述待跟踪视频中是运动的,所述待跟踪行人在检测周期内和在所述跟踪周期内的位置是不相同的,为实现对所述待跟踪行人的跟踪,则需要在所述待跟踪行人的上半身检测框周围撒多个粒子以实现对所述待跟踪行人的跟踪。
步骤D12、确定所述上半身跟踪框。
具体的,所述上半身跟踪框为所述多个粒子中与所述上半身检测框最相似的粒子。
采用本实施例所示的方法,在所述上半身检测框为中心撒多个粒子,从而实现了在所述跟踪周期内能够获取到准确的所述上半身跟踪框,且通过所述上半身检测框获取所述上半身跟踪框能够匹配待跟踪行人不同的姿态,从而实现了对待跟踪行人的准确跟踪。
结合本发明实施例的第一方面的第八种实现方式,本发明实施例的第一方面的第十种实现方式中,
所述步骤E具体包括:
步骤E11、确定所述跟踪周期全身框的左上角横坐标。
具体的,若则所述跟踪周期全身框的左上角横坐标
步骤E12、确定所述跟踪周期全身框的左上角纵坐标。
具体的,所述跟踪周期全身框的左上角纵坐标为:
步骤E13、确定所述跟踪周期全身框的右下角横坐标。
具体的,所述跟踪周期全身框的右下角横坐标
步骤E14、确定所述跟踪周期全身框的右下角纵坐标。
具体的,所述跟踪周期全身框的右下角纵坐标
更具体的,所述
步骤E15、确定所述跟踪周期全身框。
具体的,所述跟踪周期全身框
采用本实施例所示的方法,在所述检测周期全身框的左上角横坐标等于所述下半身检测框的左上角横坐标的情况下,能够计算得到所述跟踪周期全身框,从而使得即便因待跟踪行人姿态发生大幅度的变化,依旧能够获取到所述跟踪周期全身框,避免了无法跟踪到所述待跟踪行人的情况的出现,且能够提升对待跟踪行人进行跟踪的准确性。
结合本发明实施例的第一方面至本发明实施例的第一方面的第十种实现方式任一项所述的方法,本发明实施例的第一方面的第十一种实现方式中,
所述方法还包括:
步骤E21、获取所述待跟踪视频的目标图像帧序列。
所述目标图像帧序列包括一个或多个连续的图像帧,且所述目标图像帧序列位于所述检测周期之前。
步骤E22、根据所述目标图像帧序列获取所述待跟踪视频的背景区域。
具体的,在所述目标图像帧序列中的任一图像帧中,通过静态背景模型获取静止的对象,确定静止的对象即为所述待跟踪视频的背景区域。
步骤E23、获取所述待跟踪视频的任一图像帧的前景区域。
具体的,在所述检测周期内,将所述待跟踪视频的任一图像帧与所述背景区域相减以获取所述待跟踪视频的任一图像帧的前景区域。
具体的,在获取到所述待跟踪视频的背景区域的情况下,将所述待跟踪视频的任一图像帧的任一区域与所述背景区域作差分以得到目标数值,可见,所述待跟踪视频的任一图像帧的不同区域均对应一个目标数值。
若所述目标数值大于或等于预设阈值,则说明与所述目标数值对应的所述待跟踪视频的任一图像帧的区域为运动区域。
在检测出所述运动区域时,确定所述运动区域为所述待跟踪视频的任一图像帧的前景区域。
步骤E24、获取所述待跟踪行人。
具体的,对所述待跟踪视频的任一图像帧的前景区域进行检测以获取所述待跟踪行人。
结合本发明实施例的第一方面的第十一种实现方式,本发明实施例的第一方面的第十二种实现方式中,
所述步骤B包括:
步骤B11、确定目标图像帧。
具体的,所述目标图像帧为出现所述待跟踪行人的图像帧。
步骤B12、在所述目标图像帧的前景区域内获取所述上半身检测框。
可见,采用本实施例所示的方法,可在所述待跟踪视频的任一图像帧的前景区域进行待跟踪行人的检测和跟踪,即本实施例所示的对所述待跟踪行人的检测过程和跟踪过程,均执行在图像的前景区域上,则大大减少了需要处理的图像窗口数,即减少了所述待跟踪行人进行搜索的搜索空间,从而减少了对待跟踪行人进行跟踪过程所需要的时长,提升了对待跟踪行人进行跟踪的效率。
本发明实施例第二方面提供了一种电子设备,包括:
第一确定单元,用于确定待跟踪视频的检测周期和跟踪周期;
本实施例所示的所述第一确定单元,用于执行本发明实施例第一方面所示的步骤A,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第一获取单元,用于在所述检测周期内,获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框;
本实施例所示的所述第一获取单元,用于执行本发明实施例第一方面所示的步骤B,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第二获取单元,用于根据所述上半身检测框获取所述待跟踪行人的检测周期全身框;
本实施例所示的所述第二获取单元,用于执行本发明实施例第一方面所示的步骤C,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第三获取单元,用于在所述跟踪周期内,获取出现在所述待跟踪视频内的所述待跟踪行人的上半身跟踪框;
本实施例所示的所述第三获取单元,用于执行本发明实施例第一方面所示的步骤D,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第四获取单元,用于根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框,所述跟踪周期全身框用于对所述待跟踪行人进行跟踪。
本实施例所示的所述第四获取单元,用于执行本发明实施例第一方面所示的步骤E,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,所获取到的所述检测周期全身框为根据所述待跟踪行人的上半身检测框得到的,且所述检测周期全身框的宽高比是可变的,因此即便待跟踪行人在所述检测周期内以异常的姿势出现时,则采用本实施例所示的方法依旧能够获取到所述待跟踪行人准确的跟踪周期全身框,从而实现了在待跟踪行人以异常姿势出现时,依旧能够实现对所述待跟踪行人的准备跟踪。
结合本发明实施例第二方面,本发明实施例第二方面的第一中实现方式中,所述电子设备还包括:
所述第二获取单元具体用于,根据所述上半身检测框获取下半身扫描区域,若在所述下半身扫描区域内进行下半身检测获取到下半身检测框,则根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框。
本实施例所示的所述第二获取单元,用于执行本发明实施例第一方面所示的步骤C01,、步骤C02,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,所获取到的所述检测周期全身框为所述待跟踪行人的上半身检测框和所述待跟踪行人的下半身检测框组合得到的,可见,所获取到的所述检测周期全身框的宽高比是可变的,因此即便待跟踪行人在所述检测周期内以异常的姿势出现时,例如,所述待跟踪行人腿张的特别开的姿势,使得待跟踪行人的上半身和下半身的比例发生变化时,可通过将分别获取到所述上半身检测框和下半身检测框进行组合依旧能够获取到所述待跟踪行人准确的所述检测周期全身框,从而实现了对待跟踪行人的准备跟踪。
结合本发明实施例的第二方面的第一种实现方式,本发明实施例的第二方面的第二种实现方式中,
所述上半身检测框其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标;
所述第二获取单元在根据所述上半身检测框获取下半身扫描区域时具体用于,确定第一参数,所述第一参数其中,所述Ratiodefault为预设的比值,确定第二参数,所述第二参数确定第三参数,所述第三参数根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域。
本实施例所示的所述第二获取单元,用于执行本发明实施例第一方面所示的步骤C011,、步骤C012、步骤C013以及步骤C014,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
可见,本实施例所示的电子设备在获取到所述第一参数、所述第二参数以及所述第三参数的情况下,即可确定出所述下半身扫描区域,以使在已获取到的所述下半身扫描区域中进行待跟踪行人的下半身检测框的检测,从而提升了获取待跟踪行人的下半身检测框的准确性和效率,提升了对待跟踪行人进行跟踪的效率。
结合本发明实施例的第二方面的第二种实现方式,本发明实施例的第二方面的第三种实现方式中,所述第二获取单元在根据所述上半身检测框获取下半身扫描区域时具体用于,根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域,其中,所述下半身扫描区域ScanArea=[Ls,Ts,Rs,Bs],所述Ls为所述下半身扫描区域的左上角横坐标,所示Ts为所述下半身扫描区域的左上角纵坐标,所述Rs为所述下半身扫描区域的右下角横坐标,所述Bs为所述下半身扫描区域的右下角纵坐标;
其中,所述所述 所述所述
所述paral1、所述paral2以及paral3为预设值,所述imgW为所述待跟踪视频在所述检测周期内任一图像帧的宽度,所述imgH为所述待跟踪视频在所述检测周期内任一图像帧的高度。
本实施例所示的所述所述第二获取单元,用于执行本发明实施例第一方面所示的步骤C014,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,能够在已获取到的所述下半身扫描区域中进行待跟踪行人的下半身检测框的检测,从而提升了获取待跟踪行人的下半身检测框的准确性和效率,提升了对待跟踪行人进行跟踪的效率,且在获取的过程中,可通过对参数(paral1、所述paral2以及paral3)不同的设定,以实现不同的所述下半身扫描区域的设定,从而使得本实施例所示的方法的适用性强,以使在不同的应用场景下,可根据不同的参数的设定以实现不同的下半身检测框的定位,从而提升了待跟踪行人检测的准确性。
结合本发明实施例的第二方面的第一种实现方式至本发明实施例的第二方面的第三种实现方式任一项所述的方法,本发明实施例的第二方面的第四种实现方式中,
所述下半身检测框所述为所述下半身检测框的左上角横坐标,所述为所述下半身检测框的左上角纵坐标,所述为所述下半身检测框的右下角横坐标,所述为所述下半身检测框的右下角纵坐标,
所述第二获取单元在根据所述上半身检测框获取所述待跟踪行人的检测周期全身框时具体用于,确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标确定所述检测周期全身框的左上角纵坐标确定所述检测周期全身框的右下角横坐标确定所述检测周期全身框的右下角纵坐标确定所述检测周期全身框
本实施例所示的所述所述第二获取单元,用于执行本发明实施例第一方面所示的步骤C11,,步骤C12,,步骤C13,,步骤C14,步骤C15,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
可见,采用本实施例所示的电子设备,所获取到的所述检测周期全身框为所述待跟踪行人的上半身检测框和所述待跟踪行人的下半身检测框组合得到的,从而使得即便待跟踪行人以异常的姿态出现时,例如腿张的特别开,导致宽高比变大,因本实施例能够对待跟踪行人的上半身和下半身分别进行检测,从而分别获取到所述待跟踪行人的上半身检测框和所述待跟踪行人的下半身检测框,即根据待跟踪行人姿态的不同,则使得所述检测周期全身框中的上半身检测框和所述下半身检测框具有不同的比例,则使得能够获取到准确的所述检测周期全身框,可见,基于可变的上半身检测框和所述下半身检测框的比例,则能够准确的捕捉到待跟踪行人行走过程中的姿态的变化,有效的避免了因待跟踪行人姿态的不同而无法对待跟踪行人进行跟踪的情况的出现。
结合本发明实施例的第二方面的第四种实现方式,本发明实施例的第二方面的第五种实现方式中,所述第四获取单元具体用于,确定所述检测周期全身框的宽和所述检测周期全身框的高的比值确定所述上半身检测框的高和所述检测周期全身框的高的比值根据所述和所述确定所述跟踪周期全身框。
本实施例所示的所述第四获取单元,用于执行本发明实施例第一方面所示的步骤D01、步骤D02,、步骤D03,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,能够基于检测周期全身框的宽和所述检测周期全身框的高的比值以及基于所述上半身检测框的高和所述检测周期全身框的高的比值以确定所述跟踪周期全身框,因所述检测周期全身框能够准确的捕捉到待跟踪行人姿态的变化,则使得根据所述检测周期全身框所获取到的所述跟踪周期全身框能够准确的捕捉到待跟踪行人行走过程中的姿态的变化,提升了通过所述跟踪周期全身框对待跟踪行人进行跟踪的准确性,有效的避免了因待跟踪行人姿态的不同而无法对待跟踪行人进行跟踪的情况的出现。
结合本发明实施例的第二方面的第二种实现方式或本发明实施例的第二方面的第三种实现方式所述的方法,本发明实施例的第二方面的第六种实现方式中,所述第二获取单元在根据所述上半身检测框获取所述待跟踪行人的检测周期全身框时具体用于,若在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框,则确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标确定所述检测周期全身框的左上角纵坐标确定所述检测周期全身框的右下角横坐标确定所述检测周期全身框的右下角纵坐标确定所述检测周期全身框
本实施例所示的所述第二获取单元,用于执行本发明实施例第一方面所示的步骤C21,、步骤C22,、步骤C23,、步骤C24,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
可见,采用本实施例所示的电子设备,即便在所述下半身扫描区域内未获取到所述下半身检测框,则可根据所述上半身检测框对所述下半身检测框进行计算,从而在没有检测到所述下半身检测框的情况下依旧能够获取到所述检测周期全身框,从而有效的保障了对待跟踪行人进行跟踪,避免因待跟踪行人无法检测到下半身而不能实现对待跟踪行人进行跟踪的情况的出现,且能够准确的捕捉到待跟踪行人行走过程中的姿态的变化,有效的避免了因待跟踪行人姿态的不同而无法对待跟踪行人进行跟踪的情况的出现。
结合本发明实施例的第二方面的第六种实现方式,本发明实施例的第二方面的第七种实现方式中,所述第四获取单元具体用于,获取预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值确定所述上半身检测框的高和所述检测周期全身框的高的比值根据所述和所述确定所述跟踪周期全身框。
本实施例所示的所述所述第四获取单元,用于执行本发明实施例第一方面所示的步骤C31,、步骤C32,以及步骤C33,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
可见,采用本实施例所示的电子设备,即便在所述下半身扫描区域内未获取到所述下半身检测框,也可获取到跟踪周期全身框,从而有效的保障了对待跟踪行人进行跟踪。
结合本发明实施例的第二方面的第五种实现方式或本发明实施例的第二方面的第七种实现方式所述的方法,本发明实施例的第二方面的第八种实现方式中,
所述上半身跟踪框其中,所述为所述上半身跟踪框的左上角横坐标,所述为所述上半身跟踪框的左上角纵坐标,所述为所述上半身跟踪框的右下角横坐标,所述为所述上半身跟踪框的右下角纵坐标;
所述第四获取单元在根据所述和所述确定所述跟踪周期全身框时具体用于,确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标确定所述跟踪周期全身框的左上角纵坐标确定所述跟踪周期全身框的右下角横坐标确定所述跟踪周期全身框的右下角纵坐标其中,所述确定所述跟踪周期全身框
本实施例所示的所述第四获取单元,用于执行本发明实施例第一方面所示的步骤C331、步骤C332、步骤C333、步骤C334以及步骤C335,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,在所述检测周期全身框的左上角横坐标等于所述上半身检测框的左上角横坐标的情况下,能够计算得到所述跟踪周期全身框,从而使得即便因待跟踪行人姿态发生大幅度的变化,依旧能够获取到所述跟踪周期全身框,避免了无法跟踪到所述待跟踪行人的情况的出现,且能够提升对待跟踪行人进行跟踪的准确性。
结合本发明实施例第二方面至本发明实施例的第二方面的第八种实现方式任一项所述的方法,本发明实施例的第二方面的第九种实现方式中,
所述第三获取单元具体用于,以所述上半身检测框为中心撒多个粒子,所述多个粒子中的任一粒子的宽度和所述多个粒子中的任一粒子的高度的比值与所述上半身检测框的宽度和所述上半身检测框的高度的比值相同,确定所述上半身跟踪框,所述上半身跟踪框为所述多个粒子中与所述上半身检测框最相似的粒子。
本实施例所示的所述第三获取单元,用于执行本发明实施例第一方面所示的步骤D11以及步骤D12,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,在所述上半身检测框为中心撒多个粒子,从而实现了在所述跟踪周期内能够获取到准确的所述上半身跟踪框,且通过所述上半身检测框获取所述上半身跟踪框能够匹配待跟踪行人不同的姿态,从而实现了对待跟踪行人的准确跟踪。
结合本发明实施例的第二方面的第八种实现方式,本发明实施例的第二方面的第十种实现方式中,
所述第四获取单元具体用于,确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标确定所述跟踪周期全身框的左上角纵坐标确定所述跟踪周期全身框的右下角横坐标确定所述跟踪周期全身框的右下角纵坐标其中,所述确定所述跟踪周期全身框
本实施例所示的所述第四获取单元,用于执行本发明实施例第一方面所示的步骤E11、步骤E12、步骤E13,、步骤E14以及步骤E15,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
采用本实施例所示的电子设备,在所述检测周期全身框的左上角横坐标等于所述下半身检测框的左上角横坐标的情况下,能够计算得到所述跟踪周期全身框,从而使得即便因待跟踪行人姿态发生大幅度的变化,依旧能够获取到所述跟踪周期全身框,避免了无法跟踪到所述待跟踪行人的情况的出现,且能够提升对待跟踪行人进行跟踪的准确性。
结合本发明实施例的第二方面至本发明实施例的第二方面的第十种实现方式任一项所述的方法,本发明实施例的第二方面的第十一种实现方式中,所述电子设备还包括:
第五获取单元,用于获取所述待跟踪视频的目标图像帧序列,所述目标图像帧序列包括一个或多个连续的图像帧,且所述目标图像帧序列位于所述检测周期之前;
本实施例所示的所述第五获取单元,用于执行本发明实施例第一方面所示的步骤E21,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第六获取单元,用于根据所述目标图像帧序列获取所述待跟踪视频的背景区域;
本实施例所示的所述第六获取单元,用于执行本发明实施例第一方面所示的步骤E22,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第七获取单元,用于在所述检测周期内,将所述待跟踪视频的任一图像帧与所述背景区域相减以获取所述待跟踪视频的任一图像帧的前景区域;
本实施例所示的所述第七获取单元,用于执行本发明实施例第一方面所示的步骤E23,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
第八获取单元,用于对所述待跟踪视频的任一图像帧的前景区域进行检测以获取所述待跟踪行人。
本实施例所示的所述第八获取单元,用于执行本发明实施例第一方面所示的步骤E24,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
结合本发明实施例的第二方面的第十一种实现方式,本发明实施例的第二方面的第十二种实现方式中,
所述第一获取单元具体用于,确定目标图像帧,所述目标图像帧为出现所述待跟踪行人的图像帧,在所述目标图像帧的前景区域内获取所述上半身检测框。
本实施例所示的所述第一获取单元,用于执行本发明实施例第一方面所示的步骤B11以及步骤B12,具体执行过程请详见本发明实施例第一方面所示,具体不做赘述。
可见,采用本实施例所示的电子设备,可在所述待跟踪视频的任一图像帧的前景区域进行待跟踪行人的检测和跟踪,即本实施例所示的对所述待跟踪行人的检测过程和跟踪过程,均执行在图像的前景区域上,则大大减少了需要处理的图像窗口数,即减少了所述待跟踪行人进行搜索的搜索空间,从而减少了对待跟踪行人进行跟踪过程所需要的时长,提升了对待跟踪行人进行跟踪的效率。
本发明实施例提供了一种行人跟踪方法以及电子设备,所述方法能够在检测周期内,获取出现在待跟踪视频内的待跟踪行人的上半身检测框,根据所述上半身检测框获取所述待跟踪行人的检测周期全身框,在所述跟踪周期内,根据检测周期全身框获取与上半身跟踪框对应的跟踪周期全身框,可见,通过所述跟踪周期全身框即可对所述待跟踪行人进行跟踪,因检测周期全身框的宽高比是可变的,因此即便待跟踪行人在所述检测周期内以异常的姿势出现时,则采用本实施例所示的方法依旧能够获取到所述待跟踪行人准确的跟踪周期全身框,从而实现了在待跟踪行人以异常姿势出现时,依旧能够实现对所述待跟踪行人的准备跟踪。
附图说明
图1为本发明所提供的电子设备的一种实施例结构示意图;
图2为本发明所提供的处理器的一种实施例结构示意图;
图3为本发明所提供的行人跟踪方法的一种实施例步骤流程图;
图4为本发明所提供的行人跟踪方法的一种实施例应用示意图;
图5为本发明所提供的行人跟踪方法的另一种实施例应用示意图;
图6为本发明所提供的行人跟踪方法的另一种实施例应用示意图;
图7为本发明所提供的行人跟踪方法的另一种实施例应用示意图;
图8为本发明所提供的行人跟踪方法的另一种实施例应用示意图;
图9为本发明所提供的行人查询方法的一种实施例步骤流程图;
图10为本发明所提供的行人查询方法的一种实施例执行步骤示意图;
图11为本发明所提供的电子设备的另一种实施例结构示意图。
具体实施方式
本发明实施例提供了一种行人跟踪方法,为更好的理解本发明实施例所示的行人跟踪方法,以下首先对能够实现本发明实施例所示的方法的电子设备的具体结构进行详细说明:
以下结合图1所示对本实施例所示的电子设备的具体结构进行说明,其中,图1为本发明所提供的电子设备的一种实施例结构示意图。
该电子设备100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器122。
本实施例对所述处理器122不做限定,只要所述处理器122能够具有计算和图像处理能够以实现本实施例所示的行人跟踪方法即可,可选的,本实施例所示的处理器122可为中央处理器(central processing units,CPU)
一个或一个以上用于存储应用程序142或数据144的存储介质130(例如一个或一个以上海量存储设备)。
其中,和存储介质130可以是短暂存储或持久存储。存储在存储介质130的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对电子设备中的一系列指令操作。
更进一步地,处理器122可以设置为与存储介质130通信,在电子设备100上执行存储介质130中的一系列指令操作。
电子设备100还可以包括一个或一个以上电源126,一个或一个以上输入输出接口158,和/或,一个或一个以上操作系统141,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
在本发明实施方式中,所述电子设备可以是任何具有图像处理能力以及计算能力的设备,包括但不限于服务器、摄像机、移动电脑、平板电脑等。
若将本实施例所示的电子设备执行本实施例所示的行人跟踪方法,则本实施例所示的所述输入输出接口158可用于接收海量的监控视频,且所述输入输出接口158能够显示检测过程、显示对行人的跟踪结果等,所述处理器122用于执行对行人的检测、对行人的跟踪算法,所述存储介质130用于存储操作系统以及应用程序等,且所述存储介质130能够对行人跟踪过程中的中间结果进行保存等,可见,本实施例所示的电子设备在执行本实施例所示的方法的过程中,能够实现在海量的监控视频中找出需要进行跟踪的目标行人,并给出所述目标行人在监控视频中出现的时间、地点等信息。
以下结合图2所示对用于实现本实施例所示的行人跟踪方法的所述处理器122的具体结构进行详细说明:
具体的,所述处理器122包括元数据提取单元21和查询单元22。
更具体的,所述元数据提取单元21包括:对象提取模块211、特征提取模块212以及索引构建模块213;
更具体的,所述查询单元22包括:特征提取模块221、特征融合模块222以及索引及查询模块223。
本实施例中,所述处理器122能够执行存储在所述存储介质130中的程序,从而实现图2所示的所述处理器122所包括的任一单元中任一模块的功能。
基于图1与图2所示的电子设备,以下结合图3所示对本实施例所示的行人跟踪方法的具体执行流程进行详细说明:
其中,图3为本发明所提供的行人跟踪方法的一种实施例步骤流程图。
首先需明确的是,执行本实施例所示的行人跟踪方法的执行主体为所述电子设备,具体可以是所述处理器122的一个或多个模块,如所述对象提取模块211。
本实施例所示的行人跟踪方法包括:
步骤301、获取待跟踪视频。
具体的,本实施例所示的所述处理器122所包括的所述对象提取模块211用于获取所述待跟踪视频。
可选的,若本实施例所示的电子设备不包括有摄像头,例如,所述电子设备为服务器,则本实施例所示的所述电子设备通过所述输入输出接口158与多个摄像头进行通信。所述摄像头用于对待跟踪行人进行拍摄以生成待跟踪视频。相应地,所述电子设备通过所述输入输出接口158接收所述摄像头发送的所述待跟踪视频,进一步地,所述处理器122的所述对象提取模块211获取所述输入输出接口158接收的所述待跟踪视频。
可选的,若本实施例所示的电子设备包括有摄像头,例如,所述电子设备为摄像机。则所述电子设备的所述处理器122的所述对象提取模块211获取所述电子设备的摄像头所拍摄的所述跟踪视频。
在具体应用中,本实施例所示的待跟踪视频一般为海量视频。
需明确的是,本实施例对所述待跟踪视频的获取方式为可选示例,不做限定,只要所述对象提取模块211能够获取到用于进行行人跟踪的所述待跟踪视频即可。
步骤302、获取目标图像帧序列。
具体的,本实施例所示的所述对象提取模块211获取所述目标图像帧序列。
更具体的,本实施例所示的所述对象提取模块211在获取到所述待跟踪视频后,在所述待跟踪视频中确定所述目标图像帧序列。
其中,所述目标图像帧序列为所述待跟踪视频的前M图像帧,本实施例对所述M的具体数值不做限定,只要所述M为大于1的正整数即可。
所述目标图像帧序列包括一个或多个连续的图像帧。
步骤303、获取所述待跟踪视频的背景区域。
具体的,本实施例所示的所述对象提取模块211对所述待跟踪视频的所述目标图像帧序列进行学习以获取所述待跟踪视频的背景区域,本实施例所示的所述待跟踪视频的背景区域可参见图4所示。
可选的,所述对象提取模块211获取所述待跟踪视频的背景区域的具体方式可为,所述对象提取模块211在所述目标图像帧序列中的任一图像帧中,通过静态背景模型获取静止的对象,确定静止的对象即为所述待跟踪视频的背景区域。
需明确的是,本实施例对获取所述待跟踪视频的背景区域的说明为可选的示例,不做限定,例如,所述对象提取模块211还可通过帧差分法、光流场法等,只要所述对象提取模块211能够获取到所述背景区域即可。
还需明确的是,本实施例所示的步骤303为可选的步骤。
步骤304、确定待跟踪视频的检测周期和跟踪周期。
具体的,所述对象提取模块211确定所述检测周期T1和跟踪周期T2。
可选的,本实施例所示的所述检测周期T1包含于所述跟踪周期T2内,且检测周期T1的持续时间小于所述跟踪周期T2的持续时间。
例如,所述跟踪周期T2的持续时间可为10分钟,所述检测周期T1的持续时间为2秒,且所述跟踪周期T2的持续时间10分钟内的前两秒为所述检测周期T1。
可选的,本实施例所示的所述检测周期T1可不包含于所述跟踪周期T2内,所述检测周期T1位于所述跟踪周期T2之前,且检测周期T1的持续时间小于所述跟踪周期T2的持续时间。
例如,所述检测周期T1的持续时间为2秒,所述跟踪周期T2的持续时间可为10分钟,且在执行完所述检测周期T1后,继续执行所述跟踪周期T2。
需明确的是,本实施例对所述检测周期T1以及所述跟踪周期T2持续时间的说明为可选的示例,不做限定。
本实施例以所述检测周期T1包含于所述跟踪周期T2内为例进行示例性说明。
更具体的,本实施例所示的检测周期T1的起始帧为所述待跟踪视频的第t帧,且所述t大于所述M,可见,本实施例所述的目标图像帧序列位于所述检测周期T1之前。
步骤305、获取所述待跟踪视频的任一图像帧的前景区域。
具体的,本实施例所示的所述对象提取模块211在所述检测周期内,将所述待跟踪视频的任一图像帧与所述背景区域相减以获取所述待跟踪视频的任一图像帧的前景区域。
如图5所示为本实施例所示的所获取到的所述待跟踪视频的任一图像帧的前景区域,其中,图5所示为所述待跟踪视频的任一图像帧的前景区域,具体的,图5所示的白色像素点即为所述待跟踪视频的任一图像帧的前景区域。
具体的,本实施例所示的所述对象提取模块211在获取到所述待跟踪视频的背景区域的情况下,将所述待跟踪视频的任一图像帧的任一区域与所述背景区域作差分以得到目标数值,可见,所述待跟踪视频的任一图像帧的不同区域均对应一个目标数值。
若所述目标数值大于或等于预设阈值,则说明与所述目标数值对应的所述待跟踪视频的任一图像帧的区域为运动区域。
本实施例所示的所述预设阈值为预先设置的,本实施例对所述预设阈值的大小不做限定,只要能够根据所述预设阈值确定出待跟踪视频的任一图像帧的运动区域即可。
在检测出所述运动区域时,确定所述运动区域为所述待跟踪视频的任一图像帧的前景区域。
步骤306、获取待跟踪行人。
本实施例所示的所述对象提取模块211对所述待跟踪视频的任一图像帧的前景区域进行检测以获取所述待跟踪行人。
本实施例对所述对象提取模块211检测到的所述待跟踪行人的具体数目不做限定。
步骤307、获取待跟踪行人的上半身检测框。
为获取本实施例所示的所述待跟踪行人的上半身检测框,则本实施例所示的所述对象提取模块211首先确定目标图像帧。
具体的,本实施例所示的目标图像帧为出现所述待跟踪行人的图像帧。
可选的,若本实施例所示的所述待跟踪行人出现在所述待跟踪视频的所述检测周期T1内的任一图像帧内的行人,则所述对象提取模块211即可确定出现所述待跟踪行人的图像帧为目标图像帧,即所述目标图像帧为所述待跟踪视频在所述检测周期内出现所述待跟踪行人的图像帧。
可选的,若本实施例所示的所述待跟踪行人为出现在所述待跟踪视频的所述检测周期T1内的连续图像帧内的行人,则所述对象提取模块211即可确定连续出现所述待跟踪行人的所述待跟踪视频的连续图像帧中,出现所述待跟踪行人的最后一图像帧为目标图像帧,或,所述对象提取模块211即可确定连续出现所述待跟踪行人的所述待跟踪视频的连续图像帧中,出现所述待跟踪行人的随机一图像帧为目标图像帧,具体在本实施例中不做限定。
可选的,若本实施例所示的所述待跟踪行人为间隔出现在所述待跟踪视频的所述检测周期T1内的图像帧内的行人,则所述对象提取模块211即可确定间隔出现所述待跟踪行人的所述待跟踪视频的图像帧中,出现所述待跟踪行人的最后一图像帧为目标图像帧,或,所述对象提取模块211即可确定间隔出现所述待跟踪行人的所述待跟踪视频的图像帧中,出现所述待跟踪行人的随机一图像帧为目标图像帧,具体在本实施例中不做限定。
需明确的是,上述对如何确定所述目标图像帧的说明为可选的示例,不做限定,只要所述目标图像帧出现有所述待跟踪行人即可。
在确定出所述目标图像帧时,所述对象提取模块211即可在所述目标图像帧内获取所述上半身检测框。
本实施例所示的所述对象提取模块211可配置第一检测器,所述第一检测器用于对所述上半身检测框进行检测。
具体的,所述对象提取模块211的第一检测器在所述目标图像帧的前景区域内获取所述上半身检测框。
本实施例所示的所述对象提取模块211能够在所述目标图像帧的前景区域内对所述待跟踪行人进行检测,即所述对象提取模块211在对所述待跟踪行人进行检测的过程中,无需对所述背景区域进行检测,从而在提升行人检测的准确性的情况下,大大减少对行人检测所需的时间。
以下对所述对象提取模块211如何在所述目标图像帧的前景区域获取所述待跟踪行人的上半身检测框的进行说明:
具体的,本实施例所示的所述对象提取模块211在所述检测周期内,获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框。
具体的,本实施例所示的所述上半身检测框
其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标。
本实施例所示的所述对象提取模块211在对所述待跟踪行人进行检测时,即可获取到所述所述所述以及所述
以所述对象提取模块211确定出的目标图像帧如图6所示为例,通过本实施例所示的上述方法,能够在所述目标图像帧中所出现的待跟踪行人进行检测,以获取到各待跟踪行人的上半身检测框。
以图6所示在检测过程中,在目标图像帧中行人601因出现在所述目标图像帧的边缘,且所述行人601的全身没有显示完全,则本实施例所示的所述对象提取模块211获取不到所述行人601的上半身检测框。
在目标图像帧中行人602和行人603全身均清楚的出现在所述目标图像帧中,则所述对象提取模块211即可获取所述行人602的上半身检测框和所述行人603的上半身检测框。
位于目标图像帧中的区域604中的各行人显示的不够清楚,则本实施例所示的所述对象提取模块211获取不到位于所述区域604内的各行人的上半身检测框。
可见,本实施例所示的所述对象提取模块211只会对显示在所述目标图像帧中的待跟踪行人的上半身检测框进行检测;
具体的,所述待跟踪行人为完整的显示在所述目标图像帧中的行人,即所述待跟踪行人的上半身和下半身均完整的显示在所述目标图像帧中。
更具体的,所述待跟踪行人为显示在所述目标图像帧中的面积大于或等于所述对象提取模块211预设的阈值的行人,即若显示在所述目标图像帧中的所述待跟踪行人的大于或等于所述预设的阈值,则说明所述待跟踪行人清楚的显示在所述目标图像帧中,在所述目标图像帧中的所述待跟踪行人的小于所述预设的阈值的情况下,则所述对象提取模块211无法对所述待跟踪行人进行检测。
步骤308、根据所述上半身检测框获取下半身扫描区域。
本实施例在所述对象提取模块211获取到所述待跟踪行人的所述上半身检测框后,所述对象提取模块211即可根据所述待跟踪行人的所述上半身检测框获取所述待跟踪行人的下半身扫描区域。
为获取到所述待跟踪行人的下半身扫描区域,则所述对象提取模块211需要获取第一参数,第二参数以及第三参数。
其中,所述第一参数所述Ratiodefault为预设的比值。
可选的,本实施例所述Ratiodefault为所述对象提取模块211预先存储在所述存储介质130中的,且所述Ratiodefault可为所述对象提取模块211预先根据人体检测框(如背景技术所示)的宽高比进行设置,例如,预先确定出所述人体检测框的宽高比为3:7,则所述对象提取模块211可将Ratiodefault设定为3/7,并将所述Ratiodefault存储在所述存储介质130中,以使在执行本步骤所示的过程中,所述对象提取模块211可将所述Ratiodefault从所述存储介质130中调取出来以进行所述第一参数的计算。
其中,所述第二参数所述第三参数
在所述对象提取模块211获取到所述第一参数、所述第二参数以及所述第三参数的情况下,所述对象提取模块211即可确定出所述下半身扫描区域。
其中,所述下半身扫描区域ScanArea=[Ls,Ts,Rs,Bs],所述Ls为所述下半身扫描区域的左上角横坐标,所示Ts为所述下半身扫描区域的左上角纵坐标,所述Rs为所述下半身扫描区域的右下角横坐标,所述Bs为所述下半身扫描区域的右下角纵坐标。
具体的,所述所述 所述所述
更具体的,所述paral1、所述paral2以及paral3为预设值。
本实施例对所述paral1、所述paral2以及paral3的具体数值不做限定,所述paral1、所述paral2以及paral3可为经验值,或操作人员可通过设定不同的paral1、所述paral2以及paral3实现不同的所述下半身扫描区域的设定。
所述imgW为所述待跟踪视频在所述检测周期内任一图像帧的宽度,所述imgH为所述待跟踪视频在所述检测周期内任一图像帧的高度。
步骤309、判断在所述下半身扫描区域内是否检测到所述待跟踪行人的下半身检测框,若是,则执行步骤310,若否,则执行步骤313。
具体的,本实施例所示的所述对象提取模块211在所述下半身扫描区域内进行下半身检测以判断是否能够检测到所述待跟踪行人的下半身检测框。
步骤310、获取所述下半身检测框。
具体的,所述对象提取模块211可设置下半身检测器。
更具体的,本实施例所示的所述对象提取模块211的所述下半身检测器在所述下半身扫描区域内进行下半身检测以确定能够得到待跟踪行人的下半身检测框时,则确定所述下半身检测框所述为所述下半身检测框的左上角横坐标,所述为所述下半身检测框的左上角纵坐标,所述为所述下半身检测框的右下角横坐标,所述为所述下半身检测框的右下角纵坐标。
步骤311、获取所述检测周期全身框。
具体的,所述对象提取模块211根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框。
更具体的,本实施例所示的所述对象提取模块211对所述上半身检测框和所述下半身检测框进行组合以形成所述检测周期全身框。
其中,所述检测周期全身框
检测周期全身框的左上角横坐标所述检测周期全身框的左上角纵坐标所述检测周期全身框的右下角横坐标所述检测周期全身框的右下角纵坐标
步骤312、获取第一比值和第二比值。
具体的,本实施例所示的所述对象提取模块211在获取到所述检测周期全身框后,即可确定所述检测周期全身框的第一比值;
其中,所述第一比值为所述检测周期全身框的宽和所述检测周期全身框的高的比值,所述第一比值
本实施例所示的所述对象提取模块211确定所述检测周期全身框的第二比值;
具体的,所述第二比值为所述上半身检测框的高和所述检测周期全身框的高的比值,所述第二比值
步骤313、获取第三比值。
本实施例中,若所述对象提取模块211在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框,则获取第三比值,所述第三比值为预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值
步骤314、获取检测周期全身框。
实施例中,所述对象提取模块211在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框的情况下,获取所述检测周期全身框
其中,所述检测周期全身框的左上角横坐标所述检测周期全身框的左上角纵坐标所述检测周期全身框的右下角横坐标所述检测周期全身框的右下角纵坐标
步骤315、确定所述检测周期全身框的第四比值。
本实施例所示的所述对象提取模块211确定所述第四比值为所述上半身检测框和所述检测周期全身框的高的比值;
所述第四比值
在执行所述步骤312或步骤315后,继续执行本实施例所示的步骤316。
步骤316、确定上半身跟踪框。
本实施例中,所述对象提取模块211将所述检测周期T1内所获取到的所述检测周期全身框初始化为跟踪目标,以使所述对象提取模块211能够在所述跟踪周期T2内,对作为所述跟踪目标的所述待跟踪行人进行跟踪。
需明确的是,本实施例经由上述步骤所确定出的所述待跟踪行人的数目可为至少一个,若所述待跟踪行人的数目为多个,则需要分别将多个所述待跟踪行人中的每一待跟踪行人作为所述跟踪目标以进行跟踪。
例如,经由上述步骤,确定出所述待跟踪行人为行人A、行人B、行人C以及行人D,则需要将行人A设定为跟踪目标以执行后续步骤进行跟踪,将行人B设定为跟踪目标以执行后续步骤进行跟踪,即需要将所述待跟踪视频中的每一待跟踪行人设定为跟踪目标以执行后续步骤进行跟踪。
所述对象提取模块211在对所述待跟踪行人进行跟踪的过程中,首先确定所述上半身检测框,所述对象提取模块211以所述上半身检测框为中心以正太分别进行采样,即在所述上半身检测框周围撒多个粒子,在所述多个粒子中确定出所述上半身跟踪框。
为更好的理解,以下结合应用场景进行说明:
若所述对象提取模块211在所述待跟踪视频的检测周期T1内的N1帧确定出所述上半身检测框,所述对象提取模块211在所述待跟踪视频的跟踪周期T2内的N2帧对所述待跟踪行人进行跟踪,所述N2帧为所述待跟踪视频的跟踪周期T2内的任一帧。
因所述待跟踪行人在所述待跟踪视频中是运动的,所述待跟踪行人在N1帧的位置和N2帧的位置是不相同的,所述对象提取模块211为实现对所述待跟踪行人的跟踪,则所述对象提取模块211需要在所述待跟踪行人的上半身检测框周围撒多个粒子以实现对所述待跟踪行人的跟踪。
具体的,所述多个粒子中的任一粒子的第五比值与所述上半身检测框的第六比值相同,所述第五比值为所述多个粒子中的任一粒子的宽度和所述多个粒子中的任一粒子的高度的比值,所述第六比值为所述上半身检测框的宽度和所述上半身检测框的高度的比值。
可见,采用本实施例所示的方法,所述对象提取模块211在所述上半身检测框周围所撒的任一粒子为与所述上半身检测框具有相同的宽度和高度的比的矩形框。
所述对象提取模块211在所述多个粒子中,确定上半身跟踪框。
具体的,所述对象提取模块211在所述多个粒子中,判断与所述上半身检测框最相似的粒子即为所述上半身跟踪框。
所述上半身跟踪框其中,所述为所述上半身跟踪框的左上角横坐标,所述为所述上半身跟踪框的左上角纵坐标,所述为所述上半身跟踪框的右下角横坐标,所述为所述上半身跟踪框的右下角纵坐标。
步骤317、获取待跟踪行人的跟踪周期全身框。
本实施例中,所述对象提取模块211根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框。
所述跟踪周期全身框用于对所述待跟踪行人进行跟踪。
以下对所述对象提取模块211具体如何获取所述跟踪周期全身框的进行详细说明:
所述对象提取模块211在获取到所述检测周期全身框和所述上半身跟踪框后,如图7所示,所述对象提取模块211判断所述上半身检测框701的左上角横坐标是否等于所述检测周期全身框702的左上角横坐标
若如图7(a)所示,若所述对象提取模块211判断出则所述对象提取模块211确定所述跟踪周期全身框的左上角横坐标
所述对象提取模块211确定所述跟踪周期全身框的左上角纵坐标
所述对象提取模块211确定所述跟踪周期全身框的右下角横坐标
所述对象提取模块211确定所述跟踪周期全身框的右下角纵坐标
其中,所述
所述所述的具体说明请详见上述步骤所示,具体在本步骤中不做赘述。
本实施例所示的所述对象提取模块211可确定出所述跟踪周期全身框
所述对象提取模块211在获取到所述检测周期全身框获取与所述上半身跟踪框后,如图7所示,所述对象提取模块211判断检测周期全身框702的左上角横坐标是否等于所述下半身检测框703的左上角横坐标
若如图7(b)所示,所述检测周期全身框702的左上角横坐标等于所述下半身检测框703的左上角横坐标则所述对象提取模块211确定所述跟踪周期全身框的左上角横坐标
所述对象提取模块211确定所述跟踪周期全身框的左上角纵坐标
所述对象提取模块211确定所述跟踪周期全身框的右下角横坐标
所述对象提取模块211确定所述跟踪周期全身框的右下角纵坐标其中,所述
所述对象提取模块211确定所述跟踪周期全身框
其中,所述所述的具体说明请详见上述步骤所示,具体在本步骤中不做赘述。
采用本实施例所示的方法,在所述跟踪周期T内,通过所述跟踪周期全身框能够实现在所述待跟踪视频内对所述待跟踪行人的跟踪。
为更好的理解本发明实施例所示的方法,以下结合图8所示的应用场景对本实施例所示的行人跟踪方法的有益效果进行详述:
本实施例所示的所述对象提取模块211在所述检测周期T1内,获取到图8所示的待跟踪行人的上半身检测框801,具体获取所述上半身检测框801的具体过程请详见上述步骤所示,具体在本应用场景中不做赘述。
所述对象提取模块211在所述检测周期T1内,获取到图8所示的待跟踪行人的下半身检测框802,具体获取所述下半身检测框802的过程,请详见上述实施例所示,具体在本实施例中不做赘述。
所述对象提取模块211在所述检测周期T1内,获取到图8所示的检测周期全身框803,具体获取所述检测周期全身框803的过程,请详见上述实施例所示,具体在本实施例中不做赘述。
在获取到所述检测周期全身框803后,即可获取所述检测周期全身框803的宽和所述检测周期全身框803的高的比以及所述上半身检测框801上半身检测框和所述检测周期全身框803的高的比值
采用本实施例所示的获取所述检测周期全身框803的过程中,所述对象提取模块211所获取到的所述检测周期全身框803为所述待跟踪行人的上半身检测框801和所述待跟踪行人的下半身检测框802组合得到的,可见,所述对象提取模块211所获取到的所述检测周期全身框803的宽高比是可变的,因此即便待跟踪行人在所述检测周期T1内以异常的姿势出现时,例如,所述待跟踪行人腿张的特别开的姿势,使得待跟踪行人的上半身和下半身的比例发生变化时,所述对象提取模块211通过将分别获取到所述上半身检测框和下半身检测框进行组合依旧能够获取到所述待跟踪行人准确的所述检测周期全身框803。
基于本实施例所述的检测周期全身框803可变的宽高比,从而使得所述对象提取模块211能够准确的捕捉到待跟踪行人姿势的变化,从而使得所述检测周期全身框803能够准确的捕捉到待跟踪行人姿态的变化,可见,无论待跟踪行人的姿势如何变化,依旧能够获取到准确的所述检测周期全身框803。
所述对象提取模块211在所述检测周期T2内,可获取到上半身跟踪框804以及跟踪周期全身框805,具体获取过程请详见上述步骤所示,具体在本实施例中不做赘述。
本实施例所示的所述对象提取模块211能够将所述和所述沿用至所述跟踪周期T2内,从而基于可变的所述和所述得到更为准确的所述跟踪周期全身框805,从而使得在跟踪周期T2内,即便待跟踪行人的姿势变化,依旧能够实现对待跟踪行人的准确跟踪。
在具体对行人进行跟踪的过程中,本实施例所述的步骤304至本实施例所示的步骤317可执行多次,从而提升对待跟踪行人更为准确的跟踪,例如,若所述对象提取模块211执行完一次所述跟踪周期T2后,所述对象提取模块211可在后续的时间内,反复多次执行所述跟踪周期T2,本实施例对执行所述跟踪周期T2的次数不做限定。
因本实施例所示的所述对象提取模块211可多次的执行所述跟踪周期T2,则所述对象提取模块211可根据检测结果对所述以及所述的具体数值进行多次的更新,从而实现在所述跟踪周期T2内获取到更为准确的跟踪周期全身框,从而实现了对行人的准确跟踪。
采用本实施例所示的方法,可在所述待跟踪视频的任一图像帧的前景区域进行待跟踪行人的检测和跟踪,即本实施例所示的对所述待跟踪行人的检测过程和跟踪过程,均执行在图像的前景区域上,则大大减少了需要处理的图像窗口数,即减少了电子设备对所述待跟踪行人进行搜索的搜索空间,从而减少了对待跟踪行人进行跟踪过程所需要的时长,提升了电子设备对待跟踪行人进行跟踪的效率。
基于图1与图2所示的电子设备,以下结合图9和图10所示对本实施例所提供的行人查询方法进行详细说明:
其中,图9为本发明所提供的行人查询方法的一种实施例步骤流程图,图10为本发明所提供的行人跟踪方法的一种实施例执行步骤示意图。
首先需明确的是,执行本实施例所示的所述行人查询方法各执行主体的说明为可选示例,不做限定,即执行本实施例所示的各步骤的执行主体可为图2所示的所述处理器122任一模块,或执行本实施例所示的各步骤的执行主体也可为图2未示出的模块,具体在本实施例中不做限定,只要所述电子设备能够执行本实施例所示的行人查询方法即可。
步骤901、获取待跟踪视频。
本实施例所示的步骤901的具体执行过程,请详见图3所示的步骤301,具体执行过程在本实施例中不做赘述。
步骤902、对所述待跟踪视频中的待跟踪行人进行检测以及跟踪以获取行人序列。
本实施例所示的所述对象提取模块211用于对所述待跟踪视频中的待跟踪行人进行检测以及跟踪,具体执行过程请详见上述实施例所示的步骤302至步骤317所示,具体在本实施例中不做赘述。
具体的,若经过上述步骤,本实施例所示的所述对象提取模块211获取到多个待跟踪行人,所述对象提取模块211经过上述步骤后,汇总形成行人序列。
所述对象提取模块211获取到的所述行人序列包括多个子序列,所述多个子序列中的任一子序列为目标子序列,与所述目标子序列对应有目标待跟踪行人,所述目标待跟踪行人为上述步骤所确定的所述多个待跟踪行人中的一个待跟踪行人对应。
本实施例所示的所述目标子序列中包括多个图像帧,且所述多个图像帧中的任一图像帧包括有所述目标待跟踪行人。
其中,所述目标子序列中所包括的任一图像帧上具有与所述目标待跟踪行人对应的上述步骤所示的所述跟踪周期全身框。
可见,本实施例所示的所述行人序列包括多个子序列,且所述多个子序列中的任一子序列中包括多个图像帧,任一子序列中所包括的图像帧显示有与所述子序列对应的待跟踪行人的跟踪周期全身框。
如图10所示,本实施例以所述电子设备不包括有摄像头为例进行示例性说明,本实施例所示的电子设备能够与摄像头集群105进行通信,其中,所述摄像头集群105包括多个摄像头,各摄像头能够对待跟踪行人进行拍摄以生成待跟踪视频,则所述电子设备能够接收所述摄像头发送的所述待跟踪视频。
所述对象提取模块211可针对不同的目标待跟踪行人创建不同的子序列1001,所述子序列1001包括与所述目标待跟踪行人对应的多个所述出现有目标待跟踪行人的图像帧。
步骤903、将行人序列发送给特征提取模块。
本实施例中,所述对象提取模块211将所述行人序列发送给所述特征提取模块212。
步骤904、获取行人序列的特征。
本实施例所示的所述特征提取模块212将所述行人序列作为输入,对所述行人序列进行特征提取。
具体的,所述特征提取模块212可对所述行人序列进行分析,以检查行人序列所包括的任一图像帧中的每个像素是否代表一个特征,从而提取出所述行人序列的特征。
具体的,所述行人序列的特征为所述行人序列所包括的所有所述目标待跟踪行人的特征集合。
例如,若所述行人序列包括A、B、C、D以及E五个待跟踪行人,则所述特征提取模块212可分别对行人A的图像帧进行特征提取以获取与行人A对应的目标待跟踪行人的特征集合,对行人B的图像帧进行特征提取以获取与行人B对应的目标待跟踪行人的特征集合,直至将所述行人序列中的每一行人的特征均提取完成。
如图10所示,所述特征提取模块212所创建的所述特征集合1002包括与目标待跟踪行人对应的目标标识ID,以及与所述目标待跟踪行人对应的多个图像特征。
以目标待跟踪行人为A行人为例,则与目标待跟踪行人A对应的特征集合1002包括与目标待跟踪行人A对应的目标标识ID,以及与所述目标待跟踪行人A对应的多个图像特征。
可见,通过本实施例所示的所述特征提取模块212能够创建出不同的目标待跟踪行人与不同的目标标识ID的对应关系,以及不同的目标标识ID与多个图像特征的对应关系。
步骤905、将所述行人序列的特征发送给索引构建模块。
本实施例所示的所述特征提取模块212能够将已获取到的所述行人序列的特征发送给所述索引构建模块213。
步骤906、建立索引列表。
本实施例所示的所述索引构建模块213在接收到所述行人序列的特征后,建立所述索引列表,所述索引列表所包括的对应关系为不同的目标待跟踪行人与不同的目标标识ID的对应关系,以及不同的目标标识ID与多个图像特征的对应关系,且本实施例所示的所述索引构建模块213还能够通过所述索引列表创建不同的目标标识ID与对应的目标待跟踪行人出现在所述待跟踪视频中的时间、地点等任意信息。
步骤907、将所述索引列表存储至存储介质。
本实施例所示的所述索引构建模块213将所述索引列表创建完成后,将所述索引列表存储至所述存储介质130。
经由本实施例所示的步骤901至步骤907,能够在海量的待跟踪视频中,将不同的行人进行分类,为后续的跟踪目标的查询做基础。
在需要进行跟踪目标的查询时,可执行后续步骤。
步骤908、接收跟踪目标。
通过本实施例所示,能够实现以图搜图的目的,即在进行查询时,可将出现有跟踪目标的图像输入给所述特征提取模块221。
以图10为例,为实现跟踪目标的查询,则可将出现有跟踪目标的图像1003输入给所述特征提取模块221。
步骤909、对所述跟踪目标进行特征提取。
具体的,本实施例所示的所述特征提取模块221能够对出现有跟踪目标的图像进行分析,以获取所述跟踪目标的特征,通过本实施例所示的方法,能够获取到与所述跟踪目标对应的多个特征。
步骤910、将与所述跟踪目标的不同特征进行融合。
本实施例中,所述特征融合模块222能够将与所述跟踪目标的不同特征进行融合。
如图10所示,所述特征融合模块222能够将与所述跟踪目标的不同特征进行融合以得到融合后的特征,可见,本实施例所示的所述融合后的特征与所述跟踪目标对应。
步骤911、将所述融合后的特征发送给所述索引及查询模块。
步骤912、对所述跟踪目标进行查询。
本实施例所示的所述索引及查询模块223基于与所述跟踪目标对应的所述融合后的特征对所述跟踪目标进行查询。
具体的,所述索引及查询模块223将所述融合后的特征与存储在所述存储介质130中的所述索引列表进行匹配,从而查找出与融合后的特征对应的目标标识ID,进而使得所述索引及查询模块223即可根据所述索引列表获取到与所述目标标识ID对应的行人出现在所述待跟踪视频中的时间、地点等任意信息,本实施例与所述目标标识ID对应的行人即为所述跟踪目标。
可见,通过本实施例所示的方法,只需要接收出现有跟踪目标的图像,即可在海量的视频中,获取到该跟踪目标在海量的视频中所出现的时间以及地点等信息。
本实施例所示的方法在对所述待跟踪行人进行检测以及跟踪所取得的有益效果的说明请详见上述实施例所示,具体在本实施例中不做赘述。
采用本实施例所示的方法,在实现对跟踪目标进行搜索的过程中,能够实现在海量的待跟踪视频中对所述跟踪目标进行快速,准确的定位,从而快速的获取该跟踪目标在海量的待跟踪视频中所出现的时间以及地点等信息。
本实施例所示的方法的应用场景不做限定,例如,可用于平安城市中进行的以图搜图,以实现对跟踪目标相关信息的迅速获取,还可应用至动员轨迹生成与分析、人数统计、车辆辅助驾驶中行人预警等。具体地说,只要是需要对包含行人的视频进行智能分析时,都可采用本发明实施例进行行人检测与跟踪,提取该行人的位置、轨迹等信息。
图1从实体硬件的角度对所述电子设备的具体结构进行了说明,以下结合图11所示,从执行上述实施例所示的行人跟踪方法的流程的角度对所述电子设备的结构进行说明,从而使得通过本实施例所示的电子设备能够执行上述实施例所示的行人跟踪方法。
所述电子设备包括:
第一确定单元1101,用于确定待跟踪视频的检测周期和跟踪周期;
第五获取单元1102,用于获取所述待跟踪视频的目标图像帧序列,所述目标图像帧序列包括一个或多个连续的图像帧,且所述目标图像帧序列位于所述检测周期之前;
第六获取单元1103,用于根据所述目标图像帧序列获取所述待跟踪视频的背景区域;
第七获取单元1104,用于在所述检测周期内,将所述待跟踪视频的任一图像帧与所述背景区域相减以获取所述待跟踪视频的任一图像帧的前景区域;
第八获取单元1105,用于对所述待跟踪视频的任一图像帧的前景区域进行检测以获取所述待跟踪行人。
可选的本实施例所示的所述第五获取单元1102至本实施例所示的所述第八获取单元1105为可选单元,在具体应用中,所述电子设备也可不包括所述本实施例所示的所述第五获取单元1102至本实施例所示的所述第八获取单元1105。
第一获取单元1106,用于在所述检测周期内,获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框,所述上半身检测框其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标;
可选的,所述第一获取单元1106具体用于,确定目标图像帧,所述目标图像帧为出现所述待跟踪行人的图像帧,在所述目标图像帧的前景区域内获取所述上半身检测框。
第二获取单元1107,用于根据所述上半身检测框获取所述待跟踪行人的检测周期全身框;
可选的,所述第二获取单元1107具体用于,根据所述上半身检测框获取下半身扫描区域,若在所述下半身扫描区域内进行下半身检测获取到下半身检测框,则根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框。
其中,所述上半身检测框其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标;
可选的,所述第二获取单元1107在根据所述上半身检测框获取下半身扫描区域时具体用于,确定第一参数,所述第一参数其中,所述Ratiodefault为预设的比值,确定第二参数,所述第二参数确定第三参数,所述第三参数根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域。
可选的,所述第二获取单元1107在根据所述上半身检测框获取下半身扫描区域时具体用于,根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域,其中,所述下半身扫描区域ScanArea=[Ls,Ts,Rs,Bs],所述Ls为所述下半身扫描区域的左上角横坐标,所示Ts为所述下半身扫描区域的左上角纵坐标,所述Rs为所述下半身扫描区域的右下角横坐标,所述Bs为所述下半身扫描区域的右下角纵坐标;
其中,所述所述 所述所述
所述paral1、所述paral2以及paral3为预设值,所述imgW为所述待跟踪视频在所述检测周期内任一图像帧的宽度,所述imgH为所述待跟踪视频在所述检测周期内任一图像帧的高度。
其中,所述下半身检测框所述为所述下半身检测框的左上角横坐标,所述为所述下半身检测框的左上角纵坐标,所述为所述下半身检测框的右下角横坐标,所述为所述下半身检测框的右下角纵坐标;
可选的,所述第二获取单元1107在根据所述上半身检测框获取所述待跟踪行人的检测周期全身框时具体用于,确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标确定所述检测周期全身框的左上角纵坐标确定所述检测周期全身框的右下角横坐标确定所述检测周期全身框的右下角纵坐标确定所述检测周期全身框
可选的,所述第二获取单元1107在根据所述上半身检测框获取所述待跟踪行人的检测周期全身框时具体用于,若在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框,则确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标确定所述检测周期全身框的左上角纵坐标确定所述检测周期全身框的右下角横坐标确定所述检测周期全身框的右下角纵坐标确定所述检测周期全身框
第三获取单元1108,用于在所述跟踪周期内,获取出现在所述待跟踪视频内的所述待跟踪行人的上半身跟踪框;
可选的,所述第三获取单元具体用于,以所述上半身检测框为中心撒多个粒子,所述多个粒子中的任一粒子的宽度和所述多个粒子中的任一粒子的高度的比值与所述上半身检测框的宽度和所述上半身检测框的高度的比值相同,确定所述上半身跟踪框,所述上半身跟踪框为所述多个粒子中与所述上半身检测框最相似的粒子。
第四获取单元1109,用于根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框,所述跟踪周期全身框用于对所述待跟踪行人进行跟踪。
可选的,所述第四获取单元1109具体用于,获取预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值确定所述上半身检测框的高和所述检测周期全身框的高的比值根据所述和所述确定所述跟踪周期全身框。
可选的,所述第四获取单元1109具体用于,确定所述检测周期全身框的宽和所述检测周期全身框的高的比值确定所述上半身检测框的高和所述检测周期全身框的高的比值根据所述和所述确定所述跟踪周期全身框。
其中,所述上半身跟踪框其中,所述为所述上半身跟踪框的左上角横坐标,所述为所述上半身跟踪框的左上角纵坐标,所述为所述上半身跟踪框的右下角横坐标,所述为所述上半身跟踪框的右下角纵坐标;
可选的,所述第四获取单元1109在根据所述和所述确定所述跟踪周期全身框时具体用于,确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标确定所述跟踪周期全身框的左上角纵坐标确定所述跟踪周期全身框的右下角横坐标确定所述跟踪周期全身框的右下角纵坐标其中,所述确定所述跟踪周期全身框
可选的,所述第四获取单元1109具体用于,确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标确定所述跟踪周期全身框的左上角纵坐标确定所述跟踪周期全身框的右下角横坐标确定所述跟踪周期全身框的右下角纵坐标其中,所述 确定所述跟踪周期全身框
本实施例所示的电子设备执行所述行人跟踪方法的具体执行过程请详见上述实施例所示,具体在本实施例中不做赘述。
本实施例所示的电子设备在执行所述行人跟踪方法所取得的有益效果的具体说明请详见上述实施例所示,具体在本实施例中不做赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理器中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (26)

1.一种行人跟踪方法,其特征在于,包括:
确定待跟踪视频的检测周期和跟踪周期;
在所述检测周期内,获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框;
根据所述上半身检测框获取所述待跟踪行人的检测周期全身框;
在所述跟踪周期内,获取出现在所述待跟踪视频内的所述待跟踪行人的上半身跟踪框;
根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框,所述跟踪周期全身框用于对所述待跟踪行人进行跟踪。
2.根据权利要求1所述的方法,其特征在于,所述根据所述上半身检测框获取所述待跟踪行人的检测周期全身框之前,所述方法还包括:
根据所述上半身检测框获取下半身扫描区域;
若在所述下半身扫描区域内进行下半身检测获取到下半身检测框,则根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框。
3.根据权利要求2所述的方法,其特征在于,所述上半身检测框 其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标;
所述根据所述上半身检测框获取下半身扫描区域包括:
确定第一参数,所述第一参数其中,所述Ratiodefault为预设的比值;
确定第二参数,所述第二参数
确定第三参数,所述第三参数
根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域。
4.根据权利要求3所述的方法,其特征在于,所述根据所述上半身检测框获取下半身扫描区域包括:
根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域,其中,所述下半身扫描区域ScanArea=[Ls,Ts,Rs,Bs],所述Ls为所述下半身扫描区域的左上角横坐标,所示Ts为所述下半身扫描区域的左上角纵坐标,所述Rs为所述下半身扫描区域的右下角横坐标,所述Bs为所述下半身扫描区域的右下角纵坐标;
其中,所述所述 所述所述
所述paral1、所述paral2以及paral3为预设值,所述imgW为所述待跟踪视频在所述检测周期内任一图像帧的宽度,所述imgH为所述待跟踪视频在所述检测周期内任一图像帧的高度。
5.根据权利要求2至4任一项所述的方法,其特征在于,所述下半身检测框 所述为所述下半身检测框的左上角横坐标,所述为所述下半身检测框的左上角纵坐标,所述为所述下半身检测框的右下角横坐标,所述为所述下半身检测框的右下角纵坐标,则所述根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框包括:
确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标
确定所述检测周期全身框的左上角纵坐标
确定所述检测周期全身框的右下角横坐标
确定所述检测周期全身框的右下角纵坐标
确定所述检测周期全身框
6.根据权利要求5所述的方法,其特征在于,所述确定所述检测周期全身框之后,所述方法还包括:
确定所述检测周期全身框的宽和所述检测周期全身框的高的比值
确定所述上半身检测框的高和所述检测周期全身框的高的比值
根据所述和所述确定所述跟踪周期全身框。
7.根据权利要求3或4所述的方法,其特征在于,所述根据所述上半身检测框获取下半身扫描区域之后,所述方法还包括:
若在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框,则确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标
确定所述检测周期全身框的左上角纵坐标
确定所述检测周期全身框的右下角横坐标
确定所述检测周期全身框的右下角纵坐标
确定所述检测周期全身框
8.根据权利要求7所述的方法,其特征在于,所述根据所述上半身检测框获取下半身扫描区域之后,所述方法还包括:
获取预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值
所述确定所述检测周期全身框之后,所述方法还包括:
确定所述上半身检测框的高和所述检测周期全身框的高的比值
根据所述和所述确定所述跟踪周期全身框。
9.根据权利要求6或8所述的方法,其特征在于,所述上半身跟踪框 其中,所述为所述上半身跟踪框的左上角横坐标,所述为所述上半身跟踪框的左上角纵坐标,所述为所述上半身跟踪框的右下角横坐标,所述为所述上半身跟踪框的右下角纵坐标;
所述根据所述和所述确定所述跟踪周期全身框包括:
确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标
确定所述跟踪周期全身框的左上角纵坐标
确定所述跟踪周期全身框的右下角横坐标
确定所述跟踪周期全身框的右下角纵坐标其中,所述
确定所述跟踪周期全身框
10.根据权利要求1至9任一项所述的方法,其特征在于,所述在所述跟踪周期内,获取出现在所述待跟踪视频内的所述待跟踪行人的上半身跟踪框包括:
以所述上半身检测框为中心撒多个粒子,所述多个粒子中的任一粒子的宽度和所述多个粒子中的任一粒子的高度的比值与所述上半身检测框的宽度和所述上半身检测框的高度的比值相同;
确定所述上半身跟踪框,所述上半身跟踪框为所述多个粒子中与所述上半身检测框最相似的粒子。
11.根据权利要求9所述的方法,其特征在于,所述根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框包括:
确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标
确定所述跟踪周期全身框的左上角纵坐标
确定所述跟踪周期全身框的右下角横坐标
确定所述跟踪周期全身框的右下角纵坐标其中,所述
确定所述跟踪周期全身框
12.根据权利要求1至11任一项所述的方法,其特征在于,所述方法还包括:
获取所述待跟踪视频的目标图像帧序列,所述目标图像帧序列包括一个或多个连续的图像帧,且所述目标图像帧序列位于所述检测周期之前;
根据所述目标图像帧序列获取所述待跟踪视频的背景区域;
在所述检测周期内,将所述待跟踪视频的任一图像帧与所述背景区域相减以获取所述待跟踪视频的任一图像帧的前景区域;
对所述待跟踪视频的任一图像帧的前景区域进行检测以获取所述待跟踪行人。
13.根据权利要求12所述的方法,其特征在于,所述获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框包括:
确定目标图像帧,所述目标图像帧为出现所述待跟踪行人的图像帧;
在所述目标图像帧的前景区域内获取所述上半身检测框。
14.一种电子设备,其特征在于,包括:
第一确定单元,用于确定待跟踪视频的检测周期和跟踪周期;
第一获取单元,用于在所述检测周期内,获取出现在所述待跟踪视频内的待跟踪行人的上半身检测框;
第二获取单元,用于根据所述上半身检测框获取所述待跟踪行人的检测周期全身框;
第三获取单元,用于在所述跟踪周期内,获取出现在所述待跟踪视频内的所述待跟踪行人的上半身跟踪框;
第四获取单元,用于根据所述检测周期全身框获取与所述上半身跟踪框对应的跟踪周期全身框,所述跟踪周期全身框用于对所述待跟踪行人进行跟踪。
15.根据权利要求14所述的电子设备,其特征在于,所述第二获取单元具体用于,根据所述上半身检测框获取下半身扫描区域,若在所述下半身扫描区域内进行下半身检测获取到下半身检测框,则根据所述上半身检测框和所述下半身检测框获取所述检测周期全身框。
16.根据权利要求15所述的电子设备,其特征在于,所述上半身检测框 其中,所述为所述上半身检测框的左上角横坐标,所述为所述上半身检测框的左上角纵坐标,所述为所述上半身检测框的右下角横坐标,所述为所述上半身检测框的右下角纵坐标,所述第二获取单元在根据所述上半身检测框获取下半身扫描区域时具体用于,确定第一参数,所述第一参数 其中,所述Ratiodefault为预设的比值,确定第二参数,所述第二参数 确定第三参数,所述第三参数根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域。
17.根据权利要求16所述的电子设备,其特征在于,所述第二获取单元在根据所述上半身检测框获取下半身扫描区域时具体用于,根据所述第一参数、所述第二参数以及所述第三参数确定所述下半身扫描区域,其中,所述下半身扫描区域ScanArea=[Ls,Ts,Rs,Bs],所述Ls为所述下半身扫描区域的左上角横坐标,所示Ts为所述下半身扫描区域的左上角纵坐标,所述Rs为所述下半身扫描区域的右下角横坐标,所述Bs为所述下半身扫描区域的右下角纵坐标;
其中,所述所述 所述所述
所述paral1、所述paral2以及paral3为预设值,所述imgW为所述待跟踪视频在所述检测周期内任一图像帧的宽度,所述imgH为所述待跟踪视频在所述检测周期内任一图像帧的高度。
18.根据权利要求15至17任一项所述的电子设备,其特征在于,所述下半身检测框所述为所述下半身检测框的左上角横坐标,所述为所述下半身检测框的左上角纵坐标,所述为所述下半身检测框的右下角横坐标,所述为所述下半身检测框的右下角纵坐标;
所述第二获取单元在根据所述上半身检测框获取所述待跟踪行人的检测周期全身框时具体用于,确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标确定所述检测周期全身框的左上角纵坐标确定所述检测周期全身框的右下角横坐标确定所述检测周期全身框的右下角纵坐标确定所述检测周期全身框
19.根据权利要求18所述的电子设备,其特征在于,所述第四获取单元具体用于,确定所述检测周期全身框的宽和所述检测周期全身框的高的比值确定所述上半身检测框的高和所述检测周期全身框的高的比值根据所述和所述确定所述跟踪周期全身框。
20.根据权利要求16或17所述的电子设备,其特征在于,所述第二获取单元在根据所述上半身检测框获取所述待跟踪行人的检测周期全身框时具体用于,若在所述下半身扫描区域内进行下半身检测未获取到所述下半身检测框,则确定所述检测周期全身框的左上角横坐标,所述检测周期全身框的左上角横坐标确定所述检测周期全身框的左上角纵坐标确定所述检测周期全身框的右下角横坐标确定所述检测周期全身框的右下角纵坐标确定所述检测周期全身框
21.根据权利要求20所述的电子设备,其特征在于,所述第四获取单元具体用于,获取预设的所述检测周期全身框的宽和所述检测周期全身框的高的比值确定所述上半身检测框的高和所述检测周期全身框的高的比值根据所述和所述确定所述跟踪周期全身框。
22.根据权利要求19或21所述的电子设备,其特征在于,所述上半身跟踪框 其中,所述为所述上半身跟踪框的左上角横坐标,所述为所述上半身跟踪框的左上角纵坐标,所述为所述上半身跟踪框的右下角横坐标,所述为所述上半身跟踪框的右下角纵坐标;
所述第四获取单元在根据所述和所述确定所述跟踪周期全身框时具体用于,确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标确定所述跟踪周期全身框的左上角纵坐标确定所述跟踪周期全身框的右下角横坐标确定所述跟踪周期全身框的右下角纵坐标其中,所述确定所述跟踪周期全身框
23.根据权利要求14至22任一项所述的电子设备,其特征在于,所述第三获取单元具体用于,以所述上半身检测框为中心撒多个粒子,所述多个粒子中的任一粒子的宽度和所述多个粒子中的任一粒子的高度的比值与所述上半身检测框的宽度和所述上半身检测框的高度的比值相同,确定所述上半身跟踪框,所述上半身跟踪框为所述多个粒子中与所述上半身检测框最相似的粒子。
24.根据权利要求22所述的电子设备,其特征在于,所述第四获取单元具体用于,确定所述跟踪周期全身框的左上角横坐标,其中,若则所述跟踪周期全身框的左上角横坐标确定所述跟踪周期全身框的左上角纵坐标确定所述跟踪周期全身框的右下角横坐标确定所述跟踪周期全身框的右下角纵坐标其中,所述确定所述跟踪周期全身框
25.根据权利要求14至24任一项所述的电子设备,其特征在于,所述电子设备还包括:
第五获取单元,用于获取所述待跟踪视频的目标图像帧序列,所述目标图像帧序列包括一个或多个连续的图像帧,且所述目标图像帧序列位于所述检测周期之前;
第六获取单元,用于根据所述目标图像帧序列获取所述待跟踪视频的背景区域;
第七获取单元,用于在所述检测周期内,将所述待跟踪视频的任一图像帧与所述背景区域相减以获取所述待跟踪视频的任一图像帧的前景区域;
第八获取单元,用于对所述待跟踪视频的任一图像帧的前景区域进行检测以获取所述待跟踪行人。
26.根据权利要求25所述的电子设备,其特征在于,所述第一获取单元具体用于,确定目标图像帧,所述目标图像帧为出现所述待跟踪行人的图像帧,在所述目标图像帧的前景区域内获取所述上半身检测框。
CN201710208767.7A 2017-03-31 2017-03-31 一种行人跟踪方法以及电子设备 Active CN108665476B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710208767.7A CN108665476B (zh) 2017-03-31 2017-03-31 一种行人跟踪方法以及电子设备
PCT/CN2018/079514 WO2018177153A1 (zh) 2017-03-31 2018-03-20 一种行人跟踪方法以及电子设备
KR1020197026991A KR102296088B1 (ko) 2017-03-31 2018-03-20 보행자 추적 방법 및 전자 디바이스
EP18774563.3A EP3573022A4 (en) 2017-03-31 2018-03-20 METHOD FOR TRACKING PEDESTRIAN AND ELECTRONIC DEVICE
JP2019553258A JP6847254B2 (ja) 2017-03-31 2018-03-20 歩行者追跡の方法および電子デバイス
US16/587,941 US20200027240A1 (en) 2017-03-31 2019-09-30 Pedestrian Tracking Method and Electronic Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710208767.7A CN108665476B (zh) 2017-03-31 2017-03-31 一种行人跟踪方法以及电子设备

Publications (2)

Publication Number Publication Date
CN108665476A true CN108665476A (zh) 2018-10-16
CN108665476B CN108665476B (zh) 2022-03-11

Family

ID=63675224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710208767.7A Active CN108665476B (zh) 2017-03-31 2017-03-31 一种行人跟踪方法以及电子设备

Country Status (6)

Country Link
US (1) US20200027240A1 (zh)
EP (1) EP3573022A4 (zh)
JP (1) JP6847254B2 (zh)
KR (1) KR102296088B1 (zh)
CN (1) CN108665476B (zh)
WO (1) WO2018177153A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558505A (zh) * 2018-11-21 2019-04-02 百度在线网络技术(北京)有限公司 视觉搜索方法、装置、计算机设备及存储介质
CN111209774A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 目标行为识别及显示方法、装置、设备、可读介质
CN111767782A (zh) * 2020-04-15 2020-10-13 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN113642360A (zh) * 2020-04-27 2021-11-12 杭州海康威视数字技术股份有限公司 一种行为计时方法、装置、电子设备及存储介质
CN116091552A (zh) * 2023-04-04 2023-05-09 上海鉴智其迹科技有限公司 基于DeepSORT的目标跟踪方法、装置、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110418114B (zh) * 2019-08-20 2021-11-16 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN112541395A (zh) * 2020-11-13 2021-03-23 浙江大华技术股份有限公司 一种目标检测和跟踪方法、装置、存储介质及电子装置
CN113096155B (zh) * 2021-04-21 2023-01-17 青岛海信智慧生活科技股份有限公司 一种社区多特征融合的目标跟踪方法及装置
KR102328644B1 (ko) * 2021-07-01 2021-11-18 주식회사 네패스아크 안전운전 도우미 시스템 및 그 동작방법
CN116012949B (zh) * 2023-02-06 2023-11-17 南京智蓝芯联信息科技有限公司 一种复杂场景下的人流量统计识别方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232571A (zh) * 2008-01-25 2008-07-30 北京中星微电子有限公司 一种人体图像匹配方法及视频分析检索系统
CN102334332A (zh) * 2009-02-27 2012-01-25 株式会社理光 成像设备、图像显示设备、成像方法、显示图像的方法和校正聚焦区域框的方法
CN102509086A (zh) * 2011-11-22 2012-06-20 西安理工大学 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN102592288A (zh) * 2012-01-04 2012-07-18 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
US20140169663A1 (en) * 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
CN104063681A (zh) * 2014-05-30 2014-09-24 联想(北京)有限公司 一种活动对象图像识别方法及装置
JP2014191393A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 物体追跡プログラム、物体追跡方法及び物体追跡装置
US20140348382A1 (en) * 2013-05-22 2014-11-27 Hitachi, Ltd. People counting device and people trajectory analysis device
CN104364821A (zh) * 2012-05-31 2015-02-18 株式会社电装 人检测装置
US20150286872A1 (en) * 2011-06-20 2015-10-08 University Of Southern California Visual tracking in video images in unconstrained environments by exploiting on-the-fly contxt using supporters and distracters
JP2015191338A (ja) * 2014-03-27 2015-11-02 株式会社メガチップス 人物検出装置
CN105574515A (zh) * 2016-01-15 2016-05-11 南京邮电大学 一种无重叠视域下的行人再识别方法
CN106204653A (zh) * 2016-07-13 2016-12-07 浙江宇视科技有限公司 一种监控跟踪方法及装置
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技(上海)有限公司 视频目标跟踪的方法和装置
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232571A (zh) * 2008-01-25 2008-07-30 北京中星微电子有限公司 一种人体图像匹配方法及视频分析检索系统
CN102334332A (zh) * 2009-02-27 2012-01-25 株式会社理光 成像设备、图像显示设备、成像方法、显示图像的方法和校正聚焦区域框的方法
US20150286872A1 (en) * 2011-06-20 2015-10-08 University Of Southern California Visual tracking in video images in unconstrained environments by exploiting on-the-fly contxt using supporters and distracters
CN102509086A (zh) * 2011-11-22 2012-06-20 西安理工大学 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN102592288A (zh) * 2012-01-04 2012-07-18 西安理工大学 一种光照环境变化情况下的行人目标匹配跟踪方法
CN102609686A (zh) * 2012-01-19 2012-07-25 宁波大学 一种行人检测方法
CN104364821A (zh) * 2012-05-31 2015-02-18 株式会社电装 人检测装置
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
US20140169663A1 (en) * 2012-12-19 2014-06-19 Futurewei Technologies, Inc. System and Method for Video Detection and Tracking
JP2014191393A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 物体追跡プログラム、物体追跡方法及び物体追跡装置
US20140348382A1 (en) * 2013-05-22 2014-11-27 Hitachi, Ltd. People counting device and people trajectory analysis device
JP2015191338A (ja) * 2014-03-27 2015-11-02 株式会社メガチップス 人物検出装置
CN104063681A (zh) * 2014-05-30 2014-09-24 联想(北京)有限公司 一种活动对象图像识别方法及装置
CN105574515A (zh) * 2016-01-15 2016-05-11 南京邮电大学 一种无重叠视域下的行人再识别方法
CN106204653A (zh) * 2016-07-13 2016-12-07 浙江宇视科技有限公司 一种监控跟踪方法及装置
CN106845385A (zh) * 2017-01-17 2017-06-13 腾讯科技(上海)有限公司 视频目标跟踪的方法和装置
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN107909005A (zh) * 2017-10-26 2018-04-13 西安电子科技大学 基于深度学习的监控场景下人物姿态识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JIHAN LI ET AL: "real-time Surveillance Application by Multiple Detectors and Compressive Trackers", 《ICCE》 *
JUNLIANG XING ET AL: "multi-Object Tracking through Occlusions by Local Tracklets Filtering and Global Tracklets Association with Detection Responses", 《 CVPR》 *
SANOFER NISHA ET AL: "part-based Pedestrian Detection and Tracking using HOG-SVM Classification", 《 INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND MOBILE APPLICATIONS》 *
田莎莎: "基于视频图像的运动人体识别与跟踪算法", 《中国优秀博硕士学位论文全文数据库》 *
解易 等: "增量学习灰度与轮廓模板的行人跟踪方法", 《北京理工大学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558505A (zh) * 2018-11-21 2019-04-02 百度在线网络技术(北京)有限公司 视觉搜索方法、装置、计算机设备及存储介质
WO2020103462A1 (zh) * 2018-11-21 2020-05-28 百度在线网络技术(北京)有限公司 视觉搜索方法、装置、计算机设备及存储介质
CN111209774A (zh) * 2018-11-21 2020-05-29 杭州海康威视数字技术股份有限公司 目标行为识别及显示方法、装置、设备、可读介质
US11348254B2 (en) 2018-11-21 2022-05-31 Baidu Online Network Technology (Beijing) Co., Ltd. Visual search method, computer device, and storage medium
CN111209774B (zh) * 2018-11-21 2024-03-26 杭州海康威视数字技术股份有限公司 目标行为识别及显示方法、装置、设备、可读介质
CN111767782A (zh) * 2020-04-15 2020-10-13 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN111767782B (zh) * 2020-04-15 2022-01-11 上海摩象网络科技有限公司 一种跟踪目标确定方法、装置和手持相机
CN113642360A (zh) * 2020-04-27 2021-11-12 杭州海康威视数字技术股份有限公司 一种行为计时方法、装置、电子设备及存储介质
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
CN116091552A (zh) * 2023-04-04 2023-05-09 上海鉴智其迹科技有限公司 基于DeepSORT的目标跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP6847254B2 (ja) 2021-03-24
JP2020515974A (ja) 2020-05-28
KR102296088B1 (ko) 2021-08-30
US20200027240A1 (en) 2020-01-23
EP3573022A4 (en) 2020-01-01
WO2018177153A1 (zh) 2018-10-04
EP3573022A1 (en) 2019-11-27
CN108665476B (zh) 2022-03-11
KR20190118619A (ko) 2019-10-18

Similar Documents

Publication Publication Date Title
CN108665476A (zh) 一种行人跟踪方法以及电子设备
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
US7747075B2 (en) Salient motion detection system, method and program product therefor
US20170272651A1 (en) Reducing power consumption for time-of-flight depth imaging
EP2864930B1 (en) Self learning face recognition using depth based tracking for database generation and update
Peng et al. A hybrid approach to estimate the complex motions of clouds in sky images
WO2008057107A2 (en) Method and system for object surveillance and real time activity recognition
Jeeva et al. Survey on background modeling and foreground detection for real time video surveillance
JP2012088787A (ja) 画像処理装置、画像処理方法
KR101548639B1 (ko) 감시 카메라 시스템의 객체 추적장치 및 그 방법
Shukla et al. Moving object tracking of vehicle detection: a concise review
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN108629792A (zh) 基于背景建模与背景差分的激光目标检测方法和装置
Seets et al. Motion adaptive deblurring with single-photon cameras
CN106612385A (zh) 视频检测方法和视频检测装置
FR3011960A1 (fr) Procede d'identification a partir d'un modele spatial et spectral d'objet
Bazo et al. Baptizo: A sensor fusion based model for tracking the identity of human poses
CA2845958C (en) Method of tracking objects using hyperspectral imagery
Wzorek et al. Traffic sign detection with event cameras and DCNN
Das et al. Measurement of displacement and velocity of a moving object from real time video
Kalsotra et al. Morphological based moving object detection with background subtraction method
Tong et al. Human positioning based on probabilistic occupancy map
Li et al. Moving vehicle detection in dynamic background from airborne monocular camera
Zhou et al. Improving video segmentation by fusing depth cues and the ViBe algorithm
Andersson et al. Lidar pedestrian detector and semi-automatic annotation tool for labeling of 3d data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190325

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: Huawei Technologies Co., Ltd.

Address before: 215123 Building A3, Creative Industry Park, 328 Xinghu Street, Suzhou Industrial Park, Jiangsu Province

Applicant before: HUAWEI digital technology (Suzhou) Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant