CN104021569B - 人体目标锁定跟踪装置和方法 - Google Patents

人体目标锁定跟踪装置和方法 Download PDF

Info

Publication number
CN104021569B
CN104021569B CN201310064203.2A CN201310064203A CN104021569B CN 104021569 B CN104021569 B CN 104021569B CN 201310064203 A CN201310064203 A CN 201310064203A CN 104021569 B CN104021569 B CN 104021569B
Authority
CN
China
Prior art keywords
target
human body
information
tracking
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310064203.2A
Other languages
English (en)
Other versions
CN104021569A (zh
Inventor
全晓臣
呼志刚
王超
蔡巍伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201310064203.2A priority Critical patent/CN104021569B/zh
Priority to PCT/CN2013/076511 priority patent/WO2014131252A1/zh
Publication of CN104021569A publication Critical patent/CN104021569A/zh
Application granted granted Critical
Publication of CN104021569B publication Critical patent/CN104021569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及视频监控领域，公开了一种人体目标锁定跟踪装置和方法。本发明中，在自动跟踪球机中引入人体检测子单元和多线索融合子单元，利用人体目标的检测信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。如果有人体的信息，当定位点发生漂移的时候，有人体信息来纠正，避免漂移到背景上，造成跟踪失败。如果有人体的信息，可有效判断出目标静止或轴向运动，提高这种情况下的跟踪效果。

Description

人体目标锁定跟踪装置和方法
技术领域
本发明涉及视频监控领域，特别涉及人体目标锁定跟踪技术。
背景技术
随着社会的不断进步，视频监控系统的应用范围越来越广。现有的数字监控系统远远不能满足于许多应用场合的需要，主要体现在智能化程度不够高，还处于一种半自动化状态，很多场合还需要人工干预，比如当发现异常情况（如运动目标等）时，不能自动的识别和跟踪目标，不能自动地完成光圈调整和聚焦功能，这一切都需要人工来完成，由于人工操作具有滞后性，使许多重要的信息丢失。整个系统处于一种被动监控之中。因此为了解决上述问题，快球需要有自动跟踪的功能，要能自动检测异常目标，并能自动的调整焦距和位置使目标始终以预定尺寸处于视野的中心，得到目标丰富的信息，同时立即报警通知相关人员来处理，是一种主动的监控方式，大大发挥了快球的实际应用价值。
视频中人的信息是视频监控中最关心的部分，因此对人体进行跟踪也是自动跟踪快球最核心的功能。自动跟踪球机目前采用的技术策略基本上是基于特征匹配和运动信息相结合的方法，在目前的技术框架下有待解决的问题如下：
1.跟踪人的时候无法有效定位在人体的中心位置，在跟踪过程中有可能定位在人体的脚部、手部等非关键部位，对跟踪稳定性产生较大的影响
2.基于特征匹配的方法，由于特征更新策略很难与实际的目标特征变化吻合，不可避免会出现特征点漂移的情况，比如跟踪到地上的情况，造成跟踪失败。
3.利用运动信息的策略，在目标在运动的情况下有较好的效果，但在目标静止或轴向运动的情况下，反而造成较大干扰，造成目标在静止和轴向运行下很容易结束跟踪。
发明内容
本发明的目的在于提供一种人体目标锁定跟踪装置和方法，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。
为解决上述技术问题，本发明的实施方式公开了一种人体目标锁定跟踪装置，包括：图像分析单元、控制单元、步进电机和镜头，控制单元根据从图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头，图像分析单元还包括以下子单元：
跟踪目标选择子单元，用于选择人体目标锁定跟踪装置的锁定跟踪目标；
目标特征初始化子单元，用于对由跟踪目标选择子单元选择的锁定跟踪目标进行特征初始化，来获得锁定跟踪目标的特征模板；
模板匹配子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息；
人体检测子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板获得人体的信息，具体画面中人体目标的匹配人体框信息；
多线索融合子单元，用于根据模板匹配子单元和人体检测子单元所提供的信息，自动融合两者的信息，得到当前锁定跟踪目标的状态；
模板更新子单元，用于根据多线索融合子单元所得到的当前锁定跟踪目标的状态来进行特征模板的更新。
本发明的实施方式还公开了一种人体目标锁定跟踪方法，包括以下步骤：
选择锁定跟踪目标；
对锁定跟踪目标进行特征初始化，获得锁定跟踪目标的特征模板；
对锁定跟踪目标的特征模板进行基于特征的模板匹配，产生图像匹配信息；
根据锁定跟踪目标的特征模板检测人体信息，具体为画面中人体目标的匹配人体框信息；
对模板匹配信息和人体检测信息进行加权融合，得到当前锁定跟踪目标的状态；
根据当前锁定跟踪目标的状态更新特征模板；
根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪。
本发明实施方式与现有技术相比，主要区别及其效果在于：
在自动跟踪球机中引入人体检测子单元和多线索融合子单元，利用人体目标的检测信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。
进一步地，如果有人体的信息，当定位点发生漂移的时候，有人体信息来纠正，避免漂移到背景上，造成跟踪失败。
进一步地，如果有人体的信息，可有效判断出目标静止或轴向运动，提高这种情况下的跟踪效果。
进一步地，在实际监控场景应用中，目标在运动时，目标的姿态和环境的光罩等都会发生变化，如果目标的线索模板不更新，没有及时反映目标的变化，线索模板的可靠性降低，容易导致跟踪失败。利用模板更新子单元，进行特征模板更新，可以更好地提高跟踪效果。
附图说明
图1是本发明第一实施方式中一种人体目标锁定跟踪装置的结构示意图；
图2是本发明第一实施方式中一种人体目标锁定跟踪装置的图像分析单元的结构示意图；
图3是本发明第一实施方式中一种人体目标锁定跟踪装置的控制单元的结构示意图；
图4是本发明第一实施方式中一种倍率控制示意图；
图5是本发明第二实施方式中一种人体目标锁定跟踪方法的流程示意图；
图6是本发明第二实施方式中一种人体目标锁定跟踪方法的流程示意图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种人体目标锁定跟踪装置。图1是该人体目标锁定跟踪装置的结构示意图。
如图1所示，该人体目标锁定跟踪装置包括：图像分析单元、控制单元、步进电机和镜头，控制单元根据从图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头。
在本实施方式中，采用的硬件为高速球，且主要包含数字信号处理（DSP），ARM和电机及镜头部分。
锁定跟踪快球：是指能根据采集图像分析的结果，自动控制电机和镜头对目标进行跟踪，始终保持目标以一定的尺寸出现在镜头的中心位置。
在图1的人体目标锁定跟踪装置，图像分析单元在DSP上，控制单元在ARM上。其中，控制单元根据图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头，从而不断调整镜头的摇摄值、俯仰值和倍率值，使人体目标始终以预定尺寸处于图像视野的中心。这里，镜头的摇摄值表示镜头的摇摄角（即水平方向）的值，镜头的俯仰值表示镜头的俯仰角（即垂直方向）的值，且镜头的倍率值表示镜头的倍率（即，前后方向的放大/缩小倍率）的值。并且，图像分析单元又从步进电机和镜头接收图像，以进行图像分析。
这里，图像分析单元先在视野较大的预置位检测异常目标，如果有检测到异常目标后，就提取目标的特征模板，并依此在以后的图像中搜索目标。
进一步地，具体地，如图2所示，图像分析单元还包括以下子单元：
跟踪目标选择子单元，用于选择人体目标锁定跟踪装置的锁定跟踪目标。
在跟踪目标选择子单元中，选择要跟踪以进行图像分析的目标。这里，选择要跟踪的目标有两种方式：一是采用人机交互的方式在视频中指定目标，人员可以利用鼠标点击视频中感兴趣的目标，然后快球自动去跟踪。二是通过事件检测自动获取跟踪目标，如有异常目标触发了跨越警戒线，进入警戒区域等预先设置好的警戒规则等。
目标特征初始化子单元，用于对由跟踪目标选择子单元选择的锁定跟踪目标进行特征初始化，来获得锁定跟踪目标的特征模板。
目标特征初始化子单元连接到跟踪目标选择子单元，并对于跟踪目标选择子单元所选择的要进行图像分析的目标进行特征初始化。目标的特征模板为目标特征点附近的一块灰度区域，而特征点则为人工指定目标或者检测目标的中心点。
特征点：是指以特征点为中心的一块窗口区域为特征，进行目标匹配。
模板匹配子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息。
模板匹配子单元连接到目标特征初始化子单元，其基于由目标特征初始化子单元进行初始化的特征，进行基于特征的模板匹配，根据目标的模板，在当前图像寻找与目标最匹配的区域。在本申请的模板匹配子单元中，采用Lucas-Kanade特征点跟踪方法。在自动跟踪过程中，由于倍率的变化，目标在图像中的位置可能变化较大，为增加Lucas-Kanade算法搜索的稳定性，对图像进行金字塔分解，对目标进行由粗到细的搜索。
人体检测子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板获得人体的信息，具体画面中人体目标的匹配人体框信息。
人体检测：是指通过机器学习的方法，自动检测出场景中的人体，检测效果与人体的角度和尺寸有较大关系。
在实际监控场景应用中，目标在运动时，目标的姿态和环境的光照等都会发生变化，如果目标的模板更新不能及时适应目标在实际中的变化，则很容易发生漂移的情况，比如特征点漂移到地面上，或者漂移到目标的四肢上。在跟踪过程中，主要的关注对象为人，如果预先知道人体的信息话，则可较好的避免特征点漂移问题。人体检测子单元就是在跟踪图像中得到人体的信息。本方案的人体检测方法采用FastHOG特征，用adaboost分类器，在实际测试中能得到比较稳定的测试效果，且能在DSP上实时运行。
人体检测子单元从实际人体跟踪场景视频中截取20000个人体样本，包括各个角度如正面、侧面和背面等。基于FastHOG特征，用adaboost训练方法训练得到16级的cascade结构头识别器。
FastHOG结合了haar和HOG的特点，在保持原始HOG的性能的同时，降低了计算量。该特征采用了类似haar特征的几种模式，如图4所示。
上式为FastHOG的特征计算公式，其中f(k,c,b)表示FastHOG的特征值，mag(x,y)表示像素(x,y)的幅值，c表示区域cell，b表示区域block，并且若像素(x,y)的梯度方向属于第k个量化区间，则magk(x,y)＝mag(x,y)，否则magk(x,y)＝0。整个公式是指：cell内所有属于某个方向k的像素的幅值和与block内所有像素的幅值和的比值。
多线索融合子单元，用于根据模板匹配子单元和人体检测子单元所提供的信息，自动融合两者的信息，得到当前锁定跟踪目标的状态。
多线索融合子单元根据模板匹配子单元和人体检测子单元所提供的信息，自动融合两者的信息得到当前锁定跟踪目标的状态，为控制模块提供稳定的跟踪信息，指导控制模块对电机和镜头进行控制。
在本实施方式中，优选地，多线索融合单元采用如下公式融合模板匹配单元和人体检测单元所提供的信息，得到当前锁定跟踪目标的状态：
T(x,y)＝(1-β)Tmatch(x,y)+βThuman(x,y)
其中，T(x,y)为跟踪目标当前时刻的定位点，Tmatch(x,y)为模板匹配得到的坐标，Thuman(x,y)为人体检测所得的匹配人体框的中心点，β为加权融合的权重值。
当有人体目标时，β的值为0.2，用人体目标的信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，尽量保证最终的定位点在人体的中心位置。
如果有人体的信息，则可将定位点设置为人体的中心位置，避免出现四肢部位
如果有人体的信息，当定位点发生漂移的时候，有人体信息来纠正，避免漂移到背景上，造成跟踪失败。
当没有人体目标时，β的值为0，即只采用模板匹配的信息。此时目标框有可能被遮挡或者消失，将此信息传递给控制单元的状态控制子单元，用于跟踪状态的判断。
模板更新子单元，用于根据多线索融合子单元所得到的当前锁定跟踪目标的状态来进行特征模板的更新。
在模板更新子单元中，进行特征模板更新。
优选地，在本实施方式中，模板更新子单元采用线性在线更新的方式实现模板的更新。
在实际监控场景应用中，目标在运动时，目标的姿态和环境的光罩等都会发生变化，如果目标的线索模板不更新，没有及时反映目标的变化，线索模板的可靠性降低，容易导致跟踪失败。利用模板更新子单元，进行特征模板更新，可以更好地提高跟踪效果。
在自动跟踪球机中引入人体检测子单元和多线索融合子单元，利用人体目标的检测信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，提高跟踪的稳定性和跟踪定位的准确性，使得人体目标始终以一定大小保持在目标的中心，得到人体目标丰富的细节。
控制单元将来自图像分析单元的图像匹配的信息翻译成步进电机的控制命令，驱动镜头始终对着目标。
进一步地，如图3所示，控制单元包括以下子单元：
图像坐标转化子单元，用于将锁定跟踪目标在当前图像的图像坐标转化成PTZ坐标。
在图像坐标转化子单元中，由于图像分析单元传递给控制单元的信息是跟踪目标在当前图像的坐标信息，是基于图像空间的，而快球控制的空间是PTZ空间，因此需要将图像坐标转化到PTZ坐标。如果已知快球的内部参数，如CCD感光元件大小和焦距，在图像坐标转化子单元中，可以利用3D圆型旋转的方式得到图像坐标和PTZ坐标之间的对应关系。
速度控制子单元，用于根据图像坐标转化子单元转化成的PTZ坐标控制电机的转动。
速度控制子单元与图像坐标转化子单元连接，并从图像坐标转化子单元接收跟踪目标的PTZ坐标，从而控制电机的转动。如果采用绝对值的方式控制，则可能会造成画面不连续的情况。为了得到平稳的图像，本申请采用基于速度的控制方法控制电机。
倍率控制子单元，用于根据图像分析单元的匹配人体框信息对人体目标锁定跟踪装置进行倍率控制。
在倍率控制子单元中，由于在跟踪阶段中，运动目标离快球的距离会发生变化，因此需要进行适当的倍率控制，如果目标远离快球，则放大倍率，如果目标走近快球，则缩小倍率，保证目标始终以一定的尺寸在场景视野中。利用图像分析单元的匹配人体框信息，可以控制倍率。
速度控制子单元与图像坐标转化子单元连接，并从图像坐标转化子单元接收目标的PTZ坐标，从而控制电机的转动。如果采用绝对值的方式控制，则可能会造成画面不连续的情况。为了得到平稳的图像，本发明采用基于速度的控制方法，将得到的目标PT值与当前电机的PT值进行差分，假设Pnew，Tnew为目标在快球坐标系下的PT值，Pcur，Tcur为快球当前的PT状态值，△t为处理一帧所需的时间，可以根据下面的公式确定定电机运动的方向和速度大小。
随后，在倍率控制子单元中，由于在跟踪阶段中，运动目标离快球的距离会发生变化，因此需要进行适当的倍率控制，如果目标远离快球，则放大倍率，如果目标走近快球，则缩小倍率，保证目标始终以一定的尺寸在场景视野中。本发明假设监控视野为地平面，采用如图4所示的简单的模型，这里，图4示出了倍率控制的示意图。
如图4所示，假设目标的距离和倍率是成正比的，满足以下关系：
其中Z0，T0为根据实际场景预先确定的缩放系数，因此如果知道了T1，也就可以求出此时的倍率Z1，然后控制模块将镜头设置为Z1的倍率。
状态控制子单元，用于根据图像分析单元的匹配人体框信息对人体目标锁定跟踪装置进行状态控制。
在状态控制子单元中，利用图像分析单元的匹配人体框信息，可进行状态控制。如果有匹配人体框信息，则跟踪处于稳定的状态，这时不启动异常判断状态。这样人体静止的时候，由于有匹配人体框信息，因此不会被判断为异常状态，维持正常的锁定跟踪。如果没有匹配人体框信息，则跟踪处于不稳定的状态，这时启动异常判断状态，如果持续一段时间，比如5秒，则认为此次异常状态满足，结束此次跟踪。
这样，如果有人体的信息，可有效判断出目标静止或轴向运动，提高这种情况下的跟踪效果。
需要说明的是，本发明各装置实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各装置实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述装置实施方式并不存在其它的单元。
本发明第二实施方式涉及一种人体目标锁定跟踪方法。图5是该人体目标锁定跟踪方法的流程示意图。
具体地说，如图5所示，该人体目标锁定跟踪方法主要包括以下步骤：
在步骤501中，选择锁定跟踪目标。
此后进入步骤502，对锁定跟踪目标进行特征初始化，获得锁定跟踪目标的特征模板。
此后进入步骤503，对锁定跟踪目标的特征模板进行基于特征的模板匹配，产生图像匹配信息。
此后进入步骤504，根据锁定跟踪目标的特征模板检测人体信息，具体为画面中人体目标的匹配人体框信息。
此后进入步骤505，对模板匹配信息和人体检测信息进行加权融合，得到当前锁定跟踪目标的状态。
具体地说，在步骤505中，模板匹配信息和人体检测信息的匹配公式为：
T(x,y)＝(1-β)Tmatch(x,y)+βThuman(x,y)
其中，T(x,y)为跟踪目标当前时刻的定位点，Tmatch(x,y)为模板匹配得到的坐标，Thuman(x,y)为人体检测所得的匹配人体框的中心点，β为加权融合的权重值。
当有人体目标时，β的值为0.2，用人体目标的信息校正模板匹配的信息，避免模板匹配可能漂移到地面或四肢上，尽量保证最终的定位点在人体的中心位置。
如果有人体的信息，则可将定位点设置为人体的中心位置，避免出现四肢部位
如果有人体的信息，当定位点发生漂移的时候，有人体信息来纠正，避免漂移到背景上，造成跟踪失败。
当没有人体目标时，β的值为0，即只采用模板匹配的信息。此时目标框有可能被遮挡或者消失，将此信息传递给控制单元的状态控制子单元，用于跟踪状态的判断。
具体地说，步骤505可以进一步细化为如图6所示的流程示意图。
在步骤601中，获得模板匹配信息和人体检测信息。
对锁定跟踪目标的特征模板进行基于特征的模板匹配，产生图像匹配信息的步骤中，本申请优选采用Lucas-Kanade特征点跟踪方法，因此主要信息为特征点信息。
根据人体检测子单元得到人体检测信息，具体为画面中人体目标的匹配人体框信息，也就是画面中人体目标的外接矩形位置。
此后进入步骤602，判断是否有人体目标。
判断当前场景中是否存在人体目标，在跟踪过程中，如果人体目标被墙遮挡，就会出现没有人体目标的情况
若是，则进入步骤603；若否，则进入步骤606。
在步骤603中，寻找离特征点最近的人体框。
如果有人体目标，则寻找离特征点最近的人体目标框，如果当前场景中有多个人体目标，则需寻找到离特征点最近人体目标。
此后进入步骤604，判断特征点是否在最近的人体框内。
判断特征点是否在最近的人体目标框内，如果在，则说明当前跟踪人体目标还处理稳定的跟踪状态，如果不在，则说明当前锁定跟踪人体目标已经消失。
如果当前场景没有人体框，或者特征点不在最近的人体框内，则当前锁定跟踪的人体目标已经处于不稳定的状态，如果特征点在最近的人体框内，则目标跟踪框处于稳定的跟踪状态。
若是，则进入步骤605；若否，则进入步骤606。
在步骤605中，最终定位点位模板匹配信息和人体检测信息的加权融合。
此后结束本流程。
在步骤606中，最终定位点只利用模板匹配信息。
当没有人体目标时，β的值为0，即只采用模板匹配的信息。此时目标框有可能被遮挡或者消失，将此信息传递给控制模块的状态控制单元，用于跟踪状态的判断。
此后结束本流程。
此后同时进入步骤606和607；
在步骤607中，根据当前锁定跟踪目标的状态更新特征模板。
此后再次回到步骤602。
在实际监控场景应用中，目标在运动时，目标的姿态和环境的光罩等都会发生变化，如果目标的线索模板不更新，没有及时反映目标的变化，线索模板的可靠性降低，容易导致跟踪失败。实时地对特征模板进行更新，可以更好地提高跟踪效果。
优选地，在本实施方式中，模板更新子单元采用线性在线更新的方式实现模板的更新。
在步骤606中，根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪。
在步骤606中，还包括以下子步骤：
将锁定跟踪目标在当前图像的图像坐标转化成PTZ坐标。
由于图像分析单元传递给控制单元的信息是跟踪目标在当前图像的坐标信息，是基于图像空间的，而快球控制的空间是PTZ空间，因此需要将图像坐标转化到PTZ坐标。如果已知快球的内部参数，如CCD感光元件大小和焦距，可以利用3D圆型旋转的方式得到图像坐标和PTZ坐标之间的对应关系。
根据PTZ坐标控制电机的转动。
速度控制子单元与图像坐标转化子单元连接，并从图像坐标转化子单元接收跟踪目标的PTZ坐标，从而控制电机的转动。如果采用绝对值的方式控制，则可能会造成画面不连续的情况。为了得到平稳的图像，本申请采用基于速度的控制方法控制电机。
根据匹配人体框信息对人体目标锁定跟踪装置进行倍率控制。
由于在跟踪阶段中，运动目标离快球的距离会发生变化，因此需要进行适当的倍率控制，如果目标远离快球，则放大倍率，如果目标走近快球，则缩小倍率，保证目标始终以一定的尺寸在场景视野中。利用图像分析单元的匹配人体框信息，可以控制倍率。
根据匹配人体框信息对人体目标锁定跟踪装置进行状态控制。
利用图像分析单元的匹配人体框信息，可进行状态控制。如果有匹配人体框信息，则跟踪处于稳定的状态，这时不启动异常判断状态。这样人体静止的时候，由于有匹配人体框信息，因此不会被判断为异常状态，维持正常的锁定跟踪。如果没有匹配人体框信息，则跟踪处于不稳定的状态，这时启动异常判断状态，如果持续一段时间，比如5秒，则认为此次异常状态满足，结束此次跟踪。
此后结束本流程。
本实施方式是与第一实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable ArrayLogic，简称“PAL”）、随机存取存储器（Random Access Memory，简称“RAM”）、可编程只读存储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称“EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种人体目标锁定跟踪装置，包括：图像分析单元、控制单元、步进电机和镜头，控制单元根据从图像分析单元得到的控制信息发送控制命令到步进电机和镜头，以驱动步进电机和镜头，其特征在于，所述图像分析单元还包括以下子单元：
跟踪目标选择子单元，用于选择所述人体目标锁定跟踪装置的锁定跟踪目标；
目标特征初始化子单元，用于对由跟踪目标选择子单元选择的锁定跟踪目标进行特征初始化，来获得锁定跟踪目标的特征模板；
模板匹配子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板进行基于特征的模板匹配，来产生图像匹配信息；
人体检测子单元，用于根据由目标特征初始化子单元所初始化的锁定跟踪目标的特征模板获得人体的信息，具体为画面中人体目标的匹配人体框信息；
多线索融合子单元，用于根据模板匹配子单元和人体检测子单元所提供的信息，自动融合两者的信息，利用人体目标的检测信息校正模板匹配的信息，得到当前锁定跟踪目标的状态，其中，所述模板匹配子单元和人体检测子单元所提供的信息包括：模板匹配得到的坐标、人体检测所得的匹配人体框的中心点；
模板更新子单元，用于根据多线索融合子单元所得到的当前锁定跟踪目标的状态来进行特征模板的更新。
2.根据权利要求1所述的人体目标锁定跟踪装置，其特征在于，所述多线索融合单元采用如下公式融合模板匹配子单元和人体检测子单元所提供的信息，得到当前锁定跟踪目标的状态：
T(x,y)＝(1-β)Tmatch(x,y)+βThuman(x,y)
其中，T(x,y)为跟踪目标当前时刻的定位点，Tmatch(x,y)为模板匹配得到的坐标，Thuman(x,y)为人体检测所得的匹配人体框的中心点，β为加权融合的权重值。
3.根据权利要求1所述的人体目标锁定跟踪装置，其特征在于，所述人体检测子单元采用以下公式获得人体信息：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>,</mo> <mi>c</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>c</mi> </mrow> </munder> <msub> <mi>mag</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>b</mi> </mrow> </munder> <mi>m</mi> <mi>a</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
上式为FastHOG的特征计算公式，其中f(k,c,b)表示FastHOG的特征值，mag(x,y)表示像素(x,y)的幅值，c表示区域cell，b表示区域block，并且若像素(x,y)的梯度方向属于第k个量化区间，则magk(x,y)＝mag(x,y)，否则magk(x,y)＝0。
4.根据权利要求2所述的人体目标锁定跟踪装置，其特征在于，当有人体目标时，β的值为0.2。
5.根据权利要求2所述的人体目标锁定跟踪装置，其特征在于，当没有人体目标时，β的值为0。
6.根据权利要求1所述的人体目标锁定跟踪装置，其特征在于，所述模板更新子单元采用线性在线更新的方式实现模板的更新。
7.根据权利要求1至6中任一项所述的人体目标锁定跟踪装置，其特征在于，所述控制单元包括以下子单元：
图像坐标转化子单元，用于将锁定跟踪目标在当前图像的图像坐标转化成PTZ坐标；
速度控制子单元，用于根据图像坐标转化子单元转化成的PTZ坐标控制电机的转动；
倍率控制子单元，用于根据图像分析单元的匹配人体框信息对人体目标锁定跟踪装置进行倍率控制；
状态控制子单元，用于根据图像分析单元的匹配人体框信息对人体目标锁定跟踪装置进行状态控制。
8.一种人体目标锁定跟踪方法，其特征在于，包括以下步骤：
选择锁定跟踪目标；
对锁定跟踪目标进行特征初始化，获得锁定跟踪目标的特征模板；
对锁定跟踪目标的特征模板进行基于特征的模板匹配，产生图像匹配信息；
根据锁定跟踪目标的特征模板检测人体信息，具体为画面中人体目标的匹配人体框信息；
对模板匹配信息和人体检测信息进行加权融合，利用人体目标的检测信息校正模板匹配的信息，得到当前锁定跟踪目标的状态，其中，所述模板匹配信息和人体检测信息包括：模板匹配得到的坐标、人体检测所得的匹配人体框的中心点；
根据当前锁定跟踪目标的状态更新特征模板；
根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪。
9.根据权利要求8所述的人体目标锁定跟踪方法，其特征在于，在所述对模板匹配信息和人体检测信息进行加权融合，得到当前锁定跟踪目标的状态的步骤中，模板匹配信息和人体检测信息的匹配公式为：
T(x,y)＝(1-β)Tmatch(x,y)+βThuman(x,y)
其中，T(x,y)为跟踪目标当前时刻的定位点，Tmatch(x,y)为模板匹配得到的坐标，Thuman(x,y)为人体检测所得的匹配人体框的中心点，β为加权融合的权重值。
10.根据权利要求8所述的人体目标锁定跟踪方法，其特征在于，在所述根据锁定跟踪目标的特征模板检测人体信息的步骤中，采用以下公式：
<mrow> <mi>f</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>,</mo> <mi>c</mi> <mo>,</mo> <mi>b</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>c</mi> </mrow> </munder> <msub> <mi>mag</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>b</mi> </mrow> </munder> <mi>m</mi> <mi>a</mi> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
上式为FastHOG的特征计算公式，其中f(k,c,b)表示FastHOG的特征值，mag(x,y)表示像素(x,y)的幅值，c表示区域cell，b表示区域block，并且若像素(x,y)的梯度方向属于第k个量化区间，则magk(x,y)＝mag(x,y)，否则magk(x,y)＝0。
11.根据权利要求8所述的人体目标锁定跟踪方法，其特征在于，在所述根据当前锁定跟踪目标的状态更新特征模板的步骤中采用线性在线更新的方式实现模板的更新。
12.根据权利要求8至11中任一项所述的人体目标锁定跟踪方法，其特征在于，在所述根据当前锁定跟踪目标的状态产生控制命令，对锁定跟踪目标进行自动跟踪的步骤中，包括以下子步骤：
将锁定跟踪目标在当前图像的图像坐标转化成PTZ坐标；
根据PTZ坐标控制电机的转动；
根据匹配人体框信息对人体目标锁定跟踪装置进行倍率控制；
根据匹配人体框信息对人体目标锁定跟踪装置进行状态控制。
CN201310064203.2A 2013-02-28 2013-02-28 人体目标锁定跟踪装置和方法 Active CN104021569B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310064203.2A CN104021569B (zh) 2013-02-28 2013-02-28 人体目标锁定跟踪装置和方法
PCT/CN2013/076511 WO2014131252A1 (zh) 2013-02-28 2013-05-30 人体目标锁定跟踪装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310064203.2A CN104021569B (zh) 2013-02-28 2013-02-28 人体目标锁定跟踪装置和方法

Publications (2)

Publication Number Publication Date
CN104021569A CN104021569A (zh) 2014-09-03
CN104021569B true CN104021569B (zh) 2018-03-20

Family

ID=51427503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310064203.2A Active CN104021569B (zh) 2013-02-28 2013-02-28 人体目标锁定跟踪装置和方法

Country Status (2)

Country Link
CN (1) CN104021569B (zh)
WO (1) WO2014131252A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425790B (zh) * 2015-11-04 2018-07-31 广州杰赛科技股份有限公司 一种侦测球
JP6889865B2 (ja) * 2017-09-22 2021-06-18 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
CN107680100A (zh) * 2017-10-20 2018-02-09 重庆信络威科技有限公司 一种图像检测与跟踪并行协同工作的方法和装置
CN108108709B (zh) * 2017-12-29 2020-10-16 纳恩博（北京）科技有限公司 一种识别方法及装置、计算机存储介质
CN110580427A (zh) * 2018-06-08 2019-12-17 杭州海康威视数字技术股份有限公司 一种人脸检测方法、装置及设备
CN111462189B (zh) * 2020-04-16 2023-06-20 吉林大学 一种图像锁定跟踪系统及方法
CN112699839B (zh) * 2021-01-13 2024-02-27 安徽水天信息科技有限公司 一种动态背景下视频目标自动锁定及跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916538A2 (en) * 2006-10-27 2008-04-30 Matsushita Electric Works, Ltd. Target moving object tracking device
CN102074016A (zh) * 2009-11-24 2011-05-25 杭州海康威视软件有限公司 运动目标自动跟踪的装置和方法
CN102215377A (zh) * 2010-04-07 2011-10-12 北京智安邦科技有限公司 Ptz单目标自动跟踪的装置及方法
CN102340628A (zh) * 2010-07-21 2012-02-01 鸿富锦精密工业（深圳）有限公司 摄影机及其控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6621929B1 (en) * 1999-06-22 2003-09-16 Siemens Corporate Research, Inc. Method for matching images using spatially-varying illumination change models
CN101211411B (zh) * 2007-12-21 2010-06-16 北京中星微电子有限公司 一种人体检测的方法和装置
CN101572803B (zh) * 2009-06-18 2010-11-10 中国科学技术大学 基于视频监控的可定制式自动跟踪系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916538A2 (en) * 2006-10-27 2008-04-30 Matsushita Electric Works, Ltd. Target moving object tracking device
CN102074016A (zh) * 2009-11-24 2011-05-25 杭州海康威视软件有限公司 运动目标自动跟踪的装置和方法
CN102215377A (zh) * 2010-04-07 2011-10-12 北京智安邦科技有限公司 Ptz单目标自动跟踪的装置及方法
CN102340628A (zh) * 2010-07-21 2012-02-01 鸿富锦精密工业（深圳）有限公司 摄影机及其控制方法

Also Published As

Publication number Publication date
WO2014131252A1 (zh) 2014-09-04
CN104021569A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN104021569B (zh) 人体目标锁定跟踪装置和方法
Moudgil et al. Long-term visual object tracking benchmark
Alletto et al. Dr (eye) ve: a dataset for attention-based tasks with applications to autonomous and assisted driving
CN104378582B (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
US8600108B2 (en) Data processing system and method
CN102074016A (zh) 运动目标自动跟踪的装置和方法
CN106878687A (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
US20210166042A1 (en) Device and method of objective identification and driving assistance device
CN112836640A (zh) 一种单摄像头多目标行人跟踪方法
CN105809718A (zh) 一种轨迹熵最小化的对象跟踪方法
CN107105193B (zh) 基于人体信息的机器人监控系统
CN107509055A (zh) 一种旋转式全景焦点识别光电跟踪仪及其实施方法
JP6723208B2 (ja) 監視カメラの向上した方向制御
CN111627049A (zh) 高空抛物的确定方法、装置、存储介质及处理器
CN104168444B (zh) 一种跟踪球机的目标跟踪方法及跟踪球机
CN105791686A (zh) 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法
CN111339934A (zh) 一种融合图像预处理与深度学习目标检测的人头检测方法
Liang et al. Deep correlation filter tracking with shepherded instance-aware proposals
CN109493370A (zh) 一种基于空间偏移学习的目标跟踪方法
CN108830881A (zh) 一种运动生物的视频追踪方法和装置
CN205490869U (zh) 运动目标捕捉与跟踪设备
CN116828305A (zh) 一种基于YOLOv5算法的云台自动追踪目标物方法
Xu et al. Surgical Tool Detection in Open Surgery Based on Faster R-CNN, YOLO v5 and YOLOv8
CN118097112B (zh) 一种基于深度学习的融合双背景物品遗留丢失检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant