CN100362531C - 结合时域差分和空域分级的运动人像实时自动跟踪方法 - Google Patents

结合时域差分和空域分级的运动人像实时自动跟踪方法 Download PDF

Info

Publication number
CN100362531C
CN100362531C CNB2006100240778A CN200610024077A CN100362531C CN 100362531 C CN100362531 C CN 100362531C CN B2006100240778 A CNB2006100240778 A CN B2006100240778A CN 200610024077 A CN200610024077 A CN 200610024077A CN 100362531 C CN100362531 C CN 100362531C
Authority
CN
China
Prior art keywords
time
moving
portrait
real
moving portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006100240778A
Other languages
English (en)
Other versions
CN1808498A (zh
Inventor
陈刚
申瑞民
王加俊
曾义
童任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CNB2006100240778A priority Critical patent/CN100362531C/zh
Publication of CN1808498A publication Critical patent/CN1808498A/zh
Application granted granted Critical
Publication of CN100362531C publication Critical patent/CN100362531C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种结合时域差分和空域分级的运动人像实时自动跟踪方法，属于图像处理技术领域。本发明包括以下步骤：A.图像采集卡采集的图像，在低空间分辨率级别，通过时域差分处理后，在自适应阈值作用下，经腐蚀运算，得到二值化差分图；B.在该二值化差分图中搜寻运动人像目标，若找到目标则进行下一步；若没有搜寻到运动人像目标，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻，如果空间分辨率已为最高分辨率，则放弃本次计算；C.根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。本发明能够实时地跟踪运动人像目标，自动进行变焦，而且对外界环境有较好的适应性。

Description

结合时域差分和空域分级的运动人像实时自动跟踪方法
技术领域
本发明涉及的是一种图像处理技术领域的方法，具体的说，涉及的是一种结合时域差分和空域分级的运动人像实时自动跟踪方法。
背景技术
广泛发展和采用的电视会议、可视电话、网络会议以及网络远程教学，实时采集现场主讲人员的图像，再传输到参与的远端，客观需要系统自动跟踪主讲人员，并自动进行变焦予以拉近拉远。通常，运动目标自动跟踪系统基于图像分析完成，由摄像头、图像采集卡、计算机、云台和跟踪软件组成。摄像头获取视频，经图像采集卡转换为图像，计算机上的跟踪软件进行分析，给云台发出转动命令，实现对移动目标的跟踪。但是，当运动目标离摄像头较远时，不能较好地辨认目标，另一方面运动目标自动跟踪系统要实现实时自动跟踪，往往比较困难。主要原因有，自动跟踪图像处理算法的复杂度、计算工作量大，以及外界环境存在诸多变化如开灯关灯，容易造成系统判断错误。世界上已有不少运动目标自动跟踪的方法和系统。
经对现有技术的文献检索发现，中国专利申请号为CN02142561.2的专利描述了一种不需要补偿摄像机运动的自动跟踪移动目标的设备和方法，该移动目标跟踪方法包括：拍摄监视区域；通过摄像单元获得的输入图像信号产生二进制干扰图像信号；通过使用移动窗口，即使用预定尺寸的原始跟踪窗并调节原始跟踪窗的尺寸以使二进制干扰图像信号包含有移动目标，可通过二进制干扰图像信号获得有关移动目标的信息；根据目前获得的信息和以前获得的有关移动目标中心的信息估计移动目标在下一帧中的中心位置，移动跟踪窗的中心至估计的移动目标移动到的中心位置，获得跟踪窗中的有关移动目标的实际中心和移动窗尺寸的信息；而且，把有关移动目标的实际信息与有关移动目标的估计信息相比较，并根据由此产生的误差范围确定跟踪状态，有关移动目标的实际信息通过下一帧获得。该方法具有一定的优点，但在对外界环境的适应性、跟踪的实时性方面或未作说明，或未作考虑。由于实时性和精确度的原因，运动目标跟踪系统或方法还难以商业化。
发明内容
本发明针对现有技术的不足，提供一种结合时域差分和空域分级的运动人像实时自动跟踪方法，使其不仅能够实现实时地跟踪运动人像目标，自动进行变焦，而且对外界环境有较好的适应性。
本发明是通过以下技术方案实现的，包括以下步骤：
A、图像采集卡采集的图像，在低空间分辨率级别，通过时域差分处理后，在自适应阈值作用下，经腐蚀运算，得到二值化差分图。
B、在该二值化差分图中搜寻运动人像目标，若找到目标则进行下一步。若没有搜寻到运动人像目标，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻。如果空间分辨率已为最高分辨率，则放弃本次计算。
C、根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。
所述的图像采集卡采集的图像，在低空间分辨率级别，即对图像采集卡采集的图像进行空间抽样，例如采集的宽640像素、高480像素图像，在采样间隔为3时，将成为宽160像素、高120像素的图像。
所述的时域差分处理，即将前后时间点上采集的两幅图像，进行对应像素点的差。
所述的在自适应阈值作用下，经腐蚀运算，得到二值化差分图，是指：用像素点能量的平均值作为阈值来进行二值化，大于等于该阈值的像素点置为1，小于该阈值的像素点置为0。像素点能量，即该像素点红、绿、蓝分量的平方和。腐蚀运算，即若该像素点所在3×3矩形窗内的所有像素点都为1，则该像素点置为1，否则该像素点置为0。
所述的在该二值化差分图中搜寻运动人像目标，是指：首先将二值化差分图分别向横轴和纵轴进行投影，找出各自的最大投影值，进而找出各自的三分之一最大投影值的相距最远的两个点，确定出运动目标的区域。再根据运动人像先验知识，即人体高宽比范围，判断该运动目标是否为运动人像目标区域。
所述的若没有搜寻到运动人像目标区域，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻，即减小采样间隔，计算新增部分和重新搜索。例如采集的宽640像素、高480像素图像，在采样间隔为3时，将成为宽160像素、高120像素的图像，在提高空间分辨率，减小采样间隔到1时，将成为宽320像素、高240像素的图像。因为宽160像素、高120像素的部分已经计算，只需计算新增部分的图像差分。再在宽320像素、高240像素的二值化差分图上，重新进行B1步骤。
所述的如果空间分辨率已为最高分辨率，则放弃本次计算，即空间分辨率已为图像采集的分辨率，则放弃本次计算，等待下次图像采集。
所述的根据当前和历史的运动人像目标区域，进行转动控制，是指：对垂直方向利用当前的运动人像目标区域信息，进行垂直转动控制；对水平方向根据当前和历史的运动人像目标区域信息，进行预测控制，即当前和历史人像目标的运动方向相同时，预测下一水平转动量为两倍当前水平转动量减去历史水平转动量，当前和历史人像目标的运动方向不相同时，则预测下一水平转动量为零，最后用当前水平转动量和预测下一水平转动量的和作为水平转动控制量进行水平转动控制。
所述的根据当前和历史的运动人像目标区域，进行变焦控制，是指：根据变焦模型和当前、历史运动人像目标区域，判断进行拉近还是拉远。变焦模型，即拉近的触发条件为：连续三次运动人像目标区域大小都小于六分之一的总图像大小，并且连续三次运动人像目标区域大小在变小，或目标区域大小的比率在阈值范围内，如[0.8，1.2]；拉远的触发条件为：连续两次运动人像目标区域的垂直分量都大于三分之二的总图像垂直分量。
本发明提出的结合时域差分和空域分级的方法，运动人像自动跟踪既具有时域差分“实现简单”的特点，又通过空域分级获得“实时处理”的性能，综合当前和历史的运动人像目标区域信息进行转动和变焦控制，能够实时地跟踪运动人像目标，自动进行变焦，通过采用像素点能量的平均值作为自适应阈值的二值化处理以及腐蚀处理，对外界环境具有较好的适应性。
附图说明
图1是本发明的逻辑结构图。
图2是本发明中空域分级方法的示意图
其中，(a)为采集图像的像素；(b)为采样间隔为3时的图像像素点；(c)为采样间隔为1时的图像像素点；(d)为采样间隔为0时的图像像素点。
图3是本发明中运动人像目标搜寻的示意图
其中，(a)为二值化差分图像；(b)为纵轴方向投影；(c)为横轴方向投影。
具体实施方式
以下结合附图以及本发明技术方案提供实施例：
如图1所示，摄像头获取视频，经图像采集转换为图像，并转换到低空间分辨率级别，即对图像进行空间抽样，例如采集的宽640像素、高480像素图像，在采样间隔为3时，成为宽160像素、高120像素的图像。对低空间分辨率的图像，进行时域差分处理，即将前后时间点上采集的两幅图像，进行对应像素点的差。在自适应阈值的作用下，即用像素点能量的平均值作为阈值来进行二值化，大于等于该阈值的像素点置为1，小于该阈值的像素点置为0。像素点能量，即该像素点红、绿、蓝分量的平方和。再经腐蚀运算，即若该像素点所在3×3矩形窗内的所有像素点都为1，则该像素点置为1，否则该像素点置为0，得到二值化差分图。在该二值化差分图中搜寻运动人像目标，确定出运动目标的区域，运动人像目标搜寻示意如图3所示。再根据运动人像先验知识，即人体高宽比范围，判断该运动目标是否为运动人像目标区域。若没有搜寻到运动人像目标区域，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻运动人像目标，空域分级方法如图2所示。如果空间分辨率已为图像采集的分辨率，则放弃本次计算，等待下次图像采集。根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。垂直方向利用当前的运动人像目标区域信息，进行垂直转动控制，水平转动控制量计算示意如表1所示。变焦控制，根据变焦模型和当前、历史运动人像目标区域，判断进行拉近还是拉远。变焦模型，即拉近的触发条件为：连续三次运动人像目标区域大小都小于六分之一的总图像大小，并且连续三次运动人像目标区域大小在变小，或相差不大；拉远的触发条件为：连续两次运动人像目标区域的垂直分量都大于三分之二的总图像垂直分量。
如图2所示，(a)为采集图像的像素；(b)为采样间隔为3时的图像像素点；(c)为采样间隔为1时的图像像素点；(d)为采样间隔为0时的图像像素点。采集的宽5像素、高5像素图像，在采样间隔为3时，将成为宽2像素、高2像素的低空间分辨率图像，在提高空间分辨率，减小采样间隔到1时，将成为宽3像素、高3像素的中空间分辨率图像。因为中空间分辨率图像包含低空间分辨率图像，其新增部分图像的像素点为5个。如果继续提高空间分辨率，减小采样间隔到0时，将成为宽5像素、高5像素的高空间分辨率图像。因为高空间分辨率图像包含中空间分辨率图像，其新增部分图像的像素点为16个。
如图3所示，(a)为二值化差分图像；(b)为纵轴方向投影；(c)为横轴方向投影。将二值化差分图分别向横轴和纵轴进行投影，找出各自的最大投影值。投影，即统计某轴坐标上的二值化差分图中像素点为1的个数。进而找出各自的三分之一最大投影值的相距最远的两个点，确定出运动目标的区域。再根据运动人像先验知识，即人体高宽比范围，判断该运动目标是否为运动人像目标区域。
在表1中，当前和历史人像目标的运动方向相同时，预测下一水平转动量为两倍当前水平转动量减去历史水平转动量，当前和历史人像目标的运动方向不相同时，则预测下一水平转动量为零。再用当前水平转动量和预测下一水平转动量的和作为水平转动控制量进行水平转动控制。
表1
    历史水平运动方向     当前水平运动方向     预测下一水平转动量     水平转动控制量
情形1 左 左     2x当前水平转动量-历史水平转动量 当前水平转动量+预测下一水平转动量
情形2     左     右     0
情形3     右     左     0
情形4 右 右     2x当前水平转动量-历史水平转动量

Claims (9)

1.一种结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征在于，包括以下步骤：
A、图像采集卡采集的图像，在低空间分辨率级别，通过时域差分处理后，在自适应阈值作用下，经腐蚀运算，得到二值化差分图；
B、在该二值化差分图中搜寻运动人像目标，若找到目标则进行下一步；若没有搜寻到运动人像目标，则提高空间分辨率，计算所增加部分的二值化差分图，再重新进行搜寻，如果空间分辨率已为最高分辨率，则放弃本次计算；
C、根据当前和历史的运动人像目标区域，进行转动和变焦控制，实现实时跟踪和变焦。
2.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的图像采集卡采集的图像，在低空间分辨率级别，即对图像采集卡采集的图像进行空间抽样。
3.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的时域差分处理，即将前后时间点上采集的两幅图像，进行对应像素点的差。
4.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的在自适应阈值作用下，经腐蚀运算，得到二值化差分图，是指：用像素点能量的平均值作为阈值来进行二值化，大于等于该阈值的像素点置为1，小于该阈值的像素点置为0。
5.根据权利要求4所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的像素点能量，即该像素点红、绿、蓝分量的平方和。
6.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的在该二值化差分图中搜寻运动人像目标，是指：首先将二值化差分图分别向横轴和纵轴进行投影，找出各自的最大投影值，进而找出各自的三分之一最大投影值的相距最远的两个点，确定出运动目标的区域，再根据人体高宽比范围，判断该运动目标是否为运动人像目标区域。
7.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的如果空间分辨率已为最高分辨率，则放弃本次计算，即空间分辨率已为图像采集的分辨率，则放弃本次计算，等待下次图像采集。
8.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的根据当前和历史的运动人像目标区域，进行转动控制，是指：对垂直方向利用当前的运动人像目标区域信息，进行垂直转动控制；对水平方向根据当前和历史的运动人像目标区域信息，进行预测控制，即当前和历史人像目标的运动方向相同时，预测下一水平转动量为两倍当前水平转动量减去历史水平转动量，当前和历史人像目标的运动方向相反时，则预测下一水平转动量为零，最后用当前水平转动量和预测下一水平转动量的和作为水平转动控制量进行水平转动控制。
9.根据权利要求1所述的结合时域差分和空域分级的运动人像实时自动跟踪方法，其特征是，所述的根据当前和历史的运动人像目标区域，进行变焦控制，是指：根据变焦模型和当前、历史运动人像目标区域，判断进行拉近还是拉远，拉近的触发条件为：连续三次运动人像目标区域大小都小于六分之一的总图像大小，并且连续三次运动人像目标区域大小在变小，或目标区域大小的比率在阈值[0.8，1.2]范围内，拉远的触发条件为：连续两次运动人像目标区域的垂直分量都大于三分之二的总图像垂直分量。
CNB2006100240778A 2006-02-23 2006-02-23 结合时域差分和空域分级的运动人像实时自动跟踪方法 Expired - Fee Related CN100362531C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006100240778A CN100362531C (zh) 2006-02-23 2006-02-23 结合时域差分和空域分级的运动人像实时自动跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006100240778A CN100362531C (zh) 2006-02-23 2006-02-23 结合时域差分和空域分级的运动人像实时自动跟踪方法

Publications (2)

Publication Number Publication Date
CN1808498A CN1808498A (zh) 2006-07-26
CN100362531C true CN100362531C (zh) 2008-01-16

Family

ID=36840389

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100240778A Expired - Fee Related CN100362531C (zh) 2006-02-23 2006-02-23 结合时域差分和空域分级的运动人像实时自动跟踪方法

Country Status (1)

Country Link
CN (1) CN100362531C (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394479B (zh) * 2008-09-25 2010-06-16 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法
CN102591366B (zh) * 2012-02-17 2013-09-25 广州盈可视电子科技有限公司 一种云台控制的方法及装置
CN105187723B (zh) * 2015-09-17 2018-07-10 深圳市十方联智科技有限公司 一种无人飞行器的摄像处理方法
CN106331625A (zh) * 2016-08-30 2017-01-11 天津天地伟业数码科技有限公司 一种室内单个人体目标ptz跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
CN1198451C (zh) * 2001-08-07 2005-04-20 三星电子株式会社 自动跟踪移动目标的设备和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
CN1198451C (zh) * 2001-08-07 2005-04-20 三星电子株式会社 自动跟踪移动目标的设备和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
运动目标图像的检测与跟踪. 张杨，全文. 2005 *

Also Published As

Publication number Publication date
CN1808498A (zh) 2006-07-26

Similar Documents

Publication Publication Date Title
CN101945284B (zh) 一种运动估计的装置和方法
CN101022505A (zh) 复杂背景下运动目标自动检测方法和装置
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
CN100362531C (zh) 结合时域差分和空域分级的运动人像实时自动跟踪方法
CN102629329B (zh) 基于自适应sift算法的人员室内定位方法
CN105872345A (zh) 基于特征匹配的全帧电子稳像方法
CN103702015A (zh) 一种近红外条件下人脸图像采集系统的曝光控制方法
CN101179707A (zh) 无线网络视频图像多视角协作目标跟踪测量方法
CN105741325A (zh) 一种跟踪移动目标的方法及移动目标跟踪设备
CN109858472B (zh) 一种嵌入式实时人形检测方法和装置
CN112529962A (zh) 一种基于视觉算法的室内空间关键定位技术方法
CN104700408A (zh) 一种基于摄像机网络的室内单目标定位方法
CN104796580B (zh) 一种基于选择集成的实时稳像视频巡检系统
WO2020238790A1 (zh) 相机定位
CN112884803B (zh) 基于dsp的实时智能监控目标检测方法及装置
CN113643206A (zh) 一种奶牛呼吸情况检测方法
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
Sheng et al. Mobile robot localization and map building based on laser ranging and PTAM
Lv et al. A feedback-driven DNN inference acceleration system for edge-assisted video analytics
CN109658441A (zh) 基于深度信息的前景检测方法及装置
CN103905826A (zh) 一种自适应全局运动估计方法
Xu et al. [Retracted] Technical Research on Moving Target Monitoring and Intelligent Tracking Algorithm Based on Machine Vision
CN110415275B (zh) 一种基于点对点的运动目标检测与跟踪方法
CN109001674B (zh) 一种基于连续视频序列的WiFi指纹信息快速采集与定位方法
CN110046626A (zh) 基于pico算法的图像智能学习动态跟踪系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080116

Termination date: 20130223