CN1968352A - 高速目标跟踪方法及其电路系统 - Google Patents

高速目标跟踪方法及其电路系统 Download PDF

Info

Publication number
CN1968352A
CN1968352A CN 200510086902 CN200510086902A CN1968352A CN 1968352 A CN1968352 A CN 1968352A CN 200510086902 CN200510086902 CN 200510086902 CN 200510086902 A CN200510086902 A CN 200510086902A CN 1968352 A CN1968352 A CN 1968352A
Authority
CN
China
Prior art keywords
target
image
visual field
window
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200510086902
Other languages
English (en)
Other versions
CN100435555C (zh
Inventor
妙维
林清宇
吴南健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
Original Assignee
Institute of Semiconductors of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS filed Critical Institute of Semiconductors of CAS
Priority to CNB2005100869022A priority Critical patent/CN100435555C/zh
Publication of CN1968352A publication Critical patent/CN1968352A/zh
Application granted granted Critical
Publication of CN100435555C publication Critical patent/CN100435555C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像信息处理领域,一种高速目标跟踪方法及其电路系统。高速目标跟踪的过程是首先通过手动或自动方法指定要跟踪的目标。其次,以目标的区域特征为参考设定相应区域特征阈值窗口,用该阈值窗口把输入图像二值化。然后,通过处理每一帧二值化的图像对目标进行跟踪。当发现目标丢失,做目标丢失处理;当发现目标要脱离摄像头视场,转动摄像头对准目标,作视场转动后处理。最后,输出每一帧图像中目标的位置。本发明具有运算简单,速度快,并行处理的特点。在保证高速处理的同时,兼顾了目标和背景的复杂性,特别适合跟踪高速运动目标。本发明提出一种硬件实现方式的实施例结构图。

Description

高速目标跟踪方法及其电路系统
技术领域
本发明涉及图像信息处理技术领域,特别是一种目标跟踪方法及其电路系统。
背景技术
运动目标的实时跟踪是图像信息处理领域的重要课题。模板匹配和背景减除技术是提取和跟踪运动目标的常见的两种信息处理方法。模板匹配是利用已有的目标特征数据作为模板,在含有目标的图像中搜索匹配点寻找到目标的方法。这是一种以目标的形态特征为判据的目标检索和跟踪方法。模板匹配方法应用于跟踪时具有较高的灵敏度和可靠性,得到了广泛应用。但是由于模板匹配方法的目标检索和跟踪信息处理计算量庞大,所以系统硬件电路规模大且信息的实时处理困难。另外,被跟踪目标的图像特征一般是随时间发生变化的,这样固定模板匹配方法将不适用。
背景减除技术是一种将当前图像和已有背景进行差分而得到目标的方法。与模板匹配方法比较的话,这种方法更简单快速。但是背景减除方法的困难在于处理背景中存在的各种干扰和变化。而且一般背景图像都是预先拍摄某一场景得到的,如果被跟踪目标在连续复杂大场景中运动时,通过预先存储背景信息将不可取。
随着对实时性要求的提高,无论是模板匹配还是背景减除的处理速度都将显得过慢。最近人们提出了将图像信息处理功能和感光单元阵列集成在一起的系统芯片的概念。一般称这种系统芯片为视觉芯片(visionchip)。由于芯片面积和功耗的限制,在这种系统芯片上实现的信号处理方法不可能太复杂,因此,开发简单、有效的高速运动目标跟踪方法及其电路系统是非常重要的。最近,日本东京大学提出了一种实现高速目标跟踪的信息处理方法,并且开发出了相应的数字信息处理视觉芯片。该视觉芯片能够在1ms的时间内完成一帧图像的信息处理,在限定的条件下可以有效的实现对运动目标的跟踪。其基本过程是:首先选定一个亮度值作为临界点,通过将图像的像素点的亮度值与之比较将图像二值化。然后得第一幅图像中的目标。接下来利用一种自窗口捕捉方法实现目标跟踪,在跟踪过程中判断是否与背景中其它物体碰撞。如果发生碰撞,则记录此时目标的面积,之后等待目标与背景物体分离。分离后通过与先前记录的目标面积的比较重新确认目标,然后继续通过自窗口捕捉方法跟踪。自窗口捕捉方法是假设运动目标在感光单元阵列上的投影在连续两帧间的位移不超过一个像素的条件下,把前一帧图像中的目标的周边扩大一个像素,然后作为一个自窗口通过与后一帧的图像进行‘与’逻辑运算而得到后一帧图像中的目标。该方法流程简洁,采用简单的并行运算模式,适合于视觉系统芯片的实现。不过该方法要求目标的亮度与背景亮度有显著差异,因而不适合复杂背景。在信息处理过程中用到了目标面积信息,因而不适合非刚体目标。在跟踪的适用性和可靠性上有待改进。另外在判断目标与背景物体碰撞和分离的细节上用到了加法运算,需要较大规模的逻辑电路。
发明内容
本发明提出了一种流程简单,运算量小,可并行运算的高速运动目标跟踪的信息处理方法。在保证了对目标跟踪的可靠性的同时,大幅度提高了处理速度,并同时减小了电路的规模。能够在复杂的目标和背景的条件下实现对高速运动目标的实时跟踪。
本发明的技术方案叙述如下:
首先,通过图像采集装置以一定的周期实时采集图像。
其次,在采集到图像中确认要跟踪的目标。
接着,以目标的亮度为参考,设置图像二值化的亮度阈值窗口。(也可以是基于颜色,纹理等其它区域信息的窗口,这里只以亮度为例。)
然后,对采集到的一帧图像的各个像素点进行二值化处理,并开始在摄像头不动的固定视场中跟踪目标,即提取图像中的目标及其位置。如果发现目标将脱离视场,则利用当时的目标位置转动摄像头使之重新对准目标,并做视场转动处理;如果出现目标丢失情况则作目标丢失处理。
最后,在视场转动处理或目标丢失处理完成后,仍在摄像头不动的固定视场中,重新开始跟踪目标。
技术方案的说明如下:
1)图像采集
方法是,用CMOS或CCD感光单元阵列按一定周期采集灰度或彩色图像;
2)目标指定
方法是,在开始跟踪前,通过手动或自动方式得到要跟踪的目标;
3)二值化阈值窗口指定
方法是,需要选择目标的一个或多个区域特征,据此产生图像二值化的阈值窗口,以亮度为例,从指定的目标上任取一点的亮度值,或者取目标亮度平均值或中间值记为I0,亮度窗口定为{I0-I,I0+I},I是半窗口大小,视情况决定,I0可以在每次开始固定视场时目标跟踪过程时根据当时目标的亮度特征决定,也可以在第一次决定后就不再改变。
4)图像二值化
方法是,通过阈值窗口将图像转化为二值化图像,以亮度为例,亮度值位于窗口内的像素点记为1(0),位于窗口外的记为0(1)。
5)固定视场时目标跟踪
方法是,保持摄像头不动的情况下,以目标的运动特征为主要判据进行跟踪;在开始跟踪的起始帧,二值图像上的目标已经得到,或可以通过目标搜索得到。那么从二值图像中减去目标区域,将剩下的区域存储为背景。在跟踪过程中的每一帧,当图像二值化完成后,处理步骤是:(1)利用存储的背景对新获得的二值化图像做背景减除;(2)对背景减除后的图像做图像清理,其目的是消除背景中一些细微变化引起的干扰;(3)接着用类似于东京大学提出的自窗口捕捉的方法在图像清理完成后的图像上进行目标捕获;(4)对捕获后的目标作判断,有三种情况:(a)目标丢失,则结束本次固定视场时目标跟踪过程,进行目标丢失处理;(b)目标将要脱离视场范围,则结束本次固定视场时目标跟踪过程,通知摄像头转动,并作视场转动处理;(c)没有发生上面两种情况,则进行目标位置输出,继续后面的固定视场时目标跟踪过程。(5)根据一个状态标志state的值作下一步操作,state=0代表未发生目标分离事件,state=1代表刚发生过目标分离事件。(a)state=0,判断当前帧是否发生目标分离事件。没有发生目标分离事件的话,则当前帧处理完毕,开始处理下一帧;发生了目标分离事件的话,则存储分离后目标的任一部分,并设置state=1,开始处理下一帧;(b)state=1,首先要用自窗口方法捕获当前帧中之前存储的部分目标,另一部分目标用整个目标减去已捕获的那部分得到。然后分别判断分离后的目标的两部分的运动特征:(i)当其中任一部分满足运动目标的确认条件时,则将这一部分确认为目标,并对另一部分做是否满足属于背景的条件的判断,如满足则把它加到背景中,最后让state=0,开始处理下一帧。(ii)如果两部分都不满足是运动目标的确认条件,则结束当前帧,开始处理下一帧。(iii)如果发现目标分理出的任一部分完全消失,则把剩下的另一部分确认为目标,让state=0,开始下一帧。
以下对上述固定视场时目标跟踪方法中的的主要操作作出具体说明:
目标搜索操作。
其过程是:第一步,以某一点作为种子;第二步,从该种子开始扩张,直到和原始二值化图像有交集或超出一个限定的搜索半径为止;第三步,若是有交集则将交集区域做区域生长并将得到的区域确认为目标,搜索宣告结束。若是超出限定的搜索半径则搜索宣告失败。
图像清理操作
由于背景的细微变化,在做完背景减除后,会在无目标区域残留一些细碎的背景,图像清理就是除去这些细碎背景。该操作的着手点是利用目标和这些细碎背景在大小上的显著差异除掉细碎背景。图像清理也能消除图像噪声影响,但不能去除背景中的巨大变化产生的大块新增背景区域。
类自窗口捕捉操作
其过程与东京大学提出的自窗口捕捉相同,只是目标在两帧之间的移动可以超出一个像素,在做完自窗口和图像的与运算后,再进行区域生长得到完整目标。
目标分离事件
分离的发生有两种可能,一种是目标本身发生分离;另一种是目标与背景中新增的大块区域交叠后再分开,每发生一次目标分离事件,都要重新确认目标。
目标分离事件判断操作
要求判断目标是否分离成两部分,并得到其中一部分。其过程是:首先在目标上任取一点。其次,以该点作为种子进行区域生长。然后,在完成区域生长后,用原来的目标区域减去区域生长得到的区域。最后判断剩下的区域是否为空区域,如果是则未分离,否则目标发生了分离,并且之前通过区域生长得到的是分离后的目标的一部分。
区域生长操作
生长区域记为K,生长参考图像记为T。其过程是:第一步,将K的边界扩张一个像素得到K’。第二步,求出K’和T的交集K”。第三步,比较K和K”,如果K”比K多,则让K=K”,重复第一步。否则生长过程结束。如果生长方向受到限制,则过程会有改变。
运动特征判断操作
一个区域属于运动目标的条件或属于背景的条件可以利用区域边界位置的变化、中心位置或重心位置的运动作为设定的依据。
6)目标位置输出
方法是,得到能够反映目标的位置的一个参考点,可以是目标重心,中心,甚至目标上任一点。
7)场转动处理
在摄像头转动后为保持跟踪的连续性做一些处理操作。方法是,摄像头转动时,以转动前目标的位置为依据,将摄像头转到使目标位置处于视场中心。后面的处理包括,把转动前的目标图像中的目标区域移动到图像中心。考虑到摄像头转动过程中的误差,将目标区域扩大若干像素。在摄像头转动完成后,把获得的第一帧二值图像和目标图像求交集,这样得到转动后的初始目标,接着开始新一轮固定视场时目标跟踪过程。
8)标丢失处理
此功能试图在目标丢失后找回目标。常见的目标丢失有两种情况,一种是目标进入大片的和目标相似亮度背景中,另一种是被亮度不同的前景遮挡。这可以通过判断原始二值化图像上目标丢失前一刻的目标位置附近有无相似亮度物体得到。对第一种情况,立即在原始二值化图像上以目标丢失前最后的位置为搜索种子展开目标搜索。对第二种情况,等待若干时间后在原始二值化图像上以目标丢失前最后的位置为搜索种子展开目标搜索。如果搜索到则开始新一轮固定视场时目标跟踪过程,搜索失败的话在下一帧重新搜索。
所述的高速目标跟踪方法,这种基于二值化图像的高速目标跟踪方法,(1)目标可以手动指定或自动获取,目标物体可以是非刚体,要求其相对于背景高速运动;
(2)对输入图像根据亮度、色彩、或纹理的区域特征进行二值化;
(3)跟踪过程的运算是在二值图像上进行,跟踪过程由固定视场时跟踪、视场转动处理、目标丢失处理三个方面构成;
(4)输出的目标位置是一个能代表目标在图像上位置的点在图像上的坐标。
所述二值化需要一个特征阈值窗口,以区别图像上相应特征落在窗口内和窗口外的区域,该窗口由窗口中点和半窗口宽度构成,窗口中点的选取决定于目标的相应区域特征,以亮度为例,可以选目标亮度平均值作为窗口中点。
对二值图像的运算通过与、或、非等逻辑运算完成,不含加、减、乘、除等算术运算。
对二值图像的运算是并行。
二值化是根据区域的亮度、色彩、或纹理特征,跟踪过程中只关心二值化后区域的运动,因此不要求图像有高分辨率。
固定视场时跟踪过程包括目标搜索、背景存储、背景减除、背景减除后图像清理、目标捕获、目标丢失判断、目标分离事件判断、目标分离后目标重确认、更新背景操作。
视场转动条件在目标边界到达视场边界时发生,摄像头转动依据当时的目标位置,转动后目标位置处于视场中心,转动后以之前存储的目标区域的扩大区域为窗口在视场中心捕获目标。
目标丢失后根据是混入背景区域还是被前景遮挡的判断在不同时间在目标丢失前的最后位置附近搜索目标。
在视场转动处理和目标丢失处理完成后,固定视场时跟踪过程重新启动。
本发明具有如下一些特点和效果:
1.所有图像处理过程完全是在二值化的图像数据上进行,整个运算基本都可以只用到与、或、非这些基本逻辑运算完成。所以无论处理过程和运算过程都很简单,处理速度很高。
2.因为仅利用了目标的区域特征和目标的运动特征,因此不要求图像有高分辨率,甚至像64×64这样的低分辨率就可以。
3.运算过程有二维的并行度,适合并行处理系统。
4.适合片上集成完成实时跟踪高速运动目标。
5.整个方法比较完整,适合一定复杂程度的背景,目标还可以是非刚体,所以本发明的方法具有较好的适用性和可靠性。
6.关于摄像头转动时的考虑,也解决了一般基于背景减除方法的跟踪局限于固定场景的问题。
附图说明
图1是本发明的高速目标跟踪方法流程图。
图2是固定视场时目标跟踪过程的流程图。
图3是视场转动处理的流程图。
图4是目标丢失处理的流程图。
图5是本发明的高速目标跟踪电路系统图。
具体实施方式
下面结合附图详细说明本发明的具体实施例一高速运动目标追踪系统。
一、如图1所示,高速运动目标追踪系统方法流程,具有1)图像采集、2)目标指定、3)二值化阈值窗口指定、4)图像二值化、5)固定视场时目标跟踪、6)目标位置输出、7)视场转动处理和8)目标丢失处理八个部分的步骤。其工作过程如下所述:
图像采集功能以一定的周期连续地采集灰度图像。
在跟踪开始前:第一步,指定要跟踪的目标。可以手动指定或自动指定。一种简单的手动指定方法是:手动将摄像头对准目标,使视场中点在目标上。第二步,设置二值化的亮度阈值窗口。就以图像中目标上的一点的像素的亮度值作为I0,亮度窗口定为{I0-I,I0+I}。
在完成上面的步骤后马上开始跟踪。首先把灰度图像二值化。然后开始固定视场时目标跟踪过程,每完成一帧图像的信号处理时将输出能代表目标在图像上位置的点的坐标,并开始下一帧图像的固定视场时目标跟踪过程。如在过程中发现目标丢失,则做目标丢失处理,找回目标后,下一帧固定视场时目标跟踪过程重新启动。如在过程中发现目标要脱离摄像头视场,则通知摄像头转动到使目标位于视场中心,并做视场转动处理,完成后的下一帧固定视场时目标跟踪过程重新启动。
二、如图2所示固定视场时目标跟踪过程对每一帧二值图像信息的处理流程如下:
(A)每一次启动(或者重新启动)固定视场目标跟踪过程时的第一帧图像处理需要经历:目标搜索→得到背景→结束的过程。系统根据过去的处理状态分两种情况进行信息处理。第一种情况是系统刚开始跟踪过程,我们定义它为start=1;第二种情况是经视场转动处理或目标丢失处理后重新启动跟踪过程,我们定义它为start=0。当start=1,系统首先通过目标搜索来获取目标,然后得到背景信息。当start=0,目标区域已经在前面地处理过程中得到,所以直接得到背景就行了。
(B)固定视场时跟踪过程中的某一帧图像的处理,它要经过:背景减除→图像清理→目标捕获→目标丢失判断→视场转动判断→位置提取→state状态值的判断的过程。其中判断到目标丢失或视场转动后离开固定视场时目标跟踪流程,作相应的目标丢失处理或视场转动处理。(1)当state=0时,系统确定上一帧图像中不存在处于分离状态的目标,并且同时判断在当前帧中目标是否发生分离。如果没有发现目标分离的话,当前帧的处理直接结束;如果发现目标分离的话,先存储分离后目标的一部分,并且定义state=1后,当前帧的处理结束。(2)当state=1时,系统确定上一帧图像中存在处于分离状态的目标,那么重新确认分离的目标的某一部分为继续跟踪的目标,并且考虑是否更新背景。首先要做的是更新目标分离的两部分,然后判断是否有某一部分在当前帧消失了。如果有一部分消失,另一部分就被确认为目标,这一帧的处理结束。如果两部分都在,就判断它们是否满足运动目标条件。如果都不满足,当前帧处理结束,但还不能确认目标。如果有某一部分满足运动目标条件,这一部分被确认为目标,并同时考察另一部分,确认它是背景的话就更新背景,当前帧处理结束。上述过程中,一旦确认了目标,都要设置state=0。
固定视场时目标跟踪流程中的一些步骤和运算过程的具体实现如下:
定义如果一个二值图像X,X(i,j)全为0,即所有X(i,j)求或等于0,则X=;否则X≠。
●某区域X扩张一个像素
●定义为expand(X),它实现:
X(i,j)=X(i+1,j)/X(i-1,j)/X(i,j+1)/X(i,j-1)/X(i,j)。
●区域生长
设A是待生长区域,B是生长参考区域,定义为grow(A,B)。(1)
C1=expand(A);(2)C1=C1 & B;(3)C2=C1 & ~A;(4)如果C2≠,A=C1,回到(1);如果C2=,结束。
●目标搜索
设A为种子,B为待搜索图像。(1)令A(x,y)=1,其它点为0,r=0;
(2)A=expand(A);(3)C=A & B,r=r+1;(4)如果C≠,C=grow(C,B),C是找到的目标,结束;或者r>R(指定的搜索半径),结束。否则回到(2)。
●得到背景
设T为目标,G是原始二值图像。背景BG=~T&G。
●背景减除
设BG是背景,G是要做背景减除的二值图像。则作运算G=~BG & G。
●图像清理
利用做完背景减除后的二值图像中残留细碎背景与目标大小存在明显差异的特点作相应运算,方法较多,举一例如下:设X是要清理的图像。(1)X(i,j)=(X(i+1,j)/X(i-1,j))&X(i,j)(2)X(i,j)=(X(i,j+1)/X(i,j-1))&X(i,j)(3)X(i,j)=(X(i+1,j)/X(i-1,j))&X(i,j)。
●目标捕获
设T0是上一帧存储的目标,G是待捕获图像,T是捕获的目标。(1)T=expand(T0)(2)T=T & G(3)T=grow(T,G)。
●目标丢失
设T是目标图像,则T=。
●视场转动
当发现目标的边界到了视场边界则需转动。
●位置提取
可以提取目标重心,中心或任意代表目标位置的一点。
●目标分离判断
设T是目标图像。T(x,y)=1是目标上任意一点。(1)令A(x,y)=1,其它像素全为零。(2)A=grow(A,T)。(3)A=~A & T。(4)如果A=,则没有分离;否则分离,且A是分离后的一部分。
●判断是运动目标的条件
从分离时刻算起,分离目标的某部分移动了L个像素的距离,且运动方向与目标发生分离前的运动方向的差异比另一部分的差异小。
●判断是背景物体的条件
从分离时刻算起到重新确认目标,未确认为目标的那部分的边界或中心的移动少于M个像素。
●将区域X加入背景BG
BG=BG|X。
三、关于视场转动及视场转动处理,如图3所示,系统根据转动前目标在视场中的位置,计算摄像头转动的角度和方向,使转动后目标位于视场中心,同时系统进行摄像头转动前存储的目标图像冲的目标区域的平移处理,使目标区域位置在图像的中心。考虑到摄像头转动过程中的误差,执行若干次T=expand(T),这样实际得到了用于转动后捕获目标的自窗口。在摄像头转动结束后获得的第一帧二值图像G上,作T=T&G处理。然后,重新开始固定视场时跟踪过程。
四、关于目标丢失处理,如图4所示,系统首先判断是被前景遮挡还是混入相似亮度背景区域。设目标丢失前在图像上目标的最后位置是p,目标丢失后获得了原始二值图像G。建立二值图像P,令点p为1,其余点为0。执行若干次P=expand(P),然后做P=P&G。如果P=是前景遮挡,否则是混入相似亮度背景。对前者,等待若干时间后以p的位置为种子在新获得的二值图像上搜索目标。对后者,以同样方式立刻搜索。找到目标则处理过程完成,否则在接着的帧重新查找。完成后,跟踪继续,但重新开始固定视场时跟踪过程。
五、本发明的实施例如图5(1)所示,本发明的方法可以通过并行的硬件结构实现。包括图像采集和二值化图像处理模块、控制模块、位置输出模块、摄像头接口四部分。其中,控制模块与图像采集和二值化图像处理模块、摄像头接口互联,位置输出模块分别与摄像头接口、图像采集和二值化图像处理模块连接。
图像采集和二值化图像处理模块是M×N的像素单元阵列,同时具有图像采集功能和二值图像处理功能。如图5(2)所示,每一个像素单元中包括了感光单元、二值化处理单元、存储单元、运算单元和与其它的最近邻像素单元连接线。感光单元接收光信号并将其转换成电信号,在每一个采集周期后获得一帧M×N像素的灰度图像。每个像素单元内的二值化处理单元可以把灰度图像转化为二值图像,每个像素的二值图像数据存储在该像素的存储单元中,存储单元也用来存放跟踪过程的中间结果。单个像素单元中的存储器为n位,n可以取n=1,2,3......。由所有像素单元内的运算单元构成的二维并行处理结构完成对二值图像的单像素运算以及邻域运算。
控制模块按高速目标跟踪方法根据跟踪过程的当前情况发出指令控制二值化图像处理模块做出相应处理完成跟踪的运算过程。
位置输出模块负责得到一个目标的位置坐标,并将其输出。
摄像头接口负责与控制摄像头的机械部分通讯,可以通知摄像头转动的时间和角度及方向,也能知道摄像头所处的状态。

Claims (14)

1.一种高速目标跟踪方法,其组成步骤有如下八个:
1)图像采集;
2)目标指定;
3)二值化阈值窗口指定;
4)图像二值化;
5)固定视场时目标跟踪;
6)目标位置输出;
7)视场转动处理;
8)目标丢失处理。
2.根据权利要求1所述的高速目标跟踪方法,其特征在于,具体步骤如下:
1)图像采集,用CMOS或CCD感光单元阵列按一定周期采集灰度或彩色图像;
2)目标指定,在开始跟踪前,通过手动或自动方式得到要跟踪的目标;
3)二值化阈值窗口指定,需要选择目标的一个或多个区域特征,据此产生图像二值化的阈值窗口,以亮度为例,从指定的目标上任取一点的亮度值,或者取目标亮度平均值或中间值记为I0,亮度窗口定为{I0-I,I0+I},I是半窗口大小,视情况决定,I0可以在每次开始固定视场时目标跟踪过程时根据当时目标的亮度特征决定,也可以在第一次决定后就不再改变;
4)图像二值化,通过阈值窗口将图像转化为二值化图像,以亮度为例,亮度值位于窗口内的像素点记为1(0),位于窗口外的记为0(1);
5)固定视场时目标跟踪,保持摄像头不动的情况下,以目标的运动特征为主要判据进行跟踪;
6)目标位置输出,得到能够反映目标的位置的一个参考点,可以是目标重心,中心,甚至目标上任一点;
7)视场转动处理,在摄像头转动后为保持跟踪的连续性,方法是,摄像头转动时,以转动前目标的位置为依据,将摄像头转到使目标位置处于视场中心,后面的处理包括,把转动前的目标图像中的目标区域移动到图像中心,考虑到摄像头转动过程中的误差,将目标区域扩大若干像素,在摄像头转动完成后,把获得的第一帧二值图像和目标图像求交集,这样得到转动后的初始目标,接着开始新一轮固定视场时目标跟踪过程;
8)目标丢失处理,目标丢失有两种情况,一种是目标进入大片的和目标相似亮度背景中,另一种是被亮度不同的前景遮挡,这可以通过判断原始二值化图像上目标丢失前一刻的目标位置附近有无相似亮度物体得到,对第一种情况,立即在原始二值化图像上以目标丢失前最后的位置为搜索种子展开目标搜索;对第二种情况,等待若干时间后在原始二值化图像上以目标丢失前最后的位置为搜索种子展开目标搜索,如果搜索到则开始新一轮固定视场时目标跟踪过程,搜索失败的话在下一帧重新搜索。
3.根据权利要求1或2所述的高速目标跟踪方法,其特征是以下过程:首先通过手动或自动方法指定要跟踪的目标,其次,以目标的区域特征为参考设定相应区域特征阈值窗口,用该阈值窗口把输入图像二值化,然后,通过处理每一帧二值化的图像对目标进行跟踪,当发现目标丢失,做目标丢失处理;当发现目标要脱离摄像头视场,转动摄像头对准目标,作视场转动后处理,最后,输出每一帧图像中目标的位置。
4.根据权利要求1或2所述的高速目标跟踪方法,这种基于二值化图像的高速目标跟踪方法,其特征是:
(1)目标可以手动指定或自动获取,目标物体可以是非刚体,要求其相对于背景高速运动;
(2)对输入图像根据亮度、色彩、或纹理的区域特征进行二值化;
(3)跟踪过程的运算是在二值图像上进行,跟踪过程由固定视场时跟踪、视场转动处理、目标丢失处理三个方面构成;
(4)输出的目标位置是一个能代表目标在图像上位置的点在图像上的坐标。
5.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,所述二值化需要一个特征阈值窗口,以区别图像上相应特征落在窗口内和窗口外的区域,该窗口由窗口中点和半窗口宽度构成,窗口中点的选取决定于目标的相应区域特征,以亮度为例,可以选目标亮度平均值作为窗口中点。
6.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,对二值图像的运算通过与、或、非等逻辑运算完成。
7.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,对二值图像的运算是并行运算。
8.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,二值化是根据区域的亮度、色彩、或纹理特征,跟踪过程中只关心二值化后区域的运动,因此不要求图像有高分辨率。
9.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,固定视场时跟踪过程包括目标搜索、背景存储、背景减除、背景减除后图像清理、目标捕获、目标丢失判断、目标分离事件判断、目标分离后目标重确认、更新背景操作。
10.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,视场转动条件在目标边界到达视场边界时发生,摄像头转动依据当时的目标位置,转动后目标位置处于视场中心,转动后以之前存储的目标区域的扩大区域为窗口在视场中心捕获目标。
11.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,目标丢失后根据是混入背景区域还是被前景遮挡的判断在不同时间在目标丢失前的最后位置附近搜索目标。
12.根据权利要求1或2所述的高速目标跟踪方法,其特征在于,在视场转动处理和目标丢失处理完成后,固定视场时跟踪过程重新启动。
13.一种高速目标跟踪电路系统,包括图像采集和二值化图像处理模块、控制模块、位置输出模块、摄像头接口四部分,其中,控制模块与图像采集和二值化图像处理模块、摄像头接口互联,位置输出模块分别与摄像头接口、图像采集和二值化图像处理模块连接。
14.根据权利要求13所述的高速目标跟踪电路系统,其特征在于,图像采集和二值化图像处理模块是M×N的像素单元阵列,具有图像采集功能和二值图像处理功能,每一个像素单元中包括了感光单元、二值化处理单元、存储单元、运算单元和与最近邻像素单元连接线。
CNB2005100869022A 2005-11-17 2005-11-17 高速目标跟踪方法及其电路系统 Active CN100435555C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2005100869022A CN100435555C (zh) 2005-11-17 2005-11-17 高速目标跟踪方法及其电路系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005100869022A CN100435555C (zh) 2005-11-17 2005-11-17 高速目标跟踪方法及其电路系统

Publications (2)

Publication Number Publication Date
CN1968352A true CN1968352A (zh) 2007-05-23
CN100435555C CN100435555C (zh) 2008-11-19

Family

ID=38076869

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100869022A Active CN100435555C (zh) 2005-11-17 2005-11-17 高速目标跟踪方法及其电路系统

Country Status (1)

Country Link
CN (1) CN100435555C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631198A (zh) * 2008-07-14 2010-01-20 三洋电机株式会社 摄像装置
CN103258331A (zh) * 2012-11-01 2013-08-21 上海申瑞电网控制系统有限公司 一种动态目标在有遮挡情况下的位置确定方法
CN103679635A (zh) * 2013-12-16 2014-03-26 中国人民解放军63791部队 基于波门检测的快速图像插值处理方法
CN104463852A (zh) * 2014-11-24 2015-03-25 江西洪都航空工业集团有限责任公司 一种提高导引头捕控波门辨识度的方法
CN106056633A (zh) * 2016-06-07 2016-10-26 速感科技(北京)有限公司 运动控制方法、装置及系统
CN107944337A (zh) * 2017-10-13 2018-04-20 西安天和防务技术股份有限公司 一种低空目标智能跟踪方法及系统、存储介质及电子终端
CN108038483A (zh) * 2017-10-13 2018-05-15 西安天和防务技术股份有限公司 一种主动式智能跟踪方法及系统、存储介质及电子终端
CN108038408A (zh) * 2017-10-13 2018-05-15 西安天和防务技术股份有限公司 智能跟踪方法及装置、存储介质及电子终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6760465B2 (en) * 2001-03-30 2004-07-06 Intel Corporation Mechanism for tracking colored objects in a video sequence
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP4240957B2 (ja) * 2002-08-30 2009-03-18 日本電気株式会社 物体追跡装置、物体追跡方法および物体追跡プログラム
JP3917148B2 (ja) * 2004-05-21 2007-05-23 松下電器産業株式会社 移動物体抽出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631198A (zh) * 2008-07-14 2010-01-20 三洋电机株式会社 摄像装置
CN103258331A (zh) * 2012-11-01 2013-08-21 上海申瑞电网控制系统有限公司 一种动态目标在有遮挡情况下的位置确定方法
CN103679635A (zh) * 2013-12-16 2014-03-26 中国人民解放军63791部队 基于波门检测的快速图像插值处理方法
CN103679635B (zh) * 2013-12-16 2017-07-18 中国人民解放军63791部队 基于波门检测的快速图像插值处理方法
CN104463852A (zh) * 2014-11-24 2015-03-25 江西洪都航空工业集团有限责任公司 一种提高导引头捕控波门辨识度的方法
CN106056633A (zh) * 2016-06-07 2016-10-26 速感科技(北京)有限公司 运动控制方法、装置及系统
CN107944337A (zh) * 2017-10-13 2018-04-20 西安天和防务技术股份有限公司 一种低空目标智能跟踪方法及系统、存储介质及电子终端
CN108038483A (zh) * 2017-10-13 2018-05-15 西安天和防务技术股份有限公司 一种主动式智能跟踪方法及系统、存储介质及电子终端
CN108038408A (zh) * 2017-10-13 2018-05-15 西安天和防务技术股份有限公司 智能跟踪方法及装置、存储介质及电子终端

Also Published As

Publication number Publication date
CN100435555C (zh) 2008-11-19

Similar Documents

Publication Publication Date Title
CN1968352A (zh) 高速目标跟踪方法及其电路系统
CN1222911C (zh) 图像处理装置和方法
CN100345154C (zh) 足球机器人视觉快速识别方法
CN1741039A (zh) 面部器官位置检测设备、方法及程序
CN1284373C (zh) 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN103646232A (zh) 飞行器地面运动目标红外图像识别装置
CN1842125A (zh) 图像中目标的提取与缩放显示
CN1900881A (zh) 控制功率的方法和具有功率控制能力的计算机
CN1288916C (zh) 图像死点和噪声的消除方法
CN101587586A (zh) 一种图像处理装置及图像处理方法
CN1831845A (zh) 生物测量认证装置和图像获取方法
CN1945417A (zh) 摄像装置
CN1926459A (zh) 自动聚焦控制装置和方法、记录介质和程序
CN105898135A (zh) 相机成像方法及相机装置
CN105631799B (zh) 一种动平台激光红外融合检测识别系统
CN1842818A (zh) 瞳孔检测装置和虹膜认证装置
CN101038675A (zh) 实现水墨风格渲染的方法及装置
CN1842819A (zh) 瞳孔检测装置和虹膜认证装置
WO2022143284A1 (zh) 移动方向确定方法、装置、扫地机器人和存储介质
CN112149573A (zh) 一种基于深度学习的垃圾分类与拾取机器人
Sun et al. Multi-modal reflection removal using convolutional neural networks
CN1947047A (zh) 自动聚焦控制设备和方法、记录介质和程序
CN112949347A (zh) 基于人体姿势的风扇调节方法、风扇和存储介质
CN1648839A (zh) 控制光源的方法及使用该方法的光学输入设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant