CN101399969A - 基于运动相机的运动目标检测与跟踪的系统、设备和方法 - Google Patents

Abstract

一种用于基于运动相机的运动目标检测与跟踪的设备，包括：特征检测单元，在输入视频的第一帧中找出特征点；特征跟踪单元，在后面的帧中跟踪由特征检测单元找出的特征点；潜在运动检测单元，从特征跟踪单元跟踪的特征点之中找出潜在的运动点；运动分析单元，从潜在运动检测单元找出的潜在的运动点中确定运动点；目标跟踪单元，根据给定的初始位置从输入视频中跟踪运动目标区域。根据本发明的运动目标检测与跟踪系统、设备和方法在移动平台中为3A成像提供运动目标位置。

Description

基于运动相机的运动目标检测与跟踪的系统、设备和方法

技术领域

本发明涉及一种用于运动目标检测与跟踪的系统、设备、和方法，更具体地讲，涉及一种用于基于运动相机的运动目标检测与跟踪的系统、设备和方法。

背景技术

运动检测和跟踪是计算机视觉领域中最重要的技术，它包括成像、图像捕捉和图像分析。

在现有技术中，运动检测和跟踪技术可包括下面几种方法：

基于额外硬件(Extra-Hardware)的方法[1]。在这种方法中，利用额外硬件(诸如红外线(IR)、超声波或立体视觉)来进行运动检测。

基于图像拼接的方法。在这种方法中，将不同的示图拼接成全景图像作为运动检测的背景。

背景估计方法[2]。在这种方法中，利用固定相机使用图像序列来进行背景估计，并通过背景和输入图像之间的图像差别来获取运动目标。

颜色分割方法[3]。在这种方法中，利用颜色信息将图像进行分割，并跟踪每个分割的块的运动以进行运动检测。

光流方法[4]。在这种方法中，利用光流来获取运动信息。

额外硬件方法会增加系统进行运动检测和跟踪的成本。图像拼接和背景估计方法不能在运动的平台(诸如，汽车、PDA)中获得稳定的结果。由于不稳定的颜色特性，颜色分割方法在实际应用中也不具有鲁棒性。虽然光流方法可以用于实时应用，但是跟踪误差能够显著影响运动检测结果。

发明内容

在下面的描述中将部分地阐明本发明另外的方面和/或优点，通过描述，其会变得更加清楚，或者通过实施本发明可以了解。

本发明的一方面在于提供一种用于基于运动相机的运动目标检测与跟踪的设备，包括：特征检测单元，在输入视频的第一帧中找出特征点；特征跟踪单元，在后面的帧中跟踪由特征检测单元找出的特征点；潜在运动检测单元，从特征跟踪单元跟踪的特征点之中找出潜在的运动点；运动分析单元，从潜在运动检测单元找出的潜在的运动点中确定运动点；目标跟踪单元，根据给定的初始位置从输入视频中跟踪运动目标区域。

本发明的另一方面在于提供一种用于基于运动相机的运动目标检测与跟踪的方法，包括：在输入视频的第一帧中找出特征点；在后面的帧中跟踪找出的特征点；从跟踪的特征点之中找出潜在的运动点；从找出的潜在的运动点中确定运动点；根据给定的初始位置从输入视频中跟踪运动目标区域。

本发明的另一方面在于提供一种基于运动相机的运动目标检测与跟踪的系统，包括：相机，用于捕获视频信息；运动目标检测与跟踪设备，接收并处理从相机输入的视频信息，并将处理结果提供给图像捕获控制器；图像捕获控制器，从运动目标检测与跟踪设备接收处理结果，并根据该处理结果对相机进行控制以实现3A成像，其中，3A指的是自动聚焦、自动白平衡、和自动增益控制，其中，运动目标检测与跟踪设备包括：特征检测单元，在输入视频的第一帧中找出特征点；特征跟踪单元，在后面的帧中跟踪由特征检测单元找出的特征点；潜在运动检测单元，从特征跟踪单元跟踪的特征点之中找出潜在的运动点；运动分析单元，从潜在运动检测单元找出的潜在的运动点中确定运动点；目标跟踪单元，根据给定的初始位置从输入视频中跟踪运动目标区域。

附图说明

通过下面结合附图对实施例进行的描述，本发明总的发明构思的这些和/或其他方面和优点将会变得清楚和更易于理解，其中：

图1是表示根据本发明的用于基于运动相机的运动目标检测与跟踪的设备的方框图；

图2是表示根据本发明的用于基于运动相机的运动目标检测与跟踪的方法的流程图；

图3是表示本发明的应用方案的示图。

具体实施方式

现在将参照附图对本发明进行更充分的描述，其中，本发明的示例性实施例表示在附图中。

图1是表示根据本发明的用于基于运动相机的运动目标检测与跟踪的设备100的方框图。

参照图1，设备100包括5个部分：特征检测单元101、特征跟踪单元105、潜在运动检测单元110、运动分析单元115和目标跟踪单元120。在设备100中，视频被输入给特征检测单元101、特征跟踪单元105和目标跟踪单元120。

特征检测单元101在输入视频的第一帧中找出角点(即，特征点)。此时，可以使用任何角点检测算法，例如，Harris角点检测算法[5]、尺度不变量特征变换(SIFT)算法[6]、机器学习(machine learning)检测算法[7]。

特征跟踪单元105在后面的帧中跟踪由特征检测单元101找出的特征点。此时，可使用任何特征点跟踪算法，诸如光流算法[8]、模板匹配算法[9]和活动轮廓模型(Active Shape Model，ASM)算法[10]。

潜在运动检测单元110从特征跟踪单元105跟踪的特征点之中找出潜在的运动点。与静止点相比，由于运动，所以可将运动点用作离群值(outlier)。在这个过程中，可应用两种可选的算法，即旋转离群值否决(Rejection ofOutliers by Rotations，ROR)方法[11]和随机抽样一致性(Random SampleConsensus，RANSAC)方法[12]。

运动分析单元115从潜在运动检测单元110找出的潜在的运动点中确定运动点。

首先，假设：(1)显著运动(salient motion)恒定，并且持续时间至少为几个连续帧(例如，使用4个帧)；(2)由相机运动和可变背景引起的意外运动不维持持续的运动。

然后，运动分析单元115按照下述步骤来确定运动点：

(a)对每个点P_i，计算m+1个连续帧O_n-m，O_n-m-1，...，O_n之间的光流；

(b)计算光流差D₁，D₂，...，D_m，其中，Di＝|O_n-m+i-1-O_n-m+i|；

(c)如果O_j>T₁并且D_i<T₂，则将P_i标记为候选点；

(d)如果P_i被K次(K<m)或多于K次标记为候选点，则在最终输出中P_i被标记为运动点，并且所有的运动点形成最小矩形R作为运动目标区域，

其中，n和m为正整数；j＝n-m，...，n；i＝1，...，m；T₁和T₂是两个预定阈值。

目标跟踪单元120根据给定的初始位置从输入视频中跟踪运动目标区域。在这个过程中，有两种可选的方法，即均值偏移(mean-shift)算法[13]和粒子滤波器算法[14]。根据本发明，将均值偏移算法和粒子滤波器算法结合以在速度和鲁棒性两方面都实现较好效果。

具体地讲，目标跟踪单元120选择前述矩形R作为初始跟踪区域，使用(例如，具有50个粒子的)粒子滤波器作为初始跟踪器(tracker)，使用初始跟踪器的输出作为用于均值偏移算法的初始跟踪区域，并将均值偏移的输出用作最终输出。

图2是表示根据本发明的用于基于运动相机的运动目标检测与跟踪的方法的流程图。

参照图2，在步骤S201中，在输入视频的第一帧中找出角点(即，特征点)。此时，可以使用任何角点检测算法，例如，Harris角点检测算法、尺度不变量特征变换(SIFT)算法、机器学习检测算法。

在步骤S205中，在后面的帧中跟踪在步骤S201中找出的特征点。此时，可使用任何特征点跟踪算法，诸如光流算法、模板匹配算法和活动轮廓模型(ASM)算法。

在步骤S210中，从在步骤S205中跟踪的特征点之中找出潜在的运动点。与静止点相比，由于运动，所以可将运动点用作离群值。在这个过程中，可应用两种可选的算法，即旋转离群值否决(ROR)方法和随机抽样一致性(RANSAC)方法。

在步骤S215中，从在步骤S210中找出的潜在的运动点中确定运动点。

首先，假设：(1)显著运动恒定，并且持续时间至少为几个连续帧(例如，使用4个帧)；(2)由相机运动和可变背景引起的意外运动不维持持续的运动。

然后，按照下述步骤来确定运动点：

(a)对每个点P_i，计算m+1个连续帧O_n-m，O_n-m-1，...，O_n之间的光流；

(b)计算光流差D₁，D₂，...，D_m，其中，D_i＝|O_n-m+i-1-O_n-m+i|；

(c)如果O_j>T₁并且D_i<T₂，则将P_i标记为候选点；

(d)如果P_i被K次(K<m)或多于K次标记为候选点，则在最终输出中P_i被标记为运动点，并且所有的运动点形成最小矩形R作为运动目标区域，

其中，n和m为正整数；j＝n-m，...，n；i＝1，...，m；T₁和T₂是两个预定阈值。

在步骤S220中，根据给定的初始位置从输入视频中跟踪运动目标区域。在这个过程中，有两种可选的方法，即均值偏移算法和粒子滤波器算法。根据本发明，将均值偏移算法和粒子滤波器算法结合以在速度和鲁棒性两方面都实现较好效果。

具体地讲，在步骤S220中，选择前述矩形R作为初始跟踪区域，使用(例如，具有50个粒子的)粒子滤波器作为初始跟踪器，使用初始跟踪器的输出作为用于均值偏移算法的初始跟踪区域，并将均值偏移的输出用作最终输出。

图3是表示本发明的应用方案的示图。

参照图3，根据本发明的运动目标检测与跟踪设备305对相机捕获的视频信息进行处理，并将处理结果(即，运动目标位置)提供给图像捕获控制器310，以实现3A(自动聚焦、自动白平衡、和自动增益控制)成像。

根据本发明的运动目标检测与跟踪系统、设备和方法在移动平台中为3A成像提供运动目标位置。

根据本发明的运动目标检测与跟踪系统、设备和方法用于为移动相机、DSC和DV中的图像捕获提供信息，能够给出给定视频中的运动目标位置，以实现自动聚焦、自动白平衡、和自动增益控制。

为了有助于本领域技术人员更好地理解本发明，本申请说明书中的部分技术内容(以[1]-[14]标记)所涉及的参考文献列举如下：

[1]公开号为US 2007/0110298 A1的美国专利申请

[2]公开号为US 2007/0047811 A1的美国专利申请

[3]专利号为US 6,337,917 B1的美国专利

[4]公开号为US 2007/0116356 A1的美国专利申请

[5]Harris，C.and Stephens，M.1988，A combined corner and edge detector.In Fourth Alvey Vision Conference，Manchester，UK，pp.147-151

[6]David G.Lowe，＂Distinctive image features from scale-invariantkeypoints，＂International Journal of Computer Vision，60，2(2004)，pp.91-110

[7]Edward Rosten and Tom Drummond，Machine learning for high-speedcorner detection，European Conference on Computer Vision，2006，430--443

[8]Jean-Yves Bouguet，Pyramidal Implementation of the Lucas KanadeFeature Tracker，Intel Corporation，Microprocessor Research Labs，OpenCVDocuments

[9]WANG，CHING YAN G，Ph.D.＂EDGE DETECTION USINGTEMPLATE MATCHING(IMAGE PROCESSING，THRESHOLD LOGIC，ANALYSIS，FILTERS)＂.Duke University，1985，288pages；AAT 8523046

[10]T.F.Cootes，G.J.Edwards，and C.J.Taylor.Active appearance models.In H.Burkhardt and B.Neumann，editors，5th European Conference on ComputerVision，volume 2，pages 484-498.Springer，Berlin，1998

[11]A.Adam，E.Rivlin and I.Shimshoni，＂ROR：Rej ection of Outliersby Rotations＂，IEEE Trans.on Pattern Analysis and Machine Intelligence(PAMI)，23(1)pp.78-84，2001

[12]FISCHLER，M.，AND BOLLES，R.Random sample consensus：aparadigm for model fitting with applications to image analysis and automatedcartography.Readings in computer vision：issues，problems，principles，andparadigms，726--7401987

[13]M.Isard and A.Blake，＂Condensation--conditional density propagationfor visual tracking，＂International Journal of Computer Vision 29(1)，pp.5--28，1998

[14]D.Comaniciu，V.Ramesh，P.Meer：Real-Time Tracking of Non-RigidObjects using Mean Shift，BEST PAPER AWARD，IEEE Conf.Computer Visionand Pattern Recognition(CVPR′00)，Hilton Head Island，South Carolina，Vol.2，142-149，2000

尽管已参照本发明的特定优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种形式和细节上的修改。

Claims (16)

1、一种用于基于运动相机的运动目标检测与跟踪的设备，包括：

特征检测单元，在输入视频的第一帧中找出特征点；

特征跟踪单元，在后面的帧中跟踪由特征检测单元找出的特征点；

潜在运动检测单元，从特征跟踪单元跟踪的特征点之中找出潜在的运动点；

运动分析单元，从潜在运动检测单元找出的潜在的运动点中确定运动点；

目标跟踪单元，根据给定的初始位置从输入视频中跟踪运动目标区域。

2、如权利要求1所述的设备，其中，运动分析单元按照下述方法确定运动点：

对每个点P_i，计算m+1个连续帧O_n-m，O_n-m-1，...，O_n之间的光流；

计算光流差D₁，D₂，...，D_m，其中，Di＝|O_n-m+i-1-O_n-m+i|；

如果O_j>T₁并且D_i<T₂，则将P_i标记为候选点；

如果P_i被K次或多于K次标记为候选点，则在最终输出中P_i被标记为运动点，并且所有的运动点形成最小矩形R作为运动目标区域，

其中，n和m为正整数；K<m；j＝n-m，...，n；i＝1，...，m；T₁和T₂是两个预定阈值。

3、如权利要求1所述的设备，其中，目标跟踪单元使用均值偏移算法和粒子滤波器算法的结合来跟踪运动目标区域。

4、如权利要求3所述的设备，其中，目标跟踪单元选择矩形R作为初始跟踪区域，使用粒子滤波器作为初始跟踪器，使用初始跟踪器的输出作为用于均值偏移算法的初始跟踪区域，并将均值偏移的输出用作最终输出。

5、如权利要求1至4中任一项所述的设备，其中，特征检测单元使用以下角点检测算法之一来找出特征点：Harris角点检测算法、尺度不变量特征变换算法、机器学习检测算法。

6、如权利要求1至4中任一项所述的设备，其中，特征跟踪单元使用以下特征点跟踪算法之一来跟踪特征点：光流算法、模板匹配算法和活动轮廓模型算法。

7、如权利要求1至4中任一项所述的设备，其中，潜在运动检测单元使用以下算法之一来找出潜在的运动点：旋转离群值否决方法和随机抽样一致性方法。

8、一种用于基于运动相机的运动目标检测与跟踪的方法，包括：

在输入视频的第一帧中找出特征点；

在后面的帧中跟踪找出的特征点；

从跟踪的特征点之中找出潜在的运动点；

从找出的潜在的运动点中确定运动点；

根据给定的初始位置从输入视频中跟踪运动目标区域。

9、如权利要求8所述的方法，其中，确定运动点的步骤包括：

对每个点P_i，计算m+1个连续帧O_n-m，O_n-m-1，...，O_n之间的光流；

计算光流差D₁，D₂，...，D_m，其中，Di＝|O_n-m+i-1-O_n-m+i|；

如果O_j>T₁并且D_i<T₂，则将P_i标记为候选点；

如果P_i被K次或多于K次标记为候选点，则在最终输出中P_i被标记为运动点，并且所有的运动点形成最小矩形R作为运动目标区域，

其中，n和m为正整数；K<m；j＝n-m，...，n；i＝1，...，m；T₁和T₂是两个预定阈值。

10、如权利要求8所述的方法，其中，使用均值偏移算法和粒子滤波器算法的结合来跟踪运动目标区域。

11、如权利要求10所述的方法，其中，使用均值偏移算法和粒子滤波器算法的结合来跟踪运动目标区域的步骤包括：选择矩形R作为初始跟踪区域，使用粒子滤波器作为初始跟踪器，使用初始跟踪器的输出作为用于均值偏移算法的初始跟踪区域，并将均值偏移的输出用作最终输出。

12、如权利要求8至11中任一项所述的方法，其中，使用以下角点检测算法之一来找出特征点：Harris角点检测算法、尺度不变量特征变换算法、机器学习检测算法。

13、如权利要求8至11中任一项所述的方法，其中，使用以下特征点跟踪算法之一来跟踪特征点：光流算法、模板匹配算法和活动轮廓模型算法。

14、如权利要求8至11中任一项所述的方法，其中，使用以下算法之一来找出潜在的运动点：旋转离群值否决方法和随机抽样一致性方法。

15、一种基于运动相机的运动目标检测与跟踪的系统，包括：

相机，用于捕获视频信息；

运动目标检测与跟踪设备，接收并处理从相机输入的视频信息；

图像捕获控制器，从运动目标检测与跟踪设备接收处理结果，并对相机进行控制以实现3A成像，

其中，3A指的是自动聚焦、自动白平衡、和自动增益控制，

其中，运动目标检测与跟踪设备包括：

特征检测单元，在输入视频的第一帧中找出特征点；

特征跟踪单元，在后面的帧中跟踪由特征检测单元找出的特征点；

潜在运动检测单元，从特征跟踪单元跟踪的特征点之中找出潜在的运动点；

运动分析单元，从潜在运动检测单元找出的潜在的运动点中确定运动点；

目标跟踪单元，根据给定的初始位置从输入视频中跟踪运动目标区域。

16、如权利要求15所述的系统，其中，所述处理结果是运动目标位置信息。

Images