CN102215397A - 用于对象跟踪和徘徊检测的方法和设备 - Google Patents

Abstract

提供一种用于对象跟踪和徘徊检测的方法和设备。所述方法包括：通过将输入图像转换为频域的图像以产生频域图像并根据频带和分辨率划分频域图像，来对输入图像进行小波变换；从频域图像提取包括关于输入图像的基本信息的对象信息；对对图像信息执行分形仿射变换；通过使用通过分形仿射变换获得的系数，补偿关于先前图像的对象信息和关于输入图像的对象信息之间的差。

Description

用于对象跟踪和徘徊检测的方法和设备

本申请要求于2010年4月2日提交到韩国知识产权局的第10-2010-0030505号韩国专利申请的优先权，其公开通过引用完全地包含于此。

技术领域

与示例性实施例一致的设备和方法涉及视频监控，更具体地讲，涉及对象跟踪和徘徊检测。

背景技术

网络监控系统通常使用相机来获得输入图像。相机的示例包括箱式相机和平移/倾斜/变焦(PTZ)型相机。

箱式相机通常从固定型位置发送固定图像场景。因此，在使用箱式相机发送的图像场景中，用户可通过线条绘制多边形来指定在固定图像场景中的用于对象跟踪和徘徊检测的感兴趣区域。

PTZ型相机通过执行平移/倾斜/变焦功能来发送运动图像场景。因此，当使用PTZ型相机时，用户需要在每次执行平移/倾斜/变焦功能时指定感兴趣区域。此外，为了在没有预设感兴趣区域的图像场景中执行对象跟踪和徘徊检测，在每次执行平移/倾斜/变焦功能时需要用户手动的线条绘制操作。

如果省略手动操作，则在PTZ型相机中，通过针对在未定义预设区域中产生的所有对象的全范围搜索来执行对象跟踪和徘徊检测，或者根本不执行对象跟踪和徘徊检测。

此外，在根据现有技术的用于对象跟踪和徘徊检测的MPEG或H.264格式中，图像中的运动对象的运动被简单地二维表示，因此，难以表现运动对象的旋转、消失、重叠、大小转换等。此外，当图像中包括大量对象时，运动预测和补偿计算的量急剧地增加。

为了解决上述问题，现有技术的视频图像编解码器的宏块大小被进一步分割，或者运动搜索范围被扩大或基于像素的搜索区域被分割以进行搜索。然而，最终没有执行全搜索，从而在搜索期间仍然产生局部误差。

发明内容

一个或多个实施例提供用于对象跟踪和徘徊检测的方法和设备，其中，通过使用对输入图像进行小波变换获得的频率信息和分形仿射变换的分形仿射系数信息来执行运动矢量功能。因此，可解决现有技术的基于MPEG和H.264的编解码器的问题。此外，通过使用分形仿射系数信息，可执行自动对象跟踪和徘徊检测。

根据示例性实施例，提供一种用于对象跟踪和徘徊检测的设备，包括：小波变换器，根据频带和分辨率将输入图像转换为频域的图像，以产生频域图像，并划分频域图像；运动估计单元，从频域图像提取包括关于输入图像的基本信息的对象信息，并对对像信息执行分形仿射变换；运动补偿单元，通过使用通过分形仿射变换获得的系数，来补偿关于先前图像的对象信息和输入图像的对象信息之间的差。

所述设备还可包括：路线路径分析单元，通过使用关于输入图像的对象信息和所述系数来检测对象的多条路线路径，并基于所述多条路线路径中的每条路线路径的出现频率来设置输入图像的感兴趣区域(ROI)作为搜索区域。

所述设备还可包括：对象跟踪和徘徊检测单元，跟踪在输入图像的ROI中出现的另一对象。

根据示例性实施例的另一方面，提供一种视频分析系统，包括：小波变换器，根据频带和分辨率将输入图像转换为频域的图像，以产生频域图像，并划分频域图像；运动估计单元，对频域图像执行分形仿射变换；运动补偿单元，通过使用通过分形仿射变换获得的系数，来补偿先前图像和输入图像之间的差，路线路径分析单元，通过使用输入图像和所述系数来设置对象的多条路线路径，并基于所述多条路线路径中的每条路线路径的出现频率来设置输入图像的感兴趣区域(ROI)作为搜索区域；对象跟踪和徘徊检测单元，跟踪在输入图像的ROI中出现的另一对象。

根据示例性实施例的一方面，提供一种用于执行对象跟踪和徘徊检测的方法，所述方法包括：通过根据频带和分辨率将输入图像转换为频域的图像以产生频域图像并划分频域图像，来对输入图像进行小波变换；从频域图像提取包括关于输入图像的基本信息的对象信息；对对图像信息执行分形仿射变换；通过使用通过分形仿射变换获得的系数，来补偿关于先前图像的对象信息和关于输入图像的对象信息之间的差。

根据示例性实施例的另一方面，提供一种用于执行对象跟踪和徘徊检测的方法，所述方法包括：通过根据频带和分辨率将输入图像转换为频域的图像以产生频域图像并划分频域图像，来对输入图像进行小波变换；通过对频域图像执行分形仿射变换来估计运动；通过使用通过分形仿射变换获得的系数，补偿先前图像和输入图像之间的差，来补偿运动；通过使用输入图像和所述系数设置对象的多条路线路径，并基于所述多条路线路径中的每条路线路径的出现频率设置输入图像的感兴趣区域(ROI)作为搜索区域，来分析路线路径；跟踪在输入图像的ROI中出现的另一对象。

附图说明

通过参照附图详细描述示例性实施例，上述和其他方面将会变得更清楚，其中：

图1是用于对象跟踪和徘徊检测的现有技术的视频解析/分析系统的内部结构图；

图2A和图2B示出根据示例性实施例的在其中执行对象跟踪的图像的示例；

图3是根据示例性实施例的用于自动对象跟踪和徘徊检测的系统的内部结构图；

图4A至图4D示出根据示例性实施例的小波变换；

图5示出根据示例性实施例的通过小波变换转换到各种频率级的图像；

图6示出根据示例性实施例的关于频率块的大小转换、旋转转换和缩放转换。

具体实施方式

现在将参照附图更全面地描述本发明构思，本发明的示例性示例显示在附图中。描述以及附图用于理解根据示例性实施例的操作，并且可省略可由本领域普通技术人员容易地实现的部分。

提供详细描述和附图不是为了限制性目的，本发明构思的范围由权利要求限定。这里使用的术语应该被解释为不脱离本发明构思的精神和范围的含义和概念，并且以最合适的方式描述本发明构思。

对象跟踪方法是指提取图像中对象的运动并连续地跟踪对象的位置。

对象徘徊检测方法是指检测预定区域中的对象连续徘徊的运动路径。通过使用对象徘徊检测方法，可监控预定区域中的入侵者，以防止发生犯罪行为。

图1是用于对象跟踪和徘徊检测的现有技术的视频解析系统的内部结构图。

视频解析系统包括视频图像压缩单元110和视频分析单元120。如图1所示，除了接收相同的输入图像S100之外，视频图像压缩单元110和视频分析单元120不进行交互。

详细地讲，即使视频图像压缩单元110的运动估计单元(ME)111和运动补偿(MC)单元112提取运动矢量和运动信息，视频分析单元120也具有标号130指示的执行相同功能或相似功能的单元，如ME单元131和MC单元132。因此，会发生实现网络片上系统(SoC)或专用集成电路(ASIC)时成本的增加、过度的数据流量和重复的逻辑实现。此外，与视频分析单元120的ME单元131和MC单元132的执行结果分开进行徘徊检测，从而实现系统的成本会增加。

此外，视频分析单元120的ME单元131和MC单元132基于跟踪MPEG-4或H.264格式的二维(2D)坐标来提取运动矢量，如同视频图像压缩单元110的ME单元111和MC单元112的情况，并且不能有效地响应对象的位置移动、旋转转换、大小转换、消失、重叠等，因此在对象跟踪和徘徊检测期间会产生问题。

图2A和图2B示出根据示例性实施例的在其中执行对象跟踪的图像的示例。

在如图1所示的现有技术的视频解析系统中，诸如MPEG-4或H.264的视频图像压缩方法用于执行对象跟踪和徘徊检测，以获得ME和MC。

在上述视频图像压缩方法中，为了对象跟踪和徘徊检测，在将被用户监控的图像中设置感兴趣区域(ROI)210。然后，选择并跟踪ROI 210中的对象220。

然而，在上述对象跟踪方法中，如果如图2B所示在ROI中随机和频繁地产生多个对象，则基于运动矢量来跟踪产生的多个对象中的每个对象。此外，跟踪需要进行到所有产生的对象都消失，或者进行预定时间段，因此，关于多个对象中的每个对象的跟踪信息(例如，运动矢量历史)需要被连续地保持。

因此，在基于MPEG-4或H.264格式的视频图像压缩方法中，如果对象的数量增加，则计算的数量急剧增加。计算的急剧增加导致实现系统的成本增加。

此外，在基于MPEG-4或H.264格式的视频图像压缩方法中，基于2D运动执行ME/MC，因此，关于三维(3D)运动的精确跟踪(诸如位置移动、旋转转换、大小转换、消失、重叠等)很困难。

图3是根据示例性实施例的用于自动对象跟踪和徘徊检测的系统的内部结构图。

在根据当前示例性实施例的用于自动对象跟踪和徘徊检测的系统中，关于小波变换的图像的频率信息和关于分形仿射变换的分形仿射系数的信息可用于执行运动矢量功能。

因此，可执行关于3D运动精确跟踪(诸如位置移动、旋转转换、大小转换、消失、重叠等)，并且可解决使用现有技术的视频图像编解码器执行基于2D运动的ME/MC时引起的问题。

根据当前示例性实施例的用于自动对象跟踪和徘徊检测的系统包括图像大小调整器310、小波变换器320、ME/MC单元330、对象数据库(Object_DB)331、路线路径分析单元340和对象跟踪和徘徊检测单元350。

图像大小调整器310根据输入图像信号产生具有不同分辨率的各种图像。具有不同分辨率的图像的示例是D1、通用中间格式(CIF)、四分之一通用中间格式(QCIF)等。接下来，图像大小调整器310仅输出一个产生的图像。例如，仅有CIF分辨率图像，而不是D1、CIF或QCIF分辨率图像被输出。

根据当前示例性实施例，不针对所有多个分辨率的信号(例如，D1、CIF和QCIF)执行频率转换和运动信息提取。根据当前示例性实施例，到频域的信号转换和运动信息的提取仅通过小波变换执行一次，以获得具有多个分辨率的输出图像。

例如，根据当前示例性实施例，当通过小波变换针对一个分辨率(例如，CIF)执行频率转换时，小波变换的CIF分辨率图像的对象和运动频率值加倍，从而获得具有CIF分辨率图像的四倍分辨率的D1图像。可选择地，小波变换的CIF分辨率图像的对象和运动频率值减半，从而获得QCIF分辨率图像，其具有CIF分辨率图像的四分之一分辨率。

小波变换器320通过缩放和移动根据频带和分辨率来划分输入图像。例如，当接收到图像大小调整器310输出的CIF分辨率图像时，小波变换器320将CIF分辨率图像小波变换为具有CIF频率的图像。小波变换器320根据频率范围划分输入图像，因此，可将坐标转换、旋转转换、大小转换等应用到具有不同频率范围的图像。

根据当前示例性实施例，分形线性仿射变换用于执行大小转换、旋转转换和缩放转换。因此，通过使用执行分形线性仿射变换计算的分形仿射系数信息，可检测先前帧和当前帧之间的差。

ME/MC单元330从由小波变换的频率信号配置的图像提取与输入图像相似的块。以下，将该块称为对象信息。对象信息是指输入图像的块的数据，所述输入图像在小波变换期间在垂直方向和水平方向上通过低带通滤波器，并包括关于输入图像的基本信息。参照图4D，关于与原始图像相似的块450的信息对应于图像信息。图4A至图4C示出提取对象信息的方法。

接下来，计算提取的对象信息和存储在Object_DB 331中的关于先前帧的对象信息之间的差。Object_DB 331可包括从输入图像的每个帧提取的对象信息、对象ID、关于先前帧的小波频率信息或分形仿射系数信息。

如果两条对象信息之间的差等于或小于预先设置的阈值，则通过使用分形仿射系数将该差存储在Object_DB 331中。因此，可以以上述方式执行当前帧和先前帧之间的运动补偿。

当两条对象信息之间的差大于预先设置的阈值时，丢弃从当前帧提取的对象信息。例如，当在图像中跟踪特定对象并且障碍物在该对象之前突然通过时，会发生这种情况。

通过重复上述操作，Object_DB 331中的对象信息和分形仿射系数信息被累积地更新，因此，也可累积对象的运动路径。此外，通过使用分形仿射系数信息，当与先前帧比较时，可检测当前帧中的对象的运动。因此，可通过每个对象的对象信息和分形仿射系数信息简单地表现所有对象的运动。

路线路径分析单元340通过使用存储在Object_DB 331中的对象信息和分形仿射系数信息，确定对象的路线路径以及在每条路线路径的出现频率。接下来，基于每条路线路径的出现频率来定义感兴趣区域(ROI)。

如果新的对象出现在图像中，则对象跟踪和徘徊检测单元350确定该对象是否在由路线路径分析单元340定义的ROI中。如果该对象在ROI中，则自动跟踪该对象。此外，关于该对象的跟踪信息被自动地存储在Object_DB331中。

图4A至图4D示出根据示例性实施例的小波变换。根据当前示例性实施例，用于自动对象跟踪和徘徊检测的系统通过小波变换仅执行一次频带上的信号转换和运动信息的提取，以获得具有多个分辨率的输出图像，因此，与针对多个分辨率的每个分辨率的信号执行频带上的信号转换和运动信息的提取的系统相比，可显著减少处理时间和工作量。

将参照图4A至图4C详细描述小波变换的方法。

小波变换的第一图像数据首先转换为四个子图像。即，关于第一图像数据，产生LL块410、HL块420、LH块430、HH块440，其中，通过将低带通滤波器在水平方向和垂直方向上应用到第一图像数据产生LL块410；通过将高带通滤波器在垂直方向上应用到第一图像数据，将低带通滤波器在水平方向上应用到第一图像数据产生HL块420；通过将高带通滤波器在水平方向上应用到第一图像数据，将低带通滤波器在垂直方向上应用到第一图像数据产生LH块430；通过将高带通滤波器在垂直方向上和水平方向应用到第一图像数据产生HH块440。

HL块420包括垂直方向上的频率误差分量，从而具有清晰的水平边界，LH块430包括水平方向上的频率误差分量，从而具有清晰的垂直边界。此外，HH块440具有清晰的对角边界。此外，将低带通滤波器在水平方向和垂直方向上应用到LL块410，从而在LL块410中产生与第一图像相似的图像。此外，LL块410包括第一图像的基本信息。通过重复地滤波近似图像，即LL块410，可执行第一图像数据到各种频率级的块的频率转换。

用于小波变换的基函数Ψ_j，k(t)如下等式1所示。

[等式1]

Ψ_j，k(t)＝2^j/2Ψ(2^jt-k)

可通过使用基函数，由以下等式2来表示输入图像信号f(t)。在等式1中，t表示时间，j表示缩放参数，k表示与时间轴相应的运动参数。

[等式2]

$f\left(t\right)=\underset{j,k}{\mathrm{\Σ}}{a}_{j,k}{\mathrm{\Ψ}}_{j,k}\left(t\right)$

在等式2中，a_j，k表示小波系数。在使用小波的多分辨率分析中，存在缩放函数Φ(t)和小波函数Ψ(t)。这里，可由以下等式3来表示输入图像信号f(t)。

[等式3]

$f\left(t\right)=\underset{j,k}{\mathrm{\Σ}}{c}_j\left(k\right){\mathrm{\Φ}}_{j,k}\left(t\right)+\underset{j,k}{\mathrm{\Σ}}{d}_j\left(k\right){\mathrm{\Ψ}}_{j,k}\left(t\right)$

$=\underset{j,k}{\mathrm{\Σ}}{c}_j\left(k\right)2^{j/2}\mathrm{\Φ}(2^{j}t-k)+\underset{j,k}{\mathrm{\Σ}}{d}_j\left(k\right)2^{j/2}\mathrm{\Ψ}(2^{j}t-k)$

其中，c_j(k)是应用于像素数据的离散变换的结果，d_j(k)是像素数据值。作为小波变换的结果，根据频带和分辨率划分输入图像。此外，通过根据频带和空间区域划分输入图像，可如图4D所示转换输入图像。

图4D示出根据频带和分辨率通过小波变换划分的图像信号的示例。

图5示出通过小波变换转换到各种频率级的图像。

当如图4所示通过小波变换转换图像或图像数据时，如果重复滤波操作，则如图5所示，可将图像或图像数据的频率转换为各种其他频率。所述其他频率也可通过例如坐标转换、旋转转换、大小转换等由其他频率范围来表示。

在图5的左部中使用斜线示出的区域510是用户选择的第一频率区域，在图5的右部中使用斜线示出的区域520是通过例如坐标转换、旋转转换、大小转换等，从第一频率区域转换的第一图像区域。

详细地讲，(i)从每个块提取用户选择的第一频率区域(S500)。(ii)转换提取的第一频率区域的大小(S501)。(iii)在大小转换之后，旋转第一频率区域(S502)。(iv)比较转换的第一频率区域和原始的第一图像区域(S503)。即，确定最终转换的第一频率区域的频率块和原始的第一图像区域的频率块是否一致。这里，可重复执行频率区域的大小转换、旋转转换和缩放转换，并且还可改变转换的次序。

如果两个频率块一致，则检测大小转换、旋转转换和缩放转换的程度。可通过检测对提取的对象执行的分形仿射变换的分形仿射系数来检测大小转换、旋转转换和缩放转换的程度。

例如，可从分形仿射系数x、y和z中的x和y检测大小转换或缩放转换，并且可从z检测角度，从而检测旋转转换的程度。

如上所述，小波变换的图像的频率信息和分形仿射变换的分形仿射系数可作为运动矢量。

图6示出关于频率块的大小转换、旋转转换和缩放转换。

(i)从图像提取第一频率区域610(S600)。(ii)转换提取的第一频率区域610的大小(S601)。(iii)在大小转换后，转换第一频率区域610的比例(S602)。

(iv)确定转换的第一频率区域的频率块和原始的第一图像区域的频率块是否一致(S603)。如果两个频率块一致，则检测与两个一致的频率块的大小转换、旋转转换和缩放转换相应的分形仿射系数信息。检测的分形仿射系数信息可用于检测中心坐标的误差或旋转角度的误差。

根据示例性实施例，即使当图像中产生对象不仅二维运动，而且三维运动时，也可进行图像分析。此外，可基于分析图像中的对象的结果来执行对象跟踪和徘徊检测。

虽然已经参照本发明的示例性实施例具体显示和描述了本发明构思，但是本领域普通技术人员应该理解，在不脱离权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (20)

1.一种用于对象跟踪和徘徊检测的设备，包括：

图像大小调整器，基于输入图像产生具有不同分辨率的多个图像；

小波变换器，根据频带将具有不同分辨率的多个图像中的一个图像转换为频域的图像，以产生频域图像；

运动估计单元，从频域图像提取包括关于输入图像的基本信息的对象信息，并对对像信息执行分形仿射变换；

运动补偿单元，通过使用通过分形仿射变换获得的系数，补偿关于先前图像的对象信息和输入图像的对象信息之间的差。

2.如权利要求1所述的设备，还包括：路线路径分析单元，通过使用关于输入图像的对象信息和所述系数来设置对象的多条路线路径，并基于所述多条路线路径中的每条路线路径的出现频率来设置输入图像的感兴趣区域ROI作为搜索区域。

3.如权利要求2所述的设备，还包括：对象跟踪和徘徊检测单元，跟踪在输入图像的ROI中出现的另一对象。

4.如权利要求1所述的设备，其中，对象信息包括通过使用小波变换器将低带通滤波器在垂直方向上和水平方向上应用到输入图像产生的数据。

5.如权利要求1所述的设备，其中，输入图像仅以一个分辨率构成。

6.一种视频分析系统，包括：

图像大小调整器，基于输入图像产生具有不同分辨率的多个图像；

小波变换器，根据频带将具有不同分辨率的多个图像中的一个图像转换为频域的图像，以产生频域图像；

运动估计单元，对频域图像执行分形仿射变换；

运动补偿单元，通过使用通过分形仿射变换获得的系数，补偿先前图像和输入图像之间的差，

路线路径分析单元，通过使用输入图像和所述系数来设置对象的多条路线路径，并基于所述多条路线路径中的每条路线路径的出现频率来设置输入图像的感兴趣区域ROI作为搜索区域；

对象跟踪和徘徊检测单元，跟踪在输入图像的ROI中出现的另一对象。

7.如权利要求6所述的视频分析系统，其中，运动估计单元仅对频域图像的信息中关于与输入图像的数据相应的频域图像的块的信息执行分形仿射变换，其中，通过使用小波变换器在垂直方向上和水平方向上应用低带通滤波器来转换输入图像的频率。

8.如权利要求6所述的视频分析系统，还包括：对象数据库，存储关于对象的信息和通过分形仿射变换获得的系数。

9.如权利要求8所述的视频分析系统，其中，如果先前图像和输入图像之间的差超过预先设置的阈值，则对象数据库丢弃关于输入图像的信息。

10.如权利要求6所述的视频分析系统，其中，输入图像仅以一个分辨率构成。

11.一种用于执行对象跟踪和徘徊检测的方法，所述方法包括：

基于输入图像产生具有不同分辨率的多个图像；

根据频带将具有不同分辨率的多个图像中的一个图像小波变换为频域的图像，以产生频域图像；

从频域图像提取包括关于输入图像的基本信息的对象信息；

对对图像信息执行分形仿射变换；

通过使用通过分形仿射变换获得的系数，补偿关于先前图像的对象信息和关于输入图像的对象信息之间的差。

12.如权利要求11所述的方法，还包括：

通过使用关于输入图像的对象信息和所述系数来检测对象的多条路线路径；

基于所述多条路线路径中的每条路线路径的出现频率来设置输入图像的感兴趣区域ROI作为搜索区域。

13.如权利要求12所述的方法，还包括：跟踪在输入图像的ROI中出现的另一对象。

14.如权利要求11所述的方法，其中，对象信息包括通过将低带通滤波器在垂直方向上和水平方向上应用到输入图像产生的数据。

15.如权利要求11所述的方法，其中，输入图像仅以一个分辨率构成。

16.一种执行对象跟踪和徘徊检测的方法，所述方法包括：

基于输入图像产生具有不同分辨率的多个图像；

根据频带将具有不同分辨率的多个图像中的一个图像小波变换为频域的图像，以产生频域图像；

通过对频域图像执行分形仿射变换来估计运动；

通过使用通过分形仿射变换获得的系数，补偿先前图像和输入图像之间的差，来补偿运动；

通过使用输入图像和所述系数设置对象的多条路线路径，并基于所述多条路线路径中的每条路线路径的出现频率设置输入图像的感兴趣区域ROI作为搜索区域，来分析路线路径；

跟踪在输入图像的ROI中出现的另一对象。

17.如权利要求16所述的方法，其中，在估计运动的步骤中，仅对频域图像的信息中关于与输入图像的数据相应的频域图像的块的信息执行分形仿射变换，其中，通过使用小波变换器在垂直方向上和水平方向上应用低带通滤波器来转换输入图像的频率。

18.如权利要求16所述的方法，还包括：存储关于对象的信息和通过分形仿射变换获得的系数。

19.如权利要求18所述的方法，还包括：如果先前图像和输入图像之间的差超过预先设置的阈值，则丢弃关于输入图像的信息。

20.如权利要求16所述的方法，其中，输入图像仅以一个分辨率构成。

Images