CN1980384A - 空间移动物体锁定寻标装置及其方法 - Google Patents

Abstract

本发明提供一种空间移动物体锁定寻标装置及其方法，其通过具有全方向旋转及变焦(Pan－Tilt－Zoom，PTZ)功能的影像撷取装置追踪移动物体，处理器在比对PTZ影像撷取装置所撷取的目前影像与一先前影像后，界定出画面中的移动物体，并依移动物体的位置旋转影像撷取装置，以追踪移动物体，当移动物体进入影像撷取装置的变焦范围内，且移动物体在画面中所占比例过小或过大时，处理器可调整影像撷取装置的焦距，使移动物体在影像中所占比例适当，以提供清晰且分辨率高的影像。

Description

空间移动物体锁定寻标装置及其方法

技术领域

本发明涉及一种空间移动物体锁定寻标装置及其方法，特别涉及一种以具有全方向旋转及变焦(Pan-Tilt-Zoom，PTZ)功能的摄影机追踪移动物体的空间移动物体锁定寻标装置及方法。

背景技术

在银行、大楼、商店及停车场等较高风险地区常可看见许多监视器针对各种角度或位置进行监视录像，在意外发生后往往需要借助该些监视录像带，从画面中寻找可能的蛛丝马迹。然而一般监视器由于不具有追踪功能，只能短暂拍摄到可疑人物经过时的画面，可提供的信息量少，因此具有实时追踪功能的监视系统则因应而生。

实时追踪系统可大致分为使用固定式摄影机或非固定式摄影机两类，如J.Steffens所提出的期刊论文“PersonSpotter-fast and robust system for humandetection，tracking and recognition”即属于使用固定式摄影机的追踪系统，其使用固定的立体电荷耦合组件(stereo CCD)摄影机撷取影像以进行人脸侦测、追踪及辨认；J.Yang在期刊论文“A real-time face tracker”中使用PTZ摄影机进行人脸辨识则为另一类型的例子。PTZ摄影机虽然具有全方向旋转及变焦的功能，但目前仍未发展出可同时具备上述功能的监视系统，多数使用PTZ摄影机的监视系统不是只使用其旋转功能就是只是使用变焦功能；而B.Turdoff所提出的“Reactive zoom control while tracking using an affine camera”则是利用仿射投影(affine projection)的转换以达成变焦的目的，与PTZ摄影机的变焦原理基本上并不相同。

有鉴于此，本发明是针对上述问题，提出一种使用PTZ摄影机的旋转与变焦功能以追踪移动物体的系统及方法。

发明内容

本发明的主要目的是提供一种空间移动物体锁定寻标装置及其方法，使影像撷取装置可自动追踪画面中的移动物体，并调整焦距使移动物体在撷取的影像中具有适当大小。

本发明的另一目的是提供一种空间移动物体锁定寻标装置及其方法，其中影像撷取装置可有效辨认画面中的移动物体是否为人，并对移动中的人物进行追踪，当人脸影像过小或过大时，影像撷取装置更可自动调整焦距，提供清晰且分辨率高的人脸影像。

为了达到上述目的，本发明提供一种空间移动物体锁定寻标方法，包括下列步骤：

比对影像撷取装置所撷取的目前影像与一先前影像，区分出静止点与移动点；

根据该移动点坐标，界定出移动物体；

根据该移动物体的位置旋转该影像撷取装置以追踪该移动物体；以及

在该移动物体进入该影像撷取装置的变焦范围内，且该移动物体在该影像撷取装置所撷取的影像中所占比例过小或过大时，调整该影像撷取装置的焦距使该移动物体在该撷取影像中所占比例适当。

该静止点与该移动点的区分是比对该目前影像与该先前影像而得出一差异影像后，将该差异影像中的每一像素值与一临界值比较，区分出该静止点与该移动点；且该差异影像为一灰阶影像或彩色影像。

还包括一自该目前影像中撷取出该移动物体影像的步骤，具体为：

找出该移动点在该二元影像X轴的最小坐标(Xstart)及最大坐标(Xstop)；

找出该移动点在该二元影像Y轴的最小坐标(Ystop)及最大坐标(Ystart)；以及

定义出以(Xstart，Ystop)、(Xstart，Ystart)、(Xstop，Ystart)及(Xstop，Ystop)为端点的长方形区域，对应至该目前影像。

在界定出该移动物体之后，还包括一判断该移动物体是否为一欲追踪物体的步骤，其为比对该移动物体与一预先建立的欲追踪物体模型，根据比对结果判断该移动物体是否为欲追踪物体，若是则旋转该影像撷取装置对该移动物体进行追踪。

该欲追踪物体模型为人型或人形外表特征。

该移动物体移动方向的判断是计算并统计每一该移动点的移动方向，最多的该移动方向即判断为该移动物体的移动方向。

该移动点的移动方向的判断是于该目前影像中，该移动点周围A×A大小的像素矩阵中，找出与该先前影像中该移动点的坐标周围B×B大小的像素矩阵最符合的B×B矩阵，再比较该最符合的B×B矩阵中心坐标与该移动点坐标，得出该移动点的移动方向。

本发明还提供一种空间移动物体锁定寻标装置，包括：

一可全方向旋转及变焦的影像撷取装置；以及

一追踪模块，包括一处理器，其中该处理器可比对该影像撷取装置所撷取的目前影像与一先前影像，界定出移动物体，并控制该影像撷取装置的旋转以追踪该移动物体，以及调整该影像撷取装置的焦距，使该移动物体在该撷取影像中所占比例适当。

该处理器可比对该移动物体与一预先建立的欲追踪物体模型，根据比对结果判断该移动物体是否为欲追踪物体，若是则旋转该影像撷取装置对该移动物体进行追踪；或是该处理器可判断该移动物体于影像中的位置，并使该影像撷取装置相应旋转，使该欲追踪物体持续位于该影像撷取装置的可视范围内；或者该处理器可比对该目前影像与该先前影像以判断该移动物体的移动方向，并使该影像撷取装置相应旋转以追踪该移动物体。

该欲追踪物体模型为人型或人形特征。

该追踪模块更包括：

至少一内存，连接至该处理器，以储存该目前影像、该先前影像及该欲追踪物体模型；

一解码器，将该影像撷取装置的讯号解码并传送至该处理器中；

一重置电路，于该处理器不正常运作或设定状态可能改变时重新启动该处理器；

一加密电路，对该处理器的讯号进行加密；

至少一调整按钮，可调整该处理器的设定以调整追踪灵敏度。

还包括至少一显示器，接收该影像撷取装置的讯号，以显示该影像撷取装置所撷取的画面。

该追踪模块可内建于该影像撷取装置中、内建于一计算机中或是独立作为一装置。

与现有技术相比，本发明带来的有益效果是：

本发明经过实验证明可有效进行侦测及追踪，使用于监视系统时，更可自动提供清晰且分辨率高的人脸影像以供辨认。

下面通过具体实施例配合附图详加说明，当更容易了解本发明的目的、技术内容、特点及其所达成的功效。

附图说明

图1为本发明装置实施例的结构框图。

图2为本发明实施例的流程图。

图3为本发明对撷取影像进行降频取样的示意图。

图4(a)至图4(d)为本发明通过比对先前影像与目前影像得出一移动点与静止点的二元影像的示意图。

图5为本发明通过判断移动点坐标撷取移动物体影像的示意图。

图6为本发明以椭圆模拟人型的头部与上身部的示意图。

图7为本发明影像撷取装置的撷取画面以区块分割的示意图。

图8(a)至图8(c)为本发明判断移动点的移动方向的过程示意图。

图9为监视范围内出现移动人物时，本发明的PTZ摄影机自动追踪并撷取移动人物脸部的影像的示意图。

图10为以椅子作为移动物体时，本发明的PTZ摄影机的拍摄影像示意图。

主要图号说明

10PTZ摄影机

12解码器

14处理器

16内存

18RS-485接口

20驱动马达

22放大器

24显示器

26重置电路

28调整按钮

30加密电路

32追踪模块

具体实施方式

本发明主要可分为侦测及追踪两部分，PTZ影像撷取装置所撷取的画面传送至追踪模块后，由追踪模块中的处理器侦测画面中是否出现移动物体，并控制影像撷取装置进行相应的旋转以追踪移动物体，且当移动物体位于影像撷取装置的变焦范围内时，处理器更可根据需求，例如移动物体的拍摄影像过小需要放大，或是影像过大需要缩小，调整影像撷取装置的焦距，以获得移动物体的清晰影像。

因此本发明的空间移动物体锁定寻标装置包括一可全方向旋转及变焦的影像撷取装置以及一追踪模块，图1为系统实施例的结构框图，其中影像撷取装置是使用一PTZ摄影机10，而摄影机10所撷取的影像是通过一放大器22传输至一显示器24，显示于显示器24的屏幕上。请同时参考图2的实施例流程图，在步骤S10中，追踪模块32中的解码器12将摄影机10所撷取影像的复合影像广播讯号(CVBS)解码并传送至处理器14，由处理器14对撷取影像进行降频取样(down sampling)以降低数据量，如图3所示，分辨率360×261的影像经过取样后分辨率降为120×87；接着步骤S12中，处理器14比较取样后的目前影像与同样经过取样且储存于内存16中的一先前影像，得出一灰阶(gray level)的差异影像，图4(a)至图4(c)是显示经过步骤S12的处理后，得到目前影像与先前影像的差异影像的结果，其中图4(a)为目前影像，图4(b)为先前影像，图4(c)为差异影像；再将差异影像输入一滤波器，如步骤S14所示，将差异影像中每一像素(pixel)值与一临界值比较，高于该临界值的像素即视为移动点，其余则为静止点，因此滤波器的输出为一二元(binary)影像，以“0”代表静止点，“1”代表移动点，如图4(d)所示。

步骤S16根据在步骤S14中判断出的移动点坐标，界定出移动物体，更可如图5所示，于目前影像中撷取出移动物体的影像，其中处理器14是找出移动点在影像X轴的最小坐标(Xstart)、最大坐标(Xstop)、在Y轴的最小坐标(Ystop)及最大坐标(Ystart)，定义出以(Xstart，Ystop)、(Xstart，Ystart)、(Xstop，Ystart)及(Xstop，Ystop)为端点的长方形区域，对应至目前影像，该长方形区域即为移动物体的位置。

本发明可用于追踪任何出现于画面中的移动物体，或是只追踪特定的移动物体，当追踪模块32中已预设有欲追踪物体的模型时，处理器14会进一步比对该移动物体与预设于内存16中的欲追踪物体模型，如步骤S18所示，以判断该移动物体是否为欲追踪物体，例如，人型或人形外表特征；以追踪人型为例，由于人的下半身主要由腿部构成，而腿部影像常因走动等动作而变动，不易以固定形状辨识，因此本发明是采用头部及上身部作为比对辨识的根据，并以椭圆模拟，如图6所示，且由于人体结构中，头部、上身部及下身部的比例约为1∶3∶4，故处理器14是根据比例撷取移动物体对应于头部及上身部的范围，与模拟头部及上身部的椭圆比对，计算与椭圆的差值，计算公式如公式(1)所示：

$\mathrm{SAD}(x,y)=\underset{j=0}{\overset{B-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{B-1}{\mathrm{\Σ}}}$ $(x+i,y+j)-T(i,j)|---\left(1\right)$

其中I(x，y)为移动物体影像，T(i，j)为欲追踪物体模型，于本实施例中为图6所示的影像，模型影像的大小为B×B；若差值(即SAD(x，y)值)小于一临界值则判断该移动物体为人，其中仿真头部的椭圆可由公式(2)表示，模拟上身部的椭圆可以公式(3)表示：

$\frac{{(x-\frac{w}{2}+(o-\mathrm{oo}))}^2}{{\left(\frac{d}{2}\right)}^2}+\frac{{(y-\frac{3d}{4})}^2}{1.44{\left(\frac{d}{2}\right)}^2}\≤4{\left(\frac{d}{2}\right)}^3+1.44{\left(\frac{d}{2}\right)}^4---\left(2\right)$

$\frac{{(x-\frac{w}{2})}^2}{{\left(\frac{\mathrm{dd}}{2}\right)}^2}+\frac{{(y-\frac{4\mathrm{dd}}{5}+d)}^2}{2.56{\left(\frac{\mathrm{dd}}{2}\right)}^2}\≤4{\left(\frac{\mathrm{dd}}{2}\right)}^3+2.56{\left(\frac{\mathrm{dd}}{2}\right)}^4---\left(3\right)$

其中w为上身部的宽，(o-oo)为头部的宽，d为头部的直径，dd为上身部的直径。

若移动物体经处理器14判断为欲追踪物体，则进入下一步骤S20，控制PTZ摄影机10的旋转以对移动物体进行追踪，其中处理器14是通过其内部的通用异步收发端口(UART)及RS-485接口18连结至一驱动马达20，以驱动马达20控制摄影机10的旋转。在实施例中，摄影机10的撷取画面是区分为16区块，如图7所示，区块大小则可由使用者自订，当欲追踪物体出现于某些区块，例如区块“0”、区块“1”、区块“2”、区块“3”时，处理器14发送控制讯号至驱动马达20，以适当的速度将摄影机10往左转，使欲追踪物体保持于摄影机10的可视范围内；另外处理器14亦可通过比对目前影像与先前影像，判断出移动物体的移动方向，以控制摄影机10进行相应的旋转，其是对二元影像进行扫描，当扫描到等于1的画素时，代表该画素为一移动点，如图8(a)所示，此时处理器14以该移动点为中心，如图8(b)所示，选择先前影像中该移动点周围3×3的像素矩阵作为比对基准，与图8(c)的目前影像中该移动点周围7×7大小的像素矩阵比对，在该7×7矩阵中以相同于公式(1)的方式找出与图8(b)之3×3矩阵最符合的3×3矩阵，接着再比较该最符合的3×3矩阵中心坐标与该移动点坐标，即可得出该移动点的移动方向，移动方向可能是上、下、左、右、左上、右上、左下及右下等八个方向；在计算并统计二元影像中每一移动点的移动方向后，最多的移动方向即判断为移动物体的移动方向，而处理器14即根据此判断的移动方向控制摄影机10旋转，以追踪移动物体，例如当多数移动点为向左移动时，摄影机10的相应旋转方向即为向左旋转，以维持移动物体于监视范围内。

在移动物体进入摄影机10的变焦(zoom)范围内，且移动物体于影像中所占比例小于或大于使用者设定的范围时，处理器14可控制摄影机10，自动调整焦距使移动物体在撷取影像中所占比例适当，如步骤S22所示。表1为以四阶段调整摄影机10焦距的实施例，处理器首先根据第一阶段的默认值调整摄影机10的焦距，并于调整完毕后再次确认移动物体于影像中所占的比例是否符合设定范围，若是则停止调整，若否则进入下一阶段，以第二阶段默认值再次调整摄影机10的焦距，以此类推，直到移动物体所占比例适当为止。因此当本发明使用于一监视系统时，可有效辨认影像中的移动物体是否为人，并可对移动中的人物进行追踪，且当人脸影像过小或过大时，更可自动调整焦距，提供清晰且分辨率高的人脸影像。

表1

	拉近(zoom-in)时的焦距(mm)	拉远(zoom-out)时的焦距(mm)
			第一阶段	4.65	3.1
第二阶段	6.2	4.65
			第三阶段	9.3	6.2
第四阶段	12.4	9.3

此外，如图1所示，追踪模块32具有一重置(reset)电路26，在处理器14不正常运作或因老化等因素使设定状态可能改变时，重置电路26可重新启动处理器14使系统得以恢复正常运作，并附有调整按钮28，使用者可通过调整按钮28调整临界值的设定，以调整追踪的灵敏度，而为了防止系统软件被破解或讯号遭盗改，一加密(encryption)电路30连接至处理器14，对处理器14的讯号进行加密。其中追踪模块32可直接整合于摄影机10中，或内建于一计算机，亦可独立作为一装置，外接于摄影机10上。

图9至图10是显示本发明的追踪效果的示意图，从图9可以看出，PTZ摄影机10跟随着出现于画面中的移动人物旋转其拍摄角度，并自动调整焦距将脸部影像放大，如图中放大部分所示；而图10中，移动物体为一张椅子，经处理器14比对后发现不符合公式(2)及式(3)的椭圆，因此摄影机10并不会跟随移动中的椅子旋转或变焦。因此本发明经过实验证明可有效进行侦测及追踪，使用于监视系统时，更可自动提供清晰且分辨率高的人脸影像以供辨认。

以上所述是通过实施例说明本发明的特点，其目的在于使熟习该技术者能了解本发明的内容并据以实施，而非限定本发明的专利范围，因此凡其它未脱离本发明所揭示的精神所完成的等效修饰或修改，仍应包含在本发明的权利要求范围中。

Claims (13)

1、一种空间移动物体锁定寻标方法，其特征在于，包括下列步骤：

比对影像撷取装置所撷取的目前影像与一先前影像，区分出静止点与移动点；

根据该移动点坐标，界定出移动物体；

根据该移动物体的位置旋转该影像撷取装置以追踪该移动物体；以及

在该移动物体进入该影像撷取装置的变焦范围内，且该移动物体在该影像撷取装置所撷取的影像中所占比例过小或过大时，调整该影像撷取装置的焦距使该移动物体在该撷取影像中所占比例适当。

2、根据权利要求1所述空间移动物体锁定寻标方法，其特征在于，该静止点与该移动点的区分是比对该目前影像与该先前影像而得出一差异影像后，将该差异影像中的每一像素值与一临界值比较，区分出该静止点与该移动点；且该差异影像为一灰阶影像或彩色影像。

3、根据权利要求1所述空间移动物体锁定寻标方法，其特征在于，还包括一自该目前影像中撷取出该移动物体影像的步骤，具体为：

找出该移动点在该二元影像X轴的最小坐标(Xstart)及最大坐标(Xstop)；

找出该移动点在该二元影像Y轴的最小坐标(Ystop)及最大坐标(Ystart)；以及

定义出以(Xstart，Ystop)、(Xstart，Ystart)、(Xstop，Ystart)及(Xstop，Ystop)为端点的长方形区域，对应至该目前影像。

4、根据权利要求1所述空间移动物体锁定寻标方法，其特征在于，在界定出该移动物体之后，还包括一判断该移动物体是否为一欲追踪物体的步骤，其为比对该移动物体与一预先建立的欲追踪物体模型，根据比对结果判断该移动物体是否为欲追踪物体，若是则旋转该影像撷取装置对该移动物体进行追踪。

5、根据权利要求4所述空间移动物体锁定寻标方法，其特征在于，该欲追踪物体模型为人型或人形外表特征。

6、根据权利要求1所述空间移动物体锁定寻标方法，其特征在于，该移动物体移动方向的判断是计算并统计每一该移动点的移动方向，最多的该移动方向即判断为该移动物体的移动方向。

7、根据权利要求1所述空间移动物体锁定寻标方法，其特征在于，该移动点的移动方向的判断是于该目前影像中，该移动点周围A×A大小的像素矩阵中，找出与该先前影像中该移动点的坐标周围B×B大小的像素矩阵最符合的B×B矩阵，再比较该最符合的B×B矩阵中心坐标与该移动点坐标，得出该移动点的移动方向。

8、一种空间移动物体锁定寻标装置，其特征在于，包括：

一可全方向旋转及变焦的影像撷取装置；以及

一追踪模块，包括一处理器，其中该处理器可比对该影像撷取装置所撷取的目前影像与一先前影像，界定出移动物体，并控制该影像撷取装置的旋转以追踪该移动物体，以及调整该影像撷取装置的焦距，使该移动物体在该撷取影像中所占比例适当。

9、根据权利要求8所述空间移动物体锁定寻标装置，其特征在于，该处理器可比对该移动物体与一预先建立的欲追踪物体模型，根据比对结果判断该移动物体是否为欲追踪物体，若是则旋转该影像撷取装置对该移动物体进行追踪；或是该处理器可判断该移动物体于影像中的位置，并使该影像撷取装置相应旋转，使该欲追踪物体持续位于该影像撷取装置的可视范围内；或者该处理器可比对该目前影像与该先前影像以判断该移动物体的移动方向，并使该影像撷取装置相应旋转以追踪该移动物体。

10、根据权利要求9所述空间移动物体锁定寻标装置，其特征在于，该欲追踪物体模型为人型或人形特征。

11、根据权利要求8所述空间移动物体锁定寻标装置，其特征在于，该追踪模块更包括：

至少一内存，连接至该处理器，以储存该目前影像、该先前影像及该欲追踪物体模型；

一解码器，将该影像撷取装置的讯号解码并传送至该处理器中；

一重置电路，于该处理器不正常运作或设定状态可能改变时重新启动该处理器；

一加密电路，对该处理器的讯号进行加密；

至少一调整按钮，可调整该处理器的设定以调整追踪灵敏度。

12、根据权利要求8所述空间移动物体锁定寻标装置，其特征在于，还包括至少一显示器，接收该影像撷取装置的讯号，以显示该影像撷取装置所撷取的画面。

13、根据权利要求8所述空间移动物体锁定寻标装置，其特征在于，该追踪模块可内建于该影像撷取装置中、内建于一计算机中或是独立作为一装置。

Images