CN1691777A - 摄像机的图像稳定系统和方法 - Google Patents

Abstract

一种包括摄像机的视频图像稳定系统，该摄像机具有被配置用于捕获视频图像的图像捕获设备。该摄像机具有可选择调整的视野，并且，至少一个处理设备可操作地连接到该系统，其中，该处理设备接收表示该摄像机视野的信号和该摄像机捕获的图像。该处理设备顺序地抓取第一幅和第二幅图像。该处理设备将视频图像的稳定调整确定为在捕获第一幅图像和第二幅图像之间的间隔期内、根据表示视野的信号、该摄像机视野的预期改变以及对第一幅和第二幅图像分析的函数。选择该摄像机捕获的每幅图像的一部分进行显示。选中的显示部分小于捕获的整个图像，该处理设备确定的稳定调整包括调整选中的显示部分在捕获的图像内的相对位置。

Description

摄像机的图像稳定系统和方法

发明领域

本发明涉及一种摄像机稳定系统，尤其涉及一种抵消不需要的和不规则的图像运动的摄像机稳定系统。

技术背景

有多种已知的视频监视系统可用来跟踪诸如人或车辆这样的移动对象。一些这样的系统使用具有固定视野(FOV)的固定摄像机。但是，为了用固定摄像机系统充分覆盖给定的监视场所，经常必须使用相当多数量的固定摄像机。

也可以使用可平摇(pan)、俯仰(tilt)和/或变焦(zoom)的可移动摄像机来跟踪对象。使用PTZ(平摇、俯仰、变焦)摄像机系统一般会减少给定监视地点所需的摄像机的数量，并因此降低视频供给装置(video feed)和系统集成硬件的数目和成本，如相关的画面分割器(multiplexer)和视频切换器(switcher)。用于表示平摇、俯仰、变焦运动的控制信号一般经由操纵杆来自人工操作员或来自自动视频跟踪系统。

问题在于，除了PTZ控制信号所导致的有意地移动摄像机之外，外部力量也能无意地移动摄像机，例如空气流动或支持臂抖动。无意的摄像机运动通常会导致视频图像“跳动”，因此观察起来不舒服。

本领域中所需要的是一种能够稳定图像以补偿摄像机无意运动的视频系统。

发明内容

本发明提供了一种具有摄像机的视频图像稳定系统，该摄像机捕获的图像比显示在屏幕上的相关图像要大。该系统能够根据摄像机视野的预期改变和对两幅捕获图像的分析，通过调整显示的选中图像部分的相对位置，补偿无意的摄像机运动，即从显示的图像中去除跳动。

在一种形式中，本发明包括一种视频图像稳定系统，该系统包括一个摄像机，该摄像机包括一个被配置用于捕获视频图像的图像捕获设备，其中，该摄像机具有可选择调整的视野。至少一个处理设备可操作地连接到该系统，其中，该处理设备接收表示该摄像机视野的信号和该摄像机捕获的图像。该处理设备顺序地抓取这些图像中的第一幅图像和第二幅图像，并将视频图像的稳定调整确定为1)根据表示视野的信号，在捕获第一幅图像和第二幅图像的间隔期内，摄像机视野的预期改变，以及2)对第一幅和第二幅图像的分析的函数。

可以选择该摄像机捕获的每幅图像的显示部分进行显示，其中，每幅图像的选中显示部分小于捕获的整个图像，并且，该处理设备确定的稳定调整包括调整选中显示部分在捕获图像内的相对位置。

在另一种形式中，本发明包括一种视频图像稳定系统，该系统包括一个摄像机，该摄像机具有一个被配置用于捕获图像的图像捕获设备。捕获的每幅图像与一个视野有关，并且，该摄像机具有至少一个可选择调整的参数，其中，调整所述至少一个摄像机参数改变该摄像机的视野。该系统还包括一个被配置用于显示该摄像机捕获的图像的选中部分的显示装置和一个可操作地连接到该摄像机和显示设备的处理设备。该处理设备接收表示所述至少一个摄像机参数的信号和该摄像机捕获的图像。该处理设备根据表示所述至少一个摄像机参数的信号和对当前捕获图像和以前捕获图像的分析，通过调整该显示装置显示的图像的选中部分，补偿该摄像机的无意运动。

在另一种形式中，本发明包括一种稳定视频图像的方法。该方法包括：用摄像机捕获多幅图像，该摄像机安装在固定支撑架上并具有可调整的视野；调整该摄像机的视野。该方法还包括：抓取该摄像机捕获的第一幅图像及其后面的第二幅图像；显示第一幅和第二幅图像的选中显示部分，每幅图像的选中显示部分小于捕获的整个图像；确定第二幅图像的稳定调整。将稳定调整确定为在捕获第一幅图像和捕获第二幅图像之间的间隔期间该摄像机视野的预期改变以及对第一幅和第二幅图像的分析的函数，其中，稳定调整包括调整选中显示部分在第二幅图像内的相对位置。

对第一幅和第二幅图像的分析包括变换第一幅和第二幅图像中的一幅，其中调整该幅图像的缩放比例。在一个实施例中，对第一幅和第二幅图像的分析包括：基于从与摄像机通信的系统接收的、表示视野的信号，将第一幅和第二幅图像中的一副与第一幅和第二幅图像中的另一幅对准，并判断对准后的图像是否表明无意摄像机运动的发生。使用对准后图像的图像差别，判断对准后的图像是否表示无意摄像机运动的发生。产生对准后图像的图像差别的直方图，并通过识别直方图中的最高峰和最高峰的位置，完成无意摄像机运动是否已发生的判断。当最高峰不是基本集中于0时，判定无意运动已发生，当检测到这种无意运动时，确定稳定调整包括识别使图像差别最小化的调整。

在另一种形式中，本发明包括一种稳定视频图像的方法，该方法包括：通过使用控制信号，有意地改变摄像机的视野；用该摄像机捕获多幅图像，每幅图像与一个视野有关；显示多幅图像中每一幅的选中部分；对于多幅图像中至少一幅，调整显示的选中部分。调整步骤补偿摄像机的无意运动，并且基于摄像机的预期视野和对多幅图像中的至少一幅图像和这些图像中的第二幅图像的分析。

本发明的优点在于它提供稳定的视频图像，从而限制或去除摄像机无意运动引起的烦人和不愉快的影响。

本发明的另一优点在于，它可以稳定摄像机在运动时所获取的图像。因此，即使摄像机积极且有意地改变视野时，本发明也可以补偿例如由支持臂振动或风对摄像机外壳的影响所引起的平摇、俯仰、变焦摄像机的无意运动。

附图简述

通过参考下面结合附图对本发明实施例的描述，本发明的上述和其他特征及目的将变得更加显而易见，并且发明本身也将更容易被理解，其中：

图1是根据本发明的视频监视系统的示意图；

图2是描述图1中摄像机的视野变化以及该摄像机捕获得到的图像的示意图；

图3是图2中所捕获图像的一部分的示意图；

图4是图1的处理设备的框图；

图5是表示图1的视频监视系统操作的一个实施例的流程图；

图6是对两幅图像进行分析时使用的直方图。

在所有附图中，相应的参考符号代表相应的部分。虽然这里举出的例子以一种形式解释了本发明的实施例，但下面公开的实施例并不是穷举的，或者，不应视为将本发明的保护范围限制到所公开的精确形式。

具体实施方式

根据本发明，图1中示出了视频监视系统20。系统20包括位于部分球状外壳24内并装配在支撑架25上的摄像机22。固定的支撑架25可采用多种形状，例如从建筑物的外边缘伸出的向外延伸支持臂，它会使所支持的摄像机受到风、摄像机马达、附近机器或各种其他来源产生的振动所导致的无意运动。外壳24被染色，以使摄像机获取外壳24外面环境的图像并同时防止该环境中正被摄像机22观察的个体确定摄像机22的方位。摄像机22包括一个控制器和多个马达，它们规定摄像机22平摇、俯仰和焦距调整。箭头26表示摄像机22的平摇运动，箭头28表示摄像机22的俯仰运动，箭头30表示摄像机22的镜头23的焦距改变，即变焦。如坐标系统21所示，平摇运动可以跟踪沿着x轴的运动，俯仰运动可以跟踪沿着y轴的运动，焦距调整可用于跟踪沿着z轴的运动。在示出的实施例中，摄像机22和外壳24是Phillips AutoDomeCamera Systems品牌的摄像机系统，例如Bosch Security Systems公司提供的G3 Basic AutoDome摄像机和外壳，这家公司的前身为Phillips Communication，Security & Imaging公司，它在宾夕法尼亚州的兰开斯特有营业场所。Sergeant等在题为“Surveillance CameraSystem”的美国专利No.5627616中描述了一种适用于本发明的摄像机，其并入此处，作为参考。

系统20还包括一头端单元32。头端单元32可以包括视频切换器或视频复用器33。例如，头端单元可以包括位于宾夕法尼亚州兰开斯特、前身为Phillips Communication，Securi & Imaging公司的Bosch Security Systems公司提供的Allegiant品牌的视频切换器，如LTC8500系列Allegiant视频切换器，其提供高达64台摄像机输入，并且也可提供8个独立的键盘和8台监视器。头端单元32包括键盘34和操纵杆36，以便操作员输入。头端单元32还包括由操作员浏览的显示设备，其形式为监视器38。24伏a/c电源40向摄像机22和处理设备50供电，处理设备50可操作地连接到摄像机22和头端单元32。

虽然示出的系统20是单一的摄像机应用，但是，本发明也可用于具有附加摄像机的较大监视系统中，其中的附加摄像机可以是固定的或移动的摄像机或它们的组合，以提供更大或更复杂监视区域的覆盖范围。也可以将一个或多个VCR或其他形式的模拟或数字记录设备连接到头端单元32，以将摄像机22和系统中其他摄像机捕获的视频图像进行记录。

下面结合图2和图3，讨论根据本发明的图像稳定系统的操作所基于的一般概念。摄像机22包括诸如电荷耦合器件(CCD)这样的图像捕获设备，其获取由CCD图像边界82所定义的四边CCD视频图像80。处理设备50识别或选择欲在监视器38屏幕上显示的CCD图像80的中心部分，以供系统20的操作员浏览。更具体地说，处理设备50识别显示图像边界86定义的显示图像84，以在监视器38的屏幕上浏览。在一个实施例中，CCD视频图像的选中部分，即显示图像84，包括大约60％到90％的CCD视频图像。在一个优选实施例中，CCD图像80比由显示图像边界86定义的显示图像84大出约30％。换言之，在一个优选实施例中，大约23％的CCD图像80不会显示在监视器38的屏幕上。但是，为便于说明，图2所示的CCD图像80比显示图像84大出约100％到200％。通过使用一个比该CCD图像更小的显示图像，处理设备50可以将用于定义显示图像的边界的位置相对于顺序获取的图像的整个CCD图像进行调整，以抵消支持臂振动和摄像机的其他无意运动的影响，下面还将对此进行更详细的描述。

一段时期之后，摄像机22的视野(FOV)发生改变，从而获取第二个四边CCD图像88。第二个CCD图像边界90定义CCD图像88的界限。图2示意性地描述了由摄像机22捕获的、具有不同视野的两幅图像80和88以及这两幅图像重叠的程度。

摄像机22的FOV改变可能是因为摄像机22的有意和无意(即不注意的)移动所导致的。所发生的摄像机22的有意运动可能是因为从头端单元32发送到摄像机22的平摇、俯仰和变焦控制信号。也就是说，通过使用控制信号，可以改变摄像机22的视野。摄像机22的任何无意或非有意的运动可能是因为外力所导致的，如空气流动或支持臂振动。

处理设备50识别来自CCD图像88、由中间未调整显示图像边界94定义的中间未调整显示图像92，但是并不将其显示在监视器38的屏幕上。未调整显示图像92包括CCD图像88的一部分，该CCD图像88的一部分与显示图像84中包含的CCD图像80的一部分相对应。也就是说，显示图像92和CCD图像边界90的相对位置与显示图像84与CCD图像边界82的相对位置相同，并且，对于显示图像84和92，该显示图像边界和对应的CCD图像边界之间的距离大约相等。例如，显示图像84和92位于各自的CCD图像80、88的中间。

图2和3示意性地示出了摄像机22获取的两幅图像以及摄像机有意运动、摄像机实际运动和摄像机无意运动对这两幅图像的影响及其之间的关系。在这些图像中，识别一个公共静止特征96，以阐明在获取这两幅图像之间发生的FOV的相对移动。在图2中，用实线和虚线表示相同的静止特征96，以表明特征96出现在CCD图像80和CCD图像88中。图2示意性地示出了在获取两幅CCD图像80、88之间的时段内实际发生的、特征96相对于CCD图像边界82、90的实际水平移动ΔP(一般对应于摄像机22的平摇运动)和垂直移动ΔT(一般对应摄像机22的俯仰运动)。

图2描述了相对于静止特征96的CCD图像80和88的位置。如图2所示，图像80和88在很大程度上重叠，但是，摄像机22的FOV在获取CCD图像80到最近捕获的CCD图像88之间已发生改变。图3很好地示出了摄像机22的FOV的改变，其中，由于将相继出现在监视器38的屏幕上，显示图像84、92互相叠加，而不必为图像稳定目的而调整显示图像的边界86、94。

特征96相对于显示图像边界86、94在位置ΔT中的垂直(即在俯仰方向的)变化以及在位置ΔP中的水平(即平移方向的)变化表示在摄像机22捕获CCD图像80和88之间发生的摄像机22的垂直(俯仰)运动和水平(平摇)运动，并等同于特征96相对于CCD图像边界82和90的位置改变。

换言之，ΔT等于特征96分别和显示图像边界86、94的对应水平边缘之间的垂直距离v0和v1之间的差距，即ΔT＝|v0-v1|。类似地，ΔP等于特征96分别和显示图像边界86、94的对应垂直边缘之间的水平距离h0和h1之间的差距，即ΔP＝|h0-h1|。或者也可以说，ΔT等于特征96分别和CCD图像边界82、90的对应水平边缘之间的垂直距离v2和v3之间的差距，即ΔT＝|v2-v3|。类似地，ΔP等于特征96分别和CCD图像边界82、90的对应垂直边缘之间的水平距离h2和h3之间的差距，即ΔP＝|h2-h3|。

处理设备50根据对两幅CCD图像80、88的内容分析，确定ΔT和ΔP的值。将具有重叠内容的两幅图像配准(register)或对准(align)的匹配技术在本领域中是公知的，并用于多种计算机视觉和视频处理应用。两种公知的方法是归一化的基于相关性的(normalized correlation-based)模板匹配(template matching)和特征匹配(feature matching)。例如，可以使用特征匹配方法完成在两幅图像中的每一幅图像中对诸如特征96这样的静态对象的识别。识别视频图像中的特征的一种公知方法是角检测(cornerdetection)法，该方法分析图像，以识别图像中的位置或角，在位置或角处，附近像素的亮度等级有相对明显的变化。然后，比较和匹配这两幅不同图像中的这些角。

虽然可以在本发明中使用这样的特征匹配方法，但示出的实施例使用的是模板匹配方法。在本领域中有多种公知的模板匹配方法。两种著名的模板匹配方法是方差求和(sum of square differences)法与归一化互相关(normalized cross-correlation)法。方差求和法一般根据下面的数学关系：

$E=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\left|\right|I(x_i^{\′},y_j^{\′})-M(x_i-y_j)\left|\right|}^2---\left(1\right)$

其中，E是总误差，I是图像，M是模型模板，(x，y)是模型图像坐标，(x′，y′)是变换后的图像坐标。为了配准这两幅图像，将总误差E最小化。在图2的示例中，第一显示图像84对应模型模板M，x和x′之间的差对应ΔP，y和y ′之间的差对应ΔT。运动模型定义变换后图像坐标和模型图像坐标之间的关系。可以使用不同的运动模型，以下所示的仿射变换(affinetransformation)对旋转、剪切和平移模型化：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_0& a_1& a_2\\ a_3& a_4& a_5\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]---\left(2\right)$

该运动模型需要当前图像(第二CCD图像88)和模型图像(第一显示图像84)之间的至少三对点。

虽然本发明可以使用方差求和法，但示出的实施例使用了归一化互相关法。使用互相关的模板匹配基于欧式距离平方：

$d_{f,l}^2(u,v)=\underset{x,y}{\mathrm{\Σ}}{[f(x,y)-t(x-u,y-v)]}^2---\left(3\right)$

其中f是图像，如第二CCD图像88，求和针对如第一显示图像84这样的包括位于(u，v)的特征t的窗口下的x、y。d²的展开式提供：

$d_{f,l}^2(u,v)=\underset{x,y}{\mathrm{\Σ}}[f^2(x,y)-2f(x,y)t(x-u,y-v)+t^2(x-u,y-v)]---\left(4\right)$

项∑t²(x-u，y-v)是常量。如果项∑f²(x，y)是近似常量，那么，通过剩余的互相关项，提供该图像和特征之间的相似度：

$c(u,v)=\underset{x,y}{\mathrm{\Σ}}f(x,y)t(x-u,y-v)---\left(5\right)$

但是，将该项用于模板匹配有许多缺点，所以，经常使用一个相关系数。通过将该图像和特征矢量标准化为单元长度，可以获得该相关系数，如下：

其中，t是该特征的均值，而 f_u，v是该特征下该区域中的f(x，y)的均值。对于本领域普通技术人员而言，该关系一般被称为归一化互相关。通过将第一显示图像84和第二CCD图像88之间的归一化相关性最大化，处理设备50可以确定ΔP和ΔT的值。

除了确定如ΔT和ΔP所示的视野的实际改变外，如果存在预期变化的话，处理设备50还确定在摄像机22的视野FOV的预期变化。在图2中，垂直(俯仰)和水平(平摇)方向上FOV的预期变化分别对应于ΔT₁和ΔP₁。例如，当有意地平摇或俯仰摄像机时，摄像机的FOV会发生改变。在图2中，摄像机FOV的这种预期改变对应于ΔT₁和ΔP₁，其中，ΔT₁是摄像机22的有意俯仰所对应的垂直图像距离，而ΔP₁是摄像机22的有意平摇所对应的水平图像距离。

在示出的实施例中，摄像机22将摄像机22获取的每幅图像以及摄像机22的平摇、俯仰和变焦位置相关的、基于帧同步的信息传送到处理设备50。如果存在预期变化的话，处理设备50使用两幅图像80、88中每一幅图像相关联的平摇、俯仰和变焦设置，确定摄像机22的平摇、俯仰和变焦位置的预期变化，从而确定ΔT₁和ΔP₁的幅度和方向。

也可以通过其他方法确定FOV的预期变化。例如，处理设备50可以对发送到摄像机22的平摇、俯仰和变焦控制信号进行分析，以确定FOV中的预期变化。这种控制信号可以来自头端单元32，例如由于人工操作操纵杆36，并被直接地或通过摄像机22发送到处理设备50。或者，摄像机控制信号也可以来自处理设备50，例如，自动入侵者跟踪程序产生的摄像机控制信号。或者，摄像机控制信号也可以来自其他来源，并被发送到处理设备50，或者，处理设备50可以通过分析从系统20收集的其他数据，来确定显示图像的预期变化。

如果ΔT和ΔP表示的摄像机FOV的实际改变以及ΔT₁和ΔP₁表示的摄像机FOV的预期变化是已知的，那么，就可以确定在垂直(俯仰)和水平(平摇)方向中的一个方向或两个方向是否有摄像机的无意运动。ΔT_E和ΔP_E值表示两幅连续图像的FOV的实际变化(ΔT和ΔP)和FOV的预期变化(ΔT₁和ΔP₁)的差值，即，由于摄像机22的非有意运动而引起的FOV的改变。处理设备50根据ΔT_E和ΔP_E的值，通过调整该显示图像在CCD图像中的相对位置，补偿摄像机22的这种无意运动。在图2中，由调整后的显示边界100定义的调整后显示图像98将会显示在监视器38的屏幕上。

当将这些图像传送到头端单元32以便将其显示在监视器屏幕38上时，处理设备50可以修剪这些图像，并只转发选中的显示图像部分，如显示图像84、98，或者，它可以转发如CCD图像80、88这样的整个CCD图像以及如显示边界86、100这样的显示图像边界的坐标。

只要调整后的整个显示图像98存在于CCD图像88上，那么，调整后的显示图像98就可以显示在监视器38的屏幕上。所有四侧上的边沿将该视频图像的选中部分的外边缘(即显示图像边界)和CCD视频图像的外边缘分离开来。因此，对该显示图像的调整只限于对应边沿的宽度。也就是说，该显示图像和CCD图像尺寸差值对应的门限值限制了该显示图像在CCD图像中的再定位范围。可以根据监视摄像机将会遇到的震动或其它无意运动的预期幅度，选择边沿的尺寸。

本发明提供的一个重要特征在于，它不仅在摄像机静止时稳定显示图像，并且在调整摄像机FOV时也提供显示图像的稳定。如上所述，除了可调整摄像机22的平摇和俯仰角度，摄像机22还具有可调整的变焦设置。除了摄像机的平摇或俯仰运动，前面关于确定ΔT和ΔP、ΔT₁和ΔP₁以及ΔT_E和ΔP_E的讨论没有具体针对FOV的改变包括摄像机22变焦设置的改变(即摄像机22镜头焦距的改变)的情况。摄像机22或支撑摄像机22的结构的振动不可能导致摄像机22变焦设置的无意改变。所以，从摄像机22到处理设备50传送的变焦设置被认定为正确的。

但是，在获取图像80、88之间变焦设置的有意和精确的改变会通过改变图像80、88内容的相对大小而影响图像稳定处理。本发明的其他实施例会以其他形式针对摄像机22变焦设置的改变。最简单的方法是：只有当处理设备50分析的两幅连续图像具有相同的变焦设置时，才执行图像稳定处理。当积极地改变摄像机22的焦距时，该方法将暂停图像稳定处理的操作。对于某些应用，摄像机的焦距受到相对很少的改变或摄像机不包括可调整焦距，该方法不会显著降低图像稳定系统的价值。此外，当积极地改变焦距时，图像正在进行通常很短暂的显著变换，并且，其中小的无意图像移动不像摄像机静止时或只受到摄像机平摇和/或俯仰运动时那样烦人。

当正改变摄像机22的焦距时，也可以继续执行图像稳定处理。如果采用该方法，正被比较的两幅图像(即第一CCD图像80和第二CCD图像80)中至少一幅必须被变换，从而以通用缩放比例描绘每幅图像中描绘的对象并可以将其对准。为了完成该处理，可使用几何变换来修改该图像中每个像素的位置。想起此的另一种方式是：当根据摄像机运动，所有像素从一个位置移动到一个新位置时。Trajkovic在题为“Motion-Based TrackingWith Pan-Tilt-Zoom Camera”的美国专利申请公开No.2002/0167537 A1中讨论了一种这样的方法，用于变换第一图像以将其与第二图像对准，其中，在获取两幅图像之间调整摄像机，该申请并入此处，作为参考。

对以不同焦距获取的连续图像进行对准需要将一幅图像进行移动以及缩放和旋转，以将其与前一幅图像对准。在这三种操作中，移动是最简单的。在执行下一步处理之前，将图像简化、扩展、或修改到标准尺寸需要扭曲(warping)，在扭曲处理中，每个像素进行用户指定的变换。这些几何操作产生的图像近似于原始图像。这两幅图像(即如I₁这样的当前图像和如I₂这样的参考图像)之间的映射由以下公式定义：

p′＝sQRQ^-1p＝Mp                             (7)

其中，p和p′表示在第一和第二图像中相同世界点(world point)的同形(homographic)图像坐标，s表示缩放图像(其对应于摄像机的焦距)，Q是内部摄像机校正矩阵，R是两个摄像机位置之间的旋转矩阵。

或者，也可以将两幅连续图像中静态世界点的图像投影坐标p和p′(即像素位置(x，y)和(x′，y′))之间的关系写为：

$x^{\′}=\frac{m_{11}x+m_{12}y+m_{13}}{m_{31}x+m_{32}y+m_{33}}---\left(8\right)$

$y^{\′}=\frac{m_{21}x+m_{22}y+m_{23}}{m_{31}x+m_{32}y+m_{33}}---\left(9\right)$

其中， 是将第一幅图像影射(对准)到第二幅图像的同形矩阵(homography matrix)M。

该图像对准中的主要任务是确定矩阵M。显然，根据等式(7)，给定s、Q和R，理论上就能直接确定矩阵M。但实际中，s、Q和R的准确值经常是未知的。等式(7)还假设摄像机中心和旋转中心是相同的，这一般只接近真实，但是，该假设对于提供图像稳定是足够正确的。在示出的实施例中，摄像机22在图像同步基础上，提供数据(即用于确定R的平摇和俯仰值以及用于确定s的变焦值)，并将其与各图像一起发送到处理设备50。

然后，对于该图像具体数据，使用上述同形方法执行一幅图像的平移、旋转和缩放，以将其与第二幅图像对准。在该方法中，平移是在x或y方向中以某数量像素的像素运动。正平移处于行索引或列索引递增的方向，而负平移正好相反。正方向的平移将行或列增加到该图像的上边或左边，直到获得所需的增加量。相对于原始图像，执行图像旋转，图像旋转被定义为处于运动的中心并指定一个角度。对一幅图像进行缩放意味着将其放大或缩小指定的倍数。使用下列近似值表示这样的平移、旋转和缩放：

x′＝s(xcosa-ysina)+t_x

                                              (10)

y′＝s(ysina+xcosa)+t_y

其中：

s是缩放(变焦)因子；

a是相对于原始图像的旋转角度；

t_x是在x方向的移动；

t_y是在y方向的移动。

通过引入新的独立变量a₁＝scosα和a₂＝ssinα，等式(10)变为：

x′＝a₁x-a₂y+t_x

                                            (11)

y′＝a₂x+a₁y+t_y

在确定a₁、a₂、t_x和t_y之后，可以对准这两幅图像I₁和I₂。如果使用直接从摄像机获得的变焦、平摇和俯仰值来获得这些值，那么，t_x和t_y将对应于ΔP₁和ΔT₁。如果变换后的图像显示整体(global)图像运动并不能由该过程正确对准，则已发生无意的运动，并且，对于这些转换的图像，可以使用归一化互相关确定ΔP_E和ΔT_E的值。

图4示意性地示出了处理设备50的硬件结构。在示出的实施例中，处理设备50包括与电源/IO板66通信的系统控制器板64。电线42将电源40连接到转换器52，从而向处理设备50供电。处理设备50经由视频线44从摄像机22接收原始模拟视频输入信号，视频线45用于将视频图像传送到头端单元32。在示出的实施例中，视频线44、45是同轴、75欧姆、1 Vp-p，并且包括用于接合处理设备50的BNC连接器。摄像机22提供的视频图像可以是模拟的并遵循NTSC或PAL标准。当处理设备50不工作时，即关闭时，来自摄像机22的视频图像可以经过处理设备50，通过模拟视频线54、模拟电路68、模拟视频线70和通信插板72，到达头端单元32。板72是能够处理二相(biphase)信号并包括经过视频链路进行双向通信的同轴信息集成电路(COMIC)的标准通信板。

经由另一模拟视频线56，模数转换器58从摄像机22接收视频图像并将模拟视频信号转换为数字视频信号。数字视频信号存储在SDRAM 60形式的缓冲器之后，数字化的视频图像被传送到视频内容分析数字信号处理器(VCA DSP)62。在VCA DSP 62中执行上述参考图2和3所描述的视频稳定算法。调整后的显示图像被发送到数模转换器74，在数模转换器74中，视频信号被转换为模拟信号。经由模拟视频线76和70，将所得的有注解的模拟视频信号发送到通信插板72，然后通信插板72经由视频线45将信号发送到头端单元32。

在示出的实施例中，到系统控制器板64的视频输入被限制在1 Vp-p，如果视频信号超过1 Vp-p，则将其修剪为1 Vp-p。但是，本发明也可以使用具有更多或更少容量的其他实施例。处理器62可以是从Phillips电子北美公司获得的TriMedia TM-1300可编程媒体处理器。在启动时，处理器62装载引导装入(bootloader)程序。然后，引导程序将VCA应用程序代码从诸如闪存78这样的存储器拷贝到SDRAM 60以进行执行。在示出的实施例中，闪存78提供1M字节的存储量，SDRAM 60提供8M字节的存储量。因为启动时将来自闪存78的应用程序代码装载在SDRAM 60上，所以，SDRAM 60为视频存储帧留有大约7M字节的存储量。

在图4所示的实施例中，系统控制器板64经由二相数字数据总线102、I2C数据总线104和RS-232数据总线106连接通信插板72。系统控制器板64经由RS-232数据总线110连接到RS-232/RS-485兼容收发器108。线49可以是RS-232调试数据总线，其将信号从头端单元32传送到处理设备50。线49上的信号可以包括在发送到摄像机22之前处理设备50能修改的信号。可以经由与微处理器112通信的线48，将这样的信号发送至摄像机22。微处理器112可以操作系统控制器软件，并且还可以与VCA组件114通信。因此，诸如VCADSP 62这样的VCA组件可以经由微处理器112和线48，将信号发送到摄像机22。

系统控制器板64还可以包括现场可编程门阵列116，现场可编程门阵列116包括掩膜存储器118、字符存储器120和屏幕显示(OSD)存储器122。同样，VCA组件114可以包括掩膜存储器124、字符存储器126和屏幕显示(OSD)存储器128。这些组件可用于掩盖显示在屏幕38上图像的各种部分，或为屏幕38产生文本显示。最后，系统控制器板64可以包括用于存储用户设置的并行数据闪存130。

在该示出的实施例中，人工操作员输入的、传送到处理设备50的必要命令是开/关命令，但是，在其他实施例中甚至这些开/关命令也可以是自动化的。经由二相线46在头端单元32和摄像机22之间以及经由线48在处理设备50和摄像机22之间，传送这样的开/关命令和其他串行通信。在该示出的实施例中，处理设备50设置有金属片状壳体且安装在摄像机22附近，但是，也可以使用其他方法和在其他位置安装处理设备50。处理设备50也可以采用其他硬件结构。这样的硬件应该能够很好地运行软件和以最少大约每秒5帧的速度进行处理。还应当注意的是，通过提供具有金属片状壳体的处理设备50，有利于在PTZ摄像机附近或之上安装处理设备50，因此，系统20可以提供一个不需要基于个人计算机的图像稳定系统的独立嵌入式平台。但是，如果需要的话，本发明也可以使用基于个人计算机的系统。

处理设备50可以执行多种功能，包括捕获摄像机22获取的视频帧、识别这些视频帧中的静止特征、根据发送到摄像机22或从摄像机22接收的信号确定摄像机FOV的预期改变、识别静止特征并确定摄像机FOV中的实际改变、比较摄像机FOV的预期改变和实际改变以确定摄像机无意运动引起的图像移动幅度以及选择显示图像坐标以抵消摄像机无意运动引起的移动。处理设备50也可用于执行自动跟踪功能。例如，处理设备50也可提供一种自动跟踪系统，其中，处理设备50用于：识别摄像机FOV中运动的目标对象；然后，产生调整摄像机平摇、俯仰和变焦设置的控制信号，以跟踪目标对象，并将该目标对象维持在摄像机的FOV内。由于自动调整摄像机的平摇、俯仰和变焦设置以跟踪目标对象，所以，可以使用根据本发明的图像稳定系统来稳定该系统显示的图像。Sablak等在2002年11月27日提交的、序列号为10306509、题目为“VIDEO TRACKING SYSTEMAND METHOD”的美国专利申请中描述了系统20使用的自动跟踪系统的一个示例，所公开的内容并入此处，作为参考。也可以使用根据本发明的图像稳定系统来稳定图像，其中，手动地调整摄像机，例如通过手工操作操纵杆36或在其他应用中。

图5提供了上述系统20使用的视频稳定算法的实施例的一般逻辑的流程图。如图5所示，打开处理设备50之后，在步骤180中，通过将应用程序代码从闪存78拷贝到SDRAM 60执行，将处理设备50初始化。模块182表示SDRAM 60的剩余存储量，其作为环形缓冲区，用于从摄像机22接收并存储由处理器62进行处理的各帧相关联的视频图像帧和数据。在判断模块184中，处理器62判断第一标记是否为真。只有当没有来自摄像机22的图像已装载到SDRAM 60以由处理器62分析时，第一标记才为真。因此，打开处理设备50时，遇到第一次判断模块184，第一标记将为真，然后处理器62执行到模块186。模块186表示处理器62抓到两幅图像。然后，处理器62执行到模块188，其中，将平滑滤波器应用到每一幅图像。平滑滤波器的应用包括取出这些图像的两个子采样。第一子采样步骤产生当前I₁和I₂图像的QCIF分辨率的子采样(即，具有原始NTSC或PAL CIF分辨率图像的四分之一分辨率的图像)。该子采样处理将邻近像素组合在一起，从而定义这些成组像素的平均值。该子采样处理的目的在于降低分析该图像中涉及的计算处理所消耗的时间。然后，取出第一子采样的第二子采样，产生具有原始CIF分辨率图像的1/16分辨率的图像，从而进一步提高图像稳定处理的速度。模块190表示获取来自摄像机每幅图像的平摇、俯仰和焦距(即变焦)值(该数据表示预期值并包括平摇和俯仰值的无意运动分量)。虽然在获取图像之后的位置示出了模块190，但摄像机22可以将平摇、俯仰和变焦数据与图像同时传送到处理设备50。

接下来，模块192表示使用当前图像的平摇、俯仰和变焦值，计算旋转和缩放的同形矩阵。然后，在模块194中，通过同形矩阵执行图像变换，以将第二幅图像对准到第一幅图像上(如果在获取两幅图像的时间间隔内没有对摄像机进行平摇、俯仰或变焦调整，则不需要图像变换)。

在模块196中，计算这两幅对准后图像的图像差别，以确定这些图像中是否存在运动。因此，在对准图像I₁和I₂后，根据以下公式计算图像差别Δ：

Δ＝|I₂-I₁|                                  (12)

然后，计算这些差别的直方图(histogram)。该图像的静态背景通常负责产生直方图中的最大峰。因此，如果最大峰集中在0附近，对准两幅图像的背景，在获得这两幅图像的间隔内没有任何无意的摄像机运动。如果是这种情况，则流程返回判断框184。如果直方图中的最大峰没有集中在0附近，这表示整体运动，即背景在移动。将此解释为表明摄像机的无意运动，然后流程执行到框198。移动对象位于所获取的图像中也是有可能的。如果该移动对象存在于这些图像中，直方图一般具有与之相关的两个峰，一个峰对应于背景，而一个峰对应于移动对象。如果是这种情况，假设该图像的背景比该移动对象占据更多的图像区域，最大峰值用于做出上述判断。换言之，评估直方图，以判断直方图的最大峰是否集中于0，表示没有无意的摄像机运动，或者判断最大峰是否表示全局运动，意味着出现无意的摄像机运动。例如，图6示意性地描述了图像差别的直方图，其中，主峰集中于0，表明没有无意的摄像机运动，并还包括没有集中于0的第二峰212，因此表明图像内存在移动对象。

如果检测到无意的摄像机运动并且系统执行到模块198，则使用归一化互相关(NCC)确定两幅图像间的移动范围。因为这两幅图像的变换已以表示ΔT₁和ΔP₁的值预测的形式对准了图像，所以，在框198中确定这两幅图像间已发生运动的处理步骤对应于确定ΔT_E和ΔP_E的值。

接下来，在模块200中，对图像I₁和I₂交换数据。执行图像数据的交换，以使得：当完成模块202的移动后抓取一幅新图像并将其放在缓冲器中时，新图像和与之相关的数据将覆盖缓冲器中已经存在的两幅图像中较老的那幅图像相关的图像和数据。

模块202表示在最近获取的CCD图像的图像上以等于ΔT_E和ΔP_E的量移动显示图像边界，从而提供稳定的视频图像。

然后，流程返回到第一标记将不再为真的模块184，并且，流程将执行到模块208，在模块208中，抓取一幅单独的新图像并覆盖缓冲器中的图像I₂。然后，处理器62执行到模块210，在模块210中，对新图像应用平滑滤波器。模块212表示在摄像机获取新图像时获取摄像机的平摇、俯仰和变焦设置。然后，流程执行到模块192。

在该示例性实施例中，摄像机22持续获取新图像，处理设备50执行的、将当前图像和以前获取的图像进行比较的计算分析比摄像机22获取单独图像之间的时间间隔要长。当处理设备50完成其对一组图像的分析时，它抓取最近获取的图像以进行下一次分析。因此，在处理设备50顺序地抓取两幅图像以进行分析之间摄像机22可能捕获和传送一幅或更多幅图像。因此，当在模块198(在图5的流程图中)中判定需要调整当前图像的显示边界以纠正摄像机的无意运动时，在完成下一次图像稳定分析之前，摄像机22会获取许多附加图像并将其显示在监视器屏幕38上。可以通过不同的形式，在这些附加的未分析图像中设置显示边界的位置。例如，这些附加图像使用的显示边界利用调整后的边界位置，例如显示边界100，其源自对最后两幅抓取图像的分析，可用于未分析的图像，直到稳定处理肯定地判定应重新调整显示边界。或者，在改变一幅具体分析并确定已被摄像机无意运动影响的图像的显示边界之后，该显示边界可以立即返回到CCD显示的中心位置。换言之，除了那些已被抓取、分析并确定已经受到无意摄像机运动影响并且特别确定改变后的显示图像边界的图像以外，对于所有的图像，显示边界都仍保持在中心位置。在已经调整显示边界以解决无意的摄像机运动之后，对于许多顺序获取的图像，显示边界以递增量返回CCD图像边界的中心位置也是有可能的。

在大多数监视摄像机应用中，可以预想到的是，施加于摄像机上的各种振动和外力会引起无意的摄像机运动，对于摄像机预期位置对应的平衡位置，这些运动的可能振动使得非常短暂地偏离预期位置。在这种情况下，使显示边界立即返回到中心位置是有利的。返回中心位置不仅可以反映出现的无意摄像机运动并因此有利于显示稳定的图像，而且它还防止显示边界移向CCD显示图像的边缘，那会限制图像稳定处理的有效性并导致不将显示图像边界返回CCD图像中心位置的处理。

虽然上面描述的本发明具有一个示例性的设计，但是，可以在本申请公开的精神和范围内进一步修改本发明。因此，本申请趋向于覆盖使用本发明一般原理的任何变体、使用或改进。

Claims (25)

1、一种视频图像稳定系统，包括：

包括图像捕获设备的摄像机，所述图像捕获设备被配置用于捕获视频图像，所述摄像机具有可选择调整的视野；以及

至少一个可操作地连接到所述系统的处理设备，其中，所述处理设备接收表示所述摄像机视野的信号和所述摄像机捕获的图像，所述处理设备顺序地抓取所述图像中的第一幅和所述图像中的第二幅，所述处理设备将所述视频图像的稳定调整确定为根据表示视野的所述信号、在捕获所述第一幅图像和所述第二幅图像之间的间隔期内所述摄像机视野的预期改变以及对所述第一幅和第二幅图像分析的函数。

2、如权利要求1所述的视频图像稳定系统，其中，选择所述摄像机捕获的每幅图像的一个显示部分以显示，每幅图像的所述选中显示部分小于捕获的整个图像，并且，所述处理设备确定的所述稳定调整包括调整所述选中显示部分在所述捕获的图像内的相对位置。

3、如权利要求1所述的视频图像稳定系统，其中，所述摄像机具有可选择调整的平摇位置、可选择调整的俯仰位置以及可选择调整的焦距。

4、如权利要求3所述的视频图像稳定系统，其中，在捕获所述第一幅和第二幅图像之间，有意地调整所述摄像机的平摇位置和俯仰位置中的至少一个位置。

5、如权利要求3所述的视频图像稳定系统，其中，在捕获所述第一幅和第二幅图像之间，有意地调整所述摄像机的焦距。

6、如权利要求5所述的视频图像稳定系统，其中，对所述第一幅和第二幅图像的所述分析包括变换所述第一幅和第二幅图像中的一幅图像，其中调整该幅被变换的图像的缩放比例。

7、如权利要求1所述的视频图像稳定系统，其中，对所述第一幅和第二幅图像的所述分析包括：根据表示视野的所述信号，将所述第一幅和第二幅图像中的一幅与所述第一幅和第二幅图像中的另一幅对准，以及判断所述对准后的图像是否表明有无意的摄像机运动的发生。

8、如权利要求7所述的视频图像稳定系统，其中，判断所述对准后的图像是否表明发生了无意的摄像机运动，该判断包括：确定所述对准后图像的图像差别。

9、如权利要求8所述的视频图像稳定系统，还包括：产生所述对准后图像的所述图像差别的直方图，并基于识别所述直方图中的最高峰和所述最高峰的位置，判断无意的摄像机运动是否已发生。

10、如权利要求9所述的视频图像稳定系统，其中，当所述最高峰不是基本集中于0时，判定已发生无意的运动，并且，其中确定所述稳定调整包括识别出使所述图像差别最小化的调整。

11、如权利要求1所述的视频图像稳定系统，其中，表示视野的所述信号包括所述摄像机对于每幅捕获图像的平摇、俯仰和焦距设置，所述信号在图像同步的基础上从所述摄像机传送到所述处理设备。

12、如权利要求1所述的视频图像稳定系统，其中，所述摄像机可移动地安装在固定支撑架上。

13、一种视频图像稳定系统，包括：

包括图像捕获设备的摄像机，所述图像捕获设备被配置用于捕获图像，捕获的每幅图像与一个视野相关联，所述摄像机具有至少一个可选择调整的参数，其中，调整所述至少一个摄像机参数改变所述摄像机的视野；

显示设备，被配置用于显示所述摄像机捕获的图像的选中部分；以及

处理设备，可操作地连接到所述摄像机和所述显示设备，其中，所述处理设备接收表示所述至少一个摄像机参数的信号和所述摄像机捕获的图像，所述处理设备用于根据表示所述至少一个摄像机参数的信号以及对当前捕获图像和以前捕获图像的分析，通过调整所述显示设备显示的图像的选中部分，补偿所述摄像机的无意的运动。

14、如权利要求1所述的视频图像稳定系统，其中，表示至少一个摄像机参数的所述信号包括表示平摇、俯仰和变焦设置的信号。

15、如权利要求1所述的视频图像稳定系统，其中，所述视频图像的选中部分包括所述视频图像的中心部分。

16、如权利要求1所述的视频图像稳定系统，其中，所述视频图像的选中部分包括所述视频图像的大约60％到90％。

17、一种稳定视频图像的方法，所述方法包括：

用摄像机捕获多幅图像，所述摄像机安装在固定支撑架上并具有可调整的视野；

调整所述摄像机的视野；

抓取所述摄像机捕获的第一幅图像及其后面的第二幅图像；

显示所述第一幅和第二幅图像中每幅的选中显示部分，每幅图像的选中显示部分小于捕获的整个图像；以及

将所述第二幅图像的稳定调整确定为在捕获所述第一幅图像和捕获所述第二幅图像之间的间隔期间所述摄像机视野的预期改变以及对所述第一幅和第二幅图像的分析的函数，其中，稳定调整包括调整所述选中显示部分在所述第二幅图像内的相对位置。

18、如权利要求17所述的方法，其中，所述摄像机定义平摇位置和俯仰位置，并且，在捕获所述第一幅和第二幅图像之间，有意地调整所述摄像机的平摇位置和俯仰位置中的至少一个位置。

19、如权利要求17所述的方法，其中，在捕获所述第一幅和第二幅图像之间，有意地调整所述摄像机的焦距。

20、如权利要求19所述的方法，其中，对所述第一幅和第二幅图像的所述分析包括变换所述第一幅和第二幅图像中的一幅图像，其中调整该幅被变换的图像的缩放比例。

21、如权利要求17所述的方法，其中，对所述第一幅和第二幅图像的所述分析包括：基于从与所述摄像机通信的系统接收的、表示视野的信号，将所述第一幅和第二幅图像中的一幅与所述第一幅和第二幅图像中的另一幅对准，并判断所述对准后的图像是否表明有无意的摄像机运动的发生。

22、如权利要求21所述的方法，其中，判断对准后的图像是否表明发生无意的摄像机运动，该判断包括：确定对准后图像的图像差别。

23、如权利要求22所述的方法，还包括：产生对准后图像的图像差别的直方图，并基于识别所述直方图中的最高峰和所述最高峰的位置，判断无意的摄像机运动是否已发生。

24、如权利要求23所述的方法，其中，当所述最高峰不是基本集中于0时，判定已发生无意的运动，并且，其中确定所述稳定调整包括识别出使所述图像差别最小化的调整。

25、一种稳定视频图像的方法，所述方法包括：

通过使用控制信号，有意地改变摄像机的视野；

用所述摄像机捕获多幅图像，每幅图像和一个视野相关联；

显示所述多幅图像中每一幅的选中部分；以及

对于所述多幅图像中的至少一幅，调整显示的选中部分，所述调整步骤用于补偿摄像机的无意运动并且基于所述摄像机的预期视野和对所述多幅图像中的至少一幅图像和所述图像中的第二幅图像的分析。

Images