CN101496394B - 补偿视频运动的方法和装置 - Google Patents

Abstract

本发明公开了补偿视频监视摄像机运动的方法，该方法包括步骤：运动隔行摄像机；在第一时间点捕获帧的第一视频场；在第二时间点捕获帧的第二视频场；确定摄像机的运动速度；及基于第一时间点和第二时间点之间的时间段及摄像机的运动速度改变第一和第二视频场之间的关系。

Description

补偿视频运动的方法和装置

发明背景

本发明涉及监视摄像机，尤其涉及补偿来自动态视频监视摄像机的图像模糊的方法和装置。

视频监视系统通常使用隔行显示图像方法以节省视频带宽及提供平滑图片。在隔行显示器中，显示器在对偶数场绘画和对奇数场绘画之间交替，偶数场由每一帧的偶数行组成，奇数场由每一帧的奇数行组成。如在此使用的，帧由偶数和奇数场组成并指静态图像之一，该静态图像构成动态视频。类似地，在这些隔行系统中使用的监视摄像机仅捕获来自每一帧的行的一半，即一次捕获一个场。每一帧的场对被同时感知，从而由于视觉的持续性而表现为完整的帧。

可运动的视频监视摄像机通常在摄像机摇摄或倾斜时遭受视频降级。该降级使视频图像模糊并导致具有叠影状外观的双图像。这种不合乎需要的模糊在用运动摄像机观看静态场景图像时尤为明显。因此，长久以来需要一种在摄像机运动时具有最小模糊量的视频监视摄像机。

发明内容

根据本发明，提供了一种补偿视频监视摄像机运动的方法，该方法包括步骤：运动隔行摄像机，在第一时间点捕获帧的第一视频场，在第二时间点捕获帧的第二视频场，确定摄像机的运动速度，及基于第一时间点和第二时间点之间的时间段及摄像机的运动速度改变第一和第二视频场之间的关系。

此外，本发明提供了一种补偿监视摄像机运动的装置，包括：用于产生包括帧的第一和第二场的可运动隔行摄像机，连接到所述摄像机并用于接收所述第一和第二场的移位寄存器，用于向所述移位寄存器提供控制信号的控制器，连接到所述摄像机和控制器并用于检测摄像机的运动速度及将表明所述摄像机的运动速度的信号提供给控制器的检测器，及连接到移位寄存器并用于显示由所述帧产生的图像的显示器，其中所述控制器向所述移位寄存器提供信号以基于第一和第二场产生之间的时间及表明摄像机的运动速度的信号延迟所述帧的第一和第二场之一。

当摄像机处于扫描模式时，如当摇摄时或当操作员想要查看图片背景时，本发明是有利的。例如，当操作员试图发现被背景变暗的目标时，可使用本发明方法。由于本发明，使用隔行视频格式如具有MPEG-4压缩的NTSC或隔行HDTV的视频监视系统的图像质量得以很大改善。在静态图像时，由于运动引起的位移不大，所得到的视频可以是高质量，但运动位移导致图像质量变差且还降低压缩效率。视频监视设备的多种应用要求在静态图像及在摄像机摇摄时均有非常高的视频质量。本发明使摄像机摇摄时的图像模糊最小化，从而提供更高的视频质量并使监视系统的视频压缩效率最大化。

本发明在摄像机运动时如摇摄期间向用户提供高质量视频图像，但在用户正追踪目标时其通常关掉使得所追踪图像不被模糊。在本领域中，摇摄模式通常指扫描模式。如果用户想要追踪目标，则本发明的运动补偿方法可自动关掉。在一实施例中，用户可操作控制按钮以从扫描模式切换到手动控制模式从而使用户能追踪感兴趣目标。在另一实施例中，当用户运动控制杆以控制摄像机的运动时所述模式可自动切换。在又一模式中，当用户控制摄像机的运动时，系统保持追踪模式直到摄像机以预定速率运动为止，之后切换到本发明的运动补偿方法。预定速率或阈值可针对具体环境和用途按需设置并可由用户重新设置。总的来说，最大预定速率或阈值可设置成如果摄像机以高于该最大预定速率或阈值的速率运动则不能适当或合理地追踪目标的速度。一旦系统已切换到运动补偿模式，则运动补偿一直持续直到摄像机的运动低于阈值为止。

本发明的其它优点和应用可从下面对本发明优选实施例进行的详细描述明显看出。

附图说明

图1为隔行摄像机进行的扫描的图示。

图2为当隔行摄像机不动时，在观看由奇数场和偶数场组成的帧时感知的图像的图示。

图3为当隔行摄像机摇摄时，在观看由奇数场和偶数场组成的帧时感知的图像的图示。

图4为实施本发明的一实施例。

具体实施方式

图1示出了隔行监视摄像机进行的扫描。在监视摄像机进行的第一扫描时，捕获由奇数行组成的奇数场，这由“奇数场”下面的第一扫描行的框中的X指示。在监视摄像机进行的第二扫描中，捕获由偶数行组成的偶数场，这由“偶数场”下面的第二扫描行的框中的X指示。第一和第二扫描包括第一帧。类似地，第三和第四扫描包括第二帧，及第五和第六扫描包括第三帧，如图1中所示。对于NTSC系统，每一帧由总共525行中的480行组成，其余45行用于同步、垂直回描及其它数据。然而，应当理解，也可使用其它隔行视频文件格式如隔行HDTV。

图2为当隔行监视摄像机不动时，在观看由奇数场和偶数场组成的帧时感知的图像的图示。在该例子中，在摄像机视场中的图像是白背景上的静态对角线。如关于图1所述的，首先，奇数行1、3、5、7和9被扫描以形成奇数场。然后扫描偶数行2、4、6、8和10以形成偶数场。类似地，当显示帧时，首先将奇数场扫描到显示器上，然后再将偶数场扫描到显示器上。观看者感知的图像是直的对角线，其从行10的像素1到行3的像素8跨屏幕延伸。

图3为当视频监视摄像机摇摄时观看者感知的图像的图示。在该例子中，在摄像机视场中的图像是与关于图2所述一样的、白背景上的静态对角线。该例子表明视频摄像机在水平方向的运动已导致两条模糊的对角线，而不是清楚的单一对角线。第一对角线由行9中的像素2、行7中的像素4、行5中的像素6及行3中的像素8组成。第二对角线由行10中的像素4、行8中的像素6、行6中的像素8及行4中的像素10组成。第一对角线包含在奇数场中，第二对角线包含在偶数场中。双对角线由所述帧的奇数场的第一扫描和偶数场的第二扫描之间的时间延迟引起。在摄像机不运动的情况下，如图2中所示，出现在奇数场和偶数场中的对角线的各部分没有不同，因为摄像机的视场和对角线之间的空间关系没有改变。图3中所示的例子表明摄像机摇摄以在两个扫描之间导致三个像素位移的速度离开。

实施本发明的一个实施例在图4中示出。监视系统10具有能够运动的摄像机12，如由加利福尼亚州的Pelco of Clovis制造的

快球摄像机。摄像机12可以是连接到数字转换器13的模拟摄像机，所述数字转换器提供数字比特流，或者摄像机12可以是数字摄像机从而不需要数字转换器13。数字转换器13的输出提供给行缓冲器，如移位寄存器14。移位寄存器14的输出连接到编码器16，例如其可以是向网络18提供适当视频流的MPEG-4编码器。在备选实施例中，移位寄存器14和编码器16可包括在单一逻辑单元中。类似地，数字转换器13也可包括在同一逻辑单元中。显示器20连接到网络18以接收和显示来自摄像机12的视频流从而由用户观看。显示器20可包括适当的视频流解码电路，或者显示器20可具有单独的解码器。图4中所示的实施例包括编码器16和网络18以在局域网或宽域网如因特网上远程观看摄像机12。或者，移位寄存器14的输出可直接提供给显示器20以进行本地观看。

摇摄速度逻辑电路22连接到摄像机12以接收指示摄像机12的摇摄速度即角速度的信号，所述摄像机如加利福尼亚州Pelco ofClovis制造的

快球摄像机。如果摄像机12不提供指示其摇摄速度的信号，可使用摇摄速度检测器。摇摄速度逻辑电路22向移位寄存器14提供控制信号，该控制信号指示移位寄存器14中的数据是否应被移位。如果移位寄存器14中的数据应被移位，则来自摇摄速度逻辑电路22的控制信号还指示数据的位移量。必须知道摄像机平台的角速度。优选地，应每帧检测摄像机12的角速度。之后，摇摄速度逻辑电路22按度每秒或像素每秒计算速度，并将指示移位寄存器14所需延迟量的控制信号提供给移位寄存器14。提供30帧每秒、隔行2∶1以符合NTSC视频标准的摄像机在1秒的每60分之一捕获场(实际上29.97帧每秒)。因此，奇数场和偶数场的扫描之间的时间大约为1/60秒。例如，对于一些应用，所需延迟可在1-10像素的范围内以调节帧的奇数场和偶数场之间的补偿。缓冲器的大小由所需最大延迟确定，进而由摄像机的最大摇摄速度确定。移位寄存器产生离散延迟，如n，其中n为移位寄存器级数。例如，16级移位寄存器对数据延迟高达16个时钟脉冲。图4所示的本发明实施例通过移位寄存器14发送奇数场和偶数场。之后，当每一帧的奇数场和偶数场通过移位寄存器14时，摇摄速度逻辑电路22将适当的信号即不延迟或延迟发送给移位寄存器14。或者，不需延迟的场可绕过移位寄存器14并直接提供给编码器16。

当奇数场和偶数场之一被移位时，边缘将不被对齐，但图片的中心和大部分将被对齐。如果摄像机12快速摇摄，所得到的图像在场的前缘将有空白像素，因为没有视频填充这些由在移位寄存器14中延迟场引起的像素。通常，在前缘上没有图片的像素数量很小，并不干扰监视系统10的正常使用。只有适当场的有效视频部分被延迟。同步信号不被延迟。所述延迟根据运动方向仅应用于奇数场或偶数场。或者，奇数场和偶数场均按适当的方向移位以修改或调节这些场使得实现所需对齐。任何文本或图形覆盖在视频上必须在对齐补偿之后添加。否则，所述覆盖在观看图像时将被变模糊。

上述实施例实现了对视频摄像机摇摄运动的补偿。如果系统将提供对摄像机倾斜的补偿，则视频存储器必须是高速存储器，其足够大以包含最大数量的将要补偿即延迟的视频行。摇摄和倾斜补偿可使用两个单独的实用程序同时进行：一个用于摇摄补偿、一个用于倾斜补偿。

如上所述，NTSC视频格式每帧传输两个图像，这些图像覆盖为隔行视频。为重组所述两个图像，必须知道摄像机的角水平速度和视频行的有效角宽度。角宽度由透镜系统的水平视场(FOV)和放大率确定。可变放大率透镜或变焦透镜通过放大率设置减小FOV。例如，如果摄像机在1倍放大率时具有54°的FOV，则在4倍放大率时有效FOV将为13.5°。将应用于任一视频场的延迟量取决于这些因素及视频每行的扫描时间。在NTSC系统中，该时间大约为53微秒。因此，对于具有54°FOV的摄像机，扫描速率大约表现为1°/μs。

摄像机的水平或摇摄速度必须归一化为视频格式的场速率，例如对于NTSC为60Hz。这是因为，补偿量补偿帧的两个相继图像之间的单场临时差别。例如，当NTSC摄像机以20°/s旋转时，需要的角补偿t_c为20/60或0.333°。数量必须与方向一起考虑，因而需要用于补偿的符号/量值表达式的约定。

最后，摇摄运动补偿需要摇摄速度逻辑电路22实现的下述等式的反复实施：

t_c＝(V_h·t_f)/(FOV/(mag·t_h)    (等式1)

其中

t_c＝补偿时间(秒)

V_h＝摄像机的旋转速率(度每秒)

t_f＝视频场周期(秒)

FOV＝1倍放大率时的摄像机视场(度)

mag＝摄像机透镜的放大率因子；及

t_h＝一行有效视频的周期(秒)

在本发明的该实施例中，摇摄速度逻辑电路22还计算下述等式以确定图像必须移位的像素数量：

n_c＝k·t_c    (等式2)

其中

n_c＝图像必须移位的像素数量

k＝具有视频时间延迟机制的分辨率确定的量纲(/sec)的乘数。在实践中，该乘数将通常以微秒表示的补偿时间转换为像素，即图片元素。标准图像大小每视频行具有720像素。在具有52.6μs有效视频时间的NTSC中，像素为720/52.6或13.7像素/μs。因此，对于按μs表示的补偿时间，k＝13.7。

t_c＝补偿时间(秒)

等式1和2的计算应每视频帧执行一次以对水平运动保持最佳补偿。

参考图4，监视系统10可具有连接到网络18的摄像机控制器24以控制摄像机12的运行。控制信号在网络18上从摄像机控制器24提供给解码器28，解码器将所述控制信号提供给摄像机12。在备选实施例中，摄像机控制器24还可直接连接到摄像机12。用户输入设备26如控制杆连接到摄像机控制器24以使用户能通过运动控制杆而控制摄像机12。总的来说，控制杆移得越远，摄像机12运动越快。用户可使用控制杆追踪感兴趣目标或手动使摄像机12摇摄。当摄像机12正快速运动时如在摇摄期间(在本领域中通常称为扫描模式)，使用本发明的运动补偿系统，但当用户正以合理的线性速度追踪目标时(在本领域通常称为追踪模式)通常关闭本发明的运动补偿系统，使得追踪的图像不被变模糊。如果用户想要追踪目标，则本发明的运动补偿可自动关掉。在设置期间，用户可输入摇摄速度逻辑电路22打开或关闭运动补偿时的速度阈值。例如，用户可利用用户输入设备26选择其将采用用户输入设备26追踪显示器20上的目标的最大线性速度，这通过运动显示器20上所示柱图上的光标以选择最大追踪模式或通过输入数值完成。一旦在设置期间用户选择了阈值，该阈值有摄像机控制器24在网络18上发送给解码器28，在那里阈值信号被解码并提供给摇摄速度逻辑电路22。摇摄速度逻辑电路22保存该阈值并将来自摄像机12的速度信号与该阈值比较。当摄像机正由操作员以低于预定阈值的速度运动时，摇摄速度逻辑电路22不向移位寄存器14提供任何移位控制信号。一旦摄像机12由操作员以大于预定阈值的速度运动时，摇摄速度逻辑电路22向移位寄存器14发出适当的移位控制信号以实施运动补偿方法。预定速率或阈值可针对具体环境和用途按需设置并可由用户按需重新设置。通常，最大预定速率或阈值可设为如果摄像机12以高于该最大预定速率或阈值的速率运动则不能适当地追踪目标的速度。一旦摇摄速度逻辑电路22已切换到运动补偿模式，则运动补偿持续，直到摄像机12的运动速率低于阈值为止。

在备选实施例中，用户可操作摄像机控制器24或用户输入设备26上的控制按钮以从使用本发明的运动补偿的扫描模式切换到使用户能追踪感兴趣目标的手动控制模式。在另一实施例中，当用户运动用户输入设备24以控制摄像机12的运动时，摄像机控制器24可自动切换模式；然而，当用户正以大于阈值的速度运动摄像机时，该实施例不引起运动补偿附加的优点因而不引起背景图像改善。

应当理解，在不背离本发明范围的情况下，可对本发明进行变化和修改。还应当理解，本发明的范围不解释为限于在此公开的具体实施例，而是与按照前述公开内容理解的所附权利要求一致。

Claims (20)

1.补偿视频监视摄像机运动的方法，该方法包括步骤：以扫描模式运动隔行摄像机；在第一时间点捕获第一帧的奇数场，在第二时间点捕获第一帧的偶数场，以在所述奇数场和所述偶数场组合时提供第一图像；确定摄像机的运动速度和运动方向；及基于第一时间点和第二时间点之间的时间段及摄像机的运动速度和运动方向改变所述奇数场和偶数场之一，从而在奇数场与偶数场组合产生第一图像时最小化摄像机运动引起的所述图像的模糊。

2.根据权利要求1的方法，其中所述运动步骤包括使摄像机摇摄。

3.根据权利要求1的方法，其中所述运动步骤包括使摄像机倾斜。

4.根据权利要求1的方法，其中所述改变步骤包括确定摄像机在第一时间点和第二时间点之间已运动的像素数量并基于所确定的像素数量改变奇数与偶数场之间的关系。

5.根据权利要求1的方法，其中所述改变步骤包括延迟所述奇数场与偶数场之一。

6.根据权利要求1的方法，其中所述改变步骤包括将奇数场提供给移位寄存器，将偶数场提供给移位寄存器，及控制奇数场和偶数场中从移位寄存器输出的视频场的延迟量。

7.根据权利要求6的方法，其中所述改变步骤还包括确定摄像机在第一时间点和第二时间点之间已运动的像素数量并基于所确定的像素数量控制奇数场和偶数场中从移位寄存器输出的视频场的延迟量。

8.根据权利要求7的方法，其中所述运动步骤包括使摄像机摇摄。

9.根据权利要求1的方法，其中所述改变步骤包括求解下述等式：

t_c＝(V_h·t_f)/(FOV/(mag·t_h)

其中：

t_c＝补偿时间；

V_h＝摄像机的旋转速率；

t_f＝摄像机的视频场周期；

FOV＝1倍放大率时的摄像机视场；

mag＝摄像机透镜的放大率因子；及

t_h＝摄像机的一行有效视频的周期。

10.根据权利要求9的方法，其中所述改变步骤还包括求解下述等式：

n_c＝k·t_c

其中：

n_c＝图像必须移位的像素数量；

k＝由摄像机的视频图像的分辨率和摄像机的有效视频时间确定的乘数；

t_c＝补偿时间。

11.根据权利要求1的方法，还包括确定用户运动摄像机的速度，将所确定的用户运动摄像机的速度与预定速度比较，及其中当用户运动摄像机的速度大于预定速度时执行所述改变步骤。

12.根据权利要求11的方法，还包括在所确定的用户运动摄像机的速度低于预定速度时停止所述改变步骤。

13.补偿监视摄像机运动的装置，包括：用于捕获第一帧的奇数和偶数场的摄像机，所述摄像机是可运动隔行摄像机；连接到所述摄像机并用于接收所述奇数和偶数场的移位寄存器；用于向所述移位寄存器提供控制信号的控制器；连接到所述摄像机和控制器并用于检测摄像机的运动速度及将表明所述摄像机的运动速度的信号提供给控制器的检测器；及连接到移位寄存器并用于显示由所述第一帧的奇数场和偶数场组合产生的图像的显示器，其中所述控制器向所述移位寄存器提供信号以基于奇数和偶数场产生之间的时间及摄像机的运动速度和运动方向延迟所述帧的奇数和偶数场之一，从而在所述奇数场与所述偶数场组合产生所述图像时最小化摄像机运动引起的所述图像的模糊。

14.根据权利要求13的装置，其中所述检测器检测所述摄像机的摇摄速度。

15.根据权利要求13的装置，其中所述检测器检测所述摄像机的倾斜速度。

16.根据权利要求13的装置，其中所述摄像机包括所述检测器。

17.根据权利要求13的装置，其中所述摄像机具有视频场周期、视场、放大率因子及图像的一行有效视频的周期，及所述控制器求解下述等式：

t_c＝(V_h·t_f)/(FOV/(mag·t_h)

其中：

t_c＝补偿时间；

V_h＝摄像机的旋转速率；

t_f＝摄像机的视频场周期；

FOV＝1倍放大率时的摄像机视场；

mag＝摄像机透镜的放大率因子；及

t_h＝摄像机的一行有效视频的周期。

18.根据权利要求17的装置，其中所述摄像机具有视频图像分辨率和有效视频时间，及所述控制器求解下述等式：

n_c＝k·t_c

其中：

n_c＝图像必须移位的像素数量；

k＝由摄像机的视频图像的分辨率和摄像机的有效视频时间确定的乘数；

t_c＝补偿时间。

19.根据权利要求13的装置，还包括连接到所述摄像机的摄像机控制器及连接到所述摄像机控制器的用户输入设备，该用户输入设备向所述摄像机控制器提供控制所述摄像机运动速度的输入，及其中所述控制器将所述检测器检测到的速度与预定速度比较并在所述检测器检测到的速度大于所述预定速度时将所述信号提供给所述移位寄存器。

20.根据权利要求19的装置，其中在所述检测器检测到的速度低于所述预定速度时，所述控制器不向所述移位寄存器提供所述信号。

Images