CN101685543A - 视频运动检测 - Google Patents

Abstract

用于视频运动检测的方法、计算机程序和照相机将视频序列中的一系列图像组合成具有顶点X、Y和t的图像体。将图像体沿着(X，t)或(Y，t)平面分片，用空－时滤波器滤波并且应用阈值以减少信息量。然后，搜索算法沿着视频序列子集中的搜索线进行搜索，以定位运动。通过识别没有与顶点中的任一个平行的线，可以对运动进行检测。静止物体和照明变化表现为与顶点之一平行的线。因此，可以将真实运动与照明变化区分开。

Description

视频运动检测

技术领域

本发明涉及视频分析，更具体地，涉及检测视频中的运动的方法、计算机程序和照相机。

背景技术

视频分析延伸至对台式计算机系统的视频的编码和解码以外。视频分析是用于分析静止和视频图像中的内容的技术，并且不止用于确定适当的帧频(frame rate)、分辨率等。在视频分析中，分析图像和视频的内容，例如图像中物品的运动。通常，放弃不感兴趣的部分，而详细分析其它部分以提取相关信息(例如运动)。

具体地，运动检测涉及识别在图像空间中运动的视频序列中图像的空间区域。这可以包括例如摇动的树和运动的影子，而不包括照明变化或图像噪声。在所有先前帧中都固定的视频区域从一帧到下一帧突然运动的情形下，运动检测的问题变得更复杂。相反的情况，即，许多帧的运动区域突然停止，也可能存在问题。

目前许多可用的运动检测方法和系统检测的是变化而不是运动。这些方法只是搜索各帧之间图像区域的差别，或者当前帧和一系列先前帧之间图像区域的差别。例如，在背景减除方法中，使用例如无限脉冲响应(IIR)滤波器根据视频中一组先前帧来构造背景或参考图像。然后，通过将阈值应用到当前图像与背景或参考图像之间的差的绝对值中(absolute difference)来执行检测。该阈值可以是简单的二值化函数，其中，如果差超过阈值，则结果是“1”，否则结果就为“0”。

其它方法尝试使用例如具有平均值和方差值的高斯分布对背景进行建模。在高斯混合建模(Gaussian Mixture Model)中，每个像素用若干个高斯分布来表示，并且每个高斯分布根据其变化和其被观察的次数来加权。在背景模型内不合适的像素被视为可能包含运动信息的前景像素(foreground pixel)，除非其权重被降低到确定的阈值之下。

如被本发明的发明者所认识到的，检测变化的方法和尝试对背景图像进行建模的方法都对于照明变化非常敏感。当处理各个像素(individual pixels)时，这些方法完全不能区分“真的”图像变化和照明效果之间的区别。

此外，同样如本发明的发明者所认识到的，通常基于比较仅两个连续图像，例如光流，来确定图像区域的运动速度的运动估计方法是非常有计算要求的、不准确的或者既有计算要求又不准确。当分析多于两个的连续图像时，计算要求被视为对于实际应用来说太高。

大多数当前可用的空-时滤波器单独地分析图像，并且它们使用高层模型(high-level model)来处理时间方面，并且同时在空间上和时间上处理视频的少数空-时算法对于实时嵌入处理是很有计算要求的。

发明内容

根据以上内容，本发明的目的在于提供用于视频运动检测的方法、计算机程序和照相机，其能够正确识别照明变化大的环境中的运动，并且能够有效地进行识别。

示例性的运动检测方法将视频中的多个图像组合成图像体(image volume)。多个图像中的每个包括多个像素，并且图像体具有与宽度对应的维度X、与高度对应的维度Y和与深度对应的维度t。在形成图像体之后，沿着(X，t)平面将图像体分片(slice)，并且可选地对每个像素进行对数变换，以将反射成分与照明成分分开。

然后对分片后的图像体应用空-时滤波器，从而产生滤波结果。在滤波之后，使滤波结果的绝对值带入阈值函数，从而产生包括明确限定的空-时边缘的二值图像。最后，针对至少一个连接起来的像素串搜索二值图像。不与任何轴平行的、连接起来的像素串指示运动。

附图说明

由于通过参照下面结合附图的详细描述，本发明及其附带的许多优点变得更好理解，容易获得对本发明及其附带的许多优点的更完全的理解，其中：

图1是根据本发明实施例的网络照相机的框图；

图2是根据本发明示例性实施例的监视中心计算机或客户端计算机的框图；

图3是根据本发明实施例的监控系统的框图；

图4是示例性的来自视频序列的图像集合；

图5是根据本公开示例性实施例的被分片的图像体；

图6是根据本公开示例性实施例的由空-时滤波器滤波后的分片图像体；

图7是根据本公开示例性实施例的在滤波之后应用了阈值的分片图像体；

图8是根据本公开示例性实施例的栅格化的系列搜索线；

图9是根据本公开示例性实施例的视频运动检测方法的流程图；

图10是根据本公开示例性实施例的沿着(X，t)方向搜索的流程图；以及

图11是根据本公开示例性实施例的沿着(Y，t)方向搜索的流程图。

具体实施方式

现在参照附图，其中，在多个视图中，用类似的附图标记表示相同或相应的部分。图1是根据本发明的可以用于拍摄图像的网络照相机10(或IP照相机)的框图。然而，更普遍地，照相机10可以是能够产生图像序列并且通过网络(专用的、公共的或混合的)向用户客户端(51，图3)传送图像序列或者来自图像序列的图像数据(例如图像元数据)的任何数字照相机。在本上下文中，术语“视频”不限于传统的运动画面(motion pictures)，而是还包括按时序(例如每秒一次、每两秒一次等)拍摄的静止帧。网络照相机10包括本地视频分析模块20，在该实施例中示出本地视频分析模块20被实现为基于处理器19上的处理过程的软件。然而，也可以使用硬件、固件或混合模块。

网络照相机10包括：透镜系统12，用于收集入射光；图像传感器13，例如电荷耦合装置(CCD)、CMOS传感器或类似的传感器，用于记录入射光；图像处理模块15(以硬件、软件或混合方法实现)；图像/视频编码器21；CPU 19，管理例如视频分析模块20；存储器17；以及网络接口22。图像传感器13还可以是用于检测红外辐射的IR传感器。图像/视频编码器21被配置成将拍摄到的数字图像数据编码为用于连续视频序列的、用于受限的视频序列的、用于静止图像的或用于流式图像/视频的多种已知格式中的任意一种。例如，图像信息可以被编码成MPEG1、MPEG2、MPEG4、H.264、JPEG、M-JPEG、位图等。

能够产生模拟图像序列的模拟照相机(54，图3中所示)以及诸如视频服务器或视频编码器的转换器57也可以与网络照相机10一起使用，或者可以作为网络照相机10的替代品。转换器57将来自模拟照相机54的模拟图像序列转换成数字图像序列或者图像数据，并且将该数字图像序列或者图像数据提供给网络。在这种情况下，在转换器中进行视频/图像编码和本地分析。

图2是根据本实施例的客户端计算机或监视中心计算机的示意图。计算机130包括计算装置100，键盘112、定位设备(pointing device)111、视频获取单元113和显示器110连接到该计算装置100。

计算装置100包括处理器101，处理器101执行控制过程并且与主存储器105和ROM 106连接，主存储器105用于暂时存储正被处理的数据，ROM 106存储处理器101所执行的指令。盘控制器107至少控制盘108和CD-ROM 109，视频序列在处理前和处理后可以存储在盘108和CD-ROM 109上。显示控制器104用于控制外部显示器110，并且I/O接口用于控制其它外部装置，例如键盘112、定位设备111和视频获取单元113。总线103使所有这些组件互连。

计算装置100可以是例如采用Pentium处理器的PC。存储在ROM 106中的指令集可以被提供作为与处理器以及操作系统(例如VISTA、UNIX、SOLARIS、LINUX、APPLE MAC-OS和本域技术人员已知的其它系统)协同执行的实用程序、后台守护进程或操作系统的组件及其组合。

计算装置100的主存储器105可以是与PC集成的动态或静态随机存取存储器(RAM)，或者可以是诸如FLASH、EEPROM、光盘、服务器等其它存储装置。另外，主存储器105中的至少一部分还可以从视频运动检测系统可拆卸掉。

视频运动检测系统还可以在硬件装置上实现，所述硬件装置例如FPGA、ASIC、微控制器、PLD或其它这类处理装置(处理器)。

视频获取单元113的实例包括视频照相机、盒式录像机(VCR)、数字通用盘(DVD)录像机等。定位设备111的实例包括鼠标、轨迹球、触摸板等，并且显示器110可以是例如视频监视器。

如图3中所示，网络照相机10可以通过专用网络与一个或多个用户客户端51本地连接，或者通过公共网络与一个或多个用户客户端51远程连接。网络照相机的网络接口使得在照相机与用户客户端之间不仅能够进行图像或视频的通信，而且还能够进行摇摄(pan)/俯仰(tilt)/变焦(zoom)机构的控制数据、音频、图像和视频设置等的通信。用户客户端51可以是例如监视中心52、客户端计算机51或网络录像机(NVR)53，可以是用于存储、操纵和/或中继来自照相机的图像序列的服务器。图3旨在示出可以与监控照相机交互作用的不同用户客户端。网络照相机可以向多于一个的用户客户端提供例如图像和视频。

诸如运动检测的视频分析应用基于对网络照相机10或模拟照相机54所拍摄的图像序列中的图像的分析。可以在网络照相机中、在监视中心52中、在客户端计算机51中或者在NVR 53中对图像进行分析。然而，在网络照相机10中或者在转换器57中进行视频分析可能是有利的，这是因为可以在不必使用许多带宽将通信量加载到网络上的情况下进行视频分析。因此，该优点尤其与用户对被连续提供图像序列不感兴趣的应用相关，例如，仅在照相机视图中发生事件时才向用户提供图像序列的应用。采用网络中的视频分析应用程序，使得照相机54或转换器57能够提取元数据，即关于图像的数据(如同例如在图像序列中描述发生了什么的数据)。然后，可以在特定条件(例如没有警报时)下用元数据替代图像序列从照相机传输到用户。可以提供不连续发送图像序列的系统，以节省宽带或者有助于系统的可扩展性，这是因为向这种系统添加另外的网络照相机比较容易。然而，替代实施例具有执行视频分析的客户端计算机51和/或监视中心52。

接着，描述可以在图1中的视频运动检测系统上执行的视频运动检测方法。

图4是由例如视频运动检测系统的视频获取单元113拍摄的视频序列200的图像集合201。在该非限制性实例中，视频序列200的物体包括人202、夹克衫204和竖直柱状物203。当然，如本领域的普通技术人员可以理解的，该方法还可以处理包含其它主题的图像。另外，图像201可以被排列成使最新图像在其它图像前面，或者使最新图像在所有其它图像后面。

在图4和图5中，视频序列200的图像201被组合以形成图像体300。视频序列200包括图像201 I₁、I₂、...、I_N，其中，N等于或大于3。沿着(X，t)平面将图像体300分片，以形成两个图像体部分301和302。然而，也可以在不背离本公开的范围的前提下沿着(Y，t)平面对图像体300分片。

图像体301的顶部包括柱状物305、人303和至少一条暗水平线304(与Y轴平行)。柱状物305是静止的，因此形成与t轴(即，时间轴)平行的线。然而，在获取视频序列200的过程中，人303已经移动。结果，人303形成沿着图像体部分301的顶部的、与任何轴都不平行的曲线。

暗水平线304表示照明变化。例如，线304是减弱照明的结果。然而，如本发明的发明者所认识到的，这类照明变化总是平行于X或Y轴，因此可以被容易地识别为照明变化而非运动并且被抑制。利用差别检测或运动估计方法是不可能这样抑制照明变化的。

在图像体300被分片成图像体部分301和302之后，对两个图像体部分301和302中的每个像素应用对数变换，以将反射成分与照明成分分开。可选地，可以通过对图像体300中的像素进行高通滤波来抑制照明成分。

接着，用空-时滤波器对图像体300进行滤波，以产生图6的图像体400。空-时滤波器是边缘增强滤波器。由此，空-时滤波器增强了人403和柱状物404的边缘。

例如，可以使用3×3索贝尔滤波器核(Sobel filter kernel)来实现空-时滤波。另外，也可以使用序列号为No.61/100,575的美国专利申请中所描述的方法来实现空-时滤波，该方法采用了单指令多数据(SIMD)指令来同时处理多个像素，同时在整个滤波过程中保持每个像素的位数恒定。

在用空-时滤波器(或者作为滤波器的一部分)进行滤波之后，对图像体400的像素应用阈值函数，以便减少数据。图7是所得的图像体500。阈值函数还通过每个像素的二值表示来加强边缘。例如，满足预定阈值(例如，≥50％灰度值)的像素被赋予值“1”(黑色)，而落到该阈值之下的像素被赋予值“0”(白色)。在图像体500中，限定人503的边缘明显不同于其周围环境，限定柱状物504的边缘也是如此。如下所述，由于每个像素现在只用“1”或“0”来表示，因此这样能够更有效地搜索图像。

图8是在(X，t)平面中的图像部分600，该图像部分已经被如上所述进行了处理。在该实例中，像素601被识别为起始像素。栅格化的搜索线602a、602b、603a、603b、604a和604b从像素601延伸到像素部分600的边缘。搜索涉及识别沿着搜索线的、都具有“1”值(即，都是黑色的)的像素串。对该方法而言像素串必须是预定长度(例如在正被搜索图像上线性排列的多个像素，或者诸如3、5、8(已示出)或10之类的特定数目的像素)，以将其识别为表示运动。例如，可能需要串与正被搜索的图像部分600一样长，在本实例中，最多为8个像素。然而，在本实施例中，也可以使用更短或更长的检测串尺寸。另外，该串中的一个中断(single break)对于该串来说可足以作为伪影(artifact)、噪声等而被忽略。

正被搜索的图像部分600的尺寸确定了运动识别的精确性和噪声敏感性。如果区域小(例如沿着某一方向有3个或2个像素)，得到更确实的检测结果的可能性较大，但是与较长的检测串相比，这些检测结果对噪声造成的干扰更敏感。较大的(例如，具有沿着某一方向有8个、9个或10个像素的区域)图像部分600对噪声干扰更具免疫力，但是导致较少的检测结果。然而，与较短串相比，对较长相连(contiguous)串的任何确实的检测结果提供了更为可靠的检测信息。

另外，与搜索线(602a、602b、603a、603b、604a和604b)对应的角度可以在某一范围(例如，30°至60°)内变化，以检测不同速率的运动。

图9是上述处理过程的流程图。在步骤S1中，视频序列200中多个图像201被组合成图像体300。在步骤S2中，沿着(X，t)平面或(Y，t)平面中的一个将图像体300分片。在步骤S3中对图像体300进行对数变换，并且在步骤S4中图像体300被空时滤波器滤波以产生滤波后的图像体400。在步骤S5中，将阈值函数应用到滤波后的图像体400，并且在步骤S6中，进行运动(沿(X，t)或(Y，t))的检测。通过将分片的方向从(X，t)改变到(Y，t)和从(Y，t)改变到(X，t)，对视频序列执行完全的运动检测分析。

图10是在沿着(X，t)平面进行分片处理的情况下在图9的步骤S6中执行的检测的流程图。在步骤S10中，选择值为“1”的像素作为起始点。在步骤S11中，探测在位置(X+i，t+j)处的相邻像素，以确定其值为“1”还是“0”。如果其值是“1”，则在步骤S12中选择该像素作为新的起始点，并且在步骤S13中，记录用“1”值标识的相邻像素的数目的计数器被递增。然后，重复步骤S11至S13，直到搜索完全部的搜索线为止。

指标变量(index variable)i和j可以1或2递增，以实现图8中的搜索线。例如，当i的增量为2并且j的增量为1时，产生搜索线602b。当i和j的增量都为1时，产生搜索线603b，等等。然而，i和j可以是其它值，以实现具有不同角度的搜索线。

一旦完全搜索完搜索线，就在步骤S14中将值为“1”的相邻像素的数目与阈值作比较，并且如果该数目超过阈值，则在步骤S15中检测到运动。然而，如果该值落在阈值之下，则没有检测到运动(步骤S1)。重复对每个搜索线的搜索，直到所有的都被穷尽，然后执行返回到主循环。

图11是沿着(Y，t)方向的搜索过程的流程图。如在上述情况中一样，在步骤S20中，选择值为“1”的像素作为起始点。在步骤S21中，探测下一个相邻像素(Y+i，t+j)，以确定其值为“1”还是“0”。“1”将导致在步骤S22中像素(Y+i，t+j)被选择作为下一起始点，并且导致在步骤S23中像素计数器递增。一旦搜索线被穷尽，就在步骤S24中将像素计数器的值与阈值进行比较。当该值高于阈值时，则在步骤S25中发生检测。否则，没有检测到运动(S26)。重复步骤S21-S23，直到搜索线被穷尽为止。

如在(X，t)搜索的情况下一样，i和j的值可以是1或2，以实现图8的搜索线。然而，其它值也是可以的。一旦所有的搜索线被穷尽，则控制回复到主循环。

可以在扩大的图像区域的同心圆中执行上述搜索，以增加检测的可能性，而不明显降低精确性。假定存在由轴X和Y限定的二维检测区域。在搜索区域内，将存在多个短检测串和长检测串。作为有效检测边缘的方法，可以使用较长检测串作为用以集中到待分析区域上的“种子(seeds)”。而且，一旦检测到较长串，则较长串就是很大可能存在边缘的重要发现。然后，针对较低置信样本(lower confidencesample)搜索通过该长检测串而固定在搜索区内的、长检测串周围的圆形区域。该搜索策略的理由在于，较长检测串具有更高概率的精确性，因此更有可能指示真实边缘。由于在该区域中已经以高置信度检测了边缘，因此假定边缘的其它部分将位于附近区域是合理的。因而，位于检测区域中更偏僻的孤立部分中的短检测串更有可能是噪声的产物，因此不可能是由真实边缘造成的。

在一个实施例中，本发明的发明者认识到利用一位来表示每个像素的优点。即，通过对检测区中相邻行进行逻辑与(AND)操作来检测贯穿检测区的连续线。例如，可以通过对不同的数据行(沿着t方向)进行一系列与操作，来检测相连串603b。因此，通过简单的布尔逻辑，通过一系列与操作可以容易地识别相连的检测串。同样，一旦在区域600中形成检测串，通过针对每个候选串的逻辑或(OR)就可以识别出足够长度的任何一个串的存在(在这种情况下，是从像素601至区域600边缘的相连串)。因此，如果存在任何一串，则或操作的结果指示在区域600中存在足够长度的串，因此，边缘存在并且包括像素601。

虽然本实施例描述了每个像素用一位表示的过程，但是也可以包括每个字多个像素，例如每个字32个像素。在这种情况下，例如，沿着x轴，对源于像素601及其右边的31个像素的对角线串执行平行搜索。在这种情况下，沿着平行的对角线方向进行平行搜索。注意，每个像素多个位需要更复杂的算术运算，因此增加了处理要求。

虽然图8示出了沿着直线的串，但是也可以具有检测运动的其它图案的线，而非必须是直线的。这类其它图案包括部分对角线(包括一个或多个对角线段)和曲线。

在另一个实施例中，同时地对(X，Y)平面中的所有像素平行执行搜索进程。从图像体500中的最新边缘图像开始，与已经按照搜索线平移后的下一图像执行逻辑与，然后使用与操作与第一与操作的结果进行逻辑比较。然后重复该进程，以覆盖预定长度的像素。对具有不同方向的不同搜索线重复该搜索进程。在不同的搜索方向之间使用逻辑或操作，以确定是否在自特定起始像素起的任意一条搜索线中检测到运动。可以对沿着X方向和Y方向的平移都执行该搜索进程。使用该搜索进程时，明确的分片步骤S2在图9所示的过程中不是必须的，这是由于分片的步骤将是检测步骤S6所固有的。

上述方法还可以实现为计算机程序，所述计算机程序例如采取计算机可读介质上存储的计算机可读指令的形式。

传统的视频运动检测方法是具有计算要求的、不精确的或者对于照明变化敏感。然而，视频序列可以被组合成图像体，并且被沿着(X，t)或(Y，t)平面分片。如本发明的发明者所认识到的，在这样的分片上的运动将表现为不与任何轴(X，Y，t)平行的斜线或曲线，而照明变化或固定对象将表现为与一个轴平行的线。因此，在该方法中，可以识别并抑制或减少照明变化。

另外，如本发明的发明者所认识到的，沿着对视频序列栅格化而成的搜索线进行搜索能够比现有的方法提高效率，并且使其自身适于在嵌入式系统中的实现。

显而易见，根据以上教导，本发明的许多修改和变化是可能的。因此，要理解的是，在所附权利要求的范围内，可以采用与本文具体描述的方式不同的方式来实践本发明。

Claims (13)

1、一种视频运动检测方法，包括：

拍摄视频序列的多个图像，所述多个图像中的每一个图像包括多个像素，每个像素由第一数目的位来表示；

将所述第一数目的位减少为第二数目的位，所述第二数目比所述第一数目少；

在计算机可读介质中存储所述多个图像；

用处理器在所述多个图像中搜索预定区域的空-时域中的空-时边缘；以及

检测所述多个图像中公共对象的运动，包括：

比较在所述预定区域中具有公共值的连接起来的像素串，以及

当至少一个连接起来的像素串大于预定长度时识别出边缘的存在。

2、根据权利要求1所述的方法，其中，所述连接起来的串沿着直对角线方向排列。

3、根据权利要求1所述的方法，其中，所述连接起来的串排列成除直对角线以外的预定图案。

4、根据权利要求1至3中的任一项所述的方法，其中，所述减少步骤包括将所述第一数目的位减少为每个像素1位。

5、根据权利要求4所述的方法，还包括如下步骤：将表示各像素的位打包到可由处理器以单个操作指令来处理的公共数据字中。

6、根据权利要求1至5中的任一项所述的方法，其中，所述识别步骤包括：当所述至少一个连接起来的像素串与所述预定区域的深度至少一样长时识别出边缘。

7、根据权利要求1至6中的任一项所述的方法，其中，所述搜索步骤包括并行搜索相邻像素。

8、根据权利要求1至7中的任一项所述的方法，其中，

所述比较步骤包括对所述预定区域中的像素组进行逻辑与操作；以及

所述识别步骤包括对所述预定区域内的连接起来的像素串进行逻辑或操作。

9、根据权利要求1至8中的任一项所述的方法，其中，所述减少步骤包括：对所述多个像素进行对数变换，以将反射成分与照明成分分开。

10、根据权利要求1至9中的任一项所述的方法，其中，所述减少步骤包括空-时滤波步骤。

11、根据权利要求10所述的方法，其中，所述减少步骤包括对所述空-时滤波步骤的结果的绝对值进行阈值操作。

12、一种包括计算机可读指令的计算机程序，当由处理器执行所述计算机可读指令时使所述处理器执行的步骤包括：

拍摄视频序列中的多个图像，所述多个图像中的每一个包括多个像素，每个像素由第一数目的位来表示；

将所述第一数目的位减少为第二数目的位，所述第二数目比所述第一数目少；

在计算机可读介质中存储所述多个图像；

用处理器在所述多个图像中搜索预定区域的空-时域中的空-时边缘；以及

用处理器检测所述多个图像中包括的公共对象的运动，所述检测步骤包括：

比较在所述预定区域中具有公共值的连接起来的像素串，以及

当至少一个连接起来的像素串大于预定长度时识别出边缘的存在。

13、一种照相机，包括：

光学部分，被配置成从包含对象的场景中捕捉光；

传感器，被配置成将所述光转换成视频序列的多个图像，所述多个图像中的每一个包括多个像素，每个像素由第一数目的位来表示；

图像处理器，被配置成将所述第一数目的位减少为第二数目的位，所述第二数目比所述第一数目少；

存储器，被配置成以用第二数目的位表示每个像素的形式来存储所述多个图像；以及

处理器，被配置成

在所述多个图像中在所述像素中搜索预定区域的空-时域中的空-时边缘，以及

通过比较在所述预定区域中具有公共值的连接起来的像素串并在至少一个连接起来的像素串大于预定长度时识别出边缘的存在，来检测所述多个图像中对象的运动。

Images