CN101311964A - 在监视系统中实时分割运动区域以检测运动的方法和装置 - Google Patents

Abstract

提供了一种用于在监视摄像机系统中实时分割运动区域以检测运动的方法和装置。该方法包括：使用来自输入图像序列中的先前输入图像来更新背景图像；产生图像序列的当前图像和背景图像之间的差图像；产生使第一函数最小化的第二函数，该第一函数包括差图像的运动区域中的正则化能量和差图像的无运动区域中的正则化能量；以及基于该第二函数分割运动区域。因此，即使在低照明环境中也可以在消除噪声的同时准确且快速地分割运动区域，从而检测运动对象。

Description

在监视系统中实时分割运动区域以检测运动的方法和装置

相关申请的交叉引用

本申请要求2007年5月23日向韩国知识产权局提交的，申请号为10-2007-0050434的韩国专利申请在35U.S.C§119(a)下的优先权，其公开内容通过引用而被整体合并于此。

技术领域

本总发明构思涉及一种在监视摄像机系统(surveillance camera system)中实时分割运动区域以检测运动的方法和装置，具体地，涉及一种即使在低照明环境中也可以同时地执行噪声消除(noise removal)和运动区域分割(motion area segmentation)以分割运动区域从而检测运动的方法和装置。

背景技术

在其中使用闭路电视(CCTV)摄像机的监视系统正在不断地发展。在监视系统中，图像序列被传送给监视中心并显示在各种视频监视器屏幕上。安全员(security guards)观察显示在监视器屏幕上的上百个视频频道。人工智能视频监视系统应用一种运动检测算法，该算法确定给定图像中的、对象处于运动中的区域，因而使得安全员可以更容易地定位运动对象。因此，安全员仅贯注于在其中检测到对象运动的监视器。

即使没有运动，监视系统也需要记录大量的视频数据。当由于在视频监视系统中产生的大量数据而使存储容量受限时，使用视频压缩算法以存储该大量的视频数据。然而，在暗环境中，由于图像传感器的噪声而降低了视频压缩算法的压缩效率。为了克服该问题，尤其在晚上使用一种运动检测算法。该运动检测算法确定一对象是否在图像中处于运动中，如果确定没有运动，则不记录该图像。因此，利用有效技术检测运动，并且这在产生较少运动的晚上更加有效。

在通常的监视系统中，大多数运动检测是通过使用阈值限定方法(thresholding method)的修改诸如高斯、Pfinder、和W⁴的混合来执行的。在这些技术中，基于背景图像和当前图像之间的差的图像阈值以及作为后处理的形态滤波器(morphological filter)来在像素单元中执行运动对象的区域分割。在白天该技术可以令人满意地执行；然而，在晚上由于图像序列中的噪声而可能产生错误肯定(false positives)和声音警报(aural warnings)。

发明内容

本总发明构思提供了一种在监视系统中分割运动区域以检测运动的方法和装置，具体地，提供一种即使在低照明环境中也可以同时地消除噪声和分割运动区域以分割运动区域从而精确地检测运动的方法和装置。

另外，本总发明构思提供了一种考虑了光线突然改变的检测运动的方法。

本总发明构思的另外的方面和效用将部分在下面的描述中被阐明，并且部分在描述中是显而易见的，或是可以通过本总发明构思的实践而学到。

本总发明构思的前述和/或其他方面和效用可以通过提供一种分割运动区域的方法来达到，该方法包括：通过使用来自输入图像序列的先前输入图像来更新背景图像，产生图像序列的当前图像和背景图像之间的差图像，产生第二函数以使包括该差图像的运动区域中的正则化能量(regularizedenergy)和差图像的无运动区域中的正则化能量的第一函数最小化，并且基于该第二函数分割运动区域。

差图像的运动区域中的正则化能量可以使用基于运动区域的平均值的第一标准值和差图像之间的差，差图像的无运动区域中的正则化能量可以使用基于无运动区域的平均值的第二标准值和差图像之间的差。

运动区域和无运动区域的正则化能量中的每个正则化能量可以是运动区域的能量和无运动区域的能量分别除以运动区域的能量和无运动区域的能量之和。

更新背景图像可以包括：把通过将先前输入图像乘以第一加权值得到的结果加到通过将该先前输入图像乘以第二加权值得到的结果上，其中第一加权值和第二加权值的和是1。

分割运动区域可以包括：确定其中第二函数值大于0的差图像的像素为运动区域的像素，确定其中第二函数值小于0的差图像的像素为无运动区域的像素，确定其中第二函数值为0的差图像的像素为运动区域边界的像素，以及当其中第二函数值大于0的像素的数目高于预定阈值时，确定在当前图像中检测到运动。

第一函数可以包括使用与第二函数的偏微分值有关的函数的噪声能量。

产生第二函数可以包括通过在限制第二函数的范围(range)后调整第二函数的收敛值来调整迭代(iteration)频率并且通过迭代获得第二函数。

可以通过使用先前的第二函数、差图像的偏微分方程、基于第二函数将运动图像的能量正则化的函数、以及基于第二函数将无运动图像的能量正则化的函数，通过迭代来实时地获得第二函数。

运动区域和无运动区域的正则化能量中的每个正则化能量可以是运动区域的能量和无运动区域的能量分别除以运动区域的能量和无运动区域的能量之和。

可以基于运动区域的平均值、根据差图像的噪声级别(level)来调整第一标准值。

第二函数可以具有初始值，该初始值是来自差图像中的先前差图像的第二标准值。

该方法还可以包括：当来自差图像中的先前差图像和当前图像的相应的无运动区域中的微分值高于预定阈值时，确定存在突然的光改变(lightchange)。

可以通过获得第二函数以使第一函数最小化来执行阈值限定(thresholding)，其中：第一函数为E(φ)和第二函数为φ，并且当u为差图像时，依赖于第二函数φ和差图像u，P⁺(φ，u)和P^-(φ，u)分别为第二函数φ大于0和小于0的区域中的标准值，H(s)为阶跃函数(step function)，其中：当s≥0时H(s)＝1和当s＜0时H(s)＝0，Φ是预定函数，以及α、λ₁和λ₂是考虑了差图像的变量，

$E\left(\mathrm{\φ}\right)={\∫}_{\mathrm{\Ω}}\mathrm{\Φ}\left(\right|\▿\mathrm{\φ}\left|\right)\mathrm{dx}$

$+{\mathrm{\λ}}_1{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}+\mathrm{\φ}){(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

$-{\mathrm{\λ}}_2{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}-\mathrm{\φ}){(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

为了获得第二函数φ以使第一函数E(φ)最小化，第一函数E(φ)可以使用扩散偏微分方程(diffusional partial differential equation)：

$\frac{\∂}{\∂t}\mathrm{\φ}(x,t)=\▿\·(\frac{{\mathrm{\Φ}}^{\′}\left(\right|\▿\mathrm{\φ}\left|\right)}{|\▿\mathrm{\φ}|}\▿\mathrm{\φ})$

$-{\mathrm{\λ}}_1\frac{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2(H(\mathrm{\α}+\mathrm{\φ})+\mathrm{\φ}{H}^{\′}(\mathrm{\α}+\mathrm{\φ}))}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

$+{\mathrm{\λ}}_2\frac{{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2\left(H(\mathrm{\α}-\mathrm{\φ})-\mathrm{\φ}{H}^{\′}(\mathrm{\α}-\mathrm{\φ})\right)}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

本总发明构思的前述和/或其他方面和效用也可以通过提供一种分割运动区域的装置来达到，该装置包括：输入单元，接收图像序列；背景图像产生单元，通过使用来自图像序列中的先前输入图像来更新背景图像；差图像产生单元，产生图像序列的当前图像和背景图像之间的差图像；函数产生单元，产生第二函数以使第一函数最小化，该第一函数包括差图像的运动区域的正则化能量和差图像的无运动区域的正则化能量；以及运动分割单元，基于该第二函数分割运动区域。

本总发明构思的前述和/或其他方面和效用也可以通过提供在其上包含有用于执行如下方法的计算机程序的计算机可读记录介质来达到，其中，该方法包括：通过使用来自输入图像序列的先前输入图像来更新背景图像；产生图像序列的当前图像和背景图像之间的差图像；产生第二函数以使第一函数最小化，该第一函数包括差图像的运动区域中的正则化能量和差图像的无运动区域中的正则化能量；以及基于该第二函数分割运动区域。

本总发明构思的前述和/或其他方面和效用也可以通过提供一种使用监视摄像机系统分割运动区域的方法来达到，该方法包括：产生图像序列的当前图像和背景图像之间的差图像，并产生用于分割运动区域的级别设置函数以便通过同时执行噪声消除和运动区域分割来检测运动。

本总发明构思的前述和/或其他方面和效用也可以通过提供一种运动分割装置来达到，其包括：运动分割单元，用于产生图像序列的当前图像和背景图像之间的差图像；以及函数产生单元，用于产生用于分割运动区域的级别设置函数以便通过同时进行噪声消除和运动区域分割来检测运动。

附图说明

本总发明构思的这些和/或其他方面和效用将从以下结合附图的实施例的描述变得显而易见和更容易理解，在附图中：

图1是图示根据本总发明构思的实施例的、在监视系统中用于实时分割运动区域以检测运动的装置的功能框图；

图2是图示图1的装置的函数产生单元的功能框图；

图3A到3F图示了对应于级别设置函数的图像；

图4图示了级别设置函数的范围；

图5是图示根据级别设置函数分割的区域的标准值的图表；

图6A和6B是图示根据本总发明构思的实施例的、根据噪声级别调整运动区域中的标准值的方法的图表；

图7是图示根据本总发明构思的实施例的分割运动区域的方法的流程图；以及

图8是图示根据本总发明构思的实施例的使用监视摄像机系统分割运动区域的方法的流程图。

具体实施方式

现在将详细介绍本总发明构思的实施例，在附图中示出了该实施例的示例，其中，自始至终相同的附图标记指代相同的元素。下面将参考附图描述实施例以说明本总发明构思。

图1到6图示了根据本总发明构思的实施例的配置和方法。建议了区域分割技术的两种自适应模式，其甚至在暗环境下也可以有效地分类运动对象和噪声。区域分割技术的这两种自适应模式是基于获得同时组合了运动区域分割和噪声消除的正则化非线性偏微分方程的解的方法的。因此，区域分割算法被应用于输入图像序列的不同噪声级别，并且其可以实时地操作而无需专门的硬件加速器。

图1是图示根据本总发明构思的实施例的监视摄像机系统中用于实时分割运动区域以检测运动的装置100的功能框图。

参考图1，根据本总发明构思的实施例的分割运动区域的装置100包括：图像输入单元102、背景图像产生单元104、差图像产生单元106、函数产生单元108、和运动分割单元110。

图像输入单元102从监视摄像机系统接收作为被监视的目标的位置的图像，并将该图像输出到背景图像产生单元104和差图像产生单元106。监视摄像机系统以序列形式(sequence form)获得作为被监视的目标的位置的图像以分析该图像。

背景图像产生单元104从图像输入单元102接收当前图像以产生背景图像，并将该背景图像输出到差图像产生单元106。

背景图像对应于来自第一图像中的除了可在其中检测到运动的区域之外的一部分图像。也就是，该一部分图像可以是在其中没有检测到运动的区域。当运动对象在第二图像中停止运动时，第一图像的该一部分图像作为背景图像可以是第二图像的一部分。

根据本总发明构思的实施例，利用通过使用经由图像输入单元102输入的视频流的先前图像和先前背景图像来更新当前背景图像而产生的递归方法(recurrent method)。通过使用简单的自适应滤波器来递归保持背景图像。

下面的等式1是通过使用先前背景图像和先前图像来递归更新的背景图像。

[等式1]

B(x，t+1)＝γI(x，t)+(1-γ)B(x，t)

这里，γ是0到1之间的更新变量。为了避免在运动对象后形成的虚假的拖尾现象(artificial tail phenomenon)，γ应该小。I(x，t)是在时刻t的输入图像以及B(x，t)是背景图像。这里产生的B(x，t+1)是更新的背景图像，背景图像产生单元104将该更新的背景图像输出到差图像产生单元106。

差图像产生单元106通过使用从图像输入单元102输入的当前输入图像和从背景图像产生单元104输入的当前背景图像来产生当前差图像，并将该当前差图像输出到函数产生单元108。

可以通过从当前输入图像减去通过使用先前背景图像和先前输入图像产生的当前背景图像来获得当前差图像。

等式2是通过从当前输入图像减去当前背景图像而获得的当前差图像。

[等式2]

u(x，t)＝I(x，t)-B(x，t)

为了从图像中检测运动，应该分割运动区域，使得将在其中没有检测到运动的背景图像排除在当前图像之外，从而获得在其中检测到对象运动的区域。因此，在本总发明构思中，通过使用等式2计算的差图像u(x，t)是必要的。

函数产生单元108通过使用从差图像产生单元106输入的当前差图像来产生级别设置函数以使能量函数最小化从而检测运动，并将该级别设置函数输出到运动分割单元110。

运动分割单元110通过使用从函数产生单元108输入的级别设置函数来分割运动区域或在其中没有检测到运动的区域。

根据本总发明构思的实施例，从函数产生单元108产生的级别设置函数使所开发的能量函数最小化以同时通过差图像中的自适应阈值限定来分割运动区域，并且消除噪声以更准确地分割运动区域。另外，因为噪声消除和运动分割没有被分开执行而是在一个操作中执行的，因此其是高效的，通过迭代(iteration)消除噪声，并且可以逐噪声级别地更准确地执行阈值限定。

图2是更详细地图示根据本总发明构思的实施例的函数产生单元108的功能框图。

函数产生单元108包括第一标准值产生单元202、第二标准值产生单元204、以及第二函数产生单元206。

第一标准值产生单元202通过使用从差图像产生单元106输入的当前差图像来产生第一标准值，并将该第一标准值输出到第二函数产生单元206。

第二标准值产生单元204通过使用从差图像产生单元106输入的当前差图像来产生第二标准值，并将该第二标准值输出到第二函数产生单元206。

在以两种不同形式自适应地从差图像中分割运动区域时，第一和第二标准值是重要的。第一标准值是表示运动区域的变量，第二标准值是表示在其中没有检测到运动的区域也就是背景图像的变量。这将在下面参考能量函数、级别设置函数、以及图3到图6更全面地描述。

第二函数产生单元206通过使用从差图像产生单元106输入的差图像和从第一标准值产生单元202和第二标准值产生单元204输入的标准值来产生级别设置函数。

第二函数产生单元206通过使用差图像、第一标准值、和第二标准值来产生级别设置函数，并将该级别设置函数输出到运动分割单元110。在本总发明构思的实施例中，能量函数被用来分割差图像的运动区域，并且需要迭代过程来获得使能量函数最小化的级别设置函数。另外，通过如此迭代来改变级别设置函数，并且同时改变依赖于差图像以及级别设置函数的第一和第二标准值，从而递归地(recurrently)产生该级别设置函数。

在下文中，描述能量函数和级别设置函数。

级别设置方法是数值分析的一种，其跟踪接触点和边界线。级别设置方法的优势是执行包括固定的笛卡尔网格(fixed Cartesian grid)上的曲线(curves)和面(surfaces)的数值分析操作，而没有如在欧拉方法中一样将曲线和面参数化。另外，根据该级别设置方法，例如，当将轮廓(outline)分成两个时，形成洞，或执行相反操作，可以容易地找到改变拓扑的边界线。

在二维上，级别设置方法将平面上的闭合曲线Г图示为二维辅助函数(auxiliary function)φ的零级别设置，并且通过函数φ隐含地调整Г。这里，函数φ被称为级别设置函数。如在下面的等式3中，在级别设置函数为0的区域中形成曲线Г。假设：函数φ在由曲线Г形成的边界区域内具有正值，在边界区域的外部区域内具有负值。

[等式3]

Г＝{(x，y)|φ(x，y)＝0}

图3A到图3F图示了对应于级别设置函数的图像。

图3D、图3E、和图3F的区域302图示了确定轮廓306的级别设置函数的曲线图。

图3D、图3E、和图3F的平面304图示了x-y平面(plane)。

在图3A、图3B、和图3C中的平面306的边界线是φ的零级别设置，以及平面306本身包括平面上的一组点，在该平面中φ为正值和0。

在图3A、图3B、和图3C中的平面306中，图示了：区域被划分为二个并因此改变了拓扑。在图3D、图3E、和图3F中，级别设置函数简单地沿着平行方向向下运动。因为级别设置函数沿着平行方向向下运动，区域306也变形了。当需要观察区域306的所有可能变形、而不是直接调整区域306时，应当使用级别设置函数容易地观察该变形。

将级别设置函数应用于图像。因此，图3D、图3E、和图3F的平面304对应于差图像u(x)，图3D、图3E、和图3F的平面302对应于级别设置函数φ。图3A、图3B、和图3C的平面306对应于要发现的运动区域。因此，可以通过图3A到图3F来类推级别设置函数和图像之间的关系。在本总发明构思的实施例中，为了识别对应于运动区域的平面306的轮廓，获得其中级别设置函数φ为0的零级别设置。

下面的等式4是所提出的用于从具有噪声的背景图像中辨别对象的能量函数。

[等式4]

$E\left(\mathrm{\φ}\right)={\∫}_{\mathrm{\Ω}}\mathrm{\Φ}\left(\right|\▿\mathrm{\φ}\left|\right)\mathrm{dx}$

$+{\mathrm{\λ}}_1{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}+\mathrm{\φ}){(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

$-{\mathrm{\λ}}_2{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}-\mathrm{\φ}){(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

其中，u(x)是背景图像和当前图像的差图像。在差图像u(x)中，运动区域分割是通过使等式4的能量函数最小化的级别设置函数φ来完成的。u＝u(x，t)是时刻t的输入图像I(x，t)和更新的背景图像B(x，t)之间的差图像。α是一小的正值，P^±(φ，u)是依赖于φ和u(x)的直方图(histogram)的值。λ₁和λ₂是非负值的变量，H(φ)是一维阶跃函数，其中，当s≥0时H(s)＝1，当s＜0时H(s)＝0。H(±φ)沿着平行方向移动+α(α＞0)。

为描述方便而指定的第一标准值和第二标准值分别指P⁺(φ，u)和P^-(φ，u)。

当获得级别设置函数φ时，当α＞0时函数φ被限制于-α≤φ≤α范围，以便迅速地获得运动区域分割的结果。

能量函数E(φ)的第一项是用于从差图像中消除噪声的项。在产生输入图像和背景图像之间的差图像时，当在要被监视的图像中存在噪声时，可能识别为产生了运动，这是因为即使在没有检测到要被监视的对象的运动时噪声的位置也改变了。噪声存在可以是监视系统产生错误警告的因素(factor)。

因此，对于一个更鲁棒和有效的运动检测系统而言，需要一种背景维持(background maintenance)方法、分离前景和背景的方法、以及形态滤波器。在传统的运动检测方法中，通过使用形态滤波器从在检测到运动之后形成的二进制图像中消除小尺寸的检测到运动的部分，从而减少由于图像噪声产生的错误警告。

然而，在本总发明构思中，因为同时执行运动区域分割和噪声消除以检测噪声，可以在一个操作中执行两种传统的功能从而提高效率。

等式4的第2项和第3项是非线性能量函数，其中应用了差图像u(x，t)和标准值之间的标准化距离的系数。在本总发明构思的实施例中，对应于能量函数的运动区域的能量和对应于在其中没有检测到运动的区域的能量除以差图像和每个标准值的距离的和，即λ₁(u(x)-P⁺(φ，u))²+λ₂(u(x)-P^-(φ，u))²，并将其标准化。

在下文中，将参考图4描述标准值P^±(φ，u)的定义和功能。

基于差图像的平均值并通过使用差图像u(x)和标准值P^±(φ，u)之间的距离来将标准值P^±(φ，u)标准化，从而在周围环境改变的情况下保持稳定，并且由此可以减少错误警告的数目，并且即使在暗环境或具有噪声的环境中也可以分割运动区域。

图4图示了级别设置函数的范围。

参考图4，曲线402表示级别设置函数φ，直线404表示作为φ＝α的边界线，直线406表示作为φ＝-α的边界线。

在等式4中，当φ＞α时，φ收敛于α以使等式4最小化。类似的，当φ＜-α时，φ收敛于-α以使等式4最小化。因此，产生了竞争范围(competitive range)-α≤φ≤α。

因此，在获得使能量函数E(φ)最小化的级别设置函数φ时，在区域λ₁|u-P⁺|²＜λ₂|u-P^-|²中φ收敛于φ＝α，以及在区域λ₁|u-P⁺|²＞λ₂|u-P^-|²中φ收敛于φ＝-α。

通过使用该两项，可以通过由于两个标准值的改变而引起的竞争来得出图像的更加自适应的结果，所以本总发明构思的方法可以是双峰分割方法(bimodal segmentation method)。

标准值P^±(φ，u)与在本总发明构思的实施例中执行的迭代相关。该迭代被用来获得使能量函数E(φ)最小化的级别设置函数φ。改变通过迭代更新的φ、P⁺(φ，u)、和P^-(φ，u)，从而可以使能量函数最小化，并且可以自适应地分割图像的运动区域。

通常，迭代执行的越多，可以获得越准确的结果；然而，在实时处理很重要的监视摄像机系统中，无限制的迭代是不可能的。这里，因为操作目的是要将级别设置函数φ收敛到φ＝α或φ＝-α，所以迭代频率会受到α的影响。

下面的等式5是用于获得等式4的最小值的等式4的欧拉-拉格朗日等式。因此，为了获得使等式4的能量函数最小化的级别设置函数φ，应使用偏微分等式-等式5。

[等式5]

$\frac{\∂}{\∂t}\mathrm{\φ}(x,t)=\▿\·(\frac{{\mathrm{\Φ}}^{\′}\left(\right|\▿\mathrm{\φ}\left|\right)}{|\▿\mathrm{\φ}|}\▿\mathrm{\φ})$

$-{\mathrm{\λ}}_1\frac{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2(H(\mathrm{\α}+\mathrm{\φ})+\mathrm{\φ}{H}^{\′}(\mathrm{\α}+\mathrm{\φ}))}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

$+{\mathrm{\λ}}_2\frac{{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2\left(H(\mathrm{\α}-\mathrm{\φ})-\mathrm{\φ}{H}^{\′}(\mathrm{\α}-\mathrm{\φ})\right)}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

在本总发明构思的实施例中，为了减少等式5的计算量，Φ(α)为0.5α²等式6是等式5的简化等式。[等式6]

$\frac{\∂\mathrm{\φ}}{\∂t}={\▿}^2\mathrm{\φ}+\frac{-{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

为了实时地实现所述等式，使用一快速方案，并且在下面的等式7中示出了该快速方案。

[等式7]

${\mathrm{\φ}}_{i,j}^{n+1}={\mathrm{\φ}}_{i,j}^n+\frac{1}{4}\{{\mathrm{\φ}}_{i-1,j}^n+{\mathrm{\φ}}_{i+1,j}^n+{\mathrm{\φ}}_{i,j-1}^n+{\mathrm{\φ}}_{i,j+1}^n-4{\mathrm{\φ}}_{i,j}^n\}$

$+\frac{-{\mathrm{\λ}}_1{|u-P^{+}({\mathrm{\φ}}^n,u)|}^2+{\mathrm{\λ}}_2{|u-P^{-}({\mathrm{\φ}}^n,u)|}^2}{{\mathrm{\λ}}_1{|u-P^{+}({\mathrm{\φ}}^n,u)|}^2+{\mathrm{\λ}}_2{|u-P^{-}({\mathrm{\φ}}^n,u)|}^2}$

在等式7中，n表示迭代数目，而i和j表示图像的位置。在本总发明构思的实施例中，通过使用等式7执行迭代，以及通过使用第n次迭代中的级别设置函数φ、输入图像u、和第n次迭代中的P⁺(φ，u)和P^-(φ，u)标准值来获得第n+1次迭代中的级别设置函数φ。因此，完成递归迭代(recurrent iteration)。

另外，因为使用了等式7中的偏微分等式，即对应像素的相邻像素之间的微分值，所以考虑噪声区域的迭代是可能的。因此，当分割运动区域时，可以分割噪声区域和运动区域。

根据本总发明构思的实施例，在迭代期间，级别设置函数φ的初始值，即n＝0时的φ，被定义为先前图像的P^-(φ，u)。

如在本总发明构思的实施例中，当如等式7中一样使用快速方案时，可以在实时操作很重要的监视系统环境中使用运动区域分割方法，并且没有快速方案的方法不能被事先使用，尽管其具有优越的性能。因此，即使执行分割区域的迭代，也实时地分割对应于该运动区域的区域以便检测运动。

如上所述，在本总发明构思中，级别设置函数大于0的区域被确定为运动区域，级别设置函数小于0的区域被确定为没有运动的区域。相应地，对级别设置函数大于0的区域进行计数(count)以检测运动区域。因此，在运动分割单元110中，当对应像素的第二函数值大于0时，该对应像素被确定为运动区域的像素，当对应像素的第二函数值小于0时，该对应像素被确定为没有运动的区域的像素，以及当对应像素的第二函数值等于0时，该像素被确定为运动区域边界上的像素。

为了识别当前图像中具有运动对象的部分，对差图像中的被确定为运动区域的像素的数目进行计数。当当前图像的差图像的像素的级别设置函数大于一阈值时，其中作为经验值(empirical value)确定具有大于0的值的像素，在当前图像中存在运动区域，从而确定运动对象存在。因而，当级别设置函数大于0的像素的数目大于预定阈值时，从当前图像中检测到运动。

在下文中，参考图5和图6描述P^±(φ，u)的调整。

为了使能量函数E(φ)最小化，非线性函数P⁺(φ，u)自动得出(draw)运动对象的图像。可替换地，P^-(φ，u)考虑差图像的整体结构，从而得出具有噪声的背景图像。相应的，等式4的能量函数，其中等式4与级别设置函数φ相关，调整关于P⁺(φ，u)和P^-(φ，u)的标准化的程度(the extent of normalization)、以及它的正则性(regularity)。

根据级别设置函数φ的范围的标准值取决于级别设置函数φ和差图像。简单地，P⁺(φ，u)是级别设置函数φ大于0的区域中的像素的平均值，P^-(φ，u)是级别设置函数φ小于0的区域中的像素的平均值。即，当c⁺(φ)为φ＞0的区域中的像素的平均值以及c^-(φ)为φ＜0的区域中的像素的平均值时，P⁺(φ，u)＝c⁺(φ)和P^-(φ，u)＝c^-(φ)。

在本总发明构思的实施例中，因为级别设置函数φ大于0的区域被确定为运动区域以及级别设置函数φ小于0的区域被确定为没有运动的区域，即背景，所以P⁺(φ，u)与运动有关，P^-(φ，u)与背景和噪声有关。

图5是图示根据级别设置函数分割的区域的标准值的图表500。

参考图5，图表500图示了差图像的直方图。图表500的水平轴表示像素值，垂直轴表示频率。

垂直虚直线502表示将级别设置函数φ一分为二的边界线。边界线由P^-以及离开P⁺的距离的比例(proportions)

和

来确定。因此，如果λ₁＝λ₂，则边界线是

在垂直虚直线502右边的区域中，确定表示级别设置函数φ大于0的区域的P⁺(φ，u)，以及在垂直虚直线502左边的区域中，确定表示级别设置函数φ小于0的区域P^-(φ，u)。因此，P⁺(φ，u)是垂直虚直线502右边的区域的平均值，P^-(φ，u)是垂直虚直线502左边的区域的平均值。

在本总发明构思的实施例中，为了适应图像地分割运动区域，根据噪声级别来将P⁺(φ，u)和P^-(φ，u)的图像变形(deform)。具体地，在仅有噪声的图像中，级别设置函数φ几乎不能分割区域，并且因此每个区域c⁺(φ)和c^-(φ)的平均值几乎相似。因此，如果将标准值简单地确定为像素的平均值，则不能完成精确的区域分割。

因此，在仅有噪声的环境中，调整P⁺(φ，u)使得可以完成适应于图像的区域分割。即，代替P⁺(φ，u)＝c⁺(φ)，使用P⁺(φ，u)＝c⁺(φ)+ε₁(u)。这里，ε₁(u)是根据差图像u的经验值。因为在只有噪声的环境中调整ε₁(u)来增大P⁺(φ，u)，所以可以得出更精确的运动区域分割。

图6A和图6B是图示根据本总发明构思的实施例的、根据噪声级别调整运动区域中标准值的方法的图表。

图6A图示了在低照明环境中仅有噪声的图像的直方图，以及图6B图示了具有运动对象的图像的直方图。与图6B中的直方图不同，图6A中的直方图属于在非常低照明环境中仅有噪声的图像，并且因此其集中在左边，使得两个标准值几乎类似并且使得区域分割变得困难。因此，如在P⁺(φ，u)＝c⁺(φ)+ε₁(u)中，P⁺(φ，u)根据监视环境的噪声级别沿平行方向向右运动，即增加，并因此被调整。因而，双峰区域分割也是可能的。

如上所述，根据P^-(φ，u)设置迭代的级别设置函数φ的初始值。因为通过迭代检测运动区域，所以根据取决于背景图像的标准值来设置初始值。这里，可以利用由先前图像的阈值级别c^-(φ)+ε₂(u)对差图像u进行阈值限定的结果来定义级别设置函数φ的初始值。这里，ε₂(u)是根据差图像u的经验值的。

在本总发明构思的实施例中，通过考虑突然的光改变来分割运动区域。在传统的运动区域分割方法中，当在整个图像中产生差值时，诸如光改变，可以确定该整个差图像是运动区域。在本总发明构思中，考虑由于在没有检测到运动的背景中的光改变而大量地产生差值的事实。因此，调整表示没有运动的背景区域的变量P^-(φ，u)，并反映光改变。也就是说，当在先前帧和当前帧之间的差值P^-(φ，u)高于预定值时，确定在整个背景中出现差，从而确认为光改变。因此，适合于光改变的运动区域分割是可能的。

图7是图示根据本总发明构思的实施例的分割运动区域的方法的流程图。参考图7，在操作710中，通过使用来自输入图像序列的先前输入图像来更新背景图像。在操作720中，产生图像序列的当前图像和背景图像之间的差图像。在操作730中，产生用于使第一函数最小化的第二函数，该第一函数包括差图像的运动区域中的正则化能量以及差图像的无运动区域中的正则化能量。在操作740中，基于第二函数分割运动区域。

图8是图示根据本总发明构思的实施例的利用监视摄像机系统分割运动区域的方法的流程图。参考图8，在操作810中，产生图像序列的当前图像和背景图像之间的差图像。在操作820中，产生用于分割运动区域的级别设置函数以便通过同时执行噪声消除和运动区域分割来检测运动。

本总发明构思也可以具体实施为计算机可读介质上的计算机可读代码。该计算机可读介质可以包括计算机可读记录介质和计算机可读传输介质。计算机可读记录介质是可以存储之后可以由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、和光数据存储设备。计算机可读记录介质也可以分布在网络耦接的计算机系统上，从而可以分布方式存储和执行计算机可读代码。计算机可读传输介质可以传送载波或信号(例如，通过因特网的有线或无线数据传输)。同样，本总发明构思所属的领域的程序员可以很容易解释用于完成本总发明构思的功能程序、代码、和代码片段。

在根据本总发明构思的各个实施例的用于在监视摄像机系统中分割运动区域以检测运动的方法和装置中，同时实时地执行运动区域分割和噪声消除，从而即使在低照明环境中也可以准确地检测运动。

自适应双峰分割基于获得正则化的非线性偏微分方程的解的方法，该方程同时组合了运动区域分割和噪声消除。将区域分割算法应用于输入图像序列的各个噪声级别，使得可以在具有大量噪声的低照明环境下更准确地检测运动。另外，同时执行运动区域分割和噪声消除，使得本总发明构思的方法和装置是高效的且对于图像是自适应的。此外，能量函数的正则化减少了产生错误警告的可能性并稳定可靠地检测运动。

即使使用通过迭代的运动区域分割方法，实时操作也是可能的而无需专门的硬件加速器。同样，因为可以考虑影响整个图像的光改变，因此即使在存在突然的光改变时也可以准确地分割运动区域。此外，基于本总发明构思的区域分割算法，可以进一步开发人工智能监视算法，诸如对象跟踪、对象识别、或对象分类。

尽管已经说明和描述本总发明构思的各个实施例，本领域技术人员将理解：在不脱离本总发明构思的原理和精神的情况下，可以对这些实施例作出改变，本总发明构思的范围在所附权利要求书及其等价物中定义。

Claims (25)

1.一种分割运动区域的方法，该方法包括：

使用来自输入图像序列的先前输入图像更新背景图像；

产生图像序列的当前图像和背景图像之间的差图像；

产生使第一函数最小化的第二函数，该第一函数包括差图像的运动区域中的正则化能量和差图像的无运动区域中的正则化能量；以及

基于该第二函数分割运动区域。

2.根据权利要求1的方法，其中，差图像的运动区域中的正则化能量使用基于运动区域的平均值的第一标准值和差图像之间的差，差图像的无运动区域中的正则化能量使用基于无运动区域的平均值的第二标准值和差图像之间的差。

3.根据权利要求1的方法，其中，运动区域和无运动区域的正则化能量中的每个正则化能量分别是运动区域的能量和无运动区域的能量除以运动区域的能量和无运动区域的能量之和。

4.根据权利要求1的方法，其中，所述更新背景图像包括：

把通过将先前输入图像乘以第一加权值得到的结果加到通过将先前输入图像乘以第二加权值得到的结果上，其中第一加权值和第二加权值的和是1。

5.根据权利要求1的方法，其中，所述分割运动区域包括：

将第二函数值大于0的差图像的像素确定为运动区域的像素；

将第二函数值小于0的差图像的像素确定为无运动区域的像素；

将第二函数值等于0的差图像的像素确定为运动区域的边界的像素；以及

当第二函数值大于0的像素的数目高于预定阈值时，确定在当前图像中检测到运动。

6.根据权利要求1的方法，其中，第一函数包括：

使用与第二函数的偏微分值相关的函数的噪声能量。

7.根据权利要求1的方法，其中，所述产生第二函数包括：

通过在限制第二函数的范围后调整第二函数的收敛值来调整迭代频率；以及

通过迭代获得第二函数。

8.根据权利要求7的方法，其中，通过使用先前的第二函数、差图像的偏微分方程、基于第二函数将运动图像的能量正则化的函数、以及基于第二函数将无运动图像的能量正则化的函数，通过迭代来实时地获得第二函数。

9.根据权利要求8的方法，其中，运动区域和无运动区域的正则化能量中的每个正则化能量分别是运动区域的能量和无运动区域的能量除以运动区域的能量和无运动区域的能量之和。

10.根据权利要求2的方法，其中，基于运动区域的平均值，根据差图像的噪声级别来调整第一标准值。

11.根据权利要求2的方法，其中，第二函数具有初始值，该初始值是来自差图像中的先前差图像的第二标准值。

12.根据权利要求1的方法，进一步包括：

当来自差图像中的先前差图像和当前图像的各个无运动区域中的微分值高于预定阈值时，确定存在突然的光改变。

13.根据权利要求1的方法，进一步包括：

通过同时执行噪声消除，基于所分割的运动区域来检测运动。

14.根据权利要求1的方法，其中，通过获得使第一函数最小化的第二函数来执行阈值限定，其中，第一函数是E(φ)和第二函数是φ，当u是差图像时，依赖于第二函数φ和差图像u，P⁺(φ，u)和P^-(φ，u)分别是第二函数φ大于0和小于0的区域中的标准值，H(s)是阶跃函数，其中当s≥0时H(s)＝1和当s＜0时H(s)＝0，Φ是预定的函数，α、λ₁和λ₂是考虑了差图像的变量，

$E\left(\mathrm{\φ}\right)={\∫}_{\mathrm{\Ω}}\mathrm{\Φ}\left(\right|\▿\mathrm{\φ}\left|\right)\mathrm{dx}$

$+{\mathrm{\λ}}_1{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}+\mathrm{\φ}){(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

$-{\mathrm{\λ}}_2{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}-\mathrm{\φ}){(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}.$

15.根据权利要求13的方法，其中，第一函数E(φ)可以使用以下的扩散偏微分方程以获得使第一函数E(φ)最小化的第二函数φ，

$\frac{\∂}{\∂t}\mathrm{\φ}(x,t)=\▿\·(\frac{{\mathrm{\Φ}}^{\′}\left(\right|\▿\mathrm{\φ}\left|\right)}{|\▿\mathrm{\φ}|}\▿\mathrm{\φ})$

$-{\mathrm{\λ}}_1\frac{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2(H(\mathrm{\α}+\mathrm{\φ})+\mathrm{\φ}{H}^{\′}(\mathrm{\α}+\mathrm{\φ}))}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

$+{\mathrm{\λ}}_2\frac{{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2(H(\mathrm{\α}-\mathrm{\φ})-\mathrm{\φ}{H}^{\′}(\mathrm{\α}-\mathrm{\φ}))}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}.$

16.一种分割运动区域的装置，该装置包括：

输入单元，接收图像序列；

背景图像产生单元，通过使用来自图像序列中的先前输入图像来更新背景图像；

差图像产生单元，产生图像序列的当前图像和背景图像之间的差图像；

函数产生单元，产生用于使第一函数最小化的第二函数，该第一函数包括差图像的运动区域的正则化能量和差图像的无运动区域的正则化能量；以及

运动分割单元，基于该第二函数分割运动区域。

17.根据权利要求16的装置，其中，函数产生单元包括：

第一标准值产生单元，基于运动区域的平均值产生第一标准值；

第二标准值产生单元，基于无运动区域的平均值产生第二标准值；

第二函数产生单元，通过使用利用了第一标准值和差图像之间的差的运动区域中的正则化能量以及利用了第二标准值和差图像之间的差的无运动区域中的正则化能量来获得第二函数；

调整单元，通过在限制第二函数的范围后调整第二函数的收敛值，来调整迭代频率；以及

获取单元，通过迭代获得第二函数；

其中，通过使用先前的第二函数、差图像的偏微分方程、基于第二函数将运动图像的能量正则化的函数、以及基于第二函数将无运动图像的能量正则化的函数，通过迭代来实时地获得第二函数；

以及基于运动区域的平均值，根据差图像的噪声级别来调整第一标准值；

以及运动区域和无运动区域的正则化能量中的每个正则化能量分别是运动区域的能量和无运动区域的能量除以运动区域的能量和无运动区域的能量之和。

18.根据权利要求16的装置，其中，运动区域和无运动区域的正则化能量中的每个正则化能量分别是运动区域的能量和无运动区域的能量除以运动区域的能量和无运动区域的能量之和。

19.根据权利要求16的装置，其中，在背景图像产生单元中，把通过将先前图像乘以第一加权值获得的结果加到将先前图像乘以第二加权值获得的结果上，其中第一加权值与第二加权值的和为1。

20.根据权利要求16的装置，其中，运动分割单元包括：

确定单元，将第二函数值大于0的差图像的像素确定为运动区域的像素，将第二函数值小于0的差图像的像素确定为无运动区域的像素，将第二函数值等于0的差图像的像素确定为运动区域边界的像素；以及

运动分割单元，当第二函数值大于0的像素的数目高于预定阈值时，确定在当前图像中检测到运动。

21.根据权利要求17的装置，其中，第一函数包括：

使用与第二函数的偏微分值相关的函数的噪声能量；

并且第二函数具有初始值，该初始值是来自差图像中的先前差图像的第二标准值。

22.根据权利要求15的装置，进一步包括：

光改变检测单元，当来自差图像中的先前差图像和当前图像的各个无运动区域中的微分值高于预定阈值时，确定存在突然的光改变。

23.根据权利要求16的装置，进一步包括：

运动检测器单元，通过同时执行噪声消除，基于所分割的运动区域检测运动。

24.根据权利要求15的装置，其中，通过获得使第一函数最小化的第二函数来执行阈值限定，其中，第一函数是E(φ)和第二函数是φ，当u是差图像时，依赖于第二函数φ和差图像u，P⁺(φ，u)和P^-(φ，u)分别是第二函数φ大于0和小于0的区域中的标准值，H(s)是阶跃函数，其中当s≥0时H(s)＝1和当s＜0时H(s)＝0，Φ是预定的函数，α、λ₁和λ₂是考虑了差图像的变量，

$E\left(\mathrm{\φ}\right)={\∫}_{\mathrm{\Ω}}\mathrm{\Φ}\left(\right|\▿\mathrm{\φ}\left|\right)\mathrm{dx}$

$+{\mathrm{\λ}}_1{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}+\mathrm{\φ}){(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

$-{\mathrm{\λ}}_2{\∫}_{\mathrm{\Ω}}\frac{H(\mathrm{\α}-\mathrm{\φ}){(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2\mathrm{\φ}\left(x\right)}{{\mathrm{\λ}}_1{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{\mathrm{\λ}}_2{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}\mathrm{dx}$

其中，第一函数E(φ)使用以下的扩散偏微分方程以获得使第一函数E(φ)最小化的第二函数φ，

$\frac{\∂}{\∂t}\mathrm{\φ}(x,t)=\▿\·(\frac{{\mathrm{\Φ}}^{\′}\left(\right|\▿\mathrm{\φ}\left|\right)}{|\▿\mathrm{\φ}|}\▿\mathrm{\φ})-{\mathrm{\λ}}_1\frac{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2(H(\mathrm{\α}+\mathrm{\φ})+\mathrm{\φ}{H}^{\′}(\mathrm{\α}+\mathrm{\φ}))}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}$

$+{\mathrm{\λ}}_2\frac{{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2(H(\mathrm{\α}-\mathrm{\φ})-\mathrm{\φ}{H}^{\′}(\mathrm{\α}-\mathrm{\φ}))}{{(u\left(x\right)-P^{+}(\mathrm{\φ},u))}^2+{(u\left(x\right)-P^{-}(\mathrm{\φ},u))}^2}.$

25.一种在其上包含了用于执行以下方法的计算机程序的计算机可读记录介质，该方法包括：

通过使用来自输入图像序列的先前输入图像来更新背景图像；

产生图像序列的当前图像和背景图像之间的差图像；

产生使第一函数最小化的第二函数，该第一函数包括差图像的运动区域中的正则化能量和差图像的无运动区域中的正则化能量；以及

基于该第二函数分割运动区域。

Images