CN106127801A - 一种运动区域检测的方法和装置 - Google Patents

Abstract

本发明实施例提供了一种运动区域检测的方法和装置，属于图像处理技术领域，检测的方法可以获取目标场景的第一帧图像和第二帧图像，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像，通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数，根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准，并根据所述处理后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域，以提高运动区域检测的精准度和快速性。

Description

一种运动区域检测的方法和装置

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种运动区域检测的方法和装置。

背景技术

人们感知的信息中有大部分以上是可视化信息，包括静态图像和时变图像。静态图像的特点是其信息密度随空间分布，且相对于时间为常量。而时变图像其空间密度特性是随时间变化的，所以时变图像是一种时间-空间密度模式。随着数字图像处理技术和硬件的发展，无论是静态图像的数字处理还是时变图像的处理已经广泛应用于数字电视，多媒体，可视电话以及其他消费娱乐领域。

虚拟现实设备，例如VR头盔、VR眼镜和VR可穿戴设备，是利用仿真技术与计算机图形学、传感技术和网络技术等多种技术集合的产品，能够实现立体图像的显示，给使用者带来逼真、效果新奇的沉浸式体验，也可以与各种娱乐和游戏场景结合，为用户带来全新的逼真体验。随着虚拟现实设备功能和应用场景的不断丰富和完善，不可避免的需要利用到目标场景的运动视觉分析技术。目标场景的运动视觉分析主要是针对目标场景的运动图像序列进行分析处理，通常涉及到运动区域检测和运动跟踪等过程。例如，在某些应用场景下，虚拟现实设备可能需要检测人体手部的运动，即需要检测运动区域。然而，在实现本发明的过程中，发明人发现现有的虚拟现实设备中采用的运动区域检测方法不够精准和快速，影响了虚拟现实设备的性能。

发明内容

本发明实施例的目的在于提供一种运动区域检测的方法和装置，以提高运动区域检测的精准度和快速性。

本发明实施例采用的技术方案如下：

本发明实施例提供一种运动区域检测的方法，该方法包括：

获取目标场景的第一帧图像和第二帧图像，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像；

通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数；

根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准；

根据所述处理后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域。

可选地，所述第一帧图像与所述第二帧图像之间的对准参数包括：所述第一帧图像与所述第二帧图像之间的旋转角度和平移量。

可选地，所述第一帧图像与所述第二帧图像之间的对准参数还包括：所述第一帧图像与所述第二帧图像之间的缩放尺度。

可选地，根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准包括：根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行旋转、平移或者缩放，以实现所述第一帧图像与所述第二帧图像的对准。

可选地，根据所述处理后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域包括：将所述对准后的第二帧图像与所述第一帧图像之间对应的像素值进行相减得到差分图像；根据所述差分图像和预设阈值，确定所述目标场景的运动区域。

本发明实施例还提供了一种用于检测运动区域的装置，包括：

获取模块，用于获取目标场景的第一帧图像和第二帧图像，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像；

对准模块，用于通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数，以及根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准；

确定模块，用于根据所述对准模块对准后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域。

可选地，所述第一帧图像与所述第二帧图像之间的对准参数包括：所述第一帧图像与所述第二帧图像之间的旋转角度和平移量。

可选地，所述第一帧图像与所述第二帧图像之间的对准参数还包括：所述第一帧图像与所述第二帧图像之间的缩放尺度。

可选地，所述对准模块具体用于根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行旋转、平移或者缩放，以实现所述第一帧图像与所述第二帧图像的对准。

可选地，所述确定模块具体用于将所述对准后的第二帧图像与所述第一帧图像之间对应的像素值进行相减得到差分图像，并根据所述差分图像和预设阈值，确定所述目标场景的运动区域。

本发明实施例的技术方案具有以下优点：通过基于互功率谱的图像配准方法，对第二帧图像进行快速对准，得到对准后的第二帧图像，再利用第一帧图作为对准后的第二帧图像的背景模型，确定运动区域，具有较好的实时性，计算速度快，解决了现有技术中确定运动区域时不够快速和精准的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种运动区域检测的方法的流程图；

图2为本发明实施例提供的又一种运动区域检测的方法的流程图；

图3为本发明实施例提供的一种用于检测运动区域的装置的结构组成示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

运动目标检测又称运动区域检测，是指在序列图像中检测出变化区域并将运动目标从背景图像中提取出来。通常情况下，目标分类、跟踪和行为理解等后处理过程仅仅考虑图像中对应于运动目标的像素区域，因此运动目标的正确检测与分割对于后期处理非常重要。

本发明实施例提供了一种运动区域检测的方法，如图1所示，该方法可以精准快速的确定运动区域，具有广泛的用途，该方法主要包括：

S101：获取目标场景的第一帧图像和第二帧图像。

其中，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像。

需要注意的是，在本发明所有实施例中，第一帧图像和第二帧图像并不是特指第一次获得的目标场景的图像和第二次获得的目标场景的图像，而是包括目标场景在任意时刻的当前帧图像和当前帧图像的前一帧图像。在本发明所有实施例中，所述第二帧图像可以为当前帧图像，所述第一帧图像可以为所述第二帧图像的前一帧图像。可选地，还可以是所述第一帧图像为当前帧图像，所述第二帧图像可以为所述第一帧图像的前一帧图像。

S102：通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数。

图像配准可以将来自不同时间、不同视角甚至不同传感器得到的同一场景图像进行对准。例如利用VR头盔的传感器对目标场景的图像进行采集或监控时，VR头盔的使用者在对第一帧图像进行采集和第二帧图像进行采集之间，头部进行了偏转甚至平移，那么采集到的第一帧图像和第二帧图像中，即使是相同的静止的背景之间，也可能存在角度的旋转或者平移，从而需要采用图像对准的方法，将两帧图像进行对准之后，才能进行比较得到运动区域。

具体地，在本发明实施例中，可以采用基于互功率谱的图像配准方法，该方法对存在平移、旋转、缩放情况下图像都能够进行快速的配准。该基于互功率谱(相位相关)图像配准方法的理论基础是傅里叶变换，目前在傅里叶变换领域有了快速算法fft，因此速度较快，而且配准的结果也非常精确，能够满足虚拟现实等领域的需求。

例如，假设第一帧图像为f(x,y)，其傅里叶变换为F(u,v)，第二帧图像为g(x,y)，图像g(x,y)相对图像f(x,y)发生的位移为(x₀,y₀)，则它们满足如下关系：

g(x,y)＝f(x-x₀,y-y₀)

g(x,y)的傅里叶变换可以表示为G(u,v)：

$G(u,v)=e^{-i2\mathrm{\π}({\mathrm{ux}}_0+{\mathrm{vy}}_0)}F(u,v)$

其归一化的互功率谱可以表示为：

$\frac{F(u,v)G^{*}(u,v)}{\left|F(u,v)G^{*}(u,v)\right|}=e^{i2\mathrm{\π}({\mathrm{ux}}_0+{\mathrm{xy}}_0)}$

其中，G^*(u,v)表示G(u,v)的共轭。

对进行傅里叶逆变换，得到，

$F^{-1}\left\{e^{i2\mathrm{\π}({\mathrm{ux}}_0+{\mathrm{vy}}_0)}\right\}=\mathrm{\δ}(x-x_0,y-y_0)$

由上述公式可知，脉冲函数δ(x-x₀,y-y₀)在位置(x₀,y₀)处有明显的尖锐峰值，其它位置的值接近于零，据此可以获取两图像间的偏移量。

如果通过傅里叶-梅林变换(FMT,Fourier-Mellin Transform)，将图像变换到对数极坐标下，同样采用上述原理，即可获取图像间的角度旋转量。

S103：根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准。

可选地，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准可以是：根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行旋转、平移或者缩放等处理，以实现所述第一帧图像与所述第二帧图像的对准。通过对准之后，第一帧图像和处理后的第二帧图像中相同的静止的背景之间将处于相同的位置，通过将两幅图像的像素值相减，可以相互抵消，从而可以最终得到运动区域。

S104：根据所述处理后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域。

在本发明实施例中，通过基于互功率谱的图像配准方法，对第二帧图像进行快速处理，实现所述第一帧图像与所述第二帧图像的对准，再利用第一帧图作为所述处理后的第二帧图像的背景模型，确定运动区域，具有较好的实时性，其背景不积累，且更新速度快、算法计算量小，解决了现有技术中确定运动区域时不够快速和精准的问题。

进一步地，在步骤S102中，考虑到第一帧图像和第二帧图像之间可能存在平移和旋转，因而，所述第一帧图像和第二帧图像之间的对准参数可以是第一帧图像和第二帧图像之间的旋转角度和平移量。可选地，如果考虑所述第一帧图像和第二帧图像之间，除了可能存在平移和旋转外，还可能存在缩放，则所述第一帧图像和第二帧图像之间的对准参数还可以包括所述第一帧图像和第二帧图像之间的缩放尺度。

相应地，在步骤S103中，可以根据所述第一帧图像和第二帧图像之间的旋转角度、平移量或者缩放尺度，对所述第二帧图像进行旋转、平移或者缩放，从而使得所述第一帧图像与所述校正后的第二帧图像处于相同的基准，目标场景中静止的区域将在上述两帧图像中处于基本一致的位置，具有基本一致的像素值。

可选的，在S104中，确定所述目标场景的运动区域时，可以采用帧差法。帧差法是运动目标检测和分割方法之一，基本原理是在图像序列相邻两帧或者三帧件采用基于像素的时间差分通过闭值化来提取出图像中的运动区域。

具体地，S104可以分为两个步骤进行，如图2所示：

S104a：将所述对准后的第二帧图像与所述第一帧图像之间对应的像素值进行相减得到差分图像。

S104b：根据所述差分图像和预设阈值，确定所述目标场景的运动区域。

可选地，所述预设阈值可以是0或者接近0的一个数值。

具体地，在得到所述差分图像后，可以对所述差分图像二值化，在环境亮度变化不大的情况下，如果所述差分图像中某区域对应的像素值变化小于预设阈值时，可以认为此处为目标场景中的背景像素，如果所述差分图像中某区域对应的像素值变化很大，可以认为这是由于目标场景中的运动物体引起的，将这些区域标记为前景像素，利用标记的前景像素区域可以确定所述目标场景的运动区域。

其中，所述预设阈值的选择比较重要，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。可选地，所述预设阈值由所述目标场景的环境亮度确定。

可选地，所述方法可以用于头戴式虚拟现实设备中，例如虚拟现实(VirtualReality，VR)头盔。

本发明实施例提供了一种用于检测运动区域的装置，如图3所示，该装置30包括获取模块301、对准模块302和确定模块303。

所述获取模块301，用于获取目标场景的第一帧图像和第二帧图像，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像。

所述对准模块302，用于通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数，以及根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准。具体地，图像配准可以将来自不同时间、不同视角甚至不同传感器得到的同一场景图像进行对准。在本发明实施例中，可以采用基于互功率谱的图像配准方法，该方法对存在平移、旋转、缩放情况下图像都能够进行快速的配准。该基于互功率谱(相位相关)图像配准方法的理论基础是傅里叶变换，目前在傅里叶变换领域有了快速算法fft，因此速度较快，而且配准的结果也非常精确，能够满足虚拟现实等领域的需求。

所述确定模块303，用于根据所述对准模块302对准后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域。

在本发明实施例中，对准模块302通过基于互功率谱的图像配准方法，得到第一帧图像与第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准，从而确定模块303可以根据所述处理后的第二帧图像与所述第一帧图像，确定目标场景的运动区域。基于互功率谱的图像配准方法的采用，可以实现第二帧图像的快速和精确的配准，再通过对第一帧图像和对准后的第二帧图像进行对比，就能快速得到运动区域，实现了运动区域检测的精准度和快速性，能够满足虚拟现实等领域的需求。

可选地，考虑到第一帧图像和第二帧图像之间可能存在平移和旋转，则所述第一帧图像与所述第二帧图像之间的对准参数可以包括：所述第一帧图像与所述第二帧图像之间的旋转角度和平移量。可选地，如果考虑所述第一帧图像和第二帧图像之间，除了可能存在平移和旋转外，还可能存在缩放，则所述第一帧图像和第二帧图像之间的对准参数还可以包括所述第一帧图像与所述第二帧图像之间的缩放尺度。则所述对准模块302可以根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行旋转、平移或者缩放，使得所述第一帧图像与所述处理后的第二帧图像处于相同的基准，目标场景中静止的区域将在上述两帧图像中处于基本一致的位置，具有基本一致的像素值，从而实现所述第一帧图像与所述第二帧图像的对准。

可选地，所述确定模块303可以将所述对准后的第二帧图像与所述第一帧图像之间对应的像素值进行相减得到差分图像，并根据所述差分图像和预设阈值，确定所述目标场景的运动区域。其中，所述预设阈值的选择比较重要，选择过低不足以抑制图像中的噪声，过高则忽略了图像中有用的变化。可选地，所述预设阈值可以是0或者接近0的一个数值，所述预设阈值也可以由所述目标场景的环境亮度确定。具体实现时，所述确定模块302在得到所述差分图像后，可以对所述差分图像二值化，在环境亮度变化不大的情况下，如果所述差分图像中某区域对应的像素值变化小于预设阈值时，可以认为此处为目标场景中的背景像素，如果所述差分图像中某区域对应的像素值变化很大，可以认为这是由于目标场景中的运动物体引起的，将这些区域标记为前景像素，利用标记的前景像素区域可以确定所述目标场景的运动区域。

可选地，所述装置可以为头戴式虚拟显示设备，例如VR头盔，VR眼镜等等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种运动区域检测的方法，其特征在于，所述方法包括：

获取目标场景的第一帧图像和第二帧图像，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像；

通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数；

根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准；

根据所述处理后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域。

2.根据权利要求1所述的方法，其特征在于，所述第一帧图像与所述第二帧图像之间的对准参数包括：

所述第一帧图像与所述第二帧图像之间的旋转角度和平移量。

3.根据权利要求2所述的方法，其特征在于，所述第一帧图像与所述第二帧图像之间的对准参数还包括：

所述第一帧图像与所述第二帧图像之间的缩放尺度。

4.根据权利要求1-3任一项所述的方法，其特征在于，根据所述处理后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域包括：

将所述对准后的第二帧图像与所述第一帧图像之间对应的像素值进行相减得到差分图像；

根据所述差分图像和预设阈值，确定所述目标场景的运动区域。

5.根据权利要求1-3任一项所述的方法，其特征在于，根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准包括：

根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行旋转、平移或者缩放，以实现所述第一帧图像与所述第二帧图像的对准。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法用于头戴式虚拟显示设备中。

7.一种运动区域检测的装置，其特征在于，包括：

获取模块，用于获取目标场景的第一帧图像和第二帧图像，所述第一帧图像与所述第二帧图像为所述目标场景的相邻两帧的图像；

对准模块，用于通过基于互功率谱的图像配准方法，得到所述第一帧图像与所述第二帧图像之间的对准参数，以及根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行处理，以实现所述第一帧图像与所述第二帧图像的对准；

确定模块，用于根据所述对准模块对准后的第二帧图像与所述第一帧图像，确定所述目标场景的运动区域。

8.根据权利要求7所述的装置，其特征在于，所述第一帧图像与所述第二帧图像之间的对准参数包括：

所述第一帧图像与所述第二帧图像之间的旋转角度和平移量。

9.根据权利要求8所述的装置，其特征在于，所述第一帧图像与所述第二帧图像之间的对准参数还包括：

所述第一帧图像与所述第二帧图像之间的缩放尺度。

10.根据权利要求7-9任一项所述的装置，其特征在于，所述确定模块具体用于将所述对准后的第二帧图像与所述第一帧图像之间对应的像素值进行相减得到差分图像，并根据所述差分图像和预设阈值，确定所述目标场景的运动区域。

11.根据权利要求7-9任一项所述的装置，其特征在于，所述对准模块具体用于根据所述第一帧图像与所述第二帧图像之间的对准参数，对所述第二帧图像进行旋转、平移或者缩放，以实现所述第一帧图像与所述第二帧图像的对准。

12.根据权利要求7-9任一项所述的装置，其特征在于，所述装置为头戴式虚拟显示设备。