CN103679749A - 一种基于运动目标跟踪的图像处理方法及装置 - Google Patents

Abstract

本发明公开一种基于运动目标跟踪的图像处理方法及装置，所述方法包括：获取所拍摄的N帧图像，其中N为大于2的正整数；记录最后一帧图像为结果帧；提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；将所提取的区域图像拼接到结果帧的目标轮廓区域。本发明通过处理多帧视频，检测到运动目标位置移动，恢复被遮挡区域的真实背景图像，完成运动物体擦除的效果。

Description

一种基于运动目标跟踪的图像处理方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种基于运动目标跟踪的图像处理方法及装置。

背景技术

在图像拍摄过程中，尤其是在复杂环境中进行拍摄时，例如在人员密集的公园进行拍摄，由于行走的人流不断，往往拍摄的图像中会包含不希望的人的图像。目前很多拍摄设备都通过处理一张静态图片，使用图像修复方法去除运动目标。传统的主要的方法有以下几种：

(1)偏微分方程的方法：Bertalmio采用偏微分方程(PDE)的方法进行图像修复，取得了较好的效果。用户需指定需要修复的区域，算法将待修补的区域边界的等值线外部的信息沿轮廓法向扩散到中间待修补的象素上。该算法利用局部颜色的光滑度沿着等值线扩散，考虑了各向异性的扩散，以保证边缘处的边界连续，但该方法计算不稳定。

(2)整体变分方法和基于曲率的扩散模型：整体变分方法(TV，TotalVariational)采用了欧拉-拉格朗日方程和各向异性的扩散，基于曲率的扩散模型(CDD，Curvature-DrivenDiffusion)方法是整体变分方的一种扩展，在扩散过程中考虑了轮廓的几何信息(曲率)，可以处理较大的区域，但边界处往往很模糊。

(3)高斯卷积核对图像进行滤波的方法：利用了高斯卷积核对图像进行滤波，能快速地修复破损区域，但该算法仅考虑了破损区域边缘一周的图像颜色值，使得其仅适用于破损区域为2-3个象素宽度的情形。

(4)纹理合成的方法：纹理合成的方法，能较好地去除图像中的大块污斑，但由于算法运行时间不是与掩模区域成正比，而是与图像大小成正比，因此修复时间相对较长。

上述现有处理算法都是通过处理被擦除目标周围区域图像并填充到被擦除区域，因此，无法真正恢复被擦除目标遮挡住的真实背景。此外，当要处理的目标区域较大时，擦除的效果非常差；而且需要手动设置擦除区域的位置、面积等参数，因此，操作不方便而且不准确。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于运动目标跟踪的图像处理方法及装置。

依据本发明的一个方面，提供了一种基于运动目标跟踪的图像处理方法，该方法包括：获取所拍摄的N帧图像，其中N为大于2的正整数；记录最后一帧图像为结果帧；提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；将所提取的区域图像拼接到结果帧的目标轮廓区域。

可选地，本发明方法中所述提取每帧图像中运动目标的轮廓的步骤包括：对所获取的N帧图像建立背景模型，以获取每帧图像的背景图像；基于所获取的每帧图像的背景图像，提取每帧图像中运动目标的前景图像；基于所述运动目标的前景图像提取每帧图像中的运动目标的轮廓。

可选地，本发明方法中在所述对所获取的N帧图像建立背景模型的步骤之前还包括：将所获取的N帧图像转换为灰度图像；所述对所获取的N帧图像建立背景模型的步骤具体地为：对所述灰度图像建立背景模型；所述基于所获取的每帧图像的背景图像来提取每帧图像中运动目标的前景图像的步骤具体为：将每帧图像的灰度图像与其对应的背景图像进行差分，提取运动目标的前景二值图像。

可选地，本发明方法中所述对所述图像建立背景模型的步骤具体为：通过混合高斯背景模型、两帧差分算法、三帧差分算法、和背景减除算法中之一对所述图像建立背景模型。

可选地，本发明方法中所述将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤具体为：通过尺度不变特征变换特征匹配算法、ORB自然特征匹配算法或其他视频防抖动技术将所提取的区域图像拼接到目标帧的目标轮廓区域附近。

可选地，本发明方法中所述通过尺度不变特征变换特征匹配算法将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤包括：提取结果帧的目标轮廓区域周围图像的特征点；提取目标帧的目标轮廓区域周围图像的特征点；匹配提取到结果帧的目标轮廓区域周围图像的特征点与目标帧轮廓区域周围图像的特征点，获得各特征点在水平和垂直方向上的相对偏移量；在计算目标帧的目标轮廓区域在背景图像上的实际覆盖位置时，加上所述相对偏移量，获得所述区域图像在结果帧中的拼接位置；将所述区域图像拼接在结果帧中的所述拼接位置。

可选地，本发明方法中获取所拍摄的N帧图像的步骤之前还包括：设置所获取的图像的帧数N，以使得在所获取图像中的第一帧和最后一帧中运动目标的位置不重合。

此外，本发明还提供一种基于运动目标跟踪的图像处理装置，包括：图像采集缓存模块，其适于采集运动目标的视频中的最新N帧序列图像并缓存，其中N为大于2的正整数；检测模块，其适于检测所述装置的拍照键是否被按下；记录模块，其适于在所述检测模块检测到所述装置的拍照键被按下时，记录缓存的最后一帧图像为结果帧；轮廓提取模块，其适于对所缓存的每一帧图像提取运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；目标帧确定模块，其适于在提取过运动目标轮廓的每帧图像中寻找运动目标的轮廓与结果帧图像中的目标轮廓相距最远的一帧图像，记为目标帧；区域图像提取模块，其适于从所述目标帧中提取与结果帧中的目标轮廓区域相同的区域作为区域图像；拼接模块，其适于将所提取的区域图像拼接到结果帧的目标轮廓区域附近。

可选地，所述轮廓提取模块包括：背景图像获取单元，其适于对所缓存的最新N帧图像建立背景模型，以获取每帧图像的背景图像；前景图像提取单元，其适于将每一帧图像与其对应的背景图像进行差分，提取运动目标的前景图像；轮廓提取单元，其适于基于所述前景图像提取单元所提取的运动目标的前景图像，提取每帧图像中运动目标的轮廓。

可选地，所述轮廓提取模块还包括：图像转换模块，其适于将所缓存的最新N帧图像从彩色图像转换为灰度图像；其中，所述背景图像获取模块对所述图像转换模块获得的所述灰度图像建立背景模型，获取每帧图像的背景图像。

可选地，本发明所述的装置还包括：设置模块，其适于设置在运动目标的视频中采集的序列图像的帧数N，以使得在所采集的序列图像中的第一帧和最后一帧中运动目标的位置不重合。

本发明通过处理多帧视频，检测到运动目标位置移动，恢复被遮挡区域的真实背景图像，完成运动物体擦除的效果。可处理面积较大的运动目标，且擦除效果不受运动目标面积影响。可自动识别运动目标并进行擦除，无需或仅需少量人工干预。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1A示出了根据本发明的实施方式的一种基于运动目标跟踪的图像处理方法的流程图；

图1B示出了图1A中提取每帧图像中运动目标的轮廓的步骤的一种实现方式；

图2A-图20示出了缓存的15帧彩色图像经转换后的灰度图像；

图3示出了对所获取的N帧图像的灰度图像建立背景模型而得到的实时背景图像；

图4示出了通过OpenCV接口提取出的第一帧图像的灰度图像的前景图像；

图5示出了图2A所示的第一帧图像的运动目标轮廓提取效果图；

图6示出了图20所示的最后一帧图像的运动目标轮廓提取效果图；

图7示出了擦除运动目标轮廓后的背景图像；以及

图8示出了根据本发明的一种实施方式的基于运动目标跟踪的图像处理装置的结构方框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

视频运动目标跟踪是通过对视频中多帧序列进行处理，提取和识别出静态或动态背景中运动目标的轮廓，并实时进行跟踪的一种技术。对于图像中运动目标的检测，一般的方法是采用混合高斯背景模型算法，其通过对背景建模，对一幅给定图像分离出前景和背景，一般来说，前景就是运动物体，从而达到运动物体检测的目的。

本发明实现的原理在于：通过运动目标检测获取多帧视频中运动物体的位置；对于视频中的多帧序列图像，初始时检测到目标在位置A，该帧图像记为初始帧，然后持续跟踪该目标位置，当发现目标运动完全离开初始位置A，即被该运动目标遮挡的位置完全露出时，结束跟踪，并将当前露出的背景图像复制到初始帧相同位置，从而在最终的图像中删除所跟踪的运动目标。

图1A示出了根据本发明的实施方式的一种基于运动目标跟踪的图像处理方法的流程图。如图1A所示，该方法始于步骤S110，在步骤S110，获取所拍摄的N帧图像，其中N为大于2的正整数。这里，N是一个确定的值，其设置原则通常为只要满足能够使得在所获取的图像中的第一帧和最后一帧中运动目标的位置不重合即可。在摄影设备的测试、开发或使用过程中可以通过调整该参数以达到最优效果。为了提高摄影设备(例如相机)的流畅度，在取景阶段、在按下拍照键前会不断地更新并缓存N帧图像以保持最新，当检测到按下拍照键时，停止缓存图像，并对当前缓存的最新N帧图像进行处理，这样摄影设备在拍摄过程中不会产生卡顿现象。例如，在本发明的一个实施例中，N取15，即在检测到按下拍照键之前，缓存最新的15帧彩色图像序列，每帧图片的大小为1280×720。另外，所拍摄的N帧图像可以是彩色图像、也可以是黑白图像、或者是其它颜色模式的图像。

接下来，在步骤S120，记录最后一帧图像为结果帧。例如，在本发明的一个实施例中，在检测到按下拍照键之前缓存了最新的15帧彩色图像序列，则将缓存的最后一帧(即第15帧)图像记录为结果帧。

随后，在步骤S130，提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓。

可选地，步骤S130中提取每帧图像中运动目标的轮廓的步骤可以由下列步骤来实现，如图1B所示：

步骤S131，对所获取的N帧图像建立背景模型，以获取每帧图像的背景图像。具体来说，可以通过混合高斯背景模型算法、两帧差分算法、三帧差分算法、和背景减除算法中任何一种现有的算法对图像建立背景模型。

下面以混合高斯背景模型算法为例说明对所获取的N帧图像建立背景模型。在利用混合高斯背景模型算法建立并实时更新背景的情况下，首先建立初始高斯混合背景模型，然后不断使用缓存中新的图像更新该模型，获得每一帧更新背景后所得到的实时背景图像。在缓存的N帧图像中，后一帧图像是相对于前一帧图像的新的图像。例如，对于所获取的前面的15帧图像图2A-图20，先用图2A所示的第1帧图像建立初始高斯混合背景模型，然后再用图2B所示的第2帧图像更新初始高斯混合背景模型，再利用图2C所示的第3帧图像进一步更新高斯混合背景模型，这样依次更新高斯混合背景模型，直到用图20所示的第15帧图像更新高斯混合背景模型，获取最新的实时背景图像。具体实现时，本发明例如可以使用OpenCV开源开发库中封装的类BackgroundSubtractorMOG声明模型对象，并使用接口函数public voidapply实时更新背景图像，从而获取实时背景图像。这里要特别说明的是，为了提高图像处理速度，优选地，在执行步骤S131之前，可以执行步骤S135，将所获取的N帧图像转换为灰度图像。例如可以调用OpenCV接口函数cvtColor，转换每帧图像为灰度图像，图2A-图20示出了缓存的15帧彩色图像经转换后的灰度图像。另外，本发明也可以采用其它的将彩色图像转换成灰度图像的转换算法，例如，彩色图像转换为灰度图像是通过将彩色图像中的三个通道的颜色值取平均值，得出一个通道值作为灰度图像的通道值，或者只取三个通道中的一个通道值作为灰度图的通道值。如果在执行步骤S131之前执行了步骤S135，那么，相应地，在步骤S131中，对所获取的N帧图像的灰度图像建立背景模型，得到如图3所示的实时背景图像。

下面具体介绍混合高斯背景模型算法的建模方式。混合高斯背景模型算法使用K(基本为3到5个)个混合高斯背景模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯背景模型，用当前图像中的每个像素点与混合高斯背景模型匹配，如果成功则判定该点为背景点，否则为前景点。混合高斯背景模型主要由方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制，将直接影响到模型的稳定性、精确性和收敛性。为了对运动目标的背景提取建模，因此需要对混合高斯背景模型中方差和均值两个参数实时更新。为了提高模型的学习能力，改进方法以便对均值和方差的更新采用不同的学习率；为了提高在繁忙的场景下，大而慢的运动目标的检测效果，引入权值均值的概念，建立背景图像并实时更新，然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。

然后，在步骤S132，基于所获取的每帧图像的背景图像，提取每帧图像中运动目标的前景图像。具体地，将每帧图像与在步骤S131中提取的背景图像进行差分，提取出运动目标的前景二值图像，例如，本发明可以使用OpenCV接口public void apply获取运动目标的前景二值图像。另外，如果在步骤S131中获得的每帧图像的背景图像为灰度图像时，那么，相应地，在所述步骤S132中，将每帧图像的灰度图像与在步骤S131中获得的每帧图像的对应的背景图像进行差分，提取运动目标的前景二值图像，图4示出了通过上述OpenCV接口提取出的第一帧图像的灰度图像的前景图像。

随后，在步骤S133，基于所述运动目标的前景图像提取每帧图像中的运动目标的轮廓。由于噪声和误差的存在，通过图像差分会得到多个分离的小轮廓，因此需要将所有轮廓集合进行聚合处理：

提取的矩形轮廓使用如下定义的CvRect存储，CvRect定义如下：

设矩形轮廓1和矩形轮廓2分别为rectl(x1，y1，widthl，heightl)，rect2(x2，y2，width2，height2)，则以两个矩形轮廓中心点的直线距离为两个矩形轮廓的距离，即按如下公式计算：

$\mathrm{dis}\tan \mathrm{ce}=\sqrt{{[(x_2+\frac{{\mathrm{width}}_2}{2})-(x_1+\frac{{\mathrm{width}}_1}{2})]}^2+{[(Y_2+\frac{{\mathrm{height}}_2}{2})-(Y_1+\frac{{\mathrm{height}}_1}{2})]}^2}$

若 $\mathrm{dis}\tan \mathrm{ce}\≤\frac{\min ({\mathrm{widht}}_1,{\mathrm{height}}_1)+\min ({\mathrm{width}}_2,{\mathrm{height}}_2)}{2}\×\∂,$ 其中

在本发明中设

为1.2，则认为两个矩形轮廓可合并成一个新的轮廓，该新的轮廓为rect3(x3，y3，width3，height3)。其中

x3＝min(x1，x2)，y3＝min(y1，y2)，

widht3＝max(x1+widht1，x2+widht2)-min(x1，x2)，

height3＝max(y1+height1，y2+height2)-min(y1，y2)。

对于前面图2A-20所示的例子，通过如上的处理，图2A所示的第一帧图像的运动目标轮廓提取效果图如图5所示，图20所示的最后一帧图像的运动目标轮廓提取效果图如图6所示，同样地，可以获得图2B-图2N所示的每帧图像的运动目标轮廓提取效果图。之后，在步骤S140，将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧。这样，可以保证结果帧与目标帧之间不会有重合的区域，便于进行背景图像的恢复。对于前面图2A-20所示的例子，在步骤S130中获得的每帧图像的运动目标轮廓提取效果图中，寻找与最后一帧(即结果帧，如图20所示)图像中提取的运动目标轮廓相距最远的一帧图像中提取的运动目标轮廓(这种计算不规则目标间距离的方法有多种，本发明通过计算两个四边形的中心点的欧式距离来作为两个运动目标轮廓间的距离值)，则该帧图像记为目标帧(即第一帧，如图2A所示的图像，在图5中标示出了图2A所示的图像中的运动目标的轮廓)。

随后，在步骤S150，从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像。对于前面图2A-20所示的例子，图5中示出了目标帧(即第一帧)图像中提取的目标轮廓，图6中示出了结果帧(即最后一帧)图像中提取的目标轮廓。从图5中提取与图6中的目标轮廓区域坐标相同的区域作为区域图像。由于目的是为了擦除图6中的运动目标图像(即图6中的人)，而在图5中和图6中的人处于不同的位置，而且不相互交叉，因此，可以获取图5中与图6中人所在区域相同的区域作为区域图像，以替换图6中的人所在的区域。

随后，在步骤S160，将所提取的区域图像拼接到结果帧的目标轮廓区域。对于前面图2A-20所示的例子，用在步骤S150中提取的图5中的区域图像替换图6中的运动目标轮廓区域，并将二者进行拼接，从而得到擦除运动目标轮廓后的背景图像，如图7所示。

另外，所获得的多帧图像在拍摄的过程中，如果没有抖动存在，那么通过本发明的方法可以精确地得到要恢复的背景图像位置。然而，在拍摄的过程中可能存在画面的抖动，所以目标帧和结果帧中背景在图像中的位置会出现微小的偏差。因此，在拼接时，通常会采用一些技术来识别背景图像中需要恢复的区域(即，被运动目标遮挡的区域)的精确位置，例如可以采用ORB(ORiented Brief)自然特征匹配算法或其他视频防抖动技术，这样，可以消除画面抖动导致的拼接接缝。

下面具体说明一下采用ORB自然特征匹配算法将所提取的区域图像拼接到目标帧的目标轮廓区域的做法。具体来说，首先提取结果帧的目标轮廓区域周围图像的特征点；然后，提取目标帧的目标轮廓区域周围图像的特征点；接着，匹配提取到的结果帧的目标轮廓区域周围图像的特征点与目标帧轮廓区域周围图像的特征点，获得各特征点在水平和垂直方向上的相对偏移量，记为offset(x，y)；随后，在计算目标帧的目标轮廓区域在背景图像上的实际覆盖位置时，加上所述相对偏移量offset(x，y)，从而获得所述区域图像在结果帧中的拼接位置，然后将所述区域图像拼接在结果帧中的所述拼接位置，这样，就可以消除画面抖动导致的拼接接缝。当然，本发明还可以采用其他视频防抖动技术将所提取的区域图像拼接到目标帧的目标轮廓区域，本发明对此不详细描述。本领域技术人员可以采用现有的一些技术来实现消除画面抖动导致的拼接接缝，本发明并不限制所采用的技术。

此外，本发明提供了一种基于运动目标跟踪的图像擦除装置。

图8示出了根据本发明的一种实施方式的基于运动目标跟踪的图像处理装置的结构方框图。如图8所示，本发明基于运动目标跟踪的图像擦除装置包括图像采集缓存模块820、检测模块830、记录模块840、轮廓提取模块850、目标帧确定模块860、区域图像提取模块870、以及拼接模块880。

其中，图像采集缓存模块820适于采集运动目标的视频中的最新N帧序列图像并缓存，其中N为大于2的正整数。这里，N是一个确定的值，其设置原则通常为只要满足能够使得在所获取的图像中的第一帧和最后一帧中运动目标的位置不重合即可。在摄影设备的测试、开发或使用过程中可以通过调整该参数以达到最优效果。另外，在拍照键被按下前、在取景阶段，图像采集缓存模块820缓存N帧图像并且会不断地更新这N帧图像以保持最新，当拍照键被检测到按下时，停止缓存图像。

检测模块830检测拍照键是否被按下。在本发明中，图像采集缓存模块820在拍照键被按下之前获取并缓存图像，但不对图像进行处理，而在拍照键被按下时，停止获取并停止缓存图像。记录模块840在检测模块830检测到拍照键被按下时，将图像采集缓存模块820缓存的最后一帧图像记录为结果帧。

轮廓提取模块850适于对图像采集缓存模块820所缓存的每一帧图像提取运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓。

可选地，轮廓提取模块850可以包括背景图像获取单元852、前景图像提取单元854、以及轮廓提取单元853。

其中，背景图像获取单元852适于对图像采集缓存模块820所缓存的最新N帧图像建立背景模型，以获取每帧图像的背景图像。具体来说，可以通过混合高斯背景模型算法、两帧差分算法、三帧差分算法、和背景减除算法中任何一种现有的算法对图像建立背景模型。在前面关于方法的步骤S131中，具体给出了采用混合高斯背景模型算法的建模方式，这里就不再重复描述。

前景图像提取单元854适于将每一帧图像与其对应的背景图像进行差分，提取运动目标的前景图像。具体地，将每帧图像与背景图像获取单元852提取的背景图像进行差分，提取出运动目标的前景二值图像。例如，本发明可以使用OpenCV接口public void apply获取运动目标的前景二值图像。

轮廓提取单元853适于基于所述前景图像提取单元所提取的运动目标的前景图像，提取每帧图像中运动目标的轮廓。具体参见前面方法的步骤S133中的描述。

可选地，轮廓提取模块850还可以包括图像转换单元851。该图像转换单元851适于将图像采集缓存模块820所缓存的最新N帧图像从彩色图像转换为灰度图像，其中，背景图像获取单元852对图像转换单元851获得的所述灰度图像建立背景模型，获取每帧图像的背景图像。如果将所获取的N帧图像转换为灰度图像，然后再对灰度图像建立背景模型，获得背景图像，进而获得运动目标的前景图像，这样，可以提高图像处理速度。

目标帧确定模块860适于在提取过运动目标轮廓的每帧图像中寻找运动目标的轮廓与结果帧图像中的目标轮廓相距最远的一帧图像，记为目标帧。这样，可以保证结果帧与目标帧之间不会有重合的区域，便于进行背景图像的恢复。

区域图像提取模块870适于从所述目标帧中提取与结果帧中的目标轮廓区域相同的区域作为区域图像，以供拼接模块880进行拼接时使用。

拼接模块880适于将区域图像提取模块870所提取的区域图像拼接到结果帧的目标轮廓区域附近，从而用目标帧中的对应背景区域替换结果帧中的运动目标的轮廓区域，恢复整个背景图像的原始样子。具体地拼接方法参照前面步骤S160中的描述，这里，不再重复描述。

可选地，本发明基于运动目标跟踪的图像擦除装置还可以包括设置模块810。其中，设置模块810适于设置在运动目标的视频中采集的序列图像的帧数N，以使得在所采集的序列图像中的第一帧和最后一帧中运动目标的位置不重合。

关于本发明的基于运动目标跟踪的图像擦除装置的具体例子，参见前面本发明的方法中以图2A-图20为例所进行的解释说明。

本发明的装置中各模块的功能实现过程与前面方法步骤对应实现，因此，在此不再详细描述。

本发明通过处理多帧视频，检测到运动目标位置移动，恢复被遮挡区域的真实背景图像，完成运动物体擦除的效果。可处理面积较大的运动目标，且擦除效果不受运动目标面积影响。可自动识别运动目标并进行擦除，无需或仅需少量人工干预。具体来说，作为相机实现时，在打开相机后，先采集N(N初步设为15)帧图像缓存，但不处理，等到按下拍照键才进行处理，可提高相机的流畅度。通过检测运动目标的位置移动，并将目标遮挡区域的图像用另一帧(目标移动出最初位置)图像的相同位置覆盖，可恢复被遮挡区域的真实背景图像，且不受运动目标大小影响。通过运动目标检测技术，可自动识别要擦除的运动目标，省去了人工指定擦除区域的操作，使得擦除操作更智能。

在本发明中的上述实施方式中，提到了可以使用OpenCV(Open SourceComputer Vision Library)开源开发库创建背景模型、灰度转换、计算图像之间的差值、轮廓提取等，但本发明并不限于使用OpenCV开源开发库，也可以使用其它的方式来实现创建背景模型、灰度转换、计算图像之间的差值、轮廓提取等。

本发明可以用于摄影设备中，当拍摄的照片中有其它的一些不需要的运动目标经过时，例如拍景色时恰好有一辆车从镜头前飞驰而过，或者拍人物照片时恰好有另一个人从后面穿过，这时，可以利用本发明将这些不需要的影响图像效果的运动目标(例如车、人)从照片中擦除掉。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的浏览器客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了A1、一种基于运动目标跟踪的图像处理方法，其包括：

获取所拍摄的N帧图像，其中N为大于2的正整数；

记录最后一帧图像为结果帧；

提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；

将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；

从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；

将所提取的区域图像拼接到结果帧的目标轮廓区域。

A2、根据A1所述的方法，其中，

所述提取每帧图像中运动目标的轮廓的步骤包括：

对所获取的N帧图像建立背景模型，以获取每帧图像的背景图像；

基于所获取的每帧图像的背景图像，提取每帧图像中运动目标的前景图像；

基于所述运动目标的前景图像提取每帧图像中的运动目标的轮廓。

A3、根据A2所述的方法，其中，

在所述对所获取的N帧图像建立背景模型的步骤之前还包括：

将所获取的N帧图像转换为灰度图像；

所述对所获取的N帧图像建立背景模型的步骤具体地为：对所述灰度图像建立背景模型；

所述基于所获取的每帧图像的背景图像来提取每帧图像中运动目标的前景图像的步骤具体为：将每帧图像的灰度图像与其对应的背景图像进行差分，提取运动目标的前景二值图像。

A4、根据A2或A3中所述的方法，其中，

所述对所述图像建立背景模型的步骤具体为：

通过混合高斯背景模型、两帧差分算法、三帧差分算法、和背景减除算法中之一对所述图像建立背景模型。

A5、根据A1-A4中任一项所述的方法，其中，

所述将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤具体为：

通过尺度不变特征变换特征匹配算法、ORB自然特征匹配算法或其他视频防抖动技术将所提取的区域图像拼接到目标帧的目标轮廓区域附近。

A6、根据A5所述的方法，其中

所述通过尺度不变特征变换特征匹配算法将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤包括：

提取结果帧的目标轮廓区域周围图像的特征点；

提取目标帧的目标轮廓区域周围图像的特征点；

匹配提取到的结果帧的目标轮廓区域周围图像的特征点与目标帧轮廓区域周围图像的特征点，获得各特征点在水平和垂直方向上的相对偏移量；

在计算目标帧的目标轮廓区域在背景图像上的实际覆盖位置时，加上所述相对偏移量，获得所述区域图像在结果帧中的拼接位置；以及

将所述区域图像拼接在结果帧中的所述拼接位置。

A7、根据A1-A6中任一项所述的方法，其中，

获取所拍摄的N帧图像的步骤之前还包括：

设置所获取的图像的帧数N，以使得在所获取图像中的第一帧和最后一帧中运动目标的位置不重合。

本发明还公开了B1、一种基于运动目标跟踪的图像处理装置，包括：

图像采集缓存模块，其适于采集运动目标的视频中的最新N帧序列图像并缓存，其中N为大于2的正整数；

检测模块，其适于检测拍照键是否被按下；

记录模块，其适于在所述检测模块检测到拍照键被按下时，将所述图像采集缓存模块缓存的最后一帧图像记录为结果帧；

轮廓提取模块，其适于对所缓存的每一帧图像提取运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；

目标帧确定模块，其适于在提取过运动目标轮廓的每帧图像中寻找运动目标的轮廓与结果帧图像中的目标轮廓相距最远的一帧图像，记为目标帧；

区域图像提取模块，其适于从所述目标帧中提取与结果帧中的目标轮廓区域相同的区域作为区域图像；以及

拼接模块，其适于将所提取的区域图像拼接到结果帧的目标轮廓区域附近。

B2、根据B1所述的装置，其中，

所述轮廓提取模块包括：

背景图像获取单元，其适于对所缓存的最新N帧图像建立背景模型，以获取每帧图像的背景图像；

前景图像提取单元，其适于将每一帧图像与其对应的背景图像进行差分，提取运动目标的前景图像；以及

轮廓提取单元，其适于基于所述前景图像提取单元所提取的运动目标的前景图像，提取每帧图像中运动目标的轮廓。

B3、根据B1所述的装置，其中，

所述轮廓提取模块还包括：

图像转换单元，其适于将所缓存的最新N帧图像从彩色图像转换为灰度图像；

其中，所述背景图像获取单元对所述图像转换单元获得的所述灰度图像建立背景模型，获取每帧图像的背景图像。

B4、根据B1-B3中任何一项所述的装置，还包括：

设置模块，其适于设置在运动目标的视频中采集的序列图像的帧数N，以使得在所采集的序列图像中的第一帧和最后一帧中运动目标的位置不重合。

Claims (10)

1.一种基于运动目标跟踪的图像处理方法，其包括：

获取所拍摄的N帧图像，其中N为大于2的正整数；

记录最后一帧图像为结果帧；

提取每帧图像中运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；

将N帧图像中运动目标的轮廓与结果帧中的目标轮廓相距最远的一帧图像记为目标帧；

从目标帧中提取与结果帧中的目标轮廓区域坐标相同的区域作为区域图像；

将所提取的区域图像拼接到结果帧的目标轮廓区域。

2.根据权利要求1所述的方法，其中，

所述提取每帧图像中运动目标的轮廓的步骤包括：

对所获取的N帧图像建立背景模型，以获取每帧图像的背景图像；

基于所获取的每帧图像的背景图像，提取每帧图像中运动目标的前景图像；

基于所述运动目标的前景图像提取每帧图像中的运动目标的轮廓。

3.根据权利要求2所述的方法，其中，

在所述对所获取的N帧图像建立背景模型的步骤之前还包括：

将所获取的N帧图像转换为灰度图像；

所述对所获取的N帧图像建立背景模型的步骤具体地为：对所述灰度图像建立背景模型；

所述基于所获取的每帧图像的背景图像来提取每帧图像中运动目标的前景图像的步骤具体为：将每帧图像的灰度图像与其对应的背景图像进行差分，提取运动目标的前景二值图像。

4.根据权利要求1-3中任一项所述的方法，其中，

所述将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤具体为：

通过尺度不变特征变换特征匹配算法、ORB自然特征匹配算法或其他视频防抖动技术将所提取的区域图像拼接到目标帧的目标轮廓区域附近。

5.根据权利要求4所述的方法，其中

所述通过尺度不变特征变换特征匹配算法将所提取的区域图像拼接到结果帧的目标轮廓区域的步骤包括：

提取结果帧的目标轮廓区域周围图像的特征点；

提取目标帧的目标轮廓区域周围图像的特征点；

匹配提取到的结果帧的目标轮廓区域周围图像的特征点与目标帧轮廓区域周围图像的特征点，获得各特征点在水平和垂直方向上的相对偏移量；

在计算目标帧的目标轮廓区域在背景图像上的实际覆盖位置时，加上所述相对偏移量，获得所述区域图像在结果帧中的拼接位置；以及

将所述区域图像拼接在结果帧中的所述拼接位置。

6.根据权利要求1-5中任一项所述的方法，其中，

获取所拍摄的N帧图像的步骤之前还包括：

设置所获取的图像的帧数N，以使得在所获取图像中的第一帧和最后一帧中运动目标的位置不重合。

7.一种基于运动目标跟踪的图像处理装置，包括：

图像采集缓存模块，其适于采集运动目标的视频中的最新N帧序列图像并缓存，其中N为大于2的正整数；

检测模块，其适于检测拍照键是否被按下；

记录模块，其适于在所述检测模块检测到拍照键被按下时，将所述图像采集缓存模块缓存的最后一帧图像记录为结果帧；

轮廓提取模块，其适于对所缓存的每一帧图像提取运动目标的轮廓，并将结果帧中提取的运动目标的轮廓坐标记为目标轮廓；

目标帧确定模块，其适于在提取过运动目标轮廓的每帧图像中寻找运动目标的轮廓与结果帧图像中的目标轮廓相距最远的一帧图像，记为目标帧；

区域图像提取模块，其适于从所述目标帧中提取与结果帧中的目标轮廓区域相同的区域作为区域图像；以及

拼接模块，其适于将所提取的区域图像拼接到结果帧的目标轮廓区域附近。

8.根据权利要求7所述的装置，其中，

所述轮廓提取模块包括：

背景图像获取单元，其适于对所缓存的最新N帧图像建立背景模型，以获取每帧图像的背景图像；

前景图像提取单元，其适于将每一帧图像与其对应的背景图像进行差分，提取运动目标的前景图像；以及

轮廓提取单元，其适于基于所述前景图像提取单元所提取的运动目标的前景图像，提取每帧图像中运动目标的轮廓。

9.根据权利要求7所述的装置，其中，

所述轮廓提取模块还包括：

图像转换单元，其适于将所缓存的最新N帧图像从彩色图像转换为灰度图像；

其中，所述背景图像获取单元对所述图像转换单元获得的所述灰度图像建立背景模型，获取每帧图像的背景图像。

10.根据权利要求7-9中任何一项所述的装置，还包括：

设置模块，其适于设置在运动目标的视频中采集的序列图像的帧数N，以使得在所采集的序列图像中的第一帧和最后一帧中运动目标的位置不重合。

Images