CN107346547B - 基于单目平台的实时前景提取方法及装置 - Google Patents

Abstract

本发明涉及一种基于单目平台的实时前景提取平台方法，包括以下步骤：获取单目视频帧序列图像；图像缩小，通过缩小图像减小大部分计算量；利用序列帧统计方法提取目标前景；利用均值滤波或者中值滤波等方式去掉孤立噪声；用形态学的方法将断裂的部位连接起来，得到每个目标blob；对每个blob提取边缘轮廓，去掉空洞；根据blob特性去除虚假目标；利用特定的滤波器修补残损边缘；采用分块更新策略进行背景更新；对目标前景的矢量边缘进行放大，得到原始分辨率前景矢量边缘；消除因放大造成的锯齿现象；将矢量边缘内部填充为前景色，其余为背景色，输出原始分辨率大小的前景图像。还提供了一种基于单目平台的实时前景提取装置。

Description

基于单目平台的实时前景提取方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于单目平台的实时前景提取方法和一种基于单目平台的实时前景提取装置。

背景技术

背景与前景都是相对的概念，以高速公路为例：有时我们对高速公路上来来往往的汽车感兴趣，这时汽车是前景，而路面以及周围的环境是背景；有时我们仅仅对闯入高速公路的行人感兴趣，这时闯入者是前景，而包括汽车之类的其他东西又成了背景。

目前，基于PC机的图像处理技术发展日趋成熟，但是由于PC机本身体积较大，便携性较差，并且长时间运行稳定性较差，限制了应用范围；基于ARM嵌入式平台系统进行图像处理的技术，由于开发成本相对较低、稳定性好等特点被逐渐较多的应用于图像处理系统。

现有的前景提取的研究和应用大致可以划分为以下几种技术手段：

(1)基于单帧图像分割的方式：该方式是通过设置固定色彩的背景，然后利用图像分割的方式提取图像中的所有与背景区域，剩下的就是前景区域。该方法简单，易于实现，在早期的电影背景替换中应用较多。但使用前需要设置固定背景，限制了其使用范围。

(2)基于多帧统计的方式：该方式是通过统计连续视频帧序列，利用时域上的统计信息的方式提取运动目标，该方法较为稳定，不受背景限制，在监控等利用应用较多。但该方法提取的是运动目标，当不运动的目标提取不出来，且计算量相对较大。

(3)基于3D深度相机：代表技术为微软的KINECT产品，其通过三维扫描设备，获取操作者的动态三维模型，因为其工作在3D空间，因而避免了2D空间中存在的颜色干扰、图像分割等大量的难题。但是3D扫描设备体积较大，硬件成本较高，所需的运算能力更高，因而难以集成并应用到大众化的智能终端如电视、手机等设备上。

对于基于ARM平台的普通摄像头2D图像识别的技术，由于这种技术是基于普通摄像头来实现的，因而也是最具有大规模应用潜力的技术，但是该技术的缺点也非常明显：

a)由于缺乏深度信息，周围环境对前景目标的提取造成了很大的影响。

b)普通的2D摄像头对光线很敏感，光线的变化会改变单帧图像的背景色彩，对背景分割造成很大的干扰，对于多帧统计会造成统计突变，造成误检。

c)由于ARM平台的计算能力有限，图像分辨率较大，算法要实现实时，对算法的效率是一个巨大的挑战。

因而如何开发简单快速而稳定的前景提取算法，使其可以在低运算能力的嵌入式平台上得以应用已成为目前急需解决的问题。

发明内容

针对现有的前景提取识别算法硬件要求高，处理时间长，效率低不稳定的问题，提出了一种基于单目平台的实时前景提取方法，包括如下步骤：

S110获取单目视频帧序列图像；

S120对所述视频帧序列图像进行缩小处理，获取缩小尺序列图像；

S130根据所述缩小尺寸序列图像，提取目标前景图像；

S140对所述目标前景图像进行矢量边缘放大处理，获取原始分辨率的前景矢量边缘；

S150对所述原始分辨率的前景矢量边缘进行去锯齿处理；

S160将前景矢量边缘内部填充为前景色，将前景矢量边缘外部填充为背景色，输出原始分辨率大小的前景图像。

进一步地，所述单目平台为ARM平台。

进一步地，所述步骤S130依次包括如下步骤：

S131、根据所述缩小尺寸序列图像，利用序列帧统计方法提取目标前景；

S132、利用滤波方法去掉所述目标前景中的孤立噪声；

S133、利用形态学的方法将所述目标前景中断裂的部位连接起来，获取每个目标blob；

S134、对每个blob提取边缘轮廓，去掉所述目标前景中的空洞；

S135、根据blob特性去除所述目标前景中虚假目标；

S136、利用滤波器修补残损边缘；

S137、采用分块更新的策略进行背景更新，获取目标前景图像。

进一步地，所述步骤S137包括：S1371、对于背景区域，采用第一学习率进行学习；对于疑似前景的区域，采用第二学习率进行学习；对于前景区域，不进行学习。

进一步地，所述步骤S137中在步骤S1371之前还包括：S1370、判断所述目标前景占所述缩小尺寸序列图像的比例大于阈值时，则不进行背景更新。

进一步地，所述步骤S136包括：获取起始点，逐渐增加边缘点获取段矢量边缘；判断所述段矢量边缘的外接矩形的长宽比大于阈值，且所述外接矩形内属于目标前景的像素点数量小于阈值，且所述段矢量边缘头尾点距离小于阈值时，判断所述段边缘为残损边缘；将所述残损边缘的头尾点连接，删除所述残损边缘中除头尾点以外的所有点。

进一步地，所述步骤S135包括：

S1351、分析获取blob的形状、宽高比、占空比和运动信息；

S1352判断宽高比或占空比在第一阈值和第二阈值之间波动，且所述形状满足预设条件时判断为可能目标，否则为虚假目标；

S1353、通过统计blob的运动信息，判断blob长时间静止，则所述blob为虚拟目标。

进一步地，所述步骤S150包括：利用卷积核对矢量边缘进行卷积去掉锯齿，所述卷积核对应的卷积公式为

其中U为原始矢量序列，W为卷积核，V为卷积输出矢量序列，t为卷积核半径。

进一步地，所述步骤S131包括：S1311、通过获取帧图像序列数据，统计每个位置像素值出现的概率p、均值μ及方差σ，将p，μ以及σ作为一个模型，学习多个模型作为该位置的背景统计模型；

S1312、比较当前帧中的每个像素点与对应位置的背景统计模型，如果当前像素点与背景模型匹配上，判断当前位置点为背景，否则为前景；判定公式为：

其中x为当前像素值，μ_i为第i个模型的均值，σ_i为第i个模型的方差，K为参数。

本发明另一方面提供了一种基于单目平台的实时前景提取装置，包括：

视频帧获取单元，被配置为获取单目视频帧序列图像；

图像缩小单元，被配置为对所述视频帧序列图像进行缩小处理，获取缩小尺序列图像；

前景提取单元，被配置为根据所述缩小尺寸序列图像，提取目标前景图像；

边缘放大单元，被配置为对所述目标前景图像进行矢量边缘放大处理，获取原始分辨率的前景矢量边缘；

去锯齿单元，被配置为对所述原始分辨率的前景矢量边缘进行去锯齿处理；

输出单元，被配置为将前景矢量边缘内部填充为前景色，将前景矢量边缘外部填充为背景色，输出原始分辨率大小的前景图像。

进一步地，还包括单目摄像头，所述单目摄像头与所述视频帧获取单元连接，所述实时前景提取装置为ARM处理器。

本发明提供的基于单目平台实时前景提取算法和装置，包括图像缩小、背景学习、前景提取、噪声去除、断部连接、空洞填充、边缘修补、背景更新、背景放大、去锯齿、前景输出等部分，其具有的有益效果如下：

1.缩小图像，在小图像上做前景检测，可以直观的减小算法计算量。

2.通过形态学等方式将目标断裂的部位连接起来。

3.blob分析，根据blob的形状、宽高比、运动等相关信息，可以有效的去掉噪声、空洞、还有虚假目标。

4.通过矢量边缘分析，设计特制滤波器修补残损边缘。矢量边缘分析相对于图像像素处理计算量要小很多。

5.为了防止目标长时间在图像中出现而被认为是背景，本发明采用分块更新的方式，对于不同的区域采取不同的学习策略。防止背景学习错误。

6.为了满足实时性要求，有效控制算法时间，本发明前面通过缩小图像来控制主算法的计算量。而最终结果是需要得到原始分辨率的前景图像。但是图像放大会造成锯齿，并且像原始图像分辨率较大，素操作会有较大的计算量。因此本发明采用对矢量边缘进行放大，解决了因为图像放大造成计算量大的问题，通过矢量边缘卷积的方式解决了放大过程中造成的锯齿问题。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明一些实施例中的基于单目平台的实时前景提取方法的流程示意图；

图2为本发明一些实施例中的基于单目平台的实时前景提取方法的子步骤流程示意图；

图3为本发明一些实施例中的基于单目平台的实时前景提取方法的子步骤的流程示意图；

图4为本发明一些实施例中的基于单目平台的实时前景提取方法的子步骤的流程示意图；

图5为本发明一些实施例中的基于单目平台的实时前景提取方法的流程示意图；

图6为本发明一些实施例中的基于单目平台的实时前景提取方法中算法模块连接图；

图7为本发明一些实施例中的基于单目平台的实时前景提取方法的子步骤流程示意图；

图8为本发明一些实施例中的基于单目平台的实时前景提取方法的子步骤流程示意图；

图9为本发明一些实施例中的基于单目平台的实时前景提取装置的系统组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明基于单目平台来提取前景图像，特别是基于低运算能力的平台来提取前景，将图像进行压缩减少提取前景的运算量，然后对提取出的前景进行滤波、降噪、去除空洞、边缘修补，将边缘进行矢量放大，再去除锯齿，填充前景色、背景色之后输出图像，算法效率高，应将成本低保证了前景提取的效果。具体实施方式见如下实施例。

实施例一

如图1所示，本发明本实施例提供了一种基于单目平台的实时前景提取方法，包括如下步骤：

S110获取单目视频帧序列图像；

S120对所述视频帧序列图像进行缩小处理，获取缩小尺寸序列图像；通过获取帧图像序列数据，缩小图像到固定尺寸的方式控制住算法的主要计算量。

S130根据所述缩小尺寸序列图像，提取目标前景图像；

S140对所述目标前景图像进行矢量边缘放大处理，获取原始分辨率的前景矢量边缘；

S150对所述原始分辨率的前景矢量边缘进行去锯齿处理；

S160将前景矢量边缘内部填充为前景色，将前景矢量边缘外部填充为背景色，输出原始分辨率大小的前景图像。

通过先缩小处理，然后矢量放大的方式减小了计算时间，保证了实时性的要求，同时最终获取的前景图像为具有原始分辨率的前景图像，没有造成处理结果的损失。

本发明算法特别针对处理能力较低的平台而设计，例如，所述单目平台为ARM平台。运用ARM单目平台来进行实时前景提取，克服了ARM平台计算能力有限的问题。采用了本发明中的方法可在ARM平台上处理图像分辨率较大的图像。

本发明中前景提取的步骤，可以采用单个模型来提取，也可采用多个模型的线性组合来提取，具体地，如图2所示，所述步骤S130依次包括如下步骤：

S131、根据所述缩小尺寸序列图像，利用序列帧统计方法提取目标前景；

S132、利用滤波方法去掉所述目标前景中的孤立噪声；

S133、利用形态学的方法将所述目标前景中断裂的部位连接起来，获取每个目标blob；

S134、对每个blob提取边缘轮廓，去掉所述目标前景中的空洞；

S135、根据blob特性去除所述目标前景中虚假目标；

S136、利用滤波器修补残损边缘；

S137、采用分块更新的策略进行背景更新，获取目标前景图像。

将提取出的目标前景进行处理，去除空洞，修补边缘，提出虚假目标，保证了提取出的前景图像的质量。通过blob分析填充空洞、修补残损边缘、剔除虚假目标。通过矢量边缘放大的方式代替图像放大，减少了一定的计算量，另外利用矢量边缘卷积去除锯齿，使其边缘更加平滑。

采用分块区域更新的方式对背景区域进行更新，疑似前景区域采用较小的学习率，前景区域采用不更新方式防止背景学习错误，具体地，如图3所示，所述步骤S137包括：S1371、对于背景区域，采用第一学习率进行学习；对于疑似前景的区域，采用第二学习率进行学习；对于前景区域，不进行学习。不限于使用背景模型更新目标区域；还可以是多个背景模型的线性组合等。

由于光线的突变会引发镜头全局调光，从而导致当前帧和背景模型完全匹配不上，从而大面积的检测出前景的问题。所述步骤S137中在步骤S1371之前还包括：S1370、判断所述目标前景占所述缩小尺寸序列图像的比例大于阈值时，则不进行背景更新，防止错误背景学习到模型中。上述比例指的是镜头中所有运动像素的总和与图像大小的比值。即全局运动比例。所述阈值指的是如果全局运动比例超过一定范围，说明全局光线变化导致大范围被检测为前景，这里阈值一般设置为0.5。

所述步骤S136中采用了特定的滤波器来对边缘进行修补，所述步骤S136包括：获取起始点，逐渐增加边缘点获取段矢量边缘；判断所述段矢量边缘的外接矩形的长宽比大于阈值，且所述外接矩形内属于目标前景的像素点数量小于阈值，且所述段矢量边缘头尾点距离小于阈值时，判断所述段边缘为残损边缘；将所述残损边缘的头尾点连接，删除所述残损边缘中除头尾点以外的所有点。

通过对blob(binary large object)的形态信息进行分析来去除虚假目标，具体地，如图4所示，所述步骤S135包括：

S1351、分析获取blob的形状、宽高比、占空比和运动信息；

S1352判断宽高比或占空比在第一阈值和第二阈值之间波动，且所述形状满足预设条件时判断为可能目标，否则为虚假目标；

S1353、通过统计blob的运动信息，判断blob长时间静止，则所述blob为虚拟目标。

不限于用blob的特性来剔除虚假目标。可以先设定需要检测的目标，然后利用检测器验证是否为真是目标，然后利用跟踪的方式对正确目标进行跟踪。

通过矢量放大方式使得边缘进行放大，获得原始分辨率的边缘，然后进行去锯齿，具体地，所述步骤S150包括：利用卷积核对矢量边缘进行卷积去掉锯齿，所述卷积核对应的卷积公式为

其中U为原始矢量序列，W为卷积核，V为卷积输出矢量序列，t为卷积核半径。

图像放大去锯齿：不限于矢量放大，矢量卷积等方式；还可以直接使用特定的去锯齿放大算法方式来实现；也可以用matting抠图的方式消除锯齿。

具体地，如图5所示，所述步骤S131包括：

S1311、通过获取帧图像序列数据，统计每个位置像素值出现的概率p、均值μ及方差σ，将p，μ以及σ作为一个模型，学习多个模型作为该位置的背景统计模型；

S1312、比较当前帧中的每个像素点与对应位置的背景统计模型，如果当前像素点与背景模型匹配上，判断当前位置点为背景，否则为前景；判定公式为：

其中x为当前像素值，μ_i为第i个模型的均值，σ_i为第i个模型的方差，K为参数。

上述背景模型还可采用混合(或单)高斯背景模型GMM和VIBE。

本发明提供的基于ARM平台实时前景提取算法，包括图像缩小、背景学习、前景提取、噪声去除、断部连接、空洞填充、边缘修补、背景更新、背景放大、去锯齿、前景输出等部分，其具有的有益效果如下：

1.缩小图像，在小图像上做前景检测，可以直观的减小算法计算量。

2.通过形态学等方式将目标断裂的部位连接起来。

3.blob分析，根据blob的形状、宽高比、运动等相关信息，可以有效的去掉噪声、空洞、还有虚假目标。

4.通过矢量边缘分析，设计特制滤波器修补残损边缘。矢量边缘分析相对于图像像素处理计算量要小很多。

5.为了防止目标长时间在图像中出现而被认为是背景，本发明采用分块更新的方式，对于不同的区域采取不同的学习策略。防止背景学习错误。

6.为了满足实时性要求，有效控制算法时间，本发明前面通过缩小图像来控制主算法的计算量。而最终结果是需要得到原始分辨率的前景图像。但是图像放大会造成锯齿，并且像原始图像分辨率较大，素操作会有较大的计算量。因此本发明采用对矢量边缘进行放大，解决了因为图像放大造成计算量大的问题，通过矢量边缘卷积的方式解决了放大过程中造成的锯齿问题。

实施例二

图5示出了依照本发明实施例的基于ARM平台实时前景提取算法的一般流程，图6示出了系统包含的主要算法模块，其具体步骤如下：

步骤1：图像缩小，参看图5、图6中的S1。通过获取帧图像序列数据，将每帧图像缩放到固定尺寸。这样可以保证数据量基本恒定，保证后续所有操作固定的计算量。

步骤2：背景学习，参看图5、图6中的S2。通过获取帧图像序列数据，统计每个位置像素值出现的概率p、均值μ及方差σ，将p，μ以及σ作为一个模型，学习多个模型作为该位置的背景统计模型。单模型指的是图像中每个位置的背景模型，其中模型中包括有均值，方差、权重等信息。多个模型是指图像中每个位置学习保存着多个单模型，由于噪声的干扰，导致对于同一个位置的像素值可能会有一定波动，导致用单模型描述背景可能不够准确，故这里采用多模型描述背景。

运动检测不限于混合(或单)高斯背景模型GMM和VIBE。

步骤3：前景提取，参看图5、图6中的S3。当背景学习结束后，比较当前帧中的每个像素点与对应位置背景统计模型，如果当前像素点与背景模型匹配上，说明该位置点为背景，否则为前景。判定公式为：

其中x为当前像素值，μ_i为第i个模型的均值，σ_i为第i个模型的方差，K为参数。

步骤4：噪声去除，参看图5、图6中的S4。当通过步骤3初步提取到前景后，会有较多的噪声，通过均值滤波或者中值滤波等方式去除孤立噪声。

步骤5：连接断掉的部分，参看图5、图6中的S5。步骤3、步骤4提取到前景后，目标可能会有断裂的情况，通过形态学的方式将断裂掉的部分连起来、填充目标内部细小的空洞、还可以平滑边缘同时不会明显改变其面积。得到每个目标blob。实现公式为：

利用形态学方法将细小的断裂部位连起来，以及填充空洞、平滑边缘；本发明的需求为先膨胀再腐蚀，即闭操作，Dst＝close(src,element)＝erode(dilate(src,element))，X为输入图像，B为算子，

为膨胀，

为腐蚀。

步骤6：空洞填补，参看图6、图7中的S6。经过步骤5后得到的前景基本完整，但也许还有一些空洞，通过提取所有blob的轮廓，包括外轮廓和内轮廓。如果为内轮廓，说明为空洞，则删掉该轮廓，只保留外轮廓，保留下来的轮廓点按照顺时针或者逆时针顺序存放，称为目标矢量边缘U＝(u₀,u₁,u₂...u_n-1)。

步骤7：虚假目标剔除，参看图6中的S7。经过步骤6后得到了所有前景blob，根据blob的特性，如形状、宽高比、占空比、运动信息等就可以有效去除绝大部分虚假目标。

利用blob特性去除绝大部分虚假目标的的实施方式：首先分析需要提取目标的形状信息，例如宽高比、占空比在一定的范围内波动(a1,a2)。计算每个blob的宽高比、占空比a，如果a1<a<a2，说明该blob在范围内，形状条件满足，可能为目标，否则为虚假目标。

利用运动信息剔除虚假目标。因为前景目标一般会运动，不会长时间在同一个地方静止，通过统计如果发现blob长时间静止，说明该目标为虚假目标。

虚假目标剔除不限于用blob的特性来剔除虚假目标。可以先设定需要检测的目标，然后利用检测器验证是否为真是目标，然后利用跟踪的方式对正确目标进行跟踪。

步骤8：边缘残缺修补，参看图6、图8中的S8。经过步骤7后得到前景的外轮廓，针对上述问题a，由于背景和环境的不确定性，可能会导致前景目标的边缘有残缺，本发明通过设计一个滤波器对其进行矫正。滤波器每次统计连续一段矢量边缘，如果发现该段边缘的外接矩形的长宽比满足一定条件，并且其封闭区域内前景很少，且边缘头尾点距离很近，说明该边缘为检测残缺部位。修补的方式为直接将该段矢量边缘的头尾连接起来，删掉该轮廓中间的所有点即可得到修补后的边缘。

边缘残损部位修补不限于矢量边缘的方式；还可以用活动轮廓模型(snake)等方式来实现；也可以先检测出目标的边缘，然后利用检测到的目标的边缘修补上述残损边缘。

步骤9：背景更新，参看图5、图6中的S9。经过前面的步骤8，已经得到了完整的缩小的前景图了，由于确定了完整的前景区域，本发明采用分块学习策略防止前景被学习成背景。

背景学习方法为：u(t+1,x,y)＝(1-a)*u(t,x,y)+a*l(x,y)，其中a为学习率，u(t,x,y)为t时刻，(x,y)位置的背景模型，l(x,y)为当前帧(x,y)位置的像素值，a越大，背景更新就越快，反之越慢。

对于背景区域，采用较大的学习率；对于疑似前景的区域，采用相对较小的学习率；对于前景，采用不学习的方式。可以有效防止背景学习错误的问题。

针对上述的问题b，由于光线的突变会引发镜头全局调光，从而导致当前帧和背景模型完全匹配不上，从而大面积的检测出前景的问题。可以设置如果前景比例超过一定的阈值，则当前帧不予更新，防止错误背景学习到模型中。

上述比例指的是镜头中所有运动像素的总和与图像大小的比值。即全局运动比例。

所述阈值指的是如果全局运动比例超过一定范围，说明全局光线变化导致大范围被检测为前景，这里阈值一般设置为0.5。

背景模型分区域更新策略不限于使用背景模型更新目标区域；还可以是多个背景模型的线性组合等。

步骤10：前景放大，参看图1、图2中的S10。经过前面的步骤8，已经得到了完整的缩小的前景图了，为了得到原始分辨率的前景图，需要将步骤8中得到的矢量边缘放大，矢量边缘放大相对于图像放大而言，计算量要小得多。

矢量边缘放大的具体方法为：

1、提取blob的边缘轮廓点。

2、将边缘轮廓点按照指定的顺序存放为序列矢量u，保证空间上相邻的点在序列中是相邻存放的。本发明是将边缘点按照顺时针存放。

对矢量u中的每个点乘以比例系数，即可得到放大后的blob矢量边缘轮廓。

步骤11：去锯齿，参看图1、图2中的S11。经过步骤10后，得到了基于原始分辨率的前景矢量边缘图，由于经过了放大操作，会产生锯齿现象，去掉锯齿的方法为：用一个卷积核对矢量边缘进行卷积即可去掉锯齿。卷积公式为：

其中U为原始矢量序列，W为卷积核，V为卷积输出矢量序列，t为卷积核半径。U为步骤6中的边缘序列。步骤12：输出前景图像，参看图1、图2中的S12。图像放大去锯齿：不限于矢量放大，矢量卷积等方式；还可以直接使用特定的去锯齿放大算法方式来实现；也可以用matting抠图的方式消除锯齿。

经过步骤11后，得到平滑的原始分辨率的前景矢量边缘图，最后将前景矢量边缘图中边缘内部填充为前景色即可输出完整的前景图像。前景色：指的是一种标注色，在mask上用某种颜色表示前景，另外一种颜色表示背景。

基于上述描述，本发明的基于单目平台的实时前景提取平台方法，总结为以下步骤：

(1)获取单目视频帧序列图像。

(2)图像缩小，通过缩小图像减小大部分计算量。

(3)利用序列帧统计方法提取目标前景。

(4)利用均值滤波或者中值滤波等方式去掉孤立噪声。

(5)用形态学的方法将断裂的部位连接起来，得到每个目标blob。

(6)对每个blob提取边缘轮廓，去掉空洞。

(7)根据blob特性去除虚假目标。

(8)利用特定的滤波器修补残损边缘。

(9)采用分块更新策略进行背景更新。

(10)对目标前景的矢量边缘进行放大，得到原始分辨率前景矢量边缘。

(11)消除因放大造成的锯齿现象。

(12)将矢量边缘内部填充为前景色，其余为背景色，输出原始分辨率大小的前景图像。

通过获取帧图像序列数据，通过缩小图像到固定尺寸的方式控制住算法的主要计算量。

通过blob分析填充空洞、修补残损边缘、剔除虚假目标。

采用分块区域更新的方式对背景区域进行更新，疑似前景区域采用较小的学习率，前景区域采用不更新方式防止背景学习错误。

通过矢量边缘放大的方式代替图像放大，减少了一定的计算量，另外利用矢量边缘卷积去除锯齿，使其边缘更加平滑。

本发明提供的基于ARM平台实时前景提取算法，包括图像缩小、背景学习、前景提取、噪声去除、断部连接、空洞填充、边缘修补、背景更新、背景放大、去锯齿、前景输出等部分，其具有的有益效果如下：

1.缩小图像，在小图像上做前景检测，可以直观的减小算法计算量。

2.通过形态学等方式将目标断裂的部位连接起来。

3.blob分析，根据blob的形状、宽高比、运动等相关信息，可以有效的去掉噪声、空洞、还有虚假目标。

4.通过矢量边缘分析，设计特制滤波器修补残损边缘。矢量边缘分析相对于图像像素处理计算量要小很多。

5.为了防止目标长时间在图像中出现而被认为是背景，本发明采用分块更新的方式，对于不同的区域采取不同的学习策略。防止背景学习错误。

6.为了满足实时性要求，有效控制算法时间，本发明前面通过缩小图像来控制主算法的计算量。而最终结果是需要得到原始分辨率的前景图像。但是图像放大会造成锯齿，并且像原始图像分辨率较大，素操作会有较大的计算量。因此本发明采用对矢量边缘进行放大，解决了因为图像放大造成计算量大的问题，通过矢量边缘卷积的方式解决了放大过程中造成的锯齿问题。

实施例三

如图9所示，基于上述实施例中实时前景提取方法，本发明另一方面还提供了一种基于单目平台的实时前景提取装置100，包括：

视频帧获取单元110，被配置为获取单目视频帧序列图像；

图像缩小单元120，被配置为对所述视频帧序列图像进行缩小处理，获取缩小尺序列图像；

前景提取单元130，被配置为根据所述缩小尺寸序列图像，提取目标前景图像；

边缘放大单元140，被配置为对所述目标前景图像进行矢量边缘放大处理，获取原始分辨率的前景矢量边缘；

去锯齿单元150，被配置为对所述原始分辨率的前景矢量边缘进行去锯齿处理；

输出单元160，被配置为将前景矢量边缘内部填充为前景色，将前景矢量边缘外部填充为背景色，输出原始分辨率大小的前景图像。

还包括单目摄像头170，所述单目摄像头170与所述视频帧获取单元110连接，所述实时前景提取装置100为ARM处理器。

具体地，所述前景提取单元130具体被配置为通过获取帧图像序列数据，统计每个位置像素值出现的概率p、均值μ及方差σ，将p，μ以及σ作为一个模型，学习多个模型作为该位置的背景统计模型；比较当前帧中的每个像素点与对应位置的背景统计模型，如果当前像素点与背景模型匹配上，判断当前位置点为背景，否则为前景；判定公式为：

其中x为当前像素值，μi为第i个模型的均值，σi为第i个模型的方差，K为参数。

所述前景提取单元130具体还被配置为：利用滤波方法去掉所述目标前景中的孤立噪声；利用形态学的方法将所述目标前景中断裂的部位连接起来，获取每个目标blob；对每个blob提取边缘轮廓，去掉所述目标前景中的空洞；根据blob特性去除所述目标前景中虚假目标；利用滤波器修补残损边缘；采用分块更新的策略进行背景更新，获取目标前景图像。具体的实施步骤参照上述实施例。

所述边缘放大单元140被配置为提取blob的边缘轮廓点；将边缘轮廓点按照指定的顺序存放为序列矢量u，保证空间上相邻的点在序列中是相邻存放的。本发明是将边缘点按照顺时针存放；对矢量u中的每个点乘以比例系数，即可得到放大后的blob矢量边缘轮廓。

所述去锯齿单元150被配置为，用一个卷积核对矢量边缘进行卷积即可去掉锯齿。卷积公式为：

其中U为原始矢量序列，W为卷积核，V为卷积输出矢量序列，t为卷积核半径。

上述的单目平台的实时前景提取装置能够进行图像缩小、背景学习、前景提取、噪声去除、断部连接、空洞填充、边缘修补、背景更新、背景放大、去锯齿、前景输出等部分，其具有的有益效果如下：缩小图像，在小图像上做前景检测，可以直观的减小算法计算量；通过形态学等方式将目标断裂的部位连接起来。根据blob的形状、宽高比、运动等相关信息，可以有效的去掉噪声、空洞、还有虚假目标。通过矢量边缘分析，设计特制滤波器修补残损边缘。矢量边缘分析相对于图像像素处理计算量要小很多。为了防止目标长时间在图像中出现而被认为是背景，本发明采用分块更新的方式，对于不同的区域采取不同的学习策略。防止背景学习错误。为了满足实时性要求，有效控制算法时间，本发明前面通过缩小图像来控制主算法的计算量。而最终结果是需要得到原始分辨率的前景图像。但是图像放大会造成锯齿，并且像原始图像分辨率较大，素操作会有较大的计算量。因此本发明采用对矢量边缘进行放大，解决了因为图像放大造成计算量大的问题，通过矢量边缘卷积的方式解决了放大过程中造成的锯齿问题。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于单目平台的实时前景提取方法，其特征在于，包括如下步骤：

S110获取单目视频帧序列图像；

S120对所述视频帧序列图像进行缩小处理，获取缩小尺寸序列图像；

S130根据所述缩小尺寸序列图像，提取目标前景图像；

S140对所述目标前景图像进行矢量边缘放大处理，获取原始分辨率的前景矢量边缘；

S150对所述原始分辨率的前景矢量边缘进行去锯齿处理；

S160将前景矢量边缘内部填充为前景色，将前景矢量边缘外部填充为背景色，输出原始分辨率大小的前景图像；其中，所述步骤S130依次包括如下步骤：

S131、根据所述缩小尺寸序列图像，利用序列帧统计方法提取目标前景；

S132、利用滤波方法去掉所述目标前景中的孤立噪声；

S133、利用形态学的方法将所述目标前景中断裂的部位连接起来，获取每个目标blob；

S134、对每个blob提取边缘轮廓，去掉所述目标前景中的空洞；

S135、根据blob特性去除所述目标前景中虚假目标；

S136、利用滤波器修补残损边缘；

S137、采用分块更新的策略进行背景更新，获取目标前景图像。

2.根据权利要求1所述的基于单目平台的实时前景提取方法，其特征在于，所述单目平台为ARM平台。

3.根据权利要求1或2所述的基于单目平台的实时前景提取方法，其特征在于，所述步骤S137包括：S1371、对于背景区域，采用第一学习率进行学习；对于疑似前景的区域，采用第二学习率进行学习；对于前景区域，不进行学习。

4.根据权利要求3所述的基于单目平台的实时前景提取方法，其特征在于，所述步骤S137中在步骤S1371之前还包括：S1370、判断所述目标前景占所述缩小尺寸序列图像的比例大于阈值时，则不进行背景更新。

5.根据权利要求1或2所述的基于单目平台的实时前景提取方法，其特征在于，所述步骤S136包括：获取起始点，逐渐增加边缘点获取段矢量边缘；判断所述段矢量边缘的外接矩形的长宽比大于阈值，且所述外接矩形内属于目标前景的像素点数量小于阈值，且所述段矢量边缘头尾点距离小于阈值时，判断所述段矢量边缘为残损边缘；将所述残损边缘的头尾点连接，删除所述残损边缘中除头尾点以外的所有点。

6.根据权利要求1或2所述的基于单目平台的实时前景提取方法，其特征在于，所述步骤S135包括：

S1351、分析获取blob的形状、宽高比、占空比和运动信息；

S1352判断宽高比或占空比在第一阈值和第二阈值之间波动，且所述形状满足预设条件时判断为可能目标，否则为虚假目标；

S1353、通过统计blob的运动信息，判断blob长时间静止，则所述blob为虚拟目标。

7.根据权利要求1所述的基于单目平台的实时前景提取方法，其特征在于，所述步骤S150包括：利用卷积核对矢量边缘进行卷积去掉锯齿，所述卷积核对应的卷积公式为

其中U为原始矢量序列，W为卷积核，V为卷积输出矢量序列，t为卷积核半径。

8.根据权利要求1或2所述的基于单目平台的实时前景提取方法，其特征在于，所述步骤S131包括：S1311、通过获取帧图像序列数据，统计每个位置像素值出现的概率p、均值μ及方差σ，将p，μ以及σ作为一个模型，学习多个模型作为该位置的背景统计模型；

S1312、比较当前帧中的每个像素点与对应位置的背景统计模型，如果当前像素点与背景模型匹配上，判断当前位置点为背景，否则为前景；判定公式为：

其中x为当前像素值，μ_i为第i个模型的均值，σ_i为第i个模型的方差，K为参数。

9.一种基于单目平台的实时前景提取装置，其特征在于，包括：

视频帧获取单元，被配置为获取单目视频帧序列图像；

图像缩小单元，被配置为对所述视频帧序列图像进行缩小处理，获取缩小尺序列图像；

前景提取单元，被配置为根据所述缩小尺寸序列图像，提取目标前景图像；

边缘放大单元，被配置为对所述目标前景图像进行矢量边缘放大处理，获取原始分辨率的前景矢量边缘；

去锯齿单元，被配置为对所述原始分辨率的前景矢量边缘进行去锯齿处理；

输出单元，被配置为将前景矢量边缘内部填充为前景色，将前景矢量边缘外部填充为背景色，输出原始分辨率大小的前景图像；其中，所述前景提取单元采用如下步骤进行处理：

S131、根据所述缩小尺寸序列图像，利用序列帧统计方法提取目标前景；

S132、利用滤波方法去掉所述目标前景中的孤立噪声；

S133、利用形态学的方法将所述目标前景中断裂的部位连接起来，获取每个目标blob；

S134、对每个blob提取边缘轮廓，去掉所述目标前景中的空洞；

S135、根据blob特性去除所述目标前景中虚假目标；

S136、利用滤波器修补残损边缘；

S137、采用分块更新的策略进行背景更新，获取目标前景图像。

10.根据权利要求9所述的基于单目平台的实时前景提取装置，其特征在于，还包括单目摄像头，所述单目摄像头与所述视频帧获取单元连接，所述实时前景提取装置为ARM处理器。

Images