CN106778789A - 一种多视点图像中的快速目标提取方法 - Google Patents

Abstract

本发明公开了一种多视点图像中的快速目标提取方法，首先通过彩色图像的低频和高频信息，对图像进行一个增强处理，突出图像中的主体目标，并削弱目标周围场景对于目标的影响，然后对增强灰度图像进行二值化，采用全局阈值和局部阈值相结合的方法对每个像素进行判断，最后通过形态学方法找到目标所在的连通区域，也即完成对目标的提取过程。本发明提出的方法简单实用，算法复杂度小，可以实时处理各类图像，拥有很好的实用价值。

Description

一种多视点图像中的快速目标提取方法

技术领域

本发明属于数字图像处理和计算机视觉技术领域，特指一种多视点图像中的快速目标提取方法。

背景技术

近年来随着计算机性能的大幅提高、网络带宽的不断扩展和相机传感器的普遍应用，交互式多媒体越来越受到用户的喜爱。其中对于某一场景或目标，可以从不同的时刻或角度得到关于它的一组观测图像，这些图像的整体就叫做多视点图像。人们借助交互式多媒体和图像处理技术可以对多视点图像进行编辑，根据自己的喜好去选择和操作目标。

在多视点图像处理中，目标提取是其中一个关键技术。目标提取的过程实际上就是图像分割的过程，从图像中将感兴趣的运动目标与背景进行分割，即提取出感兴趣的目标。目标提取是计算机视觉领域低层次视觉中最为基础和重要的领域之一。目标提取的效果对于后续中高层次图像处理(如目标分类、身份识别和行为理解等)非常重要。

目标提取在近几十年里受到国内外学者的广泛关注，提出了大量的目标提取方法。目前比较受关注的目标提取方法可以归纳为两类：基于阈值分割的方法和基于图割优化模型的方法。基于阈值分割的方法有：双峰法、最大类间方差法、模糊阈值分割法等。这类方法计算简单、效率较高，但受获取图像的自然环境影响最大，提取的准确率较低。基于图割优化模型的方法是近年来发展起来的一种基于图论的目标提取方法，将目标提取转换成为一个求能量函数最优化的问题。这类方法可以根据情况构造各种能量函数，且可以得到能量函数的全局最优解，因此具有鲁棒性强、分割效果较好等特点。但求解能量函数需要进行迭代计算，算法复杂度较高、需要的时间较长，很难达到实时处理。

发明内容

为了解决现有技术的不足，本发明的目的在于提出一种多视点图像中的快速目标提取方法，通过对通过彩色图像的低频和高频信息，对图像进行一个增强处理，突出图像中的主体目标，并削弱目标周围场景对于目标的影响，然后对增强灰度图像进行二值化，采用全局阈值和局部阈值相结合的方法对每个像素进行判断，最后通过形态学方法找到目标所在的连通区域，也即完成对目标的提取过程。本发明提出的方法简单实用，算法复杂度小，可以实时处理各类图像，拥有很好的实用价值。

为实现上述技术目的，本发明的技术方案是，

一种多视点图像中的快速目标提取方法，包括以下步骤：

S1.任取一副多视点彩色图像，图像格式为RGB，将该彩色图像记为P(x,y,z)，对该图像进行增强处理，突出图像中的主体目标，并削弱目标周围场景对于目标的影响，获得增强灰度图像；

本发明中S1通过以下方法实现：

S11对彩色图像P(x,y,z)做高斯低通滤波，获得P(x,y,z)的低频分量Q(x,y,z)，公式如下：

其中表示做卷积运算，G_σ是标准差为σ的二维高斯核

S12计算彩色图像P(x,y,z)在RGB颜色空间上的3个均值，公式如下：

其中z∈{1,2,3}是RGB颜色通道的序号，N是图像的像素总数，{μ_i|i＝1,2,3}即为3个均值。

S13使用S11中得到的低频分量Q(x,y,z)和S12中得到的均值信息，对目标进行增强，得到增强灰度图像D(x,y)，具体计算公式如下：

说明：低频分量Q(x,y,z)，z∈{1,2,3}是一个RGB图像，所以Q(x,y,1)就是z取1时的值，Q(x,y,2)就是z取2时的值，Q(x,y,3)就是z取3时的值。

S2.对增强灰度图像进行二值化，采用全局阈值和局部阈值相结合的方法对每个像素进行判断，得到二值化图像；

本发明中S2通过以下方法实现：

S21通过最大类间方差Otsu对灰度图像D(x,y)计算，求得初始阈值Ψ₀；

最大类间方差Otsu是经典的二值化方法，该方法是本领域的公知常识，所以这里没有写计算过程。

S22利用初始阈值Ψ₀对灰度图像D(x,y)的每个像素(x,y)进行判断，将其分成3个类别：前景区域、背景区域、待定区域；

其中f(x,y)表示像素的标签，1表示前景区域，-1表示背景区域，0表示待定区域，α表示控制参数，这里取值0.15。

S23对于待定区域也即f(x,y)为0的每个像素，再通过领域信息计算一个新的局部阈值，并根据新的局部阈值对该像素进行二次判断，得到二值化图像，方法如下：

任取待定区域的一个像素，记为(x₀,y₀)，在灰度图像D(x,y)中以其为中心，选择一个大小为9×9的图像块d(x,y)，计算此图像块d(x,y)的均值μ_d和方差ω_d：

其中N_d表示图像块d(x,y)的像素总数也即81。

根据此图像块d(x,y)的均值μ_d和方差ω_d，对像素(x₀,y₀)进行二次判断：

其中β表示控制参数，这里取值0.1。

根据上述方法，可以对灰度图像D(x,y)的所有像素进行判断，也即二值化处理，记得到的二值化图像为F(x,y)。

S3.对二值化图像进行形态学处理，得到最大的连通区域也即目标区域，完成目标提取。

由于复杂的自然光照条件，不可避免的存在某些目标区域的像素存在少量误判的情况。这里本发明对二值化图像F(x,y)进行数学形态学上的膨胀操作，令B表示水平结构像素集合，用B对二值图像集合F(x,y)的膨胀表示为：

其中表示膨胀算子，φ表示空集合，B(x)表示表示对结构像素集合B先做原点映射然后做平移x的运算；记膨胀后的二值化图像为FB(x,y)。这样做的目的是把一些断裂的边缘连接起来，使获得的边界更加完整。

最后对二值化图像FB(x,y)，做连通区域分析，其中面积最大的连通区域就是目标所在区域，也即获得目标提取的结果。

本发明的有益效果是：

本发明提出了一种多视点图像中的快速目标提取方法，通过对通过彩色图像的低频和高频信息，对图像进行一个增强处理，突出图像中的主体目标，并削弱目标周围场景对于目标的影响，然后对增强灰度图像进行二值化，采用全局阈值和局部阈值相结合的方法对每个像素进行判断，最后通过形态学方法找到目标所在的连通区域，也即完成对目标的提取过程。本发明提出的方法简单实用，算法复杂度小，可以实时处理各类图像，拥有很好的实用价值。

附图说明

图1本发明的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参照图1，本发明提出了一种多视点图像中的快速目标提取方法，具体步骤如下：

S1.任取一副多视点彩色图像，图像格式为RGB，将该彩色图像记为P(x,y,z)。由于图像的获取会受到各种自然环境的影响，因此本发明首先对该图像进行增强处理，突出图像中的主体目标，并削弱目标周围场景对于目标的影响，获得增强灰度图像；具体步骤如下：

S11对彩色图像P(x,y,z)做高斯低通滤波，获得P(x,y,z)的低频分量Q(x,y,z)，公式如下：

其中表示做卷积运算，G_σ是标准差为σ的二维高斯核

S12计算彩色图像P(x,y,z)在RGB颜色空间上的3个均值，公式如下：

其中z∈{1,2,3}是RGB颜色通道的序号，N是图像的像素总数，{μ_i|i＝1,2,3}即为3个均值。

S13使用S11中得到的低频分量Q(x,y,z)和S12中得到的均值信息，对目标进行增强，得到增强灰度图像D(x,y)，具体计算公式如下：

经过S1中的这种图像处理方法，首先通过低频信息突出目标主体，然后利用部分高频信息(均值)对图像进行进一步的增强，最终得到一个突出目标，并削弱了目标周围场景对于目标影响的灰度图像。

由于灰度图像D(x,y)是经过特殊处理得到的，因此不再需要如图割优化等复杂的算法进行目标提取。接下来本发明提出一个改进的二值化方法对目标像素进行判断提取，能够在有限的几次迭代计算下，得到稳定高效的目标像素区域。

S2.对增强灰度图像进行二值化，采用全局阈值和局部阈值相结合的方法对每个像素进行判断，得到二值化图像；

S21通过经典的二值化方法最大类间方差Otsu对灰度图像D(x,y)计算，求得初始阈值Ψ₀；

S22利用初始阈值Ψ₀对灰度图像D(x,y)的每个像素(x,y)进行判断，将其分成3个类别：前景区域、背景区域、待定区域；

其中f(x,y)表示像素的标签，1表示前景区域，-1表示背景区域，0表示待定区域，α表示控制参数，这里取值0.15。

S23对于待定区域也即f(x,y)为0的每个像素，再通过领域信息计算一个新的局部阈值，并根据新的局部阈值对该像素进行二次判断，得到二值化图像，方法如下：

任取待定区域的一个像素，记为(x₀,y₀)，在灰度图像D(x,y)中以其为中心，选择一个大小为9×9的图像块d(x,y)，计算此图像块d(x,y)的均值μ_d和方差ω_d：

其中N_d表示图像块d(x,y)的的像素总数也即81。

根据此图像块d(x,y)的均值μ_d和方差ω_d，对像素(x₀,y₀)进行二次判断：

其中β表示控制参数，这里取值0.1。

根据上述方法，可以对灰度图像D(x,y)的所有像素进行判断，也即二值化处理，记得到的二值化图像为F(x,y)。

由于复杂的自然光照条件，不可避免的存在某些目标区域的像素存在少量误判的情况。接下来本发明对获得二值化图像进一步处理。

S3.对二值化图像进行形态学处理，得到最大的连通区域也即目标区域，完成目标提取。

由于复杂的自然光照条件，不可避免的存在某些目标区域的像素存在少量误判的情况。这里本发明对二值化图像F(x,y)进行数学形态学上的膨胀操作，令B表示水平结构像素集合，用B对二值图像集合F(x,y)的膨胀表示为：

其中表示膨胀算子，φ表示空集合，B(x)表示表示对结构像素集合B先做原点映射然后做平移x的运算；记膨胀后的二值化图像为FB(x,y)。这样做的目的是把一些断裂的边缘连接起来，使获得的边界更加完整。

最后对二值化图像FB(x,y)，做连通区域分析，其中面积最大的连通区域就是目标所在区域，也即获得目标提取的结果。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (7)

1.一种多视点图像中的快速目标提取方法，其特征在于，包括以下步骤：

S1.任取一副多视点彩色图像，图像格式为RGB，将该彩色图像记为P(x,y,z)，对该图像进行增强处理，突出图像中的主体目标，并削弱目标周围场景对于目标的影响，获得增强灰度图像；

S2.对增强灰度图像进行二值化，采用全局阈值和局部阈值相结合的方法对每个像素进行判断，得到二值化图像；

S3.对二值化图像进行形态学处理，得到最大的连通区域也即目标区域，完成目标提取。

2.根据权利要求1所述的多视点图像中的快速目标提取方法，其特征在于：步骤S1通过以下方法实现：

S11对彩色图像P(x,y,z)做高斯低通滤波，获得P(x,y,z)的低频分量Q(x,y,z)，公式如下：

$Q(x,y,z)=P(x,y,z)\⊗G_{\mathrm{\σ}}$

其中表示做卷积运算，G_σ是标准差为σ的二维高斯核

S12计算彩色图像P(x,y,z)在RGB颜色空间上的3个均值，公式如下：

${\mathrm{\μ}}_i=\frac{1}{N}\underset{x,y}{\mathrm{\Σ}}P(x,y,z)$

其中z∈{1,2,3}是RGB颜色通道的序号，N是图像的像素总数，{μ_i|i＝1,2,3}即为3个均值；

S13使用S11中得到的低频分量Q(x,y,z)和S12中得到的均值信息，对目标进行增强，得到增强灰度图像D(x,y)，计算公式如下：

$D(x,y)=\[0.299,0.587,0.114\]\×\left[\begin{array}{c}{\left(Q\right(x,y,1)-{\mathrm{\μ}}_1)}^2\\ {\left(Q\right(x,y,2)-{\mathrm{\μ}}_2)}^2\\ {\left(Q\right(x,y,3)-{\mathrm{\μ}}_3)}^2\end{array}\right].$

3.根据权利要求2所述的多视点图像中的快速目标提取方法，其特征在于：步骤S2通过以下方法实现：

S21通过最大类间方差Otsu对灰度图像D(x,y)计算，求得初始阈值Ψ₀；

S22利用初始阈值Ψ₀对灰度图像D(x,y)的每个像素(x,y)进行判断，将其分成3个类别：前景区域、背景区域、待定区域；

$f(x,y)=\left\{\begin{array}{cc}1,& D(x,y)\≥(1+\mathrm{\α})\×{\mathrm{\Ψ}}_0\\ -1,& D(x,y)\≤(1-\mathrm{\α})\×{\mathrm{\Ψ}}_0\\ 0,& else\end{array}\right.$

其中f(x,y)表示像素的标签，1表示前景区域，-1表示背景区域，0表示待定区域，α表示控制参数；

S23对于待定区域也即f(x,y)为0的每个像素，再通过领域信息计算一个新的局部阈值，并根据新的局部阈值对该像素进行二次判断，得到二值化图像。

4.根据权利要求3所述的多视点图像中的快速目标提取方法，其特征在于：步骤S22中，α取值0.15。

5.根据权利要求3所述的多视点图像中的快速目标提取方法，其特征在于：步骤S23通过以下方法实现：

任取待定区域的一个像素，记为(x₀,y₀)，在灰度图像D(x,y)中以其为中心，选择一个大小为9×9的图像块d(x,y)，计算此图像块d(x,y)的均值μ_d和方差ω_d：

${\mathrm{\μ}}_d=\frac{1}{N_d}\underset{x,y}{\mathrm{\Σ}}d(x,y)$

${\mathrm{\ω}}_d=\frac{1}{N_d}\underset{x,y}{\mathrm{\Σ}}{\[d(x,y)-{\mathrm{\μ}}_d\]}^2$

其中N_d表示图像块d(x,y)的像素总数也即81；

根据此图像块d(x,y)的均值μ_d和方差ω_d，对像素(x₀,y₀)进行二次判断：

$f(x,y)=\left\{\begin{array}{cc}1,& D(x,y)\&GreaterEqual;{\mathrm{\&mu;}}_d+\mathrm{\&beta;}\&times;{\mathrm{\&omega;}}_d\\ -1,& D(x,y)<{\mathrm{\&mu;}}_d+\mathrm{\&beta;}\&times;{\mathrm{\&omega;}}_d\end{array}\right.$

其中β表示控制参数；

根据上述方法，可以对灰度图像D(x,y)的所有像素进行判断，也即二值化处理，记得到的二值化图像为F(x,y)。

6.根据权利要求5所述的多视点图像中的快速目标提取方法，其特征在于：步骤S23中，β取值0.1。

7.根据权利要求3、4、5或6所述的多视点图像中的快速目标提取方法，其特征在于：步骤S3通过以下方法实现：

对二值化图像F(x,y)进行数学形态学上的膨胀操作，令B表示水平结构像素集合，用B对二值图像集合F(x,y)的膨胀表示为：

$F(x,y)\&CirclePlus;B=\left\{x\right|B\left(x\right)\&cap;F(x,y)\&NotEqual;\mathrm{\&phi;}\},$

其中表示膨胀算子，φ表示空集合，B(x)表示表示对结构像素集合B先做原点映射然后做平移x的运算；记膨胀后的二值化图像为FB(x,y)；

最后对二值化图像FB(x,y)，做连通区域分析，其中面积最大的连通区域就是目标所在区域，也即获得目标提取的结果。