CN105701810A - 一种基于点击式图像分割的无人机航拍图像电子勾绘方法 - Google Patents

Abstract

本发明公开了一种基于点击式图像分割的无人机航拍图像电子勾绘方法。该方法通过构造高斯混合模型以及计算像素间纹理相似度和空间距离确定能量方程，并利用图割算法求解，包括：设置必要参数，点击待分割目标，计算图像中像素点之间纹理相似度，根据点击位置提取局部像素点并依据这部分像素点确定高斯混合模型，逐像素点计算属于兴趣目标或非兴趣目标的概率密度，计算像素点间的空间距离，依据图割算法求解能量方程，得到分割结果，分割结果后处理，重复上述步骤直到得到满意结果。本发明采用点击方法实现对航拍图像中兴趣目标的分割，无需训练，方法简单，处理速度快，且有效缓解了自动分割中难以获得理想分割结果的问题。

Description

一种基于点击式图像分割的无人机航拍图像电子勾绘方法

技术领域

本发明涉及计算机视觉和图像处理等领域，尤其涉及应用高斯混合模型和图割的一种基于点击式图像分割的无人机航拍图像电子勾绘方法，面向无人机航拍图像勾绘应用。

背景技术

本发明提出一种点击式的图像分割技术，基于该技术完成无人机航拍图像电子勾绘任务。图像分割作为计算机视觉和图像处理领域的一个基本问题，是实现图像分析与理解的关键性步骤，其目的是将图像划分互不交叠的区域，并提取出兴趣区域。随着计算机技术的发展及其运算能力的提升，图像分割已在视频监控、生物医学、遥感等众多领域得到了广泛的应用——分割出监控视频中的兴趣目标，减少人力损耗，提高监控质量；分割出磁共振图像中的特定器官，帮助医生快速准确的诊断病情；分割出航拍图像中的森林、耕地和城市区域。

虽然关于图像分割的研究起始于数字图像处理问世不久，并吸引了众多研究人员付出了巨大努力，也提出了许多分割算法，但至今仍没有一个有效的通用方法。针对图像分割可以分为两大类：自动分割和交互式分割。所谓自动分割，即根据输入图像不同区域的特性，自动实现分割而无需人工干预。目前自动分割算法层出不穷，如特征空间聚类、阈值化、区域生长等基于区域的分割方法；以及边界跟踪、微分算子边缘检测、霍夫变换等基于边界的分割方法。但是对于复杂场景的图像，尤其是对目标精度要求高的图像，自动分割往往无法获得令人满意的分割结果，因此，为了解决这一问题，交互式分割越来越受到研究者的青睐。基于交互式的分割，通过用户选择特定区域，交互式地完成分割，其目标是人与计算机相结合以获得精确的划分。当分割效果不佳时，可以通过迭代加入新的区域，即引入更多的先验信息，直到得到满意的分割结果。目前主流的交互式分割算法包括图割、随机游走、活动轮廓模型和遂平集等。

航拍图像通常视场较大，背景复杂，存在树林、道路、房屋、河流等不同区域，且易受光照变化的影响，因此分割难度大，分割效果不理想。针对航拍图像的分割问题，研究人员提出了多种分割算法。例如，基于模糊C均值的分块聚类方法，但这种方法容易导致边界块归属不明确；基于MeanShift的图像分割虽然克服了传统聚类方法的缺陷，但针对复杂的航拍图像容易造成聚类中心过多，且太密集，即导致图像过分割。因此，针对航拍图像的分割还值得进一步的深入研究。

发明内容

本发明实施例提供了一种基于点击式图像分割的无人机航拍图像电子勾绘方法，通过用户点击兴趣目标，据此构造高斯混合模型，并利用图割算法求解能量方程，最终获取分割结果，完成电子勾绘。

为此，本发明实施例提供如下技术方案：

一种基于点击式图像分割的无人机航拍图像电子勾绘方法，通过构造高斯混合模型以及计算像素间纹理相似度和空间距离确定能量方程，并利用图割算法求解，包括以下步骤：

S01.输入待分割的图像，以及图像通道数目和宽高信息，所述图像为固定翼无人机拍摄的航拍图像；

S02.设置分割过程的必要参数，所述必要参数包括“噪声控制参数”，“分割精细度控制参数”和“采样半径”；

S03.用户点击兴趣目标，捕获点击位置的(x,y)坐标，所述x，y取值为相对于图像左上角的偏移；

S04.计算输入图像中像素点之间的纹理相似度，即计算灰度值之间差值的平方；

S05.根据步骤S03中用户点击位置和步骤S02中必要参数的“采样半径”，提取局部像素点，像素点个数记为N^f，其中f表示兴趣目标中包含的部分像素点，依据这部分像素点灰度值并结合图像边缘位置的局部像素点灰度值构造高斯混合模型；

S06.计算全部像素点属于兴趣目标或非兴趣目标的概率密度；

S07.计算像素点之间的空间距离，所述空间距离为位置坐标之间的欧式距离；

S08.通过图割算法求解能量方程，得到分割结果；

S09.对分割结果后处理，所述后处理即只输出包含用户点击位置的联通区域；

S10.当分割结果不满足用户要求时，重复步骤S03～S09，直到得到满意结果，输出分割结果，所述结果包括兴趣目标的轮廓点坐标。

本发明的技术方案中，所述步骤S02中，“噪声控制参数”取值范围为[1,15]，取值越大效果越明显，“分割精细程度控制参数”取值范围为[0,100]，取值越小越精细，“采样半径”取值范围[2,5]。

本发明的技术方案中，所述步骤S05中构造高斯混合模型还包括以下步骤：

e1.对步骤S05中局部像素点进行聚类分析，聚类数目记为m，所述聚类数目即为高斯混合模型中高斯核的个数，每个聚类中像素点的个数记为：

$n_i^f,i=1,...,m,$

${\mathrm{\Σ}}_{i=1}^m{n}_i^f=N^f;$

e2.从图像边缘位置，提取部分像素点，作为非兴趣目标的先验信息，其像素点个数记为N^b，同样将这部分像素点聚为m类，每个聚类中像素点的个数为：

$n_i^b,i=1,...,m,$

${\mathrm{\Σ}}_{i=1}^m{n}_i^b=N^b;$

e3.分别计算e1和e2中两高斯混合模型的均值：

${\mathrm{\μ}}_i^f=\frac{1}{n_i^f}{\mathrm{\Σ}}_{k\∈C_i}{I}_k^f,i=1,...,m,$

${\mathrm{\μ}}_i^b=\frac{1}{n_i^b}{\mathrm{\Σ}}_{k\∈C_i}{I}_k^b,i=1,...,m,$

根据兴趣目标中局部像素点灰度值构造的高斯混合模型的均值(聚类中心)，

根据非兴趣目标(背景)中局部像素点灰度值构造的高斯混合模型的均值，

C_i：代表某一聚类，

兴趣目标局部像素点，聚类C_i中像素点的灰度值(对真彩色图像，μ_i为一矢量，矢量维数等于图像通道数目)，

非兴趣目标局部像素点，聚类C_i中像素点的灰度值；

e4.分别计算e1和e2中两高斯混合模型的方差：

${\mathrm{\Σ}}_i^f=\frac{1}{n_i^f-1}{\left(D_i^f\right)}^T{D}_i^f,i=1,...,m,$

${\mathrm{\Σ}}_i^b=\frac{1}{n_i^b-1}{\left(D_i^b\right)}^T{D}_i^b,i=1,...,m,$

其中，为根据兴趣目标中局部像素点灰度值构造的高斯混合模型的协方差矩阵，为根据非兴趣目标中局部像素点灰度值构造的高斯混合模型的协方差矩阵，对真彩色图像：

$D_i^f=\left[\begin{array}{ccc}{I}_{k_{1}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{1}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{1}3}^f-{\mathrm{\μ}}_{i3}^f\\ I_{k_{2}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{2}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{2}3}^f-{\mathrm{\μ}}_{i3}^f\\ ...& ...& ...\\ I_{k_{n_i^f}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{n_i^f}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{n_i^f}3}^f-{\mathrm{\μ}}_{i3}^f\end{array}\right],D_i^b=\left[\begin{array}{ccc}{I}_{k_{1}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{1}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{1}3}^b-{\mathrm{\μ}}_{i3}^b\\ I_{k_{2}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{2}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{2}3}^b-{\mathrm{\μ}}_{i3}^b\\ ...& ...& ...\\ I_{k_{n_i^b}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{n_i^b}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{n_i^b}3}^b-{\mathrm{\μ}}_{i3}^b\end{array}\right],$

此时，协方差矩阵为3x3的对称矩阵；

对灰度图像：

$D_i^f=\left[\begin{array}{c}{I}_{k_1}^f-{\mathrm{\μ}}_i^f\\ I_{k_2}^f-{\mathrm{\μ}}_i^f\\ ...\\ I_{k_{n_i^f}}^f-{\mathrm{\μ}}_i^f\end{array}\right],D_i^b=\left[\begin{array}{c}{I}_{k_1}^b-{\mathrm{\μ}}_i^b\\ I_{k_2}^b-{\mathrm{\μ}}_i^b\\ ...\\ I_{k_{n_i^f}}^b-{\mathrm{\μ}}_i^b\end{array}\right],$ 此时，协方差矩阵为1x1矩阵；

e5.计算高斯混合模型中个高斯的权重，兴趣目标对应的高斯混合模型权重：非兴趣目标对应的高斯混合模型权重：

本发明的技术方案中，所述步骤S06中计算概率密度还包括以下步骤:

f1.逐像素点计算高斯混合模型的条件概率密度：

像素点属于兴趣目标： $p\left(I_k\right|F^{GMM})={\Σ}_{i=1}^m\frac{1}{{\left(2\mathrm{\π}\right)}^{h/2}{\left|{\Σ}_i^f\right|}^{1/2}}\exp \left(\frac{{(I_k-{\mathrm{\μ}}_i^f)}^T{\Σ}_i^{f^{-1}}(I_k-{\mathrm{\μ}}_i^f)}{2}\right),$

像素点属于非兴趣目标： $p\left(I_k\right|B^{GMM})={\Σ}_{i=1}^m\frac{1}{{\left(2\mathrm{\π}\right)}^{h/2}{\left|{\Σ}_i^b\right|}^{1/2}}\exp \left(\frac{{(I_k-{\mathrm{\μ}}_i^b)}^T{\Σ}_i^{b^{-1}}(I_k-{\mathrm{\μ}}_i^b)}{2}\right);$

f2.逐像素点计算总的联合概率密度：

像素点属于兴趣目标：p(I_k，F)＝γp(I_k|F^UNIFORM)+(1-γ)p(I_k|F^GMM)，

像素点属于非兴趣目标：p(I_k，B)＝γp(I_k|B^UNIFORM)+(1-γ)p(I_k|B^GMM)，

所述联合概率密度，当γ＝0是完全由高斯混合模型确定，当γ＝1时完全由均匀分布确定；

f3.逐像素点计算其属于兴趣目标的后验概率：

$p\left(F\right|I_k)=\frac{p(I_k,F)}{p(I_k,F)+p(I_k,B)}.$

本发明的技术方案中，所述步骤S08还包括以下步骤：

h1.构造图模型，所述图模型的节点包括图像中的像素点(两相邻像素点p，q∈P)以及两个额外的节点(兴趣目标节点N_f和非兴趣目标节点N_b)，图模型中的边包括像素点之间E_p，q以及像素点与两个额外节点之间(和)；

2.确定边上的权重：

其中(I_p-I_q)²由步骤S04计算，dist(p，q)由步骤S07计算，N表示p,q为相邻像素，

$W_{E_{p,N_f}}=\left\{\begin{array}{cc}-\mathrm{\λ}\ln \left(p\right(F|I_p\left)\right)& p\∈P,p\∉f\∪b\\ 1+{\max }_{p\∈P}{\Σ}_{q\∈N}{W}_{E_{p,q}}& p\∈f\\ 0& p\∈b\end{array}\right.,$ 其中f为兴趣目标的局部像素点，b为非兴趣目标的局部像素点，

$W_{E_{p,N_f}}=\left\{\begin{array}{cc}-\mathrm{\λ}\ln (1-p(F|I_p\left)\right)& p\∈P,p\∉f\∪b\\ 1+{\max }_{p\∈P}{\Σ}_{q\∈N}{W}_{E_{p,q}}& p\∈b\\ 0& p\∈f\end{array}\right.,$

h3.构造能量方程：

设一种分割结果S＝(s₁，s₂，...，s_p∈P)，其中 $s_{p\∈P}=\left\{\begin{array}{cc}1,& p\∈o_{\′\′}{\mathrm{bject}}^{\′\′}\\ 0,& p\∈b_{\′\′}{\mathrm{ackground}}^{\′\′}\end{array}\right.,$ 能量方程E(S)＝λΣ_p∈PRegion_p(s_p)+Σ_p，q∈NBoundoury_p，qδ(s_p，s_q)，其中等式右侧第一项表示“区域属性项”，第二项表示“边界属性项”， $\mathrm{\δ}(s_p,s_q)=\left\{\begin{array}{cc}1,& s_p\≠s_q\\ 0,& otherwise\end{array}\right.;$

h4.利用图割求解能量方程：

设一种“切割”记为Cut，这种Cut的损失为：

$\begin{array}{c}Cost\left(Cut\right)=\underset{e\∈Cut}{\Σ}{W}_e=\underset{p\∉f\∪b}{\Σ}{\mathrm{\λRegion}}_p\left(s_p\right(Cut\left)\right)+\underset{p,q\∈N}{\Σ}{\mathrm{Boundoury}}_{p,q}\mathrm{\δ}(s_p,s_q)\\ =E\left(S\right(Cut\left)\right)-\underset{p\∈f}{\Σ}{\mathrm{\λRegion}}_p\left(o_{\′\′}{\mathrm{bject}}^{\′\′}\right)-\underset{p\∈b}{\Σ}{\mathrm{\λRegion}}_p\left(b_{\′\′}{\mathrm{ackground}}^{\′\′}\right)\\ =E\left(S\right(Cut\left)\right)-const\end{array}$

，则E(S(Cut))＝Cost(Cut)+const，

其中， $s_p\left(Cut\right)=\left\{\begin{array}{cc}o_{\′\′}{\mathrm{bject}}^{\′\′},& E_{p,N_f}\∈Cut\\ b_{\′\′}{\mathrm{ackgound}}^{\′\′},& E_{p,N_b}\∈Cut\end{array}\right.,$ Region_p(″object″)＝-ln(p(F|I_p))，Region_p(″background″)＝-kn(1-p(F|I_p))，

最小化能量方程E(S(Cut))即最小化Cost(Cut)。

与现有技术相比，本发明具有如下优点：

1、由于航拍图像场景复杂，本发明中的点击式分割方法有效缓解了自动分割效果不理想的问题。

2、现有的交互式分割方法通常需要用户既选取兴趣目标，同时又选取背景作为先验信息，并且为了取得理想的分割结果，通常需要选取较大面积的区域以提供充分的先验信息；而本发明中的方法只要求用户点击兴趣目标即可完成分割，将分割操作复杂度简化至最低。

3、本发明中的分割方法无需训练，因此无需用户提供大规模训练数据。

附图说明

图1是本发明实施例提供的点击式航拍图像分割方法流程图。

图2是本发明实施例提供的图割示意图。

图3是本发明实施例提供的分割效果示意图。

图4是本发明实施例提供的又一分割效果示意图。

附图标注说明：图2中，F：兴趣目标节点，B：非兴趣目标节点，P：像素点，F-P：B-P：P-P：E_p，q，Z：最小割(图2中虚线部分)。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种基于点击式图像分割的无人机航拍图像电子勾绘方法流程图，为了便于说明，仅示出了与本发明实施例相关的部分。

本实施例所用图像RGB彩色航拍图像，图像分辨率1080p。

如图1所示，该方法包括以下步骤：

步骤S01，输入待分割图像。

具体的，输入待分割图像，获取图像rgb数据及图像通道数和尺寸信息，所述图像为固定翼无人机拍摄的航拍图像。

步骤S02，设置分割过程的必要参数，所述参数包括“噪声控制参数”，“分割精细度控制参数”和“采样半径”。

具体的，“噪声控制参数”取值范围为[1,15]，取值越大效果越明显；“分割精细程度控制参数”取值范围为[0,100]，取值越小越精细；“采样半径”取值范围[2,5]。

优选的，设置“噪声控制参数”为15，“分割精细度控制参数”为10，“采样半径”为3。

步骤S03，用户点击兴趣目标，捕获点击位置的(x,y)坐标，所述x，y取值相对于图像左上角。

步骤S04，计算输入图像中像素点之间的纹理相似度。

具体的，计算像素点之间的纹理相似度，即计算像素点灰度值之间差值的平方。

步骤S05，根据点击位置提取局部像素点，构造高斯混合模型。

具体的，根据步骤S03中用户点击位置和步骤S02中“采样半径”提取局部像素点作为兴趣目标的先验信息，像素点个数记为N^f，在图像边缘根据“采样半径”提取局部像素点作为非兴趣目标的先验信息，像素点个数记为N^b，依据上述两部分先验信息构造高斯混合模型，其步骤如下：

e1，对兴趣目标的局部像素点进行聚类分析，聚类数目记为m，所述聚类数目即为高斯混合模型中高斯核的个数，每个聚类中像素点的个数记为: $n_i^f,i=1,...,m,{\mathrm{\Σ}}_{i=1}^m{n}_i^f=N^f;$

优选的设置聚类数目m＝5；

e2，对非兴趣目标的局部像素点进行聚类分析，聚类数目与步骤二中相等，每个聚类中像素点的个数记为:

e3，分别计算e1和e2中两个高斯混合模型的均值：

${\mathrm{\μ}}_i^f=\frac{1}{n_i^f}{\mathrm{\Σ}}_{k\∈C_i}{I}_k^f,i=1,...,m,$

${\mathrm{\μ}}_i^b=\frac{1}{n_i^b}{\mathrm{\Σ}}_{k\∈C_i}{I}_k^b,i=1,...,m,$

根据兴趣目标中局部像素点灰度值构造的高斯混合模型的均值(聚类中心)，

根据非兴趣目标(背景)中局部像素点灰度值构造的高斯混合模型的均值，

C_i：代表某一聚类，

兴趣目标局部像素点，聚类C_i中像素点的灰度值(对真彩色图像，μ_i为一矢量，矢量维数等于图像通道数目)，

非兴趣目标局部像素点，聚类C_i中像素点的灰度值；

e4，分别计算e1和e2中两个高斯混合模型的方差：

${\mathrm{\Σ}}_i^f=\frac{1}{n_i^f-1}{\left(D_i^f\right)}^T{D}_i^f,i=1,...,m,$

${\mathrm{\Σ}}_i^b=\frac{1}{n_i^b-1}{\left(D_i^b\right)}^T{D}_i^b,i=1,...,m,$

其中，为根据兴趣目标中局部像素点灰度值构造的高斯混合模型的协方差矩阵，为根据非兴趣目标中局部像素点灰度值构造的高斯混合模型的协方差矩阵，对真彩色图像：

$D_i^f=\left[\begin{array}{ccc}{I}_{k_{1}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{1}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{1}3}^f-{\mathrm{\μ}}_{i3}^f\\ I_{k_{2}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{2}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{2}3}^f-{\mathrm{\μ}}_{i3}^f\\ ...& ...& ...\\ I_{k_{n_i^f}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{n_i^f}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{n_i^f}3}^f-{\mathrm{\μ}}_{i3}^f\end{array}\right],D_i^b=\left[\begin{array}{ccc}{I}_{k_{1}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{1}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{1}3}^b-{\mathrm{\μ}}_{i3}^b\\ I_{k_{2}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{2}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{2}3}^b-{\mathrm{\μ}}_{i3}^b\\ ...& ...& ...\\ I_{k_{n_i^b}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{n_i^b}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{n_i^b}3}^b-{\mathrm{\μ}}_{i3}^b\end{array}\right],$ 此时，协方差矩阵为3x3的对称矩阵，

对灰度图像：

$D_i^f=\left[\begin{array}{c}{I}_{k_1}^f-{\mathrm{\μ}}_i^f\\ I_{k_2}^f-{\mathrm{\μ}}_i^f\\ ...\\ I_{k_{n_i^f}}^f-{\mathrm{\μ}}_i^f\end{array}\right],D_i^b=\left[\begin{array}{c}{I}_{k_1}^b-{\mathrm{\μ}}_i^b\\ I_{k_2}^b-{\mathrm{\μ}}_i^b\\ ...\\ I_{k_{n_i^f}}^b-{\mathrm{\μ}}_i^b\end{array}\right],$ 此时，协方差矩阵为1x1矩阵；

e5，计算高斯混合模型中个高斯的权重，兴趣目标对应的高斯混合模型权重：非兴趣目标对应的高斯混合模型权重：

S06，计算每个像素点属于兴趣目标或非兴趣目标的概率密度。

具体的，分别计算像素点属于兴趣目标或非兴趣目标的概率密度，包括以下步骤：

f1，逐像素点计算高斯混合模型的条件概率密度：

像素点属于兴趣目标： $p\left(I_k\right|F^{GMM})={\Σ}_{i=1}^m\frac{1}{{\left(2\mathrm{\π}\right)}^{h/2}{\left|{\Σ}_i^f\right|}^{1/2}}\exp \left(\frac{{(I_k-{\mathrm{\μ}}_i^f)}^T{\Σ}_i^{f^{-1}}(I_k-{\mathrm{\μ}}_i^f)}{2}\right),$

像素点属于非兴趣目标： $p\left(I_k\right|B^{GMM})={\Σ}_{i=1}^m\frac{1}{{\left(2\mathrm{\π}\right)}^{h/2}{\left|{\Σ}_i^b\right|}^{1/2}}\exp \left(\frac{{(I_k-{\mathrm{\μ}}_i^b)}^T{\Σ}_i^{b^{-1}}(I_k-{\mathrm{\μ}}_i^b)}{2}\right);$

f2，逐像素点计算总的联合概率密度：

像素点属于兴趣目标：p(I_k，F)＝γp(I_k|F^UNIFORM)+(1-γ)p(I_k|F^GMM)，

像素点属于非兴趣目标：p(I_k，B)＝γp(I_k|B^UNIFORM)+(1-γ)p(I_k|B^GMM),

所述联合概率密度，当γ＝0是完全由高斯混合模型确定，当γ＝1时完全由均匀分布确定，

优选的，这里设置γ＝0.05；

f3，逐像素点计算其属于兴趣目标的后验概率：

步骤S07，计算像素点间的空间距离。

具体的，计算像素点间的空间距离，所述空间距离为位置坐标之间的欧式距离。

步骤S08，求解能量方程，得到分割结果。

具体的，通过图割算法求解能量方程，得到分割结果，包括以下步骤：

h1，构造图模型，所述图模型的节点包括图像中的像素点(两相邻像素点p，q∈P)以及两个额外的节点(兴趣目标节点N_f和非兴趣目标节点N_b)，图模型中的边包括像素点之间E_p，q以及像素点与两个额外节点之间(和)；

h2，确定边上的权重：

其中(I_p-I_q)²由步骤S04计算，dist(p，q)由步骤S07计算，N表示p,q为相邻像素，

$W_{E_{p,N_f}}=\left\{\begin{array}{cc}-\mathrm{\λ}\ln \left(p\right(F|I_p\left)\right)& p\∈P,p\∉f\∪b\\ 1+{\max }_{p\∈P}{\Σ}_{q\∈N}{W}_{E_{p,q}}& p\∈f\\ 0& p\∈b\end{array}\right.,$ 其中f为兴趣目标的局部像素点，b为非兴趣目标的局部像素点；

$W_{E_{p,N_f}}=\left\{\begin{array}{cc}-\mathrm{\λ}\ln (1-p(F|I_p\left)\right)& p\∈P,p\∉f\∪b\\ 1+{\max }_{p\∈P}{\Σ}_{q\∈N}{W}_{E_{p,q}}& p\∈b\\ 0& p\∈f\end{array}\right.,$

优选的，设置σ＝150；

h3，构造能量方程：

设一种分割结果S＝(s₁，s₂，...，s_p∈P)，其中 $s_{p\∈P}=\left\{\begin{array}{cc}1,& p\∈o_{\′\′}{\mathrm{bject}}^{\′\′}\\ 0,& p\∈b_{\′\′}{\mathrm{ackground}}^{\′\′}\end{array}\right.,$

能量方程E(S)＝λΣ_p∈PRegion_p(s_p)+Σ_p，q∈NBoundoury_p，qδ(s_p，s_q)，其中等式右侧第一项表示“区域属性项”，第二项表示“边界属性项”，

h4，利用图割求解能量方程：

设一种“切割”记为Cut，这种Cut的损失为：

$\begin{array}{c}Cost\left(Cut\right)={\Σ}_{e\∈Cut}{W}_e={\Σ}_{p\∉f\∪b}{\mathrm{\λRegion}}_p\left(s_p\right(Cut\left)\right)+{\Σ}_{p,q\∈N}{\mathrm{Boundoury}}_{p,q}\mathrm{\δ}(s_p,s_q)=\\ E\left(S\right(Cut\left)\right)-{\Σ}_{p\∈f}{\mathrm{\λRegion}}_p\left(o_{\′\′}{\mathrm{bject}}^{\′\′}\right)-{\Σ}_{p\∈b}{\mathrm{\λRegion}}_p\left(b_{\′\′}{\mathrm{ackground}}^{\′\′}\right)=E\left(S\right(Cut\left)\right)-const,\end{array}$

则E(S(Cut))＝Cost(Cut)+const，

其中， $s_p\left(Cut\right)=\left\{\begin{array}{cc}o_{\′\′}{\mathrm{bject}}^{\′\′},& E_{p,N_f}\∈Cut\\ b_{\′\′}{\mathrm{ackgound}}^{\′\′},& E_{p,N_b}\∈Cut\end{array}\right.,$ Region_p(″object″)＝-ln(p(F|I_p))，Region_p(″bakground″)＝-ln(1-p(F|I_p))，

最小化能量方程E(S(Cut))即最小化Cost(Cut)，如图2所示。

步骤S09，结果后处理。

具体的，对分割结果后处理，即只输出包含用户点击位置的联通区域。

步骤S10，分割结果是否满足分割要求，若不满足重复步骤S03～S09，直到得到满意的分割结果，所述结果包括兴趣目标的轮廓点坐标，输出结果如图3、图4所示。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于点击式图像分割的无人机航拍图像电子勾绘方法，所述方法采用高斯混合模型和图割算法，其特征是包括以下步骤：

S01.输入待分割的图像，以及图像通道数目和宽高信息，所述图像为固定翼无人机拍摄的航拍图像；

S02.设置分割过程的必要参数，所述必要参数包括“噪声控制参数”，“分割精细度控制参数”和“采样半径”；

S03.用户点击兴趣目标，捕获点击位置的(x，y)坐标，所述x，y取值为相对于图像左上角的偏移；

S04.计算输入图像中像素点之间的纹理相似度，即计算灰度值之间差值的平方；

S05.根据步骤S03中用户点击位置和步骤S02中必要参数的“采样半径”，提取局部像素点，像素点个数记为N^f，其中f表示兴趣目标中包含的部分像素点，依据这部分像素点灰度值并结合图像边缘位置的局部像素点灰度值构造高斯混合模型；

S06.计算全部像素点属于兴趣目标或非兴趣目标的概率密度；

S07.计算像素点之间的空间距离，所述空间距离为位置坐标之间的欧式距离；

S08.通过图割算法求解能量方程，得到分割结果；

S09.对分割结果后处理，所述后处理即只输出包含用户点击位置的联通区域；

S10.当分割结果不满足用户要求时，重复步骤S03～S09，直到得到满意结果，输出分割结果，所述结果包括兴趣目标的轮廓点坐标。

2.如权利要求1所述的一种基于点击式图像分割的无人机航拍图像电子勾绘方法，其特征是，所述步骤S02中，“噪声控制参数”取值范围为[1，15]，取值越大效果越明显，“分割精细程度控制参数”取值范围为[0，100]，取值越小越精细，“采样半径”取值范围[2，5]。

3.如权利要求1所述的一种基于点击式图像分割的无人机航拍图像电子勾绘方法，其特征是，所述步骤S05中构造高斯混合模型还包括以下步骤：

e1.对步骤S05中局部像素点进行聚类分析，聚类数目记为m，所述聚类数目即为高斯混合模型中高斯核的个数，每个聚类中像素点的个数记为：

$n_i^f,i=1,...,m,$

${\mathrm{\Σ}}_{i=1}^m{n}_i^f=N^f;$

e2.从图像边缘位置，提取部分像素点，作为非兴趣目标的先验信息，其像素点个数记为N^b，同样将这部分像素点聚为m类，每个聚类中像素点的个数为：

$n_i^b,i=1,...,m,$

${\mathrm{\Σ}}_{i=1}^m{n}_i^b=N^b;$

e3.分别计算e1和e2中两高斯混合模型的均值：

${\mathrm{\μ}}_i^f=\frac{1}{n_i^f}{\Σ}_{k\∈C_i}{I}_k^f,i=1,...,m,$

${\mathrm{\μ}}_i^b=\frac{1}{n_i^b}{\Σ}_{k\∈C_i}{I}_k^b,i=1,...,m,$

根据兴趣目标中局部像素点灰度值构造的高斯混合模型的均值(聚类中心)，

根据非兴趣目标(背景)中局部像素点灰度值构造的高斯混合模型的均值，

C_i：代表某一聚类，

兴趣目标局部像素点，聚类C_i中像素点的灰度值(对真彩色图像，μ_i为一矢量，矢量维数等于图像通道数目)，

非兴趣目标局部像素点，聚类C_i中像素点的灰度值；

e4.分别计算e1和e2中两高斯混合模型的方差：

${\mathrm{\Σ}}_i^f=\frac{1}{n_i^f-1}{\left(D_i^f\right)}^T{D}_i^f,i=1,...,m,$

${\mathrm{\Σ}}_i^b=\frac{1}{n_i^b-1}{\left(D_i^b\right)}^T{D}_i^b,i=1,...,m,$

其中，为根据兴趣目标中局部像素点灰度值构造的高斯混合模型的协方差矩阵，为根据非兴趣目标中局部像素点灰度值构造的高斯混合模型的协方差矩阵，对真彩色图像：

$D_i^f=\left[\begin{array}{ccc}{I}_{k_{1}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{1}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{1}3}^f-{\mathrm{\μ}}_{i3}^f\\ I_{k_{2}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{2}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{2}3}^f-{\mathrm{\μ}}_{i3}^f\\ ...& ...& ...\\ I_{k_{n_i^f}1}^f-{\mathrm{\μ}}_{i1}^f& I_{k_{n_i^f}2}^f-{\mathrm{\μ}}_{i2}^f& I_{k_{n_i^f}3}^f-{\mathrm{\μ}}_{i3}^f\end{array}\right],D_i^b=\left[\begin{array}{ccc}{I}_{k_{1}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{1}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{1}3}^b-{\mathrm{\μ}}_{i3}^b\\ I_{k_{2}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{2}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{2}3}^b-{\mathrm{\μ}}_{i3}^b\\ ...& ...& ...\\ I_{k_{n_i^b}1}^b-{\mathrm{\μ}}_{i1}^b& I_{k_{n_i^b}2}^b-{\mathrm{\μ}}_{i2}^b& I_{k_{n_i^b}3}^b-{\mathrm{\μ}}_{i3}^b\end{array}\right],$

此时，协方差矩阵为3x3的对称矩阵；

对灰度图像：

$D_i^f=\left[\begin{array}{c}{I}_{k_1}^f-{\mathrm{\μ}}_i^f\\ I_{k_2}^f-{\mathrm{\μ}}_i^f\\ ...\\ I_{k_{n_i^f}}^f-{\mathrm{\μ}}_i^f\end{array}\right],D_i^b=\left[\begin{array}{c}{I}_{k_1}^b-{\mathrm{\μ}}_i^b\\ I_{k_2}^b-{\mathrm{\μ}}_i^b\\ ...\\ I_{k_{n_i^f}}^b-{\mathrm{\μ}}_i^b\end{array}\right],$

此时，协方差矩阵为1x1矩阵；

e5.计算高斯混合模型中个高斯的权重，

兴趣目标对应的高斯混合模型权重：

非兴趣目标对应的高斯混合模型权重：

4.如权利要求1所述的一种基于点击式图像分割的无人机航拍图像电子勾绘方法，其特征是，所述步骤S06中计算概率密度还包括以下步骤：

f1.逐像素点计算高斯混合模型的条件概率密度：

像素点属于兴趣目标： $p\left(I_k\right|F^{GMM})={\Σ}_{i=1}^m\frac{1}{{\left(2\mathrm{\π}\right)}^{h/2}{\left|{\Σ}_i^f\right|}^{1/2}}\exp \left(\frac{{(I_k-{\mathrm{\μ}}_i^f)}^T{{\Σ}_i^f}^{-1}(I_k-{\mathrm{\μ}}_i^f)}{2}\right),$

像素点属于非兴趣目标： $p\left(I_k\right|B^{GMM})={\mathrm{\Σ}}_{i=1}^m\frac{1}{{\left(2\mathrm{\π}\right)}^{h/2}{\left|{\mathrm{\Σ}}_i^b\right|}^{1/2}}\exp \left(\frac{{(I_k-{\mathrm{\μ}}_i^b)}^T{{\mathrm{\Σ}}_i^b}^{-1}(I_k-{\mathrm{\μ}}_i^b)}{2}\right);$

f2.逐像素点计算总的联合概率密度：

像素点属于兴趣目标：p(I_k，F)＝γp(I_k|F^UNIFORM)+(1-γ)p(I_k|F^GMM)，

像素点属于非兴趣目标：p(I_k，B)＝γp(I_k|B^UNIFORM)+(1-γ)p(I_k|B^GMM)，

所述联合概率密度，当γ＝0是完全由高斯混合模型确定，当γ＝1时完全由均匀分布确定；

f3.逐像素点计算其属于兴趣目标的后验概率：

$p\left(F\right|I_k)=\frac{p(I_k,F)}{p(I_k,F)+p(I_k,B)}.$

5.如权利要求1所述的一种基于点击式图像分割的无人机航拍图像电子勾绘方法，其特征是，所述步骤S08还包括以下步骤：

h1.构造图模型，所述图模型的节点包括图像中的像素点(两相邻像素点p，q∈P)以及两个额外的节点(兴趣目标节点N_f和非兴趣目标节点N_b)，图模型中的边包括像素点之间E_p，q以及像素点与两个额外节点之间(和)；

h2.确定边上的权重：

其中(I_p-I_q)²由步骤S04计算，dist(p，q)由步骤S07计算，N表示p，q为相邻像素，

$W_{E_{p,N_f}}=\left\{\begin{array}{cc}-\mathrm{\λ}\ln \left(p\right(F|I_p\left)\right)& p\∈P,p\∉f\∪b\\ 1+{\max }_{p\∈P}{\Σ}_{q\∈N}{W}_{E_{p,q}}& p\∈f\\ 0& p\∈b\end{array}\right.,$ 其中f为兴趣目标的局部像素点，b为非兴趣目标的局部像素点，

$W_{E_{p,N_f}}=\left\{\begin{array}{cc}-\mathrm{\λ}\ln (1-p(F|I_p\left)\right)& p\∈P,p\∉f\∪b\\ 1+{\max }_{p\∈P}{\Σ}_{q\∈N}{W}_{E_{p,q}}& p\∈b\\ 0& p\∈f\end{array}\right.;$

h3.构造能量方程：

设一种分割结果S＝(s₁，s₂，...，s_p∈P)，其中 $s_{p\∈P}=\left\{\begin{array}{cc}1,& p\∈o_{\′\′}{\mathrm{bject}}^{\′\′}\\ 0,& p\∈b_{\′\′}{\mathrm{ackground}}^{\′\′}\end{array}\right.,$

能量方程E(S)＝λΣ_p∈PRegion_p(s_p)＋Σ_p，q∈NBoundoury_p，qδ(s_p，s_q)，其中等式右侧第一项表示“区域属性项”，第二项表示“边界属性项”， $\mathrm{\δ}(s_p,s_q)=\left\{\begin{array}{cc}1,& s_p\≠s_q\\ 0,& otherwise\end{array}\right.;$

h4.利用图割求解能量方程：

设一种“切割”记为Cut，这种Cut的损失为：

$\begin{array}{c}\mathrm{Cost}\left(\mathrm{Cut}\right)=\underset{e\∈\mathrm{Cut}}{\mathrm{\Σ}}{W}_e=\underset{p\∉f\∪b}{\mathrm{\Σ}}\mathrm{\λ}{\mathrm{Region}}_p\left(s_p\left(\mathrm{Cut}\right)\right)+\underset{p,q\∈N}{\mathrm{\Σ}}{\mathrm{Boundoury}}_{p,q}\mathrm{\δ}(s_p,s_q)\\ =E\left(S\left(\mathrm{Cut}\right)\right)-\underset{p\∈f}{\mathrm{\Σ}}\mathrm{\λ}{\mathrm{Region}}_p(\text{'}\mathrm{object}\text{'})-\underset{p\∈b}{\mathrm{\Σ}}\mathrm{\λ}{\mathrm{Region}}_p(\text{'}\mathrm{background}\text{'})\\ =E\left(S\left(\mathrm{Cut}\right)\right)-\mathrm{const}\end{array}$

则E(S(Cut))＝Cost(Cut)+const，

其中， $s_p\left(Cut\right)=\left\{\begin{array}{cc}o_{\′\′}{\mathrm{bject}}^{\′\′},& E_{p,N_f}\∈Cut\\ b_{\′\′}{\mathrm{ackgound}}^{\′\′},& E_{p,N_b}\∈Cut\end{array}\right.,$ Region_p(“object”)=-ln(p(F|I_p))，Region_p(“background”)＝-ln(1-p(F|I_p))，

最小化能量方程E(S(Cut))即最小化Cost(Cut)。