CN104268571A - 一种基于最小树聚类的红外多目标分割方法 - Google Patents

Abstract

本发明涉及一种基于最小树聚类的红外多目标分割方法，其特征在于：采用背景差分法和形态学操作预处理图像，得到目标区域和背景区域分离的二值化图像；二值图像中所有目标区域的像素点均匀采样和最近邻划分将目标区域像素初始划分成各个小类；以各个小类为顶点，以L1范数和高斯核函数计算得到的类间间距为边长构造一棵最小树；计算得到的边长阈值并切割最小树长边，得到最终的聚类结果，剔除孤立点和噪声点，剩余每一类为一个目标；在原始红外图像上用十字叉标示各个目标形心，用矩形框标示各个目标空间范围。

Description

一种基于最小树聚类的红外多目标分割方法

技术领域

本发明属于图像处理和机器视觉领域，涉及一种基于最小树聚类的红外多目标分割方法。

背景技术

红外图像中的目标分割包括两层含义，一个是将目标的像素和背景像素分割开来，另一个是将属于不同目标的像素之间分割开来。将目标像素从背景像素中分离出来采用了比较成熟的背景差分法，待检测图像与背景差别较大的区域认为是目标区域。

本发明采用聚类的方法将属于不同目标的像素分割开来。聚类是将一个没有类别标示的数据集根据每个对象的属性特征划分成几个子集的过程，使同一个子集内部对象之间的相似性比较高，不同子集之间对象的相似性比较低。现有的一些聚类方法可能存在下面几点缺陷：一是初始值的选取问题，如K均值聚类和K中心点聚类需要确定聚类个数k和初始聚类中心，无法做到参数自适应；二是效率问题，如cure聚类、DBSCAN聚类和最小生成树聚类等在处理大数据集时十分耗时，无法满足实时性；三是识别非球形簇的能力，K均值等基于最近邻准则划分的方法无法识别非球形分布的簇；四是对孤立点和噪声点敏感的问题，孤立点和噪声点会严重影响聚类结果，使聚类中心发生较大的偏移。因为待检测的红外图像中的目标个数以及各个目标的形状事先是不确定的，所以存在上面所述初始值选取和识别非球形簇的问题。因为背景的轻微变化或者传感器的噪声干扰使目标区域分割不准确，所以存在对孤立点或噪声点敏感的问题。另外，分割出的目标区域可能包含很多像素点，所以也存在对大数据集处理效率的问题。文献《基于最小树切割的自适应聚类方法》(见《北京工业大学学报》2007年第33卷第3期，P：331-336，作者：李玉鑑)中提出了一种基于最小树切割的自适应聚类方法，将空间中每个点作为最小树顶点，将两个顶点的欧氏距离作为边长，然后自适应计算阈值切割最小树长边进行聚类，这种方法如果用于红外多目标分割会存在各种缺陷。首先，将各个空间像素点作为对象集参与聚类，当目标面积较大时构造最小树的计算量太大，影响处理的实时性；另外，采用欧式距离也不能准确衡量目标区域各个像素点之间的距离，导致经典的自适应阈值分割方法不能很好的识别长边。本发明的特征在于针对上述问题做出一系列的改进。

发明内容

本发明的目的在于根据红外图像中目标像素的分布特征，针对一些现有聚类方法存在的缺陷，提出一种L1范数和高斯核函数改进的最小树聚类方法，完成对红外图像中多目标的分割，解决现有一些聚类方法在分割多个红外目标时存在的初始值选取、非球形簇识别、噪声点干扰以及处理大数据集效率低下的问题。

实现本发明所述方法主要包含下面的关键技术。

1、采用背景重构、背景差分、阈值分割以及形态学操作等一系列方法处理图像，得到背景区域和目标区域分离的二值化图像。主要包含以下内容。

(1)采集一组序列图像，对于每个像素点在时间上取中值得到一幅不包含任何目标的背景图像。

(2)采集待检测的图像，与背景图像对应像素相减取绝对值得到差分图像，计算差分图像灰度阈值，阈值分割将图像转化为二值图像。灰度阈值的计算及阈值分割的方法按下式进行。

$T_{\mathrm{pix}}=\mathrm{mean}\left(\mathrm{differ}\right)+{\mathrm{\λ}}_1\×\sqrt{\mathrm{Var}\left(\mathrm{differ}\right)}$

$\mathrm{binarize}(i,j)=\left\{\begin{array}{cc}255& \mathrm{differ}(i,j)>T_{\mathrm{pix}}\\ 0& \mathrm{differ}(i,j)\≤T_{\mathrm{pix}}\end{array}\right.$

式中，Mean(differ)表示求差分图像的灰度均值，Var(differ)表示求图像灰度的方差，λ₁为一个常数(本发明中λ₁的取值为2)，differ(i，j)表示差分图像第i行第j列的像素值，binarize(i，j)表示二值图像第i行第j列的像素值。

(3)阈值分割后的二值图像进行形态学先开后闭操作去除部分孤立点和噪声以及断开相近目标的粘连，得到目标区域和背景区域分离的二值化图像。

2、采用L1范数和高斯核函数改进的最小树聚类方法分割属于不同目标的像素点及隔离孤立点和噪声。主要包含以下内容。

(1)对所有二值图像中灰度为255的点均匀采样，非采样点以采样点为中心按照最近邻准则划分，将目标区域的像素点初始划分为各个小类，具体操作过程如下。

设集合Z，开始时Z是一个空集。本发明采用的方法是按照从左到右从上到下的顺序扫描二值图中所有灰度值为255的点，将第一个点加入到集合Z中，下一个距离这个点大于2的点作为第二点加入到集合Z中。在扫描到某一个点时，如果这个点距离集合Z中所有的点距离都大于2，则将这个点作为新的点加入到集合Z中。当扫描过图像中所有灰度值为255的点后，假设集合Z中有k个点，则这k个点分别代表k个小类。再将二值图中所有灰度值为255的点以这k个点为中心按照最近邻准则划分到k个小类中。

(2)采用L1范数和高斯核函数计算上述k个小类两两之间的类间距离。设存在两个小类A和B，A中包含m个像素点，B中包含n个像素点，A和B的类间距离用L_AB表示，L_AB的计算公式如下式。

$L_{\mathrm{AB}}=1-\exp (-\frac{{D_{\mathrm{AB}}}^2}{{\mathrm{\σ}}^2})$

式中，σ是一个常数(本发明中σ的取值为2)，D_AB是A和B两个集合中距离最近两个点的L1范数。D_AB的计算公式如下。

$D_{\mathrm{AB}}=\min \left(\right|{x_i}^A-x_j^B|+|{y_i}^A-y_j^B\left|\right)$

i＝1，2，...，m；j＝1，2，...，n

其中，(x^A _i，y^A _i)(i＝1，2，...，m)表示集合A中m个点的坐标，(x^B _j，y^B _j)(j＝1，2，...，n)表示集合B中n个点的坐标。

(3)以各个小类为顶点，计算得到的类间距离为边长构造最小树，构造方法如下。

a、读入k个小类作为最小树的k个顶点。设置k×k的矩阵L存储k个小类两两之间的距离。设置(k-1)×3的矩阵tree存储最小树的顶点和边，其中矩阵一行为一个顶点，一行的前两个元素存储顶点编号，第三个元素存储这两个顶点的边长。

b、计算k个小类两两之间的类间距离并存入L，L的一个元素为L_AB(A＝1，2，...k；B＝1，2，...k)，计算方法如步骤(2)中所述。

c、从L中寻找长度最小的边L₀，判断L₀是否已经存入最小树tree中。如果L₀已经存入tree中则将L中L₀的值设置为无穷大后重复本步；如果L₀未存入tree则转入步骤d。

d、将L₀的两个顶点和边长存入tree，判断tree中是否已经存满。如果存满则输出最小树tree，最小树构造完成，结束操作；如果没有存满则将L中L₀的值设置为无穷大后转入步骤c。

(4)计算得到最小树中的边长阈值T_tree，然后切割长度大于阈值的长边将最小树分成几棵子树，一棵子树为一个类。边长阈值T_tree的计算公式如下。

$T_{\mathrm{tree}}=\mathrm{mean}\left(\mathrm{tree}\right)+{\mathrm{\λ}}_2\×\sqrt{\mathrm{Var}\left(\mathrm{tree}\right)}$

式中，Mean(tree)为求所有边长的均值，Var(tree)为所有边长的方差，λ₂为一常数(本发明中λ₂的取值为2)。

经过上述操作，属于不同目标的像素被分割开来，一些孤立点和噪声点也被从目标像素中隔离出来，单独成一类。

3、剔除噪声点和孤立点(将像素数目小于N的类视为孤立点或噪声点，根据经验，N取目标区域像素总数的平方根在大多数情况下比较合适)，其余各个类计算其中心和尺寸，作为各个目标的形心和空间范围，分别用十字叉和矩形框标示，从而得到最终的分割结果。

附图说明

通过参照附图更详细地描述本发明的示例性实施例，本发明方法的操作过程及其优势将更加易于清楚，在附图中：

图1为红外多目标分割方法的流程图。

图2为序列图像重构背景的示意图。

图3为背景差分和阈值分割操作的示意图。

图4为形态学操作示意图。

图5为均匀采样和最近邻划分得到初始划分的结果。

图6为一种构造最小树方法的流程图。

图7为以平面点集为例阐述最小树聚类的示意图。

图8为L1范数和高斯核函数改进的最小树聚类的最终结果。

图9为分析采用L1范数和高斯核函数优势的示意图。

图10为本发明聚类方法与其他聚类方法的对比示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步描述，介绍其具体的实施方式。

本发明红外多目标分割方法的具体流程图如图1所示，具体的实施步骤包括下面几步：

步骤1：采用背景差分法和形态学操作处理待检测图像，得到目标区域和背景区域分离的二值化图像。

步骤(1a)：采集一组包含运动目标的序列图像，在时间维上取中值生成背景图像。

背景差分法需要一幅不包含任何目标的背景图像作为参考图像，本发明采用一组序列图像来构造背景图像。首先，将采集到的一组序列图像构造成包含两维空间轴(x，y)和一维时间轴t的三维(x，y，t)数据块，如图2(a)所示；然后对于每个空间坐标为(x，y)的像素点取t方向上的中值则得到了背景图像，如图2(b)所示。只要目标是运动的，采集的序列图像足够多，这种方法就能够满足要求。

步骤(1b)：采集待检测图像，与背景图像对应像素相减取绝对值得到差分图像。图3(a)为待检测图像，图3(b)为待检测图像与背景图像对应像素相减取绝对值后的图像。

步骤(1c)：计算出灰度阈值T_pix，使用阈值T_pix分割差分图像，得到二值化图像。

使用公式(1)计算得到灰度阈值T_pix，其中Mean(differ)表示求差分图像的灰度均值，Var(differ)表示求图像灰度的方差，λ₁为一个常数(本发明中λ₁的取值为2)。利用阈值T_pix将差分图像二值化，二值化方法如式(2)所示，differ(i，j)表示差分图像第i行第j列的像素值，binarize(i，j)表示二值图像第i行第j列的像素值。图3(c)为二值化的结果。

$T_{\mathrm{pix}}=\mathrm{mean}\left(\mathrm{differ}\right)+{\mathrm{\λ}}_1\×\sqrt{\mathrm{Var}\left(\mathrm{differ}\right)}---\left(1\right)$

$\mathrm{binarize}(i,j)=\left\{\begin{array}{cc}255& \mathrm{differ}(i,j)>T_{\mathrm{pix}}\\ 0& \mathrm{differ}(i,j)\≤T_{\mathrm{pix}}\end{array}\right.---\left(2\right)$

步骤(1d)：二值图像进行形态学先开后闭操作，去除部分孤立点和断开相邻目标的粘连。

由图3(c)可以看出，由于背景的轻微抖动或传感器噪声等原因，会将一些不属于目标的像素点也分割出来，这些点往往是一些孤立的点，采用形态学先开后闭的操作能够出去一部分比较小的孤立点，图4(a)为形态学操作后的结果，可以看出孤立点已明显减少。另外，如图4(b)所示的局部放大图可以看出距离相近的两个目标可能有部分像素粘连在一起，采用形态学先开后闭的操作能够有效的将粘连的部分分开，得到如图4(c)所示结果。

步骤2：二值图像中所有目标区域的像素点均匀采样和最近邻划分将目标像素初始划分成各个小类；以各个小类为顶点，采用L1范数和高斯核函数改进的最小树聚类得到最终的聚类结果；

步骤(2a)：所有灰度为255的点均匀采样，非采样点以采样点为中心按照最近邻准则划分，将目标区域的像素点初始划分成各个小类，具体操作过程如下。

设集合Z，开始时Z是一个空集。本发明采用的方法是按照从左到右从上到下的顺序扫描二值图中所有灰度值为255的点，将第一个点加入到集合Z中，下一个距离这个点大于2的点作为第二点加入到集合Z中。在扫描到某一个点时，如果这个点距离集合Z中所有的点距离都大于2，则将这个点作为新的点加入到集合Z中。当扫描过图像中所有灰度值为255的点后，假设集合Z中有k个点，则这k个点分别代表k个小类。最后将二值图中所有灰度值为255的点按照最近邻准则划分到k个小类中。图5(a)为得到的初始划分结果，图5(b)为其局部放大图，每个灰色的小方框表示一个小类。这k个小类作为最小生成树的顶点进行下一步的聚类。

步骤(2b)：以各个小类为顶点，采用L1范数和高斯核函数计算各个小类的类间距离作为两个顶点之间的边长。

将上一步得到的k个小类作为k个顶点，这里的一个顶点实际是一个包含多个像素点的集合，计算两个顶点的边长时采用了L1范数和高斯核函数。假设存在两个小类A和B，A中有m个像素点，B中有n个像素点，则顶点A和顶点B对应的边长L_AB用式(3)计算。

$L_{\mathrm{AB}}=1-\exp (-\frac{{D_{\mathrm{AB}}}^2}{{\mathrm{\σ}}^2})---\left(3\right)$

式中，σ是一个常数(本发明中σ的取值为2)，D_AB是A和B两个集合中距离最近两个点的L1范数。D_AB的表达式如式(4)所示。

$D_{\mathrm{AB}}=\min \left(\right|{x_i}^A-x_j^B|+|{y_i}^A-y_j^B\left|\right)---\left(4\right)$

i＝1，2，...，m；j＝1，2，...，n

其中，(x^A _i，y^A _i)(i＝1，2，...，m)表示集合A中m个点的坐标，(x^B _j，y^B _j)(j＝1，2，...，n)表示集合B中n个点的坐标。

步骤(2c)：以k个小类为顶点，计算得到的类间距离为边长，构造一棵最小生成树。

最小生成树是最小权重生成树的简称，这里的权重指的是边的权重。给定一个无向图G＝(V，E)，V是顶点的集合，E是边的集合。假设u和v是图G的两个顶点，即u，v∈V；(u，v)代表连接顶点u与顶点v的边，即(u，v)∈E；ω(u，v)代表边(u，v)的权重即边长。若存在tree为E的子集(即)且tree不构成回路，使得式(5)中的ω(tree)最小，则此tree为图G的最小生成树。

$\mathrm{\ω}\left(\mathrm{tree}\right)=\underset{(u,v)\∈\mathrm{tree}}{\mathrm{\Σ}}\mathrm{\ω}(u,v)---\left(5\right)$

本发明采用的构造最小树是每次从无向图G中选出距离最近的两个顶点，如果这两个点未连通则将这两个点的连线作为最小树的一条边。通过判断这两个点是否已经连通能够防止形成回路，构造最小树的流程图如图6所示，具体操作步骤如下。

a、读入k个小类作为最小树的k个顶点。设置k×k的矩阵L存储k个小类两两之间的距离。设置(k-1)×3的矩阵tree存储最小树的顶点和边，其中矩阵一行为一个顶点，一行的前两个元素存储顶点编号，第三个元素存储这两个顶点的边长。

b、计算k个小类两两之间的类间距离并存入L，L的一个元素为L_AB(A＝1，2，...k；B＝1，2，...k)，计算方法如式(3)所述公式。

c、从L中寻找长度最小的边L₀，判断L₀是否已经存入最小树tree中。如果L₀已经存入tree中则将L中L₀的值设置为无穷大后重复本步；如果L₀未存入tree则转入步骤d。

d、将L₀的两个顶点和边长存入tree，判断tree中是否已经存满。如果存满则输出最小树tree，最小树构造完成，结束操作；如果没有存满则将L中L₀的值设置为无穷大后转入步骤c。

上述操作中，预先判断L₀是否已存入最小树tree可以避免最小树中存入重复的边，也可以避免最小树中形成回路。将已存入最小树的边在L中的值设置为无穷大方便寻找下一最短的边。

步骤(2d)：计算最小树的边长阈值，切割长边分割不同目标。

最小生成树聚类是一种基于图论的聚类分析方法，其核心思想是用给定数据集中的所有对象在其特征空间中构造一棵最小生成树，由式(6)计算得到最小树的长边阈值T_tree，式中Mean(tree)为求所有边长的均值，Var(tree)为所有边长的方差，λ₂为一常数(本发明中λ₂的取值为2)。将边长大于T_tree的边割断，最小树被分成几棵子树，每棵子树代表一个类，一棵子树中所有节点的均值就是这个类的中心。

$T_{\mathrm{tree}}=\mathrm{mean}\left(\mathrm{tree}\right)+{\mathrm{\λ}}_2\×\sqrt{\mathrm{Var}\left(\mathrm{tree}\right)}---\left(6\right)$

下面用包含15个点的平面点集来形象的说明最小生成树聚类的过程。图7(a)表示这15个点构成的一棵最小生成树；图7(b)表示切割长边得到的三棵子树；图7(c)为进一步计算各个类中心并将不同的类用不同形状显示的得到的最终聚类结果。

步骤3：剔除孤立点的类(像素数目小于N的类，根据经验，N取目标区域像素总数的平方根在大多数情况下比较合适)，其余各个类计算其中心和尺寸，作为各个目标的形心和空间范围，分别用十字叉和矩形框标示。

未剔除孤立点得到如图8(a)的结果。可以看出孤立点被单独划分为一类，方便剔除，两个距离很近的目标也能被准确的区分开来。剔除孤立点后得到理想的聚类结果，如图8(b)所示。

本发明所述方法的性能及优势通过下面的实验进一步分析。

首先分析采用L1范数和高斯核函数的优势。假设存在如图9(a)所示情况，A和B两个顶点各包含九个像素，则这两个顶点的边长用两个阴影像素之间的距离计算，欧式距离计算的距离为L1范数计算的距离为2，L1范数相比欧式距离而言，使A和B两个顶点的距离展宽，从而容易将这两个顶点区分开来。另外，将L1范数表示的边长经过高斯核函数变换，长边和短边的差距进一步拉大，从而更容易识别出长边。图9(b)为以单个像素为顶点，采用欧式距离计算得到边长分布图；图9(c)为以一个小类为顶点，采用L1范数加高斯核函数计算得到边长分布图，可以看出L1范数加高斯核函数的方法得到的长边和短边的差异更大，更容易判断哪些边属于长边。

下面通过和K均值聚类以及欧式距离最小树聚类比较来分析本发明方法的有效性。首先，K均值聚类需要人为确定聚类个数k的值和初始的聚类中心，直观的令k＝3，得到图10(a)所示的结果，可以看出孤立点使聚类结果产生很大的偏差。其次，使用欧氏距离最小树聚类，将单个像素作为顶点，像素间的欧式距离为边长，构造最小树后进行长边阈值切割，剔除孤立点得到图9(b)的结果，可以看出无法区分距离很近的两个目标。最后，使用本发明方法得到结果如图9(c)所示，既能剔除孤立点的影响，又能区分距离很近的两个目标，相比K均值聚类和欧氏距离最小树聚类有明显的优势。

下面对三种方法的执行效率进行比较，如表1所示。可以看出，本发明方法在提高性能的同时，执行效率较最小树聚类有了很大的提高。

表1  多种方法执行时间对比/(秒s)

综上所述，本发明给出了一种红外多目标分割的方法，能够快速有效的对红外图像中的目标像素点进行划分，判断出目标的个数以及每个目标的空间范围，计算出每个目标的形心。通过对真实红外图像的仿真，并与K均值聚类和欧氏距离最小树聚类进行比较，验证了本发明方法的有效性，能在保证方法能准确分割多个红外目标的同时，保证方法的执行效率。

Claims (4)

1.一种基于最小树聚类的红外多目标分割方法，其特征在于步骤如下：

采用背景差分法和形态学操作预处理图像，得到目标区域和背景区域分离的二值化图像；二值图像中所有目标区域的像素点均匀采样和最近邻划分将目标区域像素初始划分成各个小类；以各个小类为顶点，以L1范数和高斯核函数计算得到的类间间距为边长构造一棵最小树；计算得到的边长阈值并切割最小树长边，得到最终的聚类结果，剔除孤立点和噪声点，剩余每一类为一个目标；在原始红外图像上用十字叉标示各个目标形心，用矩形框标示各个目标空间范围。

2.如权利要求1所述的一种基于最小树聚类的红外多目标分割方法，其特征在于：采用均匀采样和最近邻划分将目标区域的像素初始划分成各个小类的操作过程如下：

设集合Z，开始时Z是一个空集；按照从左到右从上到下的顺序扫描二值图中所有灰度值为255的点，将第一个点加入到集合Z中，下一个距离这个点大于2的点作为第二点加入到集合Z中；在扫描到某一个点时，如果这个点距离集合Z中所有的点距离都大于2，则将这个点作为新的点加入到集合Z中；当扫描过图像中所有灰度值为255的点后，假设集合Z中有k个点，则这k个点分别代表k个小类；最后将二值图中所有灰度值为255的点以这k个点为中心按照最近邻准则划分到k个小类中，从而完成对目标区域像素的初始划分。

3.如权利要求1所述的一种基于最小树聚类的红外多目标分割方法，其特征在于：采用L1范数和高斯核函数计算k个小类两两之间的类间间距的方法如下：

将初始划分得到的k个小类作为k个顶点，这里的一个顶点实际是一个包含多个像素点的集合，采用L1范数和高斯核函数计算两个小类的类间间距作为两个顶点之间的边长；假设存在A和B两个小类，A中包含m个像素点，B中包含n个像素点，则顶点A和顶点B对应的边长为L_AB的计算方法用下式表示：

$L_{\mathrm{AB}}=1-\exp (-\frac{{D_{\mathrm{AB}}}^2}{{\mathrm{\σ}}^2})$

式中，σ是一个常数(本发明中σ取值为2)，D_AB是A和B两个集合中距离最近两个点的L1范数；D_AB的计算方法如下式所示：

$D_{\mathrm{AB}}=\min \left(\right|{x_i}^A-x_j^B|+|{y_i}^A-y_j^B\left|\right)$

i＝1，2，...，m；j＝1，2，...，n

其中，(x^A _i，y^A _i)(i＝1，2，...，m)表示集合A中m个点的坐标，(x^B _j，y^B _j)(j＝1，2，...，n)表示集合B中n个点的坐标。

4.如权利要求1所述的一种基于最小树聚类的红外多目标分割方法，其特征在于：构造一棵最小树的方法如下：

a、读入k个小类作为最小树的k个顶点；设置k×k的矩阵L存储k个小类两两之间的距离；设置(k-1)×3的矩阵tree存储最小树的顶点和边，其中矩阵一行为一个顶点，一行的前两个元素存储顶点编号，第三个元素存储这两个顶点的边长；

b、计算k个小类两两之间的类间距离并存入L，L的一个元素为L_AB(A＝1，2，...k；B＝1，2，...k)，计算方法用下式表示：

$L_{\mathrm{AB}}=1-\exp (-\frac{{D_{\mathrm{AB}}}^2}{{\mathrm{\σ}}^2})$

式中，σ是一个常数(本发明中σ取值为2)，D_AB是A和B两个集合中距离最近两个点的L1范数；D_AB的计算方法如下式所示：

$D_{\mathrm{AB}}=\min \left(\right|{x_i}^A-x_j^B|+|{y_i}^A-y_j^B\left|\right)$

i＝1，2，...，m；j＝1，2，...，n

其中，(x^A _i，y^A _i)(i＝1，2，...，m)表示集合A中m个点的坐标，(x^B _j，y^B _j)(j＝1，2，...，n)表示集合B中n个点的坐标；

c、从L中寻找长度最小的边L₀，判断L₀是否已经存入最小树tree中；如果L₀已经存入tree中则将L中L₀的值设置为无穷大后重复本步；如果L₀未存入tree则转入步骤d；

d、将L₀的两个顶点和边长存入tree，判断tree中是否已经存满；如果存满则输出最小树tree，最小树构造完成，结束操作；如果没有存满则将L中L₀的值设置为无穷大后转入步骤c。