CN103473785B - 一种基于三值化图像聚类的快速多目标分割方法 - Google Patents

Abstract

一种基于三值化图像聚类的快速多目标分割方法，涉及图像处理领域的分割方法。本发明是要解决现有的分割算法无法有效解决相互靠近的多目标分割的技术问题。本发明的分割方法为：一、计算彩色图像的梯度；二、结合梯度信息进行阈值处理得到三值化图像；三、在三值化图像中进行基于形态学的聚类；四、结合聚类结果图像进行目标区域修复及目标分割。本发明通过在对彩色图像进行三值化的时候，创新性地结合了图像中的轮廓信息和色彩信息，将图像映射为“前景、轮廓、背景”三个值，然后采用基于形态学的搜索方法完成聚类，进而实现目标图像的快速分割。本发明应用于实时性要求比较高的彩色多目标检测或者跟踪中的分割处理。

Description

一种基于三值化图像聚类的快速多目标分割方法

技术领域

本发明涉及图像处理领域的分割方法。

背景技术

图像分割是目标检测中的重要步骤之一，正确地将多目标分割成一个个单目标是有效识别目标的前提和保障。图像分割方法可分为阈值分割、聚类分割、区域增长、分裂与合并、区域竞争以及神经网络等算法。其中阈值分割具有较好的实时性，比较适合于多目标分割。在较为理想的情况下，采用阈值分割的方法可以取得较好的效果。但是如果在多个待识别的物体靠得比较近或者出现了相互遮挡的情况，有实验表明这种方法的分割效果并不好。因此，对于传统的阈值分割算法，还需要不断改进。

聚类分割算法相比阈值分割算法具有更好的分割效果，但是其耗时久、实时性差，聚类分割算法中像素点间距离的定义和聚类过程中的搜索策略都会直接影响到聚类分割算法的效率。动态聚类算法如ISODATA算法需要进行反复的迭代才能够完成最终的图像分割，而分级聚类算法的每次聚类过程都需要在所有样本之间搜索最相近的两个类别，可见均是相当耗时的算法。因此，也需要对传统的聚类分割算法进行改良，才能够满足实时性的要求。

将阈值分割和聚类分割结合在一起，可使分割算法具有好的分割效果同时还具有较快的分割速度。首先可以通过阈值判断对图像进行二值化处理，然后采用聚类算法实现图像的聚类分割，但是因为二值化损失了过多信息，使得当多目标相互靠近而产生遮挡时无法有效地相互区分并分割开来。有研究者提出了三值化来表示灰度图像的方法，这种方法将常见的256个灰度等级（或更高等级灰度）的图像映射为3个灰度等级：黑、灰、白，从而可以在获得实时性的同时，保留相比于二值化图像更多的信息，这种图像处理方法在车牌号识别的应用上取得了很好的效果。但是该方法还是无法有效解决相互靠近的多目标分割问题。本发明在此思路上，从图像的三值化方法以及聚类分割算法的搜索策略上做出相应的改进，提出一种具有实时性的多目标分割方法，并能更好地处理相互靠近的多目标分割问题。

发明内容

本发明是要解决现有的分割算法无法有效解决相互靠近的多目标分割的技术问题，从而提供了一种基于三值化图像聚类的快速多目标分割方法。

一种基于三值化图像聚类的快速多目标分割方法是按以下步骤实现：

一、计算彩色图像的梯度

（1）通过摄像头对目标摄像采样得到原始的r、g、b三通道图像A，然后对图像A缩小后得到彩色图像B，彩色图像B的大小w×h，w为图像宽度上的像素点个数，h为图像高度上的像素个数；

（2）计算步骤（1）中彩色图像B的r、g、b三通道图像上的方向梯度；

（3）结合步骤（2）中彩色图像B的r、g、b三通道图像上的方向梯度计算彩色图像B两个轴向上的方向梯度；

（4）结合步骤（3）中两个轴向上的方向梯度描述彩色图像B的方向梯度强度图像M；

（5）计算步骤（1）中彩色图像B的饱和度，得到饱和度图像Z；

二、结合步骤一中（4）方向梯度强度图像M和（5）饱和度图像Z的信息对彩色图像B进行阈值处理，将彩色图像逐个像素映射为“前景、轮廓、背景”三个值，通过下式，得到三值化图像C；

$C(x,y)=\left\{\begin{array}{cc}100& \mathrm{if}(M(x,y)\&GreaterEqual;M_{\mathrm{threshold}})\\ 255& \mathrm{if}(M(x,y)<M_{\mathrm{threshold}})\mathrm{and}(Z(x,y)>S_{\mathrm{threshold}})\\ 0& \mathrm{other\; conditions}\end{array}\right.$

其中，100表示“轮廓”，255表示“前景”，0表示“背景”；M_threshold为梯度阈值，大于等于该阈值代表该像素是轮廓点，小于该阈值代表该像素不是轮廓点；S_threshold为饱和度阈值，大于该阈值表示像素点可能是具有鲜艳颜色的目标点；

三、对步骤二中三值化图像C进行基于形态学的聚类，得到聚类结果图像E；

四、结合步骤三中聚类结果图像E进行目标区域修复及目标分割。

本发明包括以下有益效果：

本发明组合地采用了包含轮廓信息的三值化方法、基于形态学的聚类方法、和基于扫描方法的边缘提取方法，使得本发明提出的多目标分割方法相比现有的多目标分割检测技术，具有快速性和准确性双重优点，并且能够在多目标靠近的情况下有效地分割出各个目标。

附图说明

图1为本发明的流程图；

图2为像素点八个邻域的命名示意图；

图3为轮廓线穿过邻域示意图；

图4为缩小的彩色图像B；

图5为彩色图像梯度强度图像M；

图6为三值化图像C；

图7为聚类结果图像E；

图8为修复好的目标区域图像F；

图9为目标边缘图像G；

图10为分割效果图H。

具体实施方式

具体实施方式一：结合图1、图2和图3说明本实施方式，本实施方式基于三值化图像聚类的快速多目标分割方法是按以下步骤实现：

一、计算彩色图像的梯度

（1）通过摄像头对目标摄像采样得到原始的r、g、b三通道图像A，然后对图像A缩小后得到彩色图像B，彩色图像B的大小w×h，w为图像宽度上的像素点个数，h为图像高度上的像素个数；

（2）通过以下公式计算步骤（1）中彩色图像B的r、g、b三通道图像上的方向梯度；

$\left\{\begin{array}{c}{\&dtri;}_X{B}_n(x,y)=[B(x+1,y)-B(x,y)+B(x+1,y+1)-B(x,y+1)]/2\\ {\&dtri;}_Y{B}_n(x,y)=[B(x+1,y)-B(x,y)+B(x+1,y+1)-B(x,y+1)]/2\end{array}\right.n=r,g,b$

其中，x表示像素点的横坐标，y表示像素点的纵坐标，n表示图像的通道标号，表示第n个通道图像的X轴的方向梯度，表示第n个通道图像的Y轴的方向梯度；

（3）通过以下公式，结合步骤（2）中彩色图像B的r、g、b三通道图像上的方向梯度计算彩色图像B两个轴向上的方向梯度；

$\left\{\begin{array}{c}{\&dtri;}_X{B}_c(x,y)=\underset{{\&dtri;}_X{B}_n}{\arg \max }\left|{\&dtri;}_X{B}_n(x,y)\right|\\ {\&dtri;}_Y{B}_c(x,y)=\underset{{\&dtri;}_Y{B}_n}{\arg \max }\left|{\&dtri;}_Y{B}_n(x,y)\right|\end{array}\right.n=r,g,b$

其中，表示彩色图像B上X轴的方向梯度，表示彩色图像B上Y轴的方向梯度；

（4）通过以下公式，结合步骤（3）中两个轴向上的方向梯度描述彩色图像B的方向梯度强度图像M：

$M(x,y)=\sqrt{{\left({\&dtri;}_x{B}_c(x,y)\right)}^2+{\left({\&dtri;}_y{B}_c(x,y)\right)}^2}$

其中，M(x,y)表示(x,y)坐标处的方向梯度强度；

（5）通过以下公式计算步骤（1）中彩色图像B的饱和度，得到饱和度图像Z；

$Z(x,y)=1-\frac{3\&times;\min (B_r(x,y),B_g(x,y),B_b(x,y))}{B_r(x,y)+B_g(x,y)+B_b(x,y)}$

其中，Z(x,y)表示(x,y)坐标处的像素点的饱和度；

二、结合步骤一中（4）方向梯度强度图像M和（5）饱和度图像Z的信息对彩色图像B进行阈值处理，将彩色图像逐个像素映射为“前景、轮廓、背景”三个值，通过下式，得到三值化图像C；

$C(x,y)=\left\{\begin{array}{cc}100& \mathrm{if}(M(x,y)\&GreaterEqual;M_{\mathrm{threshold}})\\ 255& \mathrm{if}(M(x,y)<M_{\mathrm{threshold}})\mathrm{and}(Z(x,y)>S_{\mathrm{threshold}})\\ 0& \mathrm{other\; conditions}\end{array}\right.$

其中，100表示“轮廓”，255表示“前景”，0表示“背景”；M_threshold为梯度阈值，大于等于该阈值代表该像素是轮廓点，小于该阈值代表该像素不是轮廓点；S_threshold为饱和度阈值，大于该阈值表示像素点可能是具有鲜艳颜色的目标点；

三、对步骤二中三值化图像C进行基于形态学的聚类，得到聚类结果图像E：在三值化图像的搜索过程中使用了“3乘3”的搜索方块，具体过程如下：

（1）为每个“前景”像素点建立一个是否被分类的标志位属性：“未被聚类”和“已被聚类”，并全部初始化为“未被分类”；用与图像C大小相等的二值化图像D来记录对应点的属性值，为每个“前景”点建立一个无符号整形的类别标志属性，初始时全部初始为“0”，并用与图像C等大小的图像E来记录该属性值；建立一个空的堆栈S，设置搜索的起始位置p₀为图片C的左上角的第一个像素点，初始化类别标志号i为“0”；

（2）类别标志号i=i+1；在图像C上继续p₀的位置按行顺序往后查找一个“未被聚类”的“前景”像素点p；如果已经搜索完了所有的点则跳到步骤（6），否则记录p₀=p为下一次搜索的起始位置，然后进入步骤（3）；

（3）将查找到的那个“前景”像素点p压入到堆栈S中；

（4）如果堆栈S是空的则返回第（2）步，否则从堆栈S中取栈顶元素q，在图像E中将其的类别标志位属性设置为i，并在图像D中标记q为“已被分类”；

（5）查询像素点q上、下、左、右、左上、左下、右上、右下的这八个邻域点，对于上点、下点、左点、右点，如果是“未被分类”且是“前景”点，则压入到堆栈S中；完成邻域点的压栈工作后跳回至步骤（4）；

（6）得到初步聚类结果图像，类标志位属性相同的像素点就属于同一聚类；计算每个聚类的像素点的个数，将像素点总数过小聚类删除，即将其中的每一个像素点的类别标志属性设置为“0”，得到聚类结果图像E；

四、结合步骤三中聚类结果图像E进行目标区域修复及目标分割，是按以下步骤进行：

（1）进行目标区域修复：在图像E中对每个聚类k，搜索每一行的属于聚类k的最左边的像素点下标L表示最左边，搜索这行属于聚类k的最右边的像素点下标R代表最右边，然后将这行中存在与和中间的点，也归入到聚类k中；然后对每一列、每一条45°斜线、每一条-45°斜线都执行类似的操作，最终得到修复好的目标区域图像F；

（2）进行目标边缘检测：在图像F中对每个聚类k，搜索每一行最左端、最右端，每一列最上端、最下端的点，这些点的集合即为聚类k的轮廓，最后得到只包含轮廓信息的目标边缘图像G；

（3）按照目标边缘图像G所描绘的区域，在图像B中提取各个目标的彩色图像区域得到目标的分割效果图H，从而实现最后的多目标分割。

彩色图像梯度强度图像M如图5所示，从图5可以看出，通过本专利的彩色梯度计算方法能够清晰地表达彩色图像中的轮廓信息；

三值化图像C如图6所示，从图6可以看出，本专利的三值化处理不仅仅将目标区域显示了出来，同时还将图5中的轮廓信息也表达出来了；

聚类结果图像E如图7所示，从图7可以看出，通过聚类处理之后，连通在一起的像素点能够全部聚成一类，从而将不同餐具划分出来，虽然有两个颜色一致的餐具重叠在一起了，但是本专利方法还是能够有效地将两者分割；

修复好的目标区域图像F如图8所示，从图8可以看出经过目标区域修复及聚类之后，破损的目标区域得到了修复；

目标边缘图像G如图9所示，从图9可知，目标边缘检测方法能够有效地提取出边缘像素点；

分割效果图H如图10所示，从图10可知，盘中的餐具被很好的分割出来。

Claims (7)

1.一种基于三值化图像聚类的快速多目标分割方法，其特征在于基于三值化图像聚类的快速多目标分割方法是按以下步骤实现：

一、计算彩色图像的梯度

(1)通过摄像头对目标摄像采样得到原始的r、g、b三通道图像A，然后对图像A缩小后得到彩色图像B，彩色图像B的大小w×h，w为图像宽度上的像素点个数，h为图像高度上的像素个数；

(2)计算步骤(1)中彩色图像B的r、g、b三通道图像上的方向梯度；

(3)结合步骤(2)中彩色图像B的r、g、b三通道图像上的方向梯度计算彩色图像B两个轴向上的方向梯度；

(4)结合步骤(3)中两个轴向上的方向梯度描述彩色图像B的方向梯度强度图像M；

(5)计算步骤(1)中彩色图像B的饱和度，得到饱和度图像Z；

二、结合步骤一中(4)方向梯度强度图像M和(5)饱和度图像Z的信息对彩色图像B进行阈值处理，将彩色图像逐个像素映射为“前景、轮廓、背景”三个值，通过下式，得到三值化图像C；

$C\left(x,y\right)=\left\{\begin{array}{cc}100& \begin{array}{cc}if& \left(M\left(x,y\right)\&GreaterEqual;M_{threshold}\right)\end{array}\\ 255& \begin{array}{cc}if& \left(M\left(x,y\right)<M_{threshold}\right)and\left(Z\left(x,y\right)>S_{threshold}\right)\end{array}\\ 0& otherconditions\end{array}\right.$

其中，100表示“轮廓”，255表示“前景”，0表示“背景”；M_threshold为梯度阈值，大于等于该阈值代表该像素是轮廓点，小于该阈值代表该像素不是轮廓点；S_threshold为饱和度阈值，大于该阈值表示像素点可能是具有鲜艳颜色的目标点；

三、对步骤二中三值化图像C进行基于形态学的聚类，得到聚类结果图像E；

四、结合步骤三中聚类结果图像E进行目标区域修复及目标分割。

2.根据权利要求1所述的一种基于三值化图像聚类的快速多目标分割方法，其特征在于步骤一(2)中计算步骤(1)图像B的r、g、b三通道图像上的方向梯度是根据公式：

$\left\{\begin{array}{c}{\&dtri;}_X{B}_n\left(x,y\right)=\&lsqb;B\left(x+1,y\right)-B\left(x,y\right)+B\left(x+1,y+1\right)-B\left(x,y+1\right)\&rsqb;/2\\ {\&dtri;}_Y{B}_n\left(x,y\right)=\&lsqb;B\left(x+1,y\right)-B\left(x,y\right)+B\left(x+1,y+1\right)-B\left(x,y+1\right)\&rsqb;/2\end{array}\right.,n=r,g,b$

计算获得，其中，x表示像素点的横坐标，y表示像素点的纵坐标，n表示图像的通道标号，表示第n个通道图像的X轴的方向梯度，表示第n个通道图像的Y轴的方向梯度。

3.根据权利要求1所述的一种基于三值化图像聚类的快速多目标分割方法，其特征在于步骤一(3)中结合步骤(2)中图像B的r、g、b三通道图像上的方向梯度计算图像B两个轴向上的方向梯度是根据公式：

$\left\{\begin{array}{c}{\&dtri;}_X{B}_c(x,y)=\underset{{\&dtri;}_X{B}_n}{\arg max}\left|{\&dtri;}_X{B}_n(x,y)\right|\\ {\&dtri;}_Y{B}_c(x,y)=\underset{{\&dtri;}_Y{B}_n}{\arg \max }\left|{\&dtri;}_Y{B}_n(x,y)\right|\end{array}\right.,n=r,g,b$

计算获得，其中，表示彩色图像B上X轴的方向梯度，表示彩色图像B上Y轴的方向梯度，表示第n个通道图像的X轴的方向梯度，表示第n个通道图像的Y轴的方向梯度。

4.根据权利要求1所述的一种基于三值化图像聚类的快速多目标分割方法，其特征在于步骤一(4)中结合步骤(3)中两个轴向上的方向梯度描述图像B的方向梯度强度图像M是根据公式：

$M\left(x,y\right)=\sqrt{{\left({\&dtri;}_X{B}_c\left(x,y\right)\right)}^2+{\left({\&dtri;}_Y{B}_c\left(x,y\right)\right)}^2}$

计算获得，其中，M(x,y)表示(x,y)坐标处的方向梯度强度，表示彩色图像B上X轴的方向梯度，表示彩色图像B上Y轴的方向梯度。

5.根据权利要求1所述的一种基于三值化图像聚类的快速多目标分割方法，其特征在于步骤一(5)中计算步骤(1)中图像B的饱和度，得到饱和度图像Z是根据公式：

$Z\left(x,y\right)=1-\frac{3\&times;\min \left(B_r\left(x,y\right)+B_g\left(x,y\right)+B_b\left(x,y\right)\right)}{B_r\left(x,y\right)+B_g\left(x,y\right)+B_b\left(x,y\right)}$

计算获得，其中，Z(x,y)表示(x,y)坐标处的像素点的饱和度。

6.根据权利要求1所述的一种基于三值化图像聚类的快速多目标分割方法，其特征在于步骤三得到聚类结果图像E是在三值化图像的搜索过程中使用了“3乘3”的搜索方块，具体过程如下：

(1)为每个“前景”像素点建立一个是否被分类的标志位属性：“未被分类”和“已被分类”，并全部初始化为“未被分类”；用与图像C大小相等的二值化图像D来记录对应点的属性值，为每个“前景”点建立一个无符号整形的类别标志属性，初始时全部初始为“0”，并用与图像C等大小的图像E来记录该属性值；建立一个空的堆栈S，设置搜索的起始位置p₀为图片C的左上角的第一个像素点，初始化类别标志号i为“0”；

(2)类别标志号i＝i+1；在图像C上继续p₀的位置按行顺序往后查找一个“未被分类”的“前景”像素点p；如果已经搜索完了所有的点则跳到步骤(6)，否则记录p₀＝p为下一次搜索的起始位置，然后进入步骤(3)；

(3)将查找到的那个“前景”像素点p压入到堆栈S中；

(4)如果堆栈S是空的则返回第(2)步，否则从堆栈S中取栈顶元素q，在图像E中将其的类别标志位属性设置为i，并在图像D中标记q为“已被分类”；

(5)查询像素点q上、下、左、右、左上、左下、右上、右下的这八个邻域点，对于上点、下点、左点、右点，如果是“未被分类”且是“前景”点，则压入到堆栈S中；完成邻域点的压栈工作后跳回至步骤(4)；

(6)得到初步聚类结果图像，类标志位属性相同的像素点就属于同一聚类；计算每个聚类的像素点的个数，将像素点总数过小聚类删除，即将其中的每一个像素点的类别标志属性设置为“0”，得到聚类结果图像E。

7.根据权利要求1所述的一种基于三值化图像聚类的快速多目标分割方法，其特征在于步骤四对聚类结果图像E进行目标区域修复及目标分割是按以下步骤进行：

(1)进行目标区域修复：在图像E中对每个聚类k，搜索每一行的属于聚类k的最左边的像素点下标L表示最左边，搜索这行属于聚类k的最右边的像素点下标R代表最右边，然后将这行中存在与和中间的点，也归入到聚类k中；然后对每一列、每一条45°斜线、每一条-45°斜线都执行类似的操作，最终得到修复好的目标区域图像F；

(2)进行目标边缘检测：在图像F中对每个聚类k，搜索每一行最左端、最右端，每一列最上端、最下端的点，这些点的集合即为聚类k的轮廓，最后得到只包含轮廓信息的目标边缘图像G；

(3)按照目标边缘图像G所描绘的区域，在图像B中提取各个目标的彩色图像区域得到目标的分割效果图H，从而实现最后的多目标分割。