CN101021944B - 基于小波函数的多尺度显微图像分割处理方法 - Google Patents

Abstract

本发明提供了一种基于小波函数的多尺度显微图像分割处理方法。步骤为：1.首先将一幅图像分成32×32的小图像块，经小波高平能量评价函数分别计算得到特征值；2.采用K-means聚类方法将步骤1得到的图像块分成两类，将每一图像块对应的特征值与预先设定的阈值比较，判定该图像块是背景或者目标；3.对各图像块进一步分解，则任一图像块被再次分成4个小图像块，最终分解到预先设定的最大分割尺度；4.计算新产生的图像子块特征值和平均灰度值，进一步判定图像块为目标或是背景。本发明针对半离焦图像的特点采用了基于清晰度评价函数的显微图像分割以及K-means聚类方法，实现了显微图像聚焦离焦部分的分离。

Description

基于小波函数的多尺度显微图像分割处理方法

(一)技术领域

本发明涉及图像处理领域，具体涉及一种图像分割及边缘细化技术。

(二)背景技术

图像分割是将一幅图像细分为其组成区域或对象。细分的程度取决于要解决的问题。换言之，在应用中当感兴趣的对象已经被分割出来之后就应该停止分割。单色图像的分割处理方法通常基于图像亮度值的两个基本特性：不连续性和相似性。具体的处理方法包括边缘检测、Hough变换、阈值分割等。然而针对显微图像的分割，除了以上所述的图像基本分割方法以外，还应当利用显微图像自身固有的特征开发相应的图像分割方法。显微图像最显著的特征就是离焦模糊现象。由于显微视觉视觉景深的限制，显微图像可以粗略的分为3种类型：完全聚焦图像，即被观测物体之间的平面高度差小于系统景深，因此所有图像中的信息都可以认为是清楚的，；另一种是全离焦图像，即系统景深范围内不存在任何被观测物体平面，也可以将其理解为聚焦失败采集到的图像；还有一种显微图像可以称之为半离焦图像，该类图像中景深范围内存在被观测物体的平面，但也有部分被观测平面不能被包含在景深里，因此采集到的图像中既包含清晰聚焦部分，也包含离焦模糊部分。如何分离显微图像中的清晰部分和模糊部分是显微视觉领域经常遇到却很难解决的问题。

(三)发明内容

本发明的目的在于提供一种针对图像分割处理既能保证局部精确定位又极大程度的提高了处理方法效率的基于小波函数的多尺度显微图像分割处理方法。

本发明的目的是这样实现的：

(1)首先将一幅图像分成32×32的小图像块，经小波高频能量评价函数分别计算，保存得到的函数值作为每一图像块的特征值；

(2)采用K-means聚类方法将步骤1得到的图像块分成两类，将每一图像块对应的特征值与预先设定的阈值比较，判定该图像块是背景或者目标；

(3)对各图像块进一步分解，分解尺度每增加1则任一图像块被再次分成4个小图像块，最终分解到预先设定的最大分割尺度；

(4)计算新产生的图像块特征值和平均灰度值，检测所有邻近背景图像块的目标图像块，并将其自身和其邻域图像块在满足一定条件时变换所属类型，进一步判定图像块为目标或是背景。

本发明还有这样一些技术特征：

1、步骤1所述的图像为方阵，且行列数为偶数；

2、步骤1所述的小波高频能量评价函数定义为：对于一幅给定的图像I(x，y)，E表示一选定的大小为w×l的窗口，其对应的一阶水平(LH)、垂直(HL)和对角(HH)小波变换图像中的部分分别为E_LH，E_HL和E_HH，而这些图像块对应的小波变换系数分别表示为W_LH，W_HL和W_HH，图像块小波系数的期望(平均值)用μ表示；第i阶小波调焦评价函数算子M_wt ⁱ定义为：

$M_{\mathrm{wt}}^i=\frac{1}{\mathrm{wl}}[\underset{(i,j)\∈E_{\mathrm{LH}}}{\mathrm{\Σ}}{(W_{\mathrm{LH}}(i,j)-{\mathrm{\μ}}_{\mathrm{LH}})}^i+\underset{(i,j)\∈E_{\mathrm{HL}}}{\mathrm{\Σ}}{(W_{\mathrm{HL}}(i,j)-{\mathrm{\μ}}_{\mathrm{HL}})}^i+\underset{(i,j)\∈E_{\mathrm{HH}}}{\mathrm{\Σ}}{(W_{\mathrm{HH}}(i,j)-{\mathrm{\μ}}_{\mathrm{HH}})}^i]$

如果原始图像中的某一窗口给定为[x₀，x₀+w]×[y₀，y₀+l]

那么其相应的k阶小波变换窗口可以表示为

小波高频系数计算时k＝1，小波变换选择Haar小波基；

3、步骤2所述的K-means聚类处理步骤为：

(1)、为T选取一个初始估计值为图像像素对应函数值的最大值与最小值的平均值；

(2)、使用T分割函数值，产生两组像素：函数值≥T的所有像素组成的G₁，以及函数值＜T的所有像素组成的G₂；

(3)、计算G₁和G₂范围内的像素对应的平均函数值μ₁和μ₂；

(4)、计算一个新阈值：

(5)、重复步骤(2)和到步骤(4)，直到连续迭代中T的差值比上先一步产生的T值小于预先规定的百分比时停止迭代；

4、步骤2所述的K-means决定图像块(i，j)是否为目标，预先设定的阈值表示为

v表示图像块经小波高频能量评价函数计算后得到的函数值，v_i，j为每一图像块对应的特征值；

5、步骤3所述的分解前的各图像块为父块，新生成的图像块为子块，父块(i，j)产生子块后自身即用

表示，其中

定义分割尺度为r时对应的图像块集合表示为S^(r)，r＝1，...，R，其中R为预先设定的最大分割尺度，分解尺度增加时首先判断父块是否与其他不同种图像块相邻，只有当一个图像块被判定为目标，而它的相邻图像块中含有被判定为背景的图像块时再分解产生子块；如果一个被判定为目标的图像块周围全部也都是被判定为目标的图像块，则不对此图像块进行分解；

6、步骤4所述的判定过程为：

(1)设定分解尺度r＝1；

(2)将图像块集合S^(r)分解成图像块集合S^(r+1)，设定r＝r+1；

(3)计算图像块(i，j)∈S^(r)的特征值以及平均灰度值x_i，j；

(4)对于每一个位于边缘的图像块(i，j)∈S^(r)，即其本身被判定为目标，但同时其邻域的四个图像块至少有一个被判定为背景，根据以下原则调整：

1)设定k＝0；

2)判断第k个相邻图像块(m，n)如果满足以下任意一个条件，设定标志位flip_background＝1；

①图像块(m，n)的平均灰度值x_m，n与其父块的平均灰度值之差大于x_m，n与(i，j)父块的平均灰度值之差；

②特征值v_i，j更接近于目标而非背景，即(v_i，j-v⁽¹⁾)²＜(v_i，j-v⁽⁰⁾)²

3)对于第k个相邻图像块(m，n)，判断如果满足以下任意一个条件，设定标志位flip_OOI＝1；

①图像块(i，j)的平均灰度值x_i，j与其父块的平均灰度值之差大于x_i，j与(m，n)父块的平均灰度值之差

②特征值v_i，j更接近于背景而非目标，即(v_i，j-v⁽⁰⁾)²＜(v_i，j-v⁽¹⁾)²

4)如果flip_OOI＝1且flip_background＝0，将(i，j)的类别由目标变为背景；

5)如果flip_OOI＝0且flip_background＝1，将(m，n)的类别由背景变为目标；

6)如果图像块(i，j)被由目标转换为背景，那么它的任何一个由背景转化为目标的邻域图像块重新被转化为背景。

(5)如果r≤R，回到步骤(2)，否则终止。

本发明针对半离焦图像的特点采用了基于清晰度评价函数的显微图像分割以及K-means聚类方法，实现了显微图像聚焦离焦部分的分离，并且提出了图像处理优化方式，在保证了局部精定位的同时极大程度上提高了处理方法的效率，并且该方法在对其他半离焦图像分割时也体现了一定的适应性，具有很高的实用价值。

(四)附图说明

图1为小波评价函数定义用原始图像中开窗位置；

图2为小波评价函数定义用相应的小波分解窗口；

图3为MEMS器件原始图象；

图4为小波高频能量函数分块计算绘图；

图5为K-means聚类之后示意图；

图6-8为图像父块、子块及其相邻图像块示意图；

图9-14为不同尺度下图像分割效果图；

图15为零件边缘图像；

图16为零件分割效果图；

图17为微操作工具图像；

图18为微操作工具分割效果。

(五)具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明：

对于MEMS器件经常是几种立体器件组合而成，器件之间的平面高度差往往超过显微视觉系统的景深，因此真正需要关注的是如何在半离焦图像中将聚焦部分与离焦部分分离，进而获得聚焦部分的准确信息。(以下将聚焦清晰的部分称之为目标，而将离焦模糊的部分称之为背景。)

显微图像聚焦清晰部分能够表现出器件表面丰富的纹理，离焦部分则非常模糊，灰度值变化不明显，也可以理解为纹理稀疏。而图像的纹理的疏密可以对应图像经频域变换后对应系数的高低，因此考虑在经频域变换后分割图像。小波变换的局部性、多分辨率以及严格采样性对于图像处理来说是其他频域变换所不能比拟的。因此考虑利用小波变换构造一种调焦评价函数，以达到分割图像中聚焦离焦部分的最终目的，本发明称之为小波高频能量函数。

结合图1-2，小波高频能量函数定义如下：对于一幅给定的图像I(x，y)，E表示一选定的大小为w×l的窗口，其对应的一阶水平(LH)、垂直(HL)和对角(HH)小波变换图像中的部分分别为E_LH，E_HL和E_HH，而这些图像块对应的小波变换系数分别表示为W_LH，W_HL和W_HH，图像块小波系数的期望(平均值)用μ表示。

第i阶小波调焦评价函数算子M_wt ⁱ定义为：

$M_{\mathrm{wt}}^i=\frac{1}{\mathrm{wl}}[\underset{(i,j)\∈E_{\mathrm{LH}}}{\mathrm{\Σ}}{(W_{\mathrm{LH}}(i,j)-{\mathrm{\μ}}_{\mathrm{LH}})}^i+\underset{(i,j)\∈E_{\mathrm{HL}}}{\mathrm{\Σ}}{(W_{\mathrm{HL}}(i,j)-{\mathrm{\μ}}_{\mathrm{HL}})}^i+\underset{(i,j)\∈E_{\mathrm{HH}}}{\mathrm{\Σ}}{(W_{\mathrm{HH}}(i,j)-{\mathrm{\μ}}_{\mathrm{HH}})}^i]$

如果原始图像中的某一窗口给定为[x₀，x₀+w]×[y₀，y₀+l]

那么其相应的k阶小波变换窗口可以表示为

计算时为简单起见只考虑k＝1时的小波高频系数。小波变换时选择的Haar小波基，该小波基由于其短波特性具有良好的局部定位功能。该调焦评价函数当图像处于最清晰的聚焦位置时达到最大值。

利用该函数对图3所示的半离焦图像分块并计算绘图后得到的图象如图4所示。可见清晰聚焦的引脚平面对应的图像块对应的函数值明显高于全部离焦模糊的托盘表面图像块对应的函数值，即利用这一小波高频能量函数可以达到分离聚焦离焦部分的目的。

计算得到的函数值我们可以通过K-means聚类方法将离焦聚焦部分分离开来。聚类在模式识别、决策支持、机器学习、图像分隔等领域有广泛应用，是最重要的数据分析方式之一。它将数据对象分入不同的集合，使得同一集合中的数据对象相似，而不同集合的数据对象相对来说有较大差别。K-means聚类的输入包括个数k，以及包含n个数据对象的数据库，而输出为满足方差最小标准的k个聚类。由于半离焦图象中只包含聚焦与离焦两种图像数据，即k＝2，因此可以将K-means聚类简化为如下类似于选择某一阈值T的迭代过程：

1.为T选一个初始估计值，一般设为图像像素对应函数值的最大值与最小值的平均值；

2.使用T分割函数值，这会产生两组像素：函数值≥T的所有像素组成的G₁，以及函数值＜T的所有像素组成的G₂；

3.计算G₁和G₂范围内的像素对应的平均函数值μ₁和μ₂；

4.计算一个新阈值：

5.重复步骤2和到步骤4，直到连续迭代中T的差值比上先一步产生的T值小于预先规定的某一百分比，如2％为止。

图4中的函数数据经K-means聚类之后，将所有离焦图像块变成黑色之后的效果图如图5所示。可以看到虽然聚焦离焦结合处的轮廓基本正确，但分类后的聚焦图像中仍然含有一些离焦像素点，下面将说明如何平滑轮廓边界的问题。

为了平滑分割轮廓边缘并且同时保证分割效率，本节根据小波高频能量评价函数以及K-means聚类方法提出了一种多尺度显微图像分割方法，理论上精度可以达到一个像素。下面将具体展开介绍该处理方法过程。

设存在一幅尺寸为S×S的图像(多尺度小波变换需要图像为方阵，且行列数为偶数)，首先将其分成32×32的小图像块，经小波高平能量评价函数分别计算后，得到的函数值用v表示，作为每一图像块的特征值它将决定该图像块是背景或者目标；然后用K-means聚类方法将这些图像块分成两类，其中聚焦清晰的图像块应当具有较高的特征值，而离焦模糊的图像块具有较低的特征值。设分割尺度用r表示，图像块用S代表，则第一次分类之后的尺度为r＝0，对应的图像块集合为S⁽⁰⁾＝{(i，j)}，i＝0，...，I，j＝0，...，J，每一图像块对应的特征值为v_i，j，(i，j)∈S⁽⁰⁾。K-means决定图像块(i，j)是否为目标，判定的阈值表示为

此后对各图像块进一步分解，分解尺度每增加1则任一图像块被再次分成4个小图像块，原图像块称为父块，如图6中灰色图像块所示，图中的黑色曲线表示目标和背景的分界线，新生成的图像块称为子块，如图7所示。父块(i，j)产生子快后自身即用表示，其中

定义分割尺度为r时对应的图像块集合表示为S^(r)，r＝1，...，R，其中R为预先设定的最大分割尺度，理论上本处理方法最终可以达到1个像素的精度。需要说明的是每次分解尺度增加时能够产生子块的父块都必须是与其他不同种图像块相邻，也就是说只有当一个图像块被判定为目标，而它的相邻(上向左右四个方向)图像块中含有被判定为背景的图像块时它才有资格产生子块；如果一个被判定为目标的图像块周围全部也都是被判定为目标的图像块，那么该图像块就没有产生子块的资格，同时这样做也没有任何的意义。对新产生的图像子块计算特征值以后有可能子块被判定为与父块相异类型，即父块是目标，而产生的四个子块中的某个或某几个可能被判定为背景。这中间也很有可能会出现交叉的情况，即一个图像块在某个评价标准下被判定为目标，而在另一评价标准下被判定为背景，如何处理这一问题是处理方法成功与否的关键。具体的判定过程如下：

1.设定分解尺度r＝1；

2.将图像块集合S^(r)分解成图像块集合S^(r+1)，设定r＝r+1；

3.计算图像块(i，j)∈S^(r)的特征值以及平均灰度值x_i，j；

4.对于每一个位于边缘的图像块(i，j)∈S^(r)，即其本身被判定为目标，但同时其邻域的四个图像块至少有一个被判定为背景，根据以下原则调整：

(1)设定k＝0；

(2)图8中的灰色图像块表示图6中灰色图像父块产生的四个子块之一，其中还用斜线标示了其相邻图像块的四个位置，如果第k个相邻图像块(m，n)满足如以下任意一个条件，设定标志位flip_background＝1；

1)图像块(m，n)的平均灰度值x_m，n与其父块的平均灰度值之差大于x_m，n与(i，j)父块的平均灰度值之差；

2)特征值v_i，j更接近于目标而非背景，即(v_i，j-v⁽¹⁾)²＜(v_i，j-v⁽⁰⁾)²

(3)对于第k个相邻图像块(m，n)，如果满足如下任意一个条件，设定标志位flip_OOI＝1；

1)图像块(i，j)的平均灰度值x_i，j与其父块的平均灰度值之差大于x_i，j与(m，n)父块的平均灰度值之差

2)特征值v_i，j更接近于背景而非目标，即(v_i，j-v⁽⁰⁾)²＜(v_i，j-v⁽¹⁾)²

(4)如果flip_OOI＝1且flip_background＝0，将(i，j)的类别由目标变为背景；

(5)如果flip_OOI＝0且flip_background＝1，将(m，n)的类别由背景变为目标；

(6)如果图像块(i，j)被由目标转换为背景，那么它的任何一个由背景转化为目标的邻域图像块重新被转化为背景。

5.如果r≤R，回到步骤2，否则终止。

这一过程检测所有邻近背景图像块的目标图像块，并将其自身和其邻域图像块在满足一定条件时变换所属类型。由于所有邻近目标图像块的背景图像块均与目标图像块进行比较，因此就没有必要再对背景图像块进行相似的操作了。上面提到的阈值是在预先选定好的并且对于任何测试图像固定不变。另外应当注意到，对于特定的图像一旦经过K-means分类后，目标和背景对应的特征值v⁽⁰⁾和v⁽¹⁾就固定不变了。另外，特征值v_i，j当分解尺度达到一定高度之后，就不再起作用了，因为随着分解尺度的升高图像块的尺寸也在不断缩小，当缩小到一定程度时特征值就趋于平缓，已经不能再作为评定的标准了。因此，我们选择平均灰度值作为另外一个评定标准确保即使图像块最终缩小至一个像素时仍然能够分辨其到底是目标还是背景。

该处理方法检测所有处于目标和背景边缘的图像块，因为这些图像块或其继续分割得到的小图像块最有可能被错误的分类。因此本发明也可以看作是一种多尺度的边缘细化方法。在边缘区域，一个父图像块可能同时包含是背景和目标的子图像块，必须保证这些子图像块有机会被重新划分到其应当归属的种类中去，评定的标准就是其特征值和平均灰度。如果一个子图像块对应的特征值或平均灰度刚好更加接近不同于其父块的种类，就应当转换其归类。

在图像经多尺度边缘细分之后，应该适当的通过目标标记消除孤立的目标或背景像素点，从而保证获得足够平滑的边缘。图9-14所示为半离焦图像经不同尺度分割后得到的效果图像，其中图9为原始图像，图10-14分别为r＝1、r＝2、r＝3、r＝4、r＝5对应的图像，从其变化过程可以很明显地看出分割精度在逐步提高，并最终达到精度为1个像素。

图15-18为其它显微图像分割效果图，图15-16所示分别为显微镜下采集的零件边缘和微操作工具的半离焦图像，应用该分割方法得到的聚焦部分图像分别如图17-18所示。

Claims (2)

1.一种基于小波函数的多尺度显微图像分割处理方法，其特征在于：

(1)首先将一幅图像分成32×32的小图像块，图像为方阵，且行列数为偶数，经小波高频能量评价函数分别计算，保存得到的函数值作为每一图像块的特征值；所述的小波高频能量评价函数定义为：对于一幅给定的图像I(x，y)，E表示一选定的大小为w×l的窗口，其对应的一阶水平(LH)、垂直(HL)和对角(HH)小波变换图像中的部分分别为E_LH，E_HL和E_HH，而这些部分对应的小波变换系数分别表示为W_LH，W_HL和W_HH，相应部分小波变换系数的期望(平均值)用μ表示；第i阶小波调焦评价函数算子M_wt ⁱ定义为：

$M_{\mathrm{wt}}^i=\frac{1}{\mathrm{wl}}[\underset{(p,q)\∈E_{\mathrm{LH}}}{\mathrm{\Σ}}{(W_{\mathrm{LH}}(p,q)-{\mathrm{\μ}}_{\mathrm{LH}})}^i+\underset{(p,q)\∈E_{\mathrm{HL}}}{\mathrm{\Σ}}{(W_{\mathrm{HL}}(p,q)-{\mathrm{\μ}}_{\mathrm{HL}})}^i+\underset{(p,q)\∈E_{\mathrm{HH}}}{\mathrm{\Σ}}{(W_{\mathrm{HH}}(p,q)-{\mathrm{\μ}}_{\mathrm{HH}})}^i]$

如果原始图像中的某一窗口给定为[x₀，x₀+w]×[y₀，y₀+l]，那么其相应的k阶小波变换窗口可以表示为

小波高频系数计算时k＝1，小波变换选择Haar小波基；

(2)采用K-means聚类方法将步骤1得到的图像块分成两类，将每一图像块对应的特征值与预先设定的阈值比较，判定该图像块是背景或者目标；

(3)对各图像块进一步分解，分解尺度每增加1则任一图像块被再次分成4个小图像块，最终分解到预先设定的最大分割尺度；

(4)计算新产生的图像块特征值和平均灰度值，检测所有邻近背景图像块的目标图像块，并将其自身和其邻域图像块在满足一定条件时变换所属类型，进一步判定图像块为目标或是背景。

2.根据权利要求1所述的基于小波函数的多尺度显微图像分割处理方法，其特征在于：步骤(2)所述的K-means聚类方法处理步骤为：

a、将阈值记为T，为T选取一个初始估计值为图像块对应函数值的最大值与最小值的平均值；

b、使用T分割函数值，产生两组图像块：函数值≥T的所有图像块组成的G₁，以及函数值＜T的所有图像块组成的G₂；

c、计算G₁和G₂范围内的图像块对应的平均函数值μ₁和μ₂；

d、计算一个新阈值： $T=\frac{1}{2}({\mathrm{\μ}}_1+{\mathrm{\μ}}_2);$

e、重复步骤b到步骤d，直到连续迭代中T的差值比上先一步产生的T值小于预先规定的百分比时停止迭代。

Images