CN110473212A - 一种融合显著性和超像素的电镜硅藻图像分割方法及装置 - Google Patents

Abstract

本发明公开了一种融合显著性和超像素的电镜硅藻图像分割方法及装置，该方法包括：对待分割的电镜硅藻图像构造显著性区域粗定位，得到显著图；计算所述显著图的最佳阈值，利用所述最佳阈值对所述显著图进行二值化处理，得到二值化图，进行自适应初始框取，得到初始矩形框；对所述二值化图，利用超像素算法对初始矩形框扩充，构造自适应矩形框；将所述矩形框参数和所述电镜硅藻图像输入GrabCut算法中，分割得到复杂背景下完整的硅藻。本发明通过上述过程解决了现有技术中提取电镜硅藻图像需进行复杂的预处理及耗费大量人力的技术问题，实现了快速地全自动分割复杂背景下的完整目标硅藻。

Description

一种融合显著性和超像素的电镜硅藻图像分割方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种融合显著性和超像素的电镜硅藻图像分割方法及装置。

背景技术

硅藻检验在法医学检验中的作用十分重要，其种类与数量的实验室检查是对尸体溺死诊断、辅助判断水中尸体是生前入水溺死还是死后抛尸入水以及落水地点等最有效的方法。硅藻检验的主要难点在于直接对自然界中的硅藻成像，在成像过程中会受到细微砂石，颗粒等复杂背景的干扰，硅藻分割的质量影响着最终识别的效果。

现有硅藻分割、识别、分类的方法主要集中在对简单背景的光学显微镜成像的硅藻有效区域的提取，而这些方法在硅藻成像前需要采用复杂的实验手段将硅藻里面的以及周围的细微砂石，颗粒清洗去除，接着在简单背景下对干净的硅藻进行光学显微镜成像，这种方法需要复杂的预处理以及耗费大量的人力，光学显微镜成像质量较差。

光学显微镜成像前需要复杂的预处理以及耗费大量的人力，采用复杂的实验手段将硅藻里面的以及周围的细微砂石，颗粒清洗去除，接着在简单背景下对干净的硅藻进行光学显微镜成像，而使用藻类拟合轮廓边框提取有效区域的方式则存在人工交互多和提取精度不高等问题。因此，提出一种融合图像显著性和超像素的复杂背景电镜硅藻图像的全自动分割方法以及装置是有必要的。

发明内容

本发明公开了一种融合显著性和超像素的电镜硅藻图像分割方法及装置，解决了现有技术中提取电镜硅藻图像需进行复杂的预处理及耗费大量人力的技术问题，实现了快速地全自动分割复杂背景下的完整目标硅藻。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明提供了一种融合显著性和超像素的电镜硅藻图像分割方法，包括以下步骤：

S1：对待分割的电镜硅藻图像构造硅藻的区域粗定位，得到显著图；

S2：对所述显著图阈值化得到二值化图，对所述二值化图构造硅藻的感兴趣区域初始矩形框；其中，所述初始形框包含硅藻的前景区域；

S3：对所述前景区域进行膨胀运算、闭包运算，利用超像素算法扩张所述前景区域，构造包含完整硅藻的感兴趣区域自适应矩形框；

S4：将所述自适应矩形框的参数和所述电镜硅藻图像输入GrabCut算法中，分割得到完整的目标硅藻图像。

进一步地，对所述前景区域进行膨胀运算包括：对所述前景区域进行数学形态学的膨胀运算。

进一步地，利用超像素算法扩张所述前景区域包括：通过实验设置自适应的划分尺度，利用超像素算法划分网格扩张所述前景区域。

进一步地，S3包括：将与所述前景区域的闭包有交集的所述超像素合并到所述闭包中。

进一步地，构造包含完整硅藻的感兴趣区域自适应矩形框包括：所述自适应矩形框为包含完整硅藻的最小矩形框。

进一步地，S1包括：提取所述电镜硅藻图像的特征生成特征图，利用所述特征图生成激活图，利用所述激活图生成所述显著图。

进一步地，S1包括：所述特征图包括灰度特征图、彩色通道特征图和方向特征图。

进一步地，利用所述特征图生成激活图包括：生成所述特征图的全连接图，对所述全连接图求权重后进行归一化处理，得到所述特征图的激活图。

进一步地，S2包括：利用大津算法，计算所述显著图的最佳阈值，利用所述最佳阈值对所述显著图阈值化。

本发明还提供了一种融合显著性和超像素的电镜硅藻图像分割装置，其特征在于，包括：

获取单元，用于获取待分割的电镜硅藻图像；

显著性单元，用于将待分割的电镜硅藻图像进行显著性处理；

优化单元，用于对待分割的硅藻生成和优化矩形框，确保能够得到完整硅藻目标；

分割单元，用于将待分割硅藻从复杂背景下完整地分割出来。

本发明提供了一种融合图像显著性和超像素的复杂背景电镜硅藻图像的全自动分割方法以及装置，具有如下优点：

利用融合图像显著性和超像素的复杂背景硅藻图像全自动分割方法，利用超像素划分网格对硅藻的粗定位区域进行扩张，能够有效分割出复杂背景环境下的目标硅藻图像，准确地分割出硅藻有效区域，排除复杂背景的干扰，主要解决了传统的硅藻光学成像分割方法操作繁琐，耗费大量人力和资源的问题。

同时，解决了传统分割算法在精度上不足的缺点，减少了算法的交互，实现了对电镜硅藻图像的高速度和高精度分割。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种融合显著性和超像素的电镜硅藻图像分割方法的算法流程图；

图2为本发明一种融合显著性和超像素的电镜硅藻图像分割方法的显著图的生成算法流程图；

图3为本发明一种融合显著性和超像素的电镜硅藻图像分割方法的显著图二值化的处理流程图；

图4为本发明一种融合显著性和超像素的电镜硅藻图像分割方法的构造感兴趣区域自适应矩形框的流程图；

图5为本发明一种融合显著性和超像素的电镜硅藻图像分割方法的GrabCut的算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种融合显著性和超像素的电镜硅藻图像分割方法，包括以下步骤，具体流程如附图1所示：

改进GBVS模型，使用改进后的GBVS模型实现对目标硅藻的粗定位，具体步骤为：改进GBVS算法的特征提取步骤中的方向尺度，使得方向特征向量包含了图像的8个方向特征，扩充了图像的特征向量内容，生成了包含8个方向特征的显著图，从而使得硅藻感兴趣区域ROI更加突出，改进之后的GBVS模型符合捕获更准确的硅藻边界信息和要求，实现对硅藻目标的粗定位。

显著图二值化，通过二值化图构造初始矩形框，具体步骤为：利用OSTU算法(大津算法)将显著图二值化，得到二值化图，构造感兴趣区域ROI初始矩形框，实现矩形框对硅藻的粗略框取。

矩形框优化，利用融合图像显著图和超像素的方法构造自适应ROI矩形框，具体步骤为：对获得包含前景的感兴趣区域ROI初始矩形框的二值化图使用融合图像显著图和超像素的方法，利用超像素SuperPixel对ROI进行扩充，使硅藻目标能够完全被包含在目标矩形框内，从而获得包含完整硅藻的目标自适应ROI矩形框。

改进GrabCut算法，利用无需框选的GrabCut分割算法对硅藻有效区域进行分割，具体步骤为：通过包含矩形框的二值化图得到初始矩形框的参数，实现全自动框取目标前景，利用改进后的无需人工交互框取的GrabCut，(Interactive Foreground Extractionusing Iterated Graph Cuts)算法对目标分割，得到目标硅藻。

本发明还提供了一种融合显著性和超像素的电镜硅藻图像分割装置，包括：

获取单元，用于获取待分割的硅藻高清电镜显微图像；

显著性单元，用于将待分割的硅藻高清电镜显微图像进行显著图像相关处理；

优化单元，用于对待分割的硅藻生成和优化矩形框，确保能够得到完整硅藻目标；

分割单元，用于将待分割硅藻从复杂背景下完整地分割出来。

S1：对待分割的电镜硅藻图像构造硅藻的区域粗定位，得到显著图；生成得到显著图的过程如附图2所示，需提取待分割的电镜硅藻图像即原始硅藻图像的特征，生成多个特征图，然后利用多个特征图生成多个激活图，最后利用多个激活图生成显著图。

提取待分割的电镜硅藻图像的特征，生成特征图(Feature Map)的过程如下：

对待分割硅藻的高清电镜显微图像利用高斯金字塔采样得到9个尺度，利用基于生物视觉center-surround技术对9个尺度图像进行组合。

(c)center＝{2，3，4}，s(surround)＝c+δ，其中δ＝2 (1)

center为在尺度为{2,3,4}的图像中的像素，surround是利用公式(1)计算得到的尺度为s＝c+δ的图像中的像素。获得3个(c，s)组合：(2,4)，(3,5)，(4,7)。对每个组合内不同尺度的图像进行插值(interpolation)，即将尺度大的图像减少像素至两个图像尺度统一，之后对两个图像进行相减。这种跨尺度相减的操作叫插值，采用符号Θ表示，之后对每个组合提取灰度特征，彩色通道的特征，方向特征。

其次，计算每个组合的灰度特征、彩色通道的特征及方向特征，生成相应的特征图：

计算灰度特征时，利用公式(2)计算每个尺度的灰度特征。

I＝(r+g+b)/3 (2)

其中，r表示红色通道的值，g表示绿色通道的值，b表示蓝色通道的值。

采用公式(2)对r，g，b通道进行归一化以从灰度中解耦色调，产生了四个宽调谐(broadly-tuned)的颜色通道，利用计算公式(4)从这些颜色通道中产生四个高斯金字塔R，G，B，Y，这四个高斯金字塔分别对应RED，GREEN，BLUE，YELLOW四个颜色通道特征值。

对于3个组合中的每个组合，利用公式(3)求对应该组合的灰度特征图。

I(c，s)＝|I(c)ΘI(s)| (3)

计算彩色通道特征时，先采用下面一组公式(4)求得每个尺度的四种颜色通道(RED，GREEN，BLUE，YELLOW)的特征值：

R＝r-(g+b)/2

G＝g-(r+b)/2

B＝b-(r+g)/2

Y＝(r+g)/2-|r-g|/2-b (4)

其中，r表示红色通道的值，g表示绿色通道的值，b表示蓝色通道的值。为了让算法效果更加贴合人类视觉，算法参考了人类视觉中的“double-opponent system”。该研究阐述了识别颜色的细胞有对手颜色细胞的存在。彩色对手细胞被中心的一种颜色激发，并被周围的对手颜色所抑制。彩色对手单元也可以被中心的一种颜色抑制，并被环绕中的对手颜色激发。研究发现(R，G)，(G，R)，(B，Y)，(Y，B)这四个颜色对是存在这种现象的。因此对于每一个组合，使用公式(4)求得各颜色特征后，再用以下的一组公式(5)计算得到每一个组合的彩色通道的特征图：

RG(c，s)＝|(R(c)-G(c))Θ(G(s)-R(s))|

BY(c，s)＝|(B(c)Y(c))Θ(Y(s)-B(s))| (5)

计算方向特征时：通过对于灰度图I使用Gabor金字塔来获得局部方向信息，用O(σ，θ)来表示。其中σ∈{0，2，3，4，5，6，7}表示尺度为σ的图像，θ∈{0，22.5，45，67.5，90，112.5，135，157.5}单位是度。因此对于每一个(c，s)组合采用公式(6)计算得到方向特征图：

O(c，s，θ)＝|O(c，θ)ΘO(s，θ)| (6)

因为θ的取值有8个(8角度)，所以对于每一种(c,s)组合会产生8个特征图(Feature Map)。

在此，我们得到了3张灰度特征图，6张颜色特征图以及24张方向特征图一共33张特征图(Feature Map)。

利用多个特征图生成多个激活图的过程如下：

对于所求取的每一个特征图(Feature Map)，生成激活图(Activation Map)：对于每一个特征图，生成关于该图的有向全连接图，其中通过公式(8)求出一个顶点与其他顶点的关联性得到它们的边的权重，得到关于该特征图的激活图。其中，特征图M中像素(i,j)与其它像素(p,q)是否相同的衡量公式(7)为：

权重由公式(8)求得：

其中公式(8)中的参数F(i-p,j-q)的值由公式(9)求得：

对每一个激活图先做归一化处理(马尔科夫转移矩阵的性质，一个状态转移到其他状态的概率和为1)。这样，每一个结点的状态则与马尔科夫链中的状态等价，结点与结点之间的权重也与马尔科夫链中的状态间的转移概率等价，这样便可以使用马尔科夫方法。使用一个初始向量与该状态转移矩阵相乘并不断重复，最终可以对于每一个激活图得到一个收敛的马尔科夫平衡分布。

利用多个激活图(Activation Map)来生成显著图(Saliency Map)的过程如下：

将以上得到的每个特征图与其权重相乘再相加，得到原始显著图；

将得到的显著图进行后处理：使用高斯核对其进行卷积，并对得到的图进行归一化。

提取待分割的电镜硅藻图像的特征，生成特征图；利用特征图生成多个激活图；利用多个激活图生成显著图，自此改进的GBVS算法生成特征图完成，得到硅藻的区域粗定位。

S2：对所述显著图阈值化得到二值化图，对所述二值化图构造硅藻的感兴趣区域初始矩形框；其中，所述初始形框包含硅藻的前景区域；

利用大津法二值化处理，对粗定位得到的显著图做阈值化处理，得到二值化图，通过二值化图构造初始矩形框，二值化处理流程如附图3所示。

首先，使用OSTU算法(大津法)，求得该显著图的最佳阈值，具体过程如下：

计算每个灰度级的像素个数以及其占整副图像的比例；

使假定阈值t从0～255变化，用t将像素点分为前景点和背景点两类，设小于等于t，灰度级别的像素点为前景点，大于t灰度级别的像素点为背景点，求得前景像素点对于整副图像的比例w₀以及均值u₀，同理求得背景像素的比例w₁以及均值u₁；

利用下面一组公式(10)求得整副图像的均值u，以及在该情况下的类间方差g(t)。从255个类间方差中寻找最大的g(t)值，输出作为最佳阈值。

其中：

u＝w₀*u₀+w₁*u₁

g(t)＝w₀*(u₀-u)²+w₁*(u₁-u)² (10)

OSTU算法使得g(t)取得全局最大值，当g(t)为最大时所对应的t为最佳阈值。

然后，使用最佳阈值对显著图做阈值化处理，得到二值化图。

对得到的二值化图，实现自适应初始框取，计算得到最小的能够包含硅藻前景的感兴趣区域初始矩形框。

S3：对所述前景区域进行膨胀运算、闭包运算，利用超像素算法扩张所述前景区域，构造包含完整硅藻的感兴趣区域自适应矩形框。

对得到的二值化图，利用超像素算法对所述初始矩形框进行扩张，构造自适应感兴趣矩形框，得到矩形框参数，具体的扩张过程如附图4所示。

具体的扩张步骤设计如下：

用G表示上一步用改进的GBVS算法生成的二值化图。对G的前景区域F_G进行数学形态学中的膨胀运算，得到膨胀后的显著图G_d。

G_d＝dilation(G)

计算G_d前景区域的闭包，记为用表示G_d的闭包图。

通过实验设置自适应的划分尺度，用SLIC超像素算法生成待分割的电镜硅藻图像的超像素划分图，设包含l个超像素，用{S₁，S₂，…，S₁}表示，用{S₁，S₂，…，S_l}对二值化图G作同样的划分。

则扩张的二值化图的前景区域为：

其中1≤i_k≤l且也就是把与相交非空的那些并到中。

对得到的以F_e为前景区域的扩张二值化图实现自适应框取，计算得到最小的能够包含前景区域F_e的矩形框。

S4：将所述自适应矩形框的参数和所述电镜硅藻图像输入GrabCut算法中，分割得到完整的目标硅藻图像。

将矩形框参数和电镜硅藻图像输入GrabCut分割算法中，分割得到完整的目标硅藻图像，实现全自动框选的GrabCut分割算法流程如附图5所示：

(1)基于全自动的矩形框框选的前景范围计算得到一个初始的三值图T，矩形框外的像素全部作为背景像素T_B，而矩形框内像素全部作为不确定像素T_U。对T_B内的每一像素n，初始化像素n的标签α_n＝0；而对T_U内的每个像素n，初始化像素n的标签α_n＝1。

(2)通过k-means算法分别把属于目标和背景的像素聚类为K类。

(3)将每个像素的RGB值输入其属于的高斯混合模型中，并使用这些数据集优化高斯混合模型的参数。

(4)分割估计建立Gibbs能量项，然后通过最大流最小割算法来进行分割。

(5)重复步骤(3)，(4)直到Gibbs能量项收敛，得到分割出来的目标硅藻图像，最终得到经过分割的比较完整的去除复杂背景干扰的目标硅藻图像。

综上所述：

本申请提供了一种融合显著性和超像素的电镜硅藻图像分割方法及装置，本申请直接以在原有复杂背景干扰的硅藻进行高清电子显微镜成像的图像为研究对象，贴紧法医学检验的特定电镜硅藻图像目标全自动分割与识别需求对硅藻有效区域进行提取，改善了目前对硅藻进行复杂预处理耗费大量的人力和资源的现状，融合图像显著性和超像素的复杂背景硅藻图像全自动分割方法获得自适应矩形框提高了分割速度，便捷的交互式减轻了操作人员的要求，算法大大减少了人工交互，提高了分割精度和算法运算速度。

本申请提供的装置能够直接输入硅藻的高清电子显微镜图像，利用融合图像显著性和超像素的方法全自动的获得分离的硅藻图片，为后续识别工作做准备，进一步提高目标的识别率，实现电镜硅藻图像在法医学检验的重要应用。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，包括以下步骤：

S1：对待分割的电镜硅藻图像构造硅藻的区域粗定位，得到显著图；

S2：对所述显著图阈值化得到二值化图，对所述二值化图构造硅藻的感兴趣区域初始矩形框；其中，所述初始形框包含硅藻的前景区域；

S3：对所述前景区域进行膨胀运算、闭包运算，利用超像素算法扩张所述前景区域，构造包含完整硅藻的感兴趣区域自适应矩形框；

S4：将所述自适应矩形框的参数和所述电镜硅藻图像输入GrabCut算法中，分割得到完整的目标硅藻图像。

2.根据权利要求1所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，对所述前景区域进行膨胀运算包括：对所述前景区域进行数学形态学的膨胀运算。

3.根据权利要求1所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，利用超像素算法扩张所述前景区域包括：通过实验设置自适应的划分尺度，利用超像素算法划分网格扩张所述前景区域。

4.根据权利要求1所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，S3包括：将与所述前景区域的闭包有交集的所述超像素合并到所述闭包中。

5.根据权利要求1所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，构造包含完整硅藻的感兴趣区域自适应矩形框包括：所述自适应矩形框为包含完整硅藻的最小矩形框。

6.根据权利要求1所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，S1包括：提取所述电镜硅藻图像的特征生成特征图，利用所述特征图生成激活图，利用所述激活图生成所述显著图。

7.根据权利要求6所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，S1包括：所述特征图包括灰度特征图、彩色通道特征图和方向特征图。

8.根据权利要求2所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，利用所述特征图生成激活图包括：生成所述特征图的全连接图，对所述全连接图求权重后进行归一化处理，得到所述特征图的激活图。

9.根据权利要求1所述的融合显著性和超像素的电镜硅藻图像分割方法，其特征在于，S2包括：利用大津算法，计算所述显著图的最佳阈值，利用所述最佳阈值对所述显著图阈值化。

10.一种融合显著性和超像素的电镜硅藻图像分割装置，其特征在于，包括：

获取单元，用于获取待分割的电镜硅藻图像；

显著性单元，用于将待分割的电镜硅藻图像进行显著性处理；

优化单元，用于对待分割的硅藻生成和优化矩形框，确保能够得到完整硅藻目标；

分割单元，用于将待分割硅藻从复杂背景下完整地分割出来。