CN103839266A - 一种基于信息融合的纳米图像识别方法 - Google Patents

Abstract

一种基于信息融合的纳米图像识别方法，它有六大步骤：步骤一：使用透射电子显微镜得到纳米材料图像；步骤二：采用基于图像亮度信息和基于图像梯度信息两组方法对预处理后的图像进行纳米粒子识别，得到两组独立的粒子检测结果；步骤三：使用椭圆对两组识别结果进行参数化，找出一致的结果；步骤四：根据原始图像，计算参数化后两组结果中每个粒子的可信度s_A与s_B；步骤五：计算两组结果的冲突矩阵C；步骤六：通过0-1整数优化的方法得到融合结果。实验证明，本发明可以在较短的时间内，从低对比度、高噪声的投射电子显微镜图像中得到稳定与准确纳米粒子识别结果。

Description

一种基于信息融合的纳米图像识别方法

技术领域

本发明涉及一种基于信息融合的纳米图像识别方法，特别涉及图像中目标的自动检测和分割技术。属于计算机视觉和纳米材料分析技术领域。

背景技术

近几年来，基于透射电子显微镜图像的纳米图像识别技术引起了越来越多的重视。根据纳米材料的理论和经验可知，纳米粒子的大小，形状和分布对材料的性质有着显著的影响。纳米图像识别技术能够根据透射电子显微镜图像，得到每个粒子的中心与轮廓。根据识别结果，我们可以判断出所有粒子的形状与分布信息，从而推断出材料性质。因此，它可以提高纳米材料生产质量控制的精度和效率。

由于纳米材料属于新兴技术，目前在计算机视觉的研究中，专门针对纳米粒子的相关工作还比较少。现有的方法多采用一些传统的的目标识别技术，如简单二值化，或者医学图像处理中的细胞识别技术。由于缺少针对性，这些方法只能处理一部分图像。而现有的一些纳米粒子识别工作，大多也着眼于高对比度，低噪声的清晰图像。

对于非金属纳米材料（如纳米氧化硅等），由于其原子量和树脂基底相差不大，透射电子显微镜图像往往是低对比度的，而且含有非常明显的噪声。在这种情况下，现有的处理方法无法得到准确而稳定的纳米粒子识别结果。我们发现，多数现有方法只利用单一的图像信息，比如基于二值化的方法只利用图像的亮度信息，而基于轮廓检测的方法只利用了图像的梯度信息。由于图像质量较低，只依靠单一信息往往不足以识别粒子。

为了克服这一缺点，我们提出了基于信息融合的纳米粒子识别方法。在对图像进行预处理之后，我们使用了两组方法独立的对其进行识别，分别得到纳米粒子的检测结果。第一组方法基于图像亮度信息，而第二组方法基于图像梯度信息。接着，我们利用椭圆模型对两组结果进行参数化，并找出拟合结果一致的粒子。然后，对于其余的粒子，我们根据原始图像，计算每组粒子识别结果的可信度以及两组结果的冲突矩阵。最后，我们使用0-1整数优化的方法对它们进行融合，选取更符合图像信息的粒子识别结果，得到最终输出。实验证明，我们的方法能在较短的时间内（5-10分钟），从低对比度、高噪声的透射显微镜图像中，得到准确的纳米粒子识别和分割的结果。

发明内容

本发明提供了一种基于信息融合的纳米图像识别方法，从透射电子显微镜图像中，得到纳米材料中粒子的大小，形状和分布。本发明能够克服透射显微镜图像的低分辨率和高噪声，在较短的时间内获得准确的纳米粒子识别和分割的结果。

技术方案：

本发明是一种基于信息融合的纳米图像识别方法，该方法具体步骤如下（见图1）：

步骤一：使用透射电子显微镜得到纳米材料图像。

对于原始图像，使用带通滤波（Bandpass-filter）以及高斯滤波（Gausian-filter）的方法对图像进行预处理，减少背景的不均匀性和去除随机噪声。

步骤二：采用两组方法对预处理后的图像进行纳米粒子识别，得到两组独立的粒子检测结果。

第一组方法基于图像亮度信息。首先采用k-means方法对图像亮度信息以及像素位置信息一起进行分类，将图像分为前景（纳米粒子区域）和背景（基底）两类，然后再将前景中的重叠区域使用watershed方法进行分割，得到每个纳米粒子的识别结果（记为结果A）。第二组方法为基于图像梯度信息。首先使用active contour方法提取出图像前景。采用了Chen等人的active contour without edge的方法，迭代优化得到前景（所有纳米粒子）的轮廓以及所在区域。然后使用iterative voting的方法得到每个纳米粒子的中心。接着根据粒子中心位置，基于以下两个原则分割上一步所得到的的轮廓：1）轮廓的法向需要指向粒子中心；2）轮廓与粒子中心的距离尽量近。可以用如下公式表示：

argmin_id_i-λcosα_i，

其中d_i为轮廓上的像素到粒子i中心的距离，α_i是像素到粒子i中心连线与轮廓法相的夹角。λ为权重，可设定为0.3。

根据每一个粒子的轮廓，把前景像素再进行分割（在轮廓所在的凸包之内的，为属于该粒子的像素），得到单个纳米粒子所在的区域。（记为结果B）。

利用active contour提取出的前景以及iterative voting得到的粒子中心，识别每一个粒子的过程见图2（a）-（d）.

两种方法的识别结果见图3a、图3b。

步骤三：使用椭圆对两组识别结果进行参数化，找出一致的结果。

对于每个粒子，使用椭圆对其所在的区域进行拟合，采用second-moment fitting的方法，得到最匹配的结果，记录下椭圆的中心坐标位置以及轮廓。

计算两组检测结果中每对粒子轮廓的平均距离。平均距离的计算方法为：对于结果A中粒子i轮廓上的每个像素，计算到其到结果B中的粒子j轮廓上的每个像素的最短距离。其平均值则为粒子i和粒子j的轮廓平均距离。

平均距离小于两粒子平均半径的0.3倍的认为是一致的准确结果，在后继融合步骤中不予考虑。在下面的步骤中，处理其余不一致的结果。

步骤四：根据原始图像，计算参数化后两组结果中每个粒子的可信度s_A与s_B。

对于每个粒子，使用识别前后图像亮度方差的减小值作为其可信度指标。记某识别得到的粒子所在的前景区域为F，其邻域所包含的背景区域为B，A=F∪B。可信度计算公式如下

$S=\underset{p\∈A}{\mathrm{\Σ}}{(I_p-{\stackrel{\‾}{I}}_A)}^2-\underset{p\∈F}{\mathrm{\Σ}}{(I_p-{\stackrel{\‾}{I}}_F)}^2-\underset{P\∈B}{\mathrm{\Σ}}{(I_P-{\stackrel{\‾}{I}}_B)}^2$

其中I_p为像素p的亮度，

为对应区域图像亮度的均值。

s越大，该识别结果与图像信息越吻合，其可信度也越高。

将两组结果中每个粒子的可信度写为向量形式：

N_A与N_B为两组结果去除一致粒子后的总数。

步骤五：计算两组结果的冲突矩阵C。

如果结果A中某粒子与结果B中某粒子并不一致，但其所在的区域位置相同，则认为此对粒子冲突。在融合中，不能同时选取任意一对冲突粒子。

使用N_A×N_B的0-1矩阵C标志两组结果的冲突关系。如果C_ij=1标志结果A中i粒子与结果B中j冲突，为0则表示两粒子不冲突。

通过计算两粒子的重叠区域可判断其是否冲突。设定如果重叠区域大于较小粒子面积的30%，则认为两粒子冲突。

冲突粒子和冲突矩阵的示意图见图4。

步骤六：通过0-1整数优化的方法得到融合结果。

使用0-1向量x_A和x_B标志两组粒子的选择结果。如果其值为1，则融合结果选择对应粒子，而为0时对应粒子在融合中被舍弃。

其优化式为： $\max (S_A^T{x}_A+S_B^T{x}_B).$

约束为： $x_A^T{\mathrm{Cx}}_B=0.$

该0-1整数优化问题可转化为线性规划，由于其目标函数已为线性，需要把约束式转化成为线性：

其中1_NB为N_B维的全1向量。该约束与

等价。

转化为线性规划之后，可采用分支定界法（branch and bound）得到优化结果。

最后根据优化得到的x_A与x_B输出最终融合结果，见图5。

本发明的特点及有益效果：

本发明是一种基于信息融合的纳米粒子识别方法，它能够有效处理低分辨率、高噪声的透射电子显微镜图像，在计算机视觉和纳米材料制造的技术领域中有较大的意义。本方法首先对透射显微镜图像进行预处理。然后使用两组方法，分别基于图像亮度和图像梯度，对纳米粒子进行识别。接着使用椭圆对两组识别结果进行参数化，找出一致的结果。对于不一致的粒子，根据原始图像信息计算其可信度以及两组结果的冲突矩阵。最后利用0-1整数优化，得到最终的融合结果。

附图说明

图1为本发明方法总体流程图。

图2（a）active contour方法提取出的图像前景；

图2（b）iterative voting得到的粒子中心；

图2（c）粒子轮廓分割结果；

图2（d）单个粒子区域的分割结果。

图3a为基于图像亮度的检测结果.

图3b为基于图像梯度的检测结果。

图4为冲突粒子与冲突矩阵示意图。

图5为本发明方法得到的融合后的检测结果。

具体实施方式

见图1，本发明是一种基于信息融合的纳米图像识别方法，该方法具体步骤如下：

步骤一：使用透射电子显微镜得到纳米材料图像。

对于原始图像，使用带通滤波（Bandpass-filter）以及高斯滤波（Gausian-filter）的方法对图像进行预处理，减少背景的不均匀性和去除随机噪声。

步骤二：采用两组方法对预处理后的图像进行纳米粒子识别，得到两组独立的粒子检测结果。

第一组方法基于图像亮度信息。首先采用k-means方法对图像亮度信息以及像素位置信息一起进行分类，将图像分为前景（纳米粒子区域）和背景（基底）两类，然后再将前景中的重叠区域使用watershed方法进行分割，得到每个纳米粒子的识别结果，记为结果A。第二组方法为基于图像梯度信息。首先使用active contour方法提取出图像前景。我们采用了Chen等人的active contour without edge的方法，迭代优化得到前景（所有纳米粒子）的轮廓以及所在区域。然后使用iterative voting的方法得到每个纳米粒子的中心。接着我们根据粒子中心位置，基于以下两个原则分割上一步所得到的的轮廓：1）轮廓的法向需要指向粒子中心；2）轮廓与粒子中心的距离尽量近。可以用如下公式表示：

argmin_id_i-λcosα_i，

其中d_i为轮廓上的像素到粒子i中心的距离，α_i是像素到粒子i中心连线与轮廓法相的夹角。λ为权重，可设定为0.3。

根据每一个粒子的轮廓，我们把前景像素再进行分割（在轮廓所在的凸包之内的，为属于该粒子的像素），得到单个纳米粒子所在的区域。记为结果B。

利用active contour提取出的前景以及iterative voting得到的粒子中心，识别每一个粒子的过程见图2（a）-（d）.

两种方法的识别结果见图3a、图3b。

步骤三：使用椭圆对两组识别结果进行参数化，找出一致的结果。

对于每个粒子，使用椭圆对其所在的区域进行拟合，采用second-moment fitting的方法，得到最匹配的结果，记录下椭圆的中心坐标位置以及轮廓。

计算两组检测结果中每对粒子轮廓的平均距离。平均距离的计算方法为：对于结果A中粒子i轮廓上的每个像素，计算到其到结果B中的粒子j轮廓上的每个像素的最短距离。其平均值则为粒子i和粒子j的轮廓平均距离。

平均距离小于两粒子平均半径的0.3倍的认为是一致的准确结果，在后继融合步骤中不予考虑。在下面的步骤中，我们处理其余不一致的结果。

步骤四：根据原始图像，计算参数化后两组结果中每个粒子的可信度s_A与s_B。

对于每个粒子，我们使用识别前后图像亮度方差的减小值作为其可信度指标。记某识别得到的粒子所在的前景区域为F，其邻域所包含的背景区域为B，A=F∪B。可信度计算公式如下：

$S=\underset{p\∈A}{\mathrm{\Σ}}{(I_p-{\stackrel{\‾}{I}}_A)}^2-\underset{p\∈F}{\mathrm{\Σ}}{(I_p-{\stackrel{\‾}{I}}_F)}^2-\underset{P\∈B}{\mathrm{\Σ}}{(I_P-{\stackrel{\‾}{I}}_B)}^2$

其中I_p为像素p的亮度，

为对应区域图像亮度的均值。

s越大，该识别结果与图像信息越吻合，其可信度也越高。

我们将两组结果中每个粒子的可信度写为向量形式：

N_A与N_B为两组结果去除一致粒子后的总数。

步骤五：计算两组结果的冲突矩阵C。

如果结果A中某粒子与结果B中某粒子并不一致，但其所在的区域位置相同，则我们认为此对粒子冲突。在融合中，我们不能同时选取任意一对冲突粒子。

我们使用N_A×N_B的0-1矩阵C标志两组结果的冲突关系。如果C_ij=1标志结果A中i粒子与结果B中j冲突，为0则表示两粒子不冲突。

通过计算两粒子的重叠区域可判断其是否冲突。我们设定如果重叠区域大于较小粒子面积的30%，则认为两粒子冲突。

冲突粒子和冲突矩阵的示意图见图4。

步骤六：通过0-1整数优化的方法得到融合结果。

我们使用0-1向量x_A和x_B标志两组粒子的选择结果。如果其值为1，则融合结果选择对应粒子，而为0时对应粒子在融合中被舍弃。

其优化式为： $\max (S_A^T{x}_A+S_B^T{x}_B).$

约束为： $x_A^T{\mathrm{Cx}}_B=0.$

该0-1整数优化问题可转化为线性规划，由于其目标函数已为线性，我们需要把约束式转化成为线性：

$C^T{x}_A+N_A{x}_B\≤N_A{1}_{N_B}$

其中1_NB为N_B维的全1向量。该约束与

等价。

转化为线性规划之后，可采用分支定界法（branch and bound）得到优化结果。

最后根据优化得到的x_A与x_B输出最终融合结果，见图5。

本发明可以在普通PC机或工作站等硬件系统上实现。相应的软件程序可以存储在可读取的存储介质中，例如，计算机的硬盘、缓存或光盘中。

实现本实施例方法的硬件PC配置：

CPU：Intel Core2Duo CPU E75002.93GHz

内存：4.0GB

操作系统：Windows7

本发明实施例可以利用软件实现，以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于信息融合的纳米图像识别方法，其特征在于：该方法具体步骤如下：

步骤一：使用透射电子显微镜得到纳米材料图像；

对于原始图像，使用带通滤波即Bandpass-filter以及高斯滤波即Gausian-filter的方法对图像进行预处理，减少背景的不均匀性和去除随机噪声；

步骤二：采用两组方法对预处理后的图像进行纳米粒子识别，得到两组独立的粒子检测结果；

第一组方法基于图像亮度信息，首先采用k-means方法对图像亮度信息以及像素位置信息一起进行分类，将图像分为前景即纳米粒子区域和背景即基底两类，然后再将前景中的重叠区域使用watershed方法进行分割，得到每个纳米粒子的识别结果，记为结果A；

第二组方法为基于图像梯度信息，首先使用active contour方法提取出图像前景，采用了Chen的active contour without edge的方法，迭代优化得到前景所有纳米粒子的轮廓以及所在区域；然后使用iterative voting的方法得到每个纳米粒子的中心，接着根据粒子中心位置，基于以下两个原则分割上一步所得到的的轮廓：1）轮廓的法向需要指向粒子中心；2）轮廓与粒子中心的距离尽量近；用如下公式表示：

argmin_id_i-λcosα_i，

其中，d_i为轮廓上的像素到粒子i中心的距离，α_i是像素到粒子i中心连线与轮廓法相的夹角，λ为权重，设定为0.3；

根据每一个粒子的轮廓，把前景像素再进行分割，得到单个纳米粒子所在的区域，记为结果B；

利用active contour提取出的前景以及iterative voting得到的粒子中心；

步骤三：使用椭圆对两组识别结果进行参数化，找出一致的结果；

对于每个粒子，使用椭圆对其所在的区域进行拟合，采用second-moment fitting的方法，得到最匹配的结果，记录下椭圆的中心坐标位置以及轮廓；

计算两组检测结果中每对粒子轮廓的平均距离；平均距离的计算方法为：对于结果A中粒子i轮廓上的每个像素，计算到其到结果B中的粒子j轮廓上的每个像素的最短距离；其平均值则为粒子i和粒子j的轮廓平均距离；

平均距离小于两粒子平均半径的0.3倍的认为是一致的准确结果，在后继融合步骤中不予考虑，在下面的步骤中，处理其余不一致的结果；

步骤四：根据原始图像，计算参数化后两组结果中每个粒子的可信度s_A与s_B；

对于每个粒子，使用识别前后图像亮度方差的减小值作为其可信度指标；记某识别得到的粒子所在的前景区域为F，其邻域所包含的背景区域为B，A=F∪B；可信度计算公式如下：

$S=\underset{p\∈A}{\mathrm{\Σ}}{(I_p-{\stackrel{\‾}{I}}_A)}^2-\underset{p\∈F}{\mathrm{\Σ}}{(I_p-{\stackrel{\‾}{I}}_F)}^2-\underset{P\∈B}{\mathrm{\Σ}}{(I_P-{\stackrel{\‾}{I}}_B)}^2$

其中，I_p为像素p的亮度，

为对应区域图像亮度的均值；

s越大，该识别结果与图像信息越吻合，其可信度也越高；

将两组结果中每个粒子的可信度写为向量形式：

N_A与N_B为两组结果去除一致粒子后的总数；

步骤五：计算两组结果的冲突矩阵C；

如果结果A中某粒子与结果B中某粒子并不一致，但其所在的区域位置相同，则认为此对粒子冲突，在融合中，不能同时选取任意一对冲突粒子；

使用N_A×N_B的0-1矩阵C标志两组结果的冲突关系；如果C_ij=1标志结果A中i粒子与结果B中j冲突，为0则表示两粒子不冲突；

通过计算两粒子的重叠区域判断其是否冲突；设定如果重叠区域大于较小粒子面积的30%，则认为两粒子冲突；

步骤六：通过0-1整数优化的方法得到融合结果；

使用0-1向量x_A和x_B标志两组粒子的选择结果；如果其值为1，则融合结果选择对应粒子，而为0时对应粒子在融合中被舍弃；

其优化式为： $\max (S_A^T{x}_A+S_B^T{x}_B)$

约束为： $x_A^T{\mathrm{Cx}}_B=0;$

该0-1整数优化问题转化为线性规划，由于其目标函数已为线性，需要把约束式转化成为线性

$C^T{x}_A+N_A{x}_B\≤N_A{1}_{N_B}$

其中1_NB为N_B维的全1向量，该约束与

等价；

转化为线性规划之后，采用分支定界法即branch and bound得到优化结果，最后根据优化得到的x_A与x_B输出最终融合结果。

Images