CN105809628A - 基于局部曲率流分析的胶囊图像滤波方法 - Google Patents

Abstract

本发明公开了一套适用于空心胶囊外观缺陷检测的、基于曲率流分析的图像滤波方法，其在滤除图像噪声的同时可有效的保存胶囊的边缘和外观缺陷特征，为后继的胶囊外观缺陷检测提供良好的图像基础,相比传统滤波算法，可以有效提升图像质量，使得整体检测精度提升20%以上。

Description

基于局部曲率流分析的胶囊图像滤波方法

技术领域

本发明属于视觉检测技术领域，特别涉及了基于局各个像素曲率流分布特征的图像滤波去噪方法。

背景技术

胶囊在生产过程中,成品胶囊不可避免地存在各种类型的外观缺陷,主要有超长超短、表面黑点、气泡、油污、皱纹、夹伤、脆裂、异色、切口毛刺、囊内异物等,这些缺陷不但影响胶囊后继的装板、包装等环节，也直接影响药物的保质和药效,因此胶囊的外观检测是胶囊药品生产过程的一个必要环节,胶囊外观图像检测系统可代替人工进行检测，工作效率是人工检测的5倍以上，且检测精度有显著提升。

胶囊图像检测技术具体流程如下：首先要对胶囊图像进行滤波处理，以去除由于内部因素和外部因素造成图像噪声；其次，胶囊图像的提取也是一个先决步骤，即在一幅原始图像中提取出多个胶囊图像，去除链板缝隙和其他背景环境图像，缩小后期图像处理区域和算法运行时间。每个胶囊都有三部分组成：胶囊帽、胶囊体、胶囊结合部分，由于胶囊图像是非均匀多区域的图像,各部分的灰度值差别很大，缺陷表现出来的灰度值也不相同，因此不宜对一个胶囊统一处理，而要对各个部分单独处理，因此需要将胶囊图像分割为三个部分，在上述图像滤波、图像提取、图像分割的基础上执行对胶囊外观缺陷的检测工作，本发明专利针对的是胶囊图像滤波环节，提出了一种新的适用于胶囊图像特征的滤波算法。

原始采集的胶囊图像不可避免存在散粒噪声、暗电流噪声、复位噪声等，这些将影响胶囊外观检测的效果，因此在检测胶囊外观是否存在缺陷前，必须首先执行滤波过程去除噪声，这也是所有图像处理系统均须执行的一个预处理步骤。

噪声去除不彻底，称为滤波欠平滑，胶囊边缘经滤波后不明显，称为滤波过平滑，很多胶囊外观缺陷并不明显，例如切丝、黑点、小顶凹等细小缺陷，即使人眼检测也非常“费眼”，在滤波去噪的过程中往往发生过平滑问题，因此好的滤波算法既要保证噪声去除，又要突出胶囊边缘，这是一个重要的关键技术，传统的滤波算法主要包括高斯滤波、中值滤波和频谱滤波。

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程，它对整幅图像进行加权平均的过程，每一个像素点的值都由其本身和邻域内的其他像素值经过加权平均后得到，高斯滤波的具体操作是：用掩模（或称卷积、模板）扫描图像中的每一个像素，用掩模确定的邻域内像素的加权平均灰度值去替换模板中心像素点的值，例如图1是3×3和5×5的高斯滤波掩模，

显然高斯滤波需要选择合适的掩模宽度，如果掩模过宽，即邻域的范围过大，将造成过平滑的效果，使得边缘和缺陷等被滤波效果所掩盖，反之，掩模过窄，则由于所涉及的邻域较小，使得一些噪声不能得到很好的抑制，因此选择合适的掩模宽度是高斯滤波的核心步骤。

但是高斯滤波并不完全切合胶囊图像的滤波，首先胶囊图像存在两种渐变性质：①灰度渐变：由于胶囊壁的厚薄不均透光性不同所造成的,使得胶囊图像的每个部分的灰度（明暗）在直射光照情况下是不均匀的；②模糊渐变：由于胶囊成圆柱形,它的表面并不是一个平面,也就是说胶囊表面上各点到相机的距离是不相等的,这就使得胶囊表面的各点的景深不一样,从而胶囊表面各点图像的清晰度也不相同,有的边缘点会出现模糊现象，高斯滤波算法会造成图像边缘和缺陷特征更加模糊,这会降低尺寸测量的精确度和缺陷检测的精确度，因此胶囊图像属于一种多区域非均匀图像，这种非均匀渐变特性使得噪声的主要特性不满足高斯分布，这是高斯滤波不适应于胶囊图像滤波的关键原因；其次固定单一的掩模宽度也难以适应不同胶囊区域的噪声特性；第三在稳定光源和同样检测样本基础上，可通过试验方法设置不同区域的高斯滤波掩模宽度，但是当检测不同样本时候，需要重复设置高斯掩模宽度，这在实际使用过程中将大大增加用户的使用难度，一般工厂技术人员较难胜任此项工作。

中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，对处理椒盐噪声非常有效，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点，显然中值滤波会圆滑膨胀凹形轮廓、腐蚀凸形轮廓，由于胶囊图像存在显著的多区域渐变特征，且很多胶囊缺陷具备凹凸特征，如果不对这些凹凸进行特殊处理，这使得一些细节的缺陷容易被中值滤波淹没，从而产生欠平滑问题。

频谱滤波是对图像通过傅立叶、小波等变换，将整幅图像转换为不同频谱空间信号的线性组合，然后滤除一些特定频谱的信号，从而实现滤波效果，因为噪声往往具有高频特征，频谱滤波往往是将超过一定频谱的信号滤除，例如平滑线性空间滤波器是一种低通滤波方法，它是掩模邻域内的像素的平均值,它也称为均值滤波器；再如，最大值和最小值滤波方法，它平滑相对于其邻域的最大值和最小值。主要平滑的方式通常有三种：第一种,用局部仅次于最大值的像素点的灰度值取代局部最大值灰度值,用局部仅大于最小值的像素点灰度值取代局部最小灰度值；第二种,计算掩模内像素点的灰度均值,用灰度均值来取代被平滑的像素点；第三种,用掩膜内的灰度中值来取代被平滑的像素点。而胶囊图像存在明显的边缘，而且这些边缘对后期的胶囊图像的提取和分割有重要价值且某些胶囊外观缺陷较为细小，这些图像元素也具有明显的高频特征使得频谱滤波在滤除噪声的同时，也平滑了边缘和细小缺陷的特征。

通过上述分析可以发现，由于胶囊图像存在自身的特性，这些特性影响了一般滤波方法的效果，因此需研究针对胶囊图像本身特性的滤波算法。

发明内容

为了解决上述背景技术提出的技术问题，本发明充分考虑了胶囊图像多区域渐变特性，提出了一种基于多点曲率流分析的方法，实现自适应的进行边缘和噪声的区分，从而在有效滤除噪声的基础上，很好的保存边缘与细小缺陷的图像特征。

具体技术方案为：（1）读取图像

胶囊外观检测系统包含工业相机，它负责实时采集胶囊图像，根据工业相机提供的接口实时读取图像数据到内存空间，为后面步骤的处理提供数据资源，此步骤需考虑采集和传输的实时性，确保及时的获得图像，不要产生丢帧和信息丢失现象。

（2）图像格式转换

采集的胶囊图像一般为彩色图像，其存在三个颜色通道：红绿蓝（RGB），需要将三个颜色通道分别保存为三个矩阵，矩阵元素与图像中的每个像素一一对应，矩阵元素值保留相应颜色空间的灰度值，灰度值取值范围为0～255；然后基于此三幅图像分别进行滤波处理；最后再合成为一幅去除噪声后的图像输出到后继胶囊图像处理阶段。如果采集的图像是黑白图像，此步骤仅仅执行格式转换，将工业相机采集的胶囊图像转为为灰度值范围为0～255的一个矩阵。

（3）对矩阵进行滤波处理

彩色图像和黑白图像都将以矩阵形式保留图像信息，而滤波算法均是基于矩阵形式信息结构来处理。因此，无论彩色图像还是黑白图像执行的滤波算法是一致的，在本发明中，我们提出了一种基于多曲率流的滤波方法，其可有效保存图像原有特征的基础上滤除图像噪声，在执行完滤波处理后，彩色图像要将三个矩阵的滤波结果进行合成，而黑白图像的矩阵在滤波处理后直接输出即可。

（4）彩色图像滤波后的合成处理

后继胶囊图像处理很多都基于灰度图执行，因此要将彩色RGB图像进行灰度化，本发明采用通用的彩色图像灰度化方法其计算公式如下：

灰度值=0.30×R（红色）+0.59×G（绿色）+0.11×B（蓝色）。

附图说明

图1是高斯掩模样例。

图2是本发明的总体流程图。

图3是本发明核心的滤波方法。

图4是本发明的曲率流计算和调整示意图方法。

图5是本发明的实验效果图。

具体实施方式

以下将结合附图，对本发明的技术方案进行详细说明。

（1）曲率流计算

一个像素与周围像素的差异可用梯度来描述，梯度指向增长或减少最快的方向，梯度的长度是这个方向上像素差异的变化率，可以说梯度是一个像素与周围所有像素综合统计之后的结果，而一个像素与某一个方向上相邻像素的差异可称为曲率，多个方向的差异可称为曲率流，曲率流是将一个像素与周围像素的差异完整保留下来，然后基于这些信息进行图像处理。本发明采用最简单的曲率流计算方法，即以当前像素的灰度值减去其相邻八个像素的灰度值，从而获得当前像素在八个方向的曲率流。可参见图4中的例子。

同一个胶囊在不同的成像条件下，其灰度分布空间并不相同，虽然可通过外部光源实现可控的光照条件，但是随着时间推移，光源老化等问题不可避免，为此需要考虑胶囊图像在不同条件下的处理，一般此类方法称为图像拉伸处理，其将低对比度图像通过重新调整灰度值的方法，使得图像的细节展现出来，这种方法是图像预处理的一种。本发明中考虑到可控光源条件下，光照即使随着时间发生变化，其变化也是呈现等比线性变化的，因此其拉伸可直接采用基于直方图的线性拉伸方法。由此，我们引入一个调节因子，此调节因子为图像直方图拉伸参数，从而将图像拉伸和滤波结合在一起进行。

原始曲率调整计算方法如下：

设定标准胶囊图像灰度最大值a和灰度最小值b

统计胶囊图像的灰度直方图

去除直方图中像素值数量最少的几个灰度值，使得剩下灰度值数量达到整体数量的95%

统计剩下直方图中灰度值最大c和最小的值d

调节因子为K和S，其中，

则每个正曲率值为：调整后曲率值=K×原曲率值+S；

每个负曲率充值为：调整后曲率值=K×原曲率值-S；

本发明采用了八方向曲率流计算方式，若取K=2，S=5；则曲率流调整计算可参见图4。

（2）边缘判断

图像在滤波过程中要保留边缘而将非边缘的噪声滤除，因此识别边缘，然后在滤波过程中对边缘进行保护即可实现此效果。图4中左图是图像中像素值分布图，其中间垂直方向的三个像素是一条边缘的一部分，这三个像素是边缘像素，可以发现边缘在曲率流上的特性由强到弱如下：

最大曲率值的绝对值远远大于最小曲率值的绝对值，这意味着存在像素强烈变化的区域

最大和最小曲率流方向基本正交

三个相邻、连通边缘像素的曲率流基本类似

基于上述特征本发明提出了边缘识别的算法如下：

1计算最大曲率值方向和最小曲率值方向的曲率值的比，如果低于阈值可认为不是边缘；

2判断最大曲率值方向和最小曲率值方向是否正交，如果不正交可认为不是边缘；

3计算当前像素邻域内所有像素的曲率流是否相似，相似函数为计算量个像素曲率流的内积，通过设置阈值可判定；由于在前期对图像进行了拉伸，此时图像均处于标准状态，阈值可在调试后设定为固定值；

4如果在当前像素邻域内没有其他像素的曲率流与其相似，可判定为不是边缘；

5如果邻域内存在与当前像素的曲率流像素的像素，但是它们均不与当前像素连通，那么当前像素也不是边缘；

6完全满足上述步骤要求的像素可判定为边缘点。

（3）构造滤波参数

由于胶囊图像呈现渐变特性，这种特性非常适于中值滤波方法，中值滤波的主要参数为滤波邻域的确定，本发明将根据邻域内边缘像素点来进行相关设置，其分为三类：

1.当前像素为边缘的参数设置

2.当前像素不为边缘，但邻域周围有边缘像素的参数设置

3.当前像素以及其邻域均不是边缘像素的参数设置

当前像素被判定为边缘点后其邻域内必然存在与其相连通、曲率流相似的边缘像素，则中值滤波只是选取这些像素的灰度值执行中值滤波，而将邻域内其他的像素排除出滤波过程，考虑到边缘分布呈线条状，因此，一种简单方法即利用其最小曲率方向设置滤波邻域。

当前像素不是边缘像素但其邻域内存在其他边缘像素，则排除这些边缘像素后执行中值滤波，为了减少计算量，也可采用在其某个方向设置滤波邻域的方法进行部分采样执行中值滤波。

当前像素以及其邻域均不是边缘像素时，则可认为此范围内不存在胶囊边缘则可对整个邻域所有像素均纳入中值滤波处理范围。

（4）选择性滤波和各向同性滤波

中值滤波的基本原理是把数字图像当前像素的值用该像素的一个邻域中各像素值的中值代替，如果将此像素周围所有像素均纳入中值滤波计算过程，此称为各向同性滤波，因为这种滤波方法对所有方向的邻域像素同等对待，而选择性滤波是对不同的邻域像素区别对待，例如某些像素不纳入滤波计算范围。

本发明对当前像素以及其邻域内像素均不为边缘像素执行各向同性的中值滤波；而对当前像素为边缘像素，执行沿边缘方向采样，并基于此进行中值滤波；对当前像素不为边缘像素，排除其邻域内的边缘像素后进行中值滤波。

Claims (6)

1.将图像拉伸和滤波结合的图像处理处理方法：由于在胶囊外观检测系统的光照条件随时间推移必然发生变化，因此需要对图像进行标准化处理，以排除光照条件变化对图像的影响，从而可确保相关参数和阈值设置的稳定性,由于在胶囊外观检测系统内光照条件可控，其变化性呈现一种线性等比趋势,针对胶囊图像的这种成像特性，可采用线性图像拉伸方法实现图像标准化,本发明利用线性拉伸参数K和S对原始曲率流的调整实现等价处理,其特征在于：是否采用线性方法进行曲率值的调整。

2.基于曲率流的边缘识别方法：本发明绕开传统的边缘检测算法，利用曲率流描述像素的特征，并根据一个像素与其邻域像素的曲率特征来识别此像素是否为边缘像素,其判别标准包括：最大曲率值方向的曲率是否远大于最小曲率值方向的曲率，最大和最小曲率值方向是否正交，是否存在与当前像素相连通、且曲率流相似的像素,其特征在于：是否基于前述三个标准进行边缘像素的判定。

3.应用于胶囊的中值滤波处理：本发明基于胶囊图像的渐变特性采用了适应此特征的中值滤波算法作为滤波的基础算法,其特征在于：是否采用中值滤波算法进行胶囊图像的预处理。

4.基于边缘识别的滤波处理：本发明根据当前像素以及其邻域内像素是否为边缘像素提出了不同的滤波参数设置方法,其特征在于：是否将像素进行分类，滤波过程中只采用与当前像素同类的像素进行滤波处理。

5.根据权利要求4所述滤波参数设置方法，其特征在于：是否对是边缘像素的滤波只采用了与其同在一条边缘上的、临近的像素执行中值滤波过程。

6.根据权利要求4所述滤波参数设置方法，其特征在于：是否对是非边缘像素的滤波排除了其邻域内的边缘像素，再执行中值滤波过程。