CN104215639A - 一种基于机器视觉的梨表面缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的梨表面缺陷检测方法。以三个品种的梨为对象，采取合适的检测手段，完成梨表面缺陷的检测任务。包括将采集到的梨图像进行各种预处理操作，本方法是在二值化后采用形态学的滤波方法；首次将基于模板的去背景方法运用在了梨上；利用去背景的梨I分量图和采用简单的形态学相加方法进行缺陷提取，过程中选用了Otsu分割阈值的方法进行了二值化，但为了满足自动化包装线的要求，本方法对其一次性进行了调整。本方法适用在多种梨的缺陷提取上，具有通用性，并在自动化生产包装线上起到了“眼睛”的关键作用。

Description

一种基于机器视觉的梨表面缺陷检测方法

技术领域

本发明涉及一种检测水果品质的方法，尤其涉及一种基于机器视觉的水果表面缺陷的检测方法。

背景技术

中国是一个农业大国，水果产量居世界之首，出口量所占的比例却较少。其中一个重要原因就是水果的采后检测、分级技术落后，先进有效分级系统没有建立起来，使外销水果良荞不齐。选不出规格一致的高品质水果，在国际市场上缺乏竞争力，上不了高档货架。

造成这种局面的主要原因就是由于我国农产品产后处理的水平太低。先进国家100％的水果均需经过采后商品化处理(清洗、打蜡、分级、包装)后投放市场，而我国仅1％，严重影响了水果的外观品质。使得难以适应市场竞争的销售形势。加之分级不严格，质量无规格，包装显粗糙，使它的价值和竞争力大为降低。应用机器视觉代替人的视觉进行水果检测的优越性在于：首先它将人从繁重单调的劳动中解放出来；其次能排除人的主观因素的干扰，并有足够的应变能力适应水果品质的变化；另外用机器视觉技术可一次性地自动完成水果形状、尺寸、颜色、表面缺陷的检测与判定。

其次，水果品质的检测是水果流通和加工过程中的一个非常重要的环节，本课题做的基于机器视觉的梨表面检测，可以是自动化包装线的一个检测环节，当大量的梨从输送带上运过来时，通过摄像机拍摄梨的图像，通过计算机进行处理，分析，最后控制机械手进行操作，将不合格的梨去除掉，这样保证了包装线上梨的质量；同样这也适用于果园检测环节，我们用机械手进行检测水果时，机械手上的摄像机就可以拍摄水果的图像，并且进行处理、分析，如果是坏梨，发出指令，让机械手及时地将水果采摘掉，使得我们收获到的梨几乎都是符合要求的水果，减轻了自动化包装线上的工作。所以本文研究基于机器视觉的梨表面检测是十分迫切的，其成果具有广泛的应用前景。

梨的视觉缺陷检测主要是针对梨图像的I分量进行处理，本发明的关键性技术是自动化实现三种梨的去背景和缺陷提取工作，二值化阈值的确定直接关系到本发明的可行性和正确性。

发明内容

(一)要解决的技术问题

本发明的目的是为了克服现有技术的不足，提供一种基于机器视觉的梨缺陷检测方法，该方法采用简单的形态学相加将缺陷进行了正确地提取。

(二)技术方案

针对以上问题，本发明提出的基于机器视觉的梨缺陷检测方法，包括以下步骤：

1)设计选择系统硬件，采集三种缺陷梨图像；

2)将步骤1)中取得的梨图像进行各种预处理操作，通过实验比较分析选择适当的预处理方法，为后期图像的处理做好准备；

3)将步骤2)所得图像进行去背景操作，通过生成一个二值化模板，与原图像进行形态学相加即可得一个去背景的梨图；

4)将步骤3)所得图像提取I分量，利用otsu分割阈值的方法生成一个二值图像，然后去边缘生成缺陷(带斑点)图，紧接着利用形态学闭运算进行去噪处理，即将缺陷检测出来。

优选地，上述方案步骤2)预处理操作中对梨图像进行了加干扰操作，并用各个滤波器分为各个滤波窗口进行滤波实验研究，对比结果分析滤波器的滤波好坏，并做出选择。

(三)有益效果

本发明的基于机器视觉的梨表面缺陷的检测方法能很好地运用在三种梨上，实验针对梨的各种缺陷进行了提取，均取得了比较好的实验效果，具有通用性。对梨图像采集的光照、品种、缩放尺寸等因素都做了分析。将手动阈值与otsu分割阈值进行比较分析，对自动选取的阈值进行适当地微调整后，能够自动地实现对梨缺陷的提取，满足自动化包装检测线上的要求。进行去背景和缺陷提取的方法也比较简单易实现。

附图说明

图1为本发明实施例1的三种(分别为砀山梨、皇冠梨、水晶梨)梨的灰度化处理效果图；

图2为对图1中皇冠梨的彩色图像的HSI各分量进行直方图的示意图；

图3为本发明实施例1的对三种梨的灰度图进行线性变换的效果图；

图4为本发明实施例1的对三种梨的灰度图进行直方图均衡化的效果图；

图5为本发明实施例1的对皇冠梨带有椒盐噪声和带有随机噪声的效果图；

图6为本发明实施例2的基于模板法的去背景分割流程图；

图7为本发明实施例2的对三种梨利用Canny算子进行边缘提取的效果图；

图8为本发明实施例3的提取梨缺陷的流程图；

图9为本发明实施例3的对三种梨进行二值化后的效果图；

图10为本发明实施例3的去边缘缺陷图；

图11为本发明实施例3的提取缺陷图效果图。

具体实施方式

本发明提出的基于机器视觉的梨缺陷检测方法结合附图和实施例说明如下，以下实施方式仅用于说明本发展，而并非对本发明的限制，本发明的专利保护范围应由各权利要求限制。

水果外部品质检测包括水果的大小、颜色、形状和表面缺陷，国外从20世纪90年代已经开始研究基于机器视觉的水果分级系统，目前对于水果大小、颜色和形状的检测技术已比较成熟，但对于果面缺陷的检测和分级却一直成为水果实时分级的最大障碍；国内对水果尺寸、形状和颜色分级技术也已比较成熟，尤其是针对苹果的研究比较多，但是对于梨的检测研究不足。梨是斑点果，对其表面缺陷的检测带来了一定的复杂性，许多针对苹果等无斑点的水果的研究方法不一定适合于梨的检测。例如用于苹果缺陷检测的分水岭分割方法，这个只是针对苹果的简单缺陷，对于斑点果的梨就不适用了，斑点在提取边缘时会进行干扰，并且对于复杂的缺陷该方法也不适用。

本发明以梨(皇冠梨、水晶梨、砀山梨)为研究对象，研究用何种算法能更加精确地检测出梨的表面缺陷，这一研究有利于提高我国的果品质量，提高我国水果在国际市场的竞争力。

在利用机器视觉提取梨的缺陷过程中，由于可能采集时的黑色背景不纯，在进行阈值分割时背景会起到一定的干扰作用等情况，本发明首先对梨进行了去背景操作，然后在其基础上再进行缺陷的提取。

对梨缺陷的正确提取主要分为3个实施例，如下：

实施例1

采集到的图像首先要进行一定的预处理操作，包括图像的转换和图像增强。

采集到的彩色梨图像进行图像的转换包括：灰度化和RGB-HSI颜色空间转换。彩色图像，它包含的信息量大，可以提取本课题所需的大量图像信息，从而达到缺陷识别的目的。而灰度图像包含的信息量少，不能够真实的反映和描绘客观现实，但正是由于这一特点，使得灰度图像占用存储空间少，数字处理的计算量小，因此，在图像处理的过程中，需要将彩色图像转化为灰度图以方便处理和提高检测效率，如图1所示，即为将三种梨分别进行灰度化后的效果图。

如图2所示为对图1中皇冠梨的彩色梨图像的HSI各分量做直方图，图中a)代表H分量直方图、b)代表S分量直方图、c)代表I分量直方图，从图中可以发现I分量最能够体现采集到图像的所有信息，且能很好地区分背景和缺陷。这就为后面提取缺陷提供了理论基础。I分量表示亮度，它由公式(1)给出

$I=\frac{1}{3}(R+B+G)---\left(1\right)$

图像增强包括灰度变换、直方图均衡化和空间滤波。如图3、图4所示分别为将图1中三种梨图像分别进行线性变换和直方图均衡化的效果图，对比分析本发明采用了线性变换的方法。

图5展示的是带有噪声的皇冠梨图像，其中a)为带有椒盐噪声的皇冠梨图像、b)为带有随机噪声的皇冠梨图像，将它们在时域上分别用三种去噪方法(均值滤波、中值滤波、自适应中值滤波)进行去噪处理，实验过程中用最常用的3×3、5×5、7×7的窗口进行滤波，最后根据实验中的滤波效果选择改进的自适应中值滤波，滤波窗口大小为5×5。并将本发明的采集图像的灰度图与进行自适应中值滤波的效果图作对比分析，得出的结论是：两者的图像几乎无差别，对缺陷的提取不产生任何影响。因此为节约生产包装线上的时间，故在此不采用平滑方法，而是在后期采用形态学的处理方法。

实施例2

对获取的梨图像进行去背景操作时本发明采用了基于模板法的分割方法，流程图如图6所示。方法叙述如下：

1)利用设计选用的硬件设备对梨进行拍摄，获得各缺陷的梨图像；

2)将获得的梨图像进行预处理，在实施例1中已进行分析说明，即进行了灰度化和线性变换；

3)将预处理后的图像进行二值化处理并去噪，这里的二值化和去噪处理是为获得一个背景为黑色，梨为白色的二值图，因此这里采用的形态学去噪滤波窗口可以取得大些；

4)生成背景模板，将二值图逻辑反转即可获得模板图像，模板图像是一个与原图像同样尺寸的二值图像，它的数值表示原图像相应像素的属性，如表示对象点还是背景点。通常用1表示对象点，用0表示背景点，特殊情况下也可以根据约定采用相反的定义。本研究中即定义梨为0，背景为1的二值图；

5)将背景模板与原图相加即可获得去背景的梨图。

形态学的基本运算有膨胀、腐蚀、开、闭。用这些算子以及其组合来进行抑制噪声、边缘检测、特征提取、纹理分析、形状识别等分析和处理。本研究对二值图像进行去噪采用了形态学闭运算，它是先膨胀再腐蚀的结果，A被B的形态学闭运算A·B如公式(2)所示。

在去噪后的二值图像上同时也进行了边缘的提取并进行边缘膨胀，便于后期缺陷的提取。本发明将5种边缘提取方法进行了比较分析，最后采用了最为理想的Canny算子，它是一种先平滑再求导数的方法，可以检测到清晰且连续的边缘线。如图7所示，a)、b)、c)分别为对图1中的砀山梨、皇冠梨、水晶梨进行边缘提取的效果图。

实施例3

进行去背景操作后，在其I分量上进行缺陷的提取，流程图如图8所示。方法叙述如下：

1)将去背景后的梨图像提取I分量图，在其上进行后期处理；

2)将I分量图进行二值化，这里采用了Otsu分割阈值的方法，Otsu方法选择最大化类间方差的阈值k，类间方差定义为

${\mathrm{\σ}}_B^2=w_0{(u_0+u_T)}^2+w_1{(u_1-u_T)}^2---\left(3\right)$

式中，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁；图像的总平均灰度为u_T；前景和背景图像的方差为

本次二值化是为了将梨上的缺陷尽可能地呈现在上面，因此如果仅用自动获取的阈值，就会得不到我们想要的结果，因为此时在直方图上呈现的有三方面的信息，不仅包含有梨好的部分，缺陷部分还包含有白色的垂直线，因为虽然去除了背景，但图像还是那么大，背景自然就以灰度值255处理了，做实验时先通过手动选取阈值的方法进行处理，得到了理想的效果，再将自动选取的阈值与手动选取的阈值进行比较，可以发现，自动选取的阈值是手动选取的2倍或者3倍关系，这还得根据梨的表面粗糙度来定，如图9所示即为对图1中三种梨分别进行二值化后的效果图；

3)紧接着就进行去边缘处理，这里采用简单的形态学相加的方法，将获得的二值图像与边缘膨胀图进行形态学相加即获得去除边缘的缺陷图，如图10所示即为对图1中三种梨分别去边缘的缺陷图；

4)由于梨是斑点果，因此步骤3)获得的是带有斑点的缺陷图，因此需对其进行去斑点处理，并进行一定的去噪处理，此处选择的仍旧是形态学闭运算，但是由于斑点很小，所以选用的滤波窗口应该小一些，一般为1×1、2×2的滤波窗口，去斑点处理后即可获得真实的缺陷图，如图11所示即为图1中三种梨的缺陷图；

5)为了获得梨缺陷的真彩色，同样的也可以将缺陷图与原图像相加，即可获得彩色的缺陷图。

至此，即完成了对缺陷的提取工作，本发明为了实验研究的整体性，最后，还对花萼、果梗、缺陷进行了区分，将缺陷进行标记、分割并保存，最后计算它们的平均灰度值，比较进行区分，效果也很好，能完成正确地区分工作。

本发明在不同的光照条件下对缺陷进行了提取，针对每一种情况都做了实验研究，证实了方案对这三种梨缺陷的提取存在通用性，并且对于表皮光滑的皇冠梨和水晶梨，它们的二值化阈值、闭运算滤波窗口大小都是一样的，对于表皮粗糙的砀山梨来说，阈值和滤波窗口适当的减小或增大。

经实验研究分析，本发明不仅能很好地去除背景，还能正确地将缺陷提取出来，这对于斑点果的缺陷提取工作进行了深入的研究，弥补了前人在这方面的一些不足，缺陷的正确、有效提取对于以后自动化生产包装线起到了一定的帮助。

Claims (5)

1.一种基于机器视觉的梨表面缺陷检测方法，包括三个品种的梨图像的预处理分析方法，梨的去背景和缺陷提取方法，缺陷、花萼、果梗的区分方法。

2.根据权利要求1所述的基于机器视觉的梨表面缺陷检测方法，其特征是预处理阶段将实域上的平滑方法进行详细的分析和实验，并对中值滤波进行改进，采用自适应中值滤波，在对比未进行的灰度梨图像后，由于差别不大在节约包装线等检测线上的时间即未运用滤波方法，而是在二值化后采用形态学的滤波方法。

3.根据权利要求1所述的基于机器视觉的梨表面缺陷检测方法，其特征是在去背景时首次将基于模板法的分割方法应用于梨的表面检测。

4.根据权利要求1所述的基于机器视觉的梨表面缺陷检测方法，其特征是利用一种缺陷提取方法实现三个品梨的表面缺陷提取，具有通用性。

5.基于机器视觉的梨表面缺陷检测方法，利用去背景的梨I分量图进行缺陷提取。其特征是：

1)将otsu分割方法与手动选取阈值方法进行实验比较，选定otsu分割的阈值，使其满足在线实时分割；

2)缺陷提取时将I分量图进行otsu阈值分割，生成一幅二值图像，将此图像进行形态学闭运算，可获得一幅带缺陷、斑点和边缘的二值图像，再将此图像与边缘膨胀图(在获得模板前的二值图基础上利用canny算子提取边缘并膨胀)形态学相加即获得缺陷二值图像，最后将此图像与原图形态学相加即得彩色缺陷图。