CN102788806B

CN102788806B - 基于类球形亮度变换的水果表面缺陷检测方法

Info

Publication number: CN102788806B
Application number: CN201210251322.4A
Authority: CN
Inventors: 黄文倩; 李江波; 张驰; 郭志明; 李斌; 王庆艳
Original assignee: Beijing Research Center of Intelligent Equipment for Agriculture
Current assignee: Beijing Research Center of Intelligent Equipment for Agriculture
Priority date: 2012-07-19
Filing date: 2012-07-19
Publication date: 2014-09-03
Anticipated expiration: 2032-07-19
Also published as: CN102788806A

Abstract

本发明涉及图像处理技术领域，公开了一种基于类球形亮度变换的水果表面缺陷检测方法。本发明基于水果R分量图像，对表面亮度不均进行变换，使水果表面缺陷分割简化为单阈值法检测，克服了传统基于RGB图像缺陷检测算法的复杂性，同时避免了对算法的频繁训练，实现了对缺陷的精确检测。本发明的检测方法不受到水果大小和形状的影响，较好地避免了亮度对结果造成的影响。由于该方法实现了单阈值对水果表面缺陷的一次性成功分割，因此在在线水果缺陷检测中具有较大的应用潜力。

Description

基于类球形亮度变换的水果表面缺陷检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于类球形亮度变换的水果表面缺陷检测方法。

背景技术

根据水果的外部品质进行检测和分级，是水果销售、加工和贮存前的重要环节。通过机器视觉检测技术对水果进行分级不仅能够提高水果质量而且可以有效地减少人工检测的劳动量，提高检测效率。目前，水果大小、颜色和外部缺陷检测中前两个已经获得了很好的解决，但根据外部缺陷进行检测分级仍然是难点。水果是一个类球形的物体，根据朗伯反射定律，水果边缘的光能量主要沿着反射光线的方向传播，当反射光线和相机的夹角较大，反射光线很难进入相机，表现为亮度较低，而缺陷本身在图像中也表现为低亮度，图像处理时边缘正常区域和中部缺陷区域容易混淆而造成误分割。

Leemans等人（2004）采用K均值聚类的方法提取RGB图像中苹果缺陷的特征，然后采用二次判别分析的方法实现缺陷的检测（Leemans V,Destain M F.A real-time grading method of apples basedon features extracted from defects[J].Journal of Food Engineering,2004,61:83~89.）。Blasco等人（2007）利用无监督区域增长算法对柑橘类水果表面缺陷进行分割，利用3个CCD相机获得的彩色图像，根据不同区域之间的马氏距离来评价区域之间的相似度从而检测出缺陷（Blasco J,Aleixos N,Molto E.Computer vision detection of peeldefects in citrus by means of a region oriented segmentation algorithm[J].Journal ofFood Engineering,2007,81:535~543.）。Xing等人（2005）采用400-1000nm高光谱图像采集系统获得水果的图像，利用主成分分析方法进行降维，根据获得的主成分图像实现缺陷的识别（Xing J,Baerdemaeker J D.Bruise detection on‘Jonagold’apples usinghyperspectral imaging[J].Postharvest Biology and Technology,2005,37:152~162.）。Tao等人（1996）提出了自适应球形灰度变换法，该方法补偿了水果表面的曲率变化造成的反射亮度梯度，从而实现缺陷的单阈值分割（TaoY,Wen Z.An adaptive spherical image transform forhigh-speed fruit defect detection[J].Transactions of the ASAE,1999,42(1):241~246.）。应义斌等人（2004）研究了球体的大小、表面颜色和图像采集位置等因素对球体图像颜色的亮度、色调和饱和度的影响，建立了摄像视区中心的球体图像亮度校正模型，并应用于柑橘图像的亮度校正（付峰，应义斌．球体图像灰度变换模型及其在柑桔图像校正中的应用[J]．农业工程学报，2004，20(4):117~120.）。Gomez-Sanchis等人（2008）针对球形水果表面照度不均的问题，假设水果为朗伯椭圆表面，利用数字高程模型开发了一套自动亮度校正算法（Gomez-Sanchis J,Molto E,Camps-Valls G,et.al.Automaticcorrection of the effects of the light source on spherical objects.anapplication to the analysis of hyperspectral images of citrus fruits[J].Journal of Food Engineering,2008,85:191~200.）。Haff等人（2011）针对高光谱图像中弯曲表面造成的亮度不均的问题，采用均匀的Teflon球体作为研究对象，研究了朗伯表面的光反射方式、光源到物体表面的距离和投影到探测器的弧面长度变化对亮度的影响，并提出了补偿算法（HaffR,S aranwong S,Kawano S.Methods for correctingmorphological-based deficiencies in hyperspectral images of roundobjects[J].Journal ofNear Infrared Spectroscopy,2011,19:431~441.）。

分析上述的研究，目前基于RGB图像的缺陷检测方法，存在算法复杂的问题，需要事先进行训练。而且采用高光谱进行检测，存在成本高的问题。因此，大部分研究都寻求采用标准球建立亮度校正模型来对灰度图像亮度进行校正以实现缺陷的检测，但实际生产中水果不一定表现为规则的球体，这就降低了此类模型的适用范围。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：因水果表面形状弯曲造成的图像亮度不均，造成的难以精确检测水果表面缺陷的问题。

（二）技术方案

为了解决上述技术问题，本发明提供一种基于类球形亮度变换的水果表面缺陷检测方法，该方法包括步骤：

S1.获取水果的RGB图像和NIR图像；

S2.从RGB图像中提取R分量图像；

S3.从NIR图像中形成二值化图像，求出二值化图像外接矩形最大宽度Y；

S4.提取二值化图像的边缘像素；

S5.通过R分量图像与所述边缘像素的点乘获得R分量图像的边缘；

S6.计算所述二值化图像的边缘像素的像素点个数M，将R分量图像的边缘的所有点的亮度之和除以像素点个数M获得亮度平均值；

S7.将R分量图像的边缘的所有点的亮度值均除以亮度平均值并乘以255，获得变换后的亮度图像R_correct；

S8.对变换后的图像进行累加，得到新的图像New_image=New_image+R_correct，其中，New_image的初始值为0；

S9.将二值化图像减去步骤S4中已经提取出来的二值化图像的边缘像素获得新的二值化图像，即：Binary=Binary-edge，并将循环次数加1，所述循环次数的初始值为1；

S10.判断循环次数是否大于S3步骤得到的最大宽度Y的一半Y/2，如果不大于则返回步骤S4；否则终止循环，获得变换后的新图像New_image；

S11、对步骤S10得到的新图像提取缺陷区域。

优选地，步骤S11具体为：采用单阈值分割的方法对步骤S10得到的新图像提取缺陷区域。

优选地，在步骤S11进行缺陷区域提取之前还采用高斯模糊滤波的方法对步骤S10得到的新图像进行处理。

优选地，在步骤S11之后还对所提取的缺陷区域进行去噪处理。

优选地，通过形态学开运算进行所述去噪处理。

优选地，步骤S1中，利用可见-近红外双CCD成像系统获取水果的RGB图像和NIR图像。

优选地，步骤S3中利用单阈值分割的方法形成二值化图像。

（三）有益效果

上述技术方案具有如下优点：基于水果R分量图像，对表面亮度不均进行变换，使水果表面缺陷分割简化为单阈值法检测，克服了传统基于RGB图像缺陷检测算法的复杂性，同时避免了对算法的频繁训练，实现了对缺陷的精确检测。本发明的检测方法不受到水果大小和形状的影响，较好地避免了亮度对结果造成的影响。由于该方法实现了单阈值对水果表面缺陷的一次性成功分割，因此在在线水果缺陷检测中具有较大的应用潜力。

附图说明

图1是朗伯反射模型图；

图2是类球形亮度变换方法示意图；

图3是本发明的方法流程图；

图4是R分量图像及剖面线；

图5是R分量图像剖面图；

图6是单阈值分割后的R分量二值图像；

图7是亮度变换后图像的剖面线；

图8是亮度变换后图像的剖面图；

图9是单阈值分割后的亮度图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明针对基于机器视觉的水果表皮缺陷检测中存在的因表面亮度不均造成的缺陷检测精度不高的问题，采用RGB和中心波段为800nm的可见-近红外双CCD成像系统实现了一种类球形亮度变换方法，基于该方法利用全局阈值实现水果表面缺陷的完整检测分割。亮度变换过程中无须预先进行建模。

本发明的技术原理如下：

因为水果是一个生物体，其表面存在弯曲，光照在上面会形成中间亮边缘暗的分布。可以将水果近似看作一个朗伯体，根据朗伯反射原理，球面上任意一点的亮度是与该点的法向量和该点与光源连线之间的角度θ的余弦成正比的，即

I_D=I_L×cosθ （1）

式中：I_D——反射光强度；I_L——入射光强度。

在一般的基于机器视觉的水果缺陷检测系统中，因为光源对称布置于水果的侧上方，相机处于水果的正上方，且相机到水果的物距远大于水果的尺寸，因此相机所获得的图像中水果表面各点亮度的差异主要由上述的夹角θ决定。如图1所示，水果边缘区域反射光线与法向量的夹角θ₂大于中间区域的夹角θ₁，因而亮度也较低。

如图2所示，对于类球形物体的水果，沿着半径R的梯度方向，宽度为Δr的圆环区域A的亮度可以近似认为是均匀的，该区域的平均亮度I_mean可通过下式计算：

I_mean = \frac{1}{N} \times \underset{i &Element; A}{Σ} I_{i} - - - (2)

式中，N——环形区域像素点个数；I_i——像素点i的光强度。

当计算出上述平均亮度I_mean后，将原始环形区域内所有像素点i的光强度I_i均除以I_mean，再乘以255，可获得该区域变换后的亮度图像R_correct，即：

R_correct=(I_i/I_mean)×255 i∈A （3）

由于对光反射和吸收效应不同，同一宽度为Δr的圆环区域A内，缺陷的亮度比正常果皮的亮度要低，缺陷位置的亮度除以平均亮度后，亮度会降低，正常果皮区域的亮度除以平均亮度后，亮度则保持不变或提高，这样就提高了缺陷和正常果皮的对比度，有利于后续的缺陷提取。当Δr的长度逐渐缩小至一个像素点时，可以获得最高精度的亮度变换后的图像。

基于以上原理，本发明的方法包括以下步骤（如图3所示）：

S1.利用可见-近红外双CCD图像采集系统获取苹果的RGB和NIR图像；

S2.从RGB图像中提取R分量图像Image_R；如图4所示为R分量图像，中间的白线为剖面线，对应的剖面图如图5所示，从剖面图可以看出整个苹果图像呈现中间亮边缘暗，且边缘亮度变化是一个上升的斜坡，当进行单阈值分割时，边缘正常果皮区域会被当成缺陷提取出来造成误判。图6为分割阈值等于45时所得到的二值化分割图，其中边缘的圆为轮廓线，可以看出正如所分析的，边缘区域很大一部分正常果皮被误分割为缺陷。

S3.从NIR（近红外）图像中利用单阈值分割形成二值化图像Binary，求该Binary图像外接矩形最大宽度Y；

S4.提取Binary图像的边缘像素B_edge；

S5.通过R分量图像Image_R与边缘像素B_edge的点乘获得R分量图像的边缘R_edge；

S6.计算二值化图像Binary的边缘像素B_edge的像素点个数，R分量图像边缘Image_R的所有点的亮度和除以该像素点个数获得亮度平均值I_mean；

S7.R分量图像边缘Image_R的所有点的亮度均除以亮度平均值I_mean并乘以255，获得变换后的亮度图像R_correct;

S8.对变换后的图像R_correct进行累加，即新的图像New_image=New_image+R_correct；

S9.更新循环条件：二值化图像Binary减去步骤S4中已经提取出来的边缘像素B_edge获得新的二值化图像Binary，即：Binary=Binary-edge，循环次数n更新为n+1，循环次数的初始值为1;

S10.判断循环次数是否大于S3步骤得到的最大宽度Y的一半Y/2，如果不大于则返回步骤S4；否则终止循环，获得变换后的新图像New_image。

S11、采用单阈值分割的方法对步骤S10得到的新图像提取缺陷区域。

在步骤S11进行缺陷区域提取之前还采用高斯模糊滤波的方法对步骤S10得到的新图像进行处理。在步骤S11之后还通过形态学开运算对所提取的缺陷区域进行去噪处理。

如图7所示为R分量图像经过类球形亮度变换方法变换后得到的亮度图像，中间的黑线为剖面线，对应的剖面图如图8所示，从剖面图可以看出整个苹果图像的亮度均得到了提高，但缺陷区域仍保持较低的亮度值。对变换后的亮度图像，首先采用高斯模糊滤波对图像进行滤波，然后采用单阈值分割的方法提取缺陷区域，最后通过形态学“开运算”去除一些小的噪点。当进行单阈值分割（阈值为140）时所得到的二值化图像如图9所示，可以看出边缘正常果皮区域没有发生误分割，仅仅分割出花萼和缺陷区域。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims

1.一种基于类球形亮度变换的水果表面缺陷检测方法，其特征在于，包括以下步骤：

S1.获取水果的RGB图像和NIR图像；

S2.从RGB图像中提取R分量图像；

S4.提取二值化图像的边缘像素；

S11、对步骤S10得到的新图像提取缺陷区域。

2.如权利要求1所述的方法，其特征在于，步骤S11具体为：采用单阈值分割的方法对步骤S10得到的新图像提取缺陷区域。

3.如权利要求1所述的方法，其特征在于，在步骤S11进行缺陷区域提取之前还采用高斯模糊滤波的方法对步骤S10得到的新图像进行处理。

4.如权利要求1所述的方法，其特征在于，在步骤S11之后还对所提取的缺陷区域进行去噪处理。

5.如权利要求4所述的方法，其特征在于，通过形态学开运算进行所述去噪处理。

6.如权利要求1所述的方法，其特征在于，步骤S1中，利用可见-近红外双CCD成像系统获取水果的RGB图像和NIR图像。

7.如权利要求1~6中任一项所述的方法，其特征在于，步骤S3中利用单阈值分割的方法形成二值化图像。