CN109060842A

CN109060842A - 基于曲面拟合校正的柑橘表面缺陷检测方法、计算机程序

Info

Publication number: CN109060842A
Application number: CN201810919188.8A
Authority: CN
Inventors: 吕强; 孙荣荣; 邓烈; 何绍兰; 易时来; 郑永强; 谢让金; 马岩岩
Original assignee: Southwest University
Current assignee: Southwest University
Priority date: 2018-08-14
Filing date: 2018-08-14
Publication date: 2018-12-21
Anticipated expiration: 2038-08-14
Also published as: CN109060842B

Abstract

本发明属于计算机软件技术领域，公开了一种基于曲面拟合校正的柑橘表面缺陷检测方法、计算机程序，包括：图像获取、背景去除、掩膜提取、柑橘图像提取、曲面拟合、异常点去除、再次曲面拟合、图像校正、缺陷提取。本发明针对不规则类球体柑橘表面缺陷区域灰度受果形、光照等影响，与正常区域亮度交叉、不连续的复杂情况，充分考虑果实表面形状变化，通过曲面拟合校正，自适应完成图像灰度回归和校正，采用全局阈值分割法就可检测到柑橘表面缺陷。本发明方法简单实用，在柑橘及其他类球形水果表面缺陷机器视觉检测具有应用前景。

Description

基于曲面拟合校正的柑橘表面缺陷检测方法、计算机程序

技术领域

本发明属于计算机软件技术领域，尤其涉及一种基于曲面拟合校正的柑橘表面缺陷检测方法、计算机程序。

背景技术

表面缺陷是消费者选购柑橘决定性因素之一，也是柑橘市场价值的决定性因素之一，因此表面缺陷是柑橘品质检测分级的重要指标。机器视觉是快速检测柑橘表面缺陷的潜在手段，但由于缺陷区域灰度与果面正常区域灰度有较大交叉，柑橘表面缺陷区域的自适应分割、检测仍然存在困难。

目前，业内常用的现有技术是这样的：

J.Blasco等利用融合可见光成像、近红外成像、紫外诱导荧光成像等多种技术与装备进行柑橘表面缺陷分析与检测，该方法设备复杂、成本较高(2009)(J.Blasco,N.Aleixos,J.Gómez-Sanchís,E.Moltó,Recognition and classification of externalskin damage in citrus fruits using multispectral data and morphologicalfeatures,Biosystems Engineering,2009,103(2):137-145)。Qin J.等利用高光谱成像技术检测柑橘溃疡，该方法设备成本高、数据量大、信息采集时间长(2009)(Qin,J.,Burks,T.F.,Ritenour,M.A.,and Bonn,W.G.2009.Detection of citrus canker usinghyperspectral reflectance imaging with spectral informationdivergence.Journal of Food Engineering,93(2),183-191)。López-García F.等人利用多元图像分析方法检测柑橘表面缺陷，该算法复杂、难以在线应用(2010)(Fernando López-García,Gabriela Andreu-García,José Blasco,Nuria Aleixos,José-MiguelValiente,Automatic detection of skin defects in citrus fruits using amultivariate image analysis approach,Computers and Electronics inAgriculture,2010,71(2):189-197)。中国专利CN101984346A利用低通滤波和离散傅里叶变换检测水果表面缺陷，该法受光照影响较大、低通滤波参数需要人工调试。中国专利CN102788806A利用水果的RGB图像和NIR图像，对比水果的缺陷形状和大小特征，该法受水果形状、大小影响大，对卵圆形水果产生较大误差。中国专利CN106124511A利用最小二乘法计算水果水平和垂直方向上亮度矫正图像，并进行算术平均得到水果的矫正图像，进而检测水果缺陷；该法简单平均水平和垂直两个方向上果形变化对水果图像灰度的影响，而果形曲面上的变化对图像亮度都有影响，同时在图像亮度校正时未考虑缺陷区域对最小二乘回归的影响。

综上所述，现有技术存在的问题是：柑橘果实呈不规则类球体或卵球形，大小、形状不一，其图像中间灰度高，边缘低，且越趋向边缘，灰度降幅越大；而缺陷区域大小、形状多变，其灰度与果面正常区域灰度有较大交叉，这导致果面缺陷机器视觉检测困难。

解决上述技术问题的难度和意义：充分解决柑橘不同位点在各个方向上的形状变化对图像亮度变化影响，克服水果缺陷区域灰度对水果图像亮度校正的干扰，开发对光照变化或图像亮度具有较强鲁棒性的自适应算法是实现柑橘果实表面缺陷自动检测的难点。本发明针对以上问题，采用对亮度自适应的曲面拟合校正技术、异常点自动剔除算法检测柑橘果实表面缺陷，在柑橘及其他类球形水果表面缺陷机器视觉检测，果实颜色与成熟度检测等方面具有应用潜力。

发明内容

针对现有技术存在的问题，本发明提供了一种基于曲面拟合校正的柑橘表面缺陷检测方法、计算机程序。

本发明是这样实现的，一种基于曲面拟合校正的柑橘表面缺陷检测方法，所述基于曲面拟合校正的柑橘表面缺陷检测方法对柑橘彩色图像的R-B分量差图像，采用全局阈值法分割得到二值图像，再利用形态学方法提取柑橘区域二值掩膜图像M；将M图像与初始图像的红色分量图像R进行逐个像素相乘得到柑橘红色分量图像R1；对柑橘区域以像素位置为坐标，对R1图像灰度值建立曲面拟合方程，得到柑橘R1分量拟合回归图像R2，计算回归残差；设置残差阈值T，将柑橘红色分量图像R1中残差小于T的像素作为异常点剔除，得到图像R3，再次进行曲面拟合，得到回归图像R4；柑橘红色分量图像R1除以回归图像R4，再乘以R4最大灰度值，得到亮度校正图像R5；对亮度校正图像R5进行阈值分割二值化，并通过形态学处理获得柑橘表面缺陷图像。

进一步，所述基于曲面拟合校正的柑橘表面缺陷检测方法包括以下步骤：

步骤一，图像获取：获取柑橘果实彩色图像；

步骤二，背景去除：计算获得原始图像的R-B分量差图像I，并对其采用阈值法分割去除背景，得到目标二值图像；

步骤三，掩膜提取：对步骤二得到的二值图像，利用面积滤波和孔洞填充等形态学方法获得柑橘区域二值掩膜图像M；

步骤四，柑橘图像提取：将步骤三得到的二值图像M与初始图像的红色分量图像R进行逐个像素相乘得到柑橘红色分量图像R1；

步骤五，曲面拟合：对柑橘区域以像素位置为坐标，对R1图像灰度值建立曲面拟合方程，得到柑橘R1图像拟合回归图像R2，并计算回归残差；

步骤六，异常点去除：设置残差阈值T，将柑橘红色分量图像R1中残差小于T的像素作为异常点剔除，得到图像R3；

步骤七，再次曲面拟合：对步骤六得到的图像R3，采用步骤五重新进行曲面拟合回归，得到回归图像R4；

步骤八，图像校正：将柑橘红色分量图像R1除以步骤七得到的回归图像R4，再乘以R4最大灰度值，得到亮度校正图像R5；

步骤九，缺陷提取：对步骤八得到的亮度校正图像R5进行阈值分割二值化，并通过形态学处理获得柑橘表面缺陷图像。

进一步，所述步骤五具体包括：

(1)提取R1图像柑橘区域各像素点横、纵坐标和灰度值，分别写入列向量x_i(i＝1，2，...，n)、y_i(i＝1，2，...，n)、f(x，y)；

(2)对(1)得到的列向量进行曲面拟合计算，得到如下拟合方程；

f₁(x，y)＝p₀₀+p₁₀x+p₀₁y+p₂₀x²+p₁₁xy+p₀₂y²+p₃₀x³+p₂₁x²y+p₁₂xy²

+p₀₃y³+p₄₀x⁴+p₃₁x³y+p₂₂x²y²+p₁₃xy³+p₀₄y⁴

(3)将(1)得到的列向量x_i(i＝1，2，...，n)、y_i(i＝1，2，...，n)代入(2)得到的拟合方程，得到新的列向量f₁(x，y)；

(4)根据横纵坐标将(3)得到的f₁(x，y)转换为曲面拟合回归图像R3。

进一步，所述步骤六具体包括：

(1)计算拟合残差，计算残差绝对值的均值r_mean和标准差r_std；

(2)计算并设置阈值T＝-1×(r_mean+3×r_std)；

(3)将回归残差小于阈值T的像素点，在图像R1将其灰度设置为0，得到图像R3。

进一步，所述步骤九具体包括：

(1)对步骤八得到的亮度校正图像R5设置阈值，进行图像分割，得到二值化图像；

(2)对(1)得到的二值图像进行孔洞填充，在采用面积滤波，剔除噪声区域，得到柑橘表面曲线图像。

本发明的另一目的在于提供一种应用所述基于曲面拟合校正的柑橘表面缺陷检测方法的基于曲面拟合校正的柑橘表面缺陷检测系统，所述基于曲面拟合校正的柑橘表面缺陷检测系统包括：

图像获取模块，用于获取柑橘果实彩色图像；

背景去除模块，用于计算获得原始图像的R-B分量差图像I，并采用全局阈值法分割去除背景，得到目标二值图像；

掩膜提取模块，用于对得到的二值图像，利用面积滤波和孔洞填充形态学方法获得柑橘区域二值掩膜图像M；

柑橘图像提取模块，用于将得到的二值图像M与初始图像的红色分量图像R进行逐个像素相乘得到柑橘红色分量图像R1；

曲面拟合模块，用于对柑橘区域以像素位置为坐标，对R1图像灰度值建立曲面拟合方程，得到柑橘R1图像拟合回归图像R2，并计算回归残差；

异常点去除模块，用于设置残差阈值T，将柑橘红色分量图像R1中残差小于T的像素作为异常点剔除，得到图像R3；

再次曲面拟合模块，用于对得到的图像R3，重新进行曲面拟合，得到回归图像R4；

图像校正模块，用于将柑橘红色分量图像R1除以得到的回归图像R4，再乘以R4最大灰度值，得到亮度校正图像R5；

缺陷提取模块，用于对得到的亮度校正图像R5进行阈值分割二值化，并通过形态学处理获得柑橘表面缺陷图像。

进一步，所述曲面拟合模块包括：

向量写入单元，用于提取R1图像柑橘区域各像素点横、纵坐标和灰度值，分别写入列向量；

拟合计算单元，用于对得到的列向量进行曲面拟合计算；

列向量计算单元，用于得到的列向量代入拟合方程，得到新的列向量；

转换单元，用于根据横纵坐标将得到的新的列向量转换为曲面拟合回归图像R3；

所述异常点去除模块包括：

计算单元，用于计算拟合残差，计算残差绝对值的均值r_mean和标准差r_std；

阈值设置单元，用于计算并设置阈值；

图像获取单元，用于将回归残差小于阈值T的像素点，在图像R1将其灰度设置为0，得到图像R3；

所述缺陷提取模块包括：

图像分割单元，用于对得到的亮度校正图像R5设置阈值，进行图像分割，得到二值化图像；

缺陷图像单元，用于对得到的二值图像进行孔洞填充，在采用面积滤波，剔除噪声区域，得到柑橘表面缺陷图像。

本发明的另一目的在于提供一种实现所述基于曲面拟合校正的柑橘表面缺陷检测方法的计算机程序。

本发明的另一目的在于提供一种实现所述基于曲面拟合校正的柑橘表面缺陷检测方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于曲面拟合校正的柑橘表面缺陷检测方法。

综上所述，本发明的优点及积极效果为：本发明针对不规则类球体柑橘表面缺陷区域灰度受果形、光照等影响，与正常区域亮度交叉、不连续的复杂情况，充分考虑果实表面变化，通过曲面拟合校正，自适应完成图像灰度回归和校正，采用全局阈值分割就可检测到柑橘表面缺陷。本发明对柑橘病虫害果、机械损伤果、裂果、日灼果等大小不同的缺陷区域均具有较好的检出效果，缺陷果检出率达97％。本发明方法简单实用，在柑橘及其他类球形水果表面缺陷机器视觉检测具有应用前景。

附图说明

图1是本发明实施例提供的基于曲面拟合校正的柑橘表面缺陷检测方法流程图。

图2是本发明实施例提供的获取的柑橘彩色图像示意图。

图3是本发明实施例提供的柑橘红色分量图像R1示意图。

图4是本发明实施例提供的柑橘红色分量图像曲面拟合回归图像R2示意图。

图5是本发明实施例提供的柑橘红色分量图像去除拟合异常像素点后再次曲面拟合回归图像R4示意图。

图6是本发明实施例提供的柑橘红色分量校正图像R5示意图。

图7是本发明实施例提供的柑橘红色分量原始图像R1、曲面拟合回归图像R2、去除异常像素点后再次曲面拟合回归图像R4和校正后图像R5的第120行灰度曲线示意图。

图8是本发明实施例提供的柑橘表面缺陷区检测结果图像示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明充分考虑果实表面变化，通过两次曲面拟合校正，自适应完成图像灰度回归和校正，采用全局阈值分割就可检测到柑橘表面缺陷；解决了果面缺陷机器视觉检测困难的问题。

下面结合附图对本发明的应用原理作进一步的描述。

如图1所示，本发明实施例提供的基于曲面拟合校正的柑橘表面缺陷检测方法包括以下步骤：

S101：图像获取：获取柑橘果实彩色图像；

S102：背景去除：计算获得原始图像的R-B分量差图像I，并对其采用阈值法分割去除背景，得到目标二值图像；

S103：掩膜提取：对步骤S102得到的二值图像，利用面积滤波和孔洞填充等形态学方法获得柑橘区域二值掩膜图像M；

S104：柑橘图像提取：将步骤S103得到的二值图像M与初始图像的红色分量图像R进行逐个像素相乘得到柑橘红色分量图像R1；

S105：曲面拟合：对柑橘区域以像素位置为坐标，对R1图像灰度值建立曲面拟合方程，得到柑橘R1图像拟合回归图像R2，并计算回归残差；

S106：异常点去除：设置残差阈值T，将柑橘红色分量图像R1中残差小于T的像素作为异常点剔除，得到图像R3；

S107：再次曲面拟合：对步骤S106得到的图像R3，采用步骤S105重新进行曲面拟合，得到回归图像R4；

S108：图像校正：将柑橘红色分量图像R1除以步骤S107得到的回归图像R4，再乘以R4最大灰度值，得到亮度校正图像R5；

S109：缺陷提取：对步骤S108得到的亮度校正图像R5进行阈值分割二值化，并通过形态学处理获得柑橘表面缺陷图像。

在本发明的优选实施例中，步骤S105具体为：

5.1)提取R1图像柑橘区域各像素点横、纵坐标和灰度值，分别写入列向量x_i(i＝1，2，...，n)、y_i(i＝1，2，...，n)、f(x，y)；

5.2)对步骤5.1)得到的列向量进行曲面拟合计算，得到如下拟合方程；

+p₀₃y³+p₄₀x⁴+p₃₁x³y+p₂₂x²y²+p₁₃xy³+p₀₄y⁴

5.3)将步骤5.1)得到的列向量x_i(i＝1，2，...，n)、y_i(i＝1，2，...，n)代入5.2)步骤得到的拟合方程，得到新的列向量f₁(x，y)；

5.4)根据横纵坐标将步骤5.3)得到的f₁(x，y)转换为曲面拟合回归图像R3；

在本发明的优选实施例中，步骤S106具体为：

6.1)计算拟合残差，计算残差绝对值的均值r_mean和标准差r_std；

6.2)计算并设置阈值T＝-1×(r_mean+3×r_std)；

6.3)将回归残差小于阈值T的像素点，在图像R1将其灰度设置为0，得到图像R3；

在本发明的优选实施例中，步骤S109具体为：

9.1)对步骤S108得到的亮度校正图像R5设置阈值，进行图像分割，得到二值化图像；

9.2)对步骤9.1)得到的二值图像进行孔洞填充，在采用面积滤波，剔除噪声区域，得到柑橘表面曲线图像。

下面结合附图对本发明的应用原理作进一步的描述。

本发明实施例提供的基于曲面拟合校正的柑橘表面缺陷检测方法具体包括以下步骤：

1)采用相机采集柑橘果实彩色图像如图2所示。

2)计算获得原始图像的R-B分量差图像I，并对其采用阈值法分割去除背景，得到目标二值图像。

3)对步骤2)得到的二值图像，利用面积滤波和孔洞填充等形态学方法获得柑橘区域二值掩膜图像M。

4)将步骤3)得到的二值图像M与初始图像的红色分量图像R进行逐个像素相乘得到柑橘红色分量图像R1，如图3所示。

5)提取R1图像柑橘区域各像素点横、纵坐标和灰度值，分别写入列向量x_i(i＝1，2，...，n)、y_i(i＝1，2，...，n)、f(x，y)。

6)对步骤5)得到的列向量进行曲面拟合计算，得到如下拟合方程：

+p₀₃y³+p₄₀x⁴+p₃₁x³y+p₂₂x²y²+p₁₃xy³+p₀₄y⁴

7)将步骤5)得到的列向量x_i(i＝1，2，...，n)、y_i(i＝1，2，...，n)代入5.2)步骤得到的拟合方程，得到新的列向量f₁(x，y)。

8)根据横纵坐标将步骤7)得到的f₁(x，y)转换为曲面拟合回归图像R3。

9)对柑橘区域以像素位置为坐标，对R1图像灰度值建立曲面拟合方程，得到柑橘R1图像拟合回归图像R2(如图4所示)，并计算回归残差。

10)计算拟合残差，计算残差绝对值的均值r_mean和标准差r_std。

11)计算并设置阈值T＝-1×(r_mean+3×r_std)。

12)将回归残差小于阈值T的像素点，在图像R1将其灰度设置为0，得到图像R3。

13)对步骤12)得到的图像R3，采用步骤5)-8)重新进行曲面拟合回归，得到回归图像R4，如图5所示；两次曲面拟合回归效果数据对比如图7所示。

14)将柑橘红色分量图像R1除以步骤13)得到的回归图像R4，再乘以R4最大灰度值，得到亮度校正图像R5，如图6所示；数据校正效果如图7所示。

15)对步骤14)得到的亮度校正图像R5设置阈值，进行图像分割，得到二值化图像。

16)对步骤15)得到的二值图像进行孔洞填充，在采用面积滤波，剔除噪声区域，得到柑橘表面缺陷图像，如图8所示。

本发明对柑橘病虫害果、机械损伤果、裂果、日灼果等大小不同的缺陷区域均具有较好的检出效果，缺陷果检出率达97％。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于曲面拟合校正的柑橘表面缺陷检测方法，其特征在于，所述基于曲面拟合校正的柑橘表面缺陷检测方法对柑橘彩色图像的R-B分量差图像I，采用全局阈值法分割得到二值图像，再利用形态学方法提取柑橘区域二值掩膜图像M；将M图像与初始图像的红色分量图像R进行逐个像素相乘得到柑橘红色分量图像R1；对柑橘区域以像素位置为坐标，对R1图像灰度值建立曲面拟合方程，得到柑橘R1分量拟合回归图像R2，计算回归残差；设置残差阈值T，将柑橘红色分量图像R1中残差小于T的像素作为异常点剔除，得到图像R3，重新进行曲面拟合，得到回归图像R4；柑橘红色分量图像R1除以回归图像R4，再乘以R4最大灰度值，得到亮度校正图像R5；对亮度校正图像R5进行阈值分割二值化，并通过形态学处理获得柑橘表面缺陷图像。

2.如权利要求1所述的基于曲面拟合校正的柑橘表面缺陷检测方法，其特征在于，所述基于曲面拟合校正的柑橘表面缺陷检测方法包括以下步骤：

步骤一，图像获取：获取柑橘果实彩色图像；

步骤七，再次曲面拟合：对步骤六得到的图像R3，采用步骤五重新进行曲面拟合，得到回归图像R4；

3.如权利要求2所述的基于曲面拟合校正的柑橘表面缺陷检测方法，其特征在于，所述步骤五具体包括：

f₁(x，y)＝p₀₀+p₁₀x+p₀₁y+p₂₀x²+p₁₁xy+p₀₂y²+p₃₀x³+p₂₁x²y+p₁₂xy²+p₀₃y³+p₄₀x⁴+p₃₁x³y+p₂₂x²y²+p₁₃xy³+p₀₄y⁴

4.如权利要求2所述的基于曲面拟合校正的柑橘表面缺陷检测方法，其特征在于，所述步骤六具体包括：

(2)计算并设置阈值T＝-1×(r_mean+3×r_std)；

5.如权利要求2所述的基于曲面拟合校正的柑橘表面缺陷检测方法，其特征在于，所述步骤九具体包括：

(2)对(1)得到的二值图像进行孔洞填充，在采用面积滤波，剔除噪声区域，得到柑橘表面缺陷图像。

6.一种应用权利要求1所述基于曲面拟合校正的柑橘表面缺陷检测方法的基于曲面拟合校正的柑橘表面缺陷检测系统，其特征在于，所述基于曲面拟合校正的柑橘表面缺陷检测系统包括：

图像获取模块，用于获取柑橘果实彩色图像；

再次曲面拟合模块，用于对得到的图像R3，重新进行曲面拟合回归，得到回归图像R4；

7.如权利要求5所述的基于曲面拟合校正的柑橘表面缺陷检测系统，其特征在于，所述曲面拟合模块包括：

拟合计算单元，用于对得到的列向量进行曲面拟合计算；

所述异常点去除模块包括：

阈值设置单元，用于计算并设置阈值；

所述缺陷提取模块包括：

8.一种实现权利要求1～5任意一项所述基于曲面拟合校正的柑橘表面缺陷检测方法的计算机程序。

9.一种实现权利要求1～5任意一项所述基于曲面拟合校正的柑橘表面缺陷检测方法的信息数据处理终端。

10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的基于曲面拟合校正的柑橘表面缺陷检测方法。