CN105424709A - 一种基于图像标记的水果表面缺陷检测方法 - Google Patents

Abstract

一种基于图像标记的水果表面缺陷检测方法，包括以下步骤：1）拍摄待检测水果表面照片并保存，得到原始图像；2）将原始图片上传至服务器进行分析处理；服务器的处理步骤包括：a、将获取的原始图像转换到从人的视觉系统出发，提取H分量和I分量；b、对H分量进行动态阈值分割；c、对I分量灰度直方图统计，用固定阈值法分割，阈值选取在两个波峰之间；d、将H、I值的分割结果运算，得到含有缺陷区域的二值图像；e、对得到的二值图像去噪；f、对于上述二值图像进行增强处理，在缺陷区域可能存在有孔洞噪声，对噪声进行填充；g、对得到的二值图像进行标记，计算缺陷数量、面积；输出检测结果；降低工人劳动强度，提高生产效率。

Description

一种基于图像标记的水果表面缺陷检测方法

技术领域

本发明属于水果表面自动检测技术利用，具体涉及一种基于图像标记的水果表面缺陷检测方法。

背景技术

我国是一个水果生产大国，但以本国消费为主，参与国际贸易的比例一直很低，其中一个重要原因就是采摘后商品化处理落后，外观质量较差，导致水果的市场竞争力比较弱。快速、准确的实现水果检测与分级是提高经济效益、增强产业国际竞争力的一项重要措施。

传统的水果表面缺陷检测方法依靠熟练工人的经验和目测来判断水果品质，很难保证结果的准确性和有效性，不能满足市场的要求。随着计算机技术和图像处理技术的迅速发展，国内外研究人员已经开始将计算机视觉理论应用于农业生产及农业现代化方面。然而，现有的水果表面缺陷检测方法中，图像获取的途径固定，多数情况下仅能针对特定类型和质量的水果图像进行处理，实用性不够广泛。

因此，研究便捷、快速、准确的水果表面缺陷检测方法，对减轻工作劳动强度，提高工作效率和准确性具有重要意义。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提出一种基于图像标记的水果表面缺陷检测方法，利用计算机技术及图像处理技术，在较短的时间内可以准确判断水果表面缺陷的面积、数量等，以便后续确定水果等级，降低工人劳动强度，提高生产效率。

为了实现上述目的，本发明采用的技术方案是：

一种基于图像标记的水果表面缺陷检测方法，包括以下步骤：

1）利用图像采集设备在现场拍摄待检测水果表面照片并保存，得到原始图像；

2）将待检测的原始图片上传至水果表面缺陷检测的服务器，由服务器对原始图片进行分析处理并输出结果；

服务器的处理步骤包括：

a、将获取的原始图像从RGB空间转换到从人的视觉系统出发，用色调（Hue）、色饱和度（Saturation）和亮度（Intensity）来描述色彩的HSI色彩空间，提取H分量和I分量；

b、对H分量使用OSTU最大类间方差法进行动态阈值分割；

c、对I分量灰度直方图进行统计，使用固定阈值法分割，阈值选取在两个波峰之间；

d、将两种阈值法得到的H、I值的分割结果进行与运算，消除背景区域对缺陷的影响，得到仅含有缺陷区域的二值图像；

e、对得到的二值图像进行去噪，以消除灰尘等因素造成的影响；

f、对于上述二值图像进行增强处理，在缺陷区域可能存在有孔洞噪声，利用滤波的方法对噪声进行填充，完整缺陷形状；

g、对由上述步骤得到的二值图像进行标记，计算缺陷数量、面积，以便进行后续分级处理，输出检测结果。

所述背景区域的影响，包括光照因素。

所述的二值图像标记为对二值图像中的连通域进行标记，标记后连通域的数量就是缺陷数量，所有连通域中包含像素的个数就是缺陷的面积，为此，需要进行以下两个步骤：

A、为扫描到的每一个目标像素分配一个临时标记，同时寻找是否存在与此临时标记等价的标记；记录并解析所有等价标记；

B、用等价标记中的最小值替换所有与之等价的标记。

在所述的连通域标记过程中，需要对目标二值图像进行两次从上到下、从左到右的扫描，在第一次扫描过程中，对于每一个目标像素p(x,y)，需要检查与其形成八邻接关系的、已经扫描过的四个像素p(x-1,y-1)、p(x,y-1)、p(x+1,y-1)和p(x-1,y)并进行以下处理：

a）如果像素p(x,y-1)是目标像素，当前像素赋以p(x,y-1)的标记；

b）如果p(x-1,y)是目标像素，当前像素赋以p(x-1,y)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

c）如果p(x-1,y-1)是目标像素，当前像素赋以p(x-1,y-1)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

d）如果p(x+1,y-1)是目标像素，当前像素赋以p(x+1,y-1)的标记；

e）否则，当前像素赋以新标记；

对像素赋以标记后，需要对等价标记进行处理，以便确定哪些标记属于同一个连接体，具体方法如下：

对每一个新标记p，创建一个等价标记集S，使得S(p)={p}；如果两个标记集a?S(u)、b?S(v)属于等价标记，合并两个集合，，其中，w是u和v中的较小值；

第一次扫描完成后，所有的位于等价标记集S(a)之中的标记是等价标记，a是这些标记的代表标记；

第二次扫描的任务是标记替换，用代表标记替换等价标记集中的所有标记；

由于还需要得到缺陷区域面积，需要对第一次扫描时遇到的每一个目标像素进行累加；

经过两次扫描后，所有的连通域被赋以相同的等价标记，只需要数不同标记的数字就可以得到连通域的数量，连通域的数量就是待检测水果的表面缺陷数量，所有目标像素的和就是缺陷面积；

与现有技术相比，本发明能再不影响水果生长的情况下，准确、快速、实时的对水果表面进行缺陷检测。用户只需要将待检测水果的图像上传到服务器，即可实现上述检测。由于本发明采用计算机技术及图像处理技术，在较短的时间内可以准确统计给定样本中的缺陷数量、面积，从而降低工人劳动强度和出错率，提高生产效率。

附图说明

图1为本发明的服务器处理流程图。

图2为本发明处理目标像素时需要检查的其他像素示意图。

具体实施方式

下面结合附图对本发明的实施方式作进一步详细说明。

实施例一

本发明为一种基于图像标记的水果表面缺陷检测方法，以苹果一等果（无缺陷）为例作为被测对象，参见图1、2，包括以下步骤：

1）用户利用图像采集设备在现场拍摄待检测苹果表面照片并保存，得到原始图像；

2）用户通过无线或有线方式，将待检测的原始图片上传至苹果表面缺陷检测服务器，由该服务器对原始图片进行分析并输出结果；

如图1所示，服务器的处理步骤包括：

a、将获取的原始图像从RGB空间转换到从人的视觉系统出发，用色调(Hue)、色饱和度(Saturation)和亮度(Intensity)来描述色彩的HSI色彩空间，提取H分量和I分量；

b、对H分量使用OSTU最大类间方差法进行动态阈值分割；

c、对I分量灰度直方图进行统计，使用固定阈值法分割，阈值选取在两个波峰之间；

d、将两种阈值法得到的H、I值的分割结果进行与运算，消除背景区域对缺陷的影响，得到仅含有缺陷区域的二值图像；

e、对得到的二值图像进行去噪，以消除灰尘等因素造成的影响。具体方法是采用数学形态学的方法，对图像进行开运算操作。从图像的左上角第一个像素开始，利用数学形态学的方法，采用3×3像素的特征块进行逐个像素的从左到右、从上到下的扫描，对图像进行腐蚀操作；紧接着对图像进行重新扫描，从图像的左上角第一个像素开始，利用数学形态学的方法，采用3×3像素的特征块进行逐个像素的从左到右、从上到下的扫描，对图像进行膨胀操作，通过这个步骤能够去除图像中孤立的小点、毛刺；

f、对于进行上述操作后的图像进行增强处理。在缺陷区域可能存在有孔洞噪声，利用滤波的方法对噪声进行填充，完整缺陷形状。具体方法是：从图像的左上角第一个像素开始，利用3×3像素的滤波窗口进行逐个像素的从左到右、从上到下的扫描，如果窗口中目标像素个数大于6个，就把整个窗口的像素都设置为目标像素；

g、对经过上述步骤处理后得到的二值图像进行标记，计算缺陷数量、面积并输出结果，以便进行后续分级处理；并输出检测结果，如果连通域数量为0，则说明被检测的苹果表面没有缺陷区域，此时，缺陷面积也为0。

所述背景区域的影响，包括光照等因素；

所述二值图像标记，指的是对二值图像中的连通域进行标记，标记后连通域的数量就是缺陷数量，所有连通域中包含目标像素的个数就是缺陷的面积，为此，需要进行以下两个步骤：

A、为扫描到的每一个目标像素分配一个临时标记，同时寻找是否存在与此临时标记等价的标记；记录并解析所有等价标记；

B、用等价标记中的最小值替换所有与之等价的标记。

在进行连通域标记过程中，需要对目标二值图像进行两次从上到下、从左到右的扫描，如图2所示，在第一次扫描过程中，对于每一个目标像素p(x,y)，需要检查与其形成八邻接关系的、已经扫描过的四个像素p(x-1,y-1)、p(x,y-1)、p(x+1,y-1)和p(x-1,y)并进行以下处理：

a）如果像素p(x,y-1)是目标像素，当前像素赋以p(x,y-1)的标记；

b）如果p(x-1,y)是目标像素，当前像素赋以p(x-1,y)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

c）如果p(x-1,y-1)是目标像素，当前像素赋以p(x-1,y-1)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

d）如果p(x+1,y-1)是目标像素，当前像素赋以p(x+1,y-1)的标记；

e）否则，当前像素赋以新标记。

对像素赋以标记后，需要对等价标记进行处理，以便确定哪些标记属于同一个连接体，具体方法如下：

对每一个新标记p，创建一个等价标记集S，使得S(p)={p}；如果两个标记集a?S(u)、b?S(v)属于等价标记，合并两个集合，，其中，w是u和v中的较小值；

第一次扫描完成后，所有的位于等价标记集S(a)之中的标记是等价标记，a是这些标记的代表标记；

第二次扫描的任务是标记替换，用代表标记替换等价标记集中的所有标记。

由于还需要得到缺陷区域面积，需要对第一次扫描时遇到的每一个目标像素进行累加。

经过两次扫描后，所有的连通域被赋以相同的等价标记，只需要数不同标记的数字就可以得到连通域的数量。连通域的数量就是待检测水果的表面缺陷数量，所有目标像素的和就是缺陷面积。

实施例二

以表面带两处缺陷的苹果为例作为被测对象，参见图1、2，包括以下步骤：

1）用户利用图像采集设备在现场拍摄待检测苹果表面照片并保存，得到原始图像；

2）用户通过无线或有线方式，将待检测的原始图片上传至苹果表面缺陷检测服务器，由该服务器对原始图片进行分析并输出结果；

如图1所示，服务器的处理步骤包括：

a、将获取的原始图像从RGB空间转换到从人的视觉系统出发，用色调（Hue）、色饱和度（Saturation）和亮度（Intensity）来描述色彩的HSI色彩空间，提取H分量和I分量；

b、对H分量使用OSTU最大类间方差法进行动态阈值分割；

c、对I分量灰度直方图进行统计，使用固定阈值法分割，阈值选取在两个波峰之间；

d、将两种阈值法得到的H、I值的分割结果进行与运算，消除背景区域对缺陷的影响，得到仅含有缺陷区域的二值图像；

e、对得到的二值图像进行去噪，以消除灰尘等因素造成的影响。具体方法是采用数学形态学的方法，对图像进行开运算操作。从图像的左上角第一个像素开始，利用数学形态学的方法，采用3×3像素的特征块进行逐个像素的从左到右、从上到下的扫描，对图像进行腐蚀操作；紧接着对图像进行重新扫描，从图像的左上角第一个像素开始，利用数学形态学的方法，采用3×3像素的特征块进行逐个像素的从左到右、从上到下的扫描，对图像进行膨胀操作，通过这个步骤能够去除图像中孤立的小点、毛刺；

f、对于进行上述操作后的图像进行增强处理。在缺陷区域可能存在有孔洞噪声，利用滤波的方法对噪声进行填充，完整缺陷形状。具体方法是：从图像的左上角第一个像素开始，利用3×3像素的滤波窗口进行逐个像素的从左到右、从上到下的扫描，如果窗口中目标像素个数大于6个，就把整个窗口的像素都设置为目标像素；

g、对经过上述步骤处理后得到的二值图像进行标记，计算缺陷数量、面积并输出结果，以便进行后续分级处理；并输出检测结果，连通域数量为2，则说明有两处缺陷区域，在距离被测对象30厘米处采集图像为800×600像素时，两处缺陷面积约1平方厘米，本方法中得到缺陷面积为15000。

所述背景区域的影响，包括光照等因素；

所述二值图像标记，指的是对二值图像中的连通域进行标记，标记后连通域的数量就是缺陷数量，所有连通域中包含目标像素的个数就是缺陷的面积，为此，需要进行以下两个步骤：

A、为扫描到的每一个目标像素分配一个临时标记，同时寻找是否存在与此临时标记等价的标记；记录并解析所有等价标记；

B、用等价标记中的最小值替换所有与之等价的标记。

在进行连通域标记过程中，需要对目标二值图像进行两次从上到下、从左到右的扫描，如图2所示，在第一次扫描过程中，对于每一个目标像素p(x,y)，需要检查与其形成八邻接关系的、已经扫描过的四个像素p(x-1,y-1)、p(x,y-1)、p(x+1,y-1)和p(x-1,y)并进行以下处理：

a）如果像素p(x,y-1)是目标像素，当前像素赋以p(x,y-1)的标记；

b）如果p(x-1,y)是目标像素，当前像素赋以p(x-1,y)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

c）如果p(x-1,y-1)是目标像素，当前像素赋以p(x-1,y-1)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

d）如果p(x+1,y-1)是目标像素，当前像素赋以p(x+1,y-1)的标记；

e）否则，当前像素赋以新标记。

对像素赋以标记后，需要对等价标记进行处理，以便确定哪些标记属于同一个连接体，具体方法如下：

对每一个新标记p，创建一个等价标记集S，使得S(p)={p}；如果两个标记集a?S(u)、b?S(v)属于等价标记，合并两个集合，，其中，w是u和v中的较小值；

第一次扫描完成后，所有的位于等价标记集S(a)之中的标记是等价标记，a是这些标记的代表标记；

第二次扫描的任务是标记替换，用代表标记替换等价标记集中的所有标记。

由于还需要得到缺陷区域面积，需要对第一次扫描时遇到的每一个目标像素进行累加。

经过两次扫描后，所有的连通域被赋以相同的等价标记，只需要数不同标记的数字就可以得到连通域的数量。连通域的数量就是待检测水果的表面缺陷数量，所有目标像素的和就是缺陷面积。

Claims (4)

1.一种基于图像标记的水果表面缺陷检测方法，包括以下步骤：

1）利用图像采集设备在现场拍摄待检测水果表面照片并保存，得到原始图像；

2）将待检测的原始图片上传至水果表面缺陷检测的服务器，由服务器对原始图片进行分析处理并输出结果；

服务器的处理步骤包括：

a、将获取的原始图像从RGB空间转换到从人的视觉系统出发，用色调、色饱和度和亮度来描述色彩的HSI色彩空间，提取H分量和I分量；

b、对H分量使用OSTU最大类间方差法进行动态阈值分割；

c、对I分量灰度直方图进行统计，使用固定阈值法分割，阈值选取在两个波峰之间；

d、将两种阈值法得到的H、I值的分割结果进行与运算，消除背景区域对缺陷的影响，得到仅含有缺陷区域的二值图像；

e、对得到的二值图像进行去噪，以消除灰尘等因素造成的影响；

f、对于上述二值图像进行增强处理，在缺陷区域可能存在有孔洞噪声，利用滤波的方法对噪声进行填充，完整缺陷形状；

g、对由上述步骤得到的二值图像进行标记，计算缺陷数量、面积，以便进行后续分级处理。

2.根据权利要求1所述的一种基于图像标记的水果表面缺陷检测方法，其特征在于，所述背景区域的影响，包括光照因素。

3.根据权利要求1所述的一种基于图像标记的水果表面缺陷检测方法，其特征在于，所述的二值图像标记为对二值图像中的连通域进行标记，标记后连通域的数量就是缺陷数量，所有连通域中包含像素的个数就是缺陷的面积，为此，需要进行以下两个步骤：

A、为扫描到的每一个目标像素分配一个临时标记，同时寻找是否存在与此临时标记等价的标记；记录并解析所有等价标记；

B、用等价标记中的最小值替换所有与之等价的标记。

4.根据权利要求3所述的一种基于图像标记的水果表面缺陷检测方法，其特征在于，在所述的连通域标记过程中，需要对目标二值图像进行两次从上到下、从左到右的扫描，在第一次扫描过程中，对于每一个目标像素p(x,y)，需要检查与其形成八邻接关系的、已经扫描过的四个像素p(x-1,y-1)、p(x,y-1)、p(x+1,y-1)和p(x-1,y)并进行以下处理：

a）如果像素p(x,y-1)是目标像素，当前像素赋以p(x,y-1)的标记；

b）如果p(x-1,y)是目标像素，当前像素赋以p(x-1,y)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

c）如果p(x-1,y-1)是目标像素，当前像素赋以p(x-1,y-1)的标记；此时，如果p(x+1,y-1)也是目标像素，记录当前像素标记和p(x+1,y-1)标记为等价标记；

d）如果p(x+1,y-1)是目标像素，当前像素赋以p(x+1,y-1)的标记；

e）否则，当前像素赋以新标记；

对像素赋以标记后，需要对等价标记进行处理，以便确定哪些标记属于同一个连接体，具体方法如下：

对每一个新标记p，创建一个等价标记集S，使得S(p)={p}；如果两个标记集a?S(u)、b?S(v)属于等价标记，合并两个集合，，其中，w是u和v中的较小值；

第一次扫描完成后，所有的位于等价标记集S(a)之中的标记是等价标记，a是这些标记的代表标记；

第二次扫描的任务是标记替换，用代表标记替换等价标记集中的所有标记；

由于还需要得到缺陷区域面积，需要对第一次扫描时遇到的每一个目标像素进行累加；

经过两次扫描后，所有的连通域被赋以相同的等价标记，只需要数不同标记的数字就可以得到连通域的数量，连通域的数量就是待检测水果的表面缺陷数量，所有目标像素的和就是缺陷面积。