CN103293168B - 基于视觉显著性的水果表面缺陷检测方法 - Google Patents
基于视觉显著性的水果表面缺陷检测方法 Download PDFInfo
- Publication number
- CN103293168B CN103293168B CN201310204575.0A CN201310204575A CN103293168B CN 103293168 B CN103293168 B CN 103293168B CN 201310204575 A CN201310204575 A CN 201310204575A CN 103293168 B CN103293168 B CN 103293168B
- Authority
- CN
- China
- Prior art keywords
- image
- surface defect
- fruit
- defect detection
- remarkable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于视觉显著性的水果表面缺陷检测方法，首先，通过CCD相机获得被测水果的原始图像；其次，对图像进行预处理，以消除细小的纹理细节以及噪音和编码失真；然后，将预处理后的图像进行下采样得到两幅图片，进行上采样得到两幅图片，与原图一共构成五个不同尺度的特征源图像；继而，计算五个不同尺度下的显著图，并对其进行空间域增强；最后，将五个尺度下的显著图模型进行融合，并根据融合显著图模型进行水果表面缺陷分割，本发明可消除水果表面纹理和颜色带来的干扰，实现水果的表面缺陷检测，可以较好的解决水果产后准确分级问题，从而增加水果产业自动化程度，减少人工操作。
Description
技术领域
本发明涉及一种利用数字图像处理技术实现水果无损检测方法，具体涉及一种基于视觉显著性的水果表面缺陷检测方法。
背景技术
水果表面缺陷是水果分级标准的主要判别因素，对水果产后加工、商品化生产都至关重要。传统的人工挑拣和孔洞机械筛选分级方法通常占用较多人力，且分级速度缓慢、主观性差异大，同时容易造成机械损伤，现在更多的研究将目光聚焦于利用高精度摄像机获取水果图像，利用机器视觉方法对水果品质进行判别。
根据缺陷中心处灰度值较低的特点，现有一些基于灰度图像的苹果缺陷检测方法，例如利用“洪水法”及其改进算法“蛇形法”对块状缺陷进行识别。球形水果在图像获取过程中往往存在亮斑干扰，一些方法针对这类问题而提出，如球体灰度变换法和照度-反射模型，都是以亮度校正为基础，利用单一阈值对水果表面缺陷进行一次分割为出发点进行操作的，也有利用形态学方法去除水果表面亮斑对缺陷检测干扰的想法。以上方法根据水果表面缺陷的特点，利用纯粹经典图像处理方法进行缺陷分割，相较于直接阈值分割效果有较大的提高，但是在水果表面纹理、色彩等的干扰下，往往效果不佳，并且计算量较大。
显著图是指通过计算各像素的显著度，生成与原始图像大小相等的灰度图像，其中灰度值的高低表示对应位置显著度的大小，某一点的灰度值越高，则其在图像中越显著，相对更能引起观察者的注意。水果表面缺陷相对于水果表面区域有更强的显著性特征，可根据这一特征对缺陷区域进行一次分割，实现水果表面缺陷的检测。利用显著图的优点在于可以排除不同果纹干扰，并对不同大小的缺陷进行准确检测。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于视觉显著性的水果表面缺陷检测方法，能够准确地进行非接触式缺陷检测。
为了实现上述目的，本发明采用的技术方案是：
一种基于视觉显著性的水果表面缺陷检测方法，包括如下步骤：
首先，通过CCD相机获得被测水果的原始图像；
其次，对图像进行预处理，以消除细小的纹理细节以及噪音和编码失真；
然后，将预处理后的图像进行下采样得到两幅图片，进行上采样得到两幅图片，与原图一共构成五个不同尺度的特征源图像；
继而，计算五个不同尺度下的显著图，并对其进行空间域增强；
最后，将五个尺度下的显著图模型进行融合，并根据融合显著图模型进行水果表面缺陷分割。
所述原始图像为M×N维，M、N均为4的整数倍，一般使用分辨率为320*240的图像。
所述对图像进行预处理是将原始图像进行滤波，具体方法是从原始图像的左上角开始利用滤波窗口进行滑动扫描，判断是否存在噪声点，其判断依据为在窗口区域中，是否存在数值的突变，若存在，则利用模板所覆盖区域中像素值进行加权平均，代替噪声点的值，若不存在，进行中值滤波。
所述滤波窗口尺寸为5×5像素。
所述下采样是对预处理后的图像进行两次2倍下采样，得到两个不同尺度的下采样特征图像，分别为(M/2)×(N/2)维和(M/4)×(N/4)维，具体方法是取模板尺寸为2×2像素，利用模板从预处理后的图像左上角开始进行滑动扫描，取模板覆盖区域像素值的平均值替代模板位置的所有像素块。
所述上采样是对预处理后的图像进行两次2倍上采样，得到两个不同尺度的上采样特征图像，分别为(M×2)×(N×2)维和(M×4)×(N×4)维，具体方法为双线性插值法。
所述显著图的计算方法为：
先提取五个特征源图像的色调分量H并进行滤波处理；
然后对H矩阵进行归一化处理，寻找矩阵中的最大值及若干局部极大值，求取像素平均值，用原有H分量图像像素值减去局部极大值均值，得到图像显著图。
所述空间域增强的方法是通过对显著图进行直方图均衡化，加强图像对比度。
利用公式S(x,y)=Is1×Is2×Is3×Is4×Is5对所述对显著图进行融合，使大尺度显著图凸显位置信息，小尺度显著图凸显形状信息，其中Is1-Is5分别表示五个图像显著图。
通过融合显著图的显著性，对显著图进行自适应阈值分割，分割出显著区域，进行苹果表面缺陷检测。
实验结果表明，本发明设计的基于显著图模型的水果表面缺陷检测方法，可以消除水果表面纹理和颜色带来的干扰，实现水果的表面缺陷检测，是一种较准确地非接触式缺陷检测方法。若将本发明应用于农产品产后加工，可以较好的解决水果产后准确分级问题，从而增加水果产业自动化深度，减少人工操作，促进工业发展，具有很大的市场潜力。
附图说明
图1是本发明缺陷检测方法处理流程图。
图2为2倍、4倍下采样示意图。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明以苹果作为被测对象，处理流程如附图1所示，具体实施步骤如下：
Step1、通过CCD摄像头获取被测苹果的原始图像，I3：M×N维。由于需要4倍下采样，故M、N均为4的倍数，一般使用分辨率为320*240的图像。
Step2、对原始图像进行滤波，选用的滤波窗口尺寸为5×5像素。具体方法为，从原始图像的左上角开始利用滤波窗口进行滑动扫描，判断是否存在噪声点，其判断依据为在窗口区域中，是否存在数值的突变，若存在，则利用模板所覆盖区域中像素值进行加权平均，代替噪声点的值，若不存在，进行中值滤波。
5×5邻域中的所有像素值进行由小到大的排序，分别求最大值与最小值与中值的绝对差值，若两个差值之间的误差小于10个灰度等级则判断为没有噪声点，否则差值较大的为噪声点。
加权平均方法为，噪声点5×5邻域中且与噪声点相邻的区域的像素值权值为0.1，不相邻的区域的像素值权值为0.0125。
Step3、对原图像进行两次2倍下采样，得到两个不同尺度的下采样特征图像，分别为I1：(M/2)×(N/2)维和I2：(M/4)×(N/4)维。具体方法为，取模板尺寸为2×2像素，利用模板从原图左上角开始进行滑动扫描，取模板覆盖区域像素值的平均值替代模板位置的所有像素块。
I1的计算方法为：如图2所示，取模板尺寸为2×2像素，利用模板从原图左上角开始进行滑动扫描，取模板覆盖区域像素值的平均值替代模板位置的所有像素块。
I2的计算方法为：如图2所示，取模板尺寸为4×4像素，利用模板从原图左上角开始进行滑动扫描，取模板覆盖区域像素值的平均值替代模板位置的所有像素块。
Step4、对原图像进行两次2倍上采样，得到两个不同尺度的上采样特征图像，分别为I4：(M×2)×(N×2)维和I5：(M×4)×(N×4)维。具体方法为双线性插值法。
Step5、将上下采样所得到的的四幅图像与原图一起构成五个尺度的特征图像：I1，I2，I3，I4，I5，提取其色调分量H并进行滤波处理。
公式如下：
Step6、求取I1～5对应H分量的显著图，其方法为：对H矩阵进行归一化处理，寻找矩阵中的最大值及若干局部极大值，求取像素平均值，用原有H分量图像像素值减去局部极大值均值，得到图像显著图Is1，Is2，Is3，Is4，Is5。
Step7、对五个尺度的显著图进行融合，大尺度显著图凸显位置信息，小尺度显著图凸显形状信息。具体方法如公式一所示：
S(x,y)=Is1×Is2×Is3×Is4×Is5
Step8、通过融合显著图的显著性较高区域，进行苹果表面缺陷检测。
Claims (9)
1.一种基于视觉显著性的水果表面缺陷检测方法，包括如下步骤：
首先，通过CCD相机获得被测水果的原始图像；
其次，对图像进行预处理，以消除细小的纹理细节以及噪音和编码失真；
然后，将预处理后的图像进行下采样得到两幅图片，进行上采样得到两幅图片，与原图一共构成五个不同尺度的特征源图像；
继而，计算五个不同尺度下的显著图，并对其进行空间域增强；
最后，将五个尺度下的显著图模型进行融合，并根据融合显著图模型进行水果表面缺陷分割；
其特征在于，所述显著图的计算方法为：
先提取五个特征源图像的色调分量H并进行滤波处理；
然后对H矩阵进行归一化处理，寻找矩阵中的最大值及若干局部极大值，求取像素平均值，用原有H分量图像像素值减去局部极大值均值，得到图像显著图。
2.根据权利要求1所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，所述原始图像为M×N维，M、N均为4的整数倍。
3.根据权利要求1所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，所述对图像进行预处理是将原始图像进行滤波，具体方法是从原始图像的左上角开始利用滤波窗口进行滑动扫描，判断是否存在噪声点，其判断依据为在窗口区域中，是否存在数值的突变，若存在，则利用模板所覆盖区域中像素值进行加权平均，代替噪声点的值，若不存在，进行中值滤波。
4.根据权利要求3所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，所述滤波窗口尺寸为5×5像素。
5.根据权利要求1所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，所述下采样是对预处理后的图像进行两次2倍下采样，得到两个不同尺度的下采样特征图像，分别为(M/2)×(N/2)维和(M/4)×(N/4)维，具体方法是取模板尺寸为2×2像素，利用模板从预处理后的图像左上角开始进行滑动扫描，取模板覆盖区域像素值的平均值替代模板位置的所有像素块。
6.根据权利要求1所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，所述上采样是对预处理后的图像进行两次2倍上采样，得到两个不同尺度的上采样特征图像，分别为(M×2)×(N×2)维和(M×4)×(N×4)维，具体方法为双线性插值法。
7.根据权利要求1所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，所述空间域增强的方法是通过对显著图进行直方图均衡化，加强图像对比度。
8.根据权利要求7所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，利用公式S(x,y)＝Is1×Is2×Is3×Is4×Is5对所述对显著图进行融合，使大尺度显著图凸显位置信息，小尺度显著图凸显形状信息，其中Is1-Is5分别表示五个图像显著图。
9.根据权利要求1所述的基于视觉显著性的水果表面缺陷检测方法，其特征在于，通过融合显著图的显著性，对显著图进行自适应阈值分割，分割出显著区域，进行苹果表面缺陷检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310204575.0A CN103293168B (zh) | 2013-05-28 | 2013-05-28 | 基于视觉显著性的水果表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310204575.0A CN103293168B (zh) | 2013-05-28 | 2013-05-28 | 基于视觉显著性的水果表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103293168A CN103293168A (zh) | 2013-09-11 |
| CN103293168B true CN103293168B (zh) | 2015-01-28 |
Family
ID=49094406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310204575.0A Expired - Fee Related CN103293168B (zh) | 2013-05-28 | 2013-05-28 | 基于视觉显著性的水果表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103293168B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10217013B2 (en) * | 2014-06-30 | 2019-02-26 | Carnegie Mellon University | Methods and system for detecting curved fruit with flash and camera and automated image analysis with invariance to scale and partial occlusions |
| CN107845086B (zh) * | 2017-09-19 | 2020-10-27 | 佛山缔乐视觉科技有限公司 | 一种皮革表面显著性缺陷的检测方法、系统及装置 |
| CN108968991B (zh) * | 2018-05-08 | 2022-10-11 | 平安科技（深圳）有限公司 | 手骨x光片骨龄评估方法、装置、计算机设备和存储介质 |
| CN108663382A (zh) * | 2018-05-10 | 2018-10-16 | 苏州大学 | 基于视觉显著性的纸张表面缺陷检测的方法及装置 |
| CN109472078B (zh) * | 2018-10-31 | 2023-05-09 | 天津大学 | 一种基于2×2像素子阵列的3d图像传感器缺陷检测修复方法 |
| CN109872300B (zh) * | 2018-12-17 | 2021-02-19 | 南京工大数控科技有限公司 | 一种摩擦片外观缺陷的视觉显著性检测方法 |
| CN109827971B (zh) * | 2019-03-19 | 2021-09-24 | 湖州灵粮生态农业有限公司 | 一种无损检测水果表面缺陷的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6169600B1 (en) * | 1998-11-20 | 2001-01-02 | Acuity Imaging, Llc | Cylindrical object surface inspection system |
| CN102156881B (zh) * | 2011-04-13 | 2012-07-25 | 上海海事大学 | 基于多尺度图像相位信息的海难搜救目标检测方法 |
| JP5443435B2 (ja) * | 2011-05-17 | 2014-03-19 | シャープ株式会社 | タイヤの欠陥検出方法 |
| CN102271270A (zh) * | 2011-08-15 | 2011-12-07 | 清华大学 | 一种双目立体视频拼接方法及拼接装置 |
| CN102768212B (zh) * | 2012-06-11 | 2014-06-25 | 陕西科技大学 | 一种基于压缩传感的水果缺陷分级方法 |
| CN103020965B (zh) * | 2012-11-29 | 2016-12-21 | 奇瑞汽车股份有限公司 | 一种基于显著性检测的前景分割方法 |
| CN103049898B (zh) * | 2013-01-27 | 2015-04-22 | 西安电子科技大学 | 带有薄云的多光谱和全色图像融合方法 |
-
2013
- 2013-05-28 CN CN201310204575.0A patent/CN103293168B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103293168A (zh) | 2013-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103293168B (zh) | 基于视觉显著性的水果表面缺陷检测方法 | |
| CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
| CN104809422B (zh) | 基于图像处理的qr码识别方法 | |
| CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
| CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
| CN109507192B (zh) | 一种基于机器视觉的磁芯表面缺陷检测方法 | |
| CN105913415B (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
| CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
| CN111179243A (zh) | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| CN104573674B (zh) | 面向实时嵌入式系统的一维条码识别方法 | |
| Hua et al. | Extended guided filtering for depth map upsampling | |
| CN107680054A (zh) | 雾霾环境下多源图像融合方法 | |
| US20230009564A1 (en) | Character segmentation method and apparatus, and computer-readable storage medium | |
| CN111415363A (zh) | 一种图像边缘识别方法 | |
| CN103345755A (zh) | 一种基于Harris算子的棋盘格角点亚像素提取方法 | |
| Lo et al. | Joint trilateral filtering for depth map super-resolution | |
| CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN102883175A (zh) | 深度图提取、判断视频场景切换及深度图边缘优化方法 | |
| CN109961416B (zh) | 一种基于形态学梯度多尺度融合的营业执照信息提取方法 | |
| CN111046862B (zh) | 一种字符分割方法、装置以及计算机可读存储介质 | |
| CN108596923A (zh) | 三维数据的获取方法、装置以及电子设备 | |
| US20150227779A1 (en) | Image processing device, image processing method, and program | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN117094914B (zh) | 基于计算机视觉的智慧城市道路监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150128 Termination date: 20210528 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |