CN102854192A - 一种苹果表面缺陷检测系统和方法 - Google Patents

一种苹果表面缺陷检测系统和方法 Download PDF

Info

Publication number
CN102854192A
CN102854192A CN2012103007840A CN201210300784A CN102854192A CN 102854192 A CN102854192 A CN 102854192A CN 2012103007840 A CN2012103007840 A CN 2012103007840A CN 201210300784 A CN201210300784 A CN 201210300784A CN 102854192 A CN102854192 A CN 102854192A
Authority
CN
China
Prior art keywords
described
industrial camera
apple
near infrared
area
Prior art date
Application number
CN2012103007840A
Other languages
English (en)
Other versions
CN102854192B (zh
Inventor
赵春江
张驰
黄文倩
郭志明
王庆艳
李江波
李斌
Original Assignee
北京农业智能装备技术研究中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京农业智能装备技术研究中心 filed Critical 北京农业智能装备技术研究中心
Priority to CN201210300784.0A priority Critical patent/CN102854192B/zh
Publication of CN102854192A publication Critical patent/CN102854192A/zh
Application granted granted Critical
Publication of CN102854192B publication Critical patent/CN102854192B/zh

Links

Abstract

本发明公开了一种苹果表面缺陷检测系统,所述系统包括:传送装置(1),位于传送装置正上方的光照箱(2)所述光照箱(2);所述光照箱(2)内部下方安装有可见/近红外复合LED光源装置(3),内部上方正中央安装有点阵近红外结构光投射器(7),所述点阵近红外结构光投射器(7)一侧安装有黑白工业相机(4)和彩色工业相机(6);所述黑白工业相机(4)通过电缆连接到计算机(10)的近红外图像采集卡(8)上,所述彩色工业相机(6)通过电缆连接到计算机(10)的彩色图像采集卡上。

Description

一种苹果表面缺陷检测系统和方法

技术领域

[0001] 本发明涉及蔬菜水果检测技术领域,特别涉及一种苹果表面缺陷检测系统和方法。

背景技术

[0002]目前,我国苹果的产后处理水平十分低下,苹果的产后分级处理技术落后严重,制约着我国苹果产业的发展。基于机器视 觉的苹果外部品质分选机可以综合检测苹果的大小,颜色,果形和表面缺陷等主要指标,具有自动,高效,准确,全面,客观和非破坏性检测等优点,在苹果产后分级处理中得到了广泛应用。

[0003] 苹果大小、形状、颜色指标的自动检测方法已比较成熟,而缺陷的快速识别一直是苹果实时分级的障碍,其主要难点是由于苹果表面的缺陷区域和果梗/花萼区域在图像的灰度值上有非常大的相似性,二者在图像上都呈现为暗黑色的斑点,从而导致缺陷与果梗/花萼难以区分。现有的检测苹果表面缺陷的方法主要有:

[0004] 特征检测法:提取缺陷区域与果梗/花萼区域的特征,利用人工神经网络,支撑向量机等分类器进行识别,这类方法的缺点是识别正确率较低。

[0005] 结构光检测法:利用条形结构光在苹果表面上的变形来获取苹果的三维信息,从而将凹陷区域判定为果梗/花萼区域,这类方法的主要缺点是当果梗/花萼区域与结构光投射器的方向一致的时候,条形结构光仅有极微小的变形,导致无法检测苹果表面的凹陷区域。

[0006] 高光谱检测法:利用高光谱相机检测苹果表面缺陷,尽管识别正确率较高,但是高光谱相机价格极其昂贵,很难用于实际的生产当中。

[0007] 阴影重建检测法:利用苹果表面的阴影对苹果进行三维重建,根据重建结果识别苹果表面的凹陷区域,这类方法很难保证苹果处于任意姿态时都提供足够的阴影信息用于三维重建,而且当缺陷区域的颜色特征与阴影相似时,缺陷区域会被错误地判别为果梗/花萼区域。

[0008] 结构光方法作为一种主动立体视觉方法被广泛用于获取物体的三维信息,但是可见结构光极易被苹果表面的颜色信息干扰,影响获取三维信息的精度。96年就有学者采用近红外条形结构光辅助获取苹果表面的三维信息,但是由于果梗/花萼与结构光投射器方向一致的时候,近红外条形结构光变形极小,导致这种方法的检测正确率很低,不能满足实际生产的要求。

发明内容

[0009](一)要解决的技术问题

[0010] 本发明要解决的技术问题是解决目前在检测苹果表面缺陷方面的不足。

[0011] (二)技术方案

[0012] 一种苹果表面缺陷检测系统,[0013] 所述系统包括:传送装置(1),位于传送装置正上方的光照箱(2)所述光照箱(2);

[0014] 所述光照箱(2 )内部下方安装有可见/近红外复合LED光源装置(3 ),内部上方正中央安装有点阵近红外结构光投射器(7),所述点阵近红外结构光投射器(7)—侧安装有黑白工业相机(4)和彩色工业相机(6);

[0015] 所述黑白工业相机(4 )通过电缆连接到计算机(10 )的近红外图像采集卡(8 )上,所述彩色工业相机(6)通过电缆连接到计算机(10)的彩色图像采集卡上。

[0016] 其中,所述黑白工业相机(4 )安装有滤光片(5 )。

[0017] 其中,所述可见/近红 外复合LED光源装置(3 )在传送装置(I)两侧各安装有一个。

[0018] 其中,,所述可见/近红外复合LED光源装置(3)包括可见光LED (3. 2)、近红外LED (3. 3)、散热器(3. I)和开关电源(3. 4),所述可见光LED (3. 2)和近红外LED (3. 3)固定在散热器(3. I)上并且通过导线与开关电源(3. 4)连接。

[0019] 其中,,所述点阵近红外结构光投射器(7)投射出的近红外点阵结构光光斑在参考平面上均匀分布。

[0020] 其中,,所述点阵结构光中设置了四对光斑作为定位标记。

[0021] 其中,,所述参考平面为传送装置(I)的上表面。

[0022] 一种苹果表面缺陷监测方法,其特征在于,所述方法包括,

[0023] SI,利用黑白工业相机获取每个近红外点阵结构光光斑在参考平面的位置;

[0024] S2,利用彩色工业相机获取传送装置上的苹果的彩色图像,并通过阈值分割的方法去除苹果的背景区域以及分割出苹果区域中灰度值较低的感兴趣区域;

[0025] S3,利用带有滤光片的黑白工业相机获取投射在苹果表面上的近红外结构光光斑图像,对图像逐列进行扫描,在非感兴趣区域搜索两个距离最近光斑,通过将苹果表面的光斑位置信息与参考平面的光斑位置信息进行对比,获取苹果表面深度变化的信息以得到凹陷区域;

[0026] S4,将S2中的感兴趣区域与S3中的凹陷区域相比较,将感兴趣区域中与凹陷区域不重合的区域视为苹果表面的缺陷区域。

[0027] 其中,所述感兴趣区域包括缺陷区域和果梗/花萼区域。

[0028](三)有益效果

[0029] 本发明采用彩色工业相机获取苹果表面缺陷区域及果梗/花萼区域,近红外点阵结构光辅助识别苹果表面的果梗/花萼区域,将苹果表面的非凹陷区域判定为缺陷区域,提高苹果缺陷检测的精度。

附图说明

[0030] 图I是本发明系统的结构图;

[0031] 图2是可见/近红外复合LED光源结构示意图;

[0032] 图3是深度信息感知原理图;

[0033] 图4是近红外点阵结构光投射在苹果表面效果图。

具体实施方式[0034] 下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。

[0035] 如图I所示,本发明的检测系统包括输送装置(I ),光照箱(2),可见/近红外复合LED光源装置(3),黑白工业相机(4),滤光片(5),彩色工业相机(6),彩色图像采集卡(9),近红外图像采集卡(8),点阵近红外结构光投射器(7),计算机(10)。输送装置(I)安装在检测系统的最下方,光照箱(2)安装在输送装置(I)的上方,可见/近红外复合LED光源装置(3)安装在光照箱(2)内部下方,输送装置(I)的两侧,点阵近红外结构光投射器(7)、带有滤光片(5)的黑白工业相机(4)和彩色工业相机(6)安装在光照箱(2)内部上方,带有滤光片(5)的黑白工业相机(4)输出的近红外图像信号通过电缆接到近红外图像采集卡(8)上,彩色工业相机(6)输出的彩色图像信号输出到彩色图像采集卡(9)上,近红外图像采集卡(8 )和彩色图像采集卡(9 )安装在计算机(10 )的插槽上,计算机(10 )上安装苹果表面缺陷检测软件。

[0036] 如图2所示,所述的可见/近红外复合LED光源装置(3)由可见光LED(3. 2),近红

外LED (3. 3),散热器(3. 1),开关电源(3. 4)组成;可见光LED (3. 2)和近红外LED (3.3)固定在散热器(3. I)上,可见光LED (3. 2),近红外LED (3. 3)与开关电源相连接。

[0037] 如图3所示,所述的苹果表面深度信息感知是基于如下原理:在参考平面(Rl)上没有苹果(Al)的时候,近红外投射器投射在参考平面上的光斑为Rl,R2,O ;但将苹果置于参考平面上后,近红外投射器(7)投射出的结构光在苹果表面的SI,S2,So位置形成光斑,而带有滤光片(5)的黑白工业相机(4)获取的Sl,S2,So位置的光斑对应于参考平面上Pl,P2,Po位置上的光斑;也就是说,在参考平面(Rl)上放置苹果(Al)后,获取的光斑位置,相对于其在参考平面上的光斑位置发生的位移,位移的大小由苹果表面上的光斑距离参考平面的距离决定,在图3中,Ll>Lo, L2>Lo,即凹陷区域(Cl)处获取的光斑相对于其在参考平面上的位置的平移相对较小,因此可以通过结构光光斑在水平方向上变化的规律来判定苹果表面是否存在凹陷的果梗/花萼区域。

[0038] 如图4为近红外结构光投射器(7)投射在苹果表面的上的近红外点阵的效果图,LI,L2,L3和L4为四组定位标记,四组定标记的行列位置已知,通过四组定位标记,可以获得其它光斑在结构光点列中的行列位置,该图像通过带有滤光片(5)的黑白工业相机(4)获得,获得的图像信息通过近红外图像采集卡(8)上传到计算机(10)进行处理。

[0039] 本发明所述的检测方法包括以下步骤:

[0040] I)获取近红外点阵结构光在参考平面上每个光斑点的位置

[0041] 在近红外结构光投射器垂直的传输装置上放置白色纸板,用带有滤光片的黑白工业相机获取投射在纸板上的近红外结构光光斑图像,这一光斑图像作为参考图像。

[0042] 2)获取苹果图像中的感兴趣区域

[0043] 利用彩色工业相机获取传送装置上的苹果的彩色图像,通过阈值分割的方法去除苹果的背景区域,并分割出苹果区域中灰度值较低的感兴趣区域,感兴趣区域可能是缺陷区域,或者为果梗/花萼区域。

[0044] 3)获取苹果表面的凹陷区域

[0045] 利用带有滤光片的黑白工业相机获取投射在苹果表面上的近红外结构光光斑图像,对图像逐列进行扫描,在非感兴趣区域搜索两个距离最近光斑,通过两个距离最近光斑在图像中的位置,可以知道这两个光斑在光斑阵列中行列信息,从而可以获取其它所有光斑在光斑阵列中的位置,通过将苹果表面的光斑位置信息与参考平面的光斑位置信息进行对比,从而可以获取苹果表面深度变化的信息。这里需要说明的是,结构光技术是通过结构光在物体表面上的位移,变形来感知物体表面的深度信息,而点阵结构光中每个光斑都具有相同的形状,所以很难获取物体表面上的光斑相对于其在参考平面上对应光斑的位移信息,本发明通过设置上下左右四对标记光斑来解决这一难题,实现了苹果表面凹陷的果梗/花萼区域的检测。

[0046] 4)判定苹果表面的缺陷区域

[0047] 将步骤2)中的感兴趣区域与步骤3)中检测到的凹陷区域进行比较,将除凹陷区域以外的感兴趣区域视为苹果表面的缺陷区域。

[0048] 为了进一步测试本方法的有效性,我们对210个苹果在检测系统上进行了测试,本发明提出方法的检测正确率高达95. 2%,达到了世界领先水平。

[0049] 以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (9)

1. 一种苹果表面缺陷检测系统,其特征在干, 所述系统包括:传送装置(1),位于传送装置正上方的光照箱(2)所述光照箱(2); 所述光照箱(2)内部下方安装有可见/近红外复合LED光源装置(3),内部上方正中央安装有点阵近红外结构光投射器(7),所述点阵近红外结构光投射器(7) —侧安装有黒白エ业相机(4)和彩色エ业相机(6); 所述黑白エ业相机(4)通过电缆连接到计算机(10)的近红外图像采集卡(8)上,所述彩色エ业相机(6 )通过电缆连接到计算机(10 )的彩色图像采集卡上。
2.如权利要求I所述的系统,其特征在于,所述黑白エ业相机(4)安装有滤光片(5)。
3.如权利要求I所述的系统,其特征在于,所述可见/近红外复合LED光源装置(3)在传送装置(I)两侧各安装有ー个。
4.如权利要求I所述的系统,其特征在于,所述可见/近红外复合LED光源装置(3)包括可见光LED (3. 2)、近红外LED (3. 3)、散热器(3. I)和开关电源(3. 4),所述可见光LED(3. 2)和近红外LED (3.3)固定在散热器(3. I)上并且通过导线与开关电源(3. 4)连接。
5.如权利要求I所述的系统,其特征在于,所述点阵近红外结构光投射器(7)投射出的近红外点阵结构光光斑在參考平面上均匀分布。
6.如权利要求5所述的系统,其特征在于,所述点阵结构光中设置了四对光斑作为定位标记。
7.如权利要求5所述的系统,其特征在于,所述參考平面为传送装置(I)的上表面。
8. ー种基于权利要求I所述系统的苹果表面缺陷监测方法,其特征在于,所述方法包括, SI,利用黒白エ业相机获取每个近红外点阵结构光光斑在參考平面的位置; S2,利用彩色エ业相机获取传送装置上的苹果的彩色图像,并通过阈值分割的方法去除苹果的背景区域以及分割出苹果区域中灰度值较低的感兴趣区域; S3,利用带有滤光片的黑白エ业相机获取投射在苹果表面上的近红外结构光光斑图像,对图像逐列进行扫描,在非感兴趣区域搜索两个距离最近光斑,通过将苹果表面的光斑位置信息与參考平面的光斑位置信息进行对比,获取苹果表面深度变化的信息以得到凹陷区域; S4,将S2中的感兴趣区域与S3中的凹陷区域相比较,将感兴趣区域中与凹陷区域不重合的区域视为苹果表面的缺陷区域。
9.如权利要求I所述的方法,其特征在于,所述感兴趣区域包括缺陷区域和果梗/花萼区域。
CN201210300784.0A 2012-08-22 2012-08-22 一种基于苹果表面缺陷检测系统的苹果表面缺陷检测方法 CN102854192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210300784.0A CN102854192B (zh) 2012-08-22 2012-08-22 一种基于苹果表面缺陷检测系统的苹果表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210300784.0A CN102854192B (zh) 2012-08-22 2012-08-22 一种基于苹果表面缺陷检测系统的苹果表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN102854192A true CN102854192A (zh) 2013-01-02
CN102854192B CN102854192B (zh) 2014-11-19

Family

ID=47400968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210300784.0A CN102854192B (zh) 2012-08-22 2012-08-22 一种基于苹果表面缺陷检测系统的苹果表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN102854192B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149214A (zh) * 2013-02-27 2013-06-12 上海交通大学 水果表面缺陷检测方法
CN103521457A (zh) * 2013-10-25 2014-01-22 江南大学 基于机器视觉和近红外光谱仪的苹果分级装置
CN103697833A (zh) * 2013-12-30 2014-04-02 北京农业智能装备技术研究中心 农产品形状检测方法及装置
CN104101613A (zh) * 2013-04-10 2014-10-15 苏州华觉智能科技有限公司 电缆在线检测系统
CN104596932A (zh) * 2014-12-25 2015-05-06 北京农业智能装备技术研究中心 一种水果腐败区域的热红外图像提取系统及方法
CN104897671A (zh) * 2015-05-07 2015-09-09 北京农业智能装备技术研究中心 一种水果果梗花萼的识别系统
CN105046700A (zh) * 2015-07-09 2015-11-11 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN105158275A (zh) * 2014-11-18 2015-12-16 北京农业智能装备技术研究中心 基于近红外编码点阵结构光的苹果果梗/花萼检测方法
CN106070544A (zh) * 2016-07-12 2016-11-09 桂林爱明生态农业开发有限公司 一种马蹄丁罐头的生产方法
CN106172710A (zh) * 2016-07-12 2016-12-07 桂林爱明生态农业开发有限公司 一种马蹄软罐头的生产方法
CN106174219A (zh) * 2016-07-12 2016-12-07 桂林爱明生态农业开发有限公司 一种马蹄罐头的生产方法
CN108445010A (zh) * 2018-03-12 2018-08-24 昆山国显光电有限公司 自动光学检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640953B2 (en) * 2001-03-15 2003-11-04 Rapistan Systems Advertising Corp. Controlled gravity accumulation conveyor
CN1617009A (zh) * 2004-09-20 2005-05-18 深圳大学 基于空间点阵投影的三维数字成像方法
CN1664568A (zh) * 2005-03-28 2005-09-07 浙江大学 基于图像信息融合技术的水果品质检测系统
CN101245994A (zh) * 2008-03-17 2008-08-20 南京航空航天大学 物体表面三维轮廓结构光测量系统的标定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6640953B2 (en) * 2001-03-15 2003-11-04 Rapistan Systems Advertising Corp. Controlled gravity accumulation conveyor
CN1617009A (zh) * 2004-09-20 2005-05-18 深圳大学 基于空间点阵投影的三维数字成像方法
CN1664568A (zh) * 2005-03-28 2005-09-07 浙江大学 基于图像信息融合技术的水果品质检测系统
CN101245994A (zh) * 2008-03-17 2008-08-20 南京航空航天大学 物体表面三维轮廓结构光测量系统的标定方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID W. PENMAN: "《Determination of stem and calyx location on apples using automatic visual inspection》", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
宋怡焕等: "《基于DT-CWT 和LS-SVM 的苹果果梗/花萼和缺陷识别》", 《农业工程学报》 *
赵杰文等: "《基于三摄像系统的苹果缺陷快速判别》", 《江苏大学学报》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103149214A (zh) * 2013-02-27 2013-06-12 上海交通大学 水果表面缺陷检测方法
CN103149214B (zh) * 2013-02-27 2015-04-01 上海交通大学 水果表面缺陷检测方法
CN104101613A (zh) * 2013-04-10 2014-10-15 苏州华觉智能科技有限公司 电缆在线检测系统
CN103521457A (zh) * 2013-10-25 2014-01-22 江南大学 基于机器视觉和近红外光谱仪的苹果分级装置
CN103697833A (zh) * 2013-12-30 2014-04-02 北京农业智能装备技术研究中心 农产品形状检测方法及装置
CN103697833B (zh) * 2013-12-30 2016-03-09 北京农业智能装备技术研究中心 农产品形状检测方法及装置
CN105158275A (zh) * 2014-11-18 2015-12-16 北京农业智能装备技术研究中心 基于近红外编码点阵结构光的苹果果梗/花萼检测方法
CN104596932B (zh) * 2014-12-25 2017-04-26 北京农业智能装备技术研究中心 一种水果腐败区域的热红外图像提取系统及方法
CN104596932A (zh) * 2014-12-25 2015-05-06 北京农业智能装备技术研究中心 一种水果腐败区域的热红外图像提取系统及方法
CN104897671A (zh) * 2015-05-07 2015-09-09 北京农业智能装备技术研究中心 一种水果果梗花萼的识别系统
CN105046700A (zh) * 2015-07-09 2015-11-11 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN105046700B (zh) * 2015-07-09 2018-03-09 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN106070544A (zh) * 2016-07-12 2016-11-09 桂林爱明生态农业开发有限公司 一种马蹄丁罐头的生产方法
CN106172710A (zh) * 2016-07-12 2016-12-07 桂林爱明生态农业开发有限公司 一种马蹄软罐头的生产方法
CN106174219A (zh) * 2016-07-12 2016-12-07 桂林爱明生态农业开发有限公司 一种马蹄罐头的生产方法
CN108445010A (zh) * 2018-03-12 2018-08-24 昆山国显光电有限公司 自动光学检测方法及装置

Also Published As

Publication number Publication date
CN102854192B (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
CN101915769B (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
CN106600581B (zh) 一种基于双目立体视觉的列车运行故障自动检测系统及方法
CN103364400B (zh) 一种多工位智能融合的瓶装啤酒在线检测装置
CN102218406B (zh) 一种基于机器视觉的手机外壳缺陷智能检测装置
CN101424645B (zh) 基于机器视觉的焊球表面缺陷检测装置与方法
US8670612B2 (en) Environment recognition device and environment recognition method
CN103170459B (zh) 镜片瑕疵检测系统
CN102289686B (zh) 一种基于迁移学习的运动目标分类识别方法
US20120008021A1 (en) Shadow Removal in an Image Captured by a Vehicle-Based Camera for Clear Path Detection
CN104360501B (zh) 一种液晶屏幕缺陷视觉检测方法及装置
CN102495069B (zh) 一种基于数字图像处理的拉链链带缺陷检测方法
CN102854191B (zh) 高速铁轨表面缺陷的实时视觉检测与识别方法
Deitsch et al. Automatic classification of defective photovoltaic module cells in electroluminescence images
JP4724182B2 (ja) 容器を検査する方法及び装置
CN105654067A (zh) 一种车辆检测方法及装置
KR20100015628A (ko) 목재의 검사 방법, 장치 및 프로그램
CN101639452B (zh) 一种钢轨表面缺陷的三维检测方法
CN201434842Y (zh) 芯片外观缺陷自动检测装置
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN102221559A (zh) 基于机器视觉的织物疵点在线自动检测方法及其装置
CN102914545A (zh) 一种基于计算机视觉的齿轮缺陷检测方法及系统
CN105894036B (zh) 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法
CN103400124A (zh) 一种试卷识别方法及装置
CN103090790B (zh) 轮毂自动识别方法
CN101576508A (zh) 芯片外观缺陷自动检测装置及检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant