CN106442561B - 用于检测柑橘表皮缺陷的在线图像采集系统及方法 - Google Patents

用于检测柑橘表皮缺陷的在线图像采集系统及方法 Download PDF

Info

Publication number
CN106442561B
CN106442561B CN201610755270.2A CN201610755270A CN106442561B CN 106442561 B CN106442561 B CN 106442561B CN 201610755270 A CN201610755270 A CN 201610755270A CN 106442561 B CN106442561 B CN 106442561B
Authority
CN
China
Prior art keywords
image
light detection
visible light
ultraviolet light
citrus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610755270.2A
Other languages
English (en)
Other versions
CN106442561A (zh
Inventor
田喜
黄文倩
李江波
竹永伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center of Intelligent Equipment for Agriculture
Original Assignee
Beijing Research Center of Intelligent Equipment for Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center of Intelligent Equipment for Agriculture filed Critical Beijing Research Center of Intelligent Equipment for Agriculture
Priority to CN201610755270.2A priority Critical patent/CN106442561B/zh
Publication of CN106442561A publication Critical patent/CN106442561A/zh
Application granted granted Critical
Publication of CN106442561B publication Critical patent/CN106442561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision

Abstract

本发明涉及一种用于检测柑橘表皮缺陷的在线图像采集系统及检测方法。所述系统包括紫外光检测设备,可见光检测设备和阻光外壳;阻光外壳设置在紫外光检测设备和可见光检测设备的外部,并且柑橘依次通过紫外光检测设备和可见光检测设备;紫外光检测设备用于向柑橘表皮照射紫外光以使柑橘腐败区域产生黄色荧光并实时获取柑橘旋转状态下不同位置的荧光图像;可见光检测设备用于向柑橘表皮照射可见光并获取柑橘旋转时不同位置的彩色图像;阻光外壳用于在柑橘通过紫外光检测设备和可见光检测设备时阻止杂散光进入。所述检测方法基于上文所述的在线图像采集系统实现。本发明能够快速识别出表皮缺陷果,能够降低工人的工作强度,提升产品竞争力。

Description

用于检测柑橘表皮缺陷的在线图像采集系统及方法
技术领域
本发明涉及农业机械领域,具体涉及一种柑橘表皮缺陷果的在线图像采集系统及方法。
背景技术
柑橘风味独特,营养丰富,深受消费者青睐。在我国柑橘总产量很大,但绝大部分品种在国内销售价格低,“卖果难”的问题经常出现,这使得柑橘产业发展的势头受到抑制,一个重要原因就是采后商品化处理落后,外观质量较差,导致水果的市场竞争力较弱。
根据水果产销趋势可以发现,水果产值的大部分是由产后处理和产后加工创造来的。水果的产后商品化处理包括清洗、打蜡、选果、包装。目前我国国内水果商品化处理过程中的清洁、打蜡设备已经比较成熟,但是分级设备还比较落后。现有技术中已经有根据水果大小和颜色对水果分级的柑橘品质分级生产线,但是仍然无法检测柑橘的表皮缺陷。
表皮缺陷分为常见性表皮缺陷和表皮腐烂。常见性表皮缺陷是指蓟马果、风伤果、溃疡病果、裂伤果、炭疽病果、虫伤果等,这些果实表皮因为病害或者虫害导致外表丑陋,降低了消费者购买欲望,同时果实风味也受到影响。表皮腐烂是由真菌感染引起的,在柑橘果品收获期间,极易通过伤口侵入果实,引起水果的采后腐败。更严重的,表皮腐败具有传播性,在非常短的时间里,少量的感染果可以使整批水果腐败,造成很大的经济损失;并且还会影响水果后续的运作,如储藏和运输。因此,保鲜运输前,在产地准确地分拣出这些被感染引起的早期腐败果,不仅可以非常好地控制整批水果的质量,也可以有效地防止这种病害传播至其它批次柑橘。
目前,我国水果分级加工厂中,这些表皮缺陷果由工人手工挑选剔除。这种方法非常有效,但是操作员的工作负荷大,容易产生疲劳。每隔一段时间轮换操作员的方法也会导致检测效率比较低,也无法保证每一个缺陷果都被剔除掉。因此,亟需开发一种有效的快速自动化检测柑橘表皮缺陷的设备。
发明内容
针对现有技术中的缺陷,本发明提供一种用于检测柑橘表皮缺陷的在线图像采集系统及方法,可以解决现有技术中人工挑选柑橘早期腐烂和表皮缺陷工作负荷大导致检测效率低的问题。
第一方面,本发明提供了一种用于检测柑橘表皮缺陷的在线图像采集系统及方法,所述系统包括紫外光检测设备,可见光检测设备和阻光外壳;所述阻光外壳设置在所述紫外光检测设备和所述可见光检测设备的外部,并且柑橘依次通过所述紫外光检测设备和所述可见光检测设备;
所述紫外光检测设备用于向柑橘表皮照射紫外光以使柑橘腐败区域产生黄色荧光并实时获取柑橘旋转状态下不同位置的荧光图像;
所述可见光检测设备用于向柑橘表皮照射可见光并获取所述柑橘旋转时不同位置的彩色图像;
所述阻光外壳用于在柑橘通过所述紫外光检测设备和所述可见光检测设备时阻止杂散光进入。
可选地,所述紫外光检测设备包括:紫外光检测箱体、多条高压紫外光水银灯管、多个紫外光通过滤波板、至少两个第一条状凹面镜、至少两个半圆弧形紫外光反射罩、紫外光漫反射膜、带通滤光片和第一工业RGB彩色相机;
所述紫外光检测箱体相对的两个侧面分别设置有进口和出口,其他两个侧面上设置有紫外光漫反射膜;所述紫外光检测箱体的顶部固定有多条高压紫外光水银灯管,所述高压紫外光水银灯管与所述进口和出口所在直线方向相同;在多条高压紫外光水银灯管的外部设置有紫外光通过滤波板,在所述紫外光通过滤波板与所述顶部之间设置有半圆弧形紫外光反射罩;在所述紫外光检测箱体顶部还设置有带通滤光片;第一条状凹面镜设置在所述紫外光检测设备底部中心线位置的两侧形成柑橘输送通道,所述中心线与所述进口和出口所在直线方向相同;所述第一工业RGB彩色相机固定在所述紫外光检测箱体的顶部;
所述高压紫外光水银灯管用于发射紫外光;
所述半圆弧形紫外光反射罩将向四面八方的紫外光集中反射到柑橘表皮,以增强柑橘表皮接收的光照强度和光照均匀度并提高紫外荧光效果;
所述至少两个第一条状凹面镜用于在柑橘通过所述柑橘输送通道时呈现所述柑橘侧面的荧光图像;
所述第一工业RGB彩色相机用于实时获取所述荧光图像。
可选地,所述可见光检测设备包括:可见光检测箱体、至少两个第二条状凹面镜、半圆弧形可见光反射罩、可见光漫反射膜、阵列式LED白色点光源和第二工业RGB彩色相机;
所述可见光检测箱体相对的两个侧面分别设置有进口和出口,其他两个侧面上设置有可见光漫反射膜;所述可见光检测箱体的顶部固定有阵列式LED白色点光源,所述阵列式LED白色点光源与所述进口和出口所在直线方向相同;在所述阵列式LED白色点光源与所述可见光检测箱体的顶部之间设置有半圆弧形可见光反射罩;在所述可见光检测箱体的顶部通过圆形通孔固定所述第二工业RGB彩色相机;至少两个第二条状凹面镜设置在所述可见光检测设备底部中心线位置的两侧形成柑橘输送通道,所述可见光检测设备底部中心线与所述进口和出口所在直线方向相同;
所述阵列式LED白色点光源用于发射可见光;
所述半圆弧形可见光反射罩将向四面八方的可见光集中反射到柑橘表皮,增强柑橘表皮反射光的反射强度和均匀度以增加柑橘背光区域的表皮光照亮度与检测精度;
所述至少两个第二条状凹面镜用于在柑橘通过所述柑橘输送通道时呈现所述柑橘侧面的图像;
所述第二工业RGB彩色相机用于实时获取所述柑橘侧面的图像。
可选地,所述第一条状凹面镜和所述第二条状凹面镜的安装角度为45度;
和/或,
所述阻光外壳包括阻光拱形通道和相机外箱体;
所述阻光拱形通道设有三道用0.5mm厚橡胶皮条制成的通道门;相邻两道通道门之间距离为10cm;
所述相机外箱体固定在所述紫外光检测设备和所述可见光检测设备的上部;并且所述相机外箱体两侧还设置有横杆,所述横杆上设置有可调节高度的相机固定钢架和槽孔,用于调节所述第一工业RGB彩色相机和/或所述第二工业RGB彩色相机的高度;
和/或,
所述带通滤波片与所述第一工业RGB彩色相机镜头的中心位置在同一条垂直线上。
可选地,所述带通滤光片允许波长为530~650nm的光线通过;所述高压紫外光水银灯管能够发出主峰为365nm的紫外光。
第二方面,本发明实施例还提供了一种基于上文所述的在线图像采集系统实现的检测方法,所述方法包括:
柑橘在导轨和果杯的作用下,旋转滚动地通过第一道通道门进入紫外光检测设备;
所述紫外光检测设备实时获取柑橘直射图像和映射图像;当柑橘表皮出现早期腐烂时所述荧光图像呈现为黄色;所述柑橘表皮正常时所述荧光图像为暗色;
剔除表皮腐烂果后,剩余柑橘进入可见光检测设备;
所述可见光检测设备实时获取柑橘直射图像和映射图像,并根据所述直射图像和所述映射图像进行颜色空间变换和阈值分割,确定常见表皮缺陷果和正常果。
可选地,所述方法还包括:
根据直射图像计算正常果的大小,并根据所述正常果的大小按照预设分级表进行分级。
可选地,判断柑橘表皮出现早期腐烂通过以下步骤获取:
获取柑橘荧光图像中G分量图像,并计算所述G分量图像的Mirror图像;
根据所述G分量图像和所述G分量图像的Mirror图像进行图像比运算;
利用单阈值方法构建去除背景的掩膜图像,并利用所述掩膜图像以及亮度和光谱提取柑橘的腐烂缺陷特征;
基于亮度的腐烂缺陷特征提取包括:利用所述腌膜图像相继点乘和/>的分量比图像得到荧光反射校正图像;将去除荧光反射图像进行阈值提取和开运算得到腐烂区域的二值图像;
基于光谱的腐烂缺陷特征提取包括:选择同时满足G>R和G>B的光谱点为腐烂区域像素,对所得区域进行闭运算。
可选地,判断柑橘表皮具有表皮缺陷通过以下步骤获取:
获取可见光照射下柑橘RGB图像中G分量图像和B分量图像,计算的分量比图像;
采用单阈值方法构建二值化掩膜模板,提取到去除背景的RGB掩膜图像;
将所述RGB掩膜图像转化成HSI颜色空间图像,并提取H分量图像;
对所述H分量图像执行伪彩色变化以获取伪彩色图像;
将所述伪彩色图像转变为RGB图像,从所述RGB图像中提取G分量图像G’;
对所述G分量图像G’进行单阈值计算且进行形态学去噪声得到二值化图像,所述二值化图像中的非零序区域为常见表皮缺陷区域。
由上述技术方案可知,本发明中紫外光检测设备可根据柑橘表皮的荧光特性,采集荧光图像,通过图像分析确定表皮腐烂区域,识别腐烂果,再通过卸果装置剔除表皮腐烂果;可见光检测设备可采集到果面的颜色差异,通过图像颜色空间变换和阈值分割,可判别出正常果和常见表皮缺陷果。可见,本发明通过水果的旋转和凹面镜的使用,可以采集到水果的全表面图像,从而提高检测精确度;两次不同原理与方法的检测,可以逐步剔除表皮缺陷果。另外,本发明还可以大大降低工人的劳动强度,使水果可以快速准确分级,提升产品竞争力,提高果农收益。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
图1是本发明提供的一种用于检测柑橘表皮缺陷的在线图像采集系统结构示意图;
图2是图1中紫外光检测设备结构示意图;
图3是图1中可见光检测设备结构示意图;
图4是图1中阻光拱形通道结构示意图;
图5是图1中相机外箱体结构示意图;
图6~图7是水果通过紫外光检测设备示意图;
图8是水果通过可见光检测设备示意图;
图9是早期腐烂果检测流程示意图;
图10是早期腐烂果检测结果示意图;
图11是常见缺陷果检测流程示意图;
图12是常见表皮缺陷果检测结果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例公开一种用于检测柑橘表皮缺陷的在线图像采集系统,包括紫外光检测设备、可见光检测设备和阻光外壳。阻光外壳设置在紫外光检测设备和可见光检测设备的外部,并且柑橘依次通过紫外光检测设备和可见光检测设备。紫外光检测设备用于向柑橘表皮照射紫外光以使柑橘腐败区域产生黄色荧光并实时获取所述柑橘的荧光图像;可见光检测设备用于向柑橘表皮照射可见光并获取所述柑橘旋转时不同位置的彩色图像;阻光外壳用于在柑橘通过所述紫外光检测设备和所述可见光检测设备时阻止杂散光进入。
如图1、图2、图6、图7所示,紫外光检测设备包括紫外光检测箱体1、高压紫外光水银灯管8、紫外光通过滤波板9、第一条状凹面镜10、半圆弧形紫外光反射罩11、紫外光漫反射膜12、带通滤光片13和第一工业RGB彩色相机22。其中,高压紫外光水银灯管8安装紫外光检测箱体1的顶部。当上述顶部设置有梯形时,该高压紫外水银灯管8安装在肩部(即梯形的腰),并且可发射中心波段365nm紫外光。高压紫外水银灯管8的安装高度可以调节,从而使得灯管发出的光更有效的照射在水果表皮。高压紫外光水银灯管8背面设置有半圆弧形紫外光反射罩11,该半圆弧形紫外光聚光反射罩11材质为氧化铝板,其表皮镀有耐高温层,并贴有紫外光漫反射膜12。紫外光聚光反射罩11和紫外光漫反射膜12可以使得紫外水银灯管8向四面八方发出的光,最大程度集中反射到水果表皮,增强水果表皮所接收的光照强度和光照均匀度,提高紫外荧光效果。
紫外光检测箱体1顶部为平顶,并设置有一圆形通孔平台。通孔平台上部用于安装带通滤光片13,该带通滤波片用于通过波长为530~650nm的光线,530nm以下和650nm以上全部截止。可见,通过安装带通滤波片13,可以有效地去除紫外光高压水银灯管8发出的紫外光中紫外可见光(由于制造工艺受限,紫外光光源中通常包含部分紫色可见光)。第一条状凹面镜10安装在检测箱底部中心位置两侧,两块凹面镜中间为水果输送通道,其安装α角度可以设置有0°~90°。优选为45°,此时可以以最大面积地将输送通道内的水果侧面图像呈现在第一条状凹面镜10中,并被第一工业RGB彩色相机22获取到进行缺陷识别。
如图1、图3、图8所示,可见光检测设备包括可见光检测箱体2、第二条状凹面镜(实际应用中,第二条状凹面镜与第一条状凹面镜10完全相同,后面都以第一条状凹面镜10表示)、圆形通孔14、半圆弧形可见光反射罩15、可见光漫反射膜16、阵列式LED白色点光源17、第二工业RGB彩色相机22’。
阵列式LED白色光点光源17安装在可见光检测箱体2的上端肩部,阵列式LED白色光点光源17背面设置有半圆弧形可见光反射罩14。可见光检测箱体2内部贴有可见光反射膜16,可以提高反射光的反射强度和均匀度,增加水果背光部分区域的表皮光照亮度提高检测精度。
圆形通孔14上方安装有第二工业RGB彩色相机22’,相机目镜对准圆形通孔14,以便采集箱体内通过的水果图像。第二条状凹面镜10’安装在可见光检测箱3底部中心位置两侧,两块第二条状凹面镜10’中间为水果输送通道,其安装α角度为45°左右,用以最大面积地将输送通道内的水果侧面图像呈现在凹面镜10中,可以使反射光源角度最大限度对准输送通道中通过的水果表皮,增加其光照亮度,并被第二工业RGB彩色相机22’获取到侧面图像,并进行表皮缺陷识别。
如图1、图4、图5,阻光外壳包括阻光拱形通道7和相机外箱体3。阻光拱形通道7包含三道用0.5mm厚橡胶条18制成的拱形通道门,相邻两道通道门之间距离为10cm。在柑橘果实依次通过3道通道门时,可以很好的防止外界杂散光进入检测箱体,干扰检测效果。相机外箱体3固定在紫外光检测箱体和可见光检测箱体顶部,两侧设置有可调节高度的相机固定衡杆,可以通过安装槽孔21调节相机物距高度,使相机镜头与紫外光检测设备中的带通滤光片13、可见光检测箱的圆形通孔14衔接。
本发明实施例提供的一种用于检测柑橘表皮缺陷的在线图像采集系统工作流程包括:
输送的水果在导轨4和果杯5的作用下旋转滚动,通过阻光拱形通道7进入紫外光检测箱体1,由于阻光拱形通道7长度达20cm,且具有3层橡胶条制成的通道门,可以隔离外界干扰光。
进入紫外光检测设备时,高压紫外光水银灯管发出的强紫外光的可以使得真菌感染引起的腐败柑橘其腐烂区域发出黄色的荧光,而正常果皮区域则不会发出荧光将保持较暗的表皮颜色。由于制造技术上的原因,所用高压紫外光水银灯管所发出的光虽然中心波长是365nm,但其辐射范围是320~400nm,所以紫外光中必然带着紫色的光,这样在镜头前安装的带通滤波片13可以有效地将紫色光去除,获取果皮和腐败区域对照度更为清晰的黄色荧光图像。
由于水果被传送时处于旋转翻滚状态,为了更加全面检测水果样本整个表皮区域,每个水果在旋转时拍摄3幅不同位置图像。此外,检测箱中所安装的条状凹面镜10可以呈现水果旋转过程中左右两侧的图像,第一工业RGB相机22可以记录下每一个样本在紫外光检测箱体1内的3幅直射图和6幅条状凹面镜10中的映射图像,可以全面的采集样本表皮信息,提高表皮腐烂果的识别精度。
紫外光检测箱体1内所采集的荧光图像通过计算机的分析,立刻分辨出该样本是否为腐烂样本,如果该样本是腐烂样本,则当该样本从紫外光检测箱体1通过后被卸果装置卸果,即不再进入可见光检测设备。如果该样本不是腐烂果,则该样本进入可见光检测箱体2。
可见光检测箱体2内,在阵列式LED白色光点光源17的照射下,第二工业RGB彩色相机22’采集柑橘旋转时不同位置下的3幅直射图像和6幅映像图,由于表皮缺陷果受病位置与正常表皮颜色不同,因此通过RGB图像中表皮颜色的差异可区分出常见缺陷果和正常果。当采集的可见光图像在计算机的分析后发现其表皮有缺陷,则归入缺陷果类,当样本分析后无明显缺陷,则该样本为正常果。此外,还可通过3幅直射图去计算正常果的大小,进而通过正常果的大小根据预设分级表进行果实分级。上述预设分级表是预设在计算机的正常果大小与等级对应表。
需要说明的是,本发明采集得到的紫外光检测图和可见光检测图均包含至少3幅直射图和6幅水果左右两侧位置在凹面镜10和10’中的映射图像,计算机分析所采集得到的图像时,9幅图像中任何一幅图像包含腐烂或者任何一种常见表皮缺陷时,均被判定为腐烂果或者常见表皮缺陷果。
本实施例的柑橘早期腐烂果和常见表皮缺陷果的机器视觉图像采集系统适用于不同大小和种类的柑橘类水果,能够实现自动化检测真菌感染引起的早期柑橘腐烂果和常见表皮缺陷果,筛选和分级正常果,从而提升检测表皮缺陷果的效率和准确率,降低工人的劳动强度。
第二方面,本发明还提供了一种基于上文所述的在线图像采集系统实现的检测方法,所述方法包括:
柑橘在导轨和果杯的作用下,旋转滚动地通过第一道通道门进入紫外光检测设备;
所述紫外光检测设备实时获取柑橘直射图像和映射图像;当柑橘表皮出现早期腐烂时所述荧光图像呈现为黄色;所述柑橘表皮正常时所述荧光图像为暗色;
剔除表皮腐烂果后,剩余柑橘进入可见光检测设备;
所述可见光检测设备实时获取柑橘直射图像和映射图像,并根据所述直射图像和所述映射图像进行颜色空间变换和阈值分割,确定常见表皮缺陷果和正常果。
优选地,所述方法还包括:根据3幅直射图像计算正常果的大小,并根据所述正常果的大小按照预设分级表进行分级。
实际应用中,以赣南脐橙为例,所选样本包括腐败果、多种常见表皮缺陷果(风伤、炭疽病,溃疡,裂果,蓟马,虫咬)和正常果,柑橘表皮出现早期腐烂通过以下步骤获取,如图9所示,包括:
步骤1,根据工业RGB彩色相机获取如图10-a(图10中第一列)所示的柑橘侧面的荧光图像,以及该荧光图像中G分量图像(如图10-b所示),并计算所述G分量图像的Mirror图像。
步骤2,根据上述G分量图像和上述G分量图像的Mirror图像进行图像比运算得到图像比图像(如图10-c所示)。
步骤3,利用单阈值方法(阈值T1=80)构建去除背景的掩膜图像,并利用掩膜图像以及亮度和光谱提取柑橘的腐烂缺陷特征。
基于亮度的腐烂缺陷特征提取包括:分别提供和/>的分量比图像。然后利用步骤1中上述腌膜图像相继点乘/>和/>的分量比图像得到荧光反射校正图像(如图10-d所示)。将去除荧光反射图像进行阈值提取(阈值T2=124)和开运算得到腐烂区域的二值图像(如图10-e所示)。在此,图像的乘法运算是因为水果表皮较大的曲率变化导致荧光RGB图像(如图10-a所示)各分量图像表皮灰度分布不均,从而给腐烂区域的提取造成困难,进行点乘运算可以使表皮灰度分布均匀,同时可去除荧光反射。
基于光谱的腐烂缺陷特征提取包括:选择同时满足G>R和G>B的光谱点为腐烂区域像素,对所得区域进行闭运算。本发明的发明人通过对腐烂表皮和常见缺陷表皮的光谱特性分析发现,只有早期腐烂表皮的G分量灰度值同时高于R和B的分量灰度值即G>R且G>B,而其他类型表皮缺陷则不具备这一光谱特性,因此选择同时满足G>R且G>B的光谱点即为腐烂区域像素。
为了提高腐败区域的识别成功率,本发明实施例中将亮度与光谱特征进行组合即同时满足亮度特征提取和光谱特征提取的图像像素才是腐烂区域。
需要说明的是,图10中从上到下每行分别表示:(1)正常果;(2)果梗;(3)风伤;(4)裂果;(5)蓟马;(6)虫咬;(7)溃疡;(8)早期腐烂果。
实际应用中,判断柑橘具有常见表皮缺陷通过以下步骤获取,如图11所示,包括:
步骤1,获取可见光照射下柑橘RGB图像(如图12-a所示)中G分量图像和B分量图像,计算的分量比图像。
步骤2,采用单阈值方法(阈值为145)构建二值化掩膜模板(如图12-b所示),提取到去除背景的RGB掩膜图像。
步骤3,将RGB掩膜图像转化成HSI(色调H,饱和度S和亮度I)颜色空间图像,并提取H分量图像(如图12-c所示)。需要说明的是,转化成HSI颜色空间图像是因为水果表皮曲率变化较大,导致RGB图像各分量图像表皮灰度分布不均,会给缺陷区域提取造成困难。另外,提取H分量图像是由于H分量为HSI空间中的色调分量,其对水果表皮较大曲率变化造成的可见光强度照射下不均的敏感性较低。
步骤4,对H分量图像执行伪彩色变化以获取伪彩色图像(图12-d所示)。
步骤5,将伪彩色图像转变为RGB图像,并从该RGB图像中提取G分量图像G’(如图12-e所示)。由图12-e可见,常见缺陷区域的果皮和正常果皮区域对照度明显。
步骤6,对G分量图像G’进行单阈值计算(阈值为150)快速分割并进行形态学去噪得到二值化图像(图12-f)。该二值化图像中的非零序区域为常见表皮缺陷区域(图12-g)。从结果可以看出,多种常见缺陷果的缺陷区域均能够有效地被检测到。
需要说明的是,图12中从上到下每行分别表示:(1)正常果,(2)风伤,(3)炭疽病,(4)溃疡,(5)裂果,(6)蓟马,(7)虫咬
由上可以看出,本发明实施例提供的检测方法基于上文所述的在线图像采集系统实现,因而可以解决同样的技术问题,并取得相同的技术效果,在此不再一一赘述。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (7)

1.一种用于检测柑橘表皮缺陷的在线图像采集系统的检测方法,其特征在于,所述系统包括紫外光检测设备,可见光检测设备和阻光外壳;所述阻光外壳设置在所述紫外光检测设备和所述可见光检测设备的外部,并且柑橘依次通过所述紫外光检测设备和所述可见光检测设备;
所述紫外光检测设备用于向柑橘表皮照射紫外光以使柑橘腐败区域产生黄色荧光并实时获取柑橘旋转状态下不同位置的荧光图像;
所述可见光检测设备用于向柑橘表皮照射可见光并获取所述柑橘旋转时不同位置的彩色图像;
所述阻光外壳用于在柑橘通过所述紫外光检测设备和所述可见光检测设备时阻止杂散光进入;
所述方法包括:
柑橘在导轨和果杯的作用下,旋转滚动地通过第一道通道门进入紫外光检测设备;
所述紫外光检测设备实时获取柑橘直射图像和映射图像;当柑橘表皮出现早期腐烂时所述荧光图像呈现为黄色;所述柑橘表皮正常时所述荧光图像为暗色;
剔除表皮腐烂果后,剩余柑橘进入可见光检测设备;
所述可见光检测设备实时获取柑橘直射图像和映射图像,并根据所述直射图像和所述映射图像进行颜色空间变换和阈值分割,确定常见表皮缺陷果和正常果;
其中,判断柑橘表皮出现早期腐烂通过以下步骤获取:
获取柑橘荧光图像中G分量图像,并计算所述G分量图像的Mirror图像;
根据所述G分量图像和所述G分量图像的Mirror图像进行图像比运算;
利用单阈值方法构建去除背景的掩膜图像,并利用所述掩膜图像以及亮度和光谱提取柑橘的腐烂缺陷特征;
基于亮度的腐烂缺陷特征提取包括:利用所述掩膜图像相继点乘和/>的分量比图像得到荧光反射校正图像;将去除荧光反射图像进行阈值提取和开运算得到腐烂区域的二值图像;
基于光谱的腐烂缺陷特征提取包括:选择同时满足G>R和G>B的光谱点为腐烂区域像素,对所得区域进行闭运算。
2.根据权利要求1所述的在线图像采集系统的检测方法,其特征在于,所述紫外光检测设备包括:紫外光检测箱体、多条高压紫外光水银灯管、多个紫外光通过滤波板、至少两个第一条状凹面镜、至少两个半圆弧形紫外光反射罩、紫外光漫反射膜、带通滤光片和第一工业RGB彩色相机;
所述紫外光检测箱体相对的两个侧面分别设置有进口和出口,其他两个侧面上设置有紫外光漫反射膜;所述紫外光检测箱体的顶部固定有多条高压紫外光水银灯管,所述高压紫外光水银灯管与所述进口和出口所在直线方向相同;在多条高压紫外光水银灯管的外部设置有紫外光通过滤波板,在所述紫外光通过滤波板与所述顶部之间设置有半圆弧形紫外光反射罩;在所述紫外光检测箱体顶部还设置有带通滤光片;第一条状凹面镜设置在所述紫外光检测设备底部中心线位置的两侧形成柑橘输送通道,所述中心线与所述进口和出口所在直线方向相同;所述第一工业RGB彩色相机固定在所述紫外光检测箱体的顶部;
所述高压紫外光水银灯管用于发射紫外光;
所述半圆弧形紫外光反射罩将向四面八方的紫外光集中反射到柑橘表皮,以增强柑橘表皮接收的光照强度和光照均匀度并提高紫外荧光效果;
所述至少两个第一条状凹面镜用于在柑橘通过所述柑橘输送通道时呈现所述柑橘侧面的荧光图像;
所述第一工业RGB彩色相机用于实时获取所述荧光图像。
3.根据权利要求2所述的在线图像采集系统的检测方法,其特征在于,所述可见光检测设备包括:可见光检测箱体、至少两个第二条状凹面镜、半圆弧形可见光反射罩、可见光漫反射膜、阵列式LED白色点光源和第二工业RGB彩色相机;
所述可见光检测箱体相对的两个侧面分别设置有进口和出口,其他两个侧面上设置有可见光漫反射膜;所述可见光检测箱体的顶部固定有阵列式LED白色点光源,所述阵列式LED白色点光源与所述进口和出口所在直线方向相同;在所述阵列式LED白色点光源与所述可见光检测箱体的顶部之间设置有半圆弧形可见光反射罩;在所述可见光检测箱体的顶部通过圆形通孔固定所述第二工业RGB彩色相机;至少两个第二条状凹面镜设置在所述可见光检测设备底部中心线位置的两侧形成柑橘输送通道,所述可见光检测设备底部中心线与所述进口和出口所在直线方向相同;
所述阵列式LED白色点光源用于发射可见光;
所述半圆弧形可见光反射罩将向四面八方的可见光集中反射到柑橘表皮,增强柑橘表皮反射光的反射强度和均匀度以增加柑橘背光区域的表皮光照亮度与检测精度;
所述至少两个第二条状凹面镜用于在柑橘通过所述柑橘输送通道时呈现所述柑橘侧面的图像;
所述第二工业RGB彩色相机用于实时获取所述柑橘侧面的图像。
4.根据权利要求3所述的在线图像采集系统的检测方法,其特征在于,所述第一条状凹面镜和所述第二条状凹面镜的安装角度为45度;
和/或,
所述阻光外壳包括阻光拱形通道和相机外箱体;
所述阻光拱形通道设有三道用0.5mm厚橡胶皮条制成的通道门;相邻两道通道门之间距离为10cm;
所述相机外箱体固定在所述紫外光检测设备和所述可见光检测设备的上部;并且所述相机外箱体两侧还设置有横杆,所述横杆上设置有可调节高度的相机固定钢架和槽孔,用于调节所述第一工业RGB彩色相机和/或所述第二工业RGB彩色相机的高度;
所述带通滤光片与所述第一工业RGB彩色相机镜头的中心位置在同一条垂直线上。
5.根据权利要求2所述的在线图像采集系统的检测方法,其特征在于,所述带通滤光片允许波长为530~650nm的光线通过;所述高压紫外光水银灯管能够发出主峰为365nm的紫外光。
6.根据权利要求1所述的检测方法,其特征在于,所述方法还包括:
根据直射图像计算正常果的大小,并根据所述正常果的大小按照预设分级表进行分级。
7.根据权利要求1所述的检测方法,其特征在于,判断柑橘表皮具有表皮缺陷通过以下步骤获取:
获取可见光照射下柑橘的RGB图像中G分量图像和B分量图像,计算的分量比图像;
采用单阈值方法构建二值化掩膜模板,提取到去除背景的RGB掩膜图像;
将所述RGB掩膜图像转化成HSI颜色空间图像,并提取H分量图像;
对所述H分量图像执行伪彩色变化以获取伪彩色图像;
将所述伪彩色图像转变为RGB图像,从所述RGB图像中提取G分量图像G’;
对所述G分量图像G’进行单阈值计算且进行形态学去噪声得到二值化图像,所述二值化图像中的非零序区域为常见表皮缺陷区域。
CN201610755270.2A 2016-08-29 2016-08-29 用于检测柑橘表皮缺陷的在线图像采集系统及方法 Active CN106442561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610755270.2A CN106442561B (zh) 2016-08-29 2016-08-29 用于检测柑橘表皮缺陷的在线图像采集系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610755270.2A CN106442561B (zh) 2016-08-29 2016-08-29 用于检测柑橘表皮缺陷的在线图像采集系统及方法

Publications (2)

Publication Number Publication Date
CN106442561A CN106442561A (zh) 2017-02-22
CN106442561B true CN106442561B (zh) 2023-10-31

Family

ID=58091538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610755270.2A Active CN106442561B (zh) 2016-08-29 2016-08-29 用于检测柑橘表皮缺陷的在线图像采集系统及方法

Country Status (1)

Country Link
CN (1) CN106442561B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109709075A (zh) * 2018-12-11 2019-05-03 华南理工大学 一种基于点光谱检测器获取面光谱的装置及方法
CN109709103B (zh) * 2019-01-17 2020-08-11 北京农业智能装备技术研究中心 一种环形条纹打光成像的柑橘早期腐果识别系统及方法
JP7217668B2 (ja) * 2019-05-27 2023-02-03 株式会社日立ハイテク 光源および生化学分析装置
CN111318461A (zh) * 2020-03-11 2020-06-23 河南理工大学 一种基于机器视觉的煤矸石分拣系统
CN111522193B (zh) * 2020-04-15 2021-04-23 中国农业大学 一种利用凹面镜采集球形物料全部表面图像的方法
CN111521609B (zh) * 2020-05-06 2023-07-18 宁波九纵智能科技有限公司 一种同时控制图像采集装置和打光装置的系统及方法
CN111855695B (zh) * 2020-07-24 2024-03-19 北京领邦智能装备股份公司 工件侧周成像系统
CN113176280B (zh) * 2021-04-13 2022-04-19 合肥市商巨智能装备有限公司 液晶面板分层检测设备及方法
CN113418870A (zh) * 2021-04-25 2021-09-21 鲁健检测科技有限公司 一种水果质量检测系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4726898A (en) * 1982-09-30 1988-02-23 Pennwalt Corporation Apparatus for spinning fruit for sorting thereof
US5791497A (en) * 1996-05-08 1998-08-11 Src Vision, Inc. Method of separating fruit or vegetable products
US5845002A (en) * 1994-11-03 1998-12-01 Sunkist Growers, Inc. Method and apparatus for detecting surface features of translucent objects
WO2006058406A1 (en) * 2004-12-02 2006-06-08 N. M. Bartlett Inc. Systems and methods for defect sorting of produce
CN101085442A (zh) * 2006-06-06 2007-12-12 中国农业大学 基于rgb复合模型的柑橘图像处理分级的方法
CN101678405A (zh) * 2007-02-27 2010-03-24 罗达伊比利亚有限公司 柑橘类腐果自动筛分系统
CN102854192A (zh) * 2012-08-22 2013-01-02 北京农业智能装备技术研究中心 一种苹果表面缺陷检测系统和方法
JP2013231668A (ja) * 2012-04-27 2013-11-14 Shibuya Seiki Co Ltd 農産物検査装置及び農産物検査方法
CN203502362U (zh) * 2013-10-14 2014-03-26 苏州汇科机电设备有限公司 匣钵裂纹检查装置
CN204227212U (zh) * 2014-11-27 2015-03-25 南京农业大学 用于在线检测农产品质量的灯箱
JP2015184071A (ja) * 2014-03-20 2015-10-22 シブヤ精機株式会社 農産物検査装置及び農産物検査方法
CN105046700A (zh) * 2015-07-09 2015-11-11 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN105427274A (zh) * 2015-10-28 2016-03-23 北京农业智能装备技术研究中心 一种由青霉感染引起腐烂的柑橘图像检测方法
CN206132659U (zh) * 2016-08-29 2017-04-26 北京农业智能装备技术研究中心 用于检测柑橘表皮缺陷的在线图像采集系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2468395B1 (es) * 2012-11-16 2014-12-16 Citrodiagnosis Selectiva S.L. Máquina automática para la inspección, detección y separación de frutos en fresco en su valoración cualitativa relativa al podrido y defectos externos

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4726898A (en) * 1982-09-30 1988-02-23 Pennwalt Corporation Apparatus for spinning fruit for sorting thereof
US5845002A (en) * 1994-11-03 1998-12-01 Sunkist Growers, Inc. Method and apparatus for detecting surface features of translucent objects
US5791497A (en) * 1996-05-08 1998-08-11 Src Vision, Inc. Method of separating fruit or vegetable products
WO2006058406A1 (en) * 2004-12-02 2006-06-08 N. M. Bartlett Inc. Systems and methods for defect sorting of produce
CN101085442A (zh) * 2006-06-06 2007-12-12 中国农业大学 基于rgb复合模型的柑橘图像处理分级的方法
CN101678405A (zh) * 2007-02-27 2010-03-24 罗达伊比利亚有限公司 柑橘类腐果自动筛分系统
JP2013231668A (ja) * 2012-04-27 2013-11-14 Shibuya Seiki Co Ltd 農産物検査装置及び農産物検査方法
CN102854192A (zh) * 2012-08-22 2013-01-02 北京农业智能装备技术研究中心 一种苹果表面缺陷检测系统和方法
CN203502362U (zh) * 2013-10-14 2014-03-26 苏州汇科机电设备有限公司 匣钵裂纹检查装置
JP2015184071A (ja) * 2014-03-20 2015-10-22 シブヤ精機株式会社 農産物検査装置及び農産物検査方法
CN204227212U (zh) * 2014-11-27 2015-03-25 南京农业大学 用于在线检测农产品质量的灯箱
CN105046700A (zh) * 2015-07-09 2015-11-11 北京农业智能装备技术研究中心 基于亮度校正与颜色分类的水果表面缺陷检测方法及系统
CN105427274A (zh) * 2015-10-28 2016-03-23 北京农业智能装备技术研究中心 一种由青霉感染引起腐烂的柑橘图像检测方法
CN206132659U (zh) * 2016-08-29 2017-04-26 北京农业智能装备技术研究中心 用于检测柑橘表皮缺陷的在线图像采集系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于类球形亮度变换的水果表面缺陷提取;黄文倩;李江波;张驰;李斌;陈立平;张百海;;农业机械学报(12);全文 *
基于计算机视觉的香菇缺陷检测;李江波;王靖宇;苏忆楠;饶秀勤;;包装与食品机械(05);全文 *
基于高光谱成像技术检测脐橙溃疡;李江波;饶秀勤;应义斌;王东亭;;农业工程学报(08);全文 *

Also Published As

Publication number Publication date
CN106442561A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106442561B (zh) 用于检测柑橘表皮缺陷的在线图像采集系统及方法
Li et al. Fast detection and visualization of early decay in citrus using Vis-NIR hyperspectral imaging
Cubero et al. Automated systems based on machine vision for inspecting citrus fruits from the field to postharvest—a review
Blasco et al. Citrus sorting by identification of the most common defects using multispectral computer vision
Li et al. Multispectral detection of skin defects of bi-colored peaches based on vis–NIR hyperspectral imaging
Qin et al. Detection of citrus canker using hyperspectral reflectance imaging with spectral information divergence
Wang et al. Detection of external insect infestations in jujube fruit using hyperspectral reflectance imaging
Baiano et al. Application of hyperspectral imaging for prediction of physico-chemical and sensory characteristics of table grapes
Lorente et al. Early decay detection in citrus fruit using laser-light backscattering imaging
Bennedsen et al. Performance of a system for apple surface defect identification in near-infrared images
Blasco et al. Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological features
CA2685158C (en) Simultaneous acquisition of fluorescence and reflectance imaging techniques with a single imaging device
CN105427274B (zh) 一种由青霉感染引起腐烂的柑橘图像检测方法
Sun et al. Detecting decayed peach using a rotating hyperspectral imaging testbed
CN206132659U (zh) 用于检测柑橘表皮缺陷的在线图像采集系统
Li et al. Detection of early decay in navel oranges by structured-illumination reflectance imaging combined with image enhancement and segmentation
Yin et al. Detection of early bruises on loquat using hyperspectral imaging technology coupled with band ratio and improved Otsu method
CN106568784A (zh) 一种用于果蔬表面缺陷在线检测的多光谱成像系统及实现方法
DONG et al. Detection of thrips defect on green-peel citrus using hyperspectral imaging technology combining PCA and B-spline lighting correction method
Torres et al. Setting up a methodology to distinguish between green oranges and leaves using hyperspectral imaging
Li et al. Two-wavelength image detection of early decayed oranges by coupling spectral classification with image processing
Yin et al. Hyperspectral classification for identifying decayed oranges infected by fungi
Zhao et al. Effect of fruit harvest time on citrus canker detection using hyperspectral reflectance imaging
Ariana et al. Integrating reflectance and fluorescence imaging for apple disorder classification
Puchalski et al. Image analysis for apple defect detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant