CN105092579A - 一种芒果品质无损检测设备 - Google Patents

Abstract

本发明公开了一种多源信息融合的芒果内外品质智能自动检测设备，该设备包括光照系统、高光谱成像系统、仿生电子鼻系统、分析处理及控制单元。该设备是将各分离的传感器采集的信息进行合理筛选以及优化组合，以便容错、互补进行综合决策，进而提高判别的精度和提高整个融合系统的有效性。从而建立一种高精确度、高鲁棒性、客观、快速的自动评价体系。该检测设备检测结果一致性好，自动化程度高，可实现非接触式，无损检测，解放劳动力，排除人为主观因素，可提高生产效率，降低生产成本。

Description

一种芒果品质无损检测设备

技术领域

本发明涉及自动化检测设备，尤其是一种基于高光谱成像系统和气味传感器多源信息融合的芒果品质无损检测设备。

背景技术

目前，国内外芒果的产后自动化检测处理的研究和成果相对较少。特别是芒果的缺陷检测方面，主要靠人的肉眼判别。为此，如何充分探索和挖掘科学的方法对芒果各项品质特征信息进行智能自动化地提取、分析和综合评价，判别芒果的品质级别，是使用现代化技术改进芒果产后处理加工的一个重要方法。

由于计算机技术和电子技术快速发展，水果外部品质的检测技术的发展现在已日益成熟，以计算机视觉为基础的光电分级在水果外部品质检测领域进行了广泛的应用，国内中国农业大学、浙江大学、华南农业大学、江苏大学等高校已自行开发研制了多种基于计算机视觉技术的水果外部品质在线检测分级系统，并进行产业化，一次性地自动完成水果大小、形状、颜色、果面缺陷等外部品质的检测与评判，大大提高分选精度。

王江枫等人[1]、PanitnatYimyam等人[2]、张立华[3]等、黄勇平等人[4]分别研究了基于计算机视觉技术的芒果重量及果面缺陷与坏损检测的方法和应用；泰国和日本的学者Sirinnapa和SumioKawano等[5]共同利用短波近红外光谱(700～1100nm)对芒果进行了透射谱分析，并分别建立了干物质含量、可溶性固形物和透射光谱的数学模型，相关系数分别为0.96和0.93；虞佳佳等人[6]、曹霞等人[7]分别应用近红外光谱数据分析技术进行芒果酸度和糖度的无损检测研究；屠振华等人[8]应用近红外定量分析技术开展了芒果内部品质的检测研究，用偏最小二乘回归方法在580～1000nm光谱范围内，分别建立了芒果可溶性固形物(糖度)和硬度的近红外定量分析模型；惠国华等人分别研究了用电子鼻和声表面波探测试检测芒果新鲜度的方法，并申请相关专利(惠国华、吴玉玲、叶丹丹、丁文雯，一种利用电子鼻检测芒果新鲜度的方法，申请公布号CN102621192A；惠国华、丁文雯、叶丹丹、吴玉玲，一种利用声表面波探测仪检测芒果新鲜度的方法，申请公布号CN102608215A)；张烈平等人[9]、杨志伟等人[10]分别利用计算机视觉分析技术对芒果进行自动检测和分类进行了研究，但检测对象和分类依据仅仅是利用芒果表面特征，未考虑芒果的内部品质特征。

尽管以传统计算机视觉为基础的水果外部品质检测技术已逐渐成熟，但其对水果的内部品质检测却无能为力。机器视觉分析检测技术仅仅能检测外部颜色、形状、大小和表面缺陷，而容易将缺陷区与，不易检测轻微损伤、内部损伤和病害感染等内部缺陷；内部缺陷检测常采用破坏性方法进行抽检，水果一旦被破坏,就失去商业价值，且这种方法并不能保证未抽检到的水果无缺陷。光谱技术尤其近红外光谱技术是依据某一化学成分对近红外光谱的吸收特征特性而进行的定量测定，非常适合水果物理和化学成分检测、水果变质类型的缺陷检测，如腐烂缺陷等。但近红外光谱技术不能采集被测对象的空间信息，只能在一个区域中来进行检测，这样可能造成较大的误差，且容易受环境因素(如温度和湿度等因素影响)影响而可能带来大量噪声干扰信息，而影响检测的效率和精度。

参考文献：

[1]王江枫,罗锡文,洪添胜等.计算机视觉技术在芒果重量及果面坏损检测中的应用.农业工程学报.1998,14(4):186－18

[2]PYimyam,TChalidabhongse,PSirisomboon,eta.lPhysicalpropertiesanalysisofmangousingcomputervision[C]//ProceedingofInternationalConferenceonControlAutomationandSystems(ICCAS.05).Korea,2005.

[3]张立华，基于计算机视觉的芒果表面缺陷检测方法研究[D]，南宁：广西大学，2006

[4]黄勇平,章程辉,刘静.应用计算机视觉对芒果表面缺陷的判别研究[J],福建热作科技,2008,33(1):4-6.

[5]SirinnapaSaranwong,JindaSornsrivichai,SumioKawano.Predictionofripe-stageeatingqualityofmangofruitfromitsharvestqualitymeasurednondestructivelybynearinfraredspectroscopy[J].PostharvestBiologyandTechnology,2004,31(2):137-145

[6]虞佳佳,何勇,鲍一丹.基于光谱技术的芒果糖度酸度无损检测方法研究[J],光谱学与光谱分析,2008,128(112):2839-2842.

[7]曹霞,周学成,范品良.基于近红外漫反射光谱技术的芒果糖度无损检测方法研究[J],农机化研究,2013,1:177-180.

[8]屠振华,籍保平,孟超英,朱大洲,史波林,庆兆坤.芒果内部品质的CCD-NIR无损检测试验研究[J],光谱学与光谱分析,2008,28(10):111-112.

[9]张烈平,曾爱群,陈婷.基于计算机视觉和神经网络的芒果检测与等级分类[J],农机化研究,2008,10:57-60.(通过对获取的芒果表面图像进行处理,提取了9个特征参数,较全面地描绘了芒果的几何征,以各特征参数作为输入,创建了基于MATLAB的3层BP神经网络模型识别芒果的表面缺陷)

[10]杨志伟,尹秀华.图像处理在芒果自动选别中的应用[J],湖北农业科学,2009,48(8):1992-1995.(拍摄数字相片，以计算机图像分析技术为手段，采集芒果颜色参数。研究3种颜色模型中与芒果品质变化相关的颜色特征量，归纳出合适的颜色参数与芒果品质指标值间关系式，用于推导芒果的成熟度；并经图像处理和运算，抽取出所需的几何尺寸和突变部位的数据，作为样品分级的依据)

唐会周.电子鼻在水果品质评价体系中应用的研究进展[J],包装与食品机械,2011,29(1):51-54

发明内容

本发明所要解决的技术问题在于提供一种检测结果更加准确的无损检测设备，从图像、光谱和气味等多个角度获取芒果的相关信息，并将多种信息融合起来对芒果品质进行智能自动化检测的设备。为了实现发明目的本发明通过高光谱成像系统获取芒果的图像信息，再从图像信息中提取出芒果的外部特征，并采集到芒果的光谱信息，从光谱信息中提取出芒果的内部特征；从气味传感器中采集气味传感器对芒果挥发出来的气味响应谱信息，从中提取出芒果挥发出来的气味的成分和浓度等特征信息判断芒果部分内部品质；最后，将芒果的图像特征和光谱特征和气味特征通过信息融合技术，对芒果的内外综合品质进行分级判别。

高光谱图像技术融合了光谱和图像两种技术的优点，其检测的水果产品信息既有图像信息又有光谱信息，能够为水果内外品质检测提供详尽的信息，使得检测更加准确。随着科技的进步以及信息时代的来临，此理论必将越来越成熟，国内外已经有了许多有关高光谱图像技术无损检测水果品质的文献，但尚未可查到的高光谱图像技术应用于芒果品质无损检测方面的研究成果。

电子鼻是一种新颖的分析、识别和检测复杂气味和挥发性成分的虚拟人工嗅觉系统，是一种绿色检测技术，能够克服传统方法测定芳香物质和评价水果质量体系的一些不足。电子鼻系统具有客观、准确、快捷、全面地评价气味并且具有不破坏样品和重复性好的特点,可运用于对水果品质评价体系中，但与传统的评价方法相比，电子鼻的准确度仍有所欠缺[11]。

本发明通过利用高光谱图像技术和电子鼻技术实现视和嗅觉多源信息有机结合，充分利用计算机视觉技术、光谱分析和气味分析技术的性质和特点，实现容错和优势互补，进行综合决策，进而提高芒果内外综合品质判别的精度、准确度和高鲁棒性。

为了实现上述发明目的，本发明提供了一种芒果品质无损检测设备，包括光照系统、高光谱成像系统、仿生电子鼻系统、分析处理及控制单元和通讯线路，其特征在于：所述光照系统包括电源(8)、光照箱(9)、卤钨灯光源构成(10)，卤钨灯光源安装在光照箱内部并通过通讯线路(23)与分析处理及控制单元连接；所述高光谱成像系统该系统由图像信息传感器和光谱信息传感器构成，具体包括摄像机(14)、光谱仪(15)和数据采集程序等，高光谱成像系统安装在光照箱内部上方，通过通讯线路与分析处理及控制单元连接；所述仿生电子鼻系统包括密闭室(16)、底部拉闸式托板(17)、滤网(18)、气体检测室(19)、气体传感器阵列(20)、孔透挡板(21)、透风扇(22)，仿生电子鼻系统通过通讯线路与分析处理及控制单元连接；所述分析处理及控制单元包括监视器(24)、计算机(25)及相应软件和程序；通过通讯线路(23)与各传感器相连接，处理加工从各传感器中的获得的数据，并控制检测装置上其他模块的工作状态，并设有和用于分析处理各种数据的软件和用于芒果品质综合评价的一组模型；并通过有线或无线的方式将检测装置的检测结果输出；所述通讯线路，用于连接本发明装置的各个部分，完成装置各部分的导电和通讯功能。

该设备优选还包括一个芒果的传送系统(2)，该传送系统包括输送装置(11)、转速控制装置(12)和定位装置(13)，并通过通讯线路与分析处理及控制单元连接。

为了实现以上的木本发明提供了一种检测装置。该装置，主要包括光照系统、高光谱成像系统(包括图像信息传感器、光谱信息传感器)、仿生电子鼻系统、分析处理及控制单元、通讯线路，其中：

光照系统：主要部件包括电源系统、光照箱、卤钨灯等，主要是为传感器提供所需的光照条件。在光照箱内，卤钨灯安装在半球形反射板中心，半球形反射板上装有调节螺杆，光照箱一侧装有活动板与光照箱铰接，通过通讯线路与分析处理及控制单元连接；

高光谱成像系统：主要部件包括摄像机、光谱仪和数据采集程序等，高光谱成像系统安装在光照箱内部上方，通过通讯线路与分析处理及控制单元连接；

仿生电子鼻系统：主要部件包括密闭室、底部拉闸式托板(当芒果移动到密闭室位置时，底部拉闸式托板打开，并把芒果推进密闭室内，然后封闭密闭室底部)、滤网、气体检测室、气体传感器阵列、孔透挡板、风扇等，仿生电子鼻系统通过通讯线路与分析处理及控制单元连接；当芒果移动到密闭室位置时，底部拉闸式托板打开，并把芒果推进密闭室内，然后封闭密闭室底部；

分析处理及控制单元：主要部件包括监视器、计算机及相应软件和程序；通过通讯线路与各传感器相连接，处理加工从各传感器中的获得的数据，并控制检测装置上其他模块的工作状态，并设有和用于分析处理各种数据的软件和用于芒果品质综合评价的一组模型；并通过有线或无线的方式将检测装置的检测结果输出；

通讯线路：用于连接本发明装置的各个部分，完成装置各部分的导电和通讯功能。

为了实现芒果的流水作业，本发明还可以包括一个传送系统：主要部件包括链式输送装置、芒果转速控制装置和芒果定位装置等，光照箱安装在链式输送装置的上方，定位装置链式输送装置的输送带上，安装在芒果转速控制装置安装在由链式输送装置形成的环内，位于光照箱下方及仿生电子鼻系统密闭室下方，芒果放在传送系统的传送带上并随传送带运动而进入光照箱和密闭室内，通过通讯线路与分析处理及控制单元连接；

本发明还提供了一种芒果品质无损检测设备，包括以下步骤：

步骤1，芒果样品选择，由人工选取一批某一品种的成熟芒果作为训练样本，并对这些芒果的品质进行人工标记；

步骤2，对芒果进行光谱和图像信息的采集；

步骤3，对谱和图像信息处理；

步骤4，对光谱和图像信息的提取；

步骤5，利用仿生电子鼻采集芒果的气味信息；

步骤6，对芒果的气味特征信息进行提取；

步骤7，经过处理和提取的高光谱和气味信息进行多源信息特征融合；

步骤8，构建芒果品质多源信息融合评价模型；

步骤9，对待检测的芒果依次进行步骤(2)到步骤(7)的操作处理；

步骤10，将步骤(9)所得结果输入步骤(8)所得的模型进行评价，最后得到评价模型输出的芒果品质判定结果。

所述步骤1中样品优选至少选取30个。

步骤3中所述光谱信息的处理方法是数据曲线黑白校正或Savitzky-Golay卷积平滑法。

步骤3中所述图像信息的处理方法包括图像校正、图像消噪、特征波段区域的图像提取、图像增强和内容分析处理。

步骤4中所述高光谱信息的提取包括芒果的果核尺寸、酸度、硬度和可溶性固形物的信息。

步骤4中所述图像信息提取包括芒果的尺寸、果形、着色、外表缺陷特征参数及缺陷区域几何状态的信息。

步骤6中所述信息包括芒果的成熟度、腐烂腐败信息和病虫害信息。

步骤7中所述融合的方法是通过统一法则映射到高维空间进行多源信息特征融合处理。

步骤8中所述构建模型的方法是通过非线性建模。

本发明提供了一种多源信息融合的芒果内外品质智能自动检测设备及其使用方法，将各分离的传感器采集的信息进行合理筛选以及优化组合，以便容错、互补进行综合决策，进而提高判别的精度和提高整个融合系统的有效性。建立一种高精确度、高鲁棒性、客观、快速的自动评价体系，从而极大提高芒果产后处理加工的自动化水平和智能水平，具有显著的经济效益和社会效益。

本发明的有益效果是：1、克服了单纯依靠某种单一的自动检测方法的不足，能从芒果的图像信息、光谱信息、气体挥发物信息等多个角度获取芒果内外品质的相关信息，并将多种信息融合起来进行智能检测，利用上述3种信息的互补性和冗余性，各信息间相互进行实证检验，相互弥补，进而提高检测设备检测芒果内外品质的准确性，避免了检测设备检测过程中的盲目性；2、可将相应的装置安装在实验室和芒果后加工处理生产线上实现在线自动检测，辅助和代替专业人员，与人工感官检测方法相比，检测结果一致性好，自动化程度高，可实现非接触式，无损检测，解放劳动力，排除人为主观因素，可提高生产效率，降低生产成本。

附图说明：

图1是本发明实施例1结构示意图；

图2是基于视觉和嗅觉多源信息融合的芒果内外品质无损检测方法的基本流程图；

图3是高光谱数据预处理过程图；

图4是高光谱图像预处理过程图；

图5是多源特征信息提取思路图；

图中，电源系统8，光照箱9，卤钨灯10，链式输送装11，芒果转速控制12，芒果定位13，摄像14，光谱仪15，密闭16，底部拉闸式托17，滤网18，气体检测室19，气体传感器阵列20，孔透挡板21，透风扇22，通讯线路23，监视器24，计算25。

具体实施方式：

如图1所示，一种芒果品质无损检测装置，包括光照系统、高光谱成像系统、仿生电子鼻系统、分析处理及控制单元和通讯线路，其特征在于：所述光照系统包括电源(8)、光照箱(9)、卤钨灯光源构成(10)，卤钨灯光源安装在光照箱内部并通过通讯线路(23)与分析处理及控制单元连接；所述高光谱成像系统该系统由图像信息传感器和光谱信息传感器构成，具体包括摄像机(14)、光谱仪(15)和数据采集程序等，高光谱成像系统安装在光照箱内部上方，通过通讯线路与分析处理及控制单元连接；所述仿生电子鼻系统包括密闭室(16)、底部拉闸式托板(17)、滤网(18)、气体检测室(19)、气体传感器阵列(20)、孔透挡板(21)、透风扇(22)，仿生电子鼻系统通过通讯线路与分析处理及控制单元连接；所述分析处理及控制单元包括监视器(24)、计算机(25)及相应软件和程序；通过通讯线路(23)与各传感器相连接，处理加工从各传感器中的获得的数据，并控制检测装置上其他模块的工作状态，并设有和用于分析处理各种数据的软件和用于芒果品质综合评价的一组模型；并通过有线或无线的方式将检测装置的检测结果输出；所述通讯线路，用于连接本发明装置的各个部分，完成装置各部分的导电和通讯功能。

本发明具体装置主要部件包括电源系统8，光照箱9，卤钨灯10，链式输送装11，芒果转速控制12，芒果定位13，摄像14，光谱仪15，密闭16，底部拉闸式托17，滤网18，气体检测室19，气体传感器阵列20，孔透挡板21，透风扇22，通讯线路23，监视器24，计算25，以及相关的软件、控制程序、数据采集程序和数据处理与建模程序等。本设备的使用方法包括两个大的步骤其一是样品的训练的建模过程101和芒果检测过程102，然后将102锁的结果代入101过程生成的模型中得到具体的检测结果，具体过程如下：

(1)由人工按照国家或行业有关芒果品质标准选取一批某一品种的成熟芒果作为训练样本，并对这些芒果的品质进行人工标记，每个品质类别选择30个的芒果样本；

(2)利用高光谱成像系统采集芒果的光谱数据信息和图像信息；并用仿生电子鼻系统的气味传感器采集芒果挥发出来的气味响应谱数据信息；

(3)光谱数据预处理，包括数据曲线黑白校正和用Savitzky-Golay卷积平滑法(更多Savitzky-Golay卷积平滑法的细节请参考梁逸咨和俞汝勤编著的《分析化学手册(10)――化学计量学》.北京:化工出版社,2001)去除光谱成图像信息中的非品质信息的影响(如表面不均勾引起的散射影响)以及仪器噪音和暗电流巧引起的光谱曲线基线漂移和不重复现象、不同成分之间相互千扰引起的多重共线性和背景因素对光谱曲线的影响，并进行光谱曲线分析，寻找并选择各类品质芒果光谱曲线有显著差别的波段作为特征波段(具体步骤和思路如图4)；

其中，Savitzky-Golay卷积平滑法的计算公式如下：

${X_m}^{*}=\underset{n=-r}{\overset{r}{\mathrm{\Σ}}}{X}_{n+m}{W}_n/\underset{n=-r}{\overset{r}{\mathrm{\Σ}}}{W}_n$

(4)图像预处理，包括图像校正、图像消噪、特征波段感兴趣区域的图像提取、图像增强和内容分析等处理(具体步骤和思路如图5)；

(5)进行光谱特征信息提取、图像特征信息提取和气味特征信息提取操作，包括以下操作内容(具体步骤和思路如图6)：

①从高光谱数据中分析并提取的特征信息包括芒果的果核尺寸、酸度、硬度和可溶性固形物等特征信息；

②从高光谱图像中分析并提取的特征信息包括芒果的尺寸、果形、着色、外表缺陷特征参数及缺陷区域几何状态等特征信息；

③从气味传感器的芒果气味响应谱数据分析并提取的特征信息包括芒果的成熟度、腐烂腐败信息和病虫害信息等特征信息；

(6)进行多源信息特征融合。将提取的光谱特征信息、图像特征信息和气味特征信息通过统一法则映射到高维空间进行多源信息特征融合处理；

(7)用主成分分析法抽象出若干关键虚拟特征变量表征高维的融合特征空间，以便利于建模操作和提高模型质量；

(8)利用神经网络等非线性建模方法，构建芒果品质多源信息融合评价模型；

(9)对待检测的芒果依次进行步骤(2)到步骤(7)的操作处理；

(10)将步骤(9)所得结果输入步骤(8)所得的模型进行评价，最后得到评价模型输出的芒果品质判定结果。

Claims (3)

1.一种芒果品质无损检测设备，包括光照系统、高光谱成像系统、仿生电子鼻系统、分析处理及控制单元和通讯线路，其特征在于：所述光照系统包括电源(8)、光照箱(9)、卤钨灯光源构成(10)，卤钨灯光源安装在光照箱内部并通过通讯线路(23)与分析处理及控制单元连接；所述高光谱成像系统该系统由图像信息传感器和光谱信息传感器构成，具体包括摄像机(14)、光谱仪(15)和数据采集程序等，高光谱成像系统安装在光照箱内部上方，通过通讯线路与分析处理及控制单元连接；所述仿生电子鼻系统包括密闭室(16)、底部拉闸式托板(17)、滤网(18)、气体检测室(19)、气体传感器阵列(20)、孔透挡板(21)、透风扇(22)，仿生电子鼻系统通过通讯线路与分析处理及控制单元连接；所述分析处理及控制单元包括监视器(24)、计算机(25)及相应软件和程序；通过通讯线路(23)与各传感器相连接，处理加工从各传感器中的获得的数据，并控制检测装置上其他模块的工作状态，并设有和用于分析处理各种数据的软件和用于芒果品质综合评价的一组模型；并通过有线或无线的方式将检测装置的检测结果输出；所述通讯线路，用于连接本发明装置的各个部分，完成装置各部分的导电和通讯功能。

2.如权利要求1所述的检测设备，其特征在于：还包括一个芒果的传送系统(2)，该传送系统包括输送装置(11)、转速控制装置(12)和定位装置(13)，并通过通讯线路与分析处理及控制单元连接。

3.如权利要求1所述的检测设备，其特征在于：所述光照相内部还包括一个半球型反射板，卤钨灯光源安装在半球型反射板内部，并且该半球型反射板上装有调节螺杆，用于调节光源与反射板之间的距离。