CN1995987A - 基于高光谱图像技术的农畜产品无损检测方法及装置 - Google Patents

Abstract

本发明涉及一种针对农畜产品的检测方法，特指基于高光谱图像技术的农畜产品无损检测方法及其装置。其通过高光谱图像技术采集得到能反应农畜产品外观特征(如果蔬、肉类、谷物等农畜产品的颜色、形状、纹理和尺寸等外观明显特性以及疤痕、损伤和污染等外部细微特征)的图像信息和能反应内在特征(如苹果的糖酸度、硬度以及肉类的蛋白质和脂肪含量等)的光谱信息然后再与知识库中专家知识与经验融合起来，进行综合判别。本发明可用于鉴别产品真伪，能够对农畜产品的加工、贮藏和运输过程进行快速、简便、客观的检测，准确、实时、有效地对农畜产品生产过程进行监测，控制从原料到工艺的整个生产过程，从而使农畜产品质量得到保证。

Description

基于高光谱图像技术的农畜产品无损检测方法及装置

技术领域

本发明涉及一种针对农畜产品的检测方法，特指基于高光谱图像技术的农畜产品无损检测方法及其装置。

背景技术

长期以来，农产品的品质问题一直困扰着我国的流通领域。农产品良莠不齐，不利于农产品在流通中按质论价，不利于出口创汇。目前在国际市场各国都把品质问题放在首位，并且把品质检测作为抵御外来竞争的一种手段。我国农产品质景检测和分类技术还相当落后，总体上尚处于人工或简单机械的粗略检测阶段达不到国际市场的品质要求，导致国内农产品出口企业屡屡受挫于其它国家的“技术壁垒”和“绿色壁垒”。

目前绝大多数农畜产品的质量检测仍然沿用人工感官评定方法和常规化学分析方法。常规化学分析具有较高的准确度和可靠性，但是，其试样的前处理、实验本身的耗时性以及对物料的破坏性又是许多场合所不允许的。而感官评定通常需要训练有素、经验丰富的专家来完成，判断结果随着年龄、性别、识别能力及语言文字表达能力的不同存在相当大的个体差异，即使同一人员也随其身体状态和情绪的变化产生不同的结果，难以坚持统一、客观的标准，而且劳动强度大。尤其对于保存期短、易变质的农畜产品而言，人工检测远远不能满足全数检测的要求。

由于机器视觉系统具有无损、可靠、快速的优点，因此在农畜产品的品质与安全性检测中具有技术优势。20世纪80年代起国外有人开始研究基于机器视觉的农畜产品质量检测技术，主要围绕农畜产品的大小、形状、纹理、颜色和表面缺陷等外观质量特征进行。对苹果、梨、辣椒、黄瓜等多种水果、蔬菜进行了品质检测与分选，经检索，有相关美国专利，专利号为：5,732,147，专利名称为：“Defective object inspection and separation system using image analysisand curvature transformation(用图像分析和曲率变换来检测物体(苹果)缺陷并加以区分的系统)”。该发明用图像处理方法和曲率变换来检测苹果等物体表面的明显缺陷，而对那些表面细微缺陷(如泥土污染、苹果的轻微损伤等)往往是力不从心；对内部的品质特征(如苹果的糖酸度、硬度等)更是无能为力。

到目前为止，国内外对绝大多数农畜产品质量的检测采用的是人工感官评定方法，而基于单一的计算机视觉技术的农畜产品检测技术也只是停留在研究实验阶段。传统的计算机视觉技术也只停留在对农畜产品外观特征的表达上；对农畜产品的外部细微特征的识别往往力不从心(如苹果的锈癍和轻微损伤等)；对农畜产品的内部品质特征的检测更是无能为力(如苹果的糖酸度等)。但是，农产品的品质既包括外观的，也包括内在的。因此，传统的计算机视觉技术在农畜产品品质检测中的应用有一定的局限性。

在当前的农畜产品品质无损检测领域，机器视觉系统不仪在可见光区域，而且扩展到了紫外、近红外、红外、X射线等区域。高光谱图像技术就是一种集光谱信息和图像信息于一身的新技术，它是光谱分析技术和图像处理技术在最低层面上的融合技术。高光谱图像技术检测得到的农畜产品信息既包括图像信息又包括光谱信息。其中光谱技术能检测农畜产品物理结构、化学成分等，图像技术又能全面反映农畜产品的外在特征，所以高光谱图像既能对农畜产品的内外部特征进行可视化分析，也能进行其内部有效成分的定量预测。

高光谱图像是一系列光波波长处的光学图像(光源有特定的波长)。高光谱图像数据是三维的，有时称为图像块。其中，x和y分别表示二维图像像素的横纵坐标信息；λ表示第三维的波长信息坐标。

发明内容

鉴于上述现有技术发展情况，本发明的目的就是要提供一种针对农畜产品基于高光谱图像技术的无损检测方法及其装置。通过高光谱图像技术采集得到能反应农畜产品外观特征(如果蔬、肉类、谷物等农畜产品的颜色、形状、纹理和尺寸等外观明显特性以及疤痕、损伤和污染等外部细微特征)的图像信息和能反应内在特征(如苹果的糖酸度、硬度以及肉类的蛋白质和脂肪含量等)的光谱信息然后再与知识库中专家知识与经验融合起来，进行综合判别。

本发明的目的是通过以下方法实现的：

首先建立知识库：

对所需测定的农畜产品，根据其检测标准(如国家检测标准、通用行业标准等)，先请专业人员对其中一部分样品进行感官评定，或对其做常规的理化分析，建立与该农畜产品质量相关的数据库。

然后进行样本测试：

①在进行样本数据采集前需要对高光谱采集系统进行校正和标定。

②在采集系统完成校正或标定后，在稳定的条件下进行高光谱图像数据的采集，通过图像采集卡送至计算机。

③将系统采集得到的数据进行特征提取，首先提取用于表达农畜产品外部品质的图像信息和用于表达农畜产品内部品质的光谱信息；然后再分别从图像信息和光谱信息中进行特征提取。

④计算机对所提取的特征信号进行融合和模式处理，给出被测样品的真伪、优劣、等级、合格与否等识别结果。识别结果通过计算机显示出来，本轮测试结束。

所述的系统在进行数据采集前都要对高光谱采集系统进行校正和标定，其中，输送带的速度是根据高光谱相机的暴光时间通过反复试验确定的，以避免所采集的图像尺寸和空间分辨率失真。图像数据在采集前需要对高光谱图像采集系统进行标定，用采集得到的图像减去全黑的标定图像，再除以全自的标定图像减去全黑的标定图像之差，使采集得到的图像变成相对图像。

所述的高光谱图像数据的采集是基于图像光谱仪的高光谱图像检测装置完成数据采集的，所述高光谱图像检测装置的主要组成部件由计算机、图像采集卡、摄像头、图像光谱仪、卤素灯、两个对称放置的紫外灯、传送装置和采光室等组成，其中摄像头和图像光谱仪直接相连，它们与卤素灯、紫外灯都被固定在采光室内部，图像采集卡固定在计算机内部，其中卤素灯通过光纤与采光室外部的光源相连。工作时，卤素灯的光照主要是使强光尽可能的入射到被检测物的内部，使反射回来的光带入被检测物内部信息；紫外灯的光照主要是利用高频率的光激发检测物产生荧光图像，图像光谱仪对这些反射光和荧光信息分成单色光源后进入摄像头。线阵摄像头在光学焦面的垂直方向作横向排列完成横向扫描(x轴向)，可以获取对象条状空间中每个像素在各个波长下的光谱信息；同时在检测系统输送带前进过程中，排列的探测器就好像刷子扫地一样扫出一条带状轨迹从而完成纵向扫描(y轴向)，综合横纵扫描信息就可得到样品的三维高光谱图像数据(如图2所示)，摄像头拍摄得到的图像经过数据采集卡传入计算机。

所述的高光谱图像数据特征变量的提取，相对于传统的RGB真彩图像，高光谱图像数据是三维的，有时称为图像块，它既有不同波长下的图像信息，同时单个像素点又具有光谱信息。由此可见高光谱的数据较RGB真彩图像和一维的近红外光谱都要大得多，它既包括图像信息的特征提取，又包括光谱信息的特征提取。在图像信息的特征提取上，可采用独立分量分析、主成分分析、小波分析以及不均匀二阶差分等多种算法。通过这些数据处理方法去寻找最能反映农产品品质的特征波长和特征波长下的高光谱图像。然后从这些特征波长下的高光谱图像以及他们的比例图像中利用一般的图像处理方法(如背景分割、滤波去噪、边缘检测、纹理检测等)提取相应的特征参数(如农畜产品的外形、颜色、尺寸人小、纹理等外部明显特征以及轻微损伤、轻微疤痕和泥土污染等外部细微特征等)。在光谱信息的特征提取上，首先对光谱信号进行初步预处理(如标准归一化、一阶导数二阶导数、中心化、正交信号校正以及小波变换等)以滤除信号中的噪声。再利用线性的多变量校正(如主成分回归PCR、偏最小二乘PLS等)以及非线性的神经网络建立农畜产品内部品质指标的定量预测模型。

所述的融合分为原始数据融合、特征数据融合、决策数据融合等多个层次的融合。在高光谱图像信息融合中所用的融合方式主要是特征层融合和决策层融合两种，高光谱图像采集得到的原始信息主要包括对图像信息数据和光谱信息数据，通过适当的预处理进行数据融合。特征数据融合是指先分别从图像信息数据和光谱信息数据中提取特征值，然后在所提取的特征值的基础上进行融合。融合包括以下方法，如以知识为基础的方法(专家系统，模糊逻辑)或是训练为基础的方法(如判别式分析，神经网络，回归分析，贝叶斯技术以及支持向量机等方法)。数据决策级的融合是应用图像信息和光谱信息所提供的判断结果来进行判断的。首先，利用图像信息分析外形、颜色、尺寸大小、纹理、外部损伤、疤痕、泥土污染等外部品质内容，利用光谱信息分析糖酸度、硬度等内部品质内容，然后再将这些指标内容结合专家信息给出一个综合的评价。融合的最终目的是使得研制的系统能够决定被测样品的真伪、优劣、等级、合格与否等。

本发明的有益效果是：

高光谱图像技术检测得到的农畜产品信息既包括图像信息又包括光谱信息，在信息处理和利用中并不是将图像信息和光谱信息简单叠加，而是模仿人的信息融合能力，将图像信息和光谱信息融合起来，用高精度实时模式分类系统来处理图像和光谱数据，并与经学习建立的数据库中的信息加以比较、判别，对样品质量进行综合检测，因而具有人工智能。可用于鉴别产品真伪，控制从原料到工艺的整个生产过程，从而使产品质量得到保证。基于图像光谱仪的高光谱图像技术可为农畜产品、食品行业提供新的产品无损检测方法与装置，以其辅助或代替专业评判人员。

用高精度实时模式分类系统来处理图像和光谱数据，提高了测试的灵敏度、选择性和重复性，扩大其识别范围。本发明的农畜产品无损检测装置不仅能快速测量出所测对象外部的颜色、形状、纹理、尺寸、损伤、疤痕、泥土污染以及内部所含的与农产品品质指标相关的化学成分，尤其能快速准确地将测量数据转换成与专家感官评定相一致的结果。将这些信息与经学习建立的知识库中的信号加以比较，进行识别判断。

本发明与传统的计算机视觉检测技术相比，得到的信息更全面，其可靠性、重复性和适应性得到提高。与常规化学分析方法相比，此方法技术操作快速简便，样品不需前处理，也不需任何有机溶剂进行萃取，而且对未知样品具有人工智能的识别作用。与人的感观相比，测定结果更客观、可靠。

本发明引入信息科学领域中的高技术-融合技术，将高光谱采集得到的图像信息和光谱信息融合起来对农畜产品质量进行较为全面的无损检测，将基于计算机技术的高新检测技术用于农畜产品品质检测与自动分级过程中，既可以解放劳动力，排除人的主观因素干扰，又能快速而准确地进行农畜产品品质的综合评价。能够对农畜产品的加工、贮藏和运输过程进行快速、简便、客观的检测，准确、实时、有效地对农畜产品生产过程进行监测从而使农畜产品质量得到保证。

附图说明

图1：本发明中硬件结构示意图

图2：本发明中所采集得到的数据格式示意图

图3：本发明应用实例(针对苹果)技术路线示意图

图1说明：1为计算机，2为图像采集卡，3为摄像头，4为图像光谱仪，5为卤索灯管，6卤素灯光纤，  7为卤索灯光源，8为紫外荧光灯，9为输送带，10为采光室，11为苹果。

具体实施方式

本发明对农畜产品的无损检测具有通用性，但由于农畜产品种类很多，因此本发明只举一个用于红富士苹果的实施实例，其他农畜产品的检测可参照该实施实例的方法，具体针对所测的样本的评价标准，建立一个新的知识库，就可以对该类农畜产品进行测试了。

所述高光谱图像检测装置的主要组成部件由计算机1、图像采集卡2、摄像头3(采用线阵探测器作为敏感元件)、图像光谱仪4、卤素灯(由两个平行放置的150W条形灯管5、光纤6和光源7等三个部件构成的冷光源)、两个对称放置的紫外灯8、传送装置9和采光室10等组成，其中摄像头3和图像光谱仪4直接相连，它们与卤素灯5、紫外灯8都被固定在采光室10内部，图像采集卡2固定在计算机1内部，其中卤索灯通过光纤6与采光室外部的光源7相连，采光室内部还设有输送带9。

实施实例参阅图3，本发明对苹果进行检测的系统方案示意图。依照国家标准先挑选各种质景等级的苹果，先按常规检测手段进行质量评定和分级，然后将这些苹果作为标准样本，建立知识库。图中的常规检测手段完全按我国1993年GB10651-89鲜苹果分级标准。

图中的高光谱图像采集是通过摄像头和图像光谱仪对采光室中的苹果样本进行拍摄，经图像采集卡传入计算机，其中采光室内部布置的卤素灯的光照主要是使强光尽可能的入射到苹果的内部，使反射回来的光带有苹果内部信息；紫外灯的光照主要是利用高频率的光激发苹果产生荧光图像，图像光谱仪对这些反射光和荧光信息分成单色光源后进入摄像头。线阵摄像头在光学焦面的垂直方向作横向排列完成横向扫描(x轴向)，可以获取条状空间中每个像素在各个波长条件的图像信息；同时在检测系统输送带前进过程中，线阵的探测器就好像刷子扫地一样扫出一条带状轨迹从而完成纵向扫描(y轴向)，综合横纵扫描信息就可得到苹果的三维高光谱图像数据。

在苹果外部特征的分析上，首先，从高光谱图像数据中提取图像信息部分；然后，独立分量分析、主成分分析、小波分析以及不均匀二阶差分等多种算法将会被有比较地尝试应用，通过这些数据处理方法去寻找最能反映农产品品质的特征波长和特征波长下的高光谱图像；最后从这些特征波长下的高光谱图像以及他们的比例图像中利用一般的图像处理方法(如背景分割、滤波去噪、边缘检测、纹理检测等)提取相应的特征参数(如圆形度、颜色、果体尺寸、等外部明显特征以及轻微损伤、轻微疤痕和泥土污染等外部细微特征等)。

在苹果内部品质特征的分析上，首先，从高光谱图像数据中提取光谱信息部分，即在每个苹果的高光谱图像中选取一个大约10000个像素的区域用于计算光谱(400-1000nm)平均反射量；然后，利用中心化、标准化、一阶或二阶导数法以及正交信号校正等方法对光谱信号进行预处理；最后，利用常规方法分析该苹果被检测区域的糖度、酸度和硬度利用主成分回归，多元逐步回归、偏最小二乘回归以及神经网络等方法建立预测苹果糖度、酸度和硬度的模型。

在得到反应苹果外部品质指标的图像信息和反应苹果内部指标的光谱信息基础上，与专家库中的数据相对照，利用贝叶斯方法、模糊理论以及支持向景机等方法进行特征级或决策级融合，建立苹果的综合品质质景等级判别模型，以实现苹果的最终质景等级判别。

Claims (9)

1.基于高光谱图像技术的农畜产品无损检测方法，其特征是：

(1)首先建立知识库：

对所需测定的农畜产品，根据其检测标准，先请专业人员对其中一部分样品进行感官评定，或对其做常规的理化分析，建立与该农畜产品质量相关的数据库；

(2)然后进行样本测试：

①在进行样本数据采集前需要对高光谱采集系统进行校正和标定；

②在采集系统完成校正或标定后，在稳定的条件下进行高光谱图像数据的采集，通过图像采集卡送至计算机；

③将系统采集得到的数据进行特征提取，首先提取用于表达农畜产品外部品质的图像信息和用于表达农畜产品内部品质的光谱信息；然后再分别从图像信息和光谱信息中进行特征提取；

④计算机对所提取的特征信号进行融合和模式处理，给出被测样品的真伪、优劣、等级、合格与否等识别结果；识别结果通过计算机显示出来，本轮测试结束。

2.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是所述的系统进行校正和标定时，其中，输送带的速度是根据高光谱相机的暴光时间通过试验确定的。

3.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是在图像信息的特征提取上，采用独立分量分析、主成分分析、小波分析以及不均匀二阶差分等多种算法。

4.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是在光谱信息的特征提取上，首先对光谱信号进行初步预处理以滤除信号中的噪声；再利用线性的多变量校正以及非线性的神经网络建立农畜产品内部品质指标的定量预测模型。

5.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是所用的融合方式为特征层融合和决策层融合。

6.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是特征数据融合是指先分别从图像信息数据和光谱信息数据中提取特征值，然后在所提取的特征值的基础上进行融合。

7.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是数据决策级的融合是应用图像信息和光谱信息所提供的判断结果来进行判断的。

8.根据权利要求5所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是融合包括以知识为基础的方法或是训练为基础的方法。

9.根据权利要求1所述的基于高光谱图像技术的农畜产品无损检测方法，其特征是高光谱图像采集装置包括计算机(1)、图像采集卡(2)、摄像头(3)、图像光谱仪(4)、光源(7)、光纤(6)、传送装置和采光室(10)、卤索灯(5)、紫外灯(8)组成，其中摄像头(3)和图像光谱仪(4)直接相连，前二者与卤素灯(5)、紫外灯(8)都被固定在采光室(10)内部，图像采集卡(2)固定在计算机(1)内部，其中卤索灯(5)通过光纤(6)与采光室(10)外部的光源(7)相连，采光室(10)内部布置有传送装置。

Images