CN104597052A - 基于多特征融合的马铃薯高速无损分级检测方法及系统 - Google Patents

Abstract

本发明提供一种基于多特征融合的马铃薯内外部品质无损检测方法和实时分拣系统。通过工业智能相机采集马铃薯机器视觉和近红外光谱图像，分别进行图像预处理，并提取可见光图像中马铃薯区域面积和质心；利用核主成分分析法分别提取畸形(机械损伤)、发芽、绿皮、黑心、合格特征参量，采用最小二乘支持向量机分级模型，对马铃薯实现离线训练和在线分类。综合最小二乘支持向量机的分类结果和马铃薯区域面积和质心坐标各特征信息，上位机与下位机协同动作，完成分拣。该分拣方法和系统可有效提高马铃薯无损分拣效率，提高马铃薯无损检测的全面性、可靠性和灵敏度，对马铃薯深加工产业发展具有重要意义。

Description

基于多特征融合的马铃薯高速无损分级检测方法及系统

技术领域

本发明涉及一种马铃薯无损分拣方法及系统，具体是一种基于多特征融合的马铃薯无损分级检测方法及系统。

背景技术

马铃薯是世界上仅次于小麦、水稻、玉米的第四大粮食作物，同时也是世界上重要的蔬菜及经济作物，栽培范围遍布全球。目前，我国马铃薯种植面积和总产量均居世界首位。但是由于大小不一、畸形、机械损伤、发芽等因素影响，马铃薯质量参差不齐，加工利用率和增值率都非常低，大部分应用局限在简单食用、加工成饲料等，这不仅影响其整体经济价值的发挥，也制约了马铃薯加工的机械化和自动化。

随着马铃薯加工业的快速发展，对马铃薯加工原料尤其是高品质加工专用薯的原料需求在不断上升，亟待提高马铃薯分级检测的自动化生产水平。目前，马铃薯分级系统有颜色分选机，它利用光电技术原理依据马铃薯色泽进行分级；大小分级机，其利用光滚杠间隙分级原理对马铃薯大小进行分级，这些分拣系统和装置无法满足对马铃薯内外部多项品质指标进行同时检测的需求。

随着机器视觉技术和高光谱技术的不断发展，无损检测技术在农产品检测中具有越来越广泛的应用，与人工方式相比，具有可重复性强、高效率、高精度的优点；与机械分级相比，其功能更加强大，能检测农产品内外缺陷、色泽和形状等性状。其中，机器视觉技术和近红外光谱技术应用最为广泛，国内外学者自上世纪就已经开始了两种技术在水果、肉类、蔬菜等方面的内外部品质研究。

在马铃薯无损检测方面，从上世纪90年代至今，国内外学者先后开展了基于机器视觉技术的马铃薯外部品质无损检测与分级方法的理论研究和基于近红外光谱的马铃薯黑心、空心等内部品质的理论研究。结果表明机器视觉技术能很好地检测马铃薯的外部品质，但是无法获取反映其内部品质的有效信息；近红外光谱可以很好地表征马铃薯的内部品质信息，但是在外部品质特征的描述上，显得无能为力；单一的检测技术往往不能同时描述农产品内外部品质信息的缺点，国内外学者将多源信息融合技术应用于农产品内外部品质检测，取得了一定的理论成果，但一直没有相应的检测系统。综合马铃薯内外部特征，如大小、畸形、机械损伤、绿皮、发芽、黑心、空心等品质信息的高速马铃薯无损分拣系统装置，将有效提高马铃薯无损分拣检测效率，提高马铃薯无损检测的全面性、可靠性和灵敏度，促进马铃薯深加工产业发展。

发明内容

本发明针对现有马铃薯无损分拣技术中存在的不足，提供一种基于多特征融合的马铃薯内外部品质高速无损检测分级方法与实时分拣系统。提高马铃薯无损检测的全面性、可靠性和灵敏度，提高马铃薯分拣效率。

按照本发明提供的技术方案，一种基于多特征融合的马铃薯内外部品质高速无损检测分级方法，所述检测分级方法包括如下步骤：

第一步：设置系统参数；上位机连接工业智能相机，相机采集可见光图像，传送至上位机处理；对采集的马铃薯可见光图像采用滤波、色调维分割等方法进行预处理，而后求解分割出的马铃薯图像区域面积和质心；采用核主成分分析法提取马铃薯畸形(机械损伤)、发芽、黑心、合格特征。

第二步：工业CCD相机采集近红外光谱图像，对近红外光谱图像进行消噪等预处理，提取光谱特征参数，包括马铃薯畸形(机械损伤)、发芽、黑心、合格特征参量。

第三步：采用最小二乘支持向量机马铃薯无损检测分级模型，采用径向基函数RBF核函数，参数寻优采用耦合模拟退火方法。完成最小二乘支持向量机的离线训练和在线分类。

第四步：依据第三步中的分拣结果，控制下位机及相应执行机构动作，完成马铃薯分捡。

本发明有益效果：针对单一的无损检测技术无法满足农产品内外部品质同时检测的要求，本发明综合机器视觉和近红外光谱信息源在马铃薯内外部品质中检测的优点，提供一种同时检测马铃薯内外部品质的方法和实时分拣系统。首先通过工业智能相机采集马铃薯机器视觉和近红外光谱图像，分别对图像进行预处理，并提取可见光图像中马铃薯区域面积和质心。利用核主成分分析法提取畸形(机械损伤)、发芽、黑心、合格特征参量，而后采用最小二乘支持向量机无损检测分级模型，核函数采用径向基函数RBF核，参数寻优采用耦合模拟退火结合参数寻优的方法，对马铃薯实现离线训练和在线分类。依据马铃薯的分类结果，马铃薯区域面积和质心坐标特征信息，上位机与下位机协同控制相应步进电机以正比于区域面积的速度驱动相应智能分拣板执行分拣动作，完成分拣。该分拣方法和系统可有效提高马铃薯无损分拣效率，提高马铃薯无损检测的全面性、可靠性和灵敏度，促进马铃薯深加工产业发展。

附图说明

图1为本发明的结构框图。

图2为本发明的工作流程图。

图3为可见光图像处理流程。

图4为近红外光谱图像处理流程。

图1中编号1是上位机及软件，编号2是下位机，编号3是工业智能相机(可同时采集可见光图像和近红外光谱图像)，编号4是环形光源，编号5是智能分拣板，编号6是步进电机，编号7是传送带，编号8是马铃薯。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面是具体实施过程，参照附图，对本发明作进一步详细说明。

本发明的基本思路是：针对单一的无损检测技术无法满足农产品内外部品质同时检测的要求，本发明综合机器视觉和近红外光谱信息源在马铃薯外、内部品质中检测的优点，提供一种同时检测马铃薯内外部品质的方法和和实现分拣的系统。如图1所示，工业智能相机3可同时采集马铃薯可见光图像和近红外光谱图像，通过工业以太网传送至上位机1，上位机分别对可见光和近红外光谱图像进行预处理，并提取可见光图像中马铃薯区域面积和质心，利用核主成分分析法提取畸形(机械损伤)、发芽、绿皮、黑心、合格特征参量，而后采用最小二乘支持向量机无损检测分级模型，核函数采用径向基函数RBF核，参数寻优采用耦合模拟退火结合网格搜索方法，对马铃薯实现离线训练和在线分类。综合马铃薯的分类结果，马铃薯区域面积和质心坐标信息特征信息，上位机1与下位机2协同控制相应步进电机6以正比于区域面积的速度驱动相应智能分拣板5执行分拣动作完成分拣。该分类方法和分拣系统可有效提高马铃薯无损分拣检测效率，提高马铃薯无损检测的全面性、可靠性和灵敏度，促进马铃薯产业发展。

所述第一步具体方法如下：

1.1设置系统参数包括打开LED环形光源3；连接摄像机并标定摄像机参数，摄像机参数采用张正友棋盘格标定方法；设置传送带速度参数，传送带以设置速度运输马铃薯，而后马铃薯以设置速度作为初始速度从传送带边缘飞出做平抛运动，进入相机视野；工业智能相机采集可见光图像，并通过以太网传送至上位机处理。

1.2对采集的马铃薯可见光图像采用滤波、色调维分割等方法进行预处理，求解分割出的马铃薯图像区域面积和该区域质心。马铃薯可见光图像预处理流程如图3所示，首先对马铃薯图像进行中值滤波，而后将彩色图像转化为色调维(H)空间图像，对转化后图像进行均值滤波后使用大津法OTSU分割，统计分割后的马铃薯区域面积并提取该区域质心。

(1)对RGB图像进行中值滤波。采用3*3二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升的数据序列，用排序后的中值取代要处理的数据。

(2)将马铃薯的RGB图像转化为色调维(H)空间。H维图像转化公式为：

$H=\left\{\begin{array}{cc}\mathrm{\δ}& B\≤G\\ 360-\mathrm{\δ}& B>G\end{array}\right.$

其中 $\mathrm{\δ}=\arccos \left\{\frac{\frac{1}{2}[(R-G)+(R-B)]}{{[{(R-G)}^2+(R-B)(G-B)]}^{1/2}}\right\},$ RGB分别为彩色图像的红绿蓝分量对应的色度值。

(3)对H维图像进行均值滤波。采用3*3模板，用模板中的全体像素的平均值来代替原来像素值。

(4)利用大津法OTSU进行二值化分割，标记分割出的马铃薯区域M_i。首先获得图像统计信息：其中，n_i为H维色度值为i的像素总数；N为区域总数；P(i)为色度值概率；w₀为目标的概率。

而后选取初始阈值K，计算目标和背景的均值和方差：

$\left\{\begin{array}{c}{\mathrm{\μ}}_0=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{\mathrm{iP}\left(i\right)}{w_0},{\mathrm{\μ}}_1=\underset{i=k+1}{\overset{L}{\mathrm{\Σ}}}\frac{\mathrm{iP}\left(i\right)}{w_1}\\ {\mathrm{\σ}}_0=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{{(i-{\mathrm{\μ}}_0)}^{2}P\left(i\right)}{{\mathrm{\ω}}_0},{\mathrm{\σ}}_1=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{{(i-{\mathrm{\μ}}_1)}^{2}P\left(i\right)}{{\mathrm{\ω}}_1}\end{array}\right.$

其中 $w_0=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}P\left(i\right),w_1=\underset{i=k+1}{\overset{L}{\mathrm{\Σ}}}P\left(i\right)=1-w_0.$

w₀和w₁为目标和背景的概率，μ₀和μ₁为目标和背景的色度均值，σ₀和σ₁为目标和背景的方差。最后计算类间方差最大类间方差对应的K即为阈值。

分割出各马铃薯区域后统计各区域像素总数计为N_i。

(5)提取分割出的马铃薯区域质心。质心坐标由下式确定： $\left\{\begin{array}{c}{h}_i=\underset{N}{\mathrm{\Σ}}{i}_1/N\\ h_j=\underset{N}{\mathrm{\Σ}}{j}_1/N\end{array}\right.,$ 其中(h_i,h_j)为马铃薯目标区域M_i的质心，N_i为马铃薯目标区域像素总数，(i₁,j₁)为马铃薯目标区域M_i各像素点坐标。

1.3提取马铃薯可见光图像特征。

马铃薯可见光图像特征提取流程如图3所示，核主成分分析法KPCA提取马铃薯主成分特征向量。对分割出的马铃薯区域进行重采样，重采样尺寸为32*32，将32*32大小的图像数据转化为1024个元素的一维向量x_i，对于含有n个马铃薯训练样本的特征集合X＝(x₁,x₂,…,x_n)^T，对其采用核主成分分析KPCA抽取特征的主要实现流程如下：

(1)选择常用的径向基(RBF)核函数并根据核函数，计算核矩阵K_ij＝Ψ(x_i)·Ψ(x_j)＝k(x_i,x_j)其中i,j＝1，2，…,n；对核矩阵进行中心化处理，采用公式 $\stackrel{\‾}{K}=K-\frac{1}{n}{\mathrm{ee}}^{\′}K-\frac{1}{n}K{\mathrm{ee}}^{\′}+\frac{1}{n^2}\left(e^{\′}\mathrm{Ke}\right){\mathrm{ee}}^{\′},$ 其中e是元素都为1的列向量。

(2)计算核矩阵的特征值向量和特征向量V，其中V＝[v₁,v₂,…,v_n]。提取特征值矩阵λ的主对角元素(即为特征值)，组成一个特征值向量。将特征向量正则化，求取特征值总和、特征值贡献率大小，计算累积贡献率提取主分量，Q选取值使前Q个最大特征值之和与特征值总和的比值大于等于ρ。

(3)对原始数据进行投影，某一样本x_i向第q个核主元的投影为 $s_q=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\stackrel{\‾}{v}}_{i,q}k(x_i,x).$

(4)某一样本x_i向所有Q个主元投影后得到则投影后的矩阵为 $S=\{{\stackrel{\‾}{x}}_1,{\stackrel{\‾}{x}}_2,...,{\stackrel{\‾}{x}}_n\}.$

所述第二步具体方法如下：

采集近红外光谱图像，依据可见光图像分割出的马铃薯区域M_i，对近红外光谱图像进行分割，对分割后的马铃薯近红外光谱图像区域进行标准化处理后进行多元散射校正，而后进行标准正太变换等一系列处理后，KPCA提取主成分特征。

2.1采集近红外光谱图像，对近红外光谱图像进行分割。设M_i区域的最小外切矩形区域为M_i'，在M_i'区域基础上向上下左右方向上均扩展30piexl，作为分割后的后的各马铃薯近红外光谱区域。

2.2对近红外光谱图像进行标准化处理后，进行多元散射校正。

(1)对近红外光谱图像进行归一化处理，使数据集中各数据向量具有相同长度，由下式得出：其中x_ik表示第i个样本的第K个测量数据。

(2)多元散射校正，校正每个光谱的散射并获得较理想的光谱。首先进行光谱平均然后进行计算线性回归X_i＝m_iX_i'+b_i，最后进行多元散射校正其中X_i为样本原始光谱，X_i'为样本平均光谱，m_i,b_i样本光谱线性回归的斜率与截距，X_i(MSC)为多元校正后光谱。

2.3进行标准正态变换，KPCA提取主成分特征。

(1)标准正态变换去除单位不同引起注意的权重，由下式得到 $X_{i\left(\mathrm{SNV}\right)}=\frac{X_i-{X_i}^{\′}}{\mathrm{\σ}},$ 其中 $\mathrm{\σ}=\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(\mathrm{Xi}-{\mathrm{Xi}}^{\′})}^2}$ 为样本光谱的标准差。

(2)KPCA提取主成分特征向量。

所述第三步具体方法如下：

采用最小二乘支持向量机马铃薯无损检测分级模型，核函数采用径向基函数RBF核，参数寻优采用耦合模拟退火结合网格寻优方法。完成最小二乘支持向量机的离线训练和在线分类。

3.1最小二乘支持向量机模型，实现步骤如下：

(1)给定的训练样本集合是含有N个样本，每个样本由m维特征组成的特征矩阵以及与每一个样本一一对应的类别标记向量Y＝[y₁,y₂,…,y_N]^T，x_i∈R^N，y_i∈{1,2,...,k}，i＝1,2,…,N。x_i是第i个训练样本的输入特征向量，y_i是x_i对应的输出类别标记。在最小二乘支持向量机分类算法中，使用函数来进行分类，其中w是权重，b是分类阈值。通过核映射将数据从原始输入空间映射到高维的特征空间，在高维空间进行线性分类。

(2)选择合适的K(x_i,x_j)类型并对模型参数进行优化；求解最小二乘支持向量机分类器模型优化问题的目标函数是：约束条件是：其中ξ_i为松弛变量；γ为惩罚参数，表示对超出误差的样本的惩罚程度。

(3)引入Lagrange算子α_i对上述优化问题进行求解；所得拉格朗日函数为：依据最优化条件求解后，使用以下线性方程的形式来表示： $\left[\begin{array}{cccc}I& 0& 0& -Z^T\\ 0& 0& 0& -l^T\\ 0& 0& \mathrm{\γI}& -I\\ Z& l& I& 0\end{array}\right]\left[\begin{array}{c}w\\ b\\ \mathrm{\ξ}\\ \mathrm{\α}\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\\ Y\end{array}\right],$ 其中Y＝[y₁,y₂,…,y_n]^T为类别标签；l＝[1，1，…，1]^T表示含有N个元素值均为1的向量；ξ＝[ξ₁，ξ₂，…，ξ_N]^T，消元去掉权值w与误差项ξ_i，可以表示为如下矩阵方程： $\left[\begin{array}{cc}0& l^T\\ l& {\mathrm{ZZ}}^T+{\mathrm{\γ}}^{-1}I\end{array}\right]\left[\begin{array}{c}b\\ \mathrm{\α}\end{array}\right]=\left[\begin{array}{c}0\\ Y\end{array}\right]$ 式中i,j＝1,2,…,N，其中K(,)表示核函数。

令A＝ZZ^T+γ^-1I，可以解得最小二乘支持向量机模型参数b和α的值，其中： $b=\frac{l^T{A}^{-1}Y}{l^T{A}^{-1}l},$ α＝A^-1(Y-bl)。

(4)利用所得方程解，构建LSSVM预测分类模型；对于某一个未知类别的样本x，可以使用最小二乘支持向量机分类器模型对其类别进行预测： $y_{\mathrm{test}}=y\left(x\right)=\mathrm{sgn}[\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i{\mathrm{\α}}_{i}K(x,x_i)+b]$

(5)核函数采用径向基函数RBF核函数；其中σ为核函宽度参数。

3.2将耦合模拟退火算法与网格搜索算法相结合来寻找最小二乘支持向量机LSSVM的最优参数组合，先用耦合模拟退火算法进行两次退火初步寻优，在初步寻优所得参数组合的邻域，采用网格算法进行精细搜索，对比两次搜索得到的参数，确定最终的最优参数组合。实现步骤如下：

(1)初始化，设定耦合模拟退火算法的初始温度T₀＝1，每个温度搜索步长step＝20；

(2)随机产生一个范围在(0,1)之间的5组初始参数组合解p，它是一个由2×5的矩阵构成。采用5-fold交叉验证每一组解，并将5组初始解对应的误分率存储在1×5的数组e₀中，取e₀中最小值，记为e_min；它所对应的那组解作为最优参数组合，记为pbest。

(3)在p的每组组合解的邻域产生新解p_n，与(2)相同的方法求取5组新解所对应的误分率e_n。

(4)一方面如果e_n(t)＜e₀(t)，则令e₀(t)＝e_n(t)，p(t)＝p_n(t)。进一步，如果e₀(t)＜e_min，则令e_min＝e₀(t)，p_best＝p(t)；另一方面，如果e_n(t)≥e₀(t)，则计算耦合项：再以此计算接受概率值： $p_{\mathrm{pbl}}\left(t\right)=\frac{1}{e_{\mathrm{sum}}}\exp [(e_0\left(t\right)-e_{\max })/T_k^{\mathrm{ac}}].$

如果p_pbl(t)大于(0,1)的随机数r，则e₀(t)＝e_n(t)，p(t)＝p_n(t)。返回步骤(3)，进行该温度下的20次迭代。

(5)降低一次温度，返回步骤3继续。获得初步最优参数p_best＝[σ_csa,γ_csa]。

所述第四步具体方法如下：

依据第三步中的分类结果，控制下位机及相应执行机构动作，完成马铃薯分捡。

如图1所示，工业智能相机3采集马铃薯机器视觉和近红外光谱图像，通过工业以太网传送至上位机1，上位机分别对可见光和近红外光谱图像进行预处理后，提取畸形(机械损伤)、发芽、绿皮、黑心、合格特征参量，利用核主成分分析法提取特征，采用最小二乘支持向量机为识别方式，建立马铃薯无损分级模型，核函数采用径向基函数RBF核，参数寻优采用耦合模拟退火方法。综合马铃薯的分类结果，和马铃薯区域面积和质心坐标特征信息，上位机1与下位机2协同控制相应步进电机6以正比于区域面积的速度驱动相应智能分拣板5执行分拣动作完成分拣。

所述相应的电机选择，由马铃薯质心坐标确定；预置各智能分拣版对应的分拣区域为F_i,根据质心坐标对应在智能分拣板区域F_i中，确定相对应的电机带动分拣板动作。

所述电机转速由马铃薯区域面积确定v＝aI_i+v_0i，其中v_0i由最小二乘支持向量机输出类别对应的下一级传送带与智能分拣板之间距离确定，马铃薯的分类结果决定了马铃薯即将被分拣的流向，a为常数系数，I_i为马铃薯区域面积，区域面积越大对应的分拣速度越大。

Claims (7)

1.一种基于多信息融合的马铃薯内外部品质高速无损检测分级方法及系统，其特征是，该分类方法和实时分拣系统综合机器视觉和近红外光谱信息源在马铃薯内外部品质检测中的优点，同时检测马铃薯内外部品质，并实现精准分类和实时分拣；所述方法和系统包括以下几个模块：

上位机连接工业智能相机，设置系统参数后，开始检测；相机采集可见光图像，传送至上位机处理；对采集的马铃薯可见光图像采用滤波、色调维分割等方法进行预处理，而后求解分割出的马铃薯图像区域面积和质心；采用核主成分分析法提取马铃薯畸形(机械损伤)、发芽、绿皮、黑心、合格特征；

工业智能相机采集近红外光谱图像，对近红外光谱图像进行消噪等预处理，核主成分分析法提取光谱特征参数，包括马铃薯畸形(机械损伤)、发芽、绿皮、黑心、合格特征参量；

采用基于最小二乘支持向量机的马铃薯无损检测分级模型，核函数采用RBF径向基函数，参数寻优采用结合网格寻优的耦合模拟退火算法；完成最小二乘支持向量机的离线训练和在线分类；

依据最小二乘支持向量机的分类结果，综合马铃薯图像区域面积和质心特征信息，控制下位机及相应执行机构动作，完成马铃薯分捡。

2.如权利要求1所述，对马铃薯可见光图像采用滤波、色调维分割等预处理，具有如下特征：

马铃薯可见光图像预处理流程为：首先对马铃薯图像进行中值滤波，而后将彩色图像转化为色调维(H)空间图像，对转化后图像进行均值滤波后使用大津法OTSU分割。

3.如权利要求1所述，求解分割出马铃薯图像区域面积和质心，具有如下特征：

分割出各马铃薯区域后统计各区域面积，并提取该区域质心；

统计分割出的马铃薯各区域面积，由下式确定                                                ，其中N _l 为分割出的第l个马铃薯区域的面积即像素总数，M _l(x,y) 为分割出的马铃薯各区域中像素点的值；该区域质心坐标由下式确定：，其中(h _i ,h _j )为马铃薯目标区域M _l 的质心，(x _i ,y _j )为马铃薯目标区域M _l 各像素点横纵坐标。

4.如权利要求1所述，采用核主成分分析法KPCA提取马铃薯畸形(机械损伤)、发芽、绿皮、黑心、合格特征。

5.如权利要求1所述，对近红外光谱图像进行消噪等预处理，预处理流程具有如下特征：首先对近红外光谱图像进行归一化处理，而后再进行多元散射校正，之后再进行标准正态变换。

6.如权利要求1所述，依据最小二乘支持向量机的分类结果，结合马铃薯图像区域面积和质心特征信息，控制下位机及相应执行机构动作，完成马铃薯分捡；具有如下特征：

马铃薯的分类结果，和马铃薯区域面积和质心坐标，由上位机发送给下位机PLC， PLC控制相应步进电机以相应的速度驱动相应智能分拣板5执行分拣动作，完成分拣。

7.如权利要求1所述，电机转速的确定具有如下特征：所述相应的电机选择，由马铃薯质心坐标确定，根据质心坐标对应的智能分拣板位置，确定相应电机动作；所述电机转速由马铃薯区域面积确定v=aI _i +v _0i ，其中v _0i 由最小二乘支持向量机输出类别对应的下一级传送带与智能分拣板之间距离确定，马铃薯的分类结果决定了马铃薯即将被分拣的流向；a为常数系数，I _i 为马铃薯区域面积，区域面积越大对应的分拣速度越大。