CN104408473A - 基于距离度量学习的棉花品级分类方法及装置 - Google Patents

Abstract

基于距离度量学习的棉花品级分级方法及装置，包括采集棉花样本数字图像，提取图像计算特征，得到到关于“色泽”、“杂质”、“轧工”共21个计算特征；使用大边界最近邻算法在训练数据上进行训练，得到一个马氏距离度量矩阵；并训练一个k近邻分类器；对于待分级的棉花样品，采集数字图像并提取计算特征，输给分类器，该分类器输出的类别即棉花品级。其装置包括正上方设有摄像头和两条标准D65光源的灯箱，和计算机控制系统。本发明选取的用于棉花自动分级的计算特征具有与人工分级所选用的感知特征有很高的吻合程度，保证了分级的正确性，距离度量学习的使用进一步提高了系统分级的准确性，完全不需要人工干预。

Description

基于距离度量学习的棉花品级分类方法及装置

技术领域

本发明涉及一种棉花外观品级自动分类的方法和装置，具体涉及一种基于距离度量学习的棉花品级分类方法及装置，属于机器视觉及智能电子领域。

背景技术

近年来，国内棉纺织行业的迅速发展带动棉花的需求量不断增加，国内棉花市场缺口日益增大。但由于国内棉花的播种面积不断下降，导致每年国内均需要进口大量棉花。棉花自实施检验以来，其外观品级一直是反映棉花品质好坏的重要因素之一，也是棉花价格的决定因素之一，在进出口贸易中有着重要的影响。

进口棉花的品级等级是由棉花的“色泽”、“杂质”和“轧工”三个因素所决定的。品级多年来一直沿用人工评级的方法，对照实物标准或成交小样，确定进口棉花的品级等级及降级幅度。品级人工检验存在一定的不足之处，如需要人力较多，检验效率低，受光线等检验条件的影响较大，检验时间长时易产生人为误差等。而进口棉花品种多样，变化反复的情况则使得这种弊端更为放大。如何消除这些不利因素，一直是棉花检测行业研究的重点。美国为了解决棉花检验的仪器化问题，研发了棉纤维大容量测试仪(High volume instrument，HVI)，HVI作为国际先进的棉花检测类仪器，被美国用来作为棉花分级的主要依据。但由于其本身无法测试美国之外其他国家的棉花品级，因而限制了它的使用。另外，HVI对于棉花外观品级的判断与人工检验给出的结果不能很好的吻合，也影响了其实用性。再者，HVI检测成本太高，具有仪器贵、易损坏、维修费用高等特点。

图像处理是一种日益成熟的技术，然而目前尚未有过利用图像处理技术进行棉花品级分类的方法及装置。

发明内容

本发明的目的是提供一种基于距离度量学习的棉花品级分类方法及分类装置，以克服现有技术的不足。

一种基于距离度量学习的棉花品级分级方法，包括按照现有的标准对棉花样品进行分级(每个品级至少30份样品)；其特征在于还包括以下步骤：

步骤1，在固定的光源条件下，采集已准确分级的棉花样本的数字图像，图像大小为32*32的整数倍；

步骤2，对数字图像进行预处理：进行颜色空间转换，将所述数字图像由RGB格式转换为L*a*b*格式；

步骤3，对每一幅转换格式后的图像提取其计算特征，具体方法如下：

1)针对棉花的“色泽”，提取L*、a*、b*(即CIE L*a*b*颜色空间的三个通道)三个通道在所有像素上的均值和方差；然后以32*32大小的块划分图像，取每一个小块的均值作为该块的代表，求L*、a*、b*三个通道在所有块上的方差；

2)针对棉花的“杂质”，提取杂质总面积占整个图像的比例、杂质块的个数、平均大小、杂质的分布(杂质几何中心点位置坐标的方差)四个特征，所述图像中的杂质是指混入棉花中的一些非棉纤维物质，如不孕籽、棉籽、破籽、籽屑和籽棉；

3)针对棉花的“轧工”，计算图像的四个不同方向上的灰度共生矩阵和每个灰度共生矩阵的能量、熵、对比度、相关性四种参数；对得到的四个能量、四个熵、四个对比度、四个相关性，分别提取均值和标准差作为最终8维纹理特征；

从每一幅图像中提取到关于“色泽”、“杂质”、“轧工”共21个计算特征；

步骤4，每一个棉花样本都由一个21维的向量表示，采集到的所有的样本数据构成一个样本空间，称为训练数据；使用大边界最近邻算法(Large Margin Nearest NeighborAlgorithm)在训练数据上进行训练，得到一个马氏距离度量矩阵；然后使用这个马氏距离度量矩阵训练一个k近邻(k-Nearest Neighbor)分类器；

步骤5，对于一种待分级的棉花样品，在固定的光源条件下，采集该棉花样本的数字图像(大小为32*32的整数倍)；然后重复步骤2、3，再将步骤3得到的计算特征输出给上述步骤4得到的分类器，该分类器输出的类别即对应于棉花的不同品级。

上述按照现有的标准对棉花样品进行分级中，每个品级至少30份。

上述步骤4之前，使用现有的主成分分析法对步骤3得到的数据集进行预处理，从而降低21维特征向量的维度。

一种基于距离度量学习的棉花品级分类装置，其特征在于包括一个具有水平内底面的灯箱和计算机控制系统，灯箱具有样品放置口，且灯箱内底面正上方设置一摄像头和两条标准D65光源，且两条标准D65光源分别位于摄像头两侧；

所述的计算机控制系统包括摄像头控制模块、特征提取模块与棉花定级模块；

所述的摄像头拍摄灯箱内棉花样本的RGB图像；

所述的摄像头控制模块采集摄像头拍摄的图像，并将该图像输出至特征提取模块；所述的特征提取模块按照权利要求1步骤2、3所述的方法对图像提取关于“色泽”、“杂质”、“轧工”共21个计算特征；

所述的棉花定级模块按照权利要求1步骤4的方法将特征提取模块得到的各个样本的21个计算特征训练得到一个k近邻(k-Nearest Neighbor)分类器。

利用该系统对棉花品级进行自动分级，从图像采集、预处理到特征提取、数据降维、度量学习和分类器训练，一整套系统自动运行，完全不需要人工干预。本系统选取的用于棉花自动分级的计算特征具有与人工分级所选用的感知特征有很高的吻合程度，保证了分级的正确性，距离度量学习的使用进一步提高了系统分级的准确性。

附图说明

图1是本发明的基本流程图。

图2是本发明识别杂质的流程图。

图3是本发明的分类装置的结构示意图。

图4是本发明的计算机控制系统的结构示意图。

其中，1、摄像头，2、灯箱，3、摄像头控制模块，4、特征提取模块，5、棉花定级模块，6、计算机控制系统,7、光源，8、棉花放置平面。

具体实施方式

本发明的基本流程如图1所示

1.数据采集

采集设备为工业摄像头，采集环境为封闭灯箱，以避免外界环境变化导致的误差。采集时将工业摄像头固定在灯箱内部上方，将棉花样本放置在灯箱底部，摄像头视角与棉花放置平面呈垂直关系，以减少因棉花高低不平产生的阴影。光源为D65标准光源，D65光源是标准光源中最常用到的人工日光，它的色温为6500K。

2.图像预处理

考虑到棉花的色域的有限性，应尽可能选择更加精确的色彩空间，这样才能有效地区分棉花的等级，因此决定在CIE L*a*b*颜色空间里做特征提取操作。因为采集到的图像的颜色空间是RGB，所以要对数据进行空间转换。在RGB与CIE L*a*b*之间不存在直接转换的公式，RGB首先必须变换到CIE XYZ 1931色彩空间，然后变换到CIE L*a*b*空间。

3.特征提取

进口棉花的品级等级是由棉花的“色泽”、“杂质”和“轧工”三个因素决定的。根据棉花检测实验室实地调研情况了解到，工人也是综合考虑这三个因素来给棉花评级。因此，针对每一个因素，提取相应的计算特征对其进行数学描述。

(1)色泽

假设棉花图像的大小为M*N。首先应该提取的就是CIE L*a*b*空间每一个颜色通道对所有像素的均值，作为棉花样本的三个特征。公式如下所示：

${L^{*}}_m=\frac{1}{\mathrm{MN}}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{L^{*}}_{\mathrm{ij}}$

${a^{*}}_m=\frac{1}{\mathrm{MN}}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{a^{*}}_{\mathrm{ij}}$

${b^{*}}_m=\frac{1}{\mathrm{MN}}{\mathrm{\Σ}}_{i=1}^M{\mathrm{\Σ}}_{j=1}^N{b^{*}}_{\mathrm{ij}}$

其中L*_ij代表图像中第i行第j列像素点的L*通道的值，L*_m代表L*通道对所有像素的均值。其它两个颜色通道与此类似。

现有技术中，HVI只是对棉花样本的每一个颜色通道的均值进行了测定。而实际上，颜色的均匀性对于棉花等级的判定也是一个很重要的因素。因此本发明提取了不同尺度上的方差作为表示颜色均匀性的特征。首先计算整幅图像每个颜色通道的方差，即选择的基本单位为单个像素，分别表示为它们是对整体颜色均匀性的测定。

然后又以n*n(n小于M、N，且M、N为n的整数倍)大小的方块作为基本单位，这个基本单位的颜色值用块内所有像素点的均值来表示。假设一共划分出互不重叠的Q个小块。

${\mathrm{\σ}}_L^2=\frac{1}{Q}{\mathrm{\Σ}}_{q=1}^Q{(L_{\mathrm{qm}}-L_m)}^2$

$L_{\mathrm{qm}}=\frac{1}{\mathrm{nn}}{\mathrm{\Σ}}_{i=1}^n{\mathrm{\Σ}}_{j=1}^n{L^{*}}_{\mathrm{qij}}$

$L_m=\frac{1}{Q}{\mathrm{\Σ}}_{q=1}^Q{L}_{\mathrm{qm}}$

其中是以n*n大小的方块作为基本单位计算出来的L*通道的方差，与此类似，我们可以计算出L_qm表示第q个方块中L*通道对第q个方块中所有像素的均值，L_m表示L*通道对所有方块的均值，它的的大小和L*_m是一样的。我们选取的块的大小为32*32，这时能最好地表示人类视觉的响应。

综上所述，针对色泽这一因素，共提取了9维特征，分别为：L*_m、a*_m、b*_m、

(2)杂质

识别杂质的流程如图2所示，

为了提高方法的鲁棒性，提高对比度，首先要对图像做一个归一化操作。将L*的值归一化到0到255范围内，假设归一化后的图像为f；

使用sobel算子对f进行边缘检测处理，得到二值图像Idx1,1代表边缘，0代表非边缘；

阈值分割，对f进行二值化处理，得到二值图像Idx2，1代表棉花，0代表杂质；

Idx1和(1-Idx2)两幅图像做“与”操作，得到的图像记作BW；

使用大小为5的disk结构元素对BW做闭运算；

对上一步得到的图像做孔洞填充操作；

使用大小为2的square结构元素对上一步得到的图像做开运算，这一步的目的是消

除噪声点，比如只有一个像素点的杂质就会被去掉。

经过上述操作后，可以得到一个二值图像，0代表棉花，1代表杂质。每个小杂质块是一个连通域。接下来在这个二值图像上提取了杂质的总面积、块数、平均大小、分布四个特征作为对杂质这一因素的表征。

(3)轧工

轧工的好坏表示的是籽棉经过轧花工序后皮棉的光洁、柔顺、粗糙、杂乱的程度。棉花的外观形态可视为一种纹理，而人类视觉感知对二阶统计量十分敏感，因此，我们选择图像的灰度共生矩阵的二次统计量来对纹理进行描述。

灰度共生矩阵(gray level co‐occurrence matrix，GLCM)是一种通过分析图像像素灰度值的空间分布相关性来描述纹理的方法。常用的灰度直方图是对图像中每个灰度级出现的频率进行统计的结果，与空间位置无关；而灰度共生矩阵是对图像中相距某个固定距离的两像素点分别具有某灰度的情况进行统计得到的。

假设存在一幅N*N大小的图像，取其中的任意一像素点(x，y)以及另外一个与它有固定间隔的像素点(x+m，y+n)，它们对应的灰度值分别为f1和f2。我们将这一像素点对的灰度值表示为(f1，f2)。令像素点(x，y)在整幅图像上以一个像素点为间隔顺序移动，则会得到不同(f1，f2)值。如果该图像是8位图像，即灰度值的级数为256，那么(f1，f2)有256*256种不同的组合。遍历整个图像，统计每一对(f1，f2)出现的次数，以矩阵的形式记录下来。最后将统计得到的次数归一化为频率，形成的矩阵就是灰度共生矩阵。间隔(m，n)可以有不同的取值，具体可以依据纹理的特征来设定。针对细的纹理，我们选择小的间隔值；反之，选择较大的间隔值。当m＝1，n＝0时，像素点对是水平分布的，此时对应的是0度方向上的灰度共生矩阵；当m＝0，n＝1时，像素点对是垂直分布的，此时对应的是90度方向上的灰度共生矩阵；与此类似，当m＝1，n＝1时，对应的是45度方向；当m＝‐1，n＝1时，对应的是135度方向。

针对棉花图像，我们计算步长为1，方向为0°、45°、90°、135°的四个灰度共生矩阵。针对每个灰度共生矩阵，计算其能量、熵、对比度、相关性4个纹理参数。然后，求能量、熵、对比度、相关性的均值和标准差作为最终8维纹理特征。

综上所述，共提取了21个特征来对棉花图像表征，即一幅图像对应于一个21维的向量。

色泽	杂质	轧工(GLCM)
			均值(L*)	杂质覆盖率	均值(能量)
均值(a*)	平均大小	标准差(能量)
			均值(b*)	块数	均值(熵)
方差(L*)	分布	标准差(熵)
			方差(a*)		均值(对比度)
方差(b*)		标准差(对比度)
			方差(L*)(32*32)		均值(相关性)
方差(a*)(32*32)		标准差(相关性)
			方差(b*)(32*32)

4.分类器设计

机器学习(Machine Learning,ML)是一门交叉学科，致力于研究如何使得计算机具备人类所具有的学习能力。人们的棉花分类能力并不是与生俱来的，相关人员在具备棉花定级这种能力之前，是花费大量的时间、精力来学习和获取这种能力的。因此，我们将机器学习的技术应用到棉花品级分类算法的研究中，通过大量的已分类的棉花样本来训练分类器，使得分类器具备棉花定级能力，从而将人的眼睛从这一项工作中解放出来。

使用主成分分析法对上一步得到的数据集进行预处理，从而降低特征向量的维度；然后使用大边界最近邻算法(Large Margin Nearest Neighbor Algorithm)学习得到一个马氏距离度量矩阵；最后训练一个k近邻(k‐Nearest Neighbor)分类器。

5.测试

对训练得到的分类器进行测试。

图像处理技术的日益成熟和机器学习技术、距离度量学习技术的快速发展，为从图像角度出发，解决棉花品级自动分类奠定了基础。采集棉花的图像，进而从图像中提取相应的特征来表征棉花外观属性，最后使用距离度量学习、机器学习技术来训练出一个鲁棒性高的分类器，以达到对棉花品级自动分类的目的。

本发明的基于距离度量学习的棉花品级分类装置如图3、4所示，包括一个具有水平内底面的灯箱(2)和计算机控制系统(6)，灯箱(2)具有样品放置口，灯箱2内部底面为棉花放置平面8，且灯箱(2)内底面正上方设置一摄像头(1)和两条标准D65光源(7)，且两条标准D65光源分别位于摄像头(1)两侧；

所述的计算机控制系统(6)包括摄像头控制模块(3)、特征提取模块(4)与棉花定级

模块(5)；

所述的摄像头(1)拍摄灯箱(2)内棉花样本的RGB图像；

所述的摄像头控制模块(3)采集摄像头(1)拍摄的图像，并将该图像输出至特征提取模块(4)；所述的特征提取模块(4)按照权利要求1步骤2、3所述的方法对图像提取关于“色泽”、“杂质”、“轧工”共21个计算特征；

所述的棉花定级模块(5)按照权利要求1步骤4的方法将特征提取模块(4)得到的各个样本的21个计算特征训练得到一个k近邻(k-Nearest Neighbor)分类器。

Claims (4)

1.一种基于距离度量学习的棉花品级分级方法，包括按照现有的标准对棉花样品进行分级(每个品级至少30份样品)；其特征在于还包括以下步骤：

步骤1，在固定的光源条件下，采集已准确分级的棉花样本的数字图像，图像大小为32*32的整数倍；

步骤2，对数字图像进行预处理：进行颜色空间转换，将所述数字图像由RGB格式转换为L*a*b*格式；

步骤3，对每一幅转换格式后的图像提取其计算特征，具体方法如下：

1)针对棉花的“色泽”，提取L*、a*、b*(即CIE L*a*b*颜色空间的三个通道)三个通道在所有像素上的均值和方差；然后以32*32大小的块划分图像，取每一个小块的均值作为该块的代表，求L*、a*、b*三个通道在所有块上的方差；

2)针对棉花的“杂质”，提取杂质总面积占整个图像的比例、杂质块的个数、平均大小、杂质的分布四个特征，所述图像中的杂质是指混入棉花中的一些非棉纤维物质；

3)针对棉花的“轧工”，计算图像的四个不同方向上的灰度共生矩阵和每个灰度共生矩阵的能量、熵、对比度、相关性四种参数；对得到的四个能量、四个熵、四个对比度、四个相关性，分别提取均值和标准差作为最终8维纹理特征；

从每一幅图像中提取到关于“色泽”、“杂质”、“轧工”共21个计算特征；

步骤4，每一个棉花样本都由一个21维的向量表示，采集到的所有的样本数据构成一个样本空间，称为训练数据；使用大边界最近邻算法(Large Margin Nearest NeighborAlgorithm)在训练数据上进行训练，得到一个马氏距离度量矩阵；然后使用这个马氏距离度量矩阵训练一个k近邻(k-Nearest Neighbor)分类器；

步骤5，对于一种待分级的棉花样品，在固定的光源条件下，采集该棉花样本的数字图像(大小为32*32的整数倍)；然后重复步骤2、3，再将步骤3得到的计算特征输出给上述步骤4得到的分类器，该分类器输出的类别即对应于棉花的不同品级。

2.如权利要求1所述的基于距离度量学习的棉花品级分级方法，其特征在于上述按照现有的标准对棉花样品进行分级中，每个品级至少30份。

3.如权利要求1所述的基于距离度量学习的棉花品级分级方法，其特征在于上述步骤4之前，使用现有的主成分分析法对步骤3得到的数据集进行预处理，从而降低21维特征向量的维度。

4.一种基于距离度量学习的棉花品级分类装置，其特征在于包括一个具有水平内底面的灯箱(2)和计算机控制系统(6)，灯箱(2)具有样品放置口，且灯箱(2)内底面正上方设置一摄像头(1)和两条标准D65光源(7)，且两条标准D65光源分别位于摄像头(1)两侧；

所述的计算机控制系统(6)包括摄像头控制模块(3)、特征提取模块(4)与棉花定级模块(5)；

所述的摄像头(1)拍摄灯箱(2)内棉花样本的RGB图像；

所述的摄像头控制模块(3)采集摄像头(1)拍摄的图像，并将该图像输出至特征提取模块(4)；所述的特征提取模块(4)按照权利要求1步骤2、3所述的方法对图像提取关于“色泽”、“杂质”、“轧工”共21个计算特征；

所述的棉花定级模块(5)按照权利要求1步骤4的方法将特征提取模块(4)得到的各个样本的21个计算特征训练得到一个k近邻(k-Nearest Neighbor)分类器。