CN114882291B - 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 - Google Patents
基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 Download PDFInfo
- Publication number
- CN114882291B CN114882291B CN202210607623.XA CN202210607623A CN114882291B CN 114882291 B CN114882291 B CN 114882291B CN 202210607623 A CN202210607623 A CN 202210607623A CN 114882291 B CN114882291 B CN 114882291B
- Authority
- CN
- China
- Prior art keywords
- pixel block
- spectrum
- matrix
- pixel
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 229920000742 Cotton Polymers 0.000 title claims abstract description 51
- 238000010801 machine learning Methods 0.000 title claims abstract description 28
- 238000001228 spectrum Methods 0.000 claims abstract description 106
- 239000011159 matrix material Substances 0.000 claims abstract description 86
- 239000012535 impurity Substances 0.000 claims abstract description 42
- 239000002362 mulch Substances 0.000 claims abstract description 34
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000007637 random forest analysis Methods 0.000 claims abstract description 11
- 238000000701 chemical imaging Methods 0.000 claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 17
- 238000003066 decision tree Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 238000000638 solvent extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 210000001503 joint Anatomy 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000003032 molecular docking Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract 2
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 235000012343 cottonseed oil Nutrition 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
- Y02A40/28—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用高光谱成像设备获取杂质混合后的物料高光谱图像,将高光谱图像切割为与剔除要求对应的像素块,并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型,构建杂质对接矩阵,提升对于连续像素块的识别精度,最终实现对像素块中物料进行在线分类识别。本发明利用极限梯度提升算法对原始光谱特征重要性进行排序,引入加权光谱特征值概念,构建随机森林分类器对籽棉与地膜进行在线分类识别;有效解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题。
Description
技术领域
本发明属于籽棉异物识别技术领域,具体涉及一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法。
背景技术
我国作为棉花生产大国,棉花加工与纺织在国民经济中有着重要的作用。目前我国的棉花种植普遍采用地膜覆盖技术以及机械化采摘技术,这些方法可以极大地提高棉花生产效率。农用地膜具有增温、保墒、灭草的功能,解决了我国干旱地区和冷凉地区农业生产能力弱的严重问题,是提高农田作物水分利用率、缓解水资源短缺、防止病虫害和促进植物生长的重要手段。然而在籽棉机械采摘过程中容易混杂大量地膜残片,这些地膜残片若没有处理干净则会随着加工环节进入皮棉,极大地影响纺织品质量。目前高光谱技术被应用于异物识别领域,但是由于地膜具有良好的透光率,其覆盖在籽棉表面,极易产生“异物同谱”现象,使得识别效果不理想,只有部分地膜像素点能够被识别,这些像素点分散零碎难以确定地膜坐标,使得在混杂地膜的籽棉中将其区分开来成为棉花行业的一个技术难题。
发明内容
本发明解决的技术问题:提供一种解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法。
技术方案:为了解决上述技术问题,本发明采用的技术方案如下:
一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用高光谱成像设备获取混杂地膜的籽棉高光谱图像,将高光谱图像切割为像素块并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型对像素块中籽棉与地膜进行在线分类识别,步骤如下:
步骤(1):利用高光谱成像设备获取混杂地膜的籽棉高光谱图像共288维数据;
步骤(2):利用极限梯度提升算法对采集光谱数据集中各像素点在1000nm~2500nm波段上的多个谱段进行分类计算并降维,获得原始光谱特征重要性并排序,选择重要性靠前的光谱特征作为像素块光谱维度特征;
对其288维数据进行Savitzky-Golay平滑滤波、多元散射校正,并进行针对波长的信噪比筛选,选取多个谱段作为处理后数据,筛选值的计算公式如下:
式中,w表示的是白板光谱,d表示的是黑场光谱图,ns表示的是使用单行光谱像素点个数,rs表示的是针对波长s的光谱信噪比,仅保留波长信噪比rs≥2的波长;
步骤(3):将高光谱图像通过20*20像素尺寸分割的方法获得像素块;
步骤(4)将获得的20*20的像素尺寸分割块进行二次分块,分别分割为4*4个5*5的小型像素级光谱特征块;
利用步骤(2)中极限梯度提升算法提取的光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值。
加权光谱特征值的公式如下:
其中,ωj表示第j个光谱特征的权重,xj表示第j个光谱特征值,mi表示像素块中第i个像素点,n表示选取的光谱特征数量;
计算特征光谱共生矩阵得到像素块之间的空间维度:角二阶矩、惯性矩、熵和相关性;
步骤(5):计算小型像素块中每个像素点的加权光谱特征值,计算特征光谱共生矩阵得到像素块之间的空间维度特征;
根据5*5像素块中225个像素点的平均光谱值可以的到该像素块中10维平均光谱值,并融合20*20大范围光谱特征,其公式为:
其中,Xni表示像素块Si中光谱向量集合,mi是像素块Si的平均值光谱特征,ni是像素块中像素个数,xm是大像素块中的像素均值;
步骤(6):利用小型像素块中每个像素点对应谱段光谱值的平均值得到像素块中10维光谱维度特征,并融合20*20大像素块的整体光谱特征值,减少光谱散射的同时增强光谱特性;
步骤(7):利用像素块的空间维度和光谱维度特征构建随机森林分类器,实现高光谱图像像素块分类,识别籽棉与地膜杂质;
步骤(8):使用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
步骤(9):结合杂质对接矩阵结果,以及识别结果,进行小型像素块的结果修正,修正过程如下:
1)水平方向修正:相邻的小型像素块的左矩阵和右矩阵进行对接,对接修正的过程如下:
式中,Cl,i和Cr,i分别表示左矩阵和右矩阵当中的第i个元素,对于缺少相邻左矩阵或右矩阵的情况下则使用全0矩阵代替缺失的矩阵;
2)竖直方向修正,竖直方向的修正由于牵涉到多行的不同结果,因此每次只对上矩阵进行修正,而下矩阵则进行存储,实现对于下一行小型矩阵的结果的修正,从而实现在采集过程中的实时在线识别,上矩阵的对接过程如下:
式中,Cu,i和Cd,i分别表示上矩阵和下矩阵当中的第i个元素;
步骤(10):利用小型像素块结果,构建提出对应区域的地膜识别结果,指导后续的地膜剔除过程。
进一步地,步骤(2)中,使用基于决策树的梯度提升算法降低树的复杂度,通过每个属性分割点改进性能度量的量来计算单个决策树的重要性,并由节点负责的观察数量加权。
其预测函数为:
其中,表示回归树的空间,T表示树的叶子数,/>表示第m个属性的数值空间,/>表示什么表示叶子数为T时的权重数值空间,K表示属性决策树的总数量,m表示第m个属性,每个fk(x)对应于树结构q和叶权重w,xi代表第i个样本,yi代表第i个类别标签。
其目标函数为:
进一步地,特征光谱共生矩阵计算0°、45°、90°、135°四个方向数值,通过角二阶矩、惯性矩、熵、相关性共4个统计属性定量描述空间纹理特征,共得到16维纹理特征;
角二阶矩为:
ASM=∑i∑j glcm(i,j)2
惯性矩为:
CON=∑i∑j(i-j)2glcm(i,j)
熵为:
ENT=-∑i∑j glcm(i,j)ln glcm(i,j)
相关性:
进一步地,步骤(5)中xm的计算方法如下:
进一步地,步骤(7)中,在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,再对该子集进行基于信息准则的划分、属性选择,最终输出各个小像素块属于杂质类别的概率。
进一步地,步骤(8)中,用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
构建像素块内4个方向上的对接矩阵,4个矩阵分别为上矩阵、下矩阵、左矩阵和右矩阵定义如下:
Cu=[p1,1,p1,2,p1,3,p1,4]
Cd=[p4,1,p4,2,p4,3,p4,4]
Cl=[p1,1,p2,1,p3,1,p4,1]
Cr=[p1,4,p2,4,p3,4,p4,4]
式中,Cu,Cd,Cl,Cr分别表示上矩阵、下矩阵、左矩阵和右矩阵,pi,j表示步骤(7)中小像素块属于杂质类别的概率。
进一步地,步骤(9)中,经过修正后,小像素块内的概率大于0.5时则判定小像素块属于杂质,而大像素块属于杂质的类别概率则由块内的小像素块的识别结果属于杂质的数量决定,当小像素块数量杂质数量大于整体像素块数量的25%时,则大像素块判定为杂质。
进一步地,步骤(10)中,机器学习模型分类识别结果以像素块的形式代替像素点识别结果,将棉花的识别结果隐藏,只显示地膜像素块识别结果,并将其转换成二值图像,提取地膜像素块轮廓,计算地膜在识别结果中的坐标,方便后续剔除。
有益效果:与现有技术相比,本发明具有以下优点:
(1)本发明将高光谱技术应用于籽棉异物识别技术领域,利用极限梯度提升算法对原始光谱特征重要性进行排序,并选择重要性前十的光谱特征作为像素块光谱维度特征;
(2)引入加权光谱特征值概念,利用光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值,并用于计算特征光谱共生矩阵得到像素块之间的空间维度特征,相比于传统的光谱特征,具有更强的可分类性,使得最终的光谱分类精度得到提高;
(3)利用高光谱图像像素块的空间维度特征和光谱维度特征构建随机森林分类器对籽棉与地膜进行在线分类识别,能够充分利用相邻像素点的高度相关性,捕获空间域中纹理结构的信息,融合光谱域与空间域特征,提高分类精度;
(4)有效解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题。
附图说明
图1是本发明分类方法结构示意图;
图2是本发明采集软件生成的原始伪彩色图和人工标记的籽棉和地膜标签图;
图3是本发明基于像素块分割后的效果图;
图4是本发明采用本发明的方法生成的棉籽分类效果图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,实施例在以本发明技术方案为前提下进行实施,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示,本发明的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用高光谱成像设备获取混杂地膜的籽棉高光谱图像,将高光谱图像切割为像素块并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型对像素块中籽棉与地膜进行在线分类识别,步骤如下:
步骤(1):利用高光谱成像设备获取混杂地膜的籽棉高光谱图像共288维数据;
本实施例中,利用芬兰SPECIM公司的FX系列高光谱成像设备获取混杂地膜的籽棉高光谱图像1000nm~2500nm波段上共288维数据;
步骤(2):利用极限梯度提升(XGBoost)算法对采集光谱数据集中各像素点在1000nm~2500nm波段上的80-190个谱段进行分类计算并降维,本实施例首选采用160个谱段进行分类计算并降维,获得原始光谱特征重要性并排序,选择重要性前10-50的光谱特征作为像素块光谱维度特征,本实施例首选采用重要性前40的光谱特征作为像素块特征维度;
高光谱成像设备获取混杂地膜在1000nm~2500nm的光谱图像,原始数据288个谱段,对其288维数据进行Savitzky-Golay平滑滤波、多元散射校正,并进行针对波长的信噪比筛选,选取80-190个(本实施例中选80个)谱段作为处理后数据。避免噪声对高光谱数据产生干扰、避免不同角度光谱值散射所导致的误差后,
筛选值的计算公式如下:
式中,w表示的是白板光谱,d表示的是黑场光谱图,ns表示的是使用单行光谱像素点个数,rs表示的是针对波长s的光谱信噪比,仅保留波长信噪比rs≥2的波长。
极限梯度提升(XGBoost)算法通过正则化来降低树的复杂度,从而获得更好的模型性能。使用基于决策树的梯度提升算法的好处是,可以根据提升之后的树获取每个特征的重要性,从而有效地进行特征的筛选。
一般来说,特征的重要性表示这个特征在构建提升树的作用。如果一个特征在所有树中作为划分属性的次数越多,那么该特征就越重要。通过每个属性分割点改进性能度量的量来计算单个决策树的重要性,并由节点负责的观察数量加权。
其预测函数为:
其中,表示回归树的窨,T表示树的叶子数,/>表示第m个属性的数值空间,/>表示什么表示叶子数为T时的权重数值空间,K表示属性决策树的总数量,m表示第m个属性,每个fk(x)对应于树结构q和叶权重w,xi代表第i个样本,yi代表第i个类别标签。
其目标函数为:
步骤(3):将高光谱图像通过20*20像素尺寸分割的方法获得像素块;
步骤(4):将获得多个的20*20的像素尺寸分割块进行二次分块,分别分割为4*4个(每行4个,每列4个)5*5的小型像素级光谱特征块;
利用步骤(2)中XGBoost提取的光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值。
加权光谱特征值,其公式如下:
其中,ωj表示第j个光谱特征的权重,xj表示第j个光谱特征值,mi表示像素块中第i个像素点,n表示选取的光谱特征数量。
计算特征光谱共生矩阵得到像素块之间的空间维度:角二阶矩、惯性矩、熵、相关性。
本实施例中,特征光谱共生矩阵计算0°、45°、90°、135°四个方向数值,通过角二阶矩、惯性矩、熵、相关性共4个统计属性定量描述空间纹理特征,共得到16维纹理特征。
角二阶矩为:
ASM=∑i∑j glcm(i,j)2
惯性矩为:
CON=∑i∑j(i-j)2glcm(i,j)
熵为:
ENT=∑i∑j glcm(i,j)ln glcm(i,j)
相关性:
步骤(5):计算小型像素块中每个像素点的加权光谱特征值,计算特征光谱共生矩阵得到像素块之间的空间维度特征;
根据5*5像素块中225个像素点的平均光谱值可以的到该像素块中10维平均光谱值,并融合20*20大范围光谱特征,其公式为:
其中Xni表示像素块Si中光谱向量集合,mi是像素块Si的平均值光谱特征,ni是像素块中像素个数。xm是大像素块中的像素均值,xm的计算方法如下:
步骤(6):利用小型像素块中每个像素点对应谱段光谱值的平均值得到像素块中10维光谱维度特征,并融合20*20大像素块的整体光谱特征值,减少光谱散射的同时增强光谱特性;
步骤(7):利用像素块的空间维度和光谱维度特征构建随机森林分类器,实现高光谱图像像素块分类,识别籽棉与地膜杂质;
采取随机森林作为机器学习分类模型,随机森林(Random Forest)是Bagging的一个扩展变体。其在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择,即:传统决策树在选择划分属性时是在当前结点的属性集合中(假设共有d个结点)基于信息纯度准则等选择一个最优属性,而在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,再对该子集进行基于信息准则的划分、属性选择,最终输出各个小像素块属于杂质类别的概率。
步骤(8):使用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
构建像素块内4个方向上的对接矩阵,4个矩阵分别为上矩阵、下矩阵、左矩阵和右矩阵定义如下:
Cu=[p1,1,p1,2,p1,3,p1,4]
Cd=[p4,1,p4,2,p4,3,p4,4]
Cl=[p1,1,p2,1,p3,1,p4,1]
Cr=[p1,4,p2,4,p3,4,p4,4]
式中,Cu,Cd,Cl,Cr分别表示上矩阵、下矩阵、左矩阵和右矩阵,pi,j表示步骤(7)中小像素块属于杂质类别的概率。
步骤(9):结合杂质对接矩阵结果,以及识别结果,进行小型像素块的结果修正。
修正过程如下:
(1)水平方向修正:相邻的小型像素块的左矩阵和右矩阵进行对接,对接修正的过程如下:
式中,Cl,i,Cr,i分别表示左矩阵和右矩阵当中的第i个元素。对于缺少相邻左矩阵或右矩阵的情况下则使用全0矩阵代替缺失的矩阵。
(2)竖直方向修正,竖直方向的修正由于牵涉到多行的不同结果,因此每次只对上矩阵进行修正,而下矩阵则进行存储,实现对于下一行小型矩阵的结果的修正,从而实现在采集过程中的实时在线识别,上矩阵的对接过程如下:
式中,Cu,i和Cd,i分别表示上矩阵和下矩阵当中的第i个元素。
经过修正后,小像素块内的概率大于0.5时则判定小像素块属于杂质。而大像素块属于杂质的类别概率则由块内的小像素块的识别结果属于杂质的数量决定,当小像素块数量杂质数量大于整体像素块数量的25%时,则大像素块判定为杂质。
步骤(10):利用小型像素块结果,构建提出对应区域的地膜识别结果,指导后续的地膜剔除过程。
机器学习模型分类识别结果以像素块的形式代替像素点识别结果,将棉花的识别结果隐藏,只显示地膜像素块识别结果,并将其转换成二值图像,提取地膜像素块轮廓,计算地膜在识别结果中的坐标,方便后续剔除。
本发明的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用极限梯度提升算法对原始光谱特征重要性进行排序,并选择重要性前10的光谱特征作为像素块光谱维度特征;引入加权光谱特征值概念,利用光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值,并用于计算特征光谱共生矩阵得到像素块之间的空间维度特征,光谱信息作为光谱特征。利用高光谱图像像素块的空间维度特征和光谱维度特征构建随机森林分类器,对籽棉与地膜进行在线分类识别,并计算图像块的杂质对接矩阵,进行杂质的判别。能够充分利用相邻像素点的高度相关性,捕获空间域中纹理结构的信息,融合光谱域与空间域特征,提高分类精度,有效解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题。
利用本发明的基于高光谱图像像素块机器学习的籽棉地膜识别分类算法进行实验,实验效果如图2、图3和图4所示,下面结合仿真实验对本发明的效果做进一步说明。
1.仿真实验条件:
本文使用python进行图像处理及机器学习模型搭建及训练;程序运行的软件是PyCharm,使用了numpy、opencv、sklearn等python库,运行机器学习模型的计算机CPU为intel i7芯片,主频2.6GHz,内存8G,GPU为Nvidia GTX3060显卡。
2.仿真实验内容:
使用高光谱成像设备获取籽棉地膜的光谱数据,比较并选择合适的像素块大小分割图像,利用本发明提出的算法建立机器学习模型,对混杂地膜的籽棉图像进行分类识别,定位地膜坐标。
如图2所示,是采集软件生成的原始伪彩色图和人工标记的籽棉和地膜标签图;图3为将高光谱图像进行20*20pixel像素块分割的效果图;图4为本发明生成的分类效果图,可以发现基于像素点的分割方法识别结果分散,不易后续确定坐标,而基于像素块的识别结果整体性高,易于确定坐标。实验显示,该方法能对地膜的识别率达到了97.4%,超过基于像素点识别率的94.8%,因此可以得出结论,本发明可以有效地识别棉籽中的地膜,同时具有结果完整性好,便于确定坐标等优势,为后续除杂装置的定位提供便利。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:利用高光谱成像设备获取混杂地膜的籽棉高光谱图像,将高光谱图像切割为像素块并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型对像素块中籽棉与地膜进行在线分类识别,步骤如下:
步骤(1):利用高光谱成像设备获取混杂地膜的籽棉高光谱图像共288维数据;
步骤(2):利用极限梯度提升算法对采集光谱数据集中各像素点在1000nm~2500nm波段上的多个谱段进行分类计算并降维,获得原始光谱特征重要性并排序,选择重要性靠前的光谱特征作为像素块光谱维度特征;
对其288维数据进行Savitzky-Golay平滑滤波、多元散射校正,并进行针对波长的信噪比筛选,选取多个谱段作为处理后数据,筛选值的计算公式如下:
式中,w表示的是白板光谱,d表示的是黑场光谱图,ns表示的是使用单行光谱像素点个数,rs表示的是针对波长s的光谱信噪比,仅保留波长信噪比rs≥2的波长;
步骤(3):将高光谱图像通过20*20像素尺寸分割的方法获得像素块;
步骤(4):将获得的20*20的像素尺寸分割块进行二次分块,分别分割为4*4个5*5的小型像素级光谱特征块;
利用步骤(2)中极限梯度提升算法提取的光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值;
加权光谱特征值的公式如下:
其中,ωj表示第j个光谱特征的权重,xj表示第j个光谱特征值,n表示选取的光谱特征数量;
计算特征光谱共生矩阵得到像素块之间的空间维度:角二阶矩、惯性矩、熵和相关性;
步骤(5):计算小型像素块中每个像素点的加权光谱特征值,计算特征光谱共生矩阵得到像素块之间的空间维度特征;
根据5*5像素块中225个像素点的平均光谱值得到该像素块中10维平均光谱值,并融合20*20大范围光谱特征,其公式为:
其中,Xni表示像素块Si中光谱向量集合,hi是像素块Si的平均值光谱特征,ni是像素块中像素个数,xm是大像素块中的像素均值;
步骤(6):利用小型像素块中每个像素点对应谱段光谱值的平均值得到像素块中10维光谱维度特征,并融合20*20大像素块的整体光谱特征值,减少光谱散射的同时增强光谱特性;
步骤(7):利用像素块的空间维度和光谱维度特征构建随机森林分类器,实现高光谱图像像素块分类,识别籽棉与地膜杂质;
步骤(8):使用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
步骤(9):结合杂质对接矩阵结果,以及识别结果,进行小型像素块的结果修正,修正过程如下:
1)水平方向修正:相邻的小型像素块的左矩阵和右矩阵进行对接,对接修正的过程如下:
式中,Cl,i和Cr,i分别表示左矩阵和右矩阵当中的第i个元素,对于缺少相邻左矩阵或右矩阵的情况下则使用全0矩阵代替缺失的矩阵;
2)竖直方向修正,竖直方向的修正由于牵涉到多行的不同结果,因此每次只对上矩阵进行修正,而下矩阵则进行存储,实现对于下一行小型矩阵的结果的修正,从而实现在采集过程中的实时在线识别,上矩阵的对接过程如下:
式中,Cu,i和Cd,i分别表示上矩阵和下矩阵当中的第i个元素;
步骤(10):利用小型像素块结果,构建提出对应区域的地膜识别结果,指导后续的地膜剔除过程。
5.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(7)中,在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,再对该子集进行基于信息准则的划分、属性选择,最终输出各个小像素块属于杂质类别的概率。
6.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(8)中,用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
构建像素块内4个方向上的对接矩阵,4个矩阵分别为上矩阵、下矩阵、左矩阵和右矩阵定义如下:
Cu=[p1,1,p1,2,p1,3,p1,4]
Cd=[p4,1,p4,2,p4,3,p4,4]
Cl=[p1,1,p2,1,p3,1,p4,1]
Cr=[p1,4,p2,4,p3,4,p4,4]
式中,Cu,Cd,Cl,Cr分别表示上矩阵、下矩阵、左矩阵和右矩阵,pi,j表示步骤(7)中小像素块属于杂质类别的概率,i=1,2,3,4,j=1,2,3,4。
7.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(9)中,经过修正后,小像素块内的概率大于0.5时则判定小像素块属于杂质,而大像素块属于杂质的类别概率则由块内的小像素块的识别结果属于杂质的数量决定,当小像素块数量杂质数量大于整体像素块数量的25%时,则大像素块判定为杂质。
8.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(10)中,机器学习模型分类识别结果以像素块的形式代替像素点识别结果,将棉花的识别结果隐藏,只显示地膜像素块识别结果,并将其转换成二值图像,提取地膜像素块轮廓,计算地膜在识别结果中的坐标,方便后续剔除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210607623.XA CN114882291B (zh) | 2022-05-31 | 2022-05-31 | 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210607623.XA CN114882291B (zh) | 2022-05-31 | 2022-05-31 | 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114882291A CN114882291A (zh) | 2022-08-09 |
CN114882291B true CN114882291B (zh) | 2023-06-06 |
Family
ID=82680314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210607623.XA Active CN114882291B (zh) | 2022-05-31 | 2022-05-31 | 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114882291B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018045626A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及系统 |
CN208098653U (zh) * | 2018-02-13 | 2018-11-16 | 南京林业大学 | 一种籽棉残膜分选装置 |
WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2688064B1 (fr) * | 1992-07-22 | 1997-10-17 | Scanera Sc | Dispositif de detection de defauts de materiaux fibreux |
DE102008034385A1 (de) * | 2008-07-23 | 2010-01-28 | TRüTZSCHLER GMBH & CO. KG | Vorrichtung in der Spinnereivorbereitung, Ginnerei o. dgl. zum Erkennen von Fremdstoffen in oder zwischen Fasermaterial, insbesondere Baumwolle |
CN101806751B (zh) * | 2010-03-02 | 2012-01-11 | 清华大学 | 一种皮棉杂质的双光源透反射成像检测装置 |
CN104123731A (zh) * | 2014-08-04 | 2014-10-29 | 山东农业大学 | 低对比度皮棉地膜图像分割方法 |
CN108284079B (zh) * | 2018-02-13 | 2019-05-07 | 南京林业大学 | 一种基于高光谱成像与深度学习的籽棉残膜分选装置的残膜识别分类算法 |
CN110084194B (zh) * | 2019-04-26 | 2020-07-28 | 南京林业大学 | 一种基于高光谱成像与深度学习的籽棉地膜在线识别方法 |
CN110390322B (zh) * | 2019-08-28 | 2020-05-05 | 南京林业大学 | 一种用于深度学习的籽棉地膜高光谱可视化标签方法 |
CN111507962B (zh) * | 2020-04-17 | 2023-08-29 | 无锡雪浪数制科技有限公司 | 一种基于深度视觉的棉花内杂物识别系统 |
CN111860612B (zh) * | 2020-06-29 | 2021-09-03 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 无监督高光谱图像隐低秩投影学习特征提取方法 |
CN112461848A (zh) * | 2020-12-16 | 2021-03-09 | 石河子大学 | 一种激光增强的籽棉残膜在线检测系统 |
CN113963255B (zh) * | 2021-09-08 | 2024-03-19 | 江苏大学 | 一种基于田垄颜色特征的垄上作业机械导航线识别方法 |
CN114419011A (zh) * | 2022-01-24 | 2022-04-29 | 郑州轻工业大学 | 一种棉花异性纤维在线检测方法及系统 |
-
2022
- 2022-05-31 CN CN202210607623.XA patent/CN114882291B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018045626A1 (zh) * | 2016-09-07 | 2018-03-15 | 深圳大学 | 基于超像素级信息融合的高光谱图像的分类方法及系统 |
CN208098653U (zh) * | 2018-02-13 | 2018-11-16 | 南京林业大学 | 一种籽棉残膜分选装置 |
WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114882291A (zh) | 2022-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Parvathi et al. | Detection of maturity stages of coconuts in complex background using Faster R-CNN model | |
Kurtulmuş et al. | Detecting corn tassels using computer vision and support vector machines | |
CN106845497B (zh) | 基于多特征融合的玉米前期图像旱情识别方法 | |
CN114445785A (zh) | 基于物联网的荔枝虫害监测预警方法、系统及存储介质 | |
Rothe et al. | Automated extraction of digital images features of three kinds of cotton leaf diseases | |
Saranya et al. | Deep learning techniques in tomato plant–a review | |
Alzadjali et al. | Maize tassel detection from UAV imagery using deep learning | |
Samanta et al. | Scab diseases detection of potato using image processing | |
Pandey et al. | Non-destructive quality grading of mango (Mangifera Indica L) based on CIELab colour model and size | |
CN113657158A (zh) | 基于Google Earth Engine的大尺度大豆种植区域提取算法 | |
Heidary-Sharifabad et al. | An efficient deep learning model for cultivar identification of a pistachio tree | |
Bansal et al. | Detecting Severity Levels of Cucumber Leaf Spot Disease using ResNext Deep Learning Model: A Digital Image Analysis Approach | |
Faye et al. | Mango Diseases Classification Solutions Using Machine Learning or Deep Learning: A Review | |
CN114882291B (zh) | 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 | |
CN113111830A (zh) | 一种葡萄藤冬剪点检测算法 | |
CN116245855B (zh) | 作物品种鉴定方法、装置、设备及存储介质 | |
Liu et al. | “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots | |
CN114972264A (zh) | 一种基于MS-PLNet模型绿豆叶斑病识别方法及装置 | |
Rodriguez et al. | Machine learning techniques in the detection of cocoa (Theobroma cacao L.) diseases | |
CN115049920A (zh) | 基于gee结合生育期属性和面向对象的大区域作物提取方法 | |
Patel et al. | An Intelligent Grading System for Automated Identification and Classification of Banana Fruit Diseases Using Deep Neural Network | |
Indukuri et al. | Paddy Disease Classifier using Deep learning Techniques | |
James et al. | CitDet: A Benchmark Dataset for Citrus Fruit Detection | |
Hitimana et al. | An Intelligent System-Based Coffee Plant Leaf Disease Recognition Using Deep Learning Techniques on Rwandan Arabica Dataset. Technologies. 2023; 11 (5): 116 | |
Sivalingam et al. | tAssessee: Automatically Assessing Quality of Tea Leaves using Image Processing Techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |