CN114882291B - 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 - Google Patents

基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 Download PDF

Info

Publication number
CN114882291B
CN114882291B CN202210607623.XA CN202210607623A CN114882291B CN 114882291 B CN114882291 B CN 114882291B CN 202210607623 A CN202210607623 A CN 202210607623A CN 114882291 B CN114882291 B CN 114882291B
Authority
CN
China
Prior art keywords
pixel block
spectrum
matrix
pixel
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210607623.XA
Other languages
English (en)
Other versions
CN114882291A (zh
Inventor
李振业
程磊
过奕任
朱婷婷
倪超
殷子璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202210607623.XA priority Critical patent/CN114882291B/zh
Publication of CN114882291A publication Critical patent/CN114882291A/zh
Application granted granted Critical
Publication of CN114882291B publication Critical patent/CN114882291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用高光谱成像设备获取杂质混合后的物料高光谱图像,将高光谱图像切割为与剔除要求对应的像素块,并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型,构建杂质对接矩阵,提升对于连续像素块的识别精度,最终实现对像素块中物料进行在线分类识别。本发明利用极限梯度提升算法对原始光谱特征重要性进行排序,引入加权光谱特征值概念,构建随机森林分类器对籽棉与地膜进行在线分类识别;有效解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题。

Description

基于高光谱图像像素块机器学习的籽棉地膜识别分类方法
技术领域
本发明属于籽棉异物识别技术领域,具体涉及一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法。
背景技术
我国作为棉花生产大国,棉花加工与纺织在国民经济中有着重要的作用。目前我国的棉花种植普遍采用地膜覆盖技术以及机械化采摘技术,这些方法可以极大地提高棉花生产效率。农用地膜具有增温、保墒、灭草的功能,解决了我国干旱地区和冷凉地区农业生产能力弱的严重问题,是提高农田作物水分利用率、缓解水资源短缺、防止病虫害和促进植物生长的重要手段。然而在籽棉机械采摘过程中容易混杂大量地膜残片,这些地膜残片若没有处理干净则会随着加工环节进入皮棉,极大地影响纺织品质量。目前高光谱技术被应用于异物识别领域,但是由于地膜具有良好的透光率,其覆盖在籽棉表面,极易产生“异物同谱”现象,使得识别效果不理想,只有部分地膜像素点能够被识别,这些像素点分散零碎难以确定地膜坐标,使得在混杂地膜的籽棉中将其区分开来成为棉花行业的一个技术难题。
发明内容
本发明解决的技术问题:提供一种解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法。
技术方案:为了解决上述技术问题,本发明采用的技术方案如下:
一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用高光谱成像设备获取混杂地膜的籽棉高光谱图像,将高光谱图像切割为像素块并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型对像素块中籽棉与地膜进行在线分类识别,步骤如下:
步骤(1):利用高光谱成像设备获取混杂地膜的籽棉高光谱图像共288维数据;
步骤(2):利用极限梯度提升算法对采集光谱数据集中各像素点在1000nm~2500nm波段上的多个谱段进行分类计算并降维,获得原始光谱特征重要性并排序,选择重要性靠前的光谱特征作为像素块光谱维度特征;
对其288维数据进行Savitzky-Golay平滑滤波、多元散射校正,并进行针对波长的信噪比筛选,选取多个谱段作为处理后数据,筛选值的计算公式如下:
Figure BDA0003671993760000021
式中,w表示的是白板光谱,d表示的是黑场光谱图,ns表示的是使用单行光谱像素点个数,rs表示的是针对波长s的光谱信噪比,仅保留波长信噪比rs≥2的波长;
步骤(3):将高光谱图像通过20*20像素尺寸分割的方法获得像素块;
步骤(4)将获得的20*20的像素尺寸分割块进行二次分块,分别分割为4*4个5*5的小型像素级光谱特征块;
利用步骤(2)中极限梯度提升算法提取的光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值。
加权光谱特征值的公式如下:
Figure BDA0003671993760000022
其中,ωj表示第j个光谱特征的权重,xj表示第j个光谱特征值,mi表示像素块中第i个像素点,n表示选取的光谱特征数量;
计算特征光谱共生矩阵得到像素块之间的空间维度:角二阶矩、惯性矩、熵和相关性;
步骤(5):计算小型像素块中每个像素点的加权光谱特征值,计算特征光谱共生矩阵得到像素块之间的空间维度特征;
根据5*5像素块中225个像素点的平均光谱值可以的到该像素块中10维平均光谱值,并融合20*20大范围光谱特征,其公式为:
Figure BDA0003671993760000023
其中,Xni表示像素块Si中光谱向量集合,mi是像素块Si的平均值光谱特征,ni是像素块中像素个数,xm是大像素块中的像素均值;
步骤(6):利用小型像素块中每个像素点对应谱段光谱值的平均值得到像素块中10维光谱维度特征,并融合20*20大像素块的整体光谱特征值,减少光谱散射的同时增强光谱特性;
步骤(7):利用像素块的空间维度和光谱维度特征构建随机森林分类器,实现高光谱图像像素块分类,识别籽棉与地膜杂质;
步骤(8):使用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
步骤(9):结合杂质对接矩阵结果,以及识别结果,进行小型像素块的结果修正,修正过程如下:
1)水平方向修正:相邻的小型像素块的左矩阵和右矩阵进行对接,对接修正的过程如下:
Figure BDA0003671993760000031
Figure BDA0003671993760000032
式中,Cl,i和Cr,i分别表示左矩阵和右矩阵当中的第i个元素,对于缺少相邻左矩阵或右矩阵的情况下则使用全0矩阵代替缺失的矩阵;
2)竖直方向修正,竖直方向的修正由于牵涉到多行的不同结果,因此每次只对上矩阵进行修正,而下矩阵则进行存储,实现对于下一行小型矩阵的结果的修正,从而实现在采集过程中的实时在线识别,上矩阵的对接过程如下:
Figure BDA0003671993760000033
式中,Cu,i和Cd,i分别表示上矩阵和下矩阵当中的第i个元素;
步骤(10):利用小型像素块结果,构建提出对应区域的地膜识别结果,指导后续的地膜剔除过程。
进一步地,步骤(2)中,使用基于决策树的梯度提升算法降低树的复杂度,通过每个属性分割点改进性能度量的量来计算单个决策树的重要性,并由节点负责的观察数量加权。
其预测函数为:
Figure BDA0003671993760000034
其中,
Figure BDA0003671993760000041
表示回归树的空间,T表示树的叶子数,/>
Figure BDA0003671993760000042
表示第m个属性的数值空间,/>
Figure BDA0003671993760000043
表示什么表示叶子数为T时的权重数值空间,K表示属性决策树的总数量,m表示第m个属性,每个fk(x)对应于树结构q和叶权重w,xi代表第i个样本,yi代表第i个类别标签。
其目标函数为:
Figure BDA0003671993760000044
其中,l代表
Figure BDA0003671993760000045
和yi之间的误差,Ω是模型复杂性的惩罚函数,φ表示当前的模型参数。
进一步地,特征光谱共生矩阵计算0°、45°、90°、135°四个方向数值,通过角二阶矩、惯性矩、熵、相关性共4个统计属性定量描述空间纹理特征,共得到16维纹理特征;
角二阶矩为:
ASM=∑ij glcm(i,j)2
惯性矩为:
CON=∑ij(i-j)2glcm(i,j)
熵为:
ENT=-∑ij glcm(i,j)ln glcm(i,j)
相关性:
Figure BDA0003671993760000046
式中,glcm(i,j)表示特征光谱共生矩阵i,j分别表示第i和第j个像素,μx和μy分别表示序列x序列和y序列的均值
Figure BDA0003671993760000047
和/>
Figure BDA0003671993760000048
分别表示x序列和y序列的方差。
进一步地,步骤(5)中xm的计算方法如下:
Figure BDA0003671993760000049
式中,
Figure BDA00036719937600000410
表示大像素块sm中的光谱向量几何,nm是大像素块中像素个数,10个波段由步骤(2)中的极限梯度提升算法提取,即一个像素块的光谱特征由此平均值特征代替。
进一步地,步骤(7)中,在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,再对该子集进行基于信息准则的划分、属性选择,最终输出各个小像素块属于杂质类别的概率。
进一步地,步骤(8)中,用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
构建像素块内4个方向上的对接矩阵,4个矩阵分别为上矩阵、下矩阵、左矩阵和右矩阵定义如下:
Cu=[p1,1,p1,2,p1,3,p1,4]
Cd=[p4,1,p4,2,p4,3,p4,4]
Cl=[p1,1,p2,1,p3,1,p4,1]
Cr=[p1,4,p2,4,p3,4,p4,4]
式中,Cu,Cd,Cl,Cr分别表示上矩阵、下矩阵、左矩阵和右矩阵,pi,j表示步骤(7)中小像素块属于杂质类别的概率。
进一步地,步骤(9)中,经过修正后,小像素块内的概率大于0.5时则判定小像素块属于杂质,而大像素块属于杂质的类别概率则由块内的小像素块的识别结果属于杂质的数量决定,当小像素块数量杂质数量大于整体像素块数量的25%时,则大像素块判定为杂质。
进一步地,步骤(10)中,机器学习模型分类识别结果以像素块的形式代替像素点识别结果,将棉花的识别结果隐藏,只显示地膜像素块识别结果,并将其转换成二值图像,提取地膜像素块轮廓,计算地膜在识别结果中的坐标,方便后续剔除。
有益效果:与现有技术相比,本发明具有以下优点:
(1)本发明将高光谱技术应用于籽棉异物识别技术领域,利用极限梯度提升算法对原始光谱特征重要性进行排序,并选择重要性前十的光谱特征作为像素块光谱维度特征;
(2)引入加权光谱特征值概念,利用光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值,并用于计算特征光谱共生矩阵得到像素块之间的空间维度特征,相比于传统的光谱特征,具有更强的可分类性,使得最终的光谱分类精度得到提高;
(3)利用高光谱图像像素块的空间维度特征和光谱维度特征构建随机森林分类器对籽棉与地膜进行在线分类识别,能够充分利用相邻像素点的高度相关性,捕获空间域中纹理结构的信息,融合光谱域与空间域特征,提高分类精度;
(4)有效解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题。
附图说明
图1是本发明分类方法结构示意图;
图2是本发明采集软件生成的原始伪彩色图和人工标记的籽棉和地膜标签图;
图3是本发明基于像素块分割后的效果图;
图4是本发明采用本发明的方法生成的棉籽分类效果图。
具体实施方式
下面结合具体实施例,进一步阐明本发明,实施例在以本发明技术方案为前提下进行实施,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示,本发明的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用高光谱成像设备获取混杂地膜的籽棉高光谱图像,将高光谱图像切割为像素块并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型对像素块中籽棉与地膜进行在线分类识别,步骤如下:
步骤(1):利用高光谱成像设备获取混杂地膜的籽棉高光谱图像共288维数据;
本实施例中,利用芬兰SPECIM公司的FX系列高光谱成像设备获取混杂地膜的籽棉高光谱图像1000nm~2500nm波段上共288维数据;
步骤(2):利用极限梯度提升(XGBoost)算法对采集光谱数据集中各像素点在1000nm~2500nm波段上的80-190个谱段进行分类计算并降维,本实施例首选采用160个谱段进行分类计算并降维,获得原始光谱特征重要性并排序,选择重要性前10-50的光谱特征作为像素块光谱维度特征,本实施例首选采用重要性前40的光谱特征作为像素块特征维度;
高光谱成像设备获取混杂地膜在1000nm~2500nm的光谱图像,原始数据288个谱段,对其288维数据进行Savitzky-Golay平滑滤波、多元散射校正,并进行针对波长的信噪比筛选,选取80-190个(本实施例中选80个)谱段作为处理后数据。避免噪声对高光谱数据产生干扰、避免不同角度光谱值散射所导致的误差后,
筛选值的计算公式如下:
Figure BDA0003671993760000071
式中,w表示的是白板光谱,d表示的是黑场光谱图,ns表示的是使用单行光谱像素点个数,rs表示的是针对波长s的光谱信噪比,仅保留波长信噪比rs≥2的波长。
极限梯度提升(XGBoost)算法通过正则化来降低树的复杂度,从而获得更好的模型性能。使用基于决策树的梯度提升算法的好处是,可以根据提升之后的树获取每个特征的重要性,从而有效地进行特征的筛选。
一般来说,特征的重要性表示这个特征在构建提升树的作用。如果一个特征在所有树中作为划分属性的次数越多,那么该特征就越重要。通过每个属性分割点改进性能度量的量来计算单个决策树的重要性,并由节点负责的观察数量加权。
其预测函数为:
Figure BDA0003671993760000072
/>
其中,
Figure BDA0003671993760000073
表示回归树的窨,T表示树的叶子数,/>
Figure BDA0003671993760000074
表示第m个属性的数值空间,/>
Figure BDA0003671993760000075
表示什么表示叶子数为T时的权重数值空间,K表示属性决策树的总数量,m表示第m个属性,每个fk(x)对应于树结构q和叶权重w,xi代表第i个样本,yi代表第i个类别标签。
其目标函数为:
Figure BDA0003671993760000076
其中,l代表
Figure BDA0003671993760000077
和yi之间的误差,Ω是模型复杂性的惩罚函数,φ表示当前的模型参数。
步骤(3):将高光谱图像通过20*20像素尺寸分割的方法获得像素块;
步骤(4):将获得多个的20*20的像素尺寸分割块进行二次分块,分别分割为4*4个(每行4个,每列4个)5*5的小型像素级光谱特征块;
利用步骤(2)中XGBoost提取的光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值。
加权光谱特征值,其公式如下:
Figure BDA0003671993760000081
其中,ωj表示第j个光谱特征的权重,xj表示第j个光谱特征值,mi表示像素块中第i个像素点,n表示选取的光谱特征数量。
计算特征光谱共生矩阵得到像素块之间的空间维度:角二阶矩、惯性矩、熵、相关性。
本实施例中,特征光谱共生矩阵计算0°、45°、90°、135°四个方向数值,通过角二阶矩、惯性矩、熵、相关性共4个统计属性定量描述空间纹理特征,共得到16维纹理特征。
角二阶矩为:
ASM=∑ij glcm(i,j)2
惯性矩为:
CON=∑ij(i-j)2glcm(i,j)
熵为:
ENT=∑ij glcm(i,j)ln glcm(i,j)
相关性:
Figure BDA0003671993760000084
式中,,glcm(i,j)表示特征光谱共生矩阵i,j分别表示第i和第j个像素,μx和μy分别表示序列x序列和y序列的均值
Figure BDA0003671993760000082
和/>
Figure BDA0003671993760000083
分别表示x序列和y序列的方差。
步骤(5):计算小型像素块中每个像素点的加权光谱特征值,计算特征光谱共生矩阵得到像素块之间的空间维度特征;
根据5*5像素块中225个像素点的平均光谱值可以的到该像素块中10维平均光谱值,并融合20*20大范围光谱特征,其公式为:
Figure BDA0003671993760000091
其中Xni表示像素块Si中光谱向量集合,mi是像素块Si的平均值光谱特征,ni是像素块中像素个数。xm是大像素块中的像素均值,xm的计算方法如下:
Figure BDA0003671993760000092
式中,
Figure BDA0003671993760000093
表示大像素块sm中的光谱向量几何,nm是大像素块中像素个数。10个波段由步骤(2)中的极限梯度提升算法XGBOOST提取,即一个像素块的光谱特征由此平均值特征代替。
步骤(6):利用小型像素块中每个像素点对应谱段光谱值的平均值得到像素块中10维光谱维度特征,并融合20*20大像素块的整体光谱特征值,减少光谱散射的同时增强光谱特性;
步骤(7):利用像素块的空间维度和光谱维度特征构建随机森林分类器,实现高光谱图像像素块分类,识别籽棉与地膜杂质;
采取随机森林作为机器学习分类模型,随机森林(Random Forest)是Bagging的一个扩展变体。其在以决策树为基学习器构建Bagging集成的基础上,进一步在决策树的训练过程中引入了随机属性选择,即:传统决策树在选择划分属性时是在当前结点的属性集合中(假设共有d个结点)基于信息纯度准则等选择一个最优属性,而在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,再对该子集进行基于信息准则的划分、属性选择,最终输出各个小像素块属于杂质类别的概率。
步骤(8):使用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
构建像素块内4个方向上的对接矩阵,4个矩阵分别为上矩阵、下矩阵、左矩阵和右矩阵定义如下:
Cu=[p1,1,p1,2,p1,3,p1,4]
Cd=[p4,1,p4,2,p4,3,p4,4]
Cl=[p1,1,p2,1,p3,1,p4,1]
Cr=[p1,4,p2,4,p3,4,p4,4]
式中,Cu,Cd,Cl,Cr分别表示上矩阵、下矩阵、左矩阵和右矩阵,pi,j表示步骤(7)中小像素块属于杂质类别的概率。
步骤(9):结合杂质对接矩阵结果,以及识别结果,进行小型像素块的结果修正。
修正过程如下:
(1)水平方向修正:相邻的小型像素块的左矩阵和右矩阵进行对接,对接修正的过程如下:
Figure BDA0003671993760000101
/>
Figure BDA0003671993760000102
式中,Cl,i,Cr,i分别表示左矩阵和右矩阵当中的第i个元素。对于缺少相邻左矩阵或右矩阵的情况下则使用全0矩阵代替缺失的矩阵。
(2)竖直方向修正,竖直方向的修正由于牵涉到多行的不同结果,因此每次只对上矩阵进行修正,而下矩阵则进行存储,实现对于下一行小型矩阵的结果的修正,从而实现在采集过程中的实时在线识别,上矩阵的对接过程如下:
Figure BDA0003671993760000103
式中,Cu,i和Cd,i分别表示上矩阵和下矩阵当中的第i个元素。
经过修正后,小像素块内的概率大于0.5时则判定小像素块属于杂质。而大像素块属于杂质的类别概率则由块内的小像素块的识别结果属于杂质的数量决定,当小像素块数量杂质数量大于整体像素块数量的25%时,则大像素块判定为杂质。
步骤(10):利用小型像素块结果,构建提出对应区域的地膜识别结果,指导后续的地膜剔除过程。
机器学习模型分类识别结果以像素块的形式代替像素点识别结果,将棉花的识别结果隐藏,只显示地膜像素块识别结果,并将其转换成二值图像,提取地膜像素块轮廓,计算地膜在识别结果中的坐标,方便后续剔除。
本发明的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,利用极限梯度提升算法对原始光谱特征重要性进行排序,并选择重要性前10的光谱特征作为像素块光谱维度特征;引入加权光谱特征值概念,利用光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值,并用于计算特征光谱共生矩阵得到像素块之间的空间维度特征,光谱信息作为光谱特征。利用高光谱图像像素块的空间维度特征和光谱维度特征构建随机森林分类器,对籽棉与地膜进行在线分类识别,并计算图像块的杂质对接矩阵,进行杂质的判别。能够充分利用相邻像素点的高度相关性,捕获空间域中纹理结构的信息,融合光谱域与空间域特征,提高分类精度,有效解决了地膜由于透光性产生异物同谱问题导致识别像素点过少、分类精度不高的问题。
利用本发明的基于高光谱图像像素块机器学习的籽棉地膜识别分类算法进行实验,实验效果如图2、图3和图4所示,下面结合仿真实验对本发明的效果做进一步说明。
1.仿真实验条件:
本文使用python进行图像处理及机器学习模型搭建及训练;程序运行的软件是PyCharm,使用了numpy、opencv、sklearn等python库,运行机器学习模型的计算机CPU为intel i7芯片,主频2.6GHz,内存8G,GPU为Nvidia GTX3060显卡。
2.仿真实验内容:
使用高光谱成像设备获取籽棉地膜的光谱数据,比较并选择合适的像素块大小分割图像,利用本发明提出的算法建立机器学习模型,对混杂地膜的籽棉图像进行分类识别,定位地膜坐标。
如图2所示,是采集软件生成的原始伪彩色图和人工标记的籽棉和地膜标签图;图3为将高光谱图像进行20*20pixel像素块分割的效果图;图4为本发明生成的分类效果图,可以发现基于像素点的分割方法识别结果分散,不易后续确定坐标,而基于像素块的识别结果整体性高,易于确定坐标。实验显示,该方法能对地膜的识别率达到了97.4%,超过基于像素点识别率的94.8%,因此可以得出结论,本发明可以有效地识别棉籽中的地膜,同时具有结果完整性好,便于确定坐标等优势,为后续除杂装置的定位提供便利。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:利用高光谱成像设备获取混杂地膜的籽棉高光谱图像,将高光谱图像切割为像素块并提取空间纹理特征结合光谱特征作为像素块的特征,构建机器学习模型对像素块中籽棉与地膜进行在线分类识别,步骤如下:
步骤(1):利用高光谱成像设备获取混杂地膜的籽棉高光谱图像共288维数据;
步骤(2):利用极限梯度提升算法对采集光谱数据集中各像素点在1000nm~2500nm波段上的多个谱段进行分类计算并降维,获得原始光谱特征重要性并排序,选择重要性靠前的光谱特征作为像素块光谱维度特征;
对其288维数据进行Savitzky-Golay平滑滤波、多元散射校正,并进行针对波长的信噪比筛选,选取多个谱段作为处理后数据,筛选值的计算公式如下:
Figure FDA0004200596130000011
式中,w表示的是白板光谱,d表示的是黑场光谱图,ns表示的是使用单行光谱像素点个数,rs表示的是针对波长s的光谱信噪比,仅保留波长信噪比rs≥2的波长;
步骤(3):将高光谱图像通过20*20像素尺寸分割的方法获得像素块;
步骤(4):将获得的20*20的像素尺寸分割块进行二次分块,分别分割为4*4个5*5的小型像素级光谱特征块;
利用步骤(2)中极限梯度提升算法提取的光谱特征重要性作为权重得到像素块中每个像素点的加权光谱特征值;
加权光谱特征值的公式如下:
Figure FDA0004200596130000012
其中,ωj表示第j个光谱特征的权重,xj表示第j个光谱特征值,n表示选取的光谱特征数量;
计算特征光谱共生矩阵得到像素块之间的空间维度:角二阶矩、惯性矩、熵和相关性;
步骤(5):计算小型像素块中每个像素点的加权光谱特征值,计算特征光谱共生矩阵得到像素块之间的空间维度特征;
根据5*5像素块中225个像素点的平均光谱值得到该像素块中10维平均光谱值,并融合20*20大范围光谱特征,其公式为:
Figure FDA0004200596130000021
其中,Xni表示像素块Si中光谱向量集合,hi是像素块Si的平均值光谱特征,ni是像素块中像素个数,xm是大像素块中的像素均值;
步骤(6):利用小型像素块中每个像素点对应谱段光谱值的平均值得到像素块中10维光谱维度特征,并融合20*20大像素块的整体光谱特征值,减少光谱散射的同时增强光谱特性;
步骤(7):利用像素块的空间维度和光谱维度特征构建随机森林分类器,实现高光谱图像像素块分类,识别籽棉与地膜杂质;
步骤(8):使用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
步骤(9):结合杂质对接矩阵结果,以及识别结果,进行小型像素块的结果修正,修正过程如下:
1)水平方向修正:相邻的小型像素块的左矩阵和右矩阵进行对接,对接修正的过程如下:
Figure FDA0004200596130000022
Figure FDA0004200596130000023
式中,Cl,i和Cr,i分别表示左矩阵和右矩阵当中的第i个元素,对于缺少相邻左矩阵或右矩阵的情况下则使用全0矩阵代替缺失的矩阵;
2)竖直方向修正,竖直方向的修正由于牵涉到多行的不同结果,因此每次只对上矩阵进行修正,而下矩阵则进行存储,实现对于下一行小型矩阵的结果的修正,从而实现在采集过程中的实时在线识别,上矩阵的对接过程如下:
Figure FDA0004200596130000024
式中,Cu,i和Cd,i分别表示上矩阵和下矩阵当中的第i个元素;
步骤(10):利用小型像素块结果,构建提出对应区域的地膜识别结果,指导后续的地膜剔除过程。
2.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(2)中,使用基于决策树的梯度提升算法降低树的复杂度,通过每个属性分割点改进性能度量的量来计算单个决策树的重要性,并由节点负责的观察数量加权,
其预测函数为:
Figure FDA0004200596130000031
其中,
Figure FDA0004200596130000032
表示回归树的空间,T表示树的叶子数,/>
Figure FDA0004200596130000033
表示第m个属性的数值空间,/>
Figure FDA0004200596130000034
表示叶子数为T时的权重数值空间,K表示属性决策树的总数量,m表示第m个属性,每个fk(xi)对应于树结构q和叶权重w,xi代表第i个样本,
其目标函数为:
Figure FDA0004200596130000035
其中,
Figure FDA0004200596130000036
代表预测类别值/>
Figure FDA0004200596130000037
和yi之间的误差,Ω是模型复杂性的惩罚函数,φ表示当前的模型参数,yi代表第i个类别标签。
3.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:特征光谱共生矩阵计算0°、45°、90°、135°四个方向数值,通过角二阶矩、惯性矩、熵、相关性共4个统计属性定量描述空间纹理特征,共得到16维纹理特征;
角二阶矩为:
ASM=∑ijglcm(i,j)2
惯性矩为:
CON=∑ij(i-j)2glcm(i,j)
熵为:
ENT=-∑ijglcm(i,j)lnglcm(i,j)
相关性:
Figure FDA0004200596130000041
式中,glcm(i,j)表示特征光谱共生矩阵,i,j分别表示第i和第j个像素,μx和μy分别表示x序列和y序列的均值,
Figure FDA0004200596130000042
和/>
Figure FDA0004200596130000043
分别表示x序列和y序列的方差。
4.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(5)中xm的计算方法如下:
Figure FDA0004200596130000044
式中,
Figure FDA0004200596130000045
表示大像素块sm中的光谱向量几何,nm是大像素块中像素个数,10个波段由步骤(2)中的极限梯度提升算法提取,即一个像素块的光谱特征由此平均值特征代替。
5.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(7)中,在随机森林中,对基决策树的每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,再对该子集进行基于信息准则的划分、属性选择,最终输出各个小像素块属于杂质类别的概率。
6.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(8)中,用识别结果构建4个方向上的杂质对接矩阵,获得相应区域的杂质出现概率;
构建像素块内4个方向上的对接矩阵,4个矩阵分别为上矩阵、下矩阵、左矩阵和右矩阵定义如下:
Cu=[p1,1,p1,2,p1,3,p1,4]
Cd=[p4,1,p4,2,p4,3,p4,4]
Cl=[p1,1,p2,1,p3,1,p4,1]
Cr=[p1,4,p2,4,p3,4,p4,4]
式中,Cu,Cd,Cl,Cr分别表示上矩阵、下矩阵、左矩阵和右矩阵,pi,j表示步骤(7)中小像素块属于杂质类别的概率,i=1,2,3,4,j=1,2,3,4。
7.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(9)中,经过修正后,小像素块内的概率大于0.5时则判定小像素块属于杂质,而大像素块属于杂质的类别概率则由块内的小像素块的识别结果属于杂质的数量决定,当小像素块数量杂质数量大于整体像素块数量的25%时,则大像素块判定为杂质。
8.根据权利要求1所述的基于高光谱图像像素块机器学习的籽棉地膜识别分类方法,其特征在于:步骤(10)中,机器学习模型分类识别结果以像素块的形式代替像素点识别结果,将棉花的识别结果隐藏,只显示地膜像素块识别结果,并将其转换成二值图像,提取地膜像素块轮廓,计算地膜在识别结果中的坐标,方便后续剔除。
CN202210607623.XA 2022-05-31 2022-05-31 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法 Active CN114882291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210607623.XA CN114882291B (zh) 2022-05-31 2022-05-31 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210607623.XA CN114882291B (zh) 2022-05-31 2022-05-31 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法

Publications (2)

Publication Number Publication Date
CN114882291A CN114882291A (zh) 2022-08-09
CN114882291B true CN114882291B (zh) 2023-06-06

Family

ID=82680314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210607623.XA Active CN114882291B (zh) 2022-05-31 2022-05-31 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法

Country Status (1)

Country Link
CN (1) CN114882291B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN208098653U (zh) * 2018-02-13 2018-11-16 南京林业大学 一种籽棉残膜分选装置
WO2021226900A1 (zh) * 2020-05-14 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2688064B1 (fr) * 1992-07-22 1997-10-17 Scanera Sc Dispositif de detection de defauts de materiaux fibreux
DE102008034385A1 (de) * 2008-07-23 2010-01-28 TRüTZSCHLER GMBH & CO. KG Vorrichtung in der Spinnereivorbereitung, Ginnerei o. dgl. zum Erkennen von Fremdstoffen in oder zwischen Fasermaterial, insbesondere Baumwolle
CN101806751B (zh) * 2010-03-02 2012-01-11 清华大学 一种皮棉杂质的双光源透反射成像检测装置
CN104123731A (zh) * 2014-08-04 2014-10-29 山东农业大学 低对比度皮棉地膜图像分割方法
CN108284079B (zh) * 2018-02-13 2019-05-07 南京林业大学 一种基于高光谱成像与深度学习的籽棉残膜分选装置的残膜识别分类算法
CN110084194B (zh) * 2019-04-26 2020-07-28 南京林业大学 一种基于高光谱成像与深度学习的籽棉地膜在线识别方法
CN110390322B (zh) * 2019-08-28 2020-05-05 南京林业大学 一种用于深度学习的籽棉地膜高光谱可视化标签方法
CN111507962B (zh) * 2020-04-17 2023-08-29 无锡雪浪数制科技有限公司 一种基于深度视觉的棉花内杂物识别系统
CN111860612B (zh) * 2020-06-29 2021-09-03 西南电子技术研究所(中国电子科技集团公司第十研究所) 无监督高光谱图像隐低秩投影学习特征提取方法
CN112461848A (zh) * 2020-12-16 2021-03-09 石河子大学 一种激光增强的籽棉残膜在线检测系统
CN113963255B (zh) * 2021-09-08 2024-03-19 江苏大学 一种基于田垄颜色特征的垄上作业机械导航线识别方法
CN114419011A (zh) * 2022-01-24 2022-04-29 郑州轻工业大学 一种棉花异性纤维在线检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018045626A1 (zh) * 2016-09-07 2018-03-15 深圳大学 基于超像素级信息融合的高光谱图像的分类方法及系统
CN208098653U (zh) * 2018-02-13 2018-11-16 南京林业大学 一种籽棉残膜分选装置
WO2021226900A1 (zh) * 2020-05-14 2021-11-18 安徽中科智能感知产业技术研究院有限责任公司 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN114882291A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
Parvathi et al. Detection of maturity stages of coconuts in complex background using Faster R-CNN model
Kurtulmuş et al. Detecting corn tassels using computer vision and support vector machines
CN106845497B (zh) 基于多特征融合的玉米前期图像旱情识别方法
CN114445785A (zh) 基于物联网的荔枝虫害监测预警方法、系统及存储介质
Rothe et al. Automated extraction of digital images features of three kinds of cotton leaf diseases
Saranya et al. Deep learning techniques in tomato plant–a review
Alzadjali et al. Maize tassel detection from UAV imagery using deep learning
Samanta et al. Scab diseases detection of potato using image processing
Pandey et al. Non-destructive quality grading of mango (Mangifera Indica L) based on CIELab colour model and size
CN113657158A (zh) 基于Google Earth Engine的大尺度大豆种植区域提取算法
Heidary-Sharifabad et al. An efficient deep learning model for cultivar identification of a pistachio tree
Bansal et al. Detecting Severity Levels of Cucumber Leaf Spot Disease using ResNext Deep Learning Model: A Digital Image Analysis Approach
Faye et al. Mango Diseases Classification Solutions Using Machine Learning or Deep Learning: A Review
CN114882291B (zh) 基于高光谱图像像素块机器学习的籽棉地膜识别分类方法
CN113111830A (zh) 一种葡萄藤冬剪点检测算法
CN116245855B (zh) 作物品种鉴定方法、装置、设备及存储介质
Liu et al. “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots
CN114972264A (zh) 一种基于MS-PLNet模型绿豆叶斑病识别方法及装置
Rodriguez et al. Machine learning techniques in the detection of cocoa (Theobroma cacao L.) diseases
CN115049920A (zh) 基于gee结合生育期属性和面向对象的大区域作物提取方法
Patel et al. An Intelligent Grading System for Automated Identification and Classification of Banana Fruit Diseases Using Deep Neural Network
Indukuri et al. Paddy Disease Classifier using Deep learning Techniques
James et al. CitDet: A Benchmark Dataset for Citrus Fruit Detection
Hitimana et al. An Intelligent System-Based Coffee Plant Leaf Disease Recognition Using Deep Learning Techniques on Rwandan Arabica Dataset. Technologies. 2023; 11 (5): 116
Sivalingam et al. tAssessee: Automatically Assessing Quality of Tea Leaves using Image Processing Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant