CN116229182A - 一种基于特征融合的小粒种咖啡缺陷生豆检测方法 - Google Patents

一种基于特征融合的小粒种咖啡缺陷生豆检测方法 Download PDF

Info

Publication number
CN116229182A
CN116229182A CN202310283731.0A CN202310283731A CN116229182A CN 116229182 A CN116229182 A CN 116229182A CN 202310283731 A CN202310283731 A CN 202310283731A CN 116229182 A CN116229182 A CN 116229182A
Authority
CN
China
Prior art keywords
lbp
coffee
image
green
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310283731.0A
Other languages
English (en)
Inventor
张悦
赵玉清
杨慧丽
焦雨杰
王天允
李嘉舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Agricultural University
Original Assignee
Yunnan Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Agricultural University filed Critical Yunnan Agricultural University
Priority to CN202310283731.0A priority Critical patent/CN116229182A/zh
Publication of CN116229182A publication Critical patent/CN116229182A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征融合的小粒种咖啡缺陷生豆检测方法，包括：采集生咖啡图像,对所述生咖啡图像进行预处理，获取若干个生咖啡图像子块；采用LBP算子对若干个生咖啡图像子块进行计算，获取若干个LBP图；基于所述LBP图获取若干个生咖啡图像子块的LBP纹理特征向量；基于机器学习算法构建缺陷检测模型并基于所述LBP纹理特征向量进行缺陷生咖啡豆检测；构建评价指标并基于所述评价指标对所述缺陷检测模型的表现能力进行评价。本发明构建的缺陷生咖啡豆检测模型简单高效且检测准确率高，可嵌入到小粒种咖啡智能检测装备，对小粒咖啡朝着精品咖啡方向迈进具有重要意义。

Description

一种基于特征融合的小粒种咖啡缺陷生豆检测方法
技术领域
本发明属于机器视觉领域，特别是涉及一种基于特征融合的小粒种咖啡缺陷生豆检测方法。
背景技术
咖啡是云南高原特色现代化农业中的重点产业，是普洱、保山等咖啡主产区的支柱产业和农民增收致富的重要经济来源。生咖啡中存在的少量缺陷豆显著影响咖啡品质，制约其精加工、贮藏和评级。目前，缺陷生咖啡豆剔除主要依赖人工分选，耗时、费力、主观差异大，阻碍咖啡产业规模化发展。因此，便捷、高效、准确的智能缺陷检测技术，对加快咖啡产业优化升级，提升云咖在全球价值链中的地位具有重要意义。
发明内容
本发明的目的是提供一种基于特征融合的小粒种咖啡缺陷生豆检测方法，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于特征融合的小粒种咖啡缺陷生豆检测方法，包括：
采集生咖啡图像,对所述生咖啡图像进行预处理，获取若干个生咖啡图像子块；
采用LBP算子对若干个生咖啡图像子块进行计算，获取若干个LBP图；
基于所述LBP图获取若干个生咖啡图像子块的LBP纹理特征向量；
基于机器学习算法构建缺陷检测模型并基于所述LBP纹理特征向量进行缺陷生咖啡豆检测；
构建评价指标并基于所述评价指标对所述缺陷检测模型的表现能力进行评价。
可选地，对所述生咖啡图像进行预处理的过程包括：
将所述生咖啡图像灰度化，采用高斯滤波去除噪声干扰；
采用Gamma变换增强整体细节，采用Canny算子锐化图像边缘；
将所述生咖啡图像转换为二值图，实现目标和背景分割；
将所述生咖啡图像进行黑白反转，增强特征区域；
采用开闭运算填充空隙、消除边缘毛刺；获取所述生咖啡图像的最大轮廓以及生咖啡的最小外接矩，将所述最小外接矩的宽、高各扩展10个像素对所述生咖啡图像进行裁剪。
可选地，采用LBP算子对若干个生咖啡图像子块进行计算的过程包括：
将若干个生咖啡图像子块灰度化，设置半径与采样点，分别计算若干个生咖啡图像子块在统一LBP算子、旋转不变LBP算子、旋转不变统一LBP算子下的LBP图。
可选地，基于所述LBP图获取若干个生咖啡图像子块的LBP纹理特征向量的过程包括：
提取每个生咖啡图像子块的LBP直方图并将每个LBP直方图归一化；
连接所有生咖啡图像子块的直方图并统计LBP特征，获取生咖啡图像的LBP纹理特征向量。
可选地，基于机器学习算法构建缺陷检测模型并基于所述LBP纹理特征向量进行缺陷生咖啡豆检测的过程包括：
将LightGBM、XGBoost、Catboost和SVM作为基学习器，Logistics作为次级学习器构建所述缺陷检测模型；
将所述LBP纹理特征向量划分为训练集与测试集，将训练集及标签输入基学习器分别进行训练；
使用每个训练好的基学习器对训练集及测试集进行预测，获取预测结果；
将所述预测结果按列堆叠，同时将训练集的真实标签作为标签，构成新的训练集，输入到次级学习器中进行训练；
基于测试集预测结果的堆叠及真实标签检测次级学习器的学习效果。
可选地，将训练集及标签输入基学习器分别进行训练的过程中进行交叉验证，所述次级学习器采用线性模型。
可选地，构建评价指标并基于所述评价指标对所述缺陷检测模型的表现能力进行评价的过程包括：
基于准确率、F1值、受试者工作特征和ROC曲线下的面积构建评价指标，分别统计分类正确以及分类错误的缺陷豆与正常豆，对不同尺度以及不同算子下的缺陷检测模型进行性能评价。
本发明的技术效果为：
本发明采用机器视觉技术分别提取两种单一尺度、三种算子的LBP直方图特征向量，并将同一算子下不同尺度的LBP特征进行联合，形成多尺度特征作为试验数据，选择LightGBM、XGBoost、Catboost和SVM作为基学习器，Logistics作为次级学习器构建Stacking缺陷生咖啡豆检测模型进行识别检测，本发明构建的缺陷生咖啡豆检测模型简单高效且检测准确率高，可嵌入到小粒种咖啡智能检测装备，对小粒咖啡朝着精品咖啡方向迈进具有重要意义。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的图像采集平台示意图；
图2为本发明实施例中的预处理流程图；
图3为本发明实施例中的Stacking模型融合流程图；
图4为本发明实施例中的不同类型特征检测模型试验受试者工作曲线图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1-4所示，本实施例中提供一种基于特征融合的小粒种咖啡缺陷生豆检测方法。
本实施例选用的试验材料为阿拉比卡(Arabica)咖啡共2800颗，依据DB5308/T47-2021标准，将其分为2大类，其中正常咖啡豆1426颗，缺陷咖啡豆共1374颗，
图像采集与预处理
为精准采集生咖啡图像信息，搭建如图1所示采集平台。平台由暗箱、LED灯带、拍照设备和传送带组成。暗箱挡板采用3D打印，四周粘贴一层黑色锡纸阻挡外界光线，整体尺寸为300mm×300mm×140mm，置于传送带上方，顶端均匀布置4个功率10W的LED灯带，保证采集光照条件一致。拍照设备为华为畅享20pro，摄像头分辨率为3000像素×3000像素，固定于暗箱正上方，拍照高度140mm。为减小后期预处理难度，拍照背景设为白色。
原始样本图像存在噪声多、对比度差及边缘模糊等问题。为提高图片质量，准确提取有效特征，对采集的样本图像进行如下预处理(如图2)。
读取原始样本图像并灰度化，先用高斯滤波去除噪声干扰。再用Gamma变换增强整体细节，提高对比度。利用Canny算子锐化图像边缘。依据灰度特性差异，选择固定阈值175和255将图像转换为二值图，实现目标和背景分割。将图像进行黑白反转，增强特征区域。运用3次开闭运算填充空隙、消除边缘毛刺。通过轮廓寻找代码找到生咖啡图像最大轮廓，得到生咖啡的最小外接矩，为减少误差，将最小外接矩的宽、高各扩展10个像素进行裁剪。
LBP特征
LBP特征常使用的算子有：原始LBP算子、圆形LBPP,R算子、统一LBP算子
Figure BDA0004139011950000051
旋转不变LBP算子/>
Figure BDA0004139011950000052
及旋转不变统一LBP算子/>
Figure BDA0004139011950000053
原始LBP算子定义为在3×3像素块中，以中心像素点的灰度值为阈值，周围8个相邻像素点灰度值依次与之比较，若大于等于阈值，将该像素点记为“1”，否则记为“0”，上述操作完成后邻域内所有像素点的值形成一个8位二进制数，将其转为十进制数，即为中心像素点的LBP值(共256种)。
原始LBP算子具有局限性，OJALA等将其扩展到不同半径大小的圆形邻域，得到以R为半径，P为采样点的圆形LBPP,R算子。LBP值计算公式如式(1)所示。gc为中心点灰度值，gi为邻域内点灰度值。采样时，对于没有完全落在像素中心的邻域点，通过线性插值来估算其灰度值。LBPP,R满足不同尺寸和频率的纹理特征要求。
Figure BDA0004139011950000054
其中，
Figure BDA0004139011950000055
一个圆形LBPP,R算子可产生2P种二进制模式。随着P增大，特征向量维数“巨大”，直方图稀疏，影响特征提取速度及识别效率。为了降维以减少计算量，提出统一LBP算子
Figure BDA0004139011950000061
也称等价LBP算子，即对于P位二进制数，如果它从0到1或者从1到0的变化次数不超过2次，那么它就是一个等价算子，将其映射0～P(P-1)+1中的一个数，其余变化次数超过2次的都记为同一个等价算子，将其映射为数P(P-1)+2。/>
Figure BDA0004139011950000062
将特征向量维度缩减到P(P-1)+3种，在包含大量信息的同时降低高频噪声带来的影响。变化次数的计算公式如式(2)所示。
Figure BDA0004139011950000063
圆形LBPPR算子的另一个问题是对图像旋转敏感，为实现图像旋转不变性，OJALA等提出旋转不变LBP算子
Figure BDA0004139011950000064
即通过不断旋转圆形LBPP,R算子获取二进制数，取最小值作为其LBP值，计算公式如式(3)所示：
Figure BDA0004139011950000065
旋转不变LBP算子维数过高，易丢失方向信息，OJALA等将旋转不变算子与统一算子结合，得到旋转不变统一LBP算子
Figure BDA0004139011950000066
计算公式如式(4)所示：
Figure BDA0004139011950000067
旋转不变统一LBP算子共有P+2种输出值，维数较低，可在一定程度上提高计算效率。
基于LBP的生咖啡特征向量提取
对预处理后的图像首先进行灰度化，然后选择不同尺度的P和R，分别计算
Figure BDA0004139011950000068
下的LBP图
在实际应用中，一般不直接将LBP图作为特征向量用于识别检测，而是采用相应的统计直方图特征，即将图像划分为k×k子块，对每个子块进行、和计算，提取每个子块的LBP直方图，即每个LBP值出现的频率，并将其归一化，再连接所有子块的联合直方图并统计其LBP特征，作为图像的LBP纹理特征向量。
检测模型
本实施例是一个二分类问题，拟采用机器学习算法构建检测模型，实现缺陷生咖啡豆检测。Stacking融合模型是一种串行结构的分层堆叠集成框架，按照一定学习策略综合多种模型的预测结果，进而提升预测结果准确性。Stacking融合模型由基学习器和次级学习器组成，基学习器包含的分类器可为同类型，也可为不同类型，次级学习器通常选择稳定性较好的简单线性模型。次级学习器以基学习器的输出为特征，进行再训练和预测，得到完整预测结果，以此来纠正几个基学习器错误，主动提升集成模型性能，降低过拟合风险。
本实施例选择LightGBM、XGBoost、Catboost和SVM作为基学习器，Logistics作为次级学习器来构建Stacking融合检测模型，如图3所示。将输入的LBP特征划分为训练集和测试集，然后将训练集数据及标签交给基学习器LightGBM、XGBoost、Catboost和SVM分别进行训练，然后使用每个训练好的基学习器对训练集及测试集进行预测，接着将所有训练集预测结果按列堆叠，同时将原来训练集的真实标签作为标签，构成新的训练集，输入到次级学习器中进行训练。同样的，使用测试集预测结果的堆叠及真实标签构成新的测试集，用于检测次级学习器的学习效果。为了提高Stacking融合检测模型的泛化能力，在模型训练过程中使用K折交叉验证，次级学习器选择了简单的线性模型。
结果与分析
试验环境
缺陷检测模型的训练和测试均基于Open cv视觉库及Scikit-learn机器学习库完成。开发语言为Python 3.9.7，开发环境为jupyter notebook。
评价指标
为衡量模型检测精度，采用准确率(Accuracy)、F1值(F1-Score)、受试者工作特征(Receiver Operating Characteristic，ROC)和ROC曲线下的面积(Area Under Curve，AUC)评价检测模型在训练集和测试集上的表现能力。
Figure BDA0004139011950000081
Figure BDA0004139011950000082
Figure BDA0004139011950000083
其中，正类代表“缺陷豆”，负类代表“正常豆”，则真正类(True Positive，TP)即被正确分类的正类样本；假负类(False Negative，FN)即为被错误分类的正类样本；假正类(False Positive，FP)即被错误分类的正类样本；真负类(True Negative，TN)即被正确分类的负类样本。m代表总样本个数。
模型训练
本实施例共采集2800幅生咖啡图像，其中正常豆1426幅，缺陷豆1374幅，分别计算(8，1)和(16，2)两种单一尺度、三种算子(统一算子、旋转不变算子和旋转不变统一算子)的LBP图，提取LBP直方图特征向量作为试验数据，按照7：3划分训练集和测试集，构建缺陷检测模型进行试验。
在LBP特征向量提取时，邻域内采样点数和采样半径(P，R)分别选取(8，1)和(16，2)两种尺度。每幅图划分为8×8子块。不同单一尺度和算子下LBP特征向量维数如表1所示。
表1
Figure BDA0004139011950000084
训练中基学习器和次级学习器通过手动寻参确定相应参数。模型采用准确率、F1值、ROC曲线和AUC值作为训练集和测试集上的评价指标。为让结果有意义，所有对比试验采用相同方法进行。
试验选择基于(8，1)和(16，2)两种单一尺度、三种算子(统一算子、旋转不变算子和旋转不变统一算子)下的LBP直方图特征向量及其组合，分别构建LightGBM、XGBoost、Catboost和SVM缺陷检测模型。为进一步提高检测模型准确率，将以上4个检测模型作为基学习器，Logistics作为次级学习器得到Stacking融合检测模型，同时为提高Stacking融合检测模型的泛化能力，训练过程中采用5折交叉验证，避免过拟合现象发生。选用测试集的准确率、F1值和AUC值作为检测模型的性能指标。
为获取多尺度LBP纹理特征信息，将(8，1)和(16，2)两种单一尺度特征进行组合，构建基于多尺度特征和三种算子的上述5种检测模型。对比测试集评价指标，选出较优的尺度和算子。为验证LBP特征在缺陷检测中具有较强泛化能力，提取样本图像的灰度共生矩特征、Harr小波特征和傅里叶描述子特征，构建检测模型，进行较优尺度与算子下检测模型对比试验。
模型测试
单一尺度LBP特征对比试验
将预先划分好的训练集和测试集数据进行归一化。手动寻参确定LightGBM、XGBoost、Catboost和SVM检测模型参数。分别将(8，1)和(16，2)两种单一尺度、三种算子(统一算子、旋转不变算子和旋转不变统一算子)下的LBP直方图特征向量进行组合，构建缺陷检测模型。测试结果如表2-1及表2-2所示。
表2-1
Figure BDA0004139011950000101
表2-2
Figure BDA0004139011950000102
从表2中可看出，(8，1)和(16，2)两种单一尺度、三种算子LightGBM、XGBoost、Catboost、SVM以及Stacking融合检测模型中，统一算子检测模型整体性能更优，其准确率和F1值均在89.9％以上，明显高于旋转不变算子和旋转不变统一算子。LBP特征检测模型结果与采样点个数、半径并非正相关。旋转不变统一算子在(8，1)和(16，2)尺度下的特征维数分别为10和18，特征维数过低不能有效描述局部纹理特征；旋转不变算子在(8，1)和(16，2)尺度下的特征维数分别为36和4116，特征维数过高易包含太多冗余信息，这两种情况均会导致检测效率降低。因此在单一尺度构建的缺陷检测模型中，统一算子优于其余两种算子。
从表2还可看出，在统一算子下的上述5个检测模型中，(8，1)和(16，2)尺度检测效果较为接近，其检测准确率分别相差0.1、0.1、0.2、0.5和0.2个百分点，但(8，1)尺度检测模型测试用时比(16，2)检测模型分别少0.88s、1.01s、1.05s、91.26s和39.91s。因此，在统一算子构建的检测模型中，(8，1)尺度优于(16，2)。Stacking融合检测模型整体性能有明显提升，(8，1)尺度统一算子Stacking融合检测模型的准确率和F1值相较LightGBM、XGBoost、CatBoost和SVM分别提高了0.6和0.5、1.7和0.6、2.0和1.7、1.2和1.1个百分点。
多尺度LBP特征融合对比试验
为验证(8，1)尺度统一算子Stacking融合检测模型的可行性与准确性，对同一算子下(8，1)和(16，2)两种尺度进行联合，得到多尺度局部二进制模式(Multi-scale LBP)特征，构建多尺度LBP特征的缺陷检测模型，试验结果如表3所示。
表3
Figure BDA0004139011950000111
从表3中可看出，在多尺度Stacking融合检测模型中，统一算子检测模型性能最好，其准确率和F1值分别为91.5％和92.1％，均高于旋转不变算子和旋转不变统一算子，但比(8，1)尺度统一算子Stacking融合检测模型分别少0.4和0.2个百分点，且测试用时比(8，1)尺度统一算子Stacking融合检测模型多73.8s。说明多尺度特征维数增多，包含更多冗杂信息，模型复杂度更高，一定程度上会影响缺陷检测效率速度。
不同类型特征对比试验
灰度共生矩(Gray Level Co-occurrence Matrix,GLCM)是基于空间各像素灰度分布关系来描述纹理信息的特征提取方法。本研究拟选用熵、能量、对比度、同质性、相关性和相异性6个参数表征GLCM特征，描述生咖啡表面纹理信息。
Haar小波特征是基于一系列不同尺度的小波在垂直、水平、对角三个方向上平移对图像进行分解变换得到系数矩阵。小波分解得到4个子图(低频分量、水平高频、垂直高频和对角线高频)，本研究拟提取每个子图的均值、标准差、熵与能量特征，共16个特征。
傅里叶描述子是将图像轮廓从空间域转换到频域，提取频域信息来表示目标形状特征的方法。傅里叶系数有能量向低频集中的特性，低频部分表示图像边缘轮廓信息，高频分量表示形状细节特征。
为验证LBP特征在缺陷检测中的性能优劣，采用目前应用较为广泛的灰度共生矩、Haar小波特征、傅里叶描述子特征进行对比试验验证。结果如表4和图4所示。
表4
Figure BDA0004139011950000121
Figure BDA0004139011950000131
从表4和图4可看出，(8，1)尺度统一算子Stacking融合检测模型性能更优，其准确率和F1值分别为91.9％和92.3％，比灰度共生矩特征、Harr小波特征和傅里叶描述子检测模型分别高19.8和19.1、15.8和16.1、24.3和24.3个百分点。LBP特征向量个数为3776，远多于其他三种类型的特征向量，能更好描述图像表面纹理特征信息，因此检测准确率更高。
结论
1)(8，1)尺度统一算子Stacking缺陷检测模型性能较优，其准确率和F1值分别为91.9％和92.3％，测试用时5.55s，检测性能整体均优于其他尺度、算子和不同类型特征构建的Stacking融合检测模型。
2)(8，1)尺度统一算子Stacking融合检测模型准确率和F1值相较LightGBM、XGBoost、CatBoost和SVM检测模型分别提高了0.6和0.5、1.7和0.6、2.0和1.7、1.2和1.1个百分点。
本发明提出基于局部二值模式(Local Binary Pattern，LBP)的多模型Stacking融合缺陷检测方法。采用机器视觉技术分别提取生咖啡(8，1)和(16，2)两种尺度、三种算子(统一算子、旋转不变算子、旋转不变统一算子)下LBP特征向量，并将同算子下不同尺度的LBP特征进行联合，选用轻量级梯度提升树(Light Gradient Boosting Machine，LightGBM)、极端梯度提升树(Extreme Gradient Boosting，XGBoost)、类别特征提升树(Categorical Boosting，CatBoost)和支持向量机(Support Vector Machine，SVM)作为基分类器，进行Stacking模型融合。结果表明：(8，1)尺度统一算子Stacking融合检测模型的准确率和F1值分别为91.9％和92.3％，均高于其他尺度、算子和不同类型特征的检测模型。Stacking融合检测模型准确率相较LightGBM、XGBoost、CatBoost和SVM分别提高了0.6、1.7、2.0和1.2个百分点，整体检测性能更优。基于(8，1)尺度统一算子Stacking融合检测模型识别准确率高，可为小粒种咖啡智能检测装备提供核心技术支持。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，包括以下步骤：
采集生咖啡图像,对所述生咖啡图像进行预处理，获取若干个生咖啡图像子块；
采用LBP算子对若干个生咖啡图像子块进行计算，获取若干个LBP图；
基于所述LBP图获取若干个生咖啡图像子块的LBP纹理特征向量；
基于机器学习算法构建缺陷检测模型并基于所述LBP纹理特征向量进行缺陷生咖啡豆检测；
构建评价指标并基于所述评价指标对所述缺陷检测模型的表现能力进行评价。
2.根据权利要求1所述的基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，对所述生咖啡图像进行预处理的过程包括：
将所述生咖啡图像灰度化，采用高斯滤波去除噪声干扰；
采用Gamma变换增强整体细节，采用Canny算子锐化图像边缘；
将所述生咖啡图像转换为二值图，实现目标和背景分割；
将所述生咖啡图像进行黑白反转，增强特征区域；
采用开闭运算填充空隙、消除边缘毛刺；获取所述生咖啡图像的最大轮廓以及生咖啡的最小外接矩，将所述最小外接矩的宽、高各扩展10个像素对所述生咖啡图像进行裁剪。
3.根据权利要求1所述的基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，采用LBP算子对若干个生咖啡图像子块进行计算的过程包括：
将若干个生咖啡图像子块灰度化，设置半径与采样点，分别计算若干个生咖啡图像子块在统一LBP算子、旋转不变LBP算子、旋转不变统一LBP算子下的LBP图。
4.根据权利要求1所述的基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，基于所述LBP图获取若干个生咖啡图像子块的LBP纹理特征向量的过程包括：
提取每个生咖啡图像子块的LBP直方图并将每个LBP直方图归一化；
连接所有生咖啡图像子块的直方图并统计LBP特征，获取生咖啡图像的LBP纹理特征向量。
5.根据权利要求1所述的基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，基于机器学习算法构建缺陷检测模型并基于所述LBP纹理特征向量进行缺陷生咖啡豆检测的过程包括：
将LightGBM、XGBoost、Catboost和SVM作为基学习器，Logistics作为次级学习器构建所述缺陷检测模型；
将所述LBP纹理特征向量划分为训练集与测试集，将训练集及标签输入基学习器分别进行训练；
使用每个训练好的基学习器对训练集及测试集进行预测，获取预测结果；
将所述预测结果按列堆叠，同时将训练集的真实标签作为标签，构成新的训练集，输入到次级学习器中进行训练；
基于测试集预测结果的堆叠及真实标签检测次级学习器的学习效果。
6.根据权利要求5所述的基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，将训练集及标签输入基学习器分别进行训练的过程中进行交叉验证，所述次级学习器采用线性模型。
7.根据权利要求1所述的基于特征融合的小粒种咖啡缺陷生豆检测方法，其特征在于，构建评价指标并基于所述评价指标对所述缺陷检测模型的表现能力进行评价的过程包括：
基于准确率、F1值、受试者工作特征和ROC曲线下的面积构建评价指标，分别统计分类正确以及分类错误的缺陷豆与正常豆，对不同尺度以及不同算子下的缺陷检测模型进行性能评价。
CN202310283731.0A 2023-03-22 2023-03-22 一种基于特征融合的小粒种咖啡缺陷生豆检测方法 Pending CN116229182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310283731.0A CN116229182A (zh) 2023-03-22 2023-03-22 一种基于特征融合的小粒种咖啡缺陷生豆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310283731.0A CN116229182A (zh) 2023-03-22 2023-03-22 一种基于特征融合的小粒种咖啡缺陷生豆检测方法

Publications (1)

Publication Number Publication Date
CN116229182A true CN116229182A (zh) 2023-06-06

Family

ID=86576922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310283731.0A Pending CN116229182A (zh) 2023-03-22 2023-03-22 一种基于特征融合的小粒种咖啡缺陷生豆检测方法

Country Status (1)

Country Link
CN (1) CN116229182A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117719822A (zh) * 2024-02-07 2024-03-19 云南农业大学 一种咖啡生豆翻面装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104993A1 (en) * 2018-10-01 2020-04-02 Skc Co., Ltd. Film defect detection method and system
CN114511527A (zh) * 2022-01-24 2022-05-17 安徽大学 基于扩展局部二值模式的纺织丝饼成型不良缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200104993A1 (en) * 2018-10-01 2020-04-02 Skc Co., Ltd. Film defect detection method and system
CN114511527A (zh) * 2022-01-24 2022-05-17 安徽大学 基于扩展局部二值模式的纺织丝饼成型不良缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵玉清，等: "基于特征组合与SVM的小粒种咖啡缺陷生豆检测", 《农业工程学报》, vol. 38, no. 14, pages 295 - 302 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117719822A (zh) * 2024-02-07 2024-03-19 云南农业大学 一种咖啡生豆翻面装置
CN117719822B (zh) * 2024-02-07 2024-05-03 云南农业大学 一种咖啡生豆翻面装置

Similar Documents

Publication Publication Date Title
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
CN108765412B (zh) 一种带钢表面缺陷分类方法
CN109002851B (zh) 一种基于图像多特征融合的水果分类方法及应用
CN106610969A (zh) 基于多模态信息的视频内容审查系统及方法
Larios et al. Haar random forest features and SVM spatial matching kernel for stonefly species identification
CN104680127A (zh) 手势识别方法及系统
CN103886342A (zh) 基于光谱和邻域信息字典学习的高光谱图像分类方法
CN107886539B (zh) 一种工业场景下高精度齿轮视觉检测方法
CN106650765B (zh) 基于卷积神经网络的高光谱数据转灰度图的高光谱数据分类方法
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
CN112907595A (zh) 一种表面缺陷检测方法及装置
CN110929787B (zh) 一种基于图像的苹果客观定级系统
CN110503140A (zh) 基于深度迁移学习与邻域降噪的分类方法
CN116229182A (zh) 一种基于特征融合的小粒种咖啡缺陷生豆检测方法
CN114170418A (zh) 一种以图搜图的汽车线束连接器多特征融合图像检索方法
CN108665450A (zh) 一种玉米果穗机械损伤区域识别方法
CN110321890B (zh) 一种电力巡检机器人的数字仪表识别方法
Liu et al. A band influence algorithm for hyperspectral band selection to classify moldy peanuts
CN108257148A (zh) 特定对象的目标建议窗口生成方法及其在目标跟踪的应用
CN107368813A (zh) 一种应用于机载近地高光谱影像的林木冠幅识别方法
CN112926612A (zh) 病理图像分类模型训练方法、病理图像分类方法及装置
CN111860153B (zh) 尺度自适应的高光谱图像分类方法及系统
CN114241192A (zh) 一种变电站设备红外智能诊断系统及方法
CN113205143A (zh) 耦合空谱特征的多尺度超像素高光谱遥感图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination