CN115330721A - 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统 - Google Patents

基于形状和颜色信息的香蕉果梳饱满度检测方法与系统 Download PDF

Info

Publication number
CN115330721A
CN115330721A CN202210973780.2A CN202210973780A CN115330721A CN 115330721 A CN115330721 A CN 115330721A CN 202210973780 A CN202210973780 A CN 202210973780A CN 115330721 A CN115330721 A CN 115330721A
Authority
CN
China
Prior art keywords
banana
plumpness
fruit
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210973780.2A
Other languages
English (en)
Inventor
褚璇
苗圃
刘洪利
韦鸿钰
马稚昱
张焜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkai University of Agriculture and Engineering
Original Assignee
Zhongkai University of Agriculture and Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkai University of Agriculture and Engineering filed Critical Zhongkai University of Agriculture and Engineering
Priority to CN202210973780.2A priority Critical patent/CN115330721A/zh
Publication of CN115330721A publication Critical patent/CN115330721A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种基于形状和颜色信息的香蕉果梳饱满度检测方法与系统，包括：采集香蕉果梳的彩色图像和深度图像，分离并识别出单根香蕉果指，提取单根香蕉果指特征，对所有香蕉果梳的特征值归一化处理，划分训练集和测试集，用训练集训练香蕉饱满度判别模型，用测试集测试香蕉饱满度判别模型，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。本发明可有效准确地检测出香蕉果梳的饱满度等级，解决人工检测主观性强、费时费力等问题。

Description

基于形状和颜色信息的香蕉果梳饱满度检测方法与系统
技术领域
本发明涉及香蕉果梳饱满度检测的技术领域，尤其是指一种基于形状和颜色信息的香蕉果梳饱满度检测方法与系统。
背景技术
香蕉采收时的饱满度是影响香蕉贮藏时间和消费者可接受率的关键。一般情况下，蕉果通常在果实达到饱满度的绿硬期采收，在销售地催熟后再售卖或食用。但香蕉是具有呼吸跃变期的果实，多数香蕉采摘后容易在贮藏和运输等作业环节中面临香蕉品质损失的问题，主要原因是不同成熟度的香蕉混杂存储所致。因此实现香蕉饱满度判定，将同一饱满度的蕉果统一处理，对于保障香蕉品质有重要意义。
当前香蕉饱满度分级的工作极度依赖人工，有经验的果农会观察香蕉的外观特征鉴定其饱满度，如饱满度低的香蕉表皮呈现青绿色、棱角清晰，饱满度高的香蕉表皮呈现黄绿色，棱角消失。但是人工判断香蕉饱满度的做法耗费人力物力，且存在主观差异。
随着机器视觉技术的进步，越来越多的水果品质分级实现了自动化，kinectv3相机可以同时获取彩色图像和深度图像，既可以提取样品的颜色信息，也可以提取样品的形状信息。目前已有一些利用RGB-D图像技术实现水果品质分级，但尚未有利用此技术对香蕉饱满度进行检测的应用。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于形状和颜色信息的香蕉果梳饱满度检测方法，可有效准确地检测出香蕉果梳的饱满度等级，解决人工检测主观性强、费时费力等问题。
本发明的第二目的在于提供一种基于形状和颜色信息的香蕉果梳饱满度检测系统。
本发明的第一目的通过下述技术方案实现：基于形状和颜色信息的香蕉果梳饱满度检测方法，包括以下步骤：
1)准备至少两种不同饱满度等级的香蕉果梳，采集其彩色图像与深度图像，并利用相机内部参数进行图像对齐，对齐之后的两个图像构成了四通道的RGB-D图像；
2)对RGB-D图像进行预处理：对RGB-D图像中的彩色图像进行自适应阈值分割，提取感兴趣区域，对RGB-D图像中的深度图像进行近邻滤波，补上深度缺失的像素点；
3)对预处理后的RGB-D图像进行边缘检测，分离并识别出单根香蕉果指；
4)提取单根香蕉果指的平均颜色值、果指长度、中部横截宽度三个特征；
5)将每根香蕉果指的三个特征分别求平均作为整把香蕉果梳的特征值，在得到所有香蕉果梳的特征值后，对所有香蕉果梳的特征值进行归一化处理，得到归一化处理后的不同饱满度等级的香蕉果梳数据；
6)从归一化处理后得到的香蕉果梳数据中随机选取一部分作为训练集，其余作为测试集；
7)将训练集中的数据导入作为香蕉饱满度判别模型的LDA分类器中进行训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型；
8)将测试集中的数据输入训练好的香蕉饱满度判别模型中，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。
进一步，在步骤1)中，采集图像时，利用kinect v3相机一次性采集香蕉果梳的彩色图像和深度图像，香蕉果梳为同一时期、同一品种、同一果园的香蕉果梳，排除时间、产地因素的干扰。
进一步，在步骤2)中，对RGB-D图像的预处理具体如下：
a、彩色图像：提取彩色图像RGB三个通道中的R通道灰度图，进行自适应阈值分割，再进行边缘检测，将原图像转换为二值化图像，前景区域像素点全为0，背景区域像素点全为255，再将此二值化图像与原图像进行掩膜，将原图背景区域像素点全置为255，前景区域像素点不变；
b、深度图像：将a中二值化图像与深度图进行掩膜，将背景区域所在像素点全置为0，前景区域像素点不变，再遍历前景区域每一个像素点，找到像素值为0的点，即为深度信息缺少的点，将这点的像素值修正为其八个相邻像素点中不为0的像素点像素值的平均值，则补齐了所有深度信息缺失的像素点。
进一步，在步骤3)中，分离并识别单根香蕉果指具体如下：
将彩色图像转换为灰度图像，分别在灰度图像和深度图像上用canny边缘检测算法找出香蕉果指间的轮廓线，并将两个图像上的轮廓线画在同一张图像上，再经过形态学处理后，使轮廓线闭合，每一个闭合的轮廓线即为一根香蕉果指，利用面积筛选去除掉拍摄不完整的香蕉果指。
进一步，在步骤4)中，提取单根香蕉果指的三个特征具体如下：
a、平均颜色值：为灰度图像前景区域所有像素点的像素值的平均值；
b、果指长度：利用骨架提取算法提取香蕉果指的中轴线，令香蕉果指图像水平方向的坐标为Y轴，竖直方向的坐标为X轴，则中轴线上自上而下的每个点的坐标分别为(X1，Y1)、(X2，Y2)、(X3，Y3)，依此类推第n个点的坐标为(Xn，Yn)，这些点对应的深度值记为H1、H2、H3，依此类推第n个点对应的深度值为Hn，则果指长度L的计算公式为：
Figure BDA0003797923040000041
式中，r＝1,2,…,n-1；
c、中部横截宽度：拟合出中轴线函数表达式，根据果指长度找出中轴线中点，并求得中轴线在其中点的法线的函数表达式，记为f(x)，求f(x)与香蕉轮廓线的两个交点，分别记为(Xd1，Yd1)和(Xd2，Yd2)，则中部横截宽度D的计算公式为：
Figure BDA0003797923040000042
进一步，在步骤7)中，将训练集中每个香蕉果梳对应的饱满度等级导入到LDA分类器中作为预测值，并将每个香蕉果梳对应的颜色、果指长度和中部横截宽度特征导入到LDA分类器中作为特征向量，LDA分类器会将导入进来的每个特征向量对应生成一个权重，从而计算出特征值对应的饱满度等级，完成香蕉饱满度判别模型的训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型。
本发明的第二目的通过下述技术方案实现：基于形状和颜色信息的香蕉果梳饱满度检测系统，用于实现上述基于形状和颜色信息的香蕉果梳饱满度检测方法，其包括：
数据获取模块，用于获取至少两种不同饱满度等级的香蕉果梳，采集其彩色图像与深度图像，并利用相机内部参数进行图像对齐，对齐之后的两个图像构成了四通道的RGB-D图像；
数据预处理模块，用于对RGB-D图像进行预处理，包括：对RGB-D图像中的彩色图像进行自适应阈值分割，提取感兴趣区域，对RGB-D图像中的深度图像进行近邻滤波，补上深度缺失的像素点；
单根香蕉果指识别模块，用于对预处理后的RGB-D图像进行边缘检测，分离并识别出单根香蕉果指；
特征提取模块，用于提取单根香蕉果指的平均颜色值、果指长度、中部横截宽度三个特征；
特征处理模块，用于将每根香蕉果指的三个特征分别求平均作为整把香蕉果梳的特征值，在得到所有香蕉果梳的特征值后，对所有香蕉果梳的特征值进行归一化处理，得到归一化处理后的不同饱满度等级的香蕉果梳数据，并从香蕉果梳数据中随机选取一部分作为训练集，其余作为测试集；
训练模块，用于训练作为香蕉饱满度判别模型的LDA分类器，将训练集中的数据导入LDA分类器中进行训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型；
测试模块，用于将测试集中的数据输入训练好的香蕉饱满度判别模型中，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。
本发明与现有技术相比，具有如下优点与有益效果：
1、利用kinect v3一个设备，同时采集彩色图像与深度图像，既能同时获取香蕉果梳的颜色信息和形状信息，又避免了双目视觉相机标定的繁琐。
2、可实现自动进行感兴趣区域提取，自动识别单根香蕉果指，自动提取香蕉果指的分级指标，全自动预判出香蕉果梳的饱满度等级，无需人工标注。
3、利用提取的指标，LDA分类器会客观公正地预判香蕉果梳的饱满度等级，排除了人工识别的主观因素的影响。
4、本发明使用的LDA分类器，分类准确率高，速度快。
附图说明
图1为本发明方法流程图。
图2为彩色图像与深度图像原图。
图3为经过预处理的彩色图像与深度图像示意图。
图4为识别单根香蕉果指的示意图。
图5为数据提取结果示意图。
图6为本发明系统架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例公开了一种基于形状和颜色信息的香蕉果梳饱满度检测方法，利用彩色图像和深度图像相融合的方式，提取香蕉果梳上每根果指的形状和颜色信息，判断香蕉果梳的饱满度等级，如图1所示，其具体情况如下：
1)准备六成、七成、八成，三种不同饱满度等级的香蕉果梳，利用kinect v3相机一次性采集其彩色图像与深度图像，采集的原图如图2所示，左侧是彩色图像原图，右侧是深度图像原图。采集到两个图像后利用相机内部参数进行图像对齐，得到四通道的RGB-D图像，其中，样本为同一时期、同一品种、同一果园的香蕉果梳，排除时间、产地因素的干扰。
2)对RGB-D图像进行预处理，具体如下：
a、彩色图像：提取彩色图像RGB三个通道中的R通道灰度图，进行自适应阈值分割，再进行边缘检测，将原图像转换为二值化图像，前景区域像素点全为0，背景区域像素点全为255，再将此二值化图像与原图像进行掩膜，将原图背景区域像素点全置为255，前景区域像素点不变。
b、深度图像：将a中二值化图像与深度图进行掩膜，将背景区域所在像素点全置为0，前景区域像素点不变，再遍历前景区域每一个像素点，找到像素值为0的点，即为深度信息缺少的点，将这点的像素值修正为其八个相邻像素点中不为0的像素点像素值的平均值，则补齐了所有深度信息缺失的像素点。
预处理之后的图像如图3所示，左侧是进行过感兴趣区域提取处理之后的彩色图像，右侧是进行过近邻滤波处理之后的深度图像。
3)对RGB-D图像进行边缘检测，分离并识别出单根香蕉果指，具体如下：
将彩色图像转换为灰度图像，分别在灰度图像和深度图像上用canny边缘检测算法找出香蕉果指间的轮廓线，并将两个图像上的轮廓线画在同一张图像上，再经过形态学处理后，使轮廓线闭合，如图4所示，左图上每一个闭合的轮廓线即为一根香蕉果指，利用面积筛选去除掉拍摄不完整的香蕉果指，右图是筛选后剩下的完整的香蕉果指的轮廓图。
4)提取单根香蕉果指的平均颜色值、果指长度、中部横截宽度三个特征，具体如下：
a、平均颜色值：为灰度图像前景区域所有像素点的像素值的平均值。
b、果指长度：利用骨架提取算法提取香蕉果指的中轴线，如图5所示，令香蕉果指图像水平方向的坐标为Y轴，竖直方向的坐标为X轴，则中轴线上自上而下的每个点的坐标分别为(X1，Y1)、(X2，Y2)、(X3，Y3)，依此类推第n个点的坐标为(Xn，Yn)，这些点对应的深度值记为H1、H2、H3，依此类推第n个点对应的深度值为Hn，则果指长度L的计算公式为：
Figure BDA0003797923040000071
式中，r＝1,2,…,n-1；
c、中部横截宽度：拟合出中轴线函数表达式，根据果指长度找出中轴线中点，并求得中轴线在其中点的法线的函数表达式，记为f(x)，如图5所示，求f(x)与香蕉轮廓线的两个交点，分别记为(Xd1，Yd1)和(Xd2，Yd2)，则中部横截宽度D的计算公式为：
Figure BDA0003797923040000081
5)将每根香蕉果指的三个特征分别求平均作为整把香蕉果梳的特征值，在得到所有香蕉果梳的特征值后，对所有香蕉果梳的特征值进行归一化处理，得到归一化处理后的不同饱满度等级的香蕉果梳数据。
6)从归一化处理后得到的香蕉果梳数据中随机选择2/3作为训练集，其余作为测试集。
7)将训练集中的数据导入作为香蕉饱满度判别模型的LDA分类器中进行训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型，具体如下：
将训练集中每个香蕉果梳对应的饱满度等级导入到LDA分类器中作为预测值，并将每个香蕉果梳对应的颜色、果指长度和中部横截宽度特征导入到LDA分类器中作为特征向量，LDA分类器会将导入进来的每个特征向量对应生成一个权重，从而计算出特征值对应的饱满度等级，完成香蕉饱满度判别模型的训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型。
8)将测试集中的数据输入训练好的香蕉饱满度判别模型中，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。验证本发明效果见下表1所示。
表1为训练集与测试集的判别结果混淆矩阵
Figure BDA0003797923040000091
经试验，本发明对于三种饱满度等级的香蕉果梳在训练集与测试集的判别准确率分别为83.9％和81.48％，有较好的判别效果。
实施例2
本实施例公开了一种基于形状和颜色信息的香蕉果梳饱满度检测系统，用于实现实施例1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，如图6所示，该系统包括以下功能模块：
数据获取模块，用于获取至少两种不同饱满度等级的香蕉果梳，采集其彩色图像与深度图像，并利用相机内部参数进行图像对齐，对齐之后的两个图像构成了四通道的RGB-D图像；
数据预处理模块，用于对RGB-D图像进行预处理，包括：对RGB-D图像中的彩色图像进行自适应阈值分割，提取感兴趣区域，对RGB-D图像中的深度图像进行近邻滤波，补上深度缺失的像素点；
单根香蕉果指识别模块，用于对预处理后的RGB-D图像进行边缘检测，分离并识别出单根香蕉果指；
特征提取模块，用于提取单根香蕉果指的平均颜色值、果指长度、中部横截宽度三个特征；
特征处理模块，用于将每根香蕉果指的三个特征分别求平均作为整把香蕉果梳的特征值，在得到所有香蕉果梳的特征值后，对所有香蕉果梳的特征值进行归一化处理，得到归一化处理后的不同饱满度等级的香蕉果梳数据，并从香蕉果梳数据中随机选取一部分作为训练集，其余作为测试集；
训练模块，用于训练作为香蕉饱满度判别模型的LDA分类器，将训练集中的数据导入LDA分类器中进行训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型；
测试模块，用于将测试集中的数据输入训练好的香蕉饱满度判别模型中，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。
实施例3
本实施例公开了一种存储介质，存储有程序，所述程序被处理器执行时，实现实施例1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法。
本实施例中的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
实施例4
本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法。
本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑、可编程逻辑控制器(PLC，Programmable Logic Controller)、或其它具有处理器功能的终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于形状和颜色信息的香蕉果梳饱满度检测方法，其特征在于，包括以下步骤：
1)准备至少两种不同饱满度等级的香蕉果梳，采集其彩色图像与深度图像，并利用相机内部参数进行图像对齐，对齐之后的两个图像构成了四通道的RGB-D图像；
2)对RGB-D图像进行预处理：对RGB-D图像中的彩色图像进行自适应阈值分割，提取感兴趣区域，对RGB-D图像中的深度图像进行近邻滤波，补上深度缺失的像素点；
3)对预处理后的RGB-D图像进行边缘检测，分离并识别出单根香蕉果指；
4)提取单根香蕉果指的平均颜色值、果指长度、中部横截宽度三个特征；
5)将每根香蕉果指的三个特征分别求平均作为整把香蕉果梳的特征值，在得到所有香蕉果梳的特征值后，对所有香蕉果梳的特征值进行归一化处理，得到归一化处理后的不同饱满度等级的香蕉果梳数据；
6)从归一化处理后得到的香蕉果梳数据中随机选取一部分作为训练集，其余作为测试集；
7)将训练集中的数据导入作为香蕉饱满度判别模型的LDA分类器中进行训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型；
8)将测试集中的数据输入训练好的香蕉饱满度判别模型中，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。
2.根据权利要求1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，其特征在于：在步骤1)中，采集图像时，利用kinect v3相机一次性采集香蕉果梳的彩色图像和深度图像，香蕉果梳为同一时期、同一品种、同一果园的香蕉果梳，排除时间、产地因素的干扰。
3.根据权利要求1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，其特征在于，在步骤2)中，对RGB-D图像的预处理具体如下：
a、彩色图像：提取彩色图像RGB三个通道中的R通道灰度图，进行自适应阈值分割，再进行边缘检测，将原图像转换为二值化图像，前景区域像素点全为0，背景区域像素点全为255，再将此二值化图像与原图像进行掩膜，将原图背景区域像素点全置为255，前景区域像素点不变；
b、深度图像：将a中二值化图像与深度图进行掩膜，将背景区域所在像素点全置为0，前景区域像素点不变，再遍历前景区域每一个像素点，找到像素值为0的点，即为深度信息缺少的点，将这点的像素值修正为其八个相邻像素点中不为0的像素点像素值的平均值，则补齐了所有深度信息缺失的像素点。
4.根据权利要求1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，其特征在于，在步骤3)中，分离并识别单根香蕉果指具体如下：
将彩色图像转换为灰度图像，分别在灰度图像和深度图像上用canny边缘检测算法找出香蕉果指间的轮廓线，并将两个图像上的轮廓线画在同一张图像上，再经过形态学处理后，使轮廓线闭合，每一个闭合的轮廓线即为一根香蕉果指，利用面积筛选去除掉拍摄不完整的香蕉果指。
5.根据权利要求1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，其特征在于：在步骤4)中，提取单根香蕉果指的三个特征具体如下：
a、平均颜色值：为灰度图像前景区域所有像素点的像素值的平均值；
b、果指长度：利用骨架提取算法提取香蕉果指的中轴线，令香蕉果指图像水平方向的坐标为Y轴，竖直方向的坐标为X轴，则中轴线上自上而下的每个点的坐标分别为(X1，Y1)、(X2，Y2)、(X3，Y3)，依此类推第n个点的坐标为(Xn，Yn)，这些点对应的深度值记为H1、H2、H3，依此类推第n个点对应的深度值为Hn，则果指长度L的计算公式为：
Figure FDA0003797923030000031
式中，r＝1,2,…,n-1；
c、中部横截宽度：拟合出中轴线函数表达式，根据果指长度找出中轴线中点，并求得中轴线在其中点的法线的函数表达式，记为f(x)，求f(x)与香蕉轮廓线的两个交点，分别记为(Xd1，Yd1)和(Xd2，Yd2)，则中部横截宽度D的计算公式为：
Figure FDA0003797923030000032
6.根据权利要求1所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，其特征在于：在步骤7)中，将训练集中每个香蕉果梳对应的饱满度等级导入到LDA分类器中作为预测值，并将每个香蕉果梳对应的颜色、果指长度和中部横截宽度特征导入到LDA分类器中作为特征向量，LDA分类器会将导入进来的每个特征向量对应生成一个权重，从而计算出特征值对应的饱满度等级，完成香蕉饱满度判别模型的训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型。
7.基于形状和颜色信息的香蕉果梳饱满度检测系统，其特征在于，用于实现权利要求1-6任一项所述的基于形状和颜色信息的香蕉果梳饱满度检测方法，其包括：
数据获取模块，用于获取至少两种不同饱满度等级的香蕉果梳，采集其彩色图像与深度图像，并利用相机内部参数进行图像对齐，对齐之后的两个图像构成了四通道的RGB-D图像；
数据预处理模块，用于对RGB-D图像进行预处理，包括：对RGB-D图像中的彩色图像进行自适应阈值分割，提取感兴趣区域，对RGB-D图像中的深度图像进行近邻滤波，补上深度缺失的像素点；
单根香蕉果指识别模块，用于对预处理后的RGB-D图像进行边缘检测，分离并识别出单根香蕉果指；
特征提取模块，用于提取单根香蕉果指的平均颜色值、果指长度、中部横截宽度三个特征；
特征处理模块，用于将每根香蕉果指的三个特征分别求平均作为整把香蕉果梳的特征值，在得到所有香蕉果梳的特征值后，对所有香蕉果梳的特征值进行归一化处理，得到归一化处理后的不同饱满度等级的香蕉果梳数据，并从香蕉果梳数据中随机选取一部分作为训练集，其余作为测试集；
训练模块，用于训练作为香蕉饱满度判别模型的LDA分类器，将训练集中的数据导入LDA分类器中进行训练，得到一个训练好的基于颜色、果指长度和中部横截宽度三个特征的香蕉饱满度判别模型；
测试模块，用于将测试集中的数据输入训练好的香蕉饱满度判别模型中，得到准确的香蕉果梳饱满度检测结果，即香蕉果梳相应的饱满度等级。
CN202210973780.2A 2022-08-15 2022-08-15 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统 Pending CN115330721A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210973780.2A CN115330721A (zh) 2022-08-15 2022-08-15 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210973780.2A CN115330721A (zh) 2022-08-15 2022-08-15 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统

Publications (1)

Publication Number Publication Date
CN115330721A true CN115330721A (zh) 2022-11-11

Family

ID=83924470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210973780.2A Pending CN115330721A (zh) 2022-08-15 2022-08-15 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统

Country Status (1)

Country Link
CN (1) CN115330721A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597551A (zh) * 2023-06-21 2023-08-15 厦门万安智能有限公司 一种基于私有云的智能楼宇访问管理系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597551A (zh) * 2023-06-21 2023-08-15 厦门万安智能有限公司 一种基于私有云的智能楼宇访问管理系统
CN116597551B (zh) * 2023-06-21 2024-06-11 厦门万安智能有限公司 一种基于私有云的智能楼宇访问管理系统

Similar Documents

Publication Publication Date Title
CN109978822B (zh) 一种基于机器视觉的香蕉成熟度评判建模方法和评判方法
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
US9527115B2 (en) Computer vision and machine learning software for grading and sorting plants
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN107909138A (zh) 一种基于安卓平台的类圆颗粒物计数方法
CN110189383B (zh) 基于机器学习的中医舌色苔色定量分析方法
EP3896650A1 (en) Quality control system for series production
CN111784764A (zh) 一种茶叶嫩芽识别与定位算法
CN113295690A (zh) 基于机器学习的草莓成熟度快速判别方法
CN116559111A (zh) 一种基于高光谱成像技术的高粱品种识别方法
Yro et al. Cocoa beans fermentation degree assessment for quality control using machine vision and multiclass svm classifier
CN112184627A (zh) 基于图像处理与神经网络的柑橘保鲜品质检测方法及应用
CN115330721A (zh) 基于形状和颜色信息的香蕉果梳饱满度检测方法与系统
CN115330868A (zh) 一种基于深度学习与深度信息融合的葡萄采摘方法
CN114985283A (zh) 一种多特征图像识别技术的茶叶识别方法
Ignacio et al. A YOLOv5-based deep learning model for in-situ detection and maturity grading of mango
Taujuddin et al. Detection of plant disease on leaves using blobs detection and statistical analysis
Janardhana et al. Computer aided inspection system for food products using machine vision—a review
CN108765426A (zh) 自动图像分割方法及装置
Nawawi et al. Comprehensive pineapple segmentation techniques with intelligent convolutional neural network
JPH0929185A (ja) 果皮表面に固有のネットパターンを有する青果物の等級判定方法
Huang et al. Mango surface defect detection based on HALCON
Yao et al. Study on detection method of external defects of potato image in visible light environment
CN116416523A (zh) 一种基于机器学习的水稻生长阶段的识别系统和方法
CN110580495A (zh) 一种梨树叶面积与叶面炭疽病病斑数自动化分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination