CN112990063A - 一种基于形状与颜色信息的香蕉成熟度分级方法 - Google Patents

Abstract

本发明涉及一种基于形状与颜色信息的香蕉成熟度分级方法，针对目前香蕉成熟度检测技术中利用硬度传感器、气味传感器、光谱技术等检测方法都无法在香蕉采摘现场进行应用，缺少对果园采摘现场的香蕉成熟度智能化、自动化检测的问题本发明提出了一种基于形状与颜色信息的香蕉成熟度分级方法。本发明利用双目立体视觉系统对香蕉进行三维重建，根据果农采摘香蕉时观测香蕉果实饱满度和颜色的方法，提取香蕉图片中的颜色信息，对重建出的香蕉三维模型提取其棱角处的点云法向量夹角和点云曲率信息，最后根据重建模型的形状信息和香蕉颜色信息利用BP神经网络算法构建出香蕉成熟度分级模型，为香蕉采摘机器人研究奠定基础。

Description

一种基于形状与颜色信息的香蕉成熟度分级方法

技术领域

本发明涉及一种基于双目立体视觉检测香蕉成熟度的系统，尤其涉及一种基于形状与颜色信息的香蕉成熟度分级方法。

背景技术

目前香蕉的采收现场还需人工观测其饱满度判断其是否适合采摘，劳动力大，效率低，成本高。传统香蕉成熟度等级判断方法主要有通过硬度计、气味传感器、光谱仪等特定仪器获取特定的信息，采集信息的条件要求一般较高、采集数据的时间周期长，而且还需要特定的人员操作相关的设备，还会破坏水果的组织。鉴于当前香蕉成熟度检测技术中利用其硬度、气味、光谱信息等都无法在香蕉采摘现场进行应用，而根据香蕉颜色的检测方法只适合在商业贸易中使用，因此目前在果园中急需一种香蕉采收成熟度的智能化，自动化无损检测系统。

香蕉是具有呼吸跃变期的果实，多数香蕉采摘后容易在贮藏和运输等作业环节中面临香蕉品质损失的问题，主要原因是不同成熟度的香蕉相互混杂所致。呼吸高峰期前的果实为硬绿状态，容易贮运。呼吸高峰过后，香蕉即黄熟变软，难以贮运。所以香蕉必须在呼吸高峰前硬绿时期采收，运到销地。

有经验的香蕉种植人员可通过观察香蕉的外观表征鉴定其成熟度等级，如未成熟香蕉表皮呈现青绿色调、棱角清晰，过度成熟香蕉表皮呈现黄色甚至褐色、褐斑分布密集等。判断成熟度最简单易行的办法是看果形的饱满程度。当果面棱角明显突出时，成熟度七成以下，果面接近平满时，成熟度约为七成；果面圆满但尚现棱角时，成熟度为八成；果面圆满无棱时，成熟度为九成以上。机器视觉是人工智能正在快速发展的一个分支，其中的双目立体视觉可以模仿人类双眼获取环境的三维信息，代替人眼做出测量和判断。双目相机可将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和颜色、三维等信息，转变成数字化信号。图像系统对这些信号进行各种运算来抽取目标的特征，进而可以根据香蕉成熟度判别的结果来控制现场的设备动作，为香蕉采摘机器人研究奠定基础。

发明内容

本发明的目的是提供一种基于形状与颜色信息的香蕉成熟度分级方法，克服现有技术中无法在香蕉采摘现场实现智能化无损检测的缺陷，满足采摘现场判断香蕉成熟度的检测系统需求。本发明还提出了应用上述系统构建香蕉园中香蕉成熟度的分级模型，实现对果园中香蕉成熟度的精准分级。

本发明所提供的技术方案是提出一种基于形状与颜色信息的香蕉成熟度分级方法，其包括：

双目立体视觉稠密三维重建、构建香蕉成熟度检测系统、构建香蕉成熟度分级模型；

利用双目立体视觉对香蕉进行稠密三维重建，获取香蕉的外形信息；

根据颜色特征提取算法，提取出香蕉表面的色素组成信息，再根据重建出的香蕉三维点云计算出点云的曲率和点云法向量夹角特征值；由香蕉成熟度与颜色、夹角、曲率的关系，构造香蕉成熟度分级模型；

整套系统利用双目立体视觉的三维重建技术获取香蕉外形信息，经过特征提取，构建出香蕉成熟度检测系统和香蕉成熟度分级模型，实现对果园中香蕉采收成熟度的无损检测和精准分级。

本发明通过摄像头拍摄的图片提取香蕉的色素组成信息，利用利PatchMatch立体匹配算法进行双目三维重建，重建出稠密的三维点云，得到香蕉点云后对香蕉棱角进行计算分析，对于点云法向量夹角和曲率的特征提取采用PFH特征描述子提取算法，根据所得的颜色、棱角和曲率信息利用BP神经网络算法构建出香蕉成熟度的分级模型。步骤如下所示：

(1)双目立体视觉的稠密三维重建

利用双目立体视觉系统获取场景图像对，根据立体视觉系统标定的相机内外参数，再由PatchMatch稠密立体匹配算法通过匹配计算、代价聚合、视差计算、视差求精，最后得出稠密的视差图，根据视差图和真实场景的三维坐标关系，进行场景的稠密三维重建，利用PCL点云库进行场景的色彩映射和三维显示；

(2)香蕉颜色、点云法向量夹角和曲率的特征提取

香蕉的颜色信息根据所拍摄的图片OpenCV实现计算HSV空间的颜色直方图，提取每一个颜色通道的绿、黄、黑色素的值。香蕉的棱角点云法向量夹角和曲率特征采用PFH特征描述子提取算法，利用点云局部邻域内点的法向量夹角和平均曲率特征，进行形状信息的提取，法向量和曲率两个限制条件的约束，该方法在确定香蕉外形棱角大小的稳定性和准确性方面能有明显的改善；

(3)构建香蕉成熟度分级模型

根据BP神经网络构建出香蕉成熟度的分级模型，利用实验所采集到的数据，根据果农所提供的各级成熟度的香蕉求出其颜色、点云法线夹角和曲率的信息，对实验数据打好标签。在采集大量数据后进行模型的训练和测试，构建出可以应用于香蕉采摘的成熟度分级模型。

本发明的有益效果为：采用基于双目立体视觉技术重建的稠密香蕉点云可以满足对香蕉果形饱满程度的研究，利用双目立体视觉三维重建的方法重建出农作物香蕉的感兴趣部分点云，点云包含的每个点的信息可以反映物体的表面物理信息，并根据香蕉成熟过程由绿变黄的颜色变化过程和香蕉成熟过程棱角由尖变钝的表面物理变化，总结提出一套基于双目立体视觉模仿人眼以香蕉颜色和香蕉棱角的大小判断香蕉成熟度的方法。在此以往基于机器视觉的香蕉成熟度无损检测方法一般都是依据香蕉的色素组成检测出不同成熟度的香蕉，本研究的创新点在于重建出香蕉棱角的物理形态，由香蕉成熟过程中的颜色和香蕉外形变化双重约束检测出不同成熟度的香蕉，香蕉成熟度分级更加细致准确。

附图说明

下面结合附图及具体实施方式对本发明作进一步详细的说明：

图1为本发明实施例中基于形状与颜色信息的香蕉成熟度分级评判流程图。

图2为本发明实施例中香蕉的双目立体视觉稠密三维重建例图。

图3为本发明实施例中香蕉点云的横切面棱角夹角示意图。

图4为本发明实施例中香蕉成熟度分级模型的训练流程图。

具体实施方式

本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸。

如图1所示，本发明提供一种基于形状与颜色信息的香蕉成熟度分级方法，包括以下步骤：

S1.通过对双目相机特性的了解，利用双目相机采集香蕉图像对；

S2.对采集到的香蕉图像利用PatchMatch稠密立体匹配算法对其进行稠密三维重建，获取拍摄场景三维点云；

S3.对获取的拍摄场景点云进行杂乱背景去除，根据稠密点云的凹凸性进行分割，对三维重建出来的稠密点云进行前景和背景的分离，获取出香蕉点云；

S4.对采集到的香蕉图像进行处理，计算其HSV空间的颜色直方图，获取其颜色特征；

S5.对香蕉三维点云进行曲率特征和法向量特征提取；

S6.对香蕉的外形和颜色所提取的三个不同特征作为香蕉成熟度判别的依据，构建香蕉成熟度分级模型，实现香蕉成熟度的分级判断。

步骤S1具体包括以下步骤：

了解双目相机的特性，编写双目相机拍摄程序，采集大量香蕉图像对。

步骤S2具体包括以下步骤：

对采集到的香蕉图像利用PatchMatch稠密立体匹配算法对其进行稠密三维重建。进行稠密三维重建首先需要对拍摄的双目相机进行标定实验。因为空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数，包括内参数和外参数。这些参数通过标定实验计算得到，标定实验需要打印一张模板并贴在平面上，从不同角度拍摄若干模板图像，通过OpenCV检测出图像中的角点，得出双目标结果。

标定之后对拍摄图像对进行立体校正。根据Bouguet算法使用双目摄像机的旋转和平移参数进行立体校正，Bouguet的算法目的是使两图像中的每一幅重投影次数最小化，同时使得观测面积最大化。为了使图像重投影畸变最小，将右摄像机图像平面旋转到左摄像机图像平面的旋转矩阵R被分离成两部分，称左右摄像机的两个合成旋转矩阵r1和r2。每个摄像机都旋转一半，这样地旋转可以让摄像机共面但是行不对准。为了计算将左摄像机极点变换到无穷远并使极线水平对准，创建一个由极点el方向开始的旋转矩阵Rrect，利用OpenCV输出校正后图像，输出透视投影矩阵Q。

在进行三维信息获取过程中最重要的步骤就是进行左右图像对的匹配过程，图像匹配是双目视觉的核心算法，其目的是通过匹配出图像对的对应区域，从而计算出匹配点之间的视差,获取视差图，为后续的深度信息提取提供数据支持。PatchMatch立体匹配算法模型如下：

对于两张图像中的每个像素点p，都寻找对应的一个平面fp。一旦平面fp被找到，就可以计算像素p处的视差dp：

d_p＝a_fpp_x+b_fpp_y+c_fp (1)

其中，afp、bfp、cfp为平面fp的参数。像素p的坐标为(px,py)。目标函数为寻找聚合代价最小的平面fp:

其中，F表示所有可能的平面。与平面f对应的匹配像素p的聚合代价为:

其中，Wp表示一个以像素p为中心的方形窗口。权重函数w(p,q)用来解决边缘肥胖问题，并且实施自适应支持权重的思想，它根据像素之间的颜色信息计算它们之间的相似性。ρ(q,q′)部分计算像素q和对应匹配点q′之间的不相似性。

其中，γ是用户定义的参数，||Ip-Iq||是计算像素p和q在RGB空间中的L1距离。

其中，

表示像素p和q之间灰度值的梯度之差的绝对值。由于像素q′的x坐标在连续区域内，通过线性插值来找到它的颜色和梯度值。用户定义的参数α用来平衡颜色和梯度项的影响，参数τcol、τgrad为截断代价，使得结果在遮挡区域也适用。

通过摄像机的标定和图像的立体匹配得到摄像机内外参数以及图像对的视差信息后，再根据三角测量法计算得到目标物体的深度信息。三角测量法中假设左右摄像机是平行对准的，左右相机光心之间的距离为基线，其长度为b，f是相机的焦距，O-XYZ为世界坐标系且有Y轴垂直于纸面指向里面，在空间坐标中的任意一点C(X,Y,Z)，其在左摄像机中的成像平面上的对应点为pl(xl,yl)，在右摄像机中的成像平面上的对应点Pr(Xr,Jr)，则有：

根据式(6)和(7)可以得到：

式(9)中的xl-xr就是我们前面所求的视差，此时可得到有：

由式(10)可以得到Z就是所求的深度信息值，其Z只与左右相机的基线长度b，相机的焦距f以及视差d相关，且一般情况下，b和f的数值不会发生改变，因此可得，深度信息值与视差值成反比。由深度值和每个点的X，Y坐标，便可以获取每个点的三维点云结果。图2显示了利用PatchMatch稠密立体匹配算法得出的拍摄场景三维点云结果。

步骤S3具体包括以下步骤：

对于三维图像而言，凹凸性质非常明显，基于稠密点云的凹凸性进行分割的算法大致可以分成两个部分：1.基于超体聚类的过分割；2.在超体聚类的基础上再聚类。在点云完成超体聚类之后，对于过分割的点云需要计算不同的块之间凹凸关系。凹凸关系通过CC(Extended Convexity Criterion)和SC(Sanity criterion)判据来进行判断。由于考虑到测量噪声等因素，需要在实际使用过程中引入门限值来滤除较小的凹凸误判。此外，为去除一些小噪声引起的误判，还需要引入“第三方验证”：如果某块和相邻两块都相交，则其凹凸关系必相同。如果相邻两面中，有一个面是单独的，CC判据是无法将其分开的。为此需要引入SC判据，来对此进行区分。在标记完各个小区域的凹凸关系后，采用区域增长算法将小区域聚类成较大的物体。此区域增长算法受到小区域凹凸性限制，即只允许区域跨越凸边增长，在滤去多余噪声后获取点云分割结果。

步骤S4具体包括以下步骤：

利用双目相机获取香蕉表面的彩色图像输入到计算机中，计算机将输入的香蕉色彩图像的色彩空间由RGB转为HSV空间，提取、统计颜色信息。计算机再提取H-S特征并获取H-S直方图，保存颜色信息数据；

步骤S5具体包括以下步骤：

图3显示了香蕉点云的横切面棱角夹角示意图，依据香蕉不同成熟度，其果身的饱满程度不同，其棱角大小会发生由小变大的变化。根据这一信息，对香蕉点云的曲率特征和夹角特征进行提取。曲率特征提取是以所求曲率点云P_i为坐标原点，曲面在P_i点处的法向量方向为Z轴方向，X，Y轴在P_i点处的切平面上，X、Y、Z轴两两正交，建立(X，Y，Z)坐标系。根据二次曲面方程，代入邻域点坐标，依据最小二乘法，可求得曲面基本方程。由曲面基本方程，求方程的一阶、二阶偏导可获得拟合所得曲面的第一基本量和第二基本量，结合曲面参数方程可计算出该点云的曲率值，对曲率进行范围的划分，形成曲率特征直方图，输出保存每一个点云的曲率值。夹角特征提取是根据分割后香蕉的总点云个数n，查询每一个点云的K个邻域点，首先求每个点的法线，然后点领域内n*k²组点对上计算法线夹角角度特征，计算领域内法线之间的角度后，对角度进行范围的划分，形成角度特征直方图，输出保存每一个点云与邻域点云的夹角值。

步骤S6具体包括以下步骤：

对香蕉的颜色、曲率和夹角三个不同特征值进行提取，三个特征经过归一化处理后作为输入值，香蕉成熟度等级作为输出值，经过BP神经网络大量的训练形成香蕉成熟度分级决策模型。图4是BP神经网络训练香蕉成熟度分级决策模型的流程图。

A＝F(α，β，δ) (11)

式(11)为香蕉成熟度分级判别模型，其中α，β，δ为归一化的图片特征，作为输入，A为成熟等级输出。

本发明根据香蕉树上一串香蕉的顶部是最先成熟，底部个别果实发育迟缓，一般是观测香蕉中部的果实饱满度判断是否合适采摘，针对香蕉串的中部香蕉进行拍摄，每次拍摄多个香蕉，进行特征提取，求取平均值。到香蕉林区拍摄果农提供的不同成熟度的香蕉串，获取大量的数据，对获取的图片进行处理，提取图片中香蕉颜色信息，将所获得的的图像对进行双目稠密重建，对获取的香蕉三维点云进行分析，获取棱角点云夹角特征和棱角曲率特征，记录不同成熟度的香蕉所对应的颜色特征和形状特征，并以此进行训练和测试香蕉成熟度分级模型，不断的优化目标函数，最终可根据输入的图片特征就可输出香蕉的成熟度级别。

Claims (7)

1.一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，包括以下步骤：

对所拍摄的香蕉图像进行双目立体视觉稠密三维重建；

对所拍摄的香蕉图像提取其颜色统计量特征；

对三维重建出来的稠密点云进行前景和背景的分离，分割出香蕉点云；

根据PFH特征描述子提取算法提取香蕉点云的曲率统计量特征；

根据PFH特征描述子提取算法提取香蕉点云的夹角统计量特征；

对于三种不同的香蕉特征值进行归一化处理，建立基于颜色特征、曲率特征和夹角特征的香蕉成熟度分级模型。

2.根据权利要求1所述的一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，所述对所拍摄的香蕉图像进行双目立体视觉稠密三维重建，其特征在于，具体包括以下步骤：

(1)双目立体标定

打印一张模板并贴在平面上，从不同角度拍摄若干模板图像，通过OpenCV进行双目摄像机标定并检测出图像中的角点，输出双目标结果，获取两摄像机的内参数与畸变系数，旋转矩阵R与平移向量T。

(2)双目立体校正

两台摄像机同时进行图像采集，输入双目标定的数据，使用OpenCV进行图像校正，输出校正后图像，输出透视投影矩阵Q。

(3)立体匹配

PatchMatch稠密立体匹配算法对于两张图像中的每个像素p，都寻找一个平面fp，平面fp找到后就可以计算像素p处的视差dp。给两张图像的每个像素初始化一个随机平面，其目标是寻找最优的拟合平面，我们通过将每个像素初始化为一个随机的平面来寻找与正确的平面接近的平面然后就可以计算像素p处的视差值。随机化初始平面之后为了寻求最优平面就要有一个传播步骤将这个平面传递到该区域的其他像素上，传播包括空间传播和图传播。空间传播即在空间上相邻的像素很有可能具有相似的平面。p表示当前像素，fp是它的平面评估是否将p空间邻居q的平面fq分配给它。若m(p，fq)<m(p，fp)，则将平面fq作为像素p的新平面。图传播即考虑左右视差图之间具有强相干性，左图像素和它在右图中的匹配点很可能有相似的平面。取像素p点对应匹配点p′，若m(p，fp′)<m(p，fp)，则将平面fp′作为像素p的新平面。最后还有一个平面优化步骤，我们改变平面参数以接近最优平面，根据最优平面计算出最优视差值，最后输出视差图。

(4)三维点云获取

通过立体匹配实验，已成功获取所拍摄场景的视差信息，在立体校正过程中计算出的重投影矩阵Q和在给定视差d和2D点(x,y)的情况下就可以根据公式z＝b*f/d计算3D深度。由深度值和每个点的X,Y坐标，便可以获取每个点的三维点云结果。

3.根据权利要求1所述一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，对所拍摄的香蕉图像提取其颜色统计量特征，具体包括以下步骤：

香蕉的颜色信息根据所拍摄的图片利用OpenCV实现计算HSV空间的颜色直方图，提取和保存每一个颜色通道的绿黄黑色素的值。

4.根据权利要求1所述一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，对三维重建出来的稠密点云进行前景和背景的分离，分割出香蕉点云，具体包括以下步骤：

基于稠密点云的凹凸性进行分割，在点云完成超体聚类之后，对于过分割的点云需要计算不同的块之间凹凸关系。凹凸关系通过CC(Extended Convexity Criterion)和SC(Sanity criterion)判据来进行判断。在标记完各个小区域的凹凸关系后，采用区域增长算法将小区域聚类成较大的物体。此区域增长算法受到小区域凹凸性限制，即只允许区域跨越凸边增长，在滤去多余噪声后获取点云分割结果。

5.根据权利要求1所述一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，根据PFH特征描述子提取算法提取香蕉点云的曲率统计量特征，具体包括以下步骤：

以所求曲率点云P_i为坐标原点，曲面在P_i点处的法向量方向为Z轴方向，X，Y轴在P_i点处的切平面上，X、Y、Z轴两两正交，建立(X，Y，Z)坐标系。根据二次曲面方程，代入邻域点坐标，依据最小二乘法，可求得曲面基本方程。由曲面基本方程，求方程的一阶、二阶偏导可获得拟合所得曲面的第一基本量和第二基本量，结合曲面参数方程可计算出该点云的曲率值，对曲率进行范围的划分，形成曲率特征直方图，输出保存每一个点云的曲率值。

6.根据权利要求1所述一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，根据PFH特征描述子提取算法提取香蕉点云的夹角统计量特征，具体包括以下步骤：

分割后香蕉的总点云个数为n，查询每一个点云的K个邻域点，首先求每个点的法线，然后点领域内n*k²组点对上计算法线夹角角度特征，计算领域内法线之间的角度后，对角度进行范围的划分，形成角度特征直方图，输出保存每一个点云与邻域点云的夹角值。

7.根据权利要求1至6任一项所述的一种基于形状与颜色信息的香蕉成熟度分级方法，其特征在于，所述对于三种不同的香蕉特征值进行归一化处理，构建基于颜色特征、曲率特征和夹角特征的香蕉成熟度分级模型，具体包括以下步骤：

使用BP神经网络构建出香蕉成熟度的分级模型，对香蕉的颜色、曲率和夹角三个不同特征值进行提取，三个特征经过归一化处理后作为输入值，香蕉成熟度等级作为输出值，形成香蕉成熟度分级决策模型。

Images