CN111476153A - 一种水果成熟度计算方法 - Google Patents

Abstract

本发明公开了水果成熟度计算方法，通过水果园中的图像采集装置采集水果图像，对该图像进行卷积神经网络算法对水果定位进行检测；依据水果定位信息，截取水果局部图片，利用RGB与HSV的转换公式，将像素点使用HSV方式表征；通过计算定位框内水果颜色基准值计算水果成熟度；计算图像内所有水果的成熟度的平均值作为该图像的水果成熟度指数；依据水果定位框计算每个水果最近邻距离和每个水果定位框的尺寸计算水果的丰产指数。本发明的优点在于：检测速度快，可泛化性高，可移植性较强，可将网络层数控制在一个较小的数量，易于实现。

Description

一种水果成熟度计算方法

技术领域

本发明涉及水果成熟度计算方法，属于机器视觉领域。

背景技术

合适的采收期能满足消费者对口感和最佳营养价值的需求。同时，水果的成熟度不仅是确定其最佳采收期的重要指标，也是水果进行产品分级、保鲜以及储存的重要指标。在传统的农业生产过程中，大多同时对水果进行采摘，不同成熟度的水果混杂交织，不仅大大增加了水果在运输、存储过程中的损坏，而且降低了水果的整体品质。因此，确定水果成熟度具有重要的现实意义。

目前，水果成熟度的确定基本上是从果实自身特征出发获得图像特征,当存在光线变化、阴影覆盖、着色不均、枝叶遮挡和果实重叠等多种自然采摘环境下常见干扰因素时,果实特征发生明显变化,使得用于描述果实的特征也出现明显的不同,因此基于图像特征的水果识别方法在自然环境下检测效果不理想。

如高光谱技术结合特征波长筛选和支持向量机的哈密瓜成熟度判别研究[J](孙静涛,马本学,董娟, 等.光谱学与光谱分析,2017,37(07):2184-2191)一文中利用高光谱技术，通过多种特征波长提取方法，采用支持向量机建立了哈密瓜成熟度判别模型，预测准确率为94％。基于高光谱图像多光谱参数的草莓成熟度识别[J](蒋浩,张初,刘飞,等.光谱学与光谱分析,2016,36(05):1423-1427)一文中基于高光谱成像技术以草莓为研究对象，结合光谱信息和成熟过程中的生理生化特性提出了用于成熟度检测的多光谱参数，采用Fisher线性判别法建立了成熟度判别模型，最优判别准确率为96.67％。准确率最优达到85.71％。基于空间可分辨光谱的番茄成熟度判别方法研究[J](黄玉萍,Renfu Lu,戚超,等.光谱学与光谱分析,2018, 38(07):2183-2188)一文中利用空间可分辨光谱进行不同成熟度番茄的判别，支持向量机判别的分类结果好于偏最小二乘判别的分类结果，分类正确率达到86.3％。上述研究中主要利用偏最小二乘、支持向量机等方法进行水果成熟度的判别。专利CN110472575A中采用建立基于深度学习的第一级SSD目标检测模型算待检测图像中的各检测目标在世界坐标系下的实际长度，并判断实际长度是否符合串番茄合格条件，第二AlexNet目标检测网络的最后一层输出的包含该检测目标的所有单个果实的位置及置信度信息的二级区域信息计算串番茄果实成熟度。但目前并未有一个算法既简单又快速检测成熟度的方法。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的水果成熟度计算方法。

本发明的成熟度计算是基于图片都是由多个像素点组成，而每个像素点都有一个hsv值，通过获取图片的hsv(h表色调，s表饱和度，v表明度)中的h值(每种颜色的h值是一个或多个连续的区间，便于统计和计算)，再识别每个框中h值在某个区间(此区间为水果的颜色区间，而水果不同时间段的颜色也会不同，所以需要分情况而论)的像素点，便能将水果相对准确的识别出来，计算在此区间的所有像素点的h值平均值作为该水果的颜色度量值，通过大量的测试和反馈得出水果成熟度计算方法。具体包括以下步骤：

步骤一、将摄像头安装在水果园中，通过摄像头采集水果图像，；

步骤二、将图片进行网络传输，采用卷积神经网络算法对水果定位进行检测；

步骤三、依据水果定位信息，截取水果局部图片，利用RGB与HSV的转换公式，将像素点使用HSV 方式表征。公式如下：

R^*＝R/255 G^*＝G/255 B^*＝B/255

C_A＝max(R^*,G^*,B^*) C_I＝min(R^*,G^*,B^*)

C_d＝C_A-C_I

V＝C_A

步骤四、计算定位框内水果颜色基准值N

经过大量统计，水果从刚刚结果到成熟会经历由青色到黄色的过程，这个区间h值的范围在[a,c]内，由于水果成熟时会与周围环境的色差很大，即水果偏成熟时，此时判断水果的颜色的区间为[a,b]，否则水果的颜色区间为[b,c]，通过计算矩形框中颜色在[a,b]区间的像素点占整个矩形框像素点的比例v(0≤v≦1)，假设比例取d时，可以将水果与周围环境进行区分，且计算误差小，则有

当v>d(0<d<1)时，表示水果偏成熟且明显，此时通过判断矩形框中h值在[a,b]的像素点，便能将水果准确识别出来，再计算这些像素点的h值的平均值作为水果颜色基准值N；

当v≤d(0<d<1)时，表示水果与周围环境色差不大或者水果占矩形框比例小，此时便可以通过计算整个矩形框的像素点的平均值作为水果的颜色基准值N；

步骤五、计算水果成熟度

通过大量的统计计算和评估，水果成熟度为100％时颜色度量值为a，设此时水果的颜色度量值为N, 成熟度为M,则有:M＝f((c-N)/(c-a))(f为权重)；

步骤六、计算图像内所有水果的成熟度的平均值作为该图像的水果成熟度指数X；

步骤七、依据水果定位框计算每个水果最近邻距离d_i和每个水果定位框的尺寸

步骤八、计算水果的丰产指数为

A越大则水果产量越高。

本发明避免了在检测过程中构建图像金字塔，极大提高了果实检测速度，检测结果具有较高的鲁棒性与泛化性，可移植性较强，可在多个操作平台植入使用，对推动农业信息化有积极作用。本发明将网络层数控制在一个较小的数量，易于实现，运算量主要集中在模型训练阶段，实际运行阶段计算量用普通计算机即可承担。

附图说明

图1为根据本发明成熟度的检测流程图；

图2为根据本发明一个实施例的定位检测图；

图3为根据本发明一个实施例的结果图。

具体实施方式

本发明提供一种新的水果成熟度计算方法。成熟度计算基于图片都是由多个像素点组成，而每个像素点都有一个hsv值，通过获取图片的hsv(h表色调，s表饱和度，v表明度)中的h值(每种颜色的h值是一个或多个连续的区间，便于统计和计算)，再识别每个框中h值在某个区间(此区间为水果的颜色区间，而水果不同时间段的颜色也会不同，所以需要分情况而论)的像素点，便能将水果相对准确的识别出来，计算在此区间的所有像素点的h值平均值作为该水果的颜色度量值，通过大量的测试和反馈得出水果成熟度计算方法。如图1所示，具体包括以下步骤：

步骤一、将摄像头安装在水果园中，通过摄像头采集水果图像，；

步骤二、将图片进行网络传输，采用卷积神经网络算法对水果定位进行检测；

该卷积神经网络算法可具体设置为经过Darknet53提取图片的特征，会把特征图划分为三个不同数量的单元格，并分别把提取出的特征送到三个YOLO检测层中，输出带有YOLO层所画预测框的图；步骤三、依据水果定位信息，截取水果局部图片，利用RGB与HSV的转换公式，将像素点使用HSV方式表征。公式如下：

R^*＝R/255 G^*＝G/255 B^*＝B/255

C_A＝max(R^*,G^*,B^*) C_I＝min(R^*,G^*,B^*)

C_d＝C_A-C_I

V＝C_A

步骤四、计算定位框内水果颜色基准值N

经过大量统计，水果从刚刚结果到成熟会经历由青色到黄色的过程，这个区间h值的范围在[a,c]内，由于水果成熟时会与周围环境的色差很大，即水果偏成熟时，此时判断水果的颜色的区间为[a,b]，否则水果的颜色区间为[b,c]，通过计算矩形框中颜色在[a,b]区间的像素点占整个矩形框像素点的比例v(0≤v≦1)，假设比例取d时，可以将水果与周围环境进行区分，且计算误差小，则有

当v>d(0<d<1)时，表示水果偏成熟且明显，此时通过判断矩形框中h值在[a,b]的像素点，便能将水果准确识别出来，再计算这些像素点的h值的平均值作为水果颜色基准值N；

当v≤d(0<d<1)时，表示水果与周围环境色差不大或者水果占矩形框比例小，此时便可以通过计算整个矩形框的像素点的平均值作为水果的颜色基准值N；

步骤五、计算水果成熟度

通过大量的统计计算和评估，水果成熟度为100％时颜色度量值为a，设此时水果的颜色度量值为N, 成熟度为M,则有:M＝f((c-N)/(c-a))(f为权重)；

步骤六、计算图像内所有水果的成熟度的平均值作为该图像的水果成熟度指数X；

步骤七、依据水果定位框计算每个水果最近邻距离d_i和每个水果定位框的尺寸

步骤八、计算水果的丰产指数为

A越大则水果产量越高。

以柑橘为例，将上述步骤用于检测柑橘，其中卷积神经网络算法对柑橘定位进行检测的YOLO层步骤如图2所示，检测的最终结果如图3所示，该方法的准确率在94％～96％之间。当用于检测其他水果时，可适当性调整相应的参数，以检测成熟度。

本发明不限于上述实施例，对于本领域技术人员来说，对本发明的上述实施例所做出的任何改进或变更都不会超出仅以举例的方式示出的本发明的实施例和所附权利要求的保护范围，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

Claims (4)

1.一种水果成熟度计算方法，具体包括以下步骤：

步骤一、将图像采集装置安装在水果园中，通过图像采集装置采集水果图像；

步骤二、将图片进行网络传输，采用卷积神经网络算法对水果定位进行检测；

步骤三、依据水果定位信息，截取水果局部图片，利用RGB与HSV的转换公式，将像素点使用HSV方式表征；

步骤四、计算定位框内水果颜色基准值N；

步骤五、计算水果成熟度；

步骤六、计算图像内所有水果的成熟度的平均值作为该图像的水果成熟度指数X；

步骤七、依据水果定位框计算每个水果最近邻距离d_i和每个水果定位框的尺寸

步骤八、计算水果的丰产指数为

2.根据权利要求1所述的分布式边缘计算系统，所述步骤三中RGB与HSV的转换公式如下：

R^*＝R/255 G^*＝G/255 B^*＝B/255

C_A＝max(R^*，G^*，B^*) C_I＝min(R^*，G^*，B^*)

C_d＝C_A-C_I

V＝C_A。

3.根据权利要求1所述的水果成熟度计算方法，所述步骤四的水果颜色基准值N通过如下方式获得：柑橘偏成熟时，h值的区间为[a,b]，否则为[b,c]，在[a,b]区间的像素点占整个矩形框像素点的比例v(0≤v≦1)，假设比例取d时，则

当v>d(0<d<1)时，表示柑橘偏成熟且明显，计算整个矩形框的像素点的h值的平均值作为柑橘颜色基准值N；

当v≤d(0<d<1)时，表示柑橘与周围环境色差不大或者柑橘占矩形框比例小，计算整个矩形框的像素点的平均值作为柑橘的颜色基准值N。

4.根据权利要求3所述的水果成熟度计算方法，所述步骤五中的成熟度M M＝f((c-N)/(c-a))，f为权重，a为成熟度为100％时颜色度量值，N为成熟度为100％时颜色度量值。

Images