CN113298835B - 一种果实采收成熟度加权评估方法 - Google Patents

Abstract

本发明公开了一种果实采收成熟度加权评估方法，包括：通过霍夫圆检测方法寻找图像中果实初始边缘；基于改进型智能剪刀算法寻找图像中果实关键特征区域；测定与果实采收成熟度相关的指标值，并通过熵值法获取各指标的权重，进而对果实成熟度进行评估。本发明首先有效的屏蔽了果实阴影部分的无关背景，获取果实关键特征区域边缘路径，与初始的霍夫变换相比，采用本申请的方法所得到的边缘准确率更高。在正确找到果实边缘选区的前提下，通过加权方法计算出了各时期果实的量化成熟度，从而为果实采收成熟度提供了科学依据。

Description

一种果实采收成熟度加权评估方法

技术领域

本发明涉及智慧农业领域，具体涉及一种果实采收成熟度加权评估方法。

背景技术

近年来，人工智能越来越成熟，计算机视觉的应用范围逐渐扩大，同时大数据技术在许多领域都发挥了重要作用，它一般是以大数据分析及处理为核心。计算机视觉和数据分析技术结合，已广泛应用于监测土壤对植株生长的影响、果实品质的评价以及果实采收成熟度的评估等方面。

果实在发育到成熟的过程品质指标是动态变化，成熟度作为衡量果实成熟程度及最佳冷链运输采摘时间节点的指标，在很大程度上决定了果品的质量和口感，如果成熟度不够，则果品的外观品质欠佳，内在品质的品种特征也无法体现。若成熟度过大，则果品的口感变淡，且易于变软和碰伤，影响果品的物流运输和可贮藏性，采收过早或过晚都会影响果实产量、花芽发育和次年的果实质量。在传统方法中，判断果实采收时的成熟度是根据经验以果实果皮颜色为标准，没有考虑到果径、单果重、甜度等更多重要因素，很可能会因为不同果皮色素基因表达的早晚而产生错误判断。

果实在光照环境下拍摄会出现阴影部分，利用灰度图二值化分割感兴趣区域时避免不了阴影部分，进而提取果皮颜色特征时有一定的干扰。

发明内容

为了可以更准确地提取果皮颜色特征和采收的果实口感更佳、次年果实的产量增加，本发明通过图像处理技术提取果皮颜色值，并将果皮颜色、单果重、糖度等数据作为评估果实采收成熟度的数值化指标，通过把所有指标用加权的方法运算，获得果实各发育期的成熟度，最终为农户采收果实时判断其成熟度提供了一种评估方法。

为实现上述目的，本发明的技术方案为：一种果实采收成熟度加权评估方法，包括：

通过霍夫圆检测方法寻找图像中果实初始边缘；

基于改进型智能剪刀算法寻找图像中果实关键特征区域；

测定与果实采收成熟度相关的指标值，并通过熵值法获取各指标的权重，进而对果实成熟度进行评估。

进一步的，所述通过霍夫圆检测方法寻找图像中果实初始边缘，具体包括：

利用高斯滤波对图像模糊降噪，并将降噪后的果实彩色图像转换为灰度图；

所述灰度图基于图像梯度法实现霍夫变换圆检测，得到果实边缘，找到圆心(x₀,y₀)，根据圆心获取出最佳半径r；

通过所述圆心(x₀,y₀)和最佳半径r计算圆上所有点的坐标,引入公式：

x₁＝x₀+r*cosθ

y₁＝y₀+r*sinθ

x₁、y₁分别是圆上某点的横坐标、纵坐标，θ为圆上某点与x轴形成的角度；圆上所有点的坐标即为果实特征区域初始边缘，获取的初始边缘集合为C＝{p|pincontourofBinarizedimage}，p为(x₁,y₁)处的像素。

进一步的，基于改进型智能剪刀算法寻找图像中果实关键特征区域，具体包括：

S21.建立权重图，得到果实彩色图像区域耗费值，从而提取果实彩色图像边界；

S22.基于所述权重图，去寻找初始点和自由点之间的路径：选取s＝1,k＝2作为初始的索引，s为集合C中第s个元素，k为集合C中第k个元素，设初始路径计数器数列，如下：

c_n＝0,n＝1,2,3,4…

设初始最终路径点集合，如下：

S23.从所述初始边缘集合中选取一个点p_s作为种子点，记为

p_seed＝p_s,p_seed∈C

从智能剪刀算法里的种子点p_seed邻域内取一点p_k作为自由点，记为：

p_free＝p_k,p_free∈C∩N₄(p_seed),p_s∈C,

其中，N₄(p_seed)为像素4临域；

S24.通过种子点p_seed,自由点p_free的坐标(x_seed,y_seed),(x_free,y_free)在权重图上定位两个节点，即矩阵A中的点使用Dijkstra算法，得出种子点p_seed至自由点p_free在权重图上的最短路径，此路径即为种子点p_seed至自由点p_free的感兴趣区域边界段，记为数列{a_n}；

S25.将索引k向前移动一位，即

k：＝k+1

S26.从初始边缘集合C中取出第k个元素作为新的自由点，即

p_free＝p_k,p_free∈C∩N₄(p_seed)

同步骤S24，获取种子点p_seed至新的自由点p_free的路径，记为{b_n}；

S27.比较路径{a_n}和{b_n}，将路径上的点按位相与，则有数列{d_n}

d_n＝a_n∧b_n,n＝1,2,3,4…

此时，若在路径第n个点上a_n＝b_n，则有d_n＝1，否则为d_n＝0；

S28.将重合的路径点所对应的路径计数器加1，从第一个不重合点开始，后面的路径对应点路径计数器置0；即设g、h、m为数列的索引，如下

g,d_g＝0,且/>d_h＝1

则有

c_h：＝c_h+1,c_m＝0m≥g

其中，d_g、d_h为数列{d_n}中的元素，c_h、c_m为数列{c_n}中的元素；

S29.判断路径计数器数列{c_n}，将大于阈值N的路径设为冻结路径，并将所述冻结路径加入最终路径点集合，然后重新选取种子点；即设i、j、l为数列的索引，如下

则有

C_end：＝C_end∪{p|p is the term of n＝j in{b_n}}

其中，c_j，c_l为数列{c_n}中的元素；

此时最终路径点集C_end中包含了已冻结路径点；选取新的种子点为

p_seed＝p_i,p_seed∈C

将路径计数器数列{c_n}、路径数列{b_n}中对应的已冻结路径的数值丢弃，并将未冻结的数值重新排列至前方，即

c_n：＝c_n+i

b_n：＝b_n+i

S30.将索引k向前移动一位，并重设临时路径数列，即

k：＝k+1

{a_n}：＝{b_n}

判断寻路是否结束，若寻路继续，返回第S25步；若/>寻路结束，此时需要将路径数列{b_n}中剩余路径加入到最终边界点集C_end中，即

C_end：＝C_end∪{p|p is the term in{b_n}}

最终，点集C_end即为目标边界点集。

进一步的，建立权重图，具体为：从一个像素点p到另外一个像素点q的局部代价l(p,q)公式如下：

I(p,q)＝ω_Z·f_Z(q)+ω_D·f_D(p,q)+ω_G·f_G(q)

其中ω_Z、ω_D、ω_G表示权值，f_z表示拉普拉斯过零点代价，采用拉普拉斯过零点特征是为了确保像素节点位于边缘点上；f_G是像素在x和y方向上的梯度，当有较大的梯度值时，说明图像存在边缘；f_D是梯度方向代价，当两个像素具有相似的梯度方向，但是该方向和它们之间的连接方向接近垂直时给予高代价；当两个像素具有相似的梯度方向且和它们之间的连接方向一致时，给予低代价；

将计算权重后的权重图记为矩阵A，

A_pq＝I(p,q)。

进一步的，测定与果实采收成熟度相关的指标值，并通过熵值法获取各指标的权重，具体包括：

利用HSV色彩空间提取目标边界点集构成的选区颜色值，得出每个成熟期果皮不同的颜色值；

测定单果重、果径以及甜度指标变量；

使用t条数据样本，将果皮颜色数据、果实甜度数据、果实重量数据、果径大小数据，用t*4的矩阵表示如下：

M＝[X₁…X₄]

将矩阵中的数据归一化处理，X_ij表示矩阵M的第i行j列数据：

第i个数据占第j项指标的比重为：

得到各个指标的信息熵：

即得到果皮颜色信息熵e₁、果实甜度信息熵e₂、果实重量信息熵e₃、果径大小信息熵e₄，则由熵值法计算的各指标权重为：

得到的果皮颜色权重值、果实甜度权重值、单果重量权重值、果径大小权重值分别为W₁、W₂、W₃、W₄；其中果皮颜色采用三维散点图的方法进行划分，得到果皮颜色变量等级；

将测定的果实重量数据、果径大小数据、果实甜度数据进行归一化处理，使其变量范围在[0,1]之间表示，把果皮颜色、果实甜度、果实重量、果径大小四个指标变量设定为L₁、L₂、L₃、L₄，根据所求权重值对果实采收成熟度进行综合评估，引入加权公式：

Maturity＝W₁*L₁+W₂*L₂+W₃*L₃+W₄*L₄

Maturity的值在[0.9,1]时，成熟期达到最大值，果实口感最佳，故视为宜采收成熟度。

本发明由于采用以上技术方案，能够取得如下的技术效果：本发明首先有效的屏蔽了果实阴影部分的无关背景，获取果实关键特征区域边缘路径，与初始的霍夫变换相比，采用本申请的方法所得到的边缘准确率更高。在正确找到果实边缘选区的前提下，通过加权方法计算出了各时期果实的量化成熟度，从而为果实采收成熟度提供了科学依据。

附图说明

图1为果实采收成熟度加权评估方法的流程图；

图2为基于HSV颜色空间聚类分析的三维散点图；

图3为基于改进型智能剪刀算法前后检测效果图；

图4为果实各指标的权重图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种果实采收成熟度加权评估方法，包括以下几个步骤：

步骤一，通过霍夫圆检测方法寻找图像中果实初始边缘。

其霍夫圆检测方法能找到圆心和半径，进一步计算出圆上所有点的坐标，坐标集合作为果实特征区域初始边缘，具体为：

S1.1.因为霍夫圆检测对噪声比较敏感，所以首先利用OpenCV中GaussianBlur()函数对图像高斯滤波，然后进行模糊降噪，使图像更平滑，并将去噪后的果实彩色图像转换为灰度图；

S1.2.Opencv中实现的霍夫变换圆检测是基于图像梯度法实现的，用HoughCircles()函数检测果实边缘，具体实现过程分为两步:

(1)Canny检测边缘，发现圆心，圆心一定是在圆上的每个点的模向量上,这些圆上点模向量的交点就是圆心(x₀,y₀)。

(2)从候选圆心开始计算最佳半径大小。根据所有候选中心的边缘非0像素对其的支持程度来确定半径，根据圆心计算出最佳半径r；

S1.3.提取目标轮廓并得到初始边缘图像，根据S1.2步骤求出的圆心和半径计算圆上所有点的坐标,用math.radians()函数将弧度制转换为角度制，便于坐标的计算。圆上所有点坐标集合即为果实特征区域初始边缘，将得出的边缘点保存在列表contours_g中。引入公式：

x₁＝x₀+r*cosθ

y₁＝y₀+r*sinθ

该方法以果实近似于圆形为前提，利用霍夫变换圆检测成功解决了传统方法中存在的问题，即灰度图二值化后检测初始边缘时，果实阴影部分的背景也选取到的问题，该技术正确的找到了果实选区，有效地完成了图像初始边缘的检测。

步骤二，将得到的初始边缘作为前置条件，用改进型智能剪刀算法自动寻找图像中的果实关键特征区域，代替手动图像边缘路径圈索方法，如图1中详细步骤所示，具体操作如下：

S2.1.建立权重图，计算图像区域耗费值，提取图像的边界。调用智能剪刀Intelligent-Scissors包中的Scissors类，实例化类即计算出一个权重图。scissors＝Scissors(img_rgb,use_dynamic_features＝False)。

S2.2.初始化临时保存路径的列表list_a、list_b，路径计数器列表list_cou，最终边界列表list_contours。上述列表均为空。

S2.3.开始对contours_g进行迭代。获取contours_g中第s个元素，此元素为一个长度为2列表，其代表着一个像素坐标，将此坐标保存为种子点seed_x,seed_y，即seed_x,seed_y＝contours_g[s]。获取contours_g中第k个元素，将此坐标保存为自由点free_x,free_y，即free_x,free_y＝contours_g[k]。不失一般性，选取初始s＝1,k＝2作为算法初始的索引。

S2.4.调用Scissors类的方法scissors.find_path(seed_x,seed_y,free_x,free_y)，获取点seed_x,seed_y到点free_x、free_y的路径，保存为列表list_a。

S2.5.将索引向前移动一位，即k：＝k+1，其中：＝为赋值符号。

S2.6.获取contours_g中新的第k个元素，将此坐标保存为新的自由点free_x、free_y，即free_x,free_y＝contours_g[k]。调用同步骤S2.4的方法，获取点seed_x,seed_y到新的点free_x、free_y的路径，保存为列表list_b。

S2.7.比较路径列表list_a、list_b，将列表按位相与，其结果保存为list_d,即list_a&list_b＝list_d。此时，路径列表list_a与路径列表list_b相同的元素，在list_d中对应的位置上为1，反之为0。

S2.8.i、j为索引，为修改路径计数器数列list_cou，循环迭代list_d，将重合的路径点所对应的计数器元素，即若list_d[i]＝1，则list_cou[i]：＝list_cou[i]+1。从第一个不重合点开始，后面的路径list_cou对应若干个元素list_cou[j]＝0。

S2.9.l为索引，迭代判断路径计数器数列list_cou，将大于阈值N的路径视为冻结路径，并将所述冻结路径对应的元素从list_b中出队，入队最终边界列表list_contours。即当list_cou[l]<＝N，则有y,x＝list_b.pop(0)，list_contours.append([seed_y,seed_x])。将路径计数器数列list_cou、路径数列list_b中的已经冻结的数值丢弃，即list_cou[l]＝list_cou[l+1]，list_b[l]＝list_b[l+1]。

S3.0.重新选取种子点。新种子点为list_b中最后一个出队的点，即seed_x,seed_y＝y,x。

进一步的，将索引向前移动一位，即k：＝k+1，list_a＝list_b。判断寻路是否结束，若contours_g还未迭代结束，则返回第S2.5步；否则将零时路径列表list_b中的所有元素全部加入最终边界列表list_contours中。最终，列表list_contours是目标边缘。

步骤三，测定与果实采收成熟度相关的指标值，进行归一化处理，通过熵值法计算各指标的权重，获得果实成熟度量化评估值。

S3.1.由于色彩空间法得到果皮颜色是非线性的变化(从黄色变到紫红色)，且每个果实的果皮颜色分布不均衡。因此使用HSV色彩空间方法提取步骤二中的选区颜色值，并取果实在HSV上每个分量的均值，随后对各时期的果皮颜色进行聚类分析，绘制其三维散点图。如图2所示，从图中得到H(色调)分量聚类效果最好，本申请通过H分量将各成熟期的果皮颜色划分为4个层次，即乳黄色H区间为[15,25]，淡红色H区间为[0,15]，红色H区间为[60,140]，紫红色H区间为[175,200]。

S3.2.本申请从大连市农科院获得了100条数据样本，根据数据各指标变量的离散程度，使用熵值法计算出各指标的权重，果实各指标的权重图如图3所示，果皮颜色的权重值为34.31％，糖度的权重值为24.79％，单果重的权重值为23.74％，果直径的权重值为17.27％。可以看出，果皮颜色对采收的综合评估影响最大。权重值为果实采收成熟度综合评估提供依据。

进一步，根据各指标变量值的离散程度，使用熵值法计算出各指标的权重，为采收果实成熟度的综合评估提供了依据，离散程度越大，则该指标对综合评估的影响越大。

S3.3.通过100组数据中发现各指标在一定范围内变化，糖度的变化范围为12％～21％，单果重的变化范围为5g～11g，果径的变化范围为15mm～30mm。当果皮颜色变到紫红色，其H分量区间为[175,200]，单果重达到[9,11]，果径达到[25,30]时，果实外观品质最佳，当甜度达到[16,21]时，果实口感最佳。依据各项指标变化范围将甜度、单果重、果径等变量数据进行归一化处理，如果测定的果实值超出变化范围将取其最大值或最小值，使其变量范围在[0,1]之间表示，把四个指标变量设定为L₁、L₂、L₃、L₄，结合步骤S3.2.中的权重值，可得果实成熟度为：

Maturity＝34.21％*L₁+24.79％*L₂+23.74％*L₃+17.27％*L₄

不同成熟期对应的果实成熟度不同，随着果实的发育，各指标都不断的变化。Maturity的值在[0.9,1]时，成熟期达到最大值，果实口感最佳，故视为宜采收成熟度。

本申请的检测效果对比如图3所示，其中a用于轮廓检测的原图，b是灰度图二值化后使用改进型智能剪刀算法的结果，c是实施本发明方法获得的结果图。可以看出，本发明检测到的边缘更贴合实际边界，更加准确的检测到樱桃区域，进而精确提取果实平均色彩，检测效率大大提升。

综上可得，本发明可以在光照环境造成的阴影区域的干扰下有效的获取果实关键特征区，在边缘检测、感兴趣区域分割等方面给出智能化高准确率操作方法，相比霍夫变换圆检测得到的果实边缘与实际边缘更为贴近，提取的果皮颜色值更精准。为农户采收成熟度提供了一种数值化的评估方法，避免错过果实的最佳贮藏期及货架期，为樱桃产业化发展提供采收评估技术保障。

本发明的实施例有较佳的实施性，并非是对本发明任何形式的限定。本发明实施例中描述的技术特征或技术特征的组合不应当被认为是孤立的，它们可以被互相组合从而达到更好的技术效果。本发明优选实施方式的范围也可以包括另外的实现，且这应被发明实施例所属技术领域的技术人员所理解。

Claims (2)

1.一种果实采收成熟度加权评估方法，其特征在于，包括：

通过霍夫圆检测方法寻找图像中果实初始边缘；

基于改进型智能剪刀算法寻找图像中果实关键特征区域；

测定与果实采收成熟度相关的指标值，并通过熵值法获取各指标的权重，进而对果实成熟度进行评估；

基于改进型智能剪刀算法寻找图像中果实关键特征区域，具体包括：

S21.建立权重图，得到果实彩色图像区域耗费值，从而提取果实彩色图像边界；

S22.基于所述权重图，去寻找初始点和自由点之间的路径：选取s＝1，k＝2作为初始的索引，s为集合C中第s个元素，k为集合C中第k个元素，设初始路径计数器数列，如下：

c_n＝0，n＝1，2，3，4...

设初始最终路径点集合，如下：

S23.从所述初始边缘集合中选取一个点p_s作为种子点，记为

p_seed＝p_s，p_seed∈C

从智能剪刀算法里的种子点p_seed邻域内取一点p_k作为自由点，记为：

p_free＝p_k，p_free∈C∩N₄(p_seed)，p_s∈C，

其中，N₄(p_seed)为像素4临域；

S24.通过种子点p_seed，自由点p_free的坐标(x_seed，y_seed)，(x_free，y_free)在权重图上定位两个节点，使用Dijkstra算法，得出种子点p_seed至自由点p_free在权重图上的最短路径，此路径即为种子点p_seed至自由点p_free的感兴趣区域边界段，记为数列{a_n}；

S25.将索引k向前移动一位，即

k:＝k+1

S26.从初始边缘集合C中取出第k个元素作为新的自由点，即

p_free＝p_k，p_free∈C∩N₄(p_seed)

同步骤S24，获取种子点p_seed至新的自由点p_free的路径，记为{b_n}；

S27.比较路径{a_n}和{b_n}，将路径上的点按位相与，则有数列{d_n}

d_n＝a_n∧b_n，n＝1，2，3，4...

此时，若在路径第n个点上a_n＝b_n，则有d_n＝1，否则为d_n＝0；

S28.将重合的路径点所对应的路径计数器加1，从第一个不重合点开始，后面的路径对应点路径计数器置0；即设g、h、m为数列的索引，如下

且/>

则有

c_h:＝c_h+1，c_m＝0 m≥g

其中，d_g、d_h为数列{d_n}中的元素，c_h、c_m为数列{c_n}中的元素；

S29.判断路径计数器数列{c_n}，将大于阈值N的路径设为冻结路径，并将所述冻结路径加入最终路径点集合，然后重新选取种子点；即设i、j、l为数列的索引，如下：

则有

C_end：＝C_end∪{p|p is the term of n＝j in{b_n}}

其中，c_j，c_l为数列{c_n}中的元素；

此时最终路径点集C_end中包含了已冻结路径点；选取新的种子点为p_seed＝p_i，p_seed∈C

将路径计数器数列{c_n}、路径数列{b_n}中对应的已冻结路径的数值丢弃，并将未冻结的数值重新排列至前方，即

c_n：＝c_n+i

b_n：＝b_n+i

S30.将索引k向前移动一位，并重设临时路径数列，即

k：＝k+1

{a_n}：＝{b_n}

判断寻路是否结束，若寻路继续，返回第S25步；若/>寻路结束，此时需要将路径数列{b_n}中剩余路径加入到最终边界点集C_end中，即

C_end：＝C_end∪{p|p is the term in{b_n}}

最终，点集C_end即为目标边界点集；

建立权重图，具体为：从一个像素点p到另外一个像素点q的局部代价l(p，q)公式如下：

I(p，q)＝ω_Z·f_Z(q)+ω_D·f_D(p，q)+ω_GT·f_G(q)

其中ω_Z、ω_D、ω_G表示权值，f_z表示拉普拉斯过零点代价，采用拉普拉斯过零点特征是为了确保像素节点位于边缘点上；f_G是像素在x和y方向上的梯度，当有较大的梯度值时，说明图像存在边缘；f_D是梯度方向代价，当两个像素具有相似的梯度方向，但是该方向和它们之间的连接方向接近垂直时给予高代价；当两个像素具有相似的梯度方向且和它们之间的连接方向一致时，给予低代价；

将计算权重后的权重图记为矩阵A，

A_pq＝I(p，q)；

测定与果实采收成熟度相关的指标值，并通过熵值法获取各指标的权重，进而对果实成熟度进行评估，具体包括：

利用HSV色彩空间提取目标边界点集构成的选区颜色值，得出每个成熟期果皮不同的颜色值；

测定单果重、果径以及甜度指标变量；

使用t条数据样本，将果皮颜色数据、果实甜度数据、果实重量数据、果径大小数据，用t*4的矩阵表示如下：

M＝[X₁…X₄]

将矩阵中的数据归一化处理，X_ij表示矩阵M的第i行j列数据：

第i个数据占第j项指标的比重为：

得到各个指标的信息熵：

即得到果皮颜色信息熵e₁、果实甜度信息熵e₂、果实重量信息熵e₃、果径大小信息熵e₄，则由熵值法计算的各指标权重为：

即得到的果皮颜色权重值、果实甜度权重值、单果重量权重值、果径大小权重值分别为W₁、W₂、W₃、W₄；其中果皮颜色采用三维散点图的方法进行划分，得到果皮颜色变量等级；

将测定的果实重量数据、果径大小数据、果实甜度数据进行归一化处理，使其变量范围在[0,1]之间表示，把果皮颜色、果实甜度、果实重量、果径大小四个指标变量设定为L₁、L₂、L₃、L₄，根据所求权重值对果实采收成熟度进行综合评估，引入加权公式：

Maturity＝W₁*L₁+W₂*L₂+W₃*L₃+W₄*L₄

Maturity的值在[0.9,1]时，成熟期达到最大值，果实口感最佳，故视为宜采收成熟度。

2.根据权利要求1所述一种果实采收成熟度加权评估方法，其特征在于，所述通过霍夫圆检测方法寻找图像中果实初始边缘，具体包括：

利用高斯滤波对图像模糊降噪，并将降噪后的果实彩色图像转换为灰度图；

所述灰度图基于图像梯度法实现霍夫变换圆检测，得到果实边缘，找到圆心(x₀,y₀)，根据圆心获取出最佳半径r；

通过所述圆心(x₀,y₀)和最佳半径r计算圆上所有点的坐标,引入公式：

x₁＝x₀+r*cosθ

y₁＝y₀+r*sinθ

x₁、y₁分别是圆上某点的横坐标、纵坐标，θ为圆上某点与x轴形成的角度；圆上所有点的坐标即为果实特征区域初始边缘，获取的初始边缘集合为C＝{p|p in contour ofBinarized image}，p为(x₁，y₁)处的像素。