CN110853080A - 一种田间果实尺寸的测量方法 - Google Patents

Abstract

本发明涉及果实测量领域，具体公开了一种田间果实尺寸的测量方法，包括：采集多张果实照片，将多张果实照片输入深度学习神经网络学习，获取各种果实识别模型及果实参数；利用深度相机实时获取待测果实的光学图像和深度图像，将光学图像和深度图像配准对齐生成深度图像数据；将光学图像输入果实识别模型识别出果实及对应的果实参数，对识别出的果实进行逐一编号；将识别到的果实边界内的深度图像数据进行平均距离计算以获取果实的实际距离，再将果实的像素直径映射到相机坐标系中获取果实直径，根据果实直径结合实际距离获取所述果实的面积，该方法操作简单，快捷高效。

Description

一种田间果实尺寸的测量方法

技术领域

本发明属于果实智能测量领域，特别涉及一种田间果实尺寸的测量方法。

背景技术

在种植生产过程中，果实的大小很大程度上反映着收成和产量，也是衡量果品的重要标准。对果实尺寸进行测量，可以实时评估作物生长发育情况，以便及时调整施肥和农药用量，并采取相应的控制措施，实现对作物收成有效管控。

目前常用的测量方法接触式测量和非接触式测量，大致可为下列几种方式：

人工测量：通过使用刻度尺、游标卡尺、分级卡尺等工具，对作物果实进行在线测量，但人工测量效率低，工作量大，人工成本高。

传感器测量：果实由传送带输送，经过尺寸测量传感器时对果实进行逐一测量，单传感器测量需要采摘后过机测量，不能实时测量和监控。

双目相机拍照测量：使用双目相机对作物上的果实进行拍照，通过图像分析的方法识别出果实区域，再结合相机拍摄的图片进行3D建模，通过距离与果实区域计算出果实尺寸，设备成本高、软件算法复杂，且极易受到光线和视角的影响，不利于测量工作的开展。

发明内容

本发明的目的在于提供一种田间果实尺寸的测量方法，其操作简单，能够实现高效在线测量，从而解决现有测量方法效率低、不能实时测量及成本高的问题。

为实现上述目的，本发明提供了一种田间果实尺寸的测量方法，包括：

S1，采集多张果实照片，将多张所述果实照片输入深度学习神经网络学习，获取各种果实识别模型及果实参数；

S2，利用深度相机实时获取待测果实的光学图像和深度图像，将所述光学图像和深度图像配准对齐生成深度图像数据；

S3，将所述光学图像输入果实识别模型识别出果实及对应的果实参数，对识别出的果实进行逐一编号；

S4，将识别到的果实边界内的深度图像数据进行平均距离计算以获取果实的实际距离，再将果实的像素直径映射到相机坐标系中获取果实直径，根据所述果实直径结合所述实际距离获取所述果实的面积。

优选的，上述技术方案中，所述果实参数包括果实品类、像素区域及果实直径。

优选的，上述技术方案中，步骤S2中，还包括对相机系统标定与配准。

优选的，上述技术方案中，根据光学-深度相机已知的内外参数，分别按以下步骤对两个相机标定和配准操作：

S41，由内参数据得到相机焦距f，以及原点像素坐标(u⁰,v⁰)，建立像素坐标系(u,v)；

S42，图像坐标系(x,y)映射到像素坐标系(u,v)：设d_x和d_y分别表示成像屏幕上每个像素点x和y方向上的物理尺寸，则图像坐标系上的点与像素坐标系的对应关系为：

用矩阵描述如下：

S43，相机坐标系(X,Y,Z)映射到图像坐标系(x,y)：相机坐标系以相机光心O为原点，X轴和Y轴分别于图像坐标系x轴和y轴平行，Z为相机光轴，与图像屏幕垂直，原点O与图像平面的垂直距离为焦距f。设定空间中点P(X_c,Y_c,Z_c)在图像平面上的投影为点p(x,y,f)，根据针孔相机模型：

用矩阵描述如下：

S44，像素坐标系(u,v)映射到相机坐标系(X,Y,Z)：由步骤S42和步骤S43可得：

经过等价变化后：

因此像素坐标系到相机坐标系的变换为：

其中CR为S41得到的相机内参矩阵，设深度相机的像素坐标系为(u_s，v_s)，相机坐标系为(X_s，Y_s，Z_s)，光学相机的像素坐标系和相机坐标系分别为(u_G，V_G)和(X_G，Y_G，Z_G)，可得深度相机和光学相机的坐标系变换公式：

S45，深度相机坐标系映射到光学相机坐标系：

其中M为4*4变换矩阵，为两个相机的光心外参矩阵，包含平移和旋转矩阵；

S46，深度相机像素坐标系映射到光学相机像素坐标系：

将(1)(2)式代入(3)式：

由于目标与两相机的距离近似相等，Z_S≈Z_G，可将上式简化：

其中W为4*4变换矩阵。

优选的，上述技术方案中，步骤S4具体包括

S51，获取果实区域在u、v轴方向的像素直径L_u和L_v，由光学相机内参计算果实在成像平面上x、y轴上的投影尺寸：

L_x＝L_u*d_x

L_y＝L_v*d_y；

S52，获取果实中心点像素坐标(u_n,v_n)，由三角余弦定理计算(u_n,v_n)到相机原点O的距离f_n：

S53，获取果实区域的平均距离M_n，根据三角形相似原理计算果实x、y轴方向的尺寸：

由此，可得果实x、y方向上的尺寸。

与现有的技术相比，本发明的田间果实尺寸的测量方法，建立果实分类模型实时获取果实类别，利用深度相机结合RGB-D图像数据实时计算果实的相关参数，从而获取果实的相关数据，该方法操作简单，快捷高效。

附图说明

图1是根据本发明的田间果实尺寸的测量方法的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1所示，该实施例中的田间果实尺寸的测量方法，包括：

步骤S1，采集多张果实照片，利用labelimg标注工具对获取的果实照片中的不同果类进行标注和分类，框出图片中的果实，再将训练集中的数据GoogleNet深度神经网络提取图片的特征信息，然后预测图片的所属分类，经多次迭代后生成网络参数，由此可获得各种果实识别模型及果实参数，果实参数包括果实品类、像素区域及果实直径。

步骤S2，利用深度相机实时获取待测果实的光学图像和深度图像，将光学图像和深度图像配准对齐生成深度图像数据。

步骤S3，将光学图像输入果实识别模型识别出果实及对应的果实参数，对识别出的果实进行逐一编号。

步骤S4，将识别到的果实边界内的深度图像数据进行平均距离计算以获取果实的实际距离，再将果实的像素直径映射到相机坐标系中获取果实直径，根据果实直径结合实际距离获取所述果实的面积。

步骤S2中，还包括对相机系统标定与配准，具体的，根据光学-深度相机已知的内外参数，分别按以下步骤对两个相机标定和配准操作：

步骤S21，由内参数据得到相机焦距f，以及原点像素坐标(u⁰,v⁰)，建立像素坐标系(u,v)；

步骤S22，图像坐标系(x,y)映射到像素坐标系(u,v)：设d_x和d_y分别表示成像屏幕上每个像素点x和y方向上的物理尺寸，则图像坐标系上的点与像素坐标系的对应关系为：

用矩阵描述如下：

步骤S23，相机坐标系(X,Y,Z)映射到图像坐标系(x,y)：相机坐标系以相机光心O为原点，X轴和Y轴分别于图像坐标系x轴和y轴平行，Z为相机光轴，与图像屏幕垂直，原点O与图像平面的垂直距离为焦距f。设定空间中点P(X_c,Y_c,Z_c)在图像平面上的投影为点p(x,y,f)，根据针孔相机模型：

用矩阵描述如下：

步骤S24，像素坐标系(u,v)映射到相机坐标系(X,Y,Z)：由步骤S22和步骤S23可得：

经过等价变化后：

因此像素坐标系到相机坐标系的变换为：

其中CR为S21得到的相机内参矩阵，设深度相机的像素坐标系为(u_s，v_s)，相机坐标系为(X_s，Y_s，Z_s)，光学相机的像素坐标系和相机坐标系分别为(u_G，V_G)和(X_G，Y_G，Z_G)，可得深度相机和光学相机的坐标系变换公式：

步骤S25，深度相机坐标系映射到光学相机坐标系：

其中M为4*4变换矩阵，为两个相机的光心外参矩阵，包含平移和旋转矩阵；

步骤S26，深度相机像素坐标系映射到光学相机像素坐标系：

将(1)(2)式代入(3)式：

由于目标与两相机的距离近似相等，Z_S≈Z_G，可将上式简化：

其中W为4*4变换矩阵。

更进一步，步骤S4具体包括

S51，获取果实区域在u、v轴方向的像素直径L_u和L_v，由光学相机内参计算果实在成像平面上x、y轴上的投影尺寸：

L_x＝L_u*d_x

L_y＝L_v*d_y；

S52，获取果实中心点像素坐标(u_n,v_n)，由三角余弦定理计算(u_n,v_n)到相机原点O的距离f_n：

S53，获取果实区域的平均距离M_n，根据三角形相似原理计算果实x、y轴方向的尺寸：

由此，可得果实x、y方向上的尺寸。正常情况下球形果实可通过圆形面积公式

计算果实面积，不规则边缘果实面积可通过积分公式计算：

其中f(x)是横坐标为x时对应y方向上的果实尺寸，[a,b]为果实x方向上的区间范围。

与现有的技术相比，本发明的田间果实尺寸的测量方法，建立果实分类模型实时获取果实类别，利用深度相机结合RGB-D图像数据实时计算果实的相关参数，从而获取果实的相关数据，该方法操作简单，快捷高效。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (5)

1.一种田间果实尺寸的测量方法，其特征在于，包括：

S1，采集多张果实照片，将多张所述果实照片输入深度学习神经网络学习，获取各种果实识别模型及果实参数；

S2，利用深度相机实时获取待测果实的光学图像和深度图像，将所述光学图像和深度图像配准对齐生成深度图像数据；

S3，将所述光学图像输入果实识别模型识别出果实及对应的果实参数，对识别出的果实进行逐一编号；

S4，将识别到的果实边界内的深度图像数据进行平均距离计算以获取果实的实际距离，再将果实的像素直径映射到相机坐标系中获取果实直径，根据所述果实直径结合所述实际距离获取所述果实的面积。

2.根据权利要求1所述的田间果实尺寸的测量方法，其特征在于，所述果实参数包括果实品类、像素区域及果实直径。

3.根据权利要求1所述的田间果实尺寸的测量方法，其特征在于，步骤S2中，还包括对相机系统标定与配准。

4.根据权利要求3所述的田间果实尺寸的测量方法，其特征在于，根据光学-深度相机已知的内外参数，分别按以下步骤对两个相机标定和配准操作：

S41，由内参数据得到相机焦距f，以及原点像素坐标(u⁰,v⁰)，建立像素坐标系(u,v)；

S42，图像坐标系(x,y)映射到像素坐标系(u,v)：设d_x和d_y分别表示成像屏幕上每个像素点x和y方向上的物理尺寸，则图像坐标系上的点与像素坐标系的对应关系为：

用矩阵描述如下：

S43，相机坐标系(X,Y,Z)映射到图像坐标系(x,y)：相机坐标系以相机光心O为原点，X轴和Y轴分别于图像坐标系x轴和y轴平行，Z为相机光轴，与图像屏幕垂直，原点O与图像平面的垂直距离为焦距f。设定空间中点P(X_c,Y_c,Z_c)在图像平面上的投影为点p(x,y,f)，根据针孔相机模型：

用矩阵描述如下：

S44，像素坐标系(u,v)映射到相机坐标系(X,Y,Z)：由步骤S42和步骤S43可得：

经过等价变化后：

因此像素坐标系到相机坐标系的变换为：

其中CR为S41得到的相机内参矩阵，设深度相机的像素坐标系为(u_s，v_s)，相机坐标系为(X_s，Y_s，Z_s)，光学相机的像素坐标系和相机坐标系分别为(u_G，V_G)和(X_G，Y_G，Z_G)，可得深度相机和光学相机的坐标系变换公式：

S45，深度相机坐标系映射到光学相机坐标系：

其中M为4*4变换矩阵，为两个相机的光心外参矩阵，包含平移和旋转矩阵；

S46，深度相机像素坐标系映射到光学相机像素坐标系：

将(1)(2)式代入(3)式：

由于目标与两相机的距离近似相等，Z_S≈Z_G，可将上式简化：

W＝M*GR*SR^-1

其中W为4*4变换矩阵。

5.根据权利要求1所述的田间果实尺寸的测量方法，其特征在于，步骤S4具体包括

S51，获取果实区域在u、v轴方向的像素直径L_u和L_v，由光学相机内参计算果实在成像平面上x、y轴上的投影尺寸：

L_x＝L_u*d_x

L_y＝L_v*d_y；

S52，获取果实中心点像素坐标(u_n,v_n)，由三角余弦定理计算(u_n,v_n)到相机原点O的距离f_n：

S53，获取果实区域的平均距离M_n，根据三角形相似原理计算果实x、y轴方向的尺寸：

由此，可得果实x、y方向上的尺寸。

Images