CN112233121A

CN112233121A - 一种基于双目空间定位和智能分割的果实产量估算方法

Info

Publication number: CN112233121A
Application number: CN202011109204.0A
Authority: CN
Inventors: 史云; 李会宾; 吴文斌; 段玉林; 张保辉; 赵立成
Original assignee: Institute of Agricultural Resources and Regional Planning of CAAS
Current assignee: Institute of Agricultural Resources and Regional Planning of CAAS
Priority date: 2020-10-16
Filing date: 2020-10-16
Publication date: 2021-01-15

Abstract

本发明提出一种基于双目空间定位和智能分割的果实产量估算方法，包括：S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；S3，分割图像中的果实；S4，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。本发明的方法能够在密植果园的场景内很好的估计果实产量。

Description

一种基于双目空间定位和智能分割的果实产量估算方法

技术领域

本发明涉及机器人技术领域，更具体地，涉及一种基于视觉和激光测距的果实定位方法。

背景技术

水果产量估算是果园管理中的一项重要工作，精确的产量估计有助于种植者提高水果质量，并能够更好地决定疏果的强度和收获劳动力的规模，以此来降低运营成本。这也有利于包装行业，因为管理者可以使用评估结果来优化包装和存储的容量规划。同时提前预知果园的产量可以帮助农民提前规划水果预售订单，辅助农民获取良好的收益。目前基于人工采样的产量估计是耗时、劳力密集且不准确的；单一通过检测水果的方法，可能会造成部分水果的重复检测，致使产量估算结果存在较大误差。

现有技术包括，论文《柑橘植株冠层营养及花量、产量的近地遥感估测研究》提供了一种基于无人机遥感的柑橘植株产量估测方法。该方法利用八旋翼无人机搭载的多光谱成像仪，分别在花芽生理分化期、休眠期和盛花期采集植株冠层光谱遥感信息，同时采集冠层叶片进行营养元素含量的测定，并调查统计试验区域单株的花量和产量。运用光谱遥感图像处理和数理统计分析等技术，分别以植被指数、原始光谱为自变量，建立单株产量的PLS、PCR、LS-SVM估测模型进行估产研究，最终确定单株产量估测的最佳时期仍是休眠期，以冠层植被指数为自变量所建的LS-SVM模型的预测效果最优。该技术方案利用冠层植被指数为自变量所建的LS-SVM模型，容易受到大气、环境光照、温度的影响，极易造成估产发生较大的误差，同时该方法利用多光谱相机作为主要估产传感器，也会造成过估产成本较高。

论文“Automated Crop Yield Estimation for Apple Orchards”提供了一种果园机器人的视觉导航方法。该方法首先构建了一套GPS定位和双目相机相融合的系统，该算法使用首先读取系统采集到的彩色图像，去除失真。然后，它利用视觉线索来检测图像中红色或绿色苹果的区域。最后，利用形态学方法将苹果区域转化为图像中的苹果计数。该技术方案虽然利用双目相机和人工灯光辅助在晚上能检测出红绿苹果，但是果实检测能力低，对于相同行两侧相同的水果也存在重复检测的现象，同时也对遮挡的水果检测能力不足，这些因素最终会给估产带来较大偏差。

发明内容

本发明针对在密植果园的场景，出现果实产量无法被较好估计的问题，提供了一种基于双目空间定位和智能分割的果实产量估算方法。本发明保证了计算机、视觉传感器和定位传感器的数据相互融合，实现在果园这种半结构化环境下，自主完成果实估产作业。

为此，本发明提出一种基于双目空间定位和智能分割的果实产量估算方法，包括：S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；S3，分割图像中的果实；S4，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。

本发明的方法能够自动、快速和准确的进行产量估计。该方法中利用了双目相机、IMU和GPS数据，集成到一个移动平台上，实际作为果实图像数据采集的平台。采用双目相机进行图像采集，使用IMU和GPS数据融合，实现采集坐标的记录，并通过slam技术实现对果园的三维重建工作，通过深度学习实时识别图像中的果实，并且自动的计算果实在三维环境中的坐标和范围。本发明的方法也可以通过扫描每行果树的两侧，将相同的果实进行去重复操作，以保证了系统估计的准确性。该视觉方案，经济有效且成本较低，也符合现在智慧农业发展的需要。

本发明的有益效果还包括：

1、针对果园中利用多光谱遥感的方法估算产量的准确度，易受光照影响情况，本发明利用双目视觉构建了双目空间定位和智能分割相融合的方法，通过每个果实的精准识别和定位获取了较好的统计结果，满足在果园中精准预估产量的需求。

2、针对一般识别方法统计产量时候，果实被重复统计的情况，本发明加入了IMU、GPS和双目空间定位融合定位的方案，辅助双目视觉进行三维重建，并可以将二维识别的果实与三维空间相匹配，为每个果实找到精准的三维全局坐标，解决了果园中同一果实存在重复检测的难题，提高了果实产量估算的准确度。

附图说明

为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。

图1为本发明的定位方法的流程图。

图2为水果分割检测结果的示意图。

图3为全局坐标系下水果定位结果的示意图。

具体实施方式

下面参照附图描述本发明的实施方式，其中相同的部件用相同的附图标记表示。在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合。

S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，开始同步采集图像、位姿信息和物体姿态信息。

位姿采集装置为惯性测量单元IMU(Inertial measurement unit)，用于测量物体三轴姿态角(或角速率)以及加速度。所述定位装置为GPS传感器。

S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，即通过三维重建算法，实时构建出整个果园场景中所有事物的坐标，形成完整的果园场景。

S3，在双目空间定位的同时，分割图像中的果实，例如通过Mask RCNN算法。

S4，实时记录图像中已识别的果实像素投影到三维场景的位置，用于重复识别果实检测。

S5，保留所有果实在三维场景中的位置，并将相同或误差允许范围内相同的位置进行滤除，保留一个有效的果实位置，最终统计筛选后所有果实位置的数量，即为最终的果实数量。

更具体地，在步骤S1中，同步采集双目图像、IMU、RTK-GPS定位信息。双目图像用于之后智能分割算法对果实的分割和果园场景的三维重建。IMU和RTK-GPS定位信息通过卡尔曼滤波算法融合后得到精准的定位信息，用于实时确定相机在三维重建场景的精准位姿。

经过步骤S1，获取到了双目图像信息、RTK-GPS的经纬度信息和双目相机的位姿信息，定义双目图像为左图像imgL和右图像imgR，RTK-GPS经纬度分别为维度lat和精度lon，双目相机的6轴姿态为dirt。

在步骤S2中，进行实时双目空间定位，包括S21-S24。

S21，矫正双目图像。在获取左图像imgL和右图像imgR之后，由于双目相机获取的图像存在一定的畸变，所以根据相机标定的参数，可以通过FishEye模型的畸变校正算法和立体Bouguet矫正算法实现对左图像imgL和右图像imgR的矫正，获取的矫正图像为左矫正图像imgL_f和右矫正图像imgR_f。

S22，计算双目视差图。通过BM或SGM等立体匹配算法对左矫正图像imgL_f和右矫正图像imgR_f进行立体匹配，最终获取视差图img_disp。

S23，获取三维点云。根据视差图img_disp，可以根据公式(1)计算出坐标点的深度depth，然后根据公式(2)和(3)获取三维坐标点在世界坐标系中的X、Y坐标值，获取的三维坐标值为(X,Y，depth)。在公式(2)和(3)中，u₀、v₀、f_x和f_y为相机标定的内参，d代表视差图中的视差值。diff代表两个相机主点在x方向上的差距，(u,v)为像素的图像坐标。

depth＝f_x*baseline/(d+diff) (1)

X＝(u-u₀)*depth/f_x (2)

Y＝(v-v₀)*depth/f_y (3)

S24，根据相机的位姿，将三维点云转换到全局坐标系中。(1)从双目相机的初始位置开始，IMU和双目相机进行刚性连接，实时输出相机在x,y和z方向的旋转角度。(2)GPS-RTK的定位信息和双目相机也进行了刚性连接，能够实时输出双目相机的位置变化。(3)根据双目相机的角度和位置变化，由现在的相对三维坐标(X,Y，depth)可以计算出双目相机在全局坐标系的坐标。

R_xyz＝R_x(tha1)*R_y(tha2)*R_z(tha3) (7)

其中，R_x(tha1)，R_y(tha2)和R_z(tha3)为三维坐标点沿着x,y,z轴旋转的矩阵，UTM(lat,lon)是将经纬度转换为UTM坐标系下的坐标点，[X_g，Y_g，Z_g]^T为三维全局坐标。

经过步骤2，可以获取到果园三维场景中每个实物点的三维全局坐标。

在步骤S3中，将采集图像中的果实进行语义级别的分割，获取图像中各个果实的像素集合。可选地，可以利用Mask RCNN算法分割图像中的果实。具体地，步骤S3包括：S31，输入当前帧获取的图像，之后将整张图像输入CNN，进行特征提取。S32，用FPN生成建议窗口，每张图片生成N个建议窗口。S33，来把建议窗口映射到CNN的最后一层卷积的特征图像上。S34，通过ROI Align层使每个ROI生成固定尺寸的Feature map，S35，利用全连接分类即对每一个ROI使用设计的FCN框架进行预测不同的实例所属分类，最终得到图像实例分割结果。

在步骤S4中，记录果实像素的三维全局坐标。步骤S4包括S41-S42。

S41，通过步骤S2获取的当前帧的全局三维点云集，用Ptcloud_global(x,y,z)表示,通过步骤S3获取的果实像素集合使用ROI(x,y)表示。将果实中的像素匹配到三维的环境中，获取果实像素在三维场景中的全局坐标。将果实中的像素转换到三维场景中的计算方法与步骤S2相同，最终获取每个果实像素的三维全局坐标集合Ptcloud_fruit(i)，i代表果实的序号。

S42，根据果实像素的三维全局坐标集合计算果实的三维全局坐标。每个果实是由双目相机通过侧边拍摄得到的，所以只能获取果实的单侧的像素。由于统计果园果实产量时候，需要对果树的两侧都进行图像采集，来统计整棵树的果实产量，这会导致某些在两侧都能看到的果实会被重复检测，所以需要对检测的每个果实进行全局三维坐标标定，全局标定的好处是，即使单个果实被重复检测，当该果实只能具备一个全局三维坐标，这有效的防止了果实被重复检测的问题。

本发明设定常见的果实模型为圆球形状，利用球体拟合的方法来计算果实的大小和中心位置,空间球形的方程如公式(9)所示：

(x-a)²+(y-b)²+(z-c)²＝R² (9)

将公式(9)展开可得公式(10)：

x²+y²+z²-Ax-By-Cz+D＝0 (10)

由矩阵法可得：

其中R代表球体的半径，其中(A,B,C)为球心坐标，即拟定为果实的中心三维全局坐标。

经过步骤4，可以将采集图像中的果实在三维点云中的全局坐标。

在步骤S5中，去除重复果实，获取最终果实数量。包括S51-S52。

S51，检测到所有果实的三维全局坐标中，会有一些果实会存在被重复检测的问题，为了得到唯一的果实位置，需要进行去重复操作。本发明对检测的所有果实的三维全局坐标构建kd-tree结构，通过在果实大小范围内，邻域搜寻的方法来判定是否会有坐标重叠，来确定是否存在重复的三维全局坐标。

S52，在构建完成kd-tree结构后，开始进行去重复操作。(1)对逐个坐标进行邻域搜索，搜索半径为该坐标对应的半径R，观察半径R的范围内会不会存在三维全局坐标，若存在，则记录全局坐标的编号，判定为重复果实的坐标，进行滤除操作。(2)经过全部坐标遍历后，则筛选出所有无重复的三维全局坐标，然后判定三维全局坐标的数量，即为全部果实的产量。

经过步骤5后，本发明已经寻找到了所有果实的三维全局坐标和数量。

本发明在果园环境内，通过实时构建每个果实的三维全局坐标，为检测到的果实提供了一个精准唯一性的空间参考。本发明利用智能果实分割算法，能够更加精准的分割出被遮挡、无遮挡和光照弱等情况的果实，提高了果实分割的精度。本发明通过对所有果实的三维全局坐标构建kd-tree结构，利用果实的半径实现对果实邻域的搜索，可以快速的移除重复的三维全局坐标，保证果实数量准确性。

图2-3显示了一个模拟实例。图2是基于mask-rcnn的苹果分割结果，图3位基于双目视觉的空间定位结果，根据无重复的水果三维全局坐标的数量确定出水果的数量，达到了果园水果精准计数的效果。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims

1.一种基于双目空间定位和智能分割的果实产量估算方法，其特征在于，包括：

S1，将双目相机、位姿采集装置和定位装置安装在一起，相互进行位置标定，在果园中按照设定的路径，同步采集图像、位姿信息和物体姿态信息；

S2，通过采集的图像、位姿信息和位置信息，开始双目空间定位，构建出整个果园场景中所有事物的坐标，形成完整的果园场景；

S3，分割图像中的果实；

S4，记录图像中已识别的果实像素投影到三维场景的位置，统计果实数量。

2.根据权利要求1所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，还包括：

在步骤S1中，获取的双目图像信息包括左图像imgL和右图像imgR，RTK-GPS的维度lat和精度lon和双目相机的6轴姿态信息dirt。

3.根据权利要求2所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S24包括：

步骤S2中包括：

S21，矫正双目图像；

S22，通过立体匹配算法计算双目视差图，获得视差图img_disp；

S23，根据所述视差图img_disp获得场景中每个实物点的三维点云；

S24，根据相机的位姿，将所述三维点云转换到全局坐标系中。

4.根据权利要求3所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S24包括：

1)从双目相机的初始位置开始，位姿采集装置和双目相机进行刚性连接，实时输出相机在x,y和z方向的旋转角度；

2)和定位装置的定位信息和双目相机也进行刚性连接，实时输出双目相机的位置变化；

3)根据双目相机的角度和位置变化，由现在的相对三维坐标计算出双目相机在全局坐标系的坐标。

5.根据权利要求1所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，

在步骤S3中，将采集图像中的果实进行语义级别的分割，获取图像中各个果实的像素集合。

6.根据权利要求1所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S4包括：

S41，将果实中的像素匹配到三维的环境中，获取果实像素在三维场景中的全局坐标；

S42，根据果实像素的三维全局坐标集合计算果实的三维全局坐标；

S43，统计果实数量。

7.根据权利要求6所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，还包括：

S5，保留所有果实在三维场景中的位置，并将相同或误差允许范围内相同的位置进行滤除，保留一个有效的果实位置，筛选所有果实位置的数量。

8.根据权利要求7所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S51包括：

S51，通过在果实大小范围内，邻域搜寻的方法来判定是否会有坐标重叠，来确定是否存在重复的三维全局坐标；

S52，开始进行去重复操作，来筛选所有果实位置的数量。

9.根据权利要求8所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，

在步骤S51中，对检测的所有果实的三维全局坐标构建kd-tree结构，来判定是否有坐标重叠。

10.根据权利要求9所述的基于双目空间定位和智能分割的果实产量估算方法，其特征在于，步骤S52包括：

1)对逐个坐标进行邻域搜索，搜索半径为该坐标对应的半径R，观察半径R的范围内会不会存在三维全局坐标，若存在，则记录全局坐标的编号，判定为重复果实的坐标，进行滤除操作；

2)全部坐标遍历后，筛选出所有无重复的三维全局坐标，然后判定三维全局坐标的数量为全部果实的产量。