CN112529948A - 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 - Google Patents

一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 Download PDF

Info

Publication number
CN112529948A
CN112529948A CN202011573075.0A CN202011573075A CN112529948A CN 112529948 A CN112529948 A CN 112529948A CN 202011573075 A CN202011573075 A CN 202011573075A CN 112529948 A CN112529948 A CN 112529948A
Authority
CN
China
Prior art keywords
pomegranate
rgb
mature
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011573075.0A
Other languages
English (en)
Inventor
胡春华
于涛
谢宇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN202011573075.0A priority Critical patent/CN112529948A/zh
Publication of CN112529948A publication Critical patent/CN112529948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Mask R‑CNN与3维球体拟合的成熟石榴定位方法，涉及农业机器人水果采摘定位领域，水果快速准确定位是采摘机器人实现准确采摘的前提。本发明采用Kinect V2.0采集石榴彩色图像RGB及深度图像D，首先对采集的彩色图像RGB采用Mask R‑CNN快速定位到成熟石榴的图片位置，然后根据成熟石榴的RGB图片分割出对应的深度图片，采用相机标定参数与旋转矩阵进行三维点云重建，最后对单个的成熟石榴点云数据采用基于最小二乘算法拟合球体的方式补全成熟石榴点云，获得完整的成熟石榴点云数据，并定位到目标石榴。该发明综合彩色图像RGB及深度图像D定位成熟石榴，克服了仅用RGB图像定位法的果实实际尺寸难获得的缺点，同时克服了多方位点云数据融合的复杂匹配过程，大大提高了水果定位的实时性与精度。

Description

一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法
技术领域
本发明涉及农业机器人水果采摘定位，特别涉及一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法。
背景技术
目前水果定位方法研究较多，主要采用彩色图像对水果进行分割，RGB与D图像对水果进行分割，或者采用激光点云数据对水果进行分割，这些方法具有明显不足：
(1)只采用2维RGB图像对水果进行分割，虽然在彩色图像中能实现较高的分割准确率，但是针对采摘的空间三维信息比较难实用；
(2)采用RGB与D结合的方法对水果进行分割，分割效率提高了，但是极少研究对水果进行补全，找到合适的中心坐标参数与几何尺寸；
(3)仅采用三维激光点云对水果进行分割识别与定位，但是激光点云设备比较昂贵且不便于作为机械臂的传感器。
发明内容
本发明的目的在为了解决以上技术问题，采用经济实用的Kinect v2作为采集设备，采用离线训练在线检测的方式对水果进行定位，主要研究内容：(1)对摄像机进行标定，获得摄像机内部参数与外部参数，对采集的彩色图像与深度图像进行配准对齐；(2)设计Mask R-CNN的网络结构，对待训练样本进行标注，训练网络结构；(3)在线检测成熟石榴，对检测到的成熟石榴进行三维重构；(4)采用最小二乘拟合球体方法补全成熟石榴点云，获得成熟石榴中心坐标参数以及几何尺寸。
本发明采用的具体技术方案如下：
一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，具体步骤如下：
步骤1，相机标定与配准，采用Kinect V2相机来获取温室大棚石榴的彩色与深度图像，为较好地融合RGB-D图像特征，采集图像数据之前需要校准RGB图像和深度图像D，使深度图像与彩色图像对齐。
步骤2，采集水果彩色图像数据与深度图像数据，将采集机械臂摄像头靠近石榴树冠层最外侧1米，启动图像数据采集程序，获取大量的彩色RGB图像与深度图像D，同时获取RGB-D融合图像保存在电脑里。
步骤3，Mask R-CNN训练，对采集的大量样本RGB-D融合图像的成熟石榴进行标注，然后设计Mask R-CNN的训练网络，对样本进行离线训练。
步骤4，Mask R-CNN检测成熟石榴，采用训练好的网络结构检测出成熟石榴的区域图像。
步骤5，对单个的成熟石榴水果彩色图像与对应的深度数据进行三维重构，重构出成熟石榴的三维点云。
步骤6，单个成熟石榴点云补全，对单个的成熟石榴点云数据采用3维球体拟合方式补全，获得整个成熟石榴的点云数据。
步骤7，成熟石榴位置定位，对补全后的成熟石榴点云进行中心位置坐标、半径的求取。
步骤8，机械臂运动并定位到成熟石榴位置，机械臂根据需要定位的成熟石榴中心位置带动水果夹定位到指定的位置。
步骤1.1：通过张定友相机标定方法获得的RGB图像的固有参数矩阵为Krgb，深度图像的固有参数矩阵为Kd。与相同的棋盘图像结合，获得的RGB图像的外部参数矩阵为Rrgb和Trgb，深度图像的外部参数矩阵为Rd和Td。
步骤1.2：彩色与深度相机的内参分别为Krgb，Kd。假设彩色图像的像素坐标为Prgb＝[Urgb，Vrgb，1]T，深度图像的非齐次像素坐标为Pd＝[Ud，Vd，1]T。然后，旋转矩阵R与平移矩阵T将深度图像坐标映射到RGB图像坐标的公式如下：
Figure BSA0000228859900000021
Figure BSA0000228859900000022
因此，深度图像的像素坐标与RGB图像的像素坐标之间的映射关系描述如下：
Prgb＝(R*Zd*Pd+T)/Zrgb
利用该公式，通过获取的深度图像的坐标值Pd和像素值Zd，以及记录距离Zrgb，来得到对应于点的映射的RGB图像坐标Prgb。
融合彩色与深度图像构建构建点云的公式为：
Figure BSA0000228859900000031
其中(xi，yi，zi)是像素i的三维坐标；(ui，vi)是像素i的像素坐标；D是深度图像；(Ux，Uy)是红外相机的像素坐标的主点坐标；fx，fy是红外相机的焦距。
步骤2.1：将采集的摄像头移动到距离树冠最外层距离为1米，启动采集程序，采集RGB彩色图像与深度图像D，同时保存对齐后的RGB与D的融合图像。移动采集平台，每一个方位采集100张图片，保存在电脑里，用于识别训练。
步骤3.1：采用VIA(VGG Image Annotator)对采集的大量图片进行成熟水果的标注，保存标注文件。设计网络结构，柱结构，骨架网络采用ResNet101-FPN，特征映射层采用5个阶段，分别为stage1，stage2，stage3，stage4及stage5，各自的输出层分别记为conv1，conv2，conv3，conv4及conv5。
步骤3.2：步骤3.1的5个输出层根据FPN产生了特征金字塔特征图，经过RPN产生多个特征推荐区域(region proposal)，经过ROI Align产生感兴趣区域。
步骤3.3：感兴趣区域经过全连接层网络产生目标区域框，并采用全卷积网络产生掩模Mask即为水果区域。
步骤4.1：采用训练好的网络对测试样本进行测试，分析网络检测的性能。同时采用在线方式实时采集不同方位的成熟石榴数据，分析在线检测性能。
步骤5.1：采用深度学习网络结构检测出的成熟石榴彩色图像并分割出对应位置的深度图像数据，根据权利要求2的步骤1.2计算出成熟石榴的三维点云。
步骤6.1：针对权利要求6重构的成熟石榴三维点云P，采用三位球体拟合点云的方式对点云进行拟合，设球体中心坐标为Pc(xc，yc，zc)，球体半径为R，权利要求6重构的点云P，Pi∈P，i＝1，2，3，...，N，N是拟合点云数，Pi(xi，yi，zi)，设点云Pi到目标中心Pc距离为di，则
di 2＝(xi-xc)2+(yi-yc)2+(zi-zc)2
目标函数
Figure BSA0000228859900000032
θ＝(xc，yc，zc，R)
拟合优化函数采用最小二乘法进行拟合。
步骤7.1：根据权利要求7拟合的θ＝(xc，yc，zc，R)，给出成熟石榴的重心坐标与半径。
步骤8.1：根据权利要求8获得的成熟石榴大小，驱动水果夹张开尺寸，根据权利要求8获得的中心坐标，驱动机械臂采摘的水果夹中心位置运动到该位置，夹取成熟石榴。
采用上述方案后，本发明本发明具有有益效果如下：
(1)经过Mask R-CNN训练后在线检测的水果仅包含成熟石榴区域，不包含任何背景信息，成熟石榴检测准确率为94％；
(2)采用三维重建方式能直接获取成熟石榴的三维空间信息，便于采摘机器人定位；
(3)通过补全方式获取的成熟石榴点云效果较好，定位精度较高，几何尺寸比较准确，与实际的几何尺寸比较分析，其RMSE等于0.0056m。
附图说明
图1离线训练与在线定位成熟石榴方法的基本流程框图；
图2机械臂采集与定位成熟石榴示意图；
图3 Mask R-CNN网络结构。
具体实施方式
步骤1，采用Kinect V2相机来获取温室大棚石榴的彩色与深度图像，如图2中的摄像头2安装在机械臂3前端，为较好地融合RGB-D图像特征，采集图像数据之前校准RGB图像和深度图像D，使深度图像与彩色图像对齐。
步骤1.1：通过张定友相机标定方法获得的RGB图像的固有参数矩阵为Krgb，深度图像的固有参数矩阵为Kd，与相同的棋盘图像结合，获得的RGB图像的外部参数矩阵为Rrgb和Trgb，深度图像的外部参数矩阵为Rd和Td。
步骤1.2：彩色与深度相机的内参分别为Krgb，Kd，假设彩色图像的像素坐标为Prgb＝[Urgb，Vrgb，1]T，深度图像的非齐次像素坐标为Pd＝[Ud，Vd，1]T，然后，旋转矩阵R与平移矩阵T将深度图像坐标映射到RGB图像坐标的公式如下：
Figure BSA0000228859900000041
Figure BSA0000228859900000051
因此，深度图像的像素坐标与RGB图像的像素坐标之间的映射关系描述如下：
Prgb＝(R*Zd*Pd+T)/Zrgb
利用该公式，通过获取的深度图像的坐标值Pd和像素值Zd，以及记录距离Zrgb，来得到对应于点的映射的RGB图像坐标Prgb。
融合彩色与深度图像构建构建点云的公式为：
Figure BSA0000228859900000052
其中(xi，yi，zi)是像素i的三维坐标；(ui，vi)是像素i的像素坐标；D是深度图像；(Ux，Uy)是红外相机的像素坐标的主点坐标；fx，fy是红外相机的焦距。
步骤2，采集水果彩色图像数据与深度图像数据，将安装带有摄像头的采集机械臂靠近石榴树冠层最外侧1米，如图2所示，相机2距离石榴树冠最外侧距离d＝1米，启动图像数据采集程序，获取大量的彩色RGB图像与深度图像D，同时获取RGB-D融合图像保存在电脑里。
步骤3，Mask R-CNN训练，对采集的大量样本RGB-D融合图像的成熟石榴进行标注，然后设计Mask R-CNN的训练网络，如图3所示，对样本进行离线训练。
步骤3.1：采用VIA(VGG Image Annotator)对采集的大量图片进行成熟水果的标注，保存标注文件。设计网络结构，柱结构，骨架网络采用ResNet101-FPN，特征映射层采用5个阶段，分别为stage1，stage2，stage3，stage4及stage5，各自的输出层分别记为conv1，conv2，conv3，conv4及conv5；
步骤3.2：步骤3.1的5个输出层根据FPN产生了特征金字塔特征图，经过RPN产生多个特征推荐区域(region proposal)，经过ROI Align产生感兴趣区域；
步骤3.3：感兴趣区域经过全连接层网络产生目标区域框，并采用全卷积网络产生掩模Mask即为成熟石榴区域。
步骤4，Mask R-CNN检测成熟石榴，采用训练好的网络结构检测出成熟石榴的区域图像。
步骤4.1：采用训练好的网络对测试样本进行测试，分析网络检测的性能。同时采用在线方式实时采集不同方位的成熟石榴数据，分析在线检测性能。
步骤5，对单个的成熟石榴水果彩色图像与对应的深度数据进行三维重构，重构出石榴的三维点云。
步骤5.1：采用深度学习网络结构检测出的成熟石榴彩色图像并分割出对应位置的深度图像数据，根据权利要求2的步骤1.2计算出成熟石榴的三维点云。
步骤6，单个成熟石榴点云补全，对单个的成熟石榴点云数据采用3维球体拟合方式补全，获得整个石榴的点云数据。
步骤6.1：针对权利要求6重构的成熟石榴三维点云P，采用三位球体拟合点云的方式对点云进行拟合，设球体中心坐标为Pc(xc，yc，zc)，球体半径为R，权利要求6重构的点云P，Pi∈P，i＝1，2，3，...，N，N是拟合点云数，Pi(xi，yi，zi)，设点云Pi到目标中心Pc距离为di，则
di 2＝(xi-xc)2+(yi-yc)2+(zi-zc)2
目标函数
Figure BSA0000228859900000061
θ＝(xc，yc，zc，R)
拟合优化函数采用最小二乘法进行拟合。
步骤7，石榴位置定位，对补全后的石榴点云进行中心位置坐标、长以及宽的求取。
步骤7.1：根据权利要求7拟合的θ＝(xc，yc，zc，R)，给出成熟石榴的重心坐标与半径。
步骤8，机械臂运动并定位到成熟石榴位置，机械臂根据目标成熟石榴中心位置带动水果夹定位到指定的位置。如图2所示，根据采集的石榴几何尺寸，将水果夹1张开到一定的宽度，启动机械臂4带动机械臂5向前运动，机械臂3上下调整到中心位置高度高度到水果中心位置，实现精确定位。

Claims (9)

1.一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，具体步骤如下：
步骤1，相机标定与配准
采用Kinect V2相机获取温室大棚石榴的彩色图像RGB与深度图像D，为较好地融合RGB-D图像特征，采集图像数据之前需要校准RGB图像和深度图像D，使深度图像与彩色图像对齐；
步骤2，采集石榴彩色图像数据与深度图像数据
将机械臂上摄像头的中心位置靠近石榴树冠层最外侧1米，启动图像数据采集程序，获取大量的彩色RGB图像与深度图像D，同时获取RGB-D融合图像保存在电脑里；
步骤3，MaskR-CNN训练
对采集的大量样本RGB-D融合图像的成熟石榴进行标注，然后设计Mask R-CNN的训练网络，对样本进行离线训练；
步骤4，Mask R-CNN检测成熟石榴
采用训练好的网络结构检测出成熟石榴的区域图像；
步骤5，对单个的成熟石榴彩色图像与对应的深度图像进行三维重构，重构出成熟石榴的三维点云；
步骤6，单个成熟石榴点云补全
对单个的成熟石榴点云数据采用3维球体拟合方式补全，获得整个成熟石榴的点云数据；
步骤7，成熟石榴位置定位
对补全后的成熟石榴点云进行中心位置坐标、半径的求取；
步骤8，机械臂运动并定位到成熟石榴位置
机械臂根据需要定位的成熟石榴中心位置带动水果夹定位到指定的位置；
其中，步骤1到步骤3是离线阶段，步骤4到步骤8是在线定位阶段。
2.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤1包括如下步骤：
步骤1.1：通过张定友相机标定方法获得的RGB图像的固有参数矩阵为Krgb，深度图像的固有参数矩阵为Kd，与相同的棋盘图像结合，获得的RGB图像的外部参数矩阵为Rrgb和Trgb，深度图像的外部参数矩阵为Rd和Td；
步骤1.2：彩色与深度相机的内参分别为Krgb，Kd，假设彩色图像的像素坐标为Prgb＝[Urgb，Vrgb，1]T，深度图像的非齐次像素坐标为Pd＝[Ud，Vd，1]T，然后，旋转矩阵R与平移矩阵T将深度图像坐标映射到RGB图像坐标的公式如下：
Figure FSA0000228859890000021
Figure FSA0000228859890000022
因此，深度图像的像素坐标与RGB图像的像素坐标之间的映射关系描述如下：
Prgb＝(R*Zd*Pd+T)/Zrgb
利用该公式，通过获取的深度图像的坐标值Pd和像素值Zd，以及记录距离Zrgb，来得到对应于点的映射的RGB图像坐标Prgb；
融合彩色与深度图像构建构建点云的公式为：
Figure FSA0000228859890000023
其中(xi，yi，zi)是像素i的三维坐标；(ui，vi)是像素i的深度像素坐标；D是深度图像；(Ux，Uy)是红外相机的像素坐标的主点坐标；fx，fy是红外相机的焦距。
3.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤2包括如下步骤：
步骤2.1：将采集的摄像头移动到距离树冠最外层距离为1米，启动采集程序，采集RGB彩色图像与深度图像D，同时保存对齐后的RGB与D的融合图像；移动采集平台，每一个方位采集100张图片，保存在电脑里，用于识别训练。
4.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤3包括如下步骤：
步骤3.1：采用VIA(VGG Image Annotator)对采集的大量图片进行成熟石榴的标注，保存标注文件；设计网络结构，柱结构，骨架网络采用ResNet101-FPN，特征映射层采用5个阶段，分别为stage1，stage2，stage3，stage4及stage5，各自的输出层分别记为conv1，conv2，conv3，conv4及conv5；
步骤3.2：步骤3.1的5个输出层根据FPN产生了特征金字塔特征图，经过RPN产生多个特征推荐区域(region proposal)，经过ROI Align产生感兴趣区域；
步骤3.3：感兴趣区域经过全连接层网络产生目标区域框，并采用全卷积网络产生掩模Mask即为成熟石榴区域。
5.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤4包括如下步骤：
步骤4.1：采用训练好的网络对测试样本进行测试，分析网络检测的性能。同时采用在线方式实时采集不同方位的成熟石榴数据，分析在线检测性能。
6.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤5包括如下步骤：
步骤5.1：采用深度学习网络结构检测出的石榴彩色图像并分割出对应位置的深度图像数据，根据权利要求2的步骤1.2计算出目标石榴的三维点云。
7.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤6包括如下步骤：
步骤6.1：针对权利要求6重构的成熟石榴三维点云P，采用三位球体拟合点云的方式对点云进行拟合，设球体中心坐标为Pc(xc，yc，zc)，球体半径为R，权利要求6重构的点云P，Pi∈P，i＝1，2，3，...，N，N是拟合点云数，Pi(xi，yi，zi)，设点云Pi到目标中心Pc距离为di，则
di 2＝(xi-xc)2+(yi-yc)2+(zi-zc)2
目标函数
Figure FSA0000228859890000031
θ＝(xc，yc，zc，R)
拟合优化函数采用最小二乘法进行拟合。
8.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤7包括如下步骤：
步骤7：根据权利要求7拟合的θ＝(xc，yc，zc，R)，给出成熟石榴的中心坐标与成熟石榴的半径。
9.根据权利要求1所述的一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法，其特征在于，所述步骤8包括如下步骤：
步骤8.1：根据权利要求8获得的成熟石榴大小，驱动水果夹张开尺寸，根据权利要求8获得的中心坐标，驱动机械臂采摘的水果夹中心位置运动到该位置，夹取成熟石榴。
CN202011573075.0A 2020-12-25 2020-12-25 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法 Pending CN112529948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011573075.0A CN112529948A (zh) 2020-12-25 2020-12-25 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011573075.0A CN112529948A (zh) 2020-12-25 2020-12-25 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法

Publications (1)

Publication Number Publication Date
CN112529948A true CN112529948A (zh) 2021-03-19

Family

ID=74976575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011573075.0A Pending CN112529948A (zh) 2020-12-25 2020-12-25 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法

Country Status (1)

Country Link
CN (1) CN112529948A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177949A (zh) * 2021-04-16 2021-07-27 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113192206A (zh) * 2021-04-28 2021-07-30 华南理工大学 基于目标检测和背景去除的三维模型实时重建方法及装置
CN113221648A (zh) * 2021-04-08 2021-08-06 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113393421A (zh) * 2021-05-08 2021-09-14 深圳市识农智能科技有限公司 一种果实评估方法、装置和巡视设备
CN113658156A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种去除深度图像中局外点的球体拟合方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015697A1 (en) * 2013-03-07 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN110059537A (zh) * 2019-02-27 2019-07-26 视缘(上海)智能科技有限公司 一种基于Kinect传感器的三维人脸数据获取方法及装置
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111178250A (zh) * 2019-12-27 2020-05-19 深圳市越疆科技有限公司 物体识别定位方法、装置及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150015697A1 (en) * 2013-03-07 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN110059537A (zh) * 2019-02-27 2019-07-26 视缘(上海)智能科技有限公司 一种基于Kinect传感器的三维人脸数据获取方法及装置
CN111080693A (zh) * 2019-11-22 2020-04-28 天津大学 一种基于YOLOv3的机器人自主分类抓取方法
CN111178250A (zh) * 2019-12-27 2020-05-19 深圳市越疆科技有限公司 物体识别定位方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XUAN LIU 等: "Automatic segmentation of overlapped poplar seedling leaves combining Mask R-CNN and DBSCAN", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 178, pages 1 - 15 *
赵辉 等: "基于RGB-D相机的矮砧苹果识别与定位", 计算机工程与设计, vol. 41, no. 08, pages 2278 - 2283 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221648A (zh) * 2021-04-08 2021-08-06 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113221648B (zh) * 2021-04-08 2022-06-03 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113177949A (zh) * 2021-04-16 2021-07-27 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113177949B (zh) * 2021-04-16 2023-09-01 中南大学 一种大尺寸岩石颗粒特征识别方法及装置
CN113192206A (zh) * 2021-04-28 2021-07-30 华南理工大学 基于目标检测和背景去除的三维模型实时重建方法及装置
CN113393421A (zh) * 2021-05-08 2021-09-14 深圳市识农智能科技有限公司 一种果实评估方法、装置和巡视设备
CN113658156A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种去除深度图像中局外点的球体拟合方法和装置

Similar Documents

Publication Publication Date Title
CN112529948A (zh) 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法
Liu et al. Improved kiwifruit detection using pre-trained VGG16 with RGB and NIR information fusion
Dong et al. Semantic mapping for orchard environments by merging two‐sides reconstructions of tree rows
US9965870B2 (en) Camera calibration method using a calibration target
CN110221311B (zh) 基于tls和uav自动化提取高郁闭林分树高的方法
CN113112504B (zh) 一种植物点云数据分割方法及系统
CN110231023B (zh) 一种智能视觉采样方法、系统及装置
CN109977813A (zh) 一种基于深度学习框架的巡检机器人目标定位方法
Santos et al. 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera
CN113989379B (zh) 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法
CN110070571B (zh) 一种基于深度相机的毛竹形态参数检测方法
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN116439018B (zh) 一种七自由度水果采摘机器人及其采摘方法
Wagner et al. Efficient and robust orientation estimation of strawberries for fruit picking applications
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
Xiang et al. Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks
Dong et al. Tree morphology for phenotyping from semantics-based mapping in orchard environments
CN116883480A (zh) 基于双目影像与地基雷达融合点云的玉米株高检测方法
Song et al. An improved cascade R-CNN and RGB-D camera-based method for dynamic cotton top bud recognition and localization in the field
CN113554691A (zh) 一种植株高度测量方法
Li et al. Multi-vision-based Localization and Pose Estimation of Occluded Apple Fruits for Harvesting Robots
Peng et al. Semantic mapping of orchards
Wang et al. Design of crop yield estimation system for apple orchards using computer vision
CN115830474A (zh) 一种识别野生藏药独一味及其分布并计算其产量的方法与系统
CN113932712A (zh) 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination