CN114972473B - 一种植物三维形态自适应测量方法及系统 - Google Patents

一种植物三维形态自适应测量方法及系统 Download PDF

Info

Publication number
CN114972473B
CN114972473B CN202210588010.6A CN202210588010A CN114972473B CN 114972473 B CN114972473 B CN 114972473B CN 202210588010 A CN202210588010 A CN 202210588010A CN 114972473 B CN114972473 B CN 114972473B
Authority
CN
China
Prior art keywords
point cloud
determining
sampling
camera
plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210588010.6A
Other languages
English (en)
Other versions
CN114972473A (zh
Inventor
岑海燕
李昕瑾
张海涛
王斯
谢鹏尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210588010.6A priority Critical patent/CN114972473B/zh
Publication of CN114972473A publication Critical patent/CN114972473A/zh
Application granted granted Critical
Publication of CN114972473B publication Critical patent/CN114972473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种植物三维形态自适应测量方法及系统。该方法包括将RGB‑D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；对预处理后的RGB图像和深度图像确定三维点云集合；对三维点云集合进行自适应采样，确定目标采样点；根据目标采样点确定RGB‑D相机位置和相机姿态，进而根据RGB‑D相机位置和相机姿态确定机械臂的采样位姿；根据机械臂的采样位姿和目标采样点获取植物的目标RGB图像和目标深度图像；利用目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。本发明能够快速、准确地实现植物三维点云图像的重建。

Description

一种植物三维形态自适应测量方法及系统
技术领域
本发明涉及三维重建领域，特别是涉及一种植物三维形态自适应测量方法及系统。
背景技术
随着自动化技术在农业生产应用中逐渐推广，农业生产智能化、自动化水平越来越高，温室或植物工厂植物表型自动化检测的应用逐渐广泛。植物三维模型的建立和表型信息的快速检测与解析，是精细农业信息获取的核心问题。
在测量过程中，目前国内外对植物进行三维重建的常见方法有，采用高精度激光扫描仪获取植物点云数据并进行重建和使用单幅或多幅图像进行重建。这些方法共同的问题是所需设备价格昂贵、数据处理复杂。
在植物表型信息检测与三维模型的建立的过程中，选取合适的视角和采样点位有助于获取更全面的植物表型信息。但是长期以来植物三维点云信息获取主要依靠低效的人工选取采样点位。这种采样机构只属于具有传感器能获取外部信息的第二代工业机器人，且仪器操作门槛较高，需要人工控制机械臂和选取采样点，仅适用于实验室科研环境，难以广泛地实地指导生产实践。
因此，需要一种新的方法或系统能够实现植物三维点云图像的重建。
发明内容
本发明的目的是提供一种植物三维形态自适应测量方法及系统，能够快速、准确地实现植物三维点云图像的重建。
为实现上述目的，本发明提供了如下方案：
一种植物三维形态自适应测量方法，包括：
将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；
对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；
对预处理后的RGB图像和深度图像确定三维点云集合；
对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；
根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；
利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。
可选地，所述对所述RGB图像和所述深度图像进行预处理，具体包括：
利用Opencv识别算法对所述RGB图像进行平面分割，确定去除背景的植物RGB图像；
利用离群点分离和条件滤波对去除背景的植物RGB图像进行点云降噪；
利用直通滤波算法对所述深度图像进行滤波。
可选地，所述对预处理后的RGB图像和深度图像确定三维点云集合，具体包括：
对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；
对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；
将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；
基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。
可选地，所述对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿，具体包括：
对所述三维点云集合进行聚类；
根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；
对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；
根据叶片三维点云确定叶片每个点的法向量和对应的主向量；
根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；
根据相机初始位置和相机姿态确定机械臂的采样位姿。
可选地，所述对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点，之后还包括：
利用凸优化对所述目标采样点进行优化。
一种植物三维形态自适应测量系统，包括：
RGB图像和深度图像获取模块，用于将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；
预处理模块，用于对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；
三维点云集合确定模块，用于对预处理后的RGB图像和深度图像确定三维点云集合；
机械臂的采样位姿确定模块，用于对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；
目标RGB图像和目标深度图像获取模块，用于根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；
三维点云图像确定模块，用于利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。
可选地，所述三维点云集合确定模块具体包括：
局部点云确定单元，用于对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；
降噪后的局部点云确定单元，用于对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；
粗配准后的局部点云确定单元，用于将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；
三维点云集合确定单元，用于基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。
可选地，所述机械臂的采样位姿确定模块具体包括：
第一聚类单元，用于对所述三维点云集合进行聚类；
三维点云模型确定单元，用于根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；
第二聚类单元，用于对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；
向量确定单元，用于根据叶片三维点云确定叶片每个点的法向量和对应的主向量；
相机初始位置和相机姿态确定单元，用于根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；
机械臂的采样位姿确定单元，用于根据相机初始位置和相机姿态确定机械臂的采样位姿。
可选地，所述机械臂的采样位姿确定模块还包括：
优化单元，用于利用凸优化对所述目标采样点进行优化。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种植物三维形态自适应测量方法及系统，基于机械臂和RGB-D相机自动识别植物并确定合理拍摄位点，获取能够充分反映植物形态信息的若干图像，为后续植物表型信息检测与解析提供数据支持。基于RGB-D相机获取的点云信息和机械臂选取点位的位姿信息，对同一植物多视角点云的配准和融合，从而快速高效地获取植物表面三维点云数据。过相机拍摄的图像自动选取合适的采样位点，控制机械臂直接移动到合适的位点进行采样。从而实现对植物的自适应采样，更加高效便捷，助力于农业智能化和信息化。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种植物三维形态自适应测量方法流程示意图；
图2为本发明所提供的一种植物三维形态自适应测量方法对应的装置示意图；
图3为根据三维点云集合的初步定点三维重建示意图；
图4为三维点云模型确定过程示意图；
图5为目标采样点确定过程示意图；
图6为三维点云图像示意图；
图7为本发明所提供的一种植物三维形态自适应测量系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种植物三维形态自适应测量方法及系统，能够快速、准确地实现植物三维点云图像的重建。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种植物三维形态自适应测量方法流程示意图，如图1所示，本发明所提供的一种植物三维形态自适应测量方法，包括：
S101，将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；基于UR5机械臂SDK(C++)、Azure Kinect RGB-D相机SDK(C++)共同开发的自动化数据采集程序采集RGB-D帧并记录机械臂位姿信息。
S102，对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；
S102具体包括：
利用Opencv识别算法对所述RGB图像进行平面分割，确定去除背景的植物RGB图像；
利用离群点分离和条件滤波对去除背景的植物RGB图像进行点云降噪；
利用直通滤波算法对所述深度图像进行滤波。
S103，对预处理后的RGB图像和深度图像确定三维点云集合，并如图3所示；
S103具体包括：
对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；
对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；
将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；
基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。
作为一个具体的实施例，假设在w个点位进行图像采集。在初步定点三维点云重建过程中，w＝5，为正方体的5个侧面中心。
将采集到的RGB图像和深度图进行计算匹配生成对应点位的局部点云I1～Iw，匹配转换公式如下，x，y，z是点云坐标系，x′，y′是图像坐标系，D为深度值。
根据I1x～Iwx局部点云采样点数量进行降采样处理后利用平面分割、离散点去除、条件滤波算法进行降噪处理得到降噪后点云I1～Iw。
上述w个点位降噪后的点云I1～Iw空间坐标系需要从相机坐标系转换到机械臂基座坐标系下，对第i个点位的点云I1～Iw中的每个点(xi，yi，zi)做如下变换得到(x′i，y′i，z′i)：
转换矩阵由机械臂位姿信息解析得，由连接件尺寸参数计算所得，由此得到粗配准后的点云集I′1～I′w。
在已知相机位姿信息的前提下基于迭代最近点算法(Iterative Closest Point，ICP)对I′1～I′w进行配准重建。方法如下：
首先利用SAC-IA采样一致性初始配准算法(Sample Consensus InitialAlignment)进行粗配准得到初始刚性变换矩阵T，已知T时配准问题可转化为以下公式，其中ps和pt是源点云I′1～I′w和目标点云I1t～I′wt中的对应点。
k*、t*为输入初始参数，ICP算法描述如下：
找最近对应点：利用初始k0、t0或上一次迭代得到的kt-1、tt-1对初始点云I′1～I′w进行变换，得到临时变换点云I10～Iw0，与目标点云I1t～Iwt比较，找出源点云每一个点在目标点云I1t～Iwt中的最近邻点，使用KD-tree算法加速寻找。
求解最优变换：在已知点的对应关系的情况下，设分别表示源点云I′1～I′w和目标点云I1t～Iwt的质心，令令该3×3矩阵分解得H＝U∑VT，则得到ICP最优旋转参数为：K*＝VUT，最优平移参数为以上求解最优变换步骤为：计算源点云和目标点云质心；将源点云和目标点云进行转换到质心坐标系；计算矩阵H；对H求SVD分解，根据公式求得K*；根据公式计算t*。
迭代：重复以上两个步骤得到当前最优变换参数Ki，ti，直到满足迭代终止条件(参数变化值足够小或迭代次数足够大)。
由此，在1～w点位，得到I1x～Iwx局部点云，降噪后得到点云I1～Iw，粗配准后得到点云集I′1～I′w，利用最优变换参数Ki，ti，得到临时变换点云I10～Iw0，对目标点云I1t～Iwt完成点云图之间的配准，最终组合成三维点云集合Rn，也就是植物的大体三维轮廓。
S104，对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；
S104具体包括：
对所述三维点云集合进行聚类；
I.Rn点云中的每一个点构成一个集合：
遍历该点云中的每个点，找到其中XYZ坐标的最大和最小值，分别记为xmax、xmin、ymax、ymin、zmax、zmin；
II.初步确定空间中某点po，作为类中心点。其中po点XYZ坐标分别为xo＝(xmax+xmin)/2，yo＝(ymax+ymin)/2，zo＝(zmax+zmin)/2；
III.遍历n个点，计算每个点到中心点的欧式距离：
设距离阈值r，将n个点中ρi＜r的点pi归入类R′n′中，R′n′点云中的每一个点构成一个新集合：
IV.重复步骤I、II，在R′n′中找到中心点po′并确定其坐标；
V.重复步骤III，找到n″个点归入类R″n″中；
VI.当子类中的点数与父类中点数之比时，说明完成搜索，记最终子类为S，中心点是pc(xc，yc，zc)；
如图5所示，根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；
I.计算类S中每个点到pc点的XY平面距离：
确定圆柱半径R，使得满足pc＜R的点占95％；
II.计算类S中每个点与pc点在z方向的垂直距离：li(z)＝|zi-zc|
找出其中的最大值，确定圆柱高h＝2*lmax；
在植株圆柱体模型周围选取粗采样点：以圆柱底面圆心为原点，建立柱坐标系，坐标系中点位可表示为P(ρ，θ，z)；
选择坐标为的三个点P1，2，3位作为粗选采样点。
根据粗选采样点，可以得到植物的粗采样后的大体三维点云模型Rn2，并如图4所示。
对三维点云模型Rn2进行聚类，确定叶片，并根据叶片确定目标采样点；
I.对粗采样后的点云模型Rn2进行聚类，将其中的所有集中的点归纳为k个类。
II.将其中k个类分别预设中心点：Poj(j＝1，2，……k)，对每个点到k个类中心点的距离做比较，将其归至距离较小的类中，分割出k片叶子。
III.建立叶片索引，第j片叶片在基准坐标系(点云Rn2坐标系下)坐标为中心点Poj(j＝1，2，……k)
IV.设点数阈值A，计算出第j片叶片Lj(j＝1，2，……k)中有aj个点，当aj≥A时，说明这是某个较大叶片在这一面形成的点云，采用精选采样点优化对该叶片的采样效果。
V.如果总共有k’片叶片，总共需要k’个大叶片得出k’个精细化采样位点Pj(j＝1，2，……k′)
根据叶片三维点云确定叶片每个点的法向量和对应的主向量；
I.构建叶片三维点云
根据判定大叶片的结果，已知叶片中心点poi，区分出属于叶片Lj的点，将叶片Lj每个点的深度转化为XYZ三维点云坐标；
II.求每个点的法向量
对该某个点pi附近的一共N个点组成微平面Mi，设其法向量为
将N个点的三维点云坐标信息用N*3矩阵AN表示：
求每个维度的均值：
去中心化(将AN的每一列减去均值)，得到矩阵BN：
求协方差矩阵HN(3*3的方阵)：
对HN进行SVD分解，得到特征值和特征向量：
最小奇异值对应的特征向量即为此微平面的法向量
III.求叶片参数主要法向量
依照II中步骤，计算该叶片上所有微平面的法向量
通过与II相同的方式，算出叶片中心点poi附近的该叶片所有点组成微平面Ni，设其法向量为
由此求出叶片Lj的主要法向量且已知该叶片的中心点poj。
根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；
I.相机初始位置在叶片的中心点poj的主要法向量的这个轴上；
根据计算出叶片中心点离采样点中心点的距离dij，其中
f为镜头的焦距，Hij为当前点云模型下计算得的叶片最大径，h为镜头成像尺寸。已知叶片中心点poj、叶片主要法向量可计算出方向上与poj点距离为dij的位姿(xij，yij，zij，Rx，Ry，Rz)，将此点定义为当前状态下精选采样点，即相机所在位置。
II.相机在轴上的转角
相机姿态为垂直于主要法向量但可能存在转角；
对于任意的采样位姿Pij所拍摄的图像，建立以下函数来判断相机姿态(转角)是否达到最优目标：
其中，aij为图像中大叶片所占像素点个数，d_c enterij为图像中叶片中心点距离图像中心的距离，d_b orderij为图像中叶片的外边距，margin为叶片理想外边距，k为外边距权重。
aij越大，表明叶片在所采集的图像中占比越大；为兼顾图像中目标叶片的清晰度和完整性，d_b orderij需要尽可能接近margin；d_c enterij越小，表明叶片中心点越接近图像中心点。fij数值越大，表明相机显示的叶片细节越多，采集效果越好。
所以可以以fij为目标，选择相应的相机朝向。
III.移动到相机初始位置
已知精选采样点处相机的姿态R＝(Rx，Ry，Rz)，相机位置为P(i+1)j(xij，yij，zij)。定义Pr为机器人基座坐标系下的点，Pc为RGB-D相机坐标系下的点，为将相机坐标系到机器人基座坐标系的坐标变换矩阵，则有将相机坐标系下的数据转化为基座坐标系下的数据。调用采用RRT等启发式算法函数，输入(xij，yij，zij，Rx，Ry，Rz)参数，控制机械臂移动到精选采样点P(i+1)j。并转动到II判定的最佳转角。
IV.在精选采样点P(i+1)j处拍摄图像，记为该叶片的初始点云图Picj1，其中j代表第j片叶片，1代表第一次迭代；
根据相机初始位置和相机姿态确定机械臂的采样位姿。
所述对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点，之后还包括：
利用凸优化对所述目标采样点进行优化。
I、优化采样点
由于可能存在叶片被遮挡或卷曲的情况，需要移动相机和改变相机视角采样。
将当前相机法向量沿东南西北标准方向倾斜θ°变成向量
其中x代表第x迭代，1-4代表东南西北；
已知叶片中心点poj、向量距离dij，相机可计算出
方向上与poj点距离为dij的位置(xij，yij，zij)，相机位姿(Rx，Ry，Rz)为垂直于向量转角利用C.II.的方式计算。
II、移动相机到相应位置
III、采样获得该叶片点云Picx1-Picx4，并与原采样点云Picx融合，变成叶片点云Pic(x+1)，计算新增点数Pic(x+1)-Picx，如果说明本次迭代有效，新增了较多点，需要继续优化；
IV、选择下一优化位点
分别计算Picx1-Picx4带来的新增点数，选择其中最大的作为下一次迭代的起始点。即
重复步骤D直到说明已达近似最优，不再继续优化。此时为最优的精细化采样位点；
重复BCD步骤对每片叶片进行采样，直到k’片叶片采样完成。
S105，根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；
S106，利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像，并如图6所示。
如图2所示，上位机通过控制柜控制机械臂，RGB-D相机由3D打印的连接件固定在机械臂工具端，机械臂能够环绕盆栽植株进行数据采集。
图7为本发明所提供的一种植物三维形态自适应测量系统结构示意图，如图7所示，本发明所提供的一种植物三维形态自适应测量系统，包括：
RGB图像和深度图像获取模块701，用于将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；
预处理模块702，用于对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；
三维点云集合确定模块703，用于对预处理后的RGB图像和深度图像确定三维点云集合；
机械臂的采样位姿确定模块704，用于对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；
目标RGB图像和目标深度图像获取模块705，用于根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；
三维点云图像确定模块706，用于利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像。
所述三维点云集合确定模块703具体包括：
局部点云确定单元，用于对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；
降噪后的局部点云确定单元，用于对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；
粗配准后的局部点云确定单元，用于将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；
三维点云集合确定单元，用于基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。
所述机械臂的采样位姿确定模块704具体包括：
第一聚类单元，用于对所述三维点云集合进行聚类；
三维点云模型确定单元，用于根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；
第二聚类单元，用于对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；
向量确定单元，用于根据叶片三维点云确定叶片每个点的法向量和对应的主向量；
相机初始位置和相机姿态确定单元，用于根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；
机械臂的采样位姿确定单元，用于根据相机初始位置和相机姿态确定机械臂的采样位姿。
所述机械臂的采样位姿确定模块704还包括：
优化单元，用于利用凸优化对所述目标采样点进行优化。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种植物三维形态自适应测量方法，其特征在于，包括：
将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；
对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；
对预处理后的RGB图像和深度图像确定三维点云集合；
对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；
根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；
利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像；
所述对预处理后的RGB图像和深度图像确定三维点云集合，具体包括：
对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；
对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；
将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；
基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。
2.根据权利要求1所述的一种植物三维形态自适应测量方法，其特征在于，所述对所述RGB图像和所述深度图像进行预处理，具体包括：
利用Opencv识别算法对所述RGB图像进行平面分割，确定去除背景的植物RGB图像；
利用离群点分离和条件滤波对去除背景的植物RGB图像进行点云降噪；
利用直通滤波算法对所述深度图像进行滤波。
3.根据权利要求1所述的一种植物三维形态自适应测量方法，其特征在于，所述对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿，具体包括：
对所述三维点云集合进行聚类；
根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；
对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；
根据叶片三维点云确定叶片每个点的法向量和对应的主向量；
根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；
根据相机初始位置和相机姿态确定机械臂的采样位姿。
4.根据权利要求3所述的一种植物三维形态自适应测量方法，其特征在于，所述对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点，之后还包括：
利用凸优化对所述目标采样点进行优化。
5.一种植物三维形态自适应测量系统，其特征在于，包括：
RGB图像和深度图像获取模块，用于将RGB-D相机固定在机械臂工具端，并根据设定的机械臂的采集点位及设定的采样姿态获取植物的RGB图像和深度图像；
预处理模块，用于对所述RGB图像和所述深度图像进行预处理；所述预处理包括：背景去除、降噪以及滤波；
三维点云集合确定模块，用于对预处理后的RGB图像和深度图像确定三维点云集合；
机械臂的采样位姿确定模块，用于对所述三维点云集合进行自适应采样，确定目标采样点；根据所述目标采样点确定RGB-D相机位置和相机姿态，进而根据RGB-D相机位置和相机姿态确定机械臂的采样位姿；
目标RGB图像和目标深度图像获取模块，用于根据机械臂的采样位姿和所述目标采样点获取植物的目标RGB图像和目标深度图像；
三维点云图像确定模块，用于利用植物的目标RGB图像和目标深度图像和植物的初步轮廓确定三维点云图像；
所述三维点云集合确定模块具体包括：
局部点云确定单元，用于对预处理后的RGB图像和深度图像进行计算匹配生成对应点位的局部点云；
降噪后的局部点云确定单元，用于对所述局部点云进行降采样处理后，并利用平面分割、离散点去除、条件滤波算法进行降噪处理，得到降噪后的局部点云；
粗配准后的局部点云确定单元，用于将降噪后的局部点云从相机坐标系转换到机械臂基座坐标系下，确定粗配准后的局部点云；
三维点云集合确定单元，用于基于迭代最近点算法，对粗配准后的局部点云进行配准重建，确定三维点云集合。
6.根据权利要求5所述的一种植物三维形态自适应测量系统，其特征在于，所述机械臂的采样位姿确定模块具体包括：
第一聚类单元，用于对所述三维点云集合进行聚类；
三维点云模型确定单元，用于根据聚类后的三维点云集合建立植株圆柱体模型，并根据植株圆柱体模型确定待确定采样点，并根据待确定采样点确定三维点云模型；
第二聚类单元，用于对三维点云模型进行聚类，确定叶片，并根据叶片确定目标采样点；
向量确定单元，用于根据叶片三维点云确定叶片每个点的法向量和对应的主向量；
相机初始位置和相机姿态确定单元，用于根据叶片每个点的法向量和对应的主向量确定相机初始位置和相机姿态；
机械臂的采样位姿确定单元，用于根据相机初始位置和相机姿态确定机械臂的采样位姿。
7.根据权利要求6所述的一种植物三维形态自适应测量系统，其特征在于，所述机械臂的采样位姿确定模块还包括：
优化单元，用于利用凸优化对所述目标采样点进行优化。
CN202210588010.6A 2022-05-26 2022-05-26 一种植物三维形态自适应测量方法及系统 Active CN114972473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210588010.6A CN114972473B (zh) 2022-05-26 2022-05-26 一种植物三维形态自适应测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210588010.6A CN114972473B (zh) 2022-05-26 2022-05-26 一种植物三维形态自适应测量方法及系统

Publications (2)

Publication Number Publication Date
CN114972473A CN114972473A (zh) 2022-08-30
CN114972473B true CN114972473B (zh) 2024-08-02

Family

ID=82955532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210588010.6A Active CN114972473B (zh) 2022-05-26 2022-05-26 一种植物三维形态自适应测量方法及系统

Country Status (1)

Country Link
CN (1) CN114972473B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524000B (zh) * 2023-04-10 2024-09-06 苏州大学 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335295B (zh) * 2019-06-06 2021-05-11 浙江大学 一种基于tof相机的植物点云采集配准与优化方法
US11803959B2 (en) * 2019-06-24 2023-10-31 Mineral Earth Sciences Llc Individual plant recognition and localization
CN113674402B (zh) * 2021-08-23 2023-10-31 浙江大学 植物三维高光谱点云模型生成方法、校正方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Generating high-quality 3DMPCs by adaptive data acquisition and NeREF-based radiometric calibration with UGV plant phenotyping system;Pengyao Xie等;《Image and Video Processing》;20231201;全文 *

Also Published As

Publication number Publication date
CN114972473A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
CN111476841B (zh) 一种基于点云和图像的识别定位方法及系统
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
CN113034600B (zh) 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
CN111161446A (zh) 一种巡检机器人的图像采集方法
CN109470149B (zh) 一种管路位姿的测量方法及装置
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN114972473B (zh) 一种植物三维形态自适应测量方法及系统
CN114905512B (zh) 一种智能巡检机器人全景追踪及避障方法及系统
CN115147833A (zh) 一种零部件位姿识别方法及系统
CN111523547A (zh) 一种3d语义分割的方法及终端
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN113902698A (zh) 一种基于智能视觉控制的无人机云台渐进式目标对焦方法
CN115810133A (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN118196309B (zh) 基于图像处理工控机的高清视觉检测识别系统
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN117970595B (zh) 一种基于深度学习和图像处理的显微镜自动对焦方法
CN117475170A (zh) 基于fpp的由局部到全局结构引导的高精度点云配准方法
CN113681552B (zh) 一种基于级联神经网络的机器人混杂物体五维抓取方法
CN108520533B (zh) 一种面向工件定位的多维度特征配准方法
CN117590574A (zh) 一种显微镜自动对焦方法、终端和系统
CN109859263B (zh) 一种基于鱼眼镜头的宽视角定位方法
CN116188540A (zh) 一种基于点云信息的目标识别和位姿估计方法
CN113033470B (zh) 一种轻量型目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant