CN115908708B - 基于Kinect的植物群体全局三维重建方法 - Google Patents

基于Kinect的植物群体全局三维重建方法 Download PDF

Info

Publication number
CN115908708B
CN115908708B CN202211434792.4A CN202211434792A CN115908708B CN 115908708 B CN115908708 B CN 115908708B CN 202211434792 A CN202211434792 A CN 202211434792A CN 115908708 B CN115908708 B CN 115908708B
Authority
CN
China
Prior art keywords
dimensional
point
coordinate system
plant
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211434792.4A
Other languages
English (en)
Other versions
CN115908708A (zh
Inventor
孙国祥
徐乃旻
汪小旵
施印炎
章永年
张晓蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN202211434792.4A priority Critical patent/CN115908708B/zh
Publication of CN115908708A publication Critical patent/CN115908708A/zh
Application granted granted Critical
Publication of CN115908708B publication Critical patent/CN115908708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了基于Kinect的植物群体全局三维重建方法,应用于三维重建技术领域,利用张正友标定法获取相机参数,并通过相似三角形原理将植株深度数据转化为三维点云数据;采用Harris角点检测法得到二维特征点,并进行网格化、离散化处理得到三维特征点,对所述三维特征点进行奇异值分解,将不同视角的点云配准转换到世界坐标系下实现多视角下植物点云的局部三维重建;对多视角下植物点云的局部三维重建结果进行粗配准和精配准实现全局三维重建。本发明通过对不同周期的植物进行三维建模,为计算植物表型特征参数,分析植物生长过程中的表型参数变化做铺垫,为植物表型分析、精准化智能化管理提供数据支持和理论指导。

Description

基于Kinect的植物群体全局三维重建方法
技术领域
本发明涉及三维重建技术领域,更具体的说是涉及基于Kinect的植物群体全局三维重建方法。
背景技术
植物表型是指能够反映植物细胞、组织、植株和群体的结构及功能特征的物理、生理和生化性质,表型信息在现代化农业精准智能化管理中起着不可或缺的作用。传统上,基于人工测量植物表型方式具有破坏性,且主观性严重、效率低,不适用于实际农业管理。随着机器视觉、农业机器人和人工智能等技术的快速发展,植物表型测量逐渐趋向高通量、高精度、自动化。目前,植物表型测量主要基于二维图像和三维点云技术。然而由于植株形态复杂,叶片间存在相互遮挡等因素,基于二维图像和基于单视角的三维点云表型测量技术无法实现对植株表型信息的全面测量。通过计算机视觉技术建立植株三维模型,进而精准高效的提取植株表型性状已逐渐成为植物表型领域的研究热点。
因此,如何提供一种精准高效的提取植株表型性状植物群体全局三维重建方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此,本发明提供了一种基于Kinect的植物群体全局三维重建方法,以解决背景技术中提及的问题。
为了实现上述目的,本发明提供如下技术方案:
基于Kinect的植物群体全局三维重建方法,具体步骤如下:
利用张正友标定法获取相机参数,并通过相似三角形原理将植株深度数据转化为三维点云数据;
采用Harris角点检测法得到二维特征点,并进行网格化、离散化处理得到三维特征点,对所述三维特征点进行奇异值分解,将其它视角的点云配准转换到世界坐标系下实现多视角下植物点云的局部三维重建;
对多视角下植物点云的局部三维重建结果进行粗配准和精配准实现全局三维重建。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,获取植物三维点云数据具体步骤如下:
首先,获取植物的RGB图像和深度图像,以及棋盘格不同角度下的红外图像;
基于所述红外图像,利用张正友标定法获取相机内部参数,相机中心点坐标(cx,cy)和焦距(fx,fy);
根据相机小孔成像原理,利用相似三角形将植物的深度图像和RGB图像转换为带有颜色信息的三维点云图;
深度图像上一点m(u,v)与对应三维点M(X,Y,Z)之间关系如式(1)和式(2)所示:
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,三维特征点获取步骤如下:
将KincetV2相机置于电动旋台上,获取棋盘格0度和N度视角下的RGB图像,其中所述棋盘格尺寸为7×9,N度是根据相机视场角大小及相邻视角点云重叠区域确定的;
利用Harris角点检测算法分别识别棋盘格的二维特征角点,并根据Meshgrid网格生成二维点(X,Y);
通过离散差值找到二维点和三维点之间的映射关系Fx,Fy,并找到棋盘格二维特征点所对应的三维特征点。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,局部三维重建具体步骤如下:
根据式(1)和式(2)计算相邻视角特征点的质心,并利用奇异值分解法解算N度视角变换到0度视角的旋转矩阵R和平移矩阵T;
每隔N度采集一组点云;
根据所求得的旋转矩阵R和平移矩阵T,以第一个视角相机所在坐标系作为世界坐标将不同视角的点云配准转换到世界坐标系下,在多视角下对植物点云局部三维重建。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,假设两特征点集P、Q,求解二者之间的旋转矩阵和平移矩阵,具体步骤如下:
根据式(3)和式(4)求取特征点集P、Q的质心坐标Pc(xc,yc,zc),Qc(xc,yc,zc);
式中wi表示权重;Pi(xi,yi,zi),Qi(xi,yi,zi)为点集内各点的三维坐标;
根据式(5)计算协方差矩阵E,其中E为d×n维矩阵;X,Y为d×n维矩阵,W=diag(w1,w2,w3,…,wn);
根据式(6)对矩阵E进行奇异值分解,U、V、Λ三个矩阵均为对角阵,旋转矩阵R和平移矩阵T由式(7)~(8)表示;
E=U·Λ·VT (6);
R=V·UT (7);
T=QC-R·Pc (8)。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,不同视角相机坐标系变换到第一个N度视角相机坐标系下公式如式(9)所示:
其中R、T是旋转矩阵和平移矩阵,PCj代表第j个视角相机坐标系的三维点云数据,PCj'代表第j个视角世界坐标系的三维点云数据。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,所述粗配准预标定的具体步骤如下:
点云预处理:设置固定的采集范围,并对点云进行均值降采样处理以减少后期点云配准计算量;
变换矩阵求解:根据棋盘格与测点的相对位置确定配准棋盘格,利用奇异值分解法求解相邻测点的粗配准矩阵;
坐标系统一:以第一个测点相机坐标系作为世界坐标系,通过相邻测点的棋盘格求得所有相邻测点间的粗配准矩阵,并将其他测点相机坐标系下点云转换到第一个测点坐标系下,进行多视点下的三维点云粗配准。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,所述精配准之前还包括预处理步骤:
采用直通滤波算法和颜色阈值算法来分割非植株点云;
计算所有点的超绿分量值ExG,并过滤所有低于阈值的点,取剩下的点作为完整的植物点云(主要用于过滤灰色噪点,如泥土);
其中,超绿分量值计算公式如下:
ExG=2G-R-B (10)
式中R、G、B为红绿蓝颜色分量,ExG为超绿因子指数。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,所述精配准的具体步骤如下:
以第五个测点相机坐标系为世界坐标系,利用所述粗配准方法求解多测点粗配准变换矩阵,将其它测点相机坐标系点云转换到第5个测点相机坐标系下,并获取粗配准变换后各测点坐标(xi,yi,zi,i=1,2,…9);
以第一个测点和第五个测点为例,求得测点的中心点坐标为测点间间距为/>以测点中心点坐标为圆心,测点间距为直径的圆所在区域即判定为两个测点的重叠区域;
以测点5相机坐标系为世界坐标系,基于重叠区域植株点云,利用ICP求解测点5相机坐标系与其相邻测点间相机坐标系之间的ICP变换矩阵;
根据所求解的精配准变换矩阵将其它测点相机坐标系转换到测点5相机坐标系下,实现多测点三维点云精配准,最终实现植物群体全局三维重建。
优选的,在上述的基于Kinect的植物群体全局三维重建方法中,ICP求解精配准变换矩阵,具体配准步骤如下:
(1)在源点云P中选取子集P0,P0∈P;
(2)在目标点云Q中找到子集P0的对应点子集Q0,Q0∈Q,使Qi-Pi=min;
(3)在满足最小约束下,求解旋转矩阵R和平移向量T并更新源点云的子集P'0
(4)根据判断迭代是否终止,当d小于设置的阈值或者达到设置的迭代次数,则算法停止;否则,返回步骤(2)继续迭代。
经由上述的技术方案可知,与现有技术相比,本发明提供了基于Kinect的植物群体全局三维重建方法,通过物联网、机器视觉和点云处理等技术融合,通过对不同周期的植物进行三维建模,为计算植物表型特征参数,分析植物生长过程中的表型参数变化做铺垫,为植物表型分析、精准化智能化管理提供数据支持和理论指导。可以用于各类植物及农作物的全局三维重建,主要解决了多测点多视角下的植物群体三维重建问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明的结构示意图;
图2为本发明的硬件结构框图;
图3为本发明的方法流程图;
图4为本发明的三维点云获取方法流程图;
图5为本发明的局部三维重建流程图;
图6为本发明的多视点三维点云数据采集路线示意图;
图7为本发明的植物全局重建过程图;
图8为本发明的玉米植株全局三维点云模型重建结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了基于Kinect的植物群体全局三维重建方法,旨在实现植物群体的全局三维重建,通过物联网、机器视觉和点云处理等技术融合,通过对不同周期的植物进行三维建模,为计算植物表型特征参数,分析植物生长过程中的表型参数变化做铺垫,为植物表型分析、精准化智能化管理提供数据支持和理论指导。
同时配备测量装置可以用于各类植物及农作物的全局三维重建,本测量装置主要解决了多视角下多点位的植物群体三维重建问题。
具体的,植株群体全局三维重建算法原理:
(1)利用张正友标定法获取相机参数并通过相似三角形原理将植物深度数据转换为三维点云数据;
(2)采用Harris角点检测法和奇异值分解法来对植株进行单测点局部三维重建;
(3)采用区域生长算法分割和随机采样一致性(Random Sample Consensus,RANSAC)算法来矫正相机坐标系;
(4)基于超绿因子指数,利用多种滤波算法去除非玉米植株的点云噪声;
(5)基于重叠区域点云,利用ICP算法实现植株的全局三维重建。
自走式植物群体全局三维重建系统及内部硬件结构图,如图1和图2所示;其中:Kinect传感器1:用于RGB图像和深度图像获取;电动旋台2:实现相机定角度旋转;铝型材框架3:构建系统,实现Kinect传感器与移动平台的连接;图像工作站处理器4:控制整个系统的运作;电路控制柜5:实现Kinect传感器点云数据采集以及控制旋台电机的旋转步长和转速;智能移动平台6:实现Kinct传感器多视点数据采集。
作为本发明的进一步方案:自走式表型测量系统是由20mm×20mm铝型材搭建而成,长40cm、宽40cm、高140cm。Kinect传感器使用2.0版本,主要是由彩色相机、深度相机等组成,彩色相机分辨率为1920pixel×1080pixel,深度相机分辨率为512pixel×424pixel,测量距离为0.5-4.5m,可视区域角度为70°×60°(水平×垂直)。电动旋台是TBR100系列,台面尺寸102mm,角度范围360°,蜗轮蜗杆传动比180:1,采用42M-1.8D-C-10步进电机,整步分辨率0.01°,定位精度0.05°,电路控制柜内置运动控制数据采集卡,驱动器和开关电源。运动控制数据采集卡型号为NET6043-S2XE,内置10/100M自适应以太网卡,8路16位正负10V量程单端模拟量同步采集,最高40KSPS,8路模拟量可与两轴逻辑位置或编码器高速同步采集,两轴步进/伺服电机控制。驱动器型号为AQMD3610NS-A2,支持0-5/10V模拟信号,信号端口耐压24V,带485共模电压保护。智能移动平台为DashgoB1系列,采用STM 32底盘控制器,内置激光雷达、超声波雷达、轮速编码器等,具有导航、建图、避障等功能。图形工作站处理器为Intel(R)Xeon(R)E-2176M CPU@2.70GHz,内存容量为32G,NVIDIA Quadro P6004G显卡。系统软硬件的编程环境为ubuntu 18.04系统的Matlab R2019 a编程。
基于Kinect的自走式植物群体全局三维重建方法主要包括三维点云获取、局部三维重建、全局三维重建,具体步骤如图3所示;
在步骤1中,三维点云获取方法:
在该发明中,玉米植株的三维点云数据是通过Kinect深度传感器来获取的,具体的获取流程如图4所示。其中,a.植株RGB图像,b植株深度图像,c.植株三维点云图,d.棋盘格红外图像,e.相似三角形原理;首先,利用KinectV2相机获取玉米植株的RGB图像和深度图像,以及棋盘格不同角度下的红外图像;接着基于红外图像,利用张正友标定法获取相机内部参数,相机中心点坐标(cx,cy)和焦距(fx,fy)分别为(256.003,209.591)和(365.178,364.486);最后,根据相机小孔成像原理,利用相似三角形将玉米植株的深度图像和RGB图像转换为带有颜色信息的三维点云图。深度图像上一点m(u,v)与对应三维点M(X,Y,Z)之间关系如式(1)和式(2)所示:
在步骤2中,植株局部三维重建方法:
本发明利用奇异值分解法来对玉米植株进行局部三维重建,重建流程如图5所示。第一步,将KincetV2相机置于电动旋台上,获取棋盘格(7×9)0度和45度两个视角下的RGB图像。第二步,利用Harris角点检测算法分别识别棋盘格的二维特征角点,并根据Meshgrid网格生成二维点(X,Y)。第三步,通过离散差值找到二维点和三维点之间的映射关系Fx,Fy,并找到棋盘格二维特征点所对应的三维特征点。第四步,根据式(1)和式(2)计算相邻视角特征点的质心,并利用奇异值分解法解算N度视角变换到0度视角的旋转矩阵R和平移矩阵T(后续不需要重复标定,标定一次即可)。第五步,每隔N度采集一组点云,共采集8组三维点云数据。最后,根据所求得的变换矩阵,以第一个视角相机所在坐标系作为世界坐标将不同视角的点云配准转换到世界坐标系下,实现坐标系统一,从而实现多视角下玉米植株点云的局部三维重建。
作为线性代数中一种重要的矩阵分解,奇异值分解法(Singular valuedecomposition,SVD)常用于三维重建中变换矩阵求解。假设两特征点集P、Q,求解二者之间的旋转平移矩阵,具体步骤如下:
1)根据式(3)和式(4)求取特征点集P、Q的质心坐标Pc(xc,yc,zc),Qc(xc,yc,zc)。
式中wi表示权重;Pi(xi,yi,zi),Qi(xi,yi,zi)为点集内各点的三维坐标。
2)根据式(5)计算协方差矩阵E,其中E为d×n维矩阵;X,Y为d×n维矩阵,W=diag(w1,w2,w3,…,wn)。
3)根据式(6)对矩阵E进行奇异值分解,U、V、Λ三个矩阵均为对角阵,旋转矩阵R和平移矩阵T可由式(7)~(8)表示。
E=U·Λ·VT (6)
R=V·UT (7)
T=QC-R·Pc (8)
不同视角相机坐标系变换到第一个视角相机坐标系下公式如式(9)所示:
其中R、T是旋转矩阵和平移矩阵,PCj代表第j个视角相机坐标系的三维点云数据,PCj'代表第j个视角世界坐标系的三维点云数据。
在步骤3中,多测点三维点云粗配准预标定方法:
本发明在ROS系统下实现多测点玉米植株三维点云粗配准。
第一步,多测点定位导航:首先根据DashgoB1 ROS移动平台的建图功能建立玉米植株的RVIZ二维地图,使用基于粒子滤波的自适应蒙特卡洛定位算法(amcl)实现机器人在已建立地图中的定位。调用全局路径规划算法在地图中规划出移动路径,以控制底盘沿路径行驶,最终到达指定目标点。
第二步,单测点多视角三维点云数据采集:设置多视角采集间隔为N,利用TBR100电动旋转滑台采集多视角三维点云数据。
第三步,多视角点云局部三维重建:根据上述局部重建方法标定多视角变换矩阵,以第一个视角相机所在坐标系作为世界坐标,将其他视角的点云配准到该世界坐标系下,实现坐标系统一,从而实现多视角玉米植株点云的局部三维重建。
第四步,确定采集点位置:本研究重建场地范围为4×4m,由于局部重建无法获取整个场景点云信息,需要进行多测点三维点云数据采集。因距离Kinect越远的植株点云噪点越多,误差越大,本研究设置包围盒半径为2.25m,即筛选距离Kinect原点2.25m以内的点云数据。为保证测点间有足够的重叠区域,按玉米植株的空间分布均匀布置了9个测点位置,控制相邻测点之间的水平距离保持一致,并设置为1.6m,测点位置及采集路线如图6所示。
第五步,多测点粗配准矩阵预标定:提前在相邻测点之间放置棋盘格,利用上述粗配准算法实现相邻测点间粗配准变换矩阵预标定(由于目标导航点位置已设定,后续作物重建与测量不需要重复标定)。以第5个测点相机坐标系作为世界坐标系,将其他测点相机坐标系下点云转换到该世界坐标系下,最终实现多测点三维点云粗配准。在步骤3中,基于重叠区域的ICP精配准方法:
由于非植株点云占比过大,且原始点云存在一定噪点,会对ICP造成一定的配准误差,因此需要对点云进行预处理。本发明首先采用直通滤波算法和颜色阈值算法来分割非植株点云。以低于花盆真实高度1cm为基准,分割出玉米植株点云与非玉米植株点云,然后计算所有点的超绿分量值ExG,并过滤所有低于阈值(0.35)的点,取剩下的点作为完整的玉米植株点云,最后采用统计滤波与半径滤波进行点云去噪。计算点云中的每个点与k邻近的标准差(k值为35),其中标准差大于阈值1.5的点则被判定为离群点。半径滤波的滤波半径r和滤波半径内的最少点数分别设置为8mm和5,即8mm半径内点数少于5的点则被视为离群点。超绿分量值计算公式如下:
ExG=2G-R-B (10)
式中R、G、B为红绿蓝颜色分量,ExG为超绿因子指数。
由于ICP对初始位置和重叠区域要求较高,本发明提出了一种基于重叠区域点云的ICP精配准算法来实现玉米植株的全局三维重建。具体步骤如下:第一步:对点云进行均值降采样处理以减少后期点云配准计算量。第二步:以第五个测点相机坐标系为世界坐标系,利用上述粗配准方法求解多测点粗配准变换矩阵,将其它测点相机坐标系点云转换到第5个测点相机坐标系下,并获取粗配准变换后各测点坐标(xi,yi,zi,i=1,2,…9)。第三步,以第一个测点和第五个测点为例,求得测点的中心点坐测点间间距为/>以测点中心点坐标为圆心,测点间距为直径的圆所在区域即判定为两个测点的重叠区域。第四步:以测点5相机坐标系为世界坐标系,基于重叠区域玉米植株点云,利用ICP求解测点5相机坐标系与其相邻测点间相机坐标系之间的ICP变换矩阵。第五步:根据所求解的精配准变换矩阵将其它测点相机坐标系转换到测点5相机坐标系下,实现多测点三维点云精配准,最终实现玉米群体全局三维重建。ICP主要用于求解精配准变换矩阵,具体配准步骤如下:
(1)在源点云P中选取子集P0,P0∈P;
(2)在目标点云Q中找到子集P0的对应点子集Q0,Q0∈Q,使Qi-Pi=min;
(3)在满足最小约束下,求解旋转矩阵R和平移向量T并更新源点云的子集P'0
(4)根据判断迭代是否终止,当d小于设置的阈值或者达到了设置的迭代次数,则算法停止;否则,返回步骤(2)继续迭代。
本发明对6个周期共96个玉米样本进行全局三维重建,图7为植物全局重建过程图,分别是a.局部三维重建;b.直通滤波;c.超绿分量值去噪d.三维点云粗配准;e.ICP精配准;f.半径滤波、统计滤波去噪。图8a,8b,8c,8d分别为2022年5月28日,6月4日,6月18日和7月2日的玉米植株全局重建图结果图。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.基于Kinect的植物群体全局三维重建方法,其特征在于,具体步骤如下:
利用张正友标定法获取相机参数,并通过相似三角形原理将植株深度数据转化为三维点云数据;获取植物三维点云数据具体步骤如下:
首先,获取植物的RGB图像和深度图像,以及棋盘格不同角度下的红外图像;
基于所述红外图像,利用张正友标定法获取相机内部参数,相机中心点坐标(cx,cy)和焦距(fx,fy);
根据相机小孔成像原理,利用相似三角形将获取到的植物的深度图像和RGB图像转换为带有颜色信息的三维点云图;
深度图像上一点m(u,v)与对应三维点M(X,Y,Z)之间关系如式(1)和式(2)所示:
采用Harris角点检测法得到二维特征点,并进行网格化、离散化处理得到三维特征点,对所述三维特征点进行奇异值分解,将不同视角的点云配准转换到世界坐标系下实现多视角下植物点云的局部三维重建;三维特征点获取步骤如下:
将KincetV2相机置于电动旋台上,获取棋盘格0度和N度视角下的RGB图像,其中所述棋盘格尺寸为7×9,N度是根据相机视场角大小及相邻视角点云重叠区域确定的;
利用Harris角点检测算法分别识别棋盘格的二维特征角点,并根据Meshgrid网格生成二维点(X,Y);
通过离散差值找到二维点和三维点之间的映射关系Fx,Fy,并找到棋盘格二维特征点所对应的三维特征点;
局部三维重建具体步骤如下:
根据式(1)和式(2)计算相邻视角特征点的质心,并利用奇异值分解法解算N度视角变换到0度视角的旋转矩阵R和平移矩阵T;
每隔N度采集一组点云;
根据所求得的旋转矩阵R和平移矩阵T,以第一个视角相机所在坐标系作为世界坐标,将其它视角相机坐标系下点云配准转换到世界坐标系下,在多视角下对植物点云进行局部三维重建,
假设两特征点集P、Q,求解二者之间的旋转矩阵和平移矩阵,具体步骤如下:
根据式(3)和式(4)求取特征点集P、Q的质心坐标Pc(xc,yc,zc),Qc(xc,yc,zc);
式中wi表示权重;Pi(xi,yi,zi),Qi(xi,yi,zi)为点集内各点的三维坐标;
根据式(5)计算协方差矩阵E,其中E为d×n维矩阵;X,Y为d×n维矩阵,W=diag(w1,w2,w3,…,wn);
根据式(6)对矩阵E进行奇异值分解,U、V、Λ三个矩阵均为对角阵,旋转矩阵R和平移矩阵T由式(7)~(8)表示;
E=U·Λ·VT (6);
R=V·UT (7);
T=Qc-R·Pc (8);
对多测点下植物点云的局部三维重建结果进行粗配准和精配准实现全局三维重建。
2.根据权利要求1所述的基于Kinect的植物群体全局三维重建方法,其特征在于,不同视角相机坐标系变换到第一个视角相机坐标系下公式如式(9)所示:
其中R、T是旋转矩阵和平移矩阵,PCj代表第j个视角相机坐标系的三维点云数据,PCj'代表第j个视角世界坐标系下的三维点云数据。
3.根据权利要求1所述的基于Kinect的植物群体全局三维重建方法,其特征在于,所述粗配准预标定的具体步骤如下:
点云预处理:设置固定的采集范围,并对点云进行均值降采样处理以减少后期点云配准计算量;
变换矩阵求解:提前在试验场地放置棋盘格,根据棋盘格与测点的相对位置确定配准棋盘格,并利用奇异值分解法求解相邻测点的粗配准变换矩阵;
坐标系统一:以第一个测点相机坐标系作为世界坐标系,通过相邻测点的棋盘格求得所有相邻测点的粗配准变换矩阵,并将其他测点相机坐标系下点云转换到第一个测点坐标系下,实现多视点下的三维点云粗配准。
4.根据权利要求1所述的基于Kinect的植物群体全局三维重建方法,其特征在于,所述精配准之前还包括预处理步骤:
采用直通滤波算法和颜色阈值算法来分割非植株点云;
计算所有点的超绿分量值ExG,并过滤所有低于阈值的点,取剩下的点作为完整的植物点云;
其中,超绿分量值计算公式如下:
EXG=2G-R-B (10);
式中R、G、B为红绿蓝颜色分量,ExG为超绿因子指数。
5.根据权利要求1所述的基于Kinect的植物群体全局三维重建方法,其特征在于,所述精配准的具体步骤如下:
选取第M个测点相机坐标系为世界坐标系,利用所述粗配准方法求解多测点粗配准变换矩阵,将其它测点相机坐标系点云转换到第M个测点相机坐标系下,并获取粗配准变换后各测点坐标;
根据各测点坐标确定重叠区域,基于重叠区域植株点云,利用ICP求解测点M相机坐标系与其相邻测点间相机坐标系之间的ICP变换矩阵;
根据所求解的精配准变换矩阵将其它测点相机坐标系转换到测点M相机坐标系下,实现多测点三维点云精配准,最终实现植物群体全局三维重建。
6.根据权利要求1所述的基于Kinect的植物群体全局三维重建方法,其特征在于,求解精配准ICP变换矩阵,具体配准步骤如下:
(1)在源点云P中选取子集P0,P0∈P;
(2)在目标点云Q中找到子集P0的对应点子集Q0,Q0∈Q,使Qi-Pi=min;
(3)在满足最小约束下,求解旋转矩阵R和平移向量T并更新源点云的子集P'0
(4)根据判断迭代是否终止,当d小于设置的阈值或者达到设置的迭代次数,则算法停止;否则,返回步骤(2)继续迭代。
CN202211434792.4A 2022-11-16 2022-11-16 基于Kinect的植物群体全局三维重建方法 Active CN115908708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211434792.4A CN115908708B (zh) 2022-11-16 2022-11-16 基于Kinect的植物群体全局三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211434792.4A CN115908708B (zh) 2022-11-16 2022-11-16 基于Kinect的植物群体全局三维重建方法

Publications (2)

Publication Number Publication Date
CN115908708A CN115908708A (zh) 2023-04-04
CN115908708B true CN115908708B (zh) 2023-08-15

Family

ID=86472377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211434792.4A Active CN115908708B (zh) 2022-11-16 2022-11-16 基于Kinect的植物群体全局三维重建方法

Country Status (1)

Country Link
CN (1) CN115908708B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274512B (zh) * 2023-11-23 2024-04-26 岭南现代农业科学与技术广东省实验室河源分中心 植物多视角图像的处理方法及系统
CN117506919B (zh) * 2023-12-01 2024-05-24 广州创之力智能科技有限公司 一种手眼标定方法、装置、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN109584292A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于Kinect自主标定的果树三维形态测量系统
CN109741382A (zh) * 2018-12-21 2019-05-10 西安科技大学 一种基于Kinect V2的实时三维重建方法与系统
CN113538666A (zh) * 2021-07-22 2021-10-22 河北农业大学 一种植物植株三维模型快速重建方法
CN114863061A (zh) * 2022-05-23 2022-08-05 中科微影(浙江)医疗科技有限公司 一种远程监护医学图像处理的三维重建方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489927B2 (en) * 2016-07-18 2019-11-26 King Abdullah University Of Science And Technology System and method for three-dimensional image reconstruction using an absolute orientation sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015154601A1 (zh) * 2014-04-08 2015-10-15 中山大学 一种基于无特征提取的紧致sfm三维重建方法
CN106803267A (zh) * 2017-01-10 2017-06-06 西安电子科技大学 基于Kinect的室内场景三维重建方法
CN109584292A (zh) * 2018-11-14 2019-04-05 南京农业大学 一种基于Kinect自主标定的果树三维形态测量系统
CN109741382A (zh) * 2018-12-21 2019-05-10 西安科技大学 一种基于Kinect V2的实时三维重建方法与系统
CN113538666A (zh) * 2021-07-22 2021-10-22 河北农业大学 一种植物植株三维模型快速重建方法
CN114863061A (zh) * 2022-05-23 2022-08-05 中科微影(浙江)医疗科技有限公司 一种远程监护医学图像处理的三维重建方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于相位相关的温室番茄植株多模态三维重建方法;孙国祥;《农业工程学报》;第134-142页 *

Also Published As

Publication number Publication date
CN115908708A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN115908708B (zh) 基于Kinect的植物群体全局三维重建方法
Vázquez-Arellano et al. 3-D reconstruction of maize plants using a time-of-flight camera
CN113112504B (zh) 一种植物点云数据分割方法及系统
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN102184563B (zh) 植物器官形态的三维扫描方法及扫描系统和装置
CN109255302A (zh) 目标物识别方法及终端、移动装置控制方法及终端
CN111486864B (zh) 基于立体正八边结构的多源传感器联合标定方法
CN114283203B (zh) 一种多相机系统的标定方法及系统
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN113156411A (zh) 一种车载激光雷达标定方法
Xiao et al. High-throughput calculation of organ-scale traits with reconstructed accurate 3D canopy structures using a UAV RGB camera with an advanced cross-circling oblique route
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
Abanay et al. A calibration method of 2D LIDAR-Visual sensors embedded on an agricultural robot
CN116862955A (zh) 一种植物图像的三维配准方法、系统及设备
CN102034092B (zh) 基于独立多自由度视觉模块的主动复合双目快速目标搜索与捕获系统
CN113096058B (zh) 空间目标多源数据参数化仿真与MixCenterNet融合检测方法
CN113446957B (zh) 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN112837314B (zh) 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法
CN107123135B (zh) 一种无序三维点云的无畸变成像方法
Jian et al. Outdoor 3D reconstruction method based on multi-line laser and binocular vision
CN116883480A (zh) 基于双目影像与地基雷达融合点云的玉米株高检测方法
CN115294562B (zh) 一种植保机器人作业环境智能感知方法
Chen et al. A Hybrid Cable-Driven Robot for Non-Destructive Leafy Plant Monitoring and Mass Estimation using Structure from Motion
CN114565720A (zh) 一种基于线结构光旋转扫描的主动式三维重建系统及方法
CN114092388A (zh) 基于单目相机和里程计的障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant