CN113538666A - 一种植物植株三维模型快速重建方法 - Google Patents
一种植物植株三维模型快速重建方法 Download PDFInfo
- Publication number
- CN113538666A CN113538666A CN202110830670.6A CN202110830670A CN113538666A CN 113538666 A CN113538666 A CN 113538666A CN 202110830670 A CN202110830670 A CN 202110830670A CN 113538666 A CN113538666 A CN 113538666A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- color
- depth
- camera
- plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 230000002146 bilateral effect Effects 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 241001464837 Viridiplantae Species 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 2
- 244000038559 crop plants Species 0.000 abstract 1
- 229910052739 hydrogen Inorganic materials 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 238000013075 data extraction Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种植物植株三维模型快速重建方法，步骤如下：S1、首先，将Kinect V2相机以目标植物为轴呈左右对称放置，确定相机的高度和距离植物的距离；S2、进行彩色相机和深度相机的系统参数标定；S3、KinectV2获取的RGB图像和深度数据，得到彩色三维点云；S4、提取特定范围内的点云数据；S5、将得到的两片点云融合为同一个世界坐标系中的点云集，再对融合后的点云集进行背景去除和噪点滤波，进而得到植株的彩色三维点云模型；S6、提取植株点云；S7、经过颜色滤波之后，保留下的点的集合即为植株三维点云模型。本发明采用上述的一种植物植株三维模型快速重建方法，能够快速无损的对作物植株进行精准的三维重建，便于后期对作物表型信息进行提取。
Description
技术领域
本发明涉及农作物种植和农作物育种技术领域，尤其是涉及一种植物植株三维模型快速重建方法。
背景技术
植株的高度、宽度、冠层体积等表型信息不但能够反映出其内在的基因特性，也能够反映出环境及管理对其影响作用。这些信息不但可以为育种人员培育优良品种提供参考数据，从而加速育种进程；也可以为农业生产人员掌握农作物的生长状况，并据此制定合理的营养及管理方案，保证其健康生长提供信息支撑。
当前，上述表型信息主要依靠人工测量来获取，不但测量结果主观性较强，而且费时费力，信息获取较低。而利用植物植株的三维模型可以快速、准确、高效的获取表型信息。因此，研究植物植物三维模型构建方法具有重要的现实意义。
目前，常用的植物植株三维模型重建方法主要有：基于图像的重建方法和基于三维点云的重建方法。基于图像的植株冠层三维重构方法一般通过立体视觉(Stereovision，SV)或运动结构成像(Structure from motion，SFM)来实现。SV是最常见的三维扫描方法，它使用一对固定的相机同时测量同一场景，然后重建三维图像；SFM则通过围绕物体移动相机，在重叠图像的基础上构建三维图像。基于图像的冠层三维重构方法需要对相机进行提前校准，而且受外界光线影响比较大容易造成信息缺失，此外由于叶片的遮挡很容易造成重构信息的不准确，相机的部署位置也很关键。利用可以生成三维点云的扫描设备实现冠层的三维重构是目前比较热门的一种方法，常用的扫描设备有激光雷达LiDAR、TLS、ALS，RGB-D相机Kinect等。三维扫描设备一般利用TOF原理或移相扫描原理对目标进行扫描，通过将目标数字化并记录每个点云的扫描距离将其表示为三维坐标。相对于RGB相机，三维扫描设备受外界光线影响较小。但是这种方法所需要的设备相对较贵，而且重建效果依赖于激发波的反射效率，当激发波投射到枝干或叶片边缘而发生漫反射时，激光雷达就有可能接收不到反射波，这会对边缘识别造成一定的影响。
综上所述，发明一种价格低廉且快速准确的植物植株三维模型快速重建系统及方法非常必要。
发明内容
本发明的目的是提供一种植物植株三维模型快速重建方法，能够快速无损的对作物植株进行精准的三维重建，便于后期对作物表型信息进行提取。
为实现上述目的，本发明提供了一种植物植株三维模型快速重建方法，步骤如下：
S1、首先，将Kinect V2相机以目标植物为轴呈左右对称放置，确定相机的高度和距离植物的距离；
S2、进行彩色相机和深度相机的系统参数标定，通过标定获得彩色相机的内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、Kinect V2彩色相机和深度相机之间旋转矩阵R和平移向量T、相机外部参数即两台Kinect V2相机之间的旋转矩阵r和平移向量t；
S3、KinectV2获取的RGB图像和深度数据，得到彩色三维点云；
S4、提取特定范围内的点云数据，减少背景对于数据分析的负面影响；
S5、将得到的两片点云融合为同一个世界坐标系中的点云集，再对融合后的点云集进行背景去除和噪点滤波，进而得到植株的彩色三维点云模型；
S6、利用颜色滤波算法对融合完成的点云数据进行处理，除去背景信息，提取植株点云；
S7、经过颜色滤波之后，保留下的点的集合即为植株三维点云模型。
优选的，步骤S2中，系统标定方法如下：
(1)固定好KinectV2相机和棋盘格标定板位置，利用KinectV2相机红外摄像头采集红外信息、彩色摄像头获取彩色信息，标定图片需要使用标定板在不同位置、不同角度、不同姿态下拍摄；
(2)利用Stereo Camera Calibration软件包在matlab软件中对红外图像和彩色图像进行标定处理；
(3)分别将红外图像和彩色图像导入matlab中，Stereo Camera Calibration可以得出每幅图像的标定误差和图像的平均标定误差；平均标定误差需要控制在0.15以下，如果平均标定误差大于0.15，则从标定误差最大的图像开始，按照标定误差的降序依次将图像删除，直到平均标定误差小于0.15；
(4)当平均标定误差小于0.15时，Stereo Camera Calibration得到的RGB相机内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、旋转矩阵R和平移向量T即为有效参数；
(5)两台Kinect V2相机坐标系中X轴和Z轴正方向相反，Y轴正方向一致，则两个相机之间的平移向量t中Y方向分量为0，相机之间的旋转矩阵r和平移向量t的具体求解过程如下：
①平移向量t中X轴分量和Z轴分量求解过程：
设空间中某点转换之前的坐标为(xa，ya，za)T，转换之后的坐标为(xb，yb，zb)T，则在XOZ平面内点M1的坐标为(xa、za)T、点M2的坐标为(xb、zb)T、ya＝yb；由此可以得出：
在旋转前后，在X轴分量、Z轴分量的变化△xab、△zab分别为：
②旋转矩阵r的求解过程：
设空间中某点旋转之前的坐标为(x1，y1，z1)T，旋转之后的坐标为(x2，y2，z2)T，则在XOZ平面内：点Q1的坐标为(x1、z1)T、点Q2的坐标为(x2、z2)T、y1＝y2，由此可以得出：
把x2和z2运用三角形公式展开：
由此可得绕作物中心轴旋转θ角的旋转矩阵r为：
优选的，步骤S3中，根据KinectV2获取的RGB图像和深度数据，得到彩色三维点云，具体方法如下：
(1)利用深度相机的内参作为约束条件，将深度相机获取的深度数据转换为深度相机坐标系中的三维点云，坐标变换公式如下：
公式(5)中[H_ir]-1是深度相机内参矩阵H_ir的逆矩阵；p_ir代表Kinect v2获取的深度图像中的某个像素的深度信息，其中，D为深度数值，x',y'分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到深度相机坐标系中的转换深度像素，其中，x_ir,y_ir,z_ir分别表示转换后深度值在深度相机坐标系中的三维空间位置；
(2)将深度相机坐标系中的深度三维点云数据转换到彩色相机坐标系中，变换公式如下：
公式(6)中R是旋转矩阵、T是平移向量、P_ir是深度相机坐标系中的某个深度像素的信息；P_rgb是转换到彩色相机坐标系中的深度像素信息，x_rgb,y_rgb,z_rgb是彩色相机坐标系下的该深度值的三维空间位置；
(3)求解彩色图像中的像素点的颜色值，并与深度图像中的深度值进行匹配，得到彩色三维点云，变换公式如下：
公式(7)中P_rgb是上一步中得到彩色相机坐标系中深度像素信息，H_rgb是彩色相机内部参数矩阵，p_rgb是Kinect v2获取的彩色图像中某个像素的信息，其中，x″，y″分别是该像素在彩色图像中的行和列位置，C代表颜色值；
(4)对深度相机获取的每一个深度值都按照上述步骤进行处理，最终得到整个植株的彩色三维点云。
优选的，步骤S4中，获得到植株的彩色三维点云后，需要限定具体范围内的彩色三维点云，保证Kinect获取信息的准确性，又能够减少大量存在的背景对于数据分析的负面影响。
优选的，步骤S5中，以Kinect V2深度相机的坐标系为世界坐标系，对彩色相机得到的彩色三维点云进行刚体变换，刚体变换公式如下：
pt＝r*ps+t (8)
公式(8)中，r、t为系统参数标定过程中得到的旋转矩阵r和平移向量t、ps为由彩色相机得到的三维点云、pt为经过刚体变换后的点云集；利用公式(8)即可得到由彩色相机得到的三维点云在深度相机坐标系下的对应点云集，将变换后的点云集与利用深度相机得到的三维点云相加，即可得到融合好的彩色三维点云。
优选的，步骤S6中，点云数据滤波具体方法为：根据RGB图像的特点，将其分为R、G、B三个通道的数据；取每一个点云在R通道的数值r、G通道的数值g、B通道的数值的数值b，并将r、g、b相加，得到的结果定义为Srgb，如公式(9)所示；将r与g相减并且取绝对值，并将得到的结果定义为ABSrg，如公式(10)所示；将b与g相减并且取绝对值，并将得到的结果定义为ABSbg，如公式(11)所示；将r与b相减并且取绝对值，并将得到的结果定义为ABSrb，如公式(12)所示；
将ABSrg与Srgb的比值定义为Rrg，如公式(13)所示；将ABSbg与Srgb的比值定义为Rbg，如公式(14)所示；将ABSrb与Srgb的比值定义为Rrb，如公式(15)所示；
Srgb＝r+g+b (9)
ABSrg＝|r-g| (10)
ABSbg＝|b-g| (11)
ABSrb＝|r-b| (12)
对于绿色植株0.098＜Rrg＜0.697、0.032＜Rbg＜0.670、g＞r、g＞b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果；
对于红色植株，0.096＜Rrg＜0.775、0.080＜Rrb＜0.813、r＞g、r＞b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果；
对于黄色植株，0.038＜Rrg＜0.239、0.122＜Rbg＜0.457、r＞g、g＞b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果。
因此，本发明采用上述一种植物植株三维模型快速重建方法，可以通过非接触手段对植物进行三维重建，仅使用两个角度进行信息采集更加省时省力，对环境要求比较低，不会对植物造成任何干扰和影响，而且快速精确，可以做到在线实时检测。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1是本发明一种植物植株三维模型快速重建方法的布局示意图；
图2是本发明一种植物植株三维模型快速重建方法的流程图；
图3是两台Kinect V2相机的坐标系示意图；
图4是平移向量t中X轴分量和Z轴分量示意图；
图5是旋转矩阵r的求解示意图；
图6是植株的彩色三维点云获取示意图；
图7是点云数据提取示意图；
图8是颜色滤波之后的点云数据；
图9是Kinect V2结构图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
实施例一
如图1所示，两台Kinect V2相机以目标植物为轴呈左右对称放置，相机距离目标植物D米(0.5<D<4.5)，相机到地面的距离为H米，D与H的关系为D＝1.7597H+0.0308，H高度的确定依据关系式h＝1.7737H+0.0237。
其中，H、D、h关系式推导过程如下：
当获取高度为h的植株信息时，设置Kinect V2深度传感器中心点O的高度为H，此时深度传感器到植株的水平距离至少为D，才可以获取完整的植株信息。为了探究H、D、h的关系，对Kinect V2进行成像实验。以下为当h取不同数值时，对应的H、D值。
表1 H、D、h值的对应数据表格
对实验数据进行线性拟合，找出H和D的数学关系、H和h的数学关系。最终结果为，H、D的关系式：D＝1.7597H+0.0308，拟合优度R2为0.9953；H、h的关系式：h＝1.7737H+0.0237，拟合优度R2为0.9959。
植物植株三维模型快速重建方法的具体过程如下，如图2：
1.首先进行系统参数标定，通过标定获得彩色相机的内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、Kinect V2彩色相机和深度相机之间旋转矩阵R和平移向量T、相机外部参数即两台Kinect V2相机之间的旋转矩阵r和平移向量t。具体标定方法如下：
(1)固定好KinectV2相机和棋盘格标定板位置，利用KinectV2相机红外摄像头采集红外信息、彩色摄像头获取彩色信息，标定图片需要使用标定板在不同位置、不同角度、不同姿态下拍摄，各拍摄20幅图像。
(2)利用Stereo Camera Calibration软件包在matlab软件中对红外图像和彩色图像进行标定处理。
(3)分别将20幅红外图像和彩色图像导入matlab中，Stereo Camera Calibration可以得出每幅图像的标定误差和20幅图像的平均标定误差。平均标定误差需要控制在0.15以下，如果平均标定误差大于0.15，则从标定误差最大的图像开始，按照标定误差的降序依次将图像删除，直到平均标定误差小于0.15。
(4)当平均标定误差小于0.15时，Stereo Camera Calibration得到的RGB相机内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、旋转矩阵R和平移向量T即为有效参数。
(5)两台Kinect V2相机坐标系如图3所示，其中，①号为深度相机坐标系、②号为深度相机坐标系示意图。两个坐标系中X轴和Z轴正方向相反，Y轴正方向一致，则两个相机之间的平移向量t中Y方向分量为0。相机之间的旋转矩阵r和平移向量t的具体求解过程如下：
①平移向量t中X轴分量和Z轴分量求解过程：
如图4所示，设空间中某点转换之前的坐标为(xa，ya，za)T，转换之后的坐标为(xb，yb，zb)T，则在XOZ平面内点M1的坐标为(xa、za)T、点M2的坐标为(xb、zb)T、ya＝yb。由此可以得出：
在旋转前后，在X轴分量、Z轴分量的变化Δxab、Δzab分别为：
此外，因为深度传感器到Kinect V2中心距离为0.048m，如图9，所以
由此可得绕作物中心轴旋转δ角的平移向量t为：[-OM2·sinδ+0.096，0，OM1-OM2·cosδ]，所以t＝[0.096，0.000，2D]。
②旋转矩阵r的求解过程：
如图5所示，设空间中某点旋转之前的坐标为(x1，y1，z1)T，旋转之后的坐标为(x2，y2，z2)T，则在XOZ平面内：点Q1的坐标为(x1、z1)T、点Q2的坐标为(x2、z2)T、y1＝y2。由此可以得出：
把x2和z2运用三角形公式展开：
由此可得绕作物中心轴旋转θ角的旋转矩阵r为：
所以r＝[-1,0,0；0,1,0；0,0,-1]。
2.根据KinectV2获取的RGB图像和深度数据，得到彩色三维点云，具体方法如下：
(1)利用深度相机的内参作为约束条件，将深度相机获取的深度数据转换为深度相机坐标系中的三维点云，坐标变换公式如下：
公式(5)中[H_ir]-1是深度相机内参矩阵H_ir的逆矩阵；p_ir代表Kinect v2获取的深度图像中的某个像素的深度信息，其中，D为深度数值，x',y'分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到深度相机坐标系中的转换深度像素，其中，x_ir,y_ir,z_ir分别表示转换后深度值在深度相机坐标系中的三维空间位置。
(2)将深度相机坐标系中的深度三维点云数据转换到彩色相机坐标系中，变换公式如下：
公式(6)中R是旋转矩阵、T是平移向量、P_ir是深度相机坐标系中的某个深度像素的信息；P_rgb是转换到彩色相机坐标系中的深度像素信息，x_rgb,y_rgb,z_rgb是彩色相机坐标系下的该深度值的三维空间位置。
(3)求解彩色图像中的像素点的颜色值，并与深度图像中的深度值进行匹配，得到彩色三维点云，变换公式如下：
公式(7)中P_rgb是上一步中得到彩色相机坐标系中深度像素信息，H_rgb是彩色相机内部参数矩阵，p_rgb是Kinect v2获取的彩色图像中某个像素的信息，其中，x”,y”分别是该像素在彩色图像中的行和列位置，C代表颜色值。
(4)对深度相机获取的每一个深度值都按照上述步骤进行处理，最终得到整个植株的彩色三维点云，如图6。
3.点云数据提取
在相机坐标系中，与相机平行方向的坐标轴为X轴，植株生长方向的坐标轴为Y轴，相机到植株方向的坐标轴为Z轴。
为了后期数据处理方便，加快运算速度，限定Kinect V2到植株的距离为Dm，且只提取Z轴方向(D-0.5，D+0.5)范围内的彩色三维点云，这样，既能够保证Kinect获取信息的准确性，又能够减少大量存在的背景对于数据分析的负面影响，如图7。
4.点云融合
如图1所示，以①号Kinect V2深度相机的坐标系为世界坐标系，对由②号相机得到的彩色三维点云进行刚体变换，使得两片点云集处于同一个世界坐标系中，再对两片点云进行背景去除和噪点滤波，进而得到植株的彩色三维点云模型。刚体变换公式如下：
pt＝r*ps+t (8)
公式(8)中，r、t为系统参数标定过程中得到的旋转矩阵r和平移向量t、ps为由②号相机得到的三维点云、pt为经过刚体变换后的点云集。利用公式(8)即可得到由②号相机得到的三维点云在①号相机坐标系下的对应点云集，将变换后的点云集与利用①号相机得到的三维点云相加，即可得到融合好的彩色三维点云。
5.点云数据滤波
采集信息时，会引入背景信息，在此利用颜色滤波算法对融合完成的点云数据进行处理，除去背景信息，提取植株点云。具体方法为：根据RGB图像的特点，可以将其分为R、G、B三个通道的数据。取每一个点云在R通道的数值r、G通道的数值g、B通道的数值的数值b，并将r、g、b相加，得到的结果定义为Srgb，如公式(9)所示；将r与g相减并且取绝对值，并将得到的结果定义为ABSrg，如公式(10)所示；将b与g相减并且取绝对值，并将得到的结果定义为ABSbg，如公式(11)所示；将r与b相减并且取绝对值，并将得到的结果定义为ABSrb，如公式(12)所示。
将ABSrg与Srgb的比值定义为Rrg，如公式(13)所示；将ABSbg与Srgb的比值定义为Rbg，如公式(14)所示。将ABSrb与Srgb的比值定义为Rrb，如公式(15)所示。
Srgb＝r+g+b (9)
ABSrg＝|r-g| (10)
ABSbg＝|b-g| (11)
ABSrb＝|r-b| (12)
(补充说明：查阅RGB色值表可知，一般来说，对于绿色，165＜Srgb＜642、35＜ABSrg＜255、16＜ABSbg＜255、0.098＜Rrg＜0.697、0.032＜Rbg＜0.670；对于红色，230＜Srgb＜650、54＜ABSrg＜255、48＜ABSrb＜255、0.096＜Rrg＜0.775、0.080＜Rrb＜0.813；对于黄色，426＜Srgb＜614、20＜ABSrg＜102、57＜ABSbg＜215、0.038＜Rrg＜0.239、0.122＜Rbg＜0.457。)
对于绿色植株0.098＜Rrg＜0.697、0.032＜Rbg＜0.670、g＞r、g＞b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果。
对于红色植株，0.096＜Rrg＜0.775、0.080＜Rrb＜0.813、r＞g、r＞b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果。
对于黄色植株，0.038＜Rrg＜0.239、0.122＜Rbg＜0.457、r＞g、g＞b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果，如图8。
6.经过颜色滤波之后，保留下的点的集合即为想要的植株三维点云模型。
因此，本发明采用上述一种植物植株三维模型快速重建方法，能够快速无损的对作物植株进行精准的三维重建，便于后期对作物表型信息进行提取。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (6)
1.一种植物植株三维模型快速重建方法，其特征在于，步骤如下：
S1、首先，将Kinect V2相机以目标植物为轴呈左右对称放置，确定相机的高度和距离植物的距离；
S2、进行彩色相机和深度相机的系统参数标定，通过标定获得彩色相机的内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、Kinect V2彩色相机和深度相机之间旋转矩阵R和平移向量T、相机外部参数即两台Kinect V2相机之间的旋转矩阵r和平移向量t；
S3、KinectV2获取的RGB图像和深度数据，得到彩色三维点云；
S4、提取特定范围内的点云数据，减少背景对于数据分析的负面影响；
S5、将得到的两片点云融合为同一个世界坐标系中的点云集，再对融合后的点云集进行背景去除和噪点滤波，进而得到植株的彩色三维点云模型；
S6、利用颜色滤波算法对融合完成的点云数据进行处理，除去背景信息，提取植株点云；
S7、经过颜色滤波之后，保留下的点的集合即为植株三维点云模型。
2.根据权利要求1所述的一种植物植株三维模型快速重建方法，其特征在于：步骤S2中，系统标定方法如下：
(1)固定好KinectV2相机和棋盘格标定板位置，利用KinectV2相机红外摄像头采集红外信息、彩色摄像头获取彩色信息，标定图片需要使用标定板在不同位置、不同角度、不同姿态下拍摄；
(2)利用Stereo Camera Calibration软件包在matlab软件中对红外图像和彩色图像进行标定处理；
(3)分别将红外图像和彩色图像导入matlab中，Stereo Camera Calibration可以得出每幅图像的标定误差和图像的平均标定误差；平均标定误差需要控制在0.15以下，如果平均标定误差大于0.15，则从标定误差最大的图像开始，按照标定误差的降序依次将图像删除，直到平均标定误差小于0.15；
(4)当平均标定误差小于0.15时，Stereo Camera Calibration得到的RGB相机内部参数矩阵H_rgb、深度相机的内部参数矩阵H_ir、旋转矩阵R和平移向量T即为有效参数；
(5)两台Kinect V2相机坐标系中X轴和Z轴正方向相反，Y轴正方向一致，则两个相机之间的平移向量t中Y方向分量为0，相机之间的旋转矩阵r和平移向量t的具体求解过程如下：
①平移向量t中X轴分量和Z轴分量求解过程：
设空间中某点转换之前的坐标为(xa，ya，za)T，转换之后的坐标为(xb，yb，zb)T，则在XOZ平面内点M1的坐标为(xa、za)T、点M2的坐标为(xb、zb)T、ya＝yb；由此可以得出：
在旋转前后，在X轴分量、Z轴分量的变化△xab、△zab分别为：
②旋转矩阵r的求解过程：
设空间中某点旋转之前的坐标为(x1，y1，z1)T，旋转之后的坐标为(x2，y2，z2)T，则在XOZ平面内：点Q1的坐标为(x1、z1)T、点Q2的坐标为(x2、z2)T、y1＝y2，由此可以得出：
把x2和z2运用三角形公式展开：
由此可得绕作物中心轴旋转θ角的旋转矩阵r为：
3.根据权利要求1所述的一种植物植株三维模型快速重建方法，其特征在于：步骤S3中，根据KinectV2获取的RGB图像和深度数据，得到彩色三维点云，具体方法如下：
(1)利用深度相机的内参作为约束条件，将深度相机获取的深度数据转换为深度相机坐标系中的三维点云，坐标变换公式如下：
公式(5)中[H_ir]-1是深度相机内参矩阵H_ir的逆矩阵；p_ir代表Kinect v2获取的深度图像中的某个像素的深度信息，其中，D为深度数值，x',y'分别是该深度值在深度图像中的行和列位置；P_ir是将原始深度像素转换到深度相机坐标系中的转换深度像素，其中，x_ir,y_ir,z_ir分别表示转换后深度值在深度相机坐标系中的三维空间位置；
(2)将深度相机坐标系中的深度三维点云数据转换到彩色相机坐标系中，变换公式如下：
公式(6)中R是旋转矩阵、T是平移向量、P_ir是深度相机坐标系中的某个深度像素的信息；P_rgb是转换到彩色相机坐标系中的深度像素信息，x_rgb,y_rgb,z_rgb是彩色相机坐标系下的该深度值的三维空间位置；
(3)求解彩色图像中的像素点的颜色值，并与深度图像中的深度值进行匹配，得到彩色三维点云，变换公式如下：
公式(7)中P_rgb是上一步中得到彩色相机坐标系中深度像素信息，H_rgb是彩色相机内部参数矩阵，p_rgb是Kinect v2获取的彩色图像中某个像素的信息，其中，x”,y”分别是该像素在彩色图像中的行和列位置，C代表颜色值；
(4)对深度相机获取的每一个深度值都按照上述步骤进行处理，最终得到整个植株的彩色三维点云。
4.根据权利要求1所述的一种植物植株三维模型快速重建方法，其特征在于：步骤S4中，获得到植株的彩色三维点云后，需要限定具体范围内的彩色三维点云，保证Kinect获取信息的准确性，又能够减少大量存在的背景对于数据分析的负面影响。
5.根据权利要求1所述的一种植物植株三维模型快速重建方法，其特征在于：步骤S5中，以Kinect V2深度相机的坐标系为世界坐标系，对彩色相机得到的彩色三维点云进行刚体变换，刚体变换公式如下：
公式(8)中，r、t为系统参数标定过程中得到的旋转矩阵r和平移向量t、ps为由彩色相机得到的三维点云、pt为经过刚体变换后的点云集；利用公式(8)即可得到由彩色相机得到的三维点云在深度相机坐标系下的对应点云集，将变换后的点云集与利用深度相机得到的三维点云相加，即可得到融合好的彩色三维点云。
6.根据权利要求1所述的一种植物植株三维模型快速重建方法，其特征在于：步骤S6中，点云数据滤波具体方法为：根据RGB图像的特点，将其分为R、G、B三个通道的数据；取每一个点云在R通道的数值r、G通道的数值g、B通道的数值的数值b，并将r、g、b相加，得到的结果定义为Srgb，如公式(9)所示；将r与g相减并且取绝对值，并将得到的结果定义为ABSrg，如公式(10)所示；将b与g相减并且取绝对值，并将得到的结果定义为ABSbg，如公式(11)所示；将r与b相减并且取绝对值，并将得到的结果定义为ABSrb，如公式(12)所示；
将ABSrg与Srgb的比值定义为Rrg，如公式(13)所示；将ABSbg与Srgb的比值定义为Rbg，如公式(14)所示；将ABSrb与Srgb的比值定义为Rrb，如公式(15)所示；
Srgb＝r+g+b (9)
ABSrg＝|r-g| (10)
ABSbg＝|b-g| (11)
ABSrb＝|r-b| (12)
对于绿色植株0.098<Rrg<0.697、0.032<Rbg<0.670、g>r、g>b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果；
对于红色植株，0.096<Rrg<0.775、0.080<Rrb<0.813、r>g、r>b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果；
对于黄色植株，0.038<Rrg<0.239、0.122<Rbg<0.457、r>g、g>b的点，判定为植株的点云并进行保留，反之，则作为背景信息被去除，并将保留下的点的集合作为颜色滤波后的结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110830670.6A CN113538666B (zh) | 2021-07-22 | 2021-07-22 | 一种植物植株三维模型快速重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110830670.6A CN113538666B (zh) | 2021-07-22 | 2021-07-22 | 一种植物植株三维模型快速重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538666A true CN113538666A (zh) | 2021-10-22 |
| CN113538666B CN113538666B (zh) | 2022-04-19 |
Family
ID=78120486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110830670.6A Active CN113538666B (zh) | 2021-07-22 | 2021-07-22 | 一种植物植株三维模型快速重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538666B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920106A (zh) * | 2021-10-29 | 2022-01-11 | 吉林农业大学 | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 |
| CN113989391A (zh) * | 2021-11-11 | 2022-01-28 | 河北农业大学 | 基于rgb-d相机的动物体三维模型重构系统及方法 |
| CN113985438A (zh) * | 2021-11-12 | 2022-01-28 | 河北农业大学 | 一种植物三维模型重建系统及方法 |
| CN115908708A (zh) * | 2022-11-16 | 2023-04-04 | 南京农业大学 | 基于Kinect的植物群体全局三维重建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN110264567A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种基于标记点的实时三维建模方法 |
| CN111724433A (zh) * | 2020-06-24 | 2020-09-29 | 广西师范大学 | 一种基于多目视觉的作物表型参数提取方法及系统 |
-
2021
- 2021-07-22 CN CN202110830670.6A patent/CN113538666B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN110264567A (zh) * | 2019-06-19 | 2019-09-20 | 南京邮电大学 | 一种基于标记点的实时三维建模方法 |
| CN111724433A (zh) * | 2020-06-24 | 2020-09-29 | 广西师范大学 | 一种基于多目视觉的作物表型参数提取方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| 冯佳睿等: "基于深度信息的大豆株高计算方法", 《光学学报》 * |
| 方慧等: "基于可视化类库的植株三维形态配准方法及点云可视化", 《农业工程学报》 * |
| 秦昊: "基于双 Kinect 的三维测量装置研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 * |
| 肖潇: "基于Kinect植物变态根茎曲面重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 颜志国等: "《多摄像机协同关注目标检测跟踪技术》", 30 June 2017, 南京：东南大学出版社 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113920106A (zh) * | 2021-10-29 | 2022-01-11 | 吉林农业大学 | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 |
| CN113920106B (zh) * | 2021-10-29 | 2024-05-10 | 吉林农业大学 | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 |
| CN113989391A (zh) * | 2021-11-11 | 2022-01-28 | 河北农业大学 | 基于rgb-d相机的动物体三维模型重构系统及方法 |
| CN113985438A (zh) * | 2021-11-12 | 2022-01-28 | 河北农业大学 | 一种植物三维模型重建系统及方法 |
| CN115908708A (zh) * | 2022-11-16 | 2023-04-04 | 南京农业大学 | 基于Kinect的植物群体全局三维重建方法 |
| CN115908708B (zh) * | 2022-11-16 | 2023-08-15 | 南京农业大学 | 基于Kinect的植物群体全局三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538666B (zh) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113538666B (zh) | 一种植物植株三维模型快速重建方法 | |
| CN111724433B (zh) | 一种基于多目视觉的作物表型参数提取方法及系统 | |
| Santos et al. | 3D plant modeling: localization, mapping and segmentation for plant phenotyping using a single hand-held camera | |
| CN110070571B (zh) | 一种基于深度相机的毛竹形态参数检测方法 | |
| CN109816680B (zh) | 一种农作物株高的高通量计算方法 | |
| Wu et al. | Passive measurement method of tree diameter at breast height using a smartphone | |
| Nguyen et al. | 3D scanning system for automatic high-resolution plant phenotyping | |
| CN108414454A (zh) | 一种植物三维结构及光谱信息的同步测量系统及测量方法 | |
| CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
| US20220277419A1 (en) | Image processing apparatus, image processing method, and program | |
| CN109816779A (zh) | 一种使用智能手机重建人工林森林模型获取单木参数的方法 | |
| CN113902812A (zh) | 一种基于多标定板的激光雷达与相机外参自动标定方法 | |
| Nguyen et al. | Comparison of structure-from-motion and stereo vision techniques for full in-field 3d reconstruction and phenotyping of plants: An investigation in sunflower | |
| CN106537454A (zh) | 用于图像的摄影测量处理的方法和系统 | |
| CN113554691B (zh) | 一种植株高度测量方法 | |
| CN116883480A (zh) | 基于双目影像与地基雷达融合点云的玉米株高检测方法 | |
| CN110610438B (zh) | 一种农作物冠层叶柄夹角计算方法及系统 | |
| Peng et al. | Binocular-vision-based structure from motion for 3-D reconstruction of plants | |
| Yang et al. | 3D reconstruction method for tree seedlings based on point cloud self-registration | |
| Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
| Xiang et al. | Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| Amean et al. | Automatic leaf segmentation and overlapping leaf separation using stereo vision | |
| CN114565720A (zh) | 一种基于线结构光旋转扫描的主动式三维重建系统及方法 | |
| CN110823311B (zh) | 一种快速估算油菜角果体积的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |