CN109584292A - 一种基于Kinect自主标定的果树三维形态测量系统 - Google Patents

一种基于Kinect自主标定的果树三维形态测量系统 Download PDF

Info

Publication number
CN109584292A
CN109584292A CN201811350325.7A CN201811350325A CN109584292A CN 109584292 A CN109584292 A CN 109584292A CN 201811350325 A CN201811350325 A CN 201811350325A CN 109584292 A CN109584292 A CN 109584292A
Authority
CN
China
Prior art keywords
kinect
fruit tree
point cloud
angle
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811350325.7A
Other languages
English (en)
Other versions
CN109584292B (zh
Inventor
孙国祥
魏立群
王凤杰
汪小旵
李玉花
孙晔
王延鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201811350325.7A priority Critical patent/CN109584292B/zh
Publication of CN109584292A publication Critical patent/CN109584292A/zh
Application granted granted Critical
Publication of CN109584292B publication Critical patent/CN109584292B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种果树三维形态测量系统,使用Kinect相机、直径10cm红黄蓝标定球各一个,实现Kinect自主标定,标定得到红黄蓝三球的球心,为多视角三维点云坐标统一奠定基础。使用Kinect对果树不同角度进行拍摄,采集多个视角下RGB‑D图像,确定Kinect相机内部参数,将采集的深度图转换为三维点云图。根据不同角度三色标定球的球心所在平面的法向量,将多视角下三维点云图进行位移以及旋转轴变换,选定初始参考坐标系,将其他视角下三维点云进行旋转角度逆变换,实现多视角三维点云统一坐标系,并进行均值迭代最近点法ICP精确配准,实现果树三维点云模型的精确重构。

Description

一种基于Kinect自主标定的果树三维形态测量系统
技术领域
本发明涉及果树冠层测量领域,尤其是一种基于Kinect自主标定果树三维形态测量系统。
背景技术
中国是世界上苹果生产大国之一,但是单位面积产量低、出口量小、果实品质较差,都是目前制约苹果产业发展的重要因素。因此,要想增强国内外苹果市场的竞争能力,提高苹果产业的经济效益,关键途径就是提升苹果果实品质。而冠层作为果树最先接触光照与外界环境的部分,是果树进行呼吸作用以及光合作用的主要场所。果树的冠层结构特征不仅塑造了植物形态各异的外观造型,同时也反映了果树的生长状况和果实的产量潜力。研发一种基于Kinect自主标定的果树冠层信息测量系统,通过计算机算法提取冠层信息作为相应指导,良好的果树冠层结构可以使冠层内部通风良好,透光率较高,有效地促进二氧化碳与叶幕之间的交换,提高果实的产量与质量。
发明内容
本发明旨在提供一种果树冠层信息的测量方法,使用Kinect相机、直径10cm红黄蓝标定球各一个,实现Kinect自主标定,标定得到红黄蓝三球的球心,为多视角三维点云坐标统一奠定基础。使用Kinect对果树不同角度进行拍摄,采集多个视角下RGB-D图像,确定Kinect相机内部参数,将采集的深度图转换为三维点云图。根据不同角度三色标定球的球心所在平面的法向量,将多视角下三维点云图进行位移以及旋转轴变换,选定初始参考坐标系,将其他视角下三维点云进行旋转角度逆变换,实现多视角三维点云统一坐标系,并进行均值迭代最近点法ICP精确配准,实现果树三维点云模型的精确重构。根据果树三维点云模型,计算果树三维几何形态信息:植株高度、最大宽幅、冠层体积、主干高度等果树相关参数。该发明测量方法具有精度高、速度快、可以测量人工无法精确测量的冠层体积等优点。
为实现上述目的,本发明提供如下技术方案:基于Kinect自主标定的果树冠层信息测量系统,包括220V移动电源、直径10cm的红黄蓝标定求各一个、固定标定球的支架、Kinect相机、测量软件等。
作为本发明的进一步方案:所述Kinect自主标定,在果树树干周围,用支架将三个标定球固定在离地面约10cm高度,使得相机所需要拍摄的角度三个小球均无遮挡。Kinect相机采集初始RGBD图,将Kinect相机移动到果树初始角度背面(称第二视角),再次采集RGBD图,采用包围盒法或颜色阈值法分割标定球点云图,并分别分割红黄蓝三个标定球区域点云,计算初始角度和反面角度时标定球球心坐标,分别为R1(x,y,z)、Y1(x,y,z)、(x,y,z)、R2(x,y,z)、Y2(x,y,z)、B2(x,y,z),并根据R1、Y1、B1和R2、Y2、B2,计算各角度内三个球心所确定的三角形的重心M1(x,y,z)、M2(x,y,z)。根据三个球心所确定的平面,计算该平面在M1、M2点的对应法向量p1(a,b,c)、p2(a,b,c)。根据两个角度的中心坐标M1、M2分别将其点云平移至Kinect坐标系原点O(0,0,0),并将法向量p1、p2旋转至Kinect坐标系Z轴(0,0,1),使其Z轴对齐,分别计算出p1、p2转轴变换旋转矩阵Rx1、Ry1和Rx2、Ry2。多视角果树三维点云均需要进行位移与转轴变换,初始三维点云不需要Z轴旋转变换,其他视角三维点云需要进行Z轴旋转逆变换,实现不同视角下,三维点云统一坐标系,完成粗配准,为三维点云精确配准奠定基础。
与现有技术相比,本发明的有益效果是:自主标定的果树冠层测量方法,采用Kinect相机与标定球结合方式,实现多视角RGBD图像采集,并且Kinect相机采用自主标定方式,实现多视角三维点云统一坐标系,为果树三维点云模型精确重构奠定基础,极大的提高了现有测量系统的集成度以及自动化水平。在成像系统中,采用自主支架搭建标定球,且搭建简单,易于拆改,具有速度快,适应性强,可重复使用的有点。
附图说明
图1工作场景图;
图2向量Z轴对齐示意图;
图3果树单视角点云显示;
图4标定球点云显示;
图5标定球球心平面法向量显示;
图6点云粗配准;
图7ICP精确配准点云;
图8冠层体积测量外包络图;
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示是具体采集点云的工作场景,本发明基于Kinect自主标定的果树冠层测量方法,根据果树的生长情况,选择冠层高度合适,园林里适合正面背面搭架Kinect三脚架进行拍摄的果树,以便采集果树的三维点云。图2为标定球安装示意图,搭建好标定球,必须使得将要拍摄的正反面三个标定球都能在采集的图像中显示,调节Kinect高度和远近距离以及拍摄角度,使得果树可以完整的在相机中显示,在果树正反面选择合适的位置采集两组数据。
果树测量系统软件流程主要分为4个阶段:Kinect自主标定阶段、图像采集阶段、图像预处理与重建阶段、果树冠层信息计算阶段。
如图2~4所示,Kinect自主标定阶段,在果树下方安置的直径为10cm的红色黄色蓝色三个标定小球围绕在树干周围。Kinect相机采集初始RGBD图(必须包含三个标定球的全部信息),将Kinect相机移至果树另一侧,再次采集RGBD图(同样必须包含三个标定球的全部信息),如图3所示,将采集的深度图转换为三维点云图。采用包围盒法或颜色阈值法分割采集的果树点云图,并分别分割红黄蓝三个标定球区域点云,分别计算初始角度和背面角度时三个标定球的球心坐标坐标,分别为R1(x,y,z)、Y1(x,y,z)、B1(x,y,z)、R2(x,y,z)、Y2(x,y,z)、B2(x,y,z),并根据R1、Y1、B1和R2、Y2、B2,计算各角度内三个球心所确定的三角形的重心M1(x,y,z)、M2(x,y,z)。根据三个球心所确定的平面,计算该平面在M1、M2点的对应法向量p1(a,b,c)、p2(a,b,c)。根据两个角度的中心坐标M1、M2分别将其点云平移至Kinect坐标系原点O(0,0,0),并将法向量p1、p2旋转至Kinect坐标系Z轴(0,0,1),分别计算出p1、p2转轴变换旋转矩阵Rx1、Ry1和Rx2、Ry2,先将向量p1、p2绕X轴旋转α度至XOY平面,旋转矩阵为Rx(α),再绕Y轴旋转β度至Z轴,旋转矩阵为Rz(β)。
式中:Rx(α)为绕X轴旋转的矩阵,其中α为旋转角度;(a,b,c)为三个标定球球心所在平面法向量;Rz(β)为绕y轴旋转的矩阵,其中γ为旋转角度;Ry(γ)为绕Y轴旋转的矩阵,其中γ为旋转角度。
如图4所示,为两个视角的标定球的点云参数,以便求得对应的球心坐标。
如图5所示,为球心所在的平面法向量以及局部放大图。
以下为举例说明植物三维点云模型重建数据提取计算方法。
如图6所示,在图像采集阶段,采两个(或者更多这里因为果园实地限制,只举例两个视角)视角下植物三维点云,分别为正面和背面或者更多个视角下果树三维点云。将两个视角下的点云通过上述平移旋转等变化,拼接到统一的点云图中获得果树的测配准点云图,可见这是双视角下的标定球的点云位置已经基本融合,这里为了区分初始视角和第二视角的点云,用红蓝两种颜色构建点云图。
如图7所示,由于粗配准过程中受一些因素影响(Kinect自身误差、果园复杂环境干扰、光线影响,标定球提取误差等),粗配准后的结果存在一定的误差,所以将双视角下的对应点进行迭代取均值,进行ICP精确配准,得到精确的果树三维点云模型。
果树冠层信息计算阶段,在重建的果树三维点云模型基础上,计算果树高度、最大宽幅、冠层体积等果树相关参数,具体计算方法如下:
根据三维点云最高点Z坐标最大点和最小点的差,计算的得到果树高度。根据分支可以得到树干高度,除去树干部分即可得果树冠层的三维点云。
根据果树三维点云在XOY平面上的投影,搜索边界距离最远的两个点,并计算两点距离,该距离为植物冠层最大宽幅。
如图8所示,冠层三维点云为外边界包络图,计算得到植物体积。
在本发明中主要保护采用Kinect自主标定实现果树三维点云模型重建的方法与系统。在三维点云模型基础上,进行三维点云模型几何形态学计算,以及点云的分割,得到果树各种表型参数。
在本次果树三维点云信息采集与计算保存测量数据后,将标定球安置在下一棵果树周围,用同样的方法进行后续果树的测量。

Claims (1)

1.一种基于Kinect自主标定的果树三维形态测量系统,其特征在于,搭建好标定球,必须使得将要拍摄的正反面三个标定球都能在采集的图像中显示,调节Kinect高度和远近距离以及拍摄角度,使得果树可以完整的在相机中显示,在果树正反面选择合适的位置采集两组数据;
果树测量系统软件流程主要分为4个阶段:Kinect自主标定阶段、图像采集阶段、图像预处理与重建阶段、果树冠层信息计算阶段;
Kinect自主标定阶段,在果树下方安置的直径为10cm的红色黄色蓝色三个标定小球围绕在树干周围;Kinect相机采集初始RGBD图(必须包含三个标定球的全部信息),将Kinect相机移至果树另一侧,再次采集RGBD图(同样必须包含三个标定球的全部信息);
将采集的深度图转换为三维点云图;采用包围盒法或颜色阈值法分割采集的果树点云图,并分别分割红黄蓝三个标定球区域点云,分别计算初始角度和背面角度时三个标定球的球心坐标坐标,分别为R1(x,y,z)、Y1(x,y,z)、B1(x,y,z)、R2(x,y,z)、Y2(x,y,z)、B2(x,y,z),并根据R1、Y1、B1和R2、Y2、B2,计算各角度内三个球心所确定的三角形的重心M1(x,y,z)、M2(x,y,z);根据三个球心所确定的平面,计算该平面在M1、M2点的对应法向量p1(a,b,c)、p2(a,b,c);根据两个角度的中心坐标M1、M2分别将其点云平移至Kinect坐标系原点O(0,0,0),并将法向量p1、p2旋转至Kinect坐标系Z轴(0,0,1),分别计算出p1、p2转轴变换旋转矩阵Rx1、Ry1和Rx2、Ry2,先将向量p1、p2绕X轴旋转α度至XOY平面,旋转矩阵为Rx(α),再绕Y轴旋转β度至Z轴,旋转矩阵为Rz(β);
式中:Rx(α)为绕X轴旋转的矩阵,其中α为旋转角度;(a,b,c)为三个标定球球心所在平面法向量;
Rz(β)为绕y轴旋转的矩阵,其中γ为旋转角度;Ry(γ)为绕Y轴旋转的矩阵,其中γ为旋转角度。
CN201811350325.7A 2018-11-14 2018-11-14 一种基于Kinect自主标定的果树三维形态测量系统 Expired - Fee Related CN109584292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811350325.7A CN109584292B (zh) 2018-11-14 2018-11-14 一种基于Kinect自主标定的果树三维形态测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811350325.7A CN109584292B (zh) 2018-11-14 2018-11-14 一种基于Kinect自主标定的果树三维形态测量系统

Publications (2)

Publication Number Publication Date
CN109584292A true CN109584292A (zh) 2019-04-05
CN109584292B CN109584292B (zh) 2022-04-19

Family

ID=65922319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811350325.7A Expired - Fee Related CN109584292B (zh) 2018-11-14 2018-11-14 一种基于Kinect自主标定的果树三维形态测量系统

Country Status (1)

Country Link
CN (1) CN109584292B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702028A (zh) * 2019-09-04 2020-01-17 中国农业机械化科学研究院 一种果园树干三维检测定位方法及装置
CN110910454A (zh) * 2019-10-11 2020-03-24 华南农业大学 一种牲畜三维重构移动式设备的自动标定配准方法
CN111429490A (zh) * 2020-02-18 2020-07-17 北京林业大学 一种基于标定球的农林作物三维点云配准方法
CN112036407A (zh) * 2020-07-30 2020-12-04 北京农业信息技术研究中心 一种植物群体三维表型原位获取方法及装置
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN113269673A (zh) * 2021-04-26 2021-08-17 西安交通大学 一种基于标准球架的三维点云拼接方法
CN113313741A (zh) * 2021-06-03 2021-08-27 广西大学 一种基于标定球的点云自配准方法
CN113751934A (zh) * 2021-10-15 2021-12-07 安迅捷智能机器人(宁夏)有限责任公司 定位系统及焊接系统、焊接方法、焊接形变测量方法
CN115908708A (zh) * 2022-11-16 2023-04-04 南京农业大学 基于Kinect的植物群体全局三维重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN105825171A (zh) * 2016-03-10 2016-08-03 江苏大学 一种基于rgb-d的树上果实快速识别定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279987A (zh) * 2013-06-18 2013-09-04 厦门理工学院 基于Kinect的物体快速三维建模方法
CN105825171A (zh) * 2016-03-10 2016-08-03 江苏大学 一种基于rgb-d的树上果实快速识别定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余秀丽: "基于Kinect的苹果树三维重建方法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110702028B (zh) * 2019-09-04 2020-09-15 中国农业机械化科学研究院 一种果园树干三维检测定位方法及装置
CN110702028A (zh) * 2019-09-04 2020-01-17 中国农业机械化科学研究院 一种果园树干三维检测定位方法及装置
CN110910454A (zh) * 2019-10-11 2020-03-24 华南农业大学 一种牲畜三维重构移动式设备的自动标定配准方法
CN110910454B (zh) * 2019-10-11 2020-08-07 华南农业大学 一种牲畜三维重构移动式设备的自动标定配准方法
CN111429490A (zh) * 2020-02-18 2020-07-17 北京林业大学 一种基于标定球的农林作物三维点云配准方法
CN112036407B (zh) * 2020-07-30 2024-02-06 北京农业信息技术研究中心 一种植物群体三维表型原位获取方法及装置
CN112036407A (zh) * 2020-07-30 2020-12-04 北京农业信息技术研究中心 一种植物群体三维表型原位获取方法及装置
CN112102415A (zh) * 2020-08-25 2020-12-18 中国人民解放军63919部队 基于标定球的深度相机外参数标定方法、装置及设备
CN113269673A (zh) * 2021-04-26 2021-08-17 西安交通大学 一种基于标准球架的三维点云拼接方法
CN113313741A (zh) * 2021-06-03 2021-08-27 广西大学 一种基于标定球的点云自配准方法
CN113313741B (zh) * 2021-06-03 2022-07-29 广西大学 一种基于标定球的点云自配准方法
CN113751934A (zh) * 2021-10-15 2021-12-07 安迅捷智能机器人(宁夏)有限责任公司 定位系统及焊接系统、焊接方法、焊接形变测量方法
CN113751934B (zh) * 2021-10-15 2024-05-28 安迅捷智能机器人(宁夏)有限责任公司 定位系统及焊接系统、焊接方法、焊接形变测量方法
CN115908708A (zh) * 2022-11-16 2023-04-04 南京农业大学 基于Kinect的植物群体全局三维重建方法
CN115908708B (zh) * 2022-11-16 2023-08-15 南京农业大学 基于Kinect的植物群体全局三维重建方法

Also Published As

Publication number Publication date
CN109584292B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN109584292A (zh) 一种基于Kinect自主标定的果树三维形态测量系统
CN103258345B (zh) 一种基于地面激光雷达三维扫描的树木枝干参数提取方法
CN109238168B (zh) 大尺寸测量件表面三维形状高精度测量方法
CN108629835A (zh) 基于高光谱、真彩图与点云互补的室内重建方法及系统
WO2019109383A1 (zh) 一种基于micro-CT和偏振-高光谱成像多特征融合的番茄苗期水分胁迫检测方法
CN104748677B (zh) 采用三维激光扫描方式测量植株形态的方法
CN108876926A (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
CN107230224A (zh) 三维虚拟服装模型制作方法及装置
CN109870118A (zh) 一种面向绿色植物时序模型的点云采集方法
CN109556511A (zh) 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统
CN109493422A (zh) 一种基于三维激光扫描技术的变电站三维模型构建方法
CN109920007A (zh) 基于多光谱光度立体与激光扫描的三维成像装置及方法
CN108053476A (zh) 一种基于分段三维重建的人体参数测量系统及方法
CN105608739B (zh) 数据和规则综合驱动的三维树木精细建模方法
CN107633518A (zh) 一种基于Kinect的产品外形检测方法
CN113538666B (zh) 一种植物植株三维模型快速重建方法
CN107067299A (zh) 虚拟试衣方法和系统
CN109584293A (zh) 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统
CN106643578B (zh) 一种基于点云数据的树干横断面轮廓曲线的断面积计算方法
CN108955520A (zh) 一种结构光三维扫描可达性分析方法及分析系统
CN109242951A (zh) 一种脸部实时三维重建方法
CN116051783A (zh) 一种基于多视角的大豆植株三维重建与形状分析方法
CN105550992B (zh) 一种三维全脸照相机中高保真全脸纹理融合方法
CN109859099A (zh) 基于sfm点云深度的盆栽玉米杂草快速去除方法
CN114659463B (zh) 一种植物表型采集装置及其采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220419