CN109584293A - 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统 - Google Patents

一种基于rgb-d视觉技术的温室作物三维形态全景测量系统 Download PDF

Info

Publication number
CN109584293A
CN109584293A CN201811351745.7A CN201811351745A CN109584293A CN 109584293 A CN109584293 A CN 109584293A CN 201811351745 A CN201811351745 A CN 201811351745A CN 109584293 A CN109584293 A CN 109584293A
Authority
CN
China
Prior art keywords
crop
information
panorama
rgb
dimensional configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811351745.7A
Other languages
English (en)
Inventor
孙国祥
汪小旵
赵进
孙晔
李玉花
丁永前
魏立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201811351745.7A priority Critical patent/CN109584293A/zh
Publication of CN109584293A publication Critical patent/CN109584293A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于RGB‑D视觉系统,采用Microsoft公司开发的Kinect V2 RGB‑D相机作为采集端,可以实时捕获1280×960像素的彩色图像和640×480像素的深度图像。经Matlab等相关软件中进行编译与处理,得到参数信息结果传输到显示界面终端,提供精准的群体形态参数为现代精准农业作物长势信息提供有力的技术支持。适用于自然光环境下温室群体作物三维形态模型构建与作物生长信息测量,是一种兼备精度高、适用性强、鲁棒性强的温室群体作物三维形态信息全景测量系统。

Description

一种基于RGB-D视觉技术的温室作物三维形态全景测量系统
技术领域
本发明涉及作物表型信息测量领域,尤其是一种温室作物三维形态信息全景测量系统。
背景技术
精准农业是一种综合技术,能够以最小的能源成本和环境污染提高作物产量。近年来,通过引进智能传感器技术和机器人技术等先进技术,精准农业得到了迅速发展。通过使用智能机器,农民手动进行的农作物种植和管理的传统农业的生产率得到显著提高。由于作物表型信息在现代精准农业育种、肥水一体化控制、作物品质检测以及作物产量预测中均起到重要决策依据,所以实现作物表型形态精准实时测量是现代精准农业智能化控制与管理中重大挑战之一。其中作物表型测量主要包括:株高、株宽、冠层投影面积、总叶面积、体积、茎秆直径等。随着传感器技术与计算机技术的发展,涉及三维信息已实现更好的测量精度和更详细的植物空间形态。在作物三维形态信息测量技术方面,有双目立体视觉技术、3D近红外扫描技术、激光雷达技术、光谱成像技术等。上述方法中实现作物外部表型特征参数测量或模型重建主要针对单株作物或单个器官,但即使在相同的生长环境下,其形态参数具有变异性,单株作物的表型形态参数不具有普遍性,不能完全代表复杂环境下温室作物群体形态参数。无法满足现代精准农业中对温室大区域多种类完整生长周期作物三维形态参数精准测量的需求,同时作物三维形态全景信息测量技术的滞后也已成为制约作物功能基因组学和分子育种发展的瓶颈。因此研制一套精准、实时、高效的温室作物三维形态全景测量系统的需求迫在眉睫,加速精准农业人工智能自动化管理、分子育种、病虫害管理等领域的发展。
发明内容
本发明研制一种基于RGB-D视觉系统,适用于自然光环境下温室群体作物三维形态模型构建与作物生长信息测量,是一种兼备精度高、适用性强、鲁棒性强的温室群体作物三维形态信息全景测量系统。
为实现上述目的,本发明采用Microsoft公司开发的KinectV2RGB-D相机作为采集端,可以实时捕获1280×960像素的彩色图像和640×480像素的深度图像。经Matlab等相关软件中进行编译与处理,得到参数信息结果传输到显示界面终端,提供精准的群体形态参数为现代精准农业作物长势信息提供有力的技术支持。
为实现温室作物形态信息参数全景测量,需将RGB-D视觉采集系统搭建在可移动式平台。可移动式平台采用STM32为主控制器,控制平台前进转弯等操作。在平台上安装支架用于调整Kinect V2测量高度,Kinect V2深度相机垂直向下45°方向摆放。距离作物60cm位置采集拍摄。移动平台行走过程中依据作物株距进行行走停滞操作,依次经过两侧作物进行图像采集,每采集一次数据信息集保存在同一个文件夹中,其中包括彩色图像、深度图像、近红外图像以及深度阈值参数等信息。
捕获图像信息经温室作物形态信息全景系统软件进行实时处理,处理步骤依次为:图像匹配、三维点云获取、三维点云预处理、三维点云特征提取、群体三维点云模型构建和生成群体作物形态参数全景分布信息。其中三维点云预处理主要包括:点云去噪处理和点云分割处理。三维点云特征提取参数主要包括:株高、株宽、作物点云量和作物体积。
与现有技术相比,本发明的有益效果是:温室作物三维点云全景测量系统,采用Kinect V2实现复杂光环境下温室作物群体三维点云模型的快速构建与形态信息参数的在线无损测量,满足现代精准农业中大区域多类型作物完整周期性测量的要求,是一套低成本、高精度、鲁棒性强的群体三维形态测量系统。
附图说明
图1为温室作物形态信息全景测量系统点云采集示意图;
图2为温室作物形态信息全景测量系统流程图;
图3为温室作物形态信息全景测量系统点云获取与预处理示意图;
图4为温室作物形态信息全景测量系统点云形态参数特征提取;
图5为温室作物群体三维点云可视化模型构建;
图6为温室作物形态信息全景分布图。
具体实施方式
本发明中温室作物形态信息全景测量系统实现群体作物三维形态自动化测量功能,其运行需要搭载智能可移动式平台上配合使用,即全景测量系统在移动平台行走过程中采集作物信息。在本发明中仅对温室作物三维形态信息全景测量系统实施例进行详细说明,智能移动平台系统不在本发明申请保护范围内。
下面结合附图,对本发明进一步的描述,但其不代表为本发明的唯一实施方式。
图1:可移动式平台待机初始位置1,KinectV2深度传感器2,定位地标3,系统采集群体点云行驶路线4,温室作物群5。
如图1所示,本发明中温室复杂光环境下群体作物三维点云采集示意图,RGB-D视觉系统搭载在可移动式平台在初始位置待机,根据温室作物位置及作物行间距规划移动平台行走路线,根据作物株距规划移动平台点位停靠地标标记点,控制计算机按照规划控制移动平台进行前进转弯等操作。在温室测试区中作物以矩阵形式平行放置。其中KinectV2通过万向支架连接搭建在移动平台可以实现角度调节功能,通过连接伸缩杆实现相机高度调节。经先验知识,本发明中KinectV2深度传感器采用镜头垂直向下45°,调节高度使拍摄距离为距作物冠层60cm处采集彩色图像与深度图像,同时存数坐标信息保存作物表型信息包中。本行间隙两侧作物信息均采集完成之后控制器控制平台转弯移动至另一行间隙上继续进行信息采集工作直至测试区所有作物采集完毕。采集完毕之后控制移动平台回到初始位置等待下一次周期性形态信息全景测量。
如图2所示,为温室作物形态信息全景测量系统整个实现流程。在试验开始之前对Kinect V2进行标定,使用12×9的棋盘格标定盘,基于Matlab环境Camera CalibrationToolbox分别对不同距离不同视角的多张彩色,近红外图像进行标定操作,通过角点标定获取彩色相机,深度相机的内,外参数,分别保存至相应参数数据集为后续图像匹配与空间点云获取提供数据支持。通过颜色信息和深度信息转换获取三维点云数据,捕获作物三维形态信息分别为:株高、株宽、点云量和体积。并结合人工测量值对全景测量系统测量数据建立回归模型并加以验证其精确性。其中人工测量形态信息包括为:株高、株宽、鲜重、干重、体积。进行表型研究与生物量研究。分别建立系统测量株高与人工测量株高和系统测量株宽与人工测量株宽的表型信息研究。分别建立点云量与鲜重,点云量与干重,点云量与体积,系统测量体积与鲜重,系统测量体积与干重和系统测量体积与生物量体积的生物量信息研究。
如图3所示,搭载在移动式平台的Kinect深度传感器每经过作物采集一次数据,其中由于Kinect自身结构中彩色摄像头与深度摄像头不在同一位置,导致采集到的图像范围有所差异,故需要进行匹配,即找到深度图像中的点所对应彩色图像中的像素值。RGB图像上的每个像素点都是三维空间点在某一二维平面上的投影,转换相对简单,只要进行坐标旋转R以及平移T两个运算,关系表达式如下:
其中彩色图像像素点变换公式:
经上述坐标转换,彩色图像与对应的深度图像进行匹配得到RGB-D图像,即兼备颜色信息和深度信息。从而根据颜色信息和深度信息结合空间转换关系获取温室作物三维点云模型,其中空间转换公式为:
获取的点云信息中包括植物部分与非植物部分。本发明中拟采用结合深度信息和颜色信息进行阈值分割提取植物点云部分。深度数据代表三维空间中物体的坐标,根据深度信息的不连续性可以有效分割,将非植物部分背景环境剔除。但在植物底部土壤附近由于位置相近依据深度信息很难精准分割,根据点云中G通道信息即绿色实现分割,本发明中G通道信息分割阈值设为20,对于绿色通道信息混淆的局部利用邻域加权法对局部颜色进行平滑处理。但是,经处理后的颜色信息仅作为分割的参考,而不是改变作物点云实际颜色,确保颜色细节可以保留用于其他目的。
如图4所示,在作物点云上进行作物形态特征参数的提取。本发明中提取的形态参数包括为:株高,株宽,点云量,体积。其中作物点云量指构建完整点云的点的数量。左图为利用点云最大外接盒法计算作物的株高和株宽。株高主要测量温室作物的绝对高度参数,即作物主茎基底部到植物冠层顶部的垂直高度。株宽为植物冠层左端到右端的最大水平距离。右图为构造三维点云空间的包络边界,求得边界包围的三维空间点云体积,其中本发明中包络边界的收缩因子为0.6。
如图5所示,为构建温室作物群体三维点云可视化模型。本发明基于人工交互方法获取温室作物群的群体参数。群体参数包括为:各作物间行距、各作物间株距、各作物生长方向平面角等。根据作物生长位置可以确定群体内各作物在生长平面XOY上坐标点(xi,yi),将点云沿Z轴生长方向旋转至相应的生长平面角计算旋转矩阵R,根据平面位置计算相应的平移矩阵T,即有:
Pi+1=RPi+T
原始点云Pi到目标点云Pi+1的变换过程如上述公式所示,经点云依次叠加实现温室作物群体点云可视化模型构建。
如图6所示,生成3行×8株作物群体点云,行距30cm,株距40cm。根据在作物点云上提取形态参数以及人工获取作物生物量参数分别建立作物群体株高全景信息图、作物群体株宽全景信息图、作物群体点云量全景信息图、作物群体鲜重全景信息图、作物群体干重全景信息图、作物群体生物量体积全景信息图和作物全体系统体积全景信息图。

Claims (1)

1.一种基于RGB-D视觉技术的温室作物三维形态全景测量系统,其特征在于,RGB-D视觉系统搭载在可移动式平台在初始位置待机,根据温室作物位置及作物行间距规划移动平台行走路线,根据作物株距规划移动平台点位停靠地标标记点,控制计算机按照规划控制移动平台进行前进转弯等操作;在温室测试区中作物以矩阵形式平行放置;其中Kinect V2通过万向支架连接搭建在移动平台可以实现角度调节功能,通过连接伸缩杆实现相机高度调节;Kinect V2深度传感器采用镜头垂直向下45°,调节高度使拍摄距离为距作物冠层60cm处采集彩色图像与深度图像,同时存数坐标信息保存作物表型信息包中;本行间隙两侧作物信息均采集完成之后控制器控制平台转弯移动至另一行间隙上继续进行信息采集工作直至测试区所有作物采集完毕,采集完毕之后控制移动平台回到初始位置等待下一次周期性形态信息全景测量。
CN201811351745.7A 2018-11-14 2018-11-14 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统 Pending CN109584293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811351745.7A CN109584293A (zh) 2018-11-14 2018-11-14 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811351745.7A CN109584293A (zh) 2018-11-14 2018-11-14 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统

Publications (1)

Publication Number Publication Date
CN109584293A true CN109584293A (zh) 2019-04-05

Family

ID=65922203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811351745.7A Pending CN109584293A (zh) 2018-11-14 2018-11-14 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统

Country Status (1)

Country Link
CN (1) CN109584293A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110006424A (zh) * 2019-04-10 2019-07-12 山东农业大学 一种基于田间的高通量作物表型机器人及其控制系统
CN110634161A (zh) * 2019-08-30 2019-12-31 哈尔滨工业大学(深圳) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN111551530A (zh) * 2020-04-23 2020-08-18 江苏大学 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置
CN111988599A (zh) * 2020-07-06 2020-11-24 恩施土家族苗族自治州林业科学研究院(恩施土家族苗族自治州林业科技推广站) 一种基于机器视觉的楠木育苗辅助装置和方法
CN113538321A (zh) * 2020-03-31 2021-10-22 华为技术有限公司 基于视觉的体积测量方法及终端设备
CN113834585A (zh) * 2021-09-24 2021-12-24 中国恩菲工程技术有限公司 还原炉内硅棒检测方法及系统、装置、介质及电子设备
US20220222836A1 (en) * 2021-01-12 2022-07-14 Hon Hai Precision Industry Co., Ltd. Method for determining height of plant, electronic device, and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439264A (zh) * 2013-08-15 2013-12-11 湖南农业大学 一种基于在线定位的茶树活体生育特征数据采集装置
CN107860366A (zh) * 2017-10-31 2018-03-30 南京农业大学 一种基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统
CN107869962A (zh) * 2017-10-31 2018-04-03 南京农业大学 一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统
WO2018108098A1 (zh) * 2016-12-14 2018-06-21 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103439264A (zh) * 2013-08-15 2013-12-11 湖南农业大学 一种基于在线定位的茶树活体生育特征数据采集装置
WO2018108098A1 (zh) * 2016-12-14 2018-06-21 国网江苏省电力公司常州供电公司 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN107860366A (zh) * 2017-10-31 2018-03-30 南京农业大学 一种基于多光谱空间雕刻技术的移动式温室作物信息测量与诊断系统
CN107869962A (zh) * 2017-10-31 2018-04-03 南京农业大学 一种基于空间雕刻技术的高通量设施作物三维形态信息测量系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110006424A (zh) * 2019-04-10 2019-07-12 山东农业大学 一种基于田间的高通量作物表型机器人及其控制系统
CN110006424B (zh) * 2019-04-10 2023-10-31 山东农业大学 一种基于田间的高通量作物表型机器人及其控制系统
CN110634161A (zh) * 2019-08-30 2019-12-31 哈尔滨工业大学(深圳) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN113538321A (zh) * 2020-03-31 2021-10-22 华为技术有限公司 基于视觉的体积测量方法及终端设备
CN111551530A (zh) * 2020-04-23 2020-08-18 江苏大学 一种作物群体冠层叶绿素荧光三维分布信息获取方法与装置
CN111988599A (zh) * 2020-07-06 2020-11-24 恩施土家族苗族自治州林业科学研究院(恩施土家族苗族自治州林业科技推广站) 一种基于机器视觉的楠木育苗辅助装置和方法
US20220222836A1 (en) * 2021-01-12 2022-07-14 Hon Hai Precision Industry Co., Ltd. Method for determining height of plant, electronic device, and storage medium
US11954875B2 (en) * 2021-01-12 2024-04-09 Hon Hai Precision Industry Co., Ltd. Method for determining height of plant, electronic device, and storage medium
CN113834585A (zh) * 2021-09-24 2021-12-24 中国恩菲工程技术有限公司 还原炉内硅棒检测方法及系统、装置、介质及电子设备
CN113834585B (zh) * 2021-09-24 2024-04-05 中国恩菲工程技术有限公司 还原炉内硅棒检测方法及系统、装置、介质及电子设备

Similar Documents

Publication Publication Date Title
CN109584293A (zh) 一种基于rgb-d视觉技术的温室作物三维形态全景测量系统
Guo et al. Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping
CN112418188B (zh) 基于无人机视觉的农作物生长全程数字化评估方法
CN108376419A (zh) 一种盆栽生菜的综合长势监测方法及装置
CN108981569A (zh) 一种基于多光谱点云融合的高通量温室植物表型测量系统
CN110221311A (zh) 基于tls和uav自动化提取高郁闭林分树高的方法
CN109084690A (zh) 基于无人机可见光遥感的作物株高计算方法
CN108414454A (zh) 一种植物三维结构及光谱信息的同步测量系统及测量方法
CN109816680A (zh) 一种农作物株高的高通量计算方法
CN110046613A (zh) 一种作物冠层原位生长表型监测装置及三维重建方法
CN109269645A (zh) 一种基于无人机可见光和热红外遥感的大田玉米冠层温度提取方法
CN113538666B (zh) 一种植物植株三维模型快速重建方法
CN118115882B (zh) 一种基于多源感知融合的农业机器人巡检识别方法
CN109816779A (zh) 一种使用智能手机重建人工林森林模型获取单木参数的方法
CN113920106A (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
Moreno et al. Proximal sensing for geometric characterization of vines: A review of the latest advances
CN109063638A (zh) 基于倾斜摄影预测废弃物产生量的方法、系统及介质
Yin et al. Individual tree parameters estimation for chinese fir (cunninghamia lanceolate (lamb.) hook) plantations of south china using UAV Oblique Photography: Possibilities and Challenges
CN113554691B (zh) 一种植株高度测量方法
Song et al. Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera
CN109883323A (zh) 一种田间作物表型参数的测量装置及方法
CN117635898A (zh) 面向作物动态表型提取的近景图像拼接方法
CN116883480A (zh) 基于双目影像与地基雷达融合点云的玉米株高检测方法
CN104809688A (zh) 基于仿射变换配准算法的羊体体尺测量方法及系统
CN113822896B (zh) 一种植物群体三维表型数据采集装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190405

WD01 Invention patent application deemed withdrawn after publication