CN113920106A - 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 - Google Patents
一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 Download PDFInfo
- Publication number
- CN113920106A CN113920106A CN202111267625.0A CN202111267625A CN113920106A CN 113920106 A CN113920106 A CN 113920106A CN 202111267625 A CN202111267625 A CN 202111267625A CN 113920106 A CN113920106 A CN 113920106A
- Authority
- CN
- China
- Prior art keywords
- corn
- camera
- image
- point cloud
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 240000008042 Zea mays Species 0.000 title claims abstract description 85
- 235000002017 Zea mays subsp mays Nutrition 0.000 title claims abstract description 85
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 title claims abstract description 82
- 235000005822 corn Nutrition 0.000 title claims abstract description 82
- 238000000691 measurement method Methods 0.000 title claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims description 36
- 241001057636 Dracaena deremensis Species 0.000 claims description 20
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 13
- 241000196324 Embryophyta Species 0.000 claims description 9
- 238000009395 breeding Methods 0.000 claims description 9
- 230000001488 breeding effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 229910052742 iron Inorganic materials 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 208000003643 Callosities Diseases 0.000 claims description 5
- 206010020649 Hyperkeratosis Diseases 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013016 damping Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 claims description 3
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 235000009973 maize Nutrition 0.000 claims description 3
- 238000003702 image correction Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 241000985694 Polypodiopsida Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于RGB‑D相机的玉米长势三维重构及茎粗测量方法，首先采集玉米生长前中期图像，然后采用离线与在线结合的研究方法，将彩色图像与点云数据结合，优化测量算法，获取玉米植株三维重构图，实现精确表型监测。本发明可以实现室外应用，无需图像校正，降低了算法复杂性，并且测量范围不会受相机基线影响。本发明可以实现闭合及阴影情况处理，提高了测量范围，成本较低。本发明采用车载式田间采集，USB口供电，相机体积小；采用在线和离线结合，获取数据多样，将二维图像与三维点云结合，将稀疏点云转化为稠密点云，提高测量精度，解决了现有测量精度不高，采集数据的传感器受光线、距离、时间等因素影响精度的问题。
Description
技术领域
本发明涉及精准农业的农田作物智能表型监测领域，具体为一种基于RGB-D相机的玉米长势三维重构及茎粗测量方法。
背景技术
目前，精准农业已成为农业可持续发展的重要途径，农田作物智能表型监测是精准农业的重要研究领域之一。高效的作物表型监测技术是育种学、基因组学、表型组学以及智能农田管理学研究的一个先决条件。“表型为王，基因为后”是表型相关领域的学者常挂在嘴边的一句话。对于育种和农业管理而言，表型分析是理解基因功能及环境效应的关键环节。在育种的整个进程中，表型监测不仅可对育种前期的室内种质筛选进行指导，而且能在后期推广种植中对品种的田间表现进行评估，表型监测能够加速整个育种进程，并为精准农业监测中的资源调控和管理策略制定提供重要的数据支撑。过去几十年，随着作物基因技术的发展，育种学家尝试去探索基因型和表型的关系。作物的特性和表型参数需要在较长的时间内被连续测量，许多参数的测量由人工完成，其测量方法落后、成本高、耗时费力。农作物表型监测已经成为精确化育种与智能农田管理领域的共性难题，也是瓶颈问题。然而，针对该领域的研究，目前国内外没有形成系统的知识体系。
玉米作为世界公认的黄金食品，也是吉林省主要粮食作物之一，对我国农业生产具有重要的经济价值；玉米也是食品、医疗、工业等的原料之一，具有广阔的发展和应用前景。通过监测玉米的茎、叶、株的生长情况可以间接地反映出玉米长势、抵抗病虫害、抗倒伏能力及产量等。本发明以玉米为研究对象，针对其生长期的小尺寸形态表型参数提取进行研究，旨在解决测量精度低，测量成本高，测量效率低的问题。表型参数分为形态学参数和生理学参数，形态学参数包括作物高度、茎粗、叶面积、叶角、茎秆长度等；生长期的茎、叶、杆对应的参数都属于小尺寸参数。
2010年后，多种传感器和技术被应用和融合，用于表型组学。以玉米的茎粗为例，现有的测量方法包括双目立体视觉系统、雷达/激光传感器及深度相机等。双目立体视觉系统对自然光照的鲁棒性较低，限制了其在室外的应用，且测量范围受相机基线影响，此外立体视觉系统需要图像的校正，计算量大，增加了算法复杂性。雷达/激光传感器难以处理闭合和阴影的情况，且价格昂贵。而基于深度相机技术的研究更具普遍性，但其仍存在小尺寸参数测量精度低，算法计算量大，便携度不高，数据单一等问题。
发明内容
针对上述现有技术中存在的不足，本发明基于RGB-D相机Intel Realsense，采集玉米生长期图像，采用离线与在线结合的研究方法，将彩色图像与点云数据结合，优化测量算法，获取玉米植株三维重构图，实现精确表型监测。
具体的，本发明一种基于RGB-D相机的玉米长势三维重构及茎粗测量方法，包括如下步骤：S1，车载田间图像在线采集
选取RGB-D相机Intel Realsense作为图像采集设备，提取玉米生长前中期的小尺寸表型参数，RGB-D相机Intel Realsense同时获取彩色图像、深度图像及3D点云数据；图像采集设备搭载于田间机械结构工程车上，原位采集图像数据；所述田间机械结构工程车整体呈n型，玉米植株位于其n型内部，RGB-D相机Intel Realsense位于工程车侧部并面向玉米植株，RGB-D相机Intel Realsense的预设摆放角度为自竖直面方向向玉米植株方向旋转40度，与植株的预设距离为60cm，工程车预设行进速度为8cm/s；
优选的，所述玉米生长前中期包括苗期，小喇叭口期，大喇叭口期，成熟期；所述小尺寸表型参数包括玉米生长前中期的茎、叶、秆对应的参数。
优选的，所述田间机械结构工程车整体呈n型，包括平行于玉米列且位于其两侧的结构相同的支腿部，支腿部包括三层安置台，上部、下部的安置台大小相同，在安置台的前端、后端分别连接有矩形框架，通过矩形框架连接并固定安置台，中部的安置台同样固定于矩形框架上，且前后两端分别延伸出矩形框架形成延伸安置部，在每个延伸安置部的下部通过两个减震装置连接有车轮，车轮面平行于玉米列；还包括顶部的n型连接结构，n型连接结构为在矩形板的四角分别设置两个与矩形框架平行的连接杆，两个平行的连接杆与对应的矩形框架的左右两侧杆配合并通过竖直方向间隔设置的多个螺孔形成可伸缩杆结构，玉米列位于矩形板的下部；在一侧的中部的安置台上安置RGB-D相机Intel Realsense，在其前端的延伸安置部上安置数据采集终端，数据采集终端通过USB连接线与RGB-D相机IntelRealsense连接向其供电。
进一步的，RGB-D相机Intel Realsense通过相机支架固定于中部的安置台，相机支架底部是一个带有螺孔的铁片，可用螺丝将其固定在安置台上，中部的安置台上有与相机支架铁片吻合的螺孔，根据测量需求改变相机位置；相机支架与相机连接处设置有滚珠结构以调节相机倾斜角度。
进一步的，所述中部的安置台可根据玉米的株高、叶宽等改变高度，中部的安置台通过螺丝固定于矩形框架两侧杆上，矩形框架两侧杆在竖直方向间隔设置有螺孔。
S2，进行离线二维彩色图像处理
对采集的玉米彩色图像进行处理，实现对玉米待测小尺寸部位的定位；总体流程包括颜色空间选择、图像分割、图像二值化、形态学处理、骨架化处理、确定待测部位及坐标；所述颜色空间选择具体为：选择（Y, Cr, Cg）作为颜色空间，选择Cg分量作为颜色特征，Y表示图像的亮度分量，Cr，Cg分别表示红色分量和绿色分量与光照亮度的差异；所述图像分割具体为：选择位于彩色图像中部的玉米植株进行分割处理，以Cg分量为输入，选用最大类间方差法对图像进行分割，将图像分成前景和背景两部分，易于提取目标区域；所述图像二值化具体为：设定感兴趣区域ROI，包含部分地面信息及叶片信息，对感兴趣区域ROI内的图像进行二值化处理，即将像素点的灰度值设置成0或255，使图像呈现出明显的黑白效果，凸显出目标区域轮廓；所述形态学处理具体为：将二值化处理后的玉米图像通过形态学腐蚀处理，割断茎秆与底层叶片的连接，通过腐蚀算法计算图像各区域面积，剔除小于阈值的部分；将图像中保留的区域进行膨胀处理，并保留图像中面积最大的区域，有效获取玉米主干；所述图像骨架化具体为：对玉米主干进行单点细化操作，即利用一个以细化目标点为中心的8邻域系统扫描二值化图像，若满足细化条件则进行标记，当对图像中所有边界点检验完毕后，将标记的点删除；将单点细化过的图像进一步以细化目标点为中心的8邻域系统对像素点进行二次扫描，若满足细化条件则进行二次标记，当图像中所有边界点检验完毕后，将标记的点删除；最终实现骨架化处理，提取玉米茎秆骨架，以更精确地确定茎秆待测部位；所述确定待测部位及坐标具体为：保留玉米茎秆待测部分的彩色图像坐标，用于后续与点云数据进行坐标配准；
S3，进行离线三维图像数据处理
为提高测量的精度，将稀疏点云转化为稠密点云，以解决小尺寸表型参数测量中精度低的问题；在Linux系统下配置CUDA环境，研究开发基于Elasticfusion的点云处理及点云三维重构算法；即通过RGB-D图像配准计算位姿，输入点云数据进行帧和Sufuel模型投影配准计算相机位姿；通过计算相机位姿，判断误差是否大于设定阈值，若误差大于设定阈值，则表示跟踪失败，启动重定位算法，若误差小于设定阈值，则进入回环检测；若存在回环，则进行位姿估计，抽取Deformation graph上的节点建立约束并按时间关系优化，根据当前帧的位姿，将点云数据与回环检测中重建好的每一帧的点云图像做融合，融合到全局模型后对下一帧图像配准，直至所有的图像配准完毕，从而实现作物的三维重构；在三维重构图中获取两种数据信息，即获取玉米植株茎、叶、杆等的姿态信息与三维点云文件，通过CloudCompare软件导入两个三维重构后得到的点云文件将其配准即可输出获取待测部位的三维坐标信息。
S4，进行离线坐标配准与点云拟合
将针对二维彩色图像处理后的待测区域坐标数据，与针对三维图像数据处理后获取的待测区域的三维坐标数据对应配准，配准后的坐标通过拟合算法（如最小二乘法）获得最终的表型参数值；
优选的，玉米主干点云数据通常包含一些离群噪声点，会对拟合结果造成干扰，采用K-nearest方法对点云数据进行滤波去噪。
优选的，还包括确定茎粗的步骤，定位划分玉米茎横截面区域，玉米茎的横截面近似椭圆，利用拟合算法（如最小二乘法）将对应后的坐标进行椭圆拟合，根据约束条件求解椭圆方程，从而获取其长轴和短轴参数等同于玉米茎粗，实现茎粗测量。
S5，表型参数精确化获取方法试验验证与优化
为验证表型参数精确化获取方法的准确性和鲁棒性，需要进行田间试验验证，将本方法获取的表型参数值与人工测量结果进行比较，验证方法的可行性及精度，若达不到预期精度则进行优化与结果分析。
优选的，算法的准确性验证，包括相机摆放角度、相机与植株距离、行进速度对结果准确性的影响，在田间试验中，根据结果反复优化以上预设数据，以此来降低测量中可能引起的系统误差和累积误差。
优选的，算法的鲁棒性验证，选择东北地区玉米的生长前中期，分别在晴天、阴天、雨天等不同的作业条件下进行测试，验证算法的鲁棒性；通过对比实际人工测量的结果，验证准确性，根据测试结果，反复优化算法，达到育种专家对于玉米生长前中期小尺寸表型参数获取精度的要求。
有益效果：
本发明可以实现室外应用，无需图像校正，降低了算法复杂性，并且测量范围不会受相机基线影响。本发明可以实现闭合及阴影情况处理，提高了测量范围，成本较低。
本发明采用车载式田间采集，USB口供电，相机体积小；采用在线和离线结合，获取数据多样，将二维图像与三维点云结合，将稀疏点云转化为稠密点云，提高测量精度，解决了现有测量精度不高，采集数据的传感器受光线、距离、时间等因素影响精度的问题。
附图说明
图1是本发明实施技术路线图；
图2是本发明田间机械结构工程车结构图；
图3是本发明三维重构效果图。
具体实施方式
下面结合本发明实施例中的附图，对本发明的技术方案进行更为详细的描述。
如图1所示，一种基于RGB-D相机的玉米长势三维重构及茎粗测量方法，包括如下步骤：S1，车载田间图像在线采集
选取RGB-D相机Intel Realsense作为图像采集设备，提取玉米生长前中期的小尺寸表型参数，RGB-D相机Intel Realsense同时获取彩色图像、深度图像及3D点云数据；图像采集设备搭载于车载式平台，即以田间机械结构工程车为载体，原位采集图像数据；所述田间机械结构工程车整体呈n型，玉米植株位于其n型内部，RGB-D相机Intel Realsense位于工程车侧部并面向玉米植株，RGB-D相机Intel Realsense的预设摆放角度为自竖直面方向向玉米植株方向旋转40度（图1中为自竖直面方向向玉米植株方向旋转40度为顺时针），与植株的预设距离为60cm，工程车预设行进速度为8cm/s；
所述玉米生长前中期包括苗期，小喇叭口期，大喇叭口期，成熟期。
所述小尺寸表型参数包括玉米生长前中期的茎、叶、秆对应的参数。
优选的，如图2所示，所述田间机械结构工程车整体呈n型，包括平行于玉米列（成列种植的玉米）且位于其两侧的结构相同的支腿部，支腿部包括三层安置台，上部、下部的安置台大小相同，在安置台的前端、后端分别连接有矩形框架，通过矩形框架连接并固定安置台，中部的安置台同样固定于矩形框架上，且前后两端分别延伸出矩形框架形成延伸安置部，即中部的安置台长度大于上部、下部的安置台，在每个延伸安置部的下部通过两个减震装置（减震装置的设置是为了防止田间机械结构工程车抖动而产生误差）连接有车轮，车轮面平行于玉米列，即行进方向沿着玉米列；还包括顶部的n型连接结构，n型连接结构为在矩形板的四角分别设置两个与矩形框架平行的连接杆，两个平行的连接杆与对应的矩形框架的左右两侧杆配合并通过竖直方向间隔设置的多个螺孔形成可伸缩杆结构，以此改变车体的高度，玉米列位于矩形板的下部；在一侧的中部的安置台上安置RGB-D相机IntelRealsense，在其前端的延伸安置部上安置数据采集终端，数据采集终端通过USB连接线与RGB-D相机Intel Realsense连接向其供电；图1中，相机摆放角度以与车体中平行于车轮的平面的顺时针40度倾角为预设角度。
进一步的，RGB-D相机Intel Realsense通过相机支架固定于中部的安置台，相机支架底部是一个带有螺孔的铁片，可用螺丝将其固定在安置台上，中部的安置台上有与相机支架铁片吻合的螺孔，根据测量需求改变相机位置；相机支架与相机连接处设置有滚珠结构以调节相机倾斜角度。
进一步的，所述中部的安置台可根据玉米的株高、叶宽等改变高度，中部的安置台通过螺丝固定于矩形框架两侧杆上，矩形框架两侧杆在竖直方向间隔设置有螺孔。
S2，进行离线二维彩色图像处理
对采集的玉米彩色图像进行处理，实现对玉米待测小尺寸部位的定位；总体流程包括颜色空间选择、图像分割、图像二值化、形态学处理、骨架化处理、确定待测部位及坐标；
所述颜色空间选择具体为：选择（Y, Cr, Cg）作为颜色空间，选择Cg分量作为颜色特征，Y表示图像的亮度分量，Cr，Cg分别表示红色分量和绿色分量与光照亮度的差异；
玉米彩色图像中存在植株阴影的干扰，应用常规的RGB颜色空间对图像进行分割处理容易造成误识别；
所述图像分割具体为：选择位于彩色图像中部的玉米植株进行分割处理，以Cg分量为输入，选用最大类间方差法对图像进行分割，将图像分成前景和背景两部分，易于提取目标区域；
所述图像二值化具体为：设定感兴趣区域ROI（region of interest），包含部分地面信息及叶片信息，对感兴趣区域ROI内的图像进行二值化处理，即将像素点的灰度值设置成0或255，使图像呈现出明显的黑白效果，凸显出目标区域轮廓；
所述形态学处理具体为：将二值化处理后的玉米图像通过形态学腐蚀处理，割断茎秆与底层叶片的连接，通过腐蚀算法计算图像各区域面积，剔除小于阈值的部分；将图像中保留的区域进行膨胀处理，并保留图像中面积最大的区域，有效获取玉米主干；
所述图像骨架化具体为：对玉米主干进行单点细化操作，即利用一个以细化目标点为中心的8邻域系统扫描二值化图像，若满足细化条件则进行标记，当对图像中所有边界点检验完毕后，将标记的点删除；将单点细化过的图像进一步以细化目标点为中心的8邻域系统对像素点进行二次扫描，若满足细化条件则进行二次标记，当图像中所有边界点检验完毕后，将标记的点删除；最终实现骨架化处理，提取玉米茎秆骨架，以更精确地确定茎秆待测部位；
所述确定待测部位及坐标具体为：保留玉米茎秆待测部分的彩色图像坐标，用于后续与点云数据进行坐标配准；
S3，进行离线三维图像数据处理
RGB-D相机Intel Realsense除了获取彩色图像外，还可同时获取玉米植株的深度图像及3D点云数据，为提高测量的精度，将稀疏点云转化为稠密点云，以解决小尺寸表型参数测量中精度低的问题；具体的，在Linux系统下配置CUDA环境，研究开发基于Elasticfusion的点云处理及点云三维重构算法；即通过RGB-D图像配准计算位姿，输入点云数据进行帧和Sufuel模型投影配准计算相机位姿；通过计算相机位姿，判断误差是否大于设定阈值，若误差大于设定阈值，则表示跟踪失败，启动重定位算法（Random Ferns算法），若误差小于设定阈值，则进入回环检测；若存在回环，则进行位姿估计，抽取Deformation graph上的节点建立约束并按时间关系优化，根据当前帧的位姿，将点云数据与回环检测中重建好的每一帧的点云图像做融合，融合到全局模型后对下一帧图像配准，直至所有的图像配准完毕，从而实现作物的三维重构；在三维重构图中获取两种数据信息，即获取玉米植株茎、叶、杆等的姿态信息与三维点云文件，通过CloudCompare软件导入两个三维重构后得到的点云文件将其配准即可输出获取待测部位的三维坐标信息（导入两个相同的点云文件，才可以满足这个软件获取三维坐标的条件），如图3所示。
S4，进行离线坐标配准与点云拟合
将针对二维彩色图像处理后的待测区域坐标数据，与针对三维图像数据处理后获取的待测区域的三维坐标数据对应配准，配准后的坐标通过拟合算法（如最小二乘法）获得最终的表型参数值；
优选的，玉米主干点云数据通常包含一些离群噪声点，会对拟合结果造成干扰，采用K-nearest方法对点云数据进行滤波去噪。
优选的，还包括确定茎粗的步骤，定位划分玉米茎横截面区域，玉米茎的横截面近似椭圆，利用拟合算法（如最小二乘法）将对应后的坐标进行椭圆拟合，根据约束条件求解椭圆方程，从而获取其长轴和短轴参数等同于玉米茎粗，实现茎粗测量。
S5，表型参数精确化获取方法试验验证与优化
为验证表型参数精确化获取方法的准确性和鲁棒性，需要进行田间试验验证，将本方法获取的表型参数值与人工测量结果进行比较，验证方法的可行性及精度，若达不到预期精度则进行优化与结果分析。
优选的，算法的准确性验证，包括相机摆放角度、相机与植株距离、行进速度对结果准确性的影响，在田间试验中，根据结果反复优化以上预设数据，以此来降低测量中可能引起的系统误差和累积误差。
优选的，算法的鲁棒性验证，选择东北地区玉米的生长前中期，分别在晴天、阴天、雨天等不同的作业条件下进行测试，验证算法的鲁棒性；通过对比实际人工测量的结果，验证准确性，根据测试结果，反复优化算法，达到育种专家对于玉米生长前中期小尺寸表型参数获取精度的要求。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (8)
1.一种基于RGB-D相机的玉米长势三维重构及茎粗测量方法，其特征在于，包括如下步骤：S1，车载田间图像在线采集
选取RGB-D相机Intel Realsense作为图像采集设备，提取玉米生长前中期的小尺寸表型参数，RGB-D相机Intel Realsense同时获取彩色图像、深度图像及3D点云数据；图像采集设备搭载于田间机械结构工程车上，原位采集图像数据；所述田间机械结构工程车整体呈n型，玉米植株位于其n型内部，RGB-D相机Intel Realsense位于工程车侧部并面向玉米植株，RGB-D相机Intel Realsense的预设摆放角度为自竖直面方向向玉米植株方向旋转40度，与植株的预设距离为60cm，工程车预设行进速度为8cm/s；
S2，进行离线二维彩色图像处理
对采集的玉米彩色图像进行处理，实现对玉米待测小尺寸部位的定位；总体流程包括颜色空间选择、图像分割、图像二值化、形态学处理、骨架化处理、确定待测部位及坐标；所述颜色空间选择具体为：选择（Y, Cr, Cg）作为颜色空间，选择Cg分量作为颜色特征，Y表示图像的亮度分量，Cr，Cg分别表示红色分量和绿色分量与光照亮度的差异；所述图像分割具体为：选择位于彩色图像中部的玉米植株进行分割处理，以Cg分量为输入，选用最大类间方差法对图像进行分割，将图像分成前景和背景两部分，易于提取目标区域；所述图像二值化具体为：设定感兴趣区域ROI，包含部分地面信息及叶片信息，对感兴趣区域ROI内的图像进行二值化处理，即将像素点的灰度值设置成0或255，使图像呈现出明显的黑白效果，凸显出目标区域轮廓；所述形态学处理具体为：将二值化处理后的玉米图像通过形态学腐蚀处理，割断茎秆与底层叶片的连接，通过腐蚀算法计算图像各区域面积，剔除小于阈值的部分；将图像中保留的区域进行膨胀处理，并保留图像中面积最大的区域，有效获取玉米主干；所述图像骨架化具体为：对玉米主干进行单点细化操作，即利用一个以细化目标点为中心的8邻域系统扫描二值化图像，若满足细化条件则进行标记，当对图像中所有边界点检验完毕后，将标记的点删除；将单点细化过的图像进一步以细化目标点为中心的8邻域系统对像素点进行二次扫描，若满足细化条件则进行二次标记，当图像中所有边界点检验完毕后，将标记的点删除；最终实现骨架化处理，提取玉米茎秆骨架，以更精确地确定茎秆待测部位；所述确定待测部位及坐标具体为：保留玉米茎秆待测部分的彩色图像坐标，用于后续与点云数据进行坐标配准；
S3，进行离线三维图像数据处理
为提高测量的精度，将稀疏点云转化为稠密点云，以解决小尺寸表型参数测量中精度低的问题；在Linux系统下配置CUDA环境，研究开发基于Elasticfusion的点云处理及点云三维重构算法；即通过RGB-D图像配准计算位姿，输入点云数据进行帧和Sufuel模型投影配准计算相机位姿；通过计算相机位姿，判断误差是否大于设定阈值，若误差大于设定阈值，则表示跟踪失败，启动重定位算法，若误差小于设定阈值，则进入回环检测；若存在回环，则进行位姿估计，抽取Deformation graph上的节点建立约束并按时间关系优化，根据当前帧的位姿，将点云数据与回环检测中重建好的每一帧的点云图像做融合，融合到全局模型后对下一帧图像配准，直至所有的图像配准完毕，从而实现作物的三维重构；在三维重构图中获取两种数据信息，即获取玉米植株茎、叶、杆的姿态信息与三维点云文件，通过CloudCompare软件导入两个三维重构后得到的点云文件将其配准即可输出获取待测部位的三维坐标信息；
S4，进行离线坐标配准与点云拟合
将针对二维彩色图像处理后的待测区域坐标数据，与针对三维图像数据处理后获取的待测区域的三维坐标数据对应配准，配准后的坐标通过拟合算法获得最终的表型参数值；
S5，表型参数精确化获取方法试验验证与优化
为验证表型参数精确化获取方法的准确性和鲁棒性，需要进行田间试验验证，将本方法获取的表型参数值与人工测量结果进行比较，验证方法的可行性及精度，若达不到预期精度则进行优化与结果分析。
2.根据权利要求1所述的测量方法，其特征在于，所述玉米生长前中期包括苗期，小喇叭口期，大喇叭口期；所述小尺寸表型参数包括玉米生长前中期的茎、叶、秆对应的参数。
3.根据权利要求1或2所述的测量方法，其特征在于，所述田间机械结构工程车整体呈n型，包括平行于玉米列且位于其两侧的结构相同的支腿部，支腿部包括三层安置台，上部、下部的安置台大小相同，在安置台的前端、后端分别连接有矩形框架，通过矩形框架连接并固定安置台，中部的安置台同样固定于矩形框架上，且前后两端分别延伸出矩形框架形成延伸安置部，在每个延伸安置部的下部通过两个减震装置连接有车轮，车轮面平行于玉米列；还包括顶部的n型连接结构，n型连接结构为在矩形板的四角分别设置两个与矩形框架平行的连接杆，两个平行的连接杆与对应的矩形框架的左右两侧杆配合并通过竖直方向间隔设置的多个螺孔形成可伸缩杆结构，玉米列位于矩形板的下部；在一侧的中部的安置台上安置RGB-D相机Intel Realsense，在其前端的延伸安置部上安置数据采集终端，数据采集终端通过USB连接线与RGB-D相机Intel Realsense连接向其供电。
4.根据权利要求3所述的测量方法，其特征在于，RGB-D相机Intel Realsense通过相机支架固定于中部的安置台，相机支架底部是一个带有螺孔的铁片，可用螺丝将其固定在安置台上，中部的安置台上有与相机支架铁片吻合的螺孔，根据测量需求改变相机位置；相机支架与相机连接处设置有滚珠结构以调节相机倾斜角度。
5.根据权利要求3所述的测量方法，其特征在于，所述中部的安置台可根据玉米的株高、叶宽改变高度，中部的安置台通过螺丝固定于矩形框架两侧杆上，矩形框架两侧杆在竖直方向间隔设置有螺孔。
6.根据权利要求1所述的测量方法，其特征在于，步骤S4中，还包括确定茎粗的步骤，定位划分玉米茎横截面区域，玉米茎的横截面近似椭圆，利用拟合算法将对应后的坐标进行椭圆拟合，根据约束条件求解椭圆方程，从而获取其长轴和短轴参数等同于玉米茎粗。
7.根据权利要求1或6所述的测量方法，其特征在于，步骤S4中，玉米主干点云数据通常包含一些离群噪声点，会对拟合结果造成干扰，采用K-nearest方法对点云数据进行滤波去噪。
8.根据权利要求1所述的测量方法，其特征在于，步骤S5中，算法的准确性验证，包括相机摆放角度、相机与植株距离、行进速度对结果准确性的影响，在田间试验中，根据结果反复优化以上预设数据，以此来降低测量中引起的系统误差和累积误差；算法的鲁棒性验证，选择东北地区玉米的生长前中期，分别在晴天、阴天、雨天不同的作业条件下进行测试，验证算法的鲁棒性；通过对比实际人工测量的结果，验证准确性，根据测试结果，反复优化算法，达到育种专家对于玉米生长前中期小尺寸表型参数获取精度的要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267625.0A CN113920106B (zh) | 2021-10-29 | 2021-10-29 | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111267625.0A CN113920106B (zh) | 2021-10-29 | 2021-10-29 | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113920106A true CN113920106A (zh) | 2022-01-11 |
| CN113920106B CN113920106B (zh) | 2024-05-10 |
Family
ID=79243303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111267625.0A Active CN113920106B (zh) | 2021-10-29 | 2021-10-29 | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920106B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457030A (zh) * | 2022-10-27 | 2022-12-09 | 浙江托普云农科技股份有限公司 | 基于图像技术的作物茎粗测量方法及其应用 |
| CN115927704A (zh) * | 2022-07-27 | 2023-04-07 | 湖南农业大学 | 与玉米茎秆长度紧密连锁的分子标记及其应用 |
| CN117893695A (zh) * | 2024-03-15 | 2024-04-16 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109708578A (zh) * | 2019-02-25 | 2019-05-03 | 中国农业科学院农业信息研究所 | 一种植株表型参数测量装置、方法及系统 |
| US20190259108A1 (en) * | 2018-02-20 | 2019-08-22 | Osram Gmbh | Controlled Agricultural Systems and Methods of Managing Agricultural Systems |
| CN110969654A (zh) * | 2018-09-29 | 2020-04-07 | 北京瑞智稷数科技有限公司 | 基于收割机的玉米高通量表型测量的方法及装置、收割机 |
| CN112036407A (zh) * | 2020-07-30 | 2020-12-04 | 北京农业信息技术研究中心 | 一种植物群体三维表型原位获取方法及装置 |
| CN113538666A (zh) * | 2021-07-22 | 2021-10-22 | 河北农业大学 | 一种植物植株三维模型快速重建方法 |
-
2021
- 2021-10-29 CN CN202111267625.0A patent/CN113920106B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259108A1 (en) * | 2018-02-20 | 2019-08-22 | Osram Gmbh | Controlled Agricultural Systems and Methods of Managing Agricultural Systems |
| CN110969654A (zh) * | 2018-09-29 | 2020-04-07 | 北京瑞智稷数科技有限公司 | 基于收割机的玉米高通量表型测量的方法及装置、收割机 |
| CN109708578A (zh) * | 2019-02-25 | 2019-05-03 | 中国农业科学院农业信息研究所 | 一种植株表型参数测量装置、方法及系统 |
| CN112036407A (zh) * | 2020-07-30 | 2020-12-04 | 北京农业信息技术研究中心 | 一种植物群体三维表型原位获取方法及装置 |
| CN113538666A (zh) * | 2021-07-22 | 2021-10-22 | 河北农业大学 | 一种植物植株三维模型快速重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 仇瑞承;张漫;魏爽;李世超;李民赞;刘刚;: "基于RGB-D相机的玉米茎粗测量方法", 农业工程学报, no. 1, 15 February 2017 (2017-02-15) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115927704A (zh) * | 2022-07-27 | 2023-04-07 | 湖南农业大学 | 与玉米茎秆长度紧密连锁的分子标记及其应用 |
| CN115457030A (zh) * | 2022-10-27 | 2022-12-09 | 浙江托普云农科技股份有限公司 | 基于图像技术的作物茎粗测量方法及其应用 |
| CN115457030B (zh) * | 2022-10-27 | 2023-03-24 | 浙江托普云农科技股份有限公司 | 基于图像技术的作物茎粗测量方法、装置及其应用 |
| CN117893695A (zh) * | 2024-03-15 | 2024-04-16 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
| CN117893695B (zh) * | 2024-03-15 | 2024-06-04 | 浙江托普云农科技股份有限公司 | 任意株高三维重建方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113920106B (zh) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Crop 3D—a LiDAR based platform for 3D high-throughput crop phenotyping | |
| CN113920106B (zh) | 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法 | |
| Zermas et al. | 3D model processing for high throughput phenotype extraction–the case of corn | |
| Duan et al. | Dynamic quantification of canopy structure to characterize early plant vigour in wheat genotypes | |
| Lati et al. | Estimating plant growth parameters using an energy minimization-based stereovision model | |
| CN105547152A (zh) | 农作物表型田间高通量主动测量装置与方法 | |
| Adhikari et al. | 3D reconstruction of apple trees for mechanical pruning | |
| Karkee et al. | A method for three-dimensional reconstruction of apple trees for automated pruning | |
| CN109360236B (zh) | 一种向日葵花盘尺寸测量方法 | |
| CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
| Zhang et al. | Estimating plant distance in maize using Unmanned Aerial Vehicle (UAV) | |
| CN110610438B (zh) | 一种农作物冠层叶柄夹角计算方法及系统 | |
| CN103278503A (zh) | 一种基于多传感器技术的葡萄水分胁迫诊断方法及系统 | |
| Zermas et al. | Extracting phenotypic characteristics of corn crops through the use of reconstructed 3D models | |
| CN109827503B (zh) | 一种田间作物精准定位方法和装置 | |
| Zhu et al. | A calculation method of phenotypic traits based on three-dimensional reconstruction of tomato canopy | |
| Miao et al. | Measurement method of maize morphological parameters based on point cloud image conversion | |
| Miao et al. | Banana plant counting and morphological parameters measurement based on terrestrial laser scanning | |
| CN113554691B (zh) | 一种植株高度测量方法 | |
| Song et al. | Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera | |
| Wang et al. | Automatic estimation of trunk cross sectional area using deep learning | |
| He et al. | A calculation method of phenotypic traits of soybean pods based on image processing technology | |
| Ma et al. | A method for calculating and simulating phenotype of soybean based on 3D reconstruction | |
| Potena et al. | Suckers emission detection and volume estimation for the precision farming of hazelnut orchards | |
| Jiang et al. | Navigation path curve extraction method based on depth image for combine harvester |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhou Jing Inventor after: Wu Yushan Inventor after: Li Jiawen Inventor after: Hou Lixin Inventor after: Gao Yudi Inventor after: Tang Yijia Inventor after: Wu Min Inventor after: Meng Keying Inventor after: Chen Zhiya Inventor after: Cui Mingren Inventor before: Zhou Jing |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |