CN114659463A - 一种植物表型采集装置及其采集方法 - Google Patents

一种植物表型采集装置及其采集方法 Download PDF

Info

Publication number
CN114659463A
CN114659463A CN202210247520.7A CN202210247520A CN114659463A CN 114659463 A CN114659463 A CN 114659463A CN 202210247520 A CN202210247520 A CN 202210247520A CN 114659463 A CN114659463 A CN 114659463A
Authority
CN
China
Prior art keywords
point cloud
module
plant
imaging chamber
rotating platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210247520.7A
Other languages
English (en)
Other versions
CN114659463B (zh
Inventor
兰玉彬
刘圣搏
王乐乐
陈海波
赵英杰
王朝锋
王从越
熊章钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202210247520.7A priority Critical patent/CN114659463B/zh
Publication of CN114659463A publication Critical patent/CN114659463A/zh
Application granted granted Critical
Publication of CN114659463B publication Critical patent/CN114659463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种植物表型采集装置及其方法，包括：成像室、旋转台、摄像模块、处理器模块、控制模块；处理器模块分别与旋转台、摄像模块、控制模块连接；成像室通过伸缩机架模块和遮光模块形成封闭式可折叠成像室；旋转台设置在成像室内，用于固定待检测植物，并将其进行旋转运动；摄像模块设置在成像室内部上方，用于采集待检测植物多方位图像数据；处理器模块通过控制模块控制旋转台按预设角度旋转、以及控制摄像模块启动和数据处理与生成三维点云，进而使得处理器模块根据三维点云计算其表型数据；本发明克服成本高，受场地限制且在三维重建过程中易造成点云噪声与点云缺失的问题，提供一种经济、高效、准确且便携的植物表型采集方法及装置。

Description

一种植物表型采集装置及其采集方法
技术领域
本发明涉及植物检测的研究领域，特别涉及一种植物表型采集装置及其采集方法。
背景技术
植物表型是指能够反映植物细胞、组织、器官、植株和群体的结构及功能特征的物理、生理和生化性质，通常结合高通量的基因组学来获取作物关键性状的遗传结构，以此培育出优良性状的作物。
传统的植物表型参数测量主要依靠人工测量，费时费力，且对作物有损伤，高通量、高精度且低成本的获取表型信息成为了育种计划一个瓶颈。基于二维图像的非破坏性作物表型信息获取极大的推动了表型组学的发展，但是基于二维图像的测量由于叶片之间的遮挡、叶片的卷曲部分等都会导致测量误差，丢失了三维空间里的关键的空间与体积信息。为获得更高测量精度，基于三维信息的方法被用于作物表型参数的获取，逐步成为现代农业信息技术研究的热点。国际上已有多国布局先进的大型作物表型研究设施，欧美发达国家的政府和研究机构都在植物表型研究上投入了大量的时间和经费，建设室内外植物表型平台，但目前的大型商业化高通量植物表型获取设备价格昂贵,体积大、复杂度高，对场地、供电等条件要求高，只能在固定地方进行使用，三维重建形式的高通量植物表型平台多使用激光扫描仪等技术，该技术成本高，导致前期投入成本高，后期维护费用高；一些实验室研发的基于低成本传感器的三维重建形式的植物表型平台则不可避免的出现噪声、点云缺失等问题，阻碍了植物表型组学技术的推广。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种植物表型采集装置及其采集方法，克服上述现有的植物表型采集装置成本高，受场地限制且在三维重建过程中易造成点云噪声与点云缺失的问题或者至少部分的解决上述问题。
本发明的主要目的在于提供一种植物表型采集装置
本发明的另一目的在于提供一种植物表型采集方法。
本发明的主要目的通过以下的技术方案实现：
一种植物表型采集装置，包括：成像室、旋转台、摄像模块、处理器模块、控制模块；所述处理器模块分别与旋转台、摄像模块、控制模块连接；
所述成像室通过伸缩机架模块形成可折叠成像室，并通过遮光模块形成封闭式可折叠成像室；
所述旋转台设置在成像室内，用于固定待检测植物，并将所述待检测植物进行旋转运动；
所述摄像模块设置在成像室内部上方，用于采集待检测植物多方位图像数据；
所述处理器模块通过控制模块控制旋转台按预设角度旋转、以及控制摄像模块的启动和数据处理与生成三维点云，进而使得所述处理器模块根据所述三维点云计算植物的表型数据。
进一步地，所述成像室包括：伸缩机架模块、遮光模块、移动模块、光源模块；所述伸缩机架模块形成可折叠成像室主体；所述遮光模块设置在所述伸缩机架模块外周，形成封闭式可折叠成像室空间；所述移动模块设置在伸缩机架模块底部，形成成像室可移动部件；所述光源模块设置在伸缩机架模块顶部，提供成像室内部光源。
进一步地，所述伸缩机架模块为气动伸缩机架。
进一步地，所述遮光模块为遮光帘，所述遮光帘安装于气动伸缩机架四周，用于形成封闭式成像室空间，制造暗箱环境；
进一步地，所述遮光帘可卷起收纳于遮光帘收纳槽；
进一步地，所述光源模块为LED光源，所述LED光源安装于气动伸缩机架顶部；
进一步地，所述LED光源通过电极连接至控制器，用于调节所述封闭式植物成像空间亮度；
进一步地，所述移动模块为轮子，所述轮子安装于气动伸缩机架底部两侧，方便所述折叠后的植物表型装置移动。
进一步地，所述控制模块包含：步进电机驱动器、控制器；
所述控制器通过电极连接至光源模块，用于调节封闭式可折叠成像室空间亮度；
所述控制器通过步进电机驱动器连接至旋转台，用于驱动旋转台360度转动；
进一步地，所述步进电机通过传动机构与夹持机构相连，安装于所述气动伸缩机架内底部中央；
进一步地，所述步进电机通过步进电机驱动器连接至控制器，用于驱动精密旋转台带动植物360度转动；
所述控制器与摄像模块连接，使用软件触发方式。
进一步地，所述旋转台包括：步进电机、传动机构、夹持机构；所述步进电机通过所述传动机构与所述夹持机构连接，步进电机通过传动机构带动夹持机构进行旋转运动。
进一步地，所述夹持机构为爪型卡盘，用于固定待检测植物。
进一步地，所述夹持机构为三爪卡盘形式。
进一步地，所述摄像模块为Kinect相机，以旋转台中心为轴呈俯拍状放置，用于获取待检测植物RGB-D数据以生成三维点云。
进一步地，所述Kinect相机安装于气动伸缩机架上端支柱，以所述精密旋转台中心为轴呈45度俯拍状放置；
进一步地，所述Kinect相机通过USB线缆连接至所述处理器，使用软件触发方式；
进一步地，所述控制器通过USB线缆连接至图形工作站，使用软件触发方式。
本发明的另一目的通过以下的技术方案实现：
一种植物表型采集方法，采用植物表型采集装置实现,包括以下步骤：
步骤一、将待采集的植物固定在旋转台的三爪卡盘上，控制器控制步进电机每旋转预设角度便使用Kinect相机采集一组数据RGB-D数据，获取多视角的RGB-D图像；
步骤二、将所采集的RGB-D图像转化为三维点云，即多角度点云；
步骤三、对多角度点云进行直通滤波、离群点滤波处理，获取多角度目标点云；
步骤四、将获取的目标点云使用旋转矩阵进行坐标转换至同一坐标系,完成初步粗配准，得到初步粗配准点云；
步骤五、将初步粗配准点云两两进行迭代最近点算法配准，完成二次精确配准，得到二次精确配准点云；
步骤六、对二次精确配准点云使用区域生长算法进行分割，提取单一叶片；
步骤七、将不完整的叶片点云导入深度网络中进行修复，补全缺失点云，得到目标植物三维点云。
进一步地，所述深度网络建立与训练，具体如下：
步骤一、使用三维重建方法获取目标植物点云并创建点云数据集；
步骤二、使用最远点采样算法和随机采样算法扩充点云数据集；
步骤三、使用点云补全网络对点云数据集进行训练，得到最优参数，
步骤四、对点云补全网络进行调参，即通过最优参数进行缺失点云补全；
步骤五、通过验证集度点云补全网络进行验证。
本发明与现有技术相比，具有如下优点和有益效果：
本发明通过使用伸缩机架的方式，方便移动至不同植物样本测量环境进行工作，该方式即可用于室内、又能适用于室外的植物检测。将待测植物样本固定于旋转平台上，使用Kinect相机结合深度学习补全点云方式进行快速、精准的三维重建工作，根据所述重建后的植物样本三维点云获取样本的表型参数值。
附图说明
图1为本发明所述一种植物表型测量装置的整体结构示意图；
图2为图1所示的植物表型采集装置折叠后的结构示意图；
图3为本发明植物表型采集方法流程图。
图4为本发明实施例中的多视角点云配准示意图；
图5为本发明所述深度学习补全点云技术中数据集建立示意图；
图6为本发明实施例所使用的点云补全网络结构图。
图7为本发明所述植物高度测量图。
图8为本发明所述植物叶面积测量图。
附图标记说明：
1、图形工作站；2、伸缩拉杆；3、限位支柱；4、遮光帘；5、待测量植物样本；6、机架；7、LED光源；8、Kinect相机；9、伸缩机架；10、气动伸缩杆；11、三爪卡盘转盘；12、移动轮；13、步进电机；14、控制器；15、伸缩固定架。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
在本发明的一个实施例中提供一种植物表型测量装置，如图1所示，包括：成像室、旋转台、摄像模块、处理器模块、控制模块；所述处理器模块分别与旋转台、摄像模块、控制模块连接；
所述成像室通过伸缩机架模块形成可折叠成像室，并通过遮光模块形成封闭式可折叠成像室；
所述旋转台设置在成像室内，用于固定待检测植物，并将所述待检测植物进行旋转运动；
所述摄像模块设置在成像室内部上方，用于采集待检测植物多方位图像数据；
所述处理器模块通过控制模块控制旋转台按预设角度旋转、以及控制摄像模块的启动和数据处理与生成三维点云，进而使得所述处理器模块根据所述三维点云计算植物的表型数据。
所述成像室包括：伸缩机架模块、遮光模块、移动模块、光源模块；所述伸缩机架模块形成可折叠成像室主体；所述遮光模块设置在所述伸缩机架模块外周，形成封闭式可折叠成像室空间；所述移动模块设置在伸缩机架模块底部，形成成像室可移动部件；所述光源模块设置在伸缩机架模块顶部，提供成像室内部光源；所述伸缩机架模块包括：限位支柱3、机架6、伸缩机架9、气动伸缩杆10、伸缩固定架15；所述遮光模块包括：遮光帘4；所述移动模块包括：伸缩拉杆2、移动轮12；所述光源模块：包括LED光源7；
即成像室包含伸缩拉杆2、限位支柱3、遮光帘4、机架6、LED光源7、伸缩机架9、气动伸缩杆10、移动轮12、伸缩固定架15；
所述旋转台包含三爪卡盘转盘11、步进电机13；所述摄像模块包含Kinect相机8；
所述处理器模块包含图形工作站1；所述控制模块包含控制器14。
即图1为本发明实施例提供的植物表型采集装置的整体结构示意图，该装置包括：图形工作站1、伸缩拉杆2、限位支柱3、遮光帘4、待测量植物样本5、机架6、LED光源7、Kinect相机8、伸缩机架9、气动伸缩杆10、三爪卡盘转盘11、移动轮12、步进电机13、控制器14、伸缩固定架15。
其中，所述遮光帘4安装于机架6四周，所述气动伸缩杆10、伸缩机架9与机架6连接共同形成伸缩表型平台的主体；所述三爪卡盘转盘4安装于伸缩平台内部，固定于伸缩平台内部底部，与所述步进电机13相连；所述Kinect相机8固定于机架顶部，以所述三爪卡盘转盘中心为轴呈45度俯拍状放置；所述LED光源7安装于机架顶部，可调节亮度进行补光；所述限位支柱3、伸缩拉杆2、伸缩固定架15、移动轮12安装于机架底部，方便移动、折叠；所述图形工作站1与所述控制器14相连，用于传输数据并对数据进行处理。
具体的，将所述气动伸缩杆10、伸缩机架9张开，将待测量盆栽型植物样本的花盆固定于所述三爪卡盘转盘11上，拉下四周所有遮光帘4，形成封闭式成像室空间；所述伸缩固定架15可根据所处环境的地表水平情况进行调节，使表型采集装置处于水平姿态；驱动所述Kinect相机8进行RGB-D图像数据采集，使用所述提供的一种植物表型采集方法进行采集。
具体的，如图2所示，所述遮光帘4可以收纳于机架6上端，所述气动伸缩杆10、伸缩机架9可以将机架6进行折叠，折叠至所述限位支柱3进行固定，所述伸缩固定架15可以旋转并收回，所述伸缩拉杆2拉出配合所述移动轮12可以方便将该折叠后的植物表型采集装置移动到不同植物样本测量环境。
如图3所示，基于Kinect与深度学习点云补全技术的三维重建主要流程：首先使用手持扫描仪对待测量的目标植物样本进行三维重建，使用软件手动分割出叶片，制作出初步的目标叶片点云数据集；接着使用最远点采样算法与随机采样的方式扩充点云数据集；对所述数据集使用点云补全网络进行训练，保存参数，用于补全点云。将待测量植物样本固定于所述三爪卡盘转盘11上，每驱动步进电机转动预设角度，驱动Kinect相机获取一组RGB-D图片，直至转完360度；将多视角获取的RGB-D数据使用映射算法生成三维点云，对各个视角的三维点云使用直通滤波算法、离群点滤波算法进行分割，降噪，并根据旋转矩阵将多视角点云进行初步配准，转换至同一坐标系下。使用ICP算法对多视角点云进行二次两两精细配准，使用区域生长算法分割出叶片，使用所述训练好的深度学习参数对叶片进行点云补全，实现基于Kinect相机与深度学习补全点云技术的快速、精准三维点云重建，最后根据三维点云信息，获取植物表型信息。
在本实施例中，数据集创建流程具体如图4所示，其中，(a)为使用手持扫描仪对目标植物样本进行精细三维重建后的植物样本点云，(b)为使用cloudcompare软件手动分割出叶片示意图，(c)为手动分割后的单片叶片点云，(d)为仅保留单片叶片点云的X、Y、Z信息点云，(e)为对所述单片叶片点云(d)使用最远点采样算法所获取的点云，能够最大限度保留叶片点云的骨干结构，(f)为在最远点采样算法所获取的点云(e)基础上，使用随机采样算法获取的点云，此步骤重复操作，从而扩充数据集。
如图5所示，在本实施例中，预设驱动步进电机每旋转60度停止，驱动Kinect相机获取RGB-D图像，直至完成旋转360度，获取6组不同视角数据；对不同视角RGB图像与深度图像进行对齐后使用映射算法生成点云；对该点云进行直通滤波与离群点滤波，获取低噪声目标点云；使用旋转矩阵将多视角点云旋转至同一坐标系下，进行初次配准；再此基础上，使用ICP算法进行二次配准，生成植物样本三维点云。
使用上述方法生成的点云也是有缺陷的，视角与设备问题会导致点云的缺失，造成在此基础上提取植物表型信息精度缺失。在本实施例中，使用区域生长分割算法，将重建后的点云进行叶片分割，对单叶片点云使用上述训练好的点云补全网络进行点云补全，提高重建精度。
如图6所示，在本实施例中，所使用的点云补全网络是PF-Net。PF-Net利用基于特征点的多尺度生成网络，对缺失点云进行分层估计，多尺度的方法提升了高低层次点云语义信息提取的效率；将多层生成损失和对抗损失相加，生成更为真实的缺失区域，利用GAN结构的鉴别器(Descriminator)优化网络，改善了同一类别不同物体间的特征会相互影响的现象。PF-Net保留了不完整点云的空间布局，并能计算出在预测中缺失区域的详细几何结构，以不完整点云作为输入，但是仅输出缺失部分点云，最大限度保留传感器获取的点云，适用于本实施例。
一种植物表型采集方法，采用植物表型采集装置实现,包括以下步骤：
步骤一、将待采集的植物固定在旋转台的三爪卡盘上，控制器控制步进电机每旋转预设角度便使用Kinect相机采集一组数据RGB-D数据，获取多视角的RGB-D图像；
步骤二、将所采集的RGB-D图像转化为三维点云，即多角度点云；
步骤三、对多角度点云进行直通滤波、离群点滤波处理，获取多角度目标点云；
步骤四、将获取的目标点云使用旋转矩阵进行坐标转换至同一坐标系,完成初步粗配准，得到初步粗配准点云；
步骤五、将初步粗配准点云两两进行迭代最近点算法配准，完成二次精确配准，得到二次精确配准点云；
步骤六、对二次精确配准点云使用区域生长算法进行分割，提取单一叶片；
步骤七、将不完整的叶片点云导入深度网络中进行修复，补全缺失点云，得到目标植物三维点云。
进一步地，所述不完整的叶片点云导入深度网络中进行修复还包含数据集的创立以及深度网络的建立与训练，具体如下：
步骤一、使用三维重建方法获取目标植物点云并创建点云数据集；
步骤二、使用最远点采样算法和随机采样算法扩充点云数据集；
步骤三、使用点云补全网络对点云数据集进行训练，得到最优参数，
步骤四、对点云补全网络进行调参，即通过最优参数进行缺失点云补全；
步骤五、通过验证集度点云补全网络进行验证。
在重建的植物三维点云模型基础上，基于点云技术无损计算植株高度、叶面积等植物表型参数，具体计算方法如下：
如图7所示，根据栽培盆的高度使用包围盒法去除栽培盆，仅保留植物三维点云，根据所重建的三维点云Z坐标轴的最大值，减去Z坐标轴的最小值，计算的得到植物高度。
如图8所示，对上述分割后所提取的单叶片点云，进一步使用下采样算法、最小二乘法平滑点云算法来简化点云，对简化后的叶片点云进行网格化处理，计算网格面积，以获得叶面积。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种植物表型采集装置，其特征在于，包括：成像室、旋转台、摄像模块、处理器模块、控制模块；所述处理器模块分别与旋转台、摄像模块、控制模块连接；
所述成像室通过伸缩机架模块形成可折叠成像室，并通过遮光模块形成封闭式可折叠成像室；
所述旋转台设置在成像室内，用于固定待检测植物，并将所述待检测植物进行旋转运动；
所述摄像模块设置在成像室内部上方，用于采集待检测植物多方位图像数据；
所述处理器模块通过控制模块控制旋转台按预设角度旋转、以及控制摄像模块的启动和数据处理与生成三维点云，进而使得所述处理器模块根据所述三维点云计算植物的表型数据。
2.根据权利要求1所述的一种植物表型采集装置，其特征在于，所述成像室包括：伸缩机架模块、遮光模块、移动模块、光源模块；所述伸缩机架模块形成可折叠成像室主体；所述遮光模块设置在所述伸缩机架模块外周，形成封闭式可折叠成像室空间；所述移动模块设置在伸缩机架模块底部，形成成像室可移动部件；所述光源模块设置在伸缩机架模块顶部，提供成像室内部光源。
3.根据权利要求2所述的一种植物表型采集装置，其特征在于，所述伸缩机架模块为气动伸缩机架。
4.根据权利要求2所述的一种植物表型采集装置，其特征在于，所述控制模块包含：步进电机驱动器、控制器；
所述控制器通过电极连接至光源模块，用于调节封闭式可折叠成像室空间亮度；
所述控制器通过步进电机驱动器连接至旋转台，用于驱动旋转台360度转动；
所述控制器与摄像模块连接，使用软件触发方式。
5.根据权利要求1所述的一种植物表型采集装置，其特征在于，所述旋转台包括：步进电机、传动机构、夹持机构；所述步进电机通过所述传动机构与所述夹持机构连接，步进电机通过传动机构带动夹持机构进行旋转运动。
6.根据权利要求5所述的一种植物表型采集装置，其特征在于，所述夹持机构为爪型卡盘，用于固定待检测植物。
7.根据权利要求1所述的一种植物表型采集装置，其特征在于，所述摄像模块为Kinect相机，以旋转台中心为轴呈俯拍状放置，用于获取待检测植物RGB-D数据以生成三维点云。
8.根据权利要求1所述的一种植物表型采集装置，其特征在于，所述控制器通过USB线缆连接至图形工作站，使用软件触发方式。
9.一种植物表型采集方法，采用权利要求1-8任一权利要求所述的植物表型采集装置实现,其特征在于，包括以下步骤：
步骤一、将待采集的植物固定在旋转台的三爪卡盘上，控制器控制步进电机每旋转预设角度便使用Kinect相机采集一组数据RGB-D数据，获取多视角的RGB-D图像；
步骤二、将所采集的RGB-D图像转化为三维点云，即多角度点云；
步骤三、对多角度点云进行直通滤波、离群点滤波处理，获取多角度目标点云；
步骤四、将获取的目标点云使用旋转矩阵进行坐标转换至同一坐标系,完成初步粗配准，得到初步粗配准点云；
步骤五、将初步粗配准点云两两进行迭代最近点算法配准，完成二次精确配准，得到二次精确配准点云；
步骤六、对二次精确配准点云使用区域生长算法进行分割，提取单一叶片；
步骤七、将不完整的叶片点云导入深度网络中进行修复，补全缺失点云，得到目标植物三维点云。
10.根据权利要求9所述的一种植物表型采集方法，其特征在于，所述将不完整的叶片点云导入深度网络中进行修复还包含数据集的创立以及深度网络的建立与训练，具体如下：
步骤一、使用三维重建方法获取目标植物点云并创建点云数据集；
步骤二、使用最远点采样算法和随机采样算法扩充点云数据集；
步骤三、使用点云补全网络对点云数据集进行训练，得到最优参数，
步骤四、对点云补全网络进行调参，即通过最优参数进行缺失点云补全；
步骤五、通过验证集对点云补全网络进行验证。
CN202210247520.7A 2022-03-14 2022-03-14 一种植物表型采集装置及其采集方法 Active CN114659463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210247520.7A CN114659463B (zh) 2022-03-14 2022-03-14 一种植物表型采集装置及其采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210247520.7A CN114659463B (zh) 2022-03-14 2022-03-14 一种植物表型采集装置及其采集方法

Publications (2)

Publication Number Publication Date
CN114659463A true CN114659463A (zh) 2022-06-24
CN114659463B CN114659463B (zh) 2023-11-28

Family

ID=82029632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210247520.7A Active CN114659463B (zh) 2022-03-14 2022-03-14 一种植物表型采集装置及其采集方法

Country Status (1)

Country Link
CN (1) CN114659463B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115326805A (zh) * 2022-10-12 2022-11-11 云南瀚哲科技有限公司 图像采集装置与基于ibmr的烟叶作物长势分析方法
CN116108601A (zh) * 2023-02-21 2023-05-12 国网吉林省电力有限公司长春供电公司 电力缆线深度几何信息补全方法、检测器、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109556511A (zh) * 2018-11-14 2019-04-02 南京农业大学 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN209512786U (zh) * 2018-11-07 2019-10-18 南京林业大学 一种面向绿色植物时序模型的点云采集平台
CN112435239A (zh) * 2020-11-25 2021-03-02 南京农业大学 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法
US20210158016A1 (en) * 2018-04-17 2021-05-27 Nippon Telegraph And Telephone Corporation Three-dimensional point cloud label learning device, three-dimensional point cloud label estimating device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimating method, and program
CN215177543U (zh) * 2021-10-14 2021-12-14 慧诺瑞德（北京）科技有限公司 植物三维表型信息采集装置
CN113804190A (zh) * 2021-09-14 2021-12-17 华南农业大学 一种果树三维点云采集方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158016A1 (en) * 2018-04-17 2021-05-27 Nippon Telegraph And Telephone Corporation Three-dimensional point cloud label learning device, three-dimensional point cloud label estimating device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimating method, and program
CN209512786U (zh) * 2018-11-07 2019-10-18 南京林业大学 一种面向绿色植物时序模型的点云采集平台
CN109556511A (zh) * 2018-11-14 2019-04-02 南京农业大学 一种基于多视角rgb-d融合技术的悬架式高通量温室植物表型测量系统
CN110047144A (zh) * 2019-04-01 2019-07-23 西安电子科技大学 一种基于Kinectv2的完整物体实时三维重建方法
CN112435239A (zh) * 2020-11-25 2021-03-02 南京农业大学 基于MRE-PointNet和自编码器模型的绿萝叶片外形参数估测方法
CN113804190A (zh) * 2021-09-14 2021-12-17 华南农业大学 一种果树三维点云采集方法及装置
CN215177543U (zh) * 2021-10-14 2021-12-14 慧诺瑞德（北京）科技有限公司 植物三维表型信息采集装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王浩云等: "遮挡条件下基于MSF-PPD 网络的绿萝叶片点云补全方法", 《农 业 机 械 学 报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115326805A (zh) * 2022-10-12 2022-11-11 云南瀚哲科技有限公司 图像采集装置与基于ibmr的烟叶作物长势分析方法
CN116108601A (zh) * 2023-02-21 2023-05-12 国网吉林省电力有限公司长春供电公司 电力缆线深度几何信息补全方法、检测器、设备及介质
CN116108601B (zh) * 2023-02-21 2023-11-14 国网吉林省电力有限公司长春供电公司 电力缆线深度几何信息补全方法、检测器、设备及介质

Also Published As

Publication number Publication date
CN114659463B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN114659463B (zh) 一种植物表型采集装置及其采集方法
CN106651900B (zh) 一种基于轮廓分割的高架原位草莓三维建模方法
US20200272817A1 (en) Water Stress Detection Method for Tomatoes in Seedling Stage Based on Micro-CT and Polarization-Hyperspectral Imaging Multi-Feature Fusion
CN109887020B (zh) 一种植株器官分离方法及系统
CN111693551B (zh) 一种水稻植株及根系三维性状无损测量装置及方法
CN107084982A (zh) 一种便携非接触式文物外形和纹理采集设备
CN107274481A (zh) 一种基于多站站点点云拼接的三维模型重建方法
CN113192206B (zh) 基于目标检测和背景去除的三维模型实时重建方法及装置
CN103350281A (zh) 激光打标机自动调焦装置及自动调焦方法
CN110617769A (zh) 一种用于获取作物表型的高通量拍照系统
CN101672915A (zh) 一种高空间分辨率遥感影像树冠轮廓勾绘系统及方法
CN108510587A (zh) 一种基于2d激光扫描的室内室外环境建模方法及系统
CN109584292A (zh) 一种基于Kinect自主标定的果树三维形态测量系统
CN112529948A (zh) 一种基于Mask R-CNN与3维球体拟合的成熟石榴定位方法
CN106846462A (zh) 基于三维模拟的昆虫识别装置及方法
CN113538666A (zh) 一种植物植株三维模型快速重建方法
CN116051783A (zh) 一种基于多视角的大豆植株三维重建与形状分析方法
CN112132138A (zh) 一种基于2d-激光雷达的物料自动识别与定位方法
CN114119574A (zh) 一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法
CN113935971A (zh) 一种复合材料表面缺陷的检测方法及装置
CN201101524Y (zh) 便携式三维人体扫描装置
CN114240866B (zh) 基于二维图像与三维生长信息的组培苗分级方法及装置
CN106886758A (zh) 基于三维姿态估计的昆虫识别装置及方法
CN110866945A (zh) 一种倾斜摄影模型自动识别生成三维树的方法
CN105931177B (zh) 特定环境下的图像采集处理装置及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant