CN110866975A - 基于多目视觉的油菜图像获取装置及三维特征提取方法 - Google Patents

基于多目视觉的油菜图像获取装置及三维特征提取方法 Download PDF

Info

Publication number
CN110866975A
CN110866975A CN201910374603.0A CN201910374603A CN110866975A CN 110866975 A CN110866975 A CN 110866975A CN 201910374603 A CN201910374603 A CN 201910374603A CN 110866975 A CN110866975 A CN 110866975A
Authority
CN
China
Prior art keywords
rape
dimensional
point cloud
vision
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910374603.0A
Other languages
English (en)
Inventor
梁秀英
周风燃
杨万能
陈欢
王康
卢少志
许锡晨
熊立仲
陈国兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN201910374603.0A priority Critical patent/CN110866975A/zh
Publication of CN110866975A publication Critical patent/CN110866975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多目视觉的油菜图像获取装置及三维特征提取方法。本装置包括轮式小车底盘、手摇升降杆、电动升降卷帘、LED光源、笔记本电脑、四个RGB相机以及相机旋转台等；本方法包括用运动恢复结构(SfM)重建油菜三维点云结构，提取株高、叶片面积等相关表型性状。本发明由多目视觉小车装置获取油菜的二维图像，经VisualSFM软件重建三维结构，通过Visual Studio 2013和PCL(point cloud library)等平台进行三维点云处理快速获取油菜的株高、叶片面积等表型性状。该发明能为表型工作者动态、无损研究三维植株表型性状提供更好更方便的条件。

Description

基于多目视觉的油菜图像获取装置及三维特征提取方法
技术领域
本发明为基于多目视觉的油菜图像获取装置及三维特征提取方法，可以快速的获取全生育期的油菜二维图像，通过三维重建算法重建出油菜的三维点云结构并提取相关的表型性状。该装置包括轮式小车底盘、手摇升降杆、电动升降卷帘、LED光源、四个RGB相机、相机旋转台以及笔记本电脑组成，本方法包括用运动恢复结构(SfM)重建油菜三维点云结构，提取油菜的株高、叶片面积等相关表型性状。轮式小车沿油菜小区自动行走，把电动卷帘降到与地面平齐的位置，形成封闭的暗室，打开内置的LED光源，四个相机通过笔记本电脑控制自动的进行旋转同步拍照，获取油菜植株图片，将图片导入到VisualSFM软件重建三维结构，通过Visual Studio 2013和PCL(point cloud library)等平台进行三维点云处理快速获取油菜的株高、叶片面积等表型性状。
背景技术
油菜株高、叶片面积等表型性状对油菜作物的产量和生物量有着重要的影响，而传统人工的这些表型性状的测量速度慢，成本高，主观误差较大，往往测量都是有损的，对油菜后期成长影响较大。另外，人工测量这些表型特征性状只能在特定时间或生长阶段对植株进行破坏性测量，无法对同一株植株进行连续测量。利用多目视觉和运动恢复结构(SFM)算法获取油菜点云数据，通过对油菜点云进行处理，用相关算法自动测量油菜的株高、叶片面积等参数，精度相对较高，能够动态实时测量，对油菜植株不会造成损害，省时省力。
发明内容
(一)要解决的技术问题
为了解决传统的获取图像效率低，重建的效果受自然条件影响较大，测量株高、叶片面积等参数费时费力且对植株往往有损害，无法对同一株植株进行连续测量等问题，本发明提供了一种基于多目视觉的油菜图像获取装置及三维特征提取方法，从而实现油菜植株较好的三维重建效果，为动态、快速、无损的测量油菜的株高、叶片面积等参数提供一种思路。
(二)技术方案
本发明为了解决其技术问题所采用的技术方案，提供了一种基于多目视觉的油菜图像获取装置及三维特征提取方法。
一种基于多目视觉的油菜图像获取装置及三维特征提取方法，其特征在于，包括：
步骤A，通过多目视觉装置快速获取油菜的二维图像并导入到VisualSFM软件中，重建出油菜植株的三维点云数据；
步骤B，将重建出来的油菜植株点云数据进行体素栅格下采样，统计学去噪，坐标变换，尺度校正和平面去除等预处理，以便于后续的特征性状的提取；
步骤C，用超体聚类和条件欧式聚类算法分割出单株油菜植株并基于Z方向的坐标差算出株高性状；
步骤D，用Delaunay三角剖分算法和欧拉公式算出油菜叶片的面积。
综上所述，本发明所述的一种基于多目视觉的油菜图像获取装置及三维特征提取方法的技术点包括：
1)快速获取植株图像
相机旋转台悬挂四个相机，笔记本电脑控制旋转台四个相机每旋转5度进行同步拍照，每个相机获取18张图片，总共拍摄72张图片，通过USB线传送到笔记本电脑。
2)高度和相机角度可调节
通过手摇升降杆来调节装置的总高度，通过弧形相机支架来达到任意旋转相机角度的目的。
3)重建效果较好
相比传统重建方法，本发明前后方向安装了电动升降卷帘形成暗室，内置LED光源，所以三维重建效果较好。
4)动态无损测量相关性状
通过Visual Studio 2013和PCL(point cloud library)等平台进行三维点云处理快速获取油菜的株高、叶片面积等表型性状。
附图说明
图1为基于多目视觉的油菜图像获取装置及三维特征提取方法的技术流程图。
图2为基于多目视觉的油菜图像获取装置的主视图。
图3为基于多目视觉的油菜图像获取装置的俯视图。
图4为基于多目视觉的油菜图像获取装置的左视图。
图5为基于多目视觉的油菜图像获取装置的等轴测图。
图2、图3、图4、图5中，1-轮式小车底盘、2-手摇升降杆、3-卷帘、4-RGB相机、5-弧形相机支架、6-圆形LED光源、7-相机旋转台、8-小车电器元器件、9-卷帘电机、10-高度伸缩杆、11-背景布、12-笔记本电脑、13-油菜盆栽
具体实施方式
本发明为了解决其技术问题所采用的技术方案，提供了一种基于多目视觉的油菜图像获取装置及三维特征提取方法，该方法的总体技术流程见图1。
一种基于多目视觉的油菜图像获取装置及三维特征提取方法，其特征在于，包括：
步骤A，通过多目视觉装置快速获取油菜的二维图像并导入到VisualSFM软件中，重建出油菜植株的三维点云数据；
步骤B，将重建出来的油菜植株点云数据进行体素栅格下采样，统计学去噪，坐标变换，尺度校正和平面去除等预处理，以便于后续的特征性状的提取；
步骤C，用超体聚类和条件欧式聚类算法分割出单株油菜植株并基于Z方向的坐标差算出株高性状；
步骤D，用Delaunay三角剖分算法和欧拉公式算出油菜叶片的面积。
更具体地，步骤A中获取图像的具体方式为小车缓慢的进入油菜作物小区，按下背景布按钮使背景布降至与地面结合处，形成封闭的暗室，打开内置LED光源，打开笔记本电脑，使笔记本控制悬挂有四台RGB的相机每旋转5度拍照一次，每个RGB相机拍摄18张照片总共72张照片，每张图像大小为4000 x 6000，即宽度4000像素，高度6000像素，将获取的图片导入到运动恢复结构(SfM)重建油菜植株三维点云，运动恢复结构的基本原理是利用大量重叠度较高的像片通过SFM算法重建物体三维模型，具体流程包括以下3个步骤。
(1)特征点提取与匹配：通过尺度不变特征变换SIFT(Scale-invariant featuretransform)局部特征描述子去提取图像特征，用K维空间二叉树kd-tree模型去计算两张图片特征点之间的欧氏距离来进行特征点的立体匹配。
(2)稀疏点云重建：用集束调整BA(Bundle Adjustment)算法来减少因图像的增多而累计的误差，并估计每一幅图片的相机参数，生成稀疏点云。
(3)稠密点云重建：先用CMVS(clustermulti view stereo)算法对图像集进行聚簇，以减少重建过程的数据量，提高运算速度和重建精度，然后用PMVS(patch-based multiview stereo)算法通过匹配、膨胀、过滤三个步骤，在局部光度一致性和全局可见性约束下完成稠密点云的重建。
更具体地，步骤B中油菜三维点云的预处理，具体流程包括5个步骤：
(1)用PCL中的VoxelGrid类对重建出来的油菜点云数据进行下采样，下采样的原理是用体素的质心来代表体素中的所有点，下采样的体素大小为0.035m。
(2)用PCL中的统计学滤波来进行三维点云的噪声点去除，统计学滤波的原理是算出每个点到它所有领域的距离，假设结果服从高斯分布，把点的距离不在设定均值和标准差区间的点视为噪声点进行去除。
(3)将重建出来的原始三维点云数据导入到CloudCompare软件进行相应的平移和旋转变换，变换之后的油菜点云数据的株高生长的方向为Z轴的正方向，地面为oxy平面。
(4)由于重建出来的油菜点云植株与真实玉米植株不一样大，往往存在一个确定的比例关系，故需进行相关的尺度校正处理，校正的参照物为种植油菜植株的盆子，校正比例见公式(1)：
Figure BSA0000182690270000031
式中，s-校正比例，dreal-种植油菜植株盆子的实际高度为19.2cm dreconstructed-种植油菜植株盆子的三维重建高度。
(5)用PCL中的平面模型分割算法将多盆盆栽油菜植株点云所共用的平面(地面)提取出来并去除掉。

Claims (4)

1.基于多目视觉的油菜图像获取装置及三维特征提取方法，该装置包括轮式小车底盘、手摇升降杆、电动升降卷帘、LED光源、笔记本电脑、四个RGB相机以及相机旋转台等；其特征在于：所述的装置为轮式行走方式，总长总宽各为1米，高度的调节范围为1.5米到2米，小车的左右内侧挂有吸光的黑色背景布，前后两侧挂有电动升降卷帘。四个RGB相机挂在小车装置顶部的相机旋转台上，呈圆周阵列形式均匀分布，每个相机之间相隔90度，相机的角度可以任意调节，型号均为Canon EOS 77D，镜头为EF-S18-200mm f/3.5-5.6 IS，分辨率为6000x4000，图片格式为.jpg，圆形LED光源挂在相机旋转台中间。本方法包括用运动恢复结构(SfM)重建油菜三维点云结构，提取株高、叶片面积等表型性状。本发明由多目视觉小车装置获取油菜的二维图像，经VisualSFM软件重建三维结构，通过Visual Studio 2013和PCL(point cloud library)等平台进行三维点云处理快速获取油菜的株高、叶片面积等表型性状。
2.根据权利要求1所述的基于多目视觉的油菜图像获取装置及三维特征提取方法，其特征在于：所述的装置高度可以通过手摇升降杆进行手动升降调节、四个相机可以通过笔记本电脑控制旋转台每旋转5度进行同步拍照获取植株图像，总共获取72张图像，每个相机的角度可以通过弧形相机支架进行任意调节，方便快速、动态的拍摄植株的生长过程。
3.根据权利要求1所述的基于多目视觉的油菜图像获取装置及三维特征提取方法，其特征在于：所述的装置前后两侧挂有电动升降卷帘，为了遮挡外界环境风的影响，进而更好的动态、无损的重建出其三维点云结构，方便后面的表型性状提取。
4.根据权利要求1所述的基于多目视觉的油菜图像获取装置及三维特征提取方法，其特征在于：方法包括用运动恢复结构(SfM)重建油菜三维点云结构，提取相关表型性状。本发明由多目视觉小车装置获取油菜的二维图像，经VisualSFM软件重建三维结构，通过Visual Studio 2013和PCL(point cloud library)等平台进行三维点云处理快速获取油菜的株高、叶片面积等表型性状。
CN201910374603.0A 2019-04-25 2019-04-25 基于多目视觉的油菜图像获取装置及三维特征提取方法 Pending CN110866975A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910374603.0A CN110866975A (zh) 2019-04-25 2019-04-25 基于多目视觉的油菜图像获取装置及三维特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910374603.0A CN110866975A (zh) 2019-04-25 2019-04-25 基于多目视觉的油菜图像获取装置及三维特征提取方法

Publications (1)

Publication Number Publication Date
CN110866975A true CN110866975A (zh) 2020-03-06

Family

ID=69651986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910374603.0A Pending CN110866975A (zh) 2019-04-25 2019-04-25 基于多目视觉的油菜图像获取装置及三维特征提取方法

Country Status (1)

Country Link
CN (1) CN110866975A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724433A (zh) * 2020-06-24 2020-09-29 广西师范大学 一种基于多目视觉的作物表型参数提取方法及系统
CN111750777A (zh) * 2020-06-22 2020-10-09 华中农业大学 自走式作物表型高通量检测装置
CN112200854A (zh) * 2020-09-25 2021-01-08 华南农业大学 一种基于视频图像的叶类蔬菜三维表型测量方法
CN112837271A (zh) * 2021-01-11 2021-05-25 浙江大学 一种甜瓜种质资源性状提取方法及系统
CN113532315A (zh) * 2021-06-30 2021-10-22 同济大学 基于多目视觉的三维建模设备及其控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285673A1 (en) * 2011-10-20 2014-09-25 Monsanto Technology Llc Plant Stand Counter
CN105547152A (zh) * 2016-01-06 2016-05-04 上海交通大学 农作物表型田间高通量主动测量装置与方法
CN105631884A (zh) * 2016-01-06 2016-06-01 上海交通大学 农作物穗数田间主动测量装置与方法
CN107123163A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于多视角立体视觉的植株三维重建系统
CN207095515U (zh) * 2017-08-09 2018-03-13 南京林业大学 一种植物形态三维图像采集装置
CN107966442A (zh) * 2017-12-09 2018-04-27 武汉谷丰光电科技有限公司 一种小型植株三维表型性状自动提取装置
CN207322127U (zh) * 2017-10-30 2018-05-08 南京工程学院 一种基于机器视觉的大棚农业机器人
CN109254583A (zh) * 2018-09-08 2019-01-22 华中农业大学 履带式小车田间信息自动采集装置与方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285673A1 (en) * 2011-10-20 2014-09-25 Monsanto Technology Llc Plant Stand Counter
CN105547152A (zh) * 2016-01-06 2016-05-04 上海交通大学 农作物表型田间高通量主动测量装置与方法
CN105631884A (zh) * 2016-01-06 2016-06-01 上海交通大学 农作物穗数田间主动测量装置与方法
CN107123163A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于多视角立体视觉的植株三维重建系统
CN207095515U (zh) * 2017-08-09 2018-03-13 南京林业大学 一种植物形态三维图像采集装置
CN207322127U (zh) * 2017-10-30 2018-05-08 南京工程学院 一种基于机器视觉的大棚农业机器人
CN107966442A (zh) * 2017-12-09 2018-04-27 武汉谷丰光电科技有限公司 一种小型植株三维表型性状自动提取装置
CN109254583A (zh) * 2018-09-08 2019-01-22 华中农业大学 履带式小车田间信息自动采集装置与方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
史蒲娟;翟瑞芳;常婷婷;彭辉;林承达;罗俊;: "基于单目视觉和激光扫描技术的油菜植株模型重建及株型参数测量" *
吴迪;王梦坷;杨万能;刘谦;黄成龙;: "水稻表层根系性状无损测量技术研究" *
朱冰琳等: "基于机器视觉的大田植株生长动态三维定量化研究" *
郭庆华;吴芳芳;庞树鑫;赵晓倩;陈琳海;刘瑾;薛宝林;徐光彩;李乐;景海春;储成才;: "Crop 3D―基于激光雷达技术的作物高通量三维表型测量平台" *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111750777A (zh) * 2020-06-22 2020-10-09 华中农业大学 自走式作物表型高通量检测装置
CN111724433A (zh) * 2020-06-24 2020-09-29 广西师范大学 一种基于多目视觉的作物表型参数提取方法及系统
CN111724433B (zh) * 2020-06-24 2022-10-28 广西师范大学 一种基于多目视觉的作物表型参数提取方法及系统
CN112200854A (zh) * 2020-09-25 2021-01-08 华南农业大学 一种基于视频图像的叶类蔬菜三维表型测量方法
CN112200854B (zh) * 2020-09-25 2023-10-17 华南农业大学 一种基于视频图像的叶类蔬菜三维表型测量方法
CN112837271A (zh) * 2021-01-11 2021-05-25 浙江大学 一种甜瓜种质资源性状提取方法及系统
CN112837271B (zh) * 2021-01-11 2023-11-10 浙江大学 一种甜瓜种质资源性状提取方法及系统
CN113532315A (zh) * 2021-06-30 2021-10-22 同济大学 基于多目视觉的三维建模设备及其控制方法

Similar Documents

Publication Publication Date Title
CN110866975A (zh) 基于多目视觉的油菜图像获取装置及三维特征提取方法
CN110363858B (zh) 一种三维人脸重建方法及系统
CN109146948B (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
CN107832681B (zh) 联合LiDAR点云和同步遥感影像的森林单木树高估算方法
CN111724433B (zh) 一种基于多目视觉的作物表型参数提取方法及系统
CN108629835B (zh) 基于高光谱、真彩图与点云互补的室内重建方法及系统
CN109708578B (zh) 一种植株表型参数测量装置、方法及系统
CN112200854B (zh) 一种基于视频图像的叶类蔬菜三维表型测量方法
CN102200433B (zh) 一种基于计算机视觉的叶片面积测量装置和方法
CN103630091B (zh) 一种基于激光与图像处理技术的叶面积测量方法
CN111429490A (zh) 一种基于标定球的农林作物三维点云配准方法
CN110853044A (zh) 基于条件欧式聚类的盆栽玉米点云快速分割方法
CN109859099A (zh) 基于sfm点云深度的盆栽玉米杂草快速去除方法
CN113538666A (zh) 一种植物植株三维模型快速重建方法
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
Ahamed et al. Tower remote-sensing system for monitoring energy crops; image acquisition and geometric corrections
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
Paturkar et al. 3D reconstruction of plants under outdoor conditions using image-based computer vision
Wu et al. Plant 3D reconstruction based on LiDAR and multi-view sequence images
He et al. A calculation method of phenotypic traits of soybean pods based on image processing technology
Li et al. Three-dimensional reconstruction and phenotype measurement of maize seedlings based on multi-view image sequences
CN112906719A (zh) 基于消费级深度相机的立木因子测量方法
CN115937151B (zh) 一种作物叶片卷曲程度的判定方法
CN113706512A (zh) 一种基于深度学习和深度相机的生猪体重测量方法
Song et al. Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200306

WD01 Invention patent application deemed withdrawn after publication