CN112837314B - 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法 - Google Patents

基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法 Download PDF

Info

Publication number
CN112837314B
CN112837314B CN202110251565.7A CN202110251565A CN112837314B CN 112837314 B CN112837314 B CN 112837314B CN 202110251565 A CN202110251565 A CN 202110251565A CN 112837314 B CN112837314 B CN 112837314B
Authority
CN
China
Prior art keywords
point cloud
kinect
canopy
lidar
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110251565.7A
Other languages
English (en)
Other versions
CN112837314A (zh
Inventor
薛秀云
魏宝源
梁俊轩
李震
宋淑然
孙道宗
司徒伟熙
陈翔
陈俊材
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202110251565.7A priority Critical patent/CN112837314B/zh
Publication of CN112837314A publication Critical patent/CN112837314A/zh
Application granted granted Critical
Publication of CN112837314B publication Critical patent/CN112837314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于2D‑LiDAR和Kinect的果树冠层参数检测系统和方法，通过二维激光雷达和Kinect相机获取果树的冠层点云数据，并对两个设备获得的点云数据进行配准，实现多传感器采集点云数据的融合，同时，根据惯性测量单元获取托运设备在行驶过程中的加速度和位姿信息，对存在误差的点云数据帧进行矫正；有效提高了2D‑LiDAR扫描结果的可信度，从而在控制成本的前提下，有效提高了果树冠层参数的测量精度，解决了现有的果树冠层参数检测方法测量精度低、投入成本高等问题。

Description

基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法
技术领域
本发明涉及农业机械设备智能化和图像处理技术领域，更具体的说是涉及一种基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法。
背景技术
随着智慧农业发展理念的不断推进，农业数字化成为主要的发展趋势，比如果园中果树的管理，由于果树冠层是果树进行光合作用等生命活动的重要场所，不同品种、生长环境的果树，其冠层构造存在差异，高效、精确的获取果树冠层参数对农药精准喷雾、肥料精准施用、果树产量估计、果树长势评价等研究具有重要意义。
目前常用的冠层参数检测方法主要通过超声波测距、激光测距、图像处理等技术实现。超声波测距由于超声波传播过程中存在衍射发散，其测量精度较低；使用2D-LiDAR(Two Dimension Light Detection And Ranging，二维激光雷达)需进行多次采样，且易出现重复扫描等情况，测量精度有待提高；使用3D-LiDAR(Three Dimension LightDetection And Ranging，三维激光雷达)可有效提高测量精度，但投入成本较高，在小型果园中难以推广应用。
因此，如何提供一种测量精度更高且成本更低的果树冠层参数检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法，有效解决了现有的果树冠层参数检测方法测量精度低、投入成本高等问题。
为了实现上述目的，本发明采用如下技术方案：
一方面，本发明提供了一种基于2D-LiDAR和Kinect的果树冠层参数检测系统，该系统包括：二维激光雷达、Kinect相机、惯性测量单元、控制器以及托运设备；
所述二维激光雷达和所述Kinect相机均安装于所述托运设备的前端，所述二维激光雷达沿所述托运设备的行驶方向布置，所述Kinect相机设于所述二维激光雷达的上方，并沿垂直于所述托运设备的行驶方向水平布置，所述惯性测量单元安装于所述托运设备的几何中心，所述二维激光雷达、所述Kinect相机以及所述惯性测量单元均与所述控制器电连接；
所述托运设备用于搭载所述二维激光雷达和所述Kinect相机分别采集果树两侧的冠层点云数据，所述惯性测量单元用于检测所述托运设备行驶过程中的加速度和位姿信息，所述控制器用于实时接收所述冠层点云数据以及所述加速度和位姿信息，并对接收到的数据进行分析处理，获得果树冠层参数检测结果。
本发明提供的果树冠层参数检测系统主要通过托运设备搭载二维激光雷达、Kinect相机以及惯性测量单元在两排果树之间行驶，检测某一排果树一侧的冠层点云图像，接着绕到该排果树的另一侧，检测其另一侧的冠层点云图像，同时通过惯性测量单元检测托运设备在果园行驶过程中的位姿和加速度变化，为冠层点云数据的偏移矫正提供参考，之后将二维激光雷达和Kinect相机获取的两侧点云数据分别拼接，构建完整冠层点云数据，两组点云数据进行精确配准，获取高精度完整冠层点云数据，以计算冠层参数。
进一步地，所述控制器包括上位机和下位机，所述二维激光雷达和所述Kinect相机分别与所述上位机电连接，所述惯性测量单元与所述下位机电连接，所述上位机与所述下位机通过相应串口连接。
本发明中上位机通过通用串行接口与2D-LiDAR(即二维激光雷达)和Kinect相机相连，接收点云数据并进行坐标转换和参数计算；下位机通过RS232接口或GPIO口与惯性测量单元相连，接收托运设备行驶过程中的加速度和位姿信息，并根据惯性测量单元获取的托运设备行驶过程中的位姿信息和加速度信息，对存在误差的点云数据进行矫正。
进一步地，所述惯性测量单元包括加速度计和陀螺仪，所述加速度计用于检测所述托运设备行驶过程中的加速度，所述陀螺仪用于检测所述托运设备行驶过程中的位姿信息。
进一步地，所述Kinect相机与所述二维激光雷达的高度差为0.5m。在安装时，将Kinect相机安装于二维激光雷达上方0.5m处，对于两个设备的拍摄角度，2D-LiDAR指向托运设备的行驶方向，Kinect相机指向托运设备行驶方向顺时针或逆时针旋转90°，2D-LiDAR在以行驶方向为法线的平面上进行扫描，返回扫描数据点距离和角度信息。在实际应用过程中，还可以根据所测果树高度情况适应性调整Kinect相机与二维激光雷达的高度差。
另一方面，本发明还提供了一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，该方法包括：
获取一侧数据：通过托运设备搭载二维激光雷达和Kinect相机分别获取单排果树一侧的LiDAR冠层点云数据和Kinect冠层点云数据，并实时检测所述托运设备在行驶过程中的加速度和位姿信息；
获取另一侧数据：通过托运设备搭载二维激光雷达和Kinect相机分别获取单排果树另一侧的LiDAR冠层点云数据和Kinect冠层点云数据，并实时检测所述托运设备在行驶过程中的加速度和位姿信息；
矫正数据：根据所述托运设备在行驶过程中的加速度和位姿信息对所述托运设备的位姿状态进行估计，并分别将单排果树两侧的LiDAR冠层点云数据和Kinect冠层点云数据与对应时段所述托运设备的位姿状态进行时间同步匹配，对位姿偏移大的数据帧进行矫正；
融合两侧数据：将矫正后单排果树两侧的LiDAR冠层点云数据进行融合，得到完整LiDAR冠层点云数据，并将矫正后单排果树两侧的Kinect冠层点云数据进行融合，得到完整Kinect冠层点云数据；
数据配准：将所述完整LiDAR冠层点云数据和所述完整Kinect冠层点云数据转换至同一坐标系并进行配准，得到单排果树完整的冠层点云图像，通过所述冠层点云图像计算得到果树冠层参数。
进一步地，所述矫正数据步骤中，对所述托运设备的位姿状态进行估计通过扩展卡尔曼滤波算法实现，具体包括：
设定状态量为前一时刻的姿态角最优估计及惯性测量单元的温度漂移，观测量为惯性测量单元所测托运设备当前时刻的姿态角，利用状态估计方程求解姿态角的预测值；
求解所述状态估计方程的协方差矩阵，
通过观测方程计算残差以及卡尔曼增益；
结合所述状态估计方程、所述状态估计方程的协方差矩阵以及所述观测方程，更新k时刻待估计状态，得到托运设备当前时刻位姿状态的估计结果。
进一步地，所述数据配准步骤中，将所述完整LiDAR冠层点云数据和所述完整Kinect冠层点云数据转换至同一坐标系的过程，具体包括：
分别以二维激光雷达和Kinect相机所在位置为原点建立LiDAR坐标系和Kinect坐标系；
根据二维激光雷达获取的LiDAR冠层点云数据中点云距离和角度，并以托运设备行驶方向为X轴正方向，以托运设备的行驶距离作为x坐标，得到LiDAR冠层点云数据对应的坐标表达；
将Kinect相机获取的Kinect冠层点云数据投影到图像平面，形成二维图像，并根据所述二维图像中的像素坐标和深度信息，得到Kinect冠层点云数据对应的坐标表达；
根据二维激光雷达与Kinect相机之间的垂直高度差以及拍摄角度，获得LiDAR坐标系和Kinect坐标系之间的坐标转换关系。
进一步地，所述数据配准步骤中，将所述完整LiDAR冠层点云数据和所述完整Kinect冠层点云数据进行配准的过程，具体包括：
以二维激光雷达获得的LiDAR冠层点云数据构建基准点云集，以Kinect相机获得的Kinect冠层点云数据构建待配准点云集；
分别计算待配准点云集中每个数据点与基准点云集中所有数据点的最近几何距离，获得待配准点云集中各个数据点在所述基准点云集中对应的最近距离点，构建多个最近点对；
将各个最近点对进行重新排列，每个最近点对中两点的下标相同，并分别计算所述待配准点云集和所述基准点云集的质心；
根据待配准点云集的质心计算公式和基准点云集的质心计算公式，构建协方差矩阵，并根据协方差矩阵构建对称矩阵；
求解对称矩阵的最大特征值对应的特征向量，并根据所述特征向量计算得到旋转矩阵；
根据所述协方差矩阵、所述对称矩阵以及所述旋转矩阵，求得平移向量；
根据所述旋转矩阵和所述平移向量，对所述待配准点云集进行坐标变换，得到转换后的坐标；
根据获得的转换后的坐标，计算所有最近点对的欧式距离之和，并在计算得到的欧式距离之和大于预设的最小距离阈值时，输出最优变换矩阵。
更进一步地，所述基准点云集的质心计算公式为：
Figure GDA0004200702960000061
式中，hl表示基准点云集的质心，n表示基准点云集中数据点的总数，li表示基准点云集中的数据点；
所述待配准点云集的质心计算公式为：
Figure GDA0004200702960000062
式中，hk表示待配准点云集的质心，m表示待配准点云集中数据点的总数，ki表示待配准点云集中的数据点。
更进一步地，所有最近点对的欧式距离之和的计算公式为：
Figure GDA0004200702960000063
式中，f表示所有最近点对的欧式距离之和，n表示基准点云集中数据点的总数，li表示基准点云集中的数据点，
Figure GDA0004200702960000064
表示转换坐标后待配准点云集中数据点。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法，通过二维激光雷达和Kinect相机获取果树的冠层点云数据，并对两个设备获得的点云数据进行配准，实现多传感器采集点云数据的融合，同时，根据惯性测量单元获取托运设备在行驶过程中的加速度和位姿信息，对存在误差的点云数据帧进行矫正；有效提高了2D-LiDAR扫描结果的可信度，从而在控制成本的前提下，有效提高了果树冠层参数的测量精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于2D-LiDAR和Kinect的果树冠层参数检测系统的整体结构示意图；
图2为基于2D-LiDAR和Kinect的果树冠层参数检测系统的部分结构架构示意图；
图3为2D-LiDAR和Kinect相机的检测原理示意图；
图4为本发明提供的一种基于2D-LiDAR和Kinect的果树冠层参数检测方法的实现流程示意图；
图5为基于2D-LiDAR和Kinect的果树冠层参数检测方法的实现原理示意图；
图6为本发明实施例中一棵果树的检测图像；
图7为该果树对应的Kinect相机点云数据建模图；
图8为该果树对应的二维激光雷达点云数据建模图；
图9为位姿估计过程的实现原理示意图；
图10为两侧数据融合、坐标变换以及两组完整冠层点云数据配准过程的实现原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一方面，参见附图1和图2，本发明实施例公开了一种基于2D-LiDAR和Kinect的果树冠层参数检测系统，该系统包括：二维激光雷达1、Kinect相机2、惯性测量单元3、控制器4以及托运设备5；
二维激光雷达1和Kinect相机2均安装于托运设备5的前端，二维激光雷1达沿托运设备5的行驶方向布置，Kinect相机2设于二维激光雷达1的上方，并沿垂直于托运设备5的行驶方向水平布置，具体地，本实施例中Kinect相机2指向托运设备5行驶方向顺时针旋转90°方向放置，并设置于2D-LiDAR上方0.5m处(此处设置的高度差可以根据实际应用过程中所测果树高度情况适应性调整)，惯性测量单元3安装于托运设备5的几何中心，二维激光雷达1、Kinect相机2以及惯性测量单元3均与控制器4电连接；
托运设备5用于搭载二维激光雷达1和Kinect相机2分别采集果树两侧的冠层点云数据，惯性测量单元3用于检测托运设备5行驶过程中的加速度和位姿信息，控制器4用于实时接收冠层点云数据以及加速度和位姿信息，并对接收到的数据进行分析处理，获得果树冠层参数检测结果。
参见附图2，控制器4包括上位机和下位机，二维激光雷达1和Kinect相机2分别与上位机电连接，惯性测量单元3与下位机电连接，上位机与下位机通过相应串口连接。惯性测量单元3包括加速度计和陀螺仪，加速度计用于检测托运设备5行驶过程中的加速度，陀螺仪用于检测所述托运设备5行驶过程中的位姿信息。
本实施例中托运设备5采用拖拉机，二维激光雷达1采用SICK公司生产的TIM561型激光传感器，用于探测果树冠层的冠层参数信息；Kinect相机2采用Microsoft公司生产的Kinect v2.0型相机，用于采集果树冠层的图像深度信息，惯性测量单元3采用MPU6050六轴传感器，用于获取拖拉机的加速度和位姿信息。
参见附图1，二维激光雷达1与Kinect相机2通过竖直布置的支架6安装于拖拉机的前端，支架6的一侧设置有多个螺孔，可以调节二维激光雷达1的安装高度，同时适应性调整Kinect相机2的高度，实现图像采集高度的调节。
参见附图3，本实施例中二维激光雷达1在以托运设备5的行驶方向为法线的平面上进行扫描，返回扫描数据点距离和角度信息，具体通过拖拉机搭载二维激光雷达1进行动态扫描，首先构建XL、YL、Z坐标系，结合加速度信息可得到点云数据的三维坐标，Kinect相机正对果树进行拍摄，根据成像模型，将所有数据点投影到成像平面上，并根据构建的XK、YK、Z坐标系，能够得到点云数据的三维坐标。
另一方面，参见附图4和图5，本发明实施例还公开了一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，该方法包括：
S1：获取一侧数据：通过托运设备搭载二维激光雷达和Kinect相机分别获取单排果树一侧的LiDAR冠层点云数据和Kinect冠层点云数据，并实时检测托运设备在行驶过程中的加速度和位姿信息。
在S1之前，还需要通过张正友棋盘法对Kinect相机进行标定，通过MATLAB内置相机标定工具Camera Calibration Toolbox可获取Kinect相机的内参矩阵和外参矩阵，进而获取矩阵中各个参量。
S2：获取另一侧数据：通过托运设备搭载二维激光雷达和Kinect相机分别获取单排果树另一侧的LiDAR冠层点云数据和Kinect冠层点云数据，并实时检测托运设备在行驶过程中的加速度和位姿信息。
在获取果园中某一排果树的冠层点云数据时，先通过托运设备(本实施例采用拖拉机)搭载二维激光雷达和Kinect相机行走在两排果树之间，并由控制器控制器二维激光雷达对果树树冠进行扫描，获取冠层单侧点云数据，并由控制器控制Kinect相机采集目标排果树单侧冠层点云数据。一侧采集完成后，拖拉机绕到该排果树的另一侧继续对另一侧进行扫描，从而得到一排果树两侧的冠层点云数据。本实施例具体以一棵果树为例，展示前期采集得到的点云数据，参见附图6，为一棵果树的检测图像，图7为该果树的Kinect相机点云数据建模图，图8为该果树的二维激光雷达点云数据建模图。
S3：矫正数据：根据托运设备在行驶过程中的加速度和位姿信息对托运设备的位姿状态进行估计，并分别将单排果树两侧的LiDAR冠层点云数据和Kinect冠层点云数据与对应时段托运设备的位姿状态进行时间同步匹配，对位姿偏移大的数据帧进行矫正。
参见附图9，本实施例通过扩展卡尔曼滤波(EKF)对拖拉机的位姿状态进行估计，设定状态量为前一时刻的姿态角最优估计及惯性测量单元的温度漂移，观测量为惯性测量单元所测定托运设备的当前时刻三轴姿态角。利用状态估计方程求解姿态角(即横滚角、俯仰角、偏航角)的预测值：
xk＝Fkxk-1+Bkuk+wk (1)
式中，x'k为k时刻的预测值矩阵，Fk是作用在k-1时刻的姿态角最优估计xk-1的变换矩阵，Bk是作用在uk上的控制矩阵，uk是k时刻加速度计测定的三轴角加速度矩阵，wk是k时刻的高斯噪声。
求解k时刻状态估计方程的协方差矩阵：
Pk'＝FkPk-1Fk T+Q (2)
式中，Fk是作用在k-1时刻的姿态角最优估计xk-1的变换矩阵，Pk-1为k-1时刻姿态角最优估计方程的协方差矩阵，Q为高斯噪声的协方差，即其自身方差。
通过系统观测方程计算残差和卡尔曼增益：
Zk＝Hkxk"+vk (3)
式中，Zk为系统输出的姿态角矩阵，x″k为惯性测量单元所测定的三轴姿态角矩阵，Hk是系统观测矩阵[10]，vk是k时刻观测的高斯噪声。
Figure GDA0004200702960000111
式中，Kk为k时刻的卡尔曼增益，Pk为k时刻姿态角最优估计方程的协方差矩阵，R为观测高斯噪声的协方差，即其自身方差。
结合式(1)至式(4)计算k时刻最优化估计值xk，得到托运设备当前时刻位姿状态估计：
xk＝x'k+Kk(Zk-Hkx'k) (5)
式中，xk为k时刻最优化估计值，x'k为k时刻的预测值矩阵，Kk为k时刻的卡尔曼增益，Zk为系统输出的姿态角矩阵。
更新协方差矩阵，进行下一时刻位姿状态估计：
Pk＝(I-KkHk)Pk' (6)
式中，Pk为k时刻姿态角最优估计方程的协方差矩阵，I为单位矩阵，Kk为k时刻的卡尔曼增益，P’k为k时刻状态估计方程的协方差矩阵。
本实施例通过不同传感器采样频率，提取相同时间段内不同传感器的采集内容，对提取的内容基于采样时间顺序存储，实现点云数据和位姿信息的时间同步。
S4：融合两侧数据：将矫正后单排果树两侧的LiDAR冠层点云数据进行融合，得到完整LiDAR冠层点云数据，并将矫正后单排果树两侧的Kinect冠层点云数据进行融合，得到完整Kinect冠层点云数据。
参见附图10，本实施例通过迭代最近点算法(Iterative Closest Point，简称ICP)对2D-LiDAR和Kinect相机分别获取的两侧点云数据进行配准，从而生成完整冠层点云数据。
S5：数据配准：将完整LiDAR冠层点云数据和完整Kinect冠层点云数据转换至同一坐标系并进行配准，得到单排果树完整的冠层点云图像，通过冠层点云图像计算得到果树冠层参数。
参见附图10，将完整LiDAR冠层点云数据和完整Kinect冠层点云数据进行坐标转换的过程具体如下：
分别以2D-LiDAR和Kinect相机所在位置为原点建立坐标系。
根据2D-LiDAR获取的点云距离ρ和角度θ，以拖拉机行驶方向作为X轴正方向，以行驶距离Vt作为X坐标，得到以下坐标表达：
Figure GDA0004200702960000121
根据相机成像模型，Kinect相机获取的点云数据投影到图像平面形成二维图像，包含像素坐标(u,v)和深度信息d，本实施例中Kinect相机沿拖拉机行驶方向正左或正右侧放置拍摄，可得到以下坐标表达：
Figure GDA0004200702960000122
式中，Cx、Cy为基准点，fx、fy分别为X轴和Y轴方向上以像素为单位的等效焦距；以上参数均通过S1之前上述的相机标定过程得到。
根据本发明中2D-LiDAR和Kinect相机存在的垂直高度差h，且从不同方向采集树冠点云数据，可得到以下坐标转换关系：
Figure GDA0004200702960000123
即：
Figure GDA0004200702960000124
参见附图10，将完整LiDAR冠层点云数据与完整Kinect冠层点云数据进行配准的过程具体如下：
以2D-LiDAR获取的点云数据构建基准点云集L，基准点云集L中有n个数据点，记为{li,i＝1,2,...,n}。以Kinect相机获取的点云数据构建待配准点云集K，待配准点云集K中有m个数据点，记为{kj,j＝1,2,...,m}。
本实施例中迭代最近点算法定义如下：
对待配准点云集K中的一个数据点kj，可通过下式计算与基准点云集L中所有数据点的最近几何距离d(kj,L):
Figure GDA0004200702960000131
式中，待配准点云集K中的数据点kj的最近点记为li，即待配准点云集K中的所有点，均可在基准点云集L中找到最近距离点，可构成最近点对。
对所有具有对应关系的数据点对进行重新排列，每个最近点对中的两点下标相同，即li点对应的最近点为kj。分别计算基准点云集L和待配准点云集K的质心，如下：
Figure GDA0004200702960000132
Figure GDA0004200702960000133
由上式(12)和式(13)构造协方差矩阵，如下：
Figure GDA0004200702960000134
由式(14)构造4×4对称矩阵：
Figure GDA0004200702960000135
其中，I3为3×3单位矩阵，tr(∑kl)是矩阵∑kl的迹，Δ＝[A23A31A12]T，
Figure GDA0004200702960000136
求解上述矩阵Q的最大特征值对应的的特征向量q，即为由四元数表示的旋转向量，记为：
q＝[q0 q1 q2 q3]T (16)
由上述特征向量q，计算旋转矩阵R：
Figure GDA0004200702960000141
由式(14)、式(15)以及式(17)可求出平移向量T：
T＝hl-Rhk (18)
由式(17)和式(18)可求得用于两组点云配准的旋转矩阵R和平移向量T。对待配准点云集K进行坐标变换，得到转换坐标
Figure GDA0004200702960000145
Figure GDA0004200702960000142
设定ICP算法的约束条件为所有最近点对的欧式距离之和：
Figure GDA0004200702960000143
式中，f表示所有最近点对的欧式距离之和，n表示基准点云集中数据点的总数，li表示基准点云集中的数据点，
Figure GDA0004200702960000144
表示转换坐标后待配准点云集中数据点。
设定最小距离阈值为dmin，若f＞dmin，则不满足要求，重新进行式(11)至式(20)的运算；若f＜dmin，则算法收敛，迭代运算终止，输出最优变换矩阵。
该最优变换矩阵包含最优平移向量和最优旋转向量，该矩阵的目的是将两组点云数据进行配准进而获取一组配准后的点云数据，根据该组点云数据可通过现有的树冠参数计算公式进行冠层参数的计算。
综上所述，本发明实施例公开的上述方案，通过融合2D-LiDAR及Kinect相机采集的冠层信息，对比校正冠层参数测算结果，实现整棵果树冠层参数的准确检测，能够在控制成本前提下，有效融合多传感器的检测数据，实现高精度的果树冠层参数测算，为果园精准喷雾、精准施肥、产量估计等技术提供基础。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于2D-LiDAR和Kinect的果树冠层参数检测系统，其特征在于，包括：二维激光雷达、Kinect相机、惯性测量单元、控制器以及托运设备；
所述二维激光雷达和所述Kinect相机均安装于所述托运设备的前端，所述二维激光雷达沿所述托运设备的行驶方向布置，所述Kinect相机设于所述二维激光雷达的上方，并沿垂直于所述托运设备的行驶方向水平布置，所述惯性测量单元安装于所述托运设备的几何中心，所述二维激光雷达、所述Kinect相机以及所述惯性测量单元均与所述控制器电连接；
所述托运设备用于搭载所述二维激光雷达和所述Kinect相机分别采集果树两侧的冠层点云数据，所述惯性测量单元用于检测所述托运设备行驶过程中的加速度和位姿信息，所述控制器用于实时接收所述冠层点云数据以及所述加速度和位姿信息，并对接收到的数据进行分析处理，获得果树冠层参数检测结果；
所述果树冠层参数检测系统进一步包括：
分别以二维激光雷达和Kinect相机所在位置为原点建立LiDAR坐标系和Kinect坐标系；
根据二维激光雷达获取的LiDAR冠层点云数据中点云距离ρ和角度θ，并以托运设备行驶方向为X轴正方向，以托运设备的行驶距离Vt作为x坐标，得到LiDAR冠层点云数据对应的坐标表达：
Figure FDA0004200702940000011
将Kinect相机获取的Kinect冠层点云数据投影到图像平面，形成二维图像，并根据所述二维图像中的像素坐标(u,v)和深度信息d，得到Kinect冠层点云数据对应的坐标表达：
Figure FDA0004200702940000021
式中，Cx、Cy为基准点，fx、fy分别为X轴和Y轴方向上以像素为单位的等效焦距；
根据二维激光雷达与Kinect相机之间的垂直高度差h以及拍摄角度，获得LiDAR坐标系和Kinect坐标系之间的坐标转换关系：
Figure FDA0004200702940000022
即：
Figure FDA0004200702940000023
2.根据权利要求1所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测系统，其特征在于，所述控制器包括上位机和下位机，所述二维激光雷达和所述Kinect相机分别与所述上位机电连接，所述惯性测量单元与所述下位机电连接，所述上位机与所述下位机通过相应串口连接。
3.根据权利要求1所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测系统，其特征在于，所述惯性测量单元包括加速度计和陀螺仪，所述加速度计用于检测所述托运设备行驶过程中的加速度，所述陀螺仪用于检测所述托运设备行驶过程中的位姿信息。
4.根据权利要求1所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测系统，其特征在于，所述Kinect相机与所述二维激光雷达的高度差为0.5m。
5.一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，其特征在于，包括：
获取一侧数据：通过托运设备搭载二维激光雷达和Kinect相机分别获取单排果树一侧的LiDAR冠层点云数据和Kinect冠层点云数据，并实时检测所述托运设备在行驶过程中的加速度和位姿信息；
获取另一侧数据：通过托运设备搭载二维激光雷达和Kinect相机分别获取单排果树另一侧的LiDAR冠层点云数据和Kinect冠层点云数据，并实时检测所述托运设备在行驶过程中的加速度和位姿信息；
矫正数据：根据所述托运设备在行驶过程中的加速度和位姿信息对所述托运设备的位姿状态进行估计，并分别将单排果树两侧的LiDAR冠层点云数据和Kinect冠层点云数据与对应时段所述托运设备的位姿状态进行时间同步匹配，对位姿偏移大的数据帧进行矫正；
融合两侧数据：将矫正后单排果树两侧的LiDAR冠层点云数据进行融合，得到完整LiDAR冠层点云数据，并将矫正后单排果树两侧的Kinect冠层点云数据进行融合，得到完整Kinect冠层点云数据；
数据配准：将所述完整LiDAR冠层点云数据和所述完整Kinect冠层点云数据转换至同一坐标系并进行配准，得到单排果树完整的冠层点云图像，通过所述冠层点云图像计算得到果树冠层参数；
所述数据配准步骤中，将所述完整LiDAR冠层点云数据和所述完整Kinect冠层点云数据转换至同一坐标系的过程，具体包括：
分别以二维激光雷达和Kinect相机所在位置为原点建立LiDAR坐标系和Kinect坐标系；
根据二维激光雷达获取的LiDAR冠层点云数据中点云距离ρ和角度θ，并以托运设备行驶方向为X轴正方向，以托运设备的行驶距离Vt作为x坐标，得到LiDAR冠层点云数据对应的坐标表达：
Figure FDA0004200702940000031
将Kinect相机获取的Kinect冠层点云数据投影到图像平面，形成二维图像，并根据所述二维图像中的像素坐标(u,v)和深度信息d，得到Kinect冠层点云数据对应的坐标表达：
Figure FDA0004200702940000041
式中，Cx、Cy为基准点，fx、fy分别为X轴和Y轴方向上以像素为单位的等效焦距；
根据二维激光雷达与Kinect相机之间的垂直高度差h以及拍摄角度，获得LiDAR坐标系和Kinect坐标系之间的坐标转换关系：
Figure FDA0004200702940000042
即：
Figure FDA0004200702940000043
6.根据权利要求5所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，其特征在于，所述矫正数据步骤中，对所述托运设备的位姿状态进行估计通过扩展卡尔曼滤波算法实现，具体包括：
设定状态量为前一时刻的姿态角最优估计及惯性测量单元的温度漂移，观测量为惯性测量单元所测托运设备当前时刻的姿态角，利用状态估计方程求解姿态角的预测值；
求解所述状态估计方程的协方差矩阵，
通过观测方程计算残差以及卡尔曼增益；
结合所述状态估计方程、所述状态估计方程的协方差矩阵以及所述观测方程，更新k时刻待估计状态，得到托运设备当前时刻位姿状态的估计结果。
7.根据权利要求5所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，其特征在于，所述数据配准步骤中，将所述完整LiDAR冠层点云数据和所述完整Kinect冠层点云数据进行配准的过程，具体包括：
以二维激光雷达获得的LiDAR冠层点云数据构建基准点云集，以Kinect相机获得的Kinect冠层点云数据构建待配准点云集；
分别计算待配准点云集中每个数据点与基准点云集中所有数据点的最近几何距离，获得待配准点云集中各个数据点在所述基准点云集中对应的最近距离点，构建多个最近点对；
将各个最近点对进行重新排列，每个最近点对中两点的下标相同，并分别计算所述待配准点云集和所述基准点云集的质心；
根据待配准点云集的质心计算公式和基准点云集的质心计算公式，构建协方差矩阵，并根据协方差矩阵构建对称矩阵；
求解对称矩阵的最大特征值对应的特征向量，并根据所述特征向量计算得到旋转矩阵；
根据所述协方差矩阵、所述对称矩阵以及所述旋转矩阵，求得平移向量；
根据所述旋转矩阵和所述平移向量，对所述待配准点云集进行坐标变换，得到转换后的坐标；
根据获得的转换后的坐标，计算所有最近点对的欧式距离之和，并在计算得到的欧式距离之和大于预设的最小距离阈值时，输出最优变换矩阵。
8.根据权利要求7所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，其特征在于，所述基准点云集的质心计算公式为：
Figure FDA0004200702940000051
式中，hl表示基准点云集的质心，n表示基准点云集中数据点的总数，li表示基准点云集中的数据点；
所述待配准点云集的质心计算公式为：
Figure FDA0004200702940000061
式中，hk表示待配准点云集的质心，m表示待配准点云集中数据点的总数，ki表示待配准点云集中的数据点。
9.根据权利要求7所述的一种基于2D-LiDAR和Kinect的果树冠层参数检测方法，其特征在于，所有最近点对的欧式距离之和的计算公式为：
Figure FDA0004200702940000062
式中，f表示所有最近点对的欧式距离之和，n表示基准点云集中数据点的总数，li表示基准点云集中的数据点，ki t表示转换坐标后待配准点云集中数据点。
CN202110251565.7A 2021-03-08 2021-03-08 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法 Active CN112837314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110251565.7A CN112837314B (zh) 2021-03-08 2021-03-08 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110251565.7A CN112837314B (zh) 2021-03-08 2021-03-08 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法

Publications (2)

Publication Number Publication Date
CN112837314A CN112837314A (zh) 2021-05-25
CN112837314B true CN112837314B (zh) 2023-06-09

Family

ID=75929736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110251565.7A Active CN112837314B (zh) 2021-03-08 2021-03-08 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法

Country Status (1)

Country Link
CN (1) CN112837314B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113804190B (zh) * 2021-09-14 2023-09-15 华南农业大学 一种果树三维点云采集方法及装置
CN115629393B (zh) * 2022-11-30 2023-04-21 北京市农林科学院智能装备技术研究中心 生物量估算方法、装置、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303043A (zh) * 2017-12-29 2018-07-20 华南农业大学 多传感器信息融合的植物叶面积指数检测方法及系统
CN110342153A (zh) * 2019-07-29 2019-10-18 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
CN110389369A (zh) * 2019-07-30 2019-10-29 南京林业大学 基于rtk-gps和移动二维激光扫描的冠层点云获取方法
CN110658530A (zh) * 2019-08-01 2020-01-07 北京联合大学 一种基于双激光雷达数据融合的地图构建方法、系统及地图
CN111046776A (zh) * 2019-12-06 2020-04-21 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108303043A (zh) * 2017-12-29 2018-07-20 华南农业大学 多传感器信息融合的植物叶面积指数检测方法及系统
CN110342153A (zh) * 2019-07-29 2019-10-18 齐霄强 一种基于三维点云的垃圾桶识别抓取方法
CN110389369A (zh) * 2019-07-30 2019-10-29 南京林业大学 基于rtk-gps和移动二维激光扫描的冠层点云获取方法
CN110658530A (zh) * 2019-08-01 2020-01-07 北京联合大学 一种基于双激光雷达数据融合的地图构建方法、系统及地图
CN111046776A (zh) * 2019-12-06 2020-04-21 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法

Also Published As

Publication number Publication date
CN112837314A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN113066105B (zh) 激光雷达和惯性测量单元融合的定位与建图方法及系统
JP7072759B2 (ja) マルチセンサによる複合キャリブレーション装置及び方法
CN112396664B (zh) 一种单目摄像机与三维激光雷达联合标定及在线优化方法
CN109544638A (zh) 一种用于多传感器融合的异步在线标定方法
CN105469405B (zh) 基于视觉测程的同时定位与地图构建方法
CN111199578B (zh) 基于视觉辅助激光雷达的无人机三维环境建模方法
CN112837314B (zh) 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法
CN104599272B (zh) 面向可移动靶标球的机载LiDAR点云与影像联合配准方法
CN111486864B (zh) 基于立体正八边结构的多源传感器联合标定方法
CN113781582A (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN109465830B (zh) 机器人单目立体视觉标定系统及方法
CN110703268A (zh) 一种自主定位导航的航线规划方法和装置
CN111366153B (zh) 一种激光雷达与imu紧耦合的定位方法
CN107289910A (zh) 一种基于tof的光流定位系统
CN115908708B (zh) 基于Kinect的植物群体全局三维重建方法
WO2021004416A1 (zh) 一种基于视觉信标建立信标地图的方法、装置
CN113763549B (zh) 融合激光雷达和imu的同时定位建图方法、装置和存储介质
Yuan et al. GNSS-IMU-assisted colored ICP for UAV-LiDAR point cloud registration of peach trees
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
Zhou et al. Point cloud registration for agriculture and forestry crops based on calibration balls using Kinect V2
CN114830911B (zh) 智能除草方法、装置和存储介质
WO2020019116A1 (zh) 多源数据建图方法、相关装置及计算机可读存储介质
WO2022237375A1 (zh) 用于定位装置和里程计的标定方法、程序产品和标定装置
CN116184430A (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant