CN111968074A - 融合双目相机和imu的收割机倒伏作物检测与收获方法 - Google Patents

融合双目相机和imu的收割机倒伏作物检测与收获方法 Download PDF

Info

Publication number
CN111968074A
CN111968074A CN202010684514.9A CN202010684514A CN111968074A CN 111968074 A CN111968074 A CN 111968074A CN 202010684514 A CN202010684514 A CN 202010684514A CN 111968074 A CN111968074 A CN 111968074A
Authority
CN
China
Prior art keywords
camera
lodging
crop
harvester
imu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010684514.9A
Other languages
English (en)
Inventor
闻敬谦
潘政霖
范银冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010684514.9A priority Critical patent/CN111968074A/zh
Publication of CN111968074A publication Critical patent/CN111968074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D45/00—Harvesting of standing crops
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Quality & Reliability (AREA)
  • Guiding Agricultural Machines (AREA)

Abstract

本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，属于农业机械领域，本发明实现方法为：使用双目相机对联合收割机工作区域的作物进行图片采集。使用棋盘格对相机进行标定内外参，计算出重投影矩阵和作物区域视差图，进一步计算出其三维坐标。上位机通过相机IMU模块提供的联合收割机位置及姿态信息对三维坐标进行矫正后，将其转换为三维点云并进行后处理，提取作物表面的有效点云，对其分析得到待收获区域内作物倒伏情况，再计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。

Description

融合双目相机和IMU的收割机倒伏作物检测与收获方法
技术领域
本发明属于农业机械领域，尤其是涉及一种融合双目相机和惯性测量单元的收割机倒伏作物检测与收获方法。
背景技术
倒伏的作物与正常生长的作物相比，其高度更低，且作物之间相互缠绕，导致收割机作业时收获困难。通常情况下，为了收割倒伏的作物，收割机需要降低割台高度以减小割茬高度，降低拨禾轮高度以使拨禾轮能够扶持到作物。而当前对于作物倒伏程度如何，是否需要改变割台部件的参数来收割，在人工操作的机器上需要依靠收割机操作人员的个人经验，这种方法不仅需要消耗大量的人力物力，同时还不能保证较高的收获效率。
传统的作物倒伏检测方法主要包括遥感检测与地面检测两种，其中航空、航天遥感监测操纵困难、实时性不够，无法为收获机的作业提供实时有效的作物倒伏信息，采用激光雷达的地面监测技术虽然已经成熟，但是激光雷达存在过于昂贵等显著缺点，无法广泛推广应用。
双目视觉是在农业领域中具有广泛应用前景的技术之一，相比于遥感及激光雷达等技术，具有成本低，效率高，适用面广、易与其他设备相结合的显著优点。通过对成熟作物或田野环境进行三维重建，可为自动化农业器械提供重要的深度信息。
发明内容
为了解决上述传统方法中遥感实时性低，激光雷达成本高等问题，本发明的目的是提供融合双目相机和IMU的收割机倒伏作物检测与收获方法，能够实时准确地分析待收获作物的倒伏情况，并能够针对非平坦区域存在的联合收割机位置姿态变化问题，使用IMU惯性导航传感器对三维信息进行弥补矫正，同时计算割台的收割策略，为联合收割机割台系统提供有效可靠的作物状态感知信息，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物。本发明能够克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。
本发明的目的是通过下述技术方案实现的：
本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，使用棋盘格对双目相机进行标定，并且采集联合收割机前方工作区域的图片。根据标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵。同时通过双目立体匹配算法，计算出作物区域对应的视差图。根据视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中。上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正中得到的三维坐标，将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云。根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。
本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，包括如下步骤：
步骤S1：使用棋盘格标定板对双目相机进行标定，确定绝对世界坐标系，并且采集联合收割机前方工作区域的图片。
所述绝对世界坐标系以棋盘格标定板上某个正方形的角点作为原点O0建立坐标系，棋盘标定板所在的平面作为x0轴和y0轴所构成的平面，x0轴和y0轴垂直，方向任意。z0轴、y0轴垂直于x0轴和y0轴所构成的平面向上。
步骤S2：根据步骤S1中标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵。同时通过双目立体匹配算法，计算出小麦区域对应的视差图。
步骤S3：根据步骤S2中视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中。
所述的相对世界坐标系Onxnynzn在任意时刻n，与联合收割机位置保持相对不变，其相对于相机的位置和姿态与绝对世界坐标系一致。
步骤S4：上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正步骤S3中得到的三维坐标。并将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云。
步骤S5：根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。
作为优选，相机具有内置IMU模块，IMU模块用于及时获取当前相机姿态和位置。由于相机与联合收割机固连，因此，相机姿态和位置能够被认为是联合收割机姿态和位置。
作为优选，外参矩阵的求取分别用迭代法、EPnP算法和P3P算法求解PNP问题，计算三种方法下相机的位姿和重投影误差，最后选择三种方法下重投影误差最小相机位姿作为相机的外参矩阵。
作为优选，双目矫正使用Bouguet算法以快速获得矫正结果。
作为优选，双目立体匹配算法使用SGBM算法实现。
作为优选，点云后处理步骤依次为体素滤波、统计滤波、最小二乘平滑、统计滤波，之后再进行作物表面点云高度筛选。
作为优选，相机IMU模块提供位置及姿态信息包括：相机相对于初始时刻的三轴旋转角度和三个方向的位移。
三维坐标矫正由式(1)得到。
Figure BDA0002583507890000031
其中，[xn yn zn]T是修正过后点的三维坐标，[xn' yn' zn']T是修正之前点的三维坐标，
Figure BDA0002583507890000032
是由三轴旋转角度计算得到的相机从初始位置到当前位置的旋转矩阵，
Figure BDA0002583507890000033
是相机从初始位置运动到当前位置的位移矩阵
割台的作业参数包括：割台高度、拨禾轮相对于割台的水平位置和垂直位置、拨禾轮的转速。所述参数通过割台上相应的传感器获得。
待收获区域内作物倒伏情况通过如下判据获得：双目相机获得的作物表面点云的空间位置近似为作物穗头的空间位置。不考虑作物在直立、倾斜、倒伏状态下的弯曲，根据作物穗头的位置推测出作物的倾斜角度。
收割机拨禾轮控制策略为：如果检测得到前方收割区域作物存在大量倒伏，则上位机控制拨禾轮向下移动，如果倒伏情况少或不存在倒伏现象则抬高拨禾轮。
有益效果：
1、本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，使用IMU惯性导航传感器对双目相机获取的三维信息进行弥补矫正，同时计算割台的收割策略，为联合收割机割台系统提供有效可靠的作物状态感知信息，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物。本发明能够克服因为田间地面不平导致的姿态误差问题，能够在复杂地形的农田应用，增大本发明方法的适用范围，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。
2、本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，使用双目视觉的方法检测作物的倒伏情况，相比于现有的地面激光雷达和高空光谱遥感倒伏检测技术，能够显著降低检测的成本，提高检测的实时性，检测效率高、适用面广。
3、本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，外参矩阵的求取分别用迭代法、EPnP算法和P3P算法求解PNP问题，计算三种方法下相机的位姿和重投影误差，最后选择三种方法下重投影误差最小相机位姿作为相机的外参矩阵，能够提高相机标定的精度，减小作物高度的检测误差。
4、本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法，待收获区域内作物倒伏情况通过如下判据获得：双目相机获得的作物表面点云的空间位置近似为作物穗头的空间位置。不考虑作物在直立、倾斜、倒伏状态下的弯曲，根据作物穗头的位置推测出作物的倾斜角度。
附图说明
图1是本发明公开的融合双目相机和IMU的收割机倒伏作物检测与收获方法流程图；
图2是绝对世界坐标系示意图；
图3是小麦倒伏检测实例的左右视图；
图4是相对世界坐标系示意图；
图5是小麦倒伏检测实例的点云图；
图6是小麦倒伏检测实例的判断结果。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
如图1所示，本实施例公开融合双目相机和IMU的收割机倒伏作物检测与收获方法，该方法通过点云重构田间被测量作物表面的三维特征，不仅能够准确地获得作物的高度、倾斜角度等物理信息，同时还能够分析推断目标的生长情况及倒伏状态，通过IMU惯性器件，可以克服由地形不平坦导致的倾斜问题。该系统可以为联合收割机执行收割任务提供重要的指导信息。以江苏省张家港市农作物品种综合测试基地小麦为例，倒伏检测流程包括：
步骤S1：使用棋盘格标定板对双目相机进行标定，确定绝对世界坐标系，并且采集联合收割机前方工作区域的图片。
所述绝对世界坐标系以棋盘格标定板上某个正方形的角点作为原点O0建立坐标系，棋盘标定板所在的平面作为x0轴和y0轴所构成的平面，x0轴和y0轴垂直，方向任意。z0轴和y0轴轴垂直于x0轴和y0轴所构成的平面向上，示意图如图2所示。
步骤S1具体实现方法为：
步骤101：将双目相机固定在联合收割机挡风玻璃右上方，粘在PVC板上的标定板放置在距离收割机割台正前方5m的位置，棋盘格外形尺寸为300mm×300mm，方格边长为30mm×30mm。
步骤102：用双目相机在不同位置和角度拍摄标定板的图片共19对，在MATLAB中使用双目标定工具箱对合适的图片进行张正友棋盘格标定，得到左相机、右相机的内参矩阵和畸变系数矩阵、从左相机到右相机的畸变矩阵、从左相机到右相机的平移矩阵。
步骤103：分别用迭代法，EPnP算法和P3P算法这三种算法求解PNP问题，计算出三个相机位姿并计算其重投影误差，根据后者确定最优的相机位姿，并获得相机的外参矩阵，包括平移矩阵和旋转矩阵。
步骤104：通过上位机控制双目相机左右目对工作区域进行图像采样，左右视图如图3所示。
步骤S2：根据步骤S1中标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵。同时通过双目立体匹配算法，计算出小麦区域对应的视差图。
步骤S2具体实现方法为：
步骤201：双目校正包括畸变校正和立体校正，根据内外参矩阵先后对采集到的图像进行前述两步矫正，其中立体校正采用Bouguet算法以快速获得矫正结果。这一步可以消除畸变误差，并使左右目相机的图像平面共面且行对准，以及计算出重投影矩阵。
步骤202：校正结束后，通过SGBM算法实现双目立体匹配。SGBM算法则是基于SGM算法的实现，准确性高，运算速度快，综合性能优秀，被广泛应用于立体匹配领域。通过双目立体匹配，可以计算出小麦区域对应的视差图。
步骤S3：根据步骤S2中视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中。
所述的相对世界坐标系Onxnynzn在任意时刻n，与联合收割机位置保持相对不变，其相对于相机的位置和姿态与绝对世界坐标系一致，示意图如图4所示。
步骤S3具体实现方法为：
步骤301：已知某个像素的视差，在重投影矩阵的变换下，就可以将图像像素坐标转化为基于相机坐标系的三维空间坐标。此处采用Opencv中的reprojectImageTo3D函数进行三维空间坐标重构。
步骤302：在将图像上的像素重投影成三维坐标后，再结合相机外参标定得到的外参矩阵，即能将相机坐标系中的小麦表面三维坐标转换到相对世界坐标系中。
步骤303：为了提高后续点云处理等步骤的效率，在将相机坐标系中的三维坐标转换到相对世界坐标系的过程中，对每个三维坐标进行筛选，如果相机坐标系中的三维坐标出现不在正常高度范围内的值，则将该三维坐标剔除。
步骤S4：上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正步骤S3中得到的三维坐标。并将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云。
步骤S4具体实现方法为：
步骤401：考虑联合收割机在实际收割行进过程中，因为田间地面不平容易可能出现倾斜及姿态变化，导致相机坐标系和相对世界坐标系的转换关系发生变化。将相机的IMU模块记录的当前相机/联合收割机姿态信息通过通信接口传输给上位机，对步骤S3中得到的三维坐标进行姿态修正。矫正公式如下：
Figure BDA0002583507890000061
其中，[xn yn zn]T是修正过后点的三维坐标，[xn' yn' zn']T是修正之前点的三维坐标，
Figure BDA0002583507890000062
是由三轴旋转角度计算得到的相机从初始位置到当前位置的旋转矩阵，
Figure BDA0002583507890000063
是相机从初始位置运动到当前位置的位移矩阵
步骤402：为了满足显示的效果和后期点云处理的要求，先对基于相对世界坐标系中的三维空间点坐标和对应像素的颜色信息进行融合，生成PCL中的pcl::PointCloud<PointXYZRGB>格式的初始点云。在生成点云的过程中，对这些三维坐标要进行一定的筛选，由于小麦的高度在一定范围内，所以对于待收割区域的小麦，可以将高度不在这个范围内的坐标点直接删除，不生成点云。之后对初始点云进行降采样和平滑滤波等处理得到的有效作物点云如图5所示。
步骤S5：根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。
步骤S5具体实现方法为：
步骤501：倒伏的作物通常会形成一片倒伏区域，在这些倒伏区域内，作物之间相互推挤依靠，导致这些区域的表面基本上都是由穗头覆盖，而茎秆部分则在表面之下，因此，通过双目相机获得的作物表面点云的空间位置可以近似认为是作物穗头的空间位置。如果不考虑作物在直立、倾斜、倒伏状态下的弯曲，并且一直正常直立状态下的作物的高度，那么，根据作物穗头的位置，就可以推测出作物的倾斜角度。基于作物表面点云高度Zn的倒伏程度划分标准：
Figure BDA0002583507890000064
其中，H是直立正常作物的高度，事先人工测量获得。
在该划分标准下，对每个点云进行判断，分析所拍摄区域小麦的倒伏情况，就可以区域内的小麦高度信息，倒伏状况，以及每种倒伏情况在该区域的占比等信息，分析结果与实际作物倒伏情况如图6所示。
步骤502：割台在相对世界坐标系下的空间位置可以从联合收割机上的割台高度传感器获得。如由501中检测得到前方收割区域小麦存在大量倒伏，则上位机控制拨禾轮和割台降低高度向下移动，如果倒伏情况少或不存在倒伏现象则抬高拨禾轮，以实现自动最优控制。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：包括如下步骤，
步骤S1：使用棋盘格标定板对双目相机进行标定，确定绝对世界坐标系，并且采集联合收割机前方工作区域的图片；
步骤S2：根据步骤S1中标定得到的相机内外参矩阵、畸变参数和左右目相机之间的旋转平移矩阵对相机进行双目校正，计算出重投影矩阵；同时通过双目立体匹配算法，计算出作物区域对应的视差图；
步骤S3：根据步骤S2中视差图和重投影矩阵，计算出每个像素点在相机坐标系中的三维坐标，并通过相机外参矩阵将其转换到相对世界坐标系中；
步骤S4：上位机通过相机IMU模块提供的联合收割机位置及姿态信息，矫正步骤S3中得到的三维坐标；并将其转换为三维点云，通过后处理滤波去除噪声和无效点云信息，提取作物表面的有效点云；
步骤S5：根据三维点云坐标对作物点云进行分析，得到待收获区域内作物倒伏情况，再根据作物的倒伏情况计算联合收割机割台的最优调控策略，进而辅助操作人员收割倒伏作物或者实现自动调控收割倒伏作物，克服因为田间地面不平导致的姿态误差问题，提高联合收割机在收获倒伏作物时收割效率，降低收割成本。
2.如权利要求1所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：所述绝对世界坐标系以棋盘格标定板上某个正方形的角点作为原点O0建立坐标系，棋盘标定板所在的平面作为x0轴和y0轴所构成的平面，x0轴和y0轴垂直，方向任意；z0轴、y0轴垂直于x0轴和y0轴所构成的平面向上；
所述的相对世界坐标系Onxnynzn在任意时刻n，与联合收割机位置保持相对不变，其相对于相机的位置和姿态与绝对世界坐标系一致。
3.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：相机具有内置IMU模块，IMU模块用于及时获取当前相机姿态和位置；由于相机与联合收割机固连，因此，相机姿态和位置能够被认为是联合收割机姿态和位置。
4.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：外参矩阵的求取分别用迭代法、EPnP算法和P3P算法求解PNP问题，计算三种方法下相机的位姿和重投影误差，最后选择三种方法下重投影误差最小相机位姿作为相机的外参矩阵。
5.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：双目矫正使用Bouguet算法以快速获得矫正结果；
双目立体匹配算法使用SGBM算法实现。
6.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：点云后处理步骤依次为体素滤波、统计滤波、最小二乘平滑、统计滤波，之后再进行作物表面点云高度筛选。
7.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：相机IMU模块提供位置及姿态信息包括：相机相对于初始时刻的三轴旋转角度和三个方向的位移；
三维坐标矫正由式(1)得到；
Figure FDA0002583507880000021
其中，[xn yn zn]T是修正过后点的三维坐标，[xn' yn' zn']T是修正之前点的三维坐标，
Figure FDA0002583507880000022
是由三轴旋转角度计算得到的相机从初始位置到当前位置的旋转矩阵，
Figure FDA0002583507880000023
是相机从初始位置运动到当前位置的位移矩阵。
8.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：割台的作业参数包括：割台高度、拨禾轮相对于割台的水平位置和垂直位置、拨禾轮的转速；所述参数通过割台上相应的传感器获得。
9.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：待收获区域内作物倒伏情况通过如下判据获得：双目相机获得的作物表面点云的空间位置近似为作物穗头的空间位置；不考虑作物在直立、倾斜、倒伏状态下的弯曲，根据作物穗头的位置推测出作物的倾斜角度。
10.如权利要求1或2所述的融合双目相机和IMU的收割机倒伏作物检测与收获方法，其特征在于：收割机拨禾轮控制策略为：如果检测得到前方收割区域作物存在大量倒伏，则上位机控制拨禾轮向下移动，如果倒伏情况少或不存在倒伏现象则抬高拨禾轮。
CN202010684514.9A 2020-07-14 2020-07-14 融合双目相机和imu的收割机倒伏作物检测与收获方法 Pending CN111968074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010684514.9A CN111968074A (zh) 2020-07-14 2020-07-14 融合双目相机和imu的收割机倒伏作物检测与收获方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010684514.9A CN111968074A (zh) 2020-07-14 2020-07-14 融合双目相机和imu的收割机倒伏作物检测与收获方法

Publications (1)

Publication Number Publication Date
CN111968074A true CN111968074A (zh) 2020-11-20

Family

ID=73362376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010684514.9A Pending CN111968074A (zh) 2020-07-14 2020-07-14 融合双目相机和imu的收割机倒伏作物检测与收获方法

Country Status (1)

Country Link
CN (1) CN111968074A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857222A (zh) * 2021-01-18 2021-05-28 吉林高分遥感应用研究院有限公司 一种田间作物测量装置及测量方法
CN113313759A (zh) * 2021-05-31 2021-08-27 华南理工大学 基于双目视觉的焊点定位方法、系统、装置、设备和介质
CN113378848A (zh) * 2021-07-08 2021-09-10 湖南元想科技有限公司 南荻收割区或弃割区分布提取方法、系统及存储介质
CN113418456A (zh) * 2021-05-24 2021-09-21 江苏大学 一种适用于水稻联合收割机的作物高度在线测量方法
CN114187353A (zh) * 2021-10-18 2022-03-15 北京理工大学 基于视觉的智能稻麦收割机拨禾轮位置测量方法
CN114916306A (zh) * 2022-04-29 2022-08-19 农业农村部南京农业机械化研究所 一种油菜收割机的拨禾轮自动调控方法及系统
CN114926532A (zh) * 2022-04-26 2022-08-19 江苏大学 一种再生稻穗层高度在线检测方法及系统和收获机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097342A (zh) * 2016-06-13 2016-11-09 北京理工大学 一种机器人宇航员双目视觉系统的自标定方法
US20180316905A1 (en) * 2017-04-28 2018-11-01 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
CN109146948A (zh) * 2018-07-27 2019-01-04 内蒙古大学 基于视觉的作物长势表型参数量化与产量相关性分析方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097342A (zh) * 2016-06-13 2016-11-09 北京理工大学 一种机器人宇航员双目视觉系统的自标定方法
US20180316905A1 (en) * 2017-04-28 2018-11-01 Panasonic Intellectual Property Management Co., Ltd. Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
CN109146948A (zh) * 2018-07-27 2019-01-04 内蒙古大学 基于视觉的作物长势表型参数量化与产量相关性分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINDONG FAN ET AL.: "Computer Vision Measurement System for Measuring Elasticity Modulus of Straws", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
孙月等: "无人机与多传感器的精准农业系统研究", 《单片机与嵌入式系统应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112857222A (zh) * 2021-01-18 2021-05-28 吉林高分遥感应用研究院有限公司 一种田间作物测量装置及测量方法
CN113418456A (zh) * 2021-05-24 2021-09-21 江苏大学 一种适用于水稻联合收割机的作物高度在线测量方法
CN113313759A (zh) * 2021-05-31 2021-08-27 华南理工大学 基于双目视觉的焊点定位方法、系统、装置、设备和介质
CN113313759B (zh) * 2021-05-31 2023-02-14 华南理工大学 基于双目视觉的焊点定位方法、系统、装置、设备和介质
CN113378848A (zh) * 2021-07-08 2021-09-10 湖南元想科技有限公司 南荻收割区或弃割区分布提取方法、系统及存储介质
CN113378848B (zh) * 2021-07-08 2024-01-30 湖南元想科技有限公司 南荻收割区或弃割区分布提取方法、系统及存储介质
CN114187353A (zh) * 2021-10-18 2022-03-15 北京理工大学 基于视觉的智能稻麦收割机拨禾轮位置测量方法
CN114187353B (zh) * 2021-10-18 2024-08-09 北京理工大学 基于视觉的智能稻麦收割机拨禾轮位置测量方法
CN114926532A (zh) * 2022-04-26 2022-08-19 江苏大学 一种再生稻穗层高度在线检测方法及系统和收获机
CN114926532B (zh) * 2022-04-26 2024-06-11 江苏大学 一种再生稻穗层高度在线检测方法及系统和收获机
CN114916306A (zh) * 2022-04-29 2022-08-19 农业农村部南京农业机械化研究所 一种油菜收割机的拨禾轮自动调控方法及系统

Similar Documents

Publication Publication Date Title
CN111968074A (zh) 融合双目相机和imu的收割机倒伏作物检测与收获方法
US20170308103A1 (en) Flight device, flight control system and method
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
WO2017080102A1 (zh) 飞行装置、飞行控制系统及方法
US8340402B2 (en) Device and method for detecting a plant
CN104718874B (zh) 用于收割机的产量测量和根部切割器高度控制系统
EP1655620B1 (en) Obstacle detection using stereo vision
CN102798350B (zh) 一种臂架挠度的测量方法、装置及系统
CN109816680B (zh) 一种农作物株高的高通量计算方法
EP1610090A2 (en) Method for associating stereo images and three-dimensional data preparation system
US20040264761A1 (en) System and method for detecting crop rows in an agricultural field
US20040264762A1 (en) System and method for detecting and analyzing features in an agricultural field
JP3850541B2 (ja) 高度計測装置
US10602665B2 (en) Two armed robotic system for adjusting the height of an agricultural tool
Li et al. Vision-based pest detection and automatic spray of greenhouse plant
CN110648362B (zh) 一种双目立体视觉的羽毛球定位识别与姿态计算方法
CN110414384B (zh) 智能稻麦收获机导航线跟踪方法
KR102129738B1 (ko) 높이 보정이 가능한 높이 센싱 알고리즘을 구비한 자율주행 트랙터
CN114187353A (zh) 基于视觉的智能稻麦收割机拨禾轮位置测量方法
Cho et al. Vision-based uncut crop edge detection for automated guidance of head-feeding combine
CN106683133A (zh) 一种获取目标深度图像的方法
CN112837314A (zh) 基于2D-LiDAR和Kinect的果树冠层参数检测系统和方法
CN115451965B (zh) 基于双目视觉的插秧机插植系统相对航向信息检测方法
CN111768448A (zh) 一种基于多相机检测的空间坐标系标定方法
CN107274447B (zh) 深度图像获取装置和深度图像获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20230328