CN115272187A - 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 - Google Patents

一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 Download PDF

Info

Publication number
CN115272187A
CN115272187A CN202210736071.2A CN202210736071A CN115272187A CN 115272187 A CN115272187 A CN 115272187A CN 202210736071 A CN202210736071 A CN 202210736071A CN 115272187 A CN115272187 A CN 115272187A
Authority
CN
China
Prior art keywords
lodging
wheat
rice
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210736071.2A
Other languages
English (en)
Inventor
张千
徐立章
马征
赵世昊
王光炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202210736071.2A priority Critical patent/CN115272187A/zh
Publication of CN115272187A publication Critical patent/CN115272187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Economics (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Agronomy & Crop Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法。首先，基于构建的倒伏评估静态坐标模型和坐标关系链补偿修正逆透视变换方程，并通过关键点的透视和逆透视变换对图像自适应划分网格；之后，基于二维空间的边缘线段拟合及三维空间的多线段主方向提取，评估网格内稻麦倒伏位姿，并基于KAZE特征提取倒伏起始点和校正区域主方向；之后，采用基于主运动方向的匹配点区域预估和结合主与次运动方向的匹配点搜索得到上下帧分格稀疏匹配点对集；最后，基于上下帧待测区域交集内的匹配点集在不同时刻下的坐标位置，构建收获机作业各时刻坐标链，基于坐标链将各时刻倒伏位姿转换到同一坐标系下，实现车载田间稻麦倒伏全局评估。

Description

一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估 方法
技术领域
本发明涉及机器视觉领域，尤其涉及收获机械作业状态与环境信息感知，基于车载动 态视场帧间关联性的田间稻麦倒伏全局评估方法，用于稻麦联合收获机实现基于立体视觉 的收获作业精准控制。
背景技术
我国是全球稻麦生产大国，提高稻麦的生产和收获水平，实现增产增收，对保障我国 国家粮食安全、提高农业质量效益和竞争力至关重要。随着农业机械化水平和智能检测技 术的发展，我国稻麦的生产管理也逐渐自动化、智能化、精准化，逐步迈入适应我国国情和农业发展的智慧农业新时代。目前提高稻麦产量的技术涵盖了耕作、播种、管理、收获 四个方面，其中收获部分由于作物的生长情况和发育状态已经定型，从具有固定产量的作 物群里中实现收获产量最大化是农业装备智能化的重要研究方向。品种选取、田间管理、 光照情况、气候温度等差异，易导致成熟稻麦的形态各有差异，其中由于管理不科学和外 部环境影响产生的倒伏现象，是影响稻麦收获效率、损失率的重要因素。改造加装分禾器、 扶倒器、拨禾轮等装置，并实现拨禾轮的高低前后位移和速度、拨禾齿角度、切割器速度 等割台参数的自动可调，是收获机降低含倒伏稻麦收获损失率的可靠手段，但同时也对用 于实时控制优化的田间车载稻麦倒伏评估提出了更高要求。
诸多学者对作物的倒伏检测主要用于灾害评估和田间管理，区别于传统人工测定，较 为典型的倒伏检测技术主要以卫星、雷达、无人机等为主，搭载可见光、多光谱、高光谱、 近红外、雷达等传感器，分析高通量大视场下单/多生长期作物的纹理、颜色、植被指数等 特征对倒伏的敏感性，实现倒伏区域识别/分类。部分对倒伏严重程度的分析，也仅基于遥 感数据下的高程值对作物高度与株高均值的比值进行核算，时空跨度较大，且缺乏作物倒 伏的空间信息，具有尺度局限性，较难适用于田间车载稻麦倒伏评估。同时，密集生长的稻麦作物，植株间器官交叉、遮挡，且表型具有非一致性，现有基于单视角/单模态数据的以农机为载体的倒伏表型解析方法较难适用于本专利的田间车载稻麦倒伏评估领域，且现有车载表型检测方法存在收获机作业各时刻的动态视场下稻麦表型参数间的关联性薄弱难 题，因此有必要研究基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，以指导 收获机对倒伏稻麦的精准自动作业控制，提升收获装备智能化的研发应用水平。
本发明提出一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，基于立 体视觉位姿修正逆透视变换并自适应划分网格，根据二维和三维空间参数评估单帧网格区 域内倒伏位姿，结合主与次运动方向进行上下帧分格稀疏点匹配，基于多帧间网格匹配对 构建收获机作业各时刻坐标链，最终在作业范围内全局评估稻麦倒伏三维位姿分布。
发明内容
本发明公开了一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法。首先， 构建田间稻麦倒伏全局评估的静态坐标模型和静态坐标关系链，并基于关系链对逆透视变 换基础方程进行补偿修正，提高本发明田间稻麦倒伏全局评估用的车载视场逆透视变换模 型精度和可靠性；同时，以满割幅为考虑定位稻麦倒伏评估检测区域，并通过关键点的透 视和逆透视变换实现对原图的不均匀自适应划分，划分网格用于收获机作业的稻麦倒伏检 测的最小区域。之后，基于二维图像空间下的边缘处理和线段拟合，以及三维空间的多直 线主方向提取，实现对网格区域内稻麦倒伏位姿的粗评估，并基于KAZE特征提取整张二 维图像上的倒伏起始点，对以主方向向量为表针的倒伏位姿粗评估进行校正，以实现网格 区域内倒伏位姿的精评估。之后，在网格区域内进行小网格划分以均匀选取匹配点，并采 用基于主运动方向的匹配点区域预估和结合主与次运动方向的匹配点搜索得到上下帧分格 稀疏匹配点对集。最后，考虑收获机作业上下时刻间待测区域的交集，基于重合区域内的 网格特征匹配点集在不同时刻下的坐标位置，构建收获机作业各时刻坐标链；基于坐标链 将收获机作业各时刻下计算所得的倒伏位姿转换到同一坐标系下，实现收获机作业的稻麦 三维位姿全局计算与倒伏分布评估。
本发明的技术方案是采用如下步骤：
(1)基于立体视觉位姿修正的逆透视变换与自适应网格划分：构建在收获机连续作业的 动态环境下相互关系不变的静态坐标模型，以及从图像像素坐标系到世界坐标系间、双目 相机间的静态坐标关系链；考虑到本发明的双目相机间的位姿关系，基于基础相机坐标系 对应的关系链构建逆透视变换基础方程，并采用双目相机的位姿关系对逆透视变换基础方 程进行补偿修正，以提高田间稻麦倒伏全局评估用的车载视场逆透视变换模型精度和可靠 性；针对车载田间稻麦倒伏全局评估的图像获取存在近大远小、车载检测实时性要求高等 问题，以满割幅为考虑定位稻麦倒伏评估检测区域，并通过关键点的透视和逆透视变换实 现对原图的不均匀自适应划分，划分网格作为收获机作业的稻麦倒伏检测的最小区域，为 之后基于网格稻麦倒伏评估的计算奠定基础，可减少坐标转换计算量，并提高车载检测的 实时性和精度。
(2)二维和三维空间相结合的单帧网格区域内倒伏位姿评估：本发明通过检测稻麦的茎 秆状态以实现作物的倒伏评估，因此在HSV空间的S图像通道下，基于对网格区域的各向 异性扩散、最小二乘拟合、形态学开闭操作等操作，提取并修复图像网格区域内的稻麦茎 秆边缘；通过对二维图像的边缘处理和线段拟合、三维空间线段计算、以及多线段主方向 提取，计算网格区域的主方向向量，实现对网格区域内稻麦倒伏位姿的粗评估；局部网格 区域内难以定位倒伏稻麦的根部区域、以及从根部区域为起始点的倒伏整体位姿，因此基 于KAZE特征提取整张二维图像上的倒伏起始点，对以主方向向量为表针的倒伏位姿粗评 估进行校正，以实现网格区域内倒伏位姿的精评估。
(3)结合主与次运动方向的上下帧分格稀疏点匹配：收获机在各个作业时刻下基于单帧 获取的稻麦倒伏位姿均基于每个时刻的世界坐标系进行表针，难以实现车载动态视场帧间 稻麦目标特征的关联性分析，并进一步全局评估田间稻麦倒伏，因此提出结合主与次运动 方向的上下帧分格稀疏点匹配方法，为收获机作业各时刻坐标链的构建奠定基础。在网格 区域内进行小网格划分以均匀选取匹配点；结合上下帧对应时刻的收获机作业主运动方向 预估匹配点所在的区域范围；并基于待匹配点八邻域内相邻点的运动矢量，计算匹配搜索 的初始点，考虑运动主方向特征构建主方向的扁平模板，结合主和次运动方向实现快速准 确的匹配点搜索，得到上下帧分格稀疏匹配点对集。
(4)基于多帧间网格匹配对的收获机作业各时刻坐标链构建：为实现车载动态视场下的 田间稻麦倒伏全局评估，需将作业区域内的所有点映射到同一空间坐标系下。考虑收获机 作业上下时刻间待测区域的交集，基于重合区域内的网格特征匹配点集在不同时刻下的坐 标位置，计算各时刻相机基础坐标系的转换位姿关系，并基于此关系将各时刻的图像像素 坐标系、图像坐标系、相机坐标系、世界坐标系建立链接，构建收获机作业各时刻间坐标 关系转换链。
(5)收获机作业的稻麦三维位姿全局计算与倒伏分布评估：基于构建的收获机作业各时 刻间坐标关系转换链，将收获机作业各时刻下计算所得的倒伏位姿表针向量转换到作业初 始时刻下的世界坐标系中，得到一个坐标系下的收获机作业的稻麦三维位姿；同时，根据 上下帧间的匹配区域，去掉重复网格区域，得到从作业初始时刻到结束时刻下的全局整块 地的稻麦三维位姿分布图，基于倒伏位姿表针向量与水平面的夹角、在水平面的投影等， 可计算得到稻麦全局倒伏区域分布图、倒伏角度分布图和倒伏方向分布图。
本发明提出一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，通过采 用上述技术方案后，其具有以下有益效果：
(1)针对收获机车载动态视场下田间稻麦倒伏评估的精度和实时性需求，以满割幅为 考虑定位稻麦倒伏评估检测区域，并通过关键点的透视和逆透视变换实现对原图的不均匀 自适应划分，划分网格作为收获机作业的稻麦倒伏检测的最小区域；同时，考虑车载田间 稻麦倒伏评估的图像存在近大远小的问题，构建静态坐标模型和静态坐标关系链，并基于 此对逆透视变换基础方程进行补偿修正，以提高田间稻麦倒伏评估用的车载视场透视和逆 透视变换模型的精度和可靠性。
(2)针对具有单株差异的稻麦倒伏特征与以区域为基础的收获机作业间的分辨率矛 盾，本发明以不均匀自适应划分的小网格区域为基础，在HSV空间的S图像通道下提取并修复网格区域内可用于表针稻麦倒伏的茎秆边缘，通过对网格区域内的所有茎秆边缘拟合方向向量，并基于多向量间的二维和三维位姿关系，拟合评估以网格区域为基础的单网格内稻麦的整体倒伏状态粗评估；同时，针对局部网格区域内难以定位倒伏稻麦的根部区域、以及从根部区域为起始点的倒伏整体位姿的问题，基于KAZE特征提取整张二维图像上的倒伏起始点，对以主方向向量为表针的倒伏位姿粗评估进行校正，以实现网格区域内倒伏位姿的精确评估。
(3)收获机作业时载着检测传感设备以一定速度和方向运动，以收获机为基础的世界 坐标系、相机坐标系等静态坐标模型也随之运动，使得在各个作业时刻下基于单帧获取的 稻麦倒伏位姿均基于每个时刻的世界坐标系进行表针，在每个时刻的世界坐标系间位姿关 系未知的情况下，难以实现车载动态视场帧间稻麦目标特征的关联性分析，进一步难以实 现田间稻麦倒伏的全局评估，因此本发明提出结合主与次运动方向的上下帧分格稀疏点匹 配方法，结合上下帧对应时刻的收获机作业主运动方向预估匹配点所在的区域范围，并基 于待匹配点八邻域内相邻点的运动矢量，计算匹配搜索的初始点，考虑运动主方向特征构 建主方向的扁平模板，结合主和次运动方向实现快速准确的匹配点搜索，得到上下帧分格 稀疏匹配点对集，为收获机作业各时刻坐标链的构建以及全局范围内的稻麦倒伏评估奠定 基础。
(4)针对各时刻间的倒伏姿态难以统一到同一坐标空间、车载稻麦倒伏全局评估难以 实现的问题，本发明基于收获机作业上下时刻间重合区域内的网格特征匹配点集在不同时 刻下的坐标位置，计算各时刻相机基础坐标系的转换位姿关系，并基于此构建收获机作业 各时刻间坐标关系转换链；同时，将收获机作业各时刻下计算所得的倒伏位姿表针向量转 换到作业初始时刻下的世界坐标系中，得到从作业初始时刻到结束时刻下的全局整块地的 稻麦倒伏区域分布图、倒伏角度分布图和倒伏方向分布图。
附图说明
以下结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法流程图
图2为本发明田间稻麦倒伏全局评估的静态坐标模型示意图
图3为本发明稻麦倒伏评估检测区域定位与自适应网格划分示意图
图4为单株和群体稻麦倒伏示意图
图5为本发明单帧网格区域内稻麦茎秆边缘检测与修复示意图
图6为本发明二维线段拟合与三维多线段主方向提取示意图
图7为本发明KAZE特征点检测结果图
图8为本发明小网格划分与八邻域相邻点示意图
图9为本发明基于收获机运动主方向的扁平匹配点搜索模板
图10为本发明收获机作业各时刻坐标链示意图
具体实施方式
下面结合附图进一步说明书本发明具体实施方式。
本发明公开了一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法。首先， 构建田间稻麦倒伏全局评估的静态坐标模型和静态坐标关系链，并基于关系链对逆透视变 换基础方程进行补偿修正，提高本发明田间稻麦倒伏全局评估用的车载视场逆透视变换模 型精度和可靠性；同时，以满割幅为考虑定位稻麦倒伏评估检测区域，并通过关键点的透 视和逆透视变换实现对原图的不均匀自适应划分，划分网格用于收获机作业的稻麦倒伏检 测的最小区域。之后，基于二维图像空间下的边缘处理和线段拟合，以及三维空间的多直 线主方向提取，实现对网格区域内稻麦倒伏位姿的粗评估，并基于KAZE特征提取整张二 维图像上的倒伏起始点，对以主方向向量为表针的倒伏位姿粗评估进行校正，以实现网格 区域内倒伏位姿的精评估。之后，在网格区域内进行小网格划分以均匀选取匹配点，并采 用基于主运动方向的匹配点区域预估和结合主与次运动方向的匹配点搜索得到上下帧分格 稀疏匹配点对集。最后，考虑收获机作业上下时刻间待测区域的交集，基于重合区域内的 网格特征匹配点集在不同时刻下的坐标位置，构建收获机作业各时刻坐标链；基于坐标链 将收获机作业各时刻下计算所得的倒伏位姿转换到同一坐标系下，实现收获机作业的稻麦 三维位姿全局计算与倒伏分布评估。
参见图1，其具体步骤如下：
1、基于立体视觉位姿修正的逆透视变换与自适应网格划分：构建在收获机连续作业的 动态环境下相互关系不变的静态坐标模型，以及从图像像素坐标系到世界坐标系间、双目 相机间的静态坐标关系链；考虑到本发明的双目相机间的位姿关系，基于基础相机坐标系 对应的关系链构建逆透视变换基础方程，并采用双目相机的位姿关系对逆透视变换基础方 程进行补偿修正，以提高田间稻麦倒伏全局评估用的车载视场逆透视变换模型精度和可靠 性；针对车载田间稻麦倒伏全局评估的图像获取存在近大远小、车载检测实时性要求高等 问题，以满割幅为考虑定位稻麦倒伏评估检测区域，并通过关键点的透视和逆透视变换实 现对原图的不均匀自适应划分，划分网格作为收获机作业的稻麦倒伏检测的最小区域，为 之后基于网格稻麦倒伏评估的计算奠定基础，可减少坐标转换计算量，并提高车载检测的 实时性和精度。具体步骤如下：
(1)构建田间稻麦倒伏全局评估的静态坐标模型：
如图2所示，田间稻麦倒伏全局评估为连续视频帧的动态检测，需先构建在收获机连 续作业的动态环境下相互关系不变的静态坐标模型。设立体双目视觉的左右相机坐标系分 别为：Oc1-Xc1Yc1Zc1和Oc2-Xc2Yc2Zc2，且Oc1-Xc1Yc1Zc1为相机基础坐标系；左右相机获取的图像中构建的图像像素坐标系分别为Oo1-U1V1和Oo2-U2V2，图像坐标系分别为 Oi1-Xi1Yi1和Oi2-Xi2Yi2；世界坐标系为Ow-XwYwZw。Ow-XwYwZw的Xw和Yw轴处于水平 面上，轴垂直向上，原点Ow和Oc1处于同一条垂直于水平面的轴线上，且距离为h。
(2)静态坐标关系链构建：
静态坐标模型关系链的构建主要包括了Oo1-U1V1和Oi1-Xi1Yi1的转换关系o1Hi1，Oo2-U2V2和Oi2-Xi2Yi2的转换关系o2Hi2，Oi1-Xi1Yi1和Oc1-Xc1Yc1Zc1的转换关系i1Hc1， Oi2-Xi2Yi2和Oc2-Xc2Yc2Zc2的转换关系i2Hc2，Oc1-Xc1Yc1Zc1与Oc2-Xc2Yc2Zc2的转换关系 c1Hc2，Oc1-Xc1Yc1Zc1与Ow-XwYwZw的转换关系c1Hw，其中设点从a坐标系下的表示A转 换到b坐标系下的表示B的关系为B＝aHbA。
设Oi1-Xi1Yi1的原点Oi1在Oo1-U1V1下的坐标为(u01,v01)，Oi2-Xi2Yi2的原点Oi2在 Oo2-U2V2下的坐标为(u02,v02)，左右相机传感器靶面单像素尺寸一致，长宽均分别为Δx和 Δy，基于缩放、平移仿射变换计算转换关系o1Hi1、o2Hi2为：
Figure BDA0003715326320000071
设左右相机的镜头焦距均为f，基于小孔成像原理计算转换关系i1Hc1、i2Hc2为：
Figure BDA0003715326320000072
本发明基于左右相机重合视场内的圆点标定板相对于左右相机的位姿，计算左右相机 的相对位姿关系。设Rc1和Rc2分别为左右相机与标定板的旋转位姿关系，Tc1和Tc2分别为 左右相机与标定板的平移位姿关系，计算所得的转换关系c2Hc1为：
Figure BDA0003715326320000073
根据基础相机(左相机)坐标系Oc1-Xc1Yc1Zc1与Ow-XwYwZw的位姿关系，计算相机坐标系与世界坐标系的转换关系c1Hw。本发明将相机基础坐标系的中心点Oc1与世界坐标系的中心点Ow设置在同一垂直轴线上，且相距h；Ow-XwYwZw平移至Oc1，并绕Xw轴旋转90+θ1角度后可得到Oc1-Xc1 Yc1 Zc，且Oc1-Xc1 Yc1 Zc与Ow-XwYwZw无缩放关系,因此， Oc1-Xc1 Yc1 Zc与Ow-XwYwZw的转换关系c1Hw可基于式(4)计算。
Figure BDA0003715326320000074
其中旋转矩阵R以单次旋转矩阵左乘的方式进行计算，基于右手坐标系进行右旋，则：
Figure BDA0003715326320000075
(3)逆透视变换与补偿修正：
本发明基于坐标关系链o1Hi1、i1Hc1、c1Hw构建逆透视变换基础方程，并基于c1Hc2以及o2Hi2、i2Hc2的关系链对逆透视变换基础方程进行补偿修正，提高本发明田间稻麦倒伏 全局评估用的车载视场逆透视变换模型精度和可靠性。逆透视变换即基于传感器获取的原始像素图像计算世界坐标系下的对应空间俯视图，因此，可基于式(6)和(7)分别构建 左右相机的逆透视变换方程，其中[xw1i,yw1i,zw1i]和[xw2i,yw2i,zw2i]分别为基于左右相机坐 标转换链获取的同一空间点Pi的坐标；[u1i,v1i]和[u2i,v2i]分别为空间点Pi映射到左右相机的图像上点p1i和p2i的像素坐标，可从图像中直接读取，参数Δx、Δy、f、u01、v01、u02、 v02可由相机标定获取，参数h和θ1可由皮尺和角度测量仪获取。
Figure BDA0003715326320000081
Figure BDA0003715326320000082
将左相机的坐标转换作为逆透视变换基础方程，采用右相机逆透视变换方程获取的坐 标[xw2i,yw2i]与基础方程获取的坐标[xw1i,yw1i]的偏差[xw1i-xw2i,yw1i-yw2i]对逆透视变换 进行补偿修正。补偿修正采用粗大误差剔除法计算，基于式(8)和(9)所示，其中n为用于逆透视变换的空间点数。考虑到同一空间点坐标的计算误差，可基于坐标偏差的均值
Figure BDA0003715326320000083
计算粗大误差剔除阈值(xt,yt)，如式(10)和(11)所示，基于此，获取补充修 正后的逆透视变换坐标(xwi,ywi)。
Figure BDA0003715326320000091
Figure BDA0003715326320000092
Figure BDA0003715326320000093
Figure BDA0003715326320000094
(4)稻麦倒伏评估检测区域定位：
考虑到田间稻麦倒伏评估主要用于收获机实时作业的提前检测，因此需要检测的稻麦 区域处于收获机前端一定区间范围内，同时考虑到收获机的作业速度一般为0.5m/s-1.8m/s，因此本发明考虑单时刻的收获机作业区域，设定检测区域长度为Ld＝4.8m(此区域可根据需求增减)。考虑到收获机作业区域最大宽度不超过满割幅宽度，即割台宽度，本发明基于此，并考虑一定余量，将检测区域的宽度设定为Wd＝Wg+d，其中Wg为割台的宽 度，d为检测余量，本发明设定为35cm(此余量可根据需求增减)。
本发明针对左右相机的图像处理一致，因此以左相机为例进行说明。如图3所示，通 过对原图下部分固定区域内进行霍夫变换，提取割台的外边缘，得到割台最前端拟合直线l11和最右端拟合直线l12；计算直线l11与图像最左端边缘的交点p11，基于p11构建与图像坐标 系U1轴平行的直线l13；并计算l12和l13的交点p12；将p12沿直线l13移动距离d，得到点p13； 将p11沿图像最左边缘向V1轴反方向移动距离Ld得到点p14，基于点p11、p13、p14构建两边分别平行于V1和U1轴的矩形作为稻麦倒伏评估检测区域。
(5)基于透视和逆透视变换的原图自适应网格划分：
本发明考虑到逆透视变换后的俯视图清晰度对倒伏检测精度的影响，采用高清晰度的 原图对倒伏进行检测；同时考虑到成像近大远小对检测区域划分的影响，通过关键点透视 和逆透视变换实现对原图的不均匀自适应划分，使得划分后每个小区域对应的实际空间面 积均等。首先将检测区域对应的关键点p11、p14基于式(8)和(9)计算，得到关键点对应三维空间的真实点P1、P4，得到P1、P4的逆透视变换俯视图坐标P1＝(xw1,yw1)和 P4＝(xw4,yw4)。根据P1、P4在世界坐标系的Xw轴上的距离进行均等分，等分数量为mx， 具体等分关键点Pdi的坐标(xdi,ydi)基于式(12)计算：
Figure BDA0003715326320000101
基于得到的空间等分关键点Pdi和式(8)和(9)的逆计算，得到透视变换后图像点p1di， 设定原图中的检测区域V1轴上的网格划分基于透视和逆透视变换的关键点p1di进行不均等 划分，U1轴上的网格划分基于设定的网格数量my进行均匀划分，最后得到用于收获机作业 的稻麦倒伏检测最小区域的自适应网格划分，为车载稻麦倒伏的实时准确检测奠定基础。
2、二维和三维空间相结合的单帧网格区域内倒伏位姿评估：本发明通过检测稻麦的茎 秆状态以实现作物的倒伏评估，因此在HSV空间的S图像通道下，基于对网格区域的各向 异性扩散、最小二乘拟合、形态学开闭操作等操作，提取并修复图像网格区域内的稻麦茎 秆边缘；通过对二维图像的边缘处理和线段拟合、三维空间线段计算、以及多线段主方向 提取，计算网格区域的主方向向量，实现对网格区域内稻麦倒伏位姿的粗评估；局部网格 区域内难以定位倒伏稻麦的根部区域、以及从根部区域为起始点的倒伏整体位姿，因此基 于KAZE特征提取整张二维图像上的倒伏起始点，对以主方向向量为表针的倒伏位姿粗评 估进行校正，以实现网格区域内倒伏位姿的精评估。具体步骤如下：
(1)S图像通道下的边缘检测与修复：
稻麦作物的倒伏主要体现在茎秆的位姿状态，如图4所示，包括折断、茎倒、根倒等， 因此本发明通过检测稻麦的茎秆状态以实现作物的倒伏评估。如图5所示，具体步骤如下：
1)基于自适应网格划分，针对一张静态车载倒伏评估图像，在提取每个网格区域内的 图像，得到一组大小不一致的网格区域。由于稻麦作物密集生长且器官交叉，且地面区域 光照难以到达而偏暗，因此本发明将RGB彩色图像转换到HSV空间，并采用表针颜色接近光谱色程度的饱和度S通道进行处理。
2)考虑到稻麦作物存在麦芒、叶片等其他与茎秆有区别干扰的器官区域，通过对网格 区域进行各向异性扩散，连接不连续的图像边缘，且针对主方向的垂直方向不进行平滑处 理，增强图像结构的一致性。针对增强处理后的网格区域，采用最小二乘拟合进行边缘检 测，对区域内的每个像素点计算二次多项式参数。为提取茎秆对应的长边缘，减少麦芒、 籽粒等短边缘对检测的影响，设计最小二乘拟合边缘检测的卷积小窗口尺寸为3×3；计算 像素点垂直于直线方向的二阶方向导数，将二阶方向导数局部最大值对应的像素点作为边 缘点，所有检测得到的边缘点连接成为边缘线。
3)考虑到边缘检测后，其他非茎秆区域所得边缘对茎秆边缘的影响，以及茎秆边缘上 检测得到的不连续边缘线间缺失断开等问题，本发明通过形态学开闭操作对断开的边缘进 行修复，并基于边缘线的长度等特征对其进行提纯，最终在网格区域中得到一组茎秆上连 续的长边缘线，边缘线的数量与茎秆数量一致，设第i行j列个网格区域检测得到的茎秆数 量为sij。
(2)二维线段拟合与三维多线段主方向提取：
本发明通过对二维图像的边缘线段拟合、三维空间线段计算、以及多线段主方向提取， 计算网格区域的主方向向量，用于表针单网格区域内的稻麦综合位姿。如图6所示，具体 步骤如下：
1)在二维图像的网格区域内，基于最小二乘法对sij条边缘的每个像素进行线性拟合， 得到第i行j列网格区域内表针茎秆的二维直线，设网格区域内第k条边缘线段的起始点和 终点分别为pks＝(xks,yks)和pke＝(xke,yke)，以横坐标为参考，构建第k条边缘的拟合直线段 方程，如式(13)所示，其中ak和bk分别为第k条边缘的拟合直线段方程参数，(x,y)分别 为拟合直线段上的点，并计算得到第k条拟合直线段的起始点和终点分别为p'ks＝(xks,y'ks) 和p'ke＝(xke,y'ke)。
y＝akx+bk,k＝1,2,...sij,xks≤x≤xke (13)
2)基于双目视觉的坐标变换，计算网格区域内的所有拟合直线段起始点p'ks和终点 p'ke对应的空间点P'ks和P'ke的三维坐标(xwks,ywks,zwks)和(xwke,ywke,zwke)。本发明采用单位 向量来表针网格区域的三维主方向，并设定方向起始点在区域中心，共同表针稻麦的区域 综合位姿。因此需先计算每组直线段对应的向量，得到一组向量组 (xwke-xwks,ywke-ywks,zwke-zwks)。基于式(14)和(15)，以区域内所有向量的角度均值作 为稻麦综合位姿单位向量角度，得到单位向量
Figure BDA0003715326320000111
起始点qij＝(xij0,yij0,zij0)，其 中(αk,βk,γk)为区域内第k个向量的方向，(α,β,γ)为
Figure BDA0003715326320000121
的方向。
Figure BDA0003715326320000122
Figure BDA0003715326320000123
(3)基于KAZE特征的倒伏起始点提取与区域主方向校正：
基于局部网格区域的稻麦茎秆位姿检测难以在局部方向上确定倒伏稻麦的根部区域， 以及从根部区域为起始点的倒伏位姿整体评估。因此本发明从单帧整个检测区域出发，基 于KAZE特征点定位区域中倒伏稻麦的起始点位置，并用于校正每个网格区域的茎秆位姿 向量方向，实现更加准确的稻麦倒伏单帧位姿评估。
如图7所示，稻麦根部区域在倒伏状态下从密集作物中裸露出来，表现出较为明显的 边缘和点特征，因此基于KAZE特征点的分布定位倒伏稻麦的根部区域中点。首先基于有效的加性算子分裂技术和可变电导扩散构建非线性尺度空间，并在非线性尺度空间中对单帧整个检测区域进行KAZE特征点提取，通过模糊局部以减少噪声且保留对象边界，最终 得到多尺度二维KAZE特征点集。之后，基于KAZE特征点间的欧氏距离，以小于一定距 离阈值的点集进行聚类，统计各个聚类类别中点的数量，取点数最多的聚类类别的中心作 为倒伏稻麦的根部区域中点g0＝(x0,y0,z0)，也作为单帧图像内倒伏稻麦的起始点(本发明 主要针对连续倒伏的状态，若存在多倒伏区域，可基于聚类类别的特征点数量提取多个倒 伏区域的根部中心)。
为校正第i行j列网格区域用于表针稻麦倒伏方向的区域主方向，首先计算第i行j列 网格区域的主方向起始点qij相对于根部区域中点g0的位置关系，用向量表示
Figure BDA0003715326320000131
如式(16)所示，并基于
Figure BDA0003715326320000132
与每个网格区域的主方向向量
Figure BDA0003715326320000133
的关系，调整向量
Figure BDA0003715326320000134
的方向正负，得到校正后的区域主方向
Figure BDA0003715326320000135
减少局部网格区域内倒伏稻 麦根部和顶部难以确定的难题，将从稻麦根部作为起始点的向量方向作为其倒伏位姿表针。
Figure BDA0003715326320000136
3、结合主与次运动方向的上下帧分格稀疏点匹配：收获机在各个作业时刻下基于单帧 获取的稻麦倒伏位姿均基于每个时刻的世界坐标系进行表针，难以实现车载动态视场帧间 稻麦目标特征的关联性分析，并进一步全局评估田间稻麦倒伏，因此提出结合主与次运动 方向的上下帧分格稀疏点匹配方法，为收获机作业各时刻坐标链的构建奠定基础。在网格 区域内进行小网格划分以均匀选取匹配点；结合上下帧对应时刻的收获机作业主运动方向 预估匹配点所在的区域范围；并基于待匹配点八邻域内相邻点的运动矢量，计算匹配搜索 的初始点，考虑运动主方向特征构建主方向的扁平模板，结合主和次运动方向实现快速准 确的匹配点搜索，得到上下帧分格稀疏匹配点对集。具体步骤如下：
(1)小网格划分的均匀匹配点选取：
为降低计算复杂度，并提高车载检测的实时性，本发明采用小网格划分的方式进行均 匀取点。设待匹配帧为Ir和Ir-1，在图像Ir检测区域自适应划分的mx×my个网格区域内， 再均匀划分为3×3个小网格，取每个小网格的中心点为待匹配点Mrs,s＝1,2,...,mx×my×9。
(2)基于主运动方向的匹配点区域预估：
收获机作业时，存在收获机车速不均、抖动、转向等主要运动，以及稻麦因风吹、收获机拨动导致的相互拉扯等因素产生的次要运动。因此，可结合上下帧对应时刻的主运动方向预估匹配点区域，以减少匹配点搜索时间。
基于安装在收获机车轮/履带轴承上的转速传感器，计算获取收获机的实时运动速度 vr，考虑上下帧间收获机运动距离很短，以直线运动进行计算，得到上下帧间图像在纵向 上差异大致为sr＝vrt距离，转换为像素距离为dr。基于相机标定参数，将空间内的距离转 换为图像像素距离为s'r。设图像Ir上的点Mrs的像素坐标为(urs,vrs)，考虑到收获机载着相 机系统向前运动，在只考虑收获机直线运动的理想情况下，点Mrs对应空间点映射到图像 Ir-1上的点M(r-1)s的像素坐标为(urs,vrs-dr)。因此考虑到稻麦作物为固定根生长作物，其受 外力影响的运动幅度较小，基于其小幅度运动的最大范围，设定以M(r-1)s为中心的Lp×Wp像 素区间为匹配点搜索区间范围LWp。
(3)结合主与次运动方向的匹配点搜索：
考虑到稻麦作物的自然生长状态，其受外力的次运动在一定的小区域内具有一致性， 基于此，本发明基于待匹配点八邻域内相邻点的运动矢量，计算匹配搜索的初始点，并考 虑运动主方向特征，构建主方向的扁平模板，结合主和次运动方向实现快速准确的匹配点 搜索。主要步骤如下：
1)设图像Ir上待匹配点为Mrs＝(urs,vrs)，若Mrs为Ir上的第一个匹配点，则设LWp的中心为匹配点搜索初始点M'rs0；若Mrs不为Ir上的第一个匹配点，则如图8所示，设Mrs上 下左右各八个领域小网格中心点Mrst,t＝1,2,...,8对应的运动矢量为 MVrst＝(urst,vrst),t＝1,2,...,8，基于式(17)计算MVrst,t＝1,2,...,8的均值
Figure BDA0003715326320000141
并基于
Figure BDA0003715326320000142
定位Mrs的匹配点搜索初始点为
Figure BDA0003715326320000143
Figure BDA0003715326320000144
2)考虑到图像点的匹配不仅与像素点有关，也涉及其邻域的变化，因此以点为中心， 3×3的像素区域为窗口，从左往右从上往下依次对点进行计算，基于式(18)得到点间绝 对差SAD，用于作为点匹配的判断标准，其中fri表示第r帧上对应小窗口内的第i个点的像素值，i从1到9依次对应点为(u-1,v-1),(u,v-1),(u+1,v-1),…,(u+1,v+1)。设定阈值T，若SAD＜T，此对应的两点匹配；若SAD≥T，则转步骤3)
Figure BDA0003715326320000145
3)考虑收获机的主要运动方向为图像垂直方向，因此构建主方向的扁平模板(图9)。 并计算每个点的SAD值，若模板中心点的SAD值最小，则此点为对应匹配点；若模板中非中心点的其他某一点的SAD值满足SAD＜T，则此点为对应匹配点；否则选模板非中心点 的其他点中SAD值最小对应的点作为新中心点，重新构建新主方向的扁平模板，转步骤3)， 直至找到匹配点为止。
4)基于上述流程，得到图像帧Ir和Ir-1在所有小网格上的匹配点对Mrs和M'rs， s＝1,2,...,mx×my×9。
4、基于多帧间网格匹配对的收获机作业各时刻坐标链构建：为实现车载动态视场下的 田间稻麦倒伏全局评估，需将作业区域内的所有点映射到同一空间坐标系下。考虑收获机 作业上下时刻间待测区域的交集，基于重合区域内的网格特征匹配点集在不同时刻下的坐 标位置，计算各时刻相机基础坐标系的转换位姿关系，并基于此关系将各时刻的图像像素 坐标系、图像坐标系、相机坐标系、世界坐标系建立链接，构建收获机作业各时刻间坐标 关系转换链。
设作业Ti时刻的相机基础坐标系为Oc1Ti-Xc1TiYc1TiZc1Ti，Ti和Ti+1时刻下的相机基础坐标 系的转换关系为c1T(i+1)Hc1Ti,收获机作业各时刻坐标链构建的关键在于各时刻相机基础坐标 系的关系，基于此可将各个时刻间的坐标系建立链接，坐标链构建的具体步骤如下：
(1)如图10所示，设Ti时刻，根据获取的Ti和Ti+1时刻下的图像对间的匹配点集M(i+1)s和M'(i+1)s，分别计算图像点在Ti和Ti+1时刻的相机基础坐标系Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)下的三维坐标表示A(i+1)s和A'(i+1)s；
(2)根据A(i+1s)和A'(i+1)s的点间的位置关系均值，计算Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)的平移关系，根据A(i+1)s和A'(i+1)s的两点所形成的线、向量间的 位置关系，计算Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)的旋转关系，得到Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)的转换关系c1T(i+1)Hc1Ti；
(3)若Ti时刻为最后时刻，则结束坐标链关系计算，得到c1T1Hc1T0、c1T2Hc1T1、…、c1TnHc1T(n-1)；否则，将i＝i+1，继续步骤(1)和(2)。
5、收获机作业的稻麦三维位姿全局计算与倒伏分布评估：基于构建的收获机作业各时 刻间坐标关系转换链，将收获机作业各时刻下计算所得的倒伏位姿表针向量转换到作业初 始时刻下的世界坐标系中，得到一个坐标系下的收获机作业的稻麦三维位姿；同时，根据 上下帧间的匹配区域，去掉重复网格区域，得到从作业初始时刻到结束时刻下的全局整块 地的稻麦三维位姿分布图，基于倒伏位姿表针向量与水平面的夹角、在水平面的投影等， 可计算得到稻麦全局倒伏区域分布图、倒伏角度分布图和倒伏方向分布图。具体步骤如下：
(1)基于构建的收获机作业各时刻间坐标关系转换链，将收获机作业各时刻下计算所 得的倒伏位姿表针向量
Figure BDA0003715326320000161
转换到T0时刻下的相机基础坐标系Oc1T0-Xc1T0Yc1T0Zc1T0中，并基于 相机基础坐标系与世界坐标系的关系，将其转换到T0时刻下的世界坐标系Ow0-Xw0Yw0Zw0中，得到一个坐标系下的收获机作业的稻麦三维位姿
Figure BDA0003715326320000162
(2)根据上下帧间的匹配区域，去掉重复网格区域，得到从作业初始时刻到结束时刻 下的全局整块地的稻麦三维位姿分布图。将
Figure BDA0003715326320000163
与水平面的夹角作为稻麦生长角度参考，并 设定阈值，当夹角小于阈值，则判定为倒伏。基于此，计算得到整块地的稻麦全局倒伏区 域分布图和倒伏角度分布图。并根据
Figure BDA0003715326320000164
在水平面的投影，计算每个网格区域内稻麦的倒 伏方向，得到稻麦全局倒伏方向分布图。
至此，基于车载动态视场帧间关联性的田间稻麦倒伏全局评估已完成。
应理解上述实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之 后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的 范围。

Claims (8)

1.一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于，包括如下步骤：
(1)基于立体视觉位姿修正的逆透视变换与自适应网格划分：构建在收获机连续作业的动态环境下相互关系不变的静态坐标模型，以及从图像像素坐标系到世界坐标系间、双目相机间的静态坐标关系链；基于基础相机坐标系对应的关系链构建逆透视变换基础方程，并采用双目相机的位姿关系对逆透视变换基础方程进行补偿修正；以满割幅为考虑定位稻麦倒伏评估检测区域，并通过关键点的透视和逆透视变换实现对原图的不均匀自适应划分，划分网格作为收获机作业的稻麦倒伏检测的最小区域；
(2)二维和三维空间相结合的单帧网格区域内倒伏位姿评估：通过检测稻麦的茎秆状态以实现作物的倒伏评估，因此在HSV空间的S图像通道下，基于对网格区域的各向异性扩散、最小二乘拟合、形态学开闭操作等操作，提取并修复图像网格区域内的稻麦茎秆边缘；通过对二维图像的边缘处理和线段拟合、三维空间线段计算、以及多线段主方向提取，计算网格区域的主方向向量，实现对网格区域内稻麦倒伏位姿的粗评估；基于KAZE特征提取整张二维图像上的倒伏起始点，对以主方向向量为表针的倒伏位姿粗评估进行校正，以实现网格区域内倒伏位姿的精评估；
(3)结合主与次运动方向的上下帧分格稀疏点匹配：收获机在各个作业时刻下基于单帧获取的稻麦倒伏位姿均基于每个时刻的世界坐标系进行表针，难以实现车载动态视场帧间稻麦目标特征的关联性分析，并进一步全局评估田间稻麦倒伏，因此提出结合主与次运动方向的上下帧分格稀疏点匹配方法，为收获机作业各时刻坐标链的构建奠定基础；在网格区域内进行小网格划分以均匀选取匹配点；结合上下帧对应时刻的收获机作业主运动方向预估匹配点所在的区域范围；并基于待匹配点八邻域内相邻点的运动矢量，计算匹配搜索的初始点，考虑运动主方向特征构建主方向的扁平模板，结合主和次运动方向实现快速准确的匹配点搜索，得到上下帧分格稀疏匹配点对集；
(4)基于多帧间网格匹配对的收获机作业各时刻坐标链构建：为实现车载动态视场下的田间稻麦倒伏全局评估，需将作业区域内的所有点映射到同一空间坐标系下，考虑收获机作业上下时刻间待测区域的交集，基于重合区域内的网格特征匹配点集在不同时刻下的坐标位置，计算各时刻相机基础坐标系的转换位姿关系，并基于此关系将各时刻的图像像素坐标系、图像坐标系、相机坐标系、世界坐标系建立链接，构建收获机作业各时刻间坐标关系转换链；
(5)收获机作业的稻麦三维位姿全局计算与倒伏分布评估：基于构建的收获机作业各时刻间坐标关系转换链，将收获机作业各时刻下计算所得的倒伏位姿表针向量转换到作业初始时刻下的世界坐标系中，得到一个坐标系下的收获机作业的稻麦三维位姿；同时，根据上下帧间的匹配区域，去掉重复网格区域，得到从作业初始时刻到结束时刻下的全局整块地的稻麦三维位姿分布图，基于倒伏位姿表针向量与水平面的夹角、在水平面的投影等，可计算得到稻麦全局倒伏区域分布图、倒伏角度分布图和倒伏方向分布图。
2.根据权利要求1所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤(1)具体过程如下：
1.1，构建田间稻麦倒伏全局评估的静态坐标模型：
设立体双目视觉的左右相机坐标系分别为：Oc1-Xc1Yc1Zc1和Oc2-Xc2Yc2Zc2，且Oc1-Xc1Yc1Zc1为相机基础坐标系；左右相机获取的图像中构建的图像像素坐标系分别为Oo1-U1V1和Oo2-U2V2，图像坐标系分别为Oi1-Xi1Yi1和Oi2-Xi2Yi2；世界坐标系为Ow-XwYwZw，Ow-XwYwZw的Xw和Yw轴处于水平面上，轴垂直向上，原点Ow和Oc1处于同一条垂直于水平面的轴线上，且距离为h；
1.2，静态坐标关系链构建：
静态坐标模型关系链的构建主要包括了Oo1-U1V1和Oi1-Xi1Yi1的转换关系o1Hi1，Oo2-U2V2和Oi2-Xi2Yi2的转换关系o2Hi2，Oi1-Xi1Yi1和Oc1-Xc1Yc1Zc1的转换关系i1Hc1，Oi2-Xi2Yi2和Oc2-Xc2Yc2Zc2的转换关系i2Hc2，Oc1-Xc1Yc1Zc1与Oc2-Xc2Yc2Zc2的转换关系c1Hc2，Oc1-Xc1Yc1Zc1与Ow-XwYwZw的转换关系c1Hw，其中设点从a坐标系下的表示A转换到b坐标系下的表示B的关系为B＝aHbA；
设Oi1-Xi1Yi1的原点Oi1在Oo1-U1V1下的坐标为(u01,v01)，Oi2-Xi2Yi2的原点Oi2在Oo2-U2V2下的坐标为(u02,v02)，左右相机传感器靶面单像素尺寸一致，长宽均分别为Δx和Δy，基于缩放、平移仿射变换计算转换关系o1Hi1、o2Hi2为：
Figure RE-FDA0003818663740000021
设左右相机的镜头焦距均为f，基于小孔成像原理计算转换关系i1Hc1、i2Hc2为：
Figure RE-FDA0003818663740000031
基于左右相机重合视场内的圆点标定板相对于左右相机的位姿，计算左右相机的相对位姿关系；设Rc1和Rc2分别为左右相机与标定板的旋转位姿关系，Tc1和Tc2分别为左右相机与标定板的平移位姿关系，计算所得的转换关系c2Hc1为：
Figure RE-FDA0003818663740000032
根据基础相机(左相机)坐标系Oc1-Xc1Yc1Zc1与Ow-XwYwZw的位姿关系，计算相机坐标系与世界坐标系的转换关系c1Hw，将相机基础坐标系的中心点Oc1与世界坐标系的中心点Ow设置在同一垂直轴线上，且相距h；Ow-XwYwZw平移至Oc1，并绕Xw轴旋转90+θ1角度后可得到Oc1-Xc1Yc1Zc1，且Oc1-Xc1Yc1Zc1与Ow-XwYwZw无缩放关系,因此，Oc1-Xc1Yc1Zc1与Ow-XwYwZw的转换关系c1Hw可基于式(4)计算：
Figure RE-FDA0003818663740000033
其中旋转矩阵R以单次旋转矩阵左乘的方式进行计算，基于右手坐标系进行右旋，则：
Figure RE-FDA0003818663740000034
1.3，逆透视变换与补偿修正：
基于坐标关系链o1Hi1、i1Hc1、c1Hw构建逆透视变换基础方程，并基于c1Hc2以及o2Hi2、i2Hc2的关系链对逆透视变换基础方程进行补偿修正，逆透视变换即基于传感器获取的原始像素图像计算世界坐标系下的对应空间俯视图，因此，可基于式(6)和(7)分别构建左右相机的逆透视变换方程，其中[xw1i,yw1i,zw1i]和[xw2i,yw2i,zw2i]分别为基于左右相机坐标转换链获取的同一空间点Pi的坐标；[u1i,v1i]和[u2i,v2i]分别为空间点Pi映射到左右相机的图像上点p1i和p2i的像素坐标，可从图像中直接读取，参数Δx、Δy、f、u01、v01、u02、v02可由相机标定获取，参数h和θ1可由皮尺和角度测量仪获取；
Figure RE-FDA0003818663740000041
Figure RE-FDA0003818663740000042
将左相机的坐标转换作为逆透视变换基础方程，采用右相机逆透视变换方程获取的坐标[xw2i,yw2i]与基础方程获取的坐标[xw1i,yw1i]的偏差[xw1i-xw2i,yw1i-yw2i]对逆透视变换进行补偿修正；补偿修正采用粗大误差剔除法计算，基于式(8)和(9)所示，其中n为用于逆透视变换的空间点数。考虑到同一空间点坐标的计算误差，可基于坐标偏差的均值
Figure RE-FDA0003818663740000043
计算粗大误差剔除的阈值(xt,yt)，如式(10)和(11)所示，基于此，获取补充修正后的逆透视变换坐标(xwi,ywi)；
Figure RE-FDA0003818663740000044
Figure RE-FDA0003818663740000045
Figure RE-FDA0003818663740000051
Figure RE-FDA0003818663740000052
1.4，稻麦倒伏评估检测区域定位：
考虑到田间稻麦倒伏评估主要用于收获机实时作业的提前检测，因此需要检测的稻麦区域处于收获机前端一定区间范围内，考虑到收获机作业区域最大宽度不超过满割幅宽度，即割台宽度，基于此，并考虑一定余量，将检测区域的宽度设定为Wd＝Wg+d，其中Wg为割台的宽度，d为检测余量；
通过对原图下部分固定区域内进行霍夫变换，提取割台的外边缘，得到割台最前端拟合直线l11和最右端拟合直线l12；计算直线l11与图像最左端边缘的交点p11，基于p11构建与图像坐标系U1轴平行的直线l13；并计算l12和l13的交点p12；将p12沿直线l13移动距离d，得到点p13；将p11沿图像最左边缘向V1轴反方向移动距离Ld得到点p14，基于点p11、p13、p14构建两边分别平行于V1和U1轴的矩形作为稻麦倒伏评估检测区域；
1.5，基于透视和逆透视变换的原图自适应网格划分：
考虑到逆透视变换后的俯视图清晰度对倒伏检测精度的影响，采用高清晰度的原图对倒伏进行检测；同时考虑到成像近大远小对检测区域划分的影响，通过关键点透视和逆透视变换实现对原图的不均匀自适应划分，使得划分后每个小区域对应的实际空间面积均等；首先将检测区域对应的关键点p11、p14基于式(8)和(9)计算，得到关键点对应三维空间的真实点P1、P4，得到P1、P4的逆透视变换俯视图坐标P1＝(xw1,yw1)和P4＝(xw4,yw4)；根据P1、P4在世界坐标系的Xw轴上的距离进行均等分，等分数量为mx，具体等分关键点Pdi的坐标(xdi,ydi)基于式(12)计算：
Figure RE-FDA0003818663740000061
基于得到的空间等分关键点Pdi和式(8)和(9)的逆计算，得到透视变换后图像点p1di，设定原图中的检测区域V1轴上的网格划分基于透视和逆透视变换的关键点p1di进行不均等划分，U1轴上的网格划分基于设定的网格数量my进行均匀划分，最后得到用于收获机作业的稻麦倒伏检测最小区域的自适应网格划分，为车载稻麦倒伏的实时准确检测奠定基础。
3.根据权利要求1所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤(2)具体过程如下：
2.1，S图像通道下的边缘检测与修复：
1)基于自适应网格划分，针对一张静态车载倒伏评估图像，在提取每个网格区域内的图像，得到一组大小不一致的网格区域，由于稻麦作物密集生长且器官交叉，且地面区域光照难以到达而偏暗，因此将RGB彩色图像转换到HSV空间，并采用表针颜色接近光谱色程度的饱和度S通道进行处理；
2)考虑到稻麦作物存在麦芒、叶片等其他与茎秆有区别干扰的器官区域，通过对网格区域进行各向异性扩散，连接不连续的图像边缘，且针对主方向的垂直方向不进行平滑处理，增强图像结构的一致性，针对增强处理后的网格区域，采用最小二乘拟合进行边缘检测，对区域内的每个像素点计算二次多项式参数，为提取茎秆对应的长边缘，减少麦芒、籽粒等短边缘对检测的影响，设计最小二乘拟合边缘检测的卷积小窗口尺寸为3×3；计算像素点垂直于直线方向的二阶方向导数，将二阶方向导数局部最大值对应的像素点作为边缘点，所有检测得到的边缘点连接成为边缘线；
3)考虑到边缘检测后，其他非茎秆区域所得边缘对茎秆边缘的影响，以及茎秆边缘上检测得到的不连续边缘线间缺失断开等问题，通过形态学开闭操作对断开的边缘进行修复，并基于边缘线的长度等特征对其进行提纯，最终在网格区域中得到一组茎秆上连续的长边缘线，边缘线的数量与茎秆数量一致，设第i行j列个网格区域检测得到的茎秆数量为sij；
2.2，二维线段拟合与三维多线段主方向提取：
1)在二维图像的网格区域内，基于最小二乘法对sij条边缘的每个像素进行线性拟合，得到第i行j列网格区域内表针茎秆的二维直线，设网格区域内第k条边缘线段的起始点和终点分别为pks＝(xks,yks)和pke＝(xke,yke)，以横坐标为参考，构建第k条边缘的拟合直线段方程，如式(13)所示，其中ak和bk分别为第k条边缘的拟合直线段方程参数，(x,y)分别为拟合直线段上的点，计算得到第k条拟合直线段的起始点和终点分别为p'ks＝(xks,y'ks)和p'ke＝(xke,y'ke)；
y＝akx+bk,k＝1,2,...sij,xks≤x≤xke (13)
2)基于双目视觉的坐标变换，计算网格区域内的所有拟合直线段起始点p'ks和终点p'ke对应的空间点P'ks和P'ke的三维坐标(xwks,ywks,zwks)和(xwke,ywke,zwke)；采用单位向量来表针网格区域的三维主方向，并设定方向起始点在区域中心，共同表针稻麦的区域综合位姿；因此需先计算每组直线段对应的向量，得到一组向量组(xwke-xwks,ywke-ywks,zwke-zwks)；基于式(14)和(15)，以区域内所有向量的角度均值作为稻麦综合位姿单位向量角度，得到单位向量
Figure RE-FDA0003818663740000071
起始点qij＝(xij0,yij0,zij0)，其中(αk,βk,γk)为区域内第k个向量的方向，(α,β,γ)为
Figure RE-FDA0003818663740000072
的方向：
Figure RE-FDA0003818663740000073
Figure RE-FDA0003818663740000074
2.3，基于KAZE特征的倒伏起始点提取与区域主方向校正：
从单帧整个检测区域出发，基于KAZE特征点定位区域中倒伏稻麦的起始点位置，并用于校正每个网格区域的茎秆位姿向量方向，实现更加准确的稻麦倒伏单帧位姿评估；
稻麦根部区域在倒伏状态下从密集作物中裸露出来，表现出较为明显的边缘和点特征，因此基于KAZE特征点的分布定位倒伏稻麦的根部区域中点，首先基于有效的加性算子分裂技术和可变电导扩散构建非线性尺度空间，并在非线性尺度空间中对单帧整个检测区域进行KAZE特征点提取，通过模糊局部以减少噪声且保留对象边界，最终得到多尺度二维KAZE特征点集；之后，基于KAZE特征点间的欧氏距离，以小于一定距离阈值的点集进行聚类，统计各个聚类类别中点的数量，取点数最多的聚类类别的中心作为倒伏稻麦的根部区域中点g0＝(x0,y0,z0)，也作为单帧图像内倒伏稻麦的起始点；
为校正第i行j列网格区域用于表针稻麦倒伏方向的区域主方向，首先计算第i行j列网格区域的主方向起始点qij相对于根部区域中点g0的位置关系，用向量表示
Figure RE-FDA0003818663740000081
如式(16)所示，并基于
Figure RE-FDA0003818663740000082
与每个网格区域的主方向向量
Figure RE-FDA0003818663740000083
的关系，调整向量
Figure RE-FDA0003818663740000084
的方向正负，得到校正后的区域主方向
Figure RE-FDA0003818663740000085
减少局部网格区域内倒伏稻麦根部和顶部难以确定的难题，将从稻麦根部作为起始点的向量方向作为其倒伏位姿表针：
Figure RE-FDA0003818663740000086
4.根据权利要求1所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤(3)中结合主与次运动方向的上下帧分格稀疏点匹配，具体如下：
3.1，小网格划分的均匀匹配点选取：
为降低计算复杂度，并提高车载检测的实时性，采用小网格划分的方式进行均匀取点，设待匹配帧为Ir和Ir-1，在图像Ir检测区域自适应划分的mx×my个网格区域内，再均匀划分为3×3个小网格，取每个小网格的中心点为待匹配点Mrs,s＝1,2,...,mx×my×9；
3.2，基于主运动方向的匹配点区域预估：
基于安装在收获机车轮/履带轴承上的转速传感器，计算获取收获机的实时运动速度vr，考虑上下帧间收获机运动距离很短，以直线运动进行计算，得到上下帧间图像在纵向上差异大致为sr＝vrt距离，转换为像素距离为dr，基于相机标定参数，将空间内的距离转换为图像像素距离为s'r，设图像Ir上的点Mrs的像素坐标为(urs,vrs)，考虑到收获机载着相机系统向前运动，在只考虑收获机直线运动的理想情况下，点Mrs对应空间点映射到图像Ir-1上的点M(r-1)s的像素坐标为(urs,vrs-dr)；因此考虑到稻麦作物为固定根生长作物，其受外力影响的运动幅度较小，基于其小幅度运动的最大范围，设定以M(r-1)s为中心的Lp×Wp像素区间为匹配点搜索区间范围LWp；
3.3，结合主与次运动方向的匹配点搜索：
1)设图像Ir上待匹配点为Mrs＝(urs,vrs)，若Mrs为Ir上的第一个匹配点，则设LWp的中心为匹配点搜索初始点M'rs0；若Mrs不为Ir上的第一个匹配点，设Mrs上下左右各八个领域小网格中心点Mrst,t＝1,2,...,8对应的运动矢量为MVrst＝(urst,vrst),t＝1,2,...,8，基于式(17)计算MVrst,t＝1,2,...,8的均值
Figure RE-FDA0003818663740000091
并基于
Figure RE-FDA0003818663740000092
定位Mrs的匹配点搜索初始点为
Figure RE-FDA0003818663740000093
Figure RE-FDA0003818663740000094
2)考虑到图像点的匹配不仅与像素点有关，也涉及其邻域的变化，因此以点为中心，3×3的像素区域为窗口，从左往右从上往下依次对点进行计算，基于式(18)得到点间绝对差SAD，用于作为点匹配的判断标准，其中fri表示第r帧上对应小窗口内的第i个点的像素值，i从1到9依次对应点为(u-1,v-1),(u,v-1),(u+1,v-1),…,(u+1,v+1)，设定阈值T，若SAD＜T，此对应的两点匹配；若SAD≥T，则转步骤3)
Figure RE-FDA0003818663740000095
3)考虑收获机的主要运动方向为图像垂直方向，因此构建主方向的扁平模板，并计算每个点的SAD值，若模板中心点的SAD值最小，则此点为对应匹配点；若模板中非中心点的其他某一点的SAD值满足SAD＜T，则此点为对应匹配点；否则选模板非中心点的其他点中SAD值最小对应的点作为新中心点，重新构建新主方向的扁平模板，转步骤3)，直至找到匹配点为止；
4)基于上述流程，得到图像帧Ir和Ir-1在所有小网格上的匹配点对Mrs和M'rs，s＝1,2,...,mx×my×9。
5.根据权利要求1所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤(4)具体过程如下：
4.1，设作业Ti时刻的相机基础坐标系为Oc1Ti-Xc1TiYc1TiZc1Ti，Ti和Ti+1时刻下的相机基础坐标系的转换关系为c1T(i+1)Hc1Ti，Ti时刻，根据获取的Ti和Ti+1时刻下的图像对间的匹配点集M(i+1)s和M'(i+1)s，分别计算图像点在Ti和Ti+1时刻的相机基础坐标系Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)下的三维坐标表示A(i+1)s和A'(i+1)s；
4.2，根据A(i+1s)和A'(i+1)s的点间的位置关系均值，计算Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)的平移关系，根据A(i+1)s和A'(i+1)s的两点所形成的线、向量间的位置关系，计算Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)的旋转关系，得到Oc1Ti-Xc1TiYc1TiZc1Ti和Oc1T(i+1)-Xc1T(i+1)Yc1T(i+1)Zc1T(i+1)的转换关系c1T(i+1)Hc1Ti；
4.3，若Ti时刻为最后时刻，则结束坐标链关系计算，得到c1T1Hc1T0、c1T2Hc1T1、…、c1TnHc1T(n-1)；否则，将i＝i+1，继续步骤4.1和4.2。
6.根据权利要求1所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤(5)具体过程如下：
5.1，基于构建的收获机作业各时刻间坐标关系转换链，将收获机作业各时刻下计算所得的倒伏位姿表针向量
Figure RE-FDA0003818663740000101
转换到T0时刻下的相机基础坐标系Oc1T0-Xc1T0Yc1T0Zc1T0中，并基于相机基础坐标系与世界坐标系的关系，将其转换到T0时刻下的世界坐标系Ow0-Xw0Yw0Zw0中，得到一个坐标系下的收获机作业的稻麦三维位姿
Figure RE-FDA0003818663740000102
5.2，根据上下帧间的匹配区域，去掉重复网格区域，得到从作业初始时刻到结束时刻下的全局整块地的稻麦三维位姿分布图，将
Figure RE-FDA0003818663740000103
与水平面的夹角作为稻麦生长角度参考，并设定阈值，当夹角小于阈值，则判定为倒伏；基于此，计算得到整块地的稻麦全局倒伏区域分布图和倒伏角度分布图，并根据
Figure RE-FDA0003818663740000104
在水平面的投影，计算每个网格区域内稻麦的倒伏方向，得到稻麦全局倒伏方向分布图。
7.根据权利要求2所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤1.4中，收获机的作业速度一般为0.5m/s-1.8m/s，设定检测区域长度为Ld＝4.8m。
8.根据权利要求2所述的一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法，其特征在于：步骤1.4中，检测余量d设定为35cm。
CN202210736071.2A 2022-06-27 2022-06-27 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 Pending CN115272187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210736071.2A CN115272187A (zh) 2022-06-27 2022-06-27 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210736071.2A CN115272187A (zh) 2022-06-27 2022-06-27 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法

Publications (1)

Publication Number Publication Date
CN115272187A true CN115272187A (zh) 2022-11-01

Family

ID=83763164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210736071.2A Pending CN115272187A (zh) 2022-06-27 2022-06-27 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法

Country Status (1)

Country Link
CN (1) CN115272187A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210181078A1 (en) * 2018-06-01 2021-06-17 Monsanto Technology Llc Rapid stalk strength assessment
CN115841063A (zh) * 2023-02-24 2023-03-24 东方空间技术(山东)有限公司 用于动导数数值模拟的滑移动网格生成方法和装置
CN115953690A (zh) * 2023-03-09 2023-04-11 济宁市保田农机技术推广专业合作社 用于无人收割机行进校准的倒伏作物识别方法
CN116434126A (zh) * 2023-06-13 2023-07-14 清华大学 农作物的微振动速度检测方法及装置
CN116448754A (zh) * 2023-06-13 2023-07-18 清华大学 农作物抗倒伏性的测量方法、装置、电子设备及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210181078A1 (en) * 2018-06-01 2021-06-17 Monsanto Technology Llc Rapid stalk strength assessment
CN115841063A (zh) * 2023-02-24 2023-03-24 东方空间技术(山东)有限公司 用于动导数数值模拟的滑移动网格生成方法和装置
CN115841063B (zh) * 2023-02-24 2023-04-28 东方空间技术(山东)有限公司 用于动导数数值模拟的滑移动网格生成方法和装置
CN115953690A (zh) * 2023-03-09 2023-04-11 济宁市保田农机技术推广专业合作社 用于无人收割机行进校准的倒伏作物识别方法
CN116434126A (zh) * 2023-06-13 2023-07-14 清华大学 农作物的微振动速度检测方法及装置
CN116448754A (zh) * 2023-06-13 2023-07-18 清华大学 农作物抗倒伏性的测量方法、装置、电子设备及存储介质
CN116448754B (zh) * 2023-06-13 2023-09-19 清华大学 农作物抗倒伏性的测量方法、装置、电子设备及存储介质
CN116434126B (zh) * 2023-06-13 2023-09-19 清华大学 农作物的微振动速度检测方法及装置

Similar Documents

Publication Publication Date Title
CN115272187A (zh) 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法
WO2022016563A1 (zh) 一种植保无人机地面监控系统及其监控方法
Müller-Linow et al. The leaf angle distribution of natural plant populations: assessing the canopy with a novel software tool
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN111368736B (zh) 基于sar和光学遥感数据的水稻精细化估产方法
CN109146948A (zh) 基于视觉的作物长势表型参数量化与产量相关性分析方法
GB2618896A (en) System and method for crop monitoring
WO2022047830A1 (zh) 一种作物封垄后田间导航线的检测方法
CN102542560B (zh) 一种水稻移栽后密度自动检测的方法
CN112766155A (zh) 一种基于深度学习的海水养殖区提取方法
CN112614147B (zh) 一种基于rgb影像的作物苗期植株密度估算的方法及系统
CN110765977A (zh) 一种基于无人机多时相遥感数据提取小麦倒伏信息的方法
KR102095539B1 (ko) 인삼의 영상 이미지 분석을 통한 생육량 측정 방법
Magistri et al. Towards in-field phenotyping exploiting differentiable rendering with self-consistency loss
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
Zhong et al. Identification and depth localization of clustered pod pepper based on improved Faster R-CNN
CN110414384B (zh) 智能稻麦收获机导航线跟踪方法
Bao et al. Field-based robotic phenotyping for sorghum biomass yield component traits characterization using stereo vision
Chen et al. Measurement of the distance from grain divider to harvesting boundary based on dynamic regions of interest
CN115035423B (zh) 一种基于无人机遥感影像的杂交水稻父母本识别提取方法
CN115358991A (zh) 一种秧苗的漏秧数量和漏秧位置的识别方法及系统
CN115294482A (zh) 一种基于无人机遥感图像的食用菌产量估算方法
CN114049390A (zh) 一种基于机器视觉的小麦麦苗种植密度测量装置及方法
Feng et al. Calculating the leaf-area based on non-loss correction algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination