CN115451965A - 基于双目视觉的插秧机插植系统相对航向信息检测方法 - Google Patents
基于双目视觉的插秧机插植系统相对航向信息检测方法 Download PDFInfo
- Publication number
- CN115451965A CN115451965A CN202211000447.XA CN202211000447A CN115451965A CN 115451965 A CN115451965 A CN 115451965A CN 202211000447 A CN202211000447 A CN 202211000447A CN 115451965 A CN115451965 A CN 115451965A
- Authority
- CN
- China
- Prior art keywords
- seedling
- transplanter
- image
- row
- rice transplanter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000007164 Oryza sativa Nutrition 0.000 title claims abstract description 71
- 235000009566 rice Nutrition 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 240000007594 Oryza sativa Species 0.000 title 1
- 241000209094 Oryza Species 0.000 claims abstract description 70
- 230000000007 visual effect Effects 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims description 18
- 238000007477 logistic regression Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 11
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 10
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000003137 locomotive effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Guiding Agricultural Machines (AREA)
Abstract
本发明公开了基于双目视觉的插秧机插植系统相对航向信息检测方法，基于视觉导航具有较强的自主性，通过双目视觉获取插秧机邻近的秧苗行和作业行的秧苗行图像信息，基于邻近行的秧苗行线和作业行的秧苗行线推算插秧机车体的相对航向，并结合插秧机运动学模型，确定插秧机插植系统与插秧机车体的相对航向偏差，为后续插秧机导航定位进行校正提供支撑，具有提高插秧机导航系统纠偏能力和插秧机作业质量等优点。
Description
技术领域
本发明属于视觉测量技术领域，具体地说，本发明涉及基于双目视觉的插秧机插植系统相对航向信息检测方法。
背景技术
为实现精准插秧、减轻驾驶员劳动强度，传统研究多基于GPS导航技术开发插秧机自动导航作业系统，根据田块几何信息规划全局行走路径，并通过控制转向系统使插秧机沿规划路径自动行驶。但水田土壤软硬不均，尤其南方水稻产区主要是丘陵地区，田块相对高度差大，水田的软泥层深度较深，插秧机作业过程中车体易发生侧滑、打滑，无法长时间按照GPS导航系统的预定义路径行驶。
GPS导航虽能进行全局定位，但不能获取作业对象的信息以实时检测行走路径，导致导航精度低，无法解决插秧机滑移后偏离导航路径行驶造成的重插、漏插等问题。
相比GPS导航，视觉导航获取信息实时全面，无需预先精确规划路径，具有较强的自主性。
为实时获取局部的导航路径，部分学者(Smart Agriculture,2020,2(4):89-102)结合图像处理算法识别水稻田间已收获区域与未收获区域边界，基于线拟合方法确定联合收获机视觉导航作业前视目标路径，并根据前视路径相对位置信息进行田间动态标定获得联合收获机作业状态。
发明专利(申请号:202110764214.6，一种田间农业机械视觉导航系统及方法)基于深度卷积网络模型分割图像中作物，提取田间作物行线，并根据左右作物行在图像上边界和下边界的坐标信息，获得作物行线的中心线，以之确定导航路径，并结合图像采集模块的位置信息，计算农业机械相对于导航路径的横向偏差和航向偏差信息。
视觉导航虽能从图像中分割出作物，根据图像中作物像素分布规律识别作物行，确定局部路径，具有较强的自主性。但插秧机采用轴传动方式连接插植系统和行走装置，插秧机作业过程中出现的侧滑或打滑现象易造成插植系统与行走装置的相对航向信息改变，如仅考虑插秧机作业过程中车体是否偏离目标路径，则插植系统的航向将不再与目标路径一致，造成重插、漏插，无法保证插秧机的作业质量。因此，如何准确识别秧苗行，检测插秧机插植系统相对车体的航向偏差信息，对插秧机导航进行定位校正，以获取准确导航路径，提高插秧机视觉导航精度和自主作业质量具有重要意义。
发明内容
本发明提供基于双目视觉的插秧机插植系统相对航向信息检测方法，以解决上述背景技术中存在的问题。
为了实现上述目的，本发明采取的技术方案为：基于双目视觉的插秧机插植系统相对航向信息检测方法，具体包括以下步骤：
步骤S1：搭建图像采集系统，包括插秧机、计算机和两个带有USB接口的工业相机，工业相机采集到秧苗图像并传输至计算机进行分析处理；
步骤S2：构建具有空间约束的逻辑回归分类模型，采集用于模型训练的秧苗图像，对不同光照条件下秧苗图像样本进行秧苗和背景标注，划分为训练集和验证集，并在标注的秧苗、背景图像中分别计算获取饱和度与亮度的比值因子S/V和超绿因子2*Cg-Cr-Cb颜色特征参数，以训练集图像的颜色特征参数作为输入，训练逻辑回归分类模型，并基于验证集图像的结果优化模型参数；
步骤S3：获取待检测的秧苗图像中饱和度与亮度的比值因子S/V和超绿因子2*Cg-Cr-Cb颜色特征参数，输入到训练好的具有空间约束的逻辑回归分类模型，实现图像中秧苗、背景像素的分类，获取秧苗二值图像，并水平、垂直方向等间隔划分秧苗二值图像，形成若干个矩形块，统计每个矩形块内白色秧苗像素个数，计算每个矩形块内所有秧苗像素点坐标的平均值，以像素平均坐标点作为秧苗行的特征点，并采用最小二乘法拟合秧苗行的特征点，实现秧苗行线的提取；
步骤S4：分别以插秧机的重心、两工业相机的光心为中心构建导航坐标系统，其中两个工业相机场景中视觉坐标系分别为Ov-XvYvZv和Ot-XtYtZt，世界坐标系为O-XYZ，以插秧机邻近行的秧苗行和作业行的秧苗行为参考，结合视觉坐标系与世界坐标系的转换关系，分别计算插秧机车体相对于邻近行的秧苗行线、作业行的秧苗行线的航向角信息α、β；
步骤S5：通过工业相机参数、坐标变换来求取作业行的秧苗行线的斜率角γ，计算插秧机的插值系统航向角η＝π/2-γ；结合插秧机的运动学模型，以插秧机行驶方向为参考，推算插秧机车体与插植系统的相对航向偏差为
将相对航向偏差与插秧机车体位姿信息进行融合，作为后续运动控制所需的决策控制量。
优选的，所述步骤S1中，所述两个工业相机，其中，一个相机的拍摄视角与插秧机行驶方向一致，拍摄插秧机邻近的已插秧苗图像，另一个相机拍摄视角与插秧机行驶方向相反，用来拍摄插秧机插植系统后方已插的秧苗图像。
优选的，所述步骤S2中，构建具有空间约束的逻辑回归分类模型，基于图像空间邻域像素的相似程度构建空间约束的逻辑回归分类模型，对于图像中任一像素点x，定义其s*s邻域为Ns(x)，计算当前像素值与其s邻域像素的相似程度γj(x,xj)，其计算公式如下：
式中：gc是像素x灰度值，gn是x邻域像素灰度值，N是邻域像素个数；
基于邻域相似度设置像素邻域空间信息融合权重，并将像素邻域空间信息融合到逻辑回归分类模型的损失函数中，逻辑回归分类模型的损失函数J(w)计算公式如下：
式中：λ＞0表示正则化参数，m是训练样本图像数，yi为样本图像对应的类别标签，秧苗或者背景，w和b分别表示权重系数和偏置，Fi(x)为具有空间约束的像素x的特征向量，计算公式如下：
式中：fi(x)为像素x的特征向量。
优选的，所述步骤S2中，秧苗图像颜色特征参数获取，将RGB图像转化到符合人眼视觉特性的色度-饱和度-亮度HSV空间，提取饱和度与亮度的比值因子S/V，并将RGB空间转化为亮度和颜色分离的YCrCb空间，构造Cg分量和超绿因子2*Cg-Cr-Cb，其中，Cg分量计算公式如下：
优选的，所述步骤S3中，秧苗行特征点获取，将宽为W、高为H秧苗二值图像进行水平等分，分为p个水平图像子带，并将p个水平图像子带进行竖直等分为q小份，形成p*q个小矩形块，从下到上，从左到右扫描每一矩形块并统计矩形内白色秧苗像素点个数M，计算每个矩形块内所有秧苗像素点坐标的平均值，以之作为该矩形块内秧苗行特征点的坐标Q(xb,yb)，计算公式如下：
式中：(xb,yb)为矩形块b中秧苗行的特征点坐标，(xj,yj)矩形b中第j个秧苗像素点坐标。
优选的，所述步骤S4中，插秧机车体相对航向角信息获取，获取作业行的秧苗行线上A点与邻近行的秧苗行线上B点分别在视觉坐标系下坐标为(xva,yva)和(xvb,yvb)，在世界坐标下坐标为(xpa,ypa)和(xpb,ypb)，结合前、后向工业相机在世界坐标中的位置坐标为(xca,yca)和(xcb,ycb)，A、B点坐标在工业相机视觉坐标系与世界坐标系之间的固定转换关系计算公式如下：
式中，α和β分别是插秧机车体相对邻近行和作业行的航向角，计算公式如下：
优选的，所述步骤S5中，求取作业行秧苗行线的斜率角γ，图像上作业行的秧苗行线的斜率角γ能够反映插秧机插植系统当前的航向信息，其对应作业行的秧苗行线在世界坐标系下的斜率k，即γ＝arctank，作业行的秧苗行线的斜率k可以能够通过相机参数和坐标变换来求取，斜率k计算公式如下：
式中：(fx,fy)是相机焦距，(u0,v0)相机光轴在图像像素坐标系中的位置,θ是相机的倾角，L是相机的安装高度，kv和bv分别是作业行的秧苗行线在图像坐标的斜率和截距。
优选的，所述步骤S5中，基于插秧机的运动学模型，以插秧机行驶方向为参考，插植系统航向角η＝π/2-γ，插植系统相对插秧机车体中心轴左偏时，η＞β，右偏时，η＜β，插秧机插植系统与插秧机车体的相对航向偏差为
采用以上技术方案的有益效果是：
1、本发明提供的基于双目视觉的插秧机插植系统相对航向信息检测方法，基于视觉导航具有较强的自主性，通过双目视觉获取插秧机邻近的秧苗行和作业行的秧苗行图像信息，基于邻近行的秧苗行线和作业行的秧苗行线推算插秧机车体的相对航向，并结合插秧机运动学模型，确定插秧机插植系统与插秧机车体的相对航向偏差，为后续插秧机导航定位进行校正提供支撑，具有提高插秧机导航系统纠偏能力和插秧机作业质量等优点。
附图说明
图1中(a)为原始秧苗图像；(b)为标注的结果图像；
图2为分类模型输出的秧苗二值图像；
图3为秧苗二值图像的等间隔划分示意图；
图4为秧苗行特征点图；
图5为导航坐标系统示意图；
图6为秧苗行线的参数定义；
图7为插秧机的运动学模型；
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
如图1至图7所示，本发明是基于双目视觉的插秧机插植系统相对航向信息检测方法，基于视觉导航具有较强的自主性，通过双目视觉获取插秧机邻近的秧苗行和作业行的秧苗行图像信息，基于邻近行的秧苗行线和作业行的秧苗行线推算插秧机车体的相对航向，并结合插秧机运动学模型，确定插秧机插植系统与插秧机车体的相对航向偏差，为后续插秧机导航定位进行校正提供支撑，具有提高插秧机导航系统纠偏能力和插秧机作业质量等优点。
以下用具体实施例对具体工作方式进行阐述：
实施例1：
步骤S1：搭建图像采集系统，包括插秧机、计算机和两个带有USB接口的工业相机，工业相机采集到秧苗图像并传输至计算机进行分析处理，其中，一个工业相机的拍摄视角与插秧机行驶方向一致，拍摄插秧机邻近的已插秧苗图像，另一个工业相机拍摄视角与插秧机行驶方向相反，用来拍摄插秧机插植系统后方已插的秧苗图像。
步骤S2：构建具有空间约束的逻辑回归分类模型，采集用于模型训练的秧苗图像，对不同光照条件下秧苗图像样本进行秧苗和背景标注，如图1所示，白色像素为秧苗，黑色像素为背景，将标注好的图像样本划分为训练集和验证集，并在标注的秧苗、背景图像中分别获取饱和度与亮度的比值因子S/V和超绿因子2*Cg-Cr-Cb颜色特征参数，以训练集图像的颜色特征参数作为输入，训练逻辑回归分类模型，并基于验证集图像的结果优化模型参数。
步骤S3：获取待检测的秧苗图像中饱和度与亮度的比值因子S/V和超绿因子2*Cg-Cr-Cb颜色特征参数，输入到训练好的具有空间约束的逻辑回归分类模型，实现图像中秧苗、背景像素的分类，获取秧苗二值图像，如图2所示，并水平、垂直方向等间隔划分秧苗二值图像，形成若干个矩形块，如图3所示，统计每个矩形块内白色秧苗像素个数，计算每个矩形块内所有秧苗像素点坐标的平均值，以平均坐标点像素作为秧苗行的特征点，如图4所示，并采用最小二乘法拟合秧苗行的特征点，实现秧苗行线的提取。
步骤S4：分别以插秧机的重心、两工业相机的光心为中心构建导航坐标系统，如图5所示，其中两个工业相机场景中视觉坐标系分别为Ov-XvYvZv和Ot-XtYtZt，世界坐标系为O-XYZ，以插秧机邻近行的秧苗行和作业行的秧苗行为参考，结合图5中所示的视觉坐标系与世界坐标系的转换关系，分别计算插秧机车体相对于邻近行的秧苗行线、作业行的秧苗行线的航向角信息。
步骤S5：通过工业相机参数、坐标变换来求取作业行的秧苗行线的斜率角γ，作业行的秧苗行线的参数定义如图6所示，基于图像上作业行的秧苗行线的走势变化能反映插植系统航向变化，计算插秧机的插值系统航向角η＝π/2-γ；结合插秧机的运动学模型，如图7所示，以插秧机行驶方向为参考，推算插秧机车体与插植系统的相对航向偏差为
将相对航向偏差与插秧机车体位姿信息进行融合，作为后续运动控制所需的决策控制量。
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (8)
1.基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：具体包括以下步骤：
步骤S1：搭建图像采集系统，包括插秧机、计算机和两个带有USB接口的工业相机，工业相机采集到秧苗图像并传输至计算机进行分析处理；
步骤S2：构建具有空间约束的逻辑回归分类模型，采集用于模型训练的秧苗图像，对不同光照条件下秧苗图像样本进行秧苗和背景标注，划分为训练集和验证集，并在标注的秧苗、背景图像中分别计算获取饱和度与亮度的比值因子S/V和超绿因子2*Cg-Cr-Cb颜色特征参数，以训练集图像的颜色特征参数作为输入，训练逻辑回归分类模型，并基于验证集图像的结果优化模型参数；
步骤S3：获取待检测的秧苗图像中饱和度与亮度的比值因子S/V和超绿因子2*Cg-Cr-Cb颜色特征参数，输入到训练好的具有空间约束的逻辑回归分类模型，实现图像中秧苗、背景像素的分类，获取秧苗二值图像，并水平、垂直方向等间隔划分秧苗二值图像，形成若干个矩形块，统计每个矩形块内白色秧苗像素个数，计算每个矩形块内所有秧苗像素点坐标的平均值，以像素平均坐标点作为秧苗行的特征点，并采用最小二乘法拟合秧苗行的特征点，实现秧苗行线的提取；
步骤S4：分别以插秧机的重心、两工业相机的光心为中心构建导航坐标系统，其中两个工业相机场景中视觉坐标系分别为Ov-XvYvZv和Ot-XtYtZt，世界坐标系为O-XYZ，以插秧机邻近行的秧苗行和作业行的秧苗行为参考，结合视觉坐标系与世界坐标系的转换关系，分别计算插秧机车体相对于邻近行的秧苗行线、作业行的秧苗行线的航向角信息α、β；
步骤S5：通过工业相机参数、坐标变换来求取作业行的秧苗行线的斜率角γ，计算插秧机的插值系统航向角η＝π/2-γ；结合插秧机的运动学模型，以插秧机行驶方向为参考，推算插秧机车体与插植系统的相对航向偏差为
将相对航向偏差与插秧机车体位姿信息进行融合，作为后续运动控制所需的决策控制量。
2.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S1中，所述两个工业相机，其中，一个相机的拍摄视角与插秧机行驶方向一致，拍摄插秧机邻近的已插秧苗图像，另一个相机拍摄视角与插秧机行驶方向相反，用来拍摄插秧机插植系统后方已插的秧苗图像。
3.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S2中，构建具有空间约束的逻辑回归分类模型，基于图像空间邻域像素的相似程度构建空间约束的逻辑回归分类模型，对于图像中任一像素点x，定义其s*s邻域为Ns(x)，计算当前像素值与其s邻域像素的相似程度γj(x,xj)，其计算公式如下：
式中：gc是像素x灰度值，gn是x邻域像素灰度值，N是邻域像素个数；
基于邻域相似度设置像素邻域空间信息融合权重，并将像素邻域空间信息融合到逻辑回归分类模型的损失函数中，逻辑回归分类模型的损失函数J(w)计算公式如下：
式中：λ＞0表示正则化参数，m是训练样本图像数，yi为样本图像对应的类别标签，秧苗或者背景，w和b分别表示权重系数和偏置，Fi(x)为具有空间约束的像素x的特征向量，计算公式如下：
式中：fi(x)为像素x的特征向量。
4.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S2中，秧苗图像颜色特征参数获取，将RGB图像转化到符合人眼视觉特性的色度-饱和度-亮度HSV空间，提取饱和度与亮度的比值因子S/V，并将RGB空间转化为亮度和颜色分离的YCrCb空间，构造Cg分量和超绿因子2*Cg-Cr-Cb，其中，Cg分量计算公式如下：
5.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S3中，秧苗行特征点获取，将宽为W、高为H秧苗二值图像进行水平等分，分为p个水平图像子带，并将p个水平图像子带进行竖直等分为q小份，形成p*q个小矩形块，从下到上，从左到右扫描每一矩形块并统计矩形内白色秧苗像素点个数M，计算每个矩形块内所有秧苗像素点坐标的平均值，以之作为该矩形块内秧苗行特征点的坐标Q(xb,yb)，计算公式如下：
式中：(xb,yb)为矩形块b中秧苗行的特征点坐标，(xj,yj)矩形b中第j个秧苗像素点坐标。
6.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S4中，插秧机车体相对航向角信息获取，获取作业行的秧苗行线上A点与邻近行的秧苗行线上B点分别在视觉坐标系下坐标为(xva,yva)和(xvb,yvb)，在世界坐标下坐标为(xpa,ypa)和(xpb,ypb)，结合前、后向工业相机在世界坐标中的位置坐标为(xca,yca)和(xcb,ycb)，A、B点坐标在工业相机视觉坐标系与世界坐标系之间的固定转换关系计算公式如下：
式中，α和β分别是插秧机车体相对邻近行和作业行的航向角，计算公式如下：
7.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S5中，图像上作业行的秧苗行线的斜率角γ能够反映插秧机插植系统当前的航向信息，其对应作业行的秧苗行线在世界坐标系下的斜率k，即γ＝arctank，作业行的秧苗行线的斜率k可以能够通过相机参数和坐标变换来求取，斜率k计算公式如下：
式中：(fx,fy)是相机焦距，(u0,v0)相机光轴在图像像素坐标系中的位置,θ是相机的倾角，L是相机的安装高度，kv和bv分别是作业行的秧苗行线在图像坐标的斜率和截距。
8.根据权利要求1所述的基于双目视觉的插秧机插植系统相对航向信息检测方法，其特征在于：所述步骤S5中，基于插秧机的运动学模型，以插秧机行驶方向为参考，插植系统航向角η＝π/2-γ，插植系统相对插秧机车体中心轴左偏时，η＞β，右偏时，η＜β，插秧机插植系统与插秧机车体的相对航向偏差为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211000447.XA CN115451965B (zh) | 2022-08-19 | 2022-08-19 | 基于双目视觉的插秧机插植系统相对航向信息检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211000447.XA CN115451965B (zh) | 2022-08-19 | 2022-08-19 | 基于双目视觉的插秧机插植系统相对航向信息检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115451965A true CN115451965A (zh) | 2022-12-09 |
| CN115451965B CN115451965B (zh) | 2024-04-26 |
Family
ID=84298222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211000447.XA Active CN115451965B (zh) | 2022-08-19 | 2022-08-19 | 基于双目视觉的插秧机插植系统相对航向信息检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115451965B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496353A (zh) * | 2023-11-13 | 2024-02-02 | 安徽农业大学 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105987684A (zh) * | 2015-12-18 | 2016-10-05 | 中国科学院合肥物质科学研究院 | 一种基于单目视觉的农业车辆导航线检测系统及方法 |
| CN106338989A (zh) * | 2016-08-01 | 2017-01-18 | 内蒙古大学 | 一种田间机器人双目视觉导航方法及系统 |
| CN109344843A (zh) * | 2018-09-07 | 2019-02-15 | 华南农业大学 | 水稻秧苗行线提取方法、装置、计算机设备和存储介质 |
| CN110516563A (zh) * | 2019-08-06 | 2019-11-29 | 西安电子科技大学 | 基于dsp的农业移栽机智能路径导航方法 |
| CN212344481U (zh) * | 2020-03-04 | 2021-01-15 | 上海联适导航技术有限公司 | 一种基于北斗导航定位系统的无人驾驶插秧机 |
| WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
-
2022
- 2022-08-19 CN CN202211000447.XA patent/CN115451965B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105987684A (zh) * | 2015-12-18 | 2016-10-05 | 中国科学院合肥物质科学研究院 | 一种基于单目视觉的农业车辆导航线检测系统及方法 |
| CN106338989A (zh) * | 2016-08-01 | 2017-01-18 | 内蒙古大学 | 一种田间机器人双目视觉导航方法及系统 |
| CN109344843A (zh) * | 2018-09-07 | 2019-02-15 | 华南农业大学 | 水稻秧苗行线提取方法、装置、计算机设备和存储介质 |
| CN110516563A (zh) * | 2019-08-06 | 2019-11-29 | 西安电子科技大学 | 基于dsp的农业移栽机智能路径导航方法 |
| CN212344481U (zh) * | 2020-03-04 | 2021-01-15 | 上海联适导航技术有限公司 | 一种基于北斗导航定位系统的无人驾驶插秧机 |
| WO2021226900A1 (zh) * | 2020-05-14 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 毛可骏;周平;赵匀;姚庆杏;钟取发;: "基于机器视觉的自主插秧机导航信息的提取研究", 农机化研究, no. 05, 1 May 2009 (2009-05-01) * |
| 谢忠华;: "水稻插秧机路径追踪设计――基于SOPC嵌入式视觉导航", 农机化研究, no. 10, 1 October 2017 (2017-10-01) * |
| 迟德霞;任文涛;由佳翰;李萍;: "水稻插秧机视觉导航信息获取试验", 沈阳农业大学学报, no. 05, 15 October 2015 (2015-10-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117496353A (zh) * | 2023-11-13 | 2024-02-02 | 安徽农业大学 | 基于两阶段分割模型的稻田秧苗杂草茎中心区分定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115451965B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bai et al. | Vision-based navigation and guidance for agricultural autonomous vehicles and robots: A review | |
| CN110243372B (zh) | 基于机器视觉的智能农机导航系统及方法 | |
| Bakker et al. | A vision based row detection system for sugar beet | |
| US7248968B2 (en) | Obstacle detection using stereo vision | |
| CN109448127B (zh) | 一种基于无人机遥感的农田高精度导航地图生成方法 | |
| Lin et al. | Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn | |
| WO2021226900A1 (zh) | 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质 | |
| CN108133471B (zh) | 一种基于人工蜂群算法的机器人导航路径提取方法及装置 | |
| CN110765916A (zh) | 一种基于语义和实例分割的农田苗垄识别方法及系统 | |
| CN108509928A (zh) | 针对矮化密植枣园田管作业视觉导航路径提取方法 | |
| CN115272187A (zh) | 一种基于车载动态视场帧间关联性的田间稻麦倒伏全局评估方法 | |
| English et al. | Learning crop models for vision-based guidance of agricultural robots | |
| CN103186773A (zh) | 一种基于一维Hough变换和专家系统的早期苗田垄线识别算法 | |
| Ospina et al. | Simultaneous mapping and crop row detection by fusing data from wide angle and telephoto images | |
| CN115451965B (zh) | 基于双目视觉的插秧机插植系统相对航向信息检测方法 | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| CN113065562B (zh) | 一种基于语义分割网络的作物垄行提取及主导航线选取方法 | |
| Wang et al. | The seedling line extraction of automatic weeding machinery in paddy field | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| Xie et al. | Multi-feature detection of in-field grain lodging for adaptive low-loss control of combine harvesters | |
| CN110414384B (zh) | 智能稻麦收获机导航线跟踪方法 | |
| He et al. | Extracting the navigation path of an agricultural plant protection robot based on machine vision | |
| CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
| Wang et al. | Design of crop yield estimation system for apple orchards using computer vision | |
| Jiang et al. | Navigation path curve extraction method based on depth image for combine harvester |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |