CN117115811A - 一种不依赖无人机的薯类作物垄线高精度确定方法 - Google Patents

一种不依赖无人机的薯类作物垄线高精度确定方法 Download PDF

Info

Publication number
CN117115811A
CN117115811A CN202311137030.2A CN202311137030A CN117115811A CN 117115811 A CN117115811 A CN 117115811A CN 202311137030 A CN202311137030 A CN 202311137030A CN 117115811 A CN117115811 A CN 117115811A
Authority
CN
China
Prior art keywords
tuber
fitting
aerial vehicle
unmanned aerial
reference object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311137030.2A
Other languages
English (en)
Inventor
张健
白翔宇
杨然兵
潘志国
张还
吕士亭
许文建
国士腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Agricultural University
Hainan University
Original Assignee
Qingdao Agricultural University
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Agricultural University, Hainan University filed Critical Qingdao Agricultural University
Priority to CN202311137030.2A priority Critical patent/CN117115811A/zh
Publication of CN117115811A publication Critical patent/CN117115811A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种不依赖无人机的薯类作物垄线高精度确定方法，包括：获取参照物位置数据；基于所述参照物位置数据对不同薯类作物进行拍摄，得到若干张薯类作物图像；对所述若干张薯类作物图像中的薯类作物进行框选，得到若干个薯类作物点；对所述若干个薯类作物点进行拟合，得到拟合线，基于所述拟合线和所述参照物位置数据，得到若干个交叉点，对所述若干个交叉点进行连接，得到交叉点线，对所述交叉点线拟合，得到薯类作物垄线。本发明能够供自动驾驶无人农机收获薯类作物，有效且方便。

Description

一种不依赖无人机的薯类作物垄线高精度确定方法
技术领域
本发明属于薯类作物作业垄线行技术领域，尤其涉及一种不依赖无人机的薯类作物垄线高精度确定方法。
背景技术
在农机自动化智能化发展的大环境下，农作物的播种、除草、防虫害、收获越来越依赖科技的发展，其中结合于北斗GNSS定位技术、RTK定位技术、图像分析，成为农业智能化自动化发展的焦点和基石。
垄线的提取主要依赖于无人机、CCD相机等设备采集数据，再借助图像处理、计算机视觉等领域的相关技术进行数据分析和处理。
但是，使用带有RTK功能的无人机对作业地块进行数据采集，如图1所示，利用图像处理技术可以直接得出作业路径的位置，但在无人机禁飞区域此方法不可行，同时使用RTK对每颗苗的位置测量后拟合导航线，工作量太大；使用RTK在作业垄线行上取点连线进行导航线获取，人为因素的误差较大，在作业垄线行弯曲严重的情况下尤其突出；采用ccd相机拍摄参考图像，如图2所示，图像导航是通过摄像机所拍摄图片的标定，以及坐标系的转换和多种复杂的数学模型计算，获取车辆导航参数的方法，流程比较繁琐。
发明内容
本发明提出了不依赖无人机的薯类作物垄线高精度确定方法，以解决上述现有技术中存在的技术问题。
为实现上述目的，本发明提供了不依赖无人机的薯类作物垄线高精度确定方法，包括：
获取参照物位置数据；基于所述参照物位置数据对不同薯类作物进行拍摄，得到若干张薯类作物图像；
对所述若干张薯类作物图像中的薯类作物框选，得到若干个薯类作物点；
对所述若干个薯类作物点进行拟合，得到拟合线，基于所述拟合线和所述参照物位置数据，得到若干个交叉点，对所述若干个交叉点进行连接，得到交叉点线，对所述交叉点线拟合，得到薯类作物垄线。
优选地，得到若干张薯类作物图像的过程包括：
将参照物放置于薯类作物的地块中，基于RTK得到参照物位置数据；基于所述参照物位置数据固定放置摄像装置，通过所述摄像装置对薯类作物进行拍摄，得到第一张薯类作物图像，同时移动所述摄像装置和所述参照物对不同薯类作物进行拍摄，移动之后所述摄像装置和所述参照物的距离保持不变，所述摄像装置拍摄的高度与角度不变，经过若干次移动，得到若干张薯类作物图像。
优选地，所述参照物包括若干种参照装置，所述参照装置之间的距离保持不变。
优选地，对所述若干张薯类作物图像中的薯类作物框选的过程包括：
构建深度学习的目标识别模型，基于所述目标识别模型对所述若干张薯类作物图像中的薯类作物进行框选，得到若干个薯类作物点，其中所述目标识别模型采用YOLOv5模型。
优选地，得到拟合线的过程包括：
将所述薯类作物点设定为直线方程，并基于所述薯类作物点的坐标设定误差项，采用最小二乘法计算得到所述薯类作物点的最小误差项，基于所述最小误差项，利用矩阵运算得到拟合线参数，将所述拟合线参数代入所述直线方程，得到拟合线。
优选地，所述直线方程为
Y＝ax+b
其中a，b为拟合线参数，x为薯类作物点的横坐标，Y为薯类作物点的纵坐标。
优选地，所述误差项为
Q＝∑(yi-y)2＝∑(yi-ax-b)2
其中，(xi,yi)(i＝1,2,...,n)为薯类作物点的坐标，a，b为拟合线参数。
优选地，所述最小误差项满足的设定条件为：
其中，Q为误差值，a，b为拟合线参数。
优选地，所述矩阵运算为：
其中，(xi,yi)(i＝1,2,...,n)为薯类作物点的坐标，a，b为拟合线参数。
优选地，所述拟合线参数为：
其中，(xi,yi)(i＝1,2,...,n)为薯类作物点的坐标。
与现有技术相比，本发明具有如下优点和技术效果：
本发明将与传统的垄线识别相结合，利用参照物及RKT定位的确定方法，解决了无人机无法飞行情况下农作物垄线高精位置确定方法的技术问题。本发明提供的技术方案通过拟合方式得到最终的导航线，将导航线放入导航系统中，能够供自动驾驶无人农机收获薯类作物，有效且方便。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明背景技术的无人机采集地块的图像；
图2为本发明背景技术的摄相机拍摄的效果图；
图3为本发明实施例的装置效果的俯视图；
图4为本发明实施例的交叉点的RTK坐标图；
图5为本发明实施例的使用RTK测量后连接的垄线与使用最小二乘法拟合后的效果对比图；
图6为本发明实施例的实际效果图；
图7为本发明实施例的方法流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
当前的农作物种植收获主要依靠农机驾驶员的经验，但随着农业从业人员减少，加之无人农场、智慧农场的出现，越来越多的农机将依赖无人驾驶技术。农机无人驾驶需要对作业路径进行规划，路径规划则需要对作业的垄线行进行提取。
如图7所示，本实施例中提供一种不依赖无人机的薯类作物垄线高精度确定方法，包括：
将参照物放置于薯类作物的地块中，基于RTK得到参照物位置数据；基于所述参照物位置数据固定摄像装置，基于所述摄像装置对所述薯类作物进行拍摄；
同时移动所述摄像装置和所述参照物，得到若干张薯类作物图像；
构建深度学习的目标识别模型，基于所述目标识别模型对所述薯类作物图像中的薯类作物进行框选，得到薯类作物点；
对所述薯类作物点进行拟合，得到拟合线，基于所述拟合线和所述参照物位置数据，得到交叉点，对所述交叉点进行连接，得到交叉点线，对所述交叉点线再次拟合，得到薯类作物垄线。
本发明以马铃薯为研究对象，在马铃薯地块进行试验，按照图3所示的方式，马铃薯出苗初期在地块中放入参照物，ab杆与cd杆之间的距离为L,摄像机与ab杆之间的距离为l，固定相机的姿态，始终保持摄像机拍摄照片时的高度与角度一致，依次向前挪动参照物采集数据，始终保持L与l不变。经过多次尝试，L的长度设置为5米，l的长度也设置为五米，使用支架固定摄像机，基于图1所示的垄线识别的参考物，保持摄像机姿态，拍摄马铃薯照片，并分别用RTK测量出两杆的两端位置，两杆共测量a、b、c、d四个数据。
在进行图像处理前要对图像进行等预处理操作，操作完成后使用Labelimg工具对作物苗进行框选标注并制作数据集。数据集制作完成后利用计算机视觉技术对作物进行识别，选用YOLOv5模型训练时，采用的操作系统为Windows10，CPU为IAMD Ryzen 74800H和Radeon Graphics 2.GHz,GPU为Nvidia Geforce RTX2060，显存16G，CUDAToolkit版本为11.1，cuDNN版本为8.0，编译语言为Python3.9，程序由python编写，在Pycharm上运行，在pycharm的设置中安装OpenCV库，将用Labelimg标记好的xml文件转换为txt文件，并按照一定的比例将其分成训练集和测试集，训练集占80％，测试集占20％。采用训练完成后得到模型，对每颗苗的位置进行识别，将马铃薯每颗苗框选出。
利用图像处理技术将作物苗框选后，采用最小二乘法对导航线进行拟合。运用该方法拟合的原理是:有的坐标点是离散分布的，而且整体看来近似直线，根据这些来计算直线的参数。设直线方程为式：
Y＝ax+b (1)
利用直线轨迹上某个区间离散点的坐标(xi,yi)(i＝1,2,...,n)，定义误差项：
Q＝∑(yi-y)2＝∑(yi-ax-b)2 (2)
最小二乘法原理要求Q达到最小值，Q最小的条件为
可利用矩阵运算或直接解方程法求出参数a,b。其计算公式如式：
把计算出的参数a，b代入公式(1)就可以很好地完成对直线的拟合，也就是利用最小二乘法对其进行了直线拟合，将与之有关的离散点拟合成了一条直线。
直线拟合完成后，在图片中可以直接得到作业垄线的像素点，与此同时从拍摄的图像中可以得到a、b、c、d点的像素点坐标，如图所示，ab线段与cd线段与拟合的垄线有两个交点，同时a、b、c、d四点的坐标已经用RTK获取，相应的就可以得到图4所示e、f点的RTK坐标。
e、f点坐标求取完成后，使用matlab编写程序可以对点进行连线，但得到的是折线而不是直线，这需要使用最小二乘法再次拟合，拟合后得到最终的导航线，将导航线放入导航系统中，能够供自动驾驶无人农机收获薯类作物，获取了薯类作物垄线的高精位置。
本实施例中，对导航线进行拟合完成后，选取一垄使用RTK对每颗苗的位置进行测量，并使用matlab对点进行连接，将最终得出的导航线与本申请提取的导航线对比，如图5所示，折线图为使用RTK测量后连接的垄线，直线为使用最小二乘法拟合后的效果；图6为实际效果图，事实证明，使用本发明的方法是有效且方便的。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，包括以下步骤：
获取参照物位置数据；基于所述参照物位置数据对不同薯类作物进行拍摄，得到若干张薯类作物图像；
对所述若干张薯类作物图像中的薯类作物框选，得到若干个薯类作物点；
对所述若干个薯类作物点进行拟合，得到拟合线，基于所述拟合线和所述参照物位置数据，得到若干个交叉点，对所述若干个交叉点进行连接，得到交叉点线，对所述交叉点线拟合，得到薯类作物垄线。
2.根据权利要求1所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，得到若干张薯类作物图像的过程包括：
将参照物放置于薯类作物的地块中，基于RTK得到参照物位置数据；基于所述参照物位置数据固定放置摄像装置，通过所述摄像装置对薯类作物进行拍摄，得到第一张薯类作物图像，同时移动所述摄像装置和所述参照物对不同薯类作物进行拍摄，移动之后所述摄像装置和所述参照物的距离保持不变，所述摄像装置拍摄的高度与角度不变，经过若干次移动，得到若干张薯类作物图像。
3.根据权利要求1所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，对所述若干张薯类作物图像中的薯类作物框选的过程包括：
构建深度学习的目标识别模型，基于所述目标识别模型对所述若干张薯类作物图像中的薯类作物进行框选，得到若干个薯类作物点，其中所述目标识别模型采用YOLOv5模型。
4.根据权利要求1所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，得到拟合线的过程包括：
将所述薯类作物点设定为直线方程，并基于所述薯类作物点的坐标设定误差项，采用最小二乘法计算得到所述薯类作物点的最小误差项，基于所述最小误差项，利用矩阵运算得到拟合线参数，将所述拟合线参数代入所述直线方程，得到拟合线。
5.根据权利要求4所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，所述直线方程为
Y＝ax+b
其中a，b为拟合线参数，x为薯类作物点的横坐标，Y为薯类作物点的纵坐标。
6.根据权利要求4所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，所述误差项为
Q＝Σ(yi-y)2＝Σ(yi-ax-b)2
其中，(xi,yi)(i＝1,2,...,n)为薯类作物点的坐标，a，b为拟合线参数。
7.根据权利要求4所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，所述最小误差项满足的设定条件为：
其中，Q为误差值，a，b为拟合线参数。
8.根据权利要求4所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，所述矩阵运算为：
其中，(xi,yi)(i＝1,2,...,n)为薯类作物点的坐标，a，b为拟合线参数。
9.根据权利要求1所述的不依赖无人机的薯类作物垄线高精度确定方法，其特征在于，所述拟合线参数为：
其中，(xi,yi)(i＝1,2,...,n)为薯类作物点的坐标。
CN202311137030.2A 2023-09-05 2023-09-05 一种不依赖无人机的薯类作物垄线高精度确定方法 Pending CN117115811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311137030.2A CN117115811A (zh) 2023-09-05 2023-09-05 一种不依赖无人机的薯类作物垄线高精度确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311137030.2A CN117115811A (zh) 2023-09-05 2023-09-05 一种不依赖无人机的薯类作物垄线高精度确定方法

Publications (1)

Publication Number Publication Date
CN117115811A true CN117115811A (zh) 2023-11-24

Family

ID=88807435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311137030.2A Pending CN117115811A (zh) 2023-09-05 2023-09-05 一种不依赖无人机的薯类作物垄线高精度确定方法

Country Status (1)

Country Link
CN (1) CN117115811A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392513A (zh) * 2023-12-07 2024-01-12 天津大学 一种无人驾驶采棉机垄线识别方法及其应用

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392513A (zh) * 2023-12-07 2024-01-12 天津大学 一种无人驾驶采棉机垄线识别方法及其应用
CN117392513B (zh) * 2023-12-07 2024-04-09 天津大学 一种无人驾驶采棉机垄线识别方法及其应用

Similar Documents

Publication Publication Date Title
JP7086203B2 (ja) 植物体耕作データ測定方法、作業経路計画方法及び装置、システム
EP2736318B1 (en) Plant growth kinetics captured by motion tracking
US8340402B2 (en) Device and method for detecting a plant
US20180308229A1 (en) Method and information system for detecting at least one plant planted on a field
CN111542849A (zh) 捕获植物性状的地面真实化标签的方法和系统
WO2021208407A1 (zh) 目标物检测方法、装置和图像采集方法、装置
CN117115811A (zh) 一种不依赖无人机的薯类作物垄线高精度确定方法
CN108334476B (zh) 农机作业平整度的检测方法、装置和系统
CN105547152A (zh) 农作物表型田间高通量主动测量装置与方法
US20230306735A1 (en) Agricultural analysis robotic systems and methods thereof
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
Liu et al. Estimating maize seedling number with UAV RGB images and advanced image processing methods
KR20180086745A (ko) 식물 영상 처리 장치 및 방법
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN109598215A (zh) 一种基于无人机定位拍摄的果园建模分析系统和方法
Kochi et al. All-around 3D plant modeling system using multiple images and its composition
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN117115769A (zh) 一种基于语义分割网络的植株检测与定位方法
CN111814585A (zh) 无人机近地空作物苗情遥感监测方法、装置及存储介质
CN109827503B (zh) 一种田间作物精准定位方法和装置
CN111598937A (zh) 一种基于标定区块对靶校正的农田测亩方法及系统
Badua et al. Sensing system for real-time measurement of seed spacing, depth, and geo-location of corn: A proof-of-concept study
CN109598767A (zh) 一种基于无人机定位拍摄的果园监控系统和方法
Saeed et al. 3D Annotation and deep learning for cotton plant part segmentation and architectural trait extraction
Liu et al. Maize height estimation using combined unmanned aerial vehicle oblique photography and LIDAR canopy dynamic characteristics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination