CN116645614A - 一种精准作业农业机器人作业方法 - Google Patents

一种精准作业农业机器人作业方法 Download PDF

Info

Publication number
CN116645614A
CN116645614A CN202310725438.5A CN202310725438A CN116645614A CN 116645614 A CN116645614 A CN 116645614A CN 202310725438 A CN202310725438 A CN 202310725438A CN 116645614 A CN116645614 A CN 116645614A
Authority
CN
China
Prior art keywords
target
image
agricultural robot
calculating
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310725438.5A
Other languages
English (en)
Inventor
吴帆
韦瑞新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weier Technology Co ltd
Original Assignee
Shenzhen Weier Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weier Technology Co ltd filed Critical Shenzhen Weier Technology Co ltd
Priority to CN202310725438.5A priority Critical patent/CN116645614A/zh
Publication of CN116645614A publication Critical patent/CN116645614A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • A01G3/08—Other tools for pruning, branching or delimbing standing trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及农业作业技术领域，具体是一种精准作业农业机器人作业方法,包括如下步骤：对目标作物进行图像采集；对图像中目标作物的目标特征进行识别；对识别的目标特征提取深度信息，计算目标特征的位置；融合计算农业机器人自身位置及目标特征位置；计算并规划农业机器人的动作规划及路径规划，生产指令序列；控制农业机器人沿特定轨迹运动，并完成指定动作。本发明能够实现高效、简单的软件架构及硬件架构的逻辑通路，更贴近真实作业场景的情况下，实现了更加高效、便捷的效果；能够适应多种不同场景，在精准作业场景下，此方案能够通过精准识别作物的目标特征，驱动特种作业臂实现特定的作业动作。

Description

一种精准作业农业机器人作业方法
技术领域
本发明涉及农业作业技术领域，具体是一种精准作业农业机器人作业方法。
背景技术
现有的农业作业设备，主要为机械方式作业，无法实现精准作业的需求。现有的农业作业设备，如插秧机，收割机，喷药机等，均通过大尺寸机械方式进行无精度的作业，其作业车辆可以通过RTK等卫星信号，进行位置的定位和导向，但其作业的设备，无法根据农作物本身的特征，进行精确作业。例如定点除草，定点喷药，定向采摘，精准养护等作业流程，均无法实现。
发明内容
为了克服现有技术中存在的缺陷，本发明的目的是提供一种精准作业农业机器人作业方法。
本发明目的通过下列技术方案来实现：
一种精准作业农业机器人作业方法，应用于农业机器人，包括如下步骤：
S1、通过视觉传感器，对目标作物进行图像采集；
S2、使用目标识别和检测算法，对图像中目标作物的目标特征进行识别；
S3、计算或采集全局或局部的深度信息，对识别的目标特征提取深度信息，计算目标特征的位置；
S4、通过运动/位置传感器，融合计算农业机器人自身位置及目标特征位置；
S5、根据目标特征位置及农业机器人自身位置的实时更新数据，计算并规划农业机器人的动作规划及路径规划，生产指令序列；
S6、根据农业机器人的动作规划及路径规划，农业机器人沿特定轨迹运动，并完成指定动作。
作为优选的技术方案，所述步骤S2具体包括以下步骤：
S2-1、使用目标检测算法，识别所述目标特征的位置；
S2-2、通过目标作物特征及拓扑，推算目标特征的位置；
S2-3、融合多个模型的计算结果，综合判断，计算目标特征的最大概率位置。
作为优选的技术方案，所述目标作物为茎叶体植物，目标特征为目标作物的茎叶顶部，所述步骤S2-2具体包括以下步骤：
S2-2-1、将所述图像进行高斯滤波降噪，对图像进行背景阈值分割，提取出较为完整的目标作物图像；
S2-2-2、将获取的彩色目标作物图像进行降维处理，将图像转为灰度图，保留原始图像中目标作物的主干及茎叶形状分布信息，进行Canny算子边缘检测，获取目标作物边缘及茎叶主干边缘的二值化图像；
S2-2-3、处理获取的二值化图像：对二值化图像进行直线检测，其中曲线图像为叶边缘，剩余图像为茎叶主干，将直线图像提取为C1，剩余图像为C2，图像C1、C2中的像素值为二值化图像的边缘信息；
S2-2-4、设C1(x,y)、C2(x,y)为直线图像C1与剩余图像C2中坐标位置的像素点，对C1(x,y)与C2(x,y)进行判断，若C1(x,y)＝C2(x,y),则表明(x,y)为叶尖点坐标，若C1(x,y)≠C2(x,y),则表明(x,y)不为叶尖点坐标，保存所有叶尖点坐标{(x,y)}；
S2-2-5、将直线图像C1转为向量，起始点为叶尖点坐标{(x,y)},获取所有向量的交点坐标{(x’,y’)}，以i个像素点作为半径画圆，以C1中每个像素点作为圆心进行判断，若该圆中存在交点坐标(x’,y’)且多于n个，则认为交点聚集，计算该圆中所有交点的平均坐标(Σx/n,Σy/n),该坐标即为目标作物的茎叶顶部中心坐标，即为目标特征的位置坐标；其中i、n均为大于0的自然数。
作为优选的技术方案，所述步骤S4中，所述农业机器人通过融合GPS的RTK实时差分定位、IMU信息、以及轮速计信息，综合计算农业机器人及其作业执行机构的三维坐标，并计算其在世界坐标系中的位置变化。
作为优选的技术方案，在所述步骤S1-S6中，通过时间同步技术，实现整个算法逻辑中延迟的消除。
本发明提供的一种精准作业农业机器人作业方法主要具有以下技术效果：1、本发明提供了一种高效、简单的软件架构及逻辑通路，使用视觉传感器作为主要特征识别模块，使用多传感器融合的方式进行位置计算，通过部署在计算单元上的多种算法，包括视觉处理算法、深度计算算法、及机器学习相关模型，提取目标特征的坐标位置(包括二维坐标和三维坐标)，通过路径规划及动作规划算法，实现末端特化机械臂的动作规划，在更贴近真实作业场景的情况下，实现了更加高效、便捷的效果；能够适应多种不同场景，在精准作业场景下，此方案能够通过精准识别作物的目标特征，驱动特种作业臂实现特定的作业动作。2、通过目标作物特征及拓扑，推算目标特征的位置，是基于茎叶体目标作物(比如棉花)自身生长特点，通过识别出作物主干及茎叶分布，推断出目标作物顶部生长位置，该逻辑在识别出图像中的作物主干及茎叶并转换为向量图，通过连接向量图，获取起始点，即为作物顶，与传统直接识别目标特征相比，该逻辑受图像质量影响小，且考虑了植物自身结构特点，有效提高识别率。3、可通过时间同步技术，实现整个算法逻辑中延迟的消。
以下将结合附图对本发明的构思、具体结构及产生的效果作进一步说明，以充分地理解本发明的目的、特征和效果。
附图说明
图1是本发明精准作业农业机器人作业方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处说描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
实施例1：如图1所示，以棉花打顶作业为例，应用本专利提供的精准作业农业机器人作业方法，包括如下步骤：
S1、图片采集：
使用双目相机或深度相机(视觉传感器)，以向下的视角，对作业区域的棉花进行图像采集。
S2、棉花顶识别：
S2-1、通过目标检测算法，识别棉花顶位置；
S2-2、通过棉花叶片特征及拓扑，推断棉花顶位置；
S2-2-1、将图像进行高斯滤波，去除噪音干扰，提高图像质量，对棉花图像进行背景阈值分割，提取出较为完整的棉花植株图像；
S2-2-2、将获取的彩色棉花图像进行降维处理，将图像转为灰度图，保留原始图像中棉花的主干及茎叶形状分布信息，进行Canny算子进行边缘检测，获取棉花边缘及茎叶主干图像，实现棉花与背景图像的有效分离，只保留棉花边缘及茎叶主干信息；
S2-2-3、处理获取的棉花边缘二值化图像，根据棉花生长特点，棉花叶边缘较为弯曲，因此曲线图像应为叶边缘，剩余图像即为茎叶主干，对棉花边缘二值化图像进行直线检测，将直线图像提取为C1，剩余图像为C2。图像C1,C2中的像素值为棉花边缘二值化图像的边缘信息；
S2-2-4、设C1(x,y)，C2(x,y)为直线图像C1与剩余图像C2中坐标位置的像素点，对C1(x,y)与C2(x,y)进行判断，若C1(x,y)＝C2(x,y),则表明(x,y)为叶尖点坐标，若C1(x,y)≠C2(x,y),则表明(x,y)不为叶尖点坐标，保存所有叶尖点坐标{(x,y)}；
S2-2-5、将直线图像C1转为向量，起始点为叶尖点坐标{(x,y)},获取所有向量的交点坐标{(x’,y’)}，以5个像素点作为半径画圆，以C1中每个像素点作为圆心进行判断，若该圆中存在交点坐标(x’,y’)且多于n个，则认为交点聚集，计算该圆中所有交点的平均坐标(Σx/n,Σy/n),该坐标即为棉花顶中心坐标；其中n为大于0的自然数，该参数可以设定。
S2-3、融合多个模型的结果，综合判断，计算棉花顶的最大概率位置。
S3、棉花顶位置计算：
S3-1、通过双目相机或深度相机，计算深度图；
S3-2、将前一步识别到的棉花顶位置的深度提取出来；
S3-3、将棉花顶位置转化为三维坐标。
S4、融合IMU、RTK以及轮速计信息，综合计算棉花顶位置和机身位置，计算其在世界坐标系中的位置变化。
S5、将目标序列，进行最优化计算。使用以下最优化的一个或多个目标为标准：
a、最短时间；
b、最短路径；
c、没有相互干涉；
d、最匹配的速度；
最终生成用于棉花打顶的机械臂的多条移动路径，每个机械臂都能以最高效的方式运行。
S6、驱动各个机械臂完成打顶动作。
实施例2：以除草作业为例，应用本专利提供的精准作业农业机器人作业方法，包括如下步骤：
S1、图片采集：
使用单目、双目相机或深度相机，以向下的视角，采集杂草的特征。
S2、杂草目标特征识别：
S2-1、通过目标检测算法，识别杂草目标特征位置；
S2-2、通过杂草特征及拓扑，推断杂草目标特征位置；
S2-3、融合多个模型的结果，综合判断，计算杂草目标特征的最大概率位置。
S3、杂草目标特征位置计算：
S3-1、计算地面高度；
S3-2、计算杂草目标特征位置；
S3-3、将杂草目标特征位置转化为三维坐标。
S4、融合IMU、RTK以及轮速计信息，综合计算杂草目标特征位置和机身位置，计算其在世界坐标系中的位置变化。
S5、将目标序列，进行最优化计算，使用以下最优化的一个或多个目标为标准：
a、最短时间；
b、最短路径；
c、没有相互干涉；
d、最匹配的速度；
最终生成用于除草的机械臂的多条移动路径，每个机械臂都能以最高效的方式运行。
S6、驱动机械臂完成除草动作。
本发明提供的一种精准作业农业机器人作业方法具有以下技术效果：
1、本发明提供了一种高效、简单的软件架构及逻辑通路，使用视觉传感器作为主要特征识别模块，使用多传感器融合的方式进行位置计算，通过部署在计算单元上的多种算法，包括视觉处理算法、深度计算算法、及机器学习相关模型，提取目标特征的坐标位置(包括二维坐标和三维坐标)，通过路径规划及动作规划算法，实现末端特化机械臂的动作规划，在更贴近真实作业场景的情况下，实现了更加高效、便捷的效果；能够适应多种不同场景，在精准作业场景下，此方案能够通过精准识别作物的目标特征，驱动特种作业臂实现特定的作业动作。2、通过目标作物特征及拓扑，推算目标特征的位置，是基于茎叶体目标作物(比如棉花)自身生长特点，通过识别出作物主干及茎叶分布，推断出目标作物顶部生长位置，该逻辑在识别出图像中的作物主干及茎叶并转换为向量图，通过连接向量图，获取起始点，即为作物顶，与传统直接识别目标特征相比，该逻辑受图像质量影响小，且考虑了植物自身结构特点，有效提高识别率。3、可通过时间同步技术，实现整个算法逻辑中延迟的消。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (5)

1.一种精准作业农业机器人作业方法，应用于农业机器人，其特征在于，包括如下步骤：
S1、通过视觉传感器，对目标作物进行图像采集；
S2、使用目标识别和检测算法，对图像中目标作物的目标特征进行识别；
S3、计算或采集全局或局部的深度信息，对识别的目标特征提取深度信息，计算目标特征的位置；
S4、通过运动/位置传感器，融合计算农业机器人自身位置及目标特征位置；
S5、根据目标特征位置及农业机器人自身位置的实时更新数据，计算并规划农业机器人的动作规划及路径规划，生产指令序列；
S6、根据农业机器人的动作规划及路径规划，农业机器人沿特定轨迹运动，并完成指定动作。
2.根据权利要求1所述的精准作业农业机器人作业方法，其特征在于，所述步骤S2具体包括以下步骤：
S2-1、使用目标检测算法，识别所述目标特征的位置；
S2-2、通过目标作物特征及拓扑，推算目标特征的位置；
S2-3、融合多个模型的计算结果，综合判断，计算目标特征的最大概率位置。
3.根据权利要求2所述的精准作业农业机器人作业方法，其特征在于，所述目标作物为茎叶体植物，目标特征为目标作物的茎叶顶部，所述步骤S2-2具体包括以下步骤：
S2-2-1、将所述图像进行高斯滤波降噪，对图像进行背景阈值分割，提取出较为完整的目标作物图像；
S2-2-2、将获取的彩色目标作物图像进行降维处理，将图像转为灰度图，保留原始图像中目标作物的主干及茎叶形状分布信息，进行Canny算子边缘检测，获取目标作物边缘及茎叶主干边缘的二值化图像；
S2-2-3、处理获取的二值化图像：对二值化图像进行直线检测，其中曲线图像为叶边缘，剩余图像为茎叶主干，将直线图像提取为C1，剩余图像为C2，图像C1、C2中的像素值为二值化图像的边缘信息；
S2-2-4、设C1(x,y)、C2(x,y)为直线图像C1与剩余图像C2中坐标位置的像素点，对C1(x,y)与C2(x,y)进行判断，若C1(x,y)＝C2(x,y),则表明(x,y)为叶尖点坐标，若C1(x,y)≠C2(x,y),则表明(x,y)不为叶尖点坐标，保存所有叶尖点坐标{(x,y)}；
S2-2-5、将直线图像C1转为向量，起始点为叶尖点坐标{(x,y)},获取所有向量的交点坐标{(x’,y’)}，以i个像素点作为半径画圆，以C1中每个像素点作为圆心进行判断，若该圆中存在交点坐标(x’,y’)且多于n个，则认为交点聚集，计算该圆中所有交点的平均坐标(Σx/n,Σy/n),该坐标即为目标作物的茎叶顶部中心坐标，即为目标特征的位置坐标；其中i、n均为大于0的自然数。
4.根据权利要求1所述的精准作业农业机器人作业方法，其特征在于，所述步骤S4中，所述农业机器人通过融合GPS的RTK实时差分定位、IMU信息、以及轮速计信息，综合计算农业机器人及其作业执行机构的三维坐标，并计算其在世界坐标系中的位置变化。
5.根据权利要求1所述的精准作业农业机器人作业方法，其特征在于，在所述步骤S1-S6中，通过时间同步技术，实现整个算法逻辑中延迟的消除。
CN202310725438.5A 2023-06-16 2023-06-16 一种精准作业农业机器人作业方法 Pending CN116645614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310725438.5A CN116645614A (zh) 2023-06-16 2023-06-16 一种精准作业农业机器人作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310725438.5A CN116645614A (zh) 2023-06-16 2023-06-16 一种精准作业农业机器人作业方法

Publications (1)

Publication Number Publication Date
CN116645614A true CN116645614A (zh) 2023-08-25

Family

ID=87623046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310725438.5A Pending CN116645614A (zh) 2023-06-16 2023-06-16 一种精准作业农业机器人作业方法

Country Status (1)

Country Link
CN (1) CN116645614A (zh)

Similar Documents

Publication Publication Date Title
Tang et al. Recognition and localization methods for vision-based fruit picking robots: A review
Zhao et al. A review of key techniques of vision-based control for harvesting robot
Åstrand et al. An agricultural mobile robot with vision-based perception for mechanical weed control
Leu et al. Robotic green asparagus selective harvesting
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
WO2023050783A1 (zh) 除草机器人及其除草路径的规划方法、装置和介质
CN113207675B (zh) 一种气流振动式设施作物自动授粉装置及方法
Miao et al. Efficient tomato harvesting robot based on image processing and deep learning
Silwal et al. Bumblebee: A Path Towards Fully Autonomous Robotic Vine Pruning.
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
Parhar et al. A deep learning-based stalk grasping pipeline
Kraemer et al. From plants to landmarks: Time-invariant plant localization that uses deep pose regression in agricultural fields
Jin et al. Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape
Pan et al. Panoptic mapping with fruit completion and pose estimation for horticultural robots
Campbell et al. An integrated actuation-perception framework for robotic leaf retrieval: detection, localization, and cutting
CN117337691B (zh) 基于深度神经网络的火龙果采摘方法及采摘机器人
WO2023055383A1 (en) Vehicle row follow system
Simon et al. Weed Plant Identification and Removal Using Machine Vision and Robotics
CN116645614A (zh) 一种精准作业农业机器人作业方法
US11981336B2 (en) Vehicle row follow system
Joffe et al. Vision-guided robotic leaf picking
Peebles et al. Robotic Harvesting of Asparagus using Machine Learning and Time-of-Flight Imaging–Overview of Development and Field Trials
CN114786468A (zh) 通过集成激光及视觉在非结构化及嘈杂环境中用于农业物体检测的人机导引系统
Shamshiri et al. An overview of visual servoing for robotic manipulators in digital agriculture
Li et al. Research on the application and future development of visual recognition in modern agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination