CN112380926A - 一种田间除草机器人除草路径规划系统 - Google Patents

一种田间除草机器人除草路径规划系统 Download PDF

Info

Publication number
CN112380926A
CN112380926A CN202011170844.2A CN202011170844A CN112380926A CN 112380926 A CN112380926 A CN 112380926A CN 202011170844 A CN202011170844 A CN 202011170844A CN 112380926 A CN112380926 A CN 112380926A
Authority
CN
China
Prior art keywords
target
image
traversal
designated area
search box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011170844.2A
Other languages
English (en)
Other versions
CN112380926B (zh
Inventor
李绍稳
张乐
徐静
李志强
孟余耀
梁晋欣
傅雷扬
金�秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202011170844.2A priority Critical patent/CN112380926B/zh
Publication of CN112380926A publication Critical patent/CN112380926A/zh
Application granted granted Critical
Publication of CN112380926B publication Critical patent/CN112380926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于计算机视觉技术领域，提供一种田间除草机器人除草路径规划系统，包括：深度相机用于采集关键帧图像，并用于获取目标的深度距离信息；计算机设备包括：目标识别单元用于识别关键帧图像中的各目标；目标剪切单元用于对关键帧图像中的各目标分别剪切得到目标图像；目标图像预处理单元用于对目标图像进行预处理得到对应的目标二值化图像；目标二维中心坐标点计算单元用于计算目标的二维中心坐标点信息；路径规划单元用于根据目标的二维中心坐标点信息以及目标的深度距离信息规划除草机器人的除草路径。本发明通过目标的二维中心点坐标及其深度信息确定其中心点在空间中的位置，从而根据目标的位置规划除草路径，提高除草效率及除草精度。

Description

一种田间除草机器人除草路径规划系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种田间除草机器人除草路径规划系统。
背景技术
为了实现田间农作物全生命周期绿色无公害的生长，以及农业的可持续性发展。众多科研工作者将研究的重心投入到农业移动机器人的全自动除草领域。农业移动机器人的出现与使用，不仅可以代替人类完成枯燥无味和重复性的农业作业，而且可以在不同户外环境中高效持续作业，还能够提高生产效率和有效解放了人类的双手。因此，在自然生长环境条件下，农业移动机器人如何准确快速的识别与清除田间农作物的杂草目标对于实现田间智能化管理起到重要作用。
现有的除草机器人，大多是通过图像识别农作物与杂草，然后按照预设的除草路径行走实现除草，但是杂草在田间的分布往往比较随机，如果只按照预设的固定路线行走进行除草，在没有杂草的位置可能会耽搁时间，影响除草效率。
可见，需要一种田间除草机器人除草路径规划系统来根据杂草具体的实际位置规划田间除草机器人的除草行走路径，以解决现有除草机器人只能按照预设的固定路线行走进行除草，在没有杂草的位置可能会耽搁时间，除草效率低下等技术问题。
发明内容
本发明实施例的目的在于提供一种田间除草机器人除草路径规划系统，旨在解决现有除草机器人只能按照预设的固定路线行走进行除草，在没有杂草的位置可能会耽搁时间，除草效率低下的等技术问题。
本发明实施例是这样实现的，所述田间除草机器人除草路径规划系统包括深度相机和计算机设备；
所述深度相机用于采集关键帧图像，并用于获取目标的深度距离信息，所述关键帧图像为包含目标的彩色图像，所述深度距离信息为目标的二维中心坐标点与深度相机之间的距离，所述目标包括农作物和杂草；
所述计算机设备包括：目标识别单元、目标剪切单元、目标图像预处理单元、目标二维中心坐标点计算单元以及路径规划单元；
所述目标识别单元用于识别所述关键帧图像中的各目标；
所述目标剪切单元用于对所述关键帧图像中的各目标分别剪切得到目标图像；
所述目标图像预处理单元用于对所述目标图像进行预处理得到对应的目标二值化图像；
所述目标二维中心坐标点计算单元用于计算目标的二维中心坐标点信息，所述目标的二维中心坐标点信息包括杂草的中心点在所述关键帧图像中的坐标以及农作物的中心点在所述关键帧图像中的坐标；
所述路径规划单元用于根据所述目标的二维中心坐标点信息以及所述目标的深度距离信息规划除草机器人的除草路径。
本发明实施例提供的一种田间除草机器人除草路径规划系统，通过设置深度相机和计算机设备，并在计算机设备中设置目标二维中心坐标点计算单元以及路径规划单元，可以计算杂草和农作物的中心点在关键帧图像中的坐标，然后根据深度相机获取的杂草和农作物的中心点与深度相机之间的距离可以确定杂草和农作物的中心点在立体空间中的位置，从而可以以其中心点的位置作为农作物和杂草的位置，提高农作物和杂草的定位精度，进而可以提高除草的精确度。且路径规划规划单元可以根据农作物和杂草的位置规划除草机器人除草路径，避免除草机器人在没有杂草的位置耽搁时间，提高除草效率。
附图说明
图1为本发明实施例提供的一种田间除草机器人除草路径规划系统的结构框图；
图2为本发明实施例提供的一种目标二维中心坐标点计算单元计算目标二维中心坐标点的流程图；
图3为本发明实施例提供的一种获取目标的轮廓边缘图像的流程图；
图4为本发明实施例提供的一种确定所述第一指定区域的流程图；
图5为本发明实施例提供的一种确定所述第二指定区域的流程图；
图6为本发明实施例提供的一种对目标图像进行预处理得到对应的目标二值化图像的流程图；
图7为本发明一个实施例中计算机设备的内部结构框图。
图8为不同边缘检测算子提取的目标轮廓边缘图像；
图9为本发明实施例提供的目标二维中心坐标点确定方法确定目标二维中心坐标点的过程示意图。
图10为本发明实施例提供的回算目标二维中心坐标点在原始图像中的坐标信息的过程示意图。
图11为本发明实施例提供的一种田间除草机器人除草路径规划系统路径规划的示意图；
图12为本发明人工记录的农作物与杂草之间以及杂草与杂草之间的距离信息图标；
图13为本发明人工推算最短除草路径的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
图1为本发明实施例提供的一种田间除草机器人路径规划系统的结构框图，包括深度相机110以及计算机设备120。
所述深度相机用于采集关键帧图像，并用于获取目标的深度距离信息，所述关键帧图像为包含目标的彩色图像，所述深度距离信息为目标的二维中心坐标点与深度相机之间的距离，所述目标包括农作物和杂草。
在本发明实施例中，深度相机110可以为Realsense D435i深度相机，本实施例对深度相机的具体型号不做限制。其中关键帧图像可以从彩色图像视频流中提取，例如可以选取定时读取的方式，如每两秒中从彩色视频流图像中提取一个当前视野图像作为关键帧图像。关键帧图像为田间农作物和杂草的RGB彩色图像，关键帧图像的大小为640×480，深度相机采集关键帧图像并将关键帧图像发送至计算机设备。
在本发明实施例中，目标的二维中心坐标点与深度相机之间的距离实际为深度相机内部的相机坐标系中的坐标原点与真实环境中的目标在相机坐标系中的中心坐标点之间的距离。可以利用目标的深度距离信息以及目标的二维中心坐标点确定目标中心点在三维立体空间中的位置。
所述计算机设备包括：目标识别单元、目标剪切单元、目标图像预处理单元、目标二维中心坐标点计算单元以及路径规划单元；
所述目标识别单元用于识别所述关键帧图像中的各目标。
在本发明实施例中，计算机设备在接收到640×480大小的关键帧图像后，先将其压缩处理为500×400大小，然后目标识别单元再对压缩处理后的关键帧图像进行处理识别其中的各目标。
在本发明实施例中，目标识别单元识别关键帧图像中的各目标指分别识别关键帧图像中的杂草和农作物，例如，目标识别单元可以利用预设的深度网络模型识别关键帧图像中的农作物和杂草，关于预设的深度网络模型的建立可以利用深度学习的方法对采集的玉米与杂草的图像数据进行深度网络模型训练得到。其中预设的深度网络模型可以为基于VGG-16特征提取网络的Faster R-CNN深度网络模型，该深度网络模型是区域建议网络(region proposal network，RPN)和Fast R-CNN模型两者的深度结合，用区域建议网络替代选择性搜索算法，可以解决计算区域建议网络时间开销大的瓶颈问题，实现实时目标检测与识别。
所述目标剪切单元用于对所述关键帧图像中的各目标分别剪切得到目标图像。
在本发明实施例中，对关键帧图像中的各目标分别剪切得到目标图像指在识别出关键帧图像中的农作物和杂草后，将关键帧图像中的农作物和杂草分别剪切得到农作物的图像和杂草的图像，便于后续分别确定其二维中心坐标点。本实施例对各目标分别剪切具体方式不做限制，例如，可以利用OpenCV中的剪切函数，根据目标识别单元输出的农作物和杂草的目标识别结果图像，再根据目标左上端点的像素点坐标(xmin，ymin)和目标右下端点的像素点坐标(xmax，ymax)对目标进行自动剪切，从而可以分别得到农作物图像和杂草图像。剪切得到的农作物图像和杂草图像可以分别存放在计算机设备中的文件夹A和文件夹B中，便于后续图像处理。
所述目标图像预处理单元用于对所述目标图像进行预处理得到对应的目标二值化图像。
在本发明实施例中，目标图像预处理单元需要分别对文件夹A的农作物图像以及文件夹B中的杂草图像进行预处理，然后分别得到农作物的二值化图像和杂草的二值化图像。其中，如图7所示，对目标图像进行预处理主要包括：
步骤S202，对所述目标图像进行放缩处理。
在本发明实施例中，对目标图像的灰度化处理以及二值化处理，在对目标图像进行灰度化处理之前还需要通过调用OS函数库中的os.listdir函数获取文件夹A和文件夹B中的农作物与杂草目标图像个数，然后记录剪切后目标图像的原始长L和宽W，再对剪切得到的目标图像进行放缩处理，将目标图像放缩至640×480像素大小。
步骤S204，对放缩处理后的目标图像进行剪切处理。
在本发明实施例中，对放缩处理后的目标图像进行剪切处理的目的是为了保留目标图像的主要信息，例如长度方向每边剪切70，宽度方向每边剪切40，剪切后得到500×400的目标图像，从而完成对目标图像灰度化处理之前的处理。
步骤S206，利用EXG超绿特征化对剪切处理后的目标图像进行灰度化处理得到目标灰度化图像。
在本发明实施例中，对灰度化处理的具体方案不做限制，例如，可以选用超绿特征化(EXG)的超参数对剪切后的目标图像进行图像灰度化处理，利用OpenCV中的cv2.split函数可以从处理过后像素大小为500×400的图像中有效分离出R、G、B三个颜色分量，并对其分别进行归一化处理生成r、g、b参数，则超绿特征化的灰度值计算公式为：grayEXG＝2g-r-b。
在本发明实施例中，可以利用OpenCV中的cv2.minMaxLoc函数可以获取灰度值gray数组中最大值maxVal和最小值minVal，并将grayEXG数组转化为GrayEXG数组用于后续图像最佳分割阈值的选取，GrayEXG的计算公式为：
Figure BDA0002747253340000071
步骤S208，利用改进的OTSU算法对目标灰度化图像进行处理得到目标二值化图像。
在本发明实施例中，对目标图像的灰度化处理之后，可以利用OTSU算法求得最佳分割阈值后，再进行目标区域图像的二值化分割，这样可以实现前景图像(目标区域)与后景图像的类间方差最大，优选地，可以利用改进的OTSU算法对目标灰度化图像进行处理，具体处理步骤包括：
步骤S302，对参数定义并初始化：
Figure BDA0002747253340000072
Figure BDA0002747253340000073
其中，ω1表示前景目标的像素点数量占整幅图像所有像素点总数的比例，ω2表示后景图像的像素点数量占整幅图像所有像素点总数的比例，N1表示图像中像素灰度值小于前景和后景分割阈值的像素点个数，N2表示图像中像素灰度值大于前景和后景分割阈值的像素点个数，M×N表示整幅图像所有像素点总数，且N1+N2＝M×N，ω1+ω2＝1；
步骤S304，分别计算前景目标像素点的平均灰度和后景图像像素点的平均灰度：
Figure BDA0002747253340000081
Figure BDA0002747253340000082
其中，μ1为前景目标像素点的平均灰度；μ2为后景图像像素点的平均灰度；且预设输入的灰度化处理后的目标图像所有像素点的平均灰度为μ，μ＝ω1×μ1+ω2×μ2；
步骤S306，将最大类间方差公式G表示为G＝ω1(μ1-μ)2+ω2(μ2-μ)2，通过将μ带入公式G，则可以得到其等价公式G＝ω1×ω2(μ1-μ2)2；
步骤S308，获取目标灰度化图像压缩后的灰度级区间；
在本发明实施例中，通过对目标灰度化图像的灰度级区间进行压缩，在对灰度化图像的灰度级区间进行遍历时可以减少遍历时间，提高运算效率。获取目标灰度化图像压缩后的灰度级区间可以首先获取平均灰度μ，然后再获取目标灰度化图像的灰度区间中的最小灰度值gmin和最大灰度值gmax，最后在灰度区间[gmin，gmax]中，以平均灰度级μ左右两侧的黄金分割点作为压缩后的灰度级区间[0.382μ+0.618gmin，0.382μ+0.618gmax]，其中，灰度化图像的灰度区间中的最大灰度值和最小灰度值可以对目标图像进行灰度化处理时获得。
步骤S310，利用G＝ω1×ω2(μ1-μ2)2遍历所述压缩后的灰度级区间，确定类间方差最大的前景目标和后景图像的分割阈值T；
步骤S312，根据分割阈值T，利用公式
Figure BDA0002747253340000091
对目标灰度化图像分割确定目标二值化图像。其中，m表示灰度值区间内的最大值，I(i,j)表示导入灰度化图像像素点(i,j)的灰度值，P(i,j)表示处理后生成的二值化图像。
在本发明实施例中，优选地，对于生成的二值化图像，可以先进行一次面积阈值过滤操作以剔除错分为前景目标的后景图像，然后再进行高斯滤波处理去除二值化图像中的噪点信息，最后再进行形态学运算平滑二值化图像，得到优化后的二值化图像。
所述目标二维中心坐标点计算单元用于计算目标的二维中心坐标点信息，所述目标的二维中心坐标点信息包括杂草的中心点在所述关键帧图像中的坐标以及农作物的中心点在所述关键帧图像中的坐标。
在本发明实施例中，对计算目标的二维中心坐标点信息的具体方法不做限制，例如，如图2所示，计算目标的二维中心坐标点信息可以包括以下步骤：
步骤S402，获取关键帧图像中的目标的轮廓边缘图像。
在本发明实施例中，目标二维中心坐标点计算单元可以从其他外界设备上直接获取目标的轮廓边缘图像，也可以是计算机设备120中预存有目标的轮廓边缘图像，或者是计算机设备120通过对RGB彩色图像进行处理得到目标的轮廓边缘图像。
在本发明实施例中，可以利用边缘检测算法对农作物和杂草的轮廓提取，从而可以获取目标的轮廓边缘图像。其中边缘检测算法可以使用二阶边缘检测算子Canny算子和Laplacian算子或者一阶边缘检测算子：Sobel算子、Roberts算子和Prewitt算子等，但不限于此。不同边缘检测算子对应的目标轮廓边缘图像如图8所示，优选地，利用Canny算子的边缘检测算法提取的目标轮廓边缘图像最为清晰。
如图3所示，在本发明一个实施例中，以利用基于Canny算子的边缘检测算法对玉米和杂草的轮廓提取为例说明，利用基于Canny算子的边缘检测算法对玉米和杂草的轮廓提取可以包括如下步骤：
步骤S502，利用经典的二阶边缘检测Canny算子对目标的二值化图像进行边缘检测；
步骤S504，利用Open CV中的cv.findContours库函数记录边缘检测后的所述目标的轮廓边缘坐标；
步骤S506，将所述目标的轮廓边缘坐标的RGB赋值为(255,255,255)。
本发明实施例优选利用经典的二阶边缘检测Canny算子对目标的二值化图像进行边缘检测，相比于其他的边缘检测算法能够得到更加完整有效的图像轮廓边缘信息，为目标二维中心坐标点的精准选取提供了保障。
步骤S404，对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多。
在本发明实施例中，第一预设条件为像素点的R、G、B数值大于预设值，例如可以设置像素点的R、G、B数值均大于250。在第一遍历过程中通过计算每个搜索框内R、G、B数值均大于250的像素点的数量，找到R、G、B数值大于250的像素点的数量最多的第一遍历搜索框，该第一遍历搜索框对应的区域即为第一指定区域，从而确定目标轮廓边缘图像中R、G、B数值大于250的像素点最密集的区域。对于农作物或者杂草，其中心位置一般应该为主干茎位置，而农作物或者杂草的枝叶一般都是从主干茎顶部向外延伸生长，根据农作物或杂草的轮廓边缘图像也可以看出其R、G、B数值大于250的像素点越密集的区域越接近目标的中心位置，确定第一指定区域相当于初步确定了目标中心位置的区域。
如图4所示，在本发明一个实施例中，步骤S404可以包括如下步骤：
步骤S602，计算所述第一遍历中行向第一遍历搜索框的数量
Figure BDA0002747253340000111
和列向第一遍历搜索框的数量
Figure BDA0002747253340000112
在本发明实施例中，第一遍历可以为优先行向遍历或优先列向遍历，本实施例以按照优先行向前进的方式遍历为例说明，预先定义第一遍历的行向步长、列向步长以及第一遍历搜索框的大小等遍历参数，本实施例对第一遍历的遍历参数不做限制，例如，可以预先设定第一遍历的行向步长为5像素大小，列向步长为5像素大小，第一遍历搜索框的大小为100×100像素。例如，剪切的目标轮廓边缘图像的大小为500×400像素，则第一遍历中行向第一遍历搜索框的数量为81个，列向第一遍历搜索框的数量为61个。通过计算第一遍历中行向第一遍历搜索框的数量
Figure BDA0002747253340000113
和列向第一遍历搜索框的数量
Figure BDA0002747253340000114
便于确定第一指定区域对应的第一遍历搜索框的位置。在第一遍历中可以将在第一遍历中每一步的第一遍历搜索框看成在目标轮廓边缘图像中呈81×61的阵列排列，通过确定第一指定区域对应的第一遍历搜索框所在的行和列的位置从而可以确定其在目标轮廓边缘图像中的位置。
步骤S604，利用所述第一遍历搜索框对所述轮廓边缘图像按照优先行向前进的方式遍历，并依次存储所述第一遍历搜索框中符合所述第一预设条件的像素点的数量。
在本发明实施例，第一预设条件为像素点的R、G、B值大于250，通过遍历计算每一个第一遍历搜索框中的符合第一预设条件的像素点的数量并存储，从而可以通过对比找到符合第一预设条件的像素点的数量最多的第一遍历搜索框。
步骤S606，确定所述第一指定区域对应的所述第一遍历搜索框的位置序号
Figure BDA0002747253340000121
位置序号
Figure BDA0002747253340000122
是从数字1开始计数的正整数，所述第一指定区域对应的所述第一遍历搜索框为：包括符合所述第一预设条件的像素点的数量最多的第一遍历搜索框。
在本发明实施例中，第一遍历搜索框的位置序号指在第一遍历中按照优先行向的计数规则，该第一遍历搜索框是第
Figure BDA0002747253340000123
个，
Figure BDA0002747253340000124
即为该第一遍历搜索框的位置序号。例如，在第一遍历中，第100个第一遍历搜索框对应的位置序号即为100。
步骤S608，根据
Figure BDA0002747253340000125
以及
Figure BDA0002747253340000126
计算所述第一指定区域对应的所述第一遍历搜索框在所述轮廓边缘图像中的位置信息
Figure BDA0002747253340000127
Figure BDA0002747253340000128
和
Figure BDA0002747253340000129
均是从数字0开始计数的自然数，用于表示所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息：
Figure BDA00027472533400001210
在本发明实施例中，第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置信息指第一指定区域对应的第一遍历搜索框在81×61的阵列中位于第
Figure BDA00027472533400001211
行，第
Figure BDA00027472533400001212
列，其中，
Figure BDA00027472533400001213
和
Figure BDA00027472533400001214
均是从数字0开始计数的自然数。例如，第一指定区域对应的第一遍历搜索框的位置序号为100，则，
Figure BDA00027472533400001215
为1，
Figure BDA00027472533400001216
为18，从而可以确定第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置为第1行第18列。
步骤S610，根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列位置信息确定所述第一指定区域。
在本发明实施例中，已知第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置，从而可以确定第一指定区域，具体地：可以根据第一指定区域对应的第一遍历搜索框在轮廓边缘图像中的位置确定该第一遍历搜索框的左上端点和右下端点的二维坐标信息，从而可以根据该第一遍历搜索框对角点的位置确定第一遍历搜索框对应的第一指定区域。第一指定区域对应的第一遍历搜索框左上端点和右下端点的二维坐标信息可以表示为：
Figure BDA0002747253340000131
Figure BDA0002747253340000132
其中，
Figure BDA0002747253340000133
为所述第一指定区域对应的所述第一遍历搜索框左上端点的二维坐标，
Figure BDA0002747253340000134
为所述第一指定区域对应的所述第一遍历搜索框右下端点的二维坐标，l1为所述第一遍历的行向步长，w1为所述第一遍历的列向步长，L1为所述第一遍历搜索框的行向尺寸大小，W1为所述第一遍历搜索框的列向尺寸大小。
步骤S406，对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多。
在本发明实施例中，第二预设条件为在第一指定区域内的像素点的R、G、B数值大于预设值，例如，第二预设条件可以为像素点的R、G、B数值均大于250。在第二遍历过程中通过计算每个第二遍历搜索框内R、G、B数值均大于250的像素点的数量，找到R、G、B数值大于250的像素点的数量最多的第二遍历搜索框，该第二遍历搜索框对应的区域即为第二指定区域，从而确定第一指定区域内R、G、B数值大于250的像素点最密集的区域，从而在第一指定区域的基础上进一步缩小了目标中心位置的区域，进一步提高了目标中心位置的定位。
如图5所示，在本发明一个实施例中，步骤S406可以包括如下步骤：
步骤S702，计算所述第二遍历中行向第二遍历搜索框的数量
Figure BDA0002747253340000141
和列向第二遍历搜索框的数量
Figure BDA0002747253340000142
在本发明实施例中，第二遍历可以为优先行向遍历或优先列向遍历，本实施例以按照优先行向前进的方式遍历为例说明，预先定义第二遍历的行向步长、列向步长以及第二遍历搜索框的大小等遍历参数，本实施例对第二遍历的遍历参数不做限制，例如，可以预先设定第二遍历的行向步长为2像素大小，列向步长为2像素大小，遍历搜索框的大小为10×10像素。由于第一指定区域为其所对应的第一遍历搜索框对应区域，所以第一指定区域的大小为100×100像素，则在第二遍历中行向第二遍历搜索框的数量为46，列向第二遍历搜索框的数量也为46，通过计算第二遍历中行向第二遍历搜索框的数量
Figure BDA0002747253340000143
和列向第二遍历搜索框的数量
Figure BDA0002747253340000144
便于确定第二指定区域对应的第二遍历搜索框的位置。
步骤S704，利用所述第二遍历搜索框对所述第一指定区域按照优先行向前进的方式遍历，并依次存储所述第二遍历搜索框中符合所述第二预设条件的像素点的数量。
在本发明实施例中，第二预设条件为像素点的R、G、B值大于250，通过第二遍历计算每一个第二遍历搜索框中的符合第二预设条件的像素点的数量并存储，从而可以通过对比找到符合第二预设条件的像素点的数量最多的第二遍历搜索框。可以将第一遍历中计算的每一个第一遍历搜索框中的符合第一预设条件的像素点的数量和第二遍历中计算的每一个第二遍历搜索框中的符合第二预设条件的像素点的数量存储在不同的数据库中。
步骤S706，确定所述第二指定区域对应的所述第二遍历搜索框的位置序号
Figure BDA0002747253340000151
位置序号
Figure BDA0002747253340000152
是从数字1开始计数的正整数，所述第二指定区域对应的所述第二遍历搜索框为：包括符合所述第二预设条件的像素点的数量最多的第二遍历搜索框。
在本发明实施例中，第二遍历搜索框的位置序号指在第二遍历中按照优先行向的计数规则，该第二遍历搜索框是第
Figure BDA0002747253340000153
个，
Figure BDA0002747253340000154
即为该第二遍历搜索框的位置序号，例如，在第二遍历中，第50个第二遍历搜索框对应的位置序号即为50。
步骤S708，根据
Figure BDA0002747253340000155
以及
Figure BDA0002747253340000156
计算所述第二指定区域对应的所述第二遍历搜索框在所述第一指定区域中的位置信息
Figure BDA0002747253340000157
Figure BDA0002747253340000158
和
Figure BDA0002747253340000159
均是从数字0开始计数的自然数，用于表示所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息：
Figure BDA00027472533400001510
在本发明实施例中，第二指定区域对应的第二遍历搜索框在第一指定区域中的位置信息指第二指定区域对应的第二遍历搜索框在46×46的阵列中位于第
Figure BDA00027472533400001511
行，第
Figure BDA00027472533400001512
列，其中，
Figure BDA00027472533400001513
和
Figure BDA00027472533400001514
均是从数字0开始计数的自然数。例如，第二指定区域对应的第二遍历搜索框的位置序号为50，则，
Figure BDA00027472533400001515
为1，
Figure BDA00027472533400001516
为3，从而可以确定第一指定区域对应的第二遍历搜索框在第二指定区域中的位置为第1行第3列。
步骤S710，根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域。
在本发明实施例中，已知第二指定区域对应的第二遍历搜索框在第一指定区域中的位置，从而可以确定第二指定区域。具体地，可以根据第二指定区域对应的第二遍历搜索框在轮廓边缘图像中位置确定该第二遍历搜索框的左上端点和右下端点的二维坐标信息，从而可以根据第二遍历搜索框对角点的位置确定第二遍历搜索框对应的第二指定区域，第二指定区域对应的第二遍历搜索框左上端点和右下端点的二维坐标信息可以表示为：
Figure BDA0002747253340000161
Figure BDA0002747253340000162
其中，
Figure BDA0002747253340000163
为所述第二指定区域对应的所述第二遍历搜索框左上端点的二维坐标，
Figure BDA0002747253340000164
为所述第二指定区域对应的所述第二遍历搜索框右下端点的二维坐标，l2为所述第二遍历的行向步长，w2为所述第二遍历的列向步长，L2为所述第二遍历搜索框的行向尺寸大小，W2为所述第二遍历搜索框的列向尺寸大小。
步骤S408，在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述关键帧图像中的坐标。
在本发明实施例中，通过对第一指定区域进行第二遍历，在第一指定区域内找到符合第二预设条件最多的像素点的第二指定区域，相当于将目标二维中心坐标点的区域缩至第二指定区域内，从而可以从第二指定区域内随机选取一个符合第二预设条件的像素点作为目标二维中心坐标点。优选地，可以在第二指定区域内靠近中心位置处选取符合第二预设条件的像素点作为目标二维中心坐标点，进一步提高目标二维中心坐标点确定位置的准确度。
在本发明实施例中，在第一遍历和第二遍历中，不仅计算每一个遍历搜索框内符合第一、第二预设条件的像素点的数量，还可以获取每一个符合第一、第二预设条件的像素点的坐标，例如在第二指定区域内选取的作为目标二维中心坐标点的像素点的坐标为(fi,fj)，则该像素点在关键帧图像中对应的二维坐标信息(fx,fy)为：
Figure BDA0002747253340000171
其中，L为关键帧图像中目标识别框的长度尺寸，W为关键帧图像中目标识别框的宽度尺寸(也可以理解为从关键帧图像中剪切出的目标图像的尺寸)，70为对放缩处理后的图像进行剪切时长度方向单边剪切掉的尺寸大小，40为对放缩处理后的图像进行剪切时宽度方向单边剪切掉的尺寸大小，640×480为深度相机采集的关键帧图像的像素大小，500×400为对关键帧图像进行压缩处理后的像素大小，(xmin,ymin)为目标识别框在关键帧图像中左上端点的二维坐标，从而可以确定目标二维中心坐标点的坐标。
在本发明实施例中，图9为确定目标二维中心坐标点的过程示意图，为了便于理解回算目标二维中心坐标点在关键帧图像中的坐标，如图10所示，图10(a)显示了数据预处理部分的准备过程，同时在图像上标注了对应关键信息。其中，图10(a)中的下方图像为对关键帧图像进行压缩后的玉米与杂草目标识别结果图像，图10(a)中的上方图像为从目标识别结果图像中剪切玉米目标并的处理后结果图像。图10(b)介绍了该二次遍历算法的核心步骤流程以及标注了对应位置信息。图10(b)下方图像为遍历搜索框大小为100×100的局部区域放大图像，像素点坐标(fi,fj)位于x1-y1坐标系下，遍历搜索框(10×10)左上端
Figure BDA0002747253340000172
和右下端
Figure BDA0002747253340000173
二维坐标位于x2-y2坐标系下。图10(b)上方图像为保留有主要信息区域的玉米目标轮廓边缘图像，遍历搜索框(100×100)左上端
Figure BDA0002747253340000181
和右下端
Figure BDA0002747253340000182
二维坐标位于x3-y3坐标系下。图10(c)为利用公式
Figure BDA0002747253340000183
将像素点坐标(fi,fj)回算为关键帧图像(也可以理解为关键帧图像)上对应的二维坐标信息(fx,fy)的显示结果，二维坐标信息(fx,fy)位于x4-y4坐标系下。
所述路径规划单元用于根据所述目标的二维中心坐标点信息以及所述目标的深度距离信息规划除草机器人的除草路径。
在本发明实施例中，根据的二维中心坐标点信息以及目标的深度距离信息可以确定目标在三维立体空间中的位置，从而可以获知三维立体空间中田间中农作物和杂草的位置。例如，计算目标在田间三维立体空间中的坐标点信息可以通过下面公式计算：
Figure BDA0002747253340000184
其中，(fx,fy)为像素坐标系下目标的二维中心坐标点在所述原始图像中的坐标信息，camera_cx、camera_cy、camera_fx、camera_fy为获取的所述深度相机Realsense D435i的内参，可以通过深度相机标定完成相机内参的获取工作，(camera_cx,camera_cy)表示成像坐标系下的主点坐标，用于实现像素坐标系与成像坐标系间的转换，camera_fx和camera_fy表示深度相机的焦距，用于实现成像坐标系与相机坐标系间的转换，depth_scale为深度像素与现实单位比例，d为在深度相机Realsense D435i存储在彩色图像所对齐的深度图像中目标的二维中心坐标点(fx,fy)所对应的深度信息，(X,Y,Z)为通过坐标系转换生成位于相机坐标系下相对应的三维坐标点信息。从而可以确定田间农作物和杂草的位置分布，然后根据深度相机Realsense D435i对应视野内的农作物目标与杂草目标之间的距离以及杂草目标与杂草目标之间的距离，结合最短路径规划算法Dijkstra可以计算最短除草路径，本发明实施例对最短路径规划的具体算法不做限制。
本发明实施例提供的一种田间除草机器人除草路径规划系统，通过设置深度相机和计算机设备，并在计算机设备中设置目标二维中心坐标点计算单元以及路径规划单元，可以计算杂草和农作物的中心点在关键帧图像中的坐标，然后根据深度相机获取的杂草和农作物的中心点与深度相机之间的距离可以确定杂草和农作物的中心点在立体空间中的位置，从而可以以其中心点的位置作为农作物和杂草的位置，提高农作物和杂草的定位精度，进而可以提高除草的精确度。且路径规划规划单元可以根据农作物和杂草的位置规划除草机器人除草路径，避免除草机器人在没有草的位置耽搁时间，提高除草效率。
图7示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的计算机设备120。如图7所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
此外，图11展示了上述田间除草机器人除草路径规划系统对多个杂草目标测距的结果以及最短路径规划的结果。根据图11中的(d)图可以看出最短路径为(C1→W2→W4→W5→W3→W6→W1)。为了对上述结果进行验证，图12为利用人工测量的方式进行距离数据统计信息的结果，记录了农作物与杂草之间以及杂草与杂草之间的距离信息，图13为根据人工记录的距离数据统计信息结合最短路径规划算法Dijkstra的思想，进行人工推算对应的最短除草路径，从图13中可以看出除草的最短路径为(C1→W2→W4→W5→W3→W6→W1)，与上述田间除草机器人除草路径规划系统得出的最短路径规划结果一致。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种田间除草机器人除草路径规划系统，其特征在于，所述田间除草机器人除草路径规划系统包括深度相机和计算机设备；
所述深度相机用于采集关键帧图像，并用于获取目标的深度距离信息，所述关键帧图像为包含目标的彩色图像，所述深度距离信息为目标的二维中心坐标点与深度相机之间的距离，所述目标包括农作物和杂草；
所述计算机设备包括：目标识别单元、目标剪切单元、目标图像预处理单元、目标二维中心坐标点计算单元以及路径规划单元；
所述目标识别单元用于识别所述关键帧图像中的各目标；
所述目标剪切单元用于对所述关键帧图像中的各目标分别剪切得到目标图像；
所述目标图像预处理单元用于对所述目标图像进行预处理得到对应的目标二值化图像；
所述目标二维中心坐标点计算单元用于计算目标的二维中心坐标点信息，所述目标的二维中心坐标点信息包括杂草的中心点在所述关键帧图像中的坐标以及农作物的中心点在所述关键帧图像中的坐标；
所述路径规划单元用于根据所述目标的二维中心坐标点信息以及所述目标的深度距离信息规划除草机器人的除草路径。
2.根据权利要求1所述的一种田间除草机器人除草路径规划系统，其特征在于，计算目标的二维中心坐标点，包括：
利用边缘检测算法对所述目标二值化图像进行处理获得目标的轮廓边缘图像；
对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，所述第一指定区域满足：该区域内符合第一预设条件的像素点的数量最多；
对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，所述第二指定区域满足：该区域内符合第二预设条件的像素点的数量最多；
在所述第二指定区域内选取符合所述第二预设条件的像素点作为目标二维中心坐标点，并回算目标二维中心坐标点在所述关键帧图像中的坐标。
3.根据权利要求2所述的一种田间除草机器人除草路径规划系统，其特征在于，对所述轮廓边缘图像进行第一遍历，并确定所述轮廓边缘图像中的第一指定区域，包括：
计算所述第一遍历中行向第一遍历搜索框的数量
Figure FDA0002747253330000021
和列向第一遍历搜索框的数量
Figure FDA0002747253330000022
利用所述第一遍历搜索框对所述轮廓边缘图像按照优先行向前进的方式遍历，并依次存储所述第一遍历搜索框中符合所述第一预设条件的像素点的数量；
确定所述第一指定区域对应的所述第一遍历搜索框的位置序号
Figure FDA0002747253330000023
位置序号
Figure FDA0002747253330000024
是从数字1开始计数的正整数，所述第一指定区域对应的所述第一遍历搜索框为：包括符合所述第一预设条件的像素点的数量最多的第一遍历搜索框；
根据
Figure FDA0002747253330000025
以及
Figure FDA0002747253330000026
计算所述第一指定区域对应的所述第一遍历搜索框在所述轮廓边缘图像中的位置信息
Figure FDA0002747253330000027
Figure FDA0002747253330000028
和
Figure FDA0002747253330000029
均是从数字0开始计数的自然数，用于表示所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息：
Figure FDA00027472533300000210
根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列位置信息确定所述第一指定区域。
4.根据权利要求3所述的一种田间除草机器人除草路径规划系统，其特征在于，根据所述第一遍历搜索框在所述轮廓边缘图像中所处的行和列的位置信息确定所述第一指定区域，包括：
计算所述第一指定区域对应的所述第一遍历搜索框左上端点和右下端点的二维坐标信息：
Figure FDA0002747253330000031
Figure FDA0002747253330000032
其中，
Figure FDA0002747253330000033
为所述第一指定区域对应的所述第一遍历搜索框左上端点的二维坐标，
Figure FDA0002747253330000034
为所述第一指定区域对应的所述第一遍历搜索框右下端点的二维坐标，l1为所述第一遍历的行向步长，w1为所述第一遍历的列向步长，L1为所述第一遍历搜索框的行向尺寸大小，W1为所述第一遍历搜索框的列向尺寸大小；
根据所述第一遍历搜索框左上端点和右下端点的二维坐标信息确定所述第一指定区域。
5.根据权利要求4所述的一种田间除草机器人除草路径规划系统，其特征在于，对所述第一指定区域进行第二遍历，并确定所述第一指定区域内的第二指定区域，包括：
计算所述第二遍历中行向第二遍历搜索框的数量
Figure FDA0002747253330000035
和列向第二遍历搜索框的数量
Figure FDA0002747253330000036
利用所述第二遍历搜索框对所述第一指定区域按照优先行向前进的方式遍历，并依次存储所述第二遍历搜索框中符合所述第二预设条件的像素点的数量；
确定所述第二指定区域对应的所述第二遍历搜索框的位置序号
Figure FDA0002747253330000041
位置序号
Figure FDA0002747253330000042
是从数字1开始计数的正整数，所述第二指定区域对应的所述第二遍历搜索框为：包括符合所述第二预设条件的像素点的数量最多的第二遍历搜索框；
根据
Figure FDA0002747253330000043
以及
Figure FDA0002747253330000044
计算所述第二指定区域对应的所述第二遍历搜索框在所述第一指定区域中的位置信息
Figure FDA0002747253330000045
Figure FDA0002747253330000046
和
Figure FDA0002747253330000047
均是从数字0开始计数的自然数，用于表示所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息：
Figure FDA0002747253330000048
根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域。
6.根据权利要求5所述的一种田间除草机器人除草路径规划系统，其特征在于，根据所述第二遍历搜索框在所述第一指定区域中所处的行和列的位置信息确定所述第二指定区域，包括：
计算所述第二指定区域对应的所述第二遍历搜索框左上端点和右下端点的二维坐标信息：
Figure FDA0002747253330000049
Figure FDA00027472533300000410
其中，
Figure FDA00027472533300000411
为所述第二指定区域对应的所述第二遍历搜索框左上端点的二维坐标，
Figure FDA00027472533300000412
为所述第二指定区域对应的所述第二遍历搜索框右下端点的二维坐标，l2为所述第二遍历的行向步长，w2为所述第二遍历的列向步长，L2为所述第二遍历搜索框的行向尺寸大小，W2为所述第二遍历搜索框的列向尺寸大小；
根据所述第二遍历搜索框左上端点和右下端点的二维坐标信息确定所述第二指定区域。
7.根据权利要求1所述的一种田间除草机器人除草路径规划系统，其特征在于，所述对目标图像进行预处理得到对应的目标二值化图像包括：
对所述目标图像进行放缩处理；
对放缩处理后的目标图像进行剪切处理；
利用EXG超绿特征化对剪切处理后的目标图像进行灰度化处理得到目标灰度化图像；
利用改进的OTSU算法对目标灰度化图像进行处理得到目标二值化图像。
8.根据权利要求7所述的一种田间除草机器人除草路径规划系统，其特征在于，利用改进的OTSU算法对目标灰度化图像进行处理得到目标二值化图像，包括：
对参数定义并初始化：
Figure FDA0002747253330000051
Figure FDA0002747253330000052
其中，ω1表示前景目标的像素点数量占整幅图像所有像素点总数的比例，ω2表示后景图像的像素点数量占整幅图像所有像素点总数的比例，N1表示图像中像素灰度值小于前景和后景分割阈值的像素点个数，N2表示图像中像素灰度值大于前景和后景分割阈值的像素点个数，M×N表示整幅图像所有像素点总数，且N1+N2＝M×N，ω1+ω2＝1；
分别计算前景目标像素点的平均灰度和后景图像像素点的平均灰度：
Figure FDA0002747253330000061
Figure FDA0002747253330000062
其中，μ1为前景目标像素点的平均灰度；μ2为后景图像像素点的平均灰度；且预设输入的灰度化处理后的目标图像所有像素点的平均灰度为μ，μ＝ω1×μ1+ω2×μ2；
将最大类间方差公式G表示为G＝ω1(μ1-μ)2+ω2(μ2-μ)2，通过将μ带入公式G，则可以得到其等价公式G＝ω1×ω2(μ1-μ2)2；
获取目标灰度化图像压缩后的灰度级区间；
利用G＝ω1×ω2(μ1-μ2)2遍历所述压缩后的灰度级区间，确定类间方差最大的前景目标和后景图像的分割阈值T；
根据分割阈值T，利用公式
Figure FDA0002747253330000063
对目标灰度化图像分割确定目标二值化图像，其中，m表示灰度值区间内的最大值，I(i,j)表示导入灰度化图像像素点(i,j)的灰度值，P(i,j)表示处理后生成的二值化图像。
9.根据权利要求8所述的一种田间除草机器人除草路径规划系统，其特征在于，所述获取目标灰度化图像压缩后的灰度级区间，包括：
通过遍历目标灰度化图像确定目标灰度化图像的最小灰度值gmin和最大灰度值gmax；
根据平均灰度μ左右两侧的黄金分割点作为压缩后的灰度级区间[0.382μ+0.618gmin，0.382μ+0.618gmax]。
10.根据权利要求1所述的一种田间除草机器人除草路径规划系统，其特征在于，
利用预设的深度网络模型识别所述关键帧图像中的目标，所述预设的深度网络模型为基于VGG-16特征提取网络的Faster R-CNN深度网络模型。
CN202011170844.2A 2020-10-28 2020-10-28 一种田间除草机器人除草路径规划系统 Active CN112380926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011170844.2A CN112380926B (zh) 2020-10-28 2020-10-28 一种田间除草机器人除草路径规划系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011170844.2A CN112380926B (zh) 2020-10-28 2020-10-28 一种田间除草机器人除草路径规划系统

Publications (2)

Publication Number Publication Date
CN112380926A true CN112380926A (zh) 2021-02-19
CN112380926B CN112380926B (zh) 2024-02-20

Family

ID=74576132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011170844.2A Active CN112380926B (zh) 2020-10-28 2020-10-28 一种田间除草机器人除草路径规划系统

Country Status (1)

Country Link
CN (1) CN112380926B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436241A (zh) * 2021-06-25 2021-09-24 兰剑智能科技股份有限公司 一种采用深度信息的干涉校验方法及系统
CN113597874A (zh) * 2021-09-29 2021-11-05 农业农村部南京农业机械化研究所 一种除草机器人及其除草路径的规划方法、装置和介质
CN113647281A (zh) * 2021-07-22 2021-11-16 盘锦光合蟹业有限公司 一种除草方法及系统
CN113657410A (zh) * 2021-08-18 2021-11-16 深圳壹账通智能科技有限公司 基于人工智能的图像轮廓提取方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890507A (zh) * 2011-07-21 2013-01-23 鸿奇机器人股份有限公司 自走机器人、清洁机器人及其定位方法
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法
WO2020134082A1 (zh) * 2018-12-28 2020-07-02 歌尔股份有限公司 一种路径规划方法、装置和移动设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890507A (zh) * 2011-07-21 2013-01-23 鸿奇机器人股份有限公司 自走机器人、清洁机器人及其定位方法
WO2020134082A1 (zh) * 2018-12-28 2020-07-02 歌尔股份有限公司 一种路径规划方法、装置和移动设备
CN110648367A (zh) * 2019-08-15 2020-01-03 大连理工江苏研究院有限公司 一种基于多层深度与彩色视觉信息的几何体目标定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段海龙;: "码垛机器人路径规划系统设计", 自动化应用, no. 09, 30 September 2017 (2017-09-30), pages 72 - 75 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436241A (zh) * 2021-06-25 2021-09-24 兰剑智能科技股份有限公司 一种采用深度信息的干涉校验方法及系统
CN113647281A (zh) * 2021-07-22 2021-11-16 盘锦光合蟹业有限公司 一种除草方法及系统
CN113657410A (zh) * 2021-08-18 2021-11-16 深圳壹账通智能科技有限公司 基于人工智能的图像轮廓提取方法及相关设备
CN113597874A (zh) * 2021-09-29 2021-11-05 农业农村部南京农业机械化研究所 一种除草机器人及其除草路径的规划方法、装置和介质

Also Published As

Publication number Publication date
CN112380926B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN112380926A (zh) 一种田间除草机器人除草路径规划系统
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
Luo et al. A vision methodology for harvesting robot to detect cutting points on peduncles of double overlapping grape clusters in a vineyard
Zhao et al. On-tree fruit recognition using texture properties and color data
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN106570510B (zh) 一种超市商品识别方法
CN111844101B (zh) 一种多指灵巧手分拣规划方法
CN108960011B (zh) 部分遮挡的柑橘果实图像识别方法
CN108319894A (zh) 基于深度学习的水果识别方法及装置
CN107730553B (zh) 一种基于伪真值搜寻法的弱监督物体检测方法
CN104951440B (zh) 一种图像处理方法及电子设备
CN111046782B (zh) 一种用于苹果采摘机器人的果实快速识别方法
CN112258545A (zh) 一种烟叶图像在线背景处理系统及在线背景处理方法
CN112215893B (zh) 目标二维中心坐标点确定方法、装置、设备及测距系统
CN110363103B (zh) 虫害识别方法、装置、计算机设备及存储介质
CN110248113B (zh) 图像处理装置、方法及计算机可读取的记录媒介物
CN107239761B (zh) 基于骨架角点检测的果树拉枝效果评价方法
CN113065400A (zh) 基于无锚框两阶段网络检测发票印章的方法及装置
CN112435256A (zh) 基于图像的cnv活动性病灶检测方法及装置、电子设备
CN115294191B (zh) 基于电子内镜的标志物尺寸测量方法、装置、设备及介质
CN116071653A (zh) 基于自然图像的树木多级枝干结构自动提取方法
JPH1125222A (ja) 文字切り出し方法及び文字切り出し装置
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
CN108109125A (zh) 基于遥感图像的信息提取方法和装置
CN112395988A (zh) 手指静脉识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant