CN112270707A - 农作物位置的检测方法、装置、移动平台及存储介质 - Google Patents

农作物位置的检测方法、装置、移动平台及存储介质 Download PDF

Info

Publication number
CN112270707A
CN112270707A CN202011351783.XA CN202011351783A CN112270707A CN 112270707 A CN112270707 A CN 112270707A CN 202011351783 A CN202011351783 A CN 202011351783A CN 112270707 A CN112270707 A CN 112270707A
Authority
CN
China
Prior art keywords
point cloud
mobile platform
crop
cloud data
world coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011351783.XA
Other languages
English (en)
Inventor
徐健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202011351783.XA priority Critical patent/CN112270707A/zh
Publication of CN112270707A publication Critical patent/CN112270707A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种农作物位置的检测方法、装置、移动平台及存储介质，涉及移动平台技术领域。该方法包括：通过设置在移动平台上的点云传感器采集点云数据，并在点云数据中确定农作物点云数据；对农作物点云数据进行聚类，得到多个单株作物的点云数据集；根据每个单株作物的点云数据集，计算每个单株作物的质心位置；通过安装在移动平台上的定位装置采集移动平台的世界坐标，并通过移动平台的世界坐标、及点云传感器与移动平台的相对固定位置，计算每个单株作物的质心世界坐标；根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。相对于现有技术，避免了获取各农作物的位置的效率低，无法保证获取的实时性的问题。

Description

农作物位置的检测方法、装置、移动平台及存储介质
技术领域
本申请涉及移动平台技术领域，具体而言，涉及一种农作物位置的检测方法、装置、移动平台及存储介质。
背景技术
随着农业自动化技术的发展，逐渐由智能机器取代人工，可以通过智能机器获取农作物的地面图像，或是通过智能机器确定农作物所在位置，方便后续通过智能执行机器对农作物进行浇水、施肥或松土等操作。
现有技术中，识别各农作物3D位置的方法往往需要通过移动平台采集农作物的航空图像，随后对采集到的航空图像进行拼接和三维重建，从而获得各农作物的位置。
但是这样的识别方式需要花费大量的时间去获取航空图像，造成获取各农作物的位置的效率低，无法保证获取的实时性。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种农作物位置的检测方法、装置、移动平台及存储介质，以解决现有技术中获取各农作物的位置的效率低，无法保证获取的实时性的问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请一实施例提供了一种基于移动平台的农作物位置检测方法，所述方法包括：
通过设置在移动平台上的点云传感器采集点云数据，并在所述点云数据中确定农作物点云数据；
对所述农作物点云数据进行聚类，得到多个单株作物的点云数据集；
根据每个单株作物的点云数据集，计算所述每个单株作物的质心位置；
通过安装在移动平台上的定位装置采集所述移动平台的世界坐标，并通过所述移动平台的世界坐标、及所述点云传感器与所述移动平台的相对固定位置，计算所述每个单株作物的质心世界坐标；其中，所述移动平台的世界坐标为所述移动平台在世界坐标系的位置坐标，所述质心世界坐标为所述单株作物的质心位置在所述世界坐标系的位置坐标；
根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
可选地，所述通过设置在移动平台上的点云传感器采集点云数据，并在所述点云数据中确定农作物点云数据，包括：
确定采集视角的水平方向的预设位置为预设基准点，根据所述预设基准点确定感兴趣区域；
对所述感兴趣区域内的点云数据进行分割，得到地面点云数据和所述农作物点云数据。
可选地，所述感兴趣区域为宽度为预设单列作物的宽度、长度为预设视角长度的矩形区域；所述根据所述预设基准点确定感兴趣区域之后，所述方法还包括：
根据所述感兴趣区域，对所述点云数据进行过滤，得到所述感兴趣区域的点云数据。
可选地，所述根据所述感兴趣区域，对所述点云数据进行过滤，得到所述感兴趣区域的点云数据，包括：
根据所述感兴趣区域，从所述点云数据进行过滤，得到过滤数据；
对所述过滤数据进行体素降采样，得到所述感兴趣区域的点云数据。
可选地，所述根据每个单株作物的点云数据集，计算所述每个单株作物的质心位置，包括：
根据所述每个单株作物的点云数据集中点云数据的位置均值，计算所述每个单株作物的质心位置。
可选地，所述根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标，包括：
将所述移动平台在行驶方向上行驶过程中采集的每个质心世界坐标放入预设容器中；
在所述移动平台在所述行驶方向的行驶距离达到预设距离后，对所述容器中的多个质心世界坐标进行聚类，得到多类质心世界坐标；
计算每类质心世界坐标的中心位置作为世界坐标系下一个农作物的位置坐标。
可选地，所述方法还包括：
根据世界坐标系下所述多个农作物的位置坐标，创建农作物位置地图。
可选地，所述方法还包括：
根据所述农作物位置地图，执行预设作物操作。
可选地，所述预设作为操作包括至少一类操作：浇水、施肥、松土。
第二方面，本申请另一实施例提供了一种基于移动平台的农作物位置检测装置，所述装置包括：确定模块、聚类模块和计算模块，其中：
所述确定模块，用于通过设置在移动平台上的点云传感器采集点云数据，并在所述点云数据中确定农作物点云数据；
所述聚类模块，用于对所述农作物点云数据进行聚类，得到多个单株作物的点云数据集；
所述计算模块，用于根据每个单株作物的点云数据集，计算所述每个单株作物的质心位置；通过安装在移动平台上的定位装置采集所述移动平台的世界坐标，并通过所述移动平台的世界坐标、及所述点云传感器与所述移动平台的相对固定位置，计算所述每个单株作物的质心世界坐标；其中，所述移动平台的世界坐标为所述移动平台在世界坐标系的位置坐标，所述质心世界坐标为所述单株作物的质心位置在所述世界坐标系的位置坐标；
所述确定模块，具体用于根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
可选地，所述装置还包括：分割模块，其中：
所述确定模块，具体用于确定所述采集视角的水平方向的预设位置为预设基准点，根据所述预设基准点确定感兴趣区域；
所述分割模块，用于对所述感兴趣区域内的点云数据进行分割，得到地面点云数据和所述农作物点云数据。
可选地，所述装置还包括：过滤模块，其中：
所述过滤模块，用于根据所述感兴趣区域，对所述点云数据进行过滤，得到所述感兴趣区域的点云数据。
可选地，所述过滤模块，具体用于根据所述感兴趣区域，从所述点云数据进行过滤，得到过滤数据；对所述过滤数据进行体素降采样，得到所述感兴趣区域的点云数据。
可选地，所述计算模块，具体用于根据所述每个单株作物的点云数据集中点云数据的位置均值，计算所述每个单株作物的质心位置。
可选地，所述聚类模块，具体用于将所述移动平台在行驶方向上行驶过程中采集的每个质心世界坐标放入预设容器中；在所述移动平台在所述行驶方向的行驶距离达到预设距离后，对所述容器中的多个质心世界坐标进行聚类，得到多类质心世界坐标；
所述计算模块，具体用于计算每类质心世界坐标的中心位置作为世界坐标系下一个农作物的位置坐标。
可选地，所述装置还包括：创建模块，用于根据世界坐标系下所述多个农作物的位置坐标，创建农作物位置地图。
可选地，所述装置还包括：执行模块，用于根据所述农作物位置地图，执行预设作物操作。
第三方面，本申请另一实施例提供了一种移动平台，所述移动平台上装载有点云传感器、定位装置，和控制器；所述点云传感器的采集视角朝向地面；
所述控制器分别与所述点云传感器和所述定位装置通信连接；其中，所述控制器包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述移动平台运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述方法的步骤。
第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。
本申请的有益效果是：采用本申请提供的基于移动平台的农作物位置检测方法，通过设置在移动平台上的点云传感器采集点云数据，并在点云数据中过确定农作物点云数据，并对农作物点云数据进行聚类，得到多个单株作物的点云数据集，根据各单株作物的点云数据集，计算各单株作物的质心位置，随后通过安装在移动平台上的定位装置采集移动平台的世界坐标，并通过移动平台的世界坐标和点云传感器与移动平台的相对固定位置，确定每个单株作物的质心世界坐标，这种基于移动平台的农作物位置检测方式可以在移动平台的行进过程中，直接由移动平台内计算各单株作物的质心世界坐标，从而实现了获取的实时性，提高了获取效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例提供的基于移动平台的农作物位置检测方法的流程示意图；
图2为本申请一实施例提供的移动平台的结构示意图；
图3为本申请一实施例提供的移动平台作业时的示意图；
图4为本申请另一实施例提供的基于移动平台的农作物位置检测方法的流程示意图；
图5为本申请另一实施例提供的基于移动平台的农作物位置检测方法的流程示意图；
图6为本申请另一实施例提供的基于移动平台的农作物位置检测方法的流程示意图；
图7为本申请另一实施例提供的基于移动平台的农作物位置检测方法的流程示意图；
图8为本申请一实施例提供的基于移动平台的农作物位置检测装置的结构示意图；
图9为本申请另一实施例提供的基于移动平台的农作物位置检测装置的结构示意图；
图10为本申请另一实施例提供的移动平台的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
为方便对本申请的理解，下述对本申请涉及的一些名词进行解释：
稠密点云：由深度相机、固态激光雷达或者其它3D传感器获取的点云数据，并且此点云数据分布比较密集，在一定空间内包含大量的点云。
3D位置:物体在三维坐标系中的坐标，包含物体的x、y和z坐标。
机体坐标系：固联在移动平台上的坐标系，处于移动平台的几何中心位置，随车一起移动。
世界坐标系：固联在地球随地球一起转动的坐标系，不同的国家有不同的标准，本申请的下述实施例中涉及的世界坐标均为由实时动态(Real-time kinematic，RTK)载波相位差分技术获取的。
感兴趣区域(region of interest，ROI)：机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为ROI。
如下结合多个具体的应用示例，对本申请实施例所提供的一种基于移动平台的农作物位置检测方法进行解释说明。图1为本申请一实施例提供的一种基于移动平台的农作物位置检测方法的流程示意图，图1所示，该方法包括：
S101：通过设置在移动平台上的点云传感器采集点云数据，并在点云数据中确定农作物点云数据。
图2为本申请一实施例提供的移动平台的结构示意图，图3为本申请一实施例提供的移动平台作业时的示意图，其中，移动平台例如可以为：无人车或农机等，本申请在此不做任何限制，如图2所示，移动平台300上装载有点云传感器301、定位装置302，和控制器303；点云传感器301的采集视角可以为朝向地面，采集视角只需为可以采集到农作物即可，并不以上述实施例给出的为限。
如图3所示，农作物之间以列的方式进行排列，移动平台可以横跨在各列农作物的上方进行点云数据的采集，或作业，移动平台的行驶方向可以为沿着作物列的方向，当完成一列农作物的作业后，移动平台需要进行调头至下一列农作物，以完成下一列的农作物作业。
可选地，在本申请的一个实施例中，点云传感器可以安装在移动平台作业方向相反的一端的中心位置，从而使点云传感器在工作过程中能够大概保持在当前工作列的中心位置；保证了移动平台在更换作物列的时候，点云传感器不会扫描到其他列的作物，避免了点云传感器扫描到其他列的作物，造成后续处理速度下降的问题。
示例地，点云传感器为稠密点云传感器，例如可以为固态激光雷达或深度相机等，具体点云传感器的类型可以根据用户需要灵活调整，并不以上述实施例给出的为限。
S102：对农作物点云数据进行聚类，得到多个单株作物的点云数据集。
示例地，在一些可能的实施例中，例如可以采用欧式聚类方法，对农作物点云数据进行聚类，从而实现在农作物点云数据中，分离各单株作物，得到各单株作物的点云数据集。
S103：根据每个单株作物的点云数据集，计算每个单株作物的质心位置。
示例地，在本申请的一个实施例中，可以根据每个单株作物的点云数据集中点云数据的位置均值，计算每个单株作物的质心位置。即根据每个单株作物的点云数据集中点云数据的位置坐标pi＝[x,y,z]T，0<i<n，其中n为该单株作物的点云数据集中包括的点云数据的数量，计算点云数据集中各点云数据的位置坐标的均值为每个单株作物的质心位置
Figure BDA0002799203480000101
S104：通过安装在移动平台上的定位装置采集移动平台的世界坐标，并通过移动平台的世界坐标、及点云传感器与移动平台的相对固定位置，计算每个单株作物的质心世界坐标。
即通过定位装置获取移动平台当前在世界坐标系中的位置及姿态Pc＝[x,y,z,Φ,θ,Ψ]T，在本申请的一个实施例中，定位装置可以安装在移动平台的中心位置，此时定位装置获取的世界坐标系中的位置即为移动平台的位置及姿态，若定位装置安装在移动平台的其他位置，则定位装置在获取到当前世界坐标系中的位置及姿态坐标后，还需要将该位置坐标发送至控制器，控制器根据该位置坐标和已知定位装置与移动平台的相对位置，计算移动平台当前在世界坐标系中的位置和姿态；随后根据已知的传感器与移动平台的固定相对位置和姿态P，从而计算出
Figure BDA0002799203480000102
在世界坐标系的位置pw，其中，上述相对位置均为通过机体坐标系表示的。
其中，移动平台的世界坐标为移动平台在世界坐标系的位置坐标，质心世界坐标为单株作物的质心位置在世界坐标系的位置坐标。
S105：根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
示例地，在本申请的一个实施例中，例如可以根据移动平台在行驶方向上行驶的过程中得到的多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
采用本申请提供的基于移动平台的农作物位置检测方法，通过设置在移动平台上的点云传感器采集点云数据，并在点云数据中过确定农作物点云数据，并对农作物点云数据进行聚类，得到多个单株作物的点云数据集，根据各单株作物的点云数据集，计算各单株作物的质心位置，随后通过安装在移动平台上的定位装置采集移动平台的世界坐标，并通过移动平台的世界坐标和点云传感器与移动平台的相对固定位置，确定每个单株作物的质心世界坐标，这种基于移动平台的农作物位置检测方式可以在移动平台的行进过程中，直接由移动平台内计算各单株作物的质心世界坐标，从而实现了获取的实时性，提高了获取效率。
可选地，在上述实施例的基础上，本申请实施例还可提供一种基于移动平台的农作物位置检测方法，如下结合附图对上述方法中确定农作物点云数据的实现过程进行示例说明。图4为本申请另一实施例提供的一种基于移动平台的农作物位置检测方法的流程示意图，如图4所示，S101可包括：
S106：确定采集视角的水平方向的预设位置为预设基准点，根据预设基准点确定感兴趣区域。
可选地，在本申请的一个实施例中，从点云数据中确定感兴趣区域的点云数据之前，还要对点云数据进行梳理，例如对于深度相机需要对点云的无深度黑色部分进行补充。对于固态激光雷达，需要处理离群点云，消除初始数据的噪声。随后根据预处理后的点云数据中，确定感兴趣区域的点云数据。
示例地，在本申请的一个实施例中，预设基准点例如可以位于采集视角的水平方向的中心位置，则确定感兴趣区域的点云数据的方式例如可以为：以采集视角的水平方向的中心位置为中心，确定采集视角内的感兴趣区域，在本申请的一个实施例中，预设基准点同时位于采集视角的水平方向的中心位置，和感兴趣区域的水平方向的中心位置；感兴趣区域的宽度例如可以为预设单列作物的宽度，长度例如可以为预设视角长度的矩形区域；其中，水平方向例如可以为：垂直于移动平台的行驶方向的位置，采集视角为：点云传感器在行驶方向上的采集视角；根据感兴趣区域，对点云数据进行过滤，得到感兴趣区域的点云数据。
可选地，在本申请的一个实施例中，对点云数据的过滤包括：根据感兴趣区域，从点云数据中进行过滤，得到过滤数据；举例说明：例如可以对过滤数据进行体素降采样，得到感兴趣区域的点云数据。
其中，由于稠密点云数据较多，会严重影响降采样及后续步骤的处理速度。并且采集只需针对作业分布在行驶方向所在直线的附近农作物。所以此处根据点云传感器的采集视角和当前作业的单列植物宽度，确定长度为预设长度，宽度为当前作业的单列植物宽度的矩形区域部分作为感兴趣区域，并根据感兴趣区域对稠密点云数据进行过滤，这样过滤得到的点云数据将不包括农作物的土地过滤掉，并且过滤了多列农作物的情况，为单列植物且为被农作物覆盖的区域，随后对过滤后的点云数据进行体素降采样，进一步降低点云数据的数量。
由于本申请的实施例中，采用先通过ROI区域对稠密点云数据进行过滤后，再进行体素采样的方法，从而大幅度降低了处理时间。此时假设传感器的坐标在点云的中心位置，且坐标系为右手系，则此时ROI区域内的点云数据为p∈{q|[-y,y]∩[-x,x]}，其中，[-y,y]∩[-x,x]为ROI区域，y为ROI区域内的纵坐标，x为ROI区域内的横坐标，q为处理前的稠密点云数据的集合。
S107：对感兴趣区域内的点云数据进行分割，得到地面点云数据和农作物点云数据。
示例地，在本申请的一个实施例中，可以利用随机抽样一致算法(Random SampleConsensus，ransac)实现激光雷达的地面与非地面点云分割，将点云数据分割为地面点云数据与农作物点云数据，由于本申请旨在实时生成农作物的位置，所以不需要地面点云数据，仅获取农作物点云数据并进行后续分析即可。避免了地面点云数据对后续农作物坐标的计算产生干扰，从而保证了计算结果的准确性。
可选地，在上述实施例的基础上，本申请实施例还可提供一种基于移动平台的农作物位置检测方法，如下结合附图对上述方法中定多个农作物的位置坐标的实现过程进行示例说明。图5为本申请另一实施例提供的一种基于移动平台的农作物位置检测方法的流程示意图，如图5所示，S105可包括：
S108：将移动平台在行驶方向上行驶过程中的采集的每个质心世界坐标放入预设容器中。
其中，预设容器可以为一个预设容器，也可以每一列农作物对应一个预设容器，具体预设容器的个数和确定方式可以根据用户需要灵活调整，并不以上述实施例给出的为限制，预设容器例如可以为在控制器中预设的容器，也可以为预设存储器中的容器，具体容器的选择和设置方式可以根据用户需要灵活调整，本申请在此不做任何限制。
S109：在移动平台在行驶方向的行驶距离达到预设距离后，对容器中的多个质心世界坐标进行聚类，得到多类质心世界坐标。
示例地，在本申请的一个实施例中，预设距离例如可以为感兴趣区域的预设视角的长度，即在农作物在点云传感器的采集视角的视野范围之外时，即对容器内的多个质心世界坐标进行聚类。
S110：计算每类质心世界坐标的中心位置作为世界坐标系下一个农作物的位置坐标。
其中，由于在移动平台的行驶过程中，同一株农作物可能会被点云传感器多次捕捉到。且可能由于移动平台在行进过程中路面不平整导致车辆的振动，造成定位装置或点云传感器的采集存在误差，导致在世界坐标系下同一株农作物的位置可能出现多个不相同，但是靠近的位置。此时需要将所有pw均放入一个容器中，并且在移动平台向前行驶预设距离s米后，对容器中的所有点进行聚类，聚类算法例如可以为基于密度的噪声应用空间聚类(Density-Based Spatial Clustering of Applications with Noise，DBSCAN)，并计算每类的中心位置。此位置即为世界坐标系下的农作物位置，应当理解上述实施例仅为示例性说明，具体聚类算法的选择和预设距离的选择可以根据用户需要灵活调整，本申请在此不做任何限制。
上述将预设距离内的所有质心坐标放入容器中，并对容器中的所有点进行聚类的方式，避免了由于单次检测可能由于各种原因存在误差，从而造成的结果不准确的问题，本申请这种通过将多次检测得到的质心进行聚类，从而提高检测结果的准确性。
可选地，在上述实施例的基础上，本申请实施例还可提供一种基于移动平台的农作物位置检测方法，如下结合附图对上述方法的实现过程进行示例说明。图6为本申请另一实施例提供的一种基于移动平台的农作物位置检测方法的流程示意图，如图6所示，该方法还可包括：
S111：根据世界坐标系下多个农作物的位置坐标，创建农作物位置地图。
该农作物位置地图可以为执行机构执行对应的预设作物操作提供各农作物的位置信息。
可选地，在上述实施例的基础上，本申请实施例还可提供一种基于移动平台的农作物位置检测方法，如下结合附图对上述方法的实现过程进行示例说明。图7为本申请另一实施例提供的一种基于移动平台的农作物位置检测方法的流程示意图，如图7所示，该方法还可包括：
S112：根据农作物位置地图，执行预设作物操作。
示例地，在本申请的一个实施例中，移动平台上可以安装有与控制器通信连接的执行机构，执行机构的安装位置需要与点云传感器分离一定距离，并且执行机构需要安装在不会出现在点云传感器的视野内的位置，例如执行机构可以安装在移动平台上背离点云传感器的一端，即安装在移动平台上朝向行驶方向的一端。执行机构例如可以包括如下至少一种类型的执行机构：浇水机构、施肥机构、松土机构或补苗机构。
这样的设置方式使得移动平台在行驶过程中，通过不断重复运行以上步骤，来实时获取作物在世界坐标系上的位置信息，并可以将该位置信息提供给安装在移动平台上的执行机构，执行机构根据从移动平台的控制指令，执行对应的预设作物操作。使得执行机构可以根据移动平台实时获取的位置信息，进行实时作业，并且执行机构也可以设置在背离点云传感器的一端的中心位置，从而保证作业过程中的执行机构位于农作物的中心，从而起到提高执行效果的作用。
采用本申请提供的基于移动平台的农作物位置检测方法，能够在移动平台的行驶过程中，实时地检测农作物的3D位置。并将农作物的位置转换到世界坐标系上，构建作物的位置地图，为移动平台上的执行机构，如施肥机构，松土机构，或补苗机构提供感知和导航。该方法可以在获取到稠密点云数据后，直接通过移动平台内置的控制器对稠密点云进行处理，并根据定位装置采集的移动平台的世界坐标，及点云传感器与移动平台的相对固定位置，计算每个单株作物的质心世界坐标，使得可以在移动平台的形式过程中实时获取作物在世界坐标系上的坐标，提高了位置获取的实时性。
下述结合附图对本申请所提供的基于移动平台的农作物位置检测装置进行解释说明，该基于移动平台的农作物位置检测装置可执行上述图1-图6任一基于移动平台的农作物位置检测方法，其具体实现以及有益效果参照上述，如下不再赘述。
图8为本申请一实施例提供的基于移动平台的农作物位置检测装置的结构示意图，如图8所示，该装置包括：确定模块201、聚类模块202和计算模块203，其中：
确定模块201，用于通过设置在移动平台上的点云传感器采集点云数据，并在点云数据中确定农作物点云数据。
聚类模块202，用于对农作物点云数据进行聚类，得到多个单株作物的点云数据集。
计算模块203，用于计算模块，用于根据每个单株作物的点云数据集，计算每个单株作物的质心位置；通过安装在移动平台上的定位装置采集移动平台的世界坐标，并通过移动平台的世界坐标、及点云传感器与移动平台的相对固定位置，计算每个单株作物的质心世界坐标；其中，移动平台的世界坐标为移动平台在世界坐标系的位置坐标，质心世界坐标为单株作物的质心位置在世界坐标系的位置坐标。
确定模块201，具体用于根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
图9为本申请另一实施例提供的基于移动平台的农作物位置检测装置的结构示意图，如图9所示，该装置还包括：分割模块204，其中：
确定模块201，具体用于确定采集视角的水平方向的预设位置为预设基准点，根据预设基准点确定感兴趣区域。
分割模块204，用于对感兴趣区域内的点云数据进行分割，得到地面点云数据和农作物点云数据。
如图8所示，该装置还包括：过滤模块205，其中：
过滤模块205，用于根据感兴趣区域，对点云数据进行过滤，得到感兴趣区域的点云数据。
可选地，过滤模块205，具体用于根据感兴趣区域，从点云数据进行过滤，得到过滤数据；对过滤数据进行体素降采样，得到感兴趣区域的点云数据。
可选地，计算模块203，具体用于根据每个单株作物的点云数据集中点云数据的位置均值，计算每个单株作物的质心位置。
可选地，聚类模块202，具体用于将移动平台在行驶方向上行驶过程中采集的每个质心世界坐标放入预设容器中；在移动平台在行驶方向的行驶距离达到预设距离后，对容器中的多个质心世界坐标进行聚类，得到多类质心世界坐标。
计算模块203，具体用于计算每类质心世界坐标的中心位置作为世界坐标系下一个农作物的位置坐标。
如图9所示，该装置还包括：创建模块206，用于根据世界坐标系下多个农作物的位置坐标，创建农作物位置地图。
如图9所示，该装置还包括：控制模块207，用于根据农作物位置地图，执行预设作物操作。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图10为本申请一实施例提供的移动平台的结构示意图，移动平台300上装载有点云传感器301、定位装置302，和控制器303；点云传感器301的采集视角朝向地面。
控制器303分别与点云传感器301和定位装置302通信连接；其中，控制器包括：处理器401、存储介质402和总线403，存储介质402存储有处理器401可执行的机器可读指令，当移动平台300运行时，处理器401与存储介质402之间通过总线通信，处理器401执行机器可读指令，以执行如上述图1-图7对应的方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法对应的实施例。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (13)

1.一种基于移动平台的农作物位置检测方法，其特征在于，所述方法包括：
通过设置在移动平台上的点云传感器采集点云数据，并在所述点云数据中确定农作物点云数据；
对所述农作物点云数据进行聚类，得到多个单株作物的点云数据集；
根据每个单株作物的点云数据集，计算所述每个单株作物的质心位置；
通过安装在移动平台上的定位装置采集所述移动平台的世界坐标，并通过所述移动平台的世界坐标、及所述点云传感器与所述移动平台的相对固定位置，计算所述每个单株作物的质心世界坐标；其中，所述移动平台的世界坐标为所述移动平台在世界坐标系的位置坐标，所述质心世界坐标为所述单株作物的质心位置在所述世界坐标系的位置坐标；
根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
2.如权利要求1所述的检测方法，其特征在于，所述通过设置在移动平台上的点云传感器采集点云数据，并在所述点云数据中确定农作物点云数据，包括：
确定采集视角的水平方向的预设位置为预设基准点，根据所述预设基准点确定感兴趣区域；
对所述感兴趣区域内的点云数据进行分割，得到地面点云数据和所述农作物点云数据。
3.如权利要求2所述的检测方法，其特征在于，所述感兴趣区域为宽度为预设单列作物的宽度、长度为预设视角长度的矩形区域；所述根据所述预设基准点确定感兴趣区域之后，所述方法还包括：
根据所述感兴趣区域，对所述点云数据进行过滤，得到所述感兴趣区域的点云数据。
4.如权利要求3所述的检测方法，其特征在于，所述根据所述感兴趣区域，对所述点云数据进行过滤，得到所述感兴趣区域的点云数据，包括：
根据所述感兴趣区域，从所述点云数据进行过滤，得到过滤数据；
对所述过滤数据进行体素降采样，得到所述感兴趣区域的点云数据。
5.如权利要求1或4所述的方法，其特征在于，所述根据每个单株作物的点云数据集，计算所述每个单株作物的质心位置，包括：
根据所述每个单株作物的点云数据集中点云数据的位置均值，计算所述每个单株作物的质心位置。
6.如权利要求1所述的方法，其特征在于，所述根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标，包括：
将所述移动平台在行驶方向上行驶过程中采集的每个质心世界坐标放入预设容器中；
在所述移动平台在所述行驶方向的行驶距离达到预设距离后，对所述容器中的多个质心世界坐标进行聚类，得到多类质心世界坐标；
计算每类质心世界坐标的中心位置作为世界坐标系下一个农作物的位置坐标。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据世界坐标系下所述多个农作物的位置坐标，创建农作物位置地图。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述农作物位置地图，执行预设作物操作。
9.如权利要求8所述的方法，其特征在于，所述预设作为操作包括至少一类操作：浇水、施肥、松土。
10.一种基于移动平台的农作物位置检测装置，其特征在于，所述装置包括：确定模块、聚类模块和计算模块，其中：
所述确定模块，用于通过设置在移动平台上的点云传感器采集点云数据，并在所述点云数据中确定农作物点云数据；
所述聚类模块，用于对所述农作物点云数据进行聚类，得到多个单株作物的点云数据集；
所述计算模块，用于根据每个单株作物的点云数据集，计算所述每个单株作物的质心位置；通过安装在移动平台上的定位装置采集所述移动平台的世界坐标，并通过所述移动平台的世界坐标、及所述点云传感器与所述移动平台的相对固定位置，计算所述每个单株作物的质心世界坐标；其中，所述移动平台的世界坐标为所述移动平台在世界坐标系的位置坐标，所述质心世界坐标为所述单株作物的质心位置在所述世界坐标系的位置坐标；
所述确定模块，具体用于根据多个质心世界坐标，确定世界坐标系下多个农作物的位置坐标。
11.一种移动平台，其特征在于，所述移动平台上装载有点云传感器、定位装置，和控制器；
所述控制器分别与所述点云传感器和所述定位装置通信连接；其中，所述控制器包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述移动平台运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述权利要求1-9任一项所述的方法。
12.根据权利要求11所述的移动平台，其特征在于，所述点云传感器装载在所述移动平台上背离行驶方向的一端。
13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-9任一项所述的方法。
CN202011351783.XA 2020-11-25 2020-11-25 农作物位置的检测方法、装置、移动平台及存储介质 Pending CN112270707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011351783.XA CN112270707A (zh) 2020-11-25 2020-11-25 农作物位置的检测方法、装置、移动平台及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011351783.XA CN112270707A (zh) 2020-11-25 2020-11-25 农作物位置的检测方法、装置、移动平台及存储介质

Publications (1)

Publication Number Publication Date
CN112270707A true CN112270707A (zh) 2021-01-26

Family

ID=74340507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011351783.XA Pending CN112270707A (zh) 2020-11-25 2020-11-25 农作物位置的检测方法、装置、移动平台及存储介质

Country Status (1)

Country Link
CN (1) CN112270707A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268066A (zh) * 2021-07-19 2021-08-17 福勤智能科技（昆山）有限公司 一种检测目标物的方法、装置、计算机设备及存储介质
CN116540259A (zh) * 2023-07-06 2023-08-04 北京市农林科学院信息技术研究中心 三维点云数据采集装置、作物表型获取方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268066A (zh) * 2021-07-19 2021-08-17 福勤智能科技（昆山）有限公司 一种检测目标物的方法、装置、计算机设备及存储介质
CN116540259A (zh) * 2023-07-06 2023-08-04 北京市农林科学院信息技术研究中心 三维点云数据采集装置、作物表型获取方法及装置
CN116540259B (zh) * 2023-07-06 2023-10-20 北京市农林科学院信息技术研究中心 三维点云数据采集装置、作物表型获取方法及装置

Similar Documents

Publication Publication Date Title
Chen et al. Navigation path extraction for greenhouse cucumber-picking robots using the prediction-point Hough transform
Kanagasingham et al. Integrating machine vision-based row guidance with GPS and compass-based routing to achieve autonomous navigation for a rice field weeding robot
Vidović et al. Crop row detection by global energy minimization
Shalal et al. A review of autonomous navigation systems in agricultural environments
EP1473673A2 (en) System and method for detecting and analyzing features in an agricultural field for vehicle guidance
Kise et al. Development of a stereovision sensing system for 3D crop row structure mapping and tractor guidance
Vázquez-Arellano et al. Determination of stem position and height of reconstructed maize plants using a time-of-flight camera
CN112270707A (zh) 农作物位置的检测方法、装置、移动平台及存储介质
Wang et al. Stereovision-based lateral offset measurement for vehicle navigation in cultivated stubble fields
Yun et al. Stereovision-based ridge-furrow detection and tracking for auto-guided cultivator
Fei et al. Row‐sensing templates: A generic 3D sensor‐based approach to robot localization with respect to orchard row centerlines
CN116892944B (zh) 农机导航线生成方法及装置、导航方法及装置
Zhang et al. Cut-edge detection method for wheat harvesting based on stereo vision
Dhami et al. Crop height and plot estimation from unmanned aerial vehicles using 3D LiDAR
Furioli et al. Cost-effective tractor localization for semi-autonomous vineyard operations
Gao et al. An efficient headland-turning navigation system for a safflower picking robot
Fleischmann et al. Detection of field structures for agricultural vehicle guidance
Zhou et al. Autonomous guidance for rice transplanter fusion of machine vision and global positioning system
Yang et al. Extraction of straight field roads between farmlands based on agricultural vehicle-mounted LiDAR
WO2023276227A1 (ja) 列検出システム、列検出システムを備える農業機械、および、列検出方法
CN117635719B (zh) 基于多传感器融合的除草机器人定位方法、系统及装置
WO2024095993A1 (ja) 列検出システム、列検出システムを備える農業機械、および列検出方法
EP4335267A1 (en) Row detection system, farm machine provided with row detection system, and row detection method
Bengochea-Guevara et al. An Autonomous Guided Field Inspection Vehicle for 3D Woody Crops Monitoring
WO2023120183A1 (ja) 農業機械

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: XAG Co., Ltd.

Address before: 510000 Block C, 115 Gaopu Road, Tianhe District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Xaircraft Technology Co.,Ltd.

CB02 Change of applicant information