CN118031956A - 无人机采摘避障方法、装置、设备及介质 - Google Patents

无人机采摘避障方法、装置、设备及介质 Download PDF

Info

Publication number
CN118031956A
CN118031956A CN202410089850.7A CN202410089850A CN118031956A CN 118031956 A CN118031956 A CN 118031956A CN 202410089850 A CN202410089850 A CN 202410089850A CN 118031956 A CN118031956 A CN 118031956A
Authority
CN
China
Prior art keywords
picking
aerial vehicle
unmanned aerial
unmanned
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410089850.7A
Other languages
English (en)
Inventor
李君�
周浩波
巫凯旋
陆华忠
施琳琳
陈恒旭
林恒毅
周峥琦
麦煜炬
王倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202410089850.7A priority Critical patent/CN118031956A/zh
Publication of CN118031956A publication Critical patent/CN118031956A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请涉及无人机采摘避障方法、装置、设备及介质，方法包括：基于预设的目标检测模型对果园图像进行目标检测，确定果园图像中目标果实的位置；调用预设的B样条曲线算法，将采摘无人机的当前位置以及目标果实的位置加入B样条曲线算法的控制点序列中，以生成初始路径的末端航点；采用激光雷达根据目标果实的位置确定目标果实附近的障碍物，并提取障碍物中曲率较大的点作为角点，将其加入B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在控制点序列的凸包中；对控制点序列中的每个控制点计算确定B样条基函数，根据B样条基函数计算确定采摘无人机的采摘路径。本申请能够显著提高采摘机器人的采摘效率。

Description

无人机采摘避障方法、装置、设备及介质
技术领域
本申请涉及农业种植领域，尤其涉及一种无人机采摘避障方法、相应的装置、电子设备及计算机可读存储介质。
背景技术
对于果园果实的采摘，其采摘方式主要涵盖人工采摘和地面采收设备辅助采摘。然随着人工成本的不断上升以及劳动力短缺的问题逐渐显现，迫切需要研发高效的自动果蔬采摘机器人。目前，大多数采摘机器人普遍采用机械臂进行采摘，然而在丘陵果园地带，机械臂受制于地形和果树高度的限制，导致采摘效率较低，不适用于果园环境下的水果采摘。
目前，无人机在更为复杂的果园地形中具有更大的操作优势，其高空作业能力使其不受果树高度和采摘范围的限制，因此在近年来无人机在水果采摘方面受到广泛关注。但采摘无人机存在续航时间短无法实现高强度采摘作业需求、承载能力低导致无法搭载高性能处理器去应对果园的复杂环境信息处理、且存在依靠GPS等传感器定位不精准导致无法无人机的轨迹跟踪效果差等一系列问题。
综上，适应现有技术中采摘无人机存在续航时间短无法应对果园的复杂环境信息处理、且存在依靠GPS等传感器定位不精准导致无法无人机的轨迹跟踪效果差等问题，本申请人出于解决该问题的考虑作出相应的探索。
发明内容
本申请的目的在于解决上述问题而提供一种无人机采摘避障方法、相应的装置、电子设备及计算机可读存储介质。
为满足本申请的各个目的，本申请采用如下技术方案：
适应本申请的目的之一而提出的一种无人机采摘避障方法，包括：
响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；
调用预设的B样条曲线算法，将所述采摘无人机的当前位置以及目标果实的位置加入所述B样条曲线算法的控制点序列中，以生成初始路径的末端航点；
采用激光雷达根据所述目标果实的位置确定所述目标果实附近的障碍物，并提取所述障碍物中曲率较大的点作为角点，将其加入所述B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在所述控制点序列的凸包中；
对所述控制点序列中的每个控制点计算确定B样条基函数，根据所述B样条基函数计算确定所述采摘无人机的采摘路径，以完成无人机的采摘避障。
可选的，获取采摘无人机的当前位置的步骤,包括：
采集采摘无人机相对应的RTK数据和IMU数据，基于预设的卡尔曼滤波算法将所述RTK数据和IMU数据进行融合，以确定所述采摘无人机的当前位置。
可选的，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
根据所述采摘无人机的采摘路径对所述采摘无人机进行碰撞测试，若所述采摘无人机通过碰撞测试，则将所述第一采摘路径离散成航点，输入至所述采摘无人机以引导其规避障碍物。
可选的，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
若所述采摘无人机没有碰撞测试，采用A*算法进行无人机采摘路径搜索；确定起始节点和目标节点，并将起始节点放入开放列表，从开放列表中选取估价函数值最小的节点，将其设为当前节点；
将当前节点从开放列表移到关闭列表，对当前节点的所有邻居进行遍历，更新开放列表和计算估价函数值；
当找到目标节点时，通过回溯所述关闭列表从目标节点一直追溯到起始节点，得到最终路径，将所述最终路径确定为采摘无人机的采摘路径。
可选的，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置的步骤之后，包括：
每当所述A*算法生成一个扩展节点，计算该扩展节点与目标果实相对应的坐标位置是否小于预设的距离阈值，若小于，停止采用A*算法进行无人机采摘路径搜索，继续执行调用预设的B样条曲线算法之后的步骤。
可选的，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
响应动态障碍物规避指令，获取果园中的动态障碍物信息以及采摘无人机的动态窗口，所述动态障碍物信息包括位置以及速度的一项或任意多项，所述动态窗口表征下一时间范围内采摘无人机采取的速度与方向；
基于预设的DWA算法根据所述动态障碍物信息以及采摘无人机的动态窗口，确定所述动态窗口中选取代价最小的速度组合作为采摘无人机的下一步运动，以规避动态障碍物。
可选的，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
响应目标果实采摘指令，将所述采摘路径离散成采摘无人机的各个航点，驱动所述采摘无人机根据所述各个航点进行目标果实采摘，以完成无人机的采摘避障。
适应本申请的另一目的而提供的一种无人机采摘避障装置，包括：
果实位置检测模块，设置为响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；
末端航点生成模块，设置为调用预设的B样条曲线算法，将所述采摘无人机的当前位置以及目标果实的位置加入所述B样条曲线算法的控制点序列中，以生成初始路径的末端航点；
控制序列确定模块，设置为采用激光雷达根据所述目标果实的位置确定所述目标果实附近的障碍物，并提取所述障碍物中曲率较大的点作为角点，将其加入所述B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在所述控制点序列的凸包中；
采摘避障模块，设置为对所述控制点序列中的每个控制点计算确定B样条基函数，根据所述B样条基函数计算确定所述采摘无人机的采摘路径，以完成无人机的采摘避障。
适应本申请的另一目的而提供的一种电子设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述无人机采摘避障方法的步骤。
适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述无人机采摘避障方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
相对于现有技术，本申请针对现有技术中采摘无人机存在续航时间短无法应对果园的复杂环境信息处理、且存在依靠GPS等传感器定位不精准导致无法无人机的轨迹跟踪效果差等问题，本申请包括但不限于如下有益效果：
其一，本申请能够大大节省激光雷达对果园环境建图的算力，显著增强采摘无人机对目标果实的采摘路径规划避障效果；
其二，本申请所提出的无人机采摘避障方法，能够保证采摘无人机在采摘水果过程中的避障效果，避免由于未能满足采摘无人机在采摘目标果实时的动作要求，所导致采摘任务失败，综合运载无人车和采摘无人机，实现全流程自动化水果采摘，能够大大提高采摘无人机的工作效率，显著提高果实采摘的工作效率，节省人力物力，本申请所采用的无人机采摘避障方法可以更加的适应于采摘无人机在复杂的果园环境作业。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请无人机采摘避障方法所采用的示例性网络架构；
图2为本申请实施例中无人机采摘避障方法的流程示意图；
图3为本申请实施例中无人机采摘避障装置的原理框图；
图4为本申请实施例中的计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他诸如个人计算机、平板电脑之类的通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
在本发明的典型实施例中，请参阅图1，所述无人机采摘避障方法可以基于无人机采摘避障装置予以实施，所述无人机采摘避障装置包括运载无人车模块、采摘无人机模块以及感知模块，所述运载无人车模块选用负载500kg的履带小车底盘，具有稳定的运载能力，其顶部装有无人机降落平台，实现无人机的便捷起降，搭载大容量移动电源，为设备供电，包括工控处理器和采摘无人机等。
所述采摘无人机模块包括配备飞行动力元件，其确保无人机飞行的稳定和高效；集成飞控系统，用于实现对飞行的精准控制；以及采摘执行器，用于实现水果采摘任务。
所述感知模块包整合激光雷达，提供对环境的高精度三维点云数据；配备深度相机，实现对目标水果和障碍物的深度感知；双目相机，用于目标识别和采摘点定位；以及集成红外传感器，增强对环境特定信息的感知。
无人机采摘避障装置的感知模块中，该感知模块使用搭载的三维雷达收集果园环境信息，构建静态+动态双地图，以提供果园障碍物信息，为采摘无人机的路径规划提供支持。
在一些实施例中，对获取的点云数据进行处理，无人机采摘避障装置的感知模块可以直接获取激光雷达采集的原始点云数据；对原始点云数据进行下采样，以减少密度，降低处理器算力需求；利用KD-Tree组织原始点云，以提高碰撞检测效率。
在一些实施例中，构建局部地图，通过对比不同时间段累积的点云，确定单帧的局部地图的累积时间T。确保局部地图能够清晰显示出树体轮廓和细小枝条的边缘。
在一些实施例中，进行静态和动态地图管理，可以引入两棵KD-Tree，其中一棵维护果园的静态环境，另一棵用于动态更新；两者均存储根据累积时间生成的点云数据；设置每个点云地图接收的点云帧数为10帧，当新的点云帧到达时，首先将点云进行规定分辨率的下采样，添加至第一个局部地图中，直至装满。当第一个局部地图装满后，将新的点云扫描添加到第二棵KD-Tree中，此时第一棵KD-Tree作为静态地图，第二棵为动态地图；当第二个局部地图装满后，清空第一个局部地图，新的点云扫描重新添加至该地图中；循环上述过程，实现静态和动态地图的交替更新。该优化策略有效地管理果园环境的静态和动态信息，以确保在采摘避障规划中充分考虑果树的静态和动态障碍物的存在。
无人机采摘避障装置还包括定位模块，旨在通过高精度传感器和融合算法提供无人机在飞行过程中准确的位置和姿态信息。以下是该定位模块的详细描述：
数据采集，在无人机上搭载RTK等高精度定位传感器，同时利用自带IMU提供的姿态信息；确保数据采集频率足够高，以对飞行中的快速变化做出及时响应。
采用融合算法，如卡尔曼滤波等，将RTK和IMU的数据进行融合，融合后的数据集将包含更准确的位置、速度和姿态信息。
位移计算，利用融合后的数据，计算无人机相对于初始位置的位移，通过对加速度进行积分得到速度，再对速度进行积分得到位移；RTK的高精度位置信息有助于减小里程计的漂移误差。
回环检测，在无人机上搭载T256双目相机传感器，在无人车上设置回环检测点，一旦检测到回环，记录该回环点的位置信息；检测到回环后，比较回环前后的位置信息，计算出里程计的漂移误差。
路径修复，根据漂移误差，对之前的路径进行修复，确保飞行轨迹的一致性。
实时更新定位信息，持续实时更新融合后的定位信息，确保无人机在飞行过程中始终具备准确的位置和姿态信息。
通过这一整合的RTK与IMU融合定位方法，结合回环检测机制，无人机在复杂环境中能够实现高精度的定位和导航，同时能够有效补偿里程计的累积误差，提高飞行的稳定性和可靠性。
在参考以上示例性场景的基础上，请参阅图2，本申请的无人机采摘避障方法在其一个实施例中，包括：
步骤S10、响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；
无人机采摘避障装置中的终端设备可以响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，所述果园图像可以基于采摘无人机中的双目相机所获取，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；
获取采摘无人机的当前位置的步骤,包括：
采集采摘无人机相对应的RTK数据和IMU数据，基于预设的卡尔曼滤波算法将所述RTK数据和IMU数据进行融合，以确定所述采摘无人机的当前位置。
具体而言，无人机采摘避障装置可以采集采摘无人机相对应的RTK数据和IMU数据，基于预设的卡尔曼滤波算法将所述RTK数据和IMU数据进行融合，以确定所述采摘无人机的当前位置。
步骤S20、调用预设的B样条曲线算法，将所述采摘无人机的当前位置以及目标果实的位置加入所述B样条曲线算法的控制点序列中，以生成初始路径的末端航点；
具体而言，可以采用无人机搭载的双目相机，基于预设的目标检测模型获取目标果实的采摘点位置，将其作为终点位置(xi,yi,zi)，将采摘无人机的当前位置作为起点位置(x0,y0,z0)，将目标果实的采摘点位置以及采摘无人机的当前位置加入至B样条曲线算法(B-spline算法)的控制点序列中。
采用B样条曲线末端与控制点相切的性质，在采摘目标点与树干的延长线上选择点作为控制点(xi-1,yi-1,zi-1)，将其加入B样条曲线算法的控制点序列，以确保生成的初始路径末端航点位于目标果实与树干的延长线上。
步骤S30、采用激光雷达根据所述目标果实的位置确定所述目标果实附近的障碍物，并提取所述障碍物中曲率较大的点作为角点，将其加入所述B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在所述控制点序列的凸包中；
具体而言，采用B样条曲线的凸包性，通过无人车搭载的激光雷达获取目标果实的附近障碍物信息，并提取曲率较大的点作为角点(x1,y1,z1)，(x2,y2,z2),……,(xi-2,yi-2,zi-2),将其加入B样条曲线算法的控制点序列，确保生成的初始路径航点落在控制点的凸包中，实现对静态障碍物的避障。
步骤S40、对所述控制点序列中的每个控制点计算确定B样条基函数，根据所述B样条基函数计算确定所述采摘无人机的采摘路径，以完成无人机的采摘避障。
具体而言，阶数p决定了基函数的个数。阶数p决定了每个基函数的次数。如果阶数为p，则每个基函数的次数为p-1阶数p也决定了曲线的局部控制范围。每个控制点对曲线形状的影响主要集中在其附近的p个区间内。选择的阶数会直接影响到曲线的形状和性质。本申请选择p＝3，并不对本申请构成限定，本领域技术人员可以根据实际情况按需确定其p的取值。
基函数是由递归公式计算得到的。对于三维B样条曲线，有三个方向(x,y,z)，因此每个方向都有一个基函数。
基函数的计算公式为：
Bi,p(u)＝(1-u)Bi,p-1(u)+uBi+1,p-1(u)，
其中：表示在区间[ui,ui+1；)上只有一个基函数为1，ui是参数的节点矢量，按照升序排列，有m+1个节点。
为了计算三维B样条曲线，有三个方向的基函数:
进行曲线计算，利用基函数和权重，通过加权和的方式计算B样条曲线:
其中，是第i个控制点的x,y,z坐标。
通过以上步骤，改进的B样条曲线算法有效生成初始路径，将其确定为所述采摘无人机的采摘路径，并对其进行碰撞检测。
在一些实施例中，当局部地图中添加了新的点云帧后，需要对所生成的路径进行碰撞检测，以确保无人机的安全飞行。为适应采摘无人机在果园内的通行情况，本申请设定了碰撞检测条件，包括重合、距离阈值和飞行空间。
(a)重合：对于跟踪路径中的每个航点，判断其是否与局部地图中的任何激光扫描点发生重合。这一条件用于检测路径是否与环境中的实际点云数据有交集。
(b)距离阈值d：计算跟踪路径中每个航点与局部地图中最近点的距离(H)，并判断该距离是否大于安全距离阈值。通过设定阈值，确保无人机在飞行过程中与环境保持足够的距离，避免碰撞发生。
(c)飞行空间：对于跟踪路径中的每个航点，判断其在Z轴高度上是否超出规定的飞行空间范围。这一条件用于限定无人机的垂直飞行范围，以确保在不同高度的情况下也能够安全飞行。
通过以上三个条件的综合考虑，可以有效地进行碰撞检测，保障了无人机在果园内的安全飞行。
若通过检测，将初始路径离散成航点，输出给采摘无人机，引导其避障并实现对目标水果的采摘。
根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
根据所述采摘无人机的采摘路径对所述采摘无人机进行碰撞测试，若所述采摘无人机通过碰撞测试，则将所述第一采摘路径离散成航点，输入至所述采摘无人机以引导其规避障碍物。
根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
步骤S401、若所述采摘无人机没有碰撞测试，采用A*算法进行无人机采摘路径搜索；
步骤S403、确定起始节点和目标节点，并将起始节点放入开放列表，从开放列表中选取估价函数值最小的节点，将其设为当前节点；
步骤S405、将当前节点从开放列表移到关闭列表，对当前节点的所有邻居进行遍历，更新开放列表和计算估价函数值；
步骤S407、当找到目标节点时，通过回溯所述关闭列表从目标节点一直追溯到起始节点，得到最终路径，将所述最终路径确定为采摘无人机的采摘路径。
具体而言，采用A*算法进行无人机采摘路径搜索的步骤，具体包括如下步骤：
1、初始化：设定起始节点和目标节点，并将起始节点放入开放列表。
2、设定距离阈值D：定义一个距离阈值，每当A*算法生成一个新的扩展节点时，计算该节点与目标果串坐标位置是否小于所设定的距离阈值，若小于距离阈值，则将路径规划算法切换成改进的B样条曲线算法，在采摘无人机采摘水果场景中，设置距离阈值D为0.5m。其距离阈值D定义公式为：
其中，扩展节点坐标为(xk，yk，zk)目标果串位置为(xi，yi，zi)。
3、设定估价函数：根据A*算法的估价函数f(n)＝g(n)+h(n)中的(h(n)部分计算到目标节点的估计代价。
4、循环扩展节点：
从开放列表中选取估价函数值最小的节点，将其设为当前节点。
若当前节点到目标节点的距离小于设定的距离阈值D，执行步骤6。
否则，执行步骤7。
5、正常A*算法搜索：
如果当前节点是目标节点，搜索结束，找到路径。
否则，将当前节点从开放列表移到关闭列表，对当前节点的所有邻居进行遍历，更新开放列表和计算估价函数值。
6、切换路径规划算法：
当距离目标节点小于设定的距离阈值时，触发切换条件。
停止当前A*算法搜索，切换至基于B样条改进的路径规划算法。
7、路径重构：
当找到目标节点时，通过回溯闭合列表从目标节点一直追溯到起始节点，得到最终路径。
根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
步骤S4001、响应动态障碍物规避指令，获取果园中的动态障碍物信息以及采摘无人机的动态窗口，所述动态障碍物信息包括位置以及速度的一项或任意多项，所述动态窗口表征下一时间范围内采摘无人机采取的速度与方向；
步骤S4003、基于预设的DWA算法根据所述动态障碍物信息以及采摘无人机的动态窗口，确定所述动态窗口中选取代价最小的速度组合作为采摘无人机的下一步运动，以规避动态障碍物。
具体而言，通过多传感器获取环境中的动态障碍物信息，包括位置和速度；基于感知数据，定义采摘无人机的速度空间，包括当前速度周围的速度值和可能的角速度值；生成采摘无人机可能的运动范围，即动态窗口，表示下一时间步内采摘无人机可能采取的速度和方向；通过轨迹评估，对每个速度和方向组合进行碰撞检测，确保所选轨迹是安全的；从评估过的速度组合中选择代价最小的作为采摘无人机的下一步运动；将选择的最佳速度应用于采摘无人机，执行下一步的运动；不断重复上述步骤，使采摘无人机在动态环境中实时调整速度以避免障碍物。
基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置的步骤之后，包括：
每当所述A*算法生成一个扩展节点，计算该扩展节点与目标果实相对应的坐标位置是否小于预设的距离阈值，若小于，停止采用A*算法进行无人机采摘路径搜索，继续执行调用预设的B样条曲线算法之后的步骤。
根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
响应目标果实采摘指令，将所述采摘路径离散成采摘无人机的各个航点，驱动所述采摘无人机根据所述各个航点进行目标果实采摘，以完成无人机的采摘避障。
由上述实施例可知，相对于现有技术，本申请针对现有技术中采摘无人机存在续航时间短无法应对果园的复杂环境信息处理、且存在依靠GPS等传感器定位不精准导致无法无人机的轨迹跟踪效果差等问题，本申请包括但不限于如下有益效果：
其一，本申请能够大大节省激光雷达对果园环境建图的算力，显著增强采摘无人机对目标果实的采摘路径规划避障效果；
其二，本申请所提出的无人机采摘避障方法，能够保证采摘无人机在采摘水果过程中的避障效果，避免由于未能满足采摘无人机在采摘目标果实时的动作要求，所导致采摘任务失败，综合运载无人车和采摘无人机，实现全流程自动化水果采摘，能够大大提高采摘无人机的工作效率，显著提高果实采摘的工作效率，节省人力物力，本申请所采用的无人机采摘避障方法可以更加的适应于采摘无人机在复杂的果园环境作业。
请参阅图3，适应本申请的目的之一而提供的一种无人机采摘避障装置，包括果实位置检测模块1100、末端航点生成模块1200、控制序列确定模块1300以及采摘避障模块1400。其中，果实位置检测模块1100，设置为响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；末端航点生成模块1200，设置为调用预设的B样条曲线算法，将所述采摘无人机的当前位置以及目标果实的位置加入所述B样条曲线算法的控制点序列中，以生成初始路径的末端航点；控制序列确定模块1300，设置为采用激光雷达根据所述目标果实的位置确定所述目标果实附近的障碍物，并提取所述障碍物中曲率较大的点作为角点，将其加入所述B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在所述控制点序列的凸包中；采摘避障模块1400，设置为对所述控制点序列中的每个控制点计算确定B样条基函数，根据所述B样条基函数计算确定所述采摘无人机的采摘路径，以完成无人机的采摘避障。
在本申请任意实施例的基础上，请参阅图4，本申请的另一实施例还提供一种电子设备，所述电子设备可由计算机设备实现，如图4所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该计算机设备的计算机可读存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种无人机采摘避障方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的无人机采摘避障方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图3中的各个模块及其子模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的无人机采摘避障装置中执行所有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例所述无人机采摘避障方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述无人机采摘避障方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
综上所述，本申请所提出的无人机采摘避障方法，能够保证采摘无人机在采摘水果过程中的避障效果，避免由于未能满足采摘无人机在采摘目标果实时的动作要求，所导致采摘任务失败，综合运载无人车和采摘无人机，实现全流程自动化水果采摘，能够大大提高采摘无人机的工作效率，显著提高果实采摘的工作效率，节省人力物力，本申请所采用的无人机采摘避障方法可以更加的适应于采摘无人机在复杂的果园环境作业。

Claims (10)

1.一种无人机采摘避障方法，其特征在于，包括：
响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；
调用预设的B样条曲线算法，将所述采摘无人机的当前位置以及目标果实的位置加入所述B样条曲线算法的控制点序列中，以生成初始路径的末端航点；
采用激光雷达根据所述目标果实的位置确定所述目标果实附近的障碍物，并提取所述障碍物中曲率较大的点作为角点，将其加入所述B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在所述控制点序列的凸包中；
对所述控制点序列中的每个控制点计算确定B样条基函数，根据所述B样条基函数计算确定所述采摘无人机的采摘路径，以完成无人机的采摘避障。
2.根据权利要求1所述的无人机采摘避障方法，其特征在于，获取采摘无人机的当前位置的步骤,包括：
采集采摘无人机相对应的RTK数据和IMU数据，基于预设的卡尔曼滤波算法将所述RTK数据和IMU数据进行融合，以确定所述采摘无人机的当前位置。
3.根据权利要求1所述的无人机采摘避障方法，其特征在于，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
根据所述采摘无人机的采摘路径对所述采摘无人机进行碰撞测试，若所述采摘无人机通过碰撞测试，则将所述第一采摘路径离散成航点，输入至所述采摘无人机以引导其规避障碍物。
4.根据权利要求3所述的无人机采摘避障方法，其特征在于，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
若所述采摘无人机没有碰撞测试，采用A*算法进行无人机采摘路径搜索；
确定起始节点和目标节点，并将起始节点放入开放列表，从开放列表中选取估价函数值最小的节点，将其设为当前节点；
将当前节点从开放列表移到关闭列表，对当前节点的所有邻居进行遍历，更新开放列表和计算估价函数值；
当找到目标节点时，通过回溯所述关闭列表从目标节点一直追溯到起始节点，得到最终路径，将所述最终路径确定为采摘无人机的采摘路径。
5.根据权利要求4所述的无人机采摘避障方法，其特征在于，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置的步骤之后，包括：
每当所述A*算法生成一个扩展节点，计算该扩展节点与目标果实相对应的坐标位置是否小于预设的距离阈值，若小于，停止采用A*算法进行无人机采摘路径搜索，继续执行调用预设的B样条曲线算法之后的步骤。
6.根据权利要求1所述的无人机采摘避障方法，其特征在于，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
响应动态障碍物规避指令，获取果园中的动态障碍物信息以及采摘无人机的动态窗口，所述动态障碍物信息包括位置以及速度的一项或任意多项，所述动态窗口表征下一时间范围内采摘无人机采取的速度与方向；
基于预设的DWA算法根据所述动态障碍物信息以及采摘无人机的动态窗口，确定所述动态窗口中选取代价最小的速度组合作为采摘无人机的下一步运动，以规避动态障碍物。
7.根据权利要求1至6任意一项所述的无人机采摘避障方法，其特征在于，根据所述B样条基函数计算确定所述采摘无人机的采摘路径的步骤之后，包括：
响应目标果实采摘指令，将所述采摘路径离散成采摘无人机的各个航点，驱动所述采摘无人机根据所述各个航点进行目标果实采摘，以完成无人机的采摘避障。
8.一种无人机采摘避障装置，其特征在于，包括:
果实位置检测模块，设置为响应无人机采摘避障指令，获取采摘无人机的当前位置以及果园图像，基于预设的目标检测模型对所述果园图像进行目标检测，确定所述果园图像中目标果实的位置；
末端航点生成模块，设置为调用预设的B样条曲线算法，将所述采摘无人机的当前位置以及目标果实的位置加入所述B样条曲线算法的控制点序列中，以生成初始路径的末端航点；
控制序列确定模块，设置为采用激光雷达根据所述目标果实的位置确定所述目标果实附近的障碍物，并提取所述障碍物中曲率较大的点作为角点，将其加入所述B样条曲线算法的控制点序列中，以确保生成初始路径的各个航点落在所述控制点序列的凸包中；
采摘避障模块，设置为对所述控制点序列中的每个控制点计算确定B样条基函数，根据所述B样条基函数计算确定所述采摘无人机的采摘路径，以完成无人机的采摘避障。
9.一种电子设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
CN202410089850.7A 2024-01-22 2024-01-22 无人机采摘避障方法、装置、设备及介质 Pending CN118031956A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410089850.7A CN118031956A (zh) 2024-01-22 2024-01-22 无人机采摘避障方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410089850.7A CN118031956A (zh) 2024-01-22 2024-01-22 无人机采摘避障方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN118031956A true CN118031956A (zh) 2024-05-14

Family

ID=90996051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410089850.7A Pending CN118031956A (zh) 2024-01-22 2024-01-22 无人机采摘避障方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN118031956A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118394126A (zh) * 2024-06-24 2024-07-26 烟台欣飞智能系统有限公司 一种基于导航系统的无人机捕获系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118394126A (zh) * 2024-06-24 2024-07-26 烟台欣飞智能系统有限公司 一种基于导航系统的无人机捕获系统

Similar Documents

Publication Publication Date Title
US11694356B2 (en) Methods and systems for joint pose and shape estimation of objects from sensor data
CN110298914B (zh) 一种建立果园中果树冠层特征地图的方法
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
CN113110455B (zh) 一种未知初始状态的多机器人协同探索方法、装置及系统
CN112596071B (zh) 无人机自主定位方法、装置及无人机
CN118031956A (zh) 无人机采摘避障方法、装置、设备及介质
CN111366153B (zh) 一种激光雷达与imu紧耦合的定位方法
CN110553648A (zh) 一种用于室内导航的方法和系统
CN112380933B (zh) 无人机识别目标的方法、装置及无人机
CN112379681A (zh) 无人机避障飞行方法、装置及无人机
CN112967392A (zh) 一种基于多传感器触合的大规模园区建图定位方法
CN110376605A (zh) 地图构建方法、导航方法和装置
CN112215805A (zh) 一种公路桥梁边坡养护无人机巡检方法和系统
CN117452969B (zh) 基于多模态数据处理的无人机导航方法
CN111812978B (zh) 一种多无人机协作slam方法与系统
Magree et al. Monocular visual mapping for obstacle avoidance on UAVs
CN118504925A (zh) 一种无人机低空监测方法
CN113674355A (zh) 一种基于相机与激光雷达的目标识别与定位方法
CN116482711A (zh) 一种用于着陆区自主选择的局部静态环境感知方法及装置
Lee Research on multi-functional logistics intelligent Unmanned Aerial Vehicle
CN117274375A (zh) 基于迁移学习网络模型与图像匹配的目标定位方法及系统
Lee et al. Research on logistics of intelligent unmanned aerial vehicle integration system
CN117518196A (zh) 一种激光雷达的运动补偿方法、装置、系统、设备及介质
CN117570959A (zh) 一种人机协同救援态势地图构建方法
Buffum et al. Autonomous drone behavior via MCDM of UFOMap layers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination