CN116958032A - 空地协同的果类目标采收决策方法、系统及装置 - Google Patents

空地协同的果类目标采收决策方法、系统及装置 Download PDF

Info

Publication number
CN116958032A
CN116958032A CN202310262846.1A CN202310262846A CN116958032A CN 116958032 A CN116958032 A CN 116958032A CN 202310262846 A CN202310262846 A CN 202310262846A CN 116958032 A CN116958032 A CN 116958032A
Authority
CN
China
Prior art keywords
target
fruit
harvesting
orchard
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310262846.1A
Other languages
English (en)
Inventor
张林焕
张瑞瑞
陈立平
伊铜川
吴明齐
郭志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Original Assignee
Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences filed Critical Intelligent Equipment Technology Research Center of Beijing Academy of Agricultural and Forestry Sciences
Priority to CN202310262846.1A priority Critical patent/CN116958032A/zh
Publication of CN116958032A publication Critical patent/CN116958032A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种空地协同的果类目标采收决策方法、系统及装置，涉及农业信息化技术领域，所述方法包括：基于在目标果园上空采集的第一图像信息，确定目标探测路径；控制搭载有视觉传感器的地面无人车，基于目标探测路径，在目标果园内采集第二图像信息；基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况；基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略。本发明通过基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息确定目标果园内果类目标的采收策略，可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。

Description

空地协同的果类目标采收决策方法、系统及装置
技术领域
本发明涉及农业信息化技术领域，尤其涉及一种空地协同的果类目标采收决策方法、系统及装置。
背景技术
近年来，市面上出现了各种果类采收机，例如手持式的果类采收机和仿树形包裹式的果类采收机等，这些果类采收机的出现可以提高果类的采收效率，缓解劳动力短缺的问题。
但是，现有的果类采收机无法实现对不同成熟度的果类目标的精准采收，采收质量低，而且无法实现对果园中不同产量区域进行差别化的采收任务分配，采收效率提升有限。
发明内容
针对现有技术存在的问题，本发明提供一种空地协同的果类目标采收决策方法、系统及装置。
第一方面，本发明提供一种空地协同的果类目标采收决策方法，包括：
基于在目标果园上空采集的第一图像信息，确定目标探测路径；
控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
可选地，根据本发明提供的一种空地协同的果类目标采收决策方法，所述基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，包括：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
可选地，根据本发明提供的一种空地协同的果类目标采收决策方法，所述基于在目标果园上空采集的第一图像信息，确定目标探测路径，包括：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
可选地，根据本发明提供的一种空地协同的果类目标采收决策方法，所述方法还包括：
基于所述目标果园内果类目标的采收策略，派发采收车在所述目标果园内进行采收作业。
第二方面，本发明还提供一种空地协同的果类目标采收决策系统，包括：
搭载有视觉传感器的无人机、搭载有视觉传感器的地面无人车和地面站管理平台；
所述无人机用于基于所述地面站管理平台发送的拍摄指令，在目标果园的上空采集第一图像信息，并将所述第一图像信息发送给所述地面站管理平台；
所述地面无人车用于基于所述地面站管理平台确定的目标探测路径，在所述目标果园内采集第二图像信息，并将所述第二图像信息发送给所述地面站管理平台；
所述地面站管理平台用于基于所述第一图像信息，确定所述目标探测路径，并将所述目标探测路径发送给所述地面无人车，还用于基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况，并基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
可选地，根据本发明提供的一种空地协同的果类目标采收决策系统，所述地面站管理平台具体用于：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
可选地，根据本发明提供的一种空地协同的果类目标采收决策系统，所述地面站管理平台还具体用于：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
可选地，根据本发明提供的一种空地协同的果类目标采收决策系统，所述系统还包括采收车控制器和采收车；
所述采收车控制器用于基于所述地面站管理平台确定的所述目标果园内果类目标的采收策略，派发所述采收车在所述目标果园内进行采收作业。
第三方面，本发明还提供一种空地协同的果类目标采收决策装置，包括：
第一确定模块，用于基于在目标果园上空采集的第一图像信息，确定目标探测路径；
图像采集模块，用于控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
第二确定模块，用于基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
第三确定模块，用于基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
第四方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述空地协同的果类目标采收决策方法。
本发明提供的空地协同的果类目标采收决策方法、系统及装置，通过首先基于在目标果园上空采集的第一图像信息，为地面无人车确定目标探测路径，进而控制搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，然后基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的空地协同的果类目标采收决策方法的流程示意图；
图2是本发明提供的空地协同的果类目标采收决策系统的结构示意图；
图3是本发明提供的图像信息采集的示意图；
图4是本发明提供的空地协同的果类目标采收决策系统采收油茶果的流程示意图；
图5是本发明提供的空地协同的果类目标采收决策装置的结构示意图；
图6是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
下面结合附图对本发明提供的空地协同的果类目标采收决策方法、系统及装置进行示例性的介绍。
图1是本发明提供的空地协同的果类目标采收决策方法的流程示意图，如图1所示，该方法包括：
步骤100，基于在目标果园上空采集的第一图像信息，确定目标探测路径；
步骤110，控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
步骤120，基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
步骤130，基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
需要说明的是，本发明实施例提供的空地协同的果类目标采收决策方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性地，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、可穿戴设备、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、上网本或者个人数字助理(Personal Digital Assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(PersonalComputer，PC)、电视机(Television，TV)、柜员机或者自助机等，本发明实施例对此不作具体限定。
下面以计算机执行本发明提供的空地协同的果类目标采收决策方法为例，详细说明本发明实施例的技术方案。
具体地，为了克服现有的果类采收机无法实现对不同成熟度的果类目标的精准采收，采收质量低，而且无法实现对果园中不同产量区域进行差别化的采收任务分配，采收效率提升有限的缺陷，本发明通过首先基于在目标果园上空采集的第一图像信息，为地面无人车确定目标探测路径，进而控制搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，然后基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
需要说明的是，在本发明实施例中，目标果园内的果类目标可以是常见的任意可以采收的水果或干果等，例如苹果、梨、桃、油茶果和核桃等，本发明实施例对此不作具体限定。
可选地，在本发明实施例中，在基于第一图像信息确定目标探测路径之前，可以先控制搭载有视觉传感器的无人机在目标果园上空采集第一图像信息。
可选地，可以对第一图像信息进行处理和分析，为地面无人车确定目标探测路径。
可选地，在确定好目标探测路径之后，可以控制搭载有视觉传感器的地面无人车，基于该目标探测路径，在目标果园内采集第二图像信息。
需要说明的是，由于第一图像信息是在目标果园的上空采集的，则第一图像信息中包括了果树上方冠层的果类目标分布信息，而为了获取果树完整的果类目标分布信息，通过地面无人车沿目标探测路径在目标果园内采集第二图像信息，第二图像信息中包括了果树中、下方冠层的果类目标分布信息，以此可以克服因视觉传感器的视场角范围造成的数据采集不全的缺陷。
可选地，在本发明实施例中，可以通过图像拼接技术对第二图像信息和第一图像信息进行融合，生成完整的三维地图，进而基于该三维地图确定目标果园内果类目标的产量分布情况和成熟度情况。
可选地，在本发明实施例中，还可以基于第一图像信息确定目标果园的地形信息(例如果树作物行间的坡度和障碍物分布情况，以及果树作物行的冠层高度等)。
可选地，在本发明实施例中，可以基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略。
可以理解的是，由于本发明实施例是基于果类目标的产量分布情况和成熟度情况确定的采收策略，则后续根据该采收策略采收目标果园内的果类目标，可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
本发明提供的空地协同的果类目标采收决策方法，通过首先基于在目标果园上空采集的第一图像信息，为地面无人车确定目标探测路径，进而控制搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，然后基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
可选地，所述基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，包括：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
具体地，在本发明实施例中，在基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况之后，可以基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内各预设区域的果类目标的采收批次、采收各预设区域的果类目标所需派发的采收车数量，以及各采收车采收所述果类目标的作业路径。
例如，对于目标果园内成熟度大于第一预设值的区域的果类目标，可以确定对该区域的果类目标进行第一批次的采收；对于目标果园内成熟度大于第二预设值但小于第一预设值的区域的果类目标，可以确定对该区域的果类目标进行第二批次的采收；对于目标果园内成熟度小于第二预设值的区域的果类目标，可以确定对该区域的果类目标进行第三批次的采收。
例如，对于目标果园内果类目标的产量分布大于第四预设值的区域，可以确定采收该区域的果类目标所需派发的采收车数量为10辆；对于目标果园内果类目标的产量分布小于第四预设值的区域，可以确定采收该区域的果类目标所需派发的采收车数量为5辆。
可以理解的是，本发明实施例通过基于果类目标的成熟度分批次对果类目标进行采收，可提高果类目标的采收质量，提升经济效益，而且，本发明实施例通过根据目标果园内不同区域的果类目标产量为其调度采收车，可以缩减果类目标采收时间，提高采收效率。
可选地，可以基于目标果园的地形信息，为各个采收车确定采收果类目标的作业路径。
例如，基于果树作物行间的坡度和障碍物分布情况，以及果树作物行的冠层高度，为各个采收车确定采收果类目标的作业路径。
本发明实施例通过基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内各预设区域的果类目标的采收批次、采收各预设区域的果类目标所需派发的采收车数量，以及各采收车采收果类目标的作业路径，可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
可选地，所述基于在目标果园上空采集的第一图像信息，确定目标探测路径，包括：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
具体地，在本发明实施例中，在获取到在目标果园上空采集的第一图像信息之后，可以基于该第一图像信息，确定目标果园内各果树的位置信息以及目标果园的地形信息，进而基于各果树的位置信息和目标果园的地形信息，为地面无人车确定目标探测路径。
可选地，在本发明实施例中，可以基于第一图像信息，利用目标检测算法(例如YOLOv3)对目标果园内的果树以及果树上上方冠层的果类目标进行识别与定位，获取目标果园内各果树的位置信息，以及各果树上方冠层果类目标的位置信息，需要说明的是，果树中、下方冠层果类目标的位置信息可以基于第二图像信息获取。
可选地，在本发明实施例中，可以基于第一图像信息，利用边缘检测算法获取目标果园内果树的作物行边缘，进而基于预设阈值滤除果树冠层的数据，对滤波后的数据进行平面拟合后计算出相邻作物行间的坡度，并识别作物行间的障碍物，最终结合果树的位置信息、作物行边缘信息和障碍物信息为地面无人车规划出最优的探测路径(目标探测路径)。
可选地，所述方法还包括：
基于所述目标果园内果类目标的采收策略，派发采收车在所述目标果园内进行采收作业。
具体地，在本发明实施例中，在确定目标果园内果类目标的采收策略之后，可以基于该采收策略，派发采收车在目标果园内进行采收作业。
例如，基于该采收策略，向采收车发送第一批次的采收任务，待当前批次的采收任务完毕后，对目标果园内果类目标的位置信息进行更新，等到下一批次的果类目标进行采收时，重新向采收车发送新的作业任务，循环往复，直到所有批次的果类目标完成采收。
可选地，本发明实施例中的采收车可以为无人采收车。
本发明提供的空地协同的果类目标采收决策方法，通过首先基于在目标果园上空采集的第一图像信息，为地面无人车确定目标探测路径，进而控制搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，然后基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
下面对本发明提供的空地协同的果类目标采收决策系统进行描述，下文描述的空地协同的果类目标采收决策系统与上文描述的空地协同的果类目标采收决策方法可相互对应参照。
图2是本发明提供的空地协同的果类目标采收决策系统的结构示意图，如图2所示，该系统包括：搭载有视觉传感器的无人机、搭载有视觉传感器的地面无人车和地面站管理平台；其中：
所述无人机用于基于所述地面站管理平台发送的拍摄指令，在目标果园的上空采集第一图像信息，并将所述第一图像信息发送给所述地面站管理平台；
所述地面无人车用于基于所述地面站管理平台确定的目标探测路径，在所述目标果园内采集第二图像信息，并将所述第二图像信息发送给所述地面站管理平台；
所述地面站管理平台用于基于所述第一图像信息，确定所述目标探测路径，并将所述目标探测路径发送给所述地面无人车，还用于基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况，并基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
具体地，为了克服现有的果类采收机无法实现对不同成熟度的果类目标的精准采收，采收质量低，而且无法实现对果园中不同产量区域进行差别化的采收任务分配，采收效率提升有限的缺陷，本发明通过搭载有视觉传感器的无人机在目标果园的上空采集第一图像信息，并将该第一图像信息发送给地面站管理平台，进而通过地面站管理平台基于该第一图像信息，为地面无人车确定目标探测路径，进而通过搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，并将第二图像信息发送给地面站管理平台，进一步地面站管理平台基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
需要说明的是，地面无人车在基于目标探测路径在目标果园内采集第二图像信息的过程中，搭载在地面无人车上的视觉传感器的探测高度可根据作物行的冠层高度及地形信息进行调整，以确保果树冠层始终位于视觉传感器的视场角内。
可以理解的是，本发明实施例通过地面站管理平台、搭载有视觉传感器的无人机和搭载有视觉传感器的地面无人车的相互协作，可以精准和高效地完成对果类目标采收任务的决策。
可选地，搭载有视觉传感器的无人机可以包括无人机飞行平台、第一控制模块和第一视觉探测模块，其中：
所述无人机飞行平台由无人机和负责固定相应器件的支架组成，支架固定在无人机的底部，其上搭载有第一视觉探测模块和第一控制模块；
所述第一控制模块包括控制单元和通信单元，控制单元用于无人机飞行姿态和探测路径的控制，通信单元用于无人机与地面站管理平台进行通信，其包括作业指令的接收和图像信息的传输等；
所述第一视觉探测模块包括视觉传感器和陀螺仪，视觉传感器负责采集视场内的图像信息，陀螺仪负责实时监测视觉传感器的姿态信息，之后地面站管理平台便可以根据无人机的飞行路径、视觉传感器的图像数据、陀螺仪获取的姿态信息完成初步的目标果园地图绘制，进而基于绘制的目标果园地图，为地面无人车确定目标探测路径。
可选地，搭载有视觉传感器的地面无人车可以包括地面运动平台、第二控制模块和第二视觉探测模块，其中：
所述地面运动平台负责整个地面无人车的承载，运动平台上装有陀螺仪，负责实时采集地面无人车的位姿信息，并且运动平台上搭载有负责固定视觉传感器的支架；
所述第二控制模块包含通信单元和控制单元，控制单元负责地面无人车导航路径的跟踪控制，通信单元负责地面无人车与地面站管理平台进行数据传输和任务指令的接收；
所述第二视觉探测模块与无人机的第一视觉探测模块的组成及作用相同，在此不再赘述。
可选地，在本发明实施例中，地面站管理平台可以接收用户输入的对目标果园内的果类目标进行采收决策的指令，地面站管理平台在接受到用户输入的指令之后，可以向无人机发送对目标果园进行空中拍摄的拍摄指令，无人机接收到该拍摄指令之后，则在目标果园的上空采集第一图像信息，并将该第一图像信息发送给地面站管理平台，以供地面站管理平台基于该第一图像信息，为地面无人车确定目标探测路径，进而基于该第一图像信息和地面无人车沿目标探测路径采集的第二图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，并基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略。
图3是本发明提供的图像信息采集的示意图，如图3所示，通过搭载的无人机上的RTK+ZED相机，可以采集到果树的俯视图，通过搭载在地面无人车上的RTK+ZED相机，可以采集到果树的侧视图，并且搭载在地面无人车上的RTK+ZED相机可以多角度采集果树的多幅侧视图，以便于后续地面管理平台可以基于果树的俯视图和果树的多幅侧视图，更精确地确定目标果园内果类目标的产量分布情况和成熟度情况。
本发明提供的空地协同的果类目标采收决策系统，通过搭载有视觉传感器的无人机在目标果园的上空采集第一图像信息，并将该第一图像信息发送给地面站管理平台，进而通过地面站管理平台基于该第一图像信息，为地面无人车确定目标探测路径，进而通过搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，并将第二图像信息发送给地面站管理平台，进一步地面站管理平台基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
可选地，所述地面站管理平台具体用于：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
具体地，在本发明实施例中，地面站管理平台在基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况之后，可以基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内各预设区域的果类目标的采收批次、采收各预设区域的果类目标所需派发的采收车数量，以及各采收车采收所述果类目标的作业路径。
可选地，所述地面站管理平台还具体用于：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
具体地，在本发明实施例中，在地面站管理平台接收到无人机在目标果园上空采集的第一图像信息之后，可以基于该第一图像信息，确定目标果园内各果树的位置信息以及目标果园的地形信息，进而基于各果树的位置信息和目标果园的地形信息，为地面无人车确定目标探测路径。
可选地，所述系统还包括采收车控制器和采收车；
所述采收车控制器用于基于所述地面站管理平台确定的所述目标果园内果类目标的采收策略，派发所述采收车在所述目标果园内进行采收作业。
具体地，本发明实施例提供的空地协同的果类目标采收决策系统还可以包括采收车控制器和采收车，其中收车控制器可以基于地面站管理平台确定的目标果园内果类目标的采收策略，派发采收车在目标果园内进行采收作业。
例如，在地面管理平台确定完目标果园内果类目标的采收策略之后，将该采收策略发送给采收车控制器，然后采收车控制器基于该采收策略，向采收车发送第一批次的采收任务，待当前批次的采收任务完毕后，地面管理平台对目标果园内果类目标的位置信息进行更新，等到下一批次的果类目标进行采收时，重新向采收车发送新的作业任务，循环往复，直到所有批次的果类目标完成采收。
可选地，本发明实施例中的采收车可以为无人采收车。
以采收油茶果为例，图4是本发明提供的空地协同的果类目标采收决策系统采收油茶果的流程示意图，如图4所示，包括：
步骤400，搭载有视觉传感器的无人机在油茶果园上空采集第一图像信息，并且可以将第一图像信息发送给地面站管理平台；
步骤410，地面站管理平台处理第一图像信息，并规划地面无人车的目标探测路径；
步骤420，搭载有视觉传感器的地面无人车基于目标探测路径在油茶果园内采集第二图像信息，并且可以将第二图像信息发送给地面站管理平台；
步骤430，地面站管理平台基于第一图像信息和第二图像信息，生成油茶果采收策略；
步骤440，无人采收车基于采收策略进行采收作业。
进一步，地面站管理平台可以判断无人采收车是否采收完所有批次的油茶果，在确定没有采收完所有批次的油茶果的情况下，继续基于采收策略派发无人采收车进行采收作业，直至无人采收车采收完所有批次的油茶果。
需要说明的是，地面站管理平台可以基于第一图像信息，得到整个园区内油茶树的具体位置、油茶树上方冠层的油茶果位置及其成熟度信息；地面站管理平台可以基于第二图像信息，得到整个园区内油茶树中、下方冠层的油茶果位置及其成熟度信息。
因此，地面站管理平台可以基于第一图像信息和第二图像信息，得到整个油茶园内油茶果的分布及成熟度情况。
需要说明的是，由于未成熟的油茶果呈青色，成熟的油茶果呈青褐色，则地面站管理平台可以根据不同成熟度的油茶果颜色的不同，基于图像处理技术将第一图像信息和第二图像信息转换为RGB颜色模型，进而确定油茶果图像面积与原图像面积的比值，进一步根据比例的大小和设置的预设阈值，对油茶果进行成熟度划分。
可选地，地面站管理平台可以基于第一图像信息和第二图像信息中的油茶园数据，生成三维采收地图，该地图中包含了油茶果的具体位置信息、成熟度情况、各区域产量状况、作物行的冠层高度以及油茶园的地形图，之后根据油茶果的成熟度情况对油茶果的采收批次及不同批次的采收时间进行规划，最后再根据每个采收批次中不同区域的具体的产量情况为其分配相应数量的无人采收车，循环往复，直至采收完所有批次的油茶果。
可选地，在本发明实施例中，在生成三维采收地图之后，地面站管理平台可以按照作物行对油茶园进行区域划分，根据各区域内油茶果数量的多少为各区域分配相应数量的采收车。
可选地，地面站管理平台可以对油茶园内油茶果的产量分布情况及成熟度情况进行统计，然后根据每块区域的油茶果产量和成熟度，以及先前获得的地形信息对油茶园内油茶果的采收批次、各区域需派发的采收车数量及采收车的作业路径进行规划；规划完毕后地面站管理平台向采收车控制器发送第一批次的采收任务，待当前批次的油茶果采收完毕后，地面站管理平台对油茶园内油茶果的位置信息进行更新，等到下一批次的油茶果进行采收时，重新向无人采收车发送新的作业任务，循环往复，直到所有批次的油茶果完成采收。
本发明提供的空地协同的果类目标采收决策系统，通过搭载有视觉传感器的无人机在目标果园的上空采集第一图像信息，并将该第一图像信息发送给地面站管理平台，进而通过地面站管理平台基于该第一图像信息，为地面无人车确定目标探测路径，进而通过搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，并将第二图像信息发送给地面站管理平台，进一步地面站管理平台基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
下面对本发明提供的空地协同的果类目标采收决策装置进行描述，下文描述的空地协同的果类目标采收决策装置与上文描述的空地协同的果类目标采收决策方法可相互对应参照。
图5是本发明提供的空地协同的果类目标采收决策装置的结构示意图，如图5所示，该装置包括：第一确定模块510、图像采集模块520、第二确定模块530和第三确定模块540；其中：
第一确定模块510用于基于在目标果园上空采集的第一图像信息，确定目标探测路径；
图像采集模块520用于控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
第二确定模块530用于基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
第三确定模块540用于基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
本发明提供的空地协同的果类目标采收决策装置，通过首先基于在目标果园上空采集的第一图像信息，为地面无人车确定目标探测路径，进而控制搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，然后基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
可选地，所述第三确定模块540具体用于：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
可选地，所述第一确定模块510具体用于：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
可选地，所述装置还包括采收模块，所述采收模块用于：
基于所述目标果园内果类目标的采收策略，派发采收车在所述目标果园内进行采收作业。
本发明提供的空地协同的果类目标采收决策装置，通过首先基于在目标果园上空采集的第一图像信息，为地面无人车确定目标探测路径，进而控制搭载有视觉传感器的地面无人车基于该目标探测路径在目标果园内采集第二图像信息，然后基于第二图像信息和第一图像信息，确定目标果园内果类目标的产量分布情况和成熟度情况，最后基于果类目标的产量分布情况和成熟度情况，以及目标果园的地形信息，确定目标果园内果类目标的采收策略，则根据该采收策略可以实现对不同产量分布和不同成熟度的果类目标的精准、高效地自动化采收。
在此需要说明的是，本发明实施例提供的上述空地协同的果类目标采收决策装置，能够实现上述空地协同的果类目标采收决策方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图6是本发明提供的电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各方法所提供的空地协同的果类目标采收决策方法，该方法包括：
基于在目标果园上空采集的第一图像信息，确定目标探测路径；
控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的空地协同的果类目标采收决策方法，该方法包括：
基于在目标果园上空采集的第一图像信息，确定目标探测路径；
控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的空地协同的果类目标采收决策方法，该方法包括：
基于在目标果园上空采集的第一图像信息，确定目标探测路径；
控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种空地协同的果类目标采收决策方法，其特征在于，包括：
基于在目标果园上空采集的第一图像信息，确定目标探测路径；
控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
2.根据权利要求1所述的空地协同的果类目标采收决策方法，其特征在于，所述基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，包括：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
3.根据权利要求1所述的空地协同的果类目标采收决策方法，其特征在于，所述基于在目标果园上空采集的第一图像信息，确定目标探测路径，包括：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
4.根据权利要求1-3任一项所述的空地协同的果类目标采收决策方法，其特征在于，所述方法还包括：
基于所述目标果园内果类目标的采收策略，派发采收车在所述目标果园内进行采收作业。
5.一种空地协同的果类目标采收决策系统，其特征在于，包括：
搭载有视觉传感器的无人机、搭载有视觉传感器的地面无人车和地面站管理平台；
所述无人机用于基于所述地面站管理平台发送的拍摄指令，在目标果园的上空采集第一图像信息，并将所述第一图像信息发送给所述地面站管理平台；
所述地面无人车用于基于所述地面站管理平台确定的目标探测路径，在所述目标果园内采集第二图像信息，并将所述第二图像信息发送给所述地面站管理平台；
所述地面站管理平台用于基于所述第一图像信息，确定所述目标探测路径，并将所述目标探测路径发送给所述地面无人车，还用于基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况，并基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
6.根据权利要求5所述的空地协同的果类目标采收决策系统，其特征在于，所述地面站管理平台具体用于：
基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内各预设区域的果类目标的采收批次、采收所述各预设区域的果类目标所需派发的采收车数量，以及各所述采收车采收所述果类目标的作业路径。
7.根据权利要求5所述的空地协同的果类目标采收决策系统，其特征在于，所述地面站管理平台还具体用于：
基于所述第一图像信息，确定所述目标果园内各果树的位置信息以及所述目标果园的地形信息；
基于所述各果树的位置信息和所述目标果园的地形信息，确定所述目标探测路径。
8.根据权利要求5-7任一项所述的空地协同的果类目标采收决策系统，其特征在于，所述系统还包括采收车控制器和采收车；
所述采收车控制器用于基于所述地面站管理平台确定的所述目标果园内果类目标的采收策略，派发所述采收车在所述目标果园内进行采收作业。
9.一种空地协同的果类目标采收决策装置，其特征在于，包括：
第一确定模块，用于基于在目标果园上空采集的第一图像信息，确定目标探测路径；
图像采集模块，用于控制搭载有视觉传感器的地面无人车，基于所述目标探测路径，在所述目标果园内采集第二图像信息；
第二确定模块，用于基于所述第二图像信息和所述第一图像信息，确定所述目标果园内果类目标的产量分布情况和成熟度情况；
第三确定模块，用于基于所述果类目标的产量分布情况和成熟度情况，以及所述目标果园的地形信息，确定所述目标果园内果类目标的采收策略，所述目标果园的地形信息是基于所述第一图像信息确定的。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述空地协同的果类目标采收决策方法。
CN202310262846.1A 2023-03-14 2023-03-14 空地协同的果类目标采收决策方法、系统及装置 Pending CN116958032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310262846.1A CN116958032A (zh) 2023-03-14 2023-03-14 空地协同的果类目标采收决策方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310262846.1A CN116958032A (zh) 2023-03-14 2023-03-14 空地协同的果类目标采收决策方法、系统及装置

Publications (1)

Publication Number Publication Date
CN116958032A true CN116958032A (zh) 2023-10-27

Family

ID=88448066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310262846.1A Pending CN116958032A (zh) 2023-03-14 2023-03-14 空地协同的果类目标采收决策方法、系统及装置

Country Status (1)

Country Link
CN (1) CN116958032A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118123856A (zh) * 2024-03-20 2024-06-04 北京中科原动力科技有限公司 一种果蔬采摘机器人控制方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118123856A (zh) * 2024-03-20 2024-06-04 北京中科原动力科技有限公司 一种果蔬采摘机器人控制方法及装置

Similar Documents

Publication Publication Date Title
CN109716167B (zh) 映射和建立使用空中无人机进行收割-稀释任务的数据库的系统和方法
US20210150184A1 (en) Target region operation planning method and apparatus, storage medium, and processor
AU2019238711A1 (en) Method and apparatus for acquiring boundary of area to be operated, and operation route planning method
CN105158254A (zh) 一种农作物成熟度识别方法
CN116958032A (zh) 空地协同的果类目标采收决策方法、系统及装置
EP4229605A1 (en) Normalizing counts of plant-parts-of-interest
US20230397521A1 (en) Automated and directed data gathering for horticultural operations with robotic devices
Ribeiro Seijas et al. Autonomous robotic assistance system and method in agricultural tasks
EP4280011A1 (en) Autonomous robotic assistance system and method in agricultural tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination