JP2019528216A - 収穫及び希薄化(dilution)する(間引く)ためのドローンの隊管理用のシステム及び方法 - Google Patents

収穫及び希薄化(dilution)する(間引く)ためのドローンの隊管理用のシステム及び方法 Download PDF

Info

Publication number
JP2019528216A
JP2019528216A JP2019530249A JP2019530249A JP2019528216A JP 2019528216 A JP2019528216 A JP 2019528216A JP 2019530249 A JP2019530249 A JP 2019530249A JP 2019530249 A JP2019530249 A JP 2019530249A JP 2019528216 A JP2019528216 A JP 2019528216A
Authority
JP
Japan
Prior art keywords
fruit
uav
harvesting
tree
orchard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019530249A
Other languages
English (en)
Other versions
JP7026114B2 (ja
JP2019528216A5 (ja
Inventor
ヤニブ・マオル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tevel Advanced Technologies Ltd
Tevel Aerobotics Technologies Ltd
Original Assignee
Tevel Advanced Technologies Ltd
Tevel Advanced Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tevel Advanced Technologies Ltd, Tevel Advanced Technologies Ltd filed Critical Tevel Advanced Technologies Ltd
Publication of JP2019528216A publication Critical patent/JP2019528216A/ja
Publication of JP2019528216A5 publication Critical patent/JP2019528216A5/ja
Application granted granted Critical
Publication of JP7026114B2 publication Critical patent/JP7026114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/24Devices for picking apples or like fruit
    • A01D46/253Portable motorised fruit pickers
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G25/00Watering gardens, fields, sports grounds or the like
    • A01G25/16Control of watering
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • A01G3/08Other tools for pruning, branching or delimbing standing trees
    • A01G3/085Motor-driven saws for pruning or branching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/22Taking-up articles from earth's surface
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/40UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/60UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Robotics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Water Supply & Treatment (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Catching Or Destruction (AREA)
  • Image Processing (AREA)
  • Guiding Agricultural Machines (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本発明は、果物を収穫又は希薄化するための自立型無人航空機(UAV)の隊管理用の管理システム、及びUAVの隊を用いて最適な収穫のためのコンピュータ化された方法を提供する。

Description

本発明は、農業機器、特に収穫の技術分野に関する。より具体的には、本発明は、収穫、希薄化、及び剪定のデバイスに関する。より具体的には、本発明は、例えば、リンゴの木、洋梨の木、アプリコットの木、桃の木、オレンジの木、小さな柑橘類の果物の木、レモンの木、アボカド、つる植物、トマト、ナス、キュウリ、ペッパー等の果樹園、農園、及び温室のための収穫、希薄化、又は剪定のデバイスに関する。本発明は、フィールドの耕作(field grows)及びフィールドの植え込み(field plants)の技術分野に関するものではなく、作物のダスティング、作物の植え込み、肥料やり、及び他の農作物のジョブに対応しない。
従来の果樹園の収穫デバイスは、大量労働や、人又は自動のはしごによって保持されて操作される自動の剪定ばさみのような支援ツールに基づくものである。進歩したツールは、いくつかのロボットアームを有する大きなトラックである。当該トラックは、大きく、高価で、複雑である。それぞれのロボットアームは、木の頂部又は底部から取るのに十分に、長く柔軟である必要がある。ロボットアームは、少なくとも4自由度ある必要があり、非常に高価な解決策となる。
特に、上述のトラックは大きく、ほとんどの現行の農園/果樹園に適合せず、木のラインを通過することができない。また、山地での機動性に制限がある。より小さなロボットの/自動の車両は、地面が複雑なことによる機動性及び通過性の問題があり、木の頂部から果物を取ることができず、また2〜4軸の長いロボットアームの複雑性も有する。
希薄化は、通常、早期段階で木から果物を分離することによって、大量労働により手動でされ、それによって大きな果物を栽培することができる。剪定は、通常、手動の鋸又は鋸を保持する地上の車両によってされる。
本発明に対して、現行のドローンは、葉及び枝を突き出すことができる固定の長いアームを有さず;危険に対する保護のための保護ネットを有するが、実際の収穫のためにネットを使用せず;閉ループのフードバックを可能にするドローンカメラに備わるアームを有さず;収穫機の機能性を有さず;アームと共に近付いてドローンの移動制御をすることによって観察される、熟した果物の検出をすることができない。現行のドローンでは、バッテリは、固定の位置を有し、できる限りドローンの重心の近くに位置しており、剪定ばさみを保持せず、ドローンに力を加えることなく収穫する能力がなく、全てのモータは水平(horizontal)である。
現在、エリアのマッピングは、3000フィートよりも高い高さからエリアの写真を撮る大きなUAV又は通信衛星によって行われ、1枚の写真で全エリアを含めることができる。しかしながら、当該写真は、大抵、低解像度であって、高解像度のカメラでさえ、限定的な結果となる。高解像度の画像が要求される場合、マッピングの方法は、低い高さ(100〜1000フィート)で飛行し、エリアをスキャンし、飛行中に多くの写真を取得するドローン/クアッドコプターによって行われ、ステッチソフトウェアは、超解像の画像を作成する。
それぞれのピクセルに絶対座標を提供するために、いくつかのアンカーがエリア内に配置される。それぞれのアンカーは、上方から及びGPSの座標から見ることができる視覚的な特徴を有する。撮られる全ての写真は、少なくとも1つの前記アンカーを含み、その情報は、写真データと共に分析されて、それぞれのピクセルが座標を有する超解像の画像を生成する。しかしながら、アンカーの設置は、それぞれのアンカーの所望の位置へ人が到着してその場所に取り付ける必要がある、時間のかかるタスクである。さらに、スキャンが完了した後、アンカーを集める必要がある。
現在、収穫は、手動か機械で行われる。機械的な収穫では、熟した果物と熟していない果物との選別はされていない。現在、従来の発明で説明したことだけでなく、農業のタスクも、意図せず木を見逃すのを防止するために、ライン毎に、木毎に、逐次的に行われる。逐次的であることは、収穫に関して最も効率的な方法であって、地上の労働者及び地上の自律収穫機の管理に関して最も容易な方法である。
成熟過程が長く(数週間)、全ての木に関して又は同じ木に関してさえも一様でないため、選別した収穫は有利である。さらに、農作業者は、木及び果物に対するダメージを防止することを望む。選別した収穫及び選別した希薄化は、短期間に大量の労働力を必要とし、しばしば、農作業者が農園の状態を追跡せず農園のデータベースを管理せず、むしろ一度に全ての果物を収穫するという結果となる。さらに、農作業者は、労働力の不足のため、及び収穫期間が短いため、選別した収穫/希薄化を実際に行うためのツールを有していない。
機械的な収穫デバイスを開発するために、いくつかの試みがなされている。例えば、米国特許出願公開第2016/0307448号には、浮揚性ガス及びプロペラの組合せによって昇降するドローンが開示されており、農地における収穫を含む自動化された農業のために使用される。
米国特許出願公開第2017/0094909号には、木から硬い殻の果物を収穫するためのドローンが開示されている。ドローンは、果物を識別するカメラと、果物を収穫するアームとを備える。米国特許第9,420,748号は、剪定のためのドローンに関し、当該デバイスは、カット手段(例えばチェーンソー)とカメラとを備える。
米国特許出願公開第2016/0340006号には、人命救助のためのカメラ及び昇降機構を備える救助ドローンが開示されている。IN4041MUM2015は、茎から果物をカットするための延長可能なカッターと、果物を識別するためのカメラとを有する、硬い殻の果物を収穫するドローンに関する。CN206024714は、水タンク(5)とカッター(6)とを備え、作物に水をまいて作物を剪定するように設計された、農作物の手入れをするドローンに関する。CN104919981は、硬い殻の果物、具体的には中国のカヤフルーツ(Chinese torreya fruits)を採集するためのドローンに関し、カット手段(1)を端部に有する、延長されたロッド(8)と、果物を収集するネット(16)とを備える。CN104590562は、ボムガン(bomb gun)と、照準機構と、保護ケージ及びバンパーとを備える消火ドローンに関する。
また、別の公開は、農業のタスクを含む様々なタスクのためのドローンを開示する。例えば、FLEWRO(ナツメヤシ、ココナッツ、果物を木から採るためのドローン)は、硬い殻の果物を採るドローンに関し、果物の画像を取得するためのカメラと、ドローンを安定させるためのジャイロスコープ及びGPSと、果物が熟れているかどうかを特定するための第1のロボットアームと、硬い殻の果物を採るための第2のロボットアームとを備える。Intelligent Swarm of Drones for Harvesting Fruit(果物を収穫するためのインテリジェントドローンの群)は、果物を収穫するためのドローンの群に関する。各々のドローンは、果物の識別及びその完熟度の評価を行うためのカメラと、カット(刈り込み)手段とを備える。収穫は、日が沈んで充電が停止するまでか、又は全ての熟した果物が採られるまで、収穫が行われる。Fruit Plucking Fling Reobot(果物を採る飛行ロボット)は、高い所から果物の収穫のための飛行ロボットに関し、果物を検出するためのカメラと、果物をカットするための回転刃を備えるロボットアームとを備える。Design and Development of Mobile Fruit Plucker(モバイルの果物摘採機の設計及び開発)は、カメラで果物を識別して、取り付けられたカッターで木を切るモバイルの果物摘採機に関する。Droneball Go, a Drone With a Multi−Axis Cage Designed to Crash, Tumble, Roll, and Keep Flying(ドローンボールゴー、ドローンがクラッシュ、落下、回転、飛行維持できるように設計された、複数軸のケージを備えるドローン)は、ドローンがクラッシュ、落下、回転、飛行維持できるように設計された、複数軸のケージを備えるカメラドローンに関する。
特に、全ての先行技術のデバイス及びシステムは、果物を収穫するために茎に近づけるように設計される。さらに、どの先行技術のデバイス及びシステムも、軟らかい殻の果物の収穫向きではなく、硬い殻の果物を収穫するために従来のデバイスを使用/修正を試みると、当該軟らかい殻の果物を傷つける結果となる。さらに、どの先行技術文献も、一度果物が収穫された後のデバイスのバランスの問題はもちろんのこと、採取した後、果物を保持することができるデバイスを提供しない。最後に、全ての従来のドローンシステムは、「感知及び回避」のシステムであるが、本発明のシステムは、「感知及び従事」(”sense and engage”)のシステムである。
本発明は、果物を収穫又は希薄化するための自立型無人航空機(UAV)の隊管理用の管理システムを提供する。前記システムは、(a)果物を収穫又は希薄化するための1又は複数の自律型UAVと;(b)果樹園又は木の位置及び外形のデータベースをマッピングするためのコンピュータ化されたシステムと;(c)基地ステーションと;(d)任意で果物容器と;(e)1又は複数のエネルギー供給とを備える。1又は複数の自律型UAVは、(i)メモリ及びプロセッサを備えるコンピューティングシステムと、(ii)果物収穫ユニットと、(iii)電源と、(iv)衝突防止システムと、(v)UAVに対する果物の位置を計算するように構成された果物検出ユニットと、(vi)枝及び葉を押し出すように構成された、突き出た網状のケージとを備える。前記衝突防止システムは、障害物との前記UAVの衝突を防止し、それにより、所定の目標ポイントへ前記UAVの自律的なナビゲーション、飛行及び操縦を可能にする。前記UAVは、前記UAVを操縦して識別される果物を収穫できる場所に収穫ユニットを配置するために、果物検出ユニットから受信した果物の位置情報を使用する。前記ケージは、UAVが梢/葉に入り込んで内側の果物に達することができるように枝及び葉を押しのけることによって、及び/又は、収穫ユニット(さらにケージ)によって枝から前記果物を引っ張る際に反対方向に押し出すことによって、収穫プロセスを補助するように構成される。前記管理システムは、(1)果物収穫UAV、果物容器、果物搬送UAV、アンカーユニット、及びアンカー搬送UAVを含むUAVの隊の管理、及び/又は(2)果物の完熟度に基づいた、収穫又は希薄化のミッションのために用いられる。
本発明は、プロセッサ及びメモリを用いたUAVの隊を用いる最適な収穫のためのコンピュータ化された方法をさらに提供する。前記方法は、(a)果樹園のデータベースで果樹園のデジタル表現を構築するステップであって、前記データベースは、果樹園及び果物の情報の複数レイヤーの表現を備えるステップと;(b)自律型果物収穫UAVにタスクを提供するステップと;(c)収穫中に果樹園内の異なるUAVから取得されるデータを通じて、収穫の間に前記データベースを更新するステップと;(d)生成されるデータベースに基づいて収穫される必要がある果物に対して、前記果物収穫UAVを向かわせるステップとを含む。
2軸自由度のロボットアームを備える本発明の収穫デバイスの斜視図である。 固定アーム(0軸自由度)を備える本発明の収穫デバイスの斜視図である。 固定アーム(0軸自由度)を備える本発明の収穫デバイスの斜視図である。 固定アーム(0軸自由度)を備える本発明の収穫デバイスの斜視図である。 固定アーム(0軸自由度)を備える本発明の収穫デバイスの斜視図である。 丸鋸のような鋸を備える本発明の収穫デバイスの斜視図である。 トランポリンを有する収集ベースに統合される空中収穫デバイスの斜視図である。 ベースと関連付けられるいくつかの空中デバイスを備える本発明の実施形態に係る空中収集システムのフルシステムの斜視図である。 ベースと関連付けられるいくつかの空中デバイスを備える本発明の実施形態に係る空中収集システムのフルシステムの斜視図である。 果物/枝及びアームを含むナビゲーションカメラ又は果物のカメラによって取得される画像を示し、閉ループ制御方法の一部である。 ドローンの閉ループ制御方法を説明するブロック図である。 果物の木への接続をカットするための、又は剪定するためのカスタマイズされたクリッパー/剪定ばさみを備える本発明の収穫デバイスの斜視図である。 (ドローンに力を発生させることなくカットを可能にする)カスタマイズされたパーム(palm)を備える本発明の収穫デバイスの斜視図である。 果物を保持するパームを含む本発明の収穫ドローンと、アーム及び果物の重量を平衡させるための機構を示す。 果物を保持するパームを含む本発明の収穫ドローンと、アーム及び果物の重量を平衡させるための機構を示す。 果物を保持するパームを含む本発明の収穫ドローンと、アーム及び果物の重量を平衡させるための機構を示す。 垂直プロペラも含む本発明のドローンによって引っ張り力を加えることによって木から果物を引っ張る、1つの考えられる機構を示す。 ドローンのアームの端部のワイヤ/ケーブルのループを用いて、木から果物をカットし/引っ張る、1つの考えられる機構を示す。 ドローンのアームの端部のワイヤ/ケーブルのループを用いて、木から果物をカットし/引っ張る、1つの考えられる機構を示す。 ドローンのアームの端部のワイヤ/ケーブルのループを用いて、木から果物をカットし/引っ張る、1つの考えられる機構を示す。 ドローンのアームの端部のワイヤ/ケーブルのループを用いて、木から果物をカットし/引っ張る、1つの考えられる機構を示す。 木の葉と枝との間に入り込むためにドローンの補助も行い、ドローンを保護して木から果物をカットするのを支援するために枝を押し出す、保護ネット/ケージを有する本発明のドローンを示す。 木の葉と枝との間に入り込むためにドローンの補助も行い、ドローンを保護して木から果物をカットするのを支援するために枝を押し出す、保護ネット/ケージを有する本発明のドローンを示す。 フィールド/農園をマッピングするために、そして他の収穫ドローンを案内するために用いられるマーカーを有する本発明のドローンを示す。他の高い位置のドローン/UAVによって観察され得るアンカードローンの平面図である。 フィールド/農園をマッピングするために、そして他の収穫ドローンを案内するために用いられるマーカーを有する本発明のドローンを示す。グローバルポジションシステム(GPS)受信機と、UWB(時間の測定と正確な時間にデータ通信を可能にする超広帯域無線受信機)のようなローカルポジションシステム(LPS)とを示すアンカードローンデバイスの側面図を示す。 アンカードローンによってマッピングされた農園を示す。図16A内の矢印によって、当該ドローンが配置される場所を示す。 アンカードローンによってマッピングされた農園を示す。図16B内の矢印によって、当該ドローンが配置される場所を示す。 アンカードローンによってマッピングされた農園を示す。どのように、システムが、(それぞれの木が丸で囲まれている)農園内の全ての木を識別するのかを示し、本発明のドローン又はドローンの隊を制御するための入力データベースとして機能するかを示す。 どのように、特定の木の果物が、収穫のためのドローンによって/に関してマッピングされて、本発明の1つのドローン又はドローンの隊を制御するための入力データベースとして機能するかどうかを示す。本データベースの精度は、5〜10cmである。 本発明の多くのドローン及び収集ベースを含むフルシステムの斜視図を示す。 隊の管理ドローンの収穫アルゴリズムを説明するブロック図である。 農園内の熟した果物(収穫するのに準備ができている)のエリアを示すデータベースの一時的な状態を示す。データベースの情報は、ワーキングタスク間に収集される。0にリセットされた状態を示す。 農園内の熟した果物のエリアを示すデータベースの一時的な状態を示す。データベースの情報は、ワーキングタスク間に収集される。収穫する準備ができている熟した果物の数を示す。 農園内の熟した果物のエリアを示すデータベースの一時的な状態を示す。データベースの情報は、ワーキングタスク間に収集される。 ある収穫地域から収穫される果物の品質と、収穫される果物の数(量)を示すデータベースの一時的な状態を示す。 ある収穫地域から収穫される果物の品質と、収穫される果物の数(量)を示すデータベースの一時的な状態を示す。 複数のバッテリを運んで、交換のためにリモートドローンに前記バッテリを運ぶように設計されたパワードローンを示す。 複数のバッテリを運んで、交換のためにリモートドローンに前記バッテリを運ぶように設計されたパワードローンを示す。 収穫アームが果物を引っ張りながらUAVが葉に入り込むのを可能にするように、枝及び葉を押し出すことができるネット/ケージの円錐形状を示す。前記ケージは、前方の穴と、果物を運ぶために用いられるケージへ果物を引っ張る前後に移動するアームとを有する。ケージの独特な形状は、先行技術の「感知及び回避」ではなく「感知及び従事」の方法を可能にする。 収穫アームが果物を引っ張りながらUAVが葉に入り込むのを可能にするように、枝及び葉を押し出すことができるネット/ケージの円錐形状を示す。前記ケージは、前方の穴と、果物を運ぶために用いられるケージへ果物を引っ張る前後に移動するアームとを有する。ケージの独特な形状は、先行技術の「感知及び回避」ではなく「感知及び従事」の方法を可能にする。 例えば木、枝、葉等の外部部材によってネット/ケージに加えられる力及び力ベクトルを測定する触覚で感知可能なフィードバックを示す。ドローンは、木及び枝に力を発生させ、力を測定し、より大きな力を与えるか力の方向を変更するかどうかを決定するのに役立つため、触覚で感知可能なフィードバックは重要である。このタイプのセンサは、UAVが木に当たっている間の自律操縦で重要である。特定の実施形態では、ケージの形状は、木の中で積み重なるのを防止するため、滑らかな単調曲線である。 いくつかのIMUセンサを用いた触覚で感知可能なケージの別の実施形態を示す。 いくつかのIMUセンサを用いた触覚で感知可能なケージの別の実施形態を示す。 いくつかのIMUセンサを用いた触覚で感知可能なケージの別の実施形態を示す。 果物と木との間で果物に引っ張り力を発生させるための考えられる機構を示す。 機械的な収穫アームで果物を保持しながら、引っ張り力として重力を用いた収穫を示す。 本発明のUAVの考えられる、果物のカット機構を示す。カットは、開口を通じてケージ内に果物を引っ張った後に行われる。 本発明のUAVの考えられる、果物のカット機構を示す。カットは、開口を通じてケージ内に果物を引っ張った後に行われる。 充電ポイントで容器に果物を放出しながら同時に、超急速充電を可能にする、スーパーキャパシタ又は他の急速充電されるエネルギーパックを備えるUAVを示す。 本発明の隊管理アルゴリズムによってUAVに割り当てられるルートの検索を示す。 本発明の隊管理アルゴリズムによってUAVに割り当てられるルートの検索を示す。 本発明のいくつかの実施形態に係る果物搬送UAVを示す。 茎をカットして/ちぎりながら、果物を覆うことによって木から果物を採るための様々な方法を示す。 隠れた茎を引っ張るループによって、木から果物を採るための様々な方法を示す。 果物を保持する2つのループによって、木から果物を採るための様々な方法を示す。 真空ポンプによって、木から果物を採るための様々な方法を示す。 様々な収穫システム構成部材の現在の位置情報マップを示す。
本発明は、木の近く、下、及び上でホバリングすることができる、ドローン/ミニコプター/クアッドコプター/又は他の小さな無人航空機(UAV)を用いて、例えば果樹園及びつる植物のための収穫デバイスも、収穫方法も提供する。本発明の収穫ドローンは、木から所望の果物をカットすることができる鋸、ナイフ、クリッパー又は剪定ばさみを任意に有する、果物を採ることができるアームを備える。さらに、本発明は、木から小さな果物を分離するための収穫デバイスと同様のアームを有する希薄化デバイスを提供する。また、本発明は、収穫デバイスと同様のアームを有する剪定デバイスを提供するが、それは、木から枝を分離するためにより強い力を加える。
本発明の収穫ドローンは、木、人、及び他のドローンとの意図しない衝突を防止して複雑な環境での安全なナビゲーションを可能にする衝突防止システムをさらに備える。本衝突防止システムは、限定されないが、IR範囲オプトカプラ、超音波範囲測定、立体カメラ、レーダー及び視覚カメラを含む。本発明の収穫ドローンは、ドローンのプロペラを危険から保護して、さらに、ドローンが内側の果物に近付くために枝及び葉に入り込むのを可能にする保護ネット/ケージを有してもよい。また、前記ケージは、例えば、果物を引っ張りながら枝に対して反対方向に押し出すことによって、収穫手順に従事してもよい。
また、本発明の収穫ドローンは、果物の大きさ、色、及び形状を測定するカメラや、果物の軟らかさに関する触覚で感知可能なフィードバックを有するデバイス等の果物検出ユニットを備えてもよい。
さらに、本発明は、果物の位置を検出してドローンを最適な位置にナビゲートするアルゴリズムと、果物が熟していて採取できる状態かどうかを決定するアルゴリズムとを提供する。
したがって、本発明は、
(a)例えば、(i)収穫ユニットと、(ii)電源と、(iii)衝突防止システムと、(iv)果物検出ユニットと、(v)突き出ている押し出しケージとを備えるドローン/ミニコプター/クアッドコプター等の小さな無人航空機(UAV)と、
(b)メモリ、プロセッサ、及びUAVに対する果物の位置を計算するアルゴリズムを有するコンピュータと
を備える果物収穫デバイス/UAVを提供する。
(1)前記衝突防止システムは、前記UAVと障害物(例えば、木、人、他のUAV等)との衝突を防止して、それによって複雑な環境で前記UAVの自律したナビゲーションを可能にする。
(2)前記果物検出ユニットは、前記コンピュータ及びアルゴリズムと共に、前記UAV及び/又は収穫ユニットを自律的に果物へ操縦することを可能にする。
(3)前記ケージは、気流を許容して、(a)UAVが梢/葉に入り込むのを可能にするために、枝及び葉を押しのけることによって、そして(b)木から前記果物を引っ張る際に反対方向に押し出すことによって、収穫プロセスを補助し、さらに、潜在的な危険(例えば葉や枝等)から前記UAV及びエンジンブレードを保護する。
さらに、本発明は、(i)メモリ及びプロセッサを備えるコンピューティングシステムと、(ii)果物収穫ユニットと、(iii)電源と、(iv)衝突防止システムと、(v)UAVに対する果物の位置を計算するように構成された果物検出ユニットと、(vi)枝及び葉を押し出すように構成された突き出た網状のケージとを備える、果物を収穫又は希薄化するための改良された自立型無人航空機(UAV)を提供する。前記衝突防止システムは、障害物との前記UAVの衝突を防止し、それによって、所定の目標ポイントに向けて、前記UAVの自律したナビゲーション、飛行、及び操縦を可能にする。前記UAVは、前記UAVを操縦して識別される果物を収穫できる場所に収穫ユニットを配置するために、果物検出ユニットから受信した果物の位置情報を用いる。前記ケージは、UAVが梢/葉に入り込んで内側の果物に達することができるように枝及び葉を押しのけることによって、及び/又は、収穫ユニット(さらにケージ)によって枝から前記果物を引っ張る際に反対方向に押し出すことによって、収穫プロセスを補助するように構成される。
本発明の果物収穫デバイス/UAVのある実施形態では、ユニットの操縦がUAV全体を操縦することによって行われるように、前記収穫ユニットは、ヒンジの無い固定の本体又はケージである。
「ドローン」及び「UAV」という用語は、本明細書では互換的に用いられ、本明細書で必要とされて定義される任意の形状及び大きさの無人航空機を指す。
図1は、果物を採るためのロボットアームと;枝、地面、人、他のドローン、及び他の障害物と、ホバリングしているドローンとの衝突を防止するための衝突防止センサと;果物を探して最適なナビゲーションルートを感知するためのナビゲーションカメラと;果物が熟れていることを確認するための果物カメラ(任意で前述と同じカメラ)と;果物が熟れていることを確認するための圧力センサと;木から果物を分離するためのパームと統合したドローンを示す。
図1のロボットアームは、標準のロボットアームであってもよく、その長さは、枝に触れることなく又は枝にソフトタッチで、枝に突き出て果物に近付くために十分な長さが必要であるが、ドローンを不安定にするのを回避するために十分短い必要がある。図1に示すロボットアームは、少なくとも2自由度を有するフレキシブルなアームであって、ドローンを移動させることなく果物に近付くことを可能にする。特定の実施形態では、図2A〜図2Dに示すように、ロボットアームは、しっかりと固定されたアームであって、果物に達して果物を採るためにドローンを移動させる必要がある。
図2A〜図2Dで示す、固定されたロボット収穫アームは、上に取り付けられてもよく(図2C)、又は底に取り付けられてもよく(図2A及び図2D)、又はドローンの側面に取り付けられてもよく、又は任意の組合せで取り付けられてもよい(図2B)。この例は、図1に示すフレキシブルなロボットアームとは対称的で、固定されたロボットアームである。本構成では、アームを移動させるのではなく、ドローンを移動させることによって果物に近づく。ドローンは、自身のフィードバック及びモータの制御を行い、特別な制御のハードウェアは、果物に近付くのに必要としない。本出願の意義は、本制御システムが、手頃な価格で解決できることを意味する低コストで低電力であって、より長い飛行時間とより長い平均故障間隔(MTBF)を意味する低重量であることにある。
本発明の果物収穫デバイス/UAVのある実施形態では、収穫ユニットは、任意でヒンジを有する収穫専用のアームである。特定の実施形態では、収穫アームは、果物を引っ張るための果物把持機構を有する引っ張りアーム、又は木から果物をカットするための果物カット機構を有するカットアーム、又はその組合せである。さらに、他の特定の実施形態では、収穫アームは、引っ張りアームである。あるいは、収穫アームは、(果物が引っ張られて茎が露出したときに果物をカットするための)カット機構と組み合わされた(果物を引っ張るための)引っ張りアームを備える。一実施形態では、UAVは、真空管を備える。
本発明の果物収穫デバイス/UAVのある実施形態では、収穫アームは、ケージ内の専用の開口を通じて通過し、前記果物を把持して、任意で引き離すように設計される。
図2に示す本発明のUAVは、ドローンの近くの果物を探すナビゲーションカメラと;例えば環境の色及び形状から果物の色及び形状を分離することによって、果物の位置を検出するアルゴリズムとを含む。ここで、追加のアルゴリズムは、果物に向けてドローンアームを移動/ナビゲートするための、前記ナビゲーションカメラ及び前記果物カメラから取得される情報を用いてドローンをナビゲートする。
本発明のいくつかの実施形態に係るUAVによる果物の収穫は、図1に示すように、すなわち、果物を保持する収穫アームを移動させることによって、又は図2に示すように、すなわち、固定の収穫アームが果物をつかんだ後ドローン全体を移動させることによって、又はその組合せによって行われる。周囲の衝突防止センサが、一方向の測定範囲が短すぎる場合(例えば約2〜5cm)、ドローンは、その移動を反対側に固定する。収穫アームが果物に近付いたとき、アルゴリズムは、移動させることなく固定位置でホバリングさせるようにドローンの位置を維持し、移動させることなくナビゲーションカメラの情報を用いることができる。第3のアルゴリズムは、果物カメラ及び圧力センサから取得されるパラメータを用いて、果物が熟れていることを確認するために用いられてもよく、これらのパラメータの任意のパラメータは、果物の色、大きさ、及び軟らかさであるが、さらに完熟度の検出技術が用いられてもよい。果物が熟れていることをアルゴリズムが決定するか又は採集するのに適していることを決定したとき、果物の採集段階が始まる。この段階で、アームはパームを閉じて果物を保持することができる。木からの果物の分離は、果物の種類、木の種類、果物を分離するのに必要な力の量、及び果物の成熟度/完熟度に応じて、任意の所望の方法で行われる。例えば、小さな力が必要な場合、例えば400グラム以下では、ドローンのモータは、木から果物を引っ張るために移動させることができ、当該移動は、回転有りで及び回転無しで木の方向と反対であってもよい。一方、より大きな力が必要な場合、例えば図3、図9、図10、図13、図32〜図35に示すような特別なアームは、果物をカットするか、枝と果物との間に任意の力を発生させ/加えることなく、ドローン自体に力を発生させ/加えることなく、木から分離するために用いられてもよい。図10に示すように、パームの第1の部分は枝を保持し、パームの第2の部分は果物を枝から押し離す。追加の方法は、枝(茎)との果物の接続をカットするための、図9及び図13のような鋸又はナイフの使用を示す図3と;茎をカット又はちぎりながら果物を覆うことを示す図32Aと;隠れているときに茎を引っ張るためのループの使用を示す図32Bと;ワイヤが果物に対して押し付けられるときに開口する2つのループによる果物の保持を示す図32Cと;木から果物を引っ張るための真空ポンプの使用を示す図32Dとに表される。
図7に示すような本発明のビデオデータ、及び距離センサ又は立体カメラから来る距離データは、閉ループ制御をして木に近付くために用いられる。図7の画像は、視野内に目標の果物又は枝を有し、収穫アームは、様々なタスクを実行するために用いられる。あらゆる3Dフレームに関して、本発明のUAVは、誤差のピクセル数に応じてミリメートルの誤差dx,dyを測定する。
Figure 2019528216
IFOVは、(水平方向のFOV)/(カメラの水平方向のピクセル数)である。3Dカメラ及びIFOVによって取得される場合の範囲は、視覚システムのパラメータであるピクセル視野である。Dzは、果物の範囲を差し引いたアームの端部の範囲である誤差範囲である。本発明のアームは、3Dカメラの視野内にある。
また、固定アームを有する本発明のUAVでは、UAVのコンピューティングシステムは、3Dの誤差を修正するために、UAVのプロップモータ(prop motor)を制御する。あるいは、2〜3軸のアームを有するUAVでは、UAVのコンピューティングシステムは、さらに、3Dの誤差を修正するために、収穫アームのモータを制御する。
図8は、閉ループ制御のプロセスを説明する。UAVのコンピューティングシステム/タスクプロセッサは、誤差の値を計算し、次の目標ホバリング位置X,Y,Z及び次のピッチヨー角を特定する。ホバリングコントローラは、それを移動コマンド(前後/上下/回転/傾斜/ピッチ等)に変換する。飛行コントローラは、UAVのモータのそれぞれの速度を特定する。モータコントローラは、モータの速度を所望の速度に維持する。速度が変更された後、UAVは、その位置(状態)を、GPS及び/又はIMUから取得される新しい位置、速度、加速度に変更する。より小さい誤差数を有する新しい3D画像が取得される。3Dのビデオにおける誤差がイプシロンよりも小さいときに、ドローンは、目標の果物/枝を、切り離し/保持/引っ張る状態にある。
本発明の果物収穫デバイス/UAVのある実施形態では、アームの操縦がUAV全体の操縦によって行われるように、収穫アームは、ヒンジが無い固定アームである。あるいは、収穫アームが移動可能であるとき、アームの操縦は、UAV全体及び/又はアーム自体を操縦することによって行われる。例えば、収穫アームは、1自由度を有していてもよい。すなわち、アーム全体が前後に移動する。または、収穫アームは、伸縮を可能にする伸縮自在な移動をしてもよい。または、収穫アームは、任意で、例えば上下/左右の横移動をしてもよい。または、収穫アームは、X軸上でねじる/回転の機能を有していてもよい。または、収穫アームは、任意の組合せであってもよい。
ある実施形態では、本発明の果物収穫デバイス/UAVの収穫アームは、水平方向である(図2D)。他の実施形態では、それは垂直である(図2A)。さらに、他の特定の実施形態では、アームは、「r」形状を有し、すなわち、UAVの本体から僅かに持ち上がり、そして水平方向に延びる(図2C)。
本発明の収穫デバイスの特定の実施形態では、収穫アームは端部にループを有するワイヤを備える中空管であって、ループが果物の隠れた茎(すなわち、枝との接続)をつかんで、UAVにかかる力を最小限にして果物を引っ張るかカットすることができる。さらに、他の特定の実施形態では、前記中空管の端部は、(例えば図32Bに示すように)例えば枝から果物を切り離すのを補助する鋭い刃やギロチン機構のような、前記果物をカットするためのカットユニットをさらに備える。
本発明の収穫デバイスのある実施形態では、収穫アームは、ループが茎に近付くまで果物に対して押し出されたときに、果物を覆う2つのワイヤループを備え、それによって、UAVが果物を引っ張るのを可能にする。
本発明の収穫デバイスのある実施形態では、収穫アームは、果物保持/把持機構(例えば、図32Cに示すような、はさみ、クランプ、ロボットフィンガー)を備える。本発明の収穫デバイスのある実施形態では、木から果物を引き離す真空ポンプによって果物が引っ張られる。
本発明の収穫デバイスのある実施形態では、収穫アームは、果物を枝から取り去るのを補助するための果物カットユニット(例えば、剪定ばさみ、鋸、はさみ、植木ばさみ)をさらに備える。
本発明の収穫デバイスの特定の実施形態では、収穫ユニットは、果物を覆うのに適した前記ケージ内の開口部である。特定の実施形態では、前記ケージ内の開口部は、UAVが枝から果物を引き離して果物を覆った後、所定の位置に前記果物を保持/確保するための手段をさらに備える。さらに、別の特定の実施形態では、前記ケージ内の前記開口部は、枝から果物を切り離すのを補助するために前記果物をカットするためのカットユニット(例えば鋭い刃やギロチン機構)を備える。
木/枝から果物を分離した後、ドローンは、果物を収集ポイントに持って行くか、地面に投げる/落とすか、採集を開始する前に木の周囲又は果物の容器の近くに取り付けられる収集ベース/トランポリンに投げる/落とす。図4は、当該収集ベースの使用を説明する。本ベースは、トランポリンや枕のように軟らかい。当該ベースの使用は、落下時に果物が傷付くのを防止するためであって、収集箱へ収集するためである。
図18は、本発明の収穫ドローンの群、隊と、収集ベース(トランポリンを有するか又は有しないバスケット)と、安全ブレスレット又は安全ビーコンを身につけた農作業者とを示す、本発明のいくつかの実施形態に係るシステムの斜視図である。図18は、いくつかの収穫UAVと、全てのUAVの移動を計画するための中心基地とを含むフルシステムの機能性を示す。各々のUAVは、基地ステーションに対するリアルタイム配置システムを備える。システムは、収穫される果物を収集するための収集ベースをさらに備える。システムは、ドローンによる怪我から保護するために、果樹園において前記ドローンの近辺で働く人々のために安全ブレスレットをさらに備えてもよい。
図5及び図6は、いくつかのドローンを含むフルシステムの機能性を示す。全てのドローンは、ワイヤ/ケーブルでキャリアに接続される。キャリアは、以下のアイテム、すなわち、木を見て可能性のある果物を探す探索カメラと;ドローンのためのルートを生成するプロセスユニットとを含む中心基地を有する。また、カメラは、ドローン及び果物の位置を追跡して、果物へ移動するようにドローンを案内する。ドローンが果物を保持したとき、ケーブルは、ドローンを押し上げて果物を採集する。同じことを側面からも行うことができる。また、ケーブルがエネルギーをドローンに伝達するために用いられ得るので、本コンセプトは、よりエネルギー効率がよい。また、本コンセプトは、ドローンの位置及び果物の位置について視覚フィードバックを有する。特に、図6に示す中心基地の設置は、優れた通過性を有して、より柔軟で可動性がある。
ある実施形態では、さらに、本発明のUAVのネット/ケージは、内側の果物に近付くために枝及び葉に入り込むのを支援して、危険からドローンプロップを保護する。
従来、ドローンは、図9に示すような剪定ばさみを保持していない。しかしながら、ある実施形態では、本発明のドローンは、例えば、枝との果物の接続が(3D)カメラによって可視化されて剪定ばさみによって近付くことができる場合に木から果物を分離するために剪定ばさみを有する収穫アームを備える。果物が比較的大きくて目に見える木の適切な例は、アボカド、マンゴー、グレープフルーツである。そのような大きな果物は、細くて目に見える茎を通じて枝につながる。剪定ばさみは、茎をカットして果物を分離し、その後、UAV/収穫アームによって保持されるバスケットへ、又は地面上に又はパームによって保持されるトランポリンへ落下する。
ある実施形態では、本発明の果物収穫デバイス/UAVは、収穫の際に果物を傷つけることなく、軟らかい殻の果物を収穫するのに適しており、そのために用いられる。
ある実施形態では、本発明の果物収穫デバイス/UAVは、茎が隠れていて、果物検出ユニットへ又は果物収穫/カットユニットへの視線(line of sight)がない果物を収穫するために用いられる。
特定の実施形態では、本発明のUAVは、次の少なくとも1つをさらに備える。
(i)任意で前記果物検出ユニットの一部として、果物にロックオンして、前記収穫ユニットが前記果物又はその茎をつかむまで、前記コンピューティングシステムと共に、UAVの移動及び/又は収穫アームを制御するように設計される視覚システム;
(ii)別の方向から果物を検査してそれによって果物にロックオンするのを支援するための追加のカメラ又はミラー;
(iii)収穫される果物を収集するための収集ネット;
(iv)前記収穫ユニットが反対の方向に果物を引っ張る際、枝を押しのけるように設計される追加の押し出しアーム;
(v)枝から果物を引っ張るとき前記UAVを後方に引っ張るのを補助するための垂直モータ(vertical motor);
(vi)位置決めユニット。
前記コンピューティングシステムは、果物の品質を特定するための、及び/又はUAVを完全に独立/自律可能にするためのアルゴリズムをさらに備える。果物の品質を特定するためのアルゴリズムは、モータの消費電流によって、及び/又はケージに配置される追加の重力測定ユニットによる測定によって計算される果物の重量測定を用いる。前記ケージは、UAVが前に移動するにつれて葉及び枝を押しのけることによって梢/葉に入り込むのを補助するために円錐形状を有し、UAVが、UAV自体に力がかかることなく枝から果物を引っ張ることができるように、ケージにかかる力を測定するための圧力センサを備える触覚で感知可能なケージである。前記果物は、任意で軟らかい殻の果物であって、前記収穫は、果物を傷つけることなく、及び/又は果物の茎が隠れているときに行われる。
通常、UAVのバッテリは、不安定性を回避するために中心に置かれる。したがって、図11Aに示すように、本発明のいくつかの実施形態に係るドローンの収穫アームは、果物を保持することができるパーム/グリップ機構を有する。パームは、いくつかのフィンガー、フレキシブルなキャブ、又は真空機構を備えてもよい。アームは長いので、不安定にするモーメントをを発生させ、それによりドローンをクラッシュさせる不安定な飛行をもたらし、又はモーメントを補うためにエネルギーを浪費し得る。したがって、ドローンのアームモータは、ドローンのバッテリ/エネルギーパックと同様に、ドローンの他方側に設けられる。この非中心に設けることにより、モーメントを平衡させる。
果物が採集されるとき、果物の重量は、ドローンにモーメントを発生させ、不安定な飛行及びエネルギーの浪費をもたらす。この不安定性を解決するために、本発明のUAVは、ドローンを安定させるために軸に沿って移動することができる移動可能なバッテリを有する。果物がないと、バッテリは、偏心しているが、UAVの中心近くに配置される。果物があると、バッテリ及びモータは、後方に移動して果物の重量とは反対のモーメントを精製する。図11Aに示すように、ドローンは、果物無しで安定している。一方、図11Bでは、果物と共にドローンが安定しているとき、ドローンの重心からのバッテリ/エネルギーパック及び/又はアームモータの距離が増加する。
果物を保持して軸に沿ってバッテリを移動させるように設計される機構が図11Cで説明される。バッテリは、開閉アーム機構に接続される。アームが閉じるとき、バッテリはより中心に配置されて、アームが開くとき、バッテリはより偏心して配置される。
したがって、ある実施形態では、本発明の収穫UAVは、収穫の間にUAVを安定させるために、軸に沿ってバッテリ/エネルギーパックを移動させることができる、安定するバッテリ/エネルギーパック機構を備える。
ある実施形態では、本発明の果物収穫デバイス/UAVは、前記収穫ユニットが反対方向に果物を引っ張る際、枝を押しのけるように設計される追加の押し出しアームをさらに備える。
ある実施形態では、前記押し出しアームは、例えば水圧又は機械的に延長可能であって、それによって、枝から果物を引っ張るために、UAVを後方へ引っ張ることなく枝を押しのけることができる。代替の実施形態では、押し出しアームは固定アームであって、収穫アームは、例えば水圧又は機械的に収納可能であって、それによって、移動を防止しながら、UAV自体の引っ張り力を用いることなく、枝から果物を引っ張ることができる。さらに、別の特定の実施形態では、ケージは、収穫ユニット/アームと共に果物を引っ張りながら枝を押しのけることによって、前記押し出しアームとして機能する。
図26に示すように、収穫の引っ張りアーム(C)は、果物を保持してUAVへそれを引っ張る。同時に、ケージ/ネット(A)の正面を押し出すと、反対方向の押し出し力(対抗力)を生成する。特に、生成される力は、ドローンのモータの上昇力に影響を与えない。また、特定の実施形態では、ケージ/ネットは、収穫される果物のキャリア(ケージ(B)の一部である果物収集バスケットD)として用いられ、果物を取り出し/放出するためのバックドア/開口部(E)をさらに備える。このような構成では、溜まった果物の全重量によってUAVを安定させるために、UAVは、収穫アーム及び/又はバッテリパック及び/又は考えられる外部の重量を伸縮(例えば前後に移動)させることができる。
本発明の果物の収穫デバイス/UAVの特定の実施形態では、ケージ及び/又は押し出しアーム(存在する場合)、任意で果物のカットユニットの補助とともに(存在する場合)、UAV自体、すなわち上昇力を生成するモータ/エンジンに力を加えることなく枝から果物を引っ張ることができる。
ある実施形態では、所望の引っ張り力が小さい場合、すなわち収穫される果物の種類及び果物のベリティ(verity)が木から容易に取り去られる場合、例えば、ドローンのモータの上昇力を減らして果物を引っ張るために重力を用いる(図27)ことによって、標準のUAVのモータ又はUAVの重量だけで、木から果物を切り離すのに十分である。果物を木からちぎった後、上昇力を安定させるように始動する。あるいは、果物をちぎるためにより強い引っ張り力が必要な場合、UAVは、果物の引っ張りを補助するために少なくとも1つの別の垂直モータ(図12)をさらに備える。したがって、特定の実施形態では、本発明のUAVは、枝から果物を引っ張るときに前記UAVを後方に引っ張るのを補助するために垂直モータをさらに備える。
したがって、ある実施形態では、本発明の果物収穫デバイス/UAVは、枝から果物を引っ張るときに前記UAVを後方に引っ張るのを補助するための垂直モータをさらに備える。図12に示すように、本発明のUAVは、果物を保持して木から引っ張るための収穫アームを有する。本構成で提案される反対のパワーは、引っ張り力を超える反対の力(対抗力)を生成するための垂直又は半垂直のプロップ(支柱)である。本構成は、保持/把持アーム(カットアームではない)で採集される果物用に設計され、必要とされる引っ張り力は、通常のドローンの力よりも大きい。本システム及び方法は、例えばリンゴ、アプリコット、オレンジ等の、ほとんどの軟らかい殻の果物のように、隠れた茎を有する果物のために用いられる。
図13A〜図13Dは、本発明の収穫アームの特定の実施形態を示す。果物は、茎を通じて枝と繋がっている。本構成により、隠れていてカメラによって見ることができず、剪定ばさみを近づけることができない場合であっても、茎をカットすることができる。本構成は、ワイヤ/ケーブルと、任意でナイフを含む。ケーブルは、果物の茎がカットされて果物が枝から分離されるまで絞り込むか、又はケーブルは、絞り込むことなく、茎に触れて引っ張るだけである(図32B)。代替構成では、収穫アームは、2つのワイヤループを備える(例えば図34に示す)。ワイヤループは、ループが茎に近付くまで果物に対して押し出されたとき、果物の異なる側から各々のループで果物を覆う。そしてUAVは、果物を引っ張ることができる。
また、図13C及び図13Dでは、1又は複数の果物を収集するためのバスケットを備える構成を示す。バスケットは、収集ベースに果物を送るための底穴を有する。
したがって、ある実施形態では、本発明の果物収穫デバイスは、収穫される果物を収集するための収集ネットをさらに備える(例えば図13C及び図13Dに示す)。特定の実施形態では、UAVのケージ/ネットは、前記収集ネットとして機能する(例えば図23〜図25及び図31〜図34に示す)。
図14に示すように、本発明の収穫UAVは、枝を移動させて木の葉及び枝を通ってUAVが入り込むのを補助するために用いられるケージ/ネットを含む。ネットは、アームから葉を押しのけて木の内側の果物をより多く検出することができる固有の円錐形状を有する。特定の実施形態では、図14Bに示すように、ケージ/ネットの穴は、葉の大きさの約1/3(N/W<1/3)の固有の密度を有する。
したがって、ある実施形態では、UAVが前方に移動するにつれて葉及び枝を押し出すことによって、梢/葉に入り込むのを補助するために、本発明の果物収穫デバイスのケージ/ネットは、円錐形状である。
ある実施形態では、ケージのワイヤ間の穴/空間は、葉が入り込むのを防止するのに十分小さい。例えば、穴は、直径約1cmから約5cmである。特定の実施形態では、穴の大きさは、葉の大きさの約1/3である。任意で、ケージは、収穫アームが延びる少なくとも1つの大きな開口部を有する。特定の実施形態では、穴の密度は、前面でより高く、上面でより低い。
ある実施形態では、本発明の果物収穫デバイスは、任意で前記果物検出ユニットの一部として、視覚システムをさらに備える。果物検出ユニットは、果物にロックオンして、前記収穫ユニットが前記果物又はその茎をつかむまで、前記コンピューティングシステムと共に、UAVの移動及び/又は収穫アームを制御するように設計される。特定の実施形態では、収穫デバイスは、別の方向(例えば後方)から果物を見てそれによって果物にロックオンするのを支援するための別のカメラ又はミラーをさらに備える。
本発明の果物収穫デバイスのある実施形態では、コンピューティングシステムは、果物の品質を特定するためのアルゴリズムをさらに備える。ある実施形態では、果物の品質を特定するための前記アルゴリズムは、収穫される果物の種類に応じて、完熟度を含む果物の品質を特定するための以下のパラメータの少なくとも1つを用いる:色、含水量、硬さ/軟らかさ、輝き、大きさ、季節、スポットのダメージの検査、果物を分離する力(果物が熟している程、より容易に引っ張りやすくなる)、重量。
特定の実施形態では、果物の品質を特定するためのアルゴリズムは、モータの消費電流によって、及び/又はケージに配置される別の重力測定ユニットによる測定によって計算される果物の重量測定を用いる。
本発明の果物収穫デバイスのある実施形態では、木からの果物の引き離しは、重力によって、すなわちUAVの上昇力を減らして重力によりUAV及びそれによって把持される果物を引き下げることによって行われる。特に、果物が分離された後、UAVのエンジンは、UAVを空中で維持させるために下降力と釣り合いをとって地面にクラッシュするのを防止する。
ある実施形態では、本発明のUAVは、木から果物を引っ張るための手段として重力を用いることができる。図27に示すように、収穫アームが果物を保持したとき、ドローンは、上昇力を減らして、重力により果物と共にドローンを引き下げることができ、それによって果物に対する引っ張り力を生成する。果物が分離されるとき、UAVのIMUは、この事実、すなわちUAVが落下し始めたことを検出して、上昇力及び安定させる力を増加させるために、UAVのモータを再始動/増加させる。
代替の又は別の実施形態では、図28A〜図28Bに示すように、果物は、本発明のUAVの収穫アーム(C)によってケージ/ネットへ引っ張られて、果物が指定の開口部(A)を通じてケージ/ネットに入ったとき、カット機構/ギロチン(F)は果物の茎をカットする。そして、果物はフリーとなり、地面/収集ユニットへ落ちるか、ケージ/ネット(D)に転がり、UAVによって収集地点へ運ばれる。代替の実施形態では、カットナイフ/ギロチンの代わりに、枝を保持するホルダー、及びホルダーで枝を保持した後果物を引っ張るアームがある。さらに別の実施形態では、カットナイフ/ギロチンの代わりに、収穫アームが果物を引き離す間に枝を保持/カットするワイヤループがある。
本発明の果物収穫デバイスのある実施形態では、ケージは、触覚で感知可能なケージである。これは、木の近くで自律的に操縦して木に接触するのに不可欠であって、木から押し引きの力がかかるのを可能にして、より強く押すか、戻って別の方向から果物に近付くかを把握するのを可能にする。特定の実施形態では、触覚で感知可能なケージは、ケージに加わる力を測定するための圧力センサを備える。当該力は、風、及び/又は例えば枝及び葉等の障害物によるものであってもよい(図25に示す)。さらに別の特定の実施形態では、触覚で感知可能なケージは、ケージ及びUAVの加速度を測定するための、少なくとも2つの慣性計測ユニット(IMU)を備える。UAVの本体がケージの加速度と比較して遅い加速度であることを測定値が示した場合、このことは、ケージが障害物と接触している(ケージが本体よりも早く障害物に反応している)ことを意味する。
図24に示すように、ある実施形態では、ケージ(A)は、機械的なアダプタ(D)を通じてドローン本体に接続される。力計又は圧力計は、当該機械的なアダプタに取り付けられて、ドローン/ケージにかかる圧力を測定する。ドローンが木を上から押した場合、圧力センサは、木によってケージ/ネットに係る反対の圧力量を感知し、ドローンが木を正面(B)から押した場合、力の量は、正面に配置される圧力センサ(C)によって測定され、収穫アームが果物を引っ張る場合、引っ張り力もセンサ(C)によって測定される。また、力センサは、例えばケージによって運ばれる果物の重量を測定する。
図25A〜図25Cに示すように、ある実施形態では、いくつかのIMUがドローンに(少なくとも1つがドローン本体に、1つがケージ/ネットに)取り付けられて、ドローンのコンピュータは、力のアルゴリズムを備える。UAV内の全てのIMUは、同時にサンプリングされて、サンプリングされたデータは分析される。木のような外部の物体からケージ/ネットに加速度(力)が加わった場合(図25Bの下図)、力は、内部のIMUよりも外部のIMUで最初に検出される。ドローンのモータによって力が生成される場合(図25Bの上図)、力は、外部のIMUよりも内部のIMUで最初に検出される。ケージとドローン本体との間のアダプタは、収縮性能を有してフレキシブルであるため、外部からの圧力は、ドローン本体よりもケージ内のデクサレレーション(decsaleration)にまず発生する。例えば、速度10cm/秒のドローン、1cmの収縮性能の収縮アダプタにおいて、収縮時間は0.1秒であって、100HzのIMUにおいて、収縮プロセスは10サンプルを取得する。アダプタが1mm以内で収縮する場合、IMUは、約1kHzのサンプリングレートが必要である。
したがって、ある実施形態では、本発明の収穫UAVは、コンピューティングシステムの力アルゴリズムと組み合わせて、触覚で感知可能なケージであるケージ/ネットと、(1つがドローン本体に、1つがケージに)取り付けられるいくつかのIMUとを備える。IMUは、同時にサンプリングされて、サンプリングされたデータは分析される。木のような外部の物体からネットに加速度(力)がかかった場合、力は、内部のIMUよりも外部のIMUでまず検出される。力がドローンのモータによって生成される場合、力は、外部のIMUよりも内部のIMUでまず検出される。ケージとドローン本体との間のアダプタは、収縮性能を有してフレキシブルであり、その結果、外部からの圧力は、ドローン本体よりもケージのデクサレレーションにまず発生する。例えば、速度10cm/秒のドローン、1cmの収縮性能の収縮アダプタにおいて、収縮時間は0.1秒であって、100HzのIMUにおいて、収縮プロセスは10サンプルを取得する。アダプタが1mm以内で収縮する場合、必要とされるIMUのサンプリングレートは、1kHzである。
ある実施形態では、前記圧力センサは、例えば、枝から特定の果物を取り去るのに加える必要がある引っ張り力の量を計算することによって、収穫プロセスを補助するデータを提供するために、前記コンピューティングシステムと関連付けられる。特に、木の枝に対してケージによって発生する反対方向の圧力は、果物を引き離すのを補助して、果物を採集するために、UAVを引き離すのに必要な力の量を減らす。さらに、例えば風及び/又は枝によってケージにかかる圧力は、UAVの移動及び操縦を制御するために用いられてもよく、例えば、枝によって、あまりにも強い反対方向の力が発生した場合、UAVは、自律的に方向を変えて別の方向から果物に達することができる。
例えば、図25Cに示すように、以下の方程式を用いることができる。
Figure 2019528216
ここで、Dは、UAVの3Dの外形、Tは、木の3Dの外形、Fは、目標の果物の外形、Aは、木TからUAV(D)の範囲で仮想的に発生して、距離センサのデータを用いることによって計算される仮想の力の係数である。Bは、圧力−力センサ又は慣性計測ユニット(IMU)によって測定される物理的な力Fの係数である。発生するベクトルVequivalentは、障害物の方向を示し、回避ベクトルは−Vequivalentである。
ある実施形態では、本発明のUAVの電源は、再充電可能な電源である。特定の実施形態では、電源は交換可能であり、長時間の充電期間の必要性がなく、UAVによって連続的に収穫できるようにするために、数秒以内に容易に交換することができる。
ある実施形態では、本発明のUAVの電力は、光起電性であって、日中にUAVに対して一定の電力を供給することができる。
ある実施形態では、本発明のUAVは、飛行時間が短くなるように設計されるが、スーパーキャパシタ等の超急速充電のエネルギー源を有する。図29に示すように、キャパシタ/パワーパック(A)は、充電のコンタクト(B)を有し、その結果、UAVが地上ステーションの着陸ステージ(K)に着陸するとき、その充電のコンタクト(E)は、キャパシタのコンタクト(B)に押し付けられて、UAVの本体はキャパシタの充電を開始するために安全ボタン(F)を押す。特定の実施形態では、UAVが果物を運ぶ場合、ケージ/ネット内の果物放出窓/ドア(C)は、果物をUAVから果物収集容器に放出/移すことができるように、充電中開口している。果物の落下速度は、容器に配置されるトランポリンによって減速されて、最終的に、果物は、入ったときに果物が傷付くのを防ぐために、任意で例えば発泡体(foam)等の軟らかい保護を有する容器(J、G)内に入る。
したがって、ある実施形態では、本発明のUAVの電源は、急速充電の電源ユニットであって、デバイスが収穫された果物を放出するとき、近くの充電器によって数秒以内に充電することができる。特定の実施形態では、前記急速充電の電源ユニットは、スーパーキャパシタである。
本発明の収穫UAVのある実施形態では、コンピューティングシステムによって、UAVは、手動制御の必要がないように、完全に独立/自律することができる。
ある実施形態では、本発明の収穫UAVは、位置決めユニット(GPSやLPSや超広帯域無線又は視覚的な位置決めシステム)をさらに備える。
本発明は、本発明の1又は複数のUAVの飛行及び/又は収穫ミッションを調整するための制御ユニットをさらに提供する。
本発明は、本発明の1又は複数のUAVの飛行及び/又は収穫ミッションを調整するための制御ユニットをさらに提供する。
本発明は、果物を収穫するためのシステムをさらに提供する。前記システムは、(i)前述の請求項のいずれか一項に記載の少なくとも1つの果物収穫デバイスと、(ii)前記少なくとも1つの果物収穫デバイスを調整するための、熟した果物の収穫を調整するための制御ユニットとを備える。特定の実施形態では、本発明のシステムは、収穫される果樹園の境界を特定するための少なくとも1つのアンカーユニットをさらに備える。他の特定の実施形態では、本発明のシステムは、収穫される、落下する果物を受け取るために、各々の木の下方又は近くに配置されるトランポリンをさらに備える(例えば図4に示す)。
本発明の収穫システムのある実施形態では、UAVは、電力を供給する地上ステーションに有線で(wirily)接続されて、センサの一部が任意で前記地上ステーションに取り付けられる(図5〜図6に示す)。
本発明は、果物を収穫する方法をさらに提供する。当該方法は、(a)本明細書で前述した収穫デバイス又はシステムを提供するステップと;(b)果物検出ユニットを用いて木を識別して近付くステップと;(c)果物検出ユニットによって収穫される果物を自律的に識別/検出するステップと;(d)果物にアクセスして従事させるようにUAVを操縦するステップと;(e)識別/検出される果物を収穫するステップと;(f)所望の又は所定のパラメータによって、前記木から全ての果物が収穫されるまでステップ(b)から(e)までを繰り返すステップとを含む。
本発明は、果物を収穫する方法をさらに提供する。当該方法は、(a)果物を収穫するために自立型無人航空機(UAV)を農園へ送るステップと;(b)木又は木のラインを自律的に識別してそこに面するステップか、又はUAVに対する木の位置及び方向を外部デバイスから受信するステップと、(c)前記木で収穫される果物を果物検出ユニットによって識別/検出するステップと、(d)前記識別される果物にアクセスして従事させるようにUAVを操縦するステップと、(e)識別/検出される果物を収穫するステップと、(f)ステップ(b)からステップ(e)まで繰り返すステップとを含む。
ある実施形態では、本発明の方法は、果物収集エリアに、収穫された果物を運ぶステップをさらに含む。ある実施形態では、いくつかの果物収集容器があって、UAVは、品質の分析を行って、果物の品質に応じて適切な容器に収穫された果物を運び、これによって、フィールドで事前に果物の品質の選別が可能になる。
ある実施形態では、本発明の方法は、収穫及び収集中に、傷つけない方法で、すなわち果物の皮及び/又は果肉を傷つけずに、軟らかい殻の果物を収穫するためのものである。
ある実施形態では、本発明の方法は、隠れた茎を有する、すなわち果物検出ユニットから茎が見えない果物を収穫するのに適している。これは、例えば、図13A〜図13Dに示すようなループの収穫機構によって、及び/又は別の方向から果物を検査するための前記別のカメラ又はミラーの支援によって、実現することができる。
さらに別の実施形態では、本発明の方法は、果物を落とさず発生し得るダメージを与えることなく、UAVによって、収穫される果物を運ぶステップをさらに備える。当該運搬は、実際に果物を収穫したUAVによって(収穫アームで各々の果物を運ぶことによってか、果物搬送バスケット/ネットによってか、ドローンのケージ/ネットによって)か、専用の果物搬送UAVによって行われてもよい(例えば図31に示す)。
ある実施形態では、図31に示すように、強力なプロップ/モータUAVが、重い及び/又は大量の果物(例えば10kg以上、50個以上のリンゴ)を運ぶために提供される。当該UAVは、収穫される果物を収容するための指定のバスケットを備えてもよく、いっぱいになるまで静止していてもよく、また、収穫される果物を収集するために収穫UAV間で果樹園内で移動してもよい。
本発明の方法のある実施形態では、収穫中の引っ張り力の発生は、UAVの水平モータに影響を与えない。本発明の方法の特定の実施形態では、収穫UAVは、木から果物を採るために、反対方向の押し出し力を用いる。本発明の方法のさらに別の特定の実施形態では、奥にある果物に近付くためにUAVが葉を突き出すことができるように、木−葉が制御された力でUAVによって押し出される。
ある実施形態では、本発明の方法は、地上ステーション−収集バスケットに運ばれる果物を排出する間に、地上ステーションによってUAVのバッテリ/パワーパックを充電するステップをさらに備える(例えば図29のJ及びGに示す)。
特定の実施形態では、前記地上ステーション−収集バスケットは、収穫された果物をそこに放出する間にUAVを充電するための充電器を備える。したがって、前記地上ステーション−収集バスケットは、充電するためのUAVの充電ポートに関連付けられる充電ポートを備える。
本発明の方法のある実施形態では、果物にアクセスして従事させるためにUAVを操縦するステップは、固定アーム又は移動可能なアームを移動させるために、アームを果物に従事させるようにUAVモータを制御することによって、閉ループのナビゲーションで行われる(例えば図7に示す)。
ある実施形態では、本発明の方法は、物理的な力を測定して計算することによって、(自律的な収穫に必要な)UAVの回避ベクトルを計算するステップをさらに備える。特定の実施形態では、UAVの回避ベクトルの計算は、物理的な力を仮想の力と統合することによって行われる。
さらに別の実施形態では、本発明の方法は、収穫された果物を容器に運ぶステップをさらに備える。当該搬送は、例えば、果物が傷付くことなく落下して容器に転がり入るトランポリン等の収集ベースを用いることによって行われてもよい。収集ベースは、木の下方又は木の近くに設けられてもよい。あるいは、果物は、収集容器に直接運ばれる。本発明の他の実施形態では、果物の品質の基準に応じた選別はフィールドで行われ、果物は、フィールドで、所定の果物の品質の基準に応じて、異なる容器に選別される。当該事前選別によって、例えば、冷蔵室に品質のよい果物を保管したり、輸出用に指定したり、低い品質の果物をすぐに分けることができるようになる。
さらに、本発明は、ドローン/ミニコプター/クアッドコプタ−/又は他の小さな無人航空機(UAV)を用いた、農園のためのマッピングデバイス、システム、及び方法、並びに農園の全ての木の位置を含むデータベースを構築する方法に関する。本発明は、所定の位置に着いて、前記位置にホバリング又は着陸して、エリアをスキャンするための高い位置にあるスキャンドローンのために待機する、自律のアンカードローンをさらに提供する。スキャンドローンは、アンカードローンを含む下方のエリアの写真を撮って、コンピュータ/基地ステーションに送る。そして、ステッチソフトウェアは、農園及び木をマッピングするために用いられる超解像の画像を生成する。
本発明は、超解像の画像に基づいてデータベースを構築するためのシステム及び方法をさらに提供する。データベースは、画像中の全ピクセルの位置(グローバル又はローカル座標)の計算を保持し、木の位置マップを保持し、木の品質の情報を保持する。最終的なデータベースは、木の各部分に関して、収穫(収穫前)のための果物の品質及び収穫された(収穫後の)果物のグレード、果物の品質(収穫前)及び収穫された果物の品質を含む、様々な収穫情報を連続的に定期的に収集するために用いられる。同じデータベースが希薄化のタスクのために用いられる。
本発明のマッピングシステムは、次のサブシステムを含む。(a)中央の地上ユニット制御;(b)1又は複数のアンカードローン;(c)1又は複数のスキャンドローン。
したがって、本発明は、果樹園のデータベースをマッピングして構築するためのシステムを提供する。当該システムは、
(a)位置決めユニットと、上面から見ることができる視覚的な目標とを有するアンカーユニット(例えば図15A及び図15Bに示す)と;
(b)(i)各々のアンカーユニットの前記視覚的な目標を視覚的に識別するためのカメラ及び(ii)GPSを備えるスキャン/識別飛行ユニットと;
(c)プロセッサ、メモリ、指定アルゴリズム、及び自律的な収穫&希薄化のタスクのためにマッピング結果を生成するためのデジタルデータ構造を有するコンピュータとを備える。
(1)各々のアンカーユニットは、特定の目標ポイントに配置される。
(2)前記コンピュータは、(i)各々のアンカーユニットからの位置決め(例えばGPS及び/又はLPS)データと、(ii)前記スキャン/識別ユニットからの、各々のアンカーユニットの視覚的な位置識別データとを受信する。
(3)前記アルゴリズムは、収穫及び希薄化の管理用に、例えば、果物収穫UAVの起動/自律的な起動用に、果樹園のデータベース及びマップを構築するために前記受信されたデータを用いる。
本発明は、果樹園をマッピング(マッピングは、果樹園内の全ての木の外形の位置決めである)するためのコンピュータ処理されたシステムを提供する。当該システムは、(a)マーカーを有する1又は複数のアンカーユニットと;(b)所定のゾーンの複数の写真を撮るためのカメラを備える飛行ユニットと;(c)前記複数の写真を受信して、(i)前記写真及び地理的な位置におけるアンカーユニットの1又は複数のマーカーを視覚的に識別して、(ii)識別される1又は複数のアンカーユニットの位置に対する前記写真内で識別される木をマッピングするためのプロセッサ及びメモリを備えるマッピングユニットとを備える。1又は複数のアンカーユニットは、前記所定のゾーン内の特定の目標ポイントに配置される。特定の実施形態では、各々の前記1又は複数のアンカーユニットは、位置決めユニットをさらに備える。
ある実施形態では、本発明に係るアンカーユニットは、例えば図15Aに示すように、(a)視覚的な上面パターン(当該パターンは、スキャンドローンに対して視認される必要がある)と;(b)図15Bに示すようなGPS受信機又は他のグローバルポジショニングシステム;及び/又は(c)UBW受信機としてLPS又はローカルポジションシステム;及び/又は(d)木との衝突を防ぐための3Dセンサ及び回避センサ(3Dのカメラ、距離センサ)を含む、目標ポイントまで自動的にナビゲートすることができるドローンプラットフォームとを備える。特定の実施形態では、本発明のアンカーユニットは、位置決めユニットをさらに備える。
ある実施形態では、本発明のシステムは、各々のアンカーユニットを果樹園内の異なる目標ポイントまで運ぶことができるアンカー搬送(小)無人航空機(UAV)をさらに備える。各々のアンカーユニットは、前記アンカー搬送UAVによって特定の目標ポイントに配置されて、前記マッピングユニット/コンピュータへデータを送信する。目標ユニットは、スナップ式の制御されたマグネットでUAVと接続することができ、UAVが地上にあるときに解放されてもよい。
本発明のマッピングシステムのある実施形態では、位置決めユニットは、GPS受信機;LPSトランシーバー;超広帯域無線受信機;視覚的な位置決めシステム、又は任意の組合せから選択される。
本発明のマッピングシステムのある実施形態では、アンカーユニット及び/又は前記アンカー搬送UAVは、前記マッピングユニットにデータを送信するための無線通信ユニットをさらに備える。
本発明のマッピングシステムの特定の実施形態では、アンカーユニット及び前記アンカー搬送UAVは、1つのユニットを構成する。
本発明のマッピングシステムのある実施形態では、アンカー搬送UAVは、(i)ある位置から別の位置へ前記アンカーユニットを保持して運ぶための機械的なアーム、又は他の保持及び固定機構、又はマグネット、及び(ii)自律的な着陸アルゴリズム及び更新された着陸目標を再計算するためのアルゴリズムを備える。
本発明のマッピングシステムのある実施形態では、アンカー搬送UAVは、前記目標ポイントに自律的にナビゲートする。
ある実施形態では、本発明のマッピングシステムの各々のアンカーユニットは、ある目標ポイントから別の目標ポイントへ移動するか又は動かされてもよく、それによって、前記通信衛星、高い高度の航空機及び/又はUAVによる前記スキャン/識別の間に複数のアンカーユニットとして機能する。
本発明のマッピングシステムの特定の実施形態では、アンカーの大きさは、果樹園の列間の距離よりも小さい。
本発明のマッピングシステムのある実施形態では、各々のアンカーユニットの場所/位置は、各々の前記アンカーユニットの前記マーカー/視覚的な目標を識別して前記マッピングユニットに前記位置データを送信する、通信衛星又は高い高度の航空機(例えばUAV)によってスキャン/識別される。
ある実施形態では、本発明のマッピングシステムは、果樹園の上方を飛行して前記アンカーユニットの前記マーカー/視覚的な目標をスキャン/識別するスキャンUAVをさらに備える。特定の実施形態では、本発明に係るスキャンドローンは、GPS受信機を含むカメラを有するドローンであってもよく、カメラは地面に対して垂直に向けられていてもよい。特定の実施形態では、本発明のシステムは、果樹園の上方を飛行して前記アンカーユニットの前記マーカーをスキャン/識別する1又は複数のスキャンUAVをさらに備える。
本発明のマッピングシステムのある実施形態では、ここで用いられるアルゴリズムは、次のうちの少なくとも1つを備える。(a)(アンカーユニットの視覚的な位置決め及び木への着陸を防止するための)搬送UAVに関する、自律的なナビゲーション及び着陸アルゴリズム;(b)(位置決め後の各々のアンカーユニットの位置精度を向上させるための)アンカーユニット用の固定位置GPS精度平均アルゴリズム;(c)異なる場所及び/又は位置から取得される複数の画像から超解像の画像を生成するためのステッチアルゴリズム;(d)前記超解像の画像内の各々のピクセルのためのGPS測位を提供するための最適アルゴリズム;(e)木の位置、木の外形、及び木のラインの位置を検出するためのアルゴリズム;(f)果樹園における収穫及び果物の状況のデータベース構築アルゴリズム。
本発明のマッピングシステムのある実施形態では、前記マッピングユニットは、次のうちの少なくとも1つを制御及び/又は可能にするように設計される。(a)搬送UAVの自律的なナビゲーション及び着陸;(b)各々のアンカーユニットのための固定位置GPS精度の平均化;(c)ステッチアルゴリズムを用いて異なる場所及び/又は位置から取得される複数の画像から超解像の画像を生成すること;(d)前記超解像の画像内の各々のピクセルにGPS測位を提供すること;(e)木の位置、木の外形、及び木のラインの位置を検出すること;(f)果樹園の収穫及び果物の状況のデータベースを構築すること。
ある実施形態では、本発明のマッピングシステムは、上述のような、1又は複数の改良された果物収穫の自律UAVをさらに備える。特定の実施形態では、前記収穫UAVは、事前にマッピングされたデータベースから、木の位置−外形、又は木のラインの位置−外形を受信して、その結果、UAVは、木の中心に面するか、木のラインに対して垂直に面して、木に面する際に果物を検出する。
さらに別の実施形態では、本発明のシステムのコンピューティングシステムは、前記果物収穫デバイスからデータをさらに受信して、任意で、収穫する必要がある果物を探す場所を指示して、(そして果物を収穫する)。さらに、特定の実施形態では、前記果物収穫デバイスから受信されたデータは、次の少なくとも1つを備える。(i)果樹園における木の数;(ii)果樹園におけるラインの数;(iii)果樹園における各々の木の位置;(iv)収穫期間中と終了時における果樹園内の各々の木の果物の数;(v)収穫期間中と終了時における果樹園内の各々の木の果物の品質/完熟状況;(vi)収穫期間中と終了時における各々の木から収穫される果物の数(収量);(vii)収穫期間中と終了時における各々の木の品質の情報。また、この種の情報は、希薄化のため、品質及び大きさ、又は希薄化前の果物及び希薄化後の果物の数のために用いられてもよい。
本発明のマッピングシステムのある実施形態では、コンピューティングシステム/コンピュータは、各々のアンカーユニットの初期の概算のGPS位置を割り当てるマネージャとして機能する。
ある実施形態では、本発明のシステムは、次のうちの少なくとも1つを備える。
(i)各々のアンカーユニットを果樹園内の異なる目標ポイントに運ぶためのアンカー搬送無人航空機(UAV)(各々のアンカーユニットは、前記アンカー搬送UAVによって特定の目標ポイントに配置されて、前記マッピングユニットにデータを送信する。前記アンカー搬送UAVは、(i)前記アンカーユニットを保持してある位置から別の位置に搬送するための機械的なアームと、(ii)自律的な着陸アルゴリズム及び更新された着陸目標を再計算するためのアルゴリズムを備える。または、UAVは、アンカーユニットとして構成される。);
(ii)各々のアンカーユニットの場所/位置をスキャン/識別して、前記マッピングユニットに前記位置データを送信/伝達するための、通信衛星又は高い高度の航空機;
(iii)果樹園の上方を飛行して前記アンカーユニットの前記マーカーをスキャン/識別するスキャンUAV;
(iv)上記で定義したような、1又は複数の改良された自律収穫UAV。
本発明は、果樹園内の全ての木に関する、高解像度で高精度の、正確なマップ及びデータベースを生成するための方法をさらに提供する。当該方法は、
(a)本発明のシステムを提供するステップと;
(b)前記アンカー搬送UAVを用いて、各々のアンカーユニットを目標ポイントに自律的に配置するステップと;
(c)前記スキャン/識別ユニットを通じて各々のアンカーユニットの前記マーカー/視覚的な目標を識別/検出するステップと;
(d)飛行終了時に、各々のアンカーユニットからの位置データ及び前記スキャン/識別ユニットからの各々のアンカーユニットの視覚的な位置識別データを前記コンピュータに送信や収集や転送するステップと;
(e)(i)正確な位置を有する超解像の画像と;(ii)果樹園内の全ての木のマップと;(iii)収穫の農作業のためのデータベース生成とを構築するために、前記通信又は転送されたデータを用いるステップとを含む。
本発明は、果樹園内の全ての木に関する、高解像度で高精度の、正確なマップ及びデータベースを生成するための方法をさらに提供する。当該方法は、
(a)所定のゾーンにおける目標ポイントに、マーカーを備える1又は複数のアンカーユニットを配置して、各々のアンカーユニットのために位置データを取得するステップと;
(b)上面から前記所定のゾーンを撮影するステップと;
(c)得られた写真をマッピングユニットに送信又は転送するステップと;
(d)前記写真において各々のアンカーユニットの前記マーカーを識別/検出するステップと;
(e)前記写真において検出されたマーカーと、各々のアンカーユニットの位置データとを比較するステップと;
(f)前記所定のゾーンにおいて各々の木を識別/検出するステップと;
(g)所定のゾーンの超解像の画像を、果樹園内の各々の木の正確な位置決めにより構築するステップと;
(h)収穫の農作業のためにデータベースを生成するステップとを含む。
本発明の方法の特定の実施形態では、目標ポイントに1又は複数のアンカーユニットを配置するステップ(a)は、自律的に、任意でアンカー搬送無人航空機(UAV)を用いることによって行われる。
ある実施形態では、本発明の方法は、次のステップのうちの少なくとも1つをさらに備える。(1)例えば着陸アルゴリズムによって、自律的に、各々のアンカーユニットの位置を地面に固定するステップ;(2)より正確なGPS/LPSの位置及び任意でGPS/RTKの位置を生成するために、各々のアンカーユニットのGPS位置平均を生成するステップ;(3)超解像の画像を生成して、最適アルゴリズムを用いて前記超解像の画像内の各々のピクセルに関してGPS測位を提供するステップ;(4)自律的な果物収穫UAVを指示/案内するために前記生成されたデータベース及びマップを送信/使用するステップ。
また、本発明に係る方法は、次の方法/手順を含む。
(i)中央の地上ユニットでマッピングするために必要なエリアをユーザによって定義するステップ;
(ii)各々のアンカーユニットのGPS測位座標を中央の地上ユニットによって定義するステップ;
(iii)各々のアンカーユニットの目標ポイントを中央の地上ユニットによって設定するステップ;
(iv)定義された座標に各々のアンカーユニットを自律的にナビゲートするステップ(その座標に到達/到着したとき、その上に着陸又はホバリングすることができる。本ステップは、アンカーユニットが送られる各々の新しい位置のために繰り返される。)
(v)アンカーユニットが所定の位置にいるとき、スキャンドローンにより農園をスキャンするステップ(写真:アンカー有の写真及びアンカー無の写真、を飛行中に上面から記録する。アンカーが記録される場合、スキャンドローンが新しい位置等で記録するまでアンカーユニットは別の位置に移動することができる。代わりに、いくつかのアンカーユニットが同じ農園で同時に用いられる。);
(vi)ソフトウェアによってスキャンドローンにより取得/記録される全ての画像をステッチして、図16Bに示す超解像の画像を生成するステップ(図16Bは、画像間の最適適合範囲によって1組の写真から1つの超解像の画像を生成するステッチソフトウェアの結果である。);
(vii)超解像の画像内の各々のピクセルがGPS位置及びLPS座標に割り当てられ又は受信するマップ(2Dアレイ)を生成するために、前記超解像の画像を用いるステップ(図16Bに示すように、超解像の画像は、絶対的なGPS位置A1,A2,A3にいるアンカーユニットのピクセルP1,P2,P3において3つの視覚的なマークを含む。画像内の各々のピクセルは、ピクセル位置(X,Y)に回転行列θ、ゲインGを掛けて、Oを足すことによって、オフセット(θ,G,O)=f(A1,A2,A3,P1,P2,P3)によって、絶対座標を取得することができる。);
(viii)図16Cに示す木の外形を定義するだけでなく、指定のソフトウェアを用いて超解像の画像を分析してそこの全ての木を検出するステップ(図16Cは、前記超解像の画像を分析するマッピングアルゴリズムの結果である。アルゴリズムは、木の外形を検出して、エリア内の木及び位置のデータベースを生成する。);
(ix)木のIDのマッピングを生成するステップ(これは、例えば、木及び木の位置の生成データベースを示す図17に図示するように、超解像の画像内の各々のピクセルのために、木のIDが定義されることを意味する。本データベースは、2Dアレイ(又は3Dアレイ)であって、アレイ内の各々のエントリー(entry)は、超解像の画像からのピクセル、又は超解像の画像のダウンサンプリングされた写真からのピクセルである。アレイ内の各々のエントリーは、次の情報を保持する。木のID、エントリー位置(グローバル座標)、エントリー位置(ローカル)座標。また、全てのエントリーは、各々の文字が異なるレイヤーを示す図33に示すように、例えば収穫ドローンのID位置、バスケットのID位置、容器のID位置等の様々な収穫システムの構成要素の現在の位置情報を保持することができる。D1〜D5は現在のドローンの位置;C1〜C2は容器(収集バスケット)の位置;P1〜P2は充電位置;Bは基地ステーションの位置。)
本発明の方法のある実施形態では、システムのコンピュータ/マネージャは、各々のアンカーユニットの初期近似GPS位置を割り当てる。
本発明の方法のある実施形態では、生成されたマップ内の各々のピクセルは、1〜10cmを示し、位置(GPS又はLPS)情報を有する。
本発明の方法の他の実施形態では、生成されたデータベース及びマップは、(i)自律的な果物収穫UAVの管理のために有用な情報である木のID及び位置及び/又は;(ii)自律的な果物収穫UAVの管理のために有用な情報である、木の外形、すなわち、各々の木の葉及び枝並びに果樹園のライン及び/又は;(iii)例えば、検出される果物の数、熟した果物の数、各々の木から収穫される果物の数、収穫される果物の状態、又は任意の組合せ等の木の果物のデータを備える。特定の実施形態では、この木の果物のデータは、前記果物収穫UAVによって取得される。
本発明の方法のある実施形態では、生成されるデータベースは、前記果物収穫UAVを含む、フィールド内の各々のUAVの識別レイヤーと、収穫される果物が入れられる果物収集バスケットのレイヤーとを備える。
本発明は、マッピングシステムの使用、及び/又は最適な品質の収穫のために果樹園のデータベースをマッピング及び構築するための本発明の方法をさらに提供する。前記最適な収穫は、特定の果物の収穫に基づいており、列毎、木毎の連続的な収穫に基づいていない。
特定の実施形態では、マッピングシステムの使用、及び/又は本発明の方法により、受け取った注文書により、要求に応じて収穫することができる。さらに、1日に、果樹園/エリア内で最良の果物(最適な品質)を収穫することができる。
マッピングシステム及び/又は本発明の方法により生成されるデータベースは、レイヤー(例えば図33に示す)から構築される。超解像又は超解像のダウンサンプリングされた画像内の各々のピクセルは、農園内のエリアを示す。データベースは次のレイヤー(以下の表1にも示す)を有する。
a.超解像の画像;
b.木のIDレイヤー(1から農園内の木の数)0は木が無いことを意味する。;
c.GPS位置レイヤー;
d.LPS位置レイヤー;
e.本エリアで検出される果物の数;
f.本エリアにおける熟した果物−収穫される目標の数;
g.本エリアで収穫される果物の数;
h.本エリアの品質のグレード;
又は任意の組合せ。
Figure 2019528216
本発明は、収穫ドローン、希薄化ドローン、剪定ドローン、アンカードローン、スキャンドローン及び果物搬送ドローンの隊の管理のためのシステム及び方法をさらに提供する。
収穫ドローンの隊の管理のための本システム及び方法は、希薄化を含む収穫方法を可能にし/提供する。これは、連続モードで列毎に、木毎に機能するというよりもむしろ全農園のエリア内(又はその一部)でまず採集される最も熟した/最良の果物の順に機能する。本発明の隊管理システム及び方法は、全農園のエリア内で最も熟した領域(ROI)に応じてタスクを割り当てる。本方法の利点は、最良の及び/又は最も熟した果物を全農園から採集できることにある。このため、収穫される果物の品質が向上し、それゆえ農園の利益が増加する。さらに、例えば翌日又は翌週に、すなわち、収穫のために最適で及び/又は熟して、最適な大きさになったとき、ほとんど熟した果物が後で収穫される。これは、収量及び収益が減少する結果となる、熟していない/理想まで熟していない果物の収穫を防止する。本システム及び方法により、最適な選択的な収穫が可能になる。
本発明の隊管理システムは、農園内を飛行して、熟しているエリアを検出して、基地ステーションと本情報を共有するドローンの隊を含み、そして基地ステーションはそれに応じて次のタスクを他のドローンに割り当てる。
本発明の隊管理システムは、(i)収穫される全ての果物を記録して、品質のデータを木のIDに添付するドローンの隊(本情報は、農園内で修正動作を実行するために有用である。);及び/又は(ii)農園内を飛行して、希薄化を行うためにエリアを検出して、それに応じて次のドローンのタスクを割り当てる制御ユニットと情報を共有するドローンの隊をさらに含む。
したがって、本発明は、収穫のためのUAVの飛行管理用のシステムを提供する。前記システムは、(a)上述した果物収穫デバイスと;(b)上述した果樹園のデータベースをマッピング及び構築するためのシステムと;(c)基地ステーションと;(d)希薄化は、果物の収集に必要ないため、任意で、収穫のためのみに用いられる果物容器と;(e)エネルギー供給とを備える。前記システムは、果物収穫UAV、果物容器、果物搬送UAV(ある場合)、アンカーユニット、及びアンカー搬送UAVの、UAVの隊を管理するために、そして列毎、木毎の連続的な収穫ではなく果物の完熟度の基づいた最適な品質の収穫ミッションのために用いられる。
本発明は、果物を収穫又は希薄化するための自立型無人航空機(UAV)の隊の管理用の管理システムをさらに提供する。前記システムは、(a)前述したような、果物を収穫するための又は果物を希薄化するための1又は複数の自律UAVと;(b)果樹園、又は木の位置および外形のデータベースをマッピングするためのコンピュータ化されたシステムと;(c)基地ステーションと;(d)任意で、果物容器と;(e)1又は複数のエネルギー供給とを備える。前記管理システムは、(1)果物収穫UAV、果物容器、果物搬送UAV、アンカーユニット、及びアンカー搬送UAVを含むUAVの隊を管理するため、及び/又は(2)列毎、木毎の連続的な収穫ではなく果物の完熟度に基づいた収穫又は希薄化のミッションのために用いられる。
本発明の管理システムの特定の実施形態では、マッピングのためにコンピュータ化されたシステムは、収穫の状況及び果物の状況のための果樹園データベースを構築して次のうちの少なくとも1つを制御/可能にするように設計される。(a)マーカーを備える1又は複数のアンカーユニット;(b)所定のゾーンの複数の写真を撮るためのカメラを備える飛行ユニット;(c)前記複数の写真を受信するため、(i)前記写真及び地理的な位置で1又は複数のアンカーユニットのマーカーを視覚的に識別するため;(ii)識別される1又は複数のアンカーユニットの位置に対して前記写真で識別される木をマッピングするためのプロセッサ及びメモリを備えるマッピングユニット。1又は複数のアンカーユニットは、前記所定のゾーン内の特定の目標ポイントに配置される。
本発明の管理システムのある実施形態では、マッピングユニットは、収穫の状況及び果物の状況のための果樹園データベースを構築して次のうちの少なくとも1つを制御/可能にするように設計される。(a)アンカー搬送UAVの自律的なナビゲーション及び着陸;(b)各々のアンカーユニットに関して平均化されるGPS位置精度を固定すること;(c)ステッチアルゴリズムを用いて、異なる場所及び/又は位置から取得される複数の画像から超解像の画像を生成すること;(d)前記超解像の画像内の各々のピクセルのためにGPS測位を提供すること;(e)木の位置、木の外形、及び木のラインの位置を検出すること。
本発明の管理システムのある実施形態では、果樹園のデータベースは、果樹園の2次元の複数レイヤーの表現である。前記複数レイヤーは、次のレイヤーを備える。(i)任意で、人のオペレータにとって視覚的な背景としてマッピングシステムによって生成される超解像の画像の第1のレイヤー;(ii)第2のレイヤーは、木のIDマップ(図16C及び図17に示す)であり、本レイヤーの各々のエントリーは、農園内の約5〜20cmのエリアを示す。その結果、木が無いエリアは0であって、全ての0でない値は、農園内の木のIDを示す。特に、IDの最大値は、農園内の木の数である。;(iii)第3のレイヤーは、熟した果物の数のマップである。図20Aは、熟した果物が無い場合の0の値を示し、それは、果物収穫UAVから取得されるデータによって後で更新される。;(iv)第4のレイヤーは、収穫される果物の数のマップである。この数は、0から始まり(図21A)、果物収穫UAVから取得されるデータによって後に更新される(図212B)。
本発明の収穫の隊管理システムのある実施形態では、データベースは、収穫される果物と事前に収穫された果物とを区別し、各々の果物に関して次の果物の情報を含む。寸法;色;スポット及びダメージ;品質のグレード;木の原点(tree of origin)(木のID);正確な原点(accurate origin)(X,Y,Z)。
ある実施形態では、本発明の収穫の隊管理システムのデータベースは、次の情報のうち少なくとも1つをさらに備える。(i)収穫(果物の事前収穫)の間に収穫に関して、及び/又は希薄化の間に果物の希薄化に関して蓄積されたデータ;(ii)各々の木の最良のエリアを含む、各々の木から収穫される果物の品質;(iii)(フィールド内で事前選別を可能にする)各々の果物収集バスケット内の果物の品質;(iv)関心領域(ROI)、熟したROIの数、収穫されるROIの数、及び収穫が全く要求されないROIへの分割を含む農園の状況。
本発明の収穫の隊管理システムのある実施形態では、データベースは、農園/果樹園及びその状況を示す2Dアレイ(写真)の複数のレイヤーである。また、特定の実施形態では、データベースは、UAVIDレイヤー、バスケットIDレイヤー、トランポリンレイヤー(以下の表2で示す)のような、収穫管理の別のレイヤーを含む。この情報は、収穫方法に関連する。
Figure 2019528216
本発明の収穫の隊管理システムのある実施形態では、基地ステーションは、(i)異なるタスクに対して異なるタイプのUAVを管理し、(ii)梢のみを収穫するように、飛行高度を特定の高さに維持し、(iii)低い収穫アームUAVを高い目標の木に送り、高い収穫アームUAVを低い目標の木に送り、(iv)収穫UAVから容器に果物を移すために果物搬送UAVを管理し、(v)容器の位置を維持する、制御ステーションである。
ある実施形態では、本発明の収穫の隊飛行システムは、人間の労働者とのUAVの衝突を防止するために、前記基地ステーションと、任意でシステムのUAVと通信する安全機構をさらに備える。
ある実施形態では、フィールド内の各々の農作業者は、例えば、ブレスレットやスマートフォン内のアプリケーション等の安全デバイスを有し、それは、農作業者の位置を、基地ステーション及び/又は各々のUAVと共有する。前記基地ステーションは、作業UAVと農作業者との間の距離をより大きくするために、様々な木にUAVを割り当て/向け直すことができる。その結果、UAVは、人間に接近せず、また、木の頂部からのみ収穫するように収穫UAVを指示して、高いUAV収穫機と低い人間の収穫者若しくは低い他の地上収穫機とに作業を分けることができる。
また、本発明の収穫の隊管理システムは、図18に示す、以下のサブシステムを含んでもよい。(a)中央の地上ユニット制御として機能して、異なるUAVとシステムの他の構成要素との間の座標及び広い通信範囲を提供する、メインの基地ステーション;(b)1つ、2つ、3つ又はそれ以上のアンカーユニット;(c)頂部収穫UAV;(d)底部収穫UAV;(e)側部収穫UAV;(f)一般的な収穫UAV;(g)電源−バッテリ搬送ドローン;(h)人の位置、例えばブレスレットやスマートフォンの位置を提供することによる、例えば人のための安全ビーコン;(i)任意でビーコンを有する、収集ベース/容器;(j)任意でビーコンを有するトランポリン;(k)スキャンUAV等のスキャンユニット。
ある実施形態では、本発明の収穫の隊管理システムは、(a)果樹園内のUAVの座標及び実際の数を提供/受信するUAVランチャーと;(b)複数のバッテリソケットを有し、充電されたバッテリの数をそのレベルと共に提供する充電器と;(c)容量、大きさ、位置、充填状況、及び任意で果物の品質に関するデータを提供する収集バスケットとをさらに備える。
ある実施形態では、システムのUAVは、(i)そこに取り付けられる収穫アームの種類(例えば、アーム無し、上アーム、下アーム、サイドアーム、把持、カットアーム、又は希薄化アーム);(ii)収穫、剪定、希薄化、マッピング、アンカー、パワー等のUAVの使用;(iii)UAVの座標(X,Y,Z);(iv)UAVのバッテリレベル;(v)バッテリの最大容量についてのデータを提供する。
本発明は、隊の管理方法をさらに提供する。本発明の実施形態に係る方法の例示的なフローチャートは、図19に示され、それは、データベース管理、タスクジェネレータ、ルートプランナー、及びスケジューラを含む隊の管理方法を説明する。これらのタスクは、基地ステーションで実行されてもよい。
したがって、ある実施形態では、本発明は、プロセッサ及びメモリを用いたUAVの隊を用いる最適な収穫のためのコンピュータ化された方法を提供する。前記方法は、(a)本発明の隊管理システムを提供するステップと;(b)果樹園及び果物の情報の複数レイヤーの表現を有する果樹園のデータベースを構築するステップと;(c)果物を収穫して、かつ前記データベースを更新するために更新された果物の情報を提供する自律的な果物収穫UAVにタスクを提供するステップと;(d)逐次的な方法ではなく生成されるデータベースに基づいて収穫される必要がある果物に対して、前記果物収穫UAVを向かわせるステップとを含む。
ある実施形態では、本発明は、プロセッサ及びメモリを用いたUAVの隊を用いる最適な収穫のためのコンピュータ化された方法を提供する。前記方法は、(a)果樹園のデータベースで果樹園のデジタル表現を構築するステップであって、前記データベースは、果樹園及び果物の情報の複数レイヤーの表現を備えるステップと;(b)果物を収穫して、かつ前記データベースを更新するために更新された果物の情報を提供する自律的な果物収穫UAVにタスクを提供するステップと;(c)収穫中に果樹園内の異なるUAVから取得されるデータを通じて、収穫の間に前記データベースを更新するステップと;(d)生成されるデータベースに基づいて収穫される必要がある果物に対して、前記果物収穫UAVを向かわせるステップとを含む。
本発明の最適な収穫のための方法の特定の実施形態では、マップ及びデータベースを構築するステップは、(a)前記果樹園の所定のゾーンに、マーカーを備える1又は複数のアンカーユニットを配置するステップと;(b)前記果樹園の所定のゾーンの複数の写真を撮るステップと;(c)前記写真及び地理的な位置で1又は複数のアンカーユニットのマーカーを視覚的に識別するステップと;(d)識別される1又は複数のアンカーユニットの位置に対して、前記写真で識別される木をマッピングするステップとを含む。
本発明の最適な収穫のための方法のある実施形態では、基地ステーションは、太陽に面しているとき、収穫、希薄化、又は他のタスクを実行するためにUAVを送らずに、異なるUAVを調整して案内する。
特定の実施形態では、本発明の最適な収穫のための方法は、1又は複数の次のステップをさらに含む。(i)例えば、果樹園において、木が面している方向及び/又は陰になっているエリア等の予備データを収集するステップと;(ii)前記基地ステーションを通じて異なる収穫UAV間の通信を実行するステップと;(iii)果樹園内でUAVからデータを連続的に受信して、収穫手順を改善するために前記データベースを更新するステップ。
ある実施形態では、本発明の最適な収穫のための方法は、特定の特徴の果物を収穫するように、及び/又は所望の基準に応じて、前記果物収穫UAVを指示するステップ、及び/又は特定の量の果物を収穫するように、前記果物収穫UAVを指示するステップをさらに含む。
ある実施形態では、本発明の最適な収穫の方法により、現在行われているように、逐次的に列毎、木毎に全ての果物を収穫するのではなく、各々の木で収穫基準を満たす果物のみを収穫するような散在的な方法で、大きなエリア内の特定の特徴の果物を収穫することができる。例えば、本発明のシステムは、全ての「少なくとも90mmの直径を有する赤い果物」を収穫するように、収穫UAVを指示してもよい。また、本方法は、特定の基準の注文書を受け取って、必要に応じて収穫を行って、所望の品質で所望の量のみを収穫するのに有用である。本方法は、収穫期間中に、貯蔵及び冷却費用を節約することができる。
農作業者は、必要に応じて、農園全体から1日に収穫される果物の必要量を設定することができることに注目すべきである。農作業者は、高品質の果物に関してより高い価値を受け取るので、本発明のシステム及び方法は、標準の逐次的な列毎及び木毎の収穫をして、様々な品質の果物をより多く搬送するのではなく、全農園から収穫される最良の果物のみを収穫及び搬送することによって1日当たりの最適な利益を得ることを可能にする。また、本方法は、特定の基準の注文書を受け取って必要に応じて収穫を行い、所望の品質で所望の量のみを収穫するのに有用である。本方法は、収穫期間中に貯蔵及び冷却費用を節約することができる。
本発明の最適な収穫のための方法のある実施形態では、異なるUAVの調整及び案内に携わる基地ステーションは、太陽に面しているとき、収穫、希薄化、又は他のタスクを行うためにUAVを送ることはない。これは、日光からセンサの飽和(saturation)を防ぐためである。基地ステーション/ルートプランナーは、太陽に面しているとき、収穫/タスクを行うためにUAVを送ることはない。UAVのミッションは、この制約と共に計画される。基地ステーション/制約ユニット(constrain unit)は、時間及び日付に応じて太陽の位置を知り、暗い方向(blinded−direction)を生成する。例えば、午前中、UAVは西を向き、夕方、東を向く。
本発明の隊管理システムのある実施形態では、日光からのセンサの飽和を防ぐために、ルートプランナーは、太陽に面しているとき、収穫/タスクを行うためにドローンを送ることはない。ドローンのミッションは、この制約に従って計画される。システムは、時間及び日付に応じて太陽の位置を知り、暗い方向を生成する。
ドローンの使用により、ルートプランナーは、直線ルートを作成することができる。操縦方向は、木の上方での最も短い方向である。これは、木の上方を飛行する場合に、ドローンによってのみ達成される。全ての地上プラットフォームは、モンテカルロルートを作成して木の目的地に到着するためにより長いルートを計算する。
ある実施形態では、本発明の最適な収穫のための方法は、予備データの収集ステップをさらに備える。この予備データの収集ステップは、果物の数及び木における果物の位置、並びに果物の完熟度に関する初期データを収集するためのUAVを送るステップを備える。特定の実施形態では、これらのUAVは、予備データの収集の飛行中に発見される関心領域(ROI)について報告する、すなわち、収集された情報を基地ステーション及び/又は他のUAVと共有する。前記ROIは、とりわけ、各々の領域の位置及び寸法を含む。
各々の報告されるROIは、図21に示すデータベースに追加される。データベースは、システム内の様々なUAV(例えば収穫UAV及びスキャンUAV)によって取得される全てのデータによって常に更新される。コンピュータ及びアルゴリズムは、データベースを分析して、高グレードを有する全てのROIに応じて収穫目標を生成し、その結果、そこへ収穫UAVを送る。図20Cは、特定の時間での農園の一時的な状況を示す。ある丸い木の中の明るい点は、熟したエリアを示す。アルゴリズムは、高グレードで高密度を有するエリアを識別して、そこの目標を割り当てる。
本発明の最適な収穫のための方法のある実施形態では、予備データの収集は、木が面する方向及び/又は陰になっているエリアを備える。特定の実施形態では、初期ROIは、南東に面する木を含み、日光に長時間露光することにより最も熟していると考えられる。他の実施形態では、初期ROIは、例えば山によって陰になっているエリアに位置する木を含み、果物の完熟プロセスに影響を与えるかもしれない。
ある実施形態では、本発明の最適な収穫のための方法は、(i)前記基地ステーションを通じて異なる収穫UAV間で通信するステップ及び/又は(ii)システムでUAVからデータを継続的に受信して、収穫手順を改善するためにデータベースを更新するステップとをさらに含む。
フィールド内にある全てのUAVは、例えば、目標の木への飛行中、収穫中、果物収集バスケットを飛ばしている間、高密度の熟した果物のエリアを有するROI(Region of Interest)について、前記基地ステーション及び/又は他のUAVに報告する。このことは、スキャンUAV又は予備データ収集UAVだけでなく、収穫UAVも、基地ステーション及びコンピュータにデータを送信することを意味する。このため、本発明の方法は、システムで全てのUAVによって情報を共有するための方法を含む。各々の検出される果物は、XYZの位置と、例えば、寸法[mm]、色ヒストグラム、軟らかさ、他の品質の要因、木のID等の品質と共に、メイン/基地ステーションに報告される。例示的に生成されるマップは、図21に示される。
ある実施形態では、本発明の最適な収穫のための方法は、品質のデータを各々の収穫される果物に添付するステップをさらに含む。特定の実施形態では、各々の収穫される果物は、果物の品質のデータ及び/又は木の情報を受け取って、各々の果物のデータに木の情報を添付する。各々のUAVは、品質の情報と共に収穫される果物の位置(XYZ)を基地ステーションに送信し、そして、品質の情報をXYZエントリーに追加することによってデータベースを更新する。データベースの当該部分の蓄積された情報は、図21Bに示す収穫される果物のみにある。
ある実施形態では、本発明の最適な収穫のための方法は、品質のデータを各々の木のIDに添付するステップをさらに含む。当該品質のデータは、収量を改善するために、統計情報及び修正動作の双方のための果物の量及び品質に関する各々の木の情報を提供する。
ある実施形態では、本発明の隊管理システムの目標ジェネレータは、農作業のための目標(点)を生成する。当該ジェネレータは、データベース内の果物完熟度レイヤーにおいて高密度のエリアを探し、それに応じてタスクを割り当てる。例えば、高密度の熟した果物を探して、収穫を行うために収穫UAVを割り当てる。このように、農園内で最も熟した果物が最初に採集される。図20Bによる完熟度状況が高いので、図17に示すように、収穫UAVは、木#7の南側に送られる。
ある実施形態では、本発明の隊管理システムのルートプランナーは、前記目標ジェネレータから当該目標ポイントを受信して、いくつかの目標を1つの収穫タスクにまとめる。
ある実施形態では、本発明の隊管理システムのスケジューラは、異なるUAVの異なるタスク間で同期する。
本発明の隊管理システム及び方法のある実施形態では、システムドローンの異なるUAVによって実行され、例えば、各々のUAVは、タスクを行いながら、ジェネレータ及びスケジューラにデータを送信する。
隊内のドローン間の距離を最小に計画するために、システムのスケジューラは、最小の距離を維持しながらドローンに全てのタスクを確実に割り当てる。スケジューラは、ドローンがミッションを行うのに十分な電力があることを確実にして、もし無ければ、例えばバッテリ交換又は充電等の「エネルギーミッション」をドローンにさせる。
本発明の隊管理システム及び方法のある実施形態では、農作業者は、まず、例えば果物の品質やタスクの種類等の様々な要件を定義する。例えば、農園において、直径90mmよりも大きい、グレードAの全ての赤いリンゴを収穫する。さらに、農作業者は、1日当たりに収穫する必要がある果物の必要量を設定することができる。
さらに、システムは、農園の収穫境界を定義することができ、その結果、様々なドローンは当該境界を越えることはない。さらに、システムには、通信制限範囲が組み込まれていてもよく、その結果、ドローンは、通信制限範囲を超えることはない。
ある実施形態では、本発明の最適な収穫のための方法は、品質モード1に最適化される。品質モデル1の当該最適化は、果樹園内で最も熟して最も品質の良い果物のみを収穫するために収穫UAVを送るステップを含む。本モードは、選択的な収穫が必要とされる、季節の始まりに有用である。本モードは、品質の良い新鮮な果物の早期販売と共に、より長い収穫期間を可能にする。ある実施形態では、本モードは、特定の日に収集されるデータが次の日に果物を収集するために用いられるように拡張される。
品質のモード1の最適化は、ドローンによってのみ達成することができる。本方法では、ドローンは、果樹園において最も熟して最も品質の良い果物へ送られる。本モードは、選択的な収穫が必要とされる、季節の始まりに特に有用である。本モードは、品質の良い新鮮な果物の早期販売と共に、より長い収穫期間を可能にする。本モードは、翌日のためのデータを毎日収集するために拡張されてもよい。(領域の位置およびその大きさを含む)全ての報告されるROIは、データベースに本情報を追加する。データベースは、図20Aに示すような初期状態で開始し、ドローン収穫機の移動により、情報を収集して、図20Bに示すような状態を生成する。データベースは、全てのドローン、収穫ドローン及びマッピングドローンの両方から収集される全ての情報によって更新される。高いグレードを有する全てのエリアに関して、収穫−希薄化ドローンを送る。
図20Cは、ある日の特定の時間における農園の一時的な状況を示し、明るいマークは、熟したエリアを示す。目標ジェネレータにおけるデータベースで実行されるアルゴリズムは、高いグレード及び高密度を有するエリアを検索して、そこに目標を割り当てる。
他の実施形態では、本発明の最適な収穫のための方法は、量モード2に最適化される。ある実施形態では、本発明の方法は、モード2で最適化される。それによって、1つの収穫UAVが特定の木の果物のみを収穫する。これは、最も高いスループットを提供する、簡易収穫バージョンである。各々のUAVは1つの木に焦点を当てて、各々の木は、1つのUAVによって対応される。本モードは、果樹園内のほとんどが熟していて、収穫率に焦点が当てられて、最短時間でできるだけ多く収穫したいときに有用である。本モードによる方法において、隊管理は、UAVを木に割り当てて、木の周囲のルート、木の中心の位置の情報及びラインの情報と共にUAVの接近方法を生成する。UAVは、図30Aに示すように木から一定の範囲を維持しながら、ルートに応じてスキャンする。
量のモード2の最適化は、ドローンが特定の木及びバスケットに割り当てられることを意味する。このことは、最も高いスループットを有する簡易バージョンである。各々のドローンは、1つの木に焦点を当てて、各々の木は、1つのドローンによって対応される。本モードは、果樹園内のほとんどが熟していて、収穫率に焦点が当てられているときに有用である。
さらに他の実施形態では、本発明の最適な収穫のための方法は、品質モード3に最適化される。それによって、収穫UAVの群は、各々の木に送られる。この方法では、UAVは、各々のエリア/木での作業を非常に速く終わらせて、次のエリア/木に移動する。本モードは、システムがモード1又はモード2で機能したときにスキップされたエリアに農作業者が焦点を当てたい場合に有用である。収穫UAVの木への割り当ては、木毎に、あるいは木の完熟度によって連続していてもよい。本モードは、農作業者により手動で定義されることができる。特定の実施形態では、モード3において、木の特定のサイド、例えば木の最も熟しているサイドであると考えられる南東側を収穫するように各々の収穫UAVを定義することができる。
モード3のエリアの最適化では、全ての木に関して、ドローンの群が送られる。ドローンは、本エリアで、可能な限り早く作業を終わらせる。本モードは、2つの前述のモードによってスキップされたエリアに農作業者が焦点を当てたいときに有用である。ドローンの木への割り当ては、木毎に又は木の完熟度によって連続していてもよい。本モードは、農作業者の手動モードによって定義されてもよい。本モードにおいて、木の最も熟しているサイドであると考えられる、木の南東側を収穫するように各々のドローンを定義することができる。
ある実施形態では、本発明の最適な収穫のための方法は、モード1及びモード2の組合せ、モード1及びモード3の組合せ、モード2及びモード3の組合せ、又は、モード1、モード2、及びモード3の組合せを用いる。
ある実施形態では、本発明の最適な収穫のための方法は、UAVの電力管理のステップをさらに備える。特定の実施形態では、電力管理は、各々のUAVの電力レベルを監視して、充電かバッテリ交換が必要なときに各々のUAVを送り、必要な場合は、充電UAVのタスクを完了させるために交換UAVを送るステップを含む。さらに他の特定の実施形態では、バッテリ交換は、充電されたバッテリをリモートUAVに運ぶ、専用のパワーUAVによって行われる。
従来の方法では、エネルギーミッションは、充電ステーション又はバッテリ交換ステーションにUAVを送ることによって達成される。特定の実施形態では、本発明の方法は、バッテリスタックを、電力を消耗したUAV(図23D及び図23E)に運ぶ特別な電力UAVを送ることによって達成されるエネルギーミッションを含む。これは、エネルギーをリモートUAVに運ぶのに効率的な方法であって、充電ステーション又はバッテリ交換ステーションに戻るナビゲーション時間を節約する。電力UAVは、バッテリスタックを運んで、目的のUAVの近くに着陸することができる。バッテリ交換は、一方のUAVを他方のUAV上に着陸させた後、消耗したバッテリをUAVから引っ張って、満タンのバッテリ(図22A及び図22BにおいてBでマークされる)を押し出すことによって行うことができる。ある実施形態では、電力UAVは、他のUAVを高速充電することができる充電UAVである。
本発明の隊管理システム及び方法のある実施形態では、特定のUAVミッション及び充電ポイントからの距離によって計算される、所定のパーセントよりも電力が下回ったとき、様々なUAVが充電されるために送られる。
ある実施形態では、本発明の最適な収穫のための方法は、収穫UAVから、果物を容器に入れる果物搬送UAVへ果物を通過させるステップをさらに含み、前記ステップは、前記基地ステーション/隊管理によって制御される。
ある実施形態では、本発明の最適な収穫のための方法は、前記基地ステーション/隊管理によって、木を割り当てて、各々の収穫UAVのための予備検索ルートを生成するステップをさらに含む。収穫UAVは、木(図30Aに示す木の中心及び/又は木のライン)に面することから始まり、特定のルートに応じて木をスキャンして、そして果物を自律的に識別して収穫する(図30B)。
ある実施形態では、隊管理(例えば制御ステーション)は、各々のUAVに、目標の木の周囲のスキャンルート(図30Aの木の周囲のライン)を割り当てる。UAVは、木の中心に面して、スキャンの間、自律的な収穫を実行する(図30Bにおいて木の周囲の外のラインと木とを繋ぐライン)。この自律的な収穫は、次の方程式によって行われる(木が繋がっていて木の間にギャップが無い農園では、ジグザグのスキャンが行われる)。
Figure 2019528216
本発明の隊管理システム及び方法のある実施形態では、フィールド内の全てのドローンが、(例えば、目標の木に運びながら、収穫しながら、バスケットへ飛行しながら等)ROI(関心領域)について報告する。スキャンUAVだけでなく、収穫UAV及びアンカーUAVも基地ステーションにデータを送る。各々の検出される果物は、そのX,Y,Zと、寸法[mm]、色ヒストグラム、軟らかさ、及び他の品質の要因のような、収穫される果物の品質とに関して、位置および木のIDと共にメインのステーションに報告される。各々のドローンは、どの木のIDが目標かを知っており、基地ステーションは、座標に応じて木のIDをマッピングすることを知っている。果物の群は、X,Y,Zの位置及び果物の直径dと共に、ROIとして報告される。木からの分離が正常に行われた全ての収穫された果物に関して、収穫された果物の品質のデータを木の情報に添付して、木の情報を果物のデータに添付する。ドローンは、品質の情報と共に、果物の位置(X,Y,Z)をメインの基地ステーションに送る。メインの基地ステーションは、データベースにアクセスして、データベースにおいて、品質の情報をXYZエントリーに追加する。データベースのこの部分の蓄積された情報は、収穫される果物のみに関する(例えば図21Bに示す)。
目標ジェネレータによって生成されるデータベースは、次の価値のある情報を示す(図17及び図21B)。すなわち、全ての木、収穫される果物の品質や全ての木の最良のエリアに関して収穫についての蓄積されたデータ。全てのバスケットに関する、(フィールドで事前選別を可能にする)果物の品質。農園の状況−発見されるエリアの数、熟しているエリアの数、収穫されるエリアの数、収穫が不要になったエリアの数。農作業者は、それに応じて修正動作を実行することができる。
本発明は、果物の収穫/希薄化/剪定システムをさらに提供する。当該システムは、(a)果樹園をマッピングするため、又は農園内の木の位置及び外形のマップのためにコンピュータ化されたシステム;(b)果物を収穫、希薄化、又は剪定するための自立型無人航空機(UAV)の管理システムとを備える。前記システムは、(i)上述したような果物の収穫又は果物の希薄化のための、1又は複数の改良自律UAVと;(ii)基地ステーションと;(iii)任意で果物容器と;(iv)1又は複数のエネルギー供給とを備える。前記管理システムは、(1)果物収穫UAV、果物容器、果物搬送UAV、アンカーユニット、及びアンカー搬送UAVを含むUAVの隊を管理するため、及び/又は(2)ライン毎、木毎の逐次的な収穫ではなく、果物の完熟度に基づいて収穫又は希薄化ミッションを行うために用いられる。
本発明の果物収穫/希薄化/剪定システムのある実施形態では、マッピングのためにコンピュータ化されたシステムは、収穫状況及び果物の状況のための果樹園データベースを構築して、次のうちの少なくとも1つを制御/可能にするように設計される。(a)マーカーを備える、1又は複数のアンカーユニット;(b)所定のゾーンの複数の写真を撮るためのカメラを備える飛行ユニット;(c)前記複数の写真を受信するため、前記写真及び地理的な位置におけるアンカーユニットの1又は複数のマーカーを視覚的に識別するため;識別される1又は複数のアンカーユニットの位置に対して、前記写真で識別される木をマッピングするためのプロセッサ及びメモリを備えるマッピングユニット。1又は複数のアンカーユニットは、前記所定のゾーン内の特定の目標ポイントに配置される。
特定の実施形態では、本発明の果物収穫/希薄化/剪定システムは、次のタスクのうちのいずれか1つを実行することができる多機能システムである。収穫、希薄化、剪定、鳥用かかし、果物の窃盗及び農園から動かない設備のガード。
ある実施形態では、本発明の果物収穫/希薄化/剪定システムは、さらに、灌漑システムと関連付けられ、その結果、各々の果物の状況を追跡して、農園内の各々の木の灌漑条件についての情報を提供して、任意で、灌漑の制度及び期間を調整する。
本発明は、果樹園におけるUAVの自律的な収穫、希薄化、及び/又は剪定のための方法をさらに提供する。当該方法は、
(a)果樹園内の全ての木の高解像及び高精度を有する正確なマップ及びデータベースを生成するステップと;(b)UAVの隊を用いて最適な収穫/希薄化/剪定を行うステップとを含む。(b)のステップは、(i)データベースにおいて果樹園内のデジタル表現を構築するために、生成されたマップを用いるステップであって、前記データベースは、果樹園及び果物の情報の複数レイヤーの表現を備えるステップと;(ii)例えば、果物を収穫してかつ前記データベースを更新するために更新される果物の情報を提供する収穫UAVの自律UAVにタスクを提供するステップと;(iii)果樹園内の異なるUAVから取得されるデータを通じて、収穫/希薄化/剪定の間に前記データベースを更新するステップと;(iv)生成されて更新されるデータベースに基づいて収穫する必要のある果物へ、前記果物収穫/希薄化/剪定UAVを向かわせるステップとを含む。前記収穫UAVによる果物の収穫は、(i)果物の収穫のために、前記自立型無人航空機(UAV)を農園に送るステップと;(ii)木又は木のラインを自律的に識別して、そこに面するか、又はUAVに対する木の位置及び方向を外部デバイスから受信するステップと;(iii)果物検出ユニットによって前記木で収穫/希薄化される果物を自律的に識別/検出するステップと;(iv)前記識別される果物にアクセスして従事させるようにUAVを操縦するステップと;(v)識別/検出される果物を収穫するステップと;(vi)ステップ(ii)から(v)までを繰り返すステップとを含む。
本発明の果物収穫/希薄化/剪定システムの特定の実施形態では、果樹園内の全ての木の高解像及び高精度を有する正確なマップ及びデータベースを生成するステップは、(i)所定のゾーンの目標ポイントに、マーカーを備える1又は複数のアンカーユニットを配置して、各々のアンカーユニットに関する位置データを取得するステップと;(ii)前記所定のゾーンを上面から撮影するステップと;(iii)取得した写真をマッピングユニットに送信又は転送するステップと;(iv)写真において、各々のアンカーユニットの前記マーカーを識別/検出するステップと;(v)前記写真で検出されるマーカーと各々のアンカーユニットの位置データとを比較するステップと;(vi)前記所定のゾーンで各々の木を識別/検出するステップと;(vii)果樹園内の各々の木の正確な位置決めにより、所定のゾーンの超解像の画像を構築するステップと;(viii)収穫又は希薄化の農作業のためのデータベースを生成するステップとを含む。
特定の実施形態では、本発明の方法は、鳥用かかし及び/又はガードのためである。
本発明は、農園の日々の状況を保存する、蓄積されたデータベースを提供する。前記日々の状況は、農園内及び灌漑システムからの異なる自律UAVから受信される。本発明の本データベースは、次の分析を実行するために用いられてもよい。収穫された果物の品質、及び収穫の前の果物の品質の出力;希薄化、剪定、かかし、灌漑等の木の入力処理。本データベースは、収穫された日の果物の品質と木への処理との関係の深層学習の分析を可能にして、日常的な修正動作を可能にして、木を剪定するのに最良の方法が何か、木を希薄化するのに最良の方法が何か、木を灌漑するのに最良の方法が何かの農学的な結論を出すのを可能にする。

Claims (27)

  1. 果物を収穫又は希薄化する(間引く)ための、自立型無人航空機(UAV)の隊管理用の管理システムであって、
    (a)果物を収穫又は希薄化するための1又は複数の自律型UAVと;
    (b)果樹園又は木の位置及び外形のデータベースをマッピングするためのコンピュータ化されたシステムと;
    (c)基地ステーションと;
    (d)任意で果物容器と;
    (e)1又は複数のエネルギー供給と
    を備え、
    1又は複数の自律型UAVは、
    i)メモリ及びプロセッサを有するコンピューティングシステムと;
    ii)果物収穫ユニットと;
    iii)電源と;
    iv)衝突防止システムと;
    v)UAVに対する果物の位置を計算するように構成された果物検出ユニットと;
    vi)枝及び葉を押し出すように構成された、突き出た網状のケージと;
    を有し、
    衝突防止システムは、UAVが障害物と衝突するのを防止して、これにより、UAVが、所定の目標位置へ、自律的にナビゲート、飛行、及び操縦するのを可能にし、
    UAVは、果物検出ユニットから受信した果物の位置情報を用いて、UAVを操縦し、かつ、識別される果物を収穫できる場所に収穫ユニットを配置し、
    ケージは、UAVが梢/葉に入り込んで内側の果物に到達することができるように、枝及び葉を脇に押し出すことによって、及び/又は収穫ユニットさらにはケージにより枝から果物を引き離すときに反対方向に押し出すことによって、収穫プロセスを補助するように構成され、
    管理システムは、(1)果物収穫UAV、果物容器、果物搬送UAV、アンカーユニット、及びアンカー搬送UAVを含むUAVの隊の管理、及び/又は(2)果物の完熟度に基づいた、収穫又は希薄化のミッションのために用いられる、管理システム。
  2. マッピングのためにコンピュータ化されたシステムは、収穫の状況及び果物の状況のための果樹園データベースを構築し、
    (a)マーカーを備える1又は複数のアンカーユニット;
    (b)所定のゾーンの複数の写真を撮るためのカメラを備える飛行ユニット;
    (c)複数の写真を受信するため、写真及び地理的な位置で1又は複数のアンカーユニットのマーカーを視覚的に識別するため;識別される1又は複数のアンカーユニットの位置に対して写真で識別される木をマッピングするためのプロセッサ及びメモリを備えるマッピングユニット;
    の少なくとも1つを制御/可能にするように設計され、
    1又は複数のアンカーユニットは、所定のゾーン内の特定の目標ポイントに配置される、請求項1に記載の管理システム。
  3. マッピングユニットは、収穫の状況及び果物の状況のための果樹園データベースを構築し、
    (a)アンカー搬送UAVの自律的なナビゲーション及び着陸;
    (b)各々のアンカーユニットに関して平均化されるGPS位置精度を固定すること;
    (c)ステッチアルゴリズムを用いて、異なる場所及び/又は位置から取得される複数の画像から超解像の画像を生成すること;
    (d)超解像の画像内の各々のピクセルのためにGPS測位を提供すること;
    (e)木の位置、木の外形、及び木のラインの位置を検出すること
    の少なくとも1つを制御/可能にするように設計される、請求項1又は2に記載の管理システム。
  4. 果樹園のデータベースは、果樹園の2次元の複数レイヤーの表現であって、
    複数レイヤーは、
    (i)任意で、人のオペレータにとって視覚的な背景としてマッピングシステムによって生成される超解像の画像の第1のレイヤー;
    (ii)木のIDマップである第2のレイヤーであっって、本レイヤーの各々のエントリーは、農園内の約5〜20cmのエリアを示すレイヤー;
    (iii)熟した果物の数及び品質の情報のマップである第3のレイヤー;
    (iv)収穫される果物の数及び品質の情報のマップである第4のレイヤー
    を備える、請求項3に記載の管理システム。
  5. 果樹園のデータベースは、収穫される果物と前に収穫された果物とを区別し、
    i)寸法;
    ii)色;
    iii)スポット及びダメージ;
    iv)品質のグレード;
    v)木の原点(木のID);
    vi)正確な原点(XYZ)
    を含む果物の情報を各々の果物に関して有する、請求項3又は4に記載の管理システム。
  6. 果樹園のデータベースは、
    i)収穫の間に収穫に関して、及び/又は希薄化の間に果物の希薄化に関して蓄積されたデータと;
    ii)各々の木の最良のエリアを含む、各々の木から収穫又は希薄化される果物の品質と;
    iii)各々の果物収集バスケット内の果物の品質と;
    iv)関心領域(ROI)、熟したROIの数、収穫されるROIの数、及び収穫が全く要求されないROIへの分割を含む農園の状況と、
    をさらに備える、請求項3から5のいずれか一項に記載の管理システム。
  7. 基地ステーションは、(i)異なるタスクに対して異なるタイプのUAVを管理し、(ii)梢のみを収穫するように、UAVの飛行高度を特定の高さに維持し、(iii)低い収穫アームUAVを高い目標の木に送り、高い収穫アームUAVを低い目標の木に送り、(iv)収穫UAVから容器に果物を移すために果物搬送UAVを管理し、(v)容器の位置を維持する、制御ステーションである、請求項1から6のいずれか一項に記載の管理システム。
  8. 人間の労働者とのUAVの衝突を防止するために、基地ステーションと、任意で異なるUAVと通信する安全機構をさらに備える、請求項1から7のいずれか一項に記載の管理システム。
  9. プロセッサ及びメモリを用いたUAVの隊を用いる最適な収穫のためのコンピュータ化された方法であって、
    (a)果樹園のデータベースで果樹園のデジタル表現を構築するステップであって、データベースは、果樹園及び果物の情報の複数レイヤーの表現を備えるステップと;
    (b)自律型収穫UAVにタスクを提供するステップと;
    (c)収穫中に果樹園内の異なるUAVから取得されるデータを通じて、収穫の間にデータベースを更新するステップと;
    (d)生成されるデータベースに基づいて収穫される必要がある果物に対して、果物収穫UAVを向かわせるステップと
    を含む、方法。
  10. マップ及びデータベースを構築するステップは、
    (a)果樹園の所定のゾーンに、マーカーを備える1又は複数のアンカーユニットを配置するステップと;
    (b)果樹園の所定のゾーンの複数の写真を撮るステップと;
    (c)写真及び地理的な位置で1又は複数のアンカーユニットのマーカーを視覚的に識別するステップと;
    (d)識別される1又は複数のアンカーユニットの位置に対して、写真で識別される木をマッピングするステップとを含む、請求項9に記載の方法。
  11. 特定の特徴の果物を収穫するように、及び/又は所望の基準に応じて、果物収穫UAVを指示するステップをさらに含む、請求項9又は10に記載の方法。
  12. 特定の量の果物を収穫するように、果物収穫UAVを指示するステップをさらに含む、請求項9から11のいずれか一項に記載の方法。
  13. 基地ステーションは、太陽に面しているとき、収穫、希薄化、又は他のタスクを行うためにUAVを送らずに、異なるUAVを調整及び案内する、請求項9から12のいずれか一項に記載の方法。
  14. 予備データを収集するステップをさらに含む、請求項9から13のいずれか一項に記載の方法。
  15. 予備データを収集するステップは、木が面する方向及び/又は陰になっているエリアを備える、請求項14に記載の方法。
  16. 基地ステーションを通じて、異なるUAV間の通信を行うステップをさらに含む、請求項9から15のいずれか一項に記載の方法。
  17. 果樹園内のUAVからデータを連続的に受信してデータベースを更新するステップをさらに含む、請求項9から16のいずれか一項に記載の方法。
  18. 品質のデータを、各々の収穫される果物に添付するステップをさらに含む、請求項9から17のいずれか一項に記載の方法。
  19. 品質のデータを、各々の木のIDに添付するステップをさらに含む、請求項9から18のいずれか一項に記載の方法。
  20. 品質モード1に最適化される、請求項9から19のいずれか一項に記載の方法。
  21. 品質モード2に最適化される、請求項9から19のいずれか一項に記載の方法。
  22. 品質モード3に最適化される、請求項9から19のいずれか一項に記載の方法。
  23. 果樹園内の異なるUAVの電力を連続的に管理するステップをさらに含む、請求項9から22のいずれか一項に記載の方法。
  24. 電力を管理するステップは、各々のUAVの電力レベルを監視して、充電かバッテリ交換が必要なときに各々のUAVを送り、必要な場合は、充電UAVのタスクを完了させるために交換UAVを送るステップを含む、請求項23に記載の方法。
  25. バッテリ交換は、充電されたバッテリをリモートUAVに運ぶ、専用のパワーUAVによって行われる、請求項24に記載の方法。
  26. 果物収穫UAVから、果物を容器に入れる果物搬送UAVへ果物を通過させるステップをさらに含み、当該ステップは、基地ステーション/隊管理によって制御される、請求項9から25のいずれか一項に記載の方法。
  27. 各々の果物収穫UAVに関して、木を割り当てて、予備検索ルートを生成するステップをさらに含み、各々の収穫UAVは、木に面することから始まり、特定のルートに応じて木をスキャンして、そして、収穫する必要のある果物を自律的に識別して、収穫する、請求項9から26のいずれか一項に記載の方法。
JP2019530249A 2016-08-18 2017-08-17 収穫及び希薄化(dilution)する(間引く)ためのドローンの隊管理用のシステム及び方法 Active JP7026114B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662376713P 2016-08-18 2016-08-18
US62/376,713 2016-08-18
US201762465965P 2017-03-02 2017-03-02
US62/465,965 2017-03-02
PCT/IL2017/050917 WO2018033925A1 (en) 2016-08-18 2017-08-17 System and method for drone fleet management for harvesting and dilution

Publications (3)

Publication Number Publication Date
JP2019528216A true JP2019528216A (ja) 2019-10-10
JP2019528216A5 JP2019528216A5 (ja) 2020-11-19
JP7026114B2 JP7026114B2 (ja) 2022-02-25

Family

ID=61196463

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019530249A Active JP7026114B2 (ja) 2016-08-18 2017-08-17 収穫及び希薄化(dilution)する(間引く)ためのドローンの隊管理用のシステム及び方法
JP2019530248A Active JP7154211B2 (ja) 2016-08-18 2017-08-17 空中ドローンを用いて、収穫及び希薄化(dilution)する(間引く)ようにデータベースをマッピング及び構築するためのシステム及び方法
JP2019530250A Active JP7073376B2 (ja) 2016-08-18 2017-08-17 農園の農作業の管理及びデータ収集のためのシステム及び方法
JP2019530247A Active JP7026113B2 (ja) 2016-08-18 2017-08-17 果樹園、農園、及び温室のために、空中ドローンを用いて、収穫及び希薄化(diluting)する(間引く)ためのデバイス、システム、及び方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2019530248A Active JP7154211B2 (ja) 2016-08-18 2017-08-17 空中ドローンを用いて、収穫及び希薄化(dilution)する(間引く)ようにデータベースをマッピング及び構築するためのシステム及び方法
JP2019530250A Active JP7073376B2 (ja) 2016-08-18 2017-08-17 農園の農作業の管理及びデータ収集のためのシステム及び方法
JP2019530247A Active JP7026113B2 (ja) 2016-08-18 2017-08-17 果樹園、農園、及び温室のために、空中ドローンを用いて、収穫及び希薄化(diluting)する(間引く)ためのデバイス、システム、及び方法

Country Status (13)

Country Link
US (4) US11526179B2 (ja)
EP (4) EP3500085B1 (ja)
JP (4) JP7026114B2 (ja)
CN (4) CN109640620B (ja)
AU (4) AU2017311696B2 (ja)
BR (4) BR112019002077B1 (ja)
CA (4) CA3034062C (ja)
ES (4) ES2905827T3 (ja)
IL (4) IL264790B (ja)
MX (4) MX2019001379A (ja)
PL (1) PL3500085T3 (ja)
PT (1) PT3500085T (ja)
WO (4) WO2018033922A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192769B1 (ko) * 2020-05-26 2020-12-21 하상균 드론을 이용한 고기잡이장치

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10625856B2 (en) * 2015-04-14 2020-04-21 ETAK Systems, LLC Battery backup via unmanned aerial vehicles for failure recovery
CN109640620B (zh) * 2016-08-18 2022-08-12 泰维空中机器人技术有限公司 用于种植园农业任务管理和数据收集的系统和方法
US11505330B2 (en) * 2016-08-20 2022-11-22 Modern Technology Solutions, Inc. Refueling system and systems with end effectors
CN106743321B (zh) * 2016-11-16 2020-02-28 京东方科技集团股份有限公司 运载方法和运载系统
US10621709B1 (en) * 2017-03-17 2020-04-14 Rockwell Collins, Inc. Enhancing image quality based on characteristics of a reference region of interest
WO2018175552A1 (en) * 2017-03-21 2018-09-27 Gauvreau Paul Richard Jr Unmanned aerial vehicle for augmenting plant pollination
US10974830B2 (en) * 2017-12-28 2021-04-13 Auror Flight Scienes Corporation Manipulation system and method for an aircraft
US11340978B2 (en) 2017-12-28 2022-05-24 Intel Corporation Methods, systems and apparatus for functional safety implementation
US11352133B2 (en) * 2017-12-28 2022-06-07 Intel Corporation Systems, cableless drone swarm systems, method and apparatus
US10875644B2 (en) * 2017-12-28 2020-12-29 Aurora Flight Sciences Corporation Ground manipulation system and method for fixing an aircraft
KR101999478B1 (ko) * 2018-01-29 2019-07-11 강원대학교산학협력단 열매 채취용 드론 및 이를 포함하는 시스템
GB201802335D0 (en) 2018-02-13 2018-03-28 Norwegian Univ Of Life Sciences Device for picking fruit
US10570636B2 (en) * 2018-03-14 2020-02-25 Frans Merrild Hangar system for local drone storage and charging
DE102018002499A1 (de) * 2018-03-22 2019-09-26 Fachhochschule Dortmund Verfahren und Vorrichtung zur Bestimmung der Position von Objekten in einer dreidimensionalen Umgebung
JP6661199B2 (ja) * 2018-03-27 2020-03-11 株式会社エアロネクスト 飛行体
CN108750106B (zh) * 2018-04-10 2021-05-25 清远市巨劲科技有限公司 一种植物取样植保无人机
US10717190B2 (en) * 2018-04-19 2020-07-21 Aurora Flight Sciences Corporation End-effector for workpiece manipulation system
AU2019340235A1 (en) * 2018-05-16 2020-12-17 Universal Field Robots Pty Ltd. Automated vehicle
CN108811856B (zh) * 2018-05-24 2023-05-19 南京林业大学 一种通过无人机搭载的树木修剪装置
CN108846325A (zh) * 2018-05-28 2018-11-20 广州极飞科技有限公司 目标区域作业的规划方法、装置、存储介质及处理器
DE102018114014A1 (de) * 2018-06-12 2019-12-12 Gustav Klauke Gmbh Zur Fernbedienung vorbereitetes Handwerkzeug sowie zur Fernbedienung vorbereitetes Werkzeug
US11034030B2 (en) * 2018-06-26 2021-06-15 Venkata Rama Subba Rao Chundi Scissor arm for unmanned robotic system
CN108901361B (zh) * 2018-06-28 2020-05-29 浙江大学 一种采茶无人机
CN108633482A (zh) * 2018-07-06 2018-10-12 华南理工大学 一种水果采摘飞行器
US11138712B2 (en) 2018-07-12 2021-10-05 TerraClear Inc. Systems and methods to determine object position using images captured from mobile image collection vehicle
WO2020016979A1 (ja) * 2018-07-19 2020-01-23 株式会社エアロネクスト 長尺に延びる本体部を備えた飛行体
DE102018120753A1 (de) * 2018-08-24 2020-02-27 naiture GmbH & Co. KG Mobile Analyse- und Bearbeitungsvorrichtung
CA3111249A1 (en) * 2018-08-24 2020-02-27 naiture GmbH & Co. KG Carrier system comprising a carrier and a mobile device for tilling the soil and/or for manipulating flora and fauna, and method therefor
CN109436322B (zh) * 2018-09-18 2022-02-08 昆明理工大学 一种小型摘果无人机及其工作方法
CN109436309A (zh) * 2018-10-09 2019-03-08 南京航空航天大学 一种新型轻量化旋翼飞行机器人
JP2020064339A (ja) * 2018-10-15 2020-04-23 株式会社Uei 地図作成装置、ロボット、地図作成方法及び地図作成プログラム
US11443640B2 (en) * 2018-10-19 2022-09-13 Anduril Industries, Inc. Ruggedized autonomous helicopter platform
WO2020121296A1 (en) * 2018-12-11 2020-06-18 Tevel Aerobotics Technologies Ltd. Selective harvesting at night and agriculture data collection
US11378975B1 (en) * 2019-01-03 2022-07-05 The Johns Hopkins University Autonomous navigation technology
US11878440B1 (en) * 2019-01-04 2024-01-23 Craig Mercier Unmanned aerial vegetation trimming system
EP3911143A4 (en) * 2019-01-17 2022-09-28 Tevel Aerobotics Technologies Ltd SYSTEM AND METHOD FOR PROTECTING HARVESTED FRUITS DURING HARVEST
WO2020152157A1 (en) * 2019-01-21 2020-07-30 Sony Corporation Information processing apparatus, electronic device and method
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
JP7250049B2 (ja) * 2019-01-31 2023-03-31 株式会社クボタ 作業装置
KR102235589B1 (ko) * 2019-02-19 2021-04-02 주식회사 아르고스다인 무인기 착륙 시스템
JP6765109B2 (ja) * 2019-03-08 2020-10-07 Assest株式会社 農業システム
CN110286670A (zh) * 2019-04-09 2019-09-27 丰疆智能科技股份有限公司 多台自动收割机的行驶路径规划系统及其方法
US11460866B2 (en) 2019-04-18 2022-10-04 Pearls Of Wisdom Advanced Technologies Ltd UAV carrier
CN110244325A (zh) * 2019-04-29 2019-09-17 丰疆智能科技研究院(常州)有限公司 移动rtk基站和飞行系统及其应用
EP3969376A4 (en) * 2019-05-13 2024-02-21 Punchbowl Automation IP Limited TRAY, DEVICE AND METHOD FOR PACKING FRUIT
PT115564A (pt) * 2019-06-03 2020-12-03 Raiz Instituto De Investig Da Floresta E Papel Plataforma para planeamento de operações silvícolas visando uma gestão florestal sustentável caso-a-caso
KR102187942B1 (ko) * 2019-07-15 2020-12-07 배대원 잣 채취용 엘피지 엔진형 하이브리드 드론
CN110249791B (zh) * 2019-07-30 2024-01-12 陕西理工大学 一种茶叶芽头无人机采摘装置及方法
CN110301248A (zh) * 2019-07-30 2019-10-08 南京林业大学 一种基于无人机的智能修剪系统和方法
CN110583241A (zh) * 2019-09-24 2019-12-20 江苏大学 一种飞行式核桃采摘装置
US20210147080A1 (en) * 2019-11-18 2021-05-20 Agco Corporation Crop-extraction system having an unmanned aerial vehicle, and related methods
CN111857169B (zh) * 2019-11-28 2021-07-30 南京航空航天大学 一种切割无人机姿态稳定机构及其控制方法
CN111874204B (zh) * 2019-11-28 2021-10-01 南京航空航天大学 一种带稳定机臂的切割形无人机机架
CN111824409B (zh) * 2019-11-28 2021-11-23 南京航空航天大学 一种采摘无人机的带切割翼型旋翼造型
JP7195616B2 (ja) * 2019-12-10 2022-12-26 株式会社エアロネクスト 長尺に延びる本体部を備えた飛行体
US20210267125A1 (en) * 2020-02-28 2021-09-02 The United States Of America, As Represented By The Secretary Of Agriculture System and method for harvesting fruit
KR102400837B1 (ko) * 2020-03-05 2022-05-23 주식회사 링크투 로봇 다리를 포함하는 드론
US20230165181A1 (en) * 2020-03-11 2023-06-01 Viewnetic Ltd. Systems and methods for monitoring plants in plant growing areas
EP3878741A1 (en) * 2020-03-12 2021-09-15 Bayer AG Unmanned aerial vehicle
CN111418349B (zh) * 2020-03-19 2022-05-27 南京赫曼机器人自动化有限公司 一种水果采摘智能机器人及其实现水果采摘的方法
US20230154182A1 (en) * 2020-04-02 2023-05-18 Grace And Kowloon Holdings Limited Tree image data acquisition
CN113492990B (zh) * 2020-04-07 2023-07-28 隆安良 一种用于多旋翼无人机的便携式快速测绘装置
CN111552762A (zh) * 2020-05-12 2020-08-18 广西旗鸣信息科技有限公司 一种基于果树编码的果园种植数字地图化管理方法和系统
JP7417901B2 (ja) * 2020-05-26 2024-01-19 パナソニックIpマネジメント株式会社 収穫方法
SE544184C2 (en) * 2020-05-27 2022-02-22 Airforestry Ab Method and system for remote or autonomous tree harvesting
BR112022021814A2 (pt) * 2020-05-27 2022-12-13 Airforestry Ab Método e sistema para a retenção remota ou autônoma de um tronco de árvore
WO2022100894A1 (en) * 2020-11-16 2022-05-19 Airforestry Ab Method and system for remote or autonomous tree transportation
WO2022100895A1 (en) * 2020-11-16 2022-05-19 Airforestry Ab Method and system for remote or autonomous tree harvesting and/or transportation
CA3178475A1 (en) * 2020-05-27 2021-12-02 Airforestry Ab Method and system for remote or autonomous tree harvesting
US20230159190A1 (en) * 2020-05-27 2023-05-25 Airforestry Ab Method and system for remote or autonomous ligno transportation
CN111661320B (zh) * 2020-05-28 2023-03-24 西南交通大学 无人机动态避障的控制方法、装置及无人机
CN111758416A (zh) * 2020-07-22 2020-10-13 杭州瀚予科技有限公司 一种高空树枝修剪无人机
CN112009684A (zh) * 2020-07-31 2020-12-01 国网河南省电力公司商丘供电公司 一种输电无人机巡检设备及巡检系统
KR102201111B1 (ko) * 2020-10-06 2021-01-12 김지호 수목전지 드론
KR20220045696A (ko) * 2020-10-06 2022-04-13 김동철 드론 및 드론 배송 방법
IT202000025615A1 (it) * 2020-10-28 2022-04-28 Fabio Venturini Apparecchiatura volante per la raccolta ed il trasporto di prodotti
WO2022091092A1 (en) * 2020-10-29 2022-05-05 Biotagate Ltd. System and method for indoor crop management
CN112580646A (zh) * 2020-12-08 2021-03-30 北京农业智能装备技术研究中心 番茄果实成熟度分割方法及采摘机器人
US20220194578A1 (en) * 2020-12-23 2022-06-23 Osmose Utilities Services, Inc. Systems and methods for inspecting structures with an unmanned aerial vehicle
JP7004962B1 (ja) * 2021-02-05 2022-01-21 エムラインシステム株式会社 無人航空機の制御装置及び無人航空機システム
IT202100004391A1 (it) * 2021-02-25 2022-08-25 In The Air S R L Un drone aereo a pilotaggio remoto comprendente un sistema di taglio cimatore di elementi erbacei
CN112790004B (zh) * 2021-03-09 2023-04-25 西京学院 一种无人机搭载的高频振动式核桃采摘系统
US11849220B2 (en) 2021-04-14 2023-12-19 Microsoft Technology Licensing, Llc Systems and methods for generating depth information from low-resolution images
US11831931B2 (en) * 2021-04-14 2023-11-28 Microsoft Technology Licensing, Llc Systems and methods for generating high-resolution video or animated surface meshes from low-resolution images
US11673689B2 (en) * 2021-04-27 2023-06-13 Verizon Patent And Licensing Inc. Command center for drone management
IL282797A (en) * 2021-04-29 2022-09-01 Tevel Aerobotics Tech Ltd A method for examining fruit quality and sorting during and before picking
CN113228963A (zh) * 2021-05-08 2021-08-10 江苏信实环境工程有限公司 一种市政绿化带植物剪切装置
KR102357756B1 (ko) * 2021-05-14 2022-02-09 유한회사 서해항공방제 드론을 이용한 유해 조수 및 곤충 방제장치 및 그를 구비하는 드론
CN113099847B (zh) * 2021-05-25 2022-03-08 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
US20230045635A1 (en) * 2021-08-05 2023-02-09 Saudi Arabian Oil Company Uav for continuous ultrasound testing (ut) scans with a flexible payload
CN113485448A (zh) * 2021-08-16 2021-10-08 浙江大学 一种园林用自主修剪型无人机及其控制方法
WO2023037437A1 (ja) * 2021-09-08 2023-03-16 東京ロボティクス株式会社 無人飛行機、飛行体及び飛行ロボット
EP4151073A1 (en) 2021-09-15 2023-03-22 Kubota Corporation Method and system for harvesting fruit or vegetable
CN113875423B (zh) * 2021-10-27 2022-08-09 国网山东省电力公司武城县供电公司 用于砍伐侵入交叉输电线路植物的削剪装置及方法
CN115245096B (zh) * 2022-01-05 2023-08-11 浙江理工大学 一种基于剪刀组件平行式的无人机采茶装置
WO2023158489A1 (en) * 2022-02-18 2023-08-24 Florida Atlantic University Board Of Trustees Platform-independent mobile environmental sensing system
HUP2200080A1 (hu) * 2022-03-18 2023-09-28 Zedna Robotics Zrt Terménybetakarító drón
WO2023242745A1 (en) * 2022-06-16 2023-12-21 Global Village Fruit, Inc. Unmanned aerial vehicle
CH719874A1 (de) 2022-07-08 2024-01-15 Chemspeed Res Ag System zur Schädlingsbekämpfung an Pflanzen.
CN115088500B (zh) * 2022-08-25 2022-11-18 中化现代农业有限公司 用于果树的修剪系统及使用方法
CN115336520B (zh) * 2022-08-26 2023-05-16 北大荒集团黑龙江七星农场有限公司 一种用于水稻部署的大数据分类处理系统
EP4339554A1 (en) * 2022-09-16 2024-03-20 Airbus Operations GmbH System for scanning or inspecting an aircraft or spacecraft surface
KR102574447B1 (ko) * 2022-12-06 2023-09-06 주식회사 어밸브 스마트팜 내의 드론을 제어하는 방법, 및 이를 이용하는 드론
KR102564656B1 (ko) * 2022-12-07 2023-08-09 이근출 말벌 퇴치용 드론

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140303814A1 (en) * 2013-03-24 2014-10-09 Bee Robotics Corporation Aerial farm robot system for crop dusting, planting, fertilizing and other field jobs
WO2015142166A1 (en) * 2014-03-20 2015-09-24 Lely Patent N.V. Method and system for navigating an agricultural vehicle on a land area
US20150310721A1 (en) * 2012-08-06 2015-10-29 Superior Edge, Inc. Determining in-season crop status in an agricultural crop and alerting users
US20160031564A1 (en) * 2012-03-30 2016-02-04 Flight of the Century, Inc. Long range electric aircraft and method of operating same
WO2016049217A1 (en) * 2014-09-23 2016-03-31 Biocarbon Engineering Ltd. Techniques for automated planting
JP2016138788A (ja) * 2015-01-27 2016-08-04 株式会社トプコン 測量データ処理装置、測量データ処理方法およびプログラム
WO2016123201A1 (en) * 2015-01-27 2016-08-04 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for robotic remote sensing for precision agriculture
WO2016123656A1 (en) * 2015-02-05 2016-08-11 The University Of Sydney Horticultural harvesting system and apparatus using revolving shells
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4835955A (en) * 1988-05-05 1989-06-06 Gaubis Alfred E Hand-operated fruit picker
WO2003069315A1 (fr) * 2002-02-13 2003-08-21 Kansai Environmental Engineering Center Co., Ltd. Procede d'evaluation de la biomasse des forets et des arbres a l'aide de donnees a resolution elevee detectees a distance
JP4080302B2 (ja) 2002-11-07 2008-04-23 三菱電機株式会社 位置判読装置
ITFI20030172A1 (it) * 2003-06-17 2004-12-18 Maflex S R L Un'apparecchiatura per la raccolta di olive, bacche od altri frutti.
US7765780B2 (en) * 2003-12-12 2010-08-03 Vision Robotics Corporation Agricultural robot system and method
US7854108B2 (en) * 2003-12-12 2010-12-21 Vision Robotics Corporation Agricultural robot system and method
JP4984591B2 (ja) * 2006-03-28 2012-07-25 日本電気株式会社 自動姿勢制御装置、自動姿勢制御方法及び自動姿勢制御プログラム
CN100512621C (zh) * 2007-03-06 2009-07-15 江苏大学 果蔬采摘机器人末端执行器
JP5694781B2 (ja) * 2008-02-13 2015-04-01 ピッカー・テクノロジーズ・リミテッド・ライアビリティ・カンパニーPicker Technologies Llc りんご、柑橘類、核果、及び同様の物体の摘み取り及び予備処理を改善する移動システム
CN201418285Y (zh) * 2009-04-24 2010-03-10 谢伦国 遥控采摘飞机
US20110047951A1 (en) 2009-08-25 2011-03-03 Francis Wilson Moore Fruit tree pruner and harvesting machine
FR2985581B1 (fr) * 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US9939417B2 (en) * 2012-06-01 2018-04-10 Agerpoint, Inc. Systems and methods for monitoring agricultural products
CN102881219B (zh) * 2012-09-20 2014-11-26 北京林业大学 果树定位地图构建装置及方法
CN102914967B (zh) * 2012-09-21 2015-01-28 浙江工业大学 采摘机器人的自主导航和人机协同采摘作业系统
US9198363B2 (en) * 2012-12-12 2015-12-01 The Boeing Company Tree metrology system
CA2896035A1 (en) 2012-12-19 2014-06-26 Alan Shulman Methods and systems for automated micro farming
US9429425B2 (en) 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
US9852644B2 (en) * 2013-03-24 2017-12-26 Bee Robotics Corporation Hybrid airship-drone farm robot system for crop dusting, planting, fertilizing and other field jobs
JP2014227166A (ja) 2013-05-27 2014-12-08 株式会社 帝国設計事務所 飛行体型目視点検装置
US9629220B2 (en) * 2013-08-05 2017-04-18 Peter Panopoulos Sensor-based controllable LED lighting system with repositionable components and method
WO2015105554A1 (en) * 2013-10-15 2015-07-16 Skypersonic Llc Enclosed drone apparatus and method for use thereof
US10240930B2 (en) * 2013-12-10 2019-03-26 SZ DJI Technology Co., Ltd. Sensor fusion
DE102014201203A1 (de) * 2014-01-23 2015-07-23 Deere & Company Landwirtschaftliches Arbeitsfahrzeug mit einem Fluggerät und zugehöriger Stromversorgung
WO2014080386A2 (en) 2014-03-25 2014-05-30 Alshdaifat, Wasfi Drone service aero-carrier
US9489576B2 (en) 2014-03-26 2016-11-08 F12 Solutions, LLC. Crop stand analysis
US9875661B2 (en) 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
KR101458534B1 (ko) 2014-07-16 2014-11-05 (주)테크맥스텔레콤 잣채취용 덕트형 무인비행체
WO2016033797A1 (en) * 2014-09-05 2016-03-10 SZ DJI Technology Co., Ltd. Multi-sensor environmental mapping
US20160183514A1 (en) * 2014-12-26 2016-06-30 Robert J. Dederick Device and method for dispersing unwanted flocks and concentrations of birds
IL236606B (en) * 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
US9792557B2 (en) * 2015-01-14 2017-10-17 Accenture Global Services Limited Precision agriculture system
US9436187B2 (en) * 2015-01-15 2016-09-06 The United States Of America As Represented By The Secretary Of The Navy System and method for decentralized, multi-agent unmanned vehicle navigation and formation control
US9420748B2 (en) * 2015-01-20 2016-08-23 Elwha Llc Systems and methods for pruning plants
EP3247189B1 (en) 2015-01-21 2021-12-29 Ramot at Tel-Aviv University Ltd. Agricultural robot
CN204433059U (zh) * 2015-01-30 2015-07-01 马鞍山市赛迪智能科技有限公司 一种搭载机械手电锯的飞行器
GB201501882D0 (en) 2015-02-05 2015-03-25 Technology Res Ct The Ltd Apparatus and method for analysis of growing items
CN104590562B (zh) 2015-02-12 2016-11-30 马鞍山市赛迪智能科技有限公司 一种防撞式定点消防无人机
US11260971B2 (en) * 2015-02-23 2022-03-01 Aaron Weller Enclosed unmanned aerial vehicle
US10139279B2 (en) * 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
US9944366B2 (en) 2015-05-19 2018-04-17 Rujing Tang Unmanned aerial vehicle system and methods for use
CN104881017B (zh) 2015-06-11 2018-03-30 沈阳北斗平台科技有限公司 一种基于北斗的农作物生长监管系统
CN104919981A (zh) 2015-07-13 2015-09-23 绍兴文理学院 一种无人机香榧果采摘器
US10241097B2 (en) * 2015-07-30 2019-03-26 Ecoation Innovative Solutions Inc. Multi-sensor platform for crop health monitoring
US9679490B2 (en) * 2015-08-04 2017-06-13 Qualcomm Incorporated Opportunistic unmanned autonomous vehicle energy harvesting
US10099561B1 (en) * 2015-09-25 2018-10-16 Amazon Technologies, Inc. Airborne unmanned aerial vehicle charging
US10555460B2 (en) 2015-10-05 2020-02-11 Amrita Vishwa Vidyapeetham Automated drone for harvesting produce
CN105501441A (zh) * 2015-12-16 2016-04-20 无锡同春新能源科技有限公司 一种无人番茄采摘机
CN205454643U (zh) * 2016-01-27 2016-08-17 东北林业大学 林业高枝松果悬空采摘器
CN105684746A (zh) * 2016-03-03 2016-06-22 安金梁 一种农林修剪专用无人机
US10827672B2 (en) * 2016-03-14 2020-11-10 Cutter Technologies, LLC Field monitoring, analysis, and treatment system
US10417469B2 (en) * 2016-05-07 2019-09-17 Morgan E. Davidson Navigation using self-describing fiducials
CN206024714U (zh) 2016-08-15 2017-03-22 许珉裴 一种多旋翼植保无人机
CN109640620B (zh) * 2016-08-18 2022-08-12 泰维空中机器人技术有限公司 用于种植园农业任务管理和数据收集的系统和方法
US10353401B2 (en) * 2017-05-01 2019-07-16 EAVision Corporation Detecting and following terrain height autonomously along a flight path
US20180365995A1 (en) * 2017-06-14 2018-12-20 Trw Automotive U.S. Llc Automobile communication system using unmanned air vehicle intermediary
US10322803B2 (en) * 2017-09-29 2019-06-18 Deere & Company Using unmanned aerial vehicles (UAVs or drones) in forestry productivity and control applications
US10796275B1 (en) * 2017-10-27 2020-10-06 Amazon Technologies, Inc. Systems and methods for inventory control and delivery using unmanned aerial vehicles
US11406056B2 (en) * 2018-12-05 2022-08-09 H2Gr0, Llc Social farming network and control system for agricultural chemical management

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160031564A1 (en) * 2012-03-30 2016-02-04 Flight of the Century, Inc. Long range electric aircraft and method of operating same
US20150310721A1 (en) * 2012-08-06 2015-10-29 Superior Edge, Inc. Determining in-season crop status in an agricultural crop and alerting users
US20140303814A1 (en) * 2013-03-24 2014-10-09 Bee Robotics Corporation Aerial farm robot system for crop dusting, planting, fertilizing and other field jobs
WO2015142166A1 (en) * 2014-03-20 2015-09-24 Lely Patent N.V. Method and system for navigating an agricultural vehicle on a land area
WO2016049217A1 (en) * 2014-09-23 2016-03-31 Biocarbon Engineering Ltd. Techniques for automated planting
JP2016138788A (ja) * 2015-01-27 2016-08-04 株式会社トプコン 測量データ処理装置、測量データ処理方法およびプログラム
WO2016123201A1 (en) * 2015-01-27 2016-08-04 The Trustees Of The University Of Pennsylvania Systems, devices, and methods for robotic remote sensing for precision agriculture
WO2016123656A1 (en) * 2015-02-05 2016-08-11 The University Of Sydney Horticultural harvesting system and apparatus using revolving shells
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192769B1 (ko) * 2020-05-26 2020-12-21 하상균 드론을 이용한 고기잡이장치

Also Published As

Publication number Publication date
ES2964947T3 (es) 2024-04-10
ES2905827T3 (es) 2022-04-12
IL264802B (en) 2022-01-01
CN109640621A (zh) 2019-04-16
US11526179B2 (en) 2022-12-13
CA3034062C (en) 2023-09-26
MX2019001379A (es) 2019-06-03
MX2019001387A (es) 2019-06-03
BR112019002091B1 (pt) 2022-08-02
ES2909226T3 (es) 2022-05-05
AU2017311697A1 (en) 2019-04-11
EP3500085A1 (en) 2019-06-26
US11846946B2 (en) 2023-12-19
ES2905856T3 (es) 2022-04-12
MX2019001384A (es) 2019-06-03
BR112019002084B1 (pt) 2023-01-31
IL264830A (ja) 2019-03-31
EP3500877A1 (en) 2019-06-26
AU2017311697B2 (en) 2023-04-13
PT3500085T (pt) 2022-02-09
CN109862778A (zh) 2019-06-07
US11709493B2 (en) 2023-07-25
EP3500877A4 (en) 2020-06-03
JP2019537161A (ja) 2019-12-19
EP3500086A4 (en) 2020-05-27
US11194348B2 (en) 2021-12-07
CN109640620A (zh) 2019-04-16
JP2019531228A (ja) 2019-10-31
JP7154211B2 (ja) 2022-10-17
EP3500085A4 (en) 2020-05-27
JP7026114B2 (ja) 2022-02-25
IL264830B (en) 2022-07-01
JP7026113B2 (ja) 2022-02-25
PL3500085T3 (pl) 2022-03-21
AU2017314221B2 (en) 2023-04-06
WO2018033922A1 (en) 2018-02-22
IL264846B (en) 2022-03-01
AU2017311695A1 (en) 2019-04-11
CN109862778B (zh) 2022-03-01
EP3500877B1 (en) 2021-09-29
CA3034061A1 (en) 2018-02-22
CN109640620B (zh) 2022-08-12
US20190166765A1 (en) 2019-06-06
CA3034061C (en) 2023-09-26
BR112019002092B1 (pt) 2022-08-02
US20210112722A1 (en) 2021-04-22
BR112019002092A2 (pt) 2019-05-14
WO2018033925A1 (en) 2018-02-22
MX2019001386A (es) 2019-06-03
US20190227575A1 (en) 2019-07-25
BR112019002077B1 (pt) 2022-08-02
EP3500086A1 (en) 2019-06-26
BR112019002084A2 (pt) 2019-05-14
WO2018033926A1 (en) 2018-02-22
AU2017311696B2 (en) 2023-04-20
CA3034059A1 (en) 2018-02-22
EP3500085B1 (en) 2021-11-10
BR112019002091A2 (pt) 2019-05-14
EP3500087A4 (en) 2020-04-08
IL264790B (en) 2022-09-01
EP3500086B1 (en) 2023-07-26
JP2019532666A (ja) 2019-11-14
CA3034060A1 (en) 2018-02-22
CA3034062A1 (en) 2018-02-22
EP3500087A1 (en) 2019-06-26
AU2017311695B2 (en) 2023-04-20
CN109716167B (zh) 2021-04-13
AU2017314221A1 (en) 2019-04-11
EP3500087B1 (en) 2021-12-08
IL264790A (ja) 2019-03-31
WO2018033923A1 (en) 2018-02-22
AU2017311696A1 (en) 2019-04-11
CN109716167A (zh) 2019-05-03
BR112019002077A2 (pt) 2019-05-14
JP7073376B2 (ja) 2022-05-23
CA3034060C (en) 2023-09-26
US20210112723A1 (en) 2021-04-22
CN109640621B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
JP7073376B2 (ja) 農園の農作業の管理及びデータ収集のためのシステム及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7026114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150