JP2021510305A - 農業のための方法及びシステム - Google Patents

農業のための方法及びシステム Download PDF

Info

Publication number
JP2021510305A
JP2021510305A JP2020538964A JP2020538964A JP2021510305A JP 2021510305 A JP2021510305 A JP 2021510305A JP 2020538964 A JP2020538964 A JP 2020538964A JP 2020538964 A JP2020538964 A JP 2020538964A JP 2021510305 A JP2021510305 A JP 2021510305A
Authority
JP
Japan
Prior art keywords
unit
crop
units
mapping
working
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020538964A
Other languages
English (en)
Inventor
ジェイムス ケント、
ジェイムス ケント、
アーサー ジャック ラッセル、
アーサー ジャック ラッセル、
フレッド アイザック、
フレッド アイザック、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihelm Ltd
Original Assignee
Xihelm Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihelm Ltd filed Critical Xihelm Ltd
Publication of JP2021510305A publication Critical patent/JP2021510305A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30Robotic devices for individually picking crops
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D90/00Vehicles for carrying harvested crops with means for selfloading or unloading
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D90/00Vehicles for carrying harvested crops with means for selfloading or unloading
    • A01D90/16Vehicles for carrying harvested crops with means for selfloading or unloading self-propelled
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D93/00Harvesting apparatus not provided for in other groups of this subclass
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G9/00Cultivation in receptacles, forcing-frames or greenhouses; Edging for beds, lawn or the like
    • A01G9/14Greenhouses
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Guiding Agricultural Machines (AREA)
  • Image Processing (AREA)
  • Greenhouses (AREA)
  • Harvesting Machines For Specific Crops (AREA)

Abstract

1つ以上のセンサ(1306)を使用し、対象領域内の作物に関連するデータを獲得すること(2200)と、獲得したセンサデータを使用して対象領域内の作物の位置をマッピングすること(2400)と、マッピングされた位置に基づいて対象領域内の作物のうちの少なくともいくつかの間の1つ以上のルートを生成すること(2600)と、1つ以上のルートに沿って1つ以上の作業ユニット(1200)の経路設定を行い(2800)、それによって作物のうちの少なくとも1つに対して作業することと、を含む、対象領域(20)内の作物(14)に対して作業する方法(2000)。

Description

本発明は、対象領域内の作物に対して作業するための方法及びシステムに関する。本発明は、作業ユニット、運搬ユニット、マッピングユニット、メンテナンスユニット、ドック、及び、このような方法及びシステムとともに使用するための変更された生育環境にも及ぶ。
果物や他の作物を摘み取ることをを含む、農業全体にわたる仕事を実行するための種々の自動化システムが存在する。
しかしながら、そのような自動化システムは、それらが不正確で、遅く、しばしば作物に損傷を与えるという事実のために、広範な使用のためには実用的ではない。
本発明の態様及び実施形態は、添付の特許請求の範囲に記載されている。本発明のこれらの及び他の態様及び実施形態もまた、本明細書に記載されている。
発明の一態様によれば、1つ以上のセンサを使用して対象領域内の作物に関連するデータを獲得することと、獲得されたセンサデータを使用して対象領域内の作物の位置をマッピングすることと、マッピングされた位置に基づいて、対象領域内の作物のうちの少なくともいくつかの間の1つ以上のルートを生成することと、1つ以上のルートに沿って1つ以上の作業ユニット(すなわち、作物に対して特定の動作、特に収穫を実行する自律的ロボット)の経路設定を行い、それによって作物のうちの少なくとも1つに対して作業することと、を含む、対象領域内の作物に対する作業の方法が提供される。
これは、(動的かつ連続的に変更する)生育環境内の対象領域を通る自律作業ユニットのより効率的な移動を可能にすることができ、それによって、収穫の改善された速度及び改善された収量を提供することができる。
任意選択的に、対象領域内の作物に関連するデータを獲得することは、対象領域を通るかまたはその周りで1つ以上のマッピングユニットの経路設定を行うことを含み、1つ以上のマッピングユニットは、1つ以上のセンサを備える。
1つ以上のマッピングユニットからの位置表示が受信されてもよく、対象領域内の作物の位置をマッピングすることは、1つ以上のマッピングユニットに関連して作物の位置を特定することを含んでもよい。
対象領域内の作物の位置をマッピングすることは、1つ以上のマッピングユニットの特定の時点における位置に関連して作物の位置を特定することを含んでもよい。
任意選択的に、この方法は、対象領域を通るかまたはその周りで1つ以上のマッピングユニットの経路設定をいつ行うかを決定することをさらに含んでもよい。前記決定することは、スケジュール、作物のマッピングされた位置及び/または生成されたルートについての検出された問題点、及び、生育環境に関連した観察されたかまたは予想される事象、のうちの1つ以上に依存してもよい。
対象領域内の作物の位置をマッピングすることは、獲得されたデータに対する所定の品質要件に基づいて、1つ以上のマッピングユニットの移動速度を選択することを含んでもよい。
対象領域を通るかまたはその周りで1つ以上のマッピングユニットの経路設定を行うことは、1つ以上のマッピングユニットの1つ以上のセンサを使用して、対象領域を通るかその周りでナビゲートすることを含んでよく、任意選択的に対象領域の所定のマップに基づいてナビゲートすることを含んでよい。対象領域を通るかまたはその周りで1つ以上のマッピングユニットの経路設定を行うことは、1つ以上のマッピングユニットの1つ以上のセンサを使用して、ターゲットエリアを通るかまたはその周りの所定の経路をたどることを含んでもよい。
1つ以上のマッピングユニットは、1つ以上の作業ユニットであってよく、あるいは、1つ以上のマッピングユニットは、1つ以上の作業ユニットとは異なってもよい。任意選択的に、1つ以上のマッピングユニットは、1つ以上の作業ユニットとして使用するように構成可能であり、逆もまた同様である。
対象領域内の作物の位置をマッピングすることは、対象領域の既知の計画に関連して作物の位置を特定することをさらに含んでもよい。この方法は、対象領域の計画を受領することをさらに含んでもよい。
任意選択的に、対象領域内の作物の位置をマッピングすることは、獲得されたデータ内の作物を識別することを含む。対象領域内の作物の位置をマッピングすることは、訓練されたモデルを使用して、獲得されたデータ内の作物を識別することを含んでもよい。対象領域内の作物の以前にマッピングされた位置が、訓練されたモデルのためのフィードバックとして使用されてもよい。
作物の位置をマッピングすることは、位置を特定された作物のマップを生成することを含んでもよい。マップは、位置を特定された作物の三次元マップであってよい。任意選択的に三次元マップは点群として格納される。
1つ以上の作業ユニットは、対象領域の少なくとも一部において作物に対して作業することの実際的な困難性に関連する対応策を取得するために用いられてもよく、次いで対応策は、生成されたマップに組み込まれてもよい。対象領域内の作物のマッピングされた位置は、以前に生成されたマップ及び期待生育率に基づいて更新されてもよく、任意選択的に前記更新することは、さらに、生育環境において測定された条件に基づいている。以前に生成されたマップが、生成されたマップに組み込まれてもよい。
任意選択的に、対象領域内の作物の位置をマッピングすることは、過去のマッピングされた位置を用いて、マッピングユニットによって獲得されたデータにおいて作物を識別することを支援することを含む。
獲得されたデータは、作物を分類するために使用されてもよい。作物の異なる分類に関する複数のマップが生成されてもよい。
1つ以上のセンサは、1つ以上のカメラを含んでもよく、取得されたデータは、視覚データであってもよい。1つ以上のカメラは、距離画像化に適したカメラを含んでもよい。
1つ以上のルートは、対象領域内の作物のうちの少なくともいくつかの間の効率的なルートであってよい。各作業ユニットは、移動可能なカートと、作物に対して作業するためにカートに取り付けられた1つ以上の作物操作装置とを備えてもよい。1つ以上のルートに沿って1つ以上の作業ユニットの経路設定を行うことは、カートの動きを指示することと、1つ以上の作物操作装置の動きを指示することとを含んでもよい。
1つ以上のルートを生成することは、1つ以上の作業ユニットの既知のパラメータにさらに基づいてもよい。既知のパラメータは、1つ以上の作業ユニットが1つ以上の特定のアクションを実行するための、1つ以上の典型的な速度及び/または時間を含んでもよい。1つ以上の特定のアクションは、カートの動きと、1つ以上の作物操作装置の動きとのうちの1つ以上を含んでもよい。作物操作装置は、ロボットアームを含んでもよい。
1つ以上のルートを生成することは、任意選択的に、対象領域内の作物の少なくともいくつかが収穫されるべき順番を決定することを含む。
1つ以上のルートは、訓練されたモデルを使用して生成されてもよい。ルートを生成することは、可視グラフ(visibility graph)、ランダム探索アルゴリズム(random-exploring algorithm)、確率的ロードマップ(probabilistic road map)、最適検索アルゴリズム(optimal search algorithm)、例による追随(following by example)、及びバイオインスパイアードアルゴリズム(bioinspired algorithm)のうちの1つ以上を使用することを含んでもよい。1つ以上のルートは1つ以上の作業ユニットに割り当てられてもよい。任意選択的に方法は、1つ以上のルート及び/または1つ以上の作業ユニットに関して検出された問題に基づいて、1つ以上のルートを再生成及び/または再割り当てすることをさらに含む。1つ以上のルートを生成することは、1つ以上の所定の性能指標値に依存してもよい。
作物のうちの少なくとも1つに対して作業することは、作物のうちの少なくとも1つを収穫することを含んでもよい。特定の作業ユニットのための1つ以上のルート上の各作物の位置において、作業ユニットの採取ツールは作物に向けられてもよく、作物は収穫されてもよい。作物を収穫することは、植物の作物支持部分を植物の残りの部分から分離することと、作物を植物から分離することとのうちの一方を含んでもよい。
1つ以上の作業ユニットは、1つ以上のルート上の特定の作物が収穫できる状態になっているかどうかを決定するために使用されてもよく、特定の作物は、前記決定の結果に基づいて収穫される。特定の作物が収穫できる状態になっているかどうかを決定することは、センサを使用して特定の作物に関連するデータを収集することを含んでもよい。
対象領域内の作物に関連する獲得されたデータが、対象領域内の特定の作物が収穫できる状態になっているかどうかを決定するために使用されてもよく、特定の作物は、決定の結果に基づいて収穫されてもよい。特定の作物が収穫できる状態になっているかどうかを決定することは、収集されたデータを、作物の収穫に適している度合いに関連した所定の分類器と比較することをさらに含んでもよい。
代替的に、1つ以上の作業ユニットは、1つ以上のルート上で、及び/または前記対象領域内で、作物のすべてを収穫するように構成されてもよい。
作物に関するデータが、1つ以上の作業ユニットの1つ以上のセンサを使用して収集されてもよく、作物は、センサを介して収集されたデータに応じて分類されてもよい。
収穫された作物は、1つ以上の作業ユニット上に保管されてもよい。収穫された作物は、収穫された作物の収集のための場所に運搬されてもよい。収穫された作物を収穫された作物の収集のための場所に運搬することは、任意選択的に、1つ以上の運搬ユニットを1つ以上の作業ユニットに向かわせることと、収穫された作物を1つ以上の運搬ユニットに移すことと、1つ以上の運搬ユニットを収穫された作物の収集のための場所に向かわせることとを含む。
1つ以上の運搬ユニットの使用がスケジューリングされてもよい。任意選択的に方法は、収穫された作物を秤量及び/または選別することをさらに含む。収穫された作物は、重量、及び/または収穫に適している度合いに応じて分類されてもよい。
作物に対して作業することは、刈り込み、剪定、農薬の適用、植え込み、植え替え、メンテナンス、残屑の除去、及びミツバチの放出のうちの1つ以上を含んでもよい。
方法は、1つ以上の作業ユニットから送信されたステータスを受信することをさらに含んでもよく、送信されたステータスは、位置、負荷状態、バッテリー状態、及びエラーまたは障害のうちの1つ以上に関係する。送信されたステータスに応答して、1つ以上の作業ユニットの再経路設定を行うこと、1つ以上の運搬ユニットを1つ以上の作業ユニットに向かわせること、1つ以上の作業ユニットを充電場所に向かわせること、1つ以上のメンテナンスユニットを1つ以上の作業ユニットに向かわせること、のうちの1つ以上のアクションが実行されてもよい。
任意選択的に方法は、1つ以上のルートに沿って1つ以上の作業ユニットの経路設定を行い、それによって所定の閾値を超えるまで1つ以上のルート上の1つ以上の作物に対して連続的に作業することを含み、閾値は、貯蔵容量、バッテリー充電量、メンテナンス状態、及びルート内の位置のうちの1つ以上に関連する。訓練されたモデルを任意選択的に使用して、1つ以上の作業ユニットの使用がスケジューリングされてもよい。前記スケジューリングは外部入力に依存してもよく、任意選択的に外部入力は、作物に対する需要の指標である。
作物は生育環境で収穫されてもよく、任意選択的に生育環境はパイプレール加熱システムを有する温室である。対象領域は、生育環境の全体であってよい。方法は、対象領域における他の関心対象の位置をマッピングすることをさらに含んでもよく、他の関心対象は、障害物、及び作物を有する植物の部分のうちの1つ以上である。
本明細書で説明する少なくとも1つの態様によれば、生育環境において作物に対して作業するための作業ユニットであって、動力付きのカートと、カートに取り付けられた1つ以上のロボットアームであって、各アームが、作物に対して作業する際に使用するためのエンドエフェクタを有する1つ以上のロボットアームと、カートの動き及び1つ以上のロボットアームの動きを制御するためのプロセッサと、を備え、1つ以上のロボットアームは、6未満の自由度でエンドエフェクタを位置決めするように構成されている、作業ユニットが提供される。
任意選択的に1つ以上のロボットアームは、各々、3つの動き軸を有する。1つ以上のロボットアームは、円筒座標のロボットアームまたはデカルト座標のロボットアームを含んでもよい。
作業ユニットは、周囲の物体に関するデータを受信するための1つ以上のセンサをさらに備えてもよく、前記データは、生育環境を通ってカートをナビゲートするためにプロセッサによって使用されてもよい。1つ以上のセンサはカメラを含んでもよく、プロセッサは、コンピュータビジョンを使用して、カートを生育環境を通ってナビゲートするように構成されてもよい。任意選択的に作業ユニットは、データを獲得しながら生育環境内の対象領域を通って、またはその周りを移動し、それによって、対象領域をマッピングするように構成されている。
データは、1つ以上のロボットアームの精密位置決めのためにプロセッサによって使用されてもよい。任意選択的に作物の収穫に適している度合いに関連した所定の分類器との比較に基づいて、データは、プロセッサ及び/または外部プロセッサによって、対象領域内の特定の作物が収穫できる状態になっているかどうかを判定するために使用されてもよい。
前記1つ以上のセンサのうちの少なくとも1つが、1つ以上のロボットアームに取り付けられてもよい。作業ユニットは、1つ以上のオドメータを含んでもよく、前記オドメータから受信したデータは、生育環境を通ってカートをナビゲートするためにプロセッサによって使用される。
プロセッサと通信するデータ格納部がさらに設けられてもよい。データ格納部は、作業ユニットの周囲のモデルを含んでもよく、任意選択的にモデルは対象領域内の作物のマップを含み、プロセッサは、モデルを使用して、カート及び/または1つ以上のロボットアームの動きを制御することができる。データ格納部は、作業ユニットのための指示を含んでもよく、指示は、カート及び/または1つ以上のロボットアームの動きのための1つ以上のルートと、1つ以上の作物のための作業指示とを含む。
作業ユニットは、1つ以上のロボットアームとともに使用するために、概して交換可能な複数のエンドエフェクタを備えてもよい。1つ以上の作物に対して可能な作業は、1つ以上の作物の収穫、刈り込み、剪定、農薬の適用、植え込み、植え替え、メンテナンス、残屑の除去、及びミツバチの放出のうちの1つ以上を含んでもよい。収穫することは、摘み取り、切断、すりつぶし、搾り出し、押しつぶし、及び振り落としのうちの1つ以上を含んでもよい。
作業ユニットは、収穫された作物を貯蔵するための手段をさらに含んでもよく、好ましくは、収穫された作物を貯蔵するための手段は冷蔵され、任意選択的に貯蔵するための手段は、作物を秤量し選別するための手段を含む。作業ユニットは、作物を積み降ろすことを可能にするために、さらなるユニットまたは貯蔵機構と協働するための手段をさらに備えてもよい。
作業ユニットは、プロセッサと通信する通信手段をさらに備えてもよく、作物に対する作業に関するデータを外部サーバに送信し、外部サーバからデータを受信するように構成されてもよい。
作業ユニットは、所定のスケジュールにしたがって動作するように構成されてもよい。作業ユニットは、GPS受信機を備えてもよく、任意選択的に位置表示を送信するように構成されている。作業ユニットは、1つ以上の光源、及び/または、作業ユニットに電力を供給するためのバッテリーをさらに備えてもよい。
本明細書で説明する少なくとも1つの態様によれば、生育環境内の対象領域における作物に関連するデータを獲得するためのマッピングユニットであって、動力付きのカートと、カートの動きを制御するためのプロセッサと、カートに取り付けられた1つ以上のセンサと、を備え、1つ以上のセンサを使用してデータを獲得しながら、生育環境内の対象領域を通ってまたはその周りを移動し、それによって対象領域内の作物に関連するデータを獲得するように構成されている、マッピングユニットが提供される。
1つ以上のセンサは、カートの2つ以上の側から視覚データを獲得できるように構成されてもよい。1つ以上のセンサは、移動可能であってもよく、及び/または、カート上の可動プラットフォーム上に取り付けられてもよい。
マッピングユニットは、複数のセンサを含んでもよい。1つ以上のセンサは、カメラを含んでもよく、任意選択的に距離画像化に適したカメラを含む。
獲得されたデータは、任意選択的にコンピュータビジョンを使用して、プロセッサによって、生育環境を通ってカートをナビゲートするためにさらに使用されてもよい。マッピングユニットは、1つ以上のオドメータを含んでもよく、オドメータから受信されたデータは、生育環境を通してカートをナビゲートするためにプロセッサによって使用される。マッピングユニットは、所定のスケジュールにしたがって動作するように構成されてもよい。
マッピングユニットは、マッピングユニットに電力を供給するためのバッテリー、及び/または、1つ以上の光源をさらに含んでもよい。マッピングユニットは、プロセッサと通信する通信手段をさらに備えてもよく、作業ユニットは、獲得されたデータをサーバに送信するように構成されている。マッピングユニットは、GPS受信機をさらに備えてもよく、任意選択的に作業ユニットは位置表示をサーバに送信するように構成されている。
本明細書で説明する少なくとも1つの態様によれば、対象領域内の作物の位置をマッピングするためのシステムであって、ここで説明されたマッピングユニットと、サーバと、を備え、サーバは、1つ以上のマッピングユニットによって獲得された視覚データにおける作物を識別し、対象領域の既知の計画及び/または1つ以上のマッピングユニット位置に関連して、識別された作物の位置を特定し、それによって対象領域における作物の位置をマッピングするように構成されているシステムが提供される。
本明細書で説明する少なくとも1つの態様によれば、生育環境において、収穫された作物を運搬するための運搬ユニットであって、動力付きのカートと、カートの動きを制御するためのプロセッサと、作物を運搬するための1つ以上のコンテナと、を備え、概して可変の第1の場所と概して固定された第2の場所との間を往復し、それによって収穫された作物を前記第1の場所から第2の場所に運搬するように構成されている運搬ユニットが提供される。概して可変の第1の場所は、作業ユニットの位置であってよく、任意選択的にここで説明した作業ユニットの位置である。
運搬ユニットは、作業ユニットから前記運搬ユニットへの作物の移送を補助するために、作業ユニットと協働するための手段をさらに備えてもよい。運搬ユニットは、任意選択的にサーバを介して、作業ユニットから位置表示を受信するための無線通信手段をさらに備えてもよい。
概して固定された第2の場所は、任意選択的にドックであり、任意選択的にサーバを備える。
運搬ユニットは、データ格納部と、外部コンピューティング装置がデータ格納部と通信することを可能にする及び物理インターフェースと、をさらに備えてもよく、第1の場所と第2の場所との間でデータを転送するように構成されている。
運搬ユニットは、周囲の物体に関連するデータを獲得するための1つ以上のセンサをさらに備えてもよく、獲得されたデータは、任意選択的にコンピュータビジョンを使用して、生育環境を通ってカートをナビゲートするためにプロセッサによって使用されてもよい。運搬ユニットは、1つ以上のオドメータをさらに備えてもよく、オドメータから受信したデータは、生育環境を通ってカートをナビゲートするためにプロセッサによって使用されてもよい。
運搬ユニットは、作物を秤量し選別するための手段、及び/または、任意選択的に収穫に適している度合いを検査するための、収穫された作物を検査するための手段をさらに含んでもよい。
運搬ユニットは、所定のスケジュールにしたがって動作するように構成されてもよい。運搬ユニットは、GPS受信機をさらに備えてもよく、任意選択的に位置表示をサーバに送信するように構成されている。運搬ユニットは、1つ以上の光源、及び/または、運搬ユニットに電力を供給するためのバッテリーをさらに備えてもよい。
本明細書に記載された態様の少なくとも1つによれば、生育環境において作物に対して作業するための1つ以上の自律ユニットとともに使用するためのメンテナンスユニットであって、動力付きのカートと、カートに取り付けられた1つ以上のロボットアームであって、各アームが、1つ以上の自律ユニットに対する作業に使用するためのエンドエフェクタを有する1つ以上のロボットアームと、カートの動き及び1つ以上のロボットアームの動きを制御するためのプロセッサと、を備え、1つ以上の自律ユニットに対するメンテナンス作業を実行するように構成されている、メンテナンスユニットが提供される。
任意選択的に、メンテナンス作業は、パネルのねじの取り外し/再ねじ締め、コンポーネントの交換、バッテリーの充電、再配線、タイヤ/車輪の交換、パンクの修理、清掃(例えばカメラの清掃)、及び妨害物の除去のうちの1つ以上を含む。
メンテナンスユニットは、周囲の物体に関連するデータを獲得するための1つ以上のセンサをさらに備えてもよく、獲得されたデータは、任意選択的にコンピュータビジョンを使用して、生育環境を通ってカートをナビゲートするためにプロセッサによって使用されてもよい。獲得されたデータは、訓練されたモデルを任意選択的に使用して、メンテナンスを必要とするユニットを識別するためにプロセッサによってさらに使用されてもよい。
メンテナンスユニットは、1つ以上のオドメータを備えてもよく、オドメータから受信されたデータは、生育環境を通ってカートをナビゲートするためにプロセッサによって使用される。メンテナンスユニットは、GPS受信機をさらに備えてもよく、任意選択的に位置表示をサーバに送信するように構成されている。メンテナンスユニットは、1つ以上の光源をさらに含んでもよい。
メンテナンスユニットは、任意選択的にそれ自体をメンテナンスすることができる。
本明細書に記載された態様の少なくとも1つによれば、1つ以上の自律ユニットのドックであって、1つ以上の自律ユニットは、ここで説明した作業ユニットと、ここで説明したマッピングユニットと、ここで説明した運搬ユニットと、ここで説明したメンテナンスユニットとのうちの1つ以上を含む、ドックが提供される。
任意選択的に、ドックは、使用されていないときに自律ユニットを格納するように構成されている。ドックは、収穫された作物を1つ以上の自律ユニットから受け取るように構成されてもよい。ドックは、1つ以上の自律ユニットにパワーを供給するように構成されてもよい。
本明細書に記載された態様の少なくとも1つによれば、植物を生育するための複数の列のフレームと、複数の列を通る自律ユニットの運行(ナビゲーション)を支援するための複数の運行支援物と、を備える生育環境が提供される。
任意選択的に複数の運行支援物は、位置マーカー、ガイドワイヤ、色分けされた領域、磁気ストリップ、作物に対する背景物、及び、障害物及び/または植物に適用される可視タグ/バーコードのうちのいずれかまたはすべてを含む。
生育環境は、生育環境を監視するための1つ以上のカメラ、及び/または、生育環境から物体を運び出すための手段をさらに含んでよい。生育環境は、自律ユニットのための複数の有線のネットワークアクセスポイントをさらに含んでよく、ネットワークアクセスポイントは、生育環境の全体に分散している。
複数の列のフレームは相互に対して移動可能であってよく、それによって列の間の隙間空間の幅の調整、及び/または各列の垂直位置の調整を可能にする。
本明細書に記載された態様の少なくとも1つによれば、植物を生育するための複数の列のフレームを含み、複数の列のフレームは相互に対して移動可能であり、それによって各列の垂直位置と列の間の隙間空間の幅との調整を可能にする生育環境が提供される。生育環境は温室であってよい。
本明細書に記載された態様の少なくとも1つによれば、対象領域において作物を収穫するための1つ以上の作業ユニットと、収穫された作物を受け取るためのドックと、収穫された作物を1つ以上の作業ユニットからドックに運搬するための1つ以上の運搬ユニットと、を備える、対象領域において作物を収穫するためのシステムが提供される。
1つ以上の運搬ユニットは、1つ以上の作業ユニットの送信された位置に運行(ナビゲート)するように構成されてもよい。任意選択的に、1つ以上の作業ユニットはここに説明した1つ以上の作業ユニットを含み、1つ以上の運搬ユニットはここに説明した1つ以上の運搬ユニットを含み、及び/または、ドックはここに説明したドックを含む。
本明細書に記載された態様の少なくとも1つによれば、作物に対して作業するための1つ以上の作業ユニットと、対象領域内の作物に関連するデータを獲得する1つ以上のマッピングユニットと、獲得されたセンサデータを使用して対象領域内の作物の位置をマッピングし、マッピングされた位置に基づいて対象領域内の作物のうちの少なくともいくつかの間の1つ以上のルートを生成し、1つ以上のルートに沿って1つ以上の作業ユニットの経路設定を行い、それによって1つ以上のルート上の前記作物のうちの少なくとも1つに対する作業するためのプロセッサと、を備える、対象領域内の作物に対して作業するためのシステムが提供される。
任意選択的に、1つ以上の作業ユニットはここに説明した1つ以上の作業ユニットを含み、及び/または、1つ以上のマッピングユニットはここに説明した1つ以上のマッピングユニットを含む。
システムは、収穫された作物を受け取るためのドックをさらに含んでよく、任意選択的にプロセッサはドック内に配置される。ドックはここに説明したドックを含んでよい。
システムは、収穫された作物を1つ以上の作業ユニットからドックに運搬するための1つ以上の運搬ユニットをさらに含んでよい。1つ以上の運搬ユニットは、ここに説明した1つ以上の運搬ユニットを含んでよい。1つ以上の運搬ユニットは、任意選択的に、物理的なデータ接続を介してユニットとドックとの間でデータを通信するように構成されている。
システムは、1つ以上の作業ユニット、1つ以上のマッピングユニット、及び/または1つ以上の運搬ユニットをメンテナンスするための1つ以上のメンテナンスユニットをさらに備えてもよい。1つ以上のメンテナンスユニットは、ここに説明した1つ以上のメンテナンスユニットを含んでよい。
システムは、プロセッサと通信するように設けられた通信手段をさらに備えてよく、ユニットの各々は、プロセッサからデータを受信するための通信手段を備える。ユニットのすべては、ユニットが交換可能かつモジュール式であるように、移動可能なカートを備えてもよい。システムは、ここに説明した方法を実施するように構成されてよい。対象領域は、ここに説明した生育環境の中にあってよい。
本明細書に記載された態様の少なくとも1つによれば、1つ以上の作業ユニットがここに説明された1つ以上の作業ユニットであってよく、及び/または、1つ以上のマッピングユニットがここに説明された1つ以上のマッピングユニットであってよい、ここに説明された方法が提供される。対象領域は、ここに説明された生育環境の中にあってよい。
本明細書で説明する少なくとも1つの態様によれば、作物に対して作業するためのシステムにおいて使用される自律ユニットであって、動力付きのカートと、カートの動きを制御するプロセッサと、カートに取り付けられた1つ以上のセンサと、カートに取り付けられた(任意選択的な)1つ以上のロボットアームと、を備え、ユニットが、1つ以上のセンサから受け取ったデータに任意選択的に基づいて、生育環境を通って移動し、生育環境内で任意選択的に1つ以上の所定のタスクを実行するように構成されている、自律ユニットが提供される。
本発明は、実質的に、本明細書に記載され、及び/または添付の図面を参照して示される方法、システム及び装置に及ぶ。
本発明はまた、本明細書に記載された方法のいずれかを実行するための、及び/または本明細書に記載された装置特徴のいずれかを実現するためのコンピュータプログラムまたはコンピュータプログラム製品、並びに本明細書に記載された方法のいずれかを実行するための、及び/または本明細書に記載された装置特徴のいずれかを実現するためのプログラムがそこに格納されているコンピュータ可読媒体を提供する。
本発明はまた、本明細書に記載された方法のいずれかを実行するための、及び/または本明細書に記載された装置特徴のいずれかを実現するためのコンピュータプログラムまたはコンピュータプログラム製品を実現する信号、そのような信号を送信する方法、並びに本明細書に記載された方法を実行するための、及び/または本明細書に記載された装置特徴のいずれかを実現するためのコンピュータプログラムをサポートするオペレーティングシステムを有するコンピュータ製品を提供する。
本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用されてもよい。特に、方法の態様は、装置の態様に適用されてもよく、逆もまた同様である。本明細書で使用されるように、ミーンズ・プラス・ファンクションの特徴は、、適切にプログラムされたプロセッサ及び関連するメモリなど、それらの対応する構造の観点から代替的に表現されてもよい。
さらに、ハードウェアによって実装される特徴は、一般に、ソフトウェアで実装されてもよく、その逆も可能である。ここに記載されたソフトウェア及びハードウェアの機能についての言及は、すべて、それ相応に解釈されるべきである。
本明細書中で使用される場合、用語「作物(crop)」は、好ましくは、任意の栽培植物(または栽培植物の一部)、より好ましくは、ヒト、動物、及び/または工業的使用のために取り去られ、収集される栽培植物の一部を意味する。
本明細書中で使用される場合、用語「支持部分(supporting part)」は、好ましくは、作物が発達する植物の部分、及び/または作物を支持する植物の部分を意味する。トマトなどの作物の場合、支持部分は「トラス(truss)」と呼ばれることがある。
本明細書中で使用される場合、用語「収穫する(harvesting)」は、好ましくは、特定の場所から作物の少なくとも一部を収集する(すなわち寄せ集める)プロセスを意味し、より好ましくは、作物の少なくとも一部を抽出し、収集する(すなわち、取り去り、寄せ集める)プロセスを意味する。用語「収穫(harvest)」は、好ましくは、様々な可能な処理作業(収穫することはそのうちの1つである)を指す用語「作業する(operate on)」の範囲内に入ると理解されるべきである。
本明細書中で使用される場合、用語「ルート(route)」は、好ましくは、3次元空間における位置(好ましくは作物の位置)の間のルートを意味する(すなわち、移動可能なユニットがそれに沿って動く特定のコースだけではない)。
本明細書中で使用される場合、用語「生育環境(growing environment)」は、好ましくは、作物を生育させるための任意の制御された環境、より好ましくは、作物が一般に列または他の所定の配置形態で生育させられる制御された環境、さらにより好ましくは温室を意味する。本明細書中で使用される場合、用語「生育環境」と用語「温室(greenhouse)」とは互いに置き換え可能である。
本明細書中で使用される場合、用語「パイプレールシステム(pipe-rail system)」は、好ましくは、温室(または他の生育環境)のための加熱システムであって、加熱パイプがその温室の床の近くに列をなして配置され、植物が加熱パイプの列の上に列をなして配置される加熱システムを意味する。
本明細書中で使用される場合、用語「カート(cart)」は、好ましくは、動力付きまたは動力なしの車両、特に低背(squat)の車両、より好ましくは、パイプレールシステムを含む生育環境において植物の列の間を移動するのに適した寸法を有する低背の車両を意味する。本明細書中で使用される場合、用語「カート」、「台車(trolley)」、及び「パイプレール台車(pipe-rail trolley)」は、互いに置き換え可能である。
本明細書中で使用される場合、用語「ユニット(unit)」は、好ましくは、自律ロボット、より好ましくは、異なる機能を実行するように構成された他のロボットと概して交換可能な自律ロボット、さらに好ましくは、概してカート状のシャーシを用いて形成された自律ロボットを意味する。本明細書中で使用される場合、単数形での「ユニット」へのすべての言及は、好ましくは、複数であることも意味し、逆もまた同様である。以下に説明されるように、説明される種々のタイプのユニットは、多くのコンポーネントを共通に有し、他のタイプのユニットの機能を実行するように構成または適合されてもよい。したがって、1つのタイプのユニットを参照して説明した特徴のすべてを、別のタイプのユニットに等しく適用することができる。
本明細書中で使用される場合、用語「中央システム(central system')」または「中央プロセッサ」(central processor)は、好ましくは、システムのユニットを制御するための任意の種類のプロセッサまたは装置、より好ましくは、システムのドックに配置されたプロセッサを意味する。
本明細書中で使用される場合、単数形での「カメラ(camera)」または「センサ(sensor)」へのすべての言及は、好ましくは、複数であることも意味し、その逆も同様である。
本明細書中で使用される場合、用語「操作装置(manipulation device)」は、作物を操作し、及び/または作物に対して作業することができる任意の作動可能な装置、より好ましくはロボットアームを意味する。
本明細書中で使用される場合、用語「エンドエフェクタ(end effector)」は、好ましくは、ロボットアームまたは他の操作装置の遠位端にある装置を意味し、より好ましくは、作物に対して特定のアクション(把持など)を実行するように構成された装置を意味する。
本明細書中で使用される場合、用語「収穫性(harvestability)」は、好ましくは、作物が収穫できる状態にあるかどうかを決定するために使用することができる作物の1つ以上の特徴の尺度を意味する。
また、本発明の任意の態様において説明され定義された様々な特徴の特定の組み合わせは、独立して実装及び/または供給及び/または使用されることができることを理解されたい。
図1は、温室のような生育環境において作物に対して作業するためのシステムの概略図である。 図2は、対象領域において作物に対して作業する方法の概要を示すフロー図である。 図3は、マッピングユニットの概略図である。 図4は、マッピングユニットを動作させる方法を示すフロー図である。 図5は、作物の位置をマッピングする方法を示すフロー図である。 図6は、作業ユニットの概略図である。 図7aは、マッピングデータから生成されたルートを使用しない、作業ユニットの例示的な動作を示す図である。 図7bは、マッピングデータから生成されたルートを使用する、作業ユニットの例示的な動作を示す図である。 図8は、作業ユニットを動作させる方法を示すフロー図である。 図9は、運搬ユニットの概略図である。 図10は、運搬ユニットの秤量/選別装置を詳細に示す概略図である。 図11は、運搬ユニットを動作させる方法を示すフロー図である。 図12は、メンテナンスユニットの概略図である。 図13は、メンテナンスユニットを動作させる方法を示すフロー図である。 図14は、ドックの概略図である。 図15は、ドックを動作させる方法を示すフロー図である。 図16は、システムの構成要素間の接続を示す階層依存関係図である。 図17は、データの転送のために運搬ユニットが使用される、作物に対して作業するためのシステムの構成要素図である。
次に本発明は、添付の図面を参照して、純粋に例として説明される。
図1は、温室10のような生育環境において作物に対して作業するためのシステム1000の概略図を示している。
温室10では、作物14を含む植物12が、列16に配置されたフレーム上で生育される。これは、多くの作物の高品質な成長を可能にし、隙間列18を介した作物への良好なアクセスを可能にするので、多くの温室のための典型的な配置である。植物12の列16は、「パイプレールシステム」として知られているものにおいて、加熱パイプ(図示せず)の列の上にある。
典型的には、作物14は、低背のカートまたは車両である「パイプレール台車」上に立っているか、または「パイプレール台車」と並んで歩いている人間の操作者によって収穫(または他の方法で作業)される。パイプレール台車であるカートまたは車両は、(それ自体の動力によって、あるいは人間の操作者によって押されることによって、)隙間列18に沿って移動するように構成され、台車が列16を通り越して移動するときに操作者が手で作物14を拾うことを可能にする。
対照的にシステム1000は、温室10の対象領域20内で作物に対して作業し収穫するための完全なシステムを形成する複数の動力付き自律ユニットを備えており、ここで自律ユニットは、一般に、「パイプレール台車」として形成される(すなわち、それらはすべて、隙間列18での使用に適した寸法を有する)。複数のカテゴリの自律ユニットが提供され、各カテゴリーの自律ユニットは異なるコンポーネントを有し、システム1000において個別のタスクを実行するように構成されている。
各自律ユニットは、その個別のタスクを実行するために、隙間列18に沿って横方向に移動するように構成されている。使用されていないとき、ユニットは、ユニットを格納するためのドック1100に戻るように構成されている。ドック1100は、自律ユニットを制御するための中央プロセッサ(図示せず)を備える。ユニットが一時的にのみ不使用である場合には、代替的にユニットは、植物12から離れた温室の任意の領域(すなわち隙間列18の外側)にアイドル状態で置かれてもよい。
より詳細には自律ユニットは、作物14上に対して作業する(特に、作物を収穫する)ための作業ユニット1200と、作物の視覚データ(これは、後で詳しく述べるように、作物の位置のマップを生成するために使用される)を獲得するためのマッピングユニット1300と、収穫された作物を運搬するための運搬ユニット1400と、他のユニットのメンテナンスと修理を行うためのメンテナンスユニット1500と、を含む。個別のタスクを有する自律システムからなるシステム1000を使用することは、作物に対して作業する有利な方法が実行されることを可能にする。
図2は、システム100を使用して、対象領域内の作物に対して作業する方法2000を概説するフロー図を示している。
第1のステップ2200では、1つ以上のマッピングユニット1300を使用して、所定の対象領域内のすべての作物に関連するデータが収集される。第2のステップ2400では、すべての作物14の位置がマッピングされる。第3のステップ2600では、マップデータを使用して、対象領域内の作物の少なくともいくつかの間の1つ以上のルートを生成する。第4のステップ2800では、1つ以上のルートに沿って1つ以上の作業ユニット1200の経路設定が行われ、それによって1以上のルート上の少なくとも1つの作物に対して作業が行われる。この方法での各ステップの詳細は、関連する様々な自律ユニットを参照して後でより詳細に説明される。
マッピングユニット:
図3は、本発明によるマッピングユニット1300の概略図を示している。
マッピングユニット1300は、車輪1304を有する「パイプレール台車」1302(すなわち低背のカート)を備える。パイプレール台車1302は、人の介在なしに対象領域を通って移動できるように動力が供給される。マッピングユニットの他のコンポーネントは、台車に搭載される。特に、そのような他のコンポーネントは、カメラ1306、プロセッサ1308、バッテリー1310、運動コントローラ1312及びアンテナ1314を含む。
車輪1304のうちの1つ以上は、マッピングユニット1300が移動することを可能にするために、運動コントローラ1312によって制御されるモータ(図示せず)によって動力が供給される。車輪のいくつかまたはすべては、マッピングユニットが方向を変えることを可能にするために、(運動コントローラの制御下で)回転するように構成され、これは、回転アクチュエータによって作動されるラックアンドピニオン機構などの様々な既知の機構のうちの1つ以上を使用して達成され得る。運動コントローラは、プロセッサ1308と通信するように設けられてプロセッサ1308によって制御され、プロセッサ1308は、アンテナ1314と通信するように設けられる。プロセッサは、アンテナ1314を介して、(ドック1100内の中央プロセッサのような)外部プロセッサから指令を受け取り、それに応じてマッピングユニットを制御する。マッピングユニット内のプロセッサは、指令とカメラ1306を介して獲得された視覚データとを格納するためのデータ格納部を含む。バッテリー1310は、マッピングユニットの種々のコンポーネントに電力を供給するために使用される。
アンテナ1314は、プロセッサ1308が、(対応するアンテナを介し)無線ネットワークを介して中央プロセッサと通信することを可能にする。無線ネットワークは、Wi−Fi(登録商標)、Bluetooth(登録商標)または任意の種類のローカルエリアネットワークなどのプロトコルのいずれか1つを使用できる。
カメラ1306はビデオカメラであり、台車1302上の可動プラットフォームまたは延長部1316に取り付けられている。カメラは、マッピングユニット1300がマッピングするように指示された特定の対象領域20の実質的にすべての視覚データを獲得するように構成されている。マッピングユニットは、必要な視覚データを取得するために、対象領域内の隙間列18の各々に沿って移動することによって、対象領域を通って及び/または対象領域の周りを移動するように構成されている。
マッピングユニット1300は、カメラ1306からの視覚データに基づいて隙間列18に沿って移動する(そして隙間列の間を動く)ように構成されている。カメラ1306からの視覚データは、マッピングユニットがマッピングユニットを取り囲む環境のモデルを持つように、(プロセッサ1308に実装された)既知のコンピュータビジョン技術への入力として使用される。外部プロセッサによって与えられアンテナ1314を介して受信された(所定のルートに関連していてもよい)指令は、次に、車輪1304がどのように動かされるべきかを決定するために使用される。一例としてそのような指令は、「列1を下に移動し、向きを変え、列2を上に移動する」という効果を有するものであることができる。後述するように、温室10は、どの列がどの列であるかをマッピングユニットが認識するのを援ける視覚的支援物を備える。マッピングにおいて使用される視覚データを獲得するためのカメラ1306に加え、運行(ナビゲーション)のための1つまたは別個のカメラが、任意選択的にマッピングユニットに設けられる。
マッピングユニット1300はまた、温室10(または少なくとも対象領域20)の所定の計画に追加的に基づいて運行(ナビゲート)するように構成されてもよい。ここで、プロセッサ1308は、GPS信号(ここではプロセッサ1308はGPS受信機をさらに備える)を使用することによって、及び/または計画に関連して既知の位置を有する視覚データ内の特定の物品(特定の視覚的支援物など)を検出することによって、計画を参照してマッピングユニットの位置を決定する。
視覚データを取得するために、マッピングユニット1300は、データの信頼性を向上させ、カメラが様々な角度から視覚データを獲得することを可能にするために、隙間列18のそれぞれに沿って数回、いくつかの方向に移動するように構成されてもよい。特定の隙間列18に隣接する両方の植物の列16の視覚データを取得するために、カメラは、例えば、延長部1316上のマウントを使用することによって、または延長部自体を使用することによって、移動するように構成されてもよい。カメラ自体は、マッピングユニットが動かされるにつれて動くPTZカメラ(すなわち、カメラは、「パン(pan)、チルト(tilt)、[及び]ズーム(zoom)」操作を実行することができる)であってもよい。カメラは、マッピングユニットが動かされるにつれて連続的に移動してもよく、あるいは代替的に、各隙間列の端部において、位置が直されてもよい。あるいはカメラは、複数のカメラであってもよく、その結果、マッピングユニットの様々な側から一度に視覚データを受け取ることができる。例えばマッピングユニットは、概して球状、半球状またはリング状のアレイに配置された複数のカメラを備えていてもよい。カメラはまた、パルス光を使用してカメラからの物体の距離を測定することができる、対応する「飛行時間(time-of flight)」カメラ、または距離撮像化に適した任意の他のカメラを組み込むことができる。従来の視覚カメラ及び「飛行時間」カメラの使用は、対応するRGBビデオ及び測距データが収集されることを可能にする(この組み合わされたデータセットを「RGBd」と呼んでもよい)。
図4は、マッピングユニット1300を動作させる方法2200を示すフロー図を示している。この方法は、対象領域内の作物に対して作業する方法2000の第1のステップ2200でもある。
第1のステップ2202において、マッピングの「実行(run)」が開始される(すなわち、マッピングユニットが特定の対象領域のマッピングを開始する)。中央プロセッサは、実行を開始するためにコマンドを(任意選択的にスケジュールにしたがって)発行することができる。代替的に特定のイベントが、実行を開始させることができる。例えばマッピングユニット1300は、手動でリセットされてもよく、またはマッピングユニット1300は、(所定のスケジュールにしたがって)特定の時刻に動作するように構成されていてもよい。
第2のステップ2204においてマッピングユニット1300は、動作を開始すべきであるという通知を受信する。例えばマッピングユニットは、アンテナ1314を介して中央プロセッサから通信を受信することができる。このような通信は、マッピングされるべき領域20を含むマッピング実行の詳細と、要求される精度とを含む。詳細はまた、対象領域全体に関連する視覚データが捕捉されることを保証にするために必要とされる、移動の計画を含んでもよい。
第3のステップ2206においてマッピングユニット1300は、運行及び移動のための前述のコンポーネントを使用して、開始位置から対象領域20に移動する。開始位置は、ドック1100にあってもよく、あるいは、隙間列18の外側のアイドル位置にあってもよい。
第4のステップ2208においてマッピングユニット1300は、カメラ1306を使用してデータを収集しながら、対象領域20を通って移動する(より具体的には、マッピングユニットは、対象領域20の様々な隙間列18を上下に移動する)。(第4のステップ2208と同時に発生する可能性がある)第5のステップ2210において、収集されたデータは、プロセッサ1308に付随するデータ格納部に格納される。
第6のステップ2212においてマッピングユニット1300は、対象領域20が横断されてマッピングされるまで(すなわち、対象領域内のすべての作物14に関する視覚データが受信されるまで)、対象領域を通って移動しデータを収集し続ける。すべての作物14に関する視覚データが受信されたかどうかは、領域のGPSマップ、磁気マップ、及び無線局在化マップ(及び計画を参照したマッピングユニットの位置)などの1つ以上の所定の計画またはマップを参照することによって、または必要な移動の計画を参照することによって、決定することができる。ユニットの運行において使用される、マッピングユニット(特にカメラ1306)上のセンサを使用して、例えば、獲得された視覚データ内において同じ物体が再出現するときを判定することによって、対象領域を通る移動をいつ停止すべきかを判定することもできる。
マッピングユニット1300はまた、停止コマンドが中央プロセッサから受信された場合(例えば、中央プロセッサが、十分なデータが収集されたと判定した場合、またはマッピング実行がキャンセルされた場合)、または特定の閾値を超えた場合(例えば、バッテリー充電があるレベル未満に低下した場合、またはデータ格納量が容量に近づいている場合)、データの収集を停止することができる。
第7のステップ2214において、収集されたデータは、無線ネットワーク及びアンテナ1314を使用して、マッピングユニット1300から中央プロセッサに送信される。データはまた、マッピングが行われているときに、部分的に、または連続的に送信されてもよい。
次いでマッピングユニット1300は、さらなる指令が受信されるまで、動作を停止する。マッピングユニットは、ドック1100に戻ることができ、または温室の植物12から離れた任意の領域においてアイドル状態で留まっていてよい。
理解されるように、いくつかのマッピングユニット1300を使用して、対象領域20(または実際には様々な異なる対象領域)をマッピングすることができる。ここでは特に、各マッピングユニットは、全体的なマッピング速度を増大させるように、対象領域の一部分をマッピングする。上述のように、マッピングユニット1300は、作物が成長するときの作物の位置またはサイズの任意の変化を考慮に入れるために、及び/または収穫されたのちでもあるかもしれない任意の作物を考慮に入れるために、対象領域を規則的な間隔で再マッピングするように構成されてもよいスケジュールにしたがって動作してもよい。
作物のマッピング:
図5は、作物の位置をマッピングする方法2200を示すフロー図を示している。この方法2200はまた、対象領域内の作物に対して作業する方法2000の第2のステップ2400でもある。
第1のステップ2200は、マッピングユニット1300を動作させる前述の方法2200に対応する。第2のステップ2420では、マッピングユニット1300からのマッピングデータが中央プロセッサで受信される。マッピングデータは、処理のために外部クラウドサーバに任意選択的にさらに送信されてもよく、または代替的に、中央プロセッサ上で処理されてもよい。第3のステップ2440では、例えば、機械学習原理に基づいて構築された訓練済みの画像認識分類器を使用することによって、マッピングデータ内で作物14が識別される。
第4のステップ2460では、例えば、対象領域の所定の計画(マッピングユニットが運行のために使用するものと同じ計画であってもよい)を参照して、識別された作物の位置を突き止めることによって、対象領域20内の作物14のマップが生成される。対象領域の所定の計画は既に知られており、マッピングユニット1300が視覚データを獲得するために使用される前に、ユーザによって入力されてもよい。作物の位置を決定することは、例えば、各隙間列18内にまたはそれに沿って配置された視覚的支援物を使用することによって、視覚データ内の特定の識別された作物に関連付けられた位置を決定することを含んでもよい。
一代替例において、対象領域20内の作物14のマップは、マッピングユニット1300自体に対して、より具体的には、特定の時刻におけるマッピングユニットの位置に対して作物を位置決めすることによって生成される(マッピングユニットは、GPS受信機を使用してそれ自体を位置決めすることができる)。これにより、対象領域の所定の計画を使用することなく、作物をマッピングすることができる。一例では、作物のマップは、(例えば、獲得されたデータ内で特定の作物が出現及び/または消失する時刻に基づいている、及び/または検出された視覚的支援物に基づいている)視覚データと特定の時刻におけるマッピングユニットの位置とから推論される対象領域の計画に基づいて生成される。別の例では、マップは、特定の時刻におけるマッピングユニットの位置に関連して定義される(すなわちマップは、作物の(絶対的ではなく)相対的な位置から形成される)。
対象領域の計画に関連して識別された各作物の位置を識別することによって、対象領域内の作物14のマップが、例えば、任意選択的にRGBdまたは3次元点群(ポイントクラウド(point cloud))データと結び付けられている入力視覚データの、マルチスペクトル分析に基づく回帰技法を使用することによって生成される。マップは、3次元マップ(すなわち、地面からの作物の高さ、列に沿ったそれらの位置、及び植物におけるそれらの深さ(depth)(すなわち、中心などの隙間列内の特定の点からの距離)を含んでいる)であるが、代替的に、2次元マップ(すなわち、対象領域の平面図に対する作物の位置のみ、あるいは単に作物の高さと列に沿った位置のみを含むマップ)であってもよい。列ごとに別個のマップを作成することができ、あるいは、任意選択的に列ごとの(番号などの)識別子を含む、(複数の列を含む)全体マップを作成することができる。作物のマップは、後述するように、作業ユニット1200のためのルート2600を生成するために使用される。作物のマップは、一般に、3次元点群として格納されるが、代わりに、特徴点、ベクトル表現、またはメッシュ表現などの異なるフォーマットで格納されてもよい。
作物の位置をマッピングする方法2400は、もちろん、生育環境に関連する他の物体の位置をマッピングすることにも同様に適用することができる。さらなる物体の位置は、改善されたルートが生成されることを可能にするために、間隔をおいてマッピングされ、作物位置のマップと比較及び/または統合されてもよい。このようなさらなる物体の例には、植物の一部(すなわち、枝、葉及び根)、生育環境の一部、またはトレイ、容器または動かないユニット(マッピングユニット1300など)などの諸々の物体が含まれる。
作業ユニット:
図6は、本発明による作業ユニット1200の概略図を示している。同様の参照符号は、マッピングユニット1300上にも存在するコンポーネントを示すために使用されている。
マッピングユニット1300と同様に、作業ユニット1200は、車輪1204を有する「パイプレール」台車1202を備える。作業ユニットの他のコンポーネントは台車に搭載されている。特に、このような他のコンポーネント構成要素は、カメラ1206、プロセッサ1208、バッテリー1210、運動コントローラ1212、アンテナ1214、オペレータ1218、収穫物用の貯蔵スペース1220(コンテナなど)などを含んでいる。
作業ユニット1200の任意のコンポーネントであってマッピングユニット1300上にも見出すことができるコンポーネントは同様に動作し、その結果、作業ユニット1200の移動は、マッピングユニット1300の移動と同じ機構を使用する。同様にカメラ1206は、マッピングユニット1300上のカメラ1306と同様に動作するが、作業ユニット1200上のカメラ1206は、主として作物14の位置のマッピングに使用されるわけではない。
オペレータ1218は、作動可能なロボットアームのような操作装置であり、これは、任意選択的に、可動プラットフォーム上に搭載されてもよい。アームのエンドエフェクタは、作物を把持し、作物及び/または作物を支持するトラスを植物から分離し、切断されたトラス及び/または作物を貯蔵スペース1220に動かすための手段を備え、このプロセス全体は、作物を「収穫する」と記載されてもよい。オペレータは、後に詳述するように、任意選択的に、作物または周囲の物体に対して様々な他の作業を行うことができてもよい。
オペレータは、人間の腕の完全な動きを再現しようとはしない(すなわち、物体に「巻き付くように届く(reach around)」ことができない)。この動きは、一般に遅く、計算する上で困難であり、信頼できないからである。したがってオペレータ1218は、6未満の自由度でエンドエフェクタを位置決めすることができるアームであり、特にアームは、2つの直線運動軸及び1つの円運動軸(円運動軸は概して垂直軸である)を有する「円筒座標型(cylindrical)」アームであってもよく、または3つの運動軸でエンドエフェクタを位置決めすることができる別のアームであってもよい。一代替例において、オペレータは、互いに直角である3つの直線運動軸を有するデカルト座標型アーム(「デカルト座標ロボットアーム(Cartesian coordinate robotic arm)」または「リニアロボットアーム(linear robotic arm)」としても知られる)である。比較的単純なアームを使用することは、メンテナンスを減らすとともに、収穫するときの計算時間を短縮する。
カメラ1206は、(マッピングユニットを参照して説明したように)運行のために、また、前述のコンピュータビジョン処理を使用して、オペレータ1218の精細位置決めのために使用される。カメラ1206はまた、後述するように、作物の収穫に適している度合い(または熟成度)を決定するために使用されてもよい。任意選択的に、エンドエフェクタにより近い位置からのより詳細な情報であって作物に関連するより詳細な情報を獲得するために、さらなるカメラ(または非視覚センサ)が、オペレータ1218上またはその近傍に配置される。さらなるカメラからのデータは、エンドエフェクタの精細な位置決めにおいて、及び/または作物が収穫に適している度合いを決定ことにおいて、唯一の入力として、またはさらなる入力として使用されてもよい。
ルートの生成:
作業ユニット1200のためのルートが生成される方法2000の第3のステップ2600において、対象領域20内の作物14のマップは、作物間での作業ユニット1300の効率的なルート(すなわち時間効率的なルート)(または複数の作業ユニット1300のための複数の効率的なルート)を生成するために、(中央プロセッサ及び/またはクラウドサーバによって実行される)ルート発見アルゴリズムへの入力として使用される。ルートは、3次元でのルートであり、作物の間での3次元でのルートに関連する(すなわち、生育環境の床面に沿ってのみ動くことができる作業ユニットそれ自体の動きと、高さと位置において変化することができるオペレータ1218の動きとの両方を必要とするルートに関連する)。ルートは、作物が作業を受けるべき順番(この場合、作業ユニットは、必要とされる正確な動きを計算する)を含んでもよく、及び/または必要とされる正確な動きの詳細を含んでもよい。
作物14のマップに基づいてルートを生成するために、(多面体の可視頂点を接続する)可視グラフ、(ランダム木の高速探索などの)ランダム探索アルゴリズム、確率的ロードマップ、(ダイクストラ(Dijkstra)のアルゴリズムなどの)最適探索アルゴリズム、例による追随、及びバイオインスパイアードアルゴリズムを含む様々な方法を使用することができる。理解されるように、上記の方法のいずれも、ルートを生成する際のそれらの有用性を改善するために、組み合わせるかまたは適合させることができる。
ルートは、作業ユニット自体の(計算時間を含む)移動速度及びオペレータ1218の(計算時間を含む)移動速度(計算期間を含む)などの、作業ユニット1200の既知の特性に基づいてさらに生成される。移動速度及び(特に)計算時間は、一般に、作業ユニット自体よりもオペレータの方が遅いので、ルートは、作物の収穫にかかる合計の時間を最小化するように、これらの異なる速度に基づいて生成される。これは、例えば、オペレータの移動を最小限にするために、作物が概して水平方向の列または斜め方向の列で採取されるルートをもたらし得る(ただし、作物を収穫するためには、エンドエフェクタのいくらかの動きがもちろん必要である)。作業ユニットの既知の特性は、例えば重み付けとしてルート生成方法に含めることができる。
それに基づいてルートを生成することができるという別の既知の特性は、オペレータ1218の幾何学的構成である。円筒座標型アームが使用されるとき、円筒座標型アームの使用を制限しないルートが生成される。ルートはまた、利用可能な作業ユニット1300の数に基づいて生成されてもよい。収穫プロセスの全体的な速度を向上させるために、複数の作業ユニットの間で対象領域を細分化/共有してもよい。
図7aは、(植物14の列16に面する)隙間列18内から見た、マッピングデータから生成されたルートを使用しない、作業ユニット1300の例示的な動作を示している。作業ユニット1300がそれ自体で使用されるとした場合(すなわち、作物の位置を決定するために別個のマッピング実行が実施されていない場合)、作業ユニット1300は、カメラ1206から見える作物の位置を決定することしかできず、これらは、通常、作業ユニットのすぐ近くの作物のみであろう。したがって、列16の領域22は、作業ユニット(及びより一般的にはシステム100)には見えず、それにより、計画されたルートはこの領域の作物を確実に組み込むことができない。
したがって、収穫(または作物に対する他の作業の実行)のための典型的なルート24は、作業ユニット1200に知られている作物14のみの間であるかも知れない。次いで作業ユニットは、領域22の少なくとも一部がカメラに見えるように移動し、次いで、新しいルートに基づいて収穫することができる。ルート24は、オペレータの複数回の移動を含み、これは比較的遅い。さらに、そのようなルートは、オペレータへの依存度が高いため、比較的長い計算時間を有することがある。
図7bは、再び(植物14の列16に面する)隙間列18内から見た、マッピングデータから生成されたルートを使用する、作業ユニット1300の例示的な動作を示している。マッピングユニット1300を使用して(図示のように作物の単一の列を含む)対象領域をマッピングする場合、すべての作物の位置が分かっている。このことは、オペレータ1218の動きが最小化される改良された経路24が決定されることを可能にし、それによって、収穫(または作物に対する他の作業の実行)に要する総時間が最小化される。
理解されるように、別個の作業ユニット1200及びマッピングユニット1300を使用することは、作業ユニットが他のタスク(例えば、マッピング)を実行するために動作を中断する必要がないので、概ね連続的に収穫するすることに作業ユニットを使用することを可能にする。別個の演算ユニット及びマッピングユニットを使用することは、マッピングユニットがオペレータ1218を含む必要がないので、コンポーネントを節約することも可能にする。
作物の収穫:
図8は、収穫のために作業ユニット1300を動作させる方法2800を示すフロー図を示している。この方法は、対象領域で作物14を収穫する方法2000の第4のステップ2800である。
第1のステップ2802において、説明されているように中央プロセッサは、1つ以上のルート(または「採取スケジュール(picking schedule)」)を生成し、各ルートを特定の作業ユニット1200に割り当てる。
第2のステップ2804において、作業ユニット1200は、作業を開始すべきであるという通知を受信する。例えば作業ユニットは、アンテナ1314を介して中央プロセッサから通信を受信することができ、ここで通信は、ルートの詳細を含む。
第3のステップ2806において、作業ユニット1200は、運行及び移動のための前述のコンポーネントを使用して、開始位置から対象領域20に(より具体的にはルート上の第1の作物である特定の作物の位置まで)移動する。開始位置は、ドック1100にあってもよく、あるいは、隙間列18の外側のアイドル位置にあってもよい。
第4のステップ2808において、作業ユニット1200は、ルートにしたがって、対象領域20を通って移動する(より具体的には作業ユニットは、対象領域20の様々な隙間列18を上下に動く)。
各作物において、作業ユニットは、カメラ1206を使用して、作物を採取すべきかどうかを決定するように構成される。カメラはその視野内に各作物を順々に含んでおり、作物に関連する詳細な視覚データを受け取るように、各作物に焦点を合わせ、及び/またはズームすることができる。プロセッサ1208を使用して、視覚データは、作物の熟成度(またはそうでなければ、特に、完全には熟していないときに収穫されるのが適している特定の作物に対しては、作物が収穫に適しているかどうかの度合い)の指標を出力するように構成された(機械学習原理に基づいて構築されている)訓練済みの分類器と比較される。分類器は、(視覚データに現れる)作物の色相、彩度、及び/または強度に基づいて、及び/または履歴データに基づいて、作物を分類するように構成されてもよい。指標は、スコアとして出力されてもよく、スコアは、閾値と比較されてもよい。指標が閾値を超える場合、作物は収穫され、そうでない場合、作業ユニットはその作物を無視し、ルートに沿って次の作物に移動する。分類器は、さらに、または代替として、作物のサイズを入力として使用することができ、例えば作業ユニット1200は、特定の所定のサイズを超える作物のみを収穫することができる。
(ある品種の作物14により適している)一代替例の構成では、作業ユニット1200は、単に、そのルートに沿ってすべての作物14を収穫する。次いで、作物は、処理における後段階において、分析及び/または選別されてもよい。
既に収穫できる状態にあると作物14が判定された場合、オペレータ1218は、作物に対して作業する位置にエンドエフェクタを配置するために使用される。マッピングデータ及びカメラ1206からの視覚データは、エンドエフェクタの位置付けるために使用され、ここで視覚データは、最後にマッピングされた位置からの作物14の任意の移動を考慮するためにエンドエフェクタの精細な位置決めのために使用される。一例において精細な位置決めは、作物とその周囲の三次元モデルを生成するように作物の十分な視覚データを獲得することにより行われる。次いで、この3次元モデルに基づいて、オペレータ及びエンドエフェクタの精細な動きが計算される。ひとたび位置決めされると、エンドエフェクタは、作物及び/またはトラスを把持することによって作物を収穫し、次いで、作物及び/またはトラスを植物から分離する。収穫された作物/トラスは、その後、装置の貯蔵スペース1220内に置かれる。
第5のステップ2810において、作業ユニット1200は、定期的にルートを中断して、貯蔵された作物14及び/またはトラスをドック1100へ配送するように構成される。ドック1100において作物14及び/またはトラスは移される。次に作業ユニットは、先にルートを中断した地点で、ルートを再開する。一代替例の第5のステップ2812では、運搬ユニット1400が作業ユニットまで運行し、貯蔵されている作物及び/またはトラスを積み込み、作物/トラスをドックに運び、それにより作物/トラスが取り去られる(この工程は、あとでより詳細に記載される)。これは、作業ユニットが(作物/トラスをドックに運搬するのではなくて)収穫を継続することを可能にすることができ、したがって、収穫プロセスの全体的な速度を改善することができる。
第6のステップ2814において、作業ユニット1200は、ルートに沿って移動し、ルートが完了するまで(すなわちすべての作物が評価及び/または収穫されるまで)、作物を評価及び/または収穫し続ける。すべての作物が評価及び/または収穫されたかは、マッピングユニット1300の動作をいつ停止するかを決定することに関して説明したもの、すなわちマッピングユニットを動作させる方法2200の第6のステップ2212において説明したものと同じ技法を使用することによって決定されてもよい。作業ユニット1200はまた、停止コマンドが中央プロセッサから受信された場合(例えば、中央プロセッサが、十分な作物が収穫されたと判定した場合、または収穫プロセスがキャンセルされた場合)、または特定のしきい値を超えた場合(例えば、バッテリー充電量があるレベル未満に低下した場合、または貯蔵スペース1220がその容量に近づいている場合)に、収穫を停止することができる。
任意選択的である第7のステップ2816では、作業ユニット1200のメンテナンスが必要な場合(例えば、バッテリーレベルが所定の閾値を下回ったことが検出された場合)、作業ユニットは、メンテナンスのために所定の場所に、または代替的にメンテナンスユニット1500に移動するように構成される。メンテナンスユニット1500はまた、作業ユニット1200まで運行してメンテナンスを実行することができ、これにより、収穫プロセスの中断を最小限に抑えることができる。
ひとたびルートが完了すると、作業ユニット1200は、さらなる指令が受信されるまで、動作を停止する。作業ユニットは、ドック1100に戻ってもよいし、隙間列18から離れた任意の領域においてアイドル状態で留まっていてもよい。
収穫することに関連して方法2800を一般的に説明してきたが、例えば、訓練された分類器が、複数の処理動作のうちのどれが各作物に必要とされるかを決定するために使用される場合に、他の処理動作とともに使用するために方法2800を等しく適合させることができることが理解される。
運搬ユニット:
図9は、本発明による運搬ユニット1400の概略図を示している。マッピングユニット1300及び/または作業ユニット1200上にも存在するコンポーネントを示すために、同様の参照符号が使用されている。
作業ユニット1200と同様に、運搬ユニット1400は、車輪1404を有する「パイプレール」台車1402を備える。作業ユニットの他のコンポーネントは、台車上に搭載され、特に、そのような他のコンポーネントは、カメラ1406、プロセッサ1408、バッテリー1410、運動コントローラー1412、アンテナ1414、移送機構1418、及び収穫物を受け取る秤量/選別装置1450を含んでいる。
前述のユニット上に見出すことができる運搬ユニット1400のいずれのコンポーネントも、同様に動作し、例えば、運搬ユニット1400の移動は、マッピングユニット1300の機構と同じ機構を使用する。
作業ユニット1200のオペレータ1218と同様に、移送機構1418は、ロボットアームなどの操作装置であり、任意選択的に移動プラットフォームに搭載されてもよい。ここで、アームのエンドエフェクタは、収穫された作物を把持し、それらを秤量/選別装置1418(または代替的に貯蔵スペース)に移送するための手段を含み、適切な手段の一例は、一対の顎部(ジョー(jaw))であってもよい。エンドエフェクタはまた、予備部品などのコンポーネントを把持し移送するための手段を備え、これは、同じ手段であっても、別個の手段であってもよい。より具体的には移送機構1418は、(前述のように)「円筒座標型」または「デカルト座標型」アームなど、6未満の自由度でエンドエフェクタを位置決めすることができるロボットアームである。
図10は、運搬ユニット1400の秤量/選抜装置1450を詳細に示している。秤量/選別装置は、加速部1552、秤量部1554及び選別部1556を備え、これらに対して作物14は、例えば、コンベヤベルトによって連続的に前進する。加速部1602は、作物を受け取り、それらを秤量部に移送し、秤量部はそれらの重量を計測(秤量)する。作物14の重量に関する情報は、梱包に使用するために、ここに保存されてもよい。次に作物は、選別部において仕分けられる。選別部には、選別方法に応じて作物が送り込まれる複数の貯蔵ビン1558が存在する。これは、作物が正しく梱包されるように、作物を種類や大きさによって仕分けるために使用されてもよい。
図11は、運搬ユニット1400の動作の方法を示すフロー図を示している。上述のように、運搬ユニット1400は、収穫された作物を作業ユニットからドック1100に移送するために、(一般に可変位置にある)作業ユニット1200と(一般に固定位置にある)ドック1100との間を移動(または「往復(shuttle)」)するように構成されている。理解されるように、作業ユニットから作物を収集する運搬ユニットは、作業ユニットが作物を貯蔵領域に移送する時間を費やす必要がないので、作業ユニットが収穫により多くの時間を費やすことを可能にすることができる。
第1のステップ3202において、中央プロセッサは、1つ以上の運搬ユニット1400の使用のためのスケジュールを生成する(スケジュールは、任意選択的に、マッピングデータ及び/または生成されたルートに基づいていてもよい)。単純な場合には、特定の運搬ユニットを特定の作業ユニット1200に割り当てることができ、その運搬ユニットは、作業ユニットとドック1100との間で連続的に運搬を行うことができる。別の例では、運搬ユニットは、様々な運搬ユニットから作物を収集するように構成されていてもよく、及び/または、ほとんどの時間はアイドル状態にあって、時々、作業ユニットとドックへの「走行」に着手するだけであってもよい。このようなスケジュールは、イベントに応答して動的に更新される(例えば、作業ユニット1200がそのルートの終端に到達した場合に、新しいスケジュールが生成されてもよい)。スケジュールは、必要とされる正確な動きを含んでもよく、あるいは、特定の作業ユニットのリストにのみ関連してもよく、この場合、運搬ユニットは、作業ユニット及びドックに運行するためにそれ自体の能力を使用する。
第2のステップ3204において、運搬ユニット1400は、動作を開始すべきであるという通知を受信し、例えば、運搬ユニットは、アンテナ1414を介して中央プロセッサから通信を受信することができ、通信は、スケジュールの詳細を含む。
第3のステップ3206において、搬送ユニット1400は、運行及び移動のための前述のコンポーネントを使用して、開始位置から作業ユニット1200に移動する。開始位置は、ドック1100にあってもよく、あるいは、隙間列18の外側のアイドル位置にあってもよい。
第4のステップ3208において、運搬ユニット1400は、作物14を作業ユニット1200の貯蔵スペースから収集し、収集した作物14を移送機構1418を使用して秤量/選別装置1450に移送する。次に、作物は、秤量/選別装置を用いて秤量され、選別され、貯蔵ビン1558内に置かれる。
第5のステップ3210において、搬送ユニット1400上に格納された作物は、特定の収集場所、より具体的にはドック1100に定期的に移送される。移送は、使用される運搬ユニット上の貯蔵スペースの重量閾値または容積閾値を超えた場合に行われてもよい(したがって、適切なセンサが秤量/選別装置1450に接続されてもよい)。また移送は、規則的な時間間隔で、または収穫事象に依存して行われてもよい。例えば、運搬ユニットは、収集された作物をドックに移送して別の作業ユニットに運行する前に、作業ユニットがルートを完了するまで、作業ユニット1300に追随することができる。移送機構1418は、収穫された作物を貯蔵部1558からドック上に積み下ろすために使用される。
第6のステップ3212において、運搬ユニット1400は、そのスケジュールにしたがって作業ユニット1200とドック1100との間を移動し続け、スケジュールが完了するまで、作物14を収集及び/または貯蔵する。マッピングユニット1300の動作をいつ停止すべきかを決定することに関して説明した技法(すなわち、マッピングユニットを動作させる方法2200の第6のステップ2212に記載された技法)は、運搬ユニットの動作をいつ停止すべきかを決定するために使用することができる。また運搬ユニット1400は、中央プロセッサから停止コマンドが受信された場合(例えば、十分な作物が収集されたと中央プロセッサが判断した場合、大きな貯蔵スペース中の作物の容積がしきい値を超えた場合、または収集処理がキャンセルされた場合)、作物の運搬を中止してもよい。さらに、運搬ユニット1400は、特定の閾値を超えた場合、または特定の条件が満たされた場合(例えば、バッテリー充電量が特定のレベル未満に低下した場合)に、運搬を停止することができる。
任意選択的な第7のステップ3214において、運搬ユニット1400のメンテナンスが必要な場合(例えば、バッテリーレベルが所定の閾値を下回ったことが検出された場合)、運搬ユニットは、メンテナンスのために所定の場所に、または代替的にメンテナンスユニット1500に移動するように、構成される。また、メンテナンスユニット1500は、運搬処理の中断を最小限に抑えることができるメンテナンスを実行するために、運搬ユニット1400に向けて運行することができる。
ひとたびルートが完了すると、運搬ユニット1400は、さらなる指令が受信されるまで、動作を停止する。運搬ユニットは、ドック1100に戻ることができ、または温室の植物12から離れた任意の領域においてアイドル状態で留まることができる。
メンテナンスユニット:
図12は、本発明によるメンテナンスユニット1500の概略図を示している。メンテナンスユニットは、他のユニット(すなわち、マッピングユニット1200、作業ユニット1300、運搬ユニット1400、及び他のメンテナンスユニット1500)を動作状態に保つために使用され、それによって、それらが使用可能でない時間の量を最小限に抑え、それによって、収穫プロセスの速度及び/または信頼性を改善する。
先に述べたユニットと同様に、メンテナンスユニット1500は、車輪1504を有する「パイプレール」台車1502を備える。操作ユニットの他のコンポーネントは、台車上に搭載される。特に、そのような他のコンポーネントは、カメラ1506、プロセッサ1508、バッテリー1510、運動コントローラ1512、アンテナ1514、メンテナンス機構1518、及びコンポーネント用の貯蔵スペース1520を含む。
前述のユニット上でも見出されることもできるメンテナンスユニット1500の任意のコンポーネントは、同様に動作し、その結果、例えば、メンテナンスユニット1500の動きは、マッピングユニット1300の動きと同じ機構を使用する。
運搬ユニット1400の移送機構1418と同様に、メンテナンスユニット1500は、ロボットアームのような操作装置であり、これは、任意選択的に移動プラットフォームに搭載されてもよい。より具体的には移送機構1418は、(前述のように)「円筒座標形」または「デカルト座標型」アームなど、6未満の自由度でそのエンドエフェクタを位置決めすることができるロボットアームである。エンドエフェクタは、メンテナンス作業(例えば、コンポーネントの交換)に使用するように構成された一対の顎部である。メンテナンス機構はまた、修理手順で使用することができるねじ回し及びレンチのような様々な工具を備えることができ、またはこれらと交換可能であることができる。そのような工具は、メンテナンスに使用するために、エンドエフェクタによって把持されてもよい。ソフトウェア関連のメンテナンスが実行されることを可能にするために、ソフトウェア接続装置が、メンテナンス機構とともに、またまメンテナンス機構上に含まれていてもよい。メンテナンスに必要な任意のコンポーネント(任意選択的に工具を含む)は、メンテナンスユニット1500上の貯蔵スペース1520を使用して運搬される。
図13は、メンテナンスユニット1500の動作の方法を示すフロー図を示している。第1のステップ4202において、中央プロセッサは、1つ以上の運搬ユニット1400の使用のためのスケジュールを生成する。このスケジュール内で、アクションには、装置の価値及び装置の状態に応じて優先順位を与えられてもよく、すなわち、作業ユニット1200は運搬ユニット1400よりも価値があると考えられてもよく、故障したユニットは、日常保守を必要とするユニットよりも高い優先順位と考えられてもよい。スケジュールは、部分的に、既知の必要なアクション(日常保守など)に基づいており、イベント(ユニットの故障など)に基づいて動的に更新することもできる。故障の場合、メンテナンスユニットは、壊れたユニットの位置に最優先として派遣される。例示的なスケジュールでは、メンテナンスユニットを別のユニットとともに使用することができる。例えば、メンテナンスユニットは、作業ユニット1200に追随することができるので、作業ユニット内の予期しない誤動作に迅速に対処することができる。
第2のステップ4204において、メンテナンスユニット1500は、動作を開始すべきであるという通知を受信する。例えば、運搬ユニットは、アンテナ1414を介して中央プロセッサから通信を受信することができ、この通信は、スケジュールの詳細を含む。
第3のステップ4206において、メンテナンスユニット1500は、運行及び移動のための前述のコンポーネントを使用して、開始位置から特定のユニットの位置まで移動する。開始位置は、ドック1100にあってもよく、あるいは、隙間列18の外側のアイドル位置にあってもよい。一代替例において、メンテナンスユニットは、空調ユニットまたは湿度コントローラのようなメンテナンスを必要とする温室の特定の部分に移動する。
第4のステップ4208において、メンテナンスユニット1500は、ユニット(または任意選択的に温室の一部)に対して、メンテンナンスのアクションを実行する。そのようなアクションは、修理アクション、清掃アクション、または日常保守アクションを含むことができ、このアクションは、メンテナンス機構1518を使用して実行される。メンテナンスアクションに必要なコンポーネントは、メンテナンスユニット上の貯蔵スペース1520に貯蔵され、その結果、ユニット上の故障したコンポーネントは、貯蔵スペースに貯蔵された動作可能なコンポーネントに置き換えることができる。ここで、故障したコンポーネントは、貯蔵スペースに移送することができる。貯蔵スペースは、型式によってまたは状態によってコンポーネントを区分けするように、分割されていてもよい。
特定のメンテナンスアクションの他の例には、コンポーネントにアクセスするためのパネルのねじの取り外しまたは再ねじ締め、バッテリーの交換、バッテリーの(任意選択的にワイヤレスでの)充電、配線の変更、再配線、リブート、タイヤ/車輪の交換、パンクの修理、清掃(例えば、カメラの清掃)、及び妨害物の除去が含まれる。
任意選択的な第5のステップ4210では、メンテナンスユニット1500の貯蔵スペース1520内に貯蔵されたコンポーネントは、例えば、破損したコンポーネントを除去し、あるいは新品のコンポーネントを取り出すために、ドック内または温室10内の別の場所に含まれる貯蔵スペースへまたは貯蔵スペースから定期的に移送される。使用される貯蔵スペースは、移送されるコンポーネントに依存してもよく、ここで、別個のユニットに関連するコンポーネントは、異なる位置に含まれてもよく、また、バッテリーのような汎用のコンポーネントは一緒に貯蔵されてもよい。コンポーネントの移送は、使用されるメンテナンスユニット上の貯蔵スペースの重量閾値または体積閾値を超過したときに行われてもよい。また、移送は、既定の時間間隔で行われてもよく、あるいは、メンテナンスイベントに応じて行われてもよい。例えばメンテナンスユニットは、各修理プロセスに引き続いて、貯蔵スペースへ、または貯蔵スペースからコンポーネントを移送してもよい。
第6のステップ4212において、メンテナンスユニット1500は、スケジュールが完了するまで、ルートに沿って移動し、メンテナンス/修理/清掃手順を実行し続ける。マッピングユニット1300の動作をいつ停止すべきかを決定することに関連して説明した技法(すなわち、マッピングユニットの動作の方法2200の第6のステップ2212での技法)は、メンテナンスユニットの動作をいつ停止すべきかを決定するために使用することができる。メンテナンスユニット1500はまた、中央プロセッサから停止コマンドが受信された場合(例えば、中央プロセッサが、十分な数のユニットが現在機能していると判定した場合、貯蔵スペース内のコンポーネントの量が閾値を下回った場合、またはメンテナンスプロセスがキャンセルされた場合)に、移送を停止することができる。さらに、メンテナンスユニット1400は、特定の閾値を超えた場合(例えば、バッテリー充電量が一定レベル以下になった場合)に、移送を停止してもよい。
任意選択的な第7のステップ4214において、メンテナンスユニット1500のメンテナンスが必要な場合(例えば、バッテリーレベルが所定の閾値を下回ったことが検出された場合)、そのメンテナンスユニットは、メンテナンスのための所定の場所に、または代替として別のメンテナンスユニット1500に移動するように構成される。他のメンテナンスユニット1500が、メンテナンス1500を必要とするメンテナンスユニットに運行してもよい。メンテナンスユニットは、他のメンテナンスユニットへの依存を最小限に抑えるために、それ自体でメンテナンス手順を実行するいくばくかの能力を有することができる。
ひとたびルートが完了すると、メンテナンスユニット1500は、さらなる指令が受信されるまで動作を停止する。メンテナンスユニットは、ドック1100に戻ることができ、または温室の植物12から離れた任意の領域にアイドル状態で留まることができる。
ドック:
図14は、本発明によるドック1100の概略図を示している。上述のようにドック1100は、生育環境内またはその近くの固定位置に配置され(例えば、ドックは生育環境の壁または床に固定されてもよい)、他のユニットのための制御ノードとして機能する。またドックは、システム1000の様々なユニットを格納するか、または他の方法で係合することが可能であってもよい。ドックは、スケジュール及びルートを生成し、それによって他のすべてのユニットを制御するように構成された中央プロセッサ1112を備える。ドックは、無線ネットワークを介して他のユニットと通信するためのアンテナ1114と、ユニットを物理的に受け入れる(壁として形成されてもよい)ドッキング部1120と、バッテリー1108とをさらに備える。ドッキング部は、ユニットを受け入れるための形状形成部分(任意選択的に、形状形成部分は各ユニットの形状に合致する)を備え、ユニットがドック内に向けて直接、乗り入れることができるようになっている。
例示的なユニット1150(本明細書で説明されるユニットのいずれをも表す)も示されている。ユニットは、ユニットの前部または後部に配置され、ユニットがドックと係合したときにドックとインターフェースを形成してユニットとドックとの間の電子データの転送を可能にするように構成されたデータ接続部(USB接続、またはイーサネット(登録商標)接続など)であるドック接続部1122を備える。ユニットは、ドック接続部を介してバッテリーの充電を受け入れることができる。ドック接続部は、ドッキング部1120上の対応する接続部に受け入れられるように配置され、任意選択的にドック接続部はオス型接続部でありドッキング部上の接続部は接続である(または、その逆である)。一代替例では、物理的なドック接続部が設けられず、ユニットがドックと純粋にワイヤレスで相互作用する(例えば、ユニットは電磁誘導で充電されることができ、例えばWi−Fiを介して無線でデータを通信することができる)。
前述のようにドック1100は、収穫された作物14を(例えば、ドッキング部1120上のハッチを介して)受け取るように構成され、その作物14は、次に、例えばコンベヤベルトによって、温室10から離れるように運搬される。ドック1100は、作物を大規模に貯蔵するためのスペースも含むことができる。
図15は、ドック1100の動作の方法を示すフロー図を示している。第1のステップ5202において、ドックは、ユニットがドッキング部1120に物理的に接続するまで、アイドル(すなわち、省電力)モードで待機する。この接続は、第2のステップ5204において、例えば、視覚的手がかり、ネットワーク手がかり、または物理的誘導手段(ドックから延びるガイドレールなど)を使用して、ドックによって任意選択的に支援される。物理的誘導手段はまた、ユニットまたはドックのいずれかへのダメージを防止するために、あまりにも速く移動しているユニットを減速させるために使用されてもよい。
第3のステップ5206において、ドック1100は、データを転送し、接続されたユニットを充電し、コンポーネントまたは作物を積み込み、または積み下ろすために使用される(上述のように、運搬ユニットは、転送機構1418を使用して、作物を運搬ユニットからドックに移送(すなわち、積み下ろし)する)。必要なドッキング時間を短縮するために、ドック1100は、状況によっては、ユニット内に収容されている消耗したバッテリーと充電されたバッテリーとを入れ替えてもよい。その後、この消耗したバッテリーは、ユニットがドッキングされたままであることを必要とすることなく、充電されることができる。
第4のステップ5208において、ドック1100は、後述するように、ユニット及び作物14に関するデータをクラウドサーバ/ネットワークに送信する。
任意選択的な第5のステップ5210では、例えば、さらなる支援を提供するために、他のユニットがドックによって呼び出されてもよい。例えば、ユニットのカメラは、ユニット及び/または位置を突き止めるために使用されてもよく、または、追加の運搬ユニット1300が、第1の運搬ユニットから作物を積み降ろすのを支援するために使用されてもよい。
生育環境:
言及したように、温室10(または他の生育環境)自体は、ユニットが運行(ナビゲート)することを可能にするのを助けるための修正点を含む。特に(各ユニットのカメラを介して検出可能である)運行支援物が、温室全体にわたって、例えば、隙間列18の縁部及び/または内部に配置される。このような運行支援物は、ユニットが自身の位置を突き止めることができるように、近くの列16を識別することができる。運行支援物はまた、ユニットがドックに運行するのを支援するために、ドック1100の上または周囲に存在してもよい。
制御システム:
図16は、システム1000の構成要素間の接続を示す階層依存図を示している。
設定(configuration)ユーザーインタフェース(UI)192が、制御ユニット(すなわちドック1100内の中央プロセッサ1112及び/またはそれが通信するクラウドサーバ)に接続されている。通信ネットワーク管理システム106を使用して、各タイプの動作(すなわち、マッピングユニット1300に関して画像取得108、作業ユニット1200に関して収穫(または他の作業)110、運搬ユニット1400に関して運搬114、及びメンテナンスユニット1500に関してメンテナンス112)が、他の図を参照して前述したようにスケジューリングされて調整される。次に、これらのスケジュールは、無線接続を介してユニットに送信され、各ユニットは、その関連するアクションを実行する。
前述したように、中央プロセッサ1112はクラウドサーバとインターフェース接続し、クラウドサーバは、追加の処理動作(または代わりに、処理動作の大部分)を実行するために使用されてもよい。利用者は、設定UI 102を介してクラウドサーバにアクセスすることができ、設定UI 102自体は、ウェブポータルまたはソフトウェアアプリケーションによってアクセスすることができる。
設定UI 102は、動作、例えば、マッピング及び運搬、並びに充電及びソフトウェア更新などの補助動作をスケジュールするように構成可能である。利用者は動作を正確にスケジューリングすることができ、あるいは、一般的なパラメータ(例えば、「1時間に2回マッピングする」)を設定することができ、この場合、正確なスケジューリングは、制御ユニット104によって決定される。
設定UI 102の利用者は、(作物が収穫に適した状態にあるかを判定するために使用される)収穫適応性閾値、日常保守タイムテーブル、及び、最大動作速度などの安全設定などの他の設定情報(プリファレンス)を設定することができる。操作者はまた、設定UI 102を使用して、制御ユニット104によって制御されるべきユニットを登録することができる。また操作者は、マッピングデータを生成するときに使用される温室の計画を入力してもよい。
各ユニットからの情報は、通信ネットワーク106を使用して統合・調整され、その結果、ユニットに関するまたはユニットからのすべての情報が、制御ユニット104に知られることになる。このような情報は、ステータス更新、イベント通知、位置情報、及び、マッピングデータのような検出情報を含んでもよい。次に、各ユニットの位置と既知の情報との知識を使用して、通信を計画することができる。
代替例及び拡張例
上述した実施形態はシステムについての1つの可能な実装を表わすに過ぎず、多くの代替の実装もまた可能であることも理解されるであろう。
システム1000及び方法2000は、主に、作物を収穫すること(または作物に対して他の作業を実行すること)に関して説明されたが、システム1000及び方法2000は、倉庫または工場の周りで物品を移動させることなど、様々な他の関連する状況に等しく適用できることが理解されるであろう。
システム1000の一代替実施形態では、アンテナを介した無線通信の代替として、あるいはアンテナを介した無線通信への追加として、運搬ユニット1400(または他のユニット)を使用して、様々なユニットとドックとの間でデータ(マッピングデータ、ルート、その他など)を物理的に転送することができる。これは、信頼性の高い無線接続が利用できない場合や、そのような接続を設定することが許容できないほど高価となろう場合に役立つことがある。データは、各ユニットのドック接続部1122を使用して、そうでなければ同様のデータ接続部を使用して、交換することができる。
図17は、運搬ユニット1400がデータを転送するために使用される、作物14を収穫するためのシステム1000の要素構成図を示している。実線は、システムの構成要素間のデータ接続を示し、破線は、収穫された作物が移送される接続関係を示している。データは、ユニットのいずれかの間で転送することができるが、運搬ユニット1400のみが、ドック1100へ及びドック1100からデータを転送するように構成されている。理解されるように、このように実装されるのは、いかなる場合にも運搬ユニットがドックに移動し、ドックから戻るからである。収穫された作物は、作業ユニットから運搬ユニットに移送され、最後にドックに移送される。
システム1000及び方法2000が、主に、植物14上で成長し、収穫に際して植物から除去される作物14、特に、植物14のトラスまたは支持部分上で成長する作物に関して説明されているが、システム1000及び方法2000は、任意の種類の果物、野菜、または他の作物に等しく適用されてもよい。例えば「作物」は、植物の一部ではなく、植物全体であってもよい。作物14が根菜である場合、作業ユニット1200は、作物14を掘り出すように適合されてもよい。
温室内では、対象領域20は、温室全体、または部分領域から構成されていてもよい。各対象領域内で異なるグループのユニットが使用されるように、複数の対象領域があってもよい。例えば、各領域は異なる作業ユニット1200を使用してもよい。例えば共有されるドック1100が領域ごとに使用されてよいように、または同じメンテナンスユニット1500が領域ごとに使用されてよいように、いくつかの共通のユニットがあってもよい。
上述したユニットからのコンポーネントまたは機能は交換可能であってよく、それにより、任意のユニットは、他の1つのユニットまたはいくつかのユニットのいずれかの機能を実行してもよい。特に、作業ユニット1200は、修正なして、マッピングユニット1400の機能を実行することができる。運搬ユニットは、例えば、移送機構1418がメンテナンス機構1518として使用されてもよく、または別個のメンテナンス機構が運搬ユニットの台車1402上に存在してもよい、メンテナンスユニットと動作してもよい。いくつかのシステムでは、それぞれのユニットの特徴が、ここで説明した機能の各々を単一のユニットが実行するように、組み合わされてもよい。
コンポーネントは、手動でまたは自動的に交換されてもよく、そこでは同じベースが、異なる操作装置またはエンドエフェクタに使用可能であってもよい。例えば、移送機構1418をメンテナンス機構1518と置き換えることによって、運搬ユニット1400がメンテナンスユニット1500として使用されてもよい。このような交換は自動的に行うことができ、例えば、メンテナンスユニットがシステムから取り除かれた場合、他のユニットがメンテナンスユニット1500に自動的に転換してもよい。これは、システム内の各ユニットについての最小の望ましい台数、または最適化されたユニット間のバランスに基づくことができる。複数の異なるエンドエフェクタが、単一の操作装置とともに使用されてもよく、任意選択的にエンドエフェクタは、操作装置が使用されているときに変更されることができる。複数のエンドエフェクタの使用は、各エンドエフェクタが特定の目的のためにあつらえられることを可能にし、例えば、エンドエフェクタは、グリッパ(把持器)、カッタ(切断器)、カメラ、プローブ、センサなどとして形成されてもよい。
いくつかのユニット上で使用される操作装置を概して円筒座標型またはデカルト座標型のロボットアームとして説明してきたが、電子信号を介して制御することができる任意の形態の関節アームが、代替的に、ユニット上で使用するように適合されてもよいことが理解されよう。適切なロボットアームの例には、球形、デルタ形、極座標型、関節型、垂直作動型、スライドベース、ロープガイド型、及びジョイント型(例えば、6自由度)のロボットアームが含まれ、これらを使用することができる。他の代替となる操作装置には、SCARA(選択的コンプライアンス組立用ロボットアーム)、平行マニピュレータ、擬人ロボット、及び複数の独立したアクチュエータ(線形アクチュエータ、または線形及び回転アクチュエータなど)が含まれる。もちろん、ここに記載された操作装置は、適宜、組み合わされてもよく、そうでなければ一体化されてもよいことが理解されるであろう。
温室10内または温室の領域内で使用される各ユニットの数は任意である。一定のユニットを一定の隙間列18に割り当てることができ、この場合、隙間列ごとに各種類のユニットの1つが存在することができる。あるいは、隙間列当たりにいくつかの種類のユニットの数がより多くてもよく、ここで、ユニットの種類についてのある比率が有利であってもよい。
一代替例では、ユニットは、ここで記載されたよりも特殊化されてもよく、例えば、一般的なメンテナンスユニット1500の代わりに、特殊化された異なる修理ユニットがあってもよい。単一のユニットのコンポーネントは、単一の台車内に収容されていなくてもよい。例えば、マッピングユニット1300は、台車1302から離れて1つ以上のカメラ1306が配置されている、複数の部分に分割されてもよい。
ユニットは、コンポーネントを交換することによって、または拡張可能なコンポーネントを使用することによって、それらのサイズまたは形状を適宜変更することができる。これにより、マッピングユニット1300は、場所についてのよりよい視界を得ることができ、または作業ユニット1200は、オペレータ1218の形状を最適化することができる。例えば、より長いロボットアームは、作物14のまばらな領域、または大きな植物12にとって望ましい場合がある。任意選択的にユニットは、必要に応じて、それ自体を動的に再構成する(または別のユニットまたはドックによって動的に再構成される)ように構成されていてもよい。一例では、ユニットは、異なる種類のユニットに再構成されてもよく、例えば、オペレータ1218及び貯蔵スペース1220の追加は、マッピングユニットを作業ユニットに転換する役割を果たしてもよい。
特定の種類のユニットは、任意選択的に、少なくともある程度まで、他のユニットと統合されてもよい。例えば、運搬ユニット1400は、収穫された作物を定期的な間隔でドックで荷降ろしするために分離する、操作ユニット1200の統合された部分であってもよく、または運搬ユニット1400は、操作ユニット1200の後ろをたどってもよい。さらなる例では、ユニット(「マスタユニット(master unit)」と呼ばれる)が、マッピングまたは収穫などの特定のタスクを実行するために、より小さいユニット(「サブユニット(sub-unit)」と呼ばれることがある)を展開配備することができる。このシナリオでは、マスタユニットは、移動可能な型式のドック1100として動作することができる。
ユニットでの使用のためにここに記載された任意のコンポーネントは、生育環境10内の固定したコンポーネントとして提供されることができ、例えば、1つ以上のオペレータ1218は、生育環境10内の固定された位置に配置されてもよい。
ここに記載されたシステム1000及び方法2000は、主に、車輪を使用して移動するユニットに関連して説明されたが、それらのシステム1000及び方法2000は、例えば、ユニットが軌道またはレール上にあってもよいし、プーリシステムを使用してもよいし、または頭上ガントリを使用してもよい、別の形態の移動を使用するユニットにも同様に適用されることができる。
ユニットは、任意の媒体を通って移動することができ、その結果、ユニットは、水上または水中で、あるいは空中を移動することができる(すなわち、ユニットは、無人航空機(UAV(unmanned aerial vehicle))または「ドローン(drone)」とすることができる)。ユニットは、制約された移動範囲を有することができる。例えば、制限された数の軌道に沿って移動することができる。あるいはユニットは、自由に移動することができることができる。別個のユニットは、異なる移動手段を用いて動作してもよい。例えば、作業ユニット1200は、予測可能な経路をたどることができ、隙間列18に沿って移動し、そこでは、「パイプレール」システムが使用される。メンテナンスユニット1500は、飛行を可能にする回転翼システムなど、拘束されない移動を可能にする機構を使用することができる。それは、メンテナンスユニット1500が、多数の隙間列内の任意の点で、それらの列内のユニットを補修することを要求されることがあるからである。ユニットは、複数の走行機構を含むことができ、ここで、これらの機構は、2つのそのような機構の間で切り換えることができる。
運動を制御し、運動のための動力を供給するための手段は、各ユニットに含まれていてもよいし、他の場所に含まれていてもよい。例えば、プーリシステムは、プーリの位置で駆動されてもよく、その結果、ユニットは、それ自体の動作に動力を供給する必要がなく、運動コントローラを必要としない。手動、電力、磁力、風力、強制空気または他の任意の手段(例えば、蓄積された運動エネルギーを有するフライホイール)を使用して、運動に動力を供給することができる。
任意選択的に、ユニットのいずれかまたはすべては、照明が不十分な環境で各ユニットのカメラが所望通りに動作することを可能にするために、1つ以上のトーチ(または他の光源)を備える。
少なくとも運行(ナビゲーション)の目的のためにカメラを含むものとしてすべてのユニットを説明してきたが、運行のためにカメラに加えて、またはこのカメラの代わりに、様々な他の非視覚的なセンサが使用されてもよいことが理解されるであろう。特に、GPSシステムは、(説明されるように)ナビゲーションのために使用されてもよく、及び/または、ユニットは、レーダ(radar)、ライダ(lidar)、または超音波による調査のための手段を組み込んでいてもよい。
ユニットはまた、(例えば、車輪の回転を検出することができるサーボモータまたはエンコーダに基づく、あるいは、実際にはオドメータ(走行距離計)として構成された任意の他の動きセンサに基づく)走行距離計測法を用いて、ユニット自体の位置を特定することができてもよい。ここでは、確率論的、決定論的、及び/または推測航法による方法がユニットの位置を決定するために使用される。ユニットは、運行で使用するためのさらなる入力を、(生育環境内において鉄線などの運行支援物や他の物体の位置を検出するために使用することができる)磁気センサ、近接センサ、または、(生育環境内の所定の位置にある送信機に関連する無線信号などの信号強度を検出するために使用することができる)無線通信手段から受け取ることができる。これにより、ユニットは、例えばコンピュータビジョン技術を用いて独立してそれ自身をナビゲートするのではなく、マーク付けされた経路を単にたどることができるようにしてもよい。ナビゲーションにおける非視覚的なセンサの使用は、特に、低照度条件及び極端に明るい条件(例えば、高照度光を使用する屋内農場内)において有用である。
任意選択的にユニットは、運行するために、及び/または(例えば、マッピングを継続するかどうかを判定する際に)動作を停止するか継続するかを判定するために、迷路探索アルゴリズムを実行することができる。任意選択的にランダム探索を使用して、特定のルート及び/または動作の開始位置または終了位置を判定することができる。
任意選択的に、物理的フィードバック(すなわち、各ユニットまたはいくつかのユニットのセンサを介して検出可能な、物体または生育環境の部分との相互作用)を使用して、対象領域/生育環境のマッピングデータ及び/または計画/マップに関する問題及び/または不完全性、例えば、生育環境が予想外に変化した場合に引き起こされる問題を判定することができる。
任意選択的に各ユニットは、例えばドック1100内のプロセッサからの指示を無効にすることによって、利用者がユニットを(完全にまたは限定された意味で)制御することを可能にするユーザ入力デバイス(いくつかの選択肢を提示するタッチスクリーン、またはいくつかのボタンなど)を備える。利用者は、特定の自律ユニットの制御に責任を負うために、例えば、ユニットが障害物と衝突する方向に進行しているとき、あるいは、別のエラーが発生したかまたは差し迫って発生するであろうときに、ユーザインターフェース装置を使用することができてもよい。
任意選択的にユニットのいずれかまたはすべては、動き中に使用され得る衝突検出機構を備える。これは、例えば、距離測定システムのような検出器、または履歴データに基づく確率モデルのような、以前の衝突位置を回避するルートを計画することができる仮想システムとすることができる。
任意選択的に、ユニットのいずれかまたはすべては、それ自体を清掃することができる(あるいは、他のユニットの支援を受けて、または生育環境10の一部を使用することによって、それを行うことができる)。例えばユニットは、それ自体を(例えば、生育環境のコンポーネントに対して)拭わせたり、水または他の液体を使用してそれ自体を洗浄したり、水または他の液体の中を通過したり、または送風機または同様のコンポーネントのそばを通過したりすることができる。
任意選択的にユニットのいずれかまたはすべては、物品検出機構を含み、ここでユニットは、例えば、コンピュータビジョン技術及び物体認識技術と併用してカメラを使用することによって、非効率または損傷を引き起こす可能性がある、ユニットの経路内またはユニットの周りの任意の物品(アイテム)を検出することができる。そのような検出は、警報通知(アラーム)やまたは物品の画像または説明を伴ってもよいメッセージなどの、警報(アラート)をもたらしてもよい。そのような警報通知またはメッセージは、中央プロセッサ1122に送信されてもよく、設定UI 102を介して視認可能であってもよい。物品検出機構は、物品分類機構と組み合わせることができる。
各ユニットは、様々な性能指標値(パフォーマンスメトリック)を最適化するようにプログラムされてもよく、例えば、タスクをできるだけ迅速に実行する、できるだけ正確に実行する、あるいはこれらの目標の間の妥協点で実行する、の選択肢があってもよい。この最適化は、位置または時間に依存してもよく、例えば、マッピングユニット1300は、最小限の十分な精度を依然として達成しながら、作物14の領域を迅速にマッピングするようにプログラムされていてもよい。このマッピングユニットは、普通ではない物品が検出されたときに、または別のユニットが領域に関するより多くの情報を必要とするときに、この領域の部分領域をより正確にマッピングすることができる。別の例では、マッピングユニットは、(より速い移動速度は獲得された視覚データの品質を低下させる傾向があることに基づいて、)必要とされる所定の品質に応じて移動速度を選択するように構成されていてもよい。同様に、作業ユニット1200は、ある作物14に対して迅速に作業を行うことができるが、他の作物14は、精度を優先させるアプローチを必要としてもよい、より正確な作業プロセスを必要としてもよい。最適化は、人間によって、ドック1100によって、または、作物14の特徴または時間に基づいて最適化を決定することができるユニットによって、選択されることができる。
ここ記載された方法2000は、主に、時間効率を最大にする(すなわち、作物14が最小時間で収穫される)ルート生成2600及びユニット作業を考慮するが、他の効率が優先されてもよい(または、効率間のバランスが選択されてもよい)。例えば、システム1000は、ユニットの動き、摩耗、作物または植物へのダメージ、またはエネルギー使用を最小限に抑えるように構成されてもよい。
ユニット及びドック1100は、データを受信する任意の手段を使用して、データ、例えばスケジュールまたはマッピングデータを受信することができる。これは、例えばエリアネットワーク接続またはBluetooth(登録商標)接続を使用して各ユニットがデータを受信できるように、物理接続または無線接続を含むことができる。この接続は、持続的であってもよいし、データ転送が必要な場合にのみ確立されてもよい。複数の接続方法を使用することができ、例えば、ドック1100は、インターネット接続を使用する外部接続からデータを受信し、Bluetooth(登録商標)接続を使用してユニットにデータを送信することができる。データを送信する前に接続されて送信が完了すると切断される物理リンクをユニットが使用してもよいし、あるいは、不変の物理リンクが存在してもよい。
任意選択的に、ユニットのいずれかまたはすべては、自律的に動作するのではなく、任意選択的に人間であるユーザ、サーバ、または別のユニットによって一時的にせよ永続的にせよ遠隔操作されるように構成されていてもよい。任意選択的に、(自律的にまたは遠隔操作の一部として)ユニットの運行を支援するために、(カメラなどの)他のユニットのセンサからの入力が前者のユニットと共有される。
任意選択的に、ユニットのいずれかまたはすべては、例えば、音を発することによって、またはサーバに通知を発行することによって、人間である操作者の注意のために、報知(シグナリング)を行うように構成されてもよい。そのようなシグナリングは、例えば、ユニットが(例えばドアを介した)アクセスを必要とする場合に、必要とされることがある。
ここに記載されたシステム1000及び方法2000は、主に、バッテリーを使用して給電されるユニットに関連して説明されたが、システム1000及び方法2000は、任意の形態の動力を使用するユニットに同様に適用されてもよく、例えば、ユニットは、導線なしでまたは導線を使用して、電力供給網に接続されてもよい。特に、ドックは、発電機などの永続的または半永続的電源に接続されてもよい。バッテリーが使用される場合、有線または無線のいずれかの充電方法を使用することができる。
任意選択的に、ユニットのいずれかまたはすべては、二酸化炭素レベル、湿度、または光レベルなどの生育環境のパラメータに関する情報を取得するためのセンサを備える。この情報は、任意の他のユニットまたはドック1100に送信されてもよい。
任意のユニットまたはドック1100は、建造物内の制御システムと一体化されてもよく、その結果、環境は、要件に応じて変更されてもよい。マッピングユニット1300は、例えば、視覚データの獲得を改善するように、生育環境10内の照明をマッピングユニットの近傍で修正させることができてもよい。
任意のユニットから得られたデータ(特に視覚データ)は、作物に関する予測、例えば期待収量または収穫期間のために使用することができる。そのような予測は、複数のユニットまたは複数の記録時間からのデータを結合することによって改善することができる。ここでマッピングユニット1300は、予測を生成するために複数のマッピング実行を使用してもよい。これらの予測は、生育環境に対する修正を示唆または実施するために使用されてもよく、例えば、植物12の生育が不十分であることをデータが示唆する場合、湿度(またはその他の要素)が修正されてもよい。
任意のユニットは、無線ネットワークを介してドック1100に通知を送信することができる。これらの通知は、特定の時刻に、一定のアクションの完了時に、または指示が必要な場合に、送信することができる。これらの通知は、進捗報告の様式であってもよい。
任意選択的に、ユニットのいずれかまたはすべては、車輪またはロボットアームなどの特定のコンポーネントを較正するように構成される。較正において検出された任意のオフセットまたはエラーは、修正されてもよいし、引く続く動作において考慮されてもよい。これは、周期的に生じてもよく、または標準以下である性能が検出されたことによってトリガされてもよい。
任意選択的に、ユニットのいずれかまたはすべては、ステータス(状態)のチェックを実行するように構成される。例えばコンポーネントは、それらが正しく機能していることを保証するために試験されてもよく、バッテリーは、それらが十分な電荷を担うことができることを保証するために試験されてもよい。このようなステータス情報は、記憶されてもよく、コンポーネントの破損またはメンテナンスに関連する通知が発行されてもよい。そのような通知は、例えば、負荷状態、バッテリー状態、エラー、位置、スケジュールの進捗、及び/または近くのオブジェクトに関する情報を含むことができる。そのような送信は、中央プロセッサに、次の解決策のいずれかを実施させることができる。すなわち、場合により破損ユニットのスケジュールを完了するかまたは危険を回避するために、任意のユニットについて経路設定をやり直すこと、メンテナンスユニット1500または運搬ユニット1400を呼び出すこと;または、ユニットを(ドック1100などの)充電ポイントに移動させること。スケジュールは、例えば、バッテリーレベルが閾値を下回ったときにユニットが充電ポイントにアクセスできるように、修正されてもよい。
任意選択的にユニットのいずれかまたはすべては、水または塵の侵入を低減するためのカバーを備える。カバーは、オペレータ1218などのエフェクタを通過させることができる。
任意のユニットは、1人以上の操作者との相互作用を可能にするコンポーネントを含んでもよく、例えば、座席が含まれてもよい。人間は、構成UI 102を使用する観察に基づいて、ユニットを監視し、品質管理として働き、またはユニットの挙動の態様を修正することができる。
マップの生成2400など、ドック1100によって実行されるプロセスのいずれもが、ユニットによって代替的に実行されてもよい。これは、地図データの分析または処理、またはルート生成2600などの、中央プロセッサによって実行されることができる任意のプロセスを含むことができる。そのような分析プロセスは、マッピングユニットがマッピングデータを同時に獲得し分析することができるように、他の動作中に実行することができる。同様に、ドックによって実行される任意のプロセスは、代替的に外部サーバ(例えば、クラウドサーバ)で実行されてもよく、その場合、ドックは、単に、データをサーバに転送し、応答を受信するように動作する。
一代替例では、個別のドックは用意されず、各ユニットは外部サーバと直接通信する。さらなる代替例では、ドックによって実行される処理機能は、いくつかのユニットに分散されてもよい。またさらなる代替例では、各ユニットは個別に制御され、ここで、ユニットの動作及びアクションは、ユニット上のセンサによって集められたデータに基づいてもよい。
機械学習アルゴリズムまたはニューラルネットワークは、任意選択的に、本方法の任意の態様を改善するために使用されてもよく、ここで機械学習は、例えば、説明されるように、ルート生成2600を最適化するために、収量に関する予測を改善するために、または収集されたデータ内の作物を識別するために使用されてもよい。適切な技法及びアルゴリズムの例には、とりわけ、強化学習(reinforcement learning)、深い畳み込みニューラルネットワーク(deep convolutional neural networks)、ランダムフォレスト(random forests)、特徴学習(feature learning)、人工知能(artificial intelligence)、及びベイズネットワーク(Bayesian networks)が含まれる。一般に、そのような技法及びアルゴリズムは、システム1000のユニット及び/または他の同様のシステム1000(例えば、異なる生育環境で動作するシステム)から収集された履歴データに対して訓練されて、予測または結果(任意選択的に信頼レベルを含む)を出力する計算アルゴリズムとして提供される。
履歴結果データ(すなわち、以前の結果、マップまたはルート)は、物体認識及びルート生成に使用されるモデルへの入力として直接供給されてもよく、これは、新しいまたは更新された結果を生成する(例えば、過去のマッピングデータ及び予測成長率に基づいて、特定の作物の新しい位置を外挿する)ことを支援することができる。モデルは、そのような更新された結果を生成するために、ルール、AI、または他の技法を使用する有機モデリング(organic modelling)を使用することができる。温度、光レベル(現在及び最近)、及び/または他の信号を使用して、そのようなモデルに通知することができる。一代替例では、単に、大まかなスケールアップ係数、エラーの容認、または結果(生成されたマップなど)の集合への丸めを適用することは、経過時間を考慮して結果を「更新」するのに十分であり得る。
複数のマップが経時的に作成される場合、または更新されたマップが外挿される場合、マップ(及び関連するモデル)は、空間−時間モデリング技法を組み込むことができる。異なる期間のマップは、(例えば新しさまたは別の特性によって、重み付けされるか重み付けされない方法で)平均化されてもよく、及び/またはファジー技術が使用されてもよい。前述のように、マッピング中のマッピングユニット1300の移動速度は、所定のデータ品質要件に基づいて選択することができ、これを使用して、例えば、1回の「低速」(したがって高品質)のマッピング実行がときどき(例えば、週に1回)行われ、より高速(したがって低品質)のマッピング実行がより頻繁に(1日に1回など)行なわれる場合に、履歴データと組み合わせてマップを更新することができる。この構成は、実行されるマッピングの量を最小限に抑えながら、作物のマップを十分に最新かつ正確に保つことができる。さらなる改良は、異なるセンサまたは異なる設定(例えば、サンプル周波数)を使用して、例えば、平均化ベースまたは差動ベースで、異なる実行でマッピングユニットを動作させることによって可能であろう。
マッピング及び/または収穫の実用的な実施に関連する指標、例えば、特定の領域をマッピングまたは収穫することがどの程度困難であるか(例えば、エラーの数、または所要時間によって測られる)は、マップに対する入力、及び/またはルートを生成する際の入力として使用することができる。
履歴結果データはまた、機械学習モデルのフィードバックとして、例えば、モデルでの重みを補正するために、または代替の機械学習ネットワーク設計に対してテストするために、使用されてもよい(代替の設計は、レイヤを無効にすること、早期停止を設定すること、さらなる畳み込み/プーリングを含ませること、または古典的なコンピュータビジョン技術に関連してもよい)。
履歴データを使用して、マッピングユニット1300の効率または精度を改善することができ、この場合、過去のデータを使用して、関心のある位置を検出または予測することができる。位置は、この過去のデータに相対的にマッピングされてもよい。
前述のように、ユニットは、一般に、所定のタイミング(または他の要件)に基づいて、及び/またはイベントに応答して定義されるスケジュールにしたがって動作させられる。そのようなスケジュールは、任意選択的に、例えば、生育環境全体にわたってユニットを再割り当てするように、イベント、能力、必要性、及び/または効率に応じて動的に適応させることができる。例えば、全マッピング実行または部分的マッピング実行の頻度は、イベント、過去の頻度、及び観察または予想される変化のいずれかに基づいて動的に決定されてもよい。検出された変化は、例えば、マッピングデータからの逸脱の結果として作物に対する作業において検出されたエラーであり、この変化によって、マッピングデータの質を改善するためにマッピング実行を開始させてもよい。マッピングデータの品質は、例えば、(特定の運行支援物のような)生育環境における1つ以上の基準物体に対するマッピングデータの比較によってテストされてもよい。作物間の生成されたルートもまた、イベント、能力、必要性、及び/または効率に応答して動的に適合されてもよい。例えば、作業ユニット1200が故障した場合、故障した作業ユニットに対して以前に割り当てられたルートを他の作業ユニットがカバーできるように、他のすべての作業ユニットのルートが再計算されてもよい。
各ユニットに送ることができる情報には、単純なインターフェースを使用することができるなど、制限がある場合がある。システムは、特注のプログラミング言語を介して制御することができる。
システム1000は、動作に影響を及ぼす関連データを受信するために別のシステムと統合されてもよい。例えば、システムは、スーパーマーケットへの注文情報を受信することができてもよく、その場合、注文情報に応じて適切な量の作物14を収穫することができだろう。システムはまた、建物制御システム、または植栽システムと統合されてもよく、栽培される作物の量は、注文情報に基づいて選択されてもよい。また、システムは、収量を改善するために使用することができる作物に関する情報、例えば、非効率性の監視、または廃棄物の情報を収集することもできる。
中央プロセッサは、任意選択的に、各ユニットに関する情報を収集することができる。そこでは性能が監視され、性能が一定のしきい値を下回ったときに警報が生成されてもよい。中央プロセッサは、例えば、データをゆっくり転送しているユニットにより多くの帯域幅を割り当てることによって、性能を改善するためにリソースを移転させることができる。
中央プロセッサは、任意選択的にセキュリティ動作を実行することができ、そこではデータがログとして記録され、設定を変更しようとするいかなる利用者も認証プロセスを完了させなければならない。
中央プロセッサは、任意選択的に、入ってくる及び出て行く作物14などの関連する物品を追跡することができる。この追跡は、作物の履歴追跡のために使用することができ、ブロックチェーン技術を追跡プロセスの一部として使用することができる。
ドック1100内に配置されることに対する一代替例として、中央プロセッサは、オフラインのコンピュータ上に実装されるようなスタンドアロンのシステムとして動作してもよく、あるいは、ネットワークに基づいてもよく、そこでは中央プロセッサは、例えば、ブラウザを介して制御されてもよい。中央プロセッサは、ネットワークリソースが性能を向上させるであろうとき、さらなるネットワークリソースを要求してもよく、あるいは、利用可能なリソースに基づいてタスクを編成してもよい。
中央プロセッサは、環境の性能を改善するために外部データを任意選択的に使用することができる。例えば、天候に関するデータを使用して作物の収穫量が最大化されることを保証することができ、または経済データを使用して最適な時間に収穫することができる。
中央プロセッサは、任意のユニットの動作をキャンセルすることができるように、動作要求を作成、一時停止、または削除することができる。
中央プロセッサは、性能向上のために並列構成要素を使用することができる。この場合、これは冗長構成のためにも使用でき、例えば、RAID(Redundant Array of Independent Disks)サーバを使用することができる。定期的なバックアップを使用して、データが失われないことを保証することができる。バックアップスケジュールは。時間に基づいていても、認識された危険に基づいていてもよい。例えば、荒天が予測される場合に、バックアップが実行されてもよい。
(マッピングデータ、生成されたルート、作物の記録、視覚データなどを含む)情報は、生データとして記憶されてもよく、または記憶スペースを節約するために圧縮されてもよい。セキュリティ上の理由から、情報は暗号化されてもよい。情報は、様々なシステム1000の間で共有されてもよく、そこでは、蓄積された情報が、性能を改善するために使用される。中央プロセッサは、収量またはユニットの性能を最適化するために、切断/刈り取りまたは栽培技術を推奨するように構成されていてもよく、例えば、作物はジグザグ配置で栽培されてもよい。この最適化を実行するために、または操作者に情報を提供するために、シミュレーションが実行されてもよい。
グラフィカルプロセッシングユニット(Graphical Processing Unit:GPU)またはフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)などの適切なデバイスを使用して、任意の計算を実行することができる。
システム1000は、各ユニットと通信するためにドライバを必要とすることがある。ユニット間の通信はまた、データの特定のフォーマットを必要としてもよく、そこではシステム100によって任意の変換が実行されてよい。
システム1000は、任意選択的に、例えばカメラ1206からのライブ映像を見ることなど、人が各ユニットから情報を見るための手段を提供してもよい。例えば、作物14に対して作業を行うべきかどうかを決定するなど、人がこのライブ映像に基づいて決定を行う選択肢があってもよい。
マッピングユニット:
任意選択的に、マッピングユニット1300から受け取った視覚データを使用して、作業ユニット1200からの視覚データを使用する判定の代わりに、またはこの判定の予備段階として、作物に対して作業を行うべきかどうかを判定する。
一代替例においては、システム1000内で別個のマッピングユニット1300を使用せずに、その代わりに、生育環境10内の複数の固定カメラ(または1つ以上の可動PTZカメラ)(例えば、生育環境内の一段高いプラットフォーム上に取り付けられたカメラ)を使用して植物12及び作物14の「俯瞰画像(world-scene view)」を提供し、そこから(方法200内で使用するための)マッピングデータが生成されてもよい。
ここで説明したマッピングユニット1300は、視覚データを収集するカメラ1306を使用するが、(一代替例として、または追加として)任意の適切なセンサ、例えば、赤外線または紫外線検出器、または臭気または接触に基づく(touch based)の検出器を使用することができる。使用されるセンサは、動的に調整されてもよい。例えばユニットは、夜間にカメラから赤外線センサに自動的に切り替わることができる。
任意選択的にマッピングユニット1300は、センサ検出を改善するために、生育環境10内の任意の作物14または品目を移動させるための手段(作動可能なロボットアームまたは他の操作装置など)を備えることができる。例えば、作物の背後の領域を見るために作物を動かすことができる。
任意選択的にマッピングユニット1300は、視覚データまたはセンサから獲得された他のデータを使用して、作物14または植物12の特徴について他のユニットまたはドック1100に知らせる。例えば、マッピングユニットは、植物12のサイズを検出し、特別な収穫が必要であることを識別することができる。例えば、使用される作業ユニット1200は、大きなオペレータ1218または長いリーチを有するオペレータを含んでいる必要があることがある。視覚データはまた、作物の任意の特徴、例えば、存在する作物の種類、作物のいずれかの成熟度または収穫に適している度合い、または潜在的に損傷を受けた作物を分類するために使用されてもよい。過去のデータを使用して作物14の収量に関する予測を行うことができるように、任意の1つ以上の個々の作物14に関する記録を保存することができる。
任意選択的にマッピングユニット1200は、データが中央プロセッサに送信される前に、例えばデータをフィルタリング及び/または圧縮することにより、獲得した視覚データを前処理するように構成される。
任意選択的に、マッピングデータを生成することに加えて、獲得された視覚データを使用して、関心のある領域または物体を示すことができる、または作物に関するさらなる情報を与えることができる、生育環境10の表現を生成することができる。これは、視覚的な表現、数学的表現、または視覚表現と数学的表現とのハイブリッド表現であってよい。
マッピングデータはまた、対象領域20のセクション内の既知の特徴を使用してマップを作成するために使用されてもよい。例えば作物14は、マーカーに対してマッピングされてもよく、対象領域の異なるセクションに対応する複数のマーカーが存在してもよい。作物はまた、マッピングユニット1200に対して相対的に位置が決められてもよい。
作物のマップを概して3次元または2次元マップであるとして説明してきたが、特定の状況では、作物のマップは、例えば、各データポイントが特定の高さで特定の列に沿った作物の位置に関連する1次元マップであってもよい。マッピングユニットは、そのようなマッピングデータを生成するために、ラインスキャナとして適合されたカメラを含むことができる。
視覚データを使用して、作物の特徴に基づいて作物14をマッピングすることができ、その結果、作物の種類、各作物の成熟度または収穫に適している度合い、あるいは特徴の組み合わせに基づいて、別個のマップを作成することができる。したがってルートは、これらの複数の別個のマップに基づいて生成されてもよい。
作業ユニット:
作物14に対して作業を行うべきかどうかの判断は、作物14からの放出物を検出するための化学センサなど、作業ユニット1300上に設けられた種々の任意選択的なセンサからの入力に(少なくとも部分的に)基づいてもよい。検知は受動的であっても能動的であってもよく、例えば、レーザを使用して作物の一部を焼き、化学応答を誘発させてもよい。データは、作物に対して作業を行うべきかどうかを決定するために、(本質的にマルチモーダルであってもよい)訓練された分類器と比較されてもよい。適切なセンサの他の例には、赤外線センサ(または他の電磁光センサ)及び水分センサが含まれる。オペレータ1218はまた、作物に対して作業を行うべきかどうかについて決定することの一部として使用されてもよい。一例では、エンドエフェクタは、作物を把持し、穏やかに圧搾するために使用され、ここでエンドエフェクタは圧力センサを備え、これらは、作物の硬さの指標を取得するために使用されてもよい。また、オペレータは、作物からある距離だけ作物を向きを変えるために必要な力を測定するために使用され、それによって、重量の大まかな指標を与えることができる。センサから受信された信号は、ここに記載された訓練された分類器への入力として使用され、それによって、作物の収穫に適している度合いについての指標を得る。分類器はまた、処理に影響を及ぼすためにさらなる外部入力を受け取ることができ、例えば、気象条件が悪化する可能性がある場合、分類器は、作物をより早期に摘み取ることを可能にするか、またはそうでない場合よりも厳しくない要件に基づいて摘み取ることを可能にするように構成されてもよい。
任意選択的にオペレータ1218は、摘み取り、切断、研削、圧搾、破砕または振盪のための1つ以上のツールを備える(またはそれらのツールを動作可能であるように構成される)。オペレータは、植物12を引き裂くためにねじり力を使用して作物14を収穫することができ、または吸引ポンプを使用して作物14を収穫することができる。複数のオペレータ1218を作業ユニット1200上に含めることができ、各機構は異なるプロセスを実行することができる。例えば、異なる自由度を有する様々な複雑さの機構が含まれてもよく、より複雑なロボット操作装置は、例えば、届きにくい作物14のために、必要な場合にのみ使用されてもよい。
オペレータ1218及び/または作業ユニット1300の他のコンポーネントは、任意選択的に、収穫に関連しない作業、例えば、植物12の刈り込み/剪定、農薬の適用、作物の植え込みまたは再植え込み、作物のメンテナンス、生育環境10の周りの植物の部分または残屑の清掃、または生育環境へのミツバチの放出を実行するために使用されてもよい。オペレータ1218はまた、作物14に関するデータを収集するために使用することができる、力−応力試験などの試験を実行するために使用されてもよい。
作業ユニット1200は、効率を改善するために、葉を取り外す機械(de-leafer)などの別の植物処理装置と組み合わせて動作してもよい。
収穫の際、作物14は、任意選択的に、指定された長さに切断されてもよく、または、切断長さは、収穫時に、そのサイズなどの収穫物14の特徴に応じて、作業ユニット1200によって決定されてもよい。
作業ユニット1200は、任意選択的に、直接または間接に、他のユニットまたはドック1100と通信して、アクションが望ましい関心のある位置を識別してもよい。例えばマッピングユニット1300は、位置または領域の改善されたマップを取得するように要求されてもよい。
任意選択的に作業ユニット1300は、収穫後に作物14を処理するための機構、例えばトラスから作物を取り去るための機構を備え、または破砕機構は、オペレータ1218がオレンジを摘み取った後にオレンジからジュースを抽出することができる。このような処理機構は、オペレータに含まれてもよいし、別個であってもよい。
任意選択的に、作業ユニット1300の貯蔵スペース1220は、冷蔵のために冷されてもよい。任意選択的に貯蔵スペースは、作物14の損失を防ぐために、ドアまたはハッチによって覆われる。
収穫手段1418は、例えばオペレータ1218を使用して、作物14を運搬ユニット1400に積み下ろすことができる。別個の積み下ろし機構を設けることもできる。
運搬ユニット1400に関連して説明した秤量/選別機構1450は、一代替例において、貯蔵スペース1220の代わりに、またはそれに加えて含まれていてもよい。そのような場合、運搬ユニットは、秤量/選別機構の代わりに貯蔵スペースを含んでもよく、または代替的に、運搬ユニットは、システム1000の一部でなくてもよい。
運搬ユニット:
一代替例において、移送機構1418は、ロボットアームではなく、代わりに、作業ユニット1200の貯蔵スペース1220に一体化された対応する機構と協働するように構成される機構の形態をとってもよい。例えば、搬送ユニット及び作業ユニットは、作物を移送ユニットに移送するために傾斜部分と併せて使用される、協働するスライドドアを備えてもよい。あるいは、例えば、運搬ユニット/作業ユニット上のコンベヤベルトを使用して、作業ユニットの貯蔵スペースに位置する容器を運搬ユニット上に移送してもよい。さらなる代替例では、作業ユニットは、単に貯蔵スペースに角度をつけて、作物を運搬ユニット上にあけたり落としたりするように構成されてもよい。さらなる代替の移送機構は、吸引機構、配管、ダクト、スコップ、シュート、コンベヤベルト、強制空気機構、または熱リフト機構を含んでいる。
一代替例において、作業ユニット1200は、所定位置で作物14を積み下ろすように構成され、その場合、運搬ユニット1400は、当該所定位置に運行して作物14をドック1100に運搬する。
一代替例において、運搬ユニット1400は、作物14を(ドック1100以外の)別個の場所に運搬するように構成される。例えば、運搬ユニットは、作物を(ローリーなどの)外部車両に積み込むことができる。運搬ユニットは、もちろん、外部車両からの物品の積み下ろしを補助することもできる。
作物だけでなく、運搬ユニット1400は、任意選択的に、メンテナンスユニット1500によって使用されるコンポーネントを移送するように構成することもできる。運搬ユニットがコンポーネントを移送しているとき、運搬ユニットの動作は、ここで説明したものと同様であるがコンポーネントが作物の代わりに収集されるという違いがあり、運搬ユニットは、作業ユニット1300の代わりにメンテナンスユニットに運行するであろう。さらにコンポーネントは、メンテナンスユニットに配送され、またメンテナンスユニットから収集されてもよい。
秤量/選別機構1450の秤量部1454は、任意選択的に、適切なセンサを使用して、サイズ、形状または色など、作物14の他の態様を分類することもできる。秤量/選別機構1450はまた、任意選択的に、作物14が選別された後に作物14を梱包することができるように、梱包部を含んでもよい。これは、ある重量のバッグに作物を梱包するために、秤量データと組み合わせて使用することができるであろう。秤量/選別機構は、食品を冷蔵または冷凍するための手段を任意選択的に備えてもよい。
メンテナンスユニット;
任意選択的にメンテナンスユニット1500は、それが実行できない修理を識別し、さらなる支援を要求することが可能であってもよい。この点に関してメンテナンスユニット1500は、任意のユニットによって生成されたエラーコード(例えば、ユニットの表示画面上に見えるエラーコード)を識別し、そのコードに基づいて、行うべき一連のアクションを推奨することができる。
任意選択的にメンテナンスユニット1500は、メンテナンスユニットが他のユニットの破損した車輪からのあらゆる抵抗に打ち勝つことができるように、高トルクのモータのような、他のユニットの動きを補助する手段を備え、破損したユニットを邪魔にならない場所にメンテナンスユニットが押し出すことを可能にする。メンテナンスユニットはまた、他のユニットの(ソフトウェアまたはハードウェア)機能を無効にするための手段を備えてもよく、ここでメンテナンスユニットは、任意の他のユニットのブレーキを解放するか、または任意の誤動作ソフトウェアをリセットすることが可能であってもよい。
任意選択的に、メンテナンスユニット1500のデータ格納部は、所望の外観及び性能に関する情報を含み、ここでメンテナンスユニットは、任意の潜在的な問題(例えば、引っ掻き傷)を識別するために、(カメラ1506を使用して)前記情報に対するユニットの視覚的比較を行ってもよい。メンテナンスユニット1500は、動作を実行するユニットを監視し、これを、訓練されたモデルに任意選択的に基づいて、所望の、または閾値、性能と比較することができる。
任意選択的にメンテナンスユニット1500は、ユニットの動きがブロックされるか害される可能性を低減するために、ユニットが横断する領域から破片または障害物を除去するように構成される。この点に関してメンテナンスユニットは、障害物を移動させるために、特に障害物を隙間列18の中心から離すように移動させるために、スコップまたは犂(プラウ)を備えることができる。
メンテナンスユニット1500は、生育環境10のコンポーネント(例えば、安全バリア)を試験して、それらが損傷を受けていないかまたはそうでなければ害されていないことを保証することができる。メンテナンスユニットはまた、コンポーネントを試験するためのセンサ、特に、損傷、漏れ、及び/または不均一な温度について、生育環境の「パイプレール」を試験するためのセンサを備えることができる。
作物14は、任意選択的に、メンテナンスユニット1500によって監視されたり試験されたりすることができ、ここでメンテナンスユニットは、作物14が損傷の危険性にないこと、及び作物14の外観が予想される外観と同様であることを保証することができる。
ドック:
ドック1100は、概して、ユニットを受容するための部分を有する「壁(wall)」として説明されているが、代わりに、様々な他の物理的形態を有してもよい。例えば、ドックは、空間を節約することを支援できる、ユニットを受け入れ、格納するためのカルーセル(円形ラック)構成を含むことができる。あるいはドックは、ユニットを動かすためのコンベヤベルトまたは他の機構を含むことができ、ここでユニットは、ドックへの単一の点または入口で受け入れられ、次いで、ドック内またはドック上の適切な位置に動かされる。
任意選択的にドック1100は、作物14をドック内に移送すること、及び他の微細な操作動作を支援するために、1つ以上のロボットアームまたは他の操作装置をさらに備えることができる。任意選択的にドックは、ドックの近傍のユニットを監視するカメラをさらに備える。カメラの使用は、ロボットアームの動作を支援するためにコンピュータビジョン技術が使用されることを可能にすることができる。
ドック1100は、任意選択的に、環境監視機器、または選別及び梱包機器を備えることができる。ドック1100は、移動式でなくてもよく、そのため、ユニットに代えてドック1100に大型または重量のある監視及び梱包機器を接続することが望ましい場合がある。任意選択的にドックは、バッテリーまたは(作物またはメンテナンスに使用するための部品などの)他の品目のための積み込み及び/または積み下ろし設備をさらに備える。
ドック接続部1122に加えて、流体、コンポーネント、または作物18などの物理的品目をユニットとドック1100との間で移送するために、パイプまたはチューブで形成された別個の接続部が、任意選択的に、ユニット及びドックの各々に設けられてもよい。一代替例では、電源接続部が、ユニットとドックの各々のドック接続部とは別個に設けられる。
一代替例では、システム1000は、複数のドック1100、または複数の接続点を有する単一のドック(または複数の接続点を有する複数のドック)を備えることができ、ユニットは、生育環境10内のいくつかの場所でドックに接続可能であることができる。ドックは、異なる動作を実行することができる別個のドックに分離することができ、例えば、1つのドックは充電を提供することができ、別のドックがデータ伝送を提供することができる。
ドック1100は、様々な高さ/位置で複数のタイプの接続を提供するように構成可能であってもよい。これにより、ドックがさまざまなユニットと接続できるようになり、新しいユニットが生産された場合に、後方互換性及び前方互換性を保証してもよい。
ドック1100は、例えば、ユーザ装置へのプッシュ通知の形態で、ソフトウェアまたはハードウェア更新、ユニットに関する情報、生育環境10に関する情報、ユニット及び生育環境10に関する制御システムを提供することができる。ドックは、送信を高速化し、データサイズを縮小するために、データを圧縮する手段をさらに備えてもよい。データは、ドックによって暗号化されてもよい。
ドックによって実行されるものとしてここで説明された任意の動作は、中央システム上で実行されてもよく、その逆も同様であり、この場合、これは、必要とされる処理能力に依存してもよい。より強力なドックは、中央システムを必要とせずに、より多くの機能を実行することができる。
生育環境:
本発明のシステム及び方法が、概して温室である生育環境に関連して説明されてきたが、システム及び方法は、様々な建物、部屋、(例えば、屋内農場の一部を形成する)構造物、または露地(open field)などの他の生育環境にも適用され得ることが理解されるであろう。自律ユニットは、生育環境に依存して適応されてもよい。例えば、ユニットが露地で動作させられる場合には、より大きな車輪が使用されてもよい。
温室10について言及した場合、概してこれは「パイプレール」システムを有する温室であった。ここに記載されたシステム及び方法は、フレームに取り付けられた、及び/または列に配置された作物14を含むか否かにかかわらず、任意の種類の温室に等しく適用されてもよいことが理解されるであろう。
生育環境10は、任意選択的に、バーコード(ArUcoマーカなど)、他の視覚的参照材料、またはガイドワイヤなど、いくつかの可能な運行支援物を備えることができる。そのような運行支援物(特にガイドワイヤ)は、ユニットによって任意選択的に展開されてもよい。さらなる例では、ユニットはまた、その上で作物が栽培される(そうでなければ生育環境の他のコンポーネントを配置または移動させる)レールを敷設することが可能であってもよい。
障害物は、例えば障害物を着色することなどによって、任意選択的に、ユニットに対して視覚的により明瞭なものとすることができる。代替的にまたは追加的に、一定の障害物は、ユニットが検出することができる非視覚的な信号を発するように構成されてもよい。関心のある位置にユニットがタグ付けすることができるように、タグが任意選択的に任意に提供されてもよく、これらのタグは、視覚的であってもよく、または信号を発してもよい。植物及び/または作物14と対照的な背景が提供されてもよく、これは作物の検出の精度を改善することができる。
生育環境10は、任意選択的に、無線アクセスポイントなどの追加の通信手段を備えてもよい。ドック1100に戻ることなくユニットを充電することを可能にするために、追加の充電ポイントが含まれてもよい。安全機能が生育環境に含まれてもよく、例えば、隙間列への人の進入を検出するためにセンサが設けられてもよく、その場合、信号が中央プロセッサに送信されてもよく、すべてのユニットの動作が一時停止されてもよい。安全バリアを設けることもできる。
生育環境10は、作物14が受ける光の量を最適化するための機構を任意選択的に備えることができる。例えば、反射器を使用して、作物14から離れるように、または作物14に向かうように光の向きを変えることができる。
生育環境10は、ユニットが表面に接触しているときに制御システムに警告するために使用することができる力センサのような、ユニットの性能を改善するための統合センサを任意選択的に備えてもよい。作物の収量またはユニットの性能を最適化するために、照明または加熱のような。制御可能なシステムを設けることができる。生育環境は、システム1000の動作を監視する(または生育環境を一般的に監視する)ことを支援するために、カメラなどのセンサをさらに備えてもよい。
生育環境10はまた、例えば葉の堆積による隙間列18の障害物を低減するために、送風機を備えてもよい。シュート及び/またはコンベヤベルトが、生育環境10から葉のような物体を除去するために設けられてもよく、これらは、任意選択的に、送風機と組み合わせて使用される。シュート及び/またはコンベヤベルトは、(生育環境からの作物12などの)他の物品を除去するために使用することもできる。ここで任意選択的に、別個のシュート及び/またはコンベヤベルトが、異なる種類の物品のために設けられる。
作物14の成長を改善するために、人工のつるのような人工システムが設けられてもよい。作物14を移植するためのシステムが設けられてもよい。
任意選択的に隙間列18のサイズは調整可能であってよく、その結果、より大きなロボットがこれらの列に適合することができる。一つの例示の実装では、フレームの列16は、隙間列18を圧縮または拡大するように移動可能であってもよい。これはまた、より多くの作物が同じ面積で生育されることを可能にすることができる。任意選択的にフレームの列16は、ワイヤによって支持され、(特に生育環境が温室である場合に)生育環境の天井から吊される。これによって、(例えば、列を層状にするために)列の垂直位置を変化させることができ、生育環境全体にわたって作物の加熱及び照明を最適化することができる。次いで、列の位置は、植物及び/または作物の成長に応じて動的に調整されてもよい。
生育環境10は、スパイラルまたは円形列などの非直線列を使用することができる。作物を収穫する人間に比べてユニットが動作するときに狭い面積しか必要としないことができるので、従来の温室よりも、列16を相互に接近して配置することができる。
一代替例において生育環境10は、例えば、異なる作物または異なる生育条件のために、調整可能であるように構成されてもよい。例えば、作物の列16を上げたり下げたりしてもよく、土壌の種類を変えてもよく、植物の種類を変えてもよい。同様に、ユニットの動作の態様は、ユニットが移動する任意のレールの位置のように、変更されることができる。
任意選択的に、生育環境10は、(特に、成長環境が温室である場合に)ロボットユニットによって構成され、ロボットユニットは、任意選択的に、ここで記載されたユニットである。ここで生育環境は、自律的に構築され得るように設計されてもよい。この実装では、温室は「ポップアップ(pop-up)」温室として説明することができる。
概して、本発明は、複数列の作物からなる温室(特に、パイプレールシステムを有する温室)での使用のために主として構成され、植物が、列において一緒に栽培されることが理解されるであろう。したがって、植物間に特別な間隙はなく、したがって、さらなる植物に移動する前に、特定の植物上のすべての作物を摘み取る必要はない。したがって、作物は、植物単位ではなく、列単位で採取することができる。エンドエフェクタの移動速度は、一般に、上向き/下向きの方向よりも列の方向で大きい(なぜなら、作業ユニット全体が列の上下に迅速に移動することができるからである)ので、エンドエフェクタの異なる移動速度に基づいて、特定の列を収穫するための効率的なルートを生成することができる。例えば、ルートは、多くの作物を摘み取るために、または概して特定の高さの周りで、列にわたって水平に「走査(scanning)」し、エンドエフェクタの高さを増加させ、次いで、異なる高さで再び「走査」する戦略を含んでもよい。
温室におけるシステムの適用はまた、作物がより広く分布してもよい例えば複数の樹木上で栽培される作物に比べ、システムのコンピュータビジョン及びエンドエフェクタの位置決めの側面における負荷を低減することができる。これにより、システムを使用する際の処理時間を短縮することができる。
また、運搬ユニット、メンテナンスユニット、及びユニットのためのドックの使用は、生育環境において作物を収穫するための完全な(自己完結型)システムを提供することが理解されるであろう。人間である操作者が(必要な比較的最小限の程度で)ユニットと相互作用(やりとり)ことができる単一の場所をドックが提供することができるので、ドックの利用者は、効率を向上させることができる。少なくとも任意のユニットが動作している間に人間である操作者が生育環境に入る必要をなくすことができ、これは、生育環境の安全性を改善することができる。
さらに、生育環境全体に関して別個の「マッピング」及び「ルーティング」プロセス(両方とも「収穫」プロセスとは別個であって分離されている)の使用は、生育環境内の実質的にすべての作物をルート計画に使用することを可能にすることにより、システムの効率を改善することができることが理解されよう。
本発明は、純粋に例として上述されており、本発明の範囲内で詳細の変更をなすことができることが理解されるであろう。
本明細書、及び(適切な場合に)特許請求の範囲及び図面に開示される特徴の各々は、独立して、または任意の適切な組み合わせで提供されてもよい。
特許請求の範囲に記載されている参照番号は、説明のためのみのものであり、特許請求の範囲による範囲を限定する効果を有さないものとする。

Claims (162)

  1. 対象領域内の作物に対する作業の方法であって、
    1つ以上のセンサを使用して対象領域内の作物に関連するデータを獲得することと、
    獲得されたセンサデータを使用して前記対象領域内の前記作物の位置をマッピングすることと、
    前記マッピングされた位置に基づいて、前記対象領域内の前記作物のうちの少なくともいくつかの間の1つ以上のルートを生成することと、
    前記1つ以上のルートに沿って1つ以上の作業ユニットの経路設定を行い、それによって前記作物のうちの少なくとも1つに対して作業することと、
    を有する、方法。
  2. 前記対象領域内の作物に関連するデータを獲得することは、前記対象領域を通るかまたはその周りで1つ以上のマッピングユニットの経路設定を行うことを含み、前記1つ以上のマッピングユニットは、前記1つ以上のセンサを備える、請求項1に記載の方法。
  3. 前記1つ以上のマッピングユニットから位置表示を受信することをさらに含み、前記対象領域内の前記作物の位置をマッピングすることは、前記1つ以上のマッピングユニットに関連して作物の位置を特定することを含む、請求項2に記載の方法。
  4. 前記対象領域内の前記作物の位置をマッピングすることは、前記1つ以上のマッピングユニットの特定の時点における位置に関連して前記作物の位置を特定することを含む、請求項3に記載の方法。
  5. 前記対象領域を通るかまたはその周りで前記1つ以上のマッピングユニットの経路設定をいつ行うかを決定することをさらに含む、請求項2乃至4のいずれか1項に記載の方法。
  6. 前記決定することは、スケジュール、作物のマッピングされた位置及び/または生成されたルートについての検出された問題点、及び、前記生育環境に関連した観察されたかまたは予想される事象、のうちの1つ以上に依存する、請求項5に記載の方法。
  7. 前記対象領域内の前記作物の位置をマッピングすることは、獲得されたデータに対する所定の品質要件に基づいて、前記1つ以上のマッピングユニットの移動速度を選択することを含む、請求項2乃至6のいずれか1項に記載の方法。
  8. 前記対象領域を通るかまたはその周りで前記1つ以上のマッピングユニットの経路設定を行うことは、前記1つ以上のマッピングユニットの前記1つ以上のセンサを使用して、前記対象領域を通るかその周りでナビゲートすることを含み、任意選択的に前記対象領域の所定のマップに基づいてナビゲートすることを含む、請求項2乃至7のいずれか1項に記載の方法。
  9. 前記対象領域を通るかまたはその周りで前記1つ以上のマッピングユニットの経路設定を行うことは、前記1つ以上のマッピングユニットの前記1つ以上のセンサを使用して、前記対象領域を通るかまたはその周りの所定の経路をたどることを含む、請求項2乃至8のいずれか1項に記載の方法。
  10. 前記1つ以上のマッピングユニットは、前記1つ以上の作業ユニットである、請求項2乃至9のいずれか1項に記載の方法。
  11. 前記1つ以上のマッピングユニットは、前記1つ以上の作業ユニットとは異なる、請求項2乃至9のいずれか1項に記載の方法。
  12. 前記1つ以上のマッピングユニットは、前記1つ以上の作業ユニットとして使用するように構成可能であり、逆もまた同様である、請求項2乃至11のいずれか1項に記載の方法。
  13. 前記対象領域内の前記作物の位置をマッピングすることは、前記対象領域の既知の計画に関連して前記作物の位置を特定することをさらに含む、請求項1乃至12のいずれか1項に記載の方法。
  14. 前記対象領域の前記計画を受領することをさらに含む、請求項13に記載の方法。
  15. 前記対象領域内の前記作物の位置をマッピングすることは、獲得されたデータ内の作物を識別することを含む、請求項1乃至14のいずれか1項に記載の方法。
  16. 前記対象領域内の前記作物の位置をマッピングすることは、訓練されたモデルを使用して前記獲得されたデータ内の作物を識別することを含む、請求項15に記載の方法。
  17. 前記訓練されたモデルのためのフィードバックとして、前記対象領域内の前記作物の以前にマッピングされた位置を使用することをさらに含む、請求項16に記載の方法。
  18. 前記作物の位置をマッピングすることは、位置を特定された前記作物のマップを生成することを含む、請求項1乃至17のいずれか1項に記載の方法。
  19. 前記作物の位置をマッピングすることは、位置を特定された前記作物の三次元マップを生成することと、任意選択的に前記三次元マップを点群として格納することとを含む、請求項18に記載の方法。
  20. 前記1つ以上の作業ユニットを使用して、前記対象領域の少なくとも一部において前記作物に対して作業することの実際的な困難性に関連する対応策を取得することと、前記生成されたマップに前記対応策を組み込むことと、を有する、請求項18または19に記載の方法。
  21. 以前に生成されたマップ及び期待生育率に基づいて、前記対象領域内の前記作物のマッピングされた位置を更新することをさらに含む、請求項18乃至20のいずれか1項に記載の方法。
  22. 前記更新することは、さらに、前記生育環境において測定された条件に基づいている、請求項21に記載の方法。
  23. 以前に生成されたマップを前記生成されたマップに組み込むことをさらに含む、請求項18乃至22のいずれか1項に記載の方法。
  24. 前記対象領域内の前記作物の位置をマッピングすることは、過去のマッピングされた位置を用いて、前記マッピングユニットによって獲得されたデータにおいて作物を識別することを支援することを含む、請求項1乃至23のいずれか1項に記載の方法。
  25. 獲得されたデータを使用して、前記作物を分類することをさらに含む、請求項1乃至24のいずれか1項に記載の方法。
  26. 作物の異なる分類に関する複数のマップを生成することをさらに含む、請求項25に記載の方法。
  27. 前記1つ以上のセンサは、1つ以上のカメラを含み、取得されたデータは、視覚データである、請求項1乃至26のいずれか1項に記載の方法。
  28. 前記1つ以上のカメラは、距離画像化に適したカメラを含む、請求項27に記載の方法。
  29. 前記1つ以上のルートは、前記対象領域内の前記作物のうちの少なくともいくつかの間の効率的なルートである、請求項1乃至28のいずれか1項に記載の方法。
  30. 各作業ユニットは、移動可能なカートと、前記作物に対して作業するために前記カートに取り付けられた1つ以上の作物操作装置とを備える、請求項1乃至29のいずれか1項に記載の方法。
  31. 前記1つ以上のルートに沿って1つ以上の作業ユニットの経路設定を行うことは、前記カートの動きを指示することと、前記1つ以上の作物操作装置の動きを指示することとを含む、請求項30に記載の方法。
  32. 前記1つ以上のルートを生成することは、前記1つ以上の作業ユニットの既知のパラメータにさらに基づいている、請求項30または31に記載の方法。
  33. 前記既知のパラメータは、前記1つ以上の作業ユニットが1つ以上の特定のアクションを実行するための、1つ以上の典型的な速度及び/または時間を含む、請求項32に記載の方法。
  34. 前記1つ以上の特定のアクションは、前記カートの動きと、前記1つ以上の作物操作装置の動きとのうちの1つ以上を含む、請求項33に記載の方法。
  35. 前記作物操作装置はロボットアームを含む、請求項30乃至34のいずれかに1項に記載の方法。
  36. 前記1つ以上のルートを生成することは、前記対象領域内の前記作物の少なくともいくつかが収穫されるべき順番を決定することを含む、請求項1乃至35のいずれか1項に記載の方法。
  37. 前記1つ以上のルートを生成することは、訓練されたモデルを使用することを含む、請求項1乃至36のいずれか1項に記載の方法。
  38. ルートを生成することは、可視グラフ、ランダム探索アルゴリズム、確率的ロードマップ、最適検索アルゴリズム、例による追随、及びバイオインスパイアードアルゴリズムのうちの1つ以上を使用することを含む、請求項1乃至37のいずれか1項に記載の方法。
  39. 前記1つ以上のルートを前記1つ以上の作業ユニットに割り当てることをさらに含む、請求項1乃至38のいずれか1項に記載の方法。
  40. 前記1つ以上のルート及び/または前記1つ以上の作業ユニットに関して検出された問題に基づいて、前記1つ以上のルートを再生成及び/または再割り当てすることをさらに含む、請求項39に記載の方法。
  41. 前記1つ以上のルートを生成することは、1つ以上の所定の性能指標値に依存する、請求項1乃至40のいずれかに1項に記載の方法。
  42. 前記作物のうちの少なくとも1つに対して作業することは、前記作物のうちの少なくとも1つを収穫することを含む、請求項1乃至41のいずれか1項に記載の方法。
  43. 特定の作業ユニットのための前記1つ以上のルート上の各作物の位置において、前記作業ユニットの採取ツールを前記作物に向けることと、前記作物を収穫することとをさらに含む、請求項42に記載の方法。
  44. 前記作物を収穫することは、植物の作物支持部分を植物の残りの部分から分離することと、前記作物を植物から分離することとのうちの一方を含む、請求項42または43に記載の方法。
  45. 前記1つ以上の作業ユニットを使用して、前記1つ以上のルート上の特定の作物が収穫できる状態になっているかどうかを決定することをさらに含み、前記特定の作物は、前記決定の結果に基づいて収穫される、請求項42乃至44のいずれか1項に記載の方法。
  46. 前記特定の作物が収穫できる状態になっているかどうかを決定することは、センサを使用して前記特定の作物に関連するデータを収集することを含む、請求項45に記載の方法。
  47. 前記対象領域内の作物に関連する獲得されたデータを使用して、前記対象領域内の特定の作物が収穫できる状態になっているかどうかを決定することをさらに含み、前記特定の作物は、前記決定の結果に基づいて収穫される、請求項42乃至46のいずれか1項に記載の方法。
  48. 前記特定の作物が収穫できる状態になっているかどうかを決定することは、収集されたデータを、作物の収穫に適している度合いに関連した所定の分類器と比較することをさらに含む、請求項45乃至47のいずれか1項に記載の方法。
  49. 前記1つ以上の作業ユニットは、前記1つ以上のルート上で前記作物のすべてを収穫するように構成されている、請求項42乃至44のいずれか1項に記載の方法。
  50. 前記1つ以上の作業ユニットは、前記対象領域内のすべての作物を収穫するように構成されている、請求項42乃至44のいずれか1項に記載の方法。
  51. 前記1つ以上の作業ユニットの1つ以上のセンサを使用して、作物に関連するデータを収集することと、前記センサを介して収集されたデータに応じて前記作物を分類することと、をさらに含む、請求項1乃至50のいずれか1項に記載の方法。
  52. 収穫された作物を前記1つ以上の作業ユニット上に保管することをさらに含む、請求項1乃至51のいずれか1項に記載の方法。
  53. 収穫された作物を収穫された作物の収集のための場所に運搬することをさらに含む、請求項1乃至52のいずれか1項に記載の方法。
  54. 収穫された作物を収穫された作物の収集のための場所に運搬することは、1つ以上の運搬ユニットを前記1つ以上の作業ユニットに向かわせることと、収穫された作物を前記1つ以上の運搬ユニットに移すことと、前記1つ以上の運搬ユニットを前記収穫された作物の収集のための場所に向かわせることとを含む、請求項53に記載の方法。
  55. 前記1つ以上の運搬ユニットの使用をスケジューリングすることをさらに含む、請求項54に記載の方法。
  56. 収穫された作物を秤量及び/または選別することをさらに含む、請求項1乃至55のいずれか1項に記載の方法。
  57. 収穫された作物を、重量、及び/または収穫に適している度合いに応じて分類することを含む、請求項1乃至56のいずれか1項に記載の方法。
  58. 作物に対して作業することが、刈り込み、剪定、農薬の適用、植え込み、植え替え、メンテナンス、残屑の除去、及びミツバチの放出のうちの1つ以上を含む、請求項1乃至57のいずれか1項に記載の方法。
  59. 前記1つ以上の作業ユニットから送信されたステータスを受信することをさらに含み、前記送信されたステータスは、位置、負荷状態、バッテリー状態、及びエラーまたは障害のうちの1つ以上に関係する、請求項1乃至58のいずれか1項に記載の方法。
  60. 前記送信されたステータスに応答して、前記1つ以上の作業ユニットの再経路設定を行うこと、前記1つ以上の運搬ユニットを前記1つ以上の作業ユニットに向かわせること、前記1つ以上の作業ユニットを充電場所に向かわせること、1つ以上のメンテナンスユニットを前記1つ以上の作業ユニットに向かわせること、のうちの1つ以上のアクションを実行することをさらに含む、請求項59に記載の方法。
  61. 前記1つ以上のルートに沿って1つ以上の作業ユニットの経路設定を行い、それによって、所定の閾値を超えるまで、前記1つ以上のルート上の1つ以上の作物に対して連続的に作業することを含み、前記閾値は、貯蔵容量、バッテリー充電量、メンテナンス状態、及びルート内の位置のうちの1つ以上に関連する、請求項1乃至60のいずれか1項に記載の方法。
  62. 訓練されたモデルを任意選択的に使用して、前記1つ以上の作業ユニットの使用をスケジューリングすることをさらに含む、請求項1乃至61のいずれか1項に記載の方法。
  63. 前記スケジューリングすることは外部入力に依存し、任意選択的に前記外部入力は、作物に対する需要の指標である、請求項61に記載の方法。
  64. 前記作物が生育環境で収穫され、任意選択的に前記生育環境がパイプレール加熱システムを有する温室である、請求項1乃至63のいずれか1項に記載の方法。
  65. 前記対象領域は、前記生育環境の全体である、請求項64に記載の方法。
  66. 前記対象領域における他の関心対象の位置をマッピングすることをさらに含み、前記他の関心対象は、障害物、及び作物を有する植物の部分のうちの1つ以上である、請求項1乃至65のいずれか1項に記載の方法。
  67. 生育環境において作物に対して作業するための作業ユニットであって、
    動力付きのカートと、
    前記カートに取り付けられた1つ以上のロボットアームであって、各アームが、作物に対して作業する際に使用するためのエンドエフェクタを有する1つ以上のロボットアームと、
    前記カートの動き及び前記1つ以上のロボットアームの動きを制御するためのプロセッサと、
    を備え、
    前記1つ以上のロボットアームは、6未満の自由度で前記エンドエフェクタを位置決めするように構成されている、作業ユニット。
  68. 前記1つ以上のロボットアームは、各々、3つの動き軸を有する、請求項67に記載の作業ユニット。
  69. 前記1つ以上のロボットアームは、円筒座標のロボットアームを含む、請求項68に記載の作業ユニット。
  70. 前記1つ以上のロボットアームは、デカルト座標のロボットアームを含む、請求項68または69に記載の作業ユニット。
  71. 周囲の物体に関するデータを受信するための1つ以上のセンサをさらに備え、前記データは、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項67乃至70のいずれか1項に記載の作業ユニット。
  72. 前記1つ以上のセンサがカメラを含み、前記プロセッサが、コンピュータビジョンを使用して、前記カートを前記生育環境を通ってナビゲートするように構成されている、請求項71に記載の作業ユニット。
  73. 前記作業ユニットは、前記データを獲得しながら前記生育環境内の対象領域を通って、またはその周りを移動し、それによって、前記対象領域をマッピングするように構成されている、請求項71または72に記載の作業ユニット。
  74. 前記データは、前記1つ以上のロボットアームの精密位置決めのために前記プロセッサによって使用される、請求項71乃至73のいずれか1項に記載の作業ユニット。
  75. 任意選択的に作物の収穫に適している度合いに関連した所定の分類器との比較に基づいて、前記データは、前記プロセッサ及び/または外部プロセッサによって、前記対象領域内の特定の作物が収穫できる状態になっているかどうかを判定するために使用される、請求項71乃至74のいずれか1項に記載の作業ユニット。
  76. 前記1つ以上のセンサのうちの少なくとも1つが、前記1つ以上のロボットアームに取り付けられている、請求項71乃至75のいずれか1項に記載の作業ユニット。
  77. 1つ以上のオドメータを備え、前記オドメータから受信したデータは、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項67乃至76のいずれか1項に記載の作業ユニット。
  78. 前記プロセッサと通信するデータ格納部をさらに備える、請求項67乃至77のいずれか1項に記載の作業ユニット。
  79. 前記データ格納部が、前記作業ユニットの周囲のモデルを含み、任意選択的に前記モデルは対象領域内の作物のマップを含み、前記プロセッサは、前記モデルを使用して、前記カート及び/または前記1つ以上のロボットアームの動きを制御することができる、請求項78に記載の作業ユニット。
  80. 前記データ格納部は、前記作業ユニットのための指示を含み、前記指示は、前記カート及び/または前記1つ以上のロボットアームの動きのための1つ以上のルートと、1つ以上の作物のための作業指示とを含む、請求項78または79に記載の作業ユニット。
  81. 前記1つ以上のロボットアームとともに使用するために、概して交換可能な複数のエンドエフェクタを備える、請求項67乃至80のいずれか1項に記載の作業ユニット。
  82. 1つ以上の作物に対して可能な作業が、1つ以上の作物の収穫、刈り込み、剪定、農薬の適用、植え込み、植え替え、メンテナンス、残屑の除去、及びミツバチの放出のうちの1つ以上を含む、請求項67乃至81のいずれか1項に記載の作業ユニット。
  83. 収穫することが、摘み取り、切断、すりつぶし、搾り出し、押しつぶし、及び振り落としのうちの1つ以上を含む、請求項82に記載の操作ユニット。
  84. 収穫された作物を貯蔵するための手段をさらに含み、好ましくは、前記収穫された作物を貯蔵するための手段は冷蔵され、任意選択的に前記貯蔵するための手段は、前記作物を秤量し選別するための手段を含む、請求項67乃至83のいずれか1項に記載の作業ユニット。
  85. 作物を積み降ろすことを可能にするために、さらなるユニットまたは貯蔵機構と協働するための手段をさらに備える、請求項67乃至84のいずれか1項に記載の作業ユニット。
  86. 前記プロセッサと通信する通信手段をさらに備え、作物に対する作業に関するデータを外部サーバに送信し、前記外部サーバからデータを受信するように構成されている、請求項67乃至85のいずれか1項に記載の作業ユニット。
  87. 前記作業ユニットは、所定のスケジュールにしたがって動作するように構成されている、請求項67乃至86のいずれか1項に記載の作業ユニット。
  88. GPS受信機を備え、任意選択的に位置表示を送信するように構成されている、請求項67乃至87のいずれか1項に記載の作業ユニット。
  89. 1つ以上の光源をさらに備える、請求項67乃至88のいずれか1項に記載の作業ユニット。
  90. 前記作業ユニットに電力を供給するためのバッテリーをさらに備える、請求項67乃至89のいずれか1項に記載の作業ユニット。
  91. 生育環境内の対象領域における作物に関連するデータを獲得するためのマッピングユニットであって、
    動力付きのカートと、
    前記カートの動きを制御するためのプロセッサと、
    前記カートに取り付けられた1つ以上のセンサと、
    を備え、
    前記1つ以上のセンサを使用してデータを獲得しながら、前記生育環境内の対象領域を通ってまたはその周りを移動し、それによって前記対象領域内の作物に関連するデータを獲得するように構成されている、マッピングユニット。
  92. 前記1つ以上のセンサは、前記カートの2つ以上の側から視覚データを獲得できるように構成されている、請求項91に記載のマッピングユニット。
  93. 前記1つ以上のセンサが移動可能である、請求項91または92に記載のマッピングユニット。
  94. 前記1つ以上のセンサは、前記カート上の可動プラットフォーム上に取り付けられている、請求項91乃至93のいずれか1項に記載のマッピングユニット。
  95. 複数のセンサを含む、請求項91乃至94のいずれか1項に記載のマッピングユニット。
  96. 前記1つ以上のセンサは、カメラを含み、任意選択的に距離画像化に適したカメラを含む、請求項91乃至95のいずれか1項に記載のマッピングユニット。
  97. 獲得されたデータは、任意選択的にコンピュータビジョンを使用して、前記プロセッサによって、前記カートを前記生育環境を通ってナビゲートするためにさらに使用される、請求項91乃至96のいずれか1項に記載のマッピングユニット。
  98. 1つ以上のオドメータを含み、前記オドメータから受信されたデータが、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項91乃至97のいずれか1項に記載のマッピングユニット。
  99. 前記マッピングユニットは、所定のスケジュールにしたがって動作するように構成されている、請求項91乃至98のいずれか1項に記載のマッピングユニット。
  100. 前記マッピングユニットに電力を供給するためのバッテリーをさらに備える、請求項91乃至99のいずれか1項に記載のマッピングユニット。
  101. 1つ以上の光源をさらに備える、請求項91乃至100のいずれか1項に記載のマッピングユニット。
  102. 前記プロセッサと通信する通信手段をさらに備え、前記作業ユニットは、獲得されたデータをサーバに送信するように構成されている、請求項91乃至101のいずれか1項に記載のマッピングユニット。
  103. GPS受信機をさらに備え、任意選択的に前記作業ユニットは位置表示をサーバに送信するように構成されている、請求項91乃至102のいずれか1項に記載のマッピングユニット。
  104. 対象領域内の作物の位置をマッピングするためのシステムであって、
    請求項102または103に記載の1つ以上のマッピングユニットと、
    サーバと、
    を備え、
    前記サーバは、前記1つ以上のマッピングユニットによって獲得された視覚データにおける作物を識別し、前記対象領域の既知の計画及び/または前記1つ以上のマッピングユニット位置に関連して、前記識別された作物の位置を特定し、それによって前記対象領域における作物の前記位置をマッピングするように構成されている、システム。
  105. 生育環境において、収穫された作物を運搬するための運搬ユニットであって、
    動力付きのカートと、
    前記カートの動きを制御するためのプロセッサと、
    作物を運搬するための1つ以上のコンテナと、
    を備え、
    概して可変の第1の場所と概して固定された第2の場所との間を往復し、それによって、収穫された作物を前記第1の場所から第2の場所に運搬するように構成されている、運搬ユニット。
  106. 前記概して可変の第1の場所は、作業ユニットの位置であり、任意選択的に請求項67乃至90のいずれか1項に記載の作業ユニットの位置である、請求項105に記載の運搬ユニット。
  107. 前記作業ユニットから前記運搬ユニットへの作物の移送を補助するために、前記作業ユニットと協働するための手段をさらに備える、請求項106に記載の運搬ユニット。
  108. 任意選択的にサーバを介して、前記作業ユニットから位置表示を受信するための無線通信手段をさらに備える、請求項105乃至107のいずれか1項に記載の運搬ユニット。
  109. 前記概して固定された第2の場所は、ドックであり、任意選択的にサーバを備える、請求項105乃至108のいずれか1項に記載の運搬ユニット。
  110. データ格納部と、外部コンピューティング装置が前記データ格納部と通信することを可能にする物理インターフェースと、をさらに備え、前記第1の場所と前記第2の場所との間でデータを転送するように構成されている、請求項105乃至109のいずれか1項に記載の運搬ユニット。
  111. 周囲の物体に関連するデータを獲得するための1つ以上のセンサをさらに備え、獲得されたデータは、任意選択的にコンピュータビジョンを使用して、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項105乃至110のいずれか1項に記載の運搬ユニット。
  112. 1つ以上のオドメータをさらに備え、前記オドメータから受信したデータは、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項105乃至111のいずれか1項に記載の運搬ユニット
  113. 前記作物を秤量し、選別するための手段をさらに含む、請求項105乃至112のいずれか1項に記載の運搬ユニット。
  114. 任意選択的に収穫に適している度合いを検査するための、収穫された作物を検査するための手段をさらに備える、請求項105乃至113のいずれか1項に記載の運搬ユニット。
  115. 所定のスケジュールにしたがって動作するように構成されている、請求項105乃至114のいずれか1項に記載の運搬ユニット。
  116. GPS受信機をさらに備え、任意選択的に位置表示をサーバに送信するように構成されている、請求項105乃至115のいずれか1項に記載の運搬ユニット。
  117. 1つ以上の光源をさらに備える、請求項105乃至116のいずれか1項に記載の運搬ユニット。
  118. 前記運搬ユニットに電力を供給するためのバッテリーをさらに備える、請求項105乃至117のいずれか1項に記載の運搬ユニット。
  119. 生育環境において作物に対して作業するための1つ以上の自律ユニットとともに使用するためのメンテナンスユニットであって、
    動力付きのカートと、
    前記カートに取り付けられた1つ以上のロボットアームであって、各アームが、前記1つ以上の自律ユニットに対する作業に使用するためのエンドエフェクタを有する1つ以上のロボットアームと、
    前記カートの動き及び前記1つ以上のロボットアームの動きを制御するためのプロセッサと、
    を備え、
    前記1つ以上の自律ユニットに対するメンテナンス作業を実行するように構成されている、メンテナンスユニット。
  120. 前記メンテナンス作業は、パネルのねじの取り外し/再ねじ締め、コンポーネントの交換、バッテリーの充電、再配線、タイヤ/車輪の交換、パンクの修理、清掃(例えばカメラの清掃)、及び妨害物の除去のうちの1つ以上を含む、請求項119に記載のメンテナンスユニット。
  121. 周囲の物体に関連するデータを獲得するための1つ以上のセンサをさらに備え、獲得されたデータは、任意選択的にコンピュータビジョンを使用して、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項119または120に記載のメンテナンスユニット。
  122. 獲得されたデータは、訓練されたモデルを任意選択的に使用して、メンテナンスを必要とするユニットを識別するために前記プロセッサによってさらに使用される、請求項121に記載のメンテナンスユニット。
  123. 1つ以上のオドメータを備え、前記オドメータから受信されたデータが、前記カートを前記生育環境を通ってナビゲートするために前記プロセッサによって使用される、請求項119乃至122のいずれか1項に記載のメンテナンスユニット。
  124. GPS受信機をさらに備え、任意選択的に位置表示をサーバに送信するように構成されている、請求項119乃至123のいずれか1項に記載のメンテナンスユニット。
  125. 1つ以上の光源をさらに備える、請求項119乃至124のいずれか1項に記載のメンテナンスユニット。
  126. 前記メンテナンスユニットは、それ自体をメンテナンスすることができる、請求項119乃至125のいずれか1項に記載のメンテナンスユニット。
  127. 1つ以上の自律ユニットのドックであって、前記1つ以上の自律ユニットは、請求項67乃至90のいずれか1項に記載の作業ユニットと、請求項91乃至103のいずれか1項に記載のマッピングユニットと、請求項105乃至118のいずれか1項に記載の運搬ユニットと、請求項119乃至126のいずれか1項に記載のメンテナンスユニットとのうちの1つ以上を含む、ドック。
  128. 前記ドックは、使用されていないときに前記自律ユニットを格納するように構成されている、請求項127に記載のドック。
  129. 前記ドックは、収穫された作物を前記1つ以上の自律ユニットから受け取るように構成されている、請求項127または128に記載のドック。
  130. 前記ドックは、前記1つ以上の自律ユニットにパワーを供給するように構成されている、請求項127乃至129のいずれか1項に記載のドック。
  131. 植物を生育するための複数の列のフレームと、前記複数の列を通る自律ユニットの運行を支援するための複数の運行支援物と、を備える生育環境。
  132. 前記複数の運行支援物は、位置マーカー、ガイドワイヤ、色分けされた領域、磁気ストリップ、作物に対する背景物、及び、障害物及び/または植物に適用される可視タグ/バーコードのうちのいずれかまたはすべてを含む、請求項131に記載の生育環境。
  133. 前記生育環境を監視するための1つ以上のカメラをさらに備える、請求項131または132に記載の生育環境。
  134. 前記生育環境から物体を運び出すための手段をさらに含む、請求項131乃至133のいずれか1項に記載の生育環境。
  135. 前記自律ユニットのための複数の有線のネットワークアクセスポイントをさらに含み、前記ネットワークアクセスポイントは、前記生育環境の全体に分散している、請求項131乃至134のいずれか1項に記載の生育環境。
  136. 前記複数の列のフレームは相互に対して移動可能であり、それによって列の間の隙間空間の幅の調整を可能にする、請求項131乃至135のいずれか1項に記載の生育環境。
  137. 前記複数の列のフレームは相互に対して移動可能であり、それによって各列の垂直位置の調整を可能にする、請求項131乃至136のいずれか1項に記載の生育環境。
  138. 植物を生育するための複数の列のフレームを含み、前記複数の列のフレームは相互に対して移動可能であり、それによって各列の垂直位置と列の間の隙間空間の幅との調整を可能にする、生育環境。
  139. 前記生育環境が温室である、請求項131乃至138のいずれか1項に記載の生育環境。
  140. 対象領域において作物を収穫するためのシステムであって、
    対象領域において作物を収穫するための1つ以上の作業ユニットと、
    収穫された作物を受け取るためのドックと、
    収穫された作物を前記1つ以上の作業ユニットから前記ドックに運搬するための1つ以上の運搬ユニットと、
    を備えるシステム。
  141. 前記1つ以上の運搬ユニットは、前記1つ以上の作業ユニットの送信された位置に運行するように構成されている、請求項140に記載のシステム。
  142. 前記1つ以上の作業ユニットが、請求項67乃至90に記載の1つ以上の作業ユニットを含む、請求項140または141に記載のシステム。
  143. 前記1つ以上の運搬ユニットが、請求項105乃至118に記載の1つ以上の運搬ユニットを含む、請求項140乃至142のいずれか1項に記載のシステム。
  144. 前記ドックが、請求項127乃至130に記載のドックを含む、請求項140乃至143のいずれか1項に記載のシステム。
  145. 対象領域内の作物に対して作業するためのシステムであって、
    作物に対して作業するための1つ以上の作業ユニットと、
    対象領域内の作物に関連するデータを獲得する1つ以上のマッピングユニットと、
    獲得されたセンサデータを使用して前記対象領域内の前記作物の位置をマッピングし、マッピングされた位置に基づいて前記対象領域内の前記作物のうちの少なくともいくつかの間の1つ以上のルートを生成し、前記1つ以上のルートに沿って前記1つ以上の作業ユニットの経路設定を行い、それによって前記1つ以上のルート上の前記作物のうちの少なくとも1つに対する作業するためのプロセッサと、
    を備えるシステム。
  146. 前記1つ以上の作業ユニットが、請求項67乃至90のいずれか1項に記載の1つ以上の作業ユニットを含む、請求項145に記載のシステム。
  147. 前記1つ以上のマッピングユニットが、請求項91乃至103のいずれか1項に記載の1つ以上のマッピングユニットを含む、請求項145または146に記載のシステム。
  148. 収穫された作物を受け取るためのドックをさらに備え、任意選択的に前記プロセッサが前記ドック内に配置される、請求項145乃至147のいずれか1項に記載のシステム。
  149. 前記ドックが、請求項127乃至130のいずれか1項に記載のドックを含む、請求項148に記載のシステム。
  150. 収穫された作物を前記1つ以上の作業ユニットから前記ドックに運搬するための1つ以上の運搬ユニットをさらに備える、請求項145乃至149のいずれか1項に記載のシステム。
  151. 前記1つ以上の運搬ユニットが、請求項105乃至118のいずれか1項に記載の1つ以上の運搬ユニットを含む、請求項150に記載のシステム。
  152. 前記1つ以上の運搬ユニットは、物理的なデータ接続を介して前記ユニットと前記ドックとの間でデータを通信するように構成されている、請求項150または151に記載のシステム。
  153. 前記1つ以上の作業ユニット、前記1つ以上のマッピングユニット、及び/または前記1つ以上の運搬ユニットをメンテナンスするための1つ以上のメンテナンスユニットをさらに備える、請求項145乃至152のいずれか1項に記載のシステム。
  154. 前記1つ以上のメンテナンスユニットが、請求項105乃至118のいずれか1項に記載の1つ以上のメンテナンスユニットを含む、請求項153に記載のシステム。
  155. 前記プロセッサと通信するように設けられた通信手段をさらに備え、前記ユニットの各々は、前記プロセッサからデータを受信するための通信手段を備える、請求項145乃至154のいずれか1項に記載のシステム。
  156. 前記ユニットのすべては、前記ユニットが交換可能かつモジュール式であるように、移動可能なカートを備える、請求項145乃至155のいずれか1項に記載のシステム。
  157. 請求項1乃至66のいずれか1項に記載の方法を実施するように構成された、請求項145乃至156のいずれか1項に記載のシステム。
  158. 前記対象領域が、請求項131乃至139のいずれか1項に記載の生育環境の中にある、請求項145乃至156のいずれか1項に記載のシステム。
  159. 前記1つ以上の作業ユニットが、請求項68乃至88のいずれかに1項に記載の1つ以上の作業ユニットである、請求項1乃至66のいずれか1項に記載の方法。
  160. 前記1つ以上のマッピングユニットが請求項91乃至103のいずれかに記載の1つ以上のマッピングユニットである、請求項2または請求項3乃至66のいずれかに記載の方法。
  161. 前記対象領域が、請求項131乃至139のいずれかに記載の生育環境の中にある、請求項1乃至66または請求項159または160のいずれかに記載の方法。
  162. 請求項1乃至66または請求項159乃至161のいずれかに記載の方法を実行するように適合されたソフトウェアコードを含むコンピュータプログラム製品。
JP2020538964A 2018-01-10 2019-01-04 農業のための方法及びシステム Pending JP2021510305A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1800404.4 2018-01-10
GB1800404.4A GB2572127B (en) 2018-01-10 2018-01-10 Method and system for agriculture
PCT/GB2019/050020 WO2019138212A2 (en) 2018-01-10 2019-01-04 Method and system for agriculture

Publications (1)

Publication Number Publication Date
JP2021510305A true JP2021510305A (ja) 2021-04-22

Family

ID=61190413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538964A Pending JP2021510305A (ja) 2018-01-10 2019-01-04 農業のための方法及びシステム

Country Status (8)

Country Link
US (1) US20200333782A1 (ja)
EP (1) EP3737913A2 (ja)
JP (1) JP2021510305A (ja)
KR (1) KR20200103823A (ja)
CA (1) CA3125709A1 (ja)
GB (1) GB2572127B (ja)
MA (1) MA51559A (ja)
WO (1) WO2019138212A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020174546A (ja) * 2019-04-16 2020-10-29 本田技研工業株式会社 収穫方法及び果菜収穫装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JOP20190145A1 (ar) * 2017-06-14 2019-06-16 Grow Solutions Tech Llc أنظمة وطرق لتفريع حصاد قرن إنماء
JP6912656B2 (ja) * 2018-03-28 2021-08-04 本田技研工業株式会社 果菜収穫装置
JP7034866B2 (ja) * 2018-08-20 2022-03-14 株式会社クボタ 収穫機
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
JP7164495B2 (ja) * 2019-08-01 2022-11-01 本田技研工業株式会社 果菜分離装置及び果菜分離方法
US11423458B2 (en) * 2019-09-12 2022-08-23 International Business Machines Corporation Computer application of internet of things (IOT) devices to select perishable items by time to expiration
JP7354763B2 (ja) * 2019-10-24 2023-10-03 井関農機株式会社 植物栽培設備
US20230049158A1 (en) * 2020-01-06 2023-02-16 Adaviv Crop scouting information systems and resource management
US20210259163A1 (en) * 2020-02-20 2021-08-26 Hippo Harvest Inc. Control space operating system
US20210267125A1 (en) * 2020-02-28 2021-09-02 The United States Of America, As Represented By The Secretary Of Agriculture System and method for harvesting fruit
FR3110812B1 (fr) * 2020-06-02 2023-01-06 Exel Ind Procédé automatisé de sélection et de récolte de fruits et équipement mécanique mettant en œuvre le procédé
CN111832422A (zh) * 2020-06-18 2020-10-27 五邑大学 用于智能农业器械的夜间图像识别方法、装置和存储介质
EP4229495A1 (en) 2020-10-19 2023-08-23 Aigen Inc. Collaborative robot network with hybrid electro-mechanical plant management methods
KR102613439B1 (ko) * 2021-08-25 2023-12-12 국민대학교산학협력단 작물 재배 장치
EP4151073A1 (en) * 2021-09-15 2023-03-22 Kubota Corporation Method and system for harvesting fruit or vegetable
CN114234983B (zh) * 2021-12-23 2023-09-12 仲继锋 一种行走式农田移动平台机器人导航方法
CN114485610B (zh) * 2021-12-27 2023-07-18 广州极飞科技股份有限公司 矢量地图构建方法及装置、路径规划方法及装置
NL2031985B1 (en) * 2022-05-25 2023-12-11 Ig Specials B V Harvesting system and method
WO2024081823A1 (en) * 2022-10-13 2024-04-18 Indigo Ag, Inc. Outcome aware counterfactual scenarios for agronomy

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205995A (ja) * 1988-02-08 1989-08-18 Nec Ic Microcomput Syst Ltd 移動ロボットの異常時対策システム
US20050126144A1 (en) * 2003-12-12 2005-06-16 Vision Robotics Corporation Robot mechanical picker system and method
US20110137456A1 (en) * 2003-12-12 2011-06-09 Harvey Koselka Agricultural robot system and method
JP2011206014A (ja) * 2010-03-30 2011-10-20 National Agriculture & Food Research Organization 果実収穫装置
CN102657037A (zh) * 2012-04-13 2012-09-12 浙江工业大学 葡萄树剪枝机器人系统
US20130177670A1 (en) * 2011-11-08 2013-07-11 Claas Selbsfahrende Erntemaschinen Gmbh Method and system for harvesting and ensilage of feed material
JP2014183841A (ja) * 2013-02-19 2014-10-02 Muroran Institute Of Technology 植物自動収穫機、植物自動収穫プログラムおよび植物自動収穫方法
JP2017079699A (ja) * 2015-10-30 2017-05-18 パナソニック株式会社 収穫搬送装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4979289B2 (ja) * 2006-07-21 2012-07-18 日立オートモティブシステムズ株式会社 画像処理装置
US20110301757A1 (en) * 2008-02-21 2011-12-08 Harvest Automation, Inc. Adaptable container handling robot with boundary sensing subsystem
WO2010063075A1 (en) * 2008-12-03 2010-06-10 Magnificent Pty Ltd Crop picking device and method
ITBZ20090028A1 (it) * 2009-06-12 2010-12-13 Kms Mechatronics Di Kofler Andreas Sistema ed attrezzatura per l'automazione della raccolta in colture arboree
US9408342B2 (en) * 2010-10-25 2016-08-09 Trimble Navigation Limited Crop treatment compatibility
WO2012088534A1 (en) * 2010-12-23 2012-06-28 Cummins Intellectual Property, Inc. System and method of vehicle speed-based operational cost optimization
CN102696353B (zh) * 2012-06-05 2014-06-25 江苏大学 温室果蔬接运机器人
US20140267727A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. Systems and methods for determining the field of view of a processed image based on vehicle information
CN103345246A (zh) * 2013-05-29 2013-10-09 西北农林科技大学 一种小麦实时收割-转运-干燥-维护多机器人系统
WO2015057638A1 (en) * 2013-10-14 2015-04-23 Kinze Manufacturing, Inc. Autonomous systems, methods, and apparatus for ag based operations
BE1022142B1 (nl) * 2014-05-15 2016-02-19 Cnh Industrial Belgium Nv Werkwijze voor oogsten m.b.v. onbemande werkvoertuigen voor de landbouw.
US20170291550A1 (en) * 2014-09-24 2017-10-12 Panasonic Intellectual Property Management Co., Ltd. On-board electronic mirror
US10165722B2 (en) * 2014-12-05 2019-01-01 Deere & Company Scouting systems
US10029804B1 (en) * 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
US20170000027A1 (en) * 2015-07-02 2017-01-05 Terence D. Hunt Robotic harvester
WO2017205410A1 (en) * 2016-05-24 2017-11-30 Cnh Industrial America Llc Grain cart for continuous conveying agricultural product
US11198569B2 (en) * 2016-05-24 2021-12-14 Cnh Industrial America Llc Agricultural equipment carrier
CN206156246U (zh) * 2016-10-11 2017-05-10 山东农业大学 一种温室大棚用无轨道自主移动平台
US10327399B2 (en) * 2016-11-29 2019-06-25 Invia Robotics, Inc. Harvesting robots for hydroponics
GB2559169B (en) * 2017-01-30 2021-02-17 Jaguar Land Rover Ltd Controlling movement of a vehicle
CN106941879B (zh) * 2017-04-27 2018-05-18 居国斌 采摘装置
CN106950581A (zh) * 2017-04-27 2017-07-14 无锡北斗星通信息科技有限公司 定位系统
JP6779835B2 (ja) * 2017-06-15 2020-11-04 株式会社日立製作所 監視制御システム、監視制御装置及び監視制御方法
DE102017004593A1 (de) * 2017-09-16 2019-03-21 Stephan Schmidt Getreideernte in zwei Phasen-Die Ernte erfolgt mit mehreren vereinfachten, autonom fahrenden Mähdrescher, einer mobilen, automatischen Getreidereinigungsanlage und autonom fahrenden Transportfahrzeugen (Ameisen). Alle Maschinen sind digital vernetzt und w
EP3476211B1 (en) * 2017-10-09 2020-11-18 Siemens Corporation Autonomous mobile robots for movable production systems
IT201700118921A1 (it) * 2017-10-20 2019-04-20 Travaglini S P A Struttura per la coltura e movimentazione di prodotti agricoli, particolarmente per vertical farm
US11048927B2 (en) * 2017-10-24 2021-06-29 Waymo Llc Pedestrian behavior predictions for autonomous vehicles
CN207322127U (zh) * 2017-10-30 2018-05-08 南京工程学院 一种基于机器视觉的大棚农业机器人
CN109934952B (zh) * 2017-12-18 2021-05-11 华创车电技术中心股份有限公司 车载行车影像图像数据建立系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205995A (ja) * 1988-02-08 1989-08-18 Nec Ic Microcomput Syst Ltd 移動ロボットの異常時対策システム
US20050126144A1 (en) * 2003-12-12 2005-06-16 Vision Robotics Corporation Robot mechanical picker system and method
US20110137456A1 (en) * 2003-12-12 2011-06-09 Harvey Koselka Agricultural robot system and method
JP2011206014A (ja) * 2010-03-30 2011-10-20 National Agriculture & Food Research Organization 果実収穫装置
US20130177670A1 (en) * 2011-11-08 2013-07-11 Claas Selbsfahrende Erntemaschinen Gmbh Method and system for harvesting and ensilage of feed material
CN102657037A (zh) * 2012-04-13 2012-09-12 浙江工业大学 葡萄树剪枝机器人系统
JP2014183841A (ja) * 2013-02-19 2014-10-02 Muroran Institute Of Technology 植物自動収穫機、植物自動収穫プログラムおよび植物自動収穫方法
JP2017079699A (ja) * 2015-10-30 2017-05-18 パナソニック株式会社 収穫搬送装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020174546A (ja) * 2019-04-16 2020-10-29 本田技研工業株式会社 収穫方法及び果菜収穫装置
JP7152351B2 (ja) 2019-04-16 2022-10-12 本田技研工業株式会社 収穫方法及び果菜収穫装置

Also Published As

Publication number Publication date
WO2019138212A2 (en) 2019-07-18
US20200333782A1 (en) 2020-10-22
EP3737913A2 (en) 2020-11-18
KR20200103823A (ko) 2020-09-02
GB201800404D0 (en) 2018-02-21
GB2572127A (en) 2019-09-25
MA51559A (fr) 2021-04-14
CA3125709A1 (en) 2019-07-18
GB2572127B (en) 2022-09-14
WO2019138212A3 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
JP2021510305A (ja) 農業のための方法及びシステム
US20210000013A1 (en) Robotic fruit picking system
AU2019404207B2 (en) Collaborative autonomous ground vehicle
Nguyen et al. Task and motion planning for apple harvesting robot
WO2020154646A1 (en) Harvester with automated targeting capabilities
Kurtser et al. Planning the sequence of tasks for harvesting robots
Ju et al. A review on multirobot systems in agriculture
Edan Design of an autonomous agricultural robot
You et al. An efficient planning and control framework for pruning fruit trees
US20220078972A1 (en) Harvester with automated targeting capabilities
US20220248604A1 (en) Robotic harvesting system with a gantry system
JP2022126658A (ja) 作物の栽培管理のための装置、システム、方法、およびプログラム
Bloss Simultaneous sensing of location and mapping for autonomous robots
EP4280011A1 (en) Autonomous robotic assistance system and method in agricultural tasks
Nguyen et al. Motion planning algorithm and its real-time implementation in apples harvesting robot
Lytridis et al. An Overview of Cooperative Robotics in Agriculture. Agronomy 2021, 11, 1818
Montes et al. Automation in Agriculture
Lenz et al. HortiBot: An Adaptive Multi-Arm System for Robotic Horticulture of Sweet Peppers
Trinh et al. A Study of an Agricultural Indoor Robot for Harvesting Edible Bird Nests in Vietnam
Salah et al. Cooperative Robotic Systems in Agriculture
Team Wholesome Robotics
Parisses et al. Design of an Autonomous Robotic Vehicle and Development of a Suitable Gripper for Harvesting Sensitive Agricultural Products.
NZ794063A (en) A robotic fruit picking system
Xiong Evaluation of a Strawberry Harvesting Robot with a Cable-driven Gripper. Computers and Electronics in Agriculture, 157, pp. 392-402. DOI

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240305