JP2019097447A - Harvest robot system - Google Patents
Harvest robot system Download PDFInfo
- Publication number
- JP2019097447A JP2019097447A JP2017230531A JP2017230531A JP2019097447A JP 2019097447 A JP2019097447 A JP 2019097447A JP 2017230531 A JP2017230531 A JP 2017230531A JP 2017230531 A JP2017230531 A JP 2017230531A JP 2019097447 A JP2019097447 A JP 2019097447A
- Authority
- JP
- Japan
- Prior art keywords
- image
- harvest
- target crop
- harvesting
- tomato
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、収穫ロボットシステムに関する。 The present invention relates to a harvesting robot system.
従来、収穫ロボットがパプリカやトマトなどの作物を自動的に収穫するための技術研究が進められている（例えば、非特許文献１参照）。この非特許文献１によれば、パプリカの果柄（peduncle）をきれいに切断するため、撮像された画像の色とジオメトリ情報とを利用すると共に教師あり学習を用いて３次元空間にて果柄を検出している。
Conventionally, technical research has been advanced for a harvesting robot to automatically harvest crops such as paprika and tomatoes (see, for example, Non-Patent Document 1). According to this
特に、非特許文献１記載の技術では、果柄をカットする収穫ツールが取り付けられたロボットアーム、および、このロボットアーム先端のパプリカの近くに取付けられたＲＧＢ−Ｄハンドカメラ、を用いて果柄を検出するようにしている。非特許文献１のFIG.1、FIG.5などを参照。
In particular, in the technique described in Non-Patent
しかし、非特許文献１記載の技術を適用した場合には、ハンドカメラがロボットアームの先端に取付けられているため位置的に画角が狭くなり、ロボットを備え付けるための台車やロボットアームを動かしながら作物を探索することになれば、収穫対象の作物を探索するために多大な時間を要してしまう。
However, when the technique described in Non-Patent
本発明は上記事情に鑑みてなされたもので、その目的は、収穫対象の目標作物を短時間で収穫できるようにした収穫ロボットシステムを提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a harvesting robot system capable of harvesting a target crop to be harvested in a short time.
請求項１記載の発明は、進行方向に沿って収穫対象となる目標作物を収穫する収穫ロボットシステムを対象としている。画像取得部は、台車の所定位置に設置され当該所定位置から収穫対象となる目標作物を含む画像を取得する。収穫位置取得部は、画像取得部による取得された画像を用いて目標作物を探索して当該目標作物の位置情報を取得する。収穫ロボットは、所定位置から進行方向の後部において、収穫位置取得部により取得された目標作物の位置情報を用いて目標作物を収穫する。そして、収穫位置取得部による目標作物の探索処理と収穫ロボットによる目標作物の収穫処理とを並行して行うようにしているため、収穫対象の目標作物を短時間で収穫できるようになる。
The invention according to
以下、収穫ロボットシステムの幾つかの実施形態を説明する。以下の実施形態中では、各実施形態間で同一機能または類似機能を備えた部分に同一符号又は類似符号（例えば、十の位及び一の位を同一値）を付して説明を行い、第２実施形態以降においては同一機能または類似機能を備えた部分の説明を必要に応じて省略する。 Hereinafter, several embodiments of the harvesting robot system will be described. In the following embodiments, parts having the same or similar functions among the respective embodiments will be described with the same reference numerals or similar reference numerals (e.g., the same value in the tens place and the one place). In the second and subsequent embodiments, the description of the parts having the same or similar functions is omitted as necessary.
（第１実施形態）
図１から図１８は第１実施形態の説明図を示す。まず図２及び図３を参照して収穫対象の作物となるミニトマトの育て方を説明する。図２は、収穫システム１の一部構成を示しており、例えば房なりの作物としてのミニトマトの栽培領域を示している。以下では、ミニトマトを作物として説明するが、その他の作物も収穫対象として適用できる。この収穫システム１は、ビニールハウスの中でハイワイヤー方式を採用してミニトマトを房ごと自動的に収穫するシステムである。
First Embodiment
FIG. 1 to FIG. 18 show an explanatory view of the first embodiment. First, with reference to FIGS. 2 and 3, how to grow cherry tomatoes to be harvested will be described. FIG. 2 shows a partial configuration of the
図２に示すように、一般に、ビニールハウス栽培では、ビニールハウスの中に培養土を配合した土壌２を例えば直線状の所定領域に配設すると共に、当該所定領域に設けられた土壌２にミニトマトの苗３を離間して並べて苗を育てる。近年では土壌に代えて養液が用いられることもある。ハイワイヤー方式では、ビニールハウスの中で一列の苗３の上方に沿って直線上に延伸ワイヤ４を固定すると共に、当該延伸ワイヤ４に吊り下げられた誘引ワイヤ５により苗３の茎６を引き上げながら苗３を育てる。
As shown in FIG. 2, generally, in vinyl greenhouse cultivation,
このとき、一列に離間して並べられた苗３の茎６にそれぞれ誘引ワイヤ５のロック５ａを固定し、茎６を土壌２の上方に直線状に引き上げ、誘引ワイヤ５に茎６を吊り下げた状態で苗３を育てる。そして苗３が育ち、茎６が伸びると、この苗３の成長に合わせて誘引ワイヤ５のロック５ａを上に移動させる。
At this time,
図３に示すように、苗３の成長に伴い、ミニトマト７が熟すことで収穫可能になる。またさらにミニトマト７を収穫しながら茎６の先端が延伸ワイヤ４まで達すると、誘引ワイヤ５をスライドさせることで茎６の成長に合わせてミニトマト７の高さを調整できる。この収穫システム１においては、成長したミニトマト７が例えば９００〜１２００ｍｍの所定の高さ範囲Ｈに位置するように調整される。これにより、茎６を引き上げて収穫可能なミニトマト７の高さを調整できる。図４はミニトマト７が茎６になる様子を詳細に示している。この目標作物となるミニトマト７は数個〜十数個程度の個々の実７ａの集合体で房なりになっており、茎６の根元の果柄６ａ側から順に実７ａをつける。このとき、茎６から養分が供給されるため根元の成長が速く先端の成長は遅い。
As shown in FIG. 3, along with the growth of the
さて図１はこの収穫システム１を構成する収穫ロボットシステム１０の外観構成を示している。図１に示すように、収穫ロボットシステム１０は、主に、自律走行可能な電動台車（以下、台車と略す）１１、第１の画像取得部としての固定カメラ１２、及び、収穫ロボット１３を備える。また図５は、土壌２と台車１１が走行する通路１４との関係を平面図により示している。図１に示すように、台車１１は、収穫用に舗装された通路１４を走行可能な車輪１５を備えると共に自動走行可能にする電動動力源（図示せず）を備えた電動作業車により構成され、図５に示すように一直線方向に走行可能に構成される。この台車１１の上には固定カメラ１２が搭載されている。
FIG. 1 shows the external appearance of a
この固定カメラ１２は、台車１１の所定位置に設けられた支柱１６に備え付けられたステレオカメラにより構成され、進行方向に離間して複数のカメラ１２ａ，１２ｂを備える。この固定カメラ１２の各カメラ１２ａ，１２ｂは、例えば進行方向に交差する交差方向（例えば、垂直方向）で、且つ、例えば通路１４に平行な水平面方向を含む方向が撮像の検出軸となるように設置されている。この固定カメラ１２は、前述したように成長したミニトマト７の実７ａを含む少なくとも前述の所定の高さ範囲Ｈを撮像可能に設置されている。
The
また、例えば固定カメラ１２の進行方向の後部には収穫ロボット１３が設置されている。この収穫ロボット１３は、例えば６軸の垂直多関節型の産業用ロボットである。図６Ａ〜図６Ｂはそれぞれ、この収穫ロボット１３を正面図、右側面図により示している。以下の収穫ロボット１３は、第１〜第６アーム部（ロボットアーム部相当）２３〜２９を図示形態に連結した構造を示しているが、これに限定されるものではなく、高さ範囲Ｈのミニトマト７を収穫可能な構成であればこのロボット１３の構造に限られるものではない。
Also, for example, a
図６Ａ及び図６Ｂは収穫ロボット１３及びハンドカメラ１７の標準位置を示している。図６Ｃは収穫ロボット１３の先端に取り付けられるハンド２１の先端部分の切断挟持機構２１ａの構造を斜視図により示している。
6A and 6B show standard positions of the harvesting
図６Ａに示すように、収穫ロボット１３は、例えば、台車１１の上面に固定される円柱状のベース部２２と、ベース部２２に支持された第１アーム部２３と、この第１アーム部２３の他端に下端が支持され水平方向の第２軸を中心として垂直面内に旋回可能な第２アーム部２４と、当該第２アーム部２４のアーム軸方向を中心として旋回可能に当該第２アーム部の上端に一端が支持されると共に一端から他端に向けて直曲方向に延びる第３アーム部２５と、第３アーム部２５の他端に支持され当該第３アーム部２５の他端側の軸を中心に旋回可能に一端が支持された第４アーム部２６と、この第４アーム部２７の軸を中心に旋回可能に当該第４アーム部２７の他端に一端が支持された第５アーム部２８と、この第５アーム部２８の軸を中心に旋回可能に当該第５アーム部２８の他端に一端が支持された第６アーム部２９と、この第６アーム部２９の他端に支持され一端が支持された取付用部材３０と、を備える。
As shown in FIG. 6A, the
各アーム部２３〜２９の各軸にはモータ（図示せず）が配設されており、それぞれのアーム部２３〜２９がロボットコントローラ３２（後述図７参照）により制御されることで対応する各アーム部２３〜２９を旋回制御できる。
A motor (not shown) is disposed on each axis of each
取付用部材３０は、第６アーム部２９の軸を中心として標準状態では鉛直方向に旋回可能に構成されており、取付用部材３０にはミニトマト７の収穫用のハンド２１がエンドエフェクタとして取付けられている。このハンド２１の先端部には、図６Ｃに示すように、ミニトマト７の果柄６ａを切断すると共に切断後の果柄６ａを挟持する切断挟持機構２１ａをエンドエフェクタ、切断部として備える。切断挟持機構２１ａは、切断刃組１０１及び挟持刃組１０２を一対で備える。これらの切断刃組１０１と挟持刃組１０２とは連結部１０３を挟んで係合されており、茎６の果柄６ａを切断して挟持する領域には隙間が設けられている。切断刃組１０１は把持刃組１０２の上側に位置して配置されている。
The
切断刃組１０１は、連結部１０３により連結された１組の切断刃を備えており、連結部１０３を中心として切断刃を回動することで当該１組の切断刃が噛合うように設けられており、後述のロボットコントローラ３２が切断刃を噛合制御することで茎６の果柄６ａを切断可能になっている。
The cutting blade set 101 is provided with a pair of cutting blades connected by the connecting
また挟持刃組１０２もまた、連結部１０３により連結された１組の挟持刃を備えており、連結部１０３を中心として挟持刃を回動することで当該１組の挟持刃がわずかな隙間を有して対向するように設けられる。このとき、後述のロボットコントローラ３２が挟持刃を回動制御することで挟持刃は果柄６ａの外皮の一部を切断しながら果柄６ａの中心部側を挟持可能になっている。例えばミニトマト７の果柄６ａは繊維質構造であるため、特に挟持刃が果柄６ａの外皮を切断し中心部側を挟持するだけで安定して挟持できる。
＜ハンドカメラ１７の配置及びその機能説明＞
Further, the holding blade set 102 also includes a pair of holding blades connected by the connecting
<Arrangement of
図１及び図６Ａに示すように、ハンド２１の上には画像取得部としてハンドカメラ１７が取付けられている。本実施形態では、このハンドカメラ１７は、撮像軸となる画像の検出軸方向とハンド２１の切断挟持機構２１ａの軸方向とが同一方向になるように設置されている。
As shown in FIGS. 1 and 6A, a
このハンドカメラ１７は、第１〜第６アーム部２３〜２９が旋回制御されることにより所定の高さ範囲Ｈを撮像可能になっており、これにより成長したミニトマト７を含む画像を検出できる。このハンドカメラ１７は、カラー画像に加えて奥行き画像を含むＲＧＢ−Ｄの点群による画像を取得可能なカメラであり、撮像画像に応じて三次元位置にＲＧＢカラー情報を付して出力する所謂ＲＧＢ−Ｄカメラにより構成される。
The
＜収穫ロボットシステム１０の電気的構成説明＞
図７は収穫ロボットシステム１０の電気的構成図を示している。
図７に示すように、収穫ロボットシステム１０は、イメージプロセッサ３１、ロボットコントローラ３２を制御主体として備える。イメージプロセッサ３１は、固定カメラ１２及びハンドカメラ１７に接続されており、固定カメラ１２及びハンドカメラ１７により撮像された画像の各種処理を行い、ロボットコントローラ３２は、収穫ロボット１３の第１〜第６アームの旋回制御、ハンドによる切断挟持制御、及び台車１１の車輪１５の駆動用モータを制御する。イメージプロセッサ３１は不遷移的実体的記録媒体としてメモリ３３を備える。詳細には後述するが、このメモリ３３には機械学習に基づく学習パターンが記憶されており、イメージプロセッサ３１はこの学習パターンに応じて画像処理することでミニトマト７の三次元的な位置情報を取得する収穫位置取得部として機能する。
<Description of the electrical configuration of the
FIG. 7 shows an electrical block diagram of the
As shown in FIG. 7, the
これらのイメージプロセッサ３１及びロボットコントローラ３２は、画像処理に係るタスクと収穫作業制御に係るタスクとを並行処理することで処理負荷を分散するように構成されている。イメージプロセッサ３１とロボットコントローラ３２とはルータ３４を介して接続されている。
The
上記構成の作用、動作について説明する。
＜収穫処理の説明その１＞
図８は収穫処理の動作をフローチャートにより示し、図９は収穫方法の一連の流れを概略的に示している。これらの図８及び図９の記載では、説明を理解しやすくするため、ｎ−１、Ｎ、Ｎ＋１、Ｎ＋２…番目と順にエリアに番号を付し、その収穫方法を順次示している。
The operation and operation of the above configuration will be described.
<Description of
FIG. 8 shows the operation of the harvesting process by means of a flow chart, and FIG. 9 schematically shows the flow of the harvesting method. In the description of FIG. 8 and FIG. 9, in order to make the explanation easy to understand, the areas are numbered in order of n-1, N, N + 1, N + 2,...
図９の時点ｔ１において、イメージプロセッサ３１は、図８のＳ１においてエリア変数Ｎ＝１に設定し、Ｓ２において固定カメラ１２によりＮ番目エリアの画像を取得する。次に、イメージプロセッサ３１は画像の取得が終了するとロボットコントローラ３２に移動指令し、ロボットコントローラ３２は、台車１１を移動制御し固定カメラ１２の撮像エリアをＮ＋１番目のエリアに移動させる（図９の時点ｔ２）。そして時点ｔ２において、イメージプロセッサ３１は、図８のＳ３において固定カメラ１２によりＮ＋１番目エリアの画像を取得し、Ｓ４においてＮ番目エリアの中にミニトマト７を探索する。図１０にはこの探索処理をフローチャートで示している。
At time t1 in FIG. 9, the
＜探索処理の説明＞
この図１０に示すように、イメージプロセッサ３１は、Ｓ１１において二次元画像を複数用いて三次元画像を生成する（三次元画像生成部としての機能）。このとき、図１１にＳ１１の処理前の複数の二次元画像データ、及び、処理後の三次元画像のデータの概要を示すように、二次元画像が合成された三次元画像の個々のピクセル（所謂ボクセル）に分割された状態で各ボクセルに色情報等の各種情報が設定されるようになる。この処理は、ＳｆＭ(Structure from Motion)と称される処理により行われるが、このＳ１０の処理時間は後述のＳ１１以降の処理に比較して大幅に時間を要する。
<Description of search processing>
As shown in FIG. 10, the
その後、イメージプロセッサ３１は、図１０のＳ１２においてミニトマト７の領域を背景と分離する基本クラスタリング処理を行う。この基本クラスタリング処理は、いわゆるＳＶＭ（Support Vector Machine）により実行される処理である（基本クラスタリング部としての機能）。
Thereafter, the
ミニトマト７の実７ａは熟すことで基本色が赤となり、固定カメラ１２により撮像された画像内ではこの赤に類する同類色が連続することになる。イメージプロセッサ３１は、例えば、図１２に示されるように、大量のミニトマト７の画像群Ｇ１を反復的に予め機械学習すると共に、図１３に示されるように大量のビニールハウス内のミニトマト７以外の例えば茎６や花、各種内装設備などの背景画像群Ｇ２を反復的に機械学習してメモリ３３に記憶している。
The
イメージプロセッサ３１は、このＳ１２においてこれらのメモリ３３に記憶された機械学習のパターンに応じて、成長したミニトマト７の赤に類する同類色となる所定条件を満たすボクセルＢの領域を拡張し、ミニトマト７の存在領域を三次元領域として取得する。図１４及び図１５はこの領域拡張処理を概略的に示している。これらの図１４及び図１５において、白区画はミニトマト７の赤に類する色であり、黒区画は茎６などの緑や青やその合成色などによる背景色を示している。
The
図１４に示すように、イメージプロセッサ３１は、初めにランダムに三次元位置のボクセルＢ１を決定した後、図１５に示すように、このボクセルＢ１から同類色の領域のボクセルＢ２を拡張して探索する領域拡張法（Region Growing）を用いて各ミニトマト７の存在領域を分離する基本クラスタリング処理を行う。図１６にＲＧＢ色空間上における基本クラスタリング処理後の超平面分離領域を示している。イメージプロセッサ３１は、赤に類する同類色の領域を拡張する基本クラスタリング処理を行うことで個々のミニトマト７の存在領域を決定できる。これにより、図１１のＳ１２の処理後のデータに示すように、ミニトマト７と背景とを分離できる。
As shown in FIG. 14, the
その後、イメージプロセッサ３１は、図１０のＳ１３においてミニトマト７の熟度判定領域クラスタリング処理を行う（熟度判定領域クラスタリング部としての機能）。前述したように、ミニトマト７の実７ａは熟すことにより基本色は赤となるが熟していないと緑に類する色となる。ミニトマト７の実７ａは茎６から養分が供給されることから根元の成長が速く先端の成長は遅いため、根元の実７ａは赤いものの先端の実７ａは緑のままとなっていることもある。そこで、この熟度判定領域クラスタリング処理では、房なりの先端のミニトマト７の実７ａが全体の何割程度熟しているか否かを判定するために設けられる。
Thereafter, the
このＳ１３の処理の概要を図１７及び図１８に示している。図１７は、基本クラスタリング処理を行った結果、すなわち房なりのミニトマト７の実７ａの三次元画像を緑及び青関連色の背景と分離した結果を示している。この図１７に示すように、赤関連色によるミニトマト７の領域が緑及び青関連の背景色領域と分離されているため、房なりのミニトマト７の先端領域Ｒ１に実が存在しているか、またその実７ａが緑色であるか否かを判定できていない。
The outline of the process of S13 is shown in FIG. 17 and FIG. FIG. 17 shows the result of the basic clustering process, that is, the result of separating the three-dimensional image of the
そこで図１０のＳ１３においては、イメージプロセッサ３１は、赤関連色を備える三次元位置の下端位置から、さらに下側領域に向けて緑関連色を含めて領域拡張法により拡張する。このときの拡張処理には当初のミニトマト７の赤に類する同類色の領域と共に背景分離前の三次元領域を用いると良い。これにより図１８の先端領域Ｒ１に示すように、房なりのミニトマト７の先端の実７ａの緑色部分を識別できる。なお、図１８は黒塗色の丸が赤関連色のボクセルＢを示し、白抜き丸が緑関連色のボクセルＢを示している。
Therefore, in S13 of FIG. 10, the
例えば仮に、一般的な二次元カメラによりこの先端領域Ｒ１を観察すると、ミニトマト７の奥の背景領域には例えば茎６による緑関連色や建屋などの他色が現れる場合もあるが、図１０のＳ１１にて予め三次元画像に加工してボクセル化しているため、当該ボクセルＢの位置情報を参照することで背景の茎６などの緑の影響を受けることなく、ミニトマト７の実７ａの中で緑関連色の領域を判別できる。
For example, if this tip area R1 is observed with a general two-dimensional camera, other colors such as a green related color or a building by the
そして、イメージプロセッサ３１は、Ｓ１４においてミニトマト７の熟度判定処理を行う。このとき、イメージプロセッサ３１は、房なりのミニトマト７の先端の実７ａが所定割合以上熟していなければ「熟度低」と判定して収穫対象の目標作物から外して探索処理を終了するが、所定割合以上、熟していれば「熟度高」と判定して収穫対象の目標作物とする。収穫対象から外された作物は、後日の再収穫対象の目標作物としてメモリ３３に記録を残しておいても良い。そして、イメージプロセッサ３１は、Ｓ１５において熟した房なりのミニトマト７の実７ａの三次元の位置情報を取得、特定する。
Then, the
＜収穫処理の説明その２＞
イメージプロセッサ３１は、図９のｔ２、図８のＳ４においてＮ番目エリアのミニトマト７の探索処理を終了すると、ルータ３４を介してロボットコントローラ３２に指令を行い次の処理に移行させる。次に、ロボットコントローラ３２は、図８のＳ５ａにおいてＮ番目エリアのミニトマト７を収穫すると同時に、イメージプロセッサ３１はＳ５ｂにおいてＮ＋１番目エリアのミニトマト探索処理を行う。これらのＳ５ａ及びＳ５ｂの処理は、それぞれ収穫ロボット１３、イメージプロセッサ３１により並行して実行される。
<Description of
When the
Ｓ５ｂにおけるＮ＋１番目エリアのミニトマト７の探索処理は、探索対象エリアが異なるだけでありＮ番目エリアのミニトマト７の探索処理と同様であるが長時間を要する。このため、この時間を利用してＳ５ａにおいてＮ番目エリアのミニトマト７の収穫処理を行う（図９の時点ｔ３）。これにより、Ｎ番目エリアのミニトマト７を収穫しながらＮ＋１番目エリアのミニトマト７の探索処理を実行でき、効率的に時間を利用できる。そして、収穫ロボット１３がロボットコントローラ３２によりＳ５ａの処理を終了すると共に、イメージプロセッサ３１がＳ５ｂの処理を終了すると、ロボットコントローラ３２は、図８のＳ６において台車１１を移動させて固定カメラ１２によりＮ＋２番目エリアの画像を取得する（図９の時点ｔ４）。
The search process for the
そして次に、ロボットコントローラ３２が図８のＳ７ａにおいてＮ＋１番目エリアのミニトマト７を収穫すると同時に、イメージプロセッサ３１はＳ７ｂにおいてＮ＋２番目エリアのミニトマト７の探索処理を実行する（図９の時点ｔ５）。これらのＳ７ａ及びＳ７ｂの処理も前述同様に同時に行われる。そして、通路１４に面した全てのエリアの収穫を完了するまで、Ｓ９においてＮを順次インクリメントして収穫エリアを更新しＳ６から処理を繰り返す。これらの一連の処理が繰り返されることにより、全てのエリアのミニトマト７を収穫できる。
Then, at the same time as the
＜本実施形態のまとめ、効果＞
以上説明したように、本実施形態によれば、ミニトマト７の探索処理と収穫ロボット１３によるミニトマト７の収穫処理とを並行して行うようにした。これにより収穫作業に伴う時間効率を良好にでき、ミニトマト７を短時間で収穫できるようになる。
<Summary of this embodiment, effect>
As described above, according to the present embodiment, the searching process of the
特にこの実施形態では、ハンドカメラ１７の他に固定カメラ１２を用いており、この固定カメラ１２を用いた画像処理により、収穫ロボット１３の進行方向に存在するミニトマト７の位置を収穫ロボット１３による収穫前に検出できるようになる。これにより極力無駄なく収穫動作を行うことができる。
In this embodiment, in particular, the
特に、ミニトマト７の探索処理の一部として、たとえ二次元画像データから三次元画像データを生成するＳｆＭ処理に長時間を要したとしても、この処理と並行してミニトマト７の収穫処理を行うようにしているため、収穫作業に伴う時間効率を良好にでき、ミニトマト７を短時間で収穫できる。
In particular, even if it takes a long time for SfM processing to generate three-dimensional image data from two-dimensional image data as part of the search processing for
また、イメージプロセッサ３１は二次元画像を複数用いて三次元画像を生成し、三次元画像のあるボクセルＢから同類色の領域を拡張して背景と分離する基本クラスタリング処理を行い（Ｓ１２）、当該同類色の領域を拡張した端部から下側領域をさらに領域を拡張することで同類色とは異なる色領域を拡張して熟度判定領域クラスタリング処理を行い（Ｓ１３）、この処理により拡張された領域に応じてミニトマト７の実７ａの熟度を判定し当該熟度が所定割合より高い作物を目標作物としてその位置情報を取得するようにしている（Ｓ１５）ため、熟度が所定割合以上高い作物を目標作物として収穫できるようになる。
Further, the
（第２実施形態）
図１９から図２４は第２実施形態の追加説明図を示す。第２実施形態が第１実施形態と異なるところは、１台のカメラ１７を用いて目標作物を撮像しその位置情報の取得処理とその収穫処理とを行うところにある。また本実施形態では、収穫ロボット１３に対するハンドカメラ１７の取付位置及びその使用方法が異なる。
Second Embodiment
19 to 24 show additional explanatory views of the second embodiment. The second embodiment is different from the first embodiment in that a
図１９及び図２０Ａは、ハンドカメラ１７及びハンド２１の標準位置をそれぞれ正面図及び側面図により示しており、図２０Ｂは、第６アーム部２９によりハンド２１が回動されたときのハンドカメラ１７とハンド２１との位置関係を示している。また図２１は、ハンドカメラ１７の設置形態を示している。
19 and 20A show the standard positions of the
本実施形態の収穫ロボットシステム１１０は、図１９に示すように、台車１１上に収穫ロボット１３が設置されており、第１実施形態で説明した固定カメラ１２を設けていない。
In the
図２０Ａに示す標準位置では、ハンドカメラ１７の撮像軸となる画像の検出軸Ｊ１と切断挟持機構２１ａの切断挟持軸Ｊ２とが概ね同一方向にされている。ここでいう切断挟持軸Ｊ２とは、図２０Ａ及び図２０Ｂに示すように、切断挟持機構２１ａによる切断面に含まれる方向で且つハンド２１が切断挟持機構２１ａを直線状に固定する軸方向を表している。図２１に示すように、第６アーム部２９の上には冶具２９ａを介してハンドカメラ１７が固定されている。このためハンドカメラ１７は、ロボットコントローラ３２が各アーム部２３〜２９を旋回制御することで第６アーム部２９に連動して動くことになる。
In the standard position shown in FIG. 20A, the detection axis J1 of the image serving as the imaging axis of the
収穫時には、図２０Ｂに示すように、ロボットコントローラ３２が第６アーム部２９を旋回制御することで取付用部材３０が回動し、この回動軸を中心としてハンド２１の全体が鉛直面内方向に沿って回動する。このため、ハンド２１の先端に取付けられた切断挟持機構２１ａの切断挟持軸Ｊ２が、ハンドカメラ１７による画像の検出軸Ｊ１とは異なる方向になり、特に画像の検出軸Ｊ１から鋭角に切断挟持軸Ｊ２をなすことになる。
At the time of harvest, as shown in FIG. 20B, the
このときロボットコントローラ３２が切断挟持機構２１ａを制御することでミニトマト７の果柄６ａを切断及び挟持できるが、切断挟持機構２１ａは、ハンドカメラ１７による画像の検出軸Ｊ１から鋭角に切断挟持軸Ｊ２を備えることになり、ミニトマト７の果柄６ａを容易に切断及び挟持できるようになる。
At this time, the
図１９に示したように、正面側から見たときには、ハンドカメラ１７がハンド２１の横方向に併設されているため、当該ハンド２１が、ハンドカメラ１７による画像検出処理の邪魔になることなく目標作物となるミニトマト７を含む画像を検出できる。特に図２０Ｂに示すように、側面側から見ても、ハンドカメラ１７の画像の検出軸Ｊ１から鋭角に切断挟持軸Ｊ２を備えているため、ハンド２１が邪魔になることなくハンドカメラ１７によりミニトマト７を含む画像を検出できる。これにより、ハンドカメラ１７の撮像領域に収穫ツールを映り込ませることなく適切な切断位置を把握できるようになる。その他の構成は、第１実施形態と同様であるためその説明を省略する。
As shown in FIG. 19, when viewed from the front side, the
＜制御方法の説明＞
以下では、前述の基本的構造を利用した制御方法の一例を挙げる。図２２は収穫処理をフローチャートにより概略的に示している。本実施形態では、イメージプロセッサ３１が主体制御し、ロボットコントローラ３２が補助的に制御する形態を示すが、何れが主体になって制御を実行しても良いし、当該プロセッサ及びコントローラ３１，３２を一体にまとめても良い。
<Description of control method>
Below, an example of the control method using the above-mentioned basic structure is given. FIG. 22 schematically shows the harvesting process by means of a flow chart. In the present embodiment, the
まず、イメージプロセッサ３１は、Ｓ２１において変数Ｎ＝０に初期設定し、Ｓ２２においてロボットコントローラ３２に第１〜第６アーム部２３〜２９の制御指令を行う。このとき、ロボットコントローラ３２は、ハンドカメラ１７とミニトマト７との間を極力遠距離となる第１距離になるように第１〜第６アーム部２３〜２９を制御する。このとき第１距離は、図２３に示すように、特に第２〜第６アーム部２４〜２９をミニトマト７から極力離すことで当該ミニトマト７とハンドカメラ１７との間の間隔を十分に大きくできる距離としている。そしてイメージプロセッサ３１は、ハンドカメラ１７により画像を取得する（第１検出処理部としての機能）。
First, the
これにより、ハンドカメラ１７がミニトマト７を撮像する距離を極力遠くできるようになり、多くのミニトマト７を撮像範囲に含ませることができる。このため、イメージプロセッサ３１が、Ｓ２３においてミニトマト７の位置情報を取得することで、より多くのミニトマト７の位置情報を取得できる。この位置情報の取得処理は、前述実施形態にて図１０のフローチャートを用いて説明した処理を用いることが望ましい。
As a result, the distance at which the
その後、イメージプロセッサ３１は、Ｓ２４において多数のミニトマト７の位置情報に応じてミニトマト７を進行方向に向けてナンバリングする。例えば、ナンバーＮ＝０、１、２、３…とする。このナンバリング処理は、進行方向に移動しながら収穫しやすくなるような順序を示すようにナンバーを付与するものである。このとき、概ね進行方向に向けて昇順にナンバーを付与すれば良く、厳密に進行方向に向けて昇順にナンバリングしなくても良い。
Thereafter, the
その後、イメージプロセッサ３１はロボットコントローラ３２に指令すると、ロボットコントローラ３２は、Ｓ２５においてＮ＝０から順にＮ番目のミニトマト７の果柄６ａを検出する。このとき、ロボットコントローラ３２が、第１〜第６アーム部２３〜２９を制御することでハンド２１の切断挟持機構２１ａを、Ｓ２２で算出されたＮ番目のミニトマト７の位置に近接させるように移動制御する。
After that, when the
この場合、図２４に示すように、ハンドカメラ１７が当該ハンドカメラ１７とミニトマト７との間を第１距離より短い第２距離にして画像を検出できる。このときの第２距離は、特に第６アーム部２９が目標作物となるＮ番目のミニトマト７に接近することで、ミニトマト７とハンドカメラ１７との間の間隔が極力短くなる距離となっている。
In this case, as shown in FIG. 24, the
この動作に応じて、ハンドカメラ１７による画像検出範囲を狭くすることができ、イメージプロセッサ３１は、この検出画像中に当該Ｎ番目のミニトマト７の果柄６ａを検出できる（第２検出処理部としての機能）。果柄６ａの検出方法は第３実施形態で説明するため本実施形態では説明を省略する。
According to this operation, the image detection range by the
そしてイメージプロセッサ３１が、Ｓ２５においてハンドカメラ１７による検出画像に応じてＮ番目のミニトマト７の果柄６ａを検出できれば、Ｓ２６でＹＥＳと判断して果柄６ａが有ると判断し、ロボットコントローラ３２に指令を行うことで当該コントローラ３２が収穫ロボット１３の各アーム部２３〜２９を制御することで、Ｓ２７においてＮ番目のミニトマト７を収穫する（収穫部の機能）。ロボットコントローラ３２が収穫作業を終了すれば、イメージプロセッサ３１に終了情報を出力する。また、イメージプロセッサ３１は、Ｓ２５においてＮ番目のミニトマト７の果柄６ａを検出できないときにはＳ２６でＮＯと判断し、収穫不能であると判定する。
Then, if the
イメージプロセッサ３１が、終了情報を入力したり収穫不能であったりしたときには、果柄６ａの有無に拘わらずＳ２８においてＮをインクリメントする。そして、イメージプロセッサ３１は、Ｓ２９においてロボットコントローラ３２に台車１１を進行方向に移動開始させる。このときの台車１１の進行方向への移動速度は一定であっても良いし移動速度を変更しても良いが、台車１１の位置情報を詳細に特定することが望ましい。これは、Ｓ２３で特定されたミニトマト７の位置情報に合わせて台車１１の進行方向の位置を調整したり、また逆に台車１１の進行方向位置に合わせて、Ｓ２３で取得されたミニトマト７の位置情報を相対的に補正したりすることができるためである。
When the
そして、イメージプロセッサはＳ３０において所定条件を満たしたか否かを判定する。この所定条件は、ハンドカメラをミニトマトに順に近づけて移動制御している状態から、ハンドカメラをミニトマトから再度遠ざけて画像検出する必要があるか否かの判断条件を示すものであり、例えばＳ２２にて検出した画像の中のミニトマト７を全て収穫終了又は収穫不能と判定することを条件とすることが望ましい。また、Ｓ２３で取得された位置情報のミニトマト７が全て収穫終了していなくても、例えば全数でミニトマト７がＫ個以上検出されていたとすれば、Ｋ個のうち適宜設定された所定割合個数（例えばＫ／２）以上だけ収穫処理を終了していれば、Ｓ３０において所定条件を満たすと判定しても良い。
Then, the image processor determines in S30 whether the predetermined condition is satisfied. This predetermined condition indicates a condition for judging whether or not it is necessary to move the hand camera away from the mini tomato again to perform image detection while the hand camera is moved closer to the mini tomato in order to control movement. It is desirable that all
Ｓ３０において所定条件を満たさないうちは、イメージプロセッサ３１は、Ｓ２５に処理を戻しＳ２５〜Ｓ２７において第１〜第６アーム部２３〜２９を制御して次のＮ番目のミニトマト７の果柄６ａを検出して収穫処理を行う。
As long as the predetermined condition is not satisfied in S30, the
Ｓ３０において所定条件を満たすと、イメージプロセッサ３１はＳ２２に処理を戻し、ハンドカメラ１７により再度遠い位置から多数のミニトマト７を含む画像を検出してＳ２３以降の処理を実行する。これにより、台車１１により進行方向に移動しながら通路１４に沿って熟したミニトマト７を全て収穫できる。
When the predetermined condition is satisfied in S30, the
＜本実施形態のまとめ、効果＞
要するに、本実施形態では、ミニトマト７の位置特定及び果柄６ａの検出処理に同一のハンドカメラ１７を用いるため視野角、すなわち画角は一定であるが、まずロボットコントローラ３２は、ミニトマト７からの距離を比較的遠くに制御し、ハンドカメラ１７によりミニトマト７の位置情報を多数特定し、そしてミニトマト７からの距離を比較的近くに制御し、ハンドカメラ１７によりミニトマト７の果柄６ａを検出し、当該ミニトマト７を収穫している。そして、これらの処理を繰り返している。このため、一台のハンドカメラ１７で多数のミニトマト７を検出しつつ、一つのミニトマト７の果柄６ａを検出できる。これにより、多数のミニトマト７を素早く収穫できる。
<Summary of this embodiment, effect>
In short, in the present embodiment, the visual angle, ie, the angle of view, is constant because the
また、ハンドカメラ１７が房なりのミニトマト７及び果柄６ａを含む画像を取得し、切断挟持機構２１ａが画像検出軸Ｊ１から鋭角に切断挟持軸Ｊ２を備えミニトマト７の果柄６ａを切断挟持して房なりのミニトマト７を収穫するようにしている。このため、果柄６ａを画像処理により検出するときには、ハンド２１が邪魔になることなく、ミニトマト７の果柄６ａを容易に検出でき、しかもミニトマト７を容易に収穫できる。
Further, the
（第３実施形態）
図２５から図３０は第３実施形態の追加説明図を示す。例えば、第１実施形態にて説明した図８のＳ５ａ、Ｓ７ａにおけるミニトマト７の収穫処理は、収穫ロボット１３により行われる処理である。また第２実施形態では、図２２のＳ２５においてミニトマト７の果柄６ａを検出し、Ｓ２７にて果柄６ａの切断ポイントにて切断することでミニトマト７を収穫するが、これらの処理も収穫ロボット１３によって行われる処理である。
Third Embodiment
25 to 30 show additional explanatory views of the third embodiment. For example, the harvesting process of the
これらにおいて、収穫ロボット１３のロボットコントローラ３２は、図１０のＳ１４又は図２２のＳ２３において取得された実の熟したミニトマト７の位置情報を入力し、第１〜第６アーム部２３〜２９を制御し、ハンド２１の上部又は第６アーム部２９に取り付けられたハンドカメラ１７によりミニトマト７の果柄６ａを含む画像を検出し、イメージプロセッサ３１がこの画像から果柄６ａを詳細に検出し、そしてハンド２１により果柄６ａを切断及び挟持して収穫する。
In these, the
イメージプロセッサ３１が果柄６ａを詳細に検出するときには図２５のＳ４１〜Ｓ４５に示すように果柄６ａの切断ポイントＣＰを決定することが望ましい（第１切断ポイント決定部、第２切断ポイント決定部としての機能）。まずイメージプロセッサ３１は、Ｓ４１においてハンドカメラ１７によりカラー画像に加えて奥行き画像を含むＲＧＢ−Ｄの点群を取得し、Ｓ４２において点群のうち同色の終点を結合することでボクセル化する。
When the
このとき、各ボクセルＢは、主に３つの情報を備えており、それぞれのボクセルＢの座標、各ボクセルＢにどのカラーのセルが含まれているか、どのボクセルＢのカラーセルが互いに隣接しているか、を示す情報を備えている。ボクセルＢの隣接情報を用いることで、隣接セルを探索するために必要な計算時間を削減できる。 At this time, each voxel B mainly includes three pieces of information, and the coordinate of each voxel B, which color cell is included in each voxel B, and which color cells of voxel B are adjacent to each other Have information to indicate By using the adjacent information of voxel B, it is possible to reduce the calculation time required to search for adjacent cells.
このボクセル化処理では複数の解像度に分けてボクセル化することが望ましい。図２６及び図２７にミニトマト７及びその果柄６ａの周辺画像を複数の解像度でボクセル化した例を示す。図２６は例えば低解像度のボクセルＢ１１の例を示し、図２７は高解像度のボクセルＢ１２の例を示している。
In this voxelization process, it is desirable to divide into multiple resolutions and voxelize. The example which voxel-ized the periphery image of the
その後、イメージプロセッサ３１は、図２５のＳ４２においてミニトマト７の領域とその他の背景領域とをＳＶＭ処理により分離する。第１実施形態でも説明したように、イメージプロセッサ３１は、メモリ３３に記憶された機械学習パターンに応じて、ミニトマト７の赤に類する同類色となる条件を満たすボクセルＢの領域を拡張し、ミニトマト７の領域とその他の背景領域を分離する。図２８には、このＳ４３の処理前後の三次元画像例を模式的に示している。この場合には、低解像度のボクセルＢ１を用いることで素早く処理を完了できる。
After that, the
次に、イメージプロセッサ３１は、図２５のＳ４４においてミニトマト７の存在領域のクラスタリング処理を行う。このとき第１実施形態でも説明したように、イメージプロセッサ３１は、初めにランダムに三次元位置のボクセルＢを決定した後、このボクセルＢから同類色の領域を拡張して探索する領域拡張法を用いて、各ミニトマト７の存在領域Ｒ２を分離する。図２８にはこのＳ４４の処理前後の三次元画像例を模式的に示している。
Next, the
そしてイメージプロセッサ３１は、図２５のＳ４５において、個々のミニトマトの果柄の切断ポイントＣＰを決定する。図２９には切断ポイントＣＰの決定方法を概略的に示している。このとき、例えばミニトマト７の領域とＳ４２で別に取得され図２７で示される高解像度のボクセルＢ２を用いて、果柄６ａの切断ポイントＣＰを決定することが望ましい。
Then, the
イメージプロセッサ３１は、図３０に示すように、垂直にレイヤＬ１〜Ｌ３を分離した状態で当該レイヤＬ１〜Ｌ３毎に複数のボクセルＢ２を分離し、各レイヤＬ１〜Ｌ３の直径Ａを導出し、極力細い直径Ａのレイヤ（例えばＬ２）を切断ポイントＣＰの第１条件にすることが望ましい。これは、ミニトマト７は果柄６ａよりも太くなり、果柄６ａとミニトマト７の直径を合計すると果柄６ａの直径に比較して大きくなるためであり、果柄６ａの切断ポイントＣＰを、より細い直径のレイヤ（例えばＬ２）に位置させることが望ましいためである。
The
ミニトマト７の茎６は、根から上方に延びるに従い、下部にて太くなり上部に向かうに従って細くなる。また図２９に示すように、切断ポイントＣＰにて細くなりミニトマト７が成熟している部分で直径Ａが太くなる。このため、三次元的に検出すると直径Ａが切断すべき果柄６ａにて概ね最小の径となる。
The stems 6 of the
また、切断挟持機構２１ａが接近可能で距離Ｄが短いレイヤＬ１〜Ｌ３を切断ポイントＣＰの第２条件とすると良い。これは、切断ポイントＣＰが切断挟持機構２１ａから遠くなってしまうと、途中の障害物に阻まれてしまい、切断挟持機構２１ａが切断ポイントＣＰにて果柄６ａをカットできないためである。したがって、果柄６ａ又は／及びミニトマト７との距離Ｄが極力近くなる条件を採用すると良い。また、レイヤＬ１〜Ｌ３のボクセルＢ２が垂直方向に延びており、果柄６ａが垂直方向から所定角度範囲内になっていることを切断ポイントＣＰの第３条件とすると良い。これは、可能な限り果柄６ａに対し直線的にアプローチすべきだからである。
Further, layers L1 to L3 in which the cutting and holding
このため、果柄６ａの切断ポイントＣＰは、この種の条件を満たすように、直径Ａと距離Ｄをパラメータとした評価関数ｆを用いて導出することが望ましい。図２９に概略を示しているように、評価関数ｆ（Ａ，Ｄ）を以下の（１）式とした場合には、この評価関数ｆが閾値ｆｔ以下となる条件を満たす領域を導出して切断範囲を決定すると良い。
このとき、評価関数ｆが閾値ｆｔ以下となる条件を満たす領域の切断範囲のうち評価関数が最低値となる領域を選択することがなお望ましい。このような概念を考慮した上で、以下のように詳細に評価関数Ｅ（ｌ）を導出するようにしても良い。このときの評価関数Ｅ（ｌ）を（２）式のように定義する。
この（２）式の第１項は、レイヤＬ１〜Ｌ３の直径Ａに係る第１条件を示しており、ｎ（）は要素の数を示している。直径Ａが細いほど評価関数Ｅ（ｌ）は小さくなる。第２項は、前述したレイヤＬ１〜Ｌ３と切断挟持機構２１ａとの間の距離Ｄに係る第２条件を示している。ここでｖは集合Ｖ（ｌ）に属するボクセルＢを示しており、Ｌ１ノルムを用いることで距離Ｄを素早く計算できるようにしている。第３項は、前述したレイヤＬ１〜Ｌ３の方向に関する第３条件を示しており、ｙ＾は垂直方向の単位ベクトルを示し、ｗは集合Ｖ（ｌ＋１）に属するボクセルＢを示している。この第３条件では鉛直方向に近い方向に延びる方向を選択するように表されている。これらの評価関数Ｅ（ｌ）を最小化するレイヤを求めることで適切な切断ポイントＣＰを求めることができる。
The first term of the equation (2) indicates a first condition relating to the diameter A of the layers L1 to L3, and n () indicates the number of elements. The smaller the diameter A, the smaller the evaluation function E (l). The second term indicates a second condition relating to the distance D between the layers L1 to L3 and the cutting and holding
＜本実施形態に係る概念的なまとめ、効果＞
要するに、イメージプロセッサ３１は、ハンドカメラ１７により取得された画像を高さ方向のレイヤＬ１〜Ｌ３毎にボクセルＢ２化したレイヤの直径Ｄ、切断挟持機構２１ａからの距離Ｄ、レイヤＬ１〜Ｌ３のボクセルＢ２の垂直方向度、に依存した所定の評価関数ｆ，Ｅ（ｌ）を用いて果柄６ａの切断ポイントＣＰを決定するようにしている。このため、果柄６ａの切断ポイントＣＰを素早く適切に求めることができ、切断ポイントＣＰを切断することでミニトマト７を素早く的確に収穫できる。
<Conceptual Summary, Effect According to This Embodiment>
In short, the
また、ミニトマト７と背景領域とをクラスタリング処理するときには比較的低解像度の第１解像度でクラスタリング処理し、その後、第１解像度より高い第２解像度のボクセルを用いて果柄６ａの切断ポイントＣＰを決定している。このため、果柄６ａの切断ポイントＣＰを素早く適切に求めることができ、切断ポイントＣＰを切断することでミニトマト７を素早く的確に収穫できる。
In addition, when clustering the
（他の実施形態）
前述実施形態に限定されるものではなく、例えば、以下に示す変形又は拡張が可能である。前述した第１から第３実施形態の構成を必要に応じて組み合わせることができる。
(Other embodiments)
The present invention is not limited to the above embodiment, and for example, the following modifications or expansions are possible. The configurations of the first to third embodiments described above can be combined as needed.
第１実施形態において、固定カメラ１２はステレオカメラを用いた形態を示したが、単眼カメラであっても移動しながら二次元画像を複数枚撮像することで三次元画像を生成できる。このため、固定カメラ１２としては単眼カメラを用いても良い。また、第１実施形態においても、固定カメラ１２として、カラー情報と共に奥行き情報が得られるＲＧＢ−Ｄカメラなどの３Ｄカメラを用いても良い。
In the first embodiment, the fixed
切断、挟持する切断挟持機構２１ａを備える形態を示したが、これに限定されるものではなく、例えば、挟持する機能を備えることなく切断機能だけを備えたはさみによる切断部を備え、切断した目標作物を下からネットなどで支える形態に適用しても良い。
Although the form provided with the cutting and holding
収穫対象の目標作物としてミニトマト７を適用した形態を示したが、作物は特に限定されるものではなく、例えばブドウ、白ゴーヤ、大玉トマト、赤パプリカ、黄パプリカなどの作物であり、背景と作物との間の色による識別が可能であれば適用可能となる。また特に第１実施形態では、ブドウは先端の成長が遅い作物であるため、第１実施形態に適用できる期待が大きい。
Although the form which applied the
第３実施形態における評価関数ｆの係数α、β、Ｃ及び閾値ｆｔ、評価関数Ｅ（ｌ）の各項は、目標作物の生育状態や種類に合わせて変更可能とすることが望ましい。また、切断可能な範囲で、実際に切断する切断ポイントＣＰを指定する方法も、目標作物の種類や大きさに応じて調整可能とすると良い。 The coefficients α, β, C and threshold value ft of the evaluation function f and the terms of the evaluation function E (l) in the third embodiment are desirably changeable in accordance with the growth state and type of the target crop. In addition, it is preferable that the method of designating the cutting point CP to be actually cut in the cuttable range be adjustable in accordance with the type and size of the target crop.
前述した実施形態の各要素を組み合わせて構成しても良い。前述実施形態に記述した各機能をハードウェアにより実現してもハードウェア及びソフトウェアの組合せにより実現しても良い。また、特許請求の範囲に記載した括弧内の符号は、本発明の一つの態様として前述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。前述実施形態の一部を、課題を解決できる限りにおいて省略した態様も実施形態と見做すことが可能である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において、考え得るあらゆる態様も実施形態と見做すことが可能である。 You may combine and comprise each element of embodiment mentioned above. Each function described in the above embodiment may be realized by hardware or a combination of hardware and software. Further, reference numerals in parentheses described in the claims indicate the correspondence with the specific means described in the embodiment described above as one aspect of the present invention, and the technical scope of the present invention It is not limited. The aspect which abbreviate | omitted a part of above-mentioned embodiment as long as a subject can be solved can also be considered as embodiment. In addition, any conceivable aspect can be considered as an embodiment without departing from the essence of the invention specified by the language described in the claims.
本開示は、前述した実施形態に準拠して記述したが、当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範畴や思想範囲に入るものである。 Although the present disclosure has been described based on the embodiments described above, it is understood that the present disclosure is not limited to the embodiments or the structures. The present disclosure also includes various modifications and variations within the equivalent range. In addition, various combinations and forms as well as other combinations and forms including one element or more or less or less are also within the scope and the scope of the present disclosure.
図面中、７は房なりのミニトマト（目標作物）、１０，１１０は収穫ロボットシステム、１２は固定カメラ（第１画像取得部）、１３は収穫ロボット、３１はイメージコントローラ（収穫位置取得部）、を示す。 In the drawing, 7 is a bunch of cherry tomatoes (target crop), 10, 110 is a harvesting robot system, 12 is a fixed camera (first image acquisition unit), 13 is a harvesting robot, 31 is an image controller (harvesting position acquisition unit) Indicate.
Claims (3)
台車の所定位置に設置され当該所定位置から収穫対象となる目標作物を含む画像を取得する画像取得部（１２）と、
前記画像取得部により取得された画像を用いて前記目標作物を探索して当該目標作物の位置情報を取得する収穫位置取得部（３１）と、
前記所定位置から前記進行方向の後部において、前記収穫位置取得部により取得された前記目標作物の位置情報を用いて前記目標作物を収穫する収穫ロボット（１３）と、を備え、
前記収穫位置取得部による目標作物の探索処理と前記収穫ロボットによる前記目標作物の収穫処理とを並行して行う収穫ロボットシステム。 A harvesting robot system (10) for harvesting a target crop (7) to be harvested along a traveling direction,
An image acquisition unit (12) installed at a predetermined position of the carriage and acquiring an image including a target crop to be harvested from the predetermined position;
A harvest position acquisition unit (31) for searching for the target crop using the image acquired by the image acquisition unit and acquiring position information of the target crop;
A harvest robot (13) configured to harvest the target crop using the position information of the target crop acquired by the harvest position acquisition unit at the rear of the traveling direction from the predetermined position;
A harvesting robot system that performs a search process of a target crop by the harvest position acquisition unit and a harvest process of the target crop by the harvesting robot in parallel.
前記画像取得部により取得される画像を用いて三次元画像を生成する三次元画像生成部（Ｓ１１）と、
前記三次元画像生成部による三次元画像のあるボクセルから同類色の領域を拡張し当該領域と他の領域とを分離する基本クラスタリング部（Ｓ１２）と、
前記同類色の領域を拡張した端部から下側にて前記同類色とは異なる色領域のボクセルを拡張する熟度判定領域クラスタリング部（Ｓ１３）と、を備え、
前記熟度判定領域クラスタリング部により拡張された領域を用いて前記目標作物の熟度を判定し当該熟度が所定より高い作物を前記目標作物としてその位置情報を特定する（Ｓ１４、Ｓ１５）請求項１記載の収穫ロボットシステム。 When the harvest position acquisition unit acquires the position information of the target crop,
A three-dimensional image generation unit (S11) that generates a three-dimensional image using the image acquired by the image acquisition unit;
A basic clustering unit (S12) for expanding an area of the same color from a certain voxel of a three-dimensional image by the three-dimensional image generation unit and separating the area from the other area;
And a maturity determining region clustering unit (S13) for expanding voxels of a color region different from the similar color from the end of the extended similar color region to the lower side,
The degree of maturity of the target crop is determined using the area expanded by the degree of maturity determination area clustering unit, and the position information of the crop having the degree of ripeness higher than a predetermined level is specified as the target crop (S14, S15) The harvesting robot system according to 1).
所定位置に設置され画像取得部が取り付けられたロボットアーム部（２３〜２９）と、
前記ロボットアーム部が移動制御されることで前記画像取得部を前記目標作物から遠ざかる第１距離にして収穫対象となる目標作物を含む画像を検出する第１検出処理部（Ｓ２２）と、
前記ロボットアーム部が移動制御されることで前記画像取得部を前記第１距離よりも前記目標作物に近づく第２距離にして前記目標作物を含む画像を検出する第２検出処理部（Ｓ２５）と、を備え、
前記第２検出処理部による検出画像を用いて前記目標作物を収穫する収穫部（Ｓ２７）と、を備える収穫ロボットシステム。 A harvesting robot system (110) for harvesting target crops to be harvested, comprising
A robot arm unit (23 to 29) installed at a predetermined position and attached with an image acquisition unit;
A first detection processing unit (S22) for detecting an image including a target crop to be harvested with the image acquisition unit being at a first distance away from the target crop by movement control of the robot arm unit;
A second detection processing unit (S25) for detecting an image including the target crop by setting the image acquisition unit to a second distance closer to the target crop than the first distance by movement control of the robot arm unit; , And
A harvesting unit (S27) configured to harvest the target crop using the image detected by the second detection processing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017230531A JP7049814B2 (en) | 2017-11-30 | 2017-11-30 | Harvest robot system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017230531A JP7049814B2 (en) | 2017-11-30 | 2017-11-30 | Harvest robot system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019097447A true JP2019097447A (en) | 2019-06-24 |
| JP7049814B2 JP7049814B2 (en) | 2022-04-07 |
Family
ID=66974477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017230531A Active JP7049814B2 (en) | 2017-11-30 | 2017-11-30 | Harvest robot system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7049814B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114916318A (en) * | 2022-05-30 | 2022-08-19 | 华南农业大学 | Automatic fruit harvesting device carried on unmanned aerial vehicle and control method thereof |
| CN116267236A (en) * | 2023-05-23 | 2023-06-23 | 四川省机械研究设计院(集团)有限公司 | Cluster fruit picking robot |
| JP7468013B2 (en) | 2020-03-16 | 2024-04-16 | 井関農機株式会社 | Plant Cultivation Equipment |
| JP7505763B2 (en) | 2021-02-17 | 2024-06-25 | 国立研究開発法人農業・食品産業技術総合研究機構 | MOBILE BODY SPEED DERIVATION DEVICE, WORK MANAGEMENT DEVICE, AND MOBILE BODY SPEED DERIVATION METHOD |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3143264A1 (en) * | 2022-12-14 | 2024-06-21 | Commissariat à l'énergie atomique et aux énergies alternatives | Method for controlling a device for automatically harvesting plant elements of interest |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1042665A (en) * | 1996-08-07 | 1998-02-17 | Iseki & Co Ltd | Image pick up device of robot for agricultural use |
| US20060213167A1 (en) * | 2003-12-12 | 2006-09-28 | Harvey Koselka | Agricultural robot system and method |
| JP2012055207A (en) * | 2010-09-07 | 2012-03-22 | Nikon Corp | System and plant for cultivating plant, harvesting device, and method for cultivating plant |
| JP2012198688A (en) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | Crop image processing program, crop image processing method and crop image processing system |
| JP2014183841A (en) * | 2013-02-19 | 2014-10-02 | Muroran Institute Of Technology | Automatic plant harvester, automatic plant harvesting program and method |
-
2017
- 2017-11-30 JP JP2017230531A patent/JP7049814B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1042665A (en) * | 1996-08-07 | 1998-02-17 | Iseki & Co Ltd | Image pick up device of robot for agricultural use |
| US20060213167A1 (en) * | 2003-12-12 | 2006-09-28 | Harvey Koselka | Agricultural robot system and method |
| JP2012055207A (en) * | 2010-09-07 | 2012-03-22 | Nikon Corp | System and plant for cultivating plant, harvesting device, and method for cultivating plant |
| JP2012198688A (en) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | Crop image processing program, crop image processing method and crop image processing system |
| JP2014183841A (en) * | 2013-02-19 | 2014-10-02 | Muroran Institute Of Technology | Automatic plant harvester, automatic plant harvesting program and method |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7468013B2 (en) | 2020-03-16 | 2024-04-16 | 井関農機株式会社 | Plant Cultivation Equipment |
| JP7505763B2 (en) | 2021-02-17 | 2024-06-25 | 国立研究開発法人農業・食品産業技術総合研究機構 | MOBILE BODY SPEED DERIVATION DEVICE, WORK MANAGEMENT DEVICE, AND MOBILE BODY SPEED DERIVATION METHOD |
| CN114916318A (en) * | 2022-05-30 | 2022-08-19 | 华南农业大学 | Automatic fruit harvesting device carried on unmanned aerial vehicle and control method thereof |
| CN116267236A (en) * | 2023-05-23 | 2023-06-23 | 四川省机械研究设计院(集团)有限公司 | Cluster fruit picking robot |
| CN116267236B (en) * | 2023-05-23 | 2023-08-25 | 四川省机械研究设计院(集团)有限公司 | Cluster Fruit Picking Robot |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7049814B2 (en) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019097448A (en) | Harvesting robot system | |
| JP2019097447A (en) | Harvest robot system | |
| Kootstra et al. | Selective harvesting robotics: current research, trends, and future directions | |
| Lehnert et al. | Autonomous sweet pepper harvesting for protected cropping systems | |
| Silwal et al. | Design, integration, and field evaluation of a robotic apple harvester | |
| Birrell et al. | A field‐tested robotic harvesting system for iceberg lettuce | |
| Zhao et al. | A review of key techniques of vision-based control for harvesting robot | |
| Jun et al. | Towards an efficient tomato harvesting robot: 3D perception, manipulation, and end-effector | |
| Hemming et al. | A robot for harvesting sweet-pepper in greenhouses | |
| US9532508B1 (en) | Tagging of fruit-producing flowers for robotic selective harvesting | |
| Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
| Han et al. | Strawberry harvesting robot for bench-type cultivation | |
| JP2020511142A (en) | Automatic harvesting effector | |
| US11477942B2 (en) | Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized-pneumatic robot arms | |
| JP2016073265A (en) | Automatic fruit harvest device | |
| US20230026679A1 (en) | Mobile sensing system for crop monitoring | |
| Yoshida et al. | Cutting point detection using a robot with point clouds for tomato harvesting | |
| Zaenker et al. | Combining local and global viewpoint planning for fruit coverage | |
| Parhar et al. | A deep learning-based stalk grasping pipeline | |
| Burusa et al. | Attention-driven active vision for efficient reconstruction of plants and targeted plant parts | |
| US20240165807A1 (en) | Visual servoing of a robot | |
| Kaljaca et al. | Automated boxwood topiary trimming with a robotic arm and integrated stereo vision | |
| JP7207608B2 (en) | Agricultural crop harvesting method, agricultural crop harvesting device, and agricultural crop harvesting system | |
| JP2021036821A (en) | Harvesting robot | |
| EP4002986A1 (en) | Method of controlling a robotic harvesting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7049814 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |