JP2019097448A - 収穫ロボットシステム - Google Patents
収穫ロボットシステム Download PDFInfo
- Publication number
- JP2019097448A JP2019097448A JP2017230532A JP2017230532A JP2019097448A JP 2019097448 A JP2019097448 A JP 2019097448A JP 2017230532 A JP2017230532 A JP 2017230532A JP 2017230532 A JP2017230532 A JP 2017230532A JP 2019097448 A JP2019097448 A JP 2019097448A
- Authority
- JP
- Japan
- Prior art keywords
- cutting
- harvesting
- image
- tomato
- stem
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Harvesting Machines For Specific Crops (AREA)
- Manipulator (AREA)
Abstract
Description
図1から図18は第1実施形態の説明図を示す。まず図2及び図3を参照して収穫対象の作物となるミニトマトの育て方を説明する。図2は、収穫システム1の一部構成を示しており、例えば房なりの作物としてのミニトマトの栽培領域を示している。以下では、ミニトマトを作物として説明するが、その他の作物も収穫対象として適用できる。この収穫システム1は、ビニールハウスの中でハイワイヤー方式を採用してミニトマトを房ごと自動的に収穫するシステムである。
<ハンドカメラ17の配置及びその機能説明>
図7は収穫ロボットシステム10の電気的構成図を示している。
図7に示すように、収穫ロボットシステム10は、イメージプロセッサ31、ロボットコントローラ32を制御主体として備える。イメージプロセッサ31は、固定カメラ12及びハンドカメラ17に接続されており、固定カメラ12及びハンドカメラ17により撮像された画像の各種処理を行い、ロボットコントローラ32は、収穫ロボット13の第1〜第6アームの旋回制御、ハンドによる切断挟持制御、及び台車11の車輪15の駆動用モータを制御する。イメージプロセッサ31は不遷移的実体的記録媒体としてメモリ33を備える。詳細には後述するが、このメモリ33には機械学習に基づく学習パターンが記憶されており、イメージプロセッサ31はこの学習パターンに応じて画像処理することでミニトマト7の三次元的な位置情報を取得する収穫位置取得部として機能する。
<収穫処理の説明その1>
図8は収穫処理の動作をフローチャートにより示し、図9は収穫方法の一連の流れを概略的に示している。これらの図8及び図9の記載では、説明を理解しやすくするため、n−1、N、N+1、N+2…番目と順にエリアに番号を付し、その収穫方法を順次示している。
この図10に示すように、イメージプロセッサ31は、S11において二次元画像を複数用いて三次元画像を生成する(三次元画像生成部としての機能)。このとき、図11にS11の処理前の複数の二次元画像データ、及び、処理後の三次元画像のデータの概要を示すように、二次元画像が合成された三次元画像の個々のピクセル(所謂ボクセル)に分割された状態で各ボクセルに色情報等の各種情報が設定されるようになる。この処理は、SfM(Structure from Motion)と称される処理により行われるが、このS10の処理時間は後述のS11以降の処理に比較して大幅に時間を要する。
イメージプロセッサ31は、図9のt2、図8のS4においてN番目エリアのミニトマト7の探索処理を終了すると、ルータ34を介してロボットコントローラ32に指令を行い次の処理に移行させる。次に、ロボットコントローラ32は、図8のS5aにおいてN番目エリアのミニトマト7を収穫すると同時に、イメージプロセッサ31はS5bにおいてN+1番目エリアのミニトマト探索処理を行う。これらのS5a及びS5bの処理は、それぞれ収穫ロボット13、イメージプロセッサ31により並行して実行される。
以上説明したように、本実施形態によれば、ミニトマト7の探索処理と収穫ロボット13によるミニトマト7の収穫処理とを並行して行うようにした。これにより収穫作業に伴う時間効率を良好にでき、ミニトマト7を短時間で収穫できるようになる。
図19から図24は第2実施形態の追加説明図を示す。第2実施形態が第1実施形態と異なるところは、1台のカメラ17を用いて目標作物を撮像しその位置情報の取得処理とその収穫処理とを行うところにある。また本実施形態では、収穫ロボット13に対するハンドカメラ17の取付位置及びその使用方法が異なる。
以下では、前述の基本的構造を利用した制御方法の一例を挙げる。図22は収穫処理をフローチャートにより概略的に示している。本実施形態では、イメージプロセッサ31が主体制御し、ロボットコントローラ32が補助的に制御する形態を示すが、何れが主体になって制御を実行しても良いし、当該プロセッサ及びコントローラ31,32を一体にまとめても良い。
要するに、本実施形態では、ミニトマト7の位置特定及び果柄6aの検出処理に同一のハンドカメラ17を用いるため視野角、すなわち画角は一定であるが、まずロボットコントローラ32は、ミニトマト7からの距離を比較的遠くに制御し、ハンドカメラ17によりミニトマト7の位置情報を多数特定し、そしてミニトマト7からの距離を比較的近くに制御し、ハンドカメラ17によりミニトマト7の果柄6aを検出し、当該ミニトマト7を収穫している。そして、これらの処理を繰り返している。このため、一台のハンドカメラ17で多数のミニトマト7を検出しつつ、一つのミニトマト7の果柄6aを検出できる。これにより、多数のミニトマト7を素早く収穫できる。
図25から図30は第3実施形態の追加説明図を示す。例えば、第1実施形態にて説明した図8のS5a、S7aにおけるミニトマト7の収穫処理は、収穫ロボット13により行われる処理である。また第2実施形態では、図22のS25においてミニトマト7の果柄6aを検出し、S27にて果柄6aの切断ポイントにて切断することでミニトマト7を収穫するが、これらの処理も収穫ロボット13によって行われる処理である。
要するに、イメージプロセッサ31は、ハンドカメラ17により取得された画像を高さ方向のレイヤL1〜L3毎にボクセルB2化したレイヤの直径D、切断挟持機構21aからの距離D、レイヤL1〜L3のボクセルB2の垂直方向度、に依存した所定の評価関数f,E(l)を用いて果柄6aの切断ポイントCPを決定するようにしている。このため、果柄6aの切断ポイントCPを素早く適切に求めることができ、切断ポイントCPを切断することでミニトマト7を素早く的確に収穫できる。
前述実施形態に限定されるものではなく、例えば、以下に示す変形又は拡張が可能である。前述した第1から第3実施形態の構成を必要に応じて組み合わせることができる。
Claims (3)
- 収穫対象となる房なりの目標作物(7)及びその果柄(6a)を含む画像を取得する画像取得部(17)と、
前記画像取得部による検出軸(J1)から鋭角に切断軸(J2)を備え前記目標作物の果柄を上側から切断する切断部(21a)を備え前記房なりの目標作物を収穫する収穫部(21)と、
を備える収穫ロボットシステム。 - 前記画像取得部により取得された画像を高さ方向のレイヤ毎にボクセル化した当該レイヤの直径、前記切断部からの距離、及び、前記レイヤのボクセルの垂直方向度、に関するパラメータを含む所定の評価関数(f,E(l))を用いて果柄の切断ポイントを決定する第1切断ポイント決定部(S41〜S45)をさらに備え、
前記収穫部は、前記切断部による前記切断ポイントを切断して目標作物を収穫する請求項1記載の収穫ロボットシステム。 - 前記画像取得部により取得された画像を複数の解像度でボクセル化し(S42)、前記目標作物と背景領域とをクラスタリング処理するときには第1解像度のボクセルを用いてクラスタリング処理し(S43〜S44)、その後、前記第1解像度より高い第2解像度のボクセルを用いて果柄の切断ポイントを決定する(S45)第2切断ポイント決定部(S42〜S45)を備え、
前記収穫部は、前記切断部による前記切断ポイントを切断して目標作物を収穫する請求項1または2記載の収穫ロボットシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017230532A JP7049815B2 (ja) | 2017-11-30 | 2017-11-30 | 収穫ロボットシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017230532A JP7049815B2 (ja) | 2017-11-30 | 2017-11-30 | 収穫ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019097448A true JP2019097448A (ja) | 2019-06-24 |
JP7049815B2 JP7049815B2 (ja) | 2022-04-07 |
Family
ID=66973323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017230532A Active JP7049815B2 (ja) | 2017-11-30 | 2017-11-30 | 収穫ロボットシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7049815B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021018854A1 (en) * | 2019-07-31 | 2021-02-04 | Noronn As | Method of controlling a robotic harvesting device |
JP2021073870A (ja) * | 2019-11-06 | 2021-05-20 | 株式会社デンソー | 農作物収穫システム |
JP2021087369A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社クボタ | 農業用ロボット |
JP2021087371A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社クボタ | 農業用ロボット |
JP2021175396A (ja) * | 2020-04-28 | 2021-11-04 | 株式会社椿本チエイン | 収穫装置、収穫システム、収穫方法及びコンピュータプログラム |
WO2022014641A1 (ja) * | 2020-07-15 | 2022-01-20 | ヤマハ発動機株式会社 | エンドエフェクタ |
CN113994814A (zh) * | 2021-11-25 | 2022-02-01 | 陕西科技大学 | 一种智能果蔬采摘机器人 |
KR20220068020A (ko) * | 2020-11-18 | 2022-05-25 | 박선호 | 농작물 수확로봇 |
CN114788455A (zh) * | 2022-04-12 | 2022-07-26 | 苏州大学 | 一种基于目标检测的串番茄单粒采摘方法及系统 |
US11445663B2 (en) | 2018-02-13 | 2022-09-20 | Saga Robotics As | Device for picking fruit comprising overlapping locating members |
CN117617002A (zh) * | 2024-01-04 | 2024-03-01 | 太原理工大学 | 一种用于番茄自动识别及智能采收的方法 |
JP7468013B2 (ja) | 2020-03-16 | 2024-04-16 | 井関農機株式会社 | 植物栽培設備 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1052145A (ja) * | 1996-08-08 | 1998-02-24 | Iseki & Co Ltd | 農業用ロボットの収穫装置 |
US20060213167A1 (en) * | 2003-12-12 | 2006-09-28 | Harvey Koselka | Agricultural robot system and method |
JP2012055207A (ja) * | 2010-09-07 | 2012-03-22 | Nikon Corp | 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法 |
JP2012110256A (ja) * | 2010-11-22 | 2012-06-14 | National Agriculture & Food Research Organization | 果柄切断装置 |
-
2017
- 2017-11-30 JP JP2017230532A patent/JP7049815B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1052145A (ja) * | 1996-08-08 | 1998-02-24 | Iseki & Co Ltd | 農業用ロボットの収穫装置 |
US20060213167A1 (en) * | 2003-12-12 | 2006-09-28 | Harvey Koselka | Agricultural robot system and method |
JP2012055207A (ja) * | 2010-09-07 | 2012-03-22 | Nikon Corp | 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法 |
JP2012110256A (ja) * | 2010-11-22 | 2012-06-14 | National Agriculture & Food Research Organization | 果柄切断装置 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11445663B2 (en) | 2018-02-13 | 2022-09-20 | Saga Robotics As | Device for picking fruit comprising overlapping locating members |
WO2021018854A1 (en) * | 2019-07-31 | 2021-02-04 | Noronn As | Method of controlling a robotic harvesting device |
JP2021073870A (ja) * | 2019-11-06 | 2021-05-20 | 株式会社デンソー | 農作物収穫システム |
JP7184016B2 (ja) | 2019-11-06 | 2022-12-06 | 株式会社デンソー | 農作物収穫システム |
JP2021087369A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社クボタ | 農業用ロボット |
JP2021087371A (ja) * | 2019-12-02 | 2021-06-10 | 株式会社クボタ | 農業用ロボット |
JP7225081B2 (ja) | 2019-12-02 | 2023-02-20 | 株式会社クボタ | 農業用ロボット |
JP7214612B2 (ja) | 2019-12-02 | 2023-01-30 | 株式会社クボタ | 農業用ロボット |
JP7468013B2 (ja) | 2020-03-16 | 2024-04-16 | 井関農機株式会社 | 植物栽培設備 |
JP2021175396A (ja) * | 2020-04-28 | 2021-11-04 | 株式会社椿本チエイン | 収穫装置、収穫システム、収穫方法及びコンピュータプログラム |
JP7259888B2 (ja) | 2020-04-28 | 2023-04-18 | 株式会社椿本チエイン | 収穫装置、収穫システム、収穫方法及びコンピュータプログラム |
WO2022013978A1 (ja) * | 2020-07-15 | 2022-01-20 | ヤマハ発動機株式会社 | エンドエフェクタ |
WO2022014641A1 (ja) * | 2020-07-15 | 2022-01-20 | ヤマハ発動機株式会社 | エンドエフェクタ |
KR20220068020A (ko) * | 2020-11-18 | 2022-05-25 | 박선호 | 농작물 수확로봇 |
KR102542825B1 (ko) | 2020-11-18 | 2023-06-14 | 농업회사법인 주식회사 에그리봇 | 농작물 수확로봇 |
CN113994814A (zh) * | 2021-11-25 | 2022-02-01 | 陕西科技大学 | 一种智能果蔬采摘机器人 |
CN114788455A (zh) * | 2022-04-12 | 2022-07-26 | 苏州大学 | 一种基于目标检测的串番茄单粒采摘方法及系统 |
CN114788455B (zh) * | 2022-04-12 | 2023-08-25 | 苏州大学 | 一种基于目标检测的串番茄单粒采摘方法及系统 |
CN117617002A (zh) * | 2024-01-04 | 2024-03-01 | 太原理工大学 | 一种用于番茄自动识别及智能采收的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7049815B2 (ja) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019097448A (ja) | 収穫ロボットシステム | |
JP2019097447A (ja) | 収穫ロボットシステム | |
Lehnert et al. | Autonomous sweet pepper harvesting for protected cropping systems | |
Kootstra et al. | Selective harvesting robotics: current research, trends, and future directions | |
Jun et al. | Towards an efficient tomato harvesting robot: 3D perception, manipulation, and end-effector | |
Silwal et al. | Design, integration, and field evaluation of a robotic apple harvester | |
Zhao et al. | A review of key techniques of vision-based control for harvesting robot | |
Hemming et al. | A robot for harvesting sweet-pepper in greenhouses | |
US9532508B1 (en) | Tagging of fruit-producing flowers for robotic selective harvesting | |
Sarig | Robotics of fruit harvesting: A state-of-the-art review | |
Han et al. | Strawberry harvesting robot for bench-type cultivation | |
JP2020511142A (ja) | 自動収穫エフェクタ | |
US11477942B2 (en) | Robotic fruit harvesting machine with fruit-pair picking and hybrid motorized-pneumatic robot arms | |
JP2016073265A (ja) | 果実自動収穫装置 | |
JP2008206438A (ja) | 果実収穫ロボット | |
Yoshida et al. | Cutting point detection using a robot with point clouds for tomato harvesting | |
Zaenker et al. | Combining local and global viewpoint planning for fruit coverage | |
CN114260895A (zh) | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 | |
Parhar et al. | A deep learning-based stalk grasping pipeline | |
US20240165807A1 (en) | Visual servoing of a robot | |
Campbell et al. | An integrated actuation-perception framework for robotic leaf retrieval: detection, localization, and cutting | |
JP7207608B2 (ja) | 農作物収穫方法、農作物収穫装置、及び農作物収穫システム | |
Kaljaca et al. | Automated boxwood topiary trimming with a robotic arm and integrated stereo vision | |
JP2021036821A (ja) | 収穫ロボット | |
US20220264801A1 (en) | Method of controlling a robotic harvesting device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201021 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7049815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |