JP2022006699A - Agricultural robot - Google Patents
Agricultural robot Download PDFInfo
- Publication number
- JP2022006699A JP2022006699A JP2020109080A JP2020109080A JP2022006699A JP 2022006699 A JP2022006699 A JP 2022006699A JP 2020109080 A JP2020109080 A JP 2020109080A JP 2020109080 A JP2020109080 A JP 2020109080A JP 2022006699 A JP2022006699 A JP 2022006699A
- Authority
- JP
- Japan
- Prior art keywords
- crop
- arm
- frame
- estimation unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 238000013075 data extraction Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000003028 elevating effect Effects 0.000 description 18
- 239000010720 hydraulic oil Substances 0.000 description 11
- 238000003306 harvesting Methods 0.000 description 10
- 238000010079 rubber tapping Methods 0.000 description 7
- 229910000831 Steel Inorganic materials 0.000 description 6
- 210000000078 claw Anatomy 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 241000219109 Citrullus Species 0.000 description 3
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 235000000832 Ayote Nutrition 0.000 description 2
- 244000241257 Cucumis melo Species 0.000 description 2
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 2
- 235000009854 Cucurbita moschata Nutrition 0.000 description 2
- 240000001980 Cucurbita pepo Species 0.000 description 2
- 235000009804 Cucurbita pepo subsp pepo Nutrition 0.000 description 2
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 2
- 238000003898 horticulture Methods 0.000 description 2
- 239000003921 oil Substances 0.000 description 2
- 235000015136 pumpkin Nutrition 0.000 description 2
- 238000005507 spraying Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000010413 gardening Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、農業用ロボットに関する。 The present invention relates to an agricultural robot.
従来、特許文献１に開示された農業用ロボットが知られている。
特許文献１に開示された農業用ロボットは、走行体に作物の収穫を行うことが可能なマニピュレータが設けられている。
Conventionally, an agricultural robot disclosed in
The agricultural robot disclosed in
さて、スイカ、メロン、カボチャ等の作物は様々なところで栽培（作付け）されるのが一般的である。農業用ロボットで作業を行うにあたって、適正に作物を把握することが必要であるものの、様々な要因で適正に作物を把握することが難しいのが実情である。
本発明は、センシングデータから簡単に作物を推定することができる農業用ロボットを提供することを目的とする。
By the way, crops such as watermelon, melon, and pumpkin are generally cultivated (planted) in various places. Although it is necessary to properly grasp crops when working with agricultural robots, the reality is that it is difficult to properly grasp crops due to various factors.
An object of the present invention is to provide an agricultural robot capable of easily estimating a crop from sensing data.
農業用ロボットは、走行体と、前記走行体に設けられ、作物に関する作業を行う作業部と、前記走行体に設けられた光学式センサと、前記光学式センサで得られたセンシングデータに基づいて、前記作物を推定する作物推定部と、を備え、前記作物推定部は、前記センシングデータに基づいて前記推定する作物を特定し且つ前記センシングデータのうち前記特定した作物に対応するデータを部分データとして抽出するデータ抽出部と、前記データ抽出部によって抽出した前記部分データから得られた前記作物の表面状態から作物を推定する推定部と、を有している。 The agricultural robot is based on a traveling body, a working unit provided on the traveling body to perform work related to crops, an optical sensor provided on the traveling body, and sensing data obtained by the optical sensor. , The crop estimation unit for estimating the crop, and the crop estimation unit identifies the crop to be estimated based on the sensing data, and partially data the data corresponding to the specified crop among the sensing data. It has a data extraction unit to be extracted as a crop, and an estimation unit to estimate the crop from the surface state of the crop obtained from the partial data extracted by the data extraction unit.
前記推定部は、前記部分データで示された作物に関し、前記作物の種類と前記作物の表面状態とに基づいて、前記作物を推定する。
前記推定部は、前記作物の表面状態として前記作物の模様と、前記作物の種類とに基づいて、前記作物を推定する。
前記推定部は、前記推定した作物の推定結果に基づいて、前記部分データに含まれる前記作物の輪郭を演算する。
The estimation unit estimates the crop based on the type of the crop and the surface state of the crop with respect to the crop indicated by the partial data.
The estimation unit estimates the crop based on the pattern of the crop and the type of the crop as the surface state of the crop.
The estimation unit calculates the contour of the crop included in the partial data based on the estimation result of the estimated crop.
前記推定部は、前記作物の種類を推定し且つ、前記部分データで得られた前記作物の周囲に関して前記推定した作物の表面を隠す障害物を推定する。
前記作業部は、前記推定部で推定した前記障害物を、前記作物から遠ざける作業を行う。
農業用ロボットは、前記作物と前記作物の表面状態との関係を、深層学習することで前記表面状態モデルを生成するモデル生成部を備えている。
The estimation unit estimates the type of the crop and estimates an obstacle that hides the surface of the estimated crop with respect to the surroundings of the crop obtained from the partial data.
The working unit performs work to keep the obstacle estimated by the estimation unit away from the crop.
The agricultural robot includes a model generation unit that generates the surface state model by deep learning the relationship between the crop and the surface state of the crop.
本発明によれば、センシングデータから簡単に作物を推定することができる。 According to the present invention, crops can be easily estimated from sensing data.
以下、本発明の一実施形態について、図面を適宜参照しつつ説明する。
図１、図２は、農業用ロボット１を例示している。農業用ロボット１は、図１６～図１９に示すようなハウス等の施設園芸、植物工場等の施設において、栽培される作物２に対して作業（農作業）を行うロボットである。農業用ロボット１は、例えば、スイカ、メロン、カボチャ等の比較的重量のある作物２である重量野菜、果実等に対して作業を行う。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings as appropriate.
1 and 2 illustrate the
まず、施設園芸の施設（施設園芸施設）を例にとり、施設について説明する。
図１６～図１９に示すように、施設１００は、当該施設１００を構成する構造物として、ハウス１０１と、ハウス１０１の内部に設置された機器１０２とを備えている。
ハウス１０１は、フレーム１１０と、被覆材１１１とを含んでいる。フレーム１１０は、例えば、Ｉ形鋼、Ｈ形鋼、Ｃ形鋼、角形鋼、丸形鋼等の様々な鋼材を組み合わせて、施設１００の躯体を構成していて、複数の支柱部材１１０Ａと、複数の連結部材１１０Ｂとを含んでいる。図１６～図１８に示すように、複数の支柱部材１１０Ａは、地面等から起立した部材であって、横方向Ｘ１に所定の間隔で設置され且つ縦方向Ｙ１に所定の間隔で設置されている。
First, the facility will be described by taking a facility of facility horticulture (facility horticultural facility) as an example.
As shown in FIGS. 16 to 19, the
The
連結部材１１０Ｂは、横方向Ｘ１に離れた複数の支柱部材１１０Ａの上端を互いに連結する。また、連結部材１１０Ｂは、縦方向Ｙ１に離れた複数の支柱部材１１０Ａを互いに連結する。
被覆材１１１は、少なくとも太陽光を取り入れ可能な透光性を有する部材であって、合成樹脂、ガラス等で構成されている。被覆材１１１は、例えば、フレーム１１０の外側から当該フレーム１１０の全体を覆っている。言い換えれば、被覆材１１１は、支柱部材１１０Ａの外側、連結部材１１０Ｂの外側に配置されている。
The connecting
The covering
機器１０２は、作物２を栽培する際に使用する様々な機器であって、ハウス１０１内の温度、湿度、空気流動等を調整することができる機器である。詳しくは、機器１０２は、換気扇１０２Ａ、循環扇１０２Ｂ、熱交換装置１０２Ｃ等である。図１６、図１７に示すように、換気扇１０２Ａは、ハウス１０１の出入口１３０側に設置され、外部の空気をハウス１０１内の空気を外部に排出したり、外部の空気をハウス１０１内に取り入れる。
循環扇１０２Ｂは、ハウス１０１内に設置されていて、ハウス１０１内の空気を所定の方向に循環させる。熱交換装置１０２Ｃはハウス１０１の温度を変更可能な装置であり、例えば、ヒートポンプ構成されている。上述した機器１０２は、一例であり、灌水機器、照明機器、噴霧機器などであってもよいし限定されない。
The
The
農業用ロボット１は、施設１００内において、栽培場所１０５で栽培された作物２に対して様々な農作業、例えば、作物２の収穫、肥料散布、農薬散布などの農作業を行う。農
業用ロボット１は、自立型のロボットである。
図１～図８は、農業用ロボット１を示している。図８は、農業用ロボットの支援システムを示している。
The
1 to 8 show the
以下、農業用ロボット１及び農業用ロボットの支援システムについて詳しく説明する。以下の説明において、図１、図２に矢印Ａ１で示す方向を前方、矢印Ａ２で示す方向を後方、矢印Ａ３で示す方向を前後方向として説明する。したがって、図２に矢印Ｂ１で示す方向（図１の手前側）が左方であり、図２に矢印Ｂ２で示す方向（図１の奥側）が右方である。また、前後方向Ａ３に直交する水平方向を機体幅方向（図２の矢印Ｂ３方向）として説明する。
Hereinafter, the
図１に示すように、農業用ロボット１は、自律走行する走行体３を有している。走行体３は、機体６と、機体６を走行可能に支持する走行装置７とを有している。
図３、図４に示すように、機体６は、メインフレーム６Ａと、原動機フレーム６Ｂとを有している。メインフレーム６Ａは、機体幅方向Ｂ３で間隔をあけて配置された一対の第１フレーム６Ａａと、各第１フレーム６Ａａの下方に間隔をあけて配置された一対の第２フレーム６Ａｂとを有している。第１フレーム６Ａａと第２フレーム６Ａｂとは、複数の縦フレーム６Ａｃによって連結されている。縦フレーム６Ａｃは、左の第１フレーム６Ａａと左の第２フレーム６Ａｂとの前部間、右の第１フレーム６Ａａと右の第２フレーム６Ａｂとの前部間、左の第１フレーム６Ａａと左の第２フレーム６Ａｂとの後部間、右の第１フレーム６Ａａと右の第２フレーム６Ａｂとの後部間に設けられている。
As shown in FIG. 1, the
As shown in FIGS. 3 and 4, the
左の第１フレーム６Ａａと右の第１フレーム６Ａａとは、第１フレーム６Ａａ間に配置された第１横フレーム６Ａｄ～第５横フレーム６Ａｈによって連結されている。第１横フレーム６Ａｄ～第５横フレーム６Ａｈは、第１フレーム６Ａａの前端から後端にわたって前後方向Ａ３で間隔をあけて並行状に配置されている。
第２フレーム６Ａｂの前部同士は、第６横フレーム６Ａｊによって連結され、第２フレーム６Ａｂの後部同士は、第７横フレーム６Ａｋによって連結されている。
The left first frame 6Aa and the right first frame 6Aa are connected by a first horizontal frame 6Ad to a fifth horizontal frame 6Ah arranged between the first frames 6Aa. The first horizontal frame 6Ad to the fifth horizontal frame 6Ah are arranged in parallel with an interval in the front-rear direction A3 from the front end to the rear end of the first frame 6Aa.
The front portions of the second frame 6Ab are connected to each other by the sixth horizontal frame 6Aj, and the rear portions of the second frame 6Ab are connected to each other by the seventh horizontal frame 6Ak.
原動機フレーム６Ｂは、メインフレーム６Ａの下方側に配置されている。原動機フレーム６Ｂは、前フレーム６Ｂａと、後フレーム６Ｂｂと、複数の連結フレーム６Ｂｃと、複数の取付フレーム６Ｂｄとを有している。前フレーム６Ｂａは、上部が、左及び右の第２フレーム６Ａｂの前部に取り付けられている。後フレーム６Ｂｂは、上部が、左及び右の第２フレーム６Ａｂの前部に取り付けられている。複数の連結フレーム６Ｂｃは、前フレーム６Ｂａと後フレーム６Ｂｂの下部間を連結している。複数の取付フレーム６Ｂｄは、連結フレーム６Ｂｃの前後方向Ａ３中央部に固定されている。
The
図４に示すように、取付フレーム６Ｂｄには、原動機（エンジン）Ｅ１が取り付けられている。原動機Ｅ１には、油圧ポンプＰ１が取り付けられている。油圧ポンプＰ１は、原動機Ｅ１で駆動される。また、原動機フレーム６Ｂには、油圧ポンプＰ１から吐出する作動油を貯留する作動油タンク（図示省略）が搭載されている。
図５に示すように、メインフレーム６Ａ（機体６）には、走行装置７を制御する複数のコントロールバルブ（第１コントロールバルブＣＶ１～第４コントロールバルブＣＶ４）が搭載されている。
As shown in FIG. 4, a prime mover (engine) E1 is attached to the attachment frame 6Bd. A hydraulic pump P1 is attached to the prime mover E1. The hydraulic pump P1 is driven by the prime mover E1. Further, the
As shown in FIG. 5, a plurality of control valves (first control valve CV1 to fourth control valve CV4) for controlling the traveling
図１、図２、図５に示すように、走行装置７は、４輪の車輪８を有する車輪型（４輪型）の走行装置７で構成されている。詳しくは、走行装置７は、機体６前部の左側に配置された第１車輪８Ｌａ（左前輪）と、機体６前部の右側に配置された第２車輪８Ｒａ（右前輪）と、機体６後部の左側に配置された第３車輪８Ｌｂ（左後輪）と、機体６後部の右側に配置された第４車輪８Ｒｂ（右後輪）とを備えている。なお、走行装置７は、少なくとも３輪の車輪８を有する車輪型走行装置で構成されていてもよい。また、走行装置７は、クローラ型の走行装置であってもよい。
As shown in FIGS. 1, 2, and 5, the traveling
走行装置７は、車輪８を支持する車輪支持体９を有している。車輪支持体９は、車輪８に対応する数設けられている。つまり、走行装置７は、第１車輪８Ｌａを支持する第１車輪支持体９Ｌａ、第２車輪８Ｒａを支持する第２車輪支持体９Ｒａ、第３車輪８Ｌｂを支持する第３車輪支持体９Ｌｂ及び第４車輪８Ｒｂを支持する第４車輪支持体９Ｒｂを有し
ている。
The traveling
図５、図６に示すように、車輪支持体９は、走行フレーム１０と、操向シリンダＣ１と、第１昇降シリンダＣ２と、第２昇降シリンダＣ３と、走行モータＭ１とを有している。
走行フレーム１０は、主支持体１０Ａと、揺動フレーム１０Ｂと、車輪フレーム１０Ｃとを有している。主支持体１０Ａは、機体６に縦軸（上下方向に延伸する軸心）回りに可能に支持されている。詳しくは、主支持体１０Ａは機体６に固定された支持ブラケット１１に上下方向に延伸する軸心を有する第１支軸１２Ａを介して回動可能に支持されている。
As shown in FIGS. 5 and 6, the
The traveling
図５に示すように、第１車輪支持体９Ｌａを枢支する支持ブラケット１１は機体６の前部左側に設けられ、第２車輪支持体９Ｒａを枢支する支持ブラケット１１は機体６の前部右側に設けられ、第３車輪支持体９Ｌｂを枢支する支持ブラケット１１は機体６の後部左側に設けられ、第４車輪支持体９Ｒｂを枢支する支持ブラケット１１は機体６の後部右側に設けられている。
As shown in FIG. 5, the
揺動フレーム１０Ｂは、主支持体１０Ａに上下揺動可能に支持されている。詳しくは、揺動フレーム１０Ｂは、上部が主支持体１０Ａに第２支軸１２Ｂを介して横軸（機体幅方向Ｂ３に延伸する軸心）回りに回動可能に支持されている。
第１車輪支持体９Ｌａ及び第２車輪支持体９Ｒａの揺動フレーム１０Ｂは前上部が主支持体１０Ａに枢支され、第３車輪支持体９Ｌｂ及び第４車輪支持体９Ｒｂの揺動フレーム１０Ｂは後上部が主支持体１０Ａに枢支されている。
The
The front upper part of the
車輪フレーム１０Ｃは、揺動フレーム１０Ｂに上下揺動可能に支持されている。詳しくは、車輪フレーム１０Ｃは、揺動フレーム１０Ｂに第３支軸１２Ｃを介して横軸回りに回動可能に支持されている。
第１車輪支持体９Ｌａ及び第２車輪支持体９Ｒａの車輪フレーム１０Ｃは後部が揺動フレーム１０Ｂの後部に枢支され、第３車輪支持体９Ｌｂ及び第４車輪支持体９Ｒｂの車輪フレーム１０Ｃは前部が揺動フレーム１０Ｂの前部に枢支されている。
The
The rear part of the
操向シリンダＣ１、第１昇降シリンダＣ２及び第２昇降シリンダＣ３は、油圧シリンダによって構成されている。
操向シリンダＣ１は、機体６と主支持体１０Ａとの間に設けられている。詳しくは、操向シリンダＣ１の一端は、第１フレーム６Ａａの前後方向Ａ３中央部に固定されたシリンダブラケット１４Ａに枢支され、操向シリンダＣ１の他端は、主支持体１０Ａに固定されたシリンダブラケット１４Ｂに枢支されている。操向シリンダＣ１を伸縮することにより走行フレーム１０が第１支軸１２Ａ回りに揺動し、車輪８（第１車輪８Ｌａ～第４車輪８Ｒｂ）の向きを変更する（操向する）ことができる。本実施形態の走行装置７にあっては、各車輪８を独立して操向可能である。
The steering cylinder C1, the first elevating cylinder C2, and the second elevating cylinder C3 are composed of hydraulic cylinders.
The steering cylinder C1 is provided between the
第１昇降シリンダＣ２は、一端が揺動フレーム１０Ｂに枢支され、他端が第１リンク機構１５Ａに枢支されている。第１リンク機構１５Ａは、第１リンク１５ａと第２リンク１５ｂとを有している。第１リンク１５ａの一端は、主支持体１０Ａに枢支され、第２リンク１５ｂの一端は揺動フレーム１０Ｂに枢支されている。第１リンク１５ａと第２リンク１５ｂとの他端は、第１昇降シリンダＣ２の他端に枢支されている。第１昇降シリンダＣ２を伸縮することにより揺動フレーム１０Ｂが第２支軸１２Ｂ回りに上下揺動する。
One end of the first elevating cylinder C2 is pivotally supported by the
第２昇降シリンダＣ３は、一端が揺動フレーム１０Ｂの前部に枢支され、他端が第２リンク機構１５Ｂに枢支されている。第２リンク機構１５Ｂは、第１リンク１５ｃと第２リンク１５ｄとを有している。第１リンク１５ｃの一端は、揺動フレーム１０Ｂに枢支され、第２リンク１５ｄの一端は車輪フレーム１０Ｃに枢支されている。第１リンク１５ｃと第２リンク１５ｄとの他端は、第２昇降シリンダＣ３の他端に枢支されている。第２昇降シリンダＣ３を伸縮することにより車輪フレーム１０Ｃが第３支軸１２Ｃ回りに上下揺動する。
One end of the second elevating cylinder C3 is pivotally supported by the front portion of the
第１昇降シリンダＣ２による揺動フレーム１０Ｂの上下揺動と、第２昇降シリンダＣ３による車輪フレーム１０Ｃの上下揺動とを組み合わせることによって車輪８を平行状に昇降させることができる。
走行モータＭ１は、油圧モータによって形成されている。走行モータＭ１は、各車輪８に対応して設けられている。即ち、走行装置７は、第１車輪８Ｌａを駆動する走行モータＭ１と、第２車輪８Ｒａを駆動する走行モータＭ１と、第３車輪８Ｌｂを駆動する走行モータＭ１と、第４車輪８Ｒｂを駆動する走行モータＭ１とを有している。走行モータＭ１は、車輪８の機体幅方向Ｂ３の内方に配置され、車輪フレーム１０Ｃに取り付けられている。走行モータＭ１は、油圧ポンプＰ１から吐出される作動油によって駆動され、正逆転可能である。走行モータＭ１を正逆転させることにより、車輪８の回転を正転方向と逆転方向とに切り換えることができる。
The
The traveling motor M1 is formed by a hydraulic motor. The traveling motor M1 is provided corresponding to each
第２車輪支持体９Ｒａ、第３車輪支持体９Ｌｂ及び第４車輪支持体９Ｒｂは、第１車輪支持体９Ｌａを構成する構成部品と同様の構成部品を有している。第２車輪支持体９Ｒａは、第１車輪支持体９Ｌａと左右対称に構成されている。第３車輪支持体９Ｌｂは、第２車輪支持体９Ｒａを機体６の中心を通る上下方向のセンタ軸心回りに１８０°回転させた形態を呈している。第４車輪支持体９Ｒｂは、第１車輪支持体９Ｌａをセンタ軸心回りに１８０°回転させた形態を呈している。
The second wheel support 9Ra, the third wheel support 9Lb, and the fourth wheel support 9Rb have the same components as the components constituting the first wheel support 9La. The second wheel support 9Ra is configured symmetrically with the first wheel support 9La. The third wheel support 9Lb has a form in which the second wheel support 9Ra is rotated by 180 ° around the center axis in the vertical direction passing through the center of the
第１車輪支持体９Ｌａに装備された油圧アクチュエータは、第１コントロールバルブＣＶ１によって制御される。第２車輪支持体９Ｒａに装備された油圧アクチュエータは、第２コントロールバルブＣＶ２によって制御される。第３車輪支持体９Ｌｂに装備された油圧アクチュエータは、第３コントロールバルブＣＶ３によって制御される。第４車輪支持体９Ｒｂに装備された油圧アクチュエータは、第４コントロールバルブＣＶ４によって制御される。 The hydraulic actuator mounted on the first wheel support 9La is controlled by the first control valve CV1. The hydraulic actuator mounted on the second wheel support 9Ra is controlled by the second control valve CV2. The hydraulic actuator mounted on the third wheel support 9Lb is controlled by the third control valve CV3. The hydraulic actuator mounted on the fourth wheel support 9Rb is controlled by the fourth control valve CV4.
したがって、第１車輪８Ｌａ～第４車輪８Ｒｂは、それぞれ独立的に操向可能である。また、第１車輪８Ｌａ～第４車輪８Ｒｂは、それぞれ独立的に昇降可能である。
上記走行装置７にあっては、第１車輪８Ｌａ～第４車輪８Ｒｂを操向操作することで走行体３を操向することができる。第１車輪８Ｌａ～第４車輪８Ｒｂを正転させることで走行体３を前進させることができ、逆転させることにより走行体３を後進させることができる。第１車輪８Ｌａ～第４車輪８Ｒｂを昇降することにより走行体３を昇降することができる。第１車輪８Ｌａ及び第２車輪８Ｒａを第３車輪８Ｌｂ及び第４車輪８Ｒｂに対して昇降することにより、或いは、第３車輪８Ｌｂ及び第４車輪８Ｒｂを第１車輪８Ｌａ及び第２車輪８Ｒａに対して昇降することにより、機体６を前傾または後傾させることができる。第１車輪８Ｌａ及び第３車輪８Ｌｂを第２車輪８Ｒａ及び第４車輪８Ｒｂに対して昇降することにより、或いは、第２車輪８Ｒａ及び第４車輪８Ｒｂを第１車輪８Ｌａ及び第３車輪８Ｌｂに対して昇降することにより、機体６を、機体幅方向Ｂ３の一側が他側よりも高い傾斜状にすることができる。
Therefore, the first wheel 8La to the fourth wheel 8Rb can be steered independently. Further, the first wheel 8La to the fourth wheel 8Rb can be raised and lowered independently.
In the traveling
農業用ロボット１は、走行体３に装着されたマニピュレータ（作業部）４を備えている。マニピュレータ（作業部）４は、作業を行う部分であって、例えば、本実施形態では、少なくとも作物２の収穫を行うことが可能な装置である。
図３、図４に示すように、マニピュレータ４は、走行体３（機体６）に着脱可能に装着された装着体１６と、装着体１６に取り付けられたアーム１７と、アーム１７に設けられていて作物（対象物）２を把持可能なロボットハンド１８とを備えている。
The
As shown in FIGS. 3 and 4, the
図１に示すように、装着体１６は、本実施形態では、走行体３の後部に設けられている。なお、装着体１６は、走行体３の前部に設けられていてもよい。つまり、走行体３における前後方向Ａ３の中央部から一方側に偏倚して設けられていればよい。また、本実施形態では、農業用ロボット１は、走行体３を前方に進行させて収穫作業を行うので、装着体１６は、進行方向とは反対側の方向である進行逆方向側に偏倚して設けられている。装着体１６は、箱型に形成されていて走行体３に対して着脱可能である。
As shown in FIG. 1, the mounting
装着体１６には、回動フレーム２１が立設されている。回動フレーム２１は、装着体１６の内部に設けられた回動モータＭ２によって回動軸心Ｊ１の周囲を回動可能である。回動フレーム２１を回動させることにより、ロボットハンド１８を回動軸心Ｊ１を中心とする円周方向に移動（位置変更）させることができる。
図３、図４に示すように、アーム１７は、回動フレーム２１に上下揺動可能に支持され
ると共に長手方向の中途部で屈伸可能である。アーム１７は、メインアーム２９とサブアーム３０とを有している。
A
As shown in FIGS. 3 and 4, the
メインアーム２９は、回動フレーム２１に上下揺動可能に枢支され、屈伸可能である。詳しくは、メインアーム２９は、回動フレーム２１に上下揺動可能に枢支された第１アーム部３１と、第１アーム部３１に揺動可能に枢支された第２アーム部３２とを有し、第１アーム部３１に対して第２アーム部３２が揺動することで屈伸可能とされている。
第１アーム部３１は、基部側３１ａがアームブラケット２６に枢支されている。第１アーム部３１は、図３に示すように、第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒを有している。第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒは、機体幅方向Ｂ３で並べて配置され且つ連結パイプ３１Ａ等で相互に連結されている。第１アームフレーム３１Ｌと第２アームフレーム３１Ｒとの基部側３１ａ間にアームブラケット２６の上部が挿入され、機体幅方向Ｂ３に延伸する軸心を有するアーム枢軸３３Ａ（第１アーム枢軸という）を介して第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒの基部側３１ａがアームブラケット２６に第１アーム枢軸３３Ａの軸心回りに回動可能に支持されている。
The
The
第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒは中空部材で形成されている。第１アーム部３１の長さは、走行体３（機体６）の前後方向Ａ３の長さよりも短く形成されている。
図４に示すように、第１アーム部３１は、基部側３１ａであって且つ第１アーム枢軸３３Ａよりも先端側３１ｃ寄りに、シリンダ取付部３１ｂを有している。このシリンダ取付部３１ｂとシリンダブラケット２７のシリンダ取付部２７ａとにわたって第１アームシリンダ（第１油圧シリンダ）Ｃ４が設けられている。第１アームシリンダＣ４は、走行体３に設けた油圧ポンプＰ１から吐出される作動油によって駆動されて伸縮する。第１アームシリンダＣ４を伸縮させることで第１アーム部３１が上下揺動する。第１アーム部３１（アーム１７）を上下揺動させることにより、ロボットハンド１８を昇降させることができる。第１アームシリンダＣ４には、第１アームシリンダＣ４のストロークを検出する第１ストロークセンサが設けられている。
The
As shown in FIG. 4, the
図４に示すように、第１アーム部３１の先端側３１ｃには、枢支部材３１Ｂが固定されている。詳しくは、枢支部材３１Ｂは、基部３１Ｂａが第１アームフレーム３１Ｌと第２アームフレーム３１Ｒとの間に挿入されて第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒに固定されている。枢支部材３１Ｂの基部３１Ｂａの下面側には、シリンダステー３４が取り付けられている。枢支部材３１Ｂの先端側３１Ｂｂは、第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒから前方に突出している。
As shown in FIG. 4, a
図３に示すように、第２アーム部３２の長さは、第１アーム部３１の長さよりも長く形成されている。第２アーム部３２は、基部側３２ａが枢支部材３１Ｂの先端側３１Ｂｂに枢支されている。第２アーム部３２は、第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒを有している。第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒは、機体幅方向Ｂ３で並べて配置され且つ複数の連結プレート３５によって相互に連結されている。第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒは中空部材で形成されている。第３アームフレーム３２Ｌと第４アームフレーム３２Ｒとの基部側３２ａ間に枢支部材３１Ｂの先端側３１Ｂｂが挿入されている。第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒ（第２アーム部３２）は、機体幅方向Ｂ３に延伸する軸心を有するアーム枢軸（第２アーム枢軸という）３３Ｂによって枢支部材３１Ｂに枢支されている。
As shown in FIG. 3, the length of the
第２アーム部３２の基部側３２ａであって第２アーム枢軸３３Ｂよりも先端側３２ｂ寄りには、シリンダ取付部３２ｃが設けられている。このシリンダ取付部３２ｃとシリンダステー３４とにわたって第２アームシリンダ（第２油圧シリンダ）Ｃ５が設けられている。第２アームシリンダＣ５は、走行体３に設けた油圧ポンプＰ１から吐出される作動油によって駆動されて伸縮する。第２アームシリンダＣ５を伸縮させることで第１アーム部３１に対して第２アーム部３２が揺動し、メインアーム２９（アーム１７）が屈伸（曲げたり伸ばしたりすること）する。なお、本実施形態では、メインアーム２９は、最も伸びた
状態で直線状となるが、最も伸びた状態で若干曲がっていてもよい。
A
また、第２アームシリンダＣ５を伸縮させることで走行体３に対してロボットハンド１８を遠近方向に移動させることができる。詳しくは、第２アームシリンダＣ５を伸長させることでロボットハンド１８を走行体３から遠ざける方向に移動させることができ、第２アームシリンダＣ５を収縮させることでロボットハンド１８を走行体３に近づける方向に移動させることができる。
Further, by expanding and contracting the second arm cylinder C5, the
図４に示すように、第２アームシリンダＣ５には、第２アームシリンダＣ５のストロークを検出する第２ストロークセンサが設けられている。
サブアーム３０は、第２アーム部３２に突出及び後退可能に設けられている。したがって、サブアーム３０を突出及び後退させることにより、アーム１７の長さが伸縮可能である。サブアーム３０は、角パイプによって直線状に形成されている。サブアーム３０は、第３アームフレーム３２Ｌと第４アームフレーム３２Ｒとの先端側（前部）間に長手方向移動可能に支持されている。また、サブアーム３０は、対向する連結プレート３５の間に配置されていて連結プレート３５にボルト等の固定具によって固定可能とされている。サブアーム３０の一側面には、第３アームフレーム３２Ｌに当接する突起３０ａが設けられ、他側面には、第４アームフレーム３２Ｒに当接する突起３０ａが設けられている。突起３０ａによってサブアーム３０のがたつきを抑制することができる。
As shown in FIG. 4, the second arm cylinder C5 is provided with a second stroke sensor that detects the stroke of the second arm cylinder C5.
The
サブアーム３０は、最も後退させた位置（最後退位置）では、第３アームフレーム３２Ｌと第４アームフレーム３２Ｒとの間に没入する。なお、サブアーム３０は、最後退位置で第２アーム部３２から若干突出していてもよい。
図４に示すように、サブアーム３０の先端側には、吊りプレート３７が固定されている。吊りプレート３７にロボットハンド１８が枢支され、吊り下げられる（図１参照）。つまり、ロボットハンド１８は、サブアーム３０の先端側に揺動可能に取り付けられる。第２アーム部３２の先端側には、サブアーム３０の第２アーム部３２からの突出量を測定（検出）する第３ストロークセンサが設けられている。
The sub-arm 30 is submerged between the
As shown in FIG. 4, a
図１、図２に示すように、ロボットハンド１８は、ベース部材１８Ａと、複数の把持ツメ１８Ｂとを有している。ベース部材１８Ａの上面側には連結片６３が設けられている。連結片６３は吊りプレート３７に枢支されている。つまり、ロボットハンド１８はアーム１７に吊り下げられている。複数の把持ツメ１８Ｂは、ベース部材１８Ａの下面側に揺動可能に取り付けられている。ロボットハンド１８は、複数の把持ツメ１８Ｂが揺動することにより、把持ツメ１８Ｂと把持ツメ１８Ｂとの間で作物２を把持することが可能（図２参照）であると共に、把持した作物２を解放することが可能である。
As shown in FIGS. 1 and 2, the
図１、図２に示すように、農業用ロボット１は、光学式センサ５Ａ、５Ｂを備えている。光学式センサ５Ａ、５Ｂは、ＣＣＤ（Charge Coupled Devices：電荷結合素子）イメージセンサを搭載したＣＣＤカメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサを搭載したＣＭＯＳカメラ、赤外線カメラである。この実施形態では、光学式センサ５Ａ、５Ｂは、撮像装置（ＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ）である。光学式センサ５Ａ、５Ｂは、レーザセンサ、即ち、ライダー（LiDAR: Light Detection And Ranging）であってもよい。レーザセンサ（ライダー）は、１秒間に何百万回ものパルス状の赤外線等を照射し、跳ね返って戻ってくるまでの時間を測定することで、走行体３周辺の３Ｄマップを構築することができるセンサである。この実施形態では、光学式センサ５Ａ、５Ｂは、撮像装置（ＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ）である。
As shown in FIGS. 1 and 2, the
光学式センサ５Ａは、回動フレーム２１に取り付けられている。詳しくは、アームブラケット２６の上部に支柱４０を介して取り付けられている。これに限定されることはなく、光学式センサ５Ａは、走行体３等に取り付けてもよい。また、光学式センサ５Ａは複数箇所に設けられていてもよい。つまり、農業用ロボット１は、光学式センサ５Ａを複数有していてもよい。光学式センサ５Ａは、走行体３の周囲を撮影可能であって、走行体３の周囲の情報を撮影によって取得する。
The
光学式センサ５Ｂは、第２アーム部３２の先端側に取り付けられている。光学式センサ
５Ｂは、作物２を撮像することによって、例えば、作物２の大きさ、形、色、模様（スイカにあっては縞模様）、傷などの品質情報を取得することができる。
図１、図２に示すように、農業用ロボット１は、打音センサ５０Ｃを備えている。打音センサ５０Ｃは、作物２に打撃を与えた（作物２を叩いた）ときの打音を取得するセンサである。図７に示すように、打音センサ５０Ｃは、ロボットハンド１８（ベース部材１８Ａ）に設けられている。
The
As shown in FIGS. 1 and 2, the
打音センサ５０Ｃは、打撃機構５１と、録音機構５２とを有している。打撃機構５１は、把持ツメ１８Ｂで把持された作物２に対して進退可能な打撃部材５１Ａを有している。打撃部材５１Ａは、当該打撃部材５１Ａを軸方向に移動させるアクチュエータ５１Ｂに連結されている。アクチュエータ５１Ｂは、例えば、電動であって、制御信号に応じて打撃部材５１Ａを軸方向に移動させることで、作物２に打撃を与えて打音を発生させる。録音機構５２は、マイク（高指向性マイク）を有し、打撃部材５１Ａで作物２を打撃することによって発生した打音を録音（記録）する。
The tapping
図８に示すように、農業用ロボット１は、制御装置４１を有している。制御装置４１は、例えば、ＣＰＵ（Central Processing Unit）、ＥＥＰＲＯＭ（Electrically Erasable
Programmable Read-Only Memory）などを備えたマイクロコンピュータ等である。
制御装置４１には、光学式センサ５Ａ、５Ｂ、打音センサ５０Ｃ、走行モータＭ１、回動モータＭ２が接続されている。また、制御装置４１には、複数の制御弁４２が接続されている。制御弁４２は、第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ、第５制御弁４２Ｅを含んでいる。
As shown in FIG. 8, the
It is a microcomputer equipped with Programmable Read-Only Memory).
第１制御弁４２Ａは、操向シリンダＣ１を制御する弁、第２制御弁４２Ｂは、第１昇降シリンダＣ２を制御する弁、第３制御弁４２Ｃは、第２昇降シリンダＣ３を制御する弁、第４制御弁４２Ｄは、第１アームシリンダＣ４を制御する弁、第５制御弁４２Ｅは、第２アームシリンダＣ５を制御する弁である。
第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ及び第５制御弁４２Ｅは、例えば、制御装置４１からの制御信号に基づいて作動する電磁弁である。より詳しくは、第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ及び第５制御弁４２Ｅは、制御信号によって複数の位置に切り換わる電磁弁（３位置切換電磁弁）である。
The
The
制御装置４１が第１制御弁４２Ａに制御信号を出力すると、制御信号に応じて第１制御弁４２Ａが所定位置に切り換わる。制御装置４１が第２制御弁４２Ｂに制御信号を出力すると、制御信号に応じて第２制御弁４２Ｂが所定位置に切り換わる。
また、制御装置４１が第３制御弁４２Ｃに制御信号を出力すると、制御信号に応じて第３制御弁４２Ｃが所定位置に切り換わる。制御装置４１が第４制御弁４２Ｄに制御信号を出力すると、制御信号に応じて第４制御弁４２Ｄが所定位置に切り換わる。制御装置４１が第５制御弁４２Ｅに制御信号を出力すると、制御信号に応じて第５制御弁４２Ｅが所定位置に切り換わる。
When the
Further, when the
第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ及び第５制御弁４２Ｅには、油路４６が接続され、当該油路４６には、作動油を吐出する油圧ポンプＰ１が接続されている。
以上によれば、第１制御弁４２Ａの切り換わりによって、操向シリンダＣ１のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダＣ１が伸縮する。第２制御弁４２Ｂの切り換わりによって、第１昇降シリンダＣ２のボトム側又はロッド側への作動油の供給が切り換わり、第１昇降シリンダＣ２が伸縮する。第３制御弁４２Ｃの切り換わりによって、第２昇降シリンダＣ３のボトム側又はロッド側への作動油の供給が切り換わり、第２昇降シリンダＣ３が伸縮する。
An
According to the above, by switching the
また、第４制御弁４２Ｄの切り換わりによって、第１アームシリンダＣ４のボトム側又はロッド側への作動油の供給が切り換わり、第１アームシリンダＣ４が伸縮する。第５制御弁４２Ｅの切り換わりによって、第２アームシリンダＣ５のボトム側又はロッド側への作動油の供給が切り換わり、第２アームシリンダＣ５が伸縮する。
農業用ロボット１は、走行制御部４１Ａを有している。走行制御部４１Ａは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。
Further, by switching the
The
走行制御部４１Ａは、走行装置７を制御する。即ち、走行制御部４１Ａは、操向シリンダＣ１（第１制御弁４２Ａ）、走行モータＭ１を制御する。走行制御部４１Ａは、第１制御弁４２Ａに制御信号を出力して、操向シリンダＣ１を伸縮させることによって、走行装置７（機体６）の操舵方向の変更を行う。走行制御部４１Ａは、走行モータＭ１に制御信号を出力して、走行モータＭ１の回転数又は回転方向を変更することにより、走行装置７（機体６）の速度の変更、走行装置７（機体６）の進行方向の変更を行う。
The
また、走行制御部４１Ａは、機体６の昇降、傾き等の制御を行ってもよい。例えば、走行制御部４１Ａは、第２制御弁４２Ｂに制御信号を出力して、第１昇降シリンダＣ２を伸縮することによって、機体６の昇降、傾きの変更を行う。また、走行制御部４１Ａは、第３制御弁４２Ｃに制御信号を出力して、第２昇降シリンダＣ３を伸縮することによって、機体６の昇降、傾きの変更を行う。
Further, the traveling
以上のように、走行制御部４１Ａの制御によって、農業用ロボット１は、施設１００など自立走行することができる。
農業用ロボット１は、作業制御部４１Ｂを有している。作業制御部４１Ｂは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。
作業制御部４１Ｂは、マニピュレータ（作業部）４を制御する。即ち、作業制御部４１Ｂは、第１アームシリンダＣ４、第２アームシリンダＣ５、回動モータＭ２を制御する。作業制御部４１Ｂは、第４制御弁４２Ｄに制御信号を出力して、第１アームシリンダＣ４を伸縮させることによって、第１アーム部３１の揺動を行う。作業制御部４１Ｂは、第５制御弁４２Ｅに制御信号を出力して、第２アームシリンダＣ５を伸縮させることによって、第２アーム部３２の揺動を行う。また、作業制御部４１Ｂは、回動モータＭ２に制御信号を出力することによって、回動モータＭ２の回転方向を変更することにより、マニピュレータ（作業部）４の回動を行う。
As described above, under the control of the
The
The
以上のように、作業制御部４１Ｂは、ロボットハンド１８を任意（所望）の位置に移動させることができる。詳しくは、回動フレーム２１の回動による回動軸心Ｊ１を中心とする円周方向のロボットハンド１８の移動、第１アーム部３１の上下揺動によるロボットハンド１８の昇降、第２アーム部３２の揺動によるロボットハンド１８の走行体３に対する遠近方向の移動によって、ロボットハンド１８を目的の位置に移動させることができる。
As described above, the
作業制御部４１Ｂは、アクチュエータ５１Ｂ（打撃部材５１Ａ）を制御する。例えば、アクチュエータ５１Ｂに制御信号を出力することで、アクチュエータ５１Ｂを作動させ、打撃部材５１Ａによって作物２に対して打撃を与える制御（打撃制御）を行う。
図８に示すように、農業用ロボット１は、作物推定部４１Ｉを備えている。作物推定部４１Ｉは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。
The
As shown in FIG. 8, the
作物推定部４１Ｉは、光学式センサ５Ａ又は光学式センサ５Ｂで得られたセンシングデータに基づいて、作物２を推定する。光学式センサ５Ａ又は光学式センサ５Ｂが撮像装置である場合、センシングデータは、撮像した撮像画像（画像データ）である。光学式センサ５Ａ又は光学式センサ５Ｂがレーザセンサ（ライダー）である場合、センシングデータは、光学式センサ５Ａ又は光学式センサ５Ｂからセンシングした対象物（物体）までの距離、方向を含むスキャンデータである。
The
さて、図９に示すように、農業用ロボット１によって収穫などの作業を行う場合、施設１００内において、農業用ロボット１を栽培場所１０５の間の通路１０６を走行させる。例えば、作業時において、農業用ロボット１を作業開始点Ｐ１１から作業終了点Ｐ１２まで栽培場所１０５（通路１０６）に沿って農業用ロボット１を走行させる。
図１１に示すように、農業用ロボット１を走行させる際、作物推定部４１Ｉは、光学式センサ５Ａ又は光学式センサ５Ｂで得られたセンシングデータ（撮像画像、スキャンデータ）Ｈ１１を参照して、作物２を推定する。
By the way, as shown in FIG. 9, when the
As shown in FIG. 11, when the
以下、作物推定部４１Ｉについて詳しく説明する。
図８に示すように、作物推定部４１Ｉは、データ抽出部８５と、推定部８６とを有している。データ抽出部８５は、センシングデータ（撮像画像、スキャンデータ）Ｈ１１に基づいて推定する作物２を特定し且つセンシングデータ（撮像画像、スキャンデータ）Ｈ１１のうち特定した作物２の周囲のデータを部分データＨ１３として抽出する。
Hereinafter, the
As shown in FIG. 8, the
具体的には、まず、図１０に示すように、栽培場所１０５で栽培している作物２に対して作業を行うために、農業用ロボット１を進行方向に向けて自立走行をさせると、データ抽出部８５は、センシングデータＨ１１を参照し、推定する作物２の特定を行う。図１１に示すように、データ抽出部８５は、参照したセンシングデータＨ１１に作物２の一部が含まれているか否かを判断する。センシングデータＨ１１が撮像画像である場合、撮像画像の特徴量のマッチング、パターンマッチング等により、撮像画像内において、推定する作物２を特定する。
Specifically, first, as shown in FIG. 10, when the
例えば、データ抽出部８５は、撮像画像の所定範囲内の特徴量と予め用意された作物の画像における特徴量とを比較し、両者の特徴量が一致した場合、撮像画像の所定範囲内に作物２があると判断し、両者の特徴量が一致しない場合は、撮像画像の所定範囲内に作物２があると判断しない。
或いは、データ抽出部８５は、予め用意された作物２の表面の模様、凸凹などを示す基準プロファイリングと、撮像画像の所定範囲内の画像プロファイリングとを比較し、基準プロファイリングと画像プロファイリングとが一致した場合は、撮像画像の所定範囲内に作物２等が含まれている判断し、基準プロファイリングとデータプロファイリングとが一致しなかった場合は、撮像画像の所定範囲内に作物２が含まれていないと判断する。
For example, the
Alternatively, the
なお、センシングデータＨ１１がスキャンデータである場合、データ抽出部８５は、スキャンデータで描写した描写体が、作物２であるか否かを判断する。この場合、データ抽出部８５は、描写体の所定範囲内のデータプロファイリングと、基準プロファイリングとを比較し、基準プロファイリングとデータプロファイリングとが一致した場合は、スキャンデータ内に作物２が含まれていると判断し、基準プロファイリングとデータプロファイリングとが一致しなかった場合は、スキャンデータ内に作物２が含まれていないと判断する。
When the sensing data H11 is scan data, the
つまり、データ抽出部８５は、撮像画像の特徴量のマッチング、パターンマッチング、描写体のパターンマッチングなどによって、センシングデータＨ１１に作物２が存在するか否かを判断し、作物２が存在すると判断した場合に、存在すると判断した作物２を特定する。
図１１、図１２に示すように、データ抽出部８５は、センシングデータＨ１１のうち特定した作物２（特定作物２ａ）の周囲を、部分データＨ１３として抽出する。言い換えれば、センシングされた対象物（センシングデータＨ１１から得られた撮像画像、描写体）において、特定した作物２（特定作物２ａ）の周囲に対応する部分（部分画像）Ｈ１６を抽出する。
That is, the
As shown in FIGS. 11 and 12, the
次に、推定部８６は、データ抽出部８５によって抽出した部分データＨ１３（部分画像Ｈ１６）から得られた特定作物２ａの表面状態から特定作物２ａの種類などを推定する。
具体的には、図１３に示すように、推定部８６は、作物２の種類と、作物２の表面状態とを学習したモデル（表面状態モデル）を用いて、部分データＨ１３の特定作物２の種類を推定する。表面状態モデルは、数多くの作物２の表面状態と作物２の種類とが関連付けられた作物表面情報を、コンピュータに入力し、当該コンピュータにおいて、人工知能（ＡＩ）による深層学習を実行し、学習済みモデルを構築したものである。
Next, the
Specifically, as shown in FIG. 13, the
表面状態モデルでは、特定作物２ａの表面状態として、部分データＨ１３（部分画像Ｈ１６）から得られた特定作物２ａの模様から作物２の種類を推定する。例えば、図１４Ａ～図１４Ｃに示すように、表面状態モデルは、特定作物２ａの表面において、模様（図柄）を構成する線Ｗ１１の間隔、線Ｗ１１の角度、線Ｗ１１の繋がり、線Ｗ１１の形状、線Ｗ１１の配列パターンから、特定作物２の種類を推定する。
In the surface state model, as the surface state of the
また、推定部８６は、特定作物２の種類を推定した推定結果に基づいて、部分データＨ１３（部分画像Ｈ１６）に含まれる特定作物２の輪郭Ｒ１０を演算する。例えば、特定作
物２の推定結果（例えば、作物２の種類）から、推定部８６は、作物２の輪郭Ｒ１０の基本形状（円形、四角、楕円形）、基準サイズＬ１０を参照する。また、図１４Ａに示すように、推定部８６は、例えば、部分データＨ１３（部分画像Ｈ１６）において、特定作物２の模様を構成する線Ｗ１１のうち、直線状の線Ｗ１１ａを抽出する。ここで、推定部８６は、線Ｗ１１ａの両端部Ｗ１１ｂを部分データＨ１３（部分画像Ｈ１６）から得ることができた場合、線Ｗ１１ａの両端部Ｗ１１ｂを通る円形状又は楕円形状の線を、特定作物２の輪郭Ｒ１０とする。
Further, the
図１４Ｂに示すように、推定部８６は、線Ｗ１１ａの一方の端部Ｗ１１ｂを抽出した場合、一方の端部Ｗ１１ｂから基準サイズの１／２の位置を、特定作物２の中心Ｏ１０とし、中心Ｏ１０から基準サイズの１／２を特定作物２の半径Ｒ１として、一方の端部Ｗ１１ａを通り且つ半径Ｒ１の円形状の線を、特定作物２の輪郭Ｒ１０とする。
図１４Ｃに示すように、推定部８６は、線Ｗ１１の端部Ｗ１１ｂが部分データＨ１３（部分画像Ｈ１６）で構成する抽出画像枠に達している場合、抽出画像枠の特定作物２の模様から特定作物２の中心Ｏ１０を推定し、半径Ｒ１の円形状の線を、特定作物２の輪郭Ｒ１０とする。
As shown in FIG. 14B, when one end W11b of the line W11a is extracted, the
As shown in FIG. 14C, when the end portion W11b of the line W11 reaches the extraction image frame composed of the partial data H13 (partial image H16), the
なお、図１４Ａ～図１４Ｃは一例であり、表面状態モデルが作物２の模様等から作物の種類だけでなく、作物の大きさを推定してもよい。
さらに、図１４Ａ～図１４Ｃに示すように、推定部８６は、部分データＨ１３（部分画像Ｈ１６）で得られた作物２の周囲に関して推定した作物２の表面を隠す障害物Ｗ２０を推定してもよい。図１４Ａ～図１４Ｃに示すように、例えば、推定部８６は、作物２の表面において表面状態モデルが作物２の表面の模様と判断した以外の部分Ｗ２１を抽出し、部分Ｗ２１において、特定作物２の輪郭Ｒ１０と重複する部分が、障害物Ｗ２０の一部であると判断し、障害物Ｗ２０の全体の輪郭Ｗ２２を画像処理等により抽出する。
It should be noted that FIGS. 14A to 14C are examples, and the surface state model may estimate not only the type of crop but also the size of the crop from the pattern of the
Further, as shown in FIGS. 14A to 14C, even if the
上述したように、推定部８６が障害物Ｗ２０の全体の輪郭Ｗ２２を抽出、即ち、障害物Ｗ２０を推定した場合、農業用ロボット１は、作物２の収穫時などに、障害物Ｗ２０を作物２から遠ざける作業を行う。図１５に示すように、作業制御部４１Ｂは、マニピュレータ（作業部）４（ロボットハンド１８）の収穫時の制御において、ロボットハンド１８の先端を障害物Ｗ２０に近づけ、ロボットハンド１８の一部を障害物Ｗ２０に当接し、先端部を当接させた状態でロボットハンド１８を、障害物Ｗ２０が作物２の表面から遠ざかる方向に移動させる。つまり、ロボットハンド１８は、作物２の収穫時に、障害物Ｗ２０を遠ざける動作する。
As described above, when the
上述した実施形態では、農業用ロボット１が学習済みモデル（表面状態モデル）を有していることについて説明したが、図８に示すように、農業用ロボット１は、表面状態モデルを生成するモデル生成部４１Ｊを備えていてもよい。モデル生成部４１Ｊを備えていてもよい。モデル生成部４１Ｊは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。
In the above-described embodiment, it has been described that the
まず、農業用ロボット１が作物２の収穫を行う際、制御装置４１は、光学式センサ５Ａ又は光学式センサ５Ｂにて、作物２の表面をセンシングしたセンシングデータ（作物２の表面のデータ）を取得する。制御装置４１は、作物２の収穫を行う毎に、作物２の表面のデータを取得し、データベース化して記憶する。モデル生成部４１Ｊは、制御装置４１が取得した数多くの作物２の表面のデータを、深層学習することによって、表面状態モデルを構築する。なお、モデル生成部４１Ｊは、表面状態モデルの構築後も作物２の収穫を行う毎に、制御装置４１から作物２の表面のデータを取得して、強化学習を続ける。
First, when the
農業用ロボット１は、走行体３と、走行体３に設けられ、作物２に関する作業を行う作業部４と、走行体３に設けられた光学式センサ５Ａ、５Ｂと、光学式センサ５Ａ、５Ｂで得られたセンシングデータに基づいて、作物２を推定する作物推定部４１Ｉと、を備え、作物推定部４１Ｉは、センシングデータに基づいて推定する作物２を特定し且つセンシングデータのうち特定した作物２に対応するデータを部分データＨ１３として抽出するデータ抽出部８５と、データ抽出部８５によって抽出した部分データＨ１３から得られた作物２の表面状態から作物２を推定する推定部８６と、を有している。これによれば、センシ
ングデータから作物２を特定した後に、特定した作物２に対応するデータを部分データＨ１３として抽出後、さらに、抽出した部分データＨ１３の表面状態から作物２を推定するようにすることで、より効率良く精密に作物２を推定することができる。即ち、センシングデータから簡単に作物を推定することができる。
The
推定部８６は、部分データＨ１３で示された作物２に関し、作物２の種類と作物２の表面状態とに基づいて、作物２を推定する。これによれば、作物２の種類によって表面状態が異なることから、当該作物２の種類と表面状態とによって作物２を推定するようにすることで、より正確に作物２について推定することができる。特に、作物２の表面が障害物Ｗ２０に覆い隠されていて、作物２の一部しか表面状態が分からない場合であっても、作物２の種類と表面状態との関係に基づいて、作物２が何であるかを簡単に推定することができる。
The
推定部８６は、作物２の表面状態として作物２の模様と、作物２の種類とに基づいて、作物２を推定する。これによれば、作物２の種類によって模様が異なることを用いて、作物２を簡単に推定することができる。
推定部８６は、推定した作物２の推定結果に基づいて、部分データＨ１３に含まれる作物２の輪郭Ｗ２２を演算する。これによれば、例えば、作物２の推定結果が作物２の種類である場合、作物２の種類に対応した大きさと、部分データＨ１３とによって、簡単に作物２の輪郭Ｗ２２を求めることができる。
The
The
推定部８６は、作物２の種類を推定し且つ、部分データＨ１３で得られた作物２の周囲に関して推定した作物２の表面を隠す障害物Ｗ２０を推定する。これによれば、簡単に障害物Ｗ２０の輪郭を推定することができ、どれくらいの大きさの障害物Ｗ２０によって作物２の表面が覆われていたかを把握することができる。
作業部４は、推定部８６で推定した障害物Ｗ２０を、作物２から遠ざける作業を行う。これによれば、農業用ロボット１によって作物２に対して作業を行う場合に、作業に邪魔な障害物Ｗ２０を作物２から遠ざけることができ、作業を効率よく行うことができる。例えば、作業が収穫である場合には、障害物Ｗ２０を除いたうえで、作業部４によって収穫を行うことができる。また、作業が作物２に打撃を加える場合、打撃時の音を収集する場合なども、障害物Ｗ２０を除いたうえで、作物２に打撃を加える等の作業を行うことができる。
The
The working
農業用ロボット１は、作物２と作物２の表面状態との関係を、深層学習することで表面状態モデルを生成するモデル生成部４１Ｊを備えている。これによれば、作物２と作物２の表面状態との関係を推定するモデルを簡単に作成することができる。
以上、本発明の一実施形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
The
Although one embodiment of the present invention has been described above, it should be considered that the embodiments disclosed this time are exemplary in all respects and are not restrictive. The scope of the present invention is shown by the scope of claims rather than the above description, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
１ ：農業用ロボット
２ ：作物
３ ：走行体
４ ：作業部
５Ａ ：光学式センサ
５Ｂ ：光学式センサ
４１Ｉ ：作物推定部
４１Ｊ ：モデル生成部
８５ ：データ抽出部
８６ ：推定部
Ｈ１１ ：センシングデータ
Ｈ１３ ：部分データ
Ｒ１０ ：輪郭
Ｗ２０ ：障害物
Ｗ２１ ：部分
Ｗ２２ ：輪郭
1: Agricultural robot 2: Crop 3: Traveling body 4: Working
Claims (7)
前記走行体に設けられ、作物に関する作業を行う作業部と、
前記走行体に設けられた光学式センサと、
前記光学式センサで得られたセンシングデータに基づいて、前記作物を推定する作物推定部と、
を備え、
前記作物推定部は、前記センシングデータに基づいて前記推定する作物を特定し且つ前記センシングデータのうち前記特定した作物に対応するデータを部分データとして抽出するデータ抽出部と、前記データ抽出部によって抽出した前記部分データから得られた前記作物の表面状態から作物を推定する推定部と、を有している農業用ロボット。 With the running body,
A work unit provided on the traveling body to perform work related to crops,
An optical sensor provided on the traveling body and
Based on the sensing data obtained by the optical sensor, the crop estimation unit that estimates the crop and the crop estimation unit
Equipped with
The crop estimation unit is extracted by the data extraction unit and the data extraction unit that identifies the crop to be estimated based on the sensing data and extracts the data corresponding to the specified crop from the sensing data as partial data. An agricultural robot having an estimation unit that estimates a crop from the surface state of the crop obtained from the partial data obtained.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020109080A JP7471931B2 (en) | 2020-06-24 | 2020-06-24 | Agricultural robots |
| PCT/JP2021/022292 WO2021261294A1 (en) | 2020-06-24 | 2021-06-11 | Agricultural robot |
| EP21829595.4A EP4173467A1 (en) | 2020-06-24 | 2021-06-11 | Agricultural robot |
| US17/990,825 US20230078003A1 (en) | 2020-06-24 | 2022-11-21 | Agricultural robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020109080A JP7471931B2 (en) | 2020-06-24 | 2020-06-24 | Agricultural robots |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022006699A true JP2022006699A (en) | 2022-01-13 |
| JP7471931B2 JP7471931B2 (en) | 2024-04-22 |
Family
ID=80110784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020109080A Active JP7471931B2 (en) | 2020-06-24 | 2020-06-24 | Agricultural robots |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7471931B2 (en) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000057129A1 (en) | 1999-03-19 | 2000-09-28 | Matsushita Electric Works, Ltd. | Three-dimensional object recognition method and pin picking system using the method |
| JP6853591B2 (en) | 2017-05-17 | 2021-03-31 | ｉｎａｈｏ株式会社 | Agricultural work equipment, agricultural work management system, and programs |
-
2020
- 2020-06-24 JP JP2020109080A patent/JP7471931B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7471931B2 (en) | 2024-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7321910B2 (en) | agricultural robot | |
| WO2021261246A1 (en) | Agricultural robot and assistance system for agricultural robot | |
| BR102017016256B1 (en) | Arrangement to influence the position of an agricultural implement, and agricultural vehicle combination | |
| JP7191808B2 (en) | Robot hands and agricultural robots | |
| EP3815510A1 (en) | Plant removal apparatus and method | |
| JP7214612B2 (en) | agricultural robot | |
| KR20200095225A (en) | An weed removal robot using image processor | |
| WO2021261294A1 (en) | Agricultural robot | |
| JP2022006699A (en) | Agricultural robot | |
| JP2022006700A (en) | Agricultural robot | |
| JP7225081B2 (en) | agricultural robot | |
| JP7354006B2 (en) | Robot hands and agricultural robots | |
| KR102181930B1 (en) | Off-road transporting robor using screw wheel and folding wheel | |
| JP7404169B2 (en) | Agricultural robots and agricultural robot support systems | |
| JP2022006698A (en) | Agricultural robot | |
| US3955626A (en) | Multi-row vineyard cultivator | |
| JP2022006697A (en) | Agricultural robot and support system of agricultural robot | |
| JP7278931B2 (en) | agricultural robot | |
| JP4247895B2 (en) | Weeding method and apparatus | |
| EP4246272A1 (en) | A mobile autonomous agricultural system | |
| CN218588066U (en) | Agricultural robot | |
| US20230255126A1 (en) | Weed Picking Module and Method | |
| JP7387484B2 (en) | Robot hands and agricultural robots | |
| CA3148445A1 (en) | Weed picking and disposal module and method | |
| Pant et al. | Agricultural Robots: The Needs And Limitations In Large Scale Commercialization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220622 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240410 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7471931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |