JP2022064532A - 除草装置、自動除草方法及び自動除草プログラム - Google Patents
除草装置、自動除草方法及び自動除草プログラム Download PDFInfo
- Publication number
- JP2022064532A JP2022064532A JP2020173229A JP2020173229A JP2022064532A JP 2022064532 A JP2022064532 A JP 2022064532A JP 2020173229 A JP2020173229 A JP 2020173229A JP 2020173229 A JP2020173229 A JP 2020173229A JP 2022064532 A JP2022064532 A JP 2022064532A
- Authority
- JP
- Japan
- Prior art keywords
- weeding
- plants
- area
- weeds
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009333 weeding Methods 0.000 title claims abstract description 292
- 238000000034 method Methods 0.000 title claims abstract description 41
- 241000196324 Embryophyta Species 0.000 claims abstract description 372
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000013075 data extraction Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000002363 herbicidal effect Effects 0.000 description 5
- 239000004009 herbicide Substances 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Soil Working Implements (AREA)
Abstract
【課題】除草効率が高い除草装置、自動除草方法及び自動除草プログラムを提供する。【解決手段】除草装置1は、機体11と、機体を走行させる車輪12A、12Bと、作業領域の画像データを取得するデータ取得部と、画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれかに分類可能な学習済みモデルを有し、データ取得部で取得された画像データに基づいて、画像内に映る植物を栽培植物と栽培植物以外の植物とのいずれかに分類する分類部と、機体11に設けられた、植物を収容することが可能な収容部14と、分類部の分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う除草部と、雑草を集めて収容部に収容する収集部と、を備えている。【選択図】図1
Description
本開示は、除草装置、自動除草方法及び自動除草プログラムに関する。
従来、自走式の除草装置が用いられている。このような自走式の除草装置は、整備領域内の画一的な整備を行うことができるものの、花や農作物の近傍にある雑草を除去することが難しいため、花や農作物を傷つけないように花や農作物の周囲は手作業で除草を行っていた。
また、近年、農地等の植物栽培領域をカメラで撮影して植物の画像を取り込み、画像から栽培植物と雑草とを判断して除草剤を処理するツールを選択する雑草自動処理用のロボット(装置)が提案されている(例えば、特許文献1)。このような装置は、例えば、栽培植物と雑草との距離に基づいて選択されたツールを用いて、例えば除草剤を撒く等の雑草を除去する処理が行われている。
しかしながら、従来の自走式の除草装置を使用する場合、作業者の身体的負担や作業時間がかかるという問題があった。また、カメラで撮影した植物の画像からツールを選択して雑草を処理する装置では、例えば除草後に雑草が栽培領域に残存し、雑草を集める作業が更に必要になるため、除草効率が低いという問題があった。
そこで、本開示は、除草効率が高い除草装置、自動除草方法及び自動除草プログラムを提供することを目的とする。
上述の課題を解決するために、本開示の一態様に係る除草装置は、機体と、機体を走行させる車輪と、作業領域の画像データを取得するデータ取得部と、画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれかに分類可能な学習済みモデルを有し、データ取得部で取得された画像データに基づいて、画像内に映る植物を栽培植物と栽培植物以外の植物とのいずれかに分類する分類部と、機体に設けられた、植物を収容することが可能な収容部と、分類部の分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う除草部と、雑草を集めて収容部に収容する収集部と、を備えることを特徴とする。
また、本開示の一態様に係る自動除草方法は、作業領域の画像データを取得し、画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を栽培植物と栽培植物以外の植物とのいずれかに分類した分類結果を取得し、分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行い、植物を収容することが可能な収容部に雑草を収容することを特徴とする。
さらに、本開示の一態様に係る自動除草プログラムは、作業領域の画像データを取得することと、画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を栽培植物と栽培植物以外の植物とのいずれかに分類した分類結果を取得することと、分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行うことと、植物を収容することが可能な収容部に雑草を収容することと、をコンピュータに実行させることを特徴とする。
本開示によれば、除草効率が高い除草装置、自動除草方法及び自動除草プログラムを提供することができる。
以下、図面を参照して本開示の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本開示は、その趣旨を逸脱しない範囲で種々変形(例えば各実施形態を組み合わせる等)して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。
また、以下の除草装置は、汎用のコンピュータなどの情報処理装置であるハードウェアと、コンピュータプログラムであるソフトウェアとの協働によって実現される。コンピュータプログラムは、除草装置が備える一又は複数のプロセッサによって読み取り可能であり、ハードディスクにインストールされることによりプロセッサが除草装置の各部として機能する。
1.第一実施形態
以下、第一実施形態に係る除草装置1と、除草装置1で実行される自動除草方法及び自動除草プログラムについて、図1から図6を参照して説明する。
本実施形態に係る除草装置1は、学習済みモデルを用いて作業領域の植物を分類し、栽培植物以外の植物を雑草として自動で(すなわち、作業者に運転等の操作をされることなく)除草作業を行う装置である。
以下、第一実施形態に係る除草装置1と、除草装置1で実行される自動除草方法及び自動除草プログラムについて、図1から図6を参照して説明する。
本実施形態に係る除草装置1は、学習済みモデルを用いて作業領域の植物を分類し、栽培植物以外の植物を雑草として自動で(すなわち、作業者に運転等の操作をされることなく)除草作業を行う装置である。
(1.1)除草装置の全体構成
図1に示すように、除草装置1は、機体11、機体11を走行させる車輪12、撮像装置13、雑草を収容する収容部14及び除草アーム15を備えている。
以下、除草装置1の各部について説明する。
図1に示すように、除草装置1は、機体11、機体11を走行させる車輪12、撮像装置13、雑草を収容する収容部14及び除草アーム15を備えている。
以下、除草装置1の各部について説明する。
機体11は、除草装置1の本体フレームと、本体フレームの内部に配置された車輪駆動機構及び除草アーム駆動機構(図示せず)とを備えている。車輪駆動機構は、例えばエンジン等の駆動部、トランスミッションやドライブシャフトを含むドライブトレイン等を有している。除草アーム駆動機構は、除草作業を行うことができればどのような構成でもよい。
車輪12は、機体11を走行させるために取り付けられている。車輪12は、機体11の前方下部に取り付けられて機体11の前部を支持する前輪12Aと、機体11の後部を支持する後輪12Bとを有している。車輪12は、一般的な車両用の車輪と同様に、機体11のドライブシャフトの両端に取り付けられている。
撮像装置13は、撮像により2次元画像を撮像面(CCDアレイ面上)で検出する機能を持つ受光デバイスであり、例えばCCD等の撮像素子を有するカメラである。撮像装置13は、例えば機体11の前面に取り付けられ、除草装置1の前方(進行方向)の作業領域の画像を撮影し、作業領域の画像データを得る。除草装置1が車輪12によって作業領域内を移動することで、撮像装置13は作業領域の所望の領域において栽培植物又は栽培植物以外の植物(雑草)を撮影して画像データを得ることができる。
収容部14は、機体11の一部に設けられ、除草アーム15によって抜かれた雑草を収容する。収容部14は、雑草を収容することが可能であればどのような形状、材質で形成されていても良い。
除草アーム15は、雑草を抜く又は切断する除草作業と、雑草を収容部14に収容する収容作業とを行う機能を有する。すなわち、本実施形態で説明する除草アーム15は、除草部及び収集部の双方の機能を兼ね備えている。
図2は、除草アーム15の一構成例を示す概略図である。図2に示すように、除草アーム15は、例えば、開閉可能な第1把持アーム151A及び第2把持アーム151Bを有する把持アーム151と、第1把持アーム151A及び第2把持アーム151Bの動作方向を変化させる把持アーム回転部152とを有している。なお、除草アーム15は、3つ以上の把持アームを有していても良い。
図2は、除草アーム15の一構成例を示す概略図である。図2に示すように、除草アーム15は、例えば、開閉可能な第1把持アーム151A及び第2把持アーム151Bを有する把持アーム151と、第1把持アーム151A及び第2把持アーム151Bの動作方向を変化させる把持アーム回転部152とを有している。なお、除草アーム15は、3つ以上の把持アームを有していても良い。
除草アーム15は、除草作業時に除草アーム15が第1把持アーム0151A及び第2把持アーム151Bを閉じて雑草を把持する把持動作と、第1把持アーム151A及び第2把持アーム151Bに雑草を把持させたまま把持アーム回転部152を回転させて地面から雑草を引き抜く回転動作と、を行うように制御される。除草アーム15は、後述する制御部36によって制御される。除草アーム15は、把持動作時に雑草を根ごと把持することにより、回転動作時に雑草を引き抜きやすくなるため好ましい。
(1.2)除草装置の機能構成
図3は、除草装置1の機能構成の一例を示す概略的な機能ブロック図である。図3に示す各機能ブロックは、後に図4で説明する演算装置20のプロセッサ21が必要なプログラムを実行し、除草装置1の各部の動作を制御することにより実現される。
図3は、除草装置1の機能構成の一例を示す概略的な機能ブロック図である。図3に示す各機能ブロックは、後に図4で説明する演算装置20のプロセッサ21が必要なプログラムを実行し、除草装置1の各部の動作を制御することにより実現される。
本実施形態に係る除草装置1は、データ取得部31、記憶部32、機械学習部33、除草エリア特定部34、位置情報検出部35、制御部36、撮像装置13及び除草アーム15を有している。また、除草装置1は、外部装置である入力装置16及び表示装置17と接続されている。なお、入力装置16及び表示装置17は、除草装置1の一部として設けられていても良い。
以下、各機能ブロックについて説明する。
以下、各機能ブロックについて説明する。
[データ取得部]
データ取得部31は、撮像装置13や、図示しない外部記憶装置やネットワークを介して、作業領域の画像データを取得する。この時、データ取得部31は、取得した画像データを除草装置1の内部で扱うデータ形式への変更、所定のサイズへの変更、必要な部分画像のみを抜き出すトリミング、画像の回転といった前処理を行うようにしても良い。
また、データ取得部31は、画像データが撮影された位置を示す位置情報を取得しても良い。作業領域全体の雑草の群生状況を確認した後に除草作業を行う場合、画像データと、画像データに対応する位置情報とに基づいて、作業領域の各部における雑草の群生状況を確認することができる。
データ取得部31が取得した画像データは、記憶部32に記憶される。
データ取得部31は、撮像装置13や、図示しない外部記憶装置やネットワークを介して、作業領域の画像データを取得する。この時、データ取得部31は、取得した画像データを除草装置1の内部で扱うデータ形式への変更、所定のサイズへの変更、必要な部分画像のみを抜き出すトリミング、画像の回転といった前処理を行うようにしても良い。
また、データ取得部31は、画像データが撮影された位置を示す位置情報を取得しても良い。作業領域全体の雑草の群生状況を確認した後に除草作業を行う場合、画像データと、画像データに対応する位置情報とに基づいて、作業領域の各部における雑草の群生状況を確認することができる。
データ取得部31が取得した画像データは、記憶部32に記憶される。
[記憶部]
記憶部32は、例えば図4に示す補助記憶装置24内に記憶領域として確保されている。
記憶部32は、データ取得部31が取得した作業領域の画像の画像データを記憶する。また、記憶部32は、位置情検出部35が検出した除草装置1の位置を示す位置情報を記憶する。ここで、記憶部32は、作業領域の画像の撮像時における除草装置1の位置情報を、当該画像の画像データと関連付けて記憶する。さらに、記憶部32は、除草エリア特定部34で除草エリアであるとして特定された雑草が群生する区画を示す情報(位置情報)を記憶する。
記憶部32は、例えば図4に示す補助記憶装置24内に記憶領域として確保されている。
記憶部32は、データ取得部31が取得した作業領域の画像の画像データを記憶する。また、記憶部32は、位置情検出部35が検出した除草装置1の位置を示す位置情報を記憶する。ここで、記憶部32は、作業領域の画像の撮像時における除草装置1の位置情報を、当該画像の画像データと関連付けて記憶する。さらに、記憶部32は、除草エリア特定部34で除草エリアであるとして特定された雑草が群生する区画を示す情報(位置情報)を記憶する。
また、記憶部32は、機械学習部33の記憶部としても機能する。この場合、記憶部32は、データ取得部31が取得して記憶部32に記憶した画像データに対してラベル付与部331がラベルを付与(アノテーション)して形成された学習データを記憶する。また、記憶部32は、機械学習部33から出力された結果を記憶する。機械学習部33から出力された結果は、農地等の作業領域の画像データに基づいて、画像内に映る植物を作業領域で栽培された栽培植物と栽培植物以外の植物とのいずれかに分類した分類結果である。記憶部32は、作業領域の画像データと、分類結果とを対応付けて記憶する。
[機械学習部]
機械学習部33は、例えば、記憶部32と、ラベル付与部331と、学習データ抽出部332と、学習部333と、学習モデル記憶部334と、分類部335と、を備えている。機械学習部33は、データ取得部31が取得した作業領域の画像の画像データから、作業領域内で栽培されている栽培植物と、栽培植物以外の植物とを分類し、分類結果を出力し、記憶部32に記憶する機能を有する。
以下、機械学習部33の各部について説明する。
機械学習部33は、例えば、記憶部32と、ラベル付与部331と、学習データ抽出部332と、学習部333と、学習モデル記憶部334と、分類部335と、を備えている。機械学習部33は、データ取得部31が取得した作業領域の画像の画像データから、作業領域内で栽培されている栽培植物と、栽培植物以外の植物とを分類し、分類結果を出力し、記憶部32に記憶する機能を有する。
以下、機械学習部33の各部について説明する。
(ラベル付与部)
ラベル付与部331は、データ取得部31が取得して記憶部32に記憶した画像データに対してラベルを付与、すなわちアノテーションし、記憶部32に記憶する機能を有している。より具体的には、ラベル付与部331は、ラベルとラベルが付与された画像データとを関連付けて学習データを形成し、学習データを記憶部32に記憶する機能を有している。
ラベル付与部331は、データ取得部31が取得して記憶部32に記憶した画像データに対してラベルを付与、すなわちアノテーションし、記憶部32に記憶する機能を有している。より具体的には、ラベル付与部331は、ラベルとラベルが付与された画像データとを関連付けて学習データを形成し、学習データを記憶部32に記憶する機能を有している。
ラベル付与部331が付与するラベルは、例えば、「栽培植物名(例えば、稲)」と「その他」の2つのラベルを用いることができる。これにより、「その他」のラベルが付与された植物は、栽培植物以外の植物であり、除草対象となる雑草となる。このとき、例えば稲を栽培する農地においてい草が成長していた場合、い草も「雑草」として分類される。
また、ラベルは、上述した2つに限られない。例えば、画像に映る栽培植物や他の植物それぞれの種類をラベルとして付与してもよい。この場合、分類部335では、「栽培植物名(例えば、稲)」以外のラベルが付与された植物をすべて「雑草」として分類するようにする。
また、ラベルは、上述した2つに限られない。例えば、画像に映る栽培植物や他の植物それぞれの種類をラベルとして付与してもよい。この場合、分類部335では、「栽培植物名(例えば、稲)」以外のラベルが付与された植物をすべて「雑草」として分類するようにする。
ラベル付与部331におけるラベルの付与は、例えば、記憶部32に記憶されている画像データを表示装置17に表示させ、表示された画像を見た作業者が入力装置16を操作して各学習データに対してラベルを付与することで行わる。ラベル付与部331は、画像データにラベルが付与されると、ラベルと学習データとを関連付けて記憶部32に記憶する。
ラベル付与部331は、例えば画像データの判別を自動で行う数理的アルゴリズムに基づいて算出された判別値が、予め定められた所定の閾値以上であれば「栽培植物名(例えば、稲)」、所定の閾値未満であれば「その他」と自動的にラベルを付与するようにしてもよい。この場合、画像データとラベル付与結果とを表示装置17に表示して、作業者に確認させるとともに、ラベル付与に間違いがある場合には作業者が修正できるようにしても良い。
(学習データ抽出部)
学習データ抽出部332は、記憶部32に記憶された複数の学習データを抽出する機能を有している。このとき、学習データ抽出部332は、記憶部32に記憶された学習データのうちの一部を学習用のデータ(訓練データ)として抽出し、残りの学習データを検証用のデータ(検証データ)と、最終評価用のデータ(テストデータ)としてもよい。また、訓練データは、さらに複数のグループに分割して複数のデータセットを作成し、それぞれのデータセットごとに学習・評価を行うことを可能にしてもよい。この場合、学習データ抽出部332は、訓練データの各データセットを学習結果に偏りが起きにくいように作成することが望ましく、例えば記憶部32に記憶されている学習データの中からデータセットとしての学習データをランダムに抽出したり、系統抽出法等の統計的な標本抽出法を用いるようにしたりしても良い。
学習データ抽出部332は、記憶部32に記憶された複数の学習データを抽出する機能を有している。このとき、学習データ抽出部332は、記憶部32に記憶された学習データのうちの一部を学習用のデータ(訓練データ)として抽出し、残りの学習データを検証用のデータ(検証データ)と、最終評価用のデータ(テストデータ)としてもよい。また、訓練データは、さらに複数のグループに分割して複数のデータセットを作成し、それぞれのデータセットごとに学習・評価を行うことを可能にしてもよい。この場合、学習データ抽出部332は、訓練データの各データセットを学習結果に偏りが起きにくいように作成することが望ましく、例えば記憶部32に記憶されている学習データの中からデータセットとしての学習データをランダムに抽出したり、系統抽出法等の統計的な標本抽出法を用いるようにしたりしても良い。
(学習部)
学習部333は、画像データが入力されると、分類結果(ラベル)を推定して出力する学習済みモデルを生成する(学習する)機能を有している。すなわち、本開示では、学習部333は、入力された画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれであるかを推定し、推定された分類結果(ラベル)を出力する。ここで、「入力された画像データ」とは、データ取得部31が取得して記憶部32に記憶した作業領域の画像データであり、かつ学習データではない画像データ(ラベルが付与されていない画像データ)をいう。
学習部333は、画像データが入力されると、分類結果(ラベル)を推定して出力する学習済みモデルを生成する(学習する)機能を有している。すなわち、本開示では、学習部333は、入力された画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれであるかを推定し、推定された分類結果(ラベル)を出力する。ここで、「入力された画像データ」とは、データ取得部31が取得して記憶部32に記憶した作業領域の画像データであり、かつ学習データではない画像データ(ラベルが付与されていない画像データ)をいう。
学習部333は、学習モデルに対して、学習データ抽出部332で抽出された学習データを用いた教師あり学習を行い、学習済みモデルを生成する。学習部333は、学習モデルとして例えばニューラルネットワーク等を用いることができる。学習部333は、学習データ抽出部332が抽出したデータセットに含まれるそれぞれの学習データ又は学習データで示される画像に含まれる植物の画像データ(部分画像データ)を入力データとして、学習データに付与されているラベルを出力データとした教師あり学習を行うように構成しても良い。また、学習部333は、ラベルが付与された画像データと、ラベルが付与されていない画像データとの双方を学習データとして用いる半教師あり学習を行い、学習済みモデルを生成してもよい。
この場合、学習モデルとしては入力層、中間層、出力層の三層を備えたニューラルネットワークを用いても良いが、より多層のニューラルネットワークを用いた、いわゆるディープラーニングの手法を用いてもよい。ディープラーニングの手法を用いることで、より効果的な学習及び推論を行うことができる。
また、学習部333はサポートベクターマシン、ランダムフォレスト、ロジスティック回帰、決定木又はk近傍法等の他の学習モデルを用いた機械学習を行うように構成してもよい。
学習部333が生成した学習済みモデルは、学習モデル記憶部334に記憶される。記憶された学習済みモデルは、分類部335において、画像データに基づく分類結果(ラベル)の推論に用いられる。
また、学習部333はサポートベクターマシン、ランダムフォレスト、ロジスティック回帰、決定木又はk近傍法等の他の学習モデルを用いた機械学習を行うように構成してもよい。
学習部333が生成した学習済みモデルは、学習モデル記憶部334に記憶される。記憶された学習済みモデルは、分類部335において、画像データに基づく分類結果(ラベル)の推論に用いられる。
(学習モデル記憶部)
学習モデル記憶部334は、学習部333によって生成された学習済みモデルを記憶する。学習モデル記憶部334は、複数の作業領域にそれぞれ対応する複数の学習済みモデルを記憶していても良い。
また、学習モデル記憶部334は、学習データを用いた教師あり学習を行う前の学習モデル(すなわち初期モデル)を記憶していても良い。
学習モデル記憶部334は、学習部333によって生成された学習済みモデルを記憶する。学習モデル記憶部334は、複数の作業領域にそれぞれ対応する複数の学習済みモデルを記憶していても良い。
また、学習モデル記憶部334は、学習データを用いた教師あり学習を行う前の学習モデル(すなわち初期モデル)を記憶していても良い。
(分類部)
分類部335は、撮像装置13で撮影された作業領域の画像データに基づいて、学習部333で生成された学習済みモデルを用いた分類を行う機能を有している。分類部335は、学習済みモデルに対して作業領域の画像データを入力し、学習済みモデルの出力として分類結果(ラベルの推定結果)を得る。
分類部335は、分類結果を記憶部32に出力する。
分類部335は、撮像装置13で撮影された作業領域の画像データに基づいて、学習部333で生成された学習済みモデルを用いた分類を行う機能を有している。分類部335は、学習済みモデルに対して作業領域の画像データを入力し、学習済みモデルの出力として分類結果(ラベルの推定結果)を得る。
分類部335は、分類結果を記憶部32に出力する。
[位置情報検出部]
位置情報検出部35は、機体11に設けられ、機体11の位置を検出する機能を有している。位置情報検出部35は、例えばジャイロセンサ351、GPS(Global Positioning System)352、モバイル通信基地局測位により除草装置1の位置情報を算出する位置情報算出部353の少なくとも一つを有している。
位置情報検出部35は、検出した位置情報を記憶部32に出力して記憶する。
位置情報検出部35は、機体11に設けられ、機体11の位置を検出する機能を有している。位置情報検出部35は、例えばジャイロセンサ351、GPS(Global Positioning System)352、モバイル通信基地局測位により除草装置1の位置情報を算出する位置情報算出部353の少なくとも一つを有している。
位置情報検出部35は、検出した位置情報を記憶部32に出力して記憶する。
[除草エリア特定部]
除草エリア特定部34は、作業領域の画像データに基づいて、雑草のあるエリアを特定する機能を有している。除草エリア特定部34は、画像データに基づいて、撮像領域における雑草の有無を判定する雑草存在判定部341と、雑草がどの程度生えているかを示す雑草占有率を算出する占有率算出部342とを有している。除草エリア特定部34は、雑草存在判定部341で検出された雑草の存在するエリアを除草エリアと特定しても良い。また、除草エリア特定部34は、占有率算出部342で算出された雑草占有率に基づいて、除草エリアを特定しても良い。
除草エリア特定部34は、作業領域の画像データに基づいて、雑草のあるエリアを特定する機能を有している。除草エリア特定部34は、画像データに基づいて、撮像領域における雑草の有無を判定する雑草存在判定部341と、雑草がどの程度生えているかを示す雑草占有率を算出する占有率算出部342とを有している。除草エリア特定部34は、雑草存在判定部341で検出された雑草の存在するエリアを除草エリアと特定しても良い。また、除草エリア特定部34は、占有率算出部342で算出された雑草占有率に基づいて、除草エリアを特定しても良い。
除草エリア特定部34は、例えば雑草存在判定部341において撮像領域における雑草の有無を判定する一次スキャンにより除草エリアを特定することができる。また、除草エリア特定部34は、一次スキャンの後、占有率算出部342において雑草占有率を算出する二次スキャンを行うことにより、除草エリアを特定してもよい。一次スキャンと二次スキャンとにより除草エリアを特定する場合は、除草作業の優先度の高い領域を決定することができる為好ましい。
以下、一次スキャン及び二次スキャンについて説明する。
以下、一次スキャン及び二次スキャンについて説明する。
[一次スキャン]
雑草存在判定部341は、データ取得部31で取得された画像データと分類部335の分類結果(ラベルの推定結果)とに基づいて、作業領域のうち雑草が群生する区画を特定し、雑草が群生する区画を除草エリアとする。除草エリア特定部34は、画像データに対応付けられた位置情報に基づいて、雑草が群生する区画の位置を特定し、雑草が群生する区画の位置情報を除草エリアの位置情報として記憶部32に出力する。
雑草存在判定部341は、データ取得部31で取得された画像データと分類部335の分類結果(ラベルの推定結果)とに基づいて、作業領域のうち雑草が群生する区画を特定し、雑草が群生する区画を除草エリアとする。除草エリア特定部34は、画像データに対応付けられた位置情報に基づいて、雑草が群生する区画の位置を特定し、雑草が群生する区画の位置情報を除草エリアの位置情報として記憶部32に出力する。
ここで、雑草存在判定部341は、作業領域の画像データに基づいて作業領域の範囲を規定し、作業領域を複数の区画に区分けして、雑草が群生する区画を除草エリアとして特定してもよい。具体的には、雑草存在判定部341は、画像データにおいて例えばエッジ検出等により農地の外周の位置を検出して作業領域の範囲を規定し、農地の外周で囲まれる領域を複数の区画に区分けする。
雑草存在判定部341は、例えば農地を平面視した場合に農地の外周で囲まれる領域を、同一面積かつ矩形状の複数の区画に区分けすることが好ましい。各区画を同一面積とすることで、雑草の群生エリアを特定する際に、各区画が同条件で雑草の群生エリアであるか否かを判断されるためである。また、各区画を矩形状とすることにより、各区画を同一面積に区分けしやすくなるとともに、作業領域のすべてをいずれかの区画に区分けしやすくなるためである。
このとき、農地の端の領域における区画は、他の区画と同一面積かつ矩形状となっていなくても良い。
このとき、農地の端の領域における区画は、他の区画と同一面積かつ矩形状となっていなくても良い。
このように、農地を平面視で同一面積かつ矩形状の複数の区画に区分けするためには、作業領域の撮像時における除草装置1の位置や姿勢等の撮影条件に基づいて、画像内における撮像対象物の傾きを補正、すなわち画像に写る農地の形状を補正してから、小区画へ区分けすることが好ましい。撮影条件としては、例えば画像データの撮像高さ(例えば、撮像装置13の地面からの取り付け高さ)や機体11への取り付け角度、撮像時における除草装置1の傾き(地面の傾き)や除草装置1の撮像位置の地面高さ等が挙げられる。撮像位置によって変化する撮影条件は、例えば除草装置1内に設けられた位置情報検出部35によって撮影時に検出され、記憶部12に記憶された位置情報に基づいて取得できる。雑草存在判定部341は、作業領域の画像データと除草装置1とから除草エリアの位置情報を出力し、記憶部32に記憶させる。
[二次スキャン]
占有率算出部342は、雑草存在判定部341によって特定された雑草が群生する区画を更に複数の小区画に区分けして、小区画毎に雑草の有無を判定する。占有率算出部342は、小区画の総数に対する雑草が存在する小区画の数の割合から、雑草が群生する区画における雑草の占有率を算出する。すなわち、占有率算出部342は、以下の式(1)から雑草が群生する区画における雑草の占有率を算出する。
雑草が群生する区画における雑草の占有率[%]=(雑草が存在する小区画の数/小区画の総数)×100 ・・・(1)
占有率算出部342は、雑草存在判定部341によって特定された雑草が群生する区画を更に複数の小区画に区分けして、小区画毎に雑草の有無を判定する。占有率算出部342は、小区画の総数に対する雑草が存在する小区画の数の割合から、雑草が群生する区画における雑草の占有率を算出する。すなわち、占有率算出部342は、以下の式(1)から雑草が群生する区画における雑草の占有率を算出する。
雑草が群生する区画における雑草の占有率[%]=(雑草が存在する小区画の数/小区画の総数)×100 ・・・(1)
また、占有率算出部342は、雑草占有率を雑草存在判定部341によって特定された雑草が群生する区画の面積(区画全体の面積)に対する雑草が群生する区画内における雑草が群生する領域の面積(雑草領域のみの面積)の割合から算出してもよい。すなわち、占有率算出部342は、以下の式(2)から雑草が群生する区画における雑草の占有率を算出してもよい。
雑草が群生する区画における雑草の占有率[%]=(雑草が存在する領域の面積/雑草が存在する区画の面積)×100 ・・・(2)
雑草が群生する区画における雑草の占有率[%]=(雑草が存在する領域の面積/雑草が存在する区画の面積)×100 ・・・(2)
占有率算出部342は、算出した雑草占有率と、予め設定された閾値とを比較し、雑草占有率が閾値以上の場合に、雑草が群生する区画を除草エリアと判定する。占有率算出部342は、除草エリアの位置情報を出力し、記憶部32に記憶させる。
占有率算出部342は、複数の除草エリアに優先順位を付与しても良い。例えば、占有率算出部342は、閾値以上の雑草占有率を有する区画が複数ある場合には、雑草占有率が高い区画ほど除草作業の優先度が高いと判断しても良い。占有率算出部342は、除草エリアの位置情報と優先度とを関連付けて出力し、記憶部32に記憶させても良い。
なお、このとき、雑草存在判定部341による除草エリアの位置情報の出力は行わなくても良い。
なお、このとき、雑草存在判定部341による除草エリアの位置情報の出力は行わなくても良い。
[制御部]
制御部36は、作業領域の学習データ用画像データの収集、一次スキャン又は除草作業のために車輪12を駆動して除草装置1を走行させるための制御を行う。制御部36は、画像データの収集や一次スキャンのために除草装置1を作業領域全体にまんべんなく走行させる必要がある。また制御部36は、除草作業のために、記憶部32に記憶された除草エリアの位置情報を取得して、除草装置1を位置情報に応じた除草エリアに走行させる。除草エリアに優先度が関連付けられている場合、制御部36は、優先度の高い除草エリアを順に移動して、各除草エリアにおいて除草作業を行う。
制御部36は、作業領域の学習データ用画像データの収集、一次スキャン又は除草作業のために車輪12を駆動して除草装置1を走行させるための制御を行う。制御部36は、画像データの収集や一次スキャンのために除草装置1を作業領域全体にまんべんなく走行させる必要がある。また制御部36は、除草作業のために、記憶部32に記憶された除草エリアの位置情報を取得して、除草装置1を位置情報に応じた除草エリアに走行させる。除草エリアに優先度が関連付けられている場合、制御部36は、優先度の高い除草エリアを順に移動して、各除草エリアにおいて除草作業を行う。
(1.3)除草装置のハードウェア構成
図4は、除草装置1の機能部のうち、雑草の判別及び雑草の群生エリアを特定するための機能部におけるハードウェア構成の一例を示す概略図である。すなわち、図4では、除草装置1において、機体11を移動させるために車輪12を駆動させ、雑草の除草処理を行う除草アーム15を駆動させるための機能部におけるハードウェア構成は省略して表示している。
図4は、除草装置1の機能部のうち、雑草の判別及び雑草の群生エリアを特定するための機能部におけるハードウェア構成の一例を示す概略図である。すなわち、図4では、除草装置1において、機体11を移動させるために車輪12を駆動させ、雑草の除草処理を行う除草アーム15を駆動させるための機能部におけるハードウェア構成は省略して表示している。
図4に示すように、除草装置1は、演算装置20を備えている。演算装置20は、プロセッサ21、ROM(Read Only Memory)22、RAM(Random access memory)23及び補助記憶装置(メモリ)24を備える情報処理装置である。演算装置20には、例えば外部インタフェース(I/F)25を介して撮像装置13、入力装置16及び表示装置17が接続されている。演算装置20には、例えば通信インタフェース(I/F)26を介してコンピュータ18が接続されている。ここで、撮像装置13は、図1に示す除草装置1に取り付けられた撮像装置13である。また、撮像装置13、入力装置16、表示装置17及びコンピュータ18は、演算装置20と接続するためのユーザインタフェース(不図示)を備えている。ここで、演算装置20の各部のハードウェア資源が所定のプログラムと協働することにより、除草装置1のデータ取得部31、記憶部32、機械学習部33、除草エリア特定部34、位置情報検出部35及び制御部36の各機能が構築される。
プロセッサ21は、除草装置1を全体的に制御するプロセッサである。プロセッサ21は、バス27を介してROM22に格納されたプログラムを読み出し、プログラムに従って除草装置1を制御する。プロセッサ21は、除草装置1が運転者によるハンドル操作等に依らずに予め定められた作業領域(農場)内で自走するように除草装置1を制御する。
ROM22は、自動除草方法を実行するプログラムを格納している。
RAM23は、計算データ、入力装置16を介して作業者により入力された各種データ等が一時的に格納されている。
ROM22は、自動除草方法を実行するプログラムを格納している。
RAM23は、計算データ、入力装置16を介して作業者により入力された各種データ等が一時的に格納されている。
補助記憶装置24は、例えば図示しないバッテリでバックアップされており、除草装置1の電源がオフされても記憶状態が保持される。補助記憶装置24には、外部インタフェース25を介して撮像装置13から入力された画像データ、ラベルが付与された学習データ、機械学習部33から出力された分類結果、除草エリア特定部34から出力された除草エリア(学習データ、分類結果及び除草エリアについては後述する)が記憶される。また、補助記憶装置24には、入力装置16から作業者によって入力された入力データの他、外部インタフェース25、通信インタフェース26を介して入力された各種データが記憶される。
撮像装置13は、外部インタフェース25を介して画像データを演算装置20に入力する。撮像装置13による撮影の制御は、除草装置1の演算装置20がプログラムを実行することにより行うようにしてもよいし、他の装置からの制御により行うようにしても良い。
入力装置16は、キーボード、ポインティングデバイス又はマイク等の音声入力装置等であり、外部インタフェース25を介して作業者の操作に基づく指令や入力データを演算装置20に入力する。
表示装置17は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)であり、外部インタフェース25を介して演算装置20から各種データを受信して表示する。表示装置17は、例えば演算装置20のメモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、撮像装置13が撮像して得られた作業領域の画像データ、機械学習部33(詳細は後述する)から出力されたデータ等を表示する。
表示装置17は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)や有機ELディスプレイ(OELD:Organic Electro-Luminescence Display)であり、外部インタフェース25を介して演算装置20から各種データを受信して表示する。表示装置17は、例えば演算装置20のメモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、撮像装置13が撮像して得られた作業領域の画像データ、機械学習部33(詳細は後述する)から出力されたデータ等を表示する。
コンピュータ18は、通信インタフェース26を介してネットワーク28経由で演算装置20と接続されている。コンピュータ18は、図示しない表示装置および入力装置を備え、ネットワーク28経由で入力装置を介して作業者の操作に基づく指令や入力データを演算装置20に入力したり、演算装置20から各種データを受信して表示装置に表示させることができる。ネットワーク28は、有線ネットワーク又は無線ネットワークのいずれであってもよい。ネットワーク28が無線LAN、Bluetooth(登録商標)、モバイル通信ネットワーク等の無線ネットワークである場合、除草装置1は、作業領域外等の遠隔地にいる作業者からリアルタイムで指令を受け付けたり、遠隔地にいる作業者に対してプログラム等の実行状態や取得データの表示を行うことができる。
(1.4)自動除草方法
以下、本実施形態に係る自動除草方法について、図5及び図6を用いて説明する。図5は、本実施形態に係る自動除草方法を説明する概略図であり、図6は、本実施形態に係る自動除草方法を説明するフローチャートである。なお、除草装置1は、予め記憶されたプログラムに従って自動で走行し、作業領域の画像データに基づいて除草作業を行う。
以下、本実施形態に係る自動除草方法について、図5及び図6を用いて説明する。図5は、本実施形態に係る自動除草方法を説明する概略図であり、図6は、本実施形態に係る自動除草方法を説明するフローチャートである。なお、除草装置1は、予め記憶されたプログラムに従って自動で走行し、作業領域の画像データに基づいて除草作業を行う。
本実施形態に係る自動除草方法は、少なくとも以下の方法により実行される。
(a)作業領域の画像データを取得する
(b)画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている「栽培植物」と「栽培植物以外の植物」とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を「栽培植物」と「栽培植物以外の植物」とのいずれかに分類した分類結果を取得する
(c)分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う
(d)雑草を収容部に収容する
(a)作業領域の画像データを取得する
(b)画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている「栽培植物」と「栽培植物以外の植物」とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を「栽培植物」と「栽培植物以外の植物」とのいずれかに分類した分類結果を取得する
(c)分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う
(d)雑草を収容部に収容する
以下、自動除草方法をより詳細に説明する。
まず、図5Aに示すように、除草装置1は、作業領域である農場全体を走行して複数の画像21の画像データを取得する(ステップS11)。撮像装置13は、例えば数mおきに作業領域を撮影して、作業領域全体の画像データを取得し、データ取得部31に入力する(図3参照)。撮像装置13は、撮像装置13の画角や解像度等の条件に応じて、撮像間隔を調整すれば良い。
まず、図5Aに示すように、除草装置1は、作業領域である農場全体を走行して複数の画像21の画像データを取得する(ステップS11)。撮像装置13は、例えば数mおきに作業領域を撮影して、作業領域全体の画像データを取得し、データ取得部31に入力する(図3参照)。撮像装置13は、撮像装置13の画角や解像度等の条件に応じて、撮像間隔を調整すれば良い。
除草装置1は、画像データに基づいて、画像データで示される画像21に写る植物を、作業領域内で栽培されている栽培植物と、栽培植物以外の植物とのいずれかに分類可能な学習済みモデルを生成する(ステップS12)。学習済みモデルは、機械学習部33において、ラベルの付与による学習データの生成と、学習モデルに対してラベルが付与された学習データの入力に対して学習データに付与されているラベルを出力させる教師あり学習とにより生成される。除草装置1は、学習済みモデルを機械学習部33の学習モデル記憶部334に記憶する。
図5Bに示すように、除草装置1は、撮像装置13を介して作業領域の一次スキャンを行う(ステップS13からステップS15)。除草装置1は、データ取得部31で取得した画像データを分類部335に入力して、直前に撮影した作業領域に生えている植物が「栽培植物」であるか「栽培植物以外の植物(すなわち雑草)」であるかの分類結果を取得する(ステップS13)。また、除草装置1は、作業領域全体を順に走行して得た画像データに基づいて作業領域の範囲を規定し、作業領域を複数の区画に区分けする(ステップS14)。これにより、除草装置1は、雑草が群生する区画を特定する(ステップS15)。
ここで、図5Bでは、例えば作業領域を20の区画A1~A20に区分けした例を示している。図5Bでは、区分けされた区画A1~A20のうち、雑草が群生する区画A9、A18、A19のみ参照符号を付している。
ここで、図5Bでは、例えば作業領域を20の区画A1~A20に区分けした例を示している。図5Bでは、区分けされた区画A1~A20のうち、雑草が群生する区画A9、A18、A19のみ参照符号を付している。
図5Cに示すように、除草装置1は、撮像装置13を介して作業領域の二次スキャンを行う(ステップS16、ステップS17)。除草装置1は、雑草が群生する区画を更に複数の小区画に区分けして(ステップS16)、小区画毎に雑草の有無を判定し、所定の式に基づいて雑草が群生する小区画における雑草の占有率を算出する(ステップS17)。
図5Cでは、例えば一次スキャンで雑草が群生していると判断された区画A9、A18、A19のうち、区画A18を複数の小区画a1~a25に区分けした例を示している。図5Cでは、雑草が群生する小区画a3,a4,a8,a9,a12~a14,a17,a18,a23及びa24のみ参照符号を付している。
図5Cでは、例えば一次スキャンで雑草が群生していると判断された区画A9、A18、A19のうち、区画A18を複数の小区画a1~a25に区分けした例を示している。図5Cでは、雑草が群生する小区画a3,a4,a8,a9,a12~a14,a17,a18,a23及びa24のみ参照符号を付している。
図5Dに示すように、除草装置1は、除草エリアを特定する(ステップS18)。除草装置1は、ステップS17において算出した雑草占有率と予め設定された閾値とを比較し、雑草占有率が閾値以上の場合に、雑草が群生する区画を除草エリアと判定し、除草エリアの位置情報を記憶部32に記憶させる。
また、除草装置1は、閾値以上の雑草占有率を有する区画が複数ある場合には、雑草占有率が高い順に高い優先度を規定し、除草エリアの位置情報と優先度とを関連付けて記憶部32に記憶させても良い。
図5Dに示すように、除草装置1は、雑草が群生している小区画のうち、予め設定された閾値以上の雑草占有率を有する小区画a3,a8,a12~a14,a18及びa24を除草エリアと判定した例を示している。
また、除草装置1は、閾値以上の雑草占有率を有する区画が複数ある場合には、雑草占有率が高い順に高い優先度を規定し、除草エリアの位置情報と優先度とを関連付けて記憶部32に記憶させても良い。
図5Dに示すように、除草装置1は、雑草が群生している小区画のうち、予め設定された閾値以上の雑草占有率を有する小区画a3,a8,a12~a14,a18及びa24を除草エリアと判定した例を示している。
図5E及び図5Fに示すように、除草装置1は、除草エリアと特定したエリア(小区画)において雑草の除草作業を行う(ステップS19)。除草装置1は、除草アーム15を動作させて栽培植物以外の植物であると判断された植物を雑草として地面から抜き、収容部14に収容する。除草装置1は、例えば除草アーム15の第1把持アーム151A及び第2把持アーム151Bで雑草を根ごと把持する把持動作(図5E)と、第1把持アーム151A及び第2把持アーム151Bに雑草を把持させたまま把持アーム回転部152を回転させて地面から雑草を引き抜く回転動作(図5F)とにより除草を行う。
以上により、除草装置1を自動で走行させて、除草作業を行うことができる。
以上により、除草装置1を自動で走行させて、除草作業を行うことができる。
なお、除草装置1が作業領域の二次スキャンを行わない構成の場合、除草装置1は、一次スキャンにより直前に撮影した作業領域に生えている植物の分類結果を取得し、「雑草」と判断された植物を除草アーム15で除草する。
(1.5)画像認識プログラム
本実施形態に係る除草装置1により実行される自動除草プログラムについて説明する。除草装置1は、少なくとも以下の(e)~(h)の各動作をコンピュータに実行させるプログラムに従って、自動で除草作業を行う。以下のプログラムは、例えばハードディスクドライブ、メモリ等の記録媒体やDVDディスク又はBlu-ray(登録商標)等の光ディスクに非一時的に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して実行されても良い。
本実施形態に係る除草装置1により実行される自動除草プログラムについて説明する。除草装置1は、少なくとも以下の(e)~(h)の各動作をコンピュータに実行させるプログラムに従って、自動で除草作業を行う。以下のプログラムは、例えばハードディスクドライブ、メモリ等の記録媒体やDVDディスク又はBlu-ray(登録商標)等の光ディスクに非一時的に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して実行されても良い。
(e)作業領域の画像データを取得すること
(f)画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を栽培植物と栽培植物以外の植物とのいずれかに分類した分類結果を取得すること
(g)分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行うこと
(h)雑草を収容部に収容すること
(f)画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている栽培植物と栽培植物以外の植物とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を栽培植物と栽培植物以外の植物とのいずれかに分類した分類結果を取得すること
(g)分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行うこと
(h)雑草を収容部に収容すること
(1.6)変形例
上述した除草装置1では、雑草の除草作業及び収集作業に第1把持アーム151A及び第2把持アーム151Bを有する把持アーム151と、把持アーム151を回転させる把持アーム回転部152とを備える除草アーム15を用いていたが、このような構成に限られない。
例えば、除草アーム15に変えて、円筒又は円柱状で、表面に雑草を絡め取る機構を有し、地面に対して回転する除草ロータを設けても良い。除草ロータは雑草が一面に群生する領域では効率的に雑草を除草可能な点で好ましいが、栽培植物と雑草が混在する領域では雑草を除草作業がしにくくなる。
上述した除草装置1では、雑草の除草作業及び収集作業に第1把持アーム151A及び第2把持アーム151Bを有する把持アーム151と、把持アーム151を回転させる把持アーム回転部152とを備える除草アーム15を用いていたが、このような構成に限られない。
例えば、除草アーム15に変えて、円筒又は円柱状で、表面に雑草を絡め取る機構を有し、地面に対して回転する除草ロータを設けても良い。除草ロータは雑草が一面に群生する領域では効率的に雑草を除草可能な点で好ましいが、栽培植物と雑草が混在する領域では雑草を除草作業がしにくくなる。
また、上述した除草装置1では、雑草を抜く又は切断する除草作業を行う除草部と、雑草を収集して収容部14に収容する収容作業とを行う収集部とが除草アーム15のみで実現していたが、このような構成に限られない。
例えば、上述した除草ロータと、除草ロータとは別に設けられ、除草ロータによって抜かれた雑草を収集する収集部を有する構成であっても良い。
例えば、上述した除草ロータと、除草ロータとは別に設けられ、除草ロータによって抜かれた雑草を収集する収集部を有する構成であっても良い。
(1.7)第一実施形態の効果
第一実施形態に係る除草装置1及び除草装置1で実行される自動除草方法及び自動除草プログラムは、以下の効果を有する。
(1)除草装置1は、データ取得部31で取得した作業領域の画像に写る植物を、学習済みモデルを用いて栽培植物と栽培植物以外の植物とのいずれかに分類し、分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として除草し、収容部14に収容する。
これにより、除草後に雑草が栽培領域に残存することなく、雑草を集める作業が不要となるため、除草効率が向上する。
第一実施形態に係る除草装置1及び除草装置1で実行される自動除草方法及び自動除草プログラムは、以下の効果を有する。
(1)除草装置1は、データ取得部31で取得した作業領域の画像に写る植物を、学習済みモデルを用いて栽培植物と栽培植物以外の植物とのいずれかに分類し、分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として除草し、収容部14に収容する。
これにより、除草後に雑草が栽培領域に残存することなく、雑草を集める作業が不要となるため、除草効率が向上する。
(2)除草装置1は、データ取得部で取得された画像データと分類部の分類結果とに基づいて、作業領域のうち雑草が群生する区画を特定し、雑草が群生する区画を除草エリアとする除草エリア特定部を備え、除草部は、除草エリアにおいて除草作業を行うように構成されている。
これにより、除草作業を行うエリアを区画ごとに把握するため、除草効率が向上する。
これにより、除草作業を行うエリアを区画ごとに把握するため、除草効率が向上する。
(3)除草装置1は、除草エリア特定部において、画像データに基づいて作業領域(例えば農地)の範囲を規定し、作業領域を複数の区画に区分けして、雑草が群生する区画を除草エリアとして特定する。
これにより、除草作業を行うエリアを区画ごとに把握するため、除草効率が向上する。
これにより、除草作業を行うエリアを区画ごとに把握するため、除草効率が向上する。
(4)除草装置1は、除草エリア特定部によって特定された雑草が群生する区画を更に複数の小区画に区分けして、小区画毎に雑草の有無を判定し、小区画の総数に対する雑草が存在する小区画の数から、雑草が群生する区画における雑草の占有率を算出する占有率算出部を備えている。
これにより、雑草の占有率に基づいて除草の優先度を規定する等の調整が可能となり、除草効率が向上する。
これにより、雑草の占有率に基づいて除草の優先度を規定する等の調整が可能となり、除草効率が向上する。
(5)除草装置1は、雑草が群生する区画の面積と、雑草が群生する区画内における雑草が群生する領域の面積とを算出し、区画の面積に対する領域の面積から、雑草が群生する区画における雑草の占有率を算出する占有率算出部を備えている。
これにより、雑草の占有率に基づいて除草の優先度を規定する等の調整が可能となり、除草効率が向上する。
これにより、雑草の占有率に基づいて除草の優先度を規定する等の調整が可能となり、除草効率が向上する。
(6)除草装置1は、雑草の占有率と予め設定された閾値とを比較し、雑草の占有率が閾値以上の場合に、雑草が群生する区画を除草エリアと判定する除草判定部を備えている。
これにより、雑草の占有率が低い区画は除外して、雑草の占有率が高い区画を優先して除草できるため、除草効率が向上する。
これにより、雑草の占有率が低い区画は除外して、雑草の占有率が高い区画を優先して除草できるため、除草効率が向上する。
2.第二実施形態
以下、第二実施形態に係る除草装置2について、図7A及び図7B、並びに図8を参照して説明する。
本実施形態に係る除草装置2は、除草装置1と同様に、学習済みモデルを用いて作業領域の植物を分類し、栽培植物以外の植物を雑草として自動で(すなわち、作業者に運転等の操作をされることなく)除草作業を行う装置である。
図7A及び図7Bに示すように、除草装置2は、学習データとして用いる画像データの収集から群生エリアの特定を行う一次スキャンまでを行う群生エリア特定装置2Aと、群生エリア特定装置2Aの特定結果に基づいて、作業領域内の二次スキャンから除草作業までを行う除草装置2Bとにより構成されている。すなわち、除草装置2は、除草装置1の機能が、群生エリア特定装置2A及び除草装置2Bによって実現されている点で第一実施形態に係る除草装置1と相違する。
以下、第二実施形態に係る除草装置2について、図7A及び図7B、並びに図8を参照して説明する。
本実施形態に係る除草装置2は、除草装置1と同様に、学習済みモデルを用いて作業領域の植物を分類し、栽培植物以外の植物を雑草として自動で(すなわち、作業者に運転等の操作をされることなく)除草作業を行う装置である。
図7A及び図7Bに示すように、除草装置2は、学習データとして用いる画像データの収集から群生エリアの特定を行う一次スキャンまでを行う群生エリア特定装置2Aと、群生エリア特定装置2Aの特定結果に基づいて、作業領域内の二次スキャンから除草作業までを行う除草装置2Bとにより構成されている。すなわち、除草装置2は、除草装置1の機能が、群生エリア特定装置2A及び除草装置2Bによって実現されている点で第一実施形態に係る除草装置1と相違する。
(2.1)除草装置
図7A及び図7Bに示すように、除草装置2は、上述したとおり、群生エリア特定装置2Aと除草装置2Bとを備えている。
群生エリア特定装置2Aは、雑草を収容する収容部と除草アーム15を有していない点で、除草装置1と相違する。
除草装置2Bは、外観上は除草装置1と同様の構成を有している。
図7A及び図7Bに示すように、除草装置2は、上述したとおり、群生エリア特定装置2Aと除草装置2Bとを備えている。
群生エリア特定装置2Aは、雑草を収容する収容部と除草アーム15を有していない点で、除草装置1と相違する。
除草装置2Bは、外観上は除草装置1と同様の構成を有している。
(2.2)除草装置の機能構成
図8は、群生エリア特定装置2A及び除草装置2Bの機能構成の一例を示す概略的な機能ブロック図である。図8に示す各機能ブロックは、第一実施形態において図4を用いて説明した演算装置20のプロセッサ21が必要なプログラムを実行し、群生エリア特定装置2A及び除草装置2Bの各部の動作を制御することにより実現される。
図8は、群生エリア特定装置2A及び除草装置2Bの機能構成の一例を示す概略的な機能ブロック図である。図8に示す各機能ブロックは、第一実施形態において図4を用いて説明した演算装置20のプロセッサ21が必要なプログラムを実行し、群生エリア特定装置2A及び除草装置2Bの各部の動作を制御することにより実現される。
本実施形態に係る群生エリア特定装置2Aは、データ取得部31A、記憶部32A、機械学習部33A、除草エリア特定部34A、位置情報検出部35A、撮像装置13Aを有している。また、除草装置1は、外部装置である入力装置16A及び表示装置17Aと接続されている。なお、入力装置16A及び表示装置17Aは、除草装置1の一部として設けられていても良い。また、入力装置16A及び表示装置17Aは、後述する除草装置2Bの入力装置16B及び表示装置17Bと共通で設けられていても良い。
群生エリア特定装置2Aは、除草アーム15及び制御部36が設けられていない点及び除草エリア特定部34が雑草の占有率を算出する機能部を有していない点で、除草装置1と相違する。また、群生エリア特定装置2Aは、データ取得部31Aが図示しない通信インタフェースを介して除草装置2Bのデータ取得部31Bと接続可能に形成されている点で、除草装置1と相違する。
また、これ以外の機能部は除草装置1と共通であり、記憶部32A、機械学習部33A、位置情報検出部35A、撮像装置13A、入力装置16A及び表示装置17Aは、除草装置1の記憶部32、機械学習部33、位置情報検出部35、撮像装置13、入力装置16及び表示装置17と同様の機能であるため、説明を省略する。
また、これ以外の機能部は除草装置1と共通であり、記憶部32A、機械学習部33A、位置情報検出部35A、撮像装置13A、入力装置16A及び表示装置17Aは、除草装置1の記憶部32、機械学習部33、位置情報検出部35、撮像装置13、入力装置16及び表示装置17と同様の機能であるため、説明を省略する。
本実施形態に係る除草装置2Bは、データ取得部31B、記憶部32B、機械学習部33B、除草エリア特定部34B、位置情報検出部35B、制御部36B、除草アーム15、撮像装置13B及び通信インタフェースを有している。また、除草装置1は、外部装置である入力装置16B及び表示装置17Bと接続されている。なお、入力装置16B及び表示装置17Bは、除草装置1の一部として設けられていても良い。
除草装置2Bは、除草エリア特定部34が雑草の存在を判定する機能部を有していない点及び機械学習部33が学習済みモデルの生成に寄与する機能部(ラベル付与部331及び学習部333に相当)を有していない点で、除草装置1と相違する。また、除草装置2Bは、データ取得部31Bが図示しない通信インタフェースを介して群生エリア特定装置2Aのデータ取得部31Bと接続可能に形成されている点で、除草装置1と相違する。
また、これ以外の機能部は除草装置1と共通であり、記憶部32B、占有率算出部342B、位置情報検出部35B、制御部36B、除草アーム15、撮像装置13B、入力装置16B及び表示装置17Bは、除草装置1のデータ取得部31、記憶部32、占有率算出部342、位置情報検出部35、制御部36、除草アーム15、撮像装置13、入力装置16及び表示装置17と同様の機能であるため、説明を省略する。
また、これ以外の機能部は除草装置1と共通であり、記憶部32B、占有率算出部342B、位置情報検出部35B、制御部36B、除草アーム15、撮像装置13B、入力装置16B及び表示装置17Bは、除草装置1のデータ取得部31、記憶部32、占有率算出部342、位置情報検出部35、制御部36、除草アーム15、撮像装置13、入力装置16及び表示装置17と同様の機能であるため、説明を省略する。
群生エリア特定装置2Aと除草装置2Bとは、図示しない通信インタフェース(図3の通信インタフェース26)を介して、ネットワーク28経由でデータの送受信を行う。ネットワーク28は、有線ネットワーク又は無線ネットワークのいずれであってもよい。ネットワーク28が無線LAN、Bluetooth(登録商標)、モバイル通信ネットワーク等の無線ネットワークである場合、群生エリア特定装置2Aと除草装置2Bは、互いに離れて配置されている場合でもデータの送受信を行うことができるため好ましい。
除草装置2Bは、群生エリア特定装置2Aで生成された学習済みモデルのコピーを受信して学習モデル記憶部334Bに記憶する。これにより、機械学習部33Bは、群生エリア特定装置2Aと同様に、画像データに基づいて、画像データで示される画像に写る植物を「栽培植物」と「栽培植物以外の植物(すなわち雑草)」とのいずれかに分類することができる。
また、除草装置2Bは、群生エリア特定装置2Aで生成された一次スキャンのスキャン結果(雑草のあるエリア)を受信し、記憶部32Bに記憶する。これにより、除草装置2Bは、記憶部32Bに記憶された一次スキャンのスキャン結果を用いて占有率算出部342Bにて雑草の占有率を算出することができる。
群生エリア特定装置2A及び除草装置2Bで構成された除草装置2では、群生エリア特定装置2Aと除草装置2Bとがそれぞれ自走して作業を行うことができる。このため、群生エリア特定装置2Aによる作業(学習データ用の画像データ収集から一次スキャンまで)と、除草装置2Bによる作業(二次スキャンから除草作業まで)とを並行して実行することができる。また、通信インタフェースを介してリアルタイムで群生エリア特定装置2Aと除草装置2Bとの間でのデータの送受信を行うことができる。このため、群生エリア特定装置2Aと除草装置2Bとを同期のために停止させることなく、自動で除草作業を行うことができ、除草効率がより向上する。
(2.3)自動除草方法
以下、本実施形態に係る自動除草方法について説明する。
本実施形態に係る自動除草方法は、第一実施形態に記載の通り、少なくとも以下の方法により実行される。
(a)作業領域の画像データを取得する
(b)画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている「栽培植物」と「栽培植物以外の植物」とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を「栽培植物」と「栽培植物以外の植物」とのいずれかに分類した分類結果を取得する
(c)分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う
(d)雑草を収容部に収容する
以下、本実施形態に係る自動除草方法について説明する。
本実施形態に係る自動除草方法は、第一実施形態に記載の通り、少なくとも以下の方法により実行される。
(a)作業領域の画像データを取得する
(b)画像データに基づいて、画像データで示される画像に写る植物を、作業領域内で栽培されている「栽培植物」と「栽培植物以外の植物」とのいずれかに分類可能な学習済みモデルに対して画像データを入力し、学習済みモデルからの出力結果として、画像内に映る植物を「栽培植物」と「栽培植物以外の植物」とのいずれかに分類した分類結果を取得する
(c)分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う
(d)雑草を収容部に収容する
以下、図9及び図10を参照して、自動除草方法をより詳細に説明する。
図9に示すフローチャートは、群生エリア特定装置2Aにおける動作を示す。群生エリア特定装置2Aは、作業領域である農場全体を走行して複数枚の画像データを取得し(ステップS21)、学習済みモデルを生成し(ステップS22)、作業領域の一次スキャンを行う(ステップS23からステップS25)。これらの動作は、第一実施形態で説明したステップS11からステップS15の動作と同様である。
このあと、群生エリア特定装置2Aは、除草装置2Bに対して学習済みモデル及び一次スキャンの結果(群生エリア)をコピーして送信する(ステップS26)。
群生エリア特定装置2Aは、作業エリア内にてこれらの動作を継続する。
図9に示すフローチャートは、群生エリア特定装置2Aにおける動作を示す。群生エリア特定装置2Aは、作業領域である農場全体を走行して複数枚の画像データを取得し(ステップS21)、学習済みモデルを生成し(ステップS22)、作業領域の一次スキャンを行う(ステップS23からステップS25)。これらの動作は、第一実施形態で説明したステップS11からステップS15の動作と同様である。
このあと、群生エリア特定装置2Aは、除草装置2Bに対して学習済みモデル及び一次スキャンの結果(群生エリア)をコピーして送信する(ステップS26)。
群生エリア特定装置2Aは、作業エリア内にてこれらの動作を継続する。
図10に示すフローチャートは、除草装置2Bにおける動作を示す。
除草装置2Bは、群生エリア特定装置2Aから学習済みモデル及び一次スキャンの結果(群生エリア)を受信する(ステップS31)。
続いて、除草装置2は、一次スキャンの結果に基づいて作業領域の二次スキャンを行い(ステップS32及びステップS33)、除草エリアを特定し(ステップS34)、除草エリアと特定したエリアにおいて雑草の除草作業を行う(ステップS35)。これらの動作は、第一実施形態で説明したステップS16からステップS19の動作と同様である。
以上により、除草装置2を自動で走行させて、除草作業を行うことができる。
除草装置2Bは、群生エリア特定装置2Aから学習済みモデル及び一次スキャンの結果(群生エリア)を受信する(ステップS31)。
続いて、除草装置2は、一次スキャンの結果に基づいて作業領域の二次スキャンを行い(ステップS32及びステップS33)、除草エリアを特定し(ステップS34)、除草エリアと特定したエリアにおいて雑草の除草作業を行う(ステップS35)。これらの動作は、第一実施形態で説明したステップS16からステップS19の動作と同様である。
以上により、除草装置2を自動で走行させて、除草作業を行うことができる。
なお、除草装置2が作業領域の二次スキャンを行わない構成の場合、除草装置2Bは、一次スキャンにより直前に撮影した作業領域に生えている植物の分類結果を取得し、「雑草」と判断された植物を除草アーム15で除草する。
(2.4)画像認識プログラム
本実施形態に係る除草装置2により実行される自動除草プログラムについて説明する。除草装置2は、少なくとも第一実施形態に記載の(e)~(h)の各動作をコンピュータに実行させるプログラムに従って、自動で除草作業を行う。
本実施形態に係る除草装置2により実行される自動除草プログラムについて説明する。除草装置2は、少なくとも第一実施形態に記載の(e)~(h)の各動作をコンピュータに実行させるプログラムに従って、自動で除草作業を行う。
(2.5)変形例
第二実施形態では、学習データとして用いる画像データの収集から群生エリアの特定を行う一次スキャンまでを行う群生エリア特定装置2Aと、群生エリア特定装置2Aの特定結果に基づいて、作業領域内の二次スキャンから除草作業までを行う除草装置2Bとにより構成された除草装置2について説明したが、このような構成に限られない。
例えば、学習データとして用いる画像データの収集と、学習済みモデルの生成のみを行い、機械学習に係る機能のみを有する装置を有していても良い。この場合、他の装置が一次スキャン、二次スキャン及び除草を行っても良いし、一次スキャンのみを行う装置と、二次スキャン及び除草を行う装置とを用いて除草作業を行っても良い。
第二実施形態では、学習データとして用いる画像データの収集から群生エリアの特定を行う一次スキャンまでを行う群生エリア特定装置2Aと、群生エリア特定装置2Aの特定結果に基づいて、作業領域内の二次スキャンから除草作業までを行う除草装置2Bとにより構成された除草装置2について説明したが、このような構成に限られない。
例えば、学習データとして用いる画像データの収集と、学習済みモデルの生成のみを行い、機械学習に係る機能のみを有する装置を有していても良い。この場合、他の装置が一次スキャン、二次スキャン及び除草を行っても良いし、一次スキャンのみを行う装置と、二次スキャン及び除草を行う装置とを用いて除草作業を行っても良い。
(2.6)第二実施形態の効果
第二実施形態に係る除草装置2及び除草装置2で実行される自動除草方法及び自動除草プログラムは、第一実施形態に記載の効果に加えて、以下の効果を有する。
(7)除草装置2は、群生エリア特定装置2Aと除草装置2Bとにより構成されている。
これにより、群生エリア特定装置2Aによる作業(学習データ用の画像データ収集から一次スキャンまで)と、除草装置2Bによる作業(二次スキャンから除草作業まで)とを並行して実行することができ、除草効率がより向上する。また、通信インタフェースを介してリアルタイムで群生エリア特定装置2Aと除草装置2Bとの間でのデータの送受信を行うことができるため、群生エリア特定装置2Aと除草装置2Bとを同期のために停止させることなく、除草効率の向上を妨げない。
第二実施形態に係る除草装置2及び除草装置2で実行される自動除草方法及び自動除草プログラムは、第一実施形態に記載の効果に加えて、以下の効果を有する。
(7)除草装置2は、群生エリア特定装置2Aと除草装置2Bとにより構成されている。
これにより、群生エリア特定装置2Aによる作業(学習データ用の画像データ収集から一次スキャンまで)と、除草装置2Bによる作業(二次スキャンから除草作業まで)とを並行して実行することができ、除草効率がより向上する。また、通信インタフェースを介してリアルタイムで群生エリア特定装置2Aと除草装置2Bとの間でのデータの送受信を行うことができるため、群生エリア特定装置2Aと除草装置2Bとを同期のために停止させることなく、除草効率の向上を妨げない。
以上、本発明の実施形態について説明したが、本発明の技術的範囲は、上述した実施形態に記載の技術的範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることも可能であり、そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
1,2,2B 除草装置
2A 群生エリア特定装置
11 機体
12 車輪
12A 前輪
12B 後輪
13,13A,13B 撮像装置
14 収容部
15 除草アーム
16,16A,16B 入力装置
17,17A,17B 表示装置
18 コンピュータ
20 演算装置
21 プロセッサ
24 補助記憶装置
25 外部インタフェース
26 通信インタフェース
27 バス
28 ネットワーク
31,31A,31B データ取得部
32,32A,32B 記憶部
33,33A,33B 機械学習部
34,34A,34B 除草エリア特定部
35,35A,35B 位置情報検出部
36,36B 制御部
151 把持アーム
151A 第1把持アーム
151B 第2把持アーム
152 把持アーム回転部
331 ラベル付与部
332 学習データ抽出部
333 学習部
334,334B 学習モデル記憶部
335 分類部
341 雑草存在判定部
342,342B 占有率算出部
35 位置情報検出部
351 ジャイロセンサ
352 GPS
353 位置情報算出部
A1~A20 区画
a1~a25 小区画
2A 群生エリア特定装置
11 機体
12 車輪
12A 前輪
12B 後輪
13,13A,13B 撮像装置
14 収容部
15 除草アーム
16,16A,16B 入力装置
17,17A,17B 表示装置
18 コンピュータ
20 演算装置
21 プロセッサ
24 補助記憶装置
25 外部インタフェース
26 通信インタフェース
27 バス
28 ネットワーク
31,31A,31B データ取得部
32,32A,32B 記憶部
33,33A,33B 機械学習部
34,34A,34B 除草エリア特定部
35,35A,35B 位置情報検出部
36,36B 制御部
151 把持アーム
151A 第1把持アーム
151B 第2把持アーム
152 把持アーム回転部
331 ラベル付与部
332 学習データ抽出部
333 学習部
334,334B 学習モデル記憶部
335 分類部
341 雑草存在判定部
342,342B 占有率算出部
35 位置情報検出部
351 ジャイロセンサ
352 GPS
353 位置情報算出部
A1~A20 区画
a1~a25 小区画
Claims (10)
- 機体と、
機体を走行させる車輪と、
作業領域の画像データを取得するデータ取得部と、
前記画像データに基づいて、前記画像データで示される画像に写る植物を、前記作業領域内で栽培されている栽培植物と前記栽培植物以外の植物とのいずれかに分類可能な学習済みモデルを有し、前記データ取得部で取得された前記画像データに基づいて、前記画像内に映る植物を前記栽培植物と前記栽培植物以外の植物とのいずれかに分類する分類部と、
前記機体に設けられた、植物を収容することが可能な収容部と、
前記分類部の分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行う除草部と、
前記雑草を集めて前記収容部に収容する収集部と、
を備える除草装置。 - 前記データ取得部で取得された前記画像データと前記分類部の前記分類結果とに基づいて、前記作業領域のうち前記雑草が群生する区画を特定し、前記雑草が群生する区画を除草エリアとする除草エリア特定部を備え、
前記除草部は、前記除草エリアにおいて除草作業を行う
請求項1に記載の除草装置。 - 前記除草エリア特定部は、前記画像データに基づいて前記作業領域の範囲を規定し、前記作業領域を複数の区画に区分けして、前記雑草が群生する区画を除草エリアとして特定する
請求項2に記載の除草装置。 - 前記除草エリア特定部によって特定された前記雑草が群生する区画を更に複数の小区画に区分けして、前記小区画毎に前記雑草の有無を判定し、前記小区画の総数に対する前記雑草が存在する小区画の数から、前記雑草が群生する区画における前記雑草の占有率を算出する占有率算出部を備える
請求項3に記載の除草装置。 - 自装置の位置及び姿勢を取得可能な位置情報検出部を備え、
前記占有率算出部は、前記画像データの撮像高さ及び前記位置情報検出部から取得した前記自装置の位置及び姿勢の少なくとも一つに基づいて、前記画像内における撮像対象物の傾きを補正し、補正された画像に基づいて複数の小区画への区分けを行う
請求項4に記載の除草装置。 - 前記画像を撮像して前記画像データを生成する撮像装置を備え、
前記占有率算出部は、前記撮像装置の取り付け高さを前記画像データの前記撮像高さとして前記撮像対象物の傾きを補正する
請求項5に記載の除草装置。 - 前記雑草が群生する区画の面積と、前記雑草が群生する区画内における前記雑草が群生する領域の面積とを算出し、前記区画の面積に対する前記領域の面積から、前記雑草が群生する区画における前記雑草の占有率を算出する占有率算出部を備える
請求項3に記載の除草装置。 - 前記雑草の占有率と予め設定された閾値とを比較し、前記雑草の占有率が前記閾値以上の場合に、前記雑草が群生する区画を前記除草エリアと判定する除草判定部を備える
請求項2から7のいずれか1項に記載の除草装置。 - 作業領域の画像データを取得し、
前記画像データに基づいて、前記画像データで示される画像に写る植物を、前記作業領域内で栽培されている栽培植物と前記栽培植物以外の植物とのいずれかに分類可能な学習済みモデルに対して前記画像データを入力し、前記学習済みモデルからの出力結果として、前記画像内に映る植物を前記栽培植物と前記栽培植物以外の植物とのいずれかに分類した分類結果を取得し、
前記分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行い、
前記植物を収容することが可能な収容部に前記雑草を収容する
自動除草方法。 - 作業領域の画像データを取得することと、
前記画像データに基づいて、前記画像データで示される画像に写る植物を、前記作業領域内で栽培されている栽培植物と前記栽培植物以外の植物とのいずれかに分類可能な学習済みモデルに対して前記画像データを入力し、前記学習済みモデルからの出力結果として、前記画像内に映る植物を前記栽培植物と前記栽培植物以外の植物とのいずれかに分類した分類結果を取得することと、
前記分類結果に基づいて、栽培植物以外の植物であると判断された植物を雑草として地面から抜く又は切断する除草作業を行うことと、
前記植物を収容することが可能な収容部に前記雑草を収容することと、
をコンピュータに実行させる自動除草プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020173229A JP2022064532A (ja) | 2020-10-14 | 2020-10-14 | 除草装置、自動除草方法及び自動除草プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020173229A JP2022064532A (ja) | 2020-10-14 | 2020-10-14 | 除草装置、自動除草方法及び自動除草プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022064532A true JP2022064532A (ja) | 2022-04-26 |
Family
ID=81385946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173229A Pending JP2022064532A (ja) | 2020-10-14 | 2020-10-14 | 除草装置、自動除草方法及び自動除草プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022064532A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115251024A (zh) * | 2022-08-29 | 2022-11-01 | 北京大学现代农业研究院 | 除草方式的确定方法、装置、电子设备及除草系统 |
-
2020
- 2020-10-14 JP JP2020173229A patent/JP2022064532A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115251024A (zh) * | 2022-08-29 | 2022-11-01 | 北京大学现代农业研究院 | 除草方式的确定方法、装置、电子设备及除草系统 |
CN115251024B (zh) * | 2022-08-29 | 2023-11-21 | 北京大学现代农业研究院 | 除草方式的确定方法、装置、电子设备及除草系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111406261B (zh) | 一种从大视野图像中检测被感染对象的计算机实现的方法 | |
Zhang et al. | Review of current robotic approaches for precision weed management | |
US11285612B2 (en) | Coordinating agricultural robots | |
JP2019520631A (ja) | 自然環境における雑草の認識 | |
JP6853591B2 (ja) | 農作業装置、農作業管理システム、及びプログラム | |
US20220391644A1 (en) | System for measuring and interpreting a force | |
CA3163802A1 (en) | Mobile sensing system for crop monitoring | |
Miao et al. | Efficient tomato harvesting robot based on image processing and deep learning | |
CN114206110A (zh) | 用于生成用于利用农业设备来处理田地的应用地图的方法 | |
JP2022064532A (ja) | 除草装置、自動除草方法及び自動除草プログラム | |
JP7068747B2 (ja) | コンピュータシステム、作物生育支援方法及びプログラム | |
Gharakhani et al. | Integration and preliminary evaluation of a robotic cotton harvester prototype | |
Simon et al. | Weed Plant Identification and Removal Using Machine Vision and Robotics | |
US20230252791A1 (en) | Performing actions based on evaluation and comparison of multiple input processing schemes | |
EP4187344B1 (en) | Work machine distance prediction and action control | |
KR102264200B1 (ko) | 작물 생육정보 모니터링 시스템 | |
JP6621942B2 (ja) | 遠隔制御システム、遠隔制御方法、およびプログラム | |
US20210315150A1 (en) | Method and systems for generating prescription plans for a region under cultivation | |
EP3905155B1 (en) | Machine learning applications in agriculture | |
US20240206455A1 (en) | Weed control with an autonomous work device | |
JP7113555B1 (ja) | 果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法 | |
US20230245335A1 (en) | Soil sensing target selection | |
US20230364796A1 (en) | Adaptive scouting using multi-legged robots | |
US20230169764A1 (en) | Generating synthetic ground-level data based on generator conditioned for particular agricultural area | |
JP2022159637A (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240624 |