JP2019520631A

JP2019520631A - 自然環境における雑草の認識

Info

Publication number: JP2019520631A
Application number: JP2018559348A
Authority: JP
Inventors: キーペビェアン; トーマス　シリング; シリングトーマス; グラートバッハアレクサンドラ; シュテポナートビアギート; フォイスフランコ; レヒシュタイナーダニエル; ヘルヴェークゼバスティアン
Original assignee: BASF SE
Current assignee: BASF SE
Priority date: 2016-05-12
Filing date: 2017-05-05
Publication date: 2019-07-18
Also published as: US20190147249A1; WO2017194399A1; CA3024402A1; EP3455783A1; CN109478232A; BR112018073172A2; US10977494B2; RU2735151C2; AU2017262615A1; RU2018143339A3; RU2018143339A; BR112018073172A8

Abstract

自然環境において雑草の種類を識別する方法を提供可能である。この方法は、早期生長段階にある雑草のデジタルイメージを関連づけられたメタデータと共に受信すること、葉の領域の輪郭線を形成すること、および雑草が単子葉であるのか双子葉であるのかを判定することを含む。さらにこの方法は、生長段階を判定すること、および雑草の種類ごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶装置を用いる複数の分類器のセットに対する入力パラメータとして、複数の受信メタデータ、ならびに輪郭線形成中、雑草が単子葉類であるのか双子葉類であるのかの判定中、および雑草の生長段階の判定中に求められた複数のメタデータのうちの少なくとも１つを用いて、雑草名により識別される雑草の種類を判定し、かつこの判定の正確度の確率を特定することを含む。

Description

本発明は全般的には雑草の識別に関するものであり、より具体的には、自然環境において雑草の種類を識別する方法に関する。本発明はさらに、自然環境において雑草の種類を識別する識別システム、およびコンピュータプログラム製品に関する。

農業は現在、次の農業発展段階を迎えている。多くの農業プロセスの産業化および一連の自動化戦略の後に続くのは、農業プロセスへのハイテクツールの導入である。この状況に加えて、インターネット・オブ・シングス（ＩｏＴ）現象は、農業においては生じていない。

農家は、自身の収穫量を増やすこと、ならびに自身のコストを減らすことに大いに関心を抱いているので、農業の効率を高めるための措置に多くの努力が払われている。田畑において害虫、病気および雑草といった要因を減らすことによって、収穫量に多大な影響が及ぼされる。よって、雑草を食い止める目的で農家は除草剤を使用するが、かかる処置は一般に多大な努力とコストとを必要とする。これまでのところ農家は、除草剤を適用するにあたり、雑草を識別するために自身の経験と固有の知識とに頼らざるを得ない。すべての農業従事者がこのような専門的技術を満たせるわけでもなく、したがって存在する雑草をどのようにして食い止めるのかを判断するときの何らかの支援は、大いに歓迎される。このことに加え、雑草の正確な識別つまりは適正な除草剤を正確な量で選択することは、リソースを節約しさらには環境を保護するのに役立つ。

その結果として、農地内に出現する可能性のある雑草植物の個々の葉を摘み取り、何らかの文献を用い後方業務として雑草の種類の識別を試みる、という手動のプロセスによらずに、農地内の雑草を識別するための技術支援に対するニーズが存在する。よって、本願の課題は、自然環境において栽培作物中に混ざった雑草を識別する方法およびシステムを提供することである。

独立請求項に記載された、自然環境において雑草の種類を識別する方法、自然環境において雑草の種類を識別する認識システム、およびコンピュータプログラム製品によって、上述のニーズに対処することができる。

本発明の第１の態様によれば、自然環境において雑草のデジタルイメージに基づき雑草の種類を識別する方法を提供することができる。この方法は、自然環境において栽培作物中に混ざった早期生長段階の雑草を表すデータを含むデジタルイメージを受信することを含むことができる。これに加え、デジタルイメージに関連するメタデータを受信することができる。

この方法はさらに、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成し、これによって１つの境界輪郭線内で雑草の画素を含む少なくとも１つの輪郭線形成領域を生成すること、および雑草が単子葉類であるのか双子葉類であるのかを判定することを含むことができる。

さらにこの方法は、雑草の生長段階を判定することを含むことができ、この判定は、輪郭線形成領域の節中心を特定することにより雑草の少なくとも１枚の単葉を区分けすること、および輪郭線形成領域内の葉の枚数を特定することによって行われる。

この方法のさらに別の特徴は、雑草名により識別される雑草の種類を判定し、かつこの判定の正確度の確率を特定することを含むことができる。この場合、複数の受信メタデータ、ならびに輪郭線形成中、雑草が双子葉類であるのか単子葉類であるのかの判定中、および雑草の生長段階の判定中に求められた複数の導出メタデータ、のうちの少なくとも１つが、複数の分類器のセットに対する入力パラメータとして用いられる。これら複数の分類器のセットは、雑草タイプごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶装置へのアクセスを有することができる。

本発明の別の態様によれば、自然環境において雑草のデジタルイメージに基づき雑草の種類を識別する識別システムを提供することができる。この識別システムは、早期生長段階にあり自然環境において栽培作物中に混ざった雑草を表すデータを含むデジタルイメージと、このデジタルイメージに関連するメタデータと、を受信するように適合された受信ユニットと、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界内で雑草の画素を含む少なくとも１つの輪郭線形成領域を生成するように適合された、輪郭線形成ユニットと、雑草が単子葉類であるのか双子葉類であるのかを判定するように適合された第１の分類器ユニットと、を含むことができる。

この識別システムはさらに、雑草の生長段階を判定するように適合された判定ユニットを含むことができ、この判定は、輪郭線形成領域の節中心を特定することにより雑草の少なくとも１枚の単葉を区分けすること、および輪郭線形成領域内の葉の枚数を特定することによって行われる。

これに加え識別システムは、複数の第２の分類器から成るセットを含む第２の分類器ユニットを含むことができ、これら複数の第２の分類器から成るセットは、複数の受信メタデータ、および輪郭形成ユニットと第１の分類器ユニットと雑草の生長段階を判定する判定ユニットとにより求められた複数のメタデータのうちの少なくとも１つを、入力パラメータとして用いて、雑草名により識別される雑草の種類を判定し、かつこの判定の正確度の確率を特定するように適合されている。これら第２の分類器は、雑草のタイプごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶システムへのアクセスを有することができる。

ここで述べておくことができるのは、識別システムをプライベートのコンピューティングセンタ、またはクラウドコンピューティングセンタといった共有コンピューティングセンタの一部として実装できる、ということである。デジタルイメージを、農地内でデジタルカメラにより撮影することができ、後続処理のために識別システムによって受信することができる。イメージキャプチャリングデバイスまたはデジタルカメラを、農家、コンサルタントまたは他の任意の人によって手動で操作することができる。別の選択肢として、自律的に動作可能または遠隔制御可能である飛行ドローンにカメラを設置してもよい。

さらに実施形態は、関連づけられたコンピュータプログラム製品の形態をとることができ、このプログラム製品は、コンピュータまたは任意の命令実行システムによって、あるいはコンピュータまたは任意の命令実行システムと連携して使用するためにプログラムコードを提供するコンピュータ可用媒体またはコンピュータ可読媒体からアクセス可能である。ここで説明する目的で、コンピュータ可用媒体またはコンピュータ可読媒体を、命令を実行するシステム、装置またはデバイスによって、あるいはそれらと連携して使用するためにプログラムを記憶、通信、伝播または伝送するための手段を含むことができる任意の装置とすることができる。

自然環境において雑草の種類を認識するために提案される方法によれば、いくつかの利点および技術的効果をもたらすことができる。

雑草の種類を自動的に検出して正しい雑草名を判定することは、田畑の農家にとって高い価値があるものである。作物畑における雑草は、季節ごとに、気象条件ごとに、さらには年ごとに、異なる可能性がある。これに加え、専門家でも確実な手法で雑草の種類を識別できない場合もあるように、雑草の表現型の外見が環境条件次第で異なる可能性がある。特に早期生長段階中にあると、特定の雑草の外観における小さな差異を認識するのが難しい。例えばスマートフォンなどのカメラを用いて画像を撮影し、スマートフォン内部で予備分析を実施し、かつ／または識別システムへその画像を送信することによって、農家のために意義深い価値をもたらすことができる。農家は、自身の作物中に混ざって雑草が生育していくのを食い止める目的で、いずれの除草剤の種類を使用するのかを即座に判断することができる。さらにこのことは、雑草が生長してきた領域だけに除草剤を適用するために役立つ可能性もある。農地のスポットにおいてのみ雑草を食い止めるためには、田畑内の雑草の分布に関する付加的な区分情報が必要かもしれない。

教育を受けていない農家、雑草を認識する何らかの経験のない支援要員または臨時スタッフによって、出現する可能性のある雑草のイメージをキャプチャリングするタスクを実施することもできる。これにより、農業プロセスにおいて貴重な時間とお金を節約することができる。デジタルイメージのイメージ情報を、有用な最小限のものに低減することができる。複数の分類器から成るセットまたはニューラルネットワークシステムの形態の高性能で高度に精巧にされた雑草識別システムを一緒に用いることで、農家は自身のスマートフォンを使用するだけで、程度の差こそあれ即座に雑草名を判定することができる。１つまたは複数の雑草の種類の確率と共に雑草名を判定し、キャプチャリングしたスマートフォンへその情報を送り返す分類器のための入力値として、メタデータを使用することによって、農家とバックエンドシステムとの間の精巧なインタラクションを可能にすることができる。また、その雑草名を高い確率で判定し、どのように進めるのかを農家にアドバイスすることもできる。さらに分類器の技術を、高性能のマルチコアベースのスマートフォンまたは専用の雑草分析システムに実装できるようにしてもよい。

さらに、雑草イメージをキャプチャリングおよび受信し確率のランク付けと共に雑草名を折り返し送信するこのプロセス全体を、著しく短期間の時間内に、例えば数秒以内に、実施することができる。スマートフォンは今日どこにでもあるので、田畑において専用カメラのような専用設備を不要とすることができる。かくして認識プロセスにかかるコストを、慣用のテクノロジーと対比して比較的低く抑えることもでき、その理由は、著しく多くのシンプルなスマートフォンが、クラウドコンピューティングの手法で識別システムを使用できるからである。

最終的には、高度に精巧にされた識別システムにより実施される雑草識別プロセスを、経験のない農家でも使用可能にすることができ、これによってそのような農家は、雑草を食い止めて自身の農業収穫量を増大させることができる。

さらに、提案される方法およびシステムによれば、人工的な条件にある温室内だけではなく、自然環境において雑草を識別、判定および／または認識することが可能となる。あらゆるものが活動しながら現実の日々の活動条件のもとで成し遂げられる可能性があることから、このことは田畑で働く農家にとって非常に貴重な利点であることがわかる。自然環境において雑草を認識するのは、変量の個数が格段に多くなることから、温室条件のもとで認識するよりもずっと難しいことがわかっている。自然環境における認識を温室内における雑草認識と対比することができない理由としていくつかのパラメータを挙げるにすぎないが、温室内であれば、一定の光が存在し得るし、直射日光または単一光源に関係する強い影がなく、反射および色の外見に変化をもたらし予測不能にする日中の時刻に関連づけられた光の角度変動がなく、雲、霧または霞がなく、または土壌の変動がなく、湿潤度条件の変動がなく、風により引き起こされる植物の動きがなく、昆虫に関係する葉の損傷がない。したがって上述の環境すべては、自然条件のもとでは変動し、このことは、一般的に人工的である最適な環境条件に頼っている部分的に公知のイメージ認識技術との大きな相違点を意味し得るのである。

以下では、自然環境において雑草の種類を識別するために提案される方法の付加的な実施形態について説明する。ここで述べておくことができるのは、これらの実施形態を方法の形態または関連づけられたシステムの形態で具現化できることである。

本発明の１つの好ましい実施形態によれば、事前定義された色の仕様を、自然環境における雑草の色範囲に関連させることができ、この場合、特に例えば４９０〜５７５ｎｍの波長の緑色の色範囲を中心に可視範囲全体に着目する。このことによって、デジタルイメージの一部として同様にキャプチャリングされた背景情報からの「イメージノイズ」を低減することができる。キャプチャリングされた雑草の背景も、上述の波長範囲に収まる単一の緑色画素または小さい緑色画素群を含む可能性がある。背景にあるこのような緑色情報スポットを、輪郭線形成によって排除することができる。許容可能な波長範囲（例えば４９０〜５７５ｎｍ）を、テーブル、データベース、または他の適切なデータフォーマットで記憶させることができる。

テクスチャの仕様を、葉脈、葉の切片の特徴的形状、特定のパターニングおよび色分布、葉の表面頂面および葉縁における毛茸に関連させることができる。これらの特有のテクスチャおよび付加的な特有のテクスチャのすべてを、明示的にパラメータ化することはできないが、１つまたは複数のトレーニング済み分類器相関関数の「学習済み」コンテキストに属するようにすることができる。

この方法について付加的に好ましい実施形態によれば、事前定義された色およびテクスチャの仕様を有する領域の輪郭線の形成を、デジタルイメージの組み合わせられた色ごとに、その色成分の組み合わせが事前定義された複数の色の組み合わせのうちの１つに整合しているか否かを判定することにより、実施することができる。一般的にイメージ検出器は、公知のＲＧＢ色モデル（赤−緑−青）を用い、１つの画素全体ごとに３つの副画素を使用して動作し、この場合、１つの副画素は、３つの基本色である赤、緑および青のうちの１つのために用いられる。副色画素情報のＲＧＢモデル内で事前規定された色情報および強度分布を用いてこのようにして指定された色空間境界を、基準として記憶することができる。このようにすれば、デジタルイメージの各画素と記憶された基準色情報との高速な比較を実施することができ、この比較によって、キャプチャリングされたデジタルイメージの１つの画素が、輪郭線を形成すべき領域の一部として選択されるかもしれないし、または選択されないかもしれない。

この方法の１つの有利な実施形態によれば、事前定義された色の仕様を有する領域の輪郭線形成を、
１．ｗ_ｉ＝Ｆ（ｐ_ｉ，ｐ_ｉ，ｊ）（式１）
を求めることによって付加的に実施することができる。ただし、ｗ_ｉ＝１または０であり、画素ｉが雑草に属しているのか否かを表す。このことを、単一の画素について許容された色情報に対するもっと直接的な比較に加えて実施することができる。Ｆを、ｐ_ｉおよびすべてのｐ_ｊの色属性に基づき、雑草もしくは非雑草についての確率を計算する関数とすることができ、ｐ_ｉ＝画素ｉであり、ｐ_ｉ，ｊ＝画素ｉを取り囲む画素ｊである。画素ｉを取り囲むものとしてカウントされる画素の個数を、変化させることができる。例えば、ただ１つのリングまたは周囲の画素を用いることができ、これを８個の画素ｐ_ｉ，ｊとすることができる。さらに第１のリングを取り囲む画素ｐ_ｉ，ｊの次のリングも考慮することができ、この第２のリングは付加的な１６個の画素ｐ_ｉ，ｊを含むことができる。さらに付加的な画素のリングを考慮することができ、種々のリングを、画素ｉから画素リングが離れるにつれて減少する重み付け係数と乗算することができる。これによって、キャプチャリングされたデジタルイメージの画素を雑草画素としてカウントすべきであるのか否かを、いっそう綿密に判定できるようになる。

この方法の１つの許容される実施形態によれば、早期生長段階をＢＢＣＨコード１０〜３９によって定義することができる。ＢＢＣＨコード（ドイツ連邦共和国のBiologische Bundesanstalt, Bundessortenamt und CHemische Industrie連邦生物学研究所、連邦品種庁および化学工業協会による国際的に認められたコード）を用いれば、雑草の早期生長段階における比較可能な結果を達成するために役立てることができる。一般的に、１０よりも小さいＢＢＣＨコードによる生長段階にある雑草は、例えば最初の葉が出現している状態は、たとえ専門家であっても認識できない可能性がある。また、４０以上のＢＢＣＨコードを有する雑草は、除草剤によってそれを首尾よく食い止めるには、大きく生長し過ぎている可能性がある。ただし、１０より小さいＢＢＣＨコードを有する雑草であっても、比較的低い確率で認識できる場合もある。輪郭線形成領域の色情報のスペクトル分析を強めれば、このことを達成する手段になり得る。

この方法の１つの有用な実施形態によれば、雑草が単子葉類であるのか双子葉類であるのかを判定することは、単子葉類の雑草と双子葉類の雑草とを区別するようにトレーニング済みの分類器を適用し、その結果としてバイナリの単子葉−双子葉識別値を生じさせることを含むことができる。ニューラルネットワーク分類器などのような分類器を、これらの分類器がトレーニングイメージによって十分にトレーニングされているならば、単子葉類の雑草と双子葉類の雑草との弁別によく適したものであるといえる。単子葉類のタイプまたは双子葉類のタイプのいずれの雑草も独特の特徴を有しており、２つのタイプの雑草の良好な弁別が可能となる。単子葉−双子葉識別値を、導出メタデータとして扱うことができる。

この方法の１つの有利な実施形態によれば、導出メタデータは、バイナリの単子葉−双子葉識別値、特定された葉の枚数、および判定された生長段階を含むグループから選択された少なくとも１つのものを含むことができる。これらのメタデータを、受信したデジタルイメージから導出されたメタデータとすることができる。両方のタイプのメタデータを、最終的には雑草の種類を判定するためのパラメータとして用いることができるけれども、上述のメタデータを受信メタデータと区別することができる。

この方法のさらに別の有利な実施形態によれば、受信メタデータは、デジタルイメージのキャプチャリングロケーションのグローバルポジショニングシステムデータ（ＧＰＳ）値、これは特に国または地域を同定するため、暦日、これは特に季節および場合によっては関連づけられた気象データを同定するため、グローバルポジショニングデータシステムデータ値に関連づけられた地形データ、特に海抜高度および／または地質データの同定、デジタルイメージをキャプチャリングする運動中のキャプチャリングデバイスの加速度データ、デジタルイメージをキャプチャリング中のキャプチャリングデバイスの傾斜角度、およびデジタルイメージをキャプチャリングしたカメラのタイプ、を含むグループのうちの少なくとも１つのものを含むことができる。これらのメタデータの一部を、例えばスマートフォンから、または択一的にサーバの１つまたは複数のデータベースから、デジタルイメージと共に受信することができる。さらにこれらのメタデータを、他のコンピューティングシステムのために、例えば気象データまたはＧＰＳに基づくトポロジーデータおよび日付／時刻データを供給するクラウドコンピューティングセンタのために、受信することもできる。

この方法の付加的に好ましい実施形態によれば、受信および／または導出されたメタデータ値各々は、事前定義された重み付け値を有することができ、この重み付け値も分類器のセットに対する入力パラメータとして用いることができる。これらのパラメータを、提案された方法およびシステムの微調整に用いることができる。これらのパラメータを学習させて、種々の季節に関するデータを自動的に比較させてもよいし、または農家および管理者によりこれらのパラメータを手動で設定して、システムにより作り上げた経験を反映させてもよい。

この方法のさらに別の好ましい実施形態によれば、雑草名により識別される雑草の種類を判定することは、判定された雑草名の名称を、地理的ロケーションと季節データとに対する雑草の出現確率をマッピング可能な雑草確率マップと比較すること、および判定された雑草名の名称と雑草確率マップとの比較に基づき、この判定の正確度の確率を再計算することも含むことができる。この付加的な調整は、雑草の種類のさらにいっそう精密な判定に寄与する可能性がある。これによって例えば、誤って識別される雑草の種類を排除することができる。なぜならば、年間の所与の時点（季節）および／または地理的領域においてそのような雑草の種類を判定する確率を比較的低いものとすることができるからである。

さらにここで述べておくことができるのは、目下の季節およびその前の季節に生長している雑草の種類などのような他のメタデータ値を判定プロセスに含めることができる、ということであり、これには目下の田畑で、あるいは同じまたは類似の作物が生長している領域の他の田畑で、現在より前の季節中に検出された関連づけられた雑草の種類が含まれる。この種の付加的な情報も、確率マップに反映させることができる。

さらにこの方法は、識別された雑草名と、３つの最上位確率値を有する雑草名についての判定の正確度の関連づけられた確率とを送信することを含むことができる。デジタルイメージをキャプチャリングするために人間がデジタルカメラを操作することができたケースでは、カメラのオペレータ宛に、もっと正確にはオペレータのスマートフォン宛に、ワイヤレス送信を振り向けることができる。他方、ドローンまたは自動的なホイールベースのフィールドロボットなどのように、自動的な輸送手段にデジタルカメラを取り付けることができるケースでは、雑草が見つかったＧＰＳ座標を含め、農家のスマートフォンまたは農家の他のモバイルデバイスへワイヤレスで、名称および確率を送信することができる。この場合、特別なソフトウェアアプリケーションによって、見つかった雑草のロケーションを農場の地理マップ上に描くことができる。

さらに実施形態は、関連づけられたコンピュータプログラム製品の形態をとることができ、このコンピュータプログラム製品は、コンピュータによって、またはスマートフォンのような任意の命令実行システムによって、あるいはそれらと連携して使用するためにプログラムコードを提供するコンピュータ可用媒体またはコンピュータ可読媒体からアクセス可能である。ここで説明する目的で、コンピュータ可用媒体またはコンピュータ可読媒体を、命令を実行するシステム、装置またはデバイスによって、あるいはそれらと連携して使用するためにプログラムを記憶、通信、伝播または伝送するための手段を含むことができる任意の装置とすることができる。

ここで述べておきたいのは、本発明の複数の態様をそれぞれ異なる保護対象に関して説明する、ということである。特に、一部の実施形態を、方法の形式の請求項に関して説明する一方、他の実施形態を、装置の形式の請求項に関して説明する。しかしながら当業者であれば上述の説明および以下の説明から読み取るであろうように、特段の記載がないかぎり、１つの形式の保護対象に属する複数の構成要件の任意の組み合わせに加え、それぞれ異なる保護対象に関連する構成要件両者間の任意の組み合わせも、特に方法の形式の請求項の構成要件と装置の形式の請求項の構成要件両者間の任意の組み合わせも、本明細書に開示されているものとみなされる。

上述の態様および本発明のさらに別の態様は、以下で説明する実施形態の具体例から明らかになる。それらの態様を実施形態の具体例に関して説明するが、本発明はそれらの具体例に限定されるものではない。

本発明の好ましい実施形態を、単に具体例として以下の図面を参照しながら説明する。

自然環境において雑草の種類を認識する本発明による方法の１つの実施形態を示すブロック図である。双子葉類のデジタルイメージのキャプチャリングに関する１つの実施形態を示すブロック図である。単子葉類のデジタルイメージのキャプチャリングに関する１つの実施形態を示すブロック図である。領域輪郭線形成プロセスのステップの実施形態を示す図である。ａおよびｂは、輪郭線形成プロセスにさらに複数の画素リングを含めるコンセプトを示す図である。４枚の葉と１つの節中心とを有する雑草のイメージに関する実施形態を示す図である。雑草識別システムの１つの実施形態を示すブロック図である。識別システムを含むコンピューティングシステムの１つの実施形態を示す図である。

本明細書の文脈において、以下の取り決め、用語および／または表現を用いる場合がある。

用語「識別する」、特に「雑草の種類を識別する」または「雑草の種類を認識する」によって、または「判定する」によっても、表すことができるのは、特定の種類の雑草を識別するための自動化された機械ベースの判定プロセスまたは認識プロセスのことであり、このプロセスは、デジタルカメラから受け取ったデジタルイメージからスタートして、デジタルイメージを前処理し、デジタルイメージの処理中にメタデータを導出し、さらにイメージデータの確率ベースの分析のために、例えばニューラルネットワークベースの分類器によってそれらを使用し、最終的に１つまたは複数の種類の雑草を識別する。

用語「雑草」によって表すことができるのは、ほとんどいかなる環境にもすぐに適応できてしまう何らかの種の望ましくない植物のことである。ここで雑草という表現を、作物中に混ざった植物、または生長した種子の産物を収穫するという点で有用な栽培植物中または実用植物中に混ざった植物に関連づけることもできる。雑草は、作物生長プロセスを妨害し、またはそれに悪影響を及ぼし、農地の収穫量を減少させる可能性がある。

用語「自然環境」によって表すことができるのは、作物または雑草といった植物の文脈においては、自然気象、ならびに湿度および直接的または間接的な太陽光、および他の気象現象といった環境条件に晒される可能性のある田畑または土地において植物が生長する、ということである。したがって自然環境からは、温室または植物のための他の非自然的な生長環境などのような人工的な環境が除外される。条件がコントロールされたこの種の非自然的な環境によれば、認識プロセスをいっそう難しくさせるかまたは多くのケースでは不可能にする数多くの影響要因を、人工的に除外することができる。このような構成要件ゆえに、ここで提案している方法およびシステムが有利なものであることを証明することができ、その理由は、人工的にコントロールされた環境においては、作物と雑草とをいっそう容易に弁別できるからである。極度にコントロールされた条件のもとでは、特定の種類の雑草をいっそう容易に認識することができ、その理由は、例えば温室などの特定のコントロールされた条件があるならば、多数の種類の雑草を予め排除できるからである。

用語「早期生長段階」によって表すことができるのは、植物特に雑草が生長しきった段階まで生長したとはいえない状態にある植物の段階のことである。かなり早期の生長段階は、いずれにせよ認識するのが難しい可能性がある。植物例えば雑草の生長段階を記述するときに、「ＢＢＣＨコード」の使用が役に立つ可能性があることが明らかにされた。略語ＢＢＣＨは正式には、"Biologische Bundesanstalt, Bundessortenamt und CHemische Industrie"（連邦生物学研究所、連邦品種庁および化学工業協会）のことを表し、植物の生物季節学的生長段階を記述する。コードは００〜９９まで進む。ＢＢＣＨコード１０〜１９は、葉の様々な早期生育段階を表す。基本生長段階２はＢＢＣＨコード２０〜２９を含み、これはサイドシュート／分蘖の形成に関するものである。基本生長段階３（ＢＢＣＨコード３０〜３９）は、茎の伸長／シュート生育（メインシュート）を含むものである。よって、１０〜３９のＢＢＣＨコードを有する雑草に注目するということは、早期生長段階にある雑草にきちんと焦点が当てられることを意味し得るのである。

用語「輪郭線形成」によって表すことができるのは、デジタル画像において例えば雑草の共通するまたは同様の色および／またはテクスチャ特性を有する特定の領域または表面の輪郭線を決定するプロセスのことである。植物特に雑草の葉各々は、自然境界または外縁または葉縁を有する。輪郭線キャプチャリングプロセスによって、関連づけられた輪郭線形成領域の内側に雑草のすべての画素またはほぼすべての画素を含めることができるように、それらのエッジが認識および／または決定される。

用語「色およびテクスチャの仕様」によって表すことができるのは、色モデル例えばＲＧＢ色モデル（赤、緑、青）に準拠したデジタルイメージ内の画素に関するデジタル情報のことである。ただし、ＨＳＶ（色相、彩度、明度）、ＨＳＬ（色相、彩度、輝度／ルミナンス）などのように、他の色モデルを用いてもよい。業界でよく知られているように、ある１つの色モデルからのほとんどの色モデル情報を、数学的な行列演算によって他の色モデルに変換することができる。種々の色モデルは、最も自然な色表現である、デジタル処理に最も適している、グレースケール処理に最適に整合されている、エッジ認識つまりは輪郭線形成に最も適している、といった具合に、それぞれ異なる利点を有することができる。

用語「ＲＧＢ色モデル」によって表すことができるのは、赤、緑および青の光が様々な手法で共に加算されて多彩な色を再現する周知の加法色モデルのことである。モデルの名称は、３つの加法原色である赤（red）、緑（green）および青（blue）の頭文字に由来する。ＲＧＢ色モデルは、慣用の写真においても用いられてきたけれども、この色モデルの主要な目的は、テレビジョンやコンピュータなどの電子システムにおけるイメージのセンシング、表現および表示のためである。エレクトロニクス時代になる前にすでにＲＧＢ色モデルは、人間の色知覚に基づきその背後にある確固とした理論をもっていた。ＲＧＢはデバイスに依存する色モデルである。すなわち、それぞれ異なるデバイスは、所与のＲＧＢ値をそれぞれ異なるように検出または再現する可能性があり、その理由は（蛍光体または染料のような）色素および個々のＲ，ＧおよびＢのレベルに対するそれらの反応は、製造業者ごとに異なるからであり、または同じデバイスであったとしても時間の経過につれて異なるからである。したがってＲＧＢ値によっても、ある種の色管理および数学的変換なしでは、すべてのデバイスにわたって同じ色を定義することはできない。したがってＲＧＢ値によっても、ある種の色管理および数学的変換なしでは、どのようなデバイスでも同じ色を定義することはできない。

用語「分類器」または「分類器相関関数」および特に「トレーニング済み分類器相関関数」によって表すことができるのは、キャプチャリングされたイメージのうち１つまたは複数のセクションと、分類器をトレーニングした可能性のあるトレーニング基準イメージデータセットと、の間における特徴の類似度を測定することのできる、１つまたは複数の数学的関数のことである。相関関数の特徴のパラメータ化を手動でプログラミングしなくてもよく、トレーニングすることができ、すなわち既知の複数の入力属性と所望の結果とを含むデータセットを用いて学習することができる。当業者であれば、様々なタイプの相関アプローチに精通しているであろう。

実際にはこのアプローチを、テクスチャの仕様のためにも、さらには単子葉類と双子葉類との弁別および／または雑草の種類の判定にも、用いることができる。この場合、パラメータを明示的に指定することはできないが、それらのパラメータを１つまたは複数の分類器相関関数のトレーニングセッション中に自動的に導出することができる。

いくつかの分類器の形式が公知であり、本発明のコンセプトのために使用することができる。概念的には、例えば１つのアルゴリズムとして実装された分類器は、入力データを事前定義されたカテゴリにマッピングする。分類器は、一般に機械学習において使用される。これらの分類器は、既知の結果を生成することになる定義済みトレーニングデータセットを用いてトレーニングされ、このことは一種の教師あり学習を意味する。分類器の一例は線形分類器であり、これによれば予想されるカテゴリは、最高スコアをもつ１つのカテゴリとなる。このタイプのスコア関数は線形予測関数として知られており、式
スコア（Ｘ_ｉ，ｋ）＝β_ｋ*Ｘ_ｉ
を有する。

ただしＸ_ｉは、インスタンスｉの特徴ベクトルであり、β_ｋは、カテゴリｋに対応する重み付けベクトルであり、スコア（Ｘ_ｉ，ｋ）は、カテゴリｋへのインスタンスｉの割り当てに関連したスコアである。特徴ベクトルを、バイナリの、カテゴリ型の、順序付きの、整数値の、または実数値のものとすることができる。分類器は、バイナリ分類器またはマルチクラス分類器として動作することもできる。

他のタイプの分類器は、生体模倣のニューラルネットワーク分類器であり、これは入力値セットを受け取るシミュレートされたニューロンと、１つのニューロンの出力と別のニューロンの入力との間のリンクを形成するシナプス要素とによって動作する。手動で注釈が付されたイメージ（トレーニングイメージ）から、植物の特徴セットが抽出され、ニューラルネットワークをトレーニングするために用いられる（教師あり学習）。トレーニング後、新たなイメージ（テストイメージ）のたびに同じ特徴セットが抽出され、ニューラルネットワークはそれらの特徴を使用して、イメージ内の植物を分類する。

用語「雑草確率マップ」によって表すことができるのは、ある地理ポジションにおいて雑草が見つかる確率を表す地理ベースのマップのことであり、この場合、地理ポジションは、地表面上の地理座標および関連づけられた高度値によって特定され、これは季節データ、ならびに着目対象のロケーションにおいて特定の雑草が見つかった時間および強度に関する履歴データと組み合わせられる。よって、簡単に言えば、雑草確率マップは、年間の所与の時点の所与のロケーションで特定の種類の雑草がどの程度の見込みで見つかるのか、という質問に答える手段になり得るものである。

以下、図面の詳細な説明を記載する。それらの図面におけるすべての教示は概略的なものである。最初に、自然環境において雑草の種類を識別する本発明による方法の１つの実施形態のブロック図を示す。その後、さらに別の実施形態、ならびに自然環境において雑草の種類を認識する識別システムの実施形態について説明する。

図１には、自然環境において撮影されたデジタルイメージに基づき、雑草の種類を識別する方法１００に関する１つの実施形態のブロック図が示されている。この方法は、デジタルイメージを受信するステップ１０２を含む。このデジタルイメージを、デジタルカメラのオペレータ例えば田畑にいる農家によって、または自律的な輸送手段に設けられたカメラによって、撮影することができる。農家は、デジタルイメージを撮影するためにスマートフォンのデジタルカメラを用いることができ、そのデジタルイメージを識別システムに送信することができる。例えばスマートフォンを介して識別システムが受信したデジタルイメージは、自然環境において栽培作物中に混ざった早期生長段階にある雑草を表すデータと、このデジタルイメージに関連するメタデータと、を含むことができる。メタデータは、デジタルイメージつまり雑草のロケーションのＧＰＳデータを、このデジタルイメージの撮影ロケーションに関するゼロよりも大きい高度値等と共に含むことができる。

この方法はさらに、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成するステップ１０４を有しており、これによって１つの境界輪郭線内に、特に１つの境界線内に、雑草の画素を含む少なくとも１つの輪郭線形成領域が生成される。少なくとも１つの雑草植物または場合によってはもっと多くの雑草植物が存在する可能性がある。換言すれば、背景例えば田畑の土壌とは異なる緑色植物の領域が検出される。さらにこの方法は、雑草が単子葉類であるのか双子葉類であるのかを判定するステップ１０６を含むことができる。これら２つの種類の雑草を比較的簡単に識別することができる。その理由は、萌芽期の葉または子葉の枚数を、トレーニング済み分類器を用いて特定できるからである。別の選択肢として、デジタルイメージの雑草が単子葉類であるのか双子葉類であるのか、カメラのオペレータが入力してもよい。たとえトレーニングされていない農家またはオペレータであっても、これら２つの種類の植物を弁別することはできる。

これに加えてこの方法は、雑草の生長段階を判定するステップ１０８を含むことができ、この判定は、輪郭線形成領域の節中心を特定することにより雑草の少なくとも１枚の単葉を区分けするステップ１１０と、輪郭線形成領域内の葉の枚数を特定するステップ１１２と、によって行われる。例えばMVTec社によるHalconライブラリなどのような、先進的なデジタルイメージ処理ライブラリから採用されたイメージ処理関数を用いて、これを実施することができる。用語「区分けする」によって表すことができるのは、雑草に関連する画素をデジタルイメージの背景の画素と弁別するプロセスのことである。したがってこのことは、デジタルイメージのデータ構造の１つの論理的なオブジェクトとして雑草を扱えるような、論理的な区分けであるといえる。

複数の単葉への実際のセグメンテーションを、以下のようにして実施することができる。すなわち、デジタルイメージが、ＲＧＢ色空間からＨＳＶ（色相、彩度、明度）色空間に変換され、閾値判定を用いてセグメント分けされ、その結果としてバイナリセグメンテーションが得られる。個々の葉を取得する目的で最初に、バイナリセグメンテーションの前景領域内で距離変換が適用される。その後、距離マップの局所的最大値が、個々の葉を互いに分離する後続の分水界セグメンテーションのシードとして用いられる。

この方法の後続のステップは、雑草名により識別される雑草の種類を判定し、かつこの判定の正確度の確率を特定するステップ１１４である。この場合、複数の受信メタデータのうちの少なくとも１つが用いられ、輪郭線形成中、雑草が双子葉類であるのか単子葉類であるのかの判定中、および雑草の生長段階の判定中に求められた、複数の特徴記述メタデータおよび／または導出メタデータのうちの少なくとも１つからの導出が行われる。これらのメタデータは、分類器セットに対する入力パラメータとして用いられる。これらのセットのうち少なくとも１つの分類器は、記憶システムへのアクセスを有することができ、つまり例えば数１００といったような雑草の種類の名称を雑草の種類ごとに複数のメタデータセットと共に含むデータベースへのアクセスを有することができる。

分類器を、ニューラルネットワーク分類器、線形分類器および／またはサンプルベースの識別器から選択されたものとすることができる。これに加え、識別プロセス中にライブラリまたは履歴データを用いることができ、例えば同じ時間または同等の時間における現在よりも前の季節からの履歴雑草識別データ、目下のかつ／または履歴の気象条件等といった特別な気象条件を用いることができる。

最後に、ただし特に、この方法は判定結果を、例えば関連づけられた判定確率を伴う最も可能性の高い３つの結果を、例えばデジタルイメージが送られてきたスマートフォンへ送り返すステップ（図示せず）を含むことができる。

図２には、植物特に雑草とイメージキャプチャリングデバイス２０２とが示されている。このデバイスをスマートフォンのカメラとすることができる（図示せず）。カメラ２０２は、対物レンズと特定の開口角２０４とを有することができる。キャプチャリングされたデジタルイメージは、雑草ここでは双子葉類の１枚または複数枚の葉２０６をキャプチャリングすることができる。茎２０８は例えば、１枚または複数枚の葉２０６によって覆われている可能性がある。断面図として、地表面２１０と雑草の根２１２も示されている。最適なケースでは、カメラのイメージ平面２０２を葉２０６の長手方向延長線と完全に平行にすることができ、つまりは地表面に沿うようにすることができる。しかしながら、角度αによって表される比較的小さい偏差を許容可能としてよい。

同様にここで述べておいてよいのは、デジタルイメージは１つの雑草の２枚以上の葉をキャプチャリングしている可能性があるだけでなく、出現する可能性のある２つ以上の雑草植物もキャプチャリングしている可能性がある、ということである。ただし理想的には、比較的簡単な認識プロセスとなるよう、キャプチャリングされたイメージ各々が、１つの雑草植物または１枚の葉だけを有するようにしたい。キャプチャリングされた雑草のデジタルイメージを、例えばワイヤレステクノロジーによってカメラ２０２から、自然環境において雑草を識別する識別システムを含むデータセンタへ、送信することができる。１つの実施形態によれば、カメラ２０２をスマートフォンの構成要素とすることができる。別の実施形態によれば、ワイヤレス送信および／または受信テクノロジーを、カメラ自体に装備してもよい。さらにカメラをドローンに、または農地内を移動する地上ロボットに取り付けてもよい。

図３には、単子葉類３０２例えばイネ科草本についての同等の状況が示されている。単子葉類３０２の上方からデジタルイメージをキャプチャリングするのでは、雑草の種類の分類および判定のためには十分な情報を明らかにすることができない可能性がある。したがって単子葉類３０２をこの植物の側方からデジタルで写真撮影してもよいし、または雑草を土壌から引き抜いて、土壌の上に平らに置いてもよい。このケースでは雑草のキャプチャリングを、図２のケースにおいて論じたように実施することができる。そうではなく、単子葉類の根がまだ土壌中にあるならば、デジタルカメラ２０２の光学的キャプチャリング平面２０３が地表面に対し垂直になるようにしたい。この場合も、角度αによって表される比較的小さい偏差を許容可能としてよい。

図４ａ、図４ｂ、図４ｃには、輪郭線形成プロセスが示されている。図４ａには、イメージセンサ２０３および／または個々の画素マトリックスにおける雑草の葉４０２の投影が示されている。小さい正方形４０３各々が１つの画素を表すことができる。ここでは説明する目的で、非常に粗い粒度のマトリックスが用いられている。一般的には、カメラは数１００万画素の解像度を有することができる。図４ｂには、デジタル化の結果が示されている。ここでは葉４０２の滑らかなエッジがなくなっており、元のアナログの形状がデジタル化されている（４０４）。次のステップである図４ｃによれば、出現する可能性のある葉の輪郭線をデジタルイメージから抽出または区分けすることができる。輪郭線４０６の内側すべてを、葉または雑草の画素としてカウントすることができる。

図５ａには、ある１つの特定の画素が雑草の葉に属している可能性があるか否かを判定するプロセスの詳細が示されている。最も簡単なケースでは、単一の画素ｐ_ｉ５０２の色値が判定基準として用いられる。関連する色範囲は、例えば４９５〜５７５ｎｍの波長を含むことができる。ただし場合によっては、このような単純な弁別では不十分なこともあり得る。よって、着目対象となっている画素５０２を取り囲む複数の画素も考慮される。図５ｂには、画素５０２をじかに取り囲む複数の付加的な画素から成る第１の「リング」が示されている。画素ｐ_ｉ５０２に関連する情報も用いるために、式（１）を適用することができる。

図５ｂには、画素５０２を取り囲む複数の画素から成る第１の「リング」５０４に加えて、複数の画素を取り囲む第２の「リング」５０６が示されている。画素５０２が葉の画素であると判定されるか否か、という判断に対する影響または重みを、ある特定の画素が着目対象である画素５０２から離れるにつれて小さくすることができる。複数の画素ｐ_ｉ，ｊから成るさらに別のリングを使用してもよく、それらを関数Ｆの変数とすることができる。用いられるリングの個数を、受信したイメージの総解像度の関数とすることができる。

図６には、４枚の葉６０４，６０６，６０８および６１０を含む雑草の一例のデジタルイメージ６０２が示されている。これに基づき、分類器または他の適切なイメージ認識ライブラリコンポーネントを用いて、この方法は、雑草の少なくとも１枚の単葉を区分けまたは認識することにより、雑草の生長段階を判定することができる。この目的で、節中心６１２を、例えば４枚の葉６０４，６０６，６０８および６１０を含む輪郭線形成領域の一部分として判定することができる。同じ分類器あるいは同じまたは別の適切な認識ライブラリコンポーネントを用いて、輪郭線形成領域内の葉の枚数を特定することもできる。これによって、ＢＢＣＨコードに準拠した雑草の生長段階の判定が可能となる。この結果を、導出メタデータとして記憶することができる。

図７には、自然環境においてデジタルイメージに基づき、雑草の種類を識別する識別システム７００の１つの実施形態のブロック図が示されている。この識別システムは受信ユニット７０２を含み、このユニットは、自然環境において栽培作物中に混ざった早期生長段階の雑草を表すデータを含むデジタルイメージを受信するように適合されている。付加的に、デジタルイメージに関連するメタデータが受信される。識別システム７００は輪郭線形成ユニット７０４も含み、このユニットは、デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成するように適合されており、これによって１つの境界内で雑草の画素を含む少なくとも１つの輪郭線形成領域が生成される。第１の分類器ユニット７０６は、雑草が単子葉類であるのか双子葉類であるのかを判定するように適合されている。生長段階判定ユニット７１０は、輪郭線形成領域の節中心を特定することにより雑草の少なくとも１枚の単葉を区分けすなわち認識し、輪郭線形成領域内の葉の枚数を判定することによって、雑草の生長段階を判定するように適合されている。

複数の第２の分類器ユニット７１２から成るセットは、雑草名により識別される雑草の種類を判定し、かつこの判定の正確度の確率を特定するように適合されている。この場合、複数の受信メタデータ、ならびに輪郭線形成ユニットにより、第１の分類器ユニットの判定により、および判定ユニットにより求められた複数のメタデータ、のうちの少なくとも１つが、入力パラメータとして用いられ、複数の第２の分類器ユニットから成るセットは、雑草ごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶装置へのアクセスを有する。

複数の分類器がパラレルに動作するケースでは、合計ユニットが個々の分類器の判定を結合することができる。別の選択肢として、１つの分類器の出力を後続の分類器の入力とすることができるように、１つまたは複数の分類器をシリアルに動作させてもよい。このために、人工的なシナプス要素を備えた人工的なニューロンのネットワークを用いることができる。

本発明の実施形態を、プログラムコードを記憶および／または実行するのに適したプラットフォームがなんであれ、実質的に任意のタイプのコンピュータと共に、特にスマートフォンと共に、具現化することができる。図８には一例として、提案した方法に関連するプログラムコードを実行するのに適したコンピューティングシステム８００が示されている。スマートフォンのほか、カメラ、プログラムコードを実行するプロセッサおよびトランシーバを備えた他のモバイルデバイスも、提案した方法および／または関連する認識システムの具現化に適したものであるといえる。

コンピューティングシステム８００は、適切なコンピュータシステムの一例にすぎず、本明細書で説明した本発明の実施形態の使用または機能の範囲について何らかの限定を示唆することを意図したものではない。ともかくもコンピュータシステム８００は、上述の機能セットのいずれであっても具現化および／または実施することができる。コンピュータシステム８００には、他の多くの汎用または専用のコンピューティングシステム環境またはコンピューティングシステムコンフィギュレーションと共に動作する構成要素が設けられている。コンピュータシステム８００と共に使用するのに適したものといえる周知のコンピューティングシステム、コンピューティング環境および／またはコンピューティングコンフィギュレーションの例には、以下に限定されるものではないが、タブレットコンピュータ、ハンドヘルドデバイスまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラミング可能なコンシューマ電子機器、スマートフォン、および上述のシステムまたはデバイスのいずれかを含む小規模なコンピューティング能力を備えたデジタルカメラなどが含まれる。コンピュータシステム８００を、コンピュータシステム８００によって実行されるプログラムモジュールなどのように、コンピュータシステムにより実行可能な命令の汎用的なコンテキストで記述することができる。一般にプログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含むことができ、これらによって特定のタスクが実施され、または特定の抽象データ型が具現化される。

図面に示されているように、コンピュータシステム８００は汎用コンピューティングデバイスの形態で示されている。コンピュータシステム８００の構成要素は、以下に限定されるものではないが、１つまたは複数のプロセッサまたは処理ユニット８０２、システムメモリ８０４、およびバス８１８を含むことができ、バス８１８によって、システムメモリ８０４を含む様々なシステム構成要素がプロセッサ８０２と結合される。コンピュータシステム８００は一般的には、様々なコンピュータシステム可読媒体を含む。かかる媒体を、コンピュータシステム８００によりアクセス可能である任意の使用可能な媒体とすることができ、これには揮発性媒体および不揮発性媒体、リムーバブル媒体および非リムーバブル媒体の双方が含まれる。

システムメモリ８０４は、ランダムアクセスメモリ（ＲＡＭ）および／またはキャッシュメモリといった揮発性メモリの形態のコンピュータシステム可読媒体を含むことができる。コンピュータシステム８００はさらに、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータシステム記憶媒体を含むことができる。一例にすぎないが、非リムーバブル記憶チップからの読み出しのために、およびこの記憶チップへの書き込みのために、記憶システム８１２を設けることができる。１つまたは複数のデータ媒体インタフェースを介して、記憶媒体をバス８１８に接続することができる。あとでさらに図面で描いて説明するように、メモリ８０４は少なくとも１つのプログラム製品を含むことができ、このプログラム製品は、本発明の実施形態の機能を実行するように構成されたプログラムモジュールのセット（例えばそれらのモジュールのうちの少なくとも１つ）を有する。

プログラムモジュールのセット（それらのモジュールのうちの少なくとも１つ）を有するプログラム／ユーティリティをメモリ８０４に記憶させることができ、例示目的であって限定ではないが、同様にオペレーティングシステム、１つまたは複数のアプリケーションプログラム、他のプログラムモジュールおよびプログラムデータを記憶させることができる。プログラムモジュールは一般に、本明細書で説明した本発明の実施形態の機能および／または方法論を実行することができる。

コンピュータシステム８００は、ユーザがコンピュータシステム８００とインタラクトできるようにするタッチスクリーン内にまとめることができる１つまたは複数の外部デバイス例えばキーボード、ポインティングデバイス、ディスプレイ８２０等と、および／またはコンピュータシステム８００が１つまたは複数の他のコンピューティングデバイスと通信できるようにする任意のデバイス（例えばネットワークカード、モデム等）と、通信を行うこともできる。かかる通信を、入／出力（Ｉ／Ｏ）インタフェースを介して行うことができる。さらにコンピュータシステム８００は、ローカルエリアネットワーク（ＬＡＮ）、汎用ワイドエリアネットワーク（ＷＡＮ）、および／または移動公衆回線網（例えばインターネット）といった１つまたは複数のネットワークと、ネットワークアダプタ８１４を介して通信することができる。図示されているように、ネットワークアダプタ８１４は、バス８１８を介してコンピュータシステム８００の他の構成要素と通信することができる。自明のとおり、図示されてはいないけれども、他のハードウェアおよび／またはソフトウェアの構成要素をコンピュータシステム８００と共に使用してもよい。以下に限定されるものではないが、その例を挙げると、マイクロコード、デバイスドライバ、冗長処理ユニット等である。

これに加え、自然環境において雑草の種類を識別する識別システム７００を、バスシステム８１８に取り付けることができる。

本発明の様々な実施形態の説明を例示の目的で呈示してきたが、この説明は、開示された実施形態に徹底または限定することを意図したものではない。当業者であれば、ここで説明した実施形態の範囲および着想から逸脱することなく、多くの変形やバリエーションを理解できるであろう。本明細書で用いられた用語は、実施形態の原理、市場で見出される技術に関する実際の適用または技術的改善を最もわかりやすく説明するために、または他の当業者が本明細書で開示された実施形態を理解できるようにするために、選定されたものである。

本発明を、システム、方法および／またはコンピュータプログラム製品として具現化することができる。コンピュータプログラム製品は、１つまたは複数のコンピュータ可読記憶媒体を含むことができ、この媒体は、本発明の態様をプロセッサに実行させるためにそこに格納されたコンピュータ可読プログラム命令を有する。

この媒体を、電子的な、磁気的な、光学的な、電磁的な、赤外線によるシステム、または例えばソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）などのように、伝播媒体のための半導体システムとすることができる。

コンピュータ可読記憶媒体を、命令実行デバイスにより使用するための命令を保持可能および記憶可能な有形デバイスとすることができる。コンピュータ可読記憶媒体を例えば、以下に限定されるものではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、ＥＰＲＯＭといった半導体記憶デバイス、またはこれらのデバイスの任意の適切な組み合わせ、とすることができる。本明細書で用いられるコンピュータ可読記憶媒体は、電波または自由に伝播する他の電磁波、導波管または他の伝送媒体を介して伝播する電磁波（例えば光ファイバケーブルを通過する光パルス）、またはワイヤを介して伝送される電気信号といった、一時的な信号そのものとして解釈されるべきではない。

本明細書で説明したコンピュータ可読プログラム命令を、個々のコンピューティングデバイスにダウンロードすることができ、例えばサービスプロバイダから移動ネットワークコネクションを介して、スマートフォンアプリとしてダウンロードすることができる。

本発明のオペレーションを実行するためのコンピュータ可読プログラム命令を、機械依存または機械非依存の任意の命令、マイクロコード、ファームウェア命令、状態設定データ、または１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれか、とすることができ、そのようなプログラミング言語には、Ｃ＋＋，Ｊａｖａなどのようなオブジェクト指向プログラミング言語、およびＣプログラミング言語またはそれに類似したプログラミング言語などのような慣用の手続き型プログラミング言語が含まれる。コンピュータ可読プログラム命令は、もっぱらコンピュータデバイスにおいて実行可能である。一部の実施形態によれば、例えばプログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実施する目的でこの電子回路をパーソナライズするためにコンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行することができる。

本明細書では本発明の複数の態様を、本発明の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャート図および／またはブロック図に関して説明している。自明であるが、フローチャート図および／またはブロック図の各ブロックを、ならびにフローチャート図および／またはブロック図における各ブロックの組み合わせを、コンピュータ可読プログラム命令によって具現化することができる。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、または１つの機械を作り出すための他のプログラマブルデータ処理装置のプロセッサに供給することができ、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令によって、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクションを具現化するための手段が生成されるようにする。また、これらのコンピュータ可読プログラム命令を、コンピュータ、プログラマブルデータ処理装置、および／または特定の手法で機能する他のデバイスに命令可能なコンピュータ可読記憶媒体に記憶させることもでき、命令を内部に記憶しているコンピュータ可読記憶媒体が、ブローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクションの態様を具現化する命令を含む製品を有するようにする。

コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラマブル装置またはその他のデバイスにおいて一連の動作ステップを実施させるように、コンピュータ、他のプログラマブルデータ処理装置またはその他のデバイスに、コンピュータ可読プログラム命令をロードすることもでき、コンピュータ、他のプログラマブル装置またはその他のデバイスにおいて実行される命令によって、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／アクションが具現化されるようにする。

図面に示されたフローチャートおよび／またはブロック図によれば、本発明の様々な実施形態によるシステム、方法およびコンピュータプログラム製品の実現可能な具現化のアーキテクチャ、機能およびオペレーションが描かれている。この点に関して、フローチャートまたはブロック図における各ブロックは、１つまたは複数の指定されたロジック機能を具現化するための１つまたは複数の実行可能な命令を含む１つのモジュール、セグメント、または複数の命令から成る部分を表現することができる。一部の択一的な具現化によれば、ブロック内に記載されている機能を図面に記載された順序とは異なるように生じさせることができる。例えば相前後して示された２つのブロックを、実際には実質的に同時に実行してもよいし、または必要とされる機能に応じて、それらのブロックを場合によっては逆の順序で実行してもよい。また、ブロック図および／またはフローチャート図の各ブロックを、ならびにブロック図および／またはフローチャート図における各ブロックの組み合わせを、指定された機能またはアクションを実施する、または専用ハードウェアとコンピュータの命令との組み合わせを実行する、専用ハードウェアベースのシステムによって具現化することができる、ということも述べておきたい。

以下の請求項に記載されたすべての手段またはステップならびに機能要素の相応の構造、材料、アクションおよび等価物は、特に請求項に記載されているように、請求項に記載された他の要素と組み合わせて機能を実施するための任意の構造、材料またはアクションを含むことが意図されている。本発明についての記述を、例示および説明の目的で呈示してきたけれども、これは本発明を開示された形態で徹底または限定することを意図したものではない。当業者であれば、本発明の範囲および着想から逸脱することなく、多くの変形やバリエーションを理解できるであろう。これらの実施形態は、本発明の原理および実際の適用を最もわかりやすく説明する目的で、また、予期される特定の用途に適するよう様々な変形を伴う様々な実施形態について、他の当業者が本発明を理解できるようにする目的で、選択し説明したものである。

Claims

自然環境において雑草のデジタルイメージに基づき前記雑草の種類を識別する方法であって、前記方法は、
ＢＢＣＨコード１０〜３９により定義された早期生長段階にあり自然環境において栽培作物中に混ざった雑草を表すデータを含むデジタルイメージと、前記デジタルイメージに関連するメタデータと、を受信するステップと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界輪郭線内で前記雑草の画素を含む少なくとも１つの輪郭線形成領域を生成するステップと、
前記雑草が単子葉類であるのか双子葉類であるのかを判定するステップと、
前記雑草の生長段階を、
前記輪郭線形成領域の節中心を特定することにより前記雑草の少なくとも１つの単葉を区分けし、
前記輪郭線形成領域内の葉の枚数を特定する、
ことによって判定するステップと、
雑草の種類ごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶システムへのアクセスを有する複数の分類器のセットに対する入力パラメータとして、
複数の受信メタデータのうちの少なくとも１つと、
以下の複数のメタデータすなわち、
前記輪郭線の形成中、
前記雑草が単子葉類であるのか双子葉類であるのかの判定中、および
前記雑草の生長段階の判定中
に求められた複数のメタデータと、
を用いて、雑草名により識別される雑草の種類を判定し、かつ前記判定の正確度の確率を特定するステップと、
を含む方法。
前記事前定義された色の仕様は、自然環境における植物の色範囲に関連し、特に波長４９０〜５７５ｎｍの緑色の色範囲に関連する、
請求項１記載の方法。
前記事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成するステップを、
前記デジタルイメージの画素ごとに、前記画素のＲＧＢ色成分の組み合わせが事前定義された複数の色の組み合わせのうちの１つに整合しているか否かを判定することにより実施する、
請求項１または２記載の方法。
前記事前定義された色の仕様を有する領域の輪郭線を形成するステップを、
ｗ_ｉ＝Ｆ（ｐ_ｉ，ｐ_ｉ，ｊ）
の判定によって付加的に実施し、ただし、
ｗ_ｉ＝１または０であり、画素ｉが雑草に属しているまたは属していないＲＧＢを表し、
Ｆは、ｐ_ｉおよびすべてのｐ_ｊの色属性に基づき雑草／非雑草の確率を計算する関数、
ｐ_ｉ＝画素ｉ、
ｐ_ｉ，ｊ＝画素ｉを取り囲む結合された画素ｊである、
請求項１から３までのいずれか１項記載の方法。
前記雑草が単子葉類であるのか双子葉類であるのかを判定するステップは、
単子葉類の雑草と双子葉類の雑草とを区別するようにトレーニング済みの分類器を適用し、その結果としてバイナリの単子葉−双子葉識別値を生じさせることを含む、
請求項１から４までのいずれか１項記載の方法。
導出メタデータは、バイナリの単子葉−双子葉識別値、特定された葉の枚数、および判定された発育生長段階を含むグループから選択された少なくとも１つのものを含む、
請求項１から５までのいずれか１項記載の方法。
前記受信メタデータは、前記デジタルイメージのキャプチャリングロケーションのグローバルポジショニングシステムデータ値、暦日、前記グローバルポジショニングデータシステムデータ値に関連づけられた地形データ、前記デジタルイメージをキャプチャリングする運動中のキャプチャリングデバイスの加速度データ、前記デジタルイメージをキャプチャリング中の前記キャプチャリングデバイスの傾斜角度、および前記デジタルイメージをキャプチャリングしたカメラのタイプを含むグループのうち少なくとも１つのものを含む、
請求項１から６までのいずれか１項記載の方法。
各メタデータ値は、事前定義された重み付け値を有しており、前記重み付け値も前記分類器のセットに対する入力パラメータとして用いられる、
請求項１から７までのいずれか１項記載の方法。
前記雑草名により識別される雑草の種類を判定するステップは、また、
判定された前記雑草名の名称を、地理的ロケーションおよび季節データに対する雑草の出現確率をマッピングする雑草確率マップと比較するステップと、
判定された前記雑草名の名称と雑草確率マップとの比較に基づき、前記判定の正確度の確率を再計算するステップと、
を含む、
請求項１から８までのいずれか１項記載の方法。
前記方法はさらに、
前記雑草名と、３つの最上位確率値を有する前記雑草名についての判定の正確度の関連づけられた確率と、を、前記デジタルイメージを撮影したデバイスへ送信するステップを含む、
請求項１から９までのいずれか１項記載の方法。
雑草のデジタルイメージに基づき前記雑草の種類を識別する識別システムであって、前記デジタルイメージは、早期生長段階にあり自然環境において栽培植物中に混ざった前記雑草を表すデータを含み、
前記識別システムは、
前記デジタルイメージと前記デジタルイメージに関連するメタデータとを受信するように適合された受信ユニットと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界内で前記雑草の画素を含む少なくとも１つの輪郭線形成領域を生成するように適合された輪郭線形成ユニットと、
前記雑草が単子葉類であるのか双子葉類であるのかを判定するように適合された第１の分類器ユニットと、
前記雑草の生長段階を、
前記輪郭線形成領域の節中心を特定することにより前記雑草の少なくとも１つの単葉を区分けし、
前記輪郭線形成領域内の葉の枚数を特定する、
ことによって判定するように適合された判定ユニットと、
入力パラメータとして、
複数の受信メタデータのうちの少なくとも１つと、
以下の複数のメタデータすなわち、
前記輪郭線形成ユニットにより、
前記第１の分類器ユニットにより、および
前記判定ユニットにより
求められた複数のメタデータと、
を用いて、雑草名により識別される雑草の種類を判定し、かつ前記判定の正確度の確率を特定するように適合され、かつ雑草の種類ごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶装置へのアクセスを有する、第２の分類器ユニットのセットと、
を含む識別システム。
前記事前定義された色の仕様は、自然環境における植物の色範囲に関連し、波長４９０〜５７５ｎｍの緑色の色範囲を中心に可視範囲全体に着目する、
請求項１１記載の識別システム。
前記識別システムはさらに、
前記雑草名と、３つの最上位確率値を有する前記雑草名についての判定の正確度の関連づけられた確率と、を送信するように適合された送信ユニットを含む、
請求項１１または１２記載の識別システム。
雑草のデジタルイメージに基づき前記雑草の種類を識別するコンピュータプログラム製品であって、前記デジタルイメージは、早期生長段階にあり自然環境において栽培植物中に混ざった前記雑草を表すデータを含み、
前記コンピュータプログラム製品は、コンピュータ可読記憶媒体を含み、前記コンピュータ可読記憶媒体は、前記記憶媒体と共に具現化されるプログラム命令を有しており、
前記プログラム命令は、１つまたは複数のコンピューティングデバイスに以下のことを実施させるために、すなわち、
デジタルイメージと前記デジタルイメージに関連するメタデータとを受信するステップと、
前記デジタルイメージ内でＲＧＢ色モデルとして事前定義された色およびテクスチャの仕様を有する領域の輪郭線を形成して、１つの境界輪郭線内で前記雑草の画素を含む少なくとも１つの輪郭線形成領域を生成するステップと、
前記雑草が単子葉類であるのか双子葉類であるのかを判定するステップと、
前記雑草の生長段階を、
前記輪郭線形成領域の節中心を特定することにより前記雑草の少なくとも１つの単葉を区分けし、
前記輪郭線形成領域内の葉の枚数を特定する、
ことによって判定するステップと、
雑草の種類ごとに複数のメタデータセットと共に雑草の種類の名称を含む記憶装置へのアクセスを有する複数の分類器のセットに対する入力パラメータとして、
複数の受信メタデータのうちの少なくとも１つと、
以下の複数のメタデータすなわち、
輪郭線形成中、
前記雑草が単子葉類であるのか双子葉類であるのかの判定中、および
前記雑草の生長段階の判定中
に求められた複数のメタデータと、
を用いて、雑草名により識別される雑草の種類を判定し、かつ前記判定の正確度の確率を特定するステップと、
を実施させるために、前記１つまたは複数のコンピューティングデバイスにより実行可能であるコンピュータプログラム製品。