JP2022508939A - 植物の写真を分類することにより植物病の感染を検出すること - Google Patents

Abstract

植物病を認識するための畳み込みニューラルネットワークを構成して利用するためのシステムは、いくつかの実施形態では、感染した病気の症状を示す領域がマーキングされた、感染した植物または葉の写真を収集する。各写真は、複数のマーキング領域を有し得る。症状がどれくらい大きいのか、またはクラスタを形成しているのかに応じて、あるマーキング領域には１つの病気によって生じた１つの病変だけを含み得るが、別のマーキング領域には１つの病気によって生じた複数の近接して離間した病変を含み得る。これらのマーキング領域から、シングルショットマルチボックス検出器の畳み込み層ごとに、異なるアスペクト比を有するアンカーボックスを決定する。特定の種類の植物では、一般的な病気でアスペクト比が比較的大きくなる。次に、マーキング領域とアンカーボックスとを使用して検出器を訓練し、検出器を新しい写真に適用して病気にかかった植物を識別する。

Description

著作権表示

本特許文献の開示の一部には、著作権の保護の対象となる資料が含まれている。著作権の所有者は、特許商標庁の特許ファイルまたは記録に掲載されているような特許文書または特許開示の、何人によるファクシミリでの複製に対して異議を唱えないが、それ以外の点においては一切の全ての著作権または権利を留保する。著作権 ２０１５～２０１９ Ｔｈｅ Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎ

本開示は、植物病の検出および機械学習の技術領域に関する。本開示はまた、植物病を認識するための機械学習モデルの構成および訓練を向上させる技術領域に関する。

本項に記載されるアプローチは、追求することが可能なアプローチではあるが、必ずしも既に想像されてきた、または追求されてきたアプローチではない。従って、特に指示しない限り、本項に記載されるアプローチのいずれかが、単に本項に包含されているという理由だけで先行技術として認められると見なすべきではない。

植物病の検出は、農業において重要なことである。現在、自動化されたアプローチとしては、多くの場合、植物の写真を分類することを含むが、このことは複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）を適用することで実現することができる。あるＣＮＮでは、２段階のアプローチで連携し、第１のＣＮＮを使用して所与の画像内の関心領域を提案し、次に第２のＣＮＮを使用して各々の提案された領域を分類する。あるＣＮＮでは、全ての画像が固定サイズであることが必要とされる。様々なサイズの画像を撮影し、ワンショットでの関心領域を提案して分類することができ、優れた性能を備えたＣＮＮがある。植物病は症状が異なることを考慮すると、植物の健康と成長とを促進するために、植物の写真を分類して植物病の感染を検出するためのこのようなＣＮＮを特に構成して訓練することは有益であろう。

添付の特許請求の範囲は、本開示の発明の概要としての役割を果たし得る。

図面は次の通りである。

システムが相互運用できる他の装置と共にフィールド環境内に示された、本明細書に記載される機能を実行するように構成された例示的なコンピュータシステムを図示する。

実行するために例示的なモバイルアプリケーションがロードされる場合の、メインメモリ内の命令セットの２つの例示的な論理組織の図を図示する。

農業用インテリジェンスコンピュータシステムが、１つ以上（one or more）のデータソースによって提供される耕種学的データを用いて、１つ以上の事前構成された耕種学的モデルを生成する、プログラムされたプロセスを図示する。

本発明の実施形態を実装することができるコンピュータシステムを例示するブロック図である。

データ入力用のタイムライン表示の例示的な実施形態を示す。

データ入力用のスプレッドシート表示の例示的な実施形態を示す。

各々が１つの病気の症状を有するトウモロコシの葉の例示的な写真を含む。

複数の病気の症状を有するトウモロコシの葉の例示的な写真を含む。

初期の分類結果を最終的な分類結果に精緻化するために非最大抑制を適用する、例示的なプロセスを図示する。

植物病を検出するために、畳み込みニューラルネットワークを構成して利用するようにプログラムされたサーバコンピュータによって実行される、例示的な方法を図示する。

以下の明細書において、本開示の完全な理解をもたらすために多くの具体的な詳細が説明のために記載されている。しかしながら、これらの具体的な詳細を伴わずに実施形態を実行することができるということは明白であろう。他の場合では、本開示を不必要に曖昧にすることを避けるために、周知の構造体および図案がブロック図の形態で示される。実施形態は、以下の概略に従った項において記載される。
１． 総括
２． 例示的な農業用インテリジェンスコンピュータシステム
２．１．構造的概要
２．２．アプリケーションプログラムの概要
２．３．コンピュータシステムへのデータの取り込み
２．４．プロセスの概要－耕種学的モデルの訓練
２．５．実装例－ハードウェアの概要
３． 機能説明
３．１ 植物病の検出
３．２ デジタルモデルの構成
３．３ 訓練セットおよびデジタルモデルの構築
３．４ デジタルモデルの実行
３．５ 例示的なプロセス
４． 拡張および代替

１．総括

植物病を認識するための畳み込みニューラルネットワーク（ＣＮＮ）を構成して利用するためのシステムおよび処理方法を開示する。いくつかの実施形態では、システムは、感染した病気の症状を示す領域がマーキングされた、感染した植物または葉の写真を収集するようにプログラムされる。各々の写真は、複数のマーキングされた領域を有し得る。症状がどれくらい大きいのか、またはクラスタを形成しているのかに応じて、あるマーキングされた領域には１つの病気によって生じた１つの病変だけを含み得るが、一方で、別のマーキングされた領域には１つの病気によって生じた複数の近接して離間した病変を含み得る。システムは、これらのマーキングされた領域から、シングルショットマルチボックス検出器（ＳＳＤ）の畳み込み層ごとに、異なるアスペクト比を有するアンカーボックス（デフォルトボックス）を決定するようにプログラムされる。特定の種類の植物では、一般的な病気でアスペクト比が比較的大きくなり、いくつかは比較的極端な値を有する。次に、システムはマーキングされた領域とアンカーボックスとを使用してＳＳＤを訓練するようにプログラムされ、ＳＳＤを新しい写真に適用して病気にかかった植物を識別する。

いくつかの実施形態では、システムは、マーキングされたトウモロコシの葉の写真を収集するようにプログラムされる。各々の写真は、１つ以上のマーキングされた領域（グラウンドトゥルースボックス）を有し得る。各々のマーキングされた領域は、複数のトウモロコシの病気のうちの１つによって引き起こされる１つ以上の病変を有し得、１つのトウモロコシの病気でラベル付けされる。マーキングされた領域を更に処理するように、システムをプログラムすることができる。具体的には、写真の中の病変に対応する領域がどれくらい大きいのか、またはクラスタを形成しているのかに基づいて、マーキングされた領域を複数に分割したり、またはいくつかのマーキングされた領域を１つに結合したりするようにシステムをプログラムすることができる。例えば、専門家は、南方さび病によって生じる大きいクラスタの病変を２箇所、写真の中でマーキングしている可能性がある。クラスタ内の途切れた病変に対応する領域が互いに接近して離間しており、クラスタが葉の大部分を覆っているため、この２箇所を、クラスタ全体を覆う１つのマーキングされた領域に統合して拡張するようにシステムをプログラムすることができる。

いくつかの実施形態では、システムは、結果として得られたマーキングされた領域から、ＳＳＤの一連の畳み込み層ごとにアンカーボックスを決定するようにプログラムされる。Liu W. et al. (2016) SSD: Single Shot MultiBox Detector. In: Leibe B., Matas J., Sebe N., Welling M. (eds) Computer Vision - ECCV 2016, pp21-37. Lecture Notes in Computer Science, vol 9905. Springer, Chamを参照されたい。アンカーボックスを定義するために、マーキングされた領域を正規化してクラスタ化し、クラスタごとの集合を計算するようにシステムをプログラムすることができる。このように、各アンカーボックスは、一般的なトウモロコシの病気の症状を示すマーキングされた領域のサブセットを表す、明確なスケールとアスペクト比とを有することができる。いくつかのトウモロコシの病気では、アスペクト比は１／７～７の範囲であり得る。

いくつかの実施形態では、システムは、マーキングされた領域の形状に基づいて、各々のマーキングされた領域をアンカーボックスにマッピングするようにプログラムされる。具体的には、アンカーボックスの重ね合わせがマーキングされた領域の所定の割合以上をカバーできた場合に、マッピングが成功したと判断を下すようにシステムを構成することができる。システムは次に、マーキングされた領域、対応するラベル、アンカーボックス、およびマッピングを有する画像でＳＳＤを訓練するようにプログラムされる。

いくつかの実施形態では、システムは、クライアントデバイスからトウモロコシの葉の新しい写真を受信し、新しい写真にＳＳＤを適用して、写真内の複数の領域の初期識別と、複数の領域ごとのトウモロコシの病気のうちの１つへの分類とを、対応する信頼度スコアと共に受信するようにプログラムされる。同一の領域が複数のトウモロコシの病気に分類された場合は、比較的低い信頼度スコアと関連付けられたいくつかの分類を除去することができる。システムは次に、分類結果をクライアントデバイスに伝送するようにプログラムされる。

このシステムによって、様々な技術的利点が生じる。ＳＳＤは、類似のＣＮＮよりもより優れた性能を実現しており、従来のシングルショット検出器よりも高速であり、かつまたより精度が高く、実際には明確な領域提案およびプーリングを実行するより低速の技術と同等の精度であることが示されている。システムは、植物病の症状などの特定の種類の物体を分類するのに特に好適なＳＳＤを構成し、訓練するためのアプローチを提供する。これらの症状には特定の様式のサイズおよび位置にある病変が含まれ、システムにより提供されるアプローチによってその特異性を捕らえることにより、ＳＳＤの植物病の症状を分類する性能が更に向上する。このような向上により、結果として作物のより良い健康と生育とがもたらされる。

実施形態の他の態様および特徴は、本開示の他の項により明らかになるであろう。

２．例示的な農業用インテリジェンスコンピュータシステム

２．１．構造的概要

図１は、システムが相互運用できる他の装置と共にフィールド環境内に示された、本明細書に記載される機能を実行するように構成された例示的なコンピュータシステムを図示する。一実施形態では、ユーザ１０２は、農業活動を目的とした圃場、または１つ以上の農業用圃場のための管理場所などの圃場の場所または圃場の場所に関連する場所で、圃場管理者コンピューティングデバイス１０４を所有、操作、または所持している。圃場管理者コンピュータデバイス１０４は、圃場データ１０６を１つ以上のネットワーク１０９を介して農業用インテリジェンスコンピュータシステム１３０に提供するようにプログラムまたは構成されている。

圃場データ１０６の例としては、（ａ）識別データ（例えば、エーカー数、圃場名称、圃場識別子、地理識別子、境界識別子、作物識別子、ならびに共通土地単位（ＣＬＵ）、ロット番号およびブロック番号、地番、地理座標および境界、農場シリアル番号（ＦＳＮ）、農地番号、地域番号、圃場番号、区間、郡区および／または範囲などの農地を識別するために使用することができる任意の他の好適なデータ）、（ｂ）収穫データ（例えば、作物の種類、作物の品種、輪作、作物が有機栽培されているかどうか、収穫日、実績生産履歴（ＡＰＨ）、予想収量、収量、作物価格、作物収益、穀物水分、耕耘の実施、および以前の生育期情報）、（ｃ）土壌データ（例えば、種類、組成、ｐＨ、有機物質（ＯＭ）、陽イオン交換容量（ＣＥＣ））、（ｄ）植え付けデータ（例えば、植え付け日、種子の種類、植え付けた種子の相対的成熟度（ＲＭ）、種子個体数）、（ｅ）肥料データ（例えば、栄養素の種類（窒素、リン、カリウム）、施用種類、施用日、量、供給源、方法）、（ｆ）化学薬品施用データ（例えば、農薬、除草剤、殺真菌剤、他の物質、または植物生長調節物質、枯葉剤、もしくは乾燥剤として使用することを目的とした物質の混合物、施用日、量、供給源、方法）、（ｇ）灌漑データ（例えば、施用日、量、供給源、方法）、（ｈ）気象データ（例えば、降水量、降雨率、予測雨量、流水率領域、温度、風、天気予報、気圧、可視性、雲、熱指数、露点温度、湿度、積雪深、空気質、日の出、日没）、（ｉ）画像データ（例えば、農業用装置のセンサ、カメラ、コンピュータ、スマートフォン、タブレット、無人航空機、飛行機または衛星からの画像および光スペクトル情報）、（ｊ）偵察観測値（写真、ビデオ、フリーフォームのメモ、音声録音、音声トランスクリプション、気象条件（温度、降水量（現在および経時的な）、土壌水分、作物の生育段階、風速、相対湿度、露点温度、ブラックレイヤー））、ならびに（ｋ）土壌、種子、作物のフェノロジー、害虫および病害報告、ならびに予測ソースおよびデータベースが挙げられる。

データサーバコンピュータ１０８は、農業用インテリジェンスコンピュータシステム１３０に通信可能に結合されており、ネットワーク１０９を介して外部データ１１０を農業用インテリジェンスコンピュータシステム１３０に送信するようにプログラムまたは構成されている。外部データサーバコンピュータ１０８は、農業用インテリジェンスコンピュータシステム１３０と同一の法人もしくは事業体によって所有または運営されてもよく、または政府機関、非政府組織（ＮＧＯ）、および／もしくは民間のデータサービスプロバイダなどの異なる個人もしくは事業体によって所有もしくは運営されてもよい。外部データの例としては、特に、気象データ、画像データ、土壌データ、または作物収量に関する統計データが挙げられる。外部データ１１０は、圃場データ１０６と同じ種類の情報からなっていてもよい。いくつかの実施形態では、外部データ１１０は、農業用インテリジェンスコンピュータシステム１３０を所有および／または運用する同一の事業体によって所有されている外部データサーバ１０８により提供される。例えば、農業用インテリジェンスコンピュータシステム１３０は、気象データなどの通常は第三者ソースから取得することのできる種類のデータに独占的にフォーカスしたデータサーバを含み得る。いくつかの実施形態では、外部データサーバ１０８は、実際にはシステム１３０内に組み込まれていてもよい。

農業用装置１１１は、そこに固定された１つ以上の遠隔センサ１１２を有してもよく、このセンサは、農業用装置１１１を介して農業用インテリジェンスコンピュータシステム１３０に直接または間接のいずれかで通信可能に結合され、センサデータを農業用インテリジェンスコンピュータシステム１３０に送信するようにプログラムまたは構成されている。農業用装置１１１の例としては、トラクタ、コンバイン、収穫機、播種機、トラック、肥料装置、無人航空機を含む航空機、および物理的機械またはハードウェアの任意の他の品目、典型的には移動機械が挙げられ、これらは農業に関連する作業に使用することができる。いくつかの実施形態では、単一ユニットの装置１１１は、装置のネットワークにローカルに結合された複数のセンサ１１２を含んでいてもよく、コントローラエリアネットワーク（ＣＡＮ）は、コンバイン、収穫機、噴霧機、および耕作機に設置することが可能なこのようなネットワークの例である。アプリケーションコントローラ１１４は、ネットワーク１０９を介して農業用インテリジェンスコンピュータシステム１３０に通信可能に結合されており、農業用車両または機具の運転パラメータを制御するように使用される１つ以上のスクリプトを農業用インテリジェンスコンピュータシステム１３０から受信するようにプログラムまたは構成されている。例えば、Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎ（サンフランシスコ、カリフォルニア州）から入手可能なＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷ ＤＲＩＶＥを用いる方法などのような、コントローラエリアネットワーク（ＣＡＮ）バスインタフェースを使用して、農業用インテリジェンスコンピュータシステム１３０から農業用装置１１１への通信ができるようにしてもよい。センサデータは、圃場データ１０６と同一の種類の情報からなっていてもよい。いくつかの実施形態では、遠隔センサ１１２は、農業用装置１１１に固定されていなくてもよいが、圃場内に離れて配置されていてもよく、ネットワーク１０９と通信してもよい。

装置１１１は、本明細書の他の項で更に説明されるデバイス１０４用のモバイルアプリケーションのバージョンまたはバリアントを含み得る、キャビンアプリケーションによってプログラムされたキャビンコンピュータ１１５を含んでもよい。一実施形態では、キャビンコンピュータ１１５は、装置１１１のオペレータのキャビン内に搭載されるカラーディスプレイなどのグラフィックスクリーンティスプレイを備えるコンパクトなコンピュータ、多くの場合タブレットサイズのコンピュータまたはスマートフォンを含む。キャビンコンピュータ１１５は、モバイルコンピュータデバイス１０４について本明細書で更に記載される動作および機能のいくつかまたは全てを実装してもよい。

ネットワーク１０９は、ローカルエリアネットワーク、ワイドエリアネットワーク、インターネットワークまたはインターネットを含む、１つ以上のデータ通信ネットワークの任意の組み合わせを広義に示すものであり、地上または衛星リンクを含む有線または無線リンクのいずれかを使用する。ネットワークは、図１の様々な要素間でデータの交換を提供する任意の媒体または機構によって実装することができる。図１の様々な要素はまた、ダイレクト（有線または無線）通信リンクを有してもよい。センサ１１２、コントローラ１１４、外部データサーバコンピュータ１０８、およびシステムの他の要素は各々、ネットワーク１０９と互換性のあるインタフェースを含み、ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ、ＣＡＮプロトコル、およびＨＴＴＰ、ＴＬＳ等などの上位層プロトコルなどのネットワークを横断する通信のための標準化されたプロトコルを使用するようにプログラムまたは構成されている。

農業用インテリジェンスコンピュータシステム１３０は、圃場管理者コンピューティングデバイス１０４からの圃場データ１０６、外部データサーバコンピュータ１０８からの外部データ１１０、および遠隔センサ１１２からのセンサデータを受信するようにプログラムまたは構成されている。農業用インテリジェンスコンピュータシステム１３０は、本開示の他の項で更に説明されている方法で、データ値の変換および保存、１つ以上の圃場における１つ以上の作物のデジタルモデルの構築、推奨および通知の生成、ならびにスクリプトの生成およびアプリケーションコントローラ１１４への送信を実行するために、１つ以上のコンピュータプログラム、他のソフトウェア要素、ＦＰＧＡもしくはＡＳＩＣなどのデジタルでプログラム化された論理、またはそれらの任意の組み合わせをホスト、使用、または実行するように更に構成されていてもよい。

一実施形態では、農業用インテリジェンスコンピュータシステム１３０は、通信層１３２、プレゼンテーション層１３４、データ管理層１４０、ハードウェア／仮想化層１５０、ならびにモデルおよび圃場データリポジトリ１６０でプログラムされているか、またはこれらを含む。この文脈での「層」とは、電子デジタルインタフェース回路、マイクロコントローラ、ドライバなどのファームウェア、および／またはコンピュータプログラムもしくは他のソフトウェア要素の任意の組み合わせを意味する。

通信層１３２は、圃場データ、外部データ、およびセンサデータに関して、圃場管理者コンピューティングデバイス１０４、外部データサーバコンピュータ１０８、および遠隔センサ１１２に要求をそれぞれ送信することを含む、入力／出力インタフェース機能を実行するようにプログラムまたは構成されてもよい。通信層１３２は、受信したデータをモデルおよび圃場データリポジトリ１６０に送信して、圃場データ１０６として格納するようにプログラムまたは構成されてもよい。

プレゼンテーション層１３４は、ネットワーク１０９を介してシステム１３０に結合されている圃場管理者コンピューティングデバイス１０４、キャビンコンピュータ１１５、または他のコンピュータ上に表示するためのグラフィカルユーザインタフェース（ＧＵＩ）を生成するようにプログラムまたは構成されてもよい。ＧＵＩは、農業用インテリジェンスコンピュータシステム１３０に送信されるデータの入力、モデルへの要求および／もしくは推奨の生成、ならびに／または推奨、通知、モデル、および他の圃場データを表示するためのコントロールを含んでもよい。

データ管理層１４０は、システムの機能要素とリポジトリとの間で通信されるクエリおよび結果セットを含む、リポジトリ１６０およびシステムの他の機能要素に関連する読み取り動作および書き込み動作を管理するようにプログラムまたは構成されてもよい。データ管理層１４０の例としては、特に、ＪＤＢＣ、ＳＱＬサーバインタフェースコード、および／またはＨＡＤＯＯＰインタフェースコードが挙げられる。リポジトリ１６０は、データベースを含んでもよい。本明細書で使用するとき、「データベース」という用語は、データ本体、リレーショナルデータベース管理システム（ＲＤＢＭＳ）のいずれか、またはその両方を意味し得る。本明細書で使用するとき、データベースとは、階層型データベース、リレーショナルデータベース、フラットファイルデータベース、オブジェクトリレーショナルデータベース、オブジェクト指向データベース、分散型データベース、およびコンピュータシステムに格納されたレコードまたはデータの任意の他の構造化されたコレクションを含む、あらゆるデータのコレクションを含み得る。ＲＤＢＭＳの例としては、ＯＲＡＣＬＥ（登録商標）、ＭＹＳＱＬ、ＩＢＭ（登録商標）ＤＢ２、ＭＩＣＲＯＳＯＦＴ（登録商標） ＳＱＬ ＳＥＲＶＥＲ、ＳＹＢＡＳＥ（登録商標）、およびＰＯＳＴＧＲＥＳＱＬデータベースを含むことが挙げられるが、これらに限定されない。しかしながら、本明細書で記載されるシステムおよび方法を可能にする、任意のデータベースを使用してもよい。

圃場データ１０６が、農業用インテリジェンスコンピュータシステムと相互作用する１つ以上の農業用機械または農業用機械デバイスを介して農業用インテリジェンスコンピュータシステムに直接提供されない場合は、ユーザデバイス上の（農業用インテリジェンスコンピュータシステムによって提供される）１つ以上のユーザインタフェースを介して、このような情報を入力するようにユーザを促してもよい。例示的な実施形態では、ユーザは、（農業用インテリジェンスコンピュータシステムによって提供される）ユーザデバイス上のマップにアクセスし、マップ上にグラフィカル表示されている特定のＣＬＵを選択することによって識別データを特定してもよい。代替的実施形態では、ユーザ１０２は、（農業用インテリジェンスコンピュータシステム１３０によって提供される）ユーザデバイス上のマップにアクセスし、マップ上に圃場の境界線を引くことによって識別データを特定してもよい。このようにＣＬＵを選択したり、またはマップ上に線を引いたりすることによって、地理識別子が示される。代替的実施形態では、ユーザは、米国農務省農場サービス局または他のソースから、ユーザデバイスを介して（シェープファイルとして、または同様のフォーマットで提供される）圃場識別データにアクセスし、そのような圃場識別データを農業用インテリジェンスコンピュータシステムに提供することによって識別データを特定することができる。

例示的な実施形態では、農業用インテリジェンスコンピュータシステム１３０は、データ入力のためのデータマネージャを含むグラフィカルユーザインタフェースを生成し、表示させるようにプログラムされている。上記に記載した方法を用いて１つ以上の圃場を識別した後、データマネージャは、１つ以上のグラフィカルユーザインタフェースウィジェットを提供してもよく、それらが選択されると、圃場、土壌、作物、耕耘、または栄養素の実施に対する変更を認識することができる。データマネージャには、タイムライン表示、スプレッドシート表示、および／または１つ以上の編集可能なプログラムが含まれてもよい。

図５は、データ入力用のタイムライン表示の例示的な実施形態を示す。図５に示されたディスプレイを使用することによって、ユーザコンピュータは、イベントを追加するために特定の圃場と特定の日付とを選択したものを入力することができる。タイムラインの上部に示されるイベントは、「窒素」「植え付け」「実施」、および「土壌」を含み得る。窒素施用イベントを追加するために、ユーザコンピュータが窒素のタブを選択するためのインプットを提供してもよい。次に、ユーザコンピュータは、選択された圃場に窒素を施用することを指示するために、特定の圃場のタイムライン上の位置を選択してもよい。特定の圃場のタイムライン上の位置の選択を受信したことに応答して、データマネージャは、データ入力オーバーレイを表示して、窒素施用、植え付け手順、土壌施用、耕耘手順、灌漑の実施、または特定の圃場に関する他の情報に関連するデータをユーザコンピュータによって入力できるようにしてもよい。例えば、ユーザコンピュータがタイムラインの一部を選択して窒素施用を指示した場合、次に、データ入力オーバーレイには、施用される窒素量、施用日、用いられる肥料の種類、および窒素施用に関連する任意の他の情報を入力するためのフィールドが含まれてもよい。

一実施形態では、データマネージャは、１つ以上のプログラムを作成するためのインタフェースを提供する。この文脈での「プログラム」とは、１つ以上の圃場に関連する可能性があり、他の動作においてセットとして再利用するためにデジタルデータストレージに格納することが可能な、窒素施用、植え付け手順、土壌施用、耕耘手順、灌漑の実施、または他の情報に関するデータのセットを意味する。プログラムが作成された後、これを１つ以上の圃場に概念的に適用してもよく、圃場を識別するデータに関連付けて、このプログラムへのレファレンスをデジタルストレージに保存してもよい。このように、同一の窒素施用に関する同一のデータを複数の異なる圃場に対して手作業で入力するのではなく、ユーザコンピュータが特定の窒素施用を指示するプログラムを作成し、次にそのプログラムを複数の異なる圃場に適用することができる。例えば、図５のタイムライン表示では、上部２つのタイムラインには選択された「春施用」プログラムがあり、このプログラムには４月上旬にエーカー当たり窒素１５０ポンドの施用が含まれている。データマネージャは、プログラムを編集するためのインタフェースを提供してもよい。一実施形態では、特定のプログラムを編集すると、特定のプログラムを選択した各々の圃場が編集される。例えば、図５では、「春施用」プログラムを編集して窒素施用をエーカー当たり窒素１３０ポンドに減少させた場合、上部２つの圃場は、編集されたプログラムに基づいて窒素施用を減少させた状態で更新される。

一実施形態では、選択されたプログラムを有する圃場に対する編集を受信したことに応答して、データマネージャは、圃場の選択されたプログラムへの対応関係を消去する。例えば、図５の上部の圃場に窒素施用が追加される場合、「春施用」プログラムが上部の圃場にもはや適用されないことを示すようにインタフェースを更新してもよい。４月上旬での窒素施用は保持され得る一方で、「春施用」プログラムに対する更新によって４月の窒素施用が変更されることはない。

図６は、データ入力用のスプレッドシート表示の例示的な実施形態を示す。ユーザは、図６に示されるディスプレイを使用して、１つ以上の圃場の情報を作成および編集することができる。データマネージャには、図６に示すように、窒素、植え付け、実施、および土壌に関する情報を入力するためのスプレッドシートが含まれてもよい。特定のエントリを編集するために、ユーザコンピュータは、スプレッドシート内の特定のエントリを選択して値を更新してもよい。例えば、図６は、実行中の２番目の圃場の目標収量値に対する更新を示している。加えて、ユーザコンピュータは、１つ以上のプログラムを適用するために、１つ以上の圃場を選択してもよい。特定の圃場のプログラムの選択を受信することに応答して、データマネージャは、選択されたプログラムに基づいて、特定の圃場のエントリを自動的に全て記入してもよい。タイムライン表示と同様に、データマネージャは、プログラムに対する更新を受信したことに応答して、特定のプログラムと関連付けられた圃場ごとにエントリを更新してもよい。加えて、データマネージャは、圃場のエントリのうちの１つに対する編集を受信したことに応答して、圃場に対する選択されたプログラムの対応関係を消去してもよい。

一実施形態では、モデルおよび圃場データは、モデルおよび圃場データリポジトリ１６０内に格納されている。モデルデータは、１つ以上の圃場のために作成されたデータモデルを含む。例えば、作物モデルは、１つ以上の圃場における作物の発育についてのデジタルに構築されたモデルを含み得る。この文脈での「モデル」とは、電子的にデジタル的に格納された、互いに関連付けられた実行可能命令およびデータ値のセットを意味し、これにより、指定された入力値に基づいてプログラムもしくは他のデジタルの呼び出し、起動、または解決のための要求を受信、応答し、特にコンピュータで実装される推奨、出力データの表示、または機械制御に基づいて機能を果たすことができる、１つ以上の格納または計算された出力値を得ることができる。当分野の当業者には、数式を用いてモデルを表現するのが便利だと思われるが、この表現形式は本明細書に開示されるモデルを抽象的な概念に限定するものではなく、その代わりに、本明細書の各々のモデルは、コンピュータを使用してモデルを実装する格納された実行可能命令およびデータの形態で、コンピュータ内において実用的な用途を有する。モデルには、１つ以上の圃場における過去のイベントのモデル、１つ以上の圃場の現在のステータスのモデル、および／または１つ以上の圃場における予測されるイベントのモデルが含まれてもよい。モデルおよび圃場データは、メモリ内のデータ構造、データベーステーブルの列、フラットファイル、もしくはスプレッドシート、または他の形態の格納されたデジタルデータ内に格納されていてもよい。

一実施形態では、農業用インテリジェンスコンピュータシステム１３０は、分類モデル管理サーバコンピュータ（サーバ）１７０を含むようにプログラムされている。サーバ１７０は更に、モデル構成命令１７２、モデル構築命令１７４、モデル実行命令１７６、およびユーザインタフェース命令１７８を含むように構成されている。

いくつかの実施形態では、モデル構成命令１７２は、初期画像データを収集し、初期画像データから植物病を認識するためのデジタルモデルの特定のパラメータの値を決定するためのコンピュータ実行可能命令を提供する。デジタルモデルがＳＳＤである場合、初期画像データは、植物病の識別子で各々ラベル付けされた、マーキングされた領域を含む植物の写真であってよい。ＳＳＤの訓練セットを構築する際に、マーキングされた領域を、画像全体に対して更に処理してもよい。初期画像データはまた、単に対応するラベルを有するマーキングされた領域であってよい。ＳＳＤの関連パラメータには、アンカーボックスのグループが含まれる。モデル構成命令１７２は、植物病の症状を示すアンカーボックスを具体的に構築するためのコンピュータ実行可能命令を提供する。

いくつかの実施形態では、モデル構築命令１７４は、訓練セットを構築し、この訓練セットでデジタルモデルを訓練するためのコンピュータ実行可能命令を提供する。訓練セットは、マーキングされた領域および対応するラベルを有する特定のサイズの画像、または同等のマーキングされた領域および対応するラベルを有する画像のトリミング、パディング、またはスケーリングされたバージョンを含むことができる。デジタルモデルがＳＳＤである場合、訓練セットには、アンカーボックスにマーキングされた領域をマッピングすることも含まれる。

いくつかの実施形態では、モデル実行命令１７６は、分類のためにデジタルモデルを新しい画像に適用するためのコンピュータ実行可能命令を提供する。新しい画像とは、１つ以上の領域において１つ以上の植物病の症状を示す、新しい植物の写真のことであり得る。新しい画像は、デジタルモデルに供給される前に、同様にトリミング、パディング、またはスケールリングすることが必要とされ得る。デジタルモデルがＳＳＤである場合、デジタルモデルを適用することで、１つ以上の領域ごとに、特定の植物病への少なくとも１つの分類を作成することが予期される。

いくつかの実施形態では、ユーザインタフェース命令１７８は、他のデバイスとの通信を管理するためのコンピュータ実行可能命令を提供する。通信には、画像ソースからラベルを含む初期画像データを受信すること、クライアントデバイスから分類のための新しい写真を受信すること、新しい写真の分類結果をクライアントデバイスに送信すること、またはＳＳＤを表すデジタルデータを別のクライアントデバイスに送信することが含まれ得る。

サーバ１７０の各構成要素は、実行可能命令がロードされており、実行されると農業用インテリジェンスコンピューティングシステムにそれらのモジュールを参照して本明細書に記載された機能または動作を実行させる、農業用インテリジェンスコンピュータシステム１３０内のＲＡＭなどのメインメモリの１つ以上のページのセットを含んでいる。例えば、モデル構成モジュール１７２は、実行されると本明細書に記載されている場所選択機能を実行させる命令を含む、ＲＡＭ内のページのセットを含んでもよい。命令は、ＣＰＵの命令セット内の機械実行可能コードであってもよく、ＪＡＶＡ、Ｃ、Ｃ＋＋、ＯＢＪＥＣＴＩＶＥ－Ｃ、または任意の他の人間が読み取れるプログラミング言語もしくは環境で書き込まれたソースコードに基づいて、単独で、またはＪＡＶＡＳＣＲＩＰＴ、他のスクリプト言語、および他のプログラミングソーステキストのスクリプトと組み合わせてコンパイルされていてもよい。「ページ」という用語は、メインメモリ内の任意の領域を広義に意味することが意図され、システムにおいて使用される特定の用語は、メモリアーキテクチャまたはプロセッサアーキテクチャに応じて変更され得る。別の実施形態では、サーバ１７０の各構成要素はまた、農業用インテリジェンスコンピュータシステム１３０または別個のリポジトリシステムの不揮発性ＲＡＭまたはディスクストレージなどの大容量ストレージデバイス内にデジタル的に格納されているソースコードの１つ以上のファイルまたはプロジェクトを表すものであってもよく、これらは、コンパイルまたは翻訳されると実行可能命令を生成させるが、この命令は、実行されるとそれらのモジュールを参照して本明細書に記載されている機能または動作を農業用インテリジェンスコンピューティングシステムに実行させる。換言すれば、プログラマまたはソフトウェア開発者が、実行可能形式への後のコンパイル、または農業用インテリジェンスコンピュータシステム１３０によって実行するためのバイトコードもしくは等価物への翻訳のためにソースコードを編成し構成する方式を、作図によって提示してもよい。

ハードウェア／仮想化層１５０は、１つ以上の中央演算処理装置（ＣＰＵ）、メモリコントローラ、および揮発性もしくは揮発性メモリ、ディスクなどの不揮発性ストレージ、例えば、図４に関連して図示および記載されるようなＩ／Ｏデバイスまたはインタフェースなどのコンピュータシステムの他のデバイス、構成要素、または要素を含む。また、層１５０は、仮想化、コンテナ化、またはその他の技術をサポートするように構成された、プログラムされた命令を含んでもよい。

明確な例を図示するために、図１では、特定の機能要素の限られた数のインスタンスを示している。しかしながら、他の実施形態では、このような要素は任意の数で存在していてもよい。例えば、実施形態は、異なるユーザと関連付けられた、数千の、または数百万の異なるモバイルコンピューティングデバイス１０４を使用してもよい。更に、システム１３０および／または外部データサーバコンピュータ１０８は、物理マシンまたは仮想マシンの２つ以上のプロセッサ、コア、クラスタ、またはインスタンスを使用して実装され、データセンタ、共有コンピューティング施設、またはクラウドコンピューティング施設において離散的な場所に構成されても、または他の要素と同じ場所に設置されてもよい。

２．２．アプリケーションプログラムの概要

一実施形態では、１つ以上の汎用コンピュータを用いてロードされ実行される、１つ以上のコンピュータプログラムまたは他のソフトウェア要素を用いて本明細書に記載される機能を実装することにより、汎用コンピュータを特定の機械として、または本明細書に記載される機能を実行するのに特別に適応したコンピュータとして構成させることになる。更に、本明細書で更に記載されるフロー図の各々は、記載されている機能を実装するためにコンピュータまたは論理をプログラムするのに使用することができるアルゴリズム、計画または指示として、単独で、または散文で本明細書のプロセスおよび機能の説明と組み合わせて提供することができる。換言すれば、本明細書の全ての散文テキストと全ての図面とは共に、この種の発明および開示に適した技術レベルを有する当業者の技術と知識とを組み合わせて、当業者が本明細書に記載される機能を実行するようにコンピュータをプログラムすることができるのに十分なアルゴリズム、計画、または指示の開示を提供することを意図している。

一実施形態では、ユーザ１０２は、オペレーティングシステムおよび１つ以上のアプリケーションプログラムまたはアプリで構成されている圃場管理者コンピューティングデバイス１０４を使用して、農業用インテリジェンスコンピュータシステム１３０と相互作用する。圃場管理者コンピューティングデバイス１０４はまた、プログラム制御または論理制御下で、独立して自動的に農業用インテリジェンスコンピュータシステムと相互運用してもよく、直接的なユーザ相互作用は必ずしも必要ではない。圃場管理者コンピューティングデバイス１０４は、スマートフォン、ＰＤＡ、タブレットコンピューティングデバイス、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、または情報を伝送および受信し、本明細書に記載される機能を実行することができる任意の他のコンピューティングデバイスのうちの１つ以上を広義に表している。圃場管理者コンピューティングデバイス１０４は、圃場管理者コンピューティングデバイス１０４に格納されたモバイルアプリケーションを使用して、ネットワークを介して通信することができ、いくつかの実施形態では、このデバイスは、ケーブル１１３またはコネクタを使用してセンサ１１２および／またはコントローラ１１４に結合されていてもよい。特定のユーザ１０２は、システム１３０に関連して、２つ以上の圃場管理者コンピューティングデバイス１０４を一度に所有、操作、または所持および使用することができる。

モバイルアプリケーションは、ネットワークを介して、１つ以上のモバイルコンピューティングデバイスにクライアント側の機能を提供してもよい。例示的な実施形態では、圃場管理者コンピューティングデバイス１０４は、ウェブブラウザまたはローカルクライアントアプリケーションまたはアプリを介して、モバイルアプリケーションにアクセスしてもよい。圃場管理者コンピューティングデバイス１０４は、ＨＴＴＰ、ＸＭＬおよび／もしくはＪＳＯＮ、またはアプリ固有のプロトコルなどのウェブベースのプロトコルまたはフォーマットを使用して、１つ以上のフロントエンドサーバにデータを伝送し、そこからデータを受信してもよい。例示的な実施形態では、データは、モバイルコンピューティングデバイスに入力される要求、および圃場データなどのユーザ情報の形態を取っていてもよい。いくつかの実施形態では、モバイルアプリケーションは、無線信号のマルチラテレーション、全地球測位システム（ＧＰＳ）、ＷｉＦｉ測位システム、または他のモバイル測位方法などの標準的な追跡技術を使用して圃場管理者コンピューティングデバイス１０４の位置を決定する、圃場管理者コンピューティングデバイス１０４の位置追跡ハードウェアおよびソフトウェアと相互作用する。場合によっては、位置データ、またはデバイス１０４、ユーザ１０２、および／もしくはユーザアカウントと関連する他のデータは、デバイスのオペレーティングシステムに対するクエリによって、またはデバイス上のアプリにオペレーティングシステムからデータを取得するように要求することによって取得することができる。

一実施形態では、圃場管理者コンピューティングデバイス１０４は、限定するものではないが、１つ以上の圃場の地理的位置、１つ以上の圃場に関する耕耘情報、１つ以上の圃場に植え付けられた作物、および１つ以上の圃場から抽出された土壌データのうちの１つ以上を表すデータ値からなるか、またはこれらを含む圃場データ１０６を農業用インテリジェンスコンピュータシステム１３０に送信する。圃場管理者コンピューティングデバイス１０４は、１つ以上の圃場のデータ値を指定するユーザ１０２からのユーザ入力に応答して、圃場データ１０６を送信してもよい。加えて、圃場管理者コンピューティングデバイス１０４は、データ値のうちの１つ以上が圃場管理者コンピューティングデバイス１０４に利用できるようになる場合、圃場データ１０６を自動的に送信してもよい。例えば、圃場管理者コンピューティングデバイス１０４は、灌漑センサおよび／または灌漑コントローラを含む遠隔センサ１１２および／またはアプリケーションコントローラ１１４に通信可能に結合されていてもよい。アプリケーションコントローラ１１４が１つ以上の圃場に水を放出したことを示すデータを受信したことに応答して、圃場管理者コンピューティングデバイス１０４は、圃場データ１０６を農業用インテリジェンスコンピュータシステム１３０に送信して、１つ以上の圃場に水が放出されたことを示してもよい。本開示で識別される圃場データ１０６は、ＨＴＴＰ、または別の適切な通信もしくはメッセージングプロトコル上のパラメータ化されたＵＲＬを使用してコンピューティングデバイス間で通信される電子デジタルデータを使用して入力および通信されてもよい。

モバイルアプリケーションの市販例は、Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎ（サンフランシスコ、カリフォルニア州）から市販されているＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷである。ＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷアプリケーションまたは他のアプリケーションは、本開示の出願日以前に開示されていない特徴、機能およびプログラミングを含むように修正、拡張、または適応してもよい。一実施形態では、モバイルアプリケーションは統合ソフトウェアプラットフォームを含んでおり、これにより、栽培者の圃場に関する履歴データと栽培者が比較したいと望む任意の他のデータとが組み合わされるため、栽培者は、彼らの運用に対して事実に基づいた決定をすることが可能となる。この組み合わせおよび比較はリアルタイムで行われ、潜在的なシナリオを提供する科学的モデルに基づいて、栽培者がより良好に、より情報に基づいた意思決定を下すことを可能にする。

図２は、実行するために例示的なモバイルアプリケーションがロードされる場合の、メインメモリ内の命令セットの２つの例示的な論理組織の図を図示する。図２において、各々の名前の付いた要素は、ＲＡＭもしくは他のメインメモリの１つ以上のページの領域、または１つ以上のディスクストレージもしくは他の不揮発性ストレージのブロック、およびそれらの領域内のプログラムされた命令を示している。一実施形態では、図（ａ）において、モバイルコンピュータアプリケーション２００は、アカウント－圃場－データ取り込み－共有命令２０２、概要およびアラート命令２０４、デジタルマップブック命令２０６、種子および植え付け命令２０８、窒素命令２１０、気象命令２１２、圃場保全命令２１４、および性能命令２１６を含む。

一実施形態では、モバイルコンピュータアプリケーション２００は、手動でアップロードすることによって、またはＡＰＩを介して第三者のシステムから圃場データを受信、変換、取り込みを行うようにプログラムされる、アカウント、圃場、データ取り込み、共有命令２０２を含む。データの種類としては、特に、圃場の境界、収量マップ、植え付け時のマップ、土壌試験結果、施用時のマップ、および／または管理ゾーンを挙げることができる。データフォーマットとしては、特に、シェープファイル、第三者のネイティブデータフォーマット、および／または農場管理情報システム（ＦＭＩＳ）のエクスポートを挙げることができる。データの受信は、手動でのアップロード、添付ファイル付きの電子メール、モバイルアプリケーションにデータをプッシュする外部ＡＰＩ、またはモバイルアプリケーションにデータをプルするために外部システムのＡＰＩを呼び出す命令によって生じ得る。一実施形態では、モバイルコンピュータアプリケーション２００は、データ受信箱を含む。データ受信箱の選択を受信したことに応答して、モバイルコンピュータアプリケーション２００は、データファイルを手動でアップロードし、アップロードされたファイルをデータマネージャにインポートするためのグラフィカルユーザインタフェースを表示してもよい。

一実施形態では、デジタルマップブック命令２０６は、デバイスメモリに格納された圃場マップデータ層を含み、データ可視化ツールおよび地理空間圃場ノートでプログラムされている。これにより、圃場のパフォーマンスを参照、記録、および視覚的に考察をするために、すぐ手の届く所に便利な情報が栽培者に提供される。一実施形態では、概要およびアラート命令２０４は、栽培者にとって重要なことに関する運用全体にわたる図、および特定の問題に対して行動を起こしたり、またはそれにフォーカスするためのタイミングのよい推奨を提供するようにプログラムされている。これにより、栽培者は注意を必要とすることに時間を充てることができ、季節を通して時間を節約し、収量を維持することができる。一実施形態では、種子および植え付け命令２０８は、科学的モデルおよび経験的データに基づいて、選種、交配種の配置のためのツール、および可変レート（ＶＲ）スクリプト作成を含むスクリプト作成を提供するようにプログラムされている。これにより、栽培者は、種子の購入、配置、および個体数を最適化することで、収量または投資収益を最大化することができる。

一実施形態では、スクリプト生成命令２０５は、可変レート（ＶＲ）の肥沃度スクリプトを含むスクリプトを生成するためのインタフェースを提供するようにプログラムされている。このインタフェースにより、栽培者は、栄養素の施用、植え付け、および灌漑などの、圃場に対して実行するためのスクリプトを作成することができる。例えば、植え付け用のスクリプトインタフェースは、植え付けのための種子の種類を特定するためのツールを含んでもよい。種子の種類の選択を受信すると、モバイルコンピュータアプリケーション２００は、デジタルマップブック命令２０６の一部として作成された圃場マップデータ層などの管理ゾーンに分割された１つ以上の圃場を表示することができる。一実施形態では、管理ゾーンは、各土壌ゾーンおよび土壌の名称、質感、ゾーンごとの排水路、または他の圃場データを識別するパネルを伴う土壌ゾーンを含む。モバイルコンピュータアプリケーション２００は、１つ以上の圃場のマップ上に、土壌ゾーンなどの管理ゾーンを描画するためのグラフィカルツールなどの、そのような編集または作成のためのツールを表示することもできる。全ての管理ゾーンに植え付け手順を適用してもよく、または管理ゾーンの異なるサブセットに異なる植え付け手順を適用してもよい。スクリプトが作成されると、モバイルコンピュータアプリケーション２００は、アーカイブ形式または圧縮形式などの、アプリケーションコントローラによって読み取り可能な形式で、スクリプトをダウンロード可能にしてもよい。加えて、および／またはその代わりに、スクリプトは、モバイルコンピュータアプリケーション２００から直接キャビンコンピュータ１１５に送信されてもよく、および／または１つ以上のデータサーバにアップロードされて、更なる使用のために格納されてもよい。

一実施形態では、窒素命令２１０は、作物への窒素の可用性を視覚化することにより、窒素に関する決定を通知するためのツールを提供するようにプログラムされている。これにより、栽培者は、季節を通じて窒素施用を最適化することで、収量または投資収益を最大化することができる。例示的なプログラムされた機能としては、特に、施肥ゾーンおよび／もしくは（センサの近接度と解像度とに応じてミリメートルかそれ以下と同程度に精密となる）高い空間分解能でセンサから取得されるデータなどのサブフィールドの土壌データから生成される画像を描画することができるＳＳＵＲＧＯ画像などの画像を表示すること；現在の栽培者が定義するゾーンのアップロード；植物の栄養素の可用性グラフおよび／もしくは複数のゾーンにわたって窒素施用を調整することができるマップを提供すること；機械を駆動するためのスクリプトの出力；マスデータ入力および調整のためのツール；ならびに／またはデータを可視化するためのマップが挙げられる。この文脈の「マスデータ入力」とは、データを一度入力し、次に同じデータをシステム内で定義されている複数の圃場および／またはゾーンに適用することを意味し得る。例示的なデータとしては、同一の栽培者の多くの圃場および／またはゾーンに対して同一である窒素施用データが挙げられるが、このようなマスデータ入力は、あらゆる種類の圃場データをモバイルコンピュータアプリケーション２００に入力することに適用される。例えば、窒素命令２１０は、窒素施用および実施プログラムの定義を受け入れ、それらのプログラムを複数の圃場にわたって適用することを指定するユーザ入力を受け入れるようにプログラムされてもよい。この文脈の「窒素施用プログラム」とは、特に、名称、カラーコード、もしくは他の識別子、１つ以上の施用日、日付および量ごとの材料もしくは製品の種類、注入もしくは散布などの施用もしくは混入方法、ならびに／または日付ごとの施用量もしくは施用率、施用の対象である作物もしくは交配種に関する、格納され、名前の付いたデータのセットを意味する。この文脈の「窒素実施プログラム」とは、実施名；以前の作物；耕耘システム；主要な耕耘日；用いられた１つ以上の以前の耕耘システム；用いられた肥料などの施用種類の１つ以上の指標に関する、格納され、名前の付いたデータのセットを意味する。窒素命令２１０はまた、指定された窒素を使用した植物についての予測、および余剰または不足が予測されるかどうかを示す窒素グラフを生成して表示させるようにプログラムされてもよく、いくつかの実施形態では、異なる色のインジケータによって余剰の大きさまたは不足の大きさを通知してもよい。一実施形態では、窒素グラフは、複数の行を含むコンピュータディスプレイデバイス内のグラフィックディスプレイであって、各々の行が関連付けられ、圃場を識別するグラフィックディスプレイと；どのような作物が圃場に植え付けられているか、圃場のサイズ、圃場の位置、および圃場周辺のグラフィック表示を指定するデータと；各行に、月名に関連させた点で各々の窒素施用および窒素量を指定するグラフィックインジケータを有する、月ごとのタイムラインと；余剰または不足に関する数字および／または色付きのインジケータであって、色によって大きさが示されるインジケータとを含む。

一実施形態では、窒素グラフには、ユーザが自身の窒素グラフを最適化できるように、植え付けのための窒素および実施プログラムを動的に変更するための、ダイヤルまたはスライダバーなどの１つ以上のユーザ入力機構が含まれていてもよい。ユーザは次に、最適化された窒素グラフと、関連する植え付けのための窒素および実施プログラムとを使用して、可変レート（ＶＲ）肥沃度スクリプトを含む１つ以上のスクリプトを実行してもよい。窒素命令２１０はまた、指定された窒素を使用した植物についての予測、および余剰または不足が予測されるかどうかを示す窒素マップを生成して表示させるようにプログラムされてもよく、いくつかの実施形態では、異なる色のインジケータによって余剰の大きさまたは不足の大きさを通知してもよい。窒素マップは、指定された窒素を使用した植物についての予測、ならびに過去および将来の異なる時期（毎日、毎週、毎月、または毎年などの）に余剰または不足が予測されるかどうかを、余剰または不足についての数字のインジケータ、および／または色によって大きさが示される色付きのインジケータを使用して表示することができる。一実施形態では、窒素マップには、ユーザが余剰から不足までの好ましい量を取得するなどして、自身の窒素マップを最適化できるように、ダイヤルまたはスライダバーなどの１つ以上のユーザ入力機構が含まれ、植え付けのための窒素および実施プログラムを動的に変更してもよい。ユーザは次に、自身の最適化された窒素マップと、関連する植え付けのための窒素および実施プログラムとを使用して、可変レート（ＶＲ）肥沃度スクリプトを含む１つ以上のスクリプトを実行してもよい。他の実施形態では、窒素命令２１０に対する同様の命令を、（リンおよびカリウムなどの）他の栄養素の施用、農薬の施用、および灌漑プログラムに対して使用することができる。

一実施形態では、気象命令２１２は、圃場に特有の最近の気象データ、および予報された気象情報を提供するようにプログラムされている。このことにより、栽培者は時間を節約することができ、毎日の運用上の決定に関する効率的な統合ディスプレイを有することが可能になる。

一実施形態では、圃場保全命令２１４は、旬の作物のバリエーションおよび潜在的な懸念を強調する遠隔センシング画像をタイミングよく提供するようにプログラムされている。例示的なプログラムされた機能としては、特に、発生し得る雲もしくは雲の陰を認識するための雲の調査；圃場画像に基づいて窒素の指数を決定すること；例えば、圃場の保全に関連するもの、ならびに偵察ノートの表示および／もしくは共有を含む偵察層のグラフィカルな可視化；ならびに／または複数のソースから衛星画像をダウンロードし、栽培者のために画像に優先順位を付けることが含まれる。

一実施形態では、性能命令２１６は、評価、考察、および決定するための農場におけるデータを使用して、ツールの報告、分析、および考察を提供するようにプログラムされている。これにより、栽培者は、なぜ投資収益が前回の水準にあったのかを事実に基づいて判断を下し、収量を制限している要因を考察することで、翌年に向けて改善された成果を追求することができる。性能命令２１６は、農業用インテリジェンスコンピュータシステム１３０および／または外部データサーバコンピュータ１０８において実行されるバックエンドの解析プログラムにネットワーク１０９を介して通信するようにプログラムされていてもよく、特に、収量、収量差、交配種、個体数、ＳＳＵＲＧＯゾーン、土壌試験特性、または標高などの測定値を分析するために構成されていてもよい。プログラムされた報告および分析には、特に、収量変動解析、処置効果の評価、多数の栽培者から収集した匿名化されたデータに基づく他の栽培者に対する収量および他の測定値のベンチマーキング、または種子および植え付けのためのデータが含まれていてもよい。

このように構成された命令を有するアプリケーションを、同一の一般的なユーザインタフェースの外観を保ちながら、異なるコンピューティングデバイスプラットフォームに実装してもよい。例えば、モバイルアプリケーションは、タブレット、スマートフォン、またはクライアントコンピュータのブラウザを使用してアクセスされるサーバコンピュータ上で実行するためにプログラムされていてもよい。更に、タブレットコンピュータまたはスマートフォン用に構成されたモバイルアプリケーションは、キャビンコンピュータ１１５のディスプレイおよび機能を処理するのに好適な、最大限のアプリ体験またはキャビンアプリ体験を提供することができる。例えば、ここで図２の図（ｂ）を参照すると、一実施形態では、キャビンコンピュータアプリケーション２２０は、マップ－キャビン命令２２２、遠隔表示命令２２４、データ収集および転送命令２２６、機械アラート命令２２８、スクリプト転送命令２３０、および偵察－キャビン命令２３２を含み得る。図（ｂ）の命令のコードベースは図（ａ）と同一のものであってよく、コードを実装する実行可能ファイルがそれらの実行するプラットフォームの種類を検出し、キャビンプラットフォームまたはプラットフォーム全体に適切なそれらの機能だけをグラフィカルユーザインタフェースを介して公表するようにプログラムされていてもよい。このアプローチにより、システムは、キャビン内の環境に適した明確に異なるユーザ体験と、キャビンの異なる技術環境とを認識することができる。マップ－キャビン命令２２２は、機械の操作を指示するのに有用な圃場、農場または領域のマップ表示を提供するようにプログラムされてもよい。遠隔表示命令２２４は、無線ネットワーク、有線コネクタ、またはアダプタ等を介してシステム１３０に接続された他のコンピューティングデバイスに対して、リアルタイムか、またはほぼリアルタイムで、機械のアクティビティの表示を有効にし、管理、提供するようにプログラムされていてもよい。データ収集および転送命令２２６は、無線ネットワーク、有線コネクタ、またはアダプタ等を介して、センサおよびコントローラで収集されたデータをシステム１３０に転送することを有効にし、管理、提供するようにプログラムされていてもよい。機械アラート命令２２８は、キャビンと関連する機械またはツールの動作での問題を検出し、オペレータにアラートを生成するようにプログラムされていてもよい。スクリプト転送命令２３０は、機械の動作またはデータの収集を指示するように構成された命令のスクリプトを転送するように構成されてもよい。偵察－キャビン命令２３２は、圃場管理者コンピューティングデバイス１０４、農業用装置１１１の位置、または圃場内のセンサ１１２に基づいて、位置に基づいたアラートと、システム１３０から受信される情報とを表示し、農業用装置１１１の位置または圃場内のセンサ１１２に基づいて、位置に基づく偵察観測値のシステム１３０への転送を取り込み、管理、提供するようにプログラムされていてもよい。

２．３．コンピュータシステムへのデータの取り込み

一実施形態では、外部データサーバコンピュータ１０８は、１つ以上の圃場の土壌の組成を示す土壌データ、および１つ以上の圃場の温度ならびに降水量を示す気象データを含む外部データ１１０を格納している。気象データは、過去および現在の気象データだけでなく、将来の気象データに関する予報を含み得る。一実施形態では、外部データサーバコンピュータ１０８は、異なるエンティティによってホストされる複数のサーバを含んでいる。例えば、１台目のサーバは土壌組成データを含み得るが、２台目のサーバは気象データを含み得る。加えて、土壌組成データは、複数のサーバに格納されていてもよい。例えば、あるサーバでは土壌中の砂、沈泥および粘土の割合を示すデータを格納していてもよく、２台目のサーバでは土壌中の有機物質（ＯＭ）の割合を示すデータを格納していてもよい。

一実施形態では、遠隔センサ１１２は、１つ以上の観測結果を生成するようにプログラムまたは構成された、１つ以上のセンサを含む。遠隔センサ１１２は、衛星などの空中センサ、車両センサ、植え付け装置センサ、耕耘センサ、肥料または殺虫剤施用センサ、収穫機センサ、および１つ以上の圃場からデータを受信することができる任意の他の機具であってよい。一実施形態では、アプリケーションコントローラ１１４は、農業用インテリジェンスコンピュータシステム１３０からの命令を受信するようにプログラムまたは構成されている。アプリケーションコントローラ１１４はまた、農業用車両または機具の運転パラメータを制御するようにプログラムまたは構成されていてもよい。例えば、アプリケーションコントローラは、トラクタ、植え付け装置、耕耘装置、肥料もしくは殺虫剤用装置、収穫機などの車両の運転パラメータ、または送水バルブなどの他の農機具を制御するようにプログラムまたは構成されていてもよい。他の実施形態では、センサおよびコントローラを任意に組み合わせて使用してもよいが、以下のものは単に例として選択されたに過ぎない。

システム１３０は、ユーザ１０２の制御下で、共有データベースシステムにデータを投稿した多数の栽培者から、大容量ベースでデータを取得または取り込んでもよい。このデータ取得の形態は、システム１３０によって使用するためのデータを取得するために、１つ以上のユーザ制御のコンピュータ操作が要求またはトリガーされることから、「手動データの取り込み」と称することができる。一例として、Ｃｌｉｍａｔｅ Ｃｏｒｐｏｒａｔｉｏｎ（サンフランシスコ、カリフォルニア州）から市販されているＣＬＩＭＡＴＥ ＦＩＥＬＤＶＩＥＷアプリケーションを動作させ、リポジトリ１６０に格納するためにデータをシステム１３０にエクスポートしてもよい。

例えば、種子モニタシステムは、登録および／または診断を行うために、ＣＡＮバックボーンおよび二地点間接続を含む信号ハーネスを介して、播種装置の構成部品を制御することも、種子センサからの信号を含む植え付けデータを取得することもできる。種子モニタシステムは、キャビンコンピュータ１１５、またはシステム１３０内の他のデバイスを介して、種子の間隔、個体数、および他の情報をユーザに表示するようにプログラムまたは構成することができる。米国特許第８，７３８，２４３号明細書、および米国特許出願公開第２０１５００９４９１６号明細書に例が記載されており、本開示は、それらの他の特許開示についての知識を前提とするものである。

同様に、収量モニタシステムには、収量測定データをキャビンコンピュータ１１５、またはシステム１３０内の他のデバイスに送信する、収穫装置用の収量センサが含まれていてもよい。収量モニタシステムは、１つ以上の遠隔センサ１１２を利用して、コンバインまたは他の収穫機内の穀物の水分測定値を取得し、これらの測定値をキャビンコンピュータ１１５またはシステム１３０内の他のデバイスを介してユーザに伝送してもよい。

一実施形態では、本明細書の他の箇所で記載されている種類の任意の移動車両または装置と共に使用することができるセンサ１１２の例としては、運動センサおよび位置センサが挙げられる。運動センサは、レーダまたは車輪速度センサ、加速度計、またはジャイロなどの速度センサのいずれかを含み得る。位置センサは、特に、ＧＰＳレシーバもしくはトランシーバ、または近くのＷｉＦｉホットスポットに基づいて位置を決定するようにプログラムされた、ＷｉＦｉベースの位置アプリまたはマッピングアプリを含み得る。

一実施形態では、トラクタまたは他の移動車両と共に使用することができるセンサ１１２の例としては、エンジン速度センサ、燃料消費量センサ、ＧＰＳもしくはレーダ信号と相互作用する領域カウンタもしくは距離カウンタ、ＰＴＯ（パワーテイクオフ）速度センサ、圧力もしくは流量などの油圧パラメータを検出するために構成されるトラクタ用油圧センサ、および／または油圧ポンプ速度、車輪速度センサ、または車輪スリップセンサが挙げられる。一実施形態では、トラクタと共に使用することができるコントローラ１１４の例としては、油圧方向コントローラ、圧力コントローラ、および／もしくは流量コントローラ；油圧ポンプ速度コントローラ；速度コントローラもしくは調速機；連結位置コントローラ；または自動操舵を提供する車輪位置コントローラが挙げられる。

一実施形態では、播種機、すじ播き機、またはエアシーダーなどの種子の植え付け装置と共に使用することができるセンサ１１２の例としては、光学、電磁、もしくは衝撃センサであってもよい種子センサ；ロードピン、ロードセル、圧力センサなどのダウンフォースセンサ；反射率センサ、水分センサ、導電率センサ、光学残量センサ、もしくは温度センサなどの土壌特性センサ；植え付け深度センサ、ダウンフォース筒内圧センサ、種子ディスク速度センサ、種子駆動モータエンコーダ、種子コンベアシステム用速度センサ、もしくは真空レベルセンサなどの基準センサを作動させる構成要素；または光学もしくは他の電磁センサ、もしくは衝撃センサなどの農薬施用センサが挙げられる。一実施形態では、このような種子植え付け装置と共に使用することができるコントローラ１１４の例としては、油圧シリンダと関連する弁のためのコントローラなどのツールバーフォールドコントローラ；空気圧シリンダ、エアバッグ、もしくは油圧シリンダと関連し、ダウンフォースを個々の行単位もしくは播種機のフレーム全体に適用するためにプログラムされた弁のためのコントローラなどのダウンフォースコントローラ；線形アクチュエータなどの植え付け深度コントローラ；電気式種子メーター用駆動モータ、油圧式種子メーター用駆動モータ、もしくは刈幅制御クラッチなどの計測コントローラ；種子もしくは空気と種子の混合物を、種子メーターもしくは中央のバルクホッパーに、あるいはそれらから種子を分配するのを選択的に可能にするか、もしくは防止するためにプログラムされた種子メーター用駆動モータ、もしくは他のアクチュエータなどの複合選択コントローラ；電気式種子メーター用駆動モータ、もしくは油圧式種子メーター用駆動モータなどの計測コントローラ；ベルト式種子送達コンベアモータのためのコントローラなどの種子コンベアシステムコントローラ；空気もしくは油圧アクチュエータのためのコントローラなどのマーカーコントローラ；または計測駆動コントローラ、オリフィスのサイズ、もしくは位置コントローラなどの農薬施用流量コントローラが挙げられる。

一実施形態では、耕耘装置と共に使用することができるセンサ１１２の例としては、シャンクもしくはディスクなどの工具用の位置センサ；深度、ギャング角、もしくは側方間隔を検出するために構成された、このような工具用の工具位置センサ；ダウンフォースセンサ；または通風力センサが挙げられる。一実施形態では、耕耘装置と共に使用することができるコントローラ１１４の例としては、工具の深度、ギャング角、または側方間隔を制御するように構成されるコントローラなどのダウンフォースコントローラまたは工具位置コントローラが挙げられる。

一実施形態では、播種機上のスタータ肥料システム、心土用施肥機、または肥料噴霧機などの肥料、殺虫剤、殺真菌剤等を施用するための装置に関連して使用することのできるセンサ１１２の例としては、流量センサもしくは圧力センサなどの流体システム基準センサ；噴霧ヘッド弁もしくは流体ライン弁が開いているかどうかを示すセンサ；充填レベルセンサなどのタンクと関連するセンサ；一部もしくはシステム全体にわたる供給ラインセンサ、あるいは行を指定した供給ラインセンサ；または噴霧機ブームに配置される加速度計などの運動センサが挙げられる。一実施形態では、このような装置と共に使用することができるコントローラ１１４の例としては、ポンプ速度コントローラ；圧力、流量、方向、ＰＷＭ等を制御するようにプログラムされる弁コントローラ；またはブームの高さ、心土用耕耘機の深度、もしくはブーム位置のためなどの位置アクチュエータが挙げられる。

一実施形態では、収穫機と共に使用することができるセンサ１１２の例としては、衝撃プレートのひずみゲージもしくは位置センサ、容量式流量センサ、ロードセンサ、重量センサ、あるいはエレベータもしくはオーガと関連するトルクセンサ、あるいは光学式もしくは他の電磁式穀物高さセンサなどの収量モニタ；容量センサなどの穀物水分センサ；衝撃、光学、もしくは容量センサを含む穀物損失センサ；ヘッダーの高さ、ヘッダー種類、デッキプレートのギャップ、フィーダ速度、およびリール速度センサなどのヘッダー操作基準センサ；凹部クリアランス、ロータ速度、シュークリアランス、もしくはチェーファークリアランスセンサなどの分離装置操作基準センサ；位置、操作、もしくは速度用オーガセンサ；またはエンジン速度センサが挙げられる。一実施形態では、収穫機と共に使用することができるコントローラ１１４の例としては、ヘッダーの高さ、ヘッダー種類、デッキプレートのギャップ、フィーダ速度、もしくはリール速度センサなどの要素のためのヘッダー操作基準コントローラ；凹部クリアランス、ロータ速度、シュークリアランス、もしくはチェーファークリアランスセンサなどの機構のための分離装置操作基準コントローラ；またはオーガ位置、操作、もしくは速度用コントローラが挙げられる。

一実施形態では、穀物カートと共に使用することができるセンサ１１２の例としては、重量センサ、またはオーガ位置、操作、もしくは速度用センサが挙げられる。一実施形態では、穀物カートと共に使用することができるコントローラ１１４の例としては、オーガ位置、操作、または速度用コントローラが挙げられる。

一実施形態では、センサ１１２およびコントローラ１１４の例は、無人航空機（ＵＡＶ）装置または「ドローン」に設置されていてもよい。このようなセンサとしては、可視光線、赤外線、紫外線、近赤外線（ＮＩＲ）等を含む、あらゆる範囲の電磁スペクトルに有効な検出器を備えたカメラ；加速度計；高度計；温度センサ；湿度センサ；ピトー管センサ、あるいは他の対気速度センサもしくは風速センサ；バッテリー寿命センサ；またはレーダエミッタおよび反射されたレーダのエネルギー検出装置；他の電磁放射線エミッタおよび反射された電磁放射線の検出装置を挙げてもよい。このようなコントローラとしては、誘導装置もしくはモータ制御装置、コントロールサーフェスコントローラ、カメラコントローラ、または前述のセンサのいずれかから管理され構成されるデータを有効にし、操作、取得するようにプログラムされたコントローラを挙げてもよい。米国特許出願第１４／８３１，１６５号明細書に例が記載されており、本開示は、この他の特許開示についての知識を前提とするものである。

一実施形態では、センサ１１２およびコントローラ１１４は、土壌をサンプル採取し、土壌化学試験、土壌水分試験、および土壌に関する他の試験を実行するように構成またはプログラムされた土壌サンプリング装置、および測定装置に固定されていてもよい。例えば、２０１７年８月１６日に出願された米国特許出願第１５／５５１，５８２号明細書で開示される装置を使用してもよく、本開示は、これらの特許開示についての知識を前提とするものである。

一実施形態では、センサ１１２およびコントローラ１１４は、圃場の気象状況をモニタするための気象デバイスを含み得る。例えば、２０１５年４月２９日に出願された米国仮特許出願第６２／１５４，２０７号明細書、２０１５年６月１２日に出願された米国仮特許出願第６２／１７５，１６０号明細書、２０１５年７月２８日に出願された米国仮特許出願第６２／１９８，０６０号明細書、および２０１５年９月１８日に出願された米国仮特許出願第６２／２２０，８５２号明細書で開示される装置を使用してもよく、本開示は、これらの特許開示についての知識を前提とするものである。

２．４．プロセスの概要－耕種学的モデルの訓練

一実施形態では、農業用インテリジェンスコンピュータシステム１３０は、耕種学的モデルを生成するようにプログラムまたは構成されている。この文脈での耕種学的モデルとは、１つ以上の圃場の識別データおよび収穫データなどの圃場データ１０６を含む、農業用インテリジェンスコンピュータシステム１３０のメモリ内のデータ構造のことである。耕種学的モデルはまた、圃場上の１つ以上の作物の発育に影響を及ぼし得る条件、または１つ以上の作物の特性のいずれかまたは両方を記述する算出された耕種学的特性を含み得る。加えて、耕種学的モデルは、作物の推奨、灌漑の推奨、植え付けの推奨、肥料の推奨、殺真菌剤の推奨、農薬の推奨、収穫の推奨、および他の作物管理に関する推奨などの耕種学的因子に基づいた推奨を含み得る。耕種学的因子はまた、耕種学的収量などの、１つ以上の作物に関連する結果を推定するために使用してもよい。作物の耕種学的収量とは、生産される作物量の推定値のことであり、または、いくつかの実施例では、生産された作物から得られた収入または利益のことである。

一実施形態では、農業用インテリジェンスコンピュータシステム１３０は、事前構成された耕種学的モデルを使用して、現在受信された位置および１つ以上の圃場の作物情報に関する耕種学的特性を算出してもよい。事前構成された耕種学的モデルは、以前処理した圃場データを基準としており、限定はしないが、識別データ、収穫データ、肥料データ、および気象データが含まれる。事前構成された耕種学的モデルは、モデルの精度を確保するために、交差検証されていてもよい。公差検証は、同一もしくは近くの位置で気象データを提供する雨量計もしくはセンサによる降水量評価の比較、または土壌サンプル測定値による窒素含量の評価などの、圃場における実際の結果と予測した結果を比較する、グラウンドトゥルースとの比較を含み得る。

図３は、農業用インテリジェンスコンピュータシステムが、１つ以上のデータソースによって提供される圃場データを用いて、１つ以上の事前構成された耕種学的モデルを生成する、プログラムされたプロセスを図示する。図３は、これから記載される動作を実行するための、農業用インテリジェンスコンピュータシステム１３０の機能要素をプログラムするためのアルゴリズムまたは命令として機能することができる。

ブロック３０５において、農業用インテリジェンスコンピュータシステム１３０は、１つ以上のデータソースから受信された圃場データの耕種学的データの前処理を実行するように構成またはプログラムされている。１つ以上のデータソースから受信された圃場データは、受信された圃場データ値に悪影響を及ぼす可能性のある、測定された異常値を含む耕種学的データ内のノイズ、歪曲効果、および交絡因子を除去するために前処理してもよい。耕種学的データの前処理の実施形態としては、異常データ値、他のデータ値を不必要に歪曲することが知られている特定の測定されたデータ点と一般的に関連するデータ値を除去すること、ノイズから相加効果または相乗効果を除去または低減するのに使用されるデータ平滑化、データ集計またはデータサンプリング手法、および正のデータ入力と負のデータ入力との間に明白な区別をもたらすために使用される他のフィルタリングまたはデータ導出手法を挙げてもよいが、これらに限定されない。

ブロック３１０において、農業用インテリジェンスコンピュータシステム１３０は、初期耕種学的モデルを生成するのに有用なデータセットを識別するために、前処理された圃場データを使用して、データサブセットの選択を実行するように構成またはプログラムされている。農業用インテリジェンスコンピュータシステム１３０は、遺伝的アルゴリズム法、全サブセットモデル法、逐次検索法、ステップワイズ回帰法、粒子群最適化法、および蟻コロニー最適化法を含むが、これらに限定されないデータサブセット選択手法を実行してもよい。例えば、遺伝的アルゴリズム選択手法は、自然選択および遺伝の進化原理に基づいた適応ヒューリスティック探索アルゴリズムを使用して、前処理した耕種学的データ内のデータセットを決定および評価する。

ブロック３１５において、農業用インテリジェンスコンピュータシステム１３０は、圃場データセットの評価を実行するように構成またはプログラムされている。一実施形態では、耕種学的モデルを生成し、生成された耕種学的モデルに特定の品質閾値を用いることによって、特定の圃場データセットを評価する。一個抜き交差検証の二乗平均平方根誤差（ＲＭＳＥＣＶ）、平均絶対誤差、および平均パーセント誤差などであるが、これらに限定されない１つ以上の比較手法を用いて、耕種学的モデルを比較および／または検証してもよい。例えば、ＲＭＳＥＣＶは、耕種学的モデルによって生成された予測された耕種学的特性値を、収集および分析された過去の耕種学的特性値と比較することによって、耕種学的モデルを交差検証することができる。一実施形態では、耕種学的データセットの評価論理はフィードバックループとして使用されるが、この場合、構成された品質閾値を満たさない耕種学的データセットは、将来のデータサブセット選択工程（ブロック３１０）の際に使用される。

ブロック３２０において、農業用インテリジェンスコンピュータシステム１３０は、交差検証された耕種学的データセットを基準として耕種学的モデルの生成を実行するように構成またはプログラムされている。一実施形態では、耕種学的モデルの生成は、多変量回帰手法を実行して事前構成された耕種学的データモデルを生成してもよい。

ブロック３２５において、農業用インテリジェンスコンピュータシステム１３０は、将来の圃場データを評価するために、事前構成された耕種学的データモデルを格納するように構成またはプログラムされている。

２．５．実装例－ハードウェアの概要

一実施形態によれば、本明細書に記載される技術は、１つ以上の特殊用途のコンピューティングデバイスによって実装される。特殊用途のコンピューティングデバイスは、この技術を実行するために配線接続されてもよく、またはこの技術を実行するために永続的にプログラムされた、１つ以上の特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子デバイスを含んでもよく、またはファームウェア、メモリ、他のストレージ、もしくは組み合わせにおいてプログラム命令に従ってこの技術を実行するようにプログラムされた、１つ以上の汎用ハードウェアプロセッサを含んでもよい。このような特殊用途のコンピューティングデバイスはまた、この技術を達成するために、カスタムの配線論理、ＡＳＩＣ、またはＦＰＧＡを、カスタムのプログラミングと組み合わせてもよい。特殊用途のコンピューティングデバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、携帯用デバイス、ネットワーキングデバイス、またはこの技術を実装するための配線論理および／もしくはプログラム論理を組み込んだ任意の他のデバイスであってよい。

例えば、図４は、本発明の実施形態を実装することができるコンピュータシステム４００を例示するブロック図である。コンピュータシステム４００は、バス４０２または情報を通信するための他の通信機構、および情報を処理するためにバス４０２に結合されたハードウェアプロセッサ４０４を含む。ハードウェアプロセッサ４０４は、例えば、汎用マイクロプロセッサであってよい。

コンピュータシステム４００はまた、情報およびプロセッサ４０４によって実行される命令を格納するための、バス４０２に結合されたランダムアクセスメモリ（ＲＡＭ）、または他の動的ストレージデバイスなどのメインメモリ４０６を含む。メインメモリ４０６はまた、プロセッサ４０４によって実行される命令を実行する間に、一時変数または他の中間情報を格納するために使用することができる。このような命令がプロセッサ４０４にアクセス可能な非一過性ストレージ媒体に格納されると、コンピュータシステム４００が、命令で指定した動作を実行するためにカスタマイズされた特殊用途の機械となる。

コンピュータシステム４００は、プロセッサ４０４用に静的情報および命令を格納するための、バス４０２に結合された読み取り専用メモリ（ＲＯＭ）４０８、または他の静的ストレージデバイスを更に含む。情報および命令を格納するために、磁気ディスク、光ディスク、またはソリッドステートドライブなどのストレージデバイス４１０が提供され、バス４０２に結合される。

コンピュータシステム４００は、コンピュータユーザに情報を表示するための陰極線管（ＣＲＴ）などのディスプレイ４１２にバス４０２を介して結合されてもよい。英数字および他のキーを含む入力デバイス４１４は、情報およびコマンド選択をプロセッサ４０４に通信するためにバス４０２に結合されている。別の種類のユーザ入力デバイスは、方向情報ならびにコマンド選択をプロセッサ４０４に通信するため、およびディスプレイ４１２上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソルコントロール４１６である。この入力デバイスは典型的に、２つの軸である第１の軸（例えばｘ）と第２の軸（例えばｙ）とで２つの自由度を有しており、これにより、デバイスが平面内で位置を指定することができる。

コンピュータシステム４００は、コンピュータシステムと組み合わせてコンピュータシステム４００を特殊用途の機械にするか、またはそのようにプログラムする、カスタマイズされた配線論理、１つ以上のＡＳＩＣもしくはＦＰＧＡ、ファームウェア、および／またはプログラム論理を使用して、本明細書で記載される技術を実装してもよい。一実施形態によれば、本明細書の技術は、メインメモリ４０６内に収容された１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ４０４に応答して、コンピュータシステム４００によって実行される。このような命令は、ストレージデバイス４１０などの別のストレージ媒体からメインメモリ４０６に読み込まれてもよい。メインメモリ４０６内に収容された命令のシーケンスを実行することにより、プロセッサ４０４に本明細書に記載されるプロセス工程を実行させる。代替的な実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて配線回路を使用してもよい。

本明細書で使用するとき、「ストレージ媒体」という用語は、特定の方法で機械を作動させるデータおよび／または命令を格納する、あらゆる非一過性媒体を意味する。このようなストレージ媒体は、不揮発性媒体および／または揮発性媒体を含んでもよい。不揮発性媒体としては、例えば、ストレージデバイス４１０などの光ディスク、磁気ディスク、またはソリッドステートドライブが挙げられる。揮発性媒体としては、メインメモリ４０６などの動的メモリが挙げられる。ストレージ媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または任意の他の磁気データストレージ媒体、ＣＤ－ＲＯＭ、任意の他の光学データストレージ媒体、孔のパターンを有する任意の物理的媒体、ＲＡＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジが挙げられる。

ストレージ媒体は、伝送媒体とは異なるが、これと連動して使用してもよい。伝送媒体は、ストレージ媒体間の情報を転送することに関係する。例えば、伝送媒体としては、バス４０２を含む電線を含んだ同軸ケーブル、銅線、および光ファイバが挙げられる。伝送媒体は、電波および赤外線データ通信の際に生成されるものなどの、音波または光波の形態を取ることもできる。

媒体の様々な形態は、実行するために１つ以上の命令の１つ以上のシーケンスをプロセッサ４０４に伝えることに関与し得る。例えば、命令は、遠隔コンピュータの磁気ディスクまたはソリッドステートドライブ上に最初に伝えられ得る。遠隔コンピュータは、命令をその動的メモリにロードし、モデムを使用して電話回線を通じて命令を送信することができる。コンピュータシステム４００に対してローカルなモデムにより、電話回線上でデータを受信し、赤外線送信器を使用してこのデータを赤外線信号に変換することができる。赤外線検出器は、赤外線信号において伝えられたデータを受信することができ、適切な回路によってバス４０２にデータを置くことができる。バス４０２は、メインメモリ４０６にデータを伝え、そこからプロセッサ４０４が命令を引き出して実行する。メインメモリ４０６によって受信された命令は、所望によりプロセッサ４０４によって実行される前または後のいずれかにおいてストレージデバイス４１０に格納されてもよい。

コンピュータシステム４００はまた、バス４０２に結合された通信インタフェース４１８を含む。通信インタフェース４１８は、ローカルネットワーク４２２に接続されたネットワークリンク４２０に結合され、２方向データ通信を提供する。例えば、通信インタフェース４１８は、総合サービスデジタル網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応する電話回線の種類にデータ通信接続を提供するためのモデムであってもよい。別の例として、通信インタフェース４１８は、互換性があるＬＡＮにデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであってもよい。また、無線リンクを実装してもよい。任意のこのような実装において、通信インタフェース４１８は、様々な種類の情報を表すデジタルデータストリームを伝える電気信号、電磁信号、または光信号を送受信する。

ネットワークリンク４２０は典型的に、１つ以上のネットワークを介して他のデータデバイスにデータ通信を提供する。例えば、ネットワークリンク４２０は、ホストコンピュータ４２４、またはインターネットサービスプロバイダ（ＩＳＰ）４２６によって運用されるデータ装置への接続を、ローカルネットワーク４２２を介して提供してもよい。ＩＳＰ４２６は次に、現在では一般的に「インターネット」４２８と称される、世界規模のパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク４２２とインターネット４２８とは共に、デジタルデータストリームを伝える電気信号、電磁信号、または光信号を使用する。デジタルデータをコンピュータシステム４００に、かつコンピュータシステム４００からデジタルデータを伝える様々なネットワークを介した信号、およびネットワークリンク４２０上ならびに通信インタフェース４１８を介した信号は、伝送媒体の例示的な形態である。

コンピュータシステム４００は、ネットワーク、ネットワークリンク４２０、および通信インタフェース４１８を介してメッセージを送付し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ４３０は、インターネット４２８、ＩＳＰ４２６、ローカルネットワーク４２２、および通信インタフェース４１８を介して、アプリケーションプログラムに要求されたコードを伝送することができる。

受信されたコードは、受信されるとプロセッサ４０４によって実行されてもよく、および／または、後に実行するためにストレージデバイス４１０もしくは他の不揮発性ストレージ内に格納されてもよい。

３．機能説明

３．１植物病の検出

今日では、画像解析に基づいた様々な分類方法が利用可能である。これらの分類方法を使用して、植物の写真を分析し、写真を所与の病気のクラスまたは健康なクラスに分類し、これによって対応する病気による潜在的な植物の感染を検出することができる。これらの分類方法のいくつかには、ＳＳＤを含むＣＮＮが含まれる。

ＳＳＤは一般に、異なるスケールの受容野に対応する一連の畳み込み層を含む、ベースとなるＣＮＮから開始される。ＳＳＤは続いて、最後の畳み込み層だけでなく、他の畳み込み層によって生成された特徴マップを使用して分類を実行する。より具体的には、ＳＳＤは、ベースとなるＣＮＮ内のそれらの畳み込み層ごとに、所定のクラスの様々な特徴に対応する、異なるサイズおよびアスペクト比を典型的に有するユーザ定義のアンカーボックスのセットを利用する。ＳＳＤは続いて、４＋ｃの小さい（例えば、３×３）フィルタのセットをアンカーボックスごとに（いわゆる畳み込み特徴層において）取り入れるが、４はアンカーボックスの４つの側面に対応し、ｃは畳み込み層ごとのクラスの数である。これらの小さなフィルタを、クラスの各々に既知の特徴のグラウンドトゥルース画像で訓練する。これらのグラウンドトゥルース画像は、様々なサイズおよびアスペクト比を有してもよく、各画像はクラスおよびアンカーボックスと関連付けられている。続いて、これらの小さなフィルタを使用して、対応する畳み込み層によって生成された特徴マップ内のアンカーボックスのうちの１つによって区切られたエリアがクラスのうちの１つの特徴と一致するかどうかを判断することができる。

上記で説明したように、ＳＳＤは、１つ以上の画像内に様々なスケールおよびアスペクト比を有するクラスの様々な特徴を認識し、画像内の特徴を探し出すための、初期の、個別の一連の領域の提案を必要とせずに、シングルショットでそれに応じて関連する信頼度スコアを有するクラスに画像の一部を分類することができる。ＳＳＤは、最初に画像の領域を複数のクラスに分類することができる。非最大抑制（ＮＭＳ）を適用して、最終的な分類として複数のクラスのうちの１つを選択することができる。ＳＳＤは、これまでのシングルショット検出器よりも高速で、かつまたより正確であり、実際に、明確な領域提案およびプーリングを実行するより低速の技術と同等の精度であることが示されている。ＫｅｒａｓライブラリおよびＰｙｔｈｏｎを使用してＳＳＤに関連する機能を実行する第三者ライブラリがＧｉｔＨｕｂプラットフォームで利用可能であり、これらは、例えばベースとなるＣＮＮとしてＶＧＧ１６を使用することができる。

３．２デジタルモデルの構成

いくつかの実施形態では、サーバ１７０は、ＳＳＤを使用して植物の写真から植物病の感染を検出するためのデジタルモデルを構築するようにプログラムされている。トウモロコシの一般的な植物病としては、炭疽病（ＡＬＢ）、さび病（ＣＲ）、眼状斑点病（ＥＹＥ）、斑点病（ＧＬＳ）、ゴス萎凋病（ＧＷ）、煤紋病（ＮＬＢ）、北方斑点病（ＮＬＳ）、ごま葉枯病（ＳＬＢ）、および南方さび病（ＳＲ）が挙げられる。デジタルモデルは、一定数のこのような植物病に対応する一定数のクラスに画像を分類するように設計することができる。サーバ１７０は、病気の症状のマーキングされた領域、またはこのような病気の症状の特徴を直接有し得る、トウモロコシの葉の写真などの画像のセットを最初に受信するようにプログラムされている。

図７Ａは、各々が１つの病気の症状を有するトウモロコシの葉の例示的な写真を含む。画像７２０では、（マーキングされた領域を画定している）ボックス７０４、およびボックス７０６内においてＧＬＳの症状が示されている。「ＧＬＳ」でラベル付けされたボックス７０４には１つの病変が含まれ、一方では、同様に「ＧＬＳ」でラベル付けされたボックス７０６には途切れてはいるが近接して位置する病変が含まれているが、これは珍しいものではない。ボックス７０４およびボックス７０６は、異なるサイズを有し、似てはいるが異なるアスペクト比を有している。複数のボックスではなく、単一のボックス７０６を途切れた病変ごとに有することにより、デジタルモデルを訓練および実行する際の効率を向上させることができる。画像７２２では、ボックス７０８内においてＳＲの症状が示されており、よくあることではあるが、病変の散らばった大きなクラスタが含まれている。ボックス７０８もまた、異なるサイズおよびアスペクト比を有する。

図７Ｂは、複数の病気の症状を有するトウモロコシの葉の例示的な写真を含む。画像７２４では、ボックス７１０内においてＧＬＳの症状が示されている。画像７２４は、ボックス７１２内においてＣＲの症状も示されており、多数に散らばった病変が含まれている。「ＧＬＳ」でラベル付けされたボックス７１０と「ＣＲ」でラベル付けされたボックス７１２とは、各々異なるサイズおよびアスペクト比を有する。ボックス７１２には複数の病気の病変が含まれているものの、ＣＲに由来する病変が優勢であるため、ボックス７１２に対応するこのマーキングされた領域は、なおＣＲのための良いサンプルとしての役割を果たし得る。

いくつかの実施形態では、サーバ１７０は、マーキングされた領域を有する各画像を特定のルールに従って処理するようにプログラムされており、これによってマーキングを完璧なものにするか、または強化することができる。サーバ１７０は、マーキングされた領域のサイズ、病変のクラスタの密度、またはクラスタと葉との間のサイズの比率に対する制約に従って、各々のマーキングされた領域を複数のものに分割するか、または複数のマーキングされた領域を１つに組み合わせるように構成することができる。例えば、ボックス７１２をマーキングするのではなく、画像７２４が個々のＣＲの病変のために小さくマーキングされた領域を単に有していてもよい。サーバ１７０は、近くの病変を検出し、葉のサイズに対して病変のクラスタの合計サイズを決定することによって、このマーキングされた領域をボックス７１２に自動的に拡張するようにプログラムすることができる。加えて、サーバ１７０は、各画像内のマーキングされた領域の数を６つ以下などに制限し、ＳＳＤの訓練プロセスを単純化するように構成することができる。例えば、サーバ１７０は、最も小さいサイズを有するかまたは別のマーキングされた領域と同様のアスペクト比を有するマーキングされた領域を解除することによって、画像７２４内のマーキングされた領域の数を現在の７つから６つに自動的に低減させるようにプログラムすることができる。

いくつかの実施形態では、サーバ１７０は、ＳＳＤの畳み込み層のためのアンカーボックスを定義するようにプログラムされている。各アンカーボックスは、単位長さ、アスペクト比、およびスケーリング因子の観点から定義することができる。例えば、単位長さが１０画素であってよく、高さに対する幅のアスペクト比が１．０であってよく、スケーリング因子が１であってよいとすると、幅が１０画素、および長さが１０画素のアンカーボックスとすることができる。その代わりに、アスペクト比が２．０であってよいと、幅が２０画素、および長さが１０画素のアンカーボックスとすることができる。その代わりに、スケーリング因子が２．０であってよいと、幅が２０画素、および長さが２０画素のアンカーボックスとすることができる。サーバ１７０は、ボックス７０４、７０６、７０８、７１０または７１２に対応するようなものなどのマーキングされた領域を使用して、アンカーボックスの定義を導くようにプログラムされてもよい。サーバ１７０は、（例えば、カメラおよび植物間の固定された距離、ならびに固定されたカメラの解像度に対して）マーキングされた領域を正規化し、同様のサイズのものを１つのクラスタにグループ化し、スケーリング因子およびアスペクト比を決定するために、集合サイズおよびアスペクト比をクラスタごとに計算するようにプログラムされてもよい。ベースとなるＣＮＮの一連の畳み込み層は典型的に、次第に大きくなる受容野に対応するため、サーバは、次第に大きくなるスケーリング因子を一連の畳み込み層に割り当てるようにプログラムされてもよい。サーバはまた、特定のトウモロコシの病気によって生じる非常に小さい病変、または他の非常に小さい病症を識別するのに役立つように、ＳＳＤの典型的な実装形態で使用されるスケーリング因子よりも小さい０．１などのスケーリング因子を利用するようにプログラムされてもよい。例えば、一連の６つの畳み込み層に対し、スケーリング因子は［０．１、０．２、０．３７、０．５４、０．７１、０．８８、１．０５］であってよく、全てのアンカーボックスに対して１つのスケーリング因子が１つの畳み込み層に割り当てられる。トウモロコシの病気に関する一般的なアスペクト比としては、１．０／７．０、１．０／５．０、１．０／３．０、０．５、１．０、２．０、３．０、５．０、または７．０が挙げられる。

３．３訓練セットおよびデジタルモデルの構築

いくつかの実施形態では、サーバ１７０は、画像をスケーリング、パディング、または別様に処理して、訓練セットのための最終的な画像を生成するようにプログラムされている。例えば、ＧｉｔＨｕｂプラットフォームで利用可能なｍａｘ＿ｃｒｏｐ＿ａｎｄ＿ｒｅｓｉｚｅ関数およびｒａｎｄｏｍ＿ｐａｄ＿ａｎｄ＿ｒｅｓｉｚｅ関数を適応して、原画像のバリエーションを生成することができる。サーバ１７０は、各バリエーションを、原画像におけるようにマーキングされた領域および対応するラベルと関連付けるようにプログラムされている。植物病を検出するために、クラスは植物病に対応しており、各ラベルは植物病のうちの１つを識別する。対称なアスペクト比がアンカーボックスに使用される場合は、訓練セット用の追加の画像を生成するために画像を回転させる必要がない。トウモロコシの病気の感染を検出するために、マーキングされた領域の数は、トウモロコシの病気ごとに少なくとも１００個とすることができる。

いくつかの実施形態では、サーバ１７０は、ＳＳＤの構築に必要となるように、画像の訓練セットをアンカーボックスにマッチングさせるようにプログラムされている。例えば、ＧｉｔＨｕｂプラットフォームで利用可能なＳＳＤＢｏｘＥｎｃｏｄｅｒは、ｐｏｓ＿ｉｏｕ＿ｔｈｒｅｓｈｏｌｄを０．５に設定し、ｎｅｇ＿ｉｏｕ＿ｔｈｒｅｓｈｏｌｄを０．２に設定することによって、このようなマッチングに原画像のバリエーションも参照するように適応させることができる。サーバ１７０は続いて、マーキングされた領域を有する画像またはそれらのバリエーション、関連するクラスラベル、およびアンカーボックスに関連付けられたマッチングを含むバウンディングボックスおよび訓練セットから、トウモロコシの病気を認識するためのデジタルモデルを構築するようにプログラムされる。例えば、ｌｒ＿ｓｃｈｅｄｕｌｅを０．００１に設定したＫｅｒａｓライブラリのｍｏｄｅｌ．ｆｉｔ＿ｇｅｎｅｒａｔｏｒ関数を使用することができる。

３．４デジタルモデルの実行

いくつかの実施形態では、サーバ１７０は、トウモロコシの植物の写真などの新しい画像を受信して、新しい画像にデジタルモデルを適用するようにプログラムされている。サーバ１７０は、必要に応じて新しい画像を正方形の画像に変換するようにプログラムされている。情報を失う原因となるトリミングを新しい画像に行う代わりに、サーバ１７０は、パディングを提供して、各々の辺が新しい画像の長辺と同じ長さとなる更新された画像を作成するように構成することができる。サーバ１７０は更に、更新された画像において新しい画像をセンタリングし、この結果をスケーリングして最終的な入力画像を取得するように構成することができる。

いくつかの実施形態では、サーバ１７０は、続いて最終的な入力画像にデジタルモデルを実行するようにプログラムされる。例えば、ＧｉｔＨｕｂプラットフォームで利用可能なｄｅｃｏｄｅ＿ｙ関数を使用して、ｃｏｎｆｉｄｅｎｃｅ＿ｔｈｒｅｓｈを０．８に設定し、ｉｏｕ＿ｔｈｒｅｓｈｏｌｄを０．５に設定することにより、ＮＭＳの実行を実装することができる。

図８は、初期の分類結果を最終的な分類結果に精緻化するためにＮＭＳを適用する、例示的なプロセスを図示する。画像８０２は、トウモロコシの葉の一部の写真である。上記で説明したように、ＳＳＤは、最初に画像の領域を複数のクラスに分類することができる。本実施例では、ボックス８０４とボックス８０８とを含むボックスの各々は、トウモロコシの病気に対応するクラスのうちの１つに分類される画像のエリアを示している。具体的には、ボックス８０８は、画素８０６または周囲領域を覆っている一連のボックスの中にある。ＮＭＳを適用する前に、関連する信頼度スコアがｃｏｎｆｉｄｅｎｃｅ＿ｔｈｒｅｓｈなどの特定の閾値より低いそれらのボックスを除去することができる。本実施例では、ボックス８０４の分類は低い信頼度と関連しているため、除去することができる。ＮＭＳによって、最も大きなスコアを有するボックスが続いて選択され、ｉｏｕ＿ｔｈｒｅｓｈｏｌｄなどの特定の閾値よりも大きいボックスと重なっている全ての他のボックスが続いて除去され、これ以上ボックスを除去することができなくなるまでプロセスが続けられる。本実施例では、ボックス８０８が残された唯一のボックスであり、従ってボックス８０８に基づいて画素８０６が分類される。

３．５例示的なプロセス

図９は、植物病を検出するために、ＣＮＮを構成して利用するようにプログラムされたサーバコンピュータによって実行される例示的な方法を図示する。図９により、実行されると本明細書に記載される機能性向上および技術的進歩を遂行させる、１つ以上のコンピュータプログラムまたは他のソフトウェア要素を実装するために使用することができるアルゴリズム、計画、または概要を開示することが意図される。更に、本明細書のフロー図は、コーディングまたは実装することを予定しているソフトウェアプログラムの基礎を形成するアルゴリズム、計画、または仕様についてを、当業者らが蓄積された技術および知識を使用して互いにコミュニケーションするのに通常使用されるものと同じレベルの詳細さで記載される。

いくつかの実施形態では、工程９０２において、サーバ１７０は、複数の病気に感染している植物の写真のセットを受信するようにプログラムまたは構成されている。具体的には、写真のセットには、複数のアスペクト比を有する複数のマーキングされた領域を有する葉が示されている。各々のマーキングされた領域は、複数の病気のうちの１つのラベルと関連付けられ、１つの病気によって引き起こされる少なくとも１つの病変を示している。写真のセットには、複数の病変を示す特定のマーキングされた領域を有する特定の葉を示している特定の写真が含まれる。任意のこのような特定の写真の場合、複数の病変の合計サイズは、特定のマーキングされた領域のサイズの、第１の所定の割合よりも大きくなる。加えて、特定のマーキングされた領域のサイズは、特定の葉のサイズの、第２の所定の割合よりも大きくなる。例えば、写真のセットが感染したトウモロコシの葉を示しており、その写真のうちの１枚が、病変が互いに近接して位置し、葉の大部分を占めるトウモロコシの病気のうちの１つの病変のクラスタを有する葉を示している。

いくつかの実施形態では、工程９０４において、サーバ１７０は、ＳＳＤの一連の畳み込み層ごとに、複数のマーキングされた領域からアンカーボックスのグループを決定するようにプログラムまたは構成されている。アンカーボックスのグループの各々は一般に、１つの病気の類似した症状に対応することができる、少なくとも複数のマーキングされた領域のサブセットを表す異なるアスペクト比を有する。トウモロコシのアスペクト比は、７：１と同じ大きさであってよい。一連の畳み込み層は、次第に大きくなる受容野を有する傾向があるため、サーバ１７０は、より大きいアンカーボックスを後の畳み込み層に割り当てるようにプログラムされてもよい。

いくつかの実施形態では、工程９０６において、サーバ１７０は、アンカーボックスのグループを決定した後に、複数のマーキングされた領域の各々をアンカーボックスのグループのうちの１つに更にマッピングするようにプログラムされてもよい。サーバ１７０は、マーキングされた領域の和集合に対する共通部分と、和集合に対するアンカーボックスとのサイズの割合が特定の閾値より大きい場合、マーキングされた領域をアンカーボックスにマッチングさせるように構成されてもよい。

いくつかの実施形態では、工程９０８において、サーバ１７０は、アンカーボックスのグループ、複数のマーキングされた領域を有する写真のセット、関連付けられた複数の病気のラベル、およびアンカーボックスに関連付けられた複数のマッピングからＳＳＤを構築するようにプログラムまたは構成される。訓練のために、元の写真にトリミング、パディング、リサイズ、または別の画像処理操作を行うことから得られるバリエーションによって、元の写真のセットを強化することができる。バリエーションは、元の写真におけるものと同等のマーキングされた領域および対応するラベルに関連付けられる。このような画像処理操作を行ったとしても、マーキングされた領域のアスペクト比は保持され、元の写真におけるものと同一のアンカーボックスへのマッピングに関連付けられる。

いくつかの実施形態では、工程９１０において、サーバ１７０は、クライアントデバイスから新しい画像を受信するようにプログラムまたは構成されている。新しい画像とは、１つ以上の領域において１つ以上の病気の症状を示す、植物の写真のことであり得る。工程９１２において、サーバ１７０は、ＳＳＤを新しい画像に適用して、新しい画像の１つ以上の領域内における、それらの１つ以上の病気の症状を識別するようにプログラムまたは構成されている。

いくつかの実施形態では、工程９１４において、サーバ１７０は、１つ以上の病気、または１つ以上の領域に関するデータをクライアントデバイスに伝送するようにプログラムまたは設定されている。データは、１つ以上の領域の各々、およびその領域の１つ以上の分類を識別することができる。データはまた、植物病の１つへの１つ以上の分類ごとの信頼度スコアも含むことができる。

４．拡張および代替

前述の明細書において、実装形態ごとに変化する可能性のある、多数の特定の詳細を参照しながら本発明の実施形態を説明してきた。それに応じて、明細書および図面は、限定的な意味というよりもむしろ、例示的な意味として考慮されるべきである。本発明の範囲の唯一かつ排他的な指標、および出願人によって本発明の範囲であると意図されるものは、このような請求項から生じる特定の形式において、本出願から生じる請求項の組の文言および均等範囲であり、任意のそれ以後の修正を含む。

Claims (20)

1. 植物病を認識するための畳み込みニューラルネットワークを構成して利用するコンピュータ実装方法であって、
   複数の病気に感染している植物の写真のセットをプロセッサによって受信することであって、
   前記写真のセットは、複数のアスペクト比を有する複数のマーキングされた領域を有する葉を示しており、各々のマーキングされた領域は、前記複数の病気のうちの１つの病気のラベルと関連付けられ、前記病気によって引き起こされる少なくとも１つの病変を示し、
   前記写真のセットのうちの特定の写真は、複数の病変を示す特定のマーキングされた領域を有する特定の葉を示し、
   前記複数の病変の合計サイズは、前記特定のマーキングされた領域のサイズの所定の割合よりも大きい、
   受信することと、
   シングルショットマルチボックス検出器（ＳＳＤ）の一連の畳み込み層ごとに、前記複数のマーキングされた領域からアンカーボックスのグループを前記プロセッサによって決定することであって、
   前記ＳＳＤは、画像を受信して、前記画像の１つ以上のエリアの各々を、前記複数の病気に対応する複数のクラスのうちの少なくとも１つに割り当てるように構成され、
   前記アンカーボックスのグループは、異なるアスペクト比を有し、前記複数のクラスの様々な特徴に対応している、
   決定することと、
   前記複数のマーキングされた領域の各々を、前記アンカーボックスのグループのうちの１つにマッピングすることと、
   前記アンカーボックスのグループ、前記複数のマーキングされた領域を有する前記写真のセット、前記関連付けられた複数のラベル、および前記関連付けられた複数のマッピングから前記ＳＳＤを構築することと、
   クライアントデバイスから新しい画像を受信することと、
   前記ＳＳＤを前記新しい画像に適用して、前記新しい画像の１つ以上のエリア内の１つ以上の病気の症状を識別することと、
   前記新しい画像の前記１つ以上の病気、または１つ以上のエリアに関するデータを、前記クライアントデバイスに伝送することと、
   を含むコンピュータ実装方法。
2. 前記複数のマーキングされた領域のうちの１つ以上を分割、組み合わせ、または除去し、マーキングされた領域のサイズ、葉に対するマーキングされた領域内の病変のクラスタのサイズの比率、またはマーキングされた領域内の病変の密度に対する制約に従って、新しいマーキングされた領域のセットを、前記所定の割合に基づいて作成することであって、
   前記決定することが、前記新しいマーキングされた領域のセットから更に実行されることを更に含む、請求項１に記載のコンピュータ実装方法。
3. 前記決定することが、前記複数のマーキングされた領域から、最も小さいサイズを有する、または前記複数のマーキングされた領域のうちの第２のマーキングされた領域に類似したサイズを有する第１のマーキングされた領域を解除することを含む、請求項１に記載のコンピュータ実装方法。
4. 前記決定することが、
   前記複数のマーキングされた領域を、複数のクラスタにクラスタ化することと、
   前記複数のクラスタのうちの１つのクラスタに対して、集合領域を計算することと、
   前記クラスタに基づいて、前記アンカーボックスのグループのうちの１つのアンカーボックスを定義することと、
   を含む、請求項１に記載のコンピュータ実装方法。
5. 前記決定することが、
   前記アンカーボックスのグループの各々を、単位長さ、アスペクト比、およびスケーリング因子によって識別することと、
   より大きなスケーリング因子を、前記一連の畳み込み層における後の畳み込み層の前記アンカーボックスのグループに割り当てることと、
   を含む、請求項１に記載のコンピュータ実装方法。
6. 前記植物がトウモロコシであり、
   前記アスペクト比が１．０／７．０、１．０／５．０、１．０／３．０、０．５、１．０、２．０、３．０、５．０、または７．０である、請求項５に記載のコンピュータ実装方法。
7. 前記マッピングすることが、マーキングされた領域の和集合に対する共通部分と、前記和集合に対する前記アンカーボックスとのサイズの割合が特定の閾値よりも大きい場合、前記マーキングされた領域をアンカーボックスとマッチングさせることを含む、請求項１に記載のコンピュータ実装方法。
8. 前記新しい画像を前記受信することが、前記新しい画像を正方形にパディングし、次に前記新しい画像を前記正方形にスケーリングすることを含む、請求項１に記載のコンピュータ実装方法。
9. 前記適用することが、前記新しい画像の前記１つ以上のエリアのうちの特定のエリアが前記複数のクラスのうちの複数のクラスに割り当てられる場合、前記複数のクラスのうちの１つを選択するように非最大抑制（ＮＭＳ）を実行することを含む、請求項１に記載のコンピュータ実装方法。
10. 前記適用することが、前記新しい画像の前記１つ以上のエリアを、前記１つ以上の病気に対応する前記複数のクラスのうちの１つ以上のクラスに割り当てることを含む、請求項１に記載のコンピュータ実装方法。
11. 前記ＳＳＤが、前記アンカーボックスのグループごとに、前記一連の畳み込み層の各々によって生成される特徴マップに適用される、固定数の固定サイズのフィルタを含む、請求項１に記載のコンピュータ実装方法。
12. 実行させると１つ以上のプロセッサに植物病を認識するための畳み込みニューラルネットワークを構成して利用する方法を実行させる１つ以上の命令のシーケンスを格納する１つ以上の非一過性コンピュータ可読媒体であって、前記方法は、
    複数の病気に感染している植物の写真のセットを受信することであって、
    前記写真のセットは、複数のアスペクト比を有する複数のマーキングされた領域を有する葉を示しており、各々のマーキングされた領域は、前記複数の病気のうちの１つの病気のラベルと関連付けられ、前記病気によって引き起こされる少なくとも１つの病変を示し、
    前記写真のセットのうちの特定の写真は、複数の病変を示す特定のマーキングされた領域を有する特定の葉を示し、
    前記複数の病変の合計サイズは、前記特定のマーキングされた領域のサイズの所定の割合よりも大きい、
    受信することと、
    シングルショットマルチボックス検出器（ＳＳＤ）の一連の畳み込み層ごとに、前記複数のマーキングされた領域からアンカーボックスのグループを決定することであって、
    前記ＳＳＤは、画像を受信して、前記画像の１つ以上のエリアの各々を、前記複数の病気に対応する複数のクラスのうちの少なくとも１つに割り当てるように構成され、
    前記アンカーボックスのグループは、異なるアスペクト比を有し、前記複数のクラスの様々な特徴に対応している、
    決定することと、
    前記複数のマーキングされた領域の各々を、前記アンカーボックスのグループのうちの１つにマッピングすることと、
    前記アンカーボックスのグループ、前記複数のマーキングされた領域を有する前記写真のセット、前記関連付けられた複数のラベル、および前記関連付けられた複数のマッピングから前記ＳＳＤを構築することと、
    クライアントデバイスから新しい画像を受信することと、
    前記ＳＳＤを前記新しい画像に適用して、前記新しい画像の１つ以上のエリア内の１つ以上の病気の症状を識別することと、
    前記新しい画像の前記１つ以上の病気、または１つ以上のエリアに関するデータを、前記クライアントデバイスに伝送することと、
    を含む１つ以上の非一過性コンピュータ可読媒体。
13. 前記方法が、前記複数のマーキングされた領域のうちの１つ以上を分割、組み合わせ、または除去し、マーキングされた領域のサイズ、葉に対するマーキングされた領域内の病変のクラスタのサイズの比率、またはマーキングされた領域内の病変の密度に対する制約に従って、新しいマーキングされた領域のセットを、前記所定の割合に基づいて作成することであって、
    前記決定することが、前記新しいマーキングされた領域のセットから更に実行されることを更に含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
14. 前記決定することが、前記複数のマーキングされた領域から、最も小さいサイズを有する、または前記複数のマーキングされた領域のうちの第２のマーキングされた領域に類似したサイズを有する第１のマーキングされた領域を解除することを含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
15. 前記決定することが、
    前記複数のマーキングされた領域を、複数のクラスタにクラスタ化することと、
    前記複数のクラスタのうちの１つのクラスタに対して、集合領域を計算することと、
    前記クラスタに基づいて、前記アンカーボックスのグループのうちの１つのアンカーボックスを定義することと、
    を含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
16. 前記決定することが、
    前記アンカーボックスのグループの各々を、単位長さ、アスペクト比、およびスケーリング因子によって識別することと、
    より大きなスケーリング因子を、前記一連の畳み込み層における後の畳み込み層の前記アンカーボックスのグループに割り当てることと、
    を含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
17. 前記マッピングすることが、マーキングされた領域の和集合に対する共通部分と、前記和集合に対する前記アンカーボックスとのサイズの割合が特定の閾値よりも大きい場合、前記マーキングされた領域をアンカーボックスとマッチングさせることを含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
18. 前記新しい画像を前記受信することが、前記新しい画像を正方形にパディングし、次に前記新しい画像を前記正方形にスケーリングすることを含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
19. 前記適用することが、前記新しい画像の前記１つ以上のエリアのうちの特定のエリアが前記複数のクラスのうちの複数のクラスに割り当てられる場合、前記複数のクラスのうちの１つを選択するように非最大抑制（ＮＭＳ）を実行することを含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。
20. 前記適用することが、前記新しい画像の前記１つ以上のエリアを、前記１つ以上の病気に対応する前記複数のクラスのうちの１つ以上のクラスに割り当てることを含む、請求項１２に記載の１つ以上の非一過性コンピュータ可読媒体。

Images