JP2021510880A - 画像における作物タイプ分類 - Google Patents

画像における作物タイプ分類 Download PDF

Info

Publication number
JP2021510880A
JP2021510880A JP2020539853A JP2020539853A JP2021510880A JP 2021510880 A JP2021510880 A JP 2021510880A JP 2020539853 A JP2020539853 A JP 2020539853A JP 2020539853 A JP2020539853 A JP 2020539853A JP 2021510880 A JP2021510880 A JP 2021510880A
Authority
JP
Japan
Prior art keywords
crop
image
images
crop type
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020539853A
Other languages
English (en)
Other versions
JP7034304B2 (ja
Inventor
グオ，チェン−エン
ヤン，ジエ
グラント，エリオット
Original Assignee
エックス デベロップメント エルエルシー
エックス デベロップメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エックス デベロップメント エルエルシー, エックス デベロップメント エルエルシー filed Critical エックス デベロップメント エルエルシー
Publication of JP2021510880A publication Critical patent/JP2021510880A/ja
Priority to JP2022030570A priority Critical patent/JP7345583B2/ja
Application granted granted Critical
Publication of JP7034304B2 publication Critical patent/JP7034304B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)

Abstract

実施形態では、地理的地域及び期間と関連付けられた複数の画像セットを取得し、複数の画像セットの各画像セットは、期間中の地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含み、複数の画像セットのうちのある画像セットと関連付けられた地理的地域の特定の部分内の特定の位置の各々で生育する１つ以上の作物タイプを予測する。それぞれの特定の位置に対して予測された１つ以上の作物タイプに基づいて、特定の位置の各々に対する作物タイプ分類を判定し、それぞれの特定の位置に対して判定された作物タイプ分類の表示がオーバーレイされた画像セットのうちの多スペクトル及び時系列の画像の少なくとも１つの画像を生成する。【選択図】図２

Description

関連出願の相互参照
[0001] 本出願は、２０１８年１月２３日に出願された米国仮特許出願第６２／６２０，９３９号に対する優先権を主張し、その開示は、その全体が参照により本明細書に組み込まれる。
[0002] 本開示は、概して、画像特徴検出に関し、具体的には、画像特徴検出における機械学習の使用に関するが、それに限定されない。
[0003] 現在、地球の陸地表面の約１１％が作物生産に使用されている。人間の生存、環境への影響、国の関わり、営利企業、市場などにとっての農業の重要性にもかかわらず、地理的地域、郡、州、国、大陸、惑星全体、又は上記のうちのいずれかの一部分内でどの作物が生育されているかについて、一貫した、信頼のおける、及び／又は正確な知識は存在しない。農業分野に関するより多くの情報が既知である場合、例えば、種子及び肥料の会社は、異なる地理的地域における自社製品の利用可能な市場をより良好に判断し得、作物保険会社は、保険料をより正確かつコスト効率よく査定し得、銀行は、より正確に農業ローンを提供し得、及び／又は政府は、より良好に税金を査定し、補助金を配分し、地域の食料生産能力を判断し、インフラストラクチャを計画することなどを行うことができる。
[0004] ある程度は農地に関するマッピングデータが存在し得る限りにおいて、そのようなデータは、一貫性がなく、不正確で、古く、及び／又はさもなければ多くの実際の用途には不完全である傾向がある。例えば、政府機関は、地理的地域内の農地及び／又は農場全体のごく一部分を調査又はサンプリングし、その小さなデータセットを推定して、地理的地域内に実際に存在するすべての農地の用地位置、サイズ、形状、作物タイプ、数などを概算し得る。このようなデータの収集は労働集約型でなされるため、農地データは、まれにしか（又は多くの商業目的上、ごくまれにしか）更新されない傾向がある。
[0005] 農地の使用は、地域毎に、又は経時的に変化する傾向がある。農場は、先進国よりも発展途上国において、規模が著しく小さい傾向がある。また、作物は、同じ用地で季節毎に、又は１年毎に変わることがある。農地は、非農業用途（例えば、住宅開発）に転用される場合がある。したがって、１つ以上の特定の地理的地域に対する十分な粒状レベルにおける農地、及びその農地で生育する作物（複数可）を、安価、正確、かつ頻繁に識別することは有益であろう。
[0006] 本発明の非限定的かつ非網羅的な実施形態を以下の図を参照して説明するが、ここで、特に指定されない限り、同様の参照番号は、様々な図全体を通して同様の部分を指す。必要に応じて、図面が煩雑にならないように、要素のすべての事例が必ずしも標識されているわけではない。図面は必ずしも縮尺通りではなく、説明されている原理を示すことに重点が置かれている。
いくつかの実施形態による、本開示の作物タイプ分類技術を組み込んだ例示的なシステムのネットワーク図を示すブロック図である。 いくつかの実施形態による、図１のシステムによって実装され得る例示的なプロセスを示すフローチャートである。 いくつかの実施形態による、本開示の作物タイプ分類技術に従った例示的な画像を示す図である。 いくつかの実施形態による、本開示の作物タイプ分類技術に従った例示的な画像を示す図である。 いくつかの実施形態による、図１のシステムによって実装され得る別の例示的なプロセスを示すフローチャートである。 いくつかの実施形態による、図１のシステムによって実装され得るさらに別の例示的なプロセスを示すフローチャートである。 いくつかの実施形態による、本開示の図１のシステムで実装され得る例示的なデバイスを示す図である。
[0013] ここでは、画像における作物タイプ分類のためのシステム、装置、及び方法の実施形態を説明する。いくつかの実施形態では、方法は、地理的地域及び期間と関連付けられた複数の画像セットを取得することであって、複数の画像セットの各画像セットは、期間中の地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含む、取得することと、複数の画像セットのうちのある画像セットと関連付けられた地理的地域の特定の部分内で、特定の位置の各々で生育する１つ以上の作物タイプを予測することと、それぞれの特定の位置に対して予測された１つ以上の作物タイプに基づいて、特定の位置の各々に対して作物タイプ分類を判定することと、それぞれの特定の位置に対して判定された作物タイプ分類の表示がオーバーレイされた画像セットのうちの多スペクトル及び時系列画像の少なくとも１つの画像を生成することと、を含み得る。
[0014] 以下の説明では、多くの具体的な詳細は、実施形態の徹底的な理解を提供するために、記載されている。しかしながら、関連技術の当業者は、本明細書に記載された技術が、１つ以上の特定の詳細を用いずに、又は他の方法、構成要素、材料などを用いて実施され得ることを認識するであろう。他の例では、特定の態様を不明瞭にしないために、周知の構造、材料、又は操作は、詳細に図示又は説明しない。
[0015] 本明細書全体を通した「一実施形態」又は「実施形態」への言及は、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。このように、本明細書全体を通して、様々な場所での「一実施形態では」又は「実施形態では」という句の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。さらに、特定の特徴、構造、又は特性は、１つ以上の実施形態において、任意の好適な様式で組み合わされ得る。
[0016] 図１は、いくつかの実施形態による、本開示の作物タイプ分類技術を組み込んだ例示的なシステム１００のネットワーク図を示すブロック図である。システム１００は、ネットワーク１０２と、サーバ１０４と、データベース１０６と、サーバ１０８と、データベース１１０と、デバイス１１２と、空中画像捕捉デバイス１１６と、を含み得る。サーバ１０４、データベース１０６、サーバ１０８、データベース１１０、デバイス１１２、及び空中画像捕捉デバイス１１６のうちの１つ以上は、ネットワーク１０２と通信することができる。少なくともサーバ１０８は、本開示の作物タイプ分類技術を含み、以下でより完全に説明するように、サブメートル分解能での画像における作物タイプ（複数可）の自動識別を容易にすることができる。
[0017] ネットワーク１０２は、１つ以上の有線及び／又は無線通信ネットワークを備え得る。ネットワーク１０２は、コンピュータデバイスを物理的及び／又はロジック的に接続して互いにデータを交換するための１つ以上のネットワーク要素（図示せず）を含み得る。いくつかの実施形態では、ネットワーク１０２は、インターネット、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、仮想ローカルエリアネットワーク（ＶＬＡＮ）、セルラーネットワーク、キャリアネットワーク、ＷｉＦｉネットワーク、ＷｉＭａｘネットワークなどであってもよい。さらに、いくつかの実施形態では、ネットワーク１０２は、単一のエンティティ（例えば、企業、学校、政府機関、家庭、人など）によって使用され得る、私的、公的、及び／又はセキュリティ保護されたネットワークであってもよい。図示していないが、ネットワーク１０２は、サーバ、データベース、スイッチ、ルータ、ゲートウェイ、基地局、中継器、ソフトウェア、ファームウェア、中間サーバ、及び／又は通信を容易にする他のコンポーネントを含み得るが、それらに限定されない。
[0018] サーバ１０４は、１つ以上の分解能で地表面の空中画像（地表面画像、陸地画像、イメージ、又は画像とも称される）の収集、管理、及び／又は保存を容易にするように構成されている、１つ以上のコンピュータ、プロセッサ、携帯電話インフラストラクチャ、ネットワークインフラストラクチャ、バックホールインフラストラクチャ、ホスティングサーバ、サーバ、ワークステーション、パーソナルコンピュータ、汎用コンピュータ、ラップトップ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、インターネット・オブ・シングス（ＩｏＴ）デバイス、ポータブルデバイスなどを含み得る。例えば、サーバ１０４は、デバイス１１６に、１つ以上の特定の地理的地域の画像を取得すること、特定の軌道を通ること、特定の分解能で画像を取得すること、特定の頻度で画像を取得すること、特定の期間に特定の地理的地域の画像を取得することなどを命令することができる。別の例として、サーバ１０４は、デバイス１１６と通信して、デバイス１１６によって取得された画像を受信することができる。さらに別の例として、サーバ１０４は、政府筋、ユーザ（例えば、ユーザ１１４など）などから、関連付けられた作物関連情報（例えば、作物タイプ識別、作物境界、識別された道路の位置、及び／又は他の注釈付き情報）が含まれた画像を取得／受信するように構成されてもよい。以下で詳細に説明するように、関連付けられた作物関連情報が含まれた画像は、人間がラベル付けした画像、米国農務省（ＵＳＤＡ）の農地データレイヤ（ＣＤＬ）データ、米国農業局（ＦＳＡ）の共有地ユニット（ＣＬＵ）データ、グラウンドトゥルースデータなどを含んでいてもよい。
[0019] サーバ１０４は、互いに直接及び／又はネットワーク１０２を介してデバイス１１６と通信することができる。いくつかの実施形態では、サーバ１０４は、１つ以上のウェブサーバ、１つ以上のアプリケーションサーバ、１つ以上の中間サーバなどを含み得る。
[0020] データベース１０６は、サーバ１０４、デバイス１１２、サーバ１０８、及び／又はデータベース１１０によって使用されるデータ及び／又は命令を格納する１つ以上のストレージデバイスを備え得る。例えば、データベース１０６は、デバイス１１６によって提供される画像及び関連するメタデータを含み得る。データベース１０６のコンテンツは、ネットワーク１０２を介して、及び／又はサーバ１０４によって直接アクセスすることができる。データベース１０６のコンテンツは、選択的な検索を容易にするために構造化されたフォーマットで配置されてもよい。いくつかの実施形態では、データベース１０６は、１つ以上のデータベースを含み得る。いくつかの実施形態では、データベース１０６は、サーバ１０４内に含まれてもよい。
[0021] サーバ１０８は、いくつかの実施形態による、本開示の作物タイプ分類の１つ以上の特徴を実現するように構成されている、１つ以上のコンピュータ、プロセッサ、携帯電話インフラストラクチャ、ネットワークインフラストラクチャ、バックホールインフラストラクチャ、ホスティングサーバ、サーバ、ワークステーション、パーソナルコンピュータ、汎用コンピュータ、ラップトップ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、インターネット・オブ・シングス（ＩｏＴ）デバイス、ポータブルデバイスなどを含み得る。サーバ１０８は、サーバ１０４／データベース１０６によって提供される画像及び可能な関連付けられたデータを使用して、作物境界を自動的に検出し、かつ地表面の複数の画像における作物境界内の作物タイプ（複数可）を分類することができる機械学習ベースのモデルをトレーニング及び生成するように構成されてもよい。作物タイプ分類は、サブメートルレベルの粒度又は地上分解能で行うことができる。「トレーニング済み」機械学習ベースのモデルは、作物境界を識別し、かつ人間が管理していない画像において作物タイプを分類するように構成されてもよい。本モデルは、教師あり機械学習技術を実装することによって、トレーニングすることができる。サーバ１０８はまた、作物タイプ分類を伴う画像へのアクセス及び／又は使用を容易にし得る。
[0022] サーバ１０８は、サーバ１０４、データベース１０６、データベース１１０、及び／又はデバイス１１２のうちの１つ以上と直接又はネットワーク１０２を介して通信することができる。いくつかの実施形態では、サーバ１０８はまた、デバイス１１６と通信して、サーバ１０４に関連して上記で説明したように１つ以上の機能を容易にすることができる。いくつかの実施形態では、サーバ１０８は、１つ以上のウェブサーバ、１つ以上のアプリケーションサーバ、１つ以上の中間サーバなどを含み得る。
[0023] サーバ１０８は、本明細書で説明する技術の様々な態様を容易にするための、ハードウェア、ファームウェア、回路、ソフトウェア、及び／又はそれらの組み合わせを含み得る。いくつかの実施形態では、サーバ１０８は、画像フィルタリングロジック１２０と、作物タイプ予測ロジック１２２と、トレーニングロジック１２４と、作物タイプ分類ロジック１２６と、ポスト検出ロジック１２８と、作物境界検出ロジック１３０とを含み得るが、これらに限定されない。以下で詳細に説明するように、画像フィルタリングロジック１２０は、１つ以上のフィルタリング、「クリーニング」、又はノイズ除去技術を画像に適用して、画像からアーチファクト及び他の望ましくないデータを除去するように構成されてもよい。作物タイプ予測ロジック１２２は、作物境界によって定義された作物エリアの各々の内で生育する作物タイプ（複数可）を予測するように構成されてもよい。作物タイプ予測ロジック１２２は、「トレーニング済み」機械学習ベースのモデルの少なくとも一部分を備え得る。トレーニングロジック１２４は、作物タイプ予測ロジック１２２を生成／構成するための１つ以上の機械学習技術の教師あり学習、トレーニング、及び／又は改良を容易にするように構成されてもよい。代替的に、トレーニングロジック１２４は、教師なし学習、半教師あり学習、強化学習、コンピュータビジョン技術などをサポートするように構成されてもよい。
[0024] 作物タイプ分類ロジック１２６は、作物タイプ予測ロジック１２２によって予測された作物タイプ（複数可）に基づいて、作物境界と関連付けられた各作物エリア内の作物タイプ（複数可）を分類又は識別するように構成されてもよい。ポスト検出ロジック１２８は、異なる作物タイプの作物収量の判定、作物管理の手法／戦略の判定、検出された作物境界と関連付けられた各作物フィールド（又は作物サブフィールド）への一意の識別子の割り当て、作物フィールド（又はサブフィールド）検索機能の提供などを実施するように構成されてもよいが、これらに限定されない。
[0025] 作物境界検出ロジック１３０は、画像内の作物境界を検出するように構成されてもよい。いくつかの実施形態では、作物境界検出ロジック１３０を使用して、グラウンドトゥルースデータの少なくとも一部分を生成することができる。加えて、又は代替的に、作物境界検出ロジック１３０は、作物タイプ分類を実施するための「トレーニング済み」機械学習ベースのモデルの一部分を備えていてもよく、「トレーニング済み」モデルは、（作物エリア／フィールド／サブフィールドを識別するために）作物境界を検出し、次にそれらの作物エリア／フィールド／サブフィールド内にある作物は、その作物タイプ（複数可）によって分類される。作物タイプ予測ロジック１２２と同様に、トレーニングロジック１２４は、作物境界検出ロジック１３０を生成／構成するための１つ以上の機械学習技術のうちの教師あり学習、トレーニング、及び／又は改良を容易にするように構成されてもよい。
[0026] いくつかの実施形態では、ロジック１２０〜１３０のうちの１つ以上の（又はその一部分）は、サーバ１０８に含まれる１つ以上のプロセッサによって実行される１つ以上の命令を備えるソフトウェアとして実装されてもよい。代替的な実施形態では、ロジック１２０〜１３０のうちの１つ以上（又はその一部分）は、サーバ１０８に含まれる特定用途向け集積回路（ＡＳＩＣ）、プログラマブルアレイロジック（ＰＡＬ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのファームウェア又はハードウェアとして実装されてもよいが、これらに限定されない。他の実施形態では、ロジック１２０〜１３０のうちの１つ以上（又はその一部分）は、ソフトウェアとして実装されてもよく、一方でロジック１２０〜１３０のうちの他（又はその一部分）は、ファームウェア及び／又はハードウェアとして実装されてもよい。
[0027] 図１ではサーバ１０８を単一のデバイスとして図示し得るが、サーバ１０８は、１つ以上のサーバを備えていてもよく、及び／又はロジック１２０〜１３０のうちの１つ以上は、複数のデバイスに分散されてもよいと考えられる。いくつかの実施形態では、コンピューティング資源又は制限に応じて、ロジック１２０〜１３０のうちの１つ以上は、複数のインスタンスで実装されてもよい。
[0028] データベース１１０は、サーバ１０８、デバイス１１２、サーバ１０４、及び／又はデータベース１１０によって使用されるデータ及び／又は命令を格納する１つ以上のストレージデバイスを備え得る。例えば、データベース１１０は、サーバ１０４／データベース１０６／デバイス１１６によって提供される画像、作物タイプ予測ロジック１２２を構築及び／又はトレーニングするために使用されるグラウンドトゥルースデータ、作物タイプ予測ロジック１２２によって生成された作物タイプヒートマップ、作物タイプ分類ロジック１２６によって生成された作物タイプ分類、識別子及び他の関連付けられた画像及び／又は作物タイプ情報、ロジック１２０〜１３０のいずれかによって使用されるデータ、ロジック１２０〜１３０のいずれかによって生成されたデータ、デバイス１１２を介してユーザ１１４によってアクセスされるデータ、及び／又はデバイス１１２を介してユーザ１１４によって提供されるデータを含み得る。データベース１１０のコンテンツは、ネットワーク１０２を介して、及び／又はサーバ１０８によって直接アクセスすることができる。データベース１１０のコンテンツは、選択的な検索を容易にするために構造化されたフォーマットで配置されてもよい。いくつかの実施形態では、データベース１１０は、１つ以上のデータベースを含み得る。いくつかの実施形態では、データベース１１０は、サーバ１０８内に含まれてもよい。
[0029] デバイス１１２は、１つ以上のコンピュータ、ワークステーション、パーソナルコンピュータ、汎用コンピュータ、ラップトップ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、インターネット・オブ・シングス（ＩｏＴ）デバイス、ポータブルデバイス、スマートフォン、タブレットなどを含み得る。いくつかの実施形態では、ユーザ１１４は、デバイス１１２に接続して、ロジック１２０〜１３０のうちの１つ以上によって使用されるデータを提供し（例えば、グラウンドトゥルースデータとして機能する選択画像上の作物境界及び作物タイプの手動識別）、及び／又は分類された作物タイプと関連付けられたデータを要求することができる（例えば、特定の作物フィールド（又はサブフィールド）の検索、作物タイプ情報がオーバーレイされた特定の画像の視覚表示の要求）。少なくともトレーニングロジック１２４及び／又はポスト検出ロジック１２８は、デバイス１１２と関連付けられた機能を容易にすることができる。作物タイプ分類で使用するためのデータを提供するユーザ１１４は、作物タイプ分類モデルの性能に従って生成されたデータを要求するユーザと同じであっても異なっていてもよい。
[0030] デバイス１１６は、衛星、飛行機、ドローン、熱気球、及び／又は地表面の複数の空中写真又は俯瞰写真を捕捉することができる他のデバイスのうちの１つ以上を含み得る。複数の空中写真は、複数の多スペクトル及び時系列の画像を含み得る。デバイス１１６は、１つ以上の位置追跡メカニズム（例えば、全地球測位システム（ＧＰＳ））、多スペクトル画像化メカニズム（全周波数帯域）、気象条件検出メカニズム、日時スタンプ生成メカニズム、地表面からの距離を検出するメカニズム、及び／又は捕捉された複数の画像の各画像について関連付けられた画像情報を提供する関連画像メタデータ生成機能を含み得る。デバイス１１６は、手動及び／又は自動で操作することができ、捕捉された画像は、有線又は無線接続を介してサーバ１０４、サーバ１０８、又は他のデバイスに提供することができる。デバイス１１６はまた、同じ場所の時系列画像を捕捉するために、特定の期間にわたって複数回同じ場所に配備されてもよい。デバイス１１６によって提供された、又はデバイス１１６から提供された画像から生成された（グラウンドトゥルースデータと関連付けられた、又は自動作物タイプ分類が望まれ得る）画像の例には、Ｌａｎｄｓａｔ７衛星画像、Ｌａｎｄｓａｔ８衛星画像、Ｇｏｏｇｌｅ Ｅａｒｔｈ画像などが含まれるが、これらに限定されない。
[0031] 個別の構成要素は、図１に関連して上記で説明されているが、構成要素は組み合わされてもよい。例えば、サーバ１０４及び１０８は単一のコンポーネントを含んでいてもよく、データベース１０６及び１１０は単一のコンポーネントを含んでいてもよく、及び／又はデバイス１１２はサーバ１０８と組み合わされてもよい。
[0032] 図２は、いくつかの実施形態による、作物タイプ分類モデルを生成し、生成された作物タイプ分類モデルを使用して作物タイプ分類を実行し、作物タイプ分類情報を様々に使用するためにシステム１００によって実施することのできる例示的なプロセス２００を示すフローチャートである。
[0033] ブロック２０２で、トレーニングロジック１２４は、識別された作物境界（又は対応する作物エリア）及びその中で分類された作物タイプの複数の地表面画像を含むグラウンドトゥルースデータを取得又は受信するように構成されてもよい。グラウンドトゥルースデータを構成する複数の画像は、分類対象の未知の画像に表示され得る様々な地勢、作物境界、又は作物タイプを扱うことのできる検出モデルをトレーニング／生成できるようにするため、様々な地勢、作物境界、又は作物タイプを表す画像を含むように選択されてもよい。
[0034] いくつかの実施形態では、複数の画像は、多スペクトルデータ（例えば、赤、緑、青（ＲＧＢ）スペクトル、可視スペクトル、近赤外（ＮＩＲ）、正規化差植生指数（ＮＤＶＩ）、赤外（ＩＲ）、全スペクトル帯など）を含む画像を含み得る（多スペクトル画像又はイメージとも称される）。複数の画像は、時系列画像を含むこともでき、同じ地理的位置が特定の期間にわたって複数回画像化されてもよい。特定の期間は、作物の生育期（例えば、５月〜１０月）、１年、複数年、２００８年〜２０１６年、及び／又は他の所定の期間を含み得るが、これらに限定されない。撮像頻度は、毎時、毎日、毎週、隔週、毎月、季節毎、年毎などであってもよい。特定の地理的位置と関連付けられた画像、及び任意選択的に特定の期間の画像は、画像セットと称され得る。グラウンドトゥルースデータには、複数の画像セットが含まれていてもよい。
[0035] グラウンドトゥルースデータは、以下を含み得るが、これらに限定されない。（１）作物境界（又は作物エリア）が識別された画像。このような画像は、ユーザが手動で識別してもよく、自動作物境界検出の結果（その例を図３に図示）であってもよい。（２）作物タイプが分類／識別／特定された画像。このような画像は、ユーザが手動で識別してもよく、政府又は公的に利用可能な情報源から取得してもよい。（３）作物境界と作物タイプの両方が識別された画像。このような画像は、ユーザが手動で識別してもよく、政府又は公的に利用可能な情報源から取得してもよい。
[0036] ユーザが手動で識別した画像の特徴は、人間がラベル付けしたデータ又は人間がラベル付けした画像とも称され得る。ユーザ１１４などの１人以上のユーザは、例えば、デバイス１１２上に提供されたグラフィカルユーザインターフェース（ＧＵＩ）メカニズムを介して選択画像に注釈を付けることができる。政府又は公的に利用可能な情報源から取得した、作物境界及び／又は作物タイプが識別された画像は、本開示の作物タイプ分類スキームによって提供されるよりも低い地上分解能又は精度でそのような識別を提供する場合がある。例えば、地上分解能は、３０メートルの分解能、１メートル以上の分解能などであってもよい。政府又は公的に利用可能な情報源からの作物境界及び／又はタイプの識別は、農家のレポート、サンプルベースのデータ、調査ベースのデータ、外挿などとして提供されてもよい。政府／公的に利用可能な地理的に識別された作物境界とタイプのデータの例として、２００８〜２０１６年の３０メートル／画素（地上）分解能でのＵＳＤＡ ＣＤＬデータが挙げられる。
[0037] トレーニングロジック１２４は、画像の選択、人間によるラベル付けのための選択された画像の提示、人間によってラベル付けされた画像の使用、政府／公的に利用可能な作物境界及び／又は作物タイプ識別データの取得などを容易にし得る。グラウンドトゥルースデータは、トレーニングデータ、モデル構築データ、モデルトレーニングデータなどとも称され得る。
[0038] いくつかの実施形態では、グラウンドトゥルースデータと関連付けられた期間及び／又は地理的地域（複数可）は、作物タイプを識別すべき画像と関連付けられた期間及び／又は地理的地域（複数可）と同じ（又はほぼ同じ）であってもよい（ブロック２１６）。例えば、２００８〜２０１６年の間に撮影された画像がブロック２１６で処理される場合、２００８年のＣＬＵデータを使用することができ、２００８〜２０１６年のＣＤＬデータを使用することができ、人間がラベル付けしたデータは２００８〜２０１６年の間に撮影された画像を含んでいてもよい。ＣＬＵ及びＣＤＬデータは、米国の画像データを含んでいてもよく、人間がラベル付けしたデータにおける画像もまた、米国の画像を含んでいてもよい。
[0039] 次に、ブロック２０４で、画像フィルタリングロジック１２０は、グラウンドトゥルースデータを構成する１つ以上の画像の予備フィルタリングを実行するように構成されてもよい。いくつかの実施形態では、予備フィルタリングは、画素毎に画像に収められた雲、影、もや、霧、大気障害物、及び／又は他の地表面障害物を監視することを含み得る。そのような障害が検出された場合、画像フィルタリングロジック１２０は、ブロック２０６で、画素毎に、障害に対処するかどうか、障害をどのように補正するか、モデルの構築において対象の画素と関連付けられた画像情報を省略するかどうかを決定するように構成されてもよい。例えば、第１の画素は雲のために地表面情報を含まないが、第１の画素に隣接する第２の画素と関連付けられた地理的位置は雲によって遮られないために画像化されている場合、画像フィルタリングロジック１２０は、第１の画素値を第２の画素値に変更するように構成されてもよい。別の例として、所与の画像における既知の不正確な画素値は、同じ画像セット内の別の画像（例えば、同じ地理的位置の同じ時系列における異なる画像から）の対応する画素の画素値で置き換えることができる。他の実施形態では、例えば、画像に雲がなく、そうでなければ大気の障害のないことが分かっている場合、ブロック２０４は任意選択的であってもよい。
[0040] ブロック２０６で、グラウンドトゥルースデータを取得し、かつ任意選択的に、予備的にフィルタリング又は修正した結果のグラウンドトゥルースデータを、１つ以上の機械学習技術／システムに適用して、作物タイプモデルを生成又は構築することができる。いくつかの実施形態では、作物タイプモデルは、作物タイプ予測ロジック１２２を含み得る。機械学習技術／システムは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）又は教師あり学習システムを含み得る。作物タイプモデルは、入力として提供された画像セットと関連付けられた特定の地理的位置に対応する各画素について、１つ以上の作物タイプ分類の確率的予測を提供するように構成されてもよい。作物タイプは、米、小麦、トウモロコシ、大豆、モロコシ、豆類、果物、野菜、油糧種子、ナッツ、牧草などを含み得るが、これらに限定されない。
[0041] グラウンドトゥルースデータは、作物境界及び作物タイプが正確に識別された画像で構成されているため、機械学習技術／システムは、画像における作物エリアを示す地表面の特徴、及びそれらの作物エリア内で生育されている作物のタイプ（複数可）を学習することができる。そのような知識は、十分に詳細かつ正確である場合、作物タイプが不明である可能性のある画像内の作物タイプを自動的に識別するために使用することができる。
[0042] 作物エリア内の作物タイプ（複数可）の予測を行うために、作物エリアの存在の予測を伴う場合があり、それによって、少なくとも、作物タイプの予測のために分析される画像の部分を縮小又は最小化することができる。したがって、いくつかの実施形態では、作物境界検出ロジック１３０は、作物タイプ予測ロジック１２２と共に、作物タイプモデルの一部分であるとみなされ得る。作物境界検出ロジック１３０については、図３に関連して説明する。作物タイプモデルは、作物タイプ分類モデルとも称され得る。
[0043] いくつかの実施形態では、作物タイプモデルは特定の地理的地域に関連付けられてもよく、同じ地理的地域はグラウンドトゥルースデータを構成する画像に捕捉される。例えば、作物タイプモデルは、米国内の特定の郡に特有であってもよい。同様に、作物タイプモデルは特定の期間と関連付けられてもよく、同じ期間がグラウンドトゥルースデータを構成する画像と関連付けられてもよい。地理的地域が大きくなると、データの不整合又は地域差が生じ、その結果、作物タイプモデルの精度が低下する可能性がある。
[0044] 次に、トレーニングロジック１２４は、作物タイプモデルの精度が所定の閾値以上かどうかを判定するように構成されてもよい。所定の閾値は、７０％、８０％、８５％、９０％などであってもよい。モデルの精度が所定の閾値未満である場合（ブロック２０８の分岐なし）、プロセス２００はブロック２０２に戻り、追加のグラウンドトゥルースデータを取得／受信して、機械学習技術／システムに適用し、現在の作物タイプモデルを精緻化する。機械学習技術／システムに追加のグラウンドトゥルースデータを提供することは、追加の教師あり学習データを提供することを含む。これにより、作物のタイプモデルは、どの作物のタイプ（複数可）が作物エリアで生育している／生育したかを予測するようにより適切に構成することができる。ブロック２０２〜２０８は、十分に正確な作物タイプモデルが構築されるまで１回以上反復することができる。
[0045] モデルの精度が所定の閾値以上である場合（ブロック２０８でｙｅｓ分岐）、作物タイプモデルは、作物タイプ（及び作物境界）が不明である画像に対する教師なし又は自動の作物タイプ分類における使用に容認可能とみなすことができる。ブロック２１０で、自動分類のための作物タイプモデルに適用される複数の画像を取得又は受信することができる。複数の画像は、デバイス１１６によって捕捉されたものであってよい。
[0046] いくつかの実施形態では、複数の画像は、複数の画像セットを含んでいてもよく、複数の画像セットの各画像セットは、内部に位置するすべての作物フィールド／サブフィールドの作物タイプを分類することが望まれる地理的地域（例えば、米国）を集合的に構成する複数の部分／エリア（例えば、米国のすべての郡）のそれぞれの部分／エリア（例えば、米国のひとつの郡）と関連付けることができる。複数の部分／エリアの各部分／エリアについて、関連付けられた画像セットは、以下を含み得る。（１）複数の時点の各々（例えば、５月１日、６月１日、７月１日、８月１日、９月１日、１０月１日）についての少なくとも１つの画像。（２）複数の時点のそれぞれの時点について、１つ以上の画像が存在してもよい。各画像は、同じ時点で撮影された別の画像から特定／異なるスペクトル情報を提供することができる（例えば、５月１日に撮影された第１の画像はＲＧＢ画像、５月１日に撮影された第２の画像はＮＩＲ画像、５月１日に撮影された第３の画像はＮＤＶＩ画像など）。
[0047] 複数の画像によって対象とされる全体的な地理的地域は、ブロック２０２で作物タイプモデルを生成するために使用される画像と関連付けられた同じ（又はほぼ同じ）地理的地域であってもよい。言い換えれば、ブロック２０６で生成された作物タイプモデルは、ブロック２１０の画像で使用するために特別に開発されたものであってもよい。そのような作物タイプモデルは、ローカル又はローカライズされた作物タイプモデルとも称され得る。ブロック２１０で取得された複数の画像はまた、作物タイプモデルの期間と同じ期間に関連付けられてもよい。上記の例を続けると、ブロック２０６で生成された作物タイプモデルは、米国及び２００８〜２０１６年と関連付けられてもよく（モデルのトレーニング及び構築に使用された画像は、２００８〜２０１６年の間に撮影された米国の画像であるため）、ブロック２１０の複数の画像は、同様に、２００８〜２０１６年の間に撮影された米国の画像であってもよい。
[0048] 画像セット内の各画像は、多スペクトル及び／又は時系列のコンテンツが互いに異なることを除いて、（同じ向きで、表面から同じ距離にある）同じ土地の位置を示していてもよい。したがって、画像セット内の各画像は、地表面の特徴が異なる時間及び／又は異なるスペクトル／色合成スキームにより異なる場合があることを除いて、「同じ」画像であってもよい。いくつかの実施形態では、ブロック２０２のグラウンドトゥルースデータを構成する画像セット内の画像は、同様の特性を有していてもよい。
[0049] 次に、ブロック２１２で、ブロック２１０の画像は、画像フィルタリングロジック１２０によって予備的にフィルタリングされてもよい。いくつかの実施形態では、ブロック２１２は、処理された画像がブロック２０２の画像ではなくブロック２１０の画像であることを除いて、ブロック２０４と同様であってもよい。他の実施形態では、雲及び他の障害物が画像内に存在しないように確実に画像が取得された（又は必要に応じて再取得された）場合、ブロック２１２は任意選択的であってもよい。
[0050] 次に、ブロック２１４で、（いくつかの実施形態では、作物境界検出ロジック１３０の支援により）作物タイプ予測ロジック１２２は、ブロック２１０で取得された複数の画像セットの各（フィルタリングされた）画像セットに対して作物タイプヒートマップを判定するように構成されてもよい。複数の画像セットの各画像セットについて、画像セットは、ブロック２０６で生成された作物タイプモデルへの入力として提供されてもよく、それに応答して、作物タイプモデルは、画素毎又は作物エリア毎に各作物エリア内の作物タイプ（複数可）を予測／判定することができる。ヒートマップの各画素（又は作物エリア）は、特定の作物タイプ（複数可）の相対又は絶対確率を示していてもよい。いくつかの実施形態では、ヒートマップは、ラスターフォーマットからベクトル化されてもよい。
[0051] 単一の作物エリアにおいて、１つ以上の作物タイプが予測される場合がある。作物タイプヒートマップが視覚的に表示される場合、例えば、複数の作物タイプの各作物タイプには、互いに異なる色が割り当てられてもよく、画像にオーバーレイされた特定の色の強度／濃淡は、作物タイプの予測精度の統計的確率を示していてもよい。別の例として、作物タイプ及び／又は予測の強さ／精度は、画像内のテキストとして表すことができる。
[0052] 同じ地理的地域についての画像セットを構成する多スペクトル及び時系列の画像により、特定の地表面の特徴の経時的な変化を検出することができる。これにより、特定のエリアが作物エリアである可能性が高いかどうか、かつどの作物（複数可）が作物エリア内で生育している可能性があるかを判定することが容易になる。例えば、作物の色は生育期の過程で変化する可能性がある。作物フィールドは、植え付け前、生育期、及び収穫後で各々異なって見える場合もある。時間の経過に伴う作物の色の変化の特定のパターンは、生育されている作物のタイプを示している場合がある（例えば、小麦、大豆、トウモロコシなど）。作物の植え付け及び／又は収穫の時期は、生育されている作物の種類を示している場合がある。第１のタイプの作物が一年目に所与の作物フィールドで生育され、次に第１のタイプの作物とは異なる第２のタイプの作物が二年目に同じ作物フィールドで生育された場合、二年の間に検出された変化は、その作物フィールドと関連付けられた地理的な場所が作物エリアであり得ることを示す場合がある。異なる作物タイプは、異なる植え付けパターン特性を有する場合がある（例えば、隣接する植え付けの列の間の距離は、作物タイプによって異なる場合がある）。
[0053] 次に、ブロック２１６で、作物タイプ分類ロジック１２６は、ブロック２１０の複数の画像セットの各画像セットに対して、作物タイプヒートマップに基づいて作物エリアの作物タイプを分類するように構成されてもよい。いくつかの実施形態では、所与の作物エリアに対して１つ以上の作物タイプが予測された場合、多数決原理を適用して、予測された作物タイプの中から確率が最も高い作物タイプを所与の作物エリアについての作物タイプとして選択することができる。予測された優位な多数の作物タイプ（例えば、７０％以上の確率で予測された作物タイプ）がない場合、所与の作物エリアは、所与の作物エリアに対して予測された複数の作物タイプのそれぞれの作物タイプが割り当てられた作物サブエリアの各々を有する複数の作物サブエリアに分割される。例えば、所与の作物エリアに対して３０％の確率で第１の作物タイプが予測され、４０％の確率で第２の作物タイプが予測され、３０％の確率で第３の作物タイプが予測された場合、それらの確率の誤差範囲は、優位な作物タイプの予測が存在し得ないとしてもよい。この場合、所与の作物エリアは、第１、第２、及び第３の作物サブエリアに分割され、それぞれ第１、第２、及び第３の作物タイプが割り当てられる。
[0054] 代替的な実施形態では、作物タイプヒートマップと共に補足知識を使用して、作物エリアに対する作物タイプの最終分類を行うことができる。例えば、一定の作物タイプ同士が同じ地理的位置で同時に生育しない、又は生育できない場合、次いで、そのような両立しない作物タイプが同じ作物エリアに対して予測された場合、その地理的位置で生育された可能性が低い又は最も低い１つ以上の作物タイプは無視することができる。
[0055] 各作物エリア／フィールド／サブフィールドと関連付けられた作物境界は、サブメートル（地上）分解能、約０．１５〜０．２メートルの分解能、０．５メートル未満の分解能、約０．２メートル未満の分解能などで判定又は識別できる。ひいては、各作物エリア／フィールド／サブフィールドの作物タイプ分類も、サブメートル地上分解能、約０．１５〜０．２メートルの分解能、０．５メートル未満の分解能、約０．２メートル未満の分解能などで分類されるとみなすことができる。
[0056] いくつかの実施形態では、対象となる地理的地域全体の特定の部分と関連付けられた、画像セットのうちの画像の少なくともいくつか（例えば、ブロック２１０で取得された画像）は、互いに異なる分解能及び／又は作物タイプ分類ロジック１２６によって出力された作物タイプ分類と関連付けられた分解能よりも低い分解能であってもよい。例えば、作物タイプを含む出力は、入力として提供された画像の少なくとも一部分が５メートルの地上分解能であったとしても、１メートル未満（１画素あたり１メートル未満）の地上分解能又は０．１メートル（１画素あたり０．１メートル）の地上分解能で分類されてもよい。
[0057] 作物境界は、近い形状のエリアを定義してもよい。作物境界は、作物フィールド境界、又は、画像セット及び／又は予備知識情報に十分な情報が存在する場合、作物サブフィールド境界を含み得る。作物フィールド境界は、フェンス、恒久的な水路、森林、道路などによって線引きされた物理的エリアを含み得る作物フィールドを定義することができる。作物サブフィールドは、作物フィールドのサブセットを含んでいてもよく、作物フィールドの物理的エリアの一部分には、作物フィールドの物理的エリアの別の一部分における主要な作物タイプとは異なる特定の作物タイプが主として含まれる。物理的エリアの異なる作物タイプの部分の各々は、作物サブフィールドとみなすことができる。したがって、作物フィールドは、１つ以上の作物サブフィールドを含み得る。例えば、作物フィールドは、トウモロコシの第１の作物サブフィールド及び大豆の第２の作物サブフィールドを含み得る。
[0058] いくつかの実施形態では、作物タイプ予測ロジック１２２によって提供された作物タイプヒートマップは、各作物エリアに対して作物タイプ（複数可）の尤度を示し得る一方で、作物タイプ分類ロジック１２６は、ある作物エリアに対して予測された作物タイプ（複数可）のうちのどの作物タイプに、作物エリアと関連付けられたどの画素を割り当てるかについて、最終判定するように構成されてもよい。
[0059] すべての画像セットに対して作物タイプが作物サブフィールドレベルに分類されると、プロセス２００はブロック２１８に進むことができる。ブロック２１８では、ポスト検出ロジック１２８は、画像セットのすべてに対して（例えば、地理的地域全体に対して）分類された作物／耕作地のサブフィールドに応じて１つ以上のポスト検出アクティビティを実行するように構成されてもよい。作物タイプが分類された各作物フィールド／サブフィールドについて、ポスト検出アクティビティは、作物フィールド／サブフィールドの面積の計算、作物フィールド／サブフィールドへの一意の識別子の割り当て（例えば、別の作物フィールド／サブフィールドには再利用されない一意のコンピュータ生成識別番号（ＧＵＩＤ）、分類システム内の作物フィールド／サブフィールドの分類（例えば、作物フィールド／サブフィールドは、特定の大陸、国、州、郡などで分類、割り当て、ラベル付け、又は関連付けがなされてもよい）、及び／又は保管、抽出、検索、及び／又は更新アクティビティで使用するための関連メタデータの生成を含み得るが、これらに限定されない。いくつかの実施形態では、ポスト検出アクティビティは、識別された作物フィールド／サブフィールド及び作物タイプの表示を元の画像にオーバーレイすること、作物タイプ分類結果を視覚的に提示すること、並びにさもなければ元の画像を検出された情報で視覚的に増強することと、をさらに含み得る。ポスト検出アクティビティから得られたデータは、データベース１１０に保持されてもよい。
[0060] いくつかの実施形態では、ポスト検出ロジック１２８は、判定された作物タイプ（複数可）の表示がオーバーレイされた元の画像（例えば、画像セットを構成する複数の画像の少なくとも１つの画像）を表す新しい画像（作物表示画像とも称される）を生成するように構成されてもよい。図３Ａに示す画像３４０は、新しい画像の例である。
[0061] 図３Ａは、いくつかの実施形態による、本開示の作物タイプ分類の過程で使用又は生成され得る様々な画像を示す。画像３００は、低分解能グラウンドトゥルースデータの例を含み得る。画像３００は、３０メートル／画素の分解能での、ＵＳＤＡ ＣＤＬデータ画像の例などであってもよい。画像３００は、作物エリアの位置を示す指標３０２及び３０４を含んでいてもよく、任意選択的に、作物エリアに対する作物タイプ（複数可）を含み得る。画像３００は低分解能画像を含むので、作物エリア位置及び特定の位置に対する作物タイプ分類は、最高でも概算であってよい。
[0062] 画像３１０は、複数の画像セットのうちのある画像セットの画像の例（例えば、ブロック２１０で取得／受信された画像）を含み得る。画像３１０は、例えば０．１５メートル／画素の分解能を有し、年毎などに取得された高分解能画像を含み得る。いくつかの実施形態では、画像３００及び３１０は、同じ地理的位置と関連付けられてもよい。画像３３０はまた、複数の画像セットのうちの画像セットの画像の例を含み得る。画像３１０及び３３０は、同じ画像セットのうちの画像を含み得る。画像３３０は、月毎などに取得された、低分解能の時系列画像の例を含み得る。
[0063] 上述のように、作物タイプ分類を実行する過程で、作物境界が識別されてもよい。画像３２０は、画像３１０で識別され得る作物境界の視覚的図解を示す。画像３２０は、識別された作物境界３２２、３２４、３２６、及び３２８の表示がオーバーレイされた画像３１０を含み得る。画像３２０は、例えば、０．１５メートル／画素の分解能の高分解能画像を含み得る。
[0064] 画像セットに対して作物境界が識別されている場合、画像セットの画像を追加で使用して、識別された作物境界の各々の作物タイプ（複数可）を判定することができる。画像３４０は、それぞれの作物境界に対する作物タイプ分類の表示が含まれた画像３１０又は３２０を含み得る。作物境界３２２、３２４、３２６、３２８に対する作物タイプは、それぞれ「ブドウ」、「トウモロコシ」、「大豆」、及び「ブドウ」である。画像３４０は、高分解能（例えば、０．１５メートル／画素）の画像を含み得る。
[0065] 特定の作物フィールド／サブフィールド又は作物タイプに関わる表示、検索、又は他のアクティビティが実行される場合、そのような生成された新しい画像がユーザに対して表示されてもよい。
[0066] 次にブロック２２０で、ポスト検出ロジック１２８は、作物タイプ分類が更新されるべきかどうかを決定するように構成されてもよい。更新は、（例えば、１つ以上の作物境界、新しい生育期などの潜在的な変化に対するほぼリアルタイムでの）新しい画像の可用性、日／時イベント（例えば、新しい年、新しい生育期）、最後の更新からの十分な時間の経過、あらかじめ設定された期間（定期的、毎週、隔週、毎月、季節毎、毎年など）などに基づくきっかけによって実行されてもよい。更新が実行される場合（ブロック２２０でｙｅｓ分岐）、プロセス２００はブロック２１０に戻ることができる。更新が実行されない場合（ブロック２２０で分岐なし）、プロセス２００はブロック２２２、２２４、及び２２６に進むことができる。
[0067] ブロック２２２で、ポスト検出ロジック１２８は、作物タイプのデータ表示及び検索機能を提供するように構成されてもよい。アプリケーションプログラミングインターフェース（ＡＰＩ）、ウェブサイト、アプリなどは、ユーザが作物タイプのデータに様々にアクセスするように実装することができる。例えば、ユーザは、特定の作物タイプに分類されたすべての作物エリア、特定の作物タイプに分類された特定の国の内部の作物エリア、作物タイプ別の作物エリアのサイズ、異なる作物タイプの作物収量、異なる作物タイプの作物管理手法、又は任意の他の検索パラメータを検索することができる。作物境界と作物タイプの表示がオーバーレイされた画像が、ユーザに表示されてもよい。ユーザは、例えば、デバイス１１２を介して検索を実行し、作物タイプデータを閲覧することができる。
[0068] ブロック２２４で、ポスト検出ロジック１２８は、認証されたユーザによる、自動的に識別された特定の作物フィールド／サブフィールドの作物タイプ分類の変更の受け入れを容易にするように構成されてもよい。特定の作物フィールド／サブフィールドに作物を作付けした農家は、データベース内のその作物フィールド／サブフィールドの作物タイプが間違っているか不完全であることに気づき、画像に正しい作物タイプ（複数可）を手動でラベル付けする場合がある。修正機能は、ブロック２０２で人間によってラベル付けされた画像を生成することと同様であってもよい。加えられた修正は、承認を受けることでき、その後、データベース１１０を更新するために使用することができる。加えられた変更は、作物タイプモデルを改良するためのグラウンドトゥルースデータとしても使用することができる。
[0069] 判定された作物タイプ分類は、様々な用途に拡張できる。ブロック２２６で、ポスト検出ロジック１２８は、作物タイプ分類を実行する過程で検出された作物タイプ分類及び／又は作物特性に基づいて、以下の１つ以上を実行するように構成されてもよい。作物タイプ毎の作物収量の推定（例えば、作物タイプ毎、郡毎、作物タイプ及び郡毎、作物タイプ及び国毎など）、作物タイプ毎の作物管理手法の決定（例えば、収穫日の推定、いつ肥料を施用するかの決定、施用する肥料のタイプの決定）、菌核病の診断、作物の病害の抑制又は治療、作物タイプ内の異なる品種の識別、作物の属性の判定（例えば、作付けした作物の方向に基づいて）など。
[0070] 図３Ｂは、いくつかの実施形態による、作物タイプ分類データから計算された作物収量の推定値の例を示す。画像３５０は、各作物フィールド／サブフィールドに対する作物収量の推定値でさらに補足された画像３４０と同じ画像を含み得る。図示の通り、トウモロコシの収量はエーカーあたりのブドウ又は大豆の収量よりも大きい。地理的地域（例えば、米国）内のすべての作物フィールド／サブフィールドに対する異なる作物タイプの各々に対して同様の推定値が計算される場合、各作物タイプの総作物生産量が分かる。
[0071] このようにして、所与の地理的地域（例えば、郡、州、国、大陸、惑星）に対して分類された作物タイプを含む作物フィールド／サブフィールド（又は作物境界）の完全なデータベースが自動的に生成される。このデータベースは、サブメートル分解能の粒状であり、かつ最小限の監視で長期にわたって最新に保つことができる。複数の地理的地域について、複数の地理的地域のそれぞれの地理的地域のグラウンドトゥルースデータが存在すると仮定すると、プロセス２００は、複数の地理的地域の各々に対して実行してもよい。
[0072] 図４は、いくつかの実施形態による、画像内の作物境界（及びそれに対応する、作物エリア／フィールド／サブフィールド）を自動的に検出するためにシステム１００によって実施され得る例示的なプロセス４００を示すフロー図である。図４のブロック４１６で検出された作物境界は、図２のブロック２０２のグラウンドトゥルースデータに対して上述した作物境界検出結果を含み得る。いくつかの実施形態では、作物タイプヒートマップを生成する過程で作物タイプモデルによって実行される作物境界検出は、少なくとも図４のブロック４１４及び４１６を含み得る。
[0073] ブロック４０２で、トレーニングロジック１２４は、識別された作物境界及びその中で分類された作物タイプの複数の地表面画像を含むグラウンドトゥルースデータを取得又は受信するように構成されてもよい。グラウンドトゥルースデータを構成する複数の画像は、検出対象の画像に表示され得る異なる地勢及び作物境界を扱うことのできる検出モデルをトレーニング／生成できるようにするため、異なる地勢及び作物境界などを表す画像を含むように選択されてもよい。いくつかの実施形態では、複数の画像は、分類された作物タイプの代わりに作物境界が識別されることを除いて、図２のブロック２０２について上述したものと同様であってもよい。
[0074] いくつかの実施形態では、作物境界検出のためのグラウンドトゥルースデータは、作物境界（又は作物エリア）が識別された既存の画像を含んでいてもよく、作物境界（又は作物エリア）は、低（地上）分解能（例えば、１メートル以上の分解能、３〜２５０メートルの分解能、３０メートルの分解能など）で識別されていてもよい。このような画像は、毎日〜隔週など、高頻度で更新されてもよい。作物境界の識別は低分解能であるため、そのような識別は「ノイズが多い」、概算、又は不正確であるとみなされる場合がある。低分解能で識別された作物境界の既存の画像の例には、ＵＳＤＡ ＣＤＬデータ、ＦＳＡ ＣＬＵデータ、政府が収集したデータ、サンプリング又は調査ベースのデータ、農家のレポートなどが含まれるが、これらに限定されない。識別された作物境界の既存の画像は、サーバ１０４によって取得され、データベース１０６に格納され、及び／又はサーバ１０８に提供され得る。
[0075] いくつかの実施形態では、グラウンドトゥルースデータは、（上記で説明したように）ＣＤＬ及びＣＬＵデータ及び／又は人間がラベル付けしたデータを含み得る。人間がラベル付けしたデータは、デバイス１１２上に設けられたグラフィカルユーザインターフェース（ＧＵＩ）メカニズムを介して、例えばユーザ１１４によって手動で識別、ラベル付け、又は注釈が付けられた画像における作物境界を含み得る。そのような手動の注釈は、ＣＤＬ及び／又はＣＬＵデータと関連付けられている場合よりも高い（地上）分解能である場合がある。手動でラベル付けされた画像は、例えば、デバイス１１６から取得されてもよい。トレーニングロジック１２４は、画像の選択、選択された画像の提示、人間がラベル付けした画像の使用などを容易にすることができる。グラウンドトゥルースデータは、トレーニングデータ、モデル構築データ、モデルトレーニングデータなどとも称され得る。
[0076] いくつかの実施形態では、グラウンドトゥルースデータと関連付けられた期間及び／又は地理的地域（複数可）は、作物境界を検出すべき画像と関連付けられた期間及び／又は地理的地域（複数可）と同じ（又はほぼ同じ）であってもよい（ブロック２１６）。例えば、２００８〜２０１６年の間に撮影された画像がブロック２１６で処理される場合、２００８年のＣＬＵデータを使用することができ、２００８〜２０１６年のＣＤＬデータを使用することができ、人間がラベル付けしたデータは２００８〜２０１６年の間に撮影された画像を含んでいてもよい。ＣＬＵ及びＣＤＬデータは、米国の画像データを含んでいてもよく、人間がラベル付けしたデータもまた、米国の画像データを含んでいてもよい。
[0077] 次に、ブロック４０４で、画像フィルタリングロジック１２０は、グラウンドトゥルースデータを構成する１つ以上の画像の予備フィルタリングを実行するように構成されてもよい。いくつかの実施形態では、予備フィルタリングは、画素毎に画像に収められた雲、影、もや、霧、大気障害物、及び／又は他の地表面障害物を監視することを含み得る。ブロック４０４は、フィルタリングされた画像がブロック４０２のグラウンドトゥルースデータを構成する画像であることを除いて、ブロック２０４と同様であってもよい。
[0078] ブロック４０６で、グラウンドトゥルースデータを取得し、かつ任意選択的に、予備的にフィルタリング又は修正した結果のグラウンドトゥルースデータを、１つ以上の機械学習技術／システムに適用して、作物／非作物モデルを生成又は構築することができる。機械学習技術／システムは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）又は教師あり学習システムを含み得る。作物／非作物モデルは、入力として提供された画像セットと関連付けられた特定の地理的位置に対応する各画素について、作物又は非作物の確率的予測を提供するように構成されてもよい。作物／非作物モデルは、作物境界検出ロジック１３０の一部分を含み得る。グラウンドトゥルースデータは、作物境界が正確に識別された画像で構成されているため、機械学習技術／システムは、画像におけるどの地表の特徴が作物又は非作物を示しているかを学習することができる。そのような知識は、十分に詳細かつ正確である場合、作物境界が不明である可能性のある画像内の作物境界を自動的に識別するために使用することができる。
[0079] いくつかの実施形態では、作物／非作物モデルは特定の地理的地域に関連付けられてもよく、同じ地理的地域はグラウンドトゥルースデータを構成する画像に捕捉される。例えば、作物／非作物モデルは、米国内の特定の郡に特有であってもよい。同様に、作物／非作物モデルは特定の期間と関連付けられてもよく、同じ期間がグラウンドトゥルースデータを構成する画像と関連付けられてもよい。地理的地域が大きくなると、データの不整合又は地域差が生じ、その結果、作物／非作物モデルの精度が低下する可能性がある。
[0080] 次に、トレーニングロジック１２４は、作物／非作物モデルの精度が所定の閾値以上かどうかを判定するように構成されてもよい。所定の閾値は、７０％、８０％、８５％、９０％などであってもよい。モデルの精度が所定の閾値未満である場合（ブロック４０８の分岐なし）、プロセス４００はブロック４０２に戻り、追加のグラウンドトゥルースデータを取得／受信して、機械学習技術／システムに適用し、現在の作物／非作物モデルを精緻化する。機械学習技術／システムにグラウンドトゥルースデータを追加することは、教師あり学習データを追加することを含み、それによって作物／非作物モデルを、画素が作物を表す（又は作物フィールド内にある）か否か（又は作物フィールド内にない）を予測するようにより適切に構成することができる。ブロック４０２〜４０８は、十分に正確な作物／非作物モデルが構築されるまで１回以上反復することができる。
[0081] モデルの精度が所定の閾値以上である場合（ブロック４０８でｙｅｓ分岐）、作物／非作物モデルは、作物境界（又は作物フィールド）が不明である画像に対する教師なし又は自動の作物／非作物検出における使用に容認可能とみなすことができる。ブロック４１０で、自動検出のための作物／非作物モデルに適用される複数の画像を取得又は受信することができる。複数の画像セットを取得することができ、複数の画像セットの各画像セットは、ブロック４０２の画像と同じ（又はほぼ同じ）地理的位置及び期間と関連付けられている。作物境界検出結果がブロック２０２でグラウンドトゥルースデータとして使用される場合、ブロック４１０で取得された画像、ブロック４０２の画像、及びブロック２０２の画像はすべて、同じ（又はほぼ同じ）地理的位置及び期間と関連付けられてもよい。複数の画像は、デバイス１１６によって捕捉された画像、Ｌａｎｄｓａｔ７からの画像、Ｌａｎｄｓａｔ８からの画像、Ｇｏｏｇｌｅ Ｅａｒｔｈの画像、１つ以上の異なる分解能の画像、及び／又は１つ以上の異なる頻度で取得された画像であってもよい。
[0082] 次に、ブロック４１０の画像は、ブロック４１２で、画像フィルタリングロジック１２０によって予備的にフィルタリングされてもよい。いくつかの実施形態では、ブロック４１２は、処理された画像がブロック４０２の画像ではなくブロック４１０の画像であることを除いて、ブロック４０４と同様であってもよい。他の実施形態では、雲及び他の障害物が画像内に存在しないように確実に画像が取得された（又は必要に応じて再取得された）場合、ブロック４１２は任意選択的であってもよい。
[0083] 次にブロック４１４で、作物境界検出ロジック１３０は、ブロック４１０で得られた複数の画像セットの各（フィルタリングされた）画像セットに対する作物／非作物ヒートマップを判定するように構成されてもよい。複数の画像セットの各画像セットについて、画像セットは、ブロック４０６で生成された作物／非作物モデルへの入力として提供されてもよく、それに応答して、作物／非作物モデルは、画素毎に作物が示されているどうかを予測／判定することができる。言い換えれば、それぞれの画像セットと関連付けられた地理的地域の特定の部分内の特定の位置での作物（又は非作物）の存在を予測する。ヒートマップの各画素は、作物又は非作物の相対確率又は絶対確率を示していてもよい。いくつかの実施形態では、ヒートマップによって提供される作物／非作物の確率的予測は、元の画像上にオーバーレイされた特定の色、パターン、シェーディング、トーン、又は他の指標の使用によって示されてもよい。例えば、作物ゼロの確率は指標がないことで示してもよく、作物の最も高い確率は最も暗い又は最も明るい色合いの赤で示してもよく、その中間の確率は、表示なしと最も暗い／最も明るい赤色との間で色、明暗、トーン、パターンを適切に変化させてもよい。
[0084] ブロック４１６で、作物境界検出ロジック１３０は、ブロック４１０の複数の画像セットの各画像セットに対して、作物／非作物ヒートマップに基づいて作物境界を判定するように構成されてもよい。作物／非作物ヒートマップの使用に加えて、作物境界位置の判定は、予備知識情報、ノイズ除去技術の適用、クラスタリング及び領域拡張技術の適用などに応じたものであってもよい。
[0085] いくつかの実施形態では、作物境界検出ロジック１３０は、作物境界を判定する際に予備知識情報を使用するように構成されてもよい。予備知識情報には、道路、水路、森林、建物、駐車場、フェンス、壁、及び他の物理的構造の既知の位置、画像セットと関連付けられた地理的位置に隣接する特定の農業／栽培手法から生じる特定の境界形状などの農業又は栽培手法に関する既知の情報（例えば、既知の回転散水の使用の場合における直線境界又は円形境界）、作物タイプなどを含み得るが、これらに限定されない。ノイズ除去又はフィルタリング技術を実施して、作物境界を判定し、及び／又は作物境界を精緻化することができる。適用可能なノイズ除去又はフィルタリング技術は、事前に判定された作物境界を平滑化する技術（例えば、物理的なバリアがない場合、境界は線形になるか、又は幾何学的形状に従う傾向があるため）を含み得るが、これに限定されない。同様に、クラスタリング及び領域拡張の技術を使用して、作物境界を判定又は調整することができる。教師なしクラスタリング及び領域拡張の手法を使用して、少数の画素が周囲のより大多数の画素から逸脱している地域で、浮遊画素を非作物から作物に、又はその逆に再分類することができる。例えば、作物として分類されているより大きな地域内で、少数の画素が非作物として分類されている場合、それらの少数の画素は作物として再分類される。
[0086] 作物境界は、サブメートル（地上）分解能、約０．１５〜０．２メートルの分解能、０．５メートル未満の分解能、約０．２メートル未満の分解能などで判定又は識別できる。作物境界は、近い形状のエリアを定義してもよい。作物境界は、作物フィールド境界、又は、画像セット及び／又は予備知識情報に十分な情報が存在する場合、作物サブフィールド境界を含み得る。作物フィールド境界は、フェンス、恒久的な水路、森林、道路などによって線引きされた物理的エリアを含み得る作物フィールドを定義することができる。作物サブフィールドは、作物フィールドのサブセットを含んでいてもよく、作物フィールドの物理的エリアの一部分には、作物フィールドの物理的エリアの別の一部分における主要な作物タイプとは異なる特定の作物タイプが主として含まれる。物理的エリアの異なる作物タイプの部分の各々は、作物サブフィールドとみなすことができる。したがって、作物フィールドは、１つ以上の作物サブフィールドを含み得る。例えば、作物フィールドは、トウモロコシの第１の作物サブフィールド及び大豆の第２の作物サブフィールドを含み得る。
[0087] いくつかの実施形態では、作物／非作物ヒートマップは、作物エリアの尤度を示すことができる一方で、作物境界検出ロジック１３０は、作物／非作物ヒートマップにおいて作物を描写している可能性があると示された画素のいずれが作物フィールド（複数可）又は作物サブフィールド（複数可）を構成しているかについて、最終判定するように構成してもよい。作物フィールド又はサブフィールドの周囲は、関連付けられた作物フィールド又はサブフィールド境界を定義する。
[0088] このようにして、作物サブフィールドレベルに対する作物境界が自動的に検出され得る。そのような作物境界検出結果は、ブロック２０２でグラウンドトゥルースデータとして使用されてもよい。本明細書で説明する作物境界検出技術（又はその一部分）は、いくつかの実施形態では、ブロック２０６で生成された作物タイプモデルに含めることができる。
[0089] 図５は、いくつかの実施形態による、既存の作物タイプ分類モデルを使用し、かつ必要に応じて作物タイプ分類モデルを修正して作物タイプ分類を実行するシステム１００によって実施され得る例示的なプロセス５００を示すフロー図である。いくつかの実施形態では、ブロック５０２、５０４、５０６、５０８は、作物タイプ分類が実行された画像セットは、ブロック５０６で使用された作物タイプモデルと関連付けられた地理的地域及び／又は期間とは異なる地理的地域及び／又は期間と関連付けられ得ることを除いて、図２のそれぞれのブロック２１０、２１２、２１４、２１６と同様であってもよい。
[0090] 上記の例を続けると、ブロック５０６で使用された作物タイプモデルは、２００８〜２０１６年の間に撮影された米国の画像に基づいて生成されたものである一方、ブロック５０２の画像セットは、２０００〜２００７年の間に撮影された米国の画像であってもよい。別の例として、ブロック５０２の画像セットは、米国以外の地理的地域（例えば、外国、中国、メキシコ、カナダ、アフリカ、東ヨーロッパなど）の画像であってもよい。さらに別の例として、ブロック５０２の画像セットは、２００８〜２０１６年以外の年の間に撮影された特定の地理的地域の画像であってもよい。作物タイプモデルは、処理される画像に合わせて正確に調整されていなくても、そのようなモデルはすでに存在するため、開始点として使用することができる。米国以外の国については、作物タイプモデルを容易に生成するための、公的に利用可能なグラウンドトゥルースデータが存在しないか、不十分である。
[0091] いくつかの実施形態では、ブロック５１０〜５１２は、ブロック５０２〜５０８と同時に、その前に、又はその後に実行されてもよい。ブロック５１０、５１２は、図２のそれぞれのブロック２０２、２０４と同様であってもよい。ブロック５１０で取得されたグラウンドトゥルースデータは、ブロック５０２の画像セットと同じ（又はほぼ同じ）地理的地域及び／又は期間と関連付けられてもよい。いくつかの実施形態では、ブロック５１０のグラウンドトゥルースデータの量は、ブロック２０２のグラウンドトゥルースデータの量とは異なっていてもよい。米国外の国又は以前の年について政府／公的に利用可能な作物データがほとんど又はまったく存在しない可能性があるため、より少ない量のグラウンドトゥルースデータが利用可能である場合がある。
[0092] ブロック５１４で、トレーニングロジック１２４は、ブロック５１０、５１２で提供された（フィルタリングされた）グラウンドトゥルースデータにおいて識別された作物タイプと比較することにより、ブロック５０８で既存の作物タイプモデルを使用して予測された作物タイプの少なくともサブセットの精度を評価するように構成されてもよい。いくつかの実施形態では、識別された作物タイプデータの２つのセット内の同じ（又はほぼ同じ）地理的地域に対して分類された作物タイプを互いに比較することができる。
[0093] 予測された作物タイプの精度が閾値以上である場合（ブロック５１４のｙｅｓ分岐）、プロセス５００はブロック５１６〜５２２に進むことができる。閾値は、７５％、８０％、８５％、９０％などの事前設定された閾値を含み得る。既存の作物タイプモデルは、ブロック５０２の対象の画像と関連付けられた特定の地理的地域及び期間に好適である（又は十分に正確である）とみなすことができる。いくつかの実施形態では、ブロック５１６、５１８、５２０、５２２、５２４は、対象の作物タイプ分類がブロック５０８で判定されたものであることを除いて、図２のそれぞれのブロック２１８、２２０、２２２、２２４、２２６と同様であってもよい。ブロック５１８において、作物タイプ分類が更新される場合（ブロック５１８のｙｅｓ分岐）、プロセス５００はブロック５０２に戻ることができる。作物タイプ分類の更新について、モデルの好適性／精度が最初に一旦確認されたら、ブロック５１０、５１２、及び５１４を繰り返す必要はない。
[0094] 予測された作物境界の精度が閾値未満である場合（ブロック５１４の分岐なし）、プロセス５００はブロック５２４に進むことができる。ブロック５０２で取得された画像と同じ（又はほぼ同じ）地理的地域及び期間と関連付けられた新しい作物タイプモデルを生成することができる。新しい作物タイプモデルは、既存の作物タイプモデルの修正、又は対象の画像と一致する地理的地域及び期間に対応するデータのみでトレーニング済みのモデルを含み得る。ブロック５２４で、トレーニングロジック１２４は、１つ以上の機械学習技術／システムに適用されたブロック５１２の（フィルタリングされた）グラウンドトゥルースデータに基づいて新しい作物タイプモデルを生成するように構成されてもよい。ブロック５２４は、図２のブロック２０６と同様であってもよい。
[0095] 次に、ブロック５２６で、新しい作物／非作物モデルの精度を評価することができる。精度が閾値未満である場合（ブロック５２６の分岐なし）、ブロック５２８で追加のグラウンドトゥルースデータを取得又は受信することができ、ブロック５２４に戻ることにより、新しい作物タイプモデルのトレーニング／精緻化／構築を継続することができる。精度が閾値以上である場合（ブロック５２６のｙｅｓ分岐）、プロセス５００はブロック５０６に進み、ブロック５０４からの（フィルタリングされた）画像セットと共に新しい作物タイプモデルを使用して、（フィルタリングされた）画像セットと関連付けられた作物タイプヒートマップを生成することができる。既存の作物タイプモデルの不十分な精度のために新しい作物タイプモデルが生成された場合、ブロック５１０、５１２、５１４を繰り返す必要がない場合がある。
[0096] このようにして、米国外の国に位置する作物フィールド／サブフィールドに対する作物タイプ分類、及び／又は近年以外の期間に対する作物タイプ分類も、安価に、正確に、及び自動的に判定することができる。現在と過去（空中画像データが利用可能な範囲）の惑星全体の作物フィールド／サブフィールドは、作物タイプによって分類することができる。空中画像の可用性に応じて２０〜４０年前に遡る可能性がある歴史的な空中画像を作物タイプモデルに適用して、それらの画像における作物タイプを遡及的に分類してもよい。歴史的な画像を遡及的に分類する機能は、様々な傾向（例えば、耕作地の使用、収穫量など）の判定を容易にし得る。
[0097] 図６は、いくつかの実施形態による、本開示のシステム１００において実装し得る例示的なデバイスを示す。図６のデバイスは、サーバ１０４、データベース１０６、サーバ１０８、データベース１１０、デバイス１１２、及び／又はデバイス１１６のいずれかの少なくとも一部分を含み得る。図示のプラットフォーム６００は、情報を通信するためのバス又は他の内部通信手段６１５と、情報を処理するためにバス６１５に結合されたプロセッサ６１０とを備える。プラットフォームは、プロセッサ６１０によって実行される情報及び命令を格納するために、バス６１５に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の揮発性記憶デバイス６５０（本明細書では代替的にメインメモリとも称される）をさらに備える。メインメモリ６５０はまた、プロセッサ６１０による命令の実行中に一時変数又は他の中間情報を格納するために使用されてもよい。プラットフォーム６００はまた、プロセッサ６１０のための静的情報及び命令を格納するためにバス６１５に結合された読み取り専用メモリ（ＲＯＭ）及び／又は静的記憶デバイス６２０と、磁気ディスク、光ディスク、及びその対応するディスクドライブ、又はポータブル記憶デバイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ、セキュアデジタル（ＳＤ）カードなどのデータ記憶デバイス６２５とを備える。データ記憶デバイス６２５は、情報及び命令を格納するためにバス６１５に結合される。
[0098] プラットフォーム６００はさらに、コンピュータユーザに情報を表示するためにバス６６５を経由してバス６１５に結合された陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）などの表示デバイス６７０に結合されてもよい。プラットフォーム６００が、コンピューティング能力、及び作成され、かつインストールされた表示デバイスへの接続性を提供する実施形態では、表示デバイス６７０は、上述のように作物フィールド／サブフィールド情報がオーバーレイされた画像を表示することができる。英数字及び他のキーを含む英数字入力デバイス６７５は、プロセッサ６１０に情報及びコマンド選択を通信するために、バス６６５を経由して（例えば、赤外線（ＩＲ）又は無線周波数（ＲＦ）信号を介して）バス６１５に結合されてもよい。追加のユーザ入力デバイスは、方向情報とコマンド選択をプロセッサ６１０に通知するために、かつ表示デバイス６７０上のカーソルの動きを制御するために、バス６６５を経由してバス６１５に結合された、マウス、トラックボール、スタイラス、又はカーソル方向キーなどのカーソル制御デバイス６８０である。タッチスクリーンインターフェースを利用する実施形態では、ディスプレイ６７０、入力デバイス６７５、及びカーソル制御デバイス６８０はすべて、タッチスクリーンユニットに統合され得ることが理解される。
[0099] 任意選択的にプラットフォーム６００に結合することができる別の構成要素は、ネットワークを介して分散システムの他のノードにアクセスするための通信デバイス６９０である。通信デバイス６９０は、イーサネット、トークンリング、インターネット、又は広域ネットワークに結合するために使用されるものなど、市販のネットワーキング周辺デバイスのいずれかを含み得る。通信デバイス６９０はさらに、ヌルモデム接続、又はプラットフォーム６００と外界との間の接続性を提供する任意の他のメカニズムであってもよい。図６に示す本システムの構成要素のいずれか又はすべて、及び関連付けられたハードウェアが、本開示の様々な実施形態で使用され得ることに留意されたい。
[0100] 上記で説明したプロセスは、コンピュータソフトウェア及びハードウェアの観点から説明されている。説明された技法は、機械によって実行されると、説明された動作を機械に実行させる、有形の又は非一時的な機械（例えば、コンピュータ）可読記憶媒体内で具現化される機械実行可能命令を構成し得る。さらに、プロセスは、特定用途向け集積回路（「ＡＳＩＣ」：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア内で具現化され得る。
[0101] 有形の機械可読記憶媒体は、機械（例えば、コンピュータ、ネットワークデバイス、電子手帳、製造ツール、１つ以上のプロセッサのセットを備える任意のデバイスなど）によってアクセス可能な非一時的形態で情報を提供（例えば、記憶）する任意の機構を含む。例えば、機械可読記憶媒体は、記録可能／記録不可能な媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。
[0102] 要約中に記載されているものを含む、本発明の図示された実施形態の上記の記載は、網羅的であること、又は本発明を開示された正確な形態に限定することを意図していない。本発明の特定の実施形態、及びそのための実施例は、例示的目的のために本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。
[0103] これらの修正は、上記の詳細な説明に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本発明を明細書に開示された特定の実施形態に限定するものと解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定されるべきであり、それらは、特許請求項解釈の確立された原則に従って解釈されるべきである。

Claims (22)

  1. 地理的地域及び期間と関連付けられた複数の画像セットを取得することであって、前記複数の画像セットの各画像セットは、前記期間中の前記地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含む、取得することと、
    前記複数の画像セットのうちのある画像セットと関連付けられた前記地理的地域の前記特定の部分内の特定の位置の各々で生育する１つ以上の作物タイプを予測することと、
    前記それぞれの特定の位置に対して前記予測された１つ以上の作物タイプに基づいて、前記特定の位置の各々に対する作物タイプ分類を判定することと、
    前記それぞれの特定の位置に対して判定された前記作物タイプ分類の表示がオーバーレイされた前記画像セットのうちの前記多スペクトル及び時系列の画像の少なくとも１つの画像を含む作物表示画像を生成することと、を含む方法。
  2. 前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測することは、
    前記特定の位置における作物の存在を予測することと、
    前記特定の位置における前記作物の前記予測された存在に基づいて、前記地理的地域の前記特定の部分内の作物境界位置を判定することと、
    前記判定された作物境界位置の各々内で生育する前記１つ以上の作物タイプを予測することと、を含む、請求項１に記載の方法。
  3. 前記特定の位置の各々に対する前記作物タイプ分類を判定することは、前記特定の位置の各々に対して、前記それぞれの特定の位置に対して予測された前記作物タイプから、優位な多数であると予測された作物タイプを選択することを含み、前記優位な多数であると予測された作物タイプは、前記作物タイプ分類である、請求項１に記載の方法。
  4. 前記特定の位置の各々に対する前記作物タイプ分類を判定することは、
    前記特定の位置の各々に対して、前記優位な多数であると予測された作物タイプが存在しない場合、前記それぞれの特定の位置を複数のサブ特定の位置に分割し、かつ前記複数のサブ特定の位置の前記それぞれのサブ特定の位置の各々を、前記特定の位置に対して予測された前記作物タイプのそれぞれの作物タイプとして分類することを含む、請求項３に記載の方法。
  5. 前記それぞれの特定の位置に対して判定された前記作物タイプ分類に基づいて、前記特定の位置の各々に対して作物収量を推定することをさらに含む、請求項１に記載の方法。
  6. 前記それぞれの特定の位置に対して判定された前記作物タイプ分類に基づいて、前記特定の位置の各々に対して作物管理手法を決定することをさらに含む、請求項１に記載の方法。
  7. 前記特定の位置の各々に対して前記作物タイプ分類を判定することは、前記特定の位置の各々に対して、サブメートル地上分解能で前記作物タイプ分類を判定することを含む、請求項１に記載の方法。
  8. 前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測することは、前記画像セットを１つ以上の機械学習システム又は畳み込みニューラルネットワーク（ＣＮＮ）に適用することを含む、請求項１に記載の方法。
  9. 前記１つ以上の機械学習システム又はＣＮＮは、グラウンドトゥルースデータにおける教師あり学習の後に、前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測するように構成されている、請求項８に記載の方法。
  10. 前記グラウンドトゥルースデータは、政府の作物データ、公的に入手可能な作物データ、低地上分解能で識別された作物エリアを伴う画像、低地上分解能で識別された作物タイプを伴う画像、手動で識別された作物境界を伴う画像、手動で識別された作物境界及び作物タイプを伴う画像、作物調査データ、サンプリングされた作物データ、並びに農家のレポートのうちの１つ以上を含む、請求項９に記載の方法。
  11. 前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測することは、前記特定の位置の各々に対して、前記それぞれの特定の位置と関連付けられた画素の経時変化について前記時系列の画像を分析することを含み、前記画素の特定の変化パターンは、少なくとも１つの作物タイプと関連付けられている、請求項１に記載の方法。
  12. ユーザによってアクセス可能なデバイスに前記作物表示画像を表示させることと、
    前記ユーザから、前記それぞれの特定の位置に対して判定された前記作物タイプ分類の表示からの特定の表示の修正を受信することであって、前記修正は、前記特定の表示と関連付けられた前記特定の位置に対する前記作物タイプの手動の再分類を含む、受信することと、を含む、請求項１に記載の方法。
  13. １つ以上のコンピュータ可読記憶媒体であって、装置の１つ以上のプロセッサによる実行に応答して、前記装置に
    地理的地域及び期間と関連付けられた複数の画像セットを取得することであって、前記複数の画像セットの各画像セットは、前記期間中の前記地理的地域のそれぞれの特定の部分を描写する多スペクトル及び時系列の画像を含む、取得することと、
    前記複数の画像セットのうちのある画像セットと関連付けられた前記地理的地域の前記特定の部分内の特定の位置の各々で生育する１つ以上の作物タイプを予測することと、
    前記それぞれの特定の位置に対して前記予測された１つ以上の作物タイプに基づいて、前記特定の位置の各々に対する作物タイプ分類を判定することと、
    前記それぞれの特定の位置に対して判定された前記作物タイプ分類の表示がオーバーレイされた前記画像セットのうちの前記多スペクトル及び時系列の画像の少なくとも１つの画像を含む作物表示画像を生成することと、を実行させる複数の命令を備える、コンピュータ可読記憶媒体。
  14. 前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測することは、
    前記特定の位置における作物の存在を予測することと、
    前記特定の位置における前記作物の前記予測された存在に基づいて、前記地理的地域の前記特定の部分内の作物境界位置を判定することと、
    前記判定された作物境界位置の各々の内で生育する前記１つ以上の作物タイプを予測することと、を含む、請求項１３に記載のコンピュータ可読記憶媒体。
  15. 前記特定の位置の各々に対する前記作物タイプ分類を判定することは、前記特定の位置の各々に対して、前記それぞれの特定の位置に対して予測された前記作物タイプから、優位な多数であると予測された作物タイプを選択することを含み、前記優位な多数であると予測された作物タイプは、前記作物タイプ分類である、請求項１３に記載のコンピュータ可読記憶媒体。
  16. 前記特定の位置の各々に対する前記作物タイプ分類を判定することは、
    前記特定の位置の各々に対して、前記優位な多数であると予測された作物タイプが存在しない場合、前記それぞれの特定の位置を複数のサブ特定の位置に分割し、かつ前記複数のサブ特定の位置の前記それぞれのサブ特定の位置の各々を、前記特定の位置に対して予測された前記作物タイプのそれぞれの作物タイプとして分類することを含む、請求項１３に記載のコンピュータ可読記憶媒体。
  17. 前記特定の位置の各々に対して前記作物タイプ分類を判定することは、前記特定の位置の各々に対して、サブメートル地上分解能で前記作物タイプ分類を判定することを含む、請求項１３に記載のコンピュータ可読記憶媒体。
  18. 前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測することは、前記画像セットを１つ以上の機械学習システム又は畳み込みニューラルネットワーク（ＣＮＮ）に適用することを含む、請求項１３に記載のコンピュータ可読記憶媒体。
  19. 前記１つ以上の機械学習システム又はＣＮＮは、グラウンドトゥルースデータにおける教師あり学習の後に、前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測するように構成されている、請求項１８に記載のコンピュータ可読記憶媒体。
  20. 前記グラウンドトゥルースデータは、政府の作物データ、公的に入手可能な作物データ、低地上分解能で識別された作物エリアを伴う画像、低地上分解能で識別された作物タイプを伴う画像、手動で識別された作物境界を伴う画像、手動で識別された作物境界及び作物タイプを伴う画像、作物調査データ、サンプリングされた作物データ、並びに農家のレポートのうちの１つ以上を含む、請求項１９に記載のコンピュータ可読記憶媒体。
  21. 前記画像セットのうちの第１の画像の第１の分解能は、前記画像セットのうちの第２の画像の第２の分解能とは異なり、前記第１の分解能は、前記作物表示画像の第３の分解能よりも低く、前記グラウンドトゥルースデータの少なくとも一部分の第４の分解能は、前記作物表示画像の前記第３の分解能よりも低い、請求項１９に記載のコンピュータ可読記憶媒体。
  22. 前記特定の位置の各々で生育する前記１つ以上の作物タイプを予測することは、前記特定の位置の各々に対して、前記それぞれの特定の位置と関連付けられた画素の経時変化について前記時系列の画像を分析することを含み、前記画素の特定の変化パターンは、少なくとも１つの作物タイプと関連付けられている、請求項１３に記載のコンピュータ可読記憶媒体。
JP2020539853A 2018-01-23 2019-01-15 画像における作物タイプ分類 Active JP7034304B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022030570A JP7345583B2 (ja) 2018-01-23 2022-03-01 画像における作物タイプ分類

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862620939P 2018-01-23 2018-01-23
US62/620,939 2018-01-23
US16/218,305 2018-12-12
US16/218,305 US10909368B2 (en) 2018-01-23 2018-12-12 Crop type classification in images
PCT/US2019/013704 WO2019147439A1 (en) 2018-01-23 2019-01-15 Crop type classification in images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022030570A Division JP7345583B2 (ja) 2018-01-23 2022-03-01 画像における作物タイプ分類

Publications (2)

Publication Number Publication Date
JP2021510880A true JP2021510880A (ja) 2021-04-30
JP7034304B2 JP7034304B2 (ja) 2022-03-11

Family

ID=67298690

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020539853A Active JP7034304B2 (ja) 2018-01-23 2019-01-15 画像における作物タイプ分類
JP2022030570A Active JP7345583B2 (ja) 2018-01-23 2022-03-01 画像における作物タイプ分類

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022030570A Active JP7345583B2 (ja) 2018-01-23 2022-03-01 画像における作物タイプ分類

Country Status (7)

Country Link
US (2) US10909368B2 (ja)
EP (1) EP3743876A4 (ja)
JP (2) JP7034304B2 (ja)
CN (2) CN115731414A (ja)
BR (1) BR112020014942A2 (ja)
CA (1) CA3088641C (ja)
WO (1) WO2019147439A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390740B1 (ko) * 2021-07-07 2022-04-26 주식회사 에이오팜 불량 농산물 분류 모델 학습 방법, 장치 및 이를 이용한 불량 농산물 분류 장치
KR102687300B1 (ko) * 2023-09-12 2024-07-19 서울대학교 산학협력단 이미지 분할 모델의 앙상블을 사용한 작물 유형 매핑 방법 및 시스템

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445877B2 (en) 2016-12-30 2019-10-15 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10664702B2 (en) 2016-12-30 2020-05-26 International Business Machines Corporation Method and system for crop recognition and boundary delineation
US10586105B2 (en) * 2016-12-30 2020-03-10 International Business Machines Corporation Method and system for crop type identification using satellite observation and weather data
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11263707B2 (en) 2017-08-08 2022-03-01 Indigo Ag, Inc. Machine learning in agricultural planting, growing, and harvesting contexts
US10909368B2 (en) * 2018-01-23 2021-02-02 X Development Llc Crop type classification in images
US10621434B2 (en) * 2018-01-25 2020-04-14 International Business Machines Corporation Identification and localization of anomalous crop health patterns
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11138677B2 (en) 2018-04-24 2021-10-05 Indigo Ag, Inc. Machine learning in an online agricultural system
US11367093B2 (en) 2018-04-24 2022-06-21 Indigo Ag, Inc. Satellite-based agricultural modeling
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11195030B2 (en) * 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US11034357B2 (en) 2018-09-14 2021-06-15 Honda Motor Co., Ltd. Scene classification prediction
US11818982B2 (en) 2018-09-18 2023-11-21 Deere & Company Grain quality control system and method
US11197417B2 (en) * 2018-09-18 2021-12-14 Deere & Company Grain quality control system and method
US11205093B2 (en) 2018-10-11 2021-12-21 Tesla, Inc. Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US12069978B2 (en) * 2018-10-26 2024-08-27 Deere & Company Predictive environmental characteristic map generation and control system
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US11234366B2 (en) * 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
TWI760782B (zh) * 2019-07-08 2022-04-11 國立臺灣大學 用於地理區域上果園辨識之系統及方法
US11238283B2 (en) * 2019-10-04 2022-02-01 The Climate Corporation Hybrid vision system for crop land navigation
US11157811B2 (en) * 2019-10-28 2021-10-26 International Business Machines Corporation Stub image generation for neural network training
US12035648B2 (en) 2020-02-06 2024-07-16 Deere & Company Predictive weed map generation and control system
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
CN111539350A (zh) * 2020-04-27 2020-08-14 无锡雪浪数制科技有限公司 一种农作物病虫害智能识别的方法
US11500876B2 (en) 2020-04-29 2022-11-15 International Business Machines Corporation Method for duplicate determination in a graph
US11941056B2 (en) 2020-04-29 2024-03-26 International Business Machines Corporation Method for weighting a graph
US11748984B2 (en) * 2020-05-05 2023-09-05 Planttagg, Inc. System and method for horticulture viability prediction and display
US11393194B2 (en) * 2020-08-11 2022-07-19 International Business Machines Corporation Selective analysis for field boundary detection
WO2022035829A1 (en) * 2020-08-14 2022-02-17 X Development Llc Processing satellite images using brain emulation neural networks
US11763557B1 (en) * 2020-09-22 2023-09-19 Sentera, Inc. Permanent crop and permanent cropland analysis using aerial vehicles
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11983009B2 (en) 2020-10-09 2024-05-14 Deere & Company Map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11849671B2 (en) 2020-10-09 2023-12-26 Deere & Company Crop state map generation and control system
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US12013245B2 (en) 2020-10-09 2024-06-18 Deere & Company Predictive map generation and control system
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11871697B2 (en) 2020-10-09 2024-01-16 Deere & Company Crop moisture map generation and control system
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US12069986B2 (en) 2020-10-09 2024-08-27 Deere & Company Map generation and control system
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
CN112287186B (zh) * 2020-12-24 2021-03-26 北京数字政通科技股份有限公司 一种用于城市管理的智能分类方法及其系统
US20230018041A1 (en) * 2021-02-09 2023-01-19 Nutech Ventures Optical analysis paired plot automated fertigation systems, methods and datastructures
WO2022200547A1 (en) * 2021-03-26 2022-09-29 Basf Agro Trademarks Gmbh Computer-implemented method for generating the validity for agricultural purposes of an image
CN113159044A (zh) * 2021-04-01 2021-07-23 中国公路工程咨询集团有限公司 一种基于深度学习的卷积神经网络的道路材质识别方法
US12112546B2 (en) * 2021-04-30 2024-10-08 Deere & Company Vision guidance system using dynamic edge detection
US11941880B2 (en) * 2021-06-02 2024-03-26 Ping An Technology (Shenzhen) Co., Ltd. System and method for image-based crop identification
US11531656B1 (en) 2021-06-08 2022-12-20 International Business Machines Corporation Duplicate determination in a graph
US20220406055A1 (en) * 2021-06-16 2022-12-22 Ipq Pty Ltd Systems and methods for calculating water resources using aerial imaging of crop lands
JP2024527301A (ja) * 2021-06-29 2024-07-24 ビーエーエスエフ アグロ トレードマークス ゲーエムベーハー 生育不良マップの生成方法及びシステム
CN113435649B (zh) * 2021-06-29 2022-09-16 布瑞克农业大数据科技集团有限公司 一种全域农业数据整理方法、系统、装置及介质
CN113591611B (zh) * 2021-07-13 2023-08-22 青海省气象科学研究所 一种基于地理分区的土壤干旱遥感监测方法
US20230046882A1 (en) * 2021-08-11 2023-02-16 Deere & Company Obtaining and augmenting agricultural data and generating an augmented display
WO2023034118A1 (en) 2021-08-30 2023-03-09 Indigo Ag, Inc. Systems for management of location-aware market data
CA3230474A1 (en) 2021-08-31 2023-03-09 Eleanor Elizabeth Campbell Systems and methods for ecosystem credit recommendations
CN115909374B (zh) * 2021-09-30 2024-06-18 腾讯科技（深圳）有限公司 一种信息识别方法、装置、设备及存储介质、程序产品
WO2023095041A1 (en) * 2021-11-24 2023-06-01 Upl Limited Method and system for automatically identifying crop infestation
EP4246462A1 (en) * 2022-03-15 2023-09-20 Tata Consultancy Services Limited Method and system for detection of field boundaries using coarse resolution satellite data and gis
US12058951B2 (en) 2022-04-08 2024-08-13 Deere & Company Predictive nutrient map and control
WO2024002863A1 (en) * 2022-07-01 2024-01-04 Basf Se Satellite imaging data for enhanced production of plant propagation material
US11663753B1 (en) * 2022-11-16 2023-05-30 Eos Data Analytics, Inc. Generation of field productivity maps

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2014102542A (ja) * 2012-11-16 2014-06-05 Fujitsu Ltd 差分検出プログラム及び差分検出方法並びに差分検出装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1382370A (zh) * 2001-04-25 2002-12-04 周宗岳 提前预测作物花期的方法
US7916898B2 (en) 2003-09-15 2011-03-29 Deere & Company Method and system for identifying an edge of a crop
US20070036467A1 (en) 2004-07-26 2007-02-15 Coleman Christopher R System and method for creating a high resolution material image
US20060287896A1 (en) 2005-06-16 2006-12-21 Deere & Company, A Delaware Corporation Method for providing crop insurance for a crop associated with a defined attribute
JP2008148565A (ja) * 2006-12-14 2008-07-03 Hitachi Software Eng Co Ltd 圃場管理システムおよびプログラム
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
US9152938B2 (en) 2008-08-11 2015-10-06 Farmlink Llc Agricultural machine and operator performance information systems and related methods
US9084389B2 (en) 2009-12-17 2015-07-21 Mapshots, Inc Multiple field boundary data sets in an automated crop recordkeeping system
WO2012124066A1 (ja) * 2011-03-15 2012-09-20 富士通株式会社 携帯装置、作業支援プログラム、情報提供方法および情報提供プログラム
CN102194127B (zh) * 2011-05-13 2012-11-28 中国科学院遥感应用研究所 一种多频率sar数据农作物遥感分类方法
US8310361B1 (en) * 2011-06-13 2012-11-13 Google Inc. Creating and monitoring alerts for a geographical area
US9292797B2 (en) 2012-12-14 2016-03-22 International Business Machines Corporation Semi-supervised data integration model for named entity classification
US9147132B2 (en) 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
WO2015051339A1 (en) 2013-10-03 2015-04-09 Farmers Business Network, Llc Crop model and prediction analytics
US9489576B2 (en) * 2014-03-26 2016-11-08 F12 Solutions, LLC. Crop stand analysis
US9858502B2 (en) 2014-03-31 2018-01-02 Los Alamos National Security, Llc Classification of multispectral or hyperspectral satellite imagery using clustering of sparse approximations on sparse representations in learned dictionaries obtained using efficient convolutional sparse coding
US9946931B2 (en) * 2015-04-20 2018-04-17 Los Alamos National Security, Llc Change detection and change monitoring of natural and man-made features in multispectral and hyperspectral satellite imagery
CN105005782A (zh) * 2014-04-24 2015-10-28 中国科学院遥感与数字地球研究所 一种基于多时相遥感数据及光谱数据的全球精细植被分类方法
WO2016035149A1 (ja) * 2014-09-02 2016-03-10 富士通株式会社 収穫量記録方法、収穫量記録プログラムおよび収穫量記録装置
US20170161560A1 (en) 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
US9813512B2 (en) * 2015-04-20 2017-11-07 Agverdict, Inc. Systems and methods for efficiently generating a geospatial data map for use in agricultural operations
US20180082223A1 (en) * 2015-05-25 2018-03-22 Agromentum Ltd. Closed Loop Integrated Pest Management
CN104952070B (zh) * 2015-06-05 2018-04-13 中北大学 一种类矩形引导的玉米田遥感图像分割方法
CN104951754A (zh) * 2015-06-08 2015-09-30 中国科学院遥感与数字地球研究所 基于面向对象技术与ndvi时间序列相结合的农作物精细分类方法
US10025983B2 (en) * 2015-09-21 2018-07-17 The Climate Corporation Ponding water detection on satellite imagery
JP6973375B2 (ja) * 2016-03-24 2021-11-24 日本電気株式会社 制御装置、制御方法、及び、制御プログラム
US20180330435A1 (en) * 2017-05-11 2018-11-15 Harvesting Inc. Method for monitoring and supporting agricultural entities
CN107358214A (zh) * 2017-07-20 2017-11-17 中国人民解放军国防科学技术大学 基于卷积神经网络的极化sar地物分类方法
US10909368B2 (en) * 2018-01-23 2021-02-02 X Development Llc Crop type classification in images
US11715277B2 (en) * 2020-06-23 2023-08-01 Tusimple, Inc. Perception system for autonomous vehicles
US20220044146A1 (en) * 2020-08-04 2022-02-10 Bentley Systems, Incorporated Techniques for extracting machine-readable information from p&ids

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006612A (ja) * 2001-06-20 2003-01-10 Ntt Data Corp 収穫予測装置及び方法
JP2014102542A (ja) * 2012-11-16 2014-06-05 Fujitsu Ltd 差分検出プログラム及び差分検出方法並びに差分検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102390740B1 (ko) * 2021-07-07 2022-04-26 주식회사 에이오팜 불량 농산물 분류 모델 학습 방법, 장치 및 이를 이용한 불량 농산물 분류 장치
KR102687300B1 (ko) * 2023-09-12 2024-07-19 서울대학교 산학협력단 이미지 분할 모델의 앙상블을 사용한 작물 유형 매핑 방법 및 시스템

Also Published As

Publication number Publication date
CA3088641C (en) 2023-09-26
CN111630551B (zh) 2022-11-29
EP3743876A4 (en) 2021-10-27
US11321943B2 (en) 2022-05-03
JP7345583B2 (ja) 2023-09-15
JP7034304B2 (ja) 2022-03-11
CN115731414A (zh) 2023-03-03
JP2022084655A (ja) 2022-06-07
US10909368B2 (en) 2021-02-02
BR112020014942A2 (pt) 2020-12-08
WO2019147439A1 (en) 2019-08-01
CN111630551A (zh) 2020-09-04
EP3743876A1 (en) 2020-12-02
US20190228224A1 (en) 2019-07-25
CA3088641A1 (en) 2019-08-01
US20210150209A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7034304B2 (ja) 画像における作物タイプ分類
JP7083910B2 (ja) 画像における作物境界検出
US11915387B2 (en) Crop yield prediction at field-level and pixel-level
US11751499B2 (en) Computer-implemented methods, computer readable medium and systems for a precision agriculture platform that detects disease in crops
De Wit et al. Efficiency and accuracy of per-field classification for operational crop mapping
Zhao et al. Mapping rice paddies in complex landscapes with convolutional neural networks and phenological metrics
Costa et al. Combining per-pixel and object-based classifications for mapping land cover over large areas
Li et al. An all-season sample database for improving land-cover mapping of Africa with two classification schemes
Mishra et al. Urban heat island in Kathmandu, Nepal: Evaluating relationship between NDVI and LST from 2000 to 2018
Diao Innovative pheno-network model in estimating crop phenological stages with satellite time series
Lee et al. Evaluation of crop mapping on fragmented and complex slope farmlands through random forest and object-oriented analysis using unmanned aerial vehicles
Dorbu Data-Driven Approach for Processing Remote Sensing Time-Series Imagery for Precision Agriculture
Robson et al. Advancing the delivery of national mapping applications and tools

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220301

R150 Certificate of patent or registration of utility model

Ref document number: 7034304

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350