JP2022552369A - 植生状態の予測および補正 - Google Patents

植生状態の予測および補正 Download PDF

Info

Publication number
JP2022552369A
JP2022552369A JP2022522622A JP2022522622A JP2022552369A JP 2022552369 A JP2022552369 A JP 2022552369A JP 2022522622 A JP2022522622 A JP 2022522622A JP 2022522622 A JP2022522622 A JP 2022522622A JP 2022552369 A JP2022552369 A JP 2022552369A
Authority
JP
Japan
Prior art keywords
vegetation
training data
region
weather event
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022522622A
Other languages
English (en)
Other versions
JPWO2021079210A5 (ja
JP7556649B2 (ja
Inventor
アルブレヒト、コンラート
ハーマン、ヘンドリック
クライン、レヴェンテ
ルー、シユアン
シャラスチャンドラ、パンカンティ
ゾウ、ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2022552369A publication Critical patent/JP2022552369A/ja
Publication of JPWO2021079210A5 publication Critical patent/JPWO2021079210A5/ja
Application granted granted Critical
Publication of JP7556649B2 publication Critical patent/JP7556649B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

植生を管理する方法およびシステムは、気象事象以前のトレーニング・データ領域の画像、気象事象以降のトレーニング・データ領域の画像、および気象事象に関する情報に基づいて機械学習モデルをトレーニングすることを含む。リスク・スコアは、第2の領域の画像および第2の領域についての予測された気象情報に基づいて、トレーニングされた機械学習モデルを用いて第2の領域について生成される。リスク・スコアは、第2の領域内の高リスク植生を示すように決定される。補正措置は、第2の領域内の植生のリスクを減少させるように実行される。

Description

本発明は、一般に、植生の保全に関し、詳細には、植生が成長し過ぎ、有用なエリアに潜在的に被害を与え、除去される必要があるエリアの予測および特定に関する。
衛星イメージングは、例えば、施設、輸送インフラ、および農業に対する現在の植生の侵入の正確な2次元イメージングを与えることはできるが、それらを悪天候の期間中に使用することに対してこの植生がどのように悪影響を及ぼすかを予測することは難しい。したがって、植生管理は、査察員が自ら問題の資産を訪問して植生のタイプおよび状態を調査し、除去されるべき植生を特定する、労働集約的なプロセスになり得る。
植生を管理する方法は、気象事象以前のトレーニング・データ領域の画像、気象事象以降のトレーニング・データ領域の画像、および気象事象に関する情報に基づいて機械学習モデルをトレーニングすることを含む。リスク・スコアは、第2の領域の画像および第2の領域についての予測された気象情報に基づいて、トレーニングされた機械学習モデルを用いて第2の領域について生成される。リスク・スコアは、第2の領域内の高リスク植生を示すように決定される。補正措置は、第2の領域内の植生のリスクを減少させるように実行される。
植生を管理する方法は、気象事象以前のトレーニング・データ領域の画像、気象事象以降のトレーニング・データ領域の画像、ならびに気象事象以前のトレーニング・データ領域の画像および気象事象以降のトレーニング・データ領域の画像に示された植生間の差を含む気象事象に関する情報に基づいて機械学習モデルをトレーニングすることを含む。リスク・スコアは、第2の領域の画像および第2の領域についての予測された気象情報に基づいて、トレーニングされた機械学習モデルを用いて第2の領域について生成される。リスク・スコアは、第2の領域内の高リスク植生を示すように決定される。補正措置は、第2の領域内の植生のリスクを減少させるように実行される。
植生を管理するシステムは、気象事象以前のトレーニング・データ領域の画像、気象事象以降のトレーニング・データ領域の画像、および気象事象に関する情報に基づいて機械学習モデルをトレーニングするように構成されたモデル・トレーナを含む。植生マネージャは、リスク・スコアが第2の領域内の高リスク植生を示すことを決定するように、および第2の領域内の植生のリスクを減少させるために補正措置をトリガするように、第2の領域の画像および第2の領域についての予測された気象情報に基づいて、トレーニングされた機械学習モデルを用いて第2の領域についてのリスク・スコアを生成するように構成される。
植生を管理するシステムは、気象事象以前のトレーニング・データ領域の画像、気象事象以降のトレーニング・データ領域の画像、ならびに気象事象以前のトレーニング・データ領域の画像および気象事象以降のトレーニング・データ領域の画像に示された植生間の差を含む気象事象に関する情報に基づいて、機械学習モデルをトレーニングするように構成されたモデル・トレーナを含む。植生マネージャは、リスク・スコアが第2の領域内の高リスク植生を示すことを決定するように、および第2の領域内の植生のリスクを減少させるために補正措置をトリガするように、第2の領域の画像および第2の領域についての予測された気象情報に基づいて、トレーニングされた機械学習モデルを用いて第2の領域についてのリスク・スコアを生成するように構成される。
これらおよび他の特徴および利点は、添付図面と共に読まれることになる本発明の例示の実施形態の以下の詳細な説明から明らかになろう。
以下の説明は、以下の図面を参照して好ましい実施形態の詳細を与える。
本発明の一実施形態によるニューラル・ネットワーク・モデルの図である。 本発明の一実施形態によるニューラル・ネットワーク・アーキテクチャの図である。 本発明の一実施形態による高リスク植生のエリアを特定するために機械学習モデルを用いる植生管理のための方法のブロック/流れ図である。 本発明の一実施形態による高リスク植生のエリアを特定するために機械学習モデルをトレーニングする方法のブロック/流れ図である。 本発明の一実施形態による機械学習モデルを用いて高リスク植生のエリアを特定する方法のブロック/流れ図である。 本発明の一実施形態による機械学習モデルを用いて高リスク植生のエリアを特定および制御する植生管理システムのブロック図である。 本発明の一実施形態による植生管理のための処理システムのブロック図である。 本発明の一実施形態による画像中のいろいろな種類の地形および構造を特定するための異なる標高モデル間の比較を示す図である。
本発明の実施形態は、植生成長が悪天候の時に資産および人員にとって潜在的に危険になり得るエリアを予測するために、現在の植生状態の測定値ならびに気象および地形データに関連する情報を使用する。例えば、強風または大雪時の最中、木の枝が、送電線および鉄道線路を横切るように落下し、緊急の修復および除去を必要とする場合がある。損傷の位置、損傷の重大度、人造構造の近さ、送電線および一般的な気象の条件に関連するような損傷事象の履歴データは、損傷を引き起こした可能性がある木を特定するために検討される。停電の長さ、通信サービスの欠如、または家屋への損傷のようなさらなる情報が、木によってもたらされ得る損傷の重大度を評価するために用いられる。専門家の推奨および公益事業会社および地方自治体によって実施される最良のプラクティスに基づいて、地方条例を考慮に入れて、植生管理に関するある領域のための最良のプラクティスが決定される。木のタイプ、年齢、健康状態、土壌、および周囲のものなどのさらなる情報も、モデルに組み込まれる。したがって、本実施形態は、問題を引き起こす可能性が高い植生を特定し、特定された植生が損傷を引き起こし得る前にその植生を除去および剪定する。
その目的に向けて、本実施形態は、例えば、衛星画像を用いて経時的な植生の変化を特定するために機械学習技術を用い、植生成長により損傷を引き起こす可能性が高いエリアを特定するためにその情報を地形および気象情報と組み合わせる。本実施形態は、地形のマップを作り、木および人造構造などのいろいろな種類の特徴を区別するために、光検出と測距(LIDAR)などの距離測定技術を使用する。次いで、本実施形態は、過酷な気象条件または植生成長条件の下で問題をもたらす可能性が高い高リスク植生を特定するマップを生成し、当該植生を除去することによって損傷を防ぐための推奨を生成するように働く。
損傷を引き起こす可能性が高い植生の領域を特定するために、人工ニューラル・ネットワーク(ANN)は、(例えば、木の崩壊を示す)経時的に変化する画像に関してトレーニングされ、次いで、将来の損傷を招く可能性が高い領域を特定するために用いられる。トレーニング・プロセスでは、Lidarデータの3次元分布全体からの情報を考慮に入れて、潜在的に損傷をもたらし得る個々の木または木の部分(枝、葉の部分、幹など)を特定する。そのような特徴は、LIDARデータにおいて個数が減少したリターン点(病気であるまたは損傷を受けた枝を示す)、または木の胴体の周囲に対称的に分布していない過度のリターン点(伸びすぎた木の枝など)を有するものとして特定することができ、または死んだ木を示す葉の無い木の胴体をただ検出する。
ANNは、脳などの生物学的な神経系によってインスパイアされた情報処理システムである。ANNの重要な要素は、特有の問題を解決するために並列で働く多数の高度に相互接続された(「ニューロン」と呼ばれる)処理要素を含む情報処理システムの構造である。ANNは、ニューロン間に存在する重みの調整を伴う学習を用いて使用時にさらにトレーニングされる。ANNは、そのような学習プロセスによって、パターン認識またはデータ分類などの特定の用途のために構成される。
次に、図1を参照すると、ニューラル・ネットワークの一般化された図が示されている。ANNは、複雑または不正確なデータから意味(meaning)を得る能力を示し、パターンを抽出し、あまりに複雑で人間または他のコンピュータ・ベースのシステムによって検出できない傾向を検出するために使用することができる。ニューラル・ネットワークの構造は、1つまたは複数の「隠れ」ニューロン104に情報を供給する入力ニューロン102を有することが概して知られている。入力ニューロン102と隠れニューロン104との間の接続108は、重み付けられ、次いで、これらの重み付けられた入力は、層間で重み付けられた接続108を用いて隠れニューロン104におけるいくつかの機能に従って隠れニューロン104によって処理される。隠れニューロン104、ならびにいろいろな機能を実行するニューロンの任意のいくつかの層があり得る。畳み込みニューラル・ネットワーク、マックスアウト・ネットワーク等などの異なるニューラル・ネットワーク構造も存在する。最後に、出力ニューロン106のセットは、隠れニューロン104の最後のセットから重み付けられた入力を受領し、処理する。
これは、情報が入力ニューロン102から出力ニューロン106へ伝播する「フィードフォワード」演算を表す。フィードフォワード演算が完了すると、出力は、トレーニング・データから利用できる所望の出力と比較される。次いで、トレーニング・データに対しての誤差は、「フィードバック」演算において処理され、そこで、隠れニューロン104および入力ニューロン102は、出力ニューロン106から逆向きに伝播する誤差に関する情報を受け取る。逆向きの誤差伝播が完了すると、重み更新が実行され、重み付けられた接続108は、受け取った誤差を説明する(account for)ために更新される。これは、ANNのたった1つの変形を表す。
次に、図2を参照すると、例示的なANNアーキテクチャ200が示されている。本アーキテクチャは、純粋に例示的であり、代わりに他のアーキテクチャまたはニューラル・ネットワークのタイプが用いられてもよいことを理解されたい。詳細には、ANNのハードウェアの実施形態が本明細書中に説明されるが、ニューラル・ネットワーク・アーキテクチャは、ソフトウェアで実施またはシミュレートすることができることを理解されたい。本明細書中に説明されるハードウェアの実施形態は、高レベルの一般性でニューラル・ネットワーク演算の一般的原理を示す目的で含まれ、いかなる形でも限定として解釈されるべきではない。
さらに、以下に説明されるニューロンの層、およびそれらを接続する重みは、一般的なやり方で説明され、任意の適切な程度またはタイプの相互接続性で任意のタイプのニューラル・ネットワーク層によって置き換えられてもよい。例えば、層は、畳み込み層、プーリング層、完全に接続された層、ソフトマックス層、または任意の他の適切なタイプのニューラル・ネットワーク層を含むことができる。さらに、層が、必要に応じて、加えられてもよくまたは除去されてもよく、重みは、より複雑な形態の相互接続のために省略されてもよい。
フィードフォワード動作中、入力ニューロン202のセットが、重み204のそれぞれの行に並列に入力電圧をそれぞれ供給する。本明細書中に説明されるハードウェアの実施形態では、重み204は、電流出力が重み付けられた入力を表すために重み204からそれぞれの隠れニューロン206へ流れるように設定可能な抵抗値をそれぞれ有する。ソフトウェアの実施形態では、重み204は、関連したニューロン出力に乗じられる係数値として単に表すことができる。
ハードウェアの実施形態の後に、所与の重み204による電流出力は、
Figure 2022552369000002

として決定され、ただし、Vは入力ニューロン202からの入力電圧であり、rは重み204の設定抵抗である。各重みからの電流は、列方向に加わり、隠れニューロン206へ流れる。参照重み(reference weight)207のセットは、一定の抵抗を有し、それらの出力を各隠れニューロン206に供給される参照電流に組み合わせる。コンダクタンス値は正の数字のみであり得るので、いくつかの参照コンダクタンスが、正の値と負の値の両方を行列で符号化される必要がある。重み204によってもたらされる電流は、連続的な値を持つとともに正であり、したがって、参照重み207は、それよりも上で電流が正の値を有するようにみなされ、それよりも下で電流が負の値を有するようにみなされる、参照電流を供給するために使用される。参照重み207の使用は、出力および重みの値を正確かつ直接に得ることができるソフトウェアの実施形態において必要とされない。参照重み207を用いることの代替として、別の実施形態は、負の値を取り込むために重み204の別個のアレイを用いることができる。
隠れニューロン206は、いくつかの計算を実行するために重み204および参照重み207のアレイからの電流を用いる。次いで、隠れニューロン206は、それら自体の電圧を重み204の別のアレイへ出力する。このアレイは、同じやり方で実行するものであり、重み204の列は、行方向に加わり、出力ニューロン208へ供給される重み付けられた電流出力を生成するために、それらのそれぞれの隠れニューロン206から電圧を受信する。
任意の個数のこれらのステージは、アレイおよび隠れニューロン206の追加の層を介在させることによって実施されてもよいことを理解されたい。一部のニューロンは、一定の出力をアレイに供給する一定ニューロン(constant neuron)209であってもよいことにも留意されたい。一定ニューロン209は、入力ニューロン202または隠れニューロン206あるいはその両方の間に存在することができ、フィードフォワード動作中にのみ用いられる。
誤差逆伝播法(back propagation)中、出力ニューロン208は、重み204のアレイにわたって電圧を逆に供給する。出力層は、生み出されたネットワーク応答をトレーニング・データと比較し、誤差を演算する。誤差は、電圧パルスとしてアレイに供給され、パルスの高さまたは持続時間あるいはその両方が誤差値に比例して変調される。この例では、重み204の行は、並列にそれぞれの出力ニューロン208から電圧を受け取り、入力を隠れニューロン206へ供給するために列方向に加わる電流にその電圧を変換する。隠れニューロン206は、重み付けられたフィードバック信号をそのフィードフォワード計算の派生物(derivative)と組み合わせ、フィードバック信号電圧をそのそれぞれの重み204の列に出力する前に誤差値を記憶する。この誤差逆伝播法は、全ての隠れニューロン206および入力ニューロン202が誤差値を記憶してしまうまで、ネットワーク200全体を通って伝わる。
重み更新中、ネットワーク200通じて、入力ニューロン202および隠れニューロン206は、第1の重み更新電圧を順向きに印加し、出力ニューロン208および隠れニューロン206は、第2の重み更新電圧を逆向きに印加する。これらの電圧の組合せは、各重み204内の状態変化をもたらし、重み204に新たな抵抗値を取らせる。このように、重み204は、その処理においてニューラル・ネットワーク200を誤差に適合させるようにトレーニングされることが可能である。3つの動作モード(フィードフォワード、誤差逆伝播法、および重み更新)は、互いに重なり合わないことに留意されたい。
上述したように、重み204は、例えば、比較的複雑な重み回路を用いて、または抵抗クロス・ポイント・デバイスを用いて、ソフトウェアでまたはハードウェアで実施することができる。そのような抵抗デバイスは、データを処理するために使用できる非線形性を有するスイッチング特性を有することができる。重み204は、その非線形特性がニューラル・ネットワーク200における計算を実行するために用いられるので、抵抗処理ユニット(RPU)と呼ばれるデバイスのクラスに属し得る。RPUデバイスは、抵抗ランダム・アクセス・メモリ(RRAM)、相変化メモリ(PCM)、プログラマブル・メタライゼーション・セル(PMC)メモリ、または非線形抵抗スイッチング特性を有する任意の他のデバイスで実施することができる。そのようなRPUデバイスは、メモリスティブ・システムとみなすこともできる。
次に、図3を参照すると、高リスク植生を検出および除去する方法が示されている。ブロック302は、例えば、時間で隔てられた所与のエリアの以前に記録された植生測定値を含むトレーニング・データのセット、ならびに所与のエリアについての気象データに基づいてニューラル・ネットワークをトレーニングする、機械学習モデルのためのトレーニング・フェーズを実行する。いくつかの実施形態では、トレーニング・データは、損傷を与えたまたは高リスクとして特定された植生の領域を特定するためにラベル付けされる。トレーニング・フェーズの出力は、植生状態の測定値および気象情報を受領し、対象領域についてのリスク・レベルを示す出力を生成する予測モデルである。具体的には、上述したように、ニューラル・ネットワークは機械学習モデルを実施するために使用できると考えられるが、代わりに、任意の適切な機械学習アーキテクチャが使用されてもよいことに留意されたい。
次いで、推論フェーズ304は、関心の領域の新たな測定を行い、トレーニングされた機械学習モデルへの入力として使用するために気象情報を収集する。いくつかの実施形態では、推論フェーズは、リスク・スコアを所与の画像エリア内の領域に対応付け、それらのスコアまたはスコアの範囲に従って特定のサブ領域を特定する。いくつかの実施形態では、リスク・スコアは、2値であることができ、高リスクおよび低リスク植生のそれぞれの領域を単純に特定する。他の実施形態では、リスク・スコアは、ゼロと1の間で離散的または連続的な値を持つことができる。さらに他の実施形態では、リスク・スコアは、ゼロで始まり、任意の高い値に到達することができる数として表すことができる。
いくつかの実施形態では、リスク・スコアは、潜在的な種類の損傷を説明することができる。例えば、1つのリスク指標は、木が送電線、道路、もしくは住居に接触するまたは送電線、道路、もしくは住居に落ちる尤度である。本実施形態は、木が曲がりまたは傾斜し、送電線と接触する可能性がある場合、木の特徴に基づいて木の高さおよび林冠サイズを評価し、計算することができる。そして、送電線に触れる尤度は、リスク指標であり、触れる尤度がゼロであることがゼロのリスク指標に対応し、電線に落ちる木の幹は100%のリスク指標を有し、送電線に触れる枝は、木の林冠と送電線の間の重なりの量に基づいて0%ないし100%の間のリスク指標を有する。
別の実施形態では、あるタイプの木に対してある種の損傷をもたらした気象データの特性が特定される。気象特性は、木にふりかかり、木に損傷を及ぼす降水、雪、または突風の量を含み得る。トレーニングされたモデルは、同様の領域を特定するために、資産までの距離を組み合わせて、風、降雪、木の高さ、樹齢、および木の種のタイプのような特性を特定することができる。
別の実施形態では、モデルは、気象パラメータが植生および地形によってどのように影響を受け、どのように危険な状態をもたらすのかを理解するために、局所的な気象測定と組み合わせて、歴史的に損傷が生じた地形のタイプおよび土壌タイプを学習することができる。
別の実施形態では、ニューラル・ネットワークは、極端な気象条件によって引き抜かれるまたは折られる木について学習することができ、損傷データがどこにも存在しない新たな画像またはエリア、損傷が起こり得る位置に関して学習することができる。
ブロック306は、植生リスク・エリアを特定する。いくつかの実施形態では、これは、閾値よりも上のリスク・スコアを有する領域が高リスク領域であるとして特定されるように、リスク・スコアを閾値と比較することを含むことができる。リスク・スコアは、トレーニング・データから局所的に学習することができ、次いで、モデルによって関心のエリア全体にわたって一般化される。次いで、ブロック308は、ブロック306の決定に基づいて補正措置を実行する。例えば、ブロック308は、資材および人員にリスクをもたらす植生を間引くために、特定された領域へ作業者のチームを送ることができる。他の実施形態では、ブロック308は、高リスク領域を物理的に訪問および観察するために、およびいくつかの実施形態では、成長を剪定することまたは除草剤を展開することなどの植生保全措置を自動的に実行するために、例えば、空中ドローンまたは他の自動化ユニットを用いて自動的な検証をトリガすることができる。
次に、図4を参照すると、トレーニング・フェーズ302に関する追加の詳細が示されている。ブロック302は、入力としてトレーニング・データのセットを受領する。例えば、トレーニング・データは、そのような情報を衛星画像、LIDARイメージ、(地面法線方向(ground surface normal direction)などの)地盤状態、樹齢および木の状態、地面属性、および介在気象情報(intervening weather information)として含むことができる。例えば、樹齢、木のタイプ、木の位置、木の健康、および木の林冠の特性は、トレーニング・データについてのラベルを表すことができ、所与の木が直立であること、落ちた枝の存在、もしくは落ちた幹の存在、幹の幅、木の幹に対する木の樹冠の非対称性、および幹の方向といったしるしとしてそのような特徴を含むことができる。追加のトレーニング・データが、地勢、土地利用、建物の密度、土壌タイプ、および気候パターンに関して生成されてもよい。具体的には、「以後」のイメージが、暴風、豪雨、または大雪などのいくつかの悪い気象事象の後に撮られ得ると考えられる。次いで、介在気象情報が、「以前」の画像と「以後」の画像の間の植生への変化の原因とみなされる。
ブロック402は、トレーニング・データにおける以前および以後の画像に基づいて植生状態の変化を特定する。この変化の検出は、以下により詳細に説明されるが、トレーニング・フェーズのために用いられる画像データが、地形、群葉、および人造構造の間で区別することを可能にさせるいくつかの異なる構成要素を含むことができることを理解されたい。したがって、ブロック402は、「以前」の画像に存在する群葉が「以後」の画像に存在しないときにそのことを検出することができる。ブロック404は、この検出された植生変化から特徴を抽出する。いくつかの実施形態では、「以前」の画像と「以後」の画像の間の各変化は、倒れた木または落ちた枝とみなすことができ、したがって、「正」のサンプルと解釈され得る。負のサンプルは、木および枝がそれらのエリア内で倒れていないことを示す、変化がないまたは閾値未満の変化を有するエリアと解釈される。
したがって、いくつかの実施形態では、高リスク植生エリアを示す正のサンプルは、変化が検出されたエリアを含む。これらの変化は、植生と人造構造などの他の特徴との間で区別を付けることが可能であるとき、植生への変化に具体的に焦点を合わせることができる。次いで、植生への変化は、連続的な領域にグループ化されてもよく、または代替として、個々の木またはさらには木の枝のレベルまでサブ領域に分割されてもよい。次いで、低リスク植生エリアを示す負のサンプルは、極端な気象事象後の変化を特徴付けない領域を共にグループ化することによって決定することができる。これらの領域は、個々の木のレベルまでサブ領域に分割することもできる。
次いで、ブロック406は、抽出された特徴およびトレーニング・データを用いてモデルをトレーニングする。任意の適切なトレーニング・プロセスは、例えば、トレーニング・データ内のトレーニング・サンプルおよびテスト・サンプルを分けて、トレーニング・サンプルを用いてネットワークをトレーニングし、次いで、トレーニングされたネットワークの精度をテスト・サンプルを用いて評価することによって使用され得る。モデルの出力とトレーニング・データによって示される予期される出力との間の不一致は、例えば、誤差逆伝播法によって補正することもできる。
いくつかの実施形態では、機械学習モデルは、入力画像データに関して動作し、k平均クラスタリングを使用するまたは主成分分析を使用するオートエンコーダ・ニューラル・ネットワークとして実施することができる。いくつかの実施形態では、機械学習モデルは、出力の解像度を増大させるためのプーリング動作(pooling operation)に代わってアップサンプリング動作を用いる畳み込みニューラル・ネットワークであるU-Netとして実施することができる。
次に、図5を参照すると、推論フェーズ304に関する追加の詳細が示されている。推論フェーズは、対象エリアの現在の画像情報、および予測された気象情報を入力としてとる。ブロック502は、例えば、以下により詳細に説明されるブロック402におけるのと同じ技術を用いて最近の画像データ内の植生を検出する。ブロック504は、例えば、植生を示す領域を共にグループ化することによって、またはそのような領域を、例えば、個々の木に対応するサブ領域に細分することによって、特徴を抽出する。ブロック404におけるように、特徴は、衛星画像、LiDARイメージ、地盤状態、樹齢および木の状態、地面属性、ならびに介在気象情報を含む様々な異なる特性を用いて決定することができる。抽出された特徴は、リスク・スコア出力を生成するブロック506において機械学習モデルに適用される。
本発明は、任意の可能な技術的に詳細な統合レベルにおけるシステム、方法、またはコンピュータ・プログラム製品、あるいはそれらの組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実行させるためにコンピュータ可読プログラム命令をそこに有するコンピュータ可読記憶媒(または媒体)を含むことができる。
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および記憶することができる有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、電子的ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁的ストレージ・デバイス、半導体ストレージ・デバイス、または上記の任意の適切な組合せとすることができるが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュ・メモリ)、スタティック・ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD-ROM)、デジタル・バーサタイル・ディスク(DVD)、メモリ・スティック、フロッピ・ディスク、パンチカードまたは命令が記録された溝内の隆起構造などの機械的エンコード型デバイス、および上記の任意の適切な組合せを含む。本明細書中で使用されるとき、コンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通して伝播する電磁波(例えば光ファイバ・ケーブルを通過する光パルス)、または線材を通じて送信される電気信号などのそれ自体が一時的信号であると解釈されるべきではない。
本明細書中に説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理デバイスに、またはネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくは無線ネットワーク、またはそれらの組合せを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードされ得る。ネットワークは、銅の伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータまたは、エッジ・サーバ、あるいはそれらの組合せを備えることができる。各コンピューティング/処理デバイスにおけるネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体における記憶のために送る。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA)命令、マシン命令、マシン依存型命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のための構成データ、あるいはSmalltalk(R)、C++等などのオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語などの手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組合せで書かれた、ソース・コードまたはオブジェクト・コードであり得る。コンピュータ可読プログラム命令は、専らユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上でおよび部分的にリモート・コンピュータ上で、あるいは専らリモート・コンピュータまたはサーバ上で、実行することができる。後者のシナリオにおいて、リモート・コンピュータは、ローカル・エリア・ネットワーク(LAN)または広域ネットワーク(WAN)を含む、任意のタイプのネットワークを通してユーザのコンピュータに接続され得、あるいは外部コンピュータへの接続が(例えばインターネット・サービス・プロバイダを用いてインターネットを通して)なされ得る。いくつかの実施形態において、例えばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ(FPGA)、またはプログラマブル・ロジック・アレイ(PLA)を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して電子回路を個人化することができる。
本発明の態様は、本発明の実施形態による方法、装置(システム)、およびコンピュータ・プログラム製品のフローチャート図、またはブロック図、あるいはその両方を参照して本明細書中に説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実施され得ることが理解されよう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行する命令が、フローチャートまたはブロック図あるいはその両方の1つまたは複数のブロックにおいて特定される機能/動作を実現する手段を生成するように、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサに与えられて、マシンを生成するものであってもよい。さらに、これらのコンピュータ可読プログラム命令は、命令が内部に記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の1つまたは複数のブロックにおいて指定された機能/動作の態様を実現する命令を含んだ製品を備えるように、コンピュータ可読記憶媒体に記憶されて、コンピュータ、プログラマブル・データ処理装置、または他のデバイス、あるいはそれらの組合せに特定のやり方で機能するように指示することができるものであってもよい。
さらに、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令が、フローチャートまたはブロック図あるいはその両方の1つまたは複数のブロックにおいて指定された機能/動作を実現するように、コンピュータによって実施されるプロセスを形成するべく、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。
本明細書における、本発明の「1つの実施形態」または「一実施形態」、ならびにそれらの他の変形例への言及は、実施形態と共に説明される特定の特徴、構造、特性等が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書の全体にわたって様々な場所で現れる「1つの実施形態では」または「一実施形態では」というフレーズ、ならびに任意の他の変形の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。
例えば、「A/B」、「AまたはBあるいはその両方」、および「AおよびBのうちの少なくとも1つ」の場合における「/」、「~または~あるいはその両方」、および「のうちの少なくとも1つ」のいずれかの使用は、第1に挙げたオプション(A)のみの選択、第2に挙げたオプション(B)のみの選択、または両方のオプション(AおよびB)の選択を含むことが意図されていると理解されたい。さらなる例として、「A、B、またはC、あるいはそれらの組合せ」、および「A、B、およびCのうちの少なくとも1つ」の場合には、そのような言い回しは、第1に挙げたオプション(A)のみの選択、第2に挙げたオプション(B)のみの選択、第3に挙げたオプション(C)のみの選択、第1および第2に挙げたオプション(AおよびB)のみの選択、第1および第3に挙げたオプション(AおよびC)のみの選択、第2および第3に挙げたオプション(BおよびC)のみの選択、あるいは3つのオプション全て(A、BおよびC)の選択を含むことが意図されている。これは、当業者によって容易に明らかとなるように、挙げた多数の項目について拡張され得る。
図におけるフローチャートおよびブロック図は、本発明の様々な実施形態による、システム、方法、およびコンピュータ・プログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。この関連において、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実現するための1つまたは複数の実行可能命令を備える、モジュール、セグメント、または命令の一部分を表すことができる。いくつかの代替的実装形態において、ブロック内に記された機能は、図に記された順序以外で実行されてもよい。例えば、連続して示される2つのブロックは、実際には、1つのステップとして達成されてもよく、部分的にまたは全体的に一時的に重なるやり方で、同時に、実質的に同時に実行されてもよく、またはブロックは、場合によっては、含まれる機能に応じて逆の順序で実行されてもよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組合せは、指定された機能もしくは動作を実行する、または専用ハードウェアおよびコンピュータ命令の組合せを実行する、専用ハードウェア・ベースのシステムによって実施され得ることにも留意されたい。
本明細書中で用いられるとき、用語「ハードウェア・プロセッサ・サブシステム」または「ハードウェア・プロセッサ」は、1つまたは複数の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェア、またはそれらの組合せを指すことができる。有用な実施形態において、ハードウェア・プロセッサ・サブシステムは、1つまたは複数のデータ処理要素(例えば、論理回路、処理回路、命令実行デバイスなど)を含むことができる。1つまたは複数のデータ処理要素は、中央処理ユニット、グラフィックス・プロセッシング・ユニット、または別個のプロセッサもしくはコンピューティング素子ベースのコントローラ(例えば、論理ゲートなど)あるいはそれらの組合せに含まれ得る。ハードウェア・プロセッサ・サブシステムは、1つまたは複数のオンボード・メモリ(例えば、キャッシュ、専用メモリ・アレイ、読み出し専用メモリなど)を含み得る。いくつかの実施形態では、ハードウェア・プロセッサ・サブシステムは、オンボードまたはオフボードであり得る、あるいはハードウェア・プロセッサ・サブシステム(例えば、ROM、RAM、基本入出力システム(BIOS)など)による使用に専用であり得る1つまたは複数のメモリを含み得る。
いくつかの実施形態では、ハードウェア・プロセッサ・サブシステムは、1つまたは複数のソフトウェア要素を含み、実行することができる。1つまたは複数のソフトウェア要素は、オペレーティング・システム、または1つもしくは複数のアプリケーション、または特定の結果を実現するための特定のコード、あるいはそれらの任意の組合せを含むことができる。
他の実施形態では、ハードウェア・プロセッサ・サブシステムは、特定の結果を実現するための1つまたは複数の電子処理機能を実行する専門、特殊回路を含むことができる。そのような回路は、1つまたは複数の特定用途向け集積回路(ASIC)、FPGA、またはPLA、あるいはそれらの組合せを含み得る。
ハードウェア・プロセッサ・サブシステムのこれらのおよび他の変形例は、本発明の実施形態に従ってやはり考えられる。
次に、図6を参照すると、植生管理システム600が示されている。システム600は、ハードウェア・プロセッサ602、およびメモリ604を含む。ネットワーク・インタフェース606は、任意の適切な有線または無線通信媒体およびプロトコルによる通信をさらに提供する。例えば、ネットワーク・インタフェース606は、例えば、衛星画像データベースから論点の領域についての最近の画像情報にアクセスすることができる。さらに、ネットワーク・インタフェースは、高リスク植生の管理を調整するために他のエージェントと通信することができる。
機械学習モデル608は、入力特徴に基づいてリスク・スコアを決定するように構成されている。これらの特徴は、例えば、地形、土壌、および上述したような他のものなどの様々な他の特徴と共に、植生および追加の気象情報を含む画像であり得る。リスク・スコア出力は、領域内の植生が悪天候条件中に被害を及ぼす可能性がどのくらいあるのかに従って入力画像の特定の領域についてのリスク・レベルを指し示す。モデルは、トレーニング・データ610のセットを用いてモデル・トレーナ614によってトレーニングされる。トレーニング・データは、例えば、以前の悪天候条件および以後の悪天候条件で撮られた画像、ならびに介在気象条件に関する情報を含む。モデル・トレーナ614は、特徴抽出器612を使用して、例えば、「以前」の画像と「以後」の画像を比較し、被害の例として画像間の差または変化を特定することによって、トレーニング・データ内の特徴を特定する。
植生マネージャ616は、機械学習モデル608を使用して、関心のエリアの新たな画像についてのリスク・スコアを特定する。例えば、植生マネージャ616は、特徴抽出器を使用して、新たな入力画像内の特徴を特定し、これらの特徴を入力として機械学習モデル608に供給することができる。閾値を上回るリスク・スコアを有するそれらの領域について、植生マネージャ616は、上述したように、いくつかの補正措置をとる。
次に、図7を参照すると、植生管理システム600を表すことができる例示的な処理システム700が示されている。処理システム700は、システム・バス702を介して他の構成要素に動作可能に結合された少なくとも1つのプロセッサ(CPU)704を含む。キャッシュ706、読み出し専用メモリ(ROM)708、ランダム・アクセス・メモリ(RAM)710、入出力(I/O)アダプタ720、サウンド・アダプタ730、ネットワーク・アダプタ740、ユーザ・インタフェース・アダプタ750、およびディスプレイ・アダプタ760が、システム・バス702に動作可能に結合されている。
第1のストレージ・デバイス722は、I/Oアダプタ720によってシステム・バス702に動作可能に結合されている。ストレージ・デバイス722は、ディスク・ストレージ・デバイス(例えば、磁気または光ディスク・ストレージ・デバイス)、固体磁気デバイスなどのいずれかであり得る。ストレージ・デバイス722は、同じタイプのストレージ・デバイスまたは異なるタイプのストレージ・デバイスであり得る。
スピーカ732は、サウンド・アダプタ730によってシステム・バス702に動作可能に結合されている。送受信機742は、ネットワーク・アダプタ740によってシステム・バス702に動作可能に結合されている。表示デバイス762は、ディスプレイ・アダプタ760によってシステム・バス702に動作可能に結合されている。
第1のユーザ入力デバイス752は、ユーザ・インタフェース・アダプタ750によってシステム・バス702に動作可能に結合されている。ユーザ入力デバイス752は、キーボード、マウス、キーパッド、画像取込デバイス、モーション・センシング・デバイス、マイクロフォン、前述のデバイスのうちの少なくとも2つの機能性を組み込むデバイスなどのいずれかであり得る。もちろん、本原理の思想を保持しつつ、他のタイプの入力デバイスを用いることもできる。ユーザ入力デバイス722は、同じタイプのユーザ入力デバイス、または異なるタイプのユーザ入力デバイスであり得る。ユーザ入力デバイス752は、システム700へおよびから情報を入力および出力するために使用される。
もちろん、処理システム700は、当業者によって容易に考えられるような他の要素(図示せず)を含むこともでき、ある種の要素を省くこともできる。例えば、当業者によって容易に理解されるように、様々な他の入力デバイスまたは出力デバイスあるいはその両方が、その特定の実装形態に応じて、処理システム700に含まれてもよい。例えば、様々なタイプの無線または有線あるいはその両方の入力デバイスまたは出力デバイスあるいはその両方が用いられてもよい。また、当業者によって容易に理解されるように、様々な構成における追加のプロセッサ、コントローラ、メモリなどを利用することもできる。処理システム700のこれらおよび他の変形例は、本原理の教示が本明細書に与えられるとすれば、当業者によって容易に考えられる。
次に、図8を参照すると、図は、画像データ内の植生および他の特徴を検出するためにLIDAR情報がどのように使用され得るかを示す。LIDAR情報は、LIDARカメラからの距離を表すLIDARデータ点802のセットを含む。LIDARは、レーザ・パルスを放出し、反射が起点に戻るのに必要な時間量を測定することによって動作する。この情報は、高さ/距離情報へ変換される。異なる水平範囲にわたって高さ情報を検討することによって、異なるタイプの特徴を解像することができる。
デジタル標高モデル804は、比較的大きい半径(例えば、100メートル)にわたってLIDAR点802を平滑にすることによって下に横たわる地形を特定する。これは、地盤面高さの地形等高線を確立する。局所最大モデル806は、局所半径(例えば、10メートル)内の一番上のLIDAR点802によって定められる局所的な等高線を追跡する。対応する局所最小モデル(図示せず)は、局所半径内の最低のLIDAR点802によって定められる等高線を特定する。
これらのモデルを組み合わせることによって、異なるタイプの特徴を解像することができる。例えば、局所最小モデルおよび局所最大モデル806が合致するがデジタル標高モデル804とは異なるエリアを特定することによって、構造808が特定され得る。これらのエリア内で、人造構造は、局所的な地形から局所的な逸脱をもたらす。他のエリアにおいて、局所最小モデルと局所最大モデル806との間に大きい差があるところは、植生810の領域を指し示し得、そこでは、不完全な範囲によって一部のLIDARパルスが地面に到達することが可能になり、他のLIDARパルスは枝および葉により阻止される。したがって、局所最小モデルと局所最大モデル806が閾値の値よりも大きく異なる領域内で、本実施形態は、植生の存在を指し示すことができる。
電話線または送電線などのより小さい構造812は、局所最小モデルと局所最大モデル806の同様の組合せによって特定することができ、他の構造的特徴(例えば、電柱の周期的な存在、および長い連続的な構造の形状)が、明確なシグネチャをもたらす。いくつかの場合には、LIDARパルスは、完全に吸収されてデジタル標高モデル804におけるギャップを作り出すことがあってもよく、これは水域を表し得る。
このプロセスの出力は、例えば、異なる色を用いて異なる構造的特徴、地勢特徴、および植生特徴を特定する疑似カラーの衛星画像の形態であり得る。したがって、領域が、局所的な標高情報が実質的に変化している符号化された値の実質的な差異(例えば、実質的な色の変化)を示すとき、この変化は、変化以前の画像および変化以後の画像を減じることによって素早く見分けることができる。
画像から返される全てのデータ点、およびあるタイプの木または植生を表し得る高さの範囲から返されるデータ点について、同じ手順を踏むことができる。モデルは、リスクを評価するためにモデルに用いられるイメージを抽出するように、小さい灌木から大きい木まで調整される。1つの実施形態では、画像は、高さが20m以上であるとともに小さい林冠サイズを有する木について生成され得る。これは、例えば、大きい風によって容易に折れる松を表すことができる。上部も、強風によって大きい距離にわたって動かされ得、そこで木の位置および損傷のタイプが、モデルによって学習される。
ある画像を別の画像から初めに減算すると、LIDARデータの不正確さから生じるある種のアーチファクトがもたらされ得る。そのような一例において、第2の画像がわずかに異なる位置または角度で撮影されたため、構造が、新たなものとして表示されるエッジを有していたり、消失したものとして表示されるエッジを有していたりする。そのような例では、局所平均化により、これらのアーチファクトを除去し、画像間の真の変化だけを残す。
トレーニングを実行するとき、ブロック402は、植生が変化したエリアの位置を突き止めるために、異なるモデルを用いて以前の画像および以後の画像内の植生をまず特定し、次いで一方の画像を他方から減じる。推論中、同様に、ブロック502は、新たな画像内の植生を特定するために異なるモデルを用いる。この情報は、変化する可能性が高い新たな画像の領域を特定するために、様々な他のタイプのデータ、詳細には気象データ、と組み合わされてもよい。
いくつかの実施形態では、LIDARの情報は、N個の不規則なデータ点のセットとして、
X={X=(x,y,z)}i=1...N
と表すことができ、ただし、各データ点Xは、座標(x,y,z)を有する。用語「不規則」は、
0<d(i,j)=|u-u|≠一定
という定義を反映し、ただし、uは、xおよびyについてのプレースホルダであり、添え字のペア(i,j)は、最も近い近隣の座標uをラベル付けする。概して、用語|・|は、2次元ベクトル空間
Figure 2022552369000003

上の任意の種類のノルムによって置き換えられてもよい。簡単にするために、次元x、y、およびzは、それぞれ経度、緯度、および高度を表すものとして解釈される。各点Xは、それに関連したM個の数値的特性
Figure 2022552369000004

を有することができる。そのような特性は、例えば、LIDARレーザ光反射率強度(LIDAR laser light reflectance intensity)、LIDARレーザ光反射率角度(LIDAR laser light reflectance angle)等を含み得る。
疑似カラー像(false-color image)を生成するために、本実施形態は、例えば、スケール・パラメータLの観点でグローバルな標高(global elevation)全体を表すために赤チャンネルを使用することができる。オーダ
Figure 2022552369000005

の画素のスライディング・ウィンドウが定義され、ただし、0<r<Lは、
Figure 2022552369000006

であるように、不規則に散在した点(x,y)ではなく、規則的に間隔をおいて配置された画素座標
Figure 2022552369000007

に関する画像ラスタの単一画素のサイズを設定するスケールである。データ点に関する任意の集約関数(aggregation function)が、例えば、
Figure 2022552369000008

のように平均することによって適用されてもよく、ただし、
Figure 2022552369000009

は、座標(x,y)に対しての集約のために使用される点のセットである。規格化定数
Figure 2022552369000010

は、
Figure 2022552369000011

における点の個数である。次いで、DEM(x,y)は、疑似カラー画像を形成するために
Figure 2022552369000012

個の規則的に間隔をおいて配置された画像グリッド点のセット
Figure 2022552369000013

に関して評価され得る。DEMは、例えば、図8の曲線804を表すことができる。
上記の球の制約(x-x+(y-y<Lは、例示のために単独で使用され、任意の適切な幾何学的条件によって置き換えられてもよい。集約手順は、全体として、
Figure 2022552369000014

であるように畳み込みカーネルk(x,y)によって置き換えられてもよく、ただし、
∫k(x,y)dxdy=1
である。例えば、ガウシアンが使用されてよく、ただし、
Figure 2022552369000015

である。約1/Lよりも大きい波長についての適切なローパス・フィルタを有するフーリエ・カーネルが、別のオプションである。代替として、中心値などの任意の適切な非線形関数Fが、
Figure 2022552369000016

のように同様にz値にも適用されてもよい。
グローバル標高モデル(global elevation model)DEMを特定してしまうと、それは、他の標高モデルから地形全体の影響を除去するために使用されてもよい。植生管理のために、それは、木などの半透過性の物体と家屋などの不透明な物体を区別するのに特に役立つ。局所スケールlが導入され、ただし、lは、解像度スケール(resolution scale)rよりも大きく、グローバル・スケール(global scale)Lよりも小さい。最小フィルタを使用して、局所表面モデル(local surface model)は、
Figure 2022552369000017

として定義され得る。いくつかの実施形態では、これは、疑似カラー像の緑チャンネルとして使用されてもよい。LEMは、例えば、図8の曲線814を表すことができる。
同様のやり方で、局所標高モデルが、
Figure 2022552369000018

に従って定義されてもよい。これは、例えば、疑似カラー像の青チャンネルとして使用されてもよい。LEM(x,y)は、不透明な物体についてのLSM(x,y)にほぼ等しく、一方、LHM(x,y)=LEM(x,y)-LSM(x,y)>0は、半透過性の物体についての局所的な地面よりも上のプロキシ高さ(proxy height)であることに留意されたい。
(例示であり、限定していないことが意図される)植生状態の予測および補正の好ましい実施形態を説明してきたが、上記技術に鑑みて、修正および変更が、当業者によってなされてもよいことに留意されたい。したがって、添付の特許請求の範囲によって概説された本発明の範囲内にある開示された特定の実施形態において変更がなされてもよいことを理解されたい。したがって、本発明の態様を特許法によって要求される詳細および特徴と共に説明したが、特許証によって権利主張され、保護が望まれるものは、添付の特許請求の範囲に記載されている。

Claims (25)

  1. 植生を管理する方法であって、
    気象事象以前のトレーニング・データ領域の画像、前記気象事象以降の前記トレーニング・データ領域の画像、および前記気象事象に関する情報に基づいて機械学習モデルをトレーニングすることと、
    第2の領域の画像および前記第2の領域についての予測された気象情報に基づいて、前記トレーニングされた機械学習モデルを用いて前記第2の領域についてのリスク・スコアを生成することと、
    前記リスク・スコアが前記第2の領域内の高リスク植生を示すことを決定することと、
    前記第2の領域内の植生のリスクを減少させるように補正措置を実行することと、を含む、方法。
  2. 前記機械学習モデルをトレーニングすることは、前記気象事象以前の前記トレーニング・データ領域の前記画像と前記気象事象以降の前記トレーニング・データ領域の前記画像との間の差を決定することを含む、請求項1に記載の方法。
  3. 前記機械学習モデルをトレーニングすることは、トレーニング中にラベルとして使用するために、第1のタイプのサンプルとして前記トレーニング・データ領域の変更された部分を特定すること、および第2のタイプのサンプルとして前記トレーニング・データ領域の変更されていない部分を特定することをさらに含む、請求項2に記載の方法。
  4. 前記機械学習モデルをトレーニングすることは、前記気象事象以前の前記トレーニング・データ領域の前記画像内および前記気象事象以降の前記トレーニング・データ領域の前記画像内の植生を特定することをさらに含む、請求項1に記載の方法。
  5. 画像内の植生を特定することは、光検出と測距(LIDAR)情報の局所最小モデルと局所最大モデルを比較することを含む、請求項4に記載の方法。
  6. 画像内の植生を特定することは、前記局所最小モデルと前記局所最大モデルの間の差が閾値を上回る前記画像の部分に植生が存在することを決定することをさらに含む、請求項5に記載の方法。
  7. 前記機械学習モデルをトレーニングすることは、前記トレーニング・データ領域内の人造構造を特定することをさらに含む、請求項1に記載の方法。
  8. 画像内の人造構造を特定することは、局所最小モデルおよび局所最大モデルと標高モデルを比較することを含む、請求項7に記載の方法。
  9. 画像内の人造構造を特定することは、前記トレーニング・データ領域の一部であって、前記局所最小モデルおよび前記局所最大モデルは合致するが、いずれも前記標高モデルとは異なる前記一部に人造構造が存在することを決定することをさらに含む、請求項8に記載の方法。
  10. 前記補正措置は、人造構造への植生損傷のリスクを最小にするように植生除去についての推奨を生成することを含む、請求項1に記載の方法。
  11. 前記推奨は、前記高リスク植生が除去されたことを検証するために植生除去が実行された後に前記生成することを繰り返すことを含む、請求項10に記載の方法。
  12. 植生を管理する方法であって、
    気象事象以前のトレーニング・データ領域の画像と、前記気象事象以降の前記トレーニング・データ領域の画像と、前記気象事象に関する情報であって、前記気象事象以前の前記トレーニング・データ領域の前記画像に示された植生および前記気象事象以降の前記トレーニング・データ領域の前記画像に示された植生の間の差を含む前記情報と、に基づいて機械学習モデルをトレーニングすることと、
    第2の領域の画像および前記第2の領域についての予測された気象情報に基づいて、前記トレーニングされた機械学習モデルを用いて前記第2の領域についてのリスク・スコアを生成することと、
    前記リスク・スコアが前記第2の領域内の高リスク植生を示すことを決定することと、
    前記第2の領域内の植生のリスクを減少させるように補正措置を実行することと、を含む、方法。
  13. 植生を管理するコンピュータ可読プログラムを含む非一過性のコンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムは、コンピュータ上で実行されるときに、前記コンピュータに、
    気象事象以前のトレーニング・データ領域の画像、前記気象事象以降の前記トレーニング・データ領域の画像、および前記気象事象に関する情報に基づいて機械学習モデルをトレーニングするステップと、
    第2の領域の画像および前記第2の領域についての予測された気象情報に基づいて、前記トレーニングされた機械学習モデルを用いて前記第2の領域についてのリスク・スコアを生成するステップと、
    前記リスク・スコアが前記第2の領域内の高リスク植生を示すことを決定するステップと、
    前記第2の領域内の植生のリスクを減少させるように補正措置を実行するステップと、を実行させる、非一過性のコンピュータ可読記憶媒体。
  14. 植生を管理するシステムであって、
    気象事象以前のトレーニング・データ領域の画像、前記気象事象以降の前記トレーニング・データ領域の画像、および前記気象事象に関する情報に基づいて機械学習モデルをトレーニングするように構成されたモデル・トレーナと、
    第2の領域についてのリスク・スコアを生成するように構成された植生マネージャであって、前記リスク・スコアが前記第2の領域内の高リスク植生を示すことを決定するように、および前記第2の領域内の植生のリスクを減少させるために補正措置をトリガするように、前記第2の領域の画像および前記第2の領域についての予測された気象情報に基づいて、前記トレーニングされた機械学習モデルを用いて第2の領域についてのリスク・スコアを生成するように構成された、前記植生マネージャと、を備えるシステム。
  15. 前記モデル・トレーナは、前記気象事象以前の前記トレーニング・データ領域の前記画像と前記気象事象以降の前記トレーニング・データ領域の前記画像との間の差を決定するようにさらに構成される、請求項14に記載のシステム。
  16. 前記モデル・トレーナは、トレーニング中にラベルとして使用するために、第1のタイプのサンプルとして前記トレーニング・データ領域の変更された部分を特定し、第2のタイプのサンプルとして前記トレーニング・データ領域の変更されていない部分を特定するようにさらに構成されている、請求項15に記載のシステム。
  17. 前記モデル・トレーナは、前記気象事象以前の前記トレーニング・データ領域の前記画像内および前記気象事象以降の前記トレーニング・データ領域の前記画像内の植生を特定するようにさらに構成される、請求項14に記載のシステム。
  18. 前記モデル・トレーナは、光検出と測距(LIDAR)情報の局所最小モデルと局所最大モデルを比較するようにさらに構成される、請求項17に記載のシステム。
  19. 前記モデル・トレーナは、前記局所最小モデルと前記局所最大モデルの間の差が閾値を上回る前記画像の部分に植生が存在することを決定するようにさらに構成される、請求項18に記載のシステム。
  20. 前記モデル・トレーナは、前記トレーニング・データ領域内の人造構造を特定するようにさらに構成される、請求項14に記載のシステム。
  21. 前記モデル・トレーナは、局所最小モデルおよび局所最大モデルと標高モデルを比較するようにさらに構成される、請求項20に記載のシステム。
  22. 前記モデル・トレーナは、前記トレーニング・データ領域の一部であって、前記局所最小モデルおよび前記局所最大モデルは合致するが、いずれも前記標高モデルとは異なる前記一部に人造構造が存在することを決定するようにさらに構成される、請求項21に記載のシステム。
  23. 前記植生マネージャは、人造構造への植生損傷のリスクを最小にするように植生除去についての推奨を生成するようにさらに構成される、請求項14に記載のシステム。
  24. 前記植生マネージャは、前記高リスク植生が除去されたことを検証するために植生除去が実行された後に前記リスク・スコアの前記生成を繰り返すようにさらに構成される、請求項23に記載のシステム。
  25. 植生を管理するシステムであって、
    気象事象以前のトレーニング・データ領域の画像と、前記気象事象以降の前記トレーニング・データ領域の画像と、前記気象事象に関する情報であって、前記気象事象以前の前記トレーニング・データ領域の前記画像に示された植生および前記気象事象以降の前記トレーニング・データ領域の前記画像に示された植生の間の差を含む前記情報と、に基づいて機械学習モデルをトレーニングするように構成されたモデル・トレーナと、
    第2の領域についてのリスク・スコアを生成するように構成された植生マネージャであって、前記リスク・スコアが前記第2の領域内の高リスク植生を示すことを決定するように、および前記第2の領域内の植生のリスクを減少させるために補正措置をトリガするように、前記第2の領域の画像および前記第2の領域についての予測された気象情報に基づいて、前記トレーニングされた機械学習モデルを用いて第2の領域についてのリスク・スコアを生成するように構成された、前記植生マネージャと、を備える、植生を管理するシステム。
JP2022522622A 2019-10-21 2020-09-24 植生状態の予測および補正 Active JP7556649B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/658,533 2019-10-21
US16/658,533 US11436712B2 (en) 2019-10-21 2019-10-21 Predicting and correcting vegetation state
PCT/IB2020/058917 WO2021079210A1 (en) 2019-10-21 2020-09-24 Predicting and correcting vegetation state

Publications (3)

Publication Number Publication Date
JP2022552369A true JP2022552369A (ja) 2022-12-15
JPWO2021079210A5 JPWO2021079210A5 (ja) 2022-12-22
JP7556649B2 JP7556649B2 (ja) 2024-09-26

Family

ID=75492165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022522622A Active JP7556649B2 (ja) 2019-10-21 2020-09-24 植生状態の予測および補正

Country Status (5)

Country Link
US (1) US11436712B2 (ja)
JP (1) JP7556649B2 (ja)
CN (1) CN114450715A (ja)
GB (1) GB2602929B (ja)
WO (1) WO2021079210A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021108639A1 (en) * 2019-11-27 2021-06-03 X Development Llc Utility line maintenance and safety
US11768945B2 (en) * 2020-04-07 2023-09-26 Allstate Insurance Company Machine learning system for determining a security vulnerability in computer software
WO2022036227A1 (en) * 2020-08-13 2022-02-17 Zesty.Ai, Inc. Determining climate risk using artificial intelligence
US20220327463A1 (en) * 2021-04-07 2022-10-13 International Business Machines Corporation Managing vegetation conditions
CN113868963B (zh) 2021-10-20 2022-06-28 中国水利水电科学研究院 基于机器学习的仿自然生态植被构建方法、系统及设备
US20230186623A1 (en) * 2021-12-14 2023-06-15 Ping An Technology (Shenzhen) Co., Ltd. Systems and methods for crop disease diagnosis
US20230316744A1 (en) * 2022-03-31 2023-10-05 Sharper Shape Oy Method and system for remotely analysing trees
US11594015B1 (en) * 2022-07-26 2023-02-28 Finite Carbon Corporation Detecting changes in forest composition

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031927B1 (en) 2000-04-12 2006-04-18 Strategic Weather Services System, method, and computer program product for weather and terrestrial vegetation-based water renovation and management forecasting
US7702597B2 (en) 2004-04-20 2010-04-20 George Mason Intellectual Properties, Inc. Crop yield prediction using piecewise linear regression with a break point and weather and agricultural parameters
US7720605B2 (en) 2007-06-22 2010-05-18 Weyerhaeuser Nr Company Identifying vegetation attributes from LiDAR data
EP2356496A4 (en) 2008-11-13 2015-05-27 Univ Saint Louis APPARATUS AND METHOD FOR COMMUNICATING ENVIRONMENTAL PREDICTION INDICATORS TO EMERGENCY RESPONSE MANAGERS
CN103034910B (zh) 2012-12-03 2016-03-09 北京农业信息技术研究中心 基于多源信息的区域尺度病虫害预测方法
US9069104B2 (en) 2012-12-12 2015-06-30 International Business Machines Corporation Pathway management using model analysis and forecasting
US9131644B2 (en) 2014-08-19 2015-09-15 Iteris, Inc. Continual crop development profiling using dynamical extended range weather forecasting with routine remotely-sensed validation imagery
US20160247075A1 (en) 2015-02-20 2016-08-25 Iteris, Inc. Modeling of soil tilth and mechanical strength for field workability of cultivation activity from diagnosis and prediction of soil and weather conditions associated with user-provided feedback
US10989838B2 (en) 2015-04-14 2021-04-27 Utopus Insights, Inc. Weather-driven multi-category infrastructure impact forecasting
US10755357B1 (en) * 2015-07-17 2020-08-25 State Farm Mutual Automobile Insurance Company Aerial imaging for insurance purposes
SG10201506012SA (en) * 2015-07-31 2017-02-27 Accenture Global Services Ltd Inventory, growth, and risk prediction using image processing
CN105787457A (zh) 2016-03-08 2016-07-20 浙江工商大学 一种modis卫星集成dem提高植被分类遥感精度的估算方法
US10664750B2 (en) 2016-08-10 2020-05-26 Google Llc Deep machine learning to predict and prevent adverse conditions at structural assets
WO2018047726A1 (ja) 2016-09-07 2018-03-15 ボッシュ株式会社 情報処理装置および情報処理システム
GB2561845A (en) 2017-04-24 2018-10-31 Point4Uk Ltd Determining risk posed by vegetation
US20180314994A1 (en) 2017-05-01 2018-11-01 International Business Machines Corporation Directed unmanned aircraft for enhanced power outage recovery
CN109406412A (zh) 2017-08-18 2019-03-01 广州极飞科技有限公司 一种植物健康状态监控方法及装置
EP3724831A1 (en) 2017-12-12 2020-10-21 Oy Arbonaut Ltd. A method to quantify fire risk to structures
CN108681715A (zh) 2018-05-18 2018-10-19 三亚中科遥感研究所 海南热带天然林植被型组分类方法

Also Published As

Publication number Publication date
US20210118117A1 (en) 2021-04-22
GB2602929A (en) 2022-07-20
CN114450715A (zh) 2022-05-06
JP7556649B2 (ja) 2024-09-26
WO2021079210A1 (en) 2021-04-29
GB2602929B (en) 2024-01-03
US11436712B2 (en) 2022-09-06
GB202205196D0 (en) 2022-05-25

Similar Documents

Publication Publication Date Title
JP7556649B2 (ja) 植生状態の予測および補正
US11966670B2 (en) Method and system for predicting wildfire hazard and spread at multiple time scales
Deo et al. Drought forecasting in eastern Australia using multivariate adaptive regression spline, least square support vector machine and M5Tree model
Boulmaiz et al. Impact of training data size on the LSTM performances for rainfall–runoff modeling
Oñate-Valdivieso et al. Application of GIS and remote sensing techniques in generation of land use scenarios for hydrological modeling
Langford et al. Wildfire mapping in Interior Alaska using deep neural networks on imbalanced datasets
Kalteh et al. Interpolating monthly precipitation by self-organizing map (SOM) and multilayer perceptron (MLP)
Kaur et al. Convolutional neural network based hurricane damage detection using satellite images
US20230386199A1 (en) Automated hazard recognition using multiparameter analysis of aerial imagery
Feng et al. Predictability of sea surface temperature anomalies at the eastern pole of the Indian Ocean Dipole—using a convolutional neural network model
CN117708551B (zh) 基于双精度gdp数据展布的洪涝灾害影响评估方法和系统
Athanasiou et al. Estimating dune erosion at the regional scale using a meta-model based on neural networks
Yalçın et al. A new deep learning method for meteorological drought estimation based-on standard precipitation evapotranspiration index
Rohaimi et al. 3 Hours ahead of time flood water level prediction using NNARX structure: Case study pahang
Dayal et al. Application of hybrid artificial neural network algorithm for the prediction of standardized precipitation index
Bannayan et al. Predicting realizations of daily weather data for climate forecasts using the non‐parametric nearest‐neighbour re‐sampling technique
CN116089832A (zh) 重力卫星地下水储量的降尺度方法、装置和计算机设备
Ramlan et al. Rainfall prediction in flood prone area using deep learning approach
Turgeon-Pelchat et al. Deep Learning-Based Classification of Large-Scale Airborne LiDAR Point Cloud
Zhu et al. Urban flood susceptibility mapping using remote sensing, social sensing and an ensemble machine learning model
Gujar et al. Hybrid Model for Impact Analysis of Climate Change on Droughts in Indian Region
Tikyaa et al. A hybrid SARIMA-NARX nonlinear dynamics model for predicting solar radiation in Makurdi
Jagadale A Novel Approach for Predicting the Tropical Storm Trajectories using Gridbased Recurrent Neural Networks
Malleson et al. Forecasting short-term urban dynamics: data assimilation for agent-based modelling
Nghiem et al. Application of GIS and remote sensing for predicting land-use change in the French Jura Mountains with the LCM model: the impact of variables on the disturbance model

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20240411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240820

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20240827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240910

R150 Certificate of patent or registration of utility model

Ref document number: 7556649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150