JP2019035598A

JP2019035598A - 土地被覆学習データ生成装置、土地被覆学習データ、土地被覆分類予測装置及び土地被覆学習データ生成プログラム

Info

Publication number: JP2019035598A
Application number: JP2017155288A
Authority: JP
Inventors: 翔太飯野; Shota Iino; 里保伊東; Riho Ito; 健人土居; Taketo Doi; 友之今泉; tomoyuki Imaizumi
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2017-08-10
Filing date: 2017-08-10
Publication date: 2019-03-07
Anticipated expiration: 2037-08-10
Also published as: JP7045819B2

Abstract

【課題】ニューラルネットワークを適用した高精度の土地被覆分類図を作成するための土地被覆学習データ生成装置、土地被覆学習データ、土地被覆分類予測装置及びプログラムを提供する。【解決手段】土地被覆学習データ生成装置１００は、ＳＡＲ画像取得部１０がＳＡＲ画像を取得し、高さデータ取得部１２が、ＳＡＲ画像に対応する位置の高さデータを取得し、正解データ取得部１６が、ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを受け付ける。パッチ画像切出し部１８は、正解データの位置に応じて、土地被覆分類のクラス毎に予め定めた大きさのＳＡＲパッチ画像及びＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像を切り出し、出力部２２は、切り出されたＳＡＲパッチ画像と高さデータパッチ画像とを、土地被覆分類のクラス毎に組み合わせて土地被覆学習データとして出力する。【選択図】図１

Description

本発明は、土地被覆学習データ生成装置、土地被覆学習データ、土地被覆分類予測装置及び土地被覆学習データ生成プログラムに関する。

下記特許文献１には、合成開口レーダ（ＳＡＲ：synthetic aperture radar）による衛星画像（偏波複素画像データ）から土地被覆分類を作成する技術が開示されている。ここで、土地被覆分類とは、地表の物理形態や利用形態ごとの分類である。

しかし、ＳＡＲ画像は、光学画像と比較して視認性が悪く、専門家による解析が必要であった。このため、ＳＡＲ画像から土地被覆分類を作成するには、処理のためのコストと時間が掛かるという問題があった。

そこで、ニューラルネットワークを使用してＳＡＲ画像の処理を行うことが考えられる。例えば、下記非特許文献１では、ニューラルネットワークによるディープラーニングを適用して衛星画像から土地被覆分類を作成する技術が提案されている。ニューラルネットワークを使用する技術は、土地被覆分類を予測し作成するコストと時間を削減できる。ただし、下記非特許文献１は光学画像が対象であるので、この技術をさらにＳＡＲ画像まで拡張することが望まれている。

特開２００５−１４０６０７号公報

伊東里保他、ディープラーニングを適用した衛星画像からの土地被覆分類手法の評価、人工知能学会全国大会（第30回）, 2016/6/9.

本発明の目的は、ニューラルネットワークを使用してＳＡＲ画像と高さデータ（ＤＥＭまたはＤＳＭ等）から高精度の土地被覆分類図を作成するための土地被覆学習データ、土地被覆学習データ生成装置、土地被覆分類予測装置及びプログラムを提供することにある。

上記目的を達成するために、本発明の一実施形態は、ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成装置であって、ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段と、前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段と、前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段と、前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段と、前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段と、を備えることを特徴とする。

上記土地被覆学習データ生成装置は、上記ＳＡＲパッチ画像と上記高さデータパッチ画像とを線形変換して標準化する標準化手段をさらに有するのが好適である。

また、上記ＳＡＲパッチ画像は、多偏波画像と多偏波画像から四則演算により算出した算出画像の組み合わせであるのが好適である。

また、上記多偏波画像は、水平偏波で送受信したＨＨ画像、水平偏波で送信／垂直偏波で受信したＨＶ画像、垂直偏波で送信／水平偏波で受信したＶＨ画像及び垂直偏波で送受信したＶＶ画像であり、前記パッチ画像切り出し手段が切り出すＳＡＲパッチ画像は、前記ＨＨ画像、ＨＶ画像及びＨＨ画像をＨＶ画像で除した（ＨＨ画像／ＨＶ画像）算出画像であるのが好適である。

また、上記土地被覆分類は、人工物、水域、草地、樹木及び裸地であるのが好適である。

また、本発明の他の実施形態は、土地被覆学習データであって、土地被覆分類毎にＳＡＲ（合成開口レーダ）画像から予め定めた大きさで切り出されたパッチ画像と、当該パッチ画像に対応する位置の高さデータパッチ画像とが、土地被覆分類毎に組み合わされたことを特徴とする。

また、本発明のさらに他の実施形態は、土地被覆分類予測装置であって、上記土地被覆学習データにより、ＳＡＲパッチ画像と高さデータパッチ画像がいずれの土地被覆分類に属するかの予測処理を予め学習済であり、ＳＡＲ（合成開口レーダ）画像と高さデータを入力すると、それぞれの画素がいずれの土地被覆分類に属するか予測するニューラルネットワークを含むことを特徴とする。

また、本発明のさらに他の実施形態は、ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成プログラムであって、コンピュータを、ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段、前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段、前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段、前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段、前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段、として機能させることを特徴とする。

本発明によれば、ニューラルネットワークを適用した高精度の土地被覆分類の予測処理を実現するための土地被覆学習データを生成することができる。

実施形態にかかる土地被覆学習データ生成装置の構成例の機能ブロック図である。実施形態にかかる高さデータ変換部の処理の説明図である。正解データの作成方法の説明図である。実施形態にかかるパッチ画像切出し部によるパッチ画像及び高さデータの切り出し方法の説明図である。実施形態にかかる出力部が出力する土地被覆学習データの例を示す図である。ニューラルネットワークの土地被覆学習データのパッチ画像を切り出す際に使用されるＳＡＲパッチ画像および高さデータパッチ画像の構成例を示す図である。ニューラルネットワークによる土地被覆分類の予測実験から予測結果の正確度を求める方法の説明図である。図７の方法により求めた、偏波画像の組み合わせと正確度との関係を示す図である。ニューラルネットワークの学習方法の説明図である。ニューラルネットワークの出力例を示す図である。実施形態にかかる土地被覆学習データ生成装置の動作例のフロー図である。

以下、本発明を実施するための形態（以下、実施形態という）を、図面に従って説明する。

図１には、実施形態にかかる土地被覆学習データ生成装置１００の構成例の機能ブロック図が示される。図１において、土地被覆学習データ生成装置１００は、ＳＡＲ画像取得部１０、高さデータ取得部１２、高さデータ変換部１４、正解データ取得部１６、パッチ画像切出し部１８、標準化部２０、出力部２２、表示制御部２４、通信部２６、記憶部２８及びＣＰＵ３０を含んで構成されている。なお、ＣＰＵ３０以外にＧＰＵを用いてもよい。上記土地被覆学習データ生成装置１００は、ＣＰＵ３０、ＲＯＭ、ＲＡＭ、不揮発性メモリ、Ｉ／Ｏ、通信インターフェース等を備え、装置全体の制御及び各種演算を行うコンピュータとして構成されており、上記各機能は、例えばＣＰＵ３０とＣＰＵ３０の処理動作を制御するプログラムとにより実現される。

ＳＡＲ画像取得部１０は、人工衛星に搭載したＳＡＲ（合成開口レーダ）により撮影した地表の衛星画像（以後、ＳＡＲ画像という）を取得する。ＳＡＲ画像のソースは限定されず、例えば通信部２６を介して適宜なサーバーからネットワーク経由で取得してもよいし、ディスク装置その他の適宜な入力手段から取得してもよい。ＳＡＲ画像は、単偏波画像であってもよいが、多偏波画像であるのが好適である。ここで、多偏波画像は、水平偏波で送受信したＨＨ画像、水平偏波で送信／垂直偏波で受信したＨＶ画像、垂直偏波で送信／水平偏波で受信したＶＨ画像及び垂直偏波で送受信したＶＶ画像により構成された画像であり、多偏波画像が２偏波の場合は、例えば上記ＨＨ画像及びＨＶ画像により構成される。また、単偏波画像は、上記いずれか１つの偏波画像で構成された画像である。さらに、各偏波画像の任意の組み合わせから予め決定した演算（例えば、加減乗除）を行って求めた算出画像を使用してもよい。いずれの組み合わせにより土地被覆学習データを生成するかについては、後述するように、ニューラルネットワークによる土地被覆分類の予測実験を行い、予測結果の正確度が高くなる組み合わせを採用する。取得したＳＡＲ画像は、記憶部２８に記憶させる。

なお、ＳＡＲ画像取得部１０は、取得したＳＡＲ画像について、後方散乱係数変換、スペックルノイズ（高周波ノイズ）除去処理等の前処理を行ってから記憶部２８に記憶させるのが好適である。

高さデータ取得部１２は、上記ＳＡＲ画像に対応する位置の高さデータを取得する。高さデータは、例えば数値標高モデル（ＤＥＭ：Digital Elevation Model）あるいは数値表層モデル（ＤＳＭ：Digital Surface Model）から取得することができるが、地表面とその上にある地物表面の標高（建物や樹木等の高さ）を含むＤＳＭが好適である。高さデータ取得部１２は、ＳＡＲ画像とこれに対応する位置のＤＥＭ又はＤＳＭとを比較し、例えばＳＡＲ画像の画素毎に高さデータ（標高データ）を取得し、各画素と関連付けて記憶部２８に記憶させる。

高さデータ変換部１４は、上記高さデータ取得部１２が取得した高さデータを記憶部２８から読み出し、上記ＳＡＲ画像取得部１０が取得したＳＡＲ画像と同じ範囲で切り出すと共に、切り出した高さデータをＳＡＲ画像と同じ画像サイズに変換し、記憶部２８に記憶させる。この場合、ＳＡＲ画像の範囲は、ＳＡＲ画像取得部１０が取得した際の範囲である。これらの高さデータ変換部１４の処理の詳細は後述する。なお、高さデータ変換部１４の処理を省略しても良い。

正解データ取得部１６は、上記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを受け付ける。ここで正解データとは、例えばＳＡＲ画像と、これに対応する光学画像とを比較して使用者が設定したＳＡＲ画像の各領域の土地被覆分類のデータである。例えば、設定された土地被覆分類が確実（他の分類と判断される可能性が極めて低い）領域における土地被覆分類のデータとすることもできる。この正解データは、適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により入力し、正解データ取得部１６が取得して記憶部２８に記憶させる。ここで、正解データは、上記ＳＡＲ画像及び高さデータ変換部１４による変換後の高さデータと同じ範囲（同じ座標の範囲）とされている。正解データの上記ＳＡＲ画像及び高さデータと同じ範囲への変換は、必要に応じて正解データ取得部１６が行う。

なお、上記土地被覆分類のクラス（分類の種類）としては、例えば「人工物」、「水域」、「樹木」、「草地」、「裸地」等が挙げられるが、これらには限定されない。ここで、上記「人工物」とは、人工の建築物、道路等であり、「水域」とは、海、湖、河川等であり、「樹木」とは、高木や低木であり、「草地」とは、「樹木」以外の植生であり、「裸地」とは、植物や建築物などに覆われておらず、土がむきだしになっている土地である。

パッチ画像切出し部１８は、上記正解データと高さデータ変換部１４による変換後の高さデータとを記憶部２８から読みだし、この正解データの位置に応じて、上記土地被覆分類のクラス毎に予め定めた大きさのＳＡＲパッチ画像及びＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像を切り出す。ここで、「正解データの位置に応じてＳＡＲパッチ画像及び高さデータパッチ画像を切り出す」とは、正解データの位置に対応するＳＡＲ画像上の位置からＳＡＲパッチ画像を切り出すとともに、このＳＡＲパッチ画像と同じ範囲（同じ座標の範囲）の高さデータである高さデータパッチ画像を切り出すことをいう。この場合、切り出されたＳＡＲパッチ画像と高さデータパッチ画像には、上記正解データの位置に応じて設定されている正解データとしての土地被覆分類のクラスが関連づけられる。なお、ＳＡＲパッチ画像及び高さデータパッチ画像の切り出しは、使用者がＳＡＲ画像及びこれに対応するＤＥＭ又はＤＳＭを画面上で確認しながら適宜な入力手段（マウス等のポインティングデバイス、キーボード、タッチパネル等）により各パッチ画像を指定し、指定された各パッチ画像をパッチ画像切出し部１８が受け付ける構成とすることができる。また、ツール等から自動で各パッチ画像を作成し、パッチ画像切出し部１８が受け付ける構成も可能である。

また、ＳＡＲパッチ画像を切り出す際に、ＳＡＲパッチ画像の内部にＳＡＲパッチ画像より小さい関心領域を設定する。この関心領域は、ＳＡＲパッチ画像のパラメータの一つとして使用者が設定し、関心領域が属する土地被覆分類のクラス（ＳＡＲパッチ画像が切り出された領域に正解データとして設定されているクラス）が、当該ＳＡＲパッチ画像及び高さデータパッチ画像のクラスとして設定される。パッチ画像切出し部１８が切り出したＳＡＲパッチ画像及び高さデータパッチ画像は、記憶部２８に記憶させる。なお、両パッチ画像の切り出し方法の詳細は後述する。

標準化部２０は、上記パッチ画像切出し部１８が切り出したＳＡＲパッチ画像と高さデータパッチ画像とを線形変換して標準化する。標準化の例としては、上記読み出した複数のＳＡＲパッチ画像の画素値及び高さデータパッチ画像の高さデータの各々の平均値が０、標準偏差が１となるように線形変換することが挙げられる。この場合、ＳＡＲパッチ画像の画素値の標準化は、上記偏波画像毎に行い、高さデータパッチ画像の標準化は、高さデータを用いて行う。この標準化により、ニューラルネットワークの学習の効率化を図ることができる。標準化後のＳＡＲパッチ画像と高さデータパッチ画像とは、標準化部２０が記憶部２８に記憶させる。

出力部２２は、上記パッチ画像切出し部１８が切り出したＳＡＲパッチ画像と高さデータパッチ画像とを記憶部２８から読み出し、上記土地被覆分類のクラス毎に組み合わせて土地被覆学習データとして出力する。この場合、標準化部２０が標準化した後のＳＡＲパッチ画像と高さデータパッチ画像を使用することが好適である。出力結果（土地被覆学習データ）は、記憶部２８に記憶させるとともに、例えば表示制御部２４が適宜な表示装置に表示させることができる。

表示制御部２４は、液晶表示素子その他の適宜な表示装置を制御して、上記出力部２２が出力した土地被覆学習データ等を表示する。

通信部２６は、適宜なインターフェースにより構成され、無線または有線の通信回線を介してＣＰＵ３０が外部のサーバー等とデータ（例えば、ＳＡＲ画像等）をやり取りするために使用する。

記憶部２８は、ハードディスク装置、ソリッドステートドライブ（ＳＳＤ）等の不揮発性メモリで構成され、上記各種情報等、及びＣＰＵ３０の動作プログラム等の、土地被覆学習データ生成装置１００が行う各処理に必要な情報を記憶する。なお、記憶部２８としては、デジタル・バーサタイル・ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、電気的消去および書き換え可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ等を使用してもよい。また、記憶部２８には、主としてＣＰＵ３０の作業領域として機能するランダムアクセスメモリ（ＲＡＭ）、及びＢＩＯＳ等の制御プログラムその他のＣＰＵ３０が使用するデータが格納される読み出し専用メモリ（ＲＯＭ）を含めるのが好適である。

図２（ａ）、（ｂ）、（ｃ）には、高さデータ変換部１４の処理の説明図が示される。図２（ａ）は、高さデータ取得部１２が取得した（高さデータ変換部１４が記憶部２８から読み出した）地表座標が付与されている高さデータの例であり、画像サイズが６００×６００画素、座標（画像の範囲）が左上（１２８，１４）、右下（１３４，８）となっている。

また、図２（ｂ）は、ＳＡＲ画像取得部１０が取得した（高さデータ変換部１４が記憶部２８から読み出した）地表座標が付与されているＳＡＲ画像の例であり、画像サイズが３００×３００画素、座標（画像の範囲）が左上（１３０，１２）、右下（１３１，１１）となっている。

高さデータ変換部１４は、上記ＳＡＲ画像から左上と右下の座標の情報を取得し、高さデータの座標（画像の範囲）をＳＡＲ画像と同じ座標で切る（同じ画像範囲とする）とともに、高さデータの画像サイズをＳＡＲ画像と同じ画像サイズに変換して記憶部２８に記憶させる。この結果、図２（ｃ）に示されるように、ＳＡＲ画像と画像サイズ（３００×３００画素）、座標（左上（１３０，１２）、右下（１３１，１１））が同じである高さデータが生成される。

なお、図２（ａ）、（ｂ）、（ｃ）に示された画像サイズ、座標の数値は説明の便宜のための例示であり、本実施形態がこれらの数値に限定される意味ではない。

また、上記正解データも、図２（ｂ）、（ｃ）に例示されたＳＡＲ画像及び高さデータと同じ画像サイズ（３００×３００画素）、座標（左上（１３０，１２）、右下（１３１，１１））で記憶部２８に記憶されている。

図３（ａ）、（ｂ）には、正解データの作成方法の説明図が示される。図３（ａ）では、地表の同じ領域を撮影した光学画像とＳＡＲ画像とが並べられている。使用者は、これらの光学画像とＳＡＲ画像とを比較し、各画像上のいずれの領域が上記いずれの土地被覆分類のクラスに相当するかを判断する。

土地被覆分類のクラスが判断された領域は、正解データとして使用する領域とされ、図３（ｂ）に示されるように、ＳＡＲ画像から抜き出される。抜き出された各領域は、図３（ｂ）の例では、凡例に示されるクラスであることが確実である領域を正解データとして使用しているが、これには限定されず、土地被覆分類が混在した領域を正解データとして使用してもよい。なお、図３（ｂ）に示された正解データの範囲（凡例に対応する領域がない部分も含めた長方形で囲まれた範囲）は、上記ＳＡＲ画像取得部１０が取得したＳＡＲ画像に対応した領域であり、上述したように、ＳＡＲ画像及び高さデータと同じ範囲に変換されている。

以上のようにして抜き出された各領域は、上述したように、適宜な入力手段により土地被覆学習データ生成装置１００に入力され、正解データ取得部１６が受け付けて記憶部２８に記憶させる。

図４には、パッチ画像切出し部１８によるＳＡＲパッチ画像及び高さデータパッチ画像の切り出し方法の説明図が示される。パッチ画像切出し部１８は、上記正解データを記憶部２８から読みだし、図３（ｂ）に例示された正解データの位置に応じて設定された土地被覆分類のクラス毎に、上記正解データの位置に対応するＳＡＲ画像上の位置から予め定めた大きさのＳＡＲパッチ画像を切り出す。ＳＡＲパッチ画像の形状は正方形が好ましいが、長方形等の他の形状であってもよい。なお、このときに使用されるＳＡＲ画像は、上記多偏波画像から選択される複数の偏波画像であるのが好適である。また、図３（ｂ）に例示されるように、土地被覆分類のクラスが確実である（他のクラスと判断される可能性が極めて低い）領域から上記ＳＡＲパッチ画像を切り出してもよいし、クラスが混在した領域からＳＡＲパッチ画像を切り出してもよい。これにより、各クラスのＳＡＲパッチ画像を切り出すことができる。

また、パッチ画像切出し部１８は、高さデータ変換部１４が変換した高さデータを記憶部２８から読みだし、上記切り出したＳＡＲパッチ画像と同じ座標（同じ画像範囲）で切り出し、クラス、画像サイズ、座標が共通するＳＡＲパッチ画像及び高さデータパッチ画像を生成する。生成したＳＡＲパッチ画像及び高さデータパッチ画像は、記憶部２８に記憶させる。

図５（ａ）、（ｂ）には、出力部２２が出力する土地被覆学習データの例が示される。図５（ａ）の例では、各クラス（人工物、水域、草地、樹木、裸地）について、偏波画像のうち、ＨＨ画像、ＨＶ画像及びＨＨ画像をＨＶ画像で除した（ＨＨ画像／ＨＶ画像）算出画像（以後、ＨＨ／ＨＶ画像ということがある）がＳＡＲパッチ画像として使用されている。これは、後述するニューラルネットワークによる土地被覆分類の予測実験から求めた予測結果の正確度が高くなる組み合わせであるが、これには限定されず、対象となる地表の状況により、上記予測結果の正確度が高くなる組み合わせを適宜決定することができる。

また、図５（ａ）の例では、標高（地表とその上にある地物表面の高さ情報）を有するＤＳＭから切り出された高さデータパッチ画像が使用されている。後述するように、ＤＳＭを含めて土地被覆学習データを生成した方が、ＤＳＭを含めない場合に比べてニューラルネットワークによる予測結果の正確度が高くなるからである。

以上の各偏波画像から切り出したＳＡＲパッチ画像及び高さデータパッチ画像は、図３（ｂ）に例示された各クラスの領域において、同じ座標を有する画像及び高さデータが組み合わされている。すなわち、図５（ｂ）に示されるように、各クラス（人工物、水域、草地、樹木、裸地）について、ＨＨ画像、ＨＶ画像及びＨＨ／ＨＶ画像から切り出したＳＡＲパッチ画像とこれと同じ座標の高さデータパッチ画像の４つのデータの組み合わせを一つの土地被覆学習データとし、この組をクラス毎に多数作成する。この際に作成されるデータの組み合わせの数は特に限定されないが、各クラスについて５００組以上、好ましくは１０００組以上である。

図６には、ＳＡＲパッチ画像および高さデータパッチ画像の構成例が示される。図６に示されるように、ＳＡＲパッチ画像および高さデータパッチ画像Ｐには、その内部にＳＡＲパッチ画像および高さデータパッチ画像Ｐより小さい関心領域ＲＯＩが設定される。なお、上述したように、関心領域ＲＯＩは、ＳＡＲパッチ画像および高さデータパッチ画像を切り出す際にＳＡＲパッチ画像および高さデータパッチ画像のパラメータとして使用者が設定する。ここで、「ＳＡＲパッチ画像および高さデータパッチ画像Ｐより小さい」とは、関心領域ＲＯＩの周囲に、ＳＡＲパッチ画像および高さデータパッチ画像Ｐの外側境界線Ｌとの間に形成されたコンテキスト（周囲情報）Ｃが存在することをいう。なお、図６に示された例では、ＳＡＲパッチ画像および高さデータパッチ画像Ｐと関心領域ＲＯＩとが正方形で示されているが、これらの形状は正方形に限定されない。土地被覆分類の予測処理が高精度且つ効率的に実行できる形状であればいずれも採用でき、例えば長方形等であってもよい。また、ＳＡＲパッチ画像および高さデータパッチ画像Ｐにおける関心領域ＲＯＩとコンテキストＣとの大きさ（面積）の割合は、後述する土地被覆分類の予測結果の正確度に応じて適宜決定することができる。例えば、関心領域ＲＯＩのサイズが１００ｍ×１００ｍの場合、関心領域ＲＯＩを含むＳＡＲパッチ画像および高さデータパッチ画像Ｐのサイズは３００ｍ×３００ｍ〜７００ｍ×７００ｍほどが好適である。

上記図５（ａ）、（ｂ）の例では、同じクラス毎に偏波画像と高さデータとが組み合わされているが、この場合のクラスは、図６に示される関心領域ＲＯＩのクラスである。すなわち、土地被覆学習データは、関心領域ＲＯＩのクラスが共通し、同じ座標を有する偏波画像と高さデータとが組み合わされている

図７には、ニューラルネットワークによる土地被覆分類の予測実験から予測結果の正確度を求める方法の説明図が示される。図７に例示された予測実験の結果により、例えば上記図５（ａ）において、どの偏波画像を切り出して土地被覆学習データに使用するかを決定することができる。

図７においては、まず土地被覆学習データとしてのＳＡＲパッチ画像及び高さデータパッチ画像の組み合わせを各クラス（人工物、水域、草地、樹木、裸地）について予め一定枚数準備して、ニューラルネットワークに各ＳＡＲパッチ画像のクラスを予測する処理を学習させる。この際に使用されるＳＡＲパッチ画像は、各偏波画像の各種組み合わせとされる。この種組み合わせは、例えば以下の表１に例示される。

表１の例では、組合せＩＤ１〜８として偏波画像の組合せが示されている。なおバンド数は使用されている偏波画像の数である。なお、偏波画像には、偏波画像に対して加算、減算、除算を行った算出画像も含まれている。表１において、算出画像は、ＩＤ３、ＩＤ６、ＩＤ８の（ＨＨ＋ＨＶ）／２画像、ＩＤ５、ＩＤ８の（ＨＨ／ＨＶ）画像、ＩＤ７、ＩＤ８の（ＨＨ−ＨＶ）画像が例示されているが、これらには限定されない。

ここで、表１は例示であって、偏波画像の組み合わせは任意に設定できる。また、偏波画像にＤＥＭ又はＤＳＭから取得した高さデータを加えてもよい。

次に、一定枚数（図７の例ではＮ枚）のパッチ画像（検証用パッチ画像）を各クラスについて等しい数（図７の例ではＸ枚、５Ｘ＝Ｎ）準備して、ニューラルネットワークにパッチ画像の関心領域ＲＯＩのクラスを予測する処理を実行させた結果が図７に示されている。図７の例では、検証用パッチ画像についてニューラルネットワークが上記予測処理を行った結果、人工物と予測した総枚数がＮ_１、そのうち正解の枚数がａ_１、水域と予測した総枚数がＮ_２、そのうち正解の枚数がａ_２、草地と予測した総枚数がＮ_３、そのうち正解の枚数がａ_３、樹木と予測した総枚数がＮ_４、そのうち正解の枚数がａ_４、裸地と予測した総枚数がＮ_５、そのうち正解の枚数がａ_５となっている。この結果から、ａ_ｎ／Ｎ_ｎ（ｎ＝１〜５の整数、ΣＮ_ｎ＝Ｎ）及びａ_ｎ／Ｘを演算し、以下の数１により正確度（Overall Accuracy：ＯＡ）を求める。

図８には、図７の方法により求めた、偏波画像の組み合わせと正確度との関係が示される。図８の横軸の数値は、表１における組合せＩＤであり、縦軸は、各ＩＤに示された偏波画像の組み合わせで学習した場合の、検証用パッチ画像に対する予測処理の全クラスの正確度（ＯＡ）である。

図８に示された例では、組合せＩＤ５の偏波画像の組合せ（ＨＨ、ＨＶ、ＨＨ／ＨＶ）で学習した場合に正確度が最も高くなっている。このため、図５（ａ）、（ｂ）に例示された土地被覆学習データは、これら三種の偏波画像の組合せとされている。

図９には、ニューラルネットワークの学習方法の説明図が示される。図９に示されるように、ニューラルネットワーク１０２の学習は、図５（ａ）、（ｂ）に示すように切り出され、出力部２２から土地被覆学習データとして出力された、ＳＡＲパッチ画像及び高さデータパッチ画像の組み合わせをニューラルネットワーク１０２に入力し、また土地被覆学習データの正解クラスをクラス予測結果１０４に入力し、ニューラルネットワーク１０２の出力と、クラス予測結果１０４から得た誤差を後ろ向きに伝搬し（誤差逆伝播法）、ニューラルネットワーク１０２の重み係数やバイアスの値を調整することを繰り返して行う。

ニューラルネットワーク１０２の学習では、このような土地被覆学習データ（ＳＡＲパッチ画像と高さデータパッチ画像との組み合わせ）を多数（例えば５００組以上）入力することにより、ニューラルネットワーク１０２が上記ＳＡＲパッチ画像の属する土地被覆分類のクラスを予測するための重み係数やバイアスの値をより適切なものに調整することができる。

なお、図９には、ニューラルネットワーク１０２として畳み込みニューラルネットワーク（ＣＮＮ）が例示されている。ＣＮＮを使用すると、より学習効率を向上することができる。ＣＮＮは、一般的には図９に示されるように、入力層１０２ｃからパッチ画像及び高さデータ等の入力データが入力され、畳み込み層１０２ａとプーリング層１０２ｂが交互に複数接続されて土地被覆分類のクラスの予測処理を行い、予測結果を出力層１０２ｄから出力する構造となっている。畳み込み層１０２ａでは入力された画像の特徴量を抽出する複数のフィルタによる演算（画素値とフィルターとの畳み込み演算）が実行され、プーリング層１０２ｂでは、畳み込み層１０２ａの出力に対して、平均値をとる処理（ａｖｅｒａｇｅｐｏｏｌｉｎｇ）や最大値をとる処理（ｍａｘｐｏｏｌｉｎｇ）等が実行されてデータの圧縮が行われる。このような処理を繰り返すことにより、入力データからＳＡＲパッチ画像及び高さデータパッチ画像の属するクラスを予測するために最適な特徴量が生成される。また、予測結果を出力する出力層１０２ｄは、ＳＡＲパッチ画像及び高さデータパッチ画像のそれぞれの画素が各クラスに属する確率を出力する構成が好適である。

なお、ＣＮＮの構成は、図９に示された例には限定されず、例えば畳み込み層１０２ａが複数連続した後にプーリング層１０２ｂが接続される構造が繰り返される構成とすることもできる。

また、図９の方法で学習済のニューラルネットワークに、いずれのクラスに属しているか不明のＳＡＲ画像を、このＳＡＲ画像の位置における高さデータと共に入力すると、ニューラルネットワークが、予め設定したサイズのウィンドウ毎に判読を行い、上記学習の結果生成した重み係数やバイアスの値を使用して特徴量を算出し、入力されたＳＡＲ画像及び高さデータの各画素が属するクラスを高精度に予測することができる。

図１０には、ニューラルネットワークの出力例が示される。図１０の例では、出力層１０２ｄから出力された、ＳＡＲ画像の各画素が属するクラスの予測結果として、ＳＡＲ画像の各画素が各クラスに属する確率が上段に示されている。なお、各クラスに属する確率が記載された矩形は、クラスが予測された画素を表わしている。

また、図１０の下段には、上記確率の内、最も高い確率であると予測されたクラスがＳＡＲ画像の画素毎に示されている。最も高い確率を選択して対応するクラスを出力する構成は、出力層１０２ｄに形成してもよいし、出力層１０２ｄの出力を受け付けて最も高い確率に対応するクラスを出力する手段を設けてもよい。

本発明者らは、以上に述べた図９の方法でニューラルネットワークに土地被覆分類を予測させる処理を学習させる際に、ＤＳＭを使用せずに（ＳＡＲパッチ画像のみで）作成した土地被覆学習データで学習させた場合、ＳＡＲパッチ画像と高さデータパッチ画像とを組み合わせた土地被覆学習データで学習させた場合について、それぞれ学習済のニューラルネットワークに土地被覆分類を予測させたときの正確度（上記数１により求める正確度）を比較した。この結果、高さデータパッチ画像を使用しない場合の正確度が７５．６％であったのに対し、ＳＡＲ画像と高さデータパッチ画像とを組み合わせた場合の正確度は８０．２％まで向上した。この結果、ＳＡＲ画像と高さデータパッチ画像とを組み合わせることが、予測精度の向上に効果があることが判明した。

図１１には、実施形態にかかる土地被覆学習データ生成装置１００の動作例のフローが示される。図１１において、ＳＡＲ画像取得部１０がＳＡＲ画像を取得（Ｓ１）し、高さデータ取得部１２が、上記ＳＡＲ画像に対応する位置の高さデータを取得した後高さデータ変換部１４がＳＡＲ画像と同じ範囲、同じ画像サイズに変換し（Ｓ２）、正解データ取得部１６が、上記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを受け付ける（Ｓ３）。これらのデータは、記憶部２８に記憶させる。

次に、パッチ画像切出し部１８は、上記正解データと高さデータ変換部１４による変換後の高さデータとを記憶部２８から読みだし、この正解データの位置に応じて、土地被覆分類のクラス毎に予め定めた大きさのＳＡＲパッチ画像及びＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像を切り出す（Ｓ４）。

次に、標準化部２０が、上記ＳＡＲパッチ画像の画素値と高さデータパッチ画像の高さデータとを、各々の平均値が０、標準偏差が１となるように線形変換して標準化する（Ｓ５）。

出力部２２は、上記パッチ画像切出し部１８が切り出したＳＡＲパッチ画像と高さデータパッチ画像とを記憶部２８から読み出し、上記ＳＡＲパッチ画像が属する土地被覆分類のクラス毎に組み合わせて土地被覆学習データとして出力する（Ｓ６）。

上述した、図１１の各ステップを実行するためのプログラムは、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供しても良い。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明または「データ信号」の発明として捉えても良い。

１０ＳＡＲ画像取得部、１２高さデータ取得部、１４高さデータ変換部、１６正解データ取得部、１８パッチ画像切出し部、２０標準化部、２２出力部、２４表示制御部、２６通信部、２８記憶部、３０ＣＰＵ、１００土地被覆学習データ生成装置、１０２ニューラルネットワーク、１０４クラス予測結果。

Claims

ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成装置であって、
ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段と、
前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段と、
前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段と、
前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段と、
前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段と、
を備える、土地被覆学習データ生成装置。
前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを線形変換して標準化する標準化手段をさらに有する、請求項１に記載の土地被覆学習データ生成装置。
前記ＳＡＲパッチ画像は、多偏波画像と多偏波画像から四則演算により算出した算出画像の組み合わせである、請求項１又は請求項２に記載の土地被覆学習データ生成装置。
前記多偏波画像が、水平偏波で送受信したＨＨ画像、水平偏波で送信／垂直偏波で受信したＨＶ画像、垂直偏波で送信／水平偏波で受信したＶＨ画像及び垂直偏波で送受信したＶＶ画像であり、前記パッチ画像切り出し手段が切り出すＳＡＲパッチ画像は、前記ＨＨ画像、ＨＶ画像及びＨＨ画像をＨＶ画像で除した（ＨＨ画像／ＨＶ画像）算出画像である、請求項３に記載の土地被覆学習データ生成装置。
前記土地被覆分類が、人工物、水域、草地、樹木及び裸地である、請求項１から請求項４のいずれか一項に記載の土地被覆学習データ生成装置。
土地被覆分類毎にＳＡＲ（合成開口レーダ）画像から予め定めた大きさで切り出されたＳＡＲパッチ画像と、当該パッチ画像に対応する位置の高さデータパッチ画像とが、土地被覆分類毎に組み合わされたことを特徴とする土地被覆学習データ。
請求項６に記載の土地被覆学習データにより、ＳＡＲパッチ画像と高さデータパッチ画像がいずれの土地被覆分類に属するかの予測処理を予め学習済であり、
ＳＡＲ（合成開口レーダ）画像と高さデータを入力すると、それぞれの画素がいずれの土地被覆分類に属するか予測するニューラルネットワークを含む、土地被覆分類予測装置。
コンピュータを、
ＳＡＲ（合成開口レーダ）画像を取得するＳＡＲ画像取得手段、
前記ＳＡＲ画像に対応する位置の高さデータを取得する高さデータ取得手段、

前記ＳＡＲ画像のいずれの領域がいずれの土地被覆分類に属するかの正解データを取得する正解データ取得手段、
前記正解データの位置に応じて、前記土地被覆分類毎に予め定めた大きさのＳＡＲパッチ画像と、前記ＳＡＲパッチ画像と同じ大きさの高さデータパッチ画像と、を切り出すパッチ画像切出し手段、
前記ＳＡＲパッチ画像と前記高さデータパッチ画像とを前記土地被覆分類毎に組み合わせて出力する出力手段、
として機能させることを特徴とする、ニューラルネットワークに土地被覆分類の予測処理を行わせるための土地被覆学習データを生成する土地被覆学習データ生成プログラム。