JP2011113233A - 分類画像作成装置 - Google Patents

Abstract

【課題】 分類図を作成する場合、あらかじめ画像から手動により教師データを作成する必要があり、事前の知識が必要であった。
【解決手段】 画像402と地図データ401を対応付け、地図データに基づいて対象領域を画像上で特定し、対象領域から特徴量を抽出する。さらに、特徴量を特徴量空間でクラスタリングし、代表特徴を求め403、求めた代表特徴で画像全体を分類する404。
【選択図】 図４

Description

本発明は、分類画像を作成する技術に関する。

地図やGIS（Geographical Information System）が整備されつつあるが、地図整備および更新には多大な労力を必要とするため、現実を反映した地図が利用できることは少ない。そのため、衛星画像等から地図を作成する試みが行われてきている。衛星画像等から地図を作成する場合、道路等の境界が明瞭な対象は画像抽出が比較的容易であるが、例えば樹木の樹種マップ、水田マップを作成する場合は、スペクトル情報を利用した分類手法等によって領域を特定し、地図化する必要がある。そのため、下記非特許文献にあるように、衛星画像から分類図を作成または対象領域を抽出することが行われている。

Tropical forest type mapping and monitoring using remote sensing, International journal of remote sensing, Vol. 12, No.11, pp.2205-2225, 1991

分類図を作成するにあたり、教師データを与えて、画像中から似た領域を抽出する手法がよく用いられる。教師データの与え方として、画像中から事前に対象領域が分かっている場所を抽出して教師データとする、別の方法で計測しておいたデータを教師データとする、といった方法がある。しかし、画像中から事前に対象領域が分かっている場所を抽出して教師データとする場合、あらかじめ画像中から対象領域を手動で抽出する必要があり、また画像に対する事前知識が必要となる。別の方法で計測しておいたデータを教師データとする場合、例えば光源，背景，大気の影響といった計測環境が教師データ取得時と画像取得時とで異なることがある。そのため，環境変化によるデータの変化が無視できないことが多い。また画像の１画素中に複数の対象物が含まれる場合があり、教師データと画像データが１対１で対応しないことがあった。

そこで、本発明は、前記問題に鑑みてなされたものであり、対象とする領域を事前の知識無しに精度よく、かつ簡便に抽出することを課題とする。

本発明は、画像を記憶する記憶部と、演算部とを備える分類図作成装置であって、演算部は、画像と地図データを重ね合わせ、地図データに基づいて対象領域を画像上で特定し、対象領域から特徴量を抽出する。さらに、特徴量を特徴量空間でクラスタリングし、代表特徴を求め、求めた代表特徴で画像全体を分類する。算出した分類結果を記憶部に格納する。その他の手段については後記する。

本発明によれば、事前の知識なしに分類画像を作成することができる。また、画像の撮像状況に変動があっても、撮像状況に応じた教師データを作成し、分類することができる。

本実施形態の分類図作成装置の機能構成図である。 本実施形態の分類図作成装置の物理構成図である。 本実施形態における処理フローを示す図である。 本実施形態における、地図データをもとに画像を分類し、地図を更新する例の図である。 本実施形態における、影マスク処理を追加した分類図作成装置の機能構成図である。 本実施形態における、影マスク処理を追加した処理フロー図である。 本実施形態における、対象領域に影が含まれる場合の処理結果の例の図である。 本実施形態における、特徴抽出領域にバッファを持たせる場合の説明図である。 本実施形態において、対象領域に複数の特性を有する領域が含まれる場合の説明図である。 本実施形態における、複数の画像データを使用する特徴合成部および特徴スケーリング部を追加した分類画像作成装置の機能構成図である。 本実施形態における、地図データの属性情報図である。本実施形態において、地図データの属性格納を示した図である。 本実施形態における、画像表示部の利用例を示した図である。 本実施形態における、クラスタリングのクラスタ数を変更する例を示した図である。 本実施形態における、クラスタリングのクラスタ数を設定する例を示した図である。 本実施形態における、クラスタリングのクラスタ数を変更した分類処理画像の表示例を示した図である。 本実施形態における、部分画像から代表特徴を決定し、画像全体に展開して分類処理を行う例を示した図である。 本実施形態におけるシーケンス図を示した図である。 本実施形態における、特徴合成部での合成ベクトル作成を説明する図である。

以下、本発明を実施するための最良の形態（以下、「実施形態」という。）について、図面を参照（言及図以外の図面も適宜参照）しながら詳細に説明する。なお、本実施形態において、各蓄積部はハードディスクや計算機上のメモリによって実現される。その代案として、ネットワーク上のハードディスクを用いてもよい。また、各処理部は、コンピュータにおいてプログラムを読み込むことで実行される。その代案として、ハードウェアとソフトウェアの協調によってなされるものであってもよい。

図１、図２、図１１を参照して、本実施形態の分類図作成装置の構成について説明する。図１は、本実施形態の分類図作成装置１０１の機能構成図である。図２は、本実施形態の分類図作成装置１０１の物理構成図である。図１１は地図データの属性情報図である。

図１に示すように、分類図作成装置１０１は、処理部としてのデータ入力部１０４、画像対応部１０５、特徴抽出部１０６、代表特徴抽出部１０７、分類処理部１０８、結果調整部１０９と、記憶部（蓄積部）としてのデータ蓄積部１１２、演算結果蓄積部１０３とを備えて構成される。また、画像表示部１１０を備える。

データ蓄積部１０２は、対象とする画像と地図データを蓄積（記憶）する。対象画像は、多バンドセンサで撮影された画像であり、また位置情報が付属されている。対象画像は衛星画像に限らず、航空画像、ヘリコプター画像、無人偵察機画像などでもよい。また、画像は単一ではなく、複数の時系列画像でもよい。地図データは、電子化されているデータで、属性情報および位置情報を有する。属性情報および位置情報は図１１に示すように、ラベル、属性、位置情報などが格納されている。位置情報は、例えばベクターデータとして保存されている。また、位置情報は画像に対応する座標でもよいし、所望の地図投影で表現される緯度経度情報等であってもよい。地図データは地図だけでなく、ユーザーが描画した画像や文書情報から知識処理によって収集した位置情報であってもよい。また、ここでは、データ蓄積部を分類画像作成装置の内部に保有する構成を示したが、分類画像作成装置の外部に置き、ネットワーク等を通じて記憶情報を送受信するようにしても良い。

データ入力部１０４は、ユーザーが指定する解析対象とする画像を入力し、また同地域の地図データを入力し、データ蓄積部１０２に格納する。さらに、ユーザーが指定する解析対象物の名称またはID等の情報をデータ蓄積部１０２に格納する。解析対象物は一つでもよいし、複数指定してもよい。

画像対応部１０５は、データ入力部１０４で入力した画像と地図データの位置を対応づける。画像および地図データに付属されている位置情報を利用して、自動的に位置合わせを行う（下記非特許文献２）。また、手動により画像と地図データから対応点を抽出して位置合わせを行ってもよい。抽出した対応点情報は、演算結果蓄積部１０３に格納する。

対応づけた画像において、データ入力部１０４で入力された解析対象物を地図データの属性情報から抽出し、対応する属性の領域を、画像上で配置する。地図データで、解析対象物が点や線で表現されている場合、領域として抽出できないため、点や線にバッファを与えて領域として抽出する。

特徴抽出部１０６は、画像対応部１０５で画像上に配置された対応する解析対象物の領域から、特徴量を抽出する。特徴量は、スペクトル画像から得られる１画素毎のスペクトルデータである。また、ある領域内の平均値でもよいし、フィルタ処理等を行って算出した値でもよい。また、合成開口レーダー画像を使用する場合は、強度画像から得られる強度値でもよいし、偏波データや、散乱係数でもよい。

得られた特徴量は、特徴ベクトルとして表現し、この特徴ベクトルは複数の次元を持っている。また、１次元のデータ（ひとつの値）であってもよい。抽出した特徴ベクトルは、演算結果蓄積部１０３に格納する。

代表特徴抽出部１０７は、特徴抽出部１０６で抽出した特徴ベクトルを特徴空間上にプロットし、特徴ベクトルに対してクラスタリングを行う。クラスタリングはK-Means法（『画像解析ハンドブック、高木幹雄、下田陽久監修、東京大学出版会』参照）などを利用して、教師なし分類を行う。クラスタリング手法はこれに限らない。また、クラスタリング処理ではなく、特徴ベクトルのうち、適当な次元を選択して特徴空間を表示し、ユーザーの入力でクラスタを作成してもよい。また、閾値処理でもよい。閾値はユーザーが設定してもよいし、自動閾値決定法（下記非特許文献３参照）などで自動に求めてもよい。

クラスタリングを行った結果、最も大きなクラスタの代表点を代表特徴として抽出し、演算結果蓄積部１０３に格納する。代表点はクラスタの中心特徴である。クラスタリングに使用したデータの分布がまとまっている場合は，中心特徴がクラスタをよく表すことができる。また、データ数が少ない，または分布の形状が偏っている場合は最頻値特徴を使用してもよい。代表特徴だけでなく、後記分類処理で必要であれば、クラスタの分布情報も合わせて格納してもよい。また、最も大きなクラスタだけでなく、他クラスタの情報をも格納し、後記分類処理に使用してもよい。また、代表特徴ではなく閾値を格納してもよい。また、クラスタとして対象物体だけでなく対象物体以外のクラスタも抽出し、複数のクラスタおよび代表特徴から計算される距離を使用して、分類処理を行ってもよい。

分類処理部１０８では、代表特徴抽出部１０７で抽出した代表特徴を用いて、入力画像全体に対して分類処理を行う。分類処理方法は、たとえば最尤法（下記非特許文献４参照）などを利用して、代表特徴への類似度を算出する。また、前記代表特徴抽出部１０７で格納したクラスタの分布情報を利用して、分類処理を行い、対象物体への類似度を求めてもよい。また、前記代表特徴抽出部１０７で格納した閾値を用い、閾値より高い、または低い部分を対象領域に分類された領域として抽出してもよい。

結果調整部１０９では、分類処理部１０８で得られた分類結果から、解析対象の代表特徴に類似している領域のみ抽出する。分類処理は、画素レベルでの処理を行っているため、抽出された領域の輪郭が滑らかではないなどの場合がある。その場合は、輪郭に対して直線や矩形等のモデルを当てはめ、輪郭線を滑らかにするなど整形してもよい。また、あらかじめ抽出領域の最小面積を設定しておき、領域の面積がそれ以下の場合は削除するなどの処理を行ってもよい。また、フィルタ処理などを施し、抽出領域を整えてもよい。抽出した領域の輪郭を処理し、滑らかにした後、輪郭線をベクター化して保存する。また、ラスターデータのまま保存してもよい。

画像表示部１１０は、結果調整部１０９で作成した分類領域を表示する。また、データ蓄積部１０２から読み出した原画像を並べて表示し、分類領域を視認し易くしてもよい。さらに、画像の拡大、縮小などを並べた画像同士で連動させ、視認し易くしてもよい。

データ蓄積部１０２から読み出した地図データと、抽出した輪郭線が異なる場合は、色を変えて描画するなど強調表示してもよい。

また、画像蓄積部１０２に蓄積された分類領域は、対応する入力画像上にマッピングする。また、抽出した分類領域のみ画像化してもよい。また、抽出した輪郭線をデータ蓄積部１０２から呼び出した地図データ上に描画してもよい。

次に、分類図作成装置１０１の物理構成について説明する。図２に示すように、分類図作成装置１０１は、ディスプレイ２０１、プリンタ２０２、演算部２０３、メモリ２０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０５、キーボード２０６およびマウス２０７を備えて構成され、それらがバス２０８によって接続されている。
ディスプレイ２０１は、入力された画像等のデータを表示する。

プリンタ２０２は、入力されたデータを印刷機等へ出力する。

演算部２０３は、各種の処理エンジン２０３１を有し、処理命令が入力されると対応するエンジンソフトをメモリ２０４から読み出し、また、必要があればＨＤＤ２０５から蓄積されているデータを読み出して所定の演算を行う。また、計算結果をメモリ２０４に出力する。

メモリ２０４は、処理エンジン管理部２０４１、演算情報管理部２０４２および設定条件管理部２０４３を有する。処理エンジン管理部２０４１は、演算部２０３での計算に使用する各エンジンのソフトを管理する。演算情報管理部２０４２は、演算部２０３で計算された計算結果を管理する。設定条件管理部２０４３は、キーボード２０６やマウス２０７から入力された条件を保存し、管理する。

ＨＤＤ２０５は、データ蓄積部１０２、演算結果蓄積部１０３を有し、それぞれが該当データを格納している。各データはＩＤ番号１３０５のようにＩＤで管理されており、効率的にデータにアクセスすることができる。ＨＤＤ２０５に対してデータの読み出し命令が入力されると、対象データがアクセスされ読み出される。なお、ＨＤＤ２０５はネットワーク上に設置されていてもよい。分類図作成装置１０１はネットワークインターフェイスを備え、ＨＤＤ２０５など各構成はネットワーク上に設置されてもよい。

キーボード２０６及びマウス２０７は、各種設定条件を入力するユーザーによる操作のための手段である。

図３は、本実施形態における処理フローを示す図である。

ステップ３０１で、データ入力部１０４は処理対象の画像および地図データの入力を受け、データ蓄積部１０２にデータを蓄積する。

ステップ３０２で、画像対応部１０５は入力データの画像と地図データの位置を対応付けし、地図データから解析対象物の領域を抽出して対応する画像領域を抽出する。

ステップ３０３で、特徴抽出部１０６は、画像対応部１０５で抽出した画像上の解析対象物領域から特徴ベクトルを抽出する。

ステップ３０４で、代表特徴抽出部１０７は、特徴抽出部１０６で抽出した特徴ベクトルに対し、クラスタリング処理を行い、代表特徴ベクトルを抽出する。

ステップ３０５で、分類処理部１０８は、代表特徴抽出部１０６で抽出した代表特徴を使って、入力画像全体に分類処理を行う。

ステップ３０６で、結果調整部１０９で算出した分類処理結果を画像表示部１１０がディスプレイ２０１に表示する。

図１７は、本実施形態における処理シーケンスを示す図である。ユーザー１７０１が処理の開始を指示し、表示画面１７０２上で処理対象を選択すると、演算部１７０３に処理対象の設定情報が通知される。演算部１７０３では対象となる地図と画像をデータ蓄積部１７０４に指定し、データ蓄積部１７０４から必要となるデータを読みだす。

次に演算部１７０３では、読み出した画像と地図から特徴データを生成する。生成した特徴データを表示画面１７０２上に表示する。ここで、表示画面にはユーザー１７０１に対して修正の有無を尋ねる表示を行ってもよい。また、ユーザーは表示された特徴データを見ながら、クラスタの設定等を修正してもよいし、新たに設定しもよい。ユーザーからの修正があった場合は、演算部１７０３で修正指示を受け付ける。

演算部１７０３では、生成した特徴データをもとに、教師データを生成する。生成した教師データを使用して、データ蓄積部１７０４から読み出してあった画像の分類処理を行う。処理した分類結果を表示画面１７０２上に表示する。また、処理結果はデータ蓄積部１７０４に保存する。

Remote Sensing Digital Image Analysis, Springer, J. A. Richards and X. Jia, pp.56-58, 2006 Remote Sensing Digital Image Analysis, Springer, J. A. Richards and X. Jia, pp. 197-199, 2006 Introduction to remote sensing, Taylor & Francis, J. B. Campbell, pp. 342-343, 2002

次に、図４を参照して、分類図作成装置の利用例として、地図と画像を利用した分類および地図更新の例について説明する。

図４は、地図データをもとに画像を分類し、地図を更新する例である。地図データ４０１には、地図情報として、対象物体A、B、Cが含まれる。例えば対象物体は家屋や畑等である。画像データ４０２は、地図データ４０１と同じ位置の画像であり、スペクトル情報を含むスペクトル画像等である。ここで、解析対象物体をAと設定した場合として、以下に説明する。

画像対応部１０５では、地図４０１から、対象物体Aの領域を抽出し、対応する画像４０２上での領域を抽出する。画像４０２では、指定したA対象物体の領域に、Aではない他の対象物体が含まれている。抽出した対象領域から特徴抽出部１０６によって、１画素毎に特徴ベクトルを抽出する。抽出した特徴ベクトルを特徴空間４０３にマッピングする。例えば、特徴ベクトルのうち２次元を選択して、横軸、縦軸に設定すると、特徴空間４０３のようになる。地図４０１ではA領域となっている領域が、画像４０２上でもA領域である部分が大半であるため、特徴空間上でクラスタリングを行うと、大きなクラスタができる。画像４０２のA領域には、Aではない他の物体が含まれるため、特徴空間４０３では、クラスタから離れたプロットがあり、これを除去することができる。例えば，クラスタの分布を正規分布と仮定し，クラスタの領域を３σ以内とすると，この領域に含まれないプロットは対象外として除去できる。また，あらかじめクラスタ数を複数と設定してクラスタリングを行い，最も大きいクラスタを対象クラスタ，それ以外のクラスタを対象外クラスタと判定することにより，対象外クラスタに所属するプロットを除去できる。これにより、代表特徴抽出部１０７は、実際のデータに即したA領域のみのクラスタの代表特徴を抽出することができる。抽出した代表特徴を用いて、画像４０２全体を分類して代表特徴に近い画素のみ抽出すると、画像４０４のように実際のA領域のみが抽出できる。このA領域の輪郭線を抽出してベクターデータとし、地図４０１と比較して変化がある部分については地図４０１を更新する。これにより、事前の知識なしに自動的にA領域のみ抽出でき、さらに地図４０１も更新することができる。

本実施例の構成では、地図データが現実の状態と異なっていても、最新の画像から作成した分類結果により、地図データを更新することができる。

次に、図５、図６、図７を参照して、分類画像作成装置の応用例として、影領域を含んだ場合の処理について説明する。

図５は、図１の分類画像作成装置に影マスク設定部５０１と含んだ場合の構成図である。図６は影処理を含んだ場合の処理フローである。図７は処理結果の図示例である。

図５では、特徴抽出部１０６によって対象領域から特徴ベクトルが抽出されると、影マスク設定部５０１にて影領域をマスク処理する。特徴ベクトルをスペクトルデータとした場合、通常影領域における特徴ベクトルは絶対値が小さく、特徴空間７０３にプロットしたときに原点周辺にプロットされる。そのため、この領域をマスク処理することで、クラスタリング時の誤差やエラーを抑制することができる。影マスク設定部５０１は手動によって、マスク領域を設定してもよい。または、自動的に影領域の特徴を鑑みて閾値等を設定してもよい。その場合は，特徴量のヒストグラムから多峰性を抽出して，谷部分にあたる値を閾値として設定してもよいし，大津の2値化などの自動閾値決定法を用いてもよい。また、代表特徴抽出部１０７でデータをクラスタリングする場合に、例えばK-means法（前述）でのクラスタリングでは原点付近に初期値を追加設定することにより、影領域クラスタを自動的に作成してもよい。

図６の処理フローに従って、図３に追加した部分の処理手順を説明する。

ステップ３０３で、対象領域の画像から特徴ベクトルを算出し、適当な次元で作成した特徴空間上に算出特徴ベクトルをプロットする。ここで、特徴空間は適当な数次元で構成してもよいし、特徴ベクトルに含まれる全次元を使用してもよい。

ステップ６０１で、影マスク設定部５０１は特徴空間にプロットした特徴ベクトルから、原点付近の影領域マスク部を設定する。設定した影領域特徴に含まれる特徴ベクトルは削除する。

ステップ３０４で、代表特徴抽出部１０７は削除した特徴ベクトル以外の特徴ベクトルを使用して、クラスタリング処理を行う。

図７は、木によって対象領域に影ができた場合の画像である。地図７０１から、解析対象をAとして分類を行う。画像７０２では、地図データと対応したA領域内に、近接する樹木による影が含まれている。影領域も含めて特徴空間７０３にプロットすると、特徴ベクトルをスペクトルデータとした場合、影領域の特徴ベクトルは原点付近にプロットされる。この影領域のデータも含んでクラスタリングを行うと、影領域にまでクラスタ領域が拡張され、真のA領域の特徴のみを含んでおらず、代表特徴が影領域を含んだ混合クラスタの代表特徴となる。代表特徴ベクトルの値が変化すると、その後の分類処理部１０８による処理で誤差が大きくなってしまう。そのため、影マスク設定部５０１にて、特徴空間上で影領域をマスク処理することにより、適切な代表特徴ベクトルを抽出することができる。

次に、図８を参照して、画像と地図の位置ずれがある場合の画像対応部１０５および特徴抽出部１０６の拡張を説明する。入力画像８０２と対応地図データ８０１を画像対応部１０５で対応づける時、画像等に付加されている位置情報データのずれや、画像の幾何補正や地形補正が十分でないために、対応づけがずれる場合がある。その場合、地図データ上でA領域として示された領域が、画像上では異なる場合がある。そこで、画像対応部１０５では、地図データ８０１でのA領域を画像８０２に対応づける際、実際の地図８０１上の大きさよりも大きめにバッファを持たせてA領域として画像８０２上で指定する。特徴抽出部１０６では、画像対応部１０５で指定した画像８０２のA領域から特徴ベクトルを抽出する。これにより、多少の位置ずれを吸収した処理が可能となる。バッファ領域は、あらかじめユーザーが指定してもよい。また、各領域の大きさを鑑みて、例えば大きさの１０％拡大など、自動的に範囲を設定してもよい。バッファを持たせることにより、各領域が重複する場合があるが、重複しないように一度抽出した画素からは特徴量を抽出しないようにしてもよい。

抽出領域にバッファを持たせて特徴ベクトルを抽出した場合、抽出した特徴ベクトルには複数の対象物が含まれる。そのため、代表特徴抽出部１０７でのクラスタリング処理では、初期クラスタの数を多めに設定してもよい。また、複数クラスタが生成されるような処理を使用してもよい。

次に、図９を参照して、対象領域内に複数の特性を有する領域が含まれる場合を説明する。地図データ９０１で示されるA領域を家屋とする。この例では、画像９０２で示されるA領域は、家屋の屋根構造が三角形になっており、上空から撮影した場合に太陽方向と影方向の２面ができる。そのため、同じ家屋領域の中に２つの特徴が含まれることになる。ここで、対象領域を表現する特徴の数は２つに限らない。

代表特徴抽出部１０７でクラスタリング処理を行うと、少なくとも２つのクラスタが生成される。この場合は代表特徴として、１つではなく２つの特徴ベクトルを抽出する。代表特徴ベクトルとして抽出するベクトルの数は、クラスタのサイズによって決定する。また、あらかじめ、A領域におけるクラスタの数を手動によって設定してもよい。分類処理部１０８では、抽出した２つの代表特徴に類似した領域を抽出する。結果調整部１０９で、抽出した全ての領域をA領域として抽出する。これにより、１つの対象領域に複数の特性を有する領域が含まれる場合も、対象領域を分類し抽出することができる。

次に、図１０を参照して、複数の画像データを使用する場合の分類画像作成装置を説明する。

図１０は、図１の分類画像作成装置に、特徴合成部１００１と特徴スケーリング部１００２を追加した機能構成図である。以下では、複数の画像として時系列画像を使用する場合について説明する。

データ入力部１０４は、同一場所の時系列画像と地図データの入力を受け、データ蓄積部１０２に格納する。入力する時系列画像は、同センサのデータには限らず、スペクトル画像および合成開口レーダー画像など異種センサのデータでもよい。

画像対応部１０５は、複数の画像同士について位置合わせを行い、また地図データとも位置合わせを行う。位置合わせは、画像と地図データに付属する位置情報（緯度経度など）を利用して自動的に行ってもよい。また、手動により各画像の対応点を抽出し、位置合わせを行ってもよい。

地図データから解析対象となる属性の領域を抽出し、全ての画像において対応する領域を抽出する。

特徴抽出部１０６は、画像対応部１０５で抽出した対応領域から、入力された画像全てについて特徴ベクトルを抽出する。

特徴スケーリング部１００１は、特徴抽出部１０６から抽出した特徴ベクトルを、同じ位置から抽出した特徴ベクトルのスケールを合わせるためにスケーリング処理を行う。スケーリング処理は、上限、下限値をあらかじめ定めておき、１つの特徴ベクトルの上限と下限値をあらかじめ定めた値になるように線形変換を施すことで得られる。なお、スケーリング処理はこれに限らない。特徴スケーリング部における処理は、場合によっては行わなくてもよい。

図１８を参照して，特徴合成部１００２を説明する。図１８中の画像１，画像２の地理的に同じ（緯度，経度が同じ）位置から特徴量を抽出し，特徴スケーリング部１００１でスケーリングを施した特徴ベクトルF１，F２を得る。特徴ベクトルF１，F2は，f1からfdの要素からなる。ここで，特徴ベクトルF１，F２は長さdの特徴ベクトルである。特徴ベクトルF１，F２の長さは異なっていても構わない。この特徴ベクトルF１，F２をつなぎ合わせて合成ベクトルを作成する。合成ベクトルは，特徴ベクトルF１の後ろに特徴ベクトルF２を挿入したもので，ベクトルの長さは2dになる。

また、合成ベクトルを作成するにはスケーリングした特徴ベクトルをそのまま合成してもよいし、各特徴ベクトルから主要な特徴次元のみを抽出して合成してもよいし、各画像の特性を特徴量として抽出してもよい。例えば、水稲領域を抽出する場合、稲を植える前の水田の状態から、稲穂が実る時期までの時系列画像を利用してもよい。水稲の特徴は、時系列に水から植生へと変化するので、この特徴を抽出する。

代表特徴抽出部１０７は、特徴合成部１００２から抽出した特徴ベクトルをクラスタリングし、クラスタの代表ベクトル代表特徴ベクトルとして抽出する。

分類処理部１０８は、全画像から特徴合成部１００２で抽出した特徴ベクトルと同様の特徴を抽出し、代表特徴抽出部１０７で算出した特徴ベクトルに類似した領域を抽出する。

次に、図１２を参照して、画像表示部１１０の利用例を説明する。ディスプレイ１２０１には、入力した地図データと、画像データが並べて表示され、画像データ上には、結果調整部１０９で作成された抽出領域輪郭線が描画されている。地図データと抽出領域輪郭線が異なる場合は、異なる線分について色を変えて表示することで視認し易くしてもよい。また、抽出領域輪郭線と画像を比較し、輪郭線が画像と異なる場合には、ユーザーがマウス２０７でもっともらしい線を入力することで、輪郭線を修正してもよい。マウス等で正しい輪郭線をなぞってもよいし、ユーザーが始点と終点を指定することで、自動的に直線または曲線を描画してもよい。さらに、ユーザーが修正したい輪郭線の一点を指定することで、画像処理によって自動的に別の輪郭線を描画してもよい。また、明らかに解析対象領域ではない領域を画像から抽出している場合には、ユーザーが指定し、削除してもよい。ユーザーは削除したい領域の一点をマウス等で選択してもよいし、ID番号等をキーボードにより選択して、削除してもよい。このように画像表示部１１０では、分類処理部１０８で誤って分類した場合でも修正することができるようにしてもよい。修正したデータは、更新した地図データとして、データ蓄積部１０２に格納する。

図１３は、本発明の一実施形態におけるクラスタリングのクラスタ数を変更する例である。ディスプレイ１３０１には、分類処理結果画像１３０２が表示され、また特徴空間１３０３が表示される。特徴空間１３０３は、特徴ベクトルの適当な次元を軸に設定し、特徴ベクトルとクラスタリング結果が図示されている。特徴空間１３０３で示したクラスタを使った分類結果が分類処理結果画像１３０２である。分類処理結果画像１３０２を鑑みて、クラスタの設定を変更したい場合、特徴空間１３０３にて、クラスタに含まれる特徴ベクトルを除去することができる。特徴空間１３０３で除去したい特徴ベクトルをマウス２０７でクリックするとなどして選択すると、選択された特徴ベクトルと対応する画像１３０２上の画素が強調表示される。ユーザーは、その表示結果を参照しながら、クラスタの設定を変更していくことができる。変更が終了すれば、再設定したクラスタ情報から代表特徴抽出部１０７が代表特徴を抽出し、分類処理部１０８で再度分類処理を行う。再度分類処理を行った結果がディスプレイ１３０４に表示されている。分類処理画像１３０５は、再度処理を行った結果である。また、再設定したクラスタは特徴空間１３０６に表示される。

図１４は、本発明の一実施形態におけるクラスタリングのクラスタ数を設定する例である。ディスプレイ１４０１は、クラスタ数設定画面１４０３において、クラスタ数を１と設定した場合のクラスタリング結果を、特徴空間１４０２に示している。またディスプレイ１４０４は、クラスタ数設定画面１４０６において、クラスタ数を２と設定した場合のクラスタリング結果を、特徴空間１４０５に示している。クラスタの数により、作成されるクラスタ分布を視認できる。また、ここでは特徴空間１４０２、１４０５を２次元で表現しているが、この限りではない。特徴次元の数が多くなると、ディスプレイ１４０１、１４０４上では表現できないため、軸として使用する次元を変更しながら特徴空間を表示してもよい。また、使用する次元は、設定した時間毎に逐次ランダムに選択してもよい。

図１５は、本発明の一実施形態におけるクラスタリングのクラスタ数を変更した分類処理画像を表示する例である。ディスプレイ１５０１は、代表特徴抽出部１０７で特徴量をクラスタリングし、分類処理した結果である。クラスタの数を、例えば１から４まで変更した場合の代表特徴を教師データとし、分類処理部１０８で分類処理をすると、ディスプレイ１５０１で示すような異なる分類結果が得られる。クラスタ数の設定は、あらかじめ上限と下限を決めておいてもよい。ユーザーが分類結果と入力画像を比較し、最も適切なクラスタ数を選択し、最終的な分類結果を得る。分類結果は、入力画像に重ねて表示してもよい。

図１６は、本発明の一実施形態におけるクラスタリング対象領域を画像全体ではなく、画像の一部とした例である。ディスプレイ１６０１では、画像の一部を切り出した部分画像１６０２が表示されている。部分画像は、ユーザーがマウス等によりディスプレイ上で設定してもよいし、あらかじめ部分画像サイズや座標を入力し、自動的に部分画像を決定してもよい。この部分画像１６０２から、対象とする領域の特徴量を抽出し、特徴量空間にマッピングした結果を１６０３に示している。この特徴量空間表示１６０３で、クラスタリングの結果を確認し、分類処理に使用する代表特徴を決定する。ユーザーがクラスタの分布やクラスタの数等を変更してもよい。部分画像１６０２において決定した代表特徴を使用して，分類処理部１０９により画像全体を分類する。画像全体の全画素を順に分類してもよいし，画像全体をいくつかの領域に分割し，分割領域に対して順に，または並列に分類処理を行ってもよい。画像全体に対して分類処理を行った結果をディスプレイ１６０４に表示している。このように、画像全体ではなく一部の領域から抽出した特徴量を用いて、画像全体を分類処理することができる。

以上で本実施形態の説明を終えるが、本発明の態様はこれらに限定されるものではない。

実施例では、衛星画像等の空中写真を用いたが、地上で測定するカメラ、センサ等の画像でもよい。地図データは、地図に限らず、何らかの位置情報（緯度経度や座標など）を含むデータであってもよい。

その他、ハードウェア、プログラム等の具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。

１０１…分類図作成装置、１０２…データ蓄積部、１０３…演算結果蓄積部、１０４…データ入力部、１０５…画像対応部、１０６…特徴抽出部、１０７…代表特徴抽出部、１０８…分類処理部、１０９…結果調整部、１１０…画像表示部、２０１…ディスプレイ、２０２…プリンタ、２０３…演算部、２０４…メモリ、２０５…ＨＤＤ、２０６…キーボード、２０７…マウス、４０１…地図、４０２…画像、４０３…特徴空間、４０４…処理結果画像、５０１…影マスク設定部、７０１…地図、７０２…画像、７０３…特徴空間、８０１…地図、８０２…画像、９０１…地図、９０２…画像、９０３…特徴空間、１００１…特徴スケーリング部、１００２…特徴合成部、１１０１…属性データ、１２０１…ディスプレイ、１３０１…ディスプレイ、１３０２…画像、１３０３…グラフ、１３０４…ディスプレイ、１３０５…画像、１３０６…グラフ、１４０１…ディスプレイ、１４０２…グラフ、１４０３…データ表示、１４０４…ディスプレイ、１４０５…グラフ、１４０６…データ表示、１５０１…ディスプレイ、１６０１…ディスプレイ、１６０２…画像、１６０３…グラフ、１６０４…ディスプレイ、１６０５…画像、１６０６…グラフ。

Claims (14)

1. 解析対象となる画像データを入力する入力手段と、
   前記画像データと地図データの位置を対応付ける画像対応部と、
   前記画像対応部にて、前記地図データと対応づけられた画像データの特徴量を抽出する手段と、
   前記抽出された特徴量を、特徴空間上でクラスタリングし、代表特徴を抽出する手段と、
   前記代表特徴を用いて、前記画像データについて分類処理を行う手段と、
   前記分類処理を行った結果を、出力する出力手段とを、
   有することを特徴とする分類図作成装置。
2. 更に、前記分類処理によって抽出した領域の輪郭線を整えて、ベクターデータとして抽出する手段を有することを特徴とする請求項１記載の分類図作成装置。
3. 更に、前記ベクターデータと前記地図データを比較し、前記ベクターデータに基づいて前記地図データを更新する手段を有することを特徴とする請求項２記載の分類図作成装置。
4. 前記出力手段は、前記抽出したベクターデータを前記画像データに重ね合わせて表示させることを特徴とする請求項２記載の分類図作成装置。
5. 更に、前記抽出した特徴量に対し、前記画像データ上での影領域に相当する特徴量をマスク処理する手段を有することを特徴とする請求項１記載の分類図作成装置。
6. 前記特徴量を抽出する手段は、前記地図データの地図属性領域にバッファを持たせ、対応する前記画像データからの特徴抽出領域を拡大して、前記特徴量を抽出することを特徴とする請求項１記載の分類図作成装置。
7. 前記代表特徴を抽出する手段は、前記クラスタリング処理で、複数の特徴ベクトルを生成することを特徴とする請求項１記載の分類図作成装置。
8. 前記代表特徴を抽出する手段にて、前記画像データの中の１つの対象領域について、２以上の代表特徴を抽出し、
   前記分類処理を行う手段にて、前記抽出した２以上の代表特徴それぞれに類似した領域を抽出することを特徴とする請求項１記載の分類図作成装置。
9. 前記特徴量を抽出する手段は、異なるセンサで撮影された複数の画像の対応する位置から抽出した特徴量を合成して生成することを特徴とする請求項１記載の分類図作成装置。
10. 前記特徴量を抽出する手段は、時系列で撮影された複数の画像の対応する位置から抽出した特徴量を合成して生成することを特徴とする請求項１記載の分類図作成装置。
11. 前記クラスタリングは、設定されたクラスタ数に基づいて行われることを特徴とする請求項１記載の分類図作成装置。
12. 前記特徴量を抽出する手段は、前記画像データの一部について実行され、
    前記分類処理を行う手段は、前記一部の画像データの前記代表特徴に基づいて、前記画像データ全体について分類処理を行うことを特徴とする請求項１記載の分類図作成装置。
13. 解析対象となる画像データを入力する入力手段と、
    前記画像データと地図データの位置を対応付ける画像対応部と、
    前記画像対応部にて、前記地図データと対応づけられた画像データの特徴量を抽出する手段と、
    前記抽出された特徴量を、特徴空間上で表示させる手段と、
    前記特徴空間上で表示した前記特徴量をクラスタリングし、代表特徴を抽出する手段と、
    前記代表特徴を用いて、前記画像データについて分類処理を行う手段と、
    前記分類処理を行った結果を、前記画像データに重ねて表示するように出力する出力手段とを、
    有することを特徴とする分類図作成装置。
14. 更に、前記特徴空間上で、前記クラスタリングの設定を変更させる手段を有することを特徴とする請求項１３記載の分類図作成装置。

Images