JP2010271845A

JP2010271845A - 画像判読支援装置

Info

Publication number: JP2010271845A
Application number: JP2009122179A
Authority: JP
Inventors: Tadashi Inoue; 正井上
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-05-20
Filing date: 2009-05-20
Publication date: 2010-12-02

Abstract

【課題】目視による画像判読では、対象目標の機種特定が判読員の技量に依存し、その技量は判読員の熟練度による個人差が大きく、場合によっては対象目標の機種特定ができなくなるという問題がある。
【解決手段】目標候補の種類に基づいて３次元モデルデータベースから３次元形状モデルデータを取得し、入力画像における撮影時の撮影条件および季節条件に基づいて、３次元形状モデルデータから入力画像を模擬する２次元画像データを生成する画像シミュレータと、画像シミュレータから目標候補の種類、姿勢毎に生成される複数枚の２次元画像データを、入力画像と比較照合して、入力画像中の目標を特定する照合部とを備えて、画像判読装置を構成する。
【選択図】図１

Description

この発明は、衛星や航空機等の飛翔体から撮影された空中撮影画像の判読に用いる画像判読支援装置に関するものである。

現在、イコノスやクィックバード等により撮影された高分解能な衛星画像や、航空機により撮影された高分解能写真が、容易に購入できるようになってきている。このため、空中撮影画像が、例えば農業や土地区画管理等の各種産業に用いられるようになってきている。

このようなシステムの一例として、記憶装置に予め保存された複数の写真画像データを読み出し、読み出した写真画像データを、あらかじめ設定された任意の時間間隔で交互に画面表示装置へ表示出力し、視覚的に両者の相違箇所を判読可能とする、固定資産税用家屋移動判読業務支援システムが知られている（例えば、特許文献１参照）。

特開平２００１−３３８２９２号

また、汎用解析ソフトを用いて、空中撮影画像から市街地と田畑などを分類して地表面の状況を解析し、地表面に存在する特定の対象目標を画像判読するリモートセンシングが、一般的に普及している。従来のリモートセンシングでは、対象目標を画像判読するために、画像解析ソフトを用いて、空中撮影画像を表示し、拡大や縮小、画像強調、分類などを行って、目視にて図面や判読見本と見比べて、色や形状等の特徴から、航空機や艦船等の対象目標の機種特定を実施している。

上述のような目視による画像判読では、機種特定が判読担当者の技量に一任されているために、判読員の熟練度などによる個人差が大きく、場合によっては機種特定が出来ないケースも発生するという問題がある。

この発明は、係る課題を解決するために成されたものであり、画像判読により航空機や艦船などの機種特定を行う際、判読経歴が少ない判読要員でも、比較的容易にかつ機械的に判読できるようにするための、画像判読支援装置を得ることを目的とする。

この発明による画像判読支援装置は、飛翔体が上空から撮影した入力画像に基づいて、判読員が設定した複数の目標候補の種類を示す情報をそれぞれ入力する入力装置と、複数種類の目標候補の３次元形状モデルデータが格納された３次元モデルデータベースと、撮影時の撮影方向および撮影時間に対応して予め撮影時の陰影情報が格納され、上記入力装置から入力される各目標候補の種類を示す情報に基づいて、上記３次元モデルデータベースから対応する３次元形状モデルデータを取得し、得られた３次元形状モデルデータに対し、上記入力画像における撮影時の撮影方向および撮影時間に基づいて、上記各目標候補の種類および３次元形状モデルデータの複数の姿勢態様毎に、撮影時の陰影を付加して上記入力画像を模擬する２次元画像データを生成する画像シミュレータと、上記画像シミュレータから目標候補の種類および姿勢毎に生成される複数枚の２次元画像データが入力され、当該入力データをそれぞれ入力画像と比較照合して、上記入力画像に対応した目標候補の種類を特定する照合部と、を備えたものである。

この発明によれば、艦船や航空機などの機種の特定を、判読経歴が少ない判読要員でも容易にかつ機械的に判読することが可能となる。

この発明の実施の形態１による判読支援装置の構成を説明するための図である。この発明の実施の形態１による画像生成部の動作の流れを示す図である。観測条件による建物等の影の違いの一例を示す図である。観測条件による画像の明るさの違いの一例を示す図である。陰影の画像シミュレーションモデルの例を示す図である。

実施の形態１．
以下、図を用いてこの発明に係る実施の形態１について説明する。図１は実施の形態１による画像判読支援装置の構成を示す図である。

図１において、画像判読支援装置は、画像１を元にした入力情報および判読支援データベース２の格納情報に基づいて画像の判読支援情報を提供する入力部を構成する判読支援ツール３と、判読支援ツール３を用いて画像判読された候補機種４３について複数枚のシミュレーション画像７を生成する画像生成部４と、各シミュレーション画像７と画像１とを照合する自動照合部５と、自動照合部５により照合された照合結果を表示する結果表示部６とを備えて構成される。画像１は、衛星や航空機等の飛翔体に搭載される撮像装置を用いて、上空から地表を撮像することにより得られた空中撮影画像である。画像生成部４は、画像シミュレータ４１と、判読対象目標に関する色情報付きの３次元形状モデルを有した３Ｄ（３次元）モデルデータベース４２を備えている。結果表示部６は、照合結果として目標候補の種類を示す情報である判読対象目標の機種情報を表示する。

判読支援データベース２は、地表を撮影した画像１の判読支援を行うためのデータが予め入力されて格納されている。判読支援データは、航空機や艦船等の判読対象目標の特徴データと、判読対象目標の図面と、判読見本とから構成される。特徴データは、航空機の形状、色や、航空機の装備品等の特徴を示すデータによって構成される。判読支援ツール３は、入力装置と出力装置と表示装置を有し、判読支援データベース２に接続されている。

判読支援ツール３の表示装置は、入力される画像１を表示画面に表示する。画像を判読する判読員は、判読支援ツール３の表示装置に表示される画像１を閲覧して、航空機、艦船等の区分や、航空機であれば戦闘機、輸送機等の種別を判断し、判断した区分および種別情報を、入力装置を介して判読支援ツール３に入力する。判読支援ツール３は、判読支援データベース２から、形状、色等の特徴データを読み出し、特徴データを表示装置により画面表示することで、判読員に特徴データを提供する。判読支援データベース２から読み出す情報としては、例えば、航空機の場合には、機種の特徴を表す先端および翼の形状、垂直尾翼の枚数、エンジンの台数等がある。

判読員は、判読支援ツール３から提供される特徴データを参考として、目視にて画像１を確認し、後段の自動照合部５にて判読対象とすべき複数の候補機種を選定し、入力装置を介して選定した複数の候補機種を入力する。判読支援ツール３に入力された複数の候補機種４３は、画像生成部４に出力される。

この判読支援ツール３を用いた目視判読では、撮影時間、撮影分解能、撮影角度等の撮影条件の制約により、機種特定が困難な場合が多い。また、判読対象目標に関する情報は衛星画像１だけであり、判読対象目標の真の形状や設置状態を判読することができない。このため、判読支援ツール３の後段処理では、判読員の選定した複数の候補機種４３について、画像生成部４による画像シミュレーションを行うことにより、撮影条件、観測条件等をパラメータとしたシミュレーション画像７を作成し、画像１に類似した画像を作成する。すなわち、画像生成部４は、複数の候補機種４３に対応する３次元形状モデルに対して、撮影条件、観測条件、設置条件をパラメータとした複数枚のシミュレーション画像７を、それぞれ類似画像として作成して、機種特定の判読作業を支援する。これにより、判読作業における機種特定の精度を向上させる。

次に、画像生成部４について説明する。
図１において、画像生成部４は、３Ｄモデルデータベース４２と、３次元形状モデルを用いてシミュレーション画像を作成する画像シミュレータ４１と、パラメータ設定部４４とから構成される。画像生成部４は、画像１が入力されるとともに、判読支援ツール３から複数の候補機種４３が入力され、画像シミュレータ４１によって複数枚のシミュレーション画像７を生成し、生成した各シミュレーション画像７をそれぞれの候補機種４３を示す情報に対応付けて自動照合部５に出力する。３Ｄモデルデータベース４２は、判読対象目標の特徴を示す色情報と形状情報とから構成される判読対象目標の３次元形状モデルが、複数の判読対象目標毎に予め格納されている。

図２は画像生成部４のデータ処理動作の流れを示す図である。図３は観測条件による建物等の影の違いの一例を示す図であり、図４は観測条件による画像の明るさの違いの一例を示す図である。図５は陰影の画像シミュレーションモデルの例を示す図である。
図において、画像生成部４のパラメータ設定部４４は、まず画像１に付属するメタ情報から、撮影日時、飛翔体位置および高度、撮影角度、地表分解能等の撮像条件を抽出して、撮影方向を決定するための飛翔体と地表との位置関係に関するパラメータや、撮影時間に関するパラメータや、撮影解像度に関するパラメータを設定する。

次に、パラメータ設定部４４は、設定した撮影日時、飛翔体位置および高度、撮影角度、地表分解能等の撮影方向や撮影時間や解像度を含む撮影条件から、季節、気候等の観測条件に対応した大気モデル、エアロゾルモデル等の観測条件モデルを選択する。

パラメータ設定部４４は、夏、冬、春秋等の季節毎に、観測条件モデルとして設定する大気モデル、エアロゾルモデル等の特性データを、予めテーブル形式で蓄積している。
例えば、夏の日本周辺では、日照が強く、湿度の高い大気状態を模擬した大気モデルが観測条件のテーブルより呼び出されて、シミュレーション条件として設定される。

また、飛翔体の撮影した画像１は、太陽からの入射光に対して反射した反射光が結像した画像であるため、図３および図４に示すように、季節や場所や撮影時間によって明るさや影の長さ等が大きく異なる。
例えば、図３において、夏は太陽高度が高くなるので影の長さが短くなり、冬は太陽高度が低くなるので影の長さが伸びる。また、図４において、夏は画像が明るくなり、冬は画像が暗くなる。

そのため、画像シミュレータ４１の画像シミュレーションにおいても、観測条件により影の長さや画像の明るさを考慮したシミュレーションを行う。
画像シミュレータ４１は、シミュレーションの際に、パラメータ設定部４４により選択された大気モデル、エアロゾルモデル、季節や場所や撮影時間に対応して予め設定される単位高さ当たりの影の長さおよび方向を含む影ベクトル、画像の明るさ等の特性データを呼び出して、シミュレーション条件の設定を行う。

また、パラメータ設定部４４は、判読対象目標の方位角および仰角を与えるヘディング角、ロール角、ピッチ角等のターゲット設置条件の設定を行い、設定したターゲット設置条件を画像シミュレータ４１に入力する。このターゲット設置条件は、画像シミュレータ４１側からの制御によって逐次変更することができる。この際、判読員からの入力指示によって、例えばヘディング角度範囲やロール角度範囲等の条件変更の範囲を調整することが可能である。

そして、画像生成部４の画像シミュレータ４１は、撮像条件および観測条件モデルからなるこれらのシミュレーション条件の基で、３Ｄモデルデータベース４２から、それぞれの候補機種４３に対応した３次元形状モデルを呼び出す。複数の候補機種４３は、上述したように判読支援ツール３から入力される。

また、画像シミュレータ４１は、パラメータ設定部４４の調整によりヘディング角、ロール角、ピッチ角からなるターゲット設置条件を変化させるとともに、季節や場所や撮影時間に対応した単位高さ当たりの影ベクトルから生成した候補機種の陰影を模擬する影画像を加え、３Ｄモデルデータベース４２から呼び出した３次元形状モデルに対して、候補機種４３毎に、上記飛翔体の撮影方向からの撮影画像を模擬して、ターゲット設置条件に応じて異なる複数枚の２次元のシミュレーション画像７を生成する。生成した複数枚のシミュレーション画像７は、候補機種４３を示す情報に対応付けられて自動照合部５に出力される。

例えば、図５に示すように、候補機種４３に対応した３次元形状モデルのヘディング角を０度方向（東方向）に設定し、真夏の東京における午前７時の、衛星が真上から候補機種４３を見た影ベクトルが１９０度方向で、単位当たりの影ベクトルの長さがＬである場合を考える。ここで、候補機種４３は航空機であるとする。３次元形状モデル５０における垂直尾翼５１の高さがＨであるときに、Ｈ×Ｌに相当する長さの影が、西南方向に現れる。画像シミュレータ４１は、この真上から見た影のシミュレーションモデル５２を、３次元形状モデルを真上から見た２次元形状モデルに重ね合わせることで、２次元のシミュレーション画像を生成する。

また、画像１が衛星により撮像された衛星画像である場合、分解能によっては、ターゲットの向きや傾きも目視では読みとれない場合があるため、ヘディング角、ロール角などのターゲットの設置条件を、画像シミュレータ４１上で順次変化させて、画像１と類似する複数枚のシミュレーション画像を生成する。
例えば、空港の駐機場に駐機している航空機の場合には、航空機の機種方向を駐機場に対して数度刻みで回転させた航空機の３次元形状モデルを用いて、複数枚のシミュレーション画像を生成する。

自動照合部５では、画像１から形状、色等の特徴点を抽出して照合パターンを作成し、画像生成部４で作成した複数枚のシミュレーション画像７に対して、１枚ずつ照合パターンに基づくパターンマッチングによる相関照合を行い、総合的な類似度を算出する。そして、最も類似度の高いシミュレーション画像に対応した目標の候補機種を、画像１に含まれる判読対象目標の機種を特定し、特定した判読対象目標の機種を判読結果として、結果表示部６に表示する。

以上説明したとおり、実施の形態１の画像判読支援装置によれば、上記の目視判読において絞り込んだ複数の候補機種に対して、画像シミュレータ４１でそれぞれの候補機種の３次元形状モデル毎に、季節、気候等の観測条件、および方位、仰角等のターゲット設置条件を変化させて、複数枚のシミュレーション画像７を生成する。生成したそれぞれのシミュレーション画像７は、自動照合部５にて画像１と比較され、画像１と複数枚のシミュレーション画像７との間で、形状、色等の特徴点について相関照合が行われる。

すなわち、この画像判読支援装置は、飛翔体が上空から撮影した入力画像に基づいて、判読員が設定した複数の目標候補の種類を示す情報をそれぞれ入力する入力装置と、複数種類の目標候補の色および形状情報を有した３次元形状モデルデータが、それぞれの目標候補の種類を示す情報に対応付けられて、予め格納された３次元モデルデータベースと、撮影時の撮影方向、撮影時間および季節条件に対応して予め撮影時の陰影や明度の情報が格納され、上記入力装置から入力される各目標候補の種類を示す情報に基づいて、上記３次元モデルデータベースから各目標候補の種類に対応した３次元形状モデルデータを取得するとともに、得られた３次元形状モデルデータに対し、上記入力画像における撮影時の撮影方向、撮影時間および季節条件に基づいて、上記各目標候補の種類および３次元形状モデルデータの複数の姿勢態様毎に、撮影時の陰影や明度を付加して上記入力画像を模擬する２次元画像データをそれぞれ生成する画像シミュレータと、上記画像シミュレータによって目標候補の種類毎および姿勢毎に生成される複数枚の２次元画像データが入力され、当該入力された複数枚の２次元画像データをそれぞれ入力画像と比較照合し、入力画像に対応した目標候補の種類を特定する照合部とを備えたことを特徴とする。

このように、判読支援ツールと３次元形状モデルのシュミレーション画像と入力画像との自動照合とを併用した、総合的な画像判読支援を行うことにより、画像１の画像内に存在する像に基づいて機種特定を行う際の支援を行うことができるので、艦船や航空機などの機種の特定を、判読経歴が少ない判読要員でも容易にかつ機械的に判読することが可能となる。また、画像判読作業の半自動化を図ることができるので、判読時間の短縮に繋がる他、判読員による判読結果のばらつきを抑えることができ、判読精度の向上にも寄与する。

１画像、２判読支援データベース、３判読支援ツール、４画像生成部、５自動照合部、６結果表示部、７シミュレーション画像、４１画像シミュレータ、４２３Ｄモデルデータベース。

Claims

飛翔体が上空から撮影した入力画像に基づいて、判読員が設定した複数の目標候補の種類を示す情報をそれぞれ入力する入力装置と、
複数種類の目標候補の３次元形状モデルデータが格納された３次元モデルデータベースと、
撮影時の撮影方向および撮影時間に対応して予め撮影時の陰影情報が格納され、上記入力装置から入力される各目標候補の種類を示す情報に基づいて、上記３次元モデルデータベースから対応する３次元形状モデルデータを取得し、得られた３次元形状モデルデータに対し、上記入力画像における撮影時の撮影方向および撮影時間に基づいて、上記各目標候補の種類および３次元形状モデルデータの複数の姿勢態様毎に、撮影時の陰影を付加して上記入力画像を模擬する２次元画像データを生成する画像シミュレータと、
上記画像シミュレータから目標候補の種類および姿勢毎に生成される複数枚の２次元画像データが入力され、当該入力データをそれぞれ入力画像と比較照合して、上記入力画像に対応した目標候補の種類を特定する照合部と、
を備えた画像判読支援装置。