JP2001307106A - 目標物抽出・表示方法、及び、目標物抽出・表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、飛しょう体より取得した画像か
ら、複数種別の目標物を汎用的かつ効率的に抽出処理す
ることを課題とする。 【解決手段】 目標物の種別毎に最適な抽出方法を処理
管理部１１０にて管理する。これを用いて、自動抽出部
１２０では画像から複数種別の目標物を種別推定しなが
ら自動抽出し、手動抽出部１４０では目標物パラメータ
のいくつかを自動算出しながら手動抽出する。また、地
図データを用いて自動抽出処理や種別推定の精度を向上
する手段１２４を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、衛星画像や航空写
真など飛しょう体より取得した空中画像を解析して、地
物や移動物体などの目標物を抽出・表示する方法に係
り、特に、画像処理技術や画像認識技術を利用して効率
的な抽出処理を実現し、かつ目標物の種別を限定せず、
汎用的な抽出処理を可能とする技術に関わる。

【０００２】

【従来の技術】従来は、航空機専用や船舶専用など、特
定種別専用の目標物自動抽出システムが利用されてき
た。それらを用いて複数種別の目標物を空中画像から自
動抽出しようとすると、図１１に示す様に、抽出する目
標物の種別をあらかじめ特定してから、種別Ａ専用の抽
出処理１１００や種別Ｂ専用の抽出処理１１０１など、
該種別専用の複数の抽出処理を各々実行する必要があっ
た。

【０００３】また、一般に、撮影時の環境条件や目標物
の特性によっては、画像データのみからでは自動抽出処
理に十分な情報が得られないことがある。例えば空中画
像では、太陽の反射や影、または大気中の水蒸気などの
影響を受けたり、あるいは画像の解像度が十分でない、
さらには画像が白黒であるといった制約などを受けるこ
とがある。また、目標物についても、正午近く強い太陽
の照り返しが反射する海域の波間に浮かぶレジャーボー
トや、建材の素材や色により輝度が全く異なる住宅密集
地の家屋など、精度の良い自動抽出が困難であるものも
多い。そこで、抽出漏れを防ぐため、目標物である可能
性が少しでもある領域は全て抽出する、という方針が採
用されることが多かった。すなわち、抽出結果に誤りが
含まれることがあった。図１２は、その様な自動抽出処
理結果の例である。図１２（ａ）は船舶の自動抽出結果
の例１２００で、船舶１２０３を正しく抽出した結果１
２０４と、誤って航空機１２０１を抽出してしまった結
果１２０２が得られた様子である。また、図１２（ｂ）
は航空機の自動抽出結果の例１２１０で、航空機１２０
１を正しく抽出した結果１２１１と、誤って船舶１２０
３を抽出してしまった結果１２１２が得られた様子であ
る。

【０００４】一方、ユーザーの手動抽出により、目標物
の種別に関わらず、汎用的な抽出処理が可能なシステム
も利用されてきた。例えば、図１３に示す様な一般的な
画像処理システムなどである。図１３（ａ）は目標物検
出の例１３００で、ユーザーの目視確認１３０１などに
より画面１３０２上で目標物１３０３を検出し、発見し
た目標物について手動抽出していく。図１３（ｂ）はポ
リゴン構成点入力による手動抽出手段の例１３１０で、
目標物１３０３の構成点１３１１を順に指示入力し、手
動抽出結果１３１２を得た様子である。

【０００５】

【発明が解決しようとする課題】衛星画像などの空中画
像は撮影範囲が広いため、一画像中に複数種別の目標物
が多数写っている場合がある。ここで、あらかじめ目標
物の種別が分かっていれば、従来の種別専用目標物抽出
システムにより自動抽出処理が可能である。しかしなが
ら、ユーザーの興味が特定地域の監視などにある場合、
目標物の種別を特定せず、監視地域に侵入した全ての移
動物体などを抽出する必要がある。図１１に示した様な
従来の特定種別専用の目標物自動抽出システムは、その
様な汎用的な目標物自動抽出には対応してなかった。

【０００６】また、上記した様に、抽出漏れを防ぐた
め、目標物である可能性が少しでもある領域は全て抽出
する、という方針が採用されることがあった。ここで、
目標物が実際に存在している部分の画像は特徴的な領域
となっていることが多く、従来の特定種別専用システム
を用いて複数種別について抽出処理を行った場合、図１
２に示した様に一方の正しい抽出結果が他方の誤った抽
出結果となるなど、各種別の抽出結果の相互に誤りが含
まれることがあった。これにより、例えば、多数の空中
画像から複数種別の複雑な目標物を大量に抽出しようと
した場合、それら全ての抽出結果には膨大な量の誤りが
含まれる可能性があり、一つ一つ確認・修正作業するに
はユーザーへの負荷が大き過ぎた。

【０００７】また、図１３に示した様な画像処理システ
ムを用いれば汎用的な手動抽出が可能だが、その反面、
操作に手間がかかり、処理が非効率的であった。

【０００８】そこで本発明では、上記の様な問題を解決
し、様々な種別の目標物について、汎用的かつ効率的な
自動抽出処理を実現することを課題とする。さらに、種
別毎に別個になっていた抽出結果をまとめ、総合的な判
断に基づく抽出処理の認識率向上を課題とする。

【０００９】また、人手による手動抽出処理の際、作業
担当者毎に抽出範囲が微妙に異なってしまい、抽出結果
の品質にバラツキがでてしまう。ここで、近年、抽出さ
れた目標物を切り出して目標物画像データとし、それを
画像キーとして画像データベースに登録された他の画像
データと比較照合を行うマルチメディア情報検索や、画
像の特徴解析処理などが盛んになりつつある。よって、
自動抽出だけでなく、手動抽出処理であっても抽出範囲
や処理精度を均一とし、できるだけ一定品質の目標物画
像を得ることが重要である。

【００１０】そこで本発明では、上記の様な課題を解決
し、計算機による自動抽出結果や、複数の作業担当者が
分担して手動抽出した結果であっても、均一な品質の抽
出結果を得ることを課題とする。

【００１１】

【課題を解決するための手段】上記課題を解決するた
め、本発明は、地物や移動物体など目標物の種別や形状
に応じて最適な抽出方法や抽出パラメータを設定管理
し、自動抽出における抽出方法や抽出パラメータ、ある
いは手動抽出インターフェイス手段などを目標物に合わ
せて選択的に用いることで、汎用的かつ目標物に適した
効率的な抽出処理を実現する。

【００１２】また本発明は、自動抽出処理における個々
の目標物抽出処理の正確さを自己評価して個別抽出確度
情報を算出して正規化する手段と、異種目標物抽出処理
における抽出結果の重畳を判定する手段と、個別抽出確
度情報を比較して確度が高い抽出結果を採用する手段と
を備える。これら手段を組み合わせることで、目標物種
別をあらかじめ特定せずに自動抽出処理を行い、逆に抽
出結果の目標物種別を推定する機能を実現する。

【００１３】また、上記自動抽出処理の過程で、複数種
別の目標物に関する抽出結果を比較して統合し、ユーザ
ーに提示する前にあらかじめ適切に選定することで、総
合的な判定による認識精度向上を実現する。これによ
り、抽出漏れを防ぐため若干過剰気味の抽出処理を行い
ながらも、誤りが少ない目標物自動抽出結果を得ること
を可能とする。すなわち、ユーザーの抽出結果確認・修
正にかかる作業量を削減することができ、衛星画像など
広範囲を撮影した空中画像であっても、実用的な自動抽
出処理を実現する。

【００１４】また本発明は、上記個別抽出確度情報を総
合して全体抽出確度情報を算出する手段と、それら抽出
確度情報を表示する手段とを備える。これにより、個々
の目標物抽出処理や空中画像全体における抽出処理が適
切に行われたかを判断する基準を提供し、ユーザーの抽
出結果確認作業を支援する。

【００１５】さらに本発明は、地図データベースを活用
し、目標物の種別毎に存在可能性が高い領域を管理し
て、抽出処理範囲を適切に限定する手段を備える。これ
により、誤認識などの削減による抽出処理の精度向上
や、自動抽出した目標物の種別推定の精度向上を実現す
る。

【００１６】また本発明は、手動抽出に必要なパラメー
タのいくつかを入力することで、それ以外のパラメータ
を画像解析処理により計算推定する手動抽出インターフ
ェイス手段を備える。これにより、少ない手順で効率的
な目標物手動抽出を実現し、さらに均一な品質の抽出結
果を得ることを可能とする。

【００１７】

【発明の実施の形態】以下、本発明の一実施例について
詳細に説明する。

【００１８】図１は、本発明の一実施形態である目標物
抽出・表示装置の機能構成の例を示した図である。目標
物抽出・表示装置は、処理管理部１１０、自動抽出部１
２０、表示部１３０、手動抽出部１４０、データベース
部１５０、の５つの機能からなる。

【００１９】処理管理部１１０は、家屋や航空機など抽
出する目標物の種別を設定管理する目標物種別設定管理
手段１１１と、目標物の種別に応じて最適な抽出方法や
抽出パラメータを設定管理する最適抽出手法・パラメー
タ設定管理手段１１２と、目標物の種別に応じて該目標
物が存在する可能性の高い領域を地図データ種別と対応
付けて設定管理する存在可能性領域設定管理手段１１３
からなる。各種設定の登録はユーザーの指定により行う
が、処理管理データ１５７などにあらかじめ用意してお
いた初期値を利用しても良い。

【００２０】自動抽出部１２０は、目標物の存在を検出
し該目標物の目標物パラメータを計算推定して抽出処理
を自動で行う自動抽出手段１２１と、上記抽出処理にお
ける処理の正確さを自己評価し個別抽出確度情報や全体
抽出確度情報などの抽出確度情報（ＡＯＥ：Ａｃｃｕｒ
ａｃｙ ｏｆ Ｅｘｔｒａｃｔｉｏｎ）を算出する抽出確
度情報算出手段１２２と、複数の抽出結果の重畳を判定
し、抽出確度情報を比較してより正確な抽出結果を採用
する抽出結果比較判定登録手段１２３と、存在可能性領
域設定管理手段１１３に管理されている情報に基づき地
図データ１５５や地図属性データ１５６を用いて、抽出
処理範囲を限定するマスク処理を行ったり抽出パラメー
タなどを変更する地図処理手段１２４からなる。

【００２１】表示部１３０は、空中画像を表示する空中
画像表示手段１３１と、抽出確度情報を表示する抽出確
度情報表示手段１３２と、地図情報を表示する地図表示
手段１３３と、空中画像や地図情報や抽出結果などの属
性情報を表示する属性表示手段１３４からなる。

【００２２】手動抽出部１４０は、マウスやキーボード
などの入力インターフェイス手段よりユーザーからの操
作入力を受け付ける操作入力部１４１と、該操作入力部
より入力されたパラメータから、目標物の抽出に必要な
他の未入力パラメータを画像処理技術を用いて計算推定
する画像処理部１４２と、上記抽出処理における処理の
正確さを自己評価し個別抽出確度情報を算出する抽出確
度情報算出手段１４３からなる。

【００２３】データベース部１５０は、抽出処理を行な
う空中画像１５１と、該空中画像に関する撮影情報など
の空中画像属性データ１５２と、抽出処理により抽出登
録される目標物画像１５３と、該目標物画像に関する撮
影情報や位置情報、目標物パラメータなどの目標物属性
データ１５４と、海岸線や道路境界線などの地図データ
１５５と、該地図データの種別などデータ内容や関連情
報を記述した地図属性データ１５６と、抽出処理におけ
る抽出方法や抽出パラメータなどの情報を格納管理する
処理管理データ１５７からなる。ここで、目標物画像１
５３については、直接画像データとして格納管理しない
で、目標物が写っている空中画像と画像上での位置など
の情報をメタデータとして目標物属性データ１５４のみ
で管理し、必要に応じて該メタデータを参照して元空中
画像から目標物画像１５３を切り出して利用しても良
い。

【００２４】これら５つの機能は、データの流れを通
じ、連携して抽出処理を行なう。すなわち、処理管理部
１１０はデータベース部１５０から処理管理データ１５
７を取得し１００、あるいは処理管理部１１０で新たに
設定したパラメータ等を処理管理データ１５７としてデ
ータベース部１５０に格納する１０１。自動抽出部１２
０や表示部１３０や手動抽出部１４０では、処理管理部
１１０にて管理されている抽出パラメータ等を用いて適
切な処理を行なう１０２。自動抽出部１２０では、自動
抽出処理を行なう空中画像１５１をデータベース部１５
０から取得して自動抽出処理を行ない１０３、抽出結果
を表示部１３０に渡して表示処理を行なったり１０４、
あるいはデータベース部１５０に登録格納する１０７。
また、自動抽出処理を行なわず、空中画像１５１を直接
表示部１３０に渡して表示処理することもできる１０
３。手動抽出部１４０は、表示部１３０にて表示された
画像上で手動抽出処理を行ない１０５、手動抽出結果を
表示部１３０に返して表示処理を行なったり１０６、あ
るいはデータベース部１５０に登録格納する１０７。

【００２５】以上、目標物抽出・表示装置の一構成例に
ついて説明したが、これ以外にも、自動抽出部１２０や
データベース部１５０をサーバとし、表示部１３０や手
動抽出部１４０や処理管理部１１０などをクライアント
とすることで、クライアント／サーバ構成のシステムが
実現できる。該構成により、大規模な目標物抽出・表示
装置の実装が可能となり、また既存データベースシステ
ムなどとの連携も可能となる。

【００２６】続いて、図２から図５を用いて自動抽出処
理の詳細について説明する。

【００２７】図２は、目標物種別指定型の自動抽出処理
のフロー図である。

【００２８】図２（ａ）は、自動抽出処理全体のフロー
図である。空中画像の入力２００に対し、まず目標物の
種別を設定し２０１、該種別の目標物抽出に最適な抽出
手段を選択する２０２。また、地図データを用いて目標
物が存在する可能性の高い領域を特定し、該領域毎にマ
スク処理して抽出処理範囲を限定したり、処理パラメー
タなどを変更する２０３。続いて、図２（ｂ）に後述す
る自動抽出処理を実行する２０４。さらに、図７に後述
する全体抽出確度情報を算出し２０５、抽出結果を出力
して処理を終了する２０６。

【００２９】ここで、目標物種別設定２０１について
は、既に登録されている設定を初期値としてそのまま利
用するなど、処理を行なう度にユーザーは毎回設定しな
くても良い。あるいは、空中画像入力２００と同時に目
標物種別もパラメータ入力しても良い。また、最適抽出
手段選択２０２については、通常は処理管理部１１０よ
り設定を取得して選択実行するが、ユーザーが直接設定
しても良い。

【００３０】また、既に処理管理部１１０に最適抽出手
段が登録されている目標物を抽出する際には、目標物種
別設定２０１を行うことで処理管理部１１０の最適抽出
手法・パラメータ設定管理手段１１２により自動的に最
適な抽出手段の選択２０２が可能となるが、最適抽出手
段が未登録の目標物種別については、ユーザーが抽出手
段を直接選択するか、あるいは最適抽出手法・パラメー
タ設定管理手段１１２に対し抽出手段を登録する必要が
ある。

【００３１】一方、図２（ｂ）は、図２（ａ）に示した
自動抽出処理２０４の詳細処理フロー図である。まず画
像処理技術など用いて、ノイズ除去や目標物強調などの
前処理を行う２１０。続いて目標物の存在を検出して、
目標物存在位置を得る２１１。さらに検出された全ての
目標物について２１２、詳細な画像解析処理を行ない、
目標物パラメータを計算推定して抽出処理を行う２１
３。最後に該抽出処理の個別抽出確度情報を算出して２
１４、抽出処理を終了する。

【００３２】ここで、目標物パラメータ抽出について
は、自動抽出処理に適した画像認識技術などを用いた目
標物抽出機能を用意して抽出処理しても良いが、図９に
後述する手動抽出インターフェイス手段を適用すること
で、機能の共通化が可能となる。その際、自動抽出手段
が行なうべき処理は、ユーザーが手入力すべき情報を画
像処理技術や画像認識技術により自動で計算推定して、
それを手動抽出インターフェイスに渡すだけとなる。

【００３３】以上の処理により、様々な目標物種別に適
した自動抽出処理を、一つのシステム上で汎用的に実現
することができる。

【００３４】図３は、図２で述べた目標物種別指定型の
自動抽出処理を拡張した、全目標物種別対応型の自動抽
出処理のフロー図である。

【００３５】空中画像の入力２００に対し、まず全ての
目標物種別について３００、自動抽出処理を行なう。す
なわち、各種別に最適な抽出手段を選択し２０２、地図
を用いた抽出処理対象範囲の限定などマスク処理を行な
い２０３、自動抽出処理を実行して２０４、全体抽出確
度情報を算出する２０５。これら処理は図２（ａ）に示
した手順と同様であり、また自動抽出処理２０４も図２
（ｂ）と同じ処理である。以上の自動抽出処理を複数回
実行して得られた全ての抽出結果について３０１、まず
抽出結果の重複判定を行なう３０２。重複がある場合、
複数の種別として抽出されているため、正しい種別を推
定する。すなわち、重複する全ての抽出結果について３
０３、個別抽出確度情報の比較判定を行なう３０４。個
別抽出確度情報は正規化されているため、異なる種別の
抽出処理についても正確度を比較でき、最も確度が高い
抽出結果を採用する３０５。また、重複が無い場合はそ
のまま抽出結果とし３０６、最後に抽出結果を出力して
処理を終了する２０６。

【００３６】また、ここでは種別毎の抽出３００を行な
ってから各抽出結果について種別推定３０１を行なうル
ープ処理について説明したが、逆に、各目標物に対して
複数種別の抽出を実行していくループ処理にしても良
い。その際、まず抽出確度情報を算出し比較すること
で、確度の高い結果が得られる種別の抽出処理のみを行
なえば、処理量や誤抽出結果を減らすこともできる。

【００３７】以上の処理により、複数種別の目標物が写
っている空中画像や、目標物の種別が特定できない監視
業務などにおいても、自動抽出処理による効率的な目標
物抽出が可能となる。

【００３８】図４は、図３で説明した全目標物種別対応
型の自動抽出処理の処理例を示した図である。

【００３９】図４（ａ）は、複数種別の目標物が写って
いる空中画像について、これら目標物の種別を自動推定
して自動抽出した結果を画面表示した例４００である。
目標物４０１の抽出結果４０２には、抽出処理が適切に
行われた場合には「○」、失敗の可能性がある場合には
「△」、失敗の可能性が高い場合には「×」など記号表
示された個別抽出確度情報と、各抽出結果における推定
目標物種別の文字列４０３が表示されている。ここで、
ＩＤ１の目標物は「Ａｉｒｐｌａｎｅ」、ＩＤ３の目標
物は「Ｓｈｉｐ」という特定種別の目標物として抽出さ
れた結果の例である。一方、ＩＤ２の目標物について
は、抽出確度情報が高い「Ａｉｒｐｌａｎｅ」と、抽出
確度情報が低い「Ｓｈｉｐ」という、複数種別の目標物
として抽出された結果の例である。この様に、ユーザー
の判断を支援するため、確度の低い抽出結果４０４と推
定目標物種別４０５も表示したり、あるいは一定以上の
確度の抽出結果のみを表示しても良い。

【００４０】また、目標物種別推定にあたり、各種別の
目標物が存在する可能性が高い領域を地図データより取
得し、種別推定の精度向上を図っている。図４（ｂ）
は、海岸線の地図データ４１１より作成した、船舶存在
可能性領域４１２の例４１０である。これにより、船舶
の自動抽出処理は海域のみで実行され、陸域で船舶抽出
処理を行った場合に発生するであろう誤認識を確実に削
減することができる。また図４（ｃ）は、同様にして作
成した、航空機存在可能性領域４１４の例４１３であ
る。これにより、航空機の自動抽出処理は、陸上、海上
を問わず、全ての領域について実行される。

【００４１】また、図４（ｄ）は、上記存在可能性領域
を考慮して複数種別の目標物を抽出した結果について、
目標物種別毎の個別抽出確度情報を表示した一覧表４２
０である。各目標物で最も高い個別抽出確度情報の欄に
はアンダーラインを、また、存在可能性領域のマスク処
理により抽出されなかった欄には「＊．＊」を記述して
ある。ＩＤ１の目標物については、船舶存在可能性領域
４１２からはずれており、船舶としての抽出処理は行わ
れていないことが分かる。また、ＩＤ２とＩＤ３の目標
物については、航空機と船舶の両方として抽出処理され
ている。ＩＤ２の目標物については、両個別抽出確度情
報とも比較的高い数値となっており、ユーザーの判断を
必要とする可能性があるため、画面上に複数種別の抽出
結果４０４を表示している。この様に、個別抽出確度情
報の一覧表は、表示してユーザーの確認作業を支援して
も良いし、あるいは一覧表自体は表示せず、その内容に
基づいた抽出結果のみを表示しても良い。

【００４２】以上述べた様に、目標物種別に適した地図
データを用いて抽出処理範囲を適切に限定することで、
画像処理技術だけでは区別できない目標物種別の推定機
能を含む抽出処理が可能となる。また、ノイズや類似物
などの誤認識を確実に削減することもでき、抽出処理作
業の効率化に大きく寄与する。これら目標物種別と地図
データ種別の対応関係は、処理管理部１１０の存在可能
性領域設定管理手段１１３により管理され、データベー
ス部１５０の処理管理データ１５７として格納し、再利
用される。

【００４３】図５は、自動抽出結果の利用例を示した図
である。抽出結果からは、目標物の存在する範囲を切り
出した目標物画像１５３や、目標物の存在位置などに関
する目標物属性データ１５４を得ることができ、以下に
述べる様な方法で利用される。

【００４４】図５（ａ）は、抽出結果５００を空中画像
５０１上に表示する例で、全体のコンテキストの中で目
標物の存在やその位置、向きなどを示すことができる。
これにより、個別の抽出結果のみを表示する場合に比
べ、総合的な確認が可能となる。

【００４５】また図５（ｂ）は、複数の抽出結果５００
を目標物画像リスト５０２として一覧表示する例で、複
数の抽出処理が適切に行われたか、効率良く確認でき
る。さらに、目標物の大きさによって適切な画像処理を
行ない、拡大・補間・縮小した目標物画像を表示すれ
ば、視覚判読効果の高い一覧表示が可能となる。さら
に、画像リストだけではなく、文字情報による一覧表示
も可能であり、それら両者を組み合わせることで、効果
的な表示インターフェイスが実現できる。

【００４６】また図５（ｃ）は、抽出結果５００を目標
物画像５０３として個別に表示する例で、抽出処理が適
切に行われたかを詳細に確認できる。さらに、小型の目
標物を拡大したり、逆に大型の目標物を縮小して表示す
ることで、効率的な確認作業や修正作業を支援するイン
ターフェイスなどが実現できる。

【００４７】また図５（ｄ）は、抽出結果５００を目標
物画像データや目標物属性データとして、データベース
部１５０に直接登録処理する例である。これにより、大
量の空中画像を一度に自動抽出処理にかけ、抽出結果を
データベースに格納しておき、後で確認するといった形
態の利用が可能となる。

【００４８】また図５（ｅ）は、抽出結果より二次情報
を生成して提供する例である。具体的には、抽出結果の
位置を判定し、特定の領域内にあった場合には警報５０
４を発したり、あるいは抽出処理レポートや抽出処理結
果に関する各種属性データ５０５などを提供できる。

【００４９】以上、自動抽出部による自動抽出結果を例
に説明したが、手動抽出部による手動抽出結果に関して
も、同様の表示や利用が可能である。

【００５０】続いて、図６と図７を用いて抽出確度情報
の表示例について詳細に説明する。

【００５１】図６は、各目標物の抽出処理における処理
の正確度を自己評価して算出した、個別抽出確度情報の
表示利用例である。

【００５２】図６（ａ）は、抽出元の空中画像６００上
に抽出結果を枠線で表示し、各抽出結果について個別抽
出確度情報を記号で併記する例である。抽出処理が適切
に行われた抽出結果６０１には「○」記号６０２を、失
敗の可能性がある抽出結果６０３には「△」記号６０４
を、失敗の可能性が高い抽出結果６０５には「×」記号
６０６などと表示した例である。あるいは、空中画像と
は別の表示インターフェイス手段に個別抽出確度情報を
表示しても良い。その際、別々に表示される各抽出結果
と個別抽出確度情報を対応付けるため、抽出結果と個別
抽出確度情報表示インターフェイスに各々識別子などを
表示して対応付けても良い。

【００５３】また、図６（ｂ）は、抽出結果６０１や属
性データ６１１などを一覧表示し、各抽出結果について
個別抽出確度情報を記号で併記する例６１０である。あ
るいは、画像を表示せず、文字情報のみで一覧表を作成
して表示することもできる。

【００５４】また、図６（ｃ）は、抽出結果６０１や個
別属性データ６２１などを個別表示し、該抽出結果につ
いて個別抽出確度情報を記号で併記する例６２０であ
る。個々の抽出結果を詳細に確認する場合などに有効な
方法である。

【００５５】以上、個別抽出確度情報を表示利用する例
について述べたが、表示以外にも、目標物属性データ１
５４などとしてデータベース部１５０に直接登録するこ
ともできる。

【００５６】図７は、全体抽出確度情報の表示利用例で
ある。全体抽出確度情報は、上記した個別抽出確度情報
を総合して算出するもので、空中画像全体における目標
物抽出処理の正確度を示す情報である。

【００５７】図７（ａ）は、全体抽出確度情報７００を
画面インターフェイス７０１上に表示する例である。空
中画像７０２や抽出結果７０３、そして全体抽出確度情
報７００を同時に見ることが出来るため、総合的な処理
内容の確認が可能である。

【００５８】また、図７（ｂ）は、全体抽出確度情報を
一覧表示する例７０４である。例えば、複数の画像を一
度に抽出処理した場合や、データベースに登録されてい
る複数空中画像の抽出結果などを確認したい場合、この
様に一覧表示することで、効率良く全体状況を把握でき
る。

【００５９】また、図７（ｃ）は、全体抽出確度情報を
用いて、二次的な情報７０５をユーザーに提示７０６す
る例である。例えば、抽出処理プログラムに空中画像か
らの目標物抽出を実行させた場合、抽出処理プログラム
からユーザーに対して処理終了などのメッセージを表示
することが多い。その際、修正が必要な抽出結果が含ま
れている可能性がある場合に注意を促すメッセージを表
示したり、あるいは処理結果Ｒｅｐｏｒｔなどを表示す
ることができる。また、空中画像の空中画像属性データ
１５２として、データベース部１５０に直接登録するこ
ともできる。

【００６０】以上、個別抽出確度情報と全体抽出確度情
報を別個に利用する例について説明したが、両抽出確度
情報を併用しても良い。例えば、図６（ａ）の様に空中
画像上の抽出結果について個別抽出確度情報６０２を示
し、さらに図７（ａ）の様にその空中画像自体にも全体
抽出確度情報７００を示す、などの利用である。また、
目標物種別により異なる抽出手法が採用されることもあ
り、抽出確度情報は適切な統計処理により０．０〜１．
０などの値に正規化しておく。これにより、異なる種別
の目標物抽出処理結果であっても、抽出結果同士の正確
度比較が可能となり、図３で述べた全目標物種別対応型
の自動抽出処理が可能となる。また、自動抽出処理の正
確度に関して抽出確度情報を算出して利用する例を中心
に説明したが、後述する手動抽出処理の正確度に関する
抽出確度情報についても同様である。また、抽出確度情
報を記号表示する例について説明したが、記号の代わり
に抽出結果の枠の表示色を変えたり、文字列や数値など
として表示することもできる。抽出確度情報と表示内容
の対応例を表１に示す。

【００６１】

【表１】

【００６２】以上述べた抽出確度情報により、抽出処理
に対するユーザーの判断を支援する情報を提供できるだ
けでなく、抽出結果の目標物種別推定も可能となる。

【００６３】続いて、図８から図１０を用いて、手動抽
出処理について詳細に説明する。

【００６４】図８は、目標物種別指定型の手動抽出処理
のフロー図である。具体的には、目視で検出した目標物
を手動抽出したり、あるいは満足な結果が得られなかっ
た自動抽出結果を手動で修正する、といった場合におけ
る処理の手順を示したものである。

【００６５】図８（ａ）は、目標物毎に種別を設定して
手動抽出を行なう場合の処理の流れである。空中画像の
入力２００に対し、全ての目標物について８００、まず
種別を設定し２０１、該種別の抽出に適した抽出手段を
選択して２０２、図９に後述する手動抽出処理を行ない
８０１、該抽出処理における個別抽出確度情報を算出し
８０２、抽出結果を出力して処理を終了する２０６。以
上の手順により、様々な種別の目標物が写っている空中
画像についても、手動抽出が可能となる。

【００６６】一方、図８（ｂ）は、全目標物について一
括して種別設定を行なう場合の処理の流れである。空中
画像の入力２００に対し、まず目標物の種別を設定し２
０１、該種別の抽出に適した抽出手段を選択する２０
２。続いて、全ての目標物について８００、図９に後述
する手動抽出処理を行ない８０１、該抽出処理における
個別抽出確度情報を算出し８０２、抽出結果を出力して
処理を終了する２０６。以上の手順により、ある種別の
目標物が多数写っている空中画像からも、効率の良い手
動抽出処理が可能となる。

【００６７】ここで、目標物種別設定２０１について
は、処理を行なう度に毎回設定しなくても良い。すなわ
ち、既に処理管理部１１０に登録されている設定情報
や、データベース部１５０の処理管理データ１５７な
ど、あらかじめ登録された設定を初期値としてそのまま
利用しても良い。また、既に処理管理部１１０に最適抽
出手段が登録されている目標物を抽出する際には、目標
物種別設定２０１を行うことで処理管理部１１０の最適
抽出手法・パラメータ設定管理手段１１２により自動的
な最適抽出手段選択２０２が可能となるが、最適抽出手
法が未登録の目標物種別については、ユーザーが抽出手
段を直接選択するか、あるいは最適抽出手法・パラメー
タ設定管理手段１１２に抽出手段を登録する。

【００６８】以上の処理により、様々な目標物種別に適
した手動抽出処理を、一つのシステム上で汎用的に実現
することができる。

【００６９】続いて、図９を用いて、図８の手動抽出処
理８０１について詳細に説明する。図９は、手動抽出イ
ンターフェイス手段とそれを用いた手動抽出処理の実施
例を示した図である。

【００７０】これらは、図１に示した手動抽出部１４０
の操作入力部１４１と画像処理部１４２の連携により、
半自動的な抽出処理を実現する。すなわち、操作入力部
１４１は、ユーザーから画面上での位置の指定や目標物
パラメータの入力等を受け付ける。また、画像処理部１
４２は、エッジ認識などの画像解析処理を行い、入力パ
ラメータを元にその他のパラメータを計算推定する機能
を提供する。計算推定されたパラメータは操作入力部１
４１に渡され、ユーザー操作の初期値として自動入力さ
れる。該初期値が正しい場合、ユーザーはパラメータを
入力する必要がなく、目標物パラメータは全て抽出さ
れ、手動抽出処理は完了となる。また、該初期値が不適
切な場合であっても、ユーザーはパラメータの若干の微
調整を行うだけで、手動抽出処理は完了となる。

【００７１】例えば、図９（ａ）は、ガスタンクや樹木
など、円形領域をなす目標物９０１の手動抽出の実施例
９００である。ユーザーはまず中心点９０２を画面上で
指示入力する。続いて、画像処理部１４２は該入力点９
０２を中心とする円の半径を次第に拡大して、画像との
一致度が最も高い半径を探索し９０３、得られた円領域
９０４を抽出結果とする。該半径が不適切な場合には、
マウス操作やキーボード入力など、手動で半径を微調整
する。場合によっては、中心点９０２の位置を移動して
微調整しても良い。

【００７２】また、図９（ｂ）は、船舶など、中心線を
特定しやすく、かつ左右対称構造をなす単純な形状の目
標物９１１の手動抽出の実施例９１０である。ユーザー
はまず始点９１２と終点９１３を画面上で指示して、中
心線９１４を入力する。続いて、画像処理部１４２は該
中心線９１４から矩形を次第に広げていき、画像との一
致度が最も高い矩形幅を探索し９１５、得られた矩形領
域９１６を抽出結果とする。該矩形幅が不適切な場合に
は、マウス操作やキーボード入力など、手動で幅を微調
整する。場合によっては、中心線９１４の位置を移動し
て微調整しても良い。

【００７３】また、図９（ｃ）は、航空機など、中心線
を特定しやすく、かつ左右対象構造をなす複雑な形状の
目標物９２１の手動抽出の実施例９２０である。最適抽
出手法・パラメータ設定管理手段１１２では、典型的な
目標物の形状を記述した目標物テンプレート９２２を用
意しておく。ユーザーはまず始点９２３と終点９２４を
画面上で指示して、中心線９２５を入力する。続いて、
画像処理部１４２は該中心線９２５からテンプレートを
次第に広げていき、画像との一致度が最も高いテンプレ
ート幅を探索し９２６、得られたテンプレート領域９２
７を抽出結果とする。該テンプレート幅が不適切な場合
には、マウス操作やキーボード入力など、手動でテンプ
レート幅を微調整する。場合によっては、中心線９２５
の位置を移動したり、テンプレート９２２自体を修正し
て微調整しても良い。

【００７４】また、図９（ｄ）は、大型の車両など、四
隅を特定しやすい矩形領域をなす目標物９３１の手動抽
出の実施例９３０である。ユーザーはまず始点９３２と
終点９３３を画面上で指示して、対角線９３４を入力す
る。続いて、画像処理部１４２は該対角線９３４を直径
とする円９３５を求め、該円９３５に内接しつつ該対角
線９３４をなす矩形の中から、画像との一致度が最も高
い矩形を探索し９３６、得られた矩形領域９３７を抽出
結果とする。該矩形が不適切な場合には、マウス操作や
キーボード入力など、手動で矩形の角度を微調整する。
場合によっては、対角線９３４の位置を移動して微調整
しても良い。

【００７５】また、図９（ｅ）は、道路や突堤など、細
長い帯状の領域をなす目標物９４１の手動抽出の実施例
９４０である。ユーザーはまず骨格線９４２を構成する
複数の骨格点９４３を画面上で指示入力する。続いて、
画像処理部１４２は該骨格線９４２の各線分を広げてい
き、画像との一致度が最も高い帯幅９４５を探索し９４
４、得られた帯状領域９４６を抽出結果とする。該帯幅
が不適切な場合には、マウス操作やキーボード入力な
ど、手動で帯幅を微調整する。場合によっては、骨格点
の位置を移動して微調整しても良い。

【００７６】これら手動抽出インターフェイス手段を用
いることで、効率的な操作入力が可能になり、大量の空
中画像や目標物を扱うことが可能となる。また、画像処
理を用いて幅など特定が難しい目標物パラメータを自動
算出するため、複数の人員で分担して作業した場合など
でも抽出パラメータに個人差が少なく、抽出結果の品質
が均一となる。これにより、抽出結果画像同士の比較照
合や特徴解析など、抽出結果の有効かつ正確な二次利用
が可能となる。

【００７７】ここで、図１に示した処理管理部１１０で
は、上記した様な目標物と抽出ツールの対応関係などを
管理し、目標物に適した手動抽出ツールを利用可能とす
る。また、データベース部１５０では上記対応関係など
を処理管理データ１５７として格納管理し、処理管理部
１１０からの要求に応じて適切に情報を提供する。ま
た、それら管理情報の柔軟な登録変更を可能とすること
で、本発明の目的の一つである汎用性を高めることがで
きる。

【００７８】図１０は、手動抽出処理の様子を示した図
である。

【００７９】図１０（ａ）は、表示された空中画像１０
００上で操作入力を行ない、手動抽出処理を行なう例で
ある。全体状況を確認しながらの操作入力が可能とな
り、複数の目標物抽出であっても均一な処理結果を得や
すい。一方、図１０（ｂ）は、空中画像の一部を部分的
に拡大した部分拡大画像１００１上で操作入力を行な
い、手動抽出処理を行なう例である。拡大の際に適切な
画像処理技術で画素を補間することで、より詳細な目標
物の指定が可能となり、正確な手動抽出が可能となる。

【００８０】

【発明の効果】本発明によれば、目標物の種別に応じて
最適な抽出処理方法や抽出パラメータを管理でき、それ
らを用いて適切な自動抽出処理や効率的な手動抽出処理
が可能となる。また、抽出処理の正確さを自己評価して
抽出確度情報として提供することで、抽出処理が適切に
行なわれたかを効率良く確認できる。さらに、異なる種
別の目標物抽出結果における正確度をも一律に比較する
ことができ、抽出した目標物の種別推定が可能となる。
また、該種別推定により、目標物種別を特定しない汎用
的な自動抽出処理が、一つの抽出処理システム上で実現
可能となる。さらに、地図データベースを活用し、目標
物の種別に応じて存在可能性が高い領域を管理し、抽出
処理範囲などを適切に限定することで、抽出処理の精度
向上や、目標物種別推定の精度向上が可能となる。

【００８１】また、本発明によれば、画像処理によりパ
ラメータを自動算出する手動抽出インターフェイス手段
を用いて、目標物種別毎に最適な抽出処理を行うこと
で、少ない操作手順で効率的な目標物の手動抽出処理が
可能となる。これにより、十分な情報が得られない画像
からの自動抽出で、誤った抽出結果が多数含まれている
場合などでも、効率の良い修正作業が可能となる。さら
に、画像処理技術を用いたパラメータ自動算出により、
複数人員による分担作業などを行っても、均一な品質の
抽出結果が得られる。これにより、抽出結果を画像キー
として画像データベースにマルチメディア検索を行なう
など、抽出結果の有効かつ正確な二次利用が可能とな
る。

【００８２】これらの効果より、多種多様な種別の目標
物を汎用的に扱いながら、効率の良い抽出処理システム
を実現できる。これにより、目標物抽出処理におけるユ
ーザーの負荷を軽減できる。また、空中画像を用いた地
域監視業務など、高度な応用業務も可能となる。

【図面の簡単な説明】

【図１】本発明における機能構成例である。

【図２】本発明における目標物種別指定型自動抽出処理
のフローである。

【図３】本発明における全目標物種別対応型自動抽出処
理のフローである。

【図４】本発明における全目標物種別対応型自動抽出処
理例である。

【図５】本発明における自動抽出処理結果の利用例であ
る。

【図６】本発明における個別抽出確度情報の表示例であ
る。

【図７】本発明における全体抽出確度情報の表示例であ
る。

【図８】本発明における目標物種別指定型手動抽出処理
のフローである。

【図９】本発明における手動抽出インターフェイス手段
例である。

【図１０】本発明における手動抽出処理例である。

【図１１】従来の自動抽出処理のフローである。

【図１２】従来の自動抽出処理結果例である。

【図１３】従来の手動抽出処理例である。

【符号の説明】

１００…処理管理データ取得、１０１…処理管理データ
格納、１０２…抽出パラメータ取得、１０３…空中画像
データ取得、１０４…自動抽出結果、１０５…表示結
果、１０６…手動抽出結果、１０７…抽出結果格納、１
１０…処理管理部、１１１…目標物種別設定管理手段、
１１２…最適抽出手法・パラメータ設定管理手段、１１
３…存在可能性領域設定管理手段、１２０…自動抽出
部、１２１…自動抽出手段、１２２…抽出確度情報算出
手段、１２３…抽出結果比較判定登録手段、１２４…地
図処理手段、１３０…表示部、１３１…空中画像表示手
段、１３２…抽出確度情報表示手段、１３３…地図表示
手段、１３４…属性表示手段、１４０…手動抽出部、１
４１…操作入力部、１４２…画像処理部、１４３…抽出
確度情報算出手段、１５０…データベース部、１５１…
空中画像、１５２…空中画像属性データ、１５３…目標
物画像、１５４…目標物属性データ、１５５…地図デー
タ、１５６…地図属性データ、１５７…処理管理デー
タ、２００…空中画像、２０１…目標物種別設定、２０
２…最適抽出手段選択、２０３…地図マスク処理、２０
４…自動抽出処理、２０５…全体抽出確度情報算出、２
０６…抽出結果、２１０…前処理、２１１…目標物検
出、２１２…全目標物、２１３…目標物パラメータ抽
出、２１４…個別抽出確度情報算出、３００…全目標物
種別、３０１…全抽出結果、３０２…抽出結果の重複判
定、３０３…全重複抽出結果、３０４…個別抽出確度情
報の比較、３０５…抽出結果確定登録処理、３０６…抽
出結果確定登録処理、４００…全目標物種別対応型自動
抽出処理結果例、４０１…目標物、４０２…抽出結果、
４０３…文字列、４０４…確度の低い抽出結果、４０５
…推定目標物種別、４１０…船舶存在可能性領域表示
例、４１１…海岸線地図データ、４１２…船舶存在可能
性領域、４１３…航空機存在可能性領域表示例、４１４
…航空機存在可能性領域、４２０…個別抽出確度情報の
一覧表示例、５００…抽出結果、５０１…空中画像、５
０２…目標物画像リスト、５０３…目標物画像個別表
示、５０４…警報、５０５…属性データ、６００…空中
画像、６０１…正しい抽出結果、６０２…正しい個別抽
出確度情報、６０３…誤りの可能性がある抽出結果、６
０４…誤りの可能性がある個別抽出確度情報、６０５…
誤りの可能性が高い抽出結果、６０６…誤りの可能性が
高い個別抽出確度情報、６１０…一覧表示、６１１…属
性データ一覧表示、６２０…個別表示、６２１…個別属
性データ、７００…全体抽出確度情報、７０１…画面イ
ンターフェイス、７０２…空中画像、７０３…抽出結
果、７０４…一覧表示、７０５…二次的な情報、７０６
…情報提示、８００…全目標物、８０１…手動抽出処
理、８０２…個別抽出確度情報算出、９００…円形領域
手動抽出例、９０１…目標物、９０２…中心点、９０３
…半径探索、９０４…抽出結果、９１０…矩形領域手動
抽出例、９１１…目標物、９１２…始点、９１３…終
点、９１４…中心線、９１５…矩形幅拡大、９１６…抽
出結果、９２０…テンプレート手動抽出例、９２１…目
標物、９２２…テンプレート、９２３…始点、９２４…
終点、９２５…中心線、９２６…テンプレート幅探索、
９２７…抽出結果、９３０…矩形領域手動抽出例、９３
１…目標物、９３２…始点、９３３…終点、９３４…対
角線、９３５…円、９３６…内接矩形探索、９３７…抽
出結果、９４０…帯領域手動抽出例、９４１…目標物、
９４２…骨格線、９４３…骨格点、９４４…帯幅探索、
９４５…帯幅、９４６…抽出結果、１０００…空中画
像、１００１…部分拡大画像、１１００…種別Ａ専用自
動抽出処理、１１０１…種別Ｂ専用自動抽出処理、１２
００…船舶自動抽出例、１２０１…航空機目標物、１２
０２…誤抽出結果、１２０３…船舶目標物、１２０４…
正しい抽出結果、１２１０…航空機自動抽出例、１２１
１…正しい抽出結果、１２１２…誤抽出結果、１３００
…目視検出例、１３０１…目視確認、１３０２…画面、
１３０３…目標物、１３１０…ポリゴン構成点入力手動
抽出例、１３１１…構成点、１３１２…手動抽出結果。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小川 健太 東京都千代田区神田駿河台四丁目６番地 株式会社日立製作所内 (72)発明者 岩村 一昭 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 野本 安栄 茨城県日立市大みか町五丁目２番１号 株 式会社日立製作所情報制御システム事業部 内 Ｆターム(参考） 5B057 AA14 BA24 BA26 DA06 DA12 DB02 DB09 DC36 5L096 AA06 BA02 CA22 CA24 DA04 FA19 GA10 GA30 JA22

Claims (5)

【特許請求の範囲】
1. 【請求項１】飛しょう体より取得した画像から地物や移
   動物体などの目標物を抽出・表示する方法であって、目
   標物の種別と該種別の目標物抽出に最適な抽出方法とを
   対応付けて管理し、該抽出方法により該画像から様々な
   種別の目標物を自動抽出処理し、該自動抽出処理におけ
   る個々の目標物抽出処理の正確度を自己評価して個別抽
   出確度情報として算出し、該個別抽出確度情報を正規化
   して異なる種別の抽出処理の正確度を比較可能とし、該
   自動抽出処理による抽出結果に重複がある場合には、該
   重複抽出結果の個別抽出確度情報を比較して正確度が高
   い抽出結果を採用し、該抽出結果と該画像を表示するこ
   とで、あらかじめ目標物の種別を特定しないで各目標物
   の種別や形状に適した抽出方法を選択的に用いる自動抽
   出処理を実現し、かつ複数種別の抽出結果を総合判定す
   ることにより誤りの少ない抽出結果が得られることを特
   徴とする目標物抽出・表示方法。
2. 【請求項２】飛しょう体より取得した画像から地物や移
   動物体などの目標物を抽出・表示する装置であって、目
   標物の種別と該種別の目標物抽出に最適な抽出方法とを
   対応付けて管理する手段と、該抽出方法により該画像か
   ら様々な種別の目標物を自動抽出する手段と、該自動抽
   出処理における個々の目標物抽出処理の正確度を自己評
   価して個別抽出確度情報として算出する手段と、該個別
   抽出確度情報を正規化する手段と、該自動抽出処理によ
   る抽出結果の重複を判定する手段と、該重複判定手段に
   より重複が認められた抽出結果の個別抽出確度情報を比
   較して正確度が高い抽出結果を採用する手段と、該抽出
   結果と該画像を表示する手段とを備え、あらかじめ目標
   物の種別を特定しないで各目標物の種別や形状に適した
   抽出方法を選択的に用いる自動抽出処理を実現し、かつ
   複数種別の抽出結果を総合判定することにより誤りの少
   ない抽出結果が得られることを特徴とする目標物抽出・
   表示装置。
3. 【請求項３】請求項２に記載の目標物抽出・表示装置に
   おいて、個別抽出確度情報を総合して抽出処理全体に関
   する正確度を自己評価して全体抽出確度情報として算出
   する手段と、該個別抽出確度情報と該全体抽出確度情報
   を表示する手段とを備え、抽出処理の内容を容易に確認
   できる情報を提供することを特徴とする目標物抽出・表
   示装置。
4. 【請求項４】請求項２に記載の目標物抽出・表示装置に
   おいて、地図データを管理する地図データベース手段
   と、該地図データを表示する手段と、目標物の種別に応
   じて該種別の目標物が存在する可能性の高い領域を示す
   地図データの種別を設定管理する手段とを備え、上記存
   在可能性領域を用いて目標物抽出処理の処理範囲を限定
   して抽出処理の精度を向上し、かつ目標物種別推定の精
   度を向上することを特徴とする目標物抽出・表示装置。
5. 【請求項５】請求項２に記載の目標物抽出・表示装置に
   おいて、目標物抽出に必要なパラメータのうち特定しや
   すいパラメータを入力する手段と、該入力パラメータか
   ら抽出に要する他のパラメータを画像解析処理により計
   算推定する手段と、からなる手動抽出手段を備え、目標
   物の種別や形状に適した手動抽出処理を少ない操作手順
   で実現し、かつ均一な品質の抽出結果が得られること特
   徴とする目標物抽出・表示装置。