JP2007279930A - 画像処理プログラム、画像処理装置 - Google Patents

Abstract

【課題】 画像処理的に画像内の対象線図形形状を抽出して、抽出した線図形沿いに画像を検索及び結合でき、さらに検索した画像から対象画像領域と類似した領域を自動的に検出する。
【解決手段】 画像から、対象となる線図形を画像処理技術によって自動的に抽出する手段と、上記線図形の方向に基づいて隣接する画像検索を行う手段と、指定された対象領域内に存在する物体の数、種別、及び線図形の形状特徴を抽出して記述する手段と、検索された線図形沿いの画像から上記特徴に基づいて類似度を判定する手段と、上記検索された類似画像領域を表示する手段を有する。
【選択図】 図1

Description

本発明は画像データベースから、所望の画像を検索し、表示するシステムに関する。

近年、衛星画像など空中から地表を撮像した空中写真の高解像度化が進んでいる。高解像度空中写真からは地物を詳細に把握できるため、全地球規模における監視への空中写真利用というニーズが高まっている。しかし、広範囲な地域についての高解像度画像のデータ量は膨大である。更に監視のためには、画像の準リアルタイム解析が求められるが、衛星は数日間隔で同一地域の新たな画像を取得できるために画像データ量は非常に膨大である。このような大規模データから解析に必要な画像を検索して準リアルタイムに解析を行うために、自動的に画像を検索して表示し、また画像から情報の抽出等を行う技術が必要となる。

例えば、インターネットを介して誰でも全地球規模の空中写真画像のデータベースにアクセスできるサービスが提供されている。本サービスではテキスト入力されたキーワードから所望の地点の衛星画像を表示できる。更にユーザーが自在に画像のスクロール及び拡大縮小表示が行え、必要な場所を手動で画像のスクロールによって追うことができる。また、例えば目標物の情報をキーとして衛星画像を検索する技術は特許文献１にも開示されている。

特開2001-195565号公報

しかし、上記した衛星画像の提供サービスではユーザーが検索キーとして入力できる情報のない未知の場所を探すには、スクロール表示しながら画像を検索し、目視で確認する必要があった。また、目標物情報を与えて画像検索する場合、画像データベースにある全ての画像を検索対象とする必要があった。

よって、本願で解決しようとする課題は画像検索者が目的の対象物が存在する領域を知らなくても、対象物が撮影された画像の領域を発見し、表示することである。また、効率的に画像検索及び表示を行うことである。さらに、検索された画像間の関係を容易に把握することである。

本願で開示する代表的な発明は以下の通りである。１の領域の部分領域撮像した複数の撮像画像から１の上記撮像画像及びその注目領域の指定を受け、指定された撮像画像を解析して線図形と注目領域の特徴量を取得する。更に、線図形をたどって該線図形を含む上記１の撮像画像に隣接する画像を上記複数の撮像画像から選択し、選択される画像中に上記取得した特徴量に類似する特徴量を保持する領域がないか判定する画像処理プログラム及び装置。更に、上記線図形にかえて撮像画像間のテクスチャのつながりを利用した検索手法も開示する。

本発明によれば、広範囲をそれぞれその一部を撮影した複数の画像として撮像した撮像画像からの所望領域の検索を容易とする。具体的には所望の領域同士は線図形等の形状構造若しくは類似するテクスチャで繋がっている点に着目して線図形若しくはテクスチャをたどって画像を検索することで検索対象の画像を絞り込んで処理を効率化することができる。更に予め設定しておく領域特徴と検索された撮像画像中の線図形沿いの特徴及び物体の存在とを比較することで構成物体が類似した領域を自動的に検索できる。これらの効果により最新状況の把握や新たな目標地域の発見を支援することができる。

以下、本発明の一実施形態について図面を参照しながら詳細に説明する。ここで、本題で「画像」とは画像データベースに蓄積されている画像を指し、「領域」とはその画像の一部分を指すこととする。又、本願においての各蓄積部はハードディスクや計算機上のメモリによって実現できる。各処理部は、コンピュータにおいてプログラムを読み込むことで実行され、又は、ハードウェアとソフトウェアの協調によってなされるものであっても良い。

図1を参照して本発明による画像領域検索及び表示システムの例を説明する。本例の画像領域検索システムは、広範囲を撮影した航空写真や衛星写真のような空中写真画像を蓄積している大規模画像データベースから画像を検索することを前提とする。図1の画像領域検索及び表示システムにおける各部の機能の内容を以下に説明する。

画像蓄積部101は、航空写真や衛星写真のような空中写真の画像データファイルを蓄積する。空中写真は正射投影になるように補正したオルソ画像でもよいし、補正していない平射画像でもよい。単バンド画像であってもよいし、複数バンドからなる多バンド画像であってもよい。また、輝度値画像であってもよいし、標高データ、地図データ、レーダー画像であってもよい。また、空間分解能やセンサの種類等が異なるデータが蓄積されていてもよい。ここでは、オルソ画像で単バンド画像を利用するとして説明する。画像蓄積部101には、画像データだけでなく、画像に付属する地理情報や日付、被雲率、画像解像度、撮影時の太陽高度、画像処理レベル等といった画像情報をインデックスとして作成しておく。地理情報はその画像の撮像箇所を特定する情報であって緯度経度情報や複数画像の配置を管理するID番号等である。これにより、インデックスの指定で画像に簡単にアクセスできる画像蓄積部が構築できる。

対象領域設定部102は、注目領域を設定する。具体的な設定方法は、例えば注目領域が存在する範囲の入力を受けてその範囲に対応づけられる画像を画像蓄積部101から読み出し、画面上にサムネイル表示する。更に、ユーザーの選択したサムネイル表示中の画像を指定画面に表示し、ユーザーが画面上でマウス等により指定した領域の地理情報を読み込む。また、画像領域の地理情報または画像ID番号等インデックスの入力を受けることで設定を行っても良い。

物体情報蓄積部103には、あらかじめ「港湾」「飛行場」といった検索対象とする領域の種別を記録する。又、その領域間を接続する線図形の種類も記録する。本願においては、複数の画像をその画像間をまたぐ線図形の情報を用いて検索処理する点に特徴がある。本願における線図形とは具体的には「海岸線」「滑走路」などある程度の長さがある地物のことである。例えば港湾は海岸線沿いに存在するものであるから、本願では海岸線という線図形を用いて検索対象を選択することに特徴がある。よって、線図形としては検索対象の領域間をつなぐような地物を設定しておくことが望ましい。更に、領域内に存在する「船舶」「飛行機」といった物体の名称及び種類、また物体の特徴量を蓄積しておく。これらの情報は、検索対象とする種別の領域を探索するための特徴量として利用する。又、こうした情報は階層構造で管理しておくことも可能である。線図形や物体の一般名称を上層とし、より詳細な物体の幅や構成素材のスペクトル特性、テクスチャ、エッジ、大きさといった特徴を下層に保存する。これにより、物体情報へのアクセスが容易に行える。また、蓄積する情報は撮像された画像であっても、又は、画像処理して特徴量に変換した値であっても良い。

対象物体設定部104は、検索対象とする領域における線図形等の特徴及びその領域を構成する物体を設定する。設定画面の一実施例を図12に示す。物体情報蓄積部105から読み出した物体情報リスト1201を表示させ、選択を受けることにより設定する。物体の特徴量といった情報は直感的に分かりにくく、ユーザーには直接必要ではない場合が多い。そのため本実施例において上位階層の領域名称、線図形や物体の一般名称のみをリストとして表示させた方が望ましい。下位構造の特徴量は、リスト表示1201されている物体とリンクして管理され1202、例えば物体1203の代表的なサイズ1204、特徴量1205というように管理しておく。特徴量は例えばエッジ、テクスチャといった特徴量であって、各物体を認識するために有用なものを対応づけておく。これらの物体特徴はリスト表示から選択された物体名とリンクして自動的に読み出す。これにより、ユーザーは直感的に分かりやすく対象物体を設定することができる。

検索条件設定部105は、画像を検索する場合の検索条件を設定する。検索設定画面の一実施例を図13に示す。メニュー画面1301を表示させ、メニュー内から検索条件項目を選択する。検索条件の一例として以下のものがある。まず、検索優先項目1302として「日付優先」「被雲率優先」「季節優先」などを設定する。画像を取得したセンサの種別等や光学画像、レーダー画像などを設定してもよい。衛星画像の場合、例えば監視目的などでは最新の画像情報を必要とする用途は多い。また、特に光学画像の場合は雲によって地上情報を遮られる場合があり、被雲率が少ない画像を必要とする用途も多い。これらをサポートするため、画像に付属する画像情報に含まれる日付や被雲率といった情報を抽出し、ソートして利用することで、効率的な検索及び用途にあった画像提供が可能である。第２に、検索範囲1303を設定する。範囲の指定は、画面上でユーザーがマウス等で範囲を指定する。範囲を緯度経度で指定してもよい。さらに検索の終了条件1304の設定も行う。検索終了条件は、例えば画像検索範囲を設定する。画像枚数や検索時間を設定してもよい。また、検索された類似領域の数が一定値以上であれば検索終了と設定してもよい。これらの条件については予め初期値として設定しておくことも可能である。

画像解析部106は、画像中の線図形等を抽出して線図形が延長する隣接方向を判断する。また、画像中の物体を物体認識部108にて自動抽出し、画像特徴として初期領域特徴量蓄積部115又は領域特徴量蓄積部116に蓄積する。以下に、画像解析部106の構成を説明する。

特徴量抽出部107は画像領域内の物体特徴量を抽出する。物体特徴量は対象物体設定部104で設定した物体に即した特徴量変換方法を適応することで、画像から抽出される。特徴量の種類としては、例えばエッジ特徴、輝度特性、モーメント特徴、周波数特性などがある。この特徴量の種類は図12の特徴量1205のように対象物体毎に対応付けられている。また、全ての物体で指定した同一種類の特徴量を用いてもよい。

物体認識部108は、特徴量抽出部107で抽出された特徴量を用いて、対象物体設定部103で設定した物体を抽出する。物体の認識は、抽出したエッジ特徴量を利用していわゆるパターンマッチングなどの形状特徴当てはめによって行う。また、物体情報蓄積部105に蓄積されている物体特徴量1205と抽出した特徴量とを照合することによって物体認識をしてもよい。物体認識は、例えば「画像解析ハンドブック（東京大学出版会、高木幹雄、下田陽久編、2004年9月10日、p.1669-p.1682）」の手法を用いて行うことができる。これによって、画像中に設定された物体が種類毎にいくつあるかを抽出する。
線図形抽出部109は、画像から線図形構造を抽出する。本実施例においては、画像間をまたがる線図形を抽出して、線図形をたどることによって画像を処理する点に特徴がある。通常、類似領域とはその領域を構成する物体が類似している領域のことを指す。しかし，物体情報のみを注目して画像データベースから画像検索を行う場合、同様の物体が様々な場所に存在する場合がある。例えば、船舶が海岸線付近に存在する場合と河川付近に存在する場合では、物体が類似していても場所としては港湾と河川というようにその場所が持つ意味や特性は異なってくる。そのため、特定の線図形をたどって処理を行うことで目的の画像を効率的に検索及び照合することが可能となる。

線図形の抽出は、例えばエッジ特徴やモーメント、輝度勾配特徴量、輝度類似隣接画素の検索などによる画素間特徴量や、スペクトル特徴量などの画素単位特徴量を利用して行う。例えば線図形が道路の場合、「交差点の検出に基づく航空画像からの道路の抽出（上瀧剛等、電子情報通信学会高度交通システム技術研究報告、Vol.103、 No.294、pp.55-61、2003.9.）記載の手法によって抽出できる。また線図形形状も画像特徴として利用するため、線図形の長さ及び曲率といった形状特徴を抽出して、初期領域特徴量蓄積部115又は小域特徴量蓄積部116に保存しておく。

方向抽出部110は、線図形抽出部109によって抽出された線図形の現在処理している画像範囲外における延長方向を抽出する。具体的には、抽出した線図形が途切れる画像の辺を抽出すれば、その辺に隣接する画像に線図形の延長部分は存在すると考えられる。線図形の延長方向は対象とする画像の上下左右といった方向で保存する。隣接方向は一方向に限定されず、抽出された線図形延長方向は全て保存する。また、画素レベルで線図形の方向を保存してもよいし、直線あるいは曲線で線図形を近似してベクターデータとして保存してもよい。

画像検索部111は、対象領域の類似対象領域を検索する。以下に、画像検索部111の構成を説明する。画像位置情報取得部112は、画像蓄積部101から画像に付属するインデックスのうち地理情報を読み出す。隣接画像判定部113は方向抽出部から入力された隣接方向と、画像位置取得情報部112によって得られた地理情報から、隣接する画像の位置条件を特定する。位置条件は、例えば隣接画像の４隅または中心の緯度経度である。また、空中写真画像などでは指定した緯度経度に合致した画像が存在しない場合もあるので、指定した緯度経度にある程度幅を持たせることにしても良い。また、画像のID番号の配置条件から隣接画像をID番号で設定しても良い。

画像インデックス検索部114は、隣接画像判定部113から入力された位置条件に該当する画像を画像蓄積部101から検索する。画像に付属するインデックスは上述のように地理情報を含んでいるため、その地理情報をインデックスとして利用して検索を行う。そのため、画像検索にはいわゆる地理情報システム（GIS：Geographic Information System）などの空間解析システムを用いてもよい。これにより、画像から直接特徴量を計算する必要がなく、効率的に画像検索が可能である。

初期領域特徴量蓄積部115には、対象領域設定部102で設定された領域について線図形抽出部109によって抽出された線図形形状特徴と、物体認識部108によって抽出された物体の情報が蓄積される。必要に応じて特徴量抽出部107から抽出した特徴量を蓄積してもよい。

領域特徴量蓄積部116には、画像検索部で検索された画像について線図形抽出部109によって抽出された線図形の曲率や長さといった形状特徴と、物体認識部108によって抽出された物体の種別及び物体の数が蓄積される。画像が検索された順に画像IDを割り振り、画像ID対して上記特徴量を保存しておく。画像IDは画像の地理情報でもよい。また、必要に応じて特徴量抽出部107から抽出した特徴量を蓄積してもよい。

画像照合部117は、領域類似度照合部118と類似度判定部119からなる。以下に画像照合部117について説明する。領域類似度照合部118は、初期領域特徴量蓄積部と領域特徴量蓄積部に蓄積された線図形情報及び物体情報を照合し、上記特徴量の類似度を算出する。類似度は、例えば上記「画像解析ハンドブック」p.1584-p.1596のような手法を用いて算出する。画像上の物体を類似度の判定基準とすることで、領域そのものではなく構成物体が類似している領域を発見することができる。更に、本構成によって類似領域の発見だけでなく、物体の種類等から判断できるその領域での動向や領域の重要度を知ることができる。また、例えば「大型船舶が停泊する港湾」を検索したい場合には、大型船舶の類似度への寄与率を多くする。このように、画像の統計的な特徴量ではなく構成要素によって類似度を算出することで、任意の物体に着目して類似領域を発見することができる。

類似度判定部119は、入力された類似度が閾値以上であれば検索画像領域が類似していると判断する。照合結果蓄積部120には、類似度判定部119からの出力照合結果が蓄積される。照合結果は、例えば領域の類似度および領域の地理情報などである。

画像結合部12１は、画像検索部111によって検索された画像同士及び注目画像を結合する。例えば空間分解能やセンサが異なる画像でもよい。結合は、画像に付属する画像の地理情報を利用して結合部分を判断し、モザイク処理によって行う。結合方法は、例えば画像間で重畳する部分をいわゆるフェザー処理して結合する。これにより、結合部分が滑らかな画像を得ることができる。また、重なり合う画像のうち、例えば新たな検索画像を上部に位置するとして、下部画像の重なり部分を切り取って結合してもよい。また、解像度が異なる複数の画像を結合する場合、画像解像度をリサンプリング手法などによって複数画像間で統一させてもよい。また、解像度は異なるままに結合処理をせず、画像を配置してもよい。これらの処理を結合画像の特性に合わせて利用することにより、結合する画像同士に位置ずれが存在する場合や、分解能が異なる画像、また光学系画像とレーダー画像など種類の異なる画像の場合も扱うことができ、結合する画像は同一条件で撮影された画像に限定されない。

ハイライト表示処理部122は、照合結果蓄積部120から指定類似度以上の領域を読み出し、ハイライト表示設定を行う。また、初期特徴量抽出蓄積部115及び領域特徴量蓄積部116から線図形情報を読み出し、線図形の表示設定を行う。ハイライトの表示は、画像上で指定位置を点滅表示させる。また、ユーザーの利用環境に応じてダイアログボックスやメールによるアラーム情報提示を行ってもよい。

画像表示部123は、画像検索及び照合結果を表示画面上に表示する。表示は画像検索範囲を網羅する広域画像を読み込み、上記画像上に検索結果画像を結合して作成した画像を表示する。また、結合画像のサイズを取得し、拡大・縮小率を計算することで自在に拡大及び縮小して表示する。ハイライト表示処理部から入力があると、検索された類似領域をハイライトにして表示する。ハイライト表示は例えば点滅表示である。また、音によるアラーム発令を伴ってもよい。また、線図形抽出部によって抽出された線図形を色づけして表示してもよい。更に、１の線図形について抽出された線図形の位置や形状を取得画像時刻毎に色づけして重畳表示させることもできる。これにより、例えば道路の新設状況、河川の経年変化、運河の建設進行度等の一括表示ができ、時系列変化を容易に把握することが可能となる。

図2は、本発明の一実施形態における港湾領域を検索した結果の表示例である。図2を用いて本検索結果例が表示されるまでのシステムフローを説明する。検索対象として港湾を取り上げて説明するが、以下の処理は港湾に限定されない。本例では、港湾と港湾は海岸線で接続されており、また港湾は海岸線が湾状になっており、湾内には船舶が存在する。そこで、線図形を海岸線、物体特徴項目を船舶（大型、小型）と設定して類似領域検索を行う。以下に処理の詳細を説明する。

図3は、本発明の一実施形態におけるシステム全体の処理フロー図である。ステップ301にて、対象領域設定部102は、あらかじめ港湾が撮影された画像を画像蓄積部101から読み出し、入力する。ステップ302にて、画像解析部106は入力された画像から線図形である海岸線及び画像特徴である船舶を抽出する。ステップ303にて、画像検索部111は線図形の方向から隣接画像方向を求め、求めた画像位置にある画像を検索する。ステップ304にて、画像照合部117は検索された画像とあらかじめ入力された画像間で特徴量の照合を行い、ステップ305にて、画像表示部123は検索結果画像を表示する。ステップ306にて、検索の終了条件を判定する。以上がシステム全体のフローであるが、ステップ302、303、304、305の詳細を図4から図6を利用して以下に説明する。

図4は、本発明の一実施形態における画像処理及び隣接画像検索処理フロー図である。本処理フローは図3ではステップ302及び303に相当する。ステップ401にて、対象領域設定部102は画像蓄積部101から検索開始画像201を読み出し、さらに読み出した画像中の関心領域、ここでは港湾領域を設定する。指定された関心領域の情報は、画素レベルで保存する。また、領域の外接矩形などの位置として保存してもよい。
ステップ402にて、対象物体設定部104は画像解析部106に用いる対象物体特徴の項目を設定する。港湾領域に特徴的な線図形の種類と関心領域に存在する物体の種類のリストを物体情報蓄積部103から読み出し、線図形を海岸線、物体の種類を船舶と設定する。次に、選択した線図形の特徴を表す線の太さ、曲率、線図形隣接物体、スペクトル特徴など、選択した物体種類を表す物体の大きさ、色、形状、スペクトル特徴などを物体情報蓄積部103から読み出す。また、ユーザーが線図形特徴及び物体特徴を設定してもよい。

ステップ403にて、検索条件設定部105は画像検索条件を設定する。画像を検索する場合の優先項目及び画像検索範囲、画像検索終了条件などを設定する。

ステップ404にて、線図形抽出部109は画像から海岸線の抽出を行う。画像処理手法を用いて画像から海岸線を逐次抽出する。ステップ405にて、線図形抽出部109は抽出された線図形の曲率といった形状特徴を抽出し、線図形領域の形状を直線あるいは曲線で近似する。これにより、線図形の形状特徴を類似領域の照合に利用することが容易となる。複数の分岐する海岸線が得られた場合、線図形の交点から端点までの長さが閾値以下であれば主要海岸線ではないとして削除する。この閾値は予め物体情報蓄積部103に設定しておけば良い。又、線図形の種別毎異なる閾値を設定しておけばより精度の高い抽出が可能となる。これにより、接岸している船舶や細い河川を線図形として抽出してしまうといった誤抽出を減らすことが可能である。得られた線図形のうち、選択した線図形特徴に最も一致する線図形を代表線図形と設定する。ここで抽出された線図形の長さも判断基準とすることができる。代表線図形と設定された線図形以外は候補線図形として、位置を初期特徴量蓄積部115及び領域特徴量蓄積部116に保存しておく。また、抽出した線図形特徴及び線の位置を同様に保存しておく。

ステップ406にて、画像位置情報取得部112は現在処理対象となっている画像の地理情報を読み出す。入力された画像に付属している画像情報から、地理情報などを抽出する。必要に応じて太陽高度、被雲率といった画像撮影情報などを抽出してもよい。

ステップ407にて、隣接画像判定部113は隣接画像位置を判断する。本実施例では画像端での線図形位置から、隣接する画像を画像の隣接4方向から選択する。ただし、隣接方向は4方向に限定されない。画像の地理情報を画像に付属する画像情報から読み出し、隣接方向に相当する位置を推定する。例えば、画像の4隅緯度経度が（Y1、X1）（Y2、X2）（Y3、X3）（Y4、X4）であった場合、（Y1、X1）（Y2、X2）で構成される面に隣接する画像の緯度経度は、（Y5、X5）（Y6、X6）（Y1、X1）（Y2、X2）である。隣接方向が北であれば、Y5、Y6＞Y1、Y2であり、例えばY5−Y1は画像サイズ（幅）を表す。図2においては、画像201の隣接方向は方向202である。

ステップ408にて、画像インデックス検索部は指定の隣接画像位置に相当する画像を画像データベースから検索し、該当画像が存在するか判定する。図2においては、検索開始画像201の上方向及び右方向の画像が隣接画像となる。図2では右方向の海岸線を辿って処理を行うこととして説明する。ただし、この処理は一方の隣接方向検索に限定されず、画像201から見て上方向に検索していってもよい。画像201の隣接画像は画像204であり、画像204の隣接画像は画像205である。画像の検索には、画像そのものでなく画像付属情報（画像インデックス）を利用する。同じ地理情報をもつ複数の画像が存在した場合、ステップ402にて指定した日付優先、被雲率優先、センサ優先、解像度優先などの優先項目によって複数画像候補から画像を決定する。検索した結果、対象となる画像が存在しない場合は検索処理を中止する。

ステップ409にて、画像検索部111は画像検索を終了するか判定する。画像検索の終了条件は、検索条件設定部104で設定した条件であり、上記条件を満たしていれば検索を終了する。また、抽出した線図形が途切れた場合に終了しても良い。検索を終了しない場合、検索された画像に対して再び画像解析処理を行う。

図5は、本発明の一実施形態における類似画像照合処理フロー図である。図3のステップ304に相当する。

ステップ501にて、対象領域設定部102は照合する画像を入力する。ステップ502にて、入力された画像が最初の画像かどうか判定する。最初の画像であればステップ503に進み、画像から抽出した物体特徴量を初期領域特徴蓄積装置115から読み出す。次に、ステップ504にて初期領域特徴抽出装置115から線図形特徴量を読み出す。

ステップ505にて、ステップ502の判定で入力された画像が2枚目以降である、すなわち検索結果の画像であると判定されると、領域特徴量蓄積部116から入力画像の特徴量を読み出す。次にステップ506にて、領域特徴量蓄積部116から線図形の特徴量を読み出す。ステップ507にて、領域類似度照合部118は初期領域の特徴量及び検索結果領域の特徴量を照合する。入力された特徴量同士を照合して、指定した類似度算出手法によって類似度を算出する。図2の例では、船舶の種類と数を比較し、また海岸線の形状の類似度を求めている。特徴量は地上物体の種類や数でもよいし、画像の統計的特徴量や画像自体の類似度を用いてもよい。

ステップ508にて、類似度判定部119は入力された類似度が閾値以上であるかどうか判定する。閾値以上であれば入力した画像特徴量は類似していると判定する。

以上のフローは検索結果画像毎に照合処理を行っているが，例えば類似領域が複数の画像にまたがっている場合の一実施形態における類似画像照合処理フローを図14に示す。本処理フローは図5のフローに処理を追加する形で実現する。

ステップ508で特徴量を照合した結果，類似していないと判断されると，ステップ1401にて，照合領域内に対象物体が存在するか判定する。例えば，大型船舶が3艘以上あれば類似していると判断する場合に，大型船舶が１艘以上存在するかどうかという判定を行う。対象物体があると判定されると，ステップ1402にて画像検索部111は隣接画像を検索する。隣接画像の判定は、隣接画像判定部113が対象物体の存在する領域の線図形方向に基づき判断する。ステップ1403にて，検索結果画像は，画像結合部121によって先に入力された画像と結合される。ステップ1404にて，結合された画像を１枚の画像として捉え，領域特徴蓄積部116から対象領域内の特徴量を読み出す。ステップ1405にて，領域特徴量蓄積部116から線図形の特徴量を読み出す。ステップ507にて，初期特徴量と結合画像領域からの特徴量を照合する。以上の処理により，複数の画像を結合してから特徴量を抽出することで，対象領域が複数の画像にまたがる場合でも類似画像領域を検索，抽出することができる。

図6は、本発明の一実施形態における画像表示処理フロー図である。図3ではステップ305に相当する。また、図7は本発明の一実施形態における表示画面の例である。表示処理フローを図6と図7を利用して以下に説明する。

ステップ601にて、画像表示部123は画像蓄積部101から画像検索指定領域全体の広域画像または地図を入力する。入力は手動で画像を入力してもよいし、検索に指定した領域の情報を利用して自動的に検索して読み出してもよい。また本ステップは行わなくてもよい。本ステップを行わない場合、広域画像表示画面には検索結果画像を繋ぎ合わせた結合結果画像705が表示される。

ステップ602にて、線図形をたどって隣接画像として検索結果画像を取得する。ステップ603にて、画像位置情報取得部112は入力された検索結果画像の地理情報を取得する。具体的には、画像に付属している画像情報から地理情報又は画像間での位置情報を抽出する。

ステップ604にて、画像結合部121は複数の画像を地理情報または画像同士の相対位置関係によって画像結合を行う。結合手法はモザイク処理を用いるが、ユーザーが処理手法を指定することができる。このように、検索された画像だけを繋げることで、線形状で繋がった一枚の画像を表示することができる。ステップ605にて、結合された画像全体のサイズおよび地理情報を取得する。また、結合された画像全体を指定表示画面208内に表示するための画像拡大又は縮小率を計算する。

ステップ606にて、入力された画像それぞれの位置を広域画像上に示す画像枠を作成する。これにより、画像が広域画像上におけるどの位置の画像を示しているのか、ガイドすることができる。例えば、図7の704のように、部分画像に表示されている画像については他と画像枠の表示を変更することでその位置を広域画像表示画面701上に示すことができる。なお、ガイドは枠に限定されず、広域画像中の該当位置を塗りつぶすなどでもよい。また、図7の表示706のように検索結果画像の撮影日やセンサ名といった情報を表示させてもよい。

ステップ607にて、ハイライト表示処理部122は入力画像の照合結果から得られた類似度および類似領域位置を読み出し、広域画像上に図7の表示703のようなハイライト表示を行う。ハイライト表示は類似度領域位置の画素を点滅させてもよいし、類似する領域が検索されていることをアラームとして出力させてもよい。

ステップ608にて、ステップ601で入力された検索範囲を示す広域画像を指定の画面上に表示する。図7aの画面701では、広域画像として検索指定領域の地図を表示している。また、抽出した海岸線を直線や曲線で近似して整形し、整形した線に色をつけて表示してもよい。

ステップ606から結合画像及びガイド枠の入力があると、広域画像上に表示する。広域画像の入力がない場合は、作成された結合画像を画面サイズに合わせて表示し、新たに検索結果画像が入力されて結合画像が作成されると、順次自動的に結合画像表示が切り替わる。

ステップ609にて、検索結果として入力された画像を部分画像画面702に表示する。画像が入力されると自動的に順次画像を切り替えて表示する。入力された複数画像を隣接する画像または線図形で接続されている順に自動的にスクロール表示する。また、表示する画像指定の入力があった場合、指定された画像を表示する。スクロール表示する画面と指定画像を表示する画面は同じ画面であってもよいし、異なる画面を設定してもよい。これにより、効率よく線図形で繋がった画像を表示することができる。

ステップ610にて、表示する画像を指定するか判定する。表示画像の指定方法は、ユーザーが広域画像画面701上に表示されている複数のガイド枠から任意のガイド枠をマウスでクリックすることによって指定する。また、ガイド枠番号を各画像に振り分け、ガイド枠番号を指定してもよい。また、ハイライト表示されている領域の指定も可能である。広域画像表示と部分画像表示は相互リンクしているため、広域画像画面をガイド画面として用いながら自由に表示させたい画像を見ることができる。このように、広域画像と表示画像を地理情報によってリンクすることで、表示している画像の位置を容易に確認することができる。新たに検索結果画像が入力されると、部分画像に表示される画像が変わるとともに、広域画像上のガイド枠の位置も連動して移動していく。

ステップ611にて、システムの終了判定を行う。終了でなければ、広域及び部分画像表示を継続する。尚、これらの表示についてはユーザーの指示、又は、システムの設定に応じて何れかを選択的に実行できる。又、そのための処理の順番は図６に記載したものに限定されない。

このように、本発明によって、ユーザーは知らなかった新たな港湾等を見つけることができ、またその場所を表示画面上で視認することが容易となる。新たに発見した港湾はデータベースに保存することができる。また、データベースに保存された港湾の位置を利用して、過去に蓄積された同一位置における港湾の時系列画像を表示することにより、港湾の変化を容易に抽出することができる。
又、本発明により、例えば重要監視地域を自動的に更新して設定することが可能である。指定された領域及び新たに発見した領域を撮影した画像が画像データベースに入力されると、すぐに画像解析部へ入力され、抽出された物体情報を表示することにより、リアルタイム監視を行うなどのサービスを提供できる。同時に、重要地域の地理的関係を把握することが容易になるため、複数の重要監視地域における連動した動きを監視することができる。

図8は、本発明の一実施形態における高速道路インターチェンジを検索した結果の表示例である。高速道路のインターチェンジは高速道路で接続されている。よって、本実施例においては、線図形として道路を選択し、検索対象の領域としてはインターチェンジ特有の道路の形状を用いることができる。そこで、線図形を高速道路、特徴項目を道路の形状として検索を行うと、高速道路沿いの画像を順次接続して表示することができる。例えば、画像802の隣接画像は画像803であり、画像803の隣接画像は804である。本例の場合、線図形である道路が領域検索のための特徴量を兼ねるために図1の特徴量抽出部107と物体認識部108を使用せずに画像照合が可能である。インターチェンジの道路形状を利用することで、画像803のような新たなインターチェンジの位置、及び形状を見つけることができる。検索されたインターチェンジの位置を保存し、地図情報と照合することで、新規建設等の情報が分かる。またいわゆるGISデータに反映させてもよい。本発明により、例えば地図更新情報を自動的に提供することが可能である。
図9は、本発明の一実施形態における飛行機の駐機場を検索した結果の表示例である。飛行機の駐機場は、飛行機が通過可能な幅を持つ道路や滑走路で接続されており、飛行機の駐機場を構成する物体として飛行機などがある。そこで、駐機場検索には線図形を飛行機以上の幅を持つ道路、領域を抽出するための物体特徴項目を飛行機として検索を行うことができる。検索結果例901では、画像902が検索開始設定画像であり、画像902の隣接画像は画像903であり，画像903の隣接画像は画像904である。このように、道路に沿って画像を検索し、画像を結合することで道路沿いの一連の画像を表示することができる。道路を辿っていった結果、例えば画像908に駐機場類似領域が得られている。このように、ユーザーが知らなかった新たな駐機場を見つけることができ、またその位置等を知ることが容易である。さらに、物体認識処理を行っているため、その駐機場に存在する飛行機の種類及び機体数を把握することができる。検索して得られた駐機場位置はもちろん、その場所で撮影された飛行機の種類や機体数を提供して飛行機の動向把握への情報を提供することができる。

図10は、本発明の一実施形態における画像解析部1001の例である。本実施例においては線図形に変えて、画像中の全体あるいは部分領域のテクスチャを解析し、そのテクスチャの延長を判定することで隣接画像を判定する。画像解析部1001は、図１における画像解析部106に置き換えることができる。テクスチャ抽出部1002は、画像の対象領域設定部102で指定された領域のテクスチャ特徴を抽出する。次に、テクスチャ特徴の類似度が閾値以下である隣接画素を順次統合し、テクスチャ領域を抽出していく。テクスチャ方向抽出部1003は、統合されたテクスチャ領域が延長する方向を抽出する。具体的には画像辺に統合されたテクスチャ領域が存在するか判定する。画像辺にテクスチャ領域があれば、その辺に接する画像はテクスチャ領域の延長方向である。これにより、線図形構造だけでなくテクスチャで接続された隣接画像を検索することが可能である。また、テクスチャが同一の領域を結合した広域画像を作成することができる。

図11は、本発明の一実施形態における砂漠領域検索結果の表示例である。検索初期画像1101には、砂漠及び植生領域が撮影されており、ここでは砂漠領域を検索対象図形と指定したとして説明する。砂漠領域はテクスチャの出力値によって領域を限定することができ、砂漠領域の広がる方向を特定することが可能である。ここで、砂漠領域の広がる方向は一方向に限定されない。画像1101の砂漠領域が広がる方向の隣接画像は1102であり、画像1102の隣接画像は画像1103である。画像1103内で砂漠領域が閉じていれば、画像検索を終了とする。これにより、広範囲に広がる砂漠領域が全て撮影された画像を作成、表示することができる。砂漠領域は季節や年によって変化が激しいが、本実施例を適応すれば砂漠領域が全て撮影された画像を取得することができ、また領域の変化を知ることが容易である。本発明は、例えば溶岩流の変動や都市化の傾向把握にも利用可能である。尚、本実施例においては本例では図１における画像照合部117は不要としても良い。

本発明の一実施形態における機能構成の例。 本発明の一実施形態における港湾検索結果の例。 本発明の一実施形態におけるシステム全体フローの例。 本発明の一実施形態における画像検索処理フローの例。 本発明の一実施形態における画像照合処理フローの例。 本発明の一実施形態における画像表示処理フローの例。 本発明の一実施形態における画像表示結果の例。 本発明の一実施形態における高速道路インターチェンジ検索結果の例。 本発明の一実施形態における駐機場検索結果の例。 本発明の一実施形態における画像検索部の例。 本発明の一実施形態における砂漠検索結果の例。 本発明の一実施形態における物体特徴量設定画面の例。 本発明の一実施形態における画像検索条件設定画面の例。 本発明の一実施形態における画像照合処理フローの例。

符号の説明

101…画像蓄積部、102…対象領域設定部、103…対象物体設定部、104…検索条件設定部、105…物体情報蓄積部、106…画像解析部、107…特徴量抽出部、108…物体認識部、109…線図形抽出部、110…方向抽出部、111…画像検索部、112…画像位置情報取得部、113…隣接画像判定部、114…画像インデックス検索部、115…初期領域特徴量蓄積部、116…領域特徴量蓄積部、117…画像照合部、118、領域類似度照合部、119…類似度判定部、120…照合結果蓄積部、121…画像結合部、122…ハイライト表示処理部、123…画像表示部、201…検索開始画像、202…隣接画像方向、203…隣接画像方向決定図、204…隣接画像、205…隣接画像、206…隣接画像、207…類似領域検索結果表示、701…広域画像画面、702…部分画像画面、703…類似領域表示、704…部分画像表示ガイド枠、705…結合画像画面、706…画像詳細情報表示、801…検索結果画像表示、802…隣接画像、803…類似領域表示画像、804…隣接画像、805…隣接画像、901…検索結果画像表示、902…検索開始画像、903…隣接画像、904…隣接画像、905…隣接画像、906…隣接画像、907…隣接画像、908…類似領域表示画像、1001…画像解析部、1002…テクスチャ抽出部、1003…テクスチャ方向抽出部、1101…検索開始画像、1102…隣接画像、1103…隣接画像、1201…項目選択メニュー画面、1202…物体特徴量管理画面、1203…物体名称、1204…物体サイズ、1205…物体特徴量、1301…画像検索条件設定目ユー画面、1302…画像検索優先項目、1303…画像検索範囲項目、1304…画像終了条件項目。

Claims (11)

1. １の領域の部分領域を撮像した複数の撮像画像の入力を受け、
   １の上記撮像画像及びその注目領域の指定を受け、
   上記指定された撮像画像を解析して線図形を抽出し、
   上記注目領域の特徴量を取得し、
   上記線図形をたどって該線図形を含む上記１の撮像画像に隣接する画像を上記複数の撮像画像から選択し、
   上記選択される画像中に上記取得した特徴量に類似する特徴量を保持する領域がないか判定することを特徴とする画像処理プログラム。
2. 上記指定された撮像画像、及び、上記選択される撮像画像を表示部にスクロール表示することを特徴とする請求項１記載の画像処理プログラム。
3. 上記注目領域の特徴量は該注目領域に存在する物体の認識を行うことで取得し、
   該特徴量は認識された物体の種類とその数の情報を含むことを特徴とする請求項１又は２に記載の画像処理プログラム。
4. 上記隣接画像の選択と上記特徴量を保持する領域判定は、上記特徴量を保持する領域があると判定された場合、該線図形が途切れた場合、又は，指定範囲内で該領域がないと判定された場合の何れかまで繰り返し実行することを特徴とする請求項１乃至３の何れかに記載の画像処理プログラム。
5. 上記選択された画像を表示部に表示し、
   上記取得した特徴量に類似する特徴量を保持する領域はハイライト表示することを特徴とする請求項１乃至４の何れかに記載の画像処理プログラム。
6. 上記複数の撮像画像はその撮像地点に関する地理情報と対応づけられており、
   上記画像の選択は上記地理情報を用いて行うことを特徴とする請求項１乃至５のいずれかに記載の画像処理プログラム。
7. 上記指定された撮像画像及び上記選択された画像の互いに隣接する少なくとも2枚の画像を統合して表示手段に表示することを特徴とする請求項1乃至７の何れかに記載の画像処理プログラム。
8. １の領域の部分領域を撮像した複数の撮像画像の入力を受け、
   １の上記撮像画像を表示部に表示し、
   上記表示される撮像画像を解析して線図形を抽出し、
   上記線図形をたどって該線図形を含む上記１の撮像画像に隣接する画像を上記複数の撮像画像から選択して上記表示部に表示することを繰り返して上記線図形をたどるスクロール表示を行うことを特徴とする画像表示プログラム。
9. 上記隣接画像を結合し、害結合した画像から上記取得した特長量に類似する特徴良を保持する領域がないか判定することを特徴とする請求項１乃至７の何れかに記載の画像表示プログラム。
10. １の領域の部分領域撮像した複数の撮像画像から１の撮像画像及びその注目領域の指定を受ける領域設定部と、
    上記指定された撮像画像を解析して、該撮像画像中の線図形と注目領域の特徴量とを抽出する画像解析部と、
    上記線図形をたどって該線図形を含む上記１の撮像画像に隣接する画像を上記複数の撮像画像から検索する検索部と、
    上記選択される画像中に上記取得した特徴量に類似する特徴量を保持する領域がないか判定する画像照合部と、
    表示部に上記撮像画像を表示する表示部とを有することを特徴とする画像処理装置。
11. 上記指定された撮像画像、及び、上記選択される撮像画像を表示部にスクロール表示することを特徴とする請求項１０記載の画像処理装置。

Images