JP2007018456A - 情報表示装置及び情報表示方法 - Google Patents

Abstract

【課題】 使用者による対象物の照会に答えて注釈情報を表示する際、検索した対象物の特徴量を視覚的にわかるように表示する情報表示装置及び情報表示方法を提供する。
【解決手段】被写体を撮影して撮像データを生成する撮像手段と、前記撮像手段が生成した前記撮像データから前記被写体の形態的特徴量を検索する検索手段と、前記検索手段が検索した前記被写体の形態的特徴量の中から輪郭を検出する輪郭検出手段と、前記輪郭検出手段により検出された前記輪郭を表す形態マーカを前記撮像データの前記被写体の輪郭位置に重畳表示する表示手段とを備えている。
【選択図】 図１

Description

本発明は、使用者による景観の画像照会に答えて、景観の解説などの情報表示を行う情報表示装置及び情報表示方法に関する。

最近、観察した対象物をデジタルカメラにより撮像し、撮像した画像に基づいてデータベースにて対象物が何かを画像検索して特定し、対象物の詳細情報を観察者に提供する観察機器に関する提案がある。例えば、特許公報文献１，２，３などがある これら詳細情報を観察機器にて表示する際には、図１０のように、表示された対象物画像の近傍に名称や注釈を表示するのが一般である。
特開２００２−１７５３１５号公報 特開２００２−１７６６０３号公報 特開平９−１１３８１５号公報

上記従来の観察機器における視野内に観察されている対象物が複数ある場合や視野内に指定領域内に表示された対象物が複数の特徴量を有している場合に、どの対象物がまたはどの特徴量が指定され、検索されたか、わかりずらいという問題が生じる。
また、視野内に対象物に重畳させて詳細情報を表示する場合、複数の対象物があるとどの対象物について調べたかがわかりずらいという問題がある。

本発明の目的は、上述した問題点に鑑みて、使用者による対象物の照会に答えて注釈情報を表示する際、検索した対象物の特徴量を視覚的にわかるように表示する情報表示装置及び情報表示方法を提供することにある。

上記課題を解決するために、本発明の請求項１は、被写体を撮影して撮像データを生成する撮像手段と、前記撮像手段が生成した前記撮像データから前記被写体の形態的特徴量を検索する検索手段と、前記検索手段が検索した前記被写体の形態的特徴量の中から輪郭を検出する輪郭検出手段と、前記輪郭検出手段により検出された前記輪郭を表す形態マーカを前記撮像データの前記被写体の輪郭位置に重畳表示する表示手段とを備えたことを特徴とする。

本発明の請求項１によれば、検索画像を照会する場合は、山の稜線形状または花や昆虫などの輪郭形状や模様などの形態的特徴量をマーカで表示するようにしたので、照会した対象画像または検索対象特徴量がどれであるか、表示画面で視認しやすい利点がある。そのことにより、名称や由来も分からない検索対象についても、撮影画像から誤りの少ない注釈情報を探し出すことが可能となる。

さらに、対象検索画像中に複数の形態的特徴量がある場合には、そのどちらかを検索したのか判別が容易になる。

本実施形態の構成を、画像注釈サーバー、観察機器の代表的な双眼鏡について説明する。
《画像注釈サーバーの構成》
図１は、本実施形態における画像注釈サーバー１２のシステム構成を示す図である。 図１において、インターネット４には、サーバー７が接続される。このサーバー７は、ハードディスク内のプログラムを実行することによって、景観案内動作と図鑑照合動作など全体の動作を制御する。
1)サーバーエンジン８：インターネット４を介して送受信を行い、照会要求の分析、検索 作業の処理制御、および照会結果の返送などを行う。
2)地図データベース９：景観の位置情報や方向情報が記録されている地図情報及び事物の 形態情報および注釈情報などを記録管理するデータベース。
3)植物データベース１０：植物データベースは花、野草、樹木などにカテゴリー別に分類 されたデータベースで構築されている。野草では花や葉、樹木では樹皮と葉にそれぞれ について形態的特徴量がある。また、花の形態的特徴量としては輪郭形状情報（花弁形 状、花弁数、モーメント、円形度）と色情報などがある。葉の形態的特徴量としては葉 の輪郭形状や葉脈模様などがある。それらがカテゴリー別に保存されている。
4)昆虫データベース１１：昆虫の種類は、頭、胴、足、羽などのカテゴリーに分けられ、 それぞれの形態的特徴量として輪郭形状情報（体長、羽や胴の模様など）、色情報が保 存されているデータベース。
5)画像認識システム１２：送信された指定領域内にある撮影対象物画像と、上記特定され たデータベース内の標本画像（またはＣＧ画像）とを照合して、適合の度合いを評価す るシステム。
6)輪郭検出システム１３：画像認識システムにて特定された対象物画像の輪郭を検出する システム。
《双眼鏡の構成》
図２は、本実施形態における双眼鏡１の構成ブロック図である。

これらの図において、双眼鏡１には、対物レンズ２０が装着される。この対物レンズ２０は、レンズ駆動機構２２ａを介してズーム操作および焦点操作が行われる。この対物レンズ２０の像空間には、撮像素子２１の受光面が配置される。この撮像素子２１は、撮影ドライバ２２ａから駆動パルスが供給される。この撮像素子２１の画像出力は、画像処理回路２２ｂを介して、フレームメモリ２３および表示回路２５に供給される。

この表示回路２５は、左右のＬＣＤ（liquid crystal display）２６ａ、２６ｂに画像を表示する。使用者は、これらＬＣＤ２６ａ、２６ｂの画面を、左右の接眼レンズ２７ａ、２７ｂを介して観察する。 また、双眼鏡１には、所定の基線長を離して、２つのＧＰＳ（global positioning system）アンテナ２８ａ、２８ｂが配置される。これらＧＰＳアンテナ２８ａ、２８ｂの出力は、測位回路２９を介して処理された後、ＭＰＵ３０に供給される。

さらに、ＭＰＵ３０には、照会スイッチ３１、観察スイッチ３２および選択レバー３４がそれぞれ接続される。これらの操作部材は、双眼鏡１のグリップ付近に配置される。 また、ＭＰＵ３０には、通信回路３３が接続される。この通信回路３３は、近くの基地局と無線交信することによって、インターネット４への接続を実現する。

さらに、ＭＰＵ３０には、ＩＤメモリ２４が接続される。このＩＤメモリ２４は、製品ＩＤその他の固有情報が不揮発記録される。 その他、ＭＰＵ３０には、上述したレンズ駆動機構２０ａ、撮影ドライバ２２ａ、フレームメモリ２３および表示回路２５なども接続される。 なお、ＭＰＵ３０は、画像照会動作を行うためのプログラムを格納したＲＯＭを内蔵する。

なお、観察機器としての観光望遠鏡、電子カメラの基本構成は、双眼鏡１と同一であるため、省略する。
《双眼鏡１の動作説明》
図３は、双眼鏡１による画像照会の動作を説明する流れ図である。 以下、山岳を撮影した場合を例に画像照会の動作を説明する。
［ステップＳ１］ ＭＰＵ３０は、撮影ドライバ２２ａを介して撮像素子２１を定期的に駆動して、被写体（山の光学像）を繰り返し撮像する。この撮影画像は、画像処理回路２２ｂを介して処理された後、表示回路２５を介して左右のＬＣＤ２６ａ、２６ｂにリアルタイムに動画表示される（ファインダモード）。

［ステップＳ２］ ＭＰＵ３０は、照会スイッチ３１が押されるまで、ステップＳ１のリアルタイム表示を継続する。 この状態で、使用者は、通常の観察を行うことができる。この観察中に所望の検索対象が現れると、使用者は、図６（ａ）に示すように検索対象を指定枠６０に合わせて、照会スイッチ３１を押す。 図６（ａ）の指定枠内には２つの山、“槍ヶ岳”と“中岳”が含まれた検索対象画像である。この場合、山を特定する稜線の特徴量は２つ有することになる。照会スイッチ３１が押されると、ＭＰＵ３０はステップＳ３に動作を移行する。

［ステップＳ３］ ＭＰＵ３０は、現時点の撮影画像をフレームメモリ２３に蓄積する。さらに、ＭＰＵ３０は、表示回路２５を制御して、フレームメモリ２３中の撮影画像を左右のＬＣＤ２６ａ、２６ｂに表示する。その結果、使用者が照会スイッチ３１を押した時点で、表示画像は静止する（以下、この状態を『フリーズ状態』という）。

［ステップＳ４］ ＭＰＵ３０は、測位回路２９を用いてＧＰＳアンテナ２８ａ、２８ｂの現在位置（経度、緯度および標高）をそれぞれ測位する。ＭＰＵ３０は、この２つの現在位置に基づいて、現時点の撮影位置および撮影方向を決定する。 なお後述するように、画像注釈サーバー７側では、この撮影位置および撮影方向が画像照合技術を用いて修正される。したがって、ここでのＧＰＳアンテナ２８ａ、２８ｂは、画像注釈サーバー７側において修正可能な範囲の測位精度を有すれば足りる。

［ステップＳ５］ ＭＰＵ３０は、レンズ駆動機構２０ａからレンズ位置を取得し、現時点の撮影画角（双眼鏡における実視界）を求める。また、ＭＰＵ３０は、ＩＤメモリ２４から固有の製品ＩＤを取得する。さらに、ＭＰＵ３０は、選択レバー３４から、検索対象の大まかな種類を取得する。

［ステップＳ６］
ＭＰＵ３０は、下記のデータ群からなる送信データを作成する。
(1)製品ＩＤ
(2)撮影位置
(3)撮影方向
(4)撮影画角
(5)撮影日時
(6)撮影番号
(7)フリーズ状態の撮影画像（圧縮データ）
(8)検索対象の大まかな種類
(9)被写体距離（レンズ駆動機構２０ａからレンズ位置を取得して算出される） なお、ＭＰＵ３０は、通信環境や画像注釈サーバー７側のデータ要求仕様に応じて、上記データ群を適宜に取捨選択して送信データを作成する。 ＭＰＵ３０は、通信回路３３を制御して、この送信データを、インターネット４を経由して画像注釈サーバー７へ送信する。

［ステップＳ７］ 画像注釈サーバー７側では、撮影画像を特定する処理、および照会結果を返送する処理が行われる。この間、ＭＰＵ３０は、表示画面に『照会中』などの表示をオーバーラップ表示しつつ、照会結果の返送を待機する。 ＭＰＵ３０は、インターネット４を経由して照会結果を受信すると、ステップＳ８に動作を移行する。
［ステップＳ８］ ＭＰＵ３０は、照会結果の中から、情報の画面表示条件を取り出す。この画面表示条件は、図６（ｂ）（ｃ）に示す検索された画像の輪郭形状を表す輪郭マーカ６１や注釈情報を表示する表示ダアログ６２の位置や大きさなど、レイアウトに関するパラメータから構成される。ＭＰＵ３０は、この画面表示条件に従って、照会結果中の注釈情報などをレイアウトした画像を作成し、フリーズ状態の撮影画像にオーバーラップ表示する（画像案内モード）。

［ステップＳ９］ ＭＰＵ３０は、観察スイッチ３２が押されるまで、この表示画面（図６（ｂ）など）を継続する。使用者は、この表示画面を見ることにより、検索対象の名称などを知ることができる。その後、使用者は、通常の観察に戻るために、観察スイッチ３２を押す。 このように観察スイッチ３２が押されると、ＭＰＵ３０は、ステップＳ１に動作を戻して、撮影画像のリアルタイム表示を再開する。 上述した一連の動作により、双眼鏡１による画像照会が完了する。

《画像注釈サーバー７の動作説明》
図４は、画像注釈サーバー７の動作を説明する流れ図である。 以下、図４のステップ番号に沿って、画像注釈サーバー７の動作を説明する。
サーバーの電源が投入されるとプログラムが実行される。

［ステップＳ２１］ サーバーエンジン８は、観察機器の送信データ（照会要求）を受信する。
［ステップＳ２２］ サーバーエンジン８は、観察機器から受信した領域指定された被写体照合画像を画像認識により、照合する画像がどの分類のデータベースを用いるかを選択する。

なお、照合画像をその種類のデータベースを用いるかは、予め使用者が観察する対象に応じて選択レバーにより選択するようにしてもよい。
［ステップＳ２３］山岳画像を照合する場合は地図データベースを選択し、ステップＳ２４に動作を移行する。

なお、花画像を照合する場合は植物データベース、昆虫画像を照合する場合は昆虫データベースを選択については後述する。
［ステップＳ２４］ サーバーエンジン８は、観察機器の送信データから撮影位置を取り出し、この撮影位置、撮影方向及び撮影画角とから双眼鏡から観察される景観のＣＧ（Computer Graphic）画像を地図情報から作成する。

［ステップＳ２５］ サーバーエンジン８は、観察機器の送信データから撮影画像を取り出し、画像認識システム１２に与える。画像認識システム１２は、撮影画像とＣＧ画像とを画像照合し、適合度を評価する。 画像認識システム１２は、この適合度を、予め実験的に定めた合格点と比較する。ここで、適合度が所定の合格点に達しない場合、画像認識システム１２は、両画像の位置ずれを求めて撮影方向（または撮影位置）の修正値を算出する。また、画像認識システム１２は、両画像の倍率差を求めて撮影画角（または撮影位置）の修正値を算出する。画像認識システム１２はレンダリングのやり直しを命ずる。このようなレンダリング条件の調整作業は、適合度が合格点に達するまで繰り返される。

このようにして適合度が合格点に達すると、レダリング条件の注視方向に従って地図情報中を視線追跡し、撮影画像の中心近辺に位置する景観“槍ヶ岳”“中岳”及び位置を特定する。サーバーエンジン８は、特定された景観に関連づけられた注釈情報を地図データベースから読み出し、照会結果のデータを作成する。

［ステップＳ２５］ サーバーエンジン８は、撮影画像と最も良く一致する領域のＣＧ画像を輪郭検出システム１３に出力する。輪郭検出システムは、そのＣＧ画像上の山の稜線を検出し、その稜線と同じ形状の輪郭マーカ形状データとその稜線の位置を表す輪郭マーカ位置データとを作成し、輪郭マーカ形状データと輪郭マーカ位置データとをサーバーエンジン８に返送する。

［ステップＳ２６］ サーバーエンジン８は、このようにして得られた注釈情報と輪郭マーカ形状データと輪郭マーカ位置データと撮像画像とを用いて照会結果を作成する。
［ステップＳ２７］ サーバーエンジン８は、観察機器に照会結果を返送する。

図６（ｂ）、（ｃ）は、観察機器に返送された紹介結果を示す表示画面である。
図６（ｂ）は、検索画像として“槍ヶ岳”を輪郭マーカ及び注釈情報とともに画面表示された例を示した。この例では、観察機器からの紹介要求画像は、検索画像を指示する指示枠中心が指し示した画像である。

また、図６（ｃ）には検索画像として“中岳”を指定された場合の輪郭マーカ及び注釈情報とともに画面表示された例を示した。なお、これら２つの山の特徴量としての稜線をそれぞれ異なる輪郭マーカを用いて表示するようにしてもよい。

このように検索対象が複数の形態的特徴量を有する場合、返送結果の表示画面において輪郭マーカを付与することにより、使用者はどちらの形態的特徴量で画像検索されたか明瞭になる。

次に、検索対象画像が植物である場合について説明する。
図７（ａ）は、指定枠６０で指定された検索対象である花弁画像である。
ステップＳ２７でサーバーエンジン８が植物データベースを選択する。

植物データベースは、花データベース、樹木データベースなどに分類されており、本実施例では花データベースを選択する。
［ステップＳ２８］サーバーエンジン８は、撮像画像及び撮影方向データ（データベースに登録してある花弁標本画像の方向と一致させるデータ）を画像認識システム１２に出力すると、画像認識システム１２は、花データベース中の花弁、葉などのカテゴリーの中から撮像画像を順次検索し、撮像画像と最も良く一致する標本画像を特定する。特定された標本画像の形態に関連付けられた注釈情報を花データベースから読み出し、この注釈情報をサーバーエンジン８に出力する。

なお、植物データベースの種類や花データベースにおける形態的特徴量の選択は、使用者が選択レバーにより、選択するようにしてもよい。
［ステップＳ２９］ サーバーエンジン８は、撮像画像を輪郭検出システム１３に出力する。輪郭検出システム１３は、撮像された画像中で複数ある花弁の中で指定枠にて指定した花弁の輪郭を検出し、その輪郭と同じ形状の輪郭マーカ形状データと、その輪郭位置を表す輪郭マーカ位置データとを作成し、輪郭マーカ形状データと輪郭マーカ位置データとをサーバーエンジンに返送する。

次に、前述したステップＳ２６、ステップＳ２７へと移行する。注釈情報と輪郭マーカ形状データと輪郭マーカ位置データと撮像画像とを用いて照会結果を作成し、観察機器に照会結果を返送する。

図７（ｂ）は、観察機器に返送された紹介結果の表示画面である。花弁の形態的特徴量である輪郭形状を表す輪郭マーカ６１を注釈情報とともに示してある。
また、図８（ａ），（ｂ）は、使用者が葉のカテゴリーを有するデータベースを選択し、検索対象画像として指定された葉（ａ）、照会結果の表示画面（ｂ）を示す。図８（ｂ）では、葉の特徴量である輪郭形状と葉脈形状のそれぞれ２種類の形態マーカ６１、６１１を注釈情報６２とともに示した図である。ここで形態的特徴量としての輪郭形状や模様などを表すマーカを形態マーカと呼ぶ。
このように、照会結果の表示画面に、複数の形態的特徴量をそれぞれ固有の輪郭マーカを重畳表示することにより、どの部分が検索されたか一目瞭然でわかりやすい表示が可能となる。

次に、検索対象画像が昆虫である場合について説明する。
図９は、指定枠６０で指定された検索対象である“蝶”画像の照会結果の表示画面である。
ステップＳ２７において昆虫データベースを選択する。

［ステップＳ３０］ サーバーエンジン８は、撮像画像を画像認識システム１２に出力すると、画像認識システム１２は、昆虫データベース中の頭、足、胴体、羽などのカテゴリーの中から撮像画像を順次検索し、撮像画像と最も良く一致する標本画像を特定する。特定された標本画像の形態に関連付けられた注釈情報を昆虫データベースから読み出し、この注釈情報をサーバーエンジン８に出力する。

［ステップＳ３１］ サーバーエンジン８は、撮像画像を輪郭検出システム１３に出力する。輪郭検出システム１３は、撮像画像中の指定された昆虫画像の全体輪郭形状を検出し、その輪郭と同じ形状の輪郭マーカ形状データと、その輪郭位置を表す輪郭マーカ位置データとを作成し、輪郭マーカ形状データと輪郭マーカ位置データとをサーバーエンジンに返送する。

図９（ａ）は、返送された照会結果の表示画面であり、蝶の全体形状を表す輪郭マーカと注釈情報を表示した例である。
なお、実施の形態では、輪郭形状検出システムのみを構成としたが、濃淡画像を２値化しエッジ処理画像を検出してもよい。図９（ｂ）は、照会結果をエッジ処理した画面上に輪郭形状と羽模様という昆虫“蝶”の２つの形態的特徴量を表す形態マーカ６１，６１１を同時に表示した例である。

本実施形態における画像注釈サーバー７のシステム構成を示す図である。 本実施形態における双眼鏡１の構成ブロック図である。 双眼鏡１の動作を説明する流れ図である。 本実施形態における画像照会サーバーの動作を説明する流れ図（その１）である。 本実施形態における画像照会サーバーの動作を説明する流れ図（その２）である。 検索対象画像が山岳画像の例である。 双眼鏡１による画像照会の動作を説明する流れ図である。 検索対象画像が植物“葉”の例である。 検索対象画像が昆虫“蝶”の例である。 従来の検索画像結果表示方法である。

符号の説明

１ 双眼鏡
２ 観光望遠鏡
３ 電子カメラ
４ インターネット
７ 画像注釈サーバー
８ サーバーエンジン
９ 地図データベース
１０ 植物データベース
１１ 昆虫データベース
１２ 画像認識システム
１３ 輪郭検出システム
６０ 指定枠
６１ 輪郭マーカ
６１１ 羽模様の輪郭マーカ

Claims (4)

1. 被写体を撮影して撮像データを生成する撮像手段と、
   前記撮像手段が生成した前記撮像データから前記被写体の形態的特徴量を検索する検索手段と、
   前記検索手段が検索した前記被写体の形態的特徴量の中から輪郭を検出する輪郭検出手段と、
   前記輪郭検出手段により検出された前記輪郭を表す形態マーカを前記撮像データの前記被写体の輪郭位置に重畳表示する表示手段とを備えていることを特徴とする情報表示装置。
2. 前記撮像データの一部を検索対象画像として指定する検索画像指定手段をさらに備え、
   前記検索手段は、前記検索画像指定手段により指定された検索対象画像の中から前記形態的特徴量を検索することを特徴とする請求項１記載の情報表示装置。
3. 前記形態的特徴量は複数あって、前記表示手段は、その中の１つを前記形態マーカで表示することを特徴とする請求項１または２のいずれかに記載の情報表示装置。
4. 撮像画像に情報を付加して表示する情報表示方法であって、
   前記撮像画像の形態的特徴量を検索する検索する検索ステップと、
   前記検索ステップが検索した前記撮像画像の形態的特徴量の中から輪郭を検出する輪郭検出ステップと、
   前記輪郭検出ステップにより検出された前記輪郭を表す形態マーカを前記撮像画像の輪郭位置に重畳表示するステップとを含むことを特徴とする情報表示方法。