JP2011171932A - 画像表示装置、画像表示方法及びプログラム - Google Patents

Abstract

【課題】ユーザが実空間で画像データを閲覧しているように直感的に効率よく画像データを検索することを可能とする。
【解決手段】画像情報取得部２０１は、画像データが撮影された位置を示す第１の位置情報、前記画像データが撮影された際の画角を示す画角情報、及び、撮影対象の位置を示す第２の位置情報を取得する。表示用撮影位置算出部２０３は、第１の位置情報、画角情報及び第２の位置情報に基づいて、画像データが撮影された際の画角での撮影対象の構図と同じになる所定の基準画角での撮影位置を算出する。画像表示部２０６は、第２の位置情報により示される撮影対象の位置を中心として、表示用撮影位置算出部２０３により算出された撮影位置に画像データを配置して表示させる。
【選択図】図２

Description

本発明は、画像データの撮影位置を示す情報を用いて当該画像データを表示する技術に関するものである。

近年、デジタルカメラやカメラ付き携帯電話の普及、及び、デジタルデータの記憶装置の容量増大に伴い、多くの画像データが蓄積されるようになった。さらに、インターネットを通して不特定多数の人の間で画像データが共有されるようになり、一人当たりが利用可能な画像データ数は莫大なものになっている。そのような莫大な画像データの中から、所望の画像データを効率的に探すために、従来、様々な画像検索方法及び画像閲覧方法が提案されている。その中の一方法として、撮影時に例えばＧＰＳ(Global Positioning System)機能を用いて取得した撮影位置情報に基づいて、撮影した画像データを電子地図データ上に配置して表示するものが知られている。このように電子地図データ上に画像データを配置することで、ユーザは電子地図データを基に直感的に所望の画像データを閲覧、検索することができる。

この電子地図データ上に画像データを配置する画像表示方法を利用した技術として、特許文献１に開示される技術がある。これによると、画像データと画像データの撮影位置及び撮影方角とを関連付け、画像データの撮影位置と撮影方角とがわかるように方角を矢印で表現し、電子地図データ上に重ねて表示している。

さらに、特許文献２では、画像データを撮影した方向として仰角の情報も用いて、画像データをより直感的に効率よく検索する手法が開示されている。また、特許文献２では、電子地図データ上に画像データを表示する方法として画像データを３次元配置することにも触れている。このことにより、ユーザは実空間で撮影対象を見ているかのように直感的な閲覧、検索が可能となる。

特開２００７−５２８０９号公報 特開２００９−１５７８９７号公報

しかしながら、撮影位置、撮影方向が同じ画像データであっても、撮影の画角が異なる場合、画像データの構図は異なる。同一の撮影位置、撮影方向でも、画角の狭い望遠レンズで撮影した画像データはより撮影対象に近づいた構図になり、一方、画角の広い広角レンズで撮影した画像データはより撮影対象から離れた構図になる。従来技術では、画像データを単純に電子地図データ上で撮影位置に配置するため、上記のように撮影位置は同じであるが、画角の違いにより構図の異なる画像データが同一の場所に配置されてしまう。このことは、画像データを直感的に閲覧、検索することに対する妨げとなっていた。ユーザが所望の撮影対象の画像データを検索するとき、細かい撮影地点を気にして画像データを閲覧、検索することは少ない。それよりも、今閲覧中の画像データより、撮影対象により近づいた画像データとか撮影対象をより右側から見た画像データのように実空間を意識した直感的な検索要求を持っている。従って、従来技術ではこのような検索要求を持っているユーザに対して混乱を生じさせてしまう。

そこで、本発明の目的は、ユーザが実空間で画像データを閲覧しているように直感的に効率よく画像データを検索することを可能とすることにある。

本発明の画像表示装置は、画像データが撮影された位置を示す第１の位置情報、前記画像データが撮影された際の画角を示す画角情報、及び、撮影対象の位置を示す第２の位置情報を取得する第１の取得手段と、前記第１の位置情報、前記画角情報及び前記第２の位置情報に基づいて、前記画像データが撮影された際の画角での前記撮影対象の構図と同じになる所定の基準画角での撮影位置を算出する算出手段と、前記第２の位置情報により示される前記撮影対象の位置を中心として、前記算出手段により算出された前記撮影位置に前記画像データを配置して表示させる表示制御手段とを有することを特徴とする。

本発明によれば、ユーザは実空間で画像データを閲覧しているように直感的に効率よく画像データを検索することが可能となる。

本発明の実施形態に係るデジタルカメラに適用されるコンピュータシステムの構成を示す図である。 本発明の実施形態に係るデジタルカメラの機能的な構成を示すブロック図である。 本発明の第１の実施形態に係る画像表示装置の処理を示すフローチャートである。 画像情報のフォーマットの一例を概略的に示す図である。 表示用撮影位置の算出方法を説明するための図である。 ３次元空間における画像データの表示用撮影位置を説明するための図である。 図３のステップＳ３０４において表示される画面の例を示す図である。 画像データが移動した先の表示用撮影位置に応じて画像データを拡大表示する動作を説明するための図である。 本発明の第３の実施形態における動画データ表示方法を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像表示装置に適用されるコンピュータシステムの構成を示す図である。ＣＰＵ１０１は、ＯＳ(Operating System)及び各種アプリケーションプログラムを実行し、コンピュータ装置各部の制御を行う。ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラムや演算用のパラメータの中で固定的なデータを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の作業領域やデータの一時記憶領域を提供する。ＲＯＭ１０２及びＲＡＭ１０３はバス１０４を介してＣＰＵ１０１に接続される。マウス、キーボード、タッチパネル、ジェスチャ認識装置等の入力装置１０６、ＣＲＴ、液晶ディスプレイ、３Ｄディスプレイ等の表示装置１０７、ハードディスク装置、ＭＯ、ＣＤ−ＲＯＭ等の外部記憶装置１０８は、インタフェース１０５を介してバス１０４に接続されている。また、バス１０４は通信部１０９を介してネットワーク１１０と接続される。

図２は、本発明の第１の実施形態に係る画像表示装置の機能的な構成を示すブロック図である。図２において、画像情報取得部２０１は、画像情報記憶装置２０２から画像情報を取得する。本実施形態では、画像情報に含まれる画像データとして静止画データを用いるものとする。図４は、画像情報のフォーマットの一例を概略的に示す図である。図４に示すように、画像情報取得部２０１によって取得される画像情報は、画像データと当該画像データのメタデータとにより主に構成され、その他にヘッダやサムネイル画像データを含む。画像データのメタデータとして少なくとも、画像データの撮影位置情報、撮影時の画角情報（以下、撮影画角情報と称す）及び撮影対象の情報（以下、撮影対象情報と称す）が含まれる。撮影画角情報は、焦点距離とフレームサイズとにより計算可能なのでこれらの情報を代用しても構わない。また、撮影対象情報としては、撮影対象の名称及び撮影対象の位置情報の両方が含まれていることが望ましく、仮に片方しか含まれていない場合には、その片方の情報を用いてもう片方の情報を補完して予め記憶しておく。補完方法としては、地理情報の知識を有するデータベースを用意し、地名から位置を、位置から地名を検索する形で行うようにすればよい。なお、上記撮影対象の位置情報としては緯度、経度、高度を含むこととするが、高度は必須ではない。高度が含まれる場合には、撮影位置の高さと撮影方向として仰俯角も考慮できるため、より好適な画像表示が可能となる。なお、図４に示す画像情報のフォーマットは飽くまでも一例であり、上記必要な画像データのメタデータを含むものであれば何でもよい。また、画像情報は、画像データとメタデータとの対応付けが可能であるならば、別々のファイルで画像情報記憶装置２０２に記憶しておくようにしてもよい。

撮影位置情報は、デジタルカメラに内蔵されたＧＰＳ装置や、外部に設けられたＧＰＳ装置を利用して撮影時に取得され、撮影された画像データと対応付けて画像情報に含まれる情報として記憶される。また、後からユーザに撮影地点を電子地図データ上で選択させ、それを撮影位置情報として画像情報に付加してもよい。撮影画角情報は、デジタルカメラが撮影した画像データと対応付けて撮影時に画像情報に含まれる情報として記録される。撮影対象の名称は、撮影後にユーザが手動でキー入力してもよいし、撮影対象として著名なものをリスト表示し、ユーザがその中から選択して画像情報に付加してもよい。また、例えばデジタルカメラにマイクを設け、撮影時にユーザが発声した撮影対象の名称をデジタルカメラが音声認識し、撮影した画像データと対応付けて画像情報に含まれる情報として記録するようにしてもよい。

表示用撮影位置算出部２０３は、画像データの撮影位置情報、撮影画角情報及び撮影対象の位置情報を用いて、実際に画像データを表示する位置を算出する。実際に画像データを表示する位置を、以下では表示用撮影位置と称す。なお、撮影位置情報は、本発明における第１の位置情報の一例であり、撮影対象の位置情報は、本発明における第２の位置情報の一例である。また、画像情報取得部２０１が撮影位置情報、撮影画角情報及び撮影対象の位置情報を取得する処理は、本発明の第１の取得手段の処理例である。

表示用撮影位置の算出方法について図５を用いて説明する。図５において、表示用撮影位置５０１は、撮影画角情報で示される撮影時の画角５０２を基準画角５０３に換算したときに、元の画角で撮影した構図５０４と所定の基準画角で撮影した場合の構図とが同じになる所定の基準画角５０３での撮影位置とする。基準画角５０３は、３５ｍｍフィルムの標準レンズである焦点距離５０ｍｍのレンズでの画角とし、その画角は４５度である。この角度は、人間が肉眼で見たときに近い遠近感で写る画角となる。なお、基準画角５０３は４５度に制限されるわけではない。表示用撮影位置５０１を算出する上で統一された基準画角を用いていれば、他は特に制限されない。表示用撮影位置５０１を算出するには、先ず以下の式１で基準画角(４５°)での撮影対象までの距離を計算する。
撮影対象までの距離＝Ｌ×tan(θ／２)／tan(４５°／２)・・・式１
上記式１において、Ｌは撮影位置５０５から撮影対象の位置５０６までの距離５０７、θは撮影時の画角５０２を表す。なお、表示用撮影位置算出部２０３は、本発明の算出手段の適用例となる構成である。

図５では、説明の簡単のために１次元で表現したが、図６に示すように、実際には３次元空間での表示用撮影位置６０１は、緯度６０２、経度６０３、高度６０４の成分として表される。それぞれの成分は、撮影対象までの距離６０５、方位角６０６及び仰俯角６０７を用いて、表示用撮影位置６０１を緯度、経度、高度の軸へ写像して得る。なお、表示用撮影位置６０１の成分として高度を含まない場合でも、同様の考えた方で２次元平面として表示用撮影位置（緯度、経度）を計算すればよい。なお、ここでの表示用撮影位置の計算方法は一例であり、表示用撮影位置を算出する上で、実際の撮影位置によらず同じ構図の画像データが同じ表示用撮影位置となっていれば特に限定されない。

地図情報取得部２０４は、表示用撮影位置と撮影対象の位置情報により示される位置とを含む電子地図データを地図情報記憶装置２０５から取得する。画像表示部２０２は、表示用撮影位置、画像情報及び電子地図データに基づいて、電子地図データ上において撮影対象を中心にして表示用撮影位置に画像データを３次元配置する。画像移動操作部２０７は、撮影対象を中心とした３次元配置で表示中の画像データを、撮影対象の方向へ任意の距離移動させる。画像加工部２０８は、画像移動操作部２０７により移動させられた表示中の画像データを、移動後の当該画像データの位置における所定の基準画角での撮影対象の構図となるようにトリミングし、拡大する。なお、画像表示部２０２は、本発明の表示制御手段の適用例となる構成である。また、地図情報取得部２０４は、本発明の第２の取得手段の適用例となる構成である。また、画像移動操作部２０７は、本発明の移動手段の適用例となる構成である。さらに、画像加工部２０８は、本発明の加工手段の適用例となる構成である。

図３は、本発明の第１の実施形態に係る画像表示装置の処理を示すフローチャートであり、ここでは、本実施形態に係る画像表示装置の処理例として、ユーザが「富士山」を検索対象とした場合の処理について説明する。

ステップＳ３０１において、画像情報取得部２０１は、メタデータに含まれる撮影対象の名称が「富士山」である画像情報を画像情報記憶装置２０から取得する。続くステップＳ３０２において、表示用撮影位置算出部２０３は、画像情報取得部２０１によって取得された画像情報の画像データについて表示用撮影位置を計算し、当該画像情報と対応付けて記録する。なお、表示用撮影位置の計算方法は上述した通りである。

続くステップＳ３０３において、地図情報取得部２０４は、画像データの表示用撮影位置と撮影対象の位置との両方を含む電子地図データを地図情報記憶装置２０５より取得する。ステップＳ３０１で複数の画像情報が取得された場合、先ず地図情報取得部２０４は、各画像情報に基づいて算出される表示用撮影位置のうちから撮影対象の位置から一番離れている表示用撮影位置を選択する。そして、地図情報取得部２４は、撮影対象の位置を中心として、選択された表示用撮影位置を含む円を包含する電子地図データを取得する。所望の電子地図データが得られない場合や、ユーザの任意判断、また、処理時間短縮のためにシステムのデフォルト設定として、電子地図データを用いずに画像表示することも可能である。

ステップＳ３０４において、画像表示部２０６は、撮影対象を中心とした同心球状に画像データを３次元配置する。ステップＳ３０４において表示される画面の例を図７に示す。図７に示すように、底面には電子地図データを配置する。電子地図データ上で撮影対象の位置には目印としてフラッグを立てたり、撮影対象を模したオブジェクトを置いたりしてもよい。画像データを電子地図データ上に３次元配置する際には、表示用撮影位置、撮影方向を電子地図データ上の位置に対応させて、実空間で撮影対象を見ているのと同じになるように配置する。撮影方向としては、方位角と仰俯角とがあり、撮影位置情報と撮影対象の位置（緯度、経度、高度）とから簡単に求めることができる。また、画像情報にサムネイル画像データが含まれていれば、サムネイル画像データを優先的に表示させてもよい。基準画角として人間が肉眼で見たときに近い遠近感で写る画角を用いることで、電子地図データ上に３次元配置された画像データは、実際にその地点から人間が肉眼で見ることができる光景がそのまま表れている。

ユーザは図７のように表示された富士山の画像表示画面を、自由に回転させたり拡大、縮小させたりしながら直感的に所望の画像データを探すことができる。本実施形態は、従来技術とは異なり、画像データの画角を考慮して同構図のものが近くに表示されるようにしている。また、表示装置１０７としては、ＣＲＴ、液晶ディスプレイ、３Ｄディスプレイ等が考えられる。本実施形態では、ユーザが撮影対象を実空間で眺めているかのように、画像データを立体的に３次元配置して表示できることから、３Ｄディスプレイでの好適な実施が期待できる。３Ｄディプレイは、特殊なメガネを利用するものと利用しないものとに大別される。前者としては偏光方式、カラーフィルタ方式、アクティブシャッタ方式等があり、後者としては二眼方式、多眼方式、インテグラル方式、ホログラフィ等がある。

ユーザが所望の画像データを見つけられないときには、現在表示中の画像データを簡単な操作でトリミングして、当該画像データの部分拡大画像データを得ることができる。例えばユーザの特定のマウス操作により、画像移動操作部２０７はユーザが選択した画像データを撮影対象の方向へ移動させる。画像加工部２０８は、画像移動操作部２０７により移動させられた表示中の画像データを、移動後の当該画像データの位置における所定の基準画角での撮影対象の構図となるようにトリミングし、拡大する。図８は、その動作をイメージ的に示す図である。８０１、８０２、８０３のように画像データの表示用撮影位置を撮影対象の位置に近づけるに従って、撮影対象が拡大された画像データが表示されるようになる。また、画像移動操作部２０７は若干の平行移動も入力として受け付け、その移動により画像加工部２０８はトリミングする構図の枠を平行に移動させ、任意の位置を切り取れるようにしてもよい。周りに表示された画像データの構図を参考にすることで、どのぐらい画像データを押し込めばよいか検討がつくので、単体でトリミングツールにかけるより効率よくトリミングすることが可能となる。

ここでは、撮影対象として富士山という比較的大きな対象を取り上げたが、ビルやタワー、橋、木等の位置が固定されている対象であれば規模によらず、実施において同様の効果が得られる。

次に、本発明の第２の実施形態について説明する。本実施形態に係る画像表示装置の機能的な構成は、図２に示す構成から地図情報取得部２０４及び地図情報記憶装置２０５を除いた構成である。上述した第１の実施形態において、画像表示部２０６は、地図情報取得部２０４から得た電子地図データ上に画像データを３次元配置して表示するようにしたが、電子地図データを用いることは必須ではない。電子地図データを用いない場合には、撮影対象を中心とした同心球空間上に、表示用撮影位置を基に相対的に３次元配置すればよい。底面に電子地図データがあるかないかの違いだけで、見た目は図７と同じように画像データが３次元配置される。撮影位置を厳密に知りたい場合には電子地図データ上に表示することは有効だが、検索対象の画像データを好きなアングルや構図で閲覧し、所望の画像データを探す通常の画像検索行為では電子地図データ上での表示は特に必要としない。

次に、本発明の第３の実施形態について説明する。本実施形態に係る画像表示装置の機能的な構成は、図２に示す構成と同様である。但し、上述した実施形態では、画像データとして静止画データを用いているが、本実施形態は、静止画データ以外にも、動画データ、又は、静止画データ及び動画データの両方を含んだものも表示可能なものである。動画データは、フレームと呼ばれる一つ一つの静止画データにより構成されている。このフレームを狭義の静止画データと見做し、フレームの一部又は全部に静止画データで説明したものと同じメタデータを付与する。そして、画像情報取得部２０１は、各フレームのメタデータから当該フレームの撮影位置情報及び撮影画角情報、並びに、撮影対象の情報を取得する。表示用撮影位置算出部２０３は、第１の実施形態と同様の手法により、これらの情報に基づいてフレーム毎に表示用撮影位置を計算する。画像表示部２０６は、フレーム毎に算出された表示用撮影位置に基づいて動画データを３次元配置する。

図９は、本発明の第３の実施形態における動画データ表示方法を説明するための図である。図９（ａ）は、フレームを一枚の静止画データとして、動画データを本来の静止画データと区別することなく表示する方法を示しており、フレーム一枚一枚全て表示してもよいし、任意の数間引いて表示するようにしてもよい。図９（ｂ）はフレームをコマ送りでアニメーションのように表示する方法を示している。アニメーションは常時ループ再生してもよいし、例えばユーザが動画データを選択することでアニメーションを開始するようにしてもよい。もちろん、全フレームを用いてアニメーションを作成する必要はなく、撮影時間が長い動画データに対しては大幅にフレームを間引く等の処理を加えてもよい。これにより、動画データを３次元空間に配置することの効果として、ユーザは動画データを再生して見ることなく、どのようなアングルや構図で撮影されたかを判断することができる。本実施形態によれば、ユーザが「ここからのアングルで、だんだん撮影対象に寄っていく動画データ」を探している場合、ユーザは検索結果としてそのような動画データが存在するのかしないのかを動画データを再生することなく即座に把握することができる。

上述した実施形態においては、画像データの撮影位置だけではなく、画像データ撮影時の画角も考慮して電子地図データ上に画像データを配置する位置を決定している。従って、電子地図データ上に画像データを配置する際に単純に撮影位置だけを用いる従来技術に比べて、ユーザは実空間で画像データを閲覧しているように直感的に効率よく画像データを検索することが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１：画像情報取得部、２０２：画像情報記憶装置、２０３：表示用撮影位置算出部、２０４：地図情報取得部、２０５：地図情報記憶装置、２０６：画像表示部、２０７：画像移動操作部、２０８：画像加工部

Claims (6)

1. 画像データが撮影された位置を示す第１の位置情報、前記画像データが撮影された際の画角を示す画角情報、及び、撮影対象の位置を示す第２の位置情報を取得する第１の取得手段と、
   前記第１の位置情報、前記画角情報及び前記第２の位置情報に基づいて、前記画像データが撮影された際の画角での前記撮影対象の構図と同じになる所定の基準画角での撮影位置を算出する算出手段と、
   前記第２の位置情報により示される前記撮影対象の位置を中心として、前記算出手段により算出された前記撮影位置に前記画像データを配置して表示させる表示制御手段とを有することを特徴とする画像表示装置。
2. 前記第１の取得手段は、前記画像データが動画データである場合、前記動画データを構成する一部又は全部のフレームに対応して、該当するフレームが撮影された位置を示す前記第１の位置情報、前記フレームが撮影された際の画角を示す前記画角情報、及び、前記撮影対象の位置を示す前記第２の位置情報を取得することを特徴とする請求項１に記載の画像表示装置。
3. 前記算出手段により算出された前記撮影位置と前記第２の位置情報に示される前記撮影対象の位置とを含む地図データを取得する第２の取得手段を更に有し、
   前記表示制御手段は、前記第２の取得手段により取得された前記地図データ上において、前記撮影対象の位置を中心に前記画像データを配置して表示させることを特徴とする請求項１又は２に記載の画像表示装置。
4. 前記表示制御手段により表示される前記画像データの位置を移動させる移動手段と、
   前記移動手段により移動された前記画像データの位置における前記所定の基準画角での前記撮影対象の構図となるように前記画像データを加工する加工手段とを更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像表示装置。
5. 取得手段が、画像データが撮影された位置を示す第１の位置情報、前記画像データが撮影された際の画角を示す画角情報、及び、撮影対象の位置を示す第２の位置情報を取得する取得ステップと、
   算出手段が、前記第１の位置情報、前記画角情報及び前記第２の位置情報に基づいて、前記画像データが撮影された際の画角での前記撮影対象の構図と同じになる所定の基準画角での撮影位置を算出する算出ステップと、
   表示制御手段が、前記第２の位置情報により示される前記撮影対象の位置を中心として、前記算出ステップにより算出された前記撮影位置に前記画像データを配置して表示させる表示制御ステップとを含むことを特徴とする画像表示方法。
6. 画像データが撮影された位置を示す第１の位置情報、前記画像データが撮影された際の画角を示す画角情報、及び、撮影対象の位置を示す第２の位置情報を取得する取得ステップと、
   前記第１の位置情報、前記画角情報及び前記第２の位置情報に基づいて、前記画像データが撮影された際の画角での前記撮影対象の構図と同じになる所定の基準画角での撮影位置を算出する算出ステップと、
   前記第２の位置情報により示される前記撮影対象の位置を中心として、前記算出ステップにより算出された前記撮影位置に前記画像データを配置して表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。

Images