JP2010063076A - 画像処理装置および画像処理装置プログラム - Google Patents

Abstract

【課題】カメラを覗くユーザーにあたかも過去を覗いているかのようなユーザーエクスピリエンスを提供する。
【解決手段】カメラと画像ファイルの空間情報を利用して仮想空間内に画像ファイルを展開し、カメラに映し出されている映像に重畳表示する。
【選択図】図１

Description

発明の詳細な説明

本発明は空間情報を利用し撮影した画像を空間に表示する画像処理装置に関する。

従来ＧＰＳ情報を付加した画像を地図上に表示するアプリケーションは存在し、広く知られている。しかし、本発明のように空間内に画像を表示することは行われていない。

従来のようにＧＰＳ情報を用いて地図上に画像を配置することで、場所のイメージがつかみやすくなり、また自分の撮影した画像である場合は、目的の画像が探しやすくなるというメリットがある。しかし、これはそれだけのものであり、認識に特別な効果をもたらすものではない。本発明を利用することで仮想空間内に配置された画像をカメラや携帯電話、コンピューターなどの携帯デバイスを用いて見ることで、装置を通してあたかも過去の時間をのぞくかのような気分を味わうことができるようになる。

発明を解決するための手段

画像処理装置はカメラから入力された画像を液晶やＥＬＰなどの画像表示手段に表示するが、その際に画像処理装置に備わったＧＰＳや傾きセンサー、あるいは加速度センサーや無線ＬＡＮや携帯電話基地局からの電波などを利用したロケータ手段によって該画像処理装置の空間情報を測定する。ここで空間情報とは、緯度経度の他に傾きや方向、画角、解像度などが含まれているものとする。画像処理装置の記憶手段やネットワークなどから取得した画像ファイルには、これらの空間情報があらかじめデコードされたりデータベースによって関連づけられているが、これらの情報を用いて画像ファイルをデコードした画像を現実空間と対応づけられる三次元仮想空間内に配置し、画像処理装置の画像表示手段に表示する。またこの画像表示手段には外界の映像が表示されているが、先の画像と外界とを重畳表示して表示する。

画像表示手段に外部映像と、ネットワークまたは画像処理装置の記憶手段などに保存された画像を表示する際に、撮影時の画角や解像度、縦横比と、画像が再生表示されている画像処理装置とが異なっていたり、また設定が異なっている場合に、画像表示装置に表示される画像が表示されている映像と大きく異ならないように、それぞれの属性情報を利用して画像を調整する手段を持つこともできる。

また、ロケータ手段が利用できないとき、あるいはロケータ手段によって得られた空間情報が不正確な場合でも、カメラから入力されている映像と同様の特徴を持つ画像ファイルを記憶手段やネットワークから取得し、外部映像と重畳表示することでも同様の効果を得ることができる。

また、画像ファイルに記録されている画像と、カメラから入力されている画像とが一致する場合は、画像ファイルの持つ空間情報とロケータ手段から得られる空間情報は一致するはずであるし、これらが近い場合も、これらの二つの空間情報も近いはずである。これらに多くの差がある場合に、空間情報にエラーが含まれているものとして、いずれか又は双方を補正するのがよい。

また、画像処理装置のロケータ手段から得られている空間情報と、画像処理装置に表示しようとしている画像ファイルの空間情報とが一致している場合や、近い場合に、誤差などで画像処理装置から見える風景と画像ファイルの画像とが異なる視点になってしまう場合には、画像を写像、変形して違和感のないように表示することが望ましい。

また、ロケータ手段から得られた空間情報に基づいて、画像処理装置の保存手段や、ネットワークなどから検索し、画像処理装置のおかれた位置と近い範囲の画像情報を、画像処理装置の表示手段である液晶ディスプレイなどに表示するが、配置された画像に対して、画像処理装置とそれぞれの画像と関連づけられた空間情報に応じて、距離や位置関係を表現するべく、遠近法、ぼかし、彩度調整、明度調整、画像表示範囲の調整などを行った上で重畳表示することが望ましい。

また、画像処理装置のカメラで撮影された画像や映像を保存する際には、ロケータ手段から得られた位置情報や、既存の画像ファイルとその画像ファイルが持っている空間情報、カメラから得られる画像情報などを用いて得た、あるいは補正された空間情報を保存する。この際に、
１画像処理装置またはネットワークから得られた画像ファイルに記録された空間情報
２該画像ファイルに記録された画像
の双方を用いて空間情報を決定することでより正確な空間情報を期待できる。

また、画像表示手段に表示されている１以上の画像のうち、特定の画像について、ユーザーが以下の１から３のいずれかまたは複数によって指示することで、
指示された画像をより見やすいように拡大表示されるようにすることもできる。
１．焦点を合わせる
２．画像表示手段の画面で指示する
３．該画像表示手段の特定の位置に一定時間あわせる

同一の場所で異なる機会に写真が撮影され、蓄積されると、同一の場所に複数の画像を表示しなければならない。この場合には選択が困難になるが、このように同一フレームに表示すべき複数の画像ファイルがある場合には、時系列にそって重ね合わせて表示されるようにし、タッチパネル式の画像表示手段に表示された指示アイコンや、または前記画像処理装置の外部に物理的に設置されたスイッチなどの指示手段によって表示すべき画像ファイルが選択できるようにしてもいい。また、ユーザーの設定できるカスタマイズによってフィルタリングできるようにすることもできる。

また、画像処理装置をユーザーが操作することで、仮想空間内での画像処理装置の位置を移動できる手段を備えても良い。これによってユーザーは画像表示手段に表示される画像を操作し、見たい画像をある程度選択することができる。

また、カメラと空間情報を備えたＰＤＡやコンピューター、携帯電話などの情報処理装置を請求項１から８のいずれかの画像処理装置として動作させることのできるプログラムであってもよい。

発明の実施形態を図面を用いて説明する。図１は、画像処理装置をユーザーが手に持ち、風景とともに複数の画像が表示されている様子である。画像ファイルは画像処理装置の記憶手段から読み出されたものであっても良いが、ネットワークからダウンロードされたものであっても良い。この場合は、撮影者が異なる可能性もあるし、アクセス権が設定されている場合もある。ユーザーが画像処理装置を構えると、画像処理装置（１）の画像表示手段（２）にカメラから見た外界の映像が表示される。同時に画像処理装置のロケータ手段は、ＧＰＳなどによって、カメラの位置や高度を測定し、同時に加速度センサーなどを用いてカメラの三次元的な向きを測定する。さらにカメラの設定情報から画角や解像度や縦横比、などの情報も得る。

また、画像処理装置は空間情報に含まれる位置情報を用いて、記憶手段と、ネットワークから表示すべき画像ファイルを取得する。それぞれの画像ファイルには空間情報が含まれるので、これらの情報を用いて、画像処理装置があらかじめ与えられたアルゴリズムに基づいて演算を行い、現実空間と重ね合わせることのできる仮想空間にそれぞれの画像を配置する。

この際に、さらに理想的には画像ファイルに関連づけられた空間情報のうち、傾きや方向の情報、画像処理装置の位置と画像が撮影された位置との距離などを用いて、画像の配置と調整を行うべきである。図１においては、（４）は画像処理装置が見ている方向よりも前方の位置から左方向に向けられて撮影された画像、（５）は前方の位置から左方向かつ、下向きに撮影された画像であること、（３）は画像が前方のより遠い位置で撮影されたこと示すべく遠近法的に表示されていることを示している。

このように画像処理装置と撮影された画像の撮影位置や方向は異ることが一般的であることが予想されるが、異なる方向を向いて撮影された画像をそのまま描写すると違和感が生じることもある。図１の（４）や（５）では視点の相違を吸収するように画像の表示範囲などが調整され表示されている。もちろん、完全に窓のように表示する場合と、撮影時の画像のサムネイルである場合と、それぞれの良さがあるので両方使い分けられるようにするのが望ましい。

画像処理装置はまた画像や映像を保存することができるが、そのさいにロケータ手段から得られる情報を画像にエンコードして保存したり、関連づけて保存したりすることができる。エンコードして保存するとは、画像ファイルの画像情報とは異なるエリアにバイナリ情報として保存することであり、関連づけて保存するとは例えば、データベースに画像ファイルと同じレコードの別のフィールドに保存することなどがある。

図２に示すように撮影時の画角で表示されている画像（７）と、画像処理装置の画角とが大きく異なると、効果が弱くなる場合がある。その場合に違和感が生じないように
１．該画像処理装置の画角または解像度のいずれか又は双方
２．該画像ファイルの画角又は解像度のいずれか又は双方
上記１から２のいずれか又は双方を調整するアルゴリズムを持たせることで、違和感をなくすようにすることもできる。画像処理装置の画角や解像度を操作する際には、画像処理装置のレンズを移動させるなどの手段を採用することもできる。

ロケータ手段を利用できない場合でも、カメラから入力されている映像の特徴に合致する画像ファイルを、画像処理装置の記憶手段やネットワークを検索することで取得し、取得された画像と映像とから空間的位置を再構成することで、図１に示す効果を得ることができる。

また、ロケータ手段によって得られた空間情報と、画像ファイルに関連づけられた空間情報とが一致するか又は近い場合や、画像ファイルに記録されている画像と、画像処理装置のカメラから得られた画像とが一致するか又は近似する場合には、画像が撮影された時に画像を撮影したカメラなどとほぼ同じ位置、あるいは仰角、俯角、向きなどであることが予想される。そして、これらの情報を総合することでより正確な空間情報を得ることができる場合がある。ロケータ手段から得られたデータや、画像に関連づけられた情報に誤差が含まれていることがわかった場合には、これらを補正することができるように構成するのがよい。

前記ロケータ手段から得られた空間情報に基づいて、前記画像ファイルと関連づけられた空間情報を検索し、この二つが一定の距離にある場合に前記画像処理装置の画像表示手段に１以上の画像ファイルに記録された画像を表示し、且つ前記仮想空間内の該画像処理装置と画像ファイルの位置関係を反映したものであるように遠近法、ぼかし、彩度、透明度、のいずれかまたは複数の表現方法を用いたものであることを特徴とする請求項１から６のいずれかに記載の画像処理装置。

前記カメラによって撮影し、画像を保存する際に前記ロケーター手段によって得られた位置情報を添付、またはエンコードして保存するが、該ロケータ手段によって得られた情報以外に、
１画像処理装置またはネットワークから得られた画像ファイルに記録された空間情報
２該画像ファイルに記録された画像
の双方を用いて空間情報を決定することで、より誤差を小さくすることが期待できる。。

画像表示手段に表示されている画像について、ユーザーがより詳細に見たいと願った時のために、画像を指示する手段を備えるべきである。図３にはこの理想的な形を表示した。画像表示手段はタッチパネルが実装されておりこれを指示手段として用いる。ユーザーによって、指で指示された座標に表示されている画像（８）と対応する画像ファイルを認識し、拡大処理を行う。

同一の場所で撮影された写真が多数あるなど、同一フレームに表示すべき複数の画像ファイルがある場合には、時系列にそって重ね合わせて表示する。実施例として図４に同一の場所で撮影された複数の画像が重ね合わせて表示されている例を示す。理想的な実施例としてタッチパネル上に指示手段（９）（１０）が表示されている。ユーザーが（９）をタッチするとより過去に撮影された画像へ、（１０）をタッチすると現在に近い日付に撮影された画像が表示されることを想定している。また、フィルタリングができるようにすることも必要である。フィルタリングについては、ユーザーが予め設定したフレンドリストに載っているユーザーの画像や、一定期間内のものなどの設定ができる。

本発明の画像処理装置に外部の映像と、画像処理装置本体の記憶手段やネットワークから獲得し、仮想空間内に配置された画像とを重畳表示している例である。 外部の映像に重畳表示された画像が撮影時の画角で表示されている例である。 ユーザーが見たい画像をタッチパネルで指示している例である。 同一の空間情報を持ち、過去に撮影された画像が複数ある場合の例である。

符号の説明

１ 画像処理装置
２ タッチパネル式画像表示手段
３、４、５、６ 画像ファイルから展開された画像
７ 画角の異なる画像が表示されている例
８ タッチパネルの画像を指で指示している例
９ 過去の画像を表示させるためのアイコン
１０ 現在に近い画像を表示させるためのアイコン

Claims (12)

1. カメラと、画像表示手段と、位置、方向、傾き、高度のうち複数を含む空間情報を測定するロケータ手段とを少なくとも備えた画像処理装置において、該ロケータ手段によって測定された空間情報と、１以上の画像ファイルと、該画像ファイルに関連づけられた空間情報のうち、位置、方向、傾き、高度情報のうちの複数を用いて、現実の三次元空間と対応を持つ仮想空間内に該画像ファイルに記録された画像を配置し、前記画像表示手段に該カメラから入力されている外部風景と前記仮想空間に配置された該画像とを重畳表示し、該画像表示装置には外部の風景内に前記の画像又は映像が存在するかのように表示する手段を備えたことを特徴とする画像処理装置。
2. 前記カメラによって撮影された画像を保存する際には前記ロケータ手段によって得られた空間情報を添付又は画像ファイルにエンコードして保存する手段をも備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記ロケータ手段によって測定された空間情報と、前記画像ファイルに関連づけられた空間情報に含まれる撮影時の画角情報または解像度情報のいずれか又は双方に対応して、
   １．該画像処理装置の画角または解像度のいずれか又は双方
   ２．該画像ファイルの画角又は解像度のいずれか又は双方
   上記１から２のいずれか又は双方を調整する手段を備えたことを特徴とする請求項１または２に記載の画像処理装置。
4. カメラと画像表示手段を少なくとも備えた画像処理装置であって、該カメラから得られた映像から抽出された特徴と一致する画像ファイルを、前記画像処理装置の記憶手段またはネットワークから取得し、該カメラによって取得され、該画像表示手段に表示されている映像に該画像ファイルに記録された画像を重畳表示する手段を備えたことを特徴とする画像処理装置、又は請求項１から３のいずれかに記載の画像処理装置。
5. 前記ロケータ手段によって得られた空間情報と前記画像ファイルに関連づけられた空間情報とが一致するか又は近い場合、又は該画像ファイルに記録されている画像と、該画像処理装置のカメラから得られた画像とが一致するか又は近似する場合に、該画像処理装置のロケータ手段によって得られた空間情報または該画像ファイルに添付された空間情報のいずれかまたは双方の空間情報を補正する手段と、補正された空間情報を保存する手段とを備えたことを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 前記ロケータ手段から得られた空間情報と、前記画像ファイルの空間情報が一致するか又は近い場合に、該画像ファイルに記録された画像と該画像処理装置のカメラから入力されている画像とが重なるように該画像ファイルに記録されている画像を変形する手段を備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記ロケータ手段から得られた空間情報に基づいて、前記画像ファイルと関連づけられた空間情報を検索し、この二つが一定の距離にある場合に前記画像処理装置の画像表示手段に１以上の画像ファイルに記録された画像を表示し、且つ前記仮想空間内の該画像処理装置と画像ファイルの位置関係を反映したものであるように遠近法、ぼかし、彩度、透明度、画像表示範囲の調整、のいずれかまたは複数の表現方法を用いたものであることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 前記カメラによって撮影し、画像を保存する際に前記ロケーター手段によって得られた位置情報を添付、またはエンコードして保存するが、該ロケータ手段によって得られた情報以外に、
   １画像処理装置またはネットワークから得られた画像ファイルに記録された空間情報
   ２該画像ファイルに記録された画像
   の双方を用いて空間情報を決定する手段を備えたことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 前記画像表示手段に表示されている１以上の画像のうち、特定の画像について、以下の１から３のいずれかまたは複数によって
   １．焦点を合わせる
   ２．画像表示手段の画面で指示する
   ３．該画像表示手段の特定の位置に一定時間あわせる
   該画像が該画像表示手段において拡大されることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 同一フレームに表示すべき複数の画像ファイルがある場合には、時系列にそって重ね合わせて表示され、画像を指示する指示手段、フィルタ手段のいずれかまたは双方によって表示すべき画像ファイルが選択できる手段を備えたことを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 前記画像処理装置を操作することで、前記画像処理装置の仮想空間内での位置を移動できるような手段を備えたことを特徴とする請求項１から１０のいずれかに記載の情報処理装置。
12. カメラと空間情報測定手段を備えた情報処理装置を請求項１から１１に記載のいずれかの情報処理装置として動作させることのできるプログラム。

Images