JP2007226555A - 無意識に撮影された画像の閲覧装置及び方法 - Google Patents

Abstract

【課題】無意識に撮影された大量画像を、自動で付与可能な情報を用いて整理しておき、撮影した覚えのない画像にすばやくアクセス可能とする方法を提供する。
【解決手段】受信した画像の特徴情報を抽出する特徴抽出部１０２と、受信した位置・時刻情報と特徴抽出部１０２より得られる画像特徴を用いて、画像の内容や管理情報を表すメタデータを作成する。操作情報とメタデータ生成部が作成したメタデータを基に、クラスタリング結果やユーザの画面操作履歴を基に画像の表示画面を作成する・表示する。
【選択図】図１

Description

本発明は、デジタルカメラや携帯電話で撮影された画像データの閲覧方法、及び、装置に関するものである。

従来の画像の閲覧方法で閲覧する画像として、スポーツ観戦、運動会、遠足、会議のように、時刻と場所がだいたい定まっている、特定のイベントにおいて、撮影者がカメラを構えて撮影した画像を想定している。撮影された画像はファイルとフォルダによって管理され、フォルダを探すことで所望のイベントを検索し、時系列に沿い、画像を順次閲覧する方法が主である。

所望のイベントの効率的な探索方法として、撮影時の時刻と場所を利用して、イベント名前や地名などの情報を得て、それにより、画像を検索可能とするものがある（たとえば、特許文献１）。図２３は前記特許文献１に記載された従来の閲覧装置の時刻と場所による画像管理方法を示した図である。図２３において、図２３（ａ）は画像の管理方法の概念図、図２３（ｂ）は、図２３（ａ）の場所情報と、イベント情報の対応を示す概念図である。Ａ２３０１はファイル名、Ａ２３０２は、Ａ２３０１が撮影された日時、Ａ２３０３は、Ａ２３０１が撮影された場所を表している。Ａ２３０３はイベント名を表しており、Ａ２３０５で示される場所の概念的な名称を表している。

また、増大する画像群の管理方法として、位置情報により、撮影した場所を都道府県よりも大きい区分のエリアにして分類するものがある(たとえば、特許文献２)。この管理方法により、おぼろげな場所に対しての記憶であっても、大くくりにした範囲で画像群を表示して、選択させることにより、検索漏れが少なく、所望の画像群への検索を行えるようにすることが可能となる。図２４は、画面イメージである。Ａ２４０１は大くくりにされた画像群の区分けを表している。Ａ２４０２は選択された大くくりを表している。この場合は東北地方で撮影された画像の検索イメージとなる。Ａ２４０３は大くくりの中のデータとして管理されている画像を表している。この部分に表示される画像から、所望の画像を選択することが可能となる。
特願２０００−９１０２４号公報（Ｐ７−Ｐ１０、図２、図９） 特願２００３−４２９４４２号公報（Ｐ５―Ｐ６、図１、図２、図３、図４）

しかしながら、従来の画像の閲覧方法においては、従来のデジタルカメラにおける撮影方法は、特定イベントの少量枚数撮影であるが、デジタルカメラの小型化、撮影可能な画像枚数の増加により、日々の生活における画像のまる撮りの撮影方法が可能となり、このような撮影方法においては、撮影した画像内容が分からない（覚えていない）、無意識かつ大量に撮影された、画像の閲覧には、従来のファイルとフォルダによる管理と、時系列による検索、閲覧では、所望の画像にたどりつくまでに膨大な手間がかかると言う課題を有していた。また、撮影時に画像に対して効果的な分類情報として、人手を介してメタデータを付与することも、画像の枚数から実用的でなく、それらに頼った画像分類、および、画像の提示が困難であるとの課題を有していた。

本発明は、前記従来の課題を解決するもので、無意識に撮影された大量画像を、自動で付与可能な情報を用いて整理しておき、それらの整理状態の画像により画面を表示し、各画面の表示切替え閲覧操作による、表示切替え時に、各画面の表示範囲を用いて、各画面を作成するための手段を設けることで、表示内容が切替ったときに、表示範囲の広さに差が生じにくくなり、違和感が緩和され、また、切替え操作を繰り返すことによって、撮影した覚えのない画像にすばやくアクセス可能とする方法を提供することを目的としている。さらには、他人が撮影した画像を用いて、これから体験しようとしている内容を、擬似体験させる閲覧方法の提供を目的としている。

本発明の閲覧装置によれば、日々の生活をまる撮りした、無意識かつ大量画像の閲覧方法を提供することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
本発明の実施の形態１は、カメラにより撮影された画像を、ネットワークで受信した後に閲覧する場面を想定している。
以下、本発明の実施の形態１にかかる画像の閲覧装置について、添付図面を用いて説明する。

まず、図１は実施の形態１にかかる画像の閲覧装置の構成を示すブロック図である。
図１において、画像の閲覧装置１００がある。１００内部には、画像、及び、位置・時刻情報を受信する受信部１０１が設けられている。実施の形態１では、位置・時刻情報としてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）で得られる場所（緯度、経度）情報、及び、時刻を使用している。しかし、位置・時刻情報はＧＰＳに限定されるものではなく、画像の撮影時の位置や時刻情報が得られる手段を用いても良い。

また、受信した画像の特徴情報を抽出する特徴抽出部１０２と、受信した位置・時刻情報と特徴抽出部１０２より得られる画像特徴を用いて、画像の内容や管理情報を表すメタデータを作成する、メタデータ生成部１０３がある。後で詳述する。
１０１が受信した画像や位置・時刻などの情報や、１００の内部で作成した情報を格納する記憶部１０４がある。

また、画面の表示内容の変更を入力する入力部１０９があり、その操作情報を管理する操作情報管理部１０６がある。
操作情報とメタデータ生成部が作成したメタデータを基に、所望の画像を検索するクラスタリング部１０７がある。
そして、クラスタリング部の結果やユーザの画面操作履歴を基に画像の表示画面を作成する画面作成部１０５がある。

さらに１０５で作成された画面を表示する表示部１０８がある。
実施の形態１では、表示部１０８は液晶モニターなどの表示手段を用いる。入力部１０９は、タッチパネルなどの入力手段を用いる。
以上のように構成された画像の閲覧装置１００において、画像の閲覧動作を説明する。画像の閲覧動作は、蓄積動作、リアルタイム閲覧動作、整理閲覧動作の３動作で行われる。

以下、３動作を順次説明する。
蓄積動作を説明するに当たり、図１と図２（ａ）を用いる。
受信部１０１は、画像２０１と位置・時刻２０２を受信する（ステップ３０１）。
特徴抽出部１０２は、画像２０５より画像特徴を抽出し、メタデータを作成する（ステップ３０２）。

実施の形態１では、画像中に写る各人物の顔特徴情報を想定している。顔特徴情報は、一般的に用いられている顔領域の濃淡情報やガボール変換情報を想定しているが、これに限定するものではない。
たとえば、色情報、目鼻などの顔部品の位置関係、実際の顔のサイズなど、画像処理で得られるものであれば良く、それらを組み合わせて用いても良い。

次にメタデータ生成部１０３において、位置・時刻情報２０６と特徴抽出部１０２で得られた顔特徴情報を用いて、画像の内容や管理情報を表すメタデータ２０９を生成する（ステップ３０３）する。
本発明においては、まず、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）で得られる時刻、及び、場所（緯度・経度）情報を用いて、画像を撮影する撮影者の行動を、移動、滞在の２種類として分類する。これは、場所情報を用いて簡単に求めることができる。さらには、時刻情報を用いて、移動の速さを求めることが可能である。

さらには、長時間に渡る入力に対しては、時間的に狭い間隔での移動、滞在を判定するだけでなく、時間的に長い間隔でも、移動、滞在を判定しておく。これにより、特定の場所の範囲での小さな移動や測位装置の誤差により発生する微小な場所変化を、同じ場所での滞在と判定できるようになる。
たとえば、運動会のような特定の、ある範囲内で行われるイベントに参加したことが、１つのイベントクラスタとして、区別できるようになる。そして、滞在イベント以外の部分は、滞在場所から他の滞在場所への移動イベントとして扱うことができる。

さらに、場所で分類することにより、同じ場所へ行った複数の画像群が同じ分類になる。これにより、過去の同じ場所の画像を短時間で検索し、閲覧することが可能となる。さらに、時間で分類することにより、同じ時間帯の画像群を短時間で検索し、閲覧することができるようになる。さらに、時間と場所で分類することにより、会社勤務のような、日々の定型イベントを短時間で検索し、閲覧することができるようになる。

なお、画像を撮影する撮影者の行動を、移動、滞在の２種類として分類しているが、これに限定したものではない。たとえば、移動中の移動速度を用いて、画像を分類しても良い。これにより、画像を移動速度で分類することができ、移動手段別に検索し、画像を閲覧可能となる。なお、ＧＰＳを対象として述べているが、より精度の高いＤ−ＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ−ＧＰＳ）を受信しても良いし、赤外線や超音波のような測位装置により、測位情報を得ても良い。さらに、地図情報と連動することで、場所に対応するランドマークや、場所と時間に対応するイベント情報をメタデータとしても良い。要は、画像が撮影された時の位置情報が得られれば良い。

なお、時刻・位置情報だけでなく、他のセンサーを用いて得られる情報を用いて、画像を分類しても良い。要は、位置や場所などの画像を撮影したときの状況や、速度のように、それらを用いて得られる情報や、画像から得られる情報を用いて、画像が分類できれば良い。
次に、記憶部１０４は、画像２０３と位置・時刻２０４や、特徴情報であるメタデータ２０９を記憶する（ステップ３０４）。
次に、メタデータ２０７を用いて、クラスタリング部１０７で画像を分類（ステップ３０５）する。

本実施の形態１では、画像中に写る人物の顔特徴を得て、その顔特徴でクラスタリングしておく。これにより、顔特徴毎に画像が分類されることになり、特定人物が写る画像を短時間で検索し、閲覧することが可能となる。なお、顔特徴に限定するものではなく、画像に写る生物、乗り物、物体などの情報を用いても良い。また、ポスターや漫画、ドキュメント、看板、標識などのグラフィックスによって分類してもよい。

また、画像のエッジ特徴、色特徴を用いてＴｅｒｒａｉｎ／Ａｒｃｈｉｔｅｃｔｕｒｅ／Ｗａｔｅｒｓｉｄｅ／Ｓｎｏｗｓｃａｐｅ／Ｎｉｇｈｔ−ｓｃｅｎｅｓ／Ｉｎｄｏｏｒｓ／Ｓｕｎｓｅｔに関する構図の度合を、メタデータとして出力することも考えられる。なお、Ｔｅｒｒａｉｎとは地形・地勢に関係する見え方に関するメタデータであり、公園、森、山などがこれにあたる。背景におけるエッジや色の度合いによって表現することができる。また、Ａｒｃｈｉｔｅｃｔｕｒｅとは人が作成した建物などの見え方に関する情報である。被写体の縦エッジの多さや、色等によって定義することができる。Ｗａｔｅｒｓｉｄｅとは水際で撮影したことを示す情報である。反射の度合いなどから、水際らしさを定義して求めることができる。Ｓｎｏｗｓｃａｐｅとは雪で覆われた景色か否かを定義して出力される情報である。色情報などから定義することができる。Ｎｉｇｈｔ−ｓｃｅｎｅｓとは暗い中で撮影された画像か否かを表す情報である。Ｉｎｄｏｏｒｓでは建物の中で撮影された映像か否か、照明推定などによって表す情報である。Ｓｕｎｓｅｔでは朝日、夕日の基での撮影か否かを表す情報である。

以上のメタデータを用いることで、画像特徴からも場所や撮影環境、構図に応じた分類が可能となる。
以上の動作により、入力された画像は位置や時刻や人物により、分類され整理された状態になる。
なお、本実施の形態１では、場所、時刻、画像特徴を用いた分類・整理についてのみ記載していたが、各種のセンサー計測データ、ネットワークを介して取得した情報、音データ、撮影時のカメラパラメータ、撮影者自身の情報を用いることでより詳細な分類・整理が可能になる。

たとえば、センサーを介して取得可能な天気、気温、湿度、風向、風力、注意報（警報）に関する情報を用いて、画像を分類することも可能である。これらを利用することで、冬で寒いはずなのに、暖かかった日を軸に整理するなどといった、人間の記憶に基づく整理軸を一つ追加できる。
また、ネットワークを介して情報を取得することで、時事情報を画像に付与することができる。これによって、画像からその日の状況が喚起されるといったことも可能になる。

一方、画像取得時のカメラパラメータは、画像を整理する上で当然の情報であり、たとえば、撮影機器のＩＤ、撮影時のズーム倍率、露出、シャッター速度、カメラの向きと移動等の、撮影に必要なカメラパラメータをメタデータとして記録しておくことで、たとえば、立ち止まって、ある方向をずっと向いている画像を、一まとまりに整理するといったことが可能になる。

また、撮影者自身の情報として、撮影者の脈拍、動悸、脳波、血流、視線等を取得しておくことで、撮影者の感情に基づいた整理が可能になる。さらに、音データを取得しておくことで、より臨場感ある整理が可能になる。
次に、記憶部１０４は、メタデータ２０９を記憶する。
以上の動作により、入力された画像は、メタデータが付与された状態になる。

リアルタイム閲覧動作を説明するに当たり、図１と図２（ｂ）を用いて説明する。
受信部１０１は、画像２０１と位置・時刻２０２を受信する（ステップ３０１）。画面作成部１０５は、画像２１０と位置・時刻２１１を用いて、表示用画面を作成する（ステップ３０７）。次に、表示部１０８は、画面作成部１０５が作成した画面を表示する。
以上の動作により、画像の閲覧装置が受信した画像を、リアルタイムに表示することが可能となる。

整理閲覧動作を説明するに当たり、図１と図３と図４〜図６を用いて説明する。
入力部１０９は、画像閲覧開始要求を受け取る（ステップ４０１）。本動作は、明示的に画面をクリックすることだけではなく、画像閲覧装置の電源を入れることや、折りたたみ式の画像閲覧装置を開く動作であっても良い。
操作情報管理部１０６では、入力部１０９に入力された情報を用いて、操作履歴２１７を作成する（ステップ４０２）。

ここで操作履歴２１７は、図４の５０１のように例示される。５０２は時刻レンジを表し、画面に表示されている画像の表示時間範囲を示している。値が設定されていない場合には、デフォルトの値を適用する。５０３、５０４、５０５は、それぞれ時刻画面、場所画面、人物画面で設定される値である。つまり、各画面で表示切替え動作を行ったときに設定される値である。各値が設定されていない場合には、デフォルトの値が適用される。時刻操作５０３には、表示画面に表示される時間幅を、時刻粒度５０６として設定する。場所操作５０４には、表示画面に表示される縮尺を、縮尺粒度５０７として設定する。また表示されている地域を、地域表示範囲５０８として設定する。人物操作５０５には、表示するための閾値の情報を、足切粒度５０９として設定する。また表示されている人物の表示範囲を、人物表示範囲５１０として設定する。

次に、記憶部１０４は、操作情報管理部１０６が作成した操作履歴２１７を記憶する（ステップ４０３）。クラスタリング部１０７は、メタデータ２１４と操作履歴２１５を用いて、表示すべき画像を決定する（ステップ４０４）。画面作成部１０５は、クラスタリング部１０７が作成した画面情報２１８を基に、必要な画像２１２と位置・時刻２１３を得て画面を作成する（ステップ３０２）。表示部１０８は、画面作成部１０５が作成した画面を表示する（ステップ３０５）。

次に、作成される画面について説明する。作成される画面は図５のように例示される。
図５（ａ）は、画像が時刻により整理された画面例である。６０１は画像の表示部である。６０２は表示している画像の日付、及び、曜日の表示部と切り替え部である。６０１において、月曜日から金曜日の８：００〜１８：００までがまとめられて表示されている。これは、時間と場所で整理した例を示しているからである。つまり、毎日、決まった時間に同じ場所にいるため、同じ行事として画像をまとめて表示している例を示しているためである。これは言うまでもなく、同じ場所の画像をまとめるのではなく、各曜日とも時系列画像を横に並べて表示しても良い。そのときの例は、図６（ａ）のように示される。図５（ａ）の表示状態において、６０２の曜日や日付部分をクリックすると、図６（ａ）のように遷移する動きでも良い。

６０３は表示月の表示部と切り替え部である。６０２や６０３を操作すると、６０１に表示される画像が切り替わると共に、５０２の値も書き換わる。
６０４は表示される時間の粒度を切り替えるためのバーである。本バーを「全体」側にスライドすると、６０１に表示された画像が、月単位、年単位と粒度を変える動作をする。そして、６０２、６０３の単位も、おのおの週、月から月、年、さらに年、１０年単位に切り替わる。さらに５０６の値も書き換わり、５０２も表示されている時間レンジに合うように書き換わる。

同様に、本バーを「詳細」側にスライドすると、６０１に表示された画像が、年単位から、月単位、週単位と粒度を変える動作をする。そして、６０２、６０３の単位も、年、１０年から月、年、さらに週、月、さらに日、時間、時間、日（６０１の時間情報は分単位に変わる）、さらに分、時間単位（６０１の時間情報は秒単位に変わる）に切り替わり、さらに５０６の値も書き換わり、５０２も表示されている時間レンジに合書き換わる動作となる。

図５（ｂ）は、画像が場所により整理された画面例である。６０５は画像、及び、画像を撮影した場所の表示部である。基本的に訪れた各地の場所を基に作成された画面であるが、同じ場所に訪れた回数、もしくは、近隣を含めて訪れた回数を基に、表示の色や線の太さを変えても良い。また、図５（ｂ）の中の丸い囲みのように、近隣の場所を含めてグルーピング情報として、表示しても良い。このグルーピングの情報や訪れた回数を基に、表示する画像を選択するようにしても良い。また、移動の軌跡も詳細にして、画面を構成しても良い。６０６は表示年月の表示部と切り替え部である。図５（ｂ）では、月単位の表示になっているが、週単位、日単位、年単位にもなる。６０６を操作すると、６０５に表示される画像が、６０６に示される時刻レンジのものに変わる。本操作と同時に、５０２も同じ時刻レンジに書き変わる。６０７は表示される場所の範囲の粒度を切り替えるためのバーである。本バーを「全体」側にスライドすると、６０５に表示される画像は、たとえば、外国を含んだ範囲へと粒度を変える。本操作と同時に、５０７、５０８の値も書き換える。本バーを「詳細」側にスライドすると、６０５に表示される画像が、より詳細化された地域へと粒度を変える動作を行う。たとえば、画像の中心部分や、クリック等で指定された部分やグルーピングされている部分へズームインする動きをする。その時にグルーピングされている範囲も、より詳細な単位でのグルーピングへと切り替わり、表示される画像も変わることになる。たとえば、信州方面で一枚の画像が表示されていたものが、長野県で過去に訪れたことがある、スキー場で一枚の画像が表示される動きである。

図５（ｃ）は、画像が人物により整理された画面例である。画面例では人物領域を抽出した領域の表示を行っているが、その人物が写る通常の画像であっても良い。６０８は画像やオプション情報の表示部である。図５（ｃ）では、オプション情報として、該当の人物と一緒にいた時間を示している。６０９は表示月の表示部と切り替え部である。６０９を操作すると、６０８に表示される画像が切り替わると共に、５０２も同じ時刻レンジに書き換わる。６１０は表示される人物の範囲を切り替えるためのバーである。本バーを「全体」側にスライドすると、一緒にいた時間が短い人物も表示される動作をする。同時に、５０９、５１０の値も書き換わる。本バーを「詳細」側にスライドすると、６０８に表示される画像が、一緒にいた時間が長い人物に限定される。一緒にいた時間で説明したが、他の情報であっても良い。たとえば、会った回数でも良いし、画像内の人物との新密さを定量化した情報でも良い。

次に、図５（ａ）、図５（ｂ）、図５（ｃ）の画面間の移動について説明する。図５（ａ）、図５（ｂ）、図５（ｃ）に共通している６１１であるが、これは、表示されている画面を、それぞれ別の画面に切り替えるためのボタンである。
図５（ａ）において、６１１の場所ボタンをクリックすると、図５（ｂ）の画面に切り替わることになる。

画面の切り替え時に、５０１の情報を参照しながら、画面作成を行う。たとえば、図５（ａ）において、時刻レンジが設定されたときに、図５（ｂ）、図５（ｃ）に切り替わるときには、その時刻レンジの画像のみを表示すれば良い。同様に、図５（ｂ）において、表示する地域が変更されている場合には、図５（ａ）、図５（ｃ）において、対象の地域と時刻範囲の画像のみを表示すれば良い。同様に、図５（ｃ）において、表示されている人物の写る画像を、図５（ａ）、図５（ｂ）で表示すれば良い。

画面切り替え時の５０１の情報利用に関しては、デフォルトとして利用する情報を設定しておいたり、次の画面を作成する上で、５０１の情報の中で利用する情報を、切り替え時に入力させるようにしても良い。たとえば、図５（ｃ）から図５（ａ）に遷移する際に、人物が指定されてしまうと、風景画像や指定人物が写っていない画像が表示されなくなってしまうので、このときに人物を指定しないで画面遷移する使い方が挙げられる。

なお、図４の中に、たとえば、指定画像（ＵＲＬなど）を格納する領域を設け、図５（ａ）、図５（ｂ）、図５（ｃ）で選択された画像を記憶するようにしても良い。図５（ａ）、図５（ｂ）、図５（ｃ）において、特定の画像を選択してから、６１１の時刻ボタンがクリックされると、選択された時刻と連続する画像が提示されるようにしても良い。同様に場所ボタンがクリックされると、選択された場所に近い順番に画像が提示されるようにしても良い。同様に人物ボタンがクリックされると、その人物を含めてその人物に近い画像が提示されるようにしても良い。

次に、本発明の使用例について、図６を用いて説明する。図６は、蓄積されている画像群を連想的に閲覧するシーンを想定している。
まず何らかのタイミングで、ビューアを見ると図５（ａ）、図６（ａ）のように、時刻で整理された画像が表示される。これにより、日々の行動を見ることができる。
この画像群を見ていて、たとえば、通勤途中の最近開店した真新しい店の前が、なんだったかが思い出せなく気になったときに、ビューアで検索する。

気になる画像をクリックして、時刻ボタン（６１１の時刻ボタン）をクリックする。すると、その場所の画像が時系列で表示される。月日ボタン（６０３）をクリックして、過去に遡って画像を閲覧して行くことで、その場所が過去、駐車場だと分かる。
その画像より、駐車場で花火をしている人が、奥さんだと気付く。すると、奥さんと出会った場所が気になり、ビューアで検索する。

奥さんをクリックし、人物ボタン（６１１の人物ボタン）をクリックする。すると、奥さんと出会ったのが、この花火だったと分かる。月日ボタン（６１０）をクリックして、現在に向かって表示を切り替えながら閲覧して行くと、新婚旅行が気になり、ビューアで検索する。
結婚式のときの画像をクリックして、時刻ボタン（６１１の時刻ボタン）をクリックする。すると、結婚式、新婚旅行の画像が時系列で閲覧できる。

なお、図１に示される構成は、図７に示される構成のように、画像撮影部（カメラ部）を内蔵した形態であっても良い。
画像撮影部（カメラ部）７０４の中で、撮像部７０３が写真を撮影するタイミングで、測位部７０１が位置情報を、時計部７０２が時刻情報を取得する動作を行うことで、後の動作は今までと同様で良く、この構成とすることで、本発明を１台の筐体で実施可能となる。

なお、図１に示される構成は、図８に示される構成のように、画像閲覧装置１００の入出力部を切り離した形態であっても良い。本構成では、８００、及び、８０２の台数が複数でも良く、さらには、８００に入力される、画像２０１、位置・時刻２０２に対して、個人識別子８０７を付加し、管理することにより、１台の８００に対して、複数の８０２を用いる構成において、他人の画像を見られるようにもなる。

８０８の個人識別子として、ユーザの家族のものを指定することにより、指定された家人の画像を閲覧することができるようになり、防犯に用いることが可能となる。
さらに、８００は、図９の９００のような形態であっても良い。
続いて、本実施の形態１を本型のデバイスで実現した形態について説明する。
図２２は本型のデバイスと収納スペースの構成図である。ここでは、本型のデバイスを閲覧装置２４０１、収納スペースを本棚２４０２と呼ぶことにする。

図２２において、２４０１は閲覧装置、２４０２は本棚、２４０３は外部インターフェース、２４０４は電源、２４０５は画像を撮影するカメラ、２４０６はカメラを接続するためのドックである。
閲覧装置２４０１と本棚２４０２は外部インターフェース２４０３により、データを転送できるように設定されている。

閲覧装置２４０１を本棚２４０２に収納し、前記したカメラ２４０５を本棚横のドックに置くことで、取得したAVデータを閲覧装置２４０１へ自動的に転送する。またドックは同時に充電も行う。
閲覧装置２４０１は、１日の画像群から代表画像を選択し、アノテーションを付加することで、１日の出来事を日記風に編集して表示する。手帳を見開くと、そこに代表的な画像（または画像群）と説明文で構成される絵日記が表示される。また画像をタッチすることで、関連画像群へ飛んでいける。ここでの動作は前記した閲覧装置１００、閲覧装置７００、閲覧装置８００と同様である。

閲覧装置２４０１は、たとえば、１年といった使用可能期限が決められており、閲覧装置の販売時には１年分の大きな行事があらかじめ設定されている。たとえばオリンピックといった大きなイベントが入っており、ユーザの当日の出来事と並べて大きな行事を表記する。自分の経験と世の中のイベントは頭の中でリンクしており、これにより後で見返した時に記憶が鮮明によみがえることになる。ここで、期限は１年にかぎらず、３年でも１０年でもいい。

（実施の形態２）
本発明の実施の形態２は、１個以上のカメラにより撮影された画像を、ネットワークで受信した後に、ネットワークを介して閲覧する場面を想定している。たとえば、あるユーザが旅行をしたいときに、行きたい場所を入力すると、他人が撮影した写真を基に、疑似体験コンテンツを作成され、その画像群を閲覧することで、これから得られる体験を、疑似経験することができる。

以下、本発明の実施の形態２にかかる画像の閲覧装置について、添付図面を用いて説明する。まず、図１１は実施の形態２にかかる画像の閲覧装置の構成を示すブロック図である。
図１１において、画像の閲覧装置は、サーバ１１００と端末１１０１で構成されている。サーバ１１００には、画像とメタデータが蓄積されており、端末から要求のあった疑似体験コンテンツを、端末のクエリーとメタデータから、画面情報として作成し、蓄積されていている画像を、画面情報の指定する箇所にはめ込むことで作り出す機能を有する。端末１１０１には、画面表示、外部情報取得、画面操作の機能が備わる。
そして、サーバ１１００と端末１１０１の両者がネットワークや有線ケーブルでつながる構成となる。メモリーカードのような記録メディアを介して接続される形態であっても良い。

以下、サーバ１１００、端末１１０１の各構成ブロックの説明を行う。
サーバ１１００には、画像、及び、画像の内容や管理情報を表すメタデータを蓄積する記憶部１１０８が備わる。画像、及び、メタデータは、実施の形態１で詳述したものである。
また、端末１１０１との情報交換を行う送受信部１１０６がある。また、端末１１０１からのクエリーと、サーバ１１００中のメタデータにより、蓄積されている体験コンテンツをつなぎ合わせて、擬似的に体験コンテンツを作成する疑似体験コンテンツ作成部１１０７がある。

端末１１０１には、サーバ１１００と、通信するための送受信部１１０２が備わる。画面作成部１１１０において、送受信部１１０２が受信した画面情報や、入力部１１０４において入力される画面の操作情報を基に、表示部１１０３で表示する画面を作成する。また、クエリー作成部１１１１においては、入力部１１０４より入力される端末１１０１の位置情報と、時刻や現在位置の場所などの外部情報を取得する外部情報取得部１１０５の情報を用い、疑似体験コンテンツの要求クエリー１２０１を作成する。
実施の形態２では、表示部１１０３には液晶モニターなどの表示手段を用いる。入力部１１０４にはタッチパネルなどの入力手段を用いる。

以上のように構成された疑似体験コンテンツの閲覧装置のサーバ１１００、端末１１０１において、疑似体験コンテンツの閲覧動作を説明するに当たり、まず、個人体験コンテンツについて説明する。個人体験コンテンツとは、個人が体験した日々の生活を撮影した画像群を指す。たとえば、体にカメラを装着し、日々の生活を無意識に間欠撮影した写真画像群を指す。この画像群は、動画でもかまわない。これに対し、疑似体験コンテンツとは、特定の個人が行きたい場所に関して、過去の自分の個人体験コンテンツや他人の個人体験コンテンツを用いて、それらをつなぎ合わせて作成されるコンテンツのことである。

このような個人体験コンテンツの画像群を、本発明においては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）で得られる時刻、及び、場所（緯度・経度）情報を用いて、移動、滞在と分類する。これは、画像を撮影する撮影者の行動を算出することと同値である。
まず、時刻情報を用いて、時間的前後の位置の変化により、移動状態か滞在状態かを求める。移動の時には移動方向と速度、そして移動距離を求めることができる。
また、同時に、微小な範囲での移動、滞在だけでなく、大きな範囲での分類も行っておく。たとえば、会社内で活動しているときの移動は、会社に滞在中の移動という小分類として捉えることができる。

滞在が求められたら、滞在から次の滞在までの間を、移動として分類することができる。移動中に発生する小さな滞在、たとえば、電車の待ち時間も、移動中の滞在という小分類に分けることができる。
これにより、特定の場所の範囲での小さな移動や、測位装置の誤差により発生する微小な場所変化を、同じ場所での滞在と判定できるようになる。たとえば、運動会のような特定のある範囲内で行われるイベントに参加したときに、１つのイベントクラスタとして、分類できるようになる。

図１３は、日々の生活を移動、滞在に分けた概念例である。１４００は、時刻と位置情報による、個人の移動履歴を表している。横軸は時間軸、縦軸は概念的な位置を表している。このとき、１４００の傾き部分は「移動」、横線部分は「滞在」と判定することができる。１４００は、家を出てから、会社に行き、出張して、帰宅する行動を行った、個人の移動履歴を表している。

場所で分類することにより、同じ場所へ行った複数の画像群は、同じ分類になる。これにより、同じ場所の過去の画像群を短時間で検索し、閲覧することが可能となる。同様に、時間で分類することにより、同じ時間帯の画像群を、短時間で検索し閲覧することができるようになる。さらに、時間と場所を併用して、分類することにより、会社勤務のような日々の定型イベントをまとめることができる。これにより、定型イベントを１個の体験コンテンツとして検索し、閲覧することができるようになる。

なお、移動、滞在の２種類として分類しているが、これに限定したものではない。たとえば、移動中の移動速度を用いて、画像を分類しても良い。これにより、画像を移動速度で分類することができ、移動手段別に検索し、画像を閲覧できるようになる。
なお、ＧＰＳを用いて説明しているが、より精度の高いＤ−ＧＰＳ（Ｄｉｆｆｅｒｅｎｔｉａｌ−ＧＰＳ）を受信しても良いし、赤外線や超音波のような測位装置により、測位情報を得ても良い。これにより、室内でも測位可能となる。

要は、画像が撮影されたときの位置情報が得られれば良い。
なお、時刻・位置情報だけでなく、他のセンサーを用いて得られる情報を用いて、画像を分類しても良い。
要は、位置や場所などの画像を撮影したときの状況や、速度のようにそれらを用いて得られる情報や、画像から得られる情報を用いて、画像が分類できれば良い。

このように、分類された複数の個人体験コンテンツは、たとえば、滞在場所で分類すると、図１４に示すようにクラスタリングが行える。図１４中の１５０２、１５０３、１５０４、１５０６、１５０７、１５０８は個人体験コンテンツの滞在部分である。１５０１、１５０５、１５０９は、同じ場所に近い個人体験コンテンツのクラスタである。このクラスタ内の画像は、同じ場所で撮影された画像と考えることができる。

同様に移動を表現すると、図１５のように、クラスタを結ぶ軌跡として表される。たとえば、クラスタ１５０１とクラスタ１６０６の間には、１６０１、１６０５、１６０６で示される軌跡がある。軌跡の形状から、軌跡で表される移動距離の長短を知ることができる。また、各軌跡に、たとえば１６０４のような情報を付与することで、時期や、正確な距離や、移動の平均速度などが分かるようになる。これにより、軌跡の選択に用いることが可能となる。

次に、疑似体験コンテンツの閲覧動作を、図１１、図１２、図１０、図１６を用いて説明する。
画面作成部１１１０において、疑似体験コンテンツとして、ユーザが見たい場所を選択させるための画面を作成（ステップ１３０１）し、表示部１１０３で表示（ステップ１３０２）する。

画面例としては、図１０のようなものが挙げられる。１０００は、ユーザが見たい場所を選択させるための画面である。６０７は、実施の形態１で説明した、表示の粒度を切り替えるためのバーである。このバーを全体側にスライドすると、たとえば、関東地方が表示され、さらに日本が表示され、世界が表示される動きになる。詳細側にスライドさせると、２３区が表示され、さらに特定の区が表示されるようになる。１００６は表示範囲を切り替えるためのボタンである。１００１、１００２、１００３はユーザが見たい場所として選択した箇所を示している。たとえば、マウスでクリックする動作や、タッチパネルでタッチする動作を想定している。１００４は個人体験コンテンツの作成を行わせるためのボタンである。１００４がクリックされると、個人体験コンテンツの作成が行われる。１００５は、詳細設定ボタンで、このボタンがクリックされると、ユーザが見たい場所を回る順番や、時刻、季節、移動手段などを入力する動きを想定している。

入力部１１０４において、６０７、１００６を操作することで表示画面を切り替える（ステップ１３０１，１３０２）。地図上の疑似体験コンテンツとして見たい場所をクリックすると、クエリー作成部１１１１が、外部情報取得部１１０５が取得する時刻や位置情報などの外部情報を用いて、クエリーを作成する（ステップ１３０３）。１００４をクリックすると、送受信部１１０２がクエリー１２０１を送信する（ステップ１３０４）。

サーバ１１００の送受信部１１０６において、端末１１０１から送信されたクエリー１２０１を受信する（ステップ１３０６）。疑似体験コンテンツ作成部１１０７において、クエリー１２０２と、記憶部１１０８に蓄積されるメタデータ１２０４を取得し、疑似体験コンテンツを画面情報１２０７として作成する（ステップ１３０７）。本作成ステップについては、後で図１６を用いて説明する。

次に、送受信部１１０７は、画面情報１２０８を端末１１０１に応答して返す（ステップ１３０８）。
端末１１０１の送受信部１１０２は、画面情報１２０８を受信する（ステップ１３０５）。画面作成部１１１０は、サーバ１１００で作成された疑似体験コンテンツを作成する処理を行う。必要な画像は、サーバ１１００の記憶部１１０８に蓄積される画像１２０３を、送受信部１１０６、端末１１０１の送受信部１１０２を介して、画像１２０９として受信して作成する（ステップ１３０１）。作成された画面は表示部１１０３で表示される（ステップ１３０２）。表示された画面は入力部１１０４の操作により、表示範囲を変えながら閲覧することで、疑似体験コンテンツを閲覧することができる。

次に疑似体験コンテンツ作成部１１０７の処理を、図１６を用いて説明する。
疑似体験コンテンツ作成部１１０７は、クエリー１２０２とメタデータ１２０５を用いて、疑似体験コンテンツを作成する。
クエリー１２０１には、ユーザが見たい場所の情報と、時刻、現在地の情報や天候などが記述されている。

メタデータ１２０５は、図１３，図１４，図１５に示される情報で、個人の体験が滞在と移動に分類され、複数の個人の体験が場所によってクラスタリングされた情報になり、クラスタ間の移動情報、及び、それぞれの付加情報として、１５１０、１６０４のような情報が付与されたものである。
疑似体験コンテンツ作成部１１０７では、まず、メタデータ１２０５を、現在の天候によりフィルタリングする（ステップ１７０１）。たとえば、現在が雨であれば、雨以外のメタデータをフィルタリングにより、除去する。これにより、よりユーザが置かれた状態に近い、疑似体験コンテンツの作成が可能となる。

次に、現在時刻の月日により、メタデータ１２０５をフィルタリングする（ステップ１７０２）。これは、現在が夏であれば、冬のメタデータをフィルタリングして除去することを想定している。これにより、夏のコンテンツが、急に冬のコンテンツに切り替わることがなくなり、よりユーザが置かれた状態に近い、疑似体験コンテンツの作成が可能となる。

次に、現在場所に最も近い、クエリー１２０２の中の場所を検索する。そして、検索された場所に最も近い、メタデータ１２０４の中のクラスタを検索する（ステップ１７０３）。これが疑似体験コンテンツの開始地点となる。
なお、クラスタに含まれる、複数の滞在コンテンツから１つを選ぶ方法として、現在時刻に最も近く、かつ、現在位置に最も近い個人体験としても良い。

次に、検索されたクラスタと、クエリー１２０２の中の残りの場所に近い、メタデータ１２０４中のクラスタを検索し、さらに、先に検索されたクラスタと残りの全クラスタ間の移動に関して検索を行う（ステップ１７０４）。最も移動距離が少ないものを移動コンテンツとして選んだり、移動時間が短いものを選ぶ。これが疑似体験コンテンツになる。
次の滞在場所を決める方法として、各クラスタまでの移動の数が最も多いものを選んでも良い。

なお、滞在コンテンツの終了時刻に合わせて移動コンテンツの開始時刻を合わせて、疑似体験コンテンツとしても良い。
以下、順次、クエリーで指定された場所に関して、疑似体験コンテンツとして検索されるまで行う（ステップ１７０５）。
以上の動作により、クエリーとして入力したユーザが行きたい場所に関して、他の個人が体験し、撮影した画像を用いて、疑似体験コンテンツができ上がる。

なお、図１０において、１００５ボタンがクリックされたときに、クエリー１２０２として、場所に関して回りたい順番、移動手段（時速など）、天候、行きたい日時、それぞれの場所に滞在したい時間などを入力して、それらに合わせて疑似体験コンテンツを作成すれば良い。
たとえば、場所に関して回りたい順番が指定された場合には、その順番で滞在コンテンツ、移動コンテンツを検索して行けば良い。
たとえば、移動手段が指定された場合には、１６０４の平均速度により、移動コンテンツを検索すれば良い。

たとえば、天候が指定された場合には、ステップ１７０１において、指定された天候によりフィルタリングすれば良い。
たとえば、行きたい日時が指定された場合には、ステップ１７０２において、指定された日時で時期を算出し、フィルタリングすれば良い。その上で、指定された時間から、滞在コンテンツ移動コンテンツを検索して行けば良い。

たとえば、それぞれの場所に滞在したい時間が指定されている場合には、その時間に合う、体験コンテンツを検索すれば良い。あるいは、その時間に合うように、編集すれば良い。編集方法としては、間引きや、同じ画像を表示することで長さをあわせる方法や、複数の体験コンテンツを利用して、長さを合わせたり、あるいは、コンテンツはそのままにしておき、次の移動コンテンツの開始時刻を指定された時間分経過した後から検索すれば良い。

（実施の形態３）
本発明の実施の形態３は、現在訪れている場所の、過去の画像を閲覧する場面を想定している。
以下、本発明の実施の形態３にかかる画像の閲覧装置について、添付図面を用いて説明する。まず、図１７は実施の形態３にかかる画像の閲覧装置の構成を示すブロック図である。

図１７において、画像の閲覧装置１８００がある。１８００内部には、画像、位置・時刻、向き情報を受信する受信部１８０２が設けられている。位置・時刻情報は、実施の形態１、実施の形態２で説明したものでよい。また、１８００内部には、受信した情報を対応付けて蓄積する記憶部１８０１がある。また、閲覧装置の現在位置、及び、向き情報を計測するための測位部１８０４や向き計測部１８０５がある。そして、見たい過去の時点を入力するための時刻入力部１８０６がある。そして、画像の位置・時刻・向き情報と、閲覧装置の位置・時刻情報と時刻情報を基に、条件が一致する画像を検索する検索部１８０３がある。検索部１８０３で検索された画像を取得し、表示画面を作成する画面作成部１８０７と、それを表示する表示部１８０８がある。

以上のように構成された閲覧装置１８００において、閲覧動作を説明する。閲覧動作は、蓄積動作、過去の閲覧動作の２動作で行われる。以下、２動作を順次説明する。
蓄積動作を説明するに当たり、図１７と図１８（ａ）を用いる。
受信部１８０２は、画像１９０３と位置・時刻１９０４と画像の向き１９０５を受信する（ステップ２００１）。

記憶部１８０１は、画像１９０１（画像１９０３）と位置・時刻１９０４と向き１９０５を関連付けて蓄積する（ステップ２００２）。後で位置情報や時刻情報や向き情報や、それらの組み合わせで画像を検索できるように管理しておく。位置、時刻、向きで説明しているが、それらに限定されるものではなく、天候や明るさ、画像の画角、画像内に写る内容情報などを加えて、画像と関連付けても良い。

次に、過去の画像の閲覧動作を説明する。閲覧動作を説明するに当たり、図１７と図１８（ｂ）を用いる。
まず、見たい過去の時刻を、時刻入力部１８０６に入力し、時刻１９１０を作成する（ステップ２００３）。
明示的な時刻入力がない場合には、デフォルトの過去の時刻でも良い。あるいは前回の入力時刻のままでも良い。あるいは、デフォルトの過去の時刻や前回の入力時刻に対し、経過時間を付加したものとしても良い。

次に、測位部１８０４が閲覧装置１８００の現在位置の座標を計測し、座標１９０８とする（ステップ２００４）。向き計測部１８０５が閲覧装置の向いている向きを計測し、向き１９０９とする（ステップ２００５）。
向き計測部は、ジャイロや加速度センサーなど、向きを計測できるものであればなんでも良い。

検索部１８０３において、位置・時刻・向き情報１９０７の中から、時刻１９１０、座標１９０８、向き１９０９に合致する画像を検索する。検索結果を画像情報１９１１とする（ステップ２００６）。
次に、画面作成部１８０７が、画像情報１９１１を基に、記憶部１８０１に蓄積されている画像１９０６を取得し、表示する画面を作成する（ステップ２００７）。作成された画像は表示部１８０８で表示される（ステップ２００８）。

以上説明した動作により、過去に訪れた場所で、閲覧装置を見たい方向に向けて表示部を見ると、過去の画像を見ることができる。
また、図１９に示される構成のように、閲覧装置２１００の内部を切り離した形態であっても良い。本構成では、２１００、及び、２１０１の台数が複数でも良く、さらには、２１００に入力される、画像１９０３、位置・時刻１９０４に対して、個人識別子８０７を付加し、管理することにより、１台の２１００に対して、複数の２１０１を用いる構成において、他人の画像を見られるようになる。
８０８の個人識別子として、ユーザの家族のものを指定することにより、指定された家人の画像を閲覧することができるようになり、防犯に用いることが可能となる。

図１９の構成の閲覧装置の動作を図１９と図２０を用いて説明する。
閲覧動作は、蓄積動作、過去の閲覧動作の２動作で行われる。以下、２動作を順次説明する。
蓄積動作を説明するに当たり、図１９と図２０（ａ）を用いる。
送受信部２１０２は、画像１９０３と位置・時刻１９０４と画像の向き１９０５と個人識別子８０７を受信する（ステップ２２０１）。

記憶部１８０１は、画像１９０３と位置・時刻１９０４と向き１９０５と個人識別子８０７を関連付けて蓄積する（ステップ２２０２）。後で、位置情報や時刻情報や向き情報や個人識別情報や、それらの組み合わせによる問い合わせに対して画像を検索できるように管理しておく。位置、時刻、向き、個人識別子で説明しているが、それらに限定されるものではなく、天候や明るさ、画像の画角、画像内に写る内容情報などを加えて、画像と関連付けても良い。

次に、過去の閲覧動作を説明する。閲覧動作を説明するに当たり、図１９と図２０（ｂ）、図２０（ｃ）を用いる。
まず、見たい過去の時刻を、時刻入力部１８０６に入力し、時刻１９１０を作成する（ステップ２００３）。
明示的な時刻入力がない場合には、デフォルトの過去の時刻でも良い。あるいは前回の入力時刻のままでも良い。あるいは、デフォルトの過去の時刻や前回の入力時刻に対し、経過時間を付加したものとしても良い。
次に、見たい画像の撮影者の識別情報を、個人識別子入力部２１０６に入力し、個人識別子８０８を作成する（ステップ２２０３）。

明示的な個人識別子の入力がない場合には、全員の画像を対象を閲覧対象として動作する。
次に、測位部１８０４が閲覧装置１８００の現在位置の座標を計測し、座標１９０８とする（ステップ２００４）。向き計測部１８０５が閲覧装置の向いている向きを計測し、向き１９０９とする（ステップ２００５）。

送受信部２１０３は、時刻１９１０、個人識別子８０８、座標１９０８、向き１９０９をクエリーとして送信する（ステップ２２０４）。
送受信部２１０２は、時刻１９１０、個人識別子８０８、座標１９０８、向き１９０９をクエリーとして受信する（ステップ２２０６。
検索部１８０３において、位置・時刻・向き・個人識別情報２１０４の中から、時刻１９１０、座標１９０８、向き１９０９、個人識別子８０８に合致する画像を検索する。検索結果を画像情報１９１１とする（ステップ２２０７）。

次に、送受信部２１０３がクエリーの応答として、画像情報１９１１を受信する（ステップ２２０８）。
画面作成部１８０７が、画像情報１９１１を基に、記憶部１８０１に蓄積されている画像１９０６を取得し、表示する画面を作成する（ステップ２００７）。作成された画像は表示部１８０８で表示される（ステップ２００８）。

以上説明した動作により、過去に訪れた場所で、閲覧装置を見たい方向に向けて表示部を見ると、他人が撮影した画像を含めて、過去の画像を見ることができる。
図２１は、入力される画像１９０３を統合して大画面としておき、閲覧装置で閲覧範囲を指定して、大画面から必要な領域を抽出して表示することが可能な閲覧装置の構成図である。

図２１には、複数の画像をその位置、向き、及び、画像特徴を用いて、画像を統合するための画像統合部２３０８が備わる。
以下、統合画像を用いた画像の閲覧装置について、添付図面を用いて説明する。まず、図２１は統合画像を用いた画像の閲覧装置の構成を示すブロック図である。
図２１において、画像の閲覧装置２３００がある。２３００内部には、画像、位置・時刻、向き情報を受信する受信部１８０２が設けられている。位置・時刻情報は、実施の形態１、実施の形態２で説明したものでよい。また、１８００内部には、受信した画像を統合して大きな画像を作成する画像統合部２３０８がある。また、受信した画像と受信した他の情報と、画像統合部が作成する統合画像中の位置情報を対応付けて蓄積する記憶部１８０１がある。また、閲覧装置の現在位置、及び、向き情報を計測するための測位部１８０４や向き計測部１８０５がある。そして、見たい過去の時点を入力するための時刻入力部１８０６がある。そして、画像の位置・時刻・向き情報と、閲覧装置の位置・時刻情報と時刻情報を基に、条件が一致する画像を検索する検索部１８０３がある。検索部１８０３で検索された画像を取得し、表示画面を作成する画面作成部２３１０と、それを表示する表示部１８０８がある。２３１０はまた、得られた画像の向きや画角が合わない場合には、統合された画像の方から得る。そのための、統合画像から必要な領域を抽出画像抽出部２３０５がある。また、画面作成部２３１０に対して、表示する画角を指定する画角入力部２３０９がある。

以上のように構成された閲覧装置２３００において、閲覧動作を説明する。閲覧動作は、蓄積動作、過去の閲覧動作の２動作で行われる。以下、２動作を順次説明する。
蓄積動作を説明するに当たり、図２１と図２５（ａ）を用いる。
受信部１８０２は、画像１９０３と位置・時刻１９０４と画像の向き１９０５と撮影画像の画角２３０１を受信する（ステップＡ２５０１）。

画像統合部２３０８は、受信した画像を統合して、統合画像２３０２と統合画像２３０２に対する画像１９０１の位置情報を統合画像中の位置情報２３０３として作成する（ステップＡ２５０２）。画像統合は、位置・時刻１９０４の位置と向き１９０５と画角２３０１を用いて、行ってもよい。また、画像特徴を用いて、画像を統合する手法としては、たとえば、特開２０００−２２２５５４や特開２０００−９９７４０や特開２０００−２８４３６３を用いてもよい。その際には、オフラインで画像統合を行っても良い。

記憶部１８０１は、画像１９０１（画像１９０３）と位置・時刻１９０４と向き１９０５（位置・時刻・向き情報１９０２）と統合画像中の位置情報２３０３を関連付けて蓄積する（ステップＡ２５０３）。後で位置情報や時刻情報や向き情報や画角情報や、それらの組み合わせで画像を検索できるように管理しておく。位置、時刻、向き、画角で説明しているが、それらに限定されるものではなく、天候や明るさ、画像内に写る内容情報などを加えて、画像と関連付けても良い。

次に、過去の画像の閲覧動作を説明する。閲覧動作を説明するに当たり、図２１と図２５（ｂ）を用いる。
まず、見たい過去の時刻を、時刻入力部１８０６に入力し、時刻１９１０を作成する（ステップ２００３）。
明示的な時刻入力がない場合には、デフォルトの過去の時刻でも良い。あるいは前回の入力時刻のままでも良い。あるいは、デフォルトの過去の時刻や前回の入力時刻に対し、経過時間を付加したものとしても良い。

次に、測位部１８０４が閲覧装置２３００の現在位置の座標を計測し、座標１９０８とする（ステップ２００４）。向き計測部１８０５が閲覧装置の向いている向きを計測し、向き１９０９とする（ステップ２００５）。向き計測部は、ジャイロや加速度センサーなど、向きを計測できるものであればなんでも良い。
検索部１８０３において、位置・時刻・向き情報１９０７の中から、時刻１９１０、座標１９０８、向き１９０９に合致する画像を検索する。検索結果を画像情報１９１１とする（ステップ２００６）。

次に、画面作成部２３１０が、画像情報１９１１を基に、記憶部１８０１に蓄積されている画像１９０６を取得し、表示する画面を作成する。このときに、画像作成部２３１０は、表示したい画角を画角入力部２３０９から入力されており、その画角と統合画像中の位置情報２３０７を用いて、画像１９０６の表示範囲を検証する。表示される範囲が小さい場合には、統合画像２３０４から所望の画角の画像を画像抽出部２３０５から得る（ステップＡ２５０５）。

作成された画像は表示部１８０８で表示される（ステップ２００８）。
以上説明した動作により、過去に訪れた場所で、閲覧装置を見たい方向に向けて表示部を見ると、過去の画像を見ることができる。入力された画像では、表示範囲が一致していない場合には、入力された画像を統合して、大きな画像としておき、その統合画像から見たい方向の画像を得ることができるようになり、過去の画像を連続して見ることができるようになる。

本発明にかかる画像閲覧装置は、画像を「いつ」「どこで」「だれが」など、思いついた観点で表示画面を切替えながら、撮影した画像をたどりながら閲覧する機能を有し、身に付けて自動で撮影するデジタルカメラや既存のデジタルカメラやカメラ付き携帯電話のビューワ用途にも応用できる。

本発明の実施の形態１における画像閲覧装置の構成ブロック図１ 本発明の実施の形態１における画像閲覧装置の動作を示すフロー図１ 本発明の実施の形態１における画像閲覧装置の動作を示すフロー図２ 本発明の実施の形態１における画像閲覧装置で用いる操作履歴２１７の具体例 本発明の実施の形態１における画像閲覧装置の画面表示図 本発明の実施の形態１における画像閲覧装置の画面遷移例 本発明の実施の形態１における画像閲覧装置の構成ブロック図２ 本発明の実施の形態１における画像閲覧装置の構成ブロック図３ 本発明の実施の形態１における画像閲覧装置の構成ブロック図４ 本発明の実施の形態２における画像閲覧装置の画面表示図 本発明の実施の形態２における画像閲覧装置の構成ブロック図 本発明の実施の形態２における画像閲覧装置の動作を示すフロー図 本発明の実施の形態２における画像閲覧装置の人の移動履歴の分類例 本発明の実施の形態２における画像閲覧装置の人の移動履歴の滞在に関するクラスタリング図 本発明の実施の形態２における画像閲覧装置の人の移動履歴の滞在クラスタリングと移動の関連図 本発明の実施の形態２における画像閲覧装置の疑似体験コンテンツ作成部１１０７の動作を示すフロー図 本発明の実施の形態３における画像閲覧装置の構成ブロック図１ 本発明の実施の形態３における画像閲覧装置の動作を示すフロー図１ 本発明の実施の形態３における画像閲覧装置の構成ブロック図２ 本発明の実施の形態３における画像閲覧装置の動作を示すフロー図２ 本発明の実施の形態３における画像閲覧装置の構成ブロック図３ 本発明の実施の形態１における画像閲覧装置、及び、全体システム構成図 従来の実施例における位置、場所による画像管理と場所とイベントの管理方法を示す概念図 従来の実施例における大くくりな場所管理により作成された画面表示図 本発明の実施の形態３における画像閲覧装置の動作を示すフロー図３

符号の説明

１０２ 特徴抽出部
１０３ メタデータ作成部
１０５ 画面作成部（画面を作成する手段）
１０６ 操作情報管理部（操作内容を管理する手段）
１０７ クラスタリング部（検索する手段）
１１０５ 外部情報取得部
１１０７ 疑似体験コンテンツ作成部
１１１１ クエリー作成部
１８０３ 検索部
１８０４ 測位部
１８０５ 向き計測部
２３０８ 画像統合部
２３０５ 画像抽出部
２４０１ 閲覧装置
２４０２ 本棚
２４０３ 外部インターフェース
２４０４ 電源
２４０５ カメラ
２４０６ カメラを接続するためのドック

Claims (14)

1. 複数の分類方法により分類された画像を、各分類ごとに表示するための画面を作成する手段と、
   各表示手段の操作内容を管理する手段と、
   前期操作内容を基に、必要な画像情報を検索する手段と、
   前記画面を作成する手段は、前記検索する手段が得た画面情報を用いて、他の分類の画面を作成する、
   ことを備えた画像閲覧方法
2. 画像と画像を撮影したときの位置と時刻情報の受信手段と、
   前記画像から特徴情報を抽出する特徴抽出手段と、
   前記特徴抽出手段が抽出した情報と、前記画像を撮影したときの位置と時刻情報を用い、複数の分類方法により画像を分類するためのメタデータを生成するメタデータ生成手段と、
   前記画像と前記画像を撮影したときの位置と時刻情報を用いて画面を作成する画面作成手段と、前記画面作成手段が作成した画面を表示する表示手段と、
   画面の表示範囲の切替え操作を入力する入力手段、
   画面の操作情報を管理する操作情報管理手段と、
   前記メタデータと前記操作情報により、他の分類の画面を作成するために必要な画面情報を検索するクラスタリング手段と、
   前記画面作成手段は、前記画面情報と前記画像と前記位置と時刻情報を用いて、他の分類の画面を作成する、
   ことを特徴とする画像閲覧方法
3. 画像を撮影した位置と時刻、及び、画像から得られる人物の顔特徴を用いて、画像を分類し、各画面を作成することを特徴とする、請求項１、請求項２に記載の画像閲覧方法
4. 作成される画面には、各画面に切替えるためのボタンがあり、ボタンがクリックされると、各画面の操作情報を基に、表示範囲を同一にして、各画面に切替わることを特徴とする請求項１、請求項２、請求項３に記載の画像閲覧方法
5. 画像と画像を分類するためのメタデータを記憶する記憶手段と、
   １以上の場所を入力する入力手段と、
   入力時の外部情報を得る外部情報取得手段と、
   前記入力手段と前記外部情報取得手段が得た情報からクエリーを作成するクエリー作成手段と、
   前記メタデータとクエリーを基に、画像を選択し、つなぎ合わせることで、疑似体験コンテンツとして作成する疑似体験コンテンツ作成手段と、
   前記体験コンテンツの画面作成手段と、その表示手段と、
   を備えた画像閲覧方法
6. 疑似体験コンテンツ作成手段は、前記クエリーの中の場所、及び、場所間と分けて、前記メタデータの中で一致する画像を検索することを特徴とする、請求項５記載の画像閲覧方法
7. 疑似体験コンテンツ作成手段は、前期クエリーの中の場所を回る順番を、メタデータの多さにより判定することを特徴とする、請求項５、請求項６記載の画像閲覧方法
8. 疑似体験コンテンツ作成手段は、前記クエリーに指定される、場所を回る順番、交通手段、滞在時間を基に、最適な疑似体験コンテンツを作成することを特徴とする、請求項５、請求項６、請求項７記載のコンテンツ閲覧方法
9. 画像と画像を撮影したときの位置と時刻情報と向き情報の受信手段と、
   前記画像と位置と時刻と向き情報を関連付けて記憶する記憶手段と、
   画像を閲覧するための閲覧装置の位置を測位する測位手段と、同じく向きを計測する向き計測手段と、
   同じく、閲覧する画像の時間帯を入力する時刻入力手段と、
   前記位置と前記向きと前記時間帯と、前記記憶手段に記憶される前期位置と時刻と向き情報を用いて、それぞれが一致する画像を検索する検索手段と、
   前記検索手段の検索情報を基に、記憶手段に記憶される画像を用いて、表示画面を作成する画面作成手段と、その表示手段と、
   を備えた画像閲覧方法
10. 前記位置と前記向きは、任意に指定可能とすることを特徴とする請求項９に記載の画像閲覧方法
11. 前記画像を、前記位置、及び、前記向きを基に、統合された広角の統合画像とする画像統合手段と、
    前記画面作成手段は、前記検索手段の検索情報を基に、前記統合画像中の必要な領域を指定する機能を有し、
    統合画像から前記必要な領域を抽出する画像抽出手段と、
    を具備することを特徴とする画像閲覧方法
12. 請求項１〜請求項１１のいずれかに記載の画像閲覧方法により画像を閲覧する画像閲覧装置
13. 請求項１〜請求項１１のいずれかに記載の画像閲覧方法を実行させるためのプログラム
14. 請求項１３に記載のプログラムを記録した記録媒体