JP2008204348A - 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム - Google Patents

情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム Download PDF

Info

Publication number
JP2008204348A
JP2008204348A JP2007042203A JP2007042203A JP2008204348A JP 2008204348 A JP2008204348 A JP 2008204348A JP 2007042203 A JP2007042203 A JP 2007042203A JP 2007042203 A JP2007042203 A JP 2007042203A JP 2008204348 A JP2008204348 A JP 2008204348A
Authority
JP
Japan
Prior art keywords
image
images
map
drawn
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007042203A
Other languages
English (en)
Other versions
JP4353259B2 (ja
Inventor
Takuro Noda
卓郎 野田
Yoshihiro O
啓宏 王
Akiko Terayama
晶子 寺山
Tomohiko Goto
智彦 後藤
Tamaki Kojima
環 児嶋
Takuro Ikeda
卓郎 池田
Hideaki Karasawa
英了 唐澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007042203A priority Critical patent/JP4353259B2/ja
Priority to US12/032,053 priority patent/US8064633B2/en
Priority to TW097105612A priority patent/TWI380235B/zh
Priority to KR1020080015731A priority patent/KR20080078573A/ko
Priority to CN2008100808605A priority patent/CN101256679B/zh
Publication of JP2008204348A publication Critical patent/JP2008204348A/ja
Application granted granted Critical
Publication of JP4353259B2 publication Critical patent/JP4353259B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof

Abstract

【課題】関連する画像のまとまりを、この画像に対応する地図の領域とともに描画することを目的とする。
【解決手段】撮影画像に関する属性情報に基づいて、複数の撮影画像を1または複数のクラスタに分類し、分類された画像をクラスタ単位で所定の順序で並べて描画するとともに、描画されている画像のうちの少なくとも1つの画像に対応する地図上の領域を描画する情報処理装置である。また、並べて描画されている画像のうちで、選択された画像を中心位置に配置して、その画像に対応する地図上の位置にその画像が配置されるように描画する。さらに、選択された画像を含むクラスタを構成する各画像に対応する地図上の位置にスポットを描画して、選択された画像とその画像に対応するスポットとを影画像で結び、その画像を含むクラスタを構成する各画像に対応するスポットを撮影日時の順序で線で結ぶ。
【選択図】図1

Description

本発明は、情報処理装置に関し、特に、地図上の所定の位置に画像を配置して描画する情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
従来、風景や人物等の被写体を撮影する場合に、被写体に対応する画像とともにその撮影がされた場所に関する位置情報を記録することが可能なデジタルカメラ等の撮像装置が存在する。また、この撮像装置で撮影された画像を表示する場合に、画像に対応して記録された位置情報に基づいて、画像が撮影された場所に対応する地図上の位置にその画像を重ねて表示することが可能なパーソナルコンピュータ等の情報処理装置が存在する。
例えば、撮影画像に基づいて作成されたサムネイル画像を、その撮影画像の位置データに基づいて地図上にマッピングさせて表示し、地図上に表示されているサムネイル画像のうちから所望するサムネイル画像を選択することが可能な画像再生装置が提案されている(例えば、特許文献1参照。)。
特開2005−110111号公報(図1)
上述の従来技術によれば、地図上における撮影場所に対応する位置にサムネイル画像が表示されているため、画面上において地図を移動させることによって、表示されている地図を手がかりに、所定の地域において撮影された画像を観賞することができる。また、表示されている地図をズームインまたはズームアウト等することによって、一定の領域内で撮影された画像を一画面上で見ることができる。
このように、上述の従来技術によれば、撮影された画像を観賞する場合において、一定の領域内における撮影場所を基準として複数の画像をまとめて一画面上で見ることができる。しかしながら、一定の領域内における撮影場所を基準としてまとめる以外に、ユーザの好みに応じて複数の画像をまとめて一画面上で見ることができれば、撮影された画像をさらに楽しく観賞することができると考えられる。例えば、ユーザが一人で撮影されている画像をまとめて一画面上で見る場合や、風景が撮影されている画像をまとめて一画面上で見る場合等が考えられる。また、この場合に、画像とともに各画像に対応する地図上の位置が分かれば、さらに楽しく観賞することができると考えられる。
そこで、本発明は、関連するコンテンツのまとまりを、このコンテンツに対応する背景画像とともに描画することを目的とする。
本発明は、上記課題を解決するためになされたものであり、その第1の側面は、複数のコンテンツを記憶するコンテンツ記憶手段と、上記コンテンツ記憶手段に記憶されているコンテンツに対応する背景画像を記憶する背景画像記憶手段と、上記コンテンツ記憶手段に記憶されているコンテンツに関する属性情報であって上記背景画像における対応位置を含む属性情報を各コンテンツに関連付けて記憶する属性情報記憶手段と、上記属性情報記憶手段に記憶されている属性情報に基づいて上記コンテンツ記憶手段に記憶されている複数のコンテンツを1または複数のクラスタに分類する分類手段と、上記分類されたコンテンツを示す画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応するコンテンツの上記属性情報に含まれる上記対応位置を含む上記背景画像上の領域を描画する描画手段とを具備することを特徴とする情報処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、コンテンツに関する属性情報に基づいて、複数のコンテンツを1または複数のクラスタに分類し、この分類されたコンテンツを示す画像をクラスタ単位で所定の順序で描画するとともに、この描画されている画像のうちの少なくとも1つの画像に対応する対応位置を含む背景画像上の領域を描画するという作用をもたらす。
また、本発明の第2の側面は、複数の画像を記憶する画像記憶手段と、地図情報を記憶する地図情報記憶手段と、上記画像記憶手段に記憶されている画像に関する属性情報を各画像に対応させて記憶する属性情報記憶手段と、上記属性情報記憶手段に記憶されている属性情報に基づいて上記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類する画像分類手段と、上記分類された画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応する上記地図上の領域を描画する描画手段とを具備することを特徴とする情報処理装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像に関する属性情報に基づいて、複数の画像を1または複数のクラスタに分類し、この分類された画像をクラスタ単位で所定の順序で描画するとともに、この描画されている画像のうちの少なくとも1つの画像に対応する地図上の領域を描画するという作用をもたらす。
また、この第2の側面において、上記属性情報は、上記地図情報記憶手段に記憶されている地図情報に対応する地図の位置を含み、上記描画手段により描画された画像のうちの少なくとも1つの画像を選択する操作入力を受け付ける操作受付手段と、上記操作受付手段により画像を選択する操作入力が受け付けられた場合には当該画像に対応する上記属性情報に含まれる位置を含む上記地図上の領域に当該画像を配置するように上記描画手段に描画させる制御手段とをさらに具備することができる。これにより、画像を選択する操作入力が受け付けられた場合には、その選択された画像に対応する位置を含む地図上の領域にその画像を配置するように描画させるという作用をもたらす。
また、この第2の側面において、上記描画手段は、上記選択された画像を含むクラスタを構成する各画像に対応する上記属性情報に含まれる上記地図上の位置を示す位置表示を描画することができる。これにより、選択された画像を含むクラスタを構成する各画像に対応する地図上の位置を示す位置表示を描画するという作用をもたらす。また、この場合において、上記描画手段は、上記選択された画像と当該画像に対応する上記位置表示とを所定の画像で結ぶことができる。これにより、選択された画像と、この画像に対応する位置表示とを所定の画像で結ぶという作用をもたらす。また、この場合において、上記属性情報は、上記画像記憶手段に記憶されている画像が撮影された日時を含み、上記描画手段は、上記選択された画像を含むクラスタを構成する各画像に対応する上記属性情報に含まれる日時の順序で当該各画像に対応する位置表示を結ぶように所定の線分を描画することができる。これにより、選択された画像を含むクラスタを構成する各画像に対応する日時の順序で、位置表示を結ぶように線分を描画するという作用をもたらす。
また、この第2の側面において、上記属性情報は、上記画像記憶手段に記憶されている画像に関する特徴量を含み、上記分類手段は、上記選択された画像に対応する上記属性情報に含まれる特徴量と当該画像以外の画像に対応する上記属性情報に含まれる特徴量とを比較した結果に基づいて上記画像記憶手段に記憶されている複数の画像を2つのクラスタに分類し、上記描画手段は、上記分類された画像がクラスタ単位で配置される位置とは異なる位置に上記選択された画像を配置するように描画することができる。これにより、選択された画像に対応する特徴量と、選択された画像以外の画像に対応する特徴量とを比較した結果に基づいて、複数の画像を2つのクラスタに分類し、分類された画像がクラスタ単位で配置される位置とは異なる位置に、その選択された画像を配置するという作用をもたらす。
また、この第2の側面において、上記分類手段は、上記選択された画像に対応する上記属性情報に含まれる位置と当該画像以外の画像に対応する上記属性情報に含まれる位置とを比較した結果に基づいて上記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類し、上記描画手段は、上記選択された画像に対応する上記属性情報に含まれる位置を中心とする上記クラスタに応じた円を上記地図上に描画することができる。これにより、選択された画像に対応する位置と、選択された画像以外の画像に対応する位置とを比較した結果に基づいて、複数の画像を1または複数のクラスタに分類し、その選択された画像に対応する位置を中心とする円をクラスタに応じて地図上に描画するという作用をもたらす。また、この場合において、上記操作受付手段は、上記選択された画像を含むクラスタを移動させる操作入力を受け付け、上記制御手段は、上記操作受付手段により上記クラスタを移動させる旨の操作入力が受け付けられた場合には上記選択された画像を含むクラスタを構成する各画像を移動させるとともに当該各画像の移動に応じて上記地図の縮尺を変更させるように上記描画手段に描画させることができる。これにより、クラスタを移動させる旨の操作入力が受け付けられた場合には、選択された画像を含むクラスタを構成する各画像を移動させるとともに、その各画像の移動に応じて地図の縮尺を変更させるという作用をもたらす。
また、この第2の側面において、上記操作受付手段は、上記クラスタの種類を選択する操作入力を受け付け、上記制御手段は、上記操作受付手段により上記クラスタの種類を選択する旨の操作入力が受け付けられた場合には上記選択された画像を基準画像として上記画像記憶手段に記憶されている複数の画像を上記選択されたクラスタの種類に分類するように上記画像分類手段を制御することができる。これにより、選択された画像を基準画像として、選択されたクラスタの種類に複数の画像を分類するという作用をもたらす。
また、この第2の側面において、上記描画手段は、上記選択された画像を中心位置にして上記分類された画像をクラスタ単位で並べて描画することができる。これにより、選択された画像を中心位置にして、分類された画像をクラスタ単位で並べて描画するという作用をもたらす。
また、この第2の側面において、上記描画手段により描画された画像を移動させる操作入力を受け付ける操作受付手段と、上記操作受付手段により画像を移動させる旨の操作入力が受け付けられた場合には、上記描画手段により描画された画像を移動させるとともに、当該画像の移動に応じて上記地図を移動させるように上記描画手段に描画させる制御手段とをさらに具備することができる。これにより、画像を移動させる旨の操作入力が受け付けられた場合には、画像を移動させるとともに、この画像の移動に応じて、地図を移動させるという作用をもたらす。
また、この第2の側面において、上記描画手段により描画された画像および地図上の領域を表示する表示手段をさらに具備することができる。これにより、描画された画像および地図上の領域を表示するという作用をもたらす。
また、本発明の第3の側面は、複数の画像を記憶する画像記憶手段と、地図情報を記憶する地図情報記憶手段と、上記画像記憶手段に記憶されている画像に関する属性情報を各画像に対応させて記憶する属性情報記憶手段と、上記属性情報記憶手段に記憶されている属性情報に基づいて上記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類する画像分類手段と、上記分類された画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応する上記地図上の領域を描画する描画手段と、上記描画手段により描画された画像および地図上の領域を表示する表示手段とを具備することを特徴とする画像表示装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、画像に関する属性情報に基づいて、複数の画像を1または複数のクラスタに分類し、この分類された画像をクラスタ単位で所定の順序で描画するとともに、この描画されている画像のうちの少なくとも1つの画像に対応する地図上の領域を描画して表示するという作用をもたらす。
本発明によれば、関連するコンテンツのまとまりを、このコンテンツに対応する背景画像とともに描画することができるという優れた効果を奏し得る。
次に本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明の実施の形態における画像表示システムのソフトウェア構造の一例を示す図である。この画像表示システムは、三次元画像ビューワアプリケーション110と、画像記憶部111と、地図情報記憶部112と、メタデータDB(データベース)113と、特徴量DB(データベース)114と、コンテンツマネージャ120と、距離分類ライブラリ121と、類似検索ライブラリ122と、表示マネージャ130と、地図マネージャ140と、クラスタマネージャ150と、スポットマネージャ160と、オプションマネージャ170とを備える。
三次元画像ビューワアプリケーション110は、ユーザからの操作入力を受け付けるとともに、アプリケーション全体の状態を管理して制御するものである。
コンテンツマネージャ120は、メタデータDB113または特徴量DB114に格納されている情報に基づいて、画像記憶部111に記憶されている複数の画像を1または複数のクラスタに分類し、分類されたクラスタと、これに含まれる各画像のメタデータ等をアプリケーションに提供するものである。すなわち、コンテンツマネージャ120は、クラスタの種類が「場所」、「類似」の場合には、距離分類ライブラリ121や類似検索ライブラリ122が分類したクラスタと、これに含まれる各画像のメタデータ等をアプリケーションに提供する。また、クラスタの種類が「イベント」、「色」、「人数」の場合には、コンテンツマネージャ120がメタデータDB113に対してクエリを発行して各画像に対応するメタデータを取得し、取得されたメタデータに基づいて各画像を1または複数のクラスタに分類し、分類されたクラスタと、これに含まれる各画像のメタデータ等をアプリケーションに提供する。
距離分類ライブラリ121は、メタデータDB113に格納されているメタデータに基づいて、画像記憶部111に記憶されている画像のうちで選択された画像と、この画像以外の画像との相対距離を計算し、計算された相対距離に応じて、画像記憶部111に記憶されている各画像を1または複数のクラスタに分類するものである。なお、この分類については、図7および図8を用いて詳細に説明する。
類似検索ライブラリ122は、特徴量DB114に格納されている特徴量に基づいて、画像記憶部111に記憶されている画像のうちで選択された画像と、この画像以外の画像との類似度を計算し、計算された結果に応じて、画像記憶部111に記憶されている各画像を、「似ている」または「似ていない」の2つのクラスタに分類するものである。
表示マネージャ130は、三次元空間として表示される画像と地図との描画位置を制御するものである。
地図マネージャ140は、地図情報記憶部112に記憶されている地図情報を管理するとともに、この地図情報に対応する地図を描画するものである。
クラスタマネージャ150は、コンテンツマネージャ120から受け取ったクラスタ情報と、画像記憶部111に記憶されている画像とに基づいて、表示画面に画像を描画するものである。
スポットマネージャ160は、地図上に配置される撮影場所表示(スポット)の管理および描画を行うものである。
オプションマネージャ170は、画像記憶部111に記憶されている複数の画像を1または複数のクラスタに分類する場合に用いられるオプションメニューの管理および描画を行うものである。例えば、クラスタの種類を示すクラスタリング軸を変更する場合には、オプションメニューとして、「イベント」、「色」、「人数」、「場所」、「類似」の5つのメニュー項目が描画される。なお、このメニュー項目については、図10乃至図14を参照してさらに詳細に説明する。
メタデータDB113は、画像記憶部111に記憶されている各画像について、撮影日時、撮影場所、サムネイル画像、ファイルパス、イベント、色、人数の各情報を、各画像に関連付けて保存するデータベースである。
特徴量DB114は、画像記憶部111に記憶されている各画像から抽出された特徴量を、各画像に関連付けて保存するデータベースである。なお、各画像の特徴量は、この画像表示システム内で抽出するようにしてもよく、例えば、他の装置内で抽出されたものを保存するようにしてもよい。なお、メタデータDB113および特徴量DB114については、図4を参照してさらに詳細に説明する。
図2は、本発明の実施の形態における情報処理装置200の機能構成例を示すブロック図である。この情報処理装置200は、操作受付部210と、画像記憶部220と、地図情報記憶部230と、属性情報記憶部240と、画像分類部250と、描画部260と、制御部270と、表示部280とを備える。
操作受付部210は、各種入力キーからなるキーボードやマウス(ポインティングデバイス)を備え、これらのキーボード等から操作入力を受け付けると、受け付けた操作入力の内容を制御部270に出力するものである。なお、操作受付部210の少なくとも一部と表示部280とをタッチパネルとして一体化して構成するようにしてもよい。
なお、本発明の実施の形態では、操作受付部210において、主に外部操作部材を用いて操作する場合について説明する。本発明の実施の形態で用いる外部操作部材は、例えば、上下左右キー、決定キー、ズームインキー、ズームアウトキー、メニューキーが設けられている。なお、これらのキーは、他のキーに割り振られるようにしてもよく、同一のキーを共通して用いるようにしてもよい。また、これらのキーについては、専用の外部操作部材を設けなくても、キーボードの所定のキーに各キーを対応させるようにしてもよい。
画像記憶部220は、複数の画像を記憶するものであり、記憶されている画像を描画部260に出力する。画像記憶部220には、例えば、デジタルカメラ等の撮像装置で撮影された画像が格納される。なお、画像記憶部220は、画像記憶部111に対応する。
地図情報記憶部230は、地図情報を記憶するものであり、記憶されている地図画像を描画部260に出力する。地図情報記憶部230には、例えば、図9乃至24に示す各地図に対応する地図情報が記憶される。また、地図上には地域名称等が記載される。なお、地図情報記憶部230は、地図情報記憶部112に対応する。
属性情報記憶部240は、画像記憶部220に記憶されている画像に関する属性情報を各画像に対応させて記憶するものであり、これらの属性情報を画像分類部250に出力する。属性情報記憶部240は、メタデータDB113および特徴量DB114に対応する。なお、これらの詳細については、図4を参照して詳細に説明する。
画像分類部250は、属性情報記憶部240に記憶されている属性情報に基づいて、画像記憶部220に記憶されている複数の画像を1または複数のクラスタに分類するものであり、分類された結果を描画部260に出力する。なお、これらの分類方法については、図5乃至図8を参照して詳細に説明する。
描画部260は、画像分類部250により分類された各画像をクラスタ単位で所定の順序で描画するとともに、選択されている画像に対応する地図上の領域を描画するものである。また、描画部260は、制御部270からの制御に基づいて、描画された各画像を移動させるとともに、各画像に対応する地図上の領域を描画する。さらに、描画部260は、制御部270からの制御に基づいてメニュー項目等を描画する。なお、描画部260は、画像記憶部220に記憶されている各画像を画像レイヤに描画するとともに、地図情報記憶部230に記憶されている地図情報に対応する地図を地図レイヤに描画する。そして、地図レイヤに描画された地図上に、画像レイヤに描画された各画像が重ねて表示される。このように描画された地図および画像等については、図9乃至24を参照して詳細に説明する。
制御部270は、操作受付部210により受け付けられた操作内容に応じて、各制御信号を画像分類部250または描画部260に出力するものである。なお、制御部270は、操作受付部210により画像を移動させる旨の操作入力が受け付けられた場合には、描画部260により描画された各画像を移動させるとともに、その画像の移動に応じて地図を移動させるように描画部260に描画させる。また、制御部270は、操作受付部210によりメニュー項目を選択する旨の操作入力が受け付けられた場合には、選択されたメニュー項目に応じて、画像記憶部220に記憶されている複数の画像を1または複数のクラスタに分類するように、画像分類部250を制御する。さらに、制御部270は、操作受付部210により画像を選択する操作入力が受け付けられた場合には、その選択された画像に対応する属性情報に含まれる位置を含む地図上の領域に、その選択された画像を配置するように描画部260に描画させる。また、制御部270は、操作受付部210によりクラスタを移動させる旨の操作入力が受け付けられた場合には、選択された画像を含むクラスタを構成する各画像を移動させるとともに、その各画像の移動に応じて地図の縮尺を変更させるように描画部260に描画させる。
表示部280は、描画部260により描画された地図および画像を表示するものである。
図3は、画像記憶部220に記憶されている画像を模式的に示す図である。図4は、画像記憶部220に記憶されている画像に対応する各種情報を格納するメタデータDB241および特徴量DB242を模式的に示す図である。なお、メタデータDB241は、図1に示すメタデータDB113に対応し、特徴量DB242は、図1に示す特徴量DB114に対応する。また、メタデータDB241および特徴量DB242は、図2に示す属性情報記憶部240に対応する。
画像記憶部220には、画像301乃至312が記憶されている。画像301乃至312は、例えば、東京在住のユーザ300が撮像装置を用いて撮影したものであり、画像301乃至304は、東京近辺の山で行われたバーベキューの際に撮影された画像であり、画像305乃至309は、京都旅行の際に撮影された画像であり、画像310乃至312は、東京の○○会社で行われた避難訓練の際に撮影された画像であるとする。なお、画像301乃至304は、バーベキューの際に東京近辺の山で撮影された画像であり、画像305は、京都旅行における出発の際に○○会社の近くの駅で撮影された画像であり、画像306乃至309は、京都旅行の際に京都で撮影された画像であり、画像310乃至312は、避難訓練の際に○○会社付近で撮影された画像であるものとする。また、画像310乃至312は○○会社付近のほぼ同じ位置で撮影されたものであり、画像305が撮影された駅は、○○会社から2kmの範囲内に存在し、画像301乃至304が撮影された東京近辺の山は、○○会社から10〜40kmの範囲内に存在し、画像306乃至309が撮影された京都は、○○会社から40kmよりも離れているとする。
メタデータDB241には、画像記憶部220に記憶されている画像に対応するメタデータが格納されている。例えば、メタデータDB241には、撮影日時、撮影場所、サムネイル、ファイルパス、イベント、色、人数のメタデータが格納されている。
撮影日時は、対応する画像が撮影された際の日時を示す情報であり、例えば、対応する画像が撮像装置で撮影された場合には、その撮像装置によって撮影日時が記録される。また、例えば、撮影日時は、「2007年 1月25日 13時00分」のようにメタデータDB241に格納されるものの、図4では、省略して「1/25 13:00」として示す。
撮影場所は、対応する画像が撮影された際の場所を示す位置情報であり、例えば、対応する画像が撮像装置で撮影された場合には、その撮像装置によって位置情報が記録される。この位置情報は、例えば、撮像装置が備えるGPS装置によって取得された位置情報が用いられる。例えば、撮影場所は、「緯度○○:○○、経度○○:○○」のように緯度と経度とがメタデータDB241に格納されるものの、図4では、これらの記載を省略している。
サムネイルは、対応する画像の縮小画像である。このサムネイルは、例えば、対応する画像に基づいて生成され、メタデータDB241に格納される。なお、図4では、サムネイルの記載を省略している。
ファイルパスは、対応する画像の記憶位置を示すファイルパスであり、画像記憶部220から画像を取り出す際に、このファイルパスに基づいて取り出される。
イベントは、対応する画像が撮影された際における行事内容等を示す情報である。例えば、画像301乃至304については、「バーベキュー」が格納され、画像305乃至309については、「京都旅行」が格納され、画像310乃至312については、「避難訓練」が格納される。なお、このイベントについては、ユーザが手動で記録するようにしてもよく、撮影場所および撮影日時に基づいて自動で記録されるようにしてもよい。撮影場所および撮影日時に基づいてイベントを自動で記録する場合には、例えば、撮影された日が同一で、撮影場所が所定の範囲内に存在する画像については、同一のイベントとして記録することができる。
色は、対応する画像の色を示す情報であり、例えば、対応する画像が、黒、白、赤、青、緑、黄、多色の七つに分類され、これらの色情報が格納される。例えば、対応する画像が山等の自然の景色を多く含むものである場合には、全体が緑っぽいため、「緑」が格納される。また、対応する画像が海を多く含むものである場合には、全体が青っぽいため、「青」が格納される。なお、これらの色情報は、例えば、ヒストグラム解析等を用いて画像記憶部220に記憶されている画像から求めることができる。なお、図4では、これらの色の記載を省略している。
人数は、対応する画像に含まれている人の数を示す情報であり、例えば、対応する画像に一人の人が含まれている場合には「ポートレイト」が格納され、対応する画像に複数の人が含まれている場合には「集合写真」が格納され、対応する画像に人が含まれていない場合には「風景写真・その他」が格納される。なお、「ポートレイト」と「集合写真」との境界は、例えば、3〜4人程度とすることができる。また、人が含まれている画像を「ポートレイト」と「集合写真」とに分類する代わりに、「1人」「2人」「3〜4人」「5〜10人」「11人〜」等のように、さらに細かく分類するようにしてもよい。なお、これらの情報は、例えば、顔検出方法等を用いて求められた検出結果に基づいて求めることができる。
特徴量DB242には、画像記憶部220に記憶されている画像に対応する特徴量が格納されている。この特徴量は、例えば、ヒストグラム解析や周波数解析等を用いて画像記憶部220に記憶されている画像から求めることができる。そして、求められた特徴量が数値化されて格納される。この特徴量に基づいて、基準となる画像と他の画像とが類似するか否かが判断される。なお、図4では、特徴量の記載を省略している。
情報処理装置200は、メタデータDB241または特徴量DB242に格納されている各種情報に基づいて、画像記憶部220に記憶されている画像を分類して1または複数のクラスタとして、各クラスタに含まれる各画像を並べるように地図上に描画する。この分類については、図5乃至7を用いて詳細に説明する。
図5は、メタデータDB241の「イベント」に格納されている情報に基づいて、画像記憶部220に記憶されている画像が分類された場合におけるクラスタの概略を示す図である。図6は、メタデータDB241の「人数」に格納されている情報に基づいて、画像記憶部220に記憶されている画像が分類された場合におけるクラスタの概略を示す図である。図7は、メタデータDB241の「撮影場所」に格納されている情報に基づいて、画像記憶部220に記憶されている画像が分類された場合におけるクラスタの概略を示す図である。
図4に示すように、メタデータDB241において、画像301乃至312に対応する「イベント」には、各イベントを示す「バーベキュー」と「京都旅行」と「避難訓練」とが格納されている。この場合には、図5に示すように、画像記憶部220に記憶されている画像301乃至312が、メタデータDB241に格納されている「イベント」の内容に基づいて、「バーベキュー」のクラスタ321と、「京都旅行」のクラスタ322と、「避難訓練」のクラスタ323とに分類される。また、各クラスタ321乃至323が描画される場合には、例えば、メタデータDB241に格納されている「撮影日時」の順番で配列される。このように、イベント毎に分類することによって、各イベントにおける画像をまとめて見ることができる。
また、図4に示すように、メタデータDB241において、画像301乃至312に対応する「人数」には、各画像に含まれる人数を示す「一人」と「多数」と「風景」とが格納されている。この場合には、図6に示すように、画像記憶部220に記憶されている画像301乃至312が、メタデータDB241に格納されている「人数」の内容に基づいて、「ポートレイト」のクラスタ324と、「集合写真」のクラスタ325と、「風景写真・その他」のクラスタ326とに分類される。また、各クラスタ324乃至326が描画される場合には、例えば、メタデータDB241に格納されている「撮影日時」の順番で配列される。このように、画像に含まれる人の数に応じて分類することによって、例えば、ユーザ300が一人で撮影されている画像をまとめて見ることができる。
また、図4に示すように、メタデータDB241において、画像301乃至312に対応する「撮影場所」には、各画像が撮影された場所の経度および緯度が格納されている。例えば、画像記憶部220に記憶されている画像311を基準となる画像として、画像311からの距離に基づいて、図7に示すように、画像記憶部220に記憶されている画像301乃至312が、「〜2km」のクラスタ327と、「10〜40km」のクラスタ328と、「40km〜」のクラスタ329とに分類される。なお、これらの分類方法については、図8を参照して詳細に説明する。また、各クラスタ327乃至329が描画される場合には、例えば、メタデータDB241に格納されている「撮影日時」の順番で配列される。なお、「2〜10km」のクラスタについては、該当する画像が存在しないため、図示していない。
図8は、メタデータDB241の「撮影場所」に格納されている情報に基づいて、画像記憶部220に記憶されている画像301乃至312を分類する場合における分類方法の概略を示す図である。例えば、画像311を基準となる画像として分類する場合について説明する。
基準となる画像を画像311として画像301乃至312を分類する場合には、画像311に対応してメタデータDB241の「撮影場所」に格納されている経度および緯度に対応する地図上の位置を中心とし、例えば、半径2kmの円331と、半径10kmの円332と、半径40kmの円333とが設定される。そして、画像301乃至310、画像312に対応してメタデータDB241の「撮影場所」に格納されている経度および緯度に対応する地図上の位置が、設定された各円の範囲内に存在するか否かに応じて、各画像が分類される。
例えば、画像310乃至312は○○会社付近のほぼ同じ位置で撮影されたものであるため、画像310または312に対応する位置は、中心となる画像311から2kmの範囲内に存在する。また、画像305は、イベントは「京都旅行」であるものの、京都旅行における出発の際に○○会社の近くの駅で撮影されたものであり、その駅が○○会社から2kmの範囲内に存在するため、画像305に対応する位置は、中心となる画像311から2kmの範囲内に存在する。これにより、中心となる画像311と、画像311から2kmの範囲内に位置する画像305、画像310、画像312が、「〜2km」のクラスタに分類される。
また、画像301乃至304はバーベキューの際に東京近辺の山で撮影された画像であり、その山は○○会社から10〜40kmの範囲内に存在するため、画像301乃至304に対応する位置は、中心となる画像311から10〜40kmの範囲内に存在する。例えば、図8に示す領域340内に存在する。これにより、中心となる画像311から10〜40kmの範囲内に位置する画像301乃至304が、「10〜40km」のクラスタに分類される。
また、画像306乃至309は京都旅行の際に京都で撮影された画像であり、京都は○○会社から40kmよりも離れているため、画像306乃至309に対応する位置は、中心となる画像311から40kmの範囲外に存在する。例えば、図8に示す領域350内に存在する。これにより、中心となる画像311から40kmの範囲外に位置する画像306乃至309が、「40km〜」のクラスタに分類される。
なお、画像301乃至312においては、「2〜10km」のクラスタに分類される画像がない。これにより、図7に示すように、画像記憶部220に記憶されている各画像が各クラスタに分類される。
ここで、特徴量DB242の「特徴量」に格納されている情報に基づいて、画像記憶部220に記憶されている画像301乃至312を分類する場合における分類方法について説明する。例えば、基準となる画像を画像311として画像301乃至312を分類する場合について説明する。この場合において、画像311に対応して特徴量DB242の「特徴量」に格納されている数値と、他の画像に対応して特徴量DB242の「特徴量」に格納されている数値とを比較する。比較した結果、画像311に対応する「特徴量」の数値と、他の画像に対応する「特徴量」の数値との差の値が所定の閾値の範囲内であれば、当該他の画像は画像311と類似すると判断される。一方、比較した結果、画像311に対応する「特徴量」の数値と、他の画像に対応する「特徴量」の数値との差の値が所定の閾値の範囲内でなければ、当該他の画像は画像311とは類似しないと判断される。このように、画像311と他の画像との「特徴量」を順次比較して、類似するか否かが判断されて、類似するか否かに応じて、各画像が分類される。そして、例えば、画像記憶部220に記憶されている各画像のうちで、基準となる画像と類似すると判断された画像が「似ている」のクラスタに分類され、基準となる画像と類似しないと判断された画像が「似ていない」のクラスタに分類される。
なお、メタデータDB241において、画像301乃至312に対応する「色」には、各画像に関する色を示す「黒」、「白」、「赤」、「青」、「緑」、「黄」、「多色」が格納されている。この場合には、画像記憶部220に記憶されている画像301乃至312が、メタデータDB241に格納されている「色」の内容に基づいて、各色のクラスタに分類される。また、各クラスタが描画される場合には、例えば、メタデータDB241に格納されている「撮影日時」の順番で配列される。このように、画像に関する色に応じて分類することによって、例えば、同じような色彩で撮影されている画像をまとめて見ることができる。
なお、本発明の実施の形態では、上述したように、画像記憶部220に記憶されている複数の画像が分類されたクラスタの種類をクラスタリング軸と称する。また、クラスタリング軸として、本発明の実施の形態では、「イベント」、「色」、「人数」、「場所」、「類似」の5つを例にして説明する。なお、これらの分類以外に、例えば、表情検出方法等を用いて、特定人物が含まれている画像と、特定人物が含まれていない画像とに分類するようにしてもよい。また、笑顔が多く含まれている画像と、普通の表情が多く含まれている画像とに分類するようにしてもよい。さらに、他の分類をするようにしてもよい。
以上で示した画像記憶部220に記憶されている画像301乃至312が分類されたクラスタについての表示例については、図9乃至図24を用いて詳細に説明する。
図9は、表示部280に表示される表示画面の一例である表示画面400を示す図である。ここでは、例えば、メタデータDB241の「イベント」に格納されている情報に基づいて、画像記憶部220に記憶されている複数の画像が、「バーベキュー」のクラスタ、「京都旅行」のクラスタ、「避難訓練」のクラスタ等に分類された場合について説明する。すなわち、クラスタリング軸が「イベント」の場合について説明する。なお、図5乃至図7では、分類の説明のために、各クラスタに含まれる画像の数を少なくして示した。このため、図5乃至図7に示す各クラスタに含まれる画像の数と、図9乃至図24に示す各クラスタに含まれる画像の数とは異なる場合がある。また、図9乃至図24では、各画像の表示部分については、文字等を用いて簡略化して示す。
また、本発明の実施の形態では、画像レイヤと地図レイヤとに描画された各画像等が重ねられて表示される場合について説明する。なお、画像レイヤと地図レイヤとは、描画部260が各画像等を描画するレイヤであり、画像レイヤは、画像記憶部220に記憶されている複数の画像のうちで、所定のクラスタに含まれる画像が描画されるレイヤであり、地図レイヤは、地図情報記憶部230に記憶されている地図情報に対応する地図が描画されるレイヤである。
画像レイヤには、各クラスタに含まれる画像が一列に描画される。また、地図レイヤに描画される地図の表示領域が広くなるように、画像レイヤの真中部分に配置されるクラスタが少し斜めに描画され、このクラスタとほぼ並行になるように、上下のクラスタが表示画面の右上部分と左下部分とに描画される。また、その状態で各クラスタが並行に描画されると、上下のクラスタの内容によっては、上下のクラスタに含まれる画像が画面外に描画されてしまうことがあるため、上下のクラスタに含まれる画像の中心位置を左右にずらして描画される。また、フォーカスは、表示画面の中央の画像にあるとする。すなわち、表示画面の中央に存在する画像が、現在選択されている画像とする。
例えば、「バーベキュー」のクラスタに含まれる画像405および406と、「京都旅行」のクラスタに含まれる画像401乃至404と、「避難訓練」のクラスタに含まれる画像407乃至411と、画像401に対応する位置を中心とする地図とが表示画面400に描画される。また、表示画面400における地図上には、メニュー項目415と、表示画面400の真中部分に表示されているクラスタの名称416とが描画される。例えば、メニュー項目415として「イベント」が描画され、クラスタの名称416として「京都旅行」が描画される。なお、メニュー項目は、クラスタリング軸に対応する。
また、表示画面400の真中部分に表示されているクラスタのうちで、真中部分に描画されている画像401が他の画像と区別することができるように描画される。例えば、画像401の周縁に濃い黒が付される。
さらに、真中部分の画像401を含むクラスタの各画像401乃至404に対応してメタデータDB241の「撮影場所」に格納されている緯度および経度に基づいて、地図上における対応する位置にスポット(撮影場所表示)が描画され、このスポットと画像とが影を示す画像で結ばれる。例えば、表示画面400においては、画像401が選択されている状態を示し、画像401に対応する地図上の位置にスポット412が描画され、画像410とスポット412とを結ぶ影画像413が描画される。このように、選択されている画像とその撮影位置とを影で繋ぐことによって、これらの対応が容易に認識し易い。また、地図上において、複数のスポットが同じ位置に存在する場合には、その部分のスポットの色を明るくすることによって、複数の画像がその場所で撮影されたことを認識させ易くすることができる。また、選択されている画像に対応するスポットの色を、他のスポットの色と異なる色にすることによって、選択されている画像に対応する撮影位置を認識させ易くすることができる。
また、メニュー項目415として「イベント」が描画されている場合には、選択されている画像を含む画像列の各画像に対応する各スポットが、メタデータDB241に格納されている「撮影日時」の順番で線で結ばれる。例えば、画像401に対応するスポット412と、画像402に対応するスポットとが線414で描画される。なお、この線を描画する場合において、撮影場所が連続して近接している場合には、これらをひとつの地点としてまとめて描画することによって線の描画を省略することができる。また、選択されている画像に対応してメタデータDB241の「撮影日時」に格納されている撮影日時に基づいて、その画像の右側付近に撮影日時が描画される。例えば、選択されている画像401の右側付近に撮影日時417として「2006:10:28 08:10:17」が描画される。
また、操作受付部210から受け付けられた操作内容に従って、表示画面400における真中部分に描画される画像が移動される。例えば、左右キーを押下することによって、表示画面400における真中部分に描画されているクラスタに含まれる各画像を左右方向に移動させることができる。なお、真中部分に描画されているクラスタに含まれる画像のうちの先頭の画像が選択されている際に左キーが押下された場合、または、最後の画像が選択されている際に右キーが押下された場合には、画像を移動させない。ただし、このような場合において、先頭の画像が選択されている際に左キーが押下された場合には最後の画像を真中部分に描画することも可能である。また、最後の画像が選択されている際に右キーが押下された場合には先頭の画像を真中部分に描画することも可能である。なお、先頭の画像が選択されている際に左キーが押下された場合には上側に描画されているクラスタに含まれる画像のうちの最後の画像を真中部分に描画することも可能である。また、最後の画像が選択されている際に右キーが押下された場合には下側に描画されているクラスタに含まれる画像のうちの先頭の画像を真中部分に描画することも可能である。
具体的には、図9に示す表示画面400が表示されている状態で右キーが押下されると、画像401を含むクラスタの各画像が左側に移動して、表示画面400の真中部分には画像402が描画される。
また、例えば、上下キーを押下することによって、表示画面400における真中部分に描画されているクラスタに含まれる各画像を上下方向に移動させ、上下に描画されているクラスタに含まれる各画像を真中部分に移動させることができる。なお、真中部分に描画されているクラスタが一番上のクラスタである場合に上キーが押下された場合、または、真中部分に描画されているクラスタが一番下のクラスタである場合に下キーが押下された場合には、各画像を移動させない。ただし、このような場合において、真中部分に描画されているクラスタが一番上のクラスタである場合に上キーが押下された場合には、一番下のクラスタを真中部分に描画することも可能である。また、真中部分に描画されているクラスタが一番下のクラスタである場合に下キーが押下された場合には、一番上のクラスタを真中部分に描画することも可能である。
具体的には、図9に示す表示画面400が表示されている状態で上キーが押下されると、画像401を含むクラスタの各画像が下側に移動して、表示画面400の真中部分には、画像405を含むクラスタの各画像が描画される。このように、各画像が移動される場合には、移動後に表示画面400における真中部分に描画される画像に対応するように、地図およびスポットが描画される。
次に、他のクラスタリング軸に関するクラスタを描画させる場合について図10乃至図14を参照して詳細に説明する。
図10乃至図14は、表示部280に表示画面400が表示されている状態でメニューキーが押下された場合における表示画面の表示例を示す図である。図9に示す表示画面400が表示されている場合において所定の操作がされると、表示部280にメニュー項目が表示される。例えば、メニューキーが押下されると、図10乃至図14に示すように、選択されている画像401が上側に移動して、画像401の左隣にメニュー項目418が描画される。また、描画されているメニュー項目418のうちで、選択されているメニュー項目の文字が太文字で大きく描画される。また、メニュー項目418が描画されている場合において、上下キーが押下されると、押下されたキーに応じてメニュー項目の選択が上下に移動する。例えば、図10に示すように、メニュー項目418の「イベント」が選択されている表示画面が表示されている場合において、上キーが押下されると、図11に示すように、メニュー項目の「色」が選択されている表示画面が表示される。また、同様に、上キーを順次押下することによって、メニュー項目の選択が上に移動して、図12乃至図14に示す表示画面が順次表示される。一方、下キーを順次押下することによって、メニュー項目の選択が下に移動して、図10乃至図14に示す表示画面が順次表示される。そして、所望するメニュー項目の文字が太文字で大きくなっている状態で決定キーを押下することによって、そのメニュー項目に対応するクラスタリング軸に関するクラスタを表示させることができる。
なお、直前と異なるメニュー項目が選択された場合には、現在選択されている画像を基準画像として、画像記憶部220に記憶されている複数の画像が1または複数のクラスタに分類される。また、直前と同じメニュー項目が選択された場合でも、直前のメニュー項目が「場所」または「類似」である場合には、現在選択されている画像を基準画像として、画像記憶部220に記憶されている複数の画像が1または複数のクラスタに分類される。なお、決定キーが押下されずに、メニューキーが再度押下された場合には、描画されているメニュー項目が閉じる。
次に、図11乃至図14に示す表示画面が表示されている状態で決定キーが押下された場合における表示例について、図15乃至図24を用いて詳細に説明する。
図15は、メニュー項目として「色」が選択された場合における表示画面の表示例を示す図である。メニュー項目として「色」が選択された場合には、メタデータDB241の「色」に格納されている情報に基づいて、各画像が複数のクラスタに分類され、各クラスタに含まれる各画像が撮影日時の順番で配置されて描画される。例えば、「多色」のクラスタに含まれる画像421乃至427が真中部分に描画され、これらに対応するスポット434乃至439が描画される。また、「多色」のクラスタ以外の他の色に関するクラスタに含まれる画像428または429が上側部分に描画され、さらに、他の色に関するクラスタに含まれる画像430乃至433が下側部分に描画される。また、例えば、メニュー項目441として「色」が描画され、クラスタの名称442として「多色」が描画され、撮影日時443として「2006:10:28 08:10:17」が描画される。また、画像424と、これに対応するスポット434とを結ぶ影画像440が描画される。
図16は、メニュー項目として「人数」が選択された場合における表示画面の表示例を示す図である。メニュー項目として「人数」が選択された場合には、メタデータDB241の「人数」に格納されている情報に基づいて、各画像が複数のクラスタに分類され、各クラスタに含まれる各画像が撮影日時の順番で配置されて描画される。例えば、「風景写真・その他」のクラスタに含まれる画像451乃至457が真中部分に描画され、これらに対応するスポット464乃至469が描画される。また、「風景写真・その他」のクラスタ以外の他の人数に関するクラスタに含まれる画像458または459が上側部分に描画され、さらに、他の人数に関するクラスタに含まれる画像460乃至463が下側部分に描画される。また、例えば、メニュー項目471として「人数」が描画され、クラスタの名称472として「風景写真・その他」が描画され、撮影日時473として「2006:10:28 08:10:17」が描画される。また、画像454と、これに対応するスポット464とを結ぶ影画像470が描画される。
図17は、メニュー項目として「類似」が選択された場合における表示画面の表示例を示す図である。メニュー項目として「類似」が選択された場合には、特徴量DB242の「特徴量」に格納されている情報に基づいて、選択されている画像を基準画像として、この基準画像に類似しているか否かが、基準画像以外の他の画像ついて判断される。そして、基準画像に類似するクラスタと、基準画像に類似しないクラスタとに分類され、各クラスタに含まれる各画像が撮影日時の順番で配置されて描画される。この場合に、図17に示すように、基準画像481を真中部分の上側に配置することによって、どの画像に対して類似の画像が抽出されているのかを明示することができる。例えば、基準画像481に対して、「似ている」のクラスタに含まれる画像482乃至485が真中部分に描画され、これらに対応するスポット491および492が描画される。また、「似ていない」のクラスタに含まれる画像486乃至490が下側部分に描画される。なお、上下左右キーの何れかのキーが押下された場合でも、基準画像は同じ位置に描画される。また、例えば、メニュー項目494として「類似」が描画され、クラスタの名称495として「似ている」が描画され、撮影日時496として「2006:10:28 08:10:17」が描画される。また、画像482と、これに対応するスポット491とを結ぶ影画像493が描画される。
なお、メニュー項目として「イベント」、「色」、「人数」、「類似」の何れかが選択された場合には、例えば、選択されている画像に対応する撮影場所を中心とする半径約2.1kmの地図が描画される。
図18乃至図21は、メニュー項目として「場所」が選択された場合における表示画面の表示例を示す図である。メニュー項目として「場所」が選択された場合には、メタデータDB241の「撮影場所」に格納されている情報に基づいて、選択されている画像を基準画像として、この基準画像から所定の範囲内に存在するか否かが、基準画像以外の他の画像について判断される。例えば、図8に示すように、基準画像を中心とする半径2kmの円内に存在する画像が「〜2km」のクラスタに分類され、基準画像を中心とする半径2kmの円から半径10kmの円までの範囲内に存在する画像が「2〜10km」のクラスタに分類され、基準画像を中心とする半径10kmの円から半径40kmの円までの範囲内に存在する画像が「10〜40km」のクラスタに分類され、基準画像を中心とする半径40kmの円よりも外側に存在する画像が「40km〜」のクラスタに分類される。そして、各クラスタに含まれる各画像が撮影日時の順番で配置されて描画される。この場合に、例えば、図18に示すように、基準画像504が真中部分に描画され、基準画像504を中心とする撮影範囲が分かるように円513が描画される。また、基準画像504に対応するスポットの位置が地図上の中心位置として固定される。
また、上下キーの何れかが押下された場合には、クラスタに含まれる画像が上下方向に移動するとともに、真中部分に描画されるクラスタの種類に応じて地図の縮尺が変更される。例えば、「〜2km」のクラスタが真中部分に描画されている場合には、図18に示すように、基準画像504を中心とする半径2kmの円513が描画されるように地図が描画され、選択されている画像504が真中部分に描画される。また、例えば、「2〜10km」のクラスタが真中部分に描画されている場合には、図19に示すように、基準画像504に対応するスポットの位置を中心とする半径10kmの円531が描画されるように地図が描画され、選択されている画像530が真中部分に描画される。また、例えば、「10〜40km」のクラスタが真中部分に描画されている場合には、図20に示すように、基準画像504(図18に示す)に対応するスポットの位置を中心とする半径40kmの円541が描画されるように地図が描画され、選択されている画像540が真中部分に描画される。また、例えば、「40km〜」のクラスタが真中部分に描画されている場合には、図21に示すように、選択されている画像550が中心位置に配置され、その下に日本全国が描画されるように地図が描画される。なお、図18に示す表示画面において、例えば、メニュー項目521として「場所」が描画され、クラスタの名称522として「〜2km」が描画され、撮影日時523として「2006:10:28 08:10:17」が描画される。また、画像504と、これに対応するスポット514とを結ぶ影画像520が描画される。
次に、表示画面に描画される各画像を拡大または縮小表示等する場合について図22乃至図24を用いて詳細に説明する。
図22は、真中部分に描画されているクラスタに含まれる各画像のうちで、選択されている画像が拡大表示された場合における表示画面の表示例を示す図である。図23は、真中部分に描画されているクラスタに含まれる各画像のうちで、選択されている画像が縮小表示された場合における表示画面の表示例を示す図である。図24は、所定のクラスタに含まれる各画像の配置を変形させた場合における表示画面の表示例を示す図である。
所定のキーが押下された場合には、表示画面に表示されている選択画像を拡大表示させることができる。例えば、図9に示す表示画面400が表示されている場合において、ズームインキーが押下された場合には、選択されている画像401が拡大されて、例えば、図22に示すように、表示画面において画像601として表示される。この場合には、画像601に対応する地図も拡大して表示される。このように、表示されている場合においても、左右キーを押下することによって、画像を移動させることができる。また、上下キーを押下することによって、クラスタの種類を変更することができる。
一方、所定のキーが押下された場合には、表示画面に表示されている選択画像を縮小表示させることができる。例えば、図9に示す表示画面400が表示されている場合において、ズームアウトキーが押下された場合には、選択されている画像401が縮小されて、例えば、図23に示すように、表示画面において各画像が表示される。この場合には、選択画像に対応する地図も縮小して表示される。
また、各クラスタに含まれる画像を斜めに配置して描画する代わりに、図24に示すように、各クラスタに含まれる画像を水平方向に並行に配置して描画することができる。また、所定キーの押下によって、図24に示す画像の配置に切り換えるようにしてもよい。このように各画像を配置することによって、各画像の上下方向を撮影された状態で見ることができるため見易くなる。
次に、本発明の実施の形態における情報処理装置200の動作について図面を参照して説明する。
図25および図26は、情報処理装置200による画像および地図の描画処理の処理手順を示すフローチャートである。なお、表示部280には、1または複数のクラスタに含まれる各画像が地図上に配置されて描画されているとする。
最初に、メニューキーが押下されたか否かが判断される(ステップS901)。メニューキーが押下されていなければ(ステップS901)、ステップS919に進む。メニューキーが押下された場合には(ステップS901)、メニュー項目を選択するためのメニュー画面が描画されているか否かが判断される(ステップS902)。メニュー画面が描画されている場合には(ステップS902)、現在選択されている画像の描画位置が元の位置に戻されるとともに、この画像の隣に描画されている各メニュー項目が消去される(ステップS903)。一方、メニュー画面が描画されていない場合には(ステップS902)、現在選択されている画像の描画位置が変更されるとともに、この画像の隣に各メニュー項目が描画される(ステップS904)。例えば、図10乃至図14に示すように、各メニュー項目が描画される。この場合に、各メニュー項目のうちの1つが選択されている状態で描画される。
続いて、上キーまたは下キーの何れかが押下されたか否かが判断される(ステップS905)。上キーまたは下キーの何れかが押下された場合には(ステップS905)、押下されたキーに応じて、選択されているメニュー項目が上下に変更させて描画される(ステップS906)。具体的には、上キーが押下された場合には、メニュー項目の選択が上に移動され、下キーが押下された場合には、メニュー項目の選択が下に移動される。なお、上キーまたは下キーの何れかが押下されない場合には(ステップS905)、ステップS907に進む。
続いて、決定キーが押下されたか否かが判断される(ステップS907)。決定キーが押下されなければ(ステップS907)、メニューキーが押下されたか否かが判断される(ステップS908)。メニューキーが押下されなければ(ステップS908)、ステップS905に進み、上下キー、決定キー、メニューキーの押下を監視する(ステップS905乃至ステップS908)。メニューキーが押下された場合には(ステップS908)、現在選択されている画像の描画位置が元の位置に戻されるとともに、この画像の隣に描画されている各メニュー項目が消去される(ステップS903)。
決定キーが押下された場合には(ステップS907)、現在選択されているメニュー項目が、「類似」または「場所」であるか否かが判断される(ステップS909)。選択されているメニュー項目が、「類似」または「場所」ではない場合には(ステップS909)、選択されているメニュー項目に対応するメタデータDB241に格納されている各情報に基づいて、画像記憶部220に記憶されている画像が1または複数のクラスタに分類され、これらのクラスタのうちで、現在選択されている画像を含むクラスタと、このクラスタの上下に位置するクラスタとに含まれる各画像が描画される(ステップS910)。
続いて、現在選択されている画像を含むクラスタに含まれる各画像に対応する地図上の位置にスポットが描画される(ステップS911)。なお、地図上に描画されたスポットのうちで、現在選択されている画像に対応するスポットについては、他のスポットと区別することができるように、他のスポットと異なる色で描画される。また、現在選択されている画像とこの画像に対応するスポットとを繋ぐように影画像が描画される。
続いて、ステップS907で決定キーが押下された際に選択されていたメニュー項目が「イベント」であるか否かが判断される(ステップS912)。選択されていたメニュー項目が「イベント」ではない場合には(ステップS912)、ステップS919に進み、選択されていたメニュー項目が「イベント」である場合には(ステップS912)、地図上に描画されたスポットの間を結ぶ線(移動経路)が描画される(ステップS913)。この線は、例えば、メタデータDB241に格納されている撮影日時に基づいて、撮影の順番に結ばれる。
ステップS909において、現在選択されているメニュー項目が、「類似」または「場所」である場合には、現在選択されている画像を基準画像として、選択されているメニュー項目に対応してメタデータDB241または特徴量DB242に格納されている各情報に基づいて、画像記憶部220に記憶されている画像が1または複数のクラスタに分類される(ステップS914)。続いて、分類されたクラスタのうちで、現在選択されている画像を含むクラスタと、このクラスタの上下に位置するクラスタとに含まれる各画像が描画される(ステップS915)。なお、選択されたメニュー項目が「類似」である場合には、「類似」のメニュー項目が決定された際に、真中に描画されるクラスタに含まれる各画像の上部分に基準画像が描画される。続いて、現在選択されている画像を含むクラスタに含まれる各画像に対応する地図上の位置にスポットが描画される(ステップS916)。
続いて、ステップS907で決定キーが押下された際に選択されていたメニュー項目が「場所」であるか否かが判断される(ステップS917)。選択されていたメニュー項目が「場所」ではない場合には(ステップS917)、ステップS919に進み、選択されていたメニュー項目が「場所」である場合には(ステップS917)、現在選択されている画像に対応する地図上の位置を中心位置に固定する旨の設定がされる(ステップS918)。具体的には、地図の中心点の表示フラグを立てる。このように、地図の中心点の表示フラグが立てられている場合には、真中に配置されているクラスタに含まれる各画像の移動に合わせて地図を移動させない。すなわち、クラスタの種類が「場所」である場合には、地図の中心位置が固定され、この中心位置を基準にして地図の縮尺が変更される。
続いて、左キーまたは右キーが押下されたか否かが判断される(ステップS919)。左キーまたは右キーの何れも押下されない場合には(ステップS919)、ステップS924に進む。左キーまたは右キーが押下された場合には(ステップS919)、押下されたキーに応じて、現在選択されている画像を左右方向の何れかに移動させる(ステップS920)。すなわち、選択画像が隣の画像に変更される。この場合に、選択された状態の画像の周りの色が、他の画像の周りの色と異なる色に描画される。続いて、描画されているクラスタの種類が「場所」に関するものであるか否かが判断される(ステップS921)。描画されているクラスタの種類が「場所」に関するものでない場合には(ステップS921)、画像の移動に合わせて、画像の下に描画されている地図が移動されて描画される(ステップS922)。この場合、選択されている画像、およびこれに対応する地図上の位置が、表示画面のほぼ真中になるように、画像および地図が描画される。また、選択されている画像とこの画像に対応するスポットとを繋ぐように影画像が描画される。一方、描画されているクラスタの種類が「場所」に関するものである場合には(ステップS921)、画像の下に描画されている地図を移動せずに、選択されている画像とこの画像に対応するスポットとを繋ぐように影画像が描画される(ステップS923)。この場合に、選択されている画像に対応するスポットおよび中心位置に対応するスポットと、他のスポットとをそれぞれ区別することができるように、異なる色を付すようにする。
続いて、上キーまたは下キーが押下されたか否かが判断される(ステップS924)。上キーまたは下キーの何れも押下されない場合には(ステップS924)、ステップS929に進む。上キーまたは下キーが押下された場合には(ステップS924)、押下されたキーに応じて、現在選択されている画像を含むクラスタを上下方向の何れかに移動させ、上または下に描画されているクラスタが真中部分に配置される(ステップS925)。
続いて、描画されているクラスタの種類が「場所」に関するものであるか否かが判断される(ステップS926)。描画されているクラスタの種類が「場所」に関するものでない場合には(ステップS926)、クラスタの移動に合わせて、画像の下に描画されている地図が移動されて描画され、真中に配置されたクラスタに含まれる各画像に対応する地図上の位置にスポットが描画される(ステップS927)。この場合、選択されている画像、およびこれに対応する地図上の位置が、表示画面のほぼ真中になるように、画像および地図が描画される。また、選択されている画像とこの画像に対応するスポットとを繋ぐように影画像が描画される。
一方、描画されているクラスタの種類が「場所」に関するものである場合には(ステップS926)、画像の下に描画されている地図の中心位置を移動せずに、クラスタの移動に応じて、画像の下に描画されている地図の縮尺が変更されて描画され、真中に配置されたクラスタに含まれる各画像に対応する地図上の位置にスポットが描画される(ステップS928)。この場合、選択されている画像の位置が表示画面のほぼ真中になるように画像および地図が描画される。また、選択されている画像とこの画像に対応するスポットとを繋ぐように影画像が描画される。この場合に、選択されている画像に対応するスポットおよび中心位置に対応するスポットと、他のスポットとをそれぞれを区別することができるように、それぞれに異なる色を付すようにする。例えば、「〜2km」のクラスタが真中に描画されているときに下キーが押下された場合には、「2〜10km」のクラスタが真中に描画される。この場合に、地図レイヤに描画されている地図画像がズームアウトされる。また、この場合に、ステップS918で地図上の中心位置として固定された位置を中心にして、真中に描画されているクラスタに含まれる画像に対応する位置が含まれる範囲を示す円が描画される。このように、真中に描画されているクラスタに含まれる画像の範囲を示す円が描画されることによって、地図上における撮影範囲を容易に認識することができる。
続いて、ズームアウトキーが押下されたか否かが判断される(ステップS929)。ズームアウトキーが押下された場合には(ステップS929)、現在描画されている各画像が縮小されて描画される(ステップS930)。続いて、画像の縮小に合わせて地図レイヤに描画されている地図が、その縮尺が縮小されて描画される(ステップS931)。
ズームアウトキーが押下されない場合には(ステップS929)、ズームインキーが押下されたか否かが判断される(ステップS932)。ズームインキーが押下された場合には(ステップS932)、現在描画されている各画像が拡大されて描画される(ステップS933)。続いて、画像の拡大に合わせて地図レイヤに描画されている地図が、その縮尺が拡大されて描画される(ステップS934)。
以上で示したように、本発明の実施の形態によれば、例えば、撮影画像と地図とが同時に表示される場合において、ひとまとまりの画像に基づいて複数の撮影場所を容易に検索することができる。この場合に、画像とその撮影場所とを同時にわかりやすく俯瞰することができる。また、個々の画像とその撮影場所との対応だけではなく、クラスタ毎に複数の画像を同時に表示することができる。特に、複数の画像がイベントで分類されている場合には、イベントの移動履歴を地図上に表示することができる。このため、撮影者の記憶想起の助けになるとともに、他者に説明をする場合には地図上の移動履歴を用いて効果的に説明をすることができる。
また、クラスタリング軸の変更を容易に行うことができるため、同じ画像でありながら、いろいろな分類をして表示することができる。また、クラスタ内の画像を移動させることによって、他地域の撮影場所を辿ることができる。これにより、思わぬ画像を再発見することができる。
さらに、画像を閲覧するのに必要な情報がフォーカス位置のまわりに配置され、画面中心にフォーカス位置を固定することによって、視点の移動が少なくなり、閲覧時の負荷を減少させることができる。
また、画像レイヤと地図レイヤとを分けて、画像と地図とについて三次元表現を用いて描画することによって、この2つのレイヤの関連を分かりやすく示すことができる。
このように、本発明の実施の形態によれば、関連する画像のまとまりを、この画像に対応する地図上に描画することができる。また、地図上に描画されている関連する画像のまとまりに基づいて、地図上の撮影場所を容易に探すことができる。
なお、本発明の実施の形態では、背景画像を地図とし、背景画像上に配置されるコンテンツを示す画像を撮影画像とした場合について説明したが、他の背景画像と、コンテンツを示す画像とについて本発明の実施の形態を適用することができる。例えば、X軸を音楽のテンポを示す軸とし、Y軸を音楽の明るさを示す軸としたXY座標において、この座標上の位置に応じた音楽のテンポおよび明るさをイメージしたものが表現された画像(曲のムードを示す画像)を背景画像とし、音声データをコンテンツとすることができる。なお、このコンテンツを示す画像としては、曲に応じた写真(例えば、ジャケット写真)を用いることができる。また、このコンテンツを分類するクラスタとしては、「歌手」「年代」「曲の種別」等とすることができる。そして、各コンテンツをXY座標上の所定の位置に対応させておき、表示部において選択されたコンテンツに対応するように、背景画像を移動させることができる。
また、本発明の実施の形態は、例えば、パーソナルコンピュータ等の情報処理装置を用いて実現することができる。なお、地図上に画像を描画することが可能なテレビジョン、携帯電話機等の画像表示装置や電子機器に本発明の実施の形態を適用することができる。また、情報処理装置200に情報出力部を設け、描画部260で描画される各画像に対応する画像情報を情報出力部から出力させ、他の画像表示装置や電子機器において表示部280に表示される画像と同じ画像を表示させるようにしてもよい。
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
すなわち、請求項1乃至請求項13、請求項15、請求項16において、情報処理装置は、例えば情報処理装置200に対応する。また、請求項14において、画像表示装置は、例えば情報処理装置200に対応する。
また、請求項1において、コンテンツ記憶手段は、例えば画像記憶部220に対応する。また、背景画像記憶手段は、例えば地図情報記憶部230に対応する。また、属性情報記憶手段は、例えば属性情報記憶部240に対応する。また、分類手段は、例えば画像分類部250に対応する。また、描画手段は、例えば描画部260に対応する。
また、請求項2または請求項14において、画像記憶手段は、例えば画像記憶部220に対応する。また、地図情報記憶手段は、例えば地図情報記憶部230に対応する。また、属性情報記憶手段は、例えば属性情報記憶部240に対応する。
また、請求項2、請求項7、請求項8、請求項14において、画像分類手段は、例えば画像分類部250に対応する。
また、請求項2、請求項4乃至請求項8、請求項11、請求項14において、描画手段は、例えば描画部260に対応する。
また、請求項3、請求項9、請求項10、請求項12において、操作受付手段は、例えば操作受付部210に対応する。また、制御手段は、例えば制御部270に対応する。
また、請求項13または請求項14において、表示手段は、例えば表示部280に対応する。
また、請求項15または請求項16において、画像分類手順は、例えばステップS910またはステップS914に対応する。また、描画手順は、例えばステップS910またはステップS915に対応する。
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
本発明の実施の形態における画像表示システムのソフトウェア構造の一例を示す図である。 本発明の実施の形態における情報処理装置200の機能構成例を示すブロック図である。 画像記憶部220に記憶されている画像を模式的に示す図である。 画像記憶部220に記憶されている画像に対応する各種情報を格納するメタデータDB241および特徴量DB242を模式的に示す図である。 「イベント」に基づいて画像が分類された場合におけるクラスタの概略を示す図である。 「人数」に基づいて画像が分類された場合におけるクラスタの概略を示す図である。 「撮影場所」に基づいて画像が分類された場合におけるクラスタの概略を示す図である。 「撮影場所」に基づいて画像301乃至312を分類する場合における分類方法の概略を示す図である。 表示部280に表示される表示画面400を示す図である。 表示画面400が表示されている状態でメニューキーが押下された場合の表示例を示す図である。 表示画面400が表示されている状態でメニューキーが押下された場合の表示例を示す図である。 表示画面400が表示されている状態でメニューキーが押下された場合の表示例を示す図である。 表示画面400が表示されている状態でメニューキーが押下された場合の表示例を示す図である。 表示画面400が表示されている状態でメニューキーが押下された場合の表示例を示す図である。 メニュー項目として「色」が選択された場合の表示例を示す図である。 メニュー項目として「人数」が選択された場合の表示例を示す図である。 メニュー項目として「類似」が選択された場合の表示例を示す図である。 メニュー項目として「場所」が選択された場合の表示例を示す図である。 メニュー項目として「場所」が選択された場合の表示例を示す図である。 メニュー項目として「場所」が選択された場合の表示例を示す図である。 メニュー項目として「場所」が選択された場合の表示例を示す図である。 選択されている画像が拡大表示された場合の表示例を示す図である。 選択されている画像が縮小表示された場合の表示例を示す図である。 各画像の配置を変形させた場合の表示例を示す図である。 情報処理装置200による画像および地図の描画処理の処理手順を示すフローチャートである。 情報処理装置200による画像および地図の描画処理の処理手順を示すフローチャートである。
符号の説明
110 三次元画像ビューワアプリケーション
111 画像記憶部
112 地図情報記憶部
113 メタデータDB
114 特徴量DB
120 コンテンツマネージャ
121 距離分類ライブラリ
122 類似検索ライブラリ
130 表示マネージャ
140 地図マネージャ
150 クラスタマネージャ
160 スポットマネージャ
170 オプションマネージャ
200 情報処理装置
210 操作受付部
220 画像記憶部
230 地図情報記憶部
240 属性情報記憶部
250 画像分類部
260 描画部
270 制御部
280 表示部
241 メタデータDB
242 特徴量DB

Claims (16)

  1. 複数のコンテンツを記憶するコンテンツ記憶手段と、
    前記コンテンツ記憶手段に記憶されているコンテンツに対応する背景画像を記憶する背景画像記憶手段と、
    前記コンテンツ記憶手段に記憶されているコンテンツに関する属性情報であって前記背景画像における対応位置を含む属性情報を各コンテンツに関連付けて記憶する属性情報記憶手段と、
    前記属性情報記憶手段に記憶されている属性情報に基づいて前記コンテンツ記憶手段に記憶されている複数のコンテンツを1または複数のクラスタに分類する分類手段と、
    前記分類されたコンテンツを示す画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応するコンテンツの前記属性情報に含まれる前記対応位置を含む前記背景画像上の領域を描画する描画手段と
    を具備することを特徴とする情報処理装置。
  2. 複数の画像を記憶する画像記憶手段と、
    地図情報を記憶する地図情報記憶手段と、
    前記画像記憶手段に記憶されている画像に関する属性情報を各画像に対応させて記憶する属性情報記憶手段と、
    前記属性情報記憶手段に記憶されている属性情報に基づいて前記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類する画像分類手段と、
    前記分類された画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応する前記地図上の領域を描画する描画手段と
    を具備することを特徴とする情報処理装置。
  3. 前記属性情報は、前記地図情報記憶手段に記憶されている地図情報に対応する地図の位置を含み、
    前記描画手段により描画された画像のうちの少なくとも1つの画像を選択する操作入力を受け付ける操作受付手段と、
    前記操作受付手段により画像を選択する操作入力が受け付けられた場合には当該画像に対応する前記属性情報に含まれる位置を含む前記地図上の領域に当該画像を配置するように前記描画手段に描画させる制御手段とをさらに具備する
    ことを特徴とする請求項2記載の情報処理装置。
  4. 前記描画手段は、前記選択された画像を含むクラスタを構成する各画像に対応する前記属性情報に含まれる前記地図上の位置を示す位置表示を描画する
    ことを特徴とする請求項3記載の情報処理装置。
  5. 前記描画手段は、前記選択された画像と当該画像に対応する前記位置表示とを所定の画像で結ぶ
    ことを特徴とする請求項4記載の情報処理装置。
  6. 前記属性情報は、前記画像記憶手段に記憶されている画像が撮影された日時を含み、
    前記描画手段は、前記選択された画像を含むクラスタを構成する各画像に対応する前記属性情報に含まれる日時の順序で当該各画像に対応する位置表示を結ぶように所定の線分を描画する
    ことを特徴とする請求項4記載の情報処理装置。
  7. 前記属性情報は、前記画像記憶手段に記憶されている画像に関する特徴量を含み、
    前記画像分類手段は、前記選択された画像に対応する前記属性情報に含まれる特徴量と当該画像以外の画像に対応する前記属性情報に含まれる特徴量とを比較した結果に基づいて前記画像記憶手段に記憶されている複数の画像を2つのクラスタに分類し、
    前記描画手段は、前記分類された画像がクラスタ単位で配置される位置とは異なる位置に前記選択された画像を配置するように描画する
    ことを特徴とする請求項3記載の情報処理装置。
  8. 前記画像分類手段は、前記選択された画像に対応する前記属性情報に含まれる位置と当該画像以外の画像に対応する前記属性情報に含まれる位置とを比較した結果に基づいて前記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類し、
    前記描画手段は、前記選択された画像に対応する前記属性情報に含まれる位置を中心とする前記クラスタに応じた円を前記地図上に描画する
    ことを特徴とする請求項3記載の情報処理装置。
  9. 前記操作受付手段は、前記選択された画像を含むクラスタを移動させる操作入力を受け付け、
    前記制御手段は、前記操作受付手段により前記クラスタを移動させる旨の操作入力が受け付けられた場合には前記選択された画像を含むクラスタを構成する各画像を移動させるとともに当該各画像の移動に応じて前記地図の縮尺を変更させるように前記描画手段に描画させる
    ことを特徴とする請求項8記載の情報処理装置。
  10. 前記操作受付手段は、前記クラスタの種類を選択する操作入力を受け付け、
    前記制御手段は、前記操作受付手段により前記クラスタの種類を選択する旨の操作入力が受け付けられた場合には前記選択された画像を基準画像として前記画像記憶手段に記憶されている複数の画像を前記選択されたクラスタの種類に分類するように前記画像分類手段を制御する
    ことを特徴とする請求項3記載の情報処理装置。
  11. 前記描画手段は、前記選択された画像を中心位置にして前記分類された画像をクラスタ単位で並べて描画する
    ことを特徴とする請求項3記載の情報処理装置。
  12. 前記描画手段により描画された画像を移動させる操作入力を受け付ける操作受付手段と、
    前記操作受付手段により画像を移動させる旨の操作入力が受け付けられた場合には前記描画手段により描画された画像を移動させるとともに当該画像の移動に応じて前記地図を移動させるように前記描画手段に描画させる制御手段とをさらに具備する
    ことを特徴とする請求項2記載の情報処理装置。
  13. 前記描画手段により描画された画像および地図上の領域を表示する表示手段をさらに具備する
    ことを特徴とする請求項2記載の情報処理装置。
  14. 複数の画像を記憶する画像記憶手段と、
    地図情報を記憶する地図情報記憶手段と、
    前記画像記憶手段に記憶されている画像に関する属性情報を各画像に対応させて記憶する属性情報記憶手段と、
    前記属性情報記憶手段に記憶されている属性情報に基づいて前記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類する画像分類手段と、
    前記分類された画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応する前記地図上の領域を描画する描画手段と、
    前記描画手段により描画された画像および地図上の領域を表示する表示手段と
    を具備することを特徴とする画像表示装置。
  15. 複数の画像を記憶する画像記憶手段と、地図情報を記憶する地図情報記憶手段と、前記画像記憶手段に記憶されている画像に関する属性情報を各画像に対応させて記憶する属性情報記憶手段とを具備する情報処理装置における制御方法であって、
    前記属性情報記憶手段に記憶されている属性情報に基づいて前記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類する画像分類手順と、
    前記分類された画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応する前記地図上の領域を描画する描画手順と
    を具備することを特徴とする情報処理装置における制御方法。
  16. 複数の画像を記憶する画像記憶手段と、地図情報を記憶する地図情報記憶手段と、前記画像記憶手段に記憶されている画像に関する属性情報を各画像に対応させて記憶する属性情報記憶手段とを具備する情報処理装置において、
    前記属性情報記憶手段に記憶されている属性情報に基づいて前記画像記憶手段に記憶されている複数の画像を1または複数のクラスタに分類する画像分類手順と、
    前記分類された画像をクラスタ単位で所定の順序で描画するとともに当該描画されている画像のうちの少なくとも1つの画像に対応する前記地図上の領域を描画する描画手順と
    をコンピュータに実行させることを特徴とするプログラム。
JP2007042203A 2007-02-22 2007-02-22 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム Expired - Fee Related JP4353259B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007042203A JP4353259B2 (ja) 2007-02-22 2007-02-22 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム
US12/032,053 US8064633B2 (en) 2007-02-22 2008-02-15 Information processing apparatus, image display apparatus, control methods therefor, and programs for causing computer to perform the methods
TW097105612A TWI380235B (en) 2007-02-22 2008-02-18 Information processing apparatus, image display apparatus, control methods therefor, and programs for causing computer to perform the methods
KR1020080015731A KR20080078573A (ko) 2007-02-22 2008-02-21 정보 처리 장치, 화상 표시 장치, 이들의 제어 방법, 및해당 방법을 컴퓨터에 실행시키는 프로그램
CN2008100808605A CN101256679B (zh) 2007-02-22 2008-02-22 信息处理装置,信息显示装置,及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007042203A JP4353259B2 (ja) 2007-02-22 2007-02-22 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム

Publications (2)

Publication Number Publication Date
JP2008204348A true JP2008204348A (ja) 2008-09-04
JP4353259B2 JP4353259B2 (ja) 2009-10-28

Family

ID=39774754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007042203A Expired - Fee Related JP4353259B2 (ja) 2007-02-22 2007-02-22 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム

Country Status (5)

Country Link
US (1) US8064633B2 (ja)
JP (1) JP4353259B2 (ja)
KR (1) KR20080078573A (ja)
CN (1) CN101256679B (ja)
TW (1) TWI380235B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140383A (ja) * 2008-12-15 2010-06-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011198225A (ja) * 2010-03-23 2011-10-06 Casio Computer Co Ltd 画像管理装置、画像管理方法およびプログラム
JP2012510690A (ja) * 2008-12-02 2012-05-10 クゥアルコム・インコーポレイテッド 慣性センサからのユーザ入力を判断するための方法および装置
WO2012169135A1 (en) * 2011-06-08 2012-12-13 Sony Corporation Information processing device, information processing method and computer program product
JP2013034193A (ja) * 2011-06-30 2013-02-14 Canon Marketing Japan Inc 情報処理装置、情報処理システム、制御方法、情報処理方法およびそのプログラム
JP2013120606A (ja) * 2011-12-08 2013-06-17 Samsung Electronics Co Ltd 携帯端末機におけるコンテンツ表示装置及び方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636141B2 (ja) * 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5104709B2 (ja) 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
JP5282627B2 (ja) * 2009-03-30 2013-09-04 ソニー株式会社 電子機器、表示制御方法およびプログラム
JP5411641B2 (ja) * 2009-09-29 2014-02-12 富士フイルム株式会社 画像分類装置、画像分類システム、画像分類方法、プログラム、および記録媒体
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
JP5744660B2 (ja) * 2010-08-26 2015-07-08 キヤノン株式会社 データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム
JP2012142825A (ja) * 2011-01-05 2012-07-26 Sony Corp 情報処理装置、情報表示方法及びコンピュータプログラム
US8768105B2 (en) * 2011-01-21 2014-07-01 Kodak Alaris Inc. Method for searching a database using query images and an image anchor graph-based ranking algorithm
JPWO2012114727A1 (ja) * 2011-02-24 2014-07-07 パナソニック株式会社 画像処理装置および画像処理方法
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
JP5747678B2 (ja) * 2011-06-17 2015-07-15 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN103050054B (zh) * 2011-10-11 2015-08-26 上海博泰悦臻电子设备制造有限公司 信息点的地图显示方法及装置
GB2497951A (en) * 2011-12-22 2013-07-03 Nokia Corp Method and System For Managing Images And Geographic Location Data
US9965140B2 (en) * 2011-12-26 2018-05-08 TrackThings LLC Method and apparatus of a marking objects in images displayed on a portable unit
EP2800083A4 (en) * 2011-12-27 2015-08-19 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
US9251171B2 (en) * 2012-11-30 2016-02-02 Google Inc. Propagating image signals to images
CN104969257B (zh) * 2012-12-06 2018-08-28 日本电气株式会社 图像处理设备和图像处理方法
US9047847B2 (en) * 2013-02-05 2015-06-02 Facebook, Inc. Displaying clusters of media items on a map using representative media items
US9323855B2 (en) * 2013-02-05 2016-04-26 Facebook, Inc. Processing media items in location-based groups
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US10062193B2 (en) * 2014-06-12 2018-08-28 Oracle International Corporation Attribute based map marker clustering
JP6720513B2 (ja) * 2015-12-01 2020-07-08 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US9836183B1 (en) * 2016-09-14 2017-12-05 Quid, Inc. Summarized network graph for semantic similarity graphs of large corpora
CN108965975B (zh) * 2017-05-24 2021-03-23 阿里巴巴集团控股有限公司 一种绘制方法及装置
CN110867241B (zh) * 2018-08-27 2023-11-03 卡西欧计算机株式会社 类似图像显示控制装置、系统及方法、以及记录介质
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
JP7406757B1 (ja) * 2022-10-21 2023-12-28 株式会社エグゼック 方法、およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273302A (ja) * 2000-03-23 2001-10-05 Toshiba Corp 画像検索システムおよび画像検索方法
JP2003208465A (ja) * 2002-01-11 2003-07-25 Hitachi Ltd 所要時間情報提供方法及びその実施システム並びにその処理プログラム
JP2003344078A (ja) * 2002-05-29 2003-12-03 Alpine Electronics Inc ナビゲーション装置
JP2004069438A (ja) * 2002-08-05 2004-03-04 Sony Corp ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
JP2004152315A (ja) * 1998-03-13 2004-05-27 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005110111A (ja) * 2003-10-01 2005-04-21 Sony Corp 画像再生装置、画像編集方法、プログラム、および記録媒体
JP2005190087A (ja) * 2003-12-25 2005-07-14 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2006146755A (ja) * 2004-11-24 2006-06-08 Seiko Epson Corp 表示制御装置、画像表示方法、および、コンピュータプログラム
JP2006350225A (ja) * 2005-06-20 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 地図画像合成装置、地図画像合成方法、地図画像合成プログラム、及び記録媒体
JP2007011637A (ja) * 2005-06-30 2007-01-18 Seiko Epson Corp 画像管理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092914B1 (en) * 1997-11-06 2006-08-15 Intertrust Technologies Corporation Methods for matching, selecting, narrowcasting, and/or classifying based on rights management and/or other information

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004152315A (ja) * 1998-03-13 2004-05-27 Ricoh Co Ltd 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001273302A (ja) * 2000-03-23 2001-10-05 Toshiba Corp 画像検索システムおよび画像検索方法
JP2003208465A (ja) * 2002-01-11 2003-07-25 Hitachi Ltd 所要時間情報提供方法及びその実施システム並びにその処理プログラム
JP2003344078A (ja) * 2002-05-29 2003-12-03 Alpine Electronics Inc ナビゲーション装置
JP2004069438A (ja) * 2002-08-05 2004-03-04 Sony Corp ガイドシステム、コンテンツサーバ、携帯装置、情報処理方法、情報処理プログラム、及び記憶媒体
JP2005110111A (ja) * 2003-10-01 2005-04-21 Sony Corp 画像再生装置、画像編集方法、プログラム、および記録媒体
JP2005190087A (ja) * 2003-12-25 2005-07-14 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2006146755A (ja) * 2004-11-24 2006-06-08 Seiko Epson Corp 表示制御装置、画像表示方法、および、コンピュータプログラム
JP2006350225A (ja) * 2005-06-20 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> 地図画像合成装置、地図画像合成方法、地図画像合成プログラム、及び記録媒体
JP2007011637A (ja) * 2005-06-30 2007-01-18 Seiko Epson Corp 画像管理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012510690A (ja) * 2008-12-02 2012-05-10 クゥアルコム・インコーポレイテッド 慣性センサからのユーザ入力を判断するための方法および装置
JP2010140383A (ja) * 2008-12-15 2010-06-24 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011198225A (ja) * 2010-03-23 2011-10-06 Casio Computer Co Ltd 画像管理装置、画像管理方法およびプログラム
WO2012169135A1 (en) * 2011-06-08 2012-12-13 Sony Corporation Information processing device, information processing method and computer program product
US10108643B2 (en) 2011-06-08 2018-10-23 Sony Corporation Graphical interface device, graphical interface method and medium
JP2013034193A (ja) * 2011-06-30 2013-02-14 Canon Marketing Japan Inc 情報処理装置、情報処理システム、制御方法、情報処理方法およびそのプログラム
JP2013120606A (ja) * 2011-12-08 2013-06-17 Samsung Electronics Co Ltd 携帯端末機におけるコンテンツ表示装置及び方法

Also Published As

Publication number Publication date
US20080232695A1 (en) 2008-09-25
JP4353259B2 (ja) 2009-10-28
CN101256679A (zh) 2008-09-03
KR20080078573A (ko) 2008-08-27
TWI380235B (en) 2012-12-21
TW200847062A (en) 2008-12-01
CN101256679B (zh) 2013-04-24
US8064633B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
JP4353259B2 (ja) 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR101411593B1 (ko) Ui 제공방법 및 이를 적용한 디스플레이 장치
US10579187B2 (en) Display control apparatus, display control method and display control program
EP2469538B1 (en) Electronic apparatus, display control method and program
EP2219372B1 (en) Image processing device, dynamic image reproduction device, and processing method and program used in the devices
US8514299B2 (en) Information processing device, information processing method, and program
JP5387366B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
JP4412342B2 (ja) コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4835134B2 (ja) 画像表示装置、画像表示方法、および、プログラム
US7813557B1 (en) Tagging detected objects
US8732149B2 (en) Content output device, content output method, program, program recording medium, and content output integrated circuit
JP2012044646A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011081556A (ja) 情報処理装置、情報処理方法、プログラムおよびサーバ
US8744178B2 (en) Information processing apparatus, information processing method and program
WO2021093623A1 (zh) 一种拼图方法、装置及终端设备
JP2008175994A (ja) 画像表示制御装置、画像表示制御方法およびプログラム
JP2011113270A (ja) 情報処理装置、情報処理方法およびプログラム
US20160342291A1 (en) Electronic apparatus and controlling method thereof
JP2019110353A (ja) マルチメディア再生装置、及び、マルチメディア生成装置
JP5497915B2 (ja) コンテンツ検索方法
WO2012138299A1 (en) A method, system and electronic device for at least one of efficient graphic processing and salient based learning

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090707

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090720

R151 Written notification of patent or utility model registration

Ref document number: 4353259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120807

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130807

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees