JPWO2017002505A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2017002505A1
JPWO2017002505A1 JP2017526225A JP2017526225A JPWO2017002505A1 JP WO2017002505 A1 JPWO2017002505 A1 JP WO2017002505A1 JP 2017526225 A JP2017526225 A JP 2017526225A JP 2017526225 A JP2017526225 A JP 2017526225A JP WO2017002505 A1 JPWO2017002505 A1 JP WO2017002505A1
Authority
JP
Japan
Prior art keywords
images
information processing
display pattern
display
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2017526225A
Other languages
English (en)
Inventor
康之 須木
康之 須木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017002505A1 publication Critical patent/JPWO2017002505A1/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

【課題】ユーザの利便性をより向上させることを可能にする。【解決手段】複数の画像の表示パターンを決定する表示パターン決定部、を備え、前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、情報処理装置を提供する。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
一般的に、写真データに対して、その写真が撮影された撮影場所の位置情報をメタ情報として付加することが広く行われている。例えば、特許文献1には、カメラの内部時計のずれや時差等により写真データと位置情報との関連付けが適切に行われていない場合に、ユーザが容易にその関連付けを修正できるようにするためのUI(User Interface)を提供する技術が開示されている。
特開2009−171269号公報
一方、ユーザが所持する複数の画像データ(例えば写真データ)を自動的に整理、編集するシステムが存在する。このようなシステムにおいて複数の画像データを整理、編集する際に、画像データに関連付けられている位置情報を用いることにより、ユーザにとってより利便性の高いシステムを提供できる可能性がある。
そこで、本開示では、ユーザの利便性をより向上させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、複数の画像の表示パターンを決定する表示パターン決定部、を備え、前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、複数の画像の表示パターンを決定すること、を含み、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、情報処理方法が提供される。
また、本開示によれば、コンピュータに、複数の画像の表示パターンを決定する機能、を実現させ、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、プログラムが提供される。
本開示によれば、複数の画像を表示する際の表示パターンが決定される際に、当該複数の画像(例えばカメラで撮影された写真)にそれぞれ紐付けられた位置情報の散らばりかたに基づいて、当該複数の画像が位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される。当該地図は、画像作成時(写真撮影時)のユーザの移動の履歴を表すものであり得る。従って、画像と地図とが併せて表示されることにより、ユーザ(閲覧者)は、それらの画像の内容はもちろん、それらの画像が作成された状況、例えば旅行中にユーザが立ち寄った場所等も同時に把握することができる。このように、本開示によれば、ユーザにとってより利便性高く、画像が整理、編集され得る。
以上説明したように本開示によれば、ユーザの利便性をより向上させることが可能になる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。 本実施形態に係る表示画面の構成を示す図である。 表示パターンAにおける画像の配置例を示す図である。 表示パターンBにおける画像の配置例を示す図である。 表示パターンCにおける画像の配置例を示す図である。 表示パターンDにおける画像の配置例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 表示パターンBのスクロール時の表示例を示す図である。 ユーザによって画像が選択された際の表示の遷移の一例を示す図である。 本実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。 本実施形態に係る情報処理装置が適用され得るフォトデリバリーサービスの概要を示す図である。 本実施形態に係る情報処理装置がフォトデリバリーサービスに適用された場合のシステムの機能構成を示すブロック図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトデリバリーサービスのセットアップ時に提供されるUIに係る表示画面を示す図である。 配信前のフォトアルバムの確認時に提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がPCである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 情報処理端末がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。 お気に入りの写真についての情報がフィードバックされる際に、送り手に対して提供されるUIに係る表示画面を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 表示パターンBにおける他の表示例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.情報処理装置の構成
2.表示パターンの例
2−1.各表示パターンの全体像
2−2.表示パターンBのスクロール時の表示例
2−3.画像選択時の表示例
3.情報処理方法
4.適用例
4−1.システムの構成
4−2.UIの例
4−2−1.フォトアルバム生成時(送り手側)
4−2−2.フォトアルバム閲覧時(受け手側)
4−2−3.フィードバック時(送り手側)
5.変形例
5−1.表示パターンBにおける他の表示例
5−2.画像抽出処理及び表示パターン決定処理の基準
5−3.スクロール操作
5−4.表示装置
6.ハードウェア構成
7.補足
(1.情報処理装置の構成)
図1を参照して、本開示の一実施形態に係る情報処理装置の構成について説明する。図1は、本実施形態に係る情報処理装置の機能構成の一例を示す機能ブロック図である。
図1を参照すると、本実施形態に係る情報処理装置10は、その機能として、制御部110と、記憶部120と、を備える。また、制御部110は、その機能として、画像データ取得部111と、画像データ抽出部112と、表示パターン決定部113と、表示画面生成部114と、を有する。情報処理装置10は、複数の画像データの中から所定の条件に基づいていくつかの画像データを抽出し、抽出した画像データに係る画像の配置パターンである表示パターンを決定し、決定された表示パターンに従って画像が配置された表示画面を生成する処理を実行する。
なお、以下では、一例として、情報処理装置10によって処理される画像データが写真データである場合について説明する。そのため、以下の説明においては、「画像(データ)を作成する」ことを、「画像(写真)を撮影する」等とも表現する。ただし、本実施形態はかかる例に限定されず、情報処理装置10によって処理される画像データの種類は任意であってよい。
また、実際には情報処理装置10によって処理されるものは「画像データ」(すなわち画像の電子データ)であり、実際にユーザに対して表示される「画像」は、当該画像データに係る画像である。しかし、以下の説明では、記載が冗長になることを避けるために、便宜的に、本来は「画像データに係る画像」を意味する場合であっても、単に「画像」と記載することがある。
制御部110は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Pocessor)、ASIC(Application Specific Integrated Circuit)等の各種のプロセッサによって構成され、所定の演算処理を実行することにより情報処理装置10の動作を制御する制御手段である。制御部110を構成するプロセッサが所定のプログラムに従って動作することにより、上記の各機能が実現される。
画像データ取得部111は、ユーザが所持する複数の画像の電子データ(画像データ)を取得する。当該画像データは、例えばユーザによって撮影された写真データである。
例えば、画像データ取得部111は、ユーザが情報処理装置10内の所定の記憶領域(例えば予め指定されたフォルダ)に格納した画像データを取得する。ただし、本実施形態はかかる例に限定されず、画像データ取得部111は、情報処理装置10の記憶領域を検索することにより情報処理装置10内に保存されているあらゆる画像データを自動的に取得してもよい。
また、画像データ取得部111は、画像データを取得する際に、当該画像データに紐付けられているメタデータも併せて取得する。当該メタデータには、例えば、画像が撮影された場所(すなわち、写真の撮影場所)を示す位置情報や、画像が撮影された日時(すなわち、写真の撮影日時)を示す時刻情報、写真を撮影したカメラの機種を示す機種情報等が含まれ得る。また、機種情報とそのカメラの所持者との関連が予め分かっている場合であれば、当該メタデータには、機種情報に基づいて、画像を撮影した人物(すなわち、写真の撮影者)を示す撮影者情報が含まれていてもよい。その他、当該メタデータには、一般的に写真データのメタデータに含まれている各種の情報が含まれていてよい。
画像データ取得部111は、取得した画像データを画像データ抽出部112に提供する。あるいは、画像データ取得部111は、取得した画像データを記憶部120に格納してもよく、画像データ抽出部112は、記憶部120にアクセスして画像データを取得することにより、後述する処理を実行してもよい。
画像データ抽出部112は、画像データ取得部111によって取得された複数の画像データの中から、所定の条件に基づいて最終的に表示画面に含める(すなわち、最終的にユーザに対して提示される)画像データを抽出する。後述するように、本実施形態では、例えば1ヶ月間等、所定の期間ごとに画像データがまとめられた表示画面が生成される。1つの表示画面には、対応する期間内に取得された画像が所定の表示パターンで配置される。従って、例えば所定の期間に非常に多くの画像データが取得された場合には、その全てが表示画面に配置されると、当該表示画面が煩雑になってしまい、当該表示画面を閲覧するユーザの視認性が低下することが懸念される。
よって、画像データ抽出部112によって所定の数の画像データを抽出し、抽出された画像データに係る画像のみが表示されるようにしているのである。なお、画像データ抽出部112が抽出する画像データの数は、情報処理装置10の設計者やユーザ等によって適宜設定されてよい。例えば、当該画像データの数は、1つの表示画面に配置された場合におけるユーザビリティの観点から、30〜50枚程度が適当であると考えられる。
例えば、画像データ抽出部112は、所定の期間に取得された複数の画像データをイベントごとに分類し、イベントごとに所定の優先度に従って所定の数の画像データを抽出する。ここで、画像データをイベントごとに分類する技術(イベントクラスタリング)としては、例えば撮影場所や撮影時刻に応じて写真データを分類する技術が知られている。イベントクラスタリングとしては、各種の公知の手法が用いられてよいため、ここでは詳細な説明は省略する。例えば、イベントクラスタリングとしては、本願出願人による先行出願である特開2008−250605号公報や特開2011−113270号公報に開示されている方法を用いることができる。
また、イベントごとの画像データの抽出数は、画像データ抽出部112が抽出する全画像データ数を考慮して適宜決定されてよい。例えば、画像データ抽出部112が抽出する全画像データ数が30枚に設定されている場合において、イベントクラスタリングの結果所定の期間に取得された画像データが3つのイベントに分類された場合には、画像データ抽出部112は、均等に、イベントごとに10ずつ画像データを抽出してよい。
ただし、画像データ抽出部112は、イベントごとに重要度を設定してもよく、イベント間の当該重要度に差が存在する場合には、当該重要度に応じた比率でイベントごとに画像データを抽出してよい。例えば、画像データの位置情報に基づいて、それらの画像がユーザの普段の生活範囲から離れた場所で撮影されたものであると推測される場合には、それらの画像は、旅行等、普段の生活とは異なるイベント中に撮影されたものであると考えられるため、その重要度が高く設定され得る。あるいは、イベントごとの画像データの数に基づいて、より多くの数の画像データが属するイベントほど重要度が高いと判断されてもよい。
また、画像データ抽出部112が画像データを抽出する基準となる優先度としては、画像に含まれる人物に応じた優先度が好適に用いられ得る。例えば、画像データ抽出部112は、予めユーザによって指定された人物Xを含む画像ほど優先度が高くなるように各画像データに対して優先度を設定し、当該優先度に従ってイベントごとに画像データを抽出することができる。当該優先度は、例えば下記表1のように設定され得る。
Figure 2017002505
なお、画像に人物Xが含まれているかどうか(写真に人物Xが写っているかどうか)は、顔認識、人物認識等、各種の公知の技術によって行われてよい。また、画像が人物Xの顔であるか、又は全体像であるかは、各種の公知の構図認識技術によって判断されてよい。
ここで、画像データ抽出部112は、同程度の優先度を有する画像データが複数存在する場合であっても、それらの画像の構図が類似している場合には、画像データを抽出する際に、それらの画像データを同一の画像データとみなし、そのうちの一方のみを抽出してもよい。また、その際、画像データ抽出部112は、顔認識技術等を用いて、例えば人物Xがより笑顔である画像等、特定の表情のものを優先的に選択してもよい。
画像データ抽出部112は、抽出した画像データを表示パターン決定部113に提供する。あるいは、画像データ抽出部112は、抽出した画像データを記憶部120に格納してもよく、表示パターン決定部113は記憶部120にアクセスして画像データを取得することにより、後述する処理を実行してもよい。
なお、上記の例では、画像データ抽出部112は、複数の画像データをイベントごとに分類していたが、本実施形態はかかる例に限定されない。画像データ抽出部112は、所定の基準に従ったカテゴリごとに画像データを分類し、当該カテゴリごとに所定の数の画像データを抽出すればよく、当該カテゴリはイベントに限定されない。例えば、画像データ抽出部112は、画像データの時刻情報に基づいて、画像が撮影された日時に応じて、例えば1週間ごと等所定の期間ごとに画像データを分類してもよい。
また、上記の例では、画像データ抽出部112は、画像データを抽出する基準となる優先度として、画像に含まれる人物に基づく優先度を用いていたが、本実施形態はかかる例に限定されない。例えば、画像データ抽出部112は、ユーザによって画像が撮影された時刻(写真が撮影された時刻)やユーザによって画像が撮影された場所(写真が撮影された場所)に基づく優先度を用いて画像データを抽出してもよい。具体的には、画像データ抽出部112は、画像データの時刻情報及び/又は場所情報に基づいて、ユーザによって適宜指定される所定の期間内に撮影された画像や、所定の場所において撮影された画像に対して、より高い優先度を設定し、その優先度に従って画像データを抽出してよい。
表示パターン決定部113は、画像データ抽出部112によって抽出された画像データに係る画像を表示画面に表示する際の表示パターンを決定する。表示パターンは、表示画面における画像の配置のパターンを示すものである。表示パターン上では、例えば画像のサムネイルが、所定のパターンで表示され得る。本実施形態では、複数の表示パターンのひな形が用意されており、表示パターン決定部113は、これら複数の表示パターンのひな形の中から、イベントごとに一の表示パターンを決定する。イベントごとに同一の表示パターンが決定されてもよいし、イベントごとに異なる表示パターンが決定されてもよい。なお、表示パターンの具体例や、表示パターンの決定処理の詳細については、下記(2.表示パターンの例)で後述する。
表示パターン決定部113は、決定したイベントごとの表示パターンについての情報を表示画面生成部114に提供する。あるいは、表示パターン決定部113は、決定したイベントごとの表示パターンについての情報を記憶部120に格納してもよく、表示画面生成部114は記憶部120にアクセスして当該表示パターンについての情報を取得することにより、後述する処理を実行してもよい。
表示画面生成部114は、表示パターン決定部113によって決定されたイベントごとの表示パターンを用いて、最終的にユーザに対して提示される表示画面を生成する。表示画面生成部114によって生成された表示画面についての情報が、情報処理装置10自体が有する表示装置、又はユーザが所持する情報処理端末等に送信され、ユーザに対して提示される。なお、表示画面生成部114は、生成した表示画面についての情報を記憶部120に格納してもよく、上記表示装置や上記情報処理端末等は、記憶部120にアクセスして当該表示画面についての情報を取得することにより、自身への当該表示画面の表示処理を実行してもよい。
ここで、図2を参照して、表示画面生成部114によって生成される表示画面の構成について説明する。図2は、本実施形態に係る表示画面の構成を示す図である。
本実施形態では、画像データ抽出部112によって画像データが抽出された対象である所定の期間に対応して、一の表示画面が生成される。図2では、一例として、当該所定の期間が1ヶ月である場合における表示画面の構成例を示している。
図2に示すように、表示画面は、カバー画像が表示されるカバー画像領域501と、第1の表示パターン(図示する例ではパターンC)で画像が配置された第1の領域503と、第2の表示パターン(図示する例ではパターンA)で画像が配置された第2の領域505と、第3の表示パターン(図示する例ではパターンB)で画像が配置された第3の領域507と、がこの順に連なって構成される。
ここで、第1の表示パターン、第2の表示パターン及び第3の表示パターンは、対象としている期間(すなわち1ヶ月)の間に発生した第1のイベント、第2のイベント及び第3のイベントにそれぞれ対応している。また、これらの表示パターンは、イベントが発生した順に、すなわち時系列順に上から下に向かって並べられる。つまり、表示画面は、全体として、1ヶ月の間に取得された画像が、イベントごとにかつ時系列順に並べられたものであると言える。カバー画像領域501には、表示画面の表題を示すような表示、例えば、その表示画面に対応する期間を示す表示(「2014年8月」等)がなされる。
実際にユーザが表示画面を閲覧する場合には、図2に示す表示画面の全てが1度に提示されなくてもよく、例えばユーザが有する情報処理端末の表示領域に、当該表示画面の上下方向における一部領域のみが表示され、ユーザは、上下方向に表示をスクロールさせながら、表示画面を閲覧することができる。ユーザは、上から順に表示画面を閲覧していくことにより、その期間内に生じたイベントを、時系列に沿って、画像によって視覚的に認識することができる。
なお、図示する例では、1ヶ月間に3つのイベントが発生し、当該3つのイベントに応じて3種類の表示パターンによる3つの表示領域503、505、507によって表示画面が構成されているが、本実施形態はかかる例に限定されない。所定の期間内に生じたイベントの数が異なる場合には、当然、当該イベントの数に応じて表示画面を構成する表示パターンの種類の数は変更され得る。また、必ずしも複数の種類の表示パターンによって表示画面が構成されなくてもよく、1つの種類の表示パターンによって表示画面が構成されてもよい。
また、ユーザが、表示画面生成部114によって自動生成された表示画面を適宜編集できてもよい。例えば、ユーザは、表示画面に含まれる画像を差し替えたり、画像の大きさを変更したりすることができる。
記憶部120は、例えばHDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等の各種の記憶デバイスによって構成され、各種の情報を記憶する記憶手段である。記憶部120には、制御部110が処理する各種の情報、及び制御部110によって処理された結果等が格納され得る。
例えば、記憶部120は、画像データ取得部111によって取得された画像データ、画像データ抽出部112によって抽出された画像データ、表示パターン決定部113によって決定された表示パターンについての情報、及び/又は表示画面生成部114によって生成された表示画面についての情報を記憶する。また、例えば、記憶部120は、画像データ抽出部112が画像データを抽出する際に用いる、画像データの分類の基準や、画像データの抽出の基準等についての情報を記憶する。また、例えば、記憶部120は、表示パターン決定部113が表示パターンを決定する際に用いる、表示パターンのひな形や、表示パターンの決定の基準についての情報を記憶する。
以上、図1を参照して、本実施形態に係る情報処理装置の機能構成について説明した。なお、情報処理装置10は、以上説明した機能を実現可能に構成されればよく、その具体的なハードウェア構成は限定されない。例えば、情報処理装置10は、デスクトップPC(Personal Computer)や、タブレットPC、スマートフォン、ウェアラブルデバイス(例えば、眼鏡型端末、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等)等であり得る。あるいは、情報処理装置10は、ネットワーク上(いわゆるクラウド上)に設置される、演算処理に特化したサーバであってもよい。
また、図1に示す各機能は、必ずしも1台の装置において実行されなくてもよく、複数の装置の協働によって実行されてもよい。例えば、図1に示す情報処理装置10の各機能のうちの一部の機能を有する一の装置が、他の機能を有する他の装置と通信可能に接続されることにより、図示する情報処理装置10と同等の機能が実現されてもよい。
また、図1に示す情報処理装置10、特に制御部110の各機能を実現するためのコンピュータプログラムを作製し、PC等の処理装置に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
(2.表示パターンの例)
(2−1.各表示パターンの全体像)
本実施形態における表示パターンのいくつかの例について説明する。本実施形態では、上述した表示パターン決定部113は、以下に示す表示パターンA〜表示パターンDの中から、所定の条件に従って、一の表示パターンを決定し得る。なお、ここでは、例として、4つの表示パターン(表示パターンA〜表示パターンD)について説明するが、本実施形態はかかる例に限定されず、他の各種の表示パターンが用いられてよい。
(表示パターンA)
図3を参照して、表示パターンAについて説明する。図3は、表示パターンAにおける画像の配置例を示す図である。なお、各表示パターンを示す図3及び後述する図4−図6では、図2に示すカバー画像の具体例も併せて図示している。
図3を参照すると、最上段に配されるカバー画像と、当該カバー画像の下段に表示パターンAに従って配置された画像群が図示されている。カバー画像は、例えば、画像データが抽出された期間を象徴するような代表的な画像と、当該期間を示す表題と、からなる。図示する例では、画像データが抽出された期間は1ヶ月であるため、その月に発生したイベントを表す画像とともに「2014 August」の文字が表示されている。
表示パターンAでは、複数の画像が撮影された日にちごとにまとめられ、かつ、タイル状に敷き詰められるように並べられる。並べられる各画像は、画像データに係る画像そのものであってもよいし、当該画像が編集されたもの(例えば少なくとも所定の人物を含む範囲でトリミングされた画像)であってもよい。あるいは、画像データに係る画像のサムネイル、又は当該サムネイルが編集されたものであってもよい。また、画像群は、上から下に向かって時系列順に並べられている。
なお、他の表示パターン(表示パターンB〜表示パターンD)においても、同様に、表示される画像は、画像データに係る画像そのもの、当該画像が編集されたもの、当該画像のサムネイル、及び当該サムネイルが編集されたもののいずれかであってよい。また、表示パターンA〜表示パターンDにおける各画像の表示の大きさは、上述した画像データ抽出時の優先度に従って、例えば優先度が大きい画像ほどより大きく表示されるように適宜決定されてよい。
ここで、図3では、表示パターンAについて説明するために、便宜的にユーザに対して表示され得る表示の全体を図示しているが、実際にユーザに対して1度に提示される領域(すなわち、ユーザが観察している表示装置に1度に表示される領域)は、その一部であってよい。図3では、一例として、当該ユーザに対して1度に提示される領域を破線で囲って示している。なお、図4−図6でも同様に、他の表示パターン(表示パターンB〜表示パターンD)で配置された画像群について、便宜的にユーザに対して表示され得る表示の全体を図示するとともに、実際にユーザに対して1度に提示される領域を破線で囲って示している。ユーザは、各表示パターンで表示された画像群を観察する際には、表示を上下方向にスクロールさせながら、時系列に沿って当該画像群を観察することができる。
表示パターンAは、例えば抽出された画像の数が所定のしきい値よりも多い場合に好適に採用され得る。表示パターンAでは、比較的多くの画像がユーザに対して提示されることとなるため、ユーザはより多くの画像を見ることができ、イベントの内容をより詳細に知ることができる。
(表示パターンB)
図4を参照して、表示パターンBについて説明する。図4は、表示パターンBにおける画像の配置例を示す図である。なお、カバー画像は図3に示すものと同様であるため、詳細な説明は省略する。
図4を参照すると、表示パターンBでは、画像の撮影場所を含む周辺の地図とともに、複数の画像が配置される。また、これらの画像は、当該地図上における当該画像が撮影された場所と、関連付けて表示され得る。図示する例では、地図上の撮影場所と、当該撮影場所で撮影された画像と、の関連が、両者が線で結ばれることによって表現されている。
画像群の近傍には、当該画像群を撮影した日付が表示される。また、各画像の近傍には、当該画像が撮影された時刻が併せて表示されている。また、画像群は、上から下に向かって時系列順に並べられている。
表示パターンBは、例えばユーザが普段は赴かないような場所で画像が撮影された場合(例えば旅行先で写真が撮影された場合等)に好適に採用され得る。表示パターンBでは、移動の履歴と、その移動中に撮影された写真とが関連付けて表示されるため、表示パターンBは、「移動」に重点が置かれたイベントに適していると考えられるからである。例えば、表示パターンBを用いることにより、移動中における景色の変化を、その撮影場所と関連付けて把握することができる。
例えば、表示パターン決定部113は、画像データの位置情報の散らばりかた(例えば、分散、分布、標準偏差、平均値と最も離れた値との差分、最も東(北)と最も西(南)との値の差分値等の集合値評価)に基づいて、表示パターンBを採用するか否かを決定することができる。例えば、位置情報の散らばりかたがばらついている(分散が大きい)場合には、ユーザが長い距離を移動しながら画像を撮影している場合であると考えられるため、好適に表示パターンBが採用され得る。
具体的には、例えば、情報処理装置10に、画像データとともに、ユーザの行動履歴についての情報が入力されてもよく、表示パターン決定部113は、画像の撮影場所が、当該行動履歴に基づいて推測されるユーザの日常生活の行動範囲から所定のしきい値以上(所定の距離以上)離れている場合に、表示パターンBを採用することができる。ここで、当該行動履歴についての情報は、画像データの位置情報及び時刻情報に基づいて取得されてもよいし、例えばユーザが所持するウェアラブルデバイスが取得した行動ログに基づいて取得されてもよい。
このように、表示パターンBでは、撮影場所と関連付けて画像が表示されるため、ユーザは、例えば旅行先等、場所についての情報とともに画像を見ることができ、画像が撮影された際の状況をより深く認識することができる。
なお、表示パターンBを採用するかどうかの基準となる上記の所定のしきい値は、ユーザの行動履歴に基づいて適宜設定されてよい。例えば、当該しきい値は、行動履歴に基づいて求められる、ユーザが所定の期間内に画像を撮影した場所に行った頻度に応じて、設定されてよい。例えば、ユーザの自宅の近くの公園等であっても、ユーザが当該公園に行った頻度が少ない場合には、当該公園で撮影された画像に対して、表示パターンBが採用されてよい。そして、もしもユーザが当該公園に赴いた頻度が多くなった場合には、当該公園に行くことは、当該ユーザにとっては日常生活の一部となっている可能性があるため、表示パターンBは採用されず、他の表示パターンが採用され得る。
ただし、上記の各場所に赴いた頻度は、所定のタイミングでリセットされてよい。例えば、当該頻度を求めるための上記所定の期間は、現在時点から遡った所定の期間であってよく、随時更新されてよい。従って、例えば、過去のある時期に頻繁に訪れていた場所であって、一旦は表示パターンBの対象外となった場所であっても、1年ぶり等所定の間隔を空けて赴いた場合には、再度当該場所で撮影された画像に対して、表示パターンBが適用されてよい。
ここで、表示パターンA、C、Dでは、図3、図5及び図6にそれぞれ図示する表示の上下方向における一部を抜き出したものが、そのまま、ユーザのスクロール操作に従って連続的に変化して当該ユーザに対して提示され得る。しかしながら、図4に示す表示パターンBに従った表示はあくまで便宜的なものであって、表示パターンBでは、スクロール操作をした際に実際にユーザに対して提示され得る表示は、図4に図示する表示の一部がそのまま抜き出されたものではない。つまり、表示パターンBでは、スクロール操作時に他の表示パターンとは異なる表示の変化が生じる。表示パターンBにおけるスクロール操作時の表示例については、図7A−図7Iを参照して後程詳しく説明する。
(表示パターンC)
図5を参照して、表示パターンCについて説明する。図5は、表示パターンCにおける画像の配置例を示す図である。なお、カバー画像は図3に示すものと同様であるため、詳細な説明は省略する。
図5を参照すると、表示パターンCでは、日にちごとに、当該日にちに撮影された画像のうちのいくつかがまとめられて並べられる。日にちごとの画像は、例えば4〜5枚程度である。各画像は、表示パターンAと比べて比較的大きな領域を占めるように表示され得る。また、画像群は、上から下に向かって時系列順に並べられている。
表示パターンCは、日にちごとに画像がまとめられて並べられる点で、表示パターンAと類似するが、表示される画像数は表示パターンAよりも少ない。このように、表示パターンCは、例えば抽出された画像データの数が所定のしきい値よりも少ない場合に好適に採用され得る。表示パターンCでは、抽出された画像データの数が少ない場合であっても、ユーザに対してイベントの概要を知らせる表示を提供することができる。
なお、その際、画像による情報量の不足を補うために、表示パターンCでは、図示するように、日にちごとに、当該日にちに生じたイベントの内容を示すキャプション(例えば、「XX君の誕生日」、「YY日にZZに遊びに行った」等)が表示されてもよい。当該キャプションは、画像データを情報処理装置10に保存したユーザが入力したものであってもよいし、画像データを解析した結果や、画像データの位置情報、画像データの時刻情報等に基づいて、情報処理装置10が自動的に生成したものであってもよい。
(パターンD)
図6を参照して、表示パターンDについて説明する。図6は、表示パターンDにおける画像の配置例を示す図である。なお、カバー画像は図3に示すものと同様であるため、詳細な説明は省略する。
図6を参照すると、表示パターンDでは、日にちごとに、当該日にちに撮影された画像のうちの1〜3つ程度がまとめられて並べられる。各画像は、表示パターンAと比べて比較的大きな領域を占めるように表示され得る。また、画像群は、上から下に向かって時系列順に並べられている。また、画像群は、上から下に向かって時系列順に並べられている。
表示パターンDでは、各画像間の余白が、表示パターンA及び表示パターンCと比べて比較的大きな領域を占めている。当該余白には、表示パターンCと同様に、日にちごとに、当該日にちに生じたイベントの内容を示すキャプションが表示される。余白が大きい分、表示されるキャプションの数は表示パターンCよりも多い。当該キャプションは、表示パターンCと同様に、ユーザが入力したものであってもよいし、情報処理装置10が自動的に生成したものであってもよい。
表示パターンDは、例えば、抽出された画像の数が極端に少ない場合や、画像抽出時にイベントクラスタリングを行わなかった場合等に、好適に採用され得る。パターンDでは、画像1〜3つ程度に対してキャプションがそれぞれ付されるため、抽出された画像の数が極端に少ない場合や、イベントによる分類が行われなかった場合であっても、ユーザは、当該キャプションによってそれらの画像が撮影された状況を認識することができる。
あるいは、情報処理装置10によってキャプションが自動的に生成される場合には、生成された当該キャプションに対して構文解析等の各種の公知の自然言語処理解析が行われ、当該キャプションの内容が状況の把握のためにユーザにとって有意義であると判断された場合に、表示パターンDが採用されてもよい。
このように、表示パターンDは、キャプションをより積極的に利用し、キャプションと画像とをバランスよく組み合わせてユーザに対して提示することにより、ユーザに対してより有用な情報を提供し得る表示パターンであると言える。
以上、本実施形態における表示パターンのいくつかの例について説明した。本実施形態では、イベントごとに上述した表示パターンA〜表示パターンDのいずれかが選択され、これらの表示パターンが組み合わされることにより、各表示パターンに従った複数の画像が、連続的に表示されることとなる。ここで、一般的なページ区切りのフォトブックや、スライドショーでは、ユーザのスクロール操作に追随して、単純にコンテンツが順次現れるだけである。一方、本実施形態によれば、上記のように、イベントごとのまとまりとして画像が表示され得る。また、表示パターンBのように、画像のメタデータ(写真の場所移動や撮影時間)に合わせた配置や現れ方が実現される。このように、画像の持つ意味に応じた表現がなされることにより、閲覧するユーザに対して一連の画像群のストーリーをより伝えることができる。
なお、上記の例では、1つのイベントに対して1つの表示パターンが決定されていたが、本実施形態はかかる例に限定されない。例えば、長距離の移動をした後にその目的地に数日間滞在するという一連のイベントにおいては、移動中に撮影された写真に対してはその移動中の様子を表すために表示パターンBが適用され、目的地において撮影された写真に対しては当該目的地の様子を表すために表示パターンA〜表示パターンDのいずれかが適用されてよい(後述する(5−2.画像抽出処理及び表示パターン決定処理の基準)も参照)。
(2−2.表示パターンBのスクロール時の表示例)
図7A−図7Iを参照して、表示パターンBのスクロール時の表示例について説明する。図7A−図7Iは、表示パターンBのスクロール時の表示例を示す図である。図7A−図7Iでは、図4に示す表示パターンBにおけるスクロール時の表示の遷移を時系列に沿って順に図示している。
図4に示す表示例では、撮影者は複数の国を移動しながら写真を撮影している。ここでは、表示パターンBにおける当初の表示から1つ目の国で撮影された画像群が表示されるまでと、当該1つ目の国で撮影された画像群の表示から2つ目の国で撮影された画像群の表示に切り替わるまでの表示の遷移の様子について説明する。
表示パターンBでは、まず、撮影場所を含む周辺の地図のみが表示される(図7A)。そして、スクロールするにつれて、日付が表示されるとともに、撮影時刻順に、各画像がそれぞれに定められた所定の大きさになるまで徐々に拡大されながら表示されていく(図7B−図7F)。図7Fは、所定の移動量の分だけスクロール操作が行われ、1つ目の地図に対応付けられている画像が全て所定の大きさで表示された様子を示している。
この状態から更に表示をスクロールしていくと、1つ目の地図、及び当該地図に対応付けられていた画像の表示が徐々に薄れ(図7G)、2つ目の国の地図が背景に表示される(図7H)。そして、更にスクロール操作が行われることにより、2つ目の国の地図に対しても、図7B−図7Fと同様に、画像が撮影された時刻順に、各画像が徐々に拡大されながら表示されていくことになる(図7I)。
以上、図7A−図7Iを参照して、表示パターンBのスクロール時の表示例について説明した。なお、下方向にスクロール操作を行い、時系列順に表示が切り替えられている場合において、途中でユーザが逆方向にスクロール操作を行った場合には、以上説明した表示の遷移とは逆方向に表示が遷移し得る(すなわち、各画像が徐々に小さくなりながら消えるように表示が遷移し得る)。
(2−3.画像選択時の表示例)
以上説明した表示パターンA〜表示パターンDでは、画像のサムネイルや画像が編集されたもの(画像の一部のみがトリミングされたもの)等が表示され得る。本実施形態では、表示パターンA〜表示パターンDのいずれかに従って表示された画像を見ているユーザが、これらの画像のうち、詳細に見たい画像を選択することにより、当該画像がフルサイズで表示され得る。
図8は、ユーザによって画像が選択された際の表示の遷移の一例を示す図である。図8に示すように、ユーザによって画像が選択された場合には、選択された画像が拡大され、かつ、トリミングされていた部分が復旧されて、当該画像の全体像が、ユーザによって視認される表示領域の全域に表示され得る。このようにして、ユーザは、表示パターンA〜表示パターンDのいずれかに従って表示された画像の中から、気になった画像を適宜選択することにより、当該画像の全体像を観察することができる。
(3.情報処理方法)
図9を参照して、本実施形態に係る情報処理方法の処理手順について説明する。図9は、本実施形態に係る情報処理方法の処理手順の一例を示すフロー図である。なお、図9に示す各ステップにおける処理は、図1に示す情報処理装置10において実行される処理に対応する。情報処理装置10において実行される処理の詳細については図1を参照して既に説明しているため、以下の本実施形態に係る情報処理方法についての説明では、各ステップにおける処理についての概要のみを記載し、各処理の詳細については説明を省略する。
図9を参照すると、本実施形態に係る情報処理方法では、まず、画像データが取得される(ステップS101)。ステップS101における処理は、図1に示す画像データ取得部111によって実行される処理に対応している。
次に、取得された画像データの中から、表示画面に含める画像データが抽出される(ステップS103)。例えば、ステップS103における処理では、イベントクラスタリングによって画像データが分類され、イベントごとに所定の優先度に従って所定の数の画像データが抽出される。ステップS103における処理は、図1に示す画像データ抽出部112によって実行される処理に対応している。
以降のステップS105〜ステップS117における処理は、表示パターン決定部113によって実行される処理に対応している。ステップS105では、ステップS103における画像データ抽出時にイベントクラスタリングを実行しているかどうかが判断される。イベントクラスタリングが実行されていない場合には、表示パターンとして表示パターンDが決定される(ステップS107)。なお、上記(2.表示パターンの例)で説明したように、表示パターンDが採用される判断基準は、イベントクラスタリングを実行したか否かに限定されず、自動生成されたキャプションの内容や、抽出された画像の枚数等であってもよい。
一方、ステップS105においてイベントクラスタリングが実行されていると判断された場合には、ステップS109に進む。ステップS109では、抽出された画像データの位置情報の分散の大きさが所定のしきい値以上かどうかが判断される。位置情報の分散の大きさが所定のしきい値以上である場合には、抽出された画像は互いに大きく離れた場所で撮影されたものであると考えられるため、抽出された画像データの中に、例えば旅行先等、ユーザの日常生活の行動範囲とは離れた場所で撮影された画像データが含まれている可能性が高い。従って、この場合には、表示パターンとして表示パターンBが決定される(ステップS111)。
一方、ステップS109において位置情報の分散の大きさが所定のしきい値よりも小さいと判断された場合には、ステップS113に進む。ステップS113では、抽出された画像データの数が所定のしきい値以上かどうかが判断される。当該しきい値は、例えば「10」である。ただし、本実施形態はかかる例に限定されず、当該しきい値は、表示パターンA及び表示パターンCにおける具体的な画像の配置を考慮して、情報処理装置10の設計者又はユーザ等によって適宜設定されてよい。
抽出された画像データの数が所定のしきい値以上である場合には、表示パターンとして表示パターンAが決定される(ステップS115)。抽出された画像データの数が所定のしきい値よりも少ない場合には、表示パターンとして表示パターンCが決定される(ステップS117)。
ステップS105においてイベントクラスタリングが行われ、イベントごとに画像データが抽出されている場合には、イベントごとにステップS109〜ステップS117における処理が行われ、イベントごとに表示パターンが決定される。
ステップS107、ステップS111、ステップS115又はステップS117において(イベントごとの)表示パターンが決定されたら、ステップS119に進む。ステップS119では、決定された表示パターンを用いて表示画面が生成される。具体的には、ステップS119では、決定された各表示パターンに従って画像が配置された領域を時系列に従って上から下に向かって並べることにより、各表示パターンに従って画像群が連続的に配された表示画面が生成される。もちろん、1種類の表示パターンのみに従って配置された画像群によって、表示画面が構成されてもよい。なお、ステップS119における処理は、図1に示す表示画面生成部114によって実行される処理に対応している。
以上、図9を参照して、本実施形態に係る情報処理方法の処理手順について説明した。
(4.適用例)
以上説明した本実施形態に係る情報処理装置10の適用例について説明する。例えば、情報処理装置10は、一のユーザによって保存された画像(写真等)を自動的に整理、編集し、編集された画像集(写真であればアルバム)を、他のユーザに対して配信するサービス(以下、画像データが写真データであるものをフォトデリバリーサービスと呼称する)に、好適に適用され得る。以下では、情報処理装置10がフォトデリバリーサービスに適用された場合における、システムの構成や、当該フォトデリバリーサービスを利用時にユーザに対して提供されるUIについて具体的に説明する。
(4−1.システムの構成)
図10及び図11を参照して、本実施形態に係る情報処理装置10がフォトデリバリーサービスに適用された場合のシステムの構成について説明する。図10は、本実施形態に係る情報処理装置10が適用され得るフォトデリバリーサービスの概要を示す図である。図11は、本実施形態に係る情報処理装置10がフォトデリバリーサービスに適用された場合のシステムの機能構成を示すブロック図である。
まず、図10を参照して、本実施形態に係る情報処理装置10が適用され得るフォトデリバリーサービスの概要について説明する。図10に示すように、フォトデリバリーサービスでは、一のユーザがスマートフォン、デジタルカメラ等によって写真を撮影し、例えばネットワーク上のサーバに保存する。当該サーバは、上述した情報処理装置10に対応するものであり、保存された写真を適宜編集し、例えば1ヶ月ごとに写真がまとめられたフォトアルバム(上述した表示画面生成部114が生成する表示画面に対応する)を生成する。サーバは、生成したフォトアルバム(すなわち、表示画面についての情報)を他のユーザに配信する。当該他のユーザは、例えばPCやスマートフォン、タブレット、ネットワーク接続機能を有するテレビジョン装置等を用いて、フォトアルバムを閲覧することができる。
このように、当該フォトデリバリーサービスによれば、例えば1ヶ月に1回等、定期的に、一のユーザが撮影した写真が編集されたフォトアルバムが他のユーザに対して配信される。以下の説明では、写真を撮影してサーバに保存するユーザのことを送り手とも呼称し、フォトアルバムが配信されるユーザのことを受け手とも呼称する。
また、フォトデリバリーサービスには、閲覧した写真の中から受け手が選択したお気に入りの写真が、送り手に対して通知される機能が備えられてもよい。当該機能によれば、フォトアルバムを閲覧した受け手の反応を送り手が知ることができるので、送り手は、次回配信時のフォトアルバムを生成するための写真を撮影する際に、受け手の反応を参考にして写真を撮影することができる。
また、受け手が選択したお気に入りの写真についての情報が、次回に配信されるフォトアルバムの生成時に反映されてもよい。例えば、次回に配信されるフォトアルバムを生成する際に、お気に入りの写真に含まれる人物を含む写真が優先的に抽出されてもよい。
フォトデリバリーサービスの典型的な利用例としては、互いに離れた場所に住む家族間での利用が想定される。例えば、祖父母と、その子ども夫婦及び孫と、が互いに離れて住んでいる場合に、送り手である子ども夫婦が、普段の生活の中で撮影した自身の子ども(すなわち、祖父母から見た孫)の写真や自分たち家族の生活を表す写真を、サーバに保存する。受け手である祖父母は、定期的に配信されるフォトアルバムを閲覧することにより、離れて暮らす子ども夫婦や孫たちの様子を確認することができる。
また、例えば、祖父母がフォトアルバムを閲覧した際に、孫の写真がお気に入りの写真として選択された場合には、当該内容を示す通知が子ども夫婦に対して通知され得る。当該通知を受け取った子ども夫婦は、次回配信時のフォトアルバムにはより多くの孫の写真が含まれるように、これからの撮影において孫の写真をより多く撮影する等の対応を取ることができる。これにより、祖父母は、次のフォトアルバムにおいて、より多くの孫の写真を閲覧することができる。
次に、図11を参照して、本実施形態に係る情報処理装置10がフォトデリバリーサービスに適用された場合のシステムの機能構成について説明する。図11を参照すると、システム1は、情報処理装置10aと、送り手側の情報処理端末20と、受け手側の情報処理端末30と、から構成される。
情報処理端末20、30は、例えばデスクトップPCや、タブレットPC、スマートフォン、ウェアラブルデバイス等である。ただし、情報処理端末20、30の種類はかかる例に限定されず、情報処理端末20、30は、ネットワークとの接続機能、及び写真を表示するための表示機能を少なくとも有すればよく、どのような種類の装置であってもよい。つまり、図示は省略するが、情報処理端末20、30は、情報処理装置10aと各種の情報をやり取りするための通信部や、各種の情報を視覚的に表示するための表示部、当該表示部の動作を制御する表示制御部等の機能を有する。これらの機能は、一般的な既存の情報処理端末に備えられる機能と同様であってよいため、ここではその詳細な説明を省略する。
送り手は、情報処理端末20を介して、写真データを情報処理装置10aに保存する(送信する)。なお、情報処理端末20自体がカメラを有していてもよく、送り手は、情報処理端末20によって撮影した写真をそのまま情報処理装置10に送信してもよい。
また、送り手は、情報処理装置10aによって生成されたフォトアルバムを情報処理端末20を介して閲覧することができる。この際、配信前のフォトアルバムについては、送り手は、例えば写真を差し替える等、情報処理端末20を介して当該フォトアルバムを編集することができてもよい。
受け手は、情報処理端末30を介して、定期的に配信されるフォトアルバムを閲覧する。また、受け手は、情報処理端末30を介して、フォトアルバムの中からお気に入りの写真を選択し、その結果を情報処理装置10aに対してフィードバック(FB)することができる。
なお、お気に入りの写真の選択は、例えばフォトアルバムにお気に入りの写真を選択する機能が設けられており、送り手によって明示的に行われてもよい。この場合には、例えば写真を5段階で評価する等、お気に入りの度合いを定量的に選択することができてもよい。
あるいは、お気に入りの写真の選択は、フォトアルバムを閲覧している受け手の行動に応じて自動的に検出されてもよい。例えば、フォトアルバムを閲覧している最中に写真が選択されたか否か(すなわち、フルサイズで写真が閲覧されたか否か)や、フォトアルバムのスクロールが停止され情報処理端末30の表示領域に所定の時間以上写真が表示されたか否か等に応じて、情報処理端末30がお気に入りの写真を自動的に選択することができる。また、情報処理端末30に受け手の視線の検出機能が設けられていてもよく、情報処理端末30は、フォトアルバムにおいて所定の時間以上受け手の視線が集中された写真をお気に入りの写真として自動的に選択してもよい。情報処理端末30がお気に入りの写真を自動的に選択する場合には、例えば写真が選択された回数、写真が表示されていた時間、写真に対して視線が向かっていた時間等に基づいて、お気に入りの度合いが定量的に評価されてもよい。
情報処理装置10aは、図1を参照して説明した情報処理装置10に対応するものである。情報処理装置10aは、送り手側の情報処理端末20から写真データを受信し、フォトアルバムを生成する。そして、情報処理装置10aは、生成したフォトアルバムを受け手側の情報処理端末30に対して配信する。また、情報処理装置10aは、受け手側の情報処理端末30からお気に入りの写真についてのFBの結果を受信し、当該FBの結果を送り手側の情報処理端末20に対して通知することができる。
なお、情報処理装置10aは、図1を参照して説明した情報処理装置10に対して、後述するFB取得部115の機能が追加されたものに対応する。従って、以下の情報処理装置10aの機能構成についての説明では、既に説明した機能についてはその詳細な説明を省略し、上述した情報処理装置10と相違する事項について主に説明する。
情報処理装置10aは、その機能として、制御部110aと、記憶部120と、を備える。また、制御部110aは、その機能として、画像データ取得部111と、画像データ抽出部112と、表示パターン決定部113と、表示画面生成部114と、FB取得部115と、を有する。
記憶部120、画像データ取得部111、画像データ抽出部112、表示パターン決定部113及び表示画面生成部114の機能は、情報処理装置10におけるこれらの機能と略同様である。ただし、情報処理装置10aでは、画像データ取得部111は情報処理端末20から写真データを受信し、表示画面生成部114は情報処理端末30に対して生成した表示画面についての情報(すなわち、フォトアルバムについての情報)を送信する。また、表示パターン決定部113及び表示画面生成部114は、後述するお気に入りの写真についての情報を送り手に通知するためのフォトアルバムを生成する。
FB取得部115は、情報処理端末30から、フォトアルバムの中から選択されたお気に入りの写真についての情報を取得する。お気に入りの写真の検出は、上述した手順によって情報処理端末30によって適宜実行され得る。
FB取得部115は、お気に入りの写真についての情報を、画像データ抽出部112、表示パターン決定部113及び表示画面生成部114に提供する。画像データ抽出部112は、お気に入りの写真についての情報に基づいて、次回に配信されるフォトアルバムを生成するための写真データを抽出する際の判定基準を変更することができる。例えば、画像データ抽出部112は、お気に入りの写真に含まれる人物が写っている写真データがより多く抽出されるように、写真データを抽出する際の判定基準を変更する。
また、表示パターン決定部113及び表示画面生成部114は、お気に入りの写真についての情報に基づいて、配信済みのフォトアルバムを修正し、送り手への通知用のフォトアルバムを新たに生成することができる。例えば、表示パターン決定部113及び表示画面生成部114は、フォトアルバム内の、受け手によって選択されたお気に入りの写真を強調表示する。当該強調表示は、例えば、お気に入りの写真を他の写真よりも大きく表示する又はお気に入りの写真に枠を付与する、等であり得る。
また、FB取得部115は、お気に入りの写真についての情報を送り手側の情報処理端末20に送信する。例えば、FB取得部115は、表示パターン決定部113及び表示画面生成部114によって生成された通知用のフォトアルバムを情報処理端末20に配信する。当該通知用のフォトアルバムを閲覧した送り手は、例えば強調表示された写真を確認することにより、受け手が気に入った写真を容易に確認することができる。
以上、システム1の構成について説明した。
(4−2.UIの例)
図12−図24を参照して、以上説明したシステム1において送り手及び受け手に対して提供されるUIの例について説明する。図12−図18及び図24は、送り手に対して提供されるUIに係る表示画面、すなわち、情報処理端末20に表示され得る表示画面を表している。また、図19−図23は、受け手に対して提供されるUIに係る表示画面、すなわち、情報処理端末30に表示され得る表示画面を表している。これらの各種のUIに係る表示画面は、情報処理装置10aによって生成され、情報処理端末20、30に送信されることにより、情報処理端末20、30の表示部を介してユーザに対して表示され得る。
(4−2−1.フォトアルバム生成時(送り手側))
(セットアップ時)
図12−図16は、フォトデリバリーサービスのセットアップ時に送り手に対して提供されるUIに係る表示画面を示す図である。ここでは、一例として、情報処理端末20がPCである場合における表示例について図示している。情報処理端末20がPCである場合には、送り手が、例えばマウスを用いてポインタ等によって表示領域内のGUI(Graphical User Interface)部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。なお、セットアップ時には、送り手によって、既に、撮り溜めた写真データが情報処理装置10aに随時保存されているとする。
システム1を利用する際には、まず、図12に示すように、送り手に対してフォトデリバリーサービスの概要を示す画面が表示される。送り手が「開始」を示すアイコンをクリックすると、図13に示すような、配信に係る各種の情報を入力する画面に遷移する。送り手は、当該表示画面を介して、例えば、配信元を示す名前(家族の名前)、配信先の電子メールのアドレス、配信日等の情報を入力することができる。
送り手が「次のページに進む」旨を示すアイコンをクリックすると、図14に示すような、フォトアルバムに含める人物を選択する画面に遷移する。当該画面では、その人物の顔を示す代表的な写真が表示されるとともに、その人物の名前を入力するための入力欄が表示される。当該顔写真は、例えば、情報処理装置10aによって、保存されている写真の中から、顔認識処理及び人物認識処理によって抽出されたものである。送り手は、写真に応じて適宜名前を入力し、顔と名前とを対応付ける。
送り手が名前の入力が終了した旨のアイコン(「OK」を示すアイコン)をクリックすると、図15に示すような、顔と名前とのより詳細な対応付けを行う画面に遷移する。当該画面では、例えば、図14に示す表示画面において名前を入力した人物のうちの1人の人物(図示する例では「たろう」)について、情報処理装置10aが当該人物を表す写真であると判断した顔写真の候補が複数表示され得る。送り手は、これらの写真の中から、該当する人物を表す写真を選択する。情報処理装置10aによる顔認識処理及び人物認識処理が、必ずしも高精度に行われるとは限らないため、このような詳細な対応付けが行われることにより、その後、指定した人物を含むように写真データを抽出する処理において、当該処理の精度を向上させることができる。
送り手が写真の選択が終了した旨のアイコン(「確定」を示すアイコン)をクリックすると、図16に示すような、フォトアルバムに含める人物をより詳細に選択する画面に遷移する。当該画面では、送り手は、フォトアルバムに含める写真データを抽出する際に主に抽出する人物、及び当該主に抽出する人物に関係する人物を選択することができる。
以上でセットアップが終了する。図16に示す表示画面における選択結果に応じて、情報処理装置10aの画像データ抽出部112が、優先度を設定し、当該優先度に従って写真データを抽出する。以降、表示パターン決定部113及び表示画面生成部114が、上述した処理を実行し、フォトアルバムが生成されることとなる。
ここで、情報処理端末20はPCでなくてもよく、例えばスマートフォン等のタッチパネルを有するデバイスであってもよい。情報処理端末20がタッチパネルを有するデバイスである場合には、送り手が、例えば指等の操作体を用いて表示領域内のGUI部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。
図17にその一例を示す。図17は、情報処理端末20がタッチパネルを有するデバイスである場合において、フォトデリバリーサービスのセットアップ時に提供されるUIに係る表示画面を示す図である。なお、図17では、一例として、情報処理端末20がスマートフォンである場合における表示を示している。
図17に示す表示画面は、ユーザによる選択操作がマウスによるクリック操作から指によるタップ操作に変更されること以外は、図12−図16に示した、情報処理端末20がPCである場合における表示画面と略同一である。
すなわち、図17に示すように、セットアップ時には、まず、フォトデリバリーサービスの概要を説明する画面(図12に示す表示画面に対応する)が表示される((a))。次いで、配信に係る各種の情報を入力する画面(図13に示す表示画面に対応する)が表示される((c))。なお、図12−図16では図示を省略していたが、配信に係る各種の情報を入力する画面に遷移する前に、図17に示すように、送り手をフォトデリバリーサービスに紐付けるサインインのための画面が表示されてもよい((b))。
配信に係る各種の情報の入力が終了すると、フォトアルバムに含める人物を選択する画面(図16に示す表示画面に対応する)に遷移する((d))。なお、図17では図示を省略しているが、図14及び図15に示すような、顔写真と名前とを対応付けるための画面が適宜表示されてもよい。
(フォトアルバム確認時)
システム1では、情報処理装置10aによってフォトアルバムが生成された際に、当該フォトアルバムが配信される前に、送り手がその内容を確認可能な機能が設けられていてもよい。図18は、このような配信前のフォトアルバムの確認時に提供されるUIに係る表示画面を示す図である。ここでは、一例として、情報処理端末20がタッチパネルを有するデバイス(具体的にはスマートフォン)である場合における表示例について図示しているが、情報処理端末20がPCである場合であっても、送り手による操作方法が異なるだけで同様の画面が表示されてよい。
図18を参照すると、例えば、フォトアルバムが生成された旨の情報及びフォトアルバムの配信までの日数を示す情報が、情報処理端末20に対して通知される((a))。当該通知がなされるタイミングは、例えば配信日の1週間前又は前日等、送り手によって適宜設定可能であってよい。
送り手は、フォトデリバリーサービスにサインインし、生成されたフォトアルバムを確認するために、月ごとに生成されたフォトアルバムの表題のリストが表示された画面にアクセスすることができる((b))。図示する例では、リストの最上段の「2014 August」に示されるフォトアルバムは配信前であり、リスト上に配信日までの日数が表示されている。送り手が、当該リストをスクロールし、当該リストの中から内容を確認したいフォトアルバムの表題を選択することにより、対応するフォトアルバムの内容が表示され得る。
例えば、配信前のフォトアルバムを確認するために、送り手が「2014 August」を選択したとする。この場合には、図示するように、2014年8月のフォトアルバムが表示される((c))。送り手は、上下方向に表示をスクロールさせながら、当該フォトアルバムの内容を閲覧し、確認することができる。
また、当該画面において、送り手は、フォトアルバムを適宜編集することができる。例えば、フォトアルバムに含まれる写真を選択することにより、当該写真を編集するためのアイコン509が表示される((d))。例えば、図示するように、選択された矩形の写真の4隅に、トリミング、削除、明度の変更、回転等を示すアイコン509がそれぞれ表示され得る。送り手は、これらのアイコン509を適宜選択することにより、その写真を削除して代わりに他の写真を含めたり、その写真に対する各種の編集処理(例えば、トリミングの範囲を変更や、明度の変更、回転等)を行ったりすることができる。なお、アイコンの種類(すなわち、写真に対する編集処理の種類)はかかる例に限定されず、一般的に写真を編集する際に行われる各種の処理が実行可能であってよい。
送り手によってフォトアルバムが編集された場合には、その編集内容が反映されたフォトアルバムが最新のフォトアルバムとして情報処理装置10aに保存される。そして、設定された配信日に、当該最新のフォトアルバムが受け手に対して配信されることとなる。
以上、フォトアルバムの生成時において送り手に対して提供されるUIについて説明した。
(4−2−2.フォトアルバム閲覧時(受け手側))
図19及び図20は、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。ここでは、一例として、情報処理端末30がPCである場合における表示例について図示している。情報処理端末30がPCである場合には、受け手が、例えばマウスを用いてポインタ等によって表示領域内のGUI部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。
フォトアルバムが配信されると、例えば当該フォトアルバムが配信された旨の電子メールが、情報処理装置10aから受け手側の情報処理端末30に対して送信される。当該電子メールの本文には、例えばリンクが貼付されており、受け手が当該リンクを選択することにより、フォトアルバムを閲覧するためのブラウザが立ち上がる。
図19は、ブラウザが立ち上がり、情報処理端末30の表示画面にフォトアルバムが表示された様子を示している。受け手は、上下方向に表示をスクロールさせながら、当該フォトアルバムの内容を閲覧し、確認することができる。受け手が当該フォトアルバム内の写真のうちの1つを選択すると、図20に示すように、その選択された写真が拡大されてフルサイズで表示される。
ここで、情報処理端末30はPCでなくてもよく、例えばタブレットPC等のタッチパネルを有するデバイスであってもよい。情報処理端末30がタッチパネルを有するデバイスである場合には、受け手が、例えば指等の操作体を用いて表示領域内のGUI部品を選択することにより各種の操作が行われることを想定したUIが提供され得る。
図21−図23にその一例を示す。図21−図23は、情報処理端末30がタッチパネルを有するデバイスである場合において、フォトアルバムの閲覧時に受け手に対して提供されるUIに係る表示画面を示す図である。なお、図21−図23では、一例として、情報処理端末30がタブレットPCである場合における表示を示している。
図21−図23に示す表示画面は、ユーザによる操作がマウスによる操作から指等によるタッチパネルを介した操作に変更されること以外は、図19及び図20に示した、情報処理端末30がPCである場合における表示画面と略同一である。
すなわち、例えば、受け手が、フォトアルバムの配信を通知する電子メールに含まれるリンクを選択することにより、フォトアルバムを閲覧するためのブラウザが立ち上がる。上記のPCの場合には図示を省略していたが、ブラウザが立ち上がり、フォトアルバムを閲覧するための画面が情報処理端末30に表示される際には、まず、図21に示すように、月ごとに生成されたフォトアルバムの表題のリストを示す画面が表示されてもよい。受け手が、当該リストをスクロールし、当該リストの中から内容を確認したいフォトアルバムの表題を選択することにより、対応するフォトアルバムの内容が表示され得る。
例えば、受け手が「2014 August」を選択したとする。この場合には、図22に示すように、2014年8月のフォトアルバム(図19に示す表示画面に対応する)が表示される。受け手は、上下方向に表示をスクロールさせながら、当該フォトアルバムの内容を閲覧し、確認することができる。また、受け手が当該フォトアルバム内の写真のうちの1つを選択すると、図23に示すように、その選択された写真が拡大されてフルサイズで表示される(図20に示す表示画面に対応する)。
以上、フォトアルバムの閲覧時に受け手に対して提供されるUIについて説明した。
(4−2−3.フィードバック時(送り手側))
上述したように、システム1では、受け手がフォトアルバムを閲覧した際に、手動で又は自動的に受け手のお気に入りの写真が検出され、当該お気に入りの写真についての情報が送り手に対してフィードバックされる機能が設けられていてもよい。図24は、お気に入りの写真についての情報がフィードバックされる際に、送り手に対して提供されるUIに係る表示画面を示す図である。なお、図24では、一例として、情報処理端末20がスマートフォンである場合における表示を示しているが、情報処理端末20がPCである場合であっても、送り手による操作方法が異なるだけで同様の画面が表示されてよい。
受け手がフォトアルバムを閲覧すると、例えば、図24に示すように、受け手がフォトアルバムを閲覧した旨の情報が、送り手側の情報処理端末20に対して通知される((a))。当該通知を示すアイコンを選択すると、フォトアルバムを閲覧するためのブラウザが立ち上がり、例えば月ごとに生成されたフォトアルバムの表題のリストが表示された画面が表示される((b))。送り手は、当該リストをスクロールし、当該リストの中から、閲覧したいフォトアルバムを選択することができる。
例えば、送り手が、最新のフォトアルバムである「2014 August」を選択すると、2014年8月のフォトアルバムが表示される((c))。送り手は、スクロール表示させながら、当該フォトアルバムを閲覧することができる。ここで、当該フォトアルバムでは、受け手のお気に入りの写真が強調表示されている。図示する例では、お気に入りの写真が、他の写真よりも大きく表示されるとともに、枠が付されて(太線によって囲まれて)表示されている。フォトアルバムを閲覧した送り手は、当該強調表示を参照することにより、受け手が気に入った写真を確認することができる。このように、フォトアルバムを閲覧した受け手から何らかのFBがあった場合に、送り手も同様にフォトアルバムを閲覧していくことにより、どの写真にどのような反応があったのか、受け手のアクションを追体験するように確認することができる。
以上、お気に入りの写真のフィードバック時に送り手に対して提供されるUIについて説明した。
(5.変形例)
以上説明した実施形態におけるいくつかの変形例について説明する。
(5−1.表示パターンBにおける他の表示例)
図25−図30を参照して、表示パターンBにおける他の表示例について説明する。図25−図30は、表示パターンBにおける他の表示例を示す図である。上述した図4に示す表示例では、表示パターンBでは、地図上の撮影場所と、当該撮影場所で撮影された画像と、の関連が、両者が線で結ばれることによって表現されていた。ただし、表示パターンBはかかる例に限定されない。
例えば、図25に示すように、地図上の撮影場所に対応する位置に、画像が直接表示されてもよい。当該表示例によれば、図4に示すように線で結ばれて関連が示される場合に比べて、表示画面を閲覧しているユーザは、より直感的に、撮影場所と画像との結び付きを把握することができる。
また、この場合、図26に示すように、地図上に撮影者の移動経路が併せて表示されてもよい。当該移動経路は、例えば、情報処理装置10、10aが画像データの位置情報を撮影時刻順につなぎ合わせることによって作成されてもよいし、ユーザが所持するウェアラブルデバイスや写真を撮影したデバイス自体の位置情報の履歴を情報処理装置10、10aが取得することにより、当該位置情報の履歴に基づいて作成されてもよい。また、図27に示すように、撮影場所と画像との関連が両者が線で結ばれることによって表現される場合においても、地図上に撮影者の移動経路が併せて表示されてもよい。移動経路が併せて表示されることにより、表示パターンを閲覧しているユーザは、各画像とともに撮影者の移動の軌跡を認識することができる。
なお、図25−図27に示すように拡大された地図上に画像群が表示される場合には、最新の画像(すなわち表示されている画像の中で最も遅い時刻に撮影された画像)が表示領域内の略中心に位置するように、背景の地図が動いて表示されてもよい。これにより、表示パターンを閲覧しているユーザは、撮影者の移動の軌跡をより直感的に認識することができる。また、その際には、図26及び図27に示すように、移動経路が併せて表示されると、移動に応じた地図の変化が、閲覧しているユーザにとってとり把握しやすくなる。
ここで、表示パターンBでは、図7A−図7Iを参照して説明したように、上下方向のスクロール操作によって表示が順次切り換わるが、他の表示パターンとは異なり表示が単純に上下方向に移動する訳ではないため、必ずしもスクロール操作の方向と表示の変化の方向とが連動していない。従って、ユーザによっては操作に違和感を覚える可能性がある。そこで、表示パターンBでは、スクロール操作に連動して画像が移動するように、その表示が制御されてもよい。これにより、ユーザは、スクロール操作をしている感覚を視覚的にも得ることができ、ユーザの操作性を向上させることができる。
図28は、このようなスクロール操作に連動して画像が移動する場合の一表示例を示している。図28では、一例として、表示全体を上方向に送るようなスクロール操作に応じて、あたかも慣性力が働いているかのように、スクロール操作の方向に抵抗するように画像が下方向に揺れるように僅かに移動する様子を図示している。ただし、画像の移動を表示する方法はかかる例に限定されず、ユーザにスクロール操作を行っていることが実感され得るような方法であれば、画像の移動はどのように表現されてもよい。
また、スクロール操作時のユーザの操作性を向上させる他の表示方法として、図29に示すように、表示パターン内に現在閲覧している部分が表示パターン全体の中のどの位置に当たるかを示すインジケータ511が表示されてもよい。図示する例では、複数の丸が上下方向に並べられて表示されるとともに、現在閲覧している部分に対応する丸が他の丸よりも大きく表示されるように、インジケータ511が構成されている。
なお、インジケータ511の丸の数は、表示パターン上に配置される画像の数と対応していてもよい。そして、例えば図7A−図7Iに示すように画像が徐々に拡大されながら表示される場合には、各画像の拡大と連動して、各画像に対応する丸が拡大されてもよい。この場合には、画像が拡大表示される順番、すなわち時系列順に対応して、各画像に対応する丸が上から下に向かって並べられ得る。つまり、画像が順次拡大表示されていくのにつれて、インジケータ511において拡大表示される丸の位置が上から下に向かって移動していくこととなる。
なお、インジケータ511はかかる例に限定されず、他の形状であってもよい。図30には、インジケータ511の他の表示例を示している。図30に示すように、インジケータ511は、例えば、複数の丸が上下方向に並べられて表示されるとともに、その表示の中を他の丸が、あたかも液滴が移動するかのように、スクロール操作に連動して上下方向に移動して表示されるように、構成されてもよい((a))。あるいは、例えば、インジケータ511は、複数の丸が上下方向に並べられるとともにそれらの丸が直線によって接続されて表示され、現在閲覧している部分に対応する丸が他の丸よりも大きく表示されるように、構成されてもよい((b))。その他、一般的にスクロール表示の際にインジケータとして用いられているあらゆる表示が、インジケータ511に適用されてよい。
ここで、上記のように、表示パターンBでは、必ずしもスクロール操作の方向と表示の変化の方向とが連動しないため、ユーザにとっては、スクロール表示の終点(表示パターンの最も下端)が分かり難いという問題も生じ得る。上述したインジケータ511を設けることにより、このような終点が分かり難いという問題も解消し得る。なお、インジケータ511とともに、又はインジケータ511に代えて、スクロール表示の終点をユーザに対して知らせるUIが提供されてもよい。当該UIとしては、例えば、スクロール表示が終点に達した場合に下端を光って表示させる、スクロール表示が終点に達した場合に跳ね返るように表示全体を移動させる(いわゆるバウンスバック)等、一般的にスクロール表示が終点を通知するために用いられている各種のUIが用いられてよい。
(5−2.画像抽出処理及び表示パターン決定処理の基準)
画像データ抽出部112が画像データを抽出する際の基準、及び表示パターン決定部113が表示パターンを決定する際の基準は、上記実施形態で記載したものに限定されない。画像データ抽出部112及び表示パターン決定部113は、ユーザの行動履歴や、過去に取得された画像データの履歴、受け手によるFBの結果等を総合的に勘案して、抽出する画像や表示パターンを決定することができる。
例えば、情報処理装置10、10aでは、ユーザの行動履歴及び/又は画像データの履歴に基づいて、ユーザが普段どこで画像を多く取得しているか、ユーザが画像を撮影した場所に赴いた頻度、過去に同じ場所で同様の画像が撮影されているかどうか、1つのイベント内で撮影された画像の数、自宅からのユーザの移動距離、1つのイベント内でのユーザの移動距離、1つのイベント内での画像の撮影場所の密集度、1つのイベント内での画像の撮影時刻の間隔等が分析され得る。
例えば、表示パターン決定部113は、位置情報の散らばりかただけではなく、当該分析結果も加味して、ユーザが日常生活の行動範囲からかなり遠くの場所まで行っていること(すなわち、旅行に行っていること)を推定し、表示パターンとして表示パターンBを決定することができる。
また、例えば、表示パターン決定部113は、上記分析結果に基づいて、対象としている画像群がユーザがサイクリングに行ったときに撮影された画像群等、「移動」を目的としたイベントにおいて撮影された画像群であると推定される場合には、当該画像群に対して、表示パターンBを採用する。このような「移動」を目的としたイベントでは、移動中の景色の変化を見たいという要望があると考えられるため、地図と画像とが関連付けて表示される表示パターンBが好適に採用され得るのである。なお、この際、例えばサイクリング中であっても、観光地に立ち寄って画像を撮影した場合等、所定の地点で多くの画像が撮影されている場合(所定の地点での画像の撮影場所の密集度が大きい場合)には、図4に示すようにその撮影場所から伸びる線と画像とを結び付けて両者の関連付けを示したり、地図が拡大されて表示されたり等、画像の視認性を向上するためのレイアウト上の種々の工夫がなされてよい。
また、例えば、表示パターン決定部113は、上記分析結果に基づいて、対象としている画像群がユーザが工作教室に参加したときに撮影された画像群等、移動後の場所での「行動」を目的としたイベントにおいて撮影された画像群であると推定される場合には、当該画像群に対して、表示パターンDを採用する。このような「行動」を目的としたイベントでは、どのような場所かを示す画像ではなく、「行動」の様子や結果を示す画像(上記の例であれば工作の様子や作成された工作物を示す画像)を見たいという要望があると考えられるため、画像が比較的大きく表示されるとともに、これらの画像のキャプションが表示され得る表示パターンDが好適に採用され得るのである。
また、例えば、表示パターン決定部113は、上記分析結果に基づいて、対象としている画像群が、目的地まで移動している最中において、及び目的地において、それぞれ同程度撮影された画像群である場合(例えば、自宅から祖父母の家に向かった場合等)には、当該画像群に対して、表示パターンB及び表示パターンDが組み合わされたものを採用する。例えば、表示パターン決定部113は、自宅から目的地に移動している間に撮影された画像に対しては、移動の履歴と画像とを関連付けるために、表示パターンBを採用する。そして、表示パターン決定部113は、目的地において撮影された画像に対しては、当該目的地の様子をより詳細に示すために、表示パターンCを採用する。
また、画像データ抽出部112は、上記分析結果に基づいて、過去に同じ場所で同様の画像が撮影されている場合には、当該画像データを抽出の対象としないようにすることができる。
あるいは、画像データ抽出部112及び表示パターン決定部113は、受け手によるFBの結果に基づいて、お気に入りの画像と類似する画像を抽出する割合を増やしたり、当該お気に入りと選択された画像と類似する画像が表示パターン内に表示される大きさを他の画像よりも大きくしたりすることができる。
(5−3.スクロール操作)
本実施形態においては、表示画面を閲覧する際のスクロール操作を行うための方法は一意に限定されず、各種の方法によって行われてよい。例えば、情報処理端末20、30が、マウスによって操作入力を行うものである場合には、ポインタによるインジケータバーの移動、マウスのホイールの回転等によって、スクロール操作が行われてよい。また、例えば、情報処理端末20、30が、タッチパネルによって操作入力を行うものである場合には、上下方向へのドラッグ操作等によって、スクロール操作が行われてよい。また、例えば、情報処理端末20、30が、十字キー等の方向を指示し得る入力デバイスを有する場合には、当該入力デバイスを介して、スクロール操作が行われてよい。
あるいは、情報処理端末20、30にユーザの視線検出機能が設けられている場合には、ユーザが視線を上下方向に移動させることによってスクロール操作が行われてもよい。また、情報処理端末20、30にユーザの動きを検出する機能が設けられている場合には、ユーザがジェスチャを行うことによってスクロール操作が行われてもよい。また、情報処理端末20、30にジャイロセンサ等を用いて自身の傾きを検出する機能が設けられている場合には、ユーザが情報処理端末20、30を傾ける動作を行うことによってスクロール操作が行われてもよい。
更に、表示画面のスクロール表示は、必ずしもユーザのスクロール操作に応じて行われなくてもよく、表示画面が自動的に所定の速度でスクロール表示されてもよい。この場合には、ユーザは、例えばマウスのクリックやタッチパネルへのタップ操作等、適当な操作により、任意のタイミングでスクロール表示を停止することができてもよい。
(5−4.表示装置)
本実施形態では、情報処理端末20、30における情報の表示方法、特に表示画面(フォトアルバム)の表示方法は、一意に限定されず、各種の表示方法が用いられてよい。例えば、情報処理端末20、30は、ディスプレイ装置を有し、当該ディスプレイ装置の表示画面にフォトアルバム等の各種の情報を表示してよい。当該ディスプレイ装置としては、例えばCRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、EL(Electroluminescence)ディスプレイ装置等、各種の公知のディスプレイ装置が用いられてよい。
あるいは、情報処理端末20、30は、プロジェクター装置を有し、当該プロジェクター装置によってスクリーン又は壁面等にフォトアルバム等の各種の情報を投影して表示してもよい。
あるいは、情報処理端末20、30は、テーブルトップのインタラクティブシステムと組み合わされてもよく、フォトアルバム等の各種の情報をテーブルトップに表示してもよい。テーブルトップのインタラクティブシステムとは、例えばテーブルの天面に上方から映像を投影するとともに、当該天面上でのユーザの手の動き等をセンサによって検出することにより、ユーザが、当該天面上に表示された仮想的なオブジェクトに対して直接各種の操作を実行可能なシステムである。例えば、テーブルトップに表示されたフォトアルバムに対する直接的なジェスチャ(例えば表示されたフォトアルバムの上で、手をフォトアルバムの上下方向に沿って動かす動作等)によって、フォトアルバムのスクロール操作が行われ得る。
あるいは、情報処理端末20、30は、AR(Augmented Reality)技術を用いて、現実の空間上にフォトアルバム等の各種の情報をオーバーレイ表示してもよい。例えば、情報処理端末20、30は、周囲を撮影可能なカメラとディスプレイ装置を有し、当該カメラによって撮影した周囲の空間をそのディスプレイ装置の表示画面に表示するとともに、当該表示画面にフォトアルバム等をオーバーレイ表示する。あるいは、情報処理端末20、30は、眼鏡型のウェアラブルデバイスや、透過型のHMDであってよく、その表示面にフォトアルバム等を表示することにより、ユーザが当該表示面を介して直接観察している周囲の空間上に当該フォトアルバム等をオーバーレイ表示してもよい。
また、AR技術を用いて空間上にフォトアルバム等がオーバーレイ表示される場合には、当該空間内でのユーザの手等の動きがセンサによって検出され、例えばオーバーレイ表示されている仮想的なオブジェクトに対して、ユーザが直接各種の操作を実行可能であってよい。例えば、空間上に表示されたフォトアルバムに対する直接的なジェスチャ(例えば表示されたフォトアルバムの上で、手をフォトアルバムの上下方向に沿って動かす動作等)によって、フォトアルバムのスクロール操作が行われ得る。
(6.ハードウェア構成)
図31を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図31は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図31に示す情報処理装置900は、図1に示す情報処理装置10、図11に示す情報処理装置10a、及び図11に示す情報処理端末20、30を実現し得るものである。
情報処理装置900は、CPU901、ROM(Read Only Memory)903及びRAM(Random Access Memory)905を備える。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、通信装置921、ドライブ923及び接続ポート925を備えてもよい。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体929に記録された各種のプログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行時のパラメータ等を一次記憶する。CPU901、ROM903及びRAM905は、CPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。本実施形態では、例えばCPU901が所定のプログラムに従って動作することにより、上述した情報処理装置10、10a及び情報処理端末20、30の各機能が実現され得る。CPU901は、図1及び図11に示す制御部110、110aに対応し得るものである。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等、ユーザによって操作される装置によって構成される。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器931であってもよい。更に、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。本実施形態では、ユーザによって、入力装置915を介して、例えば、表示画面(フォトアルバム)を閲覧するためのスクロール操作等が行われ得る。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。本実施形態では、当該表示装置に、例えば表示画面(フォトアルバム)が表示され得る。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。本実施形態では、ストレージ装置919は、図1及び図11に示す記憶部120に対応し得るものである。
通信装置921は、例えば、ネットワーク927に接続するための通信デバイス等で構成された通信インターフェースである。通信装置921は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置921は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置921は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置921に接続されるネットワーク927は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。本実施形態では、例えば、情報処理装置10、10a及び情報処理端末20、30が、通信装置921によって、ネットワーク927を介して互いに通信可能に接続され得る。
ドライブ923は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ923は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体929に記録されている情報を読み出して、RAM905に出力する。また、ドライブ923は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体929に情報を書き込むことも可能である。リムーバブル記録媒体929は、例えば、DVDメディア、HD−DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体929は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体929は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。本実施形態では、CPU901によって処理される各種の情報が、ドライブ923によって、リムーバブル記録媒体929から読み出されたり、リムーバブル記録媒体929に書き込まれたりしてもよい。
接続ポート925は、機器を情報処理装置900に直接接続するためのポートである。接続ポート925の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート及びSCSI(Small Computer System Interface)ポート等がある。接続ポート925の別の例として、RS−232Cポート、光オーディオ端子及びHDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート925に外部接続機器931を接続することで、情報処理装置900は、外部接続機器931から直接各種のデータを取得したり、外部接続機器931に各種のデータを提供したりする。本実施形態では、CPU901によって処理される各種の情報が、接続ポート925を介して、外部接続機器931から取得されたり、外部接続機器931に出力されたりしてもよい。
なお、図示は省略するが、情報処理装置900には、カメラ(撮像装置)及び/又はセンサが更に設けられてもよい。情報処理装置900では、当該カメラによって撮影された写真に基づいて、フォトアルバムが生成され得る。また、当該センサは、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ、GPS(Global Positioning System)センサ等の各種のセンサであってよい。情報処理装置900では、これらのセンサによる検出値に基づいて、ユーザの行動履歴が取得されたり、スクロール操作が行われたりしてよい。
以上、本実施形態に係る情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
(7.補足)
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的なものではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
例えば、上記実施形態では、表示パターンBにおいて表示される地図は、例えば旅行先の地図等、ユーザが行った場所に係る地図であったが、本技術はかかる例に限定されない。例えば、複数の画像(写真)は、内視鏡によって撮影されたものであり、当該地図は、当該内視鏡による写真の撮影場所を示す人体の地図であってもよい。この場合には、患者の体腔内の場所と、当該場所で撮影された写真とが関連付けて表示され得るため、医師又は患者自身が内視鏡による検査結果を参照する際に、両者の関係性を直感的に把握することができ、検査結果の確認がより容易になる。なお、当該内視鏡は、いわゆるカプセル内視鏡であってもよい。
また、上述したシステム1は、受け手の様子(健康状態)をモニタするために用いられてもよい。例えば、システム1に、受け手が配信されたフォトアルバムを閲覧した際に、その閲覧した旨の通知が送り手に対してなされる機能が搭載されていてよい。例えば、送り手が息子夫婦であり、受け手が祖父母である場合に、フォトアルバムが配信されたにもかかわらず、送り手の下に上記通知が届かない場合には、受け手がフォトアルバムを確認していない可能性があり、受け手の身に何か異常が発生している恐れがある。このように、システム1は、離れて暮らす高齢者に対する、いわゆる「見守りシステム」として機能してもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)複数の画像の表示パターンを決定する表示パターン決定部、を備え、前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、情報処理装置。
(2)前記表示パターン決定部は、前記複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、前記(1)に記載の情報処理装置。
(3)前記表示パターン決定部は、前記位置情報の散らばりかたが所定の基準よりもばらついていると判断されることに応じて、前記複数の画像が地図とともに配置された表示パターンを決定する、前記(2)に記載の情報処理装置。
(4)前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が取得された場所を示す位置情報であり、前記表示パターン決定部は、前記複数の画像を作成したユーザの行動履歴に基づいて、前記所定の基準を決定する、前記(3)に記載の情報処理装置。
(5)前記表示パターン決定部は、前記行動履歴に基づいて求められるユーザが所定の期間内に前記複数の画像を作成した場所に行った頻度に応じて、当該頻度が少ない場所で取得された前記複数の画像に対して前記地図とともに配置される表示パターンが決定されるように、前記所定の基準を決定する、前記(4)に記載の情報処理装置。
(6)ユーザが前記複数の画像を作成した場所に行った頻度を求める際の前記所定の期間は、現在時点から遡った所定の期間であり、随時更新される、前記(5)に記載の情報処理装置。
(7)前記表示パターン決定部は、前記行動履歴に基づいて推定されるユーザの日常生活での行動範囲に対応する値を、前記所定の基準として決定する、前記(4)に記載の情報処理装置。
(8)前記複数の画像が地図とともに配置された表示パターンでは、前記複数の画像は、前記地図上における前記複数の画像の各々の前記位置情報に対応する場所とそれぞれ関連付けて配置される、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記複数の画像は、前記地図上の前記位置情報に対応する場所上にそれぞれ配置される、前記(8)に記載の情報処理装置。
(10)前記複数の画像は、前記地図上の前記位置情報に対応する場所とそれぞれ線によって結ばれて表示される、前記(8)に記載の情報処理装置。
(11)前記複数の画像が地図とともに配置された表示パターンに係る表示がスクロールされる際に、前記複数の画像が、前記複数の画像にそれぞれ紐付けられた時刻情報に基づいて、スクロールに応じて時系列に沿って順次表示される、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)前記複数の画像がスクロールに応じて順次表示される際に、直近で表示された前記画像の前記位置情報に対応する場所が、ユーザが閲覧している表示領域の略中央に位置するように、前記地図の表示が変化する、前記(11)に記載の情報処理装置。
(13)前記スクロールの進捗具合を示すインジケータが併せて表示される、前記(11)又は(12)に記載の情報処理装置。
(14)前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が作成された場所を示す位置情報であり、前記地図上に、前記複数の画像が作成された際のユーザの移動経路が表示される、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記複数の画像は写真であり、前記複数の画像にそれぞれ紐付けられた位置情報は前記写真の撮影場所を示す位置情報であり、前記複数の画像にそれぞれ紐付けられた時刻情報は前記写真の撮影時刻を示す時刻情報である、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)前記複数の画像が所定の基準に従ったカテゴリに分類され、前記表示パターン決定部は、前記カテゴリごとに前記表示パターンを決定する、前記(2)〜(15)のいずれか1項に記載の情報処理装置。
(17)前記表示パターン決定部によって決定された前記カテゴリごとの前記表示パターンを組み合わせることにより、前記複数の画像が前記カテゴリごとにかつ時系列順に並べられた表示画面を生成する表示画面生成部、を更に備える、前記(16)に記載の情報処理装置。
(18)前記カテゴリの分類は、イベントクラスタリングによって行われる、前記(16)又は(17)に記載の情報処理装置。
(19)プロセッサが、複数の画像の表示パターンを決定すること、を含み、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、情報処理方法。
(20)コンピュータに、複数の画像の表示パターンを決定する機能、を実現させ、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、プログラム。
1 システム
10、10a 情報処理装置
20、30 情報処理端末
110、110a 制御部
111 画像データ取得部
112 画像データ抽出部
113 表示パターン決定部
114 表示画面生成部
115 FB取得部
120 記憶部

Claims (20)

  1. 複数の画像の表示パターンを決定する表示パターン決定部、
    を備え、
    前記表示パターン決定部は、前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、
    情報処理装置。
  2. 前記表示パターン決定部は、前記複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンを決定する、
    請求項1に記載の情報処理装置。
  3. 前記表示パターン決定部は、前記位置情報の散らばりかたが所定の基準よりもばらついていると判断されることに応じて、前記複数の画像が地図とともに配置された表示パターンを決定する、
    請求項2に記載の情報処理装置。
  4. 前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が取得された場所を示す位置情報であり、
    前記表示パターン決定部は、前記複数の画像を作成したユーザの行動履歴に基づいて、前記所定の基準を決定する、
    請求項3に記載の情報処理装置。
  5. 前記表示パターン決定部は、前記行動履歴に基づいて求められるユーザが所定の期間内に前記複数の画像を作成した場所に行った頻度に応じて、当該頻度が少ない場所で取得された前記複数の画像に対して前記地図とともに配置される表示パターンが決定されるように、前記所定の基準を決定する、
    請求項4に記載の情報処理装置。
  6. ユーザが前記複数の画像を作成した場所に行った頻度を求める際の前記所定の期間は、現在時点から遡った所定の期間であり、随時更新される、
    請求項5に記載の情報処理装置。
  7. 前記表示パターン決定部は、前記行動履歴に基づいて推定されるユーザの日常生活での行動範囲に対応する値を、前記所定の基準として決定する、
    請求項4に記載の情報処理装置。
  8. 前記複数の画像が地図とともに配置された表示パターンでは、前記複数の画像は、前記地図上における前記複数の画像の各々の前記位置情報に対応する場所とそれぞれ関連付けて配置される、
    請求項1に記載の情報処理装置。
  9. 前記複数の画像は、前記地図上の前記位置情報に対応する場所上にそれぞれ配置される、
    請求項8に記載の情報処理装置。
  10. 前記複数の画像は、前記地図上の前記位置情報に対応する場所とそれぞれ線によって結ばれて表示される、
    請求項8に記載の情報処理装置。
  11. 前記複数の画像が地図とともに配置された表示パターンに係る表示がスクロールされる際に、前記複数の画像が、前記複数の画像にそれぞれ紐付けられた時刻情報に基づいて、スクロールに応じて時系列に沿って順次表示される、
    請求項1に記載の情報処理装置。
  12. 前記複数の画像がスクロールに応じて順次表示される際に、直近で表示された前記画像の前記位置情報に対応する場所が、ユーザが閲覧している表示領域の略中央に位置するように、前記地図の表示が変化する、
    請求項11に記載の情報処理装置。
  13. 前記スクロールの進捗具合を示すインジケータが併せて表示される、
    請求項11に記載の情報処理装置。
  14. 前記複数の画像にそれぞれ紐付けられた位置情報は、前記複数の画像が作成された場所を示す位置情報であり、
    前記地図上に、前記複数の画像が作成された際のユーザの移動経路が表示される、
    請求項1に記載の情報処理装置。
  15. 前記複数の画像は写真であり、前記複数の画像にそれぞれ紐付けられた位置情報は前記写真の撮影場所を示す位置情報であり、前記複数の画像にそれぞれ紐付けられた時刻情報は前記写真の撮影時刻を示す時刻情報である、
    請求項1に記載の情報処理装置。
  16. 前記複数の画像が所定の基準に従ったカテゴリに分類され、
    前記表示パターン決定部は、前記カテゴリごとに前記表示パターンを決定する、
    請求項2に記載の情報処理装置。
  17. 前記表示パターン決定部によって決定された前記カテゴリごとの前記表示パターンを組み合わせることにより、前記複数の画像が前記カテゴリごとにかつ時系列順に並べられた表示画面を生成する表示画面生成部、を更に備える、
    請求項16に記載の情報処理装置。
  18. 前記カテゴリの分類は、イベントクラスタリングによって行われる、
    請求項16に記載の情報処理装置。
  19. プロセッサが、複数の画像の表示パターンを決定すること、
    を含み、
    前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、
    情報処理方法。
  20. コンピュータに、
    複数の画像の表示パターンを決定する機能、
    を実現させ、
    前記複数の画像のそれぞれに紐付けられた位置情報を含む、複数の位置情報の散らばりかたに基づいて、前記複数の画像が前記位置情報に対応する場所を含む地図とともに配置された表示パターンが決定される、
    プログラム。
JP2017526225A 2015-06-30 2016-05-31 情報処理装置、情報処理方法及びプログラム Abandoned JPWO2017002505A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015131362 2015-06-30
JP2015131362 2015-06-30
PCT/JP2016/065999 WO2017002505A1 (ja) 2015-06-30 2016-05-31 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2017002505A1 true JPWO2017002505A1 (ja) 2018-04-19

Family

ID=57609502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017526225A Abandoned JPWO2017002505A1 (ja) 2015-06-30 2016-05-31 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20180181281A1 (ja)
JP (1) JPWO2017002505A1 (ja)
WO (1) WO2017002505A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
JP6470356B2 (ja) * 2017-07-21 2019-02-13 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
JP7057382B2 (ja) * 2018-02-08 2022-04-19 富士フイルム株式会社 電子アルバム装置とその作動方法および作動プログラム
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos
JP7091267B2 (ja) * 2019-02-13 2022-06-27 ヤフー株式会社 重要点検出装置、重要点検出方法、及び重要点検出プログラム
JP7336211B2 (ja) * 2019-02-28 2023-08-31 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
US10445915B1 (en) 2019-04-09 2019-10-15 Coupang Corp. Systems and methods for efficient management and modification of images
US11520465B2 (en) * 2019-05-06 2022-12-06 Apple Inc. Curated media library
JP7277275B2 (ja) * 2019-06-13 2023-05-18 キヤノン株式会社 プログラム、情報処理装置、および情報処理方法
JP7372061B2 (ja) * 2019-07-01 2023-10-31 株式会社日立製作所 遠隔作業支援システム
US11675475B2 (en) * 2019-07-09 2023-06-13 Rovi Guides, Inc. System and methods to denote unshared content to be shared
JP2021145203A (ja) * 2020-03-11 2021-09-24 キヤノン株式会社 画像処理装置

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3906938B2 (ja) * 1997-02-18 2007-04-18 富士フイルム株式会社 画像再生方法及び画像データ管理方法
JP4433236B2 (ja) * 1999-12-03 2010-03-17 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム記録媒体
US7970240B1 (en) * 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003216621A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd プログラム、画像管理装置、及び画像管理方法
US7194527B2 (en) * 2002-06-18 2007-03-20 Microsoft Corporation Media variations browser
EP1751690B1 (en) * 2004-02-04 2018-10-03 Digimarc Corporation Digital watermarking image signals on-chip and photographic travel logs through digital watermarking
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US20070070233A1 (en) * 2005-09-28 2007-03-29 Patterson Raul D System and method for correlating captured images with their site locations on maps
US7617246B2 (en) * 2006-02-21 2009-11-10 Geopeg, Inc. System and method for geo-coding user generated content
US9507778B2 (en) * 2006-05-19 2016-11-29 Yahoo! Inc. Summarization of media object collections
JP2007322847A (ja) * 2006-06-02 2007-12-13 Fujifilm Corp 画像表示方法及び装置並びにプログラム
US7945848B2 (en) * 2006-06-21 2011-05-17 Microsoft Corporation Dynamically modifying a theme-based media presentation
JP4775179B2 (ja) * 2006-08-28 2011-09-21 ソニー株式会社 表示のスクロール方法、表示装置および表示プログラム
WO2008044605A1 (fr) * 2006-10-04 2008-04-17 Nikon Corporation Appareil électronique et caméra électronique associée
US7792868B2 (en) * 2006-11-10 2010-09-07 Microsoft Corporation Data object linking and browsing tool
JP5007336B2 (ja) * 2007-05-30 2012-08-22 株式会社ナビタイムジャパン 地図表示システム、地図表示装置および地図表示方法
JP4752827B2 (ja) * 2007-09-04 2011-08-17 ソニー株式会社 地図情報表示装置、地図情報表示方法、及びプログラム
JP5186903B2 (ja) * 2007-11-30 2013-04-24 ソニー株式会社 地図表示装置と地図表示方法および撮像装置
US8212784B2 (en) * 2007-12-13 2012-07-03 Microsoft Corporation Selection and display of media associated with a geographic area based on gesture input
US8832119B2 (en) * 2008-06-12 2014-09-09 Fuji Xerox Co., Ltd. Systems and methods for organizing files in a graph-based layout
US20100017704A1 (en) * 2008-07-18 2010-01-21 Yahoo! Inc. Dynamic content layout
US9032320B2 (en) * 2008-09-08 2015-05-12 Disney Enterprises, Inc. Time and location based GUI for accessing media
WO2010047843A1 (en) * 2008-10-26 2010-04-29 Hewlett-Packard Development Company, L.P. Arranging images into pages using content-based filtering and theme-based clustering
US20100171763A1 (en) * 2009-01-05 2010-07-08 Apple Inc. Organizing Digital Images Based on Locations of Capture
US8321395B2 (en) * 2009-08-26 2012-11-27 Apple Inc. Associating digital images with waypoints
US8839131B2 (en) * 2009-08-26 2014-09-16 Apple Inc. Tracking device movement and captured images
JP2011054075A (ja) * 2009-09-04 2011-03-17 Olympus Imaging Corp 画像制御装置およびプログラム
JP5054753B2 (ja) * 2009-12-03 2012-10-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US8271497B2 (en) * 2009-12-03 2012-09-18 Sony Computer Entertainment Inc. Information processing apparatus and information processing method outputting information on movement of person
KR101604843B1 (ko) * 2009-12-30 2016-03-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8843855B2 (en) * 2010-01-25 2014-09-23 Linx Systems, Inc. Displaying maps of measured events
EP2369531A1 (en) * 2010-03-03 2011-09-28 HTC Corporation Method, system, apparatus and computer program product for browsing spot information
US8988456B2 (en) * 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
JP5615023B2 (ja) * 2010-04-13 2014-10-29 キヤノン株式会社 表示制御装置及び表示制御方法
KR20110139375A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치
JP2012008069A (ja) * 2010-06-28 2012-01-12 Sharp Corp 位置表示装置、位置表示方法及び位置表示プログラム
US8326327B2 (en) * 2010-08-27 2012-12-04 Research In Motion Limited System and method for determining action spot locations relative to the location of a mobile device
US8584015B2 (en) * 2010-10-19 2013-11-12 Apple Inc. Presenting media content items using geographical data
US8736442B2 (en) * 2011-06-08 2014-05-27 Apple Inc. Automatic identification and storage of frequently visited locations
US9946429B2 (en) * 2011-06-17 2018-04-17 Microsoft Technology Licensing, Llc Hierarchical, zoomable presentations of media sets
US20120327257A1 (en) * 2011-06-24 2012-12-27 O'keefe Brian Joseph Photo product using images from different locations
US9336240B2 (en) * 2011-07-15 2016-05-10 Apple Inc. Geo-tagging digital images
US9074901B1 (en) * 2011-09-22 2015-07-07 Google Inc. System and method for automatically generating an electronic journal
JP5978610B2 (ja) * 2011-12-09 2016-08-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5932354B2 (ja) * 2012-01-20 2016-06-08 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP5921233B2 (ja) * 2012-02-06 2016-05-24 キヤノン株式会社 画像管理装置及びその制御方法、並びにプログラム
US9547668B2 (en) * 2012-10-29 2017-01-17 Dropbox, Inc. Event-based content item view
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
KR102045957B1 (ko) * 2013-01-18 2019-11-18 삼성전자 주식회사 휴대단말의 촬영 방법 및 장치
US9047847B2 (en) * 2013-02-05 2015-06-02 Facebook, Inc. Displaying clusters of media items on a map using representative media items
US9413837B2 (en) * 2013-02-06 2016-08-09 Facebook, Inc. Routine deviation notification
US20140317511A1 (en) * 2013-04-18 2014-10-23 Google Inc. Systems and Methods for Generating Photographic Tours of Geographic Locations
JP2015069313A (ja) * 2013-09-27 2015-04-13 株式会社日立ソリューションズ東日本 電子アルバム装置
US11170037B2 (en) * 2014-06-11 2021-11-09 Kodak Alaris Inc. Method for creating view-based representations from multimedia collections
US20160125062A1 (en) * 2014-10-30 2016-05-05 Futurewei Technologies, Inc. Multi-scale timeling photograph album management with incremental spectral photograph clustering
US9851870B2 (en) * 2015-03-17 2017-12-26 Raytheon Company Multi-dimensional video navigation system and method using interactive map paths

Also Published As

Publication number Publication date
WO2017002505A1 (ja) 2017-01-05
US20180181281A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
WO2017002505A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11227446B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
EP3844598B1 (en) Video clip object tracking
CN109684491B (zh) 用于检索上下文相关媒体内容的用户界面
US11941223B2 (en) User interfaces for retrieving contextually relevant media content
CN104885048B (zh) 用于管理数字内容项的系统和方法
US11775165B2 (en) 3D cutout image modification
JP6628115B2 (ja) マルチメディアファイル管理方法、電子デバイス、およびコンピュータプログラム。
US20230215117A1 (en) 3d captions with semantic graphical elements
US20230143275A1 (en) Software clipboard
CN116671121A (zh) 用于多视频片段捕获的ar内容
US11671696B2 (en) User interfaces for managing visual content in media
US9940512B2 (en) Digital image processing apparatus and system and control method thereof
US20230229279A1 (en) User interfaces for managing visual content in media
US11962561B2 (en) Immersive message management
AU2022261717B2 (en) User interfaces for managing visual content in media
US20240161425A1 (en) 3d captions with semantic graphical elements

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190524

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200525