JP2014203164A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ユーザの利便性を向上させることが可能な情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】実施形態の情報処理装置は、第１画像取得部と第１情報取得部と受付部と生成部と書込部とを備える。第１画像取得部は、撮像部による撮像で得られる第１画像を取得する。第１情報取得部は、第１画像に対応付け可能な複数の情報のうちの何れかを取得する。受付部は、第１入力を受け付ける。生成部は、受付部で第１入力を受け付けた場合、第１画像取得部で取得された第１画像と、第１情報取得部で取得された情報とを対応付けて対応データを生成する。書込部は、対応データを記憶部に書き込む。
【選択図】図２

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。

従来、現実世界における被写体（撮像対象）を撮像して得られた撮像画像に対して、仮想情報を重畳して表示する技術が知られている。

例えば、端末装置の位置や角度に基づいて撮像対象を特定し、その撮像対象に対して予め対応付けられた仮想情報を、撮像画像に重畳して表示する技術が知られている。

特開２０１１−２４２８１６号公報

しかしながら、従来においては、撮像対象と仮想情報との対応関係は予め固定されたものであり、例えば様々な撮像対象を撮像しながら、撮像画像と仮想情報とを対応付けた対応データを自由に登録していくことが可能な仕組みは存在しなかった。このため、ユーザの利便性が低いという問題がある。

本発明が解決しようとする課題は、ユーザの利便性を向上させることが可能な情報処理装置、情報処理方法およびプログラムを提供することである。

実施形態の情報処理装置は、第１画像取得部と第１情報取得部と受付部と生成部と書込部とを備える。第１画像取得部は、撮像部による撮像で得られる第１画像を取得する。第１情報取得部は、第１画像に対応付け可能な複数の情報のうちの何れかを取得する。受付部は、第１入力を受け付ける。生成部は、受付部で第１入力を受け付けた場合、第１画像取得部で取得された第１画像と、第１情報取得部で取得された情報とを対応付けて対応データを生成する。書込部は、対応データを記憶部に書き込む。

第１実施形態に係る情報処理システムの構成例を示す図。 第１実施形態に係る登録装置の機能構成例を示す図。 第１実施形態に係る画面の表示例を示す図。 第１実施形態に係る画面の表示例を示す図。 第１実施形態に係る画面の表示例を示す図。 第１実施形態に係る登録装置の動作例を示すフローチャート。 第１実施形態に係るサーバ装置の構成例を示す図。 第１実施形態に係る第１記憶部に記憶されたデータを模式的に示す図。 第１実施形態に係る端末装置の機能構成例を示す図。 第１実施形態に係る端末装置の動作例を示すフローチャート。 変形例に係る画面の表示例を示す図。 第２実施形態に係る情報処理装置の機能構成例を示す図。 第２実施形態に係る情報処理装置の動作例を示すフローチャート。 第２実施形態に係る情報処理装置の動作例を示すフローチャート。 変形例に係る情報処理装置の機能構成例を示す図。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理方法、および、プログラムの実施の形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態に係る情報処理システム１の概略構成例を示す図である。図１に示すように、情報処理システム１は、登録装置１０と、サーバ装置２０と、端末装置３０とを含む。図１の例では、サーバ装置２０は、ネットワークを介して、登録装置１０および端末装置３０の各々と接続される。なお、ここでは、説明の便宜上、情報処理システム１に含まれる端末装置３０の数が１つである場合を例に挙げて説明するが、これに限らず、情報処理システム１に含まれる端末装置３０の数は任意である。

まず、登録装置１０の具体的な内容を説明する。図２は、登録装置１０の機能構成例を示す図である。登録装置１０は、撮像対象（被写体）を撮像する機能と、タッチパネル機能とを備えた携帯型の情報処理装置で構成され、請求項の「情報処理装置」に対応している。この例では、登録装置１０には、不図示のカメラ（請求項の「撮像部」の一例）と、不図示のタッチパネルディスプレイとが搭載されている。なお、本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。

図２に示すように、登録装置１０は、カメラ制御部１１と、第１表示部１２と、第１画像取得部１３と、第１情報取得部１４と、受付部１５と、生成部１６と、書込部１７とを有する。

登録装置１０に搭載されたカメラの使用を開始すると、カメラ制御部１１は、所定の周期で、レンズが向けられた撮像対象を撮像する制御を繰り返す。第１表示部１２は、カメラによる撮像が行われるたびに、その撮像で得られる撮像画像（以下の説明では、「第１画像」と呼ぶ場合がある）を、登録装置１０に搭載されたタッチパネルディスプレイに表示する制御を行う。登録装置１０に搭載されたタッチパネルディスプレイは、各種の情報が表示される領域（以下の説明では、「画面」と呼ぶ）を有しており、その画面上には、カメラによる撮像で得られた第１画像が表示される。この例では、カメラのレンズを向ける撮像対象を切り替えると（カメラが搭載された登録装置１０をかざす対象を切り替えると）、それに応じて、画面に表示される第１画像も切り替わることになる。

また、本実施形態では、第１表示部１２は、第１画像に対応付け可能な（紐付け可能な）複数のコンテンツを、画面上に表示する制御を行う。ここでは、コンテンツとは、画像（映像）、音声、テキスト、リンク先を示すＵＲＬ（アドレス情報）のうちの少なくとも１つを含む情報を指し、請求項の「情報」に対応している。後述するように、本実施形態では、コンテンツは、サーバ装置２０に格納されており、第１表示部１２は、サーバ装置２０にアクセスして、第１画像に対応付け可能な複数のコンテンツを取得する。そして、第１表示部１２は、取得した複数のコンテンツ（コンテンツに対応するアイコン画像でもよい）を画面に表示する制御を行う。

図３は、本実施形態における画面の表示例を模式的に示す図である。図３に示すように、画面は、第１画像が表示される画像領域４０と、複数のコンテンツが表示されるコンテンツ領域５０とを有する。この例では、画像領域４０は請求項の「画像領域」に対応し、コンテンツ領域５０は請求項の「情報領域」に対応している。

図２に戻って説明を続ける。第１画像取得部１３は、第１画像を取得する機能を有する。本実施形態では、第１画像取得部１３は、受付部１５からの指示に従って、画面に表示される第１画像を取得する機能を有する。

第１情報取得部１４は、複数のコンテンツのうちの何れかのコンテンツを取得する機能を有する。本実施形態では、第１情報取得部１４は、受付部１５からの指示に従って、コンテンツ領域５０に表示される複数のコンテンツのうちの何れかのコンテンツを取得する機能を有する。

受付部１５は、ユーザからの第１入力を受け付ける機能を有する。本実施形態では、第１入力は、何れかのコンテンツの選択を指示する入力を指す。受付部１５は、この第１入力を受け付けた場合、第１画像取得部１３に対して、第１画像の取得を指示し、第１情報取得部１４に対して、選択を指示されたコンテンツの取得を指示する。

さらに言えば、本実施形態における第１入力は、画面のうち何れかのコンテンツが表示される第１領域に対して、例えば指やタッチペンなどの指示物体を接触させ、その指示物体を、画面に接触させたまま画像領域４０へ移動させた後に画面から離す操作に応じた入力である。この例では、受付部１５は、画面に対する指示物体の接触位置（タッチ位置）や接触位置の軌跡を検知する機能を有し、第１表示部１２に対して、検知した接触位置や軌跡に追従させてコンテンツを表示することを指示する。この指示を受けた第１表示部１２は、第１領域に表示されていたコンテンツを、画面に接触しながら移動する指示物体の軌跡に追従させて表示する制御を行う。

受付部１５は、前述の第１入力を受け付けた場合、第１画像取得部１３に対して、指示物体が画面から離れたときに画面に表示されていた第１画像の取得を指示し、第１情報取得部１４に対して、第１領域に対応するコンテンツ（選択が指示されたコンテンツ）の取得を指示する。

生成部１６は、受付部１５で前述の第１入力を受け付けた場合、第１画像取得部１３で取得された第１画像と、第１情報取得部１４で取得されたコンテンツとを対応付けて対応データを生成する。本実施形態では、受付部１５は、前述の第１入力を受け付けた場合、生成部１６に対して、対応データの生成を指示する。そして、この指示を受けた生成部１６は、第１画像取得部１３で取得された第１画像（この例では、指示物体が画面から離れたときに表示されていた第１画像）と、第１情報取得部１４で取得されたコンテンツ（第１領域に対応するコンテンツ）とを対応付けて対応データを生成する。この例では、生成部１６は、第１画像取得部１３で取得された第１画像を示す画像情報と、第１情報取得部１４で取得されたコンテンツを識別するコンテンツＩＤとを対応付けて対応データを生成するが、これに限られるものではない。

例えば、図４に示すように、ユーザが、コンテンツ領域５０のうちコンテンツＸが表示される第１領域に対して指を接触させ、続いて、図５に示すように、その指を、画面に接触させたまま画像領域４０へ移動させた後に画面から離す操作を行った場合を想定する。この場合、図４および図５に示すように、第１表示部１２は、指の軌跡に追従させてコンテンツＸを表示する制御を行う。そして、図５において、ユーザが画面から指を離すと、そのときに画像領域４０に表示されていた第１画像と、コンテンツＸとが対応付けられて対応データが生成されるという具合である。

再び図２に戻って説明を続ける。書込部１７は、生成部１６で生成された対応データをサーバ装置２０に書き込む制御を行う。この例では、サーバ装置２０は、請求項の「記憶部」に対応しているが、これに限られるものではない。

本実施形態に係る登録装置１０は、ＣＰＵと、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、タッチパネルディスプレイと、を備えたコンピュータを利用したハードウェア構成となっている。そして、上述の登録装置１０の各部の機能（カメラ制御部１１、第１表示部１２、第１画像取得部１３、第１情報取得部１４、受付部１５、生成部１６、および、書込部１７）は、ＣＰＵが、記憶装置に格納されたプログラムを実行することにより実現される。ただし、これに限らず、例えば上述の登録装置１０の各部の機能のうちの少なくとも一部が、ハードウェア回路（例えば半導体集積回路等）により実現されてもよい。

次に、登録装置１０の動作例を説明する。図６は、登録装置１０の動作例を示すフローチャートである。図６に示すように、まず受付部１５は、前述の第１入力を受け付けたかどうかを判断する（ステップＳ１）。前述の第１入力を受け付けたと判断した場合（ステップＳ１：ＹＥＳ）、受付部１５は、第１画像取得部１３に対して第１画像の取得を指示し、第１情報取得部１４に対して、選択が指示されたコンテンツの取得を指示する。また、受付部１５は、生成部１６に対して対応データの生成を指示する。

受付部１５からの指示を受けた第１画像取得部１３は、第１画像を取得する（ステップＳ２）。また、受付部１５からの指示を受けた第１情報取得部１４は、選択が指示されたコンテンツを取得する（ステップＳ３）。なお、ステップＳ２とステップＳ３の順序は任意であり、同時に行われる形態であってもよい。

そして、受付部１５からの指示を受けた生成部１６は、ステップＳ２で取得された第１画像と、ステップＳ３で取得されたコンテンツとを対応付けて対応データを生成する（ステップＳ４）。次に、書込部１７は、ステップＳ４で生成された対応データを、サーバ装置２０へ書き込む制御を行う（ステップＳ５）。

次に、サーバ装置２０の具体的な内容を説明する。図７に示すように、サーバ装置２０は、第１記憶部２２と、第２記憶部２４とを有する。第１記憶部２２は、登録装置１０で生成された対応データを記憶する。図８は、第１記憶部２２に記憶される複数の対応データを模式的に表す図である。図８に示すように、第１記憶部２２は、第１画像を示す画像情報と、１以上のコンテンツＩＤとが対応付けられた複数の対応データを記憶する。例えば、第１行目の対応データは、「画像Ａ」を示す画像情報に対しては、「コンテンツ１」を示すコンテンツＩＤと、「コンテンツ２」を示すコンテンツＩＤとが対応付けられていることを表す。

第２記憶部２４は、複数のコンテンツＩＤごとに、コンテンツを示すコンテンツ情報（内容や表示位置などを含む情報）を対応付けて記憶する。この例では、前述の対応データに含まれるコンテンツＩＤをキーとして、対応するコンテンツ（コンテンツ情報）を特定することができるので、前述の対応データは、画像情報（第１画像）と、コンテンツとを対応付けていると捉えることができる。なお、対応データの構成は、上記の内容に限られるものではない。例えば対応データは、画像情報と、コンテンツ情報とが対応付けられて構成される形態であってもよい。

また、ここでは詳細な説明を省略するが、サーバ装置２０は、登録装置１０および端末装置３０の各々と通信する機能を有し、登録装置１０または端末装置３０からの要求に応じて、第１記憶部２２に対する対応データの書き込み、第１記憶部２２および第２記憶部２４に記憶された情報の読み出し（情報の送信も含む）、消去などを行うことができる。

次に、端末装置３０の具体的な内容を説明する。図９は、端末装置３０の機能構成例を示すブロック図である。本実施形態では、端末装置３０は、撮像対象を撮像する機能を備えた携帯型の情報処理装置で構成される。この例では、端末装置３０には、不図示のカメラが搭載されている。図９に示すように、端末装置３０は、カメラ制御部３１と、第２画像取得部３２と、第２情報取得部３３と、第２表示部３４とを有する。

端末装置３０に搭載されたカメラの使用を開始すると、カメラ制御部３１は、所定の周期で、レンズが向けられた撮像対象を撮像する制御を繰り返す。第２画像取得部３２は、カメラによる撮像が行われるたびに、その撮像で得られる撮像画像（以下の説明では、「第２画像」と呼ぶ場合がある）を取得し、取得した第２画像を第２情報取得部３３へ出力する。

第２情報取得部３３は、第２画像取得部３２により取得された第２画像と、サーバ装置２０に登録済みの対応データに含まれる画像情報（第１画像）とが一致するかどうかを判断する。サーバ装置２０に登録済みの対応データに含まれる画像情報のうち、第２画像取得部３２により取得された第２画像と一致する画像情報が存在しない場合、第２情報取得部３３は、その第２画像を、そのまま第２表示部３４へ出力する。一方、サーバ装置２０に登録済みの対応データに含まれる画像情報のうち、第２画像取得部３２により取得された第２画像と一致する画像情報が存在する場合、第２情報取得部３３は、第２画像と一致する画像情報に対応付けられたコンテンツを取得する。本実施形態では、第２情報取得部３３は、登録済みの対応データに含まれる画像情報のうち、第２画像と一致する画像情報に対応付けられたコンテンツＩＤに対応するコンテンツ情報を、サーバ装置２０から取得するという具合である。そして、第２情報取得部３３は、サーバ装置２０から取得したコンテンツ（コンテンツ情報）を、第２画像取得部３２により取得された第２画像とともに第２表示部３４へ出力する。

第２表示部３４は、第２情報取得部３３から出力される情報を、端末装置３０に搭載された表示装置（不図示）に表示する制御を行う。端末装置３０に搭載された表示装置は、各種の情報が表示される領域（画面）を有しており、その画面上には、第２情報取得部３３から出力される情報が表示される。前述したように、例えば登録済みの対応データに含まれる画像情報のうち、第２画像取得部３２により取得された第２画像と一致する画像情報が存在しない場合、第２情報取得部３３は、その第２画像をそのまま第２表示部３４へ出力するので、第２表示部３４は、第２情報取得部３３から出力された第２画像をそのまま画面に表示する制御を行う。

一方、登録済みの対応データに含まれる画像情報のうち、第２画像取得部３２により取得された第２画像と一致する画像情報が存在する場合、第２情報取得部３３は、第２画像と一致する画像情報に対応付けられたコンテンツと、第２画像取得部３２により取得された第２画像とを第２表示部３４へ出力するので、第２表示部３４は、第２情報取得部３３から出力された第２画像とコンテンツとを重畳した重畳画像を画面に表示する制御を行う。

本実施形態に係る端末装置３０は、ＣＰＵと、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、表示装置と、を備えたコンピュータを利用したハードウェア構成となっている。そして、上述の端末装置３０の各部の機能（カメラ制御部３１、第２画像取得部３２、第２情報取得部３３、および、第２表示部３４）は、ＣＰＵが、記憶装置に格納されたプログラムを実行することにより実現される。ただし、これに限らず、例えば上述の端末装置３０の各部の機能のうちの少なくとも一部が、ハードウェア回路（例えば半導体集積回路等）により実現されてもよい。

次に、端末装置３０の動作例を説明する。図１０は、端末装置３０の動作例を示すフローチャートである。図１０に示すように、第２画像取得部３２は、カメラによる撮像が行われるたびに、その撮像により得られた撮像画像（第２画像）を取得する（ステップＳ１１）。次に、第２情報取得部３３は、サーバ装置２０に登録済みの対応データに含まれる画像情報のうち、ステップＳ１１で取得された第２画像と一致する画像情報が存在するかどうかを判断する（ステップＳ１２）。

上述のステップＳ１２において、登録済みの対応データに含まれる画像情報のうち、ステップＳ１１で取得された第２画像と一致する画像情報が存在すると判断した場合（ステップＳ１２：ＹＥＳ）、第２情報取得部３３は、ステップＳ１１で取得された第２画像と一致する画像情報に対応付けられたコンテンツを、サーバ装置２０から取得する（ステップＳ１３）。そして、第２情報取得部３３は、その取得したコンテンツと、ステップＳ１１で取得された第２画像とを第２表示部３４へ出力する。次に、第２表示部３４は、第２情報取得部３３から出力された第２画像とコンテンツとを重畳した重畳画像を画面に表示する制御を行う（ステップＳ１４）。

一方、上述のステップＳ１２において、登録済みの対応データに含まれる画像情報のうち、ステップＳ１１で取得された第２画像と一致する画像情報が存在しないと判断した場合（ステップＳ１２：ＮＯ）、第２情報取得部３３は、ステップＳ１１で取得された第２画像を、そのまま第２表示部３４へ出力する。そして、第２表示部３４は、第２情報取得部３３から出力された第２画像をそのまま画面に表示する制御を行う（ステップＳ１５）。

以上に説明したように、本実施形態では、前述の第１入力を受け付けると、カメラによる撮像で得られる第１画像と、何れかのコンテンツとの対応付けが行われて対応データが生成（および登録）されるので、ユーザは、所望の撮像対象に対して、登録装置１０に搭載されたカメラのレンズを向けて（所望の撮像対象に対して、カメラが搭載された登録装置１０をかざして）第１入力のための操作を行うことにより、第１画像と何れかのコンテンツとを対応付けた対応データを自由に登録していくことができる。

より具体的には、第１入力は、何れかのコンテンツの選択を指示する入力であり、受付部１５は、この第１入力を受け付けた場合、第１画像取得部１３に対して、第１画像の取得を指示し、第１情報取得部１４に対して、選択を指示されたコンテンツの取得を指示する。上述の実施形態においては、ユーザは、所望の撮像対象に対して、登録装置１０に搭載されたカメラのレンズを向け、画面に表示された第１画像を確認しながら、所望のコンテンツの選択を指示するための操作を行うだけで、そのときに画面に表示されていた第１画像と、選択を指示したコンテンツとを対応付けた対応データの生成および登録を行うことができる。以上より、本実施形態によれば、対応データの登録を行うユーザの利便性が一層向上するという有利な効果を達成できる。

（第１実施形態の変形例１）
例えば前述の第１入力は、画面のうち、何れかのコンテンツが表示される第１領域に対して、指示物体（例えば指やタッチペンなど）を接触させる操作に応じた入力であってもよい。この第１入力を受け付けた場合、受付部１５は、第１画像取得部１３に対して、指示物体が画面に接触したときに画面に表示されていた第１画像の取得を指示し、第１情報取得部１４に対して、第１領域に対応するコンテンツ（画面のうち指示物体が接触した領域に対応するコンテンツ）の取得を指示する。この場合、ユーザは、コンテンツ領域５０のうち、所望のコンテンツが表示される領域（第１領域）に対して、指などの指示物体を接触させるだけで、そのときに画面に表示されている第１画像と、所望のコンテンツとを対応付けた対応データの生成および登録を行うことができるので、ユーザの利便性が一層向上する。

（第１実施形態の変形例２）
前述の第１入力は、対応データを生成する契機となる入力であればよく、その態様は任意に変更可能である。例えば前述の第１入力は、登録装置１０に搭載されたカメラのレンズが向けられた撮像対象の静止画を表示することを指示する入力と、何れかのコンテンツの選択を指示する入力とを含む形態であってもよい。この形態では、例えばユーザが、画面に順次に表示される第１画像を確認しながら、現在、画面に表示されている第１画像の静止画を表示することを指示するための操作（例えば撮影ボタンのアイコンをタッチする操作など）を行うと、その操作に応じた入力を受け付けた受付部１５は、第１表示部１２に対して、現在画面に表示している第１画像の静止画を表示することを指示するとともに、第１画像取得部１３に対して、静止画で表示される第１画像の取得を指示することができる。そして、その後、ユーザが、所望のコンテンツの選択を指示するための操作を行うと、その操作に応じた入力を受け付けた受付部１５は、第１情報取得部１４に対して、選択が指示されたコンテンツの取得を指示し、生成部１６に対して、対応データの生成を指示することができる。

この例では、ユーザは、所望の撮像対象に対して、登録装置１０に搭載されたカメラのレンズを向けて（カメラが搭載された登録装置１０をかざして）、画面に順次に表示される第１画像を確認しながら、現在、画面に表示されている第１画像の静止画を表示することを指示するための操作（例えば撮影ボタンのアイコンをタッチする操作など）を行った後、所望のコンテンツの選択を指示するための操作を行うことで、第１画像の静止画と、選択を指示したコンテンツとを対応付けた対応データの生成および登録を行うことができる。

（第１実施形態の変形例３）
例えば生成部１６は、第１画像取得部１３で取得された第１画像が、サーバ装置２０に登録済みの対応データに含まれる画像情報と一致または類似し、かつ、サーバ装置２０に登録済みの対応データに含まれるコンテンツのうち、第１画像取得部１３で取得された第１画像と一致または類似する画像情報に対応付けられたコンテンツが、第１情報取得部１４で取得されたコンテンツと一致する場合は、対応データの生成を行わない形態であってもよい。つまり、類似する画像に同じコンテンツを対応付けようとした場合には、重複した登録を行わない形態であってもよい。

この形態においては、第１画像取得部１３で取得された第１画像が、サーバ装置２０に登録済みの対応データに含まれる画像情報と一致または類似するかどうかを判断する機能、および、サーバ装置２０に登録済みの対応データに含まれるコンテンツのうち、第１画像取得部１３で取得された第１画像と一致または類似する画像情報に対応付けられたコンテンツが、第１情報取得部１４で取得されたコンテンツと一致するかどうかを判断する機能は、生成部１６が備えていてもよいし、生成部１６とは別に（独立して）設けられてもよい。

（第１実施形態の変形例４）
例えば図１１に示すように、第１表示部１２は、既にコンテンツが対応付けられている第１画像を特定可能な第３画像を表示することもできる。図１１の例では、第３画像は、既にコンテンツが対応付けられている第１画像のサムネイル画像（複数の画像を一覧表示するために縮小された画像）であるが、これに限られるものではない。図１１の例では、画面は、前述の画像領域４０、コンテンツ領域５０に加えて、複数の第３画像が表示される候補領域６０をさらに有する。

図１１の例では、受付部１５は、何れかの第３画像の選択を指示する第６入力を受け付けた場合、第１画像取得部１３に対して、第１画像の取得を指示し、生成部１６に対して、選択が指示された第３画像に対応するコンテンツ（第３画像で特定される第１画像に対して既に対応付けられているコンテンツと同一のコンテンツ）と、第１画像取得部１３で取得された第１画像とを対応付けた対応データの生成を指示する。この例では、第６入力は、候補領域６０のうち、何れかの第３画像が表示される領域に対して、指やタッチペンなどの指示物体を接触させる操作に応じた入力を指すが、これに限られるものではない。

例えば登録装置１０に搭載されたカメラのレンズを向けた撮像対象に対して、登録済みの対応データに含まれる画像情報に対応付けられた複数のコンテンツと同一の複数のコンテンツを対応付けようとする場合、ユーザは、候補領域６０のうち、当該画像情報（既にコンテンツが対応付けられている第１画像）に対応するサムネイル画像（第３画像）の選択を指示するための操作を行うだけで済むので、ユーザの利便性が一層向上する。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、前述の登録装置１０と端末装置３０が、同一の装置で構成される点で上述の第１実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。

図１２は、第２実施形態に係る情報処理装置１００の機能構成例を示す図である。情報処理装置１００は、撮像対象を撮像する機能と、タッチパネル機能とを備えた携帯型の情報処理装置で構成され、請求項の「情報処理装置」に対応している。この例では、情報処理装置１００には、不図示のカメラと、不図示のタッチパネルディスプレイとが搭載されている。情報処理装置１００には、前述の登録装置１０の機能、および、前述の端末装置３０の機能が搭載される。この情報処理装置１００は、ネットワークを介して前述のサーバ装置２０と接続される。

図１２に示すように、情報処理装置１００は、第１画像取得部１３と、第１情報取得部１４と、受付部１５と、生成部１６と、書込部１７と、削除部１８と、カメラ制御部３１と、第２画像取得部３２と、第２情報取得部３３と、第２表示部３４とを有する。

この例では、カメラ制御部３１は、前述のカメラ制御部１１の機能を兼ねている。また、第２表示部３４は、前述の第１表示部１２の機能を兼ねているので、第２表示部３４は、カメラの撮像により得られる撮像画像に対応付け可能な複数のコンテンツを、画面（ここでは、情報処理装置１００に搭載されたタッチパネルディスプレイのうち各種の情報が表示される領域を指す）上に表示する制御も行う。以下の説明では、画面のうち、画像（重畳画像を含む）が表示される領域を画像領域と呼び、複数のコンテンツ（コンテンツに対応するアイコン画像であってもよい）が表示される領域をコンテンツ領域と呼ぶ。また、この例では、情報処理装置１００に搭載されたカメラの撮像により得られる撮像画像は、前述の第２画像であると捉えることもできるし、前述の第１画像でもあると捉えることができる。以下の説明では、カメラによる撮像で得られる撮像画像のうち、第２画像取得部３２で取得される画像を「第２画像」と呼び、第１画像取得部１３で取得される画像を「第１画像」と呼んで区別する。

本実施形態においては、ユーザが、情報処理装置１００に搭載されたカメラの使用を開始すると、カメラ制御部３１は、所定の周期で、レンズが向けられた撮像対象（被写体）を撮像する制御を繰り返す。第２画像取得部３２は、カメラによる撮像が行われるたびに、撮像画像を取得し、取得した撮像画像（第２画像）を第２情報取得部３３へ出力する。そして、第１実施形態と同様に、サーバ装置２０に登録済みの対応データに含まれる画像情報のうち、第２画像取得部３２により取得された第２画像と一致する画像情報が存在しない場合は、第２画像がそのまま画面に表示される。一方、サーバ装置２０に登録済みの対応データに含まれる画像情報のうち、第２画像と一致する画像情報が存在する場合は、第２画像と一致する画像情報に対応付けられたコンテンツと、第２画像とが重畳した重畳画像が画面に表示されることになる。

次に、削除部１８の機能を説明する。削除部１８は、画面上に重畳画像が表示された状態で、当該重畳画像に含まれるコンテンツと、画像情報とが対応付けられた対応データの削除を指示する第２入力を受付部１５で受け付けた場合、当該対応データをサーバ装置２０から削除する制御を行う。本実施形態における第２入力は、画像領域のうち、重畳画像に含まれるコンテンツが表示される第２領域に対して指示物体を接触させ、当該指示物体を、画面に接触させたまま、画像領域外（例えばコンテンツ領域）に移動させた後に画面から離す操作に応じた入力を指すが、これに限られるものではない。例えば重畳画像に含まれるコンテンツに対応する対応データの削除指示に用いられるアイコン（ＵＩ画像）が画面上に表示され、このアイコンに対して、指やタッチペンなどの指示物体を接触させる操作に応じた入力が、第２入力であってもよい。また、例えば情報処理装置１００を振る（シェイクする）操作に応じた入力が、第２入力であってもよい。

前述の第２入力を受付部１５で受け付けた場合、受付部１５は、削除部１８に対して、重畳画像に含まれるコンテンツと、画像情報とが対応付けられた対応データを削除することを指示する。この指示を受けた削除部１８は、重畳画像に含まれるコンテンツと、画像情報とが対応付けられた対応データをサーバ装置２０から削除する制御を行う。より具体的には、削除部１８は、サーバ装置２０に登録済みの対応データのうち、重畳画像に含まれるコンテンツを識別するコンテンツＩＤと、画像情報とが対応付けられた対応データを、第１記憶部２２から削除する制御を行う。

図１３は、重畳画像に含まれるコンテンツに対応する対応データを削除する場合の情報処理装置１００の動作例を示すフローチャートである。図１３に示すように、まず、受付部１５は、前述の第２入力を受け付けたかどうかを判断する（ステップＳ２１）。前述の第２入力を受け付けたと判断した場合（ステップＳ２１：ＹＥＳ）、受付部１５は、削除部１８に対して、重畳画像に含まれるコンテンツに対応する対応データをサーバ装置２０から削除することを指示する。この指示を受けた削除部１８は、重畳画像に含まれるコンテンツに対応する対応データをサーバ装置２０から削除する制御を行う（ステップＳ２２）。

次に、重畳画像に含まれるコンテンツと、新たな第１画像とを対応付けた対応データを生成して登録する方法の一例を説明する。本実施形態では、重畳画像に含まれるコンテンツと、第１画像取得部１３で新たに取得される第１画像とを対応付けた対応データの登録を指示する第３入力を受付部１５で受け付けた場合、生成部１６は、重畳画像に含まれるコンテンツと、第１画像取得部１３で新たに取得される第１画像とを対応付けた対応データを生成する。そして、書込部１７は、生成部１６により新たに生成された対応データをサーバ装置２０に書き込む制御を行う。

本実施形態における第３入力は、重畳画像に含まれるコンテンツの選択を指示する第４入力と、第１画像の取得を指示する第５入力とを含む。そして、受付部１５は、第４入力を受け付けた場合、重畳画像に含まれるコンテンツを選択する。ここでは、第４入力は、画面のうち、重畳画像に含まれるコンテンツが表示される第２領域に対して指示物体を接触させる操作に応じた入力を指すが、これに限られるものではない。例えば情報処理装置１００を振る（シェイクする）操作に応じた入力が、第４入力であってもよいし、情報処理装置１００を持ち上げて掬うような操作に応じた入力が、第４入力であってもよい。受付部１５は、この第４入力を受け付けた場合、重畳画像に含まれるコンテンツを選択する。

なお、重畳画像に含まれるコンテンツを選択する方法は任意であり、例えば受付部１５は、削除部１８に対して、重畳画像に含まれるコンテンツに対応する対応データを削除することを指示するとともに、重畳画像に含まれるコンテンツに対応する対応データから、コンテンツＩＤを切り取ることで、重畳画像に含まれるコンテンツを選択することもできる。また、例えば受付部１５は、重畳画像に含まれるコンテンツに対応する対応データから、コンテンツＩＤの複写（コピー）を生成することで、重畳画像に含まれるコンテンツを選択することもできる。

また、受付部１５は、前述の第４入力を受け付けた場合、第２表示部３４に対して、重畳画像に含まれるコンテンツが、指示物体側に吸い付くような表示制御を行うことを指示する。この指示を受けた第２表示部３４は、重畳画像に含まれるコンテンツが、指示物体側に吸い付くような表示制御を行う。これにより、ユーザは、重畳画像に含まれるコンテンツが選択されたことを直感的に理解することができる。

受付部１５は、前述の第４入力の後に第５入力を受け付けた場合、第１画像取得部１３に対して、第１画像の取得を指示し、生成部１６に対して、第１画像取得部１３で取得された第１画像と、第４入力に応じて選択したコンテンツとを対応付けた対応データの生成を指示する。ここでは、第５入力は、画面から指示物体を離す操作に応じた入力を指すが、これに限られるものではない。受付部１５からの指示を受けた第１画像取得部１３は、画面から指示物体が離れたときに画面に表示されていた撮像画像を取得する。そして、受付部１５からの指示を受けた生成部１６は、第１画像取得部１３により取得された撮像画像（第１画像）と、受付部１５により選択されたコンテンツ（この例ではコンテンツＩＤ）とを対応付けて対応データを生成する。

例えばユーザは、画面のうち、コンテンツが表示される第２領域に対して指示物体を接触させる操作（コンテンツの選択を指示するための操作）を行った後、画面に指示物体を接触させたまま、撮像対象（カメラが搭載された情報処理装置１００をかざす対象）を切り替えて、画面に表示される撮像画像を切り替えた後に、画面から指示物体を離す操作を行うことで、選択を指示したコンテンツと、画面から指示物体を離したときに表示されていた撮像画像とを対応付けた対応データの生成および登録を行うことができる。

図１４は、重畳画像に含まれるコンテンツと、新たに取得される第１画像とを対応付けた対応データを生成して登録する場合の情報処理装置１００の動作例を示すフローチャートである。図１４に示すように、まず、受付部１５は、前述の第４入力を受け付けたかどうかを判断する（ステップＳ３１）。前述の第４入力を受け付けたと判断した場合（ステップＳ３１：ＹＥＳ）、受付部１５は、重畳画像に含まれるコンテンツを選択する（ステップＳ３２）。次に、受付部１５は、前述の第５入力を受け付けたかどうかを判断する（ステップＳ３３）。前述の第５入力を受け付けたと判断した場合（ステップＳ３３：ＹＥＳ）、第１画像取得部１３に対して、第１画像の取得を指示し、生成部１６に対して、第１画像取得部１３で取得された第１画像と、上述のステップＳ３２で選択したコンテンツとを対応付けた対応データの生成を指示する。受付部１５からの指示を受けた第１画像取得部１３は、画面から指示物体が離れたときに画面に表示されていた撮像画像を取得する。そして、受付部１５からの指示を受けた生成部１６は、第１画像取得部１３により取得された撮像画像（第１画像）と、上述のステップＳ３２で選択されたコンテンツとを対応付けて対応データを生成する（ステップＳ３４）。次に、書込部１７は、上述のステップＳ３４で生成された対応データを、サーバ装置２０に書き込む制御を行う（ステップＳ３５）。

以上の第２実施形態においても、上述した第１実施形態と同様の効果を得ることができる。

(第２実施形態の変形例１)
例えば画面上に重畳画像が表示された状態で、新たなコンテンツが選択されると、その新たなコンテンツが、登録済みの対応データに追加される形態であってもよい。図１５は、本変形例に係る画像処理装置１０００の機能構成例を示すブロック図である。図１５に示すように、画像処理装置１０００は、更新部７０をさらに備える点で上述の第２実施形態と相違する。

図１５の例では、受付部１５は、画面上に重畳画像が表示されている状態で、前述のコンテンツ領域に表示された複数のコンテンツのうちの何れかのコンテンツの選択を指示する入力（前述の第１入力に相当）を受け付けた場合、第１情報取得部１４に対して、選択を指示されたコンテンツの取得を指示する。また、更新部７０に対して、重畳画像に含まれるコンテンツに対応する対応データ（サーバ装置２０に登録済みの対応データ）の更新を指示する。

受付部１５からの指示を受けた更新部７０は、重畳画像に含まれるコンテンツに対応する登録済みの対応データに対して、第１情報取得部１４で取得されたコンテンツを追加する制御を行う。これにより、重畳画像に含まれるコンテンツに対応する登録済みの対応データは、重畳画像に含まれるコンテンツと、新たに選択されたコンテンツ（第１情報取得部１４で取得されたコンテンツ）と、画像情報とが対応付けられた対応データに更新される。

（第２実施形態の変形例２）
例えばサーバ装置２０が設けられずに、前述の第１記憶部２２および第２記憶部２４が、情報処理装置１００内に設けられる形態であってもよい。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、上述の各実施形態および変形例は、任意に組み合わせることが可能である。

また、上述の登録装置１０、端末装置３０および情報処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の登録装置１０、端末装置３０および情報処理装置１００で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の登録装置１０、端末装置３０および情報処理装置１００で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

１ 情報処理システム
１０ 登録装置
１１ カメラ制御部
１２ 第１表示部
１３ 第１画像取得部
１４ 第１情報取得部
１５ 受付部
１６ 生成部
１７ 書込部
１８ 削除部
２０ サーバ装置
２２ 第１記憶部
２４ 第２記憶部
３０ 端末装置
３１ カメラ制御部
３２ 第２画像取得部
３３ 第２情報取得部
３４ 第２表示部
４０ 画像領域
５０ コンテンツ領域
６０ 候補領域
７０ 更新部
１００ 情報処理装置

Claims (16)

1. 撮像部による撮像で得られる第１画像を取得する第１画像取得部と、
   前記第１画像に対応付け可能な複数の情報のうちの何れかを取得する第１情報取得部と、
   第１入力を受け付ける受付部と、
   前記受付部で前記第１入力を受け付けた場合、前記第１画像取得部で取得された前記第１画像と、前記第１情報取得部で取得された前記情報とを対応付けて対応データを生成する生成部と、
   前記対応データを記憶部に書き込む書込部と、を備える、
   情報処理装置。
2. 前記第１入力は、何れかの前記情報の選択を指示する入力であり、
   前記受付部は、前記第１入力を受け付けた場合、前記第１画像取得部に対して、前記第１画像の取得を指示し、前記第１情報取得部に対して、選択を指示された前記情報の取得を指示する、
   請求項１に記載の情報処理装置。
3. 前記第１画像と、１以上の前記情報とを表示する制御を行う第１表示部をさらに備え、
   前記第１入力は、
   前記第１画像が表示される画像領域と、１以上の前記情報が表示される情報領域とを有する画面のうち、何れかの前記情報が表示される第１領域に対して指示物体を接触させ、前記指示物体を、前記画面に接触させたまま前記画像領域へ移動させた後に前記画面から離す操作に応じた入力であり、
   前記受付部は、
   前記第１入力を受け付けた場合、前記第１画像取得部に対して、前記指示物体が前記画面から離れたときに前記画面に表示されていた前記第１画像の取得を指示し、前記第１情報取得部に対して、前記第１領域に対応する前記情報の取得を指示する、
   請求項２に記載の情報処理装置。
4. 前記第１表示部は、前記第１領域に表示されていた前記情報を、前記画面に接触しながら移動する前記指示物体の軌跡に追従させて表示する制御を行う、
   請求項３に記載の情報処理装置。
5. 前記第１画像と、１以上の前記情報を表示する第１表示部をさらに備え、
   前記第１入力は、
   前記第１画像が表示される画像領域と、１以上の前記情報が表示される情報領域とを有する画面のうち、何れかの前記情報が表示される第１領域に対して指示物体を接触させる操作に応じた入力であり、
   前記受付部は、
   前記第１入力を受け付けた場合、前記第１画像取得部に対して、前記指示物体が前記画面に接触したときに前記画面に表示されていた前記第１画像の取得を指示し、前記第１情報取得部に対して、前記第１領域に対応する前記情報の取得を指示する、
   請求項２に記載の情報処理装置。
6. 撮像部による撮像で得られる第２画像を取得する第２画像取得部と、
   前記記憶部に書き込まれた前記対応データに含まれる前記第１画像のうち、前記第２画像と一致する前記第１画像に対応付けられた前記情報を取得する第２情報取得部と、
   前記第２画像と、前記第２情報取得部により取得された前記情報とを重畳した重畳画像を表示する第２表示部と、をさらに備える、
   請求項１乃至５のうちの何れか１項に記載の情報処理装置。
7. 前記重畳画像に含まれる前記情報と、前記第１画像とが対応付けられた前記対応データの削除を指示する第２入力を前記受付部で受け付けた場合、当該対応データを前記記憶部から削除する削除部をさらに備える、
   請求項６に記載の情報処理装置。
8. 前記第２入力は、
   前記重畳画像が表示される画像領域を有する画面のうち前記重畳画像に含まれる前記情報が表示される第２領域に対して前記指示物体を接触させ、当該指示物体を、前記画面に接触させたまま、前記画像領域外に移動させた後に前記画面から離す操作に応じた入力であり、
   前記受付部は、
   前記第２入力を受け付けた場合、前記削除部に対して、前記重畳画像に含まれる前記情報と、前記第１画像とが対応付けられた前記対応データを前記記憶部から削除することを指示する、
   請求項７に記載の情報処理装置。
9. 前記重畳画像に含まれる前記情報と、前記第１画像取得部で新たに取得される前記第１画像とを対応付けた前記対応データの登録を指示する第３入力を前記受付部で受け付けた場合、前記生成部は、前記重畳画像に含まれる前記情報と、前記第１画像取得部で新たに取得される前記第１画像とを対応付けた前記対応データを生成する、
   請求項６に記載の情報処理装置。
10. 前記第３入力は、
    前記重畳画像に含まれる前記情報の選択を指示する第４入力と、前記第１画像の取得を指示する第５入力とを含み、
    前記受付部は、
    前記第４入力を受け付けた場合、前記重畳画像に含まれる前記情報を選択し、その後、前記第５入力を受け付けた場合、前記第１画像取得部に対して、前記第１画像の取得を指示し、前記生成部に対して、前記第１画像取得部で取得された前記第１画像と、前記第４入力に応じて選択した前記情報とを対応付けた前記対応データの生成を指示する、
    請求項９に記載の情報処理装置。
11. 前記第４入力は、前記重畳画像が表示される画像領域を有する画面のうち、前記重畳画像に含まれる前記情報が表示される第２領域に対して指示物体を接触させる操作に応じた入力であり、
    前記第５入力は、前記画面から前記指示物体を離す操作に応じた入力である、
    請求項１０に記載の情報処理装置。
12. 前記第４入力を前記受付部で受け付けた場合、前記第２表示部は、前記重畳画像に含まれる前記情報が、前記指示物体側に吸い付くような表示制御を行う、
    請求項１１に記載の情報処理装置。
13. 前記生成部は、
    前記第１画像取得部で取得された前記第１画像が、前記記憶部に書き込まれた前記対応データに含まれる前記第１画像と一致または類似し、かつ、前記記憶部に書き込まれた前記対応データに含まれる前記情報のうち、前記第１画像取得部で取得された前記第１画像と一致または類似する前記第１画像に対応付けられた前記情報が、前記第１情報取得部で取得された前記情報と一致する場合は、前記対応データの生成を行わない、
    請求項１に記載の情報処理装置。
14. 前記第１表示部は、既に前記情報が対応付けられている前記第１画像を特定可能な第３画像を表示し、
    前記受付部は、
    何れかの前記第３画像の選択を指示する第６入力を受け付けた場合、前記第１画像取得部に対して、前記第１画像の取得を指示し、前記生成部に対して、選択が指示された前記第３画像に対応する前記情報と、前記第１画像取得部で取得された前記第１画像とを対応付けた前記対応データの生成を指示する、
    請求項３または請求項５に記載の情報処理装置。
15. 撮像部による撮像で得られる第１画像を取得し、
    前記第１画像に対応付け可能な複数の情報のうちの何れかの前記情報を取得し、
    第１入力を受け付けた場合、取得した前記第１画像と前記情報とを対応付けた対応データを生成し、
    生成した前記対応データを記憶部に書き込む、
    情報処理方法。
16. コンピュータを、
    撮像部による撮像で得られる第１画像を取得する第１画像取得手段と、
    前記第１画像に対応付け可能な複数の情報のうちの何れかを取得する第１情報取得手段と、
    第１入力を受け付ける受付手段と、
    前記受付手段で前記第１入力を受け付けた場合、前記第１画像取得手段で取得された前記第１画像と、前記第１情報取得手段で取得された前記情報とを対応付けた対応データを生成する生成手段と、
    前記対応データを記憶部に書き込む書込手段として機能させる、
    プログラム。

Images