JP2015090524A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】画像データを利用してシステムの機能を呼び出すにあたり、ユーザの個別的な状況に対応した柔軟な関連付けを実現する。【解決手段】端末装置が取得した画像において検出されたマーカと上記端末装置の機能とを関連付けるデータレコードを検索する検索部と、上記検索によって発見されたデータレコードに基づいて、上記端末装置において呼び出される機能を決定する呼び出し機能決定部とを含み、上記データレコードは、上記端末装置における上記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理装置が提供される。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

特許文献１には、インターネットのＷＷＷサーバのＵＲＬと対応して記憶されている複数の画像データのうち、ビデオカメラによって取り込まれた画像データに適合する画像データを選択し、選択された画像データに対応するＵＲＬ等の指定情報を読み出して、その指定情報で指定されるＷＷＷサーバにアクセスすることによって、ＷＷＷの情報を検索する際の操作性を向上させる技術が記載されている。

特開２００６−４８６７２号公報

しかしながら、特許文献１に記載されたような技術では、画像データに割り当てられるＵＲＬが固定されている。それゆえ、ユーザがＷＷＷの情報を検索する操作のコンテキストにかかわらず、同じ画像データであれば同じＵＲＬのＷＷＷサーバへのアクセスが実行される。従って、画像データを利用することによって得られる操作性の向上を、ユーザの個別的な状況に適応してさらに拡張するには至っていなかった。ＷＷＷの情報検索に限らず、画像データを利用することによってシステムの機能を呼び出す際の操作性を向上させる技術において、ユーザの個別的な状況に対応した柔軟な関連付けを実現したものは未だ存在しない。

そこで、本開示では、画像データを利用してシステムの機能を呼び出すにあたり、ユーザの個別的な状況に対応した柔軟な関連付けを実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、端末装置が取得した画像において検出されたマーカと上記端末装置の機能とを関連付けるデータレコードを検索する検索部と、上記検索によって発見されたデータレコードに基づいて、上記端末装置において呼び出される機能を決定する呼び出し機能決定部とを含み、上記データレコードは、上記端末装置における上記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理装置が提供される。

また、本開示によれば、端末装置が取得した画像において検出されたマーカと上記端末装置の機能とを関連付けるデータレコードを検索することと、上記検索によって発見されたデータレコードに基づいて、上記端末装置において呼び出される機能を決定することとを含み、上記データレコードは、上記端末装置における上記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理方法が提供される。

また、本開示によれば、端末装置が取得した画像において検出されたマーカと上記端末装置の機能とを関連付けるデータレコードを検索する機能と、上記検索によって発見されたデータレコードに基づいて、上記端末装置において呼び出される機能を決定する機能とをコンピュータに実現させ、上記データレコードは、上記端末装置における上記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含むプログラムが提供される。

以上説明したように本開示によれば、画像データを利用してシステムの機能を呼び出すにあたり、ユーザの個別的な状況に対応した柔軟な関連付けを実現することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る端末装置の概略的な機能構成を示すブロック図である。 本開示の第１の実施形態に係る端末装置の第１の例を示す図である。 本開示の第１の実施形態に係る端末装置の第２の例を示す図である。 本開示の第１の実施形態に係る端末装置の第３の例を示す図である。 本開示の第１の実施形態における端末装置の利用形態の例を示す図である。 本開示の第１の実施形態に係る端末装置を用いてマーカを登録する処理の例を示す図である。 本開示の第１の実施形態に係る端末装置を用いてマーカに機能を関連付ける処理の例を示す図である。 本開示の第１の実施形態において機能ＤＢに格納されるデータレコードの例を示す図である。 本開示の第１の実施形態において機能ＤＢに格納されるデータレコードの例を示す図である。 本開示の第１の実施形態において、ユーザに提示される情報の第１の例を示す図である。 本開示の第１の実施形態において、ユーザに提示される情報の第２の例を示す図である。 本開示の第１の実施形態において、ユーザに提示される情報の第３の例を示す図である。 本開示の第１の実施形態において、ユーザに提示される情報の第４の例を示す図である。 本開示の第１の実施形態において、ユーザに提示される情報の第５の例を示す図である。 本開示の第１の実施形態における利用時情報に含まれる位置の情報の例について説明するための図である。 本開示の第１の実施形態における利用時情報に含まれる位置の情報の例について説明するための図である。 本開示の第１の実施形態における利用時情報における手の大きさの情報の例について説明するための図である。 本開示の第２の実施形態に係るシステムの概略的な機能構成を示すブロック図である。 本開示の第２の実施形態における端末装置およびサーバの利用形態の例を示す図である。 本開示の第３の実施形態に係るシステムの概略的な機能構成を示すブロック図である。 本開示の第３の実施形態においてサーバの機能ＤＢに格納されるデータの例を示す図である。 本開示の第３の実施形態において、ユーザに提示される情報の例を示す図である。 本開示の第３の実施形態におけるローカル情報の抽出処理の例を示すフローチャートである。 本開示の第３の実施形態におけるサーバ情報の抽出処理の例を示すフローチャートである。 本開示の第３の実施形態に係るシステムの構成を別の観点から説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．機能構成
１−２．端末装置の具体的な例
１−３．関連付け操作の例
１−４．データの例
１−５．ユーザに提示される情報の例
１−６．利用時情報の例
２．第２の実施形態
３．第３の実施形態
３−１．機能構成
３−２．データの例
３−３．ユーザに提示される情報の例
３−４．機能抽出処理の例
４．ハードウェア構成
５．補足

（１．第１の実施形態）
（１−１．機能構成）
図１は、本開示の第１の実施形態に係る端末装置の概略的な機能構成を示すブロック図である。図１を参照すると、端末装置１００は、撮像部１０２と、マーカ検出部１０４と、機能検索部１０６と、機能ＤＢ（データベース）１０８と、機能抽出部１１０と、機能情報出力部１１２と、表示部１１４と、操作部１１６と、呼び出し機能決定部１１８と、機能実行部１２０とを含む。

端末装置１００は、図示されたような機能構成を実現することが可能なさまざまな種類の装置でありうる。これらの機能構成は、例えば後述する情報処理装置のハードウェア構成によって実現されてもよい。例えば、撮像部１０２は、撮像素子や光学部材、駆動回路などを含むカメラモジュールによって実現されうる。機能ＤＢ１０８は、メモリまたはストレージによって実現されうる。表示部１１４は、ＬＣＤや有機ＥＬディスプレイなどの表示装置、またはプロジェクタなどによって実現されうる。操作部１１６は、タッチパネルやキーボード、マウス、カメラモジュールなどによによって実現されうる。他の機能構成は、ＣＰＵなどのプロセッサがメモリまたはストレージに格納されたプログラムに従って動作することによって実現されうる。以下、それぞれの機能構成についてさらに説明する。

撮像部１０２は、撮像素子を用いて実空間の画像を撮像する。撮像部１０２は、連続したフレームによって構成される動画像を撮像してもよい。

マーカ検出部１０４は、撮像部１０２によって撮像された画像を解析して、画像に含まれるマーカを検出する。マーカは、実空間に現れる何らかの視覚的パターンであればよく、その種類は特に限定されない。マーカは、再現性および識別性を有する限りにおいて、どのように形成されてもよい。例えば、マーカは、カードや財布、ペンケース、ノート、皿、包装容器など、任意のオブジェクトの表面のパターンであってもよい。パターンは、マーカとして認識するために印刷または貼付されたものであってもよいし、オブジェクトの表面のテクスチャやパーツがそのままパターンとして検出されてもよい。マーカ検出部１０４は、例えば公知の画像認識の手法を用いてマーカを検出する。

機能検索部１０６は、マーカ検出部１０４によって検出されたマーカ、つまり端末装置１００が取得した画像において検出されたマーカと、端末装置１００の機能とを関連付けるデータレコードを、機能ＤＢ１０８で検索する。ここで、機能ＤＢ１０８には、例えば後述するようなユーザの関連付け操作によって登録されたマーカの画像または特徴量と、端末装置１００の特定の機能とを関連付けるデータレコードが格納されている。ここで、後述するように、端末装置ではマーカを用いて機能が呼び出される。機能ＤＢ１０８のデータレコードは、端末装置１００におけるマーカを用いた機能の呼び出し履歴に基づいて生成される情報をさらに含む。つまり、データレコードは、マーカの登録情報に加えて、その後、実際にマーカを用いて機能が呼び出された履歴に基づいて生成される情報を含む。機能検索部１０６は、このような機能ＤＢ１０８において、検出されたマーカを示す情報、例えばマーカの特徴量をキーとして、データレコードを検索する。機能検索部１０６は、検索によって発見されたデータレコード、またはデータレコードによって示される機能の情報を、機能抽出部１１０に提供する。あるいは、機能検索部１０６は、データレコードまたは機能の情報を直接呼び出し機能決定部１１８に提供してもよい。

機能情報出力部１１２は、機能検索部１０６の検索によって発見されたデータレコードによってマーカに関連付けられる機能を示す情報を、ユーザに向けて出力する。より具体的には、例えば、機能情報出力部１１２は、発見されたデータレコードによってマーカに関連付けられる機能のうちの一部または全部を呼び出すためのユーザの操作入力を受け付けるためのＵＩ情報を出力する。ＵＩ情報は、例えば表示部１１４を介して画像として出力されてもよいし、図示しないスピーカなどの音声出力部を介して音声として出力されてもよい。ＵＩ情報は、発見されたデータレコードによって複数の機能がマーカに関連付けられることが示される場合に、複数の機能の中から呼び出す機能をユーザが選択するためのものであってもよい。

ここで、機能情報出力部１１２は、データレコードによってマーカに関連付けられる所定の数の機能を示す情報をユーザに向けて出力してもよい。つまり、機能情報出力部１１２によって出力される情報によって示される機能の数は、所定の数に限られていてもよい。所定の数は、例えば、表示部１１４を実現するディスプレイの表示面積や、スピーカによる音声出力の継続可能時間などによって決定されうる。この場合、機能抽出部１１０が、機能検索部１０６の検索によって発見されたデータレコードによって示される機能の数が所定の数よりも多い場合に、データレコードによってマーカに関連付けられる機能から所定の数の機能を抽出する。機能抽出部１１０は、抽出された所定の数の機能を示す情報を機能情報出力部１１２に提供する。あるいは、機能抽出部１１０は、抽出された所定の数の機能を示す情報を、呼び出し機能決定部１１８に提供してもよい。この場合、抽出された所定の数の機能は、機能情報出力部１１２によるユーザへの問い合わせを経ずに自動的に呼び出されうる。機能抽出部１１０は、所定の数の機能を抽出するにあたり、データレコードに含まれるさまざまな情報を利用しうる。

例えば、機能抽出部１１０は、マーカ検出部１０４が、画像から第１のマーカおよび第２のマーカを含む複数のマーカを検出した場合に、データレコードによって第１のマーカにも第２のマーカにも関連付けられている機能を抽出してもよい。

また、例えば、機能抽出部１１０は、機能情報出力部１１２による情報提示の対象になるユーザ（例えば、現在の端末装置１００のユーザ）による機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによってマーカに関連付けられている機能を抽出してもよい。なお、端末装置１００が、特定のユーザがログインしていない状態で使用されているために情報提示の対象になるユーザが特定されない場合、上記のような抽出は実行されなくてもよい。

また、例えば、機能抽出部１１０は、現在時刻を含む時間帯おける機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによってマーカに関連付けられている機能を抽出してもよい。より具体的には、機能抽出部１１０は、端末装置１００において前日やさらに前の日の同じ時間帯に呼び出された機能を示す情報がユーザに提示されるように、機能を抽出してもよい。

また、例えば、機能抽出部１１０は、マーカ検出部１０４によって画像におけるマーカの位置が検出される場合に、検出されたマーカの位置と一致または近接する位置にあるマーカを用いた機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによってマーカに関連付けられている機能を抽出してもよい。また、例えば、機能抽出部１１０は、マーカ検出部１０４によって画像内にマーカを配置したユーザの手の大きさが検出される場合に、検出された手の大きさと一致または類似する大きさの手によって画像内に配置されたマーカを用いた機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによってマーカに関連付けられている機能を抽出してもよい。なお、こうした抽出の処理のより具体的な例については後述する。

呼び出し機能決定部１１８は、機能検索部１０６の検索によって発見されたデータレコードに基づいて、端末装置において呼び出される機能を決定する。例えば、呼び出し機能決定部１１８は、操作部１１６が取得したユーザの操作入力に基づいて、呼び出される機能を決定する。より具体的には、呼び出し機能決定部１１８は、機能情報出力部１１２によって提示された情報に含まれる複数の機能のうち、ユーザの操作によって選択された機能を呼び出すことを決定する。あるいは、機能検索部１０６の検索によって発見されたデータレコードによって示される機能、または機能抽出部１１０によって抽出された機能が、端末装置１００において実行可能な所定の数以下であれば、呼び出し機能決定部１１８は、ユーザの操作によらず、呼び出す機能を決定してもよい。

さらに、呼び出し機能決定部１１８は、呼び出す機能を決定した場合、当該機能の呼び出し履歴を、マーカを示す情報に関連付けて機能ＤＢ１０８に追加する。このとき、例えば上述した機能抽出部１１０の処理に用いられる、ユーザ、時刻、マーカの位置、およびマーカを配置した手の大きさなどの情報が、呼び出し履歴の情報に含まれうる。なお、後述するように、機能ＤＢ１０８では、必ずしも追加された呼び出し履歴ごとにデータレコードが生成されるわけではなく、例えば追加された呼び出し履歴の情報は、既に存在するデータレコードの更新に用いられうる。

機能実行部１２０は、呼び出し機能決定部１１８の決定に従って、端末装置１００の機能を呼び出して実行する。実行される機能には、端末装置１００において実行可能なあらゆる種類の機能が含まれうる。図示していないが、実行される機能において、撮像部１０２や表示部１１４、操作部１１６が利用されてもよい。また、実行される機能において、図示しない端末装置１００の通信部や、端末装置１００が保持している機能ＤＢ１０８以外のデータなどが利用されてもよい。

（１−２．端末装置の具体的な例）
次に、図２〜図５を参照して、本開示の第１の実施形態に係る端末装置のいくつかの具体的な例について説明する。

図２は、本開示の第１の実施形態に係る端末装置の第１の例を示す図である。図２を参照すると、端末装置１００ａは、スマートフォン、またはタブレット端末である。端末装置１００ａでは、筐体の前面側に設けられたディスプレイが表示部１１４ａとして機能する。また、図では隠れているが、筐体の背面側に設けられたカメラが撮像部１０２として機能する。カメラがとらえている実空間には、マーカＰが存在している。マーカ検出部１０４は、カメラがとらえた実空間の画像に含まれるマーカＰを検出する。ただし、この場合、カメラと実空間との位置関係が可変であるため、マーカ検出部１０４が画像におけるマーカの絶対的な位置を特定することは困難である（相対的な位置を特定することは可能である）。

図３は、本開示の第１の実施形態に係る端末装置の第２の例を示す図である。図３を参照すると、端末装置１００ｂは、テーブル（またはデスク）型の端末装置である。端末装置１００ｂは、透過領域をもつテーブルトップ（またはデスクトップ）１２５ｂを有する。端末装置１００ｂでは、テーブルトップ１２５ｂの下方に設置されたカメラが、撮像部１０２ｂとして機能する。より具体的には、カメラは、テーブルトップ１２５ｂの透過領域に置かれたマーカＰを含む画像を撮像する。また、端末装置１００ｂでは、テーブルトップ１２５ｂの下方に設置されたプロジェクタが、表示部１１４ｂとして機能する。なお、表示部１１４ｂは、テーブルトップ１２５ｂの透過領域に設置された透過型のディスプレイであってもよい。さらに、端末装置１００ｂでは、テーブルトップ１２５ｂの透過領域に設けられたタッチパネルが、操作部１１６ｂとして機能する。

図４は、本開示の第１の実施形態に係る端末装置の第３の例を示す図である。図４を参照すると、端末装置１００ｃは、テーブルの上方に設置される端末装置である。上記の第２の例とは異なり、端末装置１００ｃは、テーブルトップ（またはデスクトップ）１２５ｃを有するテーブル（またはデスク）とは独立している。テーブルトップ１２５ｃは、プロジェクタによる画像の投影が可能なものであればよく、第２の例のように透過領域を有さなくてもよい。端末装置１００ｃでは、テーブルトップ１２５ｃの上方に設置されたカメラが、撮像部１０２ｃおよび操作部１１６ｃとして機能する。より具体的には、カメラは、テーブルトップ１２５ｃに置かれたマーカＰを含む画像を撮像する。また、カメラは、テーブルトップ１２５ｃ上でのユーザの手などの動きを、操作入力として取得する。また、端末装置１００ｃでは、テーブルトップ１２５ｃの上方に置かれたプロジェクタが、表示部１１４ｂとして機能する。

上記で図３に示す第２の例と第３の例とでは、いくつかの共通点と相違点とがある。まず、共通点として、いずれの例でも、マーカＰがテーブルトップ１２５上に配置され、テーブルトップ１２５と端末装置のカメラとの位置関係が固定されているために、マーカ検出部１０４が画像におけるマーカの絶対的な位置を特定することが可能である。

一方、相違点として、第２の例ではテーブルトップ１２５ｂ上に配置されたマーカＰが下方からカメラによって撮像されるため、ユーザがマーカを視認することは難しい。これに対して、第３の例ではテーブルトップ１２５ｃ上に配置されたマーカＰが上方からカメラによって撮像されるため、ユーザもマーカＰを視認することができる。加えて、第２の例では、マーカＰをテーブルトップ１２５ｂ上に配置したユーザの手は、撮像部１０２ｂから見るとマーカＰの裏側にあたるため画像に捉えることが難しい。これに対して、第３の例では、マーカＰをテーブルトップ１２５ｃ上に配置したユーザの手が、カメラから見てマーカＰの表側にあたるため、撮像部１０２ｃがマーカＰとともにユーザの手を画像に捉えることができる。

また、第２の例に係る端末装置１００ｂは、カメラやプロジェクタがテーブルトップ１２５ｂの下方に設置され、またテーブルトップ１２５ｂにタッチパネルが設けられるため、テーブルと一体になった装置でありうる。これに対して、第３の例に係る端末装置１００ｃは、カメラやプロジェクタがテーブルトップ１２５ｃの上方に設置され、またカメラが操作部１１６ｃとして機能するため、装置はテーブルから独立している。

以下で説明される本実施形態の構成例は、例えば上記の３つの例に係る端末装置１００ａ，１００ｂ，１００ｃや、本明細書の説明から明らかなその他の端末装置にそれぞれ適用されうる。どのような端末装置１００にどの構成がより適するかは、上記の説明によって理解されるであろう。つまり、例えば、マーカ検出部１０４が画像におけるマーカＰの位置を検出することを含む構成は、上記の第２の例および第３の例に適する。また、例えば、マーカ検出部１０４がマーカＰを配置したユーザの手に関する情報を特定することを含む構成は、上記の第３の例に適する。

図５は、本開示の第１の実施形態における端末装置の利用形態の例を示す図である。図５を参照すると、端末装置１００ｃは、例えば上述した呼び出し機能の決定までの処理について、スタンドアロンで動作することが可能である。端末装置１００ｃは、単一のユーザによって専用されてもよいし、複数のユーザによって共用されてもよい。図示された例では、端末装置１００ｃが３人のユーザＵ１〜Ｕ３によって共用されている。

（１−３．関連付け操作の例）
図６は、本開示の第１の実施形態に係る端末装置を用いてマーカを登録する処理の例を示す図である。図６を参照すると、登録画面１０００には、マーカ配置領域１０１０と、撮影ボタン１０２０と、やり直しボタン１０３０とが含まれる。図示された例では、マーカとして、カードの表面のパターンが登録される。カードはどのようなものであってもよいが、例えば、ＩＣ（Integrated Circuit）カード、キャッシュカード、クレジットカード、メンバーカード、ポイントカードなどを利用することが可能である。

例えば、登録画面１０００が上記の第１の例における端末装置１００ａで表示される場合、登録画面１０００は、ディスプレイに表示されるライブビュー画像に重畳して表示され、マーカ配置領域１０１０にはライブビュー画像が透過的に表示される。ユーザは、端末装置１００ａの筐体を移動させてマーカ配置領域１０１０内にマーカとして登録したオブジェクトを配置した状態で撮影ボタン１０２０を押下する。オブジェクトがうまく認識されないなどのエラーが発生した場合には、やり直しボタン押下１０３０を押下して撮影をやり直す。

また、例えば、登録画面１０００が上記の第２の例における端末装置１００ｂで表示される場合、登録画面１０００は、テーブルトップ１２５ｂの透過領域に表示され、マーカ配置領域１０１０は透過した状態になる。ユーザは、マーカ配置領域１０１０内にオブジェクトを配置した状態で撮影ボタン１０２０を押下する。このとき、オブジェクトは、テーブルトップ１２５ｂの下方にマーカとして認識される面を向けた状態であるため、図示された例とは異なり、カードのパターンが裏向きになる。

また、例えば、登録画面１０００が上記の第３の例における端末装置１００ｃで表示される場合、登録画面１０００は、テーブルトップ１２５ｃに投影される。ユーザは、マーカ配置領域１０１０内にオブジェクトを配置した状態でボタン１０２０を押下する。このとき、オブジェクトは、テーブルトップ１２５ｃの上方にマーカとして認識される面を向けた状態であるため、図示された例のように、カードのパターンが表向きになっている。

図７は、本開示の第１の実施形態に係る端末装置を用いてマーカに機能を関連付ける処理の例を示す図である。図７を参照すると、関連付け画面１１００は、例えば何らかの機能（図示された例ではブラウザによるウェブサイトの表示）が実行された状態で、ユーザがメニューボタン１１１０を押下することによってメニュー項目ボタン１１２０を表示させ、さらにメニュー項目ボタン１１２０に含まれる「割り当て」などを示すボタンを押下することによって表示される。

関連付け画面１１００には、マーカアイコン１１３０が含まれる。マーカアイコン１１３０は、上記で図６を参照して説明したような登録処理によって既に登録されたマーカを表示している。ユーザは、マーカアイコン１１３０のいずれかを選択することによって、選択したマーカに現在（関連付け画面１１００を表示させる前に）実行されている機能を関連付けることができる。

なお、複数のマーカに同じ機能を関連付けることも可能である。現在呼び出されている機能に既に関連付けられているマーカを示すマーカアイコン１１３０ｒは、例えば他のアイコンとは異なる色や形などで表示されてもよい。また、ユーザが現在呼び出されている機能に関連付けたいマーカをまだ登録していない場合、新たなマーカの追加を示すマーカアイコン１１３０ｐを選択し、図６を参照して説明したような登録画面１０００を呼び出してもよい。

（１−４．データの例）
図８（図８Ａおよび図８Ｂ）は、本開示の第１の実施形態において機能ＤＢに格納されるデータレコードの例を示す図である。図８を参照すると、本実施形態において端末装置１００の機能ＤＢ１０８に格納されるデータレコード１０８０には、マーカ情報、機能情報、登録日時情報、利用時情報が要素として含まれる。以下、それぞれの要素についてさらに説明する。

マーカ情報は、上述したようなマーカの登録処理によって登録される。例えば、マーカ情報は、マーカの原画像と、原画像から抽出された特徴量とを含む。なお、図では特徴量が図形で示されているが、実際には特徴量は数値で記録されうる。マーカの原画像は、例えば上記で図６を参照して説明したような登録処理において撮影された画像に基づいて記録される。特徴量は、記録された原画像について所定の画像処理を実行することによって抽出される。なお、特徴量を抽出するための処理については、公知のさまざまな技術を利用することが可能であるため、詳細な説明は省略する。あるいは、マーカの原画像および特徴量は、プリインストールされたり、ネットワークを介してサーバから提供されてもよい。

機能情報は、上述のような機能の関連付け処理によって登録される。図示された例では機能情報が可読な文字列で示されているが、実際には、例えば呼び出し先のプログラムモジュール名などが記録されうる。図示された例では、データレコード１０８０ａ，１０８０ｂにおいて、１つのマーカに２つの機能が関連付けられている。また、データレコード１０８０ｆ〜１０８０ｈでは、１つのマーカに３つの機能が関連付けられている。このような場合に、機能情報出力部１１２によってユーザに提示される情報の例については後述する。

登録日時情報は、例えばマーカが最初に登録された日時を示してもよいし、マーカが最後に機能の呼び出しに使用された日時を示してもよい。

利用時情報は、例えば、ユーザ、時間帯、位置、または手の大きさの項目を含みうる。図示された例ではこれらの項目のすべてが利用時情報に含まれているが、これらのうちのいずれかだけが利用時情報に含まれてもよい。また、利用時情報は、後述するようにユーザに提示される機能または呼び出される機能を抽出するために利用されるため、例えばデータレコード１０８０ｃ〜１０８０ｅのように、マーカと機能とが１対１で関連付けられているような場合には、利用時情報は必ずしも必要ではない。他の例において、マーカに関連付けられる機能が１つに制限されているような場合も、利用時情報は必ずしもデータレコード１０８０に含まれなくてもよい。

なお、以下の説明では、端末装置１００の機能ＤＢ１０８に、図８に例示したようなデータレコード１０８０が格納されている場合を例として説明する。従って、以下の説明においても、図８に示された例を適時参照する。

（１−５．ユーザに提示される情報の例）
図９は、本開示の第１の実施形態において、ユーザに提示される情報の第１の例を示す図である。図９を参照すると、テーブルトップ１２５に、画像１２００が投影されている。画像１２００は、候補機能画像１２２０と、機能画像１２３０とを含む。

この例において、端末装置１００の撮像部１０２は、テーブルトップ１２５に置かれたオブジェクト１２１０（財布）を含む画像を撮像する。マーカ検出部１０４は、撮像された画像からオブジェクト１２１０をマーカとして検出する。さらに、機能検索部１０６が、機能ＤＢ１０８を検索して、オブジェクト１２１０をマーカとするデータレコード１０８０ｆ〜１０８０ｈを発見する。機能抽出部１１０は、これらのデータレコードによって示される機能から、ユーザに候補として提示する機能を抽出する。

図示された例において、画像１２００において候補機能画像１２２０としてユーザに提示することが可能な機能の数は３であるため、発見されたデータに含まれる３つの機能すべてが、ユーザに候補として提示するために抽出される。これを受けて、機能情報出力部１１２は、データレコード１０８０ｆ〜１０８０ｈによって示される３つの機能（家計簿アプリ、レシピ検索サイト、および食品通販サイト）を示す候補機能画像１２２０を、画像１２００においてユーザに提示する。

画像１２００において、ユーザが候補機能画像１２２０のいずれにタッチすると、その手の動きを操作部１１６（カメラ、またはテーブルトップ１２５上のタッチパネル）が検出し、これに応じて呼び出し機能決定部１１８が、タッチされた候補機能画像１２２０に対応する機能を呼び出すことを決定する。機能画像１２３０は、呼び出し機能決定部１１８の決定に応じて機能実行部１２０が機能を実行した場合に、表示部１１４によって表示される。

なお、上記の例では、画像１２００において表示される候補機能画像１２２０が、ユーザが呼び出す機能を選択した後も引き続き表示されている。これによって、ユーザは、機能画像１２３０によって第１の機能を利用した後に、別の候補機能画像１２２０をさらに選択して、第２の機能を利用することが可能である。

図９の例においてより具体的に説明すると、例えば、買い物から帰ってきたユーザがテーブルトップ１２５に財布（オブジェクト１２１０）を置くと、画像１２００が表示される。ここで、ユーザは、まず候補機能画像１２２０の中から家計簿アプリ（データレコード１０８０ｆによってオブジェクト１２１０に関連付けられている）を選択して買い物の内容を記録する。次に、ユーザは、引き続き表示されている候補機能画像１２２０の中からレシピ検索サイト（データレコード１０８０ｇによってオブジェクト１２１０に関連付けられている）を選択して買い物の内容に応じた夕食のレシピを検索する。さらに、ユーザは、レシピの検索中やレシピをもとに調理を開始した後に、在庫が切れかけている食材があることに気付いた場合には、なおも表示されている候補機能画像１２２０の中から食品通販サイト（データレコード１０８０ｈによってオブジェクト１２１０に関連付けられている）を選択して食材を注文してもよい。

このように、同じオブジェクトに関連付けられた複数の機能は、利用時情報やユーザの操作入力などに応じて選択的に実行されてもよいし、上記の例のように並行して、または交互に実行されてもよい。この場合、機能情報出力部１１２は、呼び出し機能決定部１１８によって呼び出される機能が決定された後もＵＩ情報を継続的に出力してもよい。

図１０は、本開示の第１の実施形態において、ユーザに提示される情報の第２の例を示す図である。図１０を参照すると、テーブルトップ１２５に、画像１３００が投影されている。画像１３００は、機能画像１３３０を含む。

この例において、端末装置１００の撮像部１０２は、テーブルトップ１２５に置かれたオブジェクト１３１０ａ〜１３１０ｃ（いずれも店舗のポイントカード）を含む画像を撮像する。マーカ検出部１０４は、撮像された画像からオブジェクト１３１０ａ〜１３１０ｃをマーカとして検出する。さらに、機能検索部１０６が、機能ＤＢ１０８を検索して、オブジェクト１３１０ａ〜１３１０ｃをマーカとするデータレコード１０８０ｃ〜１０８０ｅを発見する。

ここで、データレコード１０８０ｃ〜１０８０ｅでは、いずれもマーカと機能とが１対１で関連付けられている。そこで、端末装置１００では、機能抽出部１１０および機能情報出力部１１２の処理がスキップされ、呼び出し機能決定部１１８によって、これらのマーカに対応する機能を呼び出すことが決定される。機能画像１３３０ａ〜１３３０ｃは、呼び出し機能決定部１１８の決定に応じて機能実行部１２０が機能（チラシサイトＡ〜Ｃ）を実行した場合に、表示部１１４によって表示される。

上記の例のように、機能ＤＢ１０８に格納されたデータレコードにおいて、マーカと機能とが１対１で関連付けられている場合、機能検索部１０６による検索によって発見された機能が、そのまま機能実行部１２０によって端末装置１００において実行される機能として決定されてもよい。また、上記の例のように、撮像部１０２が撮像した画像において複数のマーカが認識された場合、マーカ検出部１０４、機能検索部１０６、呼び出し機能決定部１１８、および機能実行部１２０は、それぞれのマーカについて並行して処理を実行して、複数の機能を同時に実行してもよい。

別の例として、撮像部１０２が撮像した画像において複数のマーカが認識された場合、機能情報出力部１１２によって、どのマーカに関連付けられた機能を呼び出すかを問い合わせる情報が出力され、呼び出し機能決定部１１８は、操作部１１６を介して取得されたユーザの操作に従って、複数のマーカのうちのいずれかに関連付けられた機能を選択的に呼び出すことを決定してもよい。

図１１は、本開示の第１の実施形態において、ユーザに提示される情報の第３の例を示す図である。図１１を参照すると、テーブルトップ１２５に、画像１４００が投影されている。画像１４００は、機能画像１４３０ａ，１４３０ｂを含む。

この例において、端末装置１００の撮像部１０２は、テーブルトップ１２５に置かれたオブジェクト１４１０（ランチプレート）を含む画像を撮像する。マーカ検出部１０４は、撮像されたオブジェクト１４１０をマーカとして検出する。さらに、機能検索部１０６が、機能ＤＢ１０８を検索して、オブジェクト１４１０をマーカとするデータレコード１０８０ｉを発見する。

ここで、データレコード１０８０ｉでは、マーカと機能とが１対１で関連付けられている。そこで、端末装置１００では、機能抽出部１１０および機能情報出力部１１２の処理がスキップされ、呼び出し機能決定部１１８によって、オブジェクト１４１０のマーカに対応する機能を呼び出すことが決定される。機能画像１４３０ａ，１４３０ｂは、呼び出し機能決定部１１８の決定に応じて機能実行部１２０が機能（レシピ選択アプリ）を実行した場合に、表示部１１４によって表示される。図示された例のように、機能画像１４３０が、単一の機能について２つ以上表示されてもよい。

図１２は、本開示の第１の実施形態において、ユーザに提示される情報の第４の例を示す図である。図１２を参照すると、テーブルトップ１２５に、画像１５００が投影されている。画像１５００は、機能画像１５３０ａ，１５３０ｂを含む。

この例において、端末装置１００の撮像部１０２は、テーブルトップ１２５に置かれたオブジェクト１５１０（カップ麺の容器）を含む画像を撮像する。マーカ検出部１０４は、撮像されたオブジェクト１５１０をマーカとして検出する。さらに、機能検索部１０６が、機能ＤＢ１０８を検索して、オブジェクト１５１０をマーカとするデータレコード１０８０ｊを発見する。

ここで、データレコード１０８０ｊでは、マーカと機能とが１対１で関連付けられている。そこで、端末装置１００では、機能抽出部１１０および機能情報出力部１１２の処理がスキップされ、呼び出し機能決定部１１８によって、オブジェクト１５１０のマーカに対応する機能を呼び出すことが決定される。機能画像１５３０ａ，１５３０ｂは、呼び出し機能決定部１１８の決定に応じて機能実行部１２０が機能（ラーメンタイマー）を実行した場合に、表示部１１４によって表示される。

図示された例のように、オブジェクト１５１０は、必ずしも例えば財布やカードのように偏平なオブジェクトでなくてもよく、例えばオブジェクト１５１０のように高さのあるオブジェクトであってもよい。このような場合も、例えばラベルの面が撮像部１０２に向くようにオブジェクトを配置することによって、オブジェクト１５１０をマーカとして利用することが可能である。

図１３は、本開示の第１の実施形態において、ユーザに提示される情報の第５の例を示す図である。図１３Ａを参照すると、まず、テーブルトップ１２５に、オブジェクト１６１０ａ（ペンケース）が置かれる。このとき、端末装置１００の撮像部１０２は、オブジェクト１６１０ａを含む画像を撮像する。マーカ検出部１０４は、撮像された画像からオブジェクト１６１０ａをマーカとして検出する。さらに、機能検索部１０６が、機能ＤＢ１０８を検索して、オブジェクト１６１０ａをマーカとするデータレコード１０８０ｋ，１０８０ｍを発見する。

データレコード１０８０ｋ，１０８０ｍでは、オブジェクト１６１０ａに２つの機能（宿題アプリと、給食表をスキャンしたメモ）が関連付けられている。テーブルトップ１２５上に投影される画像１６００では、候補機能画像１６２０としてユーザに提示することが可能な機能の数が２以上であるため、上記の２つの機能はいずれも候補機能画像１６２０として画像１６００に表示される。

次に、ユーザは、候補機能画像１６２０のうちのいずれかを選択することなく、図１３Ｂに示すように、さらにオブジェクト１６１０ｂ（ノート）をテーブルトップ１２５に置く。このとき、端末装置１００の撮像部１０２は、オブジェクト１６１０ａ，１６１０ｂの２つを含む画像を撮像する。マーカ検出部１０４は、撮像された画像からオブジェクト１６１０ａ，１６１０ｂをマーカとして検出する。さらに、機能検索部１０６が、機能ＤＢ１０８を検索して、オブジェクト１６１０ａ，１６１０ｂをマーカとするデータレコード１０８０ｋ〜１０８０ｐを発見する。

上記の通り、データレコード１０８０ｋ，１０８０ｍでは、オブジェクト１６１０ａに２つの機能（宿題アプリと、給食表をスキャンしたメモ）が関連付けられている。一方、データレコード１０８０ｎ，１０８０ｐでも、オブジェクト１６１０ｂに２つの機能（宿題アプリと、宿題検索サイト）が関連付けられている。ここで、データレコード１０８０ｋとデータレコード１０８０ｍでは、同じ機能（宿題アプリ）に、２つのマーカ（オブジェクト１６１０ａ，１６１０ｂ）が関連付けられている。図示された例では、当該２つのマーカ（オブジェクト１６１０ａ，１６１０ｂ）の両方が検出されているため、これらのマーカに共通して関連付けられている機能（宿題アプリ）が呼び出される可能性が高いと推定することができる。

そこで、呼び出し機能決定部１１８は、データレコード１０８０ｋ，１０８０ｎに基づいて、宿題アプリの機能を呼び出すことを決定する。機能実行部１２０は、呼び出し機能決定部１１８の決定に基づいて機能（宿題アプリ）を実行する。これによって、図１３Ｂに示すように、画像１６００では、候補機能画像１６２０に代わって、機能画像１６３０が表示される。

（１−６．利用時情報の例）
図８を参照して説明したように、本実施形態において、端末装置１００の機能ＤＢ１０８に格納されるデータレコード１０８０には、利用時情報が含まれうる。利用時情報は、登録されたマーカが機能を呼び出すために利用された場合に、利用したユーザや、利用された時間帯などの情報を記録したものである。利用時情報に記録される値は、例えばマーカが複数回利用された場合には、それぞれの利用時の平均値であってもよい。あるいは、利用時情報は、マーカが所定の回数以上利用された結果、ユーザや時間帯などに所定の強さ以上の傾向が現れた項目に限って記録されてもよい（それまでは、機能の選択には用いられない情報として別途保持されていてもよい）。同じマーカを利用して同じ機能が呼び出された場合であっても、利用時情報に複数の傾向が現れた場合には、データレコード１０８０のデータレコードが複数生成されてもよい。

上記の図８の例でいうと、例えば利用時情報におけるユーザの情報は、マーカを利用して機能が呼び出されたときに端末装置１００にログインしていたユーザを示す。例えば、データレコード１０８０ａ，１０８０ｂに示される同じカードのマーカの場合、ログインしているユーザが「父」であれば呼び出される機能が「列車運行情報サイト」であり、ログインしているユーザが「息子」であれば呼び出される機能が「ポイントカードのウェブサイト」である可能性が高いことが、利用時情報に基づいて推定できる。なお、端末装置１００がログインを必要とせず、複数のユーザ（例えば家族）によって自由に共用されるような場合には、ユーザの情報は取得されず、また記録されなくてもよい。

また、利用時情報における時間帯の情報は、マーカを利用して機能が呼び出された時間帯を示す。例えば、データレコード１０８０ａ，１０８０ｂに示されるカードのマーカの場合、上記のようなログインユーザに基づく推定とは別に、時間帯が「朝」であれば呼び出される機能が「列車運行情報サイト」であり、時間帯が「午後」であれば呼び出される機能が「ポイントカードのウェブサイト」である可能性が高いことが推定できる。

図１４および図１５は、本開示の第１の実施形態における利用時情報に含まれる位置の情報の例について説明するための図である。図示された例では、図１４Ａに示されるように、テーブルトップ１２５の周りに、父（Ｆ）、娘（Ｄ）、母（Ｍ）、および息子（Ｓ）が、ほぼ固定された位置で日常的に座る。このような場合、例えば図１４Ｂに示すように、テーブルトップ１２５上に、左（Ｌ）、右（Ｒ）、上（Ｔ）、および下（Ｂ）の領域を設定することによって、マーカとして扱われるオブジェクトが上記の４人のユーザのうちの誰によってテーブルトップ１２５上に置かれたかを推測することが可能でありうる。

より具体的には、例えば、図１５Ａに示すように、マーカＰが父（Ｆ）によってテーブルトップ１２５に置かれた場合、マーカＰの位置は図１４Ｂに示した左（Ｌ）の領域に含まれる可能性が高い。また、図１５Ｂに示すように、マーカＰが母（Ｍ）によってテーブルトップ１２５に置かれた場合、マーカＰの位置は図１４Ｂに示した下（Ｂ）の領域に含まれる可能性が高い。

なお、上記の例において、必ずしも、マーカＰの位置からユーザを一意に特定したり、ユーザが誰であるかを具体的に推定する必要はない。例えば、マーカＰが母（Ｍ）によってテーブルトップ１２５に置かれた場合も、娘（Ｄ）によってテーブルトップ１２５に置かれた場合も、マーカＰの位置は図１４Ｂに示した下（Ｂ）の領域に含まれる可能性が高い。この場合、マーカＰを置いたのが母（Ｍ）であるか娘（Ｄ）であるかが、位置の情報に基づいて判定されなくてもよい。例えば、別の手段で、そのマーカＰを使用するのが母（Ｍ）か父（Ｆ）のどちらかであることが判明していれば、下（Ｂ）の領域にマーカＰが置かれた場合には、マーカＰを置いたのが母であると推定することができる。

図１６は、本開示の第１の実施形態における利用時情報における手の大きさの情報の例について説明するための図である。図示された例では、例えば、図１６Ａに示すように、マーカＰが娘（Ｄ）によってテーブルトップ１２５に置かれた場合の娘の手Ｈ_Ｄの大きさと、図１６Ｂに示すように、マーカＰが母（Ｍ）によってテーブルトップ１２５に置かれた場合の母の手Ｈ_Ｍの大きさとが識別される。これによって、例えば、上記で図１５を参照して説明した例において、マーカＰの位置が下（Ｂ）の領域である場合に、手の大きさによって、マーカＰを置いたのが母（Ｍ）であるか娘（Ｄ）であるかを判定することができる。あるいは、マーカＰの位置に関わらず、手の大きさによってマーカＰをテーブルトップ１２５に置いたユーザを識別してもよい。

（２．第２の実施形態）
図１７は、本開示の第２の実施形態に係るシステムの概略的な機能構成を示すブロック図である。図１７を参照すると、システム１０は、端末装置２００およびサーバ２５０を含む。端末装置２００は、撮像部１０２と、表示部１１４と、操作部１１６と、機能実行部１２０と、通信部１２２とを含む。サーバ２５０は、マーカ検出部１０４と、機能検索部１０６と、機能ＤＢ１０８と、機能抽出部１１０と、機能情報出力部１１２と、呼び出し機能決定部１１８と、通信部１５２とを含む。

本実施形態では、上記の第１の実施形態において端末装置１００によって実現された機能が、端末装置２００とサーバ２５０とに分散して実現される。より具体的には、撮像部１０２、表示部１１４、操作部１１６、および機能実行部１２０といった入力／出力に関する機能が端末装置２００において実現され、マーカ検出部１０４、機能検索部１０６、呼び出し機能決定部１１８などの情報処理機能がサーバ２５０において実現される。なお、個々の機能構成については、第１の実施形態において説明されたものと同様であるため、詳細な説明は省略する。

端末装置２００とサーバ２５０とは、通信部１２２，１５２、およびネットワークを介して通信する。通信部１２２，１５２は、例えば有線または無線の各種通信装置によって実現される。端末装置２００は、例えば第１の実施形態で説明した端末装置１００ａ〜１００ｃと同様の装置でありえ、後述する情報処理装置のハードウェア構成によって実現されうる。サーバ２５０は、例えば１または複数のサーバ装置によって構成され、個々のサーバ装置は、後述する情報処理装置のハードウェア構成によって実現されうる。

図示されているように、サーバ２５０において、通信部１５２は、外部装置である端末装置２００から、マーカを含む画像を受信する。また、通信部１５２は、呼び出し機能決定部１１８によって呼び出すことが決定された機能を示す情報を、外部装置である端末装置２００に送信する。

図１８は、本開示の第２の実施形態における端末装置およびサーバの利用形態の例を示す図である。図１８を参照すると、サーバ２５０は、複数の端末装置２００にサービスを提供する。それぞれの端末装置２００は、単一のユーザによって専用されてもよいし、複数のユーザによって共用されてもよい。なお、図示された端末装置２００ａ〜２００ｃは、第１の実施形態で説明した端末装置１００ａ〜１００ｃと同様の装置である。サーバ２５０において、機能ＤＢ１０８には、端末装置２００ごと、またはユーザごとにデータが格納され、各端末装置２００または各ユーザは、自身の登録または利用によって生成されたデータレコードを利用する。なお、他の例では、次に説明する第３の実施形態のように、サーバ２５０の機能ＤＢ１０８に格納されたデータが、ユーザ間または端末装置間で共有されてもよい。

（３．第３の実施形態）
（３−１．機能構成）
図１９は、本開示の第３の実施形態に係るシステムの概略的な機能構成を示すブロック図である。図１９を参照すると、システム２０は、端末装置３００と、サーバ３５０とを含む。端末装置３００は、撮像部１０２と、マーカ検出部１０４と、機能検索部１０６と、機能ＤＢ１０８と、機能抽出部１１０と、機能情報出力部１１２と、表示部１１４と、操作部１１６と、呼び出し機能決定部１１８と、機能実行部１２０と、通信部１２２とを含む。サーバ３５０は、通信部１５２と、機能ＤＢ１５４とを含む。

端末装置３００において実現される機能は、上記の第１の実施形態とほぼ同様である。ただし、本実施形態では、機能検索部１０６が、機能ＤＢ１０８において、マーカ検出部１０４によって検出されたマーカに対応する機能の情報を発見できなかった場合、通信部１２２を介してサーバ３５０の機能ＤＢ１５４を検索する。機能ＤＢ１５４には、端末装置３００とは異なる他の端末装置においてマーカに関連付けられた機能の情報が格納されている。機能ＤＢ１５４において上記マーカに対応する機能が発見された場合、機能検索部１０６は、発見された機能に関する情報を機能ＤＢ１０８で発見された情報と同様に扱う。複数の機能に関する情報が発見された場合には、機能抽出部１１０および機能情報出力部１１２によって、ユーザによる機能の選択のための情報が出力されうる。

また、呼び出し機能決定部１１８は、機能検索部１０６によってサーバ３５０の機能ＤＢ１５４から検索された情報によって示される機能、またはその機能の中からユーザによって選択された機能を呼び出すことを決定する。呼び出し機能決定部１１８は、呼び出す機能を決定した場合、当該機能の呼び出し履歴を、マーカを示す情報に関連付けて機能ＤＢ１５４に追加する。なお、機能ＤＢ１５４では、必ずしも追加された呼び出し履歴ごとにデータレコードが生成されるわけではなく、例えば追加された呼び出し履歴の情報は、既に存在するデータレコードの更新に用いられうる。

サーバ３５０では、機能ＤＢ１５４において、端末装置３００を含む複数の端末装置で過去にマーカに関連付けて呼び出された機能を示す情報が格納されている。端末装置３００は、例えば機能ＤＢ１０８においてマーカに対応する機能が発見できなかった場合であっても、サーバ３５０の機能ＤＢ１５４に格納された、他の端末装置における機能の呼び出し履歴を検索することによって、マーカに対応する機能を発見できる可能性がある。なお、後述するように、サーバ３５０で機能ＤＢ１５４に格納されるデータレコードの要素は、端末装置３００で機能ＤＢ１０８に格納されるデータレコードの要素とは異なりうる。

つまり、本実施形態において、端末装置３００の機能は、他の端末装置と共通の機能を含み、サーバ３５０の機能ＤＢ１５４に格納されるデータレコードは、他の端末装置におけるマーカを用いた機能（端末装置３００と他の端末装置とに共通の機能）の呼び出し履歴に基づいて生成される情報を含む。

本実施形態におけるデータレコードには、端末装置３００の機能ＤＢ１０８に格納されるデータレコード（第１のデータレコード）と、サーバ３５０の機能ＤＢ１５４に格納されるデータレコード（第２のデータレコード）とが含まれ、機能検索部１０６は、検索によって第１のデータレコードが発見されなかった場合に、第２のデータレコードの検索を実行する。

（３−２．データの例）
図２０は、本開示の第３の実施形態においてサーバの機能ＤＢに格納されるデータの例を示す図である。図２０を参照すると、本実施形態においてサーバ３５０の機能ＤＢ１５４に格納されるデータレコード１５４０には、マーカ特徴量情報、機能情報、登録日時情報、優先フラグ、および時間帯情報の要素が含まれる。以下、それぞれの要素についてさらに説明する。

マーカ特徴量は、マーカの原画像から抽出された特徴量である。データレコード１５４０は、複数の端末装置３００において登録されたマーカの情報に基づいて生成されるため、マーカ特徴量は、複数の端末装置３００において登録されたマーカの原画像（画像情報）から抽出された特徴量の平均値でありうる。データレコード１５４０は端末装置間で共有されるため、プライベートな情報を含む可能性があるマーカの原画像は、データレコード１５４０には含まれなくてもよい。データレコード１５４０では、原画像が含まれないのに加えて、特徴量が平均化されることによって、プライベートな情報（例えばカードに記載された個人名など）を示す情報がマスクされ、匿名化された状態でデータを蓄積することができる。つまり、本実施形態において、第２のデータレコード（サーバ３５０の機能ＤＢ１５４に格納される）は、マーカの情報を、第１のデータレコード（端末装置３００の機能ＤＢ１０８に格納される）よりも匿名化された形で含む。

機能情報は、複数の端末装置３００における機能の関連付け処理によって記録される。上記の図８の例と同様に、実際の機能情報は必ずしも図示されているような可読な文字列ではない。図示された例では、データレコード１５４０ａ〜１５４０ｃで第１のマーカ（病院の診察カード）に対して３つの機能が関連付けられ、データレコード１５４０ｄ，１５４０ｅで第２のマーカ（食品包装）に対して２つの機能が関連付けられ、データレコード１５４０ｆ〜１５４０ｈで第３のマーカ（べつの食品包装）に対して３つの機能が関連付けられている。データレコード１５４０ｂ，１５４０ｃによって示されるように、同じ機能についても、後述する時間帯情報などが異なれば、複数のデータレコードが生成されうる。

登録日時情報は、例えばマーカが最初に登録された日時を示してもよいし、マーカが最後に機能の呼び出しに使用された日時を示してもよい。

優先フラグは、例えばサービス管理者によって意図的に特定のデータに与えられるフラグである。例えば、データレコード１５４０ｄは、食品包装のマーカによって、食品メーカのキャンペーンアプリを起動することを示す。このデータレコードについて、サービス提供者が優先フラグを設定している。つまり、このデータレコードは、サービス提供者が食品メーカから依頼された広告のために利用されるデータレコードである。

時間帯情報は、複数の端末装置３００のそれぞれにおいてマーカが機能の呼び出しに使用された場合に記録される。マーカに複数の機能が関連付けられている場合、時間帯情報と現在時刻とを照合することによって、どの機能が呼び出されているかを推定することが可能である。時間帯情報は、上記で図８を参照して説明した機能ＤＢ１０８のデータレコード１０８０の例と同様に、マーカが所定の回数以上利用された結果、利用される時間帯に所定の強さ以上の傾向が現れた場合に限って記録されてもよい（それまでは、機能の選択には用いられない情報として別途保持されていてもよい）。

（３−３．ユーザに提示される情報の例）
図２１は、本開示の第３の実施形態において、ユーザに提示される情報の例を示す図である。図２１を参照すると、テーブルトップ１２５に、画像１７００が投影されている。画像１７００は、候補機能画像１７２０と、機能画像１７３０とを含む。

この例において、端末装置３００の撮像部１０２は、テーブルトップ１２５に置かれたオブジェクト１７１０（食品包装）を含む画像を撮像する。マーカ検出部１０４は、撮像された画像からオブジェクト１７１０をマーカとして検出する。しかし、機能検索部１０６がローカルの機能ＤＢ１０８を検索しても、オブジェクト１７１０をマーカとするデータレコードは発見されなかった。そこで、機能検索部１０６は、さらにサーバ３５０の機能ＤＢ１５４を検索する。機能ＤＢ１５４においてオブジェクト１７１０をマーカとするデータレコード１５４０ｆ〜１５４０ｈ）が発見されたため、機能検索部１０６はこれらの情報を機能抽出部１１０に提供する。

図示された例において、画像１７００で候補機能画像１７２０としてユーザに提示することが可能な機能の数は３であるため、発見されたデータに含まれる３つの機能すべてが、ユーザに候補として提示するために抽出される。これを受けて、機能情報出力部１１２は、データレコード１５４０ｆ〜１５４０ｈによって示される３つの機能（レシピ検索サイト、口コミサイト、および製品サイト）を示す候補機能画像１７２０を、画像１７００においてユーザに提示する。例えば上記で図９を参照して説明した例と同様に、ユーザは、候補機能画像１７２０のいずれかにタッチすることによって、対応する機能を呼び出し、機能画像１７３０を表示させることが可能である。

（３−４．機能抽出処理の例）
図２２は、本開示の第３の実施形態におけるローカル情報の抽出処理の例を示すフローチャートである。なお、本明細書では、システム２０において端末装置３００の機能ＤＢ１０８に格納されている情報をローカル情報ともいう。

上記のように、端末装置３００において撮像部１０２が画像を撮像し、マーカ検出部１０４が画像に含まれるマーカを検出した場合、機能検索部１０６が、機能ＤＢ１０８におけるデータレコードの検索を実行する。ここで、ローカル、つまり端末装置３００の機能ＤＢ１０８において、マーカに関連付けられたデータレコードが発見された場合（Ｓ１０１のＹＥＳ）、機能抽出部１１０は、発見されたデータレコードによって示される機能が、所定の数以下であるか否かを判定する（Ｓ１０３）。ここで、所定の数は、例えば、表示部１１４が表示させる画像において、候補機能画像として表示させることが可能な機能の数でありうる。

Ｓ１０３において、機能が所定の数以下であった場合（ＹＥＳ）、機能情報出力部１１２が、発見された機能のすべてを、候補機能として表示部１１４に表示させる（Ｓ１１９）。一方、発見された機能が所定の数を超えている場合（Ｓ１０３のＮＯ）、機能抽出部１１０による機能の絞り込みが実行される。

まず、機能抽出部１１０は、画像に含まれる複数のマーカを用いて機能を所定の数以下まで絞り込むことが可能であるか否かを判定する（Ｓ１０５）。ここでは、例えば上記で図１３を参照して説明した例のように、画像に複数のマーカが含まれ、それぞれのマーカに共通して関連付けられている機能が存在する場合に、その機能が呼び出される可能性が高いことを利用して機能が絞り込まれる。絞り込みが可能であれば（Ｓ１０５のＹＥＳ）、機能抽出部１１０は機能の絞り込みを実行し（Ｓ１１７）、機能情報出力部１１２が絞り込まれた機能を候補機能として表示部１１４に表示させる（Ｓ１１９）。

一方、Ｓ１０５において、画像に含まれる複数のマーカを用いて機能を所定の数以下まで絞り込むことが可能ではなかった場合（ＮＯ）、機能抽出部１１０は、次の条件による絞り込みの判定に移行する。なお、このとき、複数のマーカを用いた絞り込み自体が可能ではなかった場合（例えば、画像に単一のマーカしか含まれていなかったり、複数のマーカに関連付けられた機能がなかった場合）を除き、複数のマーカを用いた絞り込みの結果は、後続の絞り込み処理において活用される。

次の条件として、機能抽出部１１０は、ログインユーザに基づいて機能を所定の数以下まで絞り込むことが可能であるか否かを判定する（Ｓ１０７）。ここでは、例えば上記で図８を参照して説明した例のように、機能ＤＢ１０８のデータに利用時情報としてユーザの情報が含まれ、端末装置３００がログインしたユーザによって使用されている場合に、ログインしているユーザと利用時情報のユーザとを照合することによって機能が絞り込まれる。絞り込みが可能であれば（Ｓ１０７のＹＥＳ）、機能抽出部１１０は、機能の絞り込みを実行し（Ｓ１１７）、機能情報出力部１１２が絞り込まれた機能を候補機能として表示部１１４に表示させる（Ｓ１１９）。

Ｓ１０７において、ログインユーザに基づいて機能を所定の数以下まで絞り込むことが可能ではなかった場合（ＮＯ）、機能抽出部１１０は、さらに次の条件による絞り込みの判定に移行する。なお、このとき、ログインユーザを用いた絞り込み自体が可能ではなかった場合（例えば、ユーザがログインしていなかったり、特定のユーザに関連付けられた機能がなかった場合）を除き、ログインユーザを用いた絞り込みの結果は、後続の絞り込み処理において活用される。

以下、同様に、時間帯（Ｓ１０９）、マーカ位置（Ｓ１１１）、および手の大きさ（Ｓ１１３）に基づいて機能を所定の数以下まで絞り込むことが可能であるか否かの判定が実行される。これらの情報の具体的な例は、例えば図８、図１４、および図１５などにおいて説明されている。先に現れる条件によって機能が所定の数以下まで絞り込まれなかった場合に、次の条件による判定が実行される点は、上記のＳ１０５およびＳ１０７と同様である。

Ｓ１１３において、手の大きさに基づいて機能を所定の数以下まで絞り込むことも可能ではなかった場合（ＮＯ）、機能抽出部１１０は、機能ＤＢ１０８のデータに含まれる登録日時の情報に基づく絞り込みを実行する（Ｓ１１５）。より具体的には、機能抽出部１１０は、登録されている機能を、例えば登録日時が新しい順に、候補として表示可能な所定の数まで絞り込む。所定の数まで絞り込まれた機能は、機能情報出力部１１２によって、候補機能として表示部１１４に表示される（Ｓ１１９）。

一方、Ｓ１０１の判定において、ローカル、つまり端末装置３００の機能ＤＢ１０８において、マーカに関連付けられた機能の登録がなかった場合（Ｓ１０１のＮＯ）、機能検索部１０６は、サーバ３５０の機能ＤＢ１５４で機能情報を検索する（Ｓ１２１）。ここで、機能ＤＢ１５４で機能情報が発見された場合も、上記でＳ１０３〜Ｓ１１７を参照して説明した例と同様に機能が所定の数まで絞り込まれる。なお、このときの絞り込みの処理の詳細については、この後より詳しく説明する。

図２３は、本開示の第３の実施形態におけるサーバ情報の抽出処理の例を示すフローチャートである。なお、本明細書では、システム２０においてサーバ３５０の機能ＤＢ１５４に格納されている情報をサーバ情報ともいう。

上記で図２０を参照して説明した処理において、端末装置３００の機能ＤＢ１０８において、マーカに関連付けられた機能が発見されなかった場合、機能検索部１０６が、通信部１２２を介して、サーバ３５０の機能ＤＢ１５４におけるデータレコードの検索を実行する。ここで、サーバ３５０の機能ＤＢ１５４において、マーカに関連付けられたデータレコードが発見された場合（Ｓ２０１のＹＥＳ）、機能抽出部１１０は、発見されたデータレコードによって示される機能が、所定の数以下であるか否かを判定する（Ｓ２０３）。ここで、所定の数は、例えば、表示部１１４が表示させる画像において、候補機能画像として表示させることが可能な機能の数でありうる。

Ｓ２０３において、機能が所定の数以下であった場合（ＹＥＳ）、機能情報出力部１１２が、発見された機能のすべてを、候補機能として表示部１１４に表示させる（Ｓ２１５）。一方、発見された機能が所定の数を超えている場合（Ｓ２０３のＮＯ）、機能抽出部１１０による機能の絞り込みが実行される。上述した例のように、機能ＤＢ１０８におけるデータレコードの要素と、機能ＤＢ１５４におけるデータレコードの要素とは異なりうるため、絞り込みの処理も以下に説明するようにローカル情報に対する処理とは異なりうる。

まず、機能抽出部１１０は、優先フラグを用いて機能を所定の数以下まで絞り込むことが可能であるか否かを判定する（Ｓ２０５）。ここでは、例えば上記で図２０を参照して説明した例のように、機能ＤＢ１５４に格納されたデータレコードに優先フラグが要素として含まれる場合に、優先フラグが設定された情報が優先的に候補機能として抽出される。絞り込みが可能であれば（Ｓ２０５のＹＥＳ）、機能抽出部１１０は機能の絞り込みを実行し（Ｓ２１１）、機能情報出力部１１２が絞り込まれた機能を候補機能として表示部１１４に表示させる（Ｓ２１５）。

一方、Ｓ２０５において、優先フラグを用いて機能を所定の数以下まで絞り込むことが可能ではなかった場合（ＮＯ）、機能抽出部１１０は、次の条件による絞り込みの判定に移行する。なお、このとき、優先フラグを用いた絞り込み自体が可能ではなかった場合（例えば、優先フラグが設定されたデータレコードがなかったような場合）を除き、優先フラグを用いた絞り込みの結果は、後続の絞り込み処理において活用される。

次の条件として、機能抽出部１１０は、登録数に基づいて機能を所定の数以下まで絞り込むことが可能であるか否かを判定する（Ｓ２０７）。ここでは、サーバ３５０の機能ＤＢ１５４におけるデータレコードの登録数に基づいて、機能が絞り込まれる。つまり、機能抽出部１１０は、より多くの端末装置におけるマーカを用いた機能の呼び出し履歴に基づいて生成される情報を含むデータレコード（データレコード自体の数は必ずしも関係がない）によってマーカに関連付けられている機能を抽出する。機能ＤＢ１５４では、端末装置３００を含む複数の端末装置においてマーカを用いて機能が呼び出されることによって、データレコードが登録されうる。従って、登録数が多いマーカと機能との組み合わせは、より多くの端末装置において利用されているといえ、この組み合わせがユーザに受け入れられる可能性は高いと推定される。絞り込みが可能である場合、機能抽出部１１０は機能の絞り込みを実行し（Ｓ２１１）、機能情報出力部１１２が絞り込まれた機能を候補機能として表示部１１４に表示させる（Ｓ２１５）。

以下、同様に、時間帯に基づいて機能を所定の数以下まで絞り込むことが可能であるか否かの判定が実行される（Ｓ２０９）。Ｓ２０９において、時間帯に基づいて機能を所定の数以下まで絞り込むことも可能ではなかった場合（ＮＯ）、機能抽出部１１０は、機能ＤＢ１５４のデータに含まれる登録日時の情報に基づく絞り込みを実行する（Ｓ２１３）。より具体的には、機能抽出部１１０は、登録されている機能を、例えば登録日時が新しい順に、候補として表示可能な所定の数まで絞り込む。所定の数まで絞り込まれた機能は、機能情報出力部１１２によって、候補機能として表示部１１４に表示される（Ｓ２１５）。

一方、Ｓ２０１の判定において、サーバ３５０の機能ＤＢ１５４でもマーカに関連付けられた機能の登録がなかった場合（Ｓ２０１のＮＯ）、機能情報出力部１１２が、候補になる機能がない旨の通知を表示部１１４に表示させる（Ｓ２１７）。

図２４は、本開示の第３の実施形態に係るシステムの構成を別の観点から説明するための図である。図２４を参照すると、システム２０には、入力部１２４と、マーカ登録部１２６と、関連付け情報生成部１２８と、認識処理部１３０と、関連付け情報検索部１３２と、出力部１３８とを含む。関連付け情報検索部１３２は、ローカル関連付け情報検索部１３４と、サーバ関連付け情報検索部１３６とを含む。

入力部１２４は、ユーザ操作を入力として受け付ける、タッチパネルやキーボード、マウスなどの入力装置を含みうる。また、入力部１２４は、マーカを含む画像を撮像したり、操作入力として扱われるユーザのジェスチャを取得したりするためのカメラを含んでもよい。

マーカ登録部１２６は、入力部１２４から、ユーザ操作を示す情報や、カメラによる撮像画像を取得し、これらに基づいて画像に含まれるマーカを登録する。

関連付け情報生成部１２８は、入力部１２４からユーザ操作を示す情報を取得し、ユーザ操作に従ってマーカに端末装置の機能を関連付ける情報を生成する。

認識処理部１３０は、入力部１２４から取得されたカメラによる撮像画像から特徴量を抽出することによって、撮像画像に含まれるマーカを認識する。

関連付け情報検索部１３２は、認識処理部１３０で得られたマーカの特徴量に関連付けられている機能を示す情報をデータベースから検索する。データベースは、例えば上記の図８や図２０で例示したようなものでありうる。また、関連付け情報検索部１３２は、必要に応じて、出力部１３８を介してユーザに提示される情報を選定する。

関連付け情報検索部１３２のうち、ローカル関連付け情報検索部１３４は、ローカル（端末装置）側の関連付け情報の検索を実行する。つまり、ローカル関連付け情報検索部１３４によって検索される情報は、例えば単一の端末装置におけるマーカを介した機能の呼び出し履歴に基づいて生成される情報でありうる。

一方、関連付け情報検索部１３２のうち、サーバ関連付け情報検索部１３６は、サーバ側の関連付け情報の検索を実行する。つまり、サーバ関連付け情報検索部１３６によって検索される情報は、例えば複数の端末装置のそれぞれにおけるマーカを介した機能の呼び出し履歴に基づいて生成される情報でありうる。

出力部１３８は、ユーザに情報を提示する、ディスプレイやプロジェクタなどの出力装置を含みうる。出力部１３８は、関連付け情報検索部１３２がけんさくによって取得し、必要に応じて選定した情報を、ユーザに提示する。

（４．ハードウェア構成）
次に、図２５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における端末装置およびサーバ装置を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動きなどを撮像することによって、入力装置として機能しうる。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイ、プロジェクタなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（５．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（端末装置またはサーバ）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）端末装置が取得した画像において検出されたマーカと前記端末装置の機能とを関連付けるデータレコードを検索する検索部と、
前記検索によって発見されたデータレコードに基づいて、前記端末装置において呼び出される機能を決定する呼び出し機能決定部と
を備え、
前記データレコードは、前記端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理装置。
（２）前記端末装置の機能は、他の端末装置と共通の機能を含み、
前記データレコードは、他の端末装置における前記マーカを用いた前記共通の機能の呼び出し履歴に基づいて生成される情報を含む、前記（１）に記載の情報処理装置。
（３）前記データレコードは、前記端末装置における呼び出し履歴に基づいて生成される情報を含む第１のデータレコードと、前記他の端末装置における呼び出し履歴に基づいて生成される情報を含む第２のデータレコードとを含み、
前記検索部は、前記検索によって前記第１のデータレコードが発見されなかった場合に、前記第２のデータレコードの検索を実行する、前記（２）に記載の情報処理装置。
（４）前記第２のデータレコードは、前記マーカの情報を前記第１のデータレコードよりも匿名化された形で含む、前記（３）に記載の情報処理装置。
（５）前記第１のデータレコードは、前記マーカの画像情報を含み、
前記第２のデータレコードは、前記マーカの画像の特徴量情報を含む、前記（４）に記載の情報処理装置。
（６）前記データレコードによって前記マーカに関連付けられる機能を示す情報をユーザに向けて出力する機能情報出力部をさらに備える、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）前記機能情報出力部は、前記データレコードによって前記マーカに関連付けられる機能のうちの一部または全部の呼び出しを指示する前記ユーザの操作入力を受け付けるためのＵＩ情報を出力し、
前記呼び出し機能決定部は、前記操作入力に基づいて前記呼び出される機能を決定する、前記（６）に記載の情報処理装置。
（８）前記機能情報出力部は、前記呼び出される機能が決定された後も前記ＵＩ情報を継続的に出力する、前記（６）または（７）に記載の情報処理装置。
（９）前記機能情報出力部は、前記データレコードによって前記マーカに関連付けられる所定の数の機能を示す情報を前記ユーザに向けて出力し、
前記情報処理装置は、前記検索によって発見されたデータレコードによって示される機能の数が前記所定の数よりも多い場合に、前記データレコードによって前記マーカに関連付けられる機能から前記所定の数の機能を抽出する機能抽出部をさらに備える、前記（６）〜（８）のいずれか１項に記載の情報処理装置。
（１０）前記マーカは、第１のマーカおよび第２のマーカを含み、
前記機能抽出部は、前記データレコードによって前記第１のマーカにも前記第２のマーカにも関連付けられている機能を抽出する、前記（９）に記載の情報処理装置。
（１１）前記機能抽出部は、前記ユーザによる前記機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、前記（９）または（１０）に記載の情報処理装置。
（１２）前記機能抽出部は、現在時刻を含む時間帯における前記機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、前記（９）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）前記機能抽出部は、前記画像における前記マーカの位置と一致または近接する位置にあるマーカを用いた機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、前記（９）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）前記機能抽出部は、前記画像内に前記マーカを配置した手の大きさと一致または類似する大きさの手によって画像内に配置されたマーカを用いた機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、前記（９）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記機能抽出部は、より多くの端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、前記（９）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）端末装置が取得した画像において検出されたマーカと前記端末装置の機能とを関連付けるデータレコードを検索することと、
前記検索によって発見されたデータレコードに基づいて、前記端末装置において呼び出される機能を決定することと
を含み、
前記データレコードは、前記端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理方法。
（１７）端末装置が取得した画像において検出されたマーカと前記端末装置の機能とを関連付けるデータレコードを検索する機能と、
前記検索によって発見されたデータレコードに基づいて、前記端末装置において呼び出される機能を決定する機能と
をコンピュータに実現させ、
前記データレコードは、前記端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含むプログラム。

１００，２００，３００ 端末装置
１０２ 撮像部
１０４ 検出部
１０６ 機能検索部
１０８，１５４ 機能ＤＢ
１１０ 機能抽出部
１１２ 機能情報出力部
１１４ 表示部
１１６ 操作部
１１８ 呼び出し機能決定部
１２０ 機能実行部
１２２，１５２ 通信部
２５０，３５０ サーバ

Claims (17)

1. 端末装置が取得した画像において検出されたマーカと前記端末装置の機能とを関連付けるデータレコードを検索する検索部と、
   前記検索によって発見されたデータレコードに基づいて、前記端末装置において呼び出される機能を決定する呼び出し機能決定部と
   を備え、
   前記データレコードは、前記端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理装置。
2. 前記端末装置の機能は、他の端末装置と共通の機能を含み、
   前記データレコードは、他の端末装置における前記マーカを用いた前記共通の機能の呼び出し履歴に基づいて生成される情報を含む、請求項１に記載の情報処理装置。
3. 前記データレコードは、前記端末装置における呼び出し履歴に基づいて生成される情報を含む第１のデータレコードと、前記他の端末装置における呼び出し履歴に基づいて生成される情報を含む第２のデータレコードとを含み、
   前記検索部は、前記検索によって前記第１のデータレコードが発見されなかった場合に、前記第２のデータレコードの検索を実行する、請求項２に記載の情報処理装置。
4. 前記第２のデータレコードは、前記マーカの情報を前記第１のデータレコードよりも匿名化された形で含む、請求項３に記載の情報処理装置。
5. 前記第１のデータレコードは、前記マーカの画像情報を含み、
   前記第２のデータレコードは、前記マーカの画像の特徴量情報を含む、請求項４に記載の情報処理装置。
6. 前記データレコードによって前記マーカに関連付けられる機能を示す情報をユーザに向けて出力する機能情報出力部をさらに備える、請求項１に記載の情報処理装置。
7. 前記機能情報出力部は、前記データレコードによって前記マーカに関連付けられる機能のうちの一部または全部の呼び出しを指示する前記ユーザの操作入力を受け付けるためのＵＩ情報を出力し、
   前記呼び出し機能決定部は、前記操作入力に基づいて前記呼び出される機能を決定する、請求項６に記載の情報処理装置。
8. 前記機能情報出力部は、前記呼び出される機能が決定された後も前記ＵＩ情報を継続的に出力する、請求項６に記載の情報処理装置。
9. 前記機能情報出力部は、前記データレコードによって前記マーカに関連付けられる所定の数の機能を示す情報を前記ユーザに向けて出力し、
   前記情報処理装置は、前記検索によって発見されたデータレコードによって示される機能の数が前記所定の数よりも多い場合に、前記データレコードによって前記マーカに関連付けられる機能から前記所定の数の機能を抽出する機能抽出部をさらに備える、請求項６に記載の情報処理装置。
10. 前記マーカは、第１のマーカおよび第２のマーカを含み、
    前記機能抽出部は、前記データレコードによって前記第１のマーカにも前記第２のマーカにも関連付けられている機能を抽出する、請求項９に記載の情報処理装置。
11. 前記機能抽出部は、前記ユーザによる前記機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、請求項９に記載の情報処理装置。
12. 前記機能抽出部は、現在時刻を含む時間帯における前記機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、請求項９に記載の情報処理装置。
13. 前記機能抽出部は、前記画像における前記マーカの位置と一致または近接する位置にあるマーカを用いた機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、請求項９に記載の情報処理装置。
14. 前記機能抽出部は、前記画像内に前記マーカを配置した手の大きさと一致または類似する大きさの手によって画像内に配置されたマーカを用いた機能の呼び出し履歴に基づいて生成された情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、請求項９に記載の情報処理装置。
15. 前記機能抽出部は、より多くの端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含むデータレコードによって前記マーカに関連付けられている機能を抽出する、請求項９に記載の情報処理装置。
16. 端末装置が取得した画像において検出されたマーカと前記端末装置の機能とを関連付けるデータレコードを検索することと、
    前記検索によって発見されたデータレコードに基づいて、前記端末装置において呼び出される機能を決定することと
    を含み、
    前記データレコードは、前記端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含む情報処理方法。
17. 端末装置が取得した画像において検出されたマーカと前記端末装置の機能とを関連付けるデータレコードを検索する機能と、
    前記検索によって発見されたデータレコードに基づいて、前記端末装置において呼び出される機能を決定する機能と
    をコンピュータに実現させ、
    前記データレコードは、前記端末装置における前記マーカを用いた機能の呼び出し履歴に基づいて生成される情報を含むプログラム。
    

Images