JP2014170314A - 情報処理システム、情報処理方法およびプログラム - Google Patents

Abstract

【課題】物体を観察する装置の状況に応じて適切なコンテンツデータを選択する。
【解決手段】情報処理システムは、判定部と選択部と表示制御部とを備える。判定部は、第１画像から抽出された第１特徴量と、第２画像から抽出された第２特徴量とが同一または類似するか否かを判定する。選択部は、複数のコンテンツデータから、第１特徴量と第２特徴量とが同一または類似すると判定された場合と、第１特徴量と第２特徴量とが同一または類似しないと判定された場合とで、異なるコンテンツデータを選択する。表示制御部は、選択されたコンテンツデータを表示部に表示させる。
【選択図】図１

Description

本発明の実施形態は、情報処理システム、情報処理方法およびプログラムに関する。

複数の装置間で空間情報を共有して、各装置の位置や姿勢に適した仮想情報を表示する技術が知られている。

特開２０１１−１０７８９３号公報

しかしながら、従来技術では、目前の空間中で装置同士の位置や姿勢は共有できるが、目前に存在する物体が何であるかを装置間で共有することができない。このため、例えば当該物体に応じて表示する仮想情報の内容を制御するといった処理を行うことができない。

実施形態の情報処理システムは、判定部と選択部と表示制御部とを備える。判定部は、第１画像から抽出された第１特徴量と、第２画像から抽出された第２特徴量とが同一または類似するか否かを判定する。選択部は、複数のコンテンツデータから、第１特徴量と第２特徴量とが同一または類似すると判定された場合と、第１特徴量と第２特徴量とが同一または類似しないと判定された場合とで、異なるコンテンツデータを選択する。表示制御部は、選択されたコンテンツデータを表示部に表示させる。

本実施形態にかかる情報処理システムのブロック図。 履歴情報のデータ構造の一例を示す図。 本実施形態におけるコンテンツ選択処理のフローチャート。 本実施形態の適用場面の一例を示す図。 本実施形態の適用場面の一例を示す図。 本実施形態の適用場面の一例を示す図。 変形例１にかかる情報処理システムのブロック図。 変形例２にかかる情報処理システムのブロック図。 コンテンツ選択処理の全体の流れを説明する図。 本実施形態にかかる装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる情報処理システムの好適な実施形態を詳細に説明する。

上述のように、従来の方法では、物体に応じて表示するコンテンツデータ（仮想情報など）の内容を制御するといった処理を行うことができない。例えば、１つの装置で物体を観察（撮像部による撮像など）しているか、または、複数の装置で物体を観察しているかでコンテンツデータを変更するといったことができない。同様に、同じ物体について観察した回数に応じてコンテンツデータを変更するといったことができない。

本実施形態にかかる情報処理システムは、１以上の情報処理装置（端末）によって観察された物体が同一または類似であるかに応じて、複数のコンテンツデータから異なるコンテンツデータを選択して出力する。また、同時に何台の端末で観察されているか、端末（または端末のユーザ）が属するグループが同一か、および、いつ物体を観察していたか、などに応じて異なるコンテンツデータを選択する。これにより、例えば複数の端末（ユーザ）が物体と時間を共有できるようになる。そして、例えば複数のユーザが同じ物体を同時に撮像すると、１人で撮像した場合と異なるクーポン（コンテンツデータの一例）を表示する、といった機能が実現できる。また、複数のユーザが同じ物体を同時に撮像した場合に、当該物体に関する問題の回答（コンテンツデータの一例）を表示する、といった機能が実現できる。このように、物体を観察する装置の状況に応じて適切なコンテンツデータを選択することが可能となる。

図１は、本実施形態にかかる情報処理システムの構成の一例を示すブロック図である。図１に示すように、情報処理システムは、情報処理装置としての端末１００ａ、１００ｂと、サーバ装置としてのサーバ２００と、を備えている。

端末１００ａ、１００ｂは、同様の機能を備えるため、区別する必要がない場合は単に端末１００という。端末１００の個数は２に限られるものではなく、１以上の任意の個数とすることができる。端末１００とサーバ２００とは、例えばインターネットおよびＬＡＮ（ローカルエリアネットワーク）などの任意のネットワークにより接続される。

端末１００は、個人認識部１０１と、取得部１０２と、通信制御部１０３と、表示制御部１０４と、表示部１２１と、を備えている。

表示部１２１は、各種情報を表示する、液晶ディスプレイなどの表示装置である。

個人認識部１０１は、端末１００のユーザを認識する。個人認識部１０１は、例えば、図示しない操作部（タッチパネル、キーボード、および、マウスなど）により入力された認証情報（ユーザＩＤおよびパスワードなど）を用いた認証処理によってユーザを認識する。ユーザの認識方法はこれに限られるものではなく、従来から用いられているあらゆる方法を適用できる。例えば、予め端末１００に記憶したユーザ情報を参照する方法を用いてもよい。認証処理として、顔認証、および、生体情報を用いた認証などを適用してもよい。

取得部１０２は、物体の画像を取得する。取得部１０２は、例えば、デジタルカメラおよびデジタルビデオカメラなどにより構成できる。

通信制御部１０３は、サーバ２００および他の端末１００などの外部装置との間の通信を制御する。通信制御部１０３は、例えば、取得部１０２により取得された画像をサーバ２００に送信する。また、通信制御部１０３は、サーバ２００から送信されたコンテンツデータを受信する。

表示制御部１０４は、表示部１２１に対する情報の表示を制御する。表示制御部１０４は、例えば、サーバ２００から受信したコンテンツデータを表示部１２１に表示させる。

なお、個人認識部１０１、取得部１０２、通信制御部１０３、および、表示制御部１０４は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

次に、サーバ２００の構成例について説明する。サーバ２００は、物体認識部２０１と、判定部２０２と、選択部２０３と、通信制御部２０４と、記憶部２２１と、を備えている。

記憶部２２１は、各種情報を記憶する。記憶部２２１は、例えば、物体認識部２０１による認識処理で参照される認識データベースを記憶する。また、記憶部２２１は、端末１００等に送信する複数のコンテンツデータを含むコンテンツデータベースを記憶する。また、記憶部２２１は、過去に認識された物体に関する履歴情報を記憶する。

認識データベースは、物体認識部２０１が画像から物体を認識するときに参照するデータを記憶するデータベースである。認識データベースは、例えば、物体の識別情報（物体ＩＤ）と、特徴量とを対応づけたデータを記憶する。

コンテンツデータベースは、例えば、認識された物体の識別情報（物体ＩＤ）と、当該物体の画像を取得した端末１００に送信する１以上のコンテンツデータとを対応づけたデータベースである。物体ＩＤの代わりに、画像から抽出された特徴量とコンテンツデータとを対応づけて記憶してもよい。

コンテンツデータベースは、複数の画像から同一または類似する特徴量が抽出された場合に表示するコンテンツデータと、そうでない場合に表示するコンテンツデータと、物体ＩＤ（または特徴量）に対応づけて記憶してもよい。これにより、選択部２０３は、特徴量が同一または類似する場合とそうでない場合とで異なるコンテンツデータを、コンテンツデータベース内の複数のコンテンツデータから、選択することが可能となる。

履歴情報は、物体認識部２０１により認識された物体の情報である。図２は、履歴情報のデータ構造の一例を示す図である。図２に示すように、履歴情報は、端末ＩＤと、物体ＩＤと、位置情報と、日時と、を含む。

端末ＩＤは、端末１００を識別する識別情報である。位置情報は、例えば認識された物体の画像が取得された位置を表す。図２では名称により位置情報を表す例が示されているが、位置を識別できる方法であれば表現方法は任意である。例えば、端末１００がＧＰＳ機能を備える場合は、緯度および経度などにより位置を表現してもよい。

履歴情報は、判定部２０２が、複数の画像からそれぞれ認識された複数の物体が同一であるかを判定するときに参照される。図２の履歴情報のデータ構造は一例であり、これに限られるものではない。例えば、端末ＩＤの代わりにユーザＩＤを記憶してもよい。ユーザＩＤは、例えば個人認識部１０１により認識されたユーザのユーザＩＤである。また、物体ＩＤの代わりに特徴量を記憶してもよい。この場合、判定部２０２は、履歴情報を参照して、複数の画像からそれぞれ抽出された特徴量が同一または類似するかを判定することができる。

なお、記憶部２２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

物体認識部２０１は、端末１００から送信された画像から、画像に撮像された物体を認識する。物体認識部２０１は、例えば、画像から画像の特徴を表す特徴量を抽出する。そして、物体認識部２０１は、抽出した特徴量と、認識データベース内の特徴量と比較することにより、物体を認識する。物体認識部２０１は、例えば、画像から抽出した特徴量との類似度が大きい特徴量に対応する物体ＩＤを認識データベースから検索することにより、物体を認識する。

物体の認識方法はこれに限られるものではなく、画像から物体を認識可能な方法であれば従来から用いられているあらゆる方法を適用できる。また、特徴量は、ＨＯＧ（Histogram of Oriented Gradients）特徴量、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、またはこれらの組合せなど、任意の特徴量を用いることができる。

判定部２０２は、複数の画像からそれぞれ抽出された特徴量が同一または類似するかを判定する。判定部２０２は、例えば、物体認識部２０１により第１画像から抽出された第１特徴量と、物体認識部２０１により第２画像から抽出された第２特徴量とが同一または類似するかを判定する。

本実施形態では、物体認識部２０１により物体が認識される。このため、判定部２０２は、複数の画像からそれぞれ認識された複数の物体が同一であるか否かを判定することにより、複数の画像からそれぞれ抽出された特徴量が同一または類似するかを判定してもよい。

選択部２０３は、複数の画像からそれぞれ抽出された特徴量が同一または類似する場合と、そうでない場合とで、異なるコンテンツデータを選択する。選択部２０３は、例えば記憶部２２１内のコンテンツデータベースに記憶された複数のコンテンツデータから適切なコンテンツデータを選択する。異なるコンテンツデータは、予め作成してコンテンツデータベースに記憶してもよい。コンテンツデータベースのコンテンツデータから、複数の異なるコンテンツデータを作成してもよい。

通信制御部２０４は、端末１００などの外部装置との間の通信を制御する。通信制御部２０４は、例えば、端末１００で撮像（取得）された画像を端末１００から受信する。また、通信制御部２０４は、選択部２０３によって選択されたコンテンツデータを端末１００に送信する。

物体認識部２０１、判定部２０２、選択部２０３、および、通信制御部２０４は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

次に、このように構成された本実施形態にかかる端末１００によるコンテンツ選択処理について図３を用いて説明する。図３は、本実施形態におけるコンテンツ選択処理の一例を示すフローチャートである。

まず、端末１００の取得部１０２が、画像を取得する（ステップＳ１０１）。取得された画像は、例えば通信制御部１０３によりサーバ２００に送信される。通信制御部１０３は、画像とともに個人認識部１０１で認識されたユーザのユーザＩＤ、端末１００の端末ＩＤ、および、端末ＩＤが存在位置を表す位置情報などをサーバ２００に送信してもよい。

サーバ２００の物体認識部２０１は、受信された画像から特徴量を抽出する（ステップＳ１０２）。物体認識部２０１は、抽出した特徴量と、認識データベースに記憶された特徴量との類似度を算出する（ステップＳ１０３）。物体認識部２０１は、算出した類似度が予め定められた閾値以上であるか否かを判断する（ステップＳ１０４）。類似度が閾値より小さい場合（ステップＳ１０４：Ｎｏ）、コンテンツ選択処理を終了する。

類似度が閾値以上の場合（ステップＳ１０４：Ｙｅｓ）、物体認識部２０１は、類似度が閾値以上となった特徴量に対応する物体であることを認識する（ステップＳ１０５）。例えば、認識データベースが物体ＩＤと特徴量とを対応づけたデータを記憶している場合は、物体認識部２０１は、類似度が閾値以上となった特徴量に対応する物体ＩＤを特定することにより、物体を認識する。

次に、判定部２０２は、認識した物体と同一の物体を既に認識済みであるか否かを判定する（ステップＳ１０６）。例えば判定部２０２は、特定した物体ＩＤと同一の物体ＩＤが、記憶部２２１の履歴情報に記憶されているか判定する。判定部２０２は、記憶されていれば、認識した物体と同一の物体を既に認識済みであると判定する。

認識した物体と同一の物体を認識済みである場合（ステップＳ１０６：Ｙｅｓ）、選択部２０３は、物体に対応するコンテンツデータとして、同一の物体を認識済みの場合に出力するコンテンツデータ（コンテンツＡとする）を選択する（ステップＳ１０７）。認識した物体と同一の物体を認識済みでない場合（ステップＳ１０６：Ｎｏ）、選択部２０３は、物体に対応するコンテンツデータとして、同一の物体を認識済みでない場合に出力するコンテンツデータ（コンテンツＢとする）を選択する（ステップＳ１０８）。

通信制御部２０４は、選択されたコンテンツデータを、対応する端末１００に送信する（ステップＳ１０９）。例えば、端末１００ａで取得された画像から認識した物体が、端末１００ｂで取得された画像から認識した物体と同一であった場合、通信制御部２０４は、選択されたコンテンツＡを端末１００ａおよび端末１００ｂそれぞれに送信する。また、端末１００ａで取得された画像から認識した物体と同一の物体が認識済みでなかった場合、通信制御部２０４は、選択されたコンテンツＢを端末１００ａのみに送信する。

次に、本実施形態を適用した情報処理システムの具体例について説明する。本実施形態は、例えば、端末１００で商品（物体）を撮像すると、当該商品を購入するときに利用できるクーポン（コンテンツデータの一例）が端末１００に表示される情報処理システムに適用できる。

図４および図５は、本実施形態の適用場面の一例を示す図である。図４は、端末ＩＤが「Ｔ１」である端末１００（以下、端末Ｔ１ともいう）のみにより、物体ＩＤが「Ｏｂｊ１」である商品（以下、商品Ｏｂｊ１ともいう）が撮像された場合に表示されるコンテンツデータ（コンテンツＢ）の一例を示す。この場合、図３のフローチャートでは、同一の物体を認識済みでない（ステップＳ１０６：Ｎｏ）と判定されるため、コンテンツＢが端末Ｔ１のみに表示される。図４の例では、「１０％ＯＦＦ」であるクーポンを含むコンテンツＢが表示されている。

図５は、端末Ｔ１とともに、端末ＩＤが「Ｔ２」である端末１００（以下、端末Ｔ２ともいう）により、商品Ｏｂｊ１が撮像された場合に表示されるコンテンツデータ（コンテンツＡ）の一例を示す。この場合、図３のフローチャートでは、同一の物体を認識済みである（ステップＳ１０６：Ｙｅｓ）と判定されるため、コンテンツＡが端末Ｔ１および端末Ｔ２の両方に表示される。図５の例では、「２０％ＯＦＦ」であるクーポンを含むコンテンツＡが表示されている。

このように、同じ物体（商品）であっても、物体を観察する装置の状況（複数のユーザが同じ物体を同時に撮像したか否かなど）に応じて異なるクーポンを発行できる。これにより、店舗の集客力の向上などを実現可能となる。

これまでは、同じ物体を認識済みか否かのみを判定し、コンテンツデータを切り替えていたが、他の条件をさらに加えて判定するように構成してもよい。例えば、端末１００または端末１００のユーザを事前にグループに分類し、グループが同一か否かに応じて、さらに異なるコンテンツデータを選択してもよい。これにより、例えば知人と一緒に商品を撮像すると、グループ向けの割引率の高いクーポンが出力される、などの機能を実現できる。

また、物体の画像を取得した日時が、予め定められた日時の条件を満たすか否かにより、異なるコンテンツデータを選択してもよい。例えば、同じ物体が複数の端末１００で認識されたことのみでなく、ほぼ同時（日時の差分が閾値以内など）に認識されたかについても判定し、ほぼ同時に認識された場合に、そうでない場合と異なるコンテンツデータを選択してもよい。また、同じ物体が同一の端末１００で、異なる日に繰り返し認識された場合に、そうでない場合と異なるコンテンツデータを選択してもよい。これにより、例えば同一ユーザが同じ商品を毎日撮像し続けると割引率が上がる、などの機能を実現できる。この他、日時の条件としては、１日内の時刻などの任意の条件を適用できる。

また、物体の画像を取得した位置（場所）が、予め定められた場所の条件を満たすか否かにより、異なるコンテンツデータを選択してもよい。例えば、あるユーザの自宅で商品（カタログ内の商品など）を撮像した後、別の場所に存在する店舗で、同一の商品（実物）を撮像すると、割引率の高いクーポンを選択して出力するように構成してもよい。場所の条件としては、同一の場所であること、異なる場所であること、および、事前に対応づけられた場所であること、などの任意の条件を適用できる。

また、同じ物体を認識した端末１００の個数、端末１００の種類、および、端末１００の動作に応じて異なるコンテンツデータを選択してもよい。例えば、同じ物体を認識した端末１００の個数が多いほど、より割引率の大きいクーポンを選択してもよい。また例えば、端末１００が自身の動作を検出可能なセンサ（加速度センサ、ジャイロセンサ、重力センサなど）を備える場合は、このセンサによる検知情報を用いて端末１００の動作を判定し、判定した動作に応じて異なるコンテンツデータを選択してもよい。

また、物体の画像を取得する順序に応じて異なるコンテンツデータを選択してもよい。例えば、商品Ａ、商品Ｂの順番で撮像された場合、商品Ｂ、商品Ａの順番で撮像された場合、および、商品Ａ、商品Ｃの順番で撮像された場合のように、商品の種類、撮像順序が相互に異なる場合に、異なるクーポンを選択するように構成してもよい。

図６は、本実施形態の適用場面の他の例を示す図である。図６は、端末Ｔ１に対してクーポンを発行する様々な状況の例を示している。

（１）ユーザが例えば自宅で折込チラシまたはダイレクトメール（ＤＭ）に端末Ｔ１をかざし、画像を撮像する。撮像された画像はサーバ２００に送信される。サーバ２００の物体認識部２０１は、受信した画像から、画像認識処理により、商品を認識する。図６の例では、上部のチラシに印刷されている衣服、および、下部のチラシに印刷されている調味料が認識される。サーバ２００の選択部２０３は、各商品に対応するクーポンを選択して端末Ｔ１に送信する。

（２）ユーザが商品購入のため店舗へ移動したとする。
（２−１）端末Ｔ１のＧＰＳ機能により得られる位置情報からユーザが店舗の近くまで移動したことが検知されると、さらに異なるクーポンが送信される。
（２−２）店舗の入り口等に設置されたデジタルサイネージから、近距離無線通信（ＮＦＣ）などにより、さらに異なるクーポンを取得可能としてもよい。この場合、端末Ｔ１が対応する近距離無線通信機能を備える必要がある。
（２−３）実際の店舗の看板等に含まれるロゴが撮像された場合に、さらに異なるクーポンを取得可能としてもよい。

（３）ユーザが店舗内に入り、実際の商品に端末Ｔ１をかざして画像を撮像したときに、さらに異なるクーポンを取得可能としてもよい。この場合、チラシ等と同様に画像認識処理により商品を特定してもよいし、商品に付されたバーコード等のコード情報の認識処理により商品を特定してもよい。本実施形態によれば、図６に示すように自宅で撮像した商品と同一の商品を店舗でも撮像した場合に、さらに割引率の大きいクーポンを取得することができる。

（４）端末Ｔ１が近距離無線通信などを利用した決済機能を備え、ユーザがこの機能により商品を購入したときに、さらに異なるクーポンを取得可能としてもよい。

（変形例１）
上記実施形態では、取得した画像を端末１００からサーバ２００に送信し、サーバ２００内で画像から物体を認識していた。このような方法では、画像のデータ量が大きい場合に、ネットワークにかかる負荷が増大する可能性がある。そこで、端末１００側で物体認識を実行するように構成してもよい。図７は、このように構成した変形例１にかかる情報処理システムの構成の一例を示すブロック図である。

変形例１の端末１００−２ａ、１００−２ｂ（以下、端末１００−２ともいう）は、上記実施形態と同様の構成部（個人認識部１０１、取得部１０２、通信制御部１０３、表示制御部１０４、表示部１２１）に加えて、物体認識部２０１−２と、選択部２０３−２と、を備えている。サーバ２００−２は、判定部２０２−２と、通信制御部２０４と、記憶部２２１と、を備えている。このように、変形例１では、画像からの物体の認識処理（物体認識部２０１−２）、および、コンテンツの選択処理（選択部２０３−２）を、端末１００−２内で実行する点が上記実施形態と異なっている。

変形例１では、例えば物体認識部２０１−２は、サーバ２００−２の記憶部２２１内の認識データベースにアクセスして、画像から抽出した特徴量に類似する物体を認識する。また物体認識部２０１−２は、通信制御部１０３を介してサーバ２００−２に認識結果を送信する。例えば、通信制御部１０３は、端末ＩＤ、物体ＩＤ、および、端末１００−２の位置情報などを含む認識結果をサーバ２００−２に送信する。これにより、サーバ２００−２は、図２に示すような履歴情報を記憶できる。

判定部２０２−２は、履歴情報を参照し、複数の画像から抽出された特徴量が同一または類似するかを判定する。判定部２０２−２は、判定結果を各画像を取得した端末１００−２に送信する。

選択部２０３−２は、判定結果に応じて、サーバ２００−２の記憶部２２１に記憶されたコンテンツデータベースから、物体に対応するコンテンツデータを選択する。

このように、変形例１では、取得した画像自体ではなく、画像からの物体に認識結果を表す情報を送信する。このため、ネットワークにかかる負荷を軽減できる。

（変形例２）
図８は、変形例２にかかる情報処理システムの構成の一例を示すブロック図である。

変形例２の端末１００−３ａ、１００−３ｂ（以下、端末１００−３ともいう）は、上記実施形態と同様の構成部（個人認識部１０１、取得部１０２、通信制御部１０３、表示制御部１０４、表示部１２１）に加えて、物体認識部２０１−３と、判定部２０２−３と、選択部２０３−３と、を備えている。サーバ２００−３は、通信制御部２０４と、記憶部２２１と、を備えている。このように、変形例２では、判定部２０２−３の機能も端末１００−３側で実行される点が変形例１と異なっている。

判定部２０２−３は、サーバ２００−３の記憶部２２１に記憶された履歴情報を参照し、複数の画像から抽出された特徴量が同一または類似するかを判定してもよい。判定部２０２−３が、他の端末１００−３の判定部２０２−３と認識結果（物体ＩＤ、特徴量など）を交換し、同一の物体が認識されたかを判定するように構成してもよい。後者の場合、記憶部２２１に履歴情報を記憶しなくてもよい。認識結果の交換対象とする端末１００−３は、例えば、通信制御部１０３が通信可能な範囲内の端末１００−３としてもよい。

図９は、コンテンツ選択処理の全体の流れを説明する図である。なお、図９では、端末Ｔ１、Ｔ２が画像から特徴量を抽出し、サーバ２００が特徴量を用いて物体の認識および判定を行う場合を例に説明する。図９の右方向の矢印は時間の経過を表している。

図９に示すように、最初に端末Ｔ１により商品が撮像され、撮像された画像から第１特徴量が得られたとする。第１特徴量は、サーバ２００に送信される。サーバ２００は、第１特徴量から対応する物体ＩＤを決定する。また、サーバ２００は、一定時間内で同一または類似する特徴量が抽出されたか判定する。抽出されなかった場合、サーバ２００は、同一または類似の特徴量が抽出されなかった場合に出力するコンテンツＢ（例えば「１０％ＯＦＦ」を示すクーポン）を端末Ｔ１に送信する。端末Ｔ１は、コンテンツＢを表示する。

その後、一定時間内に端末Ｔ２により商品が撮像され、撮像された画像から第２特徴量が得られたとする。第２特徴量は、サーバ２００に送信される。サーバ２００は、第２特徴量から対応する物体ＩＤを決定する。ここでは、第１特徴量から決定された物体ＩＤと、第２特徴量から決定された物体ＩＤとが一致したものとする。この場合、サーバ２００は、同一の特徴量が抽出された場合に出力するコンテンツＡ（例えば「２０％ＯＦＦ」を示すクーポン）を端末Ｔ１および端末Ｔ２に送信する。端末Ｔ１および端末Ｔ２は、それぞれコンテンツＡを表示する。

以上説明したとおり、本実施形態によれば、物体を観察する装置の状況に応じて適切なコンテンツデータを選択することができる。

次に、本実施形態にかかる装置（端末、サーバ）のハードウェア構成について図１０を用いて説明する。図１０は、本実施形態にかかる装置のハードウェア構成を示す説明図である。

本実施形態にかかる装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

本実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

本実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、本実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

本実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部（個人認識部、取得部、通信制御部、表示制御部、物体認識部、判定部、選択部）として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ａ、１００ｂ 端末
１０１ 個人認識部
１０２ 取得部
１０３ 通信制御部
１０４ 表示制御部
１２１ 表示部
２００ サーバ
２０１ 物体認識部
２０２ 判定部
２０３ 選択部
２０４ 通信制御部
２２１ 記憶部

Claims (13)

1. 第１画像から抽出された第１特徴量と、第２画像から抽出された第２特徴量とが同一または類似するか否かを判定する判定部と、
   複数のコンテンツデータから、前記第１特徴量と前記第２特徴量とが同一または類似すると判定された場合と、前記第１特徴量と前記第２特徴量とが同一または類似しないと判定された場合とで、異なるコンテンツデータを選択する選択部と、
   選択された前記コンテンツデータを表示部に表示させる表示制御部と、
   を備える情報処理システム。
2. １以上の情報処理装置と、サーバ装置と、を備え、
   前記サーバ装置は、前記判定部と、前記選択部と、を備え、
   前記情報処理装置は、前記表示制御部を備える、
   請求項１に記載の情報処理システム。
3. １以上の情報処理装置と、サーバ装置と、を備え、
   前記サーバ装置は、前記判定部を備え、
   前記情報処理装置は、前記選択部と、前記表示制御部と、を備える、
   請求項１に記載の情報処理システム。
4. １以上の情報処理装置と、サーバ装置と、を備え、
   前記サーバ装置は、複数の前記コンテンツデータを記憶する記憶部を備え、
   前記情報処理装置は、前記判定部と、前記選択部と、前記表示制御部と、を備える、
   請求項１に記載の情報処理システム。
5. 画像から抽出された特徴量に基づき、画像に撮像された物体を認識する物体認識部をさらに備え、
   前記判定部は、前記第１特徴量に基づき認識された第１物体と、前記第２特徴量に基づき認識された第２物体とが同一であるか否かを判定する、
   請求項１に記載の情報処理システム。
6. 前記判定部は、さらに、前記第１画像を取得した第１装置または前記第１装置のユーザである第１ユーザが属する第１グループと、前記第２画像を取得した第２装置または前記第２装置のユーザである第２ユーザが属する第２グループと、が同一であるか否かを判定し、
   前記選択部は、さらに、前記第１グループと前記第２グループとが同一であると判定された場合と、前記第１グループと前記第２グループとが同一でないと判定された場合とで、異なるコンテンツデータを選択する、
   請求項１に記載の情報処理システム。
7. 前記判定部は、さらに、前記第１画像が取得された位置を表す第１位置情報と、前記第２画像が取得された位置を表す第２位置情報と、が予め定められた条件を満たすか否かを判定し、
   前記選択部は、さらに、前記第１位置情報と前記第２位置情報とが前記条件を満たすと判定された場合と、前記第１位置情報と前記第２位置情報とが前記条件を満たさないと判定された場合とで、異なるコンテンツデータを選択する、
   請求項１に記載の情報処理システム。
8. 前記判定部は、さらに、前記第１画像が取得された第１時刻と、前記第２画像が取得された第２時刻と、が予め定められた条件を満たすか否かを判定し、
   前記選択部は、さらに、前記第１時刻と前記第２時刻とが前記条件を満たすと判定された場合と、前記第１時刻と前記第２時刻とが前記条件を満たさないと判定された場合とで、異なるコンテンツデータを選択する、
   請求項１に記載の情報処理システム。
9. 前記判定部は、さらに、相互に同一または類似すると判定された画像の個数を求め、
   前記選択部は、さらに、前記個数に応じて異なるコンテンツデータを選択する、
   請求項１に記載の情報処理システム。
10. 前記判定部は、さらに、前記第１画像を取得した第１装置の種類と、前記第２画像を取得した第２装置の種類と、を判定し、
    前記選択部は、さらに、判定された種類に応じて異なるコンテンツデータを選択する、
    請求項１に記載の情報処理システム。
11. 前記判定部は、さらに、前記第１画像を取得した第１装置の動作と、前記第２画像を取得した第２装置の動作と、を判定し、
    前記選択部は、さらに、判定された動作に応じて異なるコンテンツデータを選択する、
    請求項１に記載の情報処理システム。
12. 第１画像から抽出された第１特徴量と、第２画像から抽出された第２特徴量とが同一または類似するか否かを判定する判定ステップと、
    複数のコンテンツデータから、前記第１特徴量と前記第２特徴量とが同一または類似すると判定された場合と、前記第１特徴量と前記第２特徴量とが同一または類似しないと判定された場合とで、異なるコンテンツデータを選択する選択ステップと、
    選択された前記コンテンツデータを表示部に表示させる表示制御ステップと、
    を含む情報処理方法。
13. コンピュータを、
    第１画像から抽出された第１特徴量と、第２画像から抽出された第２特徴量とが同一または類似するか否かを判定する判定部と、
    複数のコンテンツデータから、前記第１特徴量と前記第２特徴量とが同一または類似すると判定された場合と、前記第１特徴量と前記第２特徴量とが同一または類似しないと判定された場合とで、異なるコンテンツデータを選択する選択部、
    として機能させるためのプログラム。

Images