JP2015191265A - 認識装置、データサーバ、認識プログラム及び認識方法 - Google Patents

Abstract

【課題】物体認識におけるリファレンスデータを適切なサイズに保ったうえで、身の回りの物体等を認識することが可能な認識装置を提供する。【解決手段】物品情報取得部25は、ユーザの周囲に存在する物品の名前として物品情報を取得する。物品情報はデータサーバ15に送信され、リファレンスDB33を参照して、対応する特徴量が取得されて返信され、当該特徴量は管理部40にて管理される。認識部50は、管理された特徴量に基づき、撮影部21の撮影した画像に含まれる物品を認識する。ここで、物品情報は、レシートの画像を解析することで商品名を抽出する、コード付与された商品の画像におけるコードを解析する、等により、取得することができる。【選択図】図１

Description

本発明は、物体認識におけるリファレンスデータを適切なサイズに保つことで身の回りの物体等を認識することが可能な、認識装置、データサーバ、認識プログラム及び認識方法に関する。

画像認識において、クエリ画像として入力した画像の特徴量とデータベースに登録されたリファレンス画像の特徴量とを比較し、クエリ画像中の物体を認識する技術が知られている。しかし、この技術を用いて物体認識を行う場合、リファレンス画像の特徴量データベースをメモリ上に保持しておく必要があるが、世の中にあるありとあらゆる物体のリファレンス画像データを保持しておくことは不可能である。入力画像や入力画像から計算した特徴量をサーバに送信し、サーバ上で物体認識を行うことで、サーバ上の巨体なメモリを使用することはできるが、その場合、サーバとの通信量が増大してしまう。

この問題に対し、特許文献１では、実空間に存在している物体は場所によって偏りがある点に注目して、現在位置情報や方位情報を基にリファレンス画像データの選択を行い、メモリ上に保持するリファレンス画像DB(データベース)のサイズの削減を行っている。

特開2011-242861号公報（物体認識装置、物体認識システムおよび物体認識方法）

上記のように特許文献１では、現在位置情報や方位情報を基にリファレンス画像DBサイズの削減を行っている。しかしながら、現実には各個人が持ち歩いている私物や身の回りの物体の中には位置情報と紐付いていない物も多く、このような物については、位置情報や方位情報によって必要なリファレンス画像データの選択を行うことは難しい。

例えば、上記の各個人が持ち歩く私物は、当該持ち歩くことより明らかなように、個人が移動する任意の位置において現れることが想定されるので、現在位置情報や方位情報により当該私物についてのリファレンス画像データを選択することは困難である。

本発明は、上記従来技術の課題に鑑み、私物などであってもリファレンスデータを選択してデータサイズ削減が可能な、認識システム、データサーバ、認識プログラム及び認識方法を提供することを特徴とする。

上記目的を達成するため、本発明は、認識装置であって、画像を撮影する撮影部と、ユーザの周囲に存在する物品の名前として物品情報を取得する物品情報取得部と、前記取得した物品情報に対応する特徴量を管理する管理部と、前記管理された特徴量に基づき、前記撮影部の撮影した画像に含まれる物品を認識する認識部と、を備え、各物品の名前と特徴量とを紐付けて保持しているデータサーバに対して、前記取得した物品情報を送信して対応する特徴量を受信することにより、前記管理部は前記取得した物品情報に対応する特徴量を取得して管理することを第一の特徴とする。

また、本発明は、各物品の名前と特徴量とを紐付けて保持するデータサーバであって、上記認識装置が前記取得して送信した物品情報を受信して、当該物品情報に対応する特徴量を上記認識装置へと返信することを第二の特徴とする。

また、本発明は、コンピュータを上記認識装置として機能させる認識プログラムであることを第三の特徴とする。

また、本発明は、上記認識装置において、前記物品情報取得部が以下（１）〜（３）の少なくとも１つの手法により、商品名として物品情報を取得することを第四の特徴とする。
（１）前記撮影部の撮影したレシートの画像を解析することで商品名を抽出する手法
（２）前記撮影部の撮影したコード付与された商品の画像におけるコードを解析することで、当該コードに対応する商品名を取得する手法
（３）ユーザの電子商取引の履歴より購入した商品名を抽出する手法

さらに、本発明は、データサーバにおいて、各物品の名前と特徴量とを紐付けて保持するステップと、画像を撮影する撮像部が備わる認識装置において、ユーザの周囲に存在する物品の名前として物品情報を取得する物品情報取得ステップと、前記取得した物品情報に対応する特徴量を管理する管理ステップと、前記管理された特徴量に基づき、前記撮影部の撮影した画像に含まれる物品を認識する認識ステップと、を備える認識方法であって、前記データサーバに対して、前記取得した物品情報を送信して対応する特徴量を受信することにより、前記管理ステップでは前記取得した物品情報に対応する特徴量を取得して管理することを第五の特徴とする。

前記第一、第二、第三又は第五の特徴によれば、ユーザの周囲に存在する物品の名前として物品情報に対応する特徴量のみをデータサーバから取得して認識を行うので、当該リファレンスデータとしての特徴量のデータサイズを適切な大きさに保つことが可能となる。

前記第四の特徴によれば、（１）〜（３）の少なくとも１つの手法により、物品情報を、商品名として容易に取得することが可能となる。

一実施形態に係る認識システムの機能ブロック図である。 一実施形態に係る認識システムの動作のフローチャートである。 図２の第一ステップ（リファレンスデータ取得）の詳細なフローチャートである。 図２の第二ステップ（認識処理等）の詳細なフローチャートである。 コンテンツ提示の例を示す図である。 管理部の詳細を含み、更新処理とデータ共有処理とを説明するための機能ブロック図である。

図１は、一実施形態に係る認識システムの機能ブロック図である。認識システム100は、ユーザ毎のヘッドマウントディスプレイ(HMD)型端末、スマートフォンその他の携帯情報端末として実現可能な認識装置10,10B等と、データサーバ15と、を備える。

図１では、2ユーザについてのみ認識装置10,10Bが示されているが、認識システム100には任意数のユーザの任意台数の認識装置が存在可能である。なお、各ユーザの認識装置は共通の機能部を備えることで共通の処理を行うことができるが、本発明の説明においては、想定する「自」ユーザの認識装置を認識装置10とし、想定する「他」ユーザ（当該「自」ユーザからみて任意の「他」ユーザ）の認識装置を認識装置10Bとして説明する。

認識装置10は、撮影部21、購入情報取得部22、物品情報取得部25、送信部26、受信部35、管理部40、近接利用者特定部45、認識部50、提示部60及び受付部65を備える。データサーバ15は、サーバ側受信部31、データ取得部32、リファレンスDB(データベース)33及びサーバ側送信部34を備える。

なお、図１では、各認識装置10,10B及びデータサーバ15間でのやりとりを示すために、自ユーザの認識装置10及びデータサーバ15に加えて他ユーザの認識装置10Bが示されている。従って、上述のように他ユーザの認識装置10Bも自ユーザの認識装置10と同様の構成であるが、図が煩雑化することを避けるため、図１では当該同様の機能ブロックの詳細図示を省略している。各部の機能概要は以下の通りである。

撮影部21は画像を撮影して物品情報取得部25及び認識部50に渡す。購入情報取得部22は購入情報を取得して物品情報取得部25に渡す。物品情報取得部25は撮影部21及び／又は購入情報取得部22から渡される情報より物品情報を取得して、送信部26に渡して送信させることにより、当該物品情報がサーバ側受信部31に送信される。

データ取得部32では、上記送信されサーバ側受信部31にて受信した物品情報によってリファレンスDB33を検索して、特徴量等を取得して当該特徴量等をサーバ側送信部34に渡して送信させることにより、当該特徴量等が受信部35において受信される。

管理部40は、受信部35にて上記受信した特徴量等を管理し、認識部50等における参照に供する。認識部50は、撮影部21で撮影された画像内にある物品を、当該管理されている特徴量をリファレンスとして用いることによって認識する。提示部60は、当該認識された結果に基づいて、ユーザに対してコンテンツの提示を行う。なお、コンテンツは管理部40において管理されているものを参照する。受付部65は、ユーザより当該提示したコンテンツに対する応答を受け取る。

管理部40では上記のように特徴量を管理する他にも、上記のように提示部60で提示するためのコンテンツを管理し、さらに、一連の履歴の管理も行う。すなわち、認識部50で上記認識した結果や、受付部65において上記受け取った応答を管理することで、管理部40は、一連の認識された物品の履歴や、一連の提示されたコンテンツの履歴を管理する。管理部40では当該履歴に基づき、管理している特徴量のうち保存しておく必要が乏しいと判断されるものを削除して管理する。

近接利用者特定部45は、自ユーザの近辺に存在し認識装置10Bを有している他ユーザの特定を行う。特定された近接ユーザの認識装置10Bとの間では、データサーバ15より取得するのと同種の特徴量等を相互授受することにより、データの共有処理が可能となる。

図２は、一実施形態に係る認識システム100の動作のフローチャートである。ステップS1では、認識装置10がデータサーバ15に物品情報を送信してデータサーバ15より各物品の特徴量等を受信することにより、管理部40においてリファレンスデータとしての特徴量等の取得が行われる。ステップS2では、管理部40において取得されたリファレンスデータとしての特徴量を参照することで、認識装置10が認識部50等を機能させることで、認識処理等が行われる。

なお、ステップS2の実行には、ステップS1を少なくとも1回は実行して、認識装置10内にリファレンスデータを用意しておくことが必要となるが、ステップS2の実行と並行して、ステップS1を適宜、追加的に実行することで、認識装置10内にリファレンスデータの補充を行いながらステップS2を継続することも可能である。

以下、当該ステップS1,S2及び図１の各機能部の詳細を説明する。

図３は、図２のステップS1の詳細なフローチャートである。ステップS11では、物品情報取得部25が物品情報を取得してその蓄積が一定量に到達した後、当該物品情報を送信部26よりデータサーバ15に送信する。当該物品情報は、認識装置10のユーザの身の回りにあることが想定される物品の名前、特に例えば、日用品その他の商品の名前の情報である。当該物品情報の取得には、以下の第一〜第四実施形態のいずれか又はその任意の組み合わせが可能である。なお、複数の実施形態を併用する場合は、ユーザ操作等に従って、物品情報を取得する各回ごとに個別の実施形態を適用することが可能である。例えば1回目に第一実施形態で物品情報「A」を取得し、2回目に第二実施形態で物品情報「B」を取得し、3回目に第三実施形態で物品情報「C」を取得した場合、当該一連の取得履歴により、これらをリストアップした物品情報「A,B,C」が取得されることとなる。

第一実施形態では、ユーザ端末（認識装置10）に備わるカメラとして実現可能な撮影部21において、ユーザ操作のもとで、ユーザが購買行動を通して受け取った商品のレシートを撮影し、当該レシートの画像に対して物品情報取得部25において周知のOCR(光学文字認識)処理を施すことにより、ユーザが購入した商品名として、物品情報を取得することができる。なお、当該レシートはユーザの身内等の購買した際のものであってもよい。

第二実施形態では、ユーザ（又はその身内等）が購入した商品におけるバーコード等のコードを、ユーザ操作によって撮影部21において撮影して、当該コードの画像を物品情報取得部25で解析して、購入した商品名としての物品情報を取得してもよい。ここで、コード解析には、当該コードの種類に応じた周知手法を利用することができる。なお、このように商品におけるバーコード等のコードの画像を撮影する際は、ユーザは必ずしも当該商品を購入する必要はなく、自身が興味を持って手に取った際に当該画像が取得されるといったことも可能である。

第三実施形態では、上記第一、第二実施形態と同様のユーザの購入した商品名としての物品情報を、撮影部21で取得した画像からではなく、購入情報取得部22から直接、物品情報取得部25が取得してもよい。具体的には購入情報取得部22は、ユーザの電子マネー使用履歴やネットショッピング履歴といったような、ユーザの電子商取引履歴を参照することにより、物品情報を取得して物品情報取得部25に渡す。

第四実施形態では、ユーザがタッチパネルやキーパッド等の入力手段（図１では不図示）を用いてマニュアルで入力することにより、物品名（商品名である場合を含む）としての物品情報を物品情報取得部25が取得する。

なお、物品が商品である場合は、上記各実施形態のような商品名（後述のリファレンスDB33に管理者等が予め登録しておく対象としての商品名）を容易に用意することができるが、商品に限らない一般の物品においても、その物品名を用意してリファレンスDB33にその他の情報と紐付けて予め登録しておきさえすれば、本発明は実施可能である。例えば、一般に日用品としての購買対象ではない道路標識なども、本発明における物品として利用でき、物品情報取得部25ではユーザからのマニュアル入力（第四実施形態）を含む何らかの手法でその物品名を取得すればよい。なお、商品を用いる場合、物品としては同一種類に属するものを商品名によって区別することができるので、多様な日用品をそれぞれ区別して本発明による認識処理やコンテンツ提示を実施することができるようになる。また、物品は量産されるものであることが好ましい。

ステップS12では、以上のステップS11で取得され送信された物品情報をデータサーバ15がサーバ側受信部31にて受け取り、データ取得部32が当該物品情報をキーとしてリファレンスDB33を検索して各物品に対応する特徴量等を求め、当該特徴量等をサーバ側送信部34より認識装置10の受信部35へと返信する。

当該検索を可能とするため、リファレンスDB33には、各物品名Nに紐付けて、当該物品を様々な空間的な角度A_i(i=1, 2 ,…, m_N；m_Nは各物品名N毎の所定数)において撮影した画像G_i,Nよりそれぞれ取得された特徴量F_i,Nが格納されている。こうして、データ取得部32では、認識装置10から送信された物品情報に含まれる各物品名NをクエリとしてリファレンスDB33を検索することで、当該物品名Nに対応する特徴量F_i,Nを取得することができる。

ここで、リファレンスDB33に当該格納されている特徴量F_i,Nは、後述の認識部50で画像より抽出されるのと同種の所定種類の特徴量であり、例えば周知のSIFT特徴量を採用することができる。また、当該特徴量F_i,Nは、テクスチャ付きの3次元モデルデータの形式でリファレンスDB33に格納しておいてもよい。この際、テクスチャからはSIFTその他の特徴量を抽出しておく。当該形式でも上記種々の角度で撮影しておくのと同様に、認識部50において任意視点（種々の空間的な角度A_i）での物品認識が可能となる。

なお、リファレンスDB33では、後述の提示部60において周知のAR(拡張現実)表示を実現するために、当該特徴量F_i,Nにさらに、当該物品の３次元モデルデータを紐付けて保持しておいてもよい。なお、特徴量F_i,Nが上記のようにテクスチャ付きの3次元モデルデータの形式で与えられていれば、このようにAR表示のためにさらに３次元モデルデータを紐付ける必要はない。また、リファレンスDB33では、後述の提示部60において物品に紐付けたコンテンツ提示を実現するために、各物品名にさらに、提示するコンテンツを紐付けて保持しておいてもよい。このように提示部60で利用する際は、当該3Dモデルデータやコンテンツを、特徴量F_i,Nと合わせて認識装置10の受信部35へと返信する。

なおまた、一般には、リファレンスDB33には大量の物品名における特徴量等のデータを管理者の作業等によってあらかじめ格納しておき、この中から、認識装置10では自身が取得した物品情報に該当する一部分の特徴量等のみを受信する。従って、本発明において、認識装置10はリファレンスデータサイズを適切な大きさに保ちながら、身の回りの物品の認識が可能となる。

ステップS13では、以上のステップS12でデータサーバ15において取得されたリファレンスとしての特徴量等が受信部35で受信され、管理部40に格納される。特徴量の他、上記のように3Dモデルデータやコンテンツが取得された際は、これらも合わせて管理部40に格納される。

なお、リファレンスDB33では、各物品名に複数のコンテンツを紐付けて格納しておいてもよい。ユーザが当該ステップS13にて物品名に紐付くものとしてコンテンツを取得する際は、紐付けられた複数のコンテンツの一つ、あるいは複数のコンテンツをユーザが選択して取得し、管理部40に格納されるようにしてもよいし、ユーザが属するグループ、コミュニティその他のユーザ属性に応じて取得するコンテンツが自動選別されるようにしておいてもよい。

以上、図３のフローは、ステップS11において所定量の物品情報が得られてから、すなわち、物品名が所定個数だけ蓄積してから、一括で実施されるものとして説明したが、物品情報取得部25で物品情報を取得する都度、図３のフローが実施されてもよい。この場合、物品情報が取得される都度、対応する特徴量等が取得され管理部40に格納されていくこととなる。

図４は、図２のステップS2の詳細なフローチャートである。

ステップS21では、撮影部21において画像が取得されたかが確認され、取得されていればステップS22へ進み、取得されていなければ取得されるまで当該ステップS21において待機する。ここで、撮影部21が、HMDに備わるカメラとして実現されているのであれば、当該HMDを装着しているユーザにおいてリアルタイムで得られる一人称映像の各画像につき、ステップS22へ至るようにすることが可能であるが、その他のカメラの場合でもユーザ操作によって同様のことが可能である。あるいは、ユーザが明示的に指定した画像についてのみ、ステップS22へ至るようにしてもよい。

ステップS22では、当該取得された画像を対象として、認識部50が認識処理を実施し、画像内に含まれる物品を特定する。当該特定は、画像より特徴量を抽出し、当該抽出された特徴量が管理部40にリファレンスデータとして管理されているいずれの特徴量に最も類似しているかを特定することで、当該特定された特徴量に紐付いている物品名として、物品の特定結果を得ることができる。ここで、特徴量の抽出や特徴量の類似度の計算等については、周知の手法が利用できる。

また、リファレンスDB33の説明において前述のように、特徴量は、各物品Nについて、複数の空間的な角度A_i((i=1, 2 ,…, m_N)から当該物品Nを見た際の特徴量F_i,Nとして管理部40に管理されている。従って、認識部50では、画像内の物品Nを認識すると共に、画像内において当該物品Nがいずれの角度A_iで見たものであるかを特定することができる。すなわち、認識部50は各角度A_iにおいて物品Nを認識することができる。

なお、認識部50による認識結果は管理部40に保存され、管理部40は過去の一連の認識結果を履歴として管理する。

ステップS22では、上記のように物品の特定のみを実施してもよいが、一実施形態ではさらに、当該特定結果に基づいて、提示部60がコンテンツの提示を行うようにしてもよい。ここで、特定された物品に対応する所定のコンテンツを管理部40より取得することで、コンテンツを提示するようにすればよい。この際、周知のAR技術により、撮影部21で撮影された画像に重畳させる形で、コンテンツの提示を行うことができる。また、予めリファレンスDB33に用意しておくことで、画像、映像以外の音声等の形式も含む任意のコンテンツを提示することができる。

図５は、コンテンツ提示の例を示す図である。撮影部21で得た画像G1には、(1)に示すように物品として「OX牛乳」という商品が含まれており、認識部50は当該商品を認識する。当該認識結果に基づいて、物品「OX牛乳」に予め紐付けられた所定内容のコンテンツとして、AR表示による英単語学習コンテンツを提示した例が、(2),(3)に示されている。

図５の(2)では、画像G1に対する重畳表示A2によって、当該「OX牛乳」の瓶に関連する単語が何であるかをユーザに問うている。(3)ではその答えが同じく、画像G1に対する重畳表示A3としてユーザに示されている。

コンテンツが上記の例のように、ユーザからの解答を受け付ける等の応答を受け取るような内容となっている場合は、受付部65において当該応答を受け取ることができ、提示部60では応答内容に基づいてコンテンツ提示を継続することができる。例えば、上記の英単語学習コンテンツであれば、ユーザに解答を入力させ、正解／不正解の区別を提示することができる。

提示部60にてコンテンツを提示した場合、管理部40では、当該提示したコンテンツを履歴として管理し、応答があった場合は当該応答も保存して管理する。

以上のようなステップS22を終えると、ステップS23へ進む。なお、ステップS22において最も類似している特徴量における類似度が閾値以下であった場合は、当該画像には管理部40で管理されている物品は含まれていないとの結果を得たうえで、ステップS23へ進む。

ステップS23では、管理部40が、当該時点において自身が管理しているデータが更新可能であるか否かを判断し、可能であると判断すればステップS24に進んでデータ更新を実施し、可能ではないと判断すればステップS21に戻る。当該ステップS23,S24における更新処理は以下の通りであり、管理部40において古くなっている、あるいは用途を終えていると判断されるデータを削除して更新することにより、携帯端末等として実現される認識装置10においてメモリ領域を効率的に利用することが可能となる。

図６は、管理部40における当該更新処理についての機能を担う機能部を含む機能ブロック図である。管理部40は、記憶部41、期間監視部42、頻度監視部43、削除部44及び開示設定部49を含む。

なお、図６では、図１で描くのを省略していた構成として、認識装置10が備える送受部46及び認証部47も描かれているが、これら（及び開示設定部49）については他ユーザの認識装置10Bとの間で、後述するデータ共有処理を行う際に参照する。すなわち、図６は更新処理とデータ共有処理とを説明するための機能ブロック図となっており、更新処理に関しては以下のようにして、削除部44によって実施される。

記憶部41は、管理部40における記憶機能を担うものであり、保存対象としての各物品名に紐付いた特徴量、コンテンツ、3Dデータモデル等を記憶している。

期間監視部42は、当該記憶部41に記憶された物品名ごとの特徴量について、その継続期間を監視して、当該継続期間が一定値に到達した物品名を、削除部44に通知する。当該監視される継続期間は、記憶部41に格納された時点からの継続期間（すなわち、データサーバ15より取得された後、あるいは後述する共有処理で得られた後の経過期間）、あるいは、利用がなされていないこと（すなわち、認識部50において対応する物品が認識されていないこと）の継続期間である。

頻度監視部43は、当該記憶部41に記憶された物品名ごとの特徴量について、その利用される頻度、すなわち、認識部50において対応する物品が認識された頻度を監視し、当該利用頻度が一定値以下となった物品名を、削除部44に通知する。

削除部44は、上記のように期間監視部42及び／又は頻度監視部43からの通知があった物品名に関するデータ（特徴量、コンテンツ、3Dデータモデル等）を、記憶部41から削除させる。こうして、図４のステップS23では、当該時点まで（前回のステップS23に至った時点から今回のステップS23の時点まで）に新たな通知が期間監視部42及び／又は頻度監視部43からあったか否かが判定され、新たな通知があった場合は、ステップS24において削除部44が対応する削除処理を実施する。

なお、期間監視部42及び頻度監視部43のそれぞれにおける通知判断の閾値は、物品ごとの所定値として設定しておくことができる。例えば、期間監視部42における期間閾値であれば、飲食物に該当する物品は3日、文房具類に該当する物品は1ヶ月、などのように、商品毎の利用サイクルや日常的に見かける頻度に応じて設定しておくことができる。

削除部44ではまた、上記のような利用に関する期間や頻度による判断とは別の実施形態として、記憶部41において物品名に紐付けられているコンテンツのユーザにおける利用が終了した際に、当該物品名に関するデータを記憶部41から削除させるようにしてもよい。例えば、ある物品名に学習コンテンツが紐付けられていれば、ユーザにおいて当該学習コンテンツによる学習が完了した際に、当該物品名に紐付いた一連のデータを削除するようにしてもよい。

以上、図４の各ステップを説明した。次に、ユーザからの要求があった際に随時実行可能な、本発明におけるユーザ間でのリファレンスデータの共有について説明する。当該共有により、図２のステップS1として説明した、個別ユーザにおいて物品情報を蓄積したうえでのデータサーバ15からのリファレンスデータの取得を省略、あるいは補強することが可能となる。

このため、まず、近接利用者特定部45がデータ共有対象の候補としての、近接ユーザを特定しておく。当該特定される近接ユーザは、典型的には、実生活で頻繁に接触するユーザや生活スタイルが類似しているユーザであり、以下のような各実施形態によって特定が可能である。

一実施形態では、認識装置10（端末）同士で周知の無線通信（特に近距離無線通信）による互いの探知を実施するようにしておき、すれ違うなどで互いに物理的に近接したことのある端末を検出することで、当該検出された端末を近接ユーザのものであるとして特定することができる。この際、当該近接することが所定頻度に到達した端末のみを特定するようにしてもよい。

一実施形態では、顔認識を行うことで近接ユーザの特定を行ってもよい。このため、ユーザはHMDに装着されたカメラより日常生活等において継続的に撮影を行い、取得された画像に対して顔認識を行う。認識された顔の特徴量を一時領域に格納しておくことで、一定期間内に頻繁に顔を合わせる人物を検出する。頻繁に顔を合わせる人物の特徴量を基に顔画像DBサーバ（不図示）に問い合せを行い、人物特定を行うことで、当該人物を近接ユーザとして特定することができる。さらに、人物・端末DBサーバ（不図示）に問い合わせを行い、当該近接ユーザの端末を特定することができる。

以上は自動的に近接ユーザの特定が可能な実施形態であるが、ユーザが手動で近接ユーザを特定して近接利用者特定部45に対して当該近接ユーザ及びその端末を伝えるようにしてもよい。例えば、SNS（ソーシャルネットワークサービス）上で繋がっている人物の中から近接ユーザを選択するようにしてもよい。

以上の各実施形態によって近接利用者特定部45が近接ユーザを特定すると、次に、当該近接ユーザの端末との間で、データ共有を実施する。図６を参照して、当該データ共有の処理を説明する。ここで、図６に示す認識装置10Bが、近接ユーザとして特定されたユーザにおける端末であるものとする。

すなわち、データ共有処理は、送受部46,46Bを介して、認識装置10,10B間で、記憶部41,41Bにそれぞれ記憶されている各物品名に対応するデータ（特徴量、コンテンツ、3Dモデルデータ）を共有する処理である。これにより、記憶部41には存在しないデータであるが、記憶部41Bには存在するデータが、記憶部41に追加されることとなり、その逆も同様に実施される。データ共有処理の開始のトリガは、いずれかのユーザ又は両ユーザからの共有要求の受信である。

なお、少なくとも物品名のみを共有するようにして、当該共有された物品名を新たに得た物品情報として各認識装置10,10Bがそれぞれ図２のステップS1を実行することで、特徴量等はデータサーバ15から取り寄せるようにしてもよい。特にコンテンツについては、ユーザ毎に設定されている場合、データサーバ15より取り寄せるようにすることが好ましい。また、期間監視部42や頻度監視部43で監視する履歴関連の情報は、共有することなくユーザ毎に管理することが好ましい。

ここで、上記のようなデータ共有処理を実際に行う前に、共有要求の受信後にまず、認証部47,47B間で互いに認証を行い、互いにデータ共有を許可することに同意して認証に成功した場合に、データ共有処理を行うようにしてもよい。

あるいは、共有するユーザ同士で、少なくともいずれかの記憶部41,41Bに記憶されている特定の商品を同時に（短期間に）認識することで認証を行っても良い。この場合、当該商品を実際に準備して、両ユーザがそれぞれの撮影部21で当該商品を撮影して認識部50によりその画像を解析して商品名を求め、当該商品名が少なくともいずれかの記憶部41,41Bに記憶されており、且つ互いに一致する場合に、認証成功とする。この際、当該商品の認識に必要な特徴量を所持していないユーザの端末では、認識部50による認識処理が不可能であるので、代わりに、前述の物品情報取得部25における第二実施形態と同様にして、当該商品のバーコードを撮影してその画像を解析することで商品名を求める。

すなわち、より一般には、両ユーザが一定期間内の間にそれぞれ画像を取得して、当該両画像に共通の商品が含まれていると判断される場合に、認証が成功したと判定するようにしてもよい。当該共通の商品は、任意の商品としてもよいし、上記のような制約が課された商品であってもよい。つまり、商品名が少なくともいずれかの記憶部41,41Bに記憶されており、少なくともいずれかの認識部50にて認識可能となっているという制約の課された商品であってもよい。

また、実際にデータ共有を行う際は、上記説明のように互いに可能な限り全てのデータを共有するのではなく、共有する範囲に制限を設けるようにしてもよい。この場合、互いの開示設定部49,49Bにおいて互いの記憶部41,41Bにそれぞれ記憶されている物品名に対して、共有対象とするか否かをマニュアルで設定しておく。そして、共有対象として設定されているデータについて、上記のような共有処理が実施される。

あるいは、上記の特定商品のバーコードの同時認識による認証を実施した場合であれば、認証に用いた商品に応じて開示範囲を設定しても良い。このため、各商品には予めカテゴリ区別を設けておき、認証に用いた商品が属するカテゴリのみを開示するようにしてもよい。カテゴリは飲料、文房具などの既定の商品カテゴリとして、リファレンスDB33に各商品名に紐付く追加情報として登録しておくものを用いてもよいし、興味関心度、重要度などに応じてユーザが個別に設定したカテゴリを用いてもよい。

あるいは、上記のように各物品名にカテゴリを設けておき、両ユーザの記憶部41,41Bに共通して存在しているカテゴリに対応する物品名のデータを共有対象としてもよい。

以上、本発明によれば、例えばレシートや商品に付属しているバーコードを利用して、あらかじめ利用者の身の回りにある商品等を特定し、データサーバに問い合わせることで身の回りにある物品の特徴量のみを端末に保存し、当該保存された特徴量で身の回りにある物品を認識する。これにより、認識の都度毎回サーバに問い合わせる必要のない、端末内での物体認識でありながら、端末内のメモリ上のリファレンス画像DBサイズを削減しつつ、身の回りの物体認識を行うことができるようになる。またソーシャルネットワーク等に基づき、ユーザ間で特徴量を共有することで、物体認識できる範囲を拡大することができるようになる。

なお、本発明はコンピュータを認識装置10として機能させるプログラム（記憶媒体に格納されたものであってもよい）として提供することもできる。当該コンピュータのハードウェア構成は、命令を実行するCPU(中央演算装置)、メモリ及び種々の入出力インターフェースを含む周知の構成でよい。また、本発明は、認識装置10あるいは認識システム100の動作方法として提供することもできる。

以下、本発明の認識システム100を利用した例として、英単語学習システムの動作について説明する。当該説明において関連する機能ブロックを適宜、括弧を付すことで示している。

商品名と商品の物体認識に用いる特徴量と商品に関連する英単語コンテンツとが紐付けられて保存されている特徴量DBサーバ（データサーバ15）を用意する。特徴量DBサーバは、学習者の端末（認識装置10）より、商品名をリクエストとして受け取り、商品名に紐付く特徴量と英単語学習コンテンツをレスポンスとして返す。

本システムを利用して英単語を学習する学習者は、学習者端末としてのHMDを装着する。学習者がHMDを装着して生活している中で商品のバーコードやレシートを見つめた際、HMDに装着されたカメラによりバーコードやレシートの内容を読取り、学習者が見つめた、あるいは購入した商品の商品名を特定する（物品情報取得部25）。特定した商品名を特徴量DBサーバへ送り、商品の物体認識に必要な特徴量と関連する英単語学習データを取得し、HMD端末内のメモリ内に保存する（管理部40）。

ここで、英単語学習コンテンツは英単語の意味を4択の選択肢で回答する問題が複数個まとまっているものとする。

以降、HMDのカメラ（撮影部21）から取得した画像内に先ほど取得した商品が含まれているかどうか、メモリ内に保存された特徴量を基に認識を行う（認識部50）。商品の認識が行われた場合、商品に紐付けられた英単語学習コンテンツをメモリ内から読取り、HMDのディスプレイ上に英単語学習コンテンツの中からランダムで一つの問題を表示する（提示部60）。学習者は表示された英単語問題に回答する（受付部65）。ここで、商品に紐付けられた英単語問題の全てに回答し、正解した際には、商品の特徴量データとコンテンツデータをメモリ内から削除する（管理部40）。また、商品の物体認識特徴量を取得してから、商品毎に設定されている保存期間を経過した特徴量データはメモリ内から削除する（管理部40）。

学習者のHMDは無線通信を用いて近くいる学習者（近接学習者）のHMDとすれ違い通信を行い、すれ違い回数をメモリ内に蓄積する（近接利用者特定部45）。すれ違い回数が一定数を超えた近接学習者がいた場合、近接学習者に特徴量取得要求を送信する（送受部46）。

近接学習者が特徴量取得要求を受け取った際、近接学習者のHMD上に通知を行う。通知を受けた近接学習者は特徴量データを提供するかどうかを選択する（開示設定部49B）。データの提供を許可する場合、近接学習者は（１）全ての特徴量データを提供する、（２）共通して保持しているカテゴリの特徴量データを提供する、（３）認識した物体のカテゴリを提供する、の3パターンの提供方法を選択する。

（１）を選択した場合、近接学習者の所持している特徴量データを全て提供する。
（２）を選択した場合、学習者と近接学習者の間で共通して保持している商品カテゴリの特徴量データを提供する。
（３）を選択した場合、近接学習者は特徴量データを保持している商品を取り出し、学習者にバーコードの認識を行わせると同時に自身でも商品の認識を行う。バーコードの認識と商品の認識が同時に行われた場合、該当商品の属するカテゴリの特徴量データが共有される。

100…認識システム、10…認識装置、15…データサーバ、25…物品情報取得部、40…管理部、50…認識部、60…提示部、45…近接利用者特定部

Claims (14)

1. 画像を撮影する撮影部と、
   ユーザの周囲に存在する物品の名前として物品情報を取得する物品情報取得部と、
   前記取得した物品情報に対応する特徴量を管理する管理部と、
   前記管理された特徴量に基づき、前記撮影部の撮影した画像に含まれる物品を認識する認識部と、を備える認識装置であって、
   各物品の名前と特徴量とを紐付けて保持しているデータサーバに対して、前記取得した物品情報を送信して対応する特徴量を受信することにより、前記管理部は前記取得した物品情報に対応する特徴量を取得して管理することを特徴とする認識装置。
2. 前記物品情報取得部が以下の（１）〜（３）に掲げる少なくとも１つの手法により、商品名として物品情報を取得することを特徴とする請求項１に記載の認識装置。
   （１）前記撮影部の撮影したレシートの画像を解析することで商品名を抽出する手法
   （２）前記撮影部の撮影したコード付与された商品の画像におけるコードを解析することで、当該コードに対応する商品名を取得する手法
   （３）ユーザの電子商取引の履歴より購入した商品名を抽出する手法
3. 前記データサーバは、各物品の名前と当該物品を各角度から見た画像より抽出した特徴量とを紐付けて保持しており、
   前記管理部では当該各角度における特徴量を管理することで、前記認識部は各角度において物品を認識することを特徴とする請求項１または２に記載の認識装置。
4. 前記管理部は、以下の（１）〜（３）に掲げるいずれかに該当する特徴量を削除することを特徴とする請求項１ないし３のいずれかに記載の認識装置。
   （１）前記データサーバより取得された後の経過期間が一定期間に到達した特徴量
   （２）前記認識部にて対応する物品が認識されないことの継続期間が一定期間に到達した特徴量
   （３）前記認識部にて対応する物品が認識される頻度が一定値以下となった特徴量
5. 前記認識装置のユーザに対する近接ユーザを特定する近接利用者特定部をさらに備え、
   前記管理部は、自身が管理する特徴量と、前記近接ユーザの有する第二認識装置が備える第二管理部において管理される、前記近接ユーザにおいて取得された物品情報に対応する特徴量と、を共有して管理することを特徴とする請求項１ないし４のいずれかに記載の認識装置。
6. 前記管理部は、前記近接ユーザとの間での認証に成功した場合に、前記共有して管理することを特徴とする請求項５に記載の認識装置。
7. 前記認証が、両ユーザが一定期間の間にそれぞれ画像を取得して、当該両画像に共通の商品が含まれると判断される場合に、認証が成功したものと判定するものであることを特徴とする請求項６に記載の認識装置。
8. 物品にはカテゴリが付与されており、
   前記管理部は、自身が管理する特徴量と、前記近接ユーザの有する第二認識装置が備える第二管理部において管理される、前記近接ユーザにおいて取得された物品情報に対応する特徴量と、のうち、カテゴリが共通の物品における物品情報に対応する特徴量同士を、共有して管理することを特徴とする請求項５ないし７のいずれかに記載の認識装置。
9. 前記管理部は、ユーザから共有許可が与えられている物品情報を、前記共有して管理することを特徴とする請求項５ないし８のいずれかに記載の認識装置。
10. 前記データサーバでは各物品の名前と特徴量とコンテンツとを紐付けて保持しており、
    前記取得した物品情報を送信して対応する特徴量及びコンテンツを受信することにより、前記管理部は前記取得した物品情報に対応する特徴量及びコンテンツを取得して管理し、
    前記認識された物品に対応する、前記管理されたコンテンツを提示する提示部をさらに備えることを特徴とする請求項１ないし９のいずれかに記載の認識装置。
11. 前記管理部は、前記提示したコンテンツのユーザにおける利用が完了した際に、当該コンテンツに対応する特徴量を削除することを特徴とする請求項１０に記載の認識装置。
12. 各物品の名前と特徴量とを紐付けて保持するデータサーバであって、
    請求項１ないし１１のいずれかに記載の認識装置が前記取得して送信した物品情報を受信して、当該物品情報に対応する特徴量を前記認識装置へと返信するデータサーバ。
13. コンピュータを請求項１ないし１１のいずれかに記載の認識装置として機能させることを特徴とする認識プログラム。
14. データサーバにおいて、各物品の名前と特徴量とを紐付けて保持するステップと、
    画像を撮影する撮像部が備わる認識装置において、
    ユーザの周囲に存在する物品の名前として物品情報を取得する物品情報取得ステップと、
    前記取得した物品情報に対応する特徴量を管理する管理ステップと、
    前記管理された特徴量に基づき、前記撮影部の撮影した画像に含まれる物品を認識する認識ステップと、を備える認識方法であって、
    前記データサーバに対して、前記取得した物品情報を送信して対応する特徴量を受信することにより、前記管理ステップでは前記取得した物品情報に対応する特徴量を取得して管理することを特徴とする認識方法。