JP2016071471A - 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム - Google Patents

Abstract

【課題】物品４０ａ、４０ｂの比較を容易に行うこと。【解決手段】物品情報提供装置の一形態であるＨＭＤ１０の撮像部の一形態であるカメラ１３により現実空間が撮像され、被写体認識部の一形態である画像認識部１５によりカメラ１３によって撮像された被写体が認識され、物品判別部の一形態である画像処理制御部１６により画像認識部１５によって認識された被写体からそれぞれの物品が判別されると、判別した物品を示すそれぞれの物品識別情報が第１の情報送受信部の一形態である無線送受信部１７を介して情報管理サーバー２０に送信される。また、情報管理サーバー２０の第１の情報送受信部の一形態である無線送受信部２１からの物品のそれぞれの物品情報を受け取ると、画像処理制御部１６により、判別した物品の状態に応じて表示部１１にそれぞれの物品情報を示す物品情報画像が表示される。【選択図】図１

Description

本発明は、物品の情報を提供することに適した物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムに関する。

近年、仮想物体の画像を、あたかも現実空間にその仮想物体があるかのように表示部に表示させる、いわゆるＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）技術が様々な分野で応用されている。

その１つとして、たとえば特許文献１に示されている、店舗に陳列されている商品などの物品についての物品情報を、物品情報を確認したいユーザーに対してリアルタイムに提供する物品情報提供システムが知られている。この技術は、撮像部により現実空間を撮像し、物品情報取得部により撮像部によって撮像された撮像画像に含まれる物品に関する物品情報を取得し、画像生成部により撮像部によって撮像された撮像画像に含まれる物品の位置に基づいて、物品情報取得部により取得された物品情報を現実空間に重畳して表示させるための拡張現実画像を生成し、表示部により画像生成部によって生成された拡張現実画像を表示可能としたものである。

特開２０１１−２５３３２４

上述した特許文献１の物品情報提供システムでは、物品情報取得部により撮像部によって撮像された撮像画像に含まれる物品に関する物品情報が取得されると、画像生成部により撮像部によって撮像された撮像画像に含まれる物品の位置に基づき、物品情報取得部により取得された物品情報を示す物品情報画像が表示部により現実空間に重畳して表示される。そのため、店舗に陳列されている物品についての物品情報を、ユーザーに対してリアルタイムに提供することができる。

ところが、このような物品情報提供システムで提供される物品情報は、指をさしたり、掴んだりした物品に限定されている。そのため、類似する他の物品との比較を行う場合、目線を他の物品に向けるとともに、他の物品を指さしたり、掴んだりする必要がある。このとき、他の物品の物品情報画像が表示されるものの、先に表示されていた物品情報画像の表示が行われないことから、物品の比較が困難となる。

すなわち、店舗に陳列されている商品などの物品には、様々な種類がある。これらの物品の中からいずれかを購入する際には、類似する物品を比較することが多く見受けられる。この場合、たとえば左右の手で比較対象となる物品を掴み、両物品を見比べることが多い。ここで、物品がたとえば加工食品である場合、値段、原材料名、内容量、正味期限、消費期限、原産国名、輸入者などを見比べることが多い。

ところが、たとえば類似する物品であっても値段、原材料名、内容量、正味期限、消費期限、原産国名、輸入者などの表示箇所が異なったり、表示の仕方が異なったり、内容物の目視確認が困難であったりするため、両物品の比較が非常に煩わしいものである。

このようなことから、ユーザーが知りたい比較対象となる物品の物品情報画像を同時に表示させることで、物品の比較を容易に行える装置の開発が望まれていた。

本発明は、このような状況に鑑みてなされたものであり、上記問題点を解決することができる物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムを提供することを目的とする。

本発明の物品情報提供装置は、物品情報提供装置であって、物品情報を示す物品情報画像を表示する表示部と、現実空間を撮像する撮像部と、前記撮像部によって撮像された被写体を認識する被写体認識部と、前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品に対応させた前記物品情報画像を表示させる物品判別部とを備えることを特徴とする。
また、前記物品判別部は、前記判別した物品の動態変化を識別すると、前記表示部にそれぞれの前記物品に対応させた前記物品情報画像を表示させることを特徴とする。
また、前記物品判別部は、前記判別した物品の動態変化が一定時間無い場合、前記表示部にそれぞれの前記物品に対応させた前記物品情報画像を表示させることを特徴とする。
本発明の物品情報提供システムは、物品情報提供装置と、情報管理サーバーとを備え、前記物品情報提供装置は、物品情報を示す物品情報画像を表示する表示部と、前記情報管理サーバーとの間で情報の送受信を行う第１の情報送受信部と、現実空間を撮像する撮像部と、前記撮像部によって撮像された被写体を認識する被写体認識部と、前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品を示すそれぞれの物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品のそれぞれの物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品に対応させた前記物品情報画像を表示させる物品判別部とを備え、前記情報管理サーバーは、前記物品情報が登録されているデータベースと、前記物品情報提供装置との間で情報の送受信を行う第２の情報送受信部と、それぞれの前記物品識別情報に基づいて物品を識別する物品識別部と、
前記物品識別部による物品の識別結果に基づき、前記データベースから該当するそれぞれの物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する物品情報取得部とを備えることを特徴とする。
また、前記データベースには、前記物品を特定するための物品画像及び物品名が登録されており、前記物品識別部は、前記物品識別情報が前記物品画像又は前記物品名である場合、前記データベースに登録されている前記物品画像又は前記物品名との照合により前記物品を識別し、前記物品情報取得部は、前記物品識別部による識別結果に基づき、前記データベースから該当する物品情報を取得することを特徴とする。
また、前記物品識別部は、前記物品識別情報がバーコードである場合、前記バーコードを判読して前記物品を認識することを特徴とする。
本発明の物品情報提供方法は、物品情報提供装置による物品情報提供方法であって、表示部により物品情報を示す物品情報画像を表示する工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを有することを特徴とする。
本発明の物品情報提供方法は、情報管理サーバーと物品情報提供装置を有する物品情報提供システムによる物品情報提供方法であって、前記物品情報提供装置は、表示部により前記物品情報を示す物品情報画像を表示する工程と、第１の情報送受信部により前記情報管理サーバーとの間で情報の送受信を行う工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを有し、前記情報管理サーバーは、第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、物品識別部によりそれぞれの前記物品識別情報に基づいて物品を識別する工程と、物品情報取得部により前記物品識別部による物品の識別結果に基づき、データベースから該当するそれぞれの物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを有することを特徴とする。
本発明の物品情報提供プログラムは、表示部により前記物品情報を示す物品情報画像を表示する工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを物品情報提供装置を制御するコンピューターに実行させることを特徴とする。
本発明の物品情報提供プログラムは、表示部により物品情報を示す物品情報画像を表示する工程と、第１の情報送受信部により情報管理サーバーとの間で情報の送受信を行う工程と、撮像部により現実空間を撮像する工程と、被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを物品情報提供装置を制御するためのコンピューターに実行させ、第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、物品識別部によりそれぞれの前記物品識別情報に基づいて物品を識別する工程と、物品情報取得部により前記物品識別部による物品の識別結果に基づき、データベースから該当するそれぞれの物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを情報管理サーバーを制御するためのコンピューターに実行させることを特徴とする。
本発明の物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムでは、撮像部により現実空間が撮像され、被写体認識部により撮像部によって撮像された被写体が認識され、物品判別部により被写体認識部によって認識された被写体から比較対象となる物品が判別されると、前記判別した物品を示すそれぞれの物品識別情報が第１の情報送受信部を介して情報管理サーバーに送信される。また、情報管理サーバーから物品のそれぞれの物品情報を受け取ると、物品判別部により、判別した物品の状態に応じて表示部に比較対象となるそれぞれの物品情報を示す物品情報画像が同時に表示される。

本発明の物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラムによれば、物品判別部により被写体認識部によって認識された被写体から比較対象となる物品が判別されると、判別された物品の状態に応じて表示部にそれぞれの物品情報を示す物品情報画像が同時に表示されるので、物品の比較を容易に行うことができる。

本発明の物品情報提供システムの一実施形態を示す図である。 図１のＨＭＤの一例を示す斜視図である。 図１及び図２のＨＭＤのカメラにより撮像される被写体を説明するものであって、同図（ａ）は被写体である物品がＨＭＤのユーザーの手によって掴まれている状態を示す図であり、同図（ｂ）はユーザーの左手によって掴まれている物品が裏返された状態を示す図であり、同図（ｃ）はユーザーの左手によって掴まれている物品が傾けられた状態を示す図である。 図１及び図２のＨＭＤの表示部での物品情報画像の一表示例を説明するための図である。 図１及び図２のＨＭＤ側の処理を説明するためのフローチャートである。 図１の情報管理サーバー側の処理を説明するためのフローチャートである。

以下、本発明の物品情報提供システムの一実施形態を、図１〜図６を参照しながら説明する。なお、以下の説明においての物品情報提供装置の一例としては、たとえば頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であるものとする。また、以下に説明する頭部装着型表示装置は、たとえば店舗において用いられるものとする。

まず、図１に示すように、物品情報提供システムは、頭部装着型表示装置（以下、ＨＤＭという）１０と、データベース２４を有する情報管理サーバー２０とを備えている。ＨＭＤ１０と情報管理サーバー２０とは、無線通信回線３０を介して接続されている。

ＨＭＤ１０は、現実空間における物品とＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）などで描画された物品情報を示す後述の物品情報画像６０ａ、６０ｂとを融合表示させることにより、ユーザーに対して物品情報をリアルタイムに提供する物品情報提供装置の一形態である。また、ＨＭＤ１０は、たとえばユーザーの頭部に装着した状態で使用されるものであり、たとえば図２に示すように、眼鏡型とされている。これにより、ユーザーはＨＭＤ１０を手で保持する必要がないので、今までどおり両手を使って買い物をすることができる。

すなわち、ＨＭＤ１０は、物品情報を示す後述の物品情報画像６０ａ、６０ｂを表示する左右の表示部１１と、耳に掛けるためのつる部１２とを有している。左右の表示部１１の間には、カメラ１３が配置されている。カメラ１３が左右の表示部１１の間に配置されていることで、カメラ１３の撮像範囲がユーザーの頭部の動きに追従する。また、一方のつる部１２には、装置本体１４が配置されている。

なお、カメラ１３は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを撮像素子として用いた構成とされる。また、カメラ１３は、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）で被写体を撮像可能なビデオカメラとすることができる。

これにより、カメラ１３は、被写体であるユーザーの左手５０ａ及び右手５０ｂと、ユーザーの左手５０ａ及び右手５０ｂによって掴まれている物品４０ａ、４０ｂとを連続して撮像することができる。なお、カメラ１３は、ビデオカメラに限らず、静止画を撮像するものとしてもよい。この場合、静止画の撮像間隔を、たとえば０．５秒とすることで、被写体であるユーザーの左手５０ａ及び右手５０ｂと、ユーザーの左手５０ａ及び右手５０ｂによって掴まれている物品４０ａ、４０ｂとを間欠的に撮像することができる。なお、物品４０ａ、４０ｂは、同一のものであってもよいし、類似するものであってもよいし、種類が異なるものであってもよい。いずれにしても、詳細は後述するが、ユーザーの左手５０ａ及び右手５０ｂによって掴まれている物品４０ａ、４０ｂが比較対象となる。

また、表示部１１は、たとえば光学シースルー方式を採用している。すなわち、表示部１１は、可視光の透過が可能となるように構成されている。これにより、ＨＭＤ１０の装着者は、眼前の表示部１１を透過した現実空間の光景を直接見ることができるとともに、表示部１１に表示された拡張現実画像も見ることができる。この場合の拡張現実画像は、ＣＧなどで描画された物品情報を示す後述の物品情報画像６０ａ、６０ｂである。

なお、表示部１１は、たとえばハーフミラーによって構成されていてもよい。また、表示部１１は、後述の画像処理制御部１６によって生成された物品情報を示す後述の物品情報画像６０ａ、６０ｂを表示部１１に投影するための投影装置（図示省略）を備えている。また、表示部１１は、液晶ディスプレイで構成されていてもよい。この場合は、後述の画像処理制御部１６によって生成された後述の物品情報画像６０ａ、６０ｂが液晶駆動回路（図示省略）によって表示部１１に表示される。

装置本体１４は、画像認識部１５、画像処理制御部１６、無線送受信部１７を有している。画像認識部１５は、上述のカメラ１３によって撮像された被写体である物品４０ａ、４０ｂを認識する。この場合、ユーザーが物品４０ａ、４０ｂを掴んでいると、ユーザーの左手５０ａ及び右手５０ｂも被写体として認識される。また、物品４０ａ、４０ｂがたとえば棚に陳列されている状態で撮像された場合は、画像認識部１５が物品４０ａ、４０ｂと棚を被写体として認識する。

画像認識部１５による被写体の認識は、カメラ１３によって撮像が行われている間、連続して行われる。なお、画像認識部１５による被写体の認識は、たとえば０．５秒間隔としたように間欠的に行われてもよい。

画像処理制御部１６は、画像認識部１５による認識動作を制御する。また、画像処理制御部１６は、画像認識部１５によって認識された被写体から物品４０ａ、４０ｂを判別し、その物品４０ａ、４０ｂを示す物品識別情報を無線送受信部１７を介して無線通信回線３０に接続されている情報管理サーバー２０に送信する。なお、物品識別情報としては、物品４０ａ、４０ｂの物品画像であってもよいし、物品４０ａ、４０ｂ上に付されている物品名、バーコード、ロット番号、製造年月日、製造者名などであってもよい。すなわち、物品識別情報は、単独で、又は組み合わせて物品４０ａ、４０ｂの識別を可能とする情報であればよい。

また、画像処理制御部１６は、後述のように、ユーザーが物品情報を知りたいかどうかを判定し、ユーザーが物品情報を知りたいと判定すると、情報管理サーバー２０から受け取った物品情報を示す後述の物品情報画像６０ａ、６０ｂを生成し、表示部１１に表示させる。

ここで、画像処理制御部１６によるユーザーが物品情報を知りたいかどうかの判定は、たとえば物品４０ａ又は４０ｂがユーザーの左手５０ａ又は右手５０ｂによって動かされたかどうかを判断して行う。この場合、物品４０ａ及び４０ｂが左手５０ａ及び右手５０ｂによって同時に動かされたときであっても、同様の判定が行われる。

すなわち、たとえば図３（ａ）に示すように、比較対象となる物品４０ａ、４０ｂがユーザーの左手５０ａ及び右手５０ｂによって掴まれていたとする。この場合、カメラ１３により物品４０ａ、４０ｂのマーク４１ａ、４１ｂが手前側に位置している状態で、ユーザーの左手５０ａ及び右手５０ｂによって掴まれている物品４０ａ、４０ｂが撮像される。なお、図中符号４２はキャップを示している。

また、たとえば図３（ｂ）に示すように、ユーザーが左手５０ａで掴んだ物品４０ａを裏返して物品４０ａの全体を見たり、物品４０ａ上の説明書きなどを見たりすることがある。この場合、カメラ１３により物品４０ａのマーク４１ａが背面側に移動している状態で、ユーザーの左手５０ａによって掴まれている物品４０ａが撮像される。なお、図示はしていないが、ユーザーが右手５０ｂで掴んだ物品４０ｂを裏返して物品４０ｂの全体を見たり、物品４０ｂ上の説明書きなどを見たりすることもある。この場合も、カメラ１３により物品４０ｂのマーク４１ｂが背面側に移動している状態で、ユーザーの右手５０ｂによって掴まれている物品４０ｂが撮像される。

また、図３（ｃ）に示すように、ユーザーが左手５０ａで掴んだ物品４０ａを傾けて物品４０ａの全体を見たり、物品４０ａ上の説明書きなどを見たりすることがある。この場合、カメラ１３により物品４０ａのキャップ４２が下方に移動している状態で、ユーザーの左手５０ａによって掴まれている物品４０ａが撮像される。なお、図示はしていないが、ユーザーが右手５０ｂで掴んだ物品４０ｂを傾けて物品４０ｂの全体を見たり、物品４０ｂ上の説明書きなどを見たりすることもある。この場合も、カメラ１３により物品４０ｂのキャップ４２が下方に移動している状態で、ユーザーの右手５０ｂによって掴まれている物品４０ｂが撮像される。

物品４０ａ、４０ｂの動態変化は、画像処理制御部１６が画像認識部１５によって認識された被写体から物品４０ａ、４０ｂを判別するとともに、物品４０ａ、４０ｂの変化を識別することで判断することができる。そこで、画像処理制御部１６は、物品４０ａ、４０ｂが裏返されたり傾けられたりすることによる物品４０ａ、４０ｂの動態変化を識別することで、ユーザーが物品情報を知りたいかどうかを判定することができる。

そして、画像処理制御部１６は、ユーザーが物品情報を知りたいものと確実に判定すると、情報管理サーバー２０からの物品情報に基づき、図４に示すように、その物品情報を示す物品情報画像６０ａ、６０ｂを生成し、表示部１１に表示させる。この場合、情報管理サーバー２０からの物品情報は、物品４０ａ、４０ｂのそれぞれに対応するものである。また、物品４０ａ、４０ｂがたとえば加工食品である場合、その物品情報はたとえば値段、原材料名、内容量、正味期限、消費期限、原産国名、輸入者などを示す内容となっている。

これにより、比較対象となる物品４０ａ、４０ｂのそれぞれの物品情報を示す物品情報画像６０ａ、６０ｂを、同時にユーザーに提供できる。また、それぞれの物品情報画像６０ａ、６０ｂは、それぞれの物品４０ａ、４０ｂに対応させて表示される。これにより、それぞれの物品４０ａ、４０ｂとそれぞれの物品情報画像６０ａ、６０ｂとの関係を直感的にとらえることができる。

なお、図４では、物品情報画像６０ａ、６０ｂの表示の仕方については、図４のように、左右に表示させること以外に、上下に表示させたりしてもよい。いずれにしても、それぞれの物品４０ａ、４０ｂに対応させた物品情報画像６０ａ、６０ｂが表示されていればよい。

また、画像処理制御部１６によるユーザーが物品情報を知りたいかどうかの判定は、物品４０ａ、４０ｂの動態変化の有無に限るものではない。すなわち、たとえば図３（ａ）に示す状態での物品４０ａ、４０ｂが継続して撮像されることがある。これは、ユーザーが左手５０ａ及び右手５０ｂで物品４０ａ、４０ｂを掴んでも、そのままの状態で物品４０ａ、４０ｂの全体を見たり、物品４０ａ、４０ｂ上の説明書きなどを見たりすることがあるためである。

この場合、物品４０ａ、４０ｂの動態変化のない状態が一定時間（たとえば５秒程度）経過していれば、物品４０ａ、４０ｂを凝視していることになり、ユーザーが物品情報を知りたいと判定する。なお、判定に要する一定時間は、５秒に限るものではなく、適宜変更可能である。また、ユーザーは、棚に陳列されている物品４０ａ、４０ｂを掴まずにそのまま凝視することがある。この場合も、物品４０ａ、４０ｂの動態変化のない状態が一定時間（たとえば５秒程度）経過していれば、ユーザーが物品情報を知りたいと判定する。また、ユーザーは、棚に陳列されている物品４０ａ、４０ｂに左手５０ａ及び右手５０ｂを触れた状態でそのまま凝視することがある。この場合も、物品４０ａ、４０ｂの動態変化のない状態が一定時間（たとえば５秒程度）経過していれば、ユーザーが物品情報を知りたいと判定する。

なお、図３（ａ）において、いずれか一方の物品４０ａ又は４０ｂがユーザーの左手５０ａ又は右手５０ｂによって掴まれていたとする。この場合、画像処理制御部１６が上記同様にしてユーザーが物品情報を知りたいものと確実に判定する。そして、情報管理サーバー２０からの物品情報に基づき、その物品情報を示す物品情報画像６０ａ、６０ｂを生成し、表示部１１に表示させる。この場合の物品情報を示す物品情報画像６０ａ、６０ｂは、物品４０ａ又は４０ｂのいずれか一方に対応するものとなる。

無線送受信部１７は、画像処理制御部１６からの物品識別情報を情報管理サーバー２０に送信したり、情報管理サーバー２０からの物品情報を受信したりする。

一方、情報管理サーバー２０は、無線送受信部２１、物品識別部２２、物品情報取得部２３を備えている。無線送受信部２１は、ＨＭＤ１０からの上述した物品識別情報の受信と、この物品識別情報に対応した物品情報の送信とを行う。

物品識別部２２は、ＨＭＤ１０からの物品識別情報に基づき、物品４０ａ、４０ｂを識別する。物品４０ａ、４０ｂの判別に際しては、物品識別情報が物品４０ａ、４０ｂの物品画像である場合、データベース２４に登録されている物品画像との照合により行う。また、物品識別情報が物品４０ａ、４０ｂ上に付されている物品名である場合、データベース２４に登録されている物品名との照合により行う。なお、物品識別情報がバーコードである場合は、そのまま判読することで、物品４０ａ、４０ｂを判別する。

物品情報取得部２３は、物品識別部２２による物品４０ａ、４０ｂの識別結果に基づき、データベース２４から該当する物品情報を取得する。データベース２４には、物品４０ａ、４０ｂ毎に対応させた物品情報や、物品４０ａ、４０ｂを判別するための物品画像及び物品名が登録されている。

次に、図５を参照し、ＨＭＤ１０側の処理について説明する。なお、ＨＭＤ１０側の処理においては、ＨＭＤ１０がユーザーの頭部に装着されることで、カメラ１３による撮像が開始されるものとする。

まず、ＨＭＤ１０のカメラ１３による被写体の撮像待ちの状態から（ステップＳ１：Ｎｏ）、ＨＭＤ１０のカメラ１３による被写体の撮像が行われたとする（ステップＳ１：Ｙｅｓ）。ここで、たとえば図３（ａ）に示したように、物品４０ａ、４０ｂがユーザーの左手５０ａ及び右手５０ｂによって掴まれていたとする。このとき、ＨＭＤ１０のカメラ１３が、被写体である物品４０ａ、４０ｂ及びユーザーの左手５０ａ及び右手５０ｂを撮像する。

被写体が撮像されると、画像認識部１５が被写体である物品４０ａ、４０ｂ及びユーザーの左手５０ａ及び右手５０ｂを認識する（ステップＳ２）。なお、上述したように、カメラ１３がビデオカメラであり、画像一枚あたりの撮像周期がたとえば１／３０秒（すなわち、フレームレートが３０ｆｐｓ）であるとする。この場合、画像認識部１５はたとえば１秒間で得られる３０枚のフレーム画像のうち、任意のフレーム画像から被写体である物品４０ａ、４０ｂ及びユーザーの左手５０ａ及び右手５０ｂを認識する。

次いで、画像処理制御部１６が画像認識部１５によって認識されたそれぞれの物品４０ａ、４０ｂを判別し（ステップＳ３）、その判別した物品４０ａ、４０ｂを示すそれぞれの物品識別情報を、無線送受信部１７を介して無線通信回線３０に接続されている情報管理サーバー２０に送信する（ステップＳ４）。

なお、物品４０ａ、４０ｂを示すそれぞれの物品識別情報は、上述したように、物品４０ａ、４０ｂの物品画像であってもよいし、物品４０ａ、４０ｂ上に付されている物品名やバーコードなどであってもよい。また、ＨＭＤ１０から情報管理サーバー２０にそれぞれの物品識別情報が送信されると、直ちに該当するそれぞれの物品情報が情報管理サーバー２０から返信されるが、その処理については後述する。よって、ここでは、情報管理サーバー２０から該当するそれぞれの物品情報が返信されているものとする。

また、カメラ１３による被写体の撮像が継続して行われるため、画像認識部１５による被写体の認識に合わせて画像処理制御部１６が一方又は両方の物品４０ａ、４０ｂの動態変化の有無を判断する（ステップＳ５）。

ここで、たとえば図３（ｂ）に示したように、ユーザーが左手５０ａ及び右手５０ｂで掴んだ物品４０ａ、４０ｂを裏返して物品４０ａ、４０ｂの全体を見たり、物品４０ａ、４０ｂ上の説明書きなどを見たりしたとする。この場合、上述したように、カメラ１３により物品４０ａ、４０ｂのマーク４１ａ、４１ｂが背面側に移動している状態で、ユーザーの左手５０ａ及び右手５０ｂによって掴まれている物品４０ａ、４０ｂが撮像される。

また、図３（ｃ）に示したように、ユーザーが左手５０ａ及び右手５０ｂで掴んだ物品４０ａ、４０ｂを傾けて物品４０ａ、４０ｂの全体を見たり、物品４０ａ、４０ｂ上の説明書きなどを見たりしたとする。この場合、上述したように、カメラ１３により物品４０ａ、４０ｂのキャップ４２が下方に移動している状態で、ユーザーの左手５０ａ及び右手５０ｂによって掴まれている物品４０ａ、４０ｂが撮像される。

物品４０ａ、４０ｂの動態変化は、画像処理制御部１６が画像認識部１５によって認識された被写体から物品４０ａ、４０ｂを判別するとともに、物品４０ａ、４０ｂの変化を識別することで判断することができる。そして、画像処理制御部１６は、物品４０ａ、４０ｂに動態変化が有ると判断すると（ステップＳ５：Ｙｅｓ）、ユーザーがそれぞれの物品情報を知りたいと判定し、情報管理サーバー２０から受け取ったそれぞれの物品情報を示す物品情報画像６０ａ、６０ｂを生成し、表示部１１にそれぞれの物品情報画像６０ａ、６０ｂを表示させる（ステップＳ６）。これにより、ユーザーが物品情報を知りたいと思われる適切なタイミングで物品情報が提供される。また、表示部１１には、物品４０ａ、４０ｂに対応するそれぞれの物品情報画像６０ａ、６０ｂが同時に表示される。

ここで、表示部１１に表示される物品情報画像６０ａ、６０ｂの内容は、上述したように、物品４０ａ、４０ｂの値段、原材料名、内容量、正味期限、消費期限、原産国名、輸入者などを示すものとなっている。そのため、それぞれの物品情報画像６０ａ、６０ｂの内容を確認することで、物品４０ａ、４０ｂの比較を容易に行える。

次いで、画像処理制御部１６が画像認識部１５によって認識された被写体である物品４０ａ、４０ｂを判別できるかどうか判断する（ステップＳ７）。すなわち、画像処理制御部１６は、ユーザーが左手５０ａ及び右手５０ｂで掴まれている物品４０ａ、４０ｂがカメラ１３によって撮像されている間は画像認識部１５による認識結果から物品４０ａ、４０ｂを判別することができる。これに対し、物品４０ａ、４０ｂが元の棚に戻されたりすると、カメラ１３の撮像範囲から外れることで、画像認識部１５による認識結果からの物品４０ａ、４０ｂの判別ができなくなる。

そのため、画像処理制御部１６は、物品４０ａ、４０ｂの判別ができる場合（ステップＳ７：Ｙｅｓ）、表示部１１での物品情報を示すそれぞれの物品情報画像６０ａ、６０ｂの表示を継続させる。これに対し、画像処理制御部１６は、物品４０ａ、４０ｂの判別ができなくなった場合（ステップＳ７：Ｎｏ）、物品情報を示すそれぞれの物品情報画像６０ａ、６０ｂの表示を消去する（ステップＳ８）。これにより、余分な物品情報画像６０ａ、６０ｂが視野に入ってしまうことがなくなる。

これに対し、ステップＳ５において、一方又は両方の物品４０ａ、４０ｂに動態変化が無かった場合（ステップＳ５：Ｎｏ）、画像処理制御部１６が一定時間（たとえば５秒程度）経過したかどうかを判断する（ステップＳ９）。すなわち、たとえば図３（ａ）に示した状態で、物品４０ａ、４０ｂが継続してカメラ１３により撮像されることがある。これは、上述したように、ユーザーが左手５０ａ及び右手５０ｂで掴んだ物品４０ａ、４０ｂを動かさずにそのままの状態で物品４０ａ、４０ｂの全体を見たり、物品４０ａ、４０ｂ上の説明書きなどを見たりすることがあるためである。

この場合、画像処理制御部１６は、物品４０ａ、４０ｂの動態変化のない状態が一定時間（たとえば５秒程度）経過した判断すると（ステップＳ９：Ｙｅｓ）、ユーザーが物品情報を知りたいと判定し、情報管理サーバー２０から受け取った物品情報を示すそれぞれの物品情報画像６０ａ、６０ｂを生成し、表示部１１にそれぞれの物品情報画像６０ａ、６０ｂを同時に表示させる（ステップＳ６）。なお、上述したように、ユーザーは棚に陳列されている物品４０ａ、４０ｂを掴まずにそのまま凝視することがある。この場合も、画像処理制御部１６は、一定時間（たとえば５秒程度）経過していれば、ユーザーが物品情報を知りたいと判定する。これにより、上記同様に、ユーザーが物品情報を知りたいと思われる適切なタイミングで物品情報が提供される。また、表示部１１にそれぞれの物品情報画像６０ａ、６０ｂが同時に表示されるため、物品４０ａ、４０ｂの比較を容易に行える。

これに対し、画像処理制御部１６が一方又は両方の物品４０ａ、４０ｂの動態変化のない状態が一定時間（たとえば５秒程度）経過していないと判断すると（ステップＳ９：Ｎｏ）、画像認識部１５によって認識された被写体である物品４０ａ、４０ｂを判別できるかどうか判断する（ステップＳ１０）。画像処理制御部１６は、物品４０ａ、４０ｂを判別できる場合は（ステップＳ１０：Ｙｅｓ）、物品４０ａ、４０ｂに動態変化が有るかどうかを判断する（ステップＳ５）。

これに対し、画像処理制御部１６が物品４０ａ、４０ｂを判別できない場合は（ステップＳ１０：Ｎｏ）、表示部１１による物品情報を示す物品情報画像６０ａ、６０ｂの表示は行われない。すなわち、上述したように、ユーザーの左手５０ａ及び右手５０ｂで掴まれている物品４０ａ、４０ｂがカメラ１３によって撮像されている間、画像処理制御部１６は画像認識部１５による認識結果から物品４０ａ、４０ｂを判別することができる。

これに対し、ユーザーが物品４０ａ、４０ｂを一旦掴んだものの、即座に元の棚に物品４０ａ、４０ｂを戻してしまうことがある。また、上述したように、ユーザーは棚に陳列されている物品４０ａ、４０ｂを掴まずにそのまま凝視することがあるが、短時間のうちに視線を凝視していた物品４０ａ、４０ｂから外してしまうことがある。また、ユーザーが物品４０ａ、４０ｂを一旦掴んだものの、そのままカゴに入れてしまうことがある。

この場合、上述したように、物品４０ａ、４０ｂがカメラ１３の撮像範囲から外れることで、画像処理制御部１６は画像認識部１５による認識結果からの物品４０ａ、４０ｂの判別ができなくなる。そのため、画像処理制御部１６は、短時間で物品４０ａ、４０ｂの判別ができなくなった場合、ユーザーが物品情報を知りたいかどうかの判定を行わない。これにより、ユーザーが物品情報を知りたいと思わない場合には、物品情報を示す物品情報画像６０ａ、６０ｂを表示部１１に表示させないことから、余分な物品情報画像６０ａ、６０ｂの表示を回避できる。

次に、図６を参照し、情報管理サーバー２０側の処理について説明する。まず、ＨＭＤ１０側からのそれぞれの物品識別情報の受信待ちとなる（ステップＳ２０：Ｎｏ）。無線送受信部２１がＨＭＤ１０側からのそれぞれの物品識別情報を受信すると（ステップＳ２０：Ｙｅｓ）、物品識別部２２がそれぞれの物品識別情報に基づき、物品４０ａ、４０ｂを識別する（ステップＳ２１）。

ここで、物品４０ａ、４０ｂを識別する際、上述したように、それぞれの物品識別情報が物品４０ａ、４０ｂの物品画像である場合、データベース２４に登録されている物品画像との照合により行う。また、それぞれの物品識別情報が物品４０ａ、４０ｂ上に付されている物品名である場合、データベース２４に登録されている物品名との照合により行う。なお、それぞれの物品識別情報がバーコードである場合は、そのまま判読して物品４０ａ、４０ｂを判別する。

次いで、物品情報取得部２３が物品識別部２２による識別結果に基づき、データベース２４から該当するそれぞれの物品情報を取得する（ステップＳ２２）。そして、物品情報取得部２３によってそれぞれの物品情報が取得されると、無線送受信部２１がＨＭＤ１０側にその取得されたそれぞれの物品情報を送信する（ステップＳ２３）。

このように、本実施形態では、物品情報提供装置の一形態であるＨＭＤ１０の撮像部の一形態であるカメラ１３により現実空間が撮像され、被写体認識部の一形態である画像認識部１５によりカメラ１３によって撮像された被写体が認識され、物品判別部の一形態である画像処理制御部１６により画像認識部１５によって認識された被写体から比較対象となる物品４０ａ、４０ｂが判別されると、判別した物品４０ａ、４０ｂを示すそれぞれの物品識別情報が第１の情報送受信部の一形態である無線送受信部１７を介して情報管理サーバー２０に送信される。また、情報管理サーバー２０の第１の情報送受信部の一形態である無線送受信部２１からの物品４０ａ、４０ｂのそれぞれの物品情報を受け取ると、画像処理制御部１６により、判別した物品の状態に応じて表示部１１にそれぞれの物品情報を示す物品情報画像６０ａ、６０ｂが同時に表示される。

なお、情報管理サーバー２０側では、物品識別部２２によりそれぞれの物品識別情報に基づいて物品４０ａ、４０ｂが識別されると、物品情報取得部２３により物品識別部２２による物品４０ａ、４０ｂのそれぞれの識別結果に基づき、物品情報が登録されているデータベース２４から該当するそれぞれの物品情報が取得され、第２の情報送受信部の一形態である無線送受信部２１を介してＨＭＤ１０に送信される。

このように、情報管理サーバー２０との連携により、ＨＭＤ１０の画像処理制御部１６により判別された物品４０ａ、４０ｂの状態に応じてそれぞれの物品情報を示す物品情報画像が表示部１１に同時に表示されることから、物品４０ａ、４０ｂの比較を容易に行うことができる。

なお、画像処理制御部１６による表示部１１に対する物品情報を示す物品情報画像の表示は、判別した物品４０ａ、４０ｂの動態変化を識別したとき、又は判別した物品４０ａ、４０ｂの動態変化が一定時間無い場合である。これは、ユーザーが物品情報を知りたいかどうかを判定するための条件であり、これらの条件を満たしたときに物品情報を示す物品情報画像６０ａ、６０ｂを表示部１１に表示させることで、余分な物品情報画像６０ａ、６０ｂが表示されてしまうことがなくなる。また、余分な物品情報画像がユーザーの視野に入ってしまうことがないため、ユーザーは煩わしさを覚えてしまうこともなくなる。

なお、本実施形態では、ＨＭＤ１０は、たとえば店舗において用いられるものとして説明したが、この例に限らず、病院、図書館、市民会館などのような公共施設や、各種レジャー施設、さらには道路、鉄道、港湾、空港などの交通施設などにおいても用いることが可能である。

また、本実施形態では、物品４０ａ、４０ｂをたとえば加工食品とした場合で説明したが、これに限らず、生鮮食品、嗜好食品、飲料品、健康食品などの他の食品であってもよい。また、本実施形態では、店舗の棚に陳列されている物品４０ａ、４０ｂを例にとって説明したが、その他の箇所に置かれている物品４０ａ、４０ｂに対しても、同様にして本発明を実施することができる。

１０ ＨＭＤ
１１ 表示部
１２ つる部
１３ カメラ
１４ 装置本体
１５ 画像認識部
１６ 画像処理制御部
１７ 無線送受信部
２０ 情報管理サーバー
２１ 無線送受信部
２２ 物品識別部
２３ 物品情報取得部
２４ データベース
３０ 無線通信回線
４０ａ、４０ｂ 物品
４１ａ、４１ｂ マーク
４２ キャップ
５０ａ 左手
５０ｂ 右手
６０ａ、６０ｂ 物品情報画像

Claims (10)

1. 物品情報提供装置であって、
   物品情報を示す物品情報画像を表示する表示部と、
   現実空間を撮像する撮像部と、
   前記撮像部によって撮像された被写体を認識する被写体認識部と、
   前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品に対応させた前記物品情報画像を表示させる物品判別部とを備える
   ことを特徴とする物品情報提供装置。
2. 前記物品判別部は、前記判別した物品の動態変化を識別すると、前記表示部にそれぞれの前記物品に対応させた前記物品情報画像を表示させることを特徴とする請求項１に記載の物品情報提供装置。
3. 前記物品判別部は、前記判別した物品の動態変化が一定時間無い場合、前記表示部にそれぞれの前記物品に対応させた前記物品情報画像を表示させることを特徴とする請求項１又は２に記載の物品情報提供装置。
4. 物品情報提供装置と、
   情報管理サーバーとを備え、
   前記物品情報提供装置は、
   物品情報を示す物品情報画像を表示する表示部と、
   前記情報管理サーバーとの間で情報の送受信を行う第１の情報送受信部と、
   現実空間を撮像する撮像部と、
   前記撮像部によって撮像された被写体を認識する被写体認識部と、
   前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品を示すそれぞれの物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品のそれぞれの物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品に対応させた前記物品情報画像を表示させる物品判別部とを備え、
   前記情報管理サーバーは、
   前記物品情報が登録されているデータベースと、
   前記物品情報提供装置との間で情報の送受信を行う第２の情報送受信部と、
   それぞれの前記物品識別情報に基づいて物品を識別する物品識別部と、
   前記物品識別部による物品の識別結果に基づき、前記データベースから該当するそれぞれの物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する物品情報取得部とを備える
   ことを特徴とする物品情報提供システム。
5. 前記データベースには、前記物品を特定するための物品画像及び物品名が登録されており、
   前記物品識別部は、前記物品識別情報が前記物品画像又は前記物品名である場合、前記データベースに登録されている前記物品画像又は前記物品名との照合により前記物品を識別し、
   前記物品情報取得部は、前記物品識別部による識別結果に基づき、前記データベースから該当する物品情報を取得する
   ことを特徴とする請求項４に記載の物品情報提供システム。
6. 前記物品識別部は、前記物品識別情報がバーコードである場合、前記バーコードを判読して前記物品を認識することを特徴とする請求項４又は５に記載の物品情報提供システム。
7. 物品情報提供装置による物品情報提供方法であって、
   表示部により物品情報を示す物品情報画像を表示する工程と、
   撮像部により現実空間を撮像する工程と、
   被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
   物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを有する
   ことを特徴とする物品情報提供方法。
8. 情報管理サーバーと物品情報提供装置を有する物品情報提供システムによる物品情報提供方法であって、
   前記物品情報提供装置は、
   表示部により前記物品情報を示す物品情報画像を表示する工程と、
   第１の情報送受信部により前記情報管理サーバーとの間で情報の送受信を行う工程と、
   撮像部により現実空間を撮像する工程と、
   被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
   物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを有し、
   前記情報管理サーバーは、
   第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、
   物品識別部によりそれぞれの前記物品識別情報に基づいて物品を識別する工程と、
   物品情報取得部により前記物品識別部による物品の識別結果に基づき、データベースから該当するそれぞれの物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを有する
   ことを特徴とする物品情報提供方法。
9. 表示部により前記物品情報を示す物品情報画像を表示する工程と、
   撮像部により現実空間を撮像する工程と、
   被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
   物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを物品情報提供装置を制御するコンピューターに実行させる
   ことを特徴とする物品情報提供プログラム。
10. 表示部により物品情報を示す物品情報画像を表示する工程と、
    第１の情報送受信部により情報管理サーバーとの間で情報の送受信を行う工程と、
    撮像部により現実空間を撮像する工程と、
    被写体認識部により前記撮像部によって撮像された被写体を認識する工程と、
    物品判別部により前記被写体認識部によって認識された被写体から比較対象となる物品を判別し、前記判別した物品を示す物品識別情報を前記第１の情報送受信部を介して前記情報管理サーバーに送信し、前記情報管理サーバーから前記物品の物品情報を受け取り、前記判別した物品の状態に応じて前記表示部に比較対象となるそれぞれの前記物品情報画像を表示させる工程とを物品情報提供装置を制御するためのコンピューターに実行させ、
    第２の情報送受信部により前記物品情報提供装置との間で情報の送受信を行う工程と、
    物品識別部によりそれぞれの前記物品識別情報に基づいて物品を識別する工程と、
    物品情報取得部により前記物品識別部による物品の識別結果に基づき、データベースから該当するそれぞれの物品情報を取得し、前記第２の情報送受信部を介して前記物品情報提供装置に送信する工程とを情報管理サーバーを制御するためのコンピューターに実行させる
    ことを特徴とする物品情報提供プログラム。

Images