JP2015162164A - 装着装置及び消耗品残量通知方法 - Google Patents

Abstract

【課題】コストをかけることなく、汎用的な消耗品の残量低下を通知すること。【解決手段】ユーザが装着する装着装置１は、ユーザの周辺を撮像する撮像部と、撮像部によって撮像された消耗品の画像を画像認識する消耗品画像認識部１５と、消耗品画像認識部１５による画像認識結果に基づいて、消耗品の残量を判定する残量判定部１７と、残量判定部１７によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する通知部１９と、を備える。装着装置１は、当該装着装置１の位置情報に基づいて、ユーザが自宅に滞在しているか否かを判定する自宅判定部１１をさらに備え、消耗品画像認識部１５は、自宅判定部１１によって自宅に滞在していると判定された場合に、撮像部によって撮像された消耗品の画像を画像認識してもよい。【選択図】図２

Description

本発明は、消耗品の残量を通知する装着装置及び消耗品残量通知方法に関する。

従来、消耗品の残量低下を通知する装置が知られている。例えば、下記特許文献１では、トナーカートリッジ内の消耗品の消費状況を検出し、消耗品切れ間近であるかを判定し、その旨を表示する画像形成装置が開示されている。

特開２００６−３１３２２６号公報

しかしながら、上記特許文献１に記載の技術は、画像形成装置のトナーカートリッジ内の消耗品に対して残量低下を表示するものであり、当該消耗品以外のその他の汎用的な消耗品に対しては残量低下を表示することはできない。また、その他の消耗品に対して残量低下を表示するためには、各消耗品ごとに残量低下を検出、判定及び表示する仕組みを組み込む必要があり、コストが高くなる。

そこで、本発明は、かかる課題に鑑みて為されたものであり、コストをかけることなく、汎用的な消耗品の残量低下を通知することができる装着装置及び消耗品残量通知方法を提供することを目的とする。

上記課題を解決するため、本発明の装着装置は、ユーザが装着する装着装置であって、ユーザの周辺を撮像する撮像手段と、撮像手段によって撮像された消耗品の画像を画像認識する消耗品画像認識手段と、消耗品画像認識手段による画像認識結果に基づいて、消耗品の残量を判定する残量判定手段と、残量判定手段によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する通知手段と、を備える。

このような装着装置によれば、当該装着装置をユーザが装着し、ユーザの周辺にある消耗品の画像が画像認識され、当該消耗品の残量が判定され、予め設定された閾値を下回る場合に当該消耗品の残量低下に関する情報がユーザに通知される。つまり、ユーザの周辺にある汎用的な消耗品について、コストをかけることなく、かつユーザが特別な操作をすることなく、残量低下を通知することができる。

また、本発明の装着装置において、当該装着装置の位置情報に基づいて、ユーザが自宅に滞在しているか否かを判定する自宅判定手段をさらに備え、消耗品画像認識手段は、自宅判定手段によって自宅に滞在していると判定された場合に、撮像手段によって撮像された消耗品の画像を画像認識することが好ましい。かかる構成を採れば、自宅にある消耗品について、ユーザが特別な操作をすることなく、確実に残量低下を通知することができる。また、例えば、自宅に滞在していない場合は消耗品の画像の画像認識を行わないことで、自宅外にある消耗品についての不要な残量低下の通知を防止することができる。

また、本発明の装着装置において、残量判定手段によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品を識別する消耗品情報を格納する消耗品情報格納手段と、当該装着装置の位置情報に基づいて、ユーザが店舗に滞在しているか否かを判定する店舗判定手段と、店舗判定手段によって店舗に滞在していると判定された場合に、撮像手段によって撮像された店舗内の商品の画像を画像認識する商品画像認識手段と、商品画像認識手段による画像認識結果に基づいて、消耗品情報格納手段によって格納された消耗品情報が識別する消耗品に対応する商品が存在するか否かを判定する商品判定手段と、をさらに備え、通知手段は、商品判定手段によって消耗品に対応する商品が存在すると判定された場合に、当該消耗品の残量低下に関する情報をユーザに通知することが好ましい。かかる構成を採れば、ユーザが店舗に滞在している際に、残量が低下した消耗品に対応する商品が存在すると、当該消耗品の残量低下に関する情報がユーザに通知されるため、例えば、ユーザは残量が低下した消耗品に対応する商品の購入漏れを防止することができる等、ユーザの利便性を向上することができる。

また、本発明の装着装置において、撮像手段によって撮像された周辺画像をユーザに表示する表示手段をさらに備え、通知手段は、商品判定手段によって消耗品に対応する商品が存在すると判定された場合に、当該消耗品の残量低下に関する情報を、表示手段によって表示された周辺画像に重畳して表示することが好ましい。かかる構成を採れば、ユーザに表示された周辺画像に、消耗品の残量低下に関する情報が重畳して表示されるため、当該情報がユーザの視界に入りやすく、例えば音や振動でその存在を通知されるよりもユーザは確実に気づくことができる等、消耗品の残量低下をユーザにより確実に通知することができる。また、例えば、周辺画像に消耗品の残量低下に関する情報を重畳して表示する際に、当該情報が示す商品が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該商品が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。

ところで、本発明は、上記のように装着装置の発明として記述できる他に、以下のように消耗品残量通知方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る消耗品残量通知方法は、ユーザが装着する装着装置により実行される消耗品残量通知方法であって、ユーザの周辺を撮像する撮像ステップと、撮像ステップにおいて撮像された消耗品の画像を画像認識する消耗品画像認識ステップと、消耗品画像認識ステップにおける画像認識結果に基づいて、消耗品の残量を判定する残量判定ステップと、残量判定ステップにおいて判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する通知ステップと、を含む。

本発明によれば、コストをかけることなく、汎用的な消耗品の残量低下を通知することができる。

本発明の実施形態に係る装着装置のシステム構成図である。 本発明の実施形態に係る装着装置の機能ブロック図である。 本発明の実施形態に係る装着装置のハードウェア構成を示す図である。 消耗品情報テーブルのテーブル例を示す図である。 消耗品の残量を数的に判定する数的判定の例を示す図である。 消耗品の残量を量的に判定する量的判定の例を示す図である。 消耗品の残量低下に関する情報を表示している場面を示す図である。 残量が低下した消耗品に対応する商品に対して残量低下に関する情報を重畳して表示している場面を示す図である。 従来技術において消耗品を購入する際の処理を示すフローチャートである。 本発明の実施形態に係る装着装置で実行される処理（消耗品残量通知方法）を示すフローチャートである。

以下、図面とともに本発明による装着装置及び消耗品残量通知方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１は、本発明の実施形態に係る装着装置１のシステム構成図である。装着装置１は、身につけて持ち歩くことができるコンピュータであるウェアラブルデバイスの一種、ヘッドマウントディスプレイである。装着装置１は、ユーザによって装着される（本実施形態において、「ユーザ」は、装着装置１を装着しているユーザを示す）。図１に示す通り、装着装置１は、本体部１ａと、撮像部１ｂ（撮像手段）と、表示部１ｃ（表示手段）と、音声入力部１ｄとを含んで構成される。また、装着装置１は、インターネットや移動体通信網等のネットワークを介してサーバ装置と通信するための通信機能を搭載する。

本体部１ａは、コンピュータシステム本体であり、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄの入出力制御を行い、撮像部１ｂ及び音声入力部１ｄからの情報を入力し、入力された情報に基づいて演算を行い、表示部１ｃ及び外部のサーバ装置へ演算結果や指示等の情報を出力する等、装着装置１全体の処理制御を行う。なお、本体部１ａにはスマートフォン向けのＯＳ（Operating System）が組み込まれていてもよい。

撮像部１ｂは、ユーザの周辺を撮像可能であり、具体的にはカメラである。撮像部１ｂは、ユーザの視線方向の風景を撮像してもよい。

表示部１ｃは、ユーザに情報を表示することが可能であり、具体的にはディスプレイである。表示部１ｃは、眼鏡のレンズのようにユーザの目の近辺の位置に配置される。表示部１ｃは、撮像部１ｂによって撮像された周辺画像を表示する。

音声入力部１ｄは、ユーザが発声した音声を入力することが可能であり、具体的にはマイクである。

なお、装着装置１は上記以外の構成、例えばユーザが目のウインクをしたことを検出する検出用カメラ、ユーザに対して音声出力するスピーカなどをさらに備えていてもよい。

図２は、装着装置１の機能ブロック図である。図２に示す通り、装着装置１は、位置情報取得部１０（自宅判定手段及び店舗判定手段の一部）、自宅判定部１１（自宅判定手段）、店舗判定部１２（店舗判定手段）、消耗品情報格納部１３（消耗品情報格納手段）、画像取得部１４（消耗品画像認識手段及び商品画像認識手段の一部）、消耗品画像認識部１５（消耗品画像認識手段）、商品画像認識部１６（商品画像認識手段）、残量判定部１７（残量判定手段）、商品判定部１８（商品判定手段）、及び通知部１９（通知手段）を含んで構成される。

装着装置１は、ＣＰＵ等のハードウェアから構成されているものである。図３は、装着装置１のハードウェア構成の一例を示す図である。図２に示される装着装置１は、物理的には、図３に示すように、ＣＰＵ１００、主記憶装置であるＲＡＭ１０１及びＲＯＭ１０２、撮像部１ｂ、表示部１ｃ及び音声入力部１ｄ等の入出力装置１０３、通信モジュール１０４、補助記憶装置１０５、及びＧＰＳ（Global Positioning System）１０６等を含むコンピュータシステムとして構成されている。

図２に示す装着装置１の各機能ブロックの機能は、図３に示すＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御のもとで入出力装置１０３、通信モジュール１０４、補助記憶装置１０５、及びＧＰＳ１０６を動作させるとともに、ＲＡＭ１０１におけるデータの読み出し及び書き込みを行うことで実現される。

以下では、図２に示す装着装置１の各機能ブロックについて説明する。

位置情報取得部１０は、ＧＰＳ１０６や移動体通信網における基地局から、装着装置１の現在の位置情報を取得する。位置情報には、緯度及び経度等が含まれる。位置情報取得部１０は、取得した位置情報を後述の自宅判定部１１及び店舗判定部１２に出力する。

自宅判定部１１は、位置情報取得部１０から入力された、当該装着装置１の位置情報に基づいて、ユーザが自宅に滞在しているか否かを判定する。具体的には、装着装置１には自宅の緯度及び経度が対応付けられた位置情報テーブルが格納されており、自宅判定部１１は、装着装置１の位置情報に含まれる緯度及び経度と、位置情報テーブルに含まれる自宅の緯度及び経度とを比較し、一致する又は所定の距離以内に位置すると判定した場合に、ユーザ（当該装着装置１）が自宅に滞在していると判定し、それ以外の場合に、ユーザ（当該装着装置１）が自宅に滞在していないと判定する。なお、位置情報テーブルは外部のサーバ装置に格納されており、自宅判定部１１が判定時に当該サーバ装置に格納されている位置情報テーブルにアクセスしてもよい。自宅判定部１１は、判定結果を後述の消耗品画像認識部１５に出力する。

店舗判定部１２は、位置情報取得部１０から入力された、当該装着装置１の位置情報に基づいて、ユーザが店舗に滞在しているか否かを判定する。具体的には、装着装置１には店舗の緯度及び経度が対応付けられた位置情報テーブルが格納されており、店舗判定部１２は、装着装置１の位置情報に含まれる緯度及び経度と、位置情報テーブルに含まれる店舗の緯度及び経度とを比較し、一致する又は所定の距離以内に位置すると判定した場合に、ユーザ（当該装着装置１）が店舗に滞在していると判定し、それ以外の場合に、ユーザ（当該装着装置１）が店舗に滞在していないと判定する。ここで、店舗とは、商品（消耗品）を販売している施設を示す。なお、位置情報テーブルは外部のサーバ装置に格納されており、店舗判定部１２が判定時に当該サーバ装置に格納されている位置情報テーブルにアクセスしてもよい。店舗判定部１２は、判定結果を後述の商品画像認識部１６に出力する。

消耗品情報格納部１３は、消耗品を識別する消耗品情報を含む消耗品情報テーブルを格納する。図４は、消耗品情報格納部１３によって格納された消耗品情報テーブルのテーブル例を示す図である。図４に示す通り、消耗品情報テーブルでは、消耗品情報として、消耗品ＩＤと、消耗品名（商品名）と、消耗品画像（商品画像）と、前回購入日と、残数と、残量とが対応付いて含まれている。ここで、消耗品とは、ユーザが普段の生活を送っている中で減ったりなくなったりする等、消耗（消費）する物品であり、ユーザが適宜追加購入して補充する必要がある。消耗品の具体例としては、トイレットペーパーやシャンプー等が挙げられる。消耗品ＩＤとは、消耗品を識別する一意の識別情報である。消耗品名とは、消耗品の名称を示すテキスト情報である。消耗品画像とは、消耗品の外観画像やロゴ画像等を示す画像情報である。前回購入日とは、当該消耗品を前回購入した日付けや日時である。残数とは、ユーザの自宅における当該消耗品の残りの個数を示す数値情報である。残量とは、ユーザの自宅における当該消耗品の残りの量を示す数値情報である。残量の具体例としては、残りの容量や、未使用時の量に対する現在の量の割合等が挙げられる。消耗品情報格納部１３は、上述の項目以外の消耗品情報をさらに対応付けて格納してもよい。

消耗品情報格納部１３は、後述の残量判定部１７によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品を識別する消耗品情報を格納してもよい。消耗品情報格納部１３は、その他の所定のタイミング（ユーザや外部の装置からの指示等）で消耗品情報（消耗品情報テーブル）を格納してもよい。

画像取得部１４は、撮像部１ｂによって撮像された周辺画像を取得する。画像取得部１４は、装着装置１の補助記憶装置１０５に格納された周辺画像を取得してもよいし、他の装置からネットワークを介して周辺画像を取得してもよい。画像取得部１４は、取得した周辺画像を、後述の消耗品画像認識部１５及び商品画像認識部１６に出力する。

消耗品画像認識部１５は、撮像部１ｂによって撮像された消耗品の画像を画像認識する。具体的には、装着装置１には予め消耗品の画像オブジェクト情報が消耗品画像情報テーブルとして格納されており、消耗品画像認識部１５は、画像取得部１４から入力された周辺画像を画像認識し、抽出された画像オブジェクト情報のうち、消耗品画像情報テーブルに含まれる消耗品の画像オブジェクト情報と一致した場合、当該抽出された画像オブジェクト情報を後述の残量判定部１７に出力する。なお、消耗品画像情報テーブルは外部のサーバ装置に格納されており、消耗品画像認識部１５が画像認識時に当該サーバ装置に格納されている消耗品画像情報テーブルにアクセスしてもよいし、消耗品画像情報テーブルは消耗品情報格納部１３によって格納される消耗品情報テーブルに含まれており、消耗品画像認識部１５が画像認識時に消耗品情報格納部１３によって格納されている消耗品情報テーブルにアクセスしてもよい。

消耗品画像認識部１５は、自宅判定部１１によって自宅に滞在していると判定された（自宅に滞在しているとの判定結果が自宅判定部１１から入力された）場合に、撮像部１ｂによって撮像された消耗品の画像を画像認識してもよい。逆に、消耗品画像認識部１５は、自宅判定部１１によって自宅に滞在していないと判定された（自宅に滞在していないとの判定結果が自宅判定部１１から入力された）場合に、撮像部１ｂによって撮像された消耗品の画像を画像認識しなくてよい。つまり、消耗品画像認識部１５は、ユーザが自宅に滞在している場合は消耗品の画像認識や後述の残量判定及び通知を行い、ユーザが自宅に滞在していない場合は消耗品の画像認識や後述の残量判定及び通知を行わない。

商品画像認識部１６は、店舗判定部１２によって店舗に滞在していると判定された（店舗に滞在しているとの判定結果が店舗判定部１２から入力された）場合に、撮像部１ｂによって撮像された店舗内の商品の画像を画像認識する。具体的には、装着装置１には予め商品の画像オブジェクト情報が商品画像情報テーブルとして格納されており、商品画像認識部１６は、画像取得部１４から入力された周辺画像を画像認識し、抽出された画像オブジェクト情報のうち、商品画像情報テーブルに含まれる商品の画像オブジェクト情報と一致した場合、当該抽出された画像オブジェクト情報を後述の商品判定部１８に出力する。なお、商品画像情報テーブルは外部のサーバ装置に格納されており、商品画像認識部１６が画像認識時に当該サーバ装置に格納されている商品画像情報テーブルにアクセスしてもよいし、商品画像情報テーブルは消耗品情報格納部１３によって格納される消耗品情報テーブルに含まれており、商品画像認識部１６が画像認識時に消耗品情報格納部１３によって格納されている商品情報テーブルにアクセスしてもよい。また、商品画像認識部１６は、商品画像情報テーブルではなく、上述の消耗品画像情報テーブルを利用してもよい。

逆に、商品画像認識部１６は、店舗判定部１２によって店舗に滞在していないと判定された（店舗に滞在していないとの判定結果が店舗判定部１２から入力された）場合に、撮像部１ｂによって撮像された店舗内の商品の画像を画像認識しなくてよい。つまり、商品画像認識部１６は、ユーザが店舗に滞在している場合は商品の画像認識や後述の商品判定及び通知を行い、ユーザが店舗に滞在していない場合は商品の画像認識や後述の商品判定及び通知を行わない。

なお、消耗品画像認識部１５及び商品画像認識部１６が行う画像認識としては、一般的な画像認識技術を採用する。消耗品画像認識部１５及び商品画像認識部１６は、画像認識結果として、例えばＯＣＲ（Optical Character Reader）によるテキスト情報や、画像解析による画像オブジェクト情報等を抽出してもよい。

残量判定部１７は、消耗品画像認識部１５による画像認識結果に基づいて、消耗品の残量を判定する。具体的には、残量判定部１７は、消耗品画像認識部１５から入力された消耗品の画像オブジェクト情報を利用して、後述の数的判定又は量的判定を行い、消耗品の残量を判定する。

図５は、消耗品の残量を数的に判定する数的判定の例を示す図である。図５（ａ）は、消耗品画像認識部１５から入力されたトイレットペーパーの画像オブジェクト情報を示す。残量判定部１７は、当該画像オブジェクト情報に基づき、５つの個数のトイレットペーパーがあることを判定し、消耗品であるトイレットペーパーの残量を５つと判定する。図５（ｂ）は、消耗品画像認識部１５から入力されたシャンプーの画像オブジェクト情報を示す。残量判定部１７は、当該画像オブジェクト情報に基づき、３つの個数のシャンプーがあることを判定し、消耗品であるシャンプーの残量を３つと判定する。残量判定部１７は、画像オブジェクト情報に基づき、未使用又は未開封の消耗品のみを抽出し、抽出した消耗品の個数を残量として判定してもよい。

図６は、消耗品の残量を量的に判定する量的判定の例を示す図である。図６（ａ）は、消耗品画像認識部１５から入力されたトイレットペーパーの画像オブジェクト情報を示す。残量判定部１７は、当該画像オブジェクト情報に基づき、１つの個数のトイレットペーパーがあり、当該トイレットペーパーの厚みＲ１に基づき、残量が（新品の未使用状態と比較して）５０％であると判定する。図６（ｂ）は、消耗品画像認識部１５から入力されたシャンプーの画像オブジェクト情報を示す。残量判定部１７は、当該画像オブジェクト情報に基づき、１つの個数のシャンプーがあり、当該シャンプーの溶液の量Ｒ２に基づき、残量が（新品の未使用状態と比較して）３０％であると判定する。

なお、残量判定部１７は、数的判定を行って消耗品の残量を判定した後に、続けて量的判定を行って消耗品の残量を判定してもよい。また、残量判定部１７は、数的判定を行って消耗品の残量を判定し、後述の通知部１９によるユーザへの通知を行った（１回目のユーザへの通知）後に、続けて量的判定を行って消耗品の残量を判定し、後述の通知部１９によるユーザへの通知を行って（２回目のユーザへの通知）もよい。残量判定部１７は、判定結果（個数や量等の残量情報）と共に、判定対象の消耗品を識別する消耗品情報を通知部１９に出力する。

商品判定部１８は、商品画像認識部１６による画像認識結果に基づいて、消耗品情報格納部１３によって格納された消耗品情報が識別する消耗品に対応する商品が存在するか否かを判定する。ここで、消耗品情報格納部１３によって格納された消耗品情報が識別する消耗品とは、ユーザの自宅にて残量が低下している消耗品である。具体的には、商品判定部１８は、商品画像認識部１６から入力された商品の画像オブジェクト情報に一致又は対応する、消耗品情報格納部１３によって格納された消耗品情報の抽出を試み、抽出できた場合は、存在する旨の判定結果と抽出した消耗品情報とを後述の通知部１９に出力し、抽出できなかった場合は、存在しない旨の判定結果を後述の通知部１９に出力する。

通知部１９は、残量判定部１７によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する。具体的には、通知部１９は、残量判定部１７から入力された消耗品の残量情報と、装着装置１内で当該消耗品（残量判定部１７から入力された消耗品情報に基づく）に対して予め設定された閾値とを比較し、閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する。消耗品の残量低下に関する情報の具体例としては、残量情報の数値や、残量低下を知らせるメッセージや、追加購入を勧めるレコメンドメッセージ等が挙げられる。また、通知部１９による通知方法の具体例としては、表示部１ｃにテキスト情報又は画像として表示出力、スピーカ等を通した音声出力、バイブレーション機能による振動出力などが挙げられる。

図７は、消耗品の残量低下に関する情報を表示している場面を示す図である。図７に示す通り、装着装置１の表示部１ｃには、通知部１９によって、消耗品のアイコン画像と共に、残量低下を示すメッセージ及び追加購入を勧めるレコメンドメッセージが表示されている。

通知部１９は、商品判定部１８によって消耗品に対応する商品が存在すると判定された場合に、当該消耗品の残量低下に関する情報をユーザに通知してもよい。また、通知部１９は、商品判定部１８によって消耗品に対応する商品が存在すると判定された場合に、当該消耗品の残量低下に関する情報を、表示部１ｃによって表示された周辺画像に重畳して表示してもよい。

図８は、ユーザが店舗内にて商品陳列棚を眺めており、残量が低下した消耗品に対応する商品に対して残量低下に関する情報を重畳して表示している場面を示す図である。図８に示す通り、装着装置１の表示部１ｃには、複数の商品が並ぶ商品陳列棚が表示されており、さらに、通知部１９によって、残量が低下した消耗品に対応する商品であるシャンプーに対しては、一般情報とレコメンド情報とが吹き出しにて表示されている。一般情報とは、商品に関する一般的な情報であり、商品名、価格、製造元情報等が挙げられる。レコメンド情報とは、ユーザに対するユーザ独自の情報であり、ユーザの自宅にある消耗品の残量、追加購入を勧めるレコメンドメッセージ、前回購入日等が挙げられる。通知部１９は、商品に関連する一般情報やレコメンド情報を、商品の識別情報をキーとして、消耗品情報格納部１３やその他の予め当該情報が格納されたデータベースや他のサーバ装置から取得し、表示する。

続いて、図９に示すフローチャートを用いて、従来技術において消耗品の残量低下を通知する際の処理について説明する。

図９において、まず、ユーザが、店舗で消耗品を購入後に、携帯電話・スマートフォンのキーボード／ダイヤルキーを利用して購入履歴情報を手動で入力したり、携帯電話・スマートフォン等のカメラ機能を利用して、店舗から受領したレシートを文字認識したりすることで、購入履歴情報を蓄積する（ステップＳ０１）。次に、商品購入日からの経過日数に基づいて、商品の追加購入の必要性を推測し、追加購入の必要性（消耗品購入のレコメンド）をユーザへ携帯電話・スマートフォン等を通してお知らせする（ステップＳ０２）。次に、ユーザが、消耗品を追加購入する必要があるか判断する（ステップＳ０３）。商品購入日からの経過日数で追加購入の必要性を推測しているため、追加購入の必要性の最終判断はユーザ自身が判定する必要がある。

Ｓ０３にてユーザが消耗品を購入しないと判断した場合、Ｓ０２に戻る。Ｓ０３にてユーザが消耗品を購入すると判断した場合、ユーザは最寄りの店舗に行き、消耗品を購入する（ステップＳ０４）。

次に、図１０に示すフローチャートを用いて、本実施形態に係る装着装置１で実行される処理（消耗品残量通知方法）について説明する。

図１０において、まず、ユーザが自宅で装着装置１を通して消耗品を見た際に、ユーザの周辺が撮像され（撮像ステップ）、撮像された消耗品の画像が画像認識され（消耗品画像認識ステップ）、画像認識結果に基づいて、消耗品の残量が判定（自動把握）される（ステップＳ１０、残量判定ステップ）。次に、Ｓ１０にて判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報や当該消耗品の購入レコメンドがユーザに通知される（ステップＳ１１、通知ステップ）。次に、ユーザが、消耗品を追加購入する必要があるか判断する（ステップＳ１２）。なお、Ｓ１０〜Ｓ１２の処理は、ユーザが装着装置１を利用している間、繰り返し行われる。

Ｓ１２にてユーザが消耗品を購入しないと判断した場合、Ｓ１１に戻る。Ｓ１２にてユーザが消耗品を購入すると判断した場合、ユーザは最寄りの店舗に行く。そして、ユーザが店舗で装着装置１を通して商品を見た際に、残量が低下した消耗品に対応する商品が存在すると、当該消耗品の残量低下に関する情報や当該商品の購入レコメンドがユーザに通知される（ステップＳ１３）。次に、Ｓ１３の通知に基づき、ユーザが商品（消耗品）を購入する（ステップＳ１４）。

次に、本実施形態のように構成された装着装置１の作用効果について説明する。

本実施形態の装着装置１によれば、当該装着装置をユーザが装着し、ユーザの周辺にある消耗品の画像が画像認識され、当該消耗品の残量が判定され、予め設定された閾値を下回る場合に当該消耗品の残量低下に関する情報がユーザに通知される。つまり、ユーザの周辺にある汎用的な消耗品について、コストをかけることなく、かつユーザが特別な操作をすることなく、残量低下を通知することができる。また、ユーザの周辺にある消耗品について上述の判定及び通知処理が自動で行われるため、例えば、ユーザが意識的に見ていない消耗品についても上述の判定及び通知処理が自動で行われるため、ユーザが気づいていない消耗品の残量低下についても、装着装置１の通知により気づくことができる。

また、本実施形態の装着装置１によれば、自宅にある消耗品について、ユーザが特別な操作をすることなく、確実に残量低下を通知することができる。また、例えば、自宅に滞在していない場合は消耗品の画像の画像認識を行わないことで、自宅外にある消耗品についての不要な残量低下の通知を防止することができる。

また、本実施形態の装着装置１によれば、ユーザが店舗に滞在している際に、残量が低下した消耗品に対応する商品が存在すると、当該消耗品の残量低下に関する情報がユーザに通知されるため、例えば、ユーザは残量が低下した消耗品に対応する商品の購入漏れを防止することができる等、ユーザの利便性を向上することができる。

また、本実施形態の装着装置１によれば、ユーザに表示された周辺画像に、消耗品の残量低下に関する情報が重畳して表示されるため、当該情報がユーザの視界に入りやすく、例えば音や振動でその存在を通知されるよりもユーザは確実に気づくことができる等、消耗品の残量低下をユーザにより確実に通知することができる。また、例えば、周辺画像に消耗品の残量低下に関する情報を重畳して表示する際に、当該情報が示す商品が周辺画像中の実際に存在する場所近辺に重畳して表示することで、ユーザは当該商品が具体的にどの場所にあるかを容易に気づくことができ、ユーザの利便性を向上することができる。

ここで、従来技術では、消耗品の購入日等の購入履歴情報を、ユーザが手入力したり、消耗品を購入した店舗・施設等のレシートを携帯電話・スマートフォン等のカメラ機能で文字認識させたりして、蓄積する必要がある。加えて、蓄積した購入日からの経過日数等から推測して消耗品の追加購入の必要性をユーザへレコメンドすることになるため、レコメンドするタイミングの厳密な精度を求めることが難しいという課題がある。

本実施形態の装着装置１では、装着装置１（ヘッドマウントディスプレイ）で消耗品の残量を判定し、その判定情報に基づいて、消耗品の追加購入の必要性を装着装置１に表示する。つまり、装着装置１が自動判定する自宅の物品残量情報に基づいて、物品の追加購入の必要性（又は物品購入レコメンド）を正確かつ的確にユーザへお知らせできるようにする。加えて、店舗等にある商品をユーザが装着装置１を通して視認し、追加購入の必要性がある物品を画像認識した時にも、物品の追加購入の必要性（又は物品購入レコメンド）を確実にユーザへお知らせできるようにする。このように、ユーザが必要とする消耗品の購入を支援することで、ユーザの消耗品購入漏れを防ぎ、ユーザの利便性を向上することができる。

本実施形態の装着装置１は、ヘッドマウントディスプレイだけに限らず、通信モジュール組み込み機器やウェアラブルデバイス等のその他通信機器にも同様に適用可能である。

また、本実施形態の装着装置１は、主に消耗品といった物品の残量情報に基づき、物品の追加購入をお知らせすることを実施形態として取り上げているが、変形例として高血圧抑制などの薬の残数管理にも適用可能である。例えば、自宅にある薬の残数がある一定基準より下回った時、病院に行って薬をもらうように装着装置１に表示することで、薬がなくてユーザが投薬できないといったリスクを回避することが期待できる。

１…装着装置、１０…位置情報取得部、１１…自宅判定部、１２…店舗判定部、１３…消耗品情報格納部、１４…画像取得部、１５…消耗品画像認識部、１６…商品画像認識部、１７…残量判定部、１８…商品判定部、１９…通知部。

Claims (5)

1. ユーザが装着する装着装置であって、
   ユーザの周辺を撮像する撮像手段と、
   前記撮像手段によって撮像された消耗品の画像を画像認識する消耗品画像認識手段と、
   前記消耗品画像認識手段による画像認識結果に基づいて、消耗品の残量を判定する残量判定手段と、
   前記残量判定手段によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する通知手段と、
   を備える装着装置。
2. 当該装着装置の位置情報に基づいて、ユーザが自宅に滞在しているか否かを判定する自宅判定手段をさらに備え、
   前記消耗品画像認識手段は、前記自宅判定手段によって自宅に滞在していると判定された場合に、前記撮像手段によって撮像された消耗品の画像を画像認識する、
   請求項１に記載の装着装置。
3. 前記残量判定手段によって判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品を識別する消耗品情報を格納する消耗品情報格納手段と、
   当該装着装置の位置情報に基づいて、ユーザが店舗に滞在しているか否かを判定する店舗判定手段と、
   前記店舗判定手段によって店舗に滞在していると判定された場合に、前記撮像手段によって撮像された店舗内の商品の画像を画像認識する商品画像認識手段と、
   前記商品画像認識手段による画像認識結果に基づいて、前記消耗品情報格納手段によって格納された消耗品情報が識別する消耗品に対応する商品が存在するか否かを判定する商品判定手段と、
   をさらに備え、
   前記通知手段は、前記商品判定手段によって消耗品に対応する商品が存在すると判定された場合に、当該消耗品の残量低下に関する情報をユーザに通知する、
   請求項１又は２に記載の装着装置。
4. 前記撮像手段によって撮像された周辺画像をユーザに表示する表示手段をさらに備え、
   前記通知手段は、前記商品判定手段によって消耗品に対応する商品が存在すると判定された場合に、当該消耗品の残量低下に関する情報を、前記表示手段によって表示された周辺画像に重畳して表示する、
   請求項３に記載の装着装置。
5. ユーザが装着する装着装置により実行される消耗品残量通知方法であって、
   ユーザの周辺を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された消耗品の画像を画像認識する消耗品画像認識ステップと、
   前記消耗品画像認識ステップにおける画像認識結果に基づいて、消耗品の残量を判定する残量判定ステップと、
   前記残量判定ステップにおいて判定された消耗品の残量が当該消耗品に対して予め設定された閾値を下回る場合に、当該消耗品の残量低下に関する情報をユーザに通知する通知ステップと、
   を含む消耗品残量通知方法。
   

Images