JP2018097631A - 表示装置及び表示装置の表示方法 - Google Patents

Abstract

【課題】ユーザに一度の動作で情報コードを読み取らせる。【解決手段】情報コードの読取りを行う自動販売機１００であって、情報を表示するタッチパネル１１０と、タッチパネル１１０を制御する制御部２００と、タッチパネル１１０に対向する被写体を撮影するカメラ１２０と、カメラ１２０で撮影した画像を解析する画像解析部２３０と、を備える。画像解析部２３０は、カメラ１２０で撮影した自動販売機１００の前に立つ人物の画像より、顔の位置を特定する。制御部２００は、特定した顔の位置を基に、タッチパネル１１０に情報コードの提示方法を表示する。【選択図】図２

Description

本発明は、情報コードの読取りを行う表示装置及び表示装置の表示方法に関する。

飲料等の自動販売機において、過去様々な特許が公開されている。例えば特許文献１では、カメラを用いてユーザの顔から年齢や性別等といった属性を推定し、その属性に適した広告表示やサービスを提供する自動販売機が公開されている。また特許文献２では、ユーザに情報コードを提示させることで個人を識別し、料金決済や個別のサービスを提供する自動販売機が開示されている。

特開平１０−２３２９６６号公報 特開２０１１−１８１２５号公報

顔認識用のカメラは、主に筺体表面の上部に取り付けられる。また、情報コード読み取り用のカメラは、主にユーザの手元にあたる位置に取り付けられる。

顔認識用のカメラと情報コード読み取り用のカメラは、設計の簡易化やコストの面から１つにする事が望ましい。カメラを１つにする場合、ユーザの顔を撮影するために、取り付け位置は筺体表面の上部が考えられる。しかしながら、カメラを筺体表面の上部に取り付けた場合、情報コードを読み取らせるためには、ユーザは上部に向けて腕を上げて提示する必要があり、１度の動作でうまく最適な位置に情報コードを提示できない問題が発生する。

この問題に対する一般的な解決策として、カメラの撮影状況をユーザへモニタリング表示し、読み取り可能な位置に誘導する方法が考えられる。しかし、この方法だとユーザは一度情報コードを撮影範囲内に入れた後、何度か腕を動かして調整する必要があり、手間な作業となる。また、撮影状況をモニタリング表示するには動画で表示する必要があり、機器へ処理の負担をかけてしまう。

また、カメラへのいたずら防止のために、ユーザからはカメラの位置をわかり辛くするケースも考えられる。この場合、カメラの位置がわからなければ、ユーザはどこに向けて情報コードを提示すれば良いかわからない。

上記課題を解決するために、本開示の表示装置は、情報コードの読取りを行う表示装置であって、情報を表示する表示部と、前記表示部を制御する制御部と、前記表示部に対向する被写体を撮影する撮影部と、前記撮影部で撮影した画像を解析する画像解析部と、を備える。前記画像解析部は、前記撮影部で撮影した当該表示装置の前に立つ人物の画像より、顔の位置を特定する。前記制御部は、前記特定した顔の位置を基に、前記表示部に前記情報コードの提示方法を表示する。

本開示の表示装置及び表示装置の表示方法によれば、ユーザに情報コードをどう提示す
れば良いか認識させる事ができる。

実施の形態１における自動販売機の正面図 実施の形態１における自動販売機のブロック図 実施の形態１における情報コード提示位置を指示する画面を示す図 実施の形態１における自動販売機が撮影した画像を示す図 実施の形態１における自動販売機の側面から見た、自動販売機とユーザとの位置関係を示す図 実施の形態１における自動販売機の上面から見た、自動販売機とユーザとの位置関係を示す図 実施の形態１における顔認識後から情報コードの提示位置を指示するまでの自動販売機の動作を示すフローチャート 実施の形態１における画像内の顔位置を特定するための位置テンプレートを示す図 実施の形態１における顔位置に対応した指示文言と画像を格納したテーブルを示す図

本発明の第１の実施態様は、情報コードの読取りを行う表示装置であって、情報を表示する表示部と、表示部を制御する制御部と、表示部に対向する被写体を撮影する撮影部と、撮影部で撮影した画像を解析する画像解析部と、を備える。画像解析部は、撮影部で撮影した当該表示装置の前に立つ人物の画像より、顔の位置を特定する。制御部は、特定した顔の位置を基に、表示部に情報コードの提示方法を表示する。

これによって、カメラで撮影している状況を動画で表示する必要なく、ユーザにどのようにして情報コードをかかげれば読み取られるかを伝える事が可能になり、ユーザも位置の調整を行う手間が無くなる。

本発明の第２の実施態様は、情報を表示する表示部と、表示部に対向する被写体を撮影する撮影部と、を備える情報コードの読取りを行う表示装置の表示方法である。撮影部で撮影した当該表示装置の前に立つ人物の画像より、顔の位置を特定する。特定した顔の位置を基に、表示部に情報コードの提示方法を表示する。

これによって、カメラで撮影している状況を動画で表示する必要なく、ユーザにどのようにして情報コードをかかげれば読み取られるかを伝える事が可能になり、ユーザも位置の調整を行う手間が無くなる。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

以下、表示装置の実施の形態として、自動販売機を例に説明する。

（実施の形態１）
図１は、実施の形態１における自動販売機の外観図である。

図１に示すように自動販売機１００は、タッチパネル１１０（表示部の一形態）、カメラ１２０（撮影部の一形態）及び商品取出口１３０を備えている。

タッチパネル１１０は、マトリクス型の液晶ディスプレイ上に、格子状に配列された電極パターンが構成されている。タッチパネル１１０は、ユーザがタッチした位置を検出できる。タッチパネル１１０は、ユーザが選択可能な商品メニューを表示する。タッチパネル１１０は、ユーザに対するお薦め商品や広告等も表示する。

カメラ１２０は、レンズ等からなる光学部材と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子からなる。カメラ１２０は、タッチパネル１１０に対向する被写体を撮影する。商品取出口１３０は、ユーザが購入した商品を取り出すための取出口である。

ユーザはタッチパネル１１０を操作して商品を選択し、カメラ１２０に決済用の情報コードを提示することで決済を行い、商品取出口１３０から商品を取り出す。また、自動販売機１００は、カメラ１２０によって自動販売機１００を操作するユーザを撮影し、顔の情報からそのユーザの年齢や性別等を推定し、タッチパネル１１０に、年齢や性別等に合わせたお薦め商品を表示したり、広告の表示内容を変更することで、効果的に販促活動を行う。

図２は、実施の形態１における自動販売機１００のブロック図である。

自動販売機１００は、タッチパネル１１０、カメラ１２０、制御部２００、メモリ２１０、商品搬送部２２０、画像解析部２３０、情報コード認証部２４０及び属性推定部２５０を備える。

自動販売機１００は、図示しないマイクロコンピュータおよびメモリ等の周辺回路を備える。制御部２００、画像解析部２３０、情報コード認証部２４０及び属性推定部２５０は、マイクロコンピュータ、その上で動作するソフトウェアおよびメモリ等により実現される。

制御部２００は、自動販売機１００全体の制御を行う。制御部２００は、画像解析部２３０から顔位置を受け取り、それに準じたメッセージと画像をメモリ２１０から取出し、タッチパネル１１０を通じてユーザに通知する。

メモリ２１０は、不揮発性メモリであって、情報コードの提示位置を指示するためのメッセージ文言や画像等が記憶されている。

商品搬送部２２０は、制御部２００からの制御に基づき、ユーザが選択した商品を決済が完了した後に、商品取出口１３０に搬送する。

画像解析部２３０は、カメラ１２０が撮影した画像を受け取り、画像内の顔位置や情報コード位置を算出し、算出した位置の画像を切り出す。情報コード認証部２４０は、画像解析部２３０から受け取った情報コードの画像をデコードし、その結果を返す。属性推定部２５０は、画像解析部２３０から受け取った顔画像からユーザの年齢や性別等を推定し、その結果からお薦めの商品や広告を決定する。

図３を用いて、情報コードの提示位置を指示する画面を説明する。図３は、子供が自動販売機１００の前に立っている場合の、情報コードの提示位置を指示する画面を示す図である。

ユーザがタッチパネル１１０において商品を選択すると、タッチパネル１１０は情報コード提示位置を指示するポップアップ３００を表示する。ポップアップ３００は、どのように情報コードをかざすかを具体的に指示する指示文言３２０と、指示文言３２０の通りに情報コードをかざしている例を示す画像３１０を表示する。

ポップアップ３００を表示する前に、カメラ１２０によって撮影された画像を図４に示す。この例では画像４００内に写っているユーザ４１０が子供であるため、画像４００内の右下部に写っている。図４に示す画像４００の撮影時における、自動販売機１００とユーザ４１０の位置関係を図５及び図６に示す。

図５は、自動販売機１００の側面から見た、自動販売機１００とユーザ４１０との位置関係を示す。図５において、カメラ１２０の垂直方向の視野角５００の範囲が点線で示される。図５に示すように、ユーザ４１０が子供の場合、ユーザ４１０の顔は、カメラ１２０の視野角５００の下方に位置する。したがって、ユーザ４１０がかざす情報コードをカメラ１２０で読取るためには、ユーザ４１０は顔より高い位置に情報コードをかざす必要がある。

図６は、自動販売機１００の上面から見た、自動販売機１００とユーザ４１０との位置関係を示す。図６において、カメラ１２０の水平方向の視野角６００の範囲が点線で示される。図６に示すように、ユーザ４１０が自動販売機１００に向かって左側にいる場合、ユーザ４１０の顔は、カメラ１２０の視野角６００の右側に位置する。したがって、ユーザ４１０がかざす情報コードをカメラ１２０で読取るためには、ユーザ４１０は右手で情報コードをかざす必要がある。

ユーザ４１０と自動販売機１００の位置関係がこのような状態で、ユーザ４１０により情報コードが左手でかざされたり、顔より低い位置にかざされたりすると、カメラ１２０は、情報コードが視野角の範囲内に入らず、読み取れない。あるいは視野角内であっても、視野角の端にある場合、撮影された画像がゆがみ、情報コード認証部２４０は、正しく情報コードを認証できない可能性がある。そこで、ユーザ４１０が情報コードをかざす前に、図３に示すようにタッチパネル１１０にポップアップ３００にて右手で上にかかげるように指示することで、ユーザ４１０がその通り行えば１回かざすだけで、カメラ１２０は視野角の中心近くで情報コードを撮影する事ができる。これにより、情報コード認証部２４０は、情報コードを正しく認証できる。

次に、実施の形態１における自動販売機１００の動作を図７のフローチャートを用いて説明する。

図７は、自動販売機１００の購入商品選択後の動作を示すフローチャートである。

ステップＳ７０１において、カメラ１２０が自動販売機１００の正面を撮影し、撮影した画像を画像解析部２３０に渡す。

ステップＳ７０２において、画像解析部２３０がステップＳ７０１にて受け取った画像を解析する。画像解析部２３０は、図８に示す位置テンプレート８００を用いて、画像内の顔の中心がエリアＡ〜Ｉのどれに重なっているかを判定する。画像解析部２３０は、決定したエリアを制御部２００に渡す。

ステップＳ７０３において、制御部２００はステップＳ７０２において特定したエリアをキーとして、メモリ２１０にあるテーブルから、該当する文言と画像を取得する。メモリ２１０で保持するテーブルの一例を図９に示す。図９に示すように、テーブル９００は、顔の位置に応じて、指示文言と、その指示文言を直感的にわかりやすく表した画像を保持する。制御部２００は、顔の位置が図８に示すように「Ｉ」にある場合、指示文言として「ＱＲコード（登録商標）を」「右手で」「上に」「かざして下さい」を、画像として「００９．ｊｐｇ」を取得する。

なお本実施の形態において、顔の位置に応じた指示文言と画像とをテーブル形式で保持する形態について説明したが、この形態に限定されず、顔の位置に応じて、ユーザに情報コードの提示方法を決定できればどのような方法であってもよい。

ステップＳ７０４において、タッチパネル１１０はステップＳ７０３にて取得した指示文言と例を示している画像をポップアップ３００にて表示する。

ステップＳ７０５において、カメラ１２０は自動販売機１００の前を再度撮影し、情報コードを読み取る処理を行う。

このようにして、自動販売機１００の前にいるユーザ４１０の顔の位置を特定し、それに対して相対的に情報コードをかざす位置を指示することで、カメラ１２０の撮影状況を動画で表示する必要もなく、ユーザ４１０は一度の操作で情報コードをカメラ１２０に読みとらせる事ができる。

（その他の実施の形態）
実施の形態１では自動販売機を例に説明をしたが、情報コードの読取りが必要な装置であれば、自動販売機に限定されず、改札機、ＰＯＳレジなど、他の表示装置を有する電子機器でも実施可能である。

自動販売機をネットワークと接続可能にし、ネットワーク上のサーバーで自動販売機を制御する自動販売システムとして実施することも可能である。このような自動販売システムでは、実施の形態１の自動販売機１００における画像解析部２３０、情報コード認証部２４０および属性推定部２５０が行う処理の全てまたはいずれかをサーバー側で実行する。これにより、自動販売器における画像処理等による処理負荷を軽減することができる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示の表示装置は、情報コードをユーザの手間無く読み取り可能であり、自動販売機や、飲料吐出装置、改札機、ＰＯＳレジなど、他の表示装置を有する電子機器に広く適用可能である。

１００ 自動販売機
１１０ タッチパネル
１２０ カメラ
１３０ 商品取出口
２００ 制御部
２１０ メモリ
２２０ 商品搬送部
２３０ 画像解析部
２４０ 情報コード認証部
２５０ 属性推定部

Claims (2)

1. 情報コードの読取りを行う表示装置であって、
   情報を表示する表示部と、
   前記表示部を制御する制御部と、
   前記表示部に対向する被写体を撮影する撮影部と、
   前記撮影部で撮影した画像を解析する画像解析部と、を備え、
   前記画像解析部は、前記撮影部で撮影した当該表示装置の前に立つ人物の画像より、顔の位置を特定し、前記制御部は、前記特定した顔の位置を基に、前記表示部に前記情報コードの提示方法を表示する表示装置。
2. 情報を表示する表示部と、前記表示部に対向する被写体を撮影する撮影部と、を備える情報コードの読取りを行う表示装置の表示方法であって、
   前記撮影部で撮影した当該表示装置の前に立つ人物の画像より、顔の位置を特定し、
   前記特定した顔の位置を基に、前記表示部に前記情報コードの提示方法を表示する表示方法。

Images