JP2018073265A - 自動販売機、その制御方法、およびプログラム - Google Patents

Abstract

【課題】情報コードリーダと年齢や性別を推定する人認識機能の両機能を搭載し、赤外線スキャナとカメラなどの方式の異なるリーダを採用して設計が複雑化する他、両機能の最適焦点位置が異なるため使い勝手が悪いなどを改善した自動販売機を提供する。【解決手段】飲料自動販売機は、被写体を撮影するカメラ１０６と、カメラ１０６で撮影した画像から、情報コードの読み取り処理、および年齢と性別を含む人属性を推定する人認識処理を行う画像処理部１０９と、カメラ１０６および画像処理部１０９を制御する制御部１０７と、を備え、制御部１０７は、画像処理部１０９で情報コードの読み取り処理と人認識処理を行う際に、カメラ１０６を制御し、異なる合焦距離の画像を取得する。これにより、１台のカメラ１０６で情報コードの認識と人認識を兼用する。【選択図】図２

Description

本発明は、カメラを内蔵した自動販売機に関するものである。

近年、ＱＲコード（登録商標）やバーコードなどの情報コードの読み取り処理による決済機能を備えた自動販売機（例えば、特許文献１参照）が提案されている。自動販売機を使用する利用者の顔画像を撮影して年齢や性別などの人の属性を推定する人認識を行って、利用者が好むと思われるお薦めの飲料を推奨表示したり、利用者の年代層をターゲットとした広告表示する機能を有する、いわゆるデジタルサイネージ自動販売機（例えば、特許文献２参照）などが提案されている。

特開平１０−２３２９６６号公報 特開２０１１−１８１２５号公報

情報コードを読み取る方式としては、ＰＯＳレジなどで採用されている赤外線の反射を使った方式以外にも、スマートフォンに搭載されたアプリのようにカメラで読み取った情報コードを画像処理によりデコードするカメラを使った方式などが登場している。

従って、情報コード認識と人認識の機能を兼ね備える構成としては、情報コード認識機能のために赤外線方式など別方式のリーダや、情報コード認識用の専用カメラを備えるよりは、人認識用に用いる同じ１台のカメラで両機能を実現できる構成の方が、設計面の簡易化やコストの低減から望ましい。

ところが、人認識機能と情報コード認識機能を１台のカメラで実現しようとする場合には、両機能で最適な焦点距離が異なる問題が発生する。人認識機能のために利用者の顔画像を自然に撮影するには、カメラの焦点距離を自動販売機の前に立つ人の位置にすることになる。

しかし、この焦点距離の場合、印刷物やスマートフォンや携帯電話に表示された情報コードは小さいサイズでしか撮影できないため、より解像度の高いカメラが必要となる。さらに、自動販売機の前に立った利用者が、情報コードの写ったスマートフォンなどを自動販売機に向かって不安定に空中位置で保持して翳すことになるため、情報コードが小さいサイズで撮影される分だけ、手や体の揺れが相対的に大きくなり、手ぶれ補正やフィルタリング処理などの高度な画像処理が必要となり、情報コードの認識処理が非常に困難となる。

上記従来の課題を解決するために、本発明の自動販売機は、被写体を撮影する撮影部と、前記撮影部で撮影した画像から、情報コードの読み取り処理、および年齢と性別を含む人属性を推定する人認識処理を行う画像処理部と、前記撮影部および前記画像処理部を制御する制御部と、を備え、前記制御部は、前記画像処理部で前記情報コードの読み取り処理と前記人認識処理を行う際に、前記撮影部を制御し、異なる合焦距離の画像を取得する。

本発明の自動販売機は、赤外線式などの別方式の情報コードリーダや、複数の撮像部を用いる必要なく、内蔵した１台の撮影部により、情報コードの認識と年齢・性別などを推定する人認識を簡易な構成で実現できる。

本発明の実施の形態１における情報コード認識および人認識機能を併せ持つ飲料自動販売機の外観図 本発明の実施の形態１における飲料自動販売機の制御処理を行う構成を示すブロック図 本発明の実施の形態１における二焦点レンズの構成を示す図 本発明の実施の形態１における二焦点レンズを用いた飲料自動販売機の構成を示す図 本発明の実施の形態１における二焦点レンズの別の構成を示す図 本発明の実施の形態１における飲料自動販売機での処理シーケンスを示すフローチャート

本発明は、被写体を撮影する撮影部と、前記撮影部で撮影した画像から、情報コードの読み取り処理、および年齢と性別を含む人属性を推定する人認識処理を行う画像処理部と、前記撮影部および前記画像処理部を制御する制御部と、を備え、前記制御部は、前記画像処理部で前記情報コードの読み取り処理と前記人認識処理を行う際に、前記撮影部を制御し、異なる合焦距離の画像を取得する自動販売機である。

これにより、赤外線式などの別方式の情報コードリーダや、複数の撮像部を用いる必要なく、内蔵した１台の撮影部により、情報コードの認識や年齢・性別などを推定する人認識を簡易な構成で実現できる。

この結果、情報コードを使ったキャンペーン販売や、年齢や性別に併せた商品をお薦め表示するサイネージ販売など、販売効果の高い自動販売機を実現できるものである。

また、前記撮影部は、焦点距離を可変にするレンズ部を備え、前記制御部は、前記情報コードの読み取り処理を行う際の合焦距離を、前記自動販売機の筐体表面までの距離に設定し、前記人認識処理を行う際の合焦距離を、前記自動販売機の正面に立つ利用者までの距離に設定する。

これにより、利用者が情報コードの焦点が合って認識が成功する場所を探して、情報コードを表示したスマートフォンをさまよい動かす必要がなく、自動販売機表面に当てるだけで、安定して情報コードの読み取りができる。また、利用者が自動販売機の正面に立つだけで、人の認識処理を行うことができる。

また、前記レンズ部は、合焦距離を前記自動販売機の筐体表面に設定した近距離焦点領域と、合焦距離を前記自動販売機の正面に立つ利用者の距離に設定した遠距離焦点領域とを備えることにより、自動焦点メカニズムなどを用いずに、簡易な構成で情報コードの読み取りと年齢・性別などを推定する人認識が可能となる。

また、前記レンズ部は、前記近距離焦点領域を前記レンズ部の周縁部に設けることにより、情報コードの読み取りと年齢・性別などを推定する人認識を簡易な構成で実現できる。

また、前記レンズ部は、前記近距離焦点領域と前記遠距離焦点領域を同心円状に交互に構成することにより、情報コードを読み取るための情報コードを掲げる場所に、自由度ができ、子供などの小柄な利用者や、身長の高い利用者などが無理な姿勢を採る必要がなく、楽な姿勢で情報コードを読み取らせることができる。

また、前記情報コードの読み取り処理を行う際の合焦距離として設定した、前記自動販売機の筐体表面の箇所に、前記情報コードの掲示を促すマーキングを設けることにより、利用者は情報コードを掲げる場所を明確に判断できる。

また、焦点距離を可変にするレンズ部を備えた撮影部と、前記撮影部で撮影した画像から、情報コードの読み取り処理、および年齢と性別を含む人属性を推定する人認識処理を行う画像処理部と、前記撮影部および前記画像処理部を制御する制御部と、を備える自動販売機の制御方法であって、前記情報コードの読み取り処理を行う際の合焦距離を、前記自動販売機の筐体表面までの距離に設定し、前記人認識処理を行う際の合焦距離を、前記自動販売機の正面に立つ利用者までの距離に設定する。

これにより、内蔵した１台の撮影部により、情報コードの認識と年齢・性別などを推定する人認識を簡易な構成で実現できる。

さらに、前記制御方法をコンピュータに実行させるプログラムである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
図１は、実施の形態１における情報コードの一例であるＱＲコードリーダ機能と人認識機能を備えた飲料自動販売機の外観図の一例を示す。図２は、図１の飲料自動販売機１００の制御を行う構成要素の内、ＱＲコードリーダ機能と人認識機能に関連する構成を示したブロック図の一例を示す。

図１の飲料自動販売機１００は、筐体１０１に、販売中の飲料や価格、広告などを表示する表示部であるディスプレイ１０２、貨幣や紙幣を投入する通貨投入口１０４、読み取らせたいＱＲコードを添える概略位置を示したＱＲコード掲示ガイド１０３、購入した商品を取り出す飲料取り出し口１０５を備えている。

また、飲料自動販売機１００は、破線で図示するカメラ１０６を内蔵する。筐体１０１におけるカメラ１０６およびＱＲコード掲示ガイド１０３の位置する部分は、カメラ１０６から人の顔やＱＲコードを撮影できるように、窓材加工やホール空け加工を施す。

図２の制御部１０７は、マイコンおよびその周辺回路で構成し、飲料自動販売機１００の全体を制御する。カメラ１０６は、ＣＭＯＳやＣＣＤ等の画像センサとレンズなどの光学系部品を備えて構成し、撮影画像をデジタル化してカメラ１０６のメモリに入力すると共に、制御部１０７のメモリへの転送を行う。画像処理部１０９は、カメラ１０６により
メモリに記録された撮影画像に演算処理を行うことにより、ＱＲコードを解析してデコードする認識処理や、顔画像から年齢や性別を推定する人認識処理を行う。画像処理部１０９は、カメラ１０６に搭載したマイコン上で動作するプログラム、もしくは、制御部１０７のマイコン上で動作するプログラムなどで構成する。ディスプレイ１０２は、制御部１０７の制御により、販売中の飲料画像やアイコン画像、価格の他、広告画像などを表示する。ディスプレイ１０２は、液晶ディスプレイ等である。ディスプレイは、表示機能のみでなく、画面上にタッチパネル機能を構成し、利用者からの入力操作部を兼ね備えるように構成しても構わない。

次に、図３および図４を用いて、１台のカメラ１０６により、ＱＲコードの認識機能と人認識機能を、利用者に使い勝手よく実現する構成の一例について説明する。

図３は、カメラ１０６に用いる二焦点レンズの一例である。二焦点レンズ１１２は、上部領域に飲料自動販売機１００の前に立つ利用者１１１の顔位置に焦点距離を設定した遠距離焦点領域１１７を、残りの下部領域に飲料自動販売機１００の筐体１０１表面のＱＲコード掲示ガイド１０３に焦点距離を設定した近距離焦点領域１１８を備える。

図４は、カメラ１０６に二焦点レンズ１１２を用いて、ＱＲコード認識と人認識を兼用する飲料自動販売機１００を構成する一例である。図４に示す構成では、二焦点レンズ１１２における遠距離焦点領域１１７の視野範囲が長破線の直線および長破線の円弧矢印線で示す視野範囲１１３に、焦点距離が一点鎖線の両矢印で示す焦点距離１１４となるように構成する。また、二焦点レンズ１１２における近距離焦点領域１１８の焦点距離が、二点鎖線の両矢印で示す焦点距離１１５となるように構成する。

以上のように、二焦点レンズ１１２を構成することで、利用者１１１が通常の飲料自動販売機１００を利用する状態でカメラ１０６の利用者１１１の顔部分に焦点が合うこととなり、利用者１１１は人認識機能を使った飲料おすすめなどのサービスを享受することができる。

また、ＱＲコード認識を行う場合には、利用者１１１は、ＱＲコードを表示させたスマホートフォンを、飲料自動販売機１００のＱＲコード掲示ガイド１０３部分に当てることにより、スムーズにＱＲコードを認識させることが出来る。これにより、利用者１１１は、ＱＲコードの認識に成功するまでスマートフォンを前後左右に動かして焦点距離の合う場所を探す努力や、スマートフォンを持つ手振れを抑えるためにスマートフォンを揺れないように努力して保持する、といった手間を必要とせず、快適にＱＲコード認識機能を利用した飲料自動販売機１００のサービスを利用できるものである。

図６は、以上説明した処理のシーケンスの一例を示すフローチャートである。以下、図２、図３および図４と対応させて説明する。

まず、利用者１１１が飲料自動販売機１００の利用の開始（例えば、飲料自動販売機１００の前に立つ）を検出すると、制御部１０７は処理を開始する（ステップＳ６０１）。制御部１０７は、カメラ１０６を制御し、ＱＲコード掲示ガイド１０３部分のプレ画像を撮影して画像処理部１０９に取り込む（ステップＳ６０２）。次に、制御部１０７は、画像処理部１０９により取り込んだプレ画像にＱＲコードが映っているかどうかを判断し（ステップＳ６０３）、ＱＲコードが写っていれば（ＹＥＳの場合）、本画像を取り込んで（ステップＳ６０４）、画像処理部１０９によりＱＲコードの認識処理（ステップＳ６０５）を行う。また、ステップＳ６０３でＱＲコードが写っていなければ（ＮＯの場合）、ステップＳ６０２に戻って一定周期でプレ画像を撮影してＱＲコードを検出する処理を繰り返すが、一定回数のプレ画像の取り込み、もしくは一定時間経過してもＱＲコードが認
識できない場合（図示せず）には、ステップＳ６０９の人認識処理に進む。

図６のフローチャートにおいて、プレ画像は、ＱＲコードを含むか否かの判定を高速に行うための簡易画像である。プレ画像として、カメラの視野角全体から、ＱＲコード掲示ガイド１０３など一部範囲部分をトリミング処理した画像や、画素を間引いた情報量の少ない画像を用いる。従って、本来のＱＲコード認識や人認識を行うための画像（本画像）を扱っても、充分な処理速度が実現できる場合は、ステップＳ６０２でいきなり本画像を取り込み、代わりにステップＳ６０４を省略しても構わない。
ステップＳ６０５において、画像処理部１０９は、カメラ１０６で撮影した画像の内、二焦点レンズ１１２の近距離焦点領域１１８に対応する部分の画像を用いて、ＱＲコードの認識処理を行う。

続いて、ステップＳ６０６で、ステップＳ６０５の結果に基づき、ＱＲコードを認識できた場合、画像処理部１０９は制御部１０７にＱＲコードの認識結果を入力する（ステップＳ６０７）。制御部１０７はＱＲコードの内容に従った処理、例えば、ディスプレイ１０２に表示した飲料価格を割引価格に更新する、決済用サーバへのセキュア通信を開始するトリガとするなど、ＱＲコードを利用したアプリケーション処理を実行する（ステップＳ６０８）。

また、ステップＳ６０６でＱＲコードの認証に失敗した場合（ＮＯの場合）、制御部１０７は、Ｓ６０４に戻って、再度本画像を取り込んでＱＲコードの認識を行う。

図示しないが、ステップＳ６０４で本画像の取り込みを再度行う際に、ディスプレイ１０２に、ＱＲコードの掲示位置がずれているとか、傾いているなどのＱＲコードを認証できない原因を正すように、利用者１１１に向けてガイダンス表示するようにしてもよい。またステップＳ６０４からの処理を規定回数繰り返しても認識ができない場合に、ディスプレイ１０２にエラー表示を行ってもよい。また途中で利用者１１１がＱＲコードの掲示をやめてしまった場合にはステップＳ６０２まで戻る、などの構成を組み合わせてもよい。これら処理を行うことで、更に効果的なユーザインターフェイスが実現できるものである。

制御部１０７はＱＲコード認識に続けて人認識処理を行う。制御部１０７は、ステップＳ６０９に進んで本画像を取り込み、画像処理部１０９により人認識機能を実行する（ステップＳ６１０）。この際、制御部１０７はステップＳ６０４で取り込んだ画像が使用できる場合には、ステップＳ６０９をスキップしても構わない。ステップＳ６１０において、画像処理部１０９は、カメラ１０６で撮影した画像の内、二焦点レンズ１１２の遠距離焦点領域１１７に対応する部分の画像を用いて、人認識処理を行う。

次に、ステップＳ６１１で、ステップＳ６１０での人認識処理の結果により分岐判断を行う。人認識が成功した場合（ＹＥＳの場合）、画像処理部１０９はステップＳ６１２に進んでステップＳ６１１で推定した年齢や性別など人認識結果を制御部１０７に入力する。続いて制御部１０７はディスプレイ１０２の飲料を年齢や性別に応じて好まれるお薦め飲料画像に変更するなどの、人認識機能を使った処理を実行し（ステップＳ６１３）、認識処理を終了する（ステップＳ６１４）。

また、ステップＳ６１１で人認識処理が成功しなかった場合、制御部１０７はステップＳ６０９に戻って本画像の取り込みを行い、人認識処理を繰り返す。この際、ＱＲコードの認識処理と同様に、人認識処理の失敗の原因を利用者１１１に表示して、より飲料自動販売機１００の真正面に立ってもらうよう促す構成や、ステップＳ６１１からの処理を規定回数繰り返しても認識ができない場合のエラー表示、途中で利用者１１１が飲料自動販
売機１００の正面から去ってしまった場合に処理を終了するなどの構成を組み合わせておけば、更に効果的なユーザインターフェイスが実現できるものである。

図５は、二焦点レンズの別の構成を示す。図５に示す二焦点レンズ１１９は、白背景で示す遠距離焦点領域１２０と、網点背景で示す近距離焦点領域１２１を同心円状に交互に備えた構成とする。図５のごとく同心円状に構成することで、図３の二焦点レンズ１１２の場合のように、ＱＲコードを認識する視野領域と、人認識を行う視野領域を分ける必要が無くなり、カメラ１０６の視野範囲のいずれの位置でも認識が可能となる。二焦点レンズ１１９では、撮影画像内に、近距離焦点領域１２１と遠距離焦点領域１２０を通して撮影した画像部分が混在することになるが、ＱＲコードの１ビットを示すブロックサイズ辺りで複数のカメラ画素数で撮影できる（充分な大きさで撮影できる）距離に近距離焦点領域１２１を設定することで、一般的に知られているエッジ強調処理などの画像処理プログラムを適用する効果により、ＱＲコードを認識可能となる。

なお、図５の二焦点レンズ１１９では、同心円と記載したが矩形領域で近距離焦点領域１２１と遠距離焦点領域１２０を交互に構成するなど、充分に小さい領域で近距離焦点領域１２１と遠距離焦点領域１２０が混在する構成であれば、同心円の領域設定でなくとも同様の効果を実現できるものである。

なお、本実施の形態では、図３および図５のように、機構部品を用いずに二焦点での撮像が実現できる固定距離の二焦点レンズを用いる例を記載したが、デジタルカメラなどで実現されているオートフォーカスのメカニズムを用いた自動焦点方式を用いることも可能である。

なお、本実施の形態では、飲料自動販売機を例に挙げて説明したが、飲料以外の自動販売機にも適用できるものである。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本発明の自動販売機は、ＱＲコードなどの情報コード認識と人認識の機能を複数方式のリーダや複数台のカメラを用いることなく、１台の撮像部で実現できるものであり、アーケードゲーム機や、顔認証とＱＲコード認証を紐付けて、入出を許可する入出管理システムなど、ＱＲコード認識や人認識機能を使った応用を用いる機器やシステムに、広く適用できるものである。

１００ 飲料自動販売機
１０１ 筐体
１０２ ディスプレイ（表示部）
１０３ ＱＲコード掲示ガイド
１０４ 通貨投入口
１０５ 飲料取り出し口
１０６ カメラ（撮影部）
１０７ 制御部
１０９ 画像処理部
１１２ 二焦点レンズ
１１３ 二焦点レンズ１２の遠距離焦点領域の視野範囲
１１４ 二焦点レンズ１２の遠距離焦点領域の焦点距離
１１５ 二焦点レンズ１２の近距離焦点領域の焦点距離
１１７ 遠距離焦点領域
１１８ 近距離焦点領域
１１９ 二焦点レンズ
１２０ 遠距離焦点領域
１２１ 近距離焦点領域

Claims (8)

1. 被写体を撮影する撮影部と、
   前記撮影部で撮影した画像から、情報コードの読み取り処理、および年齢と性別を含む人属性を推定する人認識処理を行う画像処理部と、
   前記撮影部および前記画像処理部を制御する制御部と、を備え、
   前記制御部は、前記画像処理部で前記情報コードの読み取り処理と前記人認識処理を行う際に、前記撮影部を制御し、異なる合焦距離の画像を取得する自動販売機。
2. 前記撮影部は、焦点距離を可変にするレンズ部を備え、
   前記制御部は、前記情報コードの読み取り処理を行う際の合焦距離を、前記自動販売機の筐体表面までの距離に設定し、前記人認識処理を行う際の合焦距離を、前記自動販売機の正面に立つ利用者までの距離に設定する、請求項１記載の自動販売機。
3. 前記レンズ部は、合焦距離を前記自動販売機の筐体表面に設定した近距離焦点領域と、合焦距離を前記自動販売機の正面に立つ利用者の距離に設定した遠距離焦点領域、とを備える請求項１または２記載の自動販売機。
4. 前記レンズ部は、前記近距離焦点領域を前記レンズ部の周縁部に設ける請求項３記載の自動販売機。
5. 前記レンズ部は、前記近距離焦点領域と前記遠距離焦点領域を同心円状に交互に構成する、請求項３記載の自動販売機。
6. 前記情報コードの読み取り処理を行う際の合焦距離として設定した、前記自動販売機の筐体表面の箇所に、前記情報コードの掲示を促すマーキングを設ける請求項１から５のいずれかに記載の自動販売機。
7. 焦点距離を可変にするレンズ部を備えた撮影部と、前記撮影部で撮影した画像から、情報コードの読み取り処理、および年齢と性別を含む人属性を推定する人認識処理を行う画像処理部と、前記撮影部および前記画像処理部を制御する制御部と、を備える自動販売機の制御方法であって、
   前記情報コードの読み取り処理を行う際の合焦距離を、前記自動販売機の筐体表面までの距離に設定し、
   前記人認識処理を行う際の合焦距離を、前記自動販売機の正面に立つ利用者までの距離に設定する、制御方法。
8. 請求項７に記載の制御方法をコンピュータに実行させるプログラム。

Images