JP2009043176A - 自動販売機 - Google Patents

Abstract

【課題】顔の検出にかかる時間を短縮することが可能な自動販売機を提供する。
【解決手段】２台のカメラを自動販売機の前面に左右に１つずつ所定間隔をおいて配置し、それらのカメラで生成された左右２枚の画像に基づいて距離画像を生成する（Ｓ１）。距離画像の中から所定距離よりも近い領域を人領域として抽出し（Ｓ２）、その人領域の中から顧客の顔を検出する（Ｓ５）。これにより顔の探索範囲が撮影画像全体ではなく人領域だけに限定される。また、人領域が認識され始めたとき来客があったと判断し（Ｓ３でＹＥＳ）、人領域が認識されなくなったとき顧客は立ち去ったと判断する（Ｓ９でＹＥＳ）。商品が購入されている場合（Ｓ１１でＹＥＳ）、購入客と分類し（Ｓ１２）、商品が購入されていない場合（Ｓ１１でＮＯ）、非購入客と分類する（Ｓ１４）。
【選択図】図３

Description

本発明は、自動販売機に関し、さらに詳しくは、客層認識機能を有する自動販売機に関する。

特開平９−３１９９４０号公報（特許文献１）には、カメラで顧客を撮影してその客層を認識し、その顧客が興味をひきそうな文字情報を表示するようにした自動販売機が記載されている。また、その客層情報をセンタに送信し、販売促進に利用することも記載されている。しかしながら、特許文献１には客層の具体的な認識方法は記載されておらず、００１４段落に「その人物の年齢、性別を判断する。例えば、その人物が女性で、学生服を着ていれば、１０代の女性により購入されたことを認識する。」と記載されているに過ぎない。

また、自動販売機を利用する顧客の中には、商品を購入しようとして自動販売機の前まで来たにもかかわらず、欲しい商品がないために諦めて帰ってしまう者もいる。このような者の客層を認識することができれば、現在の品揃えを見直すための貴重な情報となる。上記公報に記載の自動販売機はこのような者も含めて客層を認識しているのか定かではないが、少なくとも実際に商品を購入した客（以下、「購入客」という。）と購入しなかった客（以下、「非購入客」という。）とを区別していない。

また、特開２００５−２７５９３５号公報（特許文献２）には、カメラで顧客を撮影してその画像の中から顔を検出し、検出した顔に基づいて客層を認識する端末装置が記載されている。しかしながら、撮影した画像の中には顔以外のものが写っているため、顔を検出するのに時間がかかるという問題がある。

なお、本出願人は、購入客と非購入客とを区別して客層を認識することの可能な自動販売機に関する発明を２００６年１１月２２日に出願した（特許文献３；特願２００６−３１５０１４号）。しかしながら、特許文献３に記載の自動販売機も特許文献２に記載の端末装置と同様に、画像の中から顔を検出して客層を認識しているため、顔を検出するのに時間がかかるという問題がある。
特開平９−３１９９４０号公報 特開２００５−２７５９３５号公報 特願２００６−３１５０１４号（同一出願人の未公開先願）

本発明の目的は、顔の検出にかかる時間を短縮することが可能な自動販売機を提供することである。

本発明のもう１つの目的は、商品の購入客と非購入客とを区別して客層を認識することが可能な自動販売機を提供することである。

課題を解決するための手段及び発明の効果

本発明による自動販売機は、撮影手段と、人領域認識手段と、顔検出手段と、客層認識手段とを備える。撮影手段は、顧客を撮影して画像を生成する。人領域認識手段は、撮影手段により生成された画像の中から顧客の身体が写っている人領域を認識する。顔検出手段は、人領域認識手段により認識された人領域の中から顔を検出する。客層認識手段は、顔検出手段により検出された顔に基づいて客層、たとえば年代及び／又は性別を認識する。

本発明によれば、まず画像の中から顧客の身体が写っている人領域が認識され、次にその人領域の中から顔が検出されるので、顔の検出にかかる時間を短縮することができる。

好ましくは、撮影手段は、所定間隔をおいて配置された複数台のカメラを含む。人領域認識手段は、距離画像生成手段と、人領域抽出手段とを含む。距離画像生成手段は、複数台のカメラにより生成された複数枚の画像に基づいて被写体までの距離を示す距離画像を生成する。人領域抽出手段は、距離画像生成手段により生成された距離画像の中から所定距離よりも近い領域を人領域として抽出する。

この場合、カメラ間に生じた視差に基づいて距離画像が生成されるので、人領域を正確に抽出することができる。

好ましくは、自動販売機はさらに、来客検知手段と、購入検知手段と、退客検知手段と、顧客分類手段と、顧客記録手段とを備える。来客検知手段は、顧客の来訪を検知する。購入検知手段は、商品の購入を検知する。退客検知手段は、顧客の退去を検知する。顧客分類手段は、来客検知手段が顧客の来訪を検知した場合において購入検知手段が商品の購入を検知したとき当該顧客の種別を商品の購入客と分類し、来客検知手段が顧客の来訪を検知した場合において購入検知手段が商品の購入を検知することなく退客検知手段が顧客の退去を検知したとき当該顧客の種別を商品の非購入客と分類する。顧客記録手段は、客層認識手段により認識された当該顧客の客層と前記顧客分類手段により分類された当該顧客の種別とを対応付けて記録する。

この場合、顧客の種別が購入客と非購入客とに分類され、顧客の客層と対応付けて記録されるので、商品の購入客と非購入客とを区別して客層を認識することができる。

好ましくは、来客検知手段は、人領域認識手段により人領域が認識され始めたとき当該顧客の来訪と判断する。退客検知手段は、人領域認識手段により人領域が認識されなくなったとき当該顧客の退去と判断する。

この場合、カメラで撮影された顧客の画像の中から人領域が認識され始めると、顧客が来訪したと判断され、人領域が認識されなくなると、顧客が退去したと判断されるので、人領域の認識に必要な処理を有効に活用し、顧客の来訪及び退客を検知するためだけに特別な装置、たとえば自動販売機の前に立つ顧客の体重を検知するセンサや、自動販売機から顧客までの距離を測定するセンサなどを設ける必要がない。

好ましくは、自動販売機はさらに、現在の時刻を計時する計時手段を備える。顧客記録手段はさらに、計時手段により計時された現在の時刻を対応付けて記録する。

この場合、顧客の客層及び種別以外に、来客日時も対応付けて記録されるので、顧客の客層ごと種別ごとに来客日時も把握することができる。

好ましくは、自動販売機はさらに、来客検知手段が顧客の来訪を検知してから退客検知手段が顧客の退去を検知するまでの滞在時間を計測する滞在時間計測手段を備える。顧客記録手段はさらに、滞在時間計測手段により計測された滞在時間を対応付けて記録する。

この場合、顧客の客層及び種別以外に、滞在時間も対応付けて記録されるので、顧客の客層ごと種別ごとに滞在時間も把握することができる。

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

図１を参照して、本発明の実施の形態による自動販売機１０は、商品見本１１と、商品選択ボタン１２と、硬貨投入口１３と、商品取出口１４と、硬貨返却口１５とを備える。顧客は必要な硬貨を硬貨投入口１３から投入し、商品見本１１を見ながら欲しい商品を決定し、その商品選択ボタン１２を押す。すると、その商品が商品取出口１４に供給され、必要に応じて釣り銭が硬貨返却口１５に供給される。以上の構成及び動作は周知のものである。

図２を参照して、自動販売機１０はさらに、カメラ１６及び１７と、画像キャプチャ装置１８と、ＦＩＦＯ(First-In First-Out)メモリ１９と、貨幣投入センサ２０と、コンピュータ２１と、自動販売機本体制御装置（以下、単に「本体制御装置」と略す。）２２と、クロック２３と、認識結果記憶装置２４と、来客履歴記憶装置２５と、インターフェイス（Ｉ／Ｆ）２６とを備える。

カメラ１６及び１７は、図１に示すように、商品見本１１と商品選択ボタン１２との間に埋設され、自動販売機１０前方に立った顧客、特にその顔を撮影する。ここでは、カメラ１６及び１７は自動販売機１０の前面に左右に１つずつ所定間隔をおいて配置されるが、顧客を撮影しやすい位置であればよく、その位置は特に限定されない。また、カメラ１６及び１７の間で視差が生じればよく、たとえば上下に１つずつ所定間隔をおいて配置されてもよい。また、カメラの台数は２台以上であってもよい。

画像キャプチャ装置１８は、カメラ１６及び１７で撮影された動画像の中から所定時間おきに複数の静止画像をキャプチャする。ＦＩＦＯメモリ１９は、画像キャプチャ装置１８でキャプチャされた画像を一時的に記憶する。貨幣投入センサ２０は、硬貨投入口１３への硬貨の投入を検知する。硬貨投入口１３以外に紙幣投入口（図示せず）も設けられていてもよい。この場合、貨幣投入センサ２０は、紙幣投入口への紙幣の投入を検知する。

コンピュータ２１は、後述する所定の処理を実行する。本体制御装置２２は、自動販売機１０全体の制御を統括する。クロック２３は、現在の日時を計時する。認識結果記憶装置２４は、コンピュータ２１で認識された顧客の客層を一時的に記憶する。来客履歴記憶装置２５は、コンピュータ２１で得られた来客履歴を記憶する。Ｉ／Ｆ２６は、来客履歴記憶装置２５に記憶された来客履歴をここに接続されたモバイル端末に転送したり、電気通信回線を通じてセンタサーバに送信したりする。

次に、以上のように構成された自動販売機１０の動作を説明する。

コンピュータ２１は、２台のカメラ１６，１７により生成され、画像キャプチャ装置１８でキャプチャされ、ＦＩＦＯメモリ１９に保存された左右２枚の画像に基づいて、図４に示すように、被写体までの距離を示す距離画像２７を所定の方法で生成する（Ｓ１）。カメラ１６及び１７は所定間隔をおいて配置されているので、それらの間に視差が生じ、左右２枚の画像に写る被写体の位置は僅かにずれる。三角測量の原理に基づき、この位置ずれ及びカメラ１６，１７間の距離から被写体までの距離を算出することができる。距離画像２７は、この距離に応じて輝度や色を変えた画像である。距離画像２７の生成方法には種々の公知の方法を用いることができるが、たとえば特開平５−２６５５４７号公報に開示された方法を用いることができる。

続いて、コンピュータ２１は、距離画像２７の中から所定距離よりも近い領域２８を含む矩形の領域を人領域２９として抽出する（Ｓ２）。このように、距離画像２７を生成して人領域２９を抽出することにより、撮影画像の中から顧客の身体（領域２８）が写っている人領域２９を認識する。ここでは、カメラ１６，１７間に生じた視差に基づいて距離画像２７が生成されるので、人領域２９を正確に抽出することができる。またここでは、所定距離よりも近い領域２８を含む矩形の人領域２９を抽出しているが、所定距離よりも近い領域２８をそのまま人領域として抽出してもよい。

顧客が自動販売機１０の前にやって来た場合には人領域２９の抽出に成功するが（Ｓ３でＹＥＳ）、顧客がまだ来ていない場合には人領域２９の抽出に失敗する（Ｓ３でＮＯ）。この場合、人領域２９の抽出に成功するまで、距離画像２７の生成Ｓ１と人領域２９の抽出Ｓ２とを繰り返す。これは、人領域２９が認識され始めたとき来客があったと判断することを意味する。人領域２９の抽出に成功した場合、コンピュータ２１は、顧客が自動販売機１０の前に滞在した時間をカウントするソフトウェアによるタイマ（以下、「滞在時間タイマ」という。）をスタートさせる（Ｓ４）。

続いて、コンピュータ２１は、抽出された人領域２９の中から顧客の顔を所定の方法で検出する（Ｓ５）。このように、顔の探索範囲が撮影画像全体ではなく人領域２９だけに限定されるので、顔検出処理Ｓ５にかかる負荷が低減され、時間も短縮される。顔の検出方法には種々の公知の方法を用いることができるが、たとえば特開２００５−２７５９３５号公報や特開２００５−２１５８９９号公報に開示された方法を用いることができる。

顧客が正面を向いている場合には顔の検出に成功するが（Ｓ６でＹＥＳ）、顧客がうつむいていたり、人間以外の物体が自動販売機１０の前に置かれたりした場合には顔の検出に失敗する（Ｓ６でＮＯ）。顔の検出に成功した場合（Ｓ６でＹＥＳ）、コンピュータ２１は、検出した顔に基づいて客層（年代や性別など）を所定の方法で認識し、認識結果記憶装置２４に保存する（Ｓ７）。一方、顔の検出に失敗した場合（Ｓ６でＮＯ）、客層を認識することはできないので、客層認識処理Ｓ６はスキップされる。客層の認識方法には種々の公知の方法を用いることができるが、たとえば特開２００５−２７５９３５号公報や特開２００６−３２３５０７号公報に開示された方法を用いることができる。

続いて、コンピュータ２１は、人領域抽出処理Ｓ２及び顔検出処理Ｓ５の両方の結果を用いて、撮影画像中に認識した人（人領域２９）を所定の方法で追跡する（Ｓ８）。具体的には、現フレームで抽出された人領域の位置が前フレームで抽出された人領域の位置と近ければ（所定範囲内であれば）、同一人物とみなしてフレーム間で連続して当該人領域を抽出する。人の追跡方法には種々の公知の方法を用いることができるが、たとえば特開２００６−３１３８７号公報に開示された方法を用いることができる。顧客が自動販売機１０の前から立ち去ってカメラ１６，１７のフレーム（画角）から外に出ない限り（Ｓ９でＮＯ）、上記ステップＳ１〜Ｓ７を繰り返す。したがって通常は、１人の顧客につき客層認識処理Ｓ６が複数回行われ、客層の認識結果は複数保存される。

一方、顧客がフレームから外に出た場合（Ｓ９でＹＥＳ）、すなわち、人領域２９が認識されなくなった場合、コンピュータ２１は、顧客は立ち去ったと判断し、滞在時間タイマをストップさせる（Ｓ１０）。

続いて、コンピュータ２１は、顧客が商品を購入していったか否かを判断する（Ｓ１１）。具体的には、貨幣投入センサ２０が貨幣の投入を検知し、かつ、商品選択ボタン１２が押下されたとき、商品は購入されていると判断する。

商品が購入されている場合（Ｓ１１でＹＥＳ）、コンピュータ２１は顧客の種別を商品の購入客と分類するとともに、クロック２３から現在の日時を来客日時として取得する（Ｓ１２）。一方、商品が購入されていない場合（Ｓ１１でＮＯ）、コンピュータ２１は顔が検出されている場合に限り（Ｓ１３でＹＥＳ）、顧客の種別を商品の非購入客と分類するとともに、クロック２３から現在の日時を取得する（Ｓ１４）。顔が検出されていない場合（Ｓ１３でＮＯ）、客層認識結果が存在しないので、ステップＳ１に戻る。

続いて、コンピュータ２１は、認識結果記憶装置２４に保存された１又は２以上の客層認識結果に基づいて、客層を最終的に決定する（Ｓ１５）。具体的には、最も尤度の高い年代及び性別を客層と決定する。そして、コンピュータ２１は、ステップＳ１５で決定した客層と、ステップＳ１２又はＳ１４で分類した顧客の種別と、滞在時間タイマで計測された顧客の滞在時間と、ステップＳ１２又はＳ１４で取得した来客日時とを本体制御装置２２に出力する（Ｓ１６）。

本体制御装置２２は、これらを対応付けて来客履歴記憶装置２５に記録する（Ｓ２１）。来客履歴記憶装置２５に記録された情報は、インターフェイス２６に接続されたモバイル端末に書き出されたり、電気通信回線を通じてセンタサーバに送信されたりすることによって、各種販売促進に利用される。

以上のように本発明の実施の形態によれば、まず撮影画像の中から顧客の身体が写っている人領域２９が認識され、次にその人領域２９の中から顔が検出されるので、顔の検出にかかる時間を短縮することができる。また、顧客の種別が購入客と非購入客とに分類され、客層と対応付けて記録されるので、商品の購入客と非購入客とを区別して客層を認識することができる。また、顧客の客層及び種別以外に、来客日時や滞在時間も対応付けて記録されるので、顧客の客層ごと種別ごとに来客日時や滞在時間も把握することができる。

上記実施の形態では、人領域が認識され始めたとき顧客が来訪したと判断し、人領域が認識されなくなったとき顧客が立ち去ったと判断しているが、これに代えて、たとえば自動販売機１０の前に立つ顧客の体重を検知するセンサや、自動販売機１０から顧客までの距離を測定するセンサなどを設けることにより、顧客の来訪及び退去を検知するようにしてもよい。また、上記実施の形態では距離画像の中から人領域を特定しているが、赤外線カメラで撮影した画像の中から所定温度よりも高い領域を人領域として特定するようにしてもよい。

以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

本発明の実施の形態による自動販売機の外観構成を示す斜視図である。 図１に示した自動販売機の構成を示す機能ブロック図である。 図２中のコンピュータによる情報処理を示すフロー図である。 図３中の距離画像生成処理で得られる距離画像の一例を示す図である。

符号の説明

１０ 自動販売機
１２ 商品選択ボタン
１３ 硬貨投入口
１６，１７ カメラ
２０ 貨幣投入センサ
２１ コンピュータ
２２ 本体制御装置
２３ クロック
２４ 認識結果記憶装置
２５ 来客履歴記憶装置
２６ インターフェイス
２７ 距離画像
２９ 人領域

Claims (6)

1. 顧客を撮影して画像を生成する撮影手段と、
   前記撮影手段により生成された画像の中から顧客の身体が写っている人領域を認識する人領域認識手段と、
   前記人領域認識手段により認識された人領域の中から顔を検出する顔検出手段と、
   前記顔検出手段により検出された顔に基づいて客層を認識する客層認識手段とを備えたことを特徴とする自動販売機。
2. 請求項１に記載の自動販売機であって、
   前記撮影手段は、所定間隔をおいて配置された複数台のカメラを含み、
   前記人領域認識手段は、
   前記複数台のカメラにより生成された複数枚の画像に基づいて被写体までの距離を示す距離画像を生成する距離画像生成手段と、
   前記距離画像生成手段により生成された距離画像の中から所定距離よりも近い領域を前記人領域として抽出する人領域抽出手段とを含む、ことを特徴とする自動販売機。
3. 請求項２に記載の自動販売機であってさらに、
   顧客の来訪を検知する来客検知手段と、
   商品の購入を検知する購入検知手段と、
   顧客の退去を検知する退客検知手段と、
   前記来客検知手段が顧客の来訪を検知した場合において前記購入検知手段が商品の購入を検知したとき当該顧客の種別を商品の購入客と分類し、前記来客検知手段が顧客の来訪を検知した場合において前記購入検知手段が商品の購入を検知することなく前記退客検知手段が顧客の退去を検知したとき当該顧客の種別を商品の非購入客と分類する顧客分類手段と、
   前記客層認識手段により認識された当該顧客の客層と前記顧客分類手段により分類された当該顧客の種別とを対応付けて記録する顧客記録手段とを備えたことを特徴とする自動販売機。
4. 請求項３に記載の自動販売機であって、
   前記来客検知手段は、前記人領域認識手段により人領域が認識され始めたとき当該顧客の来訪と判断し、
   前記退客検知手段は、前記人領域認識手段により人領域が認識されなくなったとき当該顧客の退去と判断する、ことを特徴とする自動販売機。
5. 請求項３に記載の自動販売機であってさらに、
   現在の時刻を計時する計時手段を備え、
   前記顧客記録手段はさらに、前記計時手段により計時された現在の時刻を対応付けて記録する、ことを特徴とする自動販売機。
6. 請求項３に記載の自動販売機であってさらに、
   前記来客検知手段が顧客の来訪を検知してから前記退客検知手段が顧客の退去を検知するまでの滞在時間を計測する滞在時間計測手段を備え、
   前記顧客記録手段はさらに、前記滞在時間計測手段により計測された滞在時間を対応付けて記録する、ことを特徴とする自動販売機。

Images