JP2010128903A - 自動販売機 - Google Patents

Abstract

【課題】マッチングの演算回数を減らして効率的に利用者の顔検出処理を行える、自動販売機を提供する。
【解決手段】自動販売機１０は、利用者を撮像して画像を生成するカメラ３０を含む。カメラ３０から出力される画像の中から画像キャプチャ装置３２によって抽出された画像が第１バッファメモリ３４に記憶される。第１バッファメモリ３４に記憶された画像のうちイベント前所定時間分の画像が第２バッファメモリ３６に複写される。コンピュータ３８は、第２バッファメモリ３６に記憶された画像を時系列の反対の順に読み出し、当該読み出した画像からテンプレートマッチングによって利用者の顔を検出する。コンピュータ３８は、サイズの大きいパッチから順にテンプレートマッチングを行い、顔が検出されたときのパッチの横サイズがＡピクセル以下または縦サイズがＢピクセル以下であればテンプレートマッチングを終了する。
【選択図】図２

Description

この発明は自動販売機に関し、より特定的には、撮像した人物画像の特徴から顔検出を行う自動販売機に関する。

この種の従来技術の一例が特許文献１において開示されている。特許文献１には、カメラによって利用者を撮像して生成された画像から利用者の特徴を認識することによって、利用者の年齢や性別などを判別する自動販売機について記載されている。
特許第３７８７８９２号公報

しかし、特許文献１には、自動販売機の利用者の顔を効率よく検出するための具体的な手段については開示されていない。

それゆえに、この発明の主たる目的は、マッチングの演算回数を減らして効率的に利用者の顔検出処理を行える、自動販売機を提供することである。

上述の目的を達成するために、請求項１に記載の自動販売機は、利用者を撮像して画像を生成する撮像手段と、前記生成された画像を記憶する記憶手段と、前記記憶手段から前記記憶された画像を時系列の反対の順に読み出し当該読み出した画像からテンプレートマッチングによって前記利用者の顔を検出する顔検出手段とを備える。

請求項２に記載の自動販売機は、請求項１に記載の自動販売機において、前記顔検出手段は、サイズの大きいパッチから順に前記テンプレートマッチングを行うことを特徴とする。

請求項３に記載の自動販売機は、請求項２に記載の自動販売機において、前記顔検出手段は、前記顔が検出されたときの前記パッチの横サイズが第１閾値以下または縦サイズが第２閾値以下であれば前記テンプレートマッチングを終了することを特徴とする。

請求項４に記載の自動販売機は、請求項１に記載の自動販売機において、前記利用者の購入動作に関するイベントを検出するイベント検知手段と、前記イベント検知手段によるイベント検知時の所定時間前から当該イベント検知時までに前記撮像手段によって得られた前記画像を顔検出の処理対象として決定する画像決定手段とをさらに含み、前記顔検出手段は、前記画像決定手段によって決定された前記画像について顔検出を行うことを特徴とする。

請求項５に記載の自動販売機は、請求項１に記載の自動販売機において、前記顔検出手段は、サイズの大きいパッチから順に前記テンプレートマッチングを行う第１手段と、サイズの小さいパッチから順に前記テンプレートマッチングを行う第２手段と、前記第１手段による前記テンプレートマッチングにおいて前記顔が検出されたときの前記パッチの横サイズが第３閾値以下でありかつ縦サイズが第４閾値以下であれば、それ以降は前記第２手段による前記テンプレートマッチングに切り替える切替手段とを含むことを特徴とする。

自動販売機の利用者は必ず遠いところから自動販売機に近づいてきて商品の購入動作を行う。請求項１に記載の自動販売機では、記憶手段に記憶された画像を時系列の反対の順に読み出す。これによって、利用者が自動販売機前にいるときから過去に遡るように、すなわち、顔のサイズが大きい画像から順に顔検出を行える。したがって、処理の早い段階で利用者の顔を検出でき、マッチングの演算回数を減らして効率的に顔検出できる。

顔のサイズが大きい画像から順に顔検出を行う場合には、請求項２に記載の自動販売機のようにサイズの大きいパッチから順にテンプレートマッチングを行うことによって、より効率的に利用者の顔を検出できる。

上述のように、自動販売機の利用者は必ず遠いところから自動販売機に近づいてきて商品の購入動作を行う。したがって、横サイズが第１閾値以下または縦サイズが第２閾値以下の顔が検出された場合、時間的にそれ以前の画像には、より遠い場所にいる利用者が写っているはずであり、横サイズが第１閾値以下または縦サイズが第２閾値以下の顔しか写っていない。ここで、第１閾値および第２閾値が、顔判別が不可能となるサイズであれば、それ以降画像からの顔検出処理を続けても、そこには顔判別ができない顔が写っているだけであり、テンプレートマッチングの回数が無駄に多くなり効率のよいテンプレートマッチングとはならない。請求項３に記載の自動販売機では、顔が検出されたときのパッチの横サイズ（顔の横サイズ）が第１閾値以下またはパッチの縦サイズ（顔の縦サイズ）が第２閾値以下であればテンプレートマッチングを終了し、それ以降のテンプレートマッチングは行わない。これによって、テンプレートマッチングの回数を大きく減らすことができる。

請求項４に記載の自動販売機では、利用者の購入動作に関するイベント検知時の所定時間前からイベント検知時までに撮像手段によって得られた画像について顔検出を行う。これによって、確実に利用者が自動販売機前にいるときから過去に遡って利用者の顔を効率よく検出できる。

請求項５に記載の自動販売機では、サイズの大きいパッチから順にテンプレートマッチングを行っている際に、顔が検出され、そのときのパッチの横サイズが第３閾値以下でありかつ縦サイズが第４閾値以下であれば、それ以降はサイズの小さいパッチから順にテンプレートマッチングを行う。このようにすれば、時間的に新しく自動販売機の近くに利用者がいるような状況では、顔が大きく写るため、大きなパッチからマッチングすることによってより少ないマッチング回数で顔検出できる。一方、時間的に古く自動販売機から離れて利用者がいるような状況では、顔が小さく写るため、小さなパッチからマッチングすることによってより少ないマッチング回数で顔検出できる。

この発明によれば、処理の早い段階で利用者の顔を検出でき、マッチングの演算回数を減らして効率的に顔検出できる。

以下、図面を参照してこの発明の実施の形態について説明する。
図１はこの発明の一実施形態の自動販売機１０を示す外観図である。図２は自動販売機１０の電気的構成を示すブロック図である。

図１を参照して、自動販売機１０は、商品見本１２と、商品選択ボタン１４と、硬貨投入口１６と、紙幣投入口１８と、電子決済機２０と、商品取出口２２と、硬貨返却口２４とを備える。利用者は必要な貨幣を硬貨投入口１６または紙幣投入口１８から投入し、商品見本１２を見ながら欲しい商品を決定し、その商品選択ボタン１４を押す。すると、その商品が商品取出口２２に供給され、必要に応じて釣り銭が硬貨返却口２４に供給される。電子マネー、プリペイドカード、クレジットカードなどを用いた各種電子決済を電子決済機２０で実行することによって、商品の購入費用を支払うようにしてもよい。

図２をも参照して、自動販売機１０はさらに、自動販売機本体制御装置（以下、単に「本体制御装置」と略す。）２６と、貨幣識別装置２８と、カメラ３０と、画像キャプチャ装置３２と、第１バッファメモリ３４と、第２バッファメモリ３６と、コンピュータ３８とを備える。

本体制御装置２６は、自動販売機１０全体の制御を統括する。

貨幣識別装置２８は、紙幣および硬貨の投入を検知し、投入された紙幣および硬貨を識別する。

カメラ３０は、自動販売機１０前面のほぼ中央でかつ商品見本１２と商品選択ボタン１４との間辺りに埋設され、自動販売機１０前方に立った利用者、特にその顔を撮像して画像（動画）を生成する。すなわち、カメラ３０は利用者を撮像して複数フレームの画像を順次生成する。この実施形態では、利用者は商品を購入するために商品見本１２および／または商品選択ボタン１４に少なくとも１回は顔を向けることに着目し、カメラ３０を上述の位置に設けている。なお、利用者は貨幣を投入するために硬貨投入口１６および／または紙幣投入口１８に少なくとも１回顔を向けることに着目し、カメラ３０を硬貨投入口１６および紙幣投入口１８の周辺に埋設してもよい。また、利用者は商品を取り出すために商品取出口２２に少なくとも１回顔を向けることに着目し、カメラ３０を商品取出口２２の周辺に埋設してもよい。

図３に示すように利用者がカメラ３０から距離Ｄ１，Ｄ２およびＤ３の位置にいるとき、それぞれ、図４（ａ），（ｂ）および（ｃ）に示すような画像が得られ、利用者がカメラ３０に近づくほど利用者の顔は大きく写る。

画像入力手段である画像キャプチャ装置３２は、カメラ３０から順次出力される画像の中から所定時間おきに１フレームずつ画像を抽出し、第１バッファメモリ３４に与える。

第１バッファメモリ３４は、画像キャプチャ装置３２からの新しい画像を順次蓄積していくとともに、空きの記憶領域がない場合は古い画像から順次消去していく。

第２バッファメモリ３６には、第１バッファメモリ３４に記憶された画像のうち所定時間分（所定フレーム分）の画像が転送され、時系列の反対の順に複写される。複写した画像には降順のフレーム番号が付加される。

コンピュータ３８は、後述する図７，図８，図９，図１１および図１２に示す動作を行うためのプログラムやデータ等が格納される図示しないメモリを含む。コンピュータ３８は、当該メモリに格納されたプログラムに従って、第１バッファメモリ３４に転送指示を与え、第２バッファメモリ３６に記憶された画像を、フレーム番号の大きい画像から順にすなわち時系列の反対の順に読み出し、画像の中から利用者の顔を検出する。

図５に第１バッファメモリ３４に画像が記憶された状態の一例を示し、図６に第２バッファメモリ３６に画像が記憶された状態の一例を示す。

たとえば図５に示すように、第１バッファメモリ３４にフレーム毎の画像Ｐ１，Ｐ２，Ｐ３，・・・Ｐ（Ｎ−１），ＰＮが順次格納されていく。そして、コンピュータ３０から第１バッファメモリ３４に転送指示があれば、たとえば図６に示すように、第２バッファメモリ３６には画像ＰＮ，Ｐ（Ｎ−１），・・・Ｐ（Ｎ−４）の５つの画像が時系列の反対の順に格納される。各画像ＰＮ，Ｐ（Ｎ−１），・・・Ｐ（Ｎ−４）には降順のフレーム番号５，４，・・・１が付加される。そして、コンピュータ３８によって、フレーム番号５の画像ＰＮから順に読み出され、顔検出が行われる。

この実施形態において、カメラ３０が撮像手段に相当する。記憶手段は第１バッファメモリ３４および第２バッファメモリ３６を含む。第１バッファメモリ３４と第２バッファメモリ３６とは同一メモリ内でエリアを分けて設けられてもよい。コンピュータ３８が、顔検出手段、画像決定手段、第１手段、第２手段および切替手段として機能する。商品選択ボタン１４、電子決済機２０、貨幣識別装置２８および本体制御装置２６がイベント検知手段を構成する。

ついで、このような自動販売機１０の動作の一例について説明する。
自動販売機１０は、図７に示す画像取得処理および図８に示す顔検出処理を並行して実行する。

図７を参照して、画像取得処理について説明する。
画像キャプチャ装置３２は、カメラ２０から出力される画像を所定時間おきに１フレームずつ取得して第１バッファメモリ３４に与え、図５に示すように当該画像が第１バッファメモリ３４に格納されていく（ステップＳ１）。そして、コンピュータ３８は、利用者の購入動作に関するイベントを検知したか否かを判断する（ステップＳ３）。利用者の購入動作に関するイベントは、硬貨投入口１６または紙幣投入口１８からの貨幣の投入、電子決済機２０による電子決済、あるいは商品選択ボタン１４の押し下げを含む。本体制御装置２６は、貨幣識別装置２８によって貨幣の投入が検知されたとき、商品選択ボタン１４によって商品の選択が検知されたとき、および電子決済機２０によって決済が検知されたとき、イベント検知信号をコンピュータ３８に送信する。したがって、コンピュータ３８は、本体制御装置２６からのイベント検知信号の有無に基づいてイベントを検知したか否かを判断する。

イベントを検知するまでステップＳ１に戻り、一方、イベントを検知すればステップＳ５に進む。ステップＳ５では、コンピュータ３８は、イベントの検知を契機として第１バッファメモリ３４に、イベント検知時（イベント検知信号の受信時）の所定時間（たとえば１０秒）前からイベント検知時までにカメラ３０によって得られた画像の転送指示を与える。すると第１バッファメモリ３４は、当該転送指示に応じて所定時間分（所定フレーム分）の画像を第２バッファメモリ３６に転送する。図６に示すように、第２バッファメモリ３６には、第１バッファメモリ３４からの所定時間分の画像が時系列の反対の順に複写され、複写された画像に降順のフレーム番号が付加される（ステップＳ５）。第２バッファメモリ３６に格納された画像が顔検出処理の対象となる。そして、ステップＳ１に戻る。

ついで、図８を参照して、顔検出処理について説明する。
まず、コンピュータ３８は終了フラグを「０」にセットする（ステップＳ１１）。終了フラグは顔検出処理を終了するか否かを示し、終了しないときには「０」にセットされ、終了するときには「１」にセットされる。そして、コンピュータ３８は第２バッファメモリ３６に未処理画像があるか否かを判断する（ステップＳ１３）。第２バッファメモリ３６に未処理画像がなければステップＳ１１に戻り、一方、第２バッファメモリ３６に未処理画像があれば、コンピュータ３８は終了フラグが「１」であるか否かを判断する（ステップＳ１５）。終了フラグが「１」でなければ、コンピュータ３８は、第２バッファメモリ３６に記憶されている画像とそのフレーム番号とを取得し（ステップＳ１７）、コンピュータ３８は、フレーム番号が１か否かを判断する（ステップＳ１９）。フレーム番号が１であれば、コンピュータ３８は終了フラグを「１」にセットし（ステップＳ２１）、ステップＳ２３へ進む。一方、ステップＳ１９においてフレーム番号が１でなければ直接ステップＳ２３に進む。ステップＳ２３では、コンピュータ３８は後述する大きいパッチからのマッチングを行い、コンピュータ３８は顔が検出されたか否かを判断する（ステップＳ２５）。顔が検出されると、コンピュータ３８は、パッチの横サイズすなわち顔の横サイズが、第１閾値となるＡピクセル（たとえば２０ピクセル）以下、またはパッチの縦サイズすなわち顔の縦サイズが、第２閾値となるＢピクセル（たとえば２０ピクセル）以下であるか否かを判断する（ステップＳ２７）。この条件を満たさなければステップＳ１５に戻る。ステップＳ２５において顔が検出されていないときもステップＳ１５に戻る。そして、ステップＳ１５において終了フラグが「０」である限り、コンピュータ３８は、第２バッファメモリ３６から画像を取得しマッチングを行う。ステップＳ２７の条件を満たせば、コンピュータ３８は終了フラグを「１」にセットし（ステップＳ２９）、ステップＳ１５へ戻る。ステップＳ１５において終了フラグが「１」であれば、コンピュータ３８は、第２バッファメモリ３６に記憶されている所定時間分の画像を削除し、顔検出処理を終了し（ステップＳ３１）、ステップＳ１１に戻る。このように、検出された顔の横サイズがＡピクセル以下または縦サイズがＢピクセル以下になれば、テンプレートマッチングを終了する。

ついで、ステップＳ２３の大きいパッチからのマッチング処理について図９を参照して説明する。図１０はマッチングを説明するための図解図である。
図９および図１０において、ｘは画像左下を原点としたときのパッチの左下のｘ座標、ｙは画像左下を原点としたときのパッチの左下のｙ座標、ａはパッチの横サイズ、ｂはパッチの縦サイズ、Ｘは画像の横サイズ、Ｙは画像の縦サイズ、ａ ＭＡＸは横サイズａの最大値、ｂ ＭＡＸは縦サイズｂの最大値、ａ ＳＴＥＰは横サイズａを大きく（小さく）するときの変化ピクセル量、ｂ ＳＴＥＰは縦サイズｂを大きく（小さく）するときの変化ピクセル量、ａ ＭＩＮは横サイズａの最小値、ｂ ＭＩＮは縦サイズｂの最小値、ｘ ＳＴＥＰはパッチを移動させるときのｘ軸方向の移動ピクセル量、ｙ ＳＴＥＰはパッチを移動させるときのｙ軸方向の移動ピクセル量を示す。

図１０に示すように、マッチングは、まず、画像の左下隅に配置されたパッチを右方向に移動させて進められる。右端までマッチングが終了すると、パッチは左端に戻されかつ所定量上側に移動される。そして、再びパッチを右方向に移動させてマッチングが進められる。顔を検出できない限り、この処理が画像の右上隅まで繰り返される。

図９を参照して、まず、コンピュータ３８は、パッチの横サイズａを最大値ａ ＭＡＸに設定し、かつパッチの縦サイズｂを最大値ｂ ＭＡＸに設定し（ステップＳ５１）、パッチの左下のｘ座標およびｙ座標を０に設定する（ステップＳ５３）。このとき、パッチは図１０において位置Ｐ１で示す画像の左下隅に配置される。

ついで、コンピュータ３８は、当該ｙ座標が（Ｙ−ｂ）以下か否かを判断し（ステップＳ５５）、ｙ座標が（Ｙ−ｂ）以下であれば、コンピュータ３８は、当該ｘ座標が（Ｘ−ａ）以下か否かを判断する（ステップＳ５７）。当該ｘ座標が（Ｘ−ａ）以下であれば、コンピュータ３８は、（ｘ，ｙ）、（ｘ，ｙ＋ｂ）、（ｘ＋ａ，ｙ）、（ｘ＋ａ，ｙ＋ｂ）を頂点とする長方形領域（パッチ）の部分信号を求める（ステップＳ５９）。

そして、コンピュータ３８は、部分信号がそのパッチのサイズに対応するテンプレート信号に合致したか否か、すなわち顔を検出したか否かを判断する（ステップＳ６１）。ここで、部分信号がテンプレート信号に合致するとは、部分信号がテンプレート信号に完全に合致している場合のみならず、部分信号がテンプレート信号に類似する程度（類似度）が所定以上である場合をも含む。両信号の比較には、たとえば両信号の色成分（Ｒ，Ｇ，Ｂ）が用いられる。

コンピュータ３８が顔を検出すると、そのときのパッチサイズ（顔サイズ）および顔情報をコンピュータ３８内のメモリに記憶しておき、リターンして図８のステップＳ２５に進む。一方、ステップＳ６１において顔を検出できなければ、コンピュータ３８は、ｘをｘ ＳＴＥＰ分移動させ（ステップＳ６３）、ステップＳ５７に戻る。これによってパッチが右に所定量移動する。そして、顔が検出されない限り、ｘが（Ｘ−ａ）を超えるまで（図１０に示す位置Ｐ２でのマッチングが終了するまで）パッチの右方向への移動とマッチングとが繰り返される。

ステップＳ５７において、ｘが（Ｘ−ａ）を超えれば、コンピュータ３８は、ｘを０に設定し（ステップＳ６５）、ｙをｙ ＳＴＥＰ分大きくし（ステップＳ６７）、パッチを左端に戻しかつ上方向に移動させる。図１０に示す位置Ｐ２にあったパッチは位置Ｐ３に移動する。そして、ステップＳ５５に戻る。顔が検出されない限り、ステップＳ５５においてｙが（Ｙ−ｂ）を超えるまで（図１０に示す位置Ｐ４でのマッチングが終了するまで）、上述の処理が繰り返される。

ステップＳ５５においてｙが（Ｙ−ｂ）を超えれば、コンピュータ３８は、ｙを０に設定し（ステップＳ６９）、パッチの横サイズａおよび縦サイズｂをそれぞれａ ＳＴＥＰおよびｂ ＳＴＥＰ分小さくする（ステップＳ７１）。そして、コンピュータ３８は、パッチの横サイズａがａ ＭＩＮ以上でありかつ縦サイズｂがｂ ＭＩＮ以上であるか否かを判断する（ステップＳ７３）。この条件を満たせば、ステップＳ５５に戻り、サイズが小さくなったパッチで画像の左下隅から上述のマッチングが行われる。一方、ステップＳ７３の条件を満たさなければ、全領域をマッチングしても顔を検出できなかったとして、図８のステップＳ２５にリターンする。

このように動作する自動販売機１０によれば、第２バッファメモリ３６に格納された画像を時系列の反対の順に読み出す。これによって、利用者が自動販売機前にいるときから過去に遡るように、すなわち、顔のサイズが大きい画像から順に顔検出を行える。したがって、処理の早い段階で利用者の顔を検出でき、マッチングの演算回数を減らして効率的に顔検出できる。また、サイズの大きいパッチから順にテンプレートマッチングを行うことによって、より効率的に利用者の顔を検出できる。

さらに、ＡピクセルおよびＢピクセルが顔判別が不可能となるサイズであれば、それ以降画像からの顔検出処理を続けても、そこには顔判別ができない顔が写っているだけであり、テンプレートマッチングの回数が無駄に多くなり効率のよいテンプレートマッチングとはならない。したがって、顔が検出されたときのパッチの横サイズ（顔の横サイズ）がＡピクセル以下またはパッチの縦サイズ（顔の縦サイズ）がＢピクセル以下であればテンプレートマッチングを終了し、それ以降のテンプレートマッチングは行わない。これによって、テンプレートマッチングの回数を大きく減らすことができる。

また、利用者の購入動作に関するイベント検知時の所定時間前からイベント検知時までにカメラ３０によって得られた画像について顔検出を行う。これによって、確実に利用者が自動販売機前にいるときから過去に遡って利用者の顔を効率よく検出できる。

つぎに、自動販売機１０の動作の他の例について説明する。
自動販売機１０は、上述した図７に示す画像取得処理および図１１に示す顔検出処理を並行して実行する。

図７に示す画像取得処理については上述のとおりであるのでその重複する説明は省略し、図１１に示す顔検出処理について説明する。

図１１に示す顔検出処理では、まず、コンピュータ３８は、終了フラグを「０」にセットし、切替フラグを「０」にセットする（ステップＳ１１ａ）。切替フラグは大きいパッチからテンプレートマッチングするか、小さいパッチからテンプレートマッチングするかを示し、大きいパッチからテンプレートマッチングするときは「０」にセットされ、小さいパッチからテンプレートマッチングするときは「１」にセットされる。

ステップＳ１３ａ〜Ｓ２１ａの処理は、図８に示すステップＳ１３〜Ｓ２１の処理と同様であるので、その重複する説明は省略する。

図１１に示すステップＳ２３ａでは、コンピュータ３８は、切り替えフラグが「０」であるか否かを判断する。切り替えフラグが「０」であれば、コンピュータ３８は大きいパッチからマッチングを行う（ステップＳ２５ａ）。このマッチングでは、上述した図９に示す処理が行われる。そして、コンピュータ３８は、顔が検出されたか否かを判断し（ステップＳ２７ａ）、顔が検出されると、コンピュータ３８は、パッチの横サイズすなわち顔の横サイズが、第３閾値となるＣピクセル以下であり、かつパッチの縦サイズすなわち顔の縦サイズが、第４閾値であるＤピクセル以下であるか否かを判断する（ステップＳ２９ａ）。ＣピクセルはＡピクセル以上であり、たとえば３０ピクセルに設定され、ＤピクセルはＢピクセル以上であり、たとえば３０ピクセルに設定される。ステップＳ２９ａの条件を満たせば、コンピュータ３８は、以降のマッチングを小さいパッチから行うように切り替えフラグを「１」にセットし（ステップＳ３１ａ）、ステップＳ３３ａに進む。ステップＳ２９ａの条件を満たさなければ直接ステップＳ３３ａに進む。ステップＳ３３ａでは、コンピュータ３８は、パッチの横サイズすなわち顔の横サイズが、第１閾値であるＡピクセル（たとえば２０ピクセル）以下、またはパッチの縦サイズすなわち顔の縦サイズが、第２閾値であるＢピクセル（たとえば２０ピクセル）以下であるか否かを判断する。ステップＳ３３ａの条件を満たさなければステップＳ１５ａに戻る。ステップＳ２７ａにおいて顔が検出されていないときもステップＳ１５ａに戻る。

ステップＳ２３ａにおいて、切り替えフラグが「１」に設定されているときには、コンピュータ３８は小さいパッチからマッチングを行う（ステップＳ３７ａ）。このマッチングでは、後述する図１２に示す処理が行われる。そして、コンピュータ３８は、顔が検出されたか否かを判断し（ステップＳ３９ａ）、顔が検出されるとステップＳ３３ａに進む。ステップＳ３９ａにおいて顔が検出されていないときにはステップＳ１５ａに戻る。そして、ステップＳ１５ａにおいて終了フラグが「０」である限り、コンピュータ３８は、第２バッファメモリ３６から画像を取得しマッチングを行う。ステップＳ３３ａの条件を満たせば、コンピュータ３８は終了フラグを「１」にセットし（ステップＳ３５ａ）、ステップＳ１５ａへ戻る。ステップＳ１５ａにおいて終了フラグが「１」であれば、コンピュータ３８は、第２バッファメモリ３６に記憶されている所定時間分の画像を削除し、顔検出処理を終了し（ステップＳ４１ａ）、ステップＳ１１ａに戻る。

ついで、ステップＳ３７ａの小さいパッチからのマッチング処理について図１２を参照して説明する。
図１２に示すステップＳ５１ａでは、コンピュータ３８は、パッチの横サイズａを最小値ａ ＭＩＮに設定し、かつパッチの縦サイズｂを最小値ｂ ＭＩＮに設定する。ステップＳ７１ａでは、コンピュータ３８は、パッチの横サイズａおよび縦サイズｂをそれぞれａ ＳＴＥＰおよびｂ ＳＴＥＰ分大きくする。ステップＳ７３ａでは、コンピュータ３８は、パッチの横サイズａがＣピクセル以下でありかつパッチの縦サイズｂがＤピクセル以下であるか否かを判断する。それ以外のステップＳ５３ａ〜Ｓ６９ａの処理は、図９のステップＳ５３〜Ｓ６９の処理と同様であるので、その重複する説明は省略する。

このように動作する自動販売機１０によれば、サイズの大きいパッチから順にテンプレートマッチングを行っている際に、顔が検出され、そのときのパッチの横サイズがＣピクセル以下でありかつ縦サイズがＤピクセル以下であれば、それ以降はサイズの小さいパッチから順にテンプレートマッチングを行う。このようにすれば、時間的に新しく自動販売機の近くに利用者がいるような状況では、顔が大きく写るため、大きなパッチからマッチングすることによってより少ないマッチング回数で顔検出できる。一方、時間的に古く自動販売機から離れて利用者がいるような状況では、顔が小さく写るため、小さなパッチからマッチングすることによってより少ないマッチング回数で顔検出できる。

なお、図８のステップＳ２７および図１１のステップＳ３３ａにおけるＡピクセル（第１閾値）およびＢピクセル（第２閾値）は、顔判別が不可能になる値（たとえば２０ピクセル）に限定されず、検出された顔画像から入手すべき情報の程度に応じて設定されればよい。たとえば、その人物の特徴を抽出したい場合にはＡおよびＢは最低４０ピクセルであることが望ましく、さらに詳細な情報を入手したい場合にはＡおよびＢは最低６０ピクセルであることが望ましい。

また、図１１に示すステップＳ２９ａにおいて切替フラグを切り替えるか否かを判断するためのＣピクセルおよびＤピクセルは、次のように設定される。
まず、サイズが（ａ_ＭＩＮ）×（ｂ_ＭＩＮ）からＣ×Ｄまでのパッチにおけるテンプレートマッチング回数の合計Ｔ１を求める。ついで、サイズがＣ×Ｄより大きいパッチにおけるテンプレートマッチング回数の合計Ｔ２を求める。そして、合計Ｔ１と合計Ｔ２との差を求める。Ｃ≧ＡかつＤ≧Ｂを満たす範囲において、Ｔ１とＴ２との差が最小になるときのパッチの横サイズＣおよび縦サイズＤが、求めるべきのＣピクセルおよびＤピクセルとなる。

以下、具体例を挙げて説明する。
Ａピクセル＝２０、Ｂピクセル＝２０、画像の横サイズＸ＝１２０、画像の縦サイズＹ＝９０とし、サイズａ×ｂ＝２０×２０，３０×３０，４０×４０，５０×５０，６０×６０，７０×７０，８０×８０，９０×９０の各パッチについてマッチングを行う。

マッチング時には、まず、Ｘ軸方向に５ピクセルずつ移動させながらマッチングを行い、１２０ピクセル目まで探索が終了するとＹ軸方向に５ピクセル移動させ、さらに最初と同様にＸ軸方向に５ピクセルずつ移動させながらマッチングを行う。以降、Ｘ＝１２０、Ｙ＝９０の画像に対して探索が終了するまでこの動作を繰り返す。

この場合、図１３に示すように、サイズ２０×２０から３０×３０までの探索回数の合計Ｔ１は５６２、サイズ４０×４０から９０×９０までの探索回数の合計Ｔ２は５０２となり、Ｃ×Ｄ＝３０×３０のときにＴ１とＴ２との差が最小となる。このＣおよびＤは、Ｃ≧ＡかつＤ≧Ｂを満たすので、求めるべきＣピクセル＝３０、Ｄピクセル＝３０となる。

この発明の一実施形態の自動販売機を示す外観図である。 この発明の一実施形態の自動販売機の電気的構成を示すブロック図である。 利用者とカメラとの距離による写り方を説明するための図解図である。 利用者とカメラとの距離がＤ１，Ｄ２およびＤ３のときに得られる各画像を示す図解図である。 第１バッファメモリに画像が記憶された状態の一例を示す図解図である。 第２バッファメモリに画像が記憶された状態の一例を示す図解図である。 この発明の画像取得処理動作の一例を示すフロー図である。 この発明の顔検出処理動作の一例を示すフロー図である。 この発明の大きいパッチからマッチングを行う場合の動作の一例を示すフロー図である。 マッチングを説明するための図解図である。 この発明の顔検出処理動作の他の例を示すフロー図である。 この発明の小さいパッチからマッチングを行う場合の動作の一例を示すフロー図である。 パッチサイズ毎のテンプレートマッチングの回数の一例を示すテーブルである。

符号の説明

１０ 自動販売機
１２ 商品見本
１４ 商品選択ボタン
１６ 硬貨投入口
１８ 紙幣投入口
２０ 電子決済機
２２ 商品取り出し口
２４ 硬貨返却口
２６ 自動販売機本体制御装置
２８ 貨幣識別装置
３０ カメラ
３２ 画像キャプチャ装置
３４ 第１バッファメモリ
３６ 第２バッファメモリ
３８ コンピュータ

Claims (5)

1. 利用者を撮像して画像を生成する撮像手段と、
   前記生成された画像を記憶する記憶手段と、
   前記記憶手段から前記記憶された画像を時系列の反対の順に読み出し当該読み出した画像からテンプレートマッチングによって前記利用者の顔を検出する顔検出手段とを備える、自動販売機。
2. 前記顔検出手段は、サイズの大きいパッチから順に前記テンプレートマッチングを行う、請求項１に記載の自動販売機。
3. 前記顔検出手段は、前記顔が検出されたときの前記パッチの横サイズが第１閾値以下または縦サイズが第２閾値以下であれば前記テンプレートマッチングを終了する、請求項２に記載の自動販売機。
4. 前記利用者の購入動作に関するイベントを検出するイベント検知手段と、
   前記イベント検知手段によるイベント検知時の所定時間前から当該イベント検知時までに前記撮像手段によって得られた前記画像を顔検出の処理対象として決定する画像決定手段とをさらに含み、
   前記顔検出手段は、前記画像決定手段によって決定された前記画像について顔検出を行う、請求項１に記載の自動販売機。
5. 前記顔検出手段は、
   サイズの大きいパッチから順に前記テンプレートマッチングを行う第１手段と、
   サイズの小さいパッチから順に前記テンプレートマッチングを行う第２手段と、
   前記第１手段による前記テンプレートマッチングにおいて前記顔が検出されたときの前記パッチの横サイズが第３閾値以下でありかつ縦サイズが第４閾値以下であれば、それ以降は前記第２手段による前記テンプレートマッチングに切り替える切替手段とを含む、請求項１に記載の自動販売機。

Images