JP2011221834A - 来店者通知システム - Google Patents

Abstract

【課題】多くの顔画像を取得することにより高い顔照合精度を有する来店者通報システムの提供を目的とする。
【解決手段】本発明の来店者通知システムは、撮像カメラ１で撮像した顔画像をデータベース１２と照合し、登録された来店者である場合にそれを通知する来店者通知システムである。来店者通知システムは、撮像カメラ１の撮像画像を取得する画像取得部２と、撮像領域のうち１又は複数の所定領域を顔検出領域として設定する顔検出領域設定部３と、顔検出領域から顔画像を検出する顔検出部４と、顔検出部４で顔画像が検出された場合にのみ、画像取得部２が撮像画像を取得する速度を増加させる画像取得速度制御部５とを備える。
【選択図】図１

Description

本発明は、来店者の顔画像を登録データベースと比較照合し、登録された来店者である場合にその旨を通知する顔照合を利用した来店者通知システムである。

一般的な来店者通知システムでは、来店者の動線に向けて撮像カメラを配設し、撮像カメラの全撮像領域に入ってきた来店者の顔画像を単位時間あたり数コマ撮影する。そして、撮像画像から来店者の顔画像を検出し、撮像画像における顔幅が所定の大きさ以上である場合に顔画像を同一人物につき複数枚取得して、後段の顔照合処理に供給している。

例えば、顔照合システムの性能上、同一人物につき１０枚の顔画像が必要な場合、撮像カメラの撮影速度が１秒あたり５コマとすれば、２秒以上も来店者の顔画像を後段の顔照合処理に供給しなければならない。

ところが、通常、来店者は辺りを見回しながら歩行するものであり、歩行中に顔の向きが上下左右の任意の方向に向いたり、さらに歩行路に存在する照明の影響を受けて顔の明るさが刻々と変化する。そのため、上述のように全撮像領域範囲内で同じような照明条件下で２秒以上も同一人物の顔画像を取得し、後段の顔照合処理に供給することは困難であり、顔照合の精度が低下していた。

この対策として、来店者の撮像通路上に来店者の注意を引く広告用ディスプレイを設置し、来店者を立ち止まらせ、広告用ディスプレイの側から撮影通路上の来店者を撮影することにより、同じ照明条件下で正面（撮像カメラ方向）を向いた顔画像をより多く取得しようとした顔検出システムがある（特許文献１参照）。

また、来店者の撮像通路上に自動ドア等の開閉式ドアがある場合には、来店者の顔の向きが扉開の時点で前方を向くという人の特性に着目し、前方を向いた時に顔画像を取得すすることにより、後段の照合判定に適した画像の取得を図る生体照合システムがある（特許文献２参照）。

さらに、撮像カメラからの取得画像を複数の領域に分けて、夫々の領域毎に検索条件を設定し、条件に該当しない処理を省くことで顔検索処理の効率化を図るとともに、顔の検出精度の向上をも図る顔検出装置がある（特許文献３参照）。

特開２００８−２４３０９５号公報 特開２００２−１４０６９９号公報 特開２００８−２３４５７８号公報

特許文献１に記載の顔検出システムでは、広告用ディスプレイの設置の開始時は来店者の注意を引き、来店者は足を止めるかもしれないが、すぐにディスプレイの表示内容に飽きてしまい、効果が継続しないという問題点がある。特許文献１には、さらに飽きさせないための方策についても言及しているが、効果を継続させることは困難である。

特許文献２に記載の生体照合システムは、自動扉のような開閉スライド式ドアでは有効であるが、例えばガラス張りの店舗などで来店者の目的が明確である場合には、戸開の時点で前方を向くことは少なく、受付など目的の場所の方向に顔を向けることも考えられる。さらに、来店者が連続して扉が常に開いた状態となる場合は、来店者が扉の前で一瞬立ち止まり前を見るということはない。

特許文献３に記載の顔検出装置は、検出対象とする顔の大きさを定める顔サイズ条件、検出対象とする顔の向きを定める顔向き条件、照明条件など、の様々な検索条件を選ぶことで撮像カメラの画像の中から適する画像を峻別するものである。しかし、検索条件を厳しくすればするほど、結果として取得できる画像枚数は減ってしまうし、条件が増えればそれに比例して処理負荷も増えるものと考えられる。

これら以外にも、（１）複数の顔の向きから算出した顔の特徴量を予め登録しておいて照合する方法や、（２）歩行中の顔の向きのばらつきを補完して照合する方法、（３）複数の撮像カメラを用いて同一来店者の画像を撮影する方法などが考えられる。しかし、（１）、（２）では複数の顔画像から新たに画像データを作成するのに多くの処理時間が必要である。また、（３）ではカメラ毎の来店者の画像の同一性判断を行う必要があり、多くの処理時間が必要となるため、来店者を通知するようなリアルタイム処理が必要な用途への適用は困難である。

以上のように、顔照合すべき対象が移動している状態にあり、顔照合の結果をその場で通知することが求められる来店者通知システムにおいて、上記の従来例では、ほぼ同一の環境下で、撮像カメラ方向を向いた顔画像を短時間で必要枚数取得することは困難であるし、取得した顔画像の補完処理を短期間で実行することも困難である。

そこで、本発明は上述の問題点に鑑み、同一環境下の顔画像を多く取得することにより高い顔照合精度を有する来店者通報システムの提供を目的とする。

本発明の来店者通知システムは、撮像カメラで撮像した顔画像をデータベースと照合し、登録された来店者である場合にそれを通知する来店者通知システムであって、撮像カメラの撮像画像を取得する画像取得部と、撮像領域のうち１又は複数の所定領域を顔検出領域として設定する顔検出領域設定部と、顔検出領域から顔画像を検出する顔検出部と、顔検出部で顔画像が検出された場合に、画像取得部が撮像画像を取得する速度を増加させる画像取得速度制御部とを備える。

本発明の来店者通知システムは、撮像領域のうち１又は複数の所定領域を顔検出領域として設定する顔検出領域設定部と、顔検出部で顔画像が検出された場合に、画像取得部が撮像画像を取得する速度を増加させる画像取得速度制御部とを備えることにより、処理負担を大幅に増やすことなく多くの顔画像を取得することができ、顔照合の精度が向上する。

前提技術に係る来店者通知システムの構成図である。 実施の形態１に係る来店者通知システムの構成図である。 店舗入口に向けて設置された撮像カメラ１が来店者を撮影する様子を示した図である。 撮像カメラの撮像領域を示す図である。 撮像カメラの有効画素数と撮像面サイズの関係を示す図である。 日本人の頭部寸法データを示す図である。 撮像カメラの撮像領域を示す図である。 実施の形態２に係る来店者通知システムの構成図である。

（実施の形態１）
＜前提技術＞
本発明の前提技術に係る来店者通知システムの構成を、図１に沿って説明する。図１に示すように、前提技術に係る来店者通知システムは、撮像カメラ１、画像取得部２、顔検出部４、顔追跡部６、顔画像切り出し正規化部７、特徴点抽出部８を備える。

画像取得部２は撮像カメラ１から撮像画像を取得する。顔検出部４は、撮像画像中に顔があるか否かを検出する。顔追跡部６は、顔検出部が検出した顔画像の動きを予測して、顔画像毎に識別番号を付与する。顔画像切り出し正規化部７は、識別番号が付与された顔画像の特定の決められた数点を抽出し、これらを基準点として顔画像の傾きや大きさを補正し切り揃える（正規化する）。特徴点抽出部８は、正規化された顔画像から特徴点を抽出する。

また、来店者通知システムは、照合部９、仮照合部１０、通知部１１、登録顔画像データベース（ＤＢ）１２、仮登録顔画像データベース（ＤＢ）１３、を備える。仮登録顔画像ＤＢ１３には、特徴点抽出部８で抽出された特徴点が識別番号毎に仮登録される。さらにオペレータは、仮登録顔画像ＤＢ１３の中からオペレータが登録しておきたい画像データを選択し、これに個別の情報（氏名、所属など）を追加して登録顔画像ＤＢ１２に登録する。

照合部９は特徴点抽出部８が抽出した特徴点と登録顔画像ＤＢ１２を照合する。照合部９では画像の類似度が数値化され、予め設定した閾値を超えた場合に一致したと判定する。一致した場合、通知部１１は一致したことを外部に通知する。一致しなかった場合、抽出した特徴点は仮照合部１０において、仮登録顔画像ＤＢ１３と照合される。

仮照合部１０でも照合部９と同様に、予め設定した閾値に基づいて一致／不一致を判定する。一致した場合は仮登録顔画像ＤＢに当該特徴点の画像を追加し、一致しなかった場合は仮登録顔画像ＤＢに当該特徴点の画像を仮登録する。

＜構成＞
図２に沿って、本実施の形態の来店者通知システムの構成を説明する。図２において、図１に示した前提技術に係る来店者通知システムと同一の構成要素には同一の番号を付している。図２に示すように、本実施の形態の来店者通知システムは、前提技術に係る来店者通知システムの構成に加えて、撮像画像に顔検出領域を設定する顔検出領域設定部３と、画像取得速度を制御する画像取得速度制御部５とを備える。

すなわち、本実施の形態の来店者通知システムは、撮像カメラ１の撮像画像を取得する画像取得部２と、撮像領域のうち１又は複数の所定領域を顔検出領域として設定する顔検出領域設定部３と、顔検出領域から顔画像を検出する顔検出部４と、顔検出部４で顔画像が検出された場合に、画像取得部２が撮像画像を取得する速度を増加させる画像取得速度制御部５とを備えるため、処理負担を大幅に増やすことなく多くの顔画像を取得することができ、顔照合の精度が向上するものである。

顔検出領域設定部３は、画像取得部２から出力される画像の一部あるいは複数部に顔検出領域を設定する。画像取得速度制御部５は、顔検出領域に顔画像が検出された場合に撮像カメラ１から撮像画像を取得する画像取得部２の単位時間当たりの画像取得枚数を増やすよう制御する。画像取得部２の画像取得間隔を狭めても良いし、撮像カメラ１から画像取得部２への画像配信間隔を狭めても良い。

これ以外の構成は図１に示した前提技術に係る来店者通知システムと同様であるため、説明を省略する。

＜撮像カメラの設定＞
図３は、店舗の入口に向けて設置された撮像カメラ１が来店者を撮影する様子を示した図であり、上半分は平面図、下半分は斜視図である。

撮像カメラ１の撮像素子の有効画素幅を６４０ピクセル（ＶＧＡ）、撮像素子の縦横比を３：４（ＶＧＡ）とする。顔検出する為に必要な画素幅を６４ピクセルとし、人の顔幅を０．１６ｍとすると、店舗入口での撮像面幅Ｈは１．６ｍ、撮像面高さＶは１．２ｍとなる（図４）。図５には、顔幅に６４ピクセルを割り当てた場合の、他の撮像素子数における店舗入口での撮像面サイズを示している。撮像素子の有効画素数が１２８０×１０２４（ＳＸＧＡ）の場合は、店舗入口での撮像面幅Ｈは３．２ｍ、撮像面高さＶは２．５６ｍとなる。撮像素子の有効画素数が１６００×１２００（ＵＸＧＡ）の場合は、店舗入口での撮像面幅Ｈは４．０ｍ、撮像面高さＶは３．０ｍとなる。撮像素子の有効画素数が１９２０×１０８０（ＨＤＴＶ）の場合は、店舗入口での撮像面幅Ｈは４．８ｍ、撮像面高さＶは２．７ｍとなる。なお、以下の説明において撮像素子の有効画素数は６４０×４８０（ＶＧＡ）とする。

来店者の顔が店舗入口で的確に撮影できるように、一般的な日本人の身体データに基づいて、入口における全撮像領域の高さを決定した上で、入口から奥行き方向にどこまで顔が撮影できるかを計算して撮像カメラ１の設置高さを決定する。

図６に、日本人の身長及び頭部寸法のデータを示す。本データは「独立行政法人産業技術総合研究所、河内まき子・持丸正明、日本人頭部寸法データベース２００１、Ｈ１６ＰＲＯ−２１２」から引用した。このデータによれば、青年群男性の平均身長は約１．７０（ｍ）、平均全頭高は約０．２３（ｍ）であり、ほとんどの日本人の身長は１．８８（ｍ）以下である。そこで、上記の店舗入口における撮像面の上端を床から１．８８（ｍ）とする。撮像面高さＶは前述の通り１．２ｍであるから、床から撮像面下端までの高さｈ（ｍ）を０．６８（ｍ）とすればよい（図７の上図）。

今、図７の上図に示すように、撮像カメラ１の高さをＨ（ｍ）、入口における撮像面下端までの高さをｈ（ｍ）、入口から撮像カメラ１までの平面距離をＤ（ｍ）、来店者の顎までの高さをＭ（ｍ）とする。すると、撮像カメラ１が入口の真正面に設置されているとして、撮像カメラ１の俯角最大値θ_maxはｔａｎ^-1｛（Ｈ−ｈ）／Ｄ｝、奥行き方向の顔撮像可能領域Ｌ（ｍ）はＤ×（Ｍ−ｈ）／（Ｈ−ｈ）となる。

カメラ高さＨ＝２．３（ｍ）、入口からカメラまでの平面距離Ｄ＝１３（ｍ）とし、図６より青年群男性の平均身長、平均全頭高データより来店者の身長を１．７０（ｍ）、０．２３（ｍ）とすると、来店者の顎まで高さＭ＝１．４７（ｍ）となるので、顔撮像可能領域Ｌ＝６．３４（ｍ）となり、撮像領域の奥行き方向はこの範囲に制限されることがわかる。

このように設置された撮像カメラ１の全撮像領域の画像を画像取得部２が取得するが、全撮像領域の中には、後段の顔照合に適した領域も存在する一方で、照明環境が暗かったり、照明が局所的に顔の一部だけを強く照らしている領域も存在する。有効画素数幅が６４０ピクセル程度であれば、撮像カメラ１設置時に撮像領域を慎重に選べば上記の様な後段の顔照合に不適切な領域はさほど多く含まれないが、有効画素数幅が１２８０ピクセル、１９２０ピクセルと増えると、全撮像領域に占める顔照合に不適切な領域の割合が多くなってくる。

そこで、本実施の形態の来店者通知システムでは、全撮像領域の中の一部または複数部に顔検出領域を設定する顔検出領域設定部３を設けることにより、後段の顔照合処理に同一環境下で取得した画像を供給する。更に、撮像領域を顔検出領域に限定すれば顔検索領域も限定されるため、取得画像一枚あたりの顔検索処理の負荷を大きく軽減することができる。

顔検出領域を設定することにはこのような利点がある一方、撮像領域を限定することで顔画像が取得可能な奥行き方向の領域が限定されてしまうという問題もある。図３に示すように、顔撮像可能領域が設定された検出領域に限定されてしまうので、単位時間あたりの画像取得枚数をこれまでと同じにしていたのでは、顔画像の取得枚数が減ってしまう。

この対策として顔画像取得速度制御部５を設けることで、顔検出領域設定部３で設定された領域に顔画像が存在する場合に、単位時間あたりの画像取得枚数を増やすようにする。画像取得部２の画像取得間隔を狭めても良いし、撮像カメラ１から画像取得部２への画像配信間隔を狭めても良い。顔検出領域に顔画像が存在しなくなれば、顔画像取得速度制御部５は再度、通常の画像取得速度へ戻す。

本実施の形態の来店者通知システムは、従来の顔照合を利用した来店者通知システムに顔検出領域設置得部３と顔画像取得速度制御部５を追加することで、後段の顔照合に適した顔画像の取得率を容易に、安価に向上させることができる。

＜効果＞
本実施の形態の来店者通知システムによれば、以下の効果を奏する。すなわち、本実施の形態の来店者通知システムは、撮像カメラで撮像した顔画像をデータベースと照合し、一致した場合に登録された来店者であることを通知する来店者通知システムであって、撮像カメラ１の撮像画像を取得する画像取得部２と、撮像領域のうち１又は複数の所定領域を顔検出領域として設定する顔検出領域設定部３と、顔検出領域から顔画像を検出する顔検出部４と、顔検出部４で顔画像が検出された場合に、画像取得部２が撮像画像を取得する速度を増加させる画像取得速度制御部５とを備える。顔検出領域から顔画像が検出されなくなると、撮像画像の取得速度を通常速度に戻すことによって、処理負担を大幅に増やすことなく多くの顔画像を取得することができ、顔照合の精度が向上する。

また、画像取得速度制御部５は、画像取得部２の単位時間あたりの画像取得枚数を制御することにより、画像取得部２が撮像画像を取得する速度を増加させることを特徴とする。これにより、処理負担を大幅に増やすことなく多くの顔画像を取得することができ、顔照合の精度が向上する。

あるいは、画像取得速度制御部は、撮像カメラ１の画像取得部２への画像配信速度を制御することにより、画像取得部２が撮像画像を取得する速度を増加させることを特徴とする。これにより、処理負担を大幅に増やすことなく多くの顔画像を取得することができ、顔照合の精度が向上する。

（実施の形態２）
図８は実施の形態２の来店者通知システムの構成を示す図である。実施の形態２の来店者通知システムは、図１に示した実施の形態１の来店者通知システムの構成に加えて、顔検出領域重みづけ部１４を設けたものである。

顔検出領域設定部３は、撮像カメラ１の全撮像領域の複数部に顔検出領域を設定する。そして、顔検出領域重み付け部１４は複数の顔検出領域の夫々に重み付けを行う。画像取得速度制御部５は、重み付けに従って画像取得部２の単位時間あたりの画像取得枚数を増減させる。

例えば顔検出領域として第１領域と第２領域が設定されているとすると、第１領域に顔が現れた場合には撮像カメラ１からの画像取得枚数を通常設定のｎ倍にし、第２領域に顔が現れた場合には撮像カメラ１からの画像取得枚数を通常設定のｍ倍にする、というように領域を分けて重み付けを決定する。

あるいは、第１領域と第２領域のいずれか一つの領域に顔が現れた場合には、撮像カメラ１からの画像取得枚数を通常設定のｎ倍にし、第１領域と第２領域の両方の領域に顔が現れた場合には、撮像カメラ１からの画像取得枚数を通常設定のｍ倍にする、というように、顔が検出されている設定領域の数によって重みづけの決定方法を変えてもよい。

顔検出領域を２つ設定した場合の例を説明したが、顔検出領域が３つ以上設定された場合も同様にして重み付けを決定し、画像取得枚数を制御する。

＜効果＞
本実施の形態の来店者通知システムによれば、以下の効果を奏する。すなわち、本実施の形態の来店者通知システムにおいて、顔検出領域設定部３は、複数の所定領域を顔検出領域として設定し、複数の所定領域の夫々に重み付けを行う顔検出領域重み付け部１４をさらに備え、画像取得速度制御部５は、当該重み付けに従って画像取得部２が撮像画像を取得する速度を増加させる。これにより、処理負担を大幅に増やすことなく多くの顔画像を取得することができ、顔照合の精度が向上する。

本発明は、店舗等の入り口に向けて設置され、来店者の顔を予め登録された来店者の登録顔画像データベースと照合し、照合一致した場合に来店者の来店を顔画像や登録時の付帯情報を付けて店内に通知するリアルタイム性を必要とする、来店者通知システムに適用可能であり、店舗管理を安価に支援するものである。

１ 撮像カメラ、２ 画像取得部、３ 顔検出領域設定部、４ 顔検出部、５ 画像取得速度制御部、６ 顔追跡部、７ 顔画像切出し正規化部、８ 特徴点抽出部、９ 照合部、１０ 仮照合部、１１ 通知部、１２ 登録顔画像データベース、１３ 仮登録顔画像データベース、１４ 顔検出領域重み付け部。

Claims (4)

1. 撮像カメラで撮像した顔画像をデータベースと照合し、一致した場合に登録された来店者であることを通知する来店者通知システムであって、
   前記撮像カメラの撮像画像を取得する画像取得部と、
   撮像領域のうち１又は複数の所定領域を顔検出領域として設定する顔検出領域設定部と、
   前記顔検出領域から顔画像を検出する顔検出部と、
   前記顔検出部で顔画像が検出された場合に、前記画像取得部が前記撮像画像を取得する速度を増加させる画像取得速度制御部とを備える、来店者通知システム。
2. 前記画像取得速度制御部は、前記画像取得部の単位時間あたりの画像取得枚数を制御することにより、前記画像取得部が前記撮像画像を取得する速度を増加させることを特徴とする、請求項１に記載の来店者通知システム。
3. 前記画像取得速度制御部は、前記撮像カメラの前記画像取得部への画像配信速度を制御することにより、前記画像取得部が前記撮像画像を取得する速度を増加させることを特徴とする、請求項１に記載の来店者通知システム。
4. 前記顔検出領域設定部は、複数の所定領域を顔検出領域として設定し、
   前記複数の所定領域の夫々に重み付けを行う顔検出領域重み付け部をさらに備え、
   前記画像取得速度制御部は、前記重み付けに従って前記画像取得部が前記撮像画像を取得する速度を増加させることを特徴とする、請求項１〜３のいずれかに記載の来店者通知システム。

Images