JP2008243095A - 顔検出システム、および顔検出方法 - Google Patents

Abstract

【課題】この発明は、人の顔を高い確率で検出できる顔検出システム、および顔検出方法を提供することを課題とする。
【解決手段】顔照合システム１は、店舗入口２の近くに設置されたカメラ３、顔検出端末４、およびディスプレイ５を有する。この他に、システム１は、顔照合サーバー６を有する。歩行者Ｐが通路を歩いて店舗入口２に向かうとき、ディスプレイ５を介して注目し易い画像を表示し、ディスプレイ５の近くに設置したカメラ３で歩行者Ｐの正面の顔画像を撮影する。
【選択図】 図１

Description

この発明は、人の顔を検出する顔検出システム、および顔検出方法に係り、例えば、デパートやスーパーなどに入店する歩行者の顔を検出する顔検出システム、および顔検出方法に関する。

従来、人の顔を撮影して監視するシステムとして、防犯の目的で、エレベーター内の人の顔を撮影して監視するシステムが知られている（例えば、特許文献１参照。）。このシステムでは、最も目の行き易い行き先階ボタンの近くにカメラを設置したり、カメラの近くに音や光を発生させる装置を設置したり、撮影した画像を表示する表示パネルにカメラを取り付けたりすることで、人の注意をカメラに向けさせる工夫をしている。これにより、帽子を深くかぶった人や俯き加減の人の顔を高い確率で撮影することができる。

しかし、このシステムでは、２、３回エレベーターに乗った人は、カメラの位置やこのシステムの主旨を容易に把握できるため、音や光がなくてもカメラに顔を向けるようになり、或いは撮影されたくない人はカメラから故意に顔を背けるようになる。つまり、このシステムを備えたエレベーターに乗る人は、何回か利用しているうちに音や光に慣れてしまい、システムが期待しているようにカメラに顔を向けなくなってしまう。

また、このシステムでは、エレベーター内の限られた狭い空間における人の挙動を考えれば良く、エレベーターに乗った人が目を向け易い場所（例えば、エレベーターに乗った人が必ず操作する行き先階ボタン）を特定し易いため、カメラを設置する場所を工夫すれば、容易に人の顔を正面から撮影することができるが、デパートやスーパーなどに入る歩行者の顔を撮影したい場合には、歩行者が目を向け易い場所を特定することは極めて難しく、歩行者が入店時に操作する端末等も無いため、このシステムを利用することはできない。
特開２００５−４７６８９号公報

この発明の目的は、人の顔を高い確率で検出できる顔検出システム、および顔検出方法を提供することにある。

上記目的を達成するため、本発明の顔検出システムは、人を撮影する撮影装置と、この撮影装置で撮影した画像からその人の顔を検出する顔検出装置と、上記撮影装置の方向に設置され、該撮影装置に顔を向けさせるように予め用意した注目度の高い画像を表示する表示装置と、有する。

また、本発明の顔検出方法は、人を撮影する撮影装置の方向に設置された表示装置を介して、予め用意した注目度の高い画像を表示して、人の顔を上記撮影装置に向けさせる表示工程と、この表示工程で表示している画像を見ている人を上記撮影装置で正面から撮影する撮影工程と、この撮影工程で撮影した画像からその人の顔を検出する顔検出工程と、を有する。

上記発明によると、人を撮影する撮影装置の方向に設置した表示装置を介して、予め用意した注目度の高い画像を表示するため、表示装置で表示した画像に注目して顔を向けた人を撮影装置で撮影でき、撮影した画像からその人の顔を高い確率で検出できる。

この発明の顔検出システム、および顔検出方法によると、人の顔を高い確率で検出できる。

以下、図面を参照しながらこの発明の実施の形態について詳細に説明する。
図１には、この発明の実施の形態に係る顔検出システム１（以下、単にシステム１と称する）の概略図を示してある。

システム１は、例えば、デパートやスーパーなどの店舗の入口２の近くに設置されたカメラ３（撮影装置）、顔照合端末４、およびディスプレイ５（表示装置）を含む。この他に、システム１は、ディスプレイ５で表示する画像を保持した顔照合サーバー６を含む。

カメラ３は、店舗入口２に向かって通路を歩く歩行者Ｐからは見えない位置に設置されている。また、ディスプレイ５は、店舗入口２に近付いた歩行者Ｐがカメラ３に顔を向ける方向に設置されている。言い換えると、ディスプレイ５は、ディスプレイ５を見た歩行者Ｐがカメラ３の方向を向く位置に設置されている。なお、ここでは、カメラ３とディスプレイ５を別々に設置した例を示してあるが、カメラ３を一体に備えたディスプレイ５を用いても良い。

それから、ディスプレイ５を介して、予め用意した歩行者Ｐの注目を集め易い画像（注目度の高い画像）（後に詳述する）を表示し、店舗入口２に向かって通路を歩く歩行者Ｐの顔がカメラ３の方向を向くようにする。そして、カメラ３で撮影した歩行者Ｐの正面の画像を顔照合端末４にて処理し、その歩行者の顔を検出する。さらに、必要に応じて、顔照合端末４にて、周知の顔照合技術を用いて、当該歩行者の顔画像を予めデータベースに記憶した顔画像と照合して、歩行者Ｐを特定する。

なお、言うまでも無く、顔の検出率や照合率を高めるためには、撮影対象となる歩行者Ｐの顔の正面がカメラ３を向いていることが重要となる。また、顔照合の際に、例えば、データベースに予め用意したブラックリストに当該顔画像を照会し、ブラックリストに登録されている人物を特定でき、この人物を監視することもできる。

一方、顔照合端末４における顔検出結果または顔照合結果は、その都度、顔照合サーバー６へ通知される。つまり、顔照合端末４で当該人物の顔を検出できたか否か、または当該人物の顔を照合できたか否かを顔照合端末４から顔照合サーバー６にリアルタイムで通知する。

顔照合サーバー６では、これら顔照合端末４から通知されたデータを、そのときディスプレイ５で表示している画像毎に、予め決められた時間間隔（例えば、１週間、１日、６時間毎など）で集計し、画像毎の顔検出率（または顔照合率）を算出する。そして、顔照合サーバー６は、この顔検出率（または顔照合率）の高い画像を優先的にディスプレイ５で表示させるため、顔検出率（または顔照合率）に応じて画像を並べ替え、顔検出率（または顔照合率）の高い画像データを優先的に顔照合端末４へ送信する。

つまり、本実施の形態のシステム１においては、店舗入口２の近くに設置したディスプレイ５を介して、常に、顔検出率（または顔照合率）の最も高い画像が表示されることになり、歩行者Ｐに対する注目度の高い画像が表示されることになる。

言い換えると、顔照合サーバー６で各画像の顔検出率（または顔照合率）を算出して顔検出率（または顔照合率）の高い画像を優先的に表示させることで、店舗入口２に向かって歩く歩行者Ｐがディスプレイ５に顔を向ける確率を高めることができ、入店する歩行者Ｐの顔検出率または顔照合率を高めることができる。

また、このシステム１では、歩行者Ｐがディスプレイ５を介して表示されている画像に飽きないように、常に新しい画像（歩行者が注目を集めるであろう画像）を用意して顔照合サーバー６に登録し、顔検出率（顔照合率）の低い画像と取り替えて更新するようにしている。なお、ディスプレイ５を介して表示する画像には、例えば、その日の天気予報や特売品の広告などが考えられるが、店舗入口２に向かう歩行者Ｐに対する注目度の高い画像であればいかなる画像であっても良い。

図２には、上記システム１のブロック図を示してある。ここで、図２を参照して、システム１の構成をより詳細に説明する。
カメラ３およびディスプレイ５を接続した顔照合端末４には、この他に、店舗入口２に向けて移動する歩行者Ｐを検知するための人感センサ７が接続されている。また、顔照合端末４は、当該店舗を利用する利用客、すなわち、当該システム１を利用する人物の顔画像、性別、年齢などの属性情報を会員情報として予め登録するためのキーボードやポインティングデバイスなどの入力装置１１、この入力装置１１を介して入力された会員の属性情報をデータベース１２に書き込む書き込み装置１３、カメラ３を介して撮影した人物の画像を処理して顔の領域を検出して顔の特徴を検出するとともに、周知の顔照合技術を用いて検出した顔画像をデータベース１２にある顔画像と照合する画像処理装置１４、および顔照合サーバー６との間で各種データを送受信するための通信装置１５を有する。データベース１２には、上述した属性情報の他に、当該店舗に対して好ましくない人物の属性情報を記憶したブラックリストが格納されている。なお、画像処理装置１４は、この発明の顔検出装置および顔照合装置として機能する。

顔照合サーバー６は、顔照合端末４との間で各種データを送受信するための通信装置２１、この通信装置２１を介して顔照合端末４から送信された顔検出や顔照合の結果をメモリ２２（記憶装置）にあるデータテーブル２３書き込むとともに、このデータテーブル２３に書き込んだ統計データに基づいてディスプレイ５で表示した各画像に対応する顔検出率や顔照合率を算出する制御部２４、および当該店舗を利用する利用客に対する注目度の高い画像を入力するための入力装置２５を有する。入力装置２５を介して入力された新たな画像に関する情報は、メモリ２２にあるデータテーブル２３に適宜追加され、顔検出率または顔照合率の低い古い画像が消去されてデータが更新される。制御部２４は、この発明の画像切換装置、並べ替え装置、画像更新装置として機能し、メモリ２２のデータテーブル２３の画像Ｎｏを顔検出率（または顔照合率）の高い順に並べ替えるとともに、並べ替えた画像Ｎｏの画像を顔検出率（または顔照合率）の高い順に優先的に顔照合端末へ配信するよう機能する。

なお、上記顔照合端末４の通信装置１５や顔照合サーバー６の通信装置２１は、インターネット３０に接続されており、他の店舗に設置したシステムの顔照合端末４や顔照合サーバー６と無線通信可能となっており、各種データを店舗間で送受信可能となっている。このため、例えば、ある特定の顔照合サーバー６を介して入力した新しい画像を各店舗の顔照合端末４へ配信することもできる。

次に、上記システム１を用いた顔検出方法について、図３および図４に示すフローチャートとともに、図５に示すデータテーブル２３の例を参照して説明する。図３には、顔照合端末４における処理動作を説明するためのフローチャートを示してあり、図４には、顔照合サーバー６における処理動作を説明するためのフローチャートを示してある。なお、ここでは、ディスプレイ５で表示する画像を切り換える周期を１５分とし、画像を切り換えるための統計データのサンプリング周期を１日に設定した場合を例にとって説明する。

サンプリング開始時、すなわち店舗の営業開始時には、システム１の顔照合サーバー６は、メモリ２２のデータテーブル２３（図５）にある各画像Ｎｏのカウンタ（人物検出、顔検出）をゼロにして初期化する（図４：ステップ１１）。そして、顔照合サーバー６は、メモリ２２に格納している複数の画像を順に通信装置２１を介して顔照合端末４へ送信する。このときの画像の送信間隔は、画像の切り換え周期（１５分）と一致する。

顔照合端末４では、通信装置１５を介して顔照合サーバー６から取得した画像（本実施の形態では動画とする）を、ディスプレイ５を介して表示する（図３：ステップ１）。つまり、表示する画像の切り換え周期も１５分になる。なお、この時点で、顔照合サーバー６のメモリ２２に予め用意されている複数の画像には明確な順位が付けられていないものとする。

ステップ１で顔照合端末４のディスプレイ５を介して表示する動画には、例えば、テレビの画像、その日の天気予報、商品の広告、その日の激安品や特売品、来店者に対するくじの当落などが考えられるが、動画に限らず、ディスプレイ５を介して表示する画像はいかなるものでも良い。しかし、表示する画像としては、来店者Ｐの注目を集め易い画像である必要がある。ここで言う注目を集め易い画像とは、後述する顔検出率や顔照合率に基づいて高い位置に順位付けされる画像であり、統計的に注目し易いことが分かっている画像であり、このような画像のことを特許請求の範囲では注目度の高い画像としている。

ステップ１でディスプレイ５を介して動画を表示している状態で、来店者（歩行者Ｐ）が店舗入口２に近付くと、人感センサ７を介して当該人物がセンシングされ（ステップ２；ＹＥＳ）、カメラ３を介して当該人物が撮影される（ステップ３）。

人物を撮影した画像は、画像処理装置１４で一旦記憶され、この画像から当該人物が“人”であることが検出される（ステップ４）。そして、ステップ４の検出結果が通信装置１５、２１を介して顔照合サーバー６へ通知される（ステップ５）。すなわち、ステップ５では、ステップ４の処理で当該人物が“人”として検出できたか否かが顔照合端末４から顔照合サーバー６へ通知される。

また、このとき、顔照合端末４において、ステップ４で“人”であることを検出した画像から当該人物の顔の領域が切り出されて当該人物の顔の特徴が検出され（ステップ６）、この検出結果が通信装置１５、２１を介して顔照合サーバー６へ通知される（ステップ７）。すなわち、ステップ７では、ステップ６の処理で当該人物の顔の特徴が検出できたか否かが顔照合端末４から顔照合サーバー６へ通知される。通知後、一旦記憶した当該人物の画像は消去される。

一方、ステップ５で顔照合端末４から通知された“人”の検出結果は、その都度、顔照合サーバー６で参照され（ステップ１２）、ステップ７で顔照合端末４から通知された“顔”の検出結果も、その都度、顔照合サーバー６で参照される（ステップ１３）。そして、このとき、顔照合サーバー６では、ステップ３でカメラ３を介して撮影した当該人物の“人”および／或いはその“顔”が検出できたか否かを判断する（ステップ１４、１５）。

つまり、顔照合サーバー６では、ステップ１２、１３で参照した当該人物に関する検出結果に基づいて、“人”および“顔”の両方が検出できていることを判断した場合（ステップ１４；ＹＥＳ）、そのときディスプレイ５を介して表示している画像の画像Ｎｏのカウンタを両方（人物検出および顔検出）とも１ずつ加算する（ステップ１６）。または、顔照合サーバー６は、このとき、“人”を検出することはできたが“顔”を検出できなかった場合（ステップ１５；ＹＥＳ）、“人”を検出できたことをカウントするカウンタだけ１加算する（ステップ１７）。

そして、顔検出サーバー６は、顔検出端末４から通知されるデータが無くなるまで（ステップ１８；ＹＥＳ）、すなわち店舗の営業が終了するまで、順次配信した各画像に対して、ステップ１２〜１７の処理を繰り返して統計をとる。

一方、顔検出端末４では、統計データを集計するサンプリング周期、すなわち一定評価期間（時間）（本実施の形態では１日）の間中、顔照合サーバー６から送信される複数の画像を一定期間（本実施の形態では１５分）ずつディスプレイ５を介して切り換え表示し（ステップ１）、ステップ２〜ステップ７の処理を繰り返す。

つまり、１つの画像を表示する１５分が経過した時点（ステップ８；ＹＥＳ）で、一定の評価期間が経過している場合、すなわち営業時間が終了した場合（ステップ９；ＹＥＳ）、処理を終了する。ステップ９で一定の評価期間が終了していないことを判断した場合（ステップ９；ＮＯ）には、ディスプレイ５で表示する画像を切り換えるべく、メモリ２２にある次の画像Ｎｏの画像が顔照合サーバー６から顔照合端末４へ送信され、ディスプレイ５を介して表示される（ステップ１０）。

さらに、顔照合サーバー６では、ステップ１８で処理すべきデータが無いことを判断したとき（ステップ１８；ＹＥＳ）、すなわち店舗の営業が終了した時点で、サンプリング周期が終了したことをもって、データテーブル２３でカウントした検出結果を集計し、各画像に対する顔検出率を算出する（ステップ１９）。このとき、顔照合サーバー６では、各画像を表示したときの“人”の検出回数に対する“顔”の検出回数の割合（％）を算出し、各画像の“注目度”を評価する。そして、この評価の高い順に各画像の画像Ｎｏを並べ替えて複数の画像に“注目度”に関する順位を付ける（ステップ２０）。

しかして、次の日、このように順位付けした画像を“注目度”の高い画像から優先的に顔照合サーバー６が顔照合端末４へ配信し、ディスプレイ５を介して“注目度”の高い画像を表示する。

以上のように、本実施の形態によると、上述したデータ収集および集計結果のフィードバックを続けるうちに、自動的に、その店舗の利用客にとって“注目度”の高い画像を常に表示させることができ、顔検出率を徐々に高めることができる。

しかし、毎日その店舗を利用している利用客は、同じ画像を毎日見ることで飽きてしまい、ディスプレイ５に顔を向ける確率が低くなることが考えられる。このため、上述したデータテーブル２３における画像の並べ替えによって“注目度”が低い位置に順位付けされた画像は、新しい画像に更新することが望ましい。

この場合、例えば、顔照合サーバー６の入力装置２５を介して新たな画像がシステム１に入力される。ここで言う新たな画像も、当然のことながら、その店舗の利用客にとって注目度が高いであろう画像が用意される。いずれにしても、新たに入力された画像に対しても、既存の他の画像と同様、顔検出率の統計をとって“注目度”が評価され、“注目度”の低い画像については短期間で更新されることになる。

なお、画像の更新のタイミングは、サンプリング周期であってもよくそれ以上であっても良く、任意のタイミングに設定できる。例えば、サンプリング周期として、上記した１日の他に、１週間や１月であっても良い。また、１サンプリング周期内で画像を切り換える周期も、上記した１５分に限らず任意に設定できる。

或いは、画像を新しいものに更新するタイミングとして、“注目度”の評価がある一定レベルを超えて下回ったときのタイミングに設定しても良い。この場合、“注目度”の低い画像からタイムリーに更新されることになり、常に、用意した画像の“注目度”を一定レベル以上に維持できる。

また、更新する画像は、インターネットを介して他の店舗の端末４やサーバー６に配信することも可能であり、店舗を展開している地域毎に画像を一括して更新するようにしても良い。

また、上述した実施の形態では、サンプリング周期の１日の中で特に時間帯やサンプリング場所などのファクターについては言及していないが、時間帯に応じて“注目度”の高い画像をいくつか用意して個別に切り換えるようにしても良く、或いは店舗の入口毎に“注目度”の統計をとって売り場にあった画像を用意しても良い。

或いは、利用客の年齢、性別、職業などの属性に応じて“注目度”の高い画像の統計をとって属性毎に“注目度”の高い画像を用意しても良い。この場合、例えば、「３０代の主婦は、夕方の５時〜６時の間、ある画像の“注目度”が高くなる」など、時間帯の条件も加えることができる。特に、購買力の高い層の属性についてピンポイントで“注目度”の高い画像を表示することで、売り上げを向上させる効果が期待できる。

このように、人の属性をキーにして表示する画像を用意するためには、システム１側で予めその店舗の利用客の属性を把握しておく必要がある。この場合、例えば、顔照合端末４の入力装置１１を介して予め利用客の“会員登録”をしておくことが考えられる。つまり、入力装置１１のカメラを介して利用客の顔画像を撮影してデータベース１２に登録しておき、年齢や性別などの他の属性要素も関連させておく。そして、当該利用客が来店した際に、上述したようにカメラ３で撮影した画像からその人物の顔画像を検出および照合し、この照合した顔画像をデータベース１２に照会して当該人物を特定する。

なお、この発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述した実施の形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、上述した実施の形態に示される全構成要素から幾つかの構成要素を削除しても良い。更に、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。

例えば、上述した実施の形態では、顔照合端末４にて歩行者Ｐの顔を検出して、その顔検出率に基づいて画像の“注目度”にランク付けする場合について説明したが、これに限らず、検出した画像から顔照合して顔照合率に基づいて画像の“注目度”をランク付けするようにしても良い。

この発明の実施の形態に係る顔照合システムを示す概略図。 図１のシステム構成をより詳細に説明するためのブロック図。 図１、２のシステムの顔照合端末における処理動作を説明するためのフローチャート。 図１、２のシステムの顔照合サーバーにおける処理動作を説明するためのフローチャート。 図１、２のシステムの顔照合サーバーのメモリにあるデータテーブルの一例を示す図。

符号の説明

１…顔照合システム、２…店舗入口、３…カメラ、４…顔検出端末、５…ディスプレイ、６…顔照合サーバー、７…人感センサ、１１…入力装置、１２…データベース、１３…書き込み装置、１４…画像処理装置、１５…通信装置、２１…通信装置、２２…メモリ、２３…データテーブル、２４…制御部、２５…入力装置、３０…インターネット。

Claims (6)

1. 人を撮影する撮影装置と、
   この撮影装置で撮影した画像からその人の顔を検出する顔検出装置と、
   上記撮影装置の方向に設置され、該撮影装置に顔を向けさせるように予め用意した注目度の高い画像を表示する表示装置と、
   を有することを特徴とする顔検出システム。
2. 上記注目度の高い複数種類の画像を予め用意して記憶した記憶装置と、
   この記憶装置から１つの画像を抽出して上記表示装置へ配信するとともに、適当なタイミングで別の画像に切り換えるべく次の画像を上記記憶装置から抽出して上記表示装置へ配信する画像切換装置と、
   をさらに有することを特徴とする請求項１に記載の顔検出システム。
3. 上記表示装置で各画像を表示したときの上記顔検出装置における顔の検出率に基づいて、上記記憶装置で記憶している複数の画像を上記検出率の高い順に並べ替える並べ替え装置をさらに有し、
   上記画像切換装置は、上記検出率の高い画像を優先的に上記記憶装置から抽出して上記表示装置へ配信することを特徴とする請求項２に記載の顔検出システム。
4. 上記注目度の高い新たな画像を取得して上記記憶装置で記憶している画像を更新する画像更新装置をさらに有することを特徴とする請求項２または請求項３に記載の顔検出システム。
5. 上記顔検出装置で検出できた顔画像を予めデータベースに記憶した顔画像と照合する顔照合装置をさらに有することを特徴とする請求項１に記載の顔検出システム。
6. 人を撮影する撮影装置の方向に設置された表示装置を介して、予め用意した注目度の高い画像を表示して、人の顔を上記撮影装置に向けさせる表示工程と、
   この表示工程で表示している画像を見ている人を上記撮影装置で正面から撮影する撮影工程と、
   この撮影工程で撮影した画像からその人の顔を検出する顔検出工程と、
   を有することを特徴とする顔検出方法。

Images