JP2010038835A - 人体検出装置、および方法、監視装置および方法、並びにプログラム - Google Patents

Abstract

【課題】顔画像の照合処理における処理負荷を低減させる。
【解決手段】輪郭検出部１７１は、画像よりエッジ画像を抽出し、エッジ画像バッファ１７２は、前記エッジ画像を順次記憶し、エッジ画像比較部１８２は、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出し、前記ずれが検出されたと判定された場合、人物滞在判定部１７３は、画像内の範囲に人体が滞在していることを検出する。本発明は、監視システムに適用することができる。
【選択図】図８

Description

本発明は、人体検出装置、および方法、監視装置および方法、並びにプログラムに関し、特に、人体が所定の範囲において滞在していることを検出できるようにした人体検出装置、および方法、監視装置および方法、並びにプログラムに関する。

遊技店は遊技人口の減少や機器入れ替えなどの環境により競合店との競争が激化する中、熾烈な遊技客獲得競争を繰り広げている。遊技場は固定遊技客を取り込むために、近隣の遊技店との差別化を図り、独自の経営戦略を展開している。

具体的には、来店した遊技客の動向を把握し、遊技客のニーズにあったサービスの提供をしようと、会員カードを発行し、来店時に専用の装置に挿入された会員カードを読み取ることにより、遊技機種や遊技時間などをデータベースとして蓄積し、データベースの解析により来店した遊技客の動向を把握し、遊技客のニーズを調査するというものである。

ところが、実際には、会員カードを持参しないまたは持参しても専用の装置に挿入しないなどの実態により、本来、調査し得る遊技客の動向を十分に把握できていないのが現状である。この問題を解決するために顔画像認識装置が提案されている。

近年、この顔画像認識装置は、性能が向上し、遊技客一人一人の特定が可能となっている。顔画像認識処理により遊技客を特定するためには、遊技客の顔を検出するためのカメラの設置位置が重要となる。

また、この顔画像認識装置では、遊技客一人一人の顔画像と遊技情報を合わせて管理することにより、どのような人がどのくらいの遊技をしているのかという情報を定量化することが求められている。

上記の顔画像認識装置において遊技客の動向を知る上では、遊技客の遊技台への滞在時間を把握する必要がある。

そこで、遊技中の遊技客顔画像を遊技台毎に取得して、顔画像認識処理することで顧客管理を行う発明が多数提案されている（特許文献１参照）。

特開２００１−１９０８０８号公報

しかしながら、遊技客の顔向きにより、遊技客の顔画像が取得できなかった場合には、遊技客の滞在を正確に検知できない。そのため遊技客の滞在を検知するには、着席スイッチや赤外線による人体検知センサなどの外部機構を追加する必要がある。そのため本来の顔認証装置の構成に比べて、複雑で高価な構成となってしまう。

本発明はこのような状況に鑑みてなされたものであり、人影を検出することにより、遊技客の滞在を検知することで、人物の入替りの発生を正確に認識できるようにするものである。

本発明の第１の側面の人体検出装置は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段とを含む。

前記エッジ画像の大きさに基づいて、前記エッジ画像の人物が所定距離内であるか否かを判定する人物形状判定手段をさらに含ませるようにすることができ、前記人体検出手段には、前記人物形状判定手段により、前記エッジ画像の人物が所定距離内であると判定され、かつ、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出させるようにすることができる。

本発明の第１の側面の人体検出方法は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の範囲に人体が滞在していることを検出する人体検出手段とを含む人体検出装置の人体検出方法は、前記エッジ画像抽出手段による、前記画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップとを含む。

本発明の第１の側面のプログラムは、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の範囲に人体が滞在していることを検出する人体検出手段とを含む人体検出装置を制御するコンピュータに、前記エッジ画像抽出手段による、前記画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップとを含む処理を実行させる。

本発明の第２の側面の監視装置は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とを含む。

本発明の第２の側面の監視方法は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とを含む監視装置の監視方法において、前記エッジ画像抽出手段による、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップと、前記顔画像抽出手段による、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出ステップと、前記出力手段による、前記人体検出ステップの処理により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出ステップの処理により抽出された前記照合対象者の顔画像を出力する出力ステップと、前記特徴量抽出手段による、前記出力ステップの処理により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出ステップと、前記照合手段による、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段による、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップとを含む。

本発明の第２の側面のプログラムは、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とを含む監視装置を制御するコンピュータに、前記エッジ画像抽出手段による、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップと、前記顔画像抽出手段による、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出ステップと、前記出力手段による、前記人体検出ステップの処理により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出ステップの処理により抽出された前記照合対象者の顔画像を出力する出力ステップと、前記特徴量抽出手段による、前記出力ステップの処理により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出ステップと、前記照合手段による、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、前記類似度判定手段による、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップとを含む処理を実行させる。

本発明の第１の側面においては、画像より人物の輪郭形状からなるエッジ画像が抽出され、前記エッジ画像が順次記憶され、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれが検出され、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることが検出される。

本発明の第２の側面において、画像より人物の輪郭形状からなるエッジ画像が抽出され、前記エッジ画像が順次記憶され、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれが検出され、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることが検出され、顔画像が蓄積者の顔画像として蓄積者データベースに蓄積され、前記画像より連続的に照合対象者の顔画像が抽出され、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、抽出された前記照合対象者の顔画像が出力され、出力された前記照合対象者の顔画像より特徴量が抽出され、前記照合対象者の顔画像と、蓄積された蓄積者の顔画像との類似度が計算されて、照合され、照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かが判定される。

本発明の第１の側面の人体検出装置における、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段とは、例えば、輪郭検出部であり、前記エッジ画像を順次記憶する記憶手段とは、例えば、エッジ画像バッファであり、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段とは、例えば、エッジ画像比較部であり、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段とは、例えば、人物滞在判定部である。

本発明の第２の側面の監視装置における、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段とは、例えば、輪郭検出部であり、前記エッジ画像を順次記憶する記憶手段とは、例えば、エッジ画像バッファであり、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段とは、例えば、エッジ画像比較部であり、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段とは、例えば、人物滞在判定部であり、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段とは、例えば、顔画像データベースであり、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、顔画像検出処理部であり、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段とは、例えば、出力部であり、前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段とは、例えば、特徴量抽出部であり、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段とは、類似度計算部であり、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とは、例えば、類似度判定部である。

すなわち、エッジ画像抽出部により撮像された画像より人物の輪郭形状からなるエッジ画像が検出されて、エッジ画像バッファに順次記憶され、エッジ画像比較部が、タイミングの異なる画像間におけるエッジ画像を比較することにより、ずれが生じていると判定された場合、そのエッジ画像として撮像されている領域において人物が滞在しているものと考えることができる。すなわち、人体は、完全に静止していることができないので、人物以外の物体の様に、同一の形態を保つことができず、絶えず揺れ動いている。このため、人物がエッジ画像で撮像されると、その境界となる範囲は、常に揺れ動くことになるため、タイミングの異なる画像間で比較すると、ずれが生じる。そこで、このずれの有無により、画像内において、人物が画像が含まれているか否かが判定される。

また、顔画像認証を実行する場合、撮像範囲内に人物が滞在し続けると、同一の人物の顔画像について、繰り返し顔画像認識処理がなされてしまう。そこで、人物が検出されていない状態から、検出される状態に切り替わったタイミング、すなわち、これまでに着座していた顔画像の人物とは異なると思われる人物が、撮像範囲内に入ってきた物とみなされるタイミングに検出された顔画像のみを顔画像認識処理に利用するようにすることで、同一の顔画像について繰り返し顔画像認識処理を実行することがなくなるので処理負荷を低減させることが可能となる。

結果として、撮像範囲内における人物の滞在状態を認識することができるので、顔画像認識処理の処理負荷を低減させつつ、必要な顔画像認識処理を確実に実行させることが可能となる。

本発明によれば、撮像範囲内における人物の滞在状態を認識することが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

すなわち、本発明の第１の側面の人体検出装置（例えば、図８の画像処理ユニット３９）は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段（例えば、図８の輪郭検出部１７１）と、前記エッジ画像を順次記憶する記憶手段（例えば、図８のエッジ画像バッファ１７２）と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段（例えば、図８のエッジ画像比較部１８２）と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段（例えば、図８の人物滞在判定部１７３）とを含む。

前記エッジ画像の大きさに基づいて、前記エッジ画像の人物が所定距離内であるか否かを判定する人物形状判定手段（例えば、図８の人物形状判定部１８１）をさらに含ませるようにすることができ、前記人体検出手段には、前記人物形状判定手段により、前記エッジ画像の人物が所定距離内であると判定され、かつ、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出させるようにすることができる。

本発明の第１の側面の人体検出方法およびプログラムは、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の範囲に人体が滞在していることを検出する人体検出手段とを含む人体検出装置の人体検出方法は、前記エッジ画像抽出手段による、前記画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップ（例えば、図１２のステップＳ５１）と、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップ（例えば、図１２のステップＳ５２）と、前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップ（例えば、図１２のステップＳ５４）と、前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップ（例えば、図１２のステップＳ５５）とを含む。

本発明の第２の側面の監視装置（例えば、図１の遊技店１）は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段（例えば、図８の輪郭検出部１７１）と、前記エッジ画像を順次記憶する記憶手段（例えば、図８のエッジ画像バッファ１７２）と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段（例えば、図８のエッジ画像比較部１８２）と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段（例えば、図８の人物滞在判定部１７３）と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段（例えば、図９の顔画像DB２２）と、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段（例えば、図８の顔画像検出処理部１６２）と、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段（例えば、図８の出力部１６３）と、前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段（例えば、図９の特徴量抽出部２３１）と、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段（例えば、図９の類似度計算部２３２）と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段（例えば、図９の類似度判定部２３３）とを含む。

本発明の第２の側面の監視方法は、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、前記エッジ画像を順次記憶する記憶手段と、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段とを含む監視装置の監視方法において、前記エッジ画像抽出手段による、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップ（例えば、図１２のステップＳ５１）と、前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップ（例えば、図１２のステップＳ５２）と、前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップ（例えば、図１２のステップＳ５４）と、前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップ（例えば、図１２のステップＳ５５）と、前記顔画像抽出手段による、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出ステップ（例えば、図１１のステップＳ２）と、前記出力手段による、前記人体検出ステップの処理により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出ステップの処理により抽出された前記照合対象者の顔画像を出力する出力ステップ（例えば、図１１のステップＳ１０）と、前記特徴量抽出手段による、前記出力ステップの処理により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出ステップ（例えば、図１１のステップＳ２４）と、前記照合手段による、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップ（例えば、図１４のステップＳ１０３）と、前記類似度判定手段による、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップ（例えば、図１１のステップＳ２６）とを含む。

図１は、本発明に係る遊技店の監視システムの一実施の形態の構成を示す図である。

遊技店１−１乃至１−ｎは、いわゆるパチンコ店、パチスロ店、または、カジノ店である。また、これらの遊技店１−１乃至１−ｎは、系列店舗または顔画像管理センタや第３者遊技店管理センタの加盟店であって、複数の店舗を統括的に管理する必要のある店舗である。各遊技店１−１乃至１−ｎは、顔画像管理バス６および第３者遊技店管理バス７により接続されており、それらのバスおよびインターネット等に代表される公衆通信回線網８，９を介して、相互にそれぞれ顔画像情報、および第３者遊技店管理情報を授受している。尚、以降において、遊技店１−１乃至１−ｎのそれぞれについて、特に区別する必要がない場合、単に、遊技店１と称するものとし、その他の構成についても同様に称するものとする。

顔画像管理バス６は、主に各遊技店１の顔画像認識装置２１により管理される顔画像情報を流通させるための伝送路として機能する。また、第３者遊技店管理バス７は、主に各遊技店１の媒体貸出管理装置２７により管理される媒体貸出管理情報を流通させるための伝送路として機能する。

顔画像管理センタ２は、顔画像管理センタを管理運営する事業者により使用されるサーバであり、顔画像管理データベース（以降、DBとも称するものとする）３で管理されている登録遊技者DBを各遊技店１により生成される未登録遊技者DBに基づいて更新すると供に、更新した最新の登録遊技者DBを各遊技店１の顔画像認識装置２１に対して配信する。

第３者遊技店管理センタ４は、第３者遊技店管理センタを管理運営する事業者により使用されるサーバであり、第３者遊技店管理データベース（DB）５で管理されている媒体貸出管理情報からなるDBを各遊技店１より供給されてくる情報に基づいて更新すると供に、更新した最新の媒体貸出管理情報を各遊技店１の媒体貸出管理装置２７に対して配信する。

顔画像認識装置２１は、カメラ３８−１乃至３８−ｍにより撮像された画像より画像処理ユニット３９−１乃至３９−ｍにより抽出されて、顔画像情報バス３１を介して供給されてくる顔画像の情報に基づいて、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致する場合、登録遊技者の来店を携帯端末２０に通知したり、有機EL（Electronic Luminescence）またはLCD（Liquid Crystal Display）などからなる表示部２３に表示する。また、顔画像情報データベース２２に予め登録されている顔画像と照合し、一致しない場合、顔画像認識装置２１は、顔画像管理データベース３にアクセスし、未登録者として未登録遊技者DBに登録する。

遊技店管理装置２４は、いわゆるホールコンピュータと呼ばれるものであり、遊技店管理情報バス３０を介して遊技台３６−１乃至３６−ｍの動作を監視している。遊技店管理装置２４は、遊技台３６の出玉もしくはメダルの払い出しの情報、各遊技台３６−１乃至３６−ｍの遊技者の呼び出し情報、またはエラーの発生などの監視状況に応じて、所定の処理を実行し、実行結果を有機ELやLCDなどからなる表示部２５に表示する。遊技店管理装置２４は、計数機３５、遊技台３６−１乃至３６−ｍ、および遊技台周辺端末３７−１乃至３７−ｍのそれぞれより供給されてくる情報を、それぞれを識別する識別情報（例えば、遊技台番号）とを対応付けて遊技台管理データベース２６により管理する。

媒体貸出管理装置２７は、精算販売機３３、および貸出機３４からの情報に基づいて、貸し出される遊技媒体の媒体貸出管理情報を媒体貸出管理データベース２９を用いて管理すると供に、媒体貸出管理データベース２９に登録されている媒体貸出管理情報を更新する際、その更新情報を、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４に送る。さらに、媒体貸出管理装置２７は、第３者遊技店管理バス７および公衆通信回線網９を介して第３者遊技店管理センタ４により供給されてくる媒体貸出管理情報を取得し、媒体貸出管理データベース２９に蓄積させる。

貸出機３４は、遊技者が遊技台３６で遊技する際、現金やプリペイドカードなどにより所定の金額を受け付けると、金額に応じた個数の遊技媒体を貸し出す。この際、貸出機３４は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理装置２７に供給する。これにより、媒体貸出管理装置２７は、受け付けた現金やプリペイドカードの残数などの情報と供に、貸し出した遊技媒体の個数の情報を媒体貸出管理情報データベース２９に登録する。

精算販売機３３は、貸球を借りるための度数をつけてプリペイドカードを販売する。このとき、精算販売機３３は、販売したプリペイドカードの度数と払いうけた金額とを媒体貸出管理装置２７に供給する。また、精算販売機３３は、プリペイドカードなどの度数として貸し出した遊技媒体の残数に基づいて現金を精算して払い出す。このとき、精算販売機３３は、プリペイドカードの残数と払い戻した現金の金額を媒体貸出管理装置２７に供給する。

計数機３５は、遊技者が遊技台３６により遊技することにより獲得した遊技媒体の数を、計数し、計数結果を磁気カードやレシートなどとして出力する。

遊技台３６−１乃至３６−ｍは、遊技者により所定の操作がなされることにより、遊技を実行し、いわゆる小当たりや大当たりに応じて、遊技球、または、メダルを払い出す。

遊技台周辺端末３７−１乃至３７−ｍは、各遊技台３６−１乃至３６−ｍに対応して設けられている、いわゆる台間機であり、台間球貸機（原理的には、貸出機３４と同様のもの）などが設けられている。また、遊技台周辺端末３７は、遊技台３６を遊技する遊技者の顔画像などの顔画像情報を取得し、遊技台識別情報（遊技台番号）と共に顔画像認識装置２１に送信する。尚、図１においては、顔画像情報を取得する機能として、遊技者の顔画像を取得するカメラ３８−１乃至３８−ｍが設けられている例が示されている。

カメラ３８−１乃至３８−ｍは、例えば、図２で示されるように、各遊技台３６−１乃至３６−４のそれぞれの上部に設けられた台表示ランプ６１−１乃至６１−４の下部に図３で示されるように、読取範囲δ内に遊技者が撮像できるように設け、顔画像を撮像するようにしてもよく、このようにすることにより、各カメラIDは、同時に遊技台IDとして使用することが可能となる。

また、カメラ３８−１乃至３８−ｍは、例えば、図４で示されるように、遊技台周辺端末３７−１乃至３７−４に凸部７１−１乃至７１−４を設け、図５で示されるように読取範囲θ内に遊技者の顔画像が撮像できるように設けるようにしてもよい。

さらに、カメラ３８−１乃至３８−ｍは、例えば、図６で示されるように、遊技台３６の中央部（遊技台３６の盤面上）に設けるようにして、撮像するようにしてもよい。すなわち、図６の設置部８１にカメラ３８が設置されることにより、図７で示されるように、読取範囲φ内に遊技者を撮像する。

次に、図８を参照して、画像処理ユニット３９の構成例について説明する。

画像処理ユニット３９は、画像取得部１６１、顔画像検出処理部１６２、出力部１６３、および人影検出部１６４から構成されており、カメラ３８より供給されてきた画像より顔画像を抽出して、必要に応じて顔画像認識装置２１に供給する。

画像取得部１６１は、カメラ３８より供給されてくる画像を取得すると共に、顔画像検出処理部１６２、および人影検出部１６４に供給する。

顔画像検出処理部１６２は、画像より色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから矩形状の顔画像を検出し、出力部１６３に供給する。

出力部１６３は、入替判定部１６３ａ、および滞在時間計測部１６３ｂを備えており、入替判定部１６３ａを制御し、人影検出部１６４より供給されてくる画像内に人物が滞在するか否かの検出結果に基づいて、人物が滞在していない状態から、人物が滞在する状態になったか否か、すなわち、人物の入替えが発生したか否かを判定させ、人物の入替えが発生したと判定されるタイミングにのみ、顔画像検出処理部１６２より供給されてくる顔画像を、自らに画像を供給するカメラ３８を識別するカメラIDと共に顔画像認識処理部２１に供給する。また、出力部１６３は、滞在時間計測部１６３ｂを制御して、入替えが発生してからの人物が画像内の所定範囲に滞在する滞在時間を計測し、人物が滞在する状態から人物が不在の状態に変更した場合、計測時間の計測を終了し、顔画像認識装置２１に計測した滞在時間の情報をカメラIDと共に供給する。

人影検出部１６４は、輪郭検出部１７１、エッジ画像バッファ１７２、および人物滞在判定部１７３より構成されており、画像取得部１６１より供給されてくる画像に基づいて、人物が画像内の空間に滞在するか否かを検出し、人物が滞在するか否かの検出結果を出力部１６３に供給する。

より詳細には、輪郭検出部１７１は、例えば、ラプラシアンフィルタなどから構成されており、画像取得部１６１より供給されてきた画像よりエッジ画像を生成し、さらに、例えば、パターンマッチングなどにより人物の輪郭形状からなるエッジ画像を抽出して、エッジ画像バッファ１７２、および人物滞在判定部１７３に供給する。

エッジ画像バッファ１７２は、供給されてきた人物の輪郭形状からなるエッジ画像を１画像分記憶し、次の画像が供給されてくるとき、人物滞在判定部１７３に供給する。すなわち、エッジ画像バッファ１７２は、人物滞在判定部１７３に対して１フレーム分前の人物の輪郭形状からなるエッジ画像を遅延させて人物滞在判定部１７３に供給する。

人物滞在判定部１７３は、人物形状判定部１８１、およびエッジ画像比較部１８２を備えており、人物形状判定部１８１を制御して、供給されてきた最新のエッジ画像の輪郭形状からなるエッジ画像について、その大きさが所定の大きさであるか否かを判定させる。すなわち、カメラ３８により撮像される画像は、所定の範囲の画像であるので、人物が撮像されると、光学系の倍率などが把握できていれば、画像内における大きさにより、カメラ３８と人物までの距離を推定することができる。そこで、人物形状判定部１８１は、エッジ画像における人物の輪郭形状の大きさが所定の大きさよりも大きく、画像内において撮像したい距離範囲内に存在する人物の輪郭形状であるか否かを判定する。また、人物滞在判定部１７３は、エッジ画像比較部１８２を制御して、エッジ画像バッファ１７２より供給されてくる、直前の画像におけるエッジ画像と、最新画像におけるエッジ画像とを比較させ、同一であるか否かを判定させる。すなわち、人物は、遊技台や椅子などの物体と異なり、完全静止することができず、ある程度フラ付くため、その輪郭形状からなるエッジ画像においても、同一の位置に同一形状を保つことができない。そこで、人物滞在判定部１７３は、人物形状判定部１８１、およびエッジ画像比較部１８２のそれぞれの判定結果に基づいて、人物の輪郭形状からなるエッジ画像が所定の大きさよりも大きく、かつ、直前のエッジ画像と最新のエッジ画像とが同一ではない場合、所望とする範囲において人物が滞在しているものと判定し、それ以外の場合人物が滞在していないものとみなし、その判定結果を出力部１６３に供給する。

次に、図９を参照して、顔画像認識装置２１の構成例について説明する。

顔画像取得部２２１は、画像処理ユニット３９より供給される顔画像を取得し、照合部２２２に供給する。照合部２２２は、顔画像取得部２２１により取得された顔画像と、顔画像DB２２に予め登録されている登録遊技者の顔画像とを照合し、類似度の高い候補となる顔画像があれば、第３候補までの顔画像を照合結果として表示部２３に表示させる。また、照合部２２２は、類似度の高い候補となる顔画像が存在しない場合、供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。

より詳細には、照合部２２２の特徴量抽出部２３１は、顔画像を識別するための特徴量を抽出して、顔画像と共に類似度計算部２３２に供給する。類似度計算部２３２は、顔画像DB２２に登録されている登録遊技者の顔画像の特徴量を抽出すると供に、特徴量抽出部２３１より供給されてくる特徴量とを用いて、顔画像DB２２に登録されている全ての登録遊技者の顔画像との類似度を求め、顔画像取得部２２１より供給されてきた顔画像、および、類似度が上位３位までの顔画像を類似度判定部２３３に供給する。より具体的には、類似度計算部２３２は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量に基づいて、それぞれの差分和、平均比率、または比率和などを類似度として求める。

類似度判定部２３３は、類似度計算部２３２より供給されてくる類似度を順次バッファ２３３ａに蓄積し、上位３位となる顔画像のそれぞれの類似度のうち、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似している場合（類似度が高い程類似していることを示す類似度の場合、所定の閾値よりも高いとき、また、類似度が低い程類似していることを示す類似度の場合、所定の閾値よりも低いとき）、上位３位となる顔画像と類似度の情報を表示部２３に供給して、表示させると供に、通信部２２４に供給する。また、類似度判定部２３３は、１位となる顔画像との類似度と、所定の閾値とを比較し、比較結果に基づいて、１位となる登録顔画像が、顔画像取得部２２１より供給されてきた顔画像に対して類似していない場合、顔画像取得部２２１より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。

未登録遊技者データベース登録部２２３は、照合部２２２より未登録であるとみなされて供給されてきた、顔画像を顔画像管理データベース３の未登録遊技者DBに登録する。

操作部２２５は、ボタン、マウス、または、キーボードなどから構成され、上述した類似度が上位３位となる、表示部２３に表示された顔画像のいずれかが選択されるとき操作され、操作結果を通信部２２４に供給する。通信部２２４は、モデムなどから構成され、操作部２２５からの操作信号に基づいて、選択された顔画像を携帯端末２０に配信する。

尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、類似度判定部２３３は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、０乃至１の範囲で所定の値以上であって、１に近い値であれば、同一の人物であるとみなすことができる。

データベース管理部２２６は、顔画像管理センタ２より新たな登録遊技者データベースが配信されてくると、新たな登録遊技者データベースに基づいて、顔画像DB２２を更新する。

滞在時間登録部２２７は、画像処理ユニット３９より滞在時間の情報がカメラIDと共に送信されてくると、直近で顔画像認識された顔画像に対応付けて滞在時刻の情報を顔画像DB２２に登録する。

次に、図１０を参照して、携帯端末２０の構成例について説明する。

通信部２７１は、モデムなどで構成されており、遊技店１内の無線通信網を介して顔画像認識装置２１との間でデータを授受する。また、通信部２７１は、顔画像認識装置２１より配信されてくる、画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報を取得し、画像処理部２７２に供給する。

画像処理部２７２は、通信部２７１より供給されてくる画像処理ユニット３９より供給された顔画像と類似する顔画像の遊技者が来店したことを示す情報に基づいて、LCDなどにより構成される表示部２７３に表示する画像を生成すると供に、表示部２７３に表示させる。

次に、図１１のフローチャートを参照して、登録遊技者来店監視処理について説明する。

ステップＳ１において、カメラ３８は、設置されている位置から所定の範囲の画像を撮像し、画像処理ユニット３９に供給する。画像取得部１６１は、カメラ３８より供給されてきた画像を顔画像検出処理部１６２、および人影検出部１６４に供給する。

ステップＳ２において、顔画像検出処理部１６２は、供給された画像より遊技者の顔画像を抽出し、出力部１６３に供給する。より具体的には、顔画像検出処理部１６２は、例えば、図１３の最上部の画像で示されるように、撮像された画像Ｐ１のうち、色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから矩形状の一点鎖線で示される顔画像Ｆを抽出して、出力部１６３に供給する。

ステップＳ３において、出力部１６３は、顔画像検出処理部１６２より顔画像が供給されてきたか否かに基づいて、顔画像が抽出できたか否かを判定する。ステップＳ３において、顔画像が供給されることがない場合、顔画像が抽出されていないとみなし、処理は、ステップＳ１に戻る。すなわち、顔画像が検出されるまで、ステップＳ１乃至Ｓ３の処理が繰り返されることになる。

一方、ステップＳ３において、顔画像が抽出されたと判定された場合、ステップＳ４において、出力部１６３は、顔画像検出処理部１６２より供給されてきた顔画像を取得し、保持する。

ステップＳ５において、出力部１６３、および人影検出部１６４により入替り判定処理が実行され、供給されてくる顔画像に基づいて、カメラ３８の撮像範囲に存在する人物に入替りが発生したか否かが判定される。

ここで、図１２のフローチャートを参照して、入替り判定処理について説明する。

ステップＳ５１において、輪郭検出部１７１は、画像取得部１６１より供給されてきた画像に、例えば、ラプラシアンフィルタなどにより処理を施し、エッジ画像を生成すると共に、人物の輪郭形状からなるエッジ画像を人物画像として抽出し、エッジ画像バッファ１７２、および人物滞在判定部１７３に供給する。すなわち、例えば、図１３の上から２段目の画像Ｐ２で示されるように、顔画像Ｆが存在するような場合、人体の輪郭形状は、かまぼこ型の形状と、その曲面部分の頂上近傍の顔画像Ｆ１内の丸状の顔画像の範囲とからなる実線で示された形状に映し出されるので、輪郭検出部１７１は、このような輪郭形状Ｈからなる像を、例えば、パターンマッチングなどにより検出し、人物の輪郭形状からなるエッジ画像とみなして抽出する。

ステップＳ５２において、エッジ画像バッファ１７２は、輪郭検出部１７１より供給されてきた人物の輪郭形状からなるエッジ画像を記憶すると共に、直前に記憶していた人物の輪郭形状からなるエッジ画像を人物滞在判定部１７３に供給する。

ステップＳ５３において、人物滞在判定部１７３は、人物形状判定部１８１を制御して、輪郭検出部１７１より供給されてきた最新の人物の輪郭形状からなるエッジ画像の大きさが所定の大きさよりも大きいか否かを判定させる。ステップＳ５３において、例えば、輪郭検出部１７１より供給されてきた最新の人物の輪郭形状からなるエッジ画像の大きさが所定の大きさよりも大きい場合、すなわち、人物の輪郭形状からなるエッジ画像が、カメラ３８から所定の距離範囲内に存在すると判定された場合、処理は、ステップＳ５４に進む。

ステップＳ５４において、人物滞在判定部１７３は、エッジ画像比較部１８２を制御して、輪郭検出部１７１より供給されてきた最新の人物の輪郭形状からなるエッジ画像と、エッジ画像バッファ１７２より供給されてきたエッジ画像とを比較し、ずれが生じているか否か、すなわち、直前のエッジ画像との比較により、人物の輪郭形状からなるエッジ画像が、フラつくなどして、人物のものであると特定できるか否かを判定させる。ステップＳ５４において、ずれが生じており、エッジ画像が、人物のものであると判定された場合、処理は、ステップＳ５５に進む。

ステップＳ５５において、人物滞在判定部１７３は、人物形状判定部１８１の判定結果と、エッジ画像比較部１８２の判定結果とに基づいて、遊技客が滞在していると判定し、その判定結果を出力部１６３に供給する。この処理に応じて、出力部１６３は、この遊技客が滞在していることを示す判定結果を入替判定部１６３ａに記憶させる。

一方、ステップＳ５３において、例えば、輪郭検出部１７１より供給されてきた最新の人物の輪郭形状からなるエッジ画像の大きさが所定の大きさよりも大きくない場合、または、ステップＳ５４において、ずれが生じておらず、エッジ画像に人物としての動きがなく、人物のエッジ画像ではないと判定された場合、処理は、ステップＳ５６に進む。

ステップＳ５６において、人物滞在判定部１７３は、人物形状判定部１８１の判定結果と、エッジ画像比較部１８２の判定結果とに基づいて、遊技客が滞在していないと判定し、その判定結果を出力部１６３に供給する。この処理に応じて、出力部１６３は、この遊技客が滞在していない（不在である）ことを示す判定結果を入替判定部１６３ａに記憶させる。

ステップＳ５７において、出力部１６３は、入替判定部１６３ａを制御して、人影検出部１６４から供給されてくる判定結果が、不在の状態から滞在の状態に変化したか否かを判定させる。より詳細には、出力部１６３は、入替判定部１６３ａを制御して、直前まで記憶していた判定結果が、遊技客が不在の判定結果であり、人影検出部１６４の人物滞在判定部１７３より供給されてきた判定結果が滞在していることを示す判定結果であるか否かを判定させる。

ステップＳ５７において、例えば、不在の状態から滞在の状態に変化したと判定された場合、ステップＳ５８において、入替判定部１６３ａは、入替りが発生したことを示す判定結果を出力する。

ステップＳ５９において、出力部１６３は、滞在時間計測部１６３ｂを制御して、検出されたエッジ画像の人物の滞在時間の計測を開始させる。

一方、ステップＳ５７において、例えば、不在の状態から滞在の状態に変化していないと判定された場合、入替判定部１６３ａは、入替りが発生していないものとみなし、ステップＳ６０において、滞在時間計測部１６３ｂは、判定結果が滞在の状態から不在の状態に変化したか否かを判定する。例えば、ステップＳ６０において、滞在の状態から不在の状態に変化した場合、ステップＳ６１において、滞在時間計測部１６３ｂは、滞在時間の計測を終了する。

さらに、ステップＳ６０において、滞在の状態から不在の状態に変化していない場合、ステップＳ６１の処理がスキップされる。

このような処理により、画像より抽出された人物の輪郭形状からなるエッジ画像が、所定の大きさよりも大きく、かつ、直前のエッジ画像との比較によりフラ付きが発生している場合に、カメラ３８により撮像される画像内の所望とする範囲に人物が滞在しているものとみなされ、さらに、不在状態から滞在状態に変化したとき、人物が新たに遊技台３６の前に着座し、遊技を開始したものと判定することが可能となる。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ６において、出力部１６３は、入替判定部１６３ａの判定内容に応じて、入替りが発生したか否かを判定する。

ステップＳ６において、例えば、ステップＳ５７の処理により、入替りが発生していないと判定された場合、ステップＳ７において、出力部１６３は、滞在時間計測部１６３ｂにより滞在時間の計測が終了したか否かを判定する。ステップＳ７において、例えば、ステップＳ６１の処理により、滞在時間の計測が終了した場合、ステップＳ８において、出力部１６３は、滞在時間計測部１６３ｂにより計測された滞在時間の情報をカメラIDと共に顔画像認識装置２１に送信する。

ステップＳ９において、出力部１６３は、カメラ３８により撮像される顔画像の人物に変化がないか、または、人物が滞在していないため、顔画像認識処理が新たに必要ではないものとみなし、顔画像検出処理部１６２より供給されてきた顔画像を破棄し、顔画像認識装置２１に供給せず、処理は、ステップＳ１に戻る。

一方、ステップＳ６において、例えば、ステップＳ５７の処理により、入替りが発生したと判定された場合、ステップＳ１０において、出力部１６３は、顔画像検出処理部１６２より供給されてきた顔画像を、顔画像認識装置２１に供給する。すなわち、入替りが発生したということは、これまでに、同一の人物の顔画像が顔画像認証処理されていないことになるので、新たな顔画像として顔画像認識装置２１に供給する。尚、最初の顔画像については、無条件に顔画像認識装置２１に供給するものとする。

すなわち、図１３の最上段の画像Ｐ１で示されるように、顔画像Ｆが検出され、かつ、図１３の上から２段目の画像Ｐ２で示されるように、人物の輪郭形状からなるエッジ画像Ｈが所定の大きさよりも大きく、かつ、直前のエッジ画像Ｈと比較してずれが生じている（フラついている）場合、所望とする位置に遊技客（ここでは、遊技台３６の前に着座している遊技客）が滞在しているものとみなし、さらに、不在の状態から滞在状態となったとき、遊技客が新たに遊技台３６の前に着座したものとみなして、顔画像Ｆが顔画像認識装置２１に供給されるようにすることが可能となる。

また、図１３の上から３段目の画像Ｐ３で示されるように、画像Ｆ’で示されるように人物が後ろを向いていて、顔画像が検出されない状態であるか、または、図１３の上から４段目の画像Ｐ４で示されるように、そもそも人物が存在せず、画像Ｆ’で示されるように顔画像も検出できず、さらに、画像Ｈ’で示されるように、人物の輪郭形状からなるエッジ画像も検出されない場合、遊技客が遊技台３６の前に着座していないものとみなして（着座していても後ろを向いているような場合も遊技客が不在のままであるものとみなして）、顔画像が顔画像認識装置２１に供給されないようにすることが可能となる。

結果として、顔画像が新たに入替ったと判定されたときにのみ、画像処理ユニット３９からは顔画像が、顔画像認識装置２１に供給されることになる。このため、顔画像認識装置２１に対しては、後述する顔画像を用いた認証処理の処理回数を低減させることが可能となる。

ステップＳ２１において、顔画像認識装置２１の滞在時間登録部２２７は、滞在時間の情報が送信されてきたか否かを判定する。ステップＳ２１において、例えば、滞在時間の情報が送信されてきていない場合、処理は、ステップＳ２２に進む。

ステップＳ２２において、顔画像認識装置２１の顔画像取得部２２１は、ステップＳ１０の処理により供給されてきた顔画像を取得する。ステップＳ２３において、顔画像取得部２２１は、供給された顔画像のうち、いずれか未処理の１つを抽出し、特徴量抽出部２３１に供給する。

ステップＳ２４において、照合部２２２の特徴量抽出部２３１は、供給されてきた顔画像より特徴量を抽出して、顔画像と供に類似度計算部２３２に供給する。

ステップＳ２５において、類似度計算部２３２は、類似度計算処理を実行する。

ここで、図１４のフローチャートを参照して、類似度計算処理について説明する。

ステップＳ１０１において、類似度計算部２３２は、顔画像DB２２の登録遊技者DBに登録されている顔画像のうち、未処理の１つの登録遊技者の顔画像を抽出し、処理対象に設定する。

ステップＳ１０２において、類似度計算部２３２は、処理対象として設定した登録遊技者DBに登録されている顔画像より、前記特徴量抽出部２３１より供給されてきた特徴量と同様の特徴量を抽出する。

ステップＳ１０３において、類似度計算部２３２は、特徴量抽出部２３１より供給された顔画像についての、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量と、顔画像DB２２に登録されている登録遊技者DBに登録されている顔画像における同様の特徴量とを用いて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、ステップＳ１０４において、計算結果である登録遊技者DBに登録されている顔画像との類似度を類似度判定部２３３に供給し、バッファ２３３ａに登録させる。

ステップＳ１０５において、類似度計算部２３２は、顔画像DB２２の登録遊技者DBに未処理の登録遊技者の顔画像が存在するか否かを判定し、未処理の登録遊技者の顔画像が存在する場合、処理は、ステップＳ１０１に戻る。すなわち、登録遊技者DBの全ての登録遊技者の顔画像との類似度が計算されるまで、ステップＳ１０１乃至Ｓ１０５の処理が繰り返される。そして、ステップＳ１０５において、登録遊技者DBに未処理の登録遊技者の顔画像が存在しないと判定された場合、類似度計算処理は終了する。

ここで、図１１のフローチャートの説明に戻る。

ステップＳ２６において、類似度判定部２３３は、バッファ２３３ａに登録されている類似度の計算結果に基づいて順位を求め、登録遊技者DBに登録されている顔画像のうちの上位３位までの顔画像と類似度の情報を抽出する。そして、類似度判定部２３３は、上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きいか否かを判定する。すなわち、類似度判定部２３３は、最も類似している登録遊技者（顔画像DB２２に登録されている顔画像のうち、顔画像取得部２２１により取得された顔画像と最も類似している登録遊技者：ここでは、類似度の最も高い登録遊技者）の類似度を所定の閾値と比較する。

尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。

ステップＳ２６において、最上位の類似度が所定の閾値よりも大きいと判定された場合、ステップＳ２７において、類似度判定部２３３は、類似度計算部２３２より供給されてきた上位３位の顔画像が登録遊技者の顔画像の候補であることを示す報知画面３０１を表示部２３を制御して表示させる。

このとき、例えば、図１５で示されるような報知画面３０１が、表示部２３に表示される。

図１５の報知画面３０１においては、カメラ画像表示欄３１１が、左中段に設けられており、画像処理ユニット３９より供給されてきた顔画像が表示される。また、その右側には、類似度の高い順に第１候補乃至第３候補までの類似度の上位３位の登録遊技者の顔画像表示欄３１２−１乃至３１２−３が設けられている。さらに、各登録遊技者の顔画像表示欄３１２−１乃至３１２−３の下には、類似度レベル表示欄３１３−１乃至３１３−３が設けられており、類似度のレベルが表示されている。図１５において、黒で示される領域の横方向の長さが類似度の大きさを示している。

また、類似度レベル表示欄３１３−１乃至３１３−３の下には、対応する位置に、ID表示欄３１４−１乃至３１４−３が設けられており、各顔画像の顔画像DB２２における顔画像を識別するIDが表示されており、図１５において、左から「０００５１」、「０００１８」および「０００２２」と表示されている。

さらに、ID表示欄３１４−１乃至３１４−３の下には、それぞれ対応する位置に、それぞれの候補を選択されるときに操作部２２５により操作される確定ボタン３１８−１乃至３１８−３が設けられている。

また、カメラ画像表示欄３１１の下には、その顔画像を撮像したカメラを識別するカメラID表示欄３１５が設けられており、図１５においては、カメラ３８を識別するためのカメラIDとして「カメラ０２」が表示されている。さらに、カメラID表示欄３１５の下には、時刻表示欄３１６が設けられており、カメラ３８により撮像された時刻が表示されており、図１５においては、「１８：２３：３２」と表示されており、カメラ画像表示欄３１１の顔画像が１８時２３分３２秒に撮像されていることが示されている。

さらに、時刻表示欄３１６の下には、別人ボタン３１７が設けられており、カメラ画像の顔画像が、第１候補乃至第３候補となる登録遊技者の顔画像表示欄３１２−１乃至３１２−３のいずれにも似ていないとみなされたとき、操作部２２５により操作される。

ステップＳ２８において、通信部２２４は、操作部２２５が操作されて、候補となる顔画像の何れかが選択されたか否か、すなわち、例えば、図１５で示される報知画面３０１が表示部２３に表示されていた場合、確定ボタン３１８−１乃至３１８−３のいずれかが操作部２２５により操作されたか否かを判定する。

ステップＳ２８において、例えば、確定ボタン３１８−１が操作された場合、第１候補となる顔画像が選択されたとみなされ、ステップＳ２９において、通信部２２４は、選択された第１候補となる顔画像およびカメラ３８により撮像されたカメラ画像を携帯端末２０に送信し、該当する登録遊技者が来店したことを通知する。

ステップＳ４１において、通信部２７１は、登録遊技者の来店が通知されてきたか否かを判定し、通知されてくるまで、その処理を繰り返す。例えば、ステップＳ４１において、ステップＳ２９の処理により、登録遊技者の来店が通知されてきた場合、ステップＳ４２において、通信部２７１は、顔画像認識装置２１より送信されてきた登録遊技者の来店の通知を受信すると供に、その通知に併せて送信されてくる登録遊技者の顔画像およびカメラ３８により撮像されたカメラ画像を画像処理部２７２に供給する。画像処理部２７２は、選択された顔画像およびカメラ３８により撮像されたカメラ画像の情報を、表示部２７３に表示可能な形式の情報に加工して、ステップＳ４３において、表示部２７３に表示させる。

以上の処理により、遊技店１内の係員は、携帯端末２０を所持していると、登録遊技者の来店を認識することが可能となる。

また、ステップＳ３０において、顔画像取得部２２１は、供給された顔画像の全てについて処理を行なったか否かを判定し、未処理の顔画像がある場合、処理は、ステップＳ２３に戻る。すなわち、全ての顔画像について処理が行なわれるまで、ステップＳ２３乃至Ｓ３１の処理が繰り返される。そして、全ての顔画像について処理が終了したと判定された場合、処理は、ステップＳ２１に戻る。

一方、ステップＳ２８において、いずれの候補となる顔画像も選択されず、例えば、図１５の報知画面３０１における別人ボタン３１７が押下された場合、または、ステップＳ２６において、類似度計算部２３２より供給されてくる上位３位までの顔画像と類似度の情報に基づいて、最上位の類似度が所定の閾値よりも大きくない場合、すなわち、最も類似している登録遊技者の顔画像であっても類似度が、所定の閾値未満である場合、ステップＳ３１において、類似度判定部２３３は、画像処理ユニット３９より供給されてきた顔画像を未登録遊技者データベース登録部２２３に供給する。未登録遊技者データベース登録部２２３は、供給されてきた顔画像を生体管理情報バス６及び公衆通信回線網８を介して顔画像管理データベース３にアクセスし、未登録遊技者DBに登録する。

また、ステップＳ２１において、例えば、ステップＳ８の処理により、滞在時刻の情報がカメラIDに対応付けて送信されてきた場合、ステップＳ３２において、滞在時間登録部２２７は、滞在時刻の情報を取得し、カメラIDに対応付けて滞在時刻の情報を顔画像DB２２に登録する。尚、この際、上述した顔画像認識処理がなされた顔画像毎にカメラIDを付するようにすることで、顔画像と滞在時間情報とを対応付けて登録することが可能となり、遊技者ごとの滞在時間や、カメラIDにより遊技台ごとに滞在時間を管理することも可能となる。

さらに、このような処理により、顔画像認識装置２１により画像処理ユニット３９より供給されてきた顔画像が、顔画像DB２２に登録されていないとみなされると、顔画像管理センタ２により管理されている顔画像管理DB３内の未登録遊技者DBに未登録遊技者の顔画像として登録される。

尚、以上においては、人物の輪郭形状からなるエッジ画像については、直前のフレームにおけるエッジ画像と、最新のエッジ画像との比較により、ずれを求める例について説明してきたが、タイミングが異なるものであればよいので、例えば、数フレーム前の画像におけるエッジ画像との比較であってもよい。また、ずれについては、２枚のエッジ画像との比較により求める例について説明してきたが、ずれが求められれば良いので、さらに多くのエッジ画像を比較するようにしても良い。

以上の処理により、顔画像が新たに入替ったと判定されたときにのみ、画像処理ユニット３９から顔画像が、顔画像認識装置２１に供給されることになる。このため、顔画像認識装置２１に対しては、顔画像を用いた認証処理の処理回数を低減させることが可能となる。また、顔画像の有無だけでなく、人物の輪郭形状からなるエッジ画像の大きさと、エッジ画像のずれの有無により人物の滞在、または、不在が判定されるので、画像内に他の顔画像や人物が存在するような場合でも、所望とする人物が、新たに入替った（新たに着座した）タイミングにのみ顔画像認識処理を実行することができるので、不必要に顔画像認識処理が実行されることがなくなり、顔画像認識装置２１の処理負荷を低減させることが可能となる。

ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用した監視システムの一実施の形態の構成を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１のカメラの設置例を示す図である。 図１の画像処理ユニットの構成例を説明する図である。 図１の顔画像情報認識装置の構成例を説明する図である。 図１の携帯端末の構成例を説明する図である。 登録遊技者来店監視処理を説明するフローチャートである。 入替え判定処理を説明するフローチャートである。 画像例ごとの処理を説明する図である。 類似度計算処理を説明するフローチャートである。 報知画像の表示例を説明する図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１，１−１乃至１−ｎ 遊技店
２ 顔画像管理センタ
３ 顔画像管理データベース
４ 第３者遊技店管理センタ
５ 第３者遊技店管理データベース
６ 顔画像管理バス
７ 第３者遊技店管理バス
８，９ 公衆通信回線網
２１ 顔画像情報認識装置
２２ 顔画像情報データベース
２４ 遊技店管理装置
２６ 遊技台管理データベース
２７ 媒体貸出管理装置
２９ 媒体貸出管理データベース
３０ 遊技店管理情報バス
３１ 顔画像情報バス
３３ 精算機
３４ 貸出機
３５ 計数機
３６，３６−１乃至３６−ｍ 遊技台
３７，３７−１乃至３７−ｍ 遊技台周辺端末
３８，３８−１乃至３８−ｍ カメラ
３９，３９−１乃至３９−ｍ 画像処理ユニット

Claims (7)

1. 画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、
   前記エッジ画像を順次記憶する記憶手段と、
   前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、
   前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と
   を含む人体検出装置。
2. 前記エッジ画像の大きさに基づいて、前記エッジ画像の人物が所定距離内であるか否かを判定する人物形状判定手段をさらに含み、
   前記人体検出手段は、前記人物形状判定手段により、前記エッジ画像の人物が所定距離内であると判定され、かつ、前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する
   請求項１に記載の人体検出装置。
3. 画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、
   前記エッジ画像を順次記憶する記憶手段と、
   前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、
   前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の範囲に人体が滞在していることを検出する人体検出手段と
   を含む人体検出装置の人体検出方法は、
   前記エッジ画像抽出手段による、前記画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、
   前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、
   前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、
   前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップと
   を含む人体検出方法。
4. 画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、
   前記エッジ画像を順次記憶する記憶手段と、
   前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、
   前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の範囲に人体が滞在していることを検出する人体検出手段と
   を含む人体検出装置を制御するコンピュータに、
   前記エッジ画像抽出手段による、前記画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、
   前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、
   前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、
   前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップと
   を含む処理を実行させるプログラム。
5. 画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、
   前記エッジ画像を順次記憶する記憶手段と、
   前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、
   前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、
   顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
   前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、
   前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、
   前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、
   前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
   前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と
   を含む監視装置。
6. 画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、
   前記エッジ画像を順次記憶する記憶手段と、
   前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、
   前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、
   顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
   前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、
   前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、
   前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、
   前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
   前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と
   を含む監視装置の監視方法において、
   前記エッジ画像抽出手段による、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、
   前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、
   前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、
   前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップと、
   前記顔画像抽出手段による、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出ステップと、
   前記出力手段による、前記人体検出ステップの処理により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出ステップの処理により抽出された前記照合対象者の顔画像を出力する出力ステップと、
   前記特徴量抽出手段による、前記出力ステップの処理により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出ステップと、
   前記照合手段による、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
   前記類似度判定手段による、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと
   を含む監視方法。
7. 画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出手段と、
   前記エッジ画像を順次記憶する記憶手段と、
   前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出手段と、
   前記ずれ検出手段により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出手段と、
   顔画像を蓄積者の顔画像として蓄積者データベースに蓄積する蓄積手段と、
   前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出手段と、
   前記人体検出手段により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出手段により抽出された前記照合対象者の顔画像を出力する出力手段と、
   前記出力手段により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出手段と、
   前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合手段と、
   前記照合手段の照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定手段と
   を含む監視装置を制御するコンピュータに、
   前記エッジ画像抽出手段による、画像より人物の輪郭形状からなるエッジ画像を抽出するエッジ画像抽出ステップと、
   前記記憶手段による、前記エッジ画像を順次記憶する記憶ステップと、
   前記ずれ検出手段による、前記画像よりも前のタイミングにおけるエッジ画像と、前記画像におけるエッジ画像との比較により、ずれを検出するずれ検出ステップと、
   前記人体検出手段による、前記ずれ検出ステップの処理により、前記ずれが検出されたと判定された場合、前記画像内の所定の範囲に人体が滞在していることを検出する人体検出ステップと、
   前記顔画像抽出手段による、前記画像より連続的に照合対象者の顔画像を抽出する顔画像抽出ステップと、
   前記出力手段による、前記人体検出ステップの処理により人体が滞在していないと判定された状態から、人体が滞在していると判定される状態に切り替わるタイミングにおいて、前記顔画像抽出ステップの処理により抽出された前記照合対象者の顔画像を出力する出力ステップと、
   前記特徴量抽出手段による、前記出力ステップの処理により出力された前記照合対象者の顔画像より特徴量を抽出する特徴量抽出ステップと、
   前記照合手段による、前記照合対象者の顔画像と、前記蓄積手段に蓄積された蓄積者の顔画像との類似度を計算し、照合する照合ステップと、
   前記類似度判定手段による、前記照合ステップの処理での照合結果である類似度と所定の閾値との比較により、前記照合対象者の顔画像が前記蓄積者の顔画像であるか否かを判定する類似度判定ステップと
   を含む処理を実行させるプログラム。

Images