JP2007213170A - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2007213170A JP2007213170A JP2006030233A JP2006030233A JP2007213170A JP 2007213170 A JP2007213170 A JP 2007213170A JP 2006030233 A JP2006030233 A JP 2006030233A JP 2006030233 A JP2006030233 A JP 2006030233A JP 2007213170 A JP2007213170 A JP 2007213170A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- image
- face
- masking
- movement position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】検出する必要のない顔画像を検出させないようにしつつ、同一人物の顔画像を正確に追跡できるようにする。
【解決手段】顔画像抽出部24は、画像より顔画像を抽出し、顔画像位置記憶部29は、抽出される顔画像の画像内での移動位置を連続的に記憶し、顔画像移動位置予測部30は、記憶された顔画像の移動位置を予測し、マスキング処理部23は、画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、マスキングオンオフ制御部31は、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域が発生しないように切り替える。本発明は、遊技店の監視装置に適用することができる。
【選択図】図6
【解決手段】顔画像抽出部24は、画像より顔画像を抽出し、顔画像位置記憶部29は、抽出される顔画像の画像内での移動位置を連続的に記憶し、顔画像移動位置予測部30は、記憶された顔画像の移動位置を予測し、マスキング処理部23は、画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、マスキングオンオフ制御部31は、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域が発生しないように切り替える。本発明は、遊技店の監視装置に適用することができる。
【選択図】図6
Description
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、顔画像による登録者の誤検出を低下させるとともに、同一人物の顔画像を正確に追跡することで検出率を向上させるようにした画像処理装置および方法、並びにプログラムに関する。
登録者が到来したことを報知する技術が一般に普及しつつある。
例えば、パチンコ店やパチスロ店に代表される遊技店の出入口に監視カメラを配置し、監視カメラで撮像できた遊技者の顔画像と、予め登録された登録遊技者の顔画像とを顔認識技術を用いて検索し、登録遊技者が来店した際に、登録された遊技者が来店したことを報知するものが提案されている。
しかしながら、例えば、出入口付近に設けられた監視カメラにより撮像された画像から抽出される顔画像を用いて登録遊技者を検出する手法においては、撮像領域内にポスタ、または立看板等人物顔画像以外の顔画像が存在した場合、ポスタ等の顔画像を、来店者の顔画像として検出してしまう事があり、不要な顔画像認識処理を繰り返してしまうことがあった。
すなわち、例えば、図1で示されるような、扉D上に、ポスタB1,B2が貼り付けられているような画像が、カメラで撮像されていた場合、ポスタB1上には、人物の顔画像が描かれているため、このポスタB1上の顔画像が来店者の顔画像として検出されてしまうことがあり、結果として、不要な顔画像認識処理が繰り返されてしまうことがあった。
そこで、監視を目的とした撮像領域に対して、監視不要領域を設定し、マスキングするといった手法が提案されている(例えば、特許文献1参照)。
すなわち、図2で示されるように、ポスタB1上の顔画像が描かれている領域に、マスキング領域(監視不要領域)Mを設定することにより、ポスタB1上の特に顔画像が描かれている領域がマスクされるので、不要な顔画像が検出されなくなるというものである。
また、マスキング領域Mの設定及び解除を行う方法として、マスキング領域Mごとに番号付けを行い、マスキング領域Mを付与した番号に基づいて設定、または解除する技術が提案されている(例えば、特許文献2参照)。
しかしながら、上記の手法においては、取得された画像の条件によっては監視不要領域(マスキング領域)は解除されず、マスキング領域において検出したい物体の検出が行えないことがあった。また、撮像領域の顔画像を追跡して検出する方法においては、撮像人物の顔画像がマスキング範囲内を通過して、再び撮像領域を移動する際、マスキング範囲の大きさによっては、顔画像の追跡が中断されてしまう為にマスキング範囲通過前と通過後とで異なる人物の顔画像を追跡してしまう事があった。
すなわち、図3で示されるように、顔画像f1乃至f3は、それぞれの画像が近いため、人物Hの動きに合わせて、矢印方向に追跡することができ、このように追跡することにより、同一人物の顔画像を追跡しつつ顔画像を取得することができる。しかしながら、人物Hが移動し、例えば、人物H’のように移動した場合、顔画像f3の次の移動先である顔画像f4は、マスキング領域Mに含まれることになるため、人物H’の顔画像をそれ以降見失うことになり、同一の人物の顔画像としての追跡ができなくなるということがあり、新たな別の人物として追跡する必要があった。
本発明はこのような状況に鑑みてなされたものであり、特に、ポスタや立看板などに含まれる顔画像を効果的にマスキングし、不要な顔画像認識処理を排除しつつ、顔画像を正確に追跡できるようにするものである。
本発明の一側面の画像処理装置は、画像より顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段と、前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段と、前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段と、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段とを含む。
前記移動位置記憶手段には、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶させることができる。
前記顔画像抽出手段により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段を含ませるようにすることができる。
前記顔画像ID設定手段には、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定させるようにすることができ、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定させるようにすることができる。
前記予測手段には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測させるようにすることができる。
前記予測手段には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測させるようにすることができる。
前記切替手段には、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替えるようにさせることができる。
本発明の監視装置には、前記登録者の顔画像を蓄積する蓄積手段と、請求項1に記載のマスキング領域を発生するマスキング領域発生手段と、前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段と、前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段とを含ませるようにすることができる。
本発明の一側面の画像処理方法は、画像より顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップとを含む。
本発明の一側面のプログラムは、画像より顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップとを含む処理をコンピュータに実行させる。
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、画像より顔画像が抽出され、抽出される顔画像の画像内での移動位置が連続的に記憶され、記憶された前記顔画像の移動位置が予測され、前記画像の所定の領域に、顔画像の抽出が不能なマスキング領域が発生され、予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えられる。
本発明の一側面の画像処理装置における、画像より顔画像を抽出する顔画像抽出手段とは、例えば、顔画像抽出部である。前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段とは、例えば、顔画像位置記憶部である。前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段とは、例えば、顔画像移動位置予測部である。前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段とは、例えば、マスキング処理部である。前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段とは、例えば、マスキングオンオフ制御部である。
すなわち、次のタイミングでの顔画像の移動位置が、マスキング領域に含まれることが、顔画像移動位置予測部により予測されるとき、マスキング領域が画像内に発生しないように切り替えられることになる。通常であれば、マスキング領域に顔画像が移動すると顔画像が抽出できない状態となるため、連続的に顔画像を追跡することができなかったが、本発明により、マスキング領域内に顔画像が含まれることが予測されればマスキング領域が発生しないことにより、連続的に顔画像を追跡することが可能となる。しかも、マスキング領域内に顔画像が含まれると予測されるまでは、マスキング領域は設定される事になるので、画像内でその位置にポスタなどの顔画像として誤検出しそうな画像があったとしても、誤検出されないようにすることが可能となる。
本発明の一側面によれば、画像内の顔画像を連続的に追跡することが可能となる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
すなわち、本発明の一側面の画像処理装置は、画像より顔画像を抽出する顔画像抽出手段(例えば、図6の顔画像抽出部24)と、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段(例えば、図6の顔画像位置記憶部29)と、前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段(例えば、図6の顔画像移動位置予測部30)と、前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段(例えば、図6のマスキング処理部23)と、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段(例えば、図6のマスキングオンオフ制御部31)とを含む。
前記移動位置記憶手段(例えば、図6の顔画像位置記憶部29)には、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶させることができる。
前記顔画像抽出手段(例えば、図6の顔画像抽出部24)により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段(例えば、図6の顔画像ID付加部28)を含ませるようにすることができる。
前記顔画像ID設定手段(例えば、図6の顔画像ID付加部28)には、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定させるようにすることができ、前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定させるようにすることができる。
前記予測手段(例えば、図6の顔画像移動位置予測部30)には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測させるようにすることができる。
前記予測手段(例えば、図6の顔画像移動位置予測部30)には、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測させるようにすることができる。
前記切替手段(例えば、図6のマスキングオンオフ制御部31)には、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替えるようにさせることができる。
本発明の監視装置には、前記登録者の顔画像を蓄積する蓄積手段(例えば、図7の登録遊技者データベース53)と、請求項1に記載のマスキング領域を発生するマスキング領域発生手段(例えば、図6のマスキング処理部23)と、前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段(例えば、図6の顔画像抽出部24)により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段(例えば、図7の類似度計算部52)と、前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段(例えば、図7の判定部54)とを含ませるようにすることができる。
本発明の一側面の画像処理方法およびプログラムは、画像より顔画像を抽出する顔画像抽出ステップ(例えば、図9のフローチャートにおけるステップS68の処理)と、前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップ(例えば、図10のフローチャートにおけるステップS97の処理)と、前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップ(例えば、図13のフローチャートにおけるステップS113の処理)と、前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップ(例えば、図9のフローチャートにおけるステップS65の処理)と、前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップ(例えば、図14のフローチャートにおけるステップS135の処理)とを含む画像処理方法。
図4は、本発明に係る遊技店の登録遊技者来店報知システムの一実施の形態の構成を示す図である。
カメラ1−1乃至1−3は、図5で示されるように、遊技店の出入口付近に設けられた監視カメラであり、来店する遊技者を撮像し、撮像した画像を画像処理ユニット2−1乃至2−3に供給する。尚、カメラ1−1乃至1−3または画像処理ユニット2−1乃至2−3は、夫々区別する必要の無い場合、単に、カメラ1または画像処理ユニット2と称するものとし、その他の構成も同様に称するものとする。また、図5の例においては、カメラ1が遊技店内の3箇所に設置される場合の例が示されているが、設置個所の数はそれ以外の数であってもよい。さらに、カメラ1は、それぞれパンチルト機能や望遠機能などを備えるようにしてもよい。また、図4においては、カメラ1に対して、画像処理ユニット2が一対一で対応するように設けられているが、画像処理ユニット2が、複数のカメラ1に対して、例えば、時分割処理するなどして並列的に処理ができるような場合、一対一で設ける必要が無く、例えば、1台の画像処理ユニット2が、複数のカメラ1−1乃至1−5から供給されてくる画像に対して処理するようにしても良い。
画像処理ユニット2−1乃至2−3は、それぞれカメラ1−1乃至1−3より供給されてくる撮像された画像に基づいて、画像内の来店する遊技者の顔画像を抽出し、顔認識サーバ3に供給する。
顔認識サーバ3は、画像処理ユニット2より供給された顔画像を取得し、予め登録されている登録遊技者の顔画像と比較して照合することにより、供給された顔画像が登録遊技者のものであるか否かを判定する。また、顔認識サーバ3は、判定結果、および顔画像を報知部4に供給する。
報知部4は、顔認識サーバ3より供給される顔画像、および登録遊技者判定処理に基づいた判定結果の情報を取得した場合、登録遊技者を示す顔画像の取得により、登録遊技者来店情報を発生し、遊技店の係員に対して報知する。
次に、図6を参照して、画像処理ユニット2の一実施の形態の構成について説明する。
画像取得部21は、カメラ1より供給されてくる撮像された画像を取得し、スイッチ22を介して、マスキング処理部23、または顔画像抽出部24に供給する。スイッチ22は、マスキングオンオフ制御部31により制御され、端子22aと端子22b、または、端子22aと端子22cとに接続されることにより、画像取得部21により取得された画像をマスキング処理部23または顔画像抽出部24に供給する。
マスキング処理部23は、画像取得部21より供給されてくる画像のうち、例えば、図2で示したように、ポスタB1などのように顔画像が含まれる領域をマスキング領域Mによりマスキングして、顔画像抽出部24に供給する。マスキング処理部23は、マスキング領域Mの位置情報が設定された場合、その位置情報の情報をマスキングオンオフ制御部31に供給する。
顔画像抽出部24は、マスキング処理部23のマスキング処理によりマスキングが施されている画像より顔画像を抽出して顔認識サーバ3に供給する。より詳細には、顔画像抽出部24は、画像中の配色により顔を構成する目、鼻、口、または、耳といった各種の部位を構成する配置のパターンから顔が表示されているものと認識される領域を矩形状の顔画像として抽出し、送信部26および顔画像位置取得部27に供給する。このとき、顔画像抽出部24は、顔画像を抽出したタイミングでRTC25に問合せて顔画像を抽出した時刻を取得し、取得した時刻の情報、入力画像、および顔画像を送信部26、および顔画像位置取得部27に供給する。
すなわち、顔画像抽出部24は、スイッチ22の接続状態により、画像取得部21により取得された画像に対して、マスキング処理部23によりマスキング領域が設定されている画像、または、マスキング領域が設定されていない画像のいずれかより顔画像を抽出する。
RTC(Real Time Clock)25は、時刻情報を発生しており、顔画像抽出部24より時刻の情報が要求されると、その時点での時刻情報を顔画像抽出部24に供給する。すなわち、RTC25の時刻情報により、抽出された顔画像は1枚1枚識別することが可能となる。
送信部26は、顔画像抽出部24より供給されてきた顔画像と、顔画像ID付加部28より顔画像が抽出された顔画像IDとを時刻情報に対応付けて顔認識サーバ3に供給する。すなわち、送信部26は、顔画像に付されている時刻情報と、顔画像IDに付されている時刻情報が同一となるもの同士を組にして顔認識サーバ3に送信する。
顔画像位置取得部27は、顔画像抽出部24より供給されてくる入力画像、顔画像が取得された時刻情報、および顔画像に基づいて、顔画像の画像上の位置座標を位置情報として求めて、顔画像が抽出されたタイミングの時刻情報と共に顔画像ID付加部28に供給する。より詳細には、顔画像位置取得部27は、矩形状の顔画像の4箇所の角の位置の画像上の位置座標を位置情報として取得し、顔画像を取得した時刻と共に、顔画像ID付加部28に供給する。
顔画像ID付加部28は、顔画像位置取得部27より供給された顔画像の位置情報を取得すると共に、顔画像位置記憶部29に顔画像ID毎に記憶されている、最新の顔画像の位置情報とを比較し、それぞれの重心位置が所定の距離内となっている位置情報を検索する。このとき、顔画像位置記憶部29に顔画像ID毎に記憶されている、最新の顔画像の位置情報のうち、顔画像位置取得部27より供給された顔画像の位置情報の重心位置が所定の距離内の位置情報が検索できない場合、顔画像ID付加部28は、新たな顔画像IDを発行し、発行した顔画像IDに対応付けて位置情報を顔画像位置記憶部29に記憶させると共に、発行した顔画像IDを、顔画像位置取得部27より供給された顔画像を取得した時刻情報と共に送信部26に供給する。一方、顔画像位置記憶部29に顔画像ID毎に記憶されている、最新の顔画像の位置情報のうち、顔画像位置取得部27より供給された顔画像の位置情報の重心位置が所定の距離内の位置情報が検索できた場合、顔画像ID付加部28は、検索できた位置情報に対応付けられている顔画像IDを、顔画像位置記憶部29より読み出し、顔画像位置取得部27より供給された顔画像が取得された時刻情報と共に、送信部26に供給する。
顔画像位置記憶部29は、顔画像ID毎に、顔画像が取得された位置情報を順次記憶する。
顔画像移動位置予測部30は、顔画像位置記憶部29に顔画像ID単位で記憶されている顔画像の位置情報の情報を用いて、次のタイミングで取得されるであろう顔画像の位置情報を、顔画像ID毎に線形補間することにより予測し、予測結果をマスキングオンオフ制御部31に供給する。
マスキングオンオフ制御部31は、顔画像移動位置予測部31より供給されてくる、次のタイミングで顔画像が取得されるであろう位置が、マスキング処理部23より供給されてくるマスキング領域Mに含まれるか否かを判定し、含まれるとき、スイッチ22を制御して、端子22aと端子22cとを接続し、マスキング処理部23をバイパスさせて顔画像取得部21と顔画像抽出部24とを接続する。また、マスキングオンオフ制御部31は、顔画像位置記憶部29に顔画像ID毎に記憶されている位置座標としての位置情報のいずれかに、マスキング処理部23より供給されてくるマスキング領域Mを含むものがあるか否かを判定し、いずれにも含まない場合、スイッチ22を制御して端子22aと端子22bを接続し、顔画像取得部21とマスキング処理部23とを接続する。
次に、図7を参照して、顔認識サーバ3の一実施の形態の構成について説明する。
顔画像取得部51は、画像処理ユニット2より供給される顔画像を取得し、類似度計算部52に供給する。類似度計算部52は、顔画像取得部51より供給された顔画像と登録遊技者データベース53に登録されている顔画像とを一つ一つ比較して照合し、類似度を計算して、計算結果を判定部54に供給する。より具体的には、類似度計算部52は、例えば、目と目の間隔、あごから額までの長さと、あごから鼻までの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和、平均比率、または比率和などを類似度として求める。さらに、類似度計算部52は、顔画像毎に求められた登録遊技者の顔画像毎の類似度のうち、最も高い類似度を示す登録遊技者の顔画像、および、撮像された顔画像との類似度を判定部54に供給する。尚、類似度の計算方法は、その他の方法であってもよいことは言うまでもない。また、登録遊技者データベース53に登録されている登録遊技者の顔画像については、新たな登録遊技者を随時更新できるようにしても良い。
判定部54は、類似度計算部52より供給された顔画像IDが付された顔画像毎の類似度について、登録遊技者データベース53に登録された顔画像毎に設定された所定の閾値と比較し、比較結果に基づいて、供給された顔画像が登録遊技者の顔画像であるか否かを判定し、判定結果を報知部4に供給する。
尚、ここでは、類似度は、例えば、比率和で示されるような登録遊技者として登録されている顔画像に近いほど高い値を示すものであるとし、類似度が所定の閾値よりも高い値であるとき、その類似度に対応する登録遊技者の顔画像であるものとして判定する例について説明する。しかしながら、例えば、類似度が撮像された顔画像と登録遊技者として登録されている顔画像とのそれぞれの特徴量における差分和として表現されている場合、判定部54は、類似度が閾値よりも小さければ、撮像された顔画像が登録遊技者の顔画像であるとみなすことになり、または、平均比率などの場合、0乃至1の範囲で所定の値以上であって、1に近い値であれば、同一の人物であるとみなすことができる。
次に、図8のフローチャートを参照して、図1の登録遊技者来店報知システムにおける登録遊技者報知処理について説明する。
ステップS1において、カメラ1は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。所定の時間としては、監視のサンプリングレートにより任意の時間に設定できるようにしてもよく、例えば、250m秒くらいでもよい。
ステップS1において、所定の時間が経過したと判定された場合、ステップS2において、カメラ1は、設置されている範囲の画像を撮像し、撮像した画像を画像処理ユニット2に供給する。
ステップS3において、画像処理ユニット2は、供給された画像を取得し、図9を参照して後述する顔画像抽出処理を実行して顔画像を抽出する。
ステップS4において、送信部26は、抽出された顔画像を顔画像IDと共に顔認識サーバ3に送信する。
ステップS21において、顔認識サーバ3の顔画像取得部51は、顔画像を取得する。ステップS22において、顔画像抽出部81は、供給された顔画像のうち、いずれか未処理の1つを抽出し、類似度計算部52に供給する。
ステップS23において、類似度計算部52は、登録遊技者データベース53に予め登録されている各登録遊技者の顔画像と、抽出された顔画像との類似度を計算する。
この登録遊技者データベース53の情報に基づいて、類似度計算部52は、顔画像取得部51より供給された顔画像について、上述したような、目と目の間隔、あごから額までの長さと、あごから鼻のまでの長さの比率などの各種の顔の特徴量を求めて、それぞれの差分和、平均比率、または比率和などを類似度として計算し、最も類似している登録遊技者の類似度、および、顔画像を判定部54に供給する。
ステップS24において、判定部54は、類似度計算部52より供給された類似度が所定の閾値よりも大きいか否かを判定する。すなわち、ここでは、類似度が高ければ高いほど、登録遊技者の顔画像と、撮像された顔画像とが類似しているものとみなされるので、撮像された顔画像と、最も似ている登録遊技者の顔画像の類似度が所定の閾値と比較される。尚、上述のように、類似度の定義により、撮像された顔画像と最も類似している登録遊技者の顔画像との類似度は、その値そのものが最も高いとは限らないため、類似度と閾値との大小関係はこの例の場合とは異なることがある。
ステップS24において、類似度計算部52より供給された類似度が閾値(登録遊技者であると判定される類似度の閾値)よりも大きいと判定された場合、ステップS25において、判定部54は、抽出された顔画像が登録遊技者の顔画像であるとみなし、抽出された顔画像を報知部4に供給する。
ステップS41において、報知部4は、例えば、ステップS25の処理により、顔認識サーバ3より供給される顔画像を取得すると、ステップS42において、図示せぬディスプレイやスピーカなどを制御して、登録遊技者が来店したことを報知する。
一方、ステップS24において、類似度計算部52より供給された類似度が閾値より大きくないと判定された場合、ステップS25の処理がスキップされ、登録遊技者が来店しているとの通知がなされない。
ステップS26において、顔画像抽出部81は、全ての顔画像を処理したか否かを判定し、全ての顔画像について処理がなされていないと判定された場合、その処理は、ステップS22に戻る。
さらに、ステップS26において、全ての顔画像が処理されたと判定された場合、その処理は、ステップS21に戻る。
以上の処理により、登録された顔画像がカメラにより撮像されると、登録遊技者が来店したことが報知される。
次に、図9のフローチャートを参照して、画像処理ユニット2による顔画像抽出処理について説明する。
ステップS61において、画像取得部21は、カメラ1より画像が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返す。例えば、図8のステップS2の処理により、画像が撮像されたカメラ1から画像が供給されてきたと判定された場合、処理は、ステップS62に進む。
ステップS62において、画像取得部21は、画像を取得する。
ステップS63において、スイッチ22が端子22aと端子22bとが接続されている状態であるか否かが判定され、例えば、接続されている、すなわち、画像取得部21の後段にスイッチ22を介してマスキング処理部23が接続された状態である場合、ステップS64において、画像取得部21は、カメラ1より取得した画像をマスキング処理部23に供給する。
ステップS65において、マスキング処理部23は、画像取得部21より供給さて来た画像に対して所定のパターンのマスキングを施し、顔画像抽出部24に供給する。すなわち、例えば、図3で示されているように、マスキング領域Mを所定のマスキングパターンとして画像に対して施し、顔画像抽出部24に供給する。
ステップS66において、顔画像抽出部24は、供給された画像より遊技者の顔画像を抽出すると共に、顔画像を抽出した時刻をRTC25に問い合わせ、顔画像と、顔画像を抽出した時刻情報とをペアにして保持する。より具体的には、顔画像抽出部24は、例えば、撮像された画像の色などから肌が露出した部分であって、目や鼻といった特徴的な部位の配置などから顔画像のパターンを検索し、検索された画像を顔画像として抽出する。
ステップS67において、顔画像抽出部24は、顔画像のパターンが検索されたか否かを判定する。すなわち、ステップS66の処理において、例えば、少なくとも1つ以上の顔画像が検索されれば、その検出された顔画像と、抽出された時刻情報とがペアになった情報が保持されているので、顔画像のパターンが検出されたとみなされ、その処理は、ステップS68に進む。一方、ステップS67において、顔画像のパターンが検出されなかった場合、この処理は終了する。
ステップS68において、顔画像抽出部24は、1つの顔画像を抽出し、ステップS69において、時刻情報を付加して送信部26、および顔画像位置取得部27に出力する。このとき、顔画像抽出部24は、顔画像位置取得部27において、顔画像の位置を取得させるために、供給されてきた画像も合わせて出力する。
ステップS70において、顔画像位置取得部27および顔画像ID付加部28は、顔画像位置記憶処理を実行し、供給されてきた顔画像に顔画像IDを付し、顔画像位置記憶部29に、顔画像IDに対応付けて、位置情報を記憶させる。
ここで、図10のフローチャートを参照して、顔画像位置記憶処理について説明する。
ステップS91において、顔画像位置取得部27は、顔画像抽出部24より顔画像が供給されてきたか否かを判定し、供給されてくるまで、その処理を繰り返し、例えば、図9のフローチャートにおけるステップS69の処理により、顔画像が供給されてきた場合、その処理は、ステップS92に進む。
ステップS92において、顔画像位置取得部27は、供給されてきた顔画像と共に、顔画像が抽出された画像を取得し、画像中の顔画像の4つの角の位置座標を取得し、位置情報として顔画像ID付加部28に供給する。すなわち、例えば、図11で示されるような画像Pから顔画像F3が抽出された場合、顔画像位置取得部27は、矩形状の顔画像F3の4つの角の座標((xa,ya),(xb,yb),(xc,yc),(xd,yd))を位置情報として取得し、顔画像が取得された時刻tと併せて、t((xa,ya),(xb,yb),(xc,yc),(xd,yd))を位置情報として顔画像ID付加部28に供給する。
ステップS93において、顔画像ID付加部28は、供給されてきた顔画像の座標位置の情報に基づいて、その座標位置から所定の距離内に存在する記憶済みの顔画像の位置を検索する。例えば、それまでの処理により、図12で示されるように、顔画像位置記憶部29に、顔画像IDごとに顔画像の位置情報が記憶されていた場合、顔画像ID付加部28は、t((xa,ya),(xb,yb),(xc,yc),(xd,yd))で示される顔画像の重心位置((xa+xb+xc+xd)/4,(ya+yb+yc+yd)/4)と、記憶済みの最新の位置情報の重心位置との距離が所定の距離内に存在するものを検索する。
ここで、図12には、左側の欄には顔画像IDが記録されており、今の場合、上から「AAA」、「BBB」、「CCC」が記録されている。また、右側の欄には顔画像IDに対応付けて位置情報が記憶されている。すなわち、顔画像ID=「AAA」に対応して、t1((x1,y1),(x2,y2),(x3,y3),(x4,y4)),t3((x11,y11),(x12,y12),(x13,y13),(x14,y14))が記録され、顔画像ID=「BBB」に対応して、t21((x101,y101),(x102,y102),(x103,y103),(x104,y104))が記録され、顔画像ID=「CCC」に対応して、t41((x201,y201),(x202,y202),(x203,y203),(x204,y204)),t51((x211,y211),(x212,y212),(x213,y213),(x214,y214))が記録されている。
図12で示される顔画像位置記憶部29の情報によれば、顔画像ID「AAA」の顔画像が、時刻t1において、座標位置((x1,y1),(x2,y2),(x3,y3),(x4,y4))で抽出され、さらに、その後、時刻t3において、座標位置((x11,y11),(x12,y12),(x13,y13),(x14,y14))において抽出されていることが示され、顔画像ID「BBB」の顔画像が、時刻t21において、座標位置((x101,y101),(x102,y102),(x103,y103),(x104,y104))において抽出されていることが示され、顔画像ID「CCC」の顔画像が、時刻t41において、座標位置((x201,y201),(x202,y202),(x203,y203),(x204,y204))で抽出され、その後、時刻t51において、座標位置((x211,y211),(x212,y212),(x213,y213),(x214,y214))で抽出されていることが示されている。
従って、図12においては、これまでの処理により、顔画像ID「AAA」、「BBB」、および「CCC」で示される顔画像が抽出されており、それぞれの最近抽出された座標位置は、((x11,y11),(x12,y12),(x13,y13),(x14,y14)),((x101,y101),(x102,y102),(x103,y103),(x104,y104))、および((x211,y211),(x212,y212),(x213,y213),(x214,y214))となる。
そこで、顔画像ID付加部28は、それぞれの重心位置((x11+x12+x13+x14)/4,(y11+y12+y13+y14)/4),((x101+x102+x103+x104)/4,(y101+y102+y103+y104)/4)、および((x211+x212+x213+x214)/4,(y211+y212+y213+y214)/4)を求めて、これらの中から抽出されてきた顔画像の重心位置((xa+xb+xc+xd)/4,(ya+yb+yc+yd)/4)と所定の距離内に存在するものを検索する。ここで、所定の距離内とは、図8のフローチャートにおけるステップS1において計測される所定の時間、すなわち、サンプリングレートにより次の画像が撮像されるまでの時間内に、人物が移動することにより顔画像が移動する可能性のある距離である。
ステップS94において、例えば、重心位置((x11+x12+x13+x14)/4,(y11+y12+y13+y14)/4),((x101+x102+x103+x104)/4,(y101+y102+y103+y104)/4)、および((x211+x212+x213+x214)/4,(y211+y212+y213+y214)/4)のうち、((x11+x12+x13+x14)/4,(y11+y12+y13+y14)/4)が、図11におけるF2の座標位置であって、((xa+xb+xc+xd)/4,(ya+yb+yc+yd)/4)から所定の距離内であった場合、所定距離内に存在する記憶済みの最新の顔画像の座標位置があると判定され、ステップS95において、顔画像ID付加部28は、所定距離内に存在する記憶済みの最新の顔画像の座標位置に対応付けられた顔画像IDを、供給されてきた顔画像の顔画像IDとする。すなわち、今の場合、新たに供給されてきた顔画像F3の顔画像は、所定の距離内にそれまでに登録されていた顔画像F2の人物と同一人物であるものとみなされ、その座標位置に対応付けられた顔画像ID「AAA」が顔画像F3の顔画像IDとして割り付けられる。
ステップS96において、顔画像ID付加部28は、供給されてきた顔画像の座標位置の情報のうち、時刻情報と、割り付けられた顔画像IDを送信部26に供給する。
ステップS97において、顔画像ID付加部28は、割り付けられた顔画像IDに対応付けて顔画像位置記憶部29に記憶させる。すなわち、今の場合、顔画像ID付加部28は、新たに供給されてきた顔画像に付された顔画像ID=「AAA」に対応するt3((x11,y11),(x12,y12),(x13,y13),(x14,y14))の後方(図12の右側)に、t((xa,ya),(xb,yb),(xc,yc),(xd,yd))を記憶させる。
一方、ステップS94において、供給されてきた顔画像の位置情報から所定の範囲内に存在する記憶済みの最新の顔画像の位置情報が存在しないと判定された場合、ステップS98において、顔画像ID付加部28は、供給されてきた顔画像に対して新たな顔画像IDを発行して、供給されてきた顔画像の顔画像IDとする。すなわち、今の場合、新たに供給されてきた顔画像F3の顔画像は、所定の距離内にそれまでに登録されていた顔画像がないので、例えば、顔画像ID「DDD」といった、新しい顔画像IDが割り付けられる。従って、ステップS97においては、図12で示される左側の欄に新たに「DDD」が記録され、その顔画像IDに対応付けてt((xa,ya),(xb,yb),(xc,yc),(xd,yd))が記憶される。
ここで、図9のフローチャートの説明に戻る。
ステップS71において、送信部26は、顔画像抽出部24より供給されてくる顔画像に、顔画像ID付加部28より供給されてくる顔画像IDを付加する。すなわち、送信部26は、顔画像抽出部24より供給されてくる時刻情報が付加された顔画像と、顔画像ID付加部28より供給されてくる時刻情報が付された顔画像IDとを取得し、同一の時刻情報を備えた顔画像に顔画像IDを付加する。
従って、例えば、ステップS69の処理により、送信部26は、顔画像取得部24より時刻情報tが付された顔画像を取得した場合、顔画像ID付加部28より、時刻情報tが付された顔画像ID=「AAA」を取得したとき、同一の時刻情報tを備えた顔画像に顔画像ID=「AAA」を付加する。
ステップS72において、顔画像抽出部24は、未処理の顔画像が存在するか否かを判定する。すなわち、顔画像抽出部24は、供給された画像より複数の顔画像を抽出した場合、それらの全ての顔画像に対して処理を行ったか否かを判定する。
ステップS72において、例えば、未処理の顔画像が存在する場合、その処理は、ステップS68に戻る。すなわち、全ての抽出した顔画像に対して処理が施されるまで、ステップS68乃至S72の処理が繰り返される。一方、ステップS72において、未処理の顔画像がないと判定された場合、その処理は、終了する。
以上の処理により、顔画像が、所定の距離内に連続して取得される場合、同一人物の顔画像であるものとして同一の顔画像IDが付され、それ以外の場合、新たな顔画像IDが付されていく。また、同一人物とみなされる顔画像の位置情報が、同一の顔画像IDに対応付けて順次蓄積されていくので、顔画像を連続的に追跡することが可能になり、その軌跡を蓄積していくことが可能となり、結果として、正確に同一人物の顔画像を追跡することが可能となる。
次に、図13のフローチャートを参照して、顔画像位置予測処理について説明する。
ステップS111において、顔画像移動位置予測部30は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、その処理を繰り返す。例えば、ステップS111において、所定の時間が経過した場合、その処理は、ステップS112に進む。
ステップS112において、顔画像移動位置予測部30は、顔画像位置記憶部29に記憶されている、未処理の顔画像IDの位置情報を取得する。すなわち、例えば、顔画像位置記憶部29に、図12で示される顔画像IDと、その位置情報が記憶されている場合、最初の処理であったとき、例えば、顔画像ID=「AAA」のt1((x1,y1),(x2,y2),(x3,y3),(x4,y4)),t3((x11,y11),(x12,y12),(x13,y13),(x14,y14))が取得されることになる。
ステップS113において、顔画像移動位置予測部30は、取得した各位置情報に基づいて、次のタイミングで移動することが予測される予測移動位置を線形補間により求める。すなわち、今の場合、例えば、顔画像移動位置予測部30は、線形補間により顔画像ID「AAA」の予測移動位置を(((x11)×2−(x1),(y11)×2−(y1)),((x12)×2−(x2),(y12)×2−(y2)),((x13)×2−(x3),(y13)×2−(y3)),((x14)×2−(x4),(y14)×2−(y4)))として計算する。
ステップS114において、顔画像移動位置予測部30は、計算された顔画像の次のタイミングにおける予測移動位置をマスキングオンオフ制御部31に供給する。
ステップS115において、顔画像移動位置予測部30は、未処理の顔画像IDがあるか否かを判定する。例えば、今の場合、顔画像ID=「AAA」の処理がなされたので、顔画像ID=「BBB」、「CCC」の顔画像の予測移動位置が求められていないため、未処理の顔画像IDがあると判定され、その処理は、ステップS112に戻る。すなわち、全ての顔画像IDについて予測移動位置が求められたと判定されるまで、ステップS112乃至S115の処理が繰り返される。そして、全ての顔画像IDについて予測移動位置が求められたと判定された場合、その処理は、ステップS111に戻り、それ以降の処理が繰り返される。
すなわち、以上の処理により、顔画像位置記憶部29に記憶されている顔画像の位置情報に基づいて、定期的に顔画像の予測移動位置が順次求められて、マスキングオンオフ制御部31に供給されることになる。尚、以上においては、予測移動位置を求めるに当たり、線形補間を用いるようにしていたが、それ以外の方法により計算するようにしてもよい。また、線形補間の場合、少なくとも2個以上の座標位置の情報が必要となるため、顔画像位置記憶部29に記憶されている情報が、2個以上の場合にのみ、以上の処理を実行するようにしても良い。
次に、図14のフローチャートを参照して、マスキングオンオフ制御処理について説明する。
ステップS131において、マスキングオンオフ制御部31は、顔画像移動位置予測部30より予測移動位置の情報が供給されてきたか否かを判定する。ステップS131において、供給されてきていないと判定された場合、ステップS132において、マスキングオンオフ制御部31は、顔画像位置記憶部29にアクセスし、各顔画像ID毎に最新の位置情報を取得すると共に、マスキング処理部23よりマスキング領域の情報を取得し、記憶されている今現在の顔画像の位置情報のうち、マスキング領域内に存在するものがあるか否かを判定する。
ステップS132において、例えば、図15の画像Pで示される顔画像F1乃至F3に対応する顔画像の位置情報のみが顔画像位置記憶部29に記憶されていた場合、マスキング領域Mに含まれるものは無いことになるため、ステップS133において、マスキングオンオフ制御部31は、スイッチ22を制御して、端子22aと端子22bとを接続することにより、スイッチ22をマスキング処理部23に接続して、画像取得部21より供給される画像が、マスキング処理部23により必ずマスキングされるように制御する。
一方、ステップS132において、例えば、顔画像F4乃至F6の位置情報が顔画像位置記憶部29に記憶されている場合、今現在の顔画像の位置情報のうち、マスキング領域内に存在するものがあることになるため、ステップS135において、マスキングオンオフ制御部31は、スイッチ22を制御して、端子22aと端子22cとを接続することにより、スイッチ22を顔画像抽出部24に接続して、画像取得部21より供給される画像が、マスキング処理部23を介さず、マスキングされないまま、顔画像抽出部24に供給されるように制御する。
また、ステップS131において、例えば、図13のフローチャートにおけるステップS114の処理により、予測移動位置が供給されてきた場合、ステップS134において、スイッチオンオフ制御部31は、予測移動位置のうち、マスキング領域内となるものがあるか否かを判定する。すなわち、図15で示されるように、顔画像F1乃至F3の位置情報に基づいて、顔画像顔画像F4が予測移動位置として求められた場合、その処理は、ステップS135に進む。
一方、ステップS134において、予測移動位置のうち、マスキング領域内となるものがないと判定された場合、その処理は、ステップS132に進む。
すなわち、以上の処理により、予測移動位置が求められ、マスキング領域Mに含まれると判定された場合、マスキング領域Mに含まれないと判定された場合であっても、今現在記憶されている最新の顔画像の位置情報がマスキング領域M内に存在するとき、または、予測移動位置が求められず、今現在記憶されている最新の顔画像の位置情報がマスキング領域M内に存在する場合、マスキング処理部23により画像にマスキング処理が施されると、それまで追跡していた顔画像がマスキングにより抽出できない状態となる。結果として、同一人物の顔画像を同一人物として(同一の顔画像IDとして)追跡ができなくなる恐れがあるため、スイッチ22を制御して、画像処理部21からの画像にマスキング処理を施さないように制御する。
一方、予測移動位置が求められず、かつ、今現在記憶されている最新の顔画像の位置情報がマスキング領域M内に存在しない予測移動位置が求められる場合、または、予測移動位置が求められたとしても、マスキング領域Mに含まれないと判定され、かつ、今現在記憶されている最新の顔画像の位置情報がマスキング領域M内に存在しない場合、マスキング処理部23により画像にマスキング処理を施すようにしても、それまで追跡していた顔画像はないため、不要な顔画像(例えば、図2のポスタB1上の顔画像など)が抽出されることがなくなるため、スイッチ22を制御して、画像処理部21からの画像にマスキング処理を施すように制御する。
以上の処理により、例えば、図15で示されるように、顔画像F1乃至F3を順次取得することにより、顔画像F4が次のタイミングで取得される顔画像の予測移動位置として計算されることにより、マスキング領域Mの範囲内に進入することが予測される。このとき、スイッチ22は、端子22aと端子22bとが接続された状態から端子22aと端子22cとが接続される状態となるように切り替えられることによりマスキング処理部23による処理が解除された状態となるため、マスキング領域Mの範囲内であっても顔画像F4乃至F6を抽出することができる。さらに、人物が移動し、顔画像F7で示されるように、マスキング領域Mの範囲から抜け出ると、移動位置記憶部29には、マスキング領域Mの範囲内に含まれる顔画像がない状態となるので、スイッチ22は、端子22aと端子22cとが接続された状態から端子22aと端子22bとが接続される状態となるように切り替えられることによりマスキング処理部23による処理が再び施される状態となるため、マスキング領域Mによりマスクされているポスタ上に描かれた顔画像が検出されない状態となる。結果として、人物の動きに合わせて、連続的に顔画像F1乃至F7を同一人物の顔画像として追跡しながら抽出することが可能となる。
換言すれば、追跡している顔画像のマスキング領域への接近を予測することにより、必要に応じてマスキング処理を停止させるようにしたので、ポスタなどに描かれている不要な顔画像を検出させて認識するような処理を低減させつつ、顔画像を正確に追跡することが可能となる。
尚、マスキング処理を一度停止させた後は、予測移動位置がマスキング領域から外れているタイミングではなく、今現在の顔画像の移動位置がマスキング領域から外れているタイミングで、再びマスキング処理を実行させている。これは、予測移動位置が仮にマスキング領域の外であったとしても、あくまで予測される移動位置なのであって、予測通りの動きとならないこともあり、予測された段階でマスキング処理を再度実行させることにより、顔画像を見失うといったことを防止するためである。以上のようにスイッチ22を制御することにより、同一人物の移動する顔画像を見失うことなく追跡することが可能となる。
また、以上においては、1つの顔画像を追跡する例について説明してきたが、当然のことながら、複数の顔画像であっても追跡することは可能である。ただし、同一の顔画像IDに登録された、連続的に所定の距離内に存在する顔画像のみであるので、例えば、図16で示されるように顔画像F11乃至F14により顔画像F15が予測位置として求められていても、振り返るなどして顔画像として認識できなくなると同時に、新たな人物の顔画像F21が抽出された場合には、別の人物として追跡することになる(別の顔画像IDとして位置情報が管理される)。
以上の如く、本発明の一側面の画像処理装置および方法、並びにプログラムによれば、画像より顔画像を抽出し、抽出する顔画像の画像内での移動位置を連続的に記憶し、記憶した顔画像の移動位置を予測し、前記画像の所定の領域に、顔画像の抽出が不能なマスキング領域を発生し、予測された顔画像の移動位置が、マスキング領域に含まれる場合、マスキング領域を発生しないように切り替えるようにしたので、ポスタや立看板などに含まれる顔画像を効果的にマスキングし、不要な顔画像認識処理を排除しつつ、顔画像を正確に追跡することが可能となる。
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図17は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)301を内蔵している。CPU301にはバス304を介して、入出力インタフェース305が接続されている。バス304には、ROM(Read Only Memory)302およびRAM(Random Access Memory)303が接続されている。
入出力インタフェース305には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部306、処理操作画面や処理結果の画像を表示デバイスに出力する出力部307、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部308、LAN(Local Area Network)アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部309が接続されている。また、磁気ディスク321(フレキシブルディスクを含む)、光ディスク322(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク323(MD(Mini Disc)を含む)、もしくは半導体メモリ324などの記録媒体に対してデータを読み書きするドライブ310が接続されている。
CPU301は、ROM302に記憶されているプログラム、または磁気ディスク321乃至半導体メモリ324から読み出されて記憶部308にインストールされ、記憶部308からRAM303にロードされたプログラムに従って各種の処理を実行する。RAM303にはまた、CPU301が各種の処理を実行する上において必要なデータなども適宜記憶される。
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
1,1−1乃至1−5 カメラ
2 画像処理ユニット
3 顔認識サーバ
4 報知部
21 画像取得部
22 スイッチ
23 マスキング処理部
24 顔画像抽出部
26 送信部
27 顔画像位置取得部
28 顔画像ID付加部
29 顔画像位置記憶部
30 顔画像移動位置予測部
31 スイッチオンオフ制御部
2 画像処理ユニット
3 顔認識サーバ
4 報知部
21 画像取得部
22 スイッチ
23 マスキング処理部
24 顔画像抽出部
26 送信部
27 顔画像位置取得部
28 顔画像ID付加部
29 顔画像位置記憶部
30 顔画像移動位置予測部
31 スイッチオンオフ制御部
Claims (10)
- 画像より顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶手段と、
前記移動位置記憶手段により記憶された前記顔画像の移動位置を予測する予測手段と、
前記画像の所定の領域に、前記顔画像抽出手段による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生手段と、
前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替手段と
を含む画像処理装置。 - 前記移動位置記憶手段は、前記顔画像抽出手段により抽出される顔画像の画像内での移動位置を、前記顔画像に設定される顔画像IDに対応付けて連続的に記憶する
請求項1に記載の画像処理装置。 - 前記顔画像抽出手段により抽出される顔画像のうち、同一の顔画像には同一の顔画像IDを設定する顔画像ID設定手段を含む
請求項1に記載の画像処理装置。 - 前記顔画像ID設定手段は、
前記顔画像抽出手段により抽出された最新の前記顔画像の位置から所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在しない場合、前記最新の前記顔画像に新たな顔画像IDを設定し、
前記顔画像抽出手段により抽出された最新の前記顔画像の位置から前記所定の距離範囲内に、前記移動位置記憶手段により直前のタイミングで記憶されている前記顔画像の画像内での移動位置が存在している場合、前記最新の前記顔画像に、直前のタイミングで記憶されている前記画像内での移動位置が記録されている顔画像の顔画像IDを設定する
請求項3に記載の画像処理装置。 - 前記予測手段は、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報に基づいて、前記画像の移動位置を予測する
請求項1に記載の画像処理装置。 - 前記予測手段は、同一の顔画像IDに対応付けて記憶されている複数の顔画像の移動位置の情報を線形補間することにより、前記画像の移動位置を予測する
請求項5に記載の画像処理装置。 - 前記切替手段は、前記予測手段により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替えた後、前記移動位置記憶手段に直前のタイミングで記憶されている顔画像の画像内での移動位置のうち、前記マスキング領域に含まれるものがない場合、再び前記マスキング領域が発生するように切り替える
請求項1に記載の画像処理装置。 - 登録者の顔画像を蓄積する蓄積手段と、
請求項1に記載のマスキング領域を発生するマスキング領域発生手段と、
前記顔画像抽出手段により抽出される顔画像より、前記顔画像を認識するための特徴量に基づいて、前記顔画像抽出手段により抽出された顔画像と、前記蓄積手段に蓄積された登録者の顔画像との類似度を計算する類似度計算手段と、
前記類似度計算手段により計算された類似度に基づいて、前記登録者が到来したか否かを判定する判定手段と
を含む監視装置。 - 画像より顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、
前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、
前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、
前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップと
を含む画像処理方法。 - 画像より顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出される顔画像の画像内での移動位置を連続的に記憶する移動位置記憶ステップと、
前記移動位置記憶ステップの処理により記憶された前記顔画像の移動位置を予測する予測ステップと、
前記画像の所定の領域に、前記顔画像抽出ステップの処理による顔画像の抽出が不能なマスキング領域を発生するマスキング領域発生ステップと、
前記予測ステップの処理により予測された前記顔画像の移動位置が、前記マスキング領域に含まれる場合、前記マスキング領域が発生しないように切り替える切替ステップと
を含む処理をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006030233A JP2007213170A (ja) | 2006-02-07 | 2006-02-07 | 画像処理装置および方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006030233A JP2007213170A (ja) | 2006-02-07 | 2006-02-07 | 画像処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007213170A true JP2007213170A (ja) | 2007-08-23 |
Family
ID=38491568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006030233A Withdrawn JP2007213170A (ja) | 2006-02-07 | 2006-02-07 | 画像処理装置および方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007213170A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009069831A1 (en) * | 2007-11-29 | 2009-06-04 | Kabushiki Kaisha Toshiba | Picture processing method and picture processing apparatus |
JP2013065994A (ja) * | 2011-09-16 | 2013-04-11 | Fujitsu Ltd | 画像処理装置、画像処理方法およびプログラム |
US8682031B2 (en) | 2008-04-23 | 2014-03-25 | Nec Corporation | Image processing device, camera, image processing method, and program |
JP7481785B2 (ja) | 2020-02-28 | 2024-05-13 | パナソニックオートモーティブシステムズ株式会社 | 検知装置、検知方法、およびプログラム |
-
2006
- 2006-02-07 JP JP2006030233A patent/JP2007213170A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009069831A1 (en) * | 2007-11-29 | 2009-06-04 | Kabushiki Kaisha Toshiba | Picture processing method and picture processing apparatus |
JP2011505601A (ja) * | 2007-11-29 | 2011-02-24 | 株式会社東芝 | 映像処理方法および映像処理装置 |
US8682031B2 (en) | 2008-04-23 | 2014-03-25 | Nec Corporation | Image processing device, camera, image processing method, and program |
JP5674465B2 (ja) * | 2008-04-23 | 2015-02-25 | レノボ・イノベーションズ・リミテッド(香港) | 画像処理装置、カメラ、画像処理方法およびプログラム |
JP2015111836A (ja) * | 2008-04-23 | 2015-06-18 | レノボ・イノベーションズ・リミテッド(香港) | 画像処理装置、カメラ、画像処理方法およびプログラム |
JP2013065994A (ja) * | 2011-09-16 | 2013-04-11 | Fujitsu Ltd | 画像処理装置、画像処理方法およびプログラム |
JP7481785B2 (ja) | 2020-02-28 | 2024-05-13 | パナソニックオートモーティブシステムズ株式会社 | 検知装置、検知方法、およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11879960B2 (en) | System and method for monitoring clinical activities | |
US10776627B2 (en) | Human flow analysis method, human flow analysis apparatus, and human flow analysis system | |
US10572736B2 (en) | Image processing apparatus, image processing system, method for image processing, and computer program | |
JP6233624B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2007219948A (ja) | ユーザ異常検出装置、及びユーザ異常検出方法 | |
JP5956248B2 (ja) | 画像監視装置 | |
JP5001808B2 (ja) | 犯罪防止装置及び犯罪防止プログラム | |
JP2005316582A (ja) | 待ち時間案内システムおよび方法およびプログラム | |
CN111445531A (zh) | 一种多目相机导航方法、装置、设备及存储介质 | |
JPWO2018179202A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
JP5147760B2 (ja) | 画像監視装置 | |
Irfan et al. | Crowd analysis using visual and non-visual sensors, a survey | |
JP2022093489A (ja) | 情報処理装置、情報処理システム、及び、通過管理方法 | |
JP2022117996A (ja) | 情報処理装置、データ生成方法、及びプログラム | |
JP2007213170A (ja) | 画像処理装置および方法、並びにプログラム | |
JP2016143302A (ja) | 情報通知装置、方法、およびプログラム | |
JP6015756B2 (ja) | 位置管理装置、位置管理システム、位置管理方法、及び、位置管理プログラム | |
KR100913396B1 (ko) | 모션벡터를 이용한 행위 인식 장치 및 그 방법 | |
JP2012185655A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2022164659A (ja) | 情報処理装置、情報処理システム、及び、推定方法 | |
JP6548683B2 (ja) | 対象物画像推定装置および対象物画像判定装置 | |
JP2004187116A (ja) | 行動監視システムおよびプログラム | |
EP4246464A1 (en) | Static privacy masking | |
JP7327571B2 (ja) | 情報処理システム、端末装置、認証対象の管理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090407 |