JP2016157165A - 人物特定システム - Google Patents
人物特定システム Download PDFInfo
- Publication number
- JP2016157165A JP2016157165A JP2015032726A JP2015032726A JP2016157165A JP 2016157165 A JP2016157165 A JP 2016157165A JP 2015032726 A JP2015032726 A JP 2015032726A JP 2015032726 A JP2015032726 A JP 2015032726A JP 2016157165 A JP2016157165 A JP 2016157165A
- Authority
- JP
- Japan
- Prior art keywords
- data
- face
- person
- angle range
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】同一人物の特定を正確にかつ迅速に行うことが可能な人物特定システムを提供する。
【解決手段】カメラ装置は、撮影した顔画像データと、予め記憶している所定の顔角度範囲毎のフィルタ顔画像データとを照合して、顔角度範囲を判定すると共に判定した所定の顔角度範囲を顔角度範囲データとして顔画像データに関連付ける顔角度範囲判定処理を行う。さらに、新たに撮影した顔画像データと、既に撮影して記憶している顔画像データとが、同じ顔角度範囲データに関連付けされている場合に、顔認識度の高い顔画像データを、関連付けた顔角度範囲でのベストショットと判定して記憶し、ベストショットと判定されなかった顔画像データを削除する顔角度範囲毎のベストショット判定処理を行う。その後、関連付けた顔角度範囲でのベストショットと判定された顔画像データを集計したベストショット集計データから人物管理データベースを作成して、人物の特定を行う。
【選択図】図12
【解決手段】カメラ装置は、撮影した顔画像データと、予め記憶している所定の顔角度範囲毎のフィルタ顔画像データとを照合して、顔角度範囲を判定すると共に判定した所定の顔角度範囲を顔角度範囲データとして顔画像データに関連付ける顔角度範囲判定処理を行う。さらに、新たに撮影した顔画像データと、既に撮影して記憶している顔画像データとが、同じ顔角度範囲データに関連付けされている場合に、顔認識度の高い顔画像データを、関連付けた顔角度範囲でのベストショットと判定して記憶し、ベストショットと判定されなかった顔画像データを削除する顔角度範囲毎のベストショット判定処理を行う。その後、関連付けた顔角度範囲でのベストショットと判定された顔画像データを集計したベストショット集計データから人物管理データベースを作成して、人物の特定を行う。
【選択図】図12
Description
本発明は、監視カメラ映像に於ける人物特定システムに関する。
従来、公園やアミューズメントパーク等の来場者をカメラ装置で撮影し、撮影した映像データをサーバー型情報処理装置に送信し、サーバー型情報処理装置にて顔認証による人物の特定を行うシステムがあった(例えば、特許文献1参照)。
しかし、同一人物の顔画像データであっても、サーバー型情報処理装置に記憶させている顔画像データと顔角度が異なる顔画像が撮影されると、顔認証を行った場合に、別人として判定され人物の特定ができないといった問題があった。また、一人の人物に対して複数の人物識別データ(人物ID)が付与され正確な出現履歴データを得ることができないといった問題や、不要な重複データが増加してしまうといった問題があった。
そこで、本発明は、同一人物の特定を正確にかつ迅速に行うことが可能な人物特定システムの提供を目的とする。
上記目的を達成するために、本発明の人物特定システムは、人物の顔を撮影するための撮影部と、人物の顔を撮影した顔画像データを記憶するためのカメラ側記憶部と、カメラ側演算処理部と、上記顔画像データをサーバー型情報処理装置へ送信するためのカメラ側送信部と、を有する監視用のカメラ装置を、備え、上記カメラ装置は、撮影した上記顔画像データと、予め上記カメラ側記憶部に記憶している所定の顔角度範囲毎のフィルタ顔画像データと、を照合して、上記顔画像データに対応する所定の顔角度範囲を判定すると共に判定した所定の顔角度範囲を顔角度範囲データとして上記顔画像データに関連付ける顔角度範囲判定処理を行い、さらに、上記カメラ装置は、新たに撮影した上記顔画像データと、既に撮影して記憶している上記顔画像データとが、同じ上記顔角度範囲データに関連付けされている場合に、顔認識度の高い上記顔画像データを、関連付けた顔角度範囲でのベストショットと判定して記憶し、ベストショットと判定されなかった上記顔画像データを削除する顔角度範囲毎のベストショット判定処理を行い、その後、関連付けた顔角度範囲でのベストショットと判定された上記顔画像データを集計したベストショット集計データを作成して上記サーバー型情報処理装置へ送信し、上記サーバー型情報処理装置は、上記ベストショット集計データを受信して人物管理データベースを作成し、該人物管理データベースに基づいて人物の特定を行うシステムである。
また、上記カメラ装置は、上記顔角度範囲データに関連付けられると共にベストショットと判定された上記顔画像データを人物特定用データとして、上記サーバー型情報処理装置へ送信する人物特定用データ送信処理を行い、上記サーバー型情報処理装置は、予め上記サーバー側記憶部に記憶されている上記人物管理データベースの内、受信した上記人物特定用データと同じ上記顔角度範囲データが関連付けられている上記顔画像データを読み出して、受信した上記人物特定用データの上記顔画像データと照合して、人物の特定を行うシステムである。
また、上記サーバー型情報処理装置は、受信した上記ベストショット集計データにおいて顔角度範囲が相互に近接する上記顔角度範囲データに関連付けされた上記顔画像データ同士を比較して、同一人物でないと判定した上記顔画像データを上記ベストショット集計データから削除する同一人物確認処理を行うシステムである。
また、上記カメラ装置は、上記ベストショット集計データと、撮影した日時データと、撮影した上記カメラ装置のカメラ識別データと、を関連付けて上記サーバー型情報処理装置に送信するシステムである。
また、上記サーバー型情報処理装置は、受信した上記ベストショット集計データにおいて顔角度範囲が相互に近接する上記顔角度範囲データに関連付けされた上記顔画像データ同士を比較して、同一人物でないと判定した上記顔画像データを上記ベストショット集計データから削除する同一人物確認処理を行うシステムである。
また、上記カメラ装置は、上記ベストショット集計データと、撮影した日時データと、撮影した上記カメラ装置のカメラ識別データと、を関連付けて上記サーバー型情報処理装置に送信するシステムである。
また、上記サーバー型情報処理装置は、上記カメラ装置から送信された上記顔画像データを、上記人物管理データベースの上記顔画像データと照合して、同一人物判定となった場合に、同一人物判定となった上記人物管理データベースの上記顔画像データに関連付けた顔角度範囲毎のベストショットである上記顔画像データと、上記日時データと、をサーバー側表示部に表示するシステムである。
また、上記顔角度範囲データは、上記撮影部のカメラ光軸と、人物の顔左右中心線と、の間の角度を顔角度として、所定撮影角度範囲を5分割した第1顔角度範囲データと第2顔角度範囲データと第3顔角度範囲データと第4顔角度範囲データと第5顔角度範囲データであるシステムである。
また、上記顔角度範囲データは、上記所定撮影角度範囲が−75度以上75度以下であって、上記第1顔角度範囲データは上記顔角度が−75度以上−45度未満の範囲を意味し、上記第2顔角度範囲データは上記顔角度が−45度以上−15度以下の範囲を意味し、上記第3顔角度範囲データは上記顔角度が−15度を越え15度未満の範囲を意味し、上記第4顔角度範囲データは、上記顔角度が15度以上45度以下の範囲を意味し、上記第5顔角度範囲データは上記顔角度が45度を越え75度以下の範囲を意味するシステムである。
また、上記カメラ装置は、人物の追跡を行う追跡処理中において、上記顔角度範囲データに関連付けられると共にベストショットと判定された上記顔画像データを追跡確認用データとして、上記サーバー型情報処理装置へ送信する追跡確認用データ送信処理を行い、上記サーバー型情報処理装置は、上記カメラ装置が追跡中に送信してきた最新の上記追跡確認用データと、上記カメラ装置が追跡中において送信した過去の上記追跡確認用データとを、照合して、同一人物で無い場合は、上記カメラ装置に追跡処理終了命令を送信するシステムである。
また、上記顔角度範囲データは、上記撮影部のカメラ光軸と、人物の顔左右中心線と、の間の角度を顔角度として、所定撮影角度範囲を5分割した第1顔角度範囲データと第2顔角度範囲データと第3顔角度範囲データと第4顔角度範囲データと第5顔角度範囲データであるシステムである。
また、上記顔角度範囲データは、上記所定撮影角度範囲が−75度以上75度以下であって、上記第1顔角度範囲データは上記顔角度が−75度以上−45度未満の範囲を意味し、上記第2顔角度範囲データは上記顔角度が−45度以上−15度以下の範囲を意味し、上記第3顔角度範囲データは上記顔角度が−15度を越え15度未満の範囲を意味し、上記第4顔角度範囲データは、上記顔角度が15度以上45度以下の範囲を意味し、上記第5顔角度範囲データは上記顔角度が45度を越え75度以下の範囲を意味するシステムである。
また、上記カメラ装置は、人物の追跡を行う追跡処理中において、上記顔角度範囲データに関連付けられると共にベストショットと判定された上記顔画像データを追跡確認用データとして、上記サーバー型情報処理装置へ送信する追跡確認用データ送信処理を行い、上記サーバー型情報処理装置は、上記カメラ装置が追跡中に送信してきた最新の上記追跡確認用データと、上記カメラ装置が追跡中において送信した過去の上記追跡確認用データとを、照合して、同一人物で無い場合は、上記カメラ装置に追跡処理終了命令を送信するシステムである。
本発明によれば、同一人物の顔画像データが、別人として判定されることを低減でき、人物の特定を正確かつ迅速に行うことができる。一人の人物に対して複数の人物識別データが付与されるような重複登録を防止でき、正確な出現履歴データを得ることができると共に、不要な重複データの増加を防止できる。また、カメラ装置でベストショット判定を行うので、サーバー型情報処理装置の処理負荷を軽減し、1台のサーバー型情報処理装置に数十台のカメラ装置を対応させることができる。つまり、カメラ装置の安価な組み込みマイコン(カメラ側演算処理部)でベストショット判定を行うため、高価で高性能なサーバー型情報処理装置の台数を増加させる必要がなくなり、全体としてシステムの導入費用を軽減できる。
以下、図示の実施形態に基づき本発明を詳説する。
本発明の人物特定システムは、図1及び図2に示すように、複数の監視用のカメラ装置1と、カメラ装置1とデータ(情報)を送受信可能に有線又は無線で接続された管理用サーバー型情報処理装置3(以下、サーバー装置3と呼ぶ場合もある)と、を備え、カメラ装置1の周辺に存在している人物の特定を行うシステムである。
本発明の人物特定システムは、図1及び図2に示すように、複数の監視用のカメラ装置1と、カメラ装置1とデータ(情報)を送受信可能に有線又は無線で接続された管理用サーバー型情報処理装置3(以下、サーバー装置3と呼ぶ場合もある)と、を備え、カメラ装置1の周辺に存在している人物の特定を行うシステムである。
複数のカメラ装置1とサーバー装置3は、LAN回線や、インターネットや上位管理回線網等の通信回線網Tやルータ2を介して、有線又は無線で接続されている。また、カメラ装置1やサーバー装置3は、ルータ2を有する(内蔵した)ものとするも良い。
特に、複数のカメラ装置1の全てをサーバー装置3やルータ(ハブ)2と有線接続(LAN接続)すれば、PoE給電によって、カメラ装置1毎の電源コンセントが不要となり、様々な箇所に設置できる。
特に、複数のカメラ装置1の全てをサーバー装置3やルータ(ハブ)2と有線接続(LAN接続)すれば、PoE給電によって、カメラ装置1毎の電源コンセントが不要となり、様々な箇所に設置できる。
カメラ装置1は、高級服飾店や宝石店等の店内や、遊園地やテーマパーク等の入退場ゲート、駅構内、パチンコ店やスロット店等の遊技場等の人出現予想区域に設けられる。
サーバー装置3は、スタッフルームや、守衛室、監視室、危機管理センター等の監視者区域に設けられる。
サーバー装置3は、スタッフルームや、守衛室、監視室、危機管理センター等の監視者区域に設けられる。
図1及び図2に示すように、カメラ装置1は、CCDカメラやCMOSカメラ等の撮影部15と、マイコンやCPU等のカメラ側演算処理部12と、データを記憶するためのRAMやフラッシュメモリ等のカメラ側記憶部11と、カメラ側記憶部11に記憶したデータを外部(サーバー装置3やルータ2等の外部機器)へ送信可能なカメラ側送信部18と、外部(サーバー装置3等)からの指令信号等のデータを受信可能なカメラ側受信部19と、を備えている。なお、図1及び図2において、カメラ側送信部18とカメラ側受信部19とをカメラ側送受信部として一体に図示している。
サーバー装置3は、カメラ装置1からデータを受信可能なサーバー側受信部39と、所定の処理を行うためのCPU等のサーバー側演算処理部32と、データを記憶するRAMやROM、HD(ハードディスク)等のサーバー側記憶部31と、サーバー側記憶部31のデータを表示可能な液晶モニター等のサーバー側表示部33と、データ検索や表示命令を指示するためのキーボードやマウス等のサーバー側入力部34と、データ検索結果を紙等に出力するためのプリンタ等のサーバー側出力部35と、データ(データファイル)を外部へ送信可能なサーバー側送信部38と、を備えたサーバー型パーソナルコンピュータ(サーバーPC)やサーバー型ワークステーション等の情報処理装置である。なお、図1及び図2において、サーバー側送信部38とサーバー側受信部39とを場内管理送受信部として一体に図示している。
先ず、カメラ装置1の機能(カメラ側演算処理部12の実行する処理及びカメラ側記憶部11が記憶するデータ)について説明する。
カメラ装置1は、人物(監視対象者)が存在するか否かを人型シルエットによって検知する人検知処理を行う。
人検知処理は、人型シルエットを検知すると、人物が存在しているという判定を行う。このように、人型シルエットによって人物が存在しているか否かを形状検知することで、処理速度を向上させている。なお、人検知処理は、温度分布を監視して、人を検知しても良い。
カメラ装置1は、人物(監視対象者)が存在するか否かを人型シルエットによって検知する人検知処理を行う。
人検知処理は、人型シルエットを検知すると、人物が存在しているという判定を行う。このように、人型シルエットによって人物が存在しているか否かを形状検知することで、処理速度を向上させている。なお、人検知処理は、温度分布を監視して、人を検知しても良い。
また、検知した人物の顔を抽出して顔画像を撮影し、図4に示すような顔画像データAを作成する顔抽出処理を行う。
顔抽出処理は、例えば、両目や鼻、口、輪郭等を認識して人の顔を抽出して顔画像(顔静止画像)データAを作成する。
顔抽出処理は、例えば、両目や鼻、口、輪郭等を認識して人の顔を抽出して顔画像(顔静止画像)データAを作成する。
また、人検知した人物を、追跡する追跡処理を行える。
追跡処理は、人検知後に、人物の存在している箇所と存在していない箇所を比較し、その後の変化を検出して、人物の移動ベクトル(予想進行方向)を算出して人を追跡する。
また、移動ベクトルと合わせて人物が着衣している衣服の色を追いかけて人物の追跡を行うのが、追跡の誤認を防止でき、追跡をより正確に行うことができて好ましい。
また、カメラ装置1は、適正に追跡が行われている間に撮影した顔画像データAは、同一人物として推定し、同じ人物識別データ(人物ID)を顔画像データAに関連付ける。
追跡処理は、人検知後に、人物の存在している箇所と存在していない箇所を比較し、その後の変化を検出して、人物の移動ベクトル(予想進行方向)を算出して人を追跡する。
また、移動ベクトルと合わせて人物が着衣している衣服の色を追いかけて人物の追跡を行うのが、追跡の誤認を防止でき、追跡をより正確に行うことができて好ましい。
また、カメラ装置1は、適正に追跡が行われている間に撮影した顔画像データAは、同一人物として推定し、同じ人物識別データ(人物ID)を顔画像データAに関連付ける。
また、図4に示すように、カメラ装置1は、顔画像データAを作成すると、撮影した顔画像データAと、予めカメラ側記憶部11に記憶しているフィルタデータJの所定の顔角度範囲毎のフィルタ顔画像データIと、を照合して、顔画像データAに対応する所定の顔角度範囲を判定する。さらに、判定した顔角度範囲を顔角度範囲データBとして顔画像データAに関連付けた顔データCを作成する顔角度範囲判定処理を行う。
フィルタデータJは、複数(図例においては5つ)のフィルタ顔画像データI(I1〜I5)と、フィルタ顔画像データIの顔角度範囲を意味する複数の顔角度範囲データB(B1〜B5)と、を有し、各フィルタ顔画像データIの顔角度範囲に対応して顔角度範囲データBを関連付けているものである。
顔角度範囲判定処理は、顔抽出処理にて作成した顔画像データAが、顔角度範囲データBに関連付けている複数のフィルタ顔画像データIの内、どれに最も近いか照合(比較)して特徴点の一致が最も多いフィルタ顔画像データIを決定し、決定したフィルタ顔画像データIに関連付けている顔角度範囲データBを確認(抽出)し、確認した顔角度範囲データBと、顔抽出処理にて作成した顔画像データAと、を関連付けて、顔データCを作成する。
ここで、図3に示すように、顔角度範囲データBの一例としては、カメラ装置1の撮影部15のカメラ光軸L1と、人物の顔左右中心線Laと、の間の角度を顔角度θとして、顔角度θの範囲を設定している。
フィルタ顔画像データIは、数千人以上の人物を様々な顔角度θで撮影したサンプル顔画像データを集計・解析して作成した所定の顔角度範囲での基準(標準)顔画像データである。
なお、顔角度θは、上述のような顔が左右を向いた際の角度(左右顔角度)に限らず、例えば、顔が上下を向いた際の角度(上下顔角度)や、首を傾げた際の角度(傾斜顔角度)等、或いは、これらを組み合わせたような角度とするも良い。
顔角度範囲データBは、上記の様々な顔の向き角度を顔角度θとして、適宜設定すれば良い。
フィルタ顔画像データIは、数千人以上の人物を様々な顔角度θで撮影したサンプル顔画像データを集計・解析して作成した所定の顔角度範囲での基準(標準)顔画像データである。
なお、顔角度θは、上述のような顔が左右を向いた際の角度(左右顔角度)に限らず、例えば、顔が上下を向いた際の角度(上下顔角度)や、首を傾げた際の角度(傾斜顔角度)等、或いは、これらを組み合わせたような角度とするも良い。
顔角度範囲データBは、上記の様々な顔の向き角度を顔角度θとして、適宜設定すれば良い。
また、顔角度範囲データBは、顔認識(顔認証)に適した所定撮影角度範囲(θa≦θ≦θf)を、5分割した5つの顔角度範囲データB1,B2,B3,B4,B5である。
最小顔角度を第1顔角度θaとし、第1顔角度θaよりも大きい角度を第2顔角度θbとし、第2顔角度θbよりも大きい角度を第3顔角度θcとし、第3顔角度θcよりも大きい角度を第4顔角度θdとし、第4顔角度θdよりも大きい角度を第5顔角度θeとし、第5顔角度θeよりも大きい角度を第6顔角度θfとし(最大顔角度を第6顔角度θfとし)、第1顔角度θa以上第2顔角度θb未満の第1顔角度範囲データB1と、第2顔角度θb以上第3顔角度θc以下の第2顔角度範囲データB2と、第3顔角度θcを越え第4顔角度θd未満の第3顔角度範囲データB3と、第4顔角度θd以上第5顔角度θe以下の第4顔角度範囲データB4と、第5顔角度θeを越え第6顔角度θf以下の第5顔角度範囲データB5と、である。
最小顔角度を第1顔角度θaとし、第1顔角度θaよりも大きい角度を第2顔角度θbとし、第2顔角度θbよりも大きい角度を第3顔角度θcとし、第3顔角度θcよりも大きい角度を第4顔角度θdとし、第4顔角度θdよりも大きい角度を第5顔角度θeとし、第5顔角度θeよりも大きい角度を第6顔角度θfとし(最大顔角度を第6顔角度θfとし)、第1顔角度θa以上第2顔角度θb未満の第1顔角度範囲データB1と、第2顔角度θb以上第3顔角度θc以下の第2顔角度範囲データB2と、第3顔角度θcを越え第4顔角度θd未満の第3顔角度範囲データB3と、第4顔角度θd以上第5顔角度θe以下の第4顔角度範囲データB4と、第5顔角度θeを越え第6顔角度θf以下の第5顔角度範囲データB5と、である。
より具体的には、顔角度範囲データBは、人物が撮影部15と対面している状態(カメラ光軸L1と顔左右中心線Laとが平行又は一致している状態)で、顔角度θを0度とし、その時の左右一方をマイナス側、左右他方をプラス側として、−75度以上75度以下の所定撮影角度範囲(θa≦θ≦θf)の間を、略均等に5分割した5つの顔角度範囲データB1,B2,B3,B4,B5であって、第1顔角度範囲データB1は顔角度θが−75度以上−45度未満の範囲を意味し、第2顔角度範囲データB2は顔角度θが−45度以上−15度以下の範囲を意味し、第3顔角度範囲データB3は顔角度θが−15度を越え15度未満の範囲を意味し、第4顔角度範囲データB4は、顔角度θが15度以上45度以下の範囲を意味し、第5顔角度範囲データB5は顔角度θが45度を越え75度以下の範囲を意味するように、設定している。
また、カメラ装置1は、図5に示すように、新たに撮影した顔画像データAと、既に撮影してカメラ側記憶部11に記憶していた顔データCの顔画像データAとが、人物識別データが同じであって同じ顔角度範囲データBに関連付けされている場合に(新たに作成した顔データCと既に作成して記憶している顔データCが同じ人物識別データ及び顔角度範囲データBを有する場合に)、両者を比較して、顔認識度の高い顔画像データAを、関連付けた顔角度範囲でのベストショットと判定して記憶し、ベストショットと判定されなかった顔データC(顔画像データA)を削除する顔角度範囲毎のベストショット判定処理を行う。
ここで、顔認識度とは、顔らしさを数値化した度合いであり、例えば、両目と鼻と口の各配置バランス値を算出し、予めカメラ側記憶部11に記憶している顔らしさ基準値を読み出して比較し、顔らしさ基準値に近い程、顔認識度(顔認識点数)を高くする。また、顔認証プログラム(ソフトウエア)によって、推定年齢や推定性別を算出する顔認証処理を行いやすいデータ(エラーのでにくいデータ)程、顔認識度を高くする。
また、カメラ装置1は、図6に示すように、関連付けた顔角度範囲でのベストショットと判定された顔画像データAと、その顔画像データAに関連付けている顔角度範囲データBと、撮影したカメラ装置1のカメラ識別データEと、人物識別データ(図示省略)と、を関連付けた人物特定用データHを作成して、サーバー装置3へ送信する人物特定用データ送信処理を行う。
カメラ識別データEとは、カメラ装置1の名称、設置場所、識別記号等、どのカメラ装置1で撮影したデータであるか判別可能な情報であれば良い。なお、本発明に於て識別記号の「記号」とは文字や数字を含む。
また、カメラ装置1は、同じ人物識別データを有する顔データCを用いて、図7に示すように、関連付けた顔角度範囲でのベストショットと判定された顔画像データAと、その顔画像データAに関連付けている顔角度範囲データBと、を集計したベストショット集計データDを作成するベストショット集計データ作成処理を行う。なお、ベストショット集計データDを作成するの「作成」とは、データを記憶処理、更新処理、追加処理、削除処理を含む。
ベストショット集計データDには、同じ人物識別データが付与されると共に異なる顔角度範囲データBが関連付けられた複数種類の顔画像データA(ベストショットデータ)を集計したデータであって、具体的には、第1顔角度範囲データB1に対応する所定顔角度範囲でのベストショットである第1の顔画像データA1と、第2顔角度範囲データB2に対応する所定顔角度範囲でのベストショットである第2の顔画像データA2と、第3顔角度範囲データB3に対応する所定顔角度範囲でのベストショットである第3の顔画像データA3と、第4顔角度範囲データB4に対応する所定顔角度範囲でのベストショットである第4の顔画像データA4と、第5顔角度範囲データB5に対応する所定顔角度範囲でのベストショットである第5の顔画像データA5と、を一纏めにしたデータである。
さらに、カメラ装置1は、図8に示すように、ベストショット集計データDと、カメラ識別データEと、撮影した日時データFと、を関連付けた人物管理用データGを作成してサーバー装置3へ送信する人物管理用データ送信処理を行う。
日時データとは、時間データ及び日付(年月日)データの一方又は両方を有するデータであれば良い。また、日時データは、カメラ装置1が人を検知して顔画像データAを作成した日付や時刻から、追跡処理による追跡が不可能となった日付や時刻までの情報とする。
日時データとは、時間データ及び日付(年月日)データの一方又は両方を有するデータであれば良い。また、日時データは、カメラ装置1が人を検知して顔画像データAを作成した日付や時刻から、追跡処理による追跡が不可能となった日付や時刻までの情報とする。
次に、カメラ装置1の処理フローについて説明する。
図12に於て、第1ステップS1にてカメラ装置1の前に人物が出現すると、人検知処理にて人物を検知し、第2ステップS2に進んで、顔抽出処理を行う。顔抽出処理にて人物識別データを関連付けた顔画像データAを作成し、第3ステップS3に進んで、作成した顔画像データAを顔角度範囲判定処理して、人物識別データと顔角度範囲データBと関連付けた顔データCを作成する。
図12に於て、第1ステップS1にてカメラ装置1の前に人物が出現すると、人検知処理にて人物を検知し、第2ステップS2に進んで、顔抽出処理を行う。顔抽出処理にて人物識別データを関連付けた顔画像データAを作成し、第3ステップS3に進んで、作成した顔画像データAを顔角度範囲判定処理して、人物識別データと顔角度範囲データBと関連付けた顔データCを作成する。
顔データCを作成後、第4ステップS4に進んで、顔角度範囲毎のベストショット判定処理を行う。初めて撮影した(1つ目の)顔データCの顔画像データA(関連付けた顔角度範囲での1つ目の顔画像データA)は、ベストショットと判定する。
第4ステップS4でベストショットと判定した場合は、第5ステップS5に進んで、ベストショット(データ)と判定した顔データC(顔画像データAと顔角度範囲データBと人物識別データ)と、カメラ識別データEと、を関連付けて人物特定用データHとしてサーバー装置3へ送る。
また、第4ステップS4でベストショットと判定した場合は、第6ステップS6に進んで、同じ人物識別データが関連付けられた顔画像データAに対して、ベストショット集計データDを作成する。
第6ステップS6にてベストショット集計データDを作成後に、第8ステップS8に進んで、動体検知による追跡処理を行い追跡が適正に行われているか否かの追跡判定処理を行う。この追跡処理による追跡中に撮影した顔画像データAは、同一人物であると仮に決定して(推定して)、同じ人物識別データが関連付けられる。
第4ステップS4でベストショットと判定した場合は、第5ステップS5に進んで、ベストショット(データ)と判定した顔データC(顔画像データAと顔角度範囲データBと人物識別データ)と、カメラ識別データEと、を関連付けて人物特定用データHとしてサーバー装置3へ送る。
また、第4ステップS4でベストショットと判定した場合は、第6ステップS6に進んで、同じ人物識別データが関連付けられた顔画像データAに対して、ベストショット集計データDを作成する。
第6ステップS6にてベストショット集計データDを作成後に、第8ステップS8に進んで、動体検知による追跡処理を行い追跡が適正に行われているか否かの追跡判定処理を行う。この追跡処理による追跡中に撮影した顔画像データAは、同一人物であると仮に決定して(推定して)、同じ人物識別データが関連付けられる。
追跡が適正に行われていれば人検知処理(第1ステップS1)又は顔抽出処理(第2ステップS2)に戻って、追跡中に、2つ目の顔画像データAを作成し、第3ステップS3に進んで、顔角度範囲判定処理を行って、2つ目の顔データCを作成する。
第3ステップS3後に、第4ステップS4に進んで、2つ目の(新たに作成した)顔データCが、1つ目の顔データC(既に撮影して記憶されベストショット集計データDに含まれる顔データC)と、異なる顔角度範囲データBを有している場合は、関連付けられた顔角度範囲でのベストショットデータとして判定し、第5ステップS5に進んで人物特定用データ送信処理を行う。また、第6ステップS6に進んで、ベストショット集計データDに追加する(ベストショット集計データ作成処理)。
また、第4ステップS4にて、2つ目の顔データCが、既に撮影して記憶されベストショット集計データDに含まれる顔データCと、同じ顔角度範囲データBを有している場合は、2つ目の顔データCの顔画像データAと、1つ目の顔データCの顔画像データAと、を比較して、どちらが関連付けた顔角度範囲でのベストショットかを判定する。
そして、2つ目の顔データCの顔画像データAをベストショットと判定した場合は、第5ステップS5に進んで人物特定用データ送信処理を行う。また、第6ステップS6に進んで、1つ目の顔データCの顔画像データAをベストショットデータDから削除し2つ目の顔画像データAに更新する(ベストショット集計データ作成処理)。
また、1つ目の顔データCの顔画像データAをベストショットデータと判定した場合は、第7ステップS7に進んで、2つ目の顔画像データA(顔データC)を削除する。
第3ステップS3後に、第4ステップS4に進んで、2つ目の(新たに作成した)顔データCが、1つ目の顔データC(既に撮影して記憶されベストショット集計データDに含まれる顔データC)と、異なる顔角度範囲データBを有している場合は、関連付けられた顔角度範囲でのベストショットデータとして判定し、第5ステップS5に進んで人物特定用データ送信処理を行う。また、第6ステップS6に進んで、ベストショット集計データDに追加する(ベストショット集計データ作成処理)。
また、第4ステップS4にて、2つ目の顔データCが、既に撮影して記憶されベストショット集計データDに含まれる顔データCと、同じ顔角度範囲データBを有している場合は、2つ目の顔データCの顔画像データAと、1つ目の顔データCの顔画像データAと、を比較して、どちらが関連付けた顔角度範囲でのベストショットかを判定する。
そして、2つ目の顔データCの顔画像データAをベストショットと判定した場合は、第5ステップS5に進んで人物特定用データ送信処理を行う。また、第6ステップS6に進んで、1つ目の顔データCの顔画像データAをベストショットデータDから削除し2つ目の顔画像データAに更新する(ベストショット集計データ作成処理)。
また、1つ目の顔データCの顔画像データAをベストショットデータと判定した場合は、第7ステップS7に進んで、2つ目の顔画像データA(顔データC)を削除する。
そして、第6ステップS6又は第7ステップS7後に、第8ステップS8に進んで、追跡判定処理にて人物の追跡が適正に行われていると判定されている間(追跡中)は、人検知処理(第1ステップS1)又は顔抽出処理(第2ステップS2)に戻って、顔角度範囲判定処理(第3ステップS3)と、顔角度範囲毎のベストショット判定処理(第4ステップS4)と、進み、ベストショット判定の場合は、人物特定用データ送信処理(第5ステップS5)を行う。また、第6ステップS6のベストショット集計データ作成処理(更新処理、追加処理、削除処理)を行い、第8ステップS8に進む。
ベストショット判定処理(第4ステップS4)にて、ベストショットでないと判定の場合は、第4ステップS4から第7ステップS7に進んで、ベストショットに判定されなかった顔画像データAを削除して、第8ステップS8に進む。第8ステップS8に進んで、追跡判定処理にて人物の追跡が適正に行われていると判定されている間(追跡中)は、上述の処理を繰り返す(ループ処理)。なお、追跡処理中は、追跡信頼性を向上させるために、サーバー装置3と定期的(所定時間毎や所定条件毎)に連繋するのが望ましい。例えば、カメラ装置1からサーバー装置3に送信される追跡中の人物の最新の顔画像データAと、追跡中においてカメラ装置1からサーバー装置3に送信してサーバー装置3が記憶している過去の顔画像データAとを、サーバー装置3にて照合して、追跡している人物が同一人物である度合いを意味する追跡信頼度を算出し、カメラ装置1は、追跡信頼度が所定の閾値以上か(高いか)、閾値未満か(低いか)で、ループ処理の戻り先(人検知処理に戻るか顔抽出処理に戻るか)を決定するようにするのが望ましい。なお、追跡信頼度の要素としては、移動物の近接度合も参照するのも望ましい。
ベストショット判定処理(第4ステップS4)にて、ベストショットでないと判定の場合は、第4ステップS4から第7ステップS7に進んで、ベストショットに判定されなかった顔画像データAを削除して、第8ステップS8に進む。第8ステップS8に進んで、追跡判定処理にて人物の追跡が適正に行われていると判定されている間(追跡中)は、上述の処理を繰り返す(ループ処理)。なお、追跡処理中は、追跡信頼性を向上させるために、サーバー装置3と定期的(所定時間毎や所定条件毎)に連繋するのが望ましい。例えば、カメラ装置1からサーバー装置3に送信される追跡中の人物の最新の顔画像データAと、追跡中においてカメラ装置1からサーバー装置3に送信してサーバー装置3が記憶している過去の顔画像データAとを、サーバー装置3にて照合して、追跡している人物が同一人物である度合いを意味する追跡信頼度を算出し、カメラ装置1は、追跡信頼度が所定の閾値以上か(高いか)、閾値未満か(低いか)で、ループ処理の戻り先(人検知処理に戻るか顔抽出処理に戻るか)を決定するようにするのが望ましい。なお、追跡信頼度の要素としては、移動物の近接度合も参照するのも望ましい。
第8ステップS8にて、人物がカメラ装置1の撮影領域から外れる、或いは、物陰に隠れて追跡不可能になると、第9ステップS9に進んで、追跡終了とし、その後、第10ステップS10に進んで、1つの人物識別データに関するベストショット集計データDと、カメラ識別データEと、撮影した日時データFと、を関連付けた人物管理用データGを作成して、サーバー装置3に送信する人物管理用データ送信処理を行う。そして、第1ステップS1に戻る。
次に、サーバー装置3の機能(サーバー側演算処理部32が実行する処理及びサーバー側記憶部31が記憶するデータ)及び、処理フロ−について説明する。
図9及び図13に示すように、第11ステップS11にて、カメラ装置1から送信された人物管理用データGを受信すると、第12ステップS12に進んで、受信した人物管理用データGのベストショット集計データD内で、顔角度範囲が相互に近接(隣接)する顔画像データA同士を、比較して、特徴点の差(非同一人物可能性確率)又は特徴点の一致数(同一人物可能性確率)を算出する。求めた比較結果が、所定判定条件を満たすか否かによって(他の比較結果と大きく異なるか、又は、所定閾値以上か否か、或いは、所定閾値範囲内か否かによって)、同一人物の可能性が低い顔画像データAを抽出し、さらに、抽出した顔画像データAに対して、上述の求めた比較結果を参照して同一人物か否かを判定する。同一人物でない(非同一人物)と判定した顔画像データAを削除し、同一人物と判定した顔画像データAを残存させる同一人物確認処理を行う。
図9及び図13に示すように、第11ステップS11にて、カメラ装置1から送信された人物管理用データGを受信すると、第12ステップS12に進んで、受信した人物管理用データGのベストショット集計データD内で、顔角度範囲が相互に近接(隣接)する顔画像データA同士を、比較して、特徴点の差(非同一人物可能性確率)又は特徴点の一致数(同一人物可能性確率)を算出する。求めた比較結果が、所定判定条件を満たすか否かによって(他の比較結果と大きく異なるか、又は、所定閾値以上か否か、或いは、所定閾値範囲内か否かによって)、同一人物の可能性が低い顔画像データAを抽出し、さらに、抽出した顔画像データAに対して、上述の求めた比較結果を参照して同一人物か否かを判定する。同一人物でない(非同一人物)と判定した顔画像データAを削除し、同一人物と判定した顔画像データAを残存させる同一人物確認処理を行う。
例えば、図9に示すように、第1の顔画像データA1と第2の顔画像データA2との比較、第2の顔画像データA2と第3の顔画像データA3との比較、第3の顔画像データA3と第4の顔画像データA4との比較、第4の顔画像データA4と第5の顔画像データA5との比較を行う。そして、第1の顔画像データA1と第2の顔画像データA2との比較結果が、所定判定条件を満たさないと判定すると、第1の顔画像データA1と第2の顔画像データA2が同一人物の可能性が低いとして抽出される。そこで、第2の顔画像データA2と第3の顔画像データA3との比較結果を参照(確認)すると同一人物可能性が高いと判定されるため、第1の顔画像データA1を同一人物でないと判定して削除し、第2・第3・第4・第5の顔画像データA2,A3,A4,A5を残存させる。
このように処理することで、非同一人物を同一人物であると判定するような誤判定を防止できる。
なお、同一人物でないと判定した顔画像データA1を、削除せずに、削除対象データとして残存させても良い。
このように処理することで、非同一人物を同一人物であると判定するような誤判定を防止できる。
なお、同一人物でないと判定した顔画像データA1を、削除せずに、削除対象データとして残存させても良い。
同一人物確認処理は、顔画像データAを顔認証によって、顔の両目、鼻、口、輪郭の形状や配置バランス等の特徴点を比較している。
このように、顔角度範囲が相互に近接(隣接)する顔画像データA同士を、比較することで、顔角度θが近いため、正確で高精度な同一人物確認処理を行うことができる。
このように、顔角度範囲が相互に近接(隣接)する顔画像データA同士を、比較することで、顔角度θが近いため、正確で高精度な同一人物確認処理を行うことができる。
同一人物確認処理によって、カメラ装置1で人物を追跡中に、異なる人物とすれ違った場合や、カメラ装置1と追跡中の人物との間を異なる人物が通り過ぎた場合等、異なる人物を誤って追跡し、同じ人物識別データが付与されながらも、実際には異なる人物の顔画像データAが作成され、しかも、ベストショットデータと判定されて人物管理用データGとしてサーバー装置3に送信された場合に、複数種類のベストショットデータ(顔画像データA)から、非同一人物のベストショットデータ(顔画像データA)を排除でき、人物特定の正確性(信頼性)を向上できる。
サーバー装置3は、次々と受信する人物識別データ毎の人物管理用データGに対して同一人物確認処理を行う。同一人物確認処理後に、第13ステップS13に進んで、人物管理データベースZ(図10参照)を作成して、サーバー側記憶部31に記憶する(データベース作成処理)。なお、データベース作成処理の「作成処理」とは、更新処理、追加処理、削除処理、記憶処理を含む。
また、データベース作成処理において、同一人物確認処理後の人物管理用データGの顔画像データAと、サーバー側記憶部31に予め記憶させている人物管理データベースZ(図10参照)の顔画像データAと、を照合して、顔認証によって同一人物と判定される顔画像データAがあった場合は、顔認識度の高い顔画像データAを記憶し、低いデータは削除する。つまり、データベース用の顔角度範囲毎のベストショット判定処理を行い、人物管理データベースZを更新して、サーバー側記憶部31に記憶する(更新処理と削除処理と記憶処理)。
また、データベース作成処理において、同一人物確認処理後の人物管理用データGの顔画像データAと、人物管理データベースZの顔画像データAと、を照合して、顔認証によって同一人物と判定される顔画像データAがなかった場合は、新たな人物のデータとして、人物管理用データGを人物管理データベースZに追加して、サーバー側記憶部31に記憶する(追加処理と記憶処理)。
なお、人物識別データの関連付けは、サーバー装置3での同一人物確認処理の前後に新たな人物識別データを付与し直しても良い。
人物管理用データGやベストショットデータ更新処理の場合は、先に(予め)記憶して顔画像データAに関連付けていた人物識別データを優先させて人物管理データベースZに残す。
なお、人物識別データの関連付けは、サーバー装置3での同一人物確認処理の前後に新たな人物識別データを付与し直しても良い。
人物管理用データGやベストショットデータ更新処理の場合は、先に(予め)記憶して顔画像データAに関連付けていた人物識別データを優先させて人物管理データベースZに残す。
さらに、サーバー装置3は、図10と図14に示すように、第14ステップS14にて、人物特定用データHを受信すると、第15ステップS15に進んで、人物特定用データHの顔角度範囲データBを確認し、予めサーバー側記憶部31に記憶されている人物管理データベースZの内、確認した顔角度範囲データBと同じ顔角度範囲データBに関連付けられている顔画像データAを読み出して(図10太線枠内の顔画像データAを抽出して)、人物特定用データHの顔画像データAを、人物管理データベースZから読み出した(人物管理データベースZの)顔画像データAと照合して、同一人物か否かを判定して、人物の特定を行う人物特定処理を行う。
なお、人物管理データベースZの内、人物特定用データHの顔角度範囲データBに近接する顔角度範囲データBに関連付けられている顔画像データAを含めて、照合して、人物の特定を行っても良い。
なお、人物管理データベースZの内、人物特定用データHの顔角度範囲データBに近接する顔角度範囲データBに関連付けられている顔画像データAを含めて、照合して、人物の特定を行っても良い。
そして、人物が特定できた場合、つまり、既に(過去に)カメラ装置1によって人物管理用データGが作成され、サーバー装置3の人物管理データベースZに顔画像データAが記憶されている場合は、第16ステップS16に進んで、図11に示すように、同一人物判定となった人物管理データベースZから読み出した(抽出した)顔画像データAに関連付けている顔角度範囲毎のベストショットである(複数種類の)顔画像データAと、日時データFと、カメラ識別データEと、をサーバー側表示部33に表示する特定結果表示処理を行う。その後、第14ステップS14に戻る。
特定結果表示処理において、サーバー側表示部33には、日時データFを集計した出現履歴と、カメラ装置1のカメラ識別データEに基づく撮影区域、人物識別データ(人物ID)、顔認証によって算出した推定年齢と推定性別を表示する。また、会員カードやポイントカード等の顧客情報によって個人情報が判明している場合は、人物識別データ(人物ID)に、氏名や住所、連絡先、勤務先を関連付けて表示させても良い。
また、日時データF(出現履歴)とカメラ識別データE(撮影区域)を集計・解析して来店回数や購買回数を算出して、表示させてもよい。例えば、レジ横のカメラ装置1にて撮影された回数を購入回数として表示させてもよい。このように、サーバー側表示部33に表示させることで、店員は、来店した客の顔や購入履歴を覚えていなくても、購入する可能性の高い客(お得意様)か否かを知ることができ、エスコートや新商品の紹介等、細かいサービスを、無駄なく行える(購入意思の少ない客に時間をかける必要がなくなる)。
また、この表示内容は、サーバー側入力部34にて所定操作を行うことで、サーバー側出力部35から紙に印刷して出力可能である。
また、サーバー側入力部34にて所定操作を行うことで、総購入金額情報やクレーム情報等を人物識別データに関連付けてサーバー側記憶部31に記憶させることができる。
また、サーバー側入力部34にて所定操作を行うことで、総購入金額情報やクレーム情報等を人物識別データに関連付けてサーバー側記憶部31に記憶させることができる。
さらに、カメラ装置1が人を追跡する追跡処理中においてサーバー装置3と連繋することで、カメラ装置1にて追跡中の人物が同一人物か否かの追跡人物確認処理を行うのが望ましい。
追跡人物確認処理は、図15に示すように、カメラ装置1が人物の追跡を行う追跡処理を開始(第17ステップS17)後に、第18ステップS18において、カメラ装置1は、追跡処理中に作成した、(関連付けた顔角度範囲での)ベストショットの顔画像データAと、顔角度範囲データBと、カメラ識別データEと、人物識別データと、を関連付けて追跡確認用データとして、サーバー装置3に送信する(追跡確認用データを作成してサーバー装置3に送信する追跡確認用データ送信処理を行う)。
サーバー装置3は、受信した追跡確認用データを、追跡中人物管理データベースに保存する。
そして、サーバー装置3は、カメラ装置1が追跡中に送信してきた最新の追跡確認用データ(の顔画像データA)と、その最新の追跡確認用データと同じ顔角度データB及び人物識別データを有し(カメラ装置1が同一人物と推定し)カメラ装置1が追跡中において既に送信してサーバー装置3の追跡中人物管理データベースに保存されている過去の追跡確認用データ(の顔画像データA)と、を照合して、同一人物か否かを判定する追跡同一人物判定処理を行う(第19ステップS19)。
そして、サーバー装置3は、カメラ装置1が追跡中に送信してきた最新の追跡確認用データ(の顔画像データA)と、その最新の追跡確認用データと同じ顔角度データB及び人物識別データを有し(カメラ装置1が同一人物と推定し)カメラ装置1が追跡中において既に送信してサーバー装置3の追跡中人物管理データベースに保存されている過去の追跡確認用データ(の顔画像データA)と、を照合して、同一人物か否かを判定する追跡同一人物判定処理を行う(第19ステップS19)。
サーバー装置3は、第20ステップS20において、追跡同一人物判定処理の判定結果が同一人物で無い場合は、第21ステップS21に進んで、追跡処理終了命令をカメラ装置1に送信する。カメラ装置1は、追跡処理終了命令を受信して追跡処理を終了する(第22ステップS22)。その後、人物管理用データ送信処理(図12の第10ステップS10参照)を行う。従って、人物管理用データGに同一人物でない顔画像データAが含まれるのを低減できる。
また、同一人物である場合は追跡処理中止命令を送信せず、カメラ装置1は追跡を継続する。
また、同一人物である場合は追跡処理中止命令を送信せず、カメラ装置1は追跡を継続する。
なお、本発明は、設計変更可能であって、図示省略するが、サーバー装置3は、管理区域に1つでは無く、複数設けても良い。サーバー装置3は情報通信回線網Tを介して、他の管理区域のサーバー装置3と各データ(情報)を送受信可能に設けても良い。顔角度範囲データBは、所定撮影角度範囲を4分割や6分割したデータとするも良い。所定撮影顔角度範囲をマイナス90度以上90度以下とするも良い。
なお、各ステップの名称の数字「第1」や「第11」等、符号「S1」や「S11」等は、説明を容易にするために付与したものであって、処理の順番を意味するものでは無い。
また、カメラ装置1が記憶するとは、言い換えると、カメラ側演算処理部12がカメラ側記憶部11へ記憶させると言える。サーバー装置3が記憶するとは、言い換えると、サーバー側演算処理部32がサーバー側記憶部31に記憶させると言える。
なお、各ステップの名称の数字「第1」や「第11」等、符号「S1」や「S11」等は、説明を容易にするために付与したものであって、処理の順番を意味するものでは無い。
また、カメラ装置1が記憶するとは、言い換えると、カメラ側演算処理部12がカメラ側記憶部11へ記憶させると言える。サーバー装置3が記憶するとは、言い換えると、サーバー側演算処理部32がサーバー側記憶部31に記憶させると言える。
以上のように、本発明の人物特定システムは、人物の顔を撮影するための撮影部15と、人物の顔を撮影した顔画像データAを記憶するためのカメラ側記憶部11と、カメラ側演算処理部12と、顔画像データAをサーバー型情報処理装置3へ送信するためのカメラ側送信部18と、を有する監視用のカメラ装置1を、備え、カメラ装置1は、撮影した顔画像データAと、予めカメラ側記憶部11に記憶している所定の顔角度範囲毎のフィルタ顔画像データIと、を照合して、顔画像データAに対応する所定の顔角度範囲を判定すると共に判定した所定の顔角度範囲を顔角度範囲データBとして顔画像データAに関連付ける顔角度範囲判定処理を行い、さらに、カメラ装置1は、新たに撮影した顔画像データAと、既に撮影して記憶している顔画像データAとが、同じ顔角度範囲データBに関連付けされている場合に、顔認識度の高い顔画像データAを、関連付けた顔角度範囲でのベストショットと判定して記憶し、ベストショットと判定されなかった顔画像データAを削除する顔角度範囲毎のベストショット判定処理を行い、その後、関連付けた顔角度範囲でのベストショットと判定された顔画像データAを集計したベストショット集計データDを作成してサーバー型情報処理装置3へ送信し、サーバー型情報処理装置3は、ベストショット集計データDを受信して人物管理データベースZを作成し、人物管理データベースZに基づいて人物の特定を行うので、同一人物の顔画像データAが、別人として判定されることを低減でき、人物の特定を正確かつ迅速に行うことができる。一人の人物に対して複数の人物識別データが付与されるような重複登録を防止でき、正確な出現履歴データを得ることができると共に、不要な重複データの増加を防止できる。また、カメラ装置1でベストショット判定を行うので、サーバー型情報処理装置3の処理負荷を軽減し、1台のサーバー型情報処理装置3に数十台のカメラ装置1を対応させることができる。つまり、カメラ装置1に組み込まれるマイコン(カメラ側演算処理部12)は、特定機能用として簡素・安価なもので済み、かつ、サーバー型情報処理装置3は、汎用性のある高性能で高価なものであるが、本発明では、後者を減少できて、全体としてシステム導入費用を軽減できる。
また、カメラ装置1は、顔角度範囲データBに関連付けられると共にベストショットと判定された顔画像データAを人物特定用データHとして、サーバー型情報処理装置3へ送信する人物特定用データ送信処理を行い、サーバー型情報処理装置3は、予めサーバー側記憶部31に記憶されている人物管理データベースZの内、受信した人物特定用データHと同じ顔角度範囲データBが関連付けられている顔画像データAを読み出して、受信した人物特定用データHの顔画像データAと照合して、人物の特定を行うので、人物特定用データHの顔画像データAと、人物管理データベースZ内全ての顔画像データAとを、照合する場合に比べて、効率が良く、判定にかかる時間を大幅に削減できる。正面からの顔画像データAが撮影できなくても、正確な人物特定処理を行うことができる。
また、サーバー型情報処理装置3は、受信したベストショット集計データDにおいて顔角度範囲が相互に近接する顔角度範囲データBに関連付けされた顔画像データA同士を比較して、同一人物でないと判定した顔画像データAをベストショット集計データDから削除する同一人物確認処理を行うので、カメラ装置1で人物を追跡中に、異なる人物を誤って追跡し、同じ人物識別データが付与されながらも、実際には異なる人物の顔画像データAが作成され、しかも、ベストショットデータと判定されて人物管理用データGとしてサーバー装置3に送信された場合に、非同一人物のベストショットデータを排除でき、人物特定の正確性(信頼性)を向上できる。特に、様々な方向に人物が進行したり、歩行中に人物がUターンしたり、人を追い抜くように進行する人物がいるような駅構内や大型店等に最適である。
また、上記カメラ装置1は、ベストショット集計データDと、撮影した日時データFと、撮影したカメラ装置1のカメラ識別データEと、を関連付けてサーバー型情報処理装置3に送信するので、様々な角度での顔画像データAに加え、その人物の出現履歴を得ることができ、不審な行動を行っていないかや、常連客や得意様かを解析するためのデータを得ることができる。
また、サーバー型情報処理装置3は、カメラ装置1から送信された顔画像データAを、人物管理データベースZの顔画像データAと照合して、同一人物判定となった場合に、同一人物判定となった人物管理データベースZの顔画像データAに関連付けた顔角度範囲毎のベストショットである顔画像データAと、日時データFと、をサーバー側表示部33に表示するので、様々な角度での顔画像データAを確認でき、店員や監視者が、店内や園内の人物を確認・発見できる。人物の出現履歴がわかり、その人物にあった対応を行うことができ、店員の無駄な接客や行動を削減できる。
また、顔角度範囲データBは、撮影部15のカメラ光軸L1と、人物の顔左右中心線Laと、の間の角度を顔角度θとして、所定撮影角度範囲を5分割した第1顔角度範囲データB1と第2顔角度範囲データB2と第3顔角度範囲データB3と第4顔角度範囲データB4と第5顔角度範囲データB5であるので、不要な顔画像データAを削除でき、データの肥大化を防止できる。様々な顔角度範囲の顔画像データAを得ることができ、人物の確認や特定の正確性を向上できる。顔認証の困難な不要なデータの増加を防止できる。
また、顔角度範囲データBは、所定撮影角度範囲が−75度以上75度以下であって、第1顔角度範囲データB1は顔角度θが−75度以上−45度未満の範囲を意味し、第2顔角度範囲データB2は上記顔角度θが−45度以上−15度以下の範囲を意味し、第3顔角度範囲データB3は顔角度θが−15度を越え15度未満の範囲を意味し、第4顔角度範囲データB4は、顔角度θが15度以上45度以下の範囲を意味し、第5顔角度範囲データB5は顔角度θが45度を越え75度以下の範囲を意味するので、顔認証を容易かつ迅速に行えると共に、同一人物確認や人物特定の精度(正確性)を向上できる。顔認証の困難な不要なデータの増加を防止できる。
また、カメラ装置1は、人物の衣服の色を捕らえて追跡する人追跡処理を行うので、追跡処理が迅速に行えると共に、安価なマイコンを用いてカメラ装置1を製作でき、複数のカメラ装置1を用いる場合に導入費用を大幅に削減できる。
また、カメラ装置1は、人物の追跡を行う追跡処理中において、顔角度範囲データBに関連付けられると共にベストショットと判定された顔画像データAを追跡確認用データとして、サーバー型情報処理装置3へ送信する追跡確認用データ送信処理を行い、サーバー型情報処理装置3は、カメラ装置1が追跡中に送信してきた最新の追跡確認用データと、カメラ装置1が追跡中において送信した過去の追跡確認用データとを、照合して、同一人物で無い場合は、カメラ装置1に追跡処理終了命令を送信するので、ベストショット集計データDに非同一人物の顔画像データAが混入するのを低減できる。
1 カメラ装置
3 サーバー型情報処理装置
11 カメラ側記憶部
12 カメラ側演算処理部
15 撮影部
18 カメラ側送信部
33 サーバー側表示部
A 顔画像データ
B 顔角度範囲データ
B1 第1顔角度範囲データ
B2 第2顔角度範囲データ
B3 第3顔角度範囲データ
B4 第4顔角度範囲データ
B5 第5顔角度範囲データ
D ベストショット集計データ
E カメラ識別データ
F 日時データ
H 人物特定用データ
I フィルタ顔画像データ
L1 カメラ光軸
La 顔左右中心線
Z 人物管理データベース
θ 顔角度
3 サーバー型情報処理装置
11 カメラ側記憶部
12 カメラ側演算処理部
15 撮影部
18 カメラ側送信部
33 サーバー側表示部
A 顔画像データ
B 顔角度範囲データ
B1 第1顔角度範囲データ
B2 第2顔角度範囲データ
B3 第3顔角度範囲データ
B4 第4顔角度範囲データ
B5 第5顔角度範囲データ
D ベストショット集計データ
E カメラ識別データ
F 日時データ
H 人物特定用データ
I フィルタ顔画像データ
L1 カメラ光軸
La 顔左右中心線
Z 人物管理データベース
θ 顔角度
また、上記カメラ装置は、上記顔角度範囲データに関連付けられると共にベストショットと判定された上記顔画像データを人物特定用データとして、上記サーバー型情報処理装置へ送信する人物特定用データ送信処理を行い、上記サーバー型情報処理装置は、予めサーバー側記憶部に記憶されている上記人物管理データベースの内、受信した上記人物特定用データと同じ上記顔角度範囲データが関連付けられている上記顔画像データを読み出して、受信した上記人物特定用データの上記顔画像データと照合して、人物の特定を行うシステムである。
また、上記サーバー型情報処理装置は、受信した上記ベストショット集計データにおいて顔角度範囲が相互に近接する上記顔角度範囲データに関連付けされた上記顔画像データ同士を比較して、同一人物でないと判定した上記顔画像データを上記ベストショット集計データから削除する同一人物確認処理を行うシステムである。
また、上記カメラ装置は、上記ベストショット集計データと、撮影した日時データと、撮影した上記カメラ装置のカメラ識別データと、を関連付けて上記サーバー型情報処理装置に送信するシステムである。
また、上記サーバー型情報処理装置は、受信した上記ベストショット集計データにおいて顔角度範囲が相互に近接する上記顔角度範囲データに関連付けされた上記顔画像データ同士を比較して、同一人物でないと判定した上記顔画像データを上記ベストショット集計データから削除する同一人物確認処理を行うシステムである。
また、上記カメラ装置は、上記ベストショット集計データと、撮影した日時データと、撮影した上記カメラ装置のカメラ識別データと、を関連付けて上記サーバー型情報処理装置に送信するシステムである。
Claims (8)
- 人物の顔を撮影するための撮影部(15)と、人物の顔を撮影した顔画像データ(A)を記憶するためのカメラ側記憶部(11)と、カメラ側演算処理部(12)と、上記顔画像データ(A)をサーバー型情報処理装置(3)へ送信するためのカメラ側送信部(18)と、を有する監視用のカメラ装置(1)を、備え、
上記カメラ装置(1)は、撮影した上記顔画像データ(A)と、予め上記カメラ側記憶部(11)に記憶している所定の顔角度範囲毎のフィルタ顔画像データ(I)と、を照合して、上記顔画像データ(A)に対応する所定の顔角度範囲を判定すると共に判定した所定の顔角度範囲を顔角度範囲データ(B)として上記顔画像データ(A)に関連付ける顔角度範囲判定処理を行い、
さらに、上記カメラ装置(1)は、新たに撮影した上記顔画像データ(A)と、既に撮影して記憶している上記顔画像データ(A)とが、同じ上記顔角度範囲データ(B)に関連付けされている場合に、顔認識度の高い上記顔画像データ(A)を、関連付けた顔角度範囲でのベストショットと判定して記憶し、ベストショットと判定されなかった上記顔画像データ(A)を削除する顔角度範囲毎のベストショット判定処理を行い、その後、関連付けた顔角度範囲でのベストショットと判定された上記顔画像データ(A)を集計したベストショット集計データ(D)を作成して上記サーバー型情報処理装置(3)へ送信し、
上記サーバー型情報処理装置(3)は、上記ベストショット集計データ(D)を受信して人物管理データベース(Z)を作成し、該人物管理データベース(Z)に基づいて人物の特定を行うことを特徴とする人物特定システム。 - 上記カメラ装置(1)は、上記顔角度範囲データ(B)に関連付けられると共にベストショットと判定された上記顔画像データ(A)を人物特定用データ(H)として、上記サーバー型情報処理装置(3)へ送信する人物特定用データ送信処理を行い、
上記サーバー型情報処理装置(3)は、予め上記サーバー側記憶部(31)に記憶されている上記人物管理データベース(Z)の内、受信した上記人物特定用データ(H)と同じ上記顔角度範囲データ(B)が関連付けられている上記顔画像データ(A)を読み出して、受信した上記人物特定用データ(H)の上記顔画像データ(A)と照合して、人物の特定を行う請求項1記載の人物特定システム。 - 上記サーバー型情報処理装置(3)は、受信した上記ベストショット集計データ(D)において顔角度範囲が相互に近接する上記顔角度範囲データ(B)に関連付けされた上記顔画像データ(A)同士を比較して、同一人物でないと判定した上記顔画像データ(A)を上記ベストショット集計データ(D)から削除する同一人物確認処理を行う請求項1又は2記載の人物特定システム。
- 上記カメラ装置(1)は、上記ベストショット集計データ(D)と、撮影した日時データ(F)と、撮影した上記カメラ装置(1)のカメラ識別データ(E)と、を関連付けて上記サーバー型情報処理装置(3)に送信する請求項1,2又は3記載の人物特定システム。
- 上記サーバー型情報処理装置(3)は、上記カメラ装置(1)から送信された上記顔画像データ(A)を、上記人物管理データベース(Z)の上記顔画像データ(A)と照合して、同一人物判定となった場合に、同一人物判定となった上記人物管理データベース(Z)の上記顔画像データ(A)に関連付けた顔角度範囲毎のベストショットである上記顔画像データ(A)と、上記日時データ(F)と、をサーバー側表示部(33)に表示する請求項4記載の人物特定システム。
- 上記顔角度範囲データ(B)は、上記撮影部(15)のカメラ光軸(L1)と、人物の顔左右中心線(La)と、の間の角度を顔角度(θ)として、所定撮影角度範囲を5分割した第1顔角度範囲データ(B1)と第2顔角度範囲データ(B2)と第3顔角度範囲データ(B3)と第4顔角度範囲データ(B4)と第5顔角度範囲データ(B5)である請求項1,2,3,4又は5記載の人物特定システム。
- 上記顔角度範囲データ(B)は、上記所定撮影角度範囲が−75度以上75度以下であって、上記第1顔角度範囲データ(B1)は上記顔角度(θ)が−75度以上−45度未満の範囲を意味し、上記第2顔角度範囲データ(B2)は上記顔角度(θ)が−45度以上−15度以下の範囲を意味し、上記第3顔角度範囲データ(B3)は上記顔角度(θ)が−15度を越え15度未満の範囲を意味し、上記第4顔角度範囲データ(B4)は、上記顔角度(θ)が15度以上45度以下の範囲を意味し、上記第5顔角度範囲データ(B5)は上記顔角度(θ)が45度を越え75度以下の範囲を意味する請求項6記載の人物特定システム。
- 上記カメラ装置(1)は、人物の追跡を行う追跡処理中において、上記顔角度範囲データ(B)に関連付けられると共にベストショットと判定された上記顔画像データ(A)を追跡確認用データとして、上記サーバー型情報処理装置(3)へ送信する追跡確認用データ送信処理を行い、
上記サーバー型情報処理装置(3)は、上記カメラ装置(1)が追跡中に送信してきた最新の上記追跡確認用データと、上記カメラ装置(1)が追跡中において送信した過去の上記追跡確認用データとを、照合して、同一人物で無い場合は、上記カメラ装置(1)に追跡処理終了命令を送信する請求項1,2,3,4,5,6又は7記載の人物特定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015032726A JP5785667B1 (ja) | 2015-02-23 | 2015-02-23 | 人物特定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015032726A JP5785667B1 (ja) | 2015-02-23 | 2015-02-23 | 人物特定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5785667B1 JP5785667B1 (ja) | 2015-09-30 |
JP2016157165A true JP2016157165A (ja) | 2016-09-01 |
Family
ID=54207139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015032726A Expired - Fee Related JP5785667B1 (ja) | 2015-02-23 | 2015-02-23 | 人物特定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5785667B1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018142137A (ja) * | 2017-02-27 | 2018-09-13 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019057815A (ja) * | 2017-09-21 | 2019-04-11 | 株式会社東芝 | 監視システム |
WO2023281903A1 (ja) * | 2021-07-09 | 2023-01-12 | パナソニックIpマネジメント株式会社 | 画像照合装置、画像照合方法、及びプログラム |
JP7494899B2 (ja) | 2020-03-10 | 2024-06-04 | 日本電気株式会社 | 撮影制御装置、システム、方法及びプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6665569B2 (ja) * | 2016-02-15 | 2020-03-13 | オムロン株式会社 | 顔照合システム、遊技者管理システムおよび遊技システム |
JP7039409B2 (ja) * | 2018-07-18 | 2022-03-22 | 株式会社日立製作所 | 映像解析装置、人物検索システムおよび人物検索方法 |
CN109660762B (zh) * | 2018-12-21 | 2020-12-11 | 深圳英飞拓智能技术有限公司 | 智能抓拍装置中大小图关联方法及装置 |
CN112836660B (zh) * | 2021-02-08 | 2024-05-28 | 上海卓繁信息技术股份有限公司 | 一种用于监控领域的人脸库生成方法、装置和电子设备 |
-
2015
- 2015-02-23 JP JP2015032726A patent/JP5785667B1/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018142137A (ja) * | 2017-02-27 | 2018-09-13 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7120590B2 (ja) | 2017-02-27 | 2022-08-17 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019057815A (ja) * | 2017-09-21 | 2019-04-11 | 株式会社東芝 | 監視システム |
JP7494899B2 (ja) | 2020-03-10 | 2024-06-04 | 日本電気株式会社 | 撮影制御装置、システム、方法及びプログラム |
WO2023281903A1 (ja) * | 2021-07-09 | 2023-01-12 | パナソニックIpマネジメント株式会社 | 画像照合装置、画像照合方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5785667B1 (ja) | 2015-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5785667B1 (ja) | 人物特定システム | |
JP7196893B2 (ja) | 顔照合システム、顔照合方法、及びプログラム | |
CN107742100B (zh) | 一种考生身份验证方法及终端设备 | |
JP7359230B2 (ja) | 顔照合システム、顔照合装置、顔照合方法、及び記録媒体 | |
US8774462B2 (en) | System and method for associating an order with an object in a multiple lane environment | |
JP6268960B2 (ja) | 画像認識装置及び画像認識装置に対するデータ登録方法 | |
WO2020181910A1 (zh) | 识别风险商家的方法及装置 | |
CN107679504A (zh) | 基于摄像头场景的人脸识别方法、装置、设备及存储介质 | |
US20190327451A1 (en) | Video image analysis apparatus and video image analysis method | |
CN108108711B (zh) | 人脸布控方法、电子设备及存储介质 | |
US20140233854A1 (en) | Real time object scanning using a mobile phone and cloud-based visual search engine | |
JP2017151832A (ja) | 待ち時間算出システム | |
WO2016088401A1 (ja) | 防犯システム | |
JP2015090579A (ja) | 行動分析システム | |
US10373399B2 (en) | Photographing system for long-distance running event and operation method thereof | |
Wei et al. | Subject centric group feature for person re-identification | |
JP5844802B2 (ja) | 画像処理システム、人物同定方法、画像処理装置およびその制御方法と制御プログラム | |
Gohringer | The application of face recognition in airports | |
CN110415113A (zh) | 金融数据处理方法、装置、服务器及可读存储介质 | |
JP2021012657A (ja) | 情報処理装置、情報処理方法、カメラ | |
CN112385180A (zh) | 基于交易时间戳将身份和易于获得的个人标识符信息进行匹配的系统和方法 | |
JP2018142137A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2020066444A1 (ja) | 顧客情報登録装置 | |
WO2020178893A1 (ja) | 辞書生成装置、生体認証装置、監視システム、辞書生成方法、および記録媒体 | |
JP6613502B1 (ja) | 顔認識による来店者検証システム及び顔認識による来店者検証プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5785667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |