JP2010154134A - 映像監視システム - Google Patents

Abstract

【課題】セキュリティルールの逸脱者を正確、かつ、迅速に判定することにある。
【解決手段】セキュリティゲート３近傍に設置される個人認証装置５を俯瞰する画角で配置された監視カメラ７と、セキュリティゲート３を通過する際に任意の人物による個人認証装置５への認証結果から真正な入退室者と認証されたとき、該当ゲートの電気鍵２を開錠するとともに、認証によって取得される個人属性情報を通知する入退室管理装置６と、この入退室管理装置６から個人属性情報の通知を受けたとき、当該個人属性情報を監視カメラ７で撮影された映像のメタ情報として生成し、映像蓄積装置９に当該映像とともにメタ情報を蓄積管理させる画像処理装置８とを備えた映像監視システムである。
【選択図】図２

Description

本発明は、建屋や各室を入退出する人物の映像からセキュリティルールの逸脱者を特定する映像監視システムに関する。

ネットワーク環境の普及によりコンピュータ・システムへのアクセスが容易となり、それに伴って悪意によるデータの破壊や変更、漏洩などが増えている。また、社会環境の変化や複雑化に伴い、建屋内や各室内に悪意を持った人物が侵入するケースも増えている。そのため、セキュリティ管理の整備が不可欠な状況にある。

ところで、セキュリティを確保する対策としては、物理的セキュリティの確保とセキュリティレベルの確保との両面から考えられている。

物理的セキュリティの確保手段としては、セキュリティゲート（扉）を通過する人物を撮影する監視カメラと、この監視カメラで撮影された映像を蓄積する映像蓄積装置とを備えた映像監視システムが用いられている。

しかし、映像監視システムの主たる目的は、監視カメラでリアルタイムに映像を取り込んで映像蓄積装置に蓄積し、常時または任意の時にセキュリティ管理者や警備員が映像蓄積装置から順次映像を取り出して表示部に表示し、目視によって撮影された人間の人数や挙動を確認することにある。その結果、「誰」がセキュリティを逸脱したかの確認はできない。

なお、近年、映像監視システムに画像処理技術を適用して各種の事象を検出し、この事象検出結果に基づいて、アラームを出力し、あるいは映像検索キーとして活用する例も考えられている。

一方、セキュリティレベルの確保手段としては、ＩＣカード，テンキー、バイオメトリクスなどの技術を適用して個人認証装置と、真正な認証者と認証したときに電気錠の開錠や物理的なゲートを開閉する入退室監視装置とを備えた入退室管理システムが用いられている。

入退室管理システムは、建屋や各室への入退室可否の制御及び各人の入退室の状況を管理するものであって、セキュリティ管理者や警備員は認証時に取得された数字（識別番号）もしくはテキスト情報（例えば東芝太郎という名前）によるデータを管理するのが一般的である。

従って、映像監視システムは映像のみを管理し、入退室管理システムはデータを管理するだけであり、セキュリティルールを逸脱するような事象が発生したとき、誰がセキュリティルールを逸脱したのかを迅速に認定することができない。

ところで、近年、人間の動きを追従撮影する追尾用カメラを備えた追尾装置と、ドア付近に配置した認証用カメラを有する専ら生体認証を行う認証装置とを備えた入退出管理システムが提案されている（特許文献１）。
特開２００７−３０３２３９号公報

しかしながら、特許文献１の適用システムは、入退出管理システムである。そのため、追尾装置は、追尾カメラで撮影された映像から人物か否を検知し、人物である場合にその人物を追跡しつつ認証位置に達したか否か、ひいては認証した人物と認証しない人物の人数を特定するものである。従って、追尾装置は、追尾用カメラで撮影された多数のフレーム映像を蓄積し、映像表示するものでない。ゆえに、何れの人物がセキュリティを逸脱したかを特定できない。

また、特許文献１の技術は、認証装置と追尾装置との連携を取っているが、その連携の目的はドアア周辺に複数の人物が近づいたとき、認証装置から何れの人物が真正な認証者か無認証の人物かを表す認証結果ＮＯ，ＯＫを、追尾装置の追尾情報記録部に記録するだけであり、同様に撮影された多数のフレーム映像を蓄積し、映像表示するものでない。よって、セキュリティの逸脱者を特定することが難しい。

本発明は上記事情に鑑みてなされたもので、入退室する人物の映像を監視する映像監視装置と個人認証装置を含む入退室管理装置との連携を図り、セキュリティルールの逸脱者を正確、かつ、迅速に判定可能にする映像監視システムを提供することを目的とする。

上記課題を解決するために、本発明は、セキュリティゲート近傍に設置される個人認証装置を俯瞰する画角で監視カメラを配置し、セキュリティゲート近傍の映像を撮影する映像監視システムであって、
前記セキュリティゲートを通過する際に任意の人物による前記個人認証装置への認証結果から真正な入退室者と認証されたとき、該当ゲートの電気鍵を開錠するとともに、認証によって取得される個人属性情報を通知する入退室管理装置と、この入退室管理装置から個人属性情報の通知を受けたとき、当該個人属性情報を前記監視カメラで撮影された映像のメタ情報として生成し、映像蓄積装置に当該映像とともにメタ情報を蓄積管理させる画像処理装置とを備えた映像監視システムである。

また、別の発明は、セキュリティゲート近傍に設置される個人認証装置を俯瞰する画角で監視カメラを配置し、セキュリティゲート近傍の映像を撮影する映像監視システムであって、
セキュリティゲートを通過する際に任意の人物による個人認証装置への認証結果から真正な入退室者と認証されたとき、前記ゲートの電気鍵を開錠するとともに、認証によって取得される個人属性情報を通知する入退室管理装置と、監視カメラで撮影された映像から人物を抽出する人物抽出手段、この人物抽出手段で抽出された人物のうち、当該人物の立ち位置及び挙動からアクセス認証した人物を特定する認証人物特定手段及び前記入退室管理装置から個人属性情報の通知を受けたとき、このアクセス認証した人物の映像に前記個人属性情報をメタ情報として重畳可能に割付けるメタ情報生成手段を有し、映像蓄積装置に送出する画像処理装置と、この画像処理装置から送られてくる前記映像及び前記メタ情報を蓄積管理し、前記アクセス認証した人物の映っている映像を表示するとき、当該映像に前記個人属性情報を重畳し表示する前記映像蓄積装置とを備えた映像監視システムである。

本発明によれば、入退出する人物の映像を監視する映像監視装置と認証装置を含む入退室管理装置との連携を図り、セキュリティルールの逸脱者を正確、かつ、迅速に認定できる映像監視システムを提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は本発明に係る映像監視システムの全体を示す概要構成図である。

映像監視システムは、幾つかに仕切られた建屋内の各室１への入退出エリアに取付けられる少なくとも電気錠２及び物理的な扉を備えたセキュリティゲート３と、このセキュリティゲート３を通過する際に入退室が認められている人物か否かをする認証個人認証装置５と、その認証結果の情報に基づいて電気錠２を開錠操作し、かつ、入退出した人物を管理する入退室管理装置６と、各セキュリティゲート３近傍の人物を撮影する監視カメラ７と、各監視カメラ７で撮影された映像を画像処理する画像処理装置８と、この画像処理装置８で処理された映像データを蓄積管理する映像蓄積装置９とで構成される。Ａ，Ｂ，…はセキュリティゲート３近傍に存在する人物である。

個人認証装置５または入退室管理装置６は、セキュリティゲート３を通過する人物が入退室を認められている人物であると認証したとき、電気錠２を開除し、あるいは扉を開閉する開閉制御部（図示せず）に開制御指示を送出する機能を有する。

入退室管理装置６、画像処理装置８及び映像蓄積装置９は、ＬＡＮなどのネットワーク上に個別に接続されているが、入退室管理装置６と画像処理装置８を直接信号ラインで接続してもよく、また画像処理装置８に映像蓄積装置９を直付けまたは外付けによる一体型に近い装置の構成としても構わない。

（実施の形態１：請求項１，２に対応）
図２は本発明に係る映像監視システムの一実施の形態を示す構成図である。
監視カメラ７は、複数の人物の重なりを回避する観点から、セキュリティゲート３の天井から直下する方向に対し、個人認証装置５を俯瞰するような画角をもって撮影するのが理想的であるが、少なくとも個人認証装置５を俯瞰できる場所であれば、セキュリティゲート３の近傍または斜め下降方向から個人認証装置５を俯瞰するような場所であれば、特に設置場所は問わない。

監視カメラ７は、例えば毎秒３０フレームの速度でセキュリティゲート３前の入室を企画する人物Ａ，Ｂ，…を連続撮影し、その連続撮影した映像を画像処理装置８に送出し、あるいは当該画像処理装置８が監視カメラ７から連続撮影映像を取り込む。

一方、入退室管理装置６に付随する個人認証装置５は、扉近傍の壁１１の入側または出側の何れか一方または両方に取付けられる。個人認証装置５は、認証媒体または認証対象によって異なるが、例えばＩＣカードの認証の場合にはＩＣカードリーダ５in，５outが用いられる。入室企画者は、ＩＣカードをＩＣカードリーダ５inの所定個所に接触させると、ＩＣカードに記憶されているＩＤ，氏名等のカードデータを読取り、ＩＣカードリーダ５inに登録されてい真正な入退室者の認証参照データとを比較照合し、入室可否の認定を行う。

ＩＣカードリーダ５inは、ＩＣカードデータと認証参照データが一致したとき、真正な入室者と認定し、入退室管理装置６を介して、あるいは直接開錠操作指示を出して電気錠２の開錠を行う。このとき、ＩＣカードリーダ５inは、入室可と認定した真正な入室者のＩＤカードデータまたはＩＤデータもしくは一致した認証参照データを入退室管理装置６に送出する。

なお、個人認証装置５自体に認証参照データが登録されていない場合には内部ネットワークに接続されるサーバ（図示せず）または入退室管理装置６に登録済みの認証参照データを読取り、認証処理を行う。

入退室管理装置６はデータベース１２を備え、当該データベース６ａには少なくとも入退出者一覧テーブル１２ａ及び入退室管理記録部１２ｂが設けられている。入退出者一覧テーブル１２ａには、各入退室者のＩＤ、氏名，所属その他必要な事項が登録されている。また、入退室管理記録部１２ｂには、例えば入室者と退出者とに分け、例えば時系列に認証された入退出者氏名，入退出時刻，所属名が順次記録保存されていく。そして、例えば会社の定める就業規則や人事規則等に基づいて所定の編集処理を実施し、所定の書式に従って入退室状況データや所属組織各ごとの就業状況データを作成し出力する。

ところで、本発明システムの入退室管理装置６は、ＩＣカードリーダ５inが入退室管理装置６を介して、あるいは直接開錠指示を出して電気錠２の開錠操作を実施したとほぼ同一のタイミングでＩＣカードリーダ５inから送られてくる所定のデータ，例えば真正な入退室者のＩＤ、氏名，所属名などの個人属性情報（認証者情報）を画像処理装置８に通知する。また、入退室管理装置６は、ＩＣカードリーダ５inからＩＤデータだけを受け取る場合には入退出者一覧テーブル１２ａから真正な入退室者のＩＤ、氏名，所属名などの個人属性情報を読み出し、画像処理装置８に通知してもよい。

なお、個人認証装置５としては、ＩＣカードリーダ５in，５outを用いた例について説明したが、例えば指紋認証，静脈認証，顔認証などのバイオメトリクスやRFIDなどの無線技術を適用した認証装置を用いてもよい。このように生体認証を行う場合、個人認証装置５または入退室管理装置６に予め指紋認証，静脈認証，顔認証等の生体に関する形状パターンや特徴量が登録されている。このとき、各形状パターンに対応付けて少なくとも氏名，所属名などの個人属性情報が記憶されている。

画像処理装置８は記憶装置１３を備え、この記憶装置１３には少なくとも人物を特定するために必要な情報である例えば頭，肩，腕部などに関する形状パターン等を設定する形状パターン設定部１３ａ及び監視カメラ７で撮影されたフレーム映像を一時的に記憶する映像記憶部１３ｂが設けられている。

画像処理装置８は、機能的には，人物抽出手段８ａと、認証人物特定手段８ｂと、メタ情報生成手段８ｃと、情報連携出力手段８ｄとを有する。

人物抽出手段８ａは、セキュリティゲート３の前に複数人の入室企画者が存在するとき、先ず、フレーム映像の中から複数人の人物（入室企画者）を抽出する処理を実行する。そのためには、映像中に存在する多数の物体の中から動く物体を見つけ出し、かつ、それら物体の中から確かなる複数人の人物を抽出する必要がある。

人物抽出手段８ａは、一般的には広く知られている背景差分法や時間差分法などを用いて人物を検知するが、より検知精度を高めるためには複眼画像処理（例えばステレオ画像処理を用いて三次元的に立体視し、物体の高さ及び大きさ等の情報を把握し、形状パターン設定部１３ａに設定される人間の標準的な高さや大きさを考慮しつつ確かなる人物を抽出するのが望ましい。

さらに、人物抽出手段８ａとしては、複眼画像処理または各種の差分技術を適用しつつ、形状パターン設定部１３ａに設定される頭部形状パターンと実際の映像上の円形形状とのパターンマッチングを実施し、映像上に映っている円形形状を有する物体を確かなる人物として特定する。

認証人物特定手段８ｂは、人物抽出手段８ａで抽出された人物の中から個人認証装置５にアクセスした人物を特定する処理を実行する。すなわち、画像処理装置８としては、入退室管理装置６から認証結果の個人属性情報を受け取ることを前提とし、前述した複数の入室企画者の中から個人認証装置５にアクセスし認証を受けた人物を特定する必要がある。そのためには個人認証装置５へアクセスしていることの挙動を判定する必要がある。

アクセスの挙動を判定する最もシンプルな一例としては、図３（ａ）に示すように、カードリーダ５inとの距離が例えば多数の大人の平均的な腕の長さに相当する距離に近づいたとき、アクセスし認証した人物はＡであると判定する。腕の長さに相当する距離は映像から容易に求めることができる。

その他、腕部抽出に関する技術としては、例えば立っている人物は上から、頭，肩，胴体，腕部からなる人間の形状モデルで構成されるものとし、それぞれの形状パターンを形状パターン設定部１３ａに設定し、少なくとも人間の肩または胴体を特定し、しかる後、当該肩もしくは胴体に付随して可動する部位は腕部であることを前提にし、映像上から腕部を抽出し、図３（ｂ）〜図３（ｄ）に示すような複数種類のパターンの腕部の挙動であっても、個人認証装置５の近い人物Ａやその近い人物Ｂの背後にいる人物Ａがアクセスしたと判定し、アクセス認証した人物Ａを特定できる。

また、認証人物特定手段８ｂは、人物抽出手段８ａで抽出された人物の領域変化を分析し、人物が個人認証装置５に向かって人物領域に形状変化が発生したという視点から個人認証装置５にアクセスしたと判定してもよい。

さらに、前述したステレオ画像処理に代表される複眼画像処理技術を適用する場合には、監視空間を三次元的に把握できることから、三次元形状としての人物の部位・形状を正確に認定し、個人認証装置５にアクセス認証した人物を特定することも可能である。従って、個人認証装置５からの距離や人物がどれくらい腕部を伸ばしたかなどの情報を加味し、個人認証装置５にアクセスし認証した人物を特定すれば、非常にロバスト（耐力）のある認証した人物を特定できる。あるいは前述した全ての手法のハイブリッド手法を適用し、アクセス認証した人物を特定してもよい。

但し、前述したアクセス認証した人物の特定は、ＩＣカード、指紋，静脈認証による個人認証の例であって、例えば顔認証や虹彩認証技術の適用する場合には多少異なる。例えば、顔認証技術に関しては、さらに個人認証装置５の中にカメラを取り付けるので、カメラ画角の点から立ち位置の拘束が条件となる。また、虹彩認証の場合には人物の頭部が個人認証装置５とほとんど接するような位置の規制が条件となる。

メタ情報生成手段８ｃは、人物に関する映像と個人属性情報とを関連付けて、映像蓄積装置９に蓄積保存するメタ情報を生成する。

すなわち、画像処理装置８のメタ情報生成手段８ｃは、監視カメラ７ごと，つまりチャンネルｃｈごとに連続的にフレーム映像を受け取るので、フレーム番号、撮影時刻、フレーム映像に表れる複数の人物に関する人物領域座標データ、認証アクセスした人物の個人属性情報とをメタ情報として生成する。

情報連携出力手段８ｄは、メタ情報生成手段８ｃで生成されたメタ情報とフレーム映像とを関連付けて画像蓄積装置９に送出する。

映像蓄積装置９は、キーボードやポインティングデバイス等の入力部１４、ＣＰＵで構成されるデータ蓄積管理処理部１５、データ蓄積部１６、表示部１７が設けられ、画像処理装置８の情報連携出力手段８ｄから送られてくるメタ情報とフレーム映像とを対応付けてデータ蓄積部１６に順次蓄積していく。

次に、以上のような映像監視システムの一連の処理手順について、図４及び図５を参照して説明する。
セキュリティゲート３近傍に居る複数人の人物のうち、例えば人物Ａが個人認証するためにカードリーダ５inに近づくが、このとき監視カメラ７はカードリーダ５inを含むセキュリティゲート３近傍を撮影し、その撮影されたフレーム映像、映像取得時刻とともに画像処理装置８に送出する。

画像処理装置８は、監視カメラ７からフレーム映像、映像取得時刻を受け取ると、その受け取り順番にフレーム番号を付けて、記憶装置１３の映像記憶部１３ｂに一時的に記憶する。

その後、人物Ａがカードリーダ５inにＩＣカードを近づけて認証アクセス（Ｔ１）を行うと、カードリーダ５inはＩＣカードに記憶されている情報を読取り、認証処理を実施する（Ｔ２）。認証処理は、ＩＣカードから読み取った情報と予め入室許可登録を受けている入室者の認証参照データとを照合し、一致したときに真正な入室者と認証し、認証ＯＫの情報（Ｔ３）と共にその入室者を特定する情報，例えばＩＤ，氏名、所属名の何れか１つ以上の情報を入退室管理装置６に送出する。

ここで、入退室管理装置６は、認証ＯＫを受け取ると、開錠指示（Ｔ４）を出して電気錠２の開錠動作を実施すると同時に例えば真正の入室者のＩＤ、氏名，所属名などの個人属性情報（Ｔ５）を画像処理装置８に通知する。

画像処理装置８は、図５に示す単眼画像の処理フローに従い、人物抽出手段８ａを実行する。

人物抽出手段８ａは、映像記憶部１３ｂに連続的に記憶されているフレーム映像に対して例えば背景差分法や時間差分法を用いて、セキュリティゲート３近傍に存在する物体の領域を検知する（Ｓ１）。しかる後、物体の領域を検知した後、その物体の中から人物を抽出する。人物の抽出には様々なアプローチが適用できるが、ここでは、形状パターン設定部１３ａに設定される例えば頭，肩，胴体，腕などに関する形状パターンのもとに人物を抽出する。

具体的には、頭部の形状パターンに基づき、フレーム映像に存在する物体の中から円形状の部位を抽出し、これを人間の頭部と認識し、複数人の人物の領域を特定する（Ｓ２）。さらに、映像に表れるカードリーダ５inと人物との画像座標系における立ち位置や相対距離等から認証エリア内の認証アクセス可能な人物を特定する（Ｓ３）。

ここで、入退室管理装置６から認証結果としての個人属性情報の通知を受けたか判断し（Ｓ４）、通知を受けていない場合にはステップＳ１に戻り、次フレーム番号のフレーム映像に対して同様の処理を実行する。個人属性情報の通知を受けたと判断したときは、予め設定されるフラグなどに基づいて腕部の挙動を考慮するか否かを判断する（Ｓ５）。

腕部の挙動を考慮すると判断したとき、認証人物特定手段８ｂを実行する。

認証人物特定手段８ｂは、形状パターン設定部１３ａの肩並びに胴体部位の形状パターンに基づき、認証エリア内の認証アクセス可能な人物の肩並びに胴体部位の領域を定め、当該領域からカードリーダ５inにアクセスした腕部の領域を抽出し、カードリーダ５inにアクセスし認証行為を行った人物の領域，つまり認証アクセスを行った人物Ａを特定する（Ｔ６，Ｓ６）。

引き続き、メタ情報生成手段８ｃを実行する。メタ情報生成手段８ｃは、図６及び図７に示すように該当フレーム映像に対して、チャンネル番号、フレーム番号、映像取得時刻、人物抽出手段８ａで抽出された映像上に存在する複数の人物Ａ領域の座標位置データ（ｘ１１，ｙ２１）、人物Ｂ領域の座標位置データ（ｘ１２，ｙ２１）、人物Ｃ領域の座標位置データ（ｘ１３，ｙ２３）を生成し、さらに生成された情報のうち、人物Ａの座標位置データ（ｘ１１，ｙ２１）に、前述した認証人物特定手段８ｂで認証された例えば人物Ａの個人属性情報である例えばＩＤ，氏名，所属名などを対応付けし、該当フレーム映像のメタ情報とする（Ｔ７，Ｓ７）。このとき、例えば人物の氏名を検索キーとする場合には「氏名」だけフレーム番号の前後何れかに付加してもよい。

さらに、フレーム映像中に存在する認証行為を実施した人物の近くに入退室管理装置６から通知された個人属性情報をマッピングするための情報を生成する（Ｓ８）。

しかる後、画像処理装置８は情報連携出力手段８ｄを実行する。情報連携出力手段８ｄは、メタ情報生成手段８ｃで生成されたメタ情報と記憶装置１３の映像記憶部１３ｂ
に記憶される該当フレーム番号のフレーム映像とを関連付けて画像蓄積装置９に送信する（Ｓ９）。

画像蓄積装置９は、メタ情報生成手段８ｃで生成されたメタ情報に図８に示すようにフレームアドレスを付し、当該フレームアドレスで紐付けしてフレーム映像をデータ蓄積部１６に順次蓄積していく。

なお、図５は単眼画像処理による人物抽出並びに腕部の具体的な処理フローであるが、ステレオ画像処理の場合には図８に示す処理フローに従って処理する。

すなわち、人物抽出手段８ａは、映像記憶部１３ｂに連続的に記憶されるフレーム映像に対してステレオ画像処理を用いて、セキュリティゲート３近傍に進入する三次元立体形状を持つ物体を検知する（Ｓ１１）。

人物抽出手段８ａは、形状パターン設定部１３ａに設定される人間の三次元形状パターンに基づき、検知した物体の中から頭部、肩，胴体などの部位を抽出し、人間の領域を特定する（Ｓ１２）。そして、特定した人間の領域の立ち位置を算出し、個人認証位置５との位置並びに距離関係から認証エリア内の認証アクセス可能な人物を特定する（Ｓ１３）。

ステップＳ１３以降のステップＳ１４〜Ｓ１９の処理は図５のステップＳ４〜Ｓ９と同じ処理であるので、省略する。

映像蓄積装置９のデータ蓄積管理処理部１５は、画像処理装置８の情報連携出力手段８ｄから送られてくるメタ情報とフレーム映像とを対応付けてデータ蓄積部１６に順次蓄積していく。このとき、メタ情報にフレーム格納アドレスを付加し、フレーム映像を保存し、入力部１４からの検索キーに基づいて、少なくとも認証行為を実施した人物Ａを含むフレーム映像の中からメタ情報の人物領域座標データに基づき、認証した人物Ａを矩形の点線枠で囲んだ状態で表示部１７に表示する。

従って、以上のような実施の形態によれば、画像処理装置８が個人認証装置５を俯瞰する画角をもって撮影した監視カメラ７のフレーム映像を取り込み、個人認証装置５でアクセス認証した人物の個人属性情報をフレーム映像に関するメタ情報として生成し、フレーム映像とともに蓄積管理するので、例えばアクセス認証した人物の映像に氏名、所属名などをマッピングした状態の画像を表示できる。

また、アクセス認証した人物を含むフレーム映像の人物領域近傍に個人属性情報をマッピングし表示することから、アクセス認証した人物が誰なのか迅速に把握でき、例えばアクセス認証した人物に共連れで入室を試みる逸脱者であっても、例えばアクセス認証した人物を介して割り出すことが容易となる。

（実施の形態２：請求項３に対応）
従来の映像監視システムでは、個人認証装置５で真正な入室者と認証されて例えば入退室管理装置で電子銃２を開錠したタイミング、あるいは画像処理した結果、立ち入りが禁止されているエリアに侵入したタイミングなどをもって映像検索のイベント発生と判断し，当該イベント発生を検索キーとし、蓄積管理する方法がある。

しかし、このような映像監視システムでは、イベント発生時のフレーム映像を取り出して表示できるが、表示された映像上の人物が誰なのか確認することが難しい。

一方、本発明に係る映像監視システムでは、例えば、ユーザＩＤ：１０４８、氏名：東芝太郎、所属：総務部などの個人属性情報をメタ情報としたとき、データ蓄積部１６に膨大に管理されているフレーム映像の中から、個人属性情報の一部の要素例えば氏名を検索キーとし、当該個人属性情報を取得したときの映像シーンあるいはその個人属性情報を保有する人物が撮影されている映像シーンを取り出すことができる。

このことは、当該映像のメタ情報だけを選択的に検索してテーブル化し管理するようにすれば、前述した従来の映像監視システムのイベント管理テーブルを容易に構築でき、個人属性情報に関係した前述した映像シーンだけを取り出して表示できる。

（実施の形態３：請求項４に対応）
一般に、映像監視システムは、数多くの監視カメラの映像を取り込み、その中から管理者が注目すべき監視カメラの映像を常時監視している。しかし、従来の映像監視システムでは、映像上に映っている人物の素性を特定できず、ただ単に人物が映っているだけである。

これに対し、本発明に係る映像監視システムでは、画像処理装置８のメタ情報生成手段８ｃにより、フレーム映像中に存在する認証行為を実施した人物の近くに入退室管理装置６から通知された個人属性情報をマッピングするための情報を生成し、フレーム映像とともに画像蓄積装置９に送信し、データ蓄積部１６に保持するようにすれば、フレーム映像上に入退室管理装置６で取得した個人属性情報を重畳した状態で表示部１７に表示できる。

よって、管理者は、監視カメラ７で撮影された映像から撮影人物の氏名や所属を確認することができ、監視効率を格段に向上させることができる。

また、フレーム映像中に個人属性情報をマッピングする他の実施の形態としては、隣り合う室のセキュリティゲート３に設置される監視カメラ７（Ａ）、７（Ｂ）を連携させることにより、例えば本来研究開発部門の人間だけが立ち入り可能なエリアであるにも拘らず、共連れの侵入により部外者が立ち入るなど、いわゆる逸脱者を発見する例について、図１０及び図１１を参照して説明する。

図１０及び図１１は監視カメラ７（Ａ）、７（Ｂ）を連携させた場合のイメージ図である。

すなわち、隣り合う室のセキュリティゲート３，…に監視カメラ７（Ａ）、７（Ｂ）が設置され、かつ、各室の入口近くにそれぞれカードリーダ５in，…が設置され、例えば奥側に位置する室が本来研究開発部門の人間だけが立ち入り可能なエリアであるような場合、隣り合う２つの室の監視カメラ７（Ａ）、７（Ｂ）間で連携させるために、人物Ａが最初の室でカードリーダで認証した結果、その認証した人物Ａが、ＩＤ：１０４８、氏名：東芝太郎、所属：総務部であることが分ったとする。

そこで、入退室管理装置６は、人物ＡのＩＤ：１０４８、氏名：東芝太郎、所属：総務部からなる個人属性情報を画像処理装置８に通知する。

画像処理装置８は、入退室管理装置６から受け取った個人属性情報を持つ人物Ａであることを、次の室の監視カメラ７（Ｂ）で撮影されたフレーム映像に重畳する。そのとき、監視カメラ７（Ａ）で撮影されたフレーム映像中の人物の数に対し、監視カメラ７（Ｂ）で撮影されたフレーム映像中の人物の数が増えていれば、共連れまたは共連れの可能性が高くなる。

さらに、共連れないし逸脱者と認定する精度を上げるためには、次の室の監視カメラ７（Ｂ）で撮影されたフレーム映像に個人属性情報を重畳した後、当該人物が移動するが監視カメラが連続して配置されている場合には人物の追跡を行うと共に、予め定める個人属性情報を重畳維持する時間ｔ１内、あるいは監視カメラが連続して配置されていない場合には撮影とほぼ同時間ｔ０に各監視カメラ７（Ａ）、７（Ｂ）で撮像された人物Ａの領域から、服装色、体形、服の模様、顔の特徴等の少なくとも１種類の特徴量を取り出し、両監視カメラ（Ａ）、７（Ｂ）間での人物の同定を行い、その同定情報である例えば服装色、体形などの個人属性情報を重畳する。その結果、例えば両監視カメラ（Ａ）、７（Ｂ）間での同一人物の服装が変化していたり、監視カメラ７（Ａ）よりも監視カメラ７（Ｂ）の人物Ａとともにする人数が増加している場合にはセキュリティゲート３を通過していないとか、共連れ侵入により当該エリアに入っていることが副次的に認定することができる。

（実施の形態４：請求項５に対応）
上記実施の形態では、リアルタイム映像並びに蓄積映像に個人属性情報を重畳する構成としたが、状況に応じて情報過多となる場合があるので、個人属性情報の映像への重畳を選択的に重畳表示・非表示する構成であってもよい。

また、上記実施の形態では、人物の特定結果として矩形形状で人物を囲っていたが、この矩形形状に代わって楕円形状や台形形状など、任意の形状で囲むように設定変更することも可能であり、囲み線も実線，破線など任意に設定変更可能である。

さらに、個人属性情報についても、前記実施の形態ではＩＤ，氏名，所属であったが、年齢，入社年度などのバリエーションの追加や表示アイテム数を変更（例えば氏名のみ）するなど、コンフィグレーションファイル（configuration file）の修正で容易に実現できる。

（実施の形態５：請求項６に対応）
上記実施の形態では、リアルタイム映像並びに蓄積映像の再表示に対し、映像上に個人属性情報をマッピングする構成としたが、図１２に示すように例えば認証行為を実施した人物が映っているフレーム映像の下側に個人属性情報を記載したテキストデータを併記するように紐付けし、表示する構成であってもよい。これにより、認証行為を実施した矩形形状の中の人物の属性について確実に確認できる。

（実施の形態６：請求項７に対応）
前記実施の形態３では、隣り合う監視カメラ間を連携して時間ｔ０〜ｔ１までの移動について、映像から得られる人物の特徴量をベースに追跡し、その特徴量と個人属性情報との相関関係を管理しているが、例えば図１３に示すように監視カメラ７（Ａ）で撮影された時間ｔ０の映像から監視カメラ７（Ｂ）で撮影された時間ｔ１までの映像から人物ＩＤ：１０４８の服装の色が青色と認識したが、その後、監視カメラ７（Ｃ）で撮影された時間ｔ２の映像から服装の色の特徴量が異なる状況であることを認識し、かつ、入退室管理装置６から得られる個人属性情報の１つであるＩＤ：１０４８であるような場合、なりすましが発生したと検知し、その時点で画像処理装置８から管理者に通報するようにしてもよい。

（実施の形態７：請求項８に対応）
この実施の形態では、複数の監視カメラ７（Ａ）〜７（Ｃ）を連携させる構成とした場合には映像監視システム系が入退室管理システム系を代行させるようにしてもよい。

映像監視システム系では、個人属性情報を管理しているので、次以降の室への入室管理については、図１４に示すように、複数の監視カメラ７（Ａ）〜７（Ｃ）間で正確な人物の追跡が行われ、同一の人物と認識していることを条件とし、認証行為を実施することなく、入退室管理システム系に代えて映像監視システム系が電気錠２の開錠操作を行い、扉２を通過させることも可能である。

逆に、映像監視システム系が管理している個人属性情報を入退室管理装置６に通知し、入退室管理装置６に電気錠２の開錠操作を委ねることも可能である。

その他、本発明は、上記実施の形態に限定されるものでなく、その要旨を逸脱しない範囲で種々変形して実施できる。

本発明に係る映像監視システムの全体を示す概要構成図。 本発明に係る映像監視システムの一実施の形態を示す構成図。 個人認証装置にアクセス認証する人物を特定するための説明図。 本発明に係る映像監視システムの一連の処理の流れを示す図。 図２に示す画像処理装置の単眼画像処理に関する処理の一例を示すフロー図。 映像上に複数人の人物が映っているイメージ図。 映像を蓄積するためのメタ情報の生成例を示す図。 映像蓄積装置におけるメタ情報と映像との蓄積例を示す図 図２に示す画像処理装置のステレオ画像処理に関する処理の一例を示すフロー図。 隣り合う室を移動する各人物の状態をイメージした図。 図１０に示す人物の移動時、複数の監視カメラを連携させつつ、各カメラに撮影された映像上に個人属性情報を継承させたときのイメージ図。 アクセス認証した人物の映っている映像上に個人属性情報のテキスト情報を並べて表示した画面イメージ図。 ＩＣカードによる個人認証時のなりすまし検知例を説明するイメージ図。 複数の監視カメラを連携させて同一の人物を追跡したときの映像監視システム系における入退室管理システム系の代行例を説明するイメージ図。

符号の説明

１…室、２…電気錠、３…セキュリティゲート、５…個人認証装置、５in，５out…ＩＣカードリーダ、６…入退室管理装置、７，７（Ａ），７（Ｂ），……監視カメラ、８…画像処理装置、８ａ…人物抽出手段、８ｂ…認証人物特定手段、８ｃ…メタ情報生成手段、８ｄ…情報連携出力手段、９…映像蓄積装置、Ａ，Ｂ，…人物。

Claims (8)

1. セキュリティゲート近傍に設置される個人認証装置を俯瞰する画角で監視カメラを配置し、セキュリティゲート近傍の映像を撮影する映像監視システムにおいて、
   前記セキュリティゲートを通過する際に任意の人物による前記個人認証装置への認証結果から真正な入退室者と認証されたとき、該当ゲートの電気鍵を開錠するとともに、認証によって取得される個人属性情報を通知する入退室管理装置と、
   この入退室管理装置から個人属性情報の通知を受けたとき、当該個人属性情報を前記監視カメラで撮影された映像のメタ情報として生成し、映像蓄積装置に当該映像とともにメタ情報を蓄積管理させる画像処理装置と
   を備えたことを特徴とする映像監視システム。
2. セキュリティゲート近傍に設置される個人認証装置を俯瞰する画角で監視カメラを配置し、セキュリティゲート近傍の映像を撮影する映像監視システムにおいて、
   前記セキュリティゲートを通過する際に任意の人物による前記個人認証装置への認証結果から真正な入退室者と認証されたとき、前記ゲートの電気鍵を開錠するとともに、認証によって取得される個人属性情報を通知する入退室管理装置と、
   前記監視カメラで撮影された映像から人物を抽出する人物抽出手段と、この人物抽出手段で抽出された人物のうち、当該人物の立ち位置及び挙動からアクセス認証した人物を特定する認証人物特定手段と、前記入退室管理装置から個人属性情報の通知を受けたとき、このアクセス認証した人物の映像に前記個人属性情報をメタ情報として重畳可能に割付けるメタ情報生成手段とを有し、映像蓄積装置に送出する画像処理装置と、
   この画像処理装置から送られてくる前記映像及び前記メタ情報を蓄積管理し、前記アクセス認証した人物の映っている映像を表示するとき、当該映像に前記個人属性情報を重畳し表示する前記映像蓄積装置と
   を備えたことを特徴とする映像監視システム。
3. 前記映像蓄積装置は、前記個人属性情報を構成する少なくとも一部の情報のメタ情報を検索キーとして用い、蓄積されている映像に対して、当該検索キーのもとに該当個人属性情報を所有する人物の撮影されている全ての監視カメラまたは任意の間とカメラの映像シーンを検索し表示することを特徴とする請求項１または請求項２に記載の映像監視システム。
4. 前記画像処理装置のメタ情報生成手段は、複数の監視カメラが連携するように配置されている場合、先にアクセス認証した人物が映っている前記監視カメラの映像に重畳されている前記個人属性情報を、次以降の監視カメラに映っているアクセス認証した人物の映像に継承し重畳するように割り付けし、必要に応じてアクセス認証した人物の服装色、体形、服装模様、顔の特徴量の情報の何れか１つの情報を前記個人属性情報として継承し重畳するように割り付けし、表示可能にすることを特徴とする請求項２に記載の映像監視システム。
5. 前記映像蓄積装置は、リアルタイム映像並びに蓄積映像を再表示するに対し、映像上に重畳される個人属性情報を選択的に表示・非表示とすることを特徴とする請求項２に記載の映像監視システム。
6. 前記画像処理装置のメタ情報生成手段は、映像上に重畳する代わりに、前記個人属性情報をテキスト情報として生成し、前記アクセス認証した人物の映像に当該テキスト情報を並べて表示可能にすることを特徴とする請求項２に記載の映像監視システム。
7. 前記画像処理装置は、任意の監視カメラで撮影された前記アクセス認証した人物の映像に付されている個人属性情報と、次以降の監視カメラで撮影された前記アクセス認証した移動する人物の特徴量との整合確認を実施し、次以降のセキュリティゲートを通過した後に前記個人属性情報に対して前記アクセス認証した人物の特徴量が前の状態と後の状態とで異なるとき、なりすますが発生したと認定することを特徴とする請求項４に記載の記載の映像監視システム。
8. 前記監視カメラ、前記画像処理装置及び映像蓄積装置を含む映像監視システム系は、前記個人属性情報を管理し、かつ、複数の監視カメラ間で前記アクセス認証した同一の人物と認識していることを条件とし、次以降の任意のセキュリティゲートの通過時の認証行為を実施することなく、前記入退室管理装置に代えて電気錠の開錠操作を行うことを特徴とする請求項１，２，４，７の何れか一項に記載の映像監視システム。

Images