JP2015050697A - 映像処理装置及び映像処理装置の制御方法 - Google Patents

Abstract

【課題】広域監視範囲に複数のカメラが設置されている環境で、設置されるカメラの台数が増大しても、効率よく域内を移動する特定の監視対象を追跡することができるようにする。【解決手段】監視範囲に配置された複数の撮像手段に跨って移動する個別の移動体の監視を行う監視カメラシステムに用いられる映像処理装置であって、撮像手段と、監視対象者とするべき特定移動体の特徴量データを登録するデータ登録手段と、前記撮像手段で撮像された被写体から移動体を検出する検出手段と、前記検出された特定移動体に対して、前記データ登録手段に登録された特徴量データを基に照合処理を行う照合手段と、前記照合手段が、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象者とするべき特定移動体を撮像した映像処理装置以外の映像処理装置においては、前記データ登録手段に登録されている特定移動体の特徴量データを抹消する制御手段とを備える。【選択図】図１

Description

本発明は映像処理装置及び映像処理装置の制御方法に関し、特に、複数の監視カメラで撮影された映像データから、個別の移動体を追跡するために用いて好適な技術に関する。

近年、監視およびモニタリングカメラシステムは、監視カメラの設置台数の増加に伴い、広域にわたって、監視対象を追跡するシステムが考えられている。例えば、特許文献１では、多数のカメラにまたがって広範囲に移動する移動体を自動認識して追跡するシステムが提案されている。また、特許文献２では、類似した被写体ペアのみを用いて、複数のカメラ間の連結関係の推定を行なうことを可能にするカメラ間連結関係情報生成装置が提案されている。

特開２００７−１４２５２７号公報 特開２００８−２１９５７０号公報

しかしながら、前述のシステムでは、広域監視範囲に設置されるカメラの台数が増えてくると、域内を移動する特定の監視対象に対して、追跡を行なうための検索、照合する処理の負荷が増大する問題点があった。
本発明は前述の問題点に鑑み、広域監視範囲に複数のカメラが設置されている環境で、設置されるカメラの台数が増大しても、効率よく域内を移動する特定の監視対象を追跡できるようにすることを目的とする。

本発明の映像処理装置は、監視範囲に配置された複数の撮像手段に跨って移動する個別の移動体の監視を行う監視カメラシステムに用いられる映像処理装置であって、撮像手段と、監視対象者とするべき特定移動体の特徴量データを登録するデータ登録手段と、前記撮像手段で撮像された被写体から移動体を検出する検出手段と、前記検出手段により検出された特定移動体に対して、前記データ登録手段に登録された特徴量データを基に照合処理を行う照合手段と、前記照合手段の照合の結果、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象とするべき特定移動体を撮像した映像処理装置以外の映像処理装置においては、前記データ登録手段に登録されている特定移動体の特徴量データを抹消する制御手段とを備えることを特徴とする。

本発明によれば、広域監視範囲に複数のカメラが設置されている環境で、設置されるカメラの台数が増大しても、効率よく域内を移動する特定の監視対象を追跡することができる。

本発明の実施形態を示し、監視カメラシステムの構成例を示す図である。 実施形態の監視カメラシステムの動作環境を示したネットワーク接続構成図である。 実施形態の監視カメラシステムの動作を説明するフローチャートである。 実施形態の監視カメラシステムで設置カメラと人の流れを示した図である。 実施形態の監視カメラシステムによる撮影画面の一例を示した図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１の実施形態＞
図２は、本発明の第１の実施形態である監視カメラシステムの動作環境を示したネットワーク接続構成図である。監視範囲に配置されたネットワークカメラ１００および２００、ネットワークストレージ装置３００、監視システム管理サーバー装置４００、映像情報表示装置５００がネットワーク回線であるＬＡＮ６００によって接続されている構成である。

１００および２００は撮像装置であるネットワークカメラで、被写体を撮影すると同時に撮影した映像に対して、動体検知、動体追尾、人体検知、顔認識、物体検知、などの映像解析処理を行なう機能を有し、監視範囲を移動する個別の移動体の監視を行う。

３００は記録装置であるネットワークストレージ装置であり、ネットワークカメラ１００および２００で撮影された映像データと同時に映像解析処理が行なわれた解析データがＬＡＮ６００を介して記録される。

４００は監視システム管理サーバー装置であり、広域監視範囲全体に設置された複数のネットワークカメラ撮影された映像データなどを収集する。本実施形態においては、ネットワークカメラ１００および２００で撮影された映像データと映像解析データを収集する。また、ネットワークストレージ装置３００に記録された過去の映像データと映像解析データを収集する。そして、その収集されたデータを利用することによって、広域監視範囲全体に渡る映像情報の管理を行なう。

５００は映像情報表示装置であり、ネットワークストレージ装置３００に記録された映像データと解析データを重畳して再生を行なう。また、監視システム管理サーバー装置４００で広域監視範囲全体に渡って管理されている映像情報の表示も行なう。またさらに、映像情報を基に映像解析処理が行われた解析データからイベントシーンなどの映像検索の操作を行なうための入力手段の機能も有する。

映像情報表示装置５００は、例えばＰＣ（personal computer）などを想定している。しかし、ＬＡＮ６００への物理的な接続形態として有線だけでなく、例えばタブレット端末のように無線の場合もあり、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。

ネットワークカメラ１００および２００は、２台以上の複数のカメラが構成されていればよく、２台以上であれば何台でもよい。さらにネットワークストレージ装置３００、監視システム管理サーバー装置４００、映像情報表示装置５００がＬＡＮ６００に接続される数は、図１で示したような本実施形態のように限定されるものではない。例えば、アドレスなどで識別できれば多数存在してもかまわない。

図１は、本発明が適用される監視カメラシステムに用いられるネットワークカメラ１００および２００の構成例を示した図である。

図１において、１０１、２０１は撮像センサ部で、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するCMOSなどの撮像素子である。
１０２、２０１は現像処理部であり、撮像センサ部１０１、２０１から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、RGBあるいはYUVなどのデジタル映像を生成する。

また、現像処理部１０２、２０２では、現像を施した後のデジタル映像を用いて所定の演算処理を行ない、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの映像処理を行なっている。

１０３、２０３は人物照合処理部であり、現像処理部１０２から出力されるデジタル映像に対し、人物照合データ蓄積部１０４、２０４に蓄積されている例えば、顔、服装、歩容などの人物照合データを参照して、比較、照合処理を行なう。また、人物照合処理部１０３、２０３は、照合された人物に対してフレーム間での位置関係から同定したものに固有のIDを付与することで人物の追尾処理を行なう。

１０４、２０４は人物照合データ蓄積部であり、不揮発性のメモリなどで構成される。人物照合データ蓄積部１０４、２０４は、監視システム管理サーバー装置４００で管理された人物照合データを監視システム管理サーバー装置４００からの送信によって書き込みおよび消去が可能となっている。

１０５、２０５は映像符号化部であり、人物照合処理部１０３、２０３からのデジタル映像信号を圧縮し符号化する。映像符号化部１０５、２０５は、配信用にデジタル映像信号の圧縮、フレームレート設定などを施される。ここでの配信用の圧縮方式は、所定の例えば、MPEG4、H.264、MJPEGまたはJPEGなどの規格に基づく。さらに、mp4やmov形式などの映像データのファイル化をも行なう。

１０６、２０６はLAN I/F部であり、監視システム管理サーバー装置４００との通信制御を行なう。また、ネットワークストレージ装置３００のLAN I/F部と連携することにより、例えば、NFSやCIFSなどのネットワークファイルシステムを構築して、映像データおよび人物追尾情報データの記録も行なう。

前述の構成で、本発明の実施形態が適用される監視カメラシステムの動作の詳細を説明する。図４は、本発明が適用される監視カメラシステムの実施例で、監視範囲に設置されているカメラの位置と人の流れを示したフロア図である。図４中には、人の流れに対して１台目のカメラとして１００、２台目のカメラとしてネットワークカメラ２００が撮影をしている方向を示している。以下、このような、カメラの設置状況における動作を説明する。

図３は、本実施形態の監視カメラシステムの動作の一例を示すフローチャートである。ネットワークカメラ１００、２００で行なわれる処理は、これらのカメラに備えられている図示しないＣＰＵが不揮発性メモリ(図示せず)に記録されたプログラムをメモリ(図示せず)のワークメモリ領域に展開して実行し、各部を制御することで実現する。

まず、広域監視範囲に設置されているすべてのカメラに対して、監視システム管理サーバー装置４００から、監視対象者とするべき人物の人物照合データの登録を行なう旨の通知を送信する。ネットワークカメラ１００においては、監視システム管理サーバー装置４００からの送信により監視対象者とするべき人物（特定移動体）の人物照合データ（特徴量データ）の登録を人物照合データ蓄積部１０４に登録するデータ登録処理を行う（Ｓ３１）。この動作は、広域監視範囲に設置されているすべてのカメラで同様に行なわれる。登録される人物照合データは、人物のIDとともに、例えば、顔、服装、歩容など個人を識別できるデータであればなんでもよい。

カメラ１００において、撮像センサ部１０１で撮像され、現像処理部１０２から出力された映像に対して、人物照合処理部１０３で人物検出処理を行なう(Ｓ３２)。
検出された人物に対して、人物照合データ蓄積部１０４に登録された人物照合データを基に特徴量データ照合を行って人物照合処理を行なう（Ｓ３３）。検出された人物に対して、人物照合処理の結果、照合しないと判定した場合は、Ｓ３２に戻ってさらに人物検出を行なう。

人物照合処理の結果、照合した場合、監視システム管理サーバー装置４００に対して、照合した旨の通知を送信する。通知を受け取った監視システム管理サーバー装置４００はカメラ１００を備えた映像処理装置以外の映像処理装置、本実施形態においては、カメラ２００を備えた映像処理装置に対して、該当する人物の人物照合データの抹消を行なう旨の通知を送信する。このカメラ２００を備えた映像処理装置は、監視対象者とするべき特定移動体を撮像したカメラ１００を備えた映像処理装置以外の映像処理装置である。

通知を受け取ったカメラ２００は、人物照合データ蓄積部２０４に登録されている該当する人物の人物照合データの抹消を行なう（Ｓ３４）。そして、カメラ１００の撮像内で該当する人物の追尾処理を行うことにより追跡を開始する（Ｓ３５）。

図５の上部に、カメラ１００で監視対象者である人物Ａ、Ｂ、Ｃが撮影されて人物照合処理部１０３で照合され、追跡を開始した時の映像画面を示す。これは、ある時刻のカメラ１００で撮影した映像の画面の様子である。

次に、追跡していた監視対象者である人物Ａ、Ｂ、Ｃが画面上から消失(フレームアウト)したとする。この時、監視対象者である人物Ａ、Ｂ、Ｃがカメラ１００の画面上から消失した旨の通知を監視システム管理サーバー装置４００へ送信する（Ｓ３６）。

通知を受け取った監視システム管理サーバー装置４００は、再び、他のカメラ（本実施形態においては、カメラ２００）に対して、監視対象者とするべき人物の人物照合データの登録を行なうよう通知を送る。この通知を受け取ったカメラ２００は、人物照合データ蓄積部２０４に該当する監視対象者の人物照合データの登録を行なう（Ｓ３７）。

この場合、監視範囲に設置されているすべてのカメラに対して登録する必要があるが、カメラ１００の設置場所に関連した周辺のカメラだけに登録するようにすることも可能である。さらに、カメラ１００と２００の関係のように、人流に沿った移動方向に対して設置してあるカメラに対してのみ登録するようにすることも可能である。

次に、図５の下部に示すように、人の流れに沿った移動方向に隣接して設置されているカメラ２００の撮像センサ部２０１で撮像され、現像処理部２０２から出力された時間Ｎ後の映像に、人物Ｂ、Ｃが映し出されたとする（Ｓ３８）。カメラ２００は、監視対象者Ｂ、Ｃが映し出されたことを監視システム管理サーバー装置４００に通知する。通知を受けた監視システム管理サーバー装置４００は、他のカメラ、本実施形態においてはカメラ１００に対して、該当する人物照合データの抹消を行う旨の通知を送信する。

通知を受けたカメラ１００は、監視対象者として人物照合データ蓄積部１０４に登録されている人物Ｂ、Ｃの人物照合データを削除することによって、人物照合データ蓄積部１０４に登録されている人物照合データの更新を行なう（Ｓ３９）。

この時点で、カメラ２００、あるいは周辺のカメラで撮影されている映像に人物Ａの人物照合データに対して照合されていない場合には、カメラ１００で監視対象者とするべき人物から外さず、人物照合データを人物照合データ蓄積部１０４に登録させておく。

このように、広域監視範囲に設置されているすべてのカメラの人物照合データ蓄積部において人物照合データの登録および削除を繰り返していくことにより、広域監視範囲全体で監視対象者の追跡を行なっていくことになる。

＜第２の実施形態＞
前述の監視カメラシステムでは、広域監視範囲に設置されている個々のカメラに人物照合データの登録を行なう人物照合データ蓄積部を設けることにより、広域監視範囲全体で監視対象者の追跡を行なっている。しかし、ＬＡＮ６００のネットワークインフラの帯域容量が大きければ、監視対象者のすべての照合処理を監視システム管理サーバー装置４００内で行なうことが可能である。

その場合、広域監視範囲に設置されている個々のカメラからの映像に対して、監視システム管理サーバー装置４００内で各々に対応した人物照合データ蓄積部を設け、人物照合データ蓄積部で監視対象者の人物照合データ登録および削除の動作を行なう。システムの動作としては、第１の実施形態で説明した方法に準ずる。

また、広域監視範囲に設置されているすべてのカメラからの映像を１台の監視システム管理サーバー装置４００内で監視対象者のすべての照合処理を行なうのではなく、数台単位のクラスタ形式の構成で行なうことも可能である。その場合、第１の実施形態で説明した動作に基づいた方法で、各クラスタ内で監視対象者の照合処理を行なう管理サーバー装置に対して、人物照合データを管理する監視システム管理サーバー装置４００が、統合して管理を行なうことでシステムの運用ができる。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ ネットワークカメラ
２００ ネットワークカメラ
３００ ネットワークストレージ装置
４００ 監視システム管理サーバー装置
５００ 映像情報表示装置
６００ ＬＡＮ

Claims (11)

1. 監視範囲に配置された複数の撮像手段に跨って移動する個別の移動体の監視を行う監視カメラシステムに用いられる映像処理装置であって、
   撮像手段と、
   監視対象者とするべき特定移動体の特徴量データを登録するデータ登録手段と、
   前記撮像手段で撮像された被写体から移動体を検出する検出手段と、
   前記検出手段により検出された特定移動体に対して、前記データ登録手段に登録された特徴量データを基に照合処理を行う照合手段と、
   前記照合手段の照合の結果、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象者とするべき特定移動体を撮像した映像処理装置以外の映像処理装置においては、
   前記データ登録手段に登録されている特定移動体の特徴量データを抹消する制御手段とを備えることを特徴とする映像処理装置。
2. 前記照合手段の照合の結果、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象者とするべき特定移動体を撮像した映像処理装置は、前記特定移動体の追尾処理を行うことを特徴とする請求項１に記載の映像処理装置。
3. 前記追尾処理を行っていた監視対象者の特定移動体が消失した場合には、前記監視対象者とするべき特定移動体を撮像した映像処理装置以外の映像処理装置は、
   前記特定移動体の特徴量データを前記データ登録手段に登録することを特徴とする請求項２に記載の映像処理装置。
4. 前記監視対象者とするべき特定移動体を撮像した映像処理装置において追尾処理を行っていた監視対象者の特定移動体が消失した場合には、
   前記監視対象者とするべき特定移動体を撮像した映像処理装置と物理的に隣接する映像処理装置のデータ登録手段に前記特定移動体の特徴量データを登録することを特徴とする請求項２または３に記載の映像処理装置。
5. 前記監視対象者とするべき特定移動体を撮像した映像処理装置において追尾処理を行っていた監視対象者の特定移動体が消失した場合には、
   前記監視対象者とするべき特定移動体を撮像した映像処理装置と物理的に隣接し、かつ前記特定移動体の移動方向に隣接する映像処理装置のデータ登録手段に前記特定移動体の特徴量データを登録することを特徴とする請求項２または３に記載の映像処理装置。
6. 監視範囲に配置された複数の撮像手段に跨って移動する個別の移動体の監視を行う監視カメラシステムに用いられる映像処理装置の制御方法であって、
   撮像手段により撮影する撮像工程と、
   監視対象者とするべき特定移動体の特徴量データを記録媒体に登録するデータ登録工程と、
   前記撮像手段で撮像された被写体から移動体を検出する検出工程と、
   前記検出工程において検出された特定移動体に対して、前記記録媒体に登録された特徴量データを基に照合処理を行う照合工程と、
   前記照合工程の照合の結果、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象者とするべき特定移動体を撮像した映像処理装置以外の映像処理装置においては、
   前記記録媒体に登録されている特定移動体の特徴量データを抹消する制御工程とを備えることを特徴とする映像処理装置の制御方法。
7. 前記照合工程の照合の結果、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象者とするべき特定移動体を撮像した映像処理装置は、前記特定移動体の追尾処理を行うことを特徴とする請求項６に記載の映像処理装置の制御方法。
8. 前記追尾処理を行っていた監視対象者の特定移動体が消失した場合には、前記監視対象者とするべき特定移動体を撮像した映像処理装置以外の映像処理装置は、
   前記特定移動体の特徴量データを前記記録媒体に登録することを特徴とする請求項７に記載の映像処理装置の制御方法。
9. 前記監視対象者とするべき特定移動体を撮像した映像処理装置において追尾処理を行っていた監視対象者の特定移動体が消失した場合には、
   前記監視対象者とするべき特定移動体を撮像した映像処理装置と物理的に隣接する映像処理装置の記録媒体に前記特定移動体の特徴量データを登録することを特徴とする請求項７または８に記載の映像処理装置の制御方法。
10. 前記監視対象者とするべき特定移動体を撮像した映像処理装置において追尾処理を行っていた監視対象者の特定移動体が消失した場合には、
    前記監視対象者とするべき特定移動体を撮像した映像処理装置と物理的に隣接し、かつ前記特定移動体の移動方向に隣接する映像処理装置の記録媒体に前記特定移動体の特徴量データを登録することを特徴とする請求項７または８に記載の映像処理装置の制御方法。
11. 監視範囲に配置された複数の撮像手段に跨って移動する個別の移動体の監視を行う監視カメラシステムに用いられる映像処理装置の制御方法をコンピュータに実行させるプログラムであって、
    撮像手段により撮影する撮像工程と、
    監視対象者とするべき特定移動体の特徴量データを記録媒体に登録するデータ登録工程と、
    前記撮像手段で撮像された被写体から移動体を検出する検出工程と、
    前記検出工程において検出された特定移動体に対して、前記記録媒体に登録された特徴量データを基に照合処理を行う照合工程と、
    前記照合工程の照合の結果、前記監視対象者とするべき特定移動体であると照合したら、前記監視対象者とするべき特定移動体を撮像した映像処理装置以外の映像処理装置においては、
    前記記録媒体に登録されている特定移動体の特徴量データを抹消する制御工程とをコンピュータに実行させることを特徴とするプログラム。

Images