JP2010279004A - 監視カメラシステム、監視カメラ及び監視カメラ制御装置 - Google Patents

Abstract

【課題】重要なシーンの画質が損なわれることを防止するとともに、ビットレートの急激な増加を防止できるようにする。
【解決手段】複数のカメラにおいて生成されたそれぞれの映像信号から被写体の特徴を示す認識度を計測し、計測されたそれぞれの映像データの認識度のうち、最も認識度が高い映像データに対しては、設定された参照画質評価値の画質となるビットレートになるように量子化パラメータを更新し、それ以外の映像データに対しては、計測された認識度に応じてビットレートを振り分ける。
【選択図】図１

Description

本発明は監視カメラシステム、監視カメラ、監視カメラ制御装置、監視方法、監視カメラの制御方法、監視カメラ制御装置の制御方法、プログラム及び記憶媒体に関し、特に、監視カメラで高画質の画像を得るために用いて好適な技術に関する。

現在、カメラで撮影した映像データをネットワーク経由で配信したり、ハードディスク等のストレージに記録したりする監視カメラシステムが広く普及してきている。このような監視カメラシステムにおいて、有限であるネットワーク帯域やストレージの記憶容量を効率よく使用するためには、カメラで撮影した映像データを圧縮することが必須である。そのため、一般的には、映像データを圧縮するための映像符号化装置が各カメラ内に実装されている。

現在、国際標準団体であるＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）によって映像符号化方式が標準化されている。監視カメラにおいては、国際標準団体であるＩＴＵ−Ｔによって標準化されたＨ．２６３や最新の符号化方式であるＨ．２６４等が映像符号化方式として採用されている。これらの一般的な映像符号化方式は、いずれも動きベクトルを用いた動き補償（フレーム間予測）を採用しており、連続するフレーム間の相関を利用して効率良く符号量を削減することを可能にしている。

図１０は、映像符号化装置を備えた監視カメラの内部構成例を示す図である。図１０に示すように、監視カメラは、撮像素子１００１、現像装置１００２、及び映像圧縮装置１００３を備えている。ＣＣＤやＣＭＯＳ等の撮像素子１００１を用いて電気信号へと変換された映像情報は、現像装置１００２によって人間の視聴に好適な映像情報へと変換される。映像符号化装置は、入力された映像情報を符号化し、符号化した映像情報を映像ストリームとしてネットワーク上もしくはストレージ等に送出する。

また、近年では監視の信頼性や精度を高めるために複数のカメラを用いて一つのシーンを多面的に監視する監視カメラシステムが実用化され始めている。このように複数のカメラを用いることにより、例えば不審者の背面のみが映像として残り、不審者の特徴抽出等ができないというような事態を未然に防ぐことが可能になる。

図９は、複数のカメラを用いた監視カメラシステムの例を示す図である。図９に示すように、複数のカメラを用いた監視カメラシステムにおいては、同じ領域を複数のカメラにより同時に撮影するため、不審者の進入等があると、各カメラが撮影しているシーンにおいて同時に動きが発生する。

前述した映像符号化方式においては、シーンに動きが発生すると画面間の相関が相対的に低くなるため、一般的には同一画質を保つために映像ストリームのビットレートが増加する。特に、動きベクトルで表現しにくい水平垂直運動でない複雑な動きが急に発生した場合には、映像ストリームのビットレートの増加は不可避になってしまう。

図１２は、図９で示した３つの監視カメラＡ，Ｂ，Ｃを備える監視カメラシステムにおいて、シーンに動きが発生した場合のビットレートの遷移の一例を示す図である。図１２に示すように、シーンに動きが発生したことにより、いずれの監視カメラの映像もビットレートが高くなってしまう。このようにビットレートが急激に増加した場合には、書き込み速度に上限があるストレージへの記憶漏れやネットワーク配信時の配信遅延を発生させてしまう。

このようにビットレートが急激に増加することを防ぐために、映像符号化装置においては出力ビットレートを一定にするように量子化パラメータを制御することが一般的に行われている。このようなビットレート制御は、ＣＢＲ（Constant Bit Rate）と呼ばれている。ＣＢＲのビットレート制御においては動きが発生した場合、量子化パラメータを上げることによりビットレートを一定に保っている。ところが、量子化パラメータが増加すると、動きが発生したシーンは監視用途としては重要であるにも関わらず、シーンにおける画質が劣化してしまう。このため、不審者の特徴を特定することが困難になってしまうという問題が存在していた。

そこで、動きがあった場合にビットレートが急激に増加することを防ぐための方法が、例えば、特許文献１に開示されている。特許文献１に記載の方法によれば、符号化中における情報からシーンの変化を検出し、シーンの変化がある時にフィルタにより予め高周波成分を削減してから映像符号化装置へ映像データを入力している。

また、例えば、特許文献２には、複数のカメラで撮影しているような状況においては、イベントが発生したカメラのフレームレートを変更するようにしている。さらに、他のカメラのフレームレートも変更することができるため、カメラ間で連携してフレームレートを制御するようにしている。

特開２００８−１１３２４号公報 特開２００７−２４３６９９号公報 特開２００５−１５９４１９号公報

前述したように、複数のカメラを用いた監視カメラシステムにおいて、シーンに動きが発生した場合、監視用途としては重要なシーンであるにもかかわらず画質が劣化してしまい、不審者の特徴を特定することなどが困難になってしまう。

前述の特許文献１に記載の方法は、動きの発生に起因するシーン変化によって一律にフィルタを用いて高周波成分を削減している。したがって、ビットレートの増加を監視していないため、必要無いにも関わらずフィルタリングを施してしまい、結果として不必要に高周波成分を劣化させてボケ画像を生成してしまうという問題があった。

また、前述の特許文献２に記載の方法は、動きのないシーンにフレームレートを向上させる場合もある。一般的に監視用途においては、映像のうち一枚を用いて不審者の特徴を特定するケースが多い。したがって、フレームレートを向上させるよりも画質を向上させることが重要である。

本発明は前述の問題点に鑑み、重要なシーンの画質が損なわれることを防止するとともに、ビットレートの急激な増加を防止できるようにすることを目的としている。

本発明の監視カメラシステムは、被写体を撮像して映像データを生成する複数の撮像手段と、前記複数の撮像手段によって生成されたそれぞれの映像データを符号化する映像符号化手段と、前記複数の撮像手段によって生成されたそれぞれの映像データから前記被写体の特徴を示す認識度を計測する認識度計測手段と、前記認識度計測手段によって計測されたそれぞれの映像データの認識度に基づいて前記それぞれの映像データに対して符号化を行うように前記映像符号化手段を制御する制御手段とを備えることを特徴とする。

本発明によれば、重要度が高いと想定される映像を高画質にすることができるとともに、ストレージ装置への記録漏れやネットワークにおける伝送遅延を未然に防ぐことができる。

３台のカメラを用いた監視カメラシステムの構成例を示すブロック図である。 顔認識度を得るためのテーブルの一例を示す図である。 ビットレートの割り当ての概念を示す図である。 量子化パラメータと画質評価値との一般的な関係を示す図ある。 量子化パラメータと映像ストリームのビットレートとの一般的な関係を示す図ある。 量子化パラメータを制御する処理手順の一例を示すフローチャートである。 図６のステップＳ６０７における顔認識度が最も高かった最優先カメラの量子化パラメータを更新する処理手順の一例を示すフローチャートである。 図６のステップＳ６０８における最優先カメラ以外のその他のカメラの量子化パラメータを更新する処理手順の一例を示すフローチャートである。 複数のカメラを用いた監視カメラシステムの例を示す図である。 映像符号化装置を備えた監視カメラの内部構成例を示す図である。 映像符号化部の内部構成例を示すブロック図である。 従来のシーンに動きが発生した場合のビットレートの遷移の一例を示す図である。 第１のカメラ、第２のカメラ及び第３のカメラのビットレートの割り当て及び顔認識度の一例を示す図である。 ３台のカメラを用いた監視カメラシステムの構成例を示すブロック図である。 量子化パラメータを制御する処理手順の一例を示すフローチャートである。 動領域の一例を説明する図である。 ３台のカメラを用いた監視カメラシステムの構成例を示すブロック図である。 量子化パラメータを制御する処理手順の一例を示すフローチャートである。 ビットレートの割り当て及び顔認識度の一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態において、３台のカメラを用いた監視カメラシステムの構成例を示すブロック図である。
図１に示すように、本実施形態の監視カメラシステムにおいては、第１のカメラ１０、第２のカメラ２０、及び第３のカメラ３０を備えている。さらに、ストリーム多重化部１１３及びビットレート制御部１１４を備えた監視カメラ制御装置１００と、ストレージ装置１１５とを含む監視カメラ制御装置１００を備えている。

第１のカメラ１０は、撮像素子１０１、現像部１０２、顔認識部１０３、映像符号化部１０４、及び不図示のネットワークインターフェース（送信部及び受信部）を備えている。また、第２のカメラ２０及び第３のカメラについても、第１のカメラ１０と同じ構成を有している。以下、代表して第１のカメラ１０に含まれている構成について説明する。

現像部１０２は、撮像素子１０１によって電気信号に変換された映像情報を、人間の視聴に好適な映像信号（映像データ）へと変換する。本実施形態においては、映像の重要度を判断するために認識度を用いる。この認識度は、映像の認識がどれだけ良好にされたかを示す指標であり、この認識度が高いほど監視用途等に優れた映像であるものとする。本実施形態においては、認識度として、画像から抽出される顔認識度を採用している。

顔認識部１０３は認識度計測手段として機能し、現像部１０２から出力された映像信号において１枚毎に顔認識を行う。ここで顔認識部１０３は、単純に顔が画像内に存在するか否かだけではなく、顔と判定された顔領域の大きさと、顔のカメラに対して正面を向いている度合いを示す顔正面度との２点を定量的に算出する。なお、この顔領域の大きさ及び顔正面度を算出する際には、特定の顔認識アルゴリズムに依存するものではなく、どのようなアルゴリズムを用いてもよい。

顔認識部１０３は、顔認識アルゴリズムにより得られた顔領域の大きさ及び顔正面度の２点から、図２に示すようなテーブルを用いて顔認識度として算出し、ビットレート制御部１１４に出力する。図２は、顔認識度を得るためのテーブルの一例を示す図である。顔認識部１０３は、算出された顔領域の大きさ及び顔正面度からテーブル引きをして顔認識度を算出する。

例えば、図２において、顔認識部１０３により得られた顔正面度が「中」であり、顔領域の大きさが「大」である場合には、顔認識度「８０」が顔認識部１０３の出力結果となる。なお、図２においては、簡単化のために４×４行列のテーブルとしたが特定のテーブルに依存するものではなく、テーブルの行列数及び要素の値は監視の想定する用途や計算負荷等のシステム構成に応じてカスタマイズすることが可能である。

映像符号化部１０４は、ビットレート制御部１１４から入力されるビットレート制御用の量子化パラメータを用いて現像部１０２から入力された映像信号を符号化（圧縮）する。そして、符号化した映像信号を映像ストリームとしてストリーム多重化部１１３へ出力する。

図１１は、映像符号化部１０４の内部構成例を示すブロック図である。
図１１に示すように、映像符号化部１０４は、動きベクトル探索部１１０１、動き補償部１１０２、直交変換部１１０３、量子化部１１０４、エントロピー符号化部１１０５、逆量子化部１１０６、及び逆直交変換部１１０７を備えている。さらに、デブロッキングフィルタ１１０８、記録装置１１０９、及び画質評価値算出部１１１０を備えている。

動きベクトル探索部１１０１は、ブロックマッチング等の手法を用いてブロック毎に動きベクトルを探索・決定する。動き補償部１１０２は、決定された動きベクトル及び記録装置１１０９から読み出した参照フレームを用いて動き補償処理（差分演算）を行い、減算器へと出力する。直交変換部１１０３は、情報を効率よく符号化するため、減算器から出力された差分値に対してＤＣＴや整数変換等の直交変換を行い、直交変換係数を出力する。

量子化部１１０４は、量子化パラメータを用いて直交変換係数の量子化処理を行い、情報量を大きく削減する。ここで量子化パラメータは、外部によって変更可能なパラメータであり、量子化パラメータが大きいほど直交変換係数をより粗く量子化する。このように、量子化パラメータによっては映像ストリームのビットレートを劇的に削減させることができるが、量子化誤差が大きく発生するため画質が劣化する。

エントロピー符号化部１１０５は、量子化された直交変換係数に対してエントロピー符号化を行い、符号化された映像信号を映像ストリームとして出力する。逆量子化部１１０６、逆直交変換部１１０７、及びデブロッキングフィルタ１１０８は、フレーム間予測を行う際に復号画像を生成して記録装置１１０９へ記録するために必要な構成である。

また、画質評価値算出部１１１０は、例えば、特許文献３に示すような画質評価アルゴリズムを用いて、符号化した映像ストリームの画質評価値を算出し、ビットレート制御部１１４へと出力する。

監視カメラ制御装置１００は、前述したように、ストリーム多重化部１１３、ビットレート制御部１１４及び不図示のネットワークインターフェース（送信部及び受信部）を備えている。

ストリーム多重化部１１３は、第１のカメラ１０、第２のカメラ２０及び第３のカメラ３０から出力された映像ストリームを多重化してストレージ装置１１５へ記録する。さらにストリーム多重化部１１３は、第１のカメラ１０、第２のカメラ２０及び第３のカメラ３０から出力される映像ストリームのビットレート情報をビットレート制御部１１４へ送る。このように監視カメラシステムを利用する監視者は、ストレージ装置１１５にアクセスすることにより任意の過去の映像情報を利用することができる。

ここで、ストレージ装置１１５へ書き込み可能なビットレートは上限が存在することから、ストリーム多重化部１１３から出力される多重化された複数の映像ストリームの合計ビットレートを予め設定された値以下にする必要がある。そこで、ビットレート制御部１１４は、第１のカメラ１０、第２のカメラ２０及び第３のカメラ３０のそれぞれから顔認識度及び画質評価値の情報を受け取る。そして、以下のアルゴリズムを用いてそれぞれの量子化パラメータを制御することにより、合計ビットレートが常に一定値になるように制御する。

図３は、本実施形態におけるビットレートの割り当ての概念を示す図である。ここで、全てのビットレートの総和が監視カメラシステムの許容するビットレート（ストレージへの書き込み速度）以下でなければならない。まず、各カメラの顔認識度を比較し、不審者等の特徴を把握するのに好適な顔認識度が最も高いカメラを最優先カメラと決定する。したがって、最優先カメラに関しては画質評価値を保証するようなビットレート制御を適用し、その他のカメラに対しては顔認識度に応じてビットレートを割り当てるものとする。例えば図３に示すように、最優先カメラ以外の各カメラに対しては少なくとも最低のビットレートを常時割り当てる。

図４は、量子化パラメータと画質評価値との一般的な関係を示す図ある。
図４に示すように、量子化パラメータが小さいほど画質評価値が大きく、不審者の特徴を特定するのに好適な高画質な映像になる。図４に示す関係は、映像符号化部１０４の特性によって決定されるとともに、撮影しているシーン及び被写体の動きによっても変化する。ここで、映像符号化部１０４の特性とは、採用している動きベクトル検出アルゴリズムや、Ｈ．２６４、ＭＰＥＧ−２等の符号化方式などの特性である。

最優先カメラに関しては、図４に示す関係を用いて最優先カメラの画質が後述する参照画質評価値になるように量子化パラメータを制御する。一方、図４に示す関係を用いて量子化パラメータを制御すると、実現すべきビットレートに関しては直接制御ができなくなってしまう。

図５は、量子化パラメータと映像ストリームのビットレートとの一般的な関係を示す図ある。
図５に示すように、量子化パラメータが大きいほどビットレートが低下する。そこで、最優先カメラ以外のその他のカメラの合計ビットレートを一定値以下にするために、映像ストリームが出力するビットレートを参照ビットレートに近づけるように量子化パラメータを制御する。この参照ビットレートの算出方法については後述する。一方、図５に示す関係を用いて量子化パラメータを制御すると、画質について保証できなくなってしまう。

図６は、本実施形態のビットレート制御部１１４による量子化パラメータを制御する処理手順の一例を示すフローチャートである。
撮影を開始した直後において、まず、ステップＳ６０１において、カメラの初期ビットレートを設定する。

ここで、初期ビットレートを設定する際には、全てのカメラに対して等しいビットレートに設定してもよい。また、図９に示すように、天井から撮影しているカメラＣのように、重要度が高くなる可能性が低いカメラについては、予めビットレートを低く設定してもよい。また、監視を開始する前に予めチューニングを行って全てのカメラの映像が等しい画質になるように初期ビットレートを設定してもよい。

次に、ステップＳ６０２において、最優先カメラの参照画質評価値を設定する。撮影の開始時は、どのカメラが最優先カメラになるか決定されていないが、この最優先カメラの参照画質評価値は、監視の想定される用途から重要映像がどの程度の画質を持つことが必要かを予め決定しておくことにより設定されるものである。具体的には、ビットレート制御部１１４が参照画質評価値決定手段として機能し、参照画質評価値を設定する。

次に、ステップＳ６０３において、各カメラの映像における最低ビットレートを設定する。そして、ステップＳ６０４において、各カメラが撮影した各フレームについて前のフレームに対する動きが発生しているか否かをチェックする。このとき、映像符号化部１０４の動き補償部１１０２の処理結果等に基づいてチェックする。

次に、ステップＳ６０５において、ステップＳ６０４のチェックにより、動きが発生している領域があるか否かを判断する。この判断の結果、不審者の侵入等がなく、フレーム中において動きが全く発生していない場合は、ステップＳ６１１に進む。そして、ステップＳ６１１において、各カメラに対して初期ビットレートで映像符号化を行うように、ＣＢＲ（Constant Bit Rate）に基づいた量子化パラメータを制御する。

一方、ステップＳ６０５の判断の結果、１台以上のカメラにおいて動きが発生している場合は、ステップＳ６０６において、各カメラが撮影したフレームの顔認識度の情報を取得する。そして、ステップＳ６０７において、顔認識度が０でないカメラがあったか否かを判断する。

この判断の結果、顔認識度が０でないカメラがあった場合は、ステップＳ６０８に進む。そして、ステップＳ６０８において、ビットレート制御部１１４はパラメータ決定手段として機能し、顔認識されたカメラのうち、最も顔認識度が高かったカメラを最優先カメラとして量子化パラメータを更新する。そして、ステップＳ６０９において、最優先カメラ以外のその他のカメラの量子化パラメータを更新する。

次に、ステップＳ６１０において、次のフレームが存在し、撮影が続行であるか否かを判断する。この判断の結果、撮影が続行である場合は、ステップＳ６０４に戻る。一方、ステップＳ６１０の判断の結果、撮影が続行でない場合は、そのまま処理を終了する。

一方、ステップＳ６０７の判断の結果、顔認識度が０でないカメラが無かった場合は、ステップＳ６１１に進む。以上のように、ステップＳ６０５からステップＳ６１１までの処理をフレーム毎に行う。

図７は、図６のステップＳ６０７における顔認識度が最も高かった最優先カメラの量子化パラメータを更新する処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、ステップＳ６０２の撮影の開始時に設定された最優先カメラ用の参照画質評価値の情報を取得する。そして、ステップＳ７０２において、最後に符号化したフレームの画質評価値と参照画質評価値とを比較する。

この比較の結果、最後に符号化したフレームの画質評価値が参照画質評価値よりも低い場合は、ステップＳ７０３に進み、量子化パラメータをＤだけ小さくし、次のフレームではより高画質に符号化を行うように制御する。ここでＤの値は、量子化パラメータの増減幅を決める１〜５程度の値であり、映像のフレームレート等により予め決定される。

また、ステップＳ７０２の比較の結果、最後に符号化したフレームの画質評価値が参照画質評価値よりも高い場合も同様にステップＳ７０３に進み、量子化パラメータをＤだけ大きくし、次のフレームではより低画質に符号化を行うように制御する。さらに、ステップＳ７０２の比較の結果、最後に符号化したフレームの画質評価値と参照画質評価値とが同じである場合は、そのまま処理を終了する。

図８は、図６のステップＳ６０８における最優先カメラ以外のその他のカメラの量子化パラメータを更新する処理手順の一例を示すフローチャートである。
まず、ステップＳ８０１において、図７に示した手順で更新した最優先カメラの映像ストリームのビットレートの情報と、予め設定されているその他のカメラの最低ビットレートの情報とを取得する。

次に、ステップＳ８０２において、監視カメラシステムとして許容できる最大ビットレートから最優先カメラのビットレート、及びその他のカメラの最低ビットレートを減算して比例配分用ビットレートを算出する。そして、ステップＳ８０３において、各カメラの顔認識度の大きさに応じて比例配分用ビットレートを比例配分することにより各カメラの参照ビットレートを算出する。例えば、顔認識度が０であり、顔認識がされなかったカメラには比例配分用ビットレートは割り当てられず、最低ビットレートを参照ビットレートとする。

次に、最優先カメラ以外のその他のカメラについて量子化パラメータの更新を行う。そこで、まずステップＳ８０４において、量子化パラメータの更新を行うカメラの番号としてＸ＝１と初期設定を行う。そして、ステップＳ８０５において、Ｘ番目のカメラについて符号化した映像のビットレートと算出した参照ビットレートとを比較する。

この比較の結果、参照ビットレートの方が小さい場合は、ステップＳ８０６において、量子化パラメータをＤだけ大きくすることによりカメラのビットレートを低減させる。また、ステップＳ８０５の比較の結果、参照ビットレートの方が大きい場合も同様に、ステップＳ８０６において、量子化パラメータをＤだけ小さくすることによりカメラのビットレートを大きくする。一方、ステップＳ８０５の比較の結果、符号化した映像のビットレートと算出した参照ビットレートとが同じである場合は、ステップＳ８０７に進む。

次に、ステップＳ８０７において、最優先カメラ以外の全てのカメラについて量子化パラメータの更新を行ったか否かを判断する。この判断の結果、最優先カメラ以外の全てのカメラについて量子化パラメータの更新を行った場合は、そのまま処理を終了する。一方、ステップＳ８０７の判断の結果、量子化パラメータの更新を行っていないカメラが存在する場合は、ステップＳ８０８において、Ｘの値を１増加し、ステップＳＳ８０４に戻る。

図６〜図８に示したビットレート制御アルゴリズムによる実際のビットレートの割り当て状況を図１３に示す。図１３（ａ）は、時系列で第１のカメラ１０、第２のカメラ２０及び第３のカメラのビットレートの割り当ての一例を示す図であり、図１３（ｂ）は、第１のカメラ１０及び第２のカメラ２０の顔認識度の一例を示す図である。

図１３（ａ）に示す例では、初期のビットレートは各カメラに等分して割り当てている。また、時刻ｔ＝４〜１０の間に撮影シーン内において動きが発生し、第１のカメラ１０及び第２のカメラ２０において顔が認識されている。第２のカメラ２０において撮影された映像は顔認識度が大きいので最優先カメラとして決定され、画質評価値に応じて量子化パラメータが制御される。

ここで、第２のカメラ２０に対するビットレートが変化しているのは、シーン内の動きによって所定の画質を得るために必要なビットレートが変化するためである。第３のカメラ３０に関しては、顔認識がされなかったため、最低ビットレートを参照ビットレートとして設定され、映像符号化が行われている。

第１のカメラ１０に関しては、第２のカメラ２０及び第３のカメラ３０に割り当てられていない比例配分用ビットレートが全て割り当てられている。本実施形態では、カメラの数は３台であったが、例えば、第４のカメラが存在しており、かつ顔認識がされた場合、顔認識度に応じて比例配分用ビットレートが第１のカメラ１０と第４のカメラとに配分される。

以上のように本実施形態によれば、顔認識度に基づいてビットレートの振り分けを行うようにした。これにより、複数のカメラの映像ストリームの合計ビットレートを一定に保つようにして、ストレージへ常に安定的に書き込むことができる。さらに、顔認識度が高い映像については、可能な限り高画質の映像を提供することができる。

また、本実施形態においては、符号化済みのフレームの情報を用いて次のフレームの量子化パラメータを決定しているが、本実施形態では符号化を複数回行うマルチパス符号化にも容易に適用することが可能である。マルチパス符号化を行う場合は、映像符号化の結果として、最優先カメラにおいて撮影された映像が参照画質評価値となり、その他のカメラが参照ビットレートに到達するまで繰り返し１枚のフレームを符号化する。

さらに本実施形態においては、認識度として顔認識度を用いたが、他のパラメータを用いてもよい。映像が十分な画質である場合は、人間の顔のみならず犬や猫等の動物や自動車等の物体についても認識することができ、さらに、そのような動物や物体についても認識度を定義することが可能である。また、例えば、顔認識部１０３を文字認識装置によって置き換え、認識度として文字認識度を用いることにより、道路交通システムにおける車のナンバープレートの認識等に応用することも容易に可能となる。

（第２の実施形態）
第１の実施形態においては、認識度として顔認識度を用いる例について説明した。本実施形態では、認識度として動領域の大きさを用いる例について説明する。
図１４は、本実施形態において、３台のカメラを用いた監視カメラシステムの構成例を示すブロック図である。
図１４に示すように、本実施形態の監視カメラシステムにおいては、第１のカメラ４０、第２のカメラ５０、及び第３のカメラ６０を備えている。さらに、ストリーム多重化部１４１０及びビットレート制御部１４１１を備えた監視カメラ制御装置１４００と、ネットワークルータ１４１２とを備えている。

第１のカメラ４０は、撮像素子１４０１、現像部１４０２、映像符号化部１４０３及び不図示のネットワークインターフェース（送信部及び受信部）を備えている。また、第２のカメラ５０及び第３のカメラ６０についても、第１のカメラ４０と同じ構成を有している。以下、代表して第１のカメラ４０に含まれている構成について説明する。なお、撮像素子１４０１及び現像部１４０２についてはそれぞれ、第１の実施形態における撮像素子１０１及び現像部１０２と同じ動作を行うため、説明は省略する。

映像符号化部１４０３は、第１の実施形態と同様に量子化パラメータを用いて映像信号に対して符号化を行う。なお、映像符号化部１４０３の内部の構成については、図１１と同様であるため、説明は省略する。そして、符号化した映像信号を映像ストリームとしてストリーム多重化部１４１０に出力する。さらに、画質評価値の情報をビットレート制御部１４１１に出力するとともに、動領域の大きさの情報についても算出し、ビットレート制御部１４１１に出力する。

前述したように本実施形態においては、認識度として動領域の大きさを用いている。この動領域については図１６を参照しながら説明する。図１６に示すように、動領域においては、各フレームについて前のフレームとの差分がある領域を矩形で表現したものであり、動領域の大きさとは矩形領域の面積により表現される。なお、ここでの差分とは、動きベクトルは考慮しない単純差分である。

監視カメラ制御装置１４００は、前述したように、ストリーム多重化部１４１０、ビットレート制御部１４１１及び不図示のネットワークインターフェース（送信部及び受信部）を備えている。

ストリーム多重化部１４１０は、第１のカメラ４０、第２のカメラ５０及び第３のカメラ６０から出力された映像ストリームを多重化してネットワークルータ１４１２へ送出する。これにより、監視者はネットワークを経由して複数のカメラの映像ストリームをダウンロードすることが可能となる。ここで、ネットワーク上に伝送可能なビットレートは上限が存在するため、配信遅延や配信漏れを防ぐためにビットレート制御部１４１１は、複数の映像ストリームの合計ビットレートをある値以下に制御する必要がある。

図１５は、本実施形態のビットレート制御部１４１１による量子化パラメータを制御する処理手順の一例を示すフローチャートである。なお、ステップＳ１５０１〜Ｓ１５０５は、第１の実施形態における図６のステップＳ６０１〜Ｓ６０５と同じ処理であるため、説明は省略する。

ステップＳ１５０６において、各カメラの動領域の大きさの情報を取得し、動領域が一番大きい映像を撮影しているカメラを最優先カメラに設定する。動領域が一番大きい映像のカメラを最優先カメラとして設定する場合、監視対象の特徴を特定するのに好適である。また、ステップＳ１５０６における最優先カメラの量子化パラメータの制御は、図７と同様の手順であり、ステップＳ１５０７におけるその他のカメラ群の量子化パラメータの制御は、図８と同様の手順である。さらに、ステップＳ１５０９、Ｓ１５１０はそれぞれ、図８のステップＳ６１０、Ｓ６１１と同様であるため、説明は省略する。

撮影すべき人物が例えばマスクを被っているため、顔認識できないケースも多い。そこで、本実施形態のように動領域に注目することにより顔認識ができない状況下においても重要な映像と判断してより多くのビットレートを与え、高画質を保証することが可能となる。

（第３の実施形態）
第２の実施形態では、監視対象が人間であるということを特定しないため、例えば光の変化が動領域として検出されてしまうことがあり、ビットレートの割り当てが不適切になる可能性がある。
図１７は、本実施形態において、３台のカメラを用いた監視カメラシステムの構成例を示すブロック図である。
図１７に示すように、本実施形態の監視カメラシステムにおいては、第１のカメラ７０、第２のカメラ８０、及び第３のカメラ９０を備えている。さらに、顔認識部１７０８、映像符号化部１７０９、及びビットレート制御部１７１０を備えた監視カメラ制御装置１７００と、ストレージ装置１７０７とを備えている。

第１のカメラ７０は、撮像素子１７０１、現像部１７０２及び不図示のネットワークインターフェース（送信部及び受信部）を備えている。また、第２のカメラ８０及び第３のカメラ９０についても第１のカメラ７０と同じ構成を有している。なお、撮像素子１７０１及び現像部１７０２についてはそれぞれ、第１の実施形態における撮像素子１０１及び現像部１０２と同じ動作を行うため、説明は省略する。

監視カメラ制御装置１７００は、前述したように、顔認識部１７０８、映像符号化部１７０９、ビットレート制御部１７１０及び不図示のネットワークインターフェース（送信部及び受信部）を備えている。

ストレージ装置１７０７は、第１のカメラ７０、第２のカメラ８０及び第３のカメラ９０から出力された映像情報を記録する。映像符号化部１７０９及び顔認識部１７０８は、監視者から要求があった時にストレージ装置１７０７から各カメラの映像情報を読み出し、それぞれ第１の実施形態における図１の映像符号化部１０４及び顔認識部１０３と同じ処理を行う。また、ビットレート制御部１７１０についても第１の実施形態における図１のビットレート制御部１１４と同じ動作を行う。

本実施形態は、ストレージ装置の書き込み速度及び容量が豊富な場合に特に有効な構成であり、第１のカメラ、第２のカメラ及び第３のカメラの構成を簡素化して省電力化することができる。また、映像符号化部１７０９、顔認識部１７０８、及びビットレート制御部１７１０を１つの装置にまとめ、コストを抑えることができる。

（第４の実施形態）
前述したように第１の実施形態では、複数のカメラの映像ストリームの合計ビットレートを常に一定の値に制御した。本実施形態においては、各カメラに優先順位付けを行い、優先順位に応じて参照画質評価値を割り当てる。各カメラにおいて設定された参照画質評価値になるように制御することにより、目標の画質を達成するのに必要なビットレートを常に与えることができる。

一方、シーンの動きが少なく、低いビットレートでも十分に高画質の映像となる場合など多くのビットレートを必要としない場合には、可能な限り合計ビットレートを低くする。本実施形態は、特にストレージ装置の記録容量が少ない時に有効である。なお、本実施形態の監視カメラシステムの構成については第１の実施形態と同様であるため、説明は省略する。

図１８は、本実施形態のビットレート制御部１１４による量子化パラメータを制御する処理手順の一例を示すフローチャートである。
まず、ステップＳ１８０１において、各カメラに暫定的な初期優先順位を設定する。このとき、カメラがＮ台の時には優先順位１から優先順位Ｎまでを設定し、優先順位１が最も優先度が高いものとする。この初期優先順位は、各カメラの位置や過去の履歴を参照することにより設定する。そして、人物の顔認識をする可能性が最も高いと考えられるカメラに優先順位１を設定する。

次に、ステップＳ１８０２において、目標とする参照画質評価値を優先順位毎に設定する。このとき、優先順位１のカメラには一番大きい参照画質評価値を設定し、優先順位が低くなるに従って参照画質評価値が小さくなるように設定する。そして、ステップＳ１８０３において、撮影中の各カメラの顔認識度の情報を取得する。顔認識度の情報の取得する手順については第１の実施形態と同様である。

次に、ステップＳ１８０４において、顔認識度が大きい映像を撮影したカメラに対してより高い優先順位を与えるように各カメラの優先順位を更新する。そして、ステップＳ１８０５において、量子化パラメータの更新を行うカメラの優先順位としてＸ＝１と初期設定を行う。

次に、ステップＳ１８０６において、各カメラの更新された優先順位に対応する参照画質評価値と比較対象のカメラが出力した映像ストリームの画質評価値とを比較する。この比較の結果、参照画質評価値に比べて映像ストリームの画質評価値が小さい場合は、ステップＳ１８０７において、優先順位Ｘのカメラの量子化パラメータをＤだけ小さくする。

また、ステップＳ１８０６の比較の結果、参照画質評価値に比べて映像ストリームの画質評価値が大きい場合も同様に、ステップＳ１８０７において、優先順位Ｘのカメラの量子化パラメータをＤだけ大きくする。一方、ステップＳ１８０６の比較の結果、参照画質評価値と比較対象のカメラが出力した映像ストリームの画質評価値とが同じである場合は、ステップＳ１８０８に進む。

本実施形態の画質制御アルゴリズムによる実際のビットレートの割り当て状況の一例を図１９に示す。図１９（ａ）は、時系列で第１のカメラ１０、第２のカメラ２０及び第３のカメラ３０のビットレートの割り当ての一例を示す図であり、図１９（ｂ）は、第１のカメラ１０及び第２のカメラ２０の顔認識度の一例を示す図である。

図１９に示す例では、初期優先順位として、優先順位１のカメラを第１のカメラ１０とし、優先順位２のカメラを第２のカメラ２０とし、さらに優先順位３のカメラを第３のカメラ３０としている。時刻ｔ＝０〜４までは、第１のカメラ１０の顔認識度が一番高く、初期優先順位から変動はない。したがって、第１のカメラ１０の参照画質評価値が高く、大きなビットレートが割り当てられている。

ところが、時刻ｔ＝４〜５の間において、第２のカメラ２０の顔認識度が一番大きくなり、第２のカメラ２０が優先順位１となっている。その結果、第２のカメラ２０に対して一番高い参照画質評価値が割り当てられ、ビットレートも一番大きくなっていることがわかる。

第３のカメラ３０に関しては、顔認識がされなかったため常に一番低い優先順位３であり、最も小さい参照画質評価値が与えられている。なお、シーン内の動きによってある画質を達成するのに必要なビットレートが変化するため、本実施形態においては、それぞれのカメラのビットレートが優先順位の変動が無い期間においても変化している。以上のように、顔認識度に応じてビットレートが決定されるので、重要度が高いと想定される映像を高画質にすることができる。また、参照画質評価値に基づくビットレートを決定しているので、急激に合計ビットレートが上昇することを防止することができる。

（本発明に係る他の実施形態）
以上の実施形態を挙げて本発明の詳細を述べたが、本発明は上記実施形態に限定されるものではなく、各実施形態で述べられた構成要素を組み合わせることにより応用して展開することも容易に可能である。

前述した本発明の実施形態における監視カメラシステムを構成する各手段、並びに監視方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図６〜８、１５、１８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

１０１、１０５、１０９ 撮像素子、１０３、１０７、１１１ 顔認識部、１０４、１０８、１１２ 映像符号化部、１１４ ビットレート制御部

Claims (19)

1. 被写体を撮像して映像データを生成する複数の撮像手段と、
   前記複数の撮像手段によって生成されたそれぞれの映像データを符号化する映像符号化手段と、
   前記複数の撮像手段によって生成されたそれぞれの映像データから前記被写体の特徴を示す認識度を計測する認識度計測手段と、
   前記認識度計測手段によって計測されたそれぞれの映像データの認識度に基づいて前記それぞれの映像データに対して符号化を行うように前記映像符号化手段を制御する制御手段とを備えることを特徴とする監視カメラシステム。
2. 前記映像符号化手段によって符号化された映像データの画質を示す画質評価値を算出する画質評価値算出手段をさらに備え、
   前記制御手段は、前記複数の撮像手段によって生成された映像データのうち、最も認識度が高い映像データに対しては前記画質評価値算出手段によって算出された画質評価値に応じたビットレートとなるように制御し、それ以外の映像データに対しては、前記認識度計測手段によって計測された認識度に応じたビットレートとなるように前記映像符号化手段を制御することを特徴とする請求項１に記載の監視カメラシステム。
3. 前記最も認識度が高い映像データの目標とする画質を示す参照画質評価値を決定する参照画質評価値決定手段をさらに備え、
   前記制御手段は、前記最も認識度が高い映像データに対しては前記参照画質評価値決定手段によって決定された参照画質評価値に対応するビットレートとなるように前記映像符号化手段を制御することを特徴とする請求項２に記載の監視カメラシステム。
4. 前記認識度とは顔認識度であることを特徴とする請求項１〜３の何れか１項に記載の監視カメラシステム。
5. 前記認識度計測手段は、顔認識度は、顔が正面を向いている度合及び顔領域の大きさに基づいて前記顔認識度を計測することを特徴とする請求項４に記載の監視カメラシステム。
6. 前記認識度計測手段は、前記被写体が動く領域の大きさに基づいて認識度を計測することを特徴とする請求項４に記載の監視カメラシステム。
7. 前記認識度計測手段は、前記被写体の動く領域の大きさを動き検出の情報を用いて算出することにより認識度を計測することを特徴とする請求項６に記載の監視カメラシステム。
8. 前記制御手段は、前記映像符号化手段の量子化パラメータを決定することにより前記映像符号化手段のビットレートを制御することを特徴とする請求項１〜７の何れか１項に記載の監視カメラシステム。
9. 前記映像符号化手段によって符号化されたそれぞれの映像データを多重化する多重化手段と、
   前記多重化手段によって多重化された映像データを記録するストレージ手段とをさらに備えることを特徴とする請求項１〜８の何れか１項に記載の監視カメラシステム。
10. 前記映像符号化手段によって符号化されたそれぞれの映像データを多重化する多重化手段と、
    前記多重化手段によって多重化された映像データをネットワーク上へ配信する配信手段とをさらに備えることを特徴とする請求項１〜８の何れか１項に記載の監視カメラシステム。
11. 前記複数の撮像手段によって生成されたそれぞれの映像データを記録するストレージ手段と、
    前記映像符号化手段によって符号化されたそれぞれの映像データを多重化する多重化手段と、
    前記多重化手段によって多重化された映像データをネットワーク上へ配信する配信手段とをさらに備え、
    前記映像符号化手段は、前記ストレージ手段に記録されたそれぞれの映像データを符号化し、前記認識度計測手段は、前記ストレージ手段に記録されたそれぞれの映像データから前記認識度を計測することを特徴とする請求項１〜８の何れか１項に記載の監視カメラシステム。
12. 他の監視カメラとともに被写体を撮像して映像データを監視カメラ制御装置に送信するとともに、符号化に関わるパラメータを前記監視カメラ制御装置から受信する監視カメラであって、
    前記被写体を撮像して映像データを生成する撮像手段と、
    前記撮像手段によって生成された映像データを符号化する映像符号化手段と、
    前記撮像手段によって生成された映像データから前記被写体の特徴を示す認識度を計測する認識度計測手段と、
    前記認識度計測手段によって計測された認識度の情報を前記監視カメラ制御装置に送信する送信手段とを備え、
    前記映像符号化手段は、前記認識度計測手段によって計測された映像データの認識度と、前記他の監視カメラにおいて撮像された映像データの認識度とに基づいて前記監視カメラ制御装置において決定されたパラメータを用いて符号化を行うことを特徴とする監視カメラ。
13. 複数の監視カメラにおいて被写体が撮像されて生成されたそれぞれの映像データを受信する監視カメラ制御装置であって、
    前記それぞれの映像データにおける前記被写体の特徴を示す認識度の情報を取得する取得手段と、
    前記取得手段によって取得された認識度の情報に基づいて、前記複数の監視カメラにおいて符号化を行うためのパラメータをそれぞれ決定するパラメータ決定手段と、
    前記パラメータ決定手段によって決定されたそれぞれのパラメータを前記複数の監視カメラにそれぞれ送信する送信手段とを備えたことを特徴とする監視カメラ制御装置。
14. 被写体を撮像して映像データを生成する複数の撮像手段によって生成されたそれぞれの映像データを符号化する映像符号化工程と、
    前記複数の撮像手段によって生成されたそれぞれの映像データから前記被写体の特徴を示す認識度を計測する認識度計測工程と、
    前記認識度計測工程において計測されたそれぞれの映像データの認識度に基づいて前記それぞれの映像データに対して符号化を行うように前記映像符号化工程における処理を制御する制御工程とを備えることを特徴とする監視方法。
15. 他の監視カメラとともに被写体を撮像して映像データを監視カメラ制御装置に送信するとともに、符号化に関わるパラメータを前記監視カメラ制御装置から受信する監視カメラの制御方法であって、
    前記被写体を撮像して映像データを生成する撮像手段によって生成された映像データを符号化する映像符号化工程と、
    前記撮像手段によって生成された映像データから前記被写体の特徴を示す認識度を計測する認識度計測工程と、
    前記認識度計測工程において計測された認識度の情報を前記監視カメラ制御装置に送信する送信工程とを備え、
    前記映像符号化工程においては、前記認識度計測工程において計測された映像データの認識度と、前記他の監視カメラにおいて撮像された映像データの認識度とに基づいて前記監視カメラ制御装置において決定されたパラメータを用いて符号化を行うことを特徴とする監視カメラの制御方法。
16. 複数の監視カメラにおいて被写体が撮像されて生成されたそれぞれの映像データを受信する監視カメラ制御装置の制御方法であって、
    前記それぞれの映像データにおける前記被写体の特徴を示す認識度の情報を取得する取得工程と、
    前記取得工程において取得された認識度の情報に基づいて、前記複数の監視カメラにおいて符号化を行うためのパラメータをそれぞれ決定するパラメータ決定工程と、
    前記パラメータ決定工程において決定されたそれぞれのパラメータを前記複数の監視カメラにそれぞれ送信する送信工程とを備えたことを特徴とする監視カメラ制御装置の制御方法。
17. 他の監視カメラとともに被写体を撮像して映像データを監視カメラ制御装置に送信するとともに、符号化に関わるパラメータを前記監視カメラ制御装置から受信する監視カメラの制御方法の各工程をコンピュータに実行させるプログラムであって、
    前記被写体を撮像して映像データを生成する撮像手段によって生成された映像データを符号化する映像符号化工程と、
    前記撮像手段によって生成された映像データから前記被写体の特徴を示す認識度を計測する認識度計測工程と、
    前記認識度計測工程において計測された認識度の情報を前記監視カメラ制御装置に送信する送信工程とをコンピュータに実行させ、
    前記映像符号化工程においては、前記認識度計測工程において計測された映像データの認識度と、前記他の監視カメラにおいて撮像された映像データの認識度とに基づいて前記監視カメラ制御装置において決定されたパラメータを用いて符号化を行うようにコンピュータに実行させることを特徴とするプログラム。
18. 複数の監視カメラにおいて被写体が撮像されて生成されたそれぞれの映像データを受信する監視カメラ制御装置の制御方法の各工程をコンピュータに実行させるプログラムであって、
    前記それぞれの映像データにおける前記被写体の特徴を示す認識度の情報を取得する取得工程と、
    前記取得工程において取得された認識度の情報に基づいて、前記複数の監視カメラにおいて符号化を行うためのパラメータをそれぞれ決定するパラメータ決定工程と、
    前記パラメータ決定工程において決定されたそれぞれのパラメータを前記複数の監視カメラにそれぞれ送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。
19. 請求項１７又は１８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images