JP2010016738A - 監視映像多画面表示システム及び監視映像多画面表示方法 - Google Patents

Abstract

【課題】多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能な監視映像多画面表示システム及び監視映像多画面表示方法を提供する。
【解決手段】監視映像多画面表示装置１０８の全体制御部１１０が、追加映像により隠蔽される領域をスライス分割するような領域分割情報を生成し、監視映像送信装置１０１の符号化制御部１０６が領域分割情報に基づきスライス分割された映像データとして符号化し、映像復号部１１２が追加映像により隠蔽されるスライス分割領域の復号処理を中止する。これにより、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することができる。
【選択図】図１

Description

本発明は、撮像された映像を符号化し、符号化した複数の映像データを１つの画面上に合成して多画面表示する監視映像多画面表示システム及び監視映像多画面表示方法に関する。

図１９は、従来の監視映像多画面表示システムの概略構成例を示すブロック図である。同図において、従来の監視映像多画面表示システムは、ＩＰネットワーク１６０２を介して複数の監視カメラ１６０１と監視映像多画面表示装置１６０３が接続される構成となっている。監視映像多画面表示装置１６０３は、監視カメラ１６０１からの映像データを受信する映像受信部１６０５と、受信した映像データを復号し、復号した映像データを復号用メモリ１６０９に格納する映像復号部１６０６と、復号用メモリ１６０９から復号された映像データを読み出し、１つの画面に合成し表示画像を表示用メモリ１６１０に格納する映像合成部１６０７と、表示用メモリ１６１０から映像データを読み出して、監視モニタ１６１１に表示する映像表示部１６０８とから構成されている。このように従来システムでは、複数の監視カメラ１６０１から送られてくる符号化された映像データを復号して、１画面に多画面合成表示するようにしている。

図２０は、監視カメラ１６０１が６台の場合の、多画面の表示レイアウトの一例である。ＣＨ１（１７０１）〜ＣＨ６（１７０６）がそれぞれ、監視カメラ１６０１からの映像データに相当する。

図２１は、映像復号部１６０６の動作概要を示す図である。一般に複数の復号部を用意するのは不経済であり、復号部をｎ倍速（この例の場合は６倍速）で動作させ、デコード周期１８０１以内に、ＣＨ１［０］＜監視カメラ１６０１の１台目の０フレーム目を意味する＞（１８０２−１）〜ＣＨ６［０］（１８０２−６）分の復号を完了させる。ここで、デコード周期１８０１は、例えばＮＴＳＣ（National Television Standards Committee）規格の場合には、約３３ｍｓｅｃ、ＰＡＬ（Phase Alternating Line）規格の場合には、約４０ｍｓｅｃである。通常状態では、図２０の上図のように６台分がタイル状に表示されているが、何らかのイベント発生（監視カメラ１６０１や他の装置による何らかの異常状態の通知）に合わせて、新たな監視カメラ１６０１の映像を追加映像ＣＨＸ１７０７として表示する必要がある。

映像復号部１６０６の能力（この例では、映像復号部１６０６の能力は６台分の映像をリアルタイムに表示する能力と仮定）を超えて追加映像ＣＨＸ１７０７を表示するためには技術的な工夫が必要となる。まず、監視カメラ１６０１の符号化方式が、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）などの動画像向けの方式の場合について説明する。ＭＰＥＧ（Moving Picture Experts Guoup）標準の詳細については、ＩＳＯ／ＩＥＣ １３８１８（ＭＰＥＧ−２）、ＩＳＯ／ＩＥＣ １４４９６（ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ）を参照のこと。

図２２は、ＭＰＥＧ標準における代表的なピクチャ構造１９０１を示している。ピクチャは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類が存在している。ここで、Ｉピクチャは、他のピクチャと関係なく単独で復号可能であり、画面内予測ピクチャとも呼ばれている。Ｐピクチャは画面間予測ピクチャであり、その直前のＩピクチャあるいはＰピクチャの復号結果を用いて復号可能であり、画面間予測ピクチャとも呼ばれている。また、Ｂピクチャは双方向画面間予測ピクチャであり、その直前直後のＩピクチャあるいはＰピクチャの復号結果を用いて復号可能であり、双方向画面間予測ピクチャとも呼ばれている。このＩピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャで構成されている場合に、復号処理をスキップする方法としては、Ｐピクチャ及びＢピクチャの復号処理をスキップして、Ｉピクチャのみ選択的に復号する方法が開示されている（例えば、特許文献１参照）。

他の方法としては、Ｉピクチャのみ復号する場合の画質低下を防ぐため、Ｂピクチャの復号処理をスキップし、Ｉピクチャの選択的な復号に加えて、Ｐピクチャの復号を一部実施する方法が開示されている（例えば、特許文献２参照）。また、他の方法としては、さらに画質を改善するために、Ｂピクチャのみスキップして、ＩピクチャとＰピクチャを選択的に復号する方法が開示されている（例えば、特許文献３参照）。

上記の方法により、ＣＨ１［Ｐ０］（１９０２）あるいはＣＨ１［Ｂ０］（１９０４）の復号処理をスキップして、追加映像であるＣＨＸ［ｘ］（１９０３）及びＣＨＸ［ｘ＋１］（１９０５）を復号する。

次に、監視カメラ１６０１の符号化方式が、ＪＰＥＧなどの静止画像向けの方式の場合について説明する。ＪＰＥＧ（Joint Photographic Experts Group）標準の詳細については、ＩＳＯ／ＩＥＣ １０９１８を参照のこと。ＪＰＥＧ標準では、ＭＰＥＧ標準におけるＩピクチャで構成されたピクチャ構造と類似である。図２３は、ＪＰＥＧ標準におけるピクチャ構造２００１を示している。Ｉピクチャのみで構成されており、任意のピクチャのスキップが可能である。例えば、ＣＨ１［Ｉ１］（２００２）あるいはＣＨ１［Ｉ８］（２００４）の復号処理をスキップして、追加映像であるＣＨＸ［ｘ］（２００３）及びＣＨＸ［ｘ＋１］（２００５）を復号する。

以下では、上記同様に監視カメラ１６０１が７台以上存在し、通常状態では６台の映像を表示し、イベント発生に合わせて、７台目の監視カメラ１６０１からの映像データを追加映像として表示する例で説明している。

特開昭６３−３１０２９３号公報 特開平７−１５４７４３号公報 特開平１１−１５５１２９号公報

しかしながら、従来の監視映像多画面表示システムにおいては、開示されているいずれの方法を用いても、何らかの処理をスキップする必要があり、結果としてピクチャの表示間隔が不均一になる、あるいは、スムーズに表示されないなど、映像の表示品質が低下するという問題がある。

本発明は、かかる事情に鑑みてなされたものであり、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能な監視映像多画面表示システム及び監視映像多画面表示方法を提供することを目的とする。

本発明の監視映像多画面表示システムは、監視映像多画面表示装置と複数の監視映像送信装置がネットワークを介して接続され、複数の前記監視映像送信装置の夫々が撮像した映像を符号化して送信し、前記監視映像多画面表示装置が複数の前記監視映像送信装置の夫々から送信された映像データを受信して、受信した複数の映像データを１つの画面上に合成して多画面表示する監視映像多画面表示システムであって、前記監視映像送信装置は、撮像された映像を符号化する映像符号化手段と、前記映像符号化手段で符号化された映像データを前記ネットワークに送信する映像送信手段と、前記ネットワークから領域分割情報などの符号化制御情報を受信する制御情報受信手段と、前記制御情報受信手段で受信された前記符号化制御情報に基づいて前記映像符号化手段の動作を制御する符号化制御手段とを備え、前記監視映像多画面表示装置は、前記ネットワークから前記符号化された映像データを受信する映像受信手段と、前記映像受信手段で受信された映像データを復号化する映像復号手段と、複数の前記復号化された映像データを合成して１画面となるように合成する映像合成手段と、前記映像合成手段で合成された映像データを画面に表示する映像表示手段と、前記映像復号手段と前記映像合成手段と前記映像表示手段の動作を制御し且つ前記符号化制御情報を生成する全体制御手段と、前記全体制御手段により生成された前記符号化制御情報を前記ネットワークに送信する制御情報送信手と、を備える。

この構成により、監視映像多画面表示装置の映像復号手段で得られる情報より生成される符号化制御情報で、監視映像送信装置の映像符号化手段を制御可能とし、領域分割された映像データを選択的に受信することで、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、監視映像を多画面表示中にさらに追加映像を重畳して表示する際に、前記追加映像により隠蔽される映像を複数の領域へと分割する前記符号化制御情報を生成し、前記映像復号手段は、前記追加映像により隠蔽される領域の復号処理を中止する。

この構成により、領域分割された映像データをすべて受信する場合でも、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、多画面表示映像の表示位置を変更するように前記映像合成手段を制御する。

この構成により、多画面表示中のすべての映像から、追加映像により隠蔽される領域を選択でき、より重要な映像領域を隠蔽することなく、追加映像を重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、前記映像復号手段により復号中に得られる動きベクトル情報を用い、より動きの小さな領域を、前記追加映像により隠蔽する領域として選択する。

この構成により、監視用途で有用な動きのある領域を隠蔽することなく、追加映像を重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、前記映像復号手段により復号中に得られる参照関係情報を用い、より参照される量の小さな領域を、前記追加映像により隠蔽する領域として選択する。

この構成により、追加映像により隠蔽されない領域の画質低下を防止しながら、追加映像を重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、復号された映像データ中から人物領域を検出し、より人物の含まない領域を、前記追加映像により隠蔽する領域として選択する。

この構成により、監視用途で有用な人物領域を隠蔽することなく、追加映像を重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、前記追加映像の一部分を切り出す、あるいは、全体を縮小して、前記追加映像により隠蔽する領域を変更する。

この構成により、追加映像の大きさを制御することで、隠蔽される領域を最小化しながら、重畳表示することが可能となる。

また、上記構成において、前記全体制御手段は、前記追加映像により隠蔽される映像を、前記復号部による復号処理を中止する領域と、復号処理を一部スキップする領域と、完全に復号処理する領域とに分割して、優先度付けする。

この構成により、追加映像の復号時間が隠蔽される領域の全復号時間を上回る場合でも、すでに多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能となる。

また、上記構成において、前記映像符号化手段は、前記符号化制御情報に基づきスライス構造を利用して、領域分割された映像データとして符号化する。

また、上記構成において、前記映像符号化手段は、前記符号化制御情報に基づき復号のリスタート構造を利用して、領域分割された映像データとして符号化する。

本発明の監視映像多画面表示方法は、監視映像多画面表示装置と複数の監視映像送信装置がネットワークを介して接続され、複数の前記監視映像送信装置の夫々が撮像した映像を符号化して送信し、前記監視映像多画面表示装置が複数の前記監視映像送信装置の夫々から送信された映像データを受信して、受信した複数の映像データを１つの画面上に合成して多画面表示する監視映像多画面表示方法であって、前記監視映像送信装置で撮像された映像を符号化する映像符号化工程と、前記映像符号化工程で符号化された映像データを前記ネットワークに送信する映像送信工程と、前記ネットワークから領域分割情報などの符号化制御情報を受信する制御情報受信工程と、前記制御情報受信工程で受信された前記符号化制御情報に基づいて前記映像符号化工程における符号化を制御する符号化制御工程と、前記監視映像多画面表示装置において、前記ネットワークから前記符号化された映像データを受信する映像受信工程と、前記符号化されたデータを復号化する映像復号工程と、複数の前記復号化された映像データを合成して一画面となるように合成する映像合成工程と、前記合成された映像データを画面に表示する映像表示工程と、前記映像復号工程における復号化、前記映像合成工程における映像合成及び前記映像表示工程における映像表示をそれぞれ制御し且つ前記符号化制御情報を生成する全体制御工程と、前記全体制御工程により生成された前記符号化制御情報を前記ネットワークに送信する制御情報送信工程と、を備えた。

この方法により、映像復号工程で得られる情報より生成される符号化制御情報で、映像符号化工程を制御可能とし、領域分割された映像データを選択的に受信することで、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能となる。

本発明によれば、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能な監視映像多画面表示システム及び監視映像多画面表示方法を提供することができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る監視映像多画面表示システムの概略構成を示すブロック図である。同図において、本実施の形態の監視映像多画面表示システムは、複数の監視映像送信装置１０１と１つの監視映像多画面表示装置１０８がＩＰネットワーク１０７を介して接続された構成を有する。

監視映像送信装置１０１は、撮像された映像データを符号化してＩＰネットワーク１０７へ伝送する。監視映像多画面表示装置１０８は、ＩＰネットワーク１０７から、複数の監視映像送信装置１０１でそれぞれ符号化された映像データを受信し、復号及び多画面合成して表示する。ＩＰネットワーク１０７は、有線ＬＡＮ、無線ＬＡＮなどその実現形態は問わない。監視映像送信装置１０１は、映像送信部１０２、映像符号化部１０３、映像撮像部１０４、制御情報受信部１０５及び符号化制御部１０６を有して構成される。映像撮像部１０４は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子により映像を撮像する。映像符号化部１０３は、映像撮像部１０４により取り込まれた映像データを符号化する。映像送信部１０２は、符号化された映像データをＩＰネットワーク１０７に送信する。制御情報受信部１０５は、ＩＰネットワーク１０７から、監視映像多画面表示装置１０８により送信された符号化を制御するための制御情報を受信する。符号化制御部１０６は、制御情報受信部１０５により受信した制御情報を利用して、映像符号化部１０３による符号化を制御する。

監視映像多画面表示装置１０８は、制御情報送信部１０９、全体制御部１１０、映像受信部１１１、映像復号部１１２、映像合成部１１３、映像表示部１１４、復号用メモリ１１５、表示用メモリ１１６を有して構成される。映像受信部１１１は、ＩＰネットワーク１０７から符号化された映像データを受信する。映像復号部１１２は、映像受信部１１１により受信された符号化された映像データを復号し、復号用メモリ１１５に格納する。映像合成部１１３は、復号用メモリ１１５に格納された映像データを読み出し、１画面に合成して多画面表示映像を生成し、表示用メモリ１１６に格納する。映像表示部１１４は、表示用メモリ１１６に格納された多画面表示映像を読み出して、ＣＲＴや液晶モニタなどの監視モニタ１１７に表示する。全体制御部１１０は、映像復号部１１２、映像合成部１１３及び映像表示部１１４を制御する。また、追加映像表示時には、監視映像送信装置１０１の符号化を制御するために制御情報を生成する。制御情報送信部１０９は、全体制御部１１０により生成された制御情報を受け取り、ＩＰネットワーク１０７へ送信する。なお、上記各部の機能は、それぞれに設けられた記録媒体に格納された制御プログラムをプロセッサが実行することによって実現される。

次に、以上のように構成された監視映像多画面表示システムの動作を説明する。始めに、全体制御部１１０の動作を示す。図２は本実施の形態における全体制御部１１０の動作処理手順を示すフローチャートである。同図において、全体制御部１１０は、監視映像多画面表示装置１０８の終了が指示されているかどうか判断する（ステップＳ２０１）。終了が指示されていない場合、映像復号部１１２でリアルタイムに復号可能なＣｈ数を超えているかどうか判断する（ステップＳ２０２）。ここで、Ｃｈは監視映像送信装置１０１から送信される符号化された映像データの識別子である。また、リアルタイムに復号可能とは、例えば、復号可能なＣｈ数が６で各Ｃｈが３０ピクチャ／秒で符号化されている場合、映像復号部１１２が６×３０＝１８０ピクチャ／秒の復号能力を持つということである。Ｃｈ数の上限未満の場合、映像復号部１１２へ復号命令（全復号命令）を発行する（ステップＳ２０３）。復号命令を発行後に、すべてのＣｈの復号命令を発行したかどうか判断する（ステップＳ２０４）。発行済みでない場合、ステップＳ２０３の処理に戻る。発行済みであれば、映像合成部１１３へ合成命令を発行する（ステップＳ２１２）。その後、ステップＳ２０１の処理へと戻る。

ステップＳ２０２の判断にて、Ｃｈ数の上限を超えている場合（＝追加映像が表示される場合）、追加映像により隠蔽される映像データがすでにスライス分割されているかどうか判断する（ステップＳ２０５）。スライス分割については、監視映像送信装置１０１の符号化制御部１０６の動作説明時に詳細に記述する。すでにスライス分割されている場合、映像復号部１１２に対して、追加映像に関しては、通常の復号処理を行うよう復号命令（全復号命令）を発行し、隠蔽される映像データに関しては、スライス分割領域（＝隠蔽領域）の復号を停止するような復号命令（一部復号命令）を発行する（ステップＳ２１０）。復号命令を発行後に、追加映像を含むすべてのＣｈの復号命令を発行したかどうか判断する（ステップＳ２１１）。発行済みでない場合、ステップＳ２１０の処理に戻る。発行済みであれば、映像合成部１１３へ追加映像を重畳して合成する合成命令を発行する（ステップＳ２１２）。

ステップＳ２０５の判断にて、スライス分割済みでない場合、映像復号部１１２へ復号命令（全復号命令）を発行する（ステップＳ２０６）。復号命令の発行後に、すべてのＣｈの復号命令を発行したかどうか判断する（ステップＳ２０７）。発行済みでない場合、ステップＳ２０６の処理に戻る。発行済みであれば、追加映像により隠蔽される領域（Ｃｈ及びＣｈ内の領域＝スライス分割領域）を決定し、領域分割のための制御情報（＝領域分割情報）を生成する（ステップＳ２０８）。

次に、図３及び図４を用いて、ステップＳ２０８の動作を補足説明する。図３は本実施の形態における領域分割情報の一例を示す図であり、図４は本実施の形態における監視映像多画面表示システムの動作概要を示す図である。

図３においては、ピクチャ５０１がスライス１（５０２）とスライス２（５０３）に分割されている状態を表している。この場合の、領域分割情報はスライス２（５０３）の左上座標（Ｘ１、Ｙ１）及び右下座標（Ｘ２、Ｙ２）となり、この情報をステップＳ２０８にて生成する。

図４においては、ＣＨ１（８０１）〜ＣＨ６（８０６）を多画面表示中に、追加映像の表示が発生し、ＣＨ１（８０１）がスライス１−２（８０８−１）とスライス１−１（８０７−１）に、ＣＨ２（８０２）がスライス２−２（８０８−２）とスライス２−１（８０７−２）に、ＣＨ４（８０４）がスライス４−２（８０８−３）とスライス４−１（８０７−３）に、ＣＨ５（８０５）がスライス５−２（８０８−４）とスライス５−１（８０７−４）に、スライス分割されている状態を示している。このようなスライス分割をステップＳ２０８で決定する。具体的には、スライス分割する領域は、例えば追加映像の領域が均等にＣＨ１（８０１）、ＣＨ２（８０２）、ＣＨ４（８０４）、ＣＨ５（８０５）を隠蔽するように決定する。領域８０９（スライス１−１（８０７−１）、スライス２−１（８０７−２）、スライス４−１（８０７−３）、スライス５−１（８０７−４））の上に、追加映像を表示する。

次に、映像復号部１１２の動作を説明する。図５は、映像復号部１１２の動作処理手順を示すフローチャートである。同図において、映像復号部１１２は、復号命令が全体制御部１１０より発行されるのを待つ（ステップＳ３０１）。復号命令を受け取ると、映像受信部１１１から、該当するＣｈの符号化された映像データを取得する（ステップＳ３０２）。復号命令の属性が全復号の場合には、取得した映像データ全体を復号し、復号命令の属性が一部復号の場合には、取得した映像データの指定されたスライスのみ復号する（ステップＳ３０３）。復号された結果を復号用メモリ１１５へと出力する（ステップＳ３０４）。

次に、映像合成部１１３の動作を説明する。図６は、映像合成部１１３の動作処理手順を示すフローチャート、図７は映像合成部１３の合成動作を示す図である。図６及び図７において、映像合成部１１３は、合成命令が全体制御部１１０より発行されるのを待つ（ステップＳ４０１）。合成命令を受け取ると、復号用メモリ１１５から復号された映像データを取得する（ステップＳ４０２）。合成するのに必要なすべての映像データを取得後に、多画面への合成処理を行う（ステップＳ４０３）。その後、多画面合成された結果画像を表示用メモリ１１６へと出力する（ステップＳ４０４）。より具体的には、画像合成部１１３は、ＣＨ１の復号結果格納領域４０５−１〜ＣＨ６の復号結果格納領域４０５−６を読み出し、表示画像４０６を生成する。

次に、監視映像送信装置１０１の符号化制御部１０６及び映像符号化部１０３の動作を説明する。図８は符号化制御部１０６の動作処理手順を示すフローチャート、図９は映像符号化部１０３の動作処理手順を示すフローチャート、図１０はスライス符号化の動作処理手順を示すフローチャートである。図８において、符号化制御部１０６は、全体制御部１１０により生成された領域分割情報を、制御情報受信部１０５が受け取っているかどうかを判断する（ステップＳ６０１）。領域分割情報を受け取っていない場合には、１スライスで符号化するように映像符号化部１０３へ符号化命令を発行し、ステップＳ６０１の処理へと戻る（ステップＳ６０２）。領域分割情報を受け取っている場合には、ｎスライス（本実施の形態の説明の例では、ｎ＝２）で符号化するように、映像符号化部１０３へ符号化命令を発行し、ステップＳ６０１の処理へと戻る。

図９において、映像符号化部１０３は、符号化命令が符号化制御部１０６により発行されるのを待つ（ステップＳ６１１）。符号化命令を受け取ると、映像撮像部１０４より映像が入力されるのを待つ（ステップＳ６１２）。入力された映像をマクロブロック単位に分割する（ステップＳ６１３）。マクロブロックは、映像を符号化する際の単位であり、例えば１６ｘ１６画素からなる。マクロブロックには、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４などの国際標準規格等が用いられる。映像符号化部１０３は、このマクロブロックを基本単位としてスライス符号化を行う。次に、符号化制御部１０６からの符号化命令からスライス分割数（本実施の形態の説明の例では、ｎ＝２）及び分割領域を決定する（ステップＳ６１４）。例えば、図３に示すように分割する。ステップＳ６１２により生成されたマクロブロックを用いてスライス符号化をする（ステップＳ６１５）。なお、スライス符号化の詳細については後述する。その後、スライス符号化された映像データを映像送信部１０２へ出力する（ステップＳ６１６）。最後のスライスまで符号化されたかどうか判断する（ステップＳ６１７）。最終スライスまで符号化済みの場合、ステップＳ６１１の処理に戻り、符号化済みでない場合、ステップＳ６１２の処理に戻る。

次に、ステップＳ６１４で行うスライス符号化について詳細に説明する。図１０において、まず映像符号化部１０３は、ステップＳ６１２で生成されたマクロブロックデータ及び符号化制御部１０６から得られるマクロブロック符号化特性を入力し（ステップＳ６２０）、マクロブロックデータの処理を開始する（ステップＳ６２１）。マクロブロック毎に、フレームメモリ６２８（撮像された映像を保持するメモリ）に格納されている前後数ピクチャ内でマッチング処理を行って動きベクトルを検出し、動きベクトル情報に基づいて動き補償を行い（画面間予測）、予測画像を生成する（ステップＳ６２３）。

また、動き補償予測を行ったマクロブロックに対し、画面内予測（イントラ予測）を行い、予測画像を生成する（ステップＳ６２２）。ステップＳ６２３、ステップＳ６２２で生成された、それぞれの予測画像に対し、予測誤差を計算し、より誤差が少ない予測画像を選択する（ステップＳ６２４）。選択された予測画像と入力された映像を比較し、予測差分信号を生成する（ステップＳ６２５）。

予測差分信号に対し、２次元の周波数成分に分解するＤＣＴ変換（離散コサイン変換）を行った後、このＤＣＴ変換係数を、入力されたマクロブロック符号化特性（例えば、量子化ステップ）を用いて、量子化係数を出力する（ステップＳ６２６）。ここでは、マクロブロック符号化特性の一例として、量子化ステップを示す。量子化ステップを小さくすると、マクロブロックの発生符号量が大きくなる。逆に、量子化ステップを大きくすると、マクロブロックの発生符号量が小さくなる。ステップＳ６２６で出力された量子化係数を用いて、エントロピー符号化を行い（ステップＳ６２７）、スライスデータを出力する。

符号化制御部１０６は、エントロピー符号化の結果、発生した符合量のフィードバックを受けながら、目標とする基準値（例えば１秒間あたりの符号量）を満たせるようにマクロブロック符号化特性を制御する。また、ステップＳ６２６で出力された量子化係数を用いて、逆量子化及び逆ＤＣＴ変換を行い、予測差分信号を生成する（ステップＳ６３１）。そして、符号化制御部１０６は、上記ステップＳ６２４で選択された、動き補償予測処理あるいはイントラ予測処理により生成される予測画像と、ステップＳ６３１で生成される予測差分信号とを加算し、復号画像を生成する（ステップＳ６３０）。生成された復号画像のマクロブロック境界に対し、ブロック境界が目立たないようにデブロッキングフィルタ処理を施し（ステップＳ６２９）、デブロッキングフィルタ処理が施された復号画像をフレームメモリ６２８に格納する。より具体的には、Ｈ．２６４などの符号化方式の標準を用いることで実現可能である。

図１１は、本実施の形態における映像復号部の動作を示す図である。各処理部が上記説明のように動作することで、図１１に示す状態を実現できる。つまり、通常表示状態７０１では１デコード周期の間にＣＨ１〜ＣＨ６の全復号を行い、追加映像表示状態７０２ではスライス分割しスライス分割された領域を復号中止し、復号中止期間７０３を設け、追加映像ＣＨＸ７０４の全復号を可能としている。

以上のように本実施の形態の監視映像多画面表示システムによれば、監視映像多画面表示装置１０８の全体制御部１１０が、追加映像により隠蔽される領域をスライス分割するような領域分割情報を生成し、監視映像送信装置１０１の符号化制御部１０６が領域分割情報に基づきスライス分割された映像データとして符号化し、映像復号部１１２が追加映像により隠蔽されるスライス領域の復号処理を中止する。従って、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することができる。

（実施の形態２）
本発明の実施の形態２に係る監視映像多画面表示システムの構成は、上述した実施の形態１に係る監視映像多画面表示システムの構成と同一であるが、全体制御部１１０の動作処理手順に違いがある。図１２は、本実施の形態における全体制御部１１０の動作処理手順を示すフローチャートである。なお、同図において、上述した実施の形態１と同一内容に関しては同一の符号を付することにより、その説明を適宜省略する。

実施の形態１と異なる点のみ説明する。全体制御部１１０は、ステップＳ２０７により、すべてのＣｈの復号処理が完了したと判断すると、映像復号部１１２から各Ｃｈのピクチャ各々の動きベクトル情報を取得する（ステップＳ９０１）。復号処理手順は、図１０で示したスライス符号化の処理手順の逆処理であり、エントロピー復号後に動きベクトル情報を得ることができる。動きベクトルは、撮像された映像中の物体の動きを代表する情報であり、各マクロブロック毎に、どの方向にどの程度の動き量で物体が動いているのか推測可能である。一般に、監視用途では動きのある領域（変化があった領域）が重要であり、追加映像により隠蔽される領域の総動きベクトル量が最少となるように、Ｃｈ及びＣｈ内の領域（＝スライス分割領域）を決定する（ステップＳ９０２）。

図１３は、本実施の形態における監視映像多画面表示システムの動作を示す図である。ＣＨ１（１００１）からＣＨ６（１００６）を多画面表示中に、追加映像を重畳表示する場合、各ＣＨの動きベクトルをもとに、動きベクトルの小さな領域を選択する。図１３の例では、ＣＨ１は領域１００７−１、ＣＨ２は領域１００７−２、ＣＨ４は領域１００７−３、ＣＨ５は領域１００７−４であり、そのままでは追加映像を重畳できない。そのため、ＣＨの表示位置を変更し（図１３の例ではＣＨ１とＣＨ５を入れ替え）、動きベクトル量の総和が小さくなるようにし、領域１００８の上に追加映像を重畳する。

以上のように本実施の形態の監視映像多画面表示システムによれば、監視映像多画面表示装置１０８の全体制御部１１０が、追加映像により隠蔽される領域の総動きベクトル量を最小となるようスライス分割するような領域分割情報を生成し、監視映像送信装置１０１の符号化制御部１０６が領域分割情報に基づきスライス分割された映像データとして符号化し、映像復号部１１２が追加映像により隠蔽されるスライス領域の復号処理を中止する。従って、すでに多画面表示されている映像の品質を低下させることなく、且つ監視用途で有用な動きのある領域を隠蔽することなく、追加映像を重畳表示することができる。

なお、以上の説明では、映像復号部１１２の復号処理途中で得られる情報である動きベクトルを用いて分割領域を決定したが、同様に得られる被参照量を用いることで分割領域を決定することも可能である。被参照量は、あるマクロブロックに着目した際に、他のマクロブロックから参照されている（＝映像差分の小さな領域として選択されている）数をもとに定義する。例えば、３個のマクロブロックから参照されていれば、被参照量は３とする。動きベクトルも組み合わせて、動きベクトル量が大きい場合には、重みづけを小さくして、加算するという方法も採用可能である（この場合、被参照量は単純に３とならない）。一般にスライス分割すると、スライスにまたがってマクロブロックを参照できず（スライスを独立して復号するための制約事項）、画質が低下する傾向にある。被参照量を用いることで、参照量の少ない領域を隠蔽される領域とし、追加映像を重畳して表示中でも、隠蔽されない領域の画質低下を抑制することができる。

（実施の形態３）
本発明の実施の形態３に係る監視映像多画面表示システムの構成は、上述した実施の形態１の監視映像多画面表示システムの構成と同一であるが、全体制御部１１０の動作処理手順に違いがある。図１４は、本実施の形態における全体制御部１１０の動作処理手順を示すフローチャートである。上述した実施の形態１及び実施の形態２それぞれの監視映像多画面表示システムと同一内容に関しては、同一の符号を付することにより、その説明を適宜省略する。

実施の形態１及び実施の形態２それぞれの監視映像多画面表示システムと異なる点のみ説明する。全体制御部１１０は、ステップＳ９０１により動きベクトル等の復号情報を映像復号部１１２より取得後、復号用メモリ１１５に格納されている復号結果画像から人物領域を検出する（ステップＳ１１０１）。人物領域を検出する方法として、例えば特開２００１−２２２７１９号公報で開示されている方法が好適である。人物領域の検出結果及び動きベクトル情報をもとに、追加映像により隠蔽される領域を決定する（ステップＳ１１０２）。監視対象のエリアによっては、人物領域は特に重要で、追加映像により隠蔽されないように領域を決定する必要があり、ステップＳ１１０２では、人物領域を隠蔽される領域から排除した後に、動きベクトルの総量が最少となるように、分割領域を決定する。

以上のように本実施の形態の監視映像多画面表示システムによれば、監視映像多画面表示装置１０８の全体制御部１１０が、追加映像により隠蔽される領域から人物領域を排除し、総動きベクトル量を最小となるようスライス分割するような領域分割情報を生成し、監視映像送信装置１０１の符号化制御部１０６が領域分割情報に基づきスライス分割された映像データとして符号化し、映像復号部１１２が追加映像により隠蔽されるスライス領域の復号処理を中止する。従って、すでに多画面表示されている映像の品質を低下させることなく、且つ監視用途で有用な人物領域や動きのある領域を隠蔽することなく、追加映像を重畳表示することができる。

（実施の形態４）
本発明の実施の形態４に係る監視映像多画面表示システムの構成は、上述した実施の形態１に係る監視映像多画面表示システムの構成と同一であるが、全体制御部１１０及び映像合成部１１３の動作処理手順に違いがある。

全体制御部１１０が、スライス分割するステップ（実施の形態１におけるステップＳ２０８、実施の形態２におけるステップＳ９０２、実施の形態３におけるステップＳ１１０２）において、追加映像のサイズ変更を加味して、隠蔽される領域を決定するように変更する。映像合成部１１３が、全体制御部１１０からの命令により、追加映像からの一部の領域を切り出す、あるいは、追加映像全体を縮小できるように変更する。

図１５は、本実施の形態の監視映像多画面表示システムの動作を示す図である。全体制御部１１０は、ＣＨ１（１２０１）〜ＣＨ６（１２０６）が多画面表示中に、追加映像を重畳表示する場合、ＣＨ１のスライス１−１（１２０７−１）、ＣＨ２のスライス２−１（１２０７−２）、ＣＨ４のスライス４−１（１２０７−３）、ＣＨ５のスライス５−１（１２０７−４）を隠蔽される領域として選択する。この領域は、前記実施の形態のスライス１−１（８０７−１）と異なり、横幅が小さくなっている。また、映像合成部１１３は、追加映像（原画像）１２０９の切り出しあるいは縮小により追加画像（加工画像）１２１０を生成しながら、追加映像を領域１２０８上に重畳表示する。

以上のように本実施の形態の監視映像多画面表示システムによれば、監視映像多画面表示装置１０８の全体制御部１１０が、追加映像の一部切り出しあるいは縮小することで隠蔽される領域を変更した後に、スライス分割するような領域分割情報を生成し、監視映像送信装置１０１の符号化制御部１０６が領域分割情報に基づきスライス分割された映像データとして符号化し、映像復号部１１２が追加映像により隠蔽されるスライス領域の復号処理を中止する。従って、すでに多画面表示されている映像の品質を低下させることなく、隠蔽される領域を最小化しながら、追加映像を重畳表示することができる。

（実施の形態５）
本発明の実施の形態５に係る監視映像多画面表示システムの構成は、上述した実施の形態１の構成と同一であるが、全体制御部１１０の動作処理手順に違いがある。

全体制御部１１０が、スライス分割するステップ（実施の形態１におけるステップＳ２０８、実施の形態２におけるステップＳ９０２、実施の形態３におけるステップＳ１１０２）において、複数のスライス領域を設け各スライス領域を優先度付けしながら、隠蔽される領域を決定するように変更する。前記の実施の形態では、すでに多画面表示されている映像と追加映像で符号化方式が同一で、基本的に、追加映像を復号するのにかかる時間と、隠蔽され復号処理がスキップされる時間の合計は、ほぼ同一である場合を示している。追加映像が他の符号化方式であり、復号処理の時間が同一でない場合に、本実施の形態が特に有効となる。

図１６は、本実施の形態における領域分割情報の一例を示す図である。前記の実施の形態のように、（追加映像を４分割した面積と同面積である）スライス２（１３０２）の復号を中止するだけでは、追加映像の復号時間に間に合わない場合、さらにスライス１（１３０１）及びスライス３（１３０３）を追加する。例えば、各スライスの優先度をスライス２（１３０２）＜スライス３（１３０３）＜スライス１（１３０１）とし、スライス２（１３０２）は復号処理をスキップ、スライス３（１３０３）はＢピクチャなど一部のピクチャの復号処理をスキップ、スライス１（１３０１）は全ピクチャ復号することで、追加映像の復号時間に間に合わせる。

以上のように本実施の形態の監視映像多画面表示システムによれば、監視映像多画面表示装置１０８の全体制御部１１０が、優先度付けしてスライス分割するような領域分割情報を生成し、監視映像送信装置１０１の符号化制御部１０６が領域分割情報に基づきスライス分割された映像データとして符号化し、映像復号部１１２が追加映像により隠蔽されるスライス領域の復号処理を領域の優先度に基づいて制御する。従って、すでに多画面表示されている映像の品質を低下を最初にして、追加映像を重畳表示することができる。

なお、前記実施の形態では、スライス符号化が可能なＨ．２６４などの符号化方式を対象としているが、ＪＰＥＧなどのスライス符号化の不可能な符号化方式に関しても、同様な効果を得ることが可能である。図１７は、本実施の形態における領域分割情報を示す図である。図１７では、ＪＰＥＧのリスタートインターバルを利用している。リスタートインターバルはＪＰＥＧ画像の復号処理を再開できる周期である。１ＭＣＵライン毎にリスタートインターバルを設定し、１ＭＣＵライン単位で復号処理を中止する領域（≒スライス分割領域）を設けている。この例の場合、１ＭＣＵライン毎に復号処理を再開できることになる。つまり、ＭＣＵライン［ｋ］のＸ１番目まで復号処理をおこない、その後は処理をスキップし、ＭＣＵライン［ｋ＋１］の先頭から復号処理が再開できる。このように構成することで、ＪＰＥＧなどスライス符号化が利用できない符号化方式においても、本発明の効果を得ることが可能となる。

なお、前記実施の形態では、多画面表示時に追加画像を重畳表示する場合の動作を説明しているが、多画面表示状態での表示位置を工夫することも可能である。図１８は、実施の形態５における監視映像多画面表示システムの動作を示す図である。通常の多画面表示状態において、監視者の監視効率を高めるため、注視領域１５０１に人物領域が集まるように、表示位置を変更しておく（この例では、ＣＨ２とＣＨ３の入れ替え）。追加映像を表示する場合、人物領域が隠蔽されないようにＣＨ配置を変更し、且つ、動き小領域１５０２の上に追加映像を重畳表示するようにする。このように構成することで、通常の多画面表示状態でも、追加映像の表示状態でも、監視者は注視領域を重点的に監視すればよいことになる。

本発明は、既に多画面表示されている映像の品質を低下させることなく、追加映像を重畳表示することが可能という効果を有し、撮像された映像を符号化し、符号化された複数の映像データを一つの画面上に合成して多画面表示する監視映像多画面表示システム及び表示方法等として有用である。

本発明の実施の形態１に係る監視映像多画面表示システムの概略構成を示すブロック図 本発明の実施の形態１における全体制御部の動作処理手順を示すフローチャート 本発明の実施の形態１における領域分割情報の一例を示す図 本発明の実施の形態１における監視映像多画面表示システムの動作概要を示す図 本発明の実施の形態１における映像復号部の動作処理手順を示すフローチャート 本発明の実施の形態１における映像合成部の動作処理手順を示すフローチャート及び映像合成部の合成動作を示す図 本発明の実施の形態１における映像合成部の合成動作を示す図 本発明の実施の形態１における符号化制御部の動作処理手順を示すフローチャート 本発明の実施の形態１における映像符号化部の動作処理手順を示すフローチャート 本発明の実施の形態１におけるスライス符号化の動作処理手順を示すフローチャート 本発明の実施の形態１における映像復号部の動作を示す図 本発明の実施の形態２に係る監視映像多画面表示システムにおける全体制御部の動作処理手順を示すフローチャート 本発明の実施の形態２に係る監視映像多画面表示システムの動作を示す図 本発明の実施の形態３に係る監視映像多画面表示システムにおける全体制御部の動作処理手順を示すフローチャート 本発明の実施の形態４に係る監視映像多画面表示システムの動作を示す図 本発明の実施の形態５に係る監視映像多画面表示システムにおける領域分割情報の一例を示す図 本発明の実施の形態５における領域分割情報を示す図 本発明の実施の形態５における監視映像多画面表示システムの動作を示す図 従来の監視映像多画面表示システムの概略構成を示すブロック図 従来の監視映像多画面表示システムにおける多画面表示例を示す図 従来の監視映像多画面表示システムにおける復号部の動作概要を示す図 従来の監視映像多画面表示システムにおけるＭＰＥＧ標準利用時の復号処理スキップ動作を示す図 従来の監視映像多画面表示システムにおけるＪＰＥＧ標準利用時の復号処理スキップ動作を示す図

符号の説明

１０１ 監視映像送信装置
１０２ 映像送信部
１０３ 映像符号化部
１０４ 映像撮像部
１０５ 制御情報受信部
１０６ 符号化制御部
１０７ ＩＰネットワーク
１０８ 監視映像多画面表示装置
１０９ 制御情報送信部
１１０ 全体制御部
１１１ 映像受信部
１１２ 映像復号部
１１３ 映像合成部
１１４ 映像表示部
１１５ 復号用メモリ
１１６ 表示用メモリ
１１７ 監視モニタ

Claims (11)

1. 監視映像多画面表示装置と複数の監視映像送信装置がネットワークを介して接続され、複数の前記監視映像送信装置の夫々が撮像した映像を符号化して送信し、前記監視映像多画面表示装置が複数の前記監視映像送信装置の夫々から送信された映像データを受信して、受信した複数の映像データを１つの画面上に合成して多画面表示する監視映像多画面表示システムであって、
   前記監視映像送信装置は、
   撮像された映像を符号化する映像符号化手段と、
   前記映像符号化手段で符号化された映像データを前記ネットワークに送信する映像送信手段と、
   前記ネットワークから領域分割情報などの符号化制御情報を受信する制御情報受信手段と、
   前記制御情報受信手段で受信された前記符号化制御情報に基づいて前記映像符号化手段の動作を制御する符号化制御手段とを備え、
   前記監視映像多画面表示装置は、
   前記ネットワークから前記符号化された映像データを受信する映像受信手段と、
   前記映像受信手段で受信された映像データを復号化する映像復号手段と、
   複数の前記復号化された映像データを合成して１画面となるように合成する映像合成手段と、
   前記映像合成手段で合成された映像データを画面に表示する映像表示手段と、
   前記映像復号手段と前記映像合成手段と前記映像表示手段の動作を制御し且つ前記符号化制御情報を生成する全体制御手段と、
   前記全体制御手段により生成された前記符号化制御情報を前記ネットワークに送信する制御情報送信手と、
   を備える監視映像多画面表示システム。
2. 前記全体制御手段は、監視映像を多画面表示中にさらに追加映像を重畳して表示する際に、前記追加映像により隠蔽される映像を複数の領域へと分割する前記符号化制御情報を生成し、
   前記映像復号手段は、前記追加映像により隠蔽される領域の復号処理を中止する請求項１に記載の監視映像多画面表示システム。
3. 前記全体制御手段は、多画面表示映像の表示位置を変更するように前記映像合成手段を制御する請求項１又は請求項２に記載の監視映像多画面表示システム。
4. 前記全体制御手段は、前記映像復号手段により復号中に得られる動きベクトル情報を用い、より動きの小さな領域を、前記追加映像により隠蔽する領域として選択する請求項２乃至請求項３のいずれかに記載の監視映像多画面表示システム。
5. 前記全体制御手段は、前記映像復号手段により復号中に得られる参照関係情報を用い、より参照される量の小さな領域を、前記追加映像により隠蔽する領域として選択する請求項２乃至請求項４のいずれかに記載の監視映像多画面表示システム。
6. 前記全体制御手段は、復号された映像データ中から人物領域を検出し、より人物の含まない領域を、前記追加映像により隠蔽する領域として選択する請求項２乃至請求項５のいずれかに記載の監視映像多画面表示システム。
7. 前記全体制御手段は、前記追加映像の一部分を切り出す、あるいは、全体を縮小して、前記追加映像により隠蔽する領域を変更する請求項２乃至請求項６のいずれかに記載の監視映像多画面表示システム。
8. 前記全体制御手段は、前記追加映像により隠蔽される映像を、前記復号部による復号処理を中止する領域と、復号処理を一部スキップする領域と、完全に復号処理する領域とに分割して、優先度付けする請求項２乃至請求項７のいずれかに記載の監視映像多画面表示システム。
9. 前記映像符号化手段は、前記符号化制御情報に基づきスライス構造を利用して、領域分割された映像データとして符号化する請求項２乃至請求項８のいずれかに記載の監視映像多画面表示システム。
10. 前記映像符号化手段は、前記符号化制御情報に基づき復号のリスタート構造を利用して、領域分割された映像データとして符号化する請求項２乃至請求項９のいずれかに記載の監視映像多画面表示システム。
11. 監視映像多画面表示装置と複数の監視映像送信装置がネットワークを介して接続され、複数の前記監視映像送信装置の夫々が撮像した映像を符号化して送信し、前記監視映像多画面表示装置が複数の前記監視映像送信装置の夫々から送信された映像データを受信して、受信した複数の映像データを１つの画面上に合成して多画面表示する監視映像多画面表示方法であって、
    前記監視映像送信装置で撮像された映像を符号化する映像符号化工程と、
    前記映像符号化工程で符号化された映像データを前記ネットワークに送信する映像送信工程と、
    前記ネットワークから領域分割情報などの符号化制御情報を受信する制御情報受信工程と、
    前記制御情報受信工程で受信された前記符号化制御情報に基づいて前記映像符号化工程における符号化を制御する符号化制御工程と、
    前記監視映像多画面表示装置において、前記ネットワークから前記符号化された映像データを受信する映像受信工程と、
    前記符号化されたデータを復号化する映像復号工程と、
    複数の前記復号化された映像データを合成して一画面となるように合成する映像合成工程と、
    前記合成された映像データを画面に表示する映像表示工程と、
    前記映像復号工程における復号化、前記映像合成工程における映像合成及び前記映像表示工程における映像表示をそれぞれ制御し且つ前記符号化制御情報を生成する全体制御工程と、
    前記全体制御工程により生成された前記符号化制御情報を前記ネットワークに送信する制御情報送信工程と、
    を備えた監視映像多画面表示方法。

Images