JP2010268307A

JP2010268307A - 動画像処理装置、動画像処理プログラム、及び動画像処理方法

Info

Publication number: JP2010268307A
Application number: JP2009119043A
Authority: JP
Inventors: Takao Nishitani; 隆夫西谷
Original assignee: Tokyo Metropolitan Public University Corp
Current assignee: Tokyo Metropolitan Public University Corp
Priority date: 2009-05-15
Filing date: 2009-05-15
Publication date: 2010-11-25

Abstract

【課題】監視対象物の解像度を維持しつつ伝送される情報量を常時削減することができる動画像処理装置、動画像処理プログラム、及び動画像処理方法を提供すること。
【解決手段】動画像処理装置１は、撮像された動画像から移動する監視対象物と背景とが分離されて生成された監視対象物を含む前景画像が入力されて処理される前景処理部１０と、動画像から監視対象物が除かれて生成される背景画像が入力されて、背景画像の画面解像度及びフレームレートの少なくとも一方を低減する背景処理部１１と、前景処理部１０で処理された前景画像を符号化する前景符号化部１２と、背景処理部１１で処理された背景画像を符号化する背景符号化部１３と、を備えている。
【選択図】図２

Description

本発明は、動画像処理装置、動画像処理プログラム、及び動画像処理方法に関する。

複数の監視用カメラを用いて人や動物等の移動する監視対象物を遠隔地にて常時集中管理する場合、撮影画像に係るデジタル映像信号をＭＰＥＧ（Moving Picture Experts Group）４等の方式に基づき符号化して送受信している。その際、伝送される情報量が膨大なので、伝送に要する時間が長くなるか、或いは通信に要する帯域が広くなる。その結果、通信コストが高額になり、通信回線の混雑に対して脆弱となる。

これを避けるため、伝送すべき情報量を低減して通信回線の負荷を抑える必要がある。そこで、監視対象物を含む前景と背景部分を含む背景とに得られた動画像を分離して情報を伝送する技術が種々開示されている（例えば、特許文献１及び非特許文献１参照。）。

特開２００８−０９９０３３号公報

ＨｉｒｏａｋｉＴｅｚｕｋａａｎｄＴａｋａｏＮｉｓｈｉｔａｎｉ，ＡＰｒｅｃｉｓｅａｎｄＳｔａｂｌｅＦｏｒｅｇｒｏｕｎｄＳｅｇｍｅｎｔａｔｉｏｎｕｓｉｎｇＦｉｎｅ−ｔｏ−ＣｏａｒｓｅＡｐｐｒｏａｃｈｉｎＴｒａｎｓｆｏｒｍＤｏｍａｉｎ，ＩＣＩＰ２００８，ｐｐ．２７３２−２７３５

しかしながら、上記従来の動画像処理装置は、動画像が圧縮符号化されているものの、空間的冗長度を削減する動き補償を行うことができず、伝送時の情報量が依然として多くなってしまうという問題を有する。したがって、監視対象物の解像度を維持するため、監視対象物が不在の場合でも伝送の際には撮像時の背景部分と同じだけの情報量を伝送する必要がある。特に、背景に木々の揺れや光の照り返し、雨・雪等の連続的な変化が含まれる場合には、未だ通信回線の負荷が大きくなってしまう。

本発明は上記事情に鑑みて成されたものであり、監視対象物の解像度を維持しつつ伝送される情報量を常時削減することができる動画像処理装置、動画像処理プログラム、及び動画像処理方法を提供することを目的とする。

本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係る動画像処理装置は、撮像された動画像から移動する監視対象物と背景とが分離されて生成された監視対象物を含む前景画像が入力されて処理される前景処理部と、前記動画像から前記監視対象物が除かれて生成される背景画像が入力されて、前記背景画像の画面解像度及びフレームレートの少なくとも一方を低減する背景処理部と、前記前景処理部で処理された前記前景画像を符号化する前景符号化部と、前記背景処理部で処理された前記背景画像を符号化する背景符号化部と、を備えていることを特徴とする。

本発明に係る動画像処理プログラムは、コンピュータを、本発明に係る動画像処理装置として機能させることを特徴とする。

本発明に係る動画像処理方法は、撮像された動画像から移動する監視対象物と背景とが分離されて生成された監視対象物を含む前景画像に含まれる背景部分の画像の情報量を低減する前景処理工程と、前記動画像から前記監視対象物が除かれて生成される背景画像の画面解像度及びフレームレートの少なくとも一方を低減する背景処理工程と、前記前景画像を符号化する前景符号化工程と、前記背景画像を符号化する背景符号化工程と、を備えていることを特徴とする。

この発明は、背景画像については画面解像度及びフレームレートの少なくとも一方を低減してから符号化処理を行うので、背景画像のみ又は前景画像のみで空間予測を行うことができ、画面解像度又はフレームレートの異なる背景画像と前景画像とに動き補償をそれぞれ適用することができる。したがって、背景画像については画像処理や伝送時の情報量を低減することができる一方、監視対象物を含む前景画像については、監視対象物を識別するのに必要な情報量を確保して伝送することができる。

本発明によれば、監視対象物の解像度を維持しつつ伝送される情報量を常時削減することができる。

本発明の一実施形態に係る動画像伝送装置を示すシステムブロック図である。本発明の一実施形態に係る動画像伝送装置のプログラムメモリに含まれる各種処理プログラムを概略的に示す機能ブロック図である。本発明の一実施形態に係る動画像伝送方法を示すフロー図である。本発明の一実施形態に係る動画像伝送装置における前景画像の処理内容を示す説明図である。（ａ）通常の動画像を伝送する場合のフレームレートとビットレートとの関係を、（ｂ）単色処理した画像を伝送する場合のフレームレートとビットレートとの関係を、（ｃ）通常の静止画像を伝送する場合のフレームレートとビットレートとの関係を、それぞれ示すグラフである。本発明の一実施形態に係る動画像伝送装置における背景画像の処理内容を示す説明図である。本発明の一実施形態に係る動画像伝送装置における伝送画像の例を示す説明図である。図７の動画像を伝送する場合のフレームレートとビットレートとの関係を示すグラフである。図８の比較例を示すグラフである。

本発明に係る一実施形態について、図１から図９を参照して説明する。
本実施形態に係る動画像処理装置１は、図１に示すように、画像データを保存する記録部２と、ユーザに対するインタフェース画面や画像データを処理した結果などを表示するための表示部３と、ユーザからの操作入力を受け付けるための操作部５と、画像処理の際の演算処理や制御処理等を行う中央処理部６と、画像処理に必要なプログラムを格納するプログラムメモリ部７と、を備えている。

プログラムメモリ部７には、図２に示すように、背景分離部８、前景処理部１０、背景処理部１１、前景符号化部１２、及び背景符号化部１３が含まれている。以下、それぞれについて詳述する。

背景分離部８は、撮像された動画像から監視対象物を含む前景画像と背景画像とを分離する。分離する際には、例えば、非特許文献１に記載された方法によって分離する。そのため、動画像を所定の大きさのブロックに分割し、ブロック内の各ドットの輝度成分をＷａｌｓｈ変換して特徴量を生成し、特徴量の時系列変化をガウス分布で近似してそれらの平均及び分散状況から前景／背景判定する図示しない各種演算部をさらに備えている。

前景処理部１０は、背景分離部８で得られた前景画像に対し、画面解像度及びフレームレートを維持した状態で背景部分を、画面内予測の効率が高い、例えば青とする単色処理を行う。

背景処理部１１は、監視対象物によって隠れてしまった領域を、それ以前のフレームの対応領域から切り出して監視対象物が除かれた部分に用いて背景画像とする処理を行う。そして、背景画像の画面解像度及びフレームレートの少なくとも一方を低減する。ここでは、画面解像度を縦１／ｋ、横１／ｍとし、フレームレートを１／ｎ（ｋ，ｍ，ｎは２以上の整数）とする。

前景符号化部１２は、Ｈ．２６４の可変ビットレート（ＶＢＲ）モードで前景画像の符号化を行う。また、背景符号化部１３も、Ｈ．２６４の可変ビットレート（ＶＢＲ）モードで背景画像の符号化を行う。

次に、本実施形態に係る動画像処理方法について、例えば、移動する監視対象物Ｏと背景とが、解像度１９２０×１０８０ピクセル、フレームレート３０ｆｐｓのＨＤＴＶ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＴｅｌｅＶｉｓｉｏｎ）画像として撮像されたものに対する動画像処理装置１の作用とともに説明する。
動画像処理方法は、図３に示すように、背景分離工程（Ｓ０１）と、前景処理工程（Ｓ０２）と、背景処理工程（Ｓ０３）と、前景符号化工程（Ｓ０４）と、背景符号化工程（Ｓ０５）と、を備えている。

背景分離工程（Ｓ０１）では、背景分離部８にて、撮像された動画像から前景画像と背景画像とを分離する。

前景処理工程（Ｓ０２）では、前景処理部１０にて、図４に示すように、前景画像Ｆ１の監視対象物Ｏはそのままに、前景画像Ｆ１に含まれる背景部分を青の単色（図では無色）として情報量を低減した前景画像Ｆ２を生成する。ここで、単色処理することによって、例えば、図５（ａ）に示すように、平均７Ｍｂｐｓのビットレートのものを、図５（ｂ）に示すように、平均０．２Ｍｂｐｓにまで落とすことができる。

一方、静止画像であっても、フレームレートによっては情報量が大きくなるので、図５（ｃ）に示すように、周期的に７Ｍｂｐｓの情報量となってしまう。そこで、背景処理工程（Ｓ０３）では、背景処理部１１にて、背景画像の画面解像度及びフレームレートを各々低減する。

ここでは、図６に示すように、解像度が１９２０×１０８０ピクセルの元の動画像Ｐから監視対象物Ｏを除去し、隠れていた部分を別のフレームレートから流用して生成した画像の解像度を、ｋ＝ｍ＝２として９６０×５４０ピクセルに削減する。この場合でも、ＮＴＳＣ（Ｎａｔｉｏｎａｌ
ＴｅｌｅｖｉｓｉｏｎＳｔａｎｄａｒｄｓＣｏｍｍｉｔｔｅｅ）フレームよりも大きい。また、フレームレートはｎ＝４として、３０ｆｐｓの１／４の７．５ｆｐｓとする。これにより、得られた背景画像Ｂの情報量は、当初の動画像Ｐの情報量の１／ｋ×１／ｍ×１／ｎ＝１／１６に削減される。

前景符号化工程（Ｓ０４）では、前景処理工程（Ｓ０２）にて処理された前景画像Ｆ２を前景符号化部１２にてＨ．２６４符号化する。同様に、背景符号化工程（Ｓ０５）では、背景処理工程（Ｓ０３）にて処理された背景画像Ｂを背景符号化部１３にてＨ．２６４符号化する。この際、可変ビットレートにて伝送可能に処理を行う。

こうしてそれぞれ伝送された画像は、受信側にてそれぞれ復号化され、背景画像Ｂは元の解像度に拡張され、フレームレートが合わされて前景画像Ｆ２と統合されて、元の画像が得られる。

この動画像処理装置１及び動画像処理方法によれば、背景画像Ｂと前景画像Ｆ２とをそれぞれ異なる符号器にて符号化することができる。この際、画面解像度及びフレームレートが低減された背景画像Ｂを符号化処理するので、背景画像伝送時の情報量を低減することができる。その結果、背景画像のみ又は前景画像のみで空間予測を行うことができ、画面解像度又はフレームレートの異なる背景画像と前景画像とに動き補償をそれぞれ適用することができる。したがって、背景画像については画像処理や伝送時の情報量を低減することができる。この際、前景画像Ｆ１の画面解像度及びフレームレートを維持した状態で背景部分を単色処理して前景画像Ｆ２とするので、監視対象物Ｏを含む前景画像Ｆ２についても、監視対象物を識別するのに必要な情報量を確保した状態で伝送することができる。

特に、前景画像Ｆ１の代わりに前景画像Ｆ２がＨ．２６４方式によって符号化されるので、画面解像度及びフレームレートを維持しつつ伝送時における情報量を低減することができる。また、背景画像については、画像面積、フレームレートがそれぞれ１／４ずつ削減された背景画像ＢがＨ．２６４方式によって符号化されて伝送されるので、伝送時には、元の動画像Ｐの１／１６の情報量とすることができる。

なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、本実施形態では、混合ガウス分布モデルにより背景分離をしたものとしているが、これに限らず、他の方法で背景分離を行っても構わない。また、背景画像の解像度及びフレームレートの少なくとも一方を低減すればよく、背景画像の解像度を高く保ちたい場合には、フレームレートのみ低減率を大きくし、フレームの縦横の画像サイズを一定に保ってもよい。さらに、低減する際、ｋ＝ｍ＝２、ｎ＝４としているが、これに限らず、ｋ＝ｍ＝√ｎとしてもよく、復号・合成した後の要求画質に応じてｋ，ｍ，ｎをそれぞれ異なる２以上の整数としても構わない。

また、Ｈ．２６４方式によって符号化するものとしているが、これに限らず、フレーム内の相関を用いる符号化を用い、前景がなくなった場合にはほとんど情報を発生させない状態で、背景画像の伝送の効率化を図るものでもよい。

図７に示すように、人が交差するシーンを解像度が１９２０×１０８０ピクセルの動画像として取得したものを本実施形態に係る動画像処理装置１を用いて伝送、復号化して再構成した。伝送量の結果を図８に示す。比較例として図９に示す、同一シーンにおける標準動画の伝送量に対し、大幅に削減することができた。

１動画像処理装置
１０前景処理部
１１背景処理部
１２前景符号化部
１３背景符号化部

Claims

撮像された動画像から移動する監視対象物と背景とが分離されて生成された監視対象物を含む前景画像が入力されて処理される前景処理部と、
前記動画像から前記監視対象物が除かれて生成される背景画像が入力されて、前記背景画像の画面解像度及びフレームレートの少なくとも一方を低減する背景処理部と、
前記前景処理部で処理された前記前景画像を符号化する前景符号化部と、
前記背景処理部で処理された前記背景画像を符号化する背景符号化部と、
を備えていることを特徴とする動画像処理装置。
前記前景処理部が、前記前景画像の画面解像度及びフレームレートを維持した状態で背景部分を単色処理し、
前記前景符号化部及び前記背景符号化部における符号化方式が、Ｈ．２６４方式であることを特徴とする請求項１に記載の動画像処理装置。
前記背景画像部が、画面解像度を縦１／ｋ、横１／ｍとし、フレームレートを１／ｎ（ｋ，ｍ，ｎは２以上の整数）とすることを特徴とする請求項１又は２に記載の動画像処理装置。
コンピュータを、請求項１から３の何れか一つに記載の動画像処理装置として機能させることを特徴とする動画像情報処理プログラム。
撮像された動画像から移動する監視対象物と背景とが分離されて生成された監視対象物を含む前景画像に含まれる背景部分の画像の情報量を低減する前景処理工程と、
前記動画像から前記監視対象物が除かれて生成される背景画像の画面解像度及びフレームレートの少なくとも一方を低減する背景処理工程と、
前記前景画像を符号化する前景符号化工程と、
前記背景画像を符号化する背景符号化工程と、
を備えていることを特徴とする動画像処理方法。