JP2006165927A - 映像符号化装置、映像復号化装置 - Google Patents

Abstract

【課題】監視装置などにおいて、背景が一定の画像や、カメラの稼動範囲が限定されているような条件の下、従来の符号化方法では、動きベクトルを符号化したり、端点や変換パラメータを伝送しなければならず、符号量が大きくなってしまうという課題があった。
【解決手段】カメラで撮影した映像から静止画(群)若しくはモザイク画像を生成し、それを符号化部および復号化部で保存して参照画像として用いることで、カメラパラメータと残差信号のみから映像を再生可能とするシステムを構成することにより、動きベクトルなスプライト符号化における端点、変換パラメータ情報を符号化することのない、より効率的な映像符号化が可能となる。
【選択図】図１

Description

本発明はディジタル動画像符号化技術に属するものである。

ディジタル動画像の高能率符号化において、時間的に隣接するフレーム間の相関を利用する動き補償方法は大きな情報圧縮効果を生むことが知られている。実際、動画像符号化の国際標準方式であるMPEG-１、２、４などにおいても、マクロブロック毎に動きベクトルの検出を行って動き補償する方法が、離散コサイン変換(DCT)と組み合わされてフレーム間／フレーム内適応符号化方式として採用されている（例えば、非特許文献１参照）。ここで、マクロブロックとは、定められた画素からなる輝度信号ブロックと、輝度信号ブロックに空間的に対応した色差信号ブロックから構成される動き補償の単位である。動き補償とは、参照画像と符号化画像との間の動きを検出してブロック毎の動きベクトルを求め、それにしたがって各ブロックのマッチングを取ることで残差信号の符号量を低減する処理である。
自然画像などに対しては、このような、動きベクトルと残差信号を符号化する方法は非常に有効である。

"Text of ISO/ICE 14496-2 Third Edition", March 2003.

長坂晃朗, 宮武孝文, "輝度投影相関を用いた実時間ビデオモザイク",信学会論文誌J82-D-II No. 10 pp. 1572-1580, 1999

しかし、上記のような符号化方法では、背景が一定の画像や、カメラの稼動範囲が限定されているような画像においては、動きベクトルを符号化することで逆に符号量が増大してしまう場合があった。符号量削減のため、MPEG-4では背景映像を先に符号化して送信するスプライト符号化と呼ばれる符号化方式や、スプライトの端点と動きベクトルを符号化することで符号化効率を向上させるグローバル動き補償方式が導入されているが、端点座標や変換パラメータを伝送しなければならないため、カメラで撮影した画像に最適とはいえないという課題があった。

上記課題を解決するために本願で開示する代表的な構成および方法を以下に示す。
カメラで撮影した映像から取り出した静止画像群、若しくはそれらを利用して作成したモザイク画像(複数の画像を貼り合わせて合成した画像)を符号化部および復号化部で蓄積し、参照画像として用いることでカメラパラメータと残差信号から映像を再生可能とするシステムを構成する。

カメラのパラメータのみで参照画像を作成できるため、変化の少ない画像では符号量削減が可能となる。また、動きベクトルを用いないため、符号量はカメラの動きに左右されず、動きが大きい画像の符号化においても符号量の増加を抑えることが可能である。

以下、本発明の実施形態の例を、図を用いて解説する。
図１は本発明によって、カメラパラメータと残差信号から動画像を再生できるシステム構成例を示している。図1において、101はカメラ被写体、102は符号化装置、103はカメラ、107はエンコード部をしめしており、105はデコード・表示装置、106はデータ蓄積装置、108はデコード部を示している。102内のエンコーダ部107と105内のデコーダ部108、およびエンコーダ側のデータ蓄積部104とデコーダ側のデータ蓄積部106はネットワークなどで連結されており、両者のデータ蓄積部には同じ情報が蓄えられている。この蓄えられた情報から参照画像を作成することとなる。なお、104、106に蓄積する画像は適宜更新が可能であるとする。

全体の処理の流れを図1を用いて説明すると次のようになる。
あらかじめカメラの稼動範囲のすべての映像を撮影してカメラパラメータとそれに対応した画像を作成してデータベース104、106に蓄積する。そして、カメラ103でパラメータを取得し、104にてカメラパラメータに対応する画像を作成する。作成された画像はエンコーダ部107にて参照画像として利用され、エンコードが行われる。102でも同様の処理が行われ、デコード、ディスプレイ表示が可能となる。

上記処理の最初のステップとして、蓄積画像の作成例を図2を用いて示す。図2は102の内部構造をあらわしている。201は蓄積画像作成部、104はデータ蓄積部、202は参照画像作成部、203は加算部、204は周波数変換部、205は量子化部、206はデータの多重化部を示しており、207はカメラパラメータ、208はカメラからの映像データ、209はデータ蓄積部104に蓄えられた、カメラパラメータと映像が対応付けられたデータを示している。蓄積画像作成の方法は以下のようになる。まず、カメラから取得された映像208と、カメラパラメータ207が蓄積画像作成部201に入力され、対応づけられて蓄積される。ここで、カメラパラメータとはカメラのチルト角やパン角、ズーム量、レンズの主点を中心とした回転角などである。

蓄積画像作成部201では、たとえば、カメラの撮影可能な範囲をすべて撮影した画像データが入力される。画像データは定点に設置した撮像装置によって周囲を動画像もしくは静止画像の集合として撮影することによって得られる。次に各フレーム間のマッチングをとって最適な位置をつなげることで撮影範囲全体の撮像画像（以下、モザイク画像）を作成し、モザイク画像の各点(ここでは各フレームの中心点)とカメラパラメータとの対応付けを行った後、データベース部104に蓄積する。マッチングの手法としては各画像全体の輝度の水平、垂直分布を計算し、該分布同士をマッチングする等の技術を用いることができる。210のデータは、上記の手法で作成する以外にも撮影した各フレームにおいて、重複部分の差分が最も小さくなるよう、射影変換などの変換を加え、合成したモザイク画像でもよい。この場合は変換後の画像210とカメラパラメータ、変換パラメータ（変換関数）とを対応付けてデータベース部104に保存することになる。射影変換を利用してモザイク画像を作成することでより精度の高いモザイク画像を作成でき、符号化効率の向上が見込まれる。このデータ蓄積部104のデータはネットワークなどを介してデコーダ側のデータ蓄積部105に送られ、同じデータがエンコーダ、デコーダで共有されることとなる。

蓄積されたデータを用いた符号化について図3を用いて説明する。図2において、カメラ103で取得された映像は加算部203へ、カメラパラメータはデータ蓄積部104へ出力される(301)。データ蓄積部104では、入力されたカメラパラメータ207に対応した画像を取り出し、参照画像作成部で参照画像としてサイズ、形を調整し、302、203にてカメラからの映像との差分をとる(303)。カメラ映像と参照画像の差分は204にて周波数変換を施された後、205で量子化され(304)、カメラパラメータ207とともに多重化されて出力される305)こととなる。203〜205の処理によって、入力画像は符号化される。

次に、カメラパラメータから参照画像作成部202内の処理について、2つのの実施例を図4、及び図5にそれぞれ示す。図4は上記輝度分布によるモザイク画像を蓄積する手法であり、図5は上記射影変換によるモザイク画像を蓄積する手法に該当する。
図４では、データ蓄積部104に上記手法で作成されたカメラ撮影範囲をカバーするモザイク画像とカメラパラメータのセットが蓄積されることとなる。まず、ステップ401において、カメラ103のパラメータを取得する。次に、データ蓄積部104において、入力されたカメラパラメータのチルト角、パン角などを利用してモザイク画像内の対応点(フレームの中心点)を算出する(402)。次に、ズーム量、カメラ主点を中心とした回転角などのパラメータを用いて、フレームの範囲を特定し(403)、相当する部分をモザイク画像から切り出して参照画像を作成する(404)。401〜404の処理によって、動きベクトルなどを利用することなく参照画像を作成でき、また参照画像作成も容易である。図5には射影変換などを用いて生成したカメラ撮影範囲のモザイク画像によって参照画像を作成する場合のフローの例に示している。ここではデータ蓄積部104にはモザイク画像とカメラパラメータのほか、各フレームに対する変換行列も蓄積される。データ蓄積部のモザイク画像内において、入力されたカメラパラメータ付近の画像(変換後のフレーム)を複数枚取り出し(502)、それらの変換前の画像についてそれぞれ重心を求める(503)。

次にカメラからの入力画像の重心と、変換前の複数枚の画像との重心関係から、モザイク画像内の、入力画像に対応した画像の重心を推定し(504)、重心の最も近い画像の逆変換行列を用いて参照画像を作成する(505)。501〜505の処理を実施することにより、401〜404の処理よりも少ない枚数でのモザイク画像作成が可能となる。図8に図5の処理の1例を示す。801〜808は射影変換前の、811〜818は射影変換後の画像およびそれらの重心を示している。射影変換前の画像は長方形であるため、カメラパラメータから容易に重心を求められる。今、カメラパラメータにより、重心801が求まっており、重心801に最も近い重心が806(対応する画像は803)、2番目、3番目に近い重心が805(同802)、807(同804)であるとする。また、802、803、804の変換後の画像をそれぞれ812、813、814、それらの重心をそれぞれ815、816、817とする。まず、806と805、807とを直線で結ぶ。次に各直線へ801から垂線を下ろし、それらの足の内分を測定する。ここでの内分比は、806 808間ではa：b、806 808間ではc：dであったとする。

次に816と815、816と817を直線で結び、816 815間をa：b 、816 817をc：dに内分する。各内分点からそれぞれ816 815の垂線、816 817の垂線を引き、交点を参照画像の重心811とする。この重心811を基に、811と最も近い重心816を持つ813と同じサイズの領域818をモザイク画像内に取り、その領域に813と同じ逆変換をかけると参照画像808を作成できる。上記2手法により、動きベクトルなどを用いることなく、カメラパラメータのみを利用して参照画像を作成することができる。上記2手法はあらかじめモザイク画像を作成、蓄積していたが、撮影された画像をそのまま蓄積し、符号化/復号化する際に蓄積された画像群から、局所的にモザイク画像を作成し、参照画像とする手法も可能である。

次に、図6を用いてデコーダ部105を説明する。601は多重化された受信データを分離する分離部、602は逆量子化部、603は周波数逆変換部、605は参照画像作成部、105はデータ蓄積部、（６０４の説明）606再生装置を示している。１０５のデータを用いて６０２，６０３，６０４を用いて復号化を行う。図7にデコーダ部のフローを示す。ここでは、データ蓄積部106に、エンコーダ部のデータ蓄積部104と同じ情報が入っているとする。

まず、データ分離部601において残差成分608とカメラパラメータ607とを分離する(701)。次にエンコーダ部と同様、カメラパラメータ607から参照画像となる、1フレーム相当の静止画像を作成する(702)。この方法には上記図４や図５にて説明した手法を用いることができる。さらにその画像に、逆量子化、逆周波数変換された残差成分を加えて(703)再生画像を作成し、表示する(704)。

上記のような方法により、カメラパラメータと残差成分のみによる映像符号化が可能となり、より符号化効率を高めることができる。これによって、ネットワークカメラを利用した機器における通信帯域を下げることが可能となる。
尚、符号化効率を逐次監視することによって、上記の符号化方法と、既存の動きベクトルなどを用いる符号化方法とを状況によって切り替えることによって、更なる符号化効率向上も可能である。

本発明における動画像符号化装置の一例を示したものである。 図1おけるエンコード部の構成例を示したものである。 本発明における映像データ蓄積方法の一例を示したものである。 本発明における参照画像作成方法の一例を示したものである。 本発明における参照画像作成方法の一例を示したものである。 図1におけるデコード部の構成例を示したものである。 本発明におけるデコード方法の一例を示したものである。

符号の説明

101…カメラ被写体、102…カメラおよびエンコード装置、105…デコードおよび表示装置、201…蓄積画像作成装置、202…参照画像作成装置、206…多重化装置、601…映像データ分離装置、605…参照画像作成装置、606…再生装置。

Claims (4)

1. 入力された複数のフレーム画像と該複数のフレーム画像撮影時のカメラパラメータと関連付ける蓄積画像作成部と、上記関連付けられたフレーム画像を蓄積するデータ蓄積部と、新たに入力された動画像を構成する画像のカメラパラメータに基づいて上記データ蓄積部から検索された画像と該カメラパラメータとから参照画像を作成する参照画像作成部と、該作成された参照画像を用いて上記動画像を符号化する符号化部を有することを特徴とする動画像符号化装置。
2. 上記動蓄積画像作成部は、上記入力される複数のフレーム画像間のマッチングをとることでモザイク画像を作成することを特徴とする請求項1記載の動画像符号化装置。
3. 上記参照画像作成部には、上記入力される複数のフレーム画像を変換することで上記モザイク画像を作成し、上記データ蓄積部は、該変換の関数もあわせて蓄積することを特徴とする請求項２記載の動画像符号化装置。
4. 符号化信号の分離部と、カメラパラメータと対応づけられた画像を蓄積するデータ蓄積部と、上記分離された撮影時のカメラパラメータから蓄積される画像を検索して参照画像を作成する参照画像作成部と、該作成された参照画像を用いて上記分離された残差成分を復号化する復号化部を有することを特徴とする動画像復号化装置。