JP2000324501A

JP2000324501A - 画像符号化装置、画像復号化装置および動きベクトル検出装置

Info

Publication number: JP2000324501A
Application number: JP2000117087A
Authority: JP
Inventors: Minoru Eito; 稔栄藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-01-01
Filing date: 2000-04-18
Publication date: 2000-11-24

Abstract

(57)【要約】【目的】視線方向の前後関係で分離された階層画像を
構成する輝度と透過度の画像を高能率で符号化、復号化
する。【構成】輝度プレーンと透過度を表すαプレーンの相
関をとり、アフィン変換とブロック移動で表現される変
形パラメータを抽出する変形分析器２０１と、前フレー
ムの復号化結果と変形分析器２０１の結果から予測画像
を生成する変形合成器２０２とを備え、予測画像は輝度
プレーンとαプレーンからなり、各々の差分が誤差符号
化され、出力ビットストリームはアフィン変換パラメー
タ、ブロック移動パラメータ、輝度プレーン誤差符号、
αプレーン誤差符号からなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像の符号化やフレーム
周波数変換などフォーマット変換に使用する動きベクト
ル検出装置と画像を少ない符号化量で伝送記録する画像
符号化装置および画像復号化装置に関するものである。

【０００２】

【従来の技術】ワンとエイデルソン（Ｊ．Ｗａｎｇａ
ｎｄＥ．Ａｄｅｌｓｏｎ）により動画像の伝送記録を
効率的に行なうことを目的として動画像を図２３に示す
ように階層画像に分解して符号化する方式が提案されて
いる。

【０００３】この方式が開示されている文献「レイヤー
ドレプレゼンテーションフォーイメージセクエン
スコーディング」（Ｊ．ＷａｎｇａｎｄＥ．Ａｄ
ｅｌｓｏｎ：”ＬａｙｅｒｅｄＲｅｐｒｅｓｅｎｔａ
ｔｉｏｎｆｏｒＩｍａｇｅＳｅｑｕｅｎｃｅＣ
ｏｄｉｎｇ”，Ｐｒｏｃ．ＩＥＥＥＩｎｔ．Ｃｏｎ
ｆ．ＡｃｏｕｓｔｉｃＳｐｅｅｃｈＳｉｇｎａｌ
Ｐｒｏｃｅｓｓｉｎｇ’９３，ｐｐ．Ｖ２２１−Ｖ２２
４，１９９３）および文献「レイヤードレプレゼンテ
ーションフォーモーションアナライシス」（Ｊ．
ＷａｎｇａｎｄＥ．Ａｄｅｌｓｏｎ：”Ｌａｙｅｒ
ｅｄＲｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒＭｏｔｉ
ｏｎＡｎａｌｙｓｉｓ”，Ｐｒｏｃ．Ｃｏｍｐｕｔ
ｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏ
ｇｎｉｔｉｏｎ，ｐｐ．３６１−３６６，１９９３）に
よると以下の（１）〜（３）の画像処理を行う。（１）動画像中から同じ動きパラメータ（従来例ではア
フィン変換パラメータ）で記述される領域を抽出する。（２）同じ動き領域を重ねて階層画像を生成する。各階
層画像は重ねられた領域の占有を示す画素毎の透過度と
輝度で表現される。（３）階層画像間の視線方向の上下関係を調べて順序付
ける。

【０００４】ここでアフィン変換パラメータとは、画像
中の水平垂直位置を（ｘ，ｙ）、動きベクトルの水平垂
直成分を（ｕ，ｖ）とするとき、式１に示すａ₀〜ａ₅の
係数を意味する。

【０００５】

【数１】

【０００６】カメラから十分な距離にある剛体投影像の
動きは、アフィン変換パラメータで近似できることが知
られている。彼らはこれを利用し、１フレームで構成さ
れる数種類の階層画像をアフィン変換により変形させな
がら、数十〜数百フレームの動画像を合成している。こ
の動画像を伝送記録するに必要な情報は、各階層画像に
ついて変形の元となる画像（以後テンプレートと呼ぶ）
とアフィン変換パラメータ、各階層画像の上下関係だけ
であるから、非常に高い符号化効率で動画像の記録伝送
が行なえることになる。なお、テンプレートは画像合成
のために、領域の占有を示す画素毎の透過度と輝度で表
現される。

【０００７】

【発明が解決しようとする課題】ワンとエイデルソンの
動画像表現では投影像がアフィン変換で記述できる剛体
の動きのみを扱っている。したがって、彼らの動画像表
現は投影像の動きがアフィン変換で記述できない場合に
対処できない。例えば図２３に示す人物が非剛体の動き
を行なう場合、カメラ物体間距離が小さく透視変換の非
線形項が無視できない場合には適用できない。また投影
像の動きをアフィン変換パラメータとして求める彼らの
手法は、以下の２段階の処理から構成されている。

【０００８】１．輝度の時間変化が空間輝度勾配と動き
ベクトルの内積で近似できるという輝度の時空間勾配の
関係式に基づく方法（Ｂ．ＬｕｃａｓａｎｄＴ．
Ｋａｎａｄｅ：”ＡｎＩｔｅｒａｔｉｖｅＩｍａｇ
ｅＲｅｇｉｓｔｒａｔｉｏｎＴｅｃｈｎｉｑｕｅ
ｗｉｔｈＡｎａｐｌｉｃａｔｉｏｎｔｏＳｔｅｒ
ｅｏＶｉｓｉｏｎ”，Ｐｒｏｃ．ＩｍａｇｅＵｎｄ
ｅｒｓｔａｎｄｉｎｇＷｏｒｋｓｈｏｐ，ｐｐ．１２
１−１３０，Ａｐｒｉｌ１９８１）で、画面上の各位
置において局所的な動きベクトルを求める。

【０００９】２．得られた動きベクトルをクラスタリン
グしてアフィン変換パラメータを求める。

【００１０】しかし、以上の手法では、動画像に輝度の
時空間勾配の関係式が成り立たないような大きな動きが
ある場合は適用できない。さらに、得られた動きベクト
ルからアフィン変換パラメータを推定する２段階の方法
では、パラメータ推定の基となった動きベクトルが誤っ
ている場合には、大きな推定誤差を生む。輝度変化のな
い領域あるいは輝度変化があっても一方向のみの輝度変
化で構成される領域では、動きベクトルは不定となる。
前記２段階の推定手法では、これら不確実な領域の動き
ベクトルに対する特別な処理が必要となる。以上まとめ
ると、以下の課題１、２が解決されていない。

【００１１】課題１：不規則な変形をもつ輝度と透過度
の画像（テンプレート）の効率的な符号化課題２：アフィン変換パラーメータの頑健な推定本発明は上記課題を解決するもので、視線方向の前後関
係で分離された階層画像を構成する輝度と透過度の画像
を高能率で符号化、復号化するための画像符号化装置、
画像復号化装置および動きベクトル検出装置を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】前記課題１を解決する第
１の発明の画像符号化装置は、物体の輝度と透過度から
構成される画像の系列を入力として、輝度と透過度から
構成される参照画像から部分領域間の対応により符号化
対象画像の輝度と透過度の画像を予測する予測手段と、
前記予測手段における部分領域間の対応を予測符号とし
て符号化する予測符号化手段と、前記予測画像と前記符
号化対象画像との輝度と透過度の差分を誤差画像として
求める誤差演算手段と、前記誤差画像を誤差画像符号と
して符号化する誤差符号化手段を有し、画像系列を前記
参照画像に対する誤差画像符号、予測符号として伝送記
録する構成である。

【００１３】前記課題１を解決する第２の発明の画像復
号化装置は、第１の画像符号化装置と同じ参照画像を保
持し、予測符号より部分領域間の対応を復号化する予測
符号復号化手段と、前記部分領域間の対応より、参照画
像から予測画像を生成する予測画像生成手段と、誤差画
像符号より誤差画像を復号化する誤差画像復号化手段
と、前記予測画像と前記誤差画像を加算して輝度と透過
度からなる画像を得る加算手段とを有し、前記予測画像
生成手段あるいは前記加算手段の出力として輝度と透過
度から構成される画像を復号化する構成である。

【００１４】前記課題１を解決する第３の発明の画像符
号化装置は、物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の２つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳手段を有
し、前記輝度と透過度の情報が重畳された輝度画像を符
号化する構成である。

【００１５】前記課題１を解決する第４の発明の画像復
号化装置は、輝度値が値域外の値である場合は透明領
域、値域内の場合は輝度値として画像を透過度画像と輝
度画像とに分離する分離手段を有し、輝度と透過度の画
像を復号化する構成である。

【００１６】前記課題１を解決する第５の発明の画像符
号化装置は、原画像が輝度に加えて視線軸上の前後関係
と領域の透過度より階層的に表現される時、この階層化
された複数の画像を入力として、各階層画像毎に輝度と
透過度を階層画像符号として符号化する階層画像符号化
手段と、階層画像符号化手段の結果から復号された前記
階層画像を求める階層画像画像復号化手段と、前記復号
された複数の階層画像をその前後関係、輝度、透過度に
より合成する合成手段と、前記原画像と前記合成画像と
の誤差画像を求め、これを符号化する誤差画像符号化手
段を有し、前記原画像を、複数の階層画像符号と原画像
との誤差符号によって伝送記録する構成である。

【００１７】前記課題１を解決する第６の発明の画像復
号化装置は、複数の階層画像符号から輝度、透過度、視
線軸上の前後関係からなる階層画像を復号化する階層画
像復号化手段と、前記階層画像により合成画像を生成す
る合成手段と、誤差符号より誤差画像を復号化する誤差
画像復号化手段を有し、前記合成画像に誤差画像を加え
ることにより画像を復号化する構成である。

【００１８】前記課題１を解決する第７の発明の画像符
号化装置は、複数の参照画像を予め伝送記録する参照画
像符号化手段と、入力画像と前記複数の参照画像との間
で輝度が対応する位置の偏位すなわち変形を画面上の位
置を変数とする多項式関数として近似し、近似誤差を求
める画像間対応近似手段と、近似誤差の小さな参照画像
を前記複数の参照画像の中から求め、選ばれた参照画像
の識別子と多項式関数の係数を出力する最小歪み参照画
像選択手段を有し、前記参照画像符号化手段により複数
の参照画像を符号化するとともに、入力画像系列を少な
くとも前記選ばれた参照画像に対する識別子と前記多項
式関数の係数として伝送記録する構成である。

【００１９】前記課題１を解決する第８の発明の画像復
号化装置は、複数の参照画像を予め再構成しておく参照
画像復号化手段と、前記複数の参照画像から入力に含ま
れる参照画像に対する識別子に対応する参照画像を選択
する参照画像選択手段と、画像の変形を画面上の位置を
変数とする多項式関数を入力に含まれる多項式関数の係
数を基に決定し、前記多項式関数により前記選択された
参照画像変形する参照画像変形手段を有し、前記参照画
像変形手段により変形された参照画像を用いて画像を復
号化する構成である。

【００２０】前記課題２を解決する第９の発明の動きベ
クトル検出装置は、物体の輝度と透過度から構成される
複数の画像を入力として、透過度を所定の値の加算乗算
と必要に応じてしきい値処理を行ない値域を変換し、変
換した値を輝度に加算して輝度と透過度の情報が重畳さ
れた輝度画像を生成する重畳手段と、輝度の相関により
２つの画像の部分領域の対応を得る画像分析手段を有
し、前記重畳手段によって、輝度と透過度から構成され
る画像を、輝度だけで構成される画像に変換し、変換さ
れた複数の画像間で前記画像分析手段を用いて部分領域
の対応を得る構成である。

【００２１】前記課題２を解決する第１０の発明の動き
ベクトル検出装置は、画面上の任意の位置の動きベクト
ルをその位置を変数とする多項式関数として表現する装
置であって、画像を分割して得られる複数の部分領域に
ついて、異なる２つの画像の部分領域の対応を誤差とし
て演算し、最小誤差となる前記部分領域間の偏位とその
近傍の誤差値を求める誤差演算手段と、前記最小誤差と
なる偏位とその近傍の誤差値から偏位を変数とする２次
の誤差関数を求める誤差関数演算手段と、前記２次誤差
関数の総和あるいは部分和を、多項式関数の係数を変数
として表現し、この総和あるいは部分和の最小化を係数
について行なう最適化手段を有し、異なる画像間の動き
ベクトルを多項式関数の係数として出力する構成であ
る。

【００２２】

【作用】第１の発明の画像符号化装置は、予測手段によ
って参照画像（すなわちテンプレート）と符号化対象画
像の部分領域の対応をとることにより、参照画像から符
号化対象画像の輝度と透過度を予測し、予測画像を生成
する。部分領域の対応は予測信号として予測符号化手段
により出力される。誤差演算手段により予測画像と符号
化対象画像との輝度と透過度の差分を求め誤差符号化手
段により符号化する。

【００２３】第２の発明の画像復号化装置は、第１の発
明の画像符号化装置と同じ参照画像を保持し、予測符号
復号化手段と予測画像生成手段とにより予測符号から部
分領域間の対応を復号して参照画像から予測画像を生成
する。一方、誤差画像復号化手段により誤差画像符号か
ら誤差画像を復号化する。そして、加算手段が予測画像
と誤差画像を加算して輝度と透過度からなる画像を得
る。

【００２４】以上の二発明では、符号化側では予測画像
と符号化対象画像との輝度と透過度の差分を求め符号化
する。一方復号化側では透過度と輝度の差分が復号され
る。これによって、不規則なテンプレートの変形を許し
た階層画像の符号化が行なえる。

【００２５】第３の発明の画像符号化装置では、物体の
輝度と透過度から構成される画像を入力として、重畳手
段が領域を透明領域と不透明領域の２つに分類し、不透
明領域については物体の輝度を、透明領域については輝
度の値域外の所定の値をとるよう輝度と透過度の情報が
重畳された輝度画像を生成したのち、これを符号化す
る。

【００２６】第４の発明の画像復号化装置は、復号化さ
れた画像から分離手段が輝度値が値域外の所定の値であ
る場合は透明領域、値域内の場合は輝度値として画像を
透過度画像と輝度画像に分離する。以上の二発明では、
テンプレートを構成する輝度と透過度の２つの情報を一
つの輝度画像に変換することにより、この輝度画像の変
化としてテンプレートの変形を扱うことができる。

【００２７】第５の発明の画像符号化装置では、原画像
は輝度に加えて視線軸上の前後関係と領域の透過度によ
り階層的に表現されている。画像符号化装置はこの階層
化された複数の画像を入力として、階層画像毎に階層画
像符号化手段により、輝度と透過度を階層画像符号とし
て符号化する。一方で、階層画像画像復号化手段により
階層画像符号化手段の結果から復号された前記階層画像
を求め、合成手段により復号された複数の階層画像をそ
の前後関係、輝度、透過度から合成する。これにより、
復号化装置での階層画像の合成結果を推定することにな
る。そして、誤差画像符号化手段が原画像と推定された
合成画像との誤差画像を求め、これを符号化する。

【００２８】第６の発明の画像復号化装置は、階層画像
復号化手段により複数の階層画像符号から輝度、透過
度、視線軸上の前後関係からなる階層画像を復号し、合
成手段により階層画像から合成画像を生成する。そし
て、誤差画像復号化手段は誤差符号から誤差画像を復号
化する。最後に合成画像に誤差画像を加えることにより
画像が復元される。以上の二発明は、テンプレートが不
規則に変形する場合でも、階層画像の合成を最終結果と
はせずに予測画像とし、この予測画像と原画像との差分
を伝送記録することにより画像を大きな視覚劣化なく伝
送記録することができる。

【００２９】第７の発明では、参照画像符号化手段によ
りテンプレートが予め伝送記録される。入力画像と複数
のテンプレートとの間の対応が画像間対応近似手段によ
り、画面上の位置を変数とする多項式関数として近似さ
れる。最小歪み参照画像選択手段は、この複数のテンプ
レートの中で近似誤差の小さな参照画像を時間順序に関
係なく前記複数の参照画像の中から求め、選ばれた参照
画像の識別子と多項式関数の係数を出力する。複数のテ
ンプレートを用意することにより、前記多項式関数で近
似される度合が向上する。

【００３０】第８の発明の画像復号化装置は、複数のテ
ンプレートは参照画像復号化手段により予め再構成され
る。参照画像選択手段は入力されたテンプレートの識別
子に対応するテンプレートを選び出し、これを参照画像
変形手段は、入力された多項式関数の係数を基に画像を
変形させる。符号化装置側で、入力画像に対して前記多
項式関数によるテンプレートの変形結果が類似している
ことが保証されているため少ない符号化量で画像を復号
化することができる。

【００３１】第９の発明の物体の輝度と透過度から構成
される複数の画像を入力とする動きベクトル検出装置
は、重畳手段により、透過度を所定の値の加算乗算と必
要に応じてしきい値処理を行ない値域を変換し、変換し
た値を輝度に加算して輝度と透過度の情報が重畳された
輝度画像を生成する。そして、画像分析手段は輝度の相
関により２つの画像の部分領域の対応を得る。これによ
り、輝度だけでなく透過度の相関を利用した動きベクト
ル検出を行なうことができる。

【００３２】第１０の発明の画面上の任意の位置の動き
ベクトルをその位置を変数とする多項式関数として表現
する動きベクトル検出装置は、誤差演算手段は画像を分
割して得られる複数の部分領域について、異なる２つの
画像の部分領域の対応を誤差として演算し、最小誤差と
なる前記部分領域間の偏位とその近傍の誤差値を求め
る。誤差関数演算手段は前記最小誤差となる偏位とその
近傍の誤差値から偏位を変数とする２次の誤差関数を求
める。そして、最適化手段は前記２次誤差関数の総和あ
るいは部分和を、前記多項式関数の係数を変数として表
現し、この総和あるいは部分和の最小化を係数について
行なう。本発明では、動きベクトルからではなく、偏位
を変数とする２次の誤差関数から、これの総和または部
分和を最小化するよう位置を変数とする多項式関数（ア
フィン変換はその一例）の係数を定めることができる。

【００３３】

【実施例】本発明の各実施例では、装置の動作を容易に
理解するために、画像は縦横２８８×３５２画素で構成
され、階層は一般性を失うことなく、２つで背景と前景
のみからなるものとする。また動きベクトル検出のため
の相関演算を行なうブロックは縦１６画素、横１６画素
で構成されているとする。

【００３４】以下、本発明の実施例を図面を用いて説明
する。本発明（請求項1,2,9,10）の第１の実施例を図１
〜図１２を用いて説明する。ここで、図２は第１の発明
の構成例、図３は第２の発明の構成例、図４は第９の発
明の構成例、図５は第１０の発明の構成例を示す図であ
る。図１は画像符号化装置と画像復号化装置の動作を説
明する階層符号化システムの構成図である。階層画像は
輝度と透過度の二つのフレームで構成されている。これ
を各々輝度プレーン、αプレーンと呼ぶことにする。階
層画像合成器１０７では、式２で表現される合成を行な
う。

【００３５】

【数２】

【００３６】式２において（ｘ，ｙ）は水平垂直位置で
あり、ｇ_f、ｇ_bは各々前景背景の輝度値［０，２５５］
を、αは前景の透過度［０，１］を表している。ｇは合
成された輝度値である。本実施例では簡単のため階層は
２つとしているために、背景の透過度は全て１で構成さ
れる。階層画像符号化器１０１、１０２は、前景、背景
の輝度プレーンとαプレーンの各動画像を符号化し、マ
ルチプレクサ１０３によって多重されたビットストリー
ムは復号化装置に送出される。復号化装置では、デマル
チプレクサ１０４により各階層画像のデータが分離さ
れ、階層画像復号化器１０５、１０６で階層画像が再構
成される。再構成された階層画像は階層画像合成器１０
７で合成される。以下、この符号化システムを順に説明
していく。

【００３７】図２は、図１における本発明（請求項１）
の一実施例における階層画像符号化器１０１、１０２の
構成図である。図２において、２０１は変形分析器、２
０２は変形合成器、２０３、２０４は差分器、２０５は
予測符号符号化器、２０６は輝度プレーン誤差符号化
器、２０７はαプレーン誤差符号化器、２０８は輝度プ
レーン誤差復号化器、２０９はαプレーン誤差復号化
器、２１０はマルチプレクサ、２１１、２１２は加算
器、２１３、２１４はフレーム遅延器である。以上によ
うに構成された階層画像符号化器の動作を以下に説明す
る。

【００３８】まず、変形分析器２０１では現在入力され
ている輝度プレーンとαプレーンの各位置に対して前フ
レームの復号結果である輝度プレーンとαプレーンのど
の位置が対応するかを求める。この位置の対応情報は後
述のアフィン変換パラメータとブロック並行移動成分と
して予測符号符号化器２０５で符号化される。変形合成
器２０２はこの対応情報を受け、前フレームの復号化結
果である輝度プレーンとαプレーンを変形させ、差分器
２０３、２０４で差分信号とする。輝度プレーンに限っ
てみれば、これは一般にＣＣＩＴＴ勧告Ｈ．２６１に記
載されている画像符号化装置などで、「動き補償」と呼
ばれている処理に相当する。ここでは１６×１６画素の
ブロックで誤差絶対値和（ＳＡＤと略す）最小となるブ
ロック移動だけでなく画面全体のアフィン変換を組み合
わせた動き補償を行なっている点が異なる。これを図６
を用いて説明する。

【００３９】図６は図２の変形合成器２０２の構成を示
しており、図中６０１は輝度画像メモリ、６０２はα画
像メモリ、６０３はデマルチプレクサ、６０４、６０５
はアフィン変換部、６０６、６０７はアフィン変換画像
メモリ、６０８、６０９は画像ブロック変形部である。
対応情報（変形パラメータ）はアフィン変換パラメータ
（式１参照）と縦横１８×２２個に分割されたブロック
についてその平行移動成分（図１２参照）で構成されて
いる。動き補償のステップは以下に示す通りである。

【００４０】１．輝度画像メモリ６０１、α画像メモリ
６０２に各々輝度プレーン、αプレーンの画素値が取り
込まれる。同時にデマルチプレクサ６０３によりアフィ
ン変換パラメータとブロック並行移動成分が分離され
る。

【００４１】２．アフィン変換パラメータにより式１に
示されている移動量（ｕ，ｖ）について画像がアフィン
変換部６０４、６０５によりシフトされる。結果はアフ
ィン変換画像メモリ６０６、６０７に記憶される。

【００４２】３．アフィン変換画像メモリ６０６、６０
７に記憶された画像がさらに画像ブロック変形部６０
８、６０９により縦横１８×２２個に分割されたブロッ
クについてその平行移動を１６×１６画素の大きさのブ
ロック単位で行なう。

【００４３】これを行なうために図２の変形分析器２０
１はアフィン変換パラメータとブロック移動成分の抽出
を行なわなければならない。図４は図２の変形分析器２
０１の構成図である。これを用いて変形分析器２０１の
動作を説明する。尚、図４に示す変形分析器２０１の構
成は本発明（請求項９）の動きベクトル検出装置の構成
例となっている。

【００４４】図４において、４０１、４０２は輝度画像
メモリ、４０３、４０４はα画像メモリ、４０５、４０
６は輝度・α重畳部、４０７はアフィン変換部、４０８
はアフィン変換係数演算部、４０９はアフィン変換画像
メモリ、４１０はブロック相関演算部、４１１はマルチ
プレクサである。図４に示す変形分析器２０１では、輝
度画像メモリ４０１、α画像メモリ４０３が参照画像と
して前フレームの結果をバッファリングしている。輝度
画像メモリ４０２、α画像メモリ４０４は符号化対象画
像である現在の入力フレームの画像を保持している。輝
度・α重畳部４０５、４０６は式３に示す処理を行な
い、一つの輝度画像を生成する。式３において、画素の
水平垂直位置（ｘ，ｙ）についてｈ（ｘ，ｙ）は合成さ
れた輝度画像、ｇは輝度プレーンの輝度値［０，２５
５］、αはαプレーンの値［０，１］である。

【００４５】

【数３】

【００４６】式３ではαの値により不透明領域では輝度
値を透明領域では適当な負値（−１００）を重畳してい
る。これにより透過度の情報が重畳された輝度画像が生
成される。これを図示すると図１１になる。また、この
ようなしきい値処理ではなく、実験的に定めた重畳係数
γを乗して式４のように重畳を行なっても良い。

【００４７】

【数４】

【００４８】本実施例では、後に述べる他の実施例で輝
度・α重畳部を他の目的にも使用するため、式３に定め
る動作を行なうものとする。このようにして輝度とα値
が重畳された画像について式５、式６に定める相関演算
を行なう。

【００４９】

【数５】

【００５０】

【数６】

【００５１】式５において、ｈ_t-1は前フレーム（図
４、参照画像）の重畳画素値、ｈ_tは現フレーム（図
４、対象画像）の重畳画素値を表す。Ｒは１６×１６画
素の領域を表し、（ｕ，ｖ）は図１２に示すように対応
するブロック領域への偏位である。式６によればＳＡＤ
の最も小さな偏位が動きベクトルとして求められる。ブ
ロック相関部４１０はアフィン変換された参照重畳画像
と対象重畳画像についてこの演算を行なう。なお、ブロ
ック相関部４１０にα画像メモリ４０４の出力が入力さ
れているのは、対象画像のαプレーンが全て透明である
領域については動きベクトルは不定となることから計算
を省略するためである。ブロック相関部４１０は１８×
２２ブロックについて最小となった偏位（ｐ，ｑ）を動
きベクトルとして出力する。アフィン変換部４０７、ア
フィン変換画像メモリ４０９は既に図６で説明した同名
のブロックと同じ動作を行なう。

【００５２】次にアフィン変換係数演算部４０８の説明
を行なう。図５はアフィン変換係数演算部４０８の構成
図であり、本発明（請求項１０）の動きベクトル検出装
置の構成例となっている。図５において、５０１はブロ
ック相関演算部、５０２はＳＡＤ局面近似部、５０３は
誤差関数パラメータ格納メモリ、５０４はアフィン変換
パラメータ演算部である。ブロック相関演算部５０１の
動作は図４のブロック相関部４１０とほぼ同じである。
異なる点は、ブロック相関演算部５０１は１８×２２ブ
ロックについて最小となった偏位（ｐ，ｑ）に加えて、
その位置のＳＡＤ最小値と８近傍のＳＡＤ値を出力する
ことである。これを式７に示す。式７においてｔは行列
の転置を表す。

【００５３】

【数７】

【００５４】これを受けてＳＡＤ局面近似部５０２は式
８〜式１３の演算を行なう。演算結果は誤差関数パラメ
ータ格納メモリ５０３に格納される。式８〜式１３の演
算は、ＳＡＤ値を偏位（ｕ，ｖ）の関数と考えて、最小
偏位（ｐ，ｑ）近傍で２次のテーラー展開をおこなって
いることに相当する。縦横１８×２２のブロックの位置
をｉ、ｊと表現すると、透明である領域を除いて、各々
の２次誤差関数は式１４で表現することができる。

【００５５】

【数８】

【００５６】

【数９】

【００５７】

【数１０】

【００５８】

【数１１】

【００５９】

【数１２】

【００６０】

【数１３】

【００６１】

【数１４】

【００６２】ここで、式１５、式１６に示すようにアフ
ィン変換パラメータにより各ブロックの動きベクトルは
記述されるから、変分原理により各ＳＡＤ誤差関数の総
和を最小とする必要条件として式１７に示すように、ア
フィン変換パラメータａの偏微分が零ベクトルとならな
くてはならないオイラー式が導き出せる。これは式１８
の行列で表現できる。アフィンパラメータ演算部５０４
はこのために式１９（６×６行列）、式２０（６×１行
列）をまず求め、そして式２１により、アフィン変換パ
ラメータを演算する。

【００６３】なお、式１９、式２０において、（ｘ_j，
ｙ_i）はブロックｉ、ｊの中心位置である。

【００６４】

【数１５】

【００６５】

【数１６】

【００６６】

【数１７】

【００６７】

【数１８】

【００６８】

【数１９】

【００６９】

【数２０】

【００７０】

【数２１】

【００７１】以上のように構成された変形分析器２０１
（図４）では輝度とαを重畳した画像で相関演算を行な
うことにより、両方の情報から動きベクトルを求めるこ
とができる。式３で定めた透明領域の負値（−１００）
の絶対値を大きくすれば、より不透明領域の輪郭の情報
が強調された動きベクトルを得ることができる。特に前
記領域内部に動き推定に有効なエッジ、模様などの手が
かりが存在しない時、有効である。図５に示したアフィ
ン変換係数演算部４０８は局所的な相関演算からではな
く２次の関数近似を行なうことによりアフィン変換パラ
メータを求めている。局所的な相関演算では、単調な輪
郭周辺で動きベクトルは輪郭接線方向に自由度をもつ場
合が多い。この場合、従来例に示した２段階のアフィン
変換パラメータ推定では大きな推定誤差が予想される
が、本実施例に示した手法では自由度を２次関数で表現
し、総合的に２次関数の総和の最小化を計ることから、
より安定にパラメータ推定できることが期待される。

【００７２】またＳＡＤ相関の偏位を変数とした２次の
関数近似は式１７に代表されるオイラー式が未定パラメ
ータについて線形式となるため容易に未定パラメータを
導出することができる利点がある。これはより一般の多
項式を用いた場合にも共通して言えることである。例え
ば、式２２、式２３に示した動きベクトルの式は透視変
換の下で平面物体の投影像から生じる動きベクトルを表
現することができる。

【００７３】

【数２２】

【００７４】

【数２３】

【００７５】この場合もアフィン変換と同様に式２４の
オイラー式を計算し、式１９〜式２１と同様の手続きで
容易にパラメータを推定することができる。

【００７６】

【数２４】

【００７７】以上図２に示した階層画像符号化器１０
１、１０２の変形分析器２０１、変形合成器２０２の説
明を行なった。同時に本発明（請求項9,10）の動きベク
トル検出装置の構成例を示した。以後、図２の残された
ブロックの説明を行なっていく。

【００７８】差分器２０３、２０４により輝度データ、
透過度データの差分が各々輝度プレーン誤差符号化器２
０６、αプレーン誤差符号化器２０７に送られ各々独立
に符号化される。各符号化器は図７、図８に示す構成と
なっている。図７は輝度プレーン誤差符号化器の構成図
で、７０１はＤＣＴ演算部、７０２は量子化部１、７０
３は可変長符号化部１である。

【００７９】図８は、αプレーン誤差符号化器の構成図
で、８０１はハール変換演算部、８０２は量子化部２、
８０３は可変長符号化部２である。ＤＣＴ演算部７０１
は８×８画素のブロックで離散コサイン変換を行ない、
変換されたＤＣＴ係数は量子化部７０２で量子化され、
可変長符号化部７０３でコサイン変換係数をスキャン
し、零係数長と量子化係数の組合せで２次元ハフマン符
号化される。この処理はＣＣＩＴＴ勧告Ｈ．２６１に開
示されている技術とほぼ同じであるので詳しい説明は省
略する。

【００８０】αプレーン誤差符号化器２０７では離散コ
サイン変換の代わりに８×８画素のブロックでハール変
換を用いている。ここでハール変換は８×１の列ベクト
ルを式２５の右から乗する１次元ハール変換を８×８の
画素ブロックに対して縦横に行なうことにより実現され
る。

【００８１】

【数２５】

【００８２】離散コサイン変換ではなくハール変換を用
いたために量子化テーブルとハフマンテーブルが若干変
更されている点が輝度プレーン符号化器２０６と異な
る。しかし、基本的な動作は同じであるので詳細な説明
は省略する。図２に説明を戻す。

【００８３】今まで説明した輝度プレーン誤差符号化器
２０６とαプレーン誤差符号化器２０７の出力は、マル
チプレクサ２１０で多重化されて出力される。一方、次
のフレームの予測画像を生成するために前述の出力は輝
度プレーン誤差復号化器２０８とαプレーン誤差復号化
器２０９に入力される。各復号化器は図９、図１０に示
す構成となっている。

【００８４】図９は輝度プレーン誤差復号化器の構成図
で、９０１は可変長復号化部、９０２は逆量子化部、９
０３は逆ＤＣＴ演算部である。図１０はαプレーン誤差
復号化器の構成図で、１００１は可変長復号化部、１０
０２は逆量子化部、１００３は逆ハール変換演算部であ
る。可変長復号化部９０１で零係数長と量子化係数の組
合せをハフマン復号しコサイン変換係数に戻す、そし
て、逆量子化部９０２で量子化インデックスから代表値
に置き換え、最後に逆ＤＣＴ演算部９０３により８×８
画素ブロックの画像が再現される。この処理は輝度プレ
ーン誤差符号化器２０６と同様にＣＣＩＴＴ勧告Ｈ．２
６１に開示されている技術とほぼ同じであるので詳しい
説明は省略する。

【００８５】図１０の逆ハール変換演算部９０６は８×
８のハール係数に対して縦横に８×１の列ベクトルを取
り出し、式２６に示すマトリクスを左から乗じることに
より実現される。可変長復号化部１００１、逆量子化部
１００２の動作は、αプレーン誤差符号化器２０７に対
応して、輝度プレーン復号化器２０９の当該ブロックと
はテーブルの内容が異なるだけであるので詳細な説明は
省略する。

【００８６】

【数２６】

【００８７】次に図１の階層符号化システムを構成する
階層画像復号化器１０５、１０６を図３を用いて説明す
る。図３は本発明（請求項２）の画像復号化装置の構成
例に相当する階層画像復号化器１０５、１０６の構成図
である。

【００８８】図３において、３０１はデマルチプレク
サ、３０２は輝度プレーン誤差復号化器、３０３はαプ
レーン誤差復号化器、３０４は予測符号復号化器、３０
５は変形合成器、３０６、３０７は加算器、３０８、３
０９はフレーム遅延器である。デマルチプレクサ３０１
の入力には、輝度誤差、α誤差、アフィン変換パラメー
タと縦横１８×２２個に分割されたブロックについての
移動ベクトルから構成される変形パラメータが多重され
ている。これらは分離されて各々輝度プレーン誤差復号
化器３０２、αプレーン誤差復号化器３０３、予測符号
復号化器３０４に出力される。

【００８９】ここで輝度プレーン誤差復号化器３０２、
αプレーン誤差復号器３０３、変形合成器３０５は各々
図２の輝度プレーン復号化器２０８、αプレーン復号化
器２０９、変形合成器２０２と全く同じ動作を行なう。
以上、図１の階層符号化を構成する階層符号化器１０
１、１０２、階層復号化器１０５、１０６の構成が各々
図２、図３から成っているとした第１の実施例を説明し
た。本実施例ではテンプレートは逐次フレーム間符号化
として更新されていく点に特徴がある。テンプレートの
中で透過度の差分は多値の波形情報としてこれを変換符
号化とした。αプレーンを独立に符号化することによ
り、後述の第２の実施例とは異なり、曇りガラスなどの
半透明の物体の動画像を扱うことができる。画像を階層
化しているため、前景または背景がアフィン変換パラメ
ータのみで記述できる場合が増える。

【００９０】この場合、アフィン変換パラメータのみ伝
送しブロック移動成分、他の輝度誤差画像、αプレーン
誤差画像を符号化する必要がないため符号化効率が大き
く向上する。また物体が変形してアフィン変換パラメー
タで記述できない場合は、ブロック移動成分、他の輝度
誤差画像、αプレーン誤差画像でテンプレートが更新さ
れるために大きな画質劣化が生じない。

【００９１】ところでアフィンパラメータ演算部５０４
で行なった式１９〜式２１の演算は画像全体で行なう必
要はない。推定されているアフィン変換パラメータから
式１４を用いて誤差値の大きなブロックを除外して推定
することにより、１８×２２個のに分割されたブロック
集合全体ではなく多数のブロックの動きに対して整合性
のとれたアフィン変換パラメータを推定することができ
る。これにより、テンプレート修正のためのブロック移
動成分、他の輝度誤差画像、αプレーン誤差画像の符号
化を局所的にすることも可能になる。また本実施例で
は、ブロック相関の計算をＳＡＤとしたが２乗誤差和
（ＳＳＤ）、相関係数などの他の評価尺度を用いること
も可能である。

【００９２】次に本発明（請求項３、４）の第２の実施
例を、以下に図１、図１１、図１３、図１４、図１５、
図１６、図１７を用いて説明する。第２の実施例におい
ても、階層画像符号化システムの構成は図１と同じであ
る。図１における階層画像符号化器１０１、１０２は本
実施例では、図１３の構成をとる。また階層画像復号化
器１０５、１０６の構成は図１４の構成をとることが第
１の実施例と異なる。ここで、図１３は第３の発明の構
成例、図１４は第４の発明の構成例に相当する。

【００９３】図１３において、１３０１は変形分析器、
１３０２は変形合成器、１３０３は輝度・α分離部、１
３０４は輝度・α重畳部、１３０５はフレーム遅延器、
１３０６は差分器、１３０７は加算器、１３０８は輝度
・α重畳誤差符号化器、１３０９は予測符号符号化器、
１３１０は輝度・α重畳誤差符号化器、１３１１はマル
チプレクサである。図１３の構成は図２に示した階層符
号化器の構成と基本的に同じである。

【００９４】図１３を構成する各ブロックの中で、変形
分析器１３０１、フレーム遅延器１３０５、差分器１３
０６、加算器１３０７、予測符号化器１３０９の動作は
図２の同名称ブロックと全く同じ動作を行なう。第１の
実施例では、輝度プレーンとαプレーンを個別に符号化
したが、本実施例では輝度・α重畳部１３０４におい
て、図１１に示すようにαの値により不透明領域では輝
度値を透明領域では適当な負値（−１０）を重畳してい
る。これを式２７に示す。

【００９５】

【数２７】

【００９６】これにより透過度の情報が重畳された輝度
画像が生成される。輝度・α分離部１３０３では、逆に
式２８、式２９により重畳された輝度情報から輝度とα
が分離される。

【００９７】

【数２８】

【００９８】

【数２９】

【００９９】式２７における定数−１０は符号化／復号
化に伴う量子化誤差によっても式２８、式２９で輝度・
α分離が行なえるよう考慮して設定した値である。変形
合成器１３０２の動作は図２における変形合成器２０２
と扱う画像が輝度・α重畳画像である点を除き、ほぼ同
じである。その構成を図１５に示す。

【０１００】図１５は変形合成器１３０２、１４０５の
構成図であって、１５０１は輝度・αメモリ、１５０２
はデマルチプレクサ、１５０３はアフィン変換部、１５
０４はアフィン変換画像メモリ、１５０５は画像ブロッ
ク変形部である。変形合成器１３０２は、アフィン変換
パラメータと縦横１８×２２個に分割されたブロックに
ついてその平行移動成分で構成された対応情報（変形パ
ラメータ）を入力として動作する。輝度・αメモリ１５
０１は輝度・α重畳画像をバッファリングすためのメモ
リである。図１５の他のブロックの動作は、図６の同名
称ブロックと同じなので省略する。

【０１０１】次に図１３における輝度・α重畳誤差符号
化器１３０８の説明を以下に行なう。図１６は輝度・α
重畳誤差符号化器１３０８の構成図で１６０１は領域境
界判定部、１６０２、１６０９はスイッチ、１６０３は
ＤＣＴ演算部、１６０４は量子化部、１６０５は可変長
符号化部、１６０６はハール変換演算部、１６０７は量
子化部、１６０８は可変長符号化部、１６１０はマルチ
プレクサである。領域境界判定部１６０１は（表１）に
示す制御と切替え情報ビットの出力を行なう。

【０１０２】

【表１】

【０１０３】８×８のブロック内の全てαの値が１とな
る物体内領域では図７で説明した輝度プレーン誤差符号
化器２０６の動作を行ない、８×８のブロック内で少な
くとも１つのαの値が０となる輪郭領域では図８で説明
したαプレーン誤差符号化器２０７の動作を行なう。

【０１０４】図１６と図７、図８で同名称のブロックの
動作は同じである。図１６における量子化部１６０７と
可変長符号化部１６０８は輝度を重畳されている輪郭周
辺の多値パターンを符号化するために、量子化部８０
２、可変長符号化部８０３とは量子化テーブルとハフマ
ンテーブルが若干変更されている点が異なる。以上の構
成によりマルチプレクサ１６１０より変換符号と切替え
情報ビットが多重されて出力される。

【０１０５】一般に輝度情報に対しては、ＤＣＴがハー
ル変換に比べて符号化効率で優れているが、急峻なエッ
ジを含む領域ではモスキートノイズと呼ばれる波紋が生
じる。これは輪郭周辺のα値の再現には好ましくない。
そこで、輪郭周辺部では、上記モスキートノイズが発生
しないハール変換を用いた。

【０１０６】次に前記した輝度・α重畳誤差符号化器１
３０８に対応した輝度・α誤差復号化器１３１０、１４
０２の構成を図１７を用いて説明する。図１７は輝度・
α重畳誤差復号化器１３１０、１４０２の構成図であっ
て１７０１はデマルチプレクサ、１７０２は切替え制御
部、１７０３、１７１０はスイッチ、１７０４は可変長
復号化部、１７０５は逆量子化部、１７０６は逆ＤＣＴ
演算部、１７０７は可変長復号化部、１７０８は逆量子
化部、１７０９は逆ハール変換演算部である。切替え制
御部１７０２はデマルチプレクサ１７０１により分離さ
れた切替え情報ビットにより（表１）に対応してスイッ
チ１８０３、１７１０をビットが１であれば逆ＤＣＴ演
算部１７０６が選択されるように、０であれば逆ハール
変換１７０９が選択されるように制御する。図１７、図
９、図１０に示した同名称ブロックの動作は同じであ
る。

【０１０７】図１７における可変長復号化部１７０７と
逆量子化部１７０８とは各々図１６における量子化部１
６０７と可変長符号化部１６０８とに対応した逆処理を
行なう。

【０１０８】次に図１４を用いて図１における階層画像
復号化器１０５、１０６の構成を説明する。図１４にお
いて、１４０１はデマルチプレクサ、１４０２は輝度・
α重畳誤差復号化器、１４０３は予測符号復号化器、１
４０４は加算器、１４０５は変形合成器、１４０６はフ
レーム遅延器、１４０７は輝度α分離部である。デマル
チプレクサ１４０１は図１３の構成からなる階層画像符
号化器１０１、１０２の出力を受けて、変形パラメータ
と輝度・α誤差画像のビット系列を分離する。分離され
たデータは各々輝度・α重畳誤差復号化器１４０２と予
測符号復号化器１４０３へ出力される。予測符号復号化
器１４０３ではアフィン変換パラメータと縦横１８×２
２のブロックの動きベクトルを出力する。他のブロック
の動作は図１３で述べた同名のブロックと同じである。

【０１０９】以上第２の実施例を説明した。第２の実施
例では、第１の実施例とは異なり、αプレーンの情報は
［０，１］の多値から２値へ縮退する。その代わり、α
プレーンの情報を輝度プレーンに重畳することにより、
テンプレートの変形を輝度情報の差分として扱うことを
可能にしている。本実施例では、式２７に示すように透
明領域の輝度値を−１０としたが、不透明領域の輝度が
２５５に近い場合、物体の輪郭には輝度の大きな不連続
が生じ、符号量が増えることが予想される。この場合、
輝度・α重畳部１３０４の動作を適応的に式２７または
式３０とし、更に輝度・α分離部１３０３、１４０７の
動作を式３１と３２に変更する拡張も容易である。

【０１１０】

【数３０】

【０１１１】

【数３１】

【０１１２】

【数３２】

【０１１３】また、本実施例で扱う輝度をベクトルに拡
張して、αプレーン情報の輝度プレーンへの重畳をベク
トル空間で行なうことも考えられる。例えば、３原色ま
たは輝度と色差信号で構成される３次元色ベクトルｃを
考えてみる。この色ベクトルの平均ｃ￣と分散Σを計算
し、式３３に示すように分散Σで正規化されたｃ−ｃ￣
の２次形式の値域Ｔｈを計算する。

【０１１４】

【数３３】

【０１１５】一つのテンプレートについて式３３のＴｈ
を求め、分散、平均ベクトル、値域Ｔｈのデータを付随
させておくと、式３４のように２次形式の値が閾値より
大きくなる任意のベクトルｅを用いてαプレーンの情報
を重畳することができる。

【０１１６】

【数３４】

【０１１７】この分離は式３５、式３６で行なえる。

【０１１８】

【数３５】

【０１１９】

【数３６】

【０１２０】これによれば、分離された輝度画像で物体
輪郭の近くで生じるステップエッジの強さを軽減するこ
とができる。

【０１２１】次に本発明（請求項５、６）の第３の実施
例を、以下に図１８、図１９を用いて説明する。図１８
は本発明（請求項５）の構成例に相当する画像符号化装
置の構成図で、１８０１は前景メモリ、１８０２は背景
メモリ、１８０３は前景分離器、１８０４、１８０５は
階層画像符号化器、１８０６はマルチプレクサ、１８０
７はデマルチプレクサ、１８０８、１８０９は階層画像
復号化器、１８１０は階層画像合成器、１８１１は予測
画像メモリ、１８１２は差分器、１８１３は輝度プレー
ン誤差符号化器、１８１４はマルチプレクサである。

【０１２２】図１９は本発明（請求項６）の構成例に相
当する画像復号化装置の構成図で、１９１１、１９１２
はデマルチプレクサ、１９１３、１９１４は階層画像復
号化器、１９１５は階層画像合成器、１９１６は予測画
像メモリ、１９１７は輝度プレーン誤差復号化器、１９
１８は加算器である。以上のブロック中、階層画像符号
化器１８０４、１８０５、マルチプレクサ１８０６、デ
マルチプレクサ１８０７、１９１２、階層画像復号化器
１８０８、１８０９、１９１３、１９１４、階層画像合
成器１８１０、１９１５には第１あるいは第２の実施例
における図１の同名ブロックを用いる。また輝度プレー
ン誤差符号化器１８１３には図２の輝度プレーン誤差符
号化器２０７、輝度プレーン誤差復号化器１９１７には
図２の輝度プレーン誤差復号化器２０８を用いる。

【０１２３】以上の様に構成された画像符号化装置と画
像復号化構成装置では、背景画像を背景画像を予め撮影
しておき背景画像メモリ１８０２に蓄えておく。前景分
離器１８０３では式３７によりα値を決定することによ
り前景を分離する。

【０１２４】

【数３７】

【０１２５】式３７において、ｇはカメラ入力の輝度
値、ｇ_bは背景メモリの輝度値、Ｔは実験的に定めるし
きい値［０，１］である。結果は前景メモリ１８０１に
入力される。この後、階層画像は各々第１の実施例ある
いは第２の実施例で述べた処理を経て処理結果は予測画
像メモリ１８１１に出力される。

【０１２６】今までに述べた２つの実施例では、これを
再構成された画像の出力としていたが、本実施例では、
さらに予測画像メモリ１８１１の出力と原画像との差分
を差分器１８１２より求めてこれを誤差符号化し符号結
果をマルチプレクサ１８１４より多重して出力する。こ
の出力の復号はデマルチプレクサ１９１１を経て一方は
デマルチプレクサ１９１２に送られ第１及び第２の従来
例と同じ処理を経る。他方は輝度プレーン誤差復号化器
１９１７を経て加算器１９１８へ送られる。加算器１９
１８では階層画像合成器１９１５より再合成された予測
画像と前述の誤差画像が加算され画像データが出力され
る。本実施例では、前景分離が成功し、前景の物体がア
フィン変換パラメータで記述できる動きを行なった場
合、第１および第２の実施例と同じく高い符号化効率を
得ることができる。加えて階層画像の合成結果の誤差符
号化を行なうことにより、前景分離の結果に誤りが含ま
れている場合やテンプレートの更新が符号化量の制限な
どにより、不良であった場合でも、視覚劣化の少ないな
い画像の伝送記録が行える。

【０１２７】次に本発明（請求項７、８）の第４の実施
例を、以下に図２０、図２１、図２２および図１、図
５、図１３、図１４を用いて説明する。第２の実施例と
同じく本実施例でも階層画像は輝度と透過度が重畳され
た形式で保持されている（式２７参照）。本実施例では
予め第２の実施例に用いた図１３および図１４記載の階
層画像符号化器と階層画像復号化器を用いて複数テンプ
レートの伝送記録を行なう。

【０１２８】図２２は多重テンプレートによる階層画像
符号化の概念図である。図２２中テンプレートＡおよび
テンプレートＢと示した画像は第２の実施例における階
層画像符号化器と階層画像復号化器を直接接続すること
により得られている。テンプレートは数フレームまたは
数十フレームに一つ選ばれて伝送される。その結果、テ
ンプレートの符号化はテンプレート間の相関を利用した
「テンプレート間符号化」として実現されることにな
り、効率の良いテンプレート伝送が行なえる。

【０１２９】図２０は本発明（請求項７）の一実施例の
画像符号化装置の構成図で、２００１はアフィン変換係
数演算部、２００２は輝度・α分離部、２００３はテン
プレート格納メモリ、２００４はアフィン距離最短テン
プレート決定部、２００５は予測符号符号化器、２００
６はマルチプレクサである。

【０１３０】図２１は本発明（請求項８）の一実施例の
画像復号化装置の構成図で、２１０１はデマルチプレク
サ、２１０２は予測符号符号化器、２１０３はテンプレ
ート読み出し回路、２１０４は格納メモリ、２１０５は
アフィン変換部、２１０６は輝度・α重畳部である。前
景、背景のテンプレート伝送後、図２０に示した階層画
像符号化器は図１の階層画像符号化器１０１、１０２と
して、図２１に示した階層画像復号化器は図１の階層画
像復号化器１０５、１０６として用いられる。

【０１３１】伝送済みのテンプレートは各々符号化側と
復号化側でテンプレートメモリ２００３、２１０４に同
じ識別子を付して記憶される。アフィン変換係数演算部
２００１は、図５で説明したアフィン変換係数演算部４
０８の動作に加えて、得られたアフィン変換係数から式
１５により各ブロックの偏位を計算し、各ブロックの偏
位を式１４に代入し各ブロックの誤差和を求め近似誤差
としてアフィン距離最短テンプレート決定部２００４へ
出力する。アフィン距離最短テンプレート決定部２００
４は得られた近似誤差の中から最小のテンプレートを選
択し、その識別子とともに変形パラメータを出力する。

【０１３２】予測符号符号化器はアフィン変換パラメー
タを符号化する。マルチプレクサ２００６では符号化さ
れたアフィン変換パラメータとテンプレートの識別子を
多重し階層画像符号化器の出力ビットストリームを生成
する。復号側では入力ビットストリームはデマルチプレ
クサ２１０１により分離され、予測符号復号化器２１０
２ではアフィン変換パラメータが復号される。テンプレ
ート読み出し回路２１０３は入力されたテンプレート識
別子に対応するテンプレートを読み出しアフィン変換部
２１０５へ出力する。アフィン変換部２１０５の処理は
図４におけるアフィン変換部４０７と同じである。また
輝度・α分離部２００２、２１０６の動作は図１３、図
１４における輝度・α分離部１３０３、１４０７の動作
と同じである。

【０１３３】以上の処理に従うと、図２２に示すよう
に、アフィン変換で近似できるテンプレートを基に画像
を伝送することができることから、非常に少ない符号量
で画像を伝送することができる。特に、使用するテンプ
レートは時間の順序に依存せず選べることから高い効率
が期待できる。また従来例のように単一のテンプレート
から画像を合成するのではなく、複数のテンプレートを
選択的に使用することから、画像が不規則な変形をもつ
場合にも対応できる。なお、ここで用いた変換はアフィ
ン変換に限定せずとも、式２２に示す平面物体の変形な
ど、一般の多項式による変形記述を利用することができ
る。またテンプレートの扱いは第２の実施例に準じた
が、これを第１の実施例で用いたテンプレートに変更し
ても良い。

【０１３４】

【発明の効果】第１の発明の画像符号化装置および第２
の発明の画像復号化装置によれば、物体の輝度と透過度
から構成される参照画像（テンプレート）の変形をテン
プレート間の対応による予測と予測結果に対する差分と
して扱うことができる。

【０１３５】第３の発明の画像符号化装置および第４の
発明の画像復号化装置によれば、物体の輝度と透過度を
重畳して輝度画像として扱うことにより従来の高能率符
号化技術を適用することができ、効率良くテンプレート
の変形を扱うことができる。

【０１３６】第５の発明の画像符号化装置および第６の
発明の画像復号化装置によれば、階層画像の合成を最終
結果とはせずに予測画像とし、この予測画像と原画像と
の差分を伝送記録することにより前景・背景分離処理に
に誤りがあっても画像を大きな視覚劣化なく伝送記録す
ることができる。

【０１３７】第７の発明の画像符号化装置および第８の
発明の画像復号化装置によれば、複数テンプレートを予
め伝送し、入力画像に対する最小歪みテンプレートを時
間順序に関係なく逐次選択し、選択されたテンプレート
の変形により画像系列を再現することから非常に高い効
率で画像を伝送することができる。

【０１３８】第９の発明の動きベクトル検出装置は、輝
度と透過度から構成される画像の対応問題を輝度と透過
度の情報が重畳された輝度画像の対応問題として扱うこ
とができる。これにより、輝度と透過度の両方を考慮し
た対応結果すなわち動きベクトルを得ることができる。

【０１３９】また、第１０の発明の動きベクトル検出装
置は、画像間の対応を位置を変数とした多項式近似する
時、一度動きベクトルを求めてから２段階に多項式近似
するのではなく、部分領域対応の誤差関数から直接求め
ることができ、雑音に頑健な動きベクトル推定が行なえ
る。

【０１４０】物体投影像を前後関係で分離し個別に符号
化する階層符号化は、領域の異なる動きや隠蔽されてい
た領域が出現するなどにより発生する符号量を減らすこ
とができ、高い効率の符号化特性が期待される。近年、
クロマキーで生成した階層画像やコンピュータグラフィ
ックスが画像の合成に多用されることから階層符号化の
産業的価値は高い。以上に述べた発明によれば、階層画
像符号化に必要な、不規則な変形をもつ輝度と透過度の
画像の効率的な符号化とこれに関連したる動きベクトル
の頑健な推定を行なうことができ、その効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例における階層符号化システム
の構成図

【図２】第１の実施例における階層画像符号化器の構成
図

【図３】第１の実施例における階層画像復号化器の構成
図

【図４】本実施例の変形分析器の構成図

【図５】本実施例のアフィン変換係数演算部の構成図

【図６】本実施例の変形合成器の構成図

【図７】本実施例の輝度プレーン誤差符号化器の構成図

【図８】本実施例のαプレーン誤差符号化器の構成図

【図９】本実施例の輝度プレーン誤差復号化器の構成図

【図１０】本実施例のαプレーン誤差復号化器の構成図

【図１１】本実施例の輝度・α重畳部の動作を示す図

【図１２】本実施例のブロック相関図

【図１３】本発明の第２の実施例における階層画像符号
化器の構成図

【図１４】第２の実施例における階層画像復号化器の構
成図

【図１５】本実施例の変形合成器の構成図

【図１６】本実施例の輝度・α重畳誤差符号化器の構成
図

【図１７】本実施例の輝度・α重畳誤差復号化器の構成
図

【図１８】第３の実施例における画像符号化装置の構成
図

【図１９】第３の実施例における画像復号化装置の構成
図

【図２０】第４の実施例における階層画像符号化器の構
成図

【図２１】第４の実施例における階層画像復号化器の構
成図

【図２２】本実施例の多重テンプレートによる階層画像
符号化の概念図

【図２３】従来の階層画像符号化の概念図

【符号の説明】

１０１、１０２階層画像符号化器１０３マルチプレクサ１０４デマルチプレクサ１０５、１０６階層画像復号化器１０７階層画像合成器２０１変形分析器２０２変形合成器２０３、２０４差分器２０５予測符号符号化器２０６輝度プレーン誤差符号化器２０７ αプレーン誤差符号化器２０８輝度プレーン誤差復号化器２０９ αプレーン誤差復号化器２１０マルチプレクサ２１１、２１２加算器２１３、２１４フレーム遅延器３０１デマルチプレクサ３０２輝度プレーン誤差復号化器３０３ αプレーン誤差復号化器３０４予測符号復号化器３０５変形合成器３０６、３０７加算器３０８、３０９フレーム遅延器４０１、４０２輝度画像メモリ４０３、４０４ α画像メモリ４０５、４０６輝度・α重畳部４０７アフィン変換部４０８アフィン変換係数演算部４０９アフィン変換画像メモリ４１０ブロック相関演算部４１１マルチプレクサ５０１ブロック相関演算部５０２ＳＡＤ局面近似部５０３誤差関数パラメータ格納メモリ５０４アフィン変換パラメータ演算部６０１輝度画像メモリ６０２ α画像メモリ６０３デマルチプレクサ６０４、６０５アフィン変換部６０６、６０７アフィン変換画像メモリ６０８、６０９画像ブロック変形部７０１ＤＣＴ演算部７０２量子化部７０３可変長符号化部８０１ハール変換演算部８０２量子化部８０３可変長符号化部９０１可変長復号化部９０２逆量子化部９０３逆ＤＣＴ演算部１００１可変長復号化部１００２逆量子化部１００３逆ハール変換演算部１３０１変形分析器１３０２変形合成器１３０３輝度・α分離部１３０４輝度・α重畳部１３０５フレーム遅延器１３０６差分器１３０７加算器１３０８輝度・α重畳誤差符号化器１３０９予測符号符号化器１３１０輝度・α重畳誤差符号化器１３１１マルチプレクサ１４０１デマルチプレクサ１４０２輝度・α重畳誤差復号化器１４０３予測符号復号化器１４０４加算器１４０５変形合成器１４０６フレーム遅延器１４０７輝度α分離部１５０１輝度・αメモリ１５０２デマルチプレクサ１５０３アフィン変換部１５０４アフィン変換画像メモリ１５０５画像ブロック変形部１６０１領域境界判定部１６０２、１６０９スイッチ１６０３ＤＣＴ演算部１６０４量子化部１６０５可変長符号化部１６０６ハール変換演算部１６０７量子化部１６０８可変長符号化部１６１０マルチプレクサ１７０１デマルチプレクサ１７０２切替え制御部１７０３、１７１０スイッチ１７０４可変長復号化部１７０５逆量子化部１７０６逆ＤＣＴ演算部１７０７可変長復号化部１７０８逆量子化部１７０９逆ハール変換演算部１８０１前景メモリ１８０２背景メモリ１８０３前景分離器１８０４、１８０５階層画像符号化器１８０６マルチプレクサ１８０７デマルチプレクサ１８０８、１８０９階層画像復号化器１８１０階層画像合成器１８１１予測画像メモリ１８１２差分器１８１３輝度プレーン誤差符号化器１８１４マルチプレクサ１９１１、１９１２デマルチプレクサ１９１３、１９１４階層画像復号化器１９１５階層画像合成器１９１６予測画像メモリ１９１７輝度プレーン誤差復号化器１９１８加算器２００１アフィン変換係数演算部２００２輝度・α分離部２００３テンプレート格納メモリ２００４アフィン距離最短テンプレート決定部２００５予測符号符号化器２００６マルチプレクサ２１０１デマルチプレクサ２１０２予測符号符号化器２１０３テンプレート読み出し回路２１０４格納メモリ２１０５アフィン変換部２１０６輝度・α重畳部

Claims

【特許請求の範囲】

【請求項１】物体の輝度と透過度から構成される画像の
系列を入力として、輝度と透過度から構成される参照画
像から部分領域間の対応により符号化対象画像の輝度と
透過度の画像を予測する予測手段と、前記予測手段にお
ける部分領域間の対応を予測符号として符号化する予測
符号化手段と、前記予測画像と前記符号化対象画像との
輝度と透過度の差分を誤差画像として求める誤差演算手
段と、前記誤差画像を誤差画像符号として符号化する誤
差符号化手段とを有し、画像系列を前記参照画像に対す
る誤差画像符号、予測符号として伝送記録することを特
徴とする画像符号化装置。
【請求項２】請求項１記載の画像符号化装置と同じ参照
画像を保持し、前記画像符号化装置の出力を復号するた
めの装置であって、予測符号より部分領域間の対応を復
号化する予測符号復号化手段と、前記部分領域間の対応
より、参照画像から予測画像を生成する予測画像生成手
段と、誤差画像符号より誤差画像を復号化する誤差画像
復号化手段と、前記予測画像と前記誤差画像を加算して
輝度と透過度からなる画像を得る加算手段とを有し、前
記予測画像生成手段あるいは前記加算手段の出力として
輝度と透過度から構成される画像を復号化することを特
徴とする画像復号化装置。
【請求項３】物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の２つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳手段を有
し、前記輝度と透過度の情報が重畳された輝度画像を符
号化することを特徴とする画像符号化装置。
【請求項４】請求項３記載の画像符号化装置の出力を復
号するための装置であって、輝度値が値域外の値である
場合は透明領域、値域内の場合は輝度値として画像を透
過度画像と輝度画像に分離する分離手段を有し、輝度と
透過度の画像を復号化することを特徴とする画像復号化
装置。
【請求項５】原画像が輝度に加えて視線軸上の前後関係
と領域の透過度より階層的に表現されるとき、この階層
化された複数の画像を入力として、各階層画像毎に輝度
と透過度とを階層画像符号として符号化する階層画像符
号化手段と、前記階層画像符号化手段の結果から復号さ
れた前記階層画像を求める階層画像画像復号化手段と、
前記復号された複数の階層画像をその前後関係、輝度お
よび透過度により合成する合成手段と、前記原画像と前
記合成画像との誤差画像を求め、これを符号化する誤差
画像符号化手段を有し、前記原画像を複数の階層画像符
号と原画像との誤差符号によって伝送記録することを特
徴とする画像符号化装置。
【請求項６】請求項５記載の画像符号化装置の出力を復
号するための装置であって、複数の階層画像符号から輝
度、透過度、視線軸上の前後関係からなる階層画像を復
号化する階層画像復号化手段と、前記階層画像により合
成画像を生成する合成手段と、誤差符号より誤差画像を
復号化する誤差画像復号化手段を有し、前記合成画像に
誤差画像を加えることにより画像を復号化することを特
徴とする画像復号化装置。
【請求項７】複数の参照画像を予め伝送記録する参照画
像符号化手段と、入力画像と前記複数の参照画像との間
で輝度が対応する位置の偏位すなわち変形を画面上の位
置を変数とする多項式関数として近似し、近似誤差を求
める画像間対応近似手段と、近似誤差の小さな参照画像
を前記複数の参照画像の中から求め、選ばれた参照画像
の識別子と多項式関数の係数を出力する最小歪み参照画
像選択手段とを有し、前記参照画像符号化手段により複
数の参照画像を符号化するとともに、入力画像系列を少
なくとも前記選ばれた参照画像に対する識別子と前記多
項式関数の係数として伝送記録することを特徴とする画
像符号化装置。
【請求項８】請求項７記載の画像符号化装置の出力を復
号するための装置であって、複数の参照画像を予め再構
成しておく参照画像復号化手段と、前記複数の参照画像
から入力に含まれる参照画像に対する識別子に対応する
参照画像を選択する参照画像選択手段と、画像の変形を
画面上の位置を変数とする多項式関数を入力に含まれる
多項式関数の係数を基に決定し、前記多項式関数により
前記選択された参照画像変形する参照画像変形手段とを
有し、前記参照画像変形手段により変形された参照画像
を用いて画像を復号化することを特徴とする画像復号化
装置。
【請求項９】物体の輝度と透過度から構成される複数の
画像を入力として、透過度を所定の値の加算乗算と必要
に応じてしきい値処理を行ない値域を変換し、変換した
値を輝度に加算して輝度と透過度の情報が重畳された輝
度画像を生成する重畳手段と、輝度の相関により２つの
画像の部分領域の対応を得る画像分析手段とを有し、前
記重畳手段により、輝度と透過度から構成される画像
を、輝度だけで構成される画像に変換し、変換された複
数の画像間で前記画像分析手段を用いて部分領域の対応
を得ることを特徴とする動きベクトル検出装置。
【請求項１０】画面上の任意の位置の動きベクトルをそ
の位置を変数とする多項式関数として表現する装置であ
って、画像を分割して得られる複数の部分領域につい
て、異なる２つの画像の部分領域の対応を誤差として演
算し、最小誤差となる前記部分領域間の偏位とその近傍
の誤差値を求める誤差演算手段と、前記最小誤差となる
偏位とその近傍の誤差値から偏位を変数とする２次の誤
差関数を求める誤差関数演算手段と、前記２次誤差関数
の総和あるいは部分和を、多項式関数の係数を変数とし
て表現し、この総和あるいは部分和の最小化を係数につ
いて行なう最適化手段を有し、異なる画像間の動きベク
トルを多項式関数の係数として出力することを特徴とす
る動きベクトル検出装置。