JP2001231049A - 動画像復号化装置および動画像復号化方法 - Google Patents
動画像復号化装置および動画像復号化方法Info
- Publication number
- JP2001231049A JP2001231049A JP2001002847A JP2001002847A JP2001231049A JP 2001231049 A JP2001231049 A JP 2001231049A JP 2001002847 A JP2001002847 A JP 2001002847A JP 2001002847 A JP2001002847 A JP 2001002847A JP 2001231049 A JP2001231049 A JP 2001231049A
- Authority
- JP
- Japan
- Prior art keywords
- image
- circuit
- motion compensation
- compensation prediction
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】背景とオブジェクトを分離して符号化する任意
形状画像の符号化の場合に解像度と画質を可変とする符
号化方式における復号化装置を得る。 【解決手段】変換係数領域での動き補償予測が用られる
変換符号化により符号化された画像を復号化するための
復号化装置であって、符号化された入力画像とこの入力
画像中の１つ以上のオブジェクトを識別するためのアル
ファマップ信号と動き補償予測のための動きベクトル情
報とを用い、前記アルファマップ信号にしたがって前記
符号化入力画像の任意形状画像を逆変換することによ
り、任意形状画像を再生するようにし、その任意形状画
像の動ベクトル情報より当該任意形状画像の動き補償予
測を行うようにした動画像復号化装置において、画像を
背景および各オブジェクト別に動き補償予測するため
に、これら背景および各オブジェクト別に、各々対応す
るフレームメモリ621〜623を有することを特徴とする。
形状画像の符号化の場合に解像度と画質を可変とする符
号化方式における復号化装置を得る。 【解決手段】変換係数領域での動き補償予測が用られる
変換符号化により符号化された画像を復号化するための
復号化装置であって、符号化された入力画像とこの入力
画像中の１つ以上のオブジェクトを識別するためのアル
ファマップ信号と動き補償予測のための動きベクトル情
報とを用い、前記アルファマップ信号にしたがって前記
符号化入力画像の任意形状画像を逆変換することによ
り、任意形状画像を再生するようにし、その任意形状画
像の動ベクトル情報より当該任意形状画像の動き補償予
測を行うようにした動画像復号化装置において、画像を
背景および各オブジェクト別に動き補償予測するため
に、これら背景および各オブジェクト別に、各々対応す
るフレームメモリ621〜623を有することを特徴とする。
Description
【０００１】
【発明の属する技術分野】本発明は、画像信号を高能率
に符号化し伝送・蓄積する、画像符号化・復号化装置、
特に、多階層に解像度や画質を可変可能なスケーラブル
符号化の可能なスケーラビリティ機能を有する動画像復
号化装置および復号化方法に関する。
に符号化し伝送・蓄積する、画像符号化・復号化装置、
特に、多階層に解像度や画質を可変可能なスケーラブル
符号化の可能なスケーラビリティ機能を有する動画像復
号化装置および復号化方法に関する。
【０００２】
【従来の技術】画像信号は膨大な情報量を持つため、伝
送や蓄積に供する場合には圧縮符号化するのが一般的で
ある。画像信号を高能率に符号化するには、フレーム単
位の画像を、所要画素数単位でブロック分けし、その各
ブロック毎に直交変換して画像の持つ空間周波数を各周
波数成分に分離し、変換係数として取得してこれを符号
化する。
送や蓄積に供する場合には圧縮符号化するのが一般的で
ある。画像信号を高能率に符号化するには、フレーム単
位の画像を、所要画素数単位でブロック分けし、その各
ブロック毎に直交変換して画像の持つ空間周波数を各周
波数成分に分離し、変換係数として取得してこれを符号
化する。
【０００３】ところで、画像符号化の機能として、ビッ
トストリームを部分的に復号することで、画質（ＳＮ
Ｒ； Signal to Noise Ratio）、空間解像度、時間解像
度を段階的に可変とすることを可能にするスケーラビリ
ティの機能が要求されている。
トストリームを部分的に復号することで、画質（ＳＮ
Ｒ； Signal to Noise Ratio）、空間解像度、時間解像
度を段階的に可変とすることを可能にするスケーラビリ
ティの機能が要求されている。
【０００４】ＩＳＯ／ＩＥＣにおいて標準化されたメデ
ィア統合系動画像符号化標準であるＭＰＥＧ２のビデオ
パート（ＩＳ１３８１８‐２）にも、スケーラビリティ
の機能が取り入れられている。
ィア統合系動画像符号化標準であるＭＰＥＧ２のビデオ
パート（ＩＳ１３８１８‐２）にも、スケーラビリティ
の機能が取り入れられている。
【０００５】このスケーラビリティは、図１６、図１７
に示されるような階層的な符号化法により実現される。
図１６は、ＳＮＲスケーラビリティの場合でのエンコー
ダ（符号化装置）の構成例とデコーダ（復号化装置）の
構成例を、また、図１７は、空間スケーラビリティの場
合でのエンコーダの構成例とデコーダの構成例をそれぞ
れ示したものである。
に示されるような階層的な符号化法により実現される。
図１６は、ＳＮＲスケーラビリティの場合でのエンコー
ダ（符号化装置）の構成例とデコーダ（復号化装置）の
構成例を、また、図１７は、空間スケーラビリティの場
合でのエンコーダの構成例とデコーダの構成例をそれぞ
れ示したものである。
【０００６】図１６、図１７において、Ｄは遅延手段で
あって、ベースレイヤ（下位階層）からの予測値が得ら
れるまでの遅延を与えるためのものであり、ＤＣＴは離
散コサイン変換（直交変換）を行う手段、Ｑは量子化を
行う量子化器、ＩＱは逆量子化を行う逆量子化器、ＩＤ
ＣＴは逆ＤＣＴを行う手段、ＦＭはフレームメモリ、Ｍ
Ｃは動き補償予測を行う手段、ＶＬＣは可変長符号化を
行う手段、ＶＬＤは可変長復号化を行う手段、ＤＳはダ
ウンサンプリングする手段、ＵＳはアップサンプリング
を行う手段、ｗは重み付けパラメータ（０，０．５，
１）をそれぞれ示している。
あって、ベースレイヤ（下位階層）からの予測値が得ら
れるまでの遅延を与えるためのものであり、ＤＣＴは離
散コサイン変換（直交変換）を行う手段、Ｑは量子化を
行う量子化器、ＩＱは逆量子化を行う逆量子化器、ＩＤ
ＣＴは逆ＤＣＴを行う手段、ＦＭはフレームメモリ、Ｍ
Ｃは動き補償予測を行う手段、ＶＬＣは可変長符号化を
行う手段、ＶＬＤは可変長復号化を行う手段、ＤＳはダ
ウンサンプリングする手段、ＵＳはアップサンプリング
を行う手段、ｗは重み付けパラメータ（０，０．５，
１）をそれぞれ示している。
【０００７】図１６の（ａ）は符号化のためのエンコー
ダを、そして、図１６の（ｂ）はデコーダの構成例を示
している。エンコーダにおいては、画質の低いレイヤで
あるベースレイヤ（下位階層）と、画質の高いレイヤで
あるエンハンスメントレイヤ（上位階層）に別れてい
る。
ダを、そして、図１６の（ｂ）はデコーダの構成例を示
している。エンコーダにおいては、画質の低いレイヤで
あるベースレイヤ（下位階層）と、画質の高いレイヤで
あるエンハンスメントレイヤ（上位階層）に別れてい
る。
【０００８】そして、ベースレイヤではＭＰＥＧ１ある
いはＭＰＥＧ２で符号化され、エンハンスメントレイヤ
では、ベースレイヤで符号化されたデータを再現し、元
のデ−タからこの再現されたものを引き、その結果得ら
れる誤差分だけをベースレイヤの量子化ステップ・サイ
ズよりも小さな量子化ステップ・サイズで量子化して符
号化する。すなわち、より細かく量子化して符号化す
る。そして、ベースレイヤ情報にエンハンスメントレイ
ヤの情報を加えることで、精細さを向上させることがで
き、高画質の画像の伝送・蓄積が可能になる。
いはＭＰＥＧ２で符号化され、エンハンスメントレイヤ
では、ベースレイヤで符号化されたデータを再現し、元
のデ−タからこの再現されたものを引き、その結果得ら
れる誤差分だけをベースレイヤの量子化ステップ・サイ
ズよりも小さな量子化ステップ・サイズで量子化して符
号化する。すなわち、より細かく量子化して符号化す
る。そして、ベースレイヤ情報にエンハンスメントレイ
ヤの情報を加えることで、精細さを向上させることがで
き、高画質の画像の伝送・蓄積が可能になる。
【０００９】このように画像をベースレイヤとエンハン
スメントレイヤに分け、ベースレイヤで符号化されたデ
ータを再現し、元のデ−タからこの再現されたものを引
き、その結果得られる誤差分だけをベースレイヤの量子
化ステップ・サイズよりも小さな量子化ステップ・サイ
ズで量子化して符号化することで、高精細な画像の符号
化／復号化できるようにする技術をＳＮＲスケーラビリ
ティという。
スメントレイヤに分け、ベースレイヤで符号化されたデ
ータを再現し、元のデ−タからこの再現されたものを引
き、その結果得られる誤差分だけをベースレイヤの量子
化ステップ・サイズよりも小さな量子化ステップ・サイ
ズで量子化して符号化することで、高精細な画像の符号
化／復号化できるようにする技術をＳＮＲスケーラビリ
ティという。
【００１０】図１６の（ａ）のエンコーダでは、入力画
像をベースレイヤとエンハンスメントレイヤにそれぞれ
入力し、ベースレイヤではこれを前フレームの画像から
得た動き補償予測値との誤差分を得る処理をした後に直
交変換（ＤＣＴ）し、その変換係数を量子化して可変長
復号化し、ベースレイヤ出力とする。また、量子化出力
は、逆量子化した後、逆ＤＣＴし、これに前フレームの
動き補償予測値を加えてフレーム画像を得、このフレー
ム画像から動き補償予測を行い、前フレームの動き補償
予測値とする。
像をベースレイヤとエンハンスメントレイヤにそれぞれ
入力し、ベースレイヤではこれを前フレームの画像から
得た動き補償予測値との誤差分を得る処理をした後に直
交変換（ＤＣＴ）し、その変換係数を量子化して可変長
復号化し、ベースレイヤ出力とする。また、量子化出力
は、逆量子化した後、逆ＤＣＴし、これに前フレームの
動き補償予測値を加えてフレーム画像を得、このフレー
ム画像から動き補償予測を行い、前フレームの動き補償
予測値とする。
【００１１】一方、エンハンスメントレイヤでは入力画
像を、ベースレイヤからの予測値が得られるまでの遅延
を与えたのちに、前フレームの画像から得たエンハンス
メントレイヤでの動き補償予測値との誤差分を得る処理
をし、その後に直交変換し（ＤＣＴ）、その変換係数に
ベースレイヤの逆量子化出力分の補正を加えてからこれ
を量子化して可変長復号化し、エンハンスメントレイヤ
出力とする。また、量子化出力は、逆量子化した後、ベ
ースレイヤにて得た前フレームの動き補償予測値を加え
て逆ＤＣＴし、これにエンハンスメントレイヤで得た前
フレームの動き補償予測値を加えてフレーム画像を得、
このフレーム画像から動き補償予測を行い、エンハンス
メントレイヤでの前フレームの動き補償予測値とする。
像を、ベースレイヤからの予測値が得られるまでの遅延
を与えたのちに、前フレームの画像から得たエンハンス
メントレイヤでの動き補償予測値との誤差分を得る処理
をし、その後に直交変換し（ＤＣＴ）、その変換係数に
ベースレイヤの逆量子化出力分の補正を加えてからこれ
を量子化して可変長復号化し、エンハンスメントレイヤ
出力とする。また、量子化出力は、逆量子化した後、ベ
ースレイヤにて得た前フレームの動き補償予測値を加え
て逆ＤＣＴし、これにエンハンスメントレイヤで得た前
フレームの動き補償予測値を加えてフレーム画像を得、
このフレーム画像から動き補償予測を行い、エンハンス
メントレイヤでの前フレームの動き補償予測値とする。
【００１２】これにより、ＳＮＲスケーラビリティを使
用した動画像の符号化を行うことができる。
用した動画像の符号化を行うことができる。
【００１３】図１６のＳＮＲスケーラビリティは、図で
は２階層で表現しているが、更に階層数を増やすこと
で、様々なＳＮＲの再生画像が得られる。
は２階層で表現しているが、更に階層数を増やすこと
で、様々なＳＮＲの再生画像が得られる。
【００１４】図１６の（ｂ）に示すデコーダでは、それ
ぞれ別個に与えられるエンハンスメントレイヤとベース
レイヤの可変長復号化データを、それぞれ別個に可変長
復号化し、逆量子化してから両者を加え、これを逆ＤＣ
Ｔした後、前フレームの動き補償予測値を加えて画像信
号を復元すると共に、復元した画像信号から得た１フレ
ーム前の画像から動き補償予測を行い、前フレームの動
き補償予測値とする。
ぞれ別個に与えられるエンハンスメントレイヤとベース
レイヤの可変長復号化データを、それぞれ別個に可変長
復号化し、逆量子化してから両者を加え、これを逆ＤＣ
Ｔした後、前フレームの動き補償予測値を加えて画像信
号を復元すると共に、復元した画像信号から得た１フレ
ーム前の画像から動き補償予測を行い、前フレームの動
き補償予測値とする。
【００１５】以上が、ＳＮＲスケーラビリティを採用し
た符号化と復号化の例である。
た符号化と復号化の例である。
【００１６】一方、空間スケーラビリティは、空間解像
度からみたものであり、空間解像度の低いベースレイヤ
と空間解像度の高いエンハンスレイヤに分けて符号化す
る。ベースレイヤは通常のＭＰＥＧ２の符号化方法を使
用して符号化し、エンハンスレイヤではベースレイヤの
画像をアップサンプリング（低解像度画像の画素間に平
均値等の画素を付加し、高解像度画像を作成すること）
してエンハンスレイヤと同じサイズの画像を作成し、エ
ンハンスレイヤの画像からの動き補償予測と、このアッ
プサンプリングされた画像からの動き補償予測とから適
応的に予測をすることで、効率の良い符号化をすること
ができるようにするものであり、エンコーダの構成例は
図１７の（ａ）の如きであり、デコーダの構成例は図１
７の（ｂ）の如きで実現できるものである。
度からみたものであり、空間解像度の低いベースレイヤ
と空間解像度の高いエンハンスレイヤに分けて符号化す
る。ベースレイヤは通常のＭＰＥＧ２の符号化方法を使
用して符号化し、エンハンスレイヤではベースレイヤの
画像をアップサンプリング（低解像度画像の画素間に平
均値等の画素を付加し、高解像度画像を作成すること）
してエンハンスレイヤと同じサイズの画像を作成し、エ
ンハンスレイヤの画像からの動き補償予測と、このアッ
プサンプリングされた画像からの動き補償予測とから適
応的に予測をすることで、効率の良い符号化をすること
ができるようにするものであり、エンコーダの構成例は
図１７の（ａ）の如きであり、デコーダの構成例は図１
７の（ｂ）の如きで実現できるものである。
【００１７】図１７の空間スケーラビリティは、例え
ば、ＭＰＥＧ２のビットストリームの一部を取り出すと
ＭＰＥＧ１でデコードすることができるという後方互換
性を実現するために存在しており、様々な解像度の画像
を再生することができるようにする機能ではない（参考
文献：”特集 ＭＰＥＧ”テレビ誌，Vol.49,No.4,pp.4
58-463,1995 ）。
ば、ＭＰＥＧ２のビットストリームの一部を取り出すと
ＭＰＥＧ１でデコードすることができるという後方互換
性を実現するために存在しており、様々な解像度の画像
を再生することができるようにする機能ではない（参考
文献：”特集 ＭＰＥＧ”テレビ誌，Vol.49,No.4,pp.4
58-463,1995 ）。
【００１８】すなわち、ＭＰＥＧ２における動画像の符
号化技術においては、高画質の画像の高能率符号化と高
画質再生を目指しており、符号化した画像に忠実な画像
が再現できるようにしている。
号化技術においては、高画質の画像の高能率符号化と高
画質再生を目指しており、符号化した画像に忠実な画像
が再現できるようにしている。
【００１９】しかしながら、マルチメディアの普及に伴
い、再生側のシステムでは、高能率符号化された高画質
画像のデータをフルデコードすることができる再生装置
の要求の他、携帯用のシステムなどのように、画質はと
もかくとして画面が再生できれば良いような用途や、シ
ステム価格を抑制するために、簡易型とするシステムの
要求などがある。
い、再生側のシステムでは、高能率符号化された高画質
画像のデータをフルデコードすることができる再生装置
の要求の他、携帯用のシステムなどのように、画質はと
もかくとして画面が再生できれば良いような用途や、シ
ステム価格を抑制するために、簡易型とするシステムの
要求などがある。
【００２０】このような要求に応えるためには、例え
ば、画像を８×８画素のマトリックスにブロック分け
し、各ブロック単位でＤＣＴを行った場合に、８×８の
変換係数が得られるわけであるから、本来ならば第１低
周波項から第８低周波項までの分を復号化しなければな
らないところを、第１低周波項から第４低周波項までの
分を復号化したり、第１低周波項から第６低周波項まで
の分を復号化したりといった具合に、再生は８×８では
なく、４×４とか、６×６の情報で復元するといったよ
うに簡素化することで対応できることになる。
ば、画像を８×８画素のマトリックスにブロック分け
し、各ブロック単位でＤＣＴを行った場合に、８×８の
変換係数が得られるわけであるから、本来ならば第１低
周波項から第８低周波項までの分を復号化しなければな
らないところを、第１低周波項から第４低周波項までの
分を復号化したり、第１低周波項から第６低周波項まで
の分を復号化したりといった具合に、再生は８×８では
なく、４×４とか、６×６の情報で復元するといったよ
うに簡素化することで対応できることになる。
【００２１】しかし、本来、８×８であるものを４×４
とか、６×６の情報で復元すると、動き補償予測値都の
ミスマッチが生じ、誤差が累積するため、画像が著しく
劣化する。このような符号化側と復号化側とのミスマッ
チを如何に克服するかが大きな課題となる。
とか、６×６の情報で復元すると、動き補償予測値都の
ミスマッチが生じ、誤差が累積するため、画像が著しく
劣化する。このような符号化側と復号化側とのミスマッ
チを如何に克服するかが大きな課題となる。
【００２２】なお、標準化はされてはいないが、符号化
側と復号化側との空間解像度の違いに対処すべく、空間
解像度を変換する方法として直交変換（例えばＤＣＴ
（離散コサイン変換））係数の一部を、元の次数よりも
小さな次数で逆変換することにより、空間解像度を可変
にする方法もある。
側と復号化側との空間解像度の違いに対処すべく、空間
解像度を変換する方法として直交変換（例えばＤＣＴ
（離散コサイン変換））係数の一部を、元の次数よりも
小さな次数で逆変換することにより、空間解像度を可変
にする方法もある。
【００２３】しかし、解像度変換された画像で動き補償
予測を行う際に、動き補償予測に起因したドリフトと呼
ばれる画質劣化が再生画像に発生してしまう（参考文
献：岩橋他、“スケーラブル・デコーダにおけるドリフ
ト低減のための動き補償”、信学技報ＩＥ９４−９７，
１９９４）。
予測を行う際に、動き補償予測に起因したドリフトと呼
ばれる画質劣化が再生画像に発生してしまう（参考文
献：岩橋他、“スケーラブル・デコーダにおけるドリフ
ト低減のための動き補償”、信学技報ＩＥ９４−９７，
１９９４）。
【００２４】従って、符号化側と復号化側とのミスマッ
チ克服のための技術としては問題がある。
チ克服のための技術としては問題がある。
【００２５】一方、図１７の空間スケーラビリティは、
例えば、ＭＰＥＧ２のビットストリームの一部を取り出
すとＭＰＥＧ１でデコードすることができるという後方
互換性を実現するために存在しており、様々な解像度の
画像を再生する機能ではない（参考文献：”特集 ＭＰ
ＥＧ”テレビ誌，Vol.49,No.4,pp.458-463,1995 ）。こ
のように、スケーラビリティ機能を実現するために階層
的な符号化が行なわれるため、情報が分割されて符号化
され、符号化効率の低下が発生する。
例えば、ＭＰＥＧ２のビットストリームの一部を取り出
すとＭＰＥＧ１でデコードすることができるという後方
互換性を実現するために存在しており、様々な解像度の
画像を再生する機能ではない（参考文献：”特集 ＭＰ
ＥＧ”テレビ誌，Vol.49,No.4,pp.458-463,1995 ）。こ
のように、スケーラビリティ機能を実現するために階層
的な符号化が行なわれるため、情報が分割されて符号化
され、符号化効率の低下が発生する。
【００２６】また、J.Y.A.Wang et.al."Applying Mid-l
evel Vision Techniques for VideoData Compression a
nd Manipulation",M.I.T.MediaLab.Tech.Report No.26
3,Feb.1994，において、ミッドレベル符号化と呼ばれる
範疇に属する画像符号化法が提案されている。
evel Vision Techniques for VideoData Compression a
nd Manipulation",M.I.T.MediaLab.Tech.Report No.26
3,Feb.1994，において、ミッドレベル符号化と呼ばれる
範疇に属する画像符号化法が提案されている。
【００２７】この方式では、図１８のように背景と被写
体（以後、オブジェクトと呼ぶ）を分けて符号化してい
る。このように、背景（ｃ）やオブジェクト（ｂ）を別
々に符号化するために、オブジェクトの形状や画面内の
位置を表すアルファマップ信号（図１８（ｄ）白画素が
オブジェクトの画素を示す）が必要となる。なお、背景
のアルファマップ信号（ｅ）は、オブジェクトのアルフ
ァマップ信号から一意に求められる。
体（以後、オブジェクトと呼ぶ）を分けて符号化してい
る。このように、背景（ｃ）やオブジェクト（ｂ）を別
々に符号化するために、オブジェクトの形状や画面内の
位置を表すアルファマップ信号（図１８（ｄ）白画素が
オブジェクトの画素を示す）が必要となる。なお、背景
のアルファマップ信号（ｅ）は、オブジェクトのアルフ
ァマップ信号から一意に求められる。
【００２８】このような符号化法では、任意形状の画像
を符号化する必要がある。任意形状画像の符号化法とし
ては、先に出願した特願平７‐９７０７３号に記載の任
意形状画像信号の直交変換法がある。図１９は、任意形
状画像を正方ブロックで等分割した際に、形状の境界部
を含むエッジブロックに対する変換手段を図示したもの
である。
を符号化する必要がある。任意形状画像の符号化法とし
ては、先に出願した特願平７‐９７０７３号に記載の任
意形状画像信号の直交変換法がある。図１９は、任意形
状画像を正方ブロックで等分割した際に、形状の境界部
を含むエッジブロックに対する変換手段を図示したもの
である。
【００２９】図１９に示すように、入力されたエッジブ
ロック信号の中で、まず、斜線で示されるコンテントの
内部に含まれる画素の値を分離回路（ＳＥＰ）で分離
し、その平均値ａを平均値計算回路（ＡＶＥ）にて求め
る。
ロック信号の中で、まず、斜線で示されるコンテントの
内部に含まれる画素の値を分離回路（ＳＥＰ）で分離
し、その平均値ａを平均値計算回路（ＡＶＥ）にて求め
る。
【００３０】次に、セレクタ（ＳＥＬ）において、アル
ファマップ（alpha-map ）が斜線部の画素を示す場合に
は、ブロックメモリ（ＭＥＭ）に蓄積された斜線部の画
素値を、その他の画素を示す場合には、平均値ａを出力
する。このように処理されたブロックの信号を２次元Ｄ
ＣＴすることで、斜線部の画素に対する変換係数を求め
る。
ファマップ（alpha-map ）が斜線部の画素を示す場合に
は、ブロックメモリ（ＭＥＭ）に蓄積された斜線部の画
素値を、その他の画素を示す場合には、平均値ａを出力
する。このように処理されたブロックの信号を２次元Ｄ
ＣＴすることで、斜線部の画素に対する変換係数を求め
る。
【００３１】一方、逆変換は、この変換係数を逆ＤＣＴ
して得られるブロック内の画素値の中から、斜線部の画
素値を分離することで実現される。
して得られるブロック内の画素値の中から、斜線部の画
素値を分離することで実現される。
【００３２】
【発明が解決しようとする課題】このように、動画像の
符号化において、多階層に分割することが可能なスケー
ラブル符号化法では、符号化効率が大幅に低下するおそ
れがあった。また、背景とオブジェクトを分離して符号
化する任意形状画像の符号化装置においても解像度と画
質を可変とすることが可能なスケーラブル符号化が必要
となる。また、任意形状画像の動き補償予測符号化の効
率を改善する必要がある。
符号化において、多階層に分割することが可能なスケー
ラブル符号化法では、符号化効率が大幅に低下するおそ
れがあった。また、背景とオブジェクトを分離して符号
化する任意形状画像の符号化装置においても解像度と画
質を可変とすることが可能なスケーラブル符号化が必要
となる。また、任意形状画像の動き補償予測符号化の効
率を改善する必要がある。
【００３３】また、ミッドレベル符号化法においては、
図１９に示したように、単純に、オブジェクトの内部の
平均値を背景部に均一に配置する方法は、少ない演算で
実現できるというメリットがある。しかし、反面、オブ
ジェクトと背景の境界に画素値の段差が生じることがあ
り、その場合に、ＤＣＴを施すと、高周波数成分が多く
発生するため、符号量が少なくならないという不具合が
ある。
図１９に示したように、単純に、オブジェクトの内部の
平均値を背景部に均一に配置する方法は、少ない演算で
実現できるというメリットがある。しかし、反面、オブ
ジェクトと背景の境界に画素値の段差が生じることがあ
り、その場合に、ＤＣＴを施すと、高周波数成分が多く
発生するため、符号量が少なくならないという不具合が
ある。
【００３４】そこで、この発明の目的とするところは、
動画像の復号化において、多階層に分割することが可能
なスケーラブル符号化法での符号化効率の向上を図るこ
とができるようにした動画像符号化方式とそれに対応す
る動画像復号化装置および動画像復号化方法を提供する
ことにある。
動画像の復号化において、多階層に分割することが可能
なスケーラブル符号化法での符号化効率の向上を図るこ
とができるようにした動画像符号化方式とそれに対応す
る動画像復号化装置および動画像復号化方法を提供する
ことにある。
【００３５】そして、更には、背景とオブジェクトを分
離して符号化する任意形状画像の符号化の場合に解像度
と画質を可変とすることを可能に、しかも、符号化効率
の良いスケーラブル符号化を可能にする動画像符号化方
式とそれに対応する動画像復号化装置および符号化方法
を提供することにある。
離して符号化する任意形状画像の符号化の場合に解像度
と画質を可変とすることを可能に、しかも、符号化効率
の良いスケーラブル符号化を可能にする動画像符号化方
式とそれに対応する動画像復号化装置および符号化方法
を提供することにある。
【００３６】
【課題を解決するための手段】本発明は、上記目的を達
成するため、変換係数領域での動き補償予測が用られる
変換符号化により符号化された画像を復号化するための
復号化装置であって、符号化された入力画像とこの入力
画像における画像の背景とオブジェクトを識別するため
のアルファマップの情報と動き補償予測のための動きベ
クトル情報とを用い、前記アルファマップの情報にした
がって前記符号化入力画像の任意形状画像を逆変換する
ことにより、任意形状画像を再生するようにし、その任
意形状画像の動ベクトル情報より当該任意形状画像の動
き補償予測を行うようにした動画像復号化装置におい
て、背景および各オブジェクトに対して、各々に対応す
るフレームメモリを設けると共に、動き補償予測の際に
は、アルファマップの情報にしたがってオブジェクトと
背景別に画像を蓄積したフレームメモリに蓄積された画
像より、それぞれの動き補償予測を実施する動き補償予
測手段とを備え、動き補償予測は背景および各オブジェ
クト独立に行う構成とすることを特徴とする。
成するため、変換係数領域での動き補償予測が用られる
変換符号化により符号化された画像を復号化するための
復号化装置であって、符号化された入力画像とこの入力
画像における画像の背景とオブジェクトを識別するため
のアルファマップの情報と動き補償予測のための動きベ
クトル情報とを用い、前記アルファマップの情報にした
がって前記符号化入力画像の任意形状画像を逆変換する
ことにより、任意形状画像を再生するようにし、その任
意形状画像の動ベクトル情報より当該任意形状画像の動
き補償予測を行うようにした動画像復号化装置におい
て、背景および各オブジェクトに対して、各々に対応す
るフレームメモリを設けると共に、動き補償予測の際に
は、アルファマップの情報にしたがってオブジェクトと
背景別に画像を蓄積したフレームメモリに蓄積された画
像より、それぞれの動き補償予測を実施する動き補償予
測手段とを備え、動き補償予測は背景および各オブジェ
クト独立に行う構成とすることを特徴とする。
【００３７】
【発明の実施の形態】本発明では、Ｎ×Ｎ個の変換係数
毎に変換係数の領域で、動き補償を行う際に、既に復号
済みの下位階層（ベースレイヤ）の量子化値に基づいて
上位階層（エンハンスメントレイヤ）の符号化を行うよ
うにし、これにより、符号化効率の低下の少ない符号化
を可能にする符号化方式を実現するようにする。
毎に変換係数の領域で、動き補償を行う際に、既に復号
済みの下位階層（ベースレイヤ）の量子化値に基づいて
上位階層（エンハンスメントレイヤ）の符号化を行うよ
うにし、これにより、符号化効率の低下の少ない符号化
を可能にする符号化方式を実現するようにする。
【００３８】また、本発明では上記符号化装置におい
て、任意形状の画像領域を示すアルファマップ信号にし
たがって、その任意形状の画像領域に対して直交変換を
施すことができるようにしたことにより、任意形状画像
について、画質を可変とした再生画像が得られるように
する。
て、任意形状の画像領域を示すアルファマップ信号にし
たがって、その任意形状の画像領域に対して直交変換を
施すことができるようにしたことにより、任意形状画像
について、画質を可変とした再生画像が得られるように
する。
【００３９】また、本発明では背景と１つ以上のオブジ
ェクトに対して、各々フレームメモリを用意し、背景あ
るいは各オブジェクト毎に動き補償予測を行うようにす
ることで、オブジェクトの重なりにより隠ぺいされる部
分の予測効率を改善することができるようにする。
ェクトに対して、各々フレームメモリを用意し、背景あ
るいは各オブジェクト毎に動き補償予測を行うようにす
ることで、オブジェクトの重なりにより隠ぺいされる部
分の予測効率を改善することができるようにする。
【００４０】また、オブジェクト境界部での動きベクト
ル検出の範囲を小さくすることで、動き補償予測符号化
の効率を向上させることを可能にする。
ル検出の範囲を小さくすることで、動き補償予測符号化
の効率を向上させることを可能にする。
【００４１】以下、図面を参照して本発明の具体例を説
明する。
明する。
【００４２】本発明は、図１５の画像伝送システムにお
ける送受信装置（図１５のＡ，Ｂ）内の、画像符号化・
復号化装置に関するものである。
ける送受信装置（図１５のＡ，Ｂ）内の、画像符号化・
復号化装置に関するものである。
【００４３】（第１の具体例）図１、図２および図３、
図４を用いて、本発明の第１の具体例を説明する。本具
体例は、全体でＭ階層のＳＮＲスケーラビリティを実現
する符号化装置および復号化装置であり、第ｍ階層での
動き補償予測信号を、第ｍ−１階層の動き補償予測信号
と第ｍ階層の動き補償予測信号とを変換係数毎に適応的
に切り換えることで、第ｍ階層の符号化効率を向上させ
るものである。図面では、ベースレイヤが第ｍ−１階層
に対応し、エンハンスメントレイヤが第ｍ階層に対応し
ている。
図４を用いて、本発明の第１の具体例を説明する。本具
体例は、全体でＭ階層のＳＮＲスケーラビリティを実現
する符号化装置および復号化装置であり、第ｍ階層での
動き補償予測信号を、第ｍ−１階層の動き補償予測信号
と第ｍ階層の動き補償予測信号とを変換係数毎に適応的
に切り換えることで、第ｍ階層の符号化効率を向上させ
るものである。図面では、ベースレイヤが第ｍ−１階層
に対応し、エンハンスメントレイヤが第ｍ階層に対応し
ている。
【００４４】《符号化装置の構成》初めに符号化装置か
ら説明する。図１は、本発明の符号化装置のブロック図
である。
ら説明する。図１は、本発明の符号化装置のブロック図
である。
【００４５】図において、１００はＤＣＴ回路、１１０
および１１１は差分回路、１２０は差分回路、１３０は
量子化回路、１４０は可変長符号化回路、１５０は多重
化回路、１６０は出力バッファである。
および１１１は差分回路、１２０は差分回路、１３０は
量子化回路、１４０は可変長符号化回路、１５０は多重
化回路、１６０は出力バッファである。
【００４６】また、１７０は逆量子化回路、１８０およ
び１９０は加算回路、２００は動き補償予測装置、３０
０はセレクタ、４００は符号化制御回路である。
び１９０は加算回路、２００は動き補償予測装置、３０
０はセレクタ、４００は符号化制御回路である。
【００４７】また、２０１は動き補償予測装置、１３１
は量子化回路、１４１は可変長符号化回路、１７１は逆
量子化回路、２００はエンハンスメントレイヤの動き補
償予測装置、４１０は符号化制御回路、５００は動きベ
クトル検出回路、１５１は多重化回路、１６１は出力バ
ッファ、１９１は加算回路である。
は量子化回路、１４１は可変長符号化回路、１７１は逆
量子化回路、２００はエンハンスメントレイヤの動き補
償予測装置、４１０は符号化制御回路、５００は動きベ
クトル検出回路、１５１は多重化回路、１６１は出力バ
ッファ、１９１は加算回路である。
【００４８】前記ＤＣＴ回路１００は、入力された画像
信号１０を直交変換（ＤＣＴ）して周波数成分別の変換
係数を得るものであり、差分回路１１０はこのＤＣＴ回
路１００からの変換係数とセレクタ３００を介して選択
的に与えられるエンハンスレイヤの動き補償予測装置２
００の出力（ＥMC）またはベースレイヤの動き補償予測
装置２０１の出力（ＢMC）との差を求めるものであり、
差分回路１２０はこの差分回路１１０の出力と、逆量子
化回路１７１の出力との差を求めるものである。
信号１０を直交変換（ＤＣＴ）して周波数成分別の変換
係数を得るものであり、差分回路１１０はこのＤＣＴ回
路１００からの変換係数とセレクタ３００を介して選択
的に与えられるエンハンスレイヤの動き補償予測装置２
００の出力（ＥMC）またはベースレイヤの動き補償予測
装置２０１の出力（ＢMC）との差を求めるものであり、
差分回路１２０はこの差分回路１１０の出力と、逆量子
化回路１７１の出力との差を求めるものである。
【００４９】また、量子化回路１３０はこの差分回路１
２０の出力を、符号化制御回路４００から与えられる量
子化スケールに従って量子化するものであり、可変長符
号化回路１４０はこの量子化回路１３０の量子化出力と
符号化制御回路４００から与えられる量子化スケールな
どのサイド情報を、可変長符号化する回路である。
２０の出力を、符号化制御回路４００から与えられる量
子化スケールに従って量子化するものであり、可変長符
号化回路１４０はこの量子化回路１３０の量子化出力と
符号化制御回路４００から与えられる量子化スケールな
どのサイド情報を、可変長符号化する回路である。
【００５０】また、多重化回路１５０はこの可変長符号
化回路１４０から与えられる量子化出力の可変長符号と
サイド情報の可変長符号とを多重化する回路であり、出
力バッファ１６０はこの多重化回路１５０で多重化され
たデータストリームを一時保持して出力するものであ
る。
化回路１４０から与えられる量子化出力の可変長符号と
サイド情報の可変長符号とを多重化する回路であり、出
力バッファ１６０はこの多重化回路１５０で多重化され
たデータストリームを一時保持して出力するものであ
る。
【００５１】符号化制御回路４００はバッファ１６０か
ら与えられるバッファ空き情報に基づいて、最適な量子
化スケールＱ_scaleの情報を出力すると共に、この量子
化スケールＱ_scaleの情報はサイドインフォメーション
として可変長符号化回路１４０にも与えて量子化回路１
３０による量子化の実施と可変長符号化回路１４０によ
る可変長符号化処理の実施制御をするものである。
ら与えられるバッファ空き情報に基づいて、最適な量子
化スケールＱ_scaleの情報を出力すると共に、この量子
化スケールＱ_scaleの情報はサイドインフォメーション
として可変長符号化回路１４０にも与えて量子化回路１
３０による量子化の実施と可変長符号化回路１４０によ
る可変長符号化処理の実施制御をするものである。
【００５２】逆量子化回路１７０は量子化回路１３０か
らの量子化出力を受けてこれを逆量子化して出力するも
のであり、加算回路１８０はこの逆量子化回路１７０の
出力と逆量子化回路１７１からの出力とを加算する回路
であり、加算回路１９０は加算回路１８０の出力とセレ
クタ３００により選択されて出力される補償予測値を加
算する回路である。
らの量子化出力を受けてこれを逆量子化して出力するも
のであり、加算回路１８０はこの逆量子化回路１７０の
出力と逆量子化回路１７１からの出力とを加算する回路
であり、加算回路１９０は加算回路１８０の出力とセレ
クタ３００により選択されて出力される補償予測値を加
算する回路である。
【００５３】動き補償予測装置２００は、加算回路１８
０の出力と動きベクトル検出回路５００にて検出された
動きベクトルとから、エンハンスメントレイヤでの動き
補償予測値を求める回路であり、セレクタ３００はこの
動き補償予測装置２００の求めた動き補償予測値と、動
き補償予測装置２０１の求めた動き補償予測値とを受
け、２値化回路３１０の出力対応にこれら両動き補償予
測値の一方を選択して出力するものである。
０の出力と動きベクトル検出回路５００にて検出された
動きベクトルとから、エンハンスメントレイヤでの動き
補償予測値を求める回路であり、セレクタ３００はこの
動き補償予測装置２００の求めた動き補償予測値と、動
き補償予測装置２０１の求めた動き補償予測値とを受
け、２値化回路３１０の出力対応にこれら両動き補償予
測値の一方を選択して出力するものである。
【００５４】以上の構成のうち、差分回路１１０、差分
回路１２０、量子化回路１３０、可変長符号化回路１４
０、多重化回路１５０、出力バッファ１６０、逆量子化
回路１７０、加算回路１８０、加算回路１９０、動き補
償予測装置２００、セレクタ３００、符号化制御回路４
００によりエンハンスメントレイヤが構成される。
回路１２０、量子化回路１３０、可変長符号化回路１４
０、多重化回路１５０、出力バッファ１６０、逆量子化
回路１７０、加算回路１８０、加算回路１９０、動き補
償予測装置２００、セレクタ３００、符号化制御回路４
００によりエンハンスメントレイヤが構成される。
【００５５】前記動きベクトル検出回路５００は、前記
ＤＣＴ回路１００に入力される画像信号１０と同じ画像
信号を入力として受け、この画像信号より動きベクトル
を検出する回路であり、動き補償予測装置２０１は動き
ベクトル検出回路５００より供給される動きベクトルと
加算回路１９１からの加算出力とを元に、動き補償予測
を行ってＤＣＴ係数に変換された動き補償予測値（ＢM
C）を得る装置である。
ＤＣＴ回路１００に入力される画像信号１０と同じ画像
信号を入力として受け、この画像信号より動きベクトル
を検出する回路であり、動き補償予測装置２０１は動き
ベクトル検出回路５００より供給される動きベクトルと
加算回路１９１からの加算出力とを元に、動き補償予測
を行ってＤＣＴ係数に変換された動き補償予測値（ＢM
C）を得る装置である。
【００５６】差分回路１１１は前記ＤＣＴ回路１００か
ら出力される変換係数と動き補償予測装置２０１から出
力される動き補償予測値（ＢMC）との差を求める回路で
あり、量子化回路１３１はこの差分回路１１１の出力
を、符号化制御回路４１０の指示する量子化スケールで
量子化する回路である。
ら出力される変換係数と動き補償予測装置２０１から出
力される動き補償予測値（ＢMC）との差を求める回路で
あり、量子化回路１３１はこの差分回路１１１の出力
を、符号化制御回路４１０の指示する量子化スケールで
量子化する回路である。
【００５７】そして、２値化回路３１０は、この量子化
回路１３１の出力する量子化値が“０”であるか否かを
判定して、“０”ならば“０”を、“０”でなければ
“１”を出力する回路であり、逆量子化回路１７１は符
号化制御回路４１０の指示する量子化スケールで逆量子
化する回路であり、加算回路１９１はこの逆量子化回路
１７１の出力と動き補償予測装置２０１の出力とを加算
して動き補償予測装置２０１に与える回路である。
回路１３１の出力する量子化値が“０”であるか否かを
判定して、“０”ならば“０”を、“０”でなければ
“１”を出力する回路であり、逆量子化回路１７１は符
号化制御回路４１０の指示する量子化スケールで逆量子
化する回路であり、加算回路１９１はこの逆量子化回路
１７１の出力と動き補償予測装置２０１の出力とを加算
して動き補償予測装置２０１に与える回路である。
【００５８】また、可変長符号化回路１４１は量子化回
路１３１の量子化出力と符号化制御回路４０１から与え
られる量子化スケールなどのサイド情報を、可変長符号
化する回路であり、多重化回路１５１はこの可変長符号
化回路１４１から与えられる量子化出力の可変長符号と
サイド情報の可変長符号とを多重化する回路であり、出
力バッファ１６１はこの多重化回路１５１で多重化され
たデータストリームを一時保持して出力するものであ
る。
路１３１の量子化出力と符号化制御回路４０１から与え
られる量子化スケールなどのサイド情報を、可変長符号
化する回路であり、多重化回路１５１はこの可変長符号
化回路１４１から与えられる量子化出力の可変長符号と
サイド情報の可変長符号とを多重化する回路であり、出
力バッファ１６１はこの多重化回路１５１で多重化され
たデータストリームを一時保持して出力するものであ
る。
【００５９】符号化制御回路４１０はバッファ１６１か
ら与えられるバッファ空き情報に基づいて、最適な量子
化スケールＱ_scaleの情報を出力すると共に、この量子
化スケールＱ_scaleの情報はサイドインフォメーション
として可変長符号化回路１４１にも与えて量子化回路１
３１による量子化の実施と可変長符号化回路１４１によ
る可変長符号化処理の実施を制御するものである。
ら与えられるバッファ空き情報に基づいて、最適な量子
化スケールＱ_scaleの情報を出力すると共に、この量子
化スケールＱ_scaleの情報はサイドインフォメーション
として可変長符号化回路１４１にも与えて量子化回路１
３１による量子化の実施と可変長符号化回路１４１によ
る可変長符号化処理の実施を制御するものである。
【００６０】なお、これら差分回路１１１、量子化回路
１３１、可変長符号化回路１４１、多重化回路１５１、
出力バッファ１６１、逆量子化回路１７１、加算回路１
９１、動き補償予測装置２０１、２値化回路３１０、符
号化制御回路４１０、動きベクトル検出回路５００によ
り、ベースレイヤが構成される。
１３１、可変長符号化回路１４１、多重化回路１５１、
出力バッファ１６１、逆量子化回路１７１、加算回路１
９１、動き補償予測装置２０１、２値化回路３１０、符
号化制御回路４１０、動きベクトル検出回路５００によ
り、ベースレイヤが構成される。
【００６１】このような構成の本装置はつぎのように動
作する。
作する。
【００６２】入力される画像信号１０はＤＣＴ回路１０
０と動きベクトル検出回路５００とに供給される。動き
ベクトル検出回路５００ではこの画像信号１０より動き
ベクトルを検出して動き補償予測装置２００，２０１お
よび可変長符号化回路１４１に与える。
０と動きベクトル検出回路５００とに供給される。動き
ベクトル検出回路５００ではこの画像信号１０より動き
ベクトルを検出して動き補償予測装置２００，２０１お
よび可変長符号化回路１４１に与える。
【００６３】一方、ＤＣＴ回路１００に入力された画像
信号１０は、このＤＣＴ回路１００において、Ｎ×Ｎ画
素のサイズのブロックに分割されて、Ｎ×Ｎ画素毎に直
交変換処理されることにより、それぞれのブロックにつ
いて、Ｎ×Ｎ個の変換係数が求められる。この変換係数
は画像の空間周波数成分を直流成分から各交流成分まで
の各成分別に分離したＮ×Ｎ個の変換係数である。
信号１０は、このＤＣＴ回路１００において、Ｎ×Ｎ画
素のサイズのブロックに分割されて、Ｎ×Ｎ画素毎に直
交変換処理されることにより、それぞれのブロックにつ
いて、Ｎ×Ｎ個の変換係数が求められる。この変換係数
は画像の空間周波数成分を直流成分から各交流成分まで
の各成分別に分離したＮ×Ｎ個の変換係数である。
【００６４】ＤＣＴ回路１００により得られたこのＮ×
Ｎ個の変換係数は、エンハンスメントレイヤの差分回路
１１０およびベースレイヤの差分回路１１１に供給され
る。
Ｎ個の変換係数は、エンハンスメントレイヤの差分回路
１１０およびベースレイヤの差分回路１１１に供給され
る。
【００６５】ベースレイヤでは、この変換係数は差分回
路１１１において、動き補償予測装置２０１より供給さ
れる、ＤＣＴ係数に変換された動き補償予測値（ＢMC）
との差が求められることにより、予測誤差信号を得る。
そして、この予測誤差信号は量子化回路１３１に供給さ
れる量子化回路１３１では、この予測誤差信号は、符号
化制御回路４１０より供給される量子化スケール（Ｑ_s
cale）で量子化された後、可変長符号化回路１４１およ
び逆量子化回路１７１に供給される。
路１１１において、動き補償予測装置２０１より供給さ
れる、ＤＣＴ係数に変換された動き補償予測値（ＢMC）
との差が求められることにより、予測誤差信号を得る。
そして、この予測誤差信号は量子化回路１３１に供給さ
れる量子化回路１３１では、この予測誤差信号は、符号
化制御回路４１０より供給される量子化スケール（Ｑ_s
cale）で量子化された後、可変長符号化回路１４１およ
び逆量子化回路１７１に供給される。
【００６６】可変長符号化回路１４１では、この量子化
された予測誤差信号、符号化制御回路４１０より供給さ
れる量子化サイズ等のサイドインフォメーション情報や
動きベクトル検出回路５００より供給される動きベクト
ルの情報をそれぞれ可変長符号化する。そして、この可
変長符号化した出力は多重化回路１５１に与えてここで
多重化した後、出力バッファ１６１に供給する。出力バ
ッファ１６１では、この多重化された信号を符号化ビッ
トストリーム２１として伝送路あるいは蓄積媒体に出力
する。また、出力バッファ１６１はバッファの内容量を
符号化制御回路４１０にフィードバックする。
された予測誤差信号、符号化制御回路４１０より供給さ
れる量子化サイズ等のサイドインフォメーション情報や
動きベクトル検出回路５００より供給される動きベクト
ルの情報をそれぞれ可変長符号化する。そして、この可
変長符号化した出力は多重化回路１５１に与えてここで
多重化した後、出力バッファ１６１に供給する。出力バ
ッファ１６１では、この多重化された信号を符号化ビッ
トストリーム２１として伝送路あるいは蓄積媒体に出力
する。また、出力バッファ１６１はバッファの内容量を
符号化制御回路４１０にフィードバックする。
【００６７】符号化制御回路４１０はこのバッファの内
容量情報に応じて、量子化回路１３１の出力を制御する
と共に、量子化スケールＱ_scaleを出力して量子化回路
１３１に与える。また、この量子化スケールＱ_scaleの
情報はサイドインフォメーションとして可変長符号化回
路１４１にも与える。
容量情報に応じて、量子化回路１３１の出力を制御する
と共に、量子化スケールＱ_scaleを出力して量子化回路
１３１に与える。また、この量子化スケールＱ_scaleの
情報はサイドインフォメーションとして可変長符号化回
路１４１にも与える。
【００６８】符号化制御回路４１０が、前記バッファの
内容量情報に応じて、量子化回路１３１の出力を制御す
ることにより、出力バッファ１６１が溢れないように、
量子化スケールを制御しながら量子化を進めることがで
きるようになる。
内容量情報に応じて、量子化回路１３１の出力を制御す
ることにより、出力バッファ１６１が溢れないように、
量子化スケールを制御しながら量子化を進めることがで
きるようになる。
【００６９】そして、量子化スケールＱ_scaleの情報は
サイドインフォメーションとして可変長符号化回路１４
１において可変長符号化され、多重化回路１５１で多重
化して画像符号化装置出力とすることで、画像復号化装
置側で復号化回路する際の逆量子化に使用する量子化ス
ケールを得ることができるようにしている。
サイドインフォメーションとして可変長符号化回路１４
１において可変長符号化され、多重化回路１５１で多重
化して画像符号化装置出力とすることで、画像復号化装
置側で復号化回路する際の逆量子化に使用する量子化ス
ケールを得ることができるようにしている。
【００７０】一方、逆量子化回路１７１に供給された予
測誤差信号の量子化値は、逆量子化された後、加算回路
１９１に送られ、この加算回路１９１において動き補償
予測値ＢMCと加算され、変換係数領域での再生値が求め
られた後、動き補償予測装置２０１に供給される。
測誤差信号の量子化値は、逆量子化された後、加算回路
１９１に送られ、この加算回路１９１において動き補償
予測値ＢMCと加算され、変換係数領域での再生値が求め
られた後、動き補償予測装置２０１に供給される。
【００７１】エンハンスメントレイヤでは、エンハンス
レイヤの動き補償予測装置２００の出力ＥMCと、ベース
レイヤの動き補償予測装置２０１の出力ＢMCとを、変換
係数毎に適応的に切り換えて出力する。すなわち、これ
はセレクタ３００が、ベースレイヤでの量子化回路１３
１の出力ＢQ の値に基づいて、エンハンスレイヤの動き
補償予測装置２００の出力（ＥMC）と、ベースレイヤの
動き補償予測装置２０１の出力ＢMCとを後述する方法で
変換係数毎に適応的に切り換えることによって出力す
る。
レイヤの動き補償予測装置２００の出力ＥMCと、ベース
レイヤの動き補償予測装置２０１の出力ＢMCとを、変換
係数毎に適応的に切り換えて出力する。すなわち、これ
はセレクタ３００が、ベースレイヤでの量子化回路１３
１の出力ＢQ の値に基づいて、エンハンスレイヤの動き
補償予測装置２００の出力（ＥMC）と、ベースレイヤの
動き補償予測装置２０１の出力ＢMCとを後述する方法で
変換係数毎に適応的に切り換えることによって出力す
る。
【００７２】一方、差分回路１１０において、ＤＣＴ回
路１００より供給される入力画像の変換係数と、セレク
タ３００の出力Ｅp との予測誤差信号が計算され、その
結果が差分回路１２０に供給される。差分回路１２０で
は、逆量子化回路１７１より供給される逆量子化値ＢQ
の信号３０と、差分回路１１０の出力との差分が計算さ
れて差分値出力信号ＥC として量子化回路１３０に供給
される。この差分値出力信号ＥC はすなわち動き補償予
測誤差信号である。
路１００より供給される入力画像の変換係数と、セレク
タ３００の出力Ｅp との予測誤差信号が計算され、その
結果が差分回路１２０に供給される。差分回路１２０で
は、逆量子化回路１７１より供給される逆量子化値ＢQ
の信号３０と、差分回路１１０の出力との差分が計算さ
れて差分値出力信号ＥC として量子化回路１３０に供給
される。この差分値出力信号ＥC はすなわち動き補償予
測誤差信号である。
【００７３】量子化回路１３０では、この差分値出力信
号ＥC を、符号化制御回路４００より供給される量子化
スケールＱ_scaleで量子化した後、可変長符号化回路１
４０および逆量子化回路１７０に供給する。
号ＥC を、符号化制御回路４００より供給される量子化
スケールＱ_scaleで量子化した後、可変長符号化回路１
４０および逆量子化回路１７０に供給する。
【００７４】そして、可変長符号化回路１４０では、こ
の量子化された動き補償予測誤差信号を、サイドインフ
ォメーション情報と共に可変長符号化して多重化回路１
５０に送り、多重化回路１５０ではこれらの信号を多重
化した後、出力バッファ１６０に供給する。
の量子化された動き補償予測誤差信号を、サイドインフ
ォメーション情報と共に可変長符号化して多重化回路１
５０に送り、多重化回路１５０ではこれらの信号を多重
化した後、出力バッファ１６０に供給する。
【００７５】出力バッファ１６０では、この多重化信号
をエンハンスメントレイヤ用の符号化ビットストリーム
２０として伝送路あるいは蓄積媒体に出力すると共に、
バッファの内容量を符号化制御回路４００にフィードバ
ックする。
をエンハンスメントレイヤ用の符号化ビットストリーム
２０として伝送路あるいは蓄積媒体に出力すると共に、
バッファの内容量を符号化制御回路４００にフィードバ
ックする。
【００７６】なお、逆量子化回路１７０に供給された量
子化値は、ここで逆量子化された後、加算回路１８０に
おいて、ベースレイヤの逆量子化回路１７１から供給さ
れる出力３０と加算されことにより、予測誤差信号が再
生される。
子化値は、ここで逆量子化された後、加算回路１８０に
おいて、ベースレイヤの逆量子化回路１７１から供給さ
れる出力３０と加算されことにより、予測誤差信号が再
生される。
【００７７】そして、この加算回路１８０で再生された
予測誤差信号は加算回路１９０において動き補償予測値
ＥMCと加算されることにより、変換係数領域での再生値
が求められる。そして、この再生値は動き補償予測装置
２００に供給される。
予測誤差信号は加算回路１９０において動き補償予測値
ＥMCと加算されることにより、変換係数領域での再生値
が求められる。そして、この再生値は動き補償予測装置
２００に供給される。
【００７８】図２は、文献（T.K.Tan et.al."A Frequen
cy Scalable Coding SchemeEmploying Pyramid and Sub
band Techniques",IEEE Trans. CAS for VideoTechnolo
gy,Vol.4,No.2,Apr. 1994）に記載されている前記セレ
クタ３００に適用して最適な切り換え手段の例である。
cy Scalable Coding SchemeEmploying Pyramid and Sub
band Techniques",IEEE Trans. CAS for VideoTechnolo
gy,Vol.4,No.2,Apr. 1994）に記載されている前記セレ
クタ３００に適用して最適な切り換え手段の例である。
【００７９】図２において、ベースレイヤにおける量子
化回路１３１の出力ＢQ の値が“０”であるか否かを、
２値化回路３１０において判定する。この判定結果はセ
レクタ３００に与えられる。そして、セレクタ３００
は、量子化回路１３１の出力ＢQ の値が“０”であれ
ば、エンハンスメントレイヤ用動き補償予測装置２００
の変換係数出力ＥMCを選択し、“１”であればベースレ
イヤ用動き補償予測装置２０１の変換係数出力ＢMCを選
択する。
化回路１３１の出力ＢQ の値が“０”であるか否かを、
２値化回路３１０において判定する。この判定結果はセ
レクタ３００に与えられる。そして、セレクタ３００
は、量子化回路１３１の出力ＢQ の値が“０”であれ
ば、エンハンスメントレイヤ用動き補償予測装置２００
の変換係数出力ＥMCを選択し、“１”であればベースレ
イヤ用動き補償予測装置２０１の変換係数出力ＢMCを選
択する。
【００８０】すなわち、２値化回路３１０はベースレイ
ヤにおける量子化回路１３１の出力ＢQ の値が“０”で
ある場合には“０”を、“０”でなければ“１”を出力
するので、この２値化回路３１０の出力が“０”である
ときにＥMCを、そして、“１”である時にＢMCを、セレ
クタ３００に選択させることにより、量子化回路１３１
の出力ＢQ が“０”である位置の変換係数には、エンハ
ンスレイヤ側の動き補償予測装置２００の変換係数出力
ＥMCを、そして、量子化回路１３１の出力ＢQが“０”
でない位置の変換係数には、ベースレイヤ側の動き補償
予測装置２０１の変換係数出力ＢMCを当て嵌めるといっ
た処理がなされることになる。
ヤにおける量子化回路１３１の出力ＢQ の値が“０”で
ある場合には“０”を、“０”でなければ“１”を出力
するので、この２値化回路３１０の出力が“０”である
ときにＥMCを、そして、“１”である時にＢMCを、セレ
クタ３００に選択させることにより、量子化回路１３１
の出力ＢQ が“０”である位置の変換係数には、エンハ
ンスレイヤ側の動き補償予測装置２００の変換係数出力
ＥMCを、そして、量子化回路１３１の出力ＢQが“０”
でない位置の変換係数には、ベースレイヤ側の動き補償
予測装置２０１の変換係数出力ＢMCを当て嵌めるといっ
た処理がなされることになる。
【００８１】ここで、ベースレイヤにおける量子化回路
１３１には差分回路１１１からの出力が与えられて、こ
の差分回路１１１の出力を量子化するように構成してあ
り、差分回路１１１にはＤＣＴ回路１００の出力と、そ
れより１画面前の時点の画像から動き補償予測装置２０
１が得た動き補償予測値とが与えられて、両者の差を得
るように構成してあるから、求めた動き補償予測値が当
っていれば、差分回路１１１の出力する両者の差はない
ことになるから、“０”となる筈である。
１３１には差分回路１１１からの出力が与えられて、こ
の差分回路１１１の出力を量子化するように構成してあ
り、差分回路１１１にはＤＣＴ回路１００の出力と、そ
れより１画面前の時点の画像から動き補償予測装置２０
１が得た動き補償予測値とが与えられて、両者の差を得
るように構成してあるから、求めた動き補償予測値が当
っていれば、差分回路１１１の出力する両者の差はない
ことになるから、“０”となる筈である。
【００８２】従って、ベースレイヤにおける量子化回路
１３１の出力ＢQ である量子化値の中で“０”でない係
数（図の白丸印で囲んだ部分の値）は、動き補償予測が
当たらなかった係数ということになる。
１３１の出力ＢQ である量子化値の中で“０”でない係
数（図の白丸印で囲んだ部分の値）は、動き補償予測が
当たらなかった係数ということになる。
【００８３】ここで、動き補償予測装置２００におい
て、動きベクトル検出回路５００より供給される、ベー
スレイヤと同じ動きベクトルを用いて動き補償予測を行
なうと、エンハンスメントレイヤにおいても同じ位置の
係数（白丸印で囲んだ部分の値）の動き補償予測は外れ
たと推定される。
て、動きベクトル検出回路５００より供給される、ベー
スレイヤと同じ動きベクトルを用いて動き補償予測を行
なうと、エンハンスメントレイヤにおいても同じ位置の
係数（白丸印で囲んだ部分の値）の動き補償予測は外れ
たと推定される。
【００８４】そこで、この係数に関しては、セレクタ３
００においてＢMCを選択する。
００においてＢMCを選択する。
【００８５】一方、その他の係数は動き補償が当たって
いると推定されるため、セレクタ３００において、より
符号化歪の少ないエンハンスメントレイヤの予測値を選
択する。これにより、エンハンスメントレイヤで符号化
される信号ＥC は、動き補償予測が外れた場合にはベー
スレイヤの量子化誤差信号となり、動き補償予測が当た
った場合にはエンハンスメントレイヤの動き補償予測誤
差信号となり、動き補償予測の外れた係数に対する符号
化効率が改善されることになる。
いると推定されるため、セレクタ３００において、より
符号化歪の少ないエンハンスメントレイヤの予測値を選
択する。これにより、エンハンスメントレイヤで符号化
される信号ＥC は、動き補償予測が外れた場合にはベー
スレイヤの量子化誤差信号となり、動き補償予測が当た
った場合にはエンハンスメントレイヤの動き補償予測誤
差信号となり、動き補償予測の外れた係数に対する符号
化効率が改善されることになる。
【００８６】なお、上記文献に開示してある技術におい
ては、ベースレイヤでは解像度の低い画像を再生するこ
とを前提としているため、ＤＣＴ回路１００で求められ
た変換係数の中で低域の１／４の係数を分離してベース
レイヤに供給している。このため、解像度変換に伴う誤
差により、変換係数毎に予測を切り換えるための推定の
信頼性が低下する。
ては、ベースレイヤでは解像度の低い画像を再生するこ
とを前提としているため、ＤＣＴ回路１００で求められ
た変換係数の中で低域の１／４の係数を分離してベース
レイヤに供給している。このため、解像度変換に伴う誤
差により、変換係数毎に予測を切り換えるための推定の
信頼性が低下する。
【００８７】一方、本具体例ではベースレイヤとエンハ
ンスメントレイヤの解像度が等しいため、推定の精度が
高くなる点が上記文献開示の技術と異なるものであり、
画像の品位と云う点で大きな差となる。
ンスメントレイヤの解像度が等しいため、推定の精度が
高くなる点が上記文献開示の技術と異なるものであり、
画像の品位と云う点で大きな差となる。
【００８８】《動き補償予測装置２００、２０１の構成
例》ここで、本発明装置に用いる動き補償予測装置２０
０、２０１の構成例を説明しておく。
例》ここで、本発明装置に用いる動き補償予測装置２０
０、２０１の構成例を説明しておく。
【００８９】図３は、動き補償予測装置２００、２０１
の構成例を示すブロック図である。動き補償予測装置２
００，２０１は、ＩＤＣＴ回路２１０、フレームメモリ
２２０、動き補償回路２３０、ＤＣＴ回路２４０で構成
される。
の構成例を示すブロック図である。動き補償予測装置２
００，２０１は、ＩＤＣＴ回路２１０、フレームメモリ
２２０、動き補償回路２３０、ＤＣＴ回路２４０で構成
される。
【００９０】ＩＤＣＴ回路２１０は、加算回路１９０ま
たは１９１の出力を逆直交変換（ＩＤＣＴ）して再生画
像信号に戻す回路であり、フレームメモリ２２０はこの
逆直交変換されて得られた再生画像信号を参照画像とし
てフレーム単位で保持するメモリであり、動き補償回路
２３０は、フレームメモリ２２０に蓄積されている画像
信号（参照画像）の中から、動きベクトルで指し示され
た位置の画像をブロック単位で切り出すものであり、Ｄ
ＣＴ回路２４０はこの切り出した画像を直交変換（ＤＣ
Ｔ）して出力するものである。なお、動きベクトルは、
動きベクトル検出回路５００から与えられる。
たは１９１の出力を逆直交変換（ＩＤＣＴ）して再生画
像信号に戻す回路であり、フレームメモリ２２０はこの
逆直交変換されて得られた再生画像信号を参照画像とし
てフレーム単位で保持するメモリであり、動き補償回路
２３０は、フレームメモリ２２０に蓄積されている画像
信号（参照画像）の中から、動きベクトルで指し示され
た位置の画像をブロック単位で切り出すものであり、Ｄ
ＣＴ回路２４０はこの切り出した画像を直交変換（ＤＣ
Ｔ）して出力するものである。なお、動きベクトルは、
動きベクトル検出回路５００から与えられる。
【００９１】このような構成において、変換係数領域で
の再生値はＩＤＣＴ回路２１０において再生画像信号に
逆変換され、フレームメモリ２２０に蓄積される。動き
補償回路２３０では、このフレームメモリ２２０に蓄積
されている参照画像の中から、動きベクトルで指し示さ
れた位置の画像をブロック単位で切り出して、ＤＣＴ回
路２４０に供給する。そして、ＤＣＴ回路２４０では、
これをＤＣＴすることで、ＤＣＴ係数領域での動き補償
予測値として出力する。
の再生値はＩＤＣＴ回路２１０において再生画像信号に
逆変換され、フレームメモリ２２０に蓄積される。動き
補償回路２３０では、このフレームメモリ２２０に蓄積
されている参照画像の中から、動きベクトルで指し示さ
れた位置の画像をブロック単位で切り出して、ＤＣＴ回
路２４０に供給する。そして、ＤＣＴ回路２４０では、
これをＤＣＴすることで、ＤＣＴ係数領域での動き補償
予測値として出力する。
【００９２】このようにして、ＤＣＴ係数領域での動き
補償予測値を求めることができる。
補償予測値を求めることができる。
【００９３】以上は符号化装置の説明であった。つぎに
復号化装置について説明する。
復号化装置について説明する。
【００９４】《復号化装置の構成》図４は、本発明の第
１の具体例における復号化装置のブロック図である。
１の具体例における復号化装置のブロック図である。
【００９５】図に示すように、本発明の復号化装置は、
可変長復号化回路１４３、分離化回路１５２，１５３、
入力バッファ１６２，１６３、逆量子化回路１７２，１
７３、加算回路１９３、動き補償予測装置２０３、可変
長復号化回路１４２、入力バッファ１６２、加算回路１
８１，１９２、セレクタ３００、動き補償予測装置２０
２、２値化回路３１０、逆量子化回路１７３とから構成
される。
可変長復号化回路１４３、分離化回路１５２，１５３、
入力バッファ１６２，１６３、逆量子化回路１７２，１
７３、加算回路１９３、動き補償予測装置２０３、可変
長復号化回路１４２、入力バッファ１６２、加算回路１
８１，１９２、セレクタ３００、動き補償予測装置２０
２、２値化回路３１０、逆量子化回路１７３とから構成
される。
【００９６】これらのうち、入力バッファ１６２、分離
化回路１５２、可変長復号化回路１４２、逆量子化回路
１７２、加算回路１８１，１９２、セレクタ３００、動
き補償予測装置２０２によりエンハンスメントレイヤを
構成しており、入力バッファ１６３、分離化回路１５
３、可変長復号化回路１４３、逆量子化回路１７３、加
算回路１９３、２値化回路３１０、動き補償予測装置２
０３によりベースレイヤを構成している。
化回路１５２、可変長復号化回路１４２、逆量子化回路
１７２、加算回路１８１，１９２、セレクタ３００、動
き補償予測装置２０２によりエンハンスメントレイヤを
構成しており、入力バッファ１６３、分離化回路１５
３、可変長復号化回路１４３、逆量子化回路１７３、加
算回路１９３、２値化回路３１０、動き補償予測装置２
０３によりベースレイヤを構成している。
【００９７】エンハンスメントレイヤにおける入力バッ
ファ１６２は、符号化され多重化されたエンハンスメン
トレイヤにおけるビットストリーム２２を受けてこれを
一時保持するものであり、分離化回路１５２はこの入力
バッファ１６２を介して得られるビットストリーム２２
を分離化して、多重化されていた信号を元のかたちに分
離してサイドインフォメーションの情報の符号化情報と
画像の差分値出力信号ＥC の符号化情報に戻す回路であ
る。
ファ１６２は、符号化され多重化されたエンハンスメン
トレイヤにおけるビットストリーム２２を受けてこれを
一時保持するものであり、分離化回路１５２はこの入力
バッファ１６２を介して得られるビットストリーム２２
を分離化して、多重化されていた信号を元のかたちに分
離してサイドインフォメーションの情報の符号化情報と
画像の差分値出力信号ＥC の符号化情報に戻す回路であ
る。
【００９８】可変長復号化回路１４２はこの分離化回路
１５２で分離された符号化信号を可変長復号化して元の
サイドインフォメーションの情報と画像の差分値出力信
号ＥC に復元するものである。また、逆量子化回路１７
２はこの復元されたサイドインフォメーションの情報に
おける量子化スケールＱ_scaleの情報を元に、この可変
長復号化回路１４２からの画像の差分値出力信号ＥC を
逆量子化して出力するものであり、加算回路１８１はこ
の逆量子化された信号と、ベースレイヤ用の逆量子化回
路１７３からの逆量子化出力を加算するものである。
１５２で分離された符号化信号を可変長復号化して元の
サイドインフォメーションの情報と画像の差分値出力信
号ＥC に復元するものである。また、逆量子化回路１７
２はこの復元されたサイドインフォメーションの情報に
おける量子化スケールＱ_scaleの情報を元に、この可変
長復号化回路１４２からの画像の差分値出力信号ＥC を
逆量子化して出力するものであり、加算回路１８１はこ
の逆量子化された信号と、ベースレイヤ用の逆量子化回
路１７３からの逆量子化出力を加算するものである。
【００９９】また、加算回路１９２はこの加算回路１８
１の出力とセレクタ３００からの出力Ｅp を加算して出
力するものであり、動き補償予測装置２０２はこの加算
回路１９２出力とベースレイヤ用の可変長復号化回路１
４３からの出力である復号化された画像の差分値出力信
号ＥC を受けて動き補償予測値ＥMCを得るものである。
この動き補償予測装置２０２の出力する動き補償予測値
ＥMCは、エンハンスメントレイヤの出力４０となる他、
セレクタ３００の一方の入力として利用される。
１の出力とセレクタ３００からの出力Ｅp を加算して出
力するものであり、動き補償予測装置２０２はこの加算
回路１９２出力とベースレイヤ用の可変長復号化回路１
４３からの出力である復号化された画像の差分値出力信
号ＥC を受けて動き補償予測値ＥMCを得るものである。
この動き補償予測装置２０２の出力する動き補償予測値
ＥMCは、エンハンスメントレイヤの出力４０となる他、
セレクタ３００の一方の入力として利用される。
【０１００】セレクタ３００は、エンハンスメントレイ
ヤ用の動き補償予測装置２０２の出力（動き補償予測値
ＥMC）とベースレイヤ用の動き補償予測装置２０３の出
力を入力とし、２値化回路３１０の出力に応じてこれら
のうちの一方を選択して出力する回路である。
ヤ用の動き補償予測装置２０２の出力（動き補償予測値
ＥMC）とベースレイヤ用の動き補償予測装置２０３の出
力を入力とし、２値化回路３１０の出力に応じてこれら
のうちの一方を選択して出力する回路である。
【０１０１】入力バッファ１６３は、符号化され多重化
されて入力されたベースレイヤ用のビットストリーム２
３を受けてこれを一時保持するものであり、分離化回路
１５３はこの入力バッファ１６３を介して得られるビッ
トストリーム２３を分離化して、多重化されていた信号
を元のかたちに分離してサイドインフォメーションの情
報の符号化情報と画像の差分値出力信号ＥC の符号化情
報に戻す回路である。
されて入力されたベースレイヤ用のビットストリーム２
３を受けてこれを一時保持するものであり、分離化回路
１５３はこの入力バッファ１６３を介して得られるビッ
トストリーム２３を分離化して、多重化されていた信号
を元のかたちに分離してサイドインフォメーションの情
報の符号化情報と画像の差分値出力信号ＥC の符号化情
報に戻す回路である。
【０１０２】可変長復号化回路１４３はこの分離化回路
１５３で分離された符号化信号を可変長復号化して元の
サイドインフォメーションの情報と画像の差分値出力信
号ＥC に復元するものである。また、逆量子化回路１７
３はこの復元されたサイドインフォメーションの情報に
おける量子化スケールＱ_scaleの情報を元に、この可変
長復号化回路１４３からの画像の差分値出力信号ＥC を
逆量子化して加算回路１８１と１９３に与えるものであ
り、加算回路１９３はこの逆量子化された信号と、ベー
スレイヤ用の動き補償予測装置２０３からの動き補償予
測値ＥMCを受けて、両者を加算するものである。
１５３で分離された符号化信号を可変長復号化して元の
サイドインフォメーションの情報と画像の差分値出力信
号ＥC に復元するものである。また、逆量子化回路１７
３はこの復元されたサイドインフォメーションの情報に
おける量子化スケールＱ_scaleの情報を元に、この可変
長復号化回路１４３からの画像の差分値出力信号ＥC を
逆量子化して加算回路１８１と１９３に与えるものであ
り、加算回路１９３はこの逆量子化された信号と、ベー
スレイヤ用の動き補償予測装置２０３からの動き補償予
測値ＥMCを受けて、両者を加算するものである。
【０１０３】動き補償予測装置２０３はこの加算回路１
９３の出力と１画面前の自己の出力である動き補償予測
値ＥMCを受けて現在の画面の動き補償予測値ＥMCを得る
ものである。この動き補償予測装置２０３の出力する動
き補償予測値ＥMCは、ベースレイヤの出力４１となる
他、セレクタ３００の他方の入力として利用される。
９３の出力と１画面前の自己の出力である動き補償予測
値ＥMCを受けて現在の画面の動き補償予測値ＥMCを得る
ものである。この動き補償予測装置２０３の出力する動
き補償予測値ＥMCは、ベースレイヤの出力４１となる
他、セレクタ３００の他方の入力として利用される。
【０１０４】つぎにこのような構成の復号化装置の作用
を説明する。この装置においては、ベースレイヤのビッ
トストリーム２３が、入力バッファ１６３に与えられ、
エンハンスメントレイヤのビットストリーム２２が、入
力バッファ１６２に与えられる。
を説明する。この装置においては、ベースレイヤのビッ
トストリーム２３が、入力バッファ１６３に与えられ、
エンハンスメントレイヤのビットストリーム２２が、入
力バッファ１６２に与えられる。
【０１０５】そして、入力されたベースレイヤのビット
ストリーム２３は、入力バッファ１６３に蓄積された
後、分離化回路１５３に供給される。そして、分離化回
路１５３で元の信号種別対応に信号分離される。すなわ
ち、ビットストリーム２３は変換係数の量子化値や動き
ベクトル、量子化スケール等のサイドインフォメーショ
ン情報の信号が多重化されており、この分離化回路１５
３に与えることによって変換係数の量子化値や動きベク
トル、そして、サイドインフォメーションの情報におけ
る量子化スケールＱ_scale等といった元の符号に分離す
る。
ストリーム２３は、入力バッファ１６３に蓄積された
後、分離化回路１５３に供給される。そして、分離化回
路１５３で元の信号種別対応に信号分離される。すなわ
ち、ビットストリーム２３は変換係数の量子化値や動き
ベクトル、量子化スケール等のサイドインフォメーショ
ン情報の信号が多重化されており、この分離化回路１５
３に与えることによって変換係数の量子化値や動きベク
トル、そして、サイドインフォメーションの情報におけ
る量子化スケールＱ_scale等といった元の符号に分離す
る。
【０１０６】分離化回路１５３で分離された符号は、各
々、可変長復号化回路１４３に供給され、変換係数の量
子化値、動きベクトル、量子化スケールＱ_scale等の信
号に復号される。そして、復号された信号のうち、動き
ベクトルは動き補償予測装置２０３に与えられ、また、
変換係数の量子化値と量子化スケールＱ_scaleは、逆量
子化回路１７３に与えられ、当該逆量子化回路１７３に
おいて変換係数の量子化値は量子化スケールＱ_scale対
応に逆量子化された後、加算回路１９３に供給される。
々、可変長復号化回路１４３に供給され、変換係数の量
子化値、動きベクトル、量子化スケールＱ_scale等の信
号に復号される。そして、復号された信号のうち、動き
ベクトルは動き補償予測装置２０３に与えられ、また、
変換係数の量子化値と量子化スケールＱ_scaleは、逆量
子化回路１７３に与えられ、当該逆量子化回路１７３に
おいて変換係数の量子化値は量子化スケールＱ_scale対
応に逆量子化された後、加算回路１９３に供給される。
【０１０７】加算回路１９３では、この逆量子化された
変換係数と、動き補償予測装置２０３より供給される変
換係数領域での動き補償予測値とが加算され、変換係数
領域での再生値が求められる。
変換係数と、動き補償予測装置２０３より供給される変
換係数領域での動き補償予測値とが加算され、変換係数
領域での再生値が求められる。
【０１０８】この再生値は、動き補償予測装置２０３に
供給される。動き補償予測装置２０３の構成は図３に示
す如きの構成であり、加算回路１９３から与えられた再
生値は動き補償予測装置２０３内のＩＤＣＴ回路２１０
において逆直交変換されて再生画像信号４１として出力
されると共に、動き補償予測装置２０３内のフレームメ
モリ２２０に蓄積される。
供給される。動き補償予測装置２０３の構成は図３に示
す如きの構成であり、加算回路１９３から与えられた再
生値は動き補償予測装置２０３内のＩＤＣＴ回路２１０
において逆直交変換されて再生画像信号４１として出力
されると共に、動き補償予測装置２０３内のフレームメ
モリ２２０に蓄積される。
【０１０９】動き補償予測装置２０３では、動き補償回
路２３０がこのフレームメモリ２２０に蓄積されている
画像信号（参照画像）の中から、前記与えられた動きベ
クトルを元に、当該動きベクトルで指し示された位置の
画像をブロック単位で切り出す。そして、ＤＣＴ回路２
４０はこの切り出した画像を直交変換（ＤＣＴ）して変
換係数出力ＢMCとして加算回路１９３およびセレクタ３
００に出力する。
路２３０がこのフレームメモリ２２０に蓄積されている
画像信号（参照画像）の中から、前記与えられた動きベ
クトルを元に、当該動きベクトルで指し示された位置の
画像をブロック単位で切り出す。そして、ＤＣＴ回路２
４０はこの切り出した画像を直交変換（ＤＣＴ）して変
換係数出力ＢMCとして加算回路１９３およびセレクタ３
００に出力する。
【０１１０】一方、エンハンスメントレイヤにはエンハ
ンスメントレイヤ用のビットストリーム２２が供給さ
れ、このビットストリーム２２は、エンハンスメントレ
イヤ用の入力バッファ１６２に蓄積された後、分離化回
路１５２に供給される。
ンスメントレイヤ用のビットストリーム２２が供給さ
れ、このビットストリーム２２は、エンハンスメントレ
イヤ用の入力バッファ１６２に蓄積された後、分離化回
路１５２に供給される。
【０１１１】そして、分離化回路１５２で分離される。
すなわち、ビットストリーム２２は変換係数の量子化値
や動きベクトル、量子化スケールＱ_scaleの情報等の信
号が多重化されており、この分離化回路１５２に与える
ことによって変換係数の量子化値や動きベクトル、量子
化スケールＱ_scaleの情報等の元の符号に分離する。
すなわち、ビットストリーム２２は変換係数の量子化値
や動きベクトル、量子化スケールＱ_scaleの情報等の信
号が多重化されており、この分離化回路１５２に与える
ことによって変換係数の量子化値や動きベクトル、量子
化スケールＱ_scaleの情報等の元の符号に分離する。
【０１１２】分離化回路１５２で分離された変換係数の
量子化値や動きベクトル等の符号は、各々、可変長復号
化回路１４２に供給され、変換係数の量子化値、動きベ
クトル等の信号に復号される。そして、復号された信号
のうち、動きベクトルは動き補償予測装置２０２に与え
られ、また、変換係数の量子化値は量子化スケールＱ_s
caleと共に、逆量子化回路１７２に与えられ、ここで当
該量子化スケールＱ_scale対応に前記変換係数の量子化
値は逆量子化された後、加算回路１８１に供給され、逆
量子化回路１７３から供給されるベースレイヤの逆量子
化値３１と加算されてから、加算回路１９２に供給され
る。
量子化値や動きベクトル等の符号は、各々、可変長復号
化回路１４２に供給され、変換係数の量子化値、動きベ
クトル等の信号に復号される。そして、復号された信号
のうち、動きベクトルは動き補償予測装置２０２に与え
られ、また、変換係数の量子化値は量子化スケールＱ_s
caleと共に、逆量子化回路１７２に与えられ、ここで当
該量子化スケールＱ_scale対応に前記変換係数の量子化
値は逆量子化された後、加算回路１８１に供給され、逆
量子化回路１７３から供給されるベースレイヤの逆量子
化値３１と加算されてから、加算回路１９２に供給され
る。
【０１１３】加算回路１９３では、加算回路１８１の出
力とセレクタ３００より供給される信号ＥP とが加算さ
れ、変換係数領域での再生値が求められる。この再生値
は、動き補償予測装置２０２に供給される。動き補償予
測装置２０２は図３に示す如きの構成であり、前記再生
値はこの動き補償予測装置２０２内のＩＤＣＴ回路２１
０にて逆直交変換されて再生画像信号４０として出力さ
れると共に、動き補償予測装置２０２内のフレームメモ
リ２２０に蓄積される。
力とセレクタ３００より供給される信号ＥP とが加算さ
れ、変換係数領域での再生値が求められる。この再生値
は、動き補償予測装置２０２に供給される。動き補償予
測装置２０２は図３に示す如きの構成であり、前記再生
値はこの動き補償予測装置２０２内のＩＤＣＴ回路２１
０にて逆直交変換されて再生画像信号４０として出力さ
れると共に、動き補償予測装置２０２内のフレームメモ
リ２２０に蓄積される。
【０１１４】動き補償予測装置２０２では、動き補償回
路２３０がこのフレームメモリ２２０に蓄積されている
画像信号（参照画像）の中から、前記与えられた動きベ
クトルを元に、当該動きベクトルで指し示された位置の
画像をブロック単位で切り出す。そして、ＤＣＴ回路２
４０はこの切り出した画像を直交変換（ＤＣＴ）して変
換係数出力ＢMCとしてセレクタ３００に出力する。
路２３０がこのフレームメモリ２２０に蓄積されている
画像信号（参照画像）の中から、前記与えられた動きベ
クトルを元に、当該動きベクトルで指し示された位置の
画像をブロック単位で切り出す。そして、ＤＣＴ回路２
４０はこの切り出した画像を直交変換（ＤＣＴ）して変
換係数出力ＢMCとしてセレクタ３００に出力する。
【０１１５】一方、セレクタ３００には、２値化回路３
１０の判定結果が与えられて前記ＢMCとＥMCのうちの一
方を選択する。
１０の判定結果が与えられて前記ＢMCとＥMCのうちの一
方を選択する。
【０１１６】すなわち、２値化回路３１０にはベースレ
イヤにおける可変長復号化回路１４３の出力ＢQ が与え
られ、当該２値化回路３１０はその値が“０”であるか
否かを、判定する。この判定結果はセレクタ３００に与
えられる。
イヤにおける可変長復号化回路１４３の出力ＢQ が与え
られ、当該２値化回路３１０はその値が“０”であるか
否かを、判定する。この判定結果はセレクタ３００に与
えられる。
【０１１７】そして、セレクタ３００は、可変長復号化
回路１４３の出力ＢQ の値が“０”であれば、動き補償
予測装置２０２の変換係数出力ＥMCを選択し、“１”で
あれば動き補償予測装置２０３の変換係数出力ＢMCを選
択する。
回路１４３の出力ＢQ の値が“０”であれば、動き補償
予測装置２０２の変換係数出力ＥMCを選択し、“１”で
あれば動き補償予測装置２０３の変換係数出力ＢMCを選
択する。
【０１１８】すなわち、２値化回路３１０はベースレイ
ヤにおける可変長復号化回路１４３の出力ＢQ の値が
“０”である場合には“０”を、“０”でなければ
“１”を出力するので、この２値化回路３１０の出力が
“０”であるときにＥMCを、そして、“１”である時に
ＢMCを、セレクタ３００に選択させることにより、可変
長復号化回路１４３の出力ＢQ が“０”である位置の変
換係数には、エンハンスレイヤ側の動き補償予測装置２
０２の変換係数出力ＥMCを、そして、可変長復号化回路
１４３の出力ＢQ が“０”でない位置の変換係数には、
ベースレイヤ側の動き補償予測装置２０３の変換係数出
力ＢMCを当て嵌めるといった処理がなされることにな
る。
ヤにおける可変長復号化回路１４３の出力ＢQ の値が
“０”である場合には“０”を、“０”でなければ
“１”を出力するので、この２値化回路３１０の出力が
“０”であるときにＥMCを、そして、“１”である時に
ＢMCを、セレクタ３００に選択させることにより、可変
長復号化回路１４３の出力ＢQ が“０”である位置の変
換係数には、エンハンスレイヤ側の動き補償予測装置２
０２の変換係数出力ＥMCを、そして、可変長復号化回路
１４３の出力ＢQ が“０”でない位置の変換係数には、
ベースレイヤ側の動き補償予測装置２０３の変換係数出
力ＢMCを当て嵌めるといった処理がなされることにな
る。
【０１１９】ここで、ベースレイヤにおける可変長復号
化回路１４３の出力は、符号化側において求めた動き補
償予測誤差信号と動きベクトルとを含んでいる。
化回路１４３の出力は、符号化側において求めた動き補
償予測誤差信号と動きベクトルとを含んでいる。
【０１２０】そして、これらの信号は動き補償予測装置
２０３に与えられることにより、動き補償予測装置２０
３では、１画面前の画像と現在の画像との動き補償予測
誤差分を得る。
２０３に与えられることにより、動き補償予測装置２０
３では、１画面前の画像と現在の画像との動き補償予測
誤差分を得る。
【０１２１】また、一方、２値化回路３１０には可変長
復号化回路１４３からの復号されたベースレイヤ用動き
補償予測値信号が与えられ、２値化回路３１０は、この
信号の値が“０”ならば“０”を、そして、“０”以外
であれば“１”を出力してセレクタ３００に与える。
復号化回路１４３からの復号されたベースレイヤ用動き
補償予測値信号が与えられ、２値化回路３１０は、この
信号の値が“０”ならば“０”を、そして、“０”以外
であれば“１”を出力してセレクタ３００に与える。
【０１２２】そして、セレクタ３００は、２値化回路３
１０の出力が“０”ならばより符号化歪の少ないエンハ
ンスメントレイヤ用動き補償予測装置２０３の出力ＥMC
を選択し、“１”であればそれよりも符号化歪みの大き
いベースレイヤ用動き補償予測装置２０２の変換係数出
力ＢMCを選択する。
１０の出力が“０”ならばより符号化歪の少ないエンハ
ンスメントレイヤ用動き補償予測装置２０３の出力ＥMC
を選択し、“１”であればそれよりも符号化歪みの大き
いベースレイヤ用動き補償予測装置２０２の変換係数出
力ＢMCを選択する。
【０１２３】結局、ここでの処理は、ベースレイヤ用の
動き補償予測で得たＤＣＴ係数の誤差が零であれば、エ
ンハンスメントレイヤ用動き補償予測装置２００の変換
係数出力ＥMCの再生値である動き補償予測装置２０２の
出力を選択し、“１”であればベースレイヤ用動き補償
予測装置２０１の変換係数出力ＢMCの再生値である動き
補償予測装置２０３の出力を選択する。
動き補償予測で得たＤＣＴ係数の誤差が零であれば、エ
ンハンスメントレイヤ用動き補償予測装置２００の変換
係数出力ＥMCの再生値である動き補償予測装置２０２の
出力を選択し、“１”であればベースレイヤ用動き補償
予測装置２０１の変換係数出力ＢMCの再生値である動き
補償予測装置２０３の出力を選択する。
【０１２４】これは符号化装置側での処理と同様の処理
となる。
となる。
【０１２５】従って、エンハンスメントレイヤにおける
動き補償予測の変換係数出力は、符号化側での選択同様
に、動き補償予測が外れている部分ではベースレイヤ用
のものを、当たっている部分では符号化歪みの少ないエ
ンハンスメントレイヤ用のものを使用することになり、
符号化装置側でのこのような切り替えに追従して、画像
再生を支障なく行えるようになる。
動き補償予測の変換係数出力は、符号化側での選択同様
に、動き補償予測が外れている部分ではベースレイヤ用
のものを、当たっている部分では符号化歪みの少ないエ
ンハンスメントレイヤ用のものを使用することになり、
符号化装置側でのこのような切り替えに追従して、画像
再生を支障なく行えるようになる。
【０１２６】以上の第１の具体例は、動画像の画面を所
定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換
することにより、空間周波数の帯域別に分けた変換係数
を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域
で、上位および下位の階層別に動き補償を行う動画像の
符号化において、動き補償を行う際に、下位階層（ベー
スレイヤ）についての既に復号済みの量子化値に基づい
て動き補償予測の当り外れを判定し、動き補償予測が当
っている場合は上位階層（エンハンスメントレイヤ）用
に求めた符号化歪みの少ない動き補償予測値を用い、動
き補償予測が外れている場合は下位階層（ベースレイ
ヤ）用に求めたエンハンスメントレイヤ用より符号化歪
みの多い動き補償予測値を用いて上位階層の符号化を行
うようにしたものであり、これにより、動き補償予測の
外れた係数に対する符号化効率を改善して符号化効率の
低下の少ない符号化を可能にする符号化方式を実現する
ことができるようになる。
定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換
することにより、空間周波数の帯域別に分けた変換係数
を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域
で、上位および下位の階層別に動き補償を行う動画像の
符号化において、動き補償を行う際に、下位階層（ベー
スレイヤ）についての既に復号済みの量子化値に基づい
て動き補償予測の当り外れを判定し、動き補償予測が当
っている場合は上位階層（エンハンスメントレイヤ）用
に求めた符号化歪みの少ない動き補償予測値を用い、動
き補償予測が外れている場合は下位階層（ベースレイ
ヤ）用に求めたエンハンスメントレイヤ用より符号化歪
みの多い動き補償予測値を用いて上位階層の符号化を行
うようにしたものであり、これにより、動き補償予測の
外れた係数に対する符号化効率を改善して符号化効率の
低下の少ない符号化を可能にする符号化方式を実現する
ことができるようになる。
【０１２７】（第２の具体例）以上は、スケーラブル符
号化法での動画像全体の符号化を効率良く行う例であっ
たが、動画像における背景とオブジェクトを分離して符
号化する任意形状の画像の符号化に適用する例をつぎに
説明する。図５、図６および図７を用いて、本発明の第
２の具体例を説明をする。本具体例は、前記第１の具体
例の技術を、アルファマップ信号で示された任意形状の
画像に適用するものである。
号化法での動画像全体の符号化を効率良く行う例であっ
たが、動画像における背景とオブジェクトを分離して符
号化する任意形状の画像の符号化に適用する例をつぎに
説明する。図５、図６および図７を用いて、本発明の第
２の具体例を説明をする。本具体例は、前記第１の具体
例の技術を、アルファマップ信号で示された任意形状の
画像に適用するものである。
【０１２８】図５は、第２の具体例としての本発明符号
化装置のブロック図である。
化装置のブロック図である。
【０１２９】本例は、第１の具体例で説明した符号化装
置と基本構成は変わらない。従って、図１と図４に示す
構成と同一の要素については、同一符号を付してその説
明は省略する。
置と基本構成は変わらない。従って、図１と図４に示す
構成と同一の要素については、同一符号を付してその説
明は省略する。
【０１３０】《第２の具体例における符号化装置の構
成》初めに符号化装置から説明する。図５は、本発明の
符号化装置のブロック図である。この構成で図１と異な
る部分は、ＤＣＴ回路１００に代えて任意形状直交変換
回路１０１を設けたこと、入力はフレームメモリ７００
を介して受けるようにしたこと、符号化制御回路４００
に代えて４２０の符号化制御回路を設けたこと、符号化
制御回路４１０に代えて４３０の符号化制御回路を設け
たこと、エンハンスメントレイヤの動き補償予測装置２
００に代えて６００の動き補償予測装置を設けたこと、
動き補償予測装置２０１に代えて６０１の動き補償予測
装置を設けたこと、動きベクトル検出回路５００に代え
て５１０の動きベクトル検出回路を設けたこと、多重化
回路１５１に代えて１５５の多重化回路を設けたこと、
の８点である。
成》初めに符号化装置から説明する。図５は、本発明の
符号化装置のブロック図である。この構成で図１と異な
る部分は、ＤＣＴ回路１００に代えて任意形状直交変換
回路１０１を設けたこと、入力はフレームメモリ７００
を介して受けるようにしたこと、符号化制御回路４００
に代えて４２０の符号化制御回路を設けたこと、符号化
制御回路４１０に代えて４３０の符号化制御回路を設け
たこと、エンハンスメントレイヤの動き補償予測装置２
００に代えて６００の動き補償予測装置を設けたこと、
動き補償予測装置２０１に代えて６０１の動き補償予測
装置を設けたこと、動きベクトル検出回路５００に代え
て５１０の動きベクトル検出回路を設けたこと、多重化
回路１５１に代えて１５５の多重化回路を設けたこと、
の８点である。
【０１３１】フレームメモリ７００は入力画像信号をフ
レーム単位で一時保持するメモリであり、任意形状直交
変換回路１０１は別途与えられるアルファマップを参照
して、このフレームメモリ７００の画像のうちの注目領
域部分を取り出し、この注目領域部分を所要の画素サイ
ズのブロックに分割して、各ブロックについてＤＣＴを
行う回路である。
レーム単位で一時保持するメモリであり、任意形状直交
変換回路１０１は別途与えられるアルファマップを参照
して、このフレームメモリ７００の画像のうちの注目領
域部分を取り出し、この注目領域部分を所要の画素サイ
ズのブロックに分割して、各ブロックについてＤＣＴを
行う回路である。
【０１３２】また、符号化制御回路４２０は、アルファ
マップを参照し、出力バッファ１６０の出力するバッフ
ァ内容量情報対応にエンハンスメントスレイヤ用の最適
な量子化スケールを与える量子化スケールＱ_scaleとサ
イドインフォメーション情報を発生するものであり、符
号化制御回路４３０は、アルファマップを参照し、出力
バッファ１６１の出力するバッファ内容量情報対応にベ
ースレイヤ用の最適な量子化スケールを与える量子化ス
ケールＱ_scaleとサイドインフォメーション情報を発生
するものである。
マップを参照し、出力バッファ１６０の出力するバッフ
ァ内容量情報対応にエンハンスメントスレイヤ用の最適
な量子化スケールを与える量子化スケールＱ_scaleとサ
イドインフォメーション情報を発生するものであり、符
号化制御回路４３０は、アルファマップを参照し、出力
バッファ１６１の出力するバッファ内容量情報対応にベ
ースレイヤ用の最適な量子化スケールを与える量子化ス
ケールＱ_scaleとサイドインフォメーション情報を発生
するものである。
【０１３３】また、動き補償予測装置６００は、アルフ
ァマップを参照し、加算回路１９０から供給される変換
係数領域での再生値と１画面前の同再生値とから注目領
域部分の画像の動き補償予測を行うものであり、動き補
償予測装置６０１は、アルファマップを参照し、加算回
路１９１から供給される変換係数領域での再生値と１画
面前の同再生値とから注目領域部分の画像の動き補償予
測を行うものである。
ァマップを参照し、加算回路１９０から供給される変換
係数領域での再生値と１画面前の同再生値とから注目領
域部分の画像の動き補償予測を行うものであり、動き補
償予測装置６０１は、アルファマップを参照し、加算回
路１９１から供給される変換係数領域での再生値と１画
面前の同再生値とから注目領域部分の画像の動き補償予
測を行うものである。
【０１３４】また、動きベクトル検出回路５１０は、ア
ルファマップを参照して、フレームメモリ７００の画像
のうちの注目領域部分の画像の動きベクトルを検出する
ものである。
ルファマップを参照して、フレームメモリ７００の画像
のうちの注目領域部分の画像の動きベクトルを検出する
ものである。
【０１３５】多重化回路１５５は、ベースレイヤ用のも
のであり、可変長符号化回路１４１から受ける予測誤差
信号の可変長符号化した符号、量子化スケール情報を含
むモード情報等のサイドインフォメーション情報の可変
長符号化した符号、および、動きベクトルの可変長符号
化した符号と、別途与えられるアルファマップのコード
（alpha-code）を多重化して出力バッファ１６１に供給
する構成である。
のであり、可変長符号化回路１４１から受ける予測誤差
信号の可変長符号化した符号、量子化スケール情報を含
むモード情報等のサイドインフォメーション情報の可変
長符号化した符号、および、動きベクトルの可変長符号
化した符号と、別途与えられるアルファマップのコード
（alpha-code）を多重化して出力バッファ１６１に供給
する構成である。
【０１３６】このような構成の本装置は、画像信号１０
を入力すると、この画像信号１０は一旦、フレームメモ
リ７００に蓄積され、読み出されて任意形状直交変換回
路１０１と動きベクトル検出回路５１０に与えられる。
任意形状直交変換回路１０１には、この画像信号１０の
他に、画像の背景部分と目的部分とを区別するためのマ
ップ情報の信号であるアルファマップ信号５０が入力さ
れる。
を入力すると、この画像信号１０は一旦、フレームメモ
リ７００に蓄積され、読み出されて任意形状直交変換回
路１０１と動きベクトル検出回路５１０に与えられる。
任意形状直交変換回路１０１には、この画像信号１０の
他に、画像の背景部分と目的部分とを区別するためのマ
ップ情報の信号であるアルファマップ信号５０が入力さ
れる。
【０１３７】ここでアルファマップ信号は、例えば、ク
ロマキィ技術等の応用により、取得することができるも
ので、例えば人物（オブジェクト）と背景（バックグラ
ウンド）とを区別するアルファマップの場合、人物像を
クロマキィ技術でとらえて、そのとらえた画像を２値化
することにより、人物像領域が“１”、背景領域が
“０”のビットマップ形式の画像が得られるので、それ
を用いれば良い。
ロマキィ技術等の応用により、取得することができるも
ので、例えば人物（オブジェクト）と背景（バックグラ
ウンド）とを区別するアルファマップの場合、人物像を
クロマキィ技術でとらえて、そのとらえた画像を２値化
することにより、人物像領域が“１”、背景領域が
“０”のビットマップ形式の画像が得られるので、それ
を用いれば良い。
【０１３８】任意形状直交変換回路１０１ではこのアル
ファマップ信号を参照して、画像の注目領域がどこであ
るかを知り、その注目領域について、Ｎ×Ｎ画素構成の
正方形ブロックに画像を分割し、その分割ブロック毎に
直交変換してＮ×Ｎ個の変換係数にする。アルファマッ
プを利用した画像の任意形状領域の直交変換技術として
は、本件発明者らが既に技術を確立させて特許出願済み
の前述の特願平７‐９７０７３号に開示した手法を用い
れば良い。
ファマップ信号を参照して、画像の注目領域がどこであ
るかを知り、その注目領域について、Ｎ×Ｎ画素構成の
正方形ブロックに画像を分割し、その分割ブロック毎に
直交変換してＮ×Ｎ個の変換係数にする。アルファマッ
プを利用した画像の任意形状領域の直交変換技術として
は、本件発明者らが既に技術を確立させて特許出願済み
の前述の特願平７‐９７０７３号に開示した手法を用い
れば良い。
【０１３９】第２の具体例における符号化装置の処理動
作の説明の途中であるが、ここで変形例として段差を小
さくするための処理例に触れておく。
作の説明の途中であるが、ここで変形例として段差を小
さくするための処理例に触れておく。
【０１４０】上述の第２の具体例による手法によると、
背景にはオブジェクトの平均値が配置されるのである
が、この処理に加えて、オブジェクトの画素値をその平
均値を中心にして所定のスケーリング係数で縮小する
と、オブジェクトと背景の境界の画素値の段差を小さく
することができる。その詳細を説明する。
背景にはオブジェクトの平均値が配置されるのである
が、この処理に加えて、オブジェクトの画素値をその平
均値を中心にして所定のスケーリング係数で縮小する
と、オブジェクトと背景の境界の画素値の段差を小さく
することができる。その詳細を説明する。
【０１４１】＜段差を小さくするための処理例＞ ［オブジェクト部分に縮小処理を加える例］オブジェク
トと背景の境界の画素値の段差を小さくするために、オ
ブジェクトの画素値をその平均値を中心にして所定のス
ケーリング係数で縮小する例を図２０と図２１に示す。
実際の画像は２次元の信号であるが、ここでは簡単のた
め、１次元の信号とした。これらの図においては縦軸に
は画素値を、横軸には画素列をとっており、画素列ｅの
位置よりも左側がオブジェクトの領域、右側が背景の領
域であるものとする。図２０は背景部分にオブジェクト
の画素値平均値ａを配置した状態を示す。
トと背景の境界の画素値の段差を小さくするために、オ
ブジェクトの画素値をその平均値を中心にして所定のス
ケーリング係数で縮小する例を図２０と図２１に示す。
実際の画像は２次元の信号であるが、ここでは簡単のた
め、１次元の信号とした。これらの図においては縦軸に
は画素値を、横軸には画素列をとっており、画素列ｅの
位置よりも左側がオブジェクトの領域、右側が背景の領
域であるものとする。図２０は背景部分にオブジェクト
の画素値平均値ａを配置した状態を示す。
【０１４２】これに対して画素値平均値ａを中心に、縮
小した結果を図２１に示す。これを式で表すと縮小前の
輝度値をｘ、縮小後の輝度値をｙとした場合、縮小後の
輝度値ｙは、 ｙ＝ｃ×（ｘ−ａ）＋ａ と表すことができる。ここで、ｃは“０”と“１”の間
の定数である。
小した結果を図２１に示す。これを式で表すと縮小前の
輝度値をｘ、縮小後の輝度値をｙとした場合、縮小後の
輝度値ｙは、 ｙ＝ｃ×（ｘ−ａ）＋ａ と表すことができる。ここで、ｃは“０”と“１”の間
の定数である。
【０１４３】また、この例のように、縮小は図２２に示
したオブジェクト内の全ての画素ｘ1 〜ｘ23に対して行
う方法もあるが、オブジェクトのうち、背景部分との境
界に近い面素ｘ1 〜ｘ8 に対してのみ、縮小を行うよう
にしても段差は小さくなる。このようにすると、境界に
近いか否かの判定の演算が必要になるが、オブジェクト
のうちの背景との境界に接しないｘ9 〜ｘ23の画素は元
のままに保たれるというメリットがある。
したオブジェクト内の全ての画素ｘ1 〜ｘ23に対して行
う方法もあるが、オブジェクトのうち、背景部分との境
界に近い面素ｘ1 〜ｘ8 に対してのみ、縮小を行うよう
にしても段差は小さくなる。このようにすると、境界に
近いか否かの判定の演算が必要になるが、オブジェクト
のうちの背景との境界に接しないｘ9 〜ｘ23の画素は元
のままに保たれるというメリットがある。
【０１４４】この例ではオブジェクト内の画素のうち、
上下左右のいずれかで背景と接しているものを境界に近
い画素と判定した。
上下左右のいずれかで背景と接しているものを境界に近
い画素と判定した。
【０１４５】以上が、オブジェクトと背景の境界の画素
値の段差を小さくするために、オブジェクトの画素値を
その平均値を中心にして所定のスケーリング係数で縮小
する例を説明したが、背景部分に処理を加えることによ
り、オブジェクトと背景の境界の画素値の段差を小さく
することもできる。その例を次に説明する。
値の段差を小さくするために、オブジェクトの画素値を
その平均値を中心にして所定のスケーリング係数で縮小
する例を説明したが、背景部分に処理を加えることによ
り、オブジェクトと背景の境界の画素値の段差を小さく
することもできる。その例を次に説明する。
【０１４６】＜段差を小さくするための処理例＞ ［背景部分に処理を加える例］背景部分に処理を加える
具体例を図２３に示す。これは、背景の画素のうち、オ
ブジェクトの領域に近いものの面素値を、段差がを小さ
くする方向に修正するものである。具体例を図２４に示
す。ここで、ｘｎ（ｎ＝１〜２３）がオブジェクトの画
素値であり、ａn （n ＝１〜４１）が背景の面素値であ
る。処理前においては、背景の面素値ａn は全て、画素
値平均値ａに等しい。
具体例を図２３に示す。これは、背景の画素のうち、オ
ブジェクトの領域に近いものの面素値を、段差がを小さ
くする方向に修正するものである。具体例を図２４に示
す。ここで、ｘｎ（ｎ＝１〜２３）がオブジェクトの画
素値であり、ａn （n ＝１〜４１）が背景の面素値であ
る。処理前においては、背景の面素値ａn は全て、画素
値平均値ａに等しい。
【０１４７】まず、上下左右のいずれかでオブジェクト
の領域の画素に接している背景画素ａ1 〜ａ9 の値をそ
の接しているオブジェクトの画素ｘn と自身の両素値の
平均値で置き換える。例えば、背景画素ａ1 は“（ａ1
＋ｘ1 ）／２”で置き換え、背景画素ａ3 は“（ａ3 ＋
ｘ2 ＋ｘ3 ）／３”で置き換える。
の領域の画素に接している背景画素ａ1 〜ａ9 の値をそ
の接しているオブジェクトの画素ｘn と自身の両素値の
平均値で置き換える。例えば、背景画素ａ1 は“（ａ1
＋ｘ1 ）／２”で置き換え、背景画素ａ3 は“（ａ3 ＋
ｘ2 ＋ｘ3 ）／３”で置き換える。
【０１４８】次に背景画素ａ1 〜ａ9 に接するａ10〜ａ
17の背景画素を、同様に例えばａ10を“（ａ10＋ａ1 ）
／２”で置き換える。ここで、背景画素ａ1 は先に置き
換えた後の値を用いる。
17の背景画素を、同様に例えばａ10を“（ａ10＋ａ1 ）
／２”で置き換える。ここで、背景画素ａ1 は先に置き
換えた後の値を用いる。
【０１４９】以下同様に、ａ18〜ａ24の背景画素の置き
換え等を順次行っていく。これにより、オブジェクトと
背景との境界部分の画素値の段差は小さくなる。
換え等を順次行っていく。これにより、オブジェクトと
背景との境界部分の画素値の段差は小さくなる。
【０１５０】以上のように、画素値を修正すると、ブロ
ックの平均値が変化してしまうので、それがもとのブロ
ック平均値になるように背景部分の面素値に補正を加え
てもよい。ここで補正とは、例えば背景の全ての画素に
一定の値を加減算したり、あるいは、境界から離れた背
景め画素値を境界に近い部分で修正した輝度値方向とは
反対の方向に修正するといったようなことを指す。
ックの平均値が変化してしまうので、それがもとのブロ
ック平均値になるように背景部分の面素値に補正を加え
てもよい。ここで補正とは、例えば背景の全ての画素に
一定の値を加減算したり、あるいは、境界から離れた背
景め画素値を境界に近い部分で修正した輝度値方向とは
反対の方向に修正するといったようなことを指す。
【０１５１】また、オブジェクト内の面素値を修正した
場合は、画像を復号した後に修正分を元に戻すことで入
力画像に近いものを得ることができる。例えば、平均値
を中心に縮小する前述した例では、符号化時に縮小した
画素の複号値をｙd とし、修正後の画素値をｘd とする
と、 ｘd ＝（ｙd −ａd ）／ｃ＋ａd のように修正する。ここで、ａd は復号画像のオブジェ
クトの平均値あるいは背景の平均値、あるいはブロック
全体の平均値である。符号化・復号化歪により、ｙd は
ｙと多少異なる値になる場合が多いが、このように修正
することで、ｘに近いｘd を得ることができる。
場合は、画像を復号した後に修正分を元に戻すことで入
力画像に近いものを得ることができる。例えば、平均値
を中心に縮小する前述した例では、符号化時に縮小した
画素の複号値をｙd とし、修正後の画素値をｘd とする
と、 ｘd ＝（ｙd −ａd ）／ｃ＋ａd のように修正する。ここで、ａd は復号画像のオブジェ
クトの平均値あるいは背景の平均値、あるいはブロック
全体の平均値である。符号化・復号化歪により、ｙd は
ｙと多少異なる値になる場合が多いが、このように修正
することで、ｘに近いｘd を得ることができる。
【０１５２】［符号化装置の構成例］以上の例の符号化
装置のブロック図を、図２５に示す。２００３は切り替
え器、２００４は判定器、２００５は切り替え器、２０
０６は符号化器、２００９は切り替え器、２０１０は縮
小器、２０１１は平均器、２０１７はＤＣＴ回路であ
る。
装置のブロック図を、図２５に示す。２００３は切り替
え器、２００４は判定器、２００５は切り替え器、２０
０６は符号化器、２００９は切り替え器、２０１０は縮
小器、２０１１は平均器、２０１７はＤＣＴ回路であ
る。
【０１５３】これらのうち、符号化器２００６は外部か
ら入力されるアルファマップ信号２００１を符号化する
ものであり、切り替え器２００３は、アルファマップ信
号２００１と画像信号２００２を入力とし、アルファマ
ップ信号２００１をもとに、画像信号２００２をオブジ
ェクト画像２００７と背景画像２００８に分別すると共
に、背景画像２００８を廃棄するものである。ここで廃
棄とは必ずしもどこか別のところへ送るという意味では
なく、そのまま放置するなりして、その後は用いないと
いう意味である。
ら入力されるアルファマップ信号２００１を符号化する
ものであり、切り替え器２００３は、アルファマップ信
号２００１と画像信号２００２を入力とし、アルファマ
ップ信号２００１をもとに、画像信号２００２をオブジ
ェクト画像２００７と背景画像２００８に分別すると共
に、背景画像２００８を廃棄するものである。ここで廃
棄とは必ずしもどこか別のところへ送るという意味では
なく、そのまま放置するなりして、その後は用いないと
いう意味である。
【０１５４】また、判定器２００４は、アルファマップ
信号２００１をもとに、切り替え器２００３を介して与
えられたオブジェクト画像２００７のうち、現在処理中
の画素である注目画素が、背景に接しているか否かを判
定し、その判定結果２０１３を切り替え器２００９に与
えるといった機能を有するものである。
信号２００１をもとに、切り替え器２００３を介して与
えられたオブジェクト画像２００７のうち、現在処理中
の画素である注目画素が、背景に接しているか否かを判
定し、その判定結果２０１３を切り替え器２００９に与
えるといった機能を有するものである。
【０１５５】平均器２０１１は、切り替え器２００３を
介して与えられるオブジェクト画像２００７から、オブ
ジェクト画像の平均値２０１２を計算して縮小器２０１
０と切り替え器２００５に出力するものであり、縮小器
２０１０はこの平均値２０１２を中心にしてオブジェク
ト画像２００７の振幅を縮小処理して縮小画像２０１４
を得ると共に、この得られた縮小画像２０１４を切り替
え器２００９に出力するものである。
介して与えられるオブジェクト画像２００７から、オブ
ジェクト画像の平均値２０１２を計算して縮小器２０１
０と切り替え器２００５に出力するものであり、縮小器
２０１０はこの平均値２０１２を中心にしてオブジェク
ト画像２００７の振幅を縮小処理して縮小画像２０１４
を得ると共に、この得られた縮小画像２０１４を切り替
え器２００９に出力するものである。
【０１５６】切り替え器２００９は、この縮小画像２０
１４と切り替え器２００３からのオブジェクト画像２０
０７を受け、判定器２００４の判定結果２０１３を用い
て、注目画素が背景に接する部分の画素である場合には
前記縮小画像２０１４をオブジェクトの符号化画像２０
１５として選択して出力し、接しない場合は前記オブジ
ェクト画像２００７をオブジェクトの符号化画像２０１
５として選択して出力するものである。
１４と切り替え器２００３からのオブジェクト画像２０
０７を受け、判定器２００４の判定結果２０１３を用い
て、注目画素が背景に接する部分の画素である場合には
前記縮小画像２０１４をオブジェクトの符号化画像２０
１５として選択して出力し、接しない場合は前記オブジ
ェクト画像２００７をオブジェクトの符号化画像２０１
５として選択して出力するものである。
【０１５７】切り替え器２００５は、アルファマップ信
号２００１と切り替え器２００９の出力するオブジェク
トの符号化画像２０１５および平均器２０１１の求めた
平均値２０１２を入力とし、前記入力されたアルファマ
ップ信号２００１に基づき、現在処理している画素であ
る注目画素がオブジェクトであればオブジェクトの符号
化面像２０１５を選択してこれを符号化画像２０１６と
して出力し、背景であれば、平均値２０１２を選択して
これを符号化画像２０１６として出力するといった機能
を有する。
号２００１と切り替え器２００９の出力するオブジェク
トの符号化画像２０１５および平均器２０１１の求めた
平均値２０１２を入力とし、前記入力されたアルファマ
ップ信号２００１に基づき、現在処理している画素であ
る注目画素がオブジェクトであればオブジェクトの符号
化面像２０１５を選択してこれを符号化画像２０１６と
して出力し、背景であれば、平均値２０１２を選択して
これを符号化画像２０１６として出力するといった機能
を有する。
【０１５８】ＤＣＴ回路２０１７は、切り替え器２００
５の出力する符号化画像２０１６をＤＣＴ処理し、変換
係数２０１８として出力するものである。
５の出力する符号化画像２０１６をＤＣＴ処理し、変換
係数２０１８として出力するものである。
【０１５９】このような構成の符号化装置においては、
外部からアルファマップ信号２００１と画像信号２００
２と画像信号２００２とが入力される。そして、これら
のうち、アルファマップ信号２００１は切り替え器２０
０３と判定器２００４、切り替え器２００５および符号
化器２００６にそれぞれ送られ、また、画像信号２００
２は切り替え器２００３に送られる。
外部からアルファマップ信号２００１と画像信号２００
２と画像信号２００２とが入力される。そして、これら
のうち、アルファマップ信号２００１は切り替え器２０
０３と判定器２００４、切り替え器２００５および符号
化器２００６にそれぞれ送られ、また、画像信号２００
２は切り替え器２００３に送られる。
【０１６０】切り替え器２００３では、入力されたアル
ファマップ信号２００１をもとに、画像信号２００２を
オブジェクト画像２００７と背景画像２００８に分別
し、背景画像２００８は廃棄する。上述したように、廃
棄とは必ずしもどこか別のところへ送るという意味では
なく、そのまま放置するなりして、その後は用いないと
いう意味である。
ファマップ信号２００１をもとに、画像信号２００２を
オブジェクト画像２００７と背景画像２００８に分別
し、背景画像２００８は廃棄する。上述したように、廃
棄とは必ずしもどこか別のところへ送るという意味では
なく、そのまま放置するなりして、その後は用いないと
いう意味である。
【０１６１】切り替え器２００３が分別したオブジェク
ト画像２００７は切り替え器２００９と縮小器２０１
０、平均器２０１１に送られる。そして、平均器２０１
１ではオブジェクト画像の平均値２０１２が計算され、
その平均値２０１２は縮小器２０１０と切り替え器２０
０５に送られる。縮小器２０１０では平均値２０１２を
中心にしてオブジェクト画像２００７の振幅を縮小処理
し、この縮小処理によって得た縮小画像２０１４を切り
替え器２００９に送る。
ト画像２００７は切り替え器２００９と縮小器２０１
０、平均器２０１１に送られる。そして、平均器２０１
１ではオブジェクト画像の平均値２０１２が計算され、
その平均値２０１２は縮小器２０１０と切り替え器２０
０５に送られる。縮小器２０１０では平均値２０１２を
中心にしてオブジェクト画像２００７の振幅を縮小処理
し、この縮小処理によって得た縮小画像２０１４を切り
替え器２００９に送る。
【０１６２】一方、アルファマップ信号２００１を受け
た判定器２００４ではオブジェクト画像のうち、現在処
理中の画素である注目画素が背景に接しているか否かを
判定し、その判定結果２０１３が切り替え器２００９に
送られる。切り替え器２００９では、判定器２００４か
らの判定結果２０１３により、注目画素が背景に接する
場合には縮小画像２０１４をオブジェクトの符号化画像
２０１５として選択し、接しない場合はオブジェク卜画
像２００７をオブジェクトの符号化画像２０１５として
選択して出力する。
た判定器２００４ではオブジェクト画像のうち、現在処
理中の画素である注目画素が背景に接しているか否かを
判定し、その判定結果２０１３が切り替え器２００９に
送られる。切り替え器２００９では、判定器２００４か
らの判定結果２０１３により、注目画素が背景に接する
場合には縮小画像２０１４をオブジェクトの符号化画像
２０１５として選択し、接しない場合はオブジェク卜画
像２００７をオブジェクトの符号化画像２０１５として
選択して出力する。
【０１６３】切り替え器２００９から出力されたオブジ
ェクトの符号化画像２０１５は切り替え器２００５に送
られ、切り替え器２００５ではアルファマップ信号２０
０１を参照して、注目画素がオブジェクトであればオブ
ジェクトの符号化面像２０１５を符号化画像２０１６と
し、背景であれば、平均値２０１２を符号化画像２０１
６として選択して出力する。
ェクトの符号化画像２０１５は切り替え器２００５に送
られ、切り替え器２００５ではアルファマップ信号２０
０１を参照して、注目画素がオブジェクトであればオブ
ジェクトの符号化面像２０１５を符号化画像２０１６と
し、背景であれば、平均値２０１２を符号化画像２０１
６として選択して出力する。
【０１６４】切り替え器２００５から出力された符号化
画像２０１６はＤＣＴ回路２０１７に送られてここでＤ
ＣＴが施されて、変換係数２０１８が求められ、この変
換係数２０１８が外部に出力される。また、アルファマ
ップ信号２００１は符号化器２００６で符号化され、ア
ルファマップの符号２０１９として外部に出力される。
画像２０１６はＤＣＴ回路２０１７に送られてここでＤ
ＣＴが施されて、変換係数２０１８が求められ、この変
換係数２０１８が外部に出力される。また、アルファマ
ップ信号２００１は符号化器２００６で符号化され、ア
ルファマップの符号２０１９として外部に出力される。
【０１６５】なお、アルファマップは画像の符号化の前
に符号化を行い、その復号信号を切り替え器２００３、
２００５、判定器２００４に入力する方法もある。こう
するとアルファマップの符号化・復号に歪がある場合
に、アルファマップ信号を符号化側と復号側で一致させ
ることができる。
に符号化を行い、その復号信号を切り替え器２００３、
２００５、判定器２００４に入力する方法もある。こう
するとアルファマップの符号化・復号に歪がある場合
に、アルファマップ信号を符号化側と復号側で一致させ
ることができる。
【０１６６】図２５の符号化装置に対応する復号化装置
の構成例を図２６に示す。図中、２０２０は復号器、２
０２１は逆ＤＣＴ回路、２０２３，２０２５は切り替え
器、２０２４は判定器、２０２９は切り替え器、２０３
０は拡大器、２０３１は平均器である。
の構成例を図２６に示す。図中、２０２０は復号器、２
０２１は逆ＤＣＴ回路、２０２３，２０２５は切り替え
器、２０２４は判定器、２０２９は切り替え器、２０３
０は拡大器、２０３１は平均器である。
【０１６７】これらのうち、復号器２０２０は、外部か
ら入力されるアルファマップの符号２０１９を受けてこ
れを複号すると共に、この複号して得たアルファマップ
信号２０２２を切り替え器２０２３、判定器２０２４、
切り替え器２０２５に与えるものである。また、逆ＤＣ
Ｔ回路２０２１は外部から入力された変換係数２０１８
を逆ＤＣＴ処理し、画像を復号すると共に、その復号さ
れて得られた画像である復号画像２０２６を切り替え器
２０２３に与える構成である。
ら入力されるアルファマップの符号２０１９を受けてこ
れを複号すると共に、この複号して得たアルファマップ
信号２０２２を切り替え器２０２３、判定器２０２４、
切り替え器２０２５に与えるものである。また、逆ＤＣ
Ｔ回路２０２１は外部から入力された変換係数２０１８
を逆ＤＣＴ処理し、画像を復号すると共に、その復号さ
れて得られた画像である復号画像２０２６を切り替え器
２０２３に与える構成である。
【０１６８】判定器２０２４は、復号器２０２０で複号
されたアルファマップ信号２０２２をもとに、オブジェ
クト画像２０２７のうち注目画素が背景に接しているか
否かを判定するものであり、その判定結果２０３４を切
り替え器２０２９に出力するものである。
されたアルファマップ信号２０２２をもとに、オブジェ
クト画像２０２７のうち注目画素が背景に接しているか
否かを判定するものであり、その判定結果２０３４を切
り替え器２０２９に出力するものである。
【０１６９】切り替え器２０２３は、復号器２０２０で
複号されたアルファマップ信号２０２２をもとに、逆Ｄ
ＣＴ回路２０２１から与えられる復号画像２０２６のう
ち、オブジェクト画像２０２７と背景画像２０２８に分
別すると共に、オブジェクト画像２０２７は切り替え器
２０２９，拡大器２０３０および平均器２０３１に出力
し、背景画像２０２８は廃棄するものである。
複号されたアルファマップ信号２０２２をもとに、逆Ｄ
ＣＴ回路２０２１から与えられる復号画像２０２６のう
ち、オブジェクト画像２０２７と背景画像２０２８に分
別すると共に、オブジェクト画像２０２７は切り替え器
２０２９，拡大器２０３０および平均器２０３１に出力
し、背景画像２０２８は廃棄するものである。
【０１７０】平均器２０３１は、切り替え器２０２３か
ら与えられるオブジェクト画像２０２７の平均値２０３
２を計算し、その求めた平均値２０３２を拡大器２０３
０に出力するものであり、拡大器２０３０は、この平均
値２０３２を中心にしてオブジェクト画像２０２７の振
幅を拡大して、拡大画像２０３３を得ると共に、この拡
大画像２０３３を切り替え器２０２９に出力するもので
ある。
ら与えられるオブジェクト画像２０２７の平均値２０３
２を計算し、その求めた平均値２０３２を拡大器２０３
０に出力するものであり、拡大器２０３０は、この平均
値２０３２を中心にしてオブジェクト画像２０２７の振
幅を拡大して、拡大画像２０３３を得ると共に、この拡
大画像２０３３を切り替え器２０２９に出力するもので
ある。
【０１７１】切り替え器２０２９は、入力されたオブジ
ェクト画像２０２７と拡大画像２０３３のうち、判定器
２０２４の出力する判定結果２０３４により、注目画素
が背景に接する場合には拡大画像２０３３をオブジェク
トの復号画像２０３５として選択して切り替え器２０２
５に出力し、接しない場合はオブジェクト画像２０２７
をオブジェクトの復号画像２０３５として選択して切り
替え器２０２５に出力するものである。
ェクト画像２０２７と拡大画像２０３３のうち、判定器
２０２４の出力する判定結果２０３４により、注目画素
が背景に接する場合には拡大画像２０３３をオブジェク
トの復号画像２０３５として選択して切り替え器２０２
５に出力し、接しない場合はオブジェクト画像２０２７
をオブジェクトの復号画像２０３５として選択して切り
替え器２０２５に出力するものである。
【０１７２】切り替え器２０２５は、オブジェクトの復
号画像２０３５と、背景としての別に入力される信号２
０３７とを受け、アルファマップ信号２０２２をもと
に、注目画素がオブジェクトであれば、これらのうち、
オブジェクトの復号画像２０３５を再生画像２０３６と
して選択して外部に出力し、背景であれば、前記信号２
０３７を再生画像２０３６として選択して外部に出力す
るものである。
号画像２０３５と、背景としての別に入力される信号２
０３７とを受け、アルファマップ信号２０２２をもと
に、注目画素がオブジェクトであれば、これらのうち、
オブジェクトの復号画像２０３５を再生画像２０３６と
して選択して外部に出力し、背景であれば、前記信号２
０３７を再生画像２０３６として選択して外部に出力す
るものである。
【０１７３】このような構成の復号化装置において、外
部からアルファマップの符号２０１９と変換係数２０１
８とが入力される。そして、アルファマップの符号２０
１９は復号器２０２０に、また、変換係数２０１８は逆
ＤＣＴ回路２０２１に送られる。
部からアルファマップの符号２０１９と変換係数２０１
８とが入力される。そして、アルファマップの符号２０
１９は復号器２０２０に、また、変換係数２０１８は逆
ＤＣＴ回路２０２１に送られる。
【０１７４】復号器２０２０ではアルファマップ信号２
０２２が復号され、切り替え器２０２３、判定器２０２
４、切り替え器２０２５に送られる。逆ＤＣＴ回路２０
２１において画像が復号され、その復号画像２０２６は
切り替え器２０２３に送られる。
０２２が復号され、切り替え器２０２３、判定器２０２
４、切り替え器２０２５に送られる。逆ＤＣＴ回路２０
２１において画像が復号され、その復号画像２０２６は
切り替え器２０２３に送られる。
【０１７５】切り替え器２０２３では、復号器２０２０
で複号されたアルファマップ信号２０２２をもとに、復
号画像２０２６がオブジェクト画像２０２７と背景画像
２０２８に分別され、背景画像２０２８は廃棄される。
切り替え器２０２３により分別されたオブジェクト画像
２０２７は、切り替え器２０２９と拡大器２０３０、平
均器２０３１に送られる。
で複号されたアルファマップ信号２０２２をもとに、復
号画像２０２６がオブジェクト画像２０２７と背景画像
２０２８に分別され、背景画像２０２８は廃棄される。
切り替え器２０２３により分別されたオブジェクト画像
２０２７は、切り替え器２０２９と拡大器２０３０、平
均器２０３１に送られる。
【０１７６】そして、平均器２０３１ではオブジェクト
画像２０２７の平均値２０３２が計算され、その平均値
２０３２は拡大器２０３０に送られる。
画像２０２７の平均値２０３２が計算され、その平均値
２０３２は拡大器２０３０に送られる。
【０１７７】拡大器２０３０では平均値２０３２を中心
にしてオブジェクト画像２０２７の振幅が拡大処理さ
れ、これによって得られた拡大画像２０３３は切り替え
器２０２９に送られる。
にしてオブジェクト画像２０２７の振幅が拡大処理さ
れ、これによって得られた拡大画像２０３３は切り替え
器２０２９に送られる。
【０１７８】一方、判定器２０２４ではオブジェクト画
像２０２７のうち注目画素が背景に接しているか否かを
判定し、その判定結果２０３４が切り替え器２０２９に
送られる。切り替え器２０２９では、判定結果２０３４
により、注目画素が背景に接する場合には拡大画像２０
３３が選択されてオブジェクトの復号画像２０３５とし
て出力され、接しない場合はオブジェクト画像２０２７
が選択されてオブジェクトの復号画像２０３５として出
力される。
像２０２７のうち注目画素が背景に接しているか否かを
判定し、その判定結果２０３４が切り替え器２０２９に
送られる。切り替え器２０２９では、判定結果２０３４
により、注目画素が背景に接する場合には拡大画像２０
３３が選択されてオブジェクトの復号画像２０３５とし
て出力され、接しない場合はオブジェクト画像２０２７
が選択されてオブジェクトの復号画像２０３５として出
力される。
【０１７９】切り替え器２０２９より出力されたオブジ
ェクトの復号画像２０３５は切り替え器２０２５に送ら
れ、切り替え器２０２５ではアルファマップ信号２０２
２を参照して、現在処理中の画素である注目画素がオブ
ジェクトであれば、オブジェクトの復号画像２０３５を
再生画像２０３６して外部に出力し、また、背景であれ
ば、背景用として別に入力されている信号２０３７が再
生画像２０３６として選択されて出力される。なお、こ
の背景の信号２０３７としては、別途符号化した背景画
像を再生したものや、予め定めた模様などが用いられ
る。以上が、段差を小さくするための処理例である。
ェクトの復号画像２０３５は切り替え器２０２５に送ら
れ、切り替え器２０２５ではアルファマップ信号２０２
２を参照して、現在処理中の画素である注目画素がオブ
ジェクトであれば、オブジェクトの復号画像２０３５を
再生画像２０３６して外部に出力し、また、背景であれ
ば、背景用として別に入力されている信号２０３７が再
生画像２０３６として選択されて出力される。なお、こ
の背景の信号２０３７としては、別途符号化した背景画
像を再生したものや、予め定めた模様などが用いられ
る。以上が、段差を小さくするための処理例である。
【０１８０】段差を小さくするための処理例について説
明を挟んだが、再び、第２の具体例における本論に戻
る。
明を挟んだが、再び、第２の具体例における本論に戻
る。
【０１８１】任意形状直交変換回路１０１ではアルファ
マップ信号を参照して、画像の注目領域がどこであるか
を知り、その注目領域について、Ｎ×Ｎ画素構成の正方
形ブロックに画像を分割し、その分割ブロック毎に直交
変換してＮ×Ｎ個の変換係数にする段までは既に説明し
た。
マップ信号を参照して、画像の注目領域がどこであるか
を知り、その注目領域について、Ｎ×Ｎ画素構成の正方
形ブロックに画像を分割し、その分割ブロック毎に直交
変換してＮ×Ｎ個の変換係数にする段までは既に説明し
た。
【０１８２】ここで、オブジェクトと背景の境界を含む
ブロックでは、オブジェクト用の変換係数と背景用の変
換係数とが求められる。この変換係数は、エンハンスメ
ントレイヤおよびベースレイヤの差分回路１１０および
１１１に供給される。
ブロックでは、オブジェクト用の変換係数と背景用の変
換係数とが求められる。この変換係数は、エンハンスメ
ントレイヤおよびベースレイヤの差分回路１１０および
１１１に供給される。
【０１８３】この変換係数を受けたベースレイヤの差分
回路１１１においては、動き補償予測装置６０１より供
給される、直交変換係数に変換された動き補償予測値
（ＢMC）との予測誤差信号が計算され、その結果が量子
化回路１３１に供給される。そして、量子化回路１３１
では、この予測誤差信号を、符号化制御回路４３０より
供給される量子化スケールＱ_scaleで量子化した後、可
変長符号化回路１４１および逆量子化回路１７１に供給
する。
回路１１１においては、動き補償予測装置６０１より供
給される、直交変換係数に変換された動き補償予測値
（ＢMC）との予測誤差信号が計算され、その結果が量子
化回路１３１に供給される。そして、量子化回路１３１
では、この予測誤差信号を、符号化制御回路４３０より
供給される量子化スケールＱ_scaleで量子化した後、可
変長符号化回路１４１および逆量子化回路１７１に供給
する。
【０１８４】可変長符号化回路１４１では、この量子化
された予測誤差信号は可変長符号化される。また、符号
化制御回路４３０から与えられる量子化スケール情報を
含むモード情報等のサイドインフォメーション情報、お
よび、動きベクトル検出回路５１０より供給される動き
ベクトルも可変長符号化回路１４１でそれぞれ可変長符
号化される。
された予測誤差信号は可変長符号化される。また、符号
化制御回路４３０から与えられる量子化スケール情報を
含むモード情報等のサイドインフォメーション情報、お
よび、動きベクトル検出回路５１０より供給される動き
ベクトルも可変長符号化回路１４１でそれぞれ可変長符
号化される。
【０１８５】そして、可変長符号化回路１４１でそれぞ
れ可変長符号化されたこれら符号は多重化回路１５５に
与えられ、また、符号化されてこの多重化回路１５５に
与えられたアルファマップコードの符号５５と共に、こ
の多重化回路１５５にて多重化された後、出力バッファ
１６１に供給される。
れ可変長符号化されたこれら符号は多重化回路１５５に
与えられ、また、符号化されてこの多重化回路１５５に
与えられたアルファマップコードの符号５５と共に、こ
の多重化回路１５５にて多重化された後、出力バッファ
１６１に供給される。
【０１８６】出力バッファ１６１では、この多重化され
た信号を符号化ビットストリーム２１として伝送路ある
いは蓄積媒体に出力すると共に、バッファの内容量を符
号化制御回路４３０にフィードバックする。そして、符
号化制御回路４３０はこのバッファの内容量対応に最適
な量子化スケールＱ_scaleを発生することになる。
た信号を符号化ビットストリーム２１として伝送路ある
いは蓄積媒体に出力すると共に、バッファの内容量を符
号化制御回路４３０にフィードバックする。そして、符
号化制御回路４３０はこのバッファの内容量対応に最適
な量子化スケールＱ_scaleを発生することになる。
【０１８７】一方、逆量子化回路１７１に供給された予
測誤差信号の量子化値は、逆量子化された後、加算回路
１９１において動き補償予測値（ＢMC）と加算され、変
換係数領域での再生値が求められた後、動き補償予測装
置６０１に供給される。
測誤差信号の量子化値は、逆量子化された後、加算回路
１９１において動き補償予測値（ＢMC）と加算され、変
換係数領域での再生値が求められた後、動き補償予測装
置６０１に供給される。
【０１８８】エンハンスメントレイヤでは、セレクタ３
００がベースレイヤでの量子化回路１３１の出力（ＢQ
）の値に基づいて選択動作することにより、エンハン
スレイヤの動き補償予測装置６００の出力（ＥMC）と、
ベースレイヤの動き補償予測装置６０１の出力（ＢMC）
とを、後述する方法で変換係数毎に適応的に切り換えて
これをＥp として出力する。
００がベースレイヤでの量子化回路１３１の出力（ＢQ
）の値に基づいて選択動作することにより、エンハン
スレイヤの動き補償予測装置６００の出力（ＥMC）と、
ベースレイヤの動き補償予測装置６０１の出力（ＢMC）
とを、後述する方法で変換係数毎に適応的に切り換えて
これをＥp として出力する。
【０１８９】すなわち、ベースレイヤでの量子化回路１
３１の出力（ＢQ ）を２値化回路３１０に与えることに
より、当該２値化回路３１０はＢQ の値が“０”であれ
ば“０”を出力し、“０”以外の値であれば“１”を出
力してセレクタ３００に与える。
３１の出力（ＢQ ）を２値化回路３１０に与えることに
より、当該２値化回路３１０はＢQ の値が“０”であれ
ば“０”を出力し、“０”以外の値であれば“１”を出
力してセレクタ３００に与える。
【０１９０】セレクタ３００は２値化回路３１０の出力
が“０”であればＥMCを、そして、“１”である時にＢ
MCを選択してＥp として出力することにより、量子化回
路１３１の出力ＢQ が“０”である位置の変換係数に
は、エンハンスレイヤ側の動き補償予測装置６００の変
換係数出力ＥMCを、そして、量子化回路１３１の出力Ｂ
Q が“０”でない位置の変換係数には、ベースレイヤ側
の動き補償予測装置６０１の変換係数出力ＢMCを当て嵌
めるといった処理をすることになる。
が“０”であればＥMCを、そして、“１”である時にＢ
MCを選択してＥp として出力することにより、量子化回
路１３１の出力ＢQ が“０”である位置の変換係数に
は、エンハンスレイヤ側の動き補償予測装置６００の変
換係数出力ＥMCを、そして、量子化回路１３１の出力Ｂ
Q が“０”でない位置の変換係数には、ベースレイヤ側
の動き補償予測装置６０１の変換係数出力ＢMCを当て嵌
めるといった処理をすることになる。
【０１９１】ここで、ベースレイヤにおける量子化回路
１３１には差分回路１１１からの出力が与えられて、当
該出力を量子化するように構成してあり、差分回路１１
１には任意形状直交変換回路１０１の出力と、それより
１画面前の時点の画像から動き補償予測装置６０１が得
た動き補償予測値とが与えられて、両者の差を得るよう
に構成してあるから、求めた動き補償予測値が当ってい
れば、差分回路１１１の出力する両者の差はないことに
なるから、“０”となる筈である。
１３１には差分回路１１１からの出力が与えられて、当
該出力を量子化するように構成してあり、差分回路１１
１には任意形状直交変換回路１０１の出力と、それより
１画面前の時点の画像から動き補償予測装置６０１が得
た動き補償予測値とが与えられて、両者の差を得るよう
に構成してあるから、求めた動き補償予測値が当ってい
れば、差分回路１１１の出力する両者の差はないことに
なるから、“０”となる筈である。
【０１９２】従って、ベースレイヤにおける量子化回路
１３１の出力ＢQ である量子化値の中で“０”でない係
数は、動き補償予測が当たらなかった係数ということに
なる。
１３１の出力ＢQ である量子化値の中で“０”でない係
数は、動き補償予測が当たらなかった係数ということに
なる。
【０１９３】そして、動き補償予測装置６００におい
て、動きベクトル検出回路５１０より供給される、ベー
スレイヤと同じ動きベクトルを用いて動き補償予測を行
なうと、エンハンスメントレイヤにおいても同じ位置の
係数の動き補償予測は外れたと推定される。
て、動きベクトル検出回路５１０より供給される、ベー
スレイヤと同じ動きベクトルを用いて動き補償予測を行
なうと、エンハンスメントレイヤにおいても同じ位置の
係数の動き補償予測は外れたと推定される。
【０１９４】そこで、この係数に関しては、セレクタ３
００においてベースレイヤ用の動き補償予測装置６０１
の出力であるＢMCを選択する。
００においてベースレイヤ用の動き補償予測装置６０１
の出力であるＢMCを選択する。
【０１９５】一方、その他の係数は動き補償が当たって
いると推定されるため、セレクタ３００において、より
符号化歪の少ないエンハンスメントレイヤの予測値を選
択する。これにより、エンハンスメントレイヤで符号化
される信号ＥC は、動き補償予測が外れた場合にはベー
スレイヤの量子化誤差信号となり、動き補償予測が当た
った場合にはエンハンスメントレイヤの動き補償予測誤
差信号となり、動き補償予測の外れた係数に対する符号
化効率が改善されることになる。
いると推定されるため、セレクタ３００において、より
符号化歪の少ないエンハンスメントレイヤの予測値を選
択する。これにより、エンハンスメントレイヤで符号化
される信号ＥC は、動き補償予測が外れた場合にはベー
スレイヤの量子化誤差信号となり、動き補償予測が当た
った場合にはエンハンスメントレイヤの動き補償予測誤
差信号となり、動き補償予測の外れた係数に対する符号
化効率が改善されることになる。
【０１９６】一方、エンハンスメントレイヤ側における
差分回路１１０では、任意形状直交変換回路１０１より
供給される入力画像の変換係数と、セレクタ３００の出
力（Ｅp ）との予測誤差信号が計算され、その結果が差
分回路１２１に供給される。
差分回路１１０では、任意形状直交変換回路１０１より
供給される入力画像の変換係数と、セレクタ３００の出
力（Ｅp ）との予測誤差信号が計算され、その結果が差
分回路１２１に供給される。
【０１９７】また、差分回路１２１には、逆量子化回路
１７１より供給されるＢQ の逆量子化値３０が供給さ
れ、従って差分回路１２１はこれと差分回路１１０の出
力との差分ＥC を計算して予測誤差信号として量子化回
路１３０に供給する。
１７１より供給されるＢQ の逆量子化値３０が供給さ
れ、従って差分回路１２１はこれと差分回路１１０の出
力との差分ＥC を計算して予測誤差信号として量子化回
路１３０に供給する。
【０１９８】そして、量子化回路１３０は、この信号Ｅ
C を、符号化制御回路４２０からバッファ内容量対応に
与えられる量子化スケールＱ_scaleで量子化する。そし
て、この量子化出力を可変長符号化回路１４０および逆
量子化回路１７０に供給する。可変長符号化回路１４０
では、この量子化された予測誤差信号は、符号化制御回
路４２０から与えられるモード情報等のサイドインフォ
メーション情報と共にそれぞれ別に可変長符号化して、
多重化回路１５０に与える。
C を、符号化制御回路４２０からバッファ内容量対応に
与えられる量子化スケールＱ_scaleで量子化する。そし
て、この量子化出力を可変長符号化回路１４０および逆
量子化回路１７０に供給する。可変長符号化回路１４０
では、この量子化された予測誤差信号は、符号化制御回
路４２０から与えられるモード情報等のサイドインフォ
メーション情報と共にそれぞれ別に可変長符号化して、
多重化回路１５０に与える。
【０１９９】多重化回路１５０でこれら各可変長符号を
多重化した後に出力バッファ１６０に供給する。出力バ
ッファ１６０では、これを一旦保持し、符号化ビットス
トリーム２０として伝送路あるいは蓄積媒体に出力する
と共に、バッファの内容量を符号化制御回路４２０にフ
ィードバックする。これを受けて符号化制御回路４２０
は内容量対応の最適な量子化スケールＱ_scaleを発生
し、量子化回路１３０と可変長符号化回路１４０に与え
ることになる。
多重化した後に出力バッファ１６０に供給する。出力バ
ッファ１６０では、これを一旦保持し、符号化ビットス
トリーム２０として伝送路あるいは蓄積媒体に出力する
と共に、バッファの内容量を符号化制御回路４２０にフ
ィードバックする。これを受けて符号化制御回路４２０
は内容量対応の最適な量子化スケールＱ_scaleを発生
し、量子化回路１３０と可変長符号化回路１４０に与え
ることになる。
【０２００】また、量子化回路１３０より逆量子化回路
１７０に供給された量子化値はここで逆量子化された
後、加算回路１８０においてベースレイヤの逆量子化回
路１７１から供給される出力３０が加えられ、予測誤差
信号が再生される。
１７０に供給された量子化値はここで逆量子化された
後、加算回路１８０においてベースレイヤの逆量子化回
路１７１から供給される出力３０が加えられ、予測誤差
信号が再生される。
【０２０１】この加算回路１８０において再生された予
測誤差信号は加算回路１９０においてセレクタ３００か
ら与えられる動き補償予測値（Ｅp ）と加算され、変換
係数領域での再生値が求められた後、動き補償予測装置
６００に供給される。
測誤差信号は加算回路１９０においてセレクタ３００か
ら与えられる動き補償予測値（Ｅp ）と加算され、変換
係数領域での再生値が求められた後、動き補償予測装置
６００に供給される。
【０２０２】図６は、動き補償予測装置６００，６０１
のブロック図である。動き補償予測装置６００，６０１
は、任意形状逆直交変換回路６１０、フレームメモリ６
２０、動き補償回路６３０、任意形状直交変換回路６４
０より構成されている。任意形状逆直交変換回路６１０
は、入力信号である再生画像信号をアルファマップ信号
にしたがって逆直交変換する回路であり、フレームメモ
リ６２０はこの逆直交変換されたものをフレーム単位で
一時保持するためのメモリである。動き補償回路６３０
は動きベクトルの情報を受けて、フレームメモリ６２０
の画像における前記動きベクトルで指し示された位置の
画像をブロック単位で切り出して、任意形状直交変換回
路６４０に供給するものであり、任意形状直交変換回路
６４０はこの供給された画像に対して、アルファマップ
信号に従って直交変換することにより、任意形状の動き
補償予測値を直交変換することで、変換係数領域での動
き補償予測値を求めるものである。
のブロック図である。動き補償予測装置６００，６０１
は、任意形状逆直交変換回路６１０、フレームメモリ６
２０、動き補償回路６３０、任意形状直交変換回路６４
０より構成されている。任意形状逆直交変換回路６１０
は、入力信号である再生画像信号をアルファマップ信号
にしたがって逆直交変換する回路であり、フレームメモ
リ６２０はこの逆直交変換されたものをフレーム単位で
一時保持するためのメモリである。動き補償回路６３０
は動きベクトルの情報を受けて、フレームメモリ６２０
の画像における前記動きベクトルで指し示された位置の
画像をブロック単位で切り出して、任意形状直交変換回
路６４０に供給するものであり、任意形状直交変換回路
６４０はこの供給された画像に対して、アルファマップ
信号に従って直交変換することにより、任意形状の動き
補償予測値を直交変換することで、変換係数領域での動
き補償予測値を求めるものである。
【０２０３】このような構成において、変換係数領域で
の再生値が動き補償予測装置６００，６０１に与えられ
ると、この再生値は当該動き補償予測装置内の任意形状
逆直交変換回路６１０において、別途供給されるアルフ
ァマップ信号５０にしたがって再生画像信号に逆変換さ
れた後、フレームメモリ６２０に蓄積される。
の再生値が動き補償予測装置６００，６０１に与えられ
ると、この再生値は当該動き補償予測装置内の任意形状
逆直交変換回路６１０において、別途供給されるアルフ
ァマップ信号５０にしたがって再生画像信号に逆変換さ
れた後、フレームメモリ６２０に蓄積される。
【０２０４】動き補償予測装置内の動き補償回路６３０
では、フレームメモリ６２０に蓄積されている参照画像
の中から、動きベクトルで指し示された位置の画像をブ
ロック単位で切り出して、動き補償予測装置内の任意形
状直交変換回路６４０に供給する。当該画像のブロック
を受けた任意形状直交変換回路６４０では、外部から与
えられるアルファマップ信号５０に従って直交変換する
ことにより、任意形状の動き補償予測値を直交変換する
ことができ、変換係数領域での動き補償予測値を求めて
出力することができる。ここで、オブジェクトと背景の
境界を含むブロックでは、オブジェクトと背景の変換係
数を各々求める。
では、フレームメモリ６２０に蓄積されている参照画像
の中から、動きベクトルで指し示された位置の画像をブ
ロック単位で切り出して、動き補償予測装置内の任意形
状直交変換回路６４０に供給する。当該画像のブロック
を受けた任意形状直交変換回路６４０では、外部から与
えられるアルファマップ信号５０に従って直交変換する
ことにより、任意形状の動き補償予測値を直交変換する
ことができ、変換係数領域での動き補償予測値を求めて
出力することができる。ここで、オブジェクトと背景の
境界を含むブロックでは、オブジェクトと背景の変換係
数を各々求める。
【０２０５】こうして、変換係数領域での再生値から動
き補償予測装置６００，６０１は変換係数領域での動き
補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００に
与えることになる。
き補償予測装置６００，６０１は変換係数領域での動き
補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００に
与えることになる。
【０２０６】以上は第２の具体例における符号化装置の
説明であった。つぎに第２の具体例における復号化装置
について説明する。
説明であった。つぎに第２の具体例における復号化装置
について説明する。
【０２０７】《第２の具体例における復号化装置の構成
例》図７は、本発明の復号化装置のブロック図である。
例》図７は、本発明の復号化装置のブロック図である。
【０２０８】この構成で図４と異なる部分は、動き補償
予測装置２０１に代えて６０２の動き補償予測装置を設
けたこと、動き補償予測装置２０３に代えて６０３の動
き補償予測装置を設けたこと、分離化回路１５３に代え
て１５７の分離化回路を設けたこと、の３点である。
予測装置２０１に代えて６０２の動き補償予測装置を設
けたこと、動き補償予測装置２０３に代えて６０３の動
き補償予測装置を設けたこと、分離化回路１５３に代え
て１５７の分離化回路を設けたこと、の３点である。
【０２０９】動き補償予測装置６０２，６０３はいずれ
もアルファマップ信号（alpha-map）を参照して動き補
償予測を行うものであり、分離化回路１５７は、分離化
回路１５３が変換係数の量子化値や動きベクトル、量子
化スケール等のサイドインフォメーション情報の各信号
に分離して１４３に渡す構成であったのに対して、さら
にアルファコードの符号を分離して、図示しないアルフ
ァマップ復号化装置に渡す機能を追加した点が異なる。
もアルファマップ信号（alpha-map）を参照して動き補
償予測を行うものであり、分離化回路１５７は、分離化
回路１５３が変換係数の量子化値や動きベクトル、量子
化スケール等のサイドインフォメーション情報の各信号
に分離して１４３に渡す構成であったのに対して、さら
にアルファコードの符号を分離して、図示しないアルフ
ァマップ復号化装置に渡す機能を追加した点が異なる。
【０２１０】このような構成において、変換係数の量子
化値や動きベクトル、量子化スケール等のサイドインフ
ォメーション情報そして、アルファコードなどが符号化
され多重化されているベースレイヤ用のビットストリー
ム２３がベースレイヤの入力段に入力されると、このビ
ットストリーム２３は、入力バッファ１６７に蓄積され
た後、分離化回路１５７に供給される。
化値や動きベクトル、量子化スケール等のサイドインフ
ォメーション情報そして、アルファコードなどが符号化
され多重化されているベースレイヤ用のビットストリー
ム２３がベースレイヤの入力段に入力されると、このビ
ットストリーム２３は、入力バッファ１６７に蓄積され
た後、分離化回路１５７に供給される。
【０２１１】そして、この分離化回路１５７で変換係数
の量子化値、動きベクトル、サイドインフォメーション
情報、アルファマップコード等に分離される。分離され
た符号のうち、変換係数の量子化値、動きベクトル、サ
イドインフォメーション情報は、各々、可変長復号化回
路１４３に供給され、変換係数の量子化値、動きベクト
ル、量子化スケール等の信号に復号される。なお、アル
ファマップ信号の符号（アルファコード）５６は、図示
しないアルファマップ復号化装置に供給され、アルファ
マップ信号に変換されて動き補償予測装置６０２，６０
３に与えられることになる。
の量子化値、動きベクトル、サイドインフォメーション
情報、アルファマップコード等に分離される。分離され
た符号のうち、変換係数の量子化値、動きベクトル、サ
イドインフォメーション情報は、各々、可変長復号化回
路１４３に供給され、変換係数の量子化値、動きベクト
ル、量子化スケール等の信号に復号される。なお、アル
ファマップ信号の符号（アルファコード）５６は、図示
しないアルファマップ復号化装置に供給され、アルファ
マップ信号に変換されて動き補償予測装置６０２，６０
３に与えられることになる。
【０２１２】可変長復号化回路１４３で復号されたもの
のうち、変換係数の量子化値は、逆量子化回路１７３に
おいて逆量子化された後、加算回路１９３に供給され
る。加算回路１９３では、この逆量子化された変換係数
と、動き補償予測装置６０３より供給される変換係数領
域での動き補償予測値とが加算され、変換係数領域での
再生値が求められる。
のうち、変換係数の量子化値は、逆量子化回路１７３に
おいて逆量子化された後、加算回路１９３に供給され
る。加算回路１９３では、この逆量子化された変換係数
と、動き補償予測装置６０３より供給される変換係数領
域での動き補償予測値とが加算され、変換係数領域での
再生値が求められる。
【０２１３】この再生値は、動き補償予測装置６０３に
供給され、任意形状逆直交変換回路６１０にて再生画像
信号に逆変換され、出力再生画像信号４１として出力さ
れると共に、フレームメモリ６２０に蓄積される。
供給され、任意形状逆直交変換回路６１０にて再生画像
信号に逆変換され、出力再生画像信号４１として出力さ
れると共に、フレームメモリ６２０に蓄積される。
【０２１４】一方、変換係数の量子化値や量子化スケー
ル等のサイドインフォメーション情報の信号が符号化さ
れ、多重化されたエンハンスメントレイヤのビットスト
リーム２２がエンハンスメントレイヤの入力段に入力さ
れると、入力バッファ１６２に蓄積された後、分離化回
路１５２に供給される。そして、分離化回路１５２で変
換係数の量子化値の符号、サイドインフォメーション情
報の符号等に分離される。
ル等のサイドインフォメーション情報の信号が符号化さ
れ、多重化されたエンハンスメントレイヤのビットスト
リーム２２がエンハンスメントレイヤの入力段に入力さ
れると、入力バッファ１６２に蓄積された後、分離化回
路１５２に供給される。そして、分離化回路１５２で変
換係数の量子化値の符号、サイドインフォメーション情
報の符号等に分離される。
【０２１５】分離化回路１５２で分離された符号は、各
々、可変長復号化回路１４２に供給され、符号から変換
係数の量子化値、量子化スケール等の信号に復号され
る。そして、変換係数の量子化値は、逆量子化回路１７
２において逆量子化された後、加算回路１８１に供給さ
れ、ここでベースレイヤの逆量子化回路１７３から供給
される逆量子化値３１と加算されて、加算回路１９２に
供給される。
々、可変長復号化回路１４２に供給され、符号から変換
係数の量子化値、量子化スケール等の信号に復号され
る。そして、変換係数の量子化値は、逆量子化回路１７
２において逆量子化された後、加算回路１８１に供給さ
れ、ここでベースレイヤの逆量子化回路１７３から供給
される逆量子化値３１と加算されて、加算回路１９２に
供給される。
【０２１６】加算回路１９２では、加算回路１８１の出
力とセレクタ３００より供給される信号ＥP とが加算さ
れて変換係数領域での再生値が求められる。この再生値
は、動き補償予測装置６０２に供給され、この動き補償
予測装置６０２内に設けてある任意形状逆直交変換回路
６１０（図６参照）にて再生画像信号に逆変換されて、
出力再生画像信号４０として出力されると共に、動き補
償予測装置６０２内に設けてあるフレームメモリ６２０
（図６参照）に蓄積される。
力とセレクタ３００より供給される信号ＥP とが加算さ
れて変換係数領域での再生値が求められる。この再生値
は、動き補償予測装置６０２に供給され、この動き補償
予測装置６０２内に設けてある任意形状逆直交変換回路
６１０（図６参照）にて再生画像信号に逆変換されて、
出力再生画像信号４０として出力されると共に、動き補
償予測装置６０２内に設けてあるフレームメモリ６２０
（図６参照）に蓄積される。
【０２１７】動き補償予測装置内の動き補償回路６３０
（図６参照）では、フレームメモリ６２０に蓄積されて
いる参照画像の中から、動きベクトルで指し示された位
置の画像をブロック単位で切り出して、動き補償予測装
置内の任意形状直交変換回路６４０に供給する。任意形
状直交変換回路６４０では、外部から与えられるアルフ
ァマップ信号５０に従って任意形状の動き補償予測値を
直交変換することで、変換係数領域での動き補償予測値
を求めて出力する。ここで、オブジェクトと背景の境界
を含むブロックでは、オブジェクトと背景の変換係数を
各々求める。
（図６参照）では、フレームメモリ６２０に蓄積されて
いる参照画像の中から、動きベクトルで指し示された位
置の画像をブロック単位で切り出して、動き補償予測装
置内の任意形状直交変換回路６４０に供給する。任意形
状直交変換回路６４０では、外部から与えられるアルフ
ァマップ信号５０に従って任意形状の動き補償予測値を
直交変換することで、変換係数領域での動き補償予測値
を求めて出力する。ここで、オブジェクトと背景の境界
を含むブロックでは、オブジェクトと背景の変換係数を
各々求める。
【０２１８】こうして、動き補償予測装置６０２，６０
３は、変換係数領域での再生値から変換係数領域での動
き補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００
に与えることになる。
３は、変換係数領域での再生値から変換係数領域での動
き補償予測値ＥMC，ＢMCを求めてこれをセレクタ３００
に与えることになる。
【０２１９】次に、オブジェクト同士の重なりにより隠
ぺいされた領域の符号化復号化効率を向上させることが
できるようにした例を説明する。
ぺいされた領域の符号化復号化効率を向上させることが
できるようにした例を説明する。
【０２２０】《動き補償予測装置６００、６０１、６０
２、６０３の構成》図８を用いて、第２の具体例におけ
る動き補償予測装置６００、６０１、６０２、６０３の
別の実施形態を説明する。この例は、従来よりオブジェ
クトの移動により隠ぺいされる背景領域の符号化効率を
改善するために用いられている背景予測方式（例えば、
宮本他：”背景予測を用いた適応予測符号化方式”PCSJ
88,7-4,pp.93〜94、渡邊他：”適応４種差分−ＤＣＴ符
号化方式”PCSJ88,8-2,pp.117 〜118 ）をオブジェクト
同士の重なりに対しても使用可能なように拡張したもの
である。
２、６０３の構成》図８を用いて、第２の具体例におけ
る動き補償予測装置６００、６０１、６０２、６０３の
別の実施形態を説明する。この例は、従来よりオブジェ
クトの移動により隠ぺいされる背景領域の符号化効率を
改善するために用いられている背景予測方式（例えば、
宮本他：”背景予測を用いた適応予測符号化方式”PCSJ
88,7-4,pp.93〜94、渡邊他：”適応４種差分−ＤＣＴ符
号化方式”PCSJ88,8-2,pp.117 〜118 ）をオブジェクト
同士の重なりに対しても使用可能なように拡張したもの
である。
【０２２１】図８に示すように、動き補償予測装置は、
任意形状逆直交変換回路６１０、ＳＷ回路６５０、フレ
ームメモリ６２１，６２２，６２３、ＳＷ回路６５１、
動き補償回路６３０、任意形状直交変換回路６４０とか
ら構成される。
任意形状逆直交変換回路６１０、ＳＷ回路６５０、フレ
ームメモリ６２１，６２２，６２３、ＳＷ回路６５１、
動き補償回路６３０、任意形状直交変換回路６４０とか
ら構成される。
【０２２２】任意形状逆直交変換回路６１０は、アルフ
ァマップ信号にしたがって再生画像信号を逆変換するも
のであり、変換係数領域での再生値が動き補償予測装置
に与えられると、この再生値が当該動き補償予測装置の
構成要素である任意形状逆直交変換回路６１０に与えら
れ、これによって、当該任意形状逆直交変換回路６１０
は、再生値をアルファマップ信号（alpha-map ）に従っ
て再生画像信号に逆変換するものである。このアルファ
マップ信号（alpha-map ）は復号化系に設けてある図示
しないアルファマップ復号化装置から与えられる構成で
ある。
ァマップ信号にしたがって再生画像信号を逆変換するも
のであり、変換係数領域での再生値が動き補償予測装置
に与えられると、この再生値が当該動き補償予測装置の
構成要素である任意形状逆直交変換回路６１０に与えら
れ、これによって、当該任意形状逆直交変換回路６１０
は、再生値をアルファマップ信号（alpha-map ）に従っ
て再生画像信号に逆変換するものである。このアルファ
マップ信号（alpha-map ）は復号化系に設けてある図示
しないアルファマップ復号化装置から与えられる構成で
ある。
【０２２３】当該任意形状逆直交変換回路６１０にて逆
変換された再生画像信号は、複数あるフレームメモリ６
２１，６２２，６２３に蓄積されるが、フレームメモリ
６２１，６２２，６２３のうち、どのフレームメモリに
蓄積するか選択するのがＳＷ回路６５０である。
変換された再生画像信号は、複数あるフレームメモリ６
２１，６２２，６２３に蓄積されるが、フレームメモリ
６２１，６２２，６２３のうち、どのフレームメモリに
蓄積するか選択するのがＳＷ回路６５０である。
【０２２４】オブジェクト用のフレームメモリが２画面
分用意されているのは、画面に現われるオブジェクトが
２種類ある場合に、それぞれオブジェクト別に画像を保
持するためであり、オブジェクトが２種類以上ある場合
に対処するためにはオブジェクト用のフレームメモリは
その数分、用意してＳＷ回路６５０で選択できるように
すれば良い。
分用意されているのは、画面に現われるオブジェクトが
２種類ある場合に、それぞれオブジェクト別に画像を保
持するためであり、オブジェクトが２種類以上ある場合
に対処するためにはオブジェクト用のフレームメモリは
その数分、用意してＳＷ回路６５０で選択できるように
すれば良い。
【０２２５】ＳＷ回路６５０はアルファマップ信号（al
pha-map ）に従ってスイッチを切り替えることにより、
任意形状逆直交変換回路６１０からの再生画像信号をア
ルファマップ信号（alpha-map ）対応にフレームメモリ
６２１，６２２，６２３に振り分けて蓄積させることが
できる。
pha-map ）に従ってスイッチを切り替えることにより、
任意形状逆直交変換回路６１０からの再生画像信号をア
ルファマップ信号（alpha-map ）対応にフレームメモリ
６２１，６２２，６２３に振り分けて蓄積させることが
できる。
【０２２６】ＳＷ回路６５１はアルファマップ信号（al
pha-map ）に従ってスイッチを切り替えることにより、
アルファマップ信号（alpha-map ）対応にフレームメモ
リ６２１，６２２，６２３を選択してそのメモリに蓄積
されている再生画像信号を読出すものであり、動き補償
回路６３０は、ＳＷ回路６５１を介してフレームメモリ
６２１，６２２，６２３から読み出された再生画像信号
（参照画像）の中から、動きベクトルで指し示された位
置の画像をブロック単位で切り出して、任意形状直交変
換回路６４０に供給するものである。
pha-map ）に従ってスイッチを切り替えることにより、
アルファマップ信号（alpha-map ）対応にフレームメモ
リ６２１，６２２，６２３を選択してそのメモリに蓄積
されている再生画像信号を読出すものであり、動き補償
回路６３０は、ＳＷ回路６５１を介してフレームメモリ
６２１，６２２，６２３から読み出された再生画像信号
（参照画像）の中から、動きベクトルで指し示された位
置の画像をブロック単位で切り出して、任意形状直交変
換回路６４０に供給するものである。
【０２２７】任意形状直交変換回路６４０は、フレーム
メモリ６２１，６２２，６２３からＳＷ回路６５１を介
して読み出された動きベクトル指示位置の画像の再生画
像信号をアルファマップ信号（alpha-map ）に基づいて
直交変換することにより、アルファマップ信号（alpha-
map ）で示される任意形状の画像の動き補償予測値を直
交変換することができるもので、変換係数領域での動き
補償予測値を求めて出力するものである。
メモリ６２１，６２２，６２３からＳＷ回路６５１を介
して読み出された動きベクトル指示位置の画像の再生画
像信号をアルファマップ信号（alpha-map ）に基づいて
直交変換することにより、アルファマップ信号（alpha-
map ）で示される任意形状の画像の動き補償予測値を直
交変換することができるもので、変換係数領域での動き
補償予測値を求めて出力するものである。
【０２２８】なお、図８の構成において、任意形状逆直
交変換回路６１０に与えられるアルファマップは、複数
のオブジェクトおよび背景に対して、該画素がいずれの
オブジェクトに属しているかを特定することが可能であ
るとする。
交変換回路６１０に与えられるアルファマップは、複数
のオブジェクトおよび背景に対して、該画素がいずれの
オブジェクトに属しているかを特定することが可能であ
るとする。
【０２２９】このような構成において、変換係数領域で
の再生値が動き補償予測装置に与えられると、この再生
値はアルファマップ信号（alpha-map ）で示される任意
形状の画像部分が任意形状逆直交変換回路６１０にて逆
直交変換され、再生画像信号となる。この再生画像信号
は、アルファマップ信号にしたがって、ＳＷ回路６５０
により各々のオブジェクトおよび背景のフレームメモリ
６２１，６２２，６２３に蓄積する。
の再生値が動き補償予測装置に与えられると、この再生
値はアルファマップ信号（alpha-map ）で示される任意
形状の画像部分が任意形状逆直交変換回路６１０にて逆
直交変換され、再生画像信号となる。この再生画像信号
は、アルファマップ信号にしたがって、ＳＷ回路６５０
により各々のオブジェクトおよび背景のフレームメモリ
６２１，６２２，６２３に蓄積する。
【０２３０】この蓄積された信号はアルファマップ信号
にしたがって、ＳＷ回路６５１により順次選択されて読
み出され、動き補償回路６３０に与えられ、動き補償予
測値が求められる。
にしたがって、ＳＷ回路６５１により順次選択されて読
み出され、動き補償回路６３０に与えられ、動き補償予
測値が求められる。
【０２３１】このように、動き補償回路６３０において
動き補償予測値を求める際には、アルファマップ信号に
したがって、ＳＷ回路６５１により各々のフレームメモ
リに蓄積されている参照画像より動き補償予測値を作成
する。これにより、オブジェクト同士の重なりにより隠
ぺいされた領域の符号化効率が向上する。
動き補償予測値を求める際には、アルファマップ信号に
したがって、ＳＷ回路６５１により各々のフレームメモ
リに蓄積されている参照画像より動き補償予測値を作成
する。これにより、オブジェクト同士の重なりにより隠
ぺいされた領域の符号化効率が向上する。
【０２３２】動き補償回路６３０において求められた動
き補償予測値は、任意形状直交変換回路６４０に送ら
れ、ここでアルファマップ信号（alpha-map ）に基づい
て直交変換することにより、アルファマップ信号（alph
a-map ）で示される任意形状の画像の動き補償予測値の
直交変換係数が得られることになる。
き補償予測値は、任意形状直交変換回路６４０に送ら
れ、ここでアルファマップ信号（alpha-map ）に基づい
て直交変換することにより、アルファマップ信号（alph
a-map ）で示される任意形状の画像の動き補償予測値の
直交変換係数が得られることになる。
【０２３３】このように、この例においては、動き補償
回路６３０において動き補償予測値を求める際に、アル
ファマップ信号にしたがってオブジェクトと背景別に画
像を蓄積したフレームメモリに蓄積された画像より、そ
れぞれの動き補償予測値を作成するようにした。これに
より、オブジェクト同士の重なりにより隠ぺいされた領
域の符号化効率が向上する。
回路６３０において動き補償予測値を求める際に、アル
ファマップ信号にしたがってオブジェクトと背景別に画
像を蓄積したフレームメモリに蓄積された画像より、そ
れぞれの動き補償予測値を作成するようにした。これに
より、オブジェクト同士の重なりにより隠ぺいされた領
域の符号化効率が向上する。
【０２３４】《量子化器および逆量子化器の構成例》次
に、図２および、図９乃至図１１を用いて、第１の具体
例および第２の具体例における量子化器１３０，１３１
および逆量子化器１７０，１７１，１７２，１７３の別
の構成例を説明する。
に、図２および、図９乃至図１１を用いて、第１の具体
例および第２の具体例における量子化器１３０，１３１
および逆量子化器１７０，１７１，１７２，１７３の別
の構成例を説明する。
【０２３５】図９および図１０の量子化マトリクスは、
ＭＰＥＧ２のテストモデルであるＴＭ５に記載されてい
るものである。ここでは、８×８個の変換係数に対して
水平方向（ｈ）と垂直方向（ｖ）の２次元マトリクスで
表記している。
ＭＰＥＧ２のテストモデルであるＴＭ５に記載されてい
るものである。ここでは、８×８個の変換係数に対して
水平方向（ｈ）と垂直方向（ｖ）の２次元マトリクスで
表記している。
【０２３６】次式は、図９、図１０の量子化マトリクス
を用いた量子化および逆量子化の例である。
を用いた量子化および逆量子化の例である。
【０２３７】 量子化： level(v,h) = sign(coef(v,h))*|coef(v,h)|*16/w(v,h)/(2*Q_scale); …（１） 逆量子化： coef'(v,h) = sign(level(v,h))(2*|level(v,h)|*w(v,h)/16+1)*Q_scale; …（２） ここで、 coef(v,h): 変換係数, level(v,h): 量子化値, coef'
(v,h): 変換係数（再生値） w(v,h):量子化マトリクス, Q_scale:量子化スケール である。
(v,h): 変換係数（再生値） w(v,h):量子化マトリクス, Q_scale:量子化スケール である。
【０２３８】本例は、変換係数毎に量子化ステップサイ
ズの重みを変えるための量子化マトリクスに関するもの
である。ＳＮＲスケーラビリティでは、ベースレイヤに
比べてエンハンスメントレイヤの量子化が細かく行われ
る。
ズの重みを変えるための量子化マトリクスに関するもの
である。ＳＮＲスケーラビリティでは、ベースレイヤに
比べてエンハンスメントレイヤの量子化が細かく行われ
る。
【０２３９】従って、ベースレイヤでは、図９，図１０
のような量子化マトリクスを用い、低域の変換係数を細
かく量子化し、高域の係数を粗く量子化することで、量
子化ステップサイズを一定にして符号化した場合と同じ
符号化レートで符号化した場合に主観的な評価が高くな
うことが多い。また、量子化回路において、センターデ
ッドゾーンを大きくすることで、０の発生確率を高くし
た方が符号化効率が高くなり、低いレートでの再生画質
が向上する。
のような量子化マトリクスを用い、低域の変換係数を細
かく量子化し、高域の係数を粗く量子化することで、量
子化ステップサイズを一定にして符号化した場合と同じ
符号化レートで符号化した場合に主観的な評価が高くな
うことが多い。また、量子化回路において、センターデ
ッドゾーンを大きくすることで、０の発生確率を高くし
た方が符号化効率が高くなり、低いレートでの再生画質
が向上する。
【０２４０】一方、エンハンスメントレイヤでも、高域
の変換係数を粗く量子化すると、細かなテクスチャが再
現されず、視覚的な劣化が生じ、高域の変換係数での帰
還量子化雑音の影響も増加する。
の変換係数を粗く量子化すると、細かなテクスチャが再
現されず、視覚的な劣化が生じ、高域の変換係数での帰
還量子化雑音の影響も増加する。
【０２４１】そこで、エンハンスメントレイヤではベー
スレイヤの量子化値ＢQ が“０”でない変換係数にのみ
量子化マトリクスを用いる。図１１は、図２の例に対し
て得られた量子化マトリクスの例である。これにより、
エンハンスメントレイヤでは、動き補償予測誤差の大き
な変換係数の量子化誤差が大きくなるが、変化の大きな
所での量子化誤差は視覚特性のマスキング効果により、
目だたないため、視覚的な劣化は少ない。
スレイヤの量子化値ＢQ が“０”でない変換係数にのみ
量子化マトリクスを用いる。図１１は、図２の例に対し
て得られた量子化マトリクスの例である。これにより、
エンハンスメントレイヤでは、動き補償予測誤差の大き
な変換係数の量子化誤差が大きくなるが、変化の大きな
所での量子化誤差は視覚特性のマスキング効果により、
目だたないため、視覚的な劣化は少ない。
【０２４２】次に、図２と図１２、図１３を用いて、第
１の具体例および第２の具体例において、量子化された
変換係数を可変長符号化する際に行われる、１次元系列
への変換の例を説明する。この１次元系列への変換は、
一般に図１２に示されるジグザグスキャンと呼ばれる変
換法が用いられる。
１の具体例および第２の具体例において、量子化された
変換係数を可変長符号化する際に行われる、１次元系列
への変換の例を説明する。この１次元系列への変換は、
一般に図１２に示されるジグザグスキャンと呼ばれる変
換法が用いられる。
【０２４３】図１２は水平方向（ｈ）と垂直方向（ｖ）
各々８個に分けた２次元マトリクスであるが、図１２で
は、８×８個の変換係数を、升目内に付された番号が若
い順に並べることで低域の変換係数が先に、高域の変換
係数が後に並ぶことになる。従って、量子化値は順序が
後になるほど“０”になる確率が高くなり、０ランの数
と０ランの後の量子化値との組み合わせ事象を可変長符
号化する際に符号化効率が高くなる。これは、低域の変
換係数の方が電力が大きいという性質を利用したもので
ある。
各々８個に分けた２次元マトリクスであるが、図１２で
は、８×８個の変換係数を、升目内に付された番号が若
い順に並べることで低域の変換係数が先に、高域の変換
係数が後に並ぶことになる。従って、量子化値は順序が
後になるほど“０”になる確率が高くなり、０ランの数
と０ランの後の量子化値との組み合わせ事象を可変長符
号化する際に符号化効率が高くなる。これは、低域の変
換係数の方が電力が大きいという性質を利用したもので
ある。
【０２４４】そこで、本例では、エンハンスレイヤにお
けるスキャン順序を、ベースレイヤの量子化値ＢQ が
“０”でない位置の変換係数を、ＢQ が“０”となる位
置の変換係数よりも先に並べ、各々をジグザグスキャン
の順序の若い順に並べている。
けるスキャン順序を、ベースレイヤの量子化値ＢQ が
“０”でない位置の変換係数を、ＢQ が“０”となる位
置の変換係数よりも先に並べ、各々をジグザグスキャン
の順序の若い順に並べている。
【０２４５】これは、ＢQ が“０”となる位置の変換係
数は、エンハンスメントレイヤの動き補償予測誤差信号
であり、ＢQ が“０”でない位置の変換係数は、ベース
レイヤの量子化誤差であるため、両者の統計的性質が異
なるものとの仮定に基づいている。図１３は、図２で示
した例に対するスキャン順序である。図１３における升
目内に振られた番号の順がスキャン順序である。
数は、エンハンスメントレイヤの動き補償予測誤差信号
であり、ＢQ が“０”でない位置の変換係数は、ベース
レイヤの量子化誤差であるため、両者の統計的性質が異
なるものとの仮定に基づいている。図１３は、図２で示
した例に対するスキャン順序である。図１３における升
目内に振られた番号の順がスキャン順序である。
【０２４６】上記の例では、変換基底がブロック間でオ
ーバラップしていない例を示した。一方、文献：“如澤
他，動き補償フィルタバンク構造を用いた画像符号化，
PCSJ92,8-5,1992 ”では、基底がオーバラップしている
場合でも変換後差分構成を取ることで符号化効率の低下
の少ない動き補償フィルタバンク構造を用いた符号化法
を提案している。
ーバラップしていない例を示した。一方、文献：“如澤
他，動き補償フィルタバンク構造を用いた画像符号化，
PCSJ92,8-5,1992 ”では、基底がオーバラップしている
場合でも変換後差分構成を取ることで符号化効率の低下
の少ない動き補償フィルタバンク構造を用いた符号化法
を提案している。
【０２４７】本発明のように直交変換係数領域での予測
符号化装置（変換後差分構成）には、上記文献の考え方
が適用できるので、動き補償フィルタバンク構造を、上
記の例に適用しても良い。
符号化装置（変換後差分構成）には、上記文献の考え方
が適用できるので、動き補償フィルタバンク構造を、上
記の例に適用しても良い。
【０２４８】以上の第２の具体例は、動画像の画面を所
定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換
することにより、空間周波数の帯域別に分けた変換係数
を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域
で、上位および下位の階層別に動き補償を行う動画像の
符号化において、アルファマップ情報を用いて注目領域
の画像についての動き補償を行うと共に、当該動き補償
を行う際に、下位階層（ベースレイヤ）についての既に
復号済みの量子化値に基づいて動き補償予測の当り外れ
を判定し、動き補償予測が当っている場合は上位階層
（エンハンスメントレイヤ）用に求めた符号化歪みの少
ない動き補償予測値を用い、動き補償予測が外れている
場合は下位階層（ベースレイヤ）用に求めたエンハンス
メントレイヤ用より符号化歪みの多い動き補償予測値を
用いて上位階層の符号化を行うようにしたものであり、
これにより、動き補償予測の外れた係数に対する符号化
効率を改善して符号化効率の低下の少ない符号化を可能
にする符号化方式を実現することができるようになる。
定画素数（Ｎ×Ｎ）のマトリックスに分割して直交変換
することにより、空間周波数の帯域別に分けた変換係数
を得、この得たＮ×Ｎ個の変換係数毎に変換係数の領域
で、上位および下位の階層別に動き補償を行う動画像の
符号化において、アルファマップ情報を用いて注目領域
の画像についての動き補償を行うと共に、当該動き補償
を行う際に、下位階層（ベースレイヤ）についての既に
復号済みの量子化値に基づいて動き補償予測の当り外れ
を判定し、動き補償予測が当っている場合は上位階層
（エンハンスメントレイヤ）用に求めた符号化歪みの少
ない動き補償予測値を用い、動き補償予測が外れている
場合は下位階層（ベースレイヤ）用に求めたエンハンス
メントレイヤ用より符号化歪みの多い動き補償予測値を
用いて上位階層の符号化を行うようにしたものであり、
これにより、動き補償予測の外れた係数に対する符号化
効率を改善して符号化効率の低下の少ない符号化を可能
にする符号化方式を実現することができるようになる。
【０２４９】従って、背景とオブジェクトを分離して符
号化する任意形状画像の符号化装置において、解像度と
画質を可変とすることが可能であり、しかも、符号化効
率の良いスケーラブルな符号化装置および復号化装置を
提供できる。
号化する任意形状画像の符号化装置において、解像度と
画質を可変とすることが可能であり、しかも、符号化効
率の良いスケーラブルな符号化装置および復号化装置を
提供できる。
【０２５０】（第３の具体例）次に、図１４を用いて第
３の具体例を説明する。
３の具体例を説明する。
【０２５１】図のように、オブジェクトと背景の境界を
含むブロック（実線で囲んだブロック）では、オブジェ
クトと背景とで別々に動きベクトルが検出される。この
際、オブジェクトあるいは背景のいずれかの画素数が少
なくなるために、ノイズの影響が大きくなり動きベクト
ルの信頼性が低下する。
含むブロック（実線で囲んだブロック）では、オブジェ
クトと背景とで別々に動きベクトルが検出される。この
際、オブジェクトあるいは背景のいずれかの画素数が少
なくなるために、ノイズの影響が大きくなり動きベクト
ルの信頼性が低下する。
【０２５２】そこで、境界部のブロックでは、他のブロ
ック（破線のブロック）よりも動きベクトルの検出範囲
を狭めるようにする。
ック（破線のブロック）よりも動きベクトルの検出範囲
を狭めるようにする。
【０２５３】また、現フレームのオブジェクトは、参照
フレームのやはりオブジェクトの部分から動いてきたも
のであるので、オブジェクトの部分の動きベクトルの探
索範囲を参照フレームのオブジェクトの内部に限定した
方が、動きベクトルの誤検出を削減できる。さらには、
探索範囲を限定することで動きベクトルの探索演算量を
少なくする効果もある。背景についても同様に、背景部
分から動きベクトルを求めるようにする。
フレームのやはりオブジェクトの部分から動いてきたも
のであるので、オブジェクトの部分の動きベクトルの探
索範囲を参照フレームのオブジェクトの内部に限定した
方が、動きベクトルの誤検出を削減できる。さらには、
探索範囲を限定することで動きベクトルの探索演算量を
少なくする効果もある。背景についても同様に、背景部
分から動きベクトルを求めるようにする。
【０２５４】このように、境界部のブロックでは、他の
ブロック（破線のブロック）よりも動きベクトルの検出
範囲を狭めることで、大きな誤差が発生しにくくするこ
とができるようになる。
ブロック（破線のブロック）よりも動きベクトルの検出
範囲を狭めることで、大きな誤差が発生しにくくするこ
とができるようになる。
【０２５５】（応用例）最後に、本発明の応用例として
本発明の動画像符号化／復号化装置を適用した動画像伝
送システムの実施形態を図１５を用いて説明する。
本発明の動画像符号化／復号化装置を適用した動画像伝
送システムの実施形態を図１５を用いて説明する。
【０２５６】図１５（ａ）に示すように、このシステム
は、パーソナルコンピュータ（ＰＣ）１００１に備え付
けられたカメラ１００２より入力された動画像信号は、
ＰＣ１００１に組み込まれた動画像符号化装置によって
符号化される。この動画像符号化装置から出力される符
号化データは、他の音声やデータの情報と多重化された
後、無線機１００３により無線で送信され、他の無線機
１００４によって受信される。
は、パーソナルコンピュータ（ＰＣ）１００１に備え付
けられたカメラ１００２より入力された動画像信号は、
ＰＣ１００１に組み込まれた動画像符号化装置によって
符号化される。この動画像符号化装置から出力される符
号化データは、他の音声やデータの情報と多重化された
後、無線機１００３により無線で送信され、他の無線機
１００４によって受信される。
【０２５７】無線機１００４で受信された信号は、動画
像信号の符号化データおよび音声やデータの情報に分解
される。これらのうち、動画像信号の符号化データはワ
ークステーション（ＥＷＳ）１００５に組み込まれた動
画像復号化装置によって復号され、ＥＷＳ１００５のデ
ィスプレイに表示される。
像信号の符号化データおよび音声やデータの情報に分解
される。これらのうち、動画像信号の符号化データはワ
ークステーション（ＥＷＳ）１００５に組み込まれた動
画像復号化装置によって復号され、ＥＷＳ１００５のデ
ィスプレイに表示される。
【０２５８】一方、ＥＷＳ１００５に備え付けられたカ
メラ１００６より入力された動画像信号は、ＥＷＳ１０
０６に組み込まれた動画像符号化装置を用いて上記と同
様に符号化される。動画像信号の符号化データは、他の
音声やデータの情報と多重化され、無線機１００４によ
り無線で送信され、無線機１００３によって受信され
る。無線機１００３によって受信された信号は、動画像
信号の符号化データおよび音声やデータの情報に分解さ
れる。これらのうち、動画像信号の符号化データはＰＣ
１００１に組み込まれた動画像復号化装置によって復号
され、ＰＣ１００１のディスプレイに表示される。
メラ１００６より入力された動画像信号は、ＥＷＳ１０
０６に組み込まれた動画像符号化装置を用いて上記と同
様に符号化される。動画像信号の符号化データは、他の
音声やデータの情報と多重化され、無線機１００４によ
り無線で送信され、無線機１００３によって受信され
る。無線機１００３によって受信された信号は、動画像
信号の符号化データおよび音声やデータの情報に分解さ
れる。これらのうち、動画像信号の符号化データはＰＣ
１００１に組み込まれた動画像復号化装置によって復号
され、ＰＣ１００１のディスプレイに表示される。
【０２５９】図１５（ｂ）は、図１５（ａ）におけるＰ
Ｃ１００１およびＥＷＳ１００５に組み込まれた動画像
符号化装置の、そして、図１５（ｃ）は、図１５（ａ）
におけるＰＣ１００１およびＥＷＳ１００５に組み込ま
れた動画像復号化装置の構成を概略的に示すブロック図
である。
Ｃ１００１およびＥＷＳ１００５に組み込まれた動画像
符号化装置の、そして、図１５（ｃ）は、図１５（ａ）
におけるＰＣ１００１およびＥＷＳ１００５に組み込ま
れた動画像復号化装置の構成を概略的に示すブロック図
である。
【０２６０】図１５（ｂ）に示す動画像符号化装置は、
カメラなどの画像入力部１１０１からの画像信号を入力
して誤り耐性処理部１１０３を有する情報源符号化部１
１０２と、伝送路符号化部１１０４を有し、情報源符号
化部１１０１においては予測残差信号の離散コサイン変
換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行
われ、伝送路符号化部１１０４においては可変長符号化
や符号化データの誤り検出および誤り訂正符号化などが
行われる。伝送路符号化部１１０４から出力される符号
化データは無線機１１０５に送られ、送信される。情報
源符号化部１１０１における処理や、伝送路符号化部１
１０４における可変長符号化処理は、本発明の各具体例
で説明した如きの処理手法を適用する。
カメラなどの画像入力部１１０１からの画像信号を入力
して誤り耐性処理部１１０３を有する情報源符号化部１
１０２と、伝送路符号化部１１０４を有し、情報源符号
化部１１０１においては予測残差信号の離散コサイン変
換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行
われ、伝送路符号化部１１０４においては可変長符号化
や符号化データの誤り検出および誤り訂正符号化などが
行われる。伝送路符号化部１１０４から出力される符号
化データは無線機１１０５に送られ、送信される。情報
源符号化部１１０１における処理や、伝送路符号化部１
１０４における可変長符号化処理は、本発明の各具体例
で説明した如きの処理手法を適用する。
【０２６１】一方、図１５（ｃ）に示す動画像復号化装
置は、無線機１２０１によって受信された符号化データ
を入力して伝送路符号化部１１０４と逆の処理を行う伝
送路復号化部１２０２と、伝送路復号化部１２０１の出
力信号を入力して情報源符号化部１１０２と逆の処理を
行う誤り耐性処理部１２０４を有する情報源復号化部１
２０３を有し、情報源復号化部１２０３で復号化された
画像はディスプレイなどの画像出力部１０２５によって
出力される。
置は、無線機１２０１によって受信された符号化データ
を入力して伝送路符号化部１１０４と逆の処理を行う伝
送路復号化部１２０２と、伝送路復号化部１２０１の出
力信号を入力して情報源符号化部１１０２と逆の処理を
行う誤り耐性処理部１２０４を有する情報源復号化部１
２０３を有し、情報源復号化部１２０３で復号化された
画像はディスプレイなどの画像出力部１０２５によって
出力される。
【０２６２】これらでの復号化処理は、本発明の各具体
例で説明した如きの処理手法を適用する。
例で説明した如きの処理手法を適用する。
【０２６３】
【発明の効果】以上、本発明によれば、大幅な符号化効
率の低下無しに、任意形状画像の画質を多段階に可変と
した、スケーラブル符号化が実現される。また、本発明
によれば、任意形状の画像をＤＣＴ処理した際の発生符
号量を少なくすることが可能となる。
率の低下無しに、任意形状画像の画質を多段階に可変と
した、スケーラブル符号化が実現される。また、本発明
によれば、任意形状の画像をＤＣＴ処理した際の発生符
号量を少なくすることが可能となる。
【図１】本発明を説明するための図であって、本発明の
第１の具体例における符号化装置の構成例を示すブロッ
ク図。
第１の具体例における符号化装置の構成例を示すブロッ
ク図。
【図２】本発明を説明するための図であって、本発明に
適用する予測値切り換え法を説明する図。
適用する予測値切り換え法を説明する図。
【図３】本発明を説明するための図であって、本発明の
第１の具体例における動き補償予測装置の構成例を示す
ブロック図。
第１の具体例における動き補償予測装置の構成例を示す
ブロック図。
【図４】本発明を説明するための図であって、本発明の
第１の具体例における復号化装置の構成例を示すブロッ
ク図。
第１の具体例における復号化装置の構成例を示すブロッ
ク図。
【図５】本発明を説明するための図であって、本発明の
第２の具体例における符号化装置の構成例を示すブロッ
ク図。
第２の具体例における符号化装置の構成例を示すブロッ
ク図。
【図６】本発明を説明するための図であって、本発明の
第２の具体例における動き補償予測装置の構成例を示す
ブロック図。
第２の具体例における動き補償予測装置の構成例を示す
ブロック図。
【図７】本発明を説明するための図であって、本発明の
第２の具体例における復号化装置の構成例を示すブロッ
ク図。
第２の具体例における復号化装置の構成例を示すブロッ
ク図。
【図８】本発明を説明するための図であって、本発明の
第３の具体例における動き補償予測装置の構成例を示す
ブロック図。
第３の具体例における動き補償予測装置の構成例を示す
ブロック図。
【図９】本発明を説明するための図であって、本発明に
用いる量子化マトリクスの例を示す図。
用いる量子化マトリクスの例を示す図。
【図１０】本発明を説明するための図であって、本発明
に用いる量子化マトリクスの例を示す図。
に用いる量子化マトリクスの例を示す図。
【図１１】図２の例に対して得られた量子化マトリクス
の例。
の例。
【図１２】水平方向（ｈ）と垂直方向（ｖ）各々８個に
分けた２次元マトリクスの例。
分けた２次元マトリクスの例。
【図１３】図２で示した例に対するスキャン順序を示す
図。
図。
【図１４】本発明を説明するための図であって、本発明
の第４の具体例を説明する図。
の第４の具体例を説明する図。
【図１５】本発明による画像符号化装置および画像復号
化装置が適用される画像伝送システムの一例を説明する
ための図。
化装置が適用される画像伝送システムの一例を説明する
ための図。
【図１６】ＭＰＥＧ２のＳＮＲスケーラビリティのブロ
ック図。
ック図。
【図１７】ＭＰＥＧ２の空間スケーラビリティのブロッ
ク図。
ク図。
【図１８】アルファマップを説明する図。
【図１９】任意形状画像の直交変換を説明する図。
【図２０】本発明の第２の具体例における変形例を説明
するための図であって、背景に平均値を配した例を示す
図。
するための図であって、背景に平均値を配した例を示す
図。
【図２１】本発明の第２の具体例における変形例を説明
するための図であって、段差を小さくした例を説明する
ための図。
するための図であって、段差を小さくした例を説明する
ための図。
【図２２】本発明の第２の具体例における変形例を説明
するための図であって、ブロック画素値の例を示す図。
するための図であって、ブロック画素値の例を示す図。
【図２３】本発明の第２の具体例における変形例を説明
するための図であって、段差を小さくした別の例を説明
するための図。
するための図であって、段差を小さくした別の例を説明
するための図。
【図２４】本発明の第２の具体例における変形例を説明
するための図であって、ブロック画素値の例を示す図。
するための図であって、ブロック画素値の例を示す図。
【図２５】本発明の第２の具体例における変形例として
の符号化装置の例を示すブロック図。
の符号化装置の例を示すブロック図。
【図２６】本発明の第２の具体例における変形例として
の復号化装置の例を示すブロック図。
の復号化装置の例を示すブロック図。
１００，２４０，２０１７…離散コサイン変換回路（Ｄ
ＣＴ回路） １０１，６４０…任意形状直交変換回路 １１０，１１１，１２０，１２１…差分回路 １３０，１３１…量子化回路 １４０，１４１…可変長符号化回路 １４２，１４３…可変長復号化回路 １５０，１５１，１５５…多重化回路 １５２，１５３，１５７…分離化回路 １６０，１６１…出力バッファ １６２，１６３…入力バッファ １７０，１７１，１７２，１７３…逆量子化回路 １８０〜１８２，１９０〜１９３…加算回路 ２００〜２０３，６００〜６０３…動き補償予測装置。 ２１０，２０２１…逆離散コサイン変換回路（ＩＤＣＴ
回路） ２２０，６２０，６２１〜６２３，７００…フレームメ
モリ ２３０，６３０…動き補償回路 ３００…セレクタ ３１０…２値化回路 ４００，４１０，４２０，４３０…符号化制御回路 ５００，５１０…動きベクトル検出回路 ６１０…任意形状逆直交変換回路 ６５０，６５１…ＳＷ回路 ２００３，２００５，２００９，２０２３，２０２５，
２０２９…切り替え器 ２００４，２０２４…判定器 ２００６…符号化器 ２０１０…縮小器 ２０１１，２０３１…平均器 ２０２０…復号器 ２０３０…拡大器。
ＣＴ回路） １０１，６４０…任意形状直交変換回路 １１０，１１１，１２０，１２１…差分回路 １３０，１３１…量子化回路 １４０，１４１…可変長符号化回路 １４２，１４３…可変長復号化回路 １５０，１５１，１５５…多重化回路 １５２，１５３，１５７…分離化回路 １６０，１６１…出力バッファ １６２，１６３…入力バッファ １７０，１７１，１７２，１７３…逆量子化回路 １８０〜１８２，１９０〜１９３…加算回路 ２００〜２０３，６００〜６０３…動き補償予測装置。 ２１０，２０２１…逆離散コサイン変換回路（ＩＤＣＴ
回路） ２２０，６２０，６２１〜６２３，７００…フレームメ
モリ ２３０，６３０…動き補償回路 ３００…セレクタ ３１０…２値化回路 ４００，４１０，４２０，４３０…符号化制御回路 ５００，５１０…動きベクトル検出回路 ６１０…任意形状逆直交変換回路 ６５０，６５１…ＳＷ回路 ２００３，２００５，２００９，２０２３，２０２５，
２０２９…切り替え器 ２００４，２０２４…判定器 ２００６…符号化器 ２０１０…縮小器 ２０１１，２０３１…平均器 ２０２０…復号器 ２０３０…拡大器。
Claims (2)
- 【請求項１】変換係数領域での動き補償予測が用られる
変換符号化により符号化された画像を復号化するための
復号化装置であって、符号化された入力画像とこの入力
画像中の１つ以上のオブジェクトを識別するためのアル
ファマップ信号と動き補償予測のための動きベクトル情
報とを用い、前記アルファマップ信号にしたがって前記
符号化入力画像の任意形状画像を逆変換することによ
り、任意形状画像を再生するようにし、その任意形状画
像の動ベクトル情報より当該任意形状画像の動き補償予
測を行うようにした動画像復号化装置において、 画像を背景および各オブジェクト別に動き補償予測する
ために、これら背景および各オブジェクト別に、各々対
応するフレームメモリを有することを特徴とする動画像
復号化装置。 - 【請求項２】変換係数領域での動き補償予測が用られる
変換符号化により符号化された画像を復号化するための
復号化方法であって、符号化された入力画像とこの入力
画像における画像の背景とオブジェクトを識別するため
のアルファマップの情報と動き補償予測のための動きベ
クトル情報とを用い、前記アルファマップの情報にした
がって前記符号化入力画像の任意形状画像を逆変換する
ことにより、任意形状画像を再生するようにし、その任
意形状画像の動ベクトル情報より当該任意形状画像の動
き補償予測を行うようにした動画像復号化方法におい
て、 フレームメモリを設けて背景および各オブジェクト各々
を各別に保持し、動き補償予測値を求める際には、アル
ファマップの情報にしたがってオブジェクトと背景別に
画像蓄積したフレームメモリの蓄積画像より、それぞれ
の動き補償予測を実施することにより、動き補償予測は
背景および各オブジェクト独立に行うことを特徴とする
動画像復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001002847A JP2001231049A (ja) | 1995-10-27 | 2001-01-10 | 動画像復号化装置および動画像復号化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28102995 | 1995-10-27 | ||
| JP7-281029 | 1995-10-27 | ||
| JP2001002847A JP2001231049A (ja) | 1995-10-27 | 2001-01-10 | 動画像復号化装置および動画像復号化方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15429696A Division JP3788823B2 (ja) | 1995-10-27 | 1996-06-14 | 動画像符号化装置および動画像復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001231049A true JP2001231049A (ja) | 2001-08-24 |
Family
ID=26554029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001002847A Pending JP2001231049A (ja) | 1995-10-27 | 2001-01-10 | 動画像復号化装置および動画像復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001231049A (ja) |
-
2001
- 2001-01-10 JP JP2001002847A patent/JP2001231049A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3788823B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
| US10250885B2 (en) | System and method for intracoding video data | |
| US9420279B2 (en) | Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method | |
| JP2744871B2 (ja) | 画像信号符号化方法および画像信号符号化装置 | |
| US8532187B2 (en) | Method and apparatus for scalably encoding/decoding video signal | |
| US6078694A (en) | Image signal padding method, image signal coding apparatus, image signal decoding apparatus | |
| EP1649697B1 (en) | Intra coding video data apparatuses | |
| US20040136457A1 (en) | Method and system for supercompression of compressed digital video | |
| KR20000068542A (ko) | 비디오 엔코더, 비디오 디코더, 비디오 프로세서 및 그 방법 | |
| KR20010102155A (ko) | '블러키 화상' 효과의 감소 | |
| JP2002223443A (ja) | トランスコーディング方法およびトランスコーディング装置 | |
| KR20050012782A (ko) | 코딩 중에 이미지 선명도를 최적화하기 위한 방법과 시스템 | |
| JP2007019995A (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
| US6556714B2 (en) | Signal processing apparatus and method | |
| JPH10276437A (ja) | 階層的動画像信号符号化／復号化方法及び装置 | |
| JP2001238220A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP4171958B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH07336684A (ja) | 画像信号復号化装置 | |
| JP2001231049A (ja) | 動画像復号化装置および動画像復号化方法 | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| JP2008512023A (ja) | 動き予測のための方法及び装置 | |
| JP2000209592A (ja) | 画像伝送装置と方法及びシステムとその制御方法 | |
| EP1750452B1 (en) | Apparatus for intra coding video data | |
| JPH06244736A (ja) | 符号化装置 | |
| JPH07336681A (ja) | 画像変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050118 |