JP2004112808A

JP2004112808A - 微細単位伸縮型符号化／復号化装置及びその方法

Info

Publication number: JP2004112808A
Application number: JP2003325297A
Authority: JP
Inventors: Kyu-Chan Roh; キュ−チャン　ロー
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2002-09-17
Filing date: 2003-09-17
Publication date: 2004-04-08
Also published as: US20040101052A1; US7003034B2; KR20040026050A; KR100556838B1; EP1401208A1; CN1496095A

Abstract

【課題】拡張階層の信号の符号と基本階層の信号の符号とを同様にして、符号情報を伝送することを省き、符号化の効率を向上させ、符号ストリーム全体のビット率を減少し得る微細単位伸縮型符号化／復号化装置及びその方法を提供しようとする。
【解決手段】動き補償された映像に対し離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行った後、その結果値を量子化する第１量子化器と、該第１量子化器により量子化された値を再量子化する第２量子化器と、該第２量子化器により再量子化された値を逆量子化する逆量子化器と、前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算器と、前記第１量子化器による量子化値と前記逆量子化器による逆量子化値との誤差を求める第２減算器と、前記第１減算器による誤差値と前記第２減算器による誤差値とを減算する第３減算器とを含み該装置を構成する。
【選択図】図１

Description

　本発明は微細単位伸縮型符号化／復号化装置（Ｆｉｎｅ　Ｇｒａｎｕｌａｒｉｔｙ　Ｓｃａｌａｂｉｌｉｔｙ　Ｅｎｃｏｄｉｎｇ／Ｄｅｃｏｄｉｎｇ　Ａｐｐａｒａｔｕｓ　ａｎｄ　Ｍｅｔｈｏｄ　Ｔｈｅｒｅｏｆ）及びその方法に係るもので、詳しくは、拡張階層（Ｅｎｈａｎｃｅｍｅｎｔ　Ｌａｙｅｒ）の信号の符号と基本階層（Ｂａｓｅ　Ｌａｙｅｒ）の信号の符号とを同様にして、符号情報の伝送を省くことで、符号化の効率を向上させ、符号ストリーム全体のビット率を減少し得るようにした微細単位伸縮型符号化／復号化装置及びその方法に関するものである。

　一般のＭＰＥＧ−４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅｓ　Ｅｘｐｅｒｔ　Ｇｒｏｕｐ−４）は、映像を符号化して伝送するとき、受信者側端末機の状況や性能に従って多様な画質を提供し得るように設計されている。

　且つ、受信端の端末機の性能（Ｃｏｍｐｕｔｉｎｇ　ｐｏｗｅｒ）が優秀で、伝送線路（Ｄｅｌｉｖｅｒｙ　Ｌａｙｅｒ：無線、ＡＴＭ及びＬＡＮなど）の状態が良好な場合は高画質の動映像を受信してディスプレーし得るが、受信機の性能が悪くて、通信ラインの状態が良くない場合は高画質の動映像を受信することができない。従って、これら全ての場合を収容し得るように、前記ＭＰＥＧ−４は、スケーラブル映像符号化（Ｓｃａｌａｂｌｅ　Ｉｍａｇｅ　Ｃｏｄｉｎｇ）を行い得るように設計されている。

　このとき、前記スケーラブル映像符号化とは、受信端側で多様な画質（低品質から高品質まで：Ｌｏｗ　ｑｕａｌｉｔｙ　ｔｏ　Ｈｉｇｈ　ｑｕａｌｉｔｙ）の映像を受信し得るように、送信端の符号化器側で伸縮可能（ｓｃａｌａｂｌｅ）なビットストリーム（Ｂｉｔ　ｓｔｒｅａｍ）を生成して伝送することである。

　即ち、伝送ビットストリームが伸縮可能であると、多様な種類の受信機が適用され、低性能（Ｌｏｗ　Ｐｅｒｆｏｒｍａｎｃｅ）の受信機は基本階層で符号化された基本画質の映像ビットストリームの伝送を受けてディスプレーすることができるし、高性能（Ｈｉｇｈ　Ｐｅｒｆｏｒｍａｎｃｅ）の受信機は拡張階層で符号化された高画質の映像ビットストリームの伝送を受けてディスプレーすることができる。

　このような前記スケーラブル映像符号化方法は、基本的に基本階層と拡張階層とに大別され、前記符号化器の基本階層から基本品質の動映像情報が伝送され、符号化器の拡張階層から基本品質の動映像と一緒に向上した画質を提供し得る情報を受信端側に伝送することで、復号化器は前記二つの階層から伝送された該当の情報を受信して高品質の映像情報を復号化することができる。このとき、前記受信端側では、端末機の性能や伝送線路の状態によって、伝送された二つの階層の映像情報を選択して復号化するが、前記復号化器が伝送線路を通して伝達された全ての情報を復号化し得る能力を有していないと、最小映像品質補償階層の前記基本階層の情報のみを復号化し、前記拡張階層の情報は復号化せずに捨てるようになる。然し、高品質の受信機は、全ての階層の情報を収容して高品質の映像を具現することができる。

　即ち、前記スケーラブル映像符号化方法は、高品質の復号化器を所有した使用者と低品質の復号化器を所有した使用者とを一緒に満足させる映像を伝送し得るようになっている。

　このようなスケーラブル映像符号化方法においては、受信端側で前記拡張階層から送信されたビットストリームを全て受信しなければ該当の映像フレームを復元することができないため、前記拡張階層のビットストリームを全て伝送しないと、該当の映像を完全に復元し得ない。従って、再伝送を送信端側に要求するか、又は全てのビットストリームが受信されるまで映像の復元を行うことができないため、以前のフレームの映像を利用してエラー隠蔽（ｅｒｒｏｒ　ｃｏｎｃｅａｌｍｅｎｔ）を行わなければならない。

　このように、伝送線路の状態が安定していないため、計画された映像ビットストリームがリアルタイムで伝送されない場合にも、伝送された映像のリアルタイム復元を行う方法として、一定時点まで受信された部分的な映像ビットストリームのみを利用して伝送映像をリアルタイムで復元し得る方法の一例として、前記ＭＰＥＧ−４の微細単位伸縮型（ＦＧＳ：Ｆｉｎｅ　Ｇｒａｎｕｌａｒ　Ｓｃａｌａｂｉｌｉｔｙ）符号化方法が提案されて国際標準案に制定されている。

　このような微細単位伸縮型符号化方法は、スケーラブル符号化を行うとき、伝送線路の状態が安定していないと、一定時点まで受信された部分的なビットストリームのみを利用して伝送映像の復元を行う方法であって、安定した伝送線路のみを考慮して具現された既存の前記スケーラブル符号化方法の欠点を補完し得るように設計され、送信端側の拡張階層が基本階層から伝送された映像によって向上した画質の映像ビットストリームを伝送するとき、ビットプレーン（Ｂｉｔ　ｐｌａｎｅ）単位で伝送するようになっている。

　且つ、このような前記微細単位伸縮型符号化方法は、送信端側から受信端側に前記拡張階層に必要なビットストリームを伝送するとき、元映像（ｏｒｉｇｉｎａｌ　ｉｍａｇｅ）と前記基本階層から伝送された映像との差のみを伝送することで、伝送映像の画質を向上させるという点で、前記スケーラブル符号化方法と類似する。

　然し、前記微細単位伸縮型符号化方法は、前記拡張階層から受信端側に伝送すべき映像情報をビットプレーン別に分けた後、最も重要なビット（ＭＳＢ：Ｍｏｓｔ　ｓｉｇｎｉｆｉｃａｎｔ　ｂｉｔ）を最優先的に伝送し、その残りのビットも重要な順に連続的に伝送する方式を用いるという点で、前記スケーラブル符号化方法と異なる。従って、前記微細単位伸縮型符号化方法においては、受信端側で伝送線路の帯域幅（Ｂａｎｄｗｉｄｔｈ）が急変して、映像復元に必要なビットを全て受信することができない場合も、一定時点まで受信されたビットストリームのみを利用して伝送映像の復元をある程度行うことができる。

　例えば、２５という映像情報を伝送すると仮定すると、これを二進数で表現すると’１１００１’になり、これは五つのビットプレーンにより構成される。前記映像情報をビットプレーン別に送信するためには、まず、送信端側は、受信端側に全ての伝送情報が五つのビットプレーンにより構成されていることを知らせる。

　次いで、最も重要なビット（ＭＳＢ：Ｍｏｓｔ　ｓｉｇｎｉｆｉｃａｎｔ　ｂｉｔ、以下、ＭＳＢと略称す）から最も重要でないビット（ＬＳＢ：Ｌｅａｓｔ　ｓｉｇｎｉｆｉｃａｎｔ　ｂｉｔ、以下、ＬＳＢと略称す）までビット単位で受信端に伝送される場合、最初のＭＳＢの伝送が終了されると、前記受信端側は前記伝送された情報が１６以上の値（１００００）であることが分かり、二番目のビット列の伝送が終了されると、前記受信端側は前記伝送された情報が２４以上の値（１１０００）であることが分かるようになる。

　若し、伝送線路の帯域幅（Ｂａｎｄｗｉｄｔｈ）の制約により、それ以上ビットストリームを前記受信端側に伝送することができなくなると、前記受信端側は一定時点まで伝送されたビット列（１１０００）から２４の数字を復元することができる。結果的に、前記伝送された情報の２４は、初期に伝送しようとした情報の２５と類似した数字になる。

　このように、前記ＭＰＥＧ−４で用いられる微細単位伸縮型符号化方法においては、伝送線路の帯域幅がいつでも急変する可能性があるということを考慮している。

　以下、前記微細単位伸縮型符号化器の構成に対し、図４に基づいて説明する。

　図４は、従来の微細単位伸縮型符号化器の構成を示したブロック図で、拡張階層にＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）計算のないＭＰＥＧ−４の微細単位伸縮型（ＦＧＳ：Ｆｉｎｅ　Ｇｒａｎｕｌａｒ　Ｓｃａｌａｂｉｌｉｔｙ）符号化器を示したものである。

　図４に示したように、従来の微細単位伸縮型符号化器においては、基本階層と拡張階層とにより微細単位伸縮型階層（ＦＧＳ　Ｌａｙｅｒ）が形成され、前記拡張階層の信号は、量子化以前のＤＣＴ係数と逆量子化により再構成された信号との差値から算出される。

　まず、前記基本階層は、既存のＭＰＥＧ−４の符号化方法がそのまま用いられ、前記基本階層の映像符号化方法においては、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）、量子化（Ｑ：Ｑｕａｎｔｉｚａｔｉｏｎ）、動き予測（ＭＥ：Ｍｏｔｉｏｎ　Ｅｓｔｉｍａｔｉｏｎ）、動き補償（ＭＣ：Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）、逆量子化（Ｑ^−１：Ｉｎｖｅｒｓｅ　Ｑｕａｎｔｉｚａｔｉｏｎ）及び逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）などにより、空間軸（Ｓｐａｔｉａｌ）及び時間軸（Ｔｅｍｐｏｒａｌ）方向に映像情報圧縮（Ｉｍａｇｅ　Ｄａｔａ　Ｃｏｍｐｒｅｓｓｉｏｎ）が行われ、可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ）により符号発生確率の偏重に関するエントロピー符号化（Ｅｎｔｒｏｐｙ　Ｃｏｄｉｎｇ）が行われる。最終的に前記符号化により発生された前記基本階層のビットストリームは、送信バッファを通して伝送線路に伝送される。

　また、図示されたように、前記拡張階層の微細単位伸縮型符号化（ＦＧＳ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｅｎｃｏｄｉｎｇ）においては、減算器により元映像と前記基本階層で再生された映像との誤差が算出され、該誤差値に対し、ビットプレーンシフト（Ｂｉｔ−ｐｌａｎｅ　ｓｈｉｆｔ）過程、最大値検出（Ｆｉｎｄ　Ｍａｘｉｍｕｍ）過程及びビットプレーン別可変長符号化（Ｂｉｔ−ｐｌａｎｅ　ＶＬＣ）過程がそれぞれ行われる。

　前記誤差値は、前記基本階層で符号化された後再生された映像、即ち、逆量子化器により再生された映像と離散コサイン変換が行われた後生成された映像（Ｏｒｉｇｉｎａｌ　Ｉｍａｇｅ）との差から求められる。このとき、選択的に良好な画質を有するブロックが必要であると、該当値を最優先的に伝送しなければならないため、ビットプレーンシフト過程を選択的に行う。このように、前記ビットプレーンシフト過程で行われる前記過程は、選択的強化（Ｓｅｌｅｃｔｉｖｅ　Ｅｎｈａｎｃｅｍｅｎｔ）と定義される。

　次いで、最大値検出過程で、該当の映像フレームを伝送するための最大のビットプレーンの数を求める。

　その後、ビットプレーン可変長符号化（Ｂｉｔ　Ｐｌａｎｅ　ＶＬＣ）過程で、ビットプレーンのブロック単位で求められた６４個のＤＣＴ係数（ＤＣＴ係数の該当ビットプレーンのビット：０又は１）は、ジグザグスキャン（ｚｉｇｚａｇ　ｓｃａｎ）順に一つの行列に包含され、前記各行列は、ＶＬＣテーブルによってランレングス符号化（ｒｕｎ　ｌｅｎｇｔｈ　ｅｎｃｏｄｉｎｇ）される。

　一方、前記ＭＰＥＧ−４の国際標準案に用いられる微細単位伸縮型符号化器の復号化器（受信端）が図５に示され、図示されたように、従来の微細単位伸縮型符号化器に係る復号化器の復号化は、基本階層と拡張階層とに分けられて、図４に示した符号化器と逆順に行われる。

　即ち、まず、前記基本階層にビットストリームが入力されると、前記ビットストリームに対し、可変長復号化（ＶＬＤ：Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｄｅｃｏｄｉｎｇ）を行った後逆量子化（Ｑ^−１：Ｉｎｖｅｒｓｅ　Ｑｕａｎｔｉｚａｔｉｏｎ）を行い、以後の該当値に対し、逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行う。その後、前記逆離散コサイン変換された値及び動き補償（ＭＣ：Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）された値を加算した後、それら加算された値を０〜２５５値内にクリッピング（Ｃｌｉｐｐｉｎｇ）することで、最終的に前記基本階層の伝送映像が復元される。

　一方、前記微細単位伸縮型復号化方法の拡張階層では、前記符号化器と逆順に前記拡張階層に伝送されたビットストリームの復号化が行われるが、先に入力された拡張ビットストリームに対し、ビットプレーン別可変長復号化（Ｂｉｔ−ｐｌａｎｅ　ＶＬＤ）を行う。このとき、選択的に良好な画質を有するブロックが伝送された場合、ビットプレーンシフト（Ｂｉｔ−ｐｌａｎｅ　Ｓｈｉｆｔ）過程を選択的に行う。

　前記ビットプレーン別に可変長復号化（ＶＬＤ）が行われて、選択的にシフトを行って導出された値に対し、ブロック単位の逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行うことで、前記拡張階層から伝送され映像が復元される。その後、前記拡張階層で復元された映像と前記基本階層で復号された映像とを加算し、該加算された値を０〜２５５値内にクリッピングすることで、最終的に向上した画質の映像が復元される。

　このように、前記ＭＰＥＧ−４の微細単位伸縮型符号化の拡張階層にＤＣＴ計算のない場合、前記拡張階層の信号は量子化誤差により決定される。

　然るに、このような従来の微細単位伸縮型符号化／復号化装置においては、量子化誤差が量子化以前の信号と量子化により再構成された値との差から算出されるため、拡張階層の信号の符号（正（＋）又は負（−））が基本階層と関係なく決定されるので、符号による情報も一緒に符号化しなければならないという不都合な点があった。

　本発明は、このような従来の課題に鑑みてなされたもので、拡張階層の信号の符号と基本階層の信号の符号とを同様にして、符号情報を伝送する必要がないようにすることで、符号化の効率を向上させ、符号ストリーム全体のビット率を減少し得るようにした微細単位伸縮型符号化／復号化装置及びその方法を提供することを目的とする。

　このような目的を達成するため、本発明に係る微細単位伸縮型符号化装置においては、動き補償された映像に対し離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行った後、その結果値を量子化する第１量子化器と、該第１量子化器により量子化された値を再量子化する第２量子化器と、該第２量子化器により再量子化された値を逆量子化する逆量子化器と、前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算器と、前記第１量子化器による量子化値と前記逆量子化器による逆量子化値との誤差を求める第２減算器と、前記第１減算器による誤差値と前記第２減算器による誤差値とを減算する第３減算器と、該第３減算器の出力値から最大値を検出する最大値算出部と、前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化（Ｂｉｔ　ｐｌａｎｅ　Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ）部と、を包含して構成されることを特徴とする。

　また、本発明に係る微細単位伸縮型符号化方法においては、動き補償された映像に対しＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）計算された値を第１量子化する段階と、該第１量子化された値を再量子化する段階と、該再量子化された値を逆量子化する段階と、前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算段階と、前記第１量子化された値と前記逆量子化された値との誤差を求める第２減算段階と、前記第２減算による誤差値と前記第１減算による誤差値とを減算する第３減算段階と、を順次行うことを特徴とする。

　本発明による微細単位伸縮型符号化装置は、動き補償された映像に対し離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行った後、その結果値を量子化する第１量子化器と、該第１量子化器により量子化された値を再量子化する第２量子化器と、該第２量子化器により再量子化された値を逆量子化する逆量子化器と、前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算器と、前記第１量子化器の量子化値と前記逆量子化器の逆量子化値との誤差を求める第２減算器と、前記第１減算器の誤差値と前記第２減算器の誤差値とを減算する第３減算器とを包含して構成されることを特徴とし、それにより上記目的が達成される。

　選択的に良好な画質を有するブロックが必要な場合、ビットプレーンシフトを行うビットプレーンシフト部が選択的に包含されることを特徴としてもよい。

　前記第３減算器の出力値から最大値を検出する最大値算出部と、前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化（Ｂｉｔ　ｐｌａｎｅ　Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ）部とが更に包含されることを特徴としてもよい。

　本発明による微細単位伸縮型符号化装置は、拡張階層（Ｅｎｈａｎｃｅｍｅｎｔ　Ｌａｙｅｒ）を符号化するとき符号情報を符号化しないようにするため、再量子化以前の信号と再量子化器の決定値との差から量子化誤差を計算することを特徴とし、それにより上記目的が達成される。

　本発明による微細単位伸縮型符号化装置は、動き補償された映像に対し離散コサイン変換を行った後、その結果値を量子化する第１量子化器と、該第１量子化器により量子化された値を再量子化する第２量子化器と、該第２量子化器により再量子化された値を逆量子化する逆量子化器と、該逆量子化器により逆量子化された値を再逆量子化する再逆量子化器と、前記第１量子化器により量子化された値と前記第２量子化器により再量子化された値のＮ倍の値との差を求める減算器とを包含して構成されることを特徴とし、それにより上記目的が達成される。

　前記減算器の出力値から最大値を検出する最大値算出部と、前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化部と、が更に包含されることを特徴としてもよい。

　本発明による微細単位伸縮型複合化装置は、入力された拡張階層のビットストリームをビットプレーン別に可変長復号化するビットプレーン可変長復号化部と、前記ビットプレーン別に可変長復号化された値と基本階層で再生された映像との誤差値を加減する加減算部と、前記加減された値を逆量子化する逆量子化器と、前記逆量子化された値に対し、ブロック単位で逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行うことで、前記拡張階層から伝送された映像を復元する逆離散コサイン変換部と、前記逆離散コサイン変換された映像値を０〜２５５値内にクリッピング（Ｃｌｉｐｐｉｎｇ）することで、最終的に向上した映像を復元するクリッピング部と、
　を包含して構成されることを特徴とし、それにより上記目的が達成される。

　本発明による微細単位伸縮型複合化装置は、前記加減算部は、前記基本階層のビットストリームが可変長復号化された値をＮ倍した値と前記可変長復号化された値を逆量子化する逆量子化器により逆量子化された値との差値を求める第５減算器と、該第５減算器により求められた値と前記ビットプレーン可変長復号化された値との差値を求める第６減算器と、該第６減算器による値と前記逆量子化器により逆量子化された値との差値を求める第７減算器と、を包含して構成されることを特徴としてもよい。

　本発明による微細単位伸縮型符号化装置は、動き補償された映像に対しＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）計算された値を第１量子化する段階と、該第１量子化された値を再量子化する段階と、該再量子化された値を逆量子化する段階と、前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算段階と、前記第１量子化された値と前記逆量子化された値との誤差を求める第２減算段階と、前記第２減算による誤差値と前記第１減算による誤差値とを減算する第３減算段階とを順次行うことを特徴とし、それにより上記目的が達成される。

　前記第３減算段階による出力値から最大値を検出する段階と、前記算出された最大値に対しビットプレーン別に可変長符号化を行う段階とを更に行うことを特徴としてもよい。

　本発明による微細単位伸縮型符号化装置は、動き補償された映像に対しＤＣＴ計算された値を第１量子化する段階と、該第１量子化された値を再量子化する段階と、該再量子化された値を逆量子化する段階と、前記逆量子化された値を再逆量子化する段階と、前記第１量子化された値と前記再量子化された値のＮ倍の値との差を求める減算段階とを順次行うことを特徴とし、それにより上記目的が達成される。

　本発明による微細単位伸縮型複合化装置は、入力された拡張階層のビットストリームをビットプレーン別に可変長復号化する段階と、前記ビットプレーン別に可変長復号化された値と基本階層で再生された映像との誤差値を加減する加減算段階と、前記加減された値を逆量子化する段階と、前記逆量子化された値に対し、ブロック単位で逆離散コサイン変換を行うことで、前記拡張階層から伝送された映像を復元する段階と、前記逆離散コサイン変換された映像値を０〜２５５値内にクリッピングすることで、最終的に向上した映像を復元する段階とを順次行うことを特徴とし、それにより上記目的が達成される。

　前記加減算段階は、前記基本階層のビットストリームが可変長復号化された値をＮ倍した値と前記可変長復号化された値の逆量子化された値との差値を求める第１段階と、該第１段階で求められた値と前記ビットプレーン可変長復号化された値との差値を求める第２段階と、該第２段階による差値と前記逆量子化された値との差値を求める第３段階とを順次行うことを特徴としてもよい。

　以上説明したように、本発明に係る微細単位伸縮型符号化／復号化装置及びその方法においては、拡張階層の信号の符号と基本階層の信号の符号とを同様に生成することで、符号情報を伝送することが省かれるため、符号化の効率を向上させ、符号ストリーム全体のビット率を減少し得るという効果がある。

　また、有無線網での動映像ストリーミングのための微細単位伸縮型符号化方式において、従来のＭＰＥＧ−４の微細単位伸縮型符号化方式より効率的な性能を有するだけでなく、階層構造を有する符号化を用いることで動映像情報のエラー耐性伝送の効率性を向上し得るという効果がある。

　本発明は、拡張階層（Ｅｎｈａｎｃｅｍｅｎｔ　Ｌａｙｅｒ）で符号化が行われるとき、前記拡張階層の入力情報が量子化器による量子化誤差からなり、該誤差は、再量子化以前の信号と再量子化器の決定値（ｄｅｃｉｓｉｏｎ　ｌｅｖｅｌ）との差からなる。

　即ち、従来の陽子化誤差が量子化以前の信号と逆量子化による再構成値（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ　ｌｅｖｅｌ）との差からなることに対し、本発明の陽子化誤差は、再量子化以前の信号と再量子化器の決定値との差からなるため、前記拡張階層を符号化するとき、該拡張階層の信号の符号情報を減少させることができる。

　以下、本発明の実施の形態に対し、図面に基づいて説明する。

　図１は、本発明に係る微細単位伸縮型符号化器の第１実施形態の構成を示したブロック図で、図示されたように、本発明に係る微細単位伸縮型符号化器においては、動き補償された映像に対し離散コサイン変換を行った後、その結果値を量子化

する第１量子化器３００と、該第１量子化器３００により量子化された値ｘ（ｋ）を再量子化

する第２量子化器３０１と、該第２量子化器３０１により再量子化された値ｙ_１（ｋ）を逆量子化

する逆量子化器３０２と、前記再量子化された値ｙ_１（ｋ）のＮ倍の値Ｎｙ_１（ｋ）と前記逆量子化された値

との誤差を求める第１減算器３０６と、前記第１量子化器３００による量子化値ｘ（ｋ）と前記逆量子化器３０２による逆量子化値

との誤差を求める第２減算器３０７と、前記第１減算器３０６による誤差値と前記第２減算器３０７による誤差値とを減算する第３減算器３０８と、該第３減算器３０８の出力値から最大値を検出する最大値算出部３０４と、前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化部３０５と、を包含して構成されている。

　以下、前記各減算器により誤差が算出される過程に対し詳細に説明する。

　前記過程以外の符号化による全ての過程は、従来技術と同様であるため説明は省略する。

　まず、前記第１減算器３０６は、前記第２量子化器３０１により再量子化された値ｙ_１（ｋ）のＮ倍の値Ｎｙ_１（ｋ）と前記逆量子化器３０２により逆量子化された値

との誤差を求める。且つ、前記第２減算器３０７は、基本階層（Ｂａｓｅ　Ｌａｙｅｒ）で符号化された後再生された映像、即ち、前記逆量子化器３０２を通過した後再生された映像と前記第１量子化器３００を通過した映像（Ｏｒｉｇｉｎａｌ　Ｉｍａｇｅ）との誤差を求める。

　その後、前記第３減算器３０８は、前記第１及び第２減算器３０６、３０７からそれぞれ算出された誤差の差値を求める。

　次いで、前記最大値算出部３０４は、前記差値による映像から該当の映像フレームを伝送するための最大のビットプレーンの数を検出し、前記ビットプレーン可変長符号化部３０５は、前記算出された最大値に対しビットプレーン別に可変長符号化を行う。その他の基本階層の符号化過程は、従来技術と同様であるため省略する。

　このように、本発明に係る微細単位伸縮型符号化器においては、拡張階層を符号化するとき符号情報を符号化せずに、再量子化以前の信号と再量子化器の決定値との差から量子化誤差を計算するため、前記拡張階層の信号の符号と前記基本階層の信号の符号とを同様にして、符号化の効率を向上させる。

　図２は、本発明に係る微細単位伸縮型符号化器の第２実施形態の構成を示したブロック図で、図示されたように、本発明に係る微細単位伸縮型符号化器においては、ＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）計算された値を量子化

する第１量子化器４００と、該第１量子化器４００により量子化された値ｘ（ｋ）を再量子化

する第２量子化器４０１と、該第２量子化器４０１により再量子化された値ｙ_１（ｋ）を逆量子化

する逆量子化器４０２と、該逆量子化器４０２により逆量子化された値

を再逆量子化

する再逆量子化器４０３と、前記第１量子化器４００により量子化された値ｘ（ｋ）と前記第２量子化器４０１により再量子化された値ｙ_１（ｋ）のＮ倍の値Ｎｙ_１（ｋ）との差を求める減算器４０６と、該減算器４０６から出力された値から最大値検出（Ｆｉｎｄ　Ｍａｘｉｍｕｍ）を行う最大値算出部４０４と、前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化部４０５と、を包含して構成されている。

　前記図１及び図２の構成では二つの連続された量子化器

、

が定義され、前記拡張階層の信号は第２量子化器

による誤差により決定される。

　このような量子化誤差の計算方式は、図１の符号化器のように、量子化以前の信号と逆量子化以後の再構成値との差でなく、再量子化以前の信号と再量子化器の決定値との差からなる。

　従って、前記拡張階層の信号の符号と前記基本階層の信号の符号とが同様になり、下記の数学式（１）〜（６）により図１及び図２の拡張階層の信号が相互同様であることが証明される。

　次いで、前記最大値算出部４０４は、前記減算器４０６から出力された値から該当の映像フレームを伝送するための最大のビットプレーンの数を求め、前記ビットプレーン可変長符号化部４０５は、前記算出された最大値に対しビットプレーン別に可変長符号化過程を行う。

　その他の前記基本階層の符号化過程は、従来技術と同様であるため説明は省略する。

　従って、前記第２実施形態の符号化器においては、前記拡張階層の信号のの符号と前記基本階層の信号の符号とが同様で、符号化の効率面から見るとき、前記第１実施形態の符号化器とその機能が同様であるが、前記第１実施形態の符号化器とは異なって、前記第２実施形態の符号化器においては、減算器の数を減少させてその構造を簡単にすることで、装置の具現が簡単になり、回路のメモリや部品数が低減されて、各装置の計算時間を減少させることができる。

　図３は、本発明に係る微細単位伸縮型符号化器に係る復号化器の構成を示したブロック図で、該復号化器は、図１及び図２の符号化器と逆順に前記拡張階層から伝送されたビットストリームの復号化を行うようになっている。

　即ち、図３に示したように、本発明に係る微細単位伸縮型復号化器においては、入力された拡張階層のビットストリームをビットプレーン別に可変長復号化するビットプレーン可変長復号化（Ｂｉｔ−Ｐｌａｎｅ　Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｄｅｃｏｄｉｎｇ）部５０２と、前記ビットプレーン別に可変長復号化された値と基本階層で再生された映像との誤差値を加減する加減算部５１０と、前記加減された値を逆量子化

する逆量子化器５０３と、前記逆量子化された値に対し、ブロック単位（８Ｘ８単位）で逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行うことで、前記拡張階層から伝送された映像を復元する逆離散コサイン変換部５０４と、前記逆離散コサイン変換された映像値を０〜２５５値内にクリッピング（Ｃｌｉｐｐｉｎｇ）することで、最終的に向上した映像を復元するクリッピング部５０５と、前記基本階層のビットストリームを逆量子化する逆量子化器５００と、該逆量子化器５００により逆量子化されたビットストリームを再逆量子化する再逆量子化器５０１と、を包含して構成されている。

　且つ、前記拡張階層の再生映像と前記基本階層の再生映像とを加減する前記加減算部５１０は、前記基本階層のビットストリームが可変長復号化された値ｙ_１（ｋ）をＮ倍した値Ｎｙ_１（ｋ）と前記可変長復号化された値ｙ_１（ｋ）を逆量子化する逆量子化器５００により逆量子化された値

との差値△（ｋ）を求める第５減算器５０６と、該第５減算器５０６により求められた値△（ｋ）と前記ビットプレーン可変長復号化された値ｙ_２（ｋ）との差値を求める第６減算器５０７と、該第６減算器５０７による値と前記逆量子化器５００により逆量子化された値

との差値を求める第７減算器５０８と、を包含して構成されている。

　前述したように、従来のＭＰＥＧ−４の微細単位伸縮型復号化器においては、図５に示したように、前記拡張階層の信号と前記基本階層の信号とがＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）領域でない空間領域で相互加算されるため、前記符号化器と復号化器間でクリッピングにより不一致されることがあるが、本発明に係る微細単位伸縮型復号化器においては、前記符号化器と同様に、前記拡張階層の信号と前記基本階層の信号とを加算するとき、ＤＣＴ領域で加算することで、クリッピングにより発生する前記符号化器と前記復号化器との不一致の問題を解決することができる。

　且つ、本発明に係る微細単位伸縮型符号化器においては、前記拡張階層の信号の符号が、前記基本階層の信号の値が０であるときを除いては前記基本階層の符号と同様であるため、前記拡張階層の信号の符号情報は伝送せず、前記基本階層の信号の値が０であるときは参照する符号情報がないため、前記拡張階層の信号の該当符号の次に１ビットの符号情報を付加する。

　また、本発明に係る微細単位伸縮型復号化器においては、前記基本階層の信号を復号した後、前記拡張階層の信号を復号する。このとき、前記拡張階層の信号の符号情報は前記基本階層の信号の符号と同様に復号され、前記基本階層の信号の値が０であるときは、前記拡張階層の信号の該当符号の次に付加された１ビットの符号情報から正確な符号を求めることで復号し得る。そして、前記符号化器で前記拡張階層の信号が生成される場合、量子化誤差が再構成値でない決定値との差からなるため、前記復号化器で前記基本階層の信号と前記拡張階層の信号とが加算される前に、再構成値と決定値との差だけ補正し得る。

　また、復号化方法においては、入力された拡張階層のビットストリームをビットプレーン別に可変長復号化する段階と、前記ビットプレーン別に可変長復号化された値と基本階層で再生された映像との誤差値を加減する加減算段階と、前記加減された値を逆量子化する段階と、前記逆量子化された値に対し、ブロック単位で逆離散コサイン変換を行うことで、前記拡張階層から伝送された映像を復元する段階と、前記逆離散コサイン変換された映像値を０〜２５５値内にクリッピングすることで、最終的に向上した映像を復元する段階と、を順次行う。

　且つ、前記前記加減算段階では、前記基本階層のビットストリームが可変長復号化された値をＮ倍した値と前記可変長復号化された値の逆量子化された値との差値を求める第１段階と、該第１段階で求められた値と前記ビットプレーン可変長復号化された値との差値を求める第２段階と、該第２段階による差値と前記逆量子化された値との差値を求める第３段階と、を順次行うようになる。

　拡張階層の信号の符号と基本階層の信号の符号とを同様にして、符号情報を伝送することを省き、符号化の効率を向上させ、符号ストリーム全体のビット率を減少し得る微細単位伸縮型符号化／復号化装置及びその方法を提供しようとする。

　動き補償された映像に対し離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行った後、その結果値を量子化する第１量子化器と、該第１量子化器により量子化された値を再量子化する第２量子化器と、該第２量子化器により再量子化された値を逆量子化する逆量子化器と、前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算器と、前記第１量子化器による量子化値と前記逆量子化器による逆量子化値との誤差を求める第２減算器と、前記第１減算器による誤差値と前記第２減算器による誤差値とを減算する第３減算器とを含み該装置を構成する。

本発明に係る微細単位伸縮型符号化器の第１実施形態の構成を示したブロック図である。本発明に係る微細単位伸縮型符号化器の第２実施形態の構成をを示したブロック図である。本発明に係る微細単位伸縮型符号化器に係る復号化器の構成を示したブロック図である。従来の微細単位伸縮型符号化器の構成を示したブロック図である。従来の微細単位伸縮型符号化器に係る復号化器の構成を示したブロック図である。

符号の説明

　３００、３０１、４００、４０１：量子化器
　３０６〜３０８、４０６、５０６〜５０８：減算器
　３０２、３０３、４０２、４０３、５００、５０１、５０３：逆量子化器

Claims

動き補償された映像に対し離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行った後、その結果値を量子化する第１量子化器と、
　該第１量子化器により量子化された値を再量子化する第２量子化器と、
　該第２量子化器により再量子化された値を逆量子化する逆量子化器と、
　前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算器と、
　前記第１量子化器の量子化値と前記逆量子化器の逆量子化値との誤差を求める第２減算器と、
　前記第１減算器の誤差値と前記第２減算器の誤差値とを減算する第３減算器と、
　を包含して構成されることを特徴とする微細単位伸縮型符号化装置。
選択的に良好な画質を有するブロックが必要な場合、ビットプレーンシフトを行うビットプレーンシフト部が選択的に包含されることを特徴とする請求項１に記載の微細単位伸縮型符号化装置。
前記第３減算器の出力値から最大値を検出する最大値算出部と、
　前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化（Ｂｉｔ　ｐｌａｎｅ　Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｉｎｇ）部と、が更に包含されることを特徴とする請求項１に記載の微細単位伸縮型符号化装置。
拡張階層（Ｅｎｈａｎｃｅｍｅｎｔ　Ｌａｙｅｒ）を符号化するとき符号情報を符号化しないようにするため、再量子化以前の信号と再量子化器の決定値との差から量子化誤差を計算することを特徴とする微細単位伸縮型符号化装置。
動き補償された映像に対し離散コサイン変換を行った後、その結果値を量子化する第１量子化器と、
　該第１量子化器により量子化された値を再量子化する第２量子化器と、
　該第２量子化器により再量子化された値を逆量子化する逆量子化器と、
　該逆量子化器により逆量子化された値を再逆量子化する再逆量子化器と、
　前記第１量子化器により量子化された値と前記第２量子化器により再量子化された値のＮ倍の値との差を求める減算器と、
　を包含して構成されることを特徴とする微細単位伸縮型符号化装置。
選択的に良好な画質を有するブロックが必要な場合、ビットプレーンシフトを行うビットプレーンシフト部が選択的に包含されることを特徴とする請求項５に記載の微細単位伸縮型符号化装置。
前記減算器の出力値から最大値を検出する最大値算出部と、
　前記算出された最大値に対しビットプレーン別に可変長符号化を行うビットプレーン可変長符号化部と、が更に包含されることを特徴とする請求項５に記載の微細単位伸縮型符号化装置。
入力された拡張階層のビットストリームをビットプレーン別に可変長復号化するビットプレーン可変長復号化部と、
　前記ビットプレーン別に可変長復号化された値と基本階層で再生された映像との誤差値を加減する加減算部と、
　前記加減された値を逆量子化する逆量子化器と、
　前記逆量子化された値に対し、ブロック単位で逆離散コサイン変換（ＩＤＣＴ：Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を行うことで、前記拡張階層から伝送された映像を復元する逆離散コサイン変換部と、
　前記逆離散コサイン変換された映像値を０〜２５５値内にクリッピング（Ｃｌｉｐｐｉｎｇ）することで、最終的に向上した映像を復元するクリッピング部と、
　を包含して構成されることを特徴とする微細単位伸縮型復号化装置。
前記加減算部は、
　前記基本階層のビットストリームが可変長復号化された値をＮ倍した値と前記可変長復号化された値を逆量子化する逆量子化器により逆量子化された値との差値を求める第５減算器と、
　該第５減算器により求められた値と前記ビットプレーン可変長復号化された値との差値を求める第６減算器と、
　該第６減算器による値と前記逆量子化器により逆量子化された値との差値を求める第７減算器と、
　を包含して構成されることを特徴とする請求項８に記載の微細単位伸縮型復号化装置。
動き補償された映像に対しＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）計算された値を第１量子化する段階と、
　該第１量子化された値を再量子化する段階と、
　該再量子化された値を逆量子化する段階と、
　前記再量子化された値のＮ倍の値と前記逆量子化された値との誤差を求める第１減算段階と、
　前記第１量子化された値と前記逆量子化された値との誤差を求める第２減算段階と、
　前記第２減算による誤差値と前記第１減算による誤差値とを減算する第３減算段階と、
　を順次行うことを特徴とする微細単位伸縮型符号化方法。
前記第３減算段階による出力値から最大値を検出する段階と、
　前記算出された最大値に対しビットプレーン別に可変長符号化を行う段階と、　を更に行うことを特徴とする請求項１０に記載の微細単位伸縮型符号化方法。
動き補償された映像に対しＤＣＴ計算された値を第１量子化する段階と、
　該第１量子化された値を再量子化する段階と、
　該再量子化された値を逆量子化する段階と、
　前記逆量子化された値を再逆量子化する段階と、
　前記第１量子化された値と前記再量子化された値のＮ倍の値との差を求める減算段階と、
　を順次行うことを特徴とする微細単位伸縮型符号化方法。
前記第３減算段階による出力値から最大値を検出する段階と、
　前記算出された最大値に対しビットプレーン別に可変長符号化を行う段階と、　を更に行うことを特徴とする請求項１２に記載の微細単位伸縮型符号化方法。
入力された拡張階層のビットストリームをビットプレーン別に可変長復号化する段階と、
　前記ビットプレーン別に可変長復号化された値と基本階層で再生された映像との誤差値を加減する加減算段階と、
　前記加減された値を逆量子化する段階と、
　前記逆量子化された値に対し、ブロック単位で逆離散コサイン変換を行うことで、前記拡張階層から伝送された映像を復元する段階と、
　前記逆離散コサイン変換された映像値を０〜２５５値内にクリッピングすることで、最終的に向上した映像を復元する段階と、
　を順次行うことを特徴とする微細単位伸縮型復号化方法。
前記加減算段階は、
　前記基本階層のビットストリームが可変長復号化された値をＮ倍した値と前記可変長復号化された値の逆量子化された値との差値を求める第１段階と、
　該第１段階で求められた値と前記ビットプレーン可変長復号化された値との差値を求める第２段階と、
　該第２段階による差値と前記逆量子化された値との差値を求める第３段階と、
　を順次行うことを特徴とする請求項１４に記載の微細単位伸縮型復号化方法。