JP2001313941A - 画像符号化方法及び復号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 量子化マトリックスを用いて圧縮変換し、圧
縮変換したデータと共に量子化マトリックスをビットス
トリームに乗せて送信し、受信側では受信した量子化マ
トリックスを用いて圧縮変換したデータを伸張変換して
元の画像データを得る場合、量子化マトリックスのデー
タ量が大きいので、これを縮小することを課題とする。 【解決手段】 量子化マトリックスには、デフォルトマ
トリックスと、個々に設定したマトリックスとがある。
個々に設定したマトリックスについては、ＤＣ成分のデ
ータと、低周波領域のＡＣ成分のデータで打ち切り、残
りのＡＣ成分のデータはデフォルトマトリックスのデー
タを用いることとし、打ち切ったところまでのマトリッ
クス、すなわち打ち切り量子化マトリックスを送信する
ことにより、送信データ量を削減する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止画および動画
に対する量子化マトリックスに関し、さらに詳述すれ
ば、静止画および動画に対する量子化マトリックスを用
いたエンコーダ、デコーダに関する。本発明に掛かる、
静止画および動画に対する量子化マトリックスは、非常
に高い圧縮における静止画および動画のコード化に特に
有用である。

【０００２】標準電話線を用いるビデオ会議応用に使用
する場合、また高度の圧縮を必要とする他の応用に使用
する場合に適当である。

【０００３】

【従来の技術】ほとんどの圧縮アルゴリズムにおいては
デコードされた画像における多少のの形態のロスが予想
される。

【０００４】よい結果を生みだす圧縮を行う典型的な方
法は、ピクセルドメインの代わりに変換ドメインにおい
て信号を量子化することによりこのロスを導入すること
にある。

【０００５】このような変換の例は離散的コーサイン変
換（ＤＣＴ）、波長変換、およびサブバンド解析フィル
タなどがある。圧縮アルゴリズムにもとづく変換におい
ては、画像は変換ドメインに変換され、量子化処理が情
報の縮小のため、変換係数に適応される。変換はエネル
ギーを数個の係数に集中することにより行われ、ノイズ
は、再構築された画像の確認される視覚能力に影響する
ことなく、これらの係数に導入されることができる。

【０００６】異なる係数の量子化に対しては異なる重み
づけを持つ人間の視覚認識システムは認識される知され
る視覚能力を改善することができることはよく知られて
いる。ＩＳO／ＩＥＣ ＪＴＣＩ／ＳＣ２９／ＷＧ１１
ＩＳ−１３８１８−２(ＭＰＥＧ２)のようなコード化
の規格においては、ＤＣＴ係数の量子化は量子化マトリ
ックスによって重みづけされる。デフォルトマトリック
スは通常使用されるが、エンコーダはデコーダに量子化
マトリックスの新しい値を送ることを選択的に行うこと
が出来る。これはビットストリームのヘッダにビット情
報を加えることにより行うことが出来る。

【０００７】ＭＰＥＧ−２ビデオ規定にもとづく量子化
マトリックスを送信するための従来技術においては、特
別の量子化マトリックスを使用するためのビット情報
が"１"にセットされているならば、各々８ビットの６４
の固定値を送信することになる。高周波領域におけるマ
トリックスの値は実際的には使用されていない。特に大
きな量子化ステップが使用されている非常に低いビット
レート・コーディング、もしくは非常に平凡な繰り返し
模様の入力ブロック、もしくは良好な動き補償をもった
場合には、使用されることがない。

【０００８】上記の従来技術において、異なる応用に使
用されている量子化マトリックスに対しては、マトリッ
クスが低いビット・レートコーディングであろうとも、
また高いビットレートコーディングであろうとも、量子
化マトリックスの最初の値は常に８ビットにセットされ
ていることがわかる。

【０００９】

【発明が解決しようとする課題】本発明における一つの
課題は、量子化マトリックスとして送信される必要のあ
るデータ量である。代表的なケースでは、各々８ビット
の６４係数がすべて要求される。このことは全体として
５１２ビット必要である。もし３つの異なる量子化マト
リックスが、３つのカラー情報として用いられるのであ
れば、全ビット量はこの量の３倍となる。これは低ビッ
トレート送信に対して多すぎることとなる。また、セッ
トアップタイム、もしくは送信の前準備があまりにも長
く、あるいは送信の途中でマトリックスを変化させなけ
ればならない場合は、送信における遅れを惹起する。エ
ンコーダからデコーダに送信される量子化マトリックス
のデータ量をいかにして少なくするかが本発明の第1の
課題である。

【００１０】第２の課題は人間の視覚システムの空間マ
スキング（spatial masking）である。模様のある画像
領域よりも、模様もない平坦な画像領域のほうが、より
ノイズが顕著に認識されやすい。従って全領域に同一マ
トリックスを適用することは良好な解決とはいえない。
マトリックスは全体として最適化されていて、局所的に
個々の領域の使用に対しては調節されていないからであ
る。

【００１１】第３の課題はＤＣ（直流成分）に対する可
変量子化マトリックスから情報量を節約することであ
る。量子化マトリックスの最初の値は、ビットレートが
高い場合および平坦な領域に対応するため、減少される
一方、ビットレートが低い場合および複雑なり領域に対
応するため、増加される。

【００１２】

【課題を解決するための手段】上記の課題は次の手段に
よって解決される。

【００１３】デフォルトマトリックスは可変数の重みづ
けがエンコーダによって更新されることを可能とするよ
うに設計される。

【００１４】異なった割合で画像内容に応じ、マトリッ
クスを調節することを、以下、打ち切り量子化マトリッ
クスと呼ぶ。

【００１５】打ち切り量子化マトリックスはコード化用
のビットレートや、コード化された画像の複雑さや、他
の要件を調べることにより決定される。このマトリック
スは、ＤＣ（直流成分）および最初の少しのＡＣ（交流
成分）係数に集中する非ゼロ値の少ない数を必要とす
る。特に低いビットレートコーディングにおいて必要と
している。さらに、これらの非ゼロ値は差分的にコード
化されることができる。また各々に対して８ビットより
少ないビットが差分値をコード化するのに使用される。

【００１６】量子化重みづけ量は、ブロックの活性程度
や、ブロックの量子化ステップサイズに従って拡大縮小
される。

【００１７】本発明による方法はビット節約、および個
々のブロックに対する適応性の点から量子化マトリック
ス使用の効率を上げる方法を提供する。

【００１８】量子化マトリックスは異なるコーディング
・レートおよびこの方向におけるその他の点にもとづい
て決定される。量子化マトリックスの最初の数個の値の
みがある程度の重みづけをもって非ゼロにセットされ
る。他の値はゼロに打ち切られる。このゼロはコード化
されていないしまた送信されない。

【００１９】この打ち切り量子化マトリックスはジグザ
グもしくは他の方法でスキャンされ、差分的にコード化
され、非ゼロ係数の数と共に送信される。

【００２０】重みづけスケールは量子化後に残された係
数の数をチェックすることにより調節することができ
る。その理由は残された係数の数はブロックの活性程度
を表しているからである。もしＤＣ係数のみが量子化の
後に残されているならば、ＤＣに対する重みづけスケー
ルは８に等しいか、それ以下にすることができる。理由
はそれは平坦な領域であるからである。もし多数のＡＣ
係数が残っているならば、ＤＣに対する重みつけスケー
ルを大きくすることができる。例えば量子化ステップの
２倍にすることができる。同じ調節がＡＣ係数に対する
重みづけスケールについて実施することができる。

【００２１】第1の観点による本発明は、静止画および
動画に対する量子化マトリックスを符号化するデータ生
成方法であって、各成分が予め決められた値を有するデ
フォルト・量子化マトリックスを保持し、前記保持した
デフォルト・量子化マトリックスの成分を所定のジグザ
グパターンの順番で読み出し、各成分が固有の値を有す
る固有量子化マトリックスを生成し、前記固有量子化マ
トリックスの成分を所定のジグザグパターンの順番で読
み出し、前記読み出しを、設定した位置で打ち切り、前
記設定した位置より前に読み出した固有量子化マトリッ
クスの成分の後に終端コードを付加した簡略データを、
量子化マトリックスを符号化した信号とすることを特徴
とするデータ生成方法である。

【００２２】第２の観点による本発明は、任意の数の量
子化マトリックスの成分の後に終端コードが付加された
簡易データを受信し、静止画および動画に対する量子化
マトリックスをデコードするデコード方法であって、各
成分が予め決められた値を有するデフォルト・量子化マ
トリックスを保持し、前記保持したデフォルト・量子化
マトリックスの成分を所定のジグザグパターンの順番で
読み出し、前記簡易データから終端コードを検出し、前
記検出した終端コードより前に入力された量子化マトリ
ックスの成分と、前記読み出した成分であって前記任意
の数以降の前記デフォルト・量子化マトリックスの成分
を合成した合成量子化マトリックスを生成することを特
徴とするデコード方法である。

【００２３】第３の観点による本発明は、静止画および
動画に対する量子化マトリックスを符号化するエンコー
ダであって、各成分が予め決められた値を有するデフォ
ルト・量子化マトリックスを保持する保持手段と、前記
保持されたデフォルト・量子化マトリックスの成分を所
定のジグザグパターンの順番で読み出す第１の読み出し
手段と、各成分が固有の値を有する固有量子化マトリッ
クスを生成する生成手段と、前記固有量子化マトリック
スの成分を所定のジグザグパターンの順番で読み出す第
２の読み出し手段と、前記読み出しを、設定した位置で
打ち切る打ち切り手段と、前記設定した位置より前に読
み出した固有量子化マトリックスの成分の後に終端コー
ドを付加し、簡略データを生成する付加手段を有するこ
とを特徴とするエンコーダである。

【００２４】第４の観点による本発明は、任意の数の量
子化マトリックスの成分の後に終端コードが付加された
簡易データを受信し、静止画および動画に対する量子化
マトリックスをデコードするデコーダであって、各成分
が予め決められた値を有するデフォルト・量子化マトリ
ックスを保持する保持手段と、前記保持したデフォルト
・量子化マトリックスの成分を所定のジグザグパターン
の順番で読み出す第１の読み出し手段と、前記簡易デー
タから終端コードを検出する検出手段と、前記検出した
終端コードより前に入力された量子化マトリックスの成
分と、前記読み出した成分であって前記任意の数以降の
前記デフォルト・量子化マトリックスの成分を合成した
合成量子化マトリックスを生成する手段を有することを
特徴とするデコーダである。

【００２５】これによりデータ量の少ない簡略化された
固有量子化マトリックスをエンコーダで作り、それをデ
コーダに送り、デコーダでは、デフォルト量子化マトリ
ックスと合成し、フルサイズの量子化マトリックスとし
て利用することができる。

【００２６】

【発明の実施の形態】本発明の実施の形態を以下に説明
する。

【００２７】本実施の形態は、二つの部分に分けること
ができる。実施の形態の第１の部分は打ち切り量子化マ
トリックスの動作についての説明で、実施の形態の第２
の部分は適応的量子化ステップサイズスケーリングの動
作の説明である。実施の形態は一つのユニットの動作を
説明するが、期待結果を達成するために両方の方法を個
別的に適用することができる。

【００２８】図１は従来技術の例を示している。図１
(a)はイントラ輝度フレーム(Intra−Ｙ)のコード化に対
するデフォルト量子化マトリックスを示し、図１(b)は
高周波における係数をより粗く量子化する新しい量子化
マトリックスの例である。

【００２９】図２は本発明により提案された打ち切り量
子化マトリックスの例である。この実施の形態における
ポイントは、送信されるべき量子化マトリックスの数が
６４以下であるということである。これは、最初の２
個、もしくは３個の量子化成分で十分な低ビットレート
コード化において特に有用である。

【００３０】図４は、本発明に掛かる静止画および動画
に対する量子化マトリックスを用いたエンコーダを示
す。図において、３２はＤＣＴ変換器、３４は量子化
器、４９は可変長コード化器である。36は算出された量
子化パラメータＱＰを生成するＱＰ生成器であり、たと
えばマクロブロック毎に生成される。量子化パラメータ
ＱＰは、マクロブロック毎に所定の計算式により計算さ
れるようにしてもよいし、ルックアップテーブルから最
適なものを選出するようにしてもよい。算出された量子
化パラメータＱＰは、量子化器３４に加えられると共
に、図５で説明するデコーダにも送られる。

【００３１】図４において、３８は算出された固有の量
子化マトリックスＱＭを生成する算出ＱＭ生成器であ
り、たとえば、複数のフレームで構成されるビデオオブ
ジェクトレイヤ（ＶＯＬ）毎に生成される。計算により
生成された固有量子化マトリックスＱＭ例を図１(ｂ)
や、図２(ｂ)に示す。少ないデータ量で映像を送りたい
場合（ビットレートが低い場合、画像が単調な場合）
は、図１(ｂ)に示すように高周波成分には大きな量子化
成分２００を一律に与えるようにしてもよい。計算式を
用いる変わりに、ルックアップテーブルから最適なもの
を選出するようにしてもよい。どのような計算式を用い
るか、または、ルックアップテーブルからどれを選出す
るかは、選択器３７を用い、操作者により任意に選択さ
れる。または、映像の性質（実写画かコンピュータグラ
フィクスか）により自動的に選択するようにしてもよ
い。

【００３２】算出された固有量子化マトリックスＱＭ
は、打ち切り器４０に送られる。打ち切り器４０におい
ては、固有量子化マトリックスＱＭの量子化成分が、ジ
グザグスキャン４８により、図２（ａ）の点線で示すよ
うに、低周波に対応する部分からジグザグスに順次読み
出される。設定器3９により設定された個数の量子化成
分が読み出されれば、ジグザグ読み出しは打ち切られ
る。その後、終端コード、たとえばゼロが、終端コード
付与器42により与えられる。設定器３９で設定される個
数でＱＭ生成器３８からの量子化成分の読み出しが打ち
切られるが、その個数は、操作者が任意に決めることが
できる。図２(ａ)に示す例では、１３個の量子化成分が
読み出されて打ち切られているが、打ち切られるまでの
量子化成分を前段部の量子化成分という。打ち切られる
までの量子化成分、すなわち前段部の量子化成分は、後
で説明する合成ＱＭ生成器４４に送られる。また、前段
部の量子化成分とその後に続く終端コードは、簡略デー
タＱＭｔとして図５で説明するデコーダに送られる。

【００３３】４６はデフォルトＱＭ生成器で、予め決め
られたデフォルトの量子化マトリックス、たとえば図１
（ａ）に示す量子化マトリックスが、記憶されている。
ジグザグスキャン４８により、上述と同様にして、デフ
ォルトＱＭ生成器４６からのデフォルトの量子化マトリ
ックスがジグザグに読み出される。

【００３４】４４は、合成ＱＭ生成器である。合成ＱＭ
生成器４４では、打ち切り器４０から送られてくる前段
部、すなわち打ち切られるまでの量子化成分と、デフォ
ルトＱＭ生成器４６から送られてくるデフォルト量子化
マトリックスの内の前段部を除いた部分の量子化成分
（後段部の量子化成分という）が合成されて、合成量子
化マトリックスを生成する。すなわち、合成ＱＭ生成器
４４では、打ち切られるまでの前段部は、算出されたＱ
Ｍ生成器３８からの量子化成分が用いられる一方、打ち
切られた後の後段部は、デフォルトＱＭ生成器４６から
の量子化成分が用いられる。

【００３５】図３に合成された合成量子化マトリックス
が示されている。前段部Ｆには図2(ｂ)の固有量子化マ
トリックスの量子化成分が用いられる一方、後段部Ｌに
は図1(ａ)のデフォルト量子化マトリックスの量子化成
分が用いられる。

【００３６】量子化器３４では、ＤＣＴ変換器３２から
送られてくるＤＣＴ変換されたＤＣＴ係数COFを量子化
し、量子化処理された後のＤＣＴ係数COF'を出力する。
COFijとCOF'ij（i,jは、いずれも１から８までの正の整
数）との間には、次の関係がある。

【００３７】

【数１】 ここでQMijは、合成ＱＭ生成器４４から出力される量子
化成分であり、QPは、ＱＰ生成器３６から生成される量
子化パラメータである。量子化処理された後のＤＣＴ係
数COF'は、可変長エンコーダ４９において可変長符号化
され、圧縮されたビデオデータＶＤが出力され、デコー
ダに送られる。

【００３８】図５は、本発明に掛かる静止画および動画
に対する量子化マトリックスを用いたデコーダを示す。
図において、５０は可変長デコーダ、５２は逆量子化
器、６２は逆ＤＣＴ変換器である。５６は終端コード検
出器、５４は合成ＱＭ生成器、５８はデフォルトＱＭ生
成器、６０はジグザグスキャンである。デフォルトＱＭ
生成器５８には、図４に示したデフォルトＱＭ生成器４
６とまったく同じ内容の、たとえば図１（ａ）に示した
デフォルト量子化マトリックスが記憶されている。ま
た、合成ＱＭ生成器５４、ジグザグスキャン６０は、そ
れぞれ図４に示した合成ＱＭ生成器４４、ジグザグスキ
ャン４８と実質的に同じ物である。

【００３９】図４のエンコーダから送られてきたビデオ
データＶＤは、可変長デコーダ５０に送られ、量子化パ
ラメータＱＰは、逆量子化器５２に送られ、簡略データ
ＱＭｔは、終端コード検出器５６に送られる。

【００４０】簡略データＱＭｔには、上述したように、
打ち切りが行われるまでの量子化成分、すなわち前段部
の量子化成分が含まれており、これらがまずジグザグス
キャンされ、合成ＱＭ生成器５４の前段部を埋める。終
端コードが検出されば、デフォルトＱＭ生成器５８から
の後段部の量子化成分が続いてジグザグスキャンされ、
合成ＱＭ生成器５４の後段部を埋める。このようにし
て、合成量子化マトリックスが生成される。

【００４１】図５の合成ＱＭ生成器５４で生成された合
成量子化マトリックスは、図４の合成ＱＭ生成器４４で
生成された合成量子化マトリックスとまったく同じ内容
のものとなる。データ量の少ない簡略データＱＭｔを用
いて合成量子化マトリックスを作ることができるので、
少ないデータ量で解像度の高い映像を作ることが可能と
なる。

【００４２】図６は打ち切り量子化マトリックスをコー
ド化し送信する方法のひとつを示すものである。

【００４３】ここにユニット１は、異なるコード化ビッ
トレート、異なるコード化画像サイズ等をチェックする
ことによりユニット２内において決定された打ち切り量
子化マトリックスである。Ｘ1,Ｘ2,Ｘ3…は非ゼロ量子
化成分であり、ユニット１におけるＸ1,Ｘ2,Ｘ3,…と同
じ位置にある８×８ＤＣＴ係数を量子化するのに用いら
れる非ゼロの量子化マトリックスの値である。

【００４４】ユニット１の中でゼロ値が埋まっている量
子化マトリックスのその他の部分は量子化マトリックス
のデフォルト値が使用されることを意味する。

【００４５】エンコーダにおいては、８×８ブロックの
ＤＣＴ係数の対応部分はゼロにセットされる。

【００４６】ユニット３はグループの初めの部分に集中
させられる大きな値を持つデータのグループにユニット
１の非ゼロ値をスキャンするものである。ここでは例と
してジグザグスキャンが示されている。

【００４７】ユニット４は、より小さい差分値を得るた
めに、隣り合う値を引算することによりスキャンされた
データをコード化する部分で、省略してもよい。図６に
示される差分値△Ｘ1,△Ｘ2,…はさらに続いてホフマン
コーディングもしくは他のエントロピィコーディング処
理を行っても良い。

【００４８】同時に、非ゼロ量子化成分の数がコード化
され、非ゼロ値とともにデコーダに送信される。この情
報をコード化するためにはいろいろな方法がある。もっ
とも簡単な方法は固定８ビットを使用して数字をコード
化することである。別の方法としては、もっとも頻繁な
ケースをより少ないビットを用いて表せるように工夫さ
れた可変長テーブルを使用することにより数字をコード
化することである。

【００４９】その代わりとなるものとしては、非ゼロ量
子化成分の個数をコード化し送信する代わりに、図６に
示されるように、最後の非ゼロ値xNもしくは最後の差分
値ΔxN(N=1. 2. 3 …)がコード化された後、非ゼロ量子
化マトリックスコードの終端を示す特別のシンボルをビ
ットストリームに挿入してもよい。この特別のシンボル
は、たとえばゼロあるいは負の値をとり、非ゼロ値コー
ドに使用されない値を用いるのがよい。

【００５０】図７は直流成分の係数（ＤＣ係数）のみに
重みづけを行うスケーリングファクターＳを有する打ち
切り量子化マトリックスである。

【００５１】スケーリングファクターは個々のブロック
の活性程度（activity）に基づいて調節される。活性程
度は量子化された後に残されたＡＣ係数の数をチェック
することにより求められる。Ｘ1,Ｘ2,Ｘ3,…Ｘ9は８×
８ＤＣＴ係数ブロックを量子化するために使用される打
ち切り量子化マトリックスの中の非ゼロ値である。Ｓは
ＤＣ係数に対する量子化器を調節するために最初の値を
拡大もしくは縮小するための重みづけを示すものであ
る。

【００５２】図８は量子化マトリックスの中の最初の値
をスケーリングする手順の詳細を説明するものである。

【００５３】ユニット５は、８×８ブロックの各々を量
子化するためのもので、打ち切り量子化マトリックスを
まず適用する。続いてそのブロックに対してその時に必
要な量子化ステップを行う。ユニット６は量子化の後に
残された交流成分の係数（ＡＣ係数）の数をチェック
し、ユニット７に移る。ユニット７において、図７の重
みづけＳは拡大すべきか、縮小すべきかを決定する。も
しユニット５で量子化が実施された後にＡＣ係数が残っ
ていれば、重みづけＳはユニット８で示されるように拡
大される。もしそうでないならばユニット９で示される
ようにＳは縮小される。ユニット１０は量子化マトリッ
クスの最初の値を調節するために重みづけＳを拡大また
は縮小する。ユニット１１はブロックＡに対する新しい
調節された値を用いてＤＣ係数を再量子化し、ＤＣおよ
びＡＣ係数のすべてをデコーダに送る。

【００５４】拡大または縮小するためのＳの値は、現行
の量子化ステップに関連した値、または所定の固定値を
採ることが出来る。

【００５５】ＡＣ係数に対する他の量子化マトリックス
の調節は上記と同じような方法で実施される。

【００５６】図９は適応的量子化ステップサイズのスケ
ーリングおよび打ち切り量子化マトリックスのデコーダ
を示している。

【００５７】図９において、コード化されたビットスト
リームはデコーダに入力される。ユニット１２は打ち切
り量子化成分をデコードし、ユニット１３は各ブロック
に対し、量子化ステップをデコードする。ユニット１４
は各ブロックに対し、ＤＣおよびＡＣ係数のすべてをデ
コードする。ユニット１５はゼロでないＡＣ係数の数を
チェックする。スケールファクターはユニット１５から
得られる情報を使用し、エンコーダにおいて行われた手
順と同様の手順で、ユニット１６において決定される。
各ブロックに対するすべてのＤＣおよびＡＣ係数は、デ
コードされたスケーリング量子化マトリックスおよびデ
コードされた量子化マトリックスによって、ユニット１
７において逆量子化を行うことができる。最後に、すべ
ての逆量子化された係数は画像を再現するために、逆Ｄ
ＣＴ変換コーディングユニットに送られる。

【００５８】次の式は量子化および逆量子化のために使
用される。

【００５９】 量子化 イントラＤＣ；レベル＝｜ＣＯＦ｜//(ＱＭ２) イントラＡＣ；レベル＝｜ＣＯＦ｜＊８/(ＱＰ＊ＱＭ) インター ；レベル＝(｜ＣＯＦ｜−(ＱＰ＊ＱＭ３２)＊８/(ＱＰ＊ＱＭ) 逆量子化 イントラＤＣ；｜ＣＯＦ｜＝ＬＥＶＥＬ＊ＱＭ２ 他 ｜ＣＯＦ'｜＝０、 もしＬＥＶＥＬ＝０ ｜ＣＯＦ'｜＝(２＊ＬＥＶＥＬ＋１)＊(ＱＰ＊ＱＭ/１６)、 もしＬＥＶＥＬ≠０,(ＱＰ＊ＱＭ/１６)が奇数 ｜ＣＯＦ'｜＝(２＊ＬＥＶＥＬ＋１)＊(ＱＰ＊ＱＭ/１６)−１、 もしＬＥＶＥＬ≠０,(ＱＰ＊ＱＭ/１６)が偶数 ＣＯＦは量子化される変換係数。ＬＥＶＥＬは変換係数
の量子化バージョンの絶対値。ＣＯＦ'は再構築された
変換係数。ＱＰは現行のブロックの量子化ステップサイ
ズ。ＱＭは量子化されるべき係数に対応する量子化マト
リックスの値。ＱＭのデフォルト値は１６。

【００６０】本発明は量子化マトリックスをコーディン
グビットレート,コーディングサイズまた同様に人間の
視覚システムに応じて適応的に変化せしめるものであ
る。その結果量子化マトリックスを打ち切り、そしてス
ケーリングすることによりおよびマトリックスの値を差
分的にコード化することにより多くのビットが節約でき
る。従って本発明はコード化の効率を改善する。この効
果は低ビットレートのコード化には特に著しい。

【図面の簡単な説明】

【図１】（ａ）は、デフォルト量子化マトリックスの
例、（ｂ）は固有量子化マトリックスの例の説明図。

【図２】（ａ）は本発明により提案された打ち切り量子
化マトリックスの例、（ｂ）は固有量子化マトリックス
の例の説明図。

【図３】本発明により提案された合成量子化マトリック
スの例の説明図。

【図４】本発明により提案された打ち切り量子化マトリ
ックスを用いたエンコーダのブロック図。

【図５】本発明により提案された打ち切り量子化マトリ
ックスを用いたデコーダのブロック図。

【図６】打ち切り量子化マトリックスをエンコードする
一つの方法を示す説明図。

【図７】直流成分のみににたいして値をスケールする打
ち切り量子化マトリックスのスケーリングの説明図。

【図８】打ち切り量子化マトリックスのＤＣ係数に対す
るスケーリングの手法を説明するフローチャート。

【図９】スケーリングされた打ち切り量子化マトリック
スをデコードするためのデコーダのフローチャート。

【符号の説明】

１……打ち切り量子化マトリックス作製ユニット ２……打ち切り量子化マトリックス決定ユニット ３……非ゼロ値をスキヤニングするユニット ４……差分コード化するユニット ３２……ＤＣＴ変換器 ３４……量子化器 ３６……算出されたＱＰ生成器 ３７……選択器 ３８……算出されたＱＭ生成器 ３９……設定器 ４０……打ち切り器 ４２……終端コード付与器 ４４、５４……合成ＱＭ生成器 ４６、５８……デフォルトＱＭ生成器 ４８、６０……ジグザグスキャン ４９……可変長コード化器 ５０……可変長デコーダ ５２……逆量子化器 ５６……終端コード検出器 ６２……逆ＤＣＴ変換器

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ティオ ケン・タン シンガポール534415シンガポール、タイ・ セン・アベニュー、ブロック1022、04− 3530番、タイ・セン・インダストリアル・ エステイト、パナソニック・シンガポール 研究所株式会社内

Claims (25)

【特許請求の範囲】
1. 【請求項１】 適応的量子化ステップサイズスケイリン
   グを用いるコード化されたビットストリームから静止画
   および動画をデコードする方法において、デコーダは；
   前記のビットストリームから各ブロックに対する量子化
   ステップサイズおよび量子化された係数の２値化表示を
   抽出し；量子化ステップサイズおよび/もしくは抽出さ
   れた係数の局所的統計量から得られる評価基準に基づい
   てスケイリングファクターを決定し；デコード化された
   量子化ステップサイズと決定されたスケーリングファク
   ターを組合せることにより、異なるブロックの各々に対
   して量子化ステップ・サイズの実効値を取得し；量子化
   ステップサイズの実効値を使用して量子化された係数を
   逆量子化し；逆変換動作により、逆量子化係数をピクセ
   ルのブロックに変換し；ピクセルの前記ブロックから画
   像を再構築するステップを含むことを特徴とする方法。
2. 【請求項２】 打ち切り量子化マトリックスを使用する
   コード化のビットストリームから静止画および動画をデ
   コードする変換コード化方法において、デコーダは；コ
   ード化されたビットストリームの中に送信された打ち切
   り量子化マトリックスの中に存在する係数の数であっ
   て、２値化表示されたものを抽出し；コード化されたビ
   ットストリームから打ち切り量子化マトリックスの前記
   係数の２値化表示を抽出し；前記コード化されたビット
   ストリームから量子化ステップサイズおよび各ブロック
   に対する量子化係数の２値化表示を抽出し；抽出された
   量子化ステップサイズおよび量子化マトリックスを使用
   して量子化係数を逆量子化し；逆変換動作により、逆量
   子化係数をピクセルのブロックに変換し；前記のピクセ
   ルのブロックから画像を再構築するステップを含むこと
   を特徴とする方法。
3. 【請求項３】 適応的量子化ステップサイズスケイリン
   グおよび打ち切り量子化マトリックスを使用するコード
   化のビットマトリックスから、静止画および動画をデコ
   ードする変換コード化方法において、デコーダは；エン
   コード化されたビットストリームの中に送信された打切
   り量子化マトリックスの中に存在する係数の数であっ
   て、２値化表示されたものを抽出し；前記コード化され
   たビットストリームから各ブロックに対する打切り量子
   化マトリックスの前記係数の２値化表示を抽出し；前記
   ビットストリームから、量子化ステップサイズおよび各
   ブロックに対する量子化係数の２値化表示を抽出し；量
   子化ステップサイズおよび／もしくは抽出された量子化
   係数の局所的統計量から得られる評価基準にもとづいて
   スケイリングファクターを決定し；エントロピィ・デコ
   ード化されたマトリックス値と決定されたスケーリング
   ファクターを組合せることにより、異なるブロックの各
   々に対する打切り量子化マトリックスの実効値を求め；
   量子化ステップサイズおよび量子化マトリックスを用い
   て量子化係数を逆量子化し；逆変換手法を用いて、逆量
   子化された係数をピクセルのブロックに変換し；ピクセ
   ルの前記ブロックから画像を再構築するステップを含む
   ことを特徴とする方法。
4. 【請求項４】 適応的量子化ステップサイズスケイリン
   グおよび打ち切り量子化マトリックスを使用するコード
   化のビットマトリックスから、静止画および動画をデコ
   ードする変換コード化方法において、デコーダは；コー
   ド化されたビットストリームにおいて特別のシンボルが
   遭遇されるまでコード化されたビットストリームから打
   切り量子化マトリックスの係数であって２値化表示され
   たものを複数抽出し；前記コード化されたビットストリ
   ームから各ブロックに対する量子化ステップサイズおよ
   び量子化係数の２値化表示を抽出し；量子化ステップサ
   イズから得られる評価基準および／もしくは抽出された
   量子化係数の局所的統計量にもとづいてスケイリングフ
   ァクターを決定し；エントロピィ・デコード化されたマ
   トリックス値と決定されたスケーリングファクターを組
   合せることにより、異なるブロックの各々に対する打切
   り量子化マトリックスの実効値を求め；量子化ステップ
   サイズおよび量子化マトリックスを用いて量子化係数を
   逆量子化し；逆変換手法を用いて、逆量子化された係数
   をピクセルのブロックに変換し；ピクセルの前記ブロッ
   クから画像を再構築するステップを含むことを特徴とす
   る方法。
5. 【請求項５】 請求項２，３または５にもとづく適応的
   な量子化を使用して、静止画および動画をデコードする
   方法において、エンコードされたビットストリームから
   打ち切り量子化マトリクスの係数であって２値化表示さ
   れたものの抽出は；打ち切り量子化マトリックスに対す
   る差分値を取得し；前記打ち切り量子化マトリックスの
   もとの値であって一次元配列されたものを得るため、上
   記の取得された差分値を逆差分コード化し；前記打ち切
   り量子化マトリックスを形成するため、上記一次元配列
   して得られた値を逆ジグザグスキャンあるいは他のスキ
   ャンを行い；打ち切り量子化マトリクスに送信されなか
   った係数の代わりに、デフォルトの量子化マトリックス
   の対応する係数を付加することにより打ち切り量子化マ
   トリックスを完了するステップを含むことを特徴とする
   方法。
6. 【請求項６】 適応的な量子化ステップサイズスケーリ
   ングおよび打ち切り量子化マトリックスを使用して、静
   止画および動画をコード化されたビットストリームにコ
   ード化する変換コード化方法において、エンコーダは；
   ピクセルの二次元配列を含む複数のブロックの中に入力
   画像をサンプルし；前記サンプルされたピクセルのブロ
   ックを変換ドメインに変換し；選択された量子化ステッ
   プサイズを前記ブロックの変換された係数にアプライす
   ることにより、前記ブロックの変換された係数を量子化
   し；量子化ステップサイズおよび／もしくは抽出された
   量子化係数の局所的統計量から得られる評価基準にもと
   づいてスケイリングファクターを決定し；量子化ステッ
   プサイズと決定されたスケーリングファクターを組合せ
   ることにより、異なるブロックの各々に対する打切り量
   子化マトリックスの実効値を求め；量子化ステップサイ
   ズの実効値を使用して前記の変換された係数内の係数を
   再量子化し；前記の最終の量子化変換係数をコード化し
   コード化された情報をデコーダに送るステップを含むこ
   とを特徴とする方法。
7. 【請求項７】 打ち切り量子化マトリックスを使用し
   て、静止画および動画をコード化されたビットストリー
   ムに変換コード化する方法において、さらにエンコーダ
   ーは；ピクセルの二次元配列よりなる複数のブロックに
   入力画像をサンプルし；前記サンプルされたピクセルの
   ブロックを変換ドメインに変換し；人間の視覚システム
   に従い、画像に対して一般的なそして完全な量子化マト
   リックスを見出し；ある決定基準に従い、前記の完全な
   量子化マトリックスをうち切り；前記の打ち切り量子化
   マトリックスおよび選択された量子化スッテプサイズを
   前記の変換係数ブロックにアプライして前記の変換係数
   ブロックを量子化し；コード化されたビットストリーム
   中に送信されたうち切り量子化マトリックス中に存在す
   る係数の数であって２値化表示されたものをコード化
   し；うち切り量子化マトリックスの係数であって２値化
   表示されたものをコード化されたビットストリーム中に
   コード化し；前記量子化ステップサイズおよび各ブロッ
   クの量子化変換係数の２値化表示をコード化されたビッ
   トストリーム中にコード化するステップを含むことを特
   徴とする方法。
8. 【請求項８】 適応的な量子化ステップサイズスケーリ
   ングおよび打ち切り量子化マトリックスを使用して、静
   止画および動画をコード化されたビットストリームにコ
   ード化する変換コード化方法において、エンコーダは；
   入力画像を次元のピクセル配列よりなる複数のブロック
   にサンプルし；前記のサンプルされたピクセルブロック
   を変換ドメインに変換し；人間の視覚システムに従っ
   て、画像に対する一般的でかつ完全な量子化マトリック
   スを見出し；ある決定基準に従い、前記の完全な量子化
   マトリックスを打ち切り；前記打ち切り量子化マトリッ
   クスおよび選択された量子化ステップサイズを変換係数
   ブロックにアプライして変換係数のブロックを量子化
   し；量子化ステップサイズおよび／もしくは抽出された
   量子化係数の局所的統計量から得られる評価基準にもと
   づいてスケイリングファクターを決定し；量子化と決定
   されたスケーリングファクターを組合せることにより、
   異なるブロックの各々に対する打切り量子化マトリック
   スの実効値を求め；量子化ステップサイズの実効値を使
   用して変換された係数内の係数を再量子化し；コード化
   されたビットストリームに送信された打切り量子化マト
   リックス中に存在する係数の数であって２値化表示され
   たものをコード化し；打切り量子化マトリックスの前記
   係数の２値化表示をコード化されたビットストリームに
   コード化し；各ブロックの量子化ステップサイズおよび
   最終の量子化された変換係数の２値化表示をコード化さ
   れたビットストリームにコード化するステップを含むこ
   とを特徴とする方法。
9. 【請求項９】 打ち切り量子化マトリックスを使用し、
   静止画および動画をコード化されたビットストリームに
   変換コード化する方法において、エンコーダーは；入力
   画像を２次元のピクセル配列よりなる複数のブロックに
   サンプルし；前記のサンプルされたピクセルブロックを
   変換ドメインに変換し；人間の視覚システムに従って、
   画像に対する一般的でかつ完全な量子化マトリックスを
   見出し；ある決定基準に従い、前記の完全な量子化マト
   リックスを打ち切り；前記の打ち切り量子化マトリック
   スおよび選択された量子化ステップサイズを変換係数ブ
   ロックにアプライして変換係数のブロックを量子化し；
   量子化ステップサイズおよび／もしくは抽出された量子
   化係数の局所的統計量から得られる評価基準にもとづい
   てスケイリングファクターを決定し；量子化と決定され
   たスケーリングファクターを組合せることにより、異な
   るブロックの各々に対する打切り量子化マトリックスの
   実効値を求め；量子化ステップサイズの実効値を使用し
   て前記の変換された係数内の係数を再量子化し；打切り
   量子化マトリックスの前記係数の２値化表示をコード化
   されたビットストリームにコード化し；コード化された
   ビットストリームに送信された打切り量子化マトリック
   ス中に存在する係数の数であって２値化表示されたもの
   をコード化し；打切り量子化マトリックスの係数であっ
   て２値化表示されたものをコード化されたビットストリ
   ームにコード化し；打切り量子化マトリックスの端末を
   指示する特別のシンボルをコード化されたビットストリ
   ームにコード化し；各ブロックの量子化ステップサイズ
   および最終の量子化された変換係数の２値化表示をコー
   ド化されたビットストリームにコード化するステップを
   含むことを特徴とする方法。
10. 【請求項１０】 適応的量子化ステップサイズスケイリ
    ングおよび打ち切り量子化マトリックスを使用して静止
    画および動画をコード化されたビットストリームにコー
    ド化する変換コード化方法において、エンコーダーは；
    入力画像を２次元のピクセル配列よりなる複数のブロッ
    クにサンプルし；前記のサンプルされたピクセルブロッ
    クを変換ドメインに変換し；人間の視覚システムに従っ
    て、画像に対する一般的でかつ完全な量子化マトリック
    スを見出し；ある決定基準に従い、前記の完全な量子化
    マトリックスを打ち切り；前記の打ち切り量子化マトリ
    ックスおよび選択された量子化ステップサイズを変換係
    数ブロックにアプライして変換係数ブロックを量子化
    し；打切り量子化マトリックスの端末を指示する特別の
    シンボルをコード化されたビットストリームにコード化
    し；各ブロックの量子化ステップサイズおよび最終の量
    子化された変換係数であって２値化表示されたものをコ
    ード化されたビットストリームにコード化するステップ
    を含むことを特徴とする方法。
11. 【請求項１１】 請求項８、９、１０または１１に基づ
    く打切り量子化マトリックスを使用して、コード化され
    たビットストリームに静止画および動画をコード化する
    方法において、打切り量子化マトリックス係数であって
    ２値化表示されたものをコード化するステップは；１次
    元の値配列を形成するために上記の打切り量子化マトリ
    ックスをジグザグスキャンまたはその他のスキャンを行
    い；差分値を得るための１次元スキャンの順に従って前
    記の打切り量子化マトリックスのもとの値の各々に対し
    て現在値から以前の値を引き算し；エントロピコード化
    によりビットストリームにコード化するために打切りに
    対して前記の差分値をエントロピコード化するステップ
    を含むことを特徴とする方法。
12. 【請求項１２】 請求項８、９、１０または１１に従っ
    て変換コード化において量子化マトリックスを適応的に
    打ち切る方法において前記の打ち切り基準は残りの係数
    をデフォールトの値のままにして変更を要する係数の最
    小数を得るためスキャン順序に基づいて打ち切りパター
    ンを決定するステップおよびビットストリームにコード
    化される打ち切り量子化マトリックスの１部として変化
    した係数のみを選択するステップを含むことを特徴とす
    る方法。
13. 【請求項１３】 請求項１または７に従って変換コード
    化において量子化ステップサイズを適応的にスケーリン
    グする方法において量子化ステップサイズのスケールフ
    ァクターおよび前記の量子化ステップサイズの値スケー
    リングは；量子化変換係数のブロックにおいてAC係数が
    ゼロでないもの、すなわち非ゼロのAC係数、の数をチエ
    ックし；非ゼロのAC係数をより多く持つに対してはスケ
    ールファク−を増加し、非ゼロのAC係数のすくないブロ
    ックに対してはスケールファク−を減少し；最初の係数
    およびブロックのいかなる所定数の係数に対してスケー
    ルファク−をアプライし；デコーダーのみならずエンコ
    ーダーに同一の基準を使用するステップを含むことを特
    徴とする方法。
14. 【請求項１４】 請求項３，５、９または１１に従って
    変換コード化において量子化マトリックスを適応的にス
    ケーリングする方法においてスケールファク−の決定お
    よび前記の打ち切り量子化マトリックスの値のスケーリ
    ングは；量子化変換係数の前記ブロックの非ゼロのＡＣ
    係数の数をチエックし；非ゼロのＡＣ係数をより多く持
    つブロックに対してはスケールファク−を増加し、非ゼ
    ロのＡＣ係数のすくないブロックに対してはスケールフ
    ァク−を減少し；最初の係数および前記の打ち切り量子
    化マトリックスブロックのいかなる所定数の係数に対し
    てもスケールファク−をアプライし；デコーダーのみな
    らずエンコーダーに同一の基準を使用するステップを含
    むことを特徴とする方法。
15. 【請求項１５】 請求項１または７に従って変換コード
    化において量子化ステップサイズを適応的にスケーリン
    グする方法においてスケールファクターおよび前記の量
    子化ステップサイズの値の決定は；量子化変換係数の前
    記ブロックの非ゼロのAC係数の数をチエックし；非ゼロ
    のAC係数をより多く持つブロックに対してはスケールフ
    ァク−を増加し、非ゼロのAC係数のすくないブロックに
    対してはスケールファク−を減少し；最初の係数および
    前記の打ち切り量子化マトリックスブロックのいかなる
    所定数の係数に対してもスケールファク−をアプライ
    し；デコーダーのみならずエンコーダーに同一の基準を
    使用するステップを含むことを特徴とする方法。
16. 【請求項１６】 請求項２および３に従って変換コード
    化において量子化マトリックスをデコードする方法にお
    いて打ち切り量子化マトリックスに存在する係数の数を
    指示する値および打ち切り量子化マトリックスの２値化
    表示の抽出は；ビットストリーム中の固定もしくは可変
    長のコードを使用することにより打ち切り量子化マトリ
    ックスに存在する係数の前記の数をデコードし；これに
    続いてビットストリーム中の１連の固定もしくは可変長
    のコードより打ち切り量子化マトリックスの係数をデコ
    ードするステップでこのときその係数の数は打ち切り量
    子化マトリックス中に存在する前記の係数の数によって
    決められるステップよりなることを特徴とする方法。
17. 【請求項１７】 請求項５に従って変換コード化におい
    て量子化マトリックスをデコードする方法において打ち
    切り量子化マトリックスの係数の２値化表示のコード化
    されたビットストリームからの抽出は；ビットストリー
    ム中の１連の固定もしくは可変長のコードを使用するこ
    とにより打ち切り量子化マトリックスの複数の係数をデ
    コードし；特別のシンボルが遭遇されたときにのみ終結
    するステップを含むことを特徴とする方法。
18. 【請求項１８】 請求項８または９に従って変換コード
    化において量子化マトリックスをコード化する方法にお
    いて打ち切り量子化マトリックスに存在する係数数を指
    示する値および打ち切り量子化マトリックスの係数の２
    値化表示のコード化されたビットストリームからの抽出
    は；ビットストリーム中の１連の固定もしくは可変長の
    コードを使用することにより打ち切り量子化マトリック
    スに存在する前記の数の係数をエンコードし；これに続
    いてビットストリーム中の１連の固定もしくは可変長の
    コードより打ち切り量子化マトリックスの係数をエンコ
    ードするステップでこのときその係数の数は打ち切り量
    子化マトリックス中に存在する前記の係数の数によって
    決められるステップよりなることを特徴とする方法。
19. 【請求項１９】 請求項１０または１１に従って変換コ
    ード化において量子化マトリックスをエンコードする方
    法において打ち切り量子化マトリックスの前記の係数の
    ２値化表示のエンコードされたビットストリームへのエ
    ンコードは；ビットストリーム中の１連の固定もしくは
    可変長のコードを使用することにより打ち切り量子化マ
    トリックスの係数をエンコードし；打ち切り量子化マト
    リックスの終末を指示するために特別のシンボルを挿入
    するステップを含むことを特徴とする方法。
20. 【請求項２０】 請求項１，３，７または９に従うエン
    コードおよびデコード方法においてブロック内の係数の
    各々に対して異なったスケーリングファクターが導入さ
    れる方法。
21. 【請求項２１】 請求項２，３，５，８，９，１０また
    は１１に従って打ち切り量子化マトリックスを使用する
    エンコードおよびデコード方法において画像の輝度およ
    び色度成分に対して分離された量子化マトリックスが使
    用される方法。
22. 【請求項２２】 静止画および動画に対する量子化マト
    リックスを符号化するデータ生成方法であって、 各成分が予め決められた値を有するデフォルト・量子化
    マトリックスを保持し、 前記保持したデフォルト・量子化マトリックスの成分を
    所定のジグザグパターンの順番で読み出し、各成分が固
    有の値を有する固有量子化マトリックスを生成し、前記
    固有量子化マトリックスの成分を所定のジグザグパター
    ンの順番で読み出し、前記読み出しを、設定した位置で
    打ち切り、 前記設定した位置より前に読み出した固有量子化マトリ
    ックスの成分の後に終端コードを付加した簡略データ
    を、量子化マトリックスを符号化した信号とすることを
    特徴とするデータ生成方法。
23. 【請求項２３】 任意の数の量子化マトリックスの成分
    の後に終端コードが付加された簡易データを受信し、静
    止画および動画に対する量子化マトリックスをデコード
    するデコード方法であって、 各成分が予め決められた値を有するデフォルト・量子化
    マトリックスを保持し、 前記保持したデフォルト・量子化マトリックスの成分を
    所定のジグザグパターンの順番で読み出し、 前記簡易データから終端コードを検出し、 前記検出した終端コードより前に入力された量子化マト
    リックスの成分と、前記読み出した成分であって前記任
    意の数以降の前記デフォルト・量子化マトリックスの成
    分を合成した合成量子化マトリックスを生成することを
    特徴とするデコード方法。
24. 【請求項２４】 静止画および動画に対する量子化マト
    リックスを符号化するエンコーダであって、 各成分が予め決められた値を有するデフォルト・量子化
    マトリックスを保持する保持手段と、 前記保持されたデフォルト・量子化マトリックスの成分
    を所定のジグザグパターンの順番で読み出す第１の読み
    出し手段と、各成分が固有の値を有する固有量子化マト
    リックスを生成する生成手段と、前記固有量子化マトリ
    ックスの成分を所定のジグザグパターンの順番で読み出
    す第２の読み出し手段と、前記読み出しを、設定した位
    置で打ち切る打ち切り手段と、 前記設定した位置より前に読み出した固有量子化マトリ
    ックスの成分の後に終端コードを付加し、簡略データを
    生成する付加手段を有することを特徴とするエンコー
    ダ。
25. 【請求項２５】 任意の数の量子化マトリックスの成分
    の後に終端コードが付加された簡易データを受信し、静
    止画および動画に対する量子化マトリックスをデコード
    するデコーダであって、 各成分が予め決められた値を有するデフォルト・量子化
    マトリックスを保持する保持手段と、 前記保持したデフォルト・量子化マトリックスの成分を
    所定のジグザグパターンの順番で読み出す第１の読み出
    し手段と、 前記簡易データから終端コードを検出する検出手段と、 前記検出した終端コードより前に入力された量子化マト
    リックスの成分と、前記読み出した成分であって前記任
    意の数以降の前記デフォルト・量子化マトリックスの成
    分を合成した合成量子化マトリックスを生成する手段を
    有することを特徴とするデコーダ。