JP2011109711A - 画像符号化方法、画像符号化信号および記録媒体 - Google Patents

画像符号化方法、画像符号化信号および記録媒体 Download PDF

Info

Publication number
JP2011109711A
JP2011109711A JP2011023311A JP2011023311A JP2011109711A JP 2011109711 A JP2011109711 A JP 2011109711A JP 2011023311 A JP2011023311 A JP 2011023311A JP 2011023311 A JP2011023311 A JP 2011023311A JP 2011109711 A JP2011109711 A JP 2011109711A
Authority
JP
Japan
Prior art keywords
quantization
image
orthogonal transform
odd
remainder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011023311A
Other languages
English (en)
Inventor
Tao Chen
タオ・チェン
Jiuhuai Lu
ジュファイ・ル
Yoshiichiro Kashiwagi
吉一郎 柏木
Shinya Sumino
眞也 角野
Sun Rimu Chon
スン・リム チョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Publication of JP2011109711A publication Critical patent/JP2011109711A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】量子化処理および逆量子化処理の計算負荷を軽減する画像復号化方法を提供する。
【解決手段】画像符号化方法であって、重みマトリクスの垂直方向に第ｉ番目であり水平方向の第ｊ番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、前記正規化値は、（１）前記ｉと前記ｊとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、（２）前記量子化パラメータを６で割った余りと、に応じて定められた値であり、前記量子化された直交変換係数と前記レベルスケール値を乗算し、乗算結果を前記量子化パラメータを６で割った商に応じたビット数だけシフトして逆量子化された直交変換係数を算出し、前記逆量子化された直交変換係数を逆直交変換してブロック画像を生成して画像を復号化し、復号化した画像を参照画像として記憶する。
【選択図】図１６Ｂ

Description

本発明は、動画像を効率良く圧縮する画像符号化方法とそれを正しく復号化する画像復号化方法、画像符号化装置、画像復号化方法、画像符号化装置およびプログラムに関する。
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア，つまり新聞，雑誌，テレビ，ラジオ，電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１，MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１，MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU H.264 の標準化活動が進んでいる。2002年8月の時点で、次世代画像符号化方式はコミッティー・ドラフト（CD）と呼ばれるものが発行されている。
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
参照画像を用いずに画面内予測符号化を行うピクチャをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うピクチャをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるピクチャをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロック毎に指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。
ＰピクチャまたはＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照ピクチャの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけ参照ピクチャをシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャ側のマクロブロックを探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
図１はビットストリームのデータ構造の例を示した説明図である。図１に示すようにビットストリームは以下のような階層構造を有している。ビットストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成される。グループ・オブ・ピクチャを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、ＰピクチャまたはＢピクチャがある。各ピクチャはさらに複数のスライスから構成されている。スライスは、各ピクチャ内の帯状の領域であり、複数のマクロブロックから構成されている。ストリーム、GOP、ピクチャおよびスライスはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。
また、ストリームが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図１のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図１で説明した符号化ビットストリームの場合と同じである。
一般に人間の視覚特性は画像中の低周波数成分に敏感であり、高周波数成分は低周波数成分ほど感度が高くないといわれている。更に、画像信号は低周波数成分のエネルギーが高周波数成分のエネルギーよりも大きいことから、画像符号化は低周波数成分から高周波数成分の順序で行われる。その結果、低周波数成分の符号化に必要なビット数よりも高周波数成分の符号化に必要なビット数の方が多くなる。
以上の観点から、従来の符号化方法では、直交変換により得られる周波数毎の変換係数の量子化において、低周波数成分よりも高周波数成分に対応する量子化ステップを粗くしている。これにより、主観画質の劣化はわずかでありながら大幅に圧縮率を向上する方法が従来採用されている。
さて、低周波数成分に対して高周波数成分の量子化ステップをどの程度粗くするかについては画像信号に依存するため、画像に応じて各周波数成分の量子化ステップの大きさを変更する手法が採用されている。各周波数成分の量子化ステップを導出するために量子化マトリクス（重みマトリクスとも呼ばれる。）が用いられる。量子化マトリクスの例を図２に示す。図２の量子化マトリクスの例において、左上が直流成分、右方が水平高周波数成分、下方が垂直高周波数成分に対応する。また、数値が大きいほど量子化ステップが粗くなることを示す。量子化マトリクスは、通常各ピクチャ単位で変更可能となっている。各周波数成分の量子化ステップの大きさを示す値が固定長で符号化される。なお、量子化マトリクスの各成分と量子化ステップの値はほぼ比例関係にあるのが一般的であるが、必ずしもこれにこだわる必要は無く、両者の対応が明確に規定されていれば良い。
図３は、ＭＰＥＧ−２、ＭＰＥＧ−４などの従来技術の画像符号化装置または画像復号化装置における逆量子化処理を示すフローチャート図である。
同図のように、従来の画像符号化装置または画像復号化装置は、重みマトリクス{Ｗi,j}と量子化パラメータＱＰとを取得し（Ｓ１１、Ｓ１２）、量子化ステップＱStepを算出し,量子化値（量子化された周波数係数）{ｆi,j}を取得する（Ｓ１４）。続いて、ブロックの周波数係数毎にｆi,j×Ｑstep×W i,jの計算を行って逆量子化値を導出する（Ｓ１５〜Ｓ１７）。
また、画像符号化装置における量子化処理では、直交変換により得られた周波数係数に対して、Ｑstep×W i,jの逆数を乗算することになる。
しかしながら、従来の量子化処理および逆量子化処理では、除算および乗算を必要とするため計算負荷が大きいという問題がある。
国際公開第０３／０１７４９７号 特開２００３−２８９５４２号公報
本発明の目的は、量子化処理および逆量子化処理の計算負荷を軽減する画像復号化方法、画像符号化方法、画像復号化装置、画像符号化装置およびそのプログラムを提供することを目的とする。
上記目的を達成するため本発明の画像符号化方法は、ブロック単位の逆量子化および逆直交変換によって、符号化された画像を復号化する復号化方法であって、逆量子化として、周波数成分毎の量子化ステップのスケーリング比率を示す量子化マトリクスと、直交変換のための係数または量子化ステップを表す乗数とを乗算し、その乗算結果と量子化値とを乗算する。
この構成によれば、周波数変換のための乗数を逆直交変換において乗算する必要がなるなり、計算負荷を軽減することができる。つまり、逆量子化処理における量子化ステップの導出時に、量子化ステップ導出のための乗算を事前に計算することにより、量子化処理の計算負荷を増加させることなく、逆直交変換における乗算を削減することができる。
ここで、前記周波数変換のための乗数は、逆直交変換の正規化係数に関するものとしてもよい。
ここで、前記量子化マトリクスと前記乗数との乗算は、所定単位の符号化データ毎に行われ、前記乗算結果と量子化値との乗算は、ブロック単位に行われ、前記所定単位の符号化データは、複数の符号化されたブロックを含み、前記乗算結果は、前記複数の符号化されたブロックに共通としてもよい。
ここで、前記量子化マトリクスと前記乗数との乗算結果は、メモリに格納され、前記乗算結果と量子化値との乗算は、メモリの参照を伴うようにしてもよい。
ここで、前記所定単位の符号化データはピクチャに対応してもよい。
この構成によれば、ピクチャ毎の乗算と、ブロック毎の乗算との２段階に分けることにより、演算回数が削減し、計算負荷をさらに軽減することができる。
また、本発明の画像符号化方法、画像復号化装置、画像符号化装置、そのプログラム、その半導体装置についても上記と同様の構成および効果を有する。
図１は、ビットストリームのデータ構造の例を示す説明図である。 図２は、量子化マトリクスの例を示す図である。 図３は、ＭＰＥＧ−２、ＭＰＥＧ−４などの従来技術の画像符号化装置における逆量子化処理を示すフローチャート図である。 図４は、画像符号化装置の構成を示すブロック図である。 図５は、マクロブロックの輝度ブロックにおける１６×１６画面内予測の場合の、ブロック構成とその直交変換を示す説明である。 図６は、マクロブロックの輝度ブロックにおける４×４画面内予測や画面間符号化の場合の、ブロック構成とその直交変換を示す説明である。 図７は、マクロブロックの色差ブロックの構成とその直交変換を示す説明である。 図８は、アダマール変換の変換式を示す説明図である。 図９Ａは、整数精度ＤＣＴの変換式を示す説明図である。 図９Ｂは、整数精度逆ＤＣＴの変換式を示す説明図である。 図１０Ａは、量子化マトリクスの符号化順序の例を示す図である。 図１０Ｂは、量子化マトリクスの符号化順序の例を示す図である。 図１０Ｃは、量子化マトリクスの符号化順序の例を示す図である。 図１０Ｄは、量子化マトリクスの符号化順序の例を示す図である。 図１１Ａは、量子化マトリクスの重み成分であって、直交変換によって定義される重み成分の配列を示す図である。 図１１Ｂは、量子化マトリクスの各成分の符号化されたデータがヘッダ部にどのように配置されているかを示す図である。 図１１Ｃは、量子化マトリクスの各成分の符号化されたデータがヘッダ部にどのように配置されているかを示す図である。 図１２は、量子化の入出力特性を示す図である。 図１３は、量子化パラメータに対する量子化ステップの特性を示す図である。 図１４は、量子化パラメータに対するＳＮ比の特性を示す図である。 図１５Ａは、正規化と逆量子化を示す説明図である。 図１５Ｂは、正規化と逆量子化を示す説明図である。 図１５Ｃは、正規化と逆量子化を示す説明図である。 図１６Ａは、量子化部の第１の構成例を示すブロック図である。 図１６Ｂは、逆量子化部の第１の構成例を示すブロック図である。 図１７Ａは、重みマトリクスに対応した量子化部の第２の構成例を示すブロック図である。 図１７Ｂは、重みマトリクスに対応した逆量子化部の第２の構成例を示すブロック図である。 図１８Ａは、重みマトリクスに対応した量子化部の第３の構成例を示すブロック図である。 図１８Ｂは、重みマトリクスに対応した逆量子化部の第３の構成例を示すブロック図である。 図１９は、周波数変換のための乗算を含む量子化ステップを量子化パラメータＱＰからその都度計算する場合の、逆量子化処理を示すフローチャートである。 図２０は、周波数変換のための乗算を含む量子化ステップを量子化パラメータＱＰから予め計算する場合の、量子化処理を示すフローチャートである。 図２１は、周波数変換のための乗算を含む量子化ステップを量子化パラメータＱＰから必要な都度計算する場合の、量子化処理を示すフローチャートである。 図２２は、画像復号化装置の構成を示すブロック図である。 図２３Ａは、プログラムを格納するための記録媒体についての説明図である。 図２３Ｂは、プログラムを格納するための記録媒体についての説明図である。 図２３Ｃは、プログラムを格納するための記録媒体についての説明図である。 図２４は、コンテンツ供給システムの全体構成を示すブロック図である。 図２５は、画像符号化方法および画像復号化方法を用いた携帯電話の具体例を示す図である。 図２６は、携帯電話のブロック図である。 図２７は、ディジタル放送用システムの例を示す図である。 図２８は、実施の形態２における８×８重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図２９は、実施の形態２における８×８重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３０は、実施の形態２における８×８重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３１は、実施の形態２における８×８重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３２は、４×４重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３３は、４×４重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３４は、４×４重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３５は、４×４重みマトリクスから量子化マトリクスを導出する一例を示す図である。 図３６は、実施の形態３における逆量子化部のブロック図である。 図３７は、重みマトリクスの一例を示す図である。 図３８は、逆量子化処理を示す図である。 図３９は、逆量子化処理を示す図である。 図４０は、逆量子化処理を示す図である。 図４１は、テーブルの一例を示す図である。 図４２は、テーブルの一例を示す図である。 図４３は、実施の形態４における４×４色差ＤＣブロックの逆量子化を示す図である。
（実施の形態１）
図４は、画像符号化装置の構成を示すブロック図である。
画像符号化装置１は、入力される画像信号Vin を圧縮符号化して可変長符号等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出ユニットＭＥ、動き補償ユニットＭＣ、減算ユニットＳｕｂ、直交変換ユニットＴ、量子化ユニットＱ、逆量子化ユニットＩＱ、逆直交変換ユニットＩＴ、加算ユニットＡｄｄ、ピクチャメモリPicMem、スイッチＳＷ、および可変長符号化ユニットＶＬＣを備えている。
画像信号Vin は、減算ユニットＳｕｂおよび動き検出ユニットＭＥに入力される。減算ユニットＳｕｂは、入力された画像信号Vin と予測画像の差分値を計算し、直交変換ユニットＴに出力する。
直交変換ユニットＴは、直交変換を行って差分値を直交変換係数または周波数係数に変換し、量子化ユニットＱに出力する。
量子化ユニットＱは、減算ユニットＳｕｂ入力されたブロック単位の周波数係数を外部から入力された量子化マトリクスWMを参照して導出した量子化ステップで量子化し、量子化値Qcoefを可変長符号化ユニットに出力する。
逆量子化ユニットＩＱは、量子化マトリクスWMを参照して導出した量子化ステップで量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換ユニットＩＴに出力する。
本実施の形態における逆量子化ユニットＩＱは、周波数成分毎の量子化ステップのスケーリング比率を示す量子化マトリクスと、直交変換のための乗数とを乗算し、メモリに格納する第１段階と、メモリに格納された乗算結果と量子化値とを乗算する第２段階との２段階により逆量子化を行う。第１段階は例えばピクチャ単位に、第２段階はブロック単位に処理される。また、周波数変換のための乗数は、逆直交変換の正規化係数を含む。この場合、メモリに格納された乗算結果は、各量子化ステップに逆直交変換の正規化係数を乗じた値となる。
逆直交変換ユニットＩＴは、周波数係数から画素差分値に逆周波数変換し、加算ユニットＡｄｄに出力する。加算ユニットＡｄｄは、画素差分値と動き補償ユニットＭＣから出力される予測画像とを加算して復号化画像とする。スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリPicMemに保存される。
一方、画像信号Vin がマクロブロック単位で入力された動き検出ユニットＭＥは、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われる。
動き補償ユニットＭＣでは、上記処理によって検出された動きベクトルを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像に最適な画像領域を取り出す。
可変長符号化ユニットＶＬＣは、量子化マトリクスWM、量子化値Qcoef、および動きベクトルＭＶを可変長符号化して符号化ストリームStrとする。
図５および図６は、ＭＰＥＧ−４ ＡＶＣにおける直交変換ユニットＴにおける直交変換の説明図である。１６×１６画素からなる輝度マクロブロックは、１６×１６のマクロブロック単位で画面内予測符号化する場合とそれ以外の符号化の場合とで直交変換とそれを適用するブロック分割が異なっている。
図５は、１６×１６画面内予測符号化の場合のマクロブロックの輝度ブロックの構成とその直交変換の説明図である。この場合直交変換ユニットＴは、次の（１）〜（４）のように直交変換する。（１）１６×１６画素からなる輝度ブロックは、４×４画素の１６個のブロックに分割される。（２）分割後の４×４ブロックのそれぞれは、整数精度の４×４ＤＣＴによる直交変換がなされる。ここで、整数精度のＤＣＴは、整数精度に丸めているため正確なＤＣＴではないが、ＤＣＴの近似として利用できる。（３）直交変換された各ブロックのＤＣ成分（直流成分）から構成される４×４ＤＣブロックが生成される。（４）４×４ＤＣブロックはアダマール変換される。ここで、アダマール変換は、加減算のみの簡単な直交変換であり、正確には離散アダマール変換（ＤＨＴ:Discrete Hadamard Transtorm）と呼ばれる。
図６は、１６×１６画面内予測符号化以外の場合、すなわち４×４画面内予測符号化や画面間符号化の場合の、輝度ブロックの構成とその直交変換を示す説明である。この場合直交変換ユニットＴは、次の（１）、（２）のように直交変換する。（１）１６×１６画素からなる輝度マクロブロックは、４×４画素の１６個のブロックに分割される。（２）分割後の４×４ブロックのそれぞれは、整数精度のＤＣＴによる直交変換がなされる。
図７は、マクロブロックの色差ブロックの構成とその直交変換を示す説明である。この場合直交変換ユニットＴは、次の（１）〜（４）のように直交変換する。（１）８×８画素からなる色差マクロブロックは、４×４画素の４個のブロックに分割される。（２）分割後の４×４ブロックのそれぞれは、整数精度の４×４ＤＣＴによる直交変換がなされる。（３）直交変換された各ブロックのＤＣ成分（直流成分）から構成される２×２ＤＣブロックが生成される。（４）２×２ＤＣブロックはアダマール変換される。
このように、直交変換ユニットＴは、ＤＣブロックに対しては、加減算のみで実現できる最も簡単な直交変換の１つであるアダマール変換を適用するものとする。
図８は、アダマール変換の変換式と波形イメージとを示す説明図である。同図において、ｈ０〜ｈ３は、４つの入力信号を、Ｈ０〜Ｈ３は、アダマール変換された成分を示す。Ｈ０はアダマール変換のＤＣ成分に相当し、Ｈ３はアダマール変換の最高周波数の成分に相当する。また、アダマール変換の逆変換はアダマール変換である。つまり、Ｈ０〜Ｈ３を再度アダマール変換すると、ｈ０〜ｈ３が得られる。
なお、色差の２×２ＤＣブロックに対するアダマール変換は、次式による。すなわち、２×２ＤＣブロックの各行と各列にそれぞれ１回ずつ次式が適用される。
Ｈ０＝（ｈ０＋ｈ１）／√２
Ｈ１＝（ｈ０−ｈ１）／√２
図９Ａは、直交変換ユニットＴにおける整数精度ＤＣＴの変換式と波形イメージとを示す説明図である。ｄ０〜ｄ３は４つの入力信号を、Ｄ０〜Ｄ３は、整数精度ＤＣＴされた成分を示す。整数精度の４×４ＤＣＴでは、図９Ａに示す４入力ＤＣＴが、４×４画素ブロックの各行と各列にそれぞれ１回ずつ適用される。Ｄ０はＤＣ成分に相当し、Ｄ３は最高周波数の成分に相当する。整数精度ＤＣＴの波形イメージは、図８のアダマール変換の波形イメージと比較すると、周波数成分Ｈ１と周波数成分Ｄ１の波形が大きく異なっている。すなわち周波数成分Ｄ１（最低周波数の交流成分）は、周波数成分Ｈ１よりも、滑らかに表現（最大値から最小値へ単調変化）できている。
図９Ｂは、直交変換ユニットＴにおける整数精度逆ＤＣＴの変換式を示す説明図である。
同図において、周波数成分Ｄ１とＤ３からＤ１´とＤ３´を求めるためには実数演算が必要になる。本実施の形態では、整数精度逆ＤＣＴにおける実数演算を避けるために、逆量子化処理の量子化ステップに予めこの値を乗算している（上記した逆量子化ユニットＩＱにおける第１段階）。これにより整数精度逆ＤＣＴにおける乗算回数を削減し、計算負荷を軽減している。その結果、偶数次の周波数成分に対して、逆量子化では奇数次の周波数成分の量子化ステップが（√８／√５）倍もしくは８／５倍になる。
図１０Ａ〜１０Ｄは、量子化マトリクスの符号化順序の例を示す図である。この順序は、量子化マトリクスが符号化および復号化される際の順序であり、量子化や逆量子化の際には、量子化マトリクスは実際に演算する成分の順序に並べ替えて使用される。画像符号化の直交変換では、４ｘ４画素単位と８ｘ８画素単位の２通りが最もよく使用される。そこで、図１０Ａと図１０Ｂに４x４画素単位の例、図１０Ｃと図１０Ｄに８×８画素単位の例を示す。図１０Ａや図１０Ｂのように低周波数成分から高周波数成分の順番に符号化すると圧縮効率が良いが、処理を簡単にするために図１０Ｃや図１０Ｄのように単純に水平順序で符号化することもある。
図１１Ａ〜図１１Ｃは、量子化マトリクス（WeightingMatrix）およびストリーム中に符号化された量子化マトリクスのデータ構造を示す図である。同図において、Headerは図１のGOP、もしくはピクチャのヘッダ、もしくはそれに相当する情報である。図１１Ａは量子化マトリクスの周波数成分の配列を示す図である。Ｗi,jはi行ｊ列の量子化マトリクスの成分を表している。図１１Ｂと図１１Ｃは量子化マトリクスの各成分の符号化されたデータがヘッダ部にどのように配置されている例を示している。図１１Ｂが図１０Ｂの順序で符号化されたストリームであり、図１１Ｃが図１０Ｄの順序で符号化されたストリームである。なお、図１１Ｂと図１１Ｃのストリーム中でWi,jと記載されているのはWi,jに相当する符号化された可変長符号という意味である。
図１２は、量子化ユニットＱおよび逆量子化ユニットＩＱにおける量子化（逆量子化）の入出力特性を示す図である。量子化とは、直交変換された周波数成分（図１２では被量子化値）に対して量子化ステップで除算した結果を整数値に丸めることをいう。丸められた整数値を量子化値と呼ぶ。逆に、量子化値に量子化ステップを乗算して直交変換の周波数成分に戻すことを逆量子化と呼ぶ。量子化ステップの大きさを変更することにより、符号化によるビット量を増減することができる。これにより、量子化ステップの大きさを変更することにより、圧縮率（単位時間当たりの符号量）を一定に保つことができる。
図１３は、量子化パラメータに対する量子化ステップの特性を示す図である。量子化パラメータとは、量子化ステップを導出するためのパラメータであり、符号量を目標とするビットレートに一致させるために調整される。量子化ステップは直接符号化されないので、逆量子化ユニットＩＱおよび量子化ユニットＱは、符号化される量子化パラメータから量子化ステップを導出している。。図１３の例では、量子化パラメータＱＰが６増加すると量子化ステップが２倍になる。その結果、図１４に示すように、量子化パラメータＱＰとＳＮ比が比例し、量子化パラメータＱＰの大きさによらず、量子化パラメータＱＰが変化した場合のＳＮ比の変化量が一定になっている。
なお、量子化パラメータが０〜５１の範囲内の値をとる場合、量子化ステップの最大値は最小値の２５６倍となる。
図１５Ａ〜図１５Ｃは、正規化と逆量子化を示す説明図である。図９Ｂに示した直交変換における正規化のための（√８／√５）等の乗算を逆量子化においてまとめて簡単化する方法について説明する。図９Ｂのように、Ｄ１成分とＤ３成分は、ＤＣ成分から数えて奇数番目に存在する。また、水平垂直ともに奇数番目の成分には（√８／√５）が２回乗算されるので、８／５倍を乗算することになる。このことから、逆量子化において予め正規化するためには、量子化ステップに（ａ）〜（ｃ）のように予め乗算すればよい。
（ａ）水平垂直どちらも偶数番目なら、正規化の乗算なし。
（ｂ）水平垂直の一方が奇数番目なら、（√８／√５）倍。
（ｃ）水平垂直のどちらもが奇数番目なら、（８／５）倍。
そこで、β＝α×√８／√５、γ＝α×８／５とすれば、（ａ）〜（ｃ）は次のようになる。
（Ａ）水平垂直どちらも偶数番目なら、αを乗算。
（Ｂ）水平垂直の一方が奇数番目なら、βを乗算。
（Ｃ）水平垂直のどちらもが奇数番目なら、γを乗算。
このような簡単な規則で、逆量子化において正規化もまとめて実現することができる。正規化のための特別な乗算が逆ＤＣＴおよび量子化では不要になる。
量子化パラメータＱＰが６増加すれば量子化ステップは２倍になるので、量子化パラメータＱＰと、正規化のための乗算を含む量子化ステップは、次式の関係を有する。
量子化ステップ＝（ＱＰ％６の量子化ステップ）×（２の（ＱＰ／６）乗）
このことから、図１５Ｂおよび図１５Ｃに示すように、α、β、γに対応する（ＱＰ％６の量子化ステップ）の合計１８通りの量子化ステップのみをテーブルとして保持しておけば、任意の量子化パラメータＱＰに対応する(正規化のための乗算を含む)量子化ステップとして、（ＱＰ％６の量子化ステップ）を（ＱＰ／６）ビット左シフトすることによって、正規化を伴う量子化ステップを容易に得ることができる。本実施形態では、輝度信号と色差信号の量子化パラメータの大きさの比率を、スライス単位で変更するものとする。通常、色の劣化（特に赤）の方が輝度の劣化よりも目立つことから、輝度信号の量子化パラメータＱＰよりも色差信号の量子化パラメータＱＰの方が小さい方がよい。
さて、量子化ステップがＱＰ／６ビットのシフトで表現できることから、量子化および逆量子化が乗算とシフト演算の組合せでうまく表現できることがわかる。図１６Ａ、図１６Ｂは、量子化部Ｑおよび逆量子化部ＩＱの第１の構成例を示すブロック図である。第１の構成例では、重みマトリクスを用いていない場合に、乗算とシフト演算のみを用いて示している。量子化部Ｑ１は、乗算部Ｑ１１と右シフタＱ１２とを備える。乗算部Ｑ１１は、直交変換係数に”Ｑ１”を乗算する。“Q1”は量子化ステップ（ＱＰ％６の量子化ステップ）の逆数の倍数である。本来は量子化は量子化ステップで除算するものであるが、除算は乗算よりも演算が複雑なため、予め量子化ステップの逆数を計算しておき、乗算するのである。また、逆量子化部Ｑ１は、乗算部ＩＱ１１と左シフタＩＱ１２とを備える。
量子化部Ｑ１は次のように動作する。右シフタＱ１２は、乗算部Ｑ１１による乗算結果をＳ１ビット右にシフトする。つまり右シフタＱ１２は、乗算部Ｑ１１の乗算結果を乗算結果を”２のS１乗”で除算する。S１の大きさは（ＱＰ／６）に比例する。また、逆量子化部ＩＱ１は次のように動作する。乗算部ＩＱ１１は、直交変換係数に”Ｑ２”を乗算する。“Q２”は（ＱＰ％６の量子化ステップ）に比例する。左シフタＩＱ１２は、乗算部ＩＱ１１による乗算結果をＳ２ビット左にシフトする。つまり左シフタＩＱ１２は、乗算部Ｑ１１による乗算結果に”２のS２乗”を乗算する。S２の大きさは（ＱＰ／６）に比例する。
ここで”Ｓ１”と”Ｓ２”は、量子化パラメータＱＰに対して全ての周波数係数に対して固定した値である。”Ｑ１”と”Ｑ２”は、量子化パラメータＱＰと周波数係数の位置とに依存する値をもつ。この場合、Ｑ１×（２の(−Ｓ１)乗）×Ｑ２×（２のＳ２乗）＝１なる関係を有していればよい。この場合、Ｑ１×Ｑ２は２のべき数となり、更にＳ２−Ｓ１は固定値となる。
図１７Ａ、図１７Ｂは、重みマトリクスを用いた場合の、量子化部Ｑおよび逆量子化部ＩＱの第２の構成例を示すブロック図である。量子化部Ｑ２は、周波数係数に”Ｑ１”を乗算する乗算部Ｑ２１と、その乗算結果に”Ｑａ”を乗算する乗算部Ｑ２２と、その乗算結果を”Ｓ１”ビット右にシフトする右シフタＱ２３と、そのシフト結果を”Ｓａ”ビット右にシフトする右シフタＱ２４とを備える。また、逆量子化部ＩＱ２は、量子化された周波数係数に”Ｑ２”を乗算する乗算部ＩＱ２１と、その乗算結果を”Ｓ２”ビット左にシフトする左シフタＱ２２と、そのシフト結果に乗算部ＩＱ２３と、そのシフト結果を”Ｓｂ”ビット右にシフトする右シフタＩＱ２４とを備える。
ここで、”Ｑａ”と”Ｓａ”は、指定された重みマトリクスの周波数成分Ｗi,jの逆数に対応し、“Ｑｂ”と“Ｓｂ”は指定された重みマトリクスの重み成分Ｗi,jに対応する。” ここで、Ｑａ×（２の(−Ｓａ)乗）×Ｑｂ×（２の（−Ｓｂ乗））＝１という関係が成立する。
図１８Ａ、図１８Ｂは、図１７Ａおよび図１７Ｂの構成で乗算とシフト演算をまとめて、構成を簡単にしたものであり、量子化部の第３の構成例を示すブロック図である。同図の量子化部Ｑ３は、直交変換係数に”Ｑ１ａ”を乗算する乗算部Ｑ３１と、その乗算結果を”Ｓ１＋Ｓａ”ビット右にシフトする右シフタＱ３２とを備える。また、逆量子化部ＩＱ３は、量子化された直交変換係数に”Ｑ２ａ”を乗算する乗算部ＩＱ３１と、その乗算結果を”Ｓｂ−Ｓ２”ビット右にシフトする右シフタＩＱ３２とを備える。乗算部Ｑ３１は、図１７Ａにおける”Ｑ１”の乗算と”Ｑａ”の乗算を、”Ｑ１ａ”の一度の乗算で実行する。すなわち、Ｑ１ａ＝Ｑ１×Ｑａである。右シフタＱ３２は、”Ｓ１”ビット右シフトと”Ｓａ”ビット右シフトを、１度のシフトで実行する。乗算部ＩＱ３１は、図１７Ｂにおける”Ｑ２”の乗算と”Ｑｂ”の乗算を、”Ｑ２ｂ”の一度の乗算で実行する。すなわち、Ｑ２ｂ＝Ｑ２×Ｑｂである。右シフタＩＱ３２は、”Ｓ２”ビット左シフトと”Ｓｂ”ビット右シフトを、１度のシフトで実行する。
図１９は、周波数変換のための乗算を含む量子化ステップを量子化パラメータＱＰからその都度計算する場合の、逆量子化処理を示すフローチャートである。この逆量子化処理はブロック毎に、例えば逆量子化ユニットＩＱ３（又はＩＱ２）によって実行される。まず、逆量子化ユニットＩＱ３は、重みマトリクス{Ｗi,j}と量子化パラメータＱＰとを取得する（Ｓ３１、Ｓ３２）。さらに、逆量子化ユニットＩＱ３は、量子化パラメータＱＰから、周波数変換のための乗算を含む量子化ステップとして、{Ｑ2i,j}とＳ2を導出し（Ｓ３３）、量子化値（量子化された周波数係数）{ｆi,j}を取得する（Ｓ３４）。ここで、{Ｑ2i,j}は、ＱＰ％６の量子化ステップとして求められる。Ｓ2は、ＱＰ／６により求められる。
続いて、逆量子化ユニットＩＱ３は、ループ１（Ｓ３５〜Ｓ４０）においてブロックの周波数係数毎の量子化を行う。すなわち、逆量子化ユニットＩＱ３は、重みマトリクス{Ｗi,j}から{Ｑbi,j}とＳbとを導出し（Ｓ３６）、Ｑbi,jとＱ2i,jとを乗算値を求め、その乗算値をレベルスケールＬSi,jとする（Ｓ３７）。さらに、逆量子化ユニットＩＱ３は、一括してシフトするためのシフトビット数Ｓ2bを、ＳbとＳ2の差分により求め（Ｓ３８）、量子化値ｆi,jとレベルスケールＬSi,jとを乗算し、その乗算結果をＳ2bビット左シフトすることにより逆量子化値を算出する（Ｓ４０）。
これにより、周波数変換のための乗算を含む量子化ステップを、量子化パラメータＱＰからブロック毎に計算しながら逆量子化するというシンプルな方法で、逆量子をすることができる。
図２０は、周波数変換のための乗算を含む量子化ステップを量子化パラメータＱＰから予め計算する場合の、量子化処理を示すフローチャートである。この逆量子化処理は、例えば逆量子化ユニットＩＱ３（又はＩＱ２）によって実行される。図２０は、図１９と比較して、例えばピクチャ毎に、周波数変換のための乗算を含む全ての量子化ステップＬSi,jがテーブルとしてメモリに格納される点（ループ１中Ｓ４３ｃ）と、ＬSi,jがテーブルから読み出される（ループ２中のＳ４９ａ）点とが異なる。これ以外は、図１９とほぼ同様なので説明を省略する。この逆量子化処理によれば、ループ１にて周波数変換のための乗算を含む全ての量子化ステップＬSi,jをテーブルとしてメモリに記憶しているので、ループ２におけるブロック毎の逆量子化値の算出を高速化するのに適している。
図２１は、周波数変換のための乗算を含む量子化ステップを量子化パラメータＱＰから必要な都度計算する場合の、量子化処理を示すフローチャートである。この逆量子化処理は、例えば逆量子化ユニットＩＱ３（又はＩＱ２）によって実行される。図２０は、図１９と比較して、初期時点では空のテーブル領域をメモリ中に確保している点と、周波数変換のための乗算を含む量子化ステップＬSi,jとS2bとがテーブルに記録されているか否かを判定し（Ｓ５６）、記憶されていないと判定された場合にＬSi,jとS2bとを算出する（Ｓ５７ａ〜Ｓ５７ｃ）とともにテーブルに追加し（Ｓ５７ｄ）、記憶されていると判定された場合にＬSi,jとS2bとをテーブルから読み出す（Ｓ５７ｅ）点が異なっている。この逆量子化によれば、図２０と比較して、最初のブロックでは成分毎の計算量にはばらつきが生じるものの、量子化パラメータＱＰが共通の後続するブロックでは計算量を必要最小限に抑えることができる。
図２２は本実施の形態における画像復号化装置の構成を示すブロック図である。同図において、図４に示した画像符号化装置のブロック図と同じ動作をするユニットは同じ番号を付し、説明を省略する。逆量子化ユニットＩＱ、逆直交変換ユニットＩＴについても図４に示した逆量子化ユニットＩＱ、逆直交変換ユニットＩＴと同じであり、その動作も説明済みである。
さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図２３Ａ〜図２３Ｃは、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図２３Ｂ は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図２３Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
また、図２３Ｃ は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
図２４は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personaldigital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図２４のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（PersonalDigital Communications）方式、ＣＤＭＡ（CodeDivision Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-CodeDivision Multiple Access）方式、もしくはＧＳＭ（GlobalSystem for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図２５は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図２６を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２７に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図２６に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
なお、図４、図１６Ａ、図１６Ｂ、図１７Ａ、図１７Ｂ、図１８Ａ、図１８Ｂ、図２２に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施形態の記録媒体１１５のように別構成としても良い。
なお、図４、図２２等に示したブロック図の各機能ブロックおよび図１９〜図２１に示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。
このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
以下では、本発明の実施の形態２について説明する。
(実施の形態２)
＜整数に基づいた、除算を含まない量子化方法＞
量子化マトリクスを用いた量子化を行うにあたり、計算の複雑さを低減するために乗算及びシフト演算のみを行うことが好ましい。言い換えれば、演算処理を多く必要とする除算は、実際には避けた方が好ましい。そこで、整数に基づき、除算を含まず、均一でなく、効率よく量子化するために提案される方法は、動画像符号化システムにおける多種多様なブロックサイズの変換や量子化に適用される。
図１６A及び１６Bは、変換係数を量子化、逆量子化するための動作を説明するものであり、乗算とシフト演算しか行われていない。与えられたQPに対して、S1及びS2の値がすべての係数に対して定められている一方で、Q1及びQ2の値はQP値と各係数の位置に依存している（Joint Video Team (JVT) of ISO/IEC MPEG &ITU-T VCEG, “Draft of ITU-T Recommendation and Final Draft InternationalStandard of Joint Video Specification (参照１：ITU-TRec. H.264 | ISO/IEC 14496-10 AVC)”, JVT-G050r1.doc, Geneva, Switzerland, May2003）。なお、これは、重み付け量子化というよりも、単に正規化の問題である。なぜなら、整数変換される行は直交であるが、これは、動画像符号化の規格に定められている基準を用いないからである（参照１を見よ）。
除算が含まれない量子化及び逆量子化に量子化マトリクスを取り入れることは、両方の処理において乗算とシフト演算からなる別の組み合わせを導入することにあるとまず考えられる。これについては、図１７A及び１７Bを用いて説明する。なお、Qa及びQbの値は指定された量子化マトリクスエントリと指定されたSaとに依存する。
計算上の複雑さを低減するために、乗算とシフト演算だけを使って除算に近似した演算を行うことができる。特定の量子化マトリクスエントリMq、与えられた(又は、エンコーダとデコーダの双方によって一致する)Saの値、及び整数値Qaは、(1<<(Sa+Bn))/Mqと定義される。従って、Saの値、整数値QbはMq<<(Sa-Bn)と定義される。例えば、Bnは４に設定することができる。この場合、明らかに量子化は、すべてのエントリーが１６となる量子化マトリクスを用いるが、動画像符号化の規格と同様のものを使用する（参照１を参照）。なお、Sa>Bnであり、通常Sa＞＝８である。この設定は、Qa及びQbの両方が整数であるため、整数計算においてある一定の精度を保つためである。量子化マトリクスを用いた量子化の上記設定を考慮してみると、すべての演算とメモリーアクセスが１６ビット以内で行うことができるということが確められる。なお、中間の結果はデータが格納される前にスケーリングやシフトが行われた場合、１６ビットを超えてもよい。Saの値が大きければ、それだけ量子化における整数計算の精度性が高まるが、その値はハードウエアの設計に関して中間結果のダイナミック・レンジに関わる制約を受ける。
＜逆量子化、正規化逆変換における乗算＞
図１７A及び１７Bに基づいて乗算とシフト演算を組み合わせれば、計算上の複雑性を直接低減することができる。図１８A及び１８Bは、さらに量子化マトリクスを量子化に導入したものである。具体的には、整数Q1aはQ1*(1<<(Sa+Bn))/Mqとして定められ、Q2aは、Q2*Mq<<(Sa-Bn)に等しい。Q1及びQ2はlookup tableから得られるため、量子化マトリクスを用いれば、たいていの場合、lookup tableが更新されるようになっている。
このテーブルは、初期の段階で指定の量子化マトリクスに基づき簡単に変更することができる。なお、整数値S2はQP/6として定められ、常に８未満である。これは、動画像符号化規格によってQPの範囲が[0,51]と定められているからである（参照１を参照）。上記提案の量子化マトリクスの使用が各Q1aの値を各量子化マトリクスエントリのそれぞれの異なる値（代表的な例として、[1, 255]）毎に区別させるのに役立つという点が重要である。これは、エンコーダの設計という観点から望ましい特徴である。なぜなら、量子化マトリクスの使用は量子化において精度の高い調整を可能にするからである。
＜量子化マトリクスに基づいて導出された新しいlookup tableの例＞
以下の公式は一般に量子化、逆量子化のそれぞれに用いられるものである。
量子化： Cij=sign(xij)*(abs(xij)*Qq(QP%6,i,j)+(1<<n)*f)>>n
逆量子化： yij=sign(cij)*((abs(cij)*Qd(QP%6,i,j))>>m)
ここでは、xij,Cij,yij はそれぞれ、量子化または逆量子化されたもとの係数を表す。Qq及びQdはそれぞれ、量子化、逆量子化に用いられるマトリクスである。整数変換の正規化を考慮すると、Qq及びQdは異なる。なお、均一量子化の場合、Qq及びQdは平坦なマトリクスとなる。sign(x)は、xが正の場合１となり、xが負の場合、０又は−１となる。abs(x)は、xの絶対値である。ｍ及びｎの値はQP、変換時のブロックの大きさ及びSaの値に依存する。また、ｆの値は通常ブロックの符号化タイプに依存する。例えば、画面内符号化のブロックの場合、ｆの値は３/８、画面間符号化のブロックの場合、１/６となる。
＜８ｘ８量子化マトリクスに関連した新しいlookup table及びマトリクス＞
Bn＝４、Sa=８の場合を考えてみると、マトリクスQq及びQdは図３０及び３１に示されるように導出される。行が直交しており、同じ基準を持つ８ｘ８整数変換では、量子化マトリクスを用いたlookup tableが直接導出される。この場合、８ｘ８量子化マトリクスは図２８に示すものを想定する。
８ｘ８整数変換に基づき、図２９に示すような量子化・逆量子化スケーリング係数表が用いられる。
QP=２０の場合、スケーリング係数（乗数として用いられる）は、それぞれ量子化では1979、逆量子化では19と定められている。なお、均一量子化の場合、これらの値はすべての変換係数に同じ値が適用される。図３０及び３１に示されるように、量子化マトリクスの使用時は、各スケーリング係数はマトリクスに変換される。量子化マトリクスが指定されると、それらのマトリクスは各スケーリング係数に対して初期化することができる。
＜４ｘ４量子化マトリクスに関連した新しいlookup table及びマトリクス＞
Bn＝４、Sa=８の場合を考えてみると、マトリクスQq及びQdは図３４、３５に示すように導出される。行が直交しており、同じ基準を持つ４ｘ４整数変換では、量子化マトリクスを用いたlookup tableの導出はマトリクス内の係数の位置を考慮する必要がある。４ｘ４量子化マトリクスは図３２に示すものを想定する。量子化、逆量子化スケーリング係数は、（整数変換の正規化を考慮して）図３３に示すような表が指定される。
QP=20の場合、量子化及び逆量子化スケーリング係数のマトリクス(乗数として用いられる)は、それぞれ図３４、３５に示すものを用いることとする。
これらのマトリクスは、４ｘ４量子化マトリクスが指定されると、図３３に挙げられるマトリクスw及びｖの各行ごとに初期化することができる。
＜DCブロック量子化の個別処理＞
上記提案の量子化マトリクスを用いた量子化は、第2レベル変換、すなわち、DC係数の輝度、色差両方における変換に適用されず、代わりにアダマール変換が適用される。エンコーダでは、変換の後に量子化が行われるが、デコーダでは、変換ではなく逆変換の後に逆量子化が行われる。これは、逆変換において、ダイナミック・レンジ(整数計算における精度性)に幅を持たせるためである。その結果、量子化と逆量子化は実際のところ異なる領域に所属する。これは、均一量子化を行う上で問題にはならないが、量子化マトリクスを用いる際に係数に対するスケーリング係数にばらつきが生じる。さらに、アダマール変換は必ずしも第１レベル変換に見られるようなDCT変換（又はそれに近似した整数変換）と同様の特徴を持たない。アダマール変換における重み付け量子化は、それゆえ、あまり意味を成さないかも知れない。
この新方式は、整数演算およびその複雑さを最小限に抑える一方で、均等量子化を量子化マトリクスが用いられる重み付け量子化に拡張したものである。重要な例として、この解決策によって、量子化マトリクスを現在の動画像符号化システム（参照１を参照）へ導入することで計算の複雑性やシンタックスの変化を最小に抑えることができるということが挙げられる。
（実施の形態３）
以下、本発明の実施の形態３について説明する。
動画像符号化システムでは、デコーダが使用できるように複数の量子化マトリクスからなる量子化マトリクスセットが既定値により定められる。これらのマトリクスは符号列が重み付け量子化を用いて符号化された場合に、その復号化に使われる。ユーザーは自ら量子化マトリクスを定め、それをデコーダに送信することができる。この新方式によって、どのようにして量子化マトリクスがデコーダへ送られるかが特定される。
また、上記方式は、多様な符号化モードの選択肢において変換方法を特定する。
重み付け量子化の主な特徴が以下に挙げられる。
１．重み付け量子化方法の仕様では、完全に整数に基づいた、除算を含まない、16ビットしか必要としないメモリ操作がデコーダによって行わるが、均一量子化方法に比べて複雑性の増加が少ない。
２．上記提案の不均一量子化方法は、輝度の８ｘ８変換に基づくが、これは、この方法が高画質画像の主観的な印象に影響を及ぼすとされる最も重要な要素の一つである画質を保持するための変換方法と考えられるからである。
不均一重み付け量子化は、画面内予測及び画面間予測の双方において、残差に適用される。この新方式は、整数演算およびその複雑さを最小限に抑える一方で、新しい符号化の道具一式を提供するとともに、均一量子化を量子化マトリクスが用いられる重み付け量子化に拡張するものである。このことにより、この動画像符号化は、とりわけ高画質で高いビットレートの符号化に有用である。
AVCにおけるProfessional Extension Profiles (Fidelity Range Profiles)は、HD画像を含む高解像度の画像の符号化を目的とする。そのようなものとして、HD画像の表示には高い視覚的な忠実度が非常に評価される。AVCのProfessional Extension Profilesが用いられた場合、さらに符号化効率が改善されることにより視覚的な質を最大限享受することは、必然的に望ましいといえる。HD画像の画質を改良するため、ブロック変換後の係数への不均一重み付け量子化の使用を実現させるような重み付け量子化を提案する。以下の理由により、不均一量子化ツールが重要であると考える。
１．復号化された画像の視覚的な忠実度の改善
２．不均一量子化が、量子化において人間の視覚システムに応じた調整を可能にし、このことが画像の忠実度における符号化効率を改善する。
３．エンド画像の質を制御する際の柔軟な選択を、これを強く望む高画質コンテンツ生成産業に提供する。
ここで提案される重み付け量子化は以下の主な特徴を含んでいる。
１．重み付け量子化方法の仕様では、完全に整数に基づいた、除算を含まない、16ビットしか必要としないメモリ操作がデコーダによって行われ、均一量子化方法に比べて複雑性の増加が少ない。
２．上記提案の不均一量子化方法は、輝度の８ｘ８変換に基づくが、これはこの方法が高画質画像の主観的な印象に影響を及ぼす最も重要な要素の一つである画質を保持する変換方法と考えられるからである。
３．不均一重み付け量子化は、画面内予測及び画面間予測の双方において、残差に適用される。
あらゆる種類のHD表示装置においてシミュレーションと視聴が行われた結果、すべての動画像シーケンスにおいて主観的な画質の改良が見られ、また、JVTシーケンスや映画スタジオから取得した映画コンテンツを含むテスト用ビデオの多くにおいて、顕著な改善が見られた。
＜８ｘ８変換および重み付け量子化マトリクスの提案＞
以前にJVTにもたらされた貢献の多くにより符号化効率が向上したことを発端に８ｘ８変換を含めることを提案する。さらに、８ｘ８変換を使用することにより、主観的な画質が得られ、その画質が保持されている。これまでの貢献やAVC Committee Draftの多くが礎とした優れた８ｘ８変換を提案したい。しかし、８ｘ８整数変換マトリクスに他のものが使われるとしても、得られる結果に大差はないと思われる。
＜８ｘ８輝度の画面内予測＞
輝度８ｘ８画面内予測に対してmb_type I_8x8で表される新しいマクロブロックのモードを現存の画面内１６ｘ１６、画面内４ｘ４に加えることが提案されている。9種類の画面内８ｘ８予測モードがあり、それらは参照２において説明されている。予測効率を改善するために低域通過フィルターが参照画素に適用されている。このフィルタリングも参照2のABT８ｘ８画面内予測の項目で説明されている。
＜色差の画面内予測＞
色差のサンプリングフォーマットに応じて異なる重み付け量子化が用いられる。4：2：0および4：2：2のフォーマットには、４ｘ４重み付け量子化が用いられ、その量子化方法は以下に定義されている。一方、4：4：0フォーマットには、同じ変換と量子化方法を用いて色差サンプルが適用される。
＜８ｘ８の画面間予測＞
８ｘ８変換はすべてのP及びBマクロブロックタイプ、１６ｘ１６、１６ｘ８、８ｘ１６に用いられる。さらに、８ｘ８変換は、sub_mb_typeとしてPスライスにはP_L0_8x8を示し、SスライスにはB_Direct_8x8、B_L0_8x8、B_L1_8x8、B_Bi_8x8を示すすべての８ｘ８サブマクロブロックに用いられる。
＜重み付け量子化マトリクスにおけるシンタックス成分＞
重み付け量子化マトリクスのために追加されたシンタックス成分はビットストリームの先頭部にユーザーによる重み付けマトリクスの定義を含む。重み付け量子化マトリクスは、ピクチャ・パラメータ・セットの中のマトリクスIDによって参照される。
＜重み付け量子化マトリクス＞
デコーダが逆変換を行う直前に重み付け量子化マトリクスは量子化ステップに用いられる。均一量子化において、各係数インデックスの重み付けは異なる。これらの重み付けはシンタックス内で定義されたQPに付随するものであり、適用される量子化は実際には量子化の重み付けとQPの組み合わせである(図３６)。重み付けマトリクスはQPに係る量子化の量を減少させたり、増加させたりすることができる。
AVCの仕様書によると、逆量子化では、逆量子化スケーリングの乗算、続いてシフトの乗算が行われ、逆量子化はQP mod 6によって計算される。逆量子化の処理ごとに整数の乗算が行われる。重み付け量子化マトリクスが用いられる時に量子化が同様に定義される。重み付け量子化マトリクスでは、重み付けの範囲が１未満、１以上の値が維持されている。重み付け量子化マトリクスの値は、実際の重み付け値に１６をかけて得られた値の整数値を切り上げたものである。例えば、重み付け量子化値「1.2」重み付け量子化マトリクス内の値「１９」に対応する。重み付け量子化マトリクスの例は図３７に示されている。
＜８ｘ８輝度の重み付け量子化＞
８ｘ８輝度ブロックに対する量子化を表す公式では、dij は量子化された変換後の係数を表し、W(i,j)重み付け量子化マトリクスを表す。なお、逆量子化処理は図３８に示されている。
＜４ｘ４変換に対する重み付け量子化＞
4：2：0及び4：2：2の色差フォーマットでは、色差は４ｘ４のDCT係数に変換される。
４ｘ４重み付け量子化マトリクスはAC係数にのみ適用される。各８ｘ８色差ブロックに対して２ｘ２DCブロックが形成され、係数が均一に量子化された場合、さらに変換が行われる。これは、現仕様書に書かれている通りである。
色差QPの導出方法は、参照３：ITU-TRecommendation H.264 and ISO/IEC International Standard 14496-10 AVC, DocumentJVT-J010d7, October 2003に記述されているものと同じである。しかし、２ｘ２色差DCに対する逆量子化は以下のように定義される。
dcCij=(fij*M(QPc%6,0,0)<<QPc/6-5,for QPc/6≧5 (5)
dcCij=(fij*M(QPc%6,0,0)+1<<(4-QPc/6))>>5-QPc/6,for QPc/6<5 (6)
ここで、
M(QPc%6,0,0)=W(0,0)=W(0,0)*LevelScale(QPc%6,0,0) (7)
重み付けマトリクスは、量子化された係数のAC部分のみに適用される。逆量子化は図３８の公式(1)及び(2)と同様に定義されるが、LevelScale関数は図３９および４０に示す参照３のセクション8.5.8で定義されている。
復号化処理の他の動作は参照３で記述されている仕様書と似ている。4：4：4の色差サンプリングの場合、各８ｘ８色差ブロックは、輝度と同じ方法で変換され、量子化される。
フィールド符号化モードでは、マクロブロックペアーの両フィールドマクロブロックは、動画像符号化システムで定義されているのと同じ量子化マトリクスを使用する。フィールド符号化モードがB_Direct_8x8 modeの場合、動き探索のブロックモードは８ｘ８ブロックよりも小さい時には、４ｘ４の変換ブロックの残差に４ｘ４重み付け量子化を用いることができるように提案する。
なお、重み付け量子化方法を適用する際には、特に配慮してQPと組み合わせた重み付け量子化を設計しなければならない。つまり、重み付け量子化がいかなる係数のビット・サイズをも拡張しないように確認しなければならない。また、エンコーダ側の責任として、マトリクス係数内である一定の均衡を保つことが最も好ましい。
＜重み付け量子化マトリクスに基づいた逆量子化スケーリング表の導出＞
ユーザーにより定義された重み付けマトリクスがデコーダに送信されると、デコーダは、量子化の重み付けとQP%6に基づいて逆量子化スケーリング表を作成する必要がある。各QP%6は、１つのスケーリング表に対応する。この表は均一逆量子化の各エントリーと重み付け量子化マトリクスを伴った現AVC仕様書に示されるスケーリング表を乗算することによって計算される。この例として、図４１に示される逆量子化テーブルが参照２に提案されている変換に基づいて導出されることが挙げられる。図４１に示されるように、量子化マトリクスは、左に4シフト分追加した形で構成される。
QP%6＝０の場合、逆量子化係数表は図４２に示す通りである。
＜複雑性＞
量子化スケーリング表M（QP%6,0,0）が重み付け量子化マトリクスとQP/6とに基づいていったん生成されると、１つの量子化スケーリング表を導入する際、現存の均一量子化と比べて計算の複雑性が増加することはない。スケーリング表M（QP%6,0,0）の作成には８ｘ８量子化マトリクス毎の６４の整数乗算と４ｘ４量子化マトリクス毎の１６の整数乗算がある。格納できる最大バイト数はそれぞれ、８ｘ８量子化マトリクスは７６８バイト、４ｘ４量子化マトリクスは１９２バイトとなっている。
＜重み付け量子化マトリクスにおける符号列シンタックス＞
エンコーダは量子化の重み付けが用いられるべきかどうかを選ぶことができなければならない。そのためには、use_weighting_matrixというフラグをシーケンス・パラミーター・セットに設置しなければならない。
MPEG-2と同様に、ユーザーはデフォルトマトリクスのセットだけでなく、重み付け量子化マトリクスを定義することができる。ユーザーから供給された重み付け量子化マトリクスは、pic_parameter_setを伴ってデコーダに読み込むことができる。読み込まれた重み付け量子化マトリクスは後で他のpic_parameter_setによって参照される。ロードされたマトリクスはデコーダに保持される逆量子化テーブルを生成するために用いられるべきであり、IDによって番号付けされる。重み付けマトリクスは対象画像（対象フレームのスライスに用いられる）のメモリ又は長期メモリに保持される。対象画像のメモリに保持される重み付けマトリクスは局所重み付けマトリクスである。それらは、０〜１の重み付けマトリクスIDを用いることによって長期メモリと区別される。４ｘ４、８ｘ８サイズの重み付けマトリクスは同じIDを持つことができる。
デフォルト重み付け量子化マトリクスのセットはユーザーによって定義された重み付けマトリクスがない場合に利用でき、その際デコーダに知らされる。すべての量子化スケーリング表はデフォルト重み付け量子化マトリクスのセットに対して予め定められ、それゆえ、前もって計算する必要がない。デフォルト重み付け量子化マトリクスのセットは、そのうち２つが輝度（画面内及び画面間予測）に対応し、２つが色差（４ｘ４）に対応している。
重み付けマトリクスは、ID番号を後から参照することができる。提案として、最大１つの量子化マトリクスをピクチャ・パラミータ・セット毎に画面内予測、画面間予測モードのそれぞれの輝度に対して用いる。同様に、最大１つの４ｘ４量子化マトリクスを画面内予測、画面間予測モードのそれぞれに用いる。
<シンタックス＞
以下の記述は、提案にあるような、挿入済みで、かつ、８ｘ８又は４ｘ４画面間予測及び画面内予測マクロブロックにおける量子化マトリクスを定義するエントリーを伴ったpic_parameter_set_rbspである。
pic_parameter_set_rbsp(){
…
new_quantization_matrices_defined
if(new_quantization_matrices_defined)
def_quant_weighting_matrix
…
intra_quant_mat8_update
if(intra_quant_mat8_update)
quant_mat8_id
inter_quant_mat8_update
if(inter_quant_mat8_update)
quant_mat8_id
intra_quant_mat4_update
if(intra_quant_mat4_update)
quant_mat4_id
inter_quant_mat4_update
If(inter_quant_mat4_update)
quant_mat4_id
…
}
def_quant_weighting_matrix(){
load_quant_mat8
if(load_quant_mat8){
num_quant_mat8
for(k=0;k<num_quant_mat8;k++){
quant_mat8_id
for(i=0;i<8;++i)
for(j=0;j<8;++j)
quant_mat8[i][j]
}
}
load_quant_mat4
if(load_quant_mat4){
num_quant_mat4
for(k=0;k<num_quant_mat4;k++){
quant_mat4_id
for(i=0;i<4;++i)
for(j=0;j<4;++j)
quant_mat4[i][j]
}
}
}
（実施の形態４）
以下、本発明の実施の形態４について説明する。
＜Intra_１６ｘ１６マクロブロックタイプの輝度DC変換係数のスケーリング及び変換処理＞
なお、以下の公式は、逆量子化の機能的な処理に使用することが可能である。
仮に、QP’Yが３６以上であれば、スケーリング結果は以下のように導出される。
i,j=0…3であり、dcYij=(fij*LevelScale4x4L,intra(QP’Y％6,0,0））<<（QP’Y/6-6）
その他の場合（QP’Yが３６以下であれば）、スケーリング結果は以下のように導出される。
i,j=0…3であり、
dcYij=(fij*LevelScale4x4C,intra(QP’Y%6,0,0)+25-QP’Y/6)>>(6-QP’Y/6),
＜4：2：0色差フォーマットの色差DC変換係数のスケーリング及び変換処理＞
なお、以下の公式は、逆量子化スケーリングの機能的な処理に使用することが可能である。
仮に、QP’Cが３０以上であれば、スケーリング結果は以下のように導出される。
i,j=0, 1であり、dcCij=(fij*LevelScale4x4C,Intra(QP’C%6,0,0)<<(QP’C/6-5)
その他の場合（QP’Cが３０以下であれば）、スケーリング結果は以下のように導出される。
i,j=0, 1であり、
1dcCij=((fij*LevelScale4x4C,Intra(QP’C%6,0,0)+2(4-QPC/6))>>(5-QP’C/6)
＜4：2：2色差フォーマットの色差DC変換係数のスケーリング及び変換処理＞
この処理では、２ｘ４配列ｃで、かつ、成分がCijであるマクロブロックの１輝度成分に相当する輝度DC変換係数の変換係数レベルの値が入力される。i及びｊは2次元周波数インデックスを形成する。
また、この処理では、８でスケーリングされたDCの値の成分がdcCijである２ｘ４配列dcCとして出力される。
２ｘ４輝度DC変換係数の逆変換は以下のように定められる。
符号列は、整数値の-215以上215-1以下の範囲を超えるｆに係る成分がfijとなるいかなるデータをも含んではならない。
変数QP’C,DC= QP’C+3
逆量子化後、以下のようにスケーリングが行われる。
仮に、QP’C,DCが３６以上の場合、スケーリング結果は以下のようになる。
i=0…３、j=0,1であり、
1dcCij=(f*LevelScale4x4C,Intra(QP’C,DC%6,0,0,0))<<(QP’C,DC/6-6)
その他の場合（QP’C,DCが３６以下の場合）、スケーリング結果は以下のようになる。
i=0…3, j=0, 1であり、
dcCij=(f*LevelScale4x4C,Intra(QP’C,DC%6,0,0,0))+2(5-QP’C,DC/6))>>(6-QP’C,DC/6)
符号列は、整数値の-215以上215-1以下の範囲を超えるdcCに係る成分がdcCijとなるいかなるデータをも含んではならない。
＜4：4：4輝度フォーマットの輝度DC変換係数のスケーリング及び変換処理＞
この処理では、４ｘ４配列ｃで、かつ、成分がCijであるマクロブロックの１輝度成分に相当する輝度DC変換係数の変換係数レベルの値が入力される。i及びｊは2次元周波数インデックスを形成する。
また、この処理では、１６でスケーリングされたDCの値が成分がdcCijである４ｘ４配列dcCとして出力される。
４ｘ４輝度DC変換係数の逆変換は図４３に示されるように定められる。
符号列は、整数値の-215以上215-1以下の範囲を超えるｆに係る成分がfijとなるいかなるデータをも含んではならない。
逆量子化後、以下のようにスケーリングが行われる。
仮に、QP’Cが３６以上の場合、以下のようなスケーリングが行われる。
i=0…3, j=0であり、
1dcCij=(f*LevelScale4x4C,Intra(QP’C%6,0,0,0)<<(QP’C/6-6)
その他の場合（QP’Cが３６以下の場合）、以下のようなスケーリング結果が導出される。
i=0…3, j=0, 1であり、
dcCij=(f*LevelScale4x4C,Intra(QP’C%6,0,0,0)+2(5-QP’C,DC/6))>> (6-QP’C/6)
符号列は、整数値の-215以上215-1以下の範囲を超えるdcCに係る成分がdcCijとなるいかなるデータをも含んではならない。
＜８ｘ８残差のスケーリング及び変換処理＞
この処理では、成分がCijである８ｘ８配列、つまり、輝度成分の８ｘ８残差ブロックに関する配列が入力される。
また、残差サンプル値が、成分がrijである８ｘ８配列rとして出力される。
関数LevelScale64は、以下のように導出される。
仮にマクロブロック予測モードが画面内予測モードであり、８ｘ８輝度残差ブロックが入力される場合、
LevelScale64（）＝LevelScale8x8,Intra()
仮にマクロブロック予測モードが画面間予測モードであり、８ｘ８輝度残差ブロックが入力される場合、
LevelScale64（）＝LevelScale8x8,Inter()
８ｘ８ブロック変換係数レベルcijのスケーリングは以下の通りである。
仮にQPYが３６以上の場合、８ｘ８ブロック変換係数レベルcijのスケーリングは以下のように行われる。
i,j=0…7であり、
dij=(cij*LevelScale64(QPY%6,i,j))<<(QPY/6-6)
その他の場合（QPYが３６以下の場合）、８ｘ８ブロック変換係数レベルcijのスケーリングは以下のように行われる。
i,j=0…7であり、
dij=(cij*LevelScale64(QPY%6,i,j)+2(5-QPY/6))>>(6-QPY/6)
上記公式は量子化マトリクスよりスケーリング係数を取り入れるために必要な右シフトが追加されているのがわかる。なぜなら、逆量子化、量子化重み付けは、w(i,j)=QuantizationMatrix(i,j)/16として定義されるからである。Quantization Matrix(i,j)とLevelScale関数を組み合わせた後、１６による除算を行うためにさらに4ビット右にシフトしなければならない。
変換処理によって、スケール後の変換係数からなるブロックを出力サンプルからなるブロックに変換するが、数学的には下記のように示される。
まず、スケール後の変換係数の各行（横方向）が、1次元の逆変換を用いて変換される。
中間値eijの第１セットが以下のように導出される。
i=0…7であり、ei0= di0+di4
i=0…7であり、ei1=-di3+di5-di7-(di7>>1)
i=0…7であり、ei2=di0-di4
i=0…7であり、ei3=di1+di7-di3-(di3>>1),
i=0…7であり、ei4=(di2>>1)-di6
i=0…7であり、ei5=-di1+di7+di5+(di5>>1)
i=0…7であり、ei6=di2+(di6>>1)
i=0…7であり、ei7=di3+di5+di1-(di1>>1)
中間結果fijの第２セットが上記中間値eijに基づいて計算される。
i=0…7であり、fi0=ei0+ei6
i=0…7であり、fi1=ei1+(ei7>>2)
i=0…7であり、fi2=ei2+ei4
i=0…7であり、fi3=ei3+(ei5>>2)
i=0…7であり、fi4=ei2-ei4
i=0…7であり、fi5=(ei3>>2)-ei5
i=0…7であり、fi6=ei0-ei6
i=0…7であり、fi7=ei7-(ei1>>2)
そして、変換結果であるgijがこれらの中間値fijに基づいて計算される。
i=0…7であり、gi0=fi0+fi7
i=0…7であり、gi1=fi2+fi5
i=0…7であり、gi2=fi4+fi3
i=0…7であり、gi3=fi6-fi1
i=0…7であり、gi4=fi6-fi1
i=0…7であり、gi5=fi4-fi3
i=0…7であり、gi6=fi2-fi5
i=0…7であり、gi7=fi0-fi7
そして、結果として得られたマトリクスの各列（縦方向）が同じ1次元の逆変換を用いて変換される。
中間値hijのセットは横方向に変換された値gijに基づいて計算される。
i=0…7であり、hi0=gi0+gi4,with i=0…7
i=0…7であり、hi1=-gi3+gi5-gi7-(gi7>>1)
i=0…7であり、hi2=gi0-di4,with i=0 … 7
i=0…7であり、hi3=gi1+gi7-gi3-(gi3>>1)
i=0…7であり、hi4=(gi2>>1)-gi6
i=0…7であり、hi5=-gi1+gi7+gi5+(gi5>>1)
i=0…7であり、hi6=gi2+(gi6>>1)
i=0…7であり、hi7=gi3+gi5+gi1+(gi1>>1)
中間値kijの第2セットは中間値hijに基づいて計算される。
i=0…7であり、ki0=hi0+hi6
i=0…7であり、ki1=hi1+(hi7>>2)
i=0…7であり、ki2=hi2+hi4
i=0…7であり、ki3=hi3+(hi5>>2)
i=0…7であり、ki4=hi2-hi4
i=0…7であり、ki5=(hi3>>2)-hi5
i=0…7であり、ki6=hi0-hi6
i=0…7であり、ki7=hi7-(hi1>>2)
そして、変換結果であるmijは中間値kijに基づいて計算される。
i=0…7であり、mi0=ki0+ki7
i=0…7であり、mi1=ki2+ki5
i=0…7であり、mi2=ki4+ki3
i=0…7であり、mi3=ki6+ki1
i=0…7であり、mi4=ki6-ki1
i=0…7であり、mi5=ki4-ki3
i=0…7であり、mi6=ki2-ki5
i=0…7であり、mi7=ki0-ki7
変換サンプルの配列を生成するための1次元の縦横両方の逆変換が終わると、最終構築残渣サンプル値は下記の通り導出される。
i,j=0…7であり、ri7=(mij+25)>>6
以上の説明から、発明の実施形態には多数方法で変形してもよいことは明らかである。そのような変形は、発明の思想と範囲外とみなすべきではなく、請求の範囲に含まれることは当業者には明らかであろう。
本発明は、画像を符号化または復号化する符号化装置、復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。

Claims (8)

  1. 画像を符号化する画像符号化方法であって、
    画像をブロック単位に分割したブロック画像を符号化して符号化信号を生成し、
    生成した符号化信号を復号化して量子化された直交変換係数を取得し、
    周波数成分ごとに直交変換係数の量子化ステップを変更するための重み係数の行列である重みマトリクスと、量子化パラメータとを取得し、
    前記重みマトリクスの垂直方向に第ｉ番目であり水平方向の第ｊ番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、
    前記正規化値は、（１）前記ｉと前記ｊとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、（２）前記量子化パラメータを６で割った余りと、に応じて定められた値であり、
    前記量子化された直交変換係数と前記レベルスケール値を乗算し、
    乗算結果を前記量子化パラメータを６で割った商に応じたビット数だけシフトして逆量子化された直交変換係数を算出し、
    前記逆量子化された直交変換係数を逆直交変換してブロック画像を生成して画像を復号化し、
    復号化した画像を参照画像として記憶する
    画像符号化方法。
  2. 前記正規化値は、
    前記ｉと前記ｊとのいずれか一方が奇数である場合には、前記ｉと前記ｊとがともに偶数である場合の５分の８の平方根倍であり、
    前記ｉと前記ｊとがともに奇数である場合には、前記ｉと前記ｊとがともに偶数である場合の５分の８倍である、
    ことを特徴とする請求項１記載の画像符号化方法。
  3. 前記正規化値は、
    前記ｉと前記ｊとがともに偶数であって前記余りが０である場合は１０であり、
    前記ｉと前記ｊとがともに奇数であって前記余りが０ある場合は１６であり、
    前記ｉと前記ｊとのいずれか一方が奇数であって前記余りが０ある場合は１３であり、
    前記ｉと前記ｊとがともに偶数であって前記余りが１ある場合は１１であり、
    前記ｉと前記ｊとがともに奇数であって前記余りが１ある場合は１８であり、
    前記ｉと前記ｊとのいずれか一方が奇数であって前記余りが１ある場合は１４であり、
    前記ｉと前記ｊとがともに偶数であって前記余りが２ある場合は１３であり、
    前記ｉと前記ｊとがともに奇数であって前記余りが２ある場合は２０であり、
    前記ｉと前記ｊとのいずれか一方が奇数であって前記余りが２ある場合は１６であり、
    前記ｉと前記ｊとがともに偶数であって前記余りが３ある場合は１４であり、
    前記ｉと前記ｊとがともに奇数であって前記余りが３ある場合は２３であり、
    前記ｉと前記ｊとのいずれか一方が奇数であって前記余りが３ある場合は１８であり、
    前記ｉと前記ｊとがともに偶数であって前記余りが４ある場合は１６であり、
    前記ｉと前記ｊとがともに奇数であって前記余りが４ある場合は２５であり、
    前記ｉと前記ｊとのいずれか一方が奇数であって前記余りが４ある場合は２０であり、
    前記ｉと前記ｊとがともに偶数であって前記余りが５ある場合は１８であり、
    前記ｉと前記ｊとがともに奇数であって前記余りが５ある場合は２９であり、
    前記ｉと前記ｊとのいずれか一方が奇数であって前記余りが５ある場合は２３である
    ことを特徴とする請求項１記載の画像符号化方法。
  4. 直交変換係数を量子化してブロック画像を符号化する画像符号化方法であって、
    ブロック画像を直交変換して直交変換係数を取得し、
    周波数成分ごとに直交変換係数の量子化ステップを変更するための重み係数の行列である重みマトリクスと、量子化パラメータとを取得し、
    前記直交変換係数を前記量子化パラメータを６で割った商に応じたビット数だけシフトして量子化された直交変換係数を算出し、
    前記重みマトリクスの垂直方向に第ｉ番目であり水平方向の第ｊ番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、
    前記正規化値は、（１）前記ｉと前記ｊとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、（２）前記量子化パラメータを６で割った余りと、に応じて定められた値であり、
    前記量子化された直交変換係数を前記レベルスケール値で除算する
    画像符号化方法。
  5. 前記正規化値は、
    前記ｉと前記ｊとのいずれか一方が奇数である場合には、前記ｉと前記ｊとがともに偶数である場合の５分の８の平方根倍であり、
    前記ｉと前記ｊとがともに奇数である場合には、前記ｉと前記ｊとがともに偶数である場合の５分の８倍である、
    ことを特徴とする請求項４記載の画像符号化方法。
  6. 前記量子化された直交変換係数を前記レベルスケール値で割る除算は、前記量子化された直交変換係数と前記レベルスケール値の逆数とを乗算することにより行われる
    ことを特徴とする請求項４記載の画像符号化方法。
  7. 直交変換係数を量子化してブロック画像を符号化した画像符号化信号であって、
    ブロック画像を直交変換して直交変換係数を取得し、
    周波数成分ごとに直交変換係数の量子化ステップを変更するための重み係数の行列である重みマトリクスと、量子化パラメータとを取得し、
    前記直交変換係数を前記量子化パラメータを６で割った商に応じたビット数だけシフトして量子化された直交変換係数を算出し、
    前記重みマトリクスの垂直方向に第ｉ番目であり水平方向の第ｊ番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、
    前記正規化値は、（１）前記ｉと前記ｊとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、（２）前記量子化パラメータを６で割った余りと、に応じて定められた値であり、
    前記量子化された直交変換係数を前記レベルスケール値で除算してレベルスケール変換された直交変換係数を含む
    画像符号化信号。
  8. 請求項７に記載の画像符号化信号を記録した記録媒体。
JP2011023311A 2004-01-30 2011-02-04 画像符号化方法、画像符号化信号および記録媒体 Withdrawn JP2011109711A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US54063604P 2004-01-30 2004-01-30
US60/540,636 2004-01-30
US55169004P 2004-03-09 2004-03-09
US60/551,690 2004-03-09
US55290704P 2004-03-12 2004-03-12
US60/552,907 2004-03-12
US56135104P 2004-04-12 2004-04-12
US60/561,351 2004-04-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006519700A Division JP2007535191A (ja) 2004-01-30 2005-01-26 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2011109711A true JP2011109711A (ja) 2011-06-02

Family

ID=34841955

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006519700A Pending JP2007535191A (ja) 2004-01-30 2005-01-26 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラム
JP2011023311A Withdrawn JP2011109711A (ja) 2004-01-30 2011-02-04 画像符号化方法、画像符号化信号および記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2006519700A Pending JP2007535191A (ja) 2004-01-30 2005-01-26 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラム

Country Status (5)

Country Link
US (2) US7630435B2 (ja)
EP (2) EP2373033A3 (ja)
JP (2) JP2007535191A (ja)
KR (1) KR101136629B1 (ja)
WO (1) WO2005076613A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150009492A (ko) * 2011-06-30 2015-01-26 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP2016226035A (ja) * 2012-04-13 2016-12-28 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961313B1 (ko) * 2002-11-20 2010-06-04 파나소닉 주식회사 동화상 부호화 방법 및 장치
US20090028239A1 (en) * 2005-05-03 2009-01-29 Bernhard Schuur Moving picture encoding method, moving picture decoding method and apparatuses using the methods
US20060291565A1 (en) * 2005-06-22 2006-12-28 Chen Eddie Y System and method for performing video block prediction
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
US7813563B2 (en) * 2005-12-09 2010-10-12 Florida State University Research Foundation Systems, methods, and computer program products for compression, digital watermarking, and other digital signal processing for audio and/or video applications
US7805012B2 (en) * 2005-12-09 2010-09-28 Florida State University Research Foundation Systems, methods, and computer program products for image processing, sensor processing, and other signal processing using general parametric families of distributions
KR100943606B1 (ko) * 2006-03-30 2010-02-24 삼성전자주식회사 디지털 통신 시스템에서 양자화 장치 및 방법
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
US8401073B2 (en) * 2007-03-28 2013-03-19 Panasonic Corporation Inverse quantization circuit, inverse quantization method and image reproducing apparatus
US8654833B2 (en) * 2007-09-26 2014-02-18 Qualcomm Incorporated Efficient transformation techniques for video coding
US20090238263A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible field based energy efficient multimedia processor architecture and method
US20090238479A1 (en) * 2008-03-20 2009-09-24 Pawan Jaggi Flexible frame based energy efficient multimedia processor architecture and method
KR101619972B1 (ko) 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
US8588295B2 (en) 2009-03-09 2013-11-19 Mediatek Inc. Methods and electronic devices for quantization and de-quantization
US20120134408A1 (en) * 2009-08-06 2012-05-31 Youji Shibahara Coding method, decoding method, coding apparatus, and decoding apparatus
JPWO2011016250A1 (ja) * 2009-08-06 2013-01-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
KR101474756B1 (ko) 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
JPWO2011052217A1 (ja) 2009-10-30 2013-03-14 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラム、及び集積回路
US9313526B2 (en) * 2010-02-19 2016-04-12 Skype Data compression for video
US20110206118A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US8483272B2 (en) * 2010-09-24 2013-07-09 Intel Corporation System and method for frame level bit rate control without pre-analysis
EP2624561A2 (en) * 2010-09-28 2013-08-07 Samsung Electronics Co., Ltd Method and device for the transformation and method and device for the reverse transformation of images
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
AU2012215968B2 (en) * 2011-02-10 2015-12-24 Sony Group Corporation Image processing device and image processing method
US9363509B2 (en) 2011-03-03 2016-06-07 Electronics And Telecommunications Research Institute Method for determining color difference component quantization parameter and device using the method
WO2012118359A2 (ko) 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
US20120230395A1 (en) * 2011-03-11 2012-09-13 Louis Joseph Kerofsky Video decoder with reduced dynamic range transform with quantization matricies
CN107105302B (zh) 2011-08-25 2019-12-10 太阳专利托管公司 视频编码装置及视频编码方法
MX2013008692A (es) 2011-09-07 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
CA2850598C (en) 2011-10-19 2018-09-18 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
DK3300370T3 (da) 2012-02-29 2019-05-20 Sony Corp Anordning og fremgangsmåde til billedbehandling
WO2013158669A1 (en) * 2012-04-16 2013-10-24 Huawei Technologies Co., Ltd. Method and apparatus of quantization matrix coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
BR122019022458B1 (pt) 2012-06-11 2021-10-05 Samsung Electronics Co., Ltd Método decodificador de vídeo
JP6041554B2 (ja) * 2012-06-27 2016-12-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
TWI535222B (zh) * 2012-06-29 2016-05-21 Sony Corp Image processing apparatus and method
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
JPWO2015141116A1 (ja) * 2014-03-19 2017-04-06 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
CN105338352B (zh) * 2014-07-24 2019-04-19 华为技术有限公司 一种视频编码中自适应反量化方法及装置
CN109089123B (zh) * 2018-08-23 2021-08-03 江苏大学 基于1比特矢量量化的压缩感知多描述编解码方法
CN113767629A (zh) * 2019-04-26 2021-12-07 华为技术有限公司 用于指示色度量化参数映射函数的方法和装置
EP3771213A1 (en) * 2019-07-24 2021-01-27 Deutsche Telekom AG System and method to estimate blockiness in transform-based video encoding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034965A (en) 1988-11-11 1991-07-23 Matsushita Electric Industrial Co., Ltd. Efficient coding method and its decoding method
JP2794842B2 (ja) 1988-11-11 1998-09-10 松下電器産業株式会社 符号化方法とその復号化方法
JP2924416B2 (ja) 1992-02-21 1999-07-26 松下電器産業株式会社 高能率符号化方法
US5392037A (en) 1991-05-21 1995-02-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding and decoding
JP2765268B2 (ja) 1991-05-21 1998-06-11 松下電器産業株式会社 高能率符号化方法と高能率符号の復号方法
JPH06284412A (ja) 1993-03-26 1994-10-07 Sony Corp 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP3306276B2 (ja) 1995-10-16 2002-07-24 旭光学工業株式会社 画像処理装置
EP1397006B1 (en) 1997-02-08 2009-07-22 Panasonic Corporation Quantization matrix for still and moving picture coding
JP3234807B2 (ja) 1997-02-08 2001-12-04 松下電器産業株式会社 デコード方法
JP4001969B2 (ja) 1997-03-31 2007-10-31 ソニー株式会社 符号化装置および方法、並びに復号装置および方法
US6111989A (en) 1997-11-14 2000-08-29 Sony Corporation 1/4 size real time decoding of digital video
US6681052B2 (en) * 2000-01-15 2004-01-20 Sony Corporation Methods and systems for performing inverse quantization and inverse weighting of DV video
JP4593720B2 (ja) 2000-03-10 2010-12-08 パナソニック株式会社 剰余数係数の動的表示方法および装置
DE60130180T2 (de) 2000-04-14 2008-05-15 Sony Corp. Verfahren zur kodierung und dekodierung, aufzeichnungsmedium und programm
US7123655B2 (en) * 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP4348899B2 (ja) * 2001-11-30 2009-10-21 ソニー株式会社 画像情報復号方法
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
KR100584552B1 (ko) * 2003-01-14 2006-05-30 삼성전자주식회사 동영상 부호화 및 복호화 방법과 그 장치

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9414074B2 (en) 2011-06-30 2016-08-09 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
KR101635509B1 (ko) 2011-06-30 2016-07-01 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150009492A (ko) * 2011-06-30 2015-01-26 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR101617795B1 (ko) 2011-06-30 2016-05-03 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR101969932B1 (ko) 2011-06-30 2019-04-17 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9392285B2 (en) 2011-06-30 2016-07-12 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
KR101642979B1 (ko) 2011-06-30 2016-07-26 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9549202B2 (en) 2011-06-30 2017-01-17 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
KR20150124420A (ko) * 2011-06-30 2015-11-05 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20150124419A (ko) * 2011-06-30 2015-11-05 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9407917B2 (en) 2011-06-30 2016-08-02 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
KR101708029B1 (ko) 2011-06-30 2017-02-17 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9888242B2 (en) 2011-06-30 2018-02-06 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
KR101861821B1 (ko) 2011-06-30 2018-05-28 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20180071208A (ko) * 2011-06-30 2018-06-27 삼성전자주식회사 고정소수점 변환을 위한 비트뎁스 조절을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
JP2018121352A (ja) * 2012-04-13 2018-08-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームのデータ構造を記録した記録媒体
JP2016226035A (ja) * 2012-04-13 2016-12-28 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体

Also Published As

Publication number Publication date
EP1714484A4 (en) 2009-03-18
US7630435B2 (en) 2009-12-08
KR101136629B1 (ko) 2012-04-23
US8401074B2 (en) 2013-03-19
EP1714484A1 (en) 2006-10-25
US20100054330A1 (en) 2010-03-04
WO2005076613A1 (en) 2005-08-18
US20080192838A1 (en) 2008-08-14
EP2373033A3 (en) 2011-11-30
EP2373033A2 (en) 2011-10-05
JP2007535191A (ja) 2007-11-29
KR20060115998A (ko) 2006-11-13

Similar Documents

Publication Publication Date Title
KR101136629B1 (ko) 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치,화상 복호화 장치, 및 그 프로그램
JP4348209B2 (ja) 画像符号化方法および画像復号化方法
JP5674911B2 (ja) 画像符号化復号化装置
JP5102344B2 (ja) 動画像符号化方法、動画像符号化装置、プログラムおよび記録媒体
CN100542262C (zh) 逆量化方法图像解码方法和设备及处理器
JP4892628B2 (ja) 画像符号化方法、画像符号化装置および画像符号化プログラム
JP2005167655A (ja) 変換符号化方法および変換復号化方法
JP4481612B2 (ja) 画像復号化装置及びその方法
JP4481970B2 (ja) 画像符号化装置及びその方法

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120105