JP2004254327A - 画像符号化方法および画像復号化方法 - Google Patents

画像符号化方法および画像復号化方法 Download PDF

Info

Publication number
JP2004254327A
JP2004254327A JP2004045331A JP2004045331A JP2004254327A JP 2004254327 A JP2004254327 A JP 2004254327A JP 2004045331 A JP2004045331 A JP 2004045331A JP 2004045331 A JP2004045331 A JP 2004045331A JP 2004254327 A JP2004254327 A JP 2004254327A
Authority
JP
Japan
Prior art keywords
size
block
image
picture
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004045331A
Other languages
English (en)
Other versions
JP4348209B2 (ja
JP2004254327A5 (ja
Inventor
Jiuhuai Lu
ルー ジュファイ
Yoshiichiro Kashiwagi
吉一郎 柏木
Masayuki Kozuka
雅之 小塚
Shinya Sumino
眞也 角野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2004254327A publication Critical patent/JP2004254327A/ja
Publication of JP2004254327A5 publication Critical patent/JP2004254327A5/ja
Application granted granted Critical
Publication of JP4348209B2 publication Critical patent/JP4348209B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】本発明は、画像の解像度、ビットレート、明るさや色変化などに関わらず高圧縮率で符号化する画像符号化装置、画像復号化装置を提供する。
【解決手段】本発明の画像符号化装置は、ピクチャをブロック単位で符号化する画像符号化方法であって、直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中から１つを選択する決定部Deと、選択されたサイズを単位にブロックを直交変換する直行変換部T1と、変換により得られたブロックデータを符号化し、符号化後のブロックデータと、選択されたサイズに関するサイズ情報とを含む符号列を生成する可変長符号化部VLC1とを有し、前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示し、前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかである。
【選択図】図４

Description

本発明は、動画像を効率良く圧縮する画像符号化方法とそれを復号化する画像復号化方法、画像符号化装置、画像復号化装置に関し、特に高圧縮率化のための改良に関する。
近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。
ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり64Kbits（電話品質）、さらに動画については１秒当たり100Mbits（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、64Kbit/s〜1.5Mbit/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままISDNで送ることは不可能である。
そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で勧告されたH.261やH.263規格の動画圧縮技術が用いられている。また、MPEG-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。
ここで、MPEG（Moving Picture Experts Group）とは、ISO/IEC（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、MPEG-１は、動画像信号を１．５Mbit/sまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、MPEG-１規格では対象とする品質を伝送速度が主として約１．５Mbit/sで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたMPEG-２では、動画像信号を２〜１５Mbit/sでＴＶ放送品質を実現する。さらに現状では、MPEG-１、MPEG-２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、MPEG-１、MPEG-２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するMPEG-４が規格化された。MPEG-４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像や高ビットレートも含む、より汎用的な符号化に拡張されている。更に、現在は、ISO/IECとITU-Tが共同でより高圧縮率の次世代画像符号化方式として、MPEG-4 AVCおよびITU-T H.264 の標準化活動が進んでいる。
一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは1枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。
参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。
Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。
動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロックを固定しておき、参照ピクチャの探索範囲内で最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。
図１はビットストリームのデータ構造の例を示した説明図である。図１に示すようにビットストリームは以下のような階層構造を有している。ビットストリーム（Stream）は複数のグループ・オブ・ピクチャ（Group Of Picture）から構成されており、これを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能になっている。グループ・オブ・ピクチャは、複数のピクチャから構成され、各ピクチャは、Ｉピクチャ、Ｐピクチャ又はＢピクチャがある。各ピクチャはさらに複数のスライスから構成されている。スライスは、各ピクチャ内の帯状の領域であり、複数のマクロブロックから構成されている。ストリーム、GOP、ピクチャおよびスライスはさらにそれぞれの単位の区切りを示す同期信号（sync）と当該単位に共通のデータであるヘッダ（header）から構成されている。
また、ストリームが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図１のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図１で説明した符号化ビットストリームの場合と同じである。
図２は従来の画像符号化装置の構成を示すブロック図である。同図において、画像符号化装置１は、入力される画像信号Vin を圧縮符号化することにより、可変長符号化等のビットストリームに変換した画像符号化信号Str を出力する装置であり、動き検出部ＭＥ、動き補償部ＭＣ、減算部Ｓｕｂ、直交変換部Ｔ、量子化部Ｑ、逆量子化部ＩＱ、逆直交変換部ＩＴ、加算部Ａｄｄ、ピクチャメモリPicMem、スイッチＳＷ、および可変長符号化部ＶＬＣを備えている。
画像信号Vin は、減算部Ｓｕｂおよび動き検出部ＭＥに入力される。減算部Ｓｕｂは、入力された画像信号Vin と予測画像との差分を予測誤差としてブロック単位で計算し、直交変換部Ｔに出力する。直交変換部Ｔは、予測誤差を周波数係数に直交変換し、量子化部Ｑに出力する。量子化部Ｑは、入力された周波数係数を量子化し、量子化値Qcoefを可変長符号化部ＶＬＣに出力する。
逆量子化部ＩＱは、量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換部ＩＴに出力する。逆直交変換部ＩＴは、周波数係数を予測誤差に逆周波数変換し、加算部Ａｄｄに出力する。加算部Ａｄｄは、予測誤差と動き補償部ＭＣから出力される予測画像とを加算して復号化画像とする。スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリPicMemに保存される。
一方、画像信号Vin がマクロブロック単位で入力された動き検出部ＭＥは、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。この動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができる。動きベクトル検出に用いられた参照ピクチャは、識別番号（参照インデックスIndex）により指定される。参照インデックスIndexによって、ピクチャメモリPicMem中の各ピクチャが有するピクチャ番号は参照インデックスと対応付けされている。
動き補償部ＭＣでは、上記処理によって検出された動きベクトルおよび参照インデックスIndexを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像として最適な画像を読み出す。
可変長符号化部VLCは量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶを可変長符号化して符号化ストリームStrとする。
図３は従来の画像復号化装置の構成を示すブロック図である。同図において、図２に示した画像符号化装置のブロック図と同じ動作をする部には同じ番号を付し、説明を省略する。
可変長復号化部VLDは符号化ストリームStrを復号化し、量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶを出力する。量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶは、ピクチャメモリPicMem、動き補償部ＭＣおよび逆量子化部ＩＱに入力され復号化処理が行われる。その動作は図２の従来の画像符号化装置における復号動作と同じである。
ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification (2002-8-10)
しかしながら、従来の画像符号化装置によれば画素数の多い画像や様々なコンテンツの画像の全てに対して高圧縮率で圧縮することは困難であり、画質の向上および高圧縮率を実現することが必要とされている。
より詳しく言うと、従来の画像符号化装置では、直交変換の単位となるブロックサイズとして、固定の大きさの直交変換サイズを使用している。そのため、解像度の高い画像から小さい画像まで、輝度や色の変化の多い画像から小さい画像までの様々なコンテンツの画像に対して高圧縮率を実現することは困難である。というのは、直交変換サイズは、例えばMPEG-1やMPEG-2、MPEG-4では８ｘ８画素であり、MPEG-4 AVCすなわちITU-T H.264では４ｘ４単位である。この点、解像度の低い画像に比べて解像度の高い画像（HDTV等）は、画素間の相関が強く且つCRT等の表示デバイスの画素間の密度も高いことから、直交変換サイズを大きくすることが望ましいと考えられる。更に、扱うコンテンツの高周波数成分が少ない場合には直交変換サイズが大きい方が望ましく、高周波数成分が多い場合には直交変換サイズは小さい方が望ましい場合が多いと考えられる。
本発明はかかる点に鑑み、画像の解像度の大小、ビットレートの高低、明るさや色変化の多さなどに関わらず高圧縮率で符号化する画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびそのプログラムを提供することを目的とする。
この目的を達成するため、本発明の画像符号化方法は、ピクチャをブロック単位で符号化する画像符号化方法であって、直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中から１つを選択する選択ステップと、選択されたサイズを単位にブロックを直交変換する変換ステップと、変換ステップで得られたブロックデータを符号化する符号化ステップと、符号化後のブロックデータと、選択ステップにおいて選択されたサイズに関するサイズ情報とを含む符号列を生成する生成ステップとを有する。
この構成によれば、直交変換サイズを選択するので、解像度の大小、ビットレートの高低、明るさや色変化の多さなどに応じて適切な直交変換をして符号化することができる。その結果、どのような画像に対しても圧縮率を高めることができる。
ここで、前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示すようにしてもよい。また、前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかとしてもよい。
この構成によれば、符号列における上記の所定区間毎に、直交変換のサイズが固定か否かを示すことができる。
ここで、前記サイズ情報は、選択ステップで選択されたサイズが第１のサイズであるか、それ以外の第２のサイズであるかを示すようにしてもよい。また、前記第１のサイズは縦横４画素からなるブロックサイズを示し、前記第２のサイズは縦横８画素からなるブロックサイズを示すようにしてもよい。
この構成によれば、４ｘ４画素の第１のサイズと８ｘ８画素の第２のサイズとを選択的に切り替えることにより、圧縮率を高めることができる。
ここで、前記変換ステップにおいて、直交変換後のブロックデータをそのサイズに応じた重みマトリクスを用いて量子化するようにしてもよい。
この構成によれば、重みマトリクスが、直交変換された周波数成分を量子化する際に各周波数成分ごとに量子化ステップの大きさを重み付けにより変更する。第１のサイズと第２のサイズとでサイズに応じた重みマトリクスが使用されることにより、符号化効率を更に向上させることができる。
ここで、前記符号化ステップにおいて、第２のサイズに対応する重みマトリクスを符号化し、前記生成ステップにおいて、符号化された重みマトリクスを符号列に含ませるようにしてもよい。
この構成によれば、例えば、画像符号化方法と復号化方法の双方において、第１のサイズに対応する重みマトリクスをデフォルトとして定めておき、画像符号化方法において第２のサイズに対応する重みマトリクスを選択的に使用することができる。
ここで、前記選択ステップにおいて、符号列のビットレート、ピクチャの解像度および外部からの指示の少なくとも１つに応じて第１サイズと第２サイズの何れかを選択するようにしてもよい。
この構成によれば、第１サイズと第２サイズの選択を、符号列のビットレート、ピクチャの解像度および外部からの指示の何れかに応じて柔軟に行うことができる。
以上の説明したように本発明の画像符号化方法、画像復号化方法によれば、画像の解像度の大小、ビットレートの高低、明るさや色変化の多さなどどのような画像に対しても効率よく圧縮することができる。
また、本発明の画像符号化装置、画像復号化装置、そのためのプログラムについても同様の効果がある。
以下、本発明の実施の形態について、図４から図２１を用いて説明する。
＜画像符号化装置＞
図４は、本発明の実施の形態における画像符号化装置の構成を示すブロック図である。同図において、画像符号化装置１は、決定部Ｄe、動き検出部ＭＥ、動き補償部ＭＣ、減算部Ｓｕｂ、直交変換部Ｔ１、量子化部Ｑ１、逆量子化部ＩＱ１、逆直交変換部ＩＴ１、加算部Ａｄｄ、ピクチャメモリPicMem、スイッチＳＷ、および可変長符号化部ＶＬＣ１を備える。
決定部Ｄeは、直交変換部Ｔ１における直交変換のブロックサイズ（以下直交変換サイズと呼ぶ。）Tsizeと、量子化部Ｑ１における量子化マトリクスを変更するための重みマトリクスWmatrixとを決定する。この直交変換サイズTsizeは、第１のサイズと第２のサイズとから選択的にマクロブロック毎に決定される。第１のサイズは４ｘ４画素、第２のサイズは８ｘ８画素であるものとする。また、重みマトリクスWmatrixには、第１サイズに対応する重みマトリクスＷ４と第２サイズに対応する重みマトリクスＷ８とがある。
直交変換サイズの決定は、符号化対象の解像度の大きさ、輝度変化や色変化の多さ(高周波成分の多さ)、符号化後の符号列Strのビットレート等に基づいて行われる。例えば、決定部Ｄｅは次のように直交変換サイズを選択する。
第１の例として、決定部Ｄｅは符号化対象の画像の解像度が第１のしきい値以上である場合は第２のサイズを選択し、小さい場合は第１のサイズを選択する。第１のしきい値は、ＨＤＴＶの解像度等でよい。
第２の例として、決定部Ｄｅは符号化後のビットレートが、第２のしきい値以上になる場合は第２のサイズを選択し、小さい場合は第１のサイズを選択する。第２のしきい値は１０Ｍbps等でよい。
第３の例として、決定部Ｄｅは、以前の直交変換結果から高周波成分の多さを判断し、高周波成分が第３のしきい値よりも多い場合は第２のサイズを選択し、少ない場合は第１のサイズを選択する。つまり、高周波成分の多さの判断は、ｎ次よりも高次の周波数係数の個数や大きさをカウントすればよい。また、第３のしきい値は、画質等に応じて予め定めた値でよい。
上記第１から第３の例において、決定部Ｄｅは、さらに、動き補償のブロックサイズに応じて直交変換サイズを決定するようにしてもよい。図５（ａ）〜図５（ｇ）は、画面間符号化の場合における、動き補償のブロックサイズ（以下動き補償サイズと呼ぶ。）を示す図である。即ち、図５（ａ）は１６ｘ１６画素、図５（ｂ）は１６ｘ８画素、図５（ｃ）は８ｘ１６画素、図５（ｄ）は８ｘ８画素の動き補償サイズを示している。図５（ｄ）の８ｘ８画素単位から、更に図５（ｅ）の８ｘ４画素、図５（ｆ）の４ｘ８画素、図５（ｇ）の４ｘ４画素の何れかに再分割した単位を動き補償サイズとすることができる。動き補償サイズと直交変換サイズとは、処理の簡単化やブロック境界で発生する歪を分散させないために、両者のブロックの大きさの整合が取れていることが望ましい。そこで、決定部Ｄｅは、動き補償サイズよりも小さい直交変換サイズの方が小さくなるように、直交変換サイズを決定する。
すなわち、画面間符号化の場合には、動き補償サイズが図５（ａ）〜図５（ｄ）（１６ｘ１６画素、１６ｘ８画素、８ｘ１６画素、８ｘ８画素）の場合には、図５（ｄ）の８ｘ８画素のブロックをちょうど１もしくは複数個包含する。この場合には８ｘ８画素単位で直交変換を行うと効率が良くなるので、決定部Ｄｅは、直交変換サイズを第２のサイズ（８ｘ８画素）と決定すればよい。一方、動き補償サイズが図５（ｅ）〜図５（ｇ）のように８ｘ８画素より小さい場合には、決定部Ｄｅは第１のサイズ（４ｘ４画素）と決定すればよい。
決定部Ｄｅにおいて直交変換サイズを第１のサイズと第２のサイズの間で切り替える頻度が多いほど画像符号化装置および画像復号化の構成が複雑になるが、逆に符号化効率は向上する。
なお、決定部Ｄｅは、直交変換サイズの決定をマクロブロック毎に決定する代わりに、スライス毎、ピクチャ毎、ＧＯＰ毎、シーケンス毎に決定するようにしてもよい。また、外部から直交変換のサイズを指定された場合は、決定部Ｄｅはそのサイズを直交変換サイズTsizeとしてもよい。
動き補償部ＭＣは、動き検出部ＭＥによって検出された動きベクトルに従って参照ブロックを読み出して、参照ブロックから予測画像を生成し、減算部ｓｕｂに出力する。この予測画像は、図５（ａ）〜図５（ｇ）から選択された動き補償サイズのブロック単位に出力される。
減算部Ｓｕｂは、図５（ａ）〜図５（ｇ）に示した動き補償サイズの中から選択された動き補償サイズを有するブロック単位で、画像信号Vin と予測画像との差分を予測誤差として計算し、直交変換部Ｔ１に出力する。
直交変換部Ｔ１は、決定部Ｄｅから出力される直交変換サイズTsizeのブロックを単位に、予測誤差を周波数係数に直交変換し、量子化部Ｑ１に出力する。直交変換サイズTsizeが第２のサイズ（８ｘ８画素)を示す場合の、直交変換について図６（ａ）、図６（ｂ）を用いて説明する。図６（ａ）左側は１６ｘ１６画素の輝度マクロブロックを示す。画面内符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeが第２のサイズを示すので、８ｘ８画素単位に直交変換を行う。さらに、図６（ａ）右側に示すように、直交変換部Ｔ１は、直交変換後の４つの８ｘ８ブロックからＤＣ成分４つをまとめて１つの２ｘ２画素の輝度ＤＣブロックを生成し、この輝度ＤＣブロックを２ｘ２単位の直交変換を行う。なお、輝度ＤＣブロックの生成と２ｘ２単位の直交変換は省略してもよい。また、画面間符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeが第２のサイズを示すので、８ｘ８画素単位で直交変換する。この場合、輝度ＤＣブロックの生成及び直交変換はなされない。
図６（ｂ）左側は、８ｘ８画素の色差信号のマクロブロックを示している。一般に、画像信号では輝度信号に対して色差信号の画素数は水平・垂直ともに１／２である。従って、色差信号のマクロブロックの画素数は８ｘ８画素となる。画面内符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeに示される第２のサイズの１／２の４ｘ４画素単位で直交変換を行い、直交変換後の４つの４ｘ４の色差ブロックのＤＣ成分４つをまとめて１つの２ｘ２色差ＤＣブロックを生成し、この色差ＤＣブロックを２ｘ２単位の直交変換する。なお、色差ＤＣブロックの生成と２ｘ２単位の直交変換は省略してもよい。また、画面間符号化の場合には、直交変換部Ｔ１は、直交変換サイズTsizeに示される第２のサイズの１／２の４ｘ４画素単位で直交変換する。この場合、輝度ＤＣブロックの生成及び直交変換はなされない。
このように、直交変換サイズTsizeが第２のサイズを示す場合、直交変換部Ｔ１は、輝度ブロック及び色差ブロックに対して、画面内符号化では２段階の直交変換を行い、画面間符号化では１段階の直交変換を行う。また、直交変換サイズTsizeが第１のサイズを示す場合は、サイズが異なるだけで同様に直交変換するが、画面内符号化及び画面間符号化ともに１段階の符号化でよい。
量子化部Ｑ１は、直交変換部Ｔ１から入力される４ｘ４又は８ｘ８サイズの周波数係数ブロックを量子化し、量子化値Qcoefを可変長符号化部ＶＬＣ１に出力する。その際、量子化部Ｑ１は、決定部Ｄｅからの重みマトリクスWmatrixにより量子化マトリクスを重み付けし、重み付け後の量子化マトリクスを用いて周波数係数ブロックを量子化する。重みマトリクスの説明図を図７（ａ）、図７（ｂ）に示す。決定部Ｄｅから入力される重みマトリクスWmatrixは、直交変換サイズが第１のサイズである場合は、図７（ｂ）に示す４ｘ４のサイズの重みマトリクスW4matであり、直交変換サイズが第２のサイズである場合は図７（ａ）に示す８ｘ８のサイズの重みマトリクスW8matである。重みマトリクスは、直交変換された周波数成分を量子化する際に各周波数成分ごとに量子化ステップの大きさを変更する。この重みマトリクスを導入することで圧縮率が向上できることはMPEG-2で知られている。本実施の形態では、複数の直交変換サイズを切り替えることから、各直交変換サイズ毎に異なる重みマトリクスを導入することで、符号化効率を更に改善することができる。図７（ａ）におけるW8i,j（i、jはそれぞれ０から７）は、８行８列におけるi行j列成分の重みを示す。図７（ｂ）におけるW4i,j（i,jはそれぞれ０から３）は、４行４列のi行j列成分の重みを示す。
逆量子化部ＩＱ１は、量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換部ＩＴ１に出力する。つまり、逆量子化部ＩＱ１は、決定部Ｄｅから入力される重みマトリクスWmatrixに従って、量子化部Ｑ１と逆の処理を行う。
逆直交変換部ＩＴ１は、逆量子化部ＩＱ１からの周波数係数ブロックを予測誤差に逆周波数変換し、加算部Ａｄｄに出力する。つまり、逆直交変換のサイズは、決定部Ｄｅから入力される直交変換サイズTsizeのブロック単位に、直交変換部Ｔ１と逆の処理を行う。
加算部Ａｄｄは、減算部subと同じ動き補償サイズのブロック単位で、予測誤差と動き補償部ＭＣから出力される予測画像とを加算して復号化画像とする。
スイッチＳＷは、当該復号化画像の保存が指示された場合にＯＮになり、復号化画像はピクチャメモリPicMemに保存される。
動き検出部ＭＥは、画像信号Vin がマクロブロック単位で入力され、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。この動きベクトルの検出はマクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができる。動きベクトル検出に用いられた参照ピクチャは、識別番号（参照インデックスIndex）により指定される。参照インデックスIndexによって、ピクチャメモリPicMem中の各ピクチャが有するピクチャ番号は参照インデックスと対応付けされている。
動き補償部ＭＣでは、上記処理によって検出された動きベクトルおよび参照インデックスIndexを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像として最適な画像を読み出す。
可変長符号化部VLC1は、量子化値Qcoef、参照インデックスIndexおよび動きベクトルＭＶを可変長符号化して符号化ストリームStrとして出力する。その際、可変長符号化部VLC1は、直交変換サイズTsizeに基づいてサイズ情報TsizeFlagを生成し、サイズ情報TsizeFlagと、重みマトリクスWmatrixとを符号化する。この重みマトリクスWmatrixには、８ｘ８直交変換に対応する重みマトリクスW8matと４ｘ４直交変換用重みマトリクスW4matとがある。
図８は、画像符号化装置における符号化処理を示すフローチャートである。決定部Ｄｅは、マクロブロック単位に直交変換サイズTsizeおよび重みマトリクスWmatrixを決定する（Ｓ１０）。この直交変換サイズTsizeおよび重みマトリクスWmatrixに従って直交変換及び量子化がなされる。さらに、可変長符号化部VLC1は、所定区間毎つまりシーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかの区間毎にTsizeを示すサイズ情報TsizeFlagを符号化列strに含めるように符号化する。ここで、サイズ情報TsizeFlagでは、（Ａ）〜（Ｃ）の何れかの意味を有する。（Ａ）所定区間において全ての直交変換サイズが８ｘ８画素である。（Ｂ）所定区間において全ての直交変換サイズが４ｘ４画素である。（Ｃ）所定区間において直交変換サイズが８ｘ８画素と４ｘ４画素の何れであるか不明である（つまり混在している）。なお、サイズ情報TsizeFlag（Ａ）〜（Ｃ）の全ての区別を示す必要は無く、例えば（Ａ）と（Ｃ）や、（Ｂ）と（Ｃ）、もしくは直交変換サイズの８ｘ８と４ｘ４の混在を許容しない場合は（Ａ）と（Ｂ）の区別のみを示すようにしてもよい。
可変長符号化部VLC1は、例えば、図９（ａ）に示すように所定区間としてＧＯＰ毎にサイズ情報TsizeFlagを符号化する場合は、直交変換サイズTsizeがその区間において第２のサイズ（８ｘ８画素)のみであるか第１のサイズ（４ｘ４画素）のみであるかを判定する（S１１、１２）。
判定結果が８ｘ８のみである場合には、可変長符号化部VLC1は、当該ＧＯＰにおける直交変換ブロックが８ｘ８のみであることを示すサイズ情報TsizeFlagを符号化し（Ｓ１３）、８ｘ８の重みマトリクスW8matを符号化する（Ｓ１４）。この場合の符号列strの例を図１０(ｂ)に示す。
判定結果が４ｘ４のみである場合には、可変長符号化部VLC1は、当該ＧＯＰにおける直交変換ブロックが４ｘ４のみであることを示すサイズ情報TsizeFlagを符号化し（Ｓ１５）、４ｘ４の重みマトリクスW4matを符号化する（Ｓ１６）。この場合の符号列strの例を図１０(ｃ)に示す。
判定結果が４ｘ４のみでも８ｘ８でもない場合には（つまり両者が混在している場合には）、可変長符号化部VLC1は、当該ＧＯＰにおける直交変換ブロックが４ｘ４のみでも８ｘ８のみでもないことを示すサイズ情報TsizeFlagを符号化し（Ｓ１７）、４ｘ４の重みマトリクスW4matおよび８ｘ８の重みマトリクスW8matを符号化する（Ｓ１８）。この場合の符号列strの例を図１０(ａ)に示す。なお、この場合可変長符号化部VLC1は、マクロブロック毎の直交変換サイズTsizeが第１のサイズであるか第２のサイズであるかを復号装置に知らせるために、マクロブロック毎に直交変換サイズTsizeを含めるように符号化することが望ましい。
上記では可変長符号化部VLC1がＧＯＰ単位でサイズ情報TsizeFlagを符号化する例を示したが、図９（ｂ）に示すようにスライス単位でサイズ情報TsizeFlagを符号化してもよい。この場合、重みマトリクスは、図１１（ａ）〜図１１(ｃ)に示すように符号化される。
図１１（ａ）は第１のサイズと第２のサイズとが所定区間で混在する場合の符号列の構造を示し、ヘッダ部（対象ピクチャに先立って）で両方の直交変換サイズが混在することを示すサイズ情報TsizeFlagとそれにひきつづき８ｘ８直交変換用重みマトリクスW8matと４ｘ４直交変換用重みマトリクスW4matが符号化されている。８ｘ８直交変換用重みマトリクスW8matと４ｘ４直交変換用重みマトリクスW4matの順序はこの順序に限らず、逆の順序で配置することに決めても構わない。図１１（ｂ）は所定区間で第２のサイズのみが直交変換で使用される場合の符号列の構造を示し、ヘッダ部（対象ピクチャに先立って）で８ｘ８直交変換サイズであることを示すサイズ情報TsizeFlagとそれにひきつづき８ｘ８直交変換用重みマトリクスW8matが符号化されている。図１１（ｃ）は４ｘ４単位直交変換のみが使用される場合の符号列の構造を示し、ヘッダ部（対象ピクチャに先立って）で４ｘ４直交変換サイズであることを示すサイズ情報TsizeFlagとそれにひきつづき４ｘ４直交変換用重みマトリクスW4matを符号化する。
また、可変長符号化部VLC1は、図９（ｃ）に示すようにサイズ情報TsizeFlagをマクロブロック単位で符号化してもよい。ただし、図９（ｃ）の場合では、サイズ情報TsizeFlagの代わりに直交変換サイズTsizeそのものを符号化してもよい。上記の図９（ａ）〜図９（ｃ）はサイズ情報TsizeFlagがどの位置に挿入されるかを示している。複数のピクチャから構成されるストリームやシーケンス単位で切替える場合には、図９（ａ）のようにストリームやシーケンスの先頭に挿入することが望ましい。これは、画像サイズや画像の性質がストリームやシーケンスの単位で殆ど変化しない場合に効果的である。画像の内容がピクチャ単位で変化し、ピクチャ毎に直交変換サイズを変える必要がある場合には、図９（ｂ）に示すように各ピクチャの先頭にサイズ情報TsizeFlagを配置するのことが望ましい。更に、各マクロブロック毎に直交変換サイズを変える必要がある場合には、図９（ｃ）に示すように各マクロブロックの先頭にサイズ情報TsizeFlagを配置することが望ましい。
＜変形例＞
（１） 図１２は、図８に示した画像符号化処理の変形例を示すフローチャートである。同図では、サイズ情報TsizeFlagが上記の（Ｂ）と（Ｃ）の区別を示す場合の符号化処理を示している。図８と同じ処理内容のステップには同じステップ番号を付してある。このようにすればサイズ情報TsizeFlagは、上述の所定区間において直交変換サイズが４ｘ４画素に固定であるか否かを示すことになり、１ビットで表すことができる。
（２）重みマトリクスW8matと重みマトリクスW4matは、個々に最適な値が設定されることが望ましい。ただし、決定部Ｄｅが重みマトリクスWmatrixをストリーム単位もしくはピクチャ単位で決定する場合には、重みマトリクスW8matから重みマトリクスW4matを導出したり、逆に重みマトリクスW4matから重みマトリクスW8mat導出するようにしてもよい。
図１３は、重みマトリクスW8matから重みマトリクスW4matを導出する場合の画像符号化処理を示すフローチャートである。同図は、図８と比較してステップＳ１９が追加されている。同じ処理内容のステップには同じステップ番号を付してあるので説明を省略し、異なる点のみ説明する。ステップＳ１９において可変長符号化部VLC1は、８ｘ８単位の重みマトリクスから４ｘ４単位の重みマトリクスW4matを下記のよう導出し、符号化する。
W4 i,j = K * W8 2i, 2j（i,jは０から３、Ｋは定数）
なお、直交変換部T1も、重みマトリクスW4matを同様に導出して直交変換に用いる。
また、可変長符号化部VLC1は、導出された４ｘ４単位の重みマトリクスW4matの符号化を省略してもよい。
また、量子化部Ｑ１および逆量子化部ＩＱ１は、同じ直交変換サイズであっても、画面内符号化の場合と画面間符号化で違う重みマトリクスを使用してもよい。更に、輝度信号と色差信号で違う重みマトリクスを使用しても良い。
なお、量子化部Ｑ１および逆量子化部ＩＱ１は、量子化に用いるべき重みマトリクスを複数の重みマトリクスから選択するようにしてもよい。
更に、量子化部Ｑ１および逆量子化部ＩＱ１は、重みマトリクスが特に効果がある大きな直交変換サイズのみ（例えば第２のサイズ）重みマトリクスによる量子化マトリクスの重み付けを行い、他方（第１のサイズ）は重みマトリクスによる量子化マトリクスの重み付けをしないようにしてもよい。
＜画像復号化装置＞
図１４は、本発明の実施の形態における画像復号化装置の構成を示すブロック図である。
同図において、図４に示した画像符号化装置のブロック図と同じ構成要素には同じ番号を付してあるので、説明を省略する。
符号化ストリームStrは可変長復号化部VLD1で復号化される。復号結果には、重みマトリクスWmatrixと直交変換サイズTsizeが含まれる。逆量子化部ＩＱ1は、重みマトリクスWmatrixによって量子化マトリクスの重み付けを行い、重み付け後の量子化マトリクスを用いて逆量子化する。逆直交変換部ＩＴ1は、直交変換サイズTsizeに応じた逆直交変換を行う。その他の動作は図３の従来の画像復号化方法を実現する画像復号化装置のブロック図と同じである。
図１５は、画像復号化装置における可変長復号化処理を示すフローチャートである。同図のように、可変長復号化部VLD1は、符号化ストリームStrからサイズ情報TsizeFlagを復号化し（Ｓ３０）、サイズ情報TsizeFlagが第２のサイズ（８ｘ８画素)のみを示すかどうかを判定し（Ｓ３１）、第２のサイズのみを示す場合は、重みマトリクスW8matを復号化する（Ｓ３３）。サイズ情報TsizeFlagが８ｘ８直交変換のみを示さないとき、可変長復号化部VLD1は、次にサイズ情報TsizeFlagが第１のサイズ（４ｘ４画素）のみを示す場合（Ｓ３２）、４ｘ４の重みマトリクスW4matを復号化する（Ｓ３４）。さらに、サイズ情報TsizeFlagが４ｘ４直交変換のみを示さない場合、８ｘ８重みマトリクスW8matと４ｘ４重みマトリクスWmatを復号化する（Ｓ３５）。この復号結果に従って、逆量子化および逆直交変換が行われる。
なお、重みマトリクスW4matが符号列Strに符号化されていない場合には、画像復号化装置は、重みマトリクスW8matから重みマトリクスW4matを導出するようにしてもよい。図１６に、重みマトリクスW8matから重みマトリクスW4matを導出する場合の画像復号化処理を示すフローチャートを示す。同図の処理は、図１５に対してステップＳ３６が追加されている。ステップＳ３６では、図１３に示したステップＳ１９と同様にして、重みマトリクスW8matから重みマトリクスW4matが導出される。
以上のように、画像復号化装置は、図４に示した画像符号化装置によって符号化された符号化ストリームStrを正しく復号化することができる。なお、直交変換サイズTsizeは可変長復号化部VLD1から取得されるものとしたが、上記実施の形態で説明したように動き補償ブロックの大きさに基いて切替える場合は、動き補償ブロックの大きさから直交変換サイズTsizeを導出するようにしてもよい。
さらに、上記実施の形態で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１７（ａ）〜図１７（ｃ）は、上記実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
図１７ （ｂ） は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１７ (a) は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
また、図１７（ｃ） は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。
図１８は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図１８のような組合せに限定されず、何れかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、何れでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１９は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図２０を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２１に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置の何れかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図２０に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述した何れの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
本発明は、ピクチャをブロック単位に符号化する画像符号化装置、画像復号化装置に適しており、動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可能なデジタルカメラ、カメラ付き携帯電話機、ＤＶＤ録画／再生機、ＰＤＡ、パーソナルコンピュータ等に適している。
ビットストリームのデータ構造の例を示した説明図である。 従来の画像符号化装置の構成を示すブロック図である。 従来の画像復号化装置の構成を示すブロック図である。 本発明の実施の形態における画像符号化装置の構成を示すブロック図である。 （ａ）〜（ｇ）画面間符号化の場合における、動き補償のブロックサイズを示す図である。 （ａ）１６ｘ１６画素の輝度マクロブロックとその直交変換ブロックを示す図である。（ｂ）８ｘ８画素の色差マクロブロックとその直交変換ブロックを示す図である。 （ａ）８ｘ８のサイズの重みマトリクスを示す図である。（ｂ）４ｘ４のサイズの重みマトリクスを示す図である。 画像符号化装置における符号化処理を示すフローチャート図である。 （ａ）〜（ｃ）符号列中のサイズ情報が挿入される位置を示す図である。 （ａ）〜（ｃ）符号列中のＧＯＰ単位にサイズ情報および重みマトリクスが挿入される位置を示す図である。 （ａ）〜（ｃ）符号列中のスライス単位にサイズ情報および重みマトリクスが挿入される位置を示す図である。 画像符号化処理の変形例を示すフローチャート図である。 ８ｘ８の重みマトリクスから４ｘ４の重みマトリクスを導出する場合の画像符号化処理を示すフローチャートである。 本発明の実施の形態における画像復号化装置の構成を示すブロック図である。 画像復号化装置における可変長復号化処理を示すフローチャート図である。 重みマトリクスW8matから重みマトリクスW4matを導出する場合の画像復号化処理を示すフローチャートである。 （ａ）〜（ｃ）上記実施の形態の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。 コンテンツ供給システムの全体構成を示すブロック図である。 画像符号化方法および画像復号化方法を用いた携帯電話の概観を示す図である。 携帯電話の構成を示すブロック図である。 ディジタル放送用システムの全体構成を示す図である。
符号の説明
Ｄｅ 決定部
ＭＥ 動き検出部
ＭＣ 動き補償部
Ｓｕｂ 減算部
Ｔ１ 直交変換部
Ｑ１ 量子化部
ＩＱ１、逆量子化部
ＩＴ１ 逆直交変換部
Ａｄｄ 加算部
PicMem ピクチャメモリ
ＳＷ スイッチ
ＶＬＣ１ 可変長符号化部
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ

Claims (26)

  1. ピクチャをブロック単位で符号化する画像符号化方法であって、
    直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中から１つを選択する選択ステップと、
    選択されたサイズを単位にブロックを直交変換する変換ステップと、
    変換ステップで得られたブロックデータを符号化する符号化ステップと、
    符号化後のブロックデータと、選択ステップにおいて選択されたサイズに関するサイズ情報とを含む符号列を生成する生成ステップと
    を有することを特徴とする画像符号化方法。
  2. 前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示す
    ことを特徴とする請求項１記載の画像符号化方法。
  3. 前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかである
    ことを特徴とする請求項２記載の画像符号化方法。
  4. 前記サイズ情報は、選択ステップで選択されたサイズが第１のサイズであるか、それ以外の第２のサイズであるかを示す
    ことを特徴とする請求項１記載の画像符号化方法。
  5. 前記第１のサイズは縦横４画素からなるブロックサイズを示し、前記第２のサイズは縦横８画素からなるブロックサイズを示す
    ことを特徴とする請求項４記載の画像符号化方法。
  6. 前記変換ステップにおいて、直交変換後のブロックをそのサイズに応じた重みマトリクスを用いて量子化する
    ことを特徴とする請求項４記載の画像符号化方法。
  7. 前記変換ステップにおいて、直交変換後のブロックデータが第２のサイズである場合、量子化に用いるべき重みマトリクスを複数の重みマトリクスから選択する
    ことを特徴とする請求項６記載の画像符号化方法。
  8. 前記符号化ステップにおいて、第２のサイズに対応する重みマトリクスを符号化し、
    前記生成ステップにおいて、符号化された重みマトリクスを符号列に含ませる
    ことを特徴とする請求項７記載の画像符号化方法。
  9. 前記サイズ情報は、符号列のシーケンス単位に含まれる
    ことを特徴とする請求項４記載の画像符号化方法。
  10. 前記選択ステップにおいて、符号列のビットレート、ピクチャの解像度および外部からの指示の少なくとも１つに応じて第１サイズと第２サイズの何れかを選択する
    ことを特徴とする請求項４記載の画像符号化方法。
  11. 前記第１及び第２のサイズは輝度ブロックのサイズであり、
    前記選択ステップにおいて、直交変換すべき色差ブロックのサイズを、輝度ブロックの縦横２分の１のサイズに決定する
    ことを特徴とする請求項４記載の画像符号化方法。
  12. ピクチャをブロック単位で復号化する画像復号化方法であって、
    符号化されたピクチャを含む符号列を復号することにより、直交変換されたブロックデータとブロックサイズに関するサイズ情報とを抽出する抽出ステップと
    サイズ情報に従うブロックサイズを単位にブロックデータを逆直交変換する逆変換ステップと
    を有することを特徴とする画像復号化方法。
  13. 前記サイズ情報は、前記符号列の所定区間において前記サイズが固定であるか否かを示す
    ことを特徴とする請求項１２記載の画像復号化方法。
  14. 前記所定区間は、シーケンス、グループ・オブ・ピクチャ、ピクチャ、スライスおよびマクロブロックの何れかである
    ことを特徴とする請求項１３記載の画像復号化方法。
  15. 前記サイズ情報は、決定ステップで決定されたサイズが第１のサイズであるか、それ以外の第２のサイズであるかを示す
    ことを特徴とする請求項１２記載の画像復号化方法。
  16. 前記第１のサイズは縦横４画素からなるブロックサイズを示し、前記第２のサイズは縦横８画素からなるブロックサイズを示す
    ことを特徴とする請求項１５記載の画像復号化方法。
  17. 前記逆変換ステップにおいて、直交変換後のブロックデータをそのサイズに応じた重みマトリクスを用いて量子化する
    ことを特徴とする請求項１５記載の画像復号化方法。
  18. 前記逆変換ステップにおいて、直交変換後のブロックが第２のサイズである場合、量子化に用いるべき重みマトリクスを複数の重みマトリクスから選択する
    ことを特徴とする請求項１７記載の画像復号化方法。
  19. 前記抽出化ステップにおいて、第２のサイズに対応する重みマトリクスを抽出する
    ことを特徴とする請求項１８記載の画像復号化方法。
  20. 前記サイズ情報は、符号列のシーケンス単位に含まれる
    ことを特徴とする請求項１５記載の画像復号化方法。
  21. 前記決定ステップにおいて、符号列のビットレートおよびピクチャの解像度の少なくとも一方に応じて前記サイズ情報を決定する
    ことを特徴とする請求項１５記載の画像復号化方法。
  22. 前記ピクチャは輝度信号と色差信号とを含み、
    前記決定ステップにおいて、直交変換すべき色差ブロックのサイズを、輝度ブロックの縦横２分の１に決定する
    ことを特徴とする請求項１５記載の画像復号化方法。
  23. ピクチャをブロック単位で符号化する画像符号化装置であって、
    直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中１つを決定する決定手段と、
    決定されたサイズを単位にブロックを直交変換する変換手段と、
    変換手段で得られたブロックデータを符号化する符号化手段と、
    符号化後のブロックデータと、決定手段において決定されたサイズに関するサイズ情報とを含む符号列を生成する生成手段と
    を有することを特徴とする画像符号化装置。
  24. ピクチャをブロック単位で復号化する画像復号化装置であって、
    符号化されたピクチャを含む符号列を復号することにより、直交変換されたブロックデータとブロックサイズに関するサイズ情報とを抽出する抽出手段と
    サイズ情報に従うブロックサイズを単位にブロックデータを逆直交変換する逆変換手段と
    を有することを特徴とする画像復号化装置。
  25. ピクチャをブロック単位で符号化するためのプログラムであって、
    直交変換すべきブロックのサイズとして、少なくとも２つのサイズの中１つを選択する選択ステップと、
    選択されたサイズを単位にブロックを直交変換する変換ステップと、
    変換ステップで得られたブロックデータを符号化する符号化ステップと、
    符号化後のブロックデータと、決定ステップにおいて決定されたサイズに関するサイズ情報とを含む符号列を生成する生成ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  26. ピクチャをブロック単位で復号化するためのプログラムであって、
    符号化されたピクチャを含む符号列を復号することにより、直交変換されたブロックデータとブロックサイズに関するサイズ情報とを抽出する抽出ステップと
    サイズ情報に従うブロックサイズを単位にブロックデータを逆直交変換する逆変換ステップと
    をコンピュータに実行させることを特徴とするプログラム。
JP2004045331A 2003-02-21 2004-02-20 画像符号化方法および画像復号化方法 Expired - Lifetime JP4348209B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US44913503P 2003-02-21 2003-02-21

Publications (3)

Publication Number Publication Date
JP2004254327A true JP2004254327A (ja) 2004-09-09
JP2004254327A5 JP2004254327A5 (ja) 2007-04-05
JP4348209B2 JP4348209B2 (ja) 2009-10-21

Family

ID=32927497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004045331A Expired - Lifetime JP4348209B2 (ja) 2003-02-21 2004-02-20 画像符号化方法および画像復号化方法

Country Status (10)

Country Link
US (3) US8081678B2 (ja)
EP (1) EP1597909A4 (ja)
JP (1) JP4348209B2 (ja)
KR (2) KR100999221B1 (ja)
CN (2) CN101247524B (ja)
AU (1) AU2004214795B9 (ja)
BR (1) BRPI0406507B1 (ja)
CA (1) CA2513537C (ja)
MX (1) MXPA05006718A (ja)
WO (1) WO2004077810A2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008154155A (ja) * 2006-12-20 2008-07-03 Toshiba Corp 動画像符号化装置
JP2008205627A (ja) * 2007-02-16 2008-09-04 Toshiba Corp 情報処理装置およびインター予測モード判定方法
JP2008219870A (ja) * 2007-02-09 2008-09-18 Matsushita Electric Ind Co Ltd 動画像符号化方法及び動画像符号化装置
JP2009005413A (ja) * 2008-09-30 2009-01-08 Toshiba Corp 画像符号化装置
JP2010516191A (ja) * 2007-01-11 2010-05-13 トムソン ライセンシング ＭＰＥＧ−４ＡＶＣ高位符号化におけるＣＡＶＬＣ４：４：４Ｉｎｔｒａプロファイル、ＨＩＧＨ４：４：４Ｉｎｔｒａプロファイル、及びＨＩＧＨ４：４：４Ｐｒｅｄｉｃｔｉｖｅプロファイルのｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ構文要素及びｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ構文要素の構文を使用する方法及び装置
WO2011040302A1 (ja) * 2009-09-30 2011-04-07 ソニー株式会社 画像処理装置および方法
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2011523321A (ja) * 2008-06-13 2011-08-04 サムスン エレクトロニクス カンパニー リミテッド 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2012105349A (ja) * 2005-09-26 2012-05-31 Mitsubishi Electric Corp 動画像符号化装置及び動画像復号装置
WO2012077408A1 (ja) * 2010-12-09 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
WO2012108237A1 (ja) * 2011-02-10 2012-08-16 ソニー株式会社 画像処理装置及び画像処理方法
WO2012160890A1 (ja) * 2011-05-20 2012-11-29 ソニー株式会社 画像処理装置及び画像処理方法
WO2013005386A1 (en) * 2011-07-01 2013-01-10 Panasonic Corporation Method and apparatus for encoding and decoding video using adaptive quantization matrix for square and rectangular transform units
JP2013513287A (ja) * 2009-12-04 2013-04-18 トムソン ライセンシング 映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置
WO2013094385A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 画像処理装置および方法
JP2014135739A (ja) * 2010-12-09 2014-07-24 Sony Corp 画像処理装置及び画像処理方法
JP2014519766A (ja) * 2011-08-23 2014-08-14 メディア テック シンガポール ピーティーイー．リミテッド ビデオコーディングにおける量子化マトリクスに従うトランスフォームブロック処理の方法及びシステム
JP2015173505A (ja) * 2009-04-08 2015-10-01 シャープ株式会社 動画像符号化装置および動画像復号装置
CN114444638A (zh) * 2022-03-28 2022-05-06 中科谱光(郑州)应用科学技术研究院有限公司 一种基于多维数据采集技术的艺术品编码体系

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
EP2120153A1 (en) * 2008-01-28 2009-11-18 Panasonic Corporation Orthogonal converter and integrated circuit
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN101887437B (zh) 2009-05-12 2016-03-30 阿里巴巴集团控股有限公司 一种搜索结果生成方法及信息搜索系统
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
US20120082225A1 (en) * 2010-10-01 2012-04-05 Qualcomm Incorporated Selective indication of transform sizes
JP2012238927A (ja) * 2011-05-09 2012-12-06 Sony Corp 画像処理装置及び画像処理方法
CN102857755B (zh) 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
CN103108177B (zh) * 2011-11-09 2016-11-23 华为技术有限公司 图像编码方法及图像编码装置
EP3432582B1 (en) * 2012-02-29 2020-04-01 Sony Corporation Image processing device and method
RU2014137198A (ru) * 2014-09-15 2016-04-10 Общество с ограниченной ответственностью "АСК Лаборатория" Способ кодирования и декодирования цифрового изображения и устройства для их реализации
RU2645290C1 (ru) * 2017-03-27 2018-02-19 федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации Способ кодирования оцифрованных изображений с использованием адаптивного ортогонального преобразования
WO2019188465A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
JP2020150340A (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
JP2839339B2 (ja) 1990-08-06 1998-12-16 松下電器産業株式会社 直交変換符号化装置および直交変換符号化方法
ATE162918T1 (de) * 1991-04-18 1998-02-15 Ampex Systems Corp Verfahren und anordnung zur bestimmung eines quantisierungsfaktors für prozesse mit datenkomprimierung und -dekomprimierung
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
WO1994018799A1 (en) * 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
KR950004117A (ko) 1993-07-13 1995-02-17 최준식 랩핑방법 및 장치
JPH10511532A (ja) * 1995-10-18 1998-11-04 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ ビデオ画像符号化方法
JP3387769B2 (ja) * 1996-04-05 2003-03-17 松下電器産業株式会社 映像データ送信方法、映像データ送信装置、及び映像データ再生装置
US5818532A (en) * 1996-05-03 1998-10-06 Lsi Logic Corporation Micro architecture of video core for MPEG-2 decoder
KR100238066B1 (ko) * 1996-06-26 2000-01-15 윤종용 양자화활동도를 이용한 비트 발생량 제어방법 및 그 영상 부호화장치
JPH10178639A (ja) 1996-12-19 1998-06-30 Matsushita Electric Ind Co Ltd 画像コーデック部および画像データ符号化方法
US6067118A (en) * 1997-12-16 2000-05-23 Philips Electronics North America Corp. Method of frame-by-frame calculation of quantization matrices
SK153399A3 (en) * 1998-03-19 2000-08-14 Koninkl Philips Electronics Nv Transmitting device for transmitting a digital information signal alternately in encoded form and non-encoded form
WO1999057911A1 (en) * 1998-05-04 1999-11-11 General Instrument Corporation Method and apparatus for inverse quantization of mpeg-4 video
US6282322B1 (en) * 1998-12-03 2001-08-28 Philips Electronics North America Corp. System and method for compressing and decompressing images
DE10022331A1 (de) * 2000-05-10 2001-11-15 Bosch Gmbh Robert Verfahren zur Transformationscodierung von Bewegtbildsequenzen
EP1246469A3 (fr) * 2001-03-27 2005-04-13 Koninklijke Philips Electronics N.V. Procédé de réduction de format et de décodage similtanés de signaux vidéo codés
US7643559B2 (en) 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
US7688894B2 (en) * 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591308B2 (en) 2005-09-26 2017-03-07 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
US9060157B2 (en) 2005-09-26 2015-06-16 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
JP2015156721A (ja) * 2005-09-26 2015-08-27 三菱電機株式会社 ビットストリーム
US10142632B2 (en) 2005-09-26 2018-11-27 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
US9380306B2 (en) 2005-09-26 2016-06-28 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
US9503735B2 (en) 2005-09-26 2016-11-22 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
JP2014116950A (ja) * 2005-09-26 2014-06-26 Mitsubishi Electric Corp 動画像復号装置及び動画像復号方法
JP2014017867A (ja) * 2005-09-26 2014-01-30 Mitsubishi Electric Corp 動画像復号装置及び動画像復号方法
US10728550B2 (en) 2005-09-26 2020-07-28 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
US11039136B2 (en) 2005-09-26 2021-06-15 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
JP2012105349A (ja) * 2005-09-26 2012-05-31 Mitsubishi Electric Corp 動画像符号化装置及び動画像復号装置
US11627317B2 (en) 2005-09-26 2023-04-11 Mitsubishi Electric Corporation Moving image coding apparatus and moving image decoding apparatus
US8275035B2 (en) 2006-12-20 2012-09-25 Kabushiki Kaisha Toshiba Video coding apparatus
JP2008154155A (ja) * 2006-12-20 2008-07-03 Toshiba Corp 動画像符号化装置
JP2015057915A (ja) * 2007-01-11 2015-03-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ＭＰＥＧ−４ＡＶＣ高位符号化におけるＣＡＶＬＣ４：４：４Ｉｎｔｒａプロファイル、ＨＩＧＨ４：４：４Ｉｎｔｒａプロファイル、及びＨＩＧＨ４：４：４Ｐｒｅｄｉｃｔｉｖｅプロファイルのｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ構文要素及びｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ構文要素の構文を使用する方法及び装置
US9602824B2 (en) 2007-01-11 2017-03-21 Thomson Licensing Methods and apparatus for using syntax for the coded—block—flag syntax element and the coded—block—pattern syntax element for the CAVLC 4:4:4 Intra, HIGH 4:4:4 Intra, and HIGH 4:4:4 predictive profiles in MPEG-4 AVC high level coding
US9215456B2 (en) 2007-01-11 2015-12-15 Thomson Licensing Methods and apparatus for using syntax for the coded—block—flag syntax element and the coded—block—pattern syntax element for the CAVLC 4:4:4 intra, high 4:4:4 intra, and high 4:4:4 predictive profiles in MPEG-4 AVC high level coding
JP2010516191A (ja) * 2007-01-11 2010-05-13 トムソン ライセンシング ＭＰＥＧ−４ＡＶＣ高位符号化におけるＣＡＶＬＣ４：４：４Ｉｎｔｒａプロファイル、ＨＩＧＨ４：４：４Ｉｎｔｒａプロファイル、及びＨＩＧＨ４：４：４Ｐｒｅｄｉｃｔｉｖｅプロファイルのｃｏｄｅｄ＿ｂｌｏｃｋ＿ｆｌａｇ構文要素及びｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ構文要素の構文を使用する方法及び装置
US8279923B2 (en) 2007-02-09 2012-10-02 Panasonic Corporation Video coding method and video coding apparatus
JP2008219870A (ja) * 2007-02-09 2008-09-18 Matsushita Electric Ind Co Ltd 動画像符号化方法及び動画像符号化装置
JP2008205627A (ja) * 2007-02-16 2008-09-04 Toshiba Corp 情報処理装置およびインター予測モード判定方法
JP4635016B2 (ja) * 2007-02-16 2011-02-16 株式会社東芝 情報処理装置およびインター予測モード判定方法
US9924174B2 (en) 2008-06-13 2018-03-20 Samsung Electronics Co., Ltd. Image-encoding method and a device therefor, and image-decoding method and a device therefor
JP2011523321A (ja) * 2008-06-13 2011-08-04 サムスン エレクトロニクス カンパニー リミテッド 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2009005413A (ja) * 2008-09-30 2009-01-08 Toshiba Corp 画像符号化装置
JP2015173505A (ja) * 2009-04-08 2015-10-01 シャープ株式会社 動画像符号化装置および動画像復号装置
US9510014B2 (en) 2009-09-30 2016-11-29 Sony Corporation Image processing device and method for assigning luma blocks to chroma blocks
US9503748B2 (en) 2009-09-30 2016-11-22 Sony Corporation Image processing device and method for assigning luma blocks to chroma blocks
US9544614B2 (en) 2009-09-30 2017-01-10 Sony Corporation Image processing device and method for assigning luma blocks to chroma blocks
US9510015B2 (en) 2009-09-30 2016-11-29 Sony Corporation Image processing device and method for assigning luma blocks to chroma blocks
CN102577388A (zh) * 2009-09-30 2012-07-11 索尼公司 图像处理装置和方法
JP2011077761A (ja) * 2009-09-30 2011-04-14 Sony Corp 画像処理装置および方法
US9979981B2 (en) 2009-09-30 2018-05-22 Velos Media, Llc Image processing device and method
US20120219216A1 (en) * 2009-09-30 2012-08-30 Kazushi Sato Image processing device and method
US10911772B2 (en) 2009-09-30 2021-02-02 Velos Media, Llc Image processing device and method
US8744182B2 (en) * 2009-09-30 2014-06-03 Sony Corporation Image processing device and method
WO2011040302A1 (ja) * 2009-09-30 2011-04-07 ソニー株式会社 画像処理装置および方法
WO2011052216A1 (ja) * 2009-10-30 2011-05-05 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2013513287A (ja) * 2009-12-04 2013-04-18 トムソン ライセンシング 映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置
US9253495B2 (en) 2009-12-04 2016-02-02 Thomson Licensing Methods and apparatus for improved chroma transforms for inter frames in video encoding and decoding
KR101841783B1 (ko) * 2009-12-04 2018-03-23 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치
JP2014135738A (ja) * 2010-12-09 2014-07-24 Sony Corp 画像処理装置及び画像処理方法
JP2014135739A (ja) * 2010-12-09 2014-07-24 Sony Corp 画像処理装置及び画像処理方法
US8903187B2 (en) 2010-12-09 2014-12-02 Sony Corporation Image processing device and image processing method
US11196995B2 (en) 2010-12-09 2021-12-07 Velos Media, Llc Image processing device and image processing method
US8891887B2 (en) 2010-12-09 2014-11-18 Sony Corporation Image processing device and image processing method
JP2012138883A (ja) * 2010-12-09 2012-07-19 Sony Corp 画像処理装置及び画像処理方法
US9843805B2 (en) 2010-12-09 2017-12-12 Velos Media, Llc Image processing device and image processing method
JP2014135740A (ja) * 2010-12-09 2014-07-24 Sony Corp 画像処理装置及び画像処理方法
US10499057B2 (en) 2010-12-09 2019-12-03 Velos Media, Llc Image processing device and image processing method
WO2012077408A1 (ja) * 2010-12-09 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
US8787687B2 (en) 2010-12-09 2014-07-22 Sony Corporation Image processing device and image processing method
US10368070B2 (en) 2010-12-09 2019-07-30 Velos Media, Llc Image processing device and image processing method
US9185367B2 (en) 2010-12-09 2015-11-10 Sony Corporation Image processing device and image processing method
US9667970B2 (en) 2010-12-09 2017-05-30 Sony Corporation Image processing device and image processing method
US9185368B2 (en) 2010-12-09 2015-11-10 Sony Corporation Image processing device and image processing method
US9743086B2 (en) 2010-12-09 2017-08-22 Velos Media, Llc Image processing device and image processing method
US8768077B2 (en) 2010-12-09 2014-07-01 Sony Corporation Image processing device and image processing method
US9986241B2 (en) 2011-02-10 2018-05-29 Velos Media, Llc Image processing device and image processing method
US11196996B2 (en) 2011-02-10 2021-12-07 Velos Media, Llc Image processing device and image processing method
US9706205B2 (en) 2011-02-10 2017-07-11 Velos Media, Llc Image processing device and image processing method
US9967564B2 (en) 2011-02-10 2018-05-08 Velos Media, Llc Image processing device and image processing method
US11831873B2 (en) 2011-02-10 2023-11-28 Sony Group Corporation Image processing device and image processing method
US11825089B2 (en) 2011-02-10 2023-11-21 Sony Group Corporation Image processing device and image processing method
US8897361B2 (en) 2011-02-10 2014-11-25 Sony Corporation Image processing device and image processing method
US11166024B2 (en) 2011-02-10 2021-11-02 Velos Media, Llc Image processing device and image processing method
WO2012108237A1 (ja) * 2011-02-10 2012-08-16 ソニー株式会社 画像処理装置及び画像処理方法
US10674153B2 (en) 2011-02-10 2020-06-02 Velos Media, Llc Image processing device and image processing method
US10225554B2 (en) 2011-02-10 2019-03-05 Velos Media, Llc Image processing device and image processing method
US10257515B2 (en) 2011-02-10 2019-04-09 Velos Media, Llc Image processing device and image processing method
US10531089B2 (en) 2011-02-10 2020-01-07 Velos Media, Llc Image processing device and image processing method
US10448017B2 (en) 2011-05-20 2019-10-15 Sony Corporation Image processing device and image processing method for image decoding based on non-square quantization matrix
US9641840B2 (en) 2011-05-20 2017-05-02 Sony Corporation Processing device and image processing method for encoding and decoding image
US10070131B2 (en) 2011-05-20 2018-09-04 Sony Corporation Image processing to encode and decode images based on square and non-square quantization matrices
WO2012160890A1 (ja) * 2011-05-20 2012-11-29 ソニー株式会社 画像処理装置及び画像処理方法
WO2013005386A1 (en) * 2011-07-01 2013-01-10 Panasonic Corporation Method and apparatus for encoding and decoding video using adaptive quantization matrix for square and rectangular transform units
US9560347B2 (en) 2011-08-23 2017-01-31 Hfi Innovation Inc. Method and system of transform block processing according to quantization matrix in video coding
US10218977B2 (en) 2011-08-23 2019-02-26 Hfi Innovation Inc. Method and system of transform block processing according to quantization matrix in video coding
JP2014519766A (ja) * 2011-08-23 2014-08-14 メディア テック シンガポール ピーティーイー．リミテッド ビデオコーディングにおける量子化マトリクスに従うトランスフォームブロック処理の方法及びシステム
US10136135B2 (en) 2011-12-19 2018-11-20 Sony Corporation Image processing device and method
US9781422B2 (en) 2011-12-19 2017-10-03 Sony Corporation Image processing device and method
US10560697B2 (en) 2011-12-19 2020-02-11 Sony Corporation Image processing device and method
JP2015100135A (ja) * 2011-12-19 2015-05-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US11758139B2 (en) 2011-12-19 2023-09-12 Sony Corporation Image processing device and method
US9635354B2 (en) 2011-12-19 2017-04-25 Sony Corporation Image processing device and method
WO2013094385A1 (ja) * 2011-12-19 2013-06-27 ソニー株式会社 画像処理装置および方法
CN114444638A (zh) * 2022-03-28 2022-05-06 中科谱光(郑州)应用科学技术研究院有限公司 一种基于多维数据采集技术的艺术品编码体系

Also Published As

Publication number Publication date
BRPI0406507B1 (pt) 2018-10-16
KR100999221B1 (ko) 2010-12-07
AU2004214795A2 (en) 2004-09-10
US8630342B2 (en) 2014-01-14
US20120039390A1 (en) 2012-02-16
CN101247524A (zh) 2008-08-20
WO2004077810A2 (en) 2004-09-10
CN101247524B (zh) 2011-05-04
US8081678B2 (en) 2011-12-20
US20140126632A1 (en) 2014-05-08
US20060159165A1 (en) 2006-07-20
EP1597909A4 (en) 2007-06-06
MXPA05006718A (es) 2005-09-08
EP1597909A2 (en) 2005-11-23
JP4348209B2 (ja) 2009-10-21
KR20100083853A (ko) 2010-07-22
AU2004214795B2 (en) 2009-01-08
AU2004214795B9 (en) 2009-06-04
KR20050099964A (ko) 2005-10-17
CA2513537C (en) 2013-03-26
BRPI0406507A (pt) 2005-12-06
KR101004208B1 (ko) 2010-12-24
BRPI0406507A8 (pt) 2016-07-12
CA2513537A1 (en) 2004-09-10
WO2004077810A3 (en) 2004-11-04
AU2004214795A1 (en) 2004-09-10
CN1751511A (zh) 2006-03-22
CN100387059C (zh) 2008-05-07
US9071817B2 (en) 2015-06-30
AU2004214795A9 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
JP4348209B2 (ja) 画像符号化方法および画像復号化方法
JP5102344B2 (ja) 動画像符号化方法、動画像符号化装置、プログラムおよび記録媒体
JP5242719B2 (ja) 画像符号化方法
JP5485431B2 (ja) 画像符号化装置及び画像符号化方法
JP5249363B2 (ja) 量子化マトリクスの符号化方法および動画像の符号化装置
JP5085671B2 (ja) 復号化システムおよび復号化装置
KR20050088918A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
JP2004242286A (ja) 動画像符号化方法および動画像復号化方法
JP4481612B2 (ja) 画像復号化装置及びその方法
JP4481970B2 (ja) 画像符号化装置及びその方法
JP2004120138A (ja) 動画像符号化方法および動画像復号化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090717

R150 Certificate of patent or registration of utility model

Ref document number: 4348209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term