JP2003230142A - 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 - Google Patents

画像情報符号化方法及び装置、並びにプログラム及び記録媒体

Info

Publication number
JP2003230142A
JP2003230142A JP2002207487A JP2002207487A JP2003230142A JP 2003230142 A JP2003230142 A JP 2003230142A JP 2002207487 A JP2002207487 A JP 2002207487A JP 2002207487 A JP2002207487 A JP 2002207487A JP 2003230142 A JP2003230142 A JP 2003230142A
Authority
JP
Japan
Prior art keywords
quantization
image information
dead zone
orthogonal transform
transform coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002207487A
Other languages
English (en)
Other versions
JP2003230142A5 (ja
JP4254147B2 (ja
Inventor
Kuniaki Takahashi
邦明 高橋
Teruhiko Suzuki
輝彦 鈴木
Yoichi Yagasaki
陽一 矢ヶ崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002207487A priority Critical patent/JP4254147B2/ja
Publication of JP2003230142A publication Critical patent/JP2003230142A/ja
Publication of JP2003230142A5 publication Critical patent/JP2003230142A5/ja
Application granted granted Critical
Publication of JP4254147B2 publication Critical patent/JP4254147B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 視覚特性を考慮したデッドゾーンを設けて
量子化することにより、低ビットレートでの高効率な圧
縮を実現する。 【解決手段】 画像情報符号化装置70において、デッ
ドゾーン算出部71は、量子化の際の量子化ステップサ
イズに対する仮想的な重み付け処理を考慮して、例えば
高域直交変換係数ほど広くなるように、直交変換係数の
成分毎に、量子化出力を0とする入力の範囲であるデッ
ドゾーンを算出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、MPEG(Moving
Picture Experts Group)、H.26xなどの様に、離
散コサイン変換又はカルーネン・レーベ変換等の直交変
換と動き補償とによって圧縮された画像情報(ビットス
トリーム)を、衛星放送、ケーブルTV若しくはインタ
ーネット等のネットワークメディアを介して受信する際
に、又は光ディスク、磁気ディスク若しくはフラッシュ
メモリ等の記憶メディア上で処理する際に用いられる画
像情報符号化方法及びその装置、並びにプログラム及び
記録媒体に関するものである。
【0002】
【従来の技術】近年、画像情報をデジタルとして取り扱
い、その際、効率の高い情報の伝送、蓄積を目的とし、
画像情報特有の冗長性を利用して、離散コサイン変換等
の直交変換と動き補償とにより圧縮するMPEGなどの
方式に準拠した装置が、放送局などの情報配信、及び一
般家庭における情報受信の双方において普及しつつあ
る。
【0003】特に、MPEG2(ISO/IEC 13818-2)
は、汎用画像符号化方式として定義されており、飛び越
し走査画像及び順次走査画像の双方、並びに標準解像度
画像及び高精細画像を網羅する標準で、プロフェッショ
ナル用途及びコンシューマー用途の広範なアプリケーシ
ョンに現在広く用いられている。MPEG2圧縮方式を
用いることにより、例えば720×480画素を持つ標
準解像度の飛び越し走査画像であれば4〜8Mbps、
1920×1088画素を持つ高解像度の飛び越し走査
画像であれば18〜22Mbpsの符号量(ビットレー
ト)を割り当てることで、高い圧縮率と良好な画質の実
現が可能である。
【0004】MPEG2は、主として放送用に適合する
高画質符号化を対象としていたが、MPEG1より低い
符号量(ビットレート)、つまりより高い圧縮率の符号
化方式には対応していなかった。携帯端末の普及によ
り、今後そのような符号化方式のニーズは高まると思わ
れ、これに対応してMPEG4符号化方式の標準化が行
われた。画像符号化方式に関しては、1998年12月
にISO/IEC 14496-2としてその規格が国際標準に承認さ
れた。
【0005】さらに、近年、テレビ会議用の画像符号化
を当初の目的として、JVT(ITU-T Q6/16 VCEG)とい
う標準の規格化が進んでいる。このJVTは、MPEG
2やMPEG4といった従来の符号化方式に比べ、その
符号化、復号により多くの演算量が要求されるものの、
より高い符号化効率が実現されることが知られている。
また、現在、MPEG4の活動の一環として、このJV
Tをベースに、JVTではサポートされない機能をも取
り入れ、より高い符号化効率を実現する標準化がJoint
Model of Enhanced-Compression Video Codingとして行
われている。
【0006】ここで、離散コサイン変換又はカルーネン
・レーベ変換等の直交変換と動き補償とにより画像圧縮
を実現する画像情報符号化装置の概略構成を図11に示
す。図11に示すように、画像情報符号化装置100
は、A/D変換部101と、画面並べ替えバッファ10
2と、加算器103と、直交変換部104と、量子化部
105と、可逆符号化部106と、蓄積バッファ107
と、逆量子化部108と、逆直交変換部109と、フレ
ームメモリ110と、動き予測・補償部111と、レー
ト制御部112とにより構成されている。
【0007】図11において、A/D変換部101は、
入力された画像信号をデジタル信号に変換する。そし
て、画面並べ替えバッファ102は、当該画像情報符号
化装置100から出力される画像圧縮情報のGOP(Gr
oup of Pictures)構造に応じて、フレームの並べ替え
を行う。ここで、画面並び替えバッファ102は、イン
トラ(画像内)符号化が行われる画像に関しては、フレ
ーム全体の画像情報を直交変換部104に供給する。直
交変換部104は、画像情報に対して離散コサイン変換
又はカルーネン・レーベ変換等の直交変換を施し、得ら
れた直交変換係数を量子化部105に供給する。量子化
部105は、直交変換部104から供給された直交変換
係数に対して量子化処理を施す。
【0008】可逆符号化部106は、量子化された直交
変換係数に対して可変長符号化、算術符号化等の可逆符
号化を施し、符号化された直交変換係数を蓄積バッファ
107に供給して蓄積させる。この符号化された直交変
換係数は、画像圧縮情報として出力される。
【0009】量子化部105の挙動は、レート制御部1
12によって制御される。また、量子化部105は、量
子化後の直交変換係数を逆量子化部108に供給し、逆
量子化部108は、その直交変換係数を逆量子化する。
逆直交変換部109は、逆量子化された直交変換係数に
対して逆直交変換処理を施して復号画像情報を生成し、
その情報をフレームメモリ110に供給して蓄積させ
る。
【0010】一方、画面並び替えバッファ102は、イ
ンター(画像間)符号化が行われる画像に関しては、画
像情報を動き予測・補償部111に供給する。動き予測
・補償部111は、同時に参照される画像情報をフレー
ムメモリ110より取り出し、動き予測・補償処理を施
して参照画像情報を生成する。動き予測・補償部111
は、この参照画像情報を加算器103に供給し、加算器
103は、参照画像情報を当該画像情報との差分信号に
変換する。また、動き補償・予測部111は、同時に動
きベクトル情報を可逆符号化部106に供給する。
【0011】可逆符号化部106は、その動きベクトル
情報に対して可変長符号化又は算術符号化等の可逆符号
化処理を施し、画像圧縮情報のヘッダ部に挿入される情
報を形成する。なお、その他の処理については、イント
ラ符号化を施される画像圧縮情報と同様であるため、説
明を省略する。
【0012】続いて、上述した画像情報符号化装置10
0に対応する画像情報復号装置の概略構成を図12に示
す。図12に示すように、画像情報復号装置120は、
蓄積バッファ121と、可逆復号部122と、逆量子化
部123と、逆直交変換部124と、加算器125と、
画面並べ替えバッファ126と、D/A変換部127
と、動き予測・補償部128と、フレームメモリ129
とにより構成されている。
【0013】図12において、蓄積バッファ121は、
入力された画像圧縮情報を一時的に格納した後、可逆復
号部14に転送する。可逆復号部122は、定められた
画像圧縮情報のフォーマットに基づき、画像圧縮情報に
対して可変長復号又は算術復号等の処理を施し、量子化
された直交変換係数を逆量子化部123に供給する。ま
た、可逆復号部122は、当該フレームがインター符号
化されたものである場合には、画像圧縮情報のヘッダ部
に格納された動きベクトル情報についても復号し、その
情報を動き予測・補償部128に供給する。
【0014】逆量子化部123は、可逆復号部122か
ら供給された量子化後の直交変換係数を逆量子化し、得
られた直交変換係数を逆直交変換部124に供給する。
逆直交変換部124は、定められた画像圧縮情報のフォ
ーマットに基づき、直交変換係数に対して逆離散コサイ
ン変換又は逆カルーネン・レーベ変換等の逆直交変換を
施す。
【0015】ここで、当該フレームがイントラ符号化さ
れたものである場合には、逆直交変換処理が施された画
像情報は、画面並べ替えバッファ126に格納され、D
/A変換部127におけるD/A変換処理の後に出力さ
れる。
【0016】一方、当該フレームがインター符号化され
たものである場合には、動き予測・補償部128は、可
逆復号処理が施された動きベクトル情報とフレームメモ
リ129に格納された画像情報とに基づいて参照画像を
生成し、加算器125に供給する。加算器125は、こ
の参照画像と逆直交変換部124の出力とを合成する。
なお、その他の処理については、イントラ符号化された
フレームと同様であるため、説明を省略する。
【0017】ところで、MPEG2ビデオ規格において
は、量子化についての直接的な規定はされておらず、逆
量子化についてのみ、その詳細な規定がなされている。
したがって、実際に量子化を行う際には、量子化の規定
に含まれるいくつかの媒介変数を変化させ、その自由度
内の範囲内で量子化特性を変化させることにより、高画
質化や視覚特性を反映した符号化を行うことになる。以
下、MPEG2における逆量子化処理について説明す
る。
【0018】MPEG2ビデオ規格において、イントラ
マクロブロックのDC係数量子化では、ピクチャ単位に
その量子化精度を指定することが可能であり、その他の
係数の量子化では、ピクチャ単位で指定可能な量子化行
列の各要素にマクロブロック単位で指定可能な量子化ス
ケールを乗じた値により、各係数の量子化精度を制御す
ることができる。
【0019】イントラマクロブロックのDC係数は、以
下の式(1)に従って逆量子化される。
【0020】
【数6】
【0021】ここで、式(1)において、F"[0][0]
はDC係数値の量子化代表値を示し、QF[0][0]はD
C係数値の量子化代表値レベル番号を示す。また、intr
a_dc_multは、DC係数量子化精度を指定するためにピ
クチャ単位で設定可能な媒介変数であるintra_dc_preci
sionに従い、図13に示す関係で決まる値である。
【0022】ここで、MPEG1においては、intra_dc
_precisionが0に対応する精度(8ビット精度相当)の
みであったが、輝度レベルが緩やかに変化する画像を高
画質で符号化するためには、この精度では不十分であっ
た。そこで、MPEG2においては、図13に示すよう
に、本媒介変数を用いて8〜11ビット精度相当のDC
係数量子化精度を指定することが可能となっている。但
し、4:2:2フォーマットでの使用が可能であり画質
への要求レベルが高いHighプロファイル以外では、
最高10ビット精度で十分とし、8〜10ビット精度に
制限されている。
【0023】また、イントラマクロブロックのその他の
係数は、以下の式(2)に従って逆量子化される。
【0024】
【数7】
【0025】ここで、式(2)において、F"[u][v]
は第(u,v)係数値の量子化代表値を示し、QF[u]
[v]は第(u,v)係数値の量子化代表値レベル番号を
示す。また、kの値は、以下の式(3)により定義され
る。
【0026】
【数8】
【0027】また、上述した式(2)において、W[w]
[u][v]及びquantiser_scaleは、それぞれ量子化行列
及び量子化スケールを示し、これらの媒介変数によって
量子化特性が制御される。
【0028】また、媒介変数kは、非イントラマクロブ
ロックにおいて、その値がQF[u][v]の符号に応じて
1、0、−1となる。例えば、QF[u][v]が−2、−
1、0、1、2である場合のF"[u][v]は、それぞれ
−5m、−3m、0、3m、5m(mは定数)となり、
零近傍にデッドゾーンが設けられている。
【0029】ところで、量子化行列は、ブロック内での
離散コサイン変換係数値間での相対的な量子化精度を設
定するために設けられた行列である。この量子化行列を
用いることにより、例えば視覚的に劣化の目立ちにくい
高域離散コサイン係数値を、視覚的に劣化の目立ちやす
い低域離散コサイン係数と比較して粗く量子化するとい
った処理が可能となり、量子化特性を視覚特性に合致さ
せることができる。なお、量子化行列は、ピクチャ単位
で設定することが可能である。
【0030】MPEG1及びMPEG2の4:2:0フ
ォーマットの場合、イントラマクロブロック用と非イン
トラマクロブロック用の2種類の量子化行列を設定する
ことができ、4:2:2フォーマット及び4:4:4フ
ォーマットの場合には、さらに輝度信号と色差信号とで
独立に合計4種類の量子化行列を設定することができ
る。なお、W[w][u][v]におけるw(0,1,2,
3)は、4種類の行列のうちの1つを意味する。
【0031】ここで、MPEG2において定められてい
るイントラマクロブロック及び非イントラマクロブロッ
クの量子化行列のデフォルト値をそれぞれ図14
(A)、(B)に示す。上述したように、量子化行列
は、ユーザがピクチャ単位で設定可能であるが、設定さ
れていない場合にはこのデフォルト値が用いられる。図
14に示すように、デフォルト値ではイントラマクロブ
ロックに対してのみ重みを有している。
【0032】なお、MPEG2 Test Model 5(ISO/IEC JTC/
SC29/WG11/N0400)においては、非イントラマクロブロ
ックに対して図15に示すような量子化行列が定義され
ている。これは、図14(B)に示したデフォルト値と
は異なり、重みを有した特性となっている。
【0033】量子化スケール(quantiser_scale)は、
量子化特性のスケーリングを行うことにより発生符号量
を制御するための媒介変数であり、ピクチャ単位で設定
される媒介変数q_scale_typeと、マクロブロック単位で
設定される量子化スケールコードquantiser_scale_code
により設定される。図16にこれらの関係を示す。
【0034】ここで、q_scale_typeが0の場合には線形
量子化となり、MPEG1と同様、quantiser_scale_co
de(1〜31)の2倍の値がquantiser_scale(2〜6
2)に設定される。
【0035】また、q_scale_typeが1の場合には非線形
量子化となり、quantiser_scale_code(1〜31)は、
小さい量子化スケールコードではより細かく、大きな量
子化スケールコードではより粗くスケーリングすること
により、線形量子化の場合に比べ、広い範囲のquantise
r_scale(1〜112)に変換される。このモードは、
MPEG2において新たに導入されたもので、特に高い
レートで符号化する場合に、小さな量子化スケール領域
でより細かな量子化スケール制御を行うことや、極めて
複雑な画像を符号化する場合に、より粗い量子化スケー
ルを用いることが可能となり、MPEG1と比較して、
より安定した符号量制御を実現することができる。
【0036】一方、JVTにおいては、量子化/逆量子
化を行うための媒介変数QPには0〜51の52の異な
る値が使われる。ここで、QPは、値が6増える毎に量
子化スケールが2倍になるように設定されている。すな
わち、QPが1増す毎に量子化スケールが約12%増加
する。
【0037】なお、色差成分に使用されるQPは、輝
度成分に使用されるQPから、以下の表1に示す対照
表に従って算出される。以下では、特に断りのない限
り、QPのことをQPと呼ぶことにする。
【0038】
【表1】
【0039】ここで、JVTにおいては、4×4離散コ
サイン変換に基づく符号化が行われるが、輝度信号と色
差信号とについて、実際には、以下の演算が行われる。
すなわち、X=(x00,….x33)を画素値又は差
分値とし、Yを直交変換係数とした場合に、以下の式
(4)に示すような離散コサイン変換に相当する処理が
実行される。
【0040】
【数9】
【0041】次に量子化処理として、以下の式(5)に
示すような処理が実行される。
【0042】
【数10】
【0043】ここで、式(5)において、Yは量子化
された直交変換係数を示し、Qは量子化ステップサイズ
に対応する量子化係数を示す。また、fはイントラマク
ロブロックでは215+QP/6/3、インターマクロ
ブロックでは215+QP/ /6とし、量子化される
直交変換係数Yと同じ正負の符号を持つとする。なお、
Qは以下に示すように定義されている。 Q[QP%6][i][j]=quantMat[QP%6][0] for (i,j)={(0,
0),(0,2),(2,0),(2,2)}, Q[QP%6][i][j]=quantMat[QP%6][1] for (i,j)={(1,
1),(1,3),(3,1),(3,3)}, Q[QP%6][i][j]=quantMat[QP%6][2] otherwise. quantMat[6][3]={{13107, 5243, 8224}, {11651, 466
0, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825},
{8322, 3290, 5243}, {7384, 2943, 4660}}
【0044】また、量子化後の逆量子化処理として、以
下の式(6)に示すような処理が実行される。
【0045】
【数11】
【0046】ここで、式(6)において、Rは逆量子化
係数を示し、以下に示すように定義されている。 R[QP%6][i][j]=dequantMat[QP%6][0] for (i,j)={(0,
0),(0,2),(2,0),(2,2)}, R[QP%6][i][j]=dequantMat[QP%6][1] for (i,j)={(1,
1),(1,3),(3,1),(3,3)}, R[QP%6][i][j]=dequantMat[QP%6][2] otherwise. dequantMat[6][3]={{10, 16, 13}, {11, 18, 14}, {1
3, 20, 16}, {14, 23,18}, {16, 25, 20}, {18, 29, 2
3}}
【0047】次に逆離散コサイン変換処理として、以下
の式(7)に示すような処理が実行され、正規化処理と
して、以下の式(8)に示すような処理が実行される。
【0048】
【数12】
【0049】最後に、復号された予測残差値X"(i,
j)は、以下の式(9)に示すように、動き補償予測値
又は空間予測値P(i,j)と足し合わされ、0から2
55の範囲にクリッピングされて最終復号画素値が算出
される。
【0050】
【数13】
【0051】ところで、JVTでは、イントラ16×1
6モードにおいて、輝度信号のDC成分をさらに4×4
単位のブロックに集め、アダマール変換を施して圧縮率
を向上させている。輝度信号の4×4DC成分の直交変
換及び量子化は、以下の手法に基づいて実行される。
【0052】先ず、4×4変換によって算出された直交
変換係数の16個の輝度信号DC成分が集められて4×
4単位の入力マトリックスXとされ、アダマール変換
に相当する処理として、以下の式(10)に示すような
処理が実行される。
【0053】
【数14】
【0054】次に、量子化処理として、以下の式(1
1)に示すような処理が実行される。
【0055】
【数15】
【0056】また、逆アダマール変換に相当する処理と
して、以下の式(12)に示すような処理が実行され
る。
【0057】
【数16】
【0058】次に、QPが12以上である場合には、逆
量子化処理として、以下の式(13)に示すような処理
が実行され、QPが12未満である場合には、逆量子化
処理として、以下の式(14)に示すような処理が実行
される。
【0059】
【数17】
【0060】また、JVTでは、色差信号のDC成分に
ついても、さらに2×2画素のブロックに集め、アダマ
ール変換を施して圧縮率を向上させている。色差信号の
2×2DC成分の直交変換及び量子化は、以下の手法に
基づいて実行される。
【0061】先ず、4個の色差DC成分が集められて2
×2画素の入力マトリックスXとされ、アダマール変
換に相当する処理として、以下の式(15)に示すよう
な処理が実行される。
【0062】
【数18】
【0063】次に、量子化処理として、以下の式(1
6)に示すような処理が実行される。
【0064】
【数19】
【0065】また、逆アダマール変換に相当する処理と
して、以下の式(17)に示すような処理が実行され
る。
【0066】
【数20】
【0067】次に、QPが6以上である場合には、逆量
子化処理として、以下の式(18)に示すような処理が
実行され、QPが6未満である場合には、逆量子化処理
として、以下の式(19)に示すような処理が実行され
る。
【0068】
【数21】
【0069】なお、直交変換及び量子化の一連の処理
は、16ビット演算でオーバーフローが起こらないよう
規格化されている。
【0070】
【発明が解決しようとする課題】ところで、上述のJV
Tで規定されている量子化/逆量子化においては、MP
EG2で規定されているような、量子化行列を用いた直
交変換係数の重み付けや、量子化処理におけるデッドゾ
ーンに関する機能が含まれていないため、視覚特性に基
づいた効率的な量子化を行うことができない。
【0071】本発明は、このような従来の実情に鑑みて
提案されたものであり、視覚特性を考慮したデッドゾー
ンを設けて量子化することにより、低ビットレートでの
高効率な圧縮を実現する画像情報符号化方法及びその装
置、並びにそのような画像情報符号化処理をコンピュー
タに実行させるプログラム及びそのプログラムが記録さ
れたコンピュータ読み取り可能な記録媒体を提供するこ
とを目的とする。
【0072】
【課題を解決するための手段】上述した目的を達成する
ために、本発明に係る画像情報符号化方法は、入力画像
信号をブロック化し、該ブロック単位で直交変換を施し
て量子化を行う画像情報符号化方法において、上記量子
化の際に、上記ブロックの直交変換係数の成分毎に決定
された量子化ステップサイズにおけるデッドゾーンに対
して所定の変更を加えたデッドゾーンを設定するもので
ある。
【0073】このような画像情報符号化方法では、量子
化の際の量子化ステップサイズに対する仮想的な重み付
け処理を考慮して、例えば高域直交変換係数ほど量子化
の出力が0となる入力の範囲であるデッドゾーンが広く
なるように、直交変換係数の成分毎にデッドゾーンに対
して所定の変更が加えられる。
【0074】また、上述した目的を達成するために、本
発明に係る画像情報符号化装置は、力画像信号をブロッ
ク化し、該ブロック単位で直交変換を施して量子化を行
う画像情報符号化装置において、上記量子化の際に、上
記ブロックの直交変換係数の成分毎に決定された量子化
ステップサイズにおけるデッドゾーンに対して所定の変
更を加えたデッドゾーンを設定するデッドゾーン設定手
段を備える。
【0075】このような画像情報符号化装置は、量子化
の際の量子化ステップサイズに対する仮想的な重み付け
処理を考慮して、例えば高域直交変換係数ほど量子化の
出力が0となる入力の範囲であるデッドゾーンが広くな
るように、直交変換係数の成分毎にデッドゾーンに対し
て所定の変更を加える。
【0076】また、本発明に係るプログラムは、上述し
た画像情報符号化処理をコンピュータに実行させるもの
であり、本発明に係る記録媒体は、そのようなプログラ
ムが記録されたコンピュータ読み取り可能なものであ
る。
【0077】
【発明の実施の形態】以下、本発明を適用した具体的な
実施の形態について、図面を参照しながら詳細に説明す
る。この実施の形態は、本発明を、視覚特性を考慮した
デッドゾーンを設けて量子化することにより、低ビット
レートでの高効率な圧縮を実現する画像情報符号化方法
及びその装置に適用したものである。具体的には、本実
施の形態における画像情報符号化方法及びその装置で
は、量子化の際の量子化ステップサイズに対する仮想的
な重み付け処理を考慮して、直交変換係数の成分毎にデ
ッドゾーンが算出される。
【0078】そこで、以下では、本実施の形態における
画像情報符号化方法及びその方法の説明の前に、量子化
ステップサイズに対する重み付けを実際に行って量子化
及び逆量子化する画像情報符号化装置及び画像情報復号
装置について説明する。
【0079】先ず、本実施の形態の説明に供する画像情
報符号化装置の概略構成を図1に示す。図1に示すよう
に、画像情報符号化装置10は、A/D変換部11と、
画面並べ替えバッファ12と、加算器13と、直交変換
部14と、量子化部15と、重み付け部16と、可逆符
号化部17と、蓄積バッファ18と、逆量子化部19
と、重み付け部20と、逆直交変換部21と、フレーム
メモリ22と、動き予測・補償部23と、レート制御部
24とにより構成されている。
【0080】図1において、A/D変換部11は、入力
された画像信号をデジタル信号に変換する。そして、画
面並べ替えバッファ12は、当該画像情報符号化装置1
0から出力される画像圧縮情報のGOP(Group of Pic
tures)構造に応じて、フレームの並べ替えを行う。こ
こで、画面並び替えバッファ12は、イントラ(画像
内)符号化が行われる画像に関しては、フレーム全体の
画像情報を直交変換部14に供給する。直交変換部14
は、画像情報に対して離散コサイン変換又はカルーネン
・レーベ変換等の直交変換を施し、得られた直交変換係
数を量子化部15に供給する。
【0081】量子化部15は、直交変換部14から供給
された直交変換係数に対して量子化処理を施す。その
際、量子化部15の構成要素である重み付け部16は、
後述するようにして、直交変換係数の成分毎に、量子化
ステップサイズを指定するための媒介変数QPの重み付
けを行う。
【0082】可逆符号化部17は、量子化された直交変
換係数に対して可変長符号化又は算術符号化等の可逆符
号化を施し、符号化された直交変換係数を蓄積バッファ
18に供給して蓄積させる。この符号化された直交変換
係数は、画像圧縮情報として出力される。
【0083】量子化部15の挙動は、レート制御部24
によって制御される。また、量子化部15は、量子化後
の直交変換係数を逆量子化部19に供給し、逆量子化部
19は、その直交変換係数を逆量子化する。その際、逆
量子化部19の構成要素である重み付け部20は、後述
するようにして、量子化された直交変換係数の成分毎
に、量子化ステップサイズを指定するための媒介変数Q
Pの重み付けを行う。
【0084】逆直交変換部21は、逆量子化された直交
変換係数に対して逆直交変換処理を施して復号画像情報
を生成し、その情報をフレームメモリ22に供給して蓄
積させる。
【0085】一方、画面並び替えバッファ12は、イン
ター(画像間)符号化が行われる画像に関しては、画像
情報を動き予測・補償部23に供給する。動き予測・補
償部23は、同時に、参照される画像情報をフレームメ
モリ22より取り出し、動き予測・補償処理を施して参
照画像情報を生成する。
【0086】動き予測・補償部23は、この参照画像情
報を加算器13に供給し、加算器13は、参照画像情報
を当該画像情報との差分信号に変換する。また、動き補
償・予測部23は、同時に動きベクトル情報を可逆符号
化部17に供給する。
【0087】可逆符号化部17は、その動きベクトル情
報に対して可変長符号化又は算術符号化等の可逆符号化
処理を施し、画像圧縮情報のヘッダ部に挿入される情報
を形成する。なお、その他の処理については、イントラ
符号化を施される画像圧縮情報と同様であるため、説明
を省略する。
【0088】次に、上述した画像情報符号化装置10か
ら出力された画像圧縮情報を復号する画像情報復号装置
の概略構成を図2に示す。図2に示すように、画像情報
復号装置30は、蓄積バッファ31と、可逆復号部32
と、逆量子化部33と、重み付け部34と、逆直交変換
部35と、加算器36と、画面並べ替えバッファ37
と、D/A変換部38と、動き予測・補償部39と、フ
レームメモリ40とにより構成されている。
【0089】図2において、蓄積バッファ31は、入力
された画像圧縮情報を一時的に格納した後、可逆復号部
32に転送する。可逆復号部32は、定められた画像圧
縮情報のフォーマットに基づき、画像圧縮情報に対して
可変長復号又は算術復号等の処理を施し、量子化された
直交変換係数を逆量子化部33に供給する。また、可逆
復号部32は、当該フレームがインター符号化されたも
のである場合には、画像圧縮情報のヘッダ部に格納され
た動きベクトル情報についても復号し、その情報を動き
予測・補償部39に供給する。
【0090】逆量子化部33は、可逆復号部32から供
給された量子化後の直交変換係数を逆量子化し、逆量子
化後の直交変換係数を逆直交変換部35に供給する。そ
の際、逆量子化部33の構成要素である重み付け部34
は、後述するようにして、量子化された直交変換係数の
成分毎に、量子化ステップサイズを指定するための媒介
変数QPの重み付けを行う。逆直交変換部35は、定め
られた画像圧縮情報のフォーマットに基づき、直交変換
係数に対して逆離散コサイン変換又は逆カルーネン・レ
ーベ変換等の逆直交変換を施す。
【0091】ここで、当該フレームがイントラ符号化さ
れたものである場合には、逆直交変換部35は、逆直交
変換処理後の画像情報を画面並べ替えバッファ37に供
給する。画面並び替えバッファ37は、この画像情報を
一時的に格納した後、D/A変換部38に供給する。D
/A変換部38は、この画像情報に対してD/A変換処
理を施して出力する。
【0092】一方、当該フレームがインター符号化され
たものである場合には、動き予測・補償部39は、可逆
復号処理が施された動きベクトル情報とフレームメモリ
40に格納された画像情報とに基づいて参照画像を生成
する。加算器36は、この参照画像と逆直交変換部35
の出力とを合成する。なお、その他の処理については、
イントラ符号化されたフレームと同様であるため、説明
を省略する。
【0093】ところで、上述したように、画像情報符号
化装置10及び画像情報復号装置30では、重み付け部
16,20,34において、量子化ステップサイズを指
定するための媒介変数QPの重み付け処理を行って、量
子化及び逆量子化が行われている。そして、この重み付
け処理によって、視覚的に劣化の目立ちにくい高域直交
変換係数を、視覚的に劣化の目立ちやすい低域直交変換
係数に比べて粗く量子化することが可能とされる。
【0094】そこで、以下では、この重み付け処理につ
いて説明する。なお、重み付け部16,20,34の動
作原理は同様であるため、以下では重み付け部16の動
作原理についてのみ説明する。
【0095】重み付け部16においては、イントラマク
ロブロックとインターマクロブロックのそれぞれに対し
て、デフォルトで、それぞれ図3(A)、(B)に示す
ようなWintra(i,j)及びWinter(i,
j)(i,j=0,1,2,3)に関する情報が含まれている。
【0096】また、輝度信号と色差信号のそれぞれに対
して、デフォルトで、それぞれ図3(A),(B)に示
すような、Wluma(i,j)及びW
chroma(i,j)(i,j=0,1,2,3)に関する情報
を含むようにすることもできる。
【0097】以下では、Wintra(i,j)及びW
inter(i,j)、或いはW uma(i,j)及
びWchroma(i,j)に関する処理が同等である
ため、特に断りのない限り、これらをW(i,j)と表
記する。
【0098】なお、Wintra(i,j)及びW
inter(i,j)、或いはWlum (i,j)及
びWchroma(i,j)は、図3に示したデフォル
ト値に限定されるものではなく、ユーザがピクチャ単位
で設定することが可能である。その際、W(i,j)の
値そのものを出力となる画像圧縮情報に埋め込むことも
可能であるが、その差分値を生成し、又は可変長符号
化、算術符号化等の可逆符号化方式を用いてその情報量
を削減し、出力される画像圧縮情報に埋め込んでもよ
い。
【0099】ここで、重み付け部16においては、画像
圧縮情報中に格納される、マクロブロックごとの量子化
のための媒介変数QPを元に、4×4離散コサイン変換
係数のそれぞれの成分に対して、以下の式(20)に示
すような変数QQP(i,j)が定義される。
【0100】
【数22】
【0101】量子化/逆量子化処理に関しては、上述し
たJVTにおけるQ(QP%6,i,j)及びR(QP%6,i,j)に
代え、各成分毎に、Q(QQP%6,i,j)及びR(QQP%6,i,
j)を用いて、JVTと同様の処理を行う。
【0102】なお、QPのダイナミックレンジは0〜5
1であるが、上述した式(20)においては、QQP
(i,j)の値がこのダイナミックレンジから外れる可
能性がある。そこで、QQP(i,j)の値が51を超
えた場合にはQQP(i,j)=51とし、0を下回っ
た場合にはQQP(i,j)=0とする。
【0103】ここで、上述したように、画像情報符号化
装置10及び画像情報復号装置30においては、デフォ
ルトで使用される重み行列が、輝度信号及び色差信号の
双方に対して、以下の式(21)、(22)のように定
義されている。
【0104】
【数23】
【0105】なお、実際に画像情報符号化装置10及び
画像情報復号装置30で量子化/逆量子化に用いられる
重み行列は必ずしもこの通りではなく、ピクチャ単位で
ユーザが設定することが可能である。
【0106】この重み行列に関する情報を、画像圧縮情
報中に埋め込むための構文の例を図4に示す。図4にお
いて、load_intra_quantiser_matrix、load_non_intra_
quantiser_matrix、load_chroma_intra_quantiser_matr
ix、及びload_chroma_non_intra_quantiser_matrixは、
それぞれ当該ピクチャで、輝度信号及び色差信号に対す
るイントラマクロブロック及びインターマクロブロック
において、デフォルトで定められた以外の重み行列が用
いられるか否かを示す1ビットのフラグであり、その値
が1を取るとき、当該ピクチャにおいてはデフォルト以
外の重み行列が用いられる。
【0107】例えばload_intra_quantiser_matrixの値
が1であった場合、後続のintra_quantiser_matrix[16]
において、それぞれの成分が4ビットで表された4×4
の重み行列に関する情報が埋め込まれる。
【0108】なお、上述のように、それぞれの成分が必
ずしも4ビットである必要はなく、8ビット又は12ビ
ット等で表されてもよい。
【0109】また、差分を取り、又は可変長符号化若し
くは算術符号化等の可逆符号化を施すことにより、intr
a_quantiser_matrix[16]に関する情報を圧縮してもよ
い。
【0110】また、上述の説明では、入力としてそれぞ
れの画素値が8ビットで表される画像情報を対象にして
いるが、例えばそれぞれの画素値が10ビットで表され
る画像情報に対しても拡張可能である。
【0111】以上説明したように、画像情報符号化装置
10及び画像情報復号装置30によれば、量子化ステッ
プサイズを指定するための媒介変数QPの重み付け処理
を行って量子化処理及び逆量子化処理を行うことによ
り、視覚的に劣化の目立ちにくい高域直交変換係数を、
視覚的に劣化の目立ちやすい低域直交変換係数に比べて
粗く量子化することが可能とされる。
【0112】ここで、上述の説明では、マクロブロック
ごとの量子化のための媒介変数QPに対して、4×4離
散コサイン変換係数のそれぞれの成分について重み行列
W(i,j)を加算し、得られた変数QQP(i,j)
を用いて量子化処理及び逆量子化処理を行った。しかし
ながら、このように4×4直交変換係数の全ての成分に
ついて重み行列W(i,j)を定義する例に限定される
ものではなく、視覚的に劣化の目立ちやすい低域直交変
換係数についてのみ媒介変数QPに対してオフセット値
を与え、量子化精度を向上させる処理を行うようにして
も構わない。
【0113】このような処理を行う画像情報符号化装置
及びこの画像符号化装置から出力された画像圧縮情報を
復号する画像情報復号装置の概略構成をそれぞれ図5、
図6に示す。
【0114】図5に示すように、画像情報符号化装置5
0の基本構成は、先に図1に示した画像情報符号化装置
10と同様とするが、重み付け部16,20の代わり
に、低域精度変更部51,52を備えており、低域直交
変換係数の量子化精度を変更する点に特徴を有してい
る。また、図6に示すように、画像情報復号装置60の
基本構成は、先に図2に示した画像情報復号装置30と
同様とするが、重み付け部34の代わりに、低域精度変
更部61を備えており、低域直交変換係数の逆量子化精
度を変更する点に特徴を有している。
【0115】したがって、先に図1、2に示した画像情
報符号化装置10及び画像情報復号装置30と同様の構
成については同一符号を付して詳細な説明を省略し、以
下では、低域精度変更部51,52,61における処理
について説明する。なお、低域精度変更部51,52,
61の動作原理は同様であるため、以下では低域精度変
更部51の動作原理についてのみ説明する。
【0116】低域精度変更部51においては、画像圧縮
情報中に格納される、マクロブロックごとの量子化のた
めの媒介変数QPを元に、4×4離散コサイン変換係数
の指定された成分に対して、以下の式(23)に示すよ
うな変数QQP(i,j)が定義される。
【0117】
【数24】
【0118】量子化/逆量子化処理に関しては、上述し
たJVTにおけるQ(QP%6,i,j)及びR(QP%6,i,j)に
代え、指定された成分毎に、Q(QQP%6,i,j)及びR(Q
QP%6,i,j)を用いて、JVTと同様の処理を行う。
【0119】なお、QPのダイナミックレンジは0〜5
1であるが、上述した式(23)においては、QQP
(i,j)の値がこのダイナミックレンジから外れる可
能性がある。そこで、QQP(i,j)の値が51を超
えた場合にはQQP(i,j)=51とし、0を下回っ
た場合にはQQP(i,j)=0とする。
【0120】ここで、低域精度変更部51では、予測モ
ード、量子化ステップサイズを変更する直交変換係数、
及び量子化ステップサイズの各々の項目の組み合わせに
準拠する構文を定義することができる。
【0121】すなわち、例えば予測モードについては、
16×16予測モード及び/又は4×4予測モード、或
いはユーザが指定した上記予測モードの任意の組み合わ
せについての構文を定義することができる。
【0122】また、量子化ステップサイズを変更する直
交変換係数については、例えば図7左の斜線で示すよう
にDC係数のみを変更するモード1、図7中央の斜線で
示すようにDC係数及び低域のAC係数2個を変更する
モード2、図7右の斜線で示すようにDC係数及び低域
のAC係数5個を変更するモード3、或いはユーザが指
定した直交変換係数についての構文を定義することがで
きる。
【0123】また、量子化ステップサイズとしては、デ
フォルト値(例えば−6)や、ユーザが設定したオフセ
ット値(offset_QP)についての構文を定義することが
できる。また、ユーザが指定した変数QQPの絶対値に
ついての構文を定義するようにしても構わない。
【0124】上述した予測モード、量子化ステップサイ
ズを変更する直交変換係数、及び量子化ステップサイズ
についての情報を画像圧縮情報中に埋め込むための構文
の例を図8に示す。なお、構文がこの例に限定されない
のは勿論であり、上述した項目の任意の組み合わせに準
拠する構文を定義することができる。
【0125】図8において、load_16x16, load_4x4は、
それぞれ当該ピクチャで、輝度信号及び色差信号に対す
るイントラマクロブロック及びインターマクロブロック
において、デフォルトで定められた以外の媒介変数QP
が用いられるか否かを示す1ビットのフラグであり、そ
の値が1を取るとき、当該ピクチャにおいてはデフォル
ト以外のQPが用いられる。
【0126】例えばload_16x16の値が1であった場合、
後続のoffset_QPにおいて、4ビットで表された媒介変
数QPのオフセット値に関する情報が埋め込まれる。さ
らに、後続のcoef_numにおいて、2ビットで表された量
子化ステップサイズを変更する直交変換係数に関する情
報、例えば上述の図7におけるモード1乃至モード3の
何れかに関する情報が埋め込まれる。
【0127】なお、上述のように、それぞれの成分が必
ずしも4ビットである必要はなく、8ビット又は12ビ
ット等で表されてもよい。
【0128】また、絶対値を取り、又は可変長符号化若
しくは算術符号化等の可逆符号化を施すことにより、of
fset_QPに関する情報を圧縮してもよい。
【0129】また、上述の説明では、入力としてそれぞ
れの画素値が8ビットで表される画像情報を対象にして
いるが、例えばそれぞれの画素値が10ビットで表され
る画像情報に対しても拡張可能である。
【0130】以上説明したように、画像情報符号化装置
50及び画像情報復号装置60によれば、低域直交変換
係数についてのみ、量子化ステップサイズを指定するた
めの媒介変数QPに対してオフセット値(offset_QP)
を与えることにより、視覚的に劣化の目立ちやすい低域
直交変換係数の量子化精度を上げ、復号画像の画質を向
上させることが可能となる。
【0131】ところで、上述の説明では、マクロブロッ
クごとの量子化のための媒介変数QPに対して、4×4
離散コサイン変換係数のそれぞれの成分、或いは指定さ
れた成分について重み付け処理を行うことで、視覚特性
を考慮した量子化を実現しており、重み付け処理機能を
有していることを前提としていた。
【0132】しかしながら、JVTにおいて重み付け処
理機能がない場合であっても、以下に説明するように、
入力値の零近傍の直交変換係数について視覚特性を考慮
したデッドゾーンを算出することによっても、上述と同
様の効果を奏することができる。
【0133】このようなデッドゾーン算出処理を行う本
発明の実施の形態における画像情報符号化装置の概略構
成を図9に示す。図9に示すように、画像情報符号化装
置70の基本構成は、先に図1に示した画像情報符号化
装置10と同様とするが、重み付け部16,20の代わ
りにデッドゾーン算出部71を備えており、視覚特性を
考慮したデッドゾーンを算出する点に特徴を有してい
る。
【0134】したがって、先に図1に示した画像情報符
号化装置10と同様の構成については同一符号を付して
詳細な説明を省略し、以下では、このデッドゾーン算出
部71におけるデッドゾーン算出処理についてのみ説明
する。
【0135】デッドゾーン算出部70においては、直交
変換係数毎に以下の式(24)に従ってデッドゾーンの
閾値T(i,j)を求める。
【0136】
【数25】
【0137】ここで、式(24)において、fはイント
ラマクロブロックでは215+QQ P/6/3、インタ
ーマクロブロックでは215+QQP/6/6とし、量
子化される直交変換係数Yと同じ正負の符号を持つとす
る。また、QQPは、前述した重み付け処理で用いたW
intra(i,j)及びWinter(i,j)(i,
j=0,1,2,3)等を用いて、算出したものとする。
【0138】このように算出されたデッドゾーンの閾値
T(i,j)を用いて、入力値Y(i,j)の絶対値が
T(i,j)の絶対値よりも小さい場合、量子化値Y
(i,j)を0とする。
【0139】同様に、輝度のDC成分をさらに4×4単
位のブロックに集めてアダマール変換を施した直交変換
係数Y(i,j)については、以下の式(25)に従
ってデッドゾーンの閾値T(i,j)を算出する。ま
た、色差のDC成分をさらに2×2単位のブロックに集
めてアダマール変換を施した直交変換係数Y(i,
j)については、以下の式(26)に従ってデッドゾー
ンの閾値T(i,j)を算出する。
【0140】
【数26】
【0141】そして、入力値Y(i,j)の絶対値が
(i,j)の絶対値よりも小さい場合、量子化値Y
DQ(i,j)を0とする。
【0142】入力値Y(i,j)と量子化値Y(i,
j)との対応グラフを図10に示す。図10に示すよう
に、本実施の形態の対応グラフ(a)におけるデッドゾ
ーンの閾値T(i,j)は、重み行列W(i,j)で重
み付け処理を行った場合の対応グラフ(b)における量
子化値がゼロとなる入力値の範囲において、同様に量子
化値がゼロとなるように算出されている。
【0143】以上説明したように、本実施の形態におけ
る画像情報符号化装置70によれば、視覚特性を考慮し
た重み付け処理のデッドゾーンと同等のデッドゾーンを
算出することができ、視覚特性を考慮した量子化処理を
行うことが可能となる。
【0144】また、このような視覚特性を考慮したデッ
ドゾーンを算出する手法では、従来通りのJVT復号器
で復号処理を行えるため、処理量の増加を伴わないとい
う利点がある。
【0145】なお、本発明は上述した実施の形態のみに
限定されるものではなく、本発明の要旨を逸脱しない範
囲において種々の変更が可能であることは勿論である。
【0146】例えば、本発明による手法は、任意の変換
方式に適用可能である。すなわち、演算精度や、整数変
換の変換マトリクスに依存せず、同様に適用可能であ
る。
【0147】また、本発明は、変換ブロックのサイズに
依存せず、任意のサイズの変換に対して同様に適用可能
である。また、4×4,4×8、8×4、8×8,16
×16の任意のブロックサイズで適応的に周波数変換を
行う適応可変ブロックサイズ変換方式にも同様に適用可
能である。
【0148】また、本発明、任意の処理をCPU(Cent
ral Processing Unit)にコンピュータプログラムを実
行させることにより実現することも可能である。この場
合、コンピュータプログラムは、記録媒体に記録して提
供することも可能であり、また、インターネットその他
の伝送媒体を介して伝送することにより提供することも
可能である。
【0149】
【発明の効果】以上詳細に説明したように本発明に係る
画像情報符号化方法は、入力画像信号をブロック化し、
該ブロック単位で直交変換を施して量子化を行う画像情
報符号化方法において、上記量子化の際に、上記ブロッ
クの直交変換係数の成分毎に決定された量子化ステップ
サイズにおけるデッドゾーンに対して所定の変更を加え
たデッドゾーンを設定するものである。
【0150】このような画像情報符号化方法では、量子
化の際の量子化ステップサイズに対する仮想的な重み付
け処理を考慮して、例えば高域直交変換係数ほど量子化
の出力が0となる入力の範囲であるデッドゾーンが広く
なるように、直交変換係数の成分毎にデッドゾーンに対
して所定の変更が加えられる。
【0151】これにより、視覚特性を考慮した重み付け
処理のデッドゾーンと同等のデッドゾーンを算出するこ
とができ、視覚特性を考慮した量子化処理を行うことが
可能となる。
【0152】また、本発明に係る画像情報符号化装置
は、力画像信号をブロック化し、該ブロック単位で直交
変換を施して量子化を行う画像情報符号化装置におい
て、上記量子化の際に、上記ブロックの直交変換係数の
成分毎に決定された量子化ステップサイズにおけるデッ
ドゾーンに対して所定の変更を加えたデッドゾーンを設
定するデッドゾーン設定手段を備える。
【0153】このような画像情報符号化装置は、量子化
の際の量子化ステップサイズに対する仮想的な重み付け
処理を考慮して、例えば高域直交変換係数ほど量子化の
出力が0となる入力の範囲であるデッドゾーンが広くな
るように、直交変換係数の成分毎にデッドゾーンに対し
て所定の変更を加える。
【0154】これにより、視覚特性を考慮した重み付け
処理のデッドゾーンと同等のデッドゾーンを算出するこ
とができ、視覚特性を考慮した量子化処理を行うことが
可能となる。
【0155】また、本発明に係るプログラムは、上述し
た画像情報符号化処理をコンピュータに実行させるもの
であり、本発明に係る記録媒体は、そのようなプログラ
ムが記録されたコンピュータ読み取り可能なものであ
る。
【0156】このようなプログラム及び記録媒体によれ
ば、上述した画像情報符号化処理をソフトウェアにより
実現することができる。
【図面の簡単な説明】
【図1】本実施の形態の説明に供する画像情報符号化装
置の概略構成を説明する図である。
【図2】本実施の形態の説明に供する画像情報復号装置
の概略構成を説明する図である。
【図3】同画像情報符号化装置の重み付け部に格納され
ている重み行列のデフォルト値を説明する図であり、同
図(A)は、イントラマクロブロック用又は輝度信号用
の重み行列を示し、同図(B)は、非イントラマクロブ
ロック用又は色差信号用の重み行列を示す。
【図4】重み行列に関する情報を画像圧縮情報中に埋め
込むための構文の例を説明する図である。
【図5】本実施の形態の説明に供する画像情報符号化装
置の概略構成の他の例を説明する図である。
【図6】本実施の形態の説明に供する画像情報復号装置
の概略構成の他の例を説明する図である。
【図7】量子化ステップサイズを変更する直交変換係数
の例を示す図である。
【図8】予測モード、量子化ステップサイズを変更する
直交変換係数、及び量子化ステップサイズについての情
報を画像圧縮情報中に埋め込むための構文の例を説明す
る図である。
【図9】本実施の形態における画像情報符号化装置の概
略構成を説明する図である。
【図10】同画像情報符号化装置の量子化部における入
力値と量子化値との対応グラフを示す図である。
【図11】直交変換と動き補償とにより画像圧縮を実現
する従来の画像情報符号化装置の概略構成を説明する図
である。
【図12】直交変換と動き補償により圧縮された画像圧
縮情報を復号する従来の画像情報復号装置の概略構成を
説明する図である。
【図13】MPEG2において定められた、intra_dc_p
recisionと、ビット精度、逆量子化係数及びDC予測リ
セット値との関係を説明する図である。
【図14】MPEG2で定められているイントラマクロ
ブロックとインターマクロブロックとに対する量子化行
列のデフォルト値を説明する図である。
【図15】MPEG2 Test Model 5において定められている
非イントラマクロブロックに対する量子化行列を説明す
る図である。
【図16】MPEG2における、量子化スケール(quan
tiser_scale)、ピクチャ単位で設定される媒介変数q_s
cale_type、及びマクロブロック単位で設定される量子
化スケールコードquantiser_scale_codeの関係を説明す
る図である。
【符号の説明】
10,50,70 画像情報符号化部、11 A/D変
換部、12 画面並べ替えバッファ、13 加算器、1
4 直交変換部、15 量子化部、16 重み付け部、
17 可逆符号化部、18 蓄積バッファ、19 逆量
子化部、20重み付け部、21 逆直交変換部、22
フレームメモリ、23 動き予測・補償部、24 レー
ト制御部、30,60 画像情報復号装置、31 蓄積
バッファ、32 可逆復号部、33 逆量子化部、34
重み付け部、35 逆直交変換部、36 加算器、3
7 画面並べ替えバッファ、38 D/A変換部、39
動き予測・補償部、40 フレームメモリ、51,5
2,61 低域精度変更部、71 デッドゾーン算出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 矢ヶ崎 陽一 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 LA01 LA09 MA21 MC15 MC32 MC34 ME02 ME11 NN01 SS06 SS11 SS20 TA46 TC15 TD12 UA02 UA32 UA33 UA38 UA39 5J064 AA02 BA16 BC01 BC06 BC16 BC26 BD01

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 入力画像信号をブロック化し、該ブロッ
    ク単位で直交変換を施して量子化を行う画像情報符号化
    方法において、 上記量子化の際に、上記ブロックの直交変換係数の成分
    毎に決定された量子化ステップサイズにおけるデッドゾ
    ーンに対して所定の変更を加えたデッドゾーンを設定す
    ることを特徴とする画像情報符号化方法。
  2. 【請求項2】 上記所定の変更は、低域直交変換係数と
    比較して高域直交変換係数ほど上記デッドゾーンが広く
    なるような変更であることを特徴とする請求項1記載の
    画像情報符号化方法。
  3. 【請求項3】 上記デッドゾーンは、上記量子化の際の
    上記量子化ステップサイズに対する仮想的な重み付け処
    理を考慮して、上記直交変換係数の成分毎に変更が加え
    られることを特徴とする請求項1記載の画像情報符号化
    方法。
  4. 【請求項4】 上記直交変換の単位となるブロックは、
    4×4画素からなり、 上記量子化ステップサイズQを指定するための媒介変数
    QPに対して、上記直交変換係数の成分Y(i,j)毎
    に重み付けのための配列W(i,j)を加算して得られ
    た変数QQP(i,j)を用いて、 【数1】 ただし、fはイントラマクロブロックでは2
    15+QQP/6/3、インターマクロブロックでは2
    15+QQP/6/6とし、上記Y(i,j)と同じ正
    負の符号を持つのように閾値T(i,j)が算出され、 上記Y(i,j)の絶対値が上記T(i,j)の絶対値
    よりも小さい場合に、当該Y(i,j)の量子化出力が
    0とされることを特徴とする請求項3記載の画像情報符
    号化方法。
  5. 【請求項5】 上記量子化ステップサイズQは、 Y(i,j)={(0,0),(0,2),(2,0),(2,2)}の場合、Q[QQP%6]
    [i][j]=quantMat[QQP%6][0] 、 Y(i,j)={(1,1),(1,3),(3,1),(3,3)}の場合、Q[QQP%6]
    [i][j]=quantMat[QQP%6][1] 、 Y(i,j)が上記以外の場合、Q[QQP%6][i][j]=quantMat[Q
    QP%6][2]であり、 上記quantMatは、 quantMat[6][3]={{13107, 5243, 8224}, {11651, 466
    0, 7358}, {10486, 4143, 6554}, {9198, 3687, 5825},
    {8322, 3290, 5243}, {7384, 2943, 4660}}であること
    を特徴とする請求項4記載の画像情報符号化方法。
  6. 【請求項6】 上記ブロックを含む符号化単位としての
    マクロブロック毎に画像内符号化又は画像間符号化が選
    択され、上記配列W(i,j)のデフォルト値又はピク
    チャ単位のユーザ設定値として、画像内符号化マクロブ
    ロックの場合にWintra(i,j) が用いられ、
    画像間符号化マクロブロックの場合にW
    inter(i,j) が用いられることを特徴とする
    請求項4記載の画像情報符号化方法。
  7. 【請求項7】 上記Wintra(i,j)として、 【数2】 が用いられ、上記Winter(i,j)として、 【数3】 が用いられることを特徴とする請求項6記載の画像情報
    符号化方法。
  8. 【請求項8】 上記デッドゾーンは、上記量子化後の輝
    度信号のDC成分を集めて構成された4×4画素単位の
    ブロックの各DC成分を量子化する際の上記量子化ステ
    ップサイズに対する仮想的な重み付け処理を考慮して、
    上記DC成分毎に変更が加えられることを特徴とする請
    求項1記載の画像情報符号化方法。
  9. 【請求項9】 上記量子化ステップサイズQを指定する
    ための媒介変数QPに対して、上記DC成分Y(i,
    j)毎に重み付けのための配列W(i,j)を加算して
    得られた変数QQP(i,j)を用いて、 【数4】 ただし、fはイントラマクロブロックでは2
    15+QQP/6/3、インターマクロブロックでは2
    15+QQP/6/6とし、上記Y(i,j)と同じ正
    負の符号を持つのように閾値T(i,j)が算出さ
    れ、 上記Y(i,j)の絶対値が上記T(i,j)の絶
    対値よりも小さい場合に、当該Y(i,j)の量子化
    出力が0とされることを特徴とする請求項8記載の画像
    情報符号化方法。
  10. 【請求項10】 上記デッドゾーンは、上記量子化後の
    色差信号のDC成分を集めて構成された2×2画素単位
    のブロックの各DC成分を量子化する際の上記量子化ス
    テップサイズに対する仮想的な重み付け処理を考慮し
    て、上記DC成分毎に変更が加えられることを特徴とす
    る請求項1記載の画像情報符号化方法。
  11. 【請求項11】 上記量子化ステップサイズQを指定す
    るための媒介変数QPに対して、上記DC成分Y
    (i,j)毎に重み付けのための配列W(i,j)を
    加算して得られた変数QQP(i,j)を用いて、 【数5】 ただし、fはイントラマクロブロックでは2
    15+QQP/6/3、インターマクロブロックでは2
    15+QQP/6/6とし、上記Y(i,j)と同じ正
    負の符号を持つのように閾値T(i,j)が算出さ
    れ、 上記Y(i,j)の絶対値が上記T(i,j)の絶
    対値よりも小さい場合に、当該Y(i,j)の量子化
    出力が0とされることを特徴とする請求項10記載の画
    像情報符号化方法。
  12. 【請求項12】 入力画像信号をブロック化し、該ブロ
    ック単位で直交変換を施して量子化を行う画像情報符号
    化装置において、 上記量子化の際に、上記ブロックの直交変換係数の成分
    毎に決定された量子化ステップサイズにおけるデッドゾ
    ーンに対して所定の変更を加えたデッドゾーンを設定す
    るデッドゾーン設定手段を備えることを特徴とする画像
    情報符号化装置。
  13. 【請求項13】 上記所定の変更は、低域直交変換係数
    と比較して高域直交変換係数ほど上記デッドゾーンが広
    くなるような変更であることを特徴とする請求項12記
    載の画像情報符号化装置。
  14. 【請求項14】 上記デッドゾーン設定手段は、上記量
    子化の際の上記量子化ステップサイズに対する仮想的な
    重み付け処理を考慮して、上記直交変換係数の成分毎に
    上記デッドゾーンに対して上記所定の変更を加えること
    を特徴とする請求項12記載の画像情報符号化装置。
  15. 【請求項15】 入力画像信号をブロック化し、該ブロ
    ック単位で直交変換を施して量子化を行う画像情報符号
    化処理をコンピュータに実行させるプログラムにおい
    て、 上記量子化の際に、上記ブロックの直交変換係数の成分
    毎に決定された量子化ステップサイズにおけるデッドゾ
    ーンに対して所定の変更を加えたデッドゾーンを設定す
    ることを特徴とするプログラム。
  16. 【請求項16】 上記所定の変更は、低域直交変換係数
    と比較して高域直交変換係数ほど上記デッドゾーンが広
    くなるような変更であることを特徴とする請求項15記
    載のプログラム。
  17. 【請求項17】 上記デッドゾーンは、上記量子化の際
    の上記量子化ステップサイズに対する仮想的な重み付け
    処理を考慮して、上記直交変換係数の成分毎に変更が加
    えられることを特徴とする請求項15記載のプログラ
    ム。
  18. 【請求項18】 入力画像信号をブロック化し、該ブロ
    ック単位で直交変換を施して量子化を行う画像情報符号
    化処理をコンピュータに実行させるプログラムが記録さ
    れたコンピュータ読み取り可能な記録媒体において、 上記量子化の際に、上記ブロックの直交変換係数の成分
    毎に決定された量子化ステップサイズにおけるデッドゾ
    ーンに対して所定の変更を加えたデッドゾーンを設定す
    ることを特徴とするプログラムが記録された記録媒体。
  19. 【請求項19】 上記所定の変更は、低域直交変換係数
    と比較して高域直交変換係数ほど上記デッドゾーンが広
    くなるような変更であることを特徴とする請求項18記
    載の記録媒体。
  20. 【請求項20】 上記デッドゾーンは、上記量子化の際
    の上記量子化ステップサイズに対する仮想的な重み付け
    処理を考慮して、上記直交変換係数の成分毎に変更が加
    えられることを特徴とする請求項18記載の記録媒体。
JP2002207487A 2001-11-30 2002-07-16 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 Expired - Fee Related JP4254147B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002207487A JP4254147B2 (ja) 2001-11-30 2002-07-16 画像情報符号化方法及び装置、並びにプログラム及び記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001-367868 2001-11-30
JP2001367868 2001-11-30
JP2002207487A JP4254147B2 (ja) 2001-11-30 2002-07-16 画像情報符号化方法及び装置、並びにプログラム及び記録媒体

Publications (3)

Publication Number Publication Date
JP2003230142A true JP2003230142A (ja) 2003-08-15
JP2003230142A5 JP2003230142A5 (ja) 2005-10-27
JP4254147B2 JP4254147B2 (ja) 2009-04-15

Family

ID=27759605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002207487A Expired - Fee Related JP4254147B2 (ja) 2001-11-30 2002-07-16 画像情報符号化方法及び装置、並びにプログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP4254147B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1564997A1 (en) * 2004-02-12 2005-08-17 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a quantization with an adaptive dead-zone size
WO2005081540A1 (ja) * 2004-02-20 2005-09-01 Nec Corporation 画像符号化方法、その装置及びその制御プログラム
JP2007502595A (ja) * 2003-05-22 2007-02-08 タンドベルク・テレコム・エイ・エス ビデオ圧縮の方法と装置
JP2008503918A (ja) * 2004-06-18 2008-02-07 トムソン ライセンシング ビデオ・コーデック量子化のための方法および装置
WO2008132890A1 (ja) * 2007-04-16 2008-11-06 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
JP2009536506A (ja) * 2006-05-05 2009-10-08 マイクロソフト コーポレーション 柔軟量子化
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8576908B2 (en) 2007-03-30 2013-11-05 Microsoft Corporation Regions of interest for quality adjustments
US8767822B2 (en) 2006-04-07 2014-07-01 Microsoft Corporation Quantization adjustment based on texture level
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2015516770A (ja) * 2012-04-16 2015-06-11 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける量子化行列のための均一粒度
JP2016518762A (ja) * 2013-04-05 2016-06-23 キヤノン株式会社 量子化パラメータの値を決定するための方法および装置
TWI711301B (zh) * 2012-04-26 2020-11-21 日商新力股份有限公司 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4773966B2 (ja) * 2003-05-22 2011-09-14 タンドベルク・テレコム・エイ・エス ビデオ圧縮の方法と装置
JP2007502595A (ja) * 2003-05-22 2007-02-08 タンドベルク・テレコム・エイ・エス ビデオ圧縮の方法と装置
WO2005079073A1 (en) * 2004-02-12 2005-08-25 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a quantization with an adaptive dead-zone size
EP1564997A1 (en) * 2004-02-12 2005-08-17 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a quantization with an adaptive dead-zone size
JP2007522743A (ja) * 2004-02-12 2007-08-09 松下電器産業株式会社 適応的なデッドゾーンサイズを有する量子化に基づくビデオ画像の符号化と復号化
EP2611157A1 (en) 2004-02-20 2013-07-03 Nec Corporation Image encoding method, device thereof, and control program thereof
KR100860147B1 (ko) * 2004-02-20 2008-09-24 닛본 덴끼 가부시끼가이샤 화상 부호화 방법, 그 장치 및 제어 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
US8743956B2 (en) 2004-02-20 2014-06-03 Nec Corporation Image encoding method, device thereof, and control program thereof
JP2010268508A (ja) * 2004-02-20 2010-11-25 Nec Corp 画像符号化方法、その装置及びその制御プログラム
JP4613909B2 (ja) * 2004-02-20 2011-01-19 日本電気株式会社 画像符号化方法、その装置及びその制御プログラム
EP2290986A1 (en) 2004-02-20 2011-03-02 Nec Corporation Image encoding method, device thereof, and control program thereof
JPWO2005081540A1 (ja) * 2004-02-20 2008-03-06 日本電気株式会社 画像符号化方法、その装置及びその制御プログラム
WO2005081540A1 (ja) * 2004-02-20 2005-09-01 Nec Corporation 画像符号化方法、その装置及びその制御プログラム
US8542731B2 (en) 2004-06-18 2013-09-24 Thomson Licensing Method and apparatus for video codec quantization
JP2008503918A (ja) * 2004-06-18 2008-02-07 トムソン ライセンシング ビデオ・コーデック量子化のための方法および装置
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8767822B2 (en) 2006-04-07 2014-07-01 Microsoft Corporation Quantization adjustment based on texture level
JP2017063486A (ja) * 2006-05-05 2017-03-30 マイクロソフト テクノロジー ライセンシング,エルエルシー 柔軟量子化
JP2013153525A (ja) * 2006-05-05 2013-08-08 Microsoft Corp 柔軟量子化
JP2009536506A (ja) * 2006-05-05 2009-10-08 マイクロソフト コーポレーション 柔軟量子化
JP2014209790A (ja) * 2006-05-05 2014-11-06 マイクロソフト コーポレーション 柔軟量子化
US8588298B2 (en) 2006-05-05 2013-11-19 Microsoft Corporation Harmonic quantizer scale
US9967561B2 (en) 2006-05-05 2018-05-08 Microsoft Technology Licensing, Llc Flexible quantization
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8576908B2 (en) 2007-03-30 2013-11-05 Microsoft Corporation Regions of interest for quality adjustments
WO2008132890A1 (ja) * 2007-04-16 2008-11-06 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US9185418B2 (en) 2008-06-03 2015-11-10 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
US9571840B2 (en) 2008-06-03 2017-02-14 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
US10306227B2 (en) 2008-06-03 2019-05-28 Microsoft Technology Licensing, Llc Adaptive quantization for enhancement layer video coding
JP2015516770A (ja) * 2012-04-16 2015-06-11 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングにおける量子化行列のための均一粒度
TWI711301B (zh) * 2012-04-26 2020-11-21 日商新力股份有限公司 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備
JP2016518762A (ja) * 2013-04-05 2016-06-23 キヤノン株式会社 量子化パラメータの値を決定するための方法および装置
US10075714B2 (en) 2013-04-05 2018-09-11 Canon Kabushiki Kaisha Method and device for determining the value of a quantization parameter

Also Published As

Publication number Publication date
JP4254147B2 (ja) 2009-04-15

Similar Documents

Publication Publication Date Title
US7620103B2 (en) Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding
JP4617644B2 (ja) 符号化装置及び方法
US7957600B2 (en) Methods and systems for rate-distortion optimized quantization of transform blocks in block transform video coding
US20150110176A1 (en) Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US20120128064A1 (en) Image processing device and method
US20090097556A1 (en) Encoding Apparatus, Encoding Method, Program for Encoding Method, and Recording Medium Having Program for Encoding Method Recorded Thereon
JP2010045832A (ja) 画像符号化方法及び画像符号化装置
WO2010041488A1 (ja) 動画像符号化装置
JP4254147B2 (ja) 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
US7095448B2 (en) Image processing circuit and method for modifying a pixel value
KR20000023174A (ko) 엔코딩 장치 및 방법
JP4560694B2 (ja) 符号化装置及びその方法
JP3429429B2 (ja) 視感誤差処理方法及びこの方法を用いた画像符号化装置
JP4214771B2 (ja) 画像処理装置およびその方法と符号化装置
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
JP5375938B2 (ja) 復号装置及び方法
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
KR100366382B1 (ko) 동영상 부호화 장치 및 방법
JP4924708B2 (ja) 復号装置及び方法
JP2004235683A (ja) 画像処理装置および符号化装置とそれらの方法
JP4348899B2 (ja) 画像情報復号方法
JP2002354484A (ja) 符号化画像のレート変換方法、及び符号化画像レート変換装置
US20060222065A1 (en) System and method for improving video data compression by varying quantization bits based on region within picture
JP5375935B2 (ja) 符号化装置及び方法
Gonzales et al. DCT-based video compression using arithmetic coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050712

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4254147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees