JP2000102009A

JP2000102009A - 画像符号方法及びそのプログラムを記録した記録媒体

Info

Publication number: JP2000102009A
Application number: JP26673398A
Authority: JP
Inventors: Takashi Miura; 高志三浦
Original assignee: Hudson Soft Co Ltd
Current assignee: Hudson Soft Co Ltd
Priority date: 1998-09-21
Filing date: 1998-09-21
Publication date: 2000-04-07

Abstract

(57)【要約】【課題】画像符号方法及びそのプログラムを記録した
記録媒体に関し、ＰＳＮＲ(Peak-to-Peak Signal-to-No
ise Ratio)の指定入力に従い、該ＰＳＮＲに対応する画
質（ＰＳＮＲ）の画像符号データが得られることを課題
とする。【解決手段】復号画像に対するＰＳＮＲの指定入力に
基づき、該ＰＳＮＲの実現と一定の関係にある画像符号
化の際の誤差（量子化誤差，予測誤差，残差ベクトルの
大きさ等）に対する閾値情報を求め、該閾値情報の範囲
内で入力画像の符号化処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像符号方法及びそ
のプログラムを記録した記録媒体に関し、更に詳しく
は、自然画像，アニメーション画像，コンピュータグラ
フィックス（ＣＧ）画像等の高圧縮符号化に適用して好
適なるものである。この種の画像符号方式では、画像圧
縮率及び復号画像のＰＳＮＲ(Peak-to-Peak Signal-to-
Noise Ratio)が方式評価の重要なパラメータとなる。特
に３ＤＣＧゲームの制作等では、限られたメモリ（ＲＯ
Ｍカートリッジ，ＣＤ−ＲＯＭ等）に多量の画像情報を
記録する必要があるため、高圧縮率かつ高画質（所望の
画質）の画像符号データが効率良く得られることが望ま
れる。

【０００２】

【従来の技術】この点、本件出願人は、入力の画像デー
タをｍ×ｎ画素のブロックに分割し、各画素ブロックの
平均値からなるＤＣ画像を生成すると共に、各ブロック
の画素値からブロック平均値を差し引いた残差ベクトル
の大きさが許容値Ｚを超えた場合は、ＤＣ画像のネスト
（ベクトル量子化のコードブックに相当する画像）を使
用した適応的直交変換により前記残差ベクトルを近似す
るための１又は２以上の直交基底を求め、これらの１次
結合からなる直交基底系を量子化することで、高圧縮
率、かつ高速で符号／復号可能な画像符号／復号方法
（以下、ＨＶＱ方式と称す）を既に提案（特願平１０−
１８９２３９号）している。

【０００３】一方、復号画像の画質評価については、一
般に、各画素については個々の輝度値と誤差との比率で
ＰＳＮＲを表現するのが正確な評価ではあるが、画像全
体については、画像の最大輝度値と１画素当たりの平均
誤差との比率でＰＳＮＲを表現するのが簡潔なために慣
例となっており、上記ＨＶＱ方式による復号画像もこの
方法で評価できる。即ち、既提案のＨＶＱ方式では、予
め符号化時の残差ベクトルの大きさに対する許容誤差Ｚ
を任意に設定可能となっており、この許容誤差Ｚを小さ
く設定すれば復号画像のＰＳＮＲは向上し、また許容誤
差Ｚを大きく設定すれば復号画像のＰＳＮＲは劣化する
傾向にある。

【０００４】

【発明が解決しようとする課題】しかるに、この許容誤
差Ｚを例えば８００，４００，２００，１００の如く順
次１／２に減少させた場合に、復号画像のＰＳＮＲは必
ずしもｓｎ８００ｄＢ，ｓｎ８００−６ｄＢ，ｓｎ８０
０−１２ｄＢ，…の如く許容誤差Ｚと反比例の関係を示
してはいない。この様に、既提案のＨＶＱ方式では所望
の画質（目標のＰＳＮＲ＝ＳＮａ［ｄＢ］）を得るため
の許容誤差Ｚを直接的に知る方法がないため、許容誤差
Ｚを試行錯誤的に複数回変更して画像の符号化・復号化
を行いながら目的のＰＳＮＲが得られる許容誤差Ｚを探
す面倒な作業が必要であった。

【０００５】また、既提案のＨＶＱ方式における許容誤
差Ｚは、画質のみならず画像圧縮率とも深く関係してお
り、例えば許容誤差Ｚが小さい程画質は良くなるが、画
像圧縮率は低下してしまう。このため、高圧縮率かつ高
画質（所望の画質）の画像符号データを効率良く得るこ
とが困難であった。

【０００６】また、動画を扱えるＨＶＱＭ方式により動
画像を圧縮する様な場合には、許容誤差Ｚの設定を一定
にしておくと、キャラクタが中心であったり背景が中心
であったりするような様々なシーン（画像の種類等）の
画像フレーム毎にＰＳＮＲが変化することとなり、全体
的な画品質の印象を損なう結果となっていた。

【０００７】なお、以上のことは、既提案のＨＶＱ／Ｈ
ＶＱＭ方式に限らず、従来の他の様々な画像符号方式
（残差ベクトルや予測残差等に閾値を設ける方式等）で
も起こり得た問題である。

【０００８】本発明は上記の問題点に鑑み成されたもの
で、その目的とする所は、所望のＰＳＮＲの指定入力に
従い、該ＰＳＮＲに対応する画質（ＰＳＮＲ）の画像符
号データが能率良く得られる画像符号方法及びそのプロ
グラムを記録した記録媒体を提供することにある。

【０００９】

【課題を解決するための手段】上記の課題は例えば図１
の構成により解決される。即ち、本発明（１）の画像符
号方法は、復号画像に対するＰＳＮＲの指定入力に基づ
き、該ＰＳＮＲの実現と一定の関係にある画像符号化の
際の誤差に対する閾値情報を求め、該閾値情報の範囲内
で入力画像の符号化処理を行うものである。

【００１０】ところで、一般に復号画像のＰＳＮＲは１
画素当たりの平均誤差（√ε²）と全画像についての最
大画素値（例えば８ビットの場合は２５６でも良い）と
の比率により表現されるが、これには以下の２つの表現
方法、ＰＳＮＲ［ｄＢ］＝２０×ｌｏｇ₁₀（２５６／√ε²）ＰＳＮＲ［ｄＢ］＝２０×ｌｏｇ₁₀（√ε²／２５６）がある。但し、両者は符号（±）が変わるだけで、画質
の評価上は等価に扱え、本明細書では後者の表現方法で
説明を行うが、前者の表現態様で実施される画像符号方
法も本発明に含まれることは言うまでも無い。

【００１１】上記本発明（１）においては、復号画像に
対する所望のＰＳＮＲが入力されることにより、復号画
像の最大画素値は、「入力画像の最大画素値」＝「復号
画像の最大画素値」の関係により既知となり、よって１
画素当たりの許容平均誤差（√ε²）も既知となる。一
方、入力画像の符号化方式が決まると、これに応じて１
画素当たりの許容平均誤差（√ε²）を所定値以下にす
るための誤差（量子化誤差，予測誤差，残差ベクトルの
大きさ等）に対する閾値情報も一義的に決定できる。即
ち、前記誤差に対する閾値情報は、採用した画像の符号
方式に応じて、生成される１画素当たりの許容平均誤差
（√ε²）と一定の関係にある。

【００１２】そこで、本発明（１）では、復号画像に対
するＰＳＮＲの指定入力に基づき、該ＰＳＮＲの実現と
一定の関係にある画像符号化の際の誤差に対する閾値情
報を求め、該閾値情報の範囲内で入力画像の符号化処理
を行うこととした。従って、予め所望のＰＳＮＲを指定
することで、その復号画像に前記所望のＰＳＮＲが得ら
れるような画像符号データが自動的に生成され、よって
大量の画像情報を能率良く符号化できる。

【００１３】また本発明（２）の画像符号方法は、画像
データをｍ×ｎ画素のブロックに分割し、各画素ブロッ
クの平均値からなるＤＣ画像を生成すると共に、各ブロ
ックの画素値からブロック平均値を差し引いた残差ベク
トルの大きさが許容値Ｚを超えた場合は、前記ＤＣ画像
のネストを使用した適応的直交変換により前記残差ベク
トルを近似するための１又は２以上の直交基底を求め、
これらの１次結合からなる直交基底系を量子化する画像
符号方法において、画像データのブロック平均値を
ｙ_a、ブロックの１画素当たりの平均許容誤差を√｛Ｚ
／（ｍ×ｎ）｝とする時に、１ブロック当たりのＰＳＮ
Ｒとして所要のＳＮ_b［ｄＢ］を得るための前記許容値
Ｚを、Ｚ＝（ｍ×ｎ）×１０^SNb/10×ｙ_a ² の関係により求めるものである。

【００１４】ここで、本発明によるＰＳＮＲの実現原理
をカラー映像信号への適用例で説明する。先ず画像符号
時の誤差を検討する。この場合に、カラー映像信号の符
号化時における輝度データＹは、明るさを感じるＲ，
Ｇ，Ｂの割合から、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂにより得られる。一方、色の信号が明るさの成分を持た
ない様にするため、赤色差信号Ｖ，青色差信号Ｕを夫々
下式、Ｖ＝（Ｒ−Ｙ）＝０．７０Ｒ−０．５９Ｇ−０．１１ＢＵ＝（Ｂ−Ｙ）＝−０．３０Ｒ−０．５９Ｇ＋０．８９Ｂにより求める。更に、視覚の色に対する感度が低いこと
を利用して、各色差信号の振幅を例えば、Ｖ´＝Ｖ／１．４，Ｕ´＝Ｕ／１．７７と圧縮し、夫々を符号化する。なお、以下は、Ｖ´を
Ｖ，Ｕ´をＵと読み替えて説明を続ける。

【００１５】原画像データＹ，Ｕ，Ｖを符号化する時に
発生した各誤差の値をerＹ，erＵ，erＶとする。erＹ，
erＵ，erＶは夫々（ｍ×ｎ）＝（４×４）の画素ブロッ
クに含まれる１６画素に対する２乗誤差の平均値の平方
根である。各誤差を誤差erＹを基準として表すと次式、

【００１６】

【数１】の関係がある。ここで、ｋｕ，ｋｖは係数である。また
Ｙ，Ｕ，Ｖのブロック平均値をＹ_a，Ｕ_a，Ｖ_aとする
と、符号化時のＹ，Ｕ，Ｖに対する各ＰＳＮＲ（Ｓ
Ｎ_Y，ＳＮ_U，ＳＮ_V）［ｄＢ］は次式、

【００１７】

【数２】で表せる。更に、Ｙ，Ｕ，Ｖを合わせて１画素とみた時
の誤差erＥ_ncは次式、

【００１８】

【数３】で表せ、この場合のＰＳＮＲ（ＳＮ_Enc）［ｄＢ］は次
式、

【００１９】

【数４】で表せる。なお、［数４］の最後の式は、その前の式の
（）内に３Ｙ_a／３Ｙ _aを乗じ、組合せを変えること
で容易に得られる。また、ｋｕ＝Ｋｖ＝１とした場合の
ＰＳＮＲ（ＳＮ_Enc）［ｄＢ］は次式、

【００２０】

【数５】となる。

【００２１】次に画像復号時の誤差を検討する。画像符
号データの復号再生時には、復号化したＹ，Ｕ´，Ｖ´
より緑色差信号（Ｇ−Ｙ）を生成する。この生成は、Ｙ＝（０．３０＋０．５９＋０．１１）Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂの関係を利用することで、０＝０．３０（Ｒ−Ｙ）＋０．５９（Ｇ−Ｙ）＋０．１
１（Ｂ−Ｙ）の関係が得られ、よって緑色差信号（Ｇ−Ｙ）を、（Ｇ−Ｙ）＝−０．５１（Ｒ−Ｙ）−０．１９（Ｂ−
Ｙ）により生成できる。従って、カラー画像データＲ，Ｂ，
Ｇは、Ｒ＝Ｙ＋Ｖ＝Ｙ＋１．４Ｖ´ Ｂ＝Ｙ＋Ｕ＝Ｙ＋１．７７Ｕ´ Ｇ＝Ｙ−０．５１Ｖ−０．１９Ｕ＝Ｙ−０．７１Ｖ´−
０．３４Ｕ´ により再生できる。

【００２２】なお、ここではＵ´をＵ、かつＶ´をＶと
読み替えて、Ｒ，Ｂ，Ｇを次式、

【００２３】

【数６】により再生するものとして説明を続ける。Ｒ，Ｂ，Ｇの
復号時の誤差erＲ²，erＢ²，erＧ²は次式、

【００２４】

【数７】の様に見込まれる。また、Ｒ，Ｇ，Ｂを合わせて１画素
とみた時の復号時の誤差erＤ_ec ²は次式、

【００２５】

【数８】で表せる。従って、ｋｕ＝ｋｖ＝１とした場合は、erＲ
＝erＢ＝erＧ＝erＹとなり、符号化時のＰＳＮＲが保存
される。また、erＥ_nc＝erＤ_ec＝erＹとなることから、
符号化時のＰＳＮＲが保存されることが分かる。

【００２６】以上の考察により、復号時にＰＳＮＲ＝Ｓ
Ｎ_a［ｄＢ］を目標とするならば、符号化時に次の様に
して計算した許容誤差ＺによってＹ，Ｕ，Ｖを符号化す
れば、復号時のＰＳＮＲとしてＳＮ_a［ｄＢ］に近い値
が得られる。具体的に言うと、今、画像全体の平均輝度
をＹ_aとする時に、ＰＳＮＲ＝ＳＮ_aを目標として上記
符号方式により符号化・復号化した際の画像のＰＳＮＲ
は、一般的な計算法によると、

【００２７】

【数９】だけ、高画質を示す値（ＳＮ_a+ ＳＮ_g）が得られる。

【００２８】一方、ＳＮ_b＝ＳＮ_a−ＳＮ_gとし、かつ
４×４ブロックの平均輝度をｙ_aとした時の１ブロック
当たりのＰＳＮＲ（ＳＮ_b）［ｄＢ］は次式、

【００２９】

【数１０】により表現できる。そして［数１０］を許容誤差Ｚにつ
き解くと次式、

【００３０】

【数１１】の関係が得られる。従って、画像データをこの許容誤差
Ｚを使用して符号化すると、画像全体としては、ＰＳＮ
Ｒ＝ＳＮ_aが得られることになる。

【００３１】以上により、まず上記本発明（２）におい
ては、所要のＰＳＮＲ（ＳＮ_b）に従い、その復号画像
には所要のＰＳＮＲ（ＳＮ_b）が得られる。

【００３２】好ましくは、本発明（３）においては、上
記本発明（２）において、１画像当たりの１画素平均値
をＹ_a、その最大画素値をＹ_MAXとする時の１画像当た
りの利得ＰＳＮＲを、ＳＮ_g［ｄＢ］＝２０ｌｏｇ（Ｙ
_a／Ｙ_MAX）とする時に、１画像当たりの所望のＰＳＮ
Ｒとして次式、ＳＮ_a＝ＳＮ_g＋ＳＮ_bを満足するＳＮ
_a［ｄＢ］が外部より設定されるものである。

【００３３】従って、本発明（３）によれば、所望のＰ
ＳＮＲ（ＳＮ_a）を指定することで、その復号画像には
所望のＰＳＮＲ（ＳＮ_a）が得られる。

【００３４】また好ましくは、本発明（４）において
は、上記本発明（２）又は（３）において、１画像の各
ブロック平均値ｙ_aに対応して許容値Ｚを動的に変化さ
せるものである。

【００３５】従って、ブロック平均値ｙ_aの小さなブロ
ックに対しては比較的小さな許容誤差Ｚ（比較的大きな
符号量）で符号化でき、またブロック平均値ｙ_aの大き
なブロックに対しては比較的大きな許容誤差Ｚ（比較的
小さな符号量）で符号化でき、こうして、画像全体の画
品質を所望（ＳＮ_a［ｄＢ］）に維持しつつ、ブロック
毎に更なる画像圧縮の効果を期待できる。また、例えば
ＨＶＱ方式に適用した場合は、基底ベクトルの探索を許
容誤差Ｚを満足した時点で打ち切っても画品質を維持出
来るので、符号化速度の向上にも貢献する。

【００３６】また本発明（５）のコンピュータ読み取り
可能な記録媒体は、請求項１乃至４の何れか１つに記載
の画像符号方法をコンピュータに実行させるためのプロ
グラムを記録したものである。

【００３７】

【発明の実施の形態】以下、添付図面に従って本発明に
好適なる実施の形態を詳細に説明する。なお、全図を通
して同一符号は同一又は相当部分を示すものとする。

【００３８】図２は実施の形態による画像符号装置のブ
ロック図で、本発明を既提案のＨＶＱ／ＨＶＱＭ方式に
適用した場合を示している。図において、１は本装置の
主制御・処理を行うＣＰＵ，２はＣＰＵ１が実行する例
えば図３〜図６の画像符号化処理プログラムや必要なデ
ータ（図７のテーブル，処理中の画像データ等）を記憶
するためのＲＡＭ，ＲＯＭ，ＥＥＰＲＯＭ等から成る主
メモリ（ＭＭ）、３はＣＲＴや液晶等から成る表示部
（ＤＳＰ）、４はキーボード（ＫＢＤ）、４ａはマウス
等のポインティングデバイス（ＰＤ）、５はプログラム
ファイルや入出力の画像ファイルを記憶するための２次
記憶装置としてのハードディスク装置（ＨＤＤ）、５ａ
は原画像データを記憶する原画像ファイル、５ｂは符号
化後の画像符号データを記憶する画像符号ファイル、６
はＣＰＵ１の共通バスである。

【００３９】なお、予め外部で作成（ビデオカメラ７で
撮像、ＶＴＲ８に記録、コンピュータグラフィックス装
置９により生成等）された原画像ファイル５ａを読み込
むためのデータ読込装置（不図示）、及び内部で作成し
た画像符号ファイル５ｂを外部のＲＯＭカートリッジ４
２やＣＤ−ＲＯＭ４３等に書き込むためのデータ書込装
置（不図示）を夫々接続可能である。

【００４０】この画像符号装置の処理を概説すると、ま
ず画像データを４×４画素のブロックに分割し、各画素
ブロックの平均値からなるＤＣ画像を生成すると共に、
各ブロックの画素値からブロック平均値を差し引き、得
られた残差ベクトルの大きさが、許容値未満の場合は、「基底数＝０」の旨の情報を
符号化し、許容値以上の場合は、ＤＣ画像のネストを使用した
適応的直交変換により残差ベクトルを近似するための１
又は２以上の直交基底を求め、これらの１次結合からな
る直交基底系を符号化し、許容値以上で、かつ求めた直交基底系の総符号量が
残差ベクトルの総符号量以上となる場合には、上記直交
基底系の符号化に代えて、残差ベクトルそのものを符号
化し、こうして得られた画像圧縮符号データを画像符号ファイ
ル５ｂに格納するものである。この画像符号ファイル５
ｂは、例えばゲーム機用のＲＯＭカートリッジ４２又は
ＣＤ−ＲＯＭ４３に書き込まれ、３ＤＣＧアニメーショ
ンゲーム等の画像情報源として使用される。

【００４１】図３〜図６は実施の形態による画像符号化
処理のフローチャート（１）〜（４）、また図７は各種
テーブルを説明する図、そして図８，図９は実施の形態
による画像符号化処理のイメージ図（１），（２）であ
り、以下、これらの図を参照して実施の形態による画像
符号化処理を詳細に説明する。

【００４２】なお、本明細書を通して、記号〈〉はベ
クトル、記号‖ ‖はベクトルの大きさ、記号・はベク
トルの内積、記号［演算］は演算結果の整数化を夫々表
す。但し、記号［演算］を異なる意味で使用する場合は
その旨を付記する。また図面や［数］中のベクトルを太
文字で表す。また、一例の原画像サイズを横ｎ（例えば
１２８０）画素，縦ｍ（例えば９６０）画素とし、かつ
以下のフローチャートの説明における、記号Ｔ_m,nは原
画像Ｔのｍ行ｎ列から４×４画素の正方形ブロックを取
り出した部分の画像データを表し、また記号Ｂ
_y,x,sy,sxはＤＣ画像のｙ行，ｘ列から横方向にｓｘ，
縦方向にｓｙのステップ幅で４×４の合計１６画素分の
ＤＣ画像データを取り出した部分のブロックを表すもの
とする。

【００４３】図３は画像符号化処理のメイン処理を示し
ている。ステップＳ１では原画像ファイル５ａより原画
像データＴを読み込む。その際には、ＲＧＢ系の対象画
像をＹＵＶ系に変換して読み込む。Ｙは輝度データ、
Ｕ，Ｖは青，赤の色差データに相当し、この例のＵ，Ｖ
は横２画素分の輝度平均を用いてダウンサンプリングさ
れる。Ｙ，Ｕ，Ｖの各画素データには夫々８ビットが割
り付けられる。

【００４４】なお、以下は輝度データＹの符号化処理を
中心に述べるが、Ｕ，Ｖについても同様に処理できる。

【００４５】ステップＳ２では原画像を４×４画素のブ
ロック毎に分割し、各ブロックに含まれる１６画素デー
タの平均値ＭよりなるＤＣ画像を作成する。ステップＳ
３では１画像当たりの利得ＰＳＮＲ（ＳＮ_g）［ｄ
Ｂ］）を、ＳＮ_g［ｄＢ］＝２０ｌｏｇ（Ｙ_a／Ｙ_MAX）により求める。ここで、Ｙ_aは１画像当たりの１画素平
均輝度値、Ｙ_MAXは１画像当たりの最大輝度値（２５６
でも良い）である。更に、１ブロック当たりのＰＳＮＲ
（ＳＮ_b）［ｄＢ］を、ＳＮ_b＝ＳＮ_a−ＳＮ_g により求める。ここで、ＳＮ_a［ｄＢ］は１画像当たり
のＰＳＮＲであり、予め所望の値にマニュアル設定され
る。又は、ゲーム等のシーン（画像の性質等）に連動さ
せて、ゲーム作成プログラム等により映像フレーム毎に
自動的に設定されても良い。

【００４６】ステップＳ４では原画像のアドレスレジス
タｉ，ｊを共に「０」に初期化する。ステップＳ５では
ＤＣ画像のアドレスレジスタＩ，Ｊにｉ／４，ｊ／４を
セットする。ステップＳ６では４×４の画素ブロックに
対応する１６次元の残差ベクトル〈ｄ〉を、〈ｄ〉＝Ｔ_j,i−ＤＣ_J,I により求める。残差ベクトル〈ｄ〉の各要素には夫々８
ビットが割り付けられている。ステップＳ７では１ブロ
ック当たりのＳＮ_b，ｙ_aに対応する１ブロック当たり
の許容誤差Ｚを求める。

【００４７】図７（Ｂ）に４×４画素のブロック平均輝
度（ＤＣ値）ｙ_aに対する許容誤差Ｚのテ−ブルを示
す。なお、図示の縦欄は幾つかの代表的なｙ_a値（３
０，５０，１２０，２４０）を例示的に示したものであ
り、実際のテーブルでは、全ｙ_a値（０〜２５５）又は
ｙ_a値の範囲（０〜９，１０〜１９，２０〜２９，…
等）が縦欄に設けられる。また同様にして、横欄にはＳ
Ｎ_b値が−２０ｄＢ〜−３４ｄＢにつき例示的に示され
ている。

【００４８】テ−ブルの各許容誤差Ｚは、Ｚ＝１６×１０^SNb/10×ｙ_a ² の関係により予め求められている。例えば、ＳＮ_b＝−
２６ｄＢを要求されるブロックにおいて、ｙ_a＝６０の
場合は、Ｚ＝１６×１０^-26/10×６０²＝１４５とな
り、またｙ_a＝１２０の場合は、Ｚ＝１６×１０^-26/10
×１２０²＝５７９となっている。従って、１ブロック
当たりの許容誤差Ｚは、ＳＮ_bとｙ_aとに基づき、上記
［数１１］の演算を行い、又はこのテーブルを引く方法
により容易に求まる。

【００４９】なお、既提案のＨＶＱ方式においては、１
画像当たりＳＮ_a＝−３４ｄＢを得るためには一律に許
容誤差Ｚ＜１００と設定する必要があった。一方、本発
明ににおいては、例えば自然画の場合はＹ_a＝６４〜１
２８となる画像が多いので、ＳＮ_g＝−６ｄＢ〜−１２
ｄＢとなる。従って、１画像当たりのＳＮ_a＝−３４ｄ
Ｂを目標値としても、１ブロック当たりはＳＮ_b＝−２
８ｄＢ〜−２２ｄＢ程度で符号化でき、かつブロック平
均値ｙ_aによっては既提案の方法に比べて大きな許容誤
差Ｚで符号化出来るため、符号量の大幅な削減が期待で
きる。

【００５０】ステップＳ８では残差ベクトル〈ｄ〉の大
きさ（２乗）が許容誤差Ｚより小さいか否かを判別す
る。小さい場合は、復号側でこの部分のブロック画像デ
ータＴ _j,iを後述の非段階的交流成分予測法により高精
度に復元できるので、ステップＳ２０に進み、基底数
「０」を符号Ｆ₁として出力する。また小さくない場合
は、残差ベクトル〈ｄ〉を近似するための基底ベクトル
を探査すべく、ステップＳ９に進み、以下に述べる適応
的直交化処理を実行する。

【００５１】図８に適応的直交化処理のイメージを示
す。適応的直交化処理は、残差ベクトル〈ｄ〉を許容誤
差Ｚ以内に近似するために必要な基底ベクトルの個数ｎ
ｋと、基底ベクトル〈ｖ_nk〉とを求める処理である。本
実施の形態では原画像を縦横とも１：Ｋ（例えばＫ＝
４）で圧縮したＤＣ画像の一部を切り出してネストとし
て用い、ネストの軽量化を図っている。

【００５２】図８（Ａ）において、ＤＣ画像から例えば
縦３９×横７１のＤＣ値の領域を切り出してネストとす
る。また基底ベクトル〈ｖ_nk〉の探査は、縦横１ＤＣ値
毎に頂点（ｘ，ｙ）∈［０，６３］×［０，３１］を設
定し、かつそのサブサンプル間隔は（ｓｘ，ｓｙ）∈
｛（１，１），（１，２），（２，１），（２，２）｝
の計４種類とする。なお、これは一例であり、ネストの
サイズ、切り出し位置、基底ベクトルのサブサンプル間
隔等は任意に設定できる。

【００５３】図８（Ｂ）は上記ネストから各種パターン
でサンプリングされた各ＤＣ値が基底ベクトル〈ｖ_nk〉
の４×４の記憶領域に集められる状態を示している。即
ち、（ｓｘ，ｓｙ）＝（１，１）の時はネスト上の４×
４の領域から４×４のＤＣ値が集められ、また（ｓｘ，
ｓｙ）＝（１，２）の時はネスト上のｙ方向に間延びし
た領域から４×４のＤＣ値が集められ、また（ｓｘ，ｓ
ｙ）＝（２，１）の時はネスト上のｘ方向に間延びした
領域から４×４のＤＣ値が集められ、また（ｓｘ，ｓ
ｙ）＝（２，２）の時はネスト上のｘ及びｙ方向に間延
びした領域から４×４のＤＣ値が集められ、これらは基
底ベクトル〈ｖ_nk〉の記憶領域に格納される。これは原
画像が有する自己相似性を利用して、ネスト上のＤＣ画
像から様々な角度で原画像の画素ブロックに似た画像を
探査する処理である。

【００５４】図４，図５に実施の形態による適応的直交
化処理のフローチャートを示す。図４において、ステッ
プＳ３１では、誤差レジスタＥ_rrに大きな値（例えば１
０００００）をセットし、かつ基底数レジスタｎｋを
「１」に初期化する。ステップＳ３２ではネスト画像の
開始アドレスレジスタｘ，ｙを共に「０」に初期化す
る。ステップＳ３３ではネスト画像のサブサンプル間隔
レジスタｓｘ，ｓｙを共に「１」に初期化する。ステッ
プＳ３４では、ネスト画像から４×４のＤＣブロック画
像Ｂ_y,x,sy,sxを取り出して基底ベクトル〈ｖ_nk〉を作
成し、かつｎｋ＞１の場合はグラム・シュミットの直交
化法により、それ以前の基底ベクトルと直交化する。

【００５５】ここで、グラム・シュミットの直交化法と
は、ｎ次元内積空間Ｖの一つの基底｛ｖ₁，…，ｖ_n｝
よりＶの正規直交基底｛ｖ'₁，…，ｖ' _n｝を構成する
方法であり、以下、直交化の内容を概説する。第１番目
の正規化基底ベクトル〈ｖ'₁〉は単位ベクトルであるか
ら、

【００５６】

【数１２】とおける。次に基底ベクトル〈ｖ'₁〉と直交するような
他のベクトル〈ｕ₂〉を仮に、

【００５７】

【数１３】とすると、〈ｕ₂〉・〈ｖ'₁〉＝０より、

【００５８】

【数１４】の関係が得られる。この時、係数ｋは、

【００５９】

【数１５】となる。更に係数ｋを上記［数１３］に代入すると、ベ
クトル〈ｕ₂〉は、

【００６０】

【数１６】で表せる。そして、第２番目の正規化基底ベクトル
〈ｖ'₂〉も単位ベクトルであるから、

【００６１】

【数１７】となる。以下同様にして、一般に第ｎ番目の正規化基底
ベクトル〈ｖ' _n〉は、

【００６２】

【数１８】で表せる。

【００６３】ステップＳ３５では正規化基底ベクトル
〈ｖ' _nk〉を使用し、残差ベクトル〈ｄ〉との距離が最
小となる様な基底ベクトルの展開係数α_nkを求める。

【００６４】図９（Ａ）に正規化基底ベクトル〈ｖ'
_nk〉を使用して残差ベクトル〈ｄ〉を近似する処理の
イメージを示す。図９（Ａ）−（ａ）において、残差ベ
クトル〈ｄ〉と展開係数α_nkを掛けた基底ベクトルα_nk
〈ｖ' _nk〉との差ベクトル｛〈ｄ〉−α_nk〈ｖ' _nk〉｝
の大きさが最小となるのは、基底ベクトルα_nk〈ｖ'
_nk〉と差ベクトル｛〈ｄ〉−α_nk〈ｖ' _nk〉｝とが直
交する時（内積＝０）であるから、下式に従い正規化基
底ベクトル〈ｖ' _nk〉の展開係数α_nkが求まる。

【００６５】

【数１９】図４に戻り、ステップＳ３６では残差ベクトル〈ｄ〉を
基底ベクトルα_nk〈ｖ' _nk〉で近似した時の誤差ベクト
ルの大きさε_rを求める。ステップＳ３７ではε_r＜Ｅ
_rrか否かを判別する。ε_r＜Ｅ_rrの場合はステップＳ３
８でε_rの最小値に係る各種情報を記憶するためのレジ
スタＥ_rr，Ｘ，Ｙ，ＳＸ，ＳＹにその時のε_r，ｘ，
ｙ，ｓｘ，ｓｙを夫々保持する。また、レジスタαには
その時の展開係数α_nk、基底ベクトルの記憶領域〈ｖ〉
にはその時の基底ベクトル〈ｖ_nk〉、直交化基底ベクト
ルの記憶領域〈ｖ' 〉にはその時の直交化基底ベクトル
〈ｖ' _nk〉を夫々記憶する。またε_r＜Ｅ_rrでない場合
は上記ステップＳ３８の処理をスキップする。

【００６６】ステップＳ３９ではサンプル間隔ｓｘに＋
１し、ステップＳ４０ではｓｘ＞２か否かを判別する。
ｓｘ＞２でない場合はステップＳ３４に戻り、今度は異
なるサンプル間隔ｓｘで抽出された基底ベクトル
〈ｖ_nk〉につき上記同様の処理を行う。以下同様にして
進み、やがて、ステップＳ４０の判別でｓｘ＞２になる
と、ステップＳ４１ではｓｘを「１」に初期化し、かつ
サンプル間隔ｓｙに＋１する。ステップＳ４２ではｓｙ
＞２か否かを判別し、ｓｙ＞２でない場合はステップＳ
３４に戻り、今度は異なるサンプル間隔ｓｙで抽出され
た基底ベクトル〈ｖ_nk〉につき上記同様の処理を行う。
以下同様にして進み、やがて、ステップＳ４１の判別で
ｓｙ＞２になると、まずネスト画像の開始位置（ｘ，
ｙ）＝（０，０）につき、異なるサンプル間隔（ｓｘ，
ｓｙ）＝（１，１），（１，２），（２，１），（２，
２）を有する計４種類の各基底ベクトル〈ｖ_nk〉が試さ
れたことになる。これにより処理は図５のステップＳ４
３に進む。

【００６７】ステップＳ４３ではネスト上の開始位置ｘ
に＋１し、ステップＳ４４ではｘ＞ｐ（例えばｐ＝６
３）か否かを判別する。ｘ＞ｐでない場合はステップＳ
３３（）に戻り、今度はｘ方向に１ＤＣ値分シフトさ
せた開始位置の各基底ベクトル〈ｖ_nk〉につき上記同様
の処理を行う。以下同様にして進み、やがてステップＳ
４４の判別でｘ＞ｐになると、ステップＳ４５では開始
位置ｘを「０」に初期化し、かつ開始位置ｙに＋１す
る。ステップＳ４６ではｙ＞ｑ（例えばｑ＝３１）か否
かを判別する。ｙ＞ｑでない場合は図４のステップＳ３
３（）に戻り、今度はｙ方向に１ＤＣ値分シフトさせ
た開始位置の各基底ベクトル〈ｖ_nk〉につき上記同様の
処理を行う。こうして、やがてステップＳ４６の判別で
ｙ＞ｑになると、ネスト画像上の全開始位置（ｘ，ｙ）
∈［０，６３］×［０，３１］につき、全サンプル間隔
（ｓｘ，ｓｙ）∈｛（１，１），（１，２），（２，
１），（２，２）｝の各基底ベクトル〈ｖ_nk〉が試され
たことになる。これにより処理はステップＳ４７に進
む。

【００６８】ステップＳ４７では、残差ベクトル〈ｄ〉
からこの時点で最小の近似誤差ε_rをもたらした直交基
底ベクトルα〈ｖ' 〉を差し引いて、誤差の大きさを求
め、該大きさが許容誤差Ｚより小さいか否かを判別す
る。小さくない場合は、ステップＳ４８で残差ベクトル
〈ｄ〉を｛〈ｄ〉−α〈ｖ' 〉｝で置き換え、更新す
る。またこの時点で最小の近似誤差ε_rをもたらした展
開係数α，基底ベクトル〈ｖ〉，直交化基底ベクトル
〈ｖ' 〉の内容をα_nk，〈ｖ_nk〉，〈ｖ' _nk〉として記
憶エリアに退避・保持する。因みに、ｎｋ＝１の時は、
α₁，〈ｖ₁〉，〈ｖ' ₁〉が退避・保持される。また
ｎｋに＋１して、図４のステップＳ３２（）に戻る。
以下同様にして進み、やがてステップＳ４７の判別で近
似残差が許容誤差Ｚよりも小さくなると、ステップＳ４
９に進み、各直交化基底ベクトルα_nk〈ｖ' _nk〉（但
し、ｎｋ＝１，２，…）の１次結合からなるベクトルを
各基底ベクトルβ_nk〈ｖ_nk〉の１次結合からなるベクト
ルに変換する。

【００６９】今、最終的な基底数ｎｋ＝２であったとす
ると、直交化基底ベクトルα_nk〈ｖ' _nk〉の１次結合
は、 α₁〈ｖ'₁〉＋α₂〈ｖ'₂〉となる。またグラム・シュミットの直交化法により、〈ｖ'₁〉＝α₁₁〈ｖ₁〉〈ｖ'₂〉＝α₂₁〈ｖ₁〉＋α₂₂〈ｖ₂〉の関係がある。これらを基底ベクトルの１次結合に代入
すると、 α₁〈ｖ'₁〉＋α₂〈ｖ'₂〉＝α₁α₁₁〈ｖ₁〉＋α₂α₂₁〈ｖ₁〉＋α₂α₂₂〈ｖ₂〉＝（α₁α₁₁＋α₂α₂₁）〈ｖ₁〉＋α₂α₂₂〈ｖ₂〉＝β₁〈ｖ₁〉＋β₂〈ｖ₂〉となる。以下、この様な係数β₁，β₂を基底ベクトル
〈ｖ₁〉，〈ｖ₂〉の展開係数と呼ぶ。

【００７０】このように、本実施の形態では、残差ベク
トル〈ｄ〉との誤差を許容値Ｚ未満に近似するのに必要
な最小限個数ｎｋの直交化基底ベクトル〈ｖ' _nk〉を探
索した後、それらを元の基底ベクトル〈ｖ_nk〉の線形結
合で表し、かつ各基底ベクトル〈ｖ_nk〉の展開係数β_nk
を求めて、これらを符号化する構成により、復号時には
グラム・シュミットの直交化計算が不要となるように配
慮している。また、ノルムを１に正規化することも省略
している。

【００７１】図９（Ａ）−（ｂ）は基底数ｎｋ＝３であ
った場合の残差ベクトル近似のイメージを示している。
最初に残差ベクトル〈ｄ〉との誤差ε_rを最小とするよ
うな第１の基底ベクトルα₁〈ｖ'₁〉が求まる。次に該
ベクトル〈ｖ'₁〉に直交し、かつ更新された残りの残差
ベクトル〈ｄ' 〉との誤差ε_rを最小とするような第２
の直交化基底ベクトルα₂〈ｖ'₂〉が求まる。次に該ベ
クトル〈ｖ'₂〉に直交し、かつ更新された残りの残差ベ
クトル〈ｄ''〉との誤差ε_rを最小とするような第３の
直交化基底ベクトルα₃〈ｖ'₃〉が求まる。

【００７２】図３に戻り、ステップＳ１０では使用した
基底数ｎｋ＞７か否かを判別する。ｎｋ＞７（８以上）
の場合は、基底ベクトルを使用しても画像圧縮のメリッ
トが出ないので、ステップＳ２１に進み、基底数「８」
を符号Ｆ₁、また使用基底数「０」を符号Ｆ₂、また残
差ベクトル〈ｄ〉そのものを符号Ｆ₃として夫々出力す
る。

【００７３】またｎｋ≦７の場合は、ステップＳ１１に
進み、上記基底ベクトルの使用に併せて好ましくは以下
のスカラー量子化処理を実行する。なお、以下のスカラ
ー量子化処理は、既提案のＨＶＱ方式を特徴付ける一態
様であって、符号量を増加させずに画質を向上させるこ
とが可能なものであるが、本発明の実施においては、必
ずしも以下のスカラー量子化処理の全てを実施する必要
はない。即ち、残差ベクトルを近似するための１又は２
以上の直交基底の１次結合からなる直交基底系を単に量
子化（通常のスカラー量子化）する方法でも良い。

【００７４】既提案のスカラー量子化処理では、まず選
択されたｎｋ個の内の選択された順に各ｍ個（０≦ｍ≦
ｎｋ）の基底を採用した場合の残差ベクトル〈ｄ_m〉
を、

【００７５】

【数２０】により求める。なお、ｍ＝０の場合の、

【００７６】

【数２１】はゼロベクトルを表す。更に、この残差ベクトル
〈ｄ_m〉を、採用されなかった余基底数ｙｋ＝ｎｋ−ｍ
に相当する符号量でスカラー量子化する。即ち、残差ベ
クトル〈ｄ_m〉を余基底数ｙｋに対応する量子化係数Ｑ
_ykでスカラー量子化し、その値を［−２^yk-1，２^yk-1−
１］の値域でクリッピングする。

【００７７】ところで、こうしてスカラー量子化・クリ
ッピングされた残差ベクトル〈ｄ' _m〉がその復号後に
元の残差ベクトル〈ｄ_m〉と同一になるとは限らない。
そこで、予め各ｍ（ｍ＝１，２，…，ｎｋ）につき、各
量子化残差ベクトル〈ｄ' _m〉を各対応する量子化係数
Ｑ_ykで逆量子化して各逆量子化残差ベクトル〈ｄ''_m〉
を求め、誤差‖〈ｄ_m〉−〈ｄ''_m〉‖が最小となるよ
うなｍを探査し、最終的にはこのｍ個の基底を採用した
場合の符号を生成する。

【００７８】図７（Ｃ）にスカラー量子化テーブルを示
す。ｎｋ＝８の場合には、基底を１つ使用した時（ｍ＝
１）の余基底数ｙｋ＝７であり、以下同様にして進み、
基底を７つ使用した時（ｍ＝７）の余基底数ｙｋ＝１で
ある。なお、後述するが、本実施の形態では１つの基底
につきその符号に２バイトを使用するので、もし８つの
基底を使用するとトータルの符号長は１６バイトにな
る。しかるに、１６バイトの容量があれば、１６次元の
残差ベクトル〈ｄ〉をそのまま符号化できるから、適応
的直交変換を行うメリットが無い。そこで、基底を０〜
７個の範囲で使用し、これに対応して余基底数ｙｋは７
〜１となる。

【００７９】各量子化係数Ｑ_ykは余基底数ｙｋに対応し
て予め定められている。好ましくは、各量子化係数Ｑ_yk
は残差ベクトル〈ｄ_m〉を余基底数ｙｋ分の符号量に収
められる様に選ばれている。今、余基底数ｙｋ＝１の場
合は、１６×１ビットを残差ベクトル〈ｄ_m〉のスカラ
ー量子化に使用できる。これは残差ベクトル〈ｄ_m〉の
各要素当たり１ビットの符号量である。即ち、この場合
は残差ベクトル〈ｄ_m〉をＱ_yk＝８でスカラー量子化
し、その値を［−２^1-1，２^1-1−１］＝［−１，０］
にクリッピングする。ここで、例えば符号のビット
「０」は大きさ「−１」、ビット「１」は大きさ「０」
に対応する。

【００８０】以下同様にして進み、今、余基底数ｙｋ＝
７の場合は、１６×７ビットを残差ベクトル〈ｄ_m〉の
スカラー量子化に使用できる。これは残差ベクトル〈ｄ
_m〉の各要素当たり７ビットの符号量であり、この場合
は残差ベクトル〈ｄ_m〉をＱ _yk＝２でスカラー量子化
し、その値を［−２^7-1，２^7-1−１］＝［−６４，６
３］にクリッピングする。こうして、ｍ個の基底とスカ
ラー量子化された残差を併用することで、符号量を変え
ずに画品質のみを向上させることができる。また余基底
数ｙｋ分の展開係数βは不要となるため、若干の符号量
が減少する。

【００８１】図６は実施の形態によるスカラー量子化処
理のフローチャートである。ステップＳ６１では使用基
底数カウント用のレジスタｍを「０」に初期化する。ス
テップＳ６２ではｍ個の基底を採用した後の残差ベクト
ル〈ｄ_m〉を求める。なお、ｍ＝０の場合のΣの項はゼ
ロベクトルを表す。即ち、〈ｄ₀〉＝〈ｄ〉となる。ス
テップＳ６３ではｎｋ（１≦ｎｋ≦７）個の内の今回の
試行では使用されない余基底数ｙｋを、ｙｋ＝ｎｋ−ｍ
により求める。ステップＳ６４では残差ベクトル
〈ｄ_m〉をＱ_ykでスカラー量子化し、結果の残差ベクト
ル〈ｄ' _m〉の各要素を［−２^yk-1，２^yk-1−１］の範
囲にクリッピングする。

【００８２】ステップＳ６５では上記量子化（かつクリ
ッピング）後の残差ベクトル〈ｄ' _m〉を同Ｑ_ykにより
スカラー逆量子化する。ステップＳ６６では元の残差ベ
クトル〈ｄ_m〉と前記逆量子化した残差ベクトル〈ｄ''
_m〉とを比較した場合の誤差εｒ_mを求め、これを所定
エリアに退避・保持する。ステップＳ６７ではレジスタ
ｍに＋１する。ステップＳ６８ではｍ＞ｎｋ（１≦ｎｋ
≦７）か否かを判別する。ｍ＞ｎｋでない場合はステッ
プＳ６２に戻り、上記同様の処理を行う。

【００８３】やがて、上記ステップＳ６８の判別でｍ＞
ｎｋになると、各ｍ（ｍ＝０，１，２，３，…，ｎｋ）
個の基底を採用した場合の誤差εｒ₀〜εｒ_nkが求ま
る。ステップＳ６９では誤差εｒ₀〜εｒ_nkの中から最
小の誤差εｒ_mkを抽出する。ステップＳ７０では基底数
ｎｋを符号Ｆ１として出力する。ステップＳ７１では使
用基底数（実効基底数）ｍｋを符号Ｆ２として出力す
る。ステップＳ７２では各使用基底のネスト上の開始位
置（ｘ，ｙ）、サブサンプル間隔（ｓｘ，ｓｙ）及び各
使用基底の展開係数βをＱ（例えば８）で量子化した乗
余を各基底毎に１６ビットにつめて符号Ｆ₄として出力
する。符号Ｆ₄の内訳は、ネスト上の開始位置（ｘ，
ｙ）に横６ビットと縦５ビットの計１１ビット、４種類
の内のいずれかのサブサンプル間隔に２ビット、展開係
数βの剰余に３ビットの計１６ビットとなる。従って、
符号Ｆ₄は使用基底毎に２バイトを消費する。

【００８４】ステップＳ７３では上記基底の展開係数β
をＱ（例えば８）で量子化した商を符号Ｆ₅として出力
する。ステップＳ７４では上記最小の逆量子化誤差εｒ
_mkとなる時の残差ベクトル〈ｄ' _mk〉を余基底数ｙｋ相
当の１６×（ｎｋ−ｍｋ）ビットの領域に割り振り、符
号Ｆ₃として出力する。そしてこの処理を抜ける。

【００８５】図３に戻り、上記の各処理を経て、この時
点で原画像の１残差ベクトル〈ｄ〉分の符号化が終了し
た。更に、ステップＳ１２ではアドレスレジスタｉに＋
４し、ステップＳ１３ではｉ＞ｎか否かを判別する。ｉ
＞ｎでない場合はステップＳ５に戻り、次のｉ軸方向に
４ビットずれた位置からの１残差ベクトル〈ｄ〉につき
上記同様の処理を行い、符号化する。以下同様にして進
み、やがて上記ステップＳ１３の判別でｉ＞ｎになる
と、ステップＳ１４ではｉを「０」に初期化し、かつｊ
に＋４する。ステップＳ１５ではｊ＞ｍか否かを判別
し、ｊ＞ｍでない場合はステップＳ５に戻り、次のｊ軸
方向に４ビットずれた各残差ベクトル〈ｄ〉につき上記
同様の処理を行い、符号化する。以下同様にして進み、
やがて上記ステップＳ１５の判別でｊ＞ｍになると、全
画像の残差ベクトル〈ｄ〉につき上記符号化処理が終了
したことになる。なお、図９（Ｂ）に画像圧縮符号の表
を示す。以下の説明ではこの表も参照されたい。

【００８６】図３に戻り、ステップＳ１６ではＤＣ画像
を例えば２次元ＤＰＣＭにより符号化し、符号Ｆ₆とし
て出力する。具体的に言うと、今、ＤＣ画像のＪ行，Ｉ
列のＤＣ値をＤＣ_J,Iとする時に、該ＤＣ_J,Iの予測値
ＤＣ' _J,Iを、例えばＤＣ' _J,I＝（ＤＣ_J,I-1＋ＤＣ
_J-1,I）／２により求め、その予測誤差ΔＤＣ_J,I＝Ｄ
Ｃ_J,I−ＤＣ' _J,Iを量子化係数Ｑ_Sによりスカラー量
子化｛即ち、［ΔＤＣ _J,I／Ｑ_S］｝して出力する。但
し、この場合の記号［ａ］は実数ａを四捨五入した結果
を表す。

【００８７】図７（Ａ）に量子化係数Ｑ_Sのテーブルを
示す。量子化係数Ｑ_Sの値は図示の如く複数段階の許容
誤差Ｚと対応付けられている。この許容誤差Ｚは、別途
マニュアル設定されたものを使用しても良いが、上記図
３のステップＳ７の処理で求められた許容誤差Ｚを使用
しても良い。前者の場合は１画像を通して量子化係数Ｑ
_Sは一定であるが、後者の場合は予測誤差ΔＤＣ_J,I毎
に量子化係数Ｑ_Sが変化する場合があり、符号量の更な
る低減が期待できる。

【００８８】ステップＳ１７では可変長符号Ｆ₁，
Ｆ₂，Ｆ₅をハフマン符号化して出力する。但し、符号
Ｆ₁の基底数「ｎｋ」については、ｎｋ＝０の場合のみ
ランレングスを考慮して、ハフマン符号化を行う。符号
Ｆ₂の使用基底数「ｍｋ」についても同様に考えられ
る。符号Ｆ₅については、展開係数βを定数Ｑ（例えば
８）で量子化した商をハフマン符号化する。なお、余基
底数ｙｋ≠０の場合は、画素ブロックの切り替わりを示
すための符号ＥＯＢを書き込む。

【００８９】ステップＳ１８ではＤＣ画像の２次元ＤＰ
ＣＭにより得られた可変長符号Ｆ₆をハフマン符号化し
て出力する。但し、この場合は予測残差△ＤＣ_J,I＝０
の場合のみランレングスを考慮して、予測残差△ＤＣ
_J,I及びランレングスを夫々独立にハフマン符号化す
る。

【００９０】ステップＳ１９では可変長符号Ｆ₃，固定
長符号Ｆ₄をハフマン符号化して出力する。符号Ｆ
₃は、使用基底数ｍｋ＞０の場合の最終的な残差ベクト
ル〈ｄ' _mk〉をＱ_ykでスカラー量子化［〈ｄ' _mk〉／Ｑ
_yk］したものであり、使用基底数ｍｋ＝０の場合は元の
残差ベクトル〈ｄ〉そのものが符号となる。符号Ｆ
₄は、１基底当たり、ネストの開始座標（ｘ，ｙ）の１
１ビットと、サブサンプル係数（ｓｘ，ｓｙ）の２ビッ
トと、展開係数βの剰余（β／Ｑ）の３ビットとの計１
６ビット固定から成り、これらは使用基底の出現順に詰
めて構成される。

【００９１】また、上記符号の全体としては画素ブロッ
ク単位で出現順に詰めて符号列を構成する。実際上、大
半のブロックでは基底数ｎｋが２個前後となり、少数の
可変長符号にするのは基底の展開係数βをＱで量子化し
た商と、ＤＣ画像のＤＰＣＭ符号及び基底数「ｎｋ」，
使用基底数「ｍｋ」のみとなる。

【００９２】図１０は実施の形態による画像復号装置の
ブロック図で、ゲーム装置への適用例を示している。図
において、３０はゲーム装置本体、３１はゲーム装置の
主制御（ゲームプログラム，３ＤＣＧアニメーションデ
ータ及びサウンドデータの読込制御，ユーザによるゲー
ム操作データの読込制御等）並びに３ＤＣＧアニメーシ
ョンに係るゲーム処理（シーン及びキャラクタの展開・
移動処理等）を行うＣＰＵ（ゲームプロセッサ）、３２
はＣＰＵ３１が使用するＲＡＭ，ＲＯＭ，ＥＥＰＲＯＭ
等からなる主メモリ（ＭＭ）、３３はＲＯＭカートリッ
ジ４２又はＣＤ−ＲＯＭ４３から逐次読み出した３ＤＣ
Ｇアニメーションデータを２Ｄ画面に透視変換等するた
めの３Ｄアクセラレータ、３４は同じくサウンド符号デ
ータを一時的に保持するバッファ（ＢＵＦ）、３５は後
述する操作パッド４１をゲーム装置に収容する周辺イン
タフェース（ＰＩＦ）、３６はＲＯＭカートリッジ４２
をゲーム装置に着脱自在に収容可能なＲＯＭカートリッ
ジインタフェース（ＲＯＭ−ＣＩＦ）、３７はＣＤ−Ｒ
ＯＭ４３をゲーム装置に着脱自在に収容し、かつ読取駆
動可能なＣＤ−ＲＯＭドライバ、３８は、ゲームプログ
ラムのオンラインダウンロードや他のゲーム装置との間
で対戦ゲームを行うために、本ゲーム装置を不図示の公
衆網に接続するための通信制御部（ＣＯＭ）、３９はサ
ウンド信号を復号再生するサウンド処理部である。

【００９３】更に、４１はユーザがゲーム操作やパラメ
ータ設定等を行うための各種制御キー（スタートキー，
選択キー，十字キー等）や、マウス，ジョイスティック
等の位置入力手段を備える操作パッド、４２はゲームプ
ログラム（処理手順，ゲームパラメータ，３ＤＣＧアニ
メーションデータ，サウンドデータ等）をマスクＲＯＭ
等に記録しているＲＯＭカートリッジ（ＲＯＭ−Ｃ）、
４３はゲームプログラムを記録しているＣＤ−ＲＯＭ、
４４は公衆網に接続する通信線、４５はゲームを表示す
るためのＣＲＴや液晶等から成る表示部（ＤＳＰ）、４
６は音声を含むサウンド信号を出力するためのスピーカ
である。

【００９４】図１１は実施の形態による画像復号化処理
のフローチャートである。ステップＳ８１では画像符号
データを読み込む。ステップＳ８２ではＹ，Ｕ，Ｖの各
ＤＣ値を解凍（復号）する。因みに、復号結果のＤＣ値
ＤＣ''_J,Iは、ＤＣ''_J,I＝ＤＣ' _J,I＋［ΔＤＣ_J,I
／Ｑ_s］Ｑ_sにより得られる。ここで、ＤＣ' _J,Iは復
号側におけるＤＣの予測値であり、ＤＣ' _J,I＝（Ｄ
Ｃ''_J,I-1＋ＤＣ''_J-1, _I）／２で与えられる。ステッ
プＳ８３ではＹ成分のＤＣ値からネストを生成する。ネ
ストはＤＣ画像上の開始位置及びサイズの情報を別途受
け取ることで生成できる。

【００９５】ステップＳ８４では復号（再生）画像のア
ドレスレジスタｉ，ｊを共に「０」に初期化する。ステ
ップＳ８５ではブロック画像（即ち、残差ベクトル）に
関する符号データを入力する。ステップＳ８６では基底
数ｎｋ＞０か否かを判別する。ｎｋ＝０の場合はステッ
プＳ９７で後述する非段階的交流成分予測法により１６
画素分の輝度データを求める。またｎｋ＞０の場合は更
にステップＳ８７で使用基底数ｍｋ＞０か否かを判別す
る。

【００９６】ｍｋ＝０の場合は、ステップＳ９６で残差
ベクトル〈ｄ〉を逆量子化する。ステップＳ９０では求
めた残差ベクトル〈ｄ〉に復号ＤＣ値を加算する。また
ｍｋ＞０の場合は、ステップＳ８８で余基底数ｙｋ（＝
ｎｋ−ｍｋ）を求め、残差ベクトル〈ｄ' _mk〉をＱ_ykで
逆量子化する。ステップＳ８９では各基底の開始位置
（ｘ，ｙ），サブサンプル間隔（ｓｘ，ｓｙ）の情報に
従いネストからｍｋ個の基底ベクトルを作成し、展開係
数βとの積をとり、これらの１次結合から成る近似ベク
トル（直交基底系）を形成し、これに残差ベクトル
〈ｄ' _mk〉を合成して、元の残差ベクトル〈ｄ〉を再生
する。ステップＳ９０では求めた残差ベクトル〈ｄ〉に
復号ＤＣ値を加算する。こうして、上記何れかの方法に
より４×４のブロック画像Ｔ_j,iが再生される。ステッ
プＳ９１では再生画像Ｔ_j,iを画像メモリに格納する。

【００９７】ステップＳ９２ではアドレスレジスタｉに
＋４し、ステップＳ９３ではｉ＞ｎか否かを判別する。
ｉ＞ｎでない場合はステップＳ８５に戻り、今度は次列
のブロック画像データＴ_j,iを復号し、画像メモリに格
納する。以下同様にして進み、やがてステップＳ９３の
判別でｉ＞ｎになると、ステップＳ９４ではｉを「０」
に初期化し、かつｊに＋４する。ステップＳ９５ではｊ
＞ｍか否かを判別し、ｊ＞ｍでない場合はステップＳ８
５に戻り、今度は次行の各ブロックデータＴ_j, _iを復号
し、画像メモリに格納する。以下同様にして進み、やが
てステップＳ９５の判別でｊ＞ｍになると、画像復号化
処理を終了する。

【００９８】なお、図示しないが、ＹＵＶ系からＲＧＢ
系に変換する。この時、Ｕ，Ｖのアップサンプリングに
は、補間フィルタを利用せず、横２画素に同一の値を代
入する。また、上記復号時には、上記符号時の許容誤差
Ｚについては何ら感知することが無いことに注意された
い。即ち、入力の各符号データを単に復号すれば、各復
号ブロックにつき所要のＳＮ_b［ｄＢ］のＰＳＮＲが得
られるし、また１画像当たりでは所望のＳＮ_a［ｄＢ］
のＰＳＮＲが得られることになる。

【００９９】図１２は実施の形態による非段階的交流成
分予測処理を説明する図である。なお、図１２（Ａ）に
従来の段階的交流成分予測処理のイメージを示す。従来
の段階的交流成分予測法によれば、注目ブロックＳ上の
サブブロックＳ₁〜Ｓ₄の各ＤＣ値は該注目ブロックＳ
を含む周囲４ブロックの各ＤＣ値（Ｓ，Ｕ，Ｌ，Ｂ，
Ｒ）から次式、Ｓ₁＝Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８Ｓ₂＝Ｓ＋（Ｕ＋Ｒ−Ｂ−Ｌ）／８Ｓ₃＝Ｓ＋（Ｂ＋Ｌ−Ｕ−Ｒ）／８Ｓ₄＝Ｓ＋（Ｂ＋Ｒ−Ｕ−Ｌ）／８により推定される。同様にして、この１段階目ではＵ₁
〜Ｕ₄，Ｌ₁〜Ｌ₄，Ｒ ₁〜Ｒ₄，Ｂ₁〜Ｂ₄等が推定
される。

【０１００】また、上記方法を再帰的に使用すること
で、Ｓ₁上の４画素Ｐ₁〜Ｐ₄は次式、Ｐ₁＝Ｓ₁＋（Ｕ₃＋Ｌ₂−Ｓ₃−Ｓ₂）／８Ｐ₂＝Ｓ₁＋（Ｕ₃＋Ｓ₂−Ｓ₃−Ｌ₂）／８Ｐ₃＝Ｓ₁＋（Ｓ₃＋Ｌ₂−Ｕ₃−Ｓ₂）／８Ｐ₄＝Ｓ₁＋（Ｓ₃＋Ｓ₂−Ｕ₃−Ｌ₂）／８Ｓ₂上の４画素Ｐ₁〜Ｐ₄は次式、Ｐ₁＝Ｓ₂＋（Ｕ₄＋Ｓ₁−Ｓ₄−Ｒ₁）／８Ｐ₂＝Ｓ₂＋（Ｕ₄＋Ｒ₁−Ｓ₄−Ｓ₁）／８Ｐ₃＝Ｓ₂＋（Ｓ₄＋Ｓ₁−Ｕ₄−Ｒ₁）／８Ｐ₄＝Ｓ₂＋（Ｓ₄＋Ｒ₁−Ｕ₄−Ｓ₁）／８Ｓ₃上の４画素Ｐ₁〜Ｐ₄は次式、Ｐ₁＝Ｓ₃＋（Ｓ₁＋Ｌ₄−Ｂ₁−Ｓ₄）／８Ｐ₂＝Ｓ₃＋（Ｓ₁＋Ｓ₄−Ｂ₁−Ｌ₄）／８Ｐ₃＝Ｓ₃＋（Ｂ₁＋Ｌ₄−Ｓ₁−Ｓ₄）／８Ｐ₄＝Ｓ₃＋（Ｂ₁＋Ｓ₄−Ｓ₁−Ｌ₄）／８Ｓ₄上の４画素Ｐ₁〜Ｐ₄は次式、Ｐ₁＝Ｓ₄＋（Ｓ₂＋Ｓ₃−Ｂ₂−Ｒ₃）／８Ｐ₂＝Ｓ₄＋（Ｓ₂＋Ｒ₃−Ｂ₂−Ｓ₃）／８Ｐ₃＝Ｓ₄＋（Ｂ₂＋Ｓ₃−Ｓ₂−Ｒ₃）／８Ｐ₄＝Ｓ₄＋（Ｂ₂＋Ｒ₃−Ｓ₂−Ｓ₃）／８により夫々推定される。

【０１０１】これに対して、本実施の形態では近傍のＤ
Ｃ画像から以下に述べる非段階的交流成分予測法により
４×４画素分の近似画像（ＡＣ画像）を一挙に生成す
る。

【０１０２】図１２（Ｂ）は実施の形態による非段階的
交流成分予測法を示している。なお、以下の説明では図
１２（Ａ）も参照する。まずＳ₁上の４画素Ｐ₁〜Ｐ₄
を求める場合は、Ｓ₂≒Ｓ₃≒Ｓ，Ｕ₃≒Ｕ，Ｌ₂≒Ｌ
の各近似を行う。この近似を上記Ｓ₁上のＰ₁の式に適
用すると、Ｐ₁＝Ｓ₁＋（Ｕ₃＋Ｌ₂−Ｓ₃−Ｓ₂）／８＝Ｓ₁＋（Ｕ＋Ｌ−Ｓ−Ｓ）／８が得られる。更に、この式に上記Ｓ₁の式、Ｓ₁＝Ｓ＋
（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁上のＰ₁は
最終的に、Ｐ₁＝Ｓ＋（２Ｕ＋２Ｌ−２Ｓ−Ｂ−Ｒ）／８で表せる。また上記Ｓ₁上のＰ₂については、Ｐ₂＝Ｓ₁＋（Ｕ₃＋Ｓ₂−Ｓ₃−Ｌ₂）／８＝Ｓ₁＋（Ｕ＋Ｓ−Ｓ−Ｌ）／８が得られる。更に、この式に上記Ｓ₁の式、Ｓ₁＝Ｓ＋
（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁上のＰ₂は
最終的に、Ｐ₂＝Ｓ＋（２Ｕ−Ｂ−Ｒ）／８で表せる。また上記Ｓ₁上のＰ₃については、Ｐ₃＝Ｓ₁＋（Ｓ₃＋Ｌ₂−Ｕ₃−Ｓ₂）／８＝Ｓ₁＋（Ｓ＋Ｌ−Ｕ−Ｓ）／８が得られる。更に、この式に上記Ｓ₁の式、Ｓ₁＝Ｓ＋
（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁上のＰ₃は
最終的に、Ｐ₃＝Ｓ＋（２Ｌ−Ｂ−Ｒ）／８で表せる。また上記Ｓ₁上のＰ₄については、Ｐ₄＝Ｓ₁＋（Ｓ₃＋Ｓ₂−Ｕ₃−Ｌ₂）／８＝Ｓ₁＋（Ｓ＋Ｓ−Ｕ−Ｌ）／８が得られる。更に、この式に上記Ｓ₁の式、Ｓ₁＝Ｓ＋
（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁上のＰ₄は
最終的に、Ｐ₄＝Ｓ＋（２Ｓ−Ｂ−Ｒ）／８で表せる。従って、Ｓ₁上のＰ₁〜Ｐ₄は最終的に、Ｐ₁＝Ｓ＋（２Ｕ＋２Ｌ−２Ｓ−Ｂ−Ｒ）／８Ｐ₂＝Ｓ＋（２Ｕ−Ｂ−Ｒ）／８Ｐ₃＝Ｓ＋（２Ｌ−Ｂ−Ｒ）／８Ｐ₄＝Ｓ＋（２Ｓ−Ｂ
−Ｒ）／８で表せる。

【０１０３】以下同様にして、Ｓ₂上の４画素Ｐ₁〜Ｐ
₄は最終的に、Ｐ₁＝Ｓ＋（２Ｕ−Ｂ−Ｌ）／８Ｐ₂＝Ｓ＋（２Ｕ＋２Ｒ−２Ｓ−Ｂ−Ｌ）／８Ｐ₃＝Ｓ＋（２Ｓ−Ｂ−Ｌ）／８Ｐ₄＝Ｓ＋（２Ｒ−Ｂ−Ｌ）／８で表せ、また、Ｓ₃上の４画素Ｐ₁〜Ｐ₄は最終的に、Ｐ₁＝Ｓ＋（２Ｌ−Ｕ−Ｒ）／８Ｐ₂＝Ｓ＋（２Ｓ−Ｕ−Ｒ）／８Ｐ₃＝Ｓ＋（２Ｂ＋２Ｌ−２Ｓ−Ｕ−Ｒ）／８Ｐ₄＝Ｓ＋（２Ｂ−Ｕ−Ｒ）／８で表せ、またＳ₄上の４画素Ｐ₁〜Ｐ₄は最終的に、Ｐ₁＝Ｓ＋（２Ｓ−Ｕ−Ｌ）／８Ｐ₂＝Ｓ＋（２Ｒ−Ｕ−Ｌ）／８Ｐ₃＝Ｓ＋（２Ｂ−Ｕ−Ｌ）／８Ｐ₄＝Ｓ＋（２Ｂ＋２Ｒ−２Ｓ−Ｕ−Ｌ）／８で表せる。かくして、自己を含む近傍の各ＤＣ値（Ｓ，
Ｕ，Ｒ，Ｂ，Ｌ）から４×４画素分の近似画像が直接
（非段階的）に求められる。

【０１０４】なお、上記実施の形態ではゲームシステム
への適用例を述べたが、本発明は自然画像，アニメーシ
ョン画像等の符号化にも適用できることは明らかであ
る。

【０１０５】また上記実施の形態では１画像当たりの画
像符号／復号処理を示したが、画像フレーム毎に該処理
を繰り返すことで動画像の符号／復号処理を行える。

【０１０６】また上記実施の形態では既提案のＨＶＱ方
式／ＨＶＱＭ方式への適用例を述べたが、本発明は復号
画像に求められるＰＳＮＲと、原画像の符号・復号によ
り生じる誤差（許容誤差）とが一定の関係にあるような
他の様々な画像符号方法にも適用できることは言うまで
も無い。

【０１０７】また上記本発明に好適なる実施の形態を述
べたが、本発明思想を逸脱しない範囲内で各部の構成，
制御，処理及びこれらの組合せの様々な変更が行えるこ
とは言うまでも無い。

【０１０８】

【発明の効果】以上述べた如く本発明によれば、所望の
ＰＳＮＲの指定入力に基づき、該ＰＳＮＲの実現と一定
の関係にある許容誤差（量子化誤差，予測誤差，残差ベ
クトルの近似誤差等）を求め、該許容誤差の範囲内で入
力画像の符号化処理を行う構成により、目標の画品質を
能率良く達成できる。

【図面の簡単な説明】

【図１】本発明の原理を説明する図である。

【図２】実施の形態による画像符号装置のブロック図で
ある。

【図３】実施の形態による画像符号化処理のフローチャ
ート（１）である。

【図４】実施の形態による画像符号化処理のフローチャ
ート（２）である。

【図５】実施の形態による画像符号化処理のフローチャ
ート（３）である。

【図６】実施の形態による画像符号化処理のフローチャ
ート（４）である。

【図７】実施の形態による画像符号化処理のテーブルを
説明する図である。

【図８】実施の形態による画像符号化処理のイメージ図
（１）である。

【図９】実施の形態による画像符号化処理のイメージ図
（２）である。

【図１０】実施の形態による画像復号装置のブロック図
である。

【図１１】実施の形態による画像復号化処理のフローチ
ャートである。

【図１２】実施の形態による非段階的交流成分予測処理
を説明する図である。

【符号の説明】

１ＣＰＵ２主メモリ（ＭＭ）３表示部（ＤＳＰ）４キーボード（ＫＢＤ）４ａポインティングデバイス（ＰＤ）５ハードディスク装置（ＨＤＤ）６共通バス７ビデオカメラ（ＶＣ）８ビデオテープレコーダ（ＶＴＲ）９ＣＧ作成装置（ＣＧ）４２ＲＯＭカートリッジ（ＲＯＭ−Ｃ）４３ＣＤ−ＲＯＭ

Claims

【特許請求の範囲】

【請求項１】復号画像に対するＰＳＮＲの指定入力に
基づき、該ＰＳＮＲの実現と一定の関係にある画像符号
化の際の誤差に対する閾値情報を求め、該閾値情報の範
囲内で入力画像の符号化処理を行うことを特徴とする画
像符号方法。
【請求項２】画像データをｍ×ｎ画素のブロックに分
割し、各画素ブロックの平均値からなるＤＣ画像を生成
すると共に、各ブロックの画素値からブロック平均値を
差し引いた残差ベクトルの大きさが許容値Ｚを超えた場
合は、前記ＤＣ画像のネストを使用した適応的直交変換
により前記残差ベクトルを近似するための１又は２以上
の直交基底を求め、これらの１次結合からなる直交基底
系を量子化する画像符号方法において、画像データのブロック平均値をｙ_a、ブロックの１画素
当たりの平均許容誤差を√｛Ｚ／（ｍ×ｎ）｝とする時
に、１ブロック当たりのＰＳＮＲとして所要のＳＮ
_b［ｄＢ］を得るための前記許容値Ｚを、Ｚ＝（ｍ×ｎ）×１０^SNb/10×ｙ_a ² の関係により求めることを特徴とする画像符号方法。
【請求項３】１画像当たりの１画素平均値をＹ_a、そ
の最大画素値をＹ_MA _Xとする時の１画像当たりの利得Ｐ
ＳＮＲを、ＳＮ_g［ｄＢ］＝２０ｌｏｇ（Ｙ_a／Ｙ_MAX）とする時に、１画像当たりの所望のＰＳＮＲとして次
式、ＳＮ_a＝ＳＮ_g＋ＳＮ_b を満足するＳＮ_a［ｄＢ］が外部より設定されることを
特徴とする請求項２に記載の画像符号方法。
【請求項４】１画像の各ブロック平均値ｙ_aに対応し
て許容値Ｚを動的に変化させることを特徴とする請求項
２又は３に記載の画像符号方法。
【請求項５】請求項１乃至４の何れか１つに記載の画
像符号方法をコンピュータに実行させるためのプログラ
ムを記録したコンピュータ読み取り可能な記録媒体。