JP2002335405A - 画像データ処理装置および方法、記録媒体、並びにプログラム - Google Patents

画像データ処理装置および方法、記録媒体、並びにプログラム

Info

Publication number
JP2002335405A
JP2002335405A JP2001139704A JP2001139704A JP2002335405A JP 2002335405 A JP2002335405 A JP 2002335405A JP 2001139704 A JP2001139704 A JP 2001139704A JP 2001139704 A JP2001139704 A JP 2001139704A JP 2002335405 A JP2002335405 A JP 2002335405A
Authority
JP
Japan
Prior art keywords
generating
coefficient
prediction
class code
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001139704A
Other languages
English (en)
Other versions
JP4649770B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Toshihiko Hamamatsu
俊彦 浜松
Takeharu Nishikata
丈晴 西片
Masashi Uchida
真史 内田
Takeshi Kunihiro
威 國弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001139704A priority Critical patent/JP4649770B2/ja
Publication of JP2002335405A publication Critical patent/JP2002335405A/ja
Application granted granted Critical
Publication of JP4649770B2 publication Critical patent/JP4649770B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 簡単な構成で、かつ、低コストの装置で画
像データを復号できるようにする。 【解決手段】 クラス分類回路83により、量子化DCT
係数を、コードブック82を用いて、代表ベクトルに基
づいて量子化することで、クラス分類する。予測係数テ
ーブル84は、クラスコードに対応して予測係数を読み
出し、積和演算回路85に出力する。予測タップテーブ
ル86は、クラスコードに対応するパターン情報を予測
タップ抽出回路81に出力する。予測タップ抽出回路8
1は、予測タップを抽出し、積和演算回路85に出力す
る。積和演算回路85は、予測係数と予測タップに基づ
いて積和演算を行い、画像を復号する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データ処理装
置および方法、記録媒体、並びにプログラムに関し、特
に、圧縮された画像データを、簡単な構成で復号できる
ようにした画像データ処理装置および方法、記録媒体、
並びにプログラムに関する。
【0002】
【従来の技術】例えば、ディジタル画像データは、その
データ量が多いため、そのまま記録や伝送を行うには、
大容量の記録媒体や伝送媒体が必要となる。そこで、一
般には、画像データを圧縮符号化することにより、その
データ量を削減してから、記録や伝送が行われる。
【0003】画像を圧縮符号化する方式としては、例え
ば、静止画の圧縮符号化方式であるJPEG(Joint Photogr
aphic Experts Group)方式や、動画の圧縮符号化方式で
あるMPEG(Moving Picture Experts Group)方式等があ
る。
【0004】例えば、JPEG方式による画像データの符号
化は、図1に示すように行われる。
【0005】符号化対象の画像データは、ブロック化回
路1に入力され、ブロック化回路1は、そこに入力され
る画像データを、8×8画素の64画素でなるブロック
に分割する。ブロック化回路1で得られる各ブロック
は、DCT(Discrete Cosine Transform)回路2に供給され
る。DCT回路2は、ブロック化回路1からのブロックに
対して、DCT(離散コサイン変換)処理を施し、1個の
DC(Direct Current)成分と、水平方向および垂直方向
についての63個の周波数成分(AC(Alternating Cur
rent)成分)の、合計64個のDCT係数に変換する。各ブ
ロックごとの64個のDCT係数は、DCT回路2から量子化
回路3に供給される。
【0006】量子化回路3は、所定の量子化テーブルに
したがって、DCT回路2からのDCT係数を量子化し、その
量子化結果(以下、適宜、量子化DCT係数という)を、
量子化に用いた量子化テーブルとともに、エントロピー
符号化回路4に供給する。
【0007】図2は、量子化回路3において用いられる
量子化テーブルの例を示している。量子化テーブルに
は、一般に、人間の視覚特性を考慮して、重要性の高い
低周波数のDCT係数は細かく量子化し、重要性の低い高
周波数のDCT係数は粗く量子化するような量子化ステッ
プが設定されており、これにより、画像の画質の劣化を
抑えて、効率の良い圧縮が行われるようになっている。
【0008】エントロピー符号化回路4は、量子化回路
3からの量子化DCT係数に対して、例えば、ハフマン符
号化等のエントロピー符号化処理を施して、量子化回路
3からの量子化テーブルを付加し、その結果得られる符
号化データを、JPEG符号化結果として出力する。
【0009】図3は、図1のJPEG符号化装置が出力する
符号化データを復号する、従来のJPEG復号装置の一例の
構成を示している。
【0010】符号化データは、エントロピー復号回路1
1に入力され、エントロピー復号回路11は、符号化デ
ータを、エントロピー符号化された量子化DCT係数と、
量子化テーブルとに分離する。さらに、エントロピー復
号回路11は、エントロピー符号化された量子化DCT係
数をエントロピー復号し、その結果得られる量子化DCT
係数を、量子化テーブルとともに、逆量子化回路12に
供給する。逆量子化回路12は、エントロピー復号回路
11からの量子化DCT係数を、同じくエントロピー復号
回路11からの量子化テーブルにしたがって逆量子化
し、その結果得られるDCT係数を、逆DCT回路13に供給
する。逆DCT回路13は、逆量子化回路12からのDCT係
数に、逆DCT処理を施し、その結果られる8×8画素の
(復号)ブロックを、ブロック分解回路14に供給す
る。ブロック分解回路14は、逆DCT回路13からのブ
ロックのブロック化を解くことで、復号画像を得て出力
する。
【0011】
【発明が解決しようとする課題】上記のようなDCT等の
直交変換を用いた圧縮符号化において、圧縮率を高くす
るために各係数データに対する量子化を粗くすると、原
画像に対する復号画像の誤差が増大し、復号画像に劣化
が生じる。その劣化は、画像のボケ、ブロック歪み、及
びエッジ周辺のモスキートノイズといった形で現れ、大
きな問題となっている。
【0012】本発明は、このような状況に鑑みてなされ
たものであり、情報量を増大させることなく、量子化誤
差を低減したよい良好な復号画像を得ることができるよ
うにするものである。
【0013】
【課題を解決するための手段】本発明の第1の画像デー
タ処理装置は、複数の係数データをクラス分類するため
のテーブル情報を保持する保持手段と、保持手段に保持
されているテーブル情報に基づいて、クラスコードを生
成するクラスコード生成手段と、クラスコード生成手段
により生成されたクラスコードに基づいて、予測係数セ
ットを生成する予測係数生成手段と、クラスコード生成
手段により生成されたクラスコードに基づいて、予測タ
ップを生成する予測タップ生成手段と、予測係数生成手
段により生成された予測係数セットと、予測タップ生成
手段により生成された予測タップに基づいて、画素デー
タを生成する画素データ生成手段とを備えることを特徴
とする。
【0014】前記保持手段は、テーブル情報として、複
数の係数データ、または係数データに対応する特徴量と
の関係を記述したテンプレートを保持することができ
る。
【0015】前記保持手段は、テーブル情報として、複
数の係数データ、または係数データに対応する特徴量か
らなるベクトルが格納されたコードブックを保持し、ク
ラスコード生成手段は、コードブックを用いて係数デー
タをベクトル量子化して、クラスコードを生成すること
ができる。
【0016】前記コードブックは、LBGアルゴリズム
に基づいて生成されているようにすることができる。
【0017】前記クラスコード生成手段は、閾値判定処
理を行うことができる。
【0018】本発明の第1の画像データ処理方法は、複
数の係数データをクラス分類するためのテーブル情報を
保持する保持ステップと、保持ステップの処理により保
持されているテーブル情報に基づいて、クラスコードを
生成するクラスコード生成ステップと、クラスコード生
成ステップの処理により生成されたクラスコードに基づ
いて、予測係数セットを生成する予測係数生成ステップ
と、クラスコード生成ステップの処理により生成された
クラスコードに基づいて、予測タップを生成する予測タ
ップ生成ステップと、予測係数生成ステップの処理によ
り生成された予測係数セットと、予測タップ生成ステッ
プの処理により生成された予測タップに基づいて、画素
データを生成する画素データ生成ステップとを含むこと
を特徴とする。
【0019】前記保持ステップは、テーブル情報とし
て、複数の係数データ、または係数データに対応する特
徴量との関係を記述したテンプレートを保持することが
できる。
【0020】前記保持ステップは、テーブル情報とし
て、複数の係数データ、または係数データに対応する特
徴量からなるベクトルが格納されたコードブックを保持
し、クラスコード生成ステップは、コードブックを用い
て係数データをベクトル量子化して、クラスコードを生
成することができる。
【0021】前記コードブックは、LBGアルゴリズム
に基づいて生成されているようにすることができる。
【0022】前記クラスコード生成ステップは、閾値判
定処理を行うことができる。
【0023】本発明の第1の記録媒体のプログラムは、
直交変換処理により係数データに変換された後、量子化
された画像データを復号する画像データ処理装置のプロ
グラムであって、複数の係数データをクラス分類するた
めのテーブル情報を保持する保持ステップと、保持ステ
ップの処理により保持されているテーブル情報に基づい
て、クラスコードを生成するクラスコード生成ステップ
と、クラスコード生成ステップの処理により生成された
クラスコードに基づいて、予測係数セットを生成する予
測係数生成ステップと、クラスコード生成ステップの処
理により生成されたクラスコードに基づいて、予測タッ
プを生成する予測タップ生成ステップと、予測係数生成
ステップの処理により生成された予測係数セットと、予
測タップ生成ステップの処理により生成された予測タッ
プに基づいて、画素データを生成する画素データ生成ス
テップとを含むことを特徴とする。
【0024】本発明の第1のプログラムは、直交変換処
理により係数データに変換された後、量子化された画像
データを復号する画像データ処理装置を制御するコンピ
ュータに、複数の係数データをクラス分類するためのテ
ーブル情報を保持する保持ステップと、保持ステップの
処理により保持されているテーブル情報に基づいて、ク
ラスコードを生成するクラスコード生成ステップと、ク
ラスコード生成ステップの処理により生成されたクラス
コードに基づいて、予測係数セットを生成する予測係数
生成ステップと、クラスコード生成ステップの処理によ
り生成されたクラスコードに基づいて、予測タップを生
成する予測タップ生成ステップと、予測係数生成ステッ
プの処理により生成された予測係数セットと、予測タッ
プ生成ステップの処理により生成された予測タップに基
づいて、画素データを生成する画素データ生成ステップ
とを実行させる。
【0025】本発明の第2の画像データ処理装置は、入
力された画像データから係数データを生成する係数デー
タ生成手段と、複数の係数データをクラス分類するため
のテーブル情報を保持する保持手段と、係数データ生成
手段により生成された係数データから、保持手段に保持
されているテーブル情報に基づいて、クラスコードを生
成するクラスコード生成手段と、係数データ生成手段に
より生成された係数データから、予測タップを生成する
予測タップ生成手段と、クラスコード生成手段により生
成されたクラスコードに基づいて、入力された画像デー
タと、予測タップ生成手段により生成された予測タップ
から、予測係数を生成する予測係数生成手段とを備える
ことを特徴とする。
【0026】本発明の第2の画像データ処理方法は、入
力された画像データから係数データを生成する係数デー
タ生成ステップと、複数の係数データをクラス分類する
ためのテーブル情報を保持する保持ステップと、係数デ
ータ生成ステップの処理により生成された係数データか
ら、保持ステップの処理により保持されているテーブル
情報に基づいて、クラスコードを生成するクラスコード
生成ステップと、係数データ生成ステップの処理により
生成された係数データから、予測タップを生成する予測
タップ生成ステップと、クラスコード生成ステップの処
理により生成されたクラスコードに基づいて、入力され
た画像データと、予測タップ生成ステップの処理により
生成された予測タップから、予測係数を生成する予測係
数生成ステップとを含むことを特徴とする。
【0027】本発明の第2の記録媒体のプログラムは、
直交変換処理により係数データに変換された後、量子化
された画像データを復号する場合に用いられる予測係数
を生成する画像データ処理装置のプログラムであって、
入力された画像データから係数データを生成する係数デ
ータ生成ステップと、複数の係数データをクラス分類す
るためのテーブル情報を保持する保持ステップと、係数
データ生成ステップの処理により生成された係数データ
から、保持ステップの処理により保持されているテーブ
ル情報に基づいて、クラスコードを生成するクラスコー
ド生成ステップと、係数データ生成ステップの処理によ
り生成された係数データから、予測タップを生成する予
測タップ生成ステップと、クラスコード生成ステップの
処理により生成されたクラスコードに基づいて、入力さ
れた画像データと、予測タップ生成ステップの処理によ
り生成された予測タップから、予測係数を生成する予測
係数生成ステップとを含むことを特徴とする。
【0028】本発明の第2のプログラムは、直交変換処
理により係数データに変換された後、量子化された画像
データを復号する場合に用いられる予測係数を生成する
画像データ処理装置を制御するコンピュータに、入力さ
れた画像データから係数データを生成する係数データ生
成ステップと、複数の係数データをクラス分類するため
のテーブル情報を保持する保持ステップと、係数データ
生成ステップの処理により生成された係数データから、
保持ステップの処理により保持されているテーブル情報
に基づいて、クラスコードを生成するクラスコード生成
ステップと、係数データ生成ステップの処理により生成
された係数データから、予測タップを生成する予測タッ
プ生成ステップと、クラスコード生成ステップの処理に
より生成されたクラスコードに基づいて、入力された画
像データと、予測タップ生成ステップの処理により生成
された予測タップから、予測係数を生成する予測係数生
成ステップとを実行させる。
【0029】本発明の第1の画像データ処理装置および
方法、記録媒体、並びにプログラムにおいては、複数の
係数データをクラス分類するためのテーブル情報に基づ
いて、クラスコードが生成され、生成されたクラスコー
ドに基づいて、予測係数セットと予測タップが生成され
る。そして、予測係数セットと、予測タップに基づい
て、画素データが生成される。
【0030】本発明の第2の画像データ処理装置および
方法、記録媒体、並びにプログラムにおいては、複数の
係数データをクラス分類するためのテーブル情報に基づ
いて、クラスコードが生成され、生成されたクラスコー
ドに基づいて、入力された画像データと、それに基づき
生成された予測タップから、予測係数が生成される。
【0031】
【発明の実施の形態】次に、図4は、本発明を適用した
復号装置60の構成例を示している。
【0032】符号化データは、エントロピー復号回路6
1に供給され、エントロピー復号回路61は、符号化デ
ータを、エントロピー復号して、その結果得られるブロ
ックごとの量子化DCT係数Qを、係数データ変換回路6
2に供給する。なお、符号化データには、図3のエント
ロピー復号回路11で説明した場合と同様に、エントロ
ピー符号化された量子化DCT係数の他、量子化テーブル
も含まれるが、量子化テーブルは、後述するように、必
要に応じて、量子化DCT係数の復号に用いることが可能
である。
【0033】係数データ変換回路62は、エントロピー
復号回路61からの量子化DCT係数Qと、後述する学習
を行うことにより求められる予測係数を用いて、所定の
予測演算を行うことにより、ブロックごとの量子化DCT
係数を、8×8個の元の画素データのブロックに復号す
る。
【0034】ブロック分解回路63は、係数データ変換
回路62において得られる、復号されたブロック(復号
ブロック)のブロック化を解くことで、復号画像を得て
出力する。
【0035】次に、図5のフローチャートを参照して、
図4の復号装置60の処理について説明する。
【0036】符号化データは、エントロピー復号回路6
1に順次供給され、ステップS1において、エントロピ
ー復号回路61は、符号化データをエントロピー復号
し、ブロックごとの量子化DCT係数Qを、係数データ変
換回路62に供給する。係数データ変換回路62は、ス
テップS2において、エントロピー復号回路61からの
ブロックごとの量子化DCT係数Qを、予測係数を用いた
予測演算を行うことにより、ブロックごとの画素値に復
号し、ブロック分解回路63に供給する。ブロック分解
回路63は、ステップS3において、係数データ変換回
路62からの画素値のブロック(復号ブロック)のブロ
ック化を解くブロック分解を行い、その結果得られる復
号画像を出力して、処理を終了する。
【0037】図6は、量子化DCT係数を画素値に復号す
る、図4の係数データ変換回路62のより詳細な構成例
を示している。
【0038】エントロピー復号回路61(図4)が出力
するブロックごとの量子化DCT係数は、予測タップ抽出
回路81およびクラス分類回路83に供給されるように
なっている。
【0039】予測タップ抽出回路81は、そこに供給さ
れる量子化DCT係数のブロック(以下、適宜、DCTブロッ
クという)に対応する画素値のブロック(この画素値の
ブロックは、現段階では存在しないが、仮想的に想定さ
れる)(以下、適宜、画素ブロックという)を、順次、
注目画素ブロックとし、さらに、その注目画素ブロック
を構成する各画素を、例えば、いわゆるラスタスキャン
順に、順次、注目画素とする。さらに、予測タップ抽出
回路81は、注目画素の画素値を予測するのに用いる量
子化DCT係数を、予測タップテーブル86を参照するこ
とで抽出し、予測タップとする。
【0040】予測タップテーブル86は、注目画素につ
いての予測タップとして抽出する量子化DCT係数の、注
目画素に対する位置関係を表したパターン情報が登録さ
れているパターンテーブルであり、予測タップ抽出回路
81は、そのパターン情報に基づいて、量子化DCT係数
を抽出し、注目画素についての予測タップを構成する。
【0041】予測タップ抽出回路81は、8×8の64
画素でなる画素ブロックを構成する各画素についての予
測タップ、即ち、64画素それぞれについての64セッ
トの予測タップを、上述のようにして構成し、積和演算
回路85に供給する。
【0042】クラス分類回路83は、コードブック82
に格納されている代表ベクトルに基づいて、注目DCTブ
ロックのDCT係数(AC係数)をベクトル量子化することに
より、注目DCTブロックを幾つかのクラスのうちのいず
れかに分類し、その結果得られるクラスに対応するクラ
スコードと画素位置モードを出力する(その処理の詳細
は、図9と図10を参照して後述する)。画素位置モー
ドは、注目画素ブロックの、注目画素となっている画素
の位置に対応した動作モードを意味する。
【0043】クラス分類回路83が出力するクラスコー
ドは、予測係数テーブル84および予測タップテーブル
86に、アドレスとして与えられる。
【0044】予測係数テーブル84には、画素値の予測
に用いられる予測係数が、クラス毎及び画素位置モード
毎に予め格納されている。この予測係数テーブル84の
作成方法については、図11と図12を参照して後述す
る。予測係数テーブル84は、クラス分類回路83から
供給されるクラスコード、及び画素位置モードに応じて
予測係数セットを選択し、積和演算回路85へ出力す
る。
【0045】積和演算回路85は、予測タップ抽出回路
81から供給される予測タップセットと、予測係数テー
ブル84から得られる予測係数セットの積和演算を行
い、その結果を画素データ(PD)として出力する。
【0046】すなわち、積和演算回路85は、予測タッ
プセットがTD1、TD2、TD3、TD4、TD 5、予測係数セット
がFC1、FC2、FC3、FC4、FC5の場合、画素データPDを、
次式で表されるように演算する。 (1)
【0047】本実施の形態では、画素ブロックがクラス
分類されるから、注目画素ブロックについて、1つのク
ラスコードが得られる。一方、画素ブロックは、本実施
の形態では、8×8画素の64画素で構成されるから、
注目画素ブロックについて、それを構成する64画素そ
れぞれを復号するための64セットの予測係数が必要で
ある。従って、予測係数テーブル84には、1つのクラ
スコード毎に、対応するアドレスに対して、64セット
の予測係数が記憶されている。
【0048】積和演算回路85は、予測タップ抽出回路
81が出力する予測タップと、予測係数テーブル84が
出力する予測係数とを取得し、その予測タップと予測係
数とを用いて、式(1)に示した線形予測演算(積和演
算)を行い、その結果得られる注目画素ブロックの8×
8画素の画素値を、対応するDCTブロックの復号結果と
して、ブロック分解回路63(図4)に出力する。
【0049】予測タップ抽出回路81においては、上述
したように、注目画素ブロックの各画素が、順次、注目
画素とされるが、積和演算回路85は、注目画素ブロッ
クの、注目画素となっている画素の位置に対応した動作
モード(ずなわち、画素位置モード)の処理を行う。
【0050】例えば、注目画素ブロックの画素のうち、
ラスタスキャン順で、i番目の画素を、piと表し、画
素piが、注目画素となっている場合、積和演算回路8
5は、画素位置モード#iの処理を行う。
【0051】具体的には、上述したように、予測係数テ
ーブル84は、注目画素ブロックを構成する64画素そ
れぞれを復号するための64セットの予測係数を格納し
ているが、そのうちの画素piを復号するための予測係
数のセットをWiと表すと、積和演算回路85には、動
作モードが、画素位置モード#iのときには、セットW
iが出力される。同時に、予測タップ抽出回路81から
は、画素位置モード#iの予測タップTiが出力され、
積和演算回路85では、予測タップTiと、予測係数セ
ットWiとを用いて、式(1)の積和演算を行い、その
積和演算結果を、画素piの復号結果とする。
【0052】予測タップテーブル86には、画素値の予
測に用いられる予測タップの位置、すなわち、どのDCT
係数を予測に用いるかの情報が予め格納されている。予
測タップテーブル86は、クラス分類回路83から供給
されるクラスコード、及び画素位置モードに応じて、予
測タップ位置セットを予測タップ抽出回路81へ出力す
る。
【0053】予測タップ抽出回路81は、予測タップテ
ーブル86から供給される予測タップ位置セットに基づ
き、各予測タップ位置に対応するDCT係数データを抽出
し、それらを予測タップセットとして積和演算回路85
へ出力する。
【0054】ここで、予測タップテーブル86において
も、予測係数テーブル84について説明したのと同様の
理由から、1つのクラスコードに対応するアドレスに対
して、64セットのパターン情報(各画素位置モードご
とのパターン情報)が記憶されている。
【0055】次に、図7のフローチャートを参照して、
図6の係数データ変換回路62の処理について説明す
る。
【0056】エントロピー復号回路61が出力するブロ
ックごとの量子化DCT係数は、予測タップ抽出回路81
およびクラス分類回路83において順次受信され、そこ
に供給される量子化DCT係数のブロック(DCTブロック)
に対応する画素ブロックが、順次、注目画素ブロックと
される。また、注目画素ブロックのが画素のうち、ラス
タスキャン順で、まだ注目されていない画素が注目画素
とされる。
【0057】クラス分類回路83は、ステップS11に
おいて、コードブック82に格納されている代表ベクト
ルを用いて、注目DCTブロックをベクトル量子化するこ
とでクラス分類する。すなわち、クラス分類回路83
は、入力された係数データとの距離が最小となる代表ベ
クトルをコードブック82から検索し、その代表ベクト
ルに対応するクラスコードをその係数データのクラスコ
ードとする。クラス分類回路83は、クラスコードと画
素位置モード(画素ブロック内における画素の位置)
を、予測係数テーブル84および予測タップテーブル8
6に出力する。このクラス分類処理の詳細は、図9と図
10を参照して後述する。
【0058】予測タップテーブル86は、クラス分類回
路83からアドレスとしてクラスコードと画素位置モー
ドを受信すると、ステップS12において、そのアドレ
スに記憶されているパターン情報を読み出し、予測タッ
プ抽出回路81に出力する。
【0059】そして、ステップS13に進み、予測タッ
プ抽出回路81は、予測タップテーブル86から供給さ
れるクラスコード、および注目画素の画素位置モードに
対応するパターン情報にしたがって、その注目画素の画
素値を予測するのに用いる量子化DCT係数を抽出し、予
測タップとして構成する。この予測タップは、予測タッ
プ抽出回路81から積和演算回路85に供給される。
【0060】予測係数テーブル84は、クラス分類回路
83からアドレスとしてクラスコードと画素位置モード
を受信すると、ステップS14おいて、そのアドレスに
記憶されている予測係数を読み出し、積和演算回路85
に出力する。
【0061】積和演算回路85は、ステップS15にお
いて、クラスコードおよび注目画素に対する画素位置モ
ードに対応する予測係数のセットを取得し、その予測係
数のセットと、ステップS13で予測タップ抽出回路8
1から供給された予測タップとを用いて、式(1)に示
した積和演算を行い、注目画素の画素値の復号値を得
る。
【0062】そして、ステップS16に進み、クラス分
類回路83は、注目画素ブロックのすべての画素を、注
目画素として処理したかどうかを判定する。ステップS
16において、注目画素ブロックのすべての画素を、注
目画素として、まだ処理していないと判定された場合、
ステップS12に戻り、クラス分類回路83は、注目画
素ブロックの画素のうち、ラスタスキャン順で、まだ、
注目画素とされていない画素を、新たに注目画素とし
て、以下、同様の処理を繰り返す。
【0063】また、ステップS16において、注目画素
ブロックのすべての画素を、注目画素として処理したと
判定された場合、即ち、注目画素ブロックのすべての画
素の復号値が得られた場合、積和演算回路85は、その
復号値で構成される画素ブロック(復号ブロック)を、
ブロック分解回路63(図4)に出力し、処理を終了す
る。
【0064】このように、図7のフローチャートにした
がった処理は、係数データ変換回路62が、新たな注目
画素ブロックを設定するごとに繰り返し行われる。
【0065】図8は、コードブック82を生成する回路
の構成例を示している。この例においては、コードブッ
ク生成回路91が、入力された周波数領域の係数データ
に基づいて、LBGアルゴリズムに基づいて学習し、複数
の代表ベクトルからなるコードブックを生成する。
【0066】図9は、クラス分類回路83の構成を示
す。上述したように、この実施の形態では、入力された
係数データとの距離が最小となる代表ベクトルをコード
ブック82から検索することでクラスコードが決定され
る。この場合における距離の定義としては様々なものが
考えられるが、図9の例では、代表ベクトルと入力ベク
トル(入力されたDCT係数データ)のなす角度が距離と
して用いられる。代表ベクトルをTk、入力ベクトルをS
とすると、両者のなす角度θkは、次式により求めるこ
とができる。
【数1】 ただし、Tk・SはTkとSの内積を、||Tk||はTkのノルム
を、||S||はSのノルムを、それぞれ表す。
【0067】入力ベクトル抽出回路101は、注目ブロ
ックの64個のDCT係数のうち、63個のAC係数を抽出
し、入力ベクトルとして内積回路102とノルム算出回
路105に供給する。内積回路102は、コードブック
82内の代表ベクトルと、入力ベクトル抽出回路101
からの入力ベクトルの内積を算出し、cosθ算出回路1
04に出力する。ノルム算出回路103は、コードブッ
ク82からの代表ベクトルのノルムを算出し、cosθ算
出回路104に出力する。ノルム算出回路105は、入
力ベクトル抽出回路101からの入力ベクトルのノルム
を算出し、cosθ算出回路104に出力する。
【0068】cosθ算出回路104は、内積回路102
からの代表ベクトルと入力ベクトルの内積、ノルム算出
回路103からの代表ベクトルのノルム、及びノルム算
出回路105からの入力ベクトルのノルムからcosθk
(=(Tk・S)/(||Tk||||S||))求め、cos-1回路
106に出力する。cos-1回路106は、角度θkを算出
し、最小値選択回路107に出力する。最小値選択回路
107は、入力ベクトルとすべての代表ベクトルとのな
す角度の中から、角度が最も小さい代表ベクトルを選択
し、その代表ベクトルの番号をクラスコードとして出力
する。
【0069】次に、図10のフローチャートを参照し
て、図9のクラス分類回路83の動作について説明す
る。最初に、ステップS31において、入力ベクトル抽
出回路101は、入力されたDCT係数から入力ベクトル
を抽出する。ステップS32において、代表ベクトルと
入力ベクトルとの成す角度が算出される。
【0070】すなわち、上述したように、内積回路10
2は、入力ベクトル抽出回路101より供給された入力
ベクトルと、コードブック82より供給された1つの代
表ベクトルとの内積を演算し、COSθ算出回路104に
供給する。ノルム算出回路103は、コードブック82
により供給された代表ベクトルのノルムを算出し、COS
θ算出回路104に供給する。
【0071】ノルム算出回路105は、入力ベクトル抽
出回路101より供給された入力ベクトルのノルムを算
出し、COSθ算出回路104に供給する。
【0072】COSθ算出回路104は、内積回路102
から供給された内積、並びにノルム算出回路103とノ
ルム算出回路105より供給されたノルムに基づいて、
COSθを算出し、COS-1回路106に供給する。COS-1
路106は、入力されたCOSθから角度θを算出する。
【0073】ステップS33において、全ての代表ベク
トルと入力ベクトルとの角度が算出されたか否かが最小
値選択回路107により判定され、まだ、角度が算出さ
れていない代表ベクトルが存在する場合には、ステップ
S31に戻り、それ以降の処理が繰り返し実行される。
【0074】以上のようにして、入力ベクトルと、全て
の代表ベクトルとの角度θが算出されたと判定された場
合、ステップS34に進み、最小値選択回路107は、
角度θが最小である代表ベクトルを選択する。そして、
ステップS35において、最小値選択回路107は、ス
テップS34で選択した代表ベクトル番号をクラスコー
ドとして出力する。
【0075】図11に予測係数テーブル84を学習によ
り生成する予測係数テーブル生成回路の構成の一例を示
す。入力されたディジタルビデオ信号は、ブロック化回
路121においてブロック化処理が施され、DCT回路1
22へ供給される。DCT回路122はブロック毎にDCT変
換を行い、DCT係数を量子化回路123へ出力する。量
子化回路123に供給された係数データはそこで量子化
され、クラス分類回路124及び予測タップ抽出回路1
29に供給される。クラス分類回路124は、図9と図
10を参照して説明した場合と同様に、テーブル130
に記憶されているコードブックを利用して、注目ブロッ
クからクラスコードを生成し、正規方程式加算回路12
5へ供給する。予測タップ抽出回路129は、予測タッ
プテーブル126からの予測タップ位置情報に基づき、
量子化回路123の出力である量子化DCT係数データか
ら予測タップを抽出し、正規方程式加算回路125に出
力する。
【0076】ここで、正規方程式加算回路125におい
て用いられる正規方程式について説明する。画素データ
PD1とその補正に用いる量子化DCT係数データQD1乃至QDn
を用いた線形推定式を式(2)に示す。 PD1=w1QD1+w2QD2+…+wnQDn (2)
【0077】学習前は予測係数w1乃至wnが未定である。
この予測係数はクラス及び画素位置モード毎に用意する
必要があるので、実際はその夫々について式を設定しな
ければならない。
【0078】学習は複数の信号データに対して行う。デ
ータ数がmの場合、式(2)より、 PD1 j=w1QD1 j+w2QD2 j+…+wnQDn j, j=1,2,…,m (3) となる。m>nの場合、w1乃至wnは一意に決まらないの
で、誤差ベクトルEの要素を ej=PD1 j-(w1QD1 j+w2QD2 j+…+wnQDn j), j=1,2,…,m (4) と定義して、下記に示す式を最小にする係数を求める。
【数2】
【0079】すなわち、最小二乗法による解法である。
ここで、式(5)のwiによる偏微分係数を求める。
【数3】 式(6)を0にするように各wiを求めれば良いので、
【数4】 として行列を用いると、
【数5】 となる。この方程式は一般に正規方程式と呼ばれてい
る。正規方程式加算回路125はこの正規方程式の加算
を行う。
【0080】全ての学習データの入力が終了した後、正
規方程式加算回路125は、予測係数決定回路127へ
正規方程式データを出力する。予測係数決定回路127
は、正規方程式を掃き出し法等の一般的な行列解法を用
いてwiについて解き、予測係数を算出する。予測係数決
定回路127は、算出された予測係数を予測係数メモリ
128へ書き込む。
【0081】上記のような学習の結果、予測係数メモリ
128には、注目画素データPD1を推定するための、統
計的に最も真値に近い予測係数が格納される。格納され
た各予測係数は、復号時にフィルタ係数として用いられ
る(予測係数メモリ128の記憶内容は、予測係数テー
ブル84として用いられる)。
【0082】次に、図12のフローチャートを参照し
て、図11の予測係数テーブル生成回路の処理について
説明する。ステップS51において、ブロック化回路1
21は、ブロック化処理を行う。ステップS52におい
て、DCT回路122は、ブロック化回路121より供給
された画素データをDCT処理し、量子化回路123に出
力する。量子化回路123は、ステップS53におい
て、DCT回路122より供給されたDCT係数を量子化し、
クラス分類回路124と正規方程式加算回路125に出
力する。
【0083】ステップS54において、クラス分類回路
124は、クラス分類処理を行い、得られたクラスコー
ドを、正規方程式加算回路125に出力する。
【0084】ステップS55において、予測タップテー
ブル126は、予測タップを抽出し、正規方程式加算回
路125に出力する。正規方程式加算回路125は、ス
テップS56において、正規方程式加算処理を行う。
【0085】ステップS57において、正規方程式加算
回路125は、全てのブロックについての処理が終了し
たか否かを判定し、まだ終了していない場合には、ステ
ップS52に戻り、それ以降の処理を繰り返し実行す
る。
【0086】ステップS57において、全てのブロック
についての処理が終了したと判定された場合、ステップ
S58に進み、予測係数決定回路127は、予測係数を
算出し、予測係数メモリ128に供給し、記憶させる。
【0087】以上においては、コードブック82に各ブ
ロックの64個のDCT係数のうちの63個のAC係数を全
て代表ベクトルとして用いるようにしたが、例えば、図
13に示されるように、図中灰色で示される低域のAC係
数のみを、代表ベクトルとして用いるようにすることも
可能である。この場合、入力ベクトル抽出回路101
は、対応する低域のAC係数のみを抽出する。
【0088】この場合におけるクラス分類回路83とそ
の処理は、図9と図10に示される場合と同様となる。
【0089】図14は、コードブックを構成する代表ベ
クトルのさらに他の例を示している。この例では、注目
ブロックだけでなく、注目ブロックの上下左右に隣接す
る周辺ブロックのDCT係数(低域のAC係数)も含めたベ
クトルによりコードブックが作成される。
【0090】この実施の形態におけるクラス分類回路8
3の構成を図15に示す。本実施の形態では、代表ベク
トルと入力ベクトルの差分自乗和が距離dと定義され、
次式により求められる。ただし、入力ベクトルをS、代
表ベクトルをTk、とする。
【数6】
【0091】入力ベクトル抽出回路101は、ベクトル
の成分となるDCT係数を抽出し、入力ベクトルとしてベ
クトル差分回路141に供給する。ベクトル差分回路1
41は、コードブック82からの代表ベクトルと、入力
ベクトル抽出回路101からの入力ベクトルの差分を算
出し、自乗和回路142に出力する。自乗和回路142
は、代表ベクトルと入力ベクトルの差分の自乗和を求
め、最小値選択回路107に出力する。最小値選択回路
107は、入力ベクトルとすべての代表ベクトルとの距
離の中から、最小値を選択し、それに対応する代表ベク
トルの番号をクラスコードとして出力する。
【0092】次に、図16のフローチャートを参照して
図15のクラス分類回路83の処理について説明する。
【0093】最初に、ステップS71において、入力ベ
クトル抽出回路101は、DCT係数から入力ベクトルを
抽出する。ステップS72において、ベクトル差分回路
141は、入力ベクトル抽出回路101より供給された
入力ベクトルと、コードブック82より供給された代表
ベクトルの差分を算出する。
【0094】ベクトル差分回路141で演算されたベク
トル差分の値は、自乗和回路142に供給され、その自
乗和が演算される。演算された自乗和は、最小値選択回
路107に供給される。
【0095】ステップS73において、自乗和(距離)
の演算が、全ての代表ベクトルについて行われたか否か
が最小値選択回路107により判定され、まだ処理され
ていない代表ベクトルが存在する場合には、ステップS
71に戻り、それ以降の処理が繰り返し実行される。
【0096】ステップS73において、全ての代表ベク
トルについての処理が行われたと判定された場合、ステ
ップS74に進み、最小値選択回路107は、距離が最
小の代表ベクトルを選択する。
【0097】ステップS75において、最小値選択回路
107は、ステップS74で選択された距離が最小の代
表ベクトルの番号をクラスコードとして出力する。
【0098】コードブック82に格納するベクトルの成
分として、DCT係数をそのまま用いるのではなく、DCT係
数から求まる特徴量を用いることができる。
【0099】この実施の形態におけるクラス分類回路8
3の構成を図17に、その処理を図18に、それぞれ示
す。
【0100】図17のクラス分類回路83では、図15
における入力ベクトル抽出回路101に代えて、特徴量
抽出回路151が設けられている。また、図16のステ
ップS71において、DCT係数から入力ベクトル抽出回
路101により、入力ベクトルが抽出されるのに代え
て、ステップS91において、特徴量抽出回路151に
より、DCT係数から特徴量が算出され、入力ベクトルと
される。以上の点を除き、その構成と処理は、図15と
図16に示される場合と基本的に同様である。
【0101】図19は、検出される特徴量の例を表して
いる。この例においては、8×8個の画素が、水平方向
と垂直方向において低域の領域、水平方向が高域で垂直
方向が低域の領域、垂直方向が高域で水平方向が低域の
領域、並びに水平方向と垂直方向の両方向において高域
の領域という、4つの領域に分割され、各領域のDCT係
数の自乗和の値P1乃至P4が特徴量とされる。
【0102】以上においては、LBGアルゴリズム等の学
習により作成されたコードブック82を用いるようにし
たが、このコードブック82に代えて、テンプレートテ
ーブルを用いることが可能である。以下に、この実施の
形態について説明する。
【0103】図20は、係数データ変換回路62のこの
場合における構成例を表している。この係数データ変換
回路62は、図6に示される係数データ変換回路62の
コードブック82をテンプレートテーブル161に代え
た点を除き、図6における場合と同様の構成とされてい
る。
【0104】テンプレートテーブル161には、クラス
分類の際に用いられるテンプレートが予め格納されてい
る。本実施の形態では、テンプレートは、ブロック内の
63個のAC係数から成るベクトルとされる。ただし、後述
する別の実施の形態に示すとおり、テンプレートはこれ
に限るものではない。
【0105】図21は、テンプレートテーブル161を
生成するテンプレートテーブル生成回路の構成を示す。
このテンプレートテーブル生成回路には、例えば強いエ
ッジを含むブロックなど、量子化された場合に歪みの大
きいブロックの画素データが入力される。入力された1
ブロックの画素データは、DCT回路171によりDCT係数
に変換され、その中から、AC係数抽出回路172により
63個のAC係数だけが抽出され、テンプレートメモリ17
3に供給され、格納される。
【0106】次に、図22のフローチャートを参照し
て、図21のテンプレートテーブル生成回路の処理につ
いて説明する。
【0107】ステップS111において、DCT回路17
1は、入力ブロックをDCT処理し、AC係数抽出回路17
2に出力する。ステップS112において、AC係数抽出
回路172は、各ブロックの63個のAC係数だけを抽出
し、テンプレートメモリ173に供給し、格納させる。
【0108】ステップS113において、全ブロックに
ついての処理が終了したか否かが判定され、まだ処理さ
れていないブロックが残っている場合には、ステップS
111に戻り、それ以降の処理が繰り返し実行される。
ステップS113において、全てのブロックについての
処理が終了したと判定された場合、処理は終了される。
【0109】図23は、図20におけるクラス分離回路
83の構成例を表している。図9におけるコードブック
82に代えて、テンプレートテーブル161が設けられ
ている。また、最小値選択回路107の出力が閾値判定
回路181に供給され、閾値判定回路181の出力がク
ラスコードとして出力される。その他の基本的構成は、
図9におけるクラス分離回路83と同様の構成とされて
いる。
【0110】閾値判定回路181は、最小値選択回路1
07より供給された角度の最小値が、予め設定された閾
値よりも小さければ、そのテンプレートの番号をクラス
コードとして出力する。その最小値が閾値よりも大きか
った場合は、クラス分類を行わずに、学習した予測係数
(モノクラス係数)を用いることとし、モノクラスコー
ドを出力する。閾値としては、例えば、係数データと量
子化スケールから求まる係数の真値の範囲の値が設定さ
れる。
【0111】次に、図23のクラス分類回路83の処理
について、図24のフローチャートを参照して説明す
る。
【0112】ステップS121において、入力ベクトル
抽出回路101は、入力されたDCT係数から入力ベクト
ルを抽出し、内積回路102とノルム算出回路105に
出力する。ステップS122において、テンプレートと
入力ベクトルの成す角度の算出処理が実行される。
【0113】すなわち、内積回路102は、テンプレー
トテーブル161に記憶されているテンプレートと、入
力ベクトル抽出回路101より供給された入力ベクトル
との内積を演算し、COSθ算出回路104に出力する。
ノルム算出回路103は、テンプレートテーブル161
より供給されたテンプレートのノルムを算出し、COSθ
算出回路104に供給する。ノルム算出回路105は、
入力ベクトル抽出回路101より供給された入力ベクト
ルのノルムを算出し、COSθ算出回路104に出力す
る。
【0114】COSθ算出回路104は、内積回路102
の出力、ノルム算出回路103の出力、並びにノルム算
出回路105の出力より、COSθを算出し、COS-1回路1
06に出力する。
【0115】COS-1回路106は、入力されたCOSθから
角度θを算出し、最小値選択回路107に出力する。
【0116】ステップS123において、最小値選択回
路107は、全てのテンプレートについての処理が行わ
れたか否かについて判定し、まだ行われていないテンプ
レートが残っている場合には、ステップS121に戻
り、それ以降の処理が繰り返し実行される。
【0117】ステップS123において、全てのテンプ
レートと入力ベクトルとの角度の算出処理が行われたと
判定された場合、ステップS124に進み、最小値選択
回路107は、角度が最小となるテンプレートを選択
し、そのテンプレート番号と最小の角度を閾値判定回路
181に出力する。
【0118】閾値判定回路181は、ステップS125
において、最小値選択回路107により選択された最小
の角度と、予め設定されている所定の閾値とを比較し、
最初の角度θが閾値より小さいか否かを判定する。
【0119】角度θが閾値より小さい場合には、ステッ
プS126に進み、閾値判定回路181は、最小の角度
のテンプレート番号をクラスコードとして出力する。ス
テップS125において、最小の角度θが閾値より小さ
くないと判定された場合、ステップS127に進み、閾
値判定回路181は、モノクラスコードを出力する。す
なわち、このとき、平均的なクラスに分類するためのク
ラスコードが出力されることになる。
【0120】このテンプレートテーブルを生成する場合
にも、図13に示されるように、低域のDCT係数だけを
用いてテンプレートテーブル161を生成することがで
きる。この場合のクラス分類回路83とその処理は、図
23と図24に示される場合と同様となる。
【0121】更に、テンプレートテーブル161を生成
するのに、図14に示されるように、注目ブロックの上
下左右に隣接する周辺ブロックの低域のDCT係数を用い
るようにすることもできる。
【0122】この場合のクラス分離回路83とその処理
は、図25と図26に示される。
【0123】この例では、テンプレートテーブル161
のテンプレートと入力ベクトルの差分の自乗和が距離d
とされる。また、この例においては、最小値選択回路1
07の出力が、図23における場合と同様に、閾値判定
回路181に供給されている。その他の構成は、図15
における場合と同様である。
【0124】図25のクラス分離回路83の処理は、図
26のステップS141乃至S147の処理となるが、
その基本的な処理は、図24のステップS121乃至ス
テップS127の処理と同様の処理となる。但し、図2
4のステップS122におけるテンプレートと入力ベク
トルの成す角度が算出する処理が、ステップS142に
おいては、テンプレートと入力ベクトルとの距離を算出
する処理とされる。そして、ステップS124におい
て、最小の角度のテンプレートが選択される処理が、ス
テップS144においては、最小の距離のテンプレート
を選択する処理とされる。
【0125】その他の処理は、図24における場合と同
様である。
【0126】コードブックに代えて、テンプレートを用
いる場合にも、DCT係数に代えて、特徴量をテンプレー
トとすることが可能である。この場合、図21に示され
るテンプレートテーブル生成回路は、図27に示される
ように構成される。なお、この場合の特徴量も、例え
ば、図19に示されるように構成される。
【0127】すなわち、図21のテンプレートテーブル
生成回路におけるAC係数抽出回路172は、図27の例
においては、特徴量抽出回路201に変更されている。
その他の構成は、図21における場合と同様である。
【0128】図28は、図27のテンプレートテーブル
生成回路の処理例を表している。ステップS161にお
いて、DCT回路171は、入力画像をDCT処理し、特徴量
抽出回路201に出力する。特徴量抽出回路201は、
ステップS162において、DCT回路171より供給さ
れたDCT係数から特徴量を抽出し、テンプレートメモリ
173に供給し、記憶させる。
【0129】以上の処理は、ステップS163におい
て、全てのブロックについての処理が終了したと判定さ
れるまで繰り返し実行される。
【0130】図29は、このように特徴量を用いて、テ
ンプレートを構成する場合におけるクラス分類回路83
の構成例を表している。この構成例においては、図25
におけるクラス分類回路83の入力ベクトル抽出回路1
01に代えて、特徴量抽出回路211が設けられてい
る。その他の構成は、図25における場合と同様であ
る。
【0131】図30は、図29のクラス分類回路83の
処理例を表している。そのステップS181乃至ステッ
プS187の処理は、図26におけるステップS141
乃至ステップS147の処理と基本的に同様の処理であ
る。
【0132】但し、図26のステップS141におい
て、DCT係数から入力ベクトルが抽出されるのに対し
て、図30のステップS181においては、特徴量抽出
回路211がDCT形成から特徴量を算出し、入力ベクト
ルとする処理を行っている。その他のステップS182
乃至ステップS187の処理は、図26のステップS1
42乃至ステップS147の処理と同様の処理である。
【0133】上述した一連の処理は、ハードウェアによ
り行うこともできるし、ソフトウェアにより行うことも
できる。一連の処理をソフトウェアによって行う場合に
は、そのソフトウェアを構成するプログラムが、汎用の
コンピュータ等にインストールされる。
【0134】図31は、上述した一連の処理を実行する
プログラムがインストールされるコンピュータの一実施
の形態の構成例を示している。
【0135】プログラムは、コンピュータに内蔵されて
いる記録媒体としてのハードディスク305やROM3
03に予め記録しておくことができる。
【0136】あるいはまた、プログラムは、フレキシブ
ルディスク、CD-ROM(Compact DiscRead Only Memory),
MO(Magneto optical)ディスク,DVD(Digital Versatile
Disc)、磁気ディスク、半導体メモリなどのリムーバブ
ル記録媒体311に、一時的あるいは永続的に格納(記
録)しておくことができる。このようなリムーバブル記
録媒体311は、いわゆるパッケージソフトウエアとし
て提供することができる。
【0137】なお、プログラムは、上述したようなリム
ーバブル記録媒体311からコンピュータにインストー
ルする他、ダウンロードサイトから、ディジタル衛星放
送用の人工衛星を介して、コンピュータに無線で転送し
たり、LAN(Local Area Network)、インターネットとい
ったネットワークを介して、コンピュータに有線で転送
し、コンピュータでは、そのようにして転送されてくる
プログラムを、通信部308で受信し、内蔵するハード
ディスク305にインストールすることができる。
【0138】コンピュータは、CPU(Central Processing
Unit)302を内蔵している。CPU302には、バス3
01を介して、入出力インタフェース310が接続され
ており、CPU302は、入出力インタフェース310を
介して、ユーザによって、キーボードや、マウス、マイ
ク等で構成される入力部307が操作等されることによ
り指令が入力されると、それにしたがって、ROM(Read O
nly Memory)303に格納されているプログラムを実行
する。あるいは、また、CPU302は、ハードディスク
305に格納されているプログラム、衛星若しくはネッ
トワークから転送され、通信部308で受信されてハー
ドディスク305にインストールされたプログラム、ま
たはドライブ309に装着されたリムーバブル記録媒体
311から読み出されてハードディスク305にインス
トールされたプログラムを、RAM(Random Access Memor
y)304にロードして実行する。これにより、CPU30
2は、上述したフローチャートにしたがった処理、ある
いは上述したブロック図の構成により行われる処理を行
う。そして、CPU302は、その処理結果を、必要に応
じて、例えば、入出力インタフェース310を介して、
LCD(Liquid Crystal Display)やスピーカ等で構成され
る出力部306から出力、あるいは、通信部308から
送信、さらには、ハードディスク305に記録等させ
る。
【0139】なお、本明細書において、コンピュータに
各種の処理を行わせるためのプログラムを記述する処理
ステップは、必ずしもフローチャートとして記載された
順序に沿って時系列に処理する必要はなく、並列的ある
いは個別に実行される処理(例えば、並列処理あるいは
オブジェクトによる処理)も含むものである。
【0140】また、プログラムは、1のコンピュータに
より処理されるものであっても良いし、複数のコンピュ
ータによって分散処理されるものであっても良い。さら
に、プログラムは、遠方のコンピュータに転送されて実
行されるものであっても良い。
【0141】さらに、本実施の形態では、静止画を圧縮
符号化するJPEG符号化された画像を対象としたが、本発
明は、動画を圧縮符号化する、例えば、MPEG符号化され
た画像を対象とすることも可能である。
【0142】また、本実施の形態では、少なくとも、DC
T処理を行うJPEG符号化された符号化データの復号を行
うようにしたが、本発明は、その他の直交変換または周
波数変換によって、ブロック単位(ある所定の単位)で
変換されたデータの復号や変換に適用可能である。即
ち、本発明は、例えば、サブバンド符号化されたデータ
や、フーリエ変換されたデータ等を復号したり、それら
の量子化誤差等を低減したデータに変換する場合にも適
用可能である。
【0143】
【発明の効果】本発明の第1の画像データ処理装置およ
び方法、記録媒体、並びにプログラムによれば、複数の
係数データをクラス分類するためのテーブル情報に基づ
いて、クラスコードが生成され、生成されたクラスコー
ドに基づいて、予測係数セットと予測タップが生成され
る。そして、予測係数セットと、予測タップに基づい
て、画素データが生成される。従って、情報量を増大さ
せることなく、量子化誤差を低減したより良好な復号画
像を得ることが可能となる。
【0144】本発明の第2の画像データ処理装置および
方法、記録媒体、並びにプログラムによれば、複数の係
数データをクラス分類するためのテーブル情報に基づい
て、クラスコードが生成され、生成されたクラスコード
に基づいて、入力された画像データと、それに基づき生
成された予測タップから、予測係数が生成される。従っ
て、情報量を増大させることなく、量子化誤差を低減し
たより良好な復号画像を得ることが可能な予測係数を生
成することができる。
【図面の簡単な説明】
【図1】従来のJPEG符号化装置の構成を示すブロック図
である。
【図2】量子化テーブルの例を示す図である。
【図3】従来のJPEG復号装置の構成を示すブロック図で
ある。
【図4】本発明を適用した復号装置の構成例を示すブロ
ック図である。
【図5】図4の復号装置の動作を説明するフローチャー
トである。
【図6】図4の係数データ変換回路の構成例を示すブロ
ック図である。
【図7】図6の係数データ変換回路の係数データ変換処
理を説明するフローチャートである。
【図8】図6のコードブックの生成回路の構成を示すブ
ロック図である。
【図9】図6のクラス分類回路の構成例を示すブロック
図である。
【図10】図9のクラス分類回路の動作を説明するフロ
ーチャートである。
【図11】図6の予測係数テーブルを生成する予測係数
テーブル生成回路の構成例を示すブロック図である。
【図12】図11の予測係数テーブル生成回路の動作を
説明するフローチャートである。
【図13】低域のAC係数を説明する図である。
【図14】周辺ブロックのDCT係数を説明する図であ
る。
【図15】図6のクラス分類回路の他の構成例を示すブ
ロック図である。
【図16】図15のクラス分類回路の動作を説明するフ
ローチャートである。
【図17】図6のクラス分類回路の更に他の構成例を示
すブロック図である。
【図18】図17のクラス分類回路の動作を説明するフ
ローチャートである。
【図19】特徴量の例を説明する図である。
【図20】図4の係数データ変換回路の他の構成例を示
すブロック図である。
【図21】図20のテンプレートテーブルを生成するテ
ンプレートテーブル生成回路の構成例を示すブロック図
である。
【図22】図21のテンプレートテーブル生成回路の動
作を説明するフローチャートである。
【図23】図20のクラス分類回路の構成例を示すブロ
ック図である。
【図24】図23のクラス分類回路の動作を説明するフ
ローチャートである。
【図25】図20のクラス分類回路の他の構成例を示す
ブロック図である。
【図26】図25のクラス分類回路の動作を説明するフ
ローチャートである。
【図27】図20のテンプレートを生成するテンプレー
トテーブル生成回路の他の構成例を示すブロック図であ
る。
【図28】図27のテンプレートテーブル生成回路の動
作を説明するフローチャートである。
【図29】図20のクラス分類回路の更に他の構成例を
示すブロック図である。
【図30】図29のクラス分類回路の動作を説明するフ
ローチャートである。
【図31】本発明を適用したコンピュータの構成例を示
すブロック図である。
【符号の説明】
60 復号装置, 61 エントロビー復号回路, 6
2 係数データ変換回路, 63 ブロック分解回路,
81 予測タップ抽出回路, 82 コードブック,
83 クラス分類回路, 84 予測係数テーブル,
85 積和演算回路, 86 予測タップテーブル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 西片 丈晴 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 内田 真史 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 國弘 威 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C059 KK01 MA23 MC11 MC18 MD07 SS20 TA41 TA45 TA55 TB08 TC02 TC08 TD13 UA05 UA39 5C078 AA04 BA44 BA57 CA22 DA02 DA12 5J064 AA01 AA02 BA09 BA16 BB03 BC01 BC08 BC09

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 直交変換処理により係数データに変換さ
    れた後、量子化された画像データを復号する画像データ
    処理装置において、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持手段と、 前記保持手段に保持されている前記テーブル情報に基づ
    いて、クラスコードを生成するクラスコード生成手段
    と、 前記クラスコード生成手段により生成された前記クラス
    コードに基づいて、予測係数セットを生成する予測係数
    生成手段と、 前記クラスコード生成手段により生成された前記クラス
    コードに基づいて、予測タップを生成する予測タップ生
    成手段と、 前記予測係数生成手段により生成された前記予測係数セ
    ットと、前記予測タップ生成手段により生成された前記
    予測タップに基づいて、画素データを生成する画素デー
    タ生成手段とを備えることを特徴とする画像データ処理
    装置。
  2. 【請求項2】 前記保持手段は、前記テーブル情報とし
    て、複数の前記係数データ、または前記係数データに対
    応する特徴量との関係を記述したテンプレートを保持す
    ることを特徴とする請求項1に記載の画像データ処理装
    置。
  3. 【請求項3】 前記保持手段は、前記テーブル情報とし
    て、複数の前記係数データ、または前記係数データに対
    応する特徴量からなるベクトルが格納されたコードブッ
    クを保持し、 前記クラスコード生成手段は、前記コードブックを用い
    て前記係数データをベクトル量子化して、前記クラスコ
    ードを生成することを特徴とする請求項1に記載の画像
    データ処理装置。
  4. 【請求項4】 前記コードブックは、LBGアルゴリズ
    ムに基づいて生成されていることを特徴とする請求項3
    に記載の画像データ処理装置。
  5. 【請求項5】 前記クラスコード生成手段は、閾値判定
    処理を行うことを特徴とする請求項1に記載の画像デー
    タ処理装置。
  6. 【請求項6】 直交変換処理により係数データに変換さ
    れた後、量子化された画像データを復号する画像データ
    処理装置の画像データ処理方法において、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持ステップと、 前記保持ステップの処理により保持されている前記テー
    ブル情報に基づいて、クラスコードを生成するクラスコ
    ード生成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、予測係数セットを生成す
    る予測係数生成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、予測タップを生成する予
    測タップ生成ステップと、 前記予測係数生成ステップの処理により生成された前記
    予測係数セットと、前記予測タップ生成ステップの処理
    により生成された前記予測タップに基づいて、画素デー
    タを生成する画素データ生成ステップとを含むことを特
    徴とする画像データ処理方法。
  7. 【請求項7】 前記保持ステップは、前記テーブル情報
    として、複数の前記係数データ、または前記係数データ
    に対応する特徴量との関係を記述したテンプレートを保
    持することを特徴とする請求項6に記載の画像データ処
    理方法。
  8. 【請求項8】 前記保持ステップは、前記テーブル情報
    として、複数の前記係数データ、または前記係数データ
    に対応する特徴量からなるベクトルが格納されたコード
    ブックを保持し、 前記クラスコード生成ステップは、前記コードブックを
    用いて前記係数データをベクトル量子化して、前記クラ
    スコードを生成することを特徴とする請求項7に記載の
    画像データ処理方法。
  9. 【請求項9】 前記コードブックは、LBGアルゴリズ
    ムに基づいて生成されていることを特徴とする請求項8
    に記載の画像データ処理方法。
  10. 【請求項10】 前記クラスコード生成ステップは、閾
    値判定処理を行うことを特徴とする請求項6に記載の画
    像データ処理方法。
  11. 【請求項11】 直交変換処理により係数データに変換
    された後、量子化された画像データを復号する画像デー
    タ処理装置のプログラムであって、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持ステップと、 前記保持ステップの処理により保持されている前記テー
    ブル情報に基づいて、クラスコードを生成するクラスコ
    ード生成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、予測係数セットを生成す
    る予測係数生成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、予測タップを生成する予
    測タップ生成ステップと、 前記予測係数生成ステップの処理により生成された前記
    予測係数セットと、前記予測タップ生成ステップの処理
    により生成された前記予測タップに基づいて、画素デー
    タを生成する画素データ生成ステップとを含むことを特
    徴とするコンピュータが読み取り可能なプログラムが記
    録されている記録媒体。
  12. 【請求項12】 直交変換処理により係数データに変換
    された後、量子化された画像データを復号する画像デー
    タ処理装置を制御するコンピュータに、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持ステップと、 前記保持ステップの処理により保持されている前記テー
    ブル情報に基づいて、クラスコードを生成するクラスコ
    ード生成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、予測係数セットを生成す
    る予測係数生成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、予測タップを生成する予
    測タップ生成ステップと、 前記予測係数生成ステップの処理により生成された前記
    予測係数セットと、前記予測タップ生成ステップの処理
    により生成された前記予測タップに基づいて、画素デー
    タを生成する画素データ生成ステップとを実行させるプ
    ログラム。
  13. 【請求項13】 直交変換処理により係数データに変換
    された後、量子化された画像データを復号する場合に用
    いられる予測係数を生成する画像データ処理装置におい
    て、 入力された画像データから前記係数データを生成する係
    数データ生成手段と、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持手段と、 前記係数データ生成手段により生成された前記係数デー
    タから、前記保持手段に保持されている前記テーブル情
    報に基づいて、クラスコードを生成するクラスコード生
    成手段と、 前記係数データ生成手段により生成された前記係数デー
    タから、予測タップを生成する予測タップ生成手段と、 前記クラスコード生成手段により生成された前記クラス
    コードに基づいて、入力された前記画像データと、前記
    予測タップ生成手段により生成された前記予測タップか
    ら、前記予測係数を生成する予測係数生成手段とを備え
    ることを特徴とする画像データ処理装置。
  14. 【請求項14】 直交変換処理により係数データに変換
    された後、量子化された画像データを復号する場合に用
    いられる予測係数を生成する画像データ処理装置の画像
    データ処理方法において、 入力された画像データから前記係数データを生成する係
    数データ生成ステップと、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持ステップと、 前記係数データ生成ステップの処理により生成された前
    記係数データから、前記保持ステップの処理により保持
    されている前記テーブル情報に基づいて、クラスコード
    を生成するクラスコード生成ステップと、 前記係数データ生成ステップの処理により生成された前
    記係数データから、予測タップを生成する予測タップ生
    成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、入力された前記画像デー
    タと、前記予測タップ生成ステップの処理により生成さ
    れた前記予測タップから、前記予測係数を生成する予測
    係数生成ステップとを含むことを特徴とする画像データ
    処理方法。
  15. 【請求項15】 直交変換処理により係数データに変換
    された後、量子化された画像データを復号する場合に用
    いられる予測係数を生成する画像データ処理装置のプロ
    グラムであって、 入力された画像データから前記係数データを生成する係
    数データ生成ステップと、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持ステップと、 前記係数データ生成ステップの処理により生成された前
    記係数データから、前記保持ステップの処理により保持
    されている前記テーブル情報に基づいて、クラスコード
    を生成するクラスコード生成ステップと、 前記係数データ生成ステップの処理により生成された前
    記係数データから、予測タップを生成する予測タップ生
    成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、入力された前記画像デー
    タと、前記予測タップ生成ステップの処理により生成さ
    れた前記予測タップから、前記予測係数を生成する予測
    係数生成ステップとを含むことを特徴とするコンピュー
    タが読み取り可能なプログラムが記録されている記録媒
    体。
  16. 【請求項16】 直交変換処理により係数データに変換
    された後、量子化された画像データを復号する場合に用
    いられる予測係数を生成する画像データ処理装置を制御
    するコンピュータに、 入力された画像データから前記係数データを生成する係
    数データ生成ステップと、 複数の前記係数データをクラス分類するためのテーブル
    情報を保持する保持ステップと、 前記係数データ生成ステップの処理により生成された前
    記係数データから、前記保持ステップの処理により保持
    されている前記テーブル情報に基づいて、クラスコード
    を生成するクラスコード生成ステップと、 前記係数データ生成ステップの処理により生成された前
    記係数データから、予測タップを生成する予測タップ生
    成ステップと、 前記クラスコード生成ステップの処理により生成された
    前記クラスコードに基づいて、入力された前記画像デー
    タと、前記予測タップ生成ステップの処理により生成さ
    れた前記予測タップから、前記予測係数を生成する予測
    係数生成ステップとを実行させるプログラム。
JP2001139704A 2001-05-10 2001-05-10 画像データ処理装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4649770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001139704A JP4649770B2 (ja) 2001-05-10 2001-05-10 画像データ処理装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001139704A JP4649770B2 (ja) 2001-05-10 2001-05-10 画像データ処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2002335405A true JP2002335405A (ja) 2002-11-22
JP4649770B2 JP4649770B2 (ja) 2011-03-16

Family

ID=18986436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001139704A Expired - Fee Related JP4649770B2 (ja) 2001-05-10 2001-05-10 画像データ処理装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4649770B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300454A (ja) * 2006-05-01 2007-11-15 Fuji Xerox Co Ltd 復号化装置、逆量子化方法及びプログラム
JP2009284090A (ja) * 2008-05-20 2009-12-03 Sony Corp 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237179A (ja) * 1992-12-01 1994-08-23 Nippon Telegr & Teleph Corp <Ntt> ベクトル量子化器の設計方法およびベクトル量子化器
JPH0795591A (ja) * 1993-09-21 1995-04-07 Sony Corp ディジタル画像信号処理装置
JPH10313458A (ja) * 1997-05-12 1998-11-24 Sony Corp 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
JPH10313403A (ja) * 1997-05-12 1998-11-24 Sony Corp 静止画撮像装置、カラー複写装置及び表示装置
JP2000152233A (ja) * 1998-11-13 2000-05-30 Sony Corp 画像情報変換装置および変換方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237179A (ja) * 1992-12-01 1994-08-23 Nippon Telegr & Teleph Corp <Ntt> ベクトル量子化器の設計方法およびベクトル量子化器
JPH0795591A (ja) * 1993-09-21 1995-04-07 Sony Corp ディジタル画像信号処理装置
JPH10313458A (ja) * 1997-05-12 1998-11-24 Sony Corp 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
JPH10313403A (ja) * 1997-05-12 1998-11-24 Sony Corp 静止画撮像装置、カラー複写装置及び表示装置
JP2000152233A (ja) * 1998-11-13 2000-05-30 Sony Corp 画像情報変換装置および変換方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300454A (ja) * 2006-05-01 2007-11-15 Fuji Xerox Co Ltd 復号化装置、逆量子化方法及びプログラム
US7957607B2 (en) 2006-05-01 2011-06-07 Fuji Xerox Co., Ltd. Decoding apparatus, dequantization method, and computer readable medium storing program thereof
JP2009284090A (ja) * 2008-05-20 2009-12-03 Sony Corp 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
JP4656452B2 (ja) * 2008-05-20 2011-03-23 ソニー株式会社 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
US8358862B2 (en) 2008-05-20 2013-01-22 Sony Corporation Image signal processing apparatus, image signal processing method, prediction coefficient generating apparatus, prediction coefficient generating method, and programs for causing computer to execute the methods

Also Published As

Publication number Publication date
JP4649770B2 (ja) 2011-03-16

Similar Documents

Publication Publication Date Title
JP5957559B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
TWI763987B (zh) 用於逐區塊圖像寫碼之內預測模式技術
JP5308442B2 (ja) スパース正規直交変換を用いた画像圧縮および映像圧縮
EP3354030B1 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
US9204154B2 (en) Image encoding device and image decoding device
JP5686499B2 (ja) 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
US20060126952A1 (en) Image decoding apparatus, image decoding program, image decoding method, image encoding apparatus, image encoding program, and image encoding method
EP3146719B1 (en) Re-encoding image sets using frequency-domain differences
WO2020261314A1 (ja) 画像符号化方法、及び画像復号方法
KR20160065860A (ko) 미디어 신호의 인코딩, 디코딩 방법 및 그 장치
JP2002335405A (ja) 画像データ処理装置および方法、記録媒体、並びにプログラム
WO2009136475A1 (ja) 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JP2007067552A (ja) 階層間予測処理方法,階層間予測処理装置,階層間予測処理プログラムおよびその記録媒体
JP4517448B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4752088B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4538698B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4678454B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
WO2024078509A1 (en) Methods and non-transitory computer readable storage medium for pre-analysis based resampling compression for machine vision
JP4008846B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体
JP4538699B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4174111B2 (ja) 符号化方法及び装置
JP2003153275A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4154903B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
Jakhetiya et al. Lossless/near lossless compression using bilateral filter and symmetrical structure based bias cancellation
JP2001345707A (ja) データ処理装置およびデータ処理方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees