JP2000125269A - 画像データ変換装置及び画像データ変換方法 - Google Patents
画像データ変換装置及び画像データ変換方法Info
- Publication number
- JP2000125269A JP2000125269A JP10298921A JP29892198A JP2000125269A JP 2000125269 A JP2000125269 A JP 2000125269A JP 10298921 A JP10298921 A JP 10298921A JP 29892198 A JP29892198 A JP 29892198A JP 2000125269 A JP2000125269 A JP 2000125269A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- block
- data
- pixel
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Systems (AREA)
Abstract
比して一段と画質を向上し得るようにする。 【解決手段】ブロック単位で表される特徴量(S10
3)に応じてクラスを決定するクラス決定手段(10
7)を設けたことにより、当該特徴量にかかわらずクラ
スを決定する場合に比して、ブロック間に精細度の差が
生じることを回避しながら各ブロックの精細度を改善す
ることができ、かくして従来に比して一段と画質を向上
し得る。
Description
及び画像データ変換方法に関し、例えば画像データの画
質を改善する画像データ変換装置に適用して好適なもの
である。
てMPEG(Moving Picture ExpertsGroup)2規格によ
る符号化方式がある。このMPEG2規格による符号化
方式を用いる送受信システムは、送信側において、画像
データに対してMPEG2規格による圧縮符号化を施し
て送信し、受信側において、送信されてきた画像データ
を伸長復号化することにより元の画像データを復元して
いる。
受信システムの受信装置においては、伸長復号化された
標準精細度の画像データをその各画素の信号レベル分布
に応じたクラスに分類した後、予測係数と呼ばれるデー
タが予め格納されているメモリからそのクラスに対応す
る予測係数を読み出し、当該予測係数と伸長復号化され
た標準精細度の画像データとを予測演算することにより
高精細度の画像データを生成するいわゆるクラス分類適
応処理を用いたアップコンバータが考えられている。
を用いた送信装置は、1枚のフレーム画像を8×8画素
のブロックに分割し、そのブロック毎に離散コサイン変
換(DCT:Discrete Cosine Transform )及び量子化
処理を施すことにより画像データを圧縮符号化し、その
圧縮された画像データを送信している。一方、受信装置
は、圧縮された画像データを8×8画素のブロック毎に
逆量子化処理及び逆DCTを順次施していくことにより
当該画像データを伸長復号化し、その結果、元の画像を
復元している。
式を用いた送受信システムでは、8×8画素のブロック
単位でDCT及び量子化処理が行われ、削減されるデー
タ量がブロック毎に異なることから、これを伸長復号化
しても、その絵柄に応じて精細度がブロック毎に異なる
画像しか生成することができない。
された画像データに対して全て同様のクラス分類適応処
理を施しているが、ブロック毎に精細度(歪みの度合
い)が異なることから、ブロック単位では精細度が向上
しても、画像全体としてはブロック毎に精細度が異なる
ものしか生成し得ず、これが画質の改善を妨ていた。
で、従来に比して一段と画質を向上し得る画像データ変
換装置及び画像データ変換方法を提案しようとするもの
である。
め本発明においては、所定のブロック単位毎に異なるデ
ータ処理が施された第1の画像データを第2の画像デー
タに変換する画像データ変換装置において、第1の画像
データから第2の画像データの注目画素が存在するブロ
ックを抽出して当該ブロック単位で表される特徴量を抽
出するブロック特徴量抽出手段と、第1の画像データか
ら注目画素を基準とする複数の画素を選定してその特徴
量を抽出する画素特徴量抽出手段と、ブロック単位で表
される特徴量及び複数画素の特徴量から注目画素に対す
るクラスを決定するクラス決定手段と、クラスに対応す
る予測データを発生する予測データ発生手段と、予測デ
ータから第2の画像データの注目画素を発生する画素デ
ータ発生手段とを設けるようにした。
ラス分類適応処理を施すことにより、全ブロックに対し
て同様のクラス分類適応処理を施す場合に比して、ブロ
ック間に精細度の差が生じることを回避しながら各ブロ
ックの精細度を改善することができる。
施の形態を詳述する。
ンバータ51の回路構成を示す。アップコンバータ51
は、外部から供給される例えば8ビットのパルス符号変
調(PCM:Pulse Code Modulation )データでなるS
D画像データS51をクラス分類部52及び予測演算部
53に入力する。クラス分類部52は、例えば図2に示
すように、SD画像データS51のうち注目画素及び当
該注目画素を中心とした複数の周辺画素でなる合計7画
素(タップ)をクラス分類用の画素(以下、これをクラ
スタップと呼ぶ)として設定し、それらの信号レベル分
布に基づいてクラスコードS52を生成する。因みに、
図中実線は第1フィールドを示し、点線は第2フィール
ドを示す。
ドS52を生成する方法としては、PCMデータを直接
使用する(すなわちPCMデータをそのままクラスデー
タS52とする)方法や、ADRC(Adaptive Dynamic
Range Coding )等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちPCMデ
ータをそのままクラスコードS52とする方法では、ク
ラスタップとして8ビットのPCMデータを7タップ用
いることから、クラス数が256という膨大な数のクラス
数に分類されることになり、実用上問題がある。
DRCのようなデータ圧縮処理(すなわち再量子化処
理)を施すことによりクラス数を削減するようになされ
ている。このADRCによる分類法は、注目画素を中心
とする近傍領域内の数タップからADRCコードを、次
式
いてクラスコードS52を生成する手法を用いている。
ここで、ci はADRCコード、xi は各クラスタップ
の入力画素値、MINは領域内にある各クラスタップの
入力画素値のうちの最小画素値、DRは領域内のダイナ
ミックレンジ(最大画素値と最小画素値との差分)、k
は再量子化ビット数である。
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の7タップにおいて各クラ
スタップを1ビットに再量子化する1ビットADRCを
行う場合では、領域内のダイナミックレンジに基づいて
7タップの各入力画素値を適応的に1ビット量子化し、
その結果、7タップの入力画素値を7ビットのデータに
削減することができるので、全体としてクラス数を12
8クラスにまで削減することができる。
y Memory)54は、後述する学習回路60によって予め
生成された各クラス毎に対応する予測係数データS53
を格納しており、クラス分類部52から供給されるクラ
スコードS52に応じた予測係数データS53を読み出
し、これを予測演算部53に送出する。予測演算部53
は、例えば図3に示すように、外部から入力されるSD
画像データS51のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計13タップを予測
演算用の画素(以下、これを予測タップと呼ぶ)として
選定し、当該予測タップの各画素値と予測係数データS
53とを用いて、線形一次結合でなる次式
り、予測タップには存在しないHD画素の集まりである
HD画像データS54を生成し、これを外部に出力す
る。ここで、x′は各HD画素値、xi は各予測タップ
の画素値、wi は予測係数、nは予測タップ数であり、
この場合nは13である。
納されている予測係数データを生成する学習回路60の
回路構成を示し、当該学習回路60は、予測係数データ
を予め生成して、これを予測係数ROM54に格納する
ようになされている。学習回路60は、いわゆる教師信
号としてのHD画像データS60を垂直間引きフィルタ
61及び予測係数算出回路62に入力する。学習回路6
0は、HD画像データS60を垂直間引きフィルタ61
及び水平間引きフィルタ62によって間引くことによ
り、生徒信号としてのSD画像データS61を生成し、
これをクラス分類部64及び予測係数算出回路62に入
力するようになされている。
ンバータのクラス分類部52と同様の構成でなり、SD
画像データS61からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードS62を生成した
後、これを予測係数算出回路62に送出する。予測係数
算出回路62は、HD画像データS60及びSD画像デ
ータS61を基に、クラスコードS62が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データS63を予測係数ROM54に格納する。
の(2)式における予測係数wを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
62は、XをSD画素値、Wを予測係数、YをHD画素
値として、いわゆる観測方程式と呼ばれる次式
こでmは予測するHD画素の画素数を示す学習データ
数、nは予測タップ数である。
式を基に、次式
係数wi は、この(4)式から、次式
る。すなわち次式
る。
ある(6)式を満たすようなw1 、w2 、……、wn を
算出すればよいことになり、上述の(4)式から、次式
式
は、上述の(4)及び(8)式から、次式
このようにして予測係数算出回路62は、予測タップ数
nと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法(Gauss Jordanの消去法)を用いてこの正規
方程式を解くことにより、各予測係数wi を算出する。
順について図5に示すフローチャートを用いて説明す
る。ステップSP61から入ったステップSP62にお
いて、学習回路60は、教師信号としてのHD画像デー
タS60から生徒信号としてのSD画像データS61を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップSP63において、学習
回路60は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップSP63において否定結果を得ることによりステ
ップSP64に移行する。
は、SD画像データS61からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップSP65において、学習回路60は、各クラス毎に
上述の(9)式でなる正規方程式を生成し、ステップS
P62に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路60は
ステップSP66に移って、上述の(9)式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
w1 、w2 、……、wn を各クラス毎に生成する。そし
てステップSP67において、学習回路60は、生成し
た各クラス毎の予測係数w1 、w2 、……、wn を予測
係数ROM54に格納し、ステップSP68に移って処
理を終了する。
上述したクラス分類適応処理の原理を用いた第1の実施
の形態のアップコンバータの構成を示す。アップコンバ
ータ100は、外部からMPEG2方式を用いて圧縮符
号化された符号化画像データS100が供給されると、
これをデコーダ101に入力する。デコード101は、
この符号化画像データS100を伸長復号化することに
より画像データS101を復元し、これを領域切り出し
部102及び103並びにブロック抽出部104及び1
05に送出する。
に、画像データS101から8×8画素すなわち64画
素のブロックを抽出し、その各画素の信号レベル分布を
ブロックデータS102としてブロック内特徴量抽出部
106に送出する。ブロック内特徴量抽出部106は、
ブロックデータS102からブロック内の特徴量すなわ
ち当該ブロック内における全画素の平均値を求め、この
平均値データS103をクラスコード発生部107に送
出する。
01のうち、ブロック抽出部104によって抽出された
ブロック内に存在する注目画素に対してのクラスタップ
を抽出し、それらの信号レベル分布を示すクラスタップ
データS104を特徴量抽出部108に送出する。特徴
量抽出部108は、クラスタップデータS104に対し
て1ビットADRCを施すことによりADRCコードS
105を生成し、これをクラスコード発生部107に送
出する。
値データS103とADRCコードS105とを合成す
ることによりクラスコードS106を生成し、これをR
OM109に送出する。ROM109は、後述する学習
回路によって予め生成されたクラス毎に対応する予測係
数を格納しており、クラスコード発生部107から供給
されるクラスコードS106に応じた予測係数データS
107を読み出し、これを予測演算部110に送出す
る。
タS101から8×8画素すなわち64画素のブロック
を抽出し、その各画素の信号レベル分布をブロックデー
タS108としてブロック内特徴量抽出部111に送出
する。ブロック内特徴量抽出部111は、ブロックデー
タS108からブロック内における全画素の平均値を求
め、この平均値データS109を予測演算部110に送
出する。領域切り出し部103は、画像データS101
のうち、ブロック抽出部105によって抽出されたブロ
ック内に存在する注目画素に対しての予測タップを抽出
し、それらの信号レベル分布を示す予測タップデータS
110を予測演算部110に送出する。予測演算部11
0は、予測係数データS107と予測タップデータS1
10及び平均値データS109とを用いて、次式
り高精細度の画像データS111の注目画素を順次生成
し、これを外部に出力する。ここで、yは画像データS
111の各画素値、xは予測タップの画素値、mはブロ
ック内の平均画素値、wは予測タップに対応する予測係
数、aは平均画素値に対応する予測係数、nは予測タッ
プ数であり、この場合nは64である。
納されている予測係数を生成する学習回路120の構成
を示す。学習回路120は、教師画像として高精細度の
画像データS120をエンコーダ121及び正規方程式
演算部122に送出する。エンコーダ121は、画像デ
ータS120をMPEG2方式を用いて圧縮符号化し、
その結果得られる符号化画像データS121をデコーダ
123に送出する。
0のデコーダ101(図6)と同様に構成されており、
符号化画像データS121を伸長復号化することにより
生徒画像としての標準精細度の画像データS122を生
成し、これを領域切り出し部124及び125並びにブ
ロック抽出部126及び127に送出する。
タ100のブロック抽出部104(図6)と同様に構成
されており、画像データS122から8×8画素すなわ
ち64画素のブロックを抽出し、その各画素の信号レベ
ル分布をブロックデータS130としてブロック内特徴
量抽出部130に送出する。ブロック内特徴量抽出部1
30は、アップコンバータ100のブロック内特徴量抽
出部106(図6)と同様に構成されており、ブロック
データS130からブロック内における全画素の平均値
を求め、この平均値データS131をクラスコード発生
部131に送出する。
タ100の領域切り出し部102(図6)と同様に構成
されており、画像データS122からブロック抽出部1
26によって抽出されたブロック内に存在する注目画素
に対してのクラスタップを抽出し、それらの信号レベル
分布を示すクラスタップデータS132を特徴量抽出部
132に送出する。特徴量抽出部132は、アップコン
バータ100の特徴量抽出部108(図6)と同様に構
成されており、クラスタップデータS132に対して1
ビットADRCを施すことによりADRCコードS13
3を生成し、これをクラスコード発生部131に送出す
る。
バータ100のクラスコード発生部107(図6)と同
様に構成されており、上述の平均値データS131とA
DRCコードS133とを合成することによりクラスコ
ードS134を生成し、これを正規方程式演算部122
に送出する。
ンバータ100のブロック抽出部105(図6)と同様
に構成されており、64画素のブロックを抽出し、その
各画素の信号レベル分布をブロックデータS140とし
てブロック内特徴量抽出部140に送出する。ブロック
内特徴量抽出部140は、アップコンバータ100のブ
ロック内特徴量抽出部111(図6)と同様に構成され
ており、ブロックデータS140からブロック内におけ
る全画素の平均値を求め、この平均値データS141を
正規方程式演算部122に送出する。
タ100の領域切り出し部103(図6)と同様に構成
されており、画像データS122からブロック抽出部1
27によって抽出されたブロック内に存在する注目画素
に対しての予測タップを抽出し、それらの信号レベル分
布を示す予測タップデータS142を正規方程式演算部
122に送出する。
像データS120と予測タップデータS142及び平均
値データS141とから、クラスコードS134毎に正
規方程式を生成し、この正規方程式データS143を予
測係数決定部141に送出する。予測係数決定部141
は、正規方程式データS143が必要な数だけ供給され
ると、最小自乗法を用いて当該正規方程式を解くことに
より予測係数を算出し、その予測係数データS144を
メモリ142に送出して当該メモリ142に格納する。
その後、このメモリ142に格納されている予測係数
は、図6に示すROM109に書き込まれるようになさ
れている。
注目画素が存在するブロック内の平均値データS131
とクラスタップのADRCコードS133とからクラス
コードS134を生成した後、当該クラスコードS13
4毎に高精細度の画像データS120と予測タップデー
タS142及びブロック内の平均値データS141とか
ら正規方程式を生成して当該正規方程式を解くことによ
り、上述の(10)式における予測係数w1 〜wn 、a
でなる予測係数データS144を生成する。
在するブロック内の平均値データS103とクラスタッ
プのADRCコードS105とからクラスコードS10
6を生成し、当該クラスコードS106に応じた予測係
数データS107を読み出した後、予測係数データS1
07と予測タップデータS110及び平均値データS1
09との積和演算を施すことにより、ブロック内のオフ
セットが補正された高精細度の画像データS111を生
成する。
みの度合い)に応じたクラス分類適応処理を施すことに
より、全ブロックに対して全て同様のクラス分類適応処
理を施す場合に比して、各ブロック間に精細度の差が生
じることを回避しながら各ブロックの精細度が改善され
る。
ス分類適応処理をブロック毎に施すことにより、全ブロ
ックに対して同様のクラス分類適応処理を施す場合に比
して、各ブロック間の精細度の差による歪みが生じるこ
とを回避しながら各ブロックの精細度を改善することが
でき、かくして従来に比して一段と画質を向上し得る。
て、200は全体として第2の実施の形態のアップコン
バータの構成を示し、ブロック間特徴量抽出部201、
クラスコード発生部202、ROM203、予測演算部
204及び領域切り出し部205の構成を除いて、第1
の実施の形態のアップコンバータ100と同様に構成さ
れている。
EG2方式を用いて圧縮符号化された符号化画像データ
S200が供給されると、これをデコーダ101に入力
する。デコーダ101は、この符号化画像データS20
0を伸長復号化することにより画像データS201を復
元し、これを領域切り出し部102及び103並びにブ
ロック抽出部104及び105に送出する。
01から8×8画素すなわち64画素のブロックを抽出
し、その各画素の信号レベル分布をブロックデータS2
02としてブロック内特徴量抽出部106に送出する。
ブロック内特徴量抽出部106は、ブロックデータS2
02からブロック内の特徴量すなわち当該ブロック内に
おける全画素の平均値を求め、この平均値データS20
3をブロック間特徴量抽出部201に送出する。
に示すように、画像データS201を構成するブロック
のうち、クラスタップの注目画素が存在するブロックと
その周囲のブロックを切り出し、当該切り出した各ブロ
ックの平均値データS203に対して1ビットADRC
を施すことにより、ブロック間の平均値データS203
の変化を示す平均値ADRCコードS204を生成し、
これをクラスコード発生部202に送出する。
01のうちクラスタップを抽出し、それらの信号レベル
分布を示すクラスタップデータS205を特徴量抽出部
108に送出する。特徴量抽出部108は、クラスタッ
プデータS205に対して1ビットADRCを施すこと
によりADRCコードS206を生成し、これをクラス
コード発生部202に送出する。
値ADRCコードS204とADRCコードS206と
を合成することによりクラスコードS207を生成し、
これをROM203に送出する。ROM203は、後述
する学習回路によって予め生成されたクラス毎に対応す
る予測係数を格納しており、クラスコード発生部202
から供給されるクラスコードS207に応じた予測係数
データS208を読み出し、これを予測演算部204に
送出する。
タS201から8×8画素すなわち64画素のブロック
を抽出し、その各画素の信号レベル分布をブロックデー
タS210としてブロック内特徴量抽出部111に送出
する。ブロック内特徴量抽出部111は、ブロックデー
タS210からブロック内における全画素の平均値を求
め、この平均値データS211を領域切り出し部205
に送出する。
うに、画像データS201を構成するブロックのうち、
予測タップの注目画素が存在するブロックとその周囲の
ブロックを切り出し、当該切り出した各ブロックにおけ
る平均値の信号レベル分布を示す平均値データS212
を予測演算部204に送出する。
01のうち予測タップを抽出し、それらの信号レベル分
布を示す予測タップデータS213を予測演算部204
に送出する。予測演算部204は、予測係数データS2
08と予測タップデータS213及び平均値データS2
12とを用いて、次式
り高精細度の画像データS214の注目画素を順次生成
し、これを外部に出力する。ここで、yは画像データS
214の各注目画素値、xは予測タップの画素値、mは
各ブロック内の平均画素値、wは予測タップに対応する
予測係数、aは平均画素値に対応する予測係数、nは予
測タップ数であり、この場合nは64である。
て示す図11は、ROM203(図9)に格納されてい
る予測係数を生成する学習回路220の構成を示し、正
規方程式演算部221、ブロック間特徴量抽出部22
2、クラスコード発生部223、領域切り出し部22
4、予測係数決定部225及びメモリ226の構成を除
いて、第1の実施の形態の学習回路120と同様に構成
されている。
度の画像データS220をエンコーダ121及び正規方
程式演算部221に送出する。エンコーダ121は、画
像データS220をMPEG2方式を用いて圧縮符号化
し、その結果得られる符号化画像データS221をデコ
ーダ123に送出する。
0のデコーダ101(図9)と同様に構成されており、
符号化画像データS221を伸長復号化することにより
生徒画像としての標準精細度の画像データS222を生
成し、これを領域切り出し部124及び125並びにブ
ロック抽出部126及び127に送出する。
タ200のブロック抽出部104(図9)と同様に構成
されており、画像データS222から8×8画素すなわ
ち64画素のブロックを抽出し、その各画素の信号レベ
ル分布をブロックデータS230としてブロック内特徴
量抽出部130に送出する。ブロック内特徴量抽出部1
30は、アップコンバータ200のブロック内特徴量抽
出部106(図9)と同様に構成されており、ブロック
データS230からブロック内における全画素の平均値
を求め、この平均値データS231をブロック間特徴量
抽出部222に送出する。
コンバータ200のブロック間特徴量抽出部201(図
9)と同様に構成されていおり、画像データS222を
構成するブロックのうち、クラスタップの注目画素が存
在するブロックとその周囲のブロックを切り出し、当該
切り出した各ブロックの平均値データS231に対して
1ビットADRCを施すことにより、ブロック間の平均
値データS231の変化を示す平均値ADRCコードS
232を生成し、これをクラスコード発生部223に送
出する。
タ200の領域切り出し部102(図9)と同様に構成
されており、画像データS222からクラスタップを抽
出し、それらの信号レベル分布を示すクラスタップデー
タS233を特徴量抽出部132に送出する。特徴量抽
出部132は、アップコンバータ200の特徴量抽出部
108(図9)と同様に構成されており、クラスタップ
データS233に対して1ビットADRCを施すことに
よりADRCコードS234を生成し、これをクラスコ
ード発生部223に送出する。
バータ200のクラスコード発生部202(図9)と同
様に構成されており、上述の平均値ADRCコードS2
32とADRCコードS234とを合成することにより
クラスコードS235を生成し、これを正規方程式演算
部221に送出する。
ンバータ200のブロック抽出部105(図9)と同様
に構成されており、64画素のブロックを抽出し、その
各画素の信号レベル分布をブロックデータS240とし
てブロック内特徴量抽出部140に送出する。ブロック
内特徴量抽出部140は、アップコンバータ200のブ
ロック内特徴量抽出部110(図9)と同様に構成され
ており、ブロックデータS240からブロック内におけ
る全画素の平均値を求め、この平均値データS241を
領域切り出し部224に送出する。
22を構成するブロックのうち、予測タップの注目画素
が存在するブロックとその周囲のブロックを切り出し、
当該切り出した各ブロックにおける平均値の信号レベル
分布を示す平均値データS242を正規方程式演算部2
21に送出する。領域切り出し部125は、アップコン
バータ200の領域切り出し部103(図9)と同様に
構成されており、画像データS222から予測タップを
抽出し、それらの信号レベル分布を示す予測タップデー
タS243を正規方程式演算部221に送出する。
像データS220と予測タップデータS243及び平均
値データS242とから、クラスコードS235毎に正
規方程式を生成し、この正規方程式データS244を予
測係数決定部225に送出する。予測係数決定部225
は、正規方程式データS244が必要な数だけ供給され
ると、最小自乗法を用いて当該正規方程式を解くことに
より予測係数を算出し、その予測係数データS245を
メモリ226に送出して当該メモリ226に格納する。
その後、このメモリ226に格納されている予測係数
は、図9に示すROM203に書き込まれるようになさ
れている。
注目画素が存在するブロックとその周囲のブロックにお
ける平均値データS231の変化を示す平均値ADRC
コードS231とクラスタップのADRCコードS23
4とからクラスコードS235を生成した後、当該クラ
スコードS235毎に高精細度の画像データS220と
予測タップデータS243及び上述の各ブロックにおけ
る平均値データS242とから正規方程式を生成して当
該正規方程式を解くことにより、上述の(11)式にお
ける予測係数w1 〜wn 、a0 〜a4 でなる予測係数デ
ータS245を生成する。
在するブロックとその周囲のブロックにおける平均値デ
ータS203の変化を示す平均値ADRCコードS20
4とクラスタップのADRCコードS206とからクラ
スコードS207を生成し、当該クラスコードS207
に応じた予測係数データS208を読み出した後、予測
係数データS208と予測タップデータS213及び上
述の各ブロックにおける平均値データS212との積和
演算を施すことにより、ブロック間のオフセットが補正
された高精細度の画像データS214を生成する。
周囲のブロックとにおける精細度(歪みの度合い)の変
化量に応じたクラス分類適応処理を施すことにより、全
ブロックに対して全て同様のクラス分類適応処理を施す
場合に比して、各ブロック間に精細度の差が生じること
を回避しながら各ブロックの精細度が改善される。
ックとその周囲のブロックとにおける精細度の変化量に
応じたクラス分類適応処理をブロック毎に施すことによ
り、全ブロックに対して同様のクラス分類適応処理を施
す場合に比して、各ブロック間の精細度の差による歪み
が生じることを回避しながら各ブロックの精細度を改善
することができ、かくして従来に比して一段と画質を向
上し得る。
て、300は全体として第3の実施の形態のアップコン
バータの構成を示し、領域切り出し部301及び30
2、ブロック内特徴量抽出部303及び304、クラス
コード発生部305、ROM306及び予測演算部30
7の構成を除いて、第1の実施の形態のアップコンバー
タ100と同様に構成されている。
EG2方式を用いて圧縮符号化された符号化画像データ
S300が供給されると、これをデコーダ101に入力
する。デコーダ101は、この符号化画像データS30
0を伸長復号化することにより画像データS301を復
元し、これを領域切り出し部301及び302並びにブ
ロック抽出部104及び105に送出する。
01から8×8画素すなわち64画素のブロックを抽出
し、その各画素の信号レベル分布をブロックデータS3
02としてブロック内特徴量抽出部303に送出する。
ブロック内特徴量抽出部303は、ブロックデータS3
02の周波数特性を基にブロック内の特徴量例えば精細
度を調べ、その精細度を示す精細度データS303をク
ラスコード発生部305及び領域切り出し部301に送
出する。
303に応じて切り出す領域の範囲を変化させながら画
像データS301からクラスタップを抽出し、それらの
信号レベル分布を示すクラスタップデータS304を特
徴量抽出部108に送出する。すなわち領域切り出し部
301は、精細度が高い(ぼけていない)場合には、狭
い範囲でクラスタップを抽出する一方、精細度が低い
(ぼけている)場合には、広い範囲でクラスタップを抽
出する。
タS304に対して1ビットADRCを施すことにより
ADRCコードS305を生成し、これをクラスコード
発生部305に送出する。クラスコード発生部305
は、上述の精細度データS303とADRCコードS3
05とを合成することによりクラスコードS306を生
成し、これをROM306に送出する。ROM306
は、後述する学習回路によって予め生成されたクラス毎
に対応する予測係数を格納しており、クラスコード発生
部305から供給されるクラスコードS306に応じた
予測係数データS307を読み出し、これを予測演算部
307に送出する。
タS301から8×8画素すなわち64画素のブロック
を抽出し、その各画素の信号レベル分布をブロックデー
タS308としてブロック内特徴量抽出部304に送出
する。ブロック内特徴量抽出部304は、ブロックデー
タS308の周波数特性を基にブロック内の精細度を調
べ、その精細度を示す精細度データS309を領域切り
出し部302に送出する。
309に応じて切り出す領域の範囲を変化させながら画
像データS301から予測タップを抽出し、それらの信
号レベル分布を示す予測タップデータS310を予測演
算部307に送出する。予測演算部307は、予測係数
データS307と予測タップデータS310を用いて上
述の積和演算を施すことにより高精細度の画像データS
311の注目画素を順次生成し、これを外部に出力す
る。
て示す図13は、ROM306(図12)に格納されて
いる予測係数を生成する学習回路320の構成を示し、
正規方程式演算部321、領域切り出し部322及び3
23、ブロック内特徴量抽出部324及び325、クラ
スコード発生部326、予測係数決定部327及びメモ
リ328の構成を除いて、第1の実施の形態の学習回路
120と同様に構成されている。
度の画像データS320をエンコーダ121及び正規方
程式演算部321に送出する。エンコーダ121は、画
像データS320をMPEG2方式を用いて圧縮符号化
し、その結果得られる符号化画像データS321をデコ
ーダ123に送出する。
0のデコーダ101(図12)と同様に構成されてお
り、符号化画像データS321を伸長復号化することに
より生徒画像としての標準精細度の画像データS322
を生成し、これを領域切り出し部322及び323並び
にブロック抽出部126及び127に送出する。
タ300のブロック抽出部104(図12)と同様に構
成されており、画像データS322から8×8画素すな
わち64画素のブロックを抽出し、その各画素の信号レ
ベル分布をブロックデータS330としてブロック内特
徴量抽出部324に送出する。ブロック内特徴量抽出部
130は、アップコンバータ300のブロック内特徴量
抽出部303(図12)と同様に構成されており、ブロ
ックデータS330の周波数特性を基にブロック内の特
徴量例えば精細度を調べ、その精細度を示す精細度デー
タS331をクラスコード発生部326及び領域切り出
し部322に送出する。
331に応じて切り出す領域の範囲を変化させながら画
像データS322からクラスタップを抽出し、それらの
信号レベル分布を示すクラスタップデータS332を特
徴量抽出部132に送出する。特徴量抽出部132は、
アップコンバータ300の特徴量抽出部108(図1
2)と同様に構成されており、クラスタップデータS3
32に対して1ビットADRCを施すことによりADR
CコードS333を生成し、これをクラスコード発生部
326に送出する。
バータ300のクラスコード発生部305(図12)と
同様に構成されており、上述の精細度データS331と
ADRCコードS333とを合成することによりクラス
コードS334を生成し、これを正規方程式演算部32
1に送出する。
ンバータ300のブロック抽出部105(図12)と同
様に構成されており、64画素のブロックを抽出し、そ
の各画素の信号レベル分布をブロックデータS340と
してブロック内特徴量抽出部325に送出する。
コンバータ300のブロック内特徴量抽出部304(図
12)と同様に構成されており、ブロックデータS34
0の周波数特性を基にブロック内の精細度を調べ、その
精細度を示す精細度データS341を領域切り出し部3
23に送出する。領域切り出し部323は、精細度デー
タS341に応じて切り出す領域の範囲を変化させなが
ら画像データS322から予測タップを抽出し、それら
の信号レベル分布を示す予測タップデータS342を正
規方程式演算部321に送出する。
像データS320と予測タップデータS342とから、
クラスコードS334毎に正規方程式を生成し、この正
規方程式データS343を予測係数決定部327に送出
する。予測係数決定部327は、正規方程式データS3
43が必要な数だけ供給されると、最小自乗法を用いて
当該正規方程式を解くことにより予測係数を算出し、そ
の予測係数データS344をメモリ328に送出して当
該メモリ328に格納する。その後、このメモリ328
に格納されている予測係数は、図12に示すROM30
6に書き込まれるようになされている。
ブロック内の精細度を示す精細度データS331に応じ
て画像データS322から切り出す領域をブロック毎に
変化させながらクラスタップ及び予測タップを抽出し、
当該抽出されたクラスタップのADRCコードS333
と精細度データS331とを合成することによりクラス
コードS334を発生した後、当該クラスコードS33
4毎に高精細度の画像データS320と予測タップデー
タS342から正規方程式を生成して当該正規方程式を
解くことにより予測係数データS344を生成する。
精細度を示す精細度データS303に応じて画像データ
S301から切り出す領域をブロック毎に変化させなが
らクラスタップ及び予測タップを抽出し、当該抽出され
たクラスタップのADRCコードS305と精細度デー
タS303とからクラスコードS306を生成し、当該
クラスコードS306に応じた予測係数データS307
を読み出した後、予測係数データS307と予測タップ
データS310との積和演算を施すことにより、ブロッ
ク内のオフセットが補正された高精細度の画像データS
311を生成する。
てクラスタップ及び予測タップを切り出す領域をブロッ
ク毎に変化させながらクラス分類適応処理を施すことに
より、全ブロックに対して全て同様の領域からクラスタ
ップ及び予測タップを切り出してクラス分類適応処理を
施す場合に比して、生成された画像データS311の各
ブロック間に精細度の差が生じることを回避しながら各
ブロックの精細度が改善される。
プを切り出す領域をブロック毎に変化させながらクラス
分類適応処理を施すことにより、全ブロックに対して同
様の領域からタップを切り出してクラス分類適応処理を
施す場合に比して、各ブロック間の精細度の差による歪
みが生じることを回避しながら各ブロックの精細度を改
善することができ、かくして従来に比して一段と画質を
向上し得る。
ック内の特徴量として当該ブロック内における全画素の
平均値を適用した場合について述べたが、本発明はこれ
に限らず、例えばDCTの基底レベル、ブロック内のダ
イナミックレンジ、ブロック内の最大値及び最小値、ブ
ロック内の変化量の合計値、ブロック内ADRCの変化
量のように、この他種々のブロック内の特徴量を適用し
ても良い。
を、MPEG2規格による圧縮符号化方式を用いて8×
8画素のブロック単位毎にDCT及び量子化処理並びに
逆量子化処理及び逆DCTが施された画像データS10
1、S201又はS301の画質を改善するアップコン
バータ100、200又は300に適用した場合につい
て述べたが、本発明はこれに限らず、要は、所定のブロ
ック単位毎に異なる種類のデータ処理が施された第1の
画像データの画質を改善する画像データ変換装置に本発
明を適用すれば良い。
単位で表される特徴量に応じたクラス分類適応処理を施
すことにより、全ブロックに対して同様のクラス分類適
応処理を施す場合に比して、ブロック間に精細度の差が
生じることを回避しながら各ブロックの精細度を改善す
ることができ、かくして従来に比して一段と画質を向上
し得る。
る。
る。
形態を示すブロック図である。
図である。
すブロック図である。
形態を示すブロック図である。
線図である。
示すブロック図である。
の形態を示すブロック図である。
示すブロック図である。
2、103、205、301、302……領域切り出し
部、104、105……ブロック抽出部、106、11
1、303、304……ブロック内特徴量抽出部、10
7、202、305……クラスコード発生部、108…
…特徴量抽出部、109、203、306……ROM、
110、204、307……予測演算部、120、22
0、320……学習回路、201……ブロック間特徴量
抽出部。
Claims (14)
- 【請求項1】所定のブロック単位毎に異なるデータ処理
が施された第1の画像データを第2の画像データに変換
する画像データ変換装置において、 上記第1の画像データから上記第2の画像データの注目
画素が存在する上記ブロックを抽出して当該ブロック単
位で表される特徴量を抽出するブロック特徴量抽出手段
と、 上記第1の画像データから上記注目画素を基準とする複
数の画素を選定してその特徴量を抽出する画素特徴量抽
出手段と、 上記ブロック単位で表される特徴量及び上記複数画素の
特徴量から上記注目画素に対するクラスを決定するクラ
ス決定手段と、 上記クラスに対応する予測データを発生する予測データ
発生手段と、 上記予測データから上記第2の画像データの上記注目画
素を発生する画素データ発生手段とを具えることを特徴
とする画像データ変換装置。 - 【請求項2】上記ブロック特徴量抽出手段は、 上記第1の画像データから上記第2の画像データの注目
画素が存在する上記ブロックを抽出して当該ブロック内
の特徴量を抽出し、これを上記ブロック単位で表される
特徴量とすることを特徴とする請求項1に記載の画像デ
ータ変換装置。 - 【請求項3】上記ブロック内の特徴量は、 上記ブロック内における各画素の平均画素値であること
を特徴とする請求項2に記載の画像データ変換装置。 - 【請求項4】上記ブロック特徴量抽出手段は、 上記第1の画像データから上記注目画素が存在する上記
ブロックを基準とする複数のブロックを抽出して当該各
ブロック間の特徴量を抽出し、これを上記ブロック単位
で表される特徴量とすることを特徴とする請求項1に記
載の画像データ変換装置。 - 【請求項5】上記画素特徴量抽出手段は、 上記ブロック内の特徴量に応じて上記第1の画像データ
から上記注目画素を基準とする複数の画素を選定するこ
とを特徴とする請求項2に記載の画像データ変換装置。 - 【請求項6】上記予測データは、 上記第1の画像データから抽出された上記複数の画素に
対応して存在する予測係数でなり、 上記画素データ発生手段は、 上記クラスに応じて発生された上記各予測係数と上記第
1の画像データから抽出された上記複数の画素とから上
記第2の画像データの上記注目画素を発生することを特
徴とする請求項1に記載の画像データ変換装置。 - 【請求項7】上記予測データは、 上記第2の画像データに対応する学習データを用いて予
め生成されていることを特徴とする請求項1に記載の画
像データ変換装置。 - 【請求項8】所定のブロック単位毎に異なるデータ処理
が施された第1の画像データを第2の画像データに変換
する画像データ変換方法において、 上記第1の画像データから上記第2の画像データの注目
画素が存在する上記ブロックを抽出して当該ブロック単
位で表される特徴量を抽出し、 上記第1の画像データから上記注目画素を基準とする複
数の画素を選定してその特徴量を抽出し、 上記ブロック単位で表される特徴量及び上記複数画素の
特徴量から上記注目画素に対するクラスを決定し、 上記クラスに対応する予測データを発生し、 上記予測データから上記第2の画像データの上記注目画
素を発生することを特徴とする画像データ変換方法。 - 【請求項9】上記第1の画像データから上記第2の画像
データの注目画素が存在する上記ブロックを抽出して当
該ブロック内の特徴量を抽出し、これを上記ブロック単
位で表される特徴量とすることを特徴とする請求項8に
記載の画像データ変換方法。 - 【請求項10】上記ブロック内の特徴量は、 上記ブロック内における各画素の平均画素値であること
を特徴とする請求項9に記載の画像データ変換方法。 - 【請求項11】上記第1の画像データから上記注目画素
が存在する上記ブロックを基準とする複数のブロックを
抽出して当該各ブロック間の特徴量を抽出して、これを
上記ブロック単位で表される特徴量とすることを特徴と
する請求項8に記載の画像データ変換方法。 - 【請求項12】上記ブロック内の特徴量に応じて上記第
1の画像データから上記注目画素を基準とする複数の画
素を選定することを特徴とする請求項9に記載の画像デ
ータ変換方法。 - 【請求項13】上記予測データは、 上記第1の画像データから抽出された上記複数の画素に
対応して存在する予測係数でなり、 上記クラスに応じて発生された上記各予測係数と上記第
1の画像データから抽出された上記複数の画素とから上
記第2の画像データの上記注目画素を発生することを特
徴とする請求項8に記載の画像データ変換方法。 - 【請求項14】上記予測データは、 上記第2の画像データに対応する学習データを用いて予
め生成されていることを特徴とする請求項8に記載の画
像データ変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29892198A JP4143877B2 (ja) | 1998-10-20 | 1998-10-20 | 画像データ変換装置及び画像データ変換方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29892198A JP4143877B2 (ja) | 1998-10-20 | 1998-10-20 | 画像データ変換装置及び画像データ変換方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000125269A true JP2000125269A (ja) | 2000-04-28 |
JP2000125269A5 JP2000125269A5 (ja) | 2005-11-24 |
JP4143877B2 JP4143877B2 (ja) | 2008-09-03 |
Family
ID=17865915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29892198A Expired - Fee Related JP4143877B2 (ja) | 1998-10-20 | 1998-10-20 | 画像データ変換装置及び画像データ変換方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4143877B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001339731A (ja) * | 2000-05-24 | 2001-12-07 | Sony Corp | 画像信号処理装置及び画像信号処理方法 |
EP1282236A1 (en) * | 2000-05-09 | 2003-02-05 | Sony Corporation | Data processing device and data processing method, and recorded medium |
-
1998
- 1998-10-20 JP JP29892198A patent/JP4143877B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1282236A1 (en) * | 2000-05-09 | 2003-02-05 | Sony Corporation | Data processing device and data processing method, and recorded medium |
EP1282236A4 (en) * | 2000-05-09 | 2009-07-08 | Sony Corp | DATA PROCESSING APPARATUS AND APPARATUS AND RECORDED MEDIUM |
JP2001339731A (ja) * | 2000-05-24 | 2001-12-07 | Sony Corp | 画像信号処理装置及び画像信号処理方法 |
JP4595162B2 (ja) * | 2000-05-24 | 2010-12-08 | ソニー株式会社 | 画像信号処理装置及び画像信号処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4143877B2 (ja) | 2008-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6301301B1 (en) | Apparatus and method for coding and decoding a moving image | |
US5719961A (en) | Adaptive technique for encoder and decoder signal transformation | |
US20010048769A1 (en) | Method and system for compressing motion image information | |
US6205254B1 (en) | Image coding apparatus and method, and image decoding apparatus and method | |
JPH04144485A (ja) | 画像処理装置 | |
JP4243218B2 (ja) | 量子化制御装置、その方法及びそのプログラム、並びに、適応量子化符号化装置 | |
JP3105906B2 (ja) | 画像処理装置 | |
JP2000059782A (ja) | 空間領域デジタル画像の圧縮方法 | |
JP2000125269A (ja) | 画像データ変換装置及び画像データ変換方法 | |
JP4171958B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2000125268A (ja) | 画像データ変換装置及び画像データ変換方法 | |
EP0784407A2 (en) | Transform coefficient select method and apparatus for transform coding system | |
KR100657776B1 (ko) | 연산 장치, 변환기, 및 이들의 방법 | |
JPH07154794A (ja) | 画像符号変換装置 | |
JP2002010256A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JP3590994B2 (ja) | 量子化出力の情報量制御装置および方法 | |
JP2001320277A (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
JPH07240920A (ja) | ディジタル画像データの圧縮および伸張 | |
JPH10327418A (ja) | 画像符号化装置 | |
JP4161312B2 (ja) | 画質評価値算出方法及び画質評価値算出装置 | |
JPH0514737A (ja) | 画像処理装置 | |
JP2001285648A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
JP3337699B2 (ja) | 画像処理装置およびその方法 | |
JP3199786B2 (ja) | 画像処理装置 | |
JP2001238220A (ja) | 動画像符号化装置および動画像符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080229 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080522 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080604 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |