JP2000312364A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
JP2000312364A
JP2000312364A JP2000090728A JP2000090728A JP2000312364A JP 2000312364 A JP2000312364 A JP 2000312364A JP 2000090728 A JP2000090728 A JP 2000090728A JP 2000090728 A JP2000090728 A JP 2000090728A JP 2000312364 A JP2000312364 A JP 2000312364A
Authority
JP
Japan
Prior art keywords
image data
data
class
prediction
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000090728A
Other languages
English (en)
Other versions
JP2000312364A5 (ja
JP4171958B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yasushi Noide
泰史 野出
Toshihiko Hamamatsu
俊彦 浜松
Masaaki Hattori
正明 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2000312364A publication Critical patent/JP2000312364A/ja
Publication of JP2000312364A5 publication Critical patent/JP2000312364A5/ja
Application granted granted Critical
Publication of JP4171958B2 publication Critical patent/JP4171958B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】本発明は、画像データ変換装置に関し、従来に
比して一段と画質を向上し得るようにする。 【解決手段】所定の符号化方式で符号化された第1の画
像データと符号化された第1の画像データを復号する際
に必要な情報である付加データS200とを含む符号化
データを、所定の符号化方式での符号化に対する復号化
がなされた第2の画像データに変換する際に、付加デー
タS200に基づいて、第2の画像データの注目画素を
複数のクラスの一つに分類し、注目画素毎に、クラスに
対応した予測方式を決定し、クラスに対応した予測方式
によって、符号化された第1の画像データに基づいて注
目画素毎に第2の画像データを生成することにより、付
加データS200に基づき所定の画像単位毎に異なるデ
ータ処理の種類に応じてクラスを決定することができ、
生成される第2の画像データの画質を向上し得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像処理装置及び画
像処理方法に関し、例えば画像データの画質を改善する
画像データ変換装置に適用して好適なものである。
【0002】
【従来の技術】従来、画像データの圧縮符号化方式とし
てMPEG(Moving Picture ExpertsGroup)2規格に
よる符号化方式がある。このMPEG2規格による符号
化方式を用いた送受信システムは、送信側で、画像デー
タに対してMPEG2規格による圧縮符号化処理を施し
て送信し、受信側で、受信した画像データを伸長復号化
することにより元の画像データを復元している。
【0003】
【発明が解決しようとする課題】ところでこのような送
受信システムの受信装置においては、伸長復号化された
標準精細度の画像データをその各画素の信号レベル分布
に応じたクラスに分類した後、予測係数と呼ばれるデー
タが予め格納されているメモリからそのクラスに対応す
る予測係数を読み出し、当該予測係数と伸長復号化され
た標準精細度の画像データとから高精細度の画像データ
を予測演算するいわゆるクラス分類適応処理を用いたア
ップコンバータが考えられている。
【0004】一般に、MPEG2規格によって圧縮符号
化された画像データは、Iピクチャ(Intra coded pictu
re) と、Pピクチャ(Predictive coded picture)と、B
ピクチャ(Bidirectionally predictive coded picture)
とから形成されている。Iピクチャは、フレーム内符号
化を施し、そのフレーム画像内の情報だけを符号化して
生成されたものである。Pピクチャは、そのフレーム画
像よりも過去のIピクチャ又はPピクチャから予測符号
化して生成されたものである。Bピクチャは、そのフレ
ーム画像よりも過去及び又は未来のPピクチャ又はIピ
クチャの双方から予測符号化して生成されたものであ
る。
【0005】このようにMPEG2規格による符号化方
式を用いた送受信システムでは、フレーム毎に異なる圧
縮符号化処理が行われていることから、圧縮符号化され
た画像データを伸長復号化しても、フレーム画像に対し
て施された符号化処理に応じてその再現率が異なり、フ
レーム毎に精細度の異なる画像データが生成されること
になる。
【0006】上述のアップコンバータでは、伸長復号化
された画像データに対して全て同様のクラス分類適応処
理を施しているが、フレーム毎に画像の再現率すなわち
精細度が異なることから、予測演算された画像データに
時間方向の歪みや表示画面上のちらつきいわゆるフリッ
カが生じてしまい、画質の改善を妨げる問題が生じるこ
とになる。
【0007】本発明は以上の点を考慮してなされたもの
で、従来に比して一段と画質を向上し得る画像データ変
換装置及び画像データ変換方法を提案しようとするもの
である。
【0008】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、所定の符号化方式で符号化された
第1の画像データと符号化された第1の画像データを復
号する際に必要な情報である付加データとを含む符号化
データを、所定の符号化方式での符号化に対する復号化
がなされた第2の画像データに変換する際に、付加デー
タに基づいて、第2の画像データの注目画素を複数のク
ラスの一つに分類し、注目画素毎に、クラスに対応した
予測方式を決定し、クラスに対応した予測方式によっ
て、符号化された第1の画像データに基づいて注目画素
毎に第2の画像データを生成することにより、付加デー
タに基づき所定の画像単位毎に異なるデータ処理の種類
に応じてクラスを決定することができる。
【0009】所定の画像単位毎に異なるデータ処理の種
類に応じてクラスを決定することにより、データ処理の
種類にかかわらずクラスを決定する場合に比して、時間
方向の歪みやフリッカのない第2の画像データを生成す
ることができる。
【0010】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
【0011】(1)クラス分類適応処理の原理 ここで図1は、クラス分類適応処理を実現するアップコ
ンバータ51の回路構成を示す。アップコンバータ51
は、外部から供給される例えば8ビットのパルス符号変
調(PCM:Pulse Code Modulation )データでなるS
D画像データS51をクラス分類部52及び予測演算部
53に入力する。クラス分類部52は、例えば図2に示
すように、SD画像データS51のうち注目画素及び当
該注目画素を中心とした複数の周辺画素でなる合計7画
素(タップ)をクラス分類用の画素(以下、これをクラ
スタップと呼ぶ)として設定し、それらの信号レベル分
布に基づいてクラスコードS52を生成する。因みに、
図中実線は第1フィールドを示し、点線は第2フィール
ドを示す。
【0012】このクラス分類部52によってクラスコー
ドS52を生成する方法としては、PCMデータを直接
使用する(すなわちPCMデータをそのままクラスデー
タS52とする)方法や、ADRC(Adaptive Dynamic
Range Coding )等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちPCMデ
ータをそのままクラスコードS52とする方法では、ク
ラスタップとして8ビットのPCMデータを7タップ用
いることから、クラス数が256という膨大な数のクラス
数に分類されることになり、実用上問題がある。
【0013】そこで実際には、クラス分類部52は、A
DRCのようなデータ圧縮処理(すなわち再量子化処
理)を施すことによりクラス数を削減するようになされ
ている。このADRCによる分類法は、注目画素を中心
とする近傍領域内の数タップからADRCコードを、次
【0014】
【数1】
【0015】によって求め、当該ADRCコードに基づ
いてクラスコードS52を生成する手法を用いている。
ここで、ci はADRCコード、xi は各クラスタップ
の入力画素値、MINは領域内にある各クラスタップの
入力画素値のうちの最小画素値、DRは領域内のダイナ
ミックレンジ(最大画素値と最小画素値との差分)、k
は再量子化ビット数である。
【0016】すなわちADRCによる分類法は、領域内
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の7タップにおいて各クラ
スタップを1ビットに再量子化する1ビットADRCを
行う場合では、領域内のダイナミックレンジに基づいて
7タップの各入力画素値を適応的に1ビット量子化し、
その結果、7タップの入力画素値を7ビットのデータに
削減することができるので、全体としてクラス数を12
8クラスにまで削減することができる。
【0017】図1に戻って、予測係数ROM(Read Onl
y Memory)54は、後述する学習回路60によって予め
生成された各クラス毎に対応する予測係数データS53
を格納しており、クラス分類部52から供給されるクラ
スコードS52に応じた予測係数データS53を読み出
し、これを予測演算部53に送出する。予測演算部53
は、例えば図3に示すように、外部から入力されるSD
画像データS51のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計13タップを予測
演算用の画素(以下、これを予測タップと呼ぶ)として
選定し、当該予測タップの各画素値と予測係数データS
53とを用いて、線形一次結合でなる次式
【0018】
【数2】
【0019】によって表される積和演算を行うことによ
り、予測タップには存在しないHD画素の集まりである
HD画像データS54を生成し、これを外部に出力す
る。ここで、x′は各HD画素値、xi は各予測タップ
の画素値、wi は予測係数、nは予測タップ数であり、
この場合nは13である。
【0020】ところで図4は、予測係数ROM54に格
納されている予測係数データを生成する学習回路60の
回路構成を示し、当該学習回路60は、予測係数データ
を予め生成して、これを予測係数ROM54に格納する
ようになされている。学習回路60は、いわゆる教師信
号としてのHD画像データS60を垂直間引きフィルタ
61及び予測係数算出回路62に入力する。学習回路6
0は、HD画像データS60を垂直間引きフィルタ61
及び水平間引きフィルタ62によって間引くことによ
り、生徒信号としてのSD画像データS61を生成し、
これをクラス分類部64及び予測係数算出回路62に入
力するようになされている。
【0021】クラス分類部64は、図1に示すアップコ
ンバータのクラス分類部52と同様の構成でなり、SD
画像データS61からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードS62を生成した
後、これを予測係数算出回路62に送出する。予測係数
算出回路62は、HD画像データS60及びSD画像デ
ータS61を基に、クラスコードS62が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データS63を予測係数ROM54に格納する。
【0022】この場合、予測係数算出回路62は、上述
の(2)式における予測係数wを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
62は、XをSD画素値、Wを予測係数、YをHD画素
値として、いわゆる観測方程式と呼ばれる次式
【0023】
【数3】
【0024】を生成するように各データを収集する。こ
こでmは予測するHD画素の画素数を示す学習データ
数、nは予測タップ数である。
【0025】次に予測係数算出回路62は、この(3)
式を基に、次式
【0026】
【数4】
【0027】に示す残差方程式を立てる。従って各予測
係数wi は、この(4)式から、次式
【0028】
【数5】
【0029】が最小のときに最適な値となることがわか
る。すなわち次式
【0030】
【数6】
【0031】を満たすように予測係数wi が算出され
る。
【0032】そこで予測係数算出回路62は、このn個
ある(6)式を満たすようなw1 、w2 、……、wn
算出すればよいことになり、上述の(4)式から、次式
【0033】
【数7】
【0034】を得、これら(6)及び(7)式から、次
【0035】
【数8】
【0036】を求める。そして予測係数算出回路62
は、上述の(4)及び(8)式から、次式
【0037】
【数9】
【0038】によって表される正規方程式を生成する。
このようにして予測係数算出回路62は、予測タップ数
nと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法(Gauss Jordanの消去法)を用いてこの正規
方程式を解くことにより、各予測係数wi を算出する。
【0039】以下、学習回路60による予測係数生成手
順について図5に示すフローチャートを用いて説明す
る。ステップSP61から入ったステップSP62にお
いて、学習回路60は、教師信号としてのHD画像デー
タS60から生徒信号としてのSD画像データS61を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップSP63において、学習
回路60は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップSP63において否定結果を得ることによりステ
ップSP64に移行する。
【0040】ステップSP64において、学習回路60
は、SD画像データS61からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップSP65において、学習回路60は、各クラス毎に
上述の(9)式でなる正規方程式を生成し、ステップS
P62に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。
【0041】これに対してステップSP63において肯
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路60は
ステップSP66に移って、上述の(9)式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
1 、w2 、……、wn を各クラス毎に生成する。そし
てステップSP67において、学習回路60は、生成し
た各クラス毎の予測係数w1 、w2 、……、wn を予測
係数ROM54に格納し、ステップSP68に移って処
理を終了する。
【0042】(2)第1の実施の形態 図6において、100は全体として図1〜図5について
上述したクラス分類適応処理の原理を用いた第1の実施
の形態のアップコンバータの構成を示す。アップコンバ
ータ100は、外部からMPEG2方式を用いて圧縮符
号化された符号化画像データS100が供給されると、
これをデコーダ101に入力する。デコード101は、
この符号化画像データS100を伸長復号化することに
より画像データS101を復元し、これを領域切り出し
部102及び103に送出する。その際、デコーダ10
1は、フレーム毎に異なるデコード情報、例えば図7
(A)に示すように、現在のフレームとその周辺のフレ
ームにおけるピクチャタイプの変化情報を示すピクチャ
タイプパターンデータS102を生成し、これを範囲切
り出し部104に送出する。
【0043】範囲切り出し部104は、供給されたピク
チャタイプパターンデータS102の中から参照範囲、
例えば現在のフレームとその前後3フレームとを切り出
し、この切り出されたピクチャタイプパターンデータS
103を判定部105に送出する。判定部105は、図
7(B)に示すように、この切り出されたピクチャタイ
プパターンデータS103をそのパターン列に応じた分
類コードS104に変換し、これをクラスコード発生部
106に送出する。
【0044】ところで領域切り出し部102は、画像デ
ータS101からクラスタップを抽出し、それらの信号
レベル分布を示すクラスタップデータS110を特徴量
抽出部110に送出する。特徴量抽出部110は、クラ
スタップデータS110に対して1ビットADRCを施
すことによりADRCコードS111を生成し、これを
クラスコード発生部106に送出する。
【0045】クラスコード発生部106は、上述の分類
コードS104とADRCコードS111とを合成する
ことによりクラスコードS112を生成し、これをRO
M111に送出する。ROM111は、後述する学習回
路によって予め生成されたクラス毎に対応する予測係数
を格納しており、クラスコード発生部106から供給さ
れるクラスコードS112に応じた予測係数データS1
13を読み出し、これを予測演算部112に送出する。
【0046】一方、領域切り出し部103は、画像デー
タS101から予測タップを抽出し、それらの信号レベ
ル分布を示す予測タップデータS114を予測演算部1
12に送出する。予測演算部112は、予測係数データ
S113と予測タップデータS114との積和演算を施
すことにより高精細度の画像データS115を生成し、
これを外部に出力する。
【0047】続いて図8は、ROM111(図6)に格
納されている予測係数を生成する学習回路120の構成
を示す。学習回路120は、教師画像として高精細度の
画像データS120をエンコーダ121及び正規方程式
演算部122に送出する。エンコーダ121は、画像デ
ータS120をMPEG2方式を用いて圧縮符号化し、
その結果得られる符号化画像データS121をデコーダ
123に送出する。
【0048】デコーダ123は、アップコンバータ10
0のデコーダ101(図6)と同様に構成されており、
符号化画像データS121を伸長復号化することにより
生徒画像としての標準精細度の画像データS122を生
成し、これを領域切り出し部124及び125に送出す
る。その際、デコーダ123は、フレーム毎に異なるデ
コード情報、例えば現在のフレームとその周辺のフレー
ムにおけるピクチャタイプの変化情報を示すピクチャタ
イプパターンデータS123を生成し、これを範囲切り
出し部126に送出する。
【0049】範囲切り出し部126は、アップコンバー
タ100の範囲切り出し部104(図6)と同様に構成
されており、供給されたピクチャタイプパターンデータ
S123の中から参照範囲、例えば現在のフレームとそ
の前後3フレームとを切り出し、この切り出されたピク
チャタイプパターンデータS124を判定部127に送
出する。判定部127は、アップコンバータ100の判
定部105(図6)と同様に構成されており、この切り
出されたピクチャタイプパターンデータS124をその
パターン列に応じた分類コードS125に変換し、これ
をクラスコード発生部128に送出する。
【0050】ところで領域切り出し部124は、アップ
コンバータ100の領域切り出し部102(図6)と同
様に構成されており、画像データS122からクラスタ
ップを抽出し、それらの信号レベル分布を示すクラスタ
ップデータS130を特徴量抽出部130に送出する。
特徴量抽出部130は、アップコンバータ100の特徴
量抽出部110(図6)と同様に構成されており、クラ
スタップデータS130に対して1ビットADRCを施
すことによりADRCコードS131を生成し、これを
クラスコード発生部128に送出する。
【0051】クラスコード発生部128は、アップコン
バータ100のクラスコード発生部106(図6)と同
様に構成されており、上述の分類コードS125とAD
RCコードS131とを合成することによりクラスコー
ドS132を生成し、これを正規方程式演算部122に
送出する。
【0052】一方、領域切り出し部125は、アップコ
ンバータ100の領域切り出し部103(図6)と同様
に構成されており、画像データS122から予測タップ
を抽出し、それらの信号レベル分布を示す予測タップデ
ータS133を正規方程式演算部122に送出する。正
規方程式演算部122は、高精細度の画像データS12
0と予測タップデータS133とから、クラスコードS
132毎に正規方程式を生成し、この正規方程式データ
S134を予測係数決定部131に送出する。
【0053】予測係数決定部131は、正規方程式デー
タS134が必要な数だけ供給されると、最小自乗法を
用いて当該正規方程式を解くことにより予測係数を算出
し、その予測係数データS135をメモリ132に送出
して当該メモリ132に格納する。その後、このメモリ
132に格納されている予測係数は、図6に示すROM
111に書き込まれるようになされている。
【0054】以上の構成において、アップコンバータ1
00は、符号化画像データS100を伸長復号化して元
の画像データS101を復元すると共に、当該符号化画
像データS100からピクチャタイプの変化情報を示す
ピクチャタイプパターンデータS102を生成し、当該
ピクチャタイプパターンデータS102に応じたクラス
コードS112を発生してクラス分類適応処理を施すこ
とにより、高精細度の画像データS115を生成する。
【0055】このようにフレーム毎に変化するピクチャ
タイプに応じてクラス分類適応処理を施すことにより、
全フレームに対して全て同様のクラス分類適応処理を施
す場合に比して、画像の再現率すなわち精細度に応じた
クラス分類適応処理が行われ、予測演算された画像デー
タS115における各フレーム間の時間方向の歪みやフ
リッカが生じることが回避される。
【0056】以上の構成によれば、フレーム毎に異なる
符号化及び復号化処理が行われたことに応じてクラス分
類適応処理を施すことにより、全フレームに対して全て
同様のクラス分類適応処理を施す場合に比して、時間方
向の歪みやフリッカのない画像データS115を生成す
ることができ、かくして従来に比して一段と画質の改善
を行い得る。
【0057】(3)第2の実施の形態 図6との対応部分に同一符号を付して示す図9におい
て、140は全体として第2の実施の形態のアップコン
バータの構成を示し、領域切り出し部141及び14
2、判定部143並びにROM144の構成を除いて、
第1の実施の形態のアップコンバータ100と同様に構
成されている。
【0058】アップコンバータ140は、外部からMP
EG2方式を用いて圧縮符号化された符号化画像データ
S140が供給されると、これをデコーダ101に入力
する。デコード101は、この符号化画像データS14
0を伸長復号化することにより画像データS141を復
元し、これを領域切り出し部141及び142に送出す
る。その際、デコーダ101は、フレーム毎に異なるデ
コード情報、現在のフレームとその周辺のフレームにお
けるピクチャタイプの変化情報を示すピクチャタイプパ
ターンデータS142を生成し、これを範囲切り出し部
104に送出する。
【0059】範囲切り出し部104は、供給されたピク
チャタイプパターンデータS142の中から参照範囲、
例えば現在のフレームとその前後3フレームとを切り出
し、この切り出されたピクチャタイプパターンデータS
143を判定部143に送出する。判定部143は、こ
の切り出されたピクチャタイプパターンデータS143
をそのパターン列に応じた分類コードS144に変換
し、これをクラスコード発生部106並びに領域切り出
し部141及び142に送出する。
【0060】領域切り出し部141は、分類コードS1
44に応じて切り出す領域を切り換えながらクラスタッ
プを抽出するようになされている。例えば図10(A)
に示すように、領域切り出し部141は、分類コードS
144が0であってかつ現フレームがIピクチャの場合
には、現フレームより過去のフレームは参照せずに、未
来のフレームのみを参照することにより、I、B、B、
Pピクチャの範囲からクラスタップを抽出する。また図
10(B)に示すように、領域切り出し部141は、分
類コードS144が1であってかつ現フレームがPピク
チャの場合には、現フレームの過去及び未来のフレーム
を参照することにより、P、B、B、P、B、B、Pピ
クチャの範囲からクラスタップを抽出する。
【0061】このように領域切り出し部141は、現フ
レームと互いに参照関係にあるフレームを参照範囲とし
て、当該参照範囲からクラスタップを抽出する。従って
領域切り出し部141は、分類コードS144に応じて
画像データS141からクラスタップを抽出し、それら
の信号レベル分布を示すクラスタップデータS150を
特徴量抽出部110に送出する。特徴量抽出部110
は、クラスタップデータS150に対して1ビットAD
RCを施すことによりADRCコードS151を生成
し、これをクラスコード発生部106に送出する。
【0062】クラスコード発生部106は、上述の分類
コードS144とADRCコードS151とを合成する
ことによりクラスコードS152を生成し、これをRO
M144に送出する。ROM144は、後述する学習回
路によって予め生成されたクラス毎に対応する予測係数
を格納しており、クラスコード発生部106から供給さ
れるクラスコードS152に応じた予測係数データS1
53を読み出し、これを予測演算部112に送出する。
【0063】一方、領域切り出し部142は、領域切り
出し部141と同様に分類コードS144に応じて切り
出す領域を切り換えながら画像データS141から予測
タップを抽出し、それらの信号レベル分布を示す予測タ
ップデータS154を予測演算部112に送出する。予
測演算部112は、予測係数データS153と予測タッ
プデータS154との積和演算を施すことにより高精細
度の画像データS155を生成し、これを外部に出力す
る。
【0064】続いて図8との対応部分に同一符号を付し
て示す図11は、ROM144(図9)に格納されてい
る予測係数を生成する第2の実施の形態の学習回路15
0の構成を示し、領域切り出し部151及び152並び
に判定部153の構成を除いて、第1の実施の形態の学
習回路120と同様に構成されている。学習回路150
は、教師画像として高精細度の画像データS150をエ
ンコーダ121及び正規方程式演算部122に送出す
る。エンコーダ121は、画像データS150をMPE
G2方式を用いて圧縮符号化し、その結果得られる符号
化画像データS151をデコーダ123に送出する。
【0065】デコーダ123は、アップコンバータ14
0のデコーダ101(図9)と同様に構成されており、
符号化画像データS151を伸長復号化することにより
生徒画像としての標準精細度の画像データS152を生
成し、これを領域切り出し部151及び152に送出す
る。その際、デコーダ123は、フレーム毎に異なるデ
コード情報、例えば現在のフレームとその周辺のフレー
ムにおけるピクチャタイプの変化情報を示すピクチャタ
イプパターンデータS153を生成し、これを範囲切り
出し部126に送出する。
【0066】範囲切り出し部126は、アップコンバー
タ100の範囲切り出し部104(図9)と同様に構成
されており、供給されたピクチャタイプパターンデータ
S153の中から参照範囲、例えば現在のフレームとそ
の前後3フレームとを切り出し、この切り出されたピク
チャタイプパターンデータS154を判定部153に送
出する。判定部153は、アップコンバータ140の判
定部143(図9)と同様に構成されており、この切り
出されたピクチャタイプパターンデータS154をその
パターン列に応じた分類コードS155に変換し、これ
をクラスコード発生部128に送出する。
【0067】ところで領域切り出し部151は、アップ
コンバータ140の領域切り出し部141(図9)と同
様に構成されており、分類コードS155に応じて切り
出す領域を切り換えながら画像データS152からクラ
スタップを抽出し、それらの信号レベル分布を示すクラ
スタップデータS160を特徴量抽出部130に送出す
る。特徴量抽出部130は、アップコンバータ140の
特徴量抽出部110(図9)と同様に構成されており、
クラスタップデータS160に対して1ビットADRC
を施すことによりADRCコードS161を生成し、こ
れをクラスコード発生部128に送出する。
【0068】クラスコード発生部128は、アップコン
バータ140のクラスコード発生部106(図9)と同
様に構成されており、上述の分類コードS155とAD
RCコードS161とを合成することによりクラスコー
ドS162を生成し、これを正規方程式演算部122に
送出する。
【0069】一方、領域切り出し部152は、アップコ
ンバータ140の領域切り出し部142(図9)と同様
に構成されており、分類コードS155に応じて切り出
す領域を切り換えながら画像データS152から予測タ
ップを抽出し、それらの信号レベル分布を示す予測タッ
プデータS163を正規方程式演算部122に送出す
る。正規方程式演算部122は、高精細度の画像データ
S150と予測タップデータS163とから、クラスコ
ードS162毎に正規方程式を生成し、この正規方程式
データS164を予測係数決定部131に送出する。
【0070】予測係数決定部131は、正規方程式デー
タS164が必要な数だけ供給されると、最小自乗法を
用いて当該正規方程式を解くことにより予測係数を算出
し、その予測係数データS165をメモリ132に送出
して当該メモリ132に格納する。その後、このメモリ
132に格納されている予測係数は、図9に示すROM
144に書き込まれるようになされている。
【0071】以上の構成において、アップコンバータ1
40は、符号化画像データS140を伸長復号化して元
の画像データS141を復元すると共に、当該符号化画
像データS140からピクチャタイプの変化情報を示す
ピクチャタイプパターンデータS142を生成して、当
該ピクチャタイプパターンデータS142に応じて切り
出す領域を切り換えながらクラスタップ及び予測タップ
を抽出した上で、ピクチャタイプパターンデータS14
2に応じたクラスコードS152を発生してクラス分類
適応処理を施すことにより、高精細度の画像データS1
55を生成する。
【0072】このようにフレーム毎に変化するピクチャ
タイプに応じたクラスコードS152を発生してクラス
分類適応処理を施すことにより、全フレームに対して同
様のクラス分類適応処理を施す場合に比して、画像の再
現率すなわち精細度に応じたクラス分類適応処理が行わ
れ、予測演算された画像データS155に各フレーム間
の時間方向の歪みやフリッカが生じることが回避され
る。また、フレーム毎に変化するピクチャタイプに応じ
てクラスタップ及び予測タップを切り出す領域を切り換
えることにより、第1の実施の形態によるアップコンバ
ータ100に比してさらに精細度の向上した画像データ
S155が生成される。
【0073】以上の構成によれば、フレーム毎に異なる
符号化及び復号化処理が行われたことに応じてクラス分
類適応処理を施すことにより、全フレームに対して同様
のクラス分類適応処理を施す場合に比して、時間方向の
歪みやフリッカのない画像データS155を生成するこ
とができ、かくして従来に比して一段と画質を向上し得
る。
【0074】(4)他の実施の形態 なお上述の実施の形態においては、フレーム毎に異なる
ピクチャタイプの変化情報を示すピクチャタイプパター
ンデータS102及びS142に応じてクラス分類適応
処理を施して、各フレーム間における歪みを低減した場
合について述べたが、本発明はこれに限らず、例えば符
号化画像データS100及びS140の付加情報S20
0(図6、図9)としてGOP(Group of Pictures)層
に存在するCG(Closed GOP)情報(GOP内の画像が他
のGOPから独立再生可能なことを示すフラグ)を検出
して、当該CG情報を参照しながらクラス分類適応処理
を施すことにより、各GOP間における歪みを低減させ
たり、又は、ピクチャ層に存在するIDC(Intra DC Pr
ecision)情報(DC係数の精度を示すフラグ)を検出し
て、当該IDC情報を参照しながらクラス分類適応処理
を施すことにより、レベル方向の歪みを低減させること
も可能である。
【0075】また上述の第2の実施の形態においては、
判定部143から供給される分類コードS144に応じ
て切り出す領域を切り換えながらクラスタップ及び予測
タップを抽出した場合について述べたが、本発明はこれ
に限らず、ピクチャタイプの変化情報を示すピクチャタ
イプパターンデータS142に応じて切り出す領域を切
り換えながらクラスタップ及び予測タップを抽出しても
良い。
【0076】また上述の実施の形態においては、フレー
ム毎に異なるピクチャタイプの変化情報を示すピクチャ
タイプパターンデータS102及びS142に応じたク
ラス分類適応処理を施す場合について述べたが、本発明
はこれに限らず、例えばGOP内における各ピクチャタ
イプの配列情報に応じてクラス分類適応処理を施しても
良い。
【0077】また上述の実施の形態においては、フレー
ム毎に異なるピクチャタイプの変化情報を示すピクチャ
タイプパターンデータS102及びS142に応じたク
ラス分類適応処理を施す場合について述べたが、本発明
はこれに限らず、例えばフィールド毎に変化する情報に
応じてクラス分類適応処理を施しても良く、要は、所定
の画像単位毎に異なるデータ処理の種類に応じてクラス
分類適応処理を施すようにすれば良い。
【0078】また上述の実施の形態においては、データ
処理種類抽出手段として、デコーダ101、領域切り出
し部104、判定部105又は143を適用した場合に
ついて述べたが、本発明はこれに限らず、要は、データ
処理の種類を所定の画像単位毎に抽出するデータ処理種
類抽出手段であれば良い。
【0079】また上述の実施の形態においては、特徴量
抽出手段として、領域切り出し部102又は141、特
徴量抽出部110を適用した場合について述べたが、本
発明はこれに限らず、要は、第1の画像データから第2
の画像データの注目画素を基準とする複数の画素を選定
してその特徴量を抽出する特徴量抽出手段であれば良
い。
【0080】また上述の実施の形態においては、クラス
決定手段として、クラスコード発生部106を適用した
場合について述べたが、本発明はこれに限らず、要は、
データ処理の種類及び特徴量から注目画素に対するクラ
スを決定するクラス決定手段であれば良い。
【0081】また上述の実施の形態においては、予測デ
ータ発生手段として、ROM111又は144を適用し
た場合について述べたが、本発明はこれに限らず、要
は、クラスに対応する予測データを発生する予測データ
発生手段であれば良い。
【0082】さらに上述の実施の形態においては、画素
データ発生手段として、領域切り出し部103又は14
2、予測演算部112を適用した場合について述べた
が、本発明はこれに限らず、要は、予測データから第2
の画像データの注目画素を発生する画素データ発生手段
であれば良い。
【0083】
【発明の効果】上述のように本発明によれば、所定の画
像単位毎に異なるデータ処理の種類に応じてクラスを決
定することにより、データ処理の種類にかかわらずクラ
スを決定する場合に比して、生成される第2の画像デー
タに時間方向の歪みやフリッカが生じることを回避する
ことができ、かくして従来に比して一段と画質を向上し
得る。
【図面の簡単な説明】
【図1】アップコンバータの構成を示すブロック図であ
る。
【図2】クラスタップ配置例を示す略線図である。
【図3】予測タップ配置例を示す略線図である。
【図4】学習回路の構成を示すブロック図である。
【図5】予測係数生成手順を示すフローチャートであ
る。
【図6】本発明によるアップコンバータの第1の実施の
形態を示すブロック図である。
【図7】ピクチャタイプパターンの判定方法の説明に供
する略線図である。
【図8】学習回路の構成を示すブロック図である。
【図9】本発明によるアップコンバータの第2の実施の
形態を示すブロック図である。
【図10】分類コードに応じた領域の切り出しの説明に
供する略線図である。
【図11】学習回路の構成を示すブロック図である。
【符号の説明】
100、140……アップコンバータ、101、123
……デコーダ、102、103、124、125、14
1、142、151、152……領域切り出し部、10
4、126、153……範囲切り出し部、105、12
7、143……判定部、106、128……クラスコー
ド発生部、110、130……特徴量抽出部、111、
144……ROM、112……予測演算部、120、1
50……学習回路。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浜松 俊彦 東京都品川区北品川6丁目7番35号ソニー 株式会社内 (72)発明者 服部 正明 東京都品川区北品川6丁目7番35号ソニー 株式会社内

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】所定の符号化方式で符号化された第1の画
    像データと上記符号化された第1の画像データを復号す
    る際に必要な情報である付加データとを含む符号化デー
    タを、上記所定の符号化方式での符号化に対する復号化
    がなされた第2の画像データに変換する画像処理装置に
    おいて、 上記付加データに基づいて、上記第2の画像データの注
    目画素を複数のクラスの一つに分類するクラス分類手段
    と、 上記注目画素毎に、上記クラスに対応した予測方式を決
    定する予測方式決定手段と、 上記クラスに対応した上記予測方式によって、上記符号
    化された第1の画像データに基づいて上記注目画素毎に
    上記第2の画像データを生成する画像データ生成手段と
    を具えることを特徴とする画像処理装置。
  2. 【請求項2】上記符号化は、圧縮符号化であることを特
    徴とする請求項1に記載の画像処理装置。
  3. 【請求項3】上記符号化は、MPEG(Moving Picture
    Experts Group)規格による符号化であり、 上記付加データは、GOP(Group of Picture)層のパラ
    メータであることを特徴とする請求項1に記載の画像処
    理装置。
  4. 【請求項4】上記符号化は、MPEG(Moving Picture
    Experts Group)規格による符号化であり、 上記付加データは、ピクチャ層のパラメータであること
    を特徴とする請求項1に記載の画像処理装置。
  5. 【請求項5】上記画像データ生成手段は、 上記第1の画像データを、上記所定の符号化方式に対応
    する復号方式で復号する復号手段と、 上記注目画素の位置に基づいて、上記復号された第1の
    画像データから1又は複数の画素を予測タップとして抽
    出する予測タップ抽出手段とを具え、上記クラス毎の上
    記予測方式によって、上記予測タップに基づいて上記注
    目画素を生成することを特徴とする請求項1に記載の画
    像処理装置。
  6. 【請求項6】上記クラス分類手段は、 上記注目画素位置に基づいて、上記復号化された上記第
    1の画像データから、1又は複数の画素をクラスタップ
    として抽出するクラスタップ抽出手段と、 上記クラスタップに基づいて、上記注目画素に対応する
    特徴を検出する特徴検出手段と、 上記特徴に基づいて、上記注目画素をさらに複数のクラ
    スの一つに分類する特徴分類手段とを具えることを特徴
    とする請求項5に記載の画像処理装置。
  7. 【請求項7】上記予測タップ抽出手段は、 上記付加データに基づいて、上記復号された第1の画像
    データから予測タップを抽出することを特徴とする請求
    項5に記載の画像処理装置。
  8. 【請求項8】上記クラスタップ抽出手段は、 上記付加データに基づいて、上記復号された第1の画像
    データからクラスタップを抽出することを特徴とする請
    求項6に記載の画像処理装置。
  9. 【請求項9】上記クラスに対応した予測方式では、上記
    各クラスに対応した予測データを用いて上記第2の画像
    データを生成し、上記予測データは上記第1の画像デー
    タに対応した画像データ及び上記第2の画像データに対
    応した画像データに基づいて上記各クラス毎に予め生成
    されていることを特徴とする請求項1に記載の画像処理
    装置。
  10. 【請求項10】所定の符号化方式で符号化された第1の
    画像データと上記符号化された第1の画像データを復号
    する際に必要な情報である付加データとを含む符号化デ
    ータを、上記所定の符号化方式での符号化に対する復号
    化がなされた第2の画像データに変換する画像処理方法
    において、 上記付加データに基づいて、上記第2の画像データの注
    目画素を複数のクラスの一つに分類するステップと、 上記注目画素毎に、上記クラスに対応した予測方式を決
    定するステップと、 上記クラスに対応した上記予測方式によって、上記符号
    化された第1の画像データに基づいて上記注目画素毎に
    上記第2の画像データを生成するステップと、 を具えることを特徴とする画像処理方法。
  11. 【請求項11】上記符号化は、圧縮符号化であることを
    特徴とする請求項10に記載の画像処理方法。
  12. 【請求項12】上記符号化は、MPEG(Moving Pictur
    e Experts Group)規格による符号化であり、 上記付加データは、GOP(Group of Picture)層のパラ
    メータであることを特徴とする請求項10に記載の画像
    処理方法。
  13. 【請求項13】上記符号化は、MPEG(Moving Pictur
    e Experts Group)規格による符号化であり、 上記付加データは、ピクチャ層のパラメータであること
    を特徴とする請求項10に記載の画像処理方法。
  14. 【請求項14】上記第2の画像を生成するステップは、 上記第1の画像データを、上記所定の符号化方式に対応
    する復号方式で復号するステップと、 上記注目画素の位置に基づいて、上記復号された第1の
    画像データから1又は複数の画素を予測タップとして抽
    出するステップと を具え、上記クラス毎の上記予測方式によって、上記予
    測タップに基づいて上記注目画素を生成することを特徴
    とする請求項10に記載の画像処理方法。
  15. 【請求項15】上記第2の画像データの注目画素を複数
    のクラスの一つに分類するステップは、 上記注目画素位置に基づいて、上記復号化された上記第
    1の画像データから、1又は複数の画素をクラスタップ
    として抽出するステップと、 上記クラスタップに基づいて、上記注目画素に対応する
    特徴を検出するステップと、 上記特徴に基づいて、上記注目画素をさらに複数のクラ
    スの一つに分類するステップとを具えることを特徴とす
    る請求項14に記載の画像処理方法。
  16. 【請求項16】上記予測タップを抽出する手段では、 上記付加データに基づいて、上記復号された第1の画像
    データから予測タップが抽出されることを特徴とする請
    求項14に記載の画像処理方法。
  17. 【請求項17】上記クラスタップを抽出する手段では、 上記付加データに基づいて、上記復号された第1の画像
    データからクラスタップが抽出されることを特徴とする
    請求項15に記載の画像処理方法。
  18. 【請求項18】上記クラスに対応した予測方式では、上
    記各クラスに対応した予測データを用いて上記第2の画
    像データを生成し、上記予測データは上記第1の画像デ
    ータに対応した画像データ及び上記第2の画像データに
    対応した画像データに基づいて上記各クラス毎に予め生
    成されていることを特徴とする請求項10に記載の画像
    処理方法。
JP2000090728A 1998-09-28 2000-03-27 画像処理装置及び画像処理方法 Expired - Fee Related JP4171958B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27328898A JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP27328898A Division JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法

Publications (3)

Publication Number Publication Date
JP2000312364A true JP2000312364A (ja) 2000-11-07
JP2000312364A5 JP2000312364A5 (ja) 2005-11-04
JP4171958B2 JP4171958B2 (ja) 2008-10-29

Family

ID=17525771

Family Applications (2)

Application Number Title Priority Date Filing Date
JP27328898A Expired - Fee Related JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法
JP2000090728A Expired - Fee Related JP4171958B2 (ja) 1998-09-28 2000-03-27 画像処理装置及び画像処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP27328898A Expired - Fee Related JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法

Country Status (1)

Country Link
JP (2) JP4168299B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519353A (zh) * 2013-09-29 2015-04-15 联想(北京)有限公司 图像处理方法和电子设备
CN111683254A (zh) * 2020-06-24 2020-09-18 湖南国科微电子股份有限公司 一种图像压缩方法、装置及电子设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4311166B2 (ja) * 2003-11-05 2009-08-12 ソニー株式会社 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519353A (zh) * 2013-09-29 2015-04-15 联想(北京)有限公司 图像处理方法和电子设备
CN104519353B (zh) * 2013-09-29 2019-02-05 联想(北京)有限公司 图像处理方法和电子设备
CN111683254A (zh) * 2020-06-24 2020-09-18 湖南国科微电子股份有限公司 一种图像压缩方法、装置及电子设备和存储介质

Also Published As

Publication number Publication date
JP2000102006A (ja) 2000-04-07
JP4168299B2 (ja) 2008-10-22
JP4171958B2 (ja) 2008-10-29

Similar Documents

Publication Publication Date Title
US5812197A (en) System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
JP3788823B2 (ja) 動画像符号化装置および動画像復号化装置
US8743954B1 (en) Architecture for adjusting bit rate based on measured quality
JP4901772B2 (ja) 動画像符号化方法及び動画像符号化装置
US6078694A (en) Image signal padding method, image signal coding apparatus, image signal decoding apparatus
EP1655968A2 (en) Method and apparatus for encoding and decoding image data
US9014268B2 (en) Video encoder and its decoder
JP2003018599A (ja) 画像符号化装置および方法
JP2004173011A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US10225561B2 (en) Method and apparatus for syntax signaling in image and video compression
JP2001519988A (ja) ビデオデータから符号化パラメータを抽出するシステム
KR100504415B1 (ko) 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체
JP4243218B2 (ja) 量子化制御装置、その方法及びそのプログラム、並びに、適応量子化符号化装置
JP2000312364A (ja) 画像処理装置及び画像処理方法
JPH0671333B2 (ja) 画像信号の符号化方法
JP2000125268A (ja) 画像データ変換装置及び画像データ変換方法
JPS63284974A (ja) 画像圧縮方式
JP4143877B2 (ja) 画像データ変換装置及び画像データ変換方法
JPH10243406A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体
JP2001238220A (ja) 動画像符号化装置および動画像符号化方法
JP2872149B2 (ja) 画像符号化装置
JPH05227513A (ja) 映像信号伝送装置
JP3598159B2 (ja) 情報信号伝送装置および情報信号伝送方法
US8929433B2 (en) Systems, methods, and apparatus for improving display of compressed video data
JP4552264B2 (ja) エラー修整装置および方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees