JP2000102006A - 画像データ変換装置及び画像データ変換方法 - Google Patents

画像データ変換装置及び画像データ変換方法

Info

Publication number
JP2000102006A
JP2000102006A JP27328898A JP27328898A JP2000102006A JP 2000102006 A JP2000102006 A JP 2000102006A JP 27328898 A JP27328898 A JP 27328898A JP 27328898 A JP27328898 A JP 27328898A JP 2000102006 A JP2000102006 A JP 2000102006A
Authority
JP
Japan
Prior art keywords
image data
data
class
prediction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27328898A
Other languages
English (en)
Other versions
JP4168299B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Yasushi Noide
泰史 野出
Toshihiko Hamamatsu
俊彦 浜松
Masaaki Hattori
正明 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27328898A priority Critical patent/JP4168299B2/ja
Priority to JP2000090728A priority patent/JP4171958B2/ja
Publication of JP2000102006A publication Critical patent/JP2000102006A/ja
Application granted granted Critical
Publication of JP4168299B2 publication Critical patent/JP4168299B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】本発明は、画像データ変換装置に関し、従来に
比して一段と画質を向上し得るようにする。 【解決手段】所定の画像単位毎に異なるデータ処理の種
類(S104)を抽出するデータ処理種類抽出手段(1
01、104、105)と、当該データ処理の種類に応
じてクラス(S112)を決定するクラス決定手段(1
06)とを設けたことにより、データ処理の種類にかか
わらずクラスを決定する場合に比して、生成される第2
の画像データに時間方向の歪みやフリッカが生じること
を回避することができ、かくして従来に比して一段と画
質を向上し得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像データ変換装置
及び画像データ変換方法に関し、例えば画像データの画
質を改善する画像データ変換装置に適用して好適なもの
である。
【0002】
【従来の技術】従来、画像データの圧縮符号化方式とし
てMPEG(Moving Picture ExpertsGroup)2規格に
よる符号化方式がある。このMPEG2規格による符号
化方式を用いた送受信システムは、送信側で、画像デー
タに対してMPEG2規格による圧縮符号化処理を施し
て送信し、受信側で、受信した画像データを伸長復号化
することにより元の画像データを復元している。
【0003】
【発明が解決しようとする課題】ところでこのような送
受信システムの受信装置においては、伸長復号化された
標準精細度の画像データをその各画素の信号レベル分布
に応じたクラスに分類した後、予測係数と呼ばれるデー
タが予め格納されているメモリからそのクラスに対応す
る予測係数を読み出し、当該予測係数と伸長復号化され
た標準精細度の画像データとから高精細度の画像データ
を予測演算するいわゆるクラス分類適応処理を用いたア
ップコンバータが考えられている。
【0004】一般に、MPEG2規格によって圧縮符号
化された画像データは、Iピクチャ(Intra coded pictu
re) と、Pピクチャ(Predictive coded picture)と、B
ピクチャ(Bidirectionally predictive coded picture)
とから形成されている。Iピクチャは、フレーム内符号
化を施し、そのフレーム画像内の情報だけを符号化して
生成されたものである。Pピクチャは、そのフレーム画
像よりも過去のIピクチャ又はPピクチャから予測符号
化して生成されたものである。Bピクチャは、そのフレ
ーム画像よりも過去及び又は未来のPピクチャ又はIピ
クチャの双方から予測符号化して生成されたものであ
る。
【0005】このようにMPEG2規格による符号化方
式を用いた送受信システムでは、フレーム毎に異なる圧
縮符号化処理が行われていることから、圧縮符号化され
た画像データを伸長復号化しても、フレーム画像に対し
て施された符号化処理に応じてその再現率が異なり、フ
レーム毎に精細度の異なる画像データが生成されること
になる。
【0006】上述のアップコンバータでは、伸長復号化
された画像データに対して全て同様のクラス分類適応処
理を施しているが、フレーム毎に画像の再現率すなわち
精細度が異なることから、予測演算された画像データに
時間方向の歪みや表示画面上のちらつきいわゆるフリッ
カが生じてしまい、画質の改善を妨げる問題が生じるこ
とになる。
【0007】本発明は以上の点を考慮してなされたもの
で、従来に比して一段と画質を向上し得る画像データ変
換装置及び画像データ変換方法を提案しようとするもの
である。
【0008】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、所定の画像単位毎に異なる種類の
データ処理が施された第1の画像データを第2の画像デ
ータに変換する画像データ変換装置において、データ処
理の種類を所定の画像単位毎に抽出するデータ処理種類
抽出手段と、第1の画像データから第2の画像データの
注目画素を基準とする複数の画素を選定してその特徴量
を抽出する特徴量抽出手段と、データ処理の種類及び特
徴量から注目画素に対するクラスを決定するクラス決定
手段と、クラスに対応する予測データを発生する予測デ
ータ発生手段と、予測データから第2の画像データの注
目画素を発生する画素データ発生手段とを設けるように
した。
【0009】所定の画像単位毎に異なるデータ処理の種
類に応じてクラスを決定することにより、データ処理の
種類にかかわらずクラスを決定する場合に比して、時間
方向の歪みやフリッカのない第2の画像データを生成す
ることができる。
【0010】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
【0011】(1)クラス分類適応処理の原理 ここで図1は、クラス分類適応処理を実現するアップコ
ンバータ51の回路構成を示す。アップコンバータ51
は、外部から供給される例えば8ビットのパルス符号変
調(PCM:Pulse Code Modulation )データでなるS
D画像データS51をクラス分類部52及び予測演算部
53に入力する。クラス分類部52は、例えば図2に示
すように、SD画像データS51のうち注目画素及び当
該注目画素を中心とした複数の周辺画素でなる合計7画
素(タップ)をクラス分類用の画素(以下、これをクラ
スタップと呼ぶ)として設定し、それらの信号レベル分
布に基づいてクラスコードS52を生成する。因みに、
図中実線は第1フィールドを示し、点線は第2フィール
ドを示す。
【0012】このクラス分類部52によってクラスコー
ドS52を生成する方法としては、PCMデータを直接
使用する(すなわちPCMデータをそのままクラスデー
タS52とする)方法や、ADRC(Adaptive Dynamic
Range Coding )等のデータ圧縮方法を用いてクラス数
を削減するような方法が考えられる。このうちPCMデ
ータをそのままクラスコードS52とする方法では、ク
ラスタップとして8ビットのPCMデータを7タップ用
いることから、クラス数が256という膨大な数のクラス
数に分類されることになり、実用上問題がある。
【0013】そこで実際には、クラス分類部52は、A
DRCのようなデータ圧縮処理(すなわち再量子化処
理)を施すことによりクラス数を削減するようになされ
ている。このADRCによる分類法は、注目画素を中心
とする近傍領域内の数タップからADRCコードを、次
【0014】
【数1】
【0015】によって求め、当該ADRCコードに基づ
いてクラスコードS52を生成する手法を用いている。
ここで、ci はADRCコード、xi は各クラスタップ
の入力画素値、MINは領域内にある各クラスタップの
入力画素値のうちの最小画素値、DRは領域内のダイナ
ミックレンジ(最大画素値と最小画素値との差分)、k
は再量子化ビット数である。
【0016】すなわちADRCによる分類法は、領域内
のダイナミックレンジから再量子化ビット数に応じた量
子化ステップ幅を算出し、入力画素値から最小画素値を
減算した画素値を量子化ステップ幅に応じて再量子化す
るものである。例えば領域内の7タップにおいて各クラ
スタップを1ビットに再量子化する1ビットADRCを
行う場合では、領域内のダイナミックレンジに基づいて
7タップの各入力画素値を適応的に1ビット量子化し、
その結果、7タップの入力画素値を7ビットのデータに
削減することができるので、全体としてクラス数を12
8クラスにまで削減することができる。
【0017】図1に戻って、予測係数ROM(Read Onl
y Memory)54は、後述する学習回路60によって予め
生成された各クラス毎に対応する予測係数データS53
を格納しており、クラス分類部52から供給されるクラ
スコードS52に応じた予測係数データS53を読み出
し、これを予測演算部53に送出する。予測演算部53
は、例えば図3に示すように、外部から入力されるSD
画像データS51のうち、注目画素及び当該注目画素を
中心とした複数の周辺画素でなる合計13タップを予測
演算用の画素(以下、これを予測タップと呼ぶ)として
選定し、当該予測タップの各画素値と予測係数データS
53とを用いて、線形一次結合でなる次式
【0018】
【数2】
【0019】によって表される積和演算を行うことによ
り、予測タップには存在しないHD画素の集まりである
HD画像データS54を生成し、これを外部に出力す
る。ここで、x′は各HD画素値、xi は各予測タップ
の画素値、wi は予測係数、nは予測タップ数であり、
この場合nは13である。
【0020】ところで図4は、予測係数ROM54に格
納されている予測係数データを生成する学習回路60の
回路構成を示し、当該学習回路60は、予測係数データ
を予め生成して、これを予測係数ROM54に格納する
ようになされている。学習回路60は、いわゆる教師信
号としてのHD画像データS60を垂直間引きフィルタ
61及び予測係数算出回路62に入力する。学習回路6
0は、HD画像データS60を垂直間引きフィルタ61
及び水平間引きフィルタ62によって間引くことによ
り、生徒信号としてのSD画像データS61を生成し、
これをクラス分類部64及び予測係数算出回路62に入
力するようになされている。
【0021】クラス分類部64は、図1に示すアップコ
ンバータのクラス分類部52と同様の構成でなり、SD
画像データS61からクラスタップを選定し、その信号
レベル分布に基づいてクラスコードS62を生成した
後、これを予測係数算出回路62に送出する。予測係数
算出回路62は、HD画像データS60及びSD画像デ
ータS61を基に、クラスコードS62が示すクラスに
応じた予測係数をクラス毎に算出し、その結果得た予測
係数データS63を予測係数ROM54に格納する。
【0022】この場合、予測係数算出回路62は、上述
の(2)式における予測係数wを最小自乗法によって求
めるようになされている。具体的には予測係数算出回路
62は、XをSD画素値、Wを予測係数、YをHD画素
値として、いわゆる観測方程式と呼ばれる次式
【0023】
【数3】
【0024】を生成するように各データを収集する。こ
こでmは予測するHD画素の画素数を示す学習データ
数、nは予測タップ数である。
【0025】次に予測係数算出回路62は、この(3)
式を基に、次式
【0026】
【数4】
【0027】に示す残差方程式を立てる。従って各予測
係数wi は、この(4)式から、次式
【0028】
【数5】
【0029】が最小のときに最適な値となることがわか
る。すなわち次式
【0030】
【数6】
【0031】を満たすように予測係数wi が算出され
る。
【0032】そこで予測係数算出回路62は、このn個
ある(6)式を満たすようなw1 、w2 、……、wn
算出すればよいことになり、上述の(4)式から、次式
【0033】
【数7】
【0034】を得、これら(6)及び(7)式から、次
【0035】
【数8】
【0036】を求める。そして予測係数算出回路62
は、上述の(4)及び(8)式から、次式
【0037】
【数9】
【0038】によって表される正規方程式を生成する。
このようにして予測係数算出回路62は、予測タップ数
nと同一次数の連立方程式でなる正規方程式を生成し、
掃き出し法(Gauss Jordanの消去法)を用いてこの正規
方程式を解くことにより、各予測係数wi を算出する。
【0039】以下、学習回路60による予測係数生成手
順について図5に示すフローチャートを用いて説明す
る。ステップSP61から入ったステップSP62にお
いて、学習回路60は、教師信号としてのHD画像デー
タS60から生徒信号としてのSD画像データS61を
生成することにより、予測係数を生成するのに必要な学
習データを生成する。ステップSP63において、学習
回路60は、予測係数を生成するのに必要十分な学習デ
ータが得られたか否か判定し、その結果、未だ必要十分
な学習データが得られていないと判断された場合にはス
テップSP63において否定結果を得ることによりステ
ップSP64に移行する。
【0040】ステップSP64において、学習回路60
は、SD画像データS61からクラスタップを選定し、
その信号レベル分布に基づいてクラス分類を行う。ステ
ップSP65において、学習回路60は、各クラス毎に
上述の(9)式でなる正規方程式を生成し、ステップS
P62に戻って同様の処理手順を繰り返すことにより、
予測係数を生成するのに必要十分な正規方程式を生成す
る。
【0041】これに対してステップSP63において肯
定結果が得られると、このことは必要十分な学習データ
が得られたことを表しており、このとき学習回路60は
ステップSP66に移って、上述の(9)式でなる正規
方程式を掃き出し法によって解くことにより、予測係数
1 、w2 、……、wn を各クラス毎に生成する。そし
てステップSP67において、学習回路60は、生成し
た各クラス毎の予測係数w1 、w2 、……、wn を予測
係数ROM54に格納し、ステップSP68に移って処
理を終了する。
【0042】(2)第1の実施の形態 図6において、100は全体として図1〜図5について
上述したクラス分類適応処理の原理を用いた第1の実施
の形態のアップコンバータの構成を示す。アップコンバ
ータ100は、外部からMPEG2方式を用いて圧縮符
号化された符号化画像データS100が供給されると、
これをデコーダ101に入力する。デコード101は、
この符号化画像データS100を伸長復号化することに
より画像データS101を復元し、これを領域切り出し
部102及び103に送出する。その際、デコーダ10
1は、フレーム毎に異なるデコード情報、例えば図7
(A)に示すように、現在のフレームとその周辺のフレ
ームにおけるピクチャタイプの変化情報を示すピクチャ
タイプパターンデータS102を生成し、これを範囲切
り出し部104に送出する。
【0043】範囲切り出し部104は、供給されたピク
チャタイプパターンデータS102の中から参照範囲、
例えば現在のフレームとその前後3フレームとを切り出
し、この切り出されたピクチャタイプパターンデータS
103を判定部105に送出する。判定部105は、図
7(B)に示すように、この切り出されたピクチャタイ
プパターンデータS103をそのパターン列に応じた分
類コードS104に変換し、これをクラスコード発生部
106に送出する。
【0044】ところで領域切り出し部102は、画像デ
ータS101からクラスタップを抽出し、それらの信号
レベル分布を示すクラスタップデータS110を特徴量
抽出部110に送出する。特徴量抽出部110は、クラ
スタップデータS110に対して1ビットADRCを施
すことによりADRCコードS111を生成し、これを
クラスコード発生部106に送出する。
【0045】クラスコード発生部106は、上述の分類
コードS104とADRCコードS111とを合成する
ことによりクラスコードS112を生成し、これをRO
M111に送出する。ROM111は、後述する学習回
路によって予め生成されたクラス毎に対応する予測係数
を格納しており、クラスコード発生部106から供給さ
れるクラスコードS112に応じた予測係数データS1
13を読み出し、これを予測演算部112に送出する。
【0046】一方、領域切り出し部103は、画像デー
タS101から予測タップを抽出し、それらの信号レベ
ル分布を示す予測タップデータS114を予測演算部1
12に送出する。予測演算部112は、予測係数データ
S113と予測タップデータS114との積和演算を施
すことにより高精細度の画像データS115を生成し、
これを外部に出力する。
【0047】続いて図8は、ROM111(図6)に格
納されている予測係数を生成する学習回路120の構成
を示す。学習回路120は、教師画像として高精細度の
画像データS120をエンコーダ121及び正規方程式
演算部122に送出する。エンコーダ121は、画像デ
ータS120をMPEG2方式を用いて圧縮符号化し、
その結果得られる符号化画像データS121をデコーダ
123に送出する。
【0048】デコーダ123は、アップコンバータ10
0のデコーダ101(図6)と同様に構成されており、
符号化画像データS121を伸長復号化することにより
生徒画像としての標準精細度の画像データS122を生
成し、これを領域切り出し部124及び125に送出す
る。その際、デコーダ123は、フレーム毎に異なるデ
コード情報、例えば現在のフレームとその周辺のフレー
ムにおけるピクチャタイプの変化情報を示すピクチャタ
イプパターンデータS123を生成し、これを範囲切り
出し部126に送出する。
【0049】範囲切り出し部126は、アップコンバー
タ100の範囲切り出し部104(図6)と同様に構成
されており、供給されたピクチャタイプパターンデータ
S123の中から参照範囲、例えば現在のフレームとそ
の前後3フレームとを切り出し、この切り出されたピク
チャタイプパターンデータS124を判定部127に送
出する。判定部127は、アップコンバータ100の判
定部105(図6)と同様に構成されており、この切り
出されたピクチャタイプパターンデータS124をその
パターン列に応じた分類コードS125に変換し、これ
をクラスコード発生部128に送出する。
【0050】ところで領域切り出し部124は、アップ
コンバータ100の領域切り出し部102(図6)と同
様に構成されており、画像データS122からクラスタ
ップを抽出し、それらの信号レベル分布を示すクラスタ
ップデータS130を特徴量抽出部130に送出する。
特徴量抽出部130は、アップコンバータ100の特徴
量抽出部110(図6)と同様に構成されており、クラ
スタップデータS130に対して1ビットADRCを施
すことによりADRCコードS131を生成し、これを
クラスコード発生部128に送出する。
【0051】クラスコード発生部128は、アップコン
バータ100のクラスコード発生部106(図6)と同
様に構成されており、上述の分類コードS125とAD
RCコードS131とを合成することによりクラスコー
ドS132を生成し、これを正規方程式演算部122に
送出する。
【0052】一方、領域切り出し部125は、アップコ
ンバータ100の領域切り出し部103(図6)と同様
に構成されており、画像データS122から予測タップ
を抽出し、それらの信号レベル分布を示す予測タップデ
ータS133を正規方程式演算部122に送出する。正
規方程式演算部122は、高精細度の画像データS12
0と予測タップデータS133とから、クラスコードS
132毎に正規方程式を生成し、この正規方程式データ
S134を予測係数決定部131に送出する。
【0053】予測係数決定部131は、正規方程式デー
タS134が必要な数だけ供給されると、最小自乗法を
用いて当該正規方程式を解くことにより予測係数を算出
し、その予測係数データS135をメモリ132に送出
して当該メモリ132に格納する。その後、このメモリ
132に格納されている予測係数は、図6に示すROM
111に書き込まれるようになされている。
【0054】以上の構成において、アップコンバータ1
00は、符号化画像データS100を伸長復号化して元
の画像データS101を復元すると共に、当該符号化画
像データS100からピクチャタイプの変化情報を示す
ピクチャタイプパターンデータS102を生成し、当該
ピクチャタイプパターンデータS102に応じたクラス
コードS112を発生してクラス分類適応処理を施すこ
とにより、高精細度の画像データS115を生成する。
【0055】このようにフレーム毎に変化するピクチャ
タイプに応じてクラス分類適応処理を施すことにより、
全フレームに対して全て同様のクラス分類適応処理を施
す場合に比して、画像の再現率すなわち精細度に応じた
クラス分類適応処理が行われ、予測演算された画像デー
タS115における各フレーム間の時間方向の歪みやフ
リッカが生じることが回避される。
【0056】以上の構成によれば、フレーム毎に異なる
符号化及び復号化処理が行われたことに応じてクラス分
類適応処理を施すことにより、全フレームに対して全て
同様のクラス分類適応処理を施す場合に比して、時間方
向の歪みやフリッカのない画像データS115を生成す
ることができ、かくして従来に比して一段と画質の改善
を行い得る。
【0057】(3)第2の実施の形態 図6との対応部分に同一符号を付して示す図9におい
て、140は全体として第2の実施の形態のアップコン
バータの構成を示し、領域切り出し部141及び14
2、判定部143並びにROM144の構成を除いて、
第1の実施の形態のアップコンバータ100と同様に構
成されている。
【0058】アップコンバータ140は、外部からMP
EG2方式を用いて圧縮符号化された符号化画像データ
S140が供給されると、これをデコーダ101に入力
する。デコード101は、この符号化画像データS14
0を伸長復号化することにより画像データS141を復
元し、これを領域切り出し部141及び142に送出す
る。その際、デコーダ101は、フレーム毎に異なるデ
コード情報、現在のフレームとその周辺のフレームにお
けるピクチャタイプの変化情報を示すピクチャタイプパ
ターンデータS142を生成し、これを範囲切り出し部
104に送出する。
【0059】範囲切り出し部104は、供給されたピク
チャタイプパターンデータS142の中から参照範囲、
例えば現在のフレームとその前後3フレームとを切り出
し、この切り出されたピクチャタイプパターンデータS
143を判定部143に送出する。判定部143は、こ
の切り出されたピクチャタイプパターンデータS143
をそのパターン列に応じた分類コードS144に変換
し、これをクラスコード発生部106並びに領域切り出
し部141及び142に送出する。
【0060】領域切り出し部141は、分類コードS1
44に応じて切り出す領域を切り換えながらクラスタッ
プを抽出するようになされている。例えば図10(A)
に示すように、領域切り出し部141は、分類コードS
144が0であってかつ現フレームがIピクチャの場合
には、現フレームより過去のフレームは参照せずに、未
来のフレームのみを参照することにより、I、B、B、
Pピクチャの範囲からクラスタップを抽出する。また図
10(B)に示すように、領域切り出し部141は、分
類コードS144が1であってかつ現フレームがPピク
チャの場合には、現フレームの過去及び未来のフレーム
を参照することにより、P、B、B、P、B、B、Pピ
クチャの範囲からクラスタップを抽出する。
【0061】このように領域切り出し部141は、現フ
レームと互いに参照関係にあるフレームを参照範囲とし
て、当該参照範囲からクラスタップを抽出する。従って
領域切り出し部141は、分類コードS144に応じて
画像データS141からクラスタップを抽出し、それら
の信号レベル分布を示すクラスタップデータS150を
特徴量抽出部110に送出する。特徴量抽出部110
は、クラスタップデータS150に対して1ビットAD
RCを施すことによりADRCコードS151を生成
し、これをクラスコード発生部106に送出する。
【0062】クラスコード発生部106は、上述の分類
コードS144とADRCコードS151とを合成する
ことによりクラスコードS152を生成し、これをRO
M144に送出する。ROM144は、後述する学習回
路によって予め生成されたクラス毎に対応する予測係数
を格納しており、クラスコード発生部106から供給さ
れるクラスコードS152に応じた予測係数データS1
53を読み出し、これを予測演算部112に送出する。
【0063】一方、領域切り出し部142は、領域切り
出し部141と同様に分類コードS144に応じて切り
出す領域を切り換えながら画像データS141から予測
タップを抽出し、それらの信号レベル分布を示す予測タ
ップデータS154を予測演算部112に送出する。予
測演算部112は、予測係数データS153と予測タッ
プデータS154との積和演算を施すことにより高精細
度の画像データS155を生成し、これを外部に出力す
る。
【0064】続いて図8との対応部分に同一符号を付し
て示す図11は、ROM144(図9)に格納されてい
る予測係数を生成する第2の実施の形態の学習回路15
0の構成を示し、領域切り出し部151及び152並び
に判定部153の構成を除いて、第1の実施の形態の学
習回路120と同様に構成されている。学習回路150
は、教師画像として高精細度の画像データS150をエ
ンコーダ121及び正規方程式演算部122に送出す
る。エンコーダ121は、画像データS150をMPE
G2方式を用いて圧縮符号化し、その結果得られる符号
化画像データS151をデコーダ123に送出する。
【0065】デコーダ123は、アップコンバータ14
0のデコーダ101(図9)と同様に構成されており、
符号化画像データS151を伸長復号化することにより
生徒画像としての標準精細度の画像データS152を生
成し、これを領域切り出し部151及び152に送出す
る。その際、デコーダ123は、フレーム毎に異なるデ
コード情報、例えば現在のフレームとその周辺のフレー
ムにおけるピクチャタイプの変化情報を示すピクチャタ
イプパターンデータS153を生成し、これを範囲切り
出し部126に送出する。
【0066】範囲切り出し部126は、アップコンバー
タ100の範囲切り出し部104(図9)と同様に構成
されており、供給されたピクチャタイプパターンデータ
S153の中から参照範囲、例えば現在のフレームとそ
の前後3フレームとを切り出し、この切り出されたピク
チャタイプパターンデータS154を判定部153に送
出する。判定部153は、アップコンバータ140の判
定部143(図9)と同様に構成されており、この切り
出されたピクチャタイプパターンデータS154をその
パターン列に応じた分類コードS155に変換し、これ
をクラスコード発生部128に送出する。
【0067】ところで領域切り出し部151は、アップ
コンバータ140の領域切り出し部141(図9)と同
様に構成されており、分類コードS155に応じて切り
出す領域を切り換えながら画像データS152からクラ
スタップを抽出し、それらの信号レベル分布を示すクラ
スタップデータS160を特徴量抽出部130に送出す
る。特徴量抽出部130は、アップコンバータ140の
特徴量抽出部110(図9)と同様に構成されており、
クラスタップデータS160に対して1ビットADRC
を施すことによりADRCコードS161を生成し、こ
れをクラスコード発生部128に送出する。
【0068】クラスコード発生部128は、アップコン
バータ140のクラスコード発生部106(図9)と同
様に構成されており、上述の分類コードS155とAD
RCコードS161とを合成することによりクラスコー
ドS162を生成し、これを正規方程式演算部122に
送出する。
【0069】一方、領域切り出し部152は、アップコ
ンバータ140の領域切り出し部142(図9)と同様
に構成されており、分類コードS155に応じて切り出
す領域を切り換えながら画像データS152から予測タ
ップを抽出し、それらの信号レベル分布を示す予測タッ
プデータS163を正規方程式演算部122に送出す
る。正規方程式演算部122は、高精細度の画像データ
S150と予測タップデータS163とから、クラスコ
ードS162毎に正規方程式を生成し、この正規方程式
データS164を予測係数決定部131に送出する。
【0070】予測係数決定部131は、正規方程式デー
タS164が必要な数だけ供給されると、最小自乗法を
用いて当該正規方程式を解くことにより予測係数を算出
し、その予測係数データS165をメモリ132に送出
して当該メモリ132に格納する。その後、このメモリ
132に格納されている予測係数は、図9に示すROM
144に書き込まれるようになされている。
【0071】以上の構成において、アップコンバータ1
40は、符号化画像データS140を伸長復号化して元
の画像データS141を復元すると共に、当該符号化画
像データS140からピクチャタイプの変化情報を示す
ピクチャタイプパターンデータS142を生成して、当
該ピクチャタイプパターンデータS142に応じて切り
出す領域を切り換えながらクラスタップ及び予測タップ
を抽出した上で、ピクチャタイプパターンデータS14
2に応じたクラスコードS152を発生してクラス分類
適応処理を施すことにより、高精細度の画像データS1
55を生成する。
【0072】このようにフレーム毎に変化するピクチャ
タイプに応じたクラスコードS152を発生してクラス
分類適応処理を施すことにより、全フレームに対して同
様のクラス分類適応処理を施す場合に比して、画像の再
現率すなわち精細度に応じたクラス分類適応処理が行わ
れ、予測演算された画像データS155に各フレーム間
の時間方向の歪みやフリッカが生じることが回避され
る。また、フレーム毎に変化するピクチャタイプに応じ
てクラスタップ及び予測タップを切り出す領域を切り換
えることにより、第1の実施の形態によるアップコンバ
ータ100に比してさらに精細度の向上した画像データ
S155が生成される。
【0073】以上の構成によれば、フレーム毎に異なる
符号化及び復号化処理が行われたことに応じてクラス分
類適応処理を施すことにより、全フレームに対して同様
のクラス分類適応処理を施す場合に比して、時間方向の
歪みやフリッカのない画像データS155を生成するこ
とができ、かくして従来に比して一段と画質を向上し得
る。
【0074】(4)他の実施の形態 なお上述の実施の形態においては、フレーム毎に異なる
ピクチャタイプの変化情報を示すピクチャタイプパター
ンデータS102及びS142に応じてクラス分類適応
処理を施して、各フレーム間における歪みを低減した場
合について述べたが、本発明はこれに限らず、例えば符
号化画像データS100及びS140のGOP(Group o
f Pictures)層に存在するCG(Closed GOP)情報(GO
P内の画像が他のGOPから独立再生可能なことを示す
フラグ)を検出して、当該CG情報を参照しながらクラ
ス分類適応処理を施すことにより、各GOP間における
歪みを低減させたり、又は、ピクチャ層に存在するID
C(Intra DC Precision)情報(DC係数の精度を示すフ
ラグ)を検出して、当該IDC情報を参照しながらクラ
ス分類適応処理を施すことにより、レベル方向の歪みを
低減させることも可能である。
【0075】また上述の第2の実施の形態においては、
判定部143から供給される分類コードS144に応じ
て切り出す領域を切り換えながらクラスタップ及び予測
タップを抽出した場合について述べたが、本発明はこれ
に限らず、ピクチャタイプの変化情報を示すピクチャタ
イプパターンデータS142に応じて切り出す領域を切
り換えながらクラスタップ及び予測タップを抽出しても
良い。
【0076】また上述の実施の形態においては、フレー
ム毎に異なるピクチャタイプの変化情報を示すピクチャ
タイプパターンデータS102及びS142に応じたク
ラス分類適応処理を施す場合について述べたが、本発明
はこれに限らず、例えばGOP内における各ピクチャタ
イプの配列情報に応じてクラス分類適応処理を施しても
良い。
【0077】また上述の実施の形態においては、フレー
ム毎に異なるピクチャタイプの変化情報を示すピクチャ
タイプパターンデータS102及びS142に応じたク
ラス分類適応処理を施す場合について述べたが、本発明
はこれに限らず、例えばフィールド毎に変化する情報に
応じてクラス分類適応処理を施しても良く、要は、所定
の画像単位毎に異なるデータ処理の種類に応じてクラス
分類適応処理を施すようにすれば良い。
【0078】また上述の実施の形態においては、データ
処理種類抽出手段として、デコーダ101、領域切り出
し部104、判定部105又は143を適用した場合に
ついて述べたが、本発明はこれに限らず、要は、データ
処理の種類を所定の画像単位毎に抽出するデータ処理種
類抽出手段であれば良い。
【0079】また上述の実施の形態においては、特徴量
抽出手段として、領域切り出し部102又は141、特
徴量抽出部110を適用した場合について述べたが、本
発明はこれに限らず、要は、第1の画像データから第2
の画像データの注目画素を基準とする複数の画素を選定
してその特徴量を抽出する特徴量抽出手段であれば良
い。
【0080】また上述の実施の形態においては、クラス
決定手段として、クラスコード発生部106を適用した
場合について述べたが、本発明はこれに限らず、要は、
データ処理の種類及び特徴量から注目画素に対するクラ
スを決定するクラス決定手段であれば良い。
【0081】また上述の実施の形態においては、予測デ
ータ発生手段として、ROM111又は144を適用し
た場合について述べたが、本発明はこれに限らず、要
は、クラスに対応する予測データを発生する予測データ
発生手段であれば良い。
【0082】さらに上述の実施の形態においては、画素
データ発生手段として、領域切り出し部103又は14
2、予測演算部112を適用した場合について述べた
が、本発明はこれに限らず、要は、予測データから第2
の画像データの注目画素を発生する画素データ発生手段
であれば良い。
【0083】
【発明の効果】上述のように本発明によれば、所定の画
像単位毎に異なるデータ処理の種類に応じてクラスを決
定することにより、データ処理の種類にかかわらずクラ
スを決定する場合に比して、生成される第2の画像デー
タに時間方向の歪みやフリッカが生じることを回避する
ことができ、かくして従来に比して一段と画質を向上し
得る。
【図面の簡単な説明】
【図1】アップコンバータの構成を示すブロック図であ
る。
【図2】クラスタップ配置例を示す略線図である。
【図3】予測タップ配置例を示す略線図である。
【図4】学習回路の構成を示すブロック図である。
【図5】予測係数生成手順を示すフローチャートであ
る。
【図6】本発明によるアップコンバータの第1の実施の
形態を示すブロック図である。
【図7】ピクチャタイプパターンの判定方法の説明に供
する略線図である。
【図8】学習回路の構成を示すブロック図である。
【図9】本発明によるアップコンバータの第2の実施の
形態を示すブロック図である。
【図10】分類コードに応じた領域の切り出しの説明に
供する略線図である。
【図11】学習回路の構成を示すブロック図である。
【符号の説明】
100、140……アップコンバータ、101、123
……デコーダ、102、103、124、125、14
1、142、151、152……領域切り出し部、10
4、126、153……範囲切り出し部、105、12
7、143……判定部、106、128……クラスコー
ド発生部、110、130……特徴量抽出部、111、
144……ROM、112……予測演算部、120、1
50……学習回路。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 浜松 俊彦 東京都品川区北品川6丁目7番35号ソニー 株式会社内 (72)発明者 服部 正明 東京都品川区北品川6丁目7番35号ソニー 株式会社内 Fターム(参考) 5B057 CA08 CA12 CA16 CB08 CB12 CB16 CC02 CE09 CG07 CH07 CH09 DB02 DB09 DC05 DC40 5C059 KK01 KK41 MA00 MC38 PP04 SS01 SS02 SS11 SS12 TA17 TA29 TA47 TA48 TA57 TB04 TB05 TB10 TC24 TC31 TD01 TD02 TD05 TD13 UA05 UA31

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】所定の画像単位毎に異なる種類のデータ処
    理が施された第1の画像データを第2の画像データに変
    換する画像データ変換装置において、 上記データ処理の種類を上記所定の画像単位毎に抽出す
    るデータ処理種類抽出手段と、 上記第1の画像データから上記第2の画像データの注目
    画素を基準とする複数の画素を選定してその特徴量を抽
    出する特徴量抽出手段と、 上記データ処理の種類及び上記特徴量から上記注目画素
    に対するクラスを決定するクラス決定手段と、 上記クラスに対応する予測データを発生する予測データ
    発生手段と、 上記予測データから上記第2の画像データの上記注目画
    素を発生する画素データ発生手段とを具えることを特徴
    とする画像データ変換装置。
  2. 【請求項2】上記第1の画像データは、 フレーム毎に異なる種類のデータ処理が施されたことを
    特徴とする請求項1に記載の画像データ変換装置。
  3. 【請求項3】上記第1の画像データは、 フィールド毎に異なる種類のデータ処理が施されたこと
    を特徴とする請求項1に記載の画像データ変換装置。
  4. 【請求項4】上記第1の画像データは、 圧縮符号化処理が施された画像データでなり、 上記データ処理種類抽出手段は、 上記圧縮符号化処理が施された上記第1の画像データを
    伸長復号化する際に生じるデコード情報を基に上記デー
    タ処理の種類を抽出することを特徴とする請求項1に記
    載の画像データ変換装置。
  5. 【請求項5】上記データ処理種類抽出手段は、 上記第1の画像データからフレーム毎に変化するピクチ
    ャタイプ情報でなる上記データ処理の種類を抽出するこ
    とを特徴とする請求項4に記載の画像データ変換装置。
  6. 【請求項6】上記特徴量抽出手段は、 上記所定の画像単位毎に施された上記データ処理の種類
    に応じて、上記第1の画像データから切り出す領域を切
    り換えながら上記複数の画素を選定することを特徴とす
    る請求項1に記載の画像データ変換装置。
  7. 【請求項7】上記予測データは、 上記第1の画像データから抽出された上記複数の画素に
    対応して存在する予測係数でなり、 上記画素データ発生手段は、 上記クラスに応じて発生された上記各予測係数と上記第
    1の画像データから抽出された上記複数の画素とから上
    記第2の画像データの上記注目画素を発生することを特
    徴とする請求項1に記載の画像データ変換装置。
  8. 【請求項8】上記予測データは、 上記第2の画像データに対応する学習データを用いて予
    め生成されていることを特徴とする請求項1に記載の画
    像データ変換装置。
  9. 【請求項9】所定の画像単位毎に異なる種類のデータ処
    理が施された第1の画像データを第2の画像データに変
    換する画像データ変換方法において、 上記データ処理の種類を上記所定の画像単位毎に抽出
    し、 上記第1の画像データから上記第2の画像データの注目
    画素を基準とする複数の画素を選定してその特徴量を抽
    出し、 上記データ処理の種類及び上記特徴量から上記注目画素
    に対するクラスを決定し、 上記クラスに対応する予測データを発生し、 上記予測データから上記第2の画像データの上記注目画
    素を発生することを特徴とする画像データ変換方法。
  10. 【請求項10】上記第1の画像データは、 フレーム毎に異なる種類のデータ処理が施されたことを
    特徴とする請求項9に記載の画像データ変換方法。
  11. 【請求項11】上記第1の画像データは、 フィールド毎に異なる種類のデータ処理が施されたこと
    を特徴とする請求項9に記載の画像データ変換方法。
  12. 【請求項12】上記第1の画像データは、 圧縮符号化処理が施された画像データでなり、 上記圧縮符号化処理が施された上記第1の画像データを
    伸長復号化する際に生じるデコード情報を基に上記デー
    タ処理の種類を抽出することを特徴とする請求項9に記
    載の画像データ変換方法。
  13. 【請求項13】上記第1の画像データからフレーム毎に
    変化するピクチャタイプ情報でなる上記データ処理の種
    類を抽出することを特徴とする請求項12に記載の画像
    データ変換方法。
  14. 【請求項14】上記所定の画像単位毎に施された上記デ
    ータ処理の種類に応じて、上記第1の画像データから切
    り出す領域を切り換えながら上記複数の画素を選定する
    ことを特徴とする請求項9に記載の画像データ変換方
    法。
  15. 【請求項15】上記予測データは、 上記第1の画像データから抽出された上記複数の画素に
    対応して存在する予測係数でなり、 上記クラスに応じて発生された上記各予測係数と上記第
    1の画像データから抽出された上記複数の画素とから上
    記第2の画像データの上記注目画素を発生することを特
    徴とする請求項9に記載の画像データ変換方法。
  16. 【請求項16】上記予測データは、 上記第2の画像データに対応する学習データを用いて予
    め生成されていることを特徴とする請求項9に記載の画
    像データ変換方法。
JP27328898A 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法 Expired - Fee Related JP4168299B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27328898A JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法
JP2000090728A JP4171958B2 (ja) 1998-09-28 2000-03-27 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27328898A JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000090728A Division JP4171958B2 (ja) 1998-09-28 2000-03-27 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2000102006A true JP2000102006A (ja) 2000-04-07
JP4168299B2 JP4168299B2 (ja) 2008-10-22

Family

ID=17525771

Family Applications (2)

Application Number Title Priority Date Filing Date
JP27328898A Expired - Fee Related JP4168299B2 (ja) 1998-09-28 1998-09-28 画像データ変換装置及び画像データ変換方法
JP2000090728A Expired - Fee Related JP4171958B2 (ja) 1998-09-28 2000-03-27 画像処理装置及び画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2000090728A Expired - Fee Related JP4171958B2 (ja) 1998-09-28 2000-03-27 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (2) JP4168299B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530371A3 (en) * 2003-11-05 2006-11-15 Sony Corporation Standards conversion apparatus for video images and method for converting the standard of a video signal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519353B (zh) * 2013-09-29 2019-02-05 联想(北京)有限公司 图像处理方法和电子设备
CN111683254B (zh) * 2020-06-24 2022-03-25 湖南国科微电子股份有限公司 一种图像压缩方法、装置及电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530371A3 (en) * 2003-11-05 2006-11-15 Sony Corporation Standards conversion apparatus for video images and method for converting the standard of a video signal
US7440029B2 (en) 2003-11-05 2008-10-21 Sony Corporation Apparatus and method for processing informational signal
EP1942672A3 (en) * 2003-11-05 2009-10-14 Sony Corporation Standards conversion apparatus for video images and method for converting the standard of a video signal

Also Published As

Publication number Publication date
JP2000312364A (ja) 2000-11-07
JP4168299B2 (ja) 2008-10-22
JP4171958B2 (ja) 2008-10-29

Similar Documents

Publication Publication Date Title
US5812197A (en) System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
US6078694A (en) Image signal padding method, image signal coding apparatus, image signal decoding apparatus
JPH09182084A (ja) 動画像符号化装置および動画像復号化装置
JP2009530958A (ja) 画像の符号化方法及び装置、復号化方法及び装置
EP1655968A2 (en) Method and apparatus for encoding and decoding image data
JP2003018599A (ja) 画像符号化装置および方法
JP2004173011A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP2001519988A (ja) ビデオデータから符号化パラメータを抽出するシステム
WO2009157047A1 (ja) 画像圧縮装置及び画像復元装置
JP3331194B2 (ja) 3次元カラー超音波映像の符号化及び復号化システム
KR100504415B1 (ko) 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체
JP2005210502A (ja) 画像再圧縮装置および画像再圧縮方法
JP2000102006A (ja) 画像データ変換装置及び画像データ変換方法
US6975770B2 (en) Image compression and decompression with predictor selection based on embedding data
JP2005323312A (ja) 量子化制御装置、その方法及びそのプログラム、並びに、適応量子化符号化装置
JPH0671333B2 (ja) 画像信号の符号化方法
US6064696A (en) Encoding apparatus
JPS63284974A (ja) 画像圧縮方式
JP4143877B2 (ja) 画像データ変換装置及び画像データ変換方法
EP1400928A1 (en) Data format transcoding apparatus and associated method
KR20060127668A (ko) 영상 압축 방법
JP3598159B2 (ja) 情報信号伝送装置および情報信号伝送方法
JP2001238220A (ja) 動画像符号化装置および動画像符号化方法
JP4011580B2 (ja) 画像データ伝送システム
JP4639582B2 (ja) 符号化装置および符号化方法、復号装置および復号方法、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080418

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130815

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees