JP2001285870A - ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 - Google Patents
ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法Info
- Publication number
- JP2001285870A JP2001285870A JP2000101544A JP2000101544A JP2001285870A JP 2001285870 A JP2001285870 A JP 2001285870A JP 2000101544 A JP2000101544 A JP 2000101544A JP 2000101544 A JP2000101544 A JP 2000101544A JP 2001285870 A JP2001285870 A JP 2001285870A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- prediction
- information
- additional information
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 符号化復号化の処理を経たディジタル情報信
号に対してクラス分類適応予測処理を適用する時に、予
測精度を向上する。 【解決手段】復号器１からは、復号化された画像信号
と、復号化用の付加情報とが出力される。付加情報は、
信号種類情報、画像フォーマット情報、画質情報、動き
ベクトル等である。付加情報に基づいたクラスが生成さ
れる。領域切出し部４で抽出されたクラスタップの画素
データから特徴量が抽出される。付加情報クラスと特徴
量と伝送／間引き画素の位置を指示するパターンデータ
に基づいて、クラスコードが生成される。予測係数は、
学習によって予め決定され、予測係数ＲＯＭ８に記憶さ
れている。予測タップデータ生成部５で抽出された予測
タップの画素データと、ＲＯＭ８から供給される予測係
数セットとによる予測演算を行うことによって、復号器
１の出力画像信号に対して、予測画像信号が生成され
る。付加情報に基づいて注目されるクラスタップおよび
予測タップの位置および大きさが変更され、予測精度が
向上される。
号に対してクラス分類適応予測処理を適用する時に、予
測精度を向上する。 【解決手段】復号器１からは、復号化された画像信号
と、復号化用の付加情報とが出力される。付加情報は、
信号種類情報、画像フォーマット情報、画質情報、動き
ベクトル等である。付加情報に基づいたクラスが生成さ
れる。領域切出し部４で抽出されたクラスタップの画素
データから特徴量が抽出される。付加情報クラスと特徴
量と伝送／間引き画素の位置を指示するパターンデータ
に基づいて、クラスコードが生成される。予測係数は、
学習によって予め決定され、予測係数ＲＯＭ８に記憶さ
れている。予測タップデータ生成部５で抽出された予測
タップの画素データと、ＲＯＭ８から供給される予測係
数セットとによる予測演算を行うことによって、復号器
１の出力画像信号に対して、予測画像信号が生成され
る。付加情報に基づいて注目されるクラスタップおよび
予測タップの位置および大きさが変更され、予測精度が
向上される。
Description
【０００１】
【発明の属する技術分野】この発明は、符号化されたデ
ィジタル画像信号、符号化されたディジタルオーディオ
信号等に対してクラス分類適応処理を施すときに、予測
精度を向上することができるディジタル信号処理装置お
よび方法、並びにディジタル画像信号処理装置および方
法に関する。
ィジタル画像信号、符号化されたディジタルオーディオ
信号等に対してクラス分類適応処理を施すときに、予測
精度を向上することができるディジタル信号処理装置お
よび方法、並びにディジタル画像信号処理装置および方
法に関する。
【０００２】
【従来の技術】画像信号の圧縮符号化方式のひとつとし
てＭＰＥＧ２（Moving Picture Expert Group phase
２) による符号化方式が用いられている。ＭＰＥＧ２に
よる送受信または記録再生システムでは、画像信号に対
してＭＰＥＧ２による圧縮符号化処理を施して送信また
は記録し、また、受信または再生した画像信号に対し
て、ＭＰＥＧ２による圧縮符号化処理に対応する伸長復
号化を施すことにより、元の画像信号を復元する。
てＭＰＥＧ２（Moving Picture Expert Group phase
２) による符号化方式が用いられている。ＭＰＥＧ２に
よる送受信または記録再生システムでは、画像信号に対
してＭＰＥＧ２による圧縮符号化処理を施して送信また
は記録し、また、受信または再生した画像信号に対し
て、ＭＰＥＧ２による圧縮符号化処理に対応する伸長復
号化を施すことにより、元の画像信号を復元する。
【０００３】ＭＰＥＧ２による符号化処理では、符号化
処理に汎用性を持たせ、また、符号化による圧縮の効率
を向上させるために、符号化された画像データと共に、
復号化処理用の付加情報を伝送している。付加情報は、
ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号
化装置に対して伝送される。
処理に汎用性を持たせ、また、符号化による圧縮の効率
を向上させるために、符号化された画像データと共に、
復号化処理用の付加情報を伝送している。付加情報は、
ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号
化装置に対して伝送される。
【０００４】ＭＰＥＧに限らず、復号化によって得られ
る画像信号の特性は、適用される符号化復号化方式によ
って大きく異なる。例えば輝度信号、色差信号、三原色
信号などの信号種類に応じてその物理的な特性（周波数
特性等）が大きく相違する。この相違が符号化復号化処
理を経た復号信号にも残ることになる。また、一般的に
画像の符号化復号化処理では、時空間の間引き処理を導
入することによって、符号化の対象となる画素数を低減
することが多い。間引き方法によって、画像の時空間解
像度の特性が大きく相違する。さらに、時空間解像度特
性の相違が小さい場合においても、符号化における圧縮
率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量
などの画質特性が大きく異なる。
る画像信号の特性は、適用される符号化復号化方式によ
って大きく異なる。例えば輝度信号、色差信号、三原色
信号などの信号種類に応じてその物理的な特性（周波数
特性等）が大きく相違する。この相違が符号化復号化処
理を経た復号信号にも残ることになる。また、一般的に
画像の符号化復号化処理では、時空間の間引き処理を導
入することによって、符号化の対象となる画素数を低減
することが多い。間引き方法によって、画像の時空間解
像度の特性が大きく相違する。さらに、時空間解像度特
性の相違が小さい場合においても、符号化における圧縮
率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量
などの画質特性が大きく異なる。
【０００５】本願出願人は、先に、クラス分類適応処理
を提案している。これは、予め（オフラインで）学習処
理において、実際の画像信号（教師信号および生徒信
号）を使用して予測係数をクラス毎に求め、蓄積してお
き、実際の画像変換処理では、入力画像信号からクラス
を求め、クラスに対応する予測係数と入力画像信号の複
数の画素値との予測演算によって、出力画素値を求める
ものである。クラスは、作成する画素の空間的、時間的
近傍の画素値の分布、波形に対応して決定される。実際
の画像信号を使用して予測係数を演算し、また、クラス
毎に予測係数を演算することによって、種々の信号処理
が可能なものである。例えば時空間の解像度を入力信号
以上とする解像度創造の処理、サブサンプリングによっ
て間引かれた画素の補間、ノイズの低減、エラーの修整
等の処理が可能である。
を提案している。これは、予め（オフラインで）学習処
理において、実際の画像信号（教師信号および生徒信
号）を使用して予測係数をクラス毎に求め、蓄積してお
き、実際の画像変換処理では、入力画像信号からクラス
を求め、クラスに対応する予測係数と入力画像信号の複
数の画素値との予測演算によって、出力画素値を求める
ものである。クラスは、作成する画素の空間的、時間的
近傍の画素値の分布、波形に対応して決定される。実際
の画像信号を使用して予測係数を演算し、また、クラス
毎に予測係数を演算することによって、種々の信号処理
が可能なものである。例えば時空間の解像度を入力信号
以上とする解像度創造の処理、サブサンプリングによっ
て間引かれた画素の補間、ノイズの低減、エラーの修整
等の処理が可能である。
【０００６】
【発明が解決しようとする課題】クラス分類適応処理に
おける予測精度を向上するには、クラスを決定するのに
使用する複数の画素の時間および／または空間における
相関が高いことが必要である。また、予測演算に使用す
る複数の画素の時間および／または空間における相関が
高いことも、予測精度の向上に効果的である。
おける予測精度を向上するには、クラスを決定するのに
使用する複数の画素の時間および／または空間における
相関が高いことが必要である。また、予測演算に使用す
る複数の画素の時間および／または空間における相関が
高いことも、予測精度の向上に効果的である。
【０００７】例えば、クラス分類適応処理において、対
象画像信号の動き情報をクラスに導入することによって
予測性能を向上することができる。その動き情報は、動
きベクトルのような詳細な動き情報の表現形式が効果的
である。しかしながら、符号化復号化処理を経た画像信
号から動きベクトルを検出する場合には、復号画像信号
の歪みのために動きベクトルの検出精度が低下し、ま
た、動きベクトル検出のために、多量の演算処理が必要
となるという問題があった。
象画像信号の動き情報をクラスに導入することによって
予測性能を向上することができる。その動き情報は、動
きベクトルのような詳細な動き情報の表現形式が効果的
である。しかしながら、符号化復号化処理を経た画像信
号から動きベクトルを検出する場合には、復号画像信号
の歪みのために動きベクトルの検出精度が低下し、ま
た、動きベクトル検出のために、多量の演算処理が必要
となるという問題があった。
【０００８】従って、この発明の目的は、符号化復号化
の処理を経たディジタル情報信号に対して付加情報を基
づいて、クラス分類または予測演算に使用する複数のデ
ータの抽出範囲または位置を変更することよって、予測
精度を向上することが可能なディジタル信号処理装置お
よび方法、並びにディジタル画像信号処理装置および方
法を提供することにある。
の処理を経たディジタル情報信号に対して付加情報を基
づいて、クラス分類または予測演算に使用する複数のデ
ータの抽出範囲または位置を変更することよって、予測
精度を向上することが可能なディジタル信号処理装置お
よび方法、並びにディジタル画像信号処理装置および方
法を提供することにある。
【０００９】
【課題を解決するための手段】上述した課題を解決する
ために、請求項１の発明は、符号化されたディジタル情
報信号を復号化することによって生成される入力ディジ
タル情報信号に対して信号処理を施すようにしたディジ
タル信号処理装置において、入力ディジタル情報信号か
ら複数のサンプルからなるクラスタツプ領域を抽出する
第１の領域切出し手段と、第１の領域切出し手段からの
サンプルに基づいて特徴量を抽出する特徴量抽出手段
と、特徴量および復号化処理用の付加情報に基づいてク
ラス情報を生成するクラス情報生成手段と、予め決定さ
れた予測係数を記憶し、記憶した予測係数の内から、ク
ラス情報生成手段の出力に対応する予測係数を出力する
係数記憶手段と、入力ディジタル情報信号から複数のサ
ンプルからなる予測タツプ領域を抽出する第２の領域切
出し手段と、第２の領域切出し手段で抽出された予測タ
ツプ領域の複数のサンプルと予測係数とに基づいて、予
測演算を行ってサンプル値を生成する演算処理手段とを
有し、クラスタツプ領域および予測タツプ領域の少なく
とも一方を復号化処理用の付加情報に基づいて変更する
ことを特徴とするディジタル信号処理装置である。
ために、請求項１の発明は、符号化されたディジタル情
報信号を復号化することによって生成される入力ディジ
タル情報信号に対して信号処理を施すようにしたディジ
タル信号処理装置において、入力ディジタル情報信号か
ら複数のサンプルからなるクラスタツプ領域を抽出する
第１の領域切出し手段と、第１の領域切出し手段からの
サンプルに基づいて特徴量を抽出する特徴量抽出手段
と、特徴量および復号化処理用の付加情報に基づいてク
ラス情報を生成するクラス情報生成手段と、予め決定さ
れた予測係数を記憶し、記憶した予測係数の内から、ク
ラス情報生成手段の出力に対応する予測係数を出力する
係数記憶手段と、入力ディジタル情報信号から複数のサ
ンプルからなる予測タツプ領域を抽出する第２の領域切
出し手段と、第２の領域切出し手段で抽出された予測タ
ツプ領域の複数のサンプルと予測係数とに基づいて、予
測演算を行ってサンプル値を生成する演算処理手段とを
有し、クラスタツプ領域および予測タツプ領域の少なく
とも一方を復号化処理用の付加情報に基づいて変更する
ことを特徴とするディジタル信号処理装置である。
【００１０】請求項１５の発明は、符号化されたディジ
タル情報信号を復号化することによって生成される入力
ディジタル情報信号に対して信号処理を施すようにした
ディジタル信号処理方法において、入力ディジタル情報
信号から複数のサンプルからなるクラスタツプ領域を抽
出する第１の領域切出しのステップと、第１の領域切出
しのステップで抽出されたサンプルに基づいて特徴量を
抽出する特徴量抽出のステップと、特徴量および復号化
処理用の付加情報に基づいてクラス情報を生成するクラ
ス情報生成のステップと、予め決定された予測係数を記
憶し、記憶した予測係数の内から、クラス情報に対応す
る予測係数を出力するステップと、入力ディジタル情報
信号から複数のサンプルからなる予測タツプ領域を抽出
する第２の領域切出しのステップと、第２の領域切出し
のステップで抽出された複数のサンプルと予測係数とに
基づいて、予測演算を行ってサンプル値を生成するステ
ップとからなり、クラスタツプ領域および予測タツプ領
域の少なくとも一方を復号化処理用の付加情報に基づい
て変更することを特徴とするディジタル信号処理方法で
ある。
タル情報信号を復号化することによって生成される入力
ディジタル情報信号に対して信号処理を施すようにした
ディジタル信号処理方法において、入力ディジタル情報
信号から複数のサンプルからなるクラスタツプ領域を抽
出する第１の領域切出しのステップと、第１の領域切出
しのステップで抽出されたサンプルに基づいて特徴量を
抽出する特徴量抽出のステップと、特徴量および復号化
処理用の付加情報に基づいてクラス情報を生成するクラ
ス情報生成のステップと、予め決定された予測係数を記
憶し、記憶した予測係数の内から、クラス情報に対応す
る予測係数を出力するステップと、入力ディジタル情報
信号から複数のサンプルからなる予測タツプ領域を抽出
する第２の領域切出しのステップと、第２の領域切出し
のステップで抽出された複数のサンプルと予測係数とに
基づいて、予測演算を行ってサンプル値を生成するステ
ップとからなり、クラスタツプ領域および予測タツプ領
域の少なくとも一方を復号化処理用の付加情報に基づい
て変更することを特徴とするディジタル信号処理方法で
ある。
【００１１】請求項４の発明は、符号化されたディジタ
ル画像信号を復号化することによって生成される入力画
像信号に対して信号処理を施すようにしたディジタル画
像信号処理装置において、入力画像信号から複数の画素
からなるクラスタツプ領域を抽出する第１の領域切出し
手段と、第１の領域切出し手段からの画素データに基づ
いて特徴量を抽出する特徴量抽出手段と、特徴量および
復号化処理用の付加情報に基づいてクラス情報を生成す
るクラス情報生成手段と、予め決定された予測係数を記
憶し、記憶した予測係数の内から、クラス情報生成手段
の出力に対応する予測係数を出力する係数記憶手段と、
入力画像信号から複数の画素からなる予測タツプ領域を
抽出する第２の領域切出し手段と、第２の領域切出し手
段で抽出された予測タツプ領域の複数の画素と予測係数
とに基づいて、予測演算を行って画素値を生成する演算
処理手段とを有し、クラスタツプ領域および予測タツプ
領域の少なくとも一方を復号化処理用の付加情報に基づ
いて変更することを特徴とするディジタル画像信号処理
装置である。
ル画像信号を復号化することによって生成される入力画
像信号に対して信号処理を施すようにしたディジタル画
像信号処理装置において、入力画像信号から複数の画素
からなるクラスタツプ領域を抽出する第１の領域切出し
手段と、第１の領域切出し手段からの画素データに基づ
いて特徴量を抽出する特徴量抽出手段と、特徴量および
復号化処理用の付加情報に基づいてクラス情報を生成す
るクラス情報生成手段と、予め決定された予測係数を記
憶し、記憶した予測係数の内から、クラス情報生成手段
の出力に対応する予測係数を出力する係数記憶手段と、
入力画像信号から複数の画素からなる予測タツプ領域を
抽出する第２の領域切出し手段と、第２の領域切出し手
段で抽出された予測タツプ領域の複数の画素と予測係数
とに基づいて、予測演算を行って画素値を生成する演算
処理手段とを有し、クラスタツプ領域および予測タツプ
領域の少なくとも一方を復号化処理用の付加情報に基づ
いて変更することを特徴とするディジタル画像信号処理
装置である。
【００１２】請求項１６の発明は、符号化されたディジ
タル画像信号を復号化することによって生成される入力
画像信号に対して信号処理を施すようにしたディジタル
画像信号処理方法において、入力画像信号から複数の画
素からなるクラスタツプ領域を抽出する第１の領域切出
しのステップと、第１の領域切出しのステップで抽出さ
れた画素データに基づいて特徴量を抽出する特徴量抽出
のステップと、特徴量および復号化処理用の付加情報に
基づいてクラス情報を生成するクラス情報生成のステッ
プと、予め決定された予測係数を記憶し、記憶した予測
係数の内から、クラス情報に対応する予測係数を出力す
るステップと、入力画像信号から複数の画素からなる予
測タツプ領域を抽出する第２の領域切出しのステップ
と、第２の領域切出しのステップで抽出された複数の画
素と予測係数とに基づいて、予測演算を行って画素値を
生成するステップとからなり、クラスタツプ領域および
予測タツプ領域の少なくとも一方を復号化処理用の付加
情報に基づいて変更することを特徴とするディジタル画
像信号処理方法である。
タル画像信号を復号化することによって生成される入力
画像信号に対して信号処理を施すようにしたディジタル
画像信号処理方法において、入力画像信号から複数の画
素からなるクラスタツプ領域を抽出する第１の領域切出
しのステップと、第１の領域切出しのステップで抽出さ
れた画素データに基づいて特徴量を抽出する特徴量抽出
のステップと、特徴量および復号化処理用の付加情報に
基づいてクラス情報を生成するクラス情報生成のステッ
プと、予め決定された予測係数を記憶し、記憶した予測
係数の内から、クラス情報に対応する予測係数を出力す
るステップと、入力画像信号から複数の画素からなる予
測タツプ領域を抽出する第２の領域切出しのステップ
と、第２の領域切出しのステップで抽出された複数の画
素と予測係数とに基づいて、予測演算を行って画素値を
生成するステップとからなり、クラスタツプ領域および
予測タツプ領域の少なくとも一方を復号化処理用の付加
情報に基づいて変更することを特徴とするディジタル画
像信号処理方法である。
【００１３】この発明によれば、クラスタツプ領域およ
び予測タツプ領域の少なくとも一方を復号化処理用の付
加情報に基づいて変更することによって、クラス分類適
応処理における予測精度を向上することができる。
び予測タツプ領域の少なくとも一方を復号化処理用の付
加情報に基づいて変更することによって、クラス分類適
応処理における予測精度を向上することができる。
【００１４】
【発明の実施の形態】以下、この発明の一実施形態につ
いて説明する。一実施形態は、サブサンプリングで間引
かれた画素をクラス分類適応処理によって補間するよう
にしたディジタル画像信号処理の例である。まず、図１
を参照して、予測画像信号（すなわち、補間された画像
信号）の生成に係る構成について説明する。入力ビット
ストリームが復号器１に供給される。ここでは、入力ビ
ットストリームは、送受信システム（または記録再生シ
ステム、以下、同様である。）において、サブサンプリ
ングされ、ＭＰＥＧ２で圧縮符号化された画像データ
と、付加情報等のその他のデータとである。復号器１か
らは、復号化された画像信号と、復号化用の付加情報と
が出力される。復号器１においては、従来の処理による
間引き画素の補間がなされるが、真値と補間画素値との
誤差が十分には小さくならない。一実施形態では、クラ
ス分類適応処理によって従来よりも改善された補間処理
がなされ、復号器１の出力信号内の補間画素が一実施形
態により生成された補間画素と置き換えられる。
いて説明する。一実施形態は、サブサンプリングで間引
かれた画素をクラス分類適応処理によって補間するよう
にしたディジタル画像信号処理の例である。まず、図１
を参照して、予測画像信号（すなわち、補間された画像
信号）の生成に係る構成について説明する。入力ビット
ストリームが復号器１に供給される。ここでは、入力ビ
ットストリームは、送受信システム（または記録再生シ
ステム、以下、同様である。）において、サブサンプリ
ングされ、ＭＰＥＧ２で圧縮符号化された画像データ
と、付加情報等のその他のデータとである。復号器１か
らは、復号化された画像信号と、復号化用の付加情報と
が出力される。復号器１においては、従来の処理による
間引き画素の補間がなされるが、真値と補間画素値との
誤差が十分には小さくならない。一実施形態では、クラ
ス分類適応処理によって従来よりも改善された補間処理
がなされ、復号器１の出力信号内の補間画素が一実施形
態により生成された補間画素と置き換えられる。
【００１５】付加情報は、復号化処理に必要な付随情報
であり、入力ビットストリーム中のシーケンス層、ＧＯ
Ｐ層、ピクチャー層のそれぞれのヘッダ中に挿入されて
おり、復号器１は、付加情報を使用して復号化処理を行
い、また、付加情報を分離して出力する。付加情報中に
は、サブサンプリングの間引き構造を示す識別情報が含
まれている。識別情報からサブサンプリングパターン生
成部１０は、復号データ内の画素の位相に合わせて、補
間対象画素か否かを表示するサブサンプリングパターン
データを生成する。復号データとクラス分類適応処理で
生成された補間画素とがセレクタ１１に供給され、パタ
ーンデータにしたがって、セレクタ１１が制御され、そ
の出力に間引き画素が補間された出力画像信号が得られ
る。なお、サブサンプリングパターンは、例えば複数の
種類のものが用意されており、補間対象画素の位置によ
って切り替えられる。
であり、入力ビットストリーム中のシーケンス層、ＧＯ
Ｐ層、ピクチャー層のそれぞれのヘッダ中に挿入されて
おり、復号器１は、付加情報を使用して復号化処理を行
い、また、付加情報を分離して出力する。付加情報中に
は、サブサンプリングの間引き構造を示す識別情報が含
まれている。識別情報からサブサンプリングパターン生
成部１０は、復号データ内の画素の位相に合わせて、補
間対象画素か否かを表示するサブサンプリングパターン
データを生成する。復号データとクラス分類適応処理で
生成された補間画素とがセレクタ１１に供給され、パタ
ーンデータにしたがって、セレクタ１１が制御され、そ
の出力に間引き画素が補間された出力画像信号が得られ
る。なお、サブサンプリングパターンは、例えば複数の
種類のものが用意されており、補間対象画素の位置によ
って切り替えられる。
【００１６】付加情報は、付加情報抽出部２に供給さ
れ、クラス分類適応処理に使用される付加情報が付加情
報抽出部２から選択的に出力される。この抽出された付
加情報が付加情報クラス生成部３に供給される。例えば
クラス分類適応処理に使用される付加情報として、以下
に挙げるものがある。
れ、クラス分類適応処理に使用される付加情報が付加情
報抽出部２から選択的に出力される。この抽出された付
加情報が付加情報クラス生成部３に供給される。例えば
クラス分類適応処理に使用される付加情報として、以下
に挙げるものがある。
【００１７】(1) 信号種類情報：コンポーネント信号の
各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂ
のコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等） (2) 画像フォーマット情報：インターレース／プログレ
ッシブの識別情報、フィールドまたはフレーム周波数
（時間解像度情報）、水平画素数や垂直ライン数の画像
サイズ情報（空間解像度情報）、４：３，１６：９等の
アスペクトレシオ情報 (3) 画質情報：伝送ビットレート（圧縮率）情報 (4) 動きベクトル：水平と垂直の動き量情報 画像符号化の対象信号は、種々のものがあり、上述の付
加情報を含む各種制御信号を伝送することによって受信
側での復号を実現している。上述の付加情報で示される
種々の仕様や属性によって、復号画像信号の信号特性が
大きく異なる。そこで、この特性情報をクラス分類適応
処理に導入することによって、予測性能の向上が図られ
る。
各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂ
のコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等） (2) 画像フォーマット情報：インターレース／プログレ
ッシブの識別情報、フィールドまたはフレーム周波数
（時間解像度情報）、水平画素数や垂直ライン数の画像
サイズ情報（空間解像度情報）、４：３，１６：９等の
アスペクトレシオ情報 (3) 画質情報：伝送ビットレート（圧縮率）情報 (4) 動きベクトル：水平と垂直の動き量情報 画像符号化の対象信号は、種々のものがあり、上述の付
加情報を含む各種制御信号を伝送することによって受信
側での復号を実現している。上述の付加情報で示される
種々の仕様や属性によって、復号画像信号の信号特性が
大きく異なる。そこで、この特性情報をクラス分類適応
処理に導入することによって、予測性能の向上が図られ
る。
【００１８】復号器１からの復号化画像信号とサブサン
プリングパターン生成部１０からのパターンデータとが
領域切出し部４および予測タップデータ生成部５に供給
される。領域切出し部４は、入力画像信号から複数の画
素からなる領域を抽出し、抽出した領域に係る画素デー
タ（サブサンプリングパターンで指示される伝送画素）
を特徴量抽出部６に供給する。特徴量抽出部６は、供給
される画素データに１ビットＡＤＲＣ等の処理を施すこ
とによってＡＤＲＣコードを生成し、生成したＡＤＲＣ
コードをクラスコード生成部７に供給する。領域切出し
部４において抽出される複数の画素領域をクラスタップ
と称する。クラスタップは、注目（目標）画素の空間的
および／または時間的近傍に存在する複数の画素からな
る領域である。後述するように、クラスは、注目（目
標）画素ごとに決定される。
プリングパターン生成部１０からのパターンデータとが
領域切出し部４および予測タップデータ生成部５に供給
される。領域切出し部４は、入力画像信号から複数の画
素からなる領域を抽出し、抽出した領域に係る画素デー
タ（サブサンプリングパターンで指示される伝送画素）
を特徴量抽出部６に供給する。特徴量抽出部６は、供給
される画素データに１ビットＡＤＲＣ等の処理を施すこ
とによってＡＤＲＣコードを生成し、生成したＡＤＲＣ
コードをクラスコード生成部７に供給する。領域切出し
部４において抽出される複数の画素領域をクラスタップ
と称する。クラスタップは、注目（目標）画素の空間的
および／または時間的近傍に存在する複数の画素からな
る領域である。後述するように、クラスは、注目（目
標）画素ごとに決定される。
【００１９】ＡＤＲＣは、クラスタップ内の画素値の最
大値および最小値を求め、最大値および最小値の差であ
るダイナミックレンジを求め、ダイナミックレンジに適
応して各画素値を再量子化するものである。１ビットＡ
ＤＲＣの場合では、タップ内の複数の画素値の平均値よ
り大きいか、小さいかでその画素値が１ビットに変換さ
れる。ＡＤＲＣの処理は、画素値のレベル分布を表すク
ラスの数を比較的小さなものにするための処理である。
したがって、ＡＤＲＣに限らず、ベクトル量子化等の画
素値のビット数を圧縮する符号化を使用するようにして
も良い。
大値および最小値を求め、最大値および最小値の差であ
るダイナミックレンジを求め、ダイナミックレンジに適
応して各画素値を再量子化するものである。１ビットＡ
ＤＲＣの場合では、タップ内の複数の画素値の平均値よ
り大きいか、小さいかでその画素値が１ビットに変換さ
れる。ＡＤＲＣの処理は、画素値のレベル分布を表すク
ラスの数を比較的小さなものにするための処理である。
したがって、ＡＤＲＣに限らず、ベクトル量子化等の画
素値のビット数を圧縮する符号化を使用するようにして
も良い。
【００２０】また、特徴量抽出部６からクラスコード生
成部７に対して、パターンデータに基づくクラス情報が
供給される。すなわち、補間の対象画素（注目画素）の
サブサンプリングパターンがサブサンプリングパターン
クラスとしてクラスコード生成部７に供給される。な
お、サブサンプリングパターンクラスは、付加情報から
付加情報クラス生成部３において生成することも可能で
ある。
成部７に対して、パターンデータに基づくクラス情報が
供給される。すなわち、補間の対象画素（注目画素）の
サブサンプリングパターンがサブサンプリングパターン
クラスとしてクラスコード生成部７に供給される。な
お、サブサンプリングパターンクラスは、付加情報から
付加情報クラス生成部３において生成することも可能で
ある。
【００２１】クラスコード生成部７には、付加情報クラ
ス生成部３において、付加情報に基づいて生成された付
加情報クラスも供給される。クラスコード生成部７は、
付加情報クラスとＡＤＲＣコードとサブサンプリングパ
ターンクラスとに基づいて、クラス分類の結果を表すク
ラスコードを発生し、クラスコードを予測係数ＲＯＭ８
に対してアドレスとして供給する。ＲＯＭ８は、供給さ
れるクラスコードに対応する予測係数セットを予測演算
部９に出力する。予測係数セットは、後述する学習処理
によって予め決定され、クラス毎に、より具体的にはク
ラスコードをアドレスとする形態で予測係数ＲＯＭ８に
記憶されている。予測係数は、外部から予測係数のダウ
ンロードが可能なＲＡＭの構成のメモリに蓄積しても良
い。
ス生成部３において、付加情報に基づいて生成された付
加情報クラスも供給される。クラスコード生成部７は、
付加情報クラスとＡＤＲＣコードとサブサンプリングパ
ターンクラスとに基づいて、クラス分類の結果を表すク
ラスコードを発生し、クラスコードを予測係数ＲＯＭ８
に対してアドレスとして供給する。ＲＯＭ８は、供給さ
れるクラスコードに対応する予測係数セットを予測演算
部９に出力する。予測係数セットは、後述する学習処理
によって予め決定され、クラス毎に、より具体的にはク
ラスコードをアドレスとする形態で予測係数ＲＯＭ８に
記憶されている。予測係数は、外部から予測係数のダウ
ンロードが可能なＲＡＭの構成のメモリに蓄積しても良
い。
【００２２】一方、予測タップデータ生成部５は、入力
画像信号から複数の画素からなる所定の領域（予測タッ
プ）を抽出し、抽出した予測タップの画素データを予測
演算部９に供給する。予測タップは、クラスタップと同
様に、注目（目標）画素の空間的および／または時間的
近傍に存在する複数の画素からなる領域である。予測タ
ップデータ生成部５に対して、パターンデータが供給さ
れており、パターンデータによって間引き画素と指示さ
れるものは、予測タツプの画素として使用されない。予
測演算部９は、予測タップデータ生成部５から供給され
る画素データと、ＲＯＭ８から供給される予測係数セッ
トとに基づいて以下の式（１）に従う積和演算を行うこ
とによって、予測画素値を生成し、予測画素値を出力す
る。予測タップと上述したクラスタップは、同一、また
は別々の何れでも良い。
画像信号から複数の画素からなる所定の領域（予測タッ
プ）を抽出し、抽出した予測タップの画素データを予測
演算部９に供給する。予測タップは、クラスタップと同
様に、注目（目標）画素の空間的および／または時間的
近傍に存在する複数の画素からなる領域である。予測タ
ップデータ生成部５に対して、パターンデータが供給さ
れており、パターンデータによって間引き画素と指示さ
れるものは、予測タツプの画素として使用されない。予
測演算部９は、予測タップデータ生成部５から供給され
る画素データと、ＲＯＭ８から供給される予測係数セッ
トとに基づいて以下の式（１）に従う積和演算を行うこ
とによって、予測画素値を生成し、予測画素値を出力す
る。予測タップと上述したクラスタップは、同一、また
は別々の何れでも良い。
【００２３】 ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１） ここで、ｘ1 ，‥‥，ｘn が予測タップの各画素データ
であり、ｗ1 ，‥‥，ｗn が予測係数セットである。予
測演算は、この式（１）で示す１次式に限らず、２次以
上の高次式でも良いし、非線形であっても良い。
であり、ｗ1 ，‥‥，ｗn が予測係数セットである。予
測演算は、この式（１）で示す１次式に限らず、２次以
上の高次式でも良いし、非線形であっても良い。
【００２４】予測画像信号は、復号器１の出力画像信号
中の間引き画素が補間修整されたものである。クラス分
類適応処理は、固定係数のフィルタによって間引き画素
を補間するのと異なり、予め実際の画像信号を使用して
求めた予測係数を使用するので、より真値に近い画素値
を求めるように、間引き画素を補間することができる。
中の間引き画素が補間修整されたものである。クラス分
類適応処理は、固定係数のフィルタによって間引き画素
を補間するのと異なり、予め実際の画像信号を使用して
求めた予測係数を使用するので、より真値に近い画素値
を求めるように、間引き画素を補間することができる。
【００２５】図２は、領域切出し部４によって抽出され
るクラスタップの配置の一例を示す。復号化画像信号の
内で注目画素とその周辺の複数画素との合計７個の画素
によってクラスタップが設定される。図３は、予測タッ
プデータ生成部５から出力される予測タップの配置の一
例を示す。復号化画像信号の内で、注目画素と注目画素
を中心とした周辺の複数の画素との合計１３個の画素に
よって予測タップが設定される。なお、図２および図３
において、実線は、第１フィールドを示し、破線が第２
フィールドを示す。また、図示のタップの配置は、一例
であって、種々の配置を使用することができる。
るクラスタップの配置の一例を示す。復号化画像信号の
内で注目画素とその周辺の複数画素との合計７個の画素
によってクラスタップが設定される。図３は、予測タッ
プデータ生成部５から出力される予測タップの配置の一
例を示す。復号化画像信号の内で、注目画素と注目画素
を中心とした周辺の複数の画素との合計１３個の画素に
よって予測タップが設定される。なお、図２および図３
において、実線は、第１フィールドを示し、破線が第２
フィールドを示す。また、図示のタップの配置は、一例
であって、種々の配置を使用することができる。
【００２６】次に、図４を参照して、クラスコード生成
部７において形成されるクラスコード（予測係数ＲＯＭ
のアドレス）と、予測係数ＲＯＭ８に記憶されている予
測係数との一例について説明する。図４に示すクラス情
報の内で、信号種類クラス、フォーマットクラス、圧縮
率（伝送レート）クラス、動きベクトルクラスは、付加
情報クラス生成部３で生成されるクラスである。信号特
徴量クラスは、特徴量抽出部６で抽出された特徴量に基
づくクラス、例えばＡＤＲＣクラスである。サブサンプ
リングパターンクラスは、パターンデータに基づいて特
徴量抽出部６で生成されるクラスである。図４の表にお
いて、最も左側の信号種類クラスがアドレスの最上位側
となり、最も右側の信号特徴量クラスが最も下位側とな
る。
部７において形成されるクラスコード（予測係数ＲＯＭ
のアドレス）と、予測係数ＲＯＭ８に記憶されている予
測係数との一例について説明する。図４に示すクラス情
報の内で、信号種類クラス、フォーマットクラス、圧縮
率（伝送レート）クラス、動きベクトルクラスは、付加
情報クラス生成部３で生成されるクラスである。信号特
徴量クラスは、特徴量抽出部６で抽出された特徴量に基
づくクラス、例えばＡＤＲＣクラスである。サブサンプ
リングパターンクラスは、パターンデータに基づいて特
徴量抽出部６で生成されるクラスである。図４の表にお
いて、最も左側の信号種類クラスがアドレスの最上位側
となり、最も右側の信号特徴量クラスが最も下位側とな
る。
【００２７】信号種類クラスは、例えばＹ，Ｕ，Ｖと
Ｙ，Ｐｒ，Ｐｂとの２種類とされ、各信号種類に対応し
て予測係数が別々に求められ、各信号種類がクラスＫ
０，Ｋ１で区別される。フォーマットクラスは、処理対
象の画像の時空間解像度特性に対応したもので、例えば
２種類とされ、各フォーマットクラスに対応してＦ０，
Ｆ１のクラスが規定される。例えばインターレースの画
像であれば、Ｆ０、プログレッシブの画像であれば、Ｆ
１のクラスが割り当てられる。画像フォーマットのクラ
スの他の例は、フィールドまたはフレーム周波数、水平
画素数または垂直ライン数である。一例として、Ｆ０，
Ｆ１，Ｆ２，・・・と番号が大きくなるほど、時空間解
像度が高くなる。
Ｙ，Ｐｒ，Ｐｂとの２種類とされ、各信号種類に対応し
て予測係数が別々に求められ、各信号種類がクラスＫ
０，Ｋ１で区別される。フォーマットクラスは、処理対
象の画像の時空間解像度特性に対応したもので、例えば
２種類とされ、各フォーマットクラスに対応してＦ０，
Ｆ１のクラスが規定される。例えばインターレースの画
像であれば、Ｆ０、プログレッシブの画像であれば、Ｆ
１のクラスが割り当てられる。画像フォーマットのクラ
スの他の例は、フィールドまたはフレーム周波数、水平
画素数または垂直ライン数である。一例として、Ｆ０，
Ｆ１，Ｆ２，・・・と番号が大きくなるほど、時空間解
像度が高くなる。
【００２８】圧縮率（伝送レート）クラスは、画質情報
に基づいたクラスであり、ｉ種類のクラスＲ０〜Ｒi-1
が用意されている。圧縮率が高いほど符号化歪み量が多
くなる。動きベクトルクラスは、注目画素が含まれるフ
レーム（現フレーム）と時間的に前のフレームとの間の
動きベクトルに応じたクラスであり、ｊ種類用意されて
いる。圧縮率クラスおよび動きベクトルクラスは、個々
の値でも良いが、その場合には、クラス数が多くなるの
で、代表的な複数の値にまとめられている。例えば適当
なしきい値によって形成された複数の範囲毎に一つの代
表値を設定し、その代表値に対応したクラスを設定すれ
ばよい。具体的には、水平方向および垂直方向の動きを
表現した動きベクトルから静止、小さな動き、大きな動
きとの３段階のクラスを形成しても良い。
に基づいたクラスであり、ｉ種類のクラスＲ０〜Ｒi-1
が用意されている。圧縮率が高いほど符号化歪み量が多
くなる。動きベクトルクラスは、注目画素が含まれるフ
レーム（現フレーム）と時間的に前のフレームとの間の
動きベクトルに応じたクラスであり、ｊ種類用意されて
いる。圧縮率クラスおよび動きベクトルクラスは、個々
の値でも良いが、その場合には、クラス数が多くなるの
で、代表的な複数の値にまとめられている。例えば適当
なしきい値によって形成された複数の範囲毎に一つの代
表値を設定し、その代表値に対応したクラスを設定すれ
ばよい。具体的には、水平方向および垂直方向の動きを
表現した動きベクトルから静止、小さな動き、大きな動
きとの３段階のクラスを形成しても良い。
【００２９】以上の４種類のクラスが付加情報クラス生
成部３において生成されるクラスである。但し、上述し
たクラスは、一例であり、一部のクラスのみを使用して
も良い。例えば付加情報クラスのみをクラスとして使用
しても良い。そして、上述した４種類のクラスの下位側
に、特徴量抽出部６において生成されたサブサンプリン
グパターンクラスが付加される。サブサンプリングパタ
ーンクラスとしては、ｍ種類用意されている。さらに、
サブサンプリングパターンクラスの下位側に特徴量抽出
部６において生成された信号特徴量クラス（例えばＡＤ
ＲＣコードに基づくクラス）が付加される。信号特徴量
クラスとしては、ｋ種類用意されている。
成部３において生成されるクラスである。但し、上述し
たクラスは、一例であり、一部のクラスのみを使用して
も良い。例えば付加情報クラスのみをクラスとして使用
しても良い。そして、上述した４種類のクラスの下位側
に、特徴量抽出部６において生成されたサブサンプリン
グパターンクラスが付加される。サブサンプリングパタ
ーンクラスとしては、ｍ種類用意されている。さらに、
サブサンプリングパターンクラスの下位側に特徴量抽出
部６において生成された信号特徴量クラス（例えばＡＤ
ＲＣコードに基づくクラス）が付加される。信号特徴量
クラスとしては、ｋ種類用意されている。
【００３０】このように、４種類の付加情報クラスとサ
ブサンプリングパターンクラスと信号特徴量クラスで定
まるクラス毎に予測係数セットがＲＯＭ８に記憶されて
いる。上述した式（１）で示される予測演算を行う時に
は、ｗ1 ，ｗ2 ，‥‥，ｗnのｎ個の予測係数セットが
各クラス毎に存在する。
ブサンプリングパターンクラスと信号特徴量クラスで定
まるクラス毎に予測係数セットがＲＯＭ８に記憶されて
いる。上述した式（１）で示される予測演算を行う時に
は、ｗ1 ，ｗ2 ，‥‥，ｗnのｎ個の予測係数セットが
各クラス毎に存在する。
【００３１】さらに、この発明の一実施形態では、復号
器１からの復号画像信号の特性に基づいて、クラス分類
のためのデータ抽出方法と、予測タップの構造を変更す
ることによって、クラス分類適応処理の予測性能を向上
する。付加情報抽出部２によって抽出される付加情報に
よって、復号画像信号の特徴量を抽出するクラスタップ
構造を変更するために、付加情報によって領域切出し部
４で抽出されるクラスタップのパターンが切り替えられ
る。特徴量抽出部６がＡＤＲＣによって特徴量としての
波形、レベル分布を抽出する場合、対象画像の画像フォ
ーマット情報例えば時間および／または空間解像度に応
じてＡＤＲＣの対象とするクラスタツプ領域の広さが変
更される。また、信号の種類によって信号特性が異なる
ので、クラスタップ構造を変更しても良い。さらに、画
像のアスペクト比に応じてクラスタップ構造を変更する
ことも可能である。
器１からの復号画像信号の特性に基づいて、クラス分類
のためのデータ抽出方法と、予測タップの構造を変更す
ることによって、クラス分類適応処理の予測性能を向上
する。付加情報抽出部２によって抽出される付加情報に
よって、復号画像信号の特徴量を抽出するクラスタップ
構造を変更するために、付加情報によって領域切出し部
４で抽出されるクラスタップのパターンが切り替えられ
る。特徴量抽出部６がＡＤＲＣによって特徴量としての
波形、レベル分布を抽出する場合、対象画像の画像フォ
ーマット情報例えば時間および／または空間解像度に応
じてＡＤＲＣの対象とするクラスタツプ領域の広さが変
更される。また、信号の種類によって信号特性が異なる
ので、クラスタップ構造を変更しても良い。さらに、画
像のアスペクト比に応じてクラスタップ構造を変更する
ことも可能である。
【００３２】また、付加情報には、符号化復号化による
画像の歪みを示す圧縮率（伝送レート情報）も含まれ、
圧縮率の情報を付加情報から抽出することができる。一
旦復号化された画像信号中の符号化歪み量を検出するこ
とは、難しい。異なる符号化歪み量の信号に対してクラ
ス分類適応処理を適用した場合、予測性能の向上が困難
である。そこで、この圧縮率（伝送レート情報）に対応
してクラスタップの構成が変更される。さらに、動きベ
クトル情報に基づいてクラスタップの構成を変更するこ
とによって、時空間相関特性が高いクラスタップ構造を
実現することができる。例えば静止の場合では、フレー
ム内でクラスタップを構成し、動きがあるときには、現
在フレームに加えて前後のフレームにわたってクラスタ
ップを構成するようになされる。
画像の歪みを示す圧縮率（伝送レート情報）も含まれ、
圧縮率の情報を付加情報から抽出することができる。一
旦復号化された画像信号中の符号化歪み量を検出するこ
とは、難しい。異なる符号化歪み量の信号に対してクラ
ス分類適応処理を適用した場合、予測性能の向上が困難
である。そこで、この圧縮率（伝送レート情報）に対応
してクラスタップの構成が変更される。さらに、動きベ
クトル情報に基づいてクラスタップの構成を変更するこ
とによって、時空間相関特性が高いクラスタップ構造を
実現することができる。例えば静止の場合では、フレー
ム内でクラスタップを構成し、動きがあるときには、現
在フレームに加えて前後のフレームにわたってクラスタ
ップを構成するようになされる。
【００３３】さらに、クラスコード生成部７で形成され
たクラスコードが予測タップデータ生成部５に対して制
御信号として供給される。それによって、図４に示すよ
うな付加情報を加味したクラス毎に、最適な予測タップ
のパターンが設定されるようになされる。上述したクラ
スタップの構造を付加情報によって変更するのと同様
に、クラス中の付加情報に応じて予測タップの構造が変
更され、クラスタップの場合と同様に、予測タップを変
更することによって、予測性能を向上することができ
る。
たクラスコードが予測タップデータ生成部５に対して制
御信号として供給される。それによって、図４に示すよ
うな付加情報を加味したクラス毎に、最適な予測タップ
のパターンが設定されるようになされる。上述したクラ
スタップの構造を付加情報によって変更するのと同様
に、クラス中の付加情報に応じて予測タップの構造が変
更され、クラスタップの場合と同様に、予測タップを変
更することによって、予測性能を向上することができ
る。
【００３４】図５は、タップ（クラスタップまたは予測
タップ）の領域を付加情報に応じて変更する一例を模式
的に示すものである。図５は、現フレームとその前のフ
レームにそれぞれ属する空間的なタップによって時空間
タップを設定する例を示し、破線の枠は、タップ領域を
表している。また、○が付された画素は、伝送画素を示
し、×が付された画素は、非伝送画素を示す。現フレー
ム内の四角が付された画素は、補間の対象である注目画
素を示す。
タップ）の領域を付加情報に応じて変更する一例を模式
的に示すものである。図５は、現フレームとその前のフ
レームにそれぞれ属する空間的なタップによって時空間
タップを設定する例を示し、破線の枠は、タップ領域を
表している。また、○が付された画素は、伝送画素を示
し、×が付された画素は、非伝送画素を示す。現フレー
ム内の四角が付された画素は、補間の対象である注目画
素を示す。
【００３５】図５は、前フレームと現フレームとの間の
動きベクトルによって、前フレームに設定される空間タ
ップ（図５の例では、３×３画素の領域）の位置が変更
される。この動き補正によって、相関が強い複数画素を
使用してタップを構成することが可能となる。また、画
像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，
Ｆ２に応じて、現フレームに設定される空間タップの領
域が変更される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、
注目された付加情報または付加情報クラスとしてクラス
コード生成部７が生成するクラス情報中に含まれてい
る。前述の図４の例では、Ｆ０，Ｆ１の２種類のクラス
が存在している。
動きベクトルによって、前フレームに設定される空間タ
ップ（図５の例では、３×３画素の領域）の位置が変更
される。この動き補正によって、相関が強い複数画素を
使用してタップを構成することが可能となる。また、画
像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，
Ｆ２に応じて、現フレームに設定される空間タップの領
域が変更される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、
注目された付加情報または付加情報クラスとしてクラス
コード生成部７が生成するクラス情報中に含まれてい
る。前述の図４の例では、Ｆ０，Ｆ１の２種類のクラス
が存在している。
【００３６】一例として、Ｆ０が空間解像度が最も低
く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度
が高い。空間解像度が高くなるにしたがってタップが含
まれる領域が徐々に拡大される。空間解像度が低い場合
には、相関の強い画素が存在する範囲が狭くなるため
に、タップの領域も狭いものとされる。それによって、
クラス分類適応処理による補間処理の性能の向上を図る
ことができる。
く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度
が高い。空間解像度が高くなるにしたがってタップが含
まれる領域が徐々に拡大される。空間解像度が低い場合
には、相関の強い画素が存在する範囲が狭くなるため
に、タップの領域も狭いものとされる。それによって、
クラス分類適応処理による補間処理の性能の向上を図る
ことができる。
【００３７】次に、学習すなわちクラス毎の予測係数を
求める処理について説明する。一般的には、クラス分類
適応処理によって予測されるべき画像信号と同一の信号
形式の画像信号（以下、教師信号と称する）と、教師信
号にクラス分類適応処理の目的とされる処理（すなわ
ち、補間処理）と関連する処理を行うことによって得ら
れる画像信号（生徒信号）とに基づく所定の演算処理に
よって予測係数が決定される。ＭＰＥＧ２規格等に従う
画像信号の符号化／復号化を経た画像信号を対象として
なされるクラス分類適応処理においては、学習は、例え
ば図６に示すような構成によって行われる。
求める処理について説明する。一般的には、クラス分類
適応処理によって予測されるべき画像信号と同一の信号
形式の画像信号（以下、教師信号と称する）と、教師信
号にクラス分類適応処理の目的とされる処理（すなわ
ち、補間処理）と関連する処理を行うことによって得ら
れる画像信号（生徒信号）とに基づく所定の演算処理に
よって予測係数が決定される。ＭＰＥＧ２規格等に従う
画像信号の符号化／復号化を経た画像信号を対象として
なされるクラス分類適応処理においては、学習は、例え
ば図６に示すような構成によって行われる。
【００３８】学習のために、教師信号と入力画像信号が
使用される。教師信号は、サブサンプリングされていな
い信号であり、生徒信号は、サブサンプリングされた信
号である。教師信号をサブサンプリングすることによっ
て入力画像信号を形成しても良い。入力画像信号が符号
化器２１で例えばＭＰＥＧ２によって符号化される。符
号化器２１の出力信号が図１における入力信号に相当す
る。符号化器２１の出力信号が復号器２２に供給され
る。復号器２２からの復号画像信号が生徒信号として使
用される。また、復号器２２で分離された復号用の付加
情報が付加情報抽出部２３に供給され、付加情報が抽出
される。さらに、サブサンプリングパターン生成部３２
においてパターンデータが生成され、伝送画素および非
伝送画素の位置を指示するパターンデータがサブサンプ
リングパターン生成部３２から出力される。
使用される。教師信号は、サブサンプリングされていな
い信号であり、生徒信号は、サブサンプリングされた信
号である。教師信号をサブサンプリングすることによっ
て入力画像信号を形成しても良い。入力画像信号が符号
化器２１で例えばＭＰＥＧ２によって符号化される。符
号化器２１の出力信号が図１における入力信号に相当す
る。符号化器２１の出力信号が復号器２２に供給され
る。復号器２２からの復号画像信号が生徒信号として使
用される。また、復号器２２で分離された復号用の付加
情報が付加情報抽出部２３に供給され、付加情報が抽出
される。さらに、サブサンプリングパターン生成部３２
においてパターンデータが生成され、伝送画素および非
伝送画素の位置を指示するパターンデータがサブサンプ
リングパターン生成部３２から出力される。
【００３９】抽出された付加情報は、付加情報クラス生
成部２４および領域切出し部２５に供給される。付加情
報は、上述したのと同様に、信号種類情報、画像フォー
マット情報、画質情報、動きベクトル等である。また、
サブサンプリングパターン生成部３２からのパターンデ
ータが領域切出し部２５および予測タップデータ生成部
２６に供給される。
成部２４および領域切出し部２５に供給される。付加情
報は、上述したのと同様に、信号種類情報、画像フォー
マット情報、画質情報、動きベクトル等である。また、
サブサンプリングパターン生成部３２からのパターンデ
ータが領域切出し部２５および予測タップデータ生成部
２６に供給される。
【００４０】復号器２２からの復号画像信号、すなわ
ち、生徒信号が領域切出し部２５および予測タップデー
タ生成部２６に供給される。図１５の構成と同様に、領
域切出し部２５が付加情報抽出部２３で抽出された付加
情報によって制御され、予測タップデータ生成部２６が
クラスコード生成部２８で生成されたクラスの内の付加
情報クラスによって制御される。それによって、時間的
および／または空間的相関の高い複数の画素によってタ
ップを設定することが可能とされる。領域切出し部２５
で抽出されたクラスタップのデータが特徴量抽出部２７
に供給され、特徴量抽出部２７においてＡＤＲＣ等の処
理によって、特徴量を抽出する。この特徴量がクラスコ
ード生成部２８に供給される。クラスコード生成部２８
は、付加情報クラスとＡＤＲＣコードとサブサンプリン
グパターンとに基づいて、クラス分類の結果を表すクラ
スコードを発生する。クラスコードは、正規方程式加算
部２９に供給される。
ち、生徒信号が領域切出し部２５および予測タップデー
タ生成部２６に供給される。図１５の構成と同様に、領
域切出し部２５が付加情報抽出部２３で抽出された付加
情報によって制御され、予測タップデータ生成部２６が
クラスコード生成部２８で生成されたクラスの内の付加
情報クラスによって制御される。それによって、時間的
および／または空間的相関の高い複数の画素によってタ
ップを設定することが可能とされる。領域切出し部２５
で抽出されたクラスタップのデータが特徴量抽出部２７
に供給され、特徴量抽出部２７においてＡＤＲＣ等の処
理によって、特徴量を抽出する。この特徴量がクラスコ
ード生成部２８に供給される。クラスコード生成部２８
は、付加情報クラスとＡＤＲＣコードとサブサンプリン
グパターンとに基づいて、クラス分類の結果を表すクラ
スコードを発生する。クラスコードは、正規方程式加算
部２９に供給される。
【００４１】一方、予測タップデータ生成部２６により
抽出された予測タップの画素データであって、伝送画素
データが正規方程式加算部２９に供給される。正規方程
式加算部２９は、予測タップデータ生成部２６の出力
と、教師信号とに基づく所定の演算処理によって、クラ
スコード生成部２８から供給されるクラスコードに対応
する予測係数セットを解とする正規方程式のデータを生
成する。正規方程式加算部２９の出力は、予測係数算出
部３０に供給される。
抽出された予測タップの画素データであって、伝送画素
データが正規方程式加算部２９に供給される。正規方程
式加算部２９は、予測タップデータ生成部２６の出力
と、教師信号とに基づく所定の演算処理によって、クラ
スコード生成部２８から供給されるクラスコードに対応
する予測係数セットを解とする正規方程式のデータを生
成する。正規方程式加算部２９の出力は、予測係数算出
部３０に供給される。
【００４２】予測係数算出部３０は、供給されるデータ
に基づいて正規方程式を解くための演算処理を行う。こ
の演算処理によって算出された予測係数セットがメモリ
３１に供給され、記憶される。予測推定に係る画像変換
処理を行うに先立って、図１５中の予測係数ＲＯＭ８に
メモリ３１の記憶内容がロードされる。
に基づいて正規方程式を解くための演算処理を行う。こ
の演算処理によって算出された予測係数セットがメモリ
３１に供給され、記憶される。予測推定に係る画像変換
処理を行うに先立って、図１５中の予測係数ＲＯＭ８に
メモリ３１の記憶内容がロードされる。
【００４３】正規方程式について以下に説明する。上述
の式（１）において、学習前は予測係数セットｗ1 ，‥
‥，ｗn が未定係数である。学習は、クラス毎に複数の
教師信号を入力することによって行う。教師信号の種類
数をｍと表記する場合、式（１）から、以下の式（２）
が設定される。
の式（１）において、学習前は予測係数セットｗ1 ，‥
‥，ｗn が未定係数である。学習は、クラス毎に複数の
教師信号を入力することによって行う。教師信号の種類
数をｍと表記する場合、式（１）から、以下の式（２）
が設定される。
【００４４】 ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （２） （ｋ＝１，２，‥‥，ｍ）
【００４５】ｍ＞ｎの場合、予測係数セットｗ1 ，‥
‥，ｗn は一意に決まらないので、誤差ベクトルｅの要
素ｅk を以下の式（３）で定義して、式（４）によって
定義される誤差ベクトルｅを最小とするように予測係数
セットを定めるようにする。すなわち、いわゆる最小２
乗法によって予測係数セットを一意に定める。
‥，ｗn は一意に決まらないので、誤差ベクトルｅの要
素ｅk を以下の式（３）で定義して、式（４）によって
定義される誤差ベクトルｅを最小とするように予測係数
セットを定めるようにする。すなわち、いわゆる最小２
乗法によって予測係数セットを一意に定める。
【００４６】 ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （３） （ｋ＝１，２，‥‥ｍ）
【００４７】
【数１】
【００４８】式（４）のｅ2 を最小とする予測係数セッ
トを求めるための実際的な計算方法としては、ｅ2 を予
測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの
各値について偏微分値が０となるように各予測係数ｗi
を定めれば良い。
トを求めるための実際的な計算方法としては、ｅ2 を予
測係数ｗi (i=1,2‥‥）で偏微分し（式（５））、ｉの
各値について偏微分値が０となるように各予測係数ｗi
を定めれば良い。
【００４９】
【数２】
【００５０】式（５）から各予測係数ｗi を定める具体
的な手順について説明する。式（６）、（７）のように
Ｘji，Ｙi を定義すると、式（５）は、式（８）の行列
式の形に書くことができる。
的な手順について説明する。式（６）、（７）のように
Ｘji，Ｙi を定義すると、式（５）は、式（８）の行列
式の形に書くことができる。
【００５１】
【数３】
【００５２】
【数４】
【００５３】
【数５】
【００５４】式（８）が一般に正規方程式と呼ばれるも
のである。予測係数算出部３０は、掃き出し法等の一般
的な行列解法に従って正規方程式（８）を解くための計
算処理を行って予測係数ｗi を算出する。
のである。予測係数算出部３０は、掃き出し法等の一般
的な行列解法に従って正規方程式（８）を解くための計
算処理を行って予測係数ｗi を算出する。
【００５５】また、予測係数の生成は、図７に示すフロ
ーチャートで示されるようなソフトウェア処理によって
も行うことができる。ステップＳ１から処理が開始さ
れ、ステップＳ２において、生徒信号を生成することに
よって、予測係数を生成するのに必要十分な学習データ
を生成する。ステップＳ３において、予測係数を生成す
るのに必要十分な学習データが得られたどうかを判定
し、未だ必要十分な学習データが得られていないと判断
された場合には、ステップＳ４に処理が移行する。
ーチャートで示されるようなソフトウェア処理によって
も行うことができる。ステップＳ１から処理が開始さ
れ、ステップＳ２において、生徒信号を生成することに
よって、予測係数を生成するのに必要十分な学習データ
を生成する。ステップＳ３において、予測係数を生成す
るのに必要十分な学習データが得られたどうかを判定
し、未だ必要十分な学習データが得られていないと判断
された場合には、ステップＳ４に処理が移行する。
【００５６】ステップＳ４において、生徒信号から抽出
された特徴量と付加情報とパターンデータからクラスを
決定する。ステップＳ５においては、各クラス毎に正規
方程式を生成し、ステップＳ２に戻って同様の処理手順
を繰り返すことによって、予測係数セットを生成するの
に必要十分な正規方程式を生成する。
された特徴量と付加情報とパターンデータからクラスを
決定する。ステップＳ５においては、各クラス毎に正規
方程式を生成し、ステップＳ２に戻って同様の処理手順
を繰り返すことによって、予測係数セットを生成するの
に必要十分な正規方程式を生成する。
【００５７】ステップＳ３において、必要十分な学習デ
ータが得られたと判断されると、ステップＳ６に処理が
移る。ステップＳ６では、正規方程式を掃き出し法によ
って解くことによって、予測係数セットｗ1 ，ｗ2 ，・
・・・，ｗn を各クラス毎に生成する。そして、ステッ
プＳ７において、生成した各クラス毎の予測係数セット
ｗ1 〜ｗn をメモリに記憶し、ステップＳ８で学習処理
を終了する。
ータが得られたと判断されると、ステップＳ６に処理が
移る。ステップＳ６では、正規方程式を掃き出し法によ
って解くことによって、予測係数セットｗ1 ，ｗ2 ，・
・・・，ｗn を各クラス毎に生成する。そして、ステッ
プＳ７において、生成した各クラス毎の予測係数セット
ｗ1 〜ｗn をメモリに記憶し、ステップＳ８で学習処理
を終了する。
【００５８】次に、時間および／または空間解像度を創
造するようにしたこの発明の他の実施形態について説明
する。図８は、予測画像信号の生成に係る構成を示す。
上述した一実施形態の構成（図１）と対応する部分に
は、同一の参照符号を付してその説明は省略する。例え
ばＭＰＥＧの復号器１からは、復号化された画像信号
と、復号化用の付加情報とが出力される。付加情報は、
付加情報抽出部２に供給され、クラス分類適応処理に使
用される付加情報が付加情報抽出部２から選択的に出力
される。この抽出された付加情報が付加情報クラス生成
部３に供給される。
造するようにしたこの発明の他の実施形態について説明
する。図８は、予測画像信号の生成に係る構成を示す。
上述した一実施形態の構成（図１）と対応する部分に
は、同一の参照符号を付してその説明は省略する。例え
ばＭＰＥＧの復号器１からは、復号化された画像信号
と、復号化用の付加情報とが出力される。付加情報は、
付加情報抽出部２に供給され、クラス分類適応処理に使
用される付加情報が付加情報抽出部２から選択的に出力
される。この抽出された付加情報が付加情報クラス生成
部３に供給される。
【００５９】復号器１からの復号化画像信号が領域切出
し部４および予測タップデータ生成部５に供給される。
領域切出し部４は、入力画像信号から複数の画素からな
る領域を抽出し、抽出した領域に係る画素データを特徴
量抽出部６に供給する。特徴量抽出部６は、ＡＤＲＣコ
ードを生成し、生成したＡＤＲＣコードをクラスコード
生成部７に供給する。クラスコード生成部７には、付加
情報クラス生成部３において、付加情報に基づいて生成
された付加情報クラスも供給される。クラスコード生成
部７は、付加情報クラスとＡＤＲＣコードに基づいて、
クラス分類の結果を表すクラスコードを発生し、クラス
コードを予測係数ＲＯＭ８に対してアドレスとして供給
する。ＲＯＭ８は、供給されるクラスコードに対応する
予測係数セットを予測演算部９に出力する。予測係数セ
ットは、上述した学習処理によって予め決定され、クラ
ス毎に、より具体的にはクラスコードをアドレスとする
形態で予測係数ＲＯＭ８に記憶されている。
し部４および予測タップデータ生成部５に供給される。
領域切出し部４は、入力画像信号から複数の画素からな
る領域を抽出し、抽出した領域に係る画素データを特徴
量抽出部６に供給する。特徴量抽出部６は、ＡＤＲＣコ
ードを生成し、生成したＡＤＲＣコードをクラスコード
生成部７に供給する。クラスコード生成部７には、付加
情報クラス生成部３において、付加情報に基づいて生成
された付加情報クラスも供給される。クラスコード生成
部７は、付加情報クラスとＡＤＲＣコードに基づいて、
クラス分類の結果を表すクラスコードを発生し、クラス
コードを予測係数ＲＯＭ８に対してアドレスとして供給
する。ＲＯＭ８は、供給されるクラスコードに対応する
予測係数セットを予測演算部９に出力する。予測係数セ
ットは、上述した学習処理によって予め決定され、クラ
ス毎に、より具体的にはクラスコードをアドレスとする
形態で予測係数ＲＯＭ８に記憶されている。
【００６０】一方、予測タップデータ生成部５は、入力
画像信号から複数の画素からなる所定の領域（予測タッ
プ）を抽出し、抽出した予測タップの画素データを予測
演算部９に供給する。予測タップは、クラスタップと同
様に、注目（目標）画素の空間的および／または時間的
近傍に存在する複数の画素からなる領域である。予測演
算部９は、予測タップデータ生成部５から供給される画
素データと、ＲＯＭ８から供給される予測係数セットと
に基づいて積和演算を行うことによって、予測画素値を
生成し、予測画素値を出力する。
画像信号から複数の画素からなる所定の領域（予測タッ
プ）を抽出し、抽出した予測タップの画素データを予測
演算部９に供給する。予測タップは、クラスタップと同
様に、注目（目標）画素の空間的および／または時間的
近傍に存在する複数の画素からなる領域である。予測演
算部９は、予測タップデータ生成部５から供給される画
素データと、ＲＯＭ８から供給される予測係数セットと
に基づいて積和演算を行うことによって、予測画素値を
生成し、予測画素値を出力する。
【００６１】予測画像信号は、復号器１の出力画像信号
に対して、空間解像度がより高いものとされたものであ
る。例えば、水平方向および垂直方向のそれぞれに関し
て画素数が元の画像の２倍とされた画像信号が出力され
る。クラス分類適応処理は、平均値等で画素を補間する
ものとは異なり、予め実際の画像信号を使用して求めた
予測係数を使用するので、解像度を創造することができ
る処理である。また、この発明は、空間解像度に限ら
ず、時間解像度を高くする処理に対しても適用できる。
例えばフィールド周波数を６０Hzから１２０Hzとする処
理に対しても適用することができる。さらに、時空間
（空間および時間）の解像度を高くする処理を行うよう
にしても良い。
に対して、空間解像度がより高いものとされたものであ
る。例えば、水平方向および垂直方向のそれぞれに関し
て画素数が元の画像の２倍とされた画像信号が出力され
る。クラス分類適応処理は、平均値等で画素を補間する
ものとは異なり、予め実際の画像信号を使用して求めた
予測係数を使用するので、解像度を創造することができ
る処理である。また、この発明は、空間解像度に限ら
ず、時間解像度を高くする処理に対しても適用できる。
例えばフィールド周波数を６０Hzから１２０Hzとする処
理に対しても適用することができる。さらに、時空間
（空間および時間）の解像度を高くする処理を行うよう
にしても良い。
【００６２】図９は、クラスコード生成部７において形
成されるクラスコード（予測係数ＲＯＭのアドレス）
と、予測係数ＲＯＭ８に記憶されている予測係数との一
例を示す。一実施形態におけるクラスコード（図４参
照）と比較すると、サブサンプリングクラスが含まれて
いない点を除いて同様のクラス情報が使用される。
成されるクラスコード（予測係数ＲＯＭのアドレス）
と、予測係数ＲＯＭ８に記憶されている予測係数との一
例を示す。一実施形態におけるクラスコード（図４参
照）と比較すると、サブサンプリングクラスが含まれて
いない点を除いて同様のクラス情報が使用される。
【００６３】このように、４種類の付加情報クラスと１
種類の信号特徴量クラスとで定まるクラス毎に予測係数
セットがＲＯＭ８に記憶されている。上述した式（１）
で示される予測演算を行う時には、ｗ1 ，ｗ2 ，‥‥，
ｗn のｎ個の予測係数セットが各クラス毎に存在する。
種類の信号特徴量クラスとで定まるクラス毎に予測係数
セットがＲＯＭ８に記憶されている。上述した式（１）
で示される予測演算を行う時には、ｗ1 ，ｗ2 ，‥‥，
ｗn のｎ個の予測係数セットが各クラス毎に存在する。
【００６４】さらに、復号器１からの復号画像信号の特
性に基づいて、クラス分類のためのデータ抽出方法と、
予測タップの構造を変更することによって、クラス分類
適応処理の予測性能を向上するようにしている。すなわ
ち、付加情報抽出部２によって抽出される付加情報によ
って、復号画像信号の特徴量を抽出するクラスタップ構
造を変更するために、付加情報例えば対象画像の時間お
よび／または空間解像度によって領域切出し部４で抽出
されるクラスタップの大きさまたは位置が切り替えられ
る。また、信号の種類によって信号特性が異なるので、
クラスタップ構造が変更されるようにしても良く、アス
ペクト比に応じてクラスタップ構造を変更しても良い。
また、圧縮率（伝送レート情報）に対応してクラスタッ
プの構成を変更しても良い。さらに、動きベクトル情報
に基づいてクラスタップの構成を変更することによっ
て、時空間相関特性が高いクラスタップ構造を実現する
ことができる。
性に基づいて、クラス分類のためのデータ抽出方法と、
予測タップの構造を変更することによって、クラス分類
適応処理の予測性能を向上するようにしている。すなわ
ち、付加情報抽出部２によって抽出される付加情報によ
って、復号画像信号の特徴量を抽出するクラスタップ構
造を変更するために、付加情報例えば対象画像の時間お
よび／または空間解像度によって領域切出し部４で抽出
されるクラスタップの大きさまたは位置が切り替えられ
る。また、信号の種類によって信号特性が異なるので、
クラスタップ構造が変更されるようにしても良く、アス
ペクト比に応じてクラスタップ構造を変更しても良い。
また、圧縮率（伝送レート情報）に対応してクラスタッ
プの構成を変更しても良い。さらに、動きベクトル情報
に基づいてクラスタップの構成を変更することによっ
て、時空間相関特性が高いクラスタップ構造を実現する
ことができる。
【００６５】さらに、クラスコード生成部７で形成され
たクラスコードが予測タップデータ生成部５に対して制
御信号として供給される。それによって、付加情報を加
味したクラス毎に、最適な予測タップのパターンが設定
されるようになされる。上述したクラスタップの構造を
付加情報によって変更するのと同様に、クラス中の付加
情報クラスに応じて予測タップの構造が変更され、クラ
スタップの場合と同様に、予測タップを変更することに
よって、予測性能を向上することができる。
たクラスコードが予測タップデータ生成部５に対して制
御信号として供給される。それによって、付加情報を加
味したクラス毎に、最適な予測タップのパターンが設定
されるようになされる。上述したクラスタップの構造を
付加情報によって変更するのと同様に、クラス中の付加
情報クラスに応じて予測タップの構造が変更され、クラ
スタップの場合と同様に、予測タップを変更することに
よって、予測性能を向上することができる。
【００６６】図１０は、タップ（クラスタップまたは予
測タップ）の領域を付加情報に応じて変更する一例を示
すものである。図１０は、空間解像度と時間解像度の両
者を創造する例を示している。すなわち、時間的に連続
するフレーム（またはフィールド）Ｔ０，Ｔ１の中間に
新たなフレームＴ’を作成し、また、元の画素数の４倍
の画素数を作成する。
測タップ）の領域を付加情報に応じて変更する一例を示
すものである。図１０は、空間解像度と時間解像度の両
者を創造する例を示している。すなわち、時間的に連続
するフレーム（またはフィールド）Ｔ０，Ｔ１の中間に
新たなフレームＴ’を作成し、また、元の画素数の４倍
の画素数を作成する。
【００６７】タップは、復号画像信号中に存在するフレ
ームＴ０およびＴ１に属する画像中に構成される空間タ
ップを合わせた時空間タップとされる。画像フォーマッ
ト情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じ
て、タップが含まれる範囲の領域が変更される。具体的
なタップ構造は、これらの何れかの領域内に構成され
る。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、付加情報クラ
スとしてクラスコード生成部７が生成するクラス情報中
に含まれている。
ームＴ０およびＴ１に属する画像中に構成される空間タ
ップを合わせた時空間タップとされる。画像フォーマッ
ト情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じ
て、タップが含まれる範囲の領域が変更される。具体的
なタップ構造は、これらの何れかの領域内に構成され
る。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、付加情報クラ
スとしてクラスコード生成部７が生成するクラス情報中
に含まれている。
【００６８】一例として、Ｆ０が空間解像度が最も低
く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度
が高い。空間解像度が高くなるにしたがってタップが含
まれる領域が徐々に拡大される。空間解像度が低い場合
には、相関の強い画素が存在する範囲が狭くなるため
に、タップの領域も狭いものとされる。それによって、
クラス分類適応処理による解像度創造の性能の向上を図
ることができる。
く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度
が高い。空間解像度が高くなるにしたがってタップが含
まれる領域が徐々に拡大される。空間解像度が低い場合
には、相関の強い画素が存在する範囲が狭くなるため
に、タップの領域も狭いものとされる。それによって、
クラス分類適応処理による解像度創造の性能の向上を図
ることができる。
【００６９】また、フレームＴ０およびＴ１間の動き量
に応じてタップが含まれる領域の位置が変更される。ク
ラスタップの場合では、付加情報中の動きベクトルに応
じてタップが含まれる領域の位置が変更される。予測タ
ップの場合では、クラス情報中の動きベクトルクラスに
応じてタップが含まれる領域の位置が変更される。この
ように領域の位置を変更することによって、より高い相
関を持つ領域からクラスタップの画素を切出し、または
予測タップの画素を抽出することができる。それによっ
て、クラス分類適応処理の予測精度を向上することがで
きる。
に応じてタップが含まれる領域の位置が変更される。ク
ラスタップの場合では、付加情報中の動きベクトルに応
じてタップが含まれる領域の位置が変更される。予測タ
ップの場合では、クラス情報中の動きベクトルクラスに
応じてタップが含まれる領域の位置が変更される。この
ように領域の位置を変更することによって、より高い相
関を持つ領域からクラスタップの画素を切出し、または
予測タップの画素を抽出することができる。それによっ
て、クラス分類適応処理の予測精度を向上することがで
きる。
【００７０】解像度のより高い出力画像信号を生成する
他の実施形態において、教師信号として解像度の高い信
号を使用し、復号画像信号に対応する生徒信号を使用す
ることで、予測係数を予め求め、予測係数ＲＯＭ８に蓄
積する。また、ソフトウェア処理によって予測係数を求
めるようにしても良い。
他の実施形態において、教師信号として解像度の高い信
号を使用し、復号画像信号に対応する生徒信号を使用す
ることで、予測係数を予め求め、予測係数ＲＯＭ８に蓄
積する。また、ソフトウェア処理によって予測係数を求
めるようにしても良い。
【００７１】この発明は、上述したこの発明の一実施形
態に限定されるものではなく、この発明の要旨を逸脱し
ない範囲内で様々な変形や応用が可能である。例えばＭ
ＰＥＧ２に限らず、ＭＰＥＧ４等の他の符号化方法を使
用する場合に対して、この発明を適用することができ
る。
態に限定されるものではなく、この発明の要旨を逸脱し
ない範囲内で様々な変形や応用が可能である。例えばＭ
ＰＥＧ２に限らず、ＭＰＥＧ４等の他の符号化方法を使
用する場合に対して、この発明を適用することができ
る。
【００７２】
【発明の効果】上述したようにこの発明では、復号用付
加情報を用いることによって、対象信号の属性や、特性
を反映した適切なクラスタツプおよび／または予測タッ
プを設定することが可能となり、クラス分類適応処理の
予測精度を向上することができる。すなわち、クラスを
決定するのに使用する複数の画素の時空間の相関が高い
ものとなり、また、予測演算に使用する複数の画素の時
空間の相関が高いものとなり、クラス分類適応処理にお
ける予測精度を向上することができる。
加情報を用いることによって、対象信号の属性や、特性
を反映した適切なクラスタツプおよび／または予測タッ
プを設定することが可能となり、クラス分類適応処理の
予測精度を向上することができる。すなわち、クラスを
決定するのに使用する複数の画素の時空間の相関が高い
ものとなり、また、予測演算に使用する複数の画素の時
空間の相関が高いものとなり、クラス分類適応処理にお
ける予測精度を向上することができる。
【００７３】また、この発明では、対象とする復号信号
の動きベクトル情報によってクラスタツプ、予測タツプ
の位置を切り替えている。この動きベクトル情報を復号
信号から検出するのではなく、付加情報として伝送され
る動きベクトル情報を使用するので、動きベクトル検出
に必要とされる膨大な演算を回避でき、しかも、動きベ
クトルの精度を高くできる。
の動きベクトル情報によってクラスタツプ、予測タツプ
の位置を切り替えている。この動きベクトル情報を復号
信号から検出するのではなく、付加情報として伝送され
る動きベクトル情報を使用するので、動きベクトル検出
に必要とされる膨大な演算を回避でき、しかも、動きベ
クトルの精度を高くできる。
【図１】この発明の一実施形態の構成を示すブロック図
である。
である。
【図２】クラスタップの画素配置の一例の略線図であ
る。
る。
【図３】予測タップの画素配置の一例の略線図である。
【図４】一実施形態における付加情報および特徴量に基
づくクラスの一例を示す略線図である。
づくクラスの一例を示す略線図である。
【図５】この発明の一実施形態を説明するための略線図
である。
である。
【図６】クラス分類適応処理を行う場合の予測係数の学
習処理に係る構成の一例を示すブロック図である。
習処理に係る構成の一例を示すブロック図である。
【図７】学習処理をソフトウェアで行う時の処理を示す
フローチャートである。
フローチャートである。
【図８】この発明の他の実施形態の構成を示すブロック
図である。
図である。
【図９】他の実施形態における付加情報および特徴量に
基づくクラスの一例を示す略線図である。
基づくクラスの一例を示す略線図である。
【図１０】この発明の他の実施形態を説明するための略
線図である。
線図である。
１，２２・・・復号器、２，２３・・・付加情報抽出
部、３，２４・・・付加情報クラス生成部、４，２５・
・・領域切出し部、５，２６・・・予測タップデータ生
成部、６，２７・・・特徴量抽出部，７，２８・・・ク
ラスコード生成部、８・・・予測係数ＲＯＭ、９・・・
予測演算部
部、３，２４・・・付加情報クラス生成部、４，２５・
・・領域切出し部、５，２６・・・予測タップデータ生
成部、６，２７・・・特徴量抽出部，７，２８・・・ク
ラスコード生成部、８・・・予測係数ＲＯＭ、９・・・
予測演算部
Claims (26)
- 【請求項１】 符号化されたディジタル情報信号を復号
化することによって生成される入力ディジタル情報信号
に対して信号処理を施すようにしたディジタル信号処理
装置において、 入力ディジタル情報信号から複数のサンプルからなるク
ラスタツプ領域を抽出する第１の領域切出し手段と、 上記第１の領域切出し手段からのサンプルに基づいて特
徴量を抽出する特徴量抽出手段と、 上記特徴量および復号化処理用の付加情報に基づいてク
ラス情報を生成するクラス情報生成手段と、 予め決定された予測係数を記憶し、記憶した上記予測係
数の内から、上記クラス情報生成手段の出力に対応する
予測係数を出力する係数記憶手段と、 上記入力ディジタル情報信号から複数のサンプルからな
る予測タツプ領域を抽出する第２の領域切出し手段と、 上記第２の領域切出し手段で抽出された予測タツプ領域
の複数のサンプルと上記予測係数とに基づいて、予測演
算を行ってサンプル値を生成する演算処理手段とを有
し、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方を上記復号化処理用の付加情報に基づいて変更す
ることを特徴とするディジタル信号処理装置。 - 【請求項２】 請求項１において、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方の大きさを上記付加情報に基づいて変更するよう
にしたことを特徴とするディジタル信号処理装置。 - 【請求項３】 請求項１において、 上記クラスタツ領域および予測タツプ領域の少なくとも
一方の位置を上記付加情報に基づいて変更するようにし
たことを特徴とするディジタル信号処理装置。 - 【請求項４】 符号化されたディジタル画像信号を復号
化することによって生成される入力画像信号に対して信
号処理を施すようにしたディジタル画像信号処理装置に
おいて、 入力画像信号から複数の画素からなるクラスタツプ領域
を抽出する第１の領域切出し手段と、 上記第１の領域切出し手段からの画素データに基づいて
特徴量を抽出する特徴量抽出手段と、 上記特徴量および復号化処理用の付加情報に基づいてク
ラス情報を生成するクラス情報生成手段と、 予め決定された予測係数を記憶し、記憶した上記予測係
数の内から、上記クラス情報生成手段の出力に対応する
予測係数を出力する係数記憶手段と、 上記入力画像信号から複数の画素からなる予測タツプ領
域を抽出する第２の領域切出し手段と、 上記第２の領域切出し手段で抽出された予測タツプ領域
の複数の画素と上記予測係数とに基づいて、予測演算を
行って画素値を生成する演算処理手段とを有し、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方を上記復号化処理用の付加情報に基づいて変更す
ることを特徴とするディジタル画像信号処理装置。 - 【請求項５】 請求項４において、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方の大きさを上記付加情報に基づいて変更するよう
にしたことを特徴とするディジタル画像信号処理装置。 - 【請求項６】 請求項４において、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方の位置を上記付加情報に基づいて変更するように
したことを特徴とするディジタル画像信号処理装置。 - 【請求項７】 請求項４において、 上記付加情報が入力画像信号の種類を表す情報であるこ
とを特徴とするディジタル画像信号処理装置。 - 【請求項８】 請求項４において、 上記付加情報が入力画像信号のフォーマット情報である
ことを特徴とするディジタル画像信号処理装置。 - 【請求項９】 請求項４において、 上記付加情報が入力画像信号の画質情報であることを特
徴とするディジタル画像信号処理装置。 - 【請求項１０】 請求項４において、 上記付加情報が入力画像信号の動きベクトル情報である
ことを特徴とするディジタル画像信号処理装置。 - 【請求項１１】 請求項５または６において、 上記付加情報が上記入力画像信号の時間解像度および／
または空間解像度情報であることを特徴とするディジタ
ル画像信号処理装置。 - 【請求項１２】 請求項５または６において、 上記付加情報が上記画像信号のアスペクト情報であるこ
とを特徴とするディジタル画像信号処理装置。 - 【請求項１３】 請求項４において、 上記予測係数は、 教師信号と上記入力画像信号対応する生徒信号を用いて
予め生成されていることを特徴とするディジタル画像信
号処理装置。 - 【請求項１４】 請求項１３において、 上記予測係数は、 入力画像信号から複数の画素からなるクラスタツプ領域
を抽出する学習用の第１の領域切出し手段と、 上記第１の領域切出し手段からの画素データに基づいて
特徴量を抽出する学習用の特徴量抽出手段と、 上記特徴量および上記生徒信号に付随する復号化処理用
の付加情報に基づいてクラス情報を生成する学習用のク
ラス情報生成手段と、 上記生徒信号から複数の画素からなる予測タツプ領域を
抽出する学習用の第２の領域切出し手段と、 上記教師信号と、上記クラス情報生成手段の出力と、上
記第２の領域切出し手段の出力とに基づいて、正規方程
式を解くためのデータを生成する正規方程式演算手段
と、 上記正規方程式演算手段の出力に基づいて所定の演算処
理を行うことにより、上記予測係数を算出する予測係数
算出手段とによって決定され、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方を上記復号化処理用の付加情報に基づいて変更す
ることを特徴とするディジタル画像信号処理装置。 - 【請求項１５】 符号化されたディジタル情報信号を復
号化することによって生成される入力ディジタル情報信
号に対して信号処理を施すようにしたディジタル信号処
理方法において、 入力ディジタル情報信号から複数のサンプルからなるク
ラスタツプ領域を抽出する第１の領域切出しのステップ
と、 上記第１の領域切出しのステップで抽出されたサンプル
に基づいて特徴量を抽出する特徴量抽出のステップと、 上記特徴量および復号化処理用の付加情報に基づいてク
ラス情報を生成するクラス情報生成のステップと、 予め決定された予測係数を記憶し、記憶した上記予測係
数の内から、上記クラス情報に対応する予測係数を出力
するステップと、 上記入力ディジタル情報信号から複数のサンプルからな
る予測タツプ領域を抽出する第２の領域切出しのステッ
プと、 上記第２の領域切出しのステップで抽出された複数のサ
ンプルと上記予測係数とに基づいて、予測演算を行って
サンプル値を生成するステップとからなり、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方を上記復号化処理用の付加情報に基づいて変更す
ることを特徴とするディジタル信号処理方法。 - 【請求項１６】 符号化されたディジタル画像信号を復
号化することによって生成される入力画像信号に対して
信号処理を施すようにしたディジタル画像信号処理方法
において、 入力画像信号から複数の画素からなるクラスタツプ領域
を抽出する第１の領域切出しのステップと、 上記第１の領域切出しのステップで抽出された画素デー
タに基づいて特徴量を抽出する特徴量抽出のステップ
と、 上記特徴量および復号化処理用の付加情報に基づいてク
ラス情報を生成するクラス情報生成のステップと、 予め決定された予測係数を記憶し、記憶した上記予測係
数の内から、上記クラス情報に対応する予測係数を出力
するステップと、 上記入力画像信号から複数の画素からなる予測タツプ領
域を抽出する第２の領域切出しのステップと、 上記第２の領域切出しのステップで抽出された複数の画
素と上記予測係数とに基づいて、予測演算を行って画素
値を生成するステップとからなり、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方を上記復号化処理用の付加情報に基づいて変更す
ることを特徴とするディジタル画像信号処理方法。 - 【請求項１７】 請求項１５または１６において、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方の大きさを上記付加情報に基づいて変更するよう
にしたことを特徴とするディジタル画像信号処理方法。 - 【請求項１８】 請求項１５または１６において、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方の位置を上記付加情報に基づいて変更するように
したことを特徴とするディジタル画像信号処理方法。 - 【請求項１９】 請求項１６において、 上記付加情報が入力画像信号の種類を表す情報であるこ
とを特徴とするディジタル画像信号処理方法。 - 【請求項２０】 請求項１６において、 上記付加情報が入力画像信号のフォーマット情報である
ことを特徴とするディジタル画像信号処理方法。 - 【請求項２１】 請求項１６において、 上記付加情報が入力画像信号の画質情報であることを特
徴とするディジタル画像信号処理方法。 - 【請求項２２】 請求項１６において、 上記付加情報が入力画像信号の動きベクトル情報である
ことを特徴とするディジタル画像信号処理方法。 - 【請求項２３】 請求項１７または１８において、 上記付加情報が上記入力画像信号の時間解像度および／
または空間解像度情報であることを特徴とするディジタ
ル画像信号処理方法。 - 【請求項２４】 請求項１７または１８において、 上記付加情報が上記画像信号のアスペクト情報であるこ
とを特徴とするディジタル画像信号処理方法。 - 【請求項２５】 請求項１６において、 上記予測係数は、 教師信号と上記入力画像信号に対応する生徒信号を用い
て予め生成されていることを特徴とするディジタル画像
信号処理方法。 - 【請求項２６】 請求項１６において、 上記予測係数は、 入力画像信号から複数の画素からなるクラスタツプ領域
を抽出する学習用の第１の領域切出し手段と、 上記第１の領域切出し手段からの画素データに基づいて
特徴量を抽出する学習用の特徴量抽出手段と、 上記特徴量および上記生徒信号に付随する復号化処理用
の付加情報に基づいてクラス情報を生成する学習用のク
ラス情報生成手段と、 上記生徒信号から複数の画素からなる予測タツプ領域を
抽出する学習用の第２の領域切出し手段と、 上記教師信号と、上記クラス情報生成手段の出力と、上
記第２の領域切出し手段の出力とに基づいて、正規方程
式を解くためのデータを生成する正規方程式演算手段
と、 上記正規方程式演算手段の出力に基づいて所定の演算処
理を行うことにより、上記予測係数を算出する予測係数
算出手段とによって決定され、 上記クラスタツプ領域および予測タツプ領域の少なくと
も一方を上記復号化処理用の付加情報に基づいて変更す
ることを特徴とするディジタル画像信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000101544A JP4552263B2 (ja) | 2000-04-03 | 2000-04-03 | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000101544A JP4552263B2 (ja) | 2000-04-03 | 2000-04-03 | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001285870A true JP2001285870A (ja) | 2001-10-12 |
| JP2001285870A5 JP2001285870A5 (ja) | 2007-04-05 |
| JP4552263B2 JP4552263B2 (ja) | 2010-09-29 |
Family
ID=18615573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000101544A Expired - Fee Related JP4552263B2 (ja) | 2000-04-03 | 2000-04-03 | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4552263B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009152968A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 |
| CN109766089A (zh) * | 2018-12-15 | 2019-05-17 | 平安科技（深圳）有限公司 | 基于动图的代码生成方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07123291A (ja) * | 1993-10-26 | 1995-05-12 | Graphics Commun Lab:Kk | 駒数変換機能を有する画像信号処理装置 |
| JPH0974543A (ja) * | 1995-06-30 | 1997-03-18 | Sony Corp | 画像信号変換装置及び画像信号変換方法 |
| JPH1070709A (ja) * | 1996-08-26 | 1998-03-10 | Sony Corp | 画像信号変換装置および方法 |
| JPH1175180A (ja) * | 1997-06-16 | 1999-03-16 | Sony Corp | 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法 |
-
2000
- 2000-04-03 JP JP2000101544A patent/JP4552263B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07123291A (ja) * | 1993-10-26 | 1995-05-12 | Graphics Commun Lab:Kk | 駒数変換機能を有する画像信号処理装置 |
| JPH0974543A (ja) * | 1995-06-30 | 1997-03-18 | Sony Corp | 画像信号変換装置及び画像信号変換方法 |
| JPH1070709A (ja) * | 1996-08-26 | 1998-03-10 | Sony Corp | 画像信号変換装置および方法 |
| JPH1175180A (ja) * | 1997-06-16 | 1999-03-16 | Sony Corp | 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009152968A (ja) * | 2007-12-21 | 2009-07-09 | Sony Corp | 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体 |
| US8340404B2 (en) | 2007-12-21 | 2012-12-25 | Sony Corporation | Image processing device and method, learning device and method, program, and recording medium |
| CN109766089A (zh) * | 2018-12-15 | 2019-05-17 | 平安科技（深圳）有限公司 | 基于动图的代码生成方法、装置、电子设备及存储介质 |
| CN109766089B (zh) * | 2018-12-15 | 2023-05-30 | 平安科技（深圳）有限公司 | 基于动图的代码生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4552263B2 (ja) | 2010-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100518315C (zh) | 采用清晰度增强技术的空间可缩放的压缩方案的编解码器及方法 | |
| JP4114885B2 (ja) | 画像符号化装置、方法、及びプログラム | |
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| KR20060109247A (ko) | 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치 | |
| CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
| JP2014171097A (ja) | 符号化装置、符号化方法、復号装置、および、復号方法 | |
| JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
| US6577352B1 (en) | Method and apparatus for filtering chrominance signals of image | |
| JP2012235407A (ja) | 画像処理装置および画像処理方法 | |
| JP4552261B2 (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JP4552262B2 (ja) | ノイズ低減装置および方法 | |
| EP1198139A1 (en) | Method and apparatus for encoding video fields | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP4321468B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP2868445B2 (ja) | 動画像圧縮方法および装置 | |
| JP4552264B2 (ja) | エラー修整装置および方法 | |
| JPH0851598A (ja) | 画像情報変換装置 | |
| JP2003299096A (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される係数種データの生成装置および生成方法、係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4154772B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3906770B2 (ja) | ディジタル画像信号処理装置および方法 | |
| JP4140662B2 (ja) | 係数種データ生成装置および係数データ生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070219 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100705 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |