JP2004207802A - 画像データ処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】高品質の時間解像度創造を行うことができるようにする。
【解決手段】可変長復号部２０は、入力された符号化信号から量子化後ＤＣＴ係数を復号、抽出するとともに、それに付加されているサイドインフォメーションから、符号化情報を抽出する。クラス分類適応処理部３１−１乃至３１−３は、復号部１１から供給される入力信号、および、信号蓄積部３３から供給されるクリエーション信号を用い、符号化情報蓄積部３２から供給される符号化情報の動き補償用ベクトルの信頼度を求め、その信頼度が大きい動き補償用ベクトルを選択ベクトルとして選択し、クリエーション信号を生成する。本発明は、ＤＶＤ記録再生装置に適用することができる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像信号の品質をより向上させることができるようにした画像データ処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ＤＶＤ(Digital Versatile Disc)などの符号化画像において、映画などの２４Ｐ（Progressive）（毎秒２４フレーム）の画像を２−３プルダウンし、６０ｉ（Interlace）（毎秒６０フィールド）または６０Ｐ（毎秒６０フレーム）画像に変換する方法が知られている（例えば、特許文献１参照）。
【０００３】
また、フレーム数を増加させるのには、時間解像度の創造処理が行われる場合がある（例えば、特許文献２参照）。
【０００４】
従来、時間解像度の創造を行う場合、一旦生成されたクリエーション（画像）信号において動き補償用ベクトルを再度求め、その動き補償用ベクトルを利用して時間解像度の創造処理が行われていた。
【０００５】
【特許文献１】
特開平０７−１２３２９１号公報
【特許文献２】
特開２００２−１９９３４９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、生成されたクリエーション信号には既に符号化歪みが含まれているため、クリエーション信号から再度求めた動き補償用ベクトルを利用して時間解像度の創造を行う方法は、正確な動き量を算出することができず、したがって、高品質の時間解像度の創造を行うことができないという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画像信号の品質をより向上させることができるようにするものである。
【０００８】
【課題を解決するための手段】
第１の本発明の画像データ処理装置は、画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択手段と、第１の選択手段により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類手段と、クラス分類手段により分類されたクラスに基づいて、予測係数を選択する第２の選択手段と、注目領域の予測タップを構築する構築手段と、選択された予測係数と予測タップに基づいて、解像度創造信号を演算する演算手段とを備えることを特徴とする。
【０００９】
付加情報から、動き補償用ベクトルの複数の候補ベクトルを抽出する第１の抽出手段と、候補ベクトルの信頼度を算出する信頼度算出手段と、信頼度算出手段により算出された候補ベクトルの信頼度を評価する評価手段とをさらに備え、第１の選択手段は、評価手段により最も信頼度が大きいと評価された候補ベクトルを、注目領域の動き補償用ベクトルとして選択するようにすることができる。
【００１０】
信頼度算出手段は、注目領域の入力信号を再符号化する再符号化手段と、再符号化された信号から候補ベクトルに対応する再符号化ベクトルを抽出する第２の抽出手段と、候補ベクトルと、第２の抽出手段により抽出された再符号化ベクトルを比較することにより候補ベクトルの信頼度を算出する比較手段とを備えるようにすることができる。
【００１１】
信頼度算出手段は、候補ベクトルに対応する周辺ベクトルを抽出する周辺ベクトル抽出手段と、候補ベクトルと、周辺ベクトルとを比較することにより候補ベクトルの信頼度を算出する比較手段とを備えるようにすることができる。
【００１２】
信頼度算出手段は、候補ベクトルに対応するベクトルの履歴を抽出する履歴抽出手段と、候補ベクトルと、ベクトルの履歴から得られる過去の候補ベクトルと比較することにより候補ベクトルの信頼度を算出する比較手段とを備えるようにすることができる。
【００１３】
信頼度算出手段は、候補ベクトルに対応するベクトルの履歴を抽出する履歴抽出手段と、ベクトルの履歴から得られる候補ベクトルの動きの不連続性により候補ベクトルの信頼度を算出する不連続性評価手段とを備えるようにすることができる。
【００１４】
第２の抽出手段は、全画面の動き補償用ベクトルを抽出する抽出手段と、候補ベクトルと、全画面の動き補償用ベクトルと比較することにより候補ベクトルの信頼度を算出する比較手段とを備えるようにすることができる。
【００１５】
信頼度算出手段は、候補ベクトルの動き補償残差に基づいて候補ベクトルの信頼度を算出するようにすることができる。
【００１６】
第１の選択手段は、評価手段により最も信頼度が大きいと評価された候補ベクトルを、注目領域の動き補償用ベクトルとして選択できなかった場合、候補ベクトルのうち、動き補償残差が最も小さい候補ベクトルを注目領域の動き補償用ベクトルとして選択するようにすることができる。
【００１７】
第１の選択手段により選択された動き補償用ベクトルに基づいて、注目領域をタップ引き寄せするタップ引き寄せ手段をさらに備え、クラス分類手段は、タップ引き寄せ手段によりタップ引き寄せされた注目領域と、タップ引き寄せ手段によりタップ引き寄せされる前の注目領域の境界との位置関係に基づいて、注目領域を複数のクラスのうちの１つに分類するようにすることができる。
【００１８】
第１の本発明の画像データ処理方法は、画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択ステップと、第１の選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、クラス分類ステップの処理により分類されたクラスに基づいて、予測係数を選択する第２の選択ステップと、注目領域の予測タップを構築する構築ステップと、選択された予測係数と予測タップに基づいて、解像度創造信号を演算する演算ステップとを含むことを特徴とする。
【００１９】
第１の本発明の記録媒体のプログラムは、画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択ステップと、第１の選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、クラス分類ステップの処理により分類されたクラスに基づいて、予測係数を選択する第２の選択ステップと、注目領域の予測タップを構築する構築ステップと、選択された予測係数と予測タップに基づいて、解像度創造信号を演算する演算ステップとを含むことを特徴とする。
【００２０】
第１の本発明のプログラムは、画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択ステップと、第１の選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、クラス分類ステップの処理により分類されたクラスに基づいて、予測係数を選択する第２の選択ステップと、注目領域の予測タップを構築する構築ステップと、選択された予測係数と予測タップに基づいて、解像度創造信号を演算する演算ステップとをコンピュータに実行させることを特徴とする。
【００２１】
第２の本発明の画像データ処理装置は、生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択手段と、選択手段により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類手段と、選択手段により選択された動き補償用ベクトルに基づいて、注目領域の予測タップを構築し、クラス分類手段により分類されたクラスに基づいて、構築された予測タップに対応する教師データを用いて、予測係数を学習する学習手段とを備えることを特徴とする。
【００２２】
選択手段により選択された動き補償用ベクトルに基づいて、注目領域をタップ引き寄せするタップ引き寄せ手段をさらに備え、クラス分類手段は、タップ引き寄せ手段によりタップ引き寄せされた注目領域と、タップ引き寄せ手段によりタップ引き寄せされる前の注目領域の境界との位置関係に基づいて、注目領域を複数のクラスのうちの１つに分類するようにすることができる。
【００２３】
第２の本発明の画像データ処理方法は、生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択ステップと、選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域の予測タップを構築し、クラス分類ステップの処理により分類されたクラスに基づいて、構築された予測タップに対応する教師データを用いて、予測係数を学習する学習ステップとを含むことを特徴とする。
【００２４】
第２の本発明の記録媒体のプログラムは、生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択ステップと、選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域の予測タップを構築し、クラス分類ステップの処理により分類されたクラスに基づいて、構築された予測タップに対応する教師データを用いて、予測係数を学習する学習ステップとを含むことを特徴とする。
【００２５】
第２の本発明のプログラムは、生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択ステップと、選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、選択ステップの処理により選択された動き補償用ベクトルに基づいて、注目領域の予測タップを構築し、クラス分類ステップの処理により分類されたクラスに基づいて、構築された予測タップに対応する教師データを用いて、予測係数を学習する学習ステップとをコンピュータに実行させることを特徴とする。
【００２６】
第１の本発明においては、画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルが選択され、選択された動き補償用ベクトルに基づいて、注目領域が複数のクラスのうちの１つに分類される。そして、分類されたクラスに基づいて、予測係数が選択され、注目領域の予測タップが構築され、選択された予測係数と予測タップに基づいて、解像度創造信号が演算される。
【００２７】
第２の本発明においては、生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルが選択され、選択された動き補償用ベクトルに基づいて、注目領域が複数のクラスのうちの１つに分類される。選択された動き補償用ベクトルに基づいて、注目領域の予測タップが構築され、分類されたクラスに基づいて、構築された予測タップに対応する教師データを用いて、予測係数が学習される。
【００２８】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態について説明する。
【００２９】
図１は、本発明を適用した画像データ処理装置１の構成を表している。なお、画像データ処理装置１は、データを符号化するなど他の処理を実行する各種構成も有するが、図１の例では、説明の便宜上、省略されている。
【００３０】
画像データ処理装置１は、復号部１１とクリエーション部１２により構成される。この画像データ処理装置１においては、３０Ｐ（Progressive）（毎秒３０フレーム）画像のＭＰＥＧ（Moving Picture Experts Group）２方式の符号化信号が復号部１１で復号され、クリエーション部１２でタップ引き寄せにより時間解像度が創造されて、６０Ｐ（毎秒６０フレーム）画像が生成（クリエーション）される。
【００３１】
復号部１１は、可変長復号部２０、逆量子化部２１、ＩＤＣＴ(Inverse Discrete Cosine Transform)部２２、ピクチャ選択部２３、フレームメモリ２４、動き補償予測部２５、加算器２６およびパラメータ制御部２７により構成される。復号部１１においては、入力された符号化信号から、可変長復号部２０により量子化後ＤＣＴ係数が復号、分離、抽出されるとともに、それに付加され、サイドインフォメーションとして伝送されてきた量子化特性情報および符号化情報が、復号、分離、抽出される。
【００３２】
逆量子化部２１は、可変長復号部２０により抽出された量子化後ＤＣＴ係数および量子化特性情報を入力し、量子化特性情報に基づいて、量子化後ＤＣＴ係数を逆量子化し、ＤＣＴ係数を復元させる。ＩＤＣＴ（逆離散コサイン変換）部２２は、復元されたＤＣＴ係数を逆離散コサイン変換し、画素値を算出する。ＩＤＣＴ部２２の出力は、Ｉピクチャの場合は、実際の画素値となり、ＰまたはＢピクチャの場合は、対応する画素値間の差分値となる。
【００３３】
ピクチャ選択部２３は、可変長復号部２０により分離された符号化情報を入力し、符号化情報が、他のピクチャに参照されない（動き補償予測処理に用いられない）画像（Ｂピクチャ）であることを表す場合は、加算部２６からの画像信号をそのまま復号信号として出力し、他のピクチャに参照される（動き補償予測処理に用いられる）画像（ＩピクチャまたはＰピクチャ）であることを表す場合は、加算器２６からの画像信号を、そのまま復号信号として出力するとともに、フレームメモリ２４に供給し、蓄積させる。動き補償予測部２５は、フレームメモリ２４に記憶された画像データに動き補償用ベクトルに基づいて動き補償を行い、加算器２６は、ＩＤＣＴ部２２からの差分信号（ＰピクチャまたはＢピクチャの信号）に、動き補償予測部２５からの信号を加算し、ピクチャ選択部２３に出力する。
【００３４】
パラメータ制御部２７は、ユーザの操作に基づいた入力部４１６（図６２）からのパラメータＡを入力する。パラメータＡは、例えば、Volume値とされる。Volume値は、水平解像度と垂直解像度が同時に適切な値となるようにしたり、水平解像度、垂直解像度、並びにノイズ除去度の３者が同時に適切な値となるようにするなどの、画質調整のための値である。その詳細は、例えば、特開２００２−２１８４１４号に開示されている。また、パラメータ制御部２７は、可変長復号部２０により抽出された量子化特性情報の量子化スケールと、符号化情報のビットレートを用いて変換関数を演算することにより、パラメータＡからパラメータＢを求め、そのパラメータＢをクラス分類適応処理部３１−１乃至３１−３に供給する。
【００３５】
例えば、パラメータＡの「1.0」は、ビットレートが「10Mbps」であり、量子化スケールが「40」である場合の変換関数により演算され、パラメータＢの「1.00」とされる。また、パラメータＡの「1.0」は、ビットレートが「10Mbps」および量子化スケールが「20」である場合の変換関数により演算され、パラメータＢの「0.50」とされる。パラメータＡの「0.5」は、ビットレートが「10Mbps」であり、量子化スケールが「40」である場合の変換関数により、パラメータＢの「0.50」とされる。パラメータＡの「0.5」は、ビットレートが「10Mbps」であり、量子化スケールが「20」である場合の変換関数により、パラメータＢの「0.25」とされる。
【００３６】
すなわち、パラメータＢは、パラメータＡを、ビットレートおよび量子化スケールに応じて変換したものである。パラメータＡは、ユーザ（人間）から見た画質調整に必要な範囲の値をとるが、パラメータＢは、それにビットレートと量子化スケールが組み合わされるので、その範囲の値はパラメータＡより多くなる。その結果、より細かい調整が可能となる。
【００３７】
クリエーション部１２は、クラス分類適応処理部３１−１乃至３１−３、符号化情報蓄積部３２および信号蓄積部３３により構成される。クラス分類適応処理部３１−１乃至３１−３は、それぞれＩピクチャ、ＰピクチャおよびＢピクチャのクラス分類適応処理を実行するものであり、符号化情報蓄積部３２からの符号化情報に基づいて、ピクチャ選択部２３より供給された入力信号から、Ｉピクチャ、ＰピクチャまたはＢピクチャのデータを取り込む。それぞれは、処理するピクチャが異なる点を除いて、その構成は基本的に同じであるため、これらを個々に区別する必要がない場合、単にクラス分類適応処理部３１と称する。
【００３８】
クラス分類適応処理部３１は、復号部１１のピクチャ選択部２３から入力された復号信号（以下、入力信号と称する）、および、クラス分類適応処理部３１により出力され、信号蓄積部３３に一旦蓄積されたクリエーション信号を用いて、可変長復号部２０により抽出され、符号化情報蓄積部３２に蓄積された符号化情報の動き補償用ベクトルの信頼度を判定し、それに基づいて所定の動き補償用ベクトルを選択する。このように、信頼度の高い動き補償用ベクトルだけを用いることで、高品質の時間解像度処理が可能となる。クラス分類適応処理部３１は、選択された動き補償用ベクトル（選択ベクトル）に基づいて、注目画素（中央のタップ）のシフト量を演算し、入力信号およびクリエーション信号から、タップ引き寄せによりクラスタップを構築し、求められる特徴量に応じて、クラスを決定する。さらに、クラス分類適応処理部３１は、入力信号およびクリエーション信号から、タップ引き寄せにより予測タップを構築し、パラメータ制御部２７からのパラメータＢに対応する係数メモリ７１−０乃至７１−Ｎ（図２）内から、クラスに基づいて選択された予測係数データを用いて、予測タップに対して予測演算処理を実行し、時間解像度のクリエーション信号を生成し、出力する。
【００３９】
符号化情報蓄積部３２は、復号部１１の可変長復号部２０においてサイドインフォメーションから分離された、複数フレームの符号化情報を蓄積する。符号化情報は、例えば、動き補償用ベクトルなどにより構成される。これにより、クラス分類するときに、空間方向（同一フレーム内）はもとより時間方向（異なるフレーム間）においても、すなわち、時空間方向において、動き補償用ベクトルを参照することができるようになる。
【００４０】
信号蓄積部３３は、ピクチャ選択部２３より供給される入力信号と、クラス分類適応処理部３１において生成されたクリエーション信号を蓄積する。入力信号とクリエーション信号は、それぞれ時間的に、現在と過去という位置関係を有するものである。これにより、クラス分類時、または、予測タップ構築時に、時空間方向における信号を参照することができる。
【００４１】
図２は、図１のクラス分類適応処理部３１の第１の構成例を示している。
【００４２】
シフト量演算部５１は、候補ベクトル取得部６１およびシフト情報抽出部６２により構成される。候補ベクトル取得部６１は、注目画素に関連する動き補償用ベクトル（時間方向および空間方向の動き補償用ベクトル）を、符号化情報蓄積部３２に蓄積された符号化情報から取得する。
【００４３】
シフト情報抽出部６２は、復号部１１のピクチャ選択部２３より供給された入力信号および信号蓄積部３３に蓄積されたクリエーション信号を用いて、候補ベクトル取得部６１により取得された候補ベクトル（動き補償用ベクトル）のうち、注目画素に対応する候補ベクトルの信頼度を評価し、最も信頼度の大きいと判断される候補ベクトルを選択ベクトルとして選択する。そして、シフト情報抽出部６２は、選択ベクトルに基づいて、注目画素（中央のタップ）のシフト量を表すシフト情報、および、選択ベクトルの信頼度または動き補償残差などを、シフト量検出特徴量として検出し、クラス分類部５２および予測演算部５４に出力する。
【００４４】
クラス分類部５２は、復号部１１のピクチャ選択部２３より供給された入力信号、および、信号蓄積部３３から供給されたクリエーション信号を用いて、シフト情報抽出部６２から供給されたシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せによりクラスタップを構築し、クラスタップの特徴量を検出し、検出された特徴量に基づいてクラスコードを生成し、予測係数選択部５３に出力する。
【００４５】
予測係数選択部５３は、係数メモリ７１−０乃至７１−Ｎの中から、復号部１１のパラメータ制御部２７から供給されたパラメータＢに対応する係数メモリを選択する。そして、選択された係数メモリに予め記憶された予測係数データのうち、クラス分類部５２により生成されたクラスコードに対応する予測係数データを選択し、予測演算部５４に出力する。なお、この予測係数データは、図５１を参照して後述する学習装置３０１において算出されたものが、パラメータＢに応じて係数メモリ７１−０乃至７１−Ｎに予め記憶されたものである。
【００４６】
予測演算部５４は、復号部１１のピクチャ選択部２３より供給された入力信号、および、信号蓄積部３３より供給されたクリエーション信号を用いて、シフト情報抽出部６２から供給された中央のタップのシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより予測タップを構築し、その予測タップに基づいて、予測係数選択部５３からの予測係数データを用いて予測演算処理を実行し、時間解像度創造したクリエーション信号を生成し、出力する。
【００４７】
図３は、図２のシフト情報抽出部６２の第１の構成例を示している。
【００４８】
図３の例において、シフト情報抽出部６２は、信頼度判定部１０１と動き補償用ベクトル選択部１０２により構成されている。信頼度判定部１０１には、候補ベクトル取得部６１により取得された候補ベクトル群、復号部１１のピクチャ選択部２３より供給された入力信号、および、信号蓄積部３３より供給されたクリエーション信号が入力される。
【００４９】
信頼度判定部１０１の特徴量抽出部（信頼度演算部）１１１は、入力信号またはクリエーション信号を用いて、候補ベクトルの動き補償残差を算出することにより、候補ベクトルの信頼度を求める（例えば、動き補償残差が小さいものほど、信頼度は大きいと判定される）。または、特徴量抽出部１１１は、入力信号またはクリエーション信号を再符号化し、再符号化情報の中から候補ベクトルに対応する動き補償用ベクトルを抽出し、それらを比較することにより、候補ベクトルの信頼度を求める（例えば、両ベクトルの差の絶対値が小さいほど、信頼度が大きいと判定される）。なお、この処理については、図２６を参照して詳しく後述する。信頼度評価部１１２は、特徴量抽出部１１１により求められた候補ベクトルの信頼度が所定の基準値より大きいか否かを判断し、信頼度が基準値より大きいと判断された候補ベクトルを、有為な候補ベクトルとして、その信頼度とともに、動き補償用ベクトル選択部１０２に出力する。
【００５０】
動き補償用ベクトル選択部１０２は、再探索部１２１、特徴量抽出部１２２および動き補償用ベクトル決定部１２３により構成される。再探索部１２１は、入力信号またはクリエーション信号を用いて、信頼度評価部１１２により出力された有為な候補ベクトルの起点周辺、終点周辺または中点周辺を半画素単位で考慮して、加重平均などを求めることにより、より適した（より信頼度の高い）動き補償用ベクトルがあるか否かを再探索し、より適した動き補償用ベクトルがあった場合は、その動き補償用ベクトルを特徴量抽出部１２２に出力する（後述する図８、図２９の処理）。
【００５１】
特徴量抽出部（信頼度演算部）１２２は、再探索後の有為な候補ベクトル群とその信頼度に基づいて、入力信号またはクリエーション信号を用いて、候補ベクトルの動き補償残差を算出することにより、候補ベクトルの信頼度を求める。動き補償用ベクトル決定部１２３は、有為な候補ベクトル群の中から、最も信頼度の大きい候補ベクトルを、選択ベクトルとして選び、選択ベクトルに基づいて、注目画素（中央のタップ）のシフト量を求める。また、動き補償用ベクトル決定部１２３は、例えば、求められた候補ベクトルの信頼度または動き補償残差などのシフト量検出特徴量を、中央のタップのシフト量とともに、クラス分類部５２および予測演算部５４に出力する。
【００５２】
図４は、図２のクラス分類部５２の構成例を示している。
【００５３】
クラス分類部５２は、クラスタップ構築部１３１およびクラスコード生成部１３２により構成される。クラスタップ構築部１３１は、動き補償用ベクトル決定部１２３からのシフト量およびシフト量検出特徴量に基づいて、入力信号およびクリエーション信号から、タップ引き寄せにより生成画素を求め、クラス分類を行うために必要な、生成画素に対応するクラスタップ（画素）を構築し、クラスコード生成部１３２に出力する。
【００５４】
クラスコード生成部１３２は、シフト量およびシフト量検出特徴量に基づいて、クラスタップ構築部１３１により構築されたクラスタップの特徴量を抽出する。この特徴量としては、例えば、中央のタップのシフト量（方向、大きさ）、シフト量検出特徴量のうちの動き補償残差、シフト量検出特徴量のうちの動き補償用ベクトルの信頼度、または、タップ引き寄せ時におけるブロック境界のパターンなどがある。また、クラスコード生成部１３２は、抽出したクラスタップの特徴量に応じて、予め設定されたしきい値などに基づいて、生成画素のクラスを決定し、決定したクラスのクラスコードを生成し、予測係数選択部５３に出力する。
【００５５】
図５は、図２の予測演算部５４の構成例を示している。
【００５６】
予測演算部５４は、予測タップ構築部１４１および演算部１４２により構成される。予測タップ構築部１４１は、動き補償用ベクトル決定部１２３からのシフト量およびシフト量検出特徴量に基づいて、入力信号およびクリエーション信号から、タップ引き寄せにより生成画素を求め、生成画素に対応する予測タップ（画素）を構築し、演算部１４２に出力する。
【００５７】
演算部１４２は、動き補償用ベクトル決定部１２３からのシフト量およびシフト量検出特徴量に基づいて、予測タップ構築部１４１からの予測タップに対して、予測係数選択部５３により求められた予測係数データを乗算することで、予測演算処理を実行し、時間解像度のクリエーション信号を生成し、出力する。
【００５８】
次に、図６乃至図１０を参照して、本発明において行われる時間解像度の創造処理の原理を説明する。なお、図６乃至図１０の例においては、３０Ｐの画像を、時間解像度を創造し、６０Ｐの画像に変換するものとし、ＧＯＰ構造にＢピクチャを含まない（ＩＰＰＰＰ…という構造の）、Ｍ＝１の場合について説明する。
【００５９】
図６は、時刻ｔ，ｔ−１における各フレームを示している。図６の例においては、各フレームの仕切りは、マクロブロックを表している。まず、図６Ａに示されるように、時刻ｔの注目画素ａ１が属するマクロブロックｍ１が求められ、注目画素ａ１のマクロブロックｍ１のマクロブロックタイプ、予測方式、動き補償用ベクトルＭＶ_1-1がサイドインフォメーションの符号化情報から取得され、取得された予測方式に基づいて、時刻ｔ−１の参照画素ｂ１が求められる。
【００６０】
次に、図６Ｂに示されるように、求められた時刻ｔ−１の参照画素ｂ１から、動き補償用ベクトルＭＶ_1-2で動き補償（ＭＣ）した時刻ｔと時刻ｔ−１の中間の時刻ｔ−１／２の生成画素ｃ１が求められる（単純に求める場合には、ＭＶ_1-2＝（１／２）ＭＶ_1-1とされる）。以上のようにして、時刻ｔ−１／２（ｔ−１＜ｔ−１／２＜ｔ）における生成画素ｃ１が求められ、生成画素ｃ１により構成される中間フレームが生成される。すなわち、タップ引き寄せによる（その詳細な意味は、図４７を参照して後述する）時間解像度の創造が行われる。
【００６１】
また、Ｍ＝１の場合において、Ｉ，Ｐ，Ｐ，…，Ｐの順に並ぶＩピクチャまたはＰピクチャは、そのままの順番で表示されるので、図７に示されるように、３０Ｐ画像を、時間解像度を創造し、６０Ｐ画像に変換する場合においては、各Ｉピクチャを起点とし、Ｐピクチャを終点とした動き補償用ベクトルに基づいて動き補償が実行され、各ピクチャのフレームの間に中間フレームｆ１，中間フレームｆ２，…が生成されて表示される。
【００６２】
図７の例においては、上段にはビットストリーム内における順番に並ぶフレーム群が示されており、下段には、表示順に並ぶフレーム群が示されている。下段の表示順に並ぶ各ピクチャの下の矢印は、動き補償用ベクトルとして用いることのできる時間方向の候補ベクトルを示しており、矢印の起点が時間方向の候補ベクトルの起点のフレーム（参照画素により構成されるフレーム）であることを示し、矢印の終点が時間方向の候補ベクトルの終点のフレーム（注目画素により構成されるフレーム）であることを示している。また、矢印上に記載された数値（１／２）が、起点および終点のフレーム間において、中間フレームを生成するための動き補償用ベクトルを内分するための値を示している。すなわち、フレームと次のフレームの中間に新たなフレームが生成される場合、両者の間の動き補償用ベクトルの値を１／２倍した動き補償用ベクトルが用いられる。なお、この数値は中間フレームの生成位置により変更される。
【００６３】
さらに、より正確に時間解像度の創造を実行するためには、上述した処理に加えて、次に説明する処理が実行される。例えば、図８に示されるように、生成画素ｃ１（図６Ｂ）が求められた後に、参照画素ｂ１近傍の、例えば、５×５の画素ブロックＢＥ１において、注目画素ａ１の周辺の、例えば、３×３画素のブロックＡＥ１に基づいて、画素単位で再度ブロックマッチングが行われ、その中から適する参照画素が求められ、その参照画素と注目画素から、画素ｃ１が再度生成される（図３の再探索部１２１の処理）。
【００６４】
また、図９の例においては、図６の生成画素ｃ１と同様にして、時刻ｔの注目画素ａ２が属するマクロブロックｍ２（図９において、マクロブロックｍ１から２個分だけ左側のマクロブロック）が求められ、動き補償用ベクトルＭＶ_2-1がサイドインフォメーションの符号化情報から取得され、時刻ｔ−１の参照画素ｂ２が求められる。そして、求められた時刻ｔ−１の参照画素ｂ２から、動き補償用ベクトルＭＶ_2-2で動き補償した生成画素ｃ２が求められる（時刻ｔ−１／２）。この場合、図９に示されるように、時刻ｔ−１／２のマクロブロックｍ１とマクロブロックｍ２の間（ブロックの境界）に対応する部分には、動き補償できない範囲ｅができてしまう場合がある。
【００６５】
このような場合、図１０に示されるように、生成画素ｃ１を生成するときに、画素ｂ１の近傍のブロックＢＥ１を利用して、生成画素ｃ１の近傍の画素を含むブロックＣＥ１の画素（例えば、画素ｃ３）が生成される。このような処理を、マクロブロックｍ２においても行うことで、動き補償できない範囲ｅ内に画素を生成することができる。
【００６６】
以上のようにして、動き補償用ベクトルを用いて時間解像度の創造処理が実行される。しかしながら、クラス分類適応処理が行われない場合、動き部と静止部の境界では、動き補償用ベクトルが無理に算出されてしまうため、中間フレームの生成に悪影響を及ぼしてしまうことになる。また、予測フレーム（Ｂ，Ｐピクチャ）中のイントラブロックでは動き補償用ベクトルが存在しないため、時間解像度が創造できなくなる。さらに、動き補償用ベクトルは、１６×１６画素で構成されるマクロブロック単位にしか存在しないため、時間解像度創造の処理に失敗した場合、関連性のない他のブロックとの置き換えが発生して、画質が極端に劣化してしまう。
【００６７】
そこで、本発明においては、クラス分類適応処理を用いてクリエーション処理が行われる。
【００６８】
次に、動作について説明する。復号部１１の可変長復号部２０は、図示せぬ符号化装置から伝送されてきた符号化信号から量子化後ＤＣＴ係数を復号、分離するとともに、一緒に伝送されてきたサイドインフォメーションから、量子化特性情報を分離し、逆量子化部２１に出力する。逆量子化部２１は、量子化特性情報に基づいて量子化後ＤＣＴ係数を逆量子化する。ＩＤＣＴ部２２は、逆量子化部２１により逆量子化されたＤＣＴ係数をＩＤＣＴ処理し、元の信号を復号する。
【００６９】
動き補償予測部２５は、可変長復号部２０により復号、抽出された符号化情報に含まれる動き補償用ベクトルを用いて、フレームメモリ２４に記憶されている画像に動き補償を行い、加算器２６に出力する。加算器２６は、ＩＤＣＴ部２２より出力された信号に、動き補償予測部２５により動き補償された信号を加算することで、局部的に復号されたデータを生成し、ピクチャ選択部２３に供給する。ピクチャ選択部２３は、符号化情報に基づいて加算器２６からのデータを選択し、図示せぬ後段の装置に出力するとともに、局部的に復号されたデータのうち、必要なデータをフレームメモリ２４に供給し、記憶させる。
【００７０】
パラメータ制御部２７は、可変長復号部２０がサイドインフォメーションから復号、抽出した量子化特性情報と符号化情報に基づいて関数を演算し、その関数に基づいて、ユーザより入力されたパラメータＡを、パラメータＢに変換する。
【００７１】
信号蓄積部３３は、ピクチャ選択部２３が出力した入力信号を蓄積する。また、符号化情報蓄積部３２は、可変長復号部２０がサイドインフォメーションから復号、抽出した符号化情報を蓄積する。
【００７２】
クラス分類適応処理部３１−１，３１−２，３１−３は、クラス分類適応処理により、それぞれＩピクチャ、Ｐピクチャ、またはＢピクチャのフレームのクリエーション信号を創造し、出力する。
【００７３】
次に、図１１のフローチャートを参照して、本発明のクリエーション処理について説明する。なお、図１１においては、クリエーション処理の流れがわかるように、簡単に説明し、各ステップの処理の詳細については、図１２以降、順に説明する。
【００７４】
クラス分類適応処理部３１のシフト量演算部５１には、復号部１１のピクチャ選択部２３から供給された入力信号、信号蓄積部３３から供給されたクリエーション信号が入力される。この入力信号とクリエーション信号は、それぞれ時間的に、現在と過去という位置関係を有している。なお、クリエーション信号は複数フレームであってもよい。
【００７５】
シフト量演算部５１は、ステップＳ１において復号部１１のピクチャ選択部２３より入力信号が入力されるまで待機し、入力信号およびクリエーション信号が入力されると、ステップＳ２において、シフト量の算出処理を実行する（その詳細は、図１２のフローチャートを参照して後述する）。
【００７６】
ステップＳ３において、クラス分類部５２のクラスタップ構築部１３１は、復号部１１から供給される入力信号および信号蓄積部３３から供給されるクリエーション信号を入力し、動き補償用ベクトル決定部１２３から供給されるシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより生成画素を求め、生成画素に応じたクラスタップを構築する。
【００７７】
ステップＳ４において、クラスコード生成部１３２は、動き補償用ベクトル決定部１２３からのシフト量およびシフト量検出特徴量に基づいて、クラスタップ構築部１３１により構築されたクラスタップの特徴量を抽出する。
【００７８】
ステップＳ５において、クラスコード生成部１３２は、抽出したクラスタップの特徴量に応じて、予め設定されたしきい値などに基づいて、タップ（画素）のクラスを決定し、クラスコードを生成し、予測係数選択部５３に出力する。
【００７９】
ステップＳ６において、予測係数選択部５３は、復号部１１のパラメータ制御部２７から供給されたパラメータＢに対応する係数メモリ７１−０乃至７１−Ｎを選択し、その中の予め記憶された予測係数データのうち、クラス分類部５２により生成されたクラスコードに対応する予測係数データを選択し、予測演算部５４に出力する。
【００８０】
ステップＳ７において、予測演算部５４の予測タップ構築部１４１は、復号部１１からの入力信号および信号蓄積部３３に蓄積されているクリエーション信号を入力し、動き補償用ベクトル決定部１２３から供給されるシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより生成画素を求め、生成画素に応じた予測タップを構築し、その予測タップを演算部１４２に出力する。
【００８１】
ステップＳ８において、演算部１４２は、ステップＳ７において構築された予測タップに対して、予測係数選択部５３により選択された予測係数データを用いて予測演算処理を行い、時間解像度創造したクリエーション信号を生成し、出力する。
【００８２】
以上のようにして、本発明のクリエーション処理が実行され、時間解像度創造したクリエーション信号が生成される。
【００８３】
以下、上述した各ステップの処理について順に、詳しく説明する。なお、上述したステップＳ２の処理については、図１２乃至図４６を参照して詳しく説明し、ステップＳ３乃至Ｓ８の処理については、図４７乃至図５０を参照して詳しく説明する。
【００８４】
まず、図１２のフローチャートを参照して、図１１のステップＳ２におけるシフト量の算出処理を説明する。
【００８５】
ステップＳ２１において、シフト量演算部５１の候補ベクトル取得部６１は、符号化情報蓄積部３２から供給された符号化情報から、時間方向および空間方向の動き補償用ベクトルを、候補ベクトルとして取得する。
【００８６】
図１３および図１４を参照して、Ｍ＝３の場合（ＩＢＢＰＢＢ…の場合）の時間方向の動き補償用ベクトルについて説明する。図１３Ａは、通常の時間方向のフレームの並びを示し、図１３Ｂは、中間フレームを生成した場合の通常の時間方向のフレームの並びと動き補償用ベクトルの関係を示し、図１４Ａは、例外時の時間方向のフレームの並びを示し、図１４Ｂは、中間フレームを生成した場合の例外時の時間方向のフレームの並びと動き補償用ベクトルの関係を示す。Ｉ，Ｐ，Ｂの文字の後の数字は、表示時の順番を示す。
【００８７】
なお、図７の例と同様に、図１３Ｂおよび図１４Ｂにおいて、下段の表示順に並ぶ各ピクチャの下の横に向う矢印は、時間解像度の創造に用いることのできる（候補ベクトルとなり得る）時間方向の動き補償用ベクトルを示しており、矢印の起点が時間方向の動き補償用ベクトルの起点を示し、矢印の終点が時間方向の動き補償用ベクトルの終点を示している。また、矢印上に記載された数値が、起点および終点のフレーム間において、中間フレームを生成するための動き補償用ベクトルを内分するための値（重み付けのための値）を示しており、この数値は中間フレームの生成位置により変更される。
【００８８】
図１３Ａの例においては、上段に示されるビットストリーム内で最初のＩピクチャ（Ｉ３ピクチャ）に続く２つのＢピクチャ（Ｂ４，Ｂ５ピクチャ）が表示された後に、次のＰピクチャ（Ｐ６ピクチャ）が表示される。さらに、２つのＢピクチャ（Ｂ７，Ｂ８ピクチャ）が表示された後に、Ｉピクチャ（Ｉ９ピクチャ）が表示される。図７を参照して上述したＭ＝１の場合と異なり、上段のビットストリーム内のフレーム順（符号化順）（Ｉ３，Ｂ１，Ｂ２，Ｐ６，Ｂ４，Ｂ５，Ｉ９，Ｂ７，Ｂ８，…）と、下段の実際に表示されるときのフレーム順（Ｂ１，Ｂ２，Ｉ３，Ｂ４，Ｂ５，Ｐ６，Ｂ７，Ｂ８，Ｉ９，…）が異なる。
【００８９】
以上のような各ピクチャのフレーム間に、図６Ｂを参照して上述したようにして中間フレームを生成する。図１３Ｂの例においては、Ｉ３ピクチャのフレームとＢ４ピクチャのフレームの間に中間フレームｆ１１を生成する場合には、Ｉ３ピクチャを起点としＢ４ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の値、Ｉ３ピクチャを起点としＢ５ピクチャを終点とする時間方向の動き補償用ベクトルの１／４の値、および、Ｉ３ピクチャを起点としＰ６ピクチャを終点とする時間方向の動き補償用ベクトルの１／６の値のうちの少なくとも１つを用いることができる。
【００９０】
同様にして、Ｂ４ピクチャのフレームとＢ５ピクチャのフレームの間に中間フレームｆ１２を生成する場合には、Ｐ６ピクチャを起点としＢ４ピクチャを終点とする時間方向の動き補償用ベクトルの３／４の値、Ｉ３ピクチャを起点としＢ５ピクチャを終点とする時間方向の動き補償用ベクトルの３／４の値、および、Ｉ３ピクチャを起点としＰ６ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の値のうちの少なくとも１つを用いることができ、また、Ｂ５ピクチャのフレームとＰ６ピクチャのフレームの間に中間フレームｆ１３を生成する場合には、Ｐ６ピクチャを起点としＢ４ピクチャを終点とする時間方向の動き補償用ベクトルの１／４の値、Ｐ６ピクチャを起点としＢ５ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の値、および、Ｉ３ピクチャを起点としＰ６ピクチャを終点とする時間方向の動き補償用ベクトルの５／６の値のうち少なくとも１つを用いることができる。
【００９１】
さらに、Ｐ６ピクチャのフレームとＢ７ピクチャのフレームの間に中間フレームｆ１４を生成する場合には、Ｐ６ピクチャを起点としＢ７ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の値、および、Ｐ６ピクチャを起点としＢ８ピクチャを終点とする時間方向の動き補償用ベクトルの１／４の値のうちの少なくとも一方を用いることができる。Ｂ７ピクチャのフレームとＢ８ピクチャのフレームの間に中間フレームｆ１５を生成する場合には、Ｉ９ピクチャを起点としＢ７ピクチャを終点とする時間方向の動き補償用ベクトルの３／４の値、および、Ｐ６ピクチャを起点としＢ８ピクチャを終点とする時間方向の動き補償用ベクトルの３／４の値のうち少なくとも一方を用いることができる。また、Ｂ８ピクチャのフレームとＩ９ピクチャのフレームの間に中間フレームｆ１６を生成する場合には、Ｉ９ピクチャを起点としＢ７ピクチャを終点とする時間方向の動き補償用ベクトルの１／４の値、および、Ｉ９ピクチャを起点としＢ８ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の値のうちの少なくとも一方を用いることができる。
【００９２】
また、図１４Ａの例においては、最初にＩピクチャ（Ｉ１ピクチャ）が表示され、次にＢピクチャ（Ｂ２ピクチャ）が表示され、次にＰピクチャ（Ｐ３ピクチャ）が表示され。さらに、２つのＢピクチャ（Ｂ４，Ｂ５ピクチャ）が表示された後に、次のＰ６ピクチャが表示される。図１３Ａの例と同様に、上段のビットストリーム内のフレーム順（符号化順）（Ｉ１，Ｐ３，Ｂ２，Ｐ６，Ｂ４，Ｂ５，…）と下段の実際に表示されるときのフレーム順（Ｉ１，Ｂ２，Ｐ３，Ｂ４，Ｂ５，Ｐ６，…）が異なる。
【００９３】
以上のような各ピクチャのフレーム間に、図１３Ｂと同様にして中間フレームを生成する。図１４Ｂの例においては、Ｉ１ピクチャのフレームとＢ２ピクチャのフレームの間に中間フレームｆ２１を生成する場合には、Ｉ１ピクチャを起点としＢ２ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の値、および、Ｉ１ピクチャを起点としＰ３ピクチャを終点とする時間方向の動き補償用ベクトルの１／４の値のうちの少なくとも一方を用いることができる。Ｂ２ピクチャのフレームとＰ３ピクチャのフレームの間に中間フレームｆ２２を生成する場合には、Ｐ３ピクチャを起点としＢ２ピクチャを終点とする時間方向の動き補償用ベクトルの１／２の時間方向の値、および、Ｉ１ピクチャを起点としＰ３ピクチャを終点とする時間方向の動き補償用ベクトルの３／４の値のうちの少なくとも一方を用いることができる。
【００９４】
以上のように、Ｍ＝３の場合においては、Ｂピクチャに対応することにより、中間フレームを生成する際には、最大３個の時間方向に存在する複数の動き補償用ベクトルを時間解像度の創造に用いることができる。
【００９５】
以上、３０Ｐ画像を、時間解像度の創造により、６０Ｐ画像に変換する場合について説明したが、次に、図１５を参照して、起点および終点のフレーム間において、動き補償用ベクトルを内分するための値（重み付けのための値）を用いて、２４Ｐ画像を、時間解像度の創造により、６０Ｐ画像に変換する場合について説明する。
【００９６】
図１５は、時間方向のフレームの並びを示している。図１５の例においては、実線のフレームが、２４Ｐ画像における元フレームを示し、点線のフレームが、６０Ｐ画像のフレームを示している。各フレームに跨る矢印は、時間解像度の創造に用いることのできる（候補ベクトルとなり得る）時間方向の動き補償用ベクトルＭＶ０乃至ＭＶ４を示しており、矢印の起点が時間方向の動き補償用ベクトルの起点を示し、矢印の終点が時間方向の動き補償用ベクトルの終点を示している。また、各フレームの上部または下部に記載された数値が、起点および終点のフレーム間において、各フレームを生成するための動き補償用ベクトルを内分するための値（重み付けのための値）を示しており、この数値は、生成されるフレームの生成位置により変化する。
【００９７】
図１５Ａの例においては、２４Ｐ画像における６個の元フレームに基づいて、各動き補償用ベクトルを内分する値を用いて、時間解像度の創造が行われ、６０Ｐ画像の１５個のフレームが生成されている。図１５Ａの例の場合、第１の元フレームと第２の元フレームの間の動き補償用ベクトルＭＶ０の起点と終点の間においては、動き補償用ベクトルＭＶ０を５／１４に内分して（重み付けして）１枚のフレームが生成され、かつ、動き補償用ベクトルＭＶ０を５／７に内分して、次の１枚のフレームが生成される。第２の元フレームと第３の元フレームの間の動き補償用ベクトルＭＶ１の起点と終点の間においては、動き補償用ベクトルＭＶ１を１／１４に内分して、１枚のフレームが生成され、動き補償用ベクトルＭＶ１を３／７に内分して、次の１枚のフレームが生成され、かつ、動き補償用ベクトルＭＶ１を１１／１４に内分して、さらに次の１枚のフレーム生成される。
【００９８】
同様にして、第３の元フレームと第４の元フレームの間の動き補償用ベクトルＭＶ２の起点と終点の間においては、動き補償用ベクトルＭＶ２を１／７に内分して、１枚のフレームが生成され、動き補償用ベクトルＭＶ２を１／２に内分して、次の１枚のフレームが生成され、かつ、動き補償用ベクトルＭＶ２を６／７に内分して、さらに次の１枚のフレームが生成される。第４の元フレームと第５の元フレームの間の動き補償用ベクトルＭＶ３の起点と終点の間においては、動き補償用ベクトルＭＶ３を３／１４に内分して、１枚のフレームが生成され、動き補償用ベクトルＭＶ３を４／７に内分して、次の１枚のフレームが生成され、かつ、動き補償用ベクトルＭＶ３を１３／１４に内分して、さらに次の１枚のフレームが生成される。第５の元フレームと第６の元フレームの間の動き補償用ベクトルＭＶ４の起点と終点の間においては、動き補償用ベクトルＭＶ４を２／７に内分して、１枚のフレームが生成され、かつ、動き補償用ベクトルＭＶ４を９／１４に内分して、次の１枚のフレームが生成される。
【００９９】
以上のようにして、２４Ｐ画像における６個の元フレームに基づいて、それぞれの動き補償用ベクトルに基づいて時間解像度が創造され、６０Ｐ画像の１５個のフレームが生成される。
【０１００】
一方、図１５Ｂに示されるように、第１の元フレームと第６の元フレームを起点と終点とする動き補償用ベクトルに基づいて時間解像度創造が行われる場合には、それぞれ１／１４，２／１４，３／１４，…，１３／１４の重み付けにより、その間のフレームが生成される。もちろん、図１５Ａに示されるように、より短い動き補償用ベクトルを用いた方が、より連続性のある、なめらかな動きが実現される。
【０１０１】
ＤＶＤ（Digital Versatile Disk）などでは、２４Ｐの画像が記録されており、ＤＶＤプレーヤは、再生時、６０Ｐの画像に変換して再生している。この場合、上述したように、動き補償用ベクトルを内分する値を用いて、２４Ｐ画像を、時間解像度の創造により、６０Ｐ画像に変換することで、なめらかに変化する画像を再生することができる。
【０１０２】
図１６は、上述したようにして動き補償用ベクトルに重み付けをして時間解像度処理をした場合（図１６Ａ）と、２−３プルダウンの処理により時間解像度の創造を行った場合（図１６Ｂ）の動きの連続性を表している。
【０１０３】
図１６Ａは、図１５Ａに示されるように、各元フレーム間の動き補償用ベクトル重み付けをして時間解像度の創造を行った場合を表している。画像がなめらかに、連続的に変化している。
【０１０４】
これに対して、図１６Ｂに示されるように、２−３プルダウンの処理においては、１枚の元フレームから３枚の元フレームが生成されるので、その３枚のフレーム間では動きはないことになる。次の１枚の元フレームから２枚の元フレームが生成されるので、その２枚の元フレーム間でも動きがない。動きがあるのは、３枚単位と２枚単位の間だけである。したがって、図１６Ｂに示されるように、動きに連続性がなくなってしまう。このようにして生成された６０Ｐ画像を、さらに、時間解像度を創造しようとしても、不連続な動きを回復することは困難である。
【０１０５】
以上により、本発明においては、動き補償用ベクトルを内分するための値を用いて、２４Ｐ画像が、時間解像度が創造され、６０Ｐ画像に変換されるので、より連続性のある、なめらかな動きが実現される。
【０１０６】
次に、図１７を参照して空間方向の動き補償用ベクトルについて説明する。図１７は、横軸が水平方向、縦軸が垂直方向で示されたフレーム上に１６×１６画素で構成されるマクロブロックＱ０乃至Ｑ８を示している。
【０１０７】
図１７Ａの例においては、マクロブロックＱ０では空間方向の動き補償用ベクトルＭＶ０が対応され、マクロブロックＱ１では空間方向の動き補償用ベクトルＭＶ１が対応され、マクロブロックＱ２では空間方向の動き補償用ベクトルＭＶ２が対応され、マクロブロックＱ３では空間方向の動き補償用ベクトルＭＶ３が対応され、マクロブロックＱ５では空間方向の動き補償用ベクトルＭＶ５が対応され、マクロブロックＱ６では空間方向の動き補償用ベクトルＭＶ６が対応され、マクロブロックＱ７では空間方向の動き補償用ベクトルＭＶ７が対応され、マクロブロックＱ８では空間方向の動き補償用ベクトルＭＶ８が対応されている。
【０１０８】
しかしながら、マクロブロックＱ４は、イントラブロックであるため、空間方向の動き補償用ベクトルが対応されていない。
【０１０９】
そこで、図１７Ｂに示されるように、マクロブロックＱ４においては、周囲のマクロブロックＱ０乃至Ｑ８から得られる空間方向の動き補償用ベクトルを利用するようにする。例えば、マクロブロックＱ４の左上部の８×８画素のブロックにおいては、その左上のマクロブロックＱ０の動き補償用ベクトルＭＶ０，その上のマクロブロックＱ１の動き補償用ベクトルＭＶ１，その左のマクロブロックＱ３の動き補償用ベクトルＭＶ３が代わりに使用される。同様に、マクロブロックＱ４の右上部の８×８画素のブロックにおいては、その上のマクロブロックＱ１の動き補償用ベクトルＭＶ１，その右上のマクロブロックＱ２の動き補償用ベクトルＭＶ２，その右のマクロブロックＱ５の動き補償用ベクトルＭＶ５が代わりに使用され、マクロブロックＱ４の左下部の８×８画素のブロックにおいては、その左のマクロブロックＱ３の動き補償用ベクトルＭＶ３，その左下のマクロブロックＱ６の動き補償用ベクトルＭＶ６，その下のマクロブロックＱ７の動き補償用ベクトルＭＶ７が代わりに使用され、マクロブロックＱ４の右下部の８×８画素のブロックにおいては、その右のマクロブロックＱ５の動き補償用ベクトルＭＶ５，その下のマクロブロックＱ７の動き補償用ベクトルＭＶ７，その右下のマクロブロックＱ８の動き補償用ベクトルＭＶ８が代わりに使用される。これにより、動物体の境界あるいはイントラブロック周辺での画質が向上する。
【０１１０】
さらに、いまの場合、イントラブロックであるマクロブロックＱ４において説明したが、以上のことは他のマクロブロックにも適用することができる。したがって、空間方向において周囲のマクロブロックの動き補償用ベクトルを利用することにより、動き補償用ベクトルの精度を１６×１６画素単位から８×８画素単位に向上させ、その分、画質を向上させることができる。
【０１１１】
以上のようにして、時間方向および空間方向において、所定の複数の動き補償用ベクトルが取得される。
【０１１２】
図１２に戻って、候補ベクトル取得部６１が、取得したこれらの複数の時間方向および空間方向の動き補償用ベクトルを、候補ベクトルとして、シフト情報抽出部６２に出力すると、ステップＳ２２において、シフト情報抽出部６２の信頼度判定部１０１は、これら複数の時間方向および空間方向の候補ベクトルの中から、時間解像度創造（タップ引き寄せ）の際に利用するものを求めるため、信頼度判定処理を実行する。この信頼度判定処理を、図１８のフローチャートを参照して説明する。
【０１１３】
ステップＳ３１において、信頼度判定部１０１の特徴量抽出部１１１は、処理すべき候補ベクトルが存在するか否かを判断し、処理すべき候補ベクトルが存在すると判断した場合、ステップＳ３２において、特徴量抽出部１１１は、信頼度算出処理を実行する。この場合、特徴量抽出部１１１は、図１９に示されるように、動き補償残差算出部１６１と、動き補償残差評価部１６２により構成される。
【０１１４】
次に、この信頼度算出処理を、図２０のフローチャートを参照して説明する。
【０１１５】
ステップＳ４１において、動き補償残差算出部１６１は、図１１のステップＳ１において供給された復号部１１のピクチャ選択部２３からの入力信号および信号蓄積部３３からのクリエーション信号を用いて、候補ベクトル取得部６１より供給された候補ベクトルに対する動き補償残差を算出する。ステップＳ４２において、動き補償残差評価部１６２は、動き補償残差算出部１６１が算出した動き補償残差を、所定の基準値または他の候補ベクトルに対する動き補償残差と比較評価することにより、候補ベクトルの信頼度を求め、信頼度評価部１１２に出力し、処理は、図１８のステップＳ３３に進む。この比較評価により、例えば、動き補償残差の値が最小のものが高い評価が与えられる。
【０１１６】
図２１は、中央の人物が右に移動し、カメラがこれに追従して、右へ移動（パン）している場合の原画像の例を示している。図２１の例においては、人物の背景に丸や三角の模様を有する壁が存在する。カメラがパンしているので、この背景も、人物と同様に、右へ移動している。この原画像を用いて、図２０のステップＳ４１で候補ベクトルに対する動き補償残差が算出され、その動き補償残差のうち、動き補償残差が最小の値となる候補ベクトルが選択ベクトルとされ、その選択ベクトルに基づいて、時間解像度の創造が実行された場合、図２２に示されるような中間フレームの画像が生成される。なお、図２２において、Ｍ＝３である。
【０１１７】
図２２の例においては、図２１と比較すると、丸や三角の背景のエッジ部分、および、背景と人物の境界部分が、かなり破綻している。これは、Ｍ＝３の場合、Ｍ＝１に較べて、フレーム間の距離が長いことに起因する。この生成された中間フレームの画像、および、利用された動き補償用ベクトルの関係を比較することにより、暴れている動き補償用ベクトル（近傍の他の動き補償用ベクトルと大きさまたは方向が大きく異なっている動き補償用ベクトル）が、丸や三角の背景のエッジ部分、および、背景と人物の境界部分に悪影響を及ぼしていることがわかる。
【０１１８】
そこで、悪影響を及ぼす動き補償用ベクトルを使用せずに、図１８のステップＳ３３において動き補償用ベクトルの信頼度を予め判定を実行することにより、信頼度の大きいと判定された有為な動き補償用ベクトルのみを、時間解像度の創造に使用すれば、良好な画像の中間フレームの画像を生成することができる。
【０１１９】
すなわち、ステップＳ３３において、信頼度評価部１１２は、図２０のステップＳ４２において求められた候補ベクトルに対する信頼度が、予め設定された基準値よりも大きいか否かを判断し、候補ベクトルに対する信頼度が予め設定された基準値よりも大きいと判断した場合、ステップＳ３４において、信頼度評価部１１２は、候補ベクトルを有為な候補ベクトルとして、その信頼度とともに動き補償用ベクトル選択部１０２に出力する。その後、処理はステップＳ３１に戻り、それ以降の処理が繰り返される。
【０１２０】
ステップＳ３３において、候補ベクトルに対する信頼度が予め設定された基準値よりも小さいと判断された場合、ステップＳ３４の処理は実行されず（スキップされ）、ステップＳ３１に戻り、それ以降の処理が繰り返される。すなわち、信頼度が予め設定された基準値よりも小さい候補ベクトルは、悪影響を及ぼす動き補償用ベクトルとして、排除される。
【０１２１】
ステップＳ３１において、処理すべき候補ベクトルが存在しないと判断された場合、すなわち、すべての候補ベクトルに対する処理が終わったと判断された場合、処理は、図１２のフローチャートのステップＳ２３に進む。
【０１２２】
図２３は、図２１の原画像を用いて、動き補償残差が最小の値となる候補ベクトルを選択ベクトルとし、図２２の中間フレームの画像を生成した場合において、その選択ベクトルの信頼度を数値化し、図２１の原画像にマッピングした結果を示している。
【０１２３】
図２３の例においては、太い線で示されている部分（ブロック）ほど、そのブロックに対応する動き補償用ベクトルの信頼度がないことが示されている。図２１と図２３を比較すると、図２１において示されている人物（動物体）の身体の輪郭に沿って太い線が存在しており、人物の境界または背景の一部では動き補償用ベクトルの信頼度が足りない部分があることがわかる。これを利用することで、動物体の境界などを検出することができる。また、これにより、復号されたＭＰＥＧ２の画像において、動き補償用ベクトルの再検出（図２９を参照して後述する再検索部１２１における再探索）を行う場合に、優先的に、動き補償用ベクトル検出をしなければならない領域（図２３の例において太線で示される領域）、および動き補償用ベクトル検出する場合の、例えば、信頼度が高い部分はそのままとし、信頼度が低い部分は動き補償用ベクトルをもう一度求めるといった方針がわかる。
【０１２４】
これに対して、ステップＳ５３で信頼度を判定し、ステップＳ３４において信頼度の大きい有為な動き補償用ベクトルだけを用いるようにすれば、後述する図４６に示されるように、画像の輪郭部における劣化を抑制することができる。
【０１２５】
図２４は、図３の特徴量抽出部１１１の他の構成例を示している。
【０１２６】
図２４の例においては、特徴量抽出部１１１は、再符号化部１７１、抽出部１７２および評価部１７３により構成される。再符号化部１７１は、復号部１１から供給された入力信号、または、信号蓄積部３３から供給されたクリエーション信号を再符号化し、再符号化情報を取得する。
【０１２７】
抽出部１７２は、再符号化部１７１により取得された再符号化情報の中から、候補ベクトルに対応する動き補償用ベクトルを抽出する。評価部１７３は、候補ベクトルと、抽出部１７２により抽出された動き補償用ベクトルとを比較評価することにより、候補ベクトルの信頼度を求め、信頼度評価部１１２に出力する。
【０１２８】
図２５を参照して、図２４の特徴量抽出部１１１により実行される信頼度算出処理をさらに詳しく説明する。
【０１２９】
図２５に示されるように、図示せぬ符号化部は、原画の画像データを符号化することにより、ビットストリームＡと、動き補償用ベクトルＡを含んだ符号化情報（サイドインフォメーション）を生成する。また、可変長復号部２０（図１）は、ビットストリームＡを復号することにより、復号画Ａを生成する。再符号化部１７１は、可変長復号部２０より供給された復号画Ａ（入力信号）を再符号化することにより、ビットストリームＢと、動き補償用ベクトルＢを含んだ再符号化情報を生成する。このビットストリームＢは、図示せぬ復号部により復号されることにより復号画Ｂとなる。
【０１３０】
したがって、抽出部１７２は、再符号化部１７１により取得された再符号化情報の中から、候補ベクトルに対応する動き補償用ベクトルＢを抽出する。評価部１７３は、候補ベクトル取得部６１より候補ベクトルとして供給される動き補償用ベクトルＡと、抽出部１７２より供給される動き補償用ベクトルＢを比較する。例えば、動き補償用ベクトルＡの信頼度が高いとき、動き補償用ベクトルＢと比較しても、両者の誤差は、小さい。しかしながら、動き補償用ベクトルＡの信頼度が低いと、動き補償用ベクトルＡと動き補償用ベクトルＢの差が大きくなる。したがって、評価部１７３は、動き補償用ベクトルＡと動き補償用ベクトルＢの差が大きいとき、動き補償用ベクトルＡの信頼度が低いと判定することができる。これにより、図３の特徴量抽出部１２２により、信頼度が高いとされた動き補償用ベクトルＡから特徴量が抽出され、タップ引き寄せに使用される。
【０１３１】
以上のように、図２４の特徴量抽出部１１１において、動き補償用ベクトルＢは、動き補償用ベクトルＡの判定に使用するだけであり、タップ引き寄せには使用しておらず、タップ引き寄せに使用しているのは、動き補償用ベクトルＡだけである。したがって、図１の画像データ処理装置１においては、クリエーション信号から再度求められた動き補償用ベクトル（動き補償用ベクトルＢ）を利用して時間解像度創造を行っているわけではなく、サイドインフォメーション（符号化情報）の動き補償用ベクトル（動き補償用ベクトルＡ）を比較の対象として利用してクリエーション処理を行っているだけなので、高品質の時間解像度を行うことができる。
【０１３２】
次に、図２４の特徴量抽出部１１１により実行される信頼度算出処理を、図２６のフローチャートを参照して説明する。なお、この信頼度算出処理は、図１８のステップＳ３２の信頼度算出処理の他の例である。
【０１３３】
ステップＳ５１において、再符号化部１７１は、復号部１１から供給された入力信号、または、信号蓄積部３３から供給されたクリエーション信号を再符号化し、再符号化情報を取得する。
【０１３４】
ステップＳ５２において、抽出部１７２は、ステップＳ５１において再符号化部１７１により取得された再符号化情報の中から、候補ベクトルに対応する動き補償用ベクトルを抽出する。
【０１３５】
ステップＳ５３において、評価部１７３は、候補ベクトルと、ステップＳ５２において抽出部１７２により抽出された動き補償用ベクトルとを比較評価することにより、候補ベクトルの信頼度を求め、信頼度評価部１１２に出力する。
【０１３６】
図２７は、図２１の原画像を用いて、Ｐピクチャにおける候補ベクトルとそれに対応する再符号化情報の動き補償用ベクトルとの比較結果を示している。図２７の例の場合、黒いブロックほど、信頼度がなく、白いブロックほど信頼度が高いことが示されており、図２１において示されている人物（動物体）の身体の輪郭に沿って黒いブロックが多く存在しており、人物の境界または背景の一部では動き補償用ベクトルの信頼度が足りない部分があることがわかる。
【０１３７】
なお、図１８のステップＳ３３の信頼度判定処理においては、上述した２つの信頼度算出処理、または後述する信頼度算出処理により求められた信頼度の結果を組み合わせて（統合して）判定してもよいし、そのうちの１つの信頼度のみを判定するようにしてもよい。
【０１３８】
以上のようにして、信頼度判定処理が終了されると、次に、図１２のステップＳ２３において、動き補償用ベクトル選択部１０２は、信頼度評価部１１２により出力された有為な候補ベクトルの中から、動き補償用ベクトルの選択処理を実行する。この動き補償用ベクトルの選択処理を、図２８のフローチャートを参照して説明する。
【０１３９】
ステップＳ６１において、動き補償用ベクトル選択部１０２の再探索部１２１は、処理すべき候補ベクトルが存在するか否かを判断し、処理すべき候補ベクトルが存在すると判断した場合、ステップＳ６２において、再探索部１２１は、復号部１１から供給された入力信号および信号蓄積部３３から供給されたクリエーション信号を用いて、図２９に示されるように、有為な候補ベクトルに対する、動き補償用ベクトルの再探索処理を実行する。
【０１４０】
図２９の例においては、縦軸が時間方向、横軸が各フレームの水平方向を示しており、上から順に、図１３Ｂの各フレーム（Ｉ３，Ｂ４，Ｂ５，Ｐ６）が表示順に並び、それぞれのフレーム間に中間フレーム（ｆ１１，ｆ１２，ｆ１３）が生成されている。
【０１４１】
各フレーム上に跨る矢印は、有為な候補ベクトルを示しており、これらの候補ベクトルは、左から順に、中間フレームｆ１３を生成するために利用可能な３つの候補ベクトル（Ｐ６ピクチャを起点としＢ５ピクチャを終点とする候補ベクトル、Ｐ６ピクチャを起点としＢ４ピクチャを終点とする候補ベクトル、およびＩ３ピクチャを起点としＰ４ピクチャを終点とする候補ベクトル）、中間フレームｆ１２を生成するために利用可能な３つの候補ベクトル（Ｐ６ピクチャを起点としＢ４ピクチャを終点とする候補ベクトル、Ｉ３ピクチャを起点としＢ５ピクチャを終点とする候補ベクトル、およびＩ３ピクチャを起点としＰ６ピクチャを終点とする候補ベクトル）、および、中間フレームｆ１１を生成するために利用可能な３つの候補ベクトル（Ｉ３ピクチャを起点としＰ６ピクチャを終点とする候補ベクトル、Ｉ３ピクチャを起点としＢ５ピクチャを終点とする候補ベクトル、およびＩ３ピクチャを起点としＢ４ピクチャを終点とする候補ベクトル）である。
【０１４２】
また、各フレームにおいて、候補ベクトルを示す矢印の起点と接する位置が参照画素の位置であり、候補ベクトルを示す矢印の終点と接する位置が注目画素の位置であり、各中間フレーム上において候補ベクトルを示す矢印と交わる黒丸は、その候補ベクトルにより生成され得る生成画素の位置とされる。
【０１４３】
図２９に示されるように、各候補ベクトルの終点を元にして、各候補ベクトルの起点フレーム上の起点（参照画素）周辺ｐ１の動き補償用ベクトルの再探索が実行される。また、各候補ベクトルの起点を元にして、各候補ベクトルの終点フレーム上の終点（注目画素）周辺ｐ２の動き補償用ベクトルの再検索が実行される。さらに、起点フレームと終点フレームの間のフレームであって、各候補ベクトルにおける生成画素に近いフレーム（例えば、図２９の左から３番目の、Ｉ３ピクチャを起点としてＰ６ピクチャを終点とする候補ベクトルに関しては、間にＢ４フレームと、Ｂ５フレームがあり、生成画素（フレームｆ１３）に近いフレームは、Ｂ５ピクチャのフレームとなる）上の中点周辺ｐ３を元に、各候補ベクトルの起点周辺ｐ１および終点周辺ｐ２の動き補償用ベクトルの再探索が実行される。
【０１４４】
より詳細に説明すると、図３０に示されるように、候補ベクトルの起点周辺ｐ１、終点周辺ｐ２、または中点周辺ｐ３においては、大きい円の図形で表される画素単位だけでなく、小さい円の図形で表される半画素単位を考慮して、加重平均などを求めることで、より適応する動き補償用ベクトルが探索される。すなわち、候補ベクトルの起点周辺ｐ１、終点周辺ｐ２、または中点周辺ｐ３の画素および半画素（画素と画素の間の位置）において、候補ベクトルに対応する最適な動き補償用ベクトルが再探索された場合、それが候補ベクトルとして、特徴量抽出部１２２に出力される。最適な動き補償用ベクトルが再探索されない場合、信頼度評価部１１２より供給された候補ベクトルが、そのまま特徴量抽出部１２２に出力される。
【０１４５】
以上のようにして、有為な候補ベクトルの再探索を実行することにより、より適した候補ベクトルが取得される。その結果、より高画質の画像を生成することができる。
【０１４６】
次に、図２８のステップＳ６３において、特徴量抽出部１２２は、信頼度算出処理を実行する。この信頼度算出処理は、上述した図１８のステップＳ３２における信頼度算出処理（図２０または図２６の処理）と同様であり、その説明は繰り返しになるので省略する。
【０１４７】
すなわち、動き補償用ベクトル選択処理においては、再度、信頼度算出処理が実行される。なお、この場合、図１８の信頼度判定処理（信頼度判定部１０１の特徴量抽出部１１１）と同じ信頼度算出処理を再度繰り返すようにしてもよいし、例えば、信頼度判定処理において、動き補償残差による信頼度算出処理（動き補償用ベクトル選択部１０２の特徴量抽出部１２２）を行い、動き補償用ベクトル選択処理において、再符号化による候補ベクトルに対応する動き補償用ベクトルを抽出し、比較評価による信頼度算出処理を行う（または、その逆）というように、異なる信頼度算出処理を実行させるようにしてもよいし、または、いずれにおいても両方の信頼度算出処理を実行するようにしてもよい。
【０１４８】
例えば、いまの場合、図２８のステップＳ６３において、再符号化による候補ベクトルに対応する動き補償用ベクトルを抽出し、比較評価による信頼度算出処理が行われると、ステップＳ６４において、動き補償用ベクトル決定部１２３は、その信頼度が一番大きい候補ベクトルを、注目画素の選択ベクトルとして選択する。
【０１４９】
ステップＳ６５において、動き補償用ベクトル決定部１２３は、選択ベクトルを選択できたか否かを判断する。ステップＳ６５において、選択ベクトルを選択できなかったと判断された場合、すなわち、信頼度が一番大きい候補ベクトルが絞り込めない場合、動き補償用ベクトル決定部１２３は、ステップＳ６６において、特徴量抽出部１２２を制御し、入力信号およびクリエーション信号を用いて、候補ベクトルに対する動き補償残差を求めさせ、ステップＳ６７において、動き補償残差が最小となる候補ベクトルを、選択ベクトルとして選択する。
【０１５０】
ステップＳ６１において、候補ベクトルが存在しないと判断された場合、ステップＳ６５において、選択ベクトルを選択できたと判断された場合、または、ステップＳ６７において、選択ベクトルが選択された後、処理は、図１２に戻る。図１２のステップＳ２４において、動き補償用ベクトル決定部１２３は、選択ベクトルに基づいて、注目画素（中央のタップ）のシフト量を算出する。このシフト量の算出については、図４７を参照して後述する。
【０１５１】
ステップＳ２５において、動き補償用ベクトル決定部１２３は、ステップＳ２４において算出されたシフト量、およびシフト量検出特徴量を、クラス分類部５２および予測演算部５４に出力する。このとき出力されるシフト量検出特徴量は、例えば、選択された選択ベクトルの信頼度とされる。なお、特徴量抽出部１２２により、選択ベクトルに対する動き補償残差が求められていた場合においては、シフト量検出特徴量として、動き補償残差も出力される。
【０１５２】
以上により、時間的および空間的に複数存在する動き補償用ベクトルのうち、最も信頼度のある動き補償用ベクトルが、注目画素の選択ベクトルとして選択され、その選択ベクトルに基づいて中央のタップ（注目画素）のシフト量が算出される。
【０１５３】
図３１は、図２のシフト情報抽出部６２の第２の構成例を示している。なお、図３における場合と対応する部分については、同一の符号を付してある。すなわち、図３１のシフト情報抽出部６２は、基本的に、図３における場合と同様に構成されている。ただし、図３１の信頼度判定部１０１には、図３のシフト情報抽出部６２の信頼度判定部１０１と異なり、復号部１１からの入力信号と、信号蓄積部３３からのクリエーション信号が供給されず、候補ベクトル取得部６１からの候補ベクトル群だけが供給される。
【０１５４】
したがって、図３１の特徴量抽出部１１１は、入力信号およびクリエーション信号を信頼度算出のために利用できないので、候補ベクトルと、その周辺の動き補償用ベクトルと比較することにより、候補ベクトルの信頼度を求める。
【０１５５】
図３２は、図３１の特徴量抽出部１１１の構成例を示している。
【０１５６】
図３２の例においては、特徴量抽出部１１１は、周辺ベクトル抽出部１８１および比較部１８２により構成される。周辺ベクトル抽出部１８１は、動き補償用ベクトルの中から、候補ベクトルに対応する周辺の動き補償用ベクトル（以下、周辺ベクトルと称する）を抽出する。比較部１８２は、候補ベクトルと、周辺ベクトル抽出部１８１により抽出された周辺ベクトルを比較評価することにより信頼度を求め、信頼度評価部１１２に出力する。
【０１５７】
図３１の信頼度判定部１０１により実行される信頼度判定処理は、ステップＳ３２の信頼度算出処理が異なる点を除いて、図１８を参照して説明した信頼度判定処理と同様の処理となるため、その説明は繰り返しになるので、図示、および説明を省略する。したがって、異なっている図１８のステップＳ３２（図２０および図２６）の信頼度算出処理の他の例だけを、図３３のフローチャートを参照して説明する。
【０１５８】
ステップＳ７１において、周辺ベクトル抽出部１８１は、動き補償用ベクトルの中から、候補ベクトルに対応する周辺ベクトルを抽出する。この周辺ベクトルは、空間的に複数存在する動き補償用ベクトルである。具体的には、候補ベクトル取得部６１により取得された動き補償用ベクトルの中から、空間的に複数存在する動き補償用ベクトルが抽出される。
【０１５９】
ステップＳ７２において、比較部１８２は、候補ベクトルと、ステップＳ７１において周辺ベクトル抽出部１８１により抽出された周辺ベクトルを比較評価することにより信頼度を求め、信頼度評価部１１２に出力する。
【０１６０】
図３４および図３５は、図２１の原画像を用いて、Ｂピクチャ（図３４）およびＰピクチャ（図３５）における候補ベクトルと、それに対応する周辺ベクトルの差分絶対値和を用いて信頼度を数値化し（周辺ベクトルとの差分絶対値和が小さい候補ベクトルほど、信頼度が大きい）、画像にマッピングした結果をそれぞれ示している。
【０１６１】
図３４および図３５の例においては、黒いブロックほど、周辺に比べて、候補ベクトルが暴れており、信頼度がないことを表している。また、図３４に示されるように、Ｂピクチャのフレームにおいては、動物体の境界背景などで、いくつかばらついているが、図３５に示されるように、Ｐピクチャのフレームでは、そのばらつきの傾向が、図３４の場合に較べて、より大きく表れている。これは、図１３Ｂに示されるように、Ｐピクチャのフレームは、Ｂピクチャのフレームに較べて、基準となるＩピクチャからの時間的距離が長いことに起因する。
【０１６２】
以上のように、候補ベクトルを周辺ベクトルと比較することによっても信頼度の評価が得られるので、この評価の結果に基づいて、図１８のステップＳ３３において信頼度が大きいか否かの判定処理が実行される。
【０１６３】
図３６は、図３１の特徴量抽出部１１１の他の構成例を示している。
【０１６４】
図３６の例においては、特徴量抽出部１１１は、履歴抽出部１９１および比較部１９２により構成される。履歴抽出部１９１は、候補ベクトル取得部６１により取得された動き補償用ベクトルから、時間的に前方向または後方向に存在する複数の動き補償用ベクトルを求め、ベクトルの履歴を抽出する。比較部１９２は、候補ベクトルと、ベクトルの履歴から取得された、候補ベクトルに対応する過去の動き補償用ベクトル（以下、過去ベクトルと称する）または、未来の動き補償用ベクトル（以下、未来ベクトルと称する）と比較評価することにより信頼度を求め、信頼度評価部１１２に出力する。
【０１６５】
図３６の特徴量抽出部１１１により実行される信頼度算出処理を、図３７のフローチャートを参照して説明する。
【０１６６】
ステップＳ８１において、履歴抽出部１９１は、候補ベクトルに対応するベクトルの履歴を抽出する。具体的には、履歴抽出部１９１は、候補ベクトル取得部６１により取得された動き補償用ベクトルから、時間的に前方向または後方向に存在する複数の動き補償用ベクトルを求め、ベクトルの履歴を抽出する。
【０１６７】
ステップＳ８２において、比較部１９２は、ステップＳ８１において履歴抽出部１９１により抽出されたベクトルの履歴に基づいて、候補ベクトルと、候補ベクトルに対応する過去ベクトル、または、未来ベクトルと比較評価することにより信頼度を求め（例えば、過去ベクトル（または未来ベクトル）との差分絶対値和が小さい候補ベクトルほど信頼度が大きい）、信頼度評価部１１２に出力する。
【０１６８】
図３８は、図３１の特徴量抽出部１１１のさらに他の構成例を示している。
【０１６９】
図３８の例においては、特徴量抽出部１１１は、履歴抽出部２０１および不連続性評価部２０２により構成される。履歴抽出部２０１は、履歴抽出部１９１と同様に、候補ベクトル取得部６１により取得された動き補償用ベクトルから、時間的に前方向または後方向に存在する複数の動き補償用ベクトルを求め、ベクトルの履歴を抽出する。不連続性評価部２０２は、ベクトルの履歴から取得された候補ベクトルに対応する動きの不連続性を評価することにより信頼度を求め、信頼度評価部１１２に出力する。
【０１７０】
図３８の特徴量抽出部１１１により実行される信頼度算出処理を、図３９のフローチャートを参照して説明する。
【０１７１】
ステップＳ９１において、履歴抽出部２０１は、候補ベクトルに対応するベクトルの履歴を抽出する。ステップＳ９２において、不連続性評価部２０２は、ステップＳ９１においてベクトルの履歴から取得された候補ベクトルに対応する動きの不連続性を評価することにより信頼度を求め（例えば、連続性があるほど、信頼度が大きい）、信頼度評価部１１２に出力する。
【０１７２】
上述した図３６（図３７）および図３８（図３９）の処理について、図４０を参照してさらに説明する。図４０の例においては、縦軸は、時間方向を示しており、Ｉ３，Ｂ４，Ｂ５，Ｐ６，…と、図中下方へ行くほど時間が経過する。また、横軸は、各フレームの水平方向を示している。
【０１７３】
この例の場合、Ｂ４フレーム上の１２個の任意の画素において、順方向（過去）ベクトル（Ｉ３ピクチャを起点としＢ４ピクチャを終点とする動き補償用ベクトル）および逆方向(未来)ベクトル（Ｐ６ピクチャを起点としＢ４ピクチャを終点とする動き補償用ベクトル）により構成される双方向ベクトル（ベクトルの履歴）が示されている。
【０１７４】
図４０の例の場合、左から３番目の逆方向ベクトルに注目すると、この３番目の逆方向ベクトルだけが他の逆方向ベクトルと交差しており（方向が大きく異なっており）、この逆方向ベクトルが暴れているベクトルであることがわかる。
【０１７５】
以上のように、候補ベクトルに対応する双方向ベクトルの傾向に注目し、順方向ベクトルまたは逆方向ベクトル（過去ベクトルまたは未来ベクトル）と比較することにより、ばらついている候補ベクトルを検出することができ、また、候補ベクトルに対応する双方向ベクトルの傾向に注目し、動きの不連続性を評価することにより、候補ベクトルの変化点を検出することができる。
【０１７６】
図４１は、図３１の特徴量抽出部１１１のさらに他の構成例を示している。
【０１７７】
図４１の例においては、特徴量抽出部１１１は、抽出部２１１および比較部２１２により構成される。抽出部２１１は、候補ベクトル取得部６１より供給された符号化情報の動き補償用ベクトルの中から、画面全体における動き補償用ベクトル（以下、全画面ベクトルと称する）を抽出する。比較部２１２は、候補ベクトルと、抽出部２１１により抽出された全画面ベクトルを比較評価することにより信頼度を求め、信頼度評価部１１２に出力する。
【０１７８】
図４１の特徴量抽出部１１１により実行される信頼度算出処理を、図４２のフローチャートを参照して説明する。
【０１７９】
ステップＳ１０１において、抽出部２１１は、全画面ベクトルを抽出する。具体的には、抽出部２１１は、候補ベクトル取得部６１から供給された符号化情報の動き補償用ベクトルに基づいて、例えば、１画面の全ての動き補償用ベクトルの平均値を演算することで、全画面ベクトルを抽出する。ステップＳ１０２において、比較部２１２は、候補ベクトルと、ステップＳ１０１において抽出された全画面ベクトルを比較評価することにより信頼度を求め、信頼度評価部１１２に出力する。この場合においても、例えば、全画面ベクトルとの差分絶対値和が小さい候補ベクトルほど、信頼度が大きいとされる。
【０１８０】
以上のように、候補ベクトルを、全画面の動き補償用ベクトルと比較評価して信頼度を求めることができる。また、図示しないが、候補ベクトルのバラツキを求めるためには、上述した周辺ベクトル、全画面ベクトルまたはベクトルの履歴の他にも、半画素におけるベクトルに関する信頼度を求め、その信頼度に基づいた統計量などから信頼度判定処理を実行するようにしてもよい。さらに、上記説明においては、信頼度判定処理を１つの算出処理で求められた評価度により判定するようにしたが、上述した信頼度算出処理で求められた信頼度を組み合わせた統計量から判定するようにすることもできる。
【０１８１】
次に、図４３は、図２のシフト情報抽出部６２の第３の構成例を示している。なお、図３における場合と対応する部分については、同一の符号を付してある。すなわち、図４３のシフト情報抽出部６２は、基本的に、図３における場合と同様に構成されている。ただし、図４３の例の動き補償用ベクトル選択部２０１は、図３のシフト情報抽出部６２の動き補償用ベクトル選択部１０２と異なり、復号部１１および信号蓄積部３３から、入力信号およびクリエーション信号は入力されず、信頼度判定部１０１から有為な候補ベクトル群とその信頼度だけが入力される。
【０１８２】
すなわち、動き補償用ベクトル選択部２０１は、有為な候補ベクトルを、図３１の信頼度判定部１０１と同様にして、その候補ベクトルに対応する他の動き補償用ベクトル（例えば、周辺ベクトルまたは過去ベクトルなど）と比較することにより、候補ベクトルのうち、最も信頼度の大きい候補ベクトルを選択ベクトルとして選ぶ。
【０１８３】
図４３の動き補償用ベクトル選択部２０１により実行される動き補償用ベクトル選択処理を図４４のフローチャートを参照して説明する。なお、図４４のステップＳ１１１乃至Ｓ１１３は、図２８のステップＳ６１，Ｓ６３，Ｓ６４の処理と同様の処理である（図４４の処理は、図２８のステップＳ６２、ステップＳ６５乃至Ｓ６７が除かれている点、および、ステップＳ１１２の信頼度算出処理がステップＳ６３の処理と異なる点を除いて、図２８の動き補償用ベクトル選択処理と同様の処理である）。さらに、図４４のステップＳ１１２の信頼度算出処理は、図３３、図３７、図３９および図４２を参照して説明した信頼度算出処理と同様であり、その説明は繰り返しになるので省略する。
【０１８４】
すなわち、上述したように、動き補償用ベクトル選択部２０１には、信頼度判定部１０１からの有為な候補ベクトル群だけが入力され、入力信号およびクリエーション信号は入力されないため、入力信号およびクリエーション信号を用いて実行される候補ベクトルの再探索（図２８のステップＳ６２）、および、動き補償残差の算出などの信頼度算出処理（図２０または図２６）は行われず、ステップＳ１１２の信頼度算出処理においては、入力信号およびクリエーション信号を用いずに、候補ベクトル群を用いて、候補ベクトルに対応する他の動き補償用ベクトル（例えば、周辺ベクトル、過去ベクトル）との比較により評価する処理である図３３、図３７、図３９および図４２の信頼度算出処理が実行され、ステップＳ１１３において、信頼度が最も大きい候補ベクトルが選択ベクトルとして選択され、動き補償用ベクトル選択処理は終了される。
【０１８５】
なお、図４４の動き補償用ベクトル選択処理においては、入力信号およびクリエーション信号が利用されないので、図２８におけるステップＳ６５乃至Ｓ６７の処理がない。したがって、ステップＳ１１３において、候補ベクトルの中から信頼度が最も大きい候補ベクトル（動き補償用ベクトル）が絞りきれない場合は、選択ベクトルは選択されず、図１２のステップＳ２４およびＳ２５では、シフト量もシフト量検出特徴量も算出されない。すなわち、ステップＳ１１３において、候補ベクトルの中から信頼度が最も大きい候補ベクトルが絞りきれない場合の以降の処理は、図５９のフローチャートを参照して後述するフレーム内処理（他のピクチャを参照しない処理（動き補償予測処理を実行しない処理））の場合のクリエーション処理（ステップＳ２０２以降の処理）と同様の処理が実行される。
【０１８６】
なお、上述した信頼度判定処理および動き補償用ベクトル選択処理において実行される信頼度算出処理の組み合わせは、同様の処理を繰り返し用いるようにしてもよいし、異なる処理の組み合わせとしてもよい。また、組み合わせの数もいくつも組み合わせるようにしてもよい。
【０１８７】
図４５は、図２１の原画像を用いて、以上のようにして実行される信頼度算出処理のうち、候補ベクトルと周辺ベクトルとの比較評価（図３３）の結果、および、入力信号を再符号化し、候補ベクトルと再符号化情報からの動き補償用ベクトルとの比較評価（図２６）の結果を評価値として用い、値が小さい候補ベクトルを選択ベクトルとして選択し、時間解像度の創造を実行した中間フレームの画像を示している。
【０１８８】
図４５の例においては、図２２の例と比較して、特に人物（動物体）との境界などの画素の破綻が抑制され、かなり改善されていることがわかる。
【０１８９】
また、図４６は、図２１の原画像を用いて、図４５の例の場合と同様の信頼度評価を実行し、信頼度のある候補ベクトルを選択ベクトルとし、それに基づいて、中間フレームの画像を生成した場合において、その選択ベクトルの信頼度を数値化し、その中間フレームの画像にマッピングした結果を示している。
【０１９０】
図４６の例においては、輪郭が黒く、太いほど、信頼度がないことが示されており、人物の身体の輪郭は、細く、薄くなっており、動き補償残差が最小の値となる候補ベクトルを選択ベクトルとして中間フレームの画像を生成した場合（図２３）よりも、人物（動物体）の境界または背景の一部では動き補償用ベクトルの信頼度があることがわかる。これにより、用いられた動き補償用ベクトル自体がかなり安定していることがわかる。
【０１９１】
以上のようにして、時間的および空間的な動き補償用ベクトルの信頼度評価が実行され、有為な動き補償用ベクトルのみを選択するようにしたので、生成される中間フレームの画質が改善される。
【０１９２】
また、動き補償用ベクトル決定部１２３により選択された選択ベクトルに対応する中央のタップ（注目画素）のシフト量だけでなく、シフト量検出特徴量（例えば、動き補償用ベクトルの信頼度または動き補償残差）が、クラス分類部５２および予測演算部５４に出力される。このシフト量検出特徴量は、入力信号内に含まれる動き補償用ベクトル自体の信頼度評価になるため、求めた入力信号を処理する際に、注意すべき領域、動物体の境界または再動き補償用ベクトル検出するときに、間違いやすい領域を示すことができ、これに基づいて、以降に説明するクラス分類処理を実行するようにもできる。
【０１９３】
以上のようにして、図１１のステップＳ２においてシフト量が算出される。このようにして算出されたシフト量を用い、実行される図１１のステップＳ３以降の処理についてさらに詳しく説明する。
【０１９４】
ステップＳ３において、クラス分類部５２のクラスタップ構築部１３１は、復号部１１からの入力信号および信号蓄積部３３からのクリエーション信号を入力し、動き補償用ベクトル決定部１２３から供給されるシフト量およびシフト量検出特徴量に基づいて、図４７に示されるようなタップ引き寄せにより生成画素を求め、生成画素に応じたクラスタップを構築し、そのクラスタップをクラスコード生成部１３２に出力する。
【０１９５】
図４７を参照して、タップ構造が３×３画素の場合におけるタップ引き寄せの例を説明する。図４７Ａは、縦軸がフレームの垂直方向、横軸が時間方向の平面におけるタップ構築を示し、図４７Ｂは、縦軸がフレームの垂直方向、横軸がフレームの水平方向の平面におけるタップ構築を示している。
【０１９６】
図４７の例においては、時間軸上の過去フレームＦ１および未来フレームＦ３の間に、タップ引き寄せにより中間フレームＦ２が生成される場合が示されている。なお、時間軸に示されているαは、フレーム間距離などから求められる動き補償用ベクトルＭＶ４を内分する値である。
【０１９７】
この例の場合、過去フレームＦ１は、動き補償参照元のフレームであり、クリエーション信号より構築される。また、未来フレームＦ３は、動き補償参照後のフレームとされており、入力信号より構築される。そして、未来フレームＦ３上の注目画素ａ４を終点とし、過去フレームＦ１上の参照画素ｂ４を起点とする動き補償用ベクトルＭＶ４が選択されており、この動き補償用ベクトルＭＶ４に基づいて、過去フレームＦ１上の参照画素（中央のタップ）ｂ４からのシフト量Ｓ１、および未来フレームＦ３上の注目画素（中央のタップ）ａ４からのシフト量Ｓ２が求められる。なお、このシフト量Ｓ１およびシフト量Ｓ２は、上述した図１２のステップＳ２４において、動き補償用ベクトル決定部１２３により算出され、供給されるものである。
【０１９８】
すなわち、中間フレームＦ２の生成画素ｃ４は、位置的には、過去フレームＦ１の画素ｂ０、および未来フレームＦ３の画素ａ０に、それぞれ対応している。しかしながら、動き補償用ベクトルＭＶ４に基づいて時間解像度の創造を行った方が良好な画像が得られるので、過去フレームＦ１においては、参照元として画素ｂ０に代えて画素ｂ４が用いられる。このことは、参照元の画素を、画素ｂ４の位置から画素ｂ０の位置まで、シフト量Ｓ１だけシフトして（引き寄せて）時間解像度の創造（中間フレームの生成）に利用することと考えることができる。同様に、未来フレームＦ３において、参照後（参照先）として画素ａ０に代えて、画素ａ４が用いられる。このことは、参照元の画素を、画素ａ４の位置から画素ａ０の位置まで、シフト量Ｓ２だけシフトして（引き寄せて）時間解像度の創造（中間フレームの生成）に利用することと考えることができる。このようにして、シフトは、理論的（概念的）に考えられるだけであり、実際に行われるわけではない。
【０１９９】
なお、シフト（引き寄せ）は、タップ群単位で行われるので、注目画素ａ４および参照画素ｂ４に基づいて、それを含むその周辺の３×３画素のタップ群ＡＥ４およびタップ群ＢＥ４が求められる。
【０２００】
このように、これらのシフト量Ｓ１およびＳ２に基づいて、タップ群ＡＥ４またはタップ群ＢＥ４が概念的にシフトされ、中間フレームＦ２上の生成画素（タップ群ＣＥの中央）ｃ４を含めたタップ群ＣＥ４が構築される。具体的には、タップ群ＢＥ４に内分値αに基づく重み付けをした値と、タップ群ＡＥ４に内分値（１−α）に基づく重み付けをした値の和に基づいてタップ群ＣＥ４が求められる。
【０２０１】
なお、ＭＰＥＧ２のＢピクチャおよびＰピクチャの場合は、参照元、および参照後の位置関係と時間的な位置関係が異なる場合がある。
【０２０２】
以上のようにして求められたタップ群ＣＥ４の中から、生成画素ｃ４に応じたクラスタップ（画素）が構築される。クラス画素の数および位置は、メモリの制限または処理速度などの点を考慮して適宜定められる。
【０２０３】
例えば、クラスタップ構築部１３１は、シフト量およびシフト量検出特徴量に基づいて、図４８に示されるように、入力信号からの５タップ（画素）と、入力信号よりも時間的に手前（過去）に位置するクリエーション信号からの５タップの１０タップをクラスタップ（生成画素周辺の画素）として構築する。
【０２０４】
入力信号およびクリエーション信号におけるクラスタップの構成例を示す図４８において、図４８Ａは、縦軸がフレームの垂直方向、横軸が時間方向の平面におけるクラスタップを示しており、図４８Ｂは、縦軸がフレームの垂直方向、横軸がフレームの水平方向の平面におけるクラスタップを示している。
【０２０５】
図４８Ａの例においては、時間方向の手前（図中左側）のタップ群がクリエーション信号のクラスタップ群であり、時間方向において、先に存在するタップ群（図中右側）が入力信号のクラスタップ群である。このクリエーション信号および入力信号のクラスタップは、それぞれ、図４８Ｂに示されるように、５つのクラスタップで構成されている。すなわち、これらのクラスタップは、図４８Ａにおいては、それらの重なりにより、３つのクラスタップしか示されていないが、実際には、それぞれ５つのクラスタップで構築されている。
【０２０６】
そこで、ステップＳ４において、クラスコード生成部１３２は、動き補償用ベクトル決定部１２３からのシフト量およびシフト量検出特徴量に基づいて、クラスタップ構築部１３１により構築されたクラスタップの特徴量を抽出する。この特徴量としては、例えば、タップのシフト量（大きさまたは方向）、シフト量検出特徴量のうちの動き補償残差、シフト量検出特徴量のうちの動き補償用ベクトルの信頼度、または、タップ引き寄せ時におけるブロック境界のパターンなどがある。
【０２０７】
図４９を参照して、ブロック境界のパターンについて説明する。８×８の画素で構成されるブロックの境界の位置は、図４７を参照して上述したタップ引き寄せの結果、６４通りのパターンのいずれかとなる。図４９Ａは、このタップ引き寄せ時のブロック境界のパターンを示している。タップ引き寄せを行った場合のブロックにおける、引き寄せられたタップ（中央のタップ）とブロック境界の位置のパターンは、図４９Ａに示されるように、６４パターンに分けられる。
【０２０８】
図４９Ａの例においては、水平方向の線と垂直方向の線は、元の（タップ引き寄せ前の）ブロックの境界を表している。パターン０は、引き寄せられたタップのブロックの境界が元のブロック境界と一致する場合のパターンであり、パターン１は、引き寄せられたタップのブロックが元のブロックから１画素分だけ左側に位置するパターンであり、パターン７は、引き寄せられたタップのブロックが元のブロックから７画素分だけ左側に位置するパターンである。また、パターン８は、引き寄せられたタップのブロックが元のブロックから１画素分だけ上側に位置するパターンであり、パターン１５は、引き寄せられたタップのブロックが元のブロックから１画素分だけ上側で、かつ７画素分だけ左側に位置するパターンである。さらに、パターン５６は、引き寄せられたタップのブロックが元のブロックから７画素分だけ上側に位置するパターンであり、パターン６３は、引き寄せられたタップのブロックが元のブロックから７画素分だけ上側で、かつ、７画素分だけ左側に位置するパターンである。なお、パターン２乃至６、パターン９乃至１４、パターン１６乃至５５およびパターン５６乃至６２も同様に説明されるため、その説明は省略する。
【０２０９】
図４９Ｂは、横軸が、図４９Ａによりパターン分けされたブロック境界のパターンにおけるブロック境界の位置（パターンの番号）を示しており、縦軸は、原画像と、原画像を符号化し、再度復号した復号画像の誤差を示している。図４９Ｂから、引き寄せられたタップが、元のブロック境界の近傍に位置するようなパターンＰＡ１（例えば、パターン０，７，１５，５６，６３）にある場合、原画像と復号画像の誤差が大きい傾向になることがわかる。それに対して、元のブロック境界の位置が、ブロックの内部に位置するようなパターンＰＡ２（例えば、パターン２４乃至５３）にある場合、原画像と復号画像の誤差が小さい傾向になることがわかる。
【０２１０】
ブロック境界ではブロックノイズが発生しているため、引き寄せられたタップがブロック境界の端に含まれると、ブロックの端で輝度値の差が生じる。ブロックの端のエッジには、ＤＣＴ係数で表現すると高域の成分が多く含まれており、高域の成分は、量子化により少なくなってしまう確率が高く、誤差が生じ易くなる。このため、引き寄せられたタップがブロック境界の内部に位置するようなパターンの方が原画像と復号画像の誤差を少なくできる。
【０２１１】
したがって、タップ引き寄せ時におけるブロック境界のパターンを特徴量として求め、この特徴量に基づいてクラス分類することにより、ブロック歪み、モスキートノイズなどの符号化歪みが抑制され、原画像と復号画像の誤差が少ない、品質のよい中間フレームが生成される。
【０２１２】
図１１のステップＳ５において、クラスコード生成部１３２は、抽出したクラスタップの特徴量に応じて、予め設定されたしきい値などに基づいて、タップ（画素）のクラスを決定し、図５０に示されるようなクラスコードを生成し、予測係数選択部５３に出力する。
【０２１３】
クラスタップによるクラス分類を行うにあたっては、そのクラスタップを構成するデータの各サンプル値を表すビット列をそのまま所定の順番で並べて得られるビット列を、クラスコードとすることも可能であるが、この場合、クラス数（クラスの総数）が膨大な数になる。そこで、クラス分類には、例えば、ＫビットＡＤＲＣ（Adaptive Dynamic Range Coding）処理などの圧縮処理が採用される。例えば、１ビットＡＤＲＣ処理される場合（Ｋ＝１の場合）には、そのクラスタップを構成するデータのサンプル値は１ビットとされる。
【０２１４】
したがって、図５０に示されるクラスコードにおいては、Ｒ１の６ビットで、ブロック境界の６４個のパターンに応じたクラスが表される。ただし、誤差が小さいＰＡ２は使用せずに、誤差が大きいパターンＰＡ１だけを使用するなどすれば、より少ないビット（例えば、４ビット）でブロック境界のパターンを表すことができる。
【０２１５】
また、Ｒ２の２ビットで、動き補償残差量に応じたクラスが表され、Ｒ３の４ビットで、シフト量に応じたクラスが表される。さらに、Ｒ４の１０ビットで、クラスタップを構成する１０タップ分の１ビットＡＤＲＣコードが表される。その結果、図５０の例では、合計２２ビットでクラスコードが表される。
【０２１６】
次に、図１１のステップＳ６において、予測係数選択部５３は、係数メモリ７１−０乃至７１−Ｎの中から、復号部１１のパラメータ制御部２７から供給されたパラメータＢに対応する係数メモリを選択し、その係数メモリに予め記憶された予測係数データのうち、クラス分類部５２により生成されたクラスコードに対応する予測係数データを選択し、予測演算部５４の演算部１４２に出力する。なお、この予測係数データは、図５１を参照して後述する学習装置３０１において算出されたものが、パラメータＢに応じて係数メモリ７１−０乃至７１−Ｎに予め記憶されたものである。
【０２１７】
ステップＳ７において、予測演算部５４の予測タップ構築部１４１は、復号部１１からの入力信号および信号蓄積部３３に蓄積されているクリエーション信号を入力し、動き補償用ベクトル決定部１２３から供給されるシフト量およびシフト量検出特徴量に基づいて、図４７を参照して上述したタップ引き寄せにより生成画素を求め、生成画素に応じた予測タップを構築し、その予測タップを演算部１４２に出力する。
【０２１８】
以上のようにして構築された予測タップを、ステップＳ８において、演算部１４２は、予測係数選択部５３により選択された予測係数データを用いて予測演算処理を行い、時間解像度創造したクリエーション信号を生成し、出力する。
【０２１９】
このクリエーション信号は、出力部４１７（図６２）を構成するモニタなどに出力されるとともに、次のクリエーション信号の生成のため、信号蓄積部３３に蓄積される。
【０２２０】
以上のようにして、サイドインフォメーションとして伝送されてきて、蓄積された符号化情報の中から複数の動き補償用ベクトルが抽出され、それらに基づいて、有為な動き補償用ベクトルが選択され、有為な動き補償用ベクトル、および、その信頼度などシフト量検出特徴量に基づいて中間フレームが生成されるので、符号化歪みが抑制され、画像品質が向上する。
【０２２１】
次に、図５１は、図２のクラス分類適応処理部３１の予測係数選択部５３に内蔵される係数メモリ７１−０乃至７１−Ｎに記憶させるクラス毎の予測係数データを学習する学習装置３０１の第１の構成例を示している。
【０２２２】
なお、この学習装置３０１は、クラス分類適応処理部３１を有する図１の画像データ処理装置１に設置するようにしてもよいし、独立の装置としてもよい。
【０２２３】
教師信号としての入力信号（この入力信号は、図１の復号部１１のピクチャ選択部２３から出力される入力信号とは別の信号である）は、符号化部３１１に入力されるとともに、予測係数算出部３１５に教師信号として入力される。また、学習装置３０１には、図１のパラメータ制御部２７における場合と同様にして図示せぬパラメータ生成部によりパラメータＢ（Volume値）が入力される。
【０２２４】
符号化部３１１は、入力信号を符号化し、復号部３１２に出力する。復号部３１２は、符号化された信号を、パラメータＢに応じて復号し、第１の生徒信号として、シフト量演算部３１３、クラス分類部３１４、および予測係数算出部３１５に出力する。
【０２２５】
また、教師信号としての入力信号から、図１のクリエーション部１２における場合と同様の図示せぬクリエーション部により生成されたクリエーション信号は、第２の生徒信号として、シフト量演算部３１３、クラス分類部３１４、および予測係数算出部３１５に入力される。
【０２２６】
シフト量演算部３１３は、基本的に、図２のシフト量演算部５１と同様に構成されており、復号部３１２から供給された符号化情報に含まれる動き補償用ベクトルから、候補ベクトルを取得し、第１の生徒信号および第２の生徒信号を用いて、候補ベクトルの信頼度を評価し、最も信頼度の大きい候補ベクトルを選択ベクトルとして選択する。また、シフト量演算部３１３は、選択ベクトルに基づいて、中央のタップ（注目画素）のシフト量、および、動き補償用ベクトルの信頼度または動き補償残差などのシフト量検出特徴量を求め、クラス分類部３１４および予測係数算出部３１５に出力する。
【０２２７】
クラス分類部３１４は、基本的に、図２のクラス分類部５２と同様に構成されており、第１の生徒信号と第２の生徒信号を用い、シフト情報抽出部３１３から供給された中央のタップのシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより生成画素を求め、生成画素のクラスタップを構築し、クラスコードを予測係数算出部３１５に出力する。
【０２２８】
予測係数算出部３１５は、第１の生徒信号と第２の生徒信号を用い、シフト情報抽出部６２から供給された中央のタップのシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより生成画素を求め、生成画素の予測タップを構築し、その予測タップと、それに対応する教師信号（入力信号）を用いて、教師信号と生徒信号との関係を、クラス分類部３１４からのクラスコードに基づいて学習し、パラメータＢからの予測係数を予測することにより、クラス毎の予測係数データを演算、生成する。
【０２２９】
具体的には、例えば、いま、第１の生徒信号と第２の生徒信号（以下、２つの生徒信号をまとめて、単に、生徒信号と称する）から求められた生成画素（生徒画素）に対応する教師信号の画素の画素値ｙの予測値Ｅ［ｙ］を、いくつかの生徒画素ｘ₁，ｘ₂，・・・の集合と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０２３０】
Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）
【０２３１】
式（１）を一般化するために、予測係数ｗ_jの集合でなる行列Ｗ、生徒信号のｘ_ijの集合でなる行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ´を
【数１】

で定義すると、次のような観測方程式が成立する。
【０２３２】
ＸＷ＝Ｙ´・・・（２）
【０２３３】
ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒信号の集合（ｉ件目の教師信号ｙ_iの予測に用いる生徒信号の集合）（予測係数）の中のｊ番目の生徒信号を意味し、行列Ｗの成分ｗ_jは、生徒信号の集合の中のｊ番目の生徒信号を表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師信号の予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【０２３４】
式（２）の観測方程式に、例えば、最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師信号となる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【０２３５】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【０２３６】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_jは、自乗誤差
【数３】

を最小にすることで求めることができる。
【０２３７】
したがって、上述の自乗誤差を予測係数ｗ_jで微分したものが０になるばあい、すなわち、次式を満たす予測係数ｗ_jが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるための最適値ということになる。
【０２３８】
【数４】

【０２３９】
そこで、まず、式（３）を、予測係数ｗ_jで微分することにより、次式が成立する。
【０２４０】
【数５】

【０２４１】
式（４）および（５）より、式（６）が得られる。
【０２４２】
【数６】

【０２４３】
さらに、式（３）の残差方程式における生徒信号ｘ_ij、予測係数ｗ_j、教師信号ｙ_iで、および残差ｅ_iの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０２４４】
【数７】

【０２４５】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】

で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ・・・（８）
で表すことができる。
【０２４６】
式（７）における各正規方程式は、生徒信号ｘ_ijおよび教師信号ｙ_iのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗ_jの数Ｊと同じ数だけたてることができ、したがって、式（８）を、ベクトルＷについて解くことで（ただし、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適な予測係数（ここでは、自乗誤差を最小にする予測係数）ｗ_jを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０２４７】
以上のように、最適な予測係数、すなわち、画素値の予測値の統計的な誤差を最小にする予測係数ｗ_jを求めておき、さらに、その予測係数ｗ_jを用いて、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］が求められる。
【０２４８】
以上のようにして生成された予測係数データは、そのパラメータＢに応じて、係数メモリ３１６−０乃至３１６−Ｎのうちのいずれかに格納される。例えば、パラメータＢが「1.00」であり、ビットレートが10Ｍbpsである場合の復号信号から学習された予測係数データは、係数メモリ３１６−９に格納される。パラメータＢが「0.90」であり、ビットレートが9Ｍbpsである場合の復号信号から学習された予測係数データは、係数メモリ３１６−８に格納される。パラメータＢが「0.10」であり、ビットレートが1Ｍbpsである場合の復号信号から学習された予測係数データは、係数メモリ３１６−０に格納される。
【０２４９】
以上のように、この学習装置３０１においては、パラメータＢに応じて、複数の教師信号と生徒信号から複数の予測係数データが作成され、パラメータＢに対応した別々のメモリ（係数メモリ３１６−０乃至３１６−Ｎのうちのいずれか）に格納される。すなわち、パラメータＢは、予測係数作成用のパラメータとされる。
【０２５０】
次に、図５２のフローチャートを参照して、学習装置３０１の学習処理を説明する。
【０２５１】
ステップＳ１２１において、符号化部３１１は、教師信号としての入力信号を符号化し、復号部３１２に出力する。このとき、符号化部３１１は、符号化に伴って生成される量子化特性情報と符号化情報をサイドインフォメーションとして、量子化後ＤＣＴ係数とともに出力する。ステップＳ１２２において、復号部３１２は、符号化された信号を、パラメータＢに応じて復号し、第１の生徒信号を生成して、シフト量演算部３１３、クラス分類部３１４および予測係数算出部３１５に出力する。また、同時に、復号部３１２は、符号化された信号から取得される符号化情報もシフト量演算部３１３に出力する。
【０２５２】
ステップＳ１２３において、シフト量演算部３１３は、シフト量の算出処理を実行する。このシフト量の算出処理は、図１２を参照して説明した図２のシフト量演算部５１の処理と同様の処理となり、繰り返しになるので、その説明は省略するが、このシフト量の演算処理により、復号部１１から供給された符号化情報に含まれる動き補償用ベクトルが、候補ベクトルとして、第１の生徒信号と第２の生徒信号（クリエーション信号）のどちらかを用いて、信頼度を評価され、その中で最も信頼度の大きい候補ベクトルが選択ベクトルとして選択される。そして、選択ベクトルに基づいて、中央のタップ（注目画素）のシフト量、および、選択ベクトルの信頼度または動き補償残差などのシフト量検出特徴量が、クラス分類部３１４および予測係数算出部３１５に出力される。
【０２５３】
ステップＳ１２４において、クラス分類部３１４は、図２のクラス分類部５２と同様にして、第１の生徒信号と第２の生徒信号を用い、シフト量演算部３１３から供給された中央のタップのシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより生成画素を求め、生成画素のクラスタップを構築する。クラス分類部３１４は、ステップＳ１２５において、シフト量およびシフト量検出特徴量に基づいて、図２のクラス分類部５２と同様にして、クラスタップの特徴量を抽出し、それに基づいて、ステップＳ１２６において、クラスコードを生成し、予測係数算出部３１５に出力する。
【０２５４】
ステップＳ１２７において、予測係数算出部３１５は、第１の生徒信号と第２の生徒信号を用い、シフト量演算部３１３から供給された中央のタップのシフト量およびシフト量検出特徴量に基づいて、タップ引き寄せにより生成画素を求め、生成画素の予測タップを構築する（その処理は、図２の予測演算部５４の図５の予測タップ構築部１４１の処理と同様である）。予測係数算出部３１５は、ステップＳ１２８において、その予測タップと、それに対応する教師信号を用いて、教師信号と生徒信号との関係を、クラス分類部３１４からのクラスコードに基づいて学習し、パラメータＢからの予測係数を予測することにより、クラス毎の予測係数データを演算、生成する。ステップＳ１２９において、予測係数算出部３１５は、その予測係数データを、パラメータＢに応じた係数メモリ３１６−０乃至３１６−Ｎに記憶し、処理を終了する。
【０２５５】
以上のようにして、パラメータＢに応じて係数メモリ３１６−０乃至３１６−Ｎに記憶されたクラス毎の予測係数データが、図２の予測係数選択部５３の係数メモリ７１−０乃至７１−Ｎに記憶される。
【０２５６】
図５３は、図１のクラス分類適応処理部３１の第２の構成例を示している。なお、図中、図２における場合と、対応する部分については、同一の符号を付してある。すなわち、図５３のクラス分類適応処理部３１は、基本的に、図２における場合と同様に構成されている。
【０２５７】
ただし、図５３の例においては、復号部１１からの入力信号、または、信号蓄積部３３からのクリエーション信号が、シフト量演算部５１のシフト情報抽出部６２に供給されず、図５３のシフト情報抽出部６２は、候補ベクトル取得部６１から供給される候補ベクトルを、他の動き補償用ベクトルと比較評価することにより、候補ベクトルの信頼度を評価し、最も信頼度の大きい候補ベクトルを選択ベクトルとして選択し、選択ベクトルに基づいて、中央のタップのシフト量、および、選択ベクトルの信頼度などのシフト量検出特徴量を生成し、クラス分類部５２および予測演算部５４に出力する。
【０２５８】
図５４は、図５３のシフト情報抽出部６２の構成例を示している。なお、図５４のシフト情報抽出部６２は、基本的に、図４３における場合と同様に構成されている。ただし、図５４の例においては、図４３のシフト情報抽出部６２の信頼度判定部１０１と異なり、信頼度判定部１０１には、復号部１１からの入力信号および信号蓄積部３３からのクリエーション信号が入力されず、候補ベクトル取得部６１からの候補ベクトル群だけが入力される。すなわち、図５４のシフト情報抽出部６２は、図３１の信頼度判定部１０１および図４３の動き補償用ベクトル選択部２０１により構成されている。
【０２５９】
したがって、図５４の信頼度判定部１０１の特徴量抽出部１１１は、候補ベクトルを、他の動き補償用ベクトル（例えば、周辺ベクトルまたは過去ベクトルなど）と比較することにより、候補ベクトルの信頼度を求める。信頼度判定部１０１の信頼度評価部１１２は、特徴量抽出部１１１により求められた候補ベクトルの信頼度が所定の基準値より大きいか否かを判断し、信頼度が大きいと判断された候補ベクトル（有為な候補ベクトル）のみを、その信頼度とともに、動き補償用ベクトル選択部２０１に出力する。
【０２６０】
さらに、動き補償用ベクトル選択部２０１にも、入力信号およびクリエーション信号は入力されず、信頼度判定部１０１からの有為な候補ベクトル群とその信頼度だけが入力される。
【０２６１】
したがって、動き補償用ベクトル選択部２０１は、有為な候補ベクトルを用いて、他の動き補償用ベクトル（例えば、周辺ベクトルまたは過去ベクトルなど）と比較することにより、候補ベクトルのうち、最も信頼度の大きい候補ベクトルを選ぶ。
【０２６２】
図５５のフローチャートを参照して、図５３のクラス分類適応処理部３１におけるクリエーション処理を説明する。なお、図５５のクリエーション処理は、基本的に、図１１のクラス分類適応処理と同様の処理である。すなわち、図５５のステップＳ１５２において実行されるシフト量の算出処理は、図１２のシフト量の算出処理と基本的に同様な処理を行う。ただし、図１２のステップＳ２２において実行される信頼度判定処理、および、ステップＳ２３において実行される動き補償用ベクトル選択処理における信頼度算出処理（図１８のステップＳ３２および図４０のステップＳ１１２）が、図３３，図３７，図３９および図４２で上述した入力信号およびクリエーション信号を使用しない信頼度算出処理とされる。すなわち、図５３のシフト情報抽出部６２においては、入力信号およびクリエーション信号を使用する信頼度算出処理（図２０および図２６）は実行されない。
【０２６３】
これにより、図５５のステップＳ１５２のシフト量算出処理においてシフト量とともに出力されるシフト量検出特徴量には、入力信号およびクリエーション信号に基づいて生成される動き補償残差などのような情報は含まれない。したがって、入力信号およびクリエーション信号に基づいて生成される動き補償残差などの情報以外のシフト量抽出特徴量（例えば、動き補償用ベクトルの信頼度など）に基づいて、ステップＳ１５３において、クラスタップが構築され、ステップＳ１５４において、特徴量が抽出され、ステップＳ１５５において、クラスコードが生成される。そして、ステップＳ１５６において、予測係数が選択され、ステップＳ１５７において、予測タップが構築され、ステップＳ１５８において、クリエーション信号が生成、出力される。
【０２６４】
なお、図２および図５３におけるシフト情報抽出部６２の構成は、入力される情報に基づいて、信頼度判定部１０１、動き補償用ベクトル選択部１０２および２０１から４つの組み合わせ（図３、図３１、図４３および図５４のシフト情報抽出部６２）が可能であり、条件が満足される限り、どの構成を使用するようにしてもよい。
【０２６５】
図５６は、図５３のクラス分類適応処理部３１の係数メモリ７１−０乃至７１−Ｎに記憶させる予測係数データを学習する学習装置３０１の構成例を示している。なお、図中、図５１における場合と、対応する部分については、同一の符号を付してある。すなわち、図５６のクラス分類適応処理部３０１は、基本的に、図５１における場合と同様に構成されている。
【０２６６】
ただし、復号信号、または、クリエーション信号が、シフト量演算部３１３に入力されず、図５６のシフト量演算部３１３は、復号部３１２から供給される候補ベクトルのみを用いて、他の動き補償用ベクトルと比較評価することにより、候補ベクトルの信頼度を評価し、最も信頼度の大きい候補ベクトルを選択ベクトルとして選択し、選択ベクトルに基づいて、中央のタップのシフト量、および、選択ベクトルの信頼度などのシフト量検出特徴量を、クラス分類部３１４および予測演算部３１５に出力する。
【０２６７】
図５７のフローチャートを参照して、図５６の学習装置３０１の学習処理を説明する。なお、図５７の学習処理は、基本的に、図５２の学習処理と同様の処理である。すなわち、図５７のステップＳ１７３において実行されるシフト量の算出処理は、図１２のシフト量の算出処理と基本的に同様の処理となる。ただし、図１２のステップＳ２２において実行される信頼度判定処理、および、ステップＳ２３において実行される動き補償用ベクトル選択処理における信頼度算出処理（図１８のステップＳ３２および図４４のステップＳ１１２）が、図３３，図３７，図３９および図４２で上述した入力信号およびクリエーション信号を使用しない信頼度算出処理とされる。すなわち、図５６のシフト量演算部３１３においては、入力信号およびクリエーション信号を使用する信頼度算出処理（図２０および図２６）は実行されない。
【０２６８】
これにより、図５７のステップＳ１７３のシフト量算出処理においてシフト量とともに出力されるシフト量抽出特徴量には、入力信号およびクリエーション信号に基づいて生成される動き補償残差などのような情報は含まれない。したがって、入力信号およびクリエーション信号に基づいて生成される動き補償残差などの情報以外のシフト量抽出特徴量（例えば、動き補償用ベクトルの信頼度など）に基づいて、ステップＳ１７４において、クラスタップが構築され、ステップＳ１７５において、特徴量が抽出され、ステップＳ１７６において、クラスコードが生成され、ステップＳ１７７において、予測タップが構築される。そして、ステップＳ１７８において、その予測タップと、それに対応する教師データを用いて、教師データと生徒データとの関係を、クラス分類部３１４からのクラスコードに基づいて学習し、パラメータＢからの予測係数を予測することにより、クラス毎の予測係数データを演算、生成し、ステップＳ１７９において、その予測係数データを、パラメータＢに応じた係数メモリ３１６−０乃至３１６−Ｎに記憶される。
【０２６９】
以上のようにして、係数メモリ３１６−０乃至３１６−Ｎに記憶されたクラス毎の予測係数データが、図５３の予測係数選択部５３の係数メモリ７１−０乃至７１−Ｎに記憶される。
【０２７０】
次に、図５８は、図１のクラス分類適応処理部３１の第３の構成例を示している。なお、図中、図２における場合と、対応する部分については、同一の符号を付してある。
【０２７１】
図５８の例においては、フレーム内処理（他のピクチャを参照しない処理、すなわち、動き補償予測を実行しない処理）を実行する場合のクラス分類適応処理部３１が示されている。図５８のクラス分類適応処理部３１においては、入力信号がクラス分類部５２および予測演算部５４に入力される。クラス分類部５２は、入力信号を用いて、クラスタップを構築し、抽出された特徴量に基づいて生成されたクラスコードを予測係数選択部５３に出力する。
【０２７２】
予測演算部５４は、入力信号を用いて予測タップを構築し、その予測タップに基づいて、予測係数選択部５３からの予測係数データを用い、演算処理を実行し、フレーム内処理により時間解像度創造してクリエーション信号を出力する。したがって、図５８のクラス分類適応処理部３１においては、クリエーション信号は用いられない。
【０２７３】
次に、図５９のフローチャートを参照して、図５８のクラス分類適応処理部３１が実行するクリエーション処理を説明する。
【０２７４】
クラス分類部５２は、ステップＳ２０１において、入力信号が入力されるまで待機しており、入力信号が入力されると、ステップＳ２０２において、入力信号を用いて、注目画素に応じたクラスタップを構築する。
【０２７５】
クラス分類部５２は、ステップＳ２０３において、構築したクラスタップを構成する画素の特徴量を抽出し、ステップＳ２０４において、抽出した特徴量に基づいて、１ビットＡＤＲＣ処理などによりクラスコードを生成し、予測係数選択部５３に出力する。
【０２７６】
ステップＳ２０５において、予測係数選択部５３は、パラメータ制御部２７により出力されたパラメータＢに対応する係数メモリ７１−０乃至７１−Ｎを選択し、その中に記憶されている予測係数データのうち、クラス分類部５２により出力されたクラスコードに対応する予測係数データを選択し、予測演算部５４に出力する。なお、この予測係数データは、図６０を参照して後述する学習装置３０１において算出されたものが、パラメータＢに応じて係数メモリ７１−０乃至７１−Ｎに予め記憶されたものである。
【０２７７】
予測演算部５４は、ステップＳ２０６において、入力信号から、注目画素に応じた予測タップを構築し、ステップＳ２０７において、予測係数選択部５３により選択された予測係数データを用いて予測演算処理を行い、クリエーション信号を生成し、出力する。
【０２７８】
図６０は、図５８のクラス分類適応処理部３１の予測係数選択部５３に内蔵される係数メモリ７１−０乃至７１−Ｎに記憶させるクラス毎の予測係数データを学習する学習装置３０１の構成例を示している。図６０の例においては、フレーム内処理を実行する場合のクラス分類適応処理部３１の構成例が示されている。なお、図中、図５１における場合と、対応する部分については、同一の符号を付してある。
【０２７９】
図６０の例の学習装置３０１には、入力信号のみが入力され、クリエーション信号は入力されない。
【０２８０】
図６０のクラス分類部３１４は、基本的に、図５８のクラス分類部５２と同様に構成されており、復号部３１２から供給される復号信号である生徒信号を用いて、クラスタップを構築し、クラスコードを予測係数算出部３１５に出力する。
【０２８１】
予測係数算出部３１５は、生徒信号を用いて、予測タップを構築し、その予測タップと、それに対応する教師信号（入力信号）を用いて、教師信号と生徒信号との関係を、クラス分類部３１４からのクラスコードに基づいて学習し、パラメータＢ毎に予測係数を予測することにより、クラス毎の予測係数データを演算、生成し、その予測係数データを、パラメータＢに応じた係数メモリ３１６−０乃至３１６−Ｎに記憶する。
【０２８２】
次に、図６１のフローチャートを参照して、図６０の学習装置３０１の学習処理を説明する。
【０２８３】
ステップＳ２３１において、符号化部３１１は、入力信号を符号化し、復号部３１２に出力する。ステップＳ２３２において、復号部３１２は、符号化された信号を、パラメータＢに応じて復号し、生徒信号として、クラス分類部３１４および予測係数算出部３１５に出力する。
【０２８４】
クラス分類部３１４は、ステップＳ２３３において、生徒信号を用いて、クラスタップを構築し、ステップＳ２３４において、生徒信号に基づいて、クラスタップの特徴量を抽出する。ステップＳ２３５において、クラス分類部３１４は、抽出されたクラスタップの特徴量に基づいて、クラスコードを生成し、予測係数算出部３１５に出力する。
【０２８５】
ステップＳ２３６において、予測係数算出部３１５は、生徒信号を用いて予測タップを構築する。予測係数算出部３１５は、ステップＳ２３７において、その予測タップと、それに対応する教師信号を用いて、教師信号と生徒信号との関係を、クラス分類部３１４からのクラスコードに基づいて学習し、パラメータＢからの予測係数を予測することにより、クラス毎の予測係数データを演算、生成し、ステップＳ２３８において、その予測係数データを、パラメータＢに応じた係数メモリ３１６−０乃至３１６−Ｎに記憶し、処理を終了する。
【０２８６】
以上のようにして、パラメータＢに応じて係数メモリ３１６−０乃至３１６−Ｎに記憶されたクラス毎の予測係数データが、図６０の予測係数選択部５３の係数メモリ７１−０乃至７１−Ｎに記憶される。
【０２８７】
なお、本発明の画像データ処理装置は、ＤＶＤ記録再生装置またはＢＳデジタル信号受信装置などに適用される。
【０２８８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図１の画像データ処理装置１は、図６２に示されるような画像データ処理装置４０１により構成される。
【０２８９】
図６２において、ＣＰＵ（Central Processing Unit）４１１は、ＲＯＭ(ReadOnly Memory) ４１２に記憶されているプログラム、または、記憶部４１８からＲＡＭ（Random Access Memory）４１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ４１３にはまた、ＣＰＵ４１１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０２９０】
ＣＰＵ４１１、ＲＯＭ４１２、およびＲＡＭ４１３は、バス４１４を介して相互に接続されている。このバス４１４にはまた、入出力インタフェース４１５も接続されている。
【０２９１】
入出力インタフェース４１５には、キーボード、マウスなどよりなる入力部４１６、ＣＲＴ(Cathode Ray Tube)，ＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部４１７、ハードディスクなどより構成される記憶部４１８、モデム、ターミナルアダプタなどより構成される通信部４１９が接続されている。通信部４１９は、図示しないネットワークを介しての通信処理を行う。
【０２９２】
入出力インタフェース４１５にはまた、必要に応じてドライブ４２０が接続され、磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、或いは半導体メモリ４２４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部４１９にインストールされる。
【０２９３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２９４】
この記録媒体は、図６２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM(Compact Disk-Read Only Memory)，ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク４２３（MD(Mini-Disk)（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ４１２や、記憶部４１９に含まれるハードディスクなどで構成される。
【０２９５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９６】
【発明の効果】
以上の如く、本発明によれば、時間解像度を行うことができる。特により高品質の時間解像度を行うことができる。また、本発明によれば、ブロック歪み、モスキートノイズなどの符号化歪みが抑制される。
【図面の簡単な説明】
【図１】本発明を適用した画像データ処理装置の構成例を示すブロック図である。
【図２】図１のクラス分類適応処理部の構成例を示すブロック図である。
【図３】図２のシフト情報抽出部の構成例を示すブロック図である。
【図４】図２のクラス分類部の構成例を示すブロック図である。
【図５】図２の予測演算部の構成例を示すブロック図である。
【図６】Ｍ＝１の場合のタップ引き寄せの例を説明する図である。
【図７】Ｍ＝１の場合の中間フレームの生成例を説明する図である。
【図８】Ｍ＝１の場合のタップ引き寄せの例を説明する図である。
【図９】Ｍ＝１の場合のタップ引き寄せの他の例を説明する図である。
【図１０】Ｍ＝１の場合のタップ引き寄せのさらに他の例を説明する図である。
【図１１】図１のクラス分類適応処理部のクリエーション処理を説明するフローチャートである。
【図１２】図１１のステップＳ２のシフト量の算出処理を説明するフローチャートである。
【図１３】Ｍ＝３の場合の時間方向の動き補償用ベクトルの例を説明する図である。
【図１４】Ｍ＝３の場合の時間方向の動き補償用ベクトルの他の例を説明する図である。
【図１５】時間解像度の創造の例を説明する図である。
【図１６】従来の時間解像度の創造の例を説明する図である。
【図１７】空間方向の動き補償用ベクトルの例を説明する図である。
【図１８】図１２のステップＳ２２の信頼度判定処理を説明するフローチャートである。
【図１９】図３の特徴量抽出部の構成例を示すブロック図である。
【図２０】図１６のステップＳ３２の信頼度算出処理を説明するフローチャートである。
【図２１】原画像の例を示す図である。
【図２２】生成された中間フレームの画像の例を示す図である。
【図２３】数値化された信頼度をマッピングした結果例を示す図である。
【図２４】図３の特徴量抽出部の他の構成例を示すブロック図である。
【図２５】図３の特徴量抽出部が実行する信頼度算出処理の詳細を説明する図である。
【図２６】図１８のステップＳ３２の信頼度算出処理の他の例を説明するフローチャートである。
【図２７】Ｐピクチャにおける動き補償用ベクトルの比較結果例を示す図である。
【図２８】図１２のステップＳ２３の動き補償用ベクトル選択処理を説明するフローチャートである。
【図２９】動き補償用ベクトルの再探索処理を説明する図である。
【図３０】動き補償用ベクトルの再探索処理の詳細を説明する図である。
【図３１】図２のシフト情報抽出部の他の構成例を示すブロック図である。
【図３２】図３１の特徴量抽出部の構成例を示すブロック図である。
【図３３】図１８のステップＳ３２の信頼度算出処理の他の例を説明するフローチャートである。
【図３４】数値化された信頼度をマッピングした他の結果例を示す図である。
【図３５】数値化された信頼度をマッピングしたさらに他の結果例を示す図である。
【図３６】図３１の特徴量抽出部の他の構成例を示すブロック図である。
【図３７】図１８のステップＳ３２の信頼度算出処理の他の例を説明するフローチャートである。
【図３８】図３１の特徴量抽出部のさらに他の構成例を示すブロック図である。
【図３９】図１８のステップＳ３２の信頼度算出処理のさらに他の例を説明するフローチャートである。
【図４０】動き補償用ベクトルの履歴を説明する図である。
【図４１】図３の特徴量抽出部の他の構成例を示すブロック図である。
【図４２】図１８のステップＳ３２の信頼度算出処理の他の例を説明するフローチャートである。
【図４３】図２のシフト情報抽出部のさらに他の構成例を示すブロック図である。
【図４４】図１２のステップＳ２３の動き補償用ベクトル選択処理の他の例を説明するフローチャートである。
【図４５】生成された中間フレームの画像の他の例を示す図である。
【図４６】数値化された信頼度をマッピングした他の結果例を示す図である。
【図４７】タップ引き寄せの例を説明する図である。
【図４８】クラスタップの構成例を示す図である。
【図４９】ブロック境界のパターン例を説明する図である。
【図５０】クラスコードの構成例を示す図である。
【図５１】本発明の学習装置の構成例を示すブロック図である。
【図５２】図５１の学習装置の学習処理を説明するフローチャートである。
【図５３】図１のクラス分類適応処理部の他の構成例を示すブロック図である。
【図５４】図５３のシフト情報抽出部の構成例を示すブロック図である。
【図５５】図５３のクラス分類適応処理部のクリエーション処理の例を説明するフローチャートである。
【図５６】図５１の学習装置の他の構成例を示すブロック図である。
【図５７】図５６の学習装置の学習処理を説明するフローチャートである。
【図５８】図１のクラス分類適応処理部のさらに他の構成例を示すブロック図である。
【図５９】図５８のクラス分類適応処理部のクリエーション処理の例を説明するフローチャートである。
【図６０】図５１の学習装置のさらに他の構成例を示すブロック図である。
【図６１】図６０の学習装置の学習処理を説明するフローチャートである。
【図６２】本発明の画像データ処理装置の他の構成例を示すブロック図である。
【符号の説明】
１ 画像データ処理装置，１１ 復号部，１２ クリエーション部，２０ 可変長復号部，２７ パラメータ制御部，３１−１乃至３１−３ クラス分類適応処理部，３２ 符号化情報蓄積部，３３ 信号蓄積部， ５１ シフト量演算部，５２ クラス分類部，５３ 予測係数選択部，５４ 予測演算部，６１ 候補ベクトル取得部，６２ シフト情報抽出部，７１−１乃至７１−Ｎ 係数メモリ，１０１ 信頼度判定部，１０２ 動き補償用ベクトル選択部，１１１ 特徴量抽出部，１１２ 信頼度評価部，１２１ 再探索部，１２２ 特徴量抽出部，１２３ 動き補償用ベクトル決定部，１３１ クラスタップ構築部，１３２ クラスコード生成部，１４１ 予測タップ構築部，１４２ 演算部，１６１ 動き補償残差算出部，１６２ 動き補償残差評価部，１７１ 再符号化部，１７２ 抽出部，１７３ 評価部，１８１ 周辺ベクトル抽出部，１８２ 比較部，１９１ 履歴抽出部，１９２ 比較部，２０１ 履歴抽出部，２０２ 不連続性評価部，２１１ 抽出部，２１２ 比較部，３０１ 学習装置，３１１ 符号化部，３１２ 復号部，３１３ シフト量演算部，３１４ クラス分類部，３１５ 予測係数算出部，３１６−１乃至３１６−Ｎ 係数メモリ

Claims (18)

1. 画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択手段と、
   前記第１の選択手段により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類手段と、
   前記クラス分類手段により分類された前記クラスに基づいて、予測係数を選択する第２の選択手段と、
   前記注目領域の予測タップを構築する構築手段と、
   選択された前記予測係数と前記予測タップに基づいて、解像度創造信号を演算する演算手段と
   を備えることを特徴とする画像データ処理装置。
2. 前記付加情報から、前記動き補償用ベクトルの複数の候補ベクトルを抽出する第１の抽出手段と、
   前記候補ベクトルの信頼度を算出する信頼度算出手段と、
   前記信頼度算出手段により算出された前記候補ベクトルの信頼度を評価する評価手段と
   をさらに備え、
   前記第１の選択手段は、前記評価手段により最も信頼度が大きいと評価された前記候補ベクトルを、前記注目領域の前記動き補償用ベクトルとして選択する
   ことを特徴とする請求項１に記載の画像データ処理装置。
3. 前記信頼度算出手段は、
   前記注目領域の入力信号を再符号化する再符号化手段と、
   再符号化された信号から前記候補ベクトルに対応する再符号化ベクトルを抽出する第２の抽出手段と、
   前記候補ベクトルと、前記第２の抽出手段により抽出された前記再符号化ベクトルを比較することにより前記候補ベクトルの前記信頼度を算出する比較手段と
   を備えることを特徴とする請求項２に記載の画像データ処理装置。
4. 前記信頼度算出手段は、
   前記候補ベクトルに対応する周辺ベクトルを抽出する周辺ベクトル抽出手段と、
   前記候補ベクトルと、前記周辺ベクトルとを比較することにより前記候補ベクトルの前記信頼度を算出する比較手段と
   を備えることを特徴とする請求項２に記載の画像データ処理装置。
5. 前記信頼度算出手段は、
   前記候補ベクトルに対応するベクトルの履歴を抽出する履歴抽出手段と、
   前記候補ベクトルと、前記ベクトルの履歴から得られる過去の前記候補ベクトルと比較することにより前記候補ベクトルの前記信頼度を算出する比較手段と
   を備えることを特徴とする請求項２に記載の画像データ処理装置。
6. 前記信頼度算出手段は、
   前記候補ベクトルに対応するベクトルの履歴を抽出する履歴抽出手段と、
   前記ベクトルの履歴から得られる前記候補ベクトルの動きの不連続性により前記候補ベクトルの前記信頼度を算出する不連続性評価手段と
   を備えることを特徴とする請求項２に記載の画像データ処理装置。
7. 前記信頼度算出手段は、
   全画面の動き補償用ベクトルを抽出する抽出手段と、
   前記候補ベクトルと、前記全画面の動き補償用ベクトルと比較することにより前記候補ベクトルの前記信頼度を算出する比較手段と
   を備えることを特徴とする請求項２に記載の画像データ処理装置。
8. 前記信頼度算出手段は、前記候補ベクトルの動き補償残差に基づいて前記候補ベクトルの前記信頼度を算出する
   ことを特徴とする請求項２に記載の画像データ処理装置。
9. 前記第１の選択手段は、前記評価手段により最も信頼度が大きいと評価された前記候補ベクトルを、前記注目領域の前記動き補償用ベクトルとして選択できなかった場合、前記候補ベクトルのうち、動き補償残差が最も小さい候補ベクトルを前記注目領域の前記動き補償用ベクトルとして選択する
   ことを特徴とする請求項２に記載の画像データ処理装置。
10. 前記第１の選択手段により選択された前記動き補償用ベクトルに基づいて、前記注目領域をタップ引き寄せするタップ引き寄せ手段をさらに備え、
    前記クラス分類手段は、前記タップ引き寄せ手段によりタップ引き寄せされた前記注目領域と、前記タップ引き寄せ手段によりタップ引き寄せされる前の前記注目領域の境界との位置関係に基づいて、前記注目領域を複数のクラスのうちの１つに分類する
    ことを特徴とする請求項１に記載の画像データ処理装置。
11. 画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択ステップと、
    前記第１の選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、
    前記クラス分類ステップの処理により分類された前記クラスに基づいて、予測係数を選択する第２の選択ステップと、
    前記注目領域の予測タップを構築する構築ステップと、
    選択された前記予測係数と前記予測タップに基づいて、解像度創造信号を演算する演算ステップと
    を含むことを特徴とする画像データ処理方法。
12. 画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択ステップと、
    前記第１の選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、
    前記クラス分類ステップの処理により分類された前記クラスに基づいて、予測係数を選択する第２の選択ステップと、
    前記注目領域の予測タップを構築する構築ステップと、
    選択された前記予測係数と前記予測タップに基づいて、解像度創造信号を演算する演算ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
13. 画像データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する第１の選択ステップと、
    前記第１の選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、
    前記クラス分類ステップの処理により分類された前記クラスに基づいて、予測係数を選択する第２の選択ステップと、
    前記注目領域の予測タップを構築する構築ステップと、
    選択された前記予測係数と前記予測タップに基づいて、解像度創造信号を演算する演算ステップと
    をコンピュータに実行させることを特徴とするプログラム。
14. 生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択手段と、
    前記選択手段により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類手段と、
    前記選択手段により選択された前記動き補償用ベクトルに基づいて、前記注目領域の予測タップを構築し、前記クラス分類手段により分類された前記クラスに基づいて、構築された前記予測タップに対応する教師データを用いて、予測係数を学習する学習手段と
    を備えることを特徴とする画像データ処理装置。
15. 前記選択手段により選択された前記動き補償用ベクトルに基づいて、前記注目領域をタップ引き寄せするタップ引き寄せ手段をさらに備え、
    前記クラス分類手段は、前記タップ引き寄せ手段によりタップ引き寄せされた前記注目領域と、前記タップ引き寄せ手段によりタップ引き寄せされる前の前記注目領域の境界との位置関係に基づいて、前記注目領域を複数のクラスのうちの１つに分類する
    ことを特徴とする請求項１４に記載の画像データ処理装置。
16. 生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択ステップと、
    前記選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、
    前記選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域の予測タップを構築し、前記クラス分類ステップの処理により分類された前記クラスに基づいて、構築された前記予測タップに対応する教師データを用いて、予測係数を学習する学習ステップと
    を含むことを特徴とする画像データ処理方法。
17. 生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択ステップと、
    前記選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、
    前記選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域の予測タップを構築し、前記クラス分類ステップの処理により分類された前記クラスに基づいて、構築された前記予測タップに対応する教師データを用いて、予測係数を学習する学習ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
18. 生徒データに付加されている付加情報に基づいて、注目領域の動き補償用ベクトルを選択する選択ステップと、
    前記選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域を複数のクラスのうちの１つに分類するクラス分類ステップと、
    前記選択ステップの処理により選択された前記動き補償用ベクトルに基づいて、前記注目領域の予測タップを構築し、前記クラス分類ステップの処理により分類された前記クラスに基づいて、構築された前記予測タップに対応する教師データを用いて、予測係数を学習する学習ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images