JP2007251688A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】入力された画像を、画素数の異なる高品質な画像に的確に変換することができる。【解決手段】ＩＰ変換部１２１は、インターレース方式のＳＤ画像に対して、ＩＰ変換を行う。出力位相変換部１１２は、ＩＰ変換の結果得られるプログレッシブ方式のＳＤ画像に対して補間を行い、ＨＤ画像とする。自然画予測部１１３は、補間の結果得られるプログレッシブ方式のＨＤ画像により求められる、そのＨＤ画像のうちの自然画像を高品質にした自然高品質画像の画素である注目画素を、そのＨＤ画像の特徴に応じて、クラスに分類する。自然画予測部１１３は、複数のプログレッシブ方式のＨＤ画像を用いた学習により獲得された、クラスごとの予測係数を格納する。自然画予測部１１３は、ＨＤ画像と、注目画素のクラスの予測係数とを用いて演算することで、ＨＤ画像から自然高品質画像を求める。本発明は、画像処理装置に適用できる。
【選択図】図８

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、入力された画像を、画素数の異なる高品質な画像に的確に変換することができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。

本出願人は、ＳＤ(Standard Definition)画像からＨＤ(High Definition)画像に変換する変換処理を先に提案している（例えば、特許文献１参照）。この変換処理は、入力されたＳＤ画像の所定領域の複数画素の特徴をADRC(Adaptive Dynamic Range Coding)（適応的ダイナミックレンジ符号化）などを用いて求め、その特徴に応じて、ＳＤ画像により求められるＨＤ画像の画素である注目画素を、クラスに分類し、そのクラスに対応する、学習処理によりクラスごとに予め求めておいた予測係数と、ＳＤ画像の所定領域の複数画素の画素値との線形１次式を演算することにより、入力されたＳＤ画像からＨＤ画像を予測する処理である。

図１は、従来の変換処理を行う変換装置１の一例を示すブロック図である。

図１の変換装置１は、クラスタップ抽出部１１、ADRC処理部１２、予測係数メモリ１３、予測タップ抽出部１４、および予測演算部１５により構成される。

変換装置１には、インターレース方式のＳＤ画像が入力され、そのＳＤ画像はクラスタップ抽出部１１と予測タップ抽出部１４に供給される。

クラスタップ抽出部１１は、入力されたインターレース方式のＳＤ画像により求められるインターレース方式のＨＤ画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、入力されたＳＤ画像を構成する画素の幾つかを、クラスタップとして抽出する。クラスタップ抽出部１１は、抽出されたクラスタップを、ADRC処理部１２に供給する。

ADRC処理部１２は、クラスタップ抽出部１１から供給されるクラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その画素値に対してADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算される。

そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算されて、除算結果の小数点以下は切り捨てられ、これにより、各画素の画素値が１ビットとされる。即ち、各画素の画素値が２値化される。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。

ADRC処理部１２は、検出されたADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ１３に供給する。例えば、ADRC処理部１２は、ADRCコードをそのままクラスとして、予測係数メモリ１３に供給する。

予測係数メモリ１３は、図７を参照して後述する学習により獲得されたクラスごとの予測係数を格納している。予測係数メモリ１３は、ADRC処理部１２から供給されるクラスに基づいて、そのクラスの予測係数を読み出し、予測演算部１５に供給する。

予測タップ抽出部１４は、入力されるインターレース方式のＳＤ画像から、注目画素の画素値を予測するのに用いるＳＤ画像を構成する画素を、予測タップとして抽出する。具体的には、予測タップ抽出部１４は、注目画素に対応するＳＤ画像の画素、例えば注目画素に対して空間的に最も近い位置にあるＳＤ画像の画素に対して、空間的に近い位置にある複数の画素を、ＳＤ画像から、予測タップとして抽出する。予測タップ抽出部１４は、予測タップを予測演算部１５に供給する。

なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。

予測演算部１５は、予測タップ抽出部１４から供給される予測タップと、予測係数メモリ１３から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式の演算などの予測演算を行う。これにより、予測演算部１５は、注目画素の画素値の予測値、即ち、インターレース方式のＨＤ画像を構成する画素の画素値を求めて出力する。

図２は、図１のクラスタップ抽出部１１により抽出されるクラスタップのタップ構造の一例を示している。なお、図２において、図中白丸はＳＤ画像の画素を表し、図中菱形はＨＤ画像の画素を表す。このことは、後述する図３においても同様である。

図２では、９個の画素で、クラスタップが構成されている。即ち、注目画素２７に対応する、ｍ番目（ｍ＝１，２，・・・のいずれか）のフィールドのＳＤ画像を構成する画素２３、その画素の上方向に隣接する１画素２０と下方向に隣接する１画素２６、左方向に隣接する画素２１，２２と右方向に隣接する２画素２４，２５、および、そのフィールドより１フィールド前であるｍ−１番目のフィールドのＳＤ画像を構成する、画素２３に対応する位置２８の上方向に隣接する１画素２９と下方向に隣接する１画素３０から、クラスタップが構成されている。

図３は、図１の予測タップ抽出部１４により抽出される予測タップのタップ構造の一例を示している。

図３では、１３個の画素で、予測タップが構成されている。即ち、注目画素４７に対応する、ｍ番目（ｍ＝１，２，・・・のいずれか）のフィールドのＳＤ画像を構成する画素４３、その画素の上方向に隣接する１画素４０と下方向に隣接する１画素４６、左方向に隣接する画素４１，４２と右方向に隣接する２画素４４，４５、そのフィールドより１フィールド前であるｍ−１番目のフィールドのＳＤ画像を構成する、画素４３に対応する位置４８の上方向に隣接する１画素５０と下方向に隣接する１画素５３のそれぞれを中心として横方向に並ぶ３画素４９，５０，５１，５２，５３，５４から、予測タップが構成されている。

図４と図５は、変換装置１に入力されるインターレース方式のＳＤ画像の画素と、変換装置１から出力されるインターレース方式のＨＤ画像の画素の位置関係を示す図である。

なお、図４と図５において、白丸は、ＳＤ画像の偶数番目のフィールド（以下、偶数フィールドと称する）の画素を表し、黒丸は、奇数番目のフィールド（以下、奇数フィールドと称する）の画素を表す。また、白色の菱形は、ＨＤ画像の所定のフレームを構成する偶数フィールドの画素を表し、黒色の菱形は、奇数フィールドの画素を表す。さらに、ＨＤ画像の垂直方向と水平方向の画素の間隔を１とする。

図４は、奇数フィールドと偶数フィールドにおける、ＨＤ画像の画素とＳＤ画像の画素の垂直方向の位置関係を表している。なお、図４において、横方向は時間を表し、縦方向は、画素の垂直方向の位置を表している。

図４に示されるように、奇数フィールドのＳＤ画像の画素７１が配置される垂直方向の位置は、垂直方向において画素７１から最も近い位置にあるＨＤ画像の画素６１から、下方向に1/2だけ離れた位置、即ち、画素６１の直下の画素６２から上方向に3/2だけ離れた位置である。

また、偶数フィールドのＳＤ画像の画素７２が配置される垂直方向の位置は、垂直方向において画素７２から最も近い位置にあるＨＤ画像の画素６４から、上方向に1/2だけ離れた位置、即ち、画素６４の直上の画素６３から下方向に3/2だけ離れた位置である。

図５は、ＨＤ画像の画素とＳＤ画像の画素の水平方向の位置関係を表している。なお、図５の画像は、説明の便宜上、奇数フィールドと偶数フィールドを合成した画像となっている。

図５に示されるように、ＳＤ画像の奇数フィールドの画素７１と偶数フィールドの画素７２が配置される水平方向の位置は、水平方向において画素７１と画素７２から最も近い位置にあるＨＤ画像の画素６１と、その右隣の画素８１との中間である。即ち、画素７１と画素７２の水平方向の位置は、画素６１から右方向に1/2だけ離れた位置であり、かつ画素８１から左方向に1/2だけ離れた位置である。

以上のように、変換前のＳＤ画像と変換後のＨＤ画像の画素数、即ち画素のサンプリング周波数に差があるため、ＳＤ画像とＨＤ画像の画素の位置にズレが生じる。

次に、図６のフローチャートを参照して、図１の変換装置１がインターレース方式のＨＤ画像を予測する予測処理について説明する。この予測処理は、例えば、変換装置１にインターレース方式のＳＤ画像が入力されたとき、開始される。

初めに、ステップＳ１において、クラスタップ抽出部１１は、入力されたインターレース方式のＳＤ画像により予測される、インターレース方式のＨＤ画像を構成する画素のうちの１つを、注目画素として選択する。

ステップＳ２において、クラスタップ抽出部１１は、図２に示されるような、ステップＳ１で選択された注目画素のクラスを分類するのに用いる、ＳＤ画像を構成する画素の幾つかを、入力されたＳＤ画像からクラスタップとして抽出し、ADRC処理部１２に供給する。

ステップＳ３において、ADRC処理部１２は、クラスタップ抽出部１１から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。

ステップＳ４において、ADRC処理部１２は、ステップＳ３で検出されたADRCコードに基づいてクラスを決定し、そのクラスを予測係数メモリ１３に供給する。

ステップＳ５において、予測タップ抽出部１４は、入力されたＳＤ画像から、注目画素の画素値を予測するのに用いるＳＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部１４は、予測タップを予測演算部１５に供給する。

ステップＳ６において、予測係数メモリ１３は、ADRC処理部１２から供給されるクラスに基づいて、そのクラスの予測係数を読み出し、予測演算部１５に供給する。

ステップＳ７において、予測演算部１５は、予測タップ抽出部１４から供給される予測タップと、予測係数メモリ１３から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式の演算などの予測演算を行う。

ステップＳ８において、予測演算部１５は、予測演算の結果得られた注目画素の画素値の予測値、即ち、インターレース方式のＨＤ画像を構成する画素の画素値を出力する。

ステップＳ９において、クラスタップ抽出部１１は、入力されたインターレース方式のＳＤ画像により求められる、インターレース方式のＨＤ画像を構成するすべての画素を、注目画素としたかどうかを判定する。

ステップＳ９で、クラスタップ抽出部１１は、まだすべての画素を注目画素としていないと判定した場合、ステップＳ１０において、クラスタップ抽出部１１は、インターレース方式のＨＤ画像を構成する画素のうち、まだ注目画素としていないものを、新たに注目画素として決定し、処理をステップＳ２に戻して、以下同様の処理を繰り返す。一方、ステップＳ９で、クラスタップ抽出部１１は、すべての画素を注目画素としたと判定した場合、処理を終了する。

以上のようにして、変換装置１は、入力されたＳＤ画像から、ＨＤ画像を予測し、出力する。即ち、変換装置１は、ＳＤ画像をＨＤ画像に変換し、出力する。

図７は、図１の予測係数メモリ１３に格納されるクラスごとの予測係数を求める学習を行う学習装置９０の構成例を示すブロック図である。

図７の学習装置９０は、２次元間引きフィルタ９１、クラスタップ抽出部９２、ADRC処理部９３、予測タップ抽出部９４、正規方程式生成部９５、および係数生成部９６により構成される。

学習装置９０には、図示せぬデータベースから読み出された、予測処理後の目標のインターレース方式のＨＤ画像となる教師画像が入力され、その教師画像は、２次元間引きフィルタ９１と正規方程式生成部９５に供給される。

２次元間引きフィルタ９１は、入力されたインターレース方式のＨＤ画像である教師画像に対して、垂直方向および水平方向の画素を、それぞれ間引き、垂直方向および水平方向の画素数を1/2にする。即ち、２次元間引きフィルタ９１は、入力されたインターレース方式のＨＤ画像から、予測処理が行われる前の画像に相当するインターレース方式のＳＤ画像である生徒画像を生成する。２次元間引きフィルタ９１は、その生徒画像をクラスタップ抽出部９２と予測タップ抽出部９４に供給する。

クラスタップ抽出部９２は、図１のクラスタップ抽出部１１と同様に構成される。クラスタップ抽出部９２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図２に示されるようなクラスタップを抽出する。クラスタップ抽出部９２は、そのクラスタップをADRC処理部９３に供給する。

ADRC処理部９３は、図１のADRC処理部１２と同様に構成される。ADRC処理部９３は、クラスタップ抽出部９２から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。ADRC処理部９３は、そのADRCコードに基づいてクラスを決定し、そのクラスを正規方程式生成部９５に供給する。

予測タップ抽出部９４は、図１の予測タップ抽出部１４と同様に構成される。予測タップ抽出部９４は、２次元間引きフィルタ９１から供給される生徒画像から、注目画素の画素値を予測するのに用いる生徒画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部９４は、予測タップを正規方程式生成部９５に供給する。

正規方程式生成部９５は、入力された教師画像と、予測タップ抽出部９４から供給される予測タップのペアを、予測係数の学習に用いられる学習対として、ADRC処理部９３から供給されるクラスごとに、正規方程式をたてると、その正規方程式を予測係数生成部９６に供給する。

予測係数生成部９６は、正規方程式生成部９５から供給されるクラスごとの正規方程式を解くことにより、予測誤差を統計的に最小にする予測係数をクラスごとに求めて、予測係数メモリ９７に出力し、格納させる。この予測係数メモリ９７に格納された予測係数は、図１の予測係数メモリ１３に格納される。

このようにして、学習装置９０により獲得された、予測誤差が最小となる予測係数を用いて、変換装置１は、ＳＤ画像をＨＤ画像に変換するので、高い精度の変換処理を行うことができる。
特開平７−７９４１８号公報

しかしながら、上述したように、ＳＤ画像とＨＤ画像の画素の位置にはズレがあるため、変換装置１は、ＨＤ画像の画素である注目画素の位相に対して、垂直方向および水平方向に位相がシフトしたＳＤ画像の画素からなる予測タップを用いて、注目画素の画素値を予測しなければならない。

その結果、変換装置１は、ＨＤ画像を正確に予測することができない場合がある。特に、ＳＤ画像とＨＤ画像の画素の数の差が大きい場合、ＨＤ画像の空間的な波形の連続性が失われる場合がある。

本発明は、このような状況に鑑みてなされたものであり、入力された画像を、画素数の異なる高品質な画像に的確に変換することができるようにするものである。

本発明の第１の側面の画像処理装置は、第１の画素数の画素から構成されるインターレース画像を第１のプログレッシブ画像にＩＰ変換する変換手段と、前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像を生成する補間手段と、前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類する分類手段と、前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数を格納する格納手段と、前記第２のプログレッシブ画像と、前記注目画素の前記クラスの予測係数とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求める演算手段とを備える。

前記変換手段には、前記インターレース画像を、プログレッシブ方式の中間画像に変換するＩＰ変換手段と、前記中間画像の画素の間隔より短い距離を最小単位とする前記インターレース画像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルの垂直方向の成分である垂直動き量に基づいて、前記インターレース画像に画素が存在する位置にある第１のタイプの画素に対する第１の巡回係数、および、前記インターレース画像に画素が存在しない位置にある第２のタイプの画素に対する第２の巡回係数を設定する巡回係数設定手段と、前記動きベクトルに基づいて、過去の前記第１のプログレッシブ画像に対して動き補償を施した画像である動き補償画像を生成する動き補償手段と、前記中間画像の前記第１のタイプの画素の画素値と前記動き補償画像の対応する位置にある画素の画素値とを前記第１の巡回係数を用いて重み付け加算し、前記中間画像の前記第２のタイプの画素の画素値と前記動き補償画像の対応する位置にある画素の画素値とを前記第２の巡回係数を用いて重み付け加算した画素値からなる前記第１のプログレッシブ画像を生成する出力画像生成手段とを設けることができる。

本発明の第１の側面の画像処理方法は、第１の画素数の画素から構成されるインターレース画像を第１のプログレッシブ画像にＩＰ変換し、前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像を生成し、前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類し、前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数のうち、前記注目画素の前記クラスの予測係数と、前記第２のプログレッシブ画像とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求めるステップを含む。

本発明の第１の側面のプログラムは、第１の画素数の画素から構成されるインターレース画像を第１のプログレッシブ画像にＩＰ変換し、前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像を生成し、前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類し、前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数のうち、前記注目画素の前記クラスの予測係数と、前記第２のプログレッシブ画像とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求めるステップを含む。

本発明の第１の側面においては、第１の画素数の画素から構成されるインターレース画像が第１のプログレッシブ画像にＩＰ変換され、第１のプログレッシブ画像に対して補間が行われることにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像が生成され、第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な第２の画素数の画素から構成される、生成目標の画像としての第３のプログレッシブ画像の画素である注目画素が、その第２のプログレッシブ画像の特徴に応じて、クラスに分類され、第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、クラスごとの予測係数のうち、注目画素のクラスの予測係数と、第２のプログレッシブ画像とを用いて演算することで、第２のプログレッシブ画像から、生成目標の画像としての第３のプログレッシブ画像が求められる。

本発明によれば、入力された画像を、画素数の異なる高品質な画像に的確に変換することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理装置（例えば、図８の画像処理装置１０１）は、第１の画素数の画素から構成されるインターレース画像（例えば、画像I1）を第１のプログレッシブ画像（例えば、画像P2）にＩＰ変換する変換手段（例えば、図８の巡回型ＩＰ変換部１１１）と、前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像（例えば、ＨＤ画像）を生成する補間手段（例えば、図８の出力位相変換部１１２）と、前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類する分類手段（例えば、図３３のADRC処理部５５２）と、前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数を格納する格納手段（例えば、図３３の予測係数メモリ５５５）と、前記第２のプログレッシブ画像と、前記注目画素の前記クラスの予測係数とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求める演算手段（例えば、図３３の予測演算部５５７）とを備える。

前記変換手段は、前記インターレース画像を、プログレッシブ方式の中間画像（例えば、画像P1）に変換するＩＰ変換手段（例えば、図９のIP変換部１２１）と、前記中間画像の画素の間隔より短い距離を最小単位とする前記インターレース画像の動きベクトル（例えば、動きベクトルV）を検出する動きベクトル検出手段（例えば、図９の動きベクトル検出部１３１と、前記動きベクトルの垂直方向の成分である垂直動き量（例えば、垂直動き量VY）に基づいて、前記インターレース画像に画素が存在する位置にある第１のタイプの画素（例えば、タイプＡの画素）に対する第１の巡回係数（例えば、巡回係数KA）、および、前記インターレース画像に画素が存在しない位置にある第２のタイプの画素（例えば、タイプＢの画素）に対する第２の巡回係数（例えば、巡回係数KB）を設定する巡回係数設定手段（例えば、図９の巡回係数設定部１３３）と、前記動きベクトルに基づいて、過去の前記第１のプログレッシブ画像（例えば、画像P3）に対して動き補償を施した画像である動き補償画像（例えば、画像P4）を生成する動き補償手段（例えば、図９の動き補償部１３４）と、前記中間画像の前記第１のタイプの画素の画素値と前記動き補償画像の対応する位置にある画素の画素値とを前記第１の巡回係数を用いて重み付け加算し、前記中間画像の前記第２のタイプの画素の画素値と前記動き補償画像の対応する位置にある画素の画素値とを前記第２の巡回係数を用いて重み付け加算した画素値からなる前記第１のプログレッシブ画像を生成する出力画像生成手段（例えば、図９の積和演算部１３５）とを備える。

本発明の第１の側面の画像処理方法とプログラムは、第１の画素数の画素から構成されるインターレース画像（例えば、画像I1）を第１のプログレッシブ画像（例えば、画像P2）にＩＰ変換し（例えば、図１３のステップＳ１１）、前記第１のプログレッシブ画像（例えば、画像P2）に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像（例えば、ＨＤ画像）を生成し（例えば、図１３のステップＳ１３）、前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類し（例えば、図３６のステップＳ５５４）、前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数のうち、前記注目画素の前記クラスの予測係数と、前記第２のプログレッシブ画像とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求める（例えば、図３６のステップＳ５５９）ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図８は、本発明を適用した画像変換装置１０１の一実施の形態を示すブロック図である。画像変換装置１０１は、巡回型IP変換部１１１、出力位相変換部１１２、自然画予測部１１３、人工画予測部１１４、自然画人工画判定部１１５、および、合成部１１６により構成される。また、巡回型IP変換部１１１は、IP変換部１２１および巡回型変換部１２２により構成される。

巡回型IP変換部１１１のIP変換部１２１および巡回型変換部１２２には、処理対象となるインターレース方式のＳＤ（Standard Definition）画像が入力される。

IP変換部１２１は、所定の方法に基づいて、入力されたインターレース方式のＳＤ画像（以下、入力画像とも称する）をプログレッシブ方式のＳＤ画像（以下、中間画像とも称する）にIP変換し、IP変換したプログレッシブ方式のＳＤ画像を巡回型変換部１２２に供給する。

巡回型変換部１２２は、入力画像と、１フレーム前に巡回型変換部１２２から出力されたプログレッシブ方式のＳＤ画像（以下、出力画像とも称する）との間の動きベクトルを求める。巡回型変換部１２２は、入力画像の画素値と、求めた動きベクトルに基づいて、出力画像に動き補償を施した画像の画素値とを、巡回係数を用いて重み付け加算することにより、中間画像の画質を向上させる。巡回型変換部１２２は、中間画像をより高画質のプログレッシブ方式のＳＤ画像である出力画像に変換し、出力画像を出力位相変換部１１２に供給する。なお、巡回係数は、中間画像の各画素について、変換前の入力画像において画素が存在する位置にあるか否か、動きベクトルの垂直方向の大きさ、および、動きベクトルの確からしさを表す信頼度確からしさに基づいて設定される。

出力位相変換部１１２は、巡回型変換部１２２から供給される第１の画素数のＳＤ画像に対して、水平方向および垂直方向に補間を行うことにより、第１の画素数より多い第２の画素数のＨＤ（High Definition）画像を生成する。出力位相変換部１１２は、そのＨＤ画像を、自然画予測部１１３、人工画予測部１１４、および、自然画人工画判定部１１５に供給する。

自然画予測部１１３は、出力位相変換部１１２から供給されるＨＤ画像から、そのＨＤ画像のうちの自然画像を高品質にしたＨＤ画像（以下、自然高品質画像と称する）を予測する。具体的には、自然画予測部１１３は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる自然高品質画像の画素である注目画素を、自然画像の特徴に適したクラスに分類する。そして、自然画予測部１１３は、そのクラスに対応する、自然高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、自然高品質画像を予測する。自然画予測部１１３は、その自然高品質画像を合成部１１６に供給する。

ここで、自然画像とは、後述する人工画像ではない画像のことであり、自然界に存在するものをそのまま撮像することにより得られる画像である。

人工画予測部１１４は、自然画予測部１１３と同様に、出力位相変換部１１２から供給されるＨＤ画像から、そのＨＤ画像のうちの人工画像を高品質にしたＨＤ画像(以下、人工高品質画像と称する)を予測する。具体的には、人工画予測部１１４は、ＨＤ画像の特徴に応じて、そのＨＤ画像から求められる人工高品質画像の画素である注目画素を、人工画像の特徴に適したクラスに分類する。そして、人工画予測部１１４は、そのクラスに対応する、人工高品質画像を予測するための予測係数と、ＨＤ画像とを用いて演算することにより、出力位相変換部１１２から供給されたＨＤ画像から、人工高品質画像を予測する。人工画予測部１１４は、その人工高品質画像を合成部１１６に出力する。

ここで、人工画像とは、文字や単純な図形などの、階調が少なく、エッジの位置を表す位相情報がはっきりした、すなわち、平坦部分が多い人工的な画像である。換言すれば、人工画像は、文字や単純図形等の階調があまり無く、輪郭等の位置を表す情報が支配的になっている画像である。

自然画人工画判定部１１５は、出力位相変換部１１２より供給されるＨＤ画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として合成部１１６に出力する。すなわち、人工画度とは、人工画像と自然画像との中間に分類される領域において自然画像における人工画像の割合を０乃至１の値で示したものである。

合成部１１６は、自然画人工画判定部１１５より供給される判定結果に基づいて、自然画予測部１１３から供給される自然高品質画像の各画素の画素値と、人工画予測部１１４から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成し、合成の結果得られるＨＤ画像を出力する。

図９は、図８の巡回型IP変換部１１１の巡回型変換部１２２の機能的構成を詳細に示したブロック図である。巡回型変換部１２２は、動きベクトル検出部１３１、MCブロック差分検出部１３２、巡回係数設定部１３３、動き補償部１３４、積和演算部１３５、および、フレームメモリ１３６により構成される。

なお、以下、巡回型IP変換部１１１で処理される各画像の画素の位置を表す座標系について、水平（横）方向をx軸方向とし、垂直（縦）方向をy軸方向とする。すなわち、各画素の座標は、(x,y)で表される。また、以下、外部からIP変換部１２１に入力されるインターレース方式のＳＤ画像である入力画像を画像I1とも称し、IP変換部１２１から出力されるプログレッシブ方式のＳＤ画像である中間画像を画像P1とも称する。

また、一般的に、プログレッシブ画像には、IP変換前のインターレース画像において画素が存在する位置にある画素と、存在しない位置にある画素の２種類の画素がある。以下、この２種類の画素を区別する場合、前者をＡタイプの画素、後者をＢタイプの画素という。

図１０は、IP変換前のインターレース画像およびIP変換後のプログレッシブ画像の画素の位置の関係を示す図である。図１０の横軸方向は、時間を示し、縦軸方向は、画素の位置を示す。この図１０の例において、白丸に囲まれた黒丸で示される画素が、Aタイプの画素であり、黒丸のみで示される画素が、Ｂタイプの画素である。

動きベクトル検出部１３１は、画像I1の各画素の動きベクトルを検出する。具体的には、動きベクトル検出部１３１は、１フレーム前に巡回型変換部１２２から出力されたプログレッシブSD画像である出力画像であって、フレームメモリ１３６に記憶されている画像（以下、画像P3とも称する）を、フレームメモリ１３６から読み出す。動きベクトル検出部１３１は、図２５を参照して後述するように、画像I1を、所定の大きさ、すなわち、縦N×横M画素のブロックに分割し、ブロックごとに、画素以下精度で、すなわち、プログレッシブ画像における画素の間隔より短い距離を最小単位として、動きベクトルを検出する。なお、画像I1に実際に存在しないＢタイプの画素に対しては、その画素が含まれるブロックの動きベクトルが適用される。

なお、以下、ブロックなど、各画像内の所定のブロックの位置を表す座標系について、画素の位置を表す座標系と区別するために、水平（横）方向をX軸方向とし、垂直（縦）方向をY軸方向とする。すなわち、各ブロックの座標は(X,Y)で表される。また、以下、座標(X,Y)のブロックの動きベクトルをV(X,Y)と表し、動きベクトルV(X,Y)の水平方向の成分である水平動き量をVX(X,Y)と表し、動きベクトルV(X,Y)の垂直方向の成分である垂直動き量をVY(X,Y)と表す。なお、以下、水平動き量および垂直動き量の大きさは、プログレッシブ画像における画素間隔を基準として表すことにする。また、以下、各ブロックの左上隅の画素を基準画素といい、基準画素の座標を基準座標という。

動きベクトル検出部１３１は、検出した動きベクトルV（水平動き量VXおよび垂直動き量VY）を示す情報を、MCブロック差分検出部１３２、巡回係数設定部１３３、および、動き補償部１３４に供給する。また、動きベクトル検出部１３１は、動きベクトルの検出に用いた画像I1および画像P3をMCブロック差分検出部１３２に供給する。

MCブロック差分検出部１３２は、図１６および図１７を参照して後述するように、画像I1のブロックごとに、各ブロックの画素値と、そのブロックに対応する画像P3のブロック、すなわち、画像I1の各ブロックを動きベクトルVで示される方向および距離だけ移動させた位置にある画像P3のブロックの画素値との差分値であるMCブロック差分値を検出する。MCブロック差分検出部１３２は、検出したMCブロック差分値を示す情報を巡回係数設定部１３３に供給する。

なお、以下、画像I1の座標(X,Y)のブロックに対応するブロック差分値を、BD(X,Y)と表す。

巡回係数設定部１３３は、図１５などを参照して後述するように、動きベクトルV、および、MCブロック差分値BDに基づいて、Ａタイプの画素に対する巡回係数KA、および、Ｂタイプの画素に対する巡回係数KBを設定する。なお、以下、座標(x,y)のAタイプの画素に対する巡回係数KAをKA(x,y)と表し、座標(x,y)のＢタイプの画素に対する巡回係数KBをKB(x,y)と表す。巡回係数設定部１３３は、設定した巡回係数KAおよびKBを示す情報を積和演算部１３５に供給する。

動き補償部１３４は、フレームメモリ１３６から画像P3を読み出す。動き補償部１３４は、図１５を参照して後述するように、動きベクトルVに基づいて、画像P3に対して動き補償を施した画像P4を生成する。動き補償部１３４は、画像P4を積和演算部１３５に供給する。

積和演算部１３５は、図１７を参照して後述するように、画像P1のＡタイプの画素の画素値と画像P4の対応する位置にある画素の画素値とを巡回係数KAを用いて重み付け加算し、画像P1のＢタイプの画素の画素値と画像P4の対応する位置にある画素の画素値とを巡回係数KBを用いて重みづけ加算した画素値からなるプログレッシブ方式のＳＤ画像である出力画像（以下、画像P2とも称する）を生成する。積和演算部１３５は、画像P2を出力位相変換部１１２に供給するとともに、フレームメモリ１３６に記憶させる。

なお、以下、画像I1および画像P1乃至P4の座標(x,y)の画素の画素値を、それぞれ、I1(x,y)およびP1(x,y)乃至P4(x,y)と表す。

図１１は、動きベクトル検出部１３１の機能的構成を示すブロック図である。動きベクトル検出部１３１は、動き評価値検出部１５１、画素精度動きベクトル検出部１５２、タップ抽出部１５３，１５４、ADRC(Adaptive Dynamic Range Coding)処理部１５５、クラス分類部１５６、係数メモリ１５７、予測演算部１５８、および、画素以下精度動きベクトル検出部１５９により構成される。

動き評価値検出部１５１は、外部から入力される画像I1を取得し、フレームメモリ１３６から画像P3を取得する。動き評価値検出部１５１は、画像I1を所定の大きさのブロックに分割し、各ブロックを順次注目ブロックとする。さらに、動き評価値検出部１５１は、図２５を参照して後述するように、画像P3の所定の範囲内の画素を、順次、注目画素とし、注目画素を基準画素とする注目ブロックと同じ大きさのブロック（以下、比較対象ブロックと称する）と注目ブロックとの対応する位置にある画素の画素値との差分をとり、その差分値の絶対値を合計した値を、注目画素に対する動き評価値として求める。動き評価値検出部１５１は、検出した動き評価値を示す情報を、画素精度動きベクトル検出部１５２、および、タップ抽出部１５３，１５４に供給する。また、動き評価値検出部１５１は、動きベクトルの検出に用いた画像I1および画像P3をMCブロック差分検出部１３２に供給する。

なお、以下、座標(x,y)の注目画素に対する動き評価値をM(x,y)と表す。

画素精度動きベクトル検出部１５２は、図２５を参照して後述するように、動き評価値Mが最小となる画素（以下、最小評価値画素と称する）の座標と、注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックに対する画素精度、すなわち、プログレッシブ画像における画素の間隔と等しい距離を最小単位とする動きベクトルとして検出する。画素精度動きベクトル検出部１５２は、検出した画素精度の動きベクトルを示す情報をタップ抽出部１５３，１５４に供給する。

タップ抽出部１５３は、図２５を参照して後述するように、最小評価値画素と最小評価値画素に隣接する画素との間の位置、すなわち、画素以下精度の位置（以下、予測位置ともいう）における動き評価値を予測するのに用いる画素であって、最小評価値画素を含む最小評価値画素の近傍の画像P3の画素に対応する動き評価値Mを予測タップとして抽出する。タップ抽出部１５３は、抽出した予測タップを予測演算部１５８に供給する。

タップ抽出部１５４は、図２５を参照して後述するように、最小評価値画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる画像P3のいくつかの画素に対応する動き評価値Mを、クラスタップとして抽出する。タップ抽出部１５４は、抽出したクラスタップをADRC処理部１５５に供給する。

ADRC処理部１５５は、クラスタップを構成する画素の動き評価値MをADRC処理し、その結果得られるADRCコードを示す情報をクラス分類部１５６に供給する。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の動き評価値Mの最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップを構成する動き評価値Mの集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する動き評価値MがKビットに再量子化される。即ち、クラスタップを構成する各画素の動き評価値Mから、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の動き評価値Mを、所定の順番で並べたビット列が、ADRCコードとして出力される。

クラス分類部１５６は、ADRC処理部１５５からのADRCコードに基づき、最小評価値画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ１５７に供給する。

係数メモリ１５７は、後述する学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶している。係数メモリ１５７は、その記憶しているタップ係数のセットのうちの、クラス分類部１５６から供給されるクラスコードに対応するアドレスに記憶されているタップ係数、すなわち、クラス分類部１５６から供給されるクラスコードが表すクラスのタップ係数を、予測演算部１５８に供給する。

予測演算部１５８は、図２５を参照して後述するように、タップ抽出部１５３が出力する予測タップと、係数メモリ１５７が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、予測位置における動き評価値Mの真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１５８は、予測位置における動き評価値M'の予測値を求めて、画素以下精度動きベクトル検出部１５９に供給する。

画素以下精度動きベクトル検出部１５９は、最小評価値画素および予測位置の中から動き評価値が最小となる画素または位置を検出し、検出した画素または位置の座標と、注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックに対する画素以下精度の動きベクトルVとして検出する。画素以下精度動きベクトル検出部１５９は、検出した動きベクトルVを示す情報をMCブロック差分検出部１３２および巡回係数設定部１３３、および、動き補償部１３４に供給する。

図１２は、巡回係数設定部１３３の機能的構成を示すブロック図である。巡回係数設定部１３３は、基本巡回係数設定部１７１、動き分散検出部１７２、および、巡回係数算出部１７３により構成される。また、巡回係数算出部１７３は、動き分散差し引き量算出部１８１、MCブロック差分差し引き量算出部１８２、および、減算部１８３−１乃至１８３−４により構成される。

基本巡回係数設定部１７１は、図１８と図１９を参照して後述するように、垂直動き量VYに基づいて、画像P1のＡタイプの画素に対する基本巡回係数KA0、および、Ｂタイプの画素に対する基本巡回係数KB0を設定する。なお、以下、座標(x,y)の画素に対する基本巡回係数KA0をKA0(x,y)と表し、座標(x,y)の画素に対する基本巡回係数KB0をKB0(x,y)と表す。基本巡回係数設定部１７１は、基本巡回係数KA0を示す情報を減算部１８３−１に供給し、基本巡回係数KB0を示す情報を減算部１８３−３に供給する。

動き分散検出部１７２は、図２１および図２４を参照して後述するように、動きベクトル検出部１３１により検出された動きベクトルVの信頼度として、周囲の動きベクトルVとの間のばらつきの度合いを示す動き分散MDを検出する。なお、以下、動きベクトルV(X,Y)に対する動き分散MDを、MD(X,Y)と表す。動き分散検出部１７２は、動き分散MDを示す情報を動き分散差し引き量算出部１８１に供給する。

動き分散差し引き量算出部１８１は、図１５を参照して後述するように、動き分散MDに基づいて、基本巡回係数KA0，KB0を補正するための補正値である動き分散差し引き量KM1を算出する。なお、以下、画像P1の座標(x,y)の画素に対する動き分散差し引き量KM1を、KM1(x,y)と表す。動き分散差し引き量算出部１８１は、動き分散差し引き量KM1を示す情報を減算部１８３−１および１８３−３に供給する。

MCブロック差分差し引き量算出部１８２は、図１５を参照して後述するように、MCブロック差分値BDに基づいて、基本巡回係数KA0，KB0を補正するための補正値であるMCブロック差分差し引き量KM2を算出する。なお、以下、画像P1の座標(x,y)の画素に対する動き分散差し引き量KM2を、KM2(x,y)と表す。MCブロック差分差し引き量算出部１８２は、MCブロック差分差し引き量KM2を示す情報を減算部１８３−２および１８３−４に供給する。

減算部１８３−１は、基本巡回係数KA0から動き分散差し引き量KM1を差し引き、さらに、減算部１８３−２は、減算部１８３−１による算出値からMCブロック差分差し引き量KM2を差し引く。これにより、巡回係数KAが算出される。なお、以下、画像P1の座標(x,y)の画素に対する巡回係数KAをKA(x,y)と表す。減算部１８３−２は、巡回係数KAを示す情報を積和演算部１３５に供給する。

減算部１８３−３は、基本巡回係数KB0から動き分散差し引き量KM1を差し引き、さらに、減算部１８３−４は、減算部１８３−３による算出値からMCブロック差分差し引き量KM2を差し引く。これにより、巡回係数KBが算出される。なお、以下、画像P1の座標(x,y)の画素に対する巡回係数KBをKB(x,y)と表す。減算部１８３−４は、巡回係数KBを示す情報を積和演算部１３５に供給する。

次に、図１３のフローチャートを参照して、画像変換装置１０１により実行される画像変換処理を説明する。なお、この処理は、例えば、外部から画像I1の入力が開始されたとき開始される。

ステップＳ１１において、IP変換部１２１は、IP変換処理を行う。具体的には、IP変換部１２１は、外部から入力されるインターレース方式の画像I1をIP変換することにより、プログレッシブ方式の画像P1を生成する。ここで、図１４を参照して、IP変換部１２１が行うIP変換処理の一例である、動き適応型と呼ばれる方法を用いたIP変換処理について説明する。

図１４は、インターレース画像における垂直方向の画素の並びを示す図である。図１４の横軸方向は時間を示し、縦軸方向は画素の位置を示す。また、図内の白丸は画素を示す。なお、図内の左端の画素の列はｎ−１番目のフィールドに属し、真ん中の画素の列はｎ番目のフィールドに属し、右端の画素の列はｎ＋１番目のフィールドに属するものとする。

以下、ｎ番目のフィールドのインターレース画像をプログレッシブ画像に変換する場合に、位置ｘに補間する画素（Ｂタイプの画素）の画素値を算出する例について説明する。なお、ｎ−１番目のフィールドにおいて、位置xに対応する位置にある画素の画素値をa、ｎ＋１番目のフィールドにおいて、位置ｘに対応する位置にある画素の画素値をｂとする。また、ｎ番目のフィールドにおいて、位置xの上に隣接する画素の画素値をc、下に隣接する画素の画素値をｄとする。

例えば、|ａ−ｂ|≦|ｃ−ｄ|である場合、位置ｘは画像の動きが少ない静止領域に含まれると見なされ、位置ｘの画素値は、前後のフィールドにおいて位置ｘに対応する位置にある画素の画素値の平均値である（ａ＋ｂ）／２とされる。一方、|ａ−ｂ|＞|ｃ−ｄ|である場合、位置ｘは画像の動きが大きい動作領域に含まれると見なされ、位置ｘの画素値は、上下方向に隣接する画素値の平均値である（ｃ＋ｄ）／２とされる。なお、他の位置のＢタイプの画素についても、同様の方法により画素値が求められる。

なお、IP変換部１２１が行うIP変換の方法は、特定の方法に限定されるものではなく、例えば、クラス分類適応処理を用いた方法を用いるようにしてもよい。なお、クラス分類適応処理を用いたIP変換の方法については、例えば、本件出願人が先に出願した特開２０００−５０２１３号公報などに、その詳細が開示されている。

また、画像I1をそのままIP変換するのではなく、IP変換する前に、ノイズ除去などの画質を向上させる画像処理を画像I1に施すようにしてもよい。

ただし、ここで行われるのはあくまでＩＰ変換であり、図１０や図１４に示されるように、奇数フィールドの画素に対応する位置の画素を偶数フィールドに作成するとともに、逆に、偶数フィールドの画素に対応する位置の画素を奇数フィールドに作成するものであり、その限りにおいて各フィールドの画素数は増加するが、画素数はそれより増加することはない。

IP変換部１２１は、生成した画像P1を順に積和演算部１３５に供給する。

ステップＳ１２において、巡回型変換部１２２は、巡回型変換処理を行う。巡回型変換処理の詳細は、図１５を参照して後述するが、この処理により、画像P1がより高画質の画像P2に変換され、画像P2が出力位相変換部１１２に供給される。

ステップＳ１３において、出力位相変換部１１２は、出力位相変換処理を行う。出力位相変換処理の詳細は、図２９や図３２を参照して後述するが、この処理により、ＳＤ画像である画像P2がＨＤ画像に変換される。すなわち、ここで、生成目標とするＨＤ画像の画素数と同じ画素数の画像とされる。そのＨＤ画像が、自然画予測部１１３、人工画予測部１１４、および、自然画人工画判定部１１５に供給される。

ステップＳ１４において、自然画予測部１１３は、自然画予測処理を行う。自然画予測処理の詳細は、図３６を参照して後述するが、この処理により、ＨＤ画像から自然高品質画像が予測され、その自然高品質画像が合成部１１６に供給される。

ステップＳ１５において、人工画予測部１１４は、人工画予測処理を行う。人工画予測処理の詳細は、図４５を参照して後述するが、この処理により、ＨＤ画像から人工高品質画像が予測され、その人工高品質画像が合成部１１６に出力される。

ステップＳ１６において、自然画人工画判定部１１５は、自然画人工画判定処理を行う。具体的には、自然画人工画判定部１１５は、出力位相変換部１１２より供給されるＨＤ画像の各画素について、人工画像に分類される領域、または、自然画像に分類される領域のいずれの領域に属するかを判定し、判定結果を人工画度として合成部１１６に出力する。

ステップＳ１７において、合成部１１６は、画像を合成する。具体的には、合成部１１６は、自然画人工画判定部１１５より供給される人工画度に基づいて、自然画予測部１１３から供給される自然高品質画像の各画素の画素値と、人工画予測部１１４から供給される人工高品質画像の各画素の画素値とを人工画度に応じた割合で合成する。合成部１１６は、合成した画像を後段の装置に出力する。

なお、複数の画像の画像変換を連続して行う場合、上述したステップＳ１１乃至Ｓ１７の処理が繰り返し実行される。

次に、図１５を参照して、図１３のステップＳ１２の巡回型変換処理の詳細を説明する。

ステップＳ２１において、動きベクトル検出部１３１は、動きベクトル検出処理を行う。動きベクトル検出処理の詳細は、図２５を参照して後述するが、この処理により、画像I1の各画素の画素以下精度の動きベクトルVが検出される。また、検出された動きベクトルVの水平動き量VXおよび垂直動き量VYを示す情報が、動きベクトル検出部１３１から、MCブロック差分検出部１３２および巡回係数設定部１３３、および、動き補償部１３４に供給される。また、動きベクトルVの検出に用いた画像I1および画像P3が、動きベクトル検出部１３１からMCブロック差分検出部１３２に供給される。

ステップＳ２２において、MCブロック差分検出部１３２は、MCブロック差分値を検出する。ここで、図１６および図１７を参照して、MCブロック差分値の検出方法を説明する。

まず、図１６に示されるように、画像I1のブロックB0に対応する位置にある画像P3のブロックをB0'とする。また、ブロックB0の動きベクトルVで示される方向および距離だけブロックB0'を移動させたブロックをブロックB1とする。

動きベクトルVは画素以下精度であるため、水平動き量VXまたは垂直動き量VYに小数部分が存在する場合、ブロックB1の画素の位置は、画像P3の実際の画素の位置と一致しない。ここで、図１７を参照して、ブロックB1が、画像P3における実際の画素の位置と一致しない場合に、ブロックB1の各画素の画素値を算出する方法を説明する。

図１７の黒丸で示される画素zは、ブロックB1内の１つの画素であって、画像P3に実在しない位置にある画素である。白丸で示される画素a乃至dは、画素zに隣接する（すなわち、最も近い）画像P3に実在する画素である。画素a乃至dおよび画素zの画素値を、それぞれa_v乃至d_vおよびｚ_vとし、画素zの左斜め上にある画素aと画素ｚと間のx軸方向の距離をxd、y軸方向の距離をydとした場合、画素zの画素値z_vは、以下の式（１）に基づいて算出される。

z_v＝(1−yd)×((1−xd)×a_v＋xd×b_v)＋yd×((1−xd)×c_v＋xd×d_v) ・・・(１)

なお、ブロックB1の画素の位置が、画像P3に実在する画素の位置と一致する場合、そのまま画像P3の画素値がブロックB1の各画素の画素値とされる。

MCブロック差分検出部１３２は、ブロックB1の各画素の画素値を算出した後、以下の式（２）に基づいて、MCブロック差分値BDを算出する。

なお、B0(i,j)は、ブロックB0の左上隅の画素である基準画素を原点(0,0)とする位置(i,j)にあるブロックB0内の画素の画素値を示し、B1(i,j)は、ブロックB1の基準画素を原点(0,0)とする位置(i,j)にあるブロックB1内の画素の画素値を示す。すなわち、MCブロック差分値BDは、ブロックB0とブロックB1の対応する位置にある画素の画素値の差分をとり、その差分値の絶対値の合計値となる。

従って、現在のフレームと１つ前のフレームの対応するブロック内の画像の変化が大きいほど、MCブロック差分値BDは大きくなる。すなわち、MCブロック差分値BDが大きいブロックは、被写体が変形もしくは複雑な動きをしていたり、小さな被写体が複数存在していたり、被写体のエッジ部分を含んでいたりするなどの原因により、画像の動きが複雑な領域のブロックである可能性が高い。従って、そのブロックについて検出された動きベクトルVは正確に検出されていない可能性が高く、その動きベクトルVの信頼度は低いと言える。

MCブロック差分検出部１３２は、画像I1の各ブロックについて、MCブロック差分値BDを検出し、検出したMCブロック差分値BDを示す情報をMCブロック差分差し引き量算出部１８２に供給する。

ステップＳ２３において、基本巡回係数設定部１７１は、基本巡回係数を設定する。具体的には、基本巡回係数設定部１７１は、画像P1のＡタイプの画素に対する基本巡回係数KA0を、その画素が含まれるブロックの垂直動き量VY、および、図１８に示されるグラフに基づいて設定し、Ｂタイプの画素に対する基本巡回係数KB0を、その画素が含まれるブロックの垂直動き量VX、および、図１９に示されるグラフに基づいて設定する。

ここで、図１８および図１９に示されるグラフについて説明する。図１８は、垂直動き量VYと基本巡回係数KA0の関係を示すグラフであり、図１９は、垂直動き量VYと基本巡回係数KB0の関係を示すグラフである。

ところで、画像の垂直折り返し歪みは、画素以下精度の垂直動き量に応じて変化する性質がある。具体的には、各画素の垂直動き量の絶対値が、画素間隔の奇数倍に近い領域ほど、垂直折り返し歪みは大きくなり、0または画素間隔の偶数倍に近い領域ほど、垂直折り返し歪みは小さくなる。例えば、図２０に示されるｎ番目のフレームの画素Paの垂直動き量VYが、図内のVY1，VY３，VY5，VY７のように、画素間隔の奇数倍に近いほど、垂直折り返し歪みは大きくなり、VY2，VY4，VY6のように、0.0または画素間隔の偶数倍に近いほど、垂直折り返し歪みは小さくなる。

なお、後述するように、巡回係数の値が大きいほど、垂直折り返し歪みを抑制する効果が高くなる一方、画像のボケが発生しやすくなり、値が小さいほど、垂直折り返し歪みを抑制する効果が低くなる一方、画像のボケの発生が抑制される。従って、図１８および図１９のグラフに示されるように、垂直動き量VYの絶対値が0または偶数に近いほど、すなわち、垂直方向の画素間隔の偶数倍に近いほど、画像のボケを抑制できるように、基本巡回係数KA0，KB0が小さい値に設定され、垂直動き量VYの絶対値が奇数に近いほど、すなわち、垂直方向の画素の間隔の奇数倍に近いほど、垂直折り返し歪みが抑制されるように、基本巡回係数KA0，KB0が大きい値に設定される。

なお、垂直動き量VYの絶対値が0または偶数の場合、垂直折り返し歪みは発生しないが、図１８および図１９のグラフのように、垂直折り返し歪み以外のランダムなノイズを除去できるように、基本巡回係数KA0，KB0を0以外の適当な値に設定するようにしてもよい。

また、Ｂタイプの画素は、変換前の画像I1に元々なかった画素であり、少々のボケは許容される。従って、折り返し歪みおよびランダムノイズがより抑制されるように、同じ値の垂直動き量VYに対して、KB0の方がKA0よりも大きい値に設定される。

このように、画素のタイプおよび垂直動き量に応じて、基本巡回係数KA0，KB0を設定することにより、画像P1の解像度を良好に保ちつつ、すなわち、画像をぼかさずに、垂直折り返し歪みやノイズを除去することが可能になる。

基本巡回係数設定部１７１は、基本巡回係数KA0を示す情報を減算部１８３−１に供給し、基本巡回係数KB0を示す情報を減算部１８３−３に供給する。

ステップＳ２４において、動き分散検出部１７２は、動き分散を検出する。ここで、図２１および図２２を参照して、動き分散について説明する。

図２１および図２２は、動きベクトルの分布の例を示す図である。図２１に示されるように、斜線で示されるブロックの動きベクトルV0aが、周辺の動きベクトルV1a乃至V8aとほぼ同様である場合、すなわち、動きベクトルV0aと周辺のブロックの動きベクトルV1a乃至V8aとの類似性が高い場合、動きベクトルV0aは正確に求められている可能性が高く、動きベクトルV0aの信頼度は高いと言える。

一方、図２２に示されるように、斜線で示されるブロックの動きベクトルV0bおよび周辺のブロックの動きベクトルV1b乃至V8bの大きさや向きが大きく異なる場合、すなわち、動きベクトルV0bと周辺の動きベクトルV1b乃至V8bとの類似性が低い場合、動きベクトルV0bは正確に求められていない可能性が高く、動きベクトルV0bの信頼度は低いと言える。

そこで、動き分散検出部１７２は、動きベクトル検出部１３１により検出された動きベクトルVの信頼度として、各動きベクトルVについて、周辺の動きベクトルVとのばらつきの度合いを示す動き分散MD0を検出する。

具体的には、例えば、図２３の斜線で示される座標(X,Y)のブロックBpの動きベクトルV(X,Y)に対する動き分散MD0(X,Y)を、ブロックBpを中心とする縦Nb0×横Mb0ブロック（画素数で表現した場合、縦Np0×横Mp0画素）の領域D0を対象に、以下の式（３）に基づいて算出する。なお、領域D0の左上隅の画素の座標を(x0,y0)とする。

なお、vx0(x,y)は、座標(x,y)の画素が含まれるブロックの水平動き量を示し、vy0(x,y)は、座標(x,y)の画素が含まれるブロックの垂直動き量を示す。

すなわち、動き分散MD0は、ブロックBpの動きベクトルVと、領域D0内の各画素の動きベクトルVとの間の距離の２乗の平均値を表す。

また、動き分散検出部１７２は、動きベクトルVの信頼度として、各動きベクトルVについて、その動きベクトルVに対応する画素（またはブロック）を、動きベクトルVで示される方向および距離だけ移動した位置の周辺における１フレーム前の動きベクトルVとのばらつきを示す動き分散MD1を検出する。

具体的には、例えば、まず、図２３のブロックBpに対応する位置にある１フレーム前の画像のブロックを、図２４のブロックBp'とする。また、ブロックBpの動きベクトルV(X,Y)の水平動き量VX(X,Y)および垂直動き量VY(X,Y)の小数点以下を四捨五入した値により示される方向および距離だけブロックBp'を移動させたブロックをブロックBmとする。動き分散検出部１７２は、ブロックBpの動きベクトルV(X,Y)に対する動き分散MD1(X,Y)を、ブロックBmを中心とする縦Nb1×横Mb1ブロック（画素数で表現した場合、縦Np1×横Mp1画素）の領域D1を対象に、以下の式（４）に基づいて算出する。なお、領域D1の左上隅の画素の座標を(x1,y1)とする。

なお、vx1(x,y)は、１フレーム前の座標(x,y)の画素が含まれるブロックの水平動き量を示し、vy1(x,y)は、１フレーム前の座標(x,y)の画素が含まれるブロックの垂直動き量を示す。

すなわち、動き分散MD1は、ブロックBpの動きベクトルVと、領域D1内の各画素の動きベクトルVとの間の距離の２乗の平均値を表す。

さらに、動き分散検出部１７２は、以下の式（５）に基づいて、動き分散MD(X,Y)を算出する。

MD(X,Y)＝MD1(X,Y)＋MD2(X,Y) ・・・(５)

従って、対象となる動きベクトルVと周囲の動きベクトルVとの間のばらつきが大きいほど、動き分散MD(X,Y)は大きくなる。すなわち、その動きベクトルV(X,Y)に対応する画素およびその近傍は、被写体が変形もしくは複雑な動きをしていたり、小さな被写体が複数存在していたりするなどの原因により、画像の動きが複雑な領域である可能性が高い。従って、その動きベクトルVは正確に検出されていない可能性が高く、その動きベクトルV(X,Y)の信頼度は低いと言える。

動き分散検出部１７２は、上述した方法に従って、各動きベクトルVに対する動き分散MDを算出し、動き分散MDを示す情報を動き分散差し引き量算出部１８１に供給する。

ステップＳ２５において、動き分散差し引き量算出部１８１は、動き分散差し引き量を算出する。具体的には、動き分散差し引き量算出部１８１は、画像P1の各画素に対する動き分散差し引き量KM1を、その画素が含まれるブロックの動き分散MDを用いて、以下の式（６）に基づいて算出する。

KM1(x,y)= a1×MD(X,Y)＋b1 ・・・（６）

なお、a1およびb1は所定の値の定数である。ただし、定数a1は正の値とされる。また、式（６）の右辺の値が0より小さくなる場合、KM1(x,y)は0に補正される。

動き分散差し引き量算出部１８１は、算出した動き分散差し引き量KM1を示す情報を減算部１８３−１および１８３−３に供給する。

ステップＳ２６において、MCブロック差分差し引き量算出部１８２は、MCブロック差分差し引き量を求める。具体的には、MCブロック差分差し引き量算出部１８２は、画像P1の各画素に対するMCブロック差分差し引き量KM2を、その画素が含まれるブロックのMCブロック差分値BDを用いて、以下の式（７）に基づいて算出する。

KM2(x,y)= a2×BD(X,Y)＋b2 ・・・（７）

なお、a2，b2は所定の定数である。ただし、定数a2は正の値とされる。また、式（７）の右辺の値が0より小さくなった場合、KM2(x,y)は0に補正される。

ステップＳ２７において、減算部１８３−１乃至１８３−４は、巡回係数を算出する。具体的には、減算部１８３−１は、基本巡回係数KA0から動き分散差し引き量KM1を引いた値を減算部１８３−２に供給する。減算部１８３−２は、減算部１８３−１から供給される値からMCブロック差分差し引き量KM2を引いた値を巡回係数KAとして、積和演算部１３５に供給する。すなわち、画像P1の座標(x,y)にあるＡタイプの画素に対する巡回係数KA(x,y)は、以下の式（８）に基づいて算出される。

KA(x,y)＝KA0(x,y)−KM1(x,y)−KM2(x,y) ・・・（８）

また、減算部１８３−３は、基本巡回係数KB0から動き分散差し引き量KM1を引いた値を減算部１８３−４に供給する。減算部１８３−４は、減算部１８３−３から供給される値からMCブロック差分差し引き量KM2を引いた値を巡回係数KBとして、積和演算部１３５に供給する。すなわち、画像P1の座標(x,y)にあるＢタイプの画素に対する巡回係数KB(x,y)は、以下の式（９）に基づいて算出される。

KB(x,y)＝KB0(x,y)−KM1(x,y)−KM2(x,y) ・・・（９）

すなわち、巡回係数KA(x,y)およびKB(x,y)は、動き分散差し引き量KM1(x,y)またはMCブロック差分差し引き量KM2(x,y)が大きいほど、すなわち、動き分散MD(x,y)またはMCブロック差分値BD(x,y)が大きいほど、小さくなるように補正される。

ステップＳ２８において、動き補償部１３４は、１フレーム前の出力画像に対して動き補償を施す。具体的には、動き補償部１３４は、フレームメモリ１３６から１フレーム前の画像P3を読み出す。動き補償部１３４は、動きベクトルVを用いて、画像P3に対して動き補償を施した画像P4を生成する。

なお、画像P4の各画素の画素値は、その画素に対応する位置にある画像P1の画素の動きベクトルVで示される方向および距離だけ移動した位置にある画像P3の画素の画素値とされる。ただし、動きベクトルVの水平動き量VXまたは垂直動き量VYに小数部分が存在し、画像P3の動きベクトルVだけ移動した位置に実際の画素が存在しない場合、図１７を参照して上述した方法と同様の方法により、画像P4の画素値が算出される。

動き補償部１３４は、画像P4の画素値P4(x,y)を順に積和演算部１３５に供給する。

ステップＳ２９において、積和演算部１３５は、画像を合成し、巡回型変換処理は終了する。具体的には、積和演算部１３５は、画像P1と画像P4の対応する位置にある画素の画素値を、巡回係数KAまたはKBを用いて、重み付け加算する。すなわち、積和演算部１３５は、Ａタイプの画素については、巡回係数KAを用いて、以下の式（１０）に基づいて、画像P2の画素値P2(x,y)を算出し、Ｂタイプの画素については、巡回係数KBを用いて、以下の式（１１）に基づいて、画像P2の画素値P2(x,y)を算出する。

P2(x,y)＝(1−KA(x,y))×P1(x,y)＋KA(x,y)×P4(x,y) ・・・（１０）
P2(x,y)＝(1−KB(x,y))×P1(x,y)＋KB(x,y)×P4(x,y) ・・・（１１）

一般的に、巡回係数KA(x,y)およびKB(x,y)の値が大きくなるほど、画像P2における画像P4の成分の占める割合が大きくなるため、画像P2における、垂直折り返し歪みの発生の抑制効果が高くなる一方、画像のボケが発生しやすくなり、巡回係数KA(x,y)およびKB(x,y)の値が小さくなるほど、画像P2において画像P4の成分の占める割合が小さくなるため、画像P2における垂直折り返し歪みの発生の抑制効果が低くなる一方、画像のボケの発生は抑制される。

本発明の実施の形態では、巡回係数KA(x,y)およびKB(x,y)は、上述したように、動き分散差し引き量KM1(x,y)またはMCブロック差分差し引き量KM2(x,y)が大きいほど、すなわち、動き分散MD(x,y)またはMCブロック差分値BD(x,y)が大きいほど小さくなる。

すなわち、座標(x,y)の画素の動きベクトルV(X,Y)の信頼度が低く、重み付け加算する画像P1の画素と画像P4の画素との相関が低い可能性が高い場合、または、その画素が、折り返し歪みまたはランダムノイズが目立ちにくい、画像の動きが複雑な領域に含まれる可能性が高い場合、画素値P2(x,y)における画素値P1(x,y)の成分が占める割合が大きくなる。一方、座標(x,y)の画素の動きベクトルV(X,Y)の信頼度が高く、重み付け加算する画像P1の画素と画像P4の画素との相関が高い可能性が高い場合、または、その画素が、折り返し歪みまたはランダムノイズが目立ちやすい、広い範囲にわたって画像の動きが少ない領域に含まれる可能性が高い場合、画素値P2(x,y)における画素値P1(x,y)の成分が占める割合が大きくなる。

また、垂直動き量VY(X,Y)の絶対値が奇数に近いほど、すなわち、垂直折り返し歪みが大きいほど、巡回係数KA(x,y)およびKB(x,y)は大きくなり、画素値P2(x,y)における画素値P4(x,y)の成分が占める割合が大きくなる。一方、垂直動き量VY(X,Y)の絶対値が0または偶数に近いほど、すなわち、垂直折り返し歪みが小さいほど、巡回係数KA(x,y)およびKB(x,y)は小さくなり、画素値P2(x,y)における画素値P1(x,y)の成分が占める割合が大きくなる。

さらに、同じ垂直動き量VYに対して、Ｂタイプの画素に対する基本巡回係数KB0の方がＡタイプの画素に対する基本巡回係数KA0より大きな値に設定され、かつ、動き分散差し引き量KM1およびMCブロック差し引き量KM2は画素のタイプの違いにより値は変わらないので、同様の画像の領域においては、巡回係数KB(x,y)の方がKA(x,y)より大きくなり、画像P2のＢタイプの画素の方が、Ａタイプの画素より、画素値P2(x,y)における画素値P4(x,y)の成分が占める割合が大きくなる。

従って、画像P2において、垂直折り返し歪みおよびランダムノイズが抑制されるとともに、画像のボケが抑制され、解像度の高い画質を得ることができる。

積和演算部１３５は、生成した画像P2を出力位相変換部１１２に供給するとともに、フレームメモリ１３６に記憶させる。

次に、図２５のフローチャートを参照して、図１５のステップＳ２１の動きベクトル検出処理の詳細を説明する。

ステップＳ４１において、動き評価値検出部１５１は、１フレーム前の画像を取得する。具体的には、動き評価値検出部１５１は、１フレーム前の出力画像である画像P3を、フレームメモリ１３６から読み出す。

ステップＳ４２において、動き評価値検出部１５１は、画素位置の動き評価値を算出する。具体的には、動き評価値検出部１５１は、画像I1内のブロックのうち、まだ動きベクトルを検出していないブロックを１つ選択して、注目ブロックとする。動き評価値検出部１５１は、画像P3の所定の範囲内の画素を、順次、注目画素とし、各注目画素における動き評価値M(x,y)を、以下の式（１２）により求める。

なお、式（１２）において、注目画素の座標を(x,y)とし、注目ブロックの基準画素（左上隅）の座標を(xb,yb)とする。

すなわち、動き評価値Mは、注目画素を基準画素とする比較対象ブロックと注目ブロックとの対応する位置にある画素の画素値の差分をとり、その差分値の絶対値を合計した値であり、動き評価値Mが小さいほど、比較対象ブロック内の画像は、より注目ブロック内の画像に近いと言える。

動き評価値検出部１５１は、検出した各画素の動き評価値Mを示す情報を画素精度動きベクトル検出部１５２、および、タップ抽出部１５３，１５４に供給する。

ステップＳ４３において、画素精度動きベクトル検出部１５２は、画素精度の動きベクトルを検出する。具体的には、画素精度動きベクトル検出部１５２は、動き評価値Mが最小となる最小評価値画素を検出する。画素精度動きベクトル検出部１５２は、最小評価値画素の座標と注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックの画素精度の動きベクトルとして検出する。画素精度動きベクトル検出部１５２は、検出した画素精度の動きベクトルを示す情報をタップ抽出部１５３，１５４に供給する。

ステップＳ４４において、タップ抽出部１５３は、予測タップを抽出する。具体的には、タップ抽出部１５３は、最小評価値画素を含む最小評価値画素の近傍の画像P3の画素に対応する動き評価値Mを予測タップとして抽出する。

図２６は、画像P3の一部を示す図である。なお、図２６において、最小評価値画素を画素ｐ0とし、画素ｐ0乃至ｐ24に対応する動き評価値を動き評価値M0乃至M24とする。例えば、タップ抽出部１５３は、最小評価値画素である画素ｐ0、画素ｐ0の外周に隣接する画素ｐ1乃至ｐ8、および、画素ｐ1乃至ｐ8の外周に隣接する画素ｐ9乃至ｐ24に対応する動き評価値M0乃至M24を、予測タップとして抽出する。タップ抽出部１５３は、抽出した予測タップを予測演算部１５８に供給する。

ステップＳ４５において、タップ抽出部１５４は、クラスタップを抽出する。例えば、タップ抽出部１５４は、図２６に示される例において、最小評価値画素である画素ｐ0および画素ｐ0に隣接する画素ｐ1乃至ｐ8に対応する動き評価値M0乃至M8を、クラスタップとして抽出する。タップ抽出部１５４は、抽出したクラスタップをADRC処理部１５５に供給する。

ステップＳ４６において、ADRC処理部１５５は、ADRC処理を行う。具体的には、ADRC処理部１５５は、クラスタップを構成する画素の動き評価値MをADRC処理し、その結果得られるADRCコードを示す情報をクラス分類部１５６に供給する。

ステップＳ４７において、クラス分類部１５６は、クラス分類を行う。具体的には、クラス分類部１５６は、ADRC処理部１５５からのADRCコードに基づき、最小評価値画素をクラス分類し、その結果得られるクラスに対応するクラスコードを示す情報を、係数メモリ１５７に供給する。

ステップＳ４８において、係数メモリ１５７は、タップ係数を供給する。具体的には、係数メモリ１５７は、内部に記憶しているタップ係数のセットのうち、最小評価値画素のクラスコードに対応するタップ係数を取得する。係数メモリ１５７は、取得したタップ係数を予測演算部１５８に供給する。

ステップＳ４９において、予測演算部１５８は、予測演算を行う。具体的には、例えば、図２６に示される例において、画素ｐ0と画素ｐ1乃至ｐ8とを結ぶ直線上の位置であって、ちょうど中間の位置ｐ1'乃至ｐ8'を予測位置とした場合、予測演算部１５８は、以下の式（１３）に基づいて、位置ｐ1'乃至ｐ8'における動き評価値M1'乃至M8'を算出する。

ただし、m＝1乃至8である。

なお、Ｗ_mn（n＝0乃至24）は、位置Pm'（m＝1乃至8）の動き評価値Mm'（ｍ＝1乃至8）を算出するために用いるタップ係数である。

予測演算部１５８は、各予測位置における動き評価値Mm'を、画素以下精度動きベクトル検出部１５９に供給する。

ステップＳ５０において、画素以下精度動きベクトル検出部１５９は、画素以下精度の動きベクトルを検出する。具体的には、例えば、図２６に示される例の場合、画素以下精度動きベクトル検出部１５９は、画素ｐ0および位置ｐ1'乃至ｐ8'の動き評価値のうち、最小となるものを検出する。画素以下精度動きベクトル検出部１５９は、動き評価値が最小の画素または位置の座標と、注目ブロックの基準画素の座標とを結ぶベクトルを、注目ブロックに対する画素以下精度の動きベクトルVとして検出する。すなわち、この例においては、画素の間隔の２分の１の精度で動きベクトルが検出される。

なお、画素間に設定する予測位置の数を増やすことにより、より高い精度で、すなわち、より小さい単位で動きベクトルを検出することが可能となる。

画素以下精度動きベクトル検出部１５９は、検出した動きベクトルVを示す情報をMCブロック差分検出部１３２、巡回係数設定部１３３、および、動き補償部１３４に供給する。

ステップＳ５１において、動き評価値検出部１５１は、動きベクトルを全て検出したかを判定する。まだ動きベクトルを検出していないブロックが残っている場合、動き評価値検出部１５１は、動きベクトルをまだ全て検出していないと判定し、処理はステップＳ４２に戻る。その後、ステップＳ５１において、動きベクトルを全て検出したと判定されるまで、ステップＳ４２乃至Ｓ５１の処理が繰り返し実行される。

ステップＳ５１において、動きベクトルが全て検出されたと判定された場合、処理はステップＳ５２に進む。

ステップＳ５２において、動き評価値検出部１５１は、動きベクトルの検出に用いた画像を供給し、画素以下精度動きベクトル検出処理は終了する。具体的には、動き評価値検出部１５１は、動きベクトルの検出に用いた画像I1および画像P3をMCブロック差分検出部１３２に供給する。

次に、係数メモリ１５７に記憶されるタップ係数の学習について説明する。

まず、より一般化した例に基づいて、クラス分類適応処理におけるタップ係数の学習について説明する。具体的には、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙを、ＳＤ画像を構成する画素（以下、適宜、ＳＤ画素という）から、ＨＤ画素を予測するための予測タップとして抽出される複数のＳＤ画素と、タップ係数とを用いて、次の線形１次式による線形結合によって求める線形１次結合モデルの例に基づいて、タップ係数の学習について説明する。

但し、式（１４）において、ｘ_nは、ＨＤ画素ｙについての予測タップを構成する、ｎ番目のＳＤ画像データの画素の画素値を表し、Ｗ_nは、ｎ番目のＳＤ画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１４）では、予測タップが、Ｎ個のＳＤ画素ｘ₁，ｘ₂，・・・，ｘ_Nで構成されるものとしてある。

いま、第ｋサンプルのＨＤ画素の画素値の真値をｙ_kと表すとともに、式（１４）によって得られるその真値ｙ_kの予測値をｙ_k’と表すと、その予測誤差ｅ_kは、次式で表される。

式（１５）の予測値ｙ_k’は、式（１４）にしたがって求められるため、式（１５）のｙ_k’を、式（１４）にしたがって置き換えると、次式が得られる。

但し、式（１６）において、ｘ_n,kは、第ｋサンプルのＨＤ画素についての予測タップを構成するｎ番目のＳＤ画素を表す。

式（１６）の予測誤差ｅ_kを０とするタップ係数Ｗ_nが、ＨＤ画素を予測するのに最適なものとなるが、すべてのＨＤ画素について、そのようなタップ係数Ｗ_nを求めることは、一般には困難である。

そこで、タップ係数Ｗ_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数Ｗ_nは、統計的な誤差としての、例えば、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

但し、式（１７）において、Ｋは、ＨＤ画素ｙ_kと、そのＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kとのセットのサンプル数を表す。

式（１７）の自乗誤差の総和Ｅを極小にするタップ係数Ｗ_nは、その総和Ｅをタップ係数Ｗ_nで偏微分したものを０とするものであり、従って、次式を満たす必要がある。

そこで、上述の式（１８）をタップ係数Ｗ_nで偏微分すると、次式が得られる。

式（１８）と式（１９）から、次式が得られる。

式（２０）のｅ_kに、式（１６）を代入することにより、式（２０）は、式（２１）に示す正規方程式で表すことができる。

式（２１）の正規方程式は、ＨＤ画素ｙ_kとＳＤ画素ｘ_n,kのセットを、ある程度の数だけ用意することで、求めるべきタップ係数Ｗ_nの数と同じ数だけたてることができ、従って、式（２１）を解くことで、最適なタップ係数Ｗ_nを求めることができる。なお、式（２１）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを採用することが可能である。但し、式（２１）を解くには、式（２１）において、タップ係数Ｗ_nにかかる左辺の行列が正則である必要がある。

以上のように、多数のＨＤ画素ｙ₁，ｙ₂，・・・，ｙ_Kを、タップ係数の学習の教師となる教師データとするとともに、各ＨＤ画素ｙ_kについての予測タップを構成するＳＤ画素ｘ_1,k，ｘ_2,k，・・・，ｘ_N,kを、タップ係数の学習の生徒となる生徒データとして、式（２１）を解くことにより、最適なタップ係数Ｗ_nを求めることができる。

ここで、教師データｙとして、予測位置にも画素が存在する、画像Ｐ3より画素密度が高い画像の各画素について検出した動き評価値Mからなる画像（以下、動き評価教師画像と称する）を採用し、生徒データｘとして、画像P3と同じ画素密度となるように、動き評価教師画像から画素を間引いた画像を採用することにより、式（１３）で用いられるタップ係数を求めることができる。

なお、クラス分類適応処理を用いた画素以下精度の動きベクトルを検出する方法については、例えば、本件出願人が先に出願した特開平９−１８７０１３号公報などに、その詳細が開示されている。

以上のようにして、インターレース方式の画像を、より良好な画質のプログレッシブ方式の画像に変換することができる。

また、例えば、巡回型IP変換部１１１からは、垂直折り返し歪みやノイズが取り除かれた画像が出力されるため、後段の画像処理装置において、より良好な画質を得ることができる。例えば、本件出願人が先に出願した特開２００２−２１８４１３号公報に記載されている、クラス分類適応処理を用いて画質を複数の軸で自由に調整する処理において、より強く解像度を上げるように調整することが可能となり、より良好な画質を得ることができる。

なお、以上の説明では、画像I1の動きベクトルVを検出する対象となる画像を１フレーム前の出力画像である画像P3とする例について説明したが、例えば、画像P3の代わりに、１フィールド前の入力画像である画像I2または２フィールド前の入力画像である画像I3を用いるようにしてもよい。

なお、画素以下精度の動きベクトルの検出方法は、上述した方法に限定されるものではなく、他の方法を用いるようにしてもよい。

また、以上の説明では、SD画像をIP変換処理する例について説明したが、もちろん、巡回型変換部１２２は、HD画像など高解像度の画像のIP変換処理を行うことも可能である。

図２７は、図８の出力位相変換部１１２の第１の実施の形態の詳細構成例を示すブロック図である。

図２７の出力位相変換部１１２は、垂直補間部５０１と水平補間部５０２により構成され、巡回型変換部１２２から供給される、プログレッシブ方式のＳＤ画像である画像P2を、プログレッシブ方式のＨＤ画像に変換する。

垂直補間部５０１は、巡回型変換部１２２から供給されるＳＤ画像が変換されることにより得られるＨＤ画像を構成する画素を、順次、変換注目画素とし、その変換注目画素を求めるために用いるＳＤ画像を構成する画素の幾つかを、変換タップとして抽出する。垂直補間部５０１は、変換タップを用いて、ＳＤ画像の垂直方向の位相をシフトするための演算（以下、垂直位相シフト演算と称する）を行う。垂直補間部５０１は、その垂直位相シフト演算の結果得られる値を、水平補間部５０２に供給する。

水平補間部５０２は、垂直補間部５０１から供給される値の、水平方向の位相をシフトするための演算（以下、水平位相シフト演算と称する）を行う。水平補間部５０２は、その水平位相シフト演算の結果得られる値を、注目変換画素の画素値、即ちＨＤ画像の画素値として、図８の自然画予測部１１３と人工画予測部１１４、並びに自然画人工画判定部１１５に供給する。

次に、図２８を参照して、出力位相変換部１１２における垂直位相シフト演算と水平位相シフト演算について説明する。

図２８では、変換注目画素Ｂを囲む、補間前のＳＤ画像の４個の画素Ａ₁₁，Ａ₁₂，Ａ₂₂，Ａ₂₁と、さらに、それらを囲む１２個の画素Ａ₀₀，Ａ₀₁，Ａ₀₂，Ａ₀₃，Ａ₁₃，Ａ₂₃，Ａ₃₃，Ａ₃₂，Ａ₃₁，Ａ₃₀，Ａ₂₀，Ａ₁₀の、垂直方向と水平方向に４個ずつ並ぶ計１６個の画素から、変換タップが構成される。

なお、画素Ａ_i,j（i=0,1,2,3のいずれか、ｊ=0,1,2,3のいずれか）のｉは、変換タップを構成する画素のうちの、画素Ａ_i,jの水平方向の順番を表し、ｊは、変換タップを構成する画素のうちの、画素Ａ_i,jの垂直方向の順番を表す。ここで、水平方向の順番は、左から順に付与されるものとし、垂直方向の順番は、上から順に付与されるものとする。

また、変換注目画素Ｂは、画素Ａ_1,1から水平方向に距離ｄｈだけ離れ、垂直方向に距離ｄｖだけ離れた位置にあるものとし、隣接する画素Ａ_i,jどうしの水平方向および垂直方向の距離は１であるものとする。

ここで、変換タップを構成する画素Ａ_i,jの画素値を画素値ａ_i,jとすると、垂直補間部５０１は、その画素値ａ_i,j、および距離ｄｖを用いて、以下の式（２２）にしたがう垂直位相シフト演算を行う。

なお、式（２２）において、値ｂｘ_iは、垂直方向の位置が、変換注目画素Ｂの垂直方向の位置と同一であり、水平方向の位置が、画素Ａ_i,jの位置と同一の位置にあると仮定した画素Ｃ_iの画素値である。また、ｃ(j-dv-1)は、補間係数であり、例えばサンプリング定数に基づいて求められるsinc関数である。なお、補間係数ｃは、sinc関数に、適切な窓関数を乗算した値であってもよい。

次に、水平補間部５０２は、式（２２）により求められた４個の値ｂｘ_iおよび距離ｄｈを用いて、式（２３）にしたがう水平位相シフト演算を行い、変換注目画素Ｂの画素値ｂｙを求める。

次に、図２９を参照して、図２７の出力位相変換部１１２が行う図１３のステップＳ１３の出力位相変換処理の詳細を説明する。

ステップＳ５０１において、垂直補間部５０１は、巡回型変換部１２２から供給される、プログレッシブ方式のＳＤ画像である画像P2が変換されることにより得られる、プログレッシブ方式のＨＤ画像の画素を、変換注目画素Ｂとし、その変換注目画素Ｂを求めるために用いるＳＤ画像を構成する画素の幾つかを、図２８に示されるような変換タップとして抽出する。

ステップＳ５０２において、垂直補間部５０１は、変換タップを用いて、上述した式（２２）にしたがう垂直位相シフト演算を行い、その結果得られる値ｂｘ_iを水平補間部５０２に供給する。

ステップＳ５０３において、水平補間部５０２は、垂直補間部５０１から供給される値ｂｘ_iを用いて、上述した式（２３）にしたがう水平位相シフト演算を行い、変換注目画素Ｂの画素値ｂｙ、即ちＨＤ画像を構成する画素の画素値を求める。ステップＳ５０４において、水平補間部５０２は、ステップＳ５０３で求められたＨＤ画像を構成する画素の画素値を、図８の自然画予測部１１３と人工画予測部１１４、並びに自然画人工画判定部１１５に出力する。

ステップＳ５０５において、垂直補間部５０１は、ＳＤ画像が変換されることにより得られるＨＤ画像を構成するすべての画素を、変換注目画素Ｂとしたかどうか、すなわち生成したかどうかを判定する。ステップＳ５０５で、まだＨＤ画像を構成するすべての画素を、変換注目画素Ｂとしていない(生成していない)と判定された場合、ステップＳ５０６において、垂直補間部５０１は、ＨＤ画像を構成する画素のうち、まだ注目画素としていないものを、新たに変換注目画素Ｂとして決定し、処理をステップＳ５０１に戻し、以下、同様の処理を繰り返す。

一方、ステップＳ５０５において、垂直補間部５０１は、ＨＤ画像を構成するすべての画素を変換注目画素Ｂとしたと判定した場合、出力位相変換処理を終了する。

以上のようにして、生成目標とされる画素数の画像としてのプログレッシブ方式のＨＤ画像が生成される。

図３０は、図８の出力位相変換部１１２の第２の実施の形態の詳細構成例を示すブロック図である。

図３０の出力位相変換部１１２は、二次元補間部５３１により構成される。図３０の出力位相変換部１１２は、図２７の出力位相変換部１１２のように、垂直方向と水平方向の２つの方向に分けて、位相のシフトを行うのではなく、１度に垂直方向と水平方向の位相のシフトを行う。

二次元補間部５３１は、図２７の垂直補間部５０１と同様に、図８の巡回型変換部１２２から供給される、プログレッシブ方式のＳＤ画像である画像P2が変換されることにより得られるプログレッシブ方式のＨＤ画像を構成する画素を、順次、変換注目画素Ｂとし、その変換注目画素Ｂを求めるために用いるＳＤ画像を構成する画素の幾つかを、変換タップとして抽出する。

また、二次元補間部５３１は、変換タップを用いて、ＳＤ画像の垂直方向および水平方向の位相をシフトするための演算（以下、２次元位相シフト演算と称する）を行う。二次元補間部５３１は、その２次元位相シフト演算の結果得られる値を、注目変換画素Ｂの画素値、即ちＨＤ画像の画素値として、図８の自然画予測部１１３と人工画予測部１１４、並びに自然画人工画判定部１１５に供給する。

次に、図３１を参照して、図３０の二次元補間部５３１における２次元位相シフト演算について説明する。

なお、図３１において、変換注目画素Ｂ、変換タップの構成は、図２８の場合と同一であるので、説明は省略する。

変換タップを構成する画素Ａ_i,jの画素値を画素値ａ_i,jとすると、二次元補間部５３１は、その画素値ａ_i,j、距離ｄｖ、および距離ｄｈを用いて、以下の式（２４）にしたがう２次元位相シフト演算を行い、変換注目画素の画素値ｂｙを求める。

なお、式（２４）において、ｃ_ij(dh,dv)は、画素Ａ_i,jごとの補間係数であり、例えばサンプリング定数に基づいて求められるsinc関数である。

次に、図３２を参照して、図３０の二次元補間部５３１が行う図１３のステップＳ１３の出力位相変換処理の詳細を説明する。

ステップＳ５３１において、二次元補間部５３１は、図２７の垂直補間部５０１と同様に、巡回型変換部１２２から供給される、プログレッシブ方式のＳＤ画像である画像P2が変換されることにより得られるプログレッシブ方式のＨＤ画像の画素を、変換注目画素Ｂとし、その変換注目画素Ｂを求めるために用いるＳＤ画像を構成する画素の幾つかを、図３１に示されるような変換タップとして抽出する。

ステップＳ５３２において、二次元補間部５３１は、変換タップを用いて、上述した式（２４）にしたがう２次元位相シフト演算を行い、変換注目画素Ｂの画素値ｂｙ、即ちＨＤ画像を構成する画素の画素値を求める。

ステップＳ５３３において、二次元補間部５３１は、ステップＳ５３２で求められたＨＤ画像を構成する画素の画素値を、図８の自然画予測部１１３と人工画予測部１１４、並びに自然画人工画判定部１１５に出力する。

ステップＳ５３４とステップＳ５３５は、図２９のステップＳ５０５とステップＳ５０６の処理と同様の処理であるので、説明は省略する。

なお、上述した説明では、画像変換装置１０１に入力される画像がＳＤ画像であり、画像変換装置１０１から出力する画像がＨＤ画像であるものとして、出力位相変換部１１２が、ＳＤ画像をＨＤ画像に変換するものとしたが、出力位相変換部１１２は、入力される画像を、後段の自然画予測部１１３または人工画予測部１１４から出力する画像の画素数と同一の画素数の画像に変換すればよく、変換前と変換後の画像は、ＳＤ画像とＨＤ画像に限定されない。

図３３は、図８の自然画予測部１１３の構成例を示すブロック図である。

図３３の自然画予測部１１３は、クラスタップ抽出部５５１、ADRC処理部５５２、係数種メモリ５５３、予測係数生成部５５４、予測係数メモリ５５５、予測タップ抽出部５５６、および予測演算部５５７により構成され、出力位相変換部１１２から供給されるプログレッシブ方式のＨＤ画像から、そのＨＤ画像のうちの自然画像を高品質にした自然高品質画像を予測する。

自然画予測部１１３には、図８の出力位相変換部１１２から供給される、プログレッシブ方式のＨＤ画像が入力され、そのＨＤ画像はクラスタップ抽出部５５１と予測タップ抽出部５５６に供給される。

クラスタップ抽出部５５１は、入力されたＨＤ画像により求められる、自然高品質画像を構成する画素を、順次、注目画素とし、その自然注目画素をクラスに分類するために用いる、入力されたＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出する。クラスタップ抽出部５５１は、抽出されたクラスタップを、ADRC処理部５５２に供給する。

ADRC処理部５５２は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その画素値に対してADRC処理などを行い、その結果得られるADRCコードを、クラスタップの特徴として検出する。ADRC処理部５５２は、検出されたADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ５５５に供給する。

係数種メモリ５５３は、図３７乃至図３９を参照して後述する学習により獲得されたクラスごとの係数種を格納している。

予測係数生成部５５４は、係数種メモリ５５３から係数種を読み出す。予測係数生成部５５４は、ユーザにより入力される水平方向の解像度を決定するためのパラメータhと、垂直方向の解像度を決定するためのパラメータvとに基づいて、そのパラメータhとvを含む多項式を用いて、読み出された係数種から予測係数を生成し、予測係数メモリ５５５に供給して記憶させる。

予測係数メモリ５５５は、ADRC処理部５５２から供給されるクラスに応じて、そのクラスの予測係数を読み出し、予測演算部５５７に供給する。

予測タップ抽出部５５６は、入力されたＨＤ画像から、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを予測演算部５５７に供給する。

予測演算部５５７は、予測タップ抽出部５５６から供給される予測タップと、予測係数メモリ５５５から供給される予測係数とを用いて予測演算を行う。予測演算部５５７の出力したＨＤ画像は合成部１１６に出力される。

図３４は、図３３のクラスタップ抽出部５５１により抽出されるクラスタップのタップ構造の一例を示している。

なお、図中白丸は、出力位相変換部１１２から供給されるＨＤ画像の画素のうち、クラスタップを構成する画素を表し、点線の丸は、クラスタップを構成しない画素を表し、黒丸は注目画素を表している。このことは、後述する図３５においても同様である。

図３４では、９個の画素で、クラスタップが構成されている。即ち、注目画素ｑ６に対応するＨＤ画像を構成する画素ｐ６４を中心として、縦方向に１画素置きに並ぶ５画素ｐ６０，ｐ６１，ｐ６４，ｐ６７，ｐ６８、横方向に１画素置きに並ぶ画素ｐ６４を除いた４画素ｐ６２，ｐ６３，ｐ６５，ｐ６６から、略十字形状のクラスタップが構成されている。

図３５は、図３３の予測タップ抽出部５５６により抽出される予測タップのタップ構造の一例を示している。

図３５では、１３個の画素で、予測タップが構成されている。即ち、図３５では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素ｑ８に対応する画素ｐ８６を中心として縦方向に１画素置きに並ぶ５画素ｐ８０，ｐ８２，ｐ８６，ｐ９０，ｐ９２、横方向に１画素置きに並ぶ画素ｐ８６を除いた４画素ｐ８４、ｐ８５，ｐ８７，ｐ８８、画素ｐ８５を中心として、縦方向に１画素置きに並ぶ画素ｐ８５を除いた２画素ｐ８１，ｐ８９、画素ｐ８７を中心として、縦方向に１画素置きに並ぶ画素ｐ８７を除いた２画素ｐ８３，ｐ９１から、略ひし形状の予測タップが構成されている。

なお、図３４と図３５では、クラスタップを構成する９画素ｐ６０乃至ｐ６８と、予測タップを構成する１３画素ｐ８０乃至ｐ９２は、上下方向（垂直方向）または左右方向（水平方向）に１画素置きに、即ち２画素間隔で並んでいるが、その間隔は、これに限定されず、出力位相変換部１１２における変換前のＳＤ画像と変換後のＨＤ画像の画素数の比率、即ち補間倍率に応じて変更するとよい。

例えば、水平方向と垂直方向の各画素数が、それぞれ２倍になるように、出力位相変換部１１２が画像を変換した場合、図３４と図３５に示されるように、垂直方向または水平方向に２画素間隔で並ぶ画素から、クラスタップと予測タップを構成すると、補間された画素および補間前から存在する画素のうちの一方だけで、クラスタップと予測タップが構成されるので、それらの両方が混在する、例えばクラスタップと予測タップが１画素間隔で並ぶ画素から構成される場合よりも、自然画予測部１１３による予測処理の結果の精度が向上する。

次に、図３６を参照して、図３３の自然画予測部１１３が行う図１３のステップＳ１４の自然画予測処理の詳細を説明する。

初めに、ステップＳ５５１において、クラスタップ抽出部５５１は、図２７の出力位相変換部１１２から入力されたＨＤ画像により求められる自然高品質画像を構成する画素のうちの１つを、注目画素として選択する。

ステップＳ５５２において、クラスタップ抽出部５５１は、図３４に示されるような、ステップＳ５５１で選択された注目画素のクラス分類を行うのに用いる、入力されたＨＤ画像を構成する画素の幾つかを、ＨＤ画像からクラスタップとして抽出し、ADRC処理部５５２に供給する。

ステップＳ５５３において、ADRC処理部５５２は、クラスタップ抽出部５５１から供給されるクラスタップを構成する画素の画素値に対して、ADRC処理を行い、その結果得られるADRCコードを、クラスタップのパターンとして検出する。

ステップＳ５５４において、ADRC処理部５５２は、ADRCコードに基づいてクラスを決定することにより、注目画素をクラスに分類し、そのクラスを予測係数メモリ５５５に供給する。

ステップＳ５５５において、予想係数生成部５５４は、係数種メモリ５５３から係数種を読み出す。

ステップＳ５５６において、予測係数生成部５５４は、ユーザにより入力されたパラメータhとvに基づいて、パラメータhとvを含む多項式を用いて、係数種メモリ５５３から読み出された係数種から予測係数を生成し、予測係数メモリ５５５に供給して記憶させる。この係数種から予測係数を生成する処理の詳細については後述する。

ステップＳ５５７において、予測係数メモリ５５５は、ADRC処理部５５２から供給されるクラスに基づいて、そのクラスの予測係数を読み出し、予測演算部５５７に供給する。

ステップＳ５５８において、予測タップ抽出部５５６は、入力されたＨＤ画像から、図３５に示されるような、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部５５６は、予測タップを予測演算部５５７に供給する。

ステップＳ５５９において、予測演算部５５７は、予測タップ抽出部５５６から供給される予測タップと、予測係数メモリ５５５から供給される予測係数とを用いて、注目画素の真値の予測値を求める線形一次式などの予測演算を行う。具体的には、例えば、予測演算部５５７は、上述した式（１４）において、ｘ_nに注目画素についての予測タップを構成するｎ番目のＨＤ画像の画素の画素値を代入し、Ｗ_nに予測係数を代入して、ｙを注目画素の予測値として求める。

ステップＳ５６０において、予測演算部５５７は、予測演算の結果得られた注目画素の画素値の予測値、即ち、自然高品質画像を構成する画素の画素値を合成部１１６に出力する。

ステップＳ５６１において、クラスタップ抽出部５５１は、入力されたＨＤ画像により求められる自然高品質画像を構成するすべての画素を、注目画素としたかどうかを判定する。ステップＳ５６１で、すべての画素をまだ注目画素としていないと判定された場合、ステップＳ５６２において、クラスタップ抽出部５５１は、自然高品質画像を構成する画素のうち、まだ注目画素としていないものを、新たに注目画素として決定し、処理をステップＳ５５２に戻し、以下同様の処理を繰り返す。一方、ステップＳ５６１で、クラスタップ抽出部５５１は、すべての画素を注目画素としたと判定した場合、自然画予測処理を終了する。

以上のようにして、自然画予測部１１３は、出力位相変換部１１２から供給されるＨＤ画像から、自然高品質画像を予測し、出力する。即ち、自然画予測部１１３は、ＨＤ画像を自然高品質画像に変換し、出力する。

以上のように、図８の画像変換装置１０１では、出力位相変換部１１２が、巡回型変換部１２２から供給されるＳＤ画像を、自然画予測部１１３から出力するＨＤ画像に変換して、自然画予測部１１３に供給するので、予測前と予測後の画像の画素数が同一であり、予測前後の画像の画素の位置にはズレがなくなる。

従って、自然画予測部１１３は、自然高品質画像の画素である注目画素の位相と同一の位相のＨＤ画像の画素からなる予測タップを用いて、注目画素の画素値を予測することができる。その結果、自然画予測部１１３は、自然高品質画像を正確に予測し、高精度の画像変換を行うことができる。即ち、出力位相変換部１１２と自然画予測部１１３は、巡回型変換部１２２から入力されるＳＤ画像である画像P2を、画素数の異なる高品質なＨＤ画像である自然高品質画像に的確に変換することができる。

また、自然画予測部１１３は、クラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、注目画素をクラスに分類するので、平坦部分が比較的少ない自然画像の特徴を分類するのに適した分類を行うことができる。その結果、自然画予測部１１３は、ＨＤ画像のうちの自然画像の品質を、的確に高めることができる。

次に、図３３の予測係数生成部５５４において予測係数を生成する多項式と、その多項式に用いられる係数種の学習について説明する。

いま、入力されたパラメータhとv、並びに係数種を用いて予測係数を生成する式として、例えば、多項式を採用することとすると、クラスごと、かつパラメータhとvの組み合わせごとの予測係数Ｗ_nは、次の多項式によって求められる。

但し、式（２５）において、ｗ_n,k（ｋ＝0,1・・・,9）は、式（１４）で表される画素値ｙの自然高品質画像画素についての予測タップを構成する、ｎ番目のＨＤ画像の画素の画素値ｘ_nと乗算されるｎ番目の予測係数Ｗ_nを生成するための係数種のうちの、ｋ番目の項の係数を表す。

ここで、パラメータhとvに対応する、ｎ番目の予測係数の真値をＷ_vhnと表すとともに、式（２５）によって得られるその真値Ｗ_vhnの推測値をＷ_vhn'と表すと、その推測誤差ｅ_vhnは、次式で表される。

式（２６）の推測値Ｗ_vhn'は、式（２５）にしたがって求められるため、式（２６）の推測値Ｗ_vhn'を、式（２５）にしたがって置き換えると、次式が得られる。

なお、式（２７）において、ｗ_vhn,kは、予測係数Ｗ_vhnを生成するための係数種のうちの、ｋ番目の項の係数を表す。また、式（２７）において、ｔ_kは次式で定義される。

式（２６）または式（２７）の予測誤差ｅ_vhnを０、即ち統計的に最小にする係数種ｗ_vhn,kが、予測係数を推測するのに最適なものとなるが、すべての予測係数について、そのような係数種ｗ_vhn,kを求めることは、一般には困難である。

そこで、係数種ｗ_vhn,kが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種ｗ_vhn,kは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

但し、式（２９）において、Vは、パラメータvの種類の数を表し、Hは、パラメータhの種類の数を表す。

式（２９）の自乗誤差の総和Ｅの最小値は、式（３０）に示すように、総和Ｅを係数種ｗ_vhn,kで偏微分したものを０とするｗ_vhn,kによって与えられる。

ここで、Ｘ_klとＹ_kをそれぞれ以下の式（３１）と式（３２）で定義すると、式（３０）は以下の式（３３）の正規方程式に書き換えられる。

式（３３）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種ｗ_n,kについて解くことができる。

式（３３）の正規方程式をクラスごとにたてて解くことにより、最適な係数種として、自乗誤差の総和Ｅを最小にする係数種ｗ_n,kを、クラスごとに求めることができる。

図３７は、式（３３）の正規方程式をたてて解くことによりクラスごとの係数種ｗ_n,kを求める学習を行う学習装置６０１の構成例を示すブロック図である。

図３７の学習装置６０１は、帯域制限フィルタ６１１、クラスタップ抽出部６１２、ADRC処理部６１３、予測タップ抽出部６１４、正規方程式生成部６１５、予測係数生成部６１６、正規方程式生成部６１７、係数種決定部６１８、および係数種メモリ６１９により構成される。

この学習装置６０１は、上述したクラス分類処理におけるタップ係数の学習と同様に、予測係数Ｗ_vhnを学習した後、式（３３）の正規方程式をたてて解くことにより係数種ｗ_n,kを学習する。即ち、学習装置６０１は、教師データｙとして、予測処理後の目標の自然画像に相当する画像である教師画像を採用し、生徒データｘとして、予測処理が行われる前の自然画像に相当する画像である生徒画像を採用し、パラメータhとvの組み合わせごと、かつクラスごとに上述した式（２１）の正規方程式をたてて解くことにより、パラメータhとvの組み合わせごと、かつクラスごとのタップ係数Ｗ_nを予測係数Ｗ_vhnとして求める。

そして、さらに、この予測係数Ｗ_vhnにより、上述した式（３３）の正規方程式がクラスごとに生成され、その正規方程式を解くことでクラスごとの係数種ｗ_n,kが生成される。

学習装置６０１には、図示せぬデータベースから読み出された、教師画像が複数入力され、その教師画像は、帯域制限フィルタ６１１と正規方程式生成部６１５に供給される。また、学習装置６０１には、ユーザの指示に基づいて、パラメータhとvが外部から入力され、帯域制限フィルタ６１１と正規方程式生成部６１５に供給される。なお、学習装置６０１には、1枚の教師画像が学習装置６０１に入力されるごとに、パラメータhとvの全通りの組み合わせが入力されるようになっている。

帯域制限フィルタ６１１は、外部から入力されるパラメータhとvに応じて、図示せぬデータベースから取得された教師画像の、垂直方向および水平方向の帯域をそれぞれ制限するフィルタ処理を行う。これにより、パラメータhとvの組み合わせごとの生徒画像が生成される。例えば、パラメータhの種類が９種類であり、パラメータvの種類が９種類である場合、帯域制限フィルタ６１１は、外部から入力されるパラメータhとvに応じて、１枚の教師画像から８１種類の生徒画像を生成する。

帯域制限フィルタ６１１は、その生徒画像をクラスタップ抽出部６１２と予測タップ抽出部６１４に供給する。

クラスタップ抽出部６１２は、図３３のクラスタップ抽出部５５１と同様に構成される。クラスタップ抽出部６１２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図３４に示されるような、図３３のクラスタップ抽出部５５１が抽出するクラスタップと同一のタップ構造のクラスタップを抽出し、ADRC処理部６１３に供給する。

予測タップ抽出部６１４は、図３３の予測タップ抽出部５５６と同様に構成される。予測タップ抽出部６１４は、帯域制限フィルタ６１１から供給される生徒画像から、図３５に示されるような、注目教師画素の画素値を予測するのに用いる生徒画像を構成する画素を、予測タップとして抽出する。予測タップ抽出部６１４は、予測タップを正規方程式生成部６１５に供給する。

正規方程式生成部６１５は、入力された教師画像と、予測タップ抽出部６１４から供給される予測タップのペアを、予測係数の学習に用いられる学習対として、ADRC処理部６１３から供給されるクラスごと、かつ外部から入力されるパラメータhとvの組み合わせごとに、上述した式（２１）の正規方程式をたてると、その正規方程式を予測係数生成部６１６に供給する。

予測係数生成部６１６は、式（２１）の正規方程式を解き、パラメータhとvの組み合わせごと、かつクラスごとに予測係数Ｗ_vhnを求め、正規方程式生成部６１７に供給する。

正規方程式生成部６１７は、予測係数生成部６１６からの予測係数Ｗ_vhnに基づいて、上述した式（３３）の正規方程式をクラスごとに生成し、係数種決定部６１８に出力する。係数種生成部６１８は、クラスごとの式（３３）の正規方程式を解き、クラスごとの係数種ｗ_n,kを求めて係数種メモリ６１９に格納する。この係数種メモリ６１９に格納された係数種は、図３３の係数種メモリ５５３に格納される。

次に、図３８を参照して、教師画像と生徒画像の画素の位置関係を説明する。

図３８において、菱形は教師画像の画素を表し、白丸は生徒画像の画素を表している。また、図中横軸は水平方向の位置を表し、縦軸は垂直方向の位置を表す。

図３８に示されるように、教師画像と生徒画像の画素の水平方向および垂直方向の位置は同一となっている。即ち、教師画像と生徒画像は同位相である。

次に、図３９のフローチャートを参照して、図３７の学習装置６０１の学習処理について説明する。

初めに、ステップＳ６０１において、帯域制限フィルタ６１１は、入力されたパラメータhとvに応じて、入力された教師画像の垂直方向および水平方向の帯域をそれぞれ制限するフィルタ処理を行うことにより、入力された教師画像から生徒画像を生成し、クラスタップ抽出部６１２と予測タップ抽出部６１４に供給する。

ステップＳ６０２において、クラスタップ抽出部６１２は、図３３のクラスタップ抽出部５５１と同様に、教師画像を構成する画素のうちの１つを注目教師画素として、選択する。

ステップＳ６０３において、クラスタップ抽出部６１２は、クラスタップ抽出部５５１と同様に、生徒画像から、図３４に示されるようなクラスタップを抽出し、ADRC処理部６１３に供給する。

ステップＳ６０４において、ADRC処理部６１３は、クラスタップを構成する画素の画素値に対して、ADRC処理を行う。ステップＳ６０５において、ADRC処理部６１３は、ADRC処理の結果得られるADRCコードに基づいて、クラスを決定し、そのクラスを正規方程式生成部６１５に供給する。

ステップＳ６０６において、予測タップ抽出部６１４は、図３３の予測タップ抽出部５５６と同様に、注目教師画素について、帯域制限フィルタ６１１から供給される生徒画像から、図３５に示されるような予測タップを抽出し、正規方程式生成部６１５に供給する。

ステップＳ６０７において、正規方程式生成部６１５は、入力される教師画像から注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部６１４から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした式（２１）の足し込みを、パラメータhおよびvの組み合わせごと、かつADRC処理部６１３から供給されるクラスごとに行う。

ステップＳ６０８において、クラスタップ抽出部６１２は、入力されるすべての教師画像の画素を注目教師画素としたかどうかを判定する。ステップＳ６０８で、まだすべての教師画像の画素を注目教師画素としていないと判定された場合、ステップＳ６０９において、クラスタップ抽出部６１２は、教師画像の画素のうち、まだ注目教師画素としていないものを、新たに注目教師画素として決定する。そして、処理はステップＳ６０３に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ６０８で、すべての教師画像の画素を注目教師画素としたと判定された場合、ステップＳ６１０において、正規方程式生成部６１５は、いままでの処理によって得られたパラメータhおよびvの組み合わせごと、かつクラスごとの式（２１）における左辺の行列と、右辺のベクトルを、正規方程式として予測係数生成部６１６に供給する。

ステップＳ６１１において、予測係数生成部６１６は、正規方程式生成部６１５から供給される、パラメータhおよびvの組み合わせごと、かつクラスごとの式（２１）における左辺の行列と右辺のベクトルによって構成される正規方程式を解き、パラメータhおよびvの組み合わせごと、かつクラスごとの予測係数Ｗ_vhnを求めて、正規方程式生成部６１７に出力する。

ステップＳ６１２において、正規方程式生成部６１７は、予測係数Ｗ_vhnに基づいて、式（３３）の正規方程式をクラスごとに生成し、係数種決定部６１８に出力する。

ステップＳ６１３において、係数種決定部６１８は、式（３３）の正規方程式を解き、クラスごとの係数種ｗ_n,kを求める。係数種メモリ６１９は、ステップＳ６１４において、その係数種ｗ_n,kを記憶する。この係数種が図３３の係数種メモリ５５３に記憶される。

以上のように、自然画予測部１１３は、自然画像を用いた学習により獲得された係数種よにり生成された予測係数を用いて、自然高品質画像を予測するので、出力位相変換部１１２から供給されるＨＤ画像のうちの自然画像の品質を的確に高めることができる。

また、自然画予測部１１３は、クラスタップを構成する画素の画素値を、クラスタップの波形の特徴として、その特徴に応じて、注目画素をクラスに分類するので、自然画像の注目画素を、的確に分類することができる。その結果、自然画予測部１１３は、このクラスごとに学習により獲得された係数種により生成された予測係数を用いて、ＨＤ画像から自然高品質画像を予測することにより、より高品質の自然高品質画像を出力することができる。

図４０は、図８の人工画予測部１１４の第１の実施の形態の詳細構成例を示している。

図４０の人工画予測部１１４は、クラス分類部６５１、係数種メモリ６５２、予測係数生成部６５３、予測係数メモリ６５４、および予測部６５５により構成され、出力位相変換部１１２から供給されるプログレッシブ方式のＨＤ画像から、そのＨＤ画像のうちの人工画像を高品質にした人工高品質画像を予測する。

出力位相変換部１１２から供給されるＨＤ画像は、クラス分類部６５１と予測部６５５に入力される。クラス分類部６５１は、そのＨＤ画像により求められる人工高品質画像を構成する画素を、順次、注目画素とし、その注目画素を、ＨＤ画像の位相の特徴に応じて、幾つかのクラスのうちのいずれかのクラスに分類する。クラス分類部６５１は、分類されたクラスを予測係数メモリ６５４に供給する。

係数種メモリ６５２は、例えばROM(Read Only Memory)などにより構成され、図４７乃至図４９を参照して後述する学習により獲得されたクラスごとの係数種を格納している。

予測係数生成部６５３は、ユーザにより入力されるパラメータhとvを含む式（２５）の多項式を用いて、係数種メモリ６５２より読み出された係数種ｗ_n,kから予測係数Ｗ_nを生成し、予測係数メモリ６５４に記憶させる。

予測係数メモリ６５４は、クラス分類部６５１から供給されるクラスに基づいて、そのクラスの予測係数Ｗ_nを読み出し、予測部６５５に供給する。

予測部６５５は、ＨＤ画像と、予測係数メモリ６５４から供給される予測係数Ｗ_nとを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部６５５は、注目画素の画素値の予測値、即ち、人工高品質画像を構成する画素の画素値を求めて、図８の合成部１１６に出力する。

図４１は、図４０のクラス分類部６５１の詳細構成例を示すブロック図である。

図４１のクラス分類部６５１は、クラスタップ抽出部６７１、差分算出部６７２、およびADRC(Adaptive Dynamic Range Coding)処理部６７３により構成される。

クラスタップ抽出部６７１は、注目画素をクラスに分類するために用いるＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出し、差分算出部６７２に供給する。

差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、隣接する２つの画素どうし（以下、隣接画素と称する）の画素値の差分の絶対値（以下、隣接差分絶対値と称する）を、クラスタップの位相の特徴として、隣接画素ごとに算出する。差分算出部６７２は、各隣接画素の隣接差分絶対値を、ADRC処理部６７３に供給する。

ADRC処理部６７３は、差分算出部６７２から供給される隣接差分絶対値に対して、１ビットADRC処理を行う。具体的には、ADRC処理部６７３は、クラスタップの隣接差分絶対値を、その最大値MAXと最小値MINとの平均値で除算し、その除算結果の小数点以下を切り捨てることにより、隣接差分絶対値を１ビットにする。即ち、ADRC処理部６７３は、隣接差分絶対値を２値化する。

そして、ADRC処理部６７３は、その１ビットの画素値を所定の順番で並べたビット列を、注目画素のクラスとして決定する。従って、クラスは、クラスタップ内のエッジの位置を表す位相情報となる。即ち、クラスは、クラスタップの位相を縮退した値となる。ADRC処理部６７３は、決定されたクラスを、図４０の予測係数メモリ６５４に供給する。

以上のように、クラス分類部６５１は、各隣接画素の隣接差分絶対値を、クラスタップの位相の特徴として、その位相の特徴に応じて、注目画素をクラスに分類する。

図４２は、図４１のクラスタップ抽出部６７１により抽出されるクラスタップのタップ構造の例を示している。なお、クラスタップのタップ構造は、図４２に示されている以外の構造とすることも可能である。

図４２では、図８の出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１２４と、その画素の上方向、左方向、右方向、下方向にそれぞれ隣接する２画素ｐ１２０，ｐ１２１，ｐ１２２，ｐ１２３，ｐ１２５，ｐ１２６，ｐ１２７，ｐ１２８とから、いわば十字形状のクラスタップが構成されている。

図４１の差分算出部６７２は、クラスタップを構成する９個の画素ｐ１２０乃至ｐ１２８のうちの、隣接画素である画素ｐ１２０とｐ１２１，ｐ１２１とｐ１２４，ｐ１２２とｐ１２３，ｐ１２３とｐ１２４，ｐ１２４とｐ１２５，ｐ１２５とｐ１２６，ｐ１２４とｐ１２７，ｐ１２７とｐ１２８の８個の隣接差分絶対値ｄ０乃至ｄ７を算出し、ADRC処理部６７３に供給する。その結果、ADRC処理部６７３から８ビットで表されるクラスが出力される。

図４３は、図４０の予測部６５５の詳細構成例を示すブロック図である。

図４３の予測部６５５は、予測タップ抽出部６９１と予測演算部６９２から構成される。

予測タップ抽出部６９１は、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出する。

具体的には、予測タップ抽出部６９１は、注目画素に対応するＨＤ画像の画素、例えば、注目画素に対して空間的に最も近い位置にあるＨＤ画像の画素に対して、空間的に近い位置にある複数の画素を、ＨＤ画像から、予測タップとして抽出する。予測タップ抽出部６９１は、予測タップを予測演算部６９２に供給する。

なお、予測タップとクラスタップは、同一のタップ構造を有するものとすることも、異なるタップ構造を有するものとすることも可能である。

予測演算部６９２には、予測タップ抽出部６９１から供給される予測タップのほかに、図４０の予測係数メモリ６５４から予測係数が供給される。予測演算部６９２は、その予測タップと予測係数とを用いて、注目画素の真値の予測値を求める、式（１４）に示した予測演算を行う。これにより、予測演算部６９２は、注目画素の画素値の予測値、即ち、人工高品質画像を構成する画素の画素値を求めて、図８の合成部１１６に出力する。

図４４は、図４３の予測タップ抽出部６９１により抽出される予測タップのタップ構造の例を示している。なお、予測タップのタップ構造は、図４４に示されている以外の構造とすることも可能である。

図４４では、１３個の画素で、予測タップが構成されている。即ち、図４４では、出力位相変換部１１２から供給されるＨＤ画像のうちの、注目画素に対応する画素ｐ１４６を中心として縦方向に並ぶ５画素ｐ１４０，ｐ１４２，ｐ１４６，ｐ１５０，ｐ１５２、注目画素に対応する画素ｐ１４６の左と右に隣接する画素ｐ１４５，ｐ１４７それぞれを中心として縦方向に並ぶ３画素ｐ１４１，ｐ１４５，ｐ１４９，ｐ１４３，ｐ１４７，ｐ１５１、および注目画素に対応する画素ｐ１４６から左と右に２画素だけ離れた画素ｐ１４４，ｐ１４８から、略ひし形状の予測タップが構成されている。

次に、図４５を参照して、図４０の人工画予測部１１４が行う図１３のステップＳ１５の人工画予測処理の詳細を説明する。

初めに、ステップＳ７０１において、クラス分類部６５１は、求める人工高品質画像を構成する画素のうちの所定の画素である注目画素を、その注目画素に対応するＨＤ画像の位相の特徴に応じてクラスに分類するクラス分類処理を行う。このクラス分類処理の詳細は、図４６を参照して後述する。

ステップＳ７０２において、係数種メモリ６５２は係数種ｗ_n,kを読み出し、予測係数生成部６５３に出力する。ステップＳ７０３において、予測係数生成部６５３は、ユーザにより入力されたパラメータhとvに基づいて、そのパラメータhとvを含む式（２５）の多項式を用いて、係数種ｗ_n,kから予測係数Ｗ_nを生成し、予測係数メモリ５５５に供給して記憶させる。

ステップＳ７０４において、予測係数メモリ６５４は、クラス分類部６５１により分類されたクラスに基づいて、そのクラスの予測係数Ｗ_nを読み出し、予測部６５５の予測演算部６９２に供給する。

ステップＳ７０５において、予測タップ抽出部６９１は、出力位相変換部１１２から供給されるＨＤ画像から、図４４に示されるような、注目画素の画素値を予測するのに用いるＨＤ画像を構成する画素を、予測タップとして抽出し、予測演算部６９２に供給する。

ステップＳ７０６において、予測演算部６９２は、予測タップ抽出部６９１から供給される予測タップと、予測係数メモリ６５４から供給される予測係数Ｗ_nとを用いて、式（１４）に示した予測演算を行うことにより、人工高品質画像を構成する画素の画素値を求める。ステップＳ７０７において、予測演算部６９２は、ステップＳ７０６で求められた人工高品質画像を構成する画素の画素値を、図８の合成部１１６に出力する。

ステップＳ７０８において、クラス分類部６５１は、人工高品質画像を構成するすべての画素を注目画素としたかどうかを判定し、まだ人工高品質画像を構成するすべての画素を注目画素としていないと判定された場合、ステップＳ７０９において、クラス分類部６５１は、人工高品質画像を構成する画素のうち、まだ注目画素としていないものを新たに注目画素として決定し、処理をステップＳ７０１に戻し、以下、同様の処理を繰り返す。

一方、ステップＳ７０８において、クラス分類部６５１は、人工高品質画像を構成するすべての画素を注目画素としたと判定した場合、人工画予測処理を終了する。

以上のようにして、人工画予測部１１４は、出力位相変換部１１２から供給されるＨＤ画像から、人工高品質画像を予測し、出力する。即ち、人工画予測部１１４は、ＨＤ画像を人工高品質画像に変換し、出力する。

次に、図４６のフローチャートを参照して、図４５のステップＳ７０１のクラス分類処理について説明する。

ステップＳ７２１において、クラス分類部６５１のクラスタップ抽出部６７１(図４１)は、図４２に示されるような、注目画素のクラス分類を行うのに用いるＨＤ画像を構成する画素の幾つかを、クラスタップとして抽出し、差分算出部６７２に供給する。

ステップＳ７２２において、差分算出部６７２は、クラスタップ抽出部６７１から供給されるクラスタップを構成する画素のうちの、各隣接画素の隣接差分絶対値を算出し、各隣接画素の隣接差分絶対値をADRC処理部６７３に供給する。

ステップＳ７２３において、ADRC処理部６７３は、差分算出部６７２から供給される隣接差分絶対値に対して、１ビットADRC処理を行う。ADRC処理部６７３は、その結果得られるビット列を、クラスとして決定することにより、注目画素をクラスに分類する。そして、ADRC処理部６７３は、そのクラスを図４０の予測係数メモリ６５４に供給する。その後、処理は図４５のステップＳ７０１に戻る。

図４７は、図４０の係数種メモリ６５２に格納される係数種を求める学習を行う学習装置８１１の構成例を示すブロック図である。

図４７の学習装置８１１は、生徒画像生成部８２１、クラス分類部８２２、生成部８２３、係数生成部８２４、正規方程式生成部８２５、係数種決定部８２６、および係数種メモリ８２７により構成される。

この学習装置８１１は、上述したクラス分類処理におけるタップ係数の学習と同様に、予測係数Ｗ_vhnを学習した後、式（３３）の正規方程式をたてて解くことにより係数種ｗ_n,kを学習する。即ち、学習装置８１１は、教師データｙとして、予測処理後の目標の人工画像に相当する画像である教師画像を採用し、生徒データｘとして、予測処理が行われる前の人工画像に相当する画像である生徒画像を採用し、ユーザの指示に基づいて外部から入力されるパラメータhとvの組み合わせごと、かつクラスごとに上述した式（２１）の正規方程式をたてて解くことにより、パラメータhとvの組み合わせごと、かつクラスごとのタップ係数Ｗ_nを予測係数Ｗ_vhnとして求める。

そして、この予測係数Ｗ_vhnによりクラスごとに生成される上述した式（３３）の正規方程式を解くことで、クラスごとの係数種ｗ_n,kが生成され、記憶される。

学習装置８１１には、図示せぬデータベースから読み出された教師画像が複数入力され、その教師画像は、生徒画像生成部８２１と生成部８２３に供給される。また、学習装置８１１には、パラメータhおよびvが入力され、生徒画像生成部８２１、および生成部８２３に供給される。

生徒画像生成部８２１は、例えばローパスフィルタなどにより構成され、パラメータhおよびvに応じて、図示せぬデータベースから取得された人工画像である教師画像の品質を劣化させることにより、パラメータhおよびvの組み合わせごとの生徒画像を生成する。生徒画像生成部８２１は、その生徒画像をクラス分類部８２２と生成部８２３に供給する。

クラス分類部８２２は、人工画予測部１１４の図４１のクラス分類部６５１と同様に構成される。クラス分類部８２２は、教師画像を構成する画素を、順次、注目教師画素として、その注目教師画素について、生徒画像から、図４１のクラスタップ抽出部６７１が抽出するクラスタップ（図４２）と同一のタップ構造のクラスタップを抽出する。

そして、クラス分類部８２２は、クラスタップを構成する画素のうちの各隣接画素の隣接差分絶対値を算出し、その隣接差分絶対値に対して、１ビットADRC処理を行う。クラス分類部８２２は、その結果得られるビット列を、注目教師画素のクラスとして決定し、生成部８２３に供給する。

生成部８２３は、教師画像と、生徒画像生成部８２１から供給される生徒画像のペアを、予測係数の学習に用いられる学習対として、外部から入力されるパラメータhとvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに、式（２１）に示した正規方程式をたてると、その正規方程式を、係数生成部８２４に供給する。

係数生成部８２４は、生成部８２３から供給される、パラメータhとvの組み合わせごと、かつクラスごとの正規方程式を解くことにより、予測係数Ｗ_vhnを、パラメータhとvの組み合わせごと、かつクラスごとに求めて正規方程式生成部８２５に出力する。

正規方程式生成部８２５は、予測係数Ｗ_vhnに基づいて式（３３）の正規方程式をクラスごとに生成し、係数種決定部８２６に出力する。係数種決定部８２６は、正規方程式を解くことで、係数種ｗ_n,kを求め、係数種メモリ８２７に格納する。係数種メモリ８２７に格納された係数種ｗ_n,kは、図４０の係数種メモリ６５２に格納される。

図４８は、図４７の生成部８２３の詳細構成例を示すブロック図である。

図４８の生成部８２３は、予測タップ抽出部８３１と正規方程式生成部８３２により構成される。

生成部８２３に供給される学習対の生徒画像は、予測タップ抽出部８３１に供給され、教師画像は、正規方程式生成部８３２に供給される。

予測タップ抽出部８３１は、学習対の教師画像を構成する画素を、順次、注目教師画素とし、その注目教師画素について、学習対の生徒画像から、図４３の予測タップ抽出部６９１が抽出する予測タップ(図４４)と同一のタップ構造の予測タップを抽出し、正規方程式生成部８３２に供給する。

正規方程式生成部８３２は、教師画像から、注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部８３１から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした足し込みを、外部から入力されるパラメータhとvの組み合わせごと、かつクラス分類部８２２から供給されるクラスごとに行う。

そして、正規方程式生成部８３２は、学習装置８１１に入力されるすべての教師画像の画素を注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（２１）に示した正規方程式をたてると、その正規方程式を、図４７の係数生成部８２４に供給する。

次に、図４９のフローチャートを参照して、図４７の学習装置８１１の学習処理について説明する。

初めに、ステップＳ７４１において、生徒画像生成部８２１は、外部から入力されたパラメータhとvに応じて、入力された教師画像から生徒画像を生成し、クラス分類部８２２と生成部８２３に供給する。

ステップＳ７４２において、クラス分類部８２２は、図４６のクラス分類処理と同様に、教師画像のうちの所定の画素である注目教師画素を、その注目教師画素に対応する生徒画像の位相の特徴に応じて、クラスに分類するクラス分類処理を行う。クラス分類部８２２は、決定されたクラスを生成部８２３の正規方程式生成部８３２（図４８）に供給する。

ステップＳ７４３において、図４８の予測タップ抽出部８３１は、注目教師画素について、生徒画像生成部８２１から供給される生徒画像から、予測タップを抽出し、正規方程式生成部８３２に供給する。

ステップＳ７４４において、正規方程式生成部８３２は、入力される教師画像から注目教師画素を抽出し、その注目教師画素と、予測タップ抽出部８３１から供給される注目教師画素について構成された予測タップを構成する生徒画像とを対象とした式（２１）の足し込みを、パラメータhおよびvの組み合わせごと、かつラス分類部８２２から供給されるクラスごとに行う。

ステップＳ７４５において、クラス分類部８２２は、入力されるすべての教師画像の画素を注目教師画素としたかどうかを判定する。ステップＳ７４５で、まだすべての教師画像の画素を注目教師画素としていないと判定された場合、ステップＳ７４６において、予測タップ抽出部８３１は、まだ注目教師画素としていない教師画像の画素を、新たに注目教師画素として決定する。そして、処理はステップＳ７４２に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ７４５で、すべての教師画像の画素を注目教師画素としたと判定された場合、ステップＳ７４７において、正規方程式生成部８３２は、いままでの処理によって得られたパラメータhおよびvの組み合わせごと、かつクラスごとの式（２１）における左辺の行列と、右辺のベクトルを、正規方程式として係数生成部８２４に供給する。

ステップＳ７４８において、係数生成部８２４は、生成部８２３から供給される、パラメータhおよびvの組み合わせごと、かつクラスごとの式（２１）における左辺の行列と右辺のベクトルによって構成される正規方程式を解き、パラメータhおよびvの組み合わせごと、かつクラスごとの予測係数Ｗ_vhnを求め、正規方程式生成部８２５に出力する。

ステップＳ７４９において、正規方程式生成部８２５は、予測係数Ｗ_vhnに基づいて式（３３）の正規方程式をクラスごとに生成し、係数種決定部８２６に出力する。ステップＳ７５０において、係数種決定部８２６は、クラスごとの式（３３）の正規方程式を解き、クラスごとの係数種ｗ_n,kを求める。ステップＳ７５１において、係数種メモリ８２７は、係数種ｗ_n,kを記憶する。この係数種が図４０の係数種メモリ６５２に記憶される。

以上のように、人工画予測部１１４は、人工画像を用いた学習により獲得された係数種により生成される予測係数を用いて、人工高品質画像を予測するので、出力位相変換部１１２から供給されるＨＤ画像のうちの人工画像の品質を的確に高めることができる。

また、人工画予測部１１４は、クラスタップのエッジの位置を位相の特徴として、その特徴に応じて、注目画素をクラスに分類するので、階調が少なく、位相情報がはっきりした人工画像の注目画素を、的確に分類することができる。その結果、人工画予測部１１４は、このクラスごとに学習により獲得された係数種により生成される予測係数を用いて、ＨＤ画像から人工高品質画像を予測することにより、より高品質の人工高品質画像を出力することができる。

以上のようにして、自然画予測部１１３から出力された自然高品質画像の各画素の画素値と、人工画予測部１１４から出力された人工高品質画増の各画素の画素値は、合成部１１６により、人工画度に応じた割合で合成され、出力される。

即ち、合成部１１６は、出力位相変換部１１２から出力されるＨＤ画像の領域のうちの、自然画像に分類される領域には、自然画予測部１１３により変換されたＨＤ画像を、人工画像に分類される領域には、人工画予測部１１４により変換されたＨＤ画像を配置する。その結果、画像処理装置１０１は、高品質なＨＤ画像を出力することができる。

なお、上述した説明では、係数種が学習されるようにしたが、予測係数そのものが学習されるようにしてもよい。この場合、自然画予測部１１３と人工画予測部１１４は、学習により獲得された予測係数そのものを用いて予測を行う。

上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図５０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記録部９０８やROM(Read Only Memory)９０２に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブルメディア９１１に、一時的あるいは永続的に記録しておくことができる。このようなリムーバブルメディア９１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブルメディア９１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部９０９で受信し、内蔵する記録部９０８にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)９０１を内蔵している。CPU９０１には、バス９０４を介して、入出力インターフェース９０５が接続されており、CPU９０１は、入出力インターフェース９０５を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部９０６が操作等されることにより指令が入力されると、それにしたがって、ROM９０２に格納されているプログラムを実行する。あるいは、また、CPU９０１は、記録部９０８に格納されているプログラム、衛星若しくはネットワークから転送され、通信部９０９で受信されて記録部９０８にインストールされたプログラム、またはドライブ９１０に装着されたリムーバブルメディア９１１から読み出されて記録部９０８にインストールされたプログラムを、RAM（Random Access Memory）９０３にロードして実行する。

これにより、CPU９０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０１は、その処理結果を、必要に応じて、例えば、入出力インターフェース９０５を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部９０７から出力、あるいは、通信部９０９から送信、さらには、記録部９０８に記録等させる。

なお、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の変換処理を行う変換装置の一例を示すブロック図である。 クラスタップのタップ構造の一例を示す図である。 予測タップのタップ構造の一例を示す図である。 ＨＤ画像の画素とＳＤ画像の画素の垂直方向の位置関係を表す図である。 ＨＤ画像の画素とＳＤ画像の画素の水平方向の位置関係を表す図である。 図１の変換装置がＨＤ画像を予測する予測処理について説明するフローチャートである。 図１の予測係数メモリに格納される予測係数を求める学習を行う学習装置の構成例を示すブロック図である。 本発明を適用した画像変換装置の一実施の形態の構成を示すブロック図である。 図８の巡回型IP変換部の機能的構成を示すブロック図である。 プログレッシブ画像の画素のタイプを説明する図である。 図９の動きベクトル検出部の機能的構成を示すブロック図である。 図９の巡回係数設定部の機能的構成を示すブロック図である。 図８の画像変換装置により実行される画像変換処理を説明するフローチャートである。 動き適応型の方法を用いたIP変換処理を説明する図である。 図１３のステップＳ１２の巡回型変換処理の詳細を説明するフローチャートである。 MCブロック差分値BDの検出方法を説明する図である。 MCブロック差分値BDの検出方法を説明する図である。 垂直動き量VYと基本巡回係数KA0の関係を示すグラフである。 垂直動き量VYと基本巡回係数KB0の関係を示すグラフである。 垂直動き量VYと垂直折り返し歪みの大きさの関係を説明する図である。 動きベクトルの分布の例を示す図である。 動きベクトルの分布の他の例を示す図である。 動き分散MD0の算出方法を説明する図である。 動き分散MD1の算出方法を説明する図である。 図１５のステップＳ２１の動きベクトル検出処理の詳細を説明するフローチャートである。 画素以下精度の動きベクトルを検出する方法を説明する図である。 出力位相変換部の第１の実施の形態の詳細構成例を示すブロック図である。 垂直位相シフト演算と水平位相シフト演算について説明する図である。 出力位相変換処理の詳細を説明するフローチャートである。 出力位相変換部の第２の実施の形態の詳細構成例を示すブロック図である。 ２次元位相シフト演算について説明する図である。 他の出力位相変換処理の詳細を説明するフローチャートである。 自然画予測部の詳細構成例を示すブロック図である。 クラスタップのタップ構造を示す図である。 予測タップのタップ構造を示す図である。 自然画予測処理の詳細を説明するフローチャートである。 学習装置の構成例を示すブロック図である。 教師画像と生徒画像の画素の位置関係を説明する図である。 学習処理を説明するフローチャートである。 人工画予測部の構成例を示すブロック図である。 クラス分類部の詳細構成例を示すブロック図である。 他のクラスタップのタップ構造を示す図である。 予測部の詳細構成例を示すブロック図である。 他の予測タップのタップ構造を示す図である。 人工画予測処理を説明するフローチャートである。 クラス分類処理を説明するフローチャートである。 他の学習装置の構成例を示すブロック図である。 生成部の詳細構成例を示すブロック図である。 他の学習処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１０１ 画像変換装置， １１１ 巡回型IP変換部， １１２ 出力位相変換部， １１３ 自然画予測部， １２１ IP変換部， １２２ 巡回型変換部， １３１ 動きベクトル検出部， １３２ MCブロック差分検出部， １３３ 巡回係数設定部， １３４ 動き補償部， １３５ 積和演算部， １３６ フレームメモリ， １５１ 動き評価値検出部， １５２ 画素精度動きベクトル検出部， １５３，１５４ タップ抽出部， １５６ クラス分類部， １５７ 係数メモリ， １５８ 予測演算部， １５９ 画素以下精度動きベクトル検出部， １７１ 基本巡回係数設定部， １７２ 動き分散検出部， １７３ 巡回係数算出部， １８１ 動き分散差し引き量算出部， １８２ MCブロック差分算出部， １８３ 減算部， ２０１ 巡回型変換部， ２１１ フレームメモリ， ２１２ 動きベクトル検出部， ２１３ MCブロック差分検出部， ３０１ 巡回型変換部， ３１１，３１２ フレームメモリ， ３１３ 動きベクトル検出部， ３１４ MCブロック差分検出部， ５５２ ADRC処理部， ５５５ 予測係数メモリ， ５５７ 予測演算部

Claims (4)

1. 第１の画素数の画素から構成されるインターレース画像を第１のプログレッシブ画像にＩＰ変換する変換手段と、
   前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像を生成する補間手段と、
   前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類する分類手段と、
   前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数を格納する格納手段と、
   前記第２のプログレッシブ画像と、前記注目画素の前記クラスの予測係数とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求める演算手段と
   を備える画像処理装置。
2. 前記変換手段は、
   前記インターレース画像を、プログレッシブ方式の中間画像に変換するＩＰ変換手段と、
   前記中間画像の画素の間隔より短い距離を最小単位とする前記インターレース画像の動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトルの垂直方向の成分である垂直動き量に基づいて、前記インターレース画像に画素が存在する位置にある第１のタイプの画素に対する第１の巡回係数、および、前記インターレース画像に画素が存在しない位置にある第２のタイプの画素に対する第２の巡回係数を設定する巡回係数設定手段と、
   前記動きベクトルに基づいて、過去の前記第１のプログレッシブ画像に対して動き補償を施した画像である動き補償画像を生成する動き補償手段と、
   前記中間画像の前記第１のタイプの画素の画素値と前記動き補償画像の対応する位置にある画素の画素値とを前記第１の巡回係数を用いて重み付け加算し、前記中間画像の前記第２のタイプの画素の画素値と前記動き補償画像の対応する位置にある画素の画素値とを前記第２の巡回係数を用いて重み付け加算した画素値からなる前記第１のプログレッシブ画像を生成する出力画像生成手段と
   を備える
   請求項１に記載の画像処理装置。
3. 第１の画素数の画素から構成されるインターレース画像を第１のプログレッシブ画像にＩＰ変換し、
   前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像を生成し、
   前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類し、
   前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数のうち、前記注目画素の前記クラスの予測係数と、前記第２のプログレッシブ画像とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求める
   ステップを含む画像処理方法。
4. 第１の画素数の画素から構成されるインターレース画像を第１のプログレッシブ画像にＩＰ変換し、
   前記第１のプログレッシブ画像に対して補間を行うことにより、生成目標とする画像の画素数である第２の画素数の画素から構成される第２のプログレッシブ画像を生成し、
   前記第２のプログレッシブ画像により求められる、その第２のプログレッシブ画像に比べて高品質な前記第２の画素数の画素から構成される、前記生成目標の画像としての第３のプログレッシブ画像の画素である注目画素を、その第２のプログレッシブ画像の特徴に応じて、クラスに分類し、
   前記第２の画素数の画素から構成される複数のプログレッシブ画像を用いた学習により獲得された、前記クラスごとの予測係数のうち、前記注目画素の前記クラスの予測係数と、前記第２のプログレッシブ画像とを用いて演算することで、前記第２のプログレッシブ画像から、前記生成目標の画像としての前記第３のプログレッシブ画像を求める
   ステップを含むプログラム。

Images