JP2005117682A - 係数生成装置および方法 - Google Patents

Abstract

【課題】供給された画像信号を、より高画質の画像信号へ変換するときに用いられる係数を生成する。
【解決手段】垂直間引きフィルタ２２、水平間引きフィルタ２３にて、入力端子２１からのＨＤデータの画素を間引き処理し、得られたＳＤデータを領域分割化回路２４、２６へ供給する。領域分割化回路２４は、ＳＤデータを複数の領域に分割し、ＡＤＲＣ回路２５は、パターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２８へ供給する。動きクラス決定回路２７は、領域分割化回路２６からのＳＤデータから動きクラスmv-classを決定し、クラスコード発生回路２８へ供給する。クラスコード発生回路２８は、パターン圧縮データ、動きクラスmv-classからクラスを検出し、そのクラスを示すクラスコードを正規方程式加算回路２９へ出力する。正規方程式加算回路２９は、正規方程式データを出力する。予測係数決定回路３０は、予測係数を算出する。
【選択図】図８

Description

この発明は、例えば、テレビジョン受像器やビデオテープレコーダ装置等に用いて好適な画像情報変換装置に関し、特に、外部から供給される通常の画質（解像度）の画像情報を高画質（高解像度）の画像情報へ変換するときに用いられる係数を生成する係数生成装置および方法に関する。

今日において、オーディオ・ビジュアル指向の高まりから、より高解像度の画像を得ることが出来るようなテレビジョン受像器の開発が望まれ、この要望に応えて、いわゆるハイビジョン方式が開発された。このハイビジョン方式は、いわゆるＮＴＳＣ方式に規定される走査線数が５２５本なのに対して、２倍以上の１１２５本となっているうえ、表示画面の縦横比もＮＴＳＣ方式が３：４に対して、ハイビジョン方式は９：１６と広角画面になっている。このため、高解像度で臨場感のある画面を得ることができるようになっている。

ここで、このような優れた特性を有するハイビジョン方式ではあるが、ＮＴＳＣ方式の映像信号をそのまま供給しても画像表示を行うことはできない。これは、上述のようなＮＴＳＣ方式とハイビジョン方式とでは規格が異なるためである。このため、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン方式で表示しようとする場合、従来は、例えば図９に示すような画像情報変換装置を用いて映像信号のレート変換を行っていた。

図９において、従来の画像情報変換装置は、入力端子４１を介して供給されるＮＴＳＣ方式の映像信号に対して、水平方向の補間処理を行う水平補間フィルタ４２と、水平方向の補間処理の行われた映像信号に対して、垂直方向の補間処理を行う垂直補間フィルタ４３とから構成され、出力端子４４からハイビジョン方式の映像信号を得ることができる。

具体的には、水平補間フィルタ４２は、図１０に示すような構成を有しており、入力端子４１を介して供給される映像方式の映像信号は、入力端子５１を介して第１〜第ｍの乗算器５２〜５２m にそれぞれ供給される。各乗算器５２は、映像信号に係数データを乗算して出力する。係数データの乗算された映像信号は、それぞれ第１〜第ｍの加算器５３〜５３m-1 へ供給される。各加算器５３〜５３m-1 の間には、それぞれ時間Ｔの遅延レジスタ５４〜５４m が設けられる。そして、第ｍの乗算器５２m から出力された映像信号は、第ｍの遅延レジスタ５４m により時間Ｔの遅延が施され、第ｍ−１の加算器５３m-1 へ供給される。

第ｍ−１の加算器５３m-1 は、第ｍの遅延レジスタ５４m からの時間Ｔの遅延時間の施された映像信号と、第ｍ−１の乗算器５２m-1 からの映像信号とを加算処理して出力する。この加算処理の施された映像信号は、第ｍ−１の遅延レジスタ５４m-1 により再度、時間Ｔの遅延が施され、図示しない第ｍ−２の加算器５３m-2 において、同じく図示しない第ｍ−２の乗算器５３m-2 からの映像信号と加算処理される。水平補間フィルタ４２は、このようにしてＮＴＳＣ方式の映像信号が出力端子５５を介して垂直補間フィルタ４３へ供給する。

垂直補間フィルタ４３は、上述した水平補間フィルタ４２と同様の構成を有しており、水平補間処理の行われた映像信号に対して、垂直方向の画素の補間を行う。これにより、ＮＴＳＣ方式の映像信号に対して、垂直方向の画素の補間が行われる。このような変換のなされたハイビジョン方式の映像信号は、ハイビジョン受像器へ供給される。これにより、ＮＴＳＣ方式の映像信号に応じた画像をハイビジョン受像器で表示することができる。

しかしながら、上述の従来の画像情報変換装置は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向、および垂直方向の補間を行っているに過ぎないため、解像度は基となるＮＴＳＣ方式の映像信号と何ら変わらなかった。特に、通常の動画を変換対象とした場合、垂直方向の補間は、フィールド内処理で行うのが一般的であるが、図９に示す画像変換の場合、画像のフィールド間相関を有していないため、画像静止部においては、変換ロスのためＮＴＳＣ方式の映像信号よりむしろ解像度が劣化する欠点があった。

これに対し、入力信号である画像信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する、というものがある。

この手法は、ＨＤ（High Definition ）画素を創造する場合、創造するＨＤ画素の近傍にある、垂直方向に連続する同一フレーム内のＳＤ（Standerd Definition ）画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、画像静止部においてはフレーム内相関、また動き部においてはフィールド内相関を利用して、より真値に近いＨＤ画素を得る、というような巧妙なものである。

例えば、図１１において、ＳＤ画素ｘ₁ 〜ｘ₆ をクラス分類に用いた場合、ＳＤ画素ｘ₁ 〜ｘ₆ に対して、２ビットＡＤＲＣを行った結果の量子化データがそれぞれ順に３、０、３、０、３、０であった場合、その部分は動き画像である可能性が極めて高い。すなわち、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、画像信号変換装置では、時間的に等しいデータの中で空間位置の近いＳＤ画素ｘ₂ とＳＤ画素ｘ₄ に重きをおいて、ＨＤ画素ｙを創造する。

一方、ＳＤ画素ｘ₁ 〜ｘ₆ に対して、２ビットＡＤＲＣを行った結果の量子化データがそれぞれ順に、３、３、２、２、１、０であった場合、その部分は静止画像である可能性が高い。そこで、画像信号変換装置では、時間的位相にかかわらず、空間位置の近いＳＤ画素ｘ₂ とＳＤ画素ｘ₄ に重きをおいて、ＨＤ画素ｙを創造する。この際、クラス分類は、動きのある／なし、のみならず、創造するＨＤ画素近傍の信号波形をも表現し、それぞれの波形において、最適となるような予測係数値を出力することも大きな特長である。

この手法によれば、静止／動き、の切り換わりも実際の画像を用いて学習することにより滑らかに表現できるので、従来の動き適応方式のように静止／動きの切り換わりによる不自然さの発生を大幅に減少させることができる。

しかしながら、上述の手法は、有限個のクラス分割により、動き情報と空間内の波形の二つを表現する必要があり、クラスによっては、本来なら分離するべきパターンが一つのクラス内に混在してしまう場合があった。

例えば、上述のＳＤ画素ｘ₁ 〜ｘ₆ に対して、２ビットＡＤＲＣを行った結果の量子化コードがそれぞれ順に３、０、３、０、３、０であった場合、上述のように、このパターンの場合その部分が動き画像である確率が極めて高いのであるが、稀に空間的な周波数が高い場合、動きがなくてもこのようなパターンが出現することがある。この場合は、細かい横縞パターンがそれにあたる。このような場合、静止している細かい横縞パターンに対しても動画向けの処理、すなわち時間的に等しい位相の中で、空間的に近いデータを用いて変換を行う、しかしながら、これにより解像度が劣化することがあった。

これに対し、特願平５−１７２６１７号に記載された画像信号変換装置では、３フィールド分のデータを用いて、空間的に同一の位置にあるデータの値を利用して、クラス分類を行う、というものがある。これは、例えば図１２に示すように、ＳＤ画素ｘ₁ 〜ｘ₆ に加え、ＳＤ画素ｘ₃ と空間的に同一位置にあるＳＤ画素ｘ₇ をも加えてクラス分類する、というものである。

この手法によれば、ＳＤ画素ｘ₁ 〜ｘ₆ を量子化したデータのパターンによる動き表現に加えＳＤ画素ｘ₁ とＳＤ画素ｘ₇ を量子化したデータによる動き表現を利用することが出来る。すなわち、図１２において、ＳＤ画素ｘ₁ とＳＤ画素ｘ₇ の差分値が小さい場合は、創造するべきＨＤ画素ｙ周辺の画像は静止している可能性が高い。そこで、上述の画像信号変換装置では、空間位置の近いＳＤ画素ｘ₁ とＳＤ画素ｘ₂ に重きをおいて、ＨＤ画素ｙを創造する。一方、ＳＤ画素ｘ₁ とＳＤ画素ｘ₇ の差分値が大きい場合は、創造するべきＨＤ画素ｙ周辺の画像は動いている可能性が高い。そこで、上述の画像信号変換装置では、時間的に近いＳＤ画素ｘ₃ とＳＤ画素ｘ₄ に重きをおいて、ＨＤ画素ｙを創造する。

しかしながら、空間的に同一位相にあるＳＤ画素データが一組だけでは、動きの種類、あるいはノイズ等の影響により、誤動作が発生しやすいため、より性能の向上を求める為には、２組以上の空間的に同一位相にあるＳＤ画素データを使うことが望ましい。

また、すばやい動きが画像中にある場合、例えば画像中の１フィールドにのみ動きが介入した場合、上述の手法では、検出が原理的に困難な場合がある。すなわち、図１２中の＃（ｋ＋１）フィールドのみ動き物体が通過した場合、ＳＤ画素ｘ₁ とＳＤ画素ｘ₇ の差分値が小さいため、そのパターンに対しては、静止寄りの処理がなされることになる。したがって、この意味からは、空間的に同一位相にあるＳＤ画素データの組が時間的に異なった組合せで存在することが望ましい。

この対策としてクラス分割に用いる画素数を増やして、クラス数を増加させることにより、復元画像の品質劣化を低減する、という手法も考えられる。例えば、ＳＤ画素ｘ₃ と空間的に同一位置にあるＳＤ画素ｘ₇ 、のみならず、図１３に示すように、ＳＤ画素ｘ₂ と空間的に同一位置にあるＳＤ画素ｘ₈ 、ＳＤ画素ｘ₄ と空間的に同一位置にあるＳＤ画素ｘ₉ を加えるなどという手法が考えられる。この手法によれば、空間的に同一位相にあるＳＤ画素データの組が増加するため、パターンによる動き判定の性能は向上する。

しかしながら、追加した３画素の量子化を例えば、他の画素と同様に２ビットＡＤＲＣを行ったとすると、図１１に示すオリジナルの方式に比べ、クラス数は６４倍となり、結果的にクラス数が非常に大きなものになってしまい、その結果ハードウェア規模の増加を招き、現実性に乏しい。

したがって、この発明の目的は、上述の問題点を鑑みてなされたものであり、画質（解像度）を向上させてＮＴＳＣ方式の映像信号をハイビジョン方式の映像信号へ変換するときに用いられる係数を生成する係数生成装置および方法を提供することにある。

請求項１に記載の発明は、第１の画質のディジタル画像信号を、より高画質な第２の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成装置において、第２の画質の画像情報に含まれる生成対象である注目画素の周辺における第１の画質の画像情報の連続する２フィールド内の画素情報のデータを、ブロックに分割する第１の画像情報分割手段と、第１の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、第１の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、注目画素の周辺におけるデータをブロックに分割する第２の画像情報分割手段と、第２の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、クラス検出手段と動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、第１の画質の画像情報に含まれる注目画素の周辺の参照画素と予測係数との線形結合により形成された注目画素の予測値と注目画素の真値との誤差を最小とするように、最終的なクラス毎に係数を最小二乗法により決定する係数演算手段とを有することを特徴とする係数生成装置である。

請求項９に記載の発明は、第１の画質のディジタル画像信号を、より高画質な第２の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成方法において、第２の画質の画像情報に含まれる生成対象である注目画素の周辺における第１の画質の画像情報の連続する２フィールド内の画素情報のデータを、ブロックに分割する第１の画像情報分割ステップと、第１の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出されたパターンに基づいて、ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、第１の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、注目画素の周辺におけるデータをブロックに分割する第２の画像情報分割ステップと、第２の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、クラス検出ステップと動きクラス検出ステップの情報を統合して最終的なクラスを決定するクラスコード発生ステップと、第１の画質の画像情報に含まれる注目画素の周辺の参照画素と予測係数との線形結合により形成された注目画素の予測値と注目画素の真値との誤差を最小とするように、最終的なクラス毎に係数を最小二乗法により決定する係数演算ステップとを有することを特徴とする係数生成方法である。

この発明に係る画像情報変換装置は、入力ＳＤ信号を画像情報分割手段により、垂直方向に連続する同一フレーム内の複数の画素からなる複数の領域に分割され、それぞれの領域毎に画像情報のレベル分布のパターンが検出され、この検出されたパターンに基づいて、その領域の画像情報が属するクラスを決定してクラス検出情報を出力する。さらに、異なる種類の画像情報分割手段により、複数のフレーム間データの組合せに分割され、それぞれの領域毎に空間的に同一位置にあるフレーム間差分の絶対値が算出され、予め設定したしきい値により動きの程度を示すクラスが決定され、クラス検出情報が出力される。上述の２つのクラスをクラスコード発生手段により統合し、最終的なクラスとして出力する。係数データ記憶手段には、外部から供給された画像情報を、この画像情報よりも高い解像度の画像情報へ変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データがクラス検出情報に応じて出力される。そして、画像情報変換手段では、係数データ記憶手段から供給された係数データに応じて、外部から供給された画像情報を、外部から供給された画像情報よりも高い解像度の画像情報へ変換される。

従来提案されている方式の時空間構造のクラス分類を行うことによる推定方式は、動きのミスマッチにより推定画像において、破綻が発生することがあった。この手法においては、その問題点を軽減するためには大幅にクラスが増加するという欠点があったが、この発明の手法によれば、クラス数の増加を押さえつつ、その劣化を大幅に低減することが出来る。

以下、この発明に係る画像信号変換装置の一実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわち画像信号変換装置の信号処理の概略的構成を示す。１で示す入力端子は、外部から供給される画像情報として、例えばいわゆるＮＴＳＣ方式の映像信号がディジタル化されたＳＤ画素として供給される。

この実施例における、ＳＤ画素と創造するべきＨＤ画素の位置関係は、図２に示す。すなわち、創造するべきＨＤ画素には、同一フィールド内で見たとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ₁ とＳＤ画素から遠い位置に存在するＨＤ画素ｙ₂ の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素ｙ₁ を推定するモードをモード１と称し、ＳＤ画素から遠い位置に存在するＨＤ画素ｙ₂ を推定するモードをモード２と称する。

領域分割化回路２では、入力端子１より供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、創造するべきＨＤ画素の同一フレーム内の例えば上下各３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割する。

モード１に関しては、図３におけるＨＤ画素ｙ₁ に対する、ＳＤ画素ｘ₁ 、ｘ₂ 、ｘ₃ 、ｘ₄ 、ｘ₅ 、ｘ₆ がその領域にあたる。この領域をブロック１と呼ぶことにする。モード２に関しては、図４におけるＨＤ画素ｙ₂ に対する、ＳＤ画素ｘ₁ 、ｘ₂ 、ｘ₃ 、ｘ₄ 、ｘ₅ 、ｘ₆ がその領域にあたる。この領域をブロック２と呼ぶことにする。

領域分割化回路２によりブロック化されたデータが、ＡＤＲＣ回路３、および遅延回路８へ供給される。遅延回路８は、ＡＤＲＣ回路３、クラスコード発生回路６、ＲＯＭテーブル７の処理に必要な時間だけデータを遅延させて、推定演算回路９に出力する。

ＡＤＲＣ回路３は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出すると共に、上述のように各領域のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータへ圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路６へ供給する。

本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ＶＴＲ（Video Tape Recoder）向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この発明の実施例では、信号パターンのクラス分類のコード発生に使用している。ＡＤＲＣ回路は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱ、として以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。

ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２ⁿ／ＤＲ｝ （１）
ただし、｛ ｝は切り捨て処理を意味する。

この実施例では、領域分割化回路２により分割されたそれぞれ６画素のＳＤデータを各２ビットに圧縮するものとする。圧縮されたＳＤデータをそれぞれｑ₁ 〜ｑ₆ とする。

一方、入力端子１から供給されたＳＤ画像信号は、領域分割化回路４にも供給される。領域分割化回路４においても、供給されたＳＤ画像信号を複数の領域に分割する。この実施例では、供給されたＳＤ画像信号から、創造するべきＨＤ画素の前フレーム内の例えば上下３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割し、創造するべきＨＤ画素と同一フレーム内の例えば上下３画素ずつのＳＤ画素を１画素×６ラインの計６画素からなる領域に分割する。

すなわち、モード１に関しては、図５におけるＨＤ画素ｙ₁ に対する前フレームのＳＤ画素ｍ₁ 〜ｍ₆ 、および同一フレームのＳＤ画素ｎ₁ 〜ｎ₆ がその領域にあたる。モード２に関しては、図６におけるＨＤ画素ｙ₁ に対する前フレームのＳＤ画素ｍ₁ 〜ｍ₆ 、および同一フレームのＳＤ画素ｎ₁ 〜ｎ₆ がその領域にあたる。

領域分割回路４により切り出されたデータが、動きクラス決定回路５へ供給される。動きクラス決定回路５では、領域毎に供給されるＳＤデータの差分が算出され、算出された差分に対して絶対値処理が行われる。絶対値処理が行われたＳＤデータの平均値param を算出し、その平均値param に対してしきい値処理がなされることにより、動きの指標である動きパラメータが算出され、算出された動きパラメータから動きクラスmv-classが決定される。決定された動きクラスmv-classは、クラスコード発生回路６へ供給される。具体的には、動きクラス決定回路５は以下の式（２）により、供給されるＳＤデータの差分の絶対値の平均値param を算出する。

ただし、この実施例では、ｎ＝６である。

上述の手法で算出したＳＤデータの差分の絶対値の平均値param が予め設定されたしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classが決定される。例えば、この実施例では、動きクラスmv-classを４つ設けるとし、平均値param と動きクラスmv-classを図７に示すように設定する。

クラスコード発生回路６では、ＡＤＲＣ回路３から供給されるパラメータ圧縮データ、および動きクラス決定回路５から供給される動きクラスmv-classに基づいて以下の式（３）の演算が行われることにより、そのブロックが属するクラスが検出され、そのクラスを示すクラスコードclass がＲＯＭテーブル７へ供給される。このクラスコードclass は、ＲＯＭテーブル７からの読み出しアドレスを示す。

この実施例では、ｎは６、Ｐは２である。

ＲＯＭテーブル７には、ＳＤデータのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、ＳＤデータに対応するＨＤデータを算出するための係数データが各クラス毎に記憶されている。これは、線形推定式によりＳＤデータをこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョン方式の規格に合致したＨＤデータへ変換するための情報である。この実施例においては、係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル７に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル７からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗ_i （class ）が読み出される。この係数データは、推定演算回路９へ供給される。

推定演算回路９では、遅延回路８を介して、領域分割化回路２から供給されるＳＤデータ、およびＲＯＭテーブル７から供給される係数データであるｗ_i （class ）に基づいて、入力されたＳＤデータに対応するＨＤデータが算出される。

より具体的には、推定演算回路９は、遅延回路８より供給されたＳＤデータとＲＯＭテーブル７から供給された係数データにより、モード１に関してはブロック１用の係数データを用いて、モード２に関してはブロック２の係数データを用いて、係数データであるｗ_i （class ）に基づいて、それぞれ以下の式（４）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータを算出する。作成されたＨＤデータは水平補間フィルタ１０へ供給される。

ｈｄ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋ｗ₃ ｘ₃ ＋ｗ₄ ｘ₄ ＋ｗ₅ ｘ₅ ＋ｗ₆ ｘ₆ （４）

水平補間フィルタ１０は、図９の水平補間フィルタ４２と同一なもので、補間処理により水平方向の画素数を２倍にするのもである。水平補間フィルタ１０の出力は、出力端子１１を介して出力される。この出力端子１１を介して出力されるＨＤデータは、例えばＨＤ用のテレビジョン受像器やＨＤ用のビデオテープレコーダ装置等に供給される。

このように、ＳＤデータに対応するＨＤデータを推定するための係数データが各クラス毎に予め学習により求められた上で、ＲＯＭテーブル７に記憶しておき、入力されるＳＤデータ、およびＲＯＭテーブル７から読み出された係数データに基づいて演算が行われ、入力されたＳＤデータに対応するＨＤデータを形成して出力することにより、入力されるＳＤデータを単に補間処理したのとは異なり、実際のＨＤデータにより近いデータを出力することが出来る。

続いて、ＲＯＭテーブル７に格納される係数データの作成方法（学習）について図８を用いて説明する。係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応した、ＨＤ画像の１／４の画素数のＳＤ画像を形成する。具体的には、図８に示す理想フィルタ回路により、入力端子２１を介して供給されるＨＤデータの垂直方向の画素が垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素が間引き処理されることにより、ＳＤデータを得る。垂直間引きフィルタ２３により得られたＳＤデータは、領域分割化回路２４へ供給される。

領域分割化回路２４では、水平間引きフィルタ２３より供給されたＳＤ画像信号を複数の領域に分割する。具体的には、領域分割化回路２４は、先に説明した領域分割化回路２と同一の働きをするものである。この実施例では、領域分割化回路２と同じく、各６画素からなる領域に分割する。すなわち、モード１に対してはブロック１の領域の領域分割を行い、モード２に関しては、ブロック２の領域分割を行う。この領域毎のＳＤデータがＡＤＲＣ回路２５、および正規方程式加算回路２９へ供給される。

ＡＤＲＣ回路２５では、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンが検出されると共に、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算が行われることによりパターン圧縮データを形成し、このパターン圧縮データがクラスコード発生回路２８へ供給される。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものである。この実施例では、領域分割化回路２４により分割された６画素からなる各領域のＳＤデータ（図３、図４におけるＳＤ画素ｘ₁ 〜ｘ₆ ）をＡＤＲＣを行い各２ビットへ圧縮するものとする。

一方、水平間引きフィルタ２３より供給されたＳＤ画素信号は、領域分割化回路２６にも供給される。具体的には、領域分割化回路２６は、先に説明した領域分割化回路４と同一の働きをするものである。領域分割化回路２６により切り出されたＳＤデータは、動きクラス決定回路２７へ供給される。動きクラス決定回路２７は、具体的には、先に説明した動きクラス決定回路５と同一の動きをするものである。動きクラス決定回路２７で決定された動きクラスmv-classは、クラスコード発生回路２８へ供給される。

クラスコード発生回路２８は、先に説明したクラスコード発生回路６と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データ、および動きクラス決定回路２７から供給された動きクラスmv-classに基づいて、式（２）の演算が行われることにより、そのブロックの属するクラスが検出され、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路２８は、クラスコードを正規方程式加算回路２９へ出力する。

ここで、正規方程式加算回路２９の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれｘ₁ 、‥‥、ｘ_n として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ₁ 、‥‥、ｑ_n とする。

このとき、この領域のクラスコードclass を式（２）で定義する。上述のようにＳＤ画素レベルをそれぞれ、ｘ₁ 、‥‥、ｘ_n とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数データｗ₁ 、‥‥、ｗ_n によるｎタップの線形推定式を設定する。これを式（５）に示す。学習前は、ｗ_i が未定係数である。

ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_n ｘ_n （５）

学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（５）にしたがって、以下に示す式（６）が設定される。

ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋‥‥＋ｗ_n ｘ_kn （６）
（ｋ＝１，２，‥‥ｍ）

ｍ＞ｎの場合、係数データｗ_i 、‥‥ｗ_n は、一意に決まらないので、誤差ベクトルｅの要素を以下の式（７）で定義して、式（８）を最小にする係数データを求める。いわゆる、最小自乗法による解法である。

ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋‥‥＋ｗ_n ｘ_kn｝ （７）
（ｋ＝１，２，‥‥ｍ）

ここで、式（８）のｗ_i による偏微分係数を求める。それは以下の式（９）を `０' にするように、各ｗ_i を求めればよい。

以下、式（１０）、（１１）のようにＸ_ij、Ｙ_i を定義すると、式（９）は、行列を用いて式（１２）へ書き換えられる。

この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路２９は、クラスコード発生回路２８から供給されたクラスコードclass 、領域分割化回路２４より供給されたＳＤ画素ｘ₁ 、‥‥、ｘ_n 、入力端子２１より供給された、ＳＤデータに対応するＨＤ画素ｙを用いて、この正規方程式の加算を行う。

全ての学習用のデータの入力が終了した後、正規方程式加算回路２９は、予測係数決定回路３０に正規方程式データを出力する。予測係数決定回路３０は、正規方程式を掃き出し法等の一般的な行列解法を用いて、ｗ_i について解き、予測係数を算出する。予測係数決定回路３０は、算出された予測係数をメモリ３１に書き込む。

以上のように学習を行った結果、メモリ３１には、量子化データｑ₁ 、‥‥、ｑ₆ で規定されるパターン毎に、注目ＨＤ画素ｙを推定するための、統計的にもっとも真値に近い推定が出来る予測係数が格納される。このメモリ３１に格納されたテーブルが、上述のように、この発明の画像信号変換装置において、使用されるＲＯＭテーブル７である。以上の処理により、線形推定式により、ＳＤデータからＨＤデータを作成するための係数データの学習が終了する。

なお、この実施例の説明では、情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例であり、信号波形のパターンを少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えば、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等の圧縮手段を用いても良い。

さらに、この実施例の説明では、簡単のため、水平方向のアップコンバージョンに水平補間フィルタ１０を用いたが、この代わりに、水平方向アップコンバージョン用のＲＯＭを用意し、水平方向のアップコンバージョンにおいても推定式を用いたこの発明を採ることも勿論可能である。

さらに、この実施例の説明では、領域分割化回路４により、信号波形のパターンを１次元的に分割して表現したが、２次元的な分割にしても良い。

さらに、この実施例の説明では、領域分割化回路５、および動きクラス決定回路６により、１次元的に分割したＳＤ画像データを用いて、動きクラスmv-classの決定を行っていたが、領域分割を２次元的な分割にしても良い。むしろ、２次元的なものにするほうが望ましい。また、今回は簡単のため、領域分割化回路４による領域分割と領域分割化回路５による領域分割は、類似の領域分割を行ったが本来これらは全く別個のものであり、類似の領域分割を行う必要は全くない。

さらに、この実施例の説明では、クラス分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画素を同一のものとしたが、これらは必ずしも同一なものである必要はない。異なる画素を使用する場合、クラス分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素が包含するような形にするのが望ましく、また追加して使用する、線形推定式で用いるＳＤ画素は、推定するＨＤ画素と同一フィールドに属するもののみとすることが望ましい。

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

この発明に係る画像情報変換装置の一実施例のブロック図である。 ＳＤデータとＨＤデータの位置関係を説明するための略線図である。 クラス分割に使用するデータを説明するための略線図である。 クラス分割に使用するデータを説明するための略線図である。 動きクラス決定に使用するデータを説明するための略線図である。 動きクラス決定に使用するデータを説明するための略線図である。 平均値param と動きクラスとの一例の関係を示す略線図である。 補正データテーブルを作成する時の説明のための略線図である。 従来の画像情報変換装置のブロック図である。 従来の画像情報変換装置の要部の回路図である。 従来の時空間クラス分割方式の問題点を説明するための略線図である。 従来の時空間クラス分割方式の問題点を説明するための略線図である。 従来の時空間クラス分割方式の問題点を説明するための略線図である。

符号の説明

２、４ 領域分割化回路
３ ＡＤＲＣ回路
５ 動きクラス決定回路
６ クラスコード発生回路
７ ＲＯＭテーブル
８ 遅延回路
９ 推定演算回路
１０ 水平補間フィルタ

Claims (16)

1. 第１の画質のディジタル画像信号を、より高画質な第２の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成装置において、
   第２の画質の画像情報に含まれる生成対象である注目画素の周辺における第１の画質の画像情報の連続する２フィールド内の画素情報のデータを、ブロックに分割する第１の画像情報分割手段と、
   上記第１の画像情報分割手段により分割されたブロック毎にレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出手段と、
   上記第１の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、上記注目画素の周辺におけるデータをブロックに分割する第２の画像情報分割手段と、
   上記第２の画像情報分割手段により分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出手段と、
   上記クラス検出手段と上記動きクラス検出手段の情報を統合して最終的なクラスを決定するクラスコード発生手段と、
   上記第１の画質の画像情報に含まれる上記注目画素の周辺の参照画素と予測係数との線形結合により形成された上記注目画素の予測値と上記注目画素の真値との誤差を最小とするように、上記最終的なクラス毎に上記係数を最小二乗法により決定する係数演算手段と
   を有することを特徴とする係数生成装置。
2. 上記連続する２フィールド内の画素情報のデータは、同一フレーム内データであることを特徴とする請求項１に記載の係数生成装置。
3. 上記動きクラス検出手段において、上記動きクラス検出情報は、上記フレームの差分データの絶対値の平均値に基づき得られることを特徴とする請求項１に記載の係数生成装置。
4. 上記第１の画像情報分割手段は、上記第１の画質の画像情報を供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第１のモード、および第２のモードのブロックへ分割し、
   上記クラス検出手段は、上記第１の画像情報分割手段からの上記第１および第２のモードの各ブロックのクラス検出情報を出力し、
   上記第２の画像情報分割手段は、上記第１の画質の画像情報を、上記第１のモード分割手段より大きい範囲から、上記供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第１のモード、および第２のモードのブロックへ分割し、
   上記動きクラス検出手段は、上記第２の画像情報分割手段からの上記第１および第２のモードの各ブロックの動きクラス検出情報を出力し、
   上記クラスコード発生手段は、上記各モードにおける上記クラス検出手段と上記動きクラス検出手段の情報を統合して最終的なクラスを決定し、
   上記係数演算手段は、上記各モードの上記最終的なクラス毎に上記係数を決定する
   ことを特徴とする請求項１に記載の係数生成装置。
5. 上記大きい範囲は、供給された上記画像情報の時空間方向に大きい範囲であることを特徴とする請求項４に記載の係数生成装置。
6. 更に係数データ記憶手段を有し、上記生成された係数をモード毎に格納することを特徴とする請求項１に記載の係数生成装置。
7. 上記係数データは、モード毎に生成されることを特徴とする請求項１に記載の係数生成装置。
8. 上記高画質は少なくとも高解像度であることを特徴とする請求項１に記載の係数生成装置。
9. 第１の画質のディジタル画像信号を、より高画質な第２の画質のディジタル画像信号への変換に用いられる係数データを生成する係数生成方法において、
   第２の画質の画像情報に含まれる生成対象である注目画素の周辺における第１の画質の画像情報の連続する２フィールド内の画素情報のデータを、ブロックに分割する第１の画像情報分割ステップと、
   上記第１の画像情報分割ステップにより分割されたブロック毎にレベル分布のパターンが検出され、検出された上記パターンに基づいて、上記ブロック毎に属するクラスを決定することにより、クラス検出情報を出力するクラス検出ステップと、
   上記第１の画質の画像情報の空間的に同位置の複数のフレームのデータのうち、上記注目画素の周辺におけるデータをブロックに分割する第２の画像情報分割ステップと、
   上記第２の画像情報分割ステップにより分割されたブロック毎にフレームの差分データに対して絶対値処理に基づき、動きを表すクラスを決定することにより、動きクラス検出情報を出力する動きクラス検出ステップと、
   上記クラス検出ステップと上記動きクラス検出ステップの情報を統合して最終的なクラスを決定するクラスコード発生ステップと、
   上記第１の画質の画像情報に含まれる上記注目画素の周辺の参照画素と予測係数との線形結合により形成された上記注目画素の予測値と上記注目画素の真値との誤差を最小とするように、上記最終的なクラス毎に上記係数を最小二乗法により決定する係数演算ステップと
   を有することを特徴とする係数生成方法。
10. 上記連続する２フィールド内の画素情報のデータは、同一フレーム内データであることを特徴とする請求項９に記載の係数生成方法。
11. 上記動きクラス検出ステップにおいて、上記動きクラス検出情報は、上記フレームの差分データの絶対値の平均値に基づき得られることを特徴とする請求項９に記載の係数生成方法。
12. 上記第１の画像情報分割ステップは、上記第１の画質の画像情報を供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第１のモード、および第２のモードのブロックへ分割し、
    上記クラス検出ステップは、上記第１の画像情報分割ステップからの上記第１および第２のモードの各ブロックのクラス検出情報を出力し、
    上記第２の画像情報分割ステップは、上記第１の画質の画像情報を、上記第１のモード分割ステップより大きい範囲から、上記供給された画像情報と生成対象の画像情報との位置関係に応じて決定される第１のモード、および第２のモードのブロックへ分割し、
    上記動きクラス検出ステップは、上記第２の画像情報分割ステップからの上記第１および第２のモードの各ブロックの動きクラス検出情報を出力し、
    上記クラスコード発生ステップは、上記各モードにおける上記クラス検出ステップと上記動きクラス検出ステップの情報を統合して最終的なクラスを決定し、
    上記係数演算ステップは、上記各モードの上記最終的なクラス毎に上記係数を決定する
    ことを特徴とする請求項９に記載の係数生成方法。
13. 上記大きい範囲は、供給された上記画像情報の時空間方向に大きい範囲であることを特徴とする請求項１２に記載の係数生成方法。
14. 更に係数データ記憶ステップを有し、上記生成された係数をモード毎に格納することを特徴とする請求項９に記載の係数生成方法。
15. 上記係数データは、モード毎に生成されることを特徴とする請求項９に記載の係数生成方法。
16. 上記高画質は少なくとも高解像度であることを特徴とする請求項９に記載の係数生成方法。

Images