JP2005184855A - 係数生成装置及び係数生成方法 - Google Patents

Abstract

【課題】
本発明は、入力画像信号の多様な信号特性を考慮した適切なクラス分類適応処理を行うことにより、クラス毎の係数を高精度に算出できるようにする。
【解決手段】
第１の学習用画像信号から注目画素周辺の複数の画素を選択した当該複数の画素のパターンに基づいて注目画素のパターンのクラスを決定し、第１の学習用画像信号における注目画素周辺の動きに基づいて適応的に注目画素周辺における予測演算画素を選択し、クラス毎に、予測演算画素と第２の学習用画像信号の対応する画素とを用いて演算を行うことにより当該クラス毎に算出した係数を記憶することができるので、第１の学習用画像信号から予測演算画素についても適応的に選択することができる分だけ、特徴の似通つた画素同士を集めて算出するクラス毎の係数を一段と高精度化することができる
【選択図】 図３２

Description

本発明は、係数生成装置及び係数生成方法に関し、例えばＮＴＳＣ等の標準解像度信号（以下、これをＳＤ（Standard Difinition ）画像信号と呼ぶ）をハイビジヨン等の高解像度信号（以下、これをＨＤ（High Difinition ）画像信号と呼ぶ）に変換する画像信号変換のための係数を生成する場合に適用して好適である。

様々なデイジタル機器が出現する中、信号フオーマツトの異なる機器間の接続においては機器間での信号変換を実現する信号変換装置が必要となる。例えばＳＤ画像データをＨＤモニタで表示する場合には、ＳＤ画像データをＨＤ画像データへフオーマツト変換するアツプコンバータが必要となる。

従来、この種のアツプコンバータにおいては、ＳＤ画像データに対して補間フイルタによる周波数補間処理を施して画素補間を行うことによりＨＤ画像データを形成している。この補間処理を図３８のＳＤ画素とＨＤ画素の空間配置例を参照して説明する。因に、図中実線は第１フイールドを表し、点線は第２フイールドを表わす。図３８では説明の簡素化のため、ＨＤ画素数をＳＤ画素数に対して水平及び垂直方向に各々２倍としている。図中「◎」のＳＤ画素に注目すると、この近傍に４種類のＨＤ画素 mode1、 mode2、 mode3及び mode4が存在する。従つてアツプコンバータはこの４種類ＨＤ画素 mode1、 mode2、 mode3及び mode4を周波数補間処理によつて生成する。

アツプコンバータの簡易な構成例としては、ＳＤ画像データのフイールドデータから上記４種類のＨＤ画素 mode1、 mode2、 mode3及び mode4を生成するものがある。このとき用いる補間フイルタの構成としては、図３９に示す空間内２次元ノンセパラブルフイルタ１や、図４０に示す水平／垂直セパラブルフイルタ５がある。

２次元ノンセパラブルフイルタ１は、４種類のＨＤ画素 mode1、 mode2、 mode3及び mode1を、それぞれ２次元フイルタ２Ａ〜２Ｄによつて独立に補間処理を行うことにより生成する。そして、その補間結果を選択部３において直列化することによりＨＤ画像データを生成する。水平／垂直セパラブル補間フイルタ５は垂直補間フイルタ６ＡによつてＨＤ画素 mode1及び mode3用の処理を行い、垂直補間フイルタ６ＢによつてＨＤ画素 mode2及び mode4用の処理を行うことにより２本の走査線データを形成する。次に各走査線に対して水平補間フイルタ７Ａ及び７Ｂを用いて最終的な４種類のＨＤ画素 mode1、 mode2、 mode3及び mode1を生成し、これを選択部８において直列化することによりＨＤ画像データを生成する。

ところが、上述したような従来のアツプコンバータでは補間フイルタとして理想フイルタを用いたとしても、画素数はＨＤフオーマツトに合うように増えるものの空間解像度は入力ＳＤ画像と変わらない。また実際には理想フイルタを用いることはできないため、ＳＤ画像よりも解像度の低下したＨＤ画像を生成することしかできないという問題があつた。

このような問題を解決する方法として、入力ＳＤ画像データをその信号レベルの分布に応じてクラス分類し、クラス毎に予め学習により獲得された予測係数を用いて予測演算を行うことにより、より真値に近いＨＤ画素を得る、いわゆるクラス分類適応処理を用いた画像信号変換装置及び方法が提案されている。例えば、このような方法は、本出願人による日本出願公開公報、特開平5-328185号（公開日：December 10,1993）の明細書及び図面において提案されている。なお、この日本出願に対応する米国出願は、Serial No. 08/061,730 filed May 17, 1993である。

このクラス分類適応処理を用いたアツプコンバータは、図４１に示すように構成されている。アツプコンバータ１０は、入力ＳＤ画像データＤ１をクラス分類部１１及び予測演算部１２にそれぞれ供給する。クラス分類部１１は、入力ＳＤ画像データＤ１（例えば８ビツトＰＣＭ（Pulse Code Modulation ）データ）に対し、例えば図４２（Ａ）に示すように注目画素を中心とした複数の周辺画素をクラス分類用の画素（以下、これをクラス分類用タツプと呼ぶ）として設定し、その波形特性（レベル分布パターン）に基づいてクラスデータＤ２を生成する。因に、図中実線は第１フイールドを表し、点線は第２フイールドを表わす。

このとき、クラス分類部１１によるクラスデータＤ２の形成法としては、ＰＣＭデータを直接使用する（すなわちＰＣＭデータをそのままクラスデータＤ２とする）方法や、ＡＤＲＣ（Adaptive Dynamic Range Coding ）、ＤＰＣＭ（Differential Pulse Code Modulation）又はＶＱ（Vector Quantization ）等の圧縮手法を用いてクラス数を削減する方法が考えられている。このうち、ＰＣＭデータを直接クラスデータＤ２とする方法は、例えば図４２のように７画素でなるクラス分類用タツプを用いた場合には、８ビツトデータが７画素分存在するため、クラス数が256 という膨大な数字となり実用上問題となる。

そこで、実際にはＡＤＲＣ等の圧縮手法を用いてクラス数を削減する。例えばクラス分類用タツプとして設定された７画素に対して、各画素を１ビツトに圧縮する１ビツトＡＤＲＣを適用した場合を考える。すなわち、１ビツトＡＤＲＣは、７画素のデータから定義されるダイナミツクレンジに基づき、７画素の最小値を除去したうえで、各タツプの画素値を適応的に１ビツト量子化する。したがつて、クラス数を 128クラスに削減することができる。ＡＤＲＣは、画像信号の信号圧縮方式として開発されたものであるが、少ないクラス数で入力信号の波形特性を表現するのに適している。

予測係数ＲＯＭ（Read Only Memory）１３からは、クラスデータＤ２を読出しアドレスとして予め学習により獲得された予測係数データＤ３が出力され、当該予測係数データＤ３が予測演算部１２に供給される。予測演算部１２は、例えば図４２（Ｂ）に示すように、注目画素を中心とした複数の周辺画素を予測演算用の画素（以下、これを予測タツプと呼ぶ）として設定し、当該予測タツプを構成する各画素値と予測係数データＤ３とを用いて、次式（１）

で表わされる積和演算を行い、ＨＤ画像データＤ４を推定する。そして、このＨＤ画像データＤ４が変換部１４に供給され、時系列のＨＤ画像データに変換され、図示しない画面に表示される。但し（１）式では、推定ＨＤ画素値をｙ′、各予測タツプ画素値をｘi 、予測係数ｗi とした。また、ここでは、図４２のように予測タツプを形成する画素数が13個のため（１）式におけるｎは13となる。

ここで、予測係数ＲＯＭ１３に記憶されているクラス毎の予測係数データＤ３は、予めＨＤ画像データを用いた学習により獲得される。この学習手順を、図４３を参照して説明する。ステツプＳＰ１において当該学習処理手順が開始されると、先ずステツプＳＰ２において予測係数を学習するために、既に知られているＨＤ画像を用いて学習データを形成する。

ステツプＳＰ３では、予測係数を得るのに必要上十分な学習データが収集されたか否か判定する。そして、更に学習データが必要であると判断した場合にはステツプＳＰ４に進み、十分な学習データが得られたと判断した場合にはステツプＳＰ６に進む。ステツプＳＰ４では、学習データをクラス分類する。このクラス分類は上述したアツプコンバータ１０のクラス分類部１１（図４１）の処理と同様の処理を実行する。このとき、一般に、データ変化のアクテイビテイの小さいものを学習対象から除外することによりノイズの影響を排除する。

次に、ステツプＳＰ５において、クラス分類された学習データに基づき、クラス毎に正規方程式を形成する。ステツプＳＰ６での処理を具体的に説明する。ここでは一般化するために、１つの補間対象画素（ＨＤ画素）をｎ個のＳＤ画素で表わす場合について述べる。先ずＳＤ画像データの各画素レベルｘ1 、……、ｘn と注目補間画素の画素レベルｙの関係を、クラス毎に予測係数ｗ1 、……、ｗn によるｎタツプの線形一次結合式で表現することにより、次式（２）

を形成する。

この（２）式における予測係数ｗ1 、……、ｗn を求めればよい。この予測係数ｗ1 、……、ｗn を求める方法としては最小二乗法による解法が考えられる。この解法では、先ず、ＸをＳＤ画素データ、Ｗを予測係数、Ｙを注目補間画素データとして、次式（３）

の観測方程式を作るようにデータを収集する。因に（３）式において、ｍは学習データ数を表し、ｎは上述した予測演算部１２（図４１）により設定される予測タツプ数（すなわちｎ＝１３）である。

次に（３）式の観測方程式をもとに、次式（４）

の残差方程式を立てる。（４）式から、各ｗi の最確値は、次式（５）

を最小にする条件が成り立つ場合と考えられる。すなわち次式（６）

の条件を考慮すればよい。（６）式のｉに基づくｎ個の条件を考え、これを満たすｗ1 、……、ｗn を算出すればよい。そこで、残差方程式（４）式から次式（７）

を得、さらに（６）式と（７）式から次式（８）

を得る。そして（４）式及び（８）式から、次式（９）

の正規方程式を得ることができる。（８）式の正規方程式は、未知数の数がｎ個の連立方程式であるから、これにより各ｗi の最確値を求めることができる。実際には、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。

図４３の予測学習処理手順では、クラス毎に未定係数ｗ1 、……、ｗn を求めるために未知数ｎと同じ数の正規方程式が形成されるまでステツプＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ２のループを繰り返す。このようにして必要な数の正規方程式が得られると、ステツプＳＰ３において肯定結果が得られ、処理はステツプＳＰ６の予測係数決定に移る。

ステツプＳＰ６では、（９）式の正規方程式を解いてクラス毎の予測係数ｗ1、……、ｗn を決定する。このようにして得られた予測係数を次のステツプＳＰ７でクラス毎にアドレス分割されたＲＯＭ等の記憶部（すなわち予測係数ＲＯＭ１３（図４１））に登録する。以上の学習によりクラス分類適応処理で使用される予測係数データが生成され、次のステツプＳＰ８で当該予測学習処理手順を終了する。

この予測学習処理を実現するハードウエア構成としては、図４４に示すような学習回路２０が考えられる。学習回路２０は、ＨＤ画像データを垂直間引きフイルタ２１及び水平間引きフイルタ２２を介してＳＤ画像データに変換し、当該ＳＤ画像データをクラス分類部２３に供給する。ここで、クラス分類部２３は、上述したアツプコンバータ１０（図４１）のクラス分類部１１と同様の構成からなり、ＳＤ画像データからクラス分類用タツプを設定し、その波形特性に基づいてクラスデータＤ２′を生成する。このクラス分類部２３は、図４３のクラス決定処理（ステツプＳＰ４）を実行する部分である。クラス分類部２３は生成したクラスデータＤ２′を係数算出部２４に送出する。

係数算出部２４は、正規方程式を形成し、さらに予測係数を決定する部分である。すなわち係数算出部２４は、ＳＤ画像データ及びＨＤ画像データを用いて、クラスデータＤ２′で表わされるクラス毎に（９）式の正規方程式を立て、当該正規方程式からクラス毎の予測係数を求める。そして求めた予測係数を予測係数ＲＯＭ１３の対応するクラスアドレスに記憶させる。

ところが、クラス分類適応処理を用いてＨＤ画像データを生成する場合、学習によつて予測係数を生成するときに入力ＳＤ画像データの特徴に応じて適切なクラス分類処理が行われないと、アツプコンバータによる予測精度が低下する問題があつた。すなわち、より真値に近いＨＤ画像データを予測するためには、特性の似通つたＳＤ画像データのみを集めて各クラスを生成し、それに対応するＨＤ画像データを教師信号として学習することが重要となる。

しかしながら、クラス分類の能力が不十分であると、本来、別のクラスに別れるべきＨＤ画像データが同じクラスに分類される。このため、このような場合、学習により得られる予測係数は、性質の異なるＨＤ画像データの平均値を予測することになる。その結果この予測係数を用いてＨＤ画像信号を予測するアツプコンバータでは、解像度創造能力が低下する問題があつた。

本発明は、以上の点を考慮してなされたもので、入力画像信号の多様な信号特性を考慮した適切なクラス分類適応処理を行うことにより、低解像度の画像信号を一段と高解像度の画像信号に変換するためのクラス毎の係数を高精度に算出し得る係数生成装置及び係数生成方法を提案しようとするものである。

かかる課題を解決するため本発明においては、第１の入力画像信号を当該第１の入力画像信号とは異なる第２の画像信号に変換する画像信号変換のための係数を生成する係数生成装置において、第１の学習用画像信号から注目画素周辺の複数の画素を選択するクラス分類画素選択部と、当該クラス分類画素選択部で選択された複数の画素のパターンに基づいて注目画素のパターンのクラスを決定するクラス決定部と、第１の学習用画像信号における注目画素周辺の動きを検出する動き検出部と、少なくとも動き検出部で検出される動きに基づいて第１の学習用画像信号から適応的に注目画素周辺における複数の画素を予測演算画素として選択する予測演算画素選択部と、クラス毎に、予測演算画素選択部によつて選択された第１の学習用画像信号における予測演算画素と、第１の学習用画像信号に対応し、当該第１の学習用画像信号とは異なる第２の学習用画像信号の対応する画素とを用いて演算を行い、当該クラス毎に係数を算出する係数算出部と、当該係数算出部で算出された係数をクラス毎に記憶させる係数記憶部とを設けるようにする。

これにより、第１の学習用画像信号から注目画素周辺の複数の画素を選択した当該複数の画素のパターンに基づいて注目画素のパターンのクラスを決定し、第１の学習用画像信号における注目画素周辺の動きに基づいて適応的に注目画素周辺における予測演算画素を選択し、クラス毎に、予測演算画素と第２の学習用画像信号の対応する画素とを用いて演算を行うことにより当該クラス毎に算出した係数を記憶することができるので、第１の学習用画像信号から予測演算画素についても適応的に選択することができる分だけ、特徴の似通つた画素同士を集めて算出するクラス毎の係数を一段と高精度化することができる。

本発明によれば、第１の学習用画像信号から注目画素周辺の複数の画素を選択した当該複数の画素のパターンに基づいて注目画素のパターンのクラスを決定し、第１の学習用画像信号における注目画素周辺の動きに基づいて適応的に注目画素周辺における予測演算画素を選択し、クラス毎に、予測演算画素と第２の学習用画像信号の対応する画素とを用いて演算を行うことにより当該クラス毎に算出した係数を記憶することができるので、第１の学習用画像信号から予測演算画素についても適応的に選択することができる分だけ、特徴の似通つた画素同士を集めて算出するクラス毎の係数を一段と高精度化し得る係数生成装置を実現することができる。

以下、図面について、本発明の一実施の形態を詳述する。

（１）第１の実施例
（１−１）全体構成
図１は、本発明を適用した第１の実施例のアツプコンバータ３０を示す。アツプコンバータ３０は、入力ＳＤ画像データＤ１をクラス分類部３１及び予測演算部１２にそれぞれ供給する。クラス分類部３１は、入力ＳＤ画像データＤ１に基づき入力画像の動き量を検出し、当該動き量を考慮してクラス分類処理を行い、そのクラス分類処理に対応するクラスデータを生成する。つまり、クラス分類部３１は、入力ＳＤ画像信号をその特徴に応じてより的確にクラス分類し得るようになされている。クラス分類部３１は、これにより得たクラスデータＤ３２を予測係数ＲＯＭ３２に送出する。

予測係数ＲＯＭ３２には、クラス分類部３１でのクラス分類処理と同様に画像の動き量を考慮して分類されたクラス毎に、学習により獲得した予測係数が記憶されている。このクラス毎の予測係数は、図３８に示される４種類の生成されるＨＤ画素 mode1、 mode2、 mode3及び mode4のそれぞれに対応して記憶されている。予測係数ＲＯＭ３２は図２に示すような学習回路４０によつて作成される。すなわち、図４４との対応部分に同一符号を付して示す図２において、学習回路４０は、アツプコンバータ３０（図１）のクラス分類部３１と同様の構成でなるクラス分類部４１を有し、当該クラス分類部４１によつてＳＤ画像データを動き量を考慮しながらクラス分類する。係数算出部２４は、クラス分類部４１により分類されたクラス毎に、上述した正規方程式を用いて予測係数を算出する。この際、クラス毎の予測係数は、４種類のＨＤ画素 mode1、 mode2、 mode3及び mode4のそれぞれに対応してそれぞれ算出される。そして、この予測係数が予測係数ＲＯＭ３２に記憶される。

かくして、学習回路４０においては、画像の動きを考慮してＳＤ画像をクラス分類し、このクラス毎に予測係数を求めるようにしたことにより、単にＳＤ画像のレベル分布パターン形状に基づいてＳＤ画像をクラス分類した場合と比較して、画像の特徴をより反映したクラス分類処理を行うことができる。この結果、特徴の似通つたもの同志を集めてクラス毎の予測係数を求めることができるため、予測係数の精度を向上し得る。
また、アツプコンバータ３０は、このようにして求めた精度の良い予測係数が、クラス分類部３１からのクラスデータＤ３２に対応して読み出される。そして、この読み出された４種類のＨＤ画素 mode1、 mode2、 mode3及び mode4を生成するための予測係数が、予測演算部１２に供給される。また、図示しない遅延部を介して供給された入力ＳＤ画像データもまた、予測演算部１２に供給される。そして、予測演算部１２において、そのそれぞれの予測係数と入力ＳＤ画像データとを用いて予測演算処理を行い、一段と真値に近い４種類のＨＤ画素 mode1、 mode2、 mode3及び mode4であるＨＤ補間画素データＤ３３をそれぞれ生成する。そして、このＨＤ補間画素データＤ３３が変換部１４に供給され、変換部１４において、時系列のＨＤ画像データに変換されて画面上で表示される。したがつて、従来の方法と比べて、一段と高解像度のＨＤ画像データＤ３４を得ることができる。なお、予測係数を生成する方法として、学習回路４０を用いる方法を説明したが、本発明はこれに限らず、図４３のようなフローチャートを用いて、コンピュータ等により予測係数を生成するようにしてもよい。後述する実施例においても、同様に行うことが可能である。

（１−２）クラス分類部の構成
クラス分類部３１及び４１は、図３に示すように構成されている。以下、クラス分類部４１は、クラス分類部３１と同様の構成なのでクラス分類部３１について説明する。クラス分類部３１は、入力端子INを介して入力されたＳＤ画像データＤ１を第１のクラス分類部５０を構成するフレームメモリ５１及び動きベクトル検出クラス分類部５２にそれぞれ供給すると共に、クラス分類画素選択部５３の複数のパターン設定部５４Ａ〜５４Ｈに供給する。

動きベクトル検出クラス分類部５２は、フレームメモリ５１から与えられる前フレームのＳＤ画像データと現フレームのＳＤ画像データを用いて、ＳＤ画像データＤ１における注目画素周辺の動きベクトルを検出し、当該検出結果に基づく動きクラスコードCLASS0を出力する。動きベクトル検出クラス分類部５２は、動きベクトルが、図４に示された領域ＡＲ０〜ＡＲ６又はＡＲ７のうちどの領域にあつたかに応じて、その動きを８種類に分類することにより、動きベクトルを検出する。そして、その検出した動きベクトルがどの種類に属するかを表わす動きクラスコードCLASS0を形成する。従つて、動きクラスコードCLASS0は、３ビツトのデータで表現される。また、この動きベクトル検出クラス分類部５２の実施例は、動きベクトルの検出方法としてブロツクマツチング法を用いる。

動きクラスコードCLASS0は、そのまま後段の予測係数ＲＯＭ３２に送出されると共に、クラスタツプ選択部５５に送出される。クラスタツプ選択部５５は、複数のパターン設定部５４Ａ〜５４Ｈから複数種類のクラス分類用タツプを入力し、これら複数種類のクラス分類用タツプのうちから動きクラスコードCLASS0に対応するクラス分類用タツプを選択して、第２のクラス分類部であるＡＤＲＣクラス分類部５６に対して出力する。

例えば、動き量がほとんど零に近い入力ＳＤ画像に関しては、第２のクラス分類部であるＡＤＲＣクラス分類部５６において、できるかぎり注目画素の時空間近傍の信号変化によりクラス分類を行えるようなクラス分類用タツプを選択する。一方、動き量が大きい入力ＳＤ画像に関しては、広い領域での大きな信号変化によりクラス分類を行えるようなクラス分類用タツプを選択する。また、中間的な動き量のＳＤ画像に関しては、動き方向にクラス分類感度を上げたクラス分類が行えるようなクラス分類用タツプを選択する。

クラスタツプ選択部５５から出力されたクラス分類用タツプデータは、注目画素をその周辺画素のレベル分布パターンに応じてクラス分類するためのＡＤＲＣクラス分類部５６に与えらる。ＡＤＲＣクラス分類部５６は、クラス分類用タツプデータをそのダイナミツクレンジに応じて適応的に再量子化することにより、クラス数の削減されたＡＤＲＣクラスコードCLASS1を形成する。また、ＡＤＲＣクラス分類部５４は、再量子化の際、動きクラスコードCLASS0に応じて、ダイナミツクレンジ（ＤＲ）を定義する際に用いる画素数を切り換えることにより、ＳＤ画像の波形変化を一段とＡＤＲＣクラスコードCLASS1に反映し得るようになされている。

なお、この第１の実施例のＡＤＲＣクラス分類部５６は、クラスタツプ選択部５５から与えられる８画素のクラス分類用タツプデータ（１画素当り８ビツト）に対して１ビツトＡＤＲＣ処理を施すことにより、各画素値を適応的に１ビツトに再量子化する。そして、ＡＤＲＣクラス分類部５６は、２５６クラス（８ビツト）のＡＤＲＣクラスコードCLASS1を形成するようになされている。

このように、クラス分類部３１は、クラス分類すべき注目画素の周辺の複数画素を用いて動きベクトルを検出し、この動きベクトルに基づいて注目画素をクラス分類して、動きクラスコードCLASS0を得る。そして、この動きクラスコードCLASS0と注目画素周辺のレベル分布パターンに基づくクラス分類結果であるＡＤＲＣクラスコードCLASS1とを合わせたものを、最終的なクラスコードＤ３２として出力する。この第１の実施例の場合には、動きクラスコードCLASS0が３ビツト、ＡＤＲＣクラスコードCLASS1が８ビツトなので、最終的なクラスコードＤ３２は11ビツト（2048クラス）で表現されることになり、これが予測係数ＲＯＭ３２（図１）のアドレス番号となる。

次に、クラス分類画素選択部５３のパターン設定部５４Ａ〜５４Ｈについて説明する。各パターン設定部５４Ａ〜５４Ｈは、それぞれ動きベクトルの種類に対応した画素パターンを設定する。この第１の実施例の場合には、８種類の動きに応じた８種類の画素パターンを設定するため、８個のパターン設定部５４Ａ〜５４Ｈを設ける。すなわち、各パターン設定部５４Ａ〜５４Ｈは、それぞれ、図４に示す８個の領域ＡＲ０〜ＡＲ７への各動きベクトルに応じた画素パターンを設定する。

パターン設定部５４Ａは、図４の中心の点線内の領域ＡＲ０内、すなわち動きベクトルが完全に零である場合に対応した画素パターンを設定する。このとき、入力信号は、完全静止状態であるため、レベル分布パターンに基づくクラス分類の際に、注目画素近傍の時空間クラス分類用タツプパターンを用いれば、入力信号の特徴を反映したクラス分類が可能となる。このため、パターン設定部５４Ａは、図５に示すようなクラス分類用クラスタツプパターンを設定する。なお、図５〜図１２において小さな丸で示すＨＤ画素は、補間しようとしている注目ＨＤ画素を表わす。

パターン設定部５４Ｂは、いわゆる準静止である場合に対応した画素パターンを設定する。すなわち、図４の中心の点線と中心から２番目の点線で挟まれた領域ＡＲ１内に動きベクトルが存在した場合に対応する画素パターンを設定する。この場合は、画像に僅かな動きが存在する場合であり、静止部と動画部の中間的な画素パターンを設定すれば、入力信号の特徴を反映したクラス分類が可能となる。このため、パターン設定部５４Ｂは、図６に示すようなクラス分類用タツプパターンを設定する。図５の完全静止の場合と比較して、同一フイールド内の画素数を増やすことにより、時空間画素よりも空間内画素を重視している。

パターン設定部５４Ｃは、中間の動き量に対応した画素パターンを設定する。すなわち、図４の一番外側の点線内のうち、領域ＡＲ０及びＡＲ１並びに特徴的な動きの方向である領域ＡＲ４〜ＡＲ７を除いた領域ＡＲ２内に動きベクトルが存在した場合に対応する画素パターンを設定する。実際上、パターン設定部５４Ｃは、図７に示すように同一フイールド内において、やや広い領域の画素を設定することにより、ある程度広い領域の波形変化をクラスに反映させる。

パターン設定部５４Ｄは、大きな動き量に対応した画素パターンを設定する。すなわち、図４の一番外側の点線の外の領域ＡＲ３に動きベクトルが存在した場合に対応する画素パターンを設定する。このため、パターン設定部５４Ｄは、図８に示すように図７の場合よりも同一フイールド内において、さらに広い領域の画素を設定することにより、パターン設定部５４Ｃよりも広い領域の波形変化をクラスに反映させる。

パターン設定部５４Ｅは、図４の上方向の点線内の領域ＡＲ４に動きベクトルが存在した場合、すなわち、上チルトの動きに対応した画素パターンを設定する。このため、パターン設定部５４Ｅは、図９に示すように上方向（すなわち動きの方向）に延びる画素パターンを設定することにより、ＡＤＲＣクラス分類部５６において上側への動きに対応したクラス分類ができるようにする。パターン設定部５４Ｆは、図４の下方向の点線内の領域ＡＲ５の方向に動きがあつた場合、すなわち、下チルトの動きに対応した画素パターンを設定する。このため、パターン設定部５４Ｆは、図１０のように下方向に延びる画素パターンを設定することにより、ＡＤＲＣクラス分類部５６において下側への動きに対応したクラス分類ができるようにする。

パターン設定部５４Ｇは、図４の右方向の点線内の領域ＡＲ６に動きベクトルが存在した場合、すなわち、右パンニングの動きに対応した画素パターンを設定する。このため、パターン設定部５４Ｇは、図１１に示すように右方向に延びる画素パターンを設定することにより、右側に移動していく画像の特性をクラス分類に反映できるようにする。ここでは、垂直方向の動きは少ないと考えられるので、垂直方向の画素数を少なく設定する。パターン設定部５４Ｈは、図４の左方向の点線内の領域ＡＲ７の方向に動きがあつた場合、すなわち、左パンニングの動きに対応した画素パターンを設定する。このため、パターン設定部５４Ｈは、図１２のように左方向に延びる画素パターンを設定することにより、左側に移動していく画像の特性をクラス分類に反映できるようにする。

さらに、各パターン設定部５４Ａ〜５４Ｈにおいては、図５〜図１２に示すように、後段のＡＤＲＣクラス分類部５６によるクラス分類を考慮して、局所的なダイナミツクレンジ（ＤＲ）を検出するための画素領域を、設定した画素パターンよりも広く取るようになされている。したがつて、クラスタツプ選択部５５から供給されるタツプデータは、クラス分類用タツプデータとダイナミツクレンジＤＲを求めるためのタツプデータとなる。この結果、ＡＤＲＣクラス分類部５６によるクラス分類処理において注目画素周辺の波形変化を一段とクラスに反映させることができる。

なお、ＡＤＲＣクラス分類部５６は、動きクラスコードCLASS0に応じて、量子化ビツト数を切り換えるようにしてもよい。

（１−３）第１の実施例の動作
以上の構成において、クラス分類部３１及び４１は、注目画素をクラス分類するに当たつて、先ず、第１のクラス分類部５０において、入力ＳＤ画像データＤ１の動きベクトルを検出し、当該検出結果に基づいて動きクラスコードCLASS0を形成する。また、クラス分類部３１及び４１は、クラス分類画素選択部５３において、入力ＳＤ画像データＤ１から予め動きクラスのそれぞれに対応したクラス分類用タツプパターンを設定しておく。

そして、クラス分類部３１及び４１は、検出した動きクラスに応じたクラス分類用タツプパターンを選択し、選択したタツプパターンを、少ない情報量でレベル分布パターンを表現するための第２のクラス分類部であるＡＤＲＣクラス分類部５６に送出する。かくして、ＡＤＲＣクラス分類部５６では、ＳＤ画像データＤ１の動きに応じたクラス分類用タツプパターンを用いてＳＤ画像データＤ１のレベル分布パターンに基づくＡＤＲＣクラスコードCLASS1が形成されるため、当該ＡＤＲＣクラスコードCLASS1を画像の特徴を十分に反映したものとすることができる。

クラス分類部３１及び４１は、このようにして形成した動きクラスコードCLASS0及びＡＤＲＣクラスコードCLASS1をクラスコードＤ３２として、後段の予測係数ＲＯＭ３２（図１）又は係数算出部２４（図２）に送出する。これにより、係数算出部２４においては、特徴の似通つたもの同志を集めてクラス毎の予測係数を求めることができるため、予測係数の精度を向上し得る。また、アツプコンバータ３０においては、このようにして求めた精度の良い予測係数を用いて予測演算処理を行うことができるため、一段と真値に近いＨＤ補間画素を得ることができる。

（１−４）第１実施例の効果
以上の構成によれば、注目画素の周辺画素のレベル分布パターンに基づくクラスに加えて、注目画素の周辺画素における動きに基づく動きクラスを形成し、これらのクラスの組み合わせを最終的なクラス分類結果としたことにより、入力ＳＤ画像をより的確にクラス分類し得る。また、動きクラスに応じて、レベル分布パターンに基づくクラス分類を行う際に用いるクラス分類用タツプパターンを適応的に選択するようにしたことにより、レベル分布パターンに基づくクラス分類結果を入力画像の特徴を良く反映したものとすることができる。

この結果、このクラスに応じて予測係数を算出すれば、クラス毎により正確な予測係数を求めることができる。さらに、この予測係数を用いて予測演算を行つて補間画素値を求めるようにすれば、ＨＤ補間画素データＤ３３の予測性能を向上し得ることにより、ＳＤ画像データＤ１を一段と高解像度のＨＤ画像データＤ３４に変換し得るアツプコンバータ３０を実現し得る。

（２）第２の実施例
上述した第１の実施例では、入力画像信号から８種類の動きを検出して、動きクラスコードCLASS0を形成すると共に、これら８種類の動きに対応させて予め設定した８種類のクラス分類用タツプパターンから動きクラスコードCLASS0に応じたクラス分類用タツプパターンを選択したが、この第２の実施例では動きの有無のみを検出して、動きクラスコードを形成すると共に、動きの有無に応じてクラス分類用タツプパターンを選択する。実際には、注目画素近傍が動画部であつた場合には、クラス分類用タツプパターンとしてフイールド内画素を選択し、静止部であつた場合にはフレーム内画素を選択する。

つまり、分類対象の画像に動きがある場合には、フイールド内画素を選択し、純粋に時間特性を排除した空間内の信号変化に応じたクラス分類を行う。一方、分類対象の画像信号に動きが無い場合には、時間方向に広がりをもつた画素を選択し、可能な限り時空間構造において注目画素近傍の信号変化をクラス分類に反映させるようにする。このため、例えば、フレーム内画素、さらには、数フイールドに亘る画素を選択するようにする。

実際上、この第２の実施例のクラス分類部は、図１３のように構成されている。すなわち、クラス分類部６０は、入力端子INを介して供給されたＳＤ画像データＤ１を第１のクラス分類部６１を構成するフレームメモリ６２及び動き検出部６３にそれぞれ供給すると共に、クラス分類画素選択部６４のフイールド内タツプ選択部６５及びフレーム内タツプ選択部６６に供給する。

動き検出部６３は、直接、供給された現フレームのＳＤ画像データＤ１とフレームメモリ６２を介して供給された過去フレームのＳＤ画像データＤ１とに基づいて、動き量の有無を検出する。このとき、動き量検出部６３は、注目画素を中心とした各ブロツク毎に現フレームの画像データと過去フレームの画像データとのフレーム間の差分値の絶対値和を算出する。そして、当該差分値の絶対値和が所定の閾値未満の場合には、そのブロツクは動画部であると判定し、所定の閾値以上の場合には、そのブロツクは静止部であると判定する。動き検出部６３は、その判定結果を１ビツトの動きクラスコードCLASS2として出力する。

フイールド内タツプ選択部６５は、図１４（Ａ）に示すように、注目画素（図の「◎」）を中心としたフイールド内タツプを設定し、当該フイールド内タツプデータを選択部６７に送出する。フレーム内タツプ選択部６６は、図１４（Ｂ）に示すように、注目画素を中心としたフレーム内タツプを設定し、当該フレーム内タツプデータを選択部６７に送出する。選択部６７は、動きクラスコードCLASS2に応じて、入力されたフイールド内タツプデータ又はフレーム内タツプデータを択一的に選択して出力する。すなわち、動きクラスコードCLASS2が、動画部を表わすものであつた場合には、フイールド内タツプデータを出力し、静止部を表わすものであつた場合には、フレーム内タツプデータを出力する。

選択部６７から出力されたクラス分類用タツプデータは、ＡＤＲＣクラス分類部６８に与えられる。ＡＤＲＣクラス分類部６８は、クラス分類用タツプデータをそのダイナミツクレンジに応じて適応的に再量子化し、クラス数の削減されたＡＤＲＣクラスコードCLASS3を形成する。なお、この第２の実施例では、クラス分類用タツプデータとして７画素分のデータがＡＤＲＣクラス分類部６８に送出されるため、例えば、クラス分類用タツプデータに対して１ビツトＡＤＲＣ処理を施した場合には、クラス分類用タツプデータは、１２８種類のクラスに分類される。そして、最終的に、クラス分類部６０からは、動きクラスコードCLASS2として１ビツト、ＡＤＲＣクラスコードCLASS3として７ビツトの合計８ビツト（２５６種類）のクラス分類結果が出力される。

実際上、クラス分類部６０は、第１の実施例において上述したアツプコンバータ３０（図１）のクラス分類部３１及び学習回路４０（図２）のクラス分類部４１として用いられ、形成された動きクラスコードCLASS2及びＡＤＲＣクラスコードCLASS3は、予測係数ＲＯＭ３２や係数算出部２４に送出される。

以上の構成によれば、注目画素の周辺画素のレベル分布パターンに基づくクラスに加えて、注目画素の周辺画素における動きの有無に応じた動きクラスを形成し、これらのクラスの組み合わせを最終的なクラス分類結果としたことにより、入力ＳＤ画像をより的確にクラス分類を行うことができる。さらに、動きの有無に応じて、レベル分布パターンに基づくクラス分類を行う際に用いるクラスタツプパターンを適応的に選択するようにしたことにより、レベル分布パターンに基づくクラス分類結果を入力ＳＤ画像の特徴を良く反映したものとすることができる。

この結果、このクラスに応じて予測係数を算出すれば、クラス毎により正確な予測係数を求めることができる。さらに、この予測係数を用いて予測演算を行つて補間画素値を求めるようにすれば、ＨＤ補間画素データの予測性能を向上し得ることにより、ＳＤ画像データＤ１を一段と高解像度のＨＤ画像データに変換し得るアツプコンバータを実現できる。

また、動きの有無のみに基づいて動きクラスを形成するようにしたことにより、第１の実施例と比較して、第１のクラス分類部６１及びクラス分類画素選択部６４の構成を簡易化できる。

なお、第２のクラス分類部であるＡＤＲＣクラス分類部６８において、第１の実施例と同様に、ダイナミツクレンジを検出する画素領域を設定した画素パターンよりも広く取るようにしてもよいし、また、動きクラスコードCLASS2により、ダイナミツクレンジを検出する画素領域を決定してもよい。

さらに、ＡＤＲＣクラス分類部６８は、動きクラスコードCLASS2に応じて、量子化ビツト数を切り換えるようにしてもよい。

（３）第３の実施例
この第３の実施例では画像の動きを考慮した、多段のクラス分類処理を行うことにより、クラス分類性能を向上させる。すなわち、入力画像に対して、初段で粗いクラス分類を行つた後、次段では初段の結果に応じたクラス分類用タツプを適応的に選択し、初段とは別の細かいクラス分類を行う。その結果、入力画像の特徴をより的確に表現したクラス分類結果を得ることができる。

なお、上述した第１及び第２の実施例についても、第１のクラス分類部５０及び６１を初段のクラス分類処理と考え、そのクラス分類結果に応じて適応的に選択されたクラス分類用タツプをＡＤＲＣ処理することを次段のクラス分類処理と考えれば、同様に多段のクラス分類処理をしていると言うことができる。但し、第３の実施例では、動きクラスの形成の方法及びクラス分類用タツプの設定の方法が第１及び第２の実施例とは異なる。

すなわち、この第３の実施例では、第１のクラス分類部が、複数種類の画像の動きを考慮して予め選定された複数の係数を有し、この予測係数と注目画素周辺の画素データとを用いて、注目画素に対する複数の予測値を算出する予測値算出部と、予測値算出部により算出された複数の予測値と注目画素の画素値との差分値を算出する差分値算出部と、差分値の最小値を検出することにより、注目画素周辺の動きを判定して、動きを表わす第１のクラスコードを出力する第１のクラスコード発生部とからなる。

図１５に、第３の実施例のクラス分類部の具体的構成を示す。図１５は、クラス分類を２段で行うようにした例である。クラス分類部７０は、図１のクラス分類部３１に対応し、第１のクラス分類部としての初段クラス分類部７１において画像の動きに基づく粗いクラス分類を行い、次段クラス分類部７２において、その初段クラス分類部の分類結果に応じたクラス分類用タツプを選択して、細かいクラス分類処理を行うようになされている。ここで、次段クラス分類部７２は、第１の実施例のクラス分類画素選択部５３の機能と第２のクラス分類部（すなわちＡＤＲＣクラス分類部）５６の機能とを兼ねたものである。

初段クラス分類部７１は、例えば、入力画像に動きがあつた場合、注目画素がどの方向から動いてきたものかを判断し、その判断結果に応じて入力画像を大きく分類する。そのため、初段クラス分類部７１は、注目画素の画素値と当該注目画素周辺の複数画素を用いて、注目画素に対する線形予測値との差分を算出（実施例の場合、９個の差分値を算出）する。そして、その差分結果を総合的に比較判断することにより、まず複数個の粗いクラス分類を行う。

ここで、線形予測の際に用いる係数は、入力画像をある方向に任意の大きさで人為的に動かした画像を用いて学習することで作成される。その係数の学習方法は、予測係数ＲＯＭの予測係数の学習の方法と同様であるので、ここでは、説明を省略する。例えば、図１７に示すような、９種類の方向を粗分類の指標として学習し、９種類の係数組を求めておく。この係数組が、９種類の線形予測の係数として使用される。因に、図１７において、例えば、中央の領域「０」は動きがほとんどない静止または準静止領域を示し、例えば、上側の領域「１」は上方向に動きがある場合を示す。

実際上、初段クラス分類部７１は、入力端子INを介して供給された入力ＳＤ画像データＤ１を、初段での粗いクラス分類のためのクラス分類用タツプを設定するクラスタツプ設定部７３に供給する。クラスタツプ設定部７３は、図１６に示すように、注目画素が存在するフレーム内、その１フレーム分過去のフレーム内及びその２フレーム分過去のフレーム内から注目画素の時空間における近傍画素をクラス分類用タツプとして設定（この実施例の場合、注目画素を含む１６画素を設定）し、このうち、注目画素を除く時空間近傍画素データを各予測部７５Ａ〜７５Ｉに送出する。

予測部７５Ａ〜７５Ｉは、それぞれ上述したように各々の動きの方向に適した予測係数組を有し、当該予測係数組とクラスタツプとの線形予測により注目画素値を予測する。差分部７６Ａ〜７６Ｉは、遅延部７４を介して入力された注目画素の画素値と各予測部７５Ａ〜７５Ｉで得られた予測値との差分を演算し、各差分値が最小値判定部７７に供給される。

ここで、例えば、入力画像が右から左に動いているような場合は、そのような動きを想定した学習により得られた予測係数を用いて算出された予測結果が他の場合に比べて最も注目画素と近い値をとるはずである。このため、最小値判定部７７は、９種類の差分結果のうちその絶対値が最小となるものを検出して、動きの方向を分類する。このようにして、初段の粗いクラス分類を実行することができる。かくして、初段クラス分類部７１は、９種類（４ビツト）の動きクラスコードCLASS4を出力する。

さて、初段クラス分類部７１によつて動きの方向を検出すると、次に、次段クラス分類部７２によつて、さらにそのような画像の中で特徴を抽出し、細かいクラス分類を行う。ここで、次段クラス分類部７２は、画一的なクラスタツプ構造を用いてクラス分類を行うのではなく、初段クラス分類部７１によつて分類した動きクラスに基づき、動きの方向に特化したクラス分類用タツプパターンを選択して、クラス分類を行う。これにより、次段クラス分類部７２は、より入力画像の特徴に適合したクラス分類を行うことができる。

このため、次段クラス分類部７２は、初段のクラス分類結果に応じてクラス分類用タツプパターンを可変にできるような回路構成である。次段クラス分類部７２は、クラスタツプ設定部７３の出力をレジスタアレイ７８を介して複数のセレクタ７９Ａ〜７９Ｉに供給する。各セレクタ７９Ａ〜７９Ｉは、図１８〜図２０に示すように、動きクラスコードCLASS4に応じた９種類のクラス分類用タツプを設定する。そして、初段クラス分類部７１の最小値判定部７７から出力される動きクラスコードCLASS4に応じて何れか一つのセレクタ７９Ａ〜７９Ｈ又は７９Ｉが択一的に選択され、選択されたセレクタ７９Ａ〜７９Ｈ又は７９Ｉのクラスタツプが第２のクラス分類部であるＡＤＲＣクラス分類部８０に送出される。この結果、ＡＤＲＣクラス分類部８０には、初段のクラス分類結果に応じた最適なクラス分類用タツプが供給される。

例えば、初段クラス分類部７１によつて注目画素近傍が左から右に動いたと判断された場合（すなわち図１７における領域「４」の方向に動きがあつた場合）、クラス分類用タツプは、時空間でみて時間水平方向に延びている方が有利であり、そのような12画素が選択されるように、セレクタ７９Ａ〜７９Ｉが制御される（図１９のクラス４）。その他の方向においても同様にして、動きクラスコードCLASS4に応じたクラス分類用タツプが選択される。

ＡＤＲＣクラス分類部８０は、上述した第１及び第２実施例と同様に選択されたクラス分類用タツプのレベル方向のビツト数を適応的なダイナミツクレンジを用いて圧縮することにより、ＡＤＲＣクラスコードCLASS5を形成する。この実施例の場合、図１８〜図２０に示すように、12画素のクラス分類用タツプを用いているため、各画素をＡＤＲＣクラス分類部８０によつて適応的に１ビツトに再量子化すると、分類後のＡＤＲＣクラスは、4096通りとなる。

このようにして、初段クラス分類部７１のクラス分類結果に応じて、次段クラス分類部７２のクラス分類用タツプが選択され、選択されたクラス分類用タツプを用いて１ビツトＡＤＲＣによる4096クラスのパターン分類が実現される。その結果として、初段からのクラスコードCLASS4と合わせて、注目画素に対して 36864クラスの分類を行うことができる。

このようにして得られた動きクラスコードCLASS4及びＡＤＲＣクラスコードCLASS5は、予測係数ＲＯＭ８２の読出しアドレスとして出力される。因に、遅延部８１は、動きクラスコードCLASS4を次段クラス分類部７２の処理時間分だけ遅延させるものである。ここで予測係数ＲＯＭ８２の中の予測係数は、図２の学習回路のクラス分類部４１に代えて、この第３の実施例のクラス分類部７０を用いることにより作成でき、また、図４３のフローチャートに第３の実施例のクラス分類部７０のアルゴリズムを適用することにより、作成できる。すなわち、動きクラスコードCLASS4及びＡＤＲＣクラスコードCLASS5を組み合わせてなる各クラス毎に、mode1 、mode2 、mode3 及びmode4 に対応する正規方程式を用いて、学習により、mode1 、mode2 、mode3 及びmode4 に対応する予測係数を求め、当該予測係数をそのクラスのアドレスに記憶させるようにすれば良い。

動きクラスコードCLASS4及びＡＤＲＣクラスコードCLASS5に応じて、予測係数ＲＯＭ８２から読み出されたmode1 、mode2 、mode3 及びmode4 のための予測係数は、予測タツプ設定部８３によつて設定された予測タツプと共に予測演算部８４に与えられる。予測演算部８４は、上述した予測演算部１２（図１）と同様に、予測タツプとそれぞれの予測係数とを線形一次結合することにより、mode1 、mode2 、mode3 及びmode4 に対応するＨＤ補間画素データを求める。そして、そのＨＤ補間画素データを時系列のデータに変換して出力する。なお、図２１は、予測タツプ設定部８３によつて設定される予測タツプの例を示している。

以上の構成によれば、初段クラス分類部７１によつて画像の動きに基づく粗いクラス分類を行つた後、次段クラス分類部７２によつて細かいクラス分類を行うようにしたことにより、有効にクラス分類精度を向上させることができる。

また、初段において入力画像の動きによるクラス分類をする際に、各動きの方向ごとに予め学習により求められた複数の予測係数を用いて注目画素に対する複数の線形予測を行い、このうち最も真値に近い予測値が得られた方向を動き方向として動きクラスコードCLASS4を求めたことにより、容易に動きコードCLASS4を形成することができる。

なお、次段クラス分類部であるＡＤＲＣクラス分類部８０において、上述した実施例と同様に、ダイナミツクレンジを検出する画素領域を設定した画素パターンよりも広く取るようにしてもよいし、また、動きクラスコードCLASS4により、ダイナミツクレンジを検出する画素領域を決定してもよい。
さらに、ＡＤＲＣクラス分類部８０は、動きクラスコードCLASS2に応じて、量子化ビツト数を切り換えるようにしてもよい。

（４）第４の実施例
この第４の実施例では、第１のクラス分類部は、入力画像データの現フレーム又はフイールドにおいて注目画素を中心とした所定の大きさのブロツクを形成する第１のブロツク化部と、入力画像データの過去フレーム又はフイールドにおいて、現フレーム又はフイールドで形成されたブロツクの位置を中心として複数の方向に配置された複数のブロツクを形成する第２のブロツク化部と、第１のブロツク化部により形成されたブロツクと第２のブロツク化手段により形成された複数のブロツクとの間でそれぞれブロツク内画素同志の差分値を算出する差分値算出部と、複数のブロツクそれぞれについて、差分値の絶対値の和を算出する絶対値和算出部と、絶対値和の最小値を検出することにより、注目画素周辺の動きを判定して動きを表わす第１のクラスコードを出力する第１のクラスコード生成部とからなる。

図２２に、この第４の実施例のクラス分類部の具体的構成を示す。図１５との対応部分に同一符号を付して示す図２２において、この第４の実施例のクラス分類部９０は、初段クラス分類部９１において、現フレーム又はフイールドにおける注目画素データを中心とするブロツクと、過去のフレーム又はフイールドにおいて複数の異なる位置で切り出された複数のブロツクとの差分を計算し、その差分の絶対値の和を比較することにより、粗いクラス分類を行うようになされている。

初段クラス分類部９１は、第３の実施例の初段クラス分類部７１と同様に、例えば、入力画像に動きがあつた場合、注目画素がどの方向から動いてきたものかを判断し、その判断結果に応じて注目画素を大きく分類するためのものである。これを精度良く行うためには、動き検出を行う必要がある。ところが、この動き検出を、例えばブロツクマツチング法により行うと演算量が多くなるために、初段での粗いクラス分類を行うには余りにもハードウエア量が重くなつてしまう。

そこで、この第４の実施例においては、過去の参照するブロツクを、例えば、図２３に示すように大きく９種類の領域に分割する。そして、それぞれの領域と現フレーム又はフイールドのブロツクとの画素単位の差分の絶対値和を計算し、その最小値を検出するという、簡易的なブロツクマツチングを行うことでハードウエアの削減を図る。例えば、画像が右から左に動いているような場合は、過去の領域「３」との差分の絶対値和が最も小さくなる傾向にある。かくして、初段の粗いクラス分類を少ない演算量で行うことができるようになり、この結果、初段クラス分類部９１の構成を簡易化できる。

実際上、この実施例の初段クラス分類部９１においては、入力ＳＤ画像をフレーム遅延部９３を介して各領域分割部９５Ａ〜９５Ｉに送出する。そして、当該領域分割部９５Ａ〜９５Ｉにおいて、図２３に示すように、それぞれ位置の異なる過去ブロツクを設定する。これら複数の過去ブロツクデータと、ブロツク化部９４を介して得られる注目画素を中心とした現ブロツクデータとが、各差分部９６Ａ〜９６Ｉに送出される。各差分部９６Ａ〜９６Ｉにより得られた対応する画素毎の差分値が各絶対値和部９７Ａ〜９７Ｉに送出される。そして、その結果得られる各差分絶対値和が最小値判定部９８に送出される。最小値判定部９８は、差分絶対値和が最小のものを動きの方向を表わす動きクラスコードCLASS6として出力する。

次段クラス分類部９２は、第３の実施例において上述した次段動きクラス分類部７２と同様の構成でなり、図１８〜図２０のような次段でのクラス分類用タツプを設定する複数のセレクタ７９Ａ〜７９Ｉを有する。そして、これらセレクタ７９Ａ〜７９Ｉのうち初段クラス分類部９１によつて求められた動きクラスコードCLASS6に応じた７９Ａ〜７９Ｈ又は７９Ｉを択一的に選択することにより、次段のクラス分類用タツプを選択する。

以上の構成によれば、初段の動きクラスを求める際に、予め異なる位置の複数の参照ブロツクを設定した簡易的なブロツクマツチングを行うようにしたことにより、容易に動きクラスを求めることができ、初段クラス分類部９１（第１のクラス分類手段）の構成を簡易化できる。

（５）第５の実施例
この第５の実施例は、基本的には上述の第１〜第４実施例と同様に、先ず入力ＳＤ画像の動きに基づいて動きクラスを形成し、次に、この動きクラスに応じて次段のクラス分類用タツプを切り換えることにより、精度の良いクラス分類を実現する。但し、この実施例では、動きクラスを形成する方法が第１〜第４の実施例と異なる。

この第５の実施例では、第１のクラス分類部において、注目画素が存在するフレームから切り出した所定の大きさのブロツクと、当該フレームに隣接するフレームから切り出した上記ブロツクと空間的に同じ位置にあるブロツクとの間でフレーム間差分値を算出する。そして、当該フレーム間差分値の絶対値の平均値を予め設定した所定の閾値と比較し、当該比較結果に基づいて注目画素周辺の動きを判定して、動きクラスを表わすクラスコードを形成する。

図２４に、この第５の実施例によるアツプコンバータの具体的構成を示す。アツプコンバータ１００は、大きく分けて入力ＳＤ画像データＤ１の各注目画素をクラス分類するクラス分類部１０１、その分類結果に応じた予測係数を出力する予測係数ＲＯＭ１０３、出力された予測係数と入力ＳＤ画像データＤ１とを用いて予測演算を施すことにより、垂直方向におけるＨＤ補間画素データを生成する予測演算部１０２とにより構成されている。

ここで、この第５の実施例における、ＳＤ画素と補間すべきＨＤ画素の位置関係は、図２５に示す通りとする。すなわち、補間すべきＨＤ画素には、同一フイールド内でみたとき、ＳＤ画素から近い位置に存在するＨＤ画素ｙ1 とＳＤ画素から遠い位置に存在するｙ2 の２種類がある。以降、ＳＤ画素から近い位置に存在するＨＤ画素を推定するモードをモード１、ＳＤ画素から遠い位置に存在するＨＤ画素を推定するモードをモード２と呼ぶ。

アツプコンバータ１００は、入力端子から供給されたＳＤ画像データＤ１を領域切り出し部１０４に入力する。領域切り出し部１０４は、動きの程度を表わすためのクラス分類（動きクラス）の為に必要な画素を切り出す。この実施例では、供給されたＳＤ画像から補間すべきＨＤ画素ｙ1 、ｙ2 に対して、図２６に示す位置に存在する10個のＳＤ画素ｍ1 〜ｍ5 及びｎ1 〜ｎ5 を切り出す。

領域切り出し部１０４により切り出されたデータは、動きクラス決定部１０５に供給される。動きクラス決定部１０５は、供給されたＳＤ画素データのフレーム間差分を算出し、その絶対値の平均値を閾値判定することにより、動きのパラメータを算出する。具体的には、動きクラス決定部１０５は、次式（１０）

により、供給されるＳＤ画素データから差分の絶対値の平均値 paramを算出する。但し、実施例の場合、ｎ＝５である。

動きクラス決定部１０５は、このように算出した平均値 paramを、予め設定した閾値と比較することにより、動きクラスコードCLASS8を求める。ここで、例えば、平均値 paramが「２」以下の場合をクラス「０」とし、平均値 paramが「２」より大きくかつ「４」以下の場合をクラス「１」とし、平均値 paramが「４」より大きくかつ「８」以下の場合をクラス「２」とし、平均値 paramが「８」より大きい場合をクラス「３」とし paramが「２」以下の場合をクラス「３」とすれば、４つのクラスでなる動きクラスコードCLASS8を形成することができる。ここで、この閾値は、例えばＳＤ画素データの差分の絶対値のヒストグラムをｎ等分することにより設定すれば良い。

このように形成された動きクラスコードCLASS8は、領域切り出し部１０７及びクラスコード発生部１０９に送出される。領域切り出し部１０７には、領域切り出し部１０４及び動きクラス決定部１０５の処理時間だけ入力ＳＤ画像データＤ１を遅延させる遅延部（ＤＬ）１０６を介して、入力ＳＤ画像データＤ１が供給されている。領域切り出し部１０７により切り出されたＳＤ画素データは、ＡＤＲＣ部１０８に供給され、ＡＤＲＣ部１０８によつてＳＤ画素データの空間内波形が少ないビツト数にパターン化（空間内クラス分類）される。例えば、１画素当り８ビツトのＳＤ画素データが１画素当り２ビツトのＳＤ画素データに圧縮される。

ここで、空間内クラス分類においては、動きが小さい画像の場合には、２フイールド分あるいはそれ以上のフイールド数の画素を用いた方式が効果的かつ効率的である。一方、動きが大きい画像の場合には１フイールド内の画素を用いた方式が効果的かつ効率的である。そのため、領域切り出し部１０７は、動きクラスコードCLASS8がクラス「０」又はクラス「１」であつた場合は、例えば、図２７に示すような位置にある５つのＳＤ画素ｋ1 〜ｋ5 を空間内クラス分類に使用する画素（すなわちクラス分類用タツプ）として切り出す。これに対して、領域切り出し部１０７は、動きクラスコードCLASS8がクラス「２」又はクラス「３」であつた場合は、図２８に示すような位置にある５つのＳＤ画素ｋ1 〜ｋ5 を空間内クラス分類に使用する画素として切り出す。

ＡＤＲＣ部１０８により圧縮された画素データは、ＡＤＲＣクラスコードCLASS9としてクラスコード発生部１０９に供給される。クラスコード発生部１０９は、ＡＤＲＣクラスコードCLASS9及び動きクラスコードCLASS8に基づいて、次式（１１）

の演算を行うことにより、そのブロツクが属する最終的なクラスを検出する。そして、その検出されたクラスを示すクラスコードCLASS10 を予測係数ＲＯＭ１０３の読出しアドレスとして出力する。但し、（１１）式におけるｑi は、ＡＤＲＣにより再量子化された各画素データを表し、ｐは、ＡＤＲＣの際のビツト割当てを表わし、ｎは５、ｐは２である。因に、この第５の実施例の予測係数ＲＯＭ１０３には、ＨＤ画素ｙ1 に対応するモード１の予測係数とＨＤ画素ｙ2 に対応するモード２の予測係数がそれぞれ独立に用意されている。

一方、入力端子から供給された入力ＳＤ画像データＤ１は、領域切り出し部１１０にも与えられる。領域切り出し部１１０は、予測演算に使用するＳＤ画素データ（すなわち予測タツプ）を入力データから切り出す。この第５の実施例の場合には、図２９に示すような位置にある17個の画素ｘ1 〜ｘ17を予測タツプとして切り出す。領域切り出し部１１０の出力は、タイミング合せをする目的で用意された遅延部１１１を介して予測演算部１１２に供給される。予測演算部１１２は、供給されたＨＤ画素ｙ1 に対応するモード１の予測係数とＨＤ画素ｙ2 に対応するモード２の予測係数と予測タツプとを用いて、それぞれ線形一次演算を行うことにより、注目ＳＤ画素データに対応するＨＤ補間画素データｙ1 及びｙ2を算出する。

予測演算部１１２から出力されたＨＤ補間画素データは、水平補間フイルタ１１３に供給される。水平補間フイルタ１１３は、補間処理によつて水平方向の画素数を２倍にするものであり、この水平補間処理により最終的に図１のmode1 、mode2 、mode3 及びmode4 のようなＨＤ補間画素データが生成されて、変換部１１５に供給される。変換部１１５では、供給されたＨＤ補間画素データを時系列のデータの変換し、その出力がＨＤテレビジヨン受像機やＨＤビデオテープレコーダ等に供給される。

なお、ＡＤＲＣ部１０８において、上述した実施例と同様に、ダイナミツクレンジを検出する画素領域を設定した画素パターンよりも広く取るようにしてもよいし、また、動きクラスコードCLASS8により、ダイナミツクレンジを検出する画素領域を決定してもよい。

さらに、ＡＤＲＣ部１０８は、動きクラスコードCLASS8に応じて、量子化ビツト数を切り換えるようにしてもよい。

次に、この実施例の予測係数ＲＯＭ１０３に記憶されている予測係数を作成するための学習回路の構成について説明する。図２４との対応部分に同一符号を付して示す図３０に示すように、学習回路１２０は、まず既に知られているＨＤ画像に対応した、当該ＨＤ画像の 1/4の画素数のＳＤ画像を形成する。具体的には、入力端子を介して供給されるＨＤ画像データの垂直方向の画素を垂直間引きフイルタ１２１によつて垂直方向の周波数が 1/2になるように間引き処理し、さらに、水平間引きフイルタ１２２によりＨＤ画像データの水平方向の画素を間引くことにより、ＳＤ画像データを得る。

ＳＤ画像データは、クラス分類部１０１に供給されると共に、図２の係数算出部２４に対応する係数算出部１２３に供給される。そして、クラス分類部１０１で形成されたクラスコードCLASS10 が係数算出部１２３の正規方程式形成部１２４に供給される。正規方程式形成部１２４は、クラスコードCLASS10 で表わされるクラス毎に上述した（２）式〜（９）式に基づいて正規方程式データを形成する。この際に、正規方程式データは、モ−ド１及びモード２に対してそれぞれ生成される。

全ての学習データの入力が終了した後、正規方程式形成部１２４は予測係数決定部１２５にモード１及びモード２の正規方程式データをそれぞれ出力する。予測係数決定部１２５は、正規方程式を掃き出し法などの一般的な行列解法を用いてモード１及びモード２の予測係数についてそれぞれ解き、当該モード１及びモード２の予測係数をメモリ１２６に出力する。この結果、メモリ１２６には、クラス毎に注目ＨＤ補間画素データｙ1 及びｙ2 を推定する際、統計的に最も真値に近い推定ができるようなモード１及びモード２の予測係数が格納される。そして、このメモリ１２６に格納されたテーブルを、アツプコンバータ１００の予測係数ＲＯＭ１０３とすれば良い。

以上の構成によれば、動きクラスに応じて、レベル分布パターンに基づくクラス分類を行う際に用いるクラス分類用タツプパターンを適応的に選択するようにしたことにより、レベル分布パターンに基づくクラス分類結果を入力画像の特徴を良く反映したものとすることができる。また、ＳＤ画像のフレーム間差分を算出し、その絶対値の平均値を閾値判定することで動きクラスを求めるようにしたことにより、容易に動きクラスを求めることができ、クラス分類部１０１の構成を簡易化し得る。

（６）第６の実施例
上述した第１〜第５の実施例では、動きクラスを形成し当該動きクラスに応じてレベル分布パターンに基づくクラス分類に用いるクラス分類用タツプを適応的に選択する場合について述べたが、この第６の実施例では、動きクラスに応じて予測演算に用いる予測タツプを適応的に選択するようにする。

実際上、この第６の実施例のアツプコンバータは、図３１に示すように構成されている。図２４との対応部分に同一符号を付して示す図３１において、アツプコンバータ１４０のクラス分類部１４１に設けられた動きクラス決定部１４４は、第５の実施例と同様の方法で求めた動きクラスコードCLASS8をクラスコード発生部１０９に送出すると共に、予測演算部１４２の領域切り出し部１４７に送出する。

領域切り出し部１４７は、タイミング合せのための遅延部１４６を介して与えられたＳＤ画像データから動きクラスコードCLASS8に応じた予測タツプを切り出す。すなわち、動きクラスコードCLASS8が、クラス「０」又はクラス「１」のように動きが小さいことを表わすものであつた場合には、例えば、図３３に示すような位置にある９つのＳＤ画素ｘ1 〜ｘ9 を予測タツプとして切り出す。これに対して、動きクラスCLASS8がクラス「２」のように動きが大きいことを表わすものであつた場合には、例えば、図３４に示すような位置にある９つのＳＤ画素ｘ1 〜ｘ9 を予測タツプとして切り出す。また、動きクラスCLASS8がクラス「３」のように動きが非常に大きいことを表わすものであつた場合には、図３５に示すような位置にある９つのＳＤ画素ｘ1 〜ｘ9 を予測タツプとして切り出す。この結果予測演算部１１２には、クラス分類の対象となる入力ＳＤ画像の動きに基づく最適な予測タツプが供給されるようになる。

ここで、従来の予測演算においては、クラス分類されたクラスのいかんに拘わらず、常に同じ画素を予測タツプとして用いていた。このため、予測性能を重視した場合は予測タツプを構成する画素数が多くなりハードウエア規模の増加を招き、一方、ハードウエア規模を削減した場合には予測性能の低下を招く欠点があつた。

これに対して、この第６の実施例のアツプコンバータ１４０においては、動きクラスコードCLASS8に応じて予測タツプを適応的に選択するようにしているので簡易な構成で予測性能を向上させることができる。すなわち、上述したように、動きが小さい場合には、補間するＨＤ画素に空間的に近いＳＤ画素を予測タツプとして選定する。また、動きが大きい場合には、補間するＨＤ画素に時間的に近いＳＤ画素を選定する。よつて、予測タツプ数をむやみに増加させることなく、予測演算に適した予測タツプのみを設定するようになされている。

なお、この第６の実施例における、クラス分類用タツプを切り出すための領域切り出し部１４５は、例えば、図２７に示すように補間すべきＨＤ画素ｙ1 、ｙ2 の近傍に位置する５つのＳＤ画素ｋ1 〜ｋ5 を切り出す。すなわち、領域切り出し部１４５は、動きにかかわらず固定のクラス分類用タツプを切り出す点で第５の実施例と異なる。

次に、この第６の実施例の予測係数ＲＯＭ１４３（図３１）を作成するための学習回路について説明する。図３１との対応部分に同一符号を付して示す図３２に示すように、学習回路１５０の予測係数算出部１５１は、動きクラス決定部１０５によつて決定した動きクラスコードCLASS8に応じたＳＤ画素を領域切り出し部１４７によつて切り出して正規方程式形成部１３３に送出する。また、正規方程式形成部１３３は、動きクラスCLASS8と、固定されたクラス分類用タツプから得られたＡＤＲＣクラスコードCLASS11 とに基づきクラスコード発生部１０９によつて求められたクラスコードCLASS12 を受ける。

正規方程式形成部１３３は、上述したように各クラスコードCLASS12 毎にモ−ド１及びモード２に対しての正規方程式をそれぞれ立て、これを予測係数決定部１３４に送出する。予測係数決定部１３４により求められたモ−ド１及びモード２のためのそれぞれ予測係数は、メモリ１３５に格納される。かくして、学習回路１５０によれば、動きクラスに応じて、学習に用いる予測タツプを適応的に選択するようにしたことにより、精度の良い予測係数を生成することができる。

以上の構成によれば、動きクラスに応じて、予測演算において重要となる画素のみで予測タツプを形成するようにことにより、ハードウエア規模を小くし、かつ予測性能の良いアツプコンバータを実現することができる。

なお、ＡＤＲＣ部１０８において、上述した実施例と同様に、ダイナミツクレンジを検出する画素領域を設定した画素パターンよりも広く取るようにしてもよいし、また、動きクラスコードCLASS8により、ダイナミツクレンジを検出する画素領域を決定してもよい。

さらに、ＡＤＲＣ部１０８は、動きクラスコードCLASS8に応じて、量子化ビツト数を切り換えるようにしてもよい。

（７）第７の実施例
上述した第１〜第５の実施例では、動きクラスに応じてクラス分類用タツプを適応的に選択し、第６の実施例では、動きクラスに応じて予測タツプを適応的に選択する場合について述べたが、この第７の実施例では、動きクラスに応じてクラス分類用タツプ及び予測タツプの両方を適応的に選択する。

この第７の実施例のアツプコンバータ及び学習回路の構成を、図３６及び図３７に示す。図２４及び図３１との対応部分に同一符号を付して示す図３６において、アツプコンバータ１０５のクラス決定部１６４は、決定した動きクラスコードCLASS8をクラス分類用タツプを切り出すための領域切り出し部１０７に送出すると共に、予測タツプを切り出すための領域切り出し部１４７に送出する。領域切り出し部１０７は、第５の実施例で上述したように動きクラスコードCLASS8に応じたクラス分類用タツプを切り出す。また、領域切り出し部１４７は、第６の実施例で上述したように動きクラスコードCLASS8に応じた予測タツプを切り出す。

かくして、この第７の実施例の学習回路においては一段と精度の良い予測係数を得ることができると共に、アツプコンバータにおいては一段と真値に近いＨＤ補間画素を得ることができる。

（８）他の実施例
なお、上述の実施例においては、本発明を、ＳＤ画像データをＨＤ画像データに変換するアツプコンバータに適用した場合について述べたが、本発明はこれに限らず、低解像度の画像データを高解像度の画像データに変換する場合に広く適用し得る。すなわち、上述の実施例では、ＳＤ画像に含まれない画素を創造する場合に本発明を適用しているが、例えば、８ビツトで表現された各画素をより解像度の高い10ビツトで表現しようとする場合にも適用し得る。この場合には、予め10ビツトの画素を用いた学習によりクラス毎の予測係数データを求め、８ビツトの画素を用いてクラス分類した結果に応じた予測係数データを使用して予測演算処理を行うようにすれば良い。

また、本発明は、サブサンプルされた画像信号の補間方法に対しても適用することができ、さらに、電子ズーム等の拡大の際の補間方法に対しても適用することができる。

また、上述の実施例においては、第１及び第２のクラスコードを組合わせたクラスコード毎に予測係数データが記憶された予測係数記憶部を設けると共に、予測係数記憶部から出力される予測係数データと入力画像データとを用いて予測演算を行う予測演算部を設けることにより、クラス分類結果に応じて解像度の高い画像データを生成する場合について述べたが、本発明はこれに限らず、予測係数記憶部及び予測演算部に代えて、第１及び第２のクラスコードを組合わせたクラスコード毎に予測値が記憶された予測値記憶部を設けるようにした場合にも適用し得る。ここで、予測値記憶部に記憶される予測値は予測演算部から出力される推定補間画素値に対応するものである。このような方法は、例えば、上述した本出願人による日本出願公開公報、特開平5-328185号の明細書及び図面において提案されている。なお、この日本出願に対応する米国出願は、Serial No. 08/1,730 filed May 17, 1993である。

つまり、図１にアツプコンバータにおいて、クラス分類部の構成は同じであるが、予測係数ＲＯＭ３２の代わりに、予測値が記憶された予測ＲＯＭが構成される。そして、クラスコードによつて読み出された予測値が推定補間画素値として直接、変換部に供給される構成となる。

このような予測値を求める第１の方法としては加重平均を用いた学習方法がある。詳述すれば、補間対象画素の周辺のＳＤ画素を用いて上述したクラス分類を行い、クラス毎に積算した補間対象画素の画素値（ＨＤ画素値を用いる）を補間対象画素の個数によつてインクリメントされた度数によつて割るといつた処理を様々な画像に対して行うことにより各クラスに対応した予測値を求める方法である。また、予測値を求める第２の方法としては正規化による学習方法がある。詳述すれば、補間対象画素を含む複数の画素からなるブロツクを形成し、当該ブロツク内のダイナミツクレンジによつて、補間対象画素の画素値からそのブロツクの基準値を減算した値を正規化し、この正規化された値の累積値を累積度数で除した値を予測値とする処理を様々な画像に対して行うことより各クラスに対応した予測値を求める方法である。

また、上述の第１〜第４の実施例においては、第１のクラス分類部によつて入力画像データにおける注目画素周辺の動きに応じて形成した第１のクラスコード（動きクラスコード）に応じて、第２のクラス分類部がクラス分類の際に用いる画素を適応的に選択する場合について述べたが、第１〜第４の実施例においても、第６の実施例において上述したように、第１のクラスコードに応じて予測演算部が予測演算の際に用いる画素を適応的に選択するようにしても良い。また、第７の実施例において上述したように、第１のクラスコードに応じて、第２のクラス分類部がクラス分類に用いる画素と予測演算部が予測演算に用いる画素の両方を適応的に選択するようにしても良い。このようにすれば、一段と高解像度の画像データを生成することができる。

また、上述の実施例においては、注目画素に対して空間的及び又は時間的に周辺に存在する複数画素のレベル分布パターンに基づいて第２のクラスコードを出力する第２のクラス分類部としてＡＤＲＣ回路を用いた場合について述べたが、本発明の第２のクラス分類手段はこれに限らず、例えばＤＣＴ（Discrete Cosine Transform ）符号化、ＤＰＣＭ（差分符号化）、ベクトル量子化、サブバンド符号化やウエーブレツト変換等の圧縮手法を用いるようにしても良い。

また、上述の実施例においては、入力画像データにおける注目画素周辺の動きに応じて注目画素をクラス分類する第１のクラス分類部のクラス分類手法として、ブロツクマツチング法や、フレーム間差分値を所定の閾値と比較する方法や、複数の動きに対応して求めた予測値のうちの予測誤差の最小値を検出することにより動きの方向を求める方法や、簡易的なブロツクマツチング法などを用いた場合について述べたが、本発明はこれに限らず、これ以外にも例えば勾配法や位相相関法を用いて動きクラスを求めるようにしても良く、要は注目画素周辺の動きを、その動きの方向や大きさに基づいて所定数のクラスのうちの何れかに分類できるものであれば良い。

また、上述の実施例においては、予測係数記憶部としてＲＯＭ（読出し専用メモリ）を用いた場合について述べたが、本発明はこれに限らず、これに代えてＲＡＭ（書込み読出しメモリ）やＳＲＡＭ等を用いるようにしても良い。

なお、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考え得る。従つて、本発明の要旨は、実施例に限定されるものではない。

本発明の係数生成装置及び係数生成方法は、例えば低解像度の入力画像信号を高解像度の画像信号に変換する画像信号変換のための係数を生成する用途に適用することができる。

本発明の実施例によるアツプコンバータの構成を示すブロツク図である。 実施例による学習回路の構成を示すブロツク図である。 第１実施例によるクラス分類部の構成を示すブロツク図である。 第１実施例における動きクラスを形成する際のパターン分類例を示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第１実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第２実施例によるクラス分類部の構成を示すブロツク図である。 第２実施例のクラス分類選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第３実施例によるクラス分類部の構成を示すブロツク図である。 第３実施例において動きクラスを形成する際に用いられるクラス分類用タツプ例を示す略線図である。 第３実施例における動きクラスを形成する際のパターン分類例を示す略線図である。 第３実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第３実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第３実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第３実施例における予測タツプ例を示す略線図である。 第４実施例によるクラス分類部の構成を示すブロツク図である。 第４実施例における動きクラス形成動作の説明に供する略線図である。 第５実施例によるアツプコンバータの構成を示すブロツク図である。 ＳＤ画素とＨＤ画素との位置関係を示す略線図である。 第５実施例において動きクラス分類に用いられるＳＤ画素を示す略線図である。 第５実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第５実施例のクラス分類画素選択部によつて選択されるクラス分類用タツプパターンを示す略線図である。 第５実施例における予測タツプパターンを示す略線図である。 第５実施例による学習回路の構成を示すブロツク図である。 第６実施例によるアツプコンバータの構成を示すブロツク図である。 第６実施例による学習回路の構成を示すブロツク図である。 第６実施例の予測演算画素選択部によつて選択される予測タツプパターンを示す略線図である。 第６実施例の予測演算画素選択部によつて選択される予測タツプパターンを示す略線図である。 第６実施例の予測演算画素選択部によつて選択される予測タツプパターンを示す略線図である。 第７実施例によるアツプコンバータの構成を示すブロツク図である。 第７実施例による学習回路の構成を示すブロツク図である。 従来の説明に供するＳＤ画素とＨＤ画素の空間配置例を示す略線図である。 従来の２次元ノンセパラブル補間フイルタの構成を示すブロツク図である。 従来の水平／垂直セパラブル補間フイルタの構成を示すブロツク図である。 クラス分類適応処理を用いたアツプコンバータの構成を示すブロツク図である。 クラス分類用タツプ及び予測タツプの配置例を示す略線図である。 予測係数学習処理手順を示すフローチヤートである。 予測係数を求める学習回路の構成を示すブロツク図である。

符号の説明

１、５、１０、３０、１００、１４０、１６０……アツプコンバータ、１１、２３、３１、４１、６０、７０、９０、１０１、１４１、１６１……クラス分類部、１２、８４、１０２、１４２、１６２……予測演算部、１３、３２、８２、９９、１０３、１４３、１６３……予測係数ＲＯＭ、２０、４０、１２０、１５０、１７０……学習回路、２４、１２４、１５１、１７１……係数算出回路、５０、６１、７１、９１……第１のクラス分類手段、５２……動きベクトルクラス検出部、５３、６４、１０７……クラス分類画素選択手段、５４Ａ〜５４Ｈ……パターン設定部、５５……クラスタツプ選択部、５６、６８、８０、１０８……ＡＤＲＣクラス分類部（第２のクラス分類手段）、６３……動き検出部、７２、９２……次段クラス分類部、１１０……予測演算画素選択手段、Ｄ１……入力ＳＤ画像データ、Ｄ２、Ｄ３２、CLASS10 、CLASS12 、……クラスコード、Ｄ３……予測係数データ、Ｄ４、Ｄ３３……ＨＤ補間画素データ、Ｄ５、Ｄ３４……ＨＤ画像データ、CLASS0、CLASS2、CLASS4、CLASS6、CLASS8′……動きクラスコード、CLASS1、CLASS3、CLASS5、CLASS7、CLASS9、CLASS11 ′……ＡＤＲＣクラスコード。

Claims (5)

1. 第１の入力画像信号を当該第１の入力画像信号とは異なる第２の画像信号に変換する画像信号変換のための係数を生成する係数生成装置において、
   第１の学習用画像信号から注目画素周辺の複数の画素を選択するクラス分類画素選択部と、
   上記クラス分類画素選択部で選択された複数の画素のパターンに基づいて上記注目画素のパターンのクラスを決定するクラス決定部と、
   上記第１の学習用画像信号における注目画素周辺の動きを検出する動き検出部と、
   少なくとも上記動き検出部で検出される動きに基づいて上記第１の学習用画像信号から適応的に上記注目画素周辺における複数の画素を予測演算画素として選択する予測演算画素選択部と、
   上記クラス毎に、上記予測演算画素選択部によつて選択された上記第１の学習用画像信号における上記予測演算画素と、上記第１の学習用画像信号に対応し、当該第１の学習用画像信号とは異なる第２の学習用画像信号の対応する画素とを用いて演算を行い、当該クラス毎に係数を算出する係数算出部と、
   上記係数算出部で算出された上記係数を上記クラス毎に記憶させる係数記憶部と
   を具えることを特徴とする係数生成装置。
2. 上記クラス決定部は、
   更に、上記動き検出部からの動きにも基づいて上記クラスを決定するようになされている
   ことを特徴とする請求項１に記載の係数生成装置。
3. 上記第１の学習用画像信号は、上記第２の画像信号に基づいて生成され、
   上記第１の学習用画像信号は、上記第２の画像信号よりも低い解像度の画像信号である
   ことを特徴とする請求項１に記載の係数生成装置。
4. 上記第１の学習用画像信号は、上記第２の画像信号に基づいて生成され、
   上記第１の学習用画像信号は、上記第２の画像信号より画素数の少ない画像信号である
   ことを特徴とする請求項１に記載の係数生成装置。
5. 第１の入力画像信号を当該第１の入力画像信号とは異なる第２の画像信号に変換する画像信号変換のための係数を生成する係数生成方法において、
   第１の学習用画像信号から注目画位置周辺の複数の画素を選択するクラス分類画素選択工程と、
   上記クラス分類画素選択工程で選択された複数の画素のパターンに基づいて上記注目位置のパターンのクラスを決定するクラス決定工程と、
   上記第１の学習用画像信号における注目位置周辺の動きを検出する動き検出工程と、
   少なくとも上記動き検出工程で検出される動きに基づいて上記第１の学習用画像信号から適応的に上記注目位置周辺における複数の画素を予測演算画素として選択する予測演算画素選択工程と、
   上記クラス毎に、上記予測演算画素選択工程によつて選択された上記第１の学習用画像信号における上記予測演算画素と、上記第１の学習用画像信号に対応し、当該第１の学習用画像信号とは異なる第２の学習用画像信号の対応する画素とを用いて演算を行い、当該クラス毎に係数を算出する係数算出工程と、
   上記係数算出工程で算出された上記係数を上記クラス毎に記憶させる係数記憶工程と
   を具えることを特徴とする係数生成方法。
   

Images