JP2004191856A - 画像信号処理装置、画像信号処理方法、およびその方法を実行するためのプログラム - Google Patents

Abstract

【課題】画像の拡大率（画像サイズ）を連続的に変化させて得られるズーム画像の画質向上を図る。
【解決手段】画像信号処理部１１０は、入力画像信号Ｖinに基づいて、出力画像信号Ｖoutとしての新たな５２５ｉ信号を生成する。ズームモードの場合、出力画像信号Ｖoutは、ユーザによって指定される任意の点を中心として画像の拡大率が連続的に変化したズーム画像を表示するためのものとなる。出力画像信号Ｖoutの各画素データを、その位相情報ｈ，ｖに基づいて生成した係数データＷｉを用い、推定式を使用して演算する。係数データＷｉを、さらに画像の拡大率Ｔ、その変化速度Ｋ、さらには画像の特徴情報による解像度調整情報ｆ及びノイズ抑圧度調整情報Ｋに基づいて生成する。これにより、拡大率を大きくしたときのボケを抑制でき、拡大率を大きくしたときにノイズが目立つのを抑制でき、また視覚的に滑らかなズーム画像を達成できる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、画像の拡大率（画像サイズ）を連続的に変化させた画像（ズーム画像）を表示する際に適用して好適な画像信号処理装置、画像信号処理方法およびその方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、出力画像信号による画像の画質を少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整することによって、ズーム画像の画質向上を図るようにした画像信号処理装置等に係るものである。
【０００３】
【従来の技術】
画像の拡大率を変換するためには、入力画像信号の画素データとは異なった位相の画素データを求めて出力画像信号を得る必要がある。この場合、変換後の画像の拡大率によって、入力画像信号の画素に対する出力画像信号の画素の位相関係が一義的に決まる。
【０００４】
従来、画像の拡大率を変換するために入力画像信号の画素データより出力画像信号の画素データを得る際に、入力画像信号の画素に対する出力画像信号の画素の各位相に対応した推定式の係数データをメモリに格納しておき、この係数データを用いて推定式によって出力画像信号の画素データを求めることが提案されている。
【０００５】
変換後の画像の拡大率が異なれば、入力画像信号の画素に対する出力画像信号の画素の位相関係は異なったものとなる。そのため、推定式の係数データをメモリに格納しておくものにあっては、種々の拡大率への変換を行う場合、それぞれの拡大率に対応して係数データをメモリに格納しておく必要がある。したがって、その場合には、大量の係数データを格納しておくメモリが必要となり、変換装置が高価なものとなる等の不都合がある。
【０００６】
そこで、本出願人は、先に、位相情報に基づいて係数種データより推定式で用いられる係数データを生成することで、種々の拡大率への変換をするために大量の係数データを格納しておくメモリを不要とできる装置を提案した（特許文献１参照）。
【０００７】
【特許文献１】
特開２００２−１９６７３７号公報
【０００８】
【発明が解決しようとする課題】
例えば、画像の拡大率を連続して変化させていくことで、電子ズームを実現できる。この電子ズームには、静止画を拡大した場合画像全体にボケが生じる、動画を拡大した場合、静動の切り替わり目において折り返し歪みが発生する、さらに入力画像信号にノイズがある場合拡大した画像においてノイズが目立つという問題があった。また他にも、ズーム時の画像の拡大率の変化速度が大きい場合、入力画像信号の処理領域の時間的な変動が大きく、視覚的に滑らかなズーム画像を達成できないといった問題があった。
この発明の目的は、画像の拡大率を連続的に変化させて得られるズーム画像の画質向上を図ることにある。
【０００９】
【課題を解決するための手段】
この発明に係る画像信号処理装置は、複数の画素データからなる第１の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第２の画像信号を生成する画像信号処理装置であって、各拡大率に対応した、第２の画像信号における注目位置の位相情報を発生させる位相情報発生手段と、この位相情報発生手段で発生された位相情報に対応して、第２の画像信号における注目位置の画素データを生成する画素データ生成手段と、第２の画像信号による画像の画質を、少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整する画質調整手段とを備えるものである。
【００１０】
また、この発明に係る画像信号処理方法は、複数の画素データからなる第１の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第２の画像信号を生成する画像信号処理方法であって、各拡大率に対応した、第２の画像信号における注目位置の位相情報を発生させるステップと、この位相情報に対応して、上記第２の画像信号における注目位置の画素データを生成するステップと、第２の画像信号による画像の画質を、少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するステップとを備えるものである。
また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１１】
この発明においては、各拡大率に対応した、第２の画像信号における注目位置の位相情報が発生される。この位相情報に対応して、第２の画像信号における注目位置の画素データが生成される。この画素データの生成は、例えば推定式を用いて行われる。すなわち、位相情報に対応した推定式で用いられる係数データが発生されると共に、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データが選択され、これら係数データおよび複数の画素データを用いて、推定式に基づいて第２の画像信号における注目位置の画素データが算出される。
【００１２】
このように推定式を用いて画素データを生成するものにあっては、第２の画像信号に対応した教師信号と第１の画像信号に対応した生徒信号とを用いた学習処理によって得られた係数データを用いることで、第２の画像信号における注目位置の画素データとして、線形補間等で得るものと比べて精度の良いものを得ることができる。
【００１３】
例えば、係数データは以下のようにして発生される。すなわち、記憶手段に、推定式で用いられる係数データを生成する、位相情報をパラメータとして含む生成式における係数データである係数種データが格納されている。この係数種データと位相情報とが用いられて、生成式に基づいて推定式で用いられる係数データが生成される。この場合、各拡大率に対応した係数データをメモリに格納しておくものではなく、大量の係数データを格納しておくメモリが不要となる。
【００１４】
また例えば、係数データは以下のようにして発生される。すなわち、記憶手段に、位相情報発生手段で発生し得る位相情報毎に推定式で用いられる係数データが格納されている。この記憶手段より、位相情報に対応する係数データが読み出される。
【００１５】
ここで、第１の画像信号に基づいて、第２の画像信号における注目位置の周辺に位置する複数の画素データを選択し、この複数の画素データに基づいて、第２の画像信号における注目位置の画素データが属するクラスを検出し、位相情報だけでなく、この検出されたクラスにも対応した係数データが発生されるようにすることで、第２の画像信号における注目位置の画素データの精度をさらに高めることができる。
【００１６】
また、第２の画像信号による画像の画質が、少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整される。ここで、画像の画質は、例えば解像度、ノイズ抑圧度である。画像の拡大率に係る情報は、例えば画像の拡大率の変化速度、画像の拡大率等である。
【００１７】
さらに、第２の画像信号における注目位置の周辺に位置する第１の画像信号の複数の画素データから抽出される特徴情報に基づいて発生した画質調整情報により、第２の画像信号における注目位置の画素データによる画像の画質が調整される。ここで特徴情報は、例えば動き情報、ダイナミックレンジ、空間波形情報等である。
【００１８】
例えば、画像の拡大率の変化速度（ズーム速度）が大きくなるほど、解像度およびノイズ抑圧度が低下するように調整される。これにより、ズーム時に、視覚的に滑らかなズーム画像を達成できる。
【００１９】
また例えば、画像の拡大率（ズーム拡大率）が大きくなるほど、ノイズ抑圧度が増加するように調整される。これにより、拡大した画像においてノイズが目立つことを抑制できる。
【００２０】
また例えば、画像の拡大率（ズーム拡大率）が大きくなるほど、静止画では解像度が増加するようにされ、一方動画では解像度が低下するようにされる。これにより、静止画を拡大した場合、画像全体にボケが生じることを抑制でき、また動画を拡大した場合、静動の切り替わり目において折り返し歪みが発生することを防止できる。
【００２１】
第２の画像信号における画質の調整は、第２の画像信号における注目位置の画素データを生成する際に行ってもよく、また画素データを生成した後に、高域を強調するエンハンサ、ノイズを除去するノイズ除去回路等を用いて行ってもよい。
【００２２】
画素データを生成する際に画質調整を行う場合には、画質調整情報に対応した係数データを用いることで行うことができる。例えば、係数データを位相情報をパラメータとして含む生成式により生成する場合には、その生成式にさらに画質調整情報をパラメータとして含むようにし、位相情報および画質調整情報に対応した係数データを得るようにすればよい。また例えば、係数データを記憶手段より読み出すものにあっては、この記憶手段より位相情報および画質調整情報に対応した係数データを読み出すようにすればよい。
【００２３】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号より得られた５２５ｉ信号（入力画像信号Ｖin）に基づいて出力画像信号Ｖoutを生成し、この出力画像信号Ｖoutによる画像を表示するものである。
【００２４】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００２５】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って５２５ｉ信号を得るチューナ１０６と、このチューナ１０６より出力される５２５ｉ信号を一時的に保存するためのバッファメモリ１０９とを有している。ここで、５２５ｉ信号は、ライン数が５２５本でインタレース方式の画像信号を意味している。
【００２６】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存される５２５ｉ信号を入力画像信号Ｖinとし、この入力画像信号Ｖinに基づいて、出力画像信号Ｖoutとしての新たな５２５ｉ信号を生成して出力する画像信号処理部１１０と、この画像信号処理部１１０の出力画像信号Ｖoutによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等のフラットパネルディスプレイで構成されている。
【００２７】
図１に示すテレビ受信機１００の動作を説明する。
チューナ１０６より出力される５２５ｉ信号は、バッファメモリ１０９に供給されて一時的に保存される。そして、このバッファメモリ１０９に一時的に記憶された５２５ｉ信号は入力画像信号Ｖinとして画像信号処理部１１０に入力される。
【００２８】
この画像信号処理部１１０では、入力画像信号Ｖinに基づいて、出力画像信号Ｖoutとしての新たな５２５ｉ信号が生成される。この場合、ユーザのリモコン送信機２００の操作による設定に応じて、通常モードと、ズームモードとを切り換えることができる。通常モードの場合、入力画像信号Ｖinの全領域が処理領域となり、画像の拡大率が１である画像を表示するための出力画像信号Ｖoutが生成される。ズームモードの場合、ユーザによって指定される任意の点（ズーム中心点）を中心として画像の拡大率が連続的に変化したズーム画像を表示するための出力画像信号Ｖoutが生成される。このズームモードの場合、画像の拡大率に応じて入力画像信号Ｖinの処理領域が変化する。
【００２９】
ズームモードの場合、さらに画像の拡大率の変化を、ユーザの操作子の操作によって行うマニュアルモードと、自動的に行うオートモードとを切り換えることができる。マニュアルモードの場合、ユーザが操作子を操作することで、予め設定されている変化速度で画像の拡大率が変換していく。オートモードの場合、初期状態が拡大率が１であるときは、予め設定された変化時間内に、設定された目標拡大率となるように画像の拡大率が変換していき、逆に初期状態が目標拡大率にあるときは、予め設定された変化時間内に、拡大率が１となるように画像の拡大率が変化していく。なお、マニュアルモードにおける変化速度、オートモードにおける変化時間、目標拡大率は、ユーザのリモコン送信機２００による操作で設定できる。
【００３０】
この画像信号処理部１１０より出力される出力画像信号Ｖoutはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその出力画像信号Ｖoutによる画像が表示される。ディスプレイ部１１１には、通常モードの場合には画像の拡大率が１である通常画像が表示され、ズームモードの場合には任意の点を中心として画像の拡大率が連続的に変化したズーム画像が表示される。
【００３１】
次に、画像信号処理部１１０の詳細を説明する。この画像信号処理部１１０は、バッファメモリ１０９に記憶されている５２５ｉ信号より、出力画像信号Ｖoutを構成する各単位画素ブロック毎に、その単位画素ブロック内に存在する各画素（注目画素）に対応した位置、つまり出力画像信号Ｖoutにおける注目位置の周辺に位置する複数の画素データを選択的に取り出して出力する第１〜第３のタップ選択回路１２１〜１２３を有している。
【００３２】
第１のタップ選択回路１２１は、予測に使用する画素（「予測タップ」と称する）のデータを選択的に取り出すものである。第２のタップ選択回路１２２は、空間クラス分類に使用する画素（「空間クラスタップ」と称する）のデータを選択的に取り出すものである。第３のタップ選択回路１２３は、動きクラス分類に使用する画素（「動きクラスタップ」と称する）のデータを選択的に取り出すものである。なお、空間クラスを複数フィールドに属する画素データを使用して決定する場合には、この空間クラスにも動き情報が含まれることになる。
【００３３】
また、画像信号処理部１１０は、第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータ（複数個）のレベル分布パターンに基づいて空間クラスを検出し、そのクラス情報を出力する空間クラス検出回路１２４を有している。
【００３４】
空間クラス検出回路１２４では、例えば、空間クラスタップのデータを、８ビットデータから２ビットデータに圧縮するような演算が行われる。この空間クラス検出回路１２４では、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いる。ＡＤＲＣでは、空間クラスタップのデータの最大値をＭＡＸ、その最小値をＭＩＮ、空間クラスタップのデータのダイナミックレンジをＤＲ（ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、空間クラスタップのデータｋｉに対して、（１）式の演算により、再量子化コードＱｉが得られる。ただし、（１）式において、[ ]は切り捨て処理を意味している。空間クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
Ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）×２^P÷ＤＲ］ ・・・（１）
【００３５】
また、画像信号処理部１１０は、第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータ（複数個）より、主に動きの程度を表すための動きクラスを検出し、そのクラス情報を出力する動きクラス検出回路１２５を有している。
【００３６】
この動きクラス検出回路１２５では、例えば以下の手法で動きクラスを検出する。第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータからフレーム間差分が算出され、さらにその差分の絶対値の平均値に対してしきい値処理が行われて動きの指標である動きクラスが検出される。すなわち、動きクラス検出回路１２５では、（２）式によって、差分の絶対値の平均値ＡＶが算出される。第３のタップ選択回路１２３で、例えばクラスタップのデータとして、６個の画素データｍ１〜ｍ６とその１フレーム前の６個の画素データｎ１〜ｎ６が取り出されるとき、（２）式におけるＮｂは６である。
【００３７】
【数１】

【００３８】
そして、動きクラス検出回路１２５では、上述したように算出された平均値ＡＶが１個または複数個のしきい値と比較されて動きクラスのクラス情報ＭＶが得られる。例えば、３個のしきい値ｔｈ１，ｔｈ２，ｔｈ３（ｔｈ１＜ｔｈ２＜ｔｈ３）が用意され、４つの動きクラスを検出する場合、ＡＶ≦ｔｈ１のときはＭＶ＝０、ｔｈ１＜ＡＶ≦ｔｈ２のときはＭＶ＝１、ｔｈ２＜ＡＶ≦ｔｈ３のときはＭＶ＝２、ｔｈ３＜ＡＶのときはＭＶ＝３となる。
【００３９】
また、画像信号処理部１１０は、空間クラス検出回路１２４より出力される空間クラスのクラス情報としての再量子化コードＱｉと、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶに基づき、作成すべき出力画像信号Ｖoutを構成する各単位画素ブロック毎に、その単位画素ブロック内に存在する各画素（注目画素）が属するクラスを示すクラスコードＣＬを得るためのクラス合成回路１２６を有している。
【００４０】
このクラス合成回路１２６では、（３）式によって、クラスコードＣＬの演算が行われる。なお、（３）式において、Ｎａは空間クラスタップのデータの個数、ＰはＡＤＲＣにおける再量子化ビット数を示している。
【００４１】
【数２】

【００４２】
また、画像信号処理部１１０は、レジスタ１３１〜１３３と、係数メモリ１３４とを有している。レジスタ１３１は、第１のタップ選択回路１２１で選択される予測タップのタップ位置情報を格納するためのものである。第１のタップ選択回路１２１は、レジスタ１３１より供給されるタップ位置情報に従って予測タップを選択する。タップ位置情報は、例えば選択される可能性のある複数の画素に対して番号付けを行い、選択する画素の番号を指定するものである。以下のタップ位置情報においても同様である。
【００４３】
レジスタ１３２は、第２のタップ選択回路１２２で選択される空間クラスタップのタップ位置情報を格納するものである。第２のタップ選択回路１２２は、レジスタ１３２より供給されるタップ位置情報に従って空間クラスタップを選択する。
【００４４】
ここで、レジスタ１３２には、動きが比較的小さい場合のタップ位置情報Ａと、動きが比較的大きい場合のタップ位置情報Ｂとが格納される。これらタップ位置情報Ａ，Ｂのいずれを第２のタップ選択回路１２２に供給するかは、動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択される。
【００４５】
すなわち、動きがないか、あるいは動きが小さいためにＭＶ＝０またはＭＶ＝１であるときは、タップ位置情報Ａが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、複数フィールドに跨るものとされる。また、動きが比較的大きいためにＭＶ＝２またはＭＶ＝３であるときは、タップ位置情報Ｂが第２のタップ選択回路１２２に供給され、この第２のタップ選択回路１２２で選択される空間クラスタップは、図示せずも、作成すべき画素と同一フィールド内の画素のみとされる。
【００４６】
なお、上述したレジスタ１３１にも動きが比較的小さい場合のタップ位置情報と、動きが比較的大きい場合のタップ位置情報が格納されるようにし、第１のタップ選択回路１２１に供給されるタップ位置情報が動きクラス検出回路１２５より出力される動きクラスのクラス情報ＭＶによって選択されるようにしてもよい。
【００４７】
レジスタ１３３は、第３のタップ選択回路１２３で選択される動きクラスタップのタップ位置情報を格納するものである。第３のタップ選択回路１２３は、レジスタ１３３より供給されるタップ位置情報に従って動きクラスタップを選択する。
【００４８】
さらに、係数メモリ１３４は、後述する推定予測演算回路１２７で使用される推定式の係数データを、クラス毎に、格納するものである。この係数データは、５２５ｉ信号を、出力画像信号Ｖoutとしての新たな５２５ｉに変換するための情報である。係数メモリ１３４には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この係数メモリ１３４からはクラスコードＣＬに対応した係数データが読み出され、推定予測演算回路１２７に供給される。
【００４９】
また、画像信号処理部１１０は、情報メモリバンク１３５を有している。この情報メモリバンク１３５には、レジスタ１３１〜１３３に格納するためのタップ位置情報が予め蓄えられている。この場合、情報メモリバンク１３５には、画像の拡大率や変化速度に対応したタップ位置情報が予め蓄えられている。システムコントローラ１０１の制御により、画像の拡大率や変化速度に対応したタップ位置情報が、情報メモリバンク１３５よりレジスタ１３１〜１３３にロードされる。
【００５０】
上述したように、ユーザのリモコン送信機２００の操作により、通常モードとズームモードとの切り換えが行われる。通常モードの場合、画像の拡大率は１である。また、ズームモードの場合、画像の拡大率は、ユーザの操作子の操作に応じて（マニュアルモード）、あるいは自動的に変化していく（オートモード）。
【００５１】
また、情報メモリバンク１３５には、各クラスの係数種データが予め蓄えられている。この係数種データは、上述した係数メモリ１３４に格納するための係数データを生成するための、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇをパラメータとする生成式の係数データである。
【００５２】
後述する推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３４より読み出される係数データＷｉとから、（４）式の推定式によって、作成すべき画素データｙが演算される。第１のタップ選択回路１２１で選択される予測タップが１０個であるとき、（４）式におけるｎは１０となる。
【００５３】
【数３】

【００５４】
そして、この推定式の係数データＷｉ（ｉ＝１〜ｎ）は、例えば（５）式で示されるように、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇをパラメータとする生成式によって生成される。ここで、位相情報ｈは水平方向の位相情報であり、位相情報は垂直方向の位相情報である。また、画質調整情報ｆは解像度を調整するための画質調整情報であり、画質調整情報ｇはノイズ抑圧度を調整するための画質調整情報である。
【００５５】
情報メモリバンク１３５には、この生成式の係数データである係数種データｗ_i0〜ｗ_i30（ｉ＝１〜ｎ）が、クラス毎に、記憶されている。この係数種データの生成方法については後述する。
【００５６】
【数４】

【００５７】
また、画像信号処理部１１０は、各クラスの係数種データおよび位相情報ｈ，ｖ、画質調整情報ｆ，ｇの値とを用い、（５）式によって、クラス毎に、位相情報ｈ，ｖおよび画質調整情報ｆ，ｇの値に対応した推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成する係数生成回路１３６を有している。
【００５８】
係数生成回路１３６には、情報メモリバンク１３５より、各クラスの係数種データがロードされる。また、この係数生成回路１３６には、作成すべき出力画像信号Ｖoutを構成する各単位画素ブロック毎に、後述する位相情報発生回路１３９で発生される、その単位画素ブロック内に存在する各画素の位相情報ｈ，ｖが供給される。さらに、この係数生成回路１３６には、各単位画素ブロック毎に、後述する画質調整情報発生回路１４０で発生される画質調整情報ｆ，ｇが供給される。
【００５９】
この係数生成回路１３６で各単位画素ブロック毎に生成される各クラスの、各位相情報ｈ，ｖおよび画質調整情報ｆ，ｇに対応した係数データＷｉ（ｉ＝１〜ｎ）は、上述した係数メモリ１３４に格納される。
【００６０】
また、画像信号処理部１１０は、位相情報発生回路１３９を有している。この位相情報発生回路１３９には、システムコントローラ１０１より、画像の拡大率に対応した入力画像信号Ｖinと出力画像信号Ｖoutにおける垂直方向、水平方向の各フィールドにおける画素数の対応情報ｎ／ｍが、さらにズームモードの場合にはズーム中心点の情報ｐも供給される。
【００６１】
位相情報発生回路１３９は、これら対応情報ｎ／ｍおよびズーム中心点の情報ｐに基づいて、出力画像信号Ｖoutを構成する各単位画素ブロック毎に、その単位ブロック内の各画素の位相情報ｈ，ｖを発生する。この位相情報発生回路１３９は例えばＲＯＭテーブルで構成される。
【００６２】
この位相情報発生回路１３９で出力画像信号Ｖoutを構成する各単位画素ブロック毎に発生される各画素の位相情報ｈ，ｖは、それぞれ画素番号（タップ番号）と関連付けられて、係数生成回路１３６に供給される。なお、位相情報発生回路１３９は、入力画像信号Ｖinの奇数、偶数のフィールドのそれぞれに対応して位相情報ｈ，ｖを発生する。
【００６３】
ここで、出力画像信号Ｖoutを構成する単位画素ブロックについて説明する。
【００６４】
画像の拡大率（画像サイズ）に応じて、出力画像信号Ｖoutを生成するための入力画像信号Ｖinの処理領域が変化する。入力画像信号Ｖinの全体領域を１とするとき、例えば画像の拡大率が１であるとき入力画像信号Ｖinの処理領域は１であり、画像の拡大率が２であるとき入力画像信号Ｖinの処理領域は１／２となる。一般に、画像の拡大率がＴであるとき、入力画像信号Ｖinの処理領域は１／Ｔとなる。
【００６５】
通常モードの場合には、画像の拡大率は１であるので、入力画像信号Ｖinの処理領域は１のまま固定である。ズームモードの場合、画像の拡大率が連続的に変化するので、入力画像信号Ｖinの処理領域も連続的に変化する。図２は、ズームモードの場合にあって、画像の拡大率が順次大きくなっていくときの、入力画像信号Ｖinの処理領域と出力画像信号Ｖoutによる画像（出力画像）の表示範囲との関係を示している。この場合、入力画像信号Ｖinの処理領域は順次小さくなるが、出力画像の表示範囲は常に一定である。なお、図示せずも、ズームモードの場合にあって、画像の拡大率が順次小さくなっていくときは、図２とは逆の変化となる。
【００６６】
また、ズームモードの場合、ユーザによって指定される任意の点（ズーム中心点）を中心として画像の拡大率が連続的に変化したズーム画像を表示する。この場合、入力画像信号Ｖinの処理領域を、ズーム中心点に応じて可変する。
【００６７】
具体的には、入力画像信号Ｖinの全体領域に対して実際の処理領域は上述したように画像の拡大率に応じて変化するが、この処理領域は、常に上述したズーム中心点を含み、そのズーム中心点の水平、垂直の内分比が、入力画像信号Ｖinの全体領域におけるそのズーム中心点の水平、垂直の内分比と同一となるように設定される。
【００６８】
図３Ａ〜Ｃは、画像の拡大率が２（２倍ズーム）である場合におけるズーム中心点と処理領域との関係例を示している。この図３Ａ〜Ｃにおいて、数字は内分比を表している。
【００６９】
出力画像信号Ｖoutを構成する各単位画素ブロックは、上述した処理領域内に複数個、碁盤の目状に整然と並んでいる。単位画素ブロックの大きさは、画像の拡大率により変化し、入力画像信号Ｖinのｍ×ｍの画素に対して出力画像信号Ｖoutのｎ×ｎの画素が対応しているときは、ｎ×ｎということになる。そして、この単位画素ブロックは、入力画像信号Ｖinのｍ×ｍの画素に対応していることになる。
【００７０】
例えば、拡大率として２．５倍が選択されている場合、図４に示すように、垂直方向に関してｎ／ｍ＝５／２であり、水平方向に関してｎ／ｍは５／２である。そのため、入力画像信号Ｖinとしての５２５ｉ信号の２×２の画素ブロックに対して出力画像信号Ｖoutとしての５２５ｉ信号の５×５の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは５×５の画素ブロックということになる。なお、図４では、大きなドットが入力画像信号Ｖinの画素であり、小さなドットが出力画像信号Ｖoutの画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【００７１】
この場合、位相情報発生回路１３９では、この５×５の単位画素ブロック内の各画素について、上述した５２５ｉ信号の２×２の画素ブロック内の画素のうち、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとすると共に、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとする。本実施の形態においては、５２５ｉ信号の水平方向、垂直方向の画素間隔が１６とされて、上述の位相情報ｈ，ｖが求められる。
【００７２】
ここで、位相情報ｈに関しては、その対象画素が最短画素より左方に位置するときは負の値とされ、逆にその対象画素が最短画素より右方に位置するときは正の値とされる。同様に、位相情報ｖに関しては、対象画素が最短画素より上方に位置するときは負の値とされ、逆にその対象画素が最短画素より下方に位置するときは正の値とされる。
【００７３】
また例えば、拡大率として１．２５倍が選択されている場合、図５に示すように、垂直方向に関してｎ／ｍ＝５／４であり、水平方向に関してｎ／ｍは５／４である。そのため、入力画像信号Ｖinとしての５２５ｉ信号の４×４の画素ブロックに対して出力画像信号Ｖoutとしての５２５ｉ信号の５×５の画素ブロックが対応したものとなる。この場合、出力画像信号Ｖoutを構成する単位画素ブロックは５×５の画素ブロックということになる。なお、図５では、大きなドットが入力画像信号Ｖinの画素であり、小さなドットが出力画像信号Ｖoutの画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【００７４】
この場合、位相情報発生回路１３９では、この５×５の単位画素ブロック内の各画素について、上述した５２５ｉ信号の４×４の画素ブロック内の画素のうち、水平方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｈとすると共に、垂直方向に最も近い位置にある画素（最短画素）までの距離を求めて位相情報ｖとする。
【００７５】
なお、位相情報発生回路１３９からは、ズームモードの場合、ズーム中心点の情報ｐに基づいて、ズーム中心点に対応した生成画素位相が常に同じ、例えばｈ＝０、ｖ＝０となるように、位相情報ｈ，ｖが発生される。
【００７６】
また、図１に戻って、画像信号処理部１１０は、画質調整情報ｆ，ｇを発生する画質調整情報発生回路１４０を有している。この画質調整情報発生回路１４０には、システムコントローラ１０１より、画像の拡大率に係る情報として、拡大率Ｔおよびその変化速度Ｋが供給される。また、動きクラス検出回路１２５から動きクラスのクラス情報ＭＶが供給されると共に、空間クラス検出回路１２４からダイナミックレンジＤＲが供給される。これらクラス情報ＭＶおよびダイナミックレンジＤＲは、それぞれ、出力画像信号Ｖoutにおける注目位置の周辺に位置する入力画像信号Ｖinの複数の画素データから抽出された特徴情報である。
【００７７】
画質調整情報発生回路１４０は、これら拡大率Ｔ、変化速度Ｋ、クラス情報ＭＶおよびダイナミックレンジＤＲに基づいて、画質調整情報ｆ，ｇを発生する。この画質調整情報発生回路１４０は例えばＲＯＭテーブルで構成される。上述したように、画質調整情報ｆは解像度を調整するためのものであり、画質調整情報ｇはノイズ抑圧度を調整するためのものである。例えば、情報ｆ，ｇはそれぞれ０〜８の範囲の値をとるようにされ、ｆ＝０のとき解像度弱め、ｆ＝８のとき解像度強め、ｇ＝０のときノイズ抑圧なし、ｇ＝８のときノイズ抑圧強め、のようになる。
【００７８】
図６Ａは、ＭＶ＝０であって注目位置が静止画である場合における拡大率Ｔ、変化速度Ｋと解像度調整情報ｆとの関係を示している。図６Ｂは、ＭＶ＝１〜３であって注目位置が動画である場合における拡大率Ｔ、変化速度Ｋと解像度調整情報ｆとの関係を示している。図６Ｃは、拡大率Ｔ、変化速度Ｋとノイズ抑圧度調整情報ｇとの関係を示している。
【００７９】
図７Ａ〜Ｃは、それぞれ図６Ａ〜Ｃを拡大率Ｔの軸側で見たものである。図７Ａに示すように、静止画では、拡大率Ｔが上がるに従って解像度調整情報ｆの値が大きく、つまり解像度を上げる方向に設定される。これにより。静止画を拡大した場合に生じる画像のボケを抑制できる。
【００８０】
また、図７Ｂに示すように、動画では、拡大率Ｔが上がるに従って解像度調整情報ｆの値が小さく、つまり解像度を下げる方向に設定される。これにより、動画を拡大した場合、動きクラスの切り替わり目における折り返し歪みが目立たないようにできる。
【００８１】
また、図７Ｃに示すように、拡大率Ｔがある値、例えば２を越えた範囲では、拡大率Ｔが上がるに従ってノイズ抑圧度情報ｇの値が大きく、つまりノイズ抑圧を強める方向に設定される。これにより、画像を拡大した場合にノイズが目立つことを抑制できる。
【００８２】
なお、図７Ａに示すように、静止画における解像度調整情報ｆの値は、さらにダイナミックレンジＤＲが大きくなる程大きく、つまり解像度を上げる方向に設定される。これは、ダイナミックレンジＤＲが大きくなる程エッジのボケが大きくなるが、それを抑制するためである。また、図７Ｂに示すように、動画における解像度調整情報ｆの値は、さらにダイナミックレンジＤＲが大きくなる程小さく、つまり解像度を下げる方向に設定される。これは、ダイナミックレンジＤＲが大きくなる程エッジの動きが目立つようになるが、それを抑制するためである。また、図７Ｃに示すように、ノイズ抑圧度調整情報ｇは、さらにダイナミックレンジＤＲが大きくなる程小さく、つまりノイズ抑圧度を下げる方向に設定する。これは、ダイナミックレンジＤＲが大きな部分ではノイズが目立ちにくく、ノイズを抑圧することによる解像度の低下を抑制するためである。
【００８３】
図８Ａ〜Ｃは、それぞれ図６Ａ〜Ｃを変化速度Ｋの軸画で見たものである。図８Ａに示すように、静止画では、変化速度Ｋが上がるに従って解像度調整情報ｆの値が小さく、つまり解像度を下げる方向に設定される。これにより。静止画を拡大する場合、変化速度が速くなって入力画像信号Ｖinの処理領域の時間変動が大きくなっても、解像度が下がるので、視覚的に滑らかなズーム画像を得ることができる。
【００８４】
また、図８Ｂに示すように、動画でも、変化速度Ｋが上がるに従って解像度調整情報ｆの値が小さく、つまり解像度を下げる方向に設定される。ただし、動画の場合、静止画よりも画像の時間的変化が大きいため、静止画の場合に比べて、解像度を下げる割合が大きくされる。これにより、静止画を拡大する場合、変化速度が速くなって入力画像信号Ｖinの処理領域の時間変動が大きくなっても、解像度が下がるので、視覚的に滑らかなズーム画像を得ることができる。
【００８５】
また、図８Ｃに示すように、変化速度Ｋがある値を越えた範囲では、変化速度Ｋが上がるに従ってノイズ抑圧度情報ｇの値が大きく、つまりノイズ抑圧を強める方向に設定される。これにより、変化速度が大きくなった場合に目立つノイズを良好に抑制できる。
【００８６】
なお、図８Ａに示すように、静止画における解像度調整情報ｆの値は、さらにダイナミックレンジＤＲが大きくなる程小さく、つまり解像度を下げる方向に設定される。これは、静止画においても変化速度Ｋが大きくなる程動画的になるが、その場合にダイナミックレンジＤＲが大きくなる程エッジが目立つようになるため、それを抑制するためである。また、図８Ｂに示すように、動画における解像度調整情報ｆの値は、さらにダイナミックレンジＤＲが大きくなる程小さく、つまり解像度を下げる方向に設定される。この理由は、上述した静止画の場合と同様である。また、図８Ｃに示すように、ノイズ抑圧度調整情報ｇは、さらにダイナミックレンジＤＲが大きくなる程小さく、つまりノイズ抑圧度を下げる方向に設定する。これは、ダイナミックレンジＤＲが大きな部分ではノイズが目立ちにくく、ノイズを抑圧することによる解像度の低下を抑制するためである。
【００８７】
なお、図６Ａ〜Ｃに示すような関係を複数種類用意しておき、ユーザが例えばリモコン送信機２００の操作で、実際に使用する関係を選択できるようにしてもよい。
【００８８】
また、図１に戻って、画像信号処理部１１０は、正規化係数生成回路１３７と、正規化係数メモリ１３８とを有している。上述したように、係数生成回路１３６は、出力画像信号Ｖoutを構成する各単位画素ブロックのそれぞれにつき、その単位画素ブロック内に存在する各画素の係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に生成する。正規化係数生成回路１３７は、単位画素ブロック毎に、（６）式によって、各クラスの正規化係数Ｓをそれぞれ演算する。正規化係数メモリ１３８は、この正規化係数Ｓをクラス毎に格納する。
【００８９】
この正規化係数メモリ１３８には上述したクラス合成回路１２６より出力されるクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓが読み出され、後述する正規化演算回路１２８に供給される。
【００９０】
【数５】

【００９１】
また、画像信号処理部１１０は、第１のタップ選択回路１２１で選択的に取り出される予測タップのデータｘｉ（ｉ＝１〜ｎ）と、係数メモリ１３４より読み出される係数データＷｉ（ｉ＝１〜ｎ）とから、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータを演算する推定予測演算回路１２７を有している。
【００９２】
この推定予測演算回路１２７では、出力画像信号Ｖoutを構成する画素データが単位画素ブロック毎に生成される。すなわち、この推定予測演算回路１２７には、第１のタップ選択回路１２１より単位画素ブロック内の各画素（注目画素）に対応した予測タップのデータｘｉと、係数メモリ１３４よりその単位画素ブロックを構成する各画素に対応した係数データＷｉとが供給され、単位画素ブロックを構成する各画素のデータは、それぞれ個別に上述した（４）式の推定式で演算される。
【００９３】
例えば、図４に示すように画像の拡大率が２．５倍（ｎ／ｍ＝５／２）のとき、単位画素ブロックを構成する２５個の画素データ同時的に生成される。また、図示せずも、画像の拡大率が１．７５倍（ｎ／ｍ＝７／４）のとき、単位画素ブロックを構成する４９個の画素データ同時的に生成される。
【００９４】
また、画像信号処理部１１０は、推定予測演算回路１２７より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_P（Ｐは単位ブロックを構成する画素の個数）を、正規化係数メモリ１３８より読み出され、それぞれの生成に使用された係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓで除算して正規化する正規化演算回路１２８を有している。
【００９５】
上述せずも、係数生成回路１３６で係数種データより生成式で推定式の係数データを求めるものであるが、生成される係数データは丸め誤差を含み、係数データＷｉ（ｉ＝１〜ｎ）の総和が１．０になることは保証されない。そのため、推定予測演算回路１２７で演算される各画素のデータｙ₁〜ｙ_Pは、丸め誤差によってレベル変動したものとなる。上述したように、正規化演算回路１２８で正規化することで、その変動を除去できる。
【００９６】
また、画像信号処理部１１０は、正規化演算回路１２８で正規化されて順次供給される各単位画素ブロック内の画素のデータｙ₁′〜ｙ_P′から５２５ｉ信号を構成し、出力画像信号Ｖoutとして出力する後処理回路１２９を有している。この後処理回路１２９は、各単位画素ブロック内の画素データｙ₁′〜ｙ_P′を１フィールド分まとめてからラスタースキャン順に出力することで５２５ｉ信号とする。
【００９７】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第２のタップ選択回路１２２で、作成すべき出力画像信号Ｖoutにおける注目位置の周辺に位置する空間クラスタップのデータ（画素データ）が選択的に取り出される。この場合、第２のタップ選択回路１２２では、レジスタ１３２より供給される、動きおよび画像の拡大率に対応したタップ位置情報に基づいて、タップの選択が行われる。
【００９８】
この第２のタップ選択回路１２２で選択的に取り出される空間クラスタップのデータは空間クラス検出回路１２４に供給される。この空間クラス検出回路１２４では、空間クラスタップのデータとしての各画素データに対してＡＤＲＣ処理が施されて空間クラスのクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【００９９】
また、バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第３のタップ選択回路１２３で、作成すべき出力画像信号Ｖoutにおける注目位置の周辺に位置する動きクラスタップのデータ（画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１２３では、レジスタ１３３より供給される、画像の拡大率に対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１００】
この第３のタップ選択回路１２３で選択的に取り出される動きクラスタップのデータは動きクラス検出回路１２５に供給される。この動きクラス検出回路１２５では、動きクラスタップのデータとしての各画素データより動きクラスのクラス情報ＭＶが得られる。
【０１０１】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１２６に供給される。このクラス合成回路１２６では、これら動き情報ＭＶと再量子化コードＱｉとから、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素（注目画素）が属するクラスを示すクラスコードＣＬが順次得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３４および正規化係数メモリ１３８に読み出しアドレス情報として供給される。
【０１０２】
係数メモリ１３４には、位相情報発生回路１３９で発生された出力画像信号Ｖoutを構成する単位画素ブロック内の各画素の位相情報ｈ，ｖに対応した各クラスの推定式の係数データＷｉ（ｉ＝１〜ｎ）が、係数生成回路１３６で生成されて格納される。また、正規化係数メモリ１３８には、上述したように係数生成回路１３６で生成された各クラスおよび各位相情報の係数データＷｉ（ｉ＝１〜ｎ）に対応した正規化係数Ｓが正規化係数生成回路１３７で生成されて格納される。
【０１０３】
係数メモリ１３４に上述したようにクラスコードＣＬが読み出しアドレス情報として供給されることで、この係数メモリ１３４からクラスコードＣＬに対応した各位相情報ｈ，ｖにおける係数データＷｉが読み出されて推定予測演算回路１２７に供給される。
【０１０４】
また、バッファメモリ１０９に記憶されている入力画像信号Ｖinとしての５２５ｉ信号より、第１のタップ選択回路１２１で、作成すべき出力画像信号Ｖoutにおける注目位置の周辺に位置する予測タップのデータ（画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１２１では、レジスタ１３１より供給される、画像の拡大率に対応したタップ位置情報に基づいて、タップの選択が行われる。この第１のタップ選択回路１２１で選択的に取り出される予測タップのデータｘｉは推定予測演算回路１２７に供給される。
【０１０５】
推定予測演算回路１２７では、予測タップのデータｘｉと、係数メモリ１３４より読み出される各位相情報における係数データＷｉとから、作成すべき出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pが同時的に演算される（（４）式参照）。そして、この推定予測演算回路１２７より順次出力される出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pは正規化演算回路１２８に供給される。
【０１０６】
正規化係数メモリ１３８には上述したようにクラスコードＣＬが読み出しアドレス情報として供給され、この正規化係数メモリ１３８からはクラスコードＣＬに対応した正規化係数Ｓ、つまり推定予測演算回路１２７より出力されるデータｙ₁〜ｙ_Pの演算にそれぞれ使用された係数データＷｉに対応した正規化係数Ｓが読み出されて正規化演算回路１２８に供給される。正規化演算回路１２８では、推定予測演算回路１２７より出力されるデータｙ₁〜ｙ_Pがそれぞれ対応する正規化係数Ｓで除算されて正規化される。これにより、係数種データを用いて生成式（（５）式参照）で推定式（（４）式参照）の係数データを求める際の丸め誤差によるデータｙ₁〜ｙ_Pのレベル変動が除去される。
【０１０７】
このように正規化演算回路１２８で正規化されて順次出力される単位画素ブロック内の各画素のデータｙ₁′〜ｙ_P′は後処理回路１２９に供給される。このような動作は、出力画像信号Ｖoutの各フィールドにおいて、そのフィールド内の複数の単位画素ブロックについて行われる。後処理回路１２９では、各フィールドにおいて、データｙ₁′〜ｙ_P′が１フィールド分まとめてから、ラスタースキャン順に出力する。これにより、後処理回路１２９から、出力画像信号Ｖoutとして５２５ｉ信号が得られる。
【０１０８】
ここで、画像の拡大率（画像サイズ）に応じて、出力画像信号Ｖoutを生成するための入力画像信号Ｖinの処理領域が変化するようにされる。また、この処理領域は、常にズーム中心点を含み、そのズーム中心点の水平、垂直の内分比が、入力画像信号Ｖinの全体領域におけるズーム中心点の水平、垂直の内分比と同一となるように設定される。また、位相情報発生回路１３９からは、この処理領域内の各単位画素ブロックについて、その単位画素ブロック内に存在する各画素の位相情報ｈ，ｖが発生される。
【０１０９】
これにより、通常モードの場合には、画像の拡大率が１で固定であることから、ディスプレイ部１１１には拡大率が１である通常画像が表示される。また、ズームモードの場合には、画像の拡大率が順次変化していくことから、ディスプレイ部１１１には、ユーザが指定したズーム中心点を中心として、画像の拡大率が連続的に変化したズーム画像が表示される。
【０１１０】
上述したように、係数生成回路１３６で、情報メモリバンク１３５よりロードされる各クラスの係数種データおよび位相情報発生回路１３９で発生される位相情報ｈ，ｖの値とを用い、クラス毎に、位相情報ｈ，ｖの値に対応した推定式の係数データＷｉが生成され、これが係数メモリ１３４に格納される。そして、この係数メモリ１３４より、クラスコードＣＬに対応して読み出される各位相情報における係数データＷｉを用いて推定予測演算回路１２７で、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータｙ₁〜ｙ_Pが演算される。したがって、各拡大率に対応した係数データをメモリに格納しておくものではなく、大量の係数データを格納しておくメモリが不要となる。
【０１１１】
また、画質調整回路１４０から、画像の拡大率Ｔ、その変化速度Ｋ、動きクラス情報ＭＶおよびダイナミックレンジＤＲに対応して、画質調整情報ｆ，ｇが発生され、この画質調整情報ｆ，ｇが係数生成回路１３６に供給される。そして、係数生成回路１３６では、この画質調整情報ｆ，ｇに対応して係数データＷｉが生成され、画質調整が行われる。これにより、ズーム画像の画質を向上させることができる。
【０１１２】
例えば、画像の拡大率の変化速度が大きくなるほど、解像度およびノイズ抑圧度が低下するように調整され、ズーム時に、滑らかなズーム画像を得ることができる。また例えば、画像の拡大率が大きくなるほど、ノイズ抑圧度が増加するように調整され、拡大した画像においてノイズが目立つことを抑制される。また例えば、画像の拡大率が大きくなるほど、静止画では解像度が増加するようにされ、一方動画では解像度が低下するようにされ、静止画を拡大した場合画像全体にボケが生じることが抑制され、また動画を拡大した場合動きクラスの切り替わり目において折り返し歪みが発生することが防止される。
【０１１３】
なお、画質調整情報ｆ，ｇによる画質調整は、必ずしも、係数データＷｉを生成する際に行う必要はない。推定予測演算回路１２７で出力画像信号Ｖoutの画素データを生成した後に、高域を強調するエンハンサ、ノイズを除去するノイズ除去回路等を用いて行ってもよい。
【０１１４】
上述したように、情報メモリバンク１３５には、係数種データが、クラス毎に、記憶されている。この係数種データは、予め学習によって生成されたものである。
まず、この生成方法の一例について説明する。（５）式の生成式における係数データである係数種データｗ_i0〜ｗ_i30を求める例を示すものとする。
【０１１５】
ここで、以下の説明のため、（７）式のように、ｔj（ｊ＝０〜３０）を定義する。

この（７）式を用いると、（５）式は、（８）式のように書き換えられる。
【０１１６】
【数６】

【０１１７】
最終的に、学習によって未定係数ｗ_ijを求める。すなわち、クラス毎に、生徒信号の画素データと教師信号の画素データとを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅ_k、二乗誤差の総和をＥとすると、（４）式および（５）式を用いて、Ｅは（９）式で表される。ここで、ｘ_ikは生徒画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応する教師画像のｋ番目の画素データを表している。
【０１１８】
【数７】

【０１１９】
最小二乗法による解法では、（９）式のｗ_ijによる偏微分が０になるようなｗ_ijを求める。これは、（１０）式で示される。
【０１２０】
【数８】

【０１２１】
以下、（１１）式、（１２）式のように、Ｘ_ipjq、Ｙ_ipを定義すると、（１０）式は、行列を用いて（１３）式のように書き換えられる。
【０１２２】
【数９】

【０１２３】
【数１０】

【０１２４】
この方程式は一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_ijについて解かれ、係数種データが算出される。
【０１２５】
図９は、上述した係数種データの生成方法の概念を示している。教師信号としてのＨＤ信号（１０５０ｉ信号）から生徒信号としてのＳＤ信号（５２５ｉ信号）を生成する。１０５０ｉ信号は、ライン数が１０５０本でインタレース方式の画像信号を意味している。
【０１２６】
図１０は、５２５ｉ信号と１０５０ｉ信号の画素位置関係を示している。ここで、大きなドットが５２５ｉ信号の画素であり、小さなドットが１０５０ｉ信号の画素である。また、奇数フィールドの画素位置を実線で示し、偶数フィールドの画素位置を破線で示している。
【０１２７】
このＳＤ信号の位相を垂直方向に８段階、水平方向に８段階にシフトさせて、８×８＝６４種類のＳＤ信号ＳＤ₁〜ＳＤ₆₄を生成する。図１１は、垂直方向への８段階の位相シフト状態Ｖ１〜Ｖ８を示している。ここでは、ＳＤ信号の垂直方向の画素間隔は１６であり、下方向が正の方向とされている。また、「ｏ」は奇数フィールドを、「ｅ」は偶数フィールドを表している。
【０１２８】
Ｖ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１２９】
Ｖ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，０，−４，−８の位相を持つようになる。Ｖ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７，３，−１，−５の位相を持つようになる。Ｖ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６，２，−２，−６の位相を持つようになる。Ｖ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，１，−３，−７の位相を持つようになる。
【０１３０】
図１２は、水平方向への８段階の位相シフト状態Ｈ１〜Ｈ８を示している。ここではＳＤ信号の水平方向の画素間隔は１６であり、右方向が正の方向とされている。
【０１３１】
Ｈ１の状態はＳＤ信号のシフト量が０とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、０,−８の位相を持つようになる。Ｈ２の状態はＳＤ信号のシフト量が１とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、７,−１の位相を持つようになる。Ｈ３の状態はＳＤ信号のシフト量が２とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、６,−２の位相を持つようになる。Ｈ４の状態はＳＤ信号のシフト量が３とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、５，−３の位相を持つようになる。
【０１３２】
Ｈ５の状態はＳＤ信号のシフト量が４とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、４，−４の位相を持つようになる。Ｈ６の状態はＳＤ信号のシフト量が５とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、３，−５の位相を持つようになる。Ｈ７の状態はＳＤ信号のシフト量が６とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、２，−６の位相を持つようになる。Ｈ８の状態はＳＤ信号のシフト量が７とされたものであり、この場合、ＨＤ信号の画素は、ＳＤ信号の画素に対して、１,−７の位相を持つようになる。
【０１３３】
図１３は、上述したように垂直方向に８段階、水平方向に８段階にシフトさせて得られた６４種類のＳＤ信号に関し、ＳＤ信号の画素を中心とした場合のＨＤ信号の位相を示している。すなわち、ＳＤ信号の画素に対して、ＨＤ信号の画素は図中の●で示す位相を持つようになる。
【０１３４】
ここでは、位相シフトの方法の例として、オーバーサンプリングフィルタから欲しい位相だけを抜き出す方法をあげる。上述した画質調整として、ここでは解像度調整、ノイズ抑圧度調整を例にあげると、このオーバーサンプリングフィルタの周波数特性を変えることにより解像度の異なる生徒画像を作成することができる。そして、解像度の異なる生徒画像によって、解像度を上げる効果の異なる係数を作成できる。例えばボケ具合の大きい生徒画像とボケ具合の小さい生徒画像があった場合、ボケ具合の大きい生徒画像による学習で、解像度を上げる効果の強い係数が生成され、ボケ具合の小さい生徒画像による学習で、解像度を上げる効果の弱い係数が生成される。
【０１３５】
さらに、解像度の異なる生徒画像の各々に対してノイズを加えることでノイズの加わった生徒画像を作成することができる。ノイズを加える量を可変することでノイズの量が異なる生徒画像が生成され、それによってノイズ抑圧効果の異なる係数が生成される。例えばノイズをたくさん加えた生徒画像とノイズを少し加えた生徒画像があった場合、ノイズをたくさん加えた生徒画像による学習でノイズ抑圧効果の強い係数が作成され、ノイズを少し加えた生徒画像による学習でノイズ抑圧効果の弱い係数が作成される。
【０１３６】
ノイズを加える量としては、例えば（１４）式のように、生徒画像の画素値ｘに対して、ノイズｎを加えてノイズの加わった生徒画像の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（１４）
【０１３７】
図１４は、最終的な学習対の概念を示している。ここでは例として、異なるオーバーサンプリングフィルタの周波数特性を８段階とし、ノイズ加算量も８段階とする。個々の周波数特性による生徒画像での学習により、解像度調整に対応する係数データが作成され、さらに個々のノイズ加算された生徒画像での学習により、ノイズ抑圧度調整に対応する係数データが作成される。さらに個別の周波数特性、ノイズ加算量に対し、位相の異なる生徒画像で学習することで、異なる位相に対応する画素を生成する係数データが作成される。
【０１３８】
図１５は、上述した概念で係数種データを生成する係数種データ生成装置１５０の構成を示している。
この係数種データ生成装置１５０は、教師信号としてのＨＤ信号（１０５０i）が入力される入力端子１５１と、このＨＤ信号に対して、水平および垂直方向にオーバーサンプリングフィルタをかけ、欲しい位相を抜き出してＳＤ信号を得る位相シフト回路１５２Ａと、このＳＤ信号に対し、ノイズを加算するノイズ加算回路１５２Ｂとを有している。
【０１３９】
位相シフト回路１５２Ａにはオーバーサンプリングフィルタの周波数特性を指定するパラメータｆ、および水平方向、垂直方向への位相シフト量を指定するパラメータｈ，ｖが入力される。ノイズ加算回路１５２Ｂにはノイズの加算割合を指定するパラメータｇが入力される。ここで、パラメータｆは図１の画像信号処理部１１０における解像度調整情報ｆに対応し、パラメータｈ，ｖは図１の画像信号処理部１１０における位相情報ｈ，ｖに対応し、パラメータｇは図１の画像信号処理部１１０におけるノイズ抑圧度調整情報ｇに対応するものである。
【０１４０】
また、係数種データ生成装置１５０は、ノイズ加算回路１５２Ｂより出力されるＳＤ信号より、ＨＤ信号おける注目位置の周辺に位置する複数のＳＤ画素のデータを選択的に取り出して出力する第１〜第３のタップ選択回路１５３〜１５５を有している。
【０１４１】
これら第１〜第３のタップ選択回路１５３〜１５５は、上述した画像信号処理部１１０の第１〜第３のタップ選択回路１２１〜１２３と同様に構成される。これら第１〜第３のタップ選択回路１５３〜１５５で選択されるタップは、タップ選択制御回路１５６からのタップ位置情報によって指定される。また、タップ選択制御回路１５６には後述する動きクラス検出回路１５８より出力される動きクラスのクラス情報ＭＶが供給される。
【０１４２】
また、係数種データ生成装置１５０は、空間クラス検出回路１５７、動きクラス検出回路１５８、クラス合成回路１５９を有しているが、これらは上述した画像信号処理部１１０における空間クラス検出回路１２４、動きクラス検出回路１２５、クラス合成回路１２６と同様である。空間クラス検出回路１５７、動きクラス検出回路１５８はそれぞれ第２、第３のタップ選択回路から取り出されるタップデータ（画素データ）を入力とする。
【０１４３】
また、係数種データ生成装置１５０は、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、オーバーサンプリングフィルタの周波数特性を指定するパラメータｆ、および水平方向、垂直方向への位相シフト量を指定するパラメータｈ，ｖ、ノイズの加算割合を指定するパラメータｇから、クラス毎に係数種データｗ_i0〜ｗ_i30（ｉ＝１〜ｎ）を得るための正規方程式（（１３）式参照）を生成する正規方程式生成部１６０を有している。
【０１４４】
この場合、一個のＨＤ画素データｙとそれに対応するｎ個の予測タップ画素データとの組み合わせで学習データが生成されるが、位相シフト回路１５２Ａへのパラメータｆ，ｈ，ｖ、およびノイズ加算回路１５２Ｂへのパラメータｇが順次変更されていき、それに応じたＳＤ信号が順次生成され、これによって正規方程式生成部１６０では多くの学習データが登録された正規方程式が生成される。このようにＳＤ画像を順次作成して学習データを登録することで、任意の解像度調整、ノイズ抑圧度調整、および水平、垂直の位相の画素データを得るための係数種データを求めることが可能となる。
【０１４５】
また、係数種生成装置１５０は、正規方程式生成部１６０でクラス毎に生成された正規方程式のデータが供給され、クラス毎に正規方程式を解いて、各クラスの係数種データｗ_i0〜ｗ_i30を求める係数種データ決定部１６１と、この求められた係数種データｗ_i0〜ｗ_i30を記憶する係数種メモリ１６２とを有している。
【０１４６】
図１５に示す係数種データ生成装置１５０の動作を説明する。入力端子１５１には教師信号としてのＨＤ信号（１０５０ｉ信号）が入力される。このＨＤ信号に対して、位相シフト回路１５２Ａでは、水平および垂直方向にオーバーサンプリングフィルタがかけられ、欲しい位相が抜き出されてＳＤ信号が得られる。この場合、ＳＤ信号として垂直方向に８段階、水平方向に８段階にシフトされたものが順次生成される。
【０１４７】
また、各位相のＳＤ信号に対して、位相シフト回路１５２Ａに入力されるパラメータｆおよびノイズ加算回路１５２Ｂに入力されるパラメータｇが順次変更されていき、それに応じたＳＤ信号が順次生成される。
【０１４８】
ノイズ加算回路１５２Ｂより出力される各ＳＤ信号より、第２のタップ選択回路１５４で、ＨＤ信号における注目位置の周辺に位置する空間クラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この第２のタップ選択回路１５４では、タップ選択制御回路１５６より供給される、動きクラス情報ＭＶに対応したタップ位置情報に基づいて、タップの選択が行われる。
【０１４９】
この第２のタップ選択回路１５４で選択的に取り出される空間クラスタップのデータ（ＳＤ画素データ）は空間クラス検出回路１５７に供給される。この空間クラス検出回路１５７では、空間クラスタップのデータとしての各ＳＤ画素データに対してＡＤＲＣ処理が施されて空間クラスのクラス情報としての再量子化コードＱｉが得られる（（１）式参照）。
【０１５０】
また、ノイズ加算回路１５２Ｂより出力される各ＳＤ信号より、第３のタップ選択回路１５５で、ＨＤ信号における注目位置の周辺に位置する動きクラスタップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第３のタップ選択回路１５５では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１５１】
この第３のタップ選択回路１５５で選択的に取り出される動きクラスタップのデータ（ＳＤ画素データ）は動きクラス検出回路１５８に供給される。この動きクラス検出回路１５８では、動きクラスタップのデータとしての各ＳＤ画素データより動きクラスのクラス情報ＭＶが得られる。
【０１５２】
この動き情報ＭＶと上述した再量子化コードＱｉはクラス合成回路１５９に供給される。このクラス合成回路１５９では、これら動き情報ＭＶと再量子化コードＱｉとから、ＨＤ信号に係る注目画素が属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。
【０１５３】
また、ノイズ加算回路１５２Ｂより出力される各ＳＤ信号より、第１のタップ選択回路１５３で、ＨＤ信号における注目位置の周辺に位置する予測タップのデータ（ＳＤ画素データ）が選択的に取り出される。この場合、第１のタップ選択回路１５３では、タップ選択制御回路１５６より供給されるタップ位置情報に基づいて、タップの選択が行われる。
【０１５４】
そして、入力端子１５１に供給されるＨＤ信号より得られる注目画素データとしての各ＨＤ画素データｙと、この各ＨＤ画素データｙにそれぞれ対応して第１のタップ選択回路１５３で選択的に取り出される予測タップのデータ（ＳＤ画素データ）ｘｉと、各ＨＤ画素データｙにそれぞれ対応してクラス合成回路１５９より出力されるクラスコードＣＬと、パラメータｆ，ｈ，ｖ，ｇとから、正規方程式生成部１６０では、クラス毎に、係数種データｗ_i0〜ｗ_i30（ｉ＝１〜ｎ）を得るための正規方程式が生成される。
【０１５５】
そして、係数種データ決定部１６１でその正規方程式が解かれ、各クラスの係数種データｗ_i0〜ｗ_i30が求められ、その係数種データｗ_i0〜ｗ_i30はクラス別にアドレス分割された係数種メモリ１６２に記憶される。
【０１５６】
このように、図１５に示す係数種データ生成装置１５０においては、図１の画像信号処理部１１０の情報メモリバンク１３５に記憶される、各クラスの係数種データｗ_i0〜ｗ_i30を生成することができる。
【０１５７】
なお、図１５に示す係数種生成装置１５０は、オーバーサンプリングフィルタの周波数特性を指定するパラメータｆ、ノイズの加算割合を指定するパラメータｇ、および水平方向、垂直方向への位相シフト量を指定するパラメータｈ，ｖを順次変更していき、多くの学習データが登録された正規方程式を作成し、各クラスの係数種データｗ_i0〜ｗ_i30を一度に求めている。
【０１５８】
係数種データｗ_i0〜ｗ_i30を求める別の方法としては、パラメータｆ，ｇ，ｈ，ｖの各組み合わせによって生成されるＳＤ信号の各々について学習を行い、パラメータｆ，ｇ，ｈ，ｖの各組み合わせに対応した係数データＷｉをまず個別に求める。そして個別に求まった係数データＷｉを教師データとし、（５）式の関係を満たすように（７）式を変数として最小二乗法を用いることで係数種データｗ_i0〜ｗ_i30を求めてもよい。
【０１５９】
なお、図１の画像信号処理部１１０における処理を、例えば図１６に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。
【０１６０】
まず、図１６に示す画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラムや係数種データ等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。
【０１６１】
また、画像信号処理装置３００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）３０５と、フロッピー（Ｒ）ディスク３０６をドライブするフロッピー（Ｒ）ディスクドライブ（ＦＤＤ）３０７とを有している。これらドライブ３０５，３０７は、それぞれバス３０４に接続されている。
【０１６２】
また、画像信号処理装置３００は、インターネット等の通信網４００に有線または無線で接続する通信部３０８を有している。この通信部３０８は、インタフェース３０９を介してバス３０４に接続されている。
【０１６３】
また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機２００からのリモコン信号ＲＭを受信するリモコン信号受信回路３１０と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１１とを有している。受信回路３１０はインタフェース３１２を介してバス３０４に接続され、同様にディスプレイ３１１はインタフェース３１３を介してバス３０４に接続されている。
【０１６４】
また、画像信号処理装置３００は、入力画像信号Ｖinとしての５２５ｉ信号を入力するための入力端子３１４と、出力画像信号Ｖoutを出力するための出力端子３１５とを有している。入力端子３１４はインタフェース３１６を介してバス３０４に接続され、同様に出力端子３１５はインタフェース３１７を介してバス３０４に接続される。
【０１６５】
ここで、上述したようにＲＯＭ３０２に処理プログラムや係数種データ等を予め格納しておく代わりに、例えばインターネットなどの通信網４００より通信部３０８を介してダウンロードし、ハードディスクやＲＡＭ３０３に蓄積して使用することもできる。また、これら処理プログラムや係数種データ等をフロッピー（Ｒ）ディスク３０６で提供するようにしてもよい。
【０１６６】
また、入力画像信号Ｖinとしての５２５ｉ信号を入力端子３１４より入力する代わりに、予めハードディスクに記録しておき、あるいはインターネットなどの通信網４００より通信部３０８を介してダウンロードしてもよい。また、出力画像信号Ｖoutを出力端子３１５に出力する代わり、あるいはそれと並行してディスプレイ３１１に供給して画像表示をしたり、さらにはハードディスクに格納したり、通信部３０８を介してインターネットなどの通信網４００に送出するようにしてもよい。
【０１６７】
図１７のフローチャートを参照して、図１６に示す画像信号処理装置３００における、入力画像信号Ｖinより出力画像信号Ｖoutを得るため処理手順を説明する。
【０１６８】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、入力画像信号Ｖinを所定フレーム分または所定フィールド分入力する。この入力画像信号Ｖinが入力端子３１４より入力される場合には、この入力画像信号Ｖin を構成する画素データをＲＡＭ３０３に一時的に格納する。また、この入力画像信号Ｖin がハードディスクに記録されている場合には、ハードディスクドライブ３０５でこの入力画像信号Ｖinを読み出し、この入力画像信号Ｖin を構成する画素データをＲＡＭ３０３に一時的に格納する。そして、ステップＳＴ３で、入力画像信号Ｖinの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。
【０１６９】
このステップＳＴ５では、画像の拡大率に応じた入力画像信号Ｖinと出力画像信号Ｖoutにおける垂直方向、水平方向の各フィールドにおける画素数の対応情報ｎ／ｍの値を用いて、出力画像信号Ｖoutを構成する各単位画素ブロック内の各画素の位相情報ｈ，ｖを発生する。この位相情報ｈ，ｖは、例えばＲＯＭ３０２に記憶されているテーブルを用いて発生される。
【０１７０】
ここで、ユーザのリモコン送信機２００の操作によって通常モードまたはズームモードが設定される。通常モードの場合には、各フィールドにおける画像の拡大率は１倍に固定される。
【０１７１】
これに対して、ズームモードの場合には、画像の拡大率が所定の変化速度で各フレームまたは各フィールドで連続的に変換していき、それに伴って入力画像信号Ｖinの処理領域も変化していく。この処理領域は、常に上述したズーム中心点を含み、そのズーム中心点の水平、垂直の内分比が、入力画像信号Ｖinの全体領域におけるそのズーム中心点の水平、垂直の内分比と同一となるように設定される。出力画像信号Ｖoutの単位画素ブロックは、処理領域内に複数個、碁盤の目状に整然と並んでいる。またこのズームモードの場合、各フレームまたは各フィールドにおいて、ズーム中心点に対応した生成画素位相が常に同じになるように、位相情報ｈ，ｖが発生される。
【０１７２】
さらに、ステップＳＴ５では、例えば出力画像信号Ｖoutの各単位画素ブロック毎に、それぞれその単位画素ブロックの周辺に位置する入力画像信号Ｖinの複数の画素データに基づいて、動き情報およびダイナミックレンジを得、これらの情報と画像の拡大率およびその変化速度とに基づいて、画質調整情報ｆ，ｇを発生する（図６〜図８参照）。この画質調整情報ｆ，ｇは、例えばＲＯＭ３０２に記憶されているテーブルを用いて発生される。
【０１７３】
そして、ステップＳＴ６で、単位画素ブロック内の各画素の位相情報ｈ，ｖ、単位画素ブロックに対応した画質調整情報ｆ，ｇおよび各クラスの係数種データを使用して、生成式（例えば（５）式）によって、単位画素ブロック内の各画素にそれぞれ対応して、各クラスの推定式（（４）式参照）の係数データＷｉを生成する。
【０１７４】
次に、ステップＳＴ７で、ステップＳＴ２で入力された入力画像信号Ｖinの画素データより、作成すべき出力画像信号Ｖoutを構成する単位画素ブロックに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ８で、ステップＳＴ２で入力された入力画像信号Ｖinの各フィールドに関して、その処理領域における処理が終了したか否かを判定する。終了しているときは、ステップＳＴ２に戻り、次の所定フレームまたは所定フィールドの入力画像信号Ｖinの入力処理に移る。一方、終了していないときは、ステップＳＴ９に進む。
【０１７５】
このステップＳＴ９では、ステップＳＴ７で取得されたクラスタップの画素データからクラスコードＣＬを生成する。そして、ステップＳＴ１０で、そのクラスコードＣＬに対応した係数データＷｉと予測タップの画素データを使用して、推定式により、出力画像信号Ｖoutを構成する単位画素ブロック内の各画素のデータを生成し、その後にステップＳＴ６に戻って、次の単位画素ブロックについての処理に移る。
【０１７６】
このように、図１７に示すフローチャートに沿って処理をすることで、入力された入力画像信号Ｖinの画素データを処理して、出力画像信号Ｖoutの画素データを得ることができる。上述したように、このように処理して得られた出力画像信号Ｖoutは出力端子３１５に出力されたり、ディスプレイ３１１に供給されてそれによる画像が表示されたり、さらにはハードディスクドライブ３０５に供給されてハードディスクに記録されたりする。
また、処理装置の図示は省略するが、図１５の係数種データ生成装置１５０における処理を、ソフトウェアで実現することも可能である。
【０１７７】
図１８のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、学習に使われる、ＳＤ信号の位相シフト値（例えば、パラメータｈ，ｖで特定される）および画質調整値（例えば、パラメータｆ，ｇで特定される）を選択する。そして、ステップＳＴ２３で、位相シフト値および画質調整値の全ての組み合わせに対して学習が終わったか否かを判定する。全ての組み合わせに対して学習が終わっていないときは、ステップＳＴ２４に進む。
【０１７８】
このステップＳＴ２４では、既知のＨＤ信号を１フレーム分または１フィールド分入力する。そして、ステップＳＴ２５で、全てのフレームまたはフィールドのＨＤ信号について処理が終了したか否かを判定する。終了したときは、ステップＳＴ２２に戻って、次の位相シフト値および画質調整値を選択して、上述したと同様の処理を繰り返す。一方、終了していないときは、ステップＳＴ２６に進む。
【０１７９】
このステップＳＴ２６では、ステップＳＴ２４で入力されたＨＤ信号より、ステップＳＴ２２で選択された位相シフト値だけ位相シフトされ、また画質調整値に対応して画質調整（解像度、ノイズの調整）されたＳＤ信号を生成する。そして、ステップＳＴ２７で、ステップＳＴ２６で生成されたＳＤ信号より、ＨＤ画素データに対応して、クラスタップおよび予測タップの画素データを取得する。そして、ステップＳＴ２８で、ステップＳＴ２４で入力されたＨＤ信号の全領域において学習処理を終了しているか否かを判定する。学習処理を終了しているときは、ステップＳＴ２４に戻って、次の１フレーム分または１フィールド分のＨＤ信号の入力を行って、上述したと同様の処理を繰り返し、一方、学習処理を終了していないときは、ステップＳＴ２９に進む。
【０１８０】
このステップＳＴ２９では、ステップＳＴ２７で取得されたクラスタップのＳＤ画素データからクラスコードＣＬを生成する。そして、ステップＳＴ３０で、正規方程式（（１３）式参照）を生成する。その後に、ステップＳＴ２７に戻る。
【０１８１】
また、ステップＳＴ２３で、位相シフト値および画質調整値の全ての組み合わせに対して学習が終わったときは、ステップＳＴ３１に進む。このステップＳＴ３１では、正規方程式を掃き出し法等で解くことによって各クラスの係数種データを算出し、ステップＳＴ３２で、その係数種データをメモリに保存し、その後にステップＳＴ３３で、処理を終了する。
【０１８２】
このように、図１８に示すフローチャートに沿って処理をすることで、図１５に示す係数種データ生成装置１５０と同様の手法によって、各クラスの係数種データを得ることができる。
【０１８３】
なお、上述実施の形態においては、出力画像信号Ｖoutにおける注目位置の周辺に位置する入力画像信号Ｖinの複数の画素データから抽出された特徴情報としてクラス情報ＭＶおよびダイナミックレンジＤＲを使用したものであるが、これとは別に、あるいはこれと一緒に、他の特徴情報を用いることも考えられる。他の特徴情報としては、入力画像信号Ｖinの複数の画素データについてＡＤＲＣ処理をして得られる空間波形情報（上述のクラスコードＱｉに相当）、入力画像信号Ｖinの複数の画素データを処理して得られるアクティビティ情報、さらには入力画像信号Ｖinの複数の画素データの平均値等も考えられる。例えば動きクラス情報ＭＶおよびクラスコードＱｉを使用する場合には、画質調整情報発生回路１４０には、クラス合成回路ＣＬを供給することが考えられる。
【０１８４】
また、上述実施の形態においては、情報メモリバンク１３５に係数種データを記憶しておき、係数生成回路１３６では、この係数種データを用いて、（５）式の生成式に基づき、位相情報発生回路１３９より出力される位相情報ｈ，ｖおよび画質調整情報発生回路１４０で発生される画質調整情報ｆ，ｇに対応した係数データＷｉを生成して使用するものを示した。
【０１８５】
しかし、情報メモリバンク１３５に位相情報ｈ，ｖおよび画質調整情報ｆ，ｇの全ての組み合わせについての係数データを記憶しておき、位相情報発生回路１３９より出力される位相情報ｈ，ｖおよび画質調整情報発生回路１４０で発生される画質調整情報ｆ，ｇに対応した係数データＷｉを読み出して使用するようにしてもよい。
【０１８６】
この場合、情報メモリバンク１３５に記憶される位相情報ｈ，ｖおよび画質調整情報ｆ，ｇの各組み合わせの係数データＷｉは、パラメータｆ，ｇ，ｈ，ｖの各組み合わせで得られるＳＤ信号のそれぞれについて学習を行うことで求めることができる。
【０１８７】
また、上述実施の形態においては、出力画像信号Ｖoutの画素データを生成する際の推定式として線形一次方程式を使用したものを挙げたが、これに限定されるものではなく、例えば推定式として高次方程式を使用するものであってもよい。
【０１８８】
また、上述実施の形態においては、クラスコードＣＬを検出し、推定予測演算ではこのクラスコードに応じた係数データＷｉを使用するものを示したが、クラスコードＣＬの検出部分を省略したものも考えられる。その場合には、情報メモリバンク１３５に格納される係数種データは１種類のみとなる。
【０１８９】
また、上述実施の形態においては、画像信号処理部１１０より出力される出力画像信号Ｖoutをディスプレイ部１１１に供給して、その出力画像信号Ｖoutによる画像を表示するものを示したが、この出力画像信号Ｖoutをビデオテープレコーダなどの記録装置に供給して記録するようにしてもよい。その場合、後処理回路１２９の部分で、さらに記録に最適なデータ構造となるように処理してもよい。
【０１９０】
【発明の効果】
この発明によれば、第１の画像信号を処理して画像の拡大率（画像サイズ）を連続的に変化させた画像を表示するための第２の画像信号を得るものにあって、第２の画像信号による画像の画質を少なくとも画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するものであり、ズーム画像の画質の向上を図ることができる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】入力画像信号Ｖinの処理領域と出力画像との関係を示す図である。
【図３】ズーム中心点と処理領域との関係を示す図である。
【図４】２．５倍ズーム時の入力と出力の画素位置関係を示す図である。
【図５】１．２５倍ズーム時の入力と出力の画素位置関係を示す図である。
【図６】拡大率Ｔ、変化速度Ｋと画質調整情報ｆ，ｇとの関係を示す図である。
【図７】拡大率Ｔと画質調整情報ｆ，ｇとの関係を示す図である。
【図８】変化速度Ｋと画質調整情報ｆ，ｇとの関係を示す図である。
【図９】係数種データの生成方法の一例を示す図である。
【図１０】５２５ｉ信号（ＳＤ信号）と１０５０ｉ信号（ＨＤ信号）の画素位置関係を示す図である。
【図１１】垂直方向への８段階の位相シフトを説明するための図である。
【図１２】水平方向への８段階の位相シフトを説明するための図である。
【図１３】ＳＤ信号（５２５ｉ信号）とＨＤ信号（１０５０ｉ信号）との位相関係を示す図である。
【図１４】係数種データの生成方法の一例を示す図である。
【図１５】係数種データ生成装置の構成例を示すブロック図である。
【図１６】ソフトウェアで実現するための画像信号処理装置の構成例を示すブロック図である。
【図１７】画像信号の処理手順を示すフローチャートである。
【図１８】係数種データ生成処理を示すフローチャートである。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ、１０９・・・バッファメモリ、１１０・・・画像信号処理部、１１１・・・ディスプレイ部、１２１・・・第１のタップ選択回路、１２２・・・第２のタップ選択回路、１２３・・・第３のタップ選択回路、１２４・・・空間クラス検出回路、１２５・・・動きクラス検出回路、１２６・・・クラス合成回路、１２７・・・推定予測演算回路、１２８・・・正規化演算回路、１２９・・・後処理回路、１３０〜１３３・・・レジスタ、１３４・・・係数メモリ、１３５・・・情報メモリバンク、１３６・・・係数生成回路、１３７・・・正規化係数生成回路、１３８・・・正規化係数メモリ、１３９・・・位相情報発生回路、１４０・・・画質調整情報発生回路、１５０・・・係数種データ生成装置、１５１・・・入力端子、１５２Ａ・・・位相シフト回路、１５２Ｂ・・・ノイズ加算回路、１５３・・・第１のタップ選択回路、１５４・・・第２のタップ選択回路、１５５・・・第３のタップ選択回路、１５６・・・タップ選択制御回路、１５７・・・空間クラス検出回路、１５８・・・動きクラス検出回路、１５９・・・クラス合成回路、１６０・・・正規方程式生成部、１６１・・・係数種データ決定部、１６２・・・係数種メモリ、２００・・・リモコン送信機、３００・・・画像信号処理装置

Claims (17)

1. 複数の画素データからなる第１の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第２の画像信号を生成する画像信号処理装置であって、
   各拡大率に対応した、上記第２の画像信号における注目位置の位相情報を発生させる位相情報発生手段と、
   上記位相情報発生手段で発生された位相情報に対応して、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段と、
   上記第２の画像信号による画像の画質を、少なくとも上記画像の拡大率に係る情報に基づいて発生した画質調整情報により調整する画質調整手段と
   を備えることを特徴とする画像信号処理装置。
2. 上記画像の画質は、解像度である
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 上記画像の画質は、ノイズ抑圧度である
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 上記画像の拡大率に係る情報は、上記拡大率の変化速度である
   ことを特徴とする請求項１に記載の画像信号処理装置。
5. 上記画像の拡大率に係る情報は、上記画像の拡大率である
   ことを特徴とする請求項１に記載の画像信号処理装置。
6. 上記画質調整手段は、さらに、
   第２の画像信号における注目位置の周辺に位置する上記第１の画像信号の複数の画素データから抽出される特徴情報に基づいて発生した画質調整情報により、上記第２の画像信号における注目位置の画素データによる画像の画質を調整する
   ことを特徴とする請求項１に記載の画像信号処理装置。
7. 上記特徴情報は、上記第１の画像信号の複数の画素データの最大値と最小値との差分であるダイナミックレンジである
   ことを特徴とする請求項６に記載の画像信号処理装置。
8. 上記特徴情報は、上記第１の画像信号の複数の画素データのうち時間方向に離れた位置にある画素データどうしの差分を用いて得られた動き情報である
   ことを特徴とする請求項６に記載の画像信号処理装置。
9. 上記特徴情報は、上記第１の画像信号の複数の画素データのレベル分布を示す空間波形情報である
   ことを特徴とする請求項６に記載の画像信号処理装置。
10. 上記画素データ生成手段は、
    上記位相情報発生手段で発生された位相情報に対応した、推定式で用いられる係数データを発生する係数データ発生手段と、
    上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第１のデータ選択手段と、
    上記係数データ発生手段で発生された係数データおよび上記第１のデータ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第２の画像信号における注目位置の画素データを算出して得る演算手段とを有する
    ことを特徴とする請求項１に記載の画像信号処理装置。
11. 上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の周辺に位置する複数の画素データを選択する第２のデータ選択手段と、
    上記第２のデータ選択手段で選択された複数の画素データに基づいて、上記第２の画像信号における注目位置の画素データが属するクラスを検出するクラス検出手段とをさらに有し、
    上記係数データ発生手段は、さらに、上記クラス検出手段で検出されたクラスに対応した上記推定式で用いられる係数データを発生する
    ことを特徴とする請求項１０に記載の画像信号処理装置。
12. 上記係数データ発生手段は、
    上記推定式で用いられる係数データを生成する、上記位相情報をパラメータとして含む生成式における係数データである係数種データを格納する記憶手段と、
    上記記憶手段に格納されている係数種データと上記位相情報発生手段で発生された位相情報とを用いて、上記生成式に基づいて上記推定式で用いられる係数データを生成する係数データ生成手段とを有する
    ことを特徴とする請求項１０に記載の画像信号処理装置。
13. 上記生成式は、さらに、上記画質調整情報をパラメータとして含み、
    上記係数データ生成手段は、さらに、上記画質調整情報を用いて、上記生成式に基づいて上記推定式で用いられる係数データを生成する
    ことを特徴とする請求項１２に記載の画像信号処理装置。
14. 上記係数データ発生手段は、
    上記位相情報発生手段で発生し得る位相情報毎に上記推定式で用いられる係数データを格納する記憶手段と、
    上記記憶手段より上記位相情報発生手段で発生された位相情報に対応する係数データを読み出す係数データ読み出し手段とを有する
    ことを特徴とする請求項１０に記載の画像信号処理装置。
15. 上記記憶手段は、さらに、上記位相情報発生手段で発生し得る位相情報および上記画質調整手段で発生し得る画質調整情報の組み合わせ毎に
    上記推定式で用いられる係数データを格納し、
    上記係数データ読み出し手段は、上記記憶手段より、上記位相情報発生手段で発生された位相情報および上記画質調整手段で発生された画質調整情報に対応する係数データを読み出す
    ことを特徴とする請求項１４に記載の画像信号処理装置。
16. 複数の画素データからなる第１の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第２の画像信号を生成する画像信号処理方法であって、
    各拡大率に対応した、上記第２の画像信号における注目位置の位相情報を発生させるステップと、
    上記発生された位相情報に対応して、上記第２の画像信号における注目位置の画素データを生成するステップと、
    上記第２の画像信号による画像の画質を、少なくとも上記画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するステップと
    を備えることを特徴とする画像信号処理方法。
17. 複数の画素データからなる第１の画像信号に基づいて、画像の拡大率を連続的に変化させた画像を表示するための第２の画像信号を生成するために、
    各拡大率に対応した、上記第２の画像信号における注目位置の位相情報を発生させるステップと、
    上記発生された位相情報に対応して、上記第２の画像信号における注目位置の画素データを生成するステップと、
    上記第２の画像信号による画像の画質を、少なくとも上記画像の拡大率に係る情報に基づいて発生した画質調整情報により調整するステップと
    を備える画像信号処理方法をコンピュータに実行させるためのプログラム。

Images