JP2011217140A - 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】簡単な構成で確実にジャギー低減効果を向上させる高画質化処理を実現することができるようにする。
【解決手段】クラスタップ抽出部２０１は、入力画像の中で注目画素に対応するクラスタップを抽出する。波形クラス決定部２０２は、波形クラスを決定し、動きクラス決定部２０３は、動きクラスを決定する。斜め検出部２０４は、注目画素についての相関方向を検出し、信頼度クラス決定部２０５は、検出結果の信頼度を表す信頼度クラスを決定する。予測タップ抽出部２０６は、固定タップと可変タップによって構成され、斜め検出部２０４の検出結果に基づいて、可変タップが選択される予測タップを抽出する。クラス分類部２０７は、最終クラスを決定し、係数算出部２０８は、最終クラスに対応する予測係数を、係数テーブル２０９から読み出す。積和演算部２１０は、予測タップと予測係数を用いた積和演算を行う。
【選択図】図８

Description

本発明は、係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、簡単な構成で確実にジャギー低減効果を向上させる高画質化処理を実現することができるようにする係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体に関する。

近年、例えば、画像のインターレース・プログレッシブ変換（ＩＰ変換）、スケーリングなどの解像度変換が簡単に行えるようになった。画像の解像度を変換する際に、画素の補間を行う必要があるが、例えば、斜め方向のエッジが存在すると、ジャギーと称される悪影響（画像の中のオブジェクトの輪郭が階段状のギザギザになってしまう現象）が発生することがある。

ＩＰ変換、スケーリングにおけるジャギー低減技術としては異方性補間が知られており、最も相関の高い斜め方向を検出し、その方向をもとに画素を補間する。これにより斜め線特性が改善する。

また統計処理によるＩＰ変換、スケーリングでは、クラス分類を用いた技術が知られており、低解像度と高解像度との画像間の対応関係を学習し、作成した変換テーブルを入力画像に適用することで、統計的に最適な変換が可能になる（例えば、特許文献１参照）。

特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。

クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。

特開平７−７９４１８号公報

しかしながら、異方性補間は、相関の高い方向の検出を行い、その情報を用い補間するため、斜め線特性は改善するが、エラー回避のための処理が複雑になる。

また、あらゆる信号において正解を求めることは困難であり、例えば、相関方向の検出エラーが直接画質破綻につながる。

クラス分類による統計処理は、最適な変換が可能になるが、従来のタップ範囲・クラス数では、斜め方向の特徴を捉えきれずジャギー低減効果が低いという問題があった。

本発明はこのような状況に鑑みてなされたものであり、簡単な構成で確実にジャギー低減効果を向上させる高画質化処理を実現することができるようにするものである。

本発明の第１の側面は、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、第２の画像における前記注目画素に対応する画素の値と前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値を、前記注目画素について検出された相関方向の信頼度に対応づけて算出する予測係数算出手段とを備える係数学習装置である。

前記予測タップは、前記注目画素に対する位置が予め定められた複数または単数の画素の値からなる固定タップと、前記注目画素に対する位置が前記注目画素について検出された相関方向に対応して定まる複数または単数の画素の値からなる可変タップとにより構成されるようにすることができる。

前記第１の画像から、前記注目画素を中心とする所定の数の画素の値からなるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップを解析して、複数の特徴クラスのいずれかに分類する特徴クラス分類手段と、前記注目画素について検出された相関方向の信頼度を閾値と比較することで複数の信頼度クラスのいずれかに分類する信頼度クラス分類手段と、前記分類された特徴クラスと信頼度クラスに基づいて、最終クラスを決定する最終クラス決定手段をさらに備え、前記予測係数算出手段は、前記最終クラスに対応づけて前記予測係数を算出するようにすることができる。

前記注目画素について検出された相関方向の信頼度は、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向のばらつきの度合に基づいて算出されるようにすることができる。

本発明の第１の側面は、相関方向検出手段が、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出し、信頼度算出手段が、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出し、予測タップ抽出手段が、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出し、予測係数算出手段が、第２の画像における前記注目画素に対応する画素の値と、前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値を、前記注目画素について検出された相関方向の信頼度に対応づけて算出するステップを含む係数学習方法である。

本発明の第１の側面は、コンピュータを、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、第２の画像における前記注目画素に対応する画素の値と、前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値を、前記注目画素について検出された相関方向の信頼度に対応づけて算出する予測係数算出手段とを備える係数学習装置として機能させるプログラムである。

本発明の第１の側面においては、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向が検出され、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度が算出され、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップが、前記第１の画像から抽出され、第２の画像における前記注目画素に対応する画素の値と、前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値が、前記注目画素について検出された相関方向の信頼度に対応づけて算出される。

本発明の第２の側面は、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数を読み出す係数読み出し手段と、前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値を演算する画素値演算手段とを備える画像処理装置である。

前記予測タップは、前記注目画素に対する位置が予め定められた複数または単数の画素の値からなる固定タップと、前記注目画素に対する位置が前記注目画素について検出された相関方向に対応して定まる複数または単数の画素の値からなる可変タップとにより構成されるようにすることができる。

前記第１の画像から、前記注目画素を中心とする所定の数の画素の値からなるクラスタップを抽出するクラスタップ抽出手段と、前記クラスタップを解析して、複数の特徴クラスのいずれかに分類する特徴クラス分類手段と、前記注目画素について検出された相関方向の信頼度を閾値と比較することで複数の信頼度クラスのいずれかに分類する信頼度クラス分類手段と、前記分類された特徴クラスと信頼度クラスに基づいて、最終クラスを決定する最終クラス決定手段をさらに備え、前記予測係数読み出し手段は、前記最終クラスに基づいて前記予測係数を読み出すようにすることができる。

前記注目画素について検出された相関方向の信頼度は、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向のばらつきの度合に基づいて算出されるようにすることができる。

本発明の第２の側面は、相関方向検出手段が、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出し、信頼度算出手段が、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出し、予測タップ抽出手段が、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出し、係数読み出し手段が、前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数を読み出し、画素値演算手段が、前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値を演算するステップを含む画像処理方法である。

本発明の第２の側面は、コンピュータを、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数を読み出す係数読み出し手段と、前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値を演算する画素値演算手段とを備える画像処理装置として機能させるプログラムである。

本発明の第２の側面においては、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向が検出され、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度が算出され、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップが、前記第１の画像から抽出され、前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数が読み出され、前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値が演算される。

本発明によれば、簡単な構成で確実にジャギー低減効果を向上させる高画質化処理を実現することができる。

本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。 相関方向の検出方式を説明する図である。 相関方向の検出方式の別の例を説明する図である。 相関方向の検出方式のさらに別の例を説明する図である。 図１の斜め検出部による検出結果の信頼度を説明する図である。 信頼度の算出方式を説明する図である。 予測タップの構成例を示す図である。 本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 信頼度クラスと予測係数の要素の値の関係を説明する図である。 所定の入力画像に対して従来の高画質化処理を施すことにより得られた出力画像を示す図である。 図１０と同じ入力画像に対して、図８の画像処理装置により高画質化処理を施して得られ得た出力画像を示す図である。 係数学習処理の例を説明するフローチャートである。 信頼度クラス決定処理の例を説明するフローチャートである。 予測タップ抽出処理の例を説明するフローチャートである。 解像度変換処理の例を説明するフローチャートである。 本発明の画像処理装置を搭載したテレビジョン受像機の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明の一実施の形態に係る学習装置の構成例を示すブロック図である。

この学習装置５０は、画像の高画質化処理に用いられる学習装置とされ、入力された生徒画像および教師画像（または教師信号）のデータに基づいて、高画質化処理において用いられる係数を生成するようになされている。

ここで、高画質化処理は、例えば、低解像度の入力画像を高解像度の出力画像に変換する処理とされる。例えば、画像のインターレース・プログレッシブ変換（ＩＰ変換）、スケーリングなどの解像度変換の処理も高画質化処理の１つとされる。

学習装置５０は、生徒画像を入力画像として、教師画像に近い高画質の画像を出力画像として生成するための係数である予測係数を学習するようになされている。予測係数は、例えば、入力画像の注目画素に対応する複数の画素の値によって構成される予測タップをパラメータとし、高画質化された画像において注目画素に対応する画素の値を演算する線形一次式に用いられる係数とされる。なお、予測係数は、後述するクラス番号毎に学習される。

また、学習装置５０は、入力画像の注目画素に対応する複数の画素の値から得られる特徴量などからなるクラスタップに基づいて、注目画素を、複数のクラスのうちのいずれかにクラス分けする。すなわち、学習装置５０は、入力画像の注目画素のそれぞれが、高画質化処理のためのどのクラスに属する画素であるかを特定するようになされている。

さらに、学習装置５０は、入力画像に斜めの線やオブジェクトなどが存在するか否かを検出し、その検出結果に応じたクラス分けと予測タップの抽出を行うようになされている。

学習装置５０においては、例えば、教師画像として高解像度の画像を入力され、生徒画像として教師画像の画素数を縮退するなどして生成された低解像度の画像が入力される。教師画像と生徒画像は、１対（学習対と称することにする）ずつ入力されて学習装置５０により学習が行われる。低解像度画像は、例えば、インターレース画像とされ、高解像度画像は、例えば、プログレッシブ画像とされる。

図１の学習装置５０は、クラスタップ抽出部６１、波形クラス決定部６２、動きクラス決定部６３を有している。また、学習装置５０には、斜め検出部６４、信頼度クラス決定部６５、予測タップ抽出部６６、クラス分類部６７、および係数生成部６８が設けられている。

クラスタップ抽出部６１は、入力された低解像度画像の中で高解像度画像の画素の座標（出力位相とも称する）を特定する。クラスタップ抽出部６１は、例えば、この出力位相を注目画素として設定し、注目画素に対応する複数の画素の値から得られる特徴量などからなるクラスタップを抽出する。

波形クラス決定部６２は、抽出されたクラスタップを解析し画像の波形に応じて定まる波形クラスを決定する。動きクラス決定部６３は、画像の動きに応じて定まる動きクラスを決定する。

斜め検出部６４は、入力画像の注目画素を中心とした複数の画素で構成される画像を解析して画像の中の斜めの線などを検出するようになされている。より具体的には、斜め検出部６４は、注目画素についての相関方向を検出するようになされている。

図２は、斜め検出部６４による相関方向の検出の方式の例を説明する図である。同図には、注目画素を中心とする１１個の画素が示されている。なお、図中の黒い円が注目画素であり、白い円がその周辺の画素を表している。また、図中水平方向の実線は、インターレース画像の画素列を表しており、図中の点線はプログレッシブ画像の画素列を表している。すなわち、生徒画像（入力画像）には、点線上の位置に画素が存在しておらず、教師画像には、点線上の位置に画素が存在する。従って、実際には、入力画像に注目画素は存在せず、出力位相に対応する画素位置の仮想的な画素を注目画素として設定している。

図２に示されるように、注目画素を中心として点対象となる位置の２つの画素の相関が求められて相関方向が検出される。図２の例では、注目画素の中心を通る各方向の直線によって、点対象となる位置の２つの画素の組み合わせが特定されている。具体的には、２つの画素値の差分絶対値の比較などにより相関方向が検出される。

例えば、図２の注目画素の垂直上側の画素と垂直下側の画素との差分絶対値が最も小さい場合、注目画素の相関方向は垂直方向となる。また、注目画素の左上の画素と右下の画素との差分絶対値が最も小さい場合、注目画素の相関方向は斜め右方向となる。さらに、また、注目画素の右上の画素と左下の画素との差分絶対値が最も小さい場合、注目画素の相関方向は斜め左方向となる。なお、図２の例では、２種類の斜め右方向と２種類の斜め左方向が存在する。

図３は、斜め検出部６４により相関方向の検出の方式の別の例を説明する図である。同図には、図２の場合と同様に、注目画素を中心とする１１個の画素が示されている。

図３の方式の場合、注目画素を中心として対象となる位置の複数の画素の相関が求められて相関方向が検出される。同図の例では、黒い円で示された注目画素の上側と下側にそれぞれハッチングされた円で示される３つの画素の相関が求められる。具体的には、例えば、上下のそれぞれ３つの画素の中で対応する２つの画素同士の値の差分絶対値を３通り求めてそれらの合計値の比較などにより相関方向が検出される。

図３の例では、注目画素の上側の列の左から３つの画素のそれぞれと、注目画素の下側の列の右から３つの画素のそれぞれとの相関が最も高かったものとされ、注目画素の相関方向は、斜め右方向（左上から右下）とされている。

図４は、斜め検出部６４により相関方向の検出の方式のさらに別の例を説明する図である。同図には、注目画素を中心とする２１個の画素が示されている。

図４の方式の場合、注目画素の周辺の複数の画素群であるブロックを用い、いわゆるブロックマッチング方式により相関が求められて相関方向が検出される。同図の例では、それぞれ矩形の枠で囲まれた６つの画素からなる２つのブロックを用いたブロックマッチングが行われている。

図４の例では、注目画素の左上側のブロックと、注目画素の右下側のブロックとの相関が最も高かったものとされ、注目画素の相関方向は、斜め右方向（左上から右下）とされている。

このように、斜め検出部６４は、例えば、注目画素の周辺の対応する画素値の差分絶対値の逆数などを相関値とし、相関性の高い方向を注目画素についての相関方向として検出する。そして、斜め検出部６４は、その相関方向を注目画素（出力位相）に対応づけて、信頼度クラス決定部６５、および予測タップ抽出部６６に出力する。なお、相関方向は、高い相関の検出された方向に対応する直線の傾きを表す情報とされ、例えば、ｘ成分とｙ成分からなる２次元のベクトルとして出力される。

図１に戻って、信頼度クラス決定部６５は、斜め検出部６４による検出結果の信頼度を表す信頼度クラスを決定するようになされている。

図５は、斜め検出部６４による検出結果の信頼度を説明する図である。同図は、トラック競技などが行われるグランド上を人が行進している画像を示している。このような画像において、例えば、図中左上側のグランドに描かれた線（例えば、白線など）の画像を構成する画素について検出された相関方向は信頼性の高いものとなる。図中左上側のグランドに描かれた白線は、ほぼ一定の方向で続いているからである。

一方、図中右側の群衆の画像を構成する画素について検出された相関方向は信頼性の低いものとなる。図中右側の群衆の画像には、一定の方向に連続するオブジェクトがないからである。

信頼度クラス決定部６５は、斜め検出部６４による検出結果の信頼度を、例えば、次のようにして求める。

信頼度クラス決定部６５は、斜め検出部６４による複数画素分の検出結果を取得し、それらの複数の画素の中心の画素についての信頼度を算出する。上述したように、斜め検出部６４による検出結果としての相関方向は、注目画素（出力位相）のそれぞれに対応付けられて２次元のベクトルとして出力される。そこで、信頼度クラス決定部６５は、相関方向が出力された複数の画素（斜め検出部６４の処理における注目画素）における相関方向のばらつき度合を表す値を算出する。

例えば、斜め検出部６４による検出結果として、図６に示されるような画素のそれぞれについて検出結果が出力されたものとされる。図６は、信頼度の算出を説明する図である。同図には、図中の点線上に３行５列の１５個の画素が示されている。なお、図中水平方向の実線は、インターレース画像の画素列を表しており、図中の点線はプログレッシブ画像の画素列を表している。すなわち、生徒画像（入力画像）には、点線上の位置に画素が存在しておらず、教師画像には、点線上の位置に画素が存在する。

信頼度クラス決定部６５は、これら点線上の１５個の画素のうち、中心に位置する画素を注目画素とし、その注目画素の相関方向と周辺の画素の相関方向とのばらつき度合を解析する。なお、図中の黒い円が注目画素であり、白い円がその周辺の画素を表している。これら、黒い円と白い円の画素は、教師画像（または出力画像）の画素である。一方、図中に示される点線の円のそれぞれは、生徒画像（入力画像）の画素を表している。

いま、注目画素の相関方向を、（ｘc，ｙc）で表わし、周辺の画素の相関方向を（ｘ，ｙ）で表わした場合、図６の注目画素の相関方向と周辺の画素の相関方向とのばらつき度合Ｄiffは、式（１）により求めることができる。

式（１）により求められたばらつき度合Ｄiffの値が大きいほど、注目画素の相関方向は信頼度が低いと言える。また、式（１）により求められたばらつき度合Ｄiffの値が小さいほど、注目画素の相関方向は信頼度が高いと言える。

信頼度クラス決定部６５は、式（１）により求められたばらつき度合Ｄiffを予め定められた閾値と比較することにより、信頼度クラスを決定する。

例えば、ｔｈ１＜ｔｈ２＜ｔｈ３の関係が成立する３つの閾値ｔｈ１乃至ｔｈ３を定めておく。

Ｄiff＜ｔｈ１の場合、信頼度クラスは「０」とされる。

ｔｈ１＜Ｄiff＜ｔｈ２の場合、信頼度クラスは「１」とされる。

ｔｈ３＜Ｄiff＜ｔｈ４の場合、信頼度クラスは「２」とされる。

ｔｈ４＜Ｄiffの場合、信頼度クラスは「３」とされる。

このようにして、信頼度クラス決定部６５は、出力位相（すなわち教師画像の画素）のそれぞれについて検出された相関方向の信頼度クラスを決定していく。

図１に戻って、予測タップ抽出部６６は、入力画像から注目画素に対応する複数の画素の値によって構成される予測タップを抽出するようになされている。ここで、予測タップは、注目画素に対する相対的位置が予め定められた位置となる所定の個数の画素の値からなる固定タップと、注目画素に対する相対的位置が必要に応じて変更された画素の値からなる可変タップによって構成される。予測タップ抽出部６６は、予測タップを抽出する際に、斜め検出部６４による検出結果に基づいて、可変タップを選択するようになされている。

図７は、予測タップの構成例を示す図である。同図には、注目画素を中心とする３７個の画素が示されている。なお、図中の黒い円が注目画素であり、白い円またはハッチングされた円がその周辺の画素を表している。

また、図中水平方向の実線は、インターレース画像の画素列を表しており、図中の点線はプログレッシブ画像の画素列を表している。すなわち、生徒画像（入力画像）には、点線上の位置に画素が存在しておらず、教師画像には、点線上の位置に画素が存在する。従って、実際には、入力画像に注目画素は存在せず、出力位相に対応する画素位置の仮想的な画素を注目画素として設定している。

また、同図においては、予測タップを構成する各画素値の画素を識別するために、円の内部に番号が付されている。

予測タップにおける固定タップは、例えば、注目画素の上側の列にある３つの画素と、注目画素の下側の列にある３つの画素により構成される。図７の例では、１番乃至６番の画素の画素値が固定タップとされる。

図７の例の場合、注目画素の相関方向として右上から左下方向の直線に対応する方向が検出されたものとする。予測タップ抽出部６６は、注目画素の相関方向を特定し、その相関方向に対応する直線を特定する。これにより、図中の直線１０１が特定される。なお、上述したように、斜め検出部６４により、高い相関の検出された方向（相関方向）に対応する直線の傾きを表す情報として、例えば、ｘ成分とｙ成分からなる２次元のベクトルの情報が出力されている。予測タップ抽出部６６は、この情報に基づいて、図中の直線１０１を特定することができる。

そして、予測タップ抽出部６６は、直線１０１と、注目画素の上下に隣接する入力画像の画素列との交点を特定する。これにより、図中の直線１０１と画素列の線１０２のとの交点が特定され、直線１０１と画素列の線１０３のとの交点が特定される。

予測タップ抽出部６６は、上述のように特定された交点に基づいて、予測タップの中の可変タップを抽出するようになされている。この例の場合、可変タップは、７番乃至１２番の画素の画素値とされる。

すなわち、予測タップ抽出部６６は、直線１０１と画素列の線１０２のとの交点に対応する画素（８番の画素）を特定し、その画素からの距離が閾値以内（例えば、１画素分の距離以内）の左右両側の画素を特定する。いまの場合、７番の画素と９番の画素が特定される。同様にして、予測タップ抽出部６６は、直線１０１と画素列の線１０３のとの交点に対応する画素（１１番の画素）を特定し、その画素からの距離が閾値以内（例えば、１画素分の距離以内）の左右両側の画素を特定する。いまの場合、１０番の画素と１２番の画素が特定される。

予測タップ抽出部は、上述のようにして特定された７番乃至９番の画素の画素値と、１０番乃至１２番の画素の画素値を可変タップとして抽出する。

なお、仮に注目画素の相関方向として垂直方向の直線に対応する方向が検出された場合、線１０２のとの交点の画素は２番の画素となり、線１０３のとの交点の画素は５番の画素となる。この場合、それらの画素からの１画素分の距離以内の画素は、１番と３番の画素および４番と６番の画素となる。つまり、注目画素の相関方向として垂直方向の直線に対応する方向が検出された場合、固定タップと同じものが可変タップとして抽出される。

このように、固定タップと可変タップの一部または全部が重複してもよいが、必ず予め設定された数だけ固定タップと可変タップが抽出される。図７の例の場合、注目画素の相関方向の如何にかかわらず、６個の固定タップと６個の可変タップが抽出されるようになされている。

このようにして、予測タップ抽出部６６は、固定タップと可変タップとにより構成される予測タップを抽出する。図７の例では、合計１２個のタップが予測タップとして抽出されることになる。

なお、図７は予測タップの構成の一例であり、必ずしも同図に示される通りに固定タップの画素の位置を定める必要はない。また、相関方向に応じた可変タップの画素の位置の選択の方式もこれに限られるものではなく、注目画素と相関方向に基づいて可変タップの画素の位置が選択されるようにすればよい。さらに、予測タップの要素において、固定タップと可変タップの数が必ずしも同数でなくても構わない。例えば、１２個の要素のうち、８個が固定タップとされ、４個が可変タップとされるようにしても構わない。

図１に戻って、クラス分類部６７は、波形クラス決定部６２、動きクラス決定部６３、および信頼度クラス決定部６５により決定された波形クラス、動きクラス、信頼度クラスに基づいて最終クラスを決定する。最終クラスは、例えば、波形クラスを表すビット列、動きクラスを表すビット列、および信頼度クラスを表すビット列を結合したビット列により表わされる。

係数生成部６８は、例えば、教師画像の画素値を真値とし、生徒画像から抽出されたタップと真値の組み合わせからなる複数のサンプルを取得して、タップをパラメータとして真値を算出するための線形一次式の係数を、予測係数として学習するようになされている。係数生成部６８は、例えば、取得したサンプルに基づいてタップをパラメータとして真値を算出するための線形一次式の連立式を生成し、その連立式を、例えば最小二乗法により解くことで、予測係数を学習（生成）する。

いま、生徒画像（入力画像）から得られた予測タップのうちの固定タップをｘfで表わし、可変タップｘhで表わすものとし、教師画像の画素値をｙで表わすものとする。この場合、タップをパラメータとして真値を算出するための線形一次式は、式（２）により表わされる。

式（２）に用いられる係数ｗfは、固定タップに乗じられる予測係数の要素とされ、係数ｗhは、可変タップに乗じられる予測係数の要素とされる。すなわち、式（２）は、予測タップと予測係数の要素のそれぞれとの積和演算とされる。

なお、式（２）は、予測タップが６個の固定タップと６個の可変タップを要素とするベクトルであることを前提とするものである。従って、式（２）の場合、予測係数も１２個の要素を有するベクトルであることを前提としており、固定タップに乗じられる予測係数の要素は６個、可変タップに乗じられる予測係数の要素は６個となる。

また、予測係数は、クラス分類部６７により決定された最終クラスに対応付けられて出力され、例えば、係数テーブルとして記憶される。

このようにして、学習装置５０により予測係数が学習される。

図８は、本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。
同図の画像処理装置２００は、図１の学習装置５０に対応する画像処理装置とされる。すなわち、画像処理装置２００は、学習装置５０により学習された予測係数を用いた演算を行い、入力画像を高画質化する画像処理を行うようになされている。

図８の画像処理装置２００は、クラスタップ抽出部２０１、波形クラス決定部２０２、動きクラス決定部２０３を有している。また、画像処理装置２００には、斜め検出部２０４、信頼度クラス決定部２０５、予測タップ抽出部２０６、クラス分類部２０７、係数算出部２０８、係数テーブル２０９、および積和演算部２１０が設けられている。

クラスタップ抽出部２０１は、図１のクラスタップ抽出部６１と同様に、入力された低解像度画像の中で高解像度画像の画素の座標（出力位相とも称する）を特定する。クラスタップ抽出部２０１は、例えば、この出力位相を注目画素として設定し、注目画素に対応する複数の画素の値から得られる特徴量などからなるクラスタップを抽出する。

波形クラス決定部２０２は、図１の波形クラス決定部６２と同様に、抽出されたクラスタップを解析し画像の波形に応じて定まる波形クラスを決定する。動きクラス決定部２０３は、図１の動きクラス決定部６３と同様に、画像の動きに応じて定まる動きクラスを決定する。

斜め検出部２０４は、図１の斜め検出部６４と同様に、入力画像の注目画素を中心とした複数の画素で構成される画像を解析して画像の中の斜めの線などを検出するようになされている。斜め検出部２０４は、例えば、図２乃至図４を参照して上述した方式により注目画素についての相関方向を検出するようになされている。

信頼度クラス決定部２０５は、図１の信頼度クラス決定部６５と同様に、斜め検出部２０４による検出結果の信頼度を表す信頼度クラスを決定するようになされている。

すなわち、信頼度クラス決定部２０５は、斜め検出部２０４による複数画素分の検出結果を取得し、それらの複数の画素の中心の画素についての信頼度を算出する。このとき、図６を参照して上述したように、相関方向が出力された複数の画素（斜め検出部２０４の処理における注目画素）における相関方向のばらつき度合を表す値が、式（１）により算出される。

そして、信頼度クラス決定部２０５は、式（１）により求められたばらつき度合Ｄiffを予め定められた閾値と比較することにより、信頼度クラス「０」乃至信頼度クラス「３」のいずれのクラスであるかを決定する。

このようにして、信頼度クラス決定部２０５は、出力位相のそれぞれについて検出された相関方向の信頼度クラスを決定していく。

予測タップ抽出部２０６は、図１の予測タップ抽出部６６と同様に、入力画像から注目画素に対応する複数の画素の値によって構成される予測タップを抽出するようになされている。ここで、予測タップは、注目画素に対する相対的位置が予め定められた位置となる所定の個数の画素の値からなる固定タップと、注目画素に対する相対的位置が必要に応じて変更された画素の値からなる可変タップによって構成される。予測タップ抽出部２０６は、予測タップを抽出する際に、斜め検出部２０４による検出結果に基づいて、可変タップを選択するようになされている。

すなわち、予測タップ抽出部２０６は、例えば、図７を参照して上述したように、６個の固定タップと６個の可変タップとにより構成される予測タップを抽出する。

クラス分類部２０７は、図１のクラス分類部６７と同様に、波形クラス決定部２０２、動きクラス決定部２０３、および信頼度クラス決定部２０５により決定された波形クラス、動きクラス、信頼度クラスに基づいて最終クラスを決定する。最終クラスは、例えば、波形クラスを表すビット列、動きクラスを表すビット列、および信頼度クラスを表すビット列を結合したビット列により表わされる。

係数算出部２０８は、クラス分類部２０７により決定された最終クラスに対応する予測係数を、係数テーブル２０９から読み出す。これにより、予測タップの要素数と同数の要素を有するベクトルである予測係数が読み出される。

なお、係数テーブル２０９は、図１の学習装置５０によって、最終クラスに対応付けられて学習された予測係数が記憶されている係数テーブルとされる。

積和演算部２１０は、予測タップ抽出部２０６が抽出した予測タップと係数算出部２０８が読み出した予測係数を用いた積和演算を行う。すなわち、積和演算部２１０により式（２）の演算が行われ、出力位相の画素値が演算される。

積和演算部２１０が出力画像である高解像度画像の出力位相の画素値のそれぞれを演算して出力していくことにより、出力画像の各画素が生成され、最終的に出力画像が生成されることになる。

このようにして、画像処理装置２００による高画質化処理が行われ、例えば、低解像度の入力画像が高解像度の出力画像に変換される。例えば、画像処理装置２００にインターレース画像を入力することにより、プログレッシブ画像が出力される。

画像の解像度を変換する際に、画素の補間を行う必要があるが、従来の技術では、例えば、斜め方向のエッジが存在すると、ジャギーと称される悪影響（画像の中のオブジェクトの輪郭が階段状のギザギザになってしまう現象）が発生することがある。

ＩＰ変換、スケーリングにおけるジャギー低減技術としては異方性補間が知られており、最も相関の高い斜め方向を検出し、その方向をもとに画素を補間する。これにより斜め線特性が改善する。

しかしながら、異方性補間は、相関の高い方向の検出を行い、その情報を用い補間するため、斜め線特性は改善するが、エラー回避のための処理が複雑になる。また、あらゆる信号において正解を求めることは困難である。さらに、従来のクラス分類による統計処理は、最適な変換が可能になるが、従来のタップ範囲・クラス数では、斜め方向の特徴を捉えきれずジャギー低減効果が低いという問題があった。

これに対して、本発明によれば、画像の高画質化処理を行う際のジャギー低減効果を高めることが可能となる。

すなわち、本発明の画像処理装置２００による高画質化処理では、注目画素の相関方向が検出され、検出された相関方向に基づいて可変タップが特定されて予測タップが抽出される。さらに、その相関方向の信頼度が算出され、信頼度クラスが決定された上で最終的なクラス分類が行われる。従って、斜め線特性を改善させるとともに、誤って斜め方向の相関が検出された場合の破綻を回避することが可能となるのである。

図９は、係数テーブル２０９に記憶された係数を説明する図である。同図は、横軸にタップ番号が示され、縦軸はそれぞれのタップに乗じられる係数値とされている。

同図に示されるグラフは、「ｃｏｎｆ：０」乃至「ｃｏｎｆ：３」に対応するプロット点を結んだ折れ線グラフとされている。ここで、「ｃｏｎｆ：０」乃至「ｃｏｎｆ：３」は、信頼度クラス決定部２０５により決定された信頼度クラス「０」乃至信頼度クラス「３」を表している。「ｃｏｎｆ：０」は最も信頼度が高い信頼度クラスであり、「ｃｏｎｆ：３」は最も信頼度が低い信頼度クラスである。

また、図９のタップ番号は、それぞれ図７を参照に示される予測タップを構成する要素であって、図中の円に付された番号を表すものである。すなわち、図９の各プロット点は、それぞれのタップ番号に対応する予測タップの要素に乗じられる予測係数の要素の値を表すものとなる。図７を参照して上述したように、予測タップの要素の１２個の画素のうち１番乃至６番の画素の画素値は固定タップであり、予測タップの要素の画素のうち７番乃至１２番の画素の画素値は可変タップである。

つまり、図９に示されるグラフは、信頼度クラス「０」の場合に予測タップの各要素に乗じられる予測係数の各要素の値、信頼度クラス「１」の場合に予測タップの各要素に乗じられる予測係数の各要素の値、・・・信頼度クラス「３」の場合に予測タップの各要素に乗じられる予測係数の各要素の値をそれぞれ表わしている。

同図に示されるように、信頼度が高いほど可変タップ（７番乃至１２番）に乗じられる予測係数の要素の値が大きくなっている。また、信頼度が高いほど固定タップ（１番乃至６番）のうち、２番と５番のタップに乗じられる予測係数の要素の値が小さくなっている。一方、信頼度が低いほど可変タップ（７番乃至１２番）に乗じられる要素の値が小さくなり、固定タップ（１番乃至６番）のうち、２番と５番のタップに乗じられる要素の値が大きくなっている。

このように、本発明では、相関方向に基づいて可変タップの画素の位置が適応的に変化するとともに、その相関方向の信頼度に応じて固定タップに乗じられる予測係数の要素と可変タップに乗じられる予測係数の要素の値が適応的に変化する。これにより、斜め線特性を改善させるとともに、誤って斜め方向の相関が検出された場合の破綻を回避することが可能となり、画像の高画質化処理を行う際のジャギー低減効果を高めることが可能となる。

図１０と図１１は、本発明の効果を説明する図である。図１０は、所定の入力画像に対して従来の高画質化処理を施すことにより得られた出力画像を示す図であり、図１１は、同じ入力画像に対して、本発明の画像処理装置２００により高画質化処理を施して得られ得た出力画像を示す図である。

図１０と図１１は、図中上側に白色の背景、図中下側に灰色の背景を有する斜めの線が表示された画像の例である。図１０の画像では、斜めの線の部分にそれぞれ、階段状のギザギザ（ジャギー）が発生している。一方、図１１の画像では、ジャギーがほとんど見られない。すなわち、図１１の画像では、ジャギーが低減されていることが分かる。

次に、図１２のフローチャートを参照して、図１の学習装置５０による係数学習処理の例について説明する。

ステップＳ２１において、学習装置５０は、生徒画像と教師画像の入力を受け付ける。

ステップＳ２２において、クラスタップ抽出部６１は、クラスタップを抽出する。このとき、例えば、入力された低解像度画像の中で出力位相が注目画素として設定され、注目画素に対応する複数の画素の値から得られる特徴量などからなるクラスタップが抽出される。

ステップＳ２３において、波形クラス決定部６２は、ステップＳ２２で抽出されたクラスタップを解析し画像の波形に応じて定まる波形クラスを決定する。

ステップＳ２４において、動きクラス決定部６３は、画像の動きに応じて定まる動きクラスを決定する。

ステップＳ２５において、斜め検出部６４と信頼度クラス決定部６５は、図１３を参照して後述する信頼度クラス決定処理を実行する。これにより、上述した信頼度クラスが決定される。

ここで、図１３のフローチャートを参照して、図１２のステップＳ２５の信頼度クラス決定処理の詳細な例について説明する。

ステップＳ４１において、斜め検出部６４は、注目画素についての相関方向を検出する。このとき、例えば、図２乃至図４を参照して上述した方式により、注目画素の相関方向が検出される。

ステップＳ４２において、信頼度クラス決定部６５は、ステップＳ４１での斜め検出部６４による相関方向の検出結果のばらつきの度合を算出する。

このとき、信頼度クラス決定部６５は、斜め検出部６４による複数画素分の検出結果を取得し、それらの複数の画素の中心の画素についての信頼度を算出する。すなわち、図６を参照して上述したように、相関方向が出力された複数の画素（斜め検出部６４の処理における注目画素）における相関方向のばらつき度合を表す値が、式（１）により算出される。なお、ステップＳ４２の処理に進むにあたり、複数の注目画素についてステップＳ４１の処理が実行されるものとする。

ステップＳ４３において、信頼度クラス決定部６５は、信頼度クラスを決定する。このとき、例えば、ステップＳ４２の処理により求められたばらつき度合Ｄiffを予め定められた閾値と比較することにより、信頼度クラス「０」乃至信頼度クラス「３」のいずれのクラスであるかが決定される。

このようにして信頼度クラスが決定される。

図１２に戻って、ステップＳ２５の処理の後、処理は、ステップＳ２６に進む。

ステップＳ２６において、クラス分類部６７は、ステップＳ２３、ステップＳ２４、およびステップＳ２５の処理により決定された波形クラス、動きクラス、信頼度クラスに基づいて最終クラスを決定する。最終クラスは、例えば、波形クラスを表すビット列、動きクラスを表すビット列、および信頼度クラスを表すビット列を結合したビット列により表わされる。

ステップＳ２７において、予測タップ抽出部６６は、図１４を参照して後述する予測タップ抽出処理を実行する。これにより、固定タップと可変タップからなる予測タップが抽出される。

ここで、図１４のフローチャートを参照して、図１２のステップＳ２７の予測タップ抽出処理の詳細な例について説明する。

ステップＳ６１において、予測タップ抽出部６６は、図１３のステップＳ４１の処理により検出された相関方向をその注目画素とともに特定する。

ステップＳ６２において、予測タップ抽出部６６は、ステップＳ６１の処理で特定された相関方向に基づいて可変タップを選択する。

このとき、例えば、図７を参照して上述したように、可変タップが選択される。例えば、図７の直線１０１と、画素列の線１０２のとの交点が特定され、直線１０１と画素列の線１０３のとの交点が特定され、特定された交点に基づいて、予測タップの中の可変タップとして抽出すべき画素値の画素が選択される。図７の例の場合、可変タップは、７番乃至１２番の画素の画素値とされる。

ステップＳ６３において、予測タップ抽出部６６は、ステップＳ６２の処理で選択された可変タップと、予め設定された固定タップとを予測タップとして抽出する。なお、図７の例の場合、固定タップは、１番乃至６番の画素の画素値とされる。これにより、注目画素に対応する１２個の画素値からなる予測タップが抽出されることになる。

このようにして、予測タップが抽出される。

図１２に戻って、ステップＳ２７の処理の後、処理は、ステップＳ２８に進む。

ステップＳ２８において、係数生成部６８は、例えば、教師画像の画素値を真値とし、ステップＳ２７の処理で生徒画像から抽出された予測タップと真値の組み合わせからなる複数のサンプルを取得する。そして、係数生成部６８は、それらのサンプルをステップＳ２６で決定された最終クラス毎に足しこむ。

ステップＳ２９において、係数生成部６８は、例えば、ステップＳ２８の処理結果に基づいて、予測タップをパラメータとして真値を算出するための線形一次式の連立式を生成し、その連立式を、例えば最小二乗法により解くことで、予測係数を導出する。なお、予測タップをパラメータとして真値を算出するための線形一次式は、上述したように、式（２）により表わされる。

これにより、式（２）に用いられる係数ｗfが、固定タップに乗じられる予測係数の要素として導出され、係数ｗhが、可変タップに乗じられる予測係数の要素として導出され、それらの要素からなるベクトルとして予測係数が導出される。

なお、ステップＳ２９で導出される予測係数は、ステップＳ２６の処理で決定された最終クラスに対応付けられて出力され、例えば、係数テーブルとして記憶される。

このようにして、予測係数学習処理が実行される。

次に、図１５のフローチャートを参照して、図８の画像処理装置２００による解像度変換処理の例について説明する。この処理は、画像処理装置２００による高画質化処理として実行される。

ステップＳ１０１において、画像処理装置２００は、入力画像を受け付ける。

ステップＳ１０２において、クラスタップ抽出部２０１は、クラスタップを抽出する。このとき、クラスタップ抽出部２０１は、図１のクラスタップ抽出部６１（図１２のステップＳ２２の処理）と同様に、注目画素に対応する複数の画素の値から得られる特徴量などからなるクラスタップを抽出する。

ステップＳ１０３において、波形クラス決定部２０２は、波形クラスを決定する。このとき、波形クラス決定部２０２は、波形クラス決定部６２（ステップＳ２３の処理）と同様に、ステップＳ１０２の処理で抽出されたクラスタップを解析し画像の波形に応じて定まる波形クラスを決定する。

ステップＳ１０４において、動きクラス決定部２０３は、動きクラスを決定する。このとき、動きクラス決定部２０３は、動きクラス決定部６３（ステップＳ２４の処理）と同様に、画像の動きに応じて定まる動きクラスを決定する。

ステップＳ１０５において、斜め検出部２０４と信頼度クラス決定部２０５は、信頼度クラス決定処理を実行する。

このとき、斜め検出部２０４が、例えば、図２乃至図４を参照して上述した方式により注目画素についての相関方向を検出する。また、信頼度クラス決定部２０５が、斜め検出部２０４による複数画素分の検出結果を取得し、図６を参照して上述したように、相関方向が出力された複数の画素における相関方向のばらつき度合を表す値を、式（１）により算出する。そして、信頼度クラス決定部２０５が、ばらつき度合を予め定められた閾値と比較することにより、信頼度クラスを決定する。

なお、ステップＳ１０５の処理の詳細は、図１３を参照して上述したものと同様なので詳細な説明は省略する。

ステップＳ１０６において、クラス分類部２０７は、クラス分類部６７（ステップＳ２６の処理）と同様に、ステップＳ１０３、ステップＳ１０４、およびステップＳ１０５により決定された波形クラス、動きクラス、信頼度クラスに基づいて最終クラスを決定する。最終クラスは、例えば、波形クラスを表すビット列、動きクラスを表すビット列、および信頼度クラスを表すビット列を結合したビット列により表わされる。

ステップＳ１０７において、予測タップ抽出部２０６は、予測タップを抽出する。

このとき、予測タップ抽出部２０６は、注目画素に対する相対的位置が予め定められた位置となる所定の個数の画素の値からなる固定タップと、注目画素に対する相対的位置が必要に応じて変更された画素の値からなる可変タップによって構成される予測タップを抽出する。予測タップ抽出部２０６は、予測タップを抽出する際に、ステップＳ１０５の処理の際の斜め検出部２０４による検出結果（相関方向）に基づいて、可変タップを選択するようになされている。

なお、ステップＳ１０７の処理の詳細は、図１４を参照して上述したものと同様なので詳細な説明は省略するが、これにより、例えば、図７を参照して上述したように、６個の固定タップと６個の可変タップとにより構成される予測タップが抽出される。

ステップＳ１０８において、係数算出部２０８は、ステップＳ１０６の処理で決定された最終クラスに対応する予測係数を、係数テーブル２０９から読み出す。これにより、予測タップの要素数と同数の要素を有するベクトルである予測係数が読み出される。

なお、係数テーブル２０９は、図１２のステップＳ２９で、最終クラスに対応付けられて導出された予測係数が記憶されている係数テーブルとされる。

ステップＳ１０９において、積和演算部２１０は、ステップＳ１０７の処理により抽出された予測タップと、ステップＳ１０８の処理により読み出された予測係数を用いた積和演算を行う。このとき、積和演算部２１０により式（２）の演算が行われ、出力位相の画素値が演算される。

ステップＳ１１０において、画像処理装置２００は、入力画像の解像度が変換された画像を出力する。すなわち、積和演算部２１０が出力画像である高解像度画像の出力位相の画素値のそれぞれを演算して出力していくことにより、出力画像の各画素が生成され、最終的に出力画像が生成されることになる。

このようにして、解像度変換処理が実行される。

以上においては、解像度変換処理を高画質化処理の例として説明したが、例えば、ぼけ除去、ノイズ除去などの画像処理を高画質化処理として本発明を適用することも可能である。

また、以上においては、クラス分類において、波形クラス、動きクラス、および信頼度クラスに基づいて最終クラスが決定されるようにする構成を説明したが、例えば、波形クラスと信頼度クラスに基づいて最終クラスが決定されるようにしてもよい。また、例えば、波形クラス、動きクラス以外の画像の特徴量に基づくクラスが画像特徴量クラスとして決定され、画像特徴量クラスと信頼度クラスに基づいて最終クラスが決定されるようにしてもよい。あるいはまた、信頼度クラスのみに基づいて最終クラスが決定されるようにしてもよい。

さらに、以上においては、予測タップの要素（または予測係数の要素）が１２である場合を例として説明したが、予測タップ（または予測係数）の要素数はこれに限られるものではない。

図８を参照して上述した画像処理装置は、例えば、高画質化回路としてテレビジョン受像機に搭載することも可能である。図１６は、図８を参照して上述した画像処理装置を搭載したテレビジョン受像機５１１の構成例を示すブロック図である。

同図のテレビジョン受像機５１１は、被制御部５３１および制御部５３２から構成される。被制御部５３１は、制御部５３２の制御の下、テレビジョン受像機５１１の種々の機能を実現する。

被制御部５３１は、デジタルチューナ５５３、デマルチプレクサ（Demux）５５４、ＭＰＥＧ(Moving Picture Expert Group)デコーダ５５５、映像・グラフィック処理回路５５６、パネル駆動回路５５７、表示パネル５５８、音声処理回路５５９、音声増幅回路５６０、スピーカ５６１、および受信部５６２を備えている。また、制御部５３２は、ＣＰＵ（Central Processing Unit）５６３、フラッシュＲＯＭ５６４、ＤＲＡＭ（Dynamic Random Access Memory）５６５、および内部バス５６６を備えている。

デジタルチューナ５５３は、図示せぬアンテナ端子から入力されたテレビジョン放送信号を処理して、ユーザの選択したチャンネルに対応した所定のＴＳ（Transport Stream）を、デマルチプレクサ５５４に供給する。

デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ユーザの選択したチャンネルに対応した、パーシャルＴＳ（映像信号のＴＳパケット、音声信号のＴＳパケット）を抽出し、ＭＰＥＧデコーダ５５５に供給する。

また、デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ＰＳＩ／ＳＩ(Program Specific Information/Service Information)を取り出し、ＣＰＵ５６３に供給する。デジタルチューナ５５３から供給されたＴＳには、複数のチャンネルが多重化されている。デマルチプレクサ５５４がＴＳから任意のチャンネルのパーシャルＴＳを抽出する処理は、ＰＳＩ／ＳＩ（ＰＡＴ/ＰＭＴ）から任意のチャンネルのパケットＩＤ（ＰＩＤ）の情報を得ることで可能となる。

ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される映像信号のＴＳパケットにより構成される映像ＰＥＳ(Packetized Elementary Stream)パケットに対してデコード処理を行い、その結果得られる映像信号を、映像・グラフィック処理回路５５６に供給する。また、ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される音声信号のＴＳパケットにより構成される音声ＰＥＳパケットに対してデコード処理を行い、その結果得られる音声信号を、音声処理回路５５９に供給する。

映像・グラフィック処理回路５５６は、ＭＰＥＧデコーダ５５５から供給された映像信号に対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行い、パネル駆動回路５５７に供給する。

映像・グラフィック処理回路５５６には、高画質化回路５７０が接続されており、パネル駆動回路５５７に映像信号を供給するのに先立って、高画質化処理が実行される。

高画質化回路５７０は、図８を参照して上述した画像処理装置と同様の構成とされ、ＭＰＥＧデコーダ５５５から供給された映像信号から得られた画像データに対して、図１５を参照して上述した解像度変換処理を高画質化処理として実行するようになされている。

パネル駆動回路５５７は、映像・グラフィック処理回路５５６から供給された映像信号に基づいて、表示パネル５５８を駆動し、映像を表示させる。表示パネル５５８は、例えば、ＬＣＤ(Liquid Crystal Display)またはＰＤＰ(Plasma Display Panel)等で構成されている。

音声処理回路５５９は、ＭＰＥＧデコーダ５５５から供給された音声信号に対してＤ/Ａ（Digital to Analog）変換等の必要な処理を行い、音声増幅回路５６０に供給する。

音声増幅回路５６０は、音声処理回路５５９から供給されるアナログ音声信号を増幅し、スピーカ５６１に供給する。スピーカ５６１は、音声増幅回路５６０からのアナログ音声信号に応じた音声を出力する。

受信部５６２は、リモートコントローラ５６７から送信された、例えば赤外線のリモートコントロール信号を受信し、ＣＰＵ５６３に供給する。ユーザは、リモートコントローラ５６７を操作することで、テレビジョン受像機５１１の操作を行うことができる。

ＣＰＵ５６３、フラッシュＲＯＭ５６４、およびＤＲＡＭ５６５は、内部バス５６６を介して接続されている。ＣＰＵ５６３は、テレビジョン受像機１１の各部の動作を制御する。フラッシュＲＯＭ５６４は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ５６５は、ＣＰＵ５６３のワークエリア等を構成する。すなわち、ＣＰＵ５６３は、フラッシュＲＯＭ５６４から読み出したソフトウェアやデータをＤＲＡＭ５６５上に展開してソフトウェアを起動し、テレビジョン受像機５１１の各部を制御する。

このように本発明をテレビジョン受像機に適用することができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１７において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

５０ 学習装置， ６１ クラスタップ抽出部， ６２ 波形クラス決定部， ６３ 動きクラス決定部， ６４ 斜め検出部， ６５ 信頼度クラス決定部， ６６ 予測タップ抽出部， ６７ クラス分類部， ６８ 係数生成部， ２００ 画像処理装置， ２０１ クラスタップ抽出部， ２０２ 波形クラス決定部， ２０３ 動きクラス決定部， ２０４ 斜め検出部， ２０５ 信頼度クラス決定部， ２０６ 予測タップ抽出部， ２０７ クラス分類部， ２０８ 係数算出部， ２０９ 係数テーブル， ２１０積和演算部， ５１１ テレビジョン受像機， ５７０ 高画質化回路， ７０１ ＣＰＵ， ７０２ ＲＯＭ， ７１１ リムーバブルメディア

Claims (12)

1. 第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、
   前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、
   前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、
   第２の画像における前記注目画素に対応する画素の値と前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値を、前記注目画素について検出された相関方向の信頼度に対応づけて算出する予測係数算出手段と
   を備える係数学習装置。
2. 前記予測タップは、
   前記注目画素に対する位置が予め定められた複数または単数の画素の値からなる固定タップと、
   前記注目画素に対する位置が前記注目画素について検出された相関方向に対応して定まる複数または単数の画素の値からなる可変タップとにより構成される
   請求項１に記載の係数学習装置。
3. 前記第１の画像から、前記注目画素を中心とする所定の数の画素の値からなるクラスタップを抽出するクラスタップ抽出手段と、
   前記クラスタップを解析して、複数の特徴クラスのいずれかに分類する特徴クラス分類手段と、
   前記注目画素について検出された相関方向の信頼度を閾値と比較することで複数の信頼度クラスのいずれかに分類する信頼度クラス分類手段と、
   前記分類された特徴クラスと信頼度クラスに基づいて、最終クラスを決定する最終クラス決定手段をさらに備え、
   前記予測係数算出手段は、前記最終クラスに対応づけて前記予測係数を算出する
   請求項１に記載の係数学習装置。
4. 前記注目画素について検出された相関方向の信頼度は、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向のばらつきの度合に基づいて算出される
   請求項１に記載の係数学習装置。
5. 相関方向検出手段が、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出し、
   信頼度算出手段が、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出し、
   予測タップ抽出手段が、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出し、
   予測係数算出手段が、第２の画像における前記注目画素に対応する画素の値と、前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値を、前記注目画素について検出された相関方向の信頼度に対応づけて算出するステップ
   を含む係数学習方法。
6. コンピュータを、
   第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、
   前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、
   前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、
   第２の画像における前記注目画素に対応する画素の値と、前記予測タップに基づいて、前記予測タップから前記第２の画像の画素値を演算する線形一次式に用いられる予測係数の値を、前記注目画素について検出された相関方向の信頼度に対応づけて算出する予測係数算出手段とを備える係数学習装置として機能させる
   プログラム。
7. 第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、
   前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、
   前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、
   前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数を読み出す係数読み出し手段と、
   前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値を演算する画素値演算手段と
   を備える画像処理装置。
8. 前記予測タップは、
   前記注目画素に対する位置が予め定められた複数または単数の画素の値からなる固定タップと、
   前記注目画素に対する位置が前記注目画素について検出された相関方向に対応して定まる複数または単数の画素の値からなる可変タップとにより構成される
   請求項７に記載の画像処理装置。
9. 前記第１の画像から、前記注目画素を中心とする所定の数の画素の値からなるクラスタップを抽出するクラスタップ抽出手段と、
   前記クラスタップを解析して、複数の特徴クラスのいずれかに分類する特徴クラス分類手段と、
   前記注目画素について検出された相関方向の信頼度を閾値と比較することで複数の信頼度クラスのいずれかに分類する信頼度クラス分類手段と、
   前記分類された特徴クラスと信頼度クラスに基づいて、最終クラスを決定する最終クラス決定手段をさらに備え、
   前記予測係数読み出し手段は、前記最終クラスに基づいて前記予測係数を読み出す
   請求項７に記載の画像処理装置。
10. 前記注目画素について検出された相関方向の信頼度は、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向のばらつきの度合に基づいて算出される
    請求項７に記載の画像処理装置。
11. 相関方向検出手段が、第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出し、
    信頼度算出手段が、前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出し、
    予測タップ抽出手段が、前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出し、
    係数読み出し手段が、前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数を読み出し、
    画素値演算手段が、前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値を演算するステップ
    を含む画像処理方法。
12. コンピュータを、
    第１の画像において注目画素の周辺画素の相関値に基づいて前記注目画素の相関方向を検出する相関方向検出手段と、
    前記注目画素の周辺の複数の画素のそれぞれについて検出された前記相関方向に基づいて、前記注目画素の相関方向の信頼度を算出する信頼度算出手段と、
    前記検出された相関方向に基づいて、前記注目画素を中心とする所定の数の画素の値からなる予測タップを、前記第１の画像から抽出する予測タップ抽出手段と、
    前記注目画素の相関方向の信頼度に基づいて、予め記憶されている予測係数を読み出す係数読み出し手段と、
    前記予測タップのそれぞれと前記予測係数とを用いた線形一次式により第２の画像の画素値を演算する画素値演算手段とを備える画像処理装置として機能させる
    プログラム。

Images