JP2011211437A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにする。
【解決手段】無限の拡大倍率に対応する予測係数、変換情報などを統合データベースに記憶しておき、統合データベースから拡大倍率に応じた予測係数、変換情報などを算出する。被写体の画像が１.５倍、２倍、２.５倍、３倍の各拡大倍率に対応するサイズの画素によって表示される。便宜上３行３列の矩形により各拡大倍率に対応する画像が示されており、各矩形の大きさが上述の画素のサイズを意味する。１.５倍（「×１.５」）、２倍（「×２.０」）、２.５倍（「×２.５」）、３倍（「×３.０」）の拡大倍率に対応する予測係数を個々に記憶せず、統合データベースに記憶された情報に基づいて、各拡大倍率に対応する予測係数が算出される。
【選択図】図４

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにする画像処理装置および方法、並びにプログラムに関する。

従来より統計学習を用いた、画像の拡大変換が知られている。例えば、低解像度の画像と高解像度の画像のペア（学習対）を事前に用意し、両者の対応関係を統計的に学習して変換テーブルを作成する。入力画像に対してこの変換テーブルを利用した変換処理を施すことで高精細な拡大変換が可能になる.

また、ノイズなど劣化を含んだ入力画像からノイズのない画像を予測したり、ＳＤ信号を高解像度のＨＤ信号に変換するために、クラス分類適応処理を用いる手法が提案されている（例えば、特許文献１参照）。

特許文献１の技術により、ＳＤ信号をＨＤ信号に変換する場合、まず、入力ＳＤ信号からなるクラスタップの特徴を、ＡＤＲＣ（適応的ダイナミックレンジ符号化）等を用いて求め、得られたクラスタップの特徴に基づいてクラス分類を行う。そして、そのクラス毎に用意された予測係数と、入力ＳＤ信号からなる予測タップとの演算を行うことによって、ＨＤ信号を得る。

クラス分類は、予測値を求めようとする高Ｓ／Ｎ画素の位置に対応する低Ｓ／Ｎ画像の位置から空間的または時間的に近い位置にある低Ｓ／Ｎ画素の画素値のパターンによって、各高Ｓ／Ｎ画素を、いわばグループ分けするものであり、適応処理は、各グループ（上述のクラスに相当する）ごとに、そのグループに属する高Ｓ／Ｎ画素に対して、より適した予測係数を求めて、その予測係数により、画質の向上を図るものであるから、クラス分類は、基本的には、予測値を求めようとする高Ｓ／Ｎ画素に関係する、より多くの画素からクラスタップを構成して行うのが望ましい。

しかし、低解像度画像を高解像度画像に拡大する際に、決まった単一の倍率での拡大だけでなく、多くの倍率の拡大に対応しようとした場合、その倍率のパターン分の変換テーブルが必要になる。

そこで、出願人は、予め複数の離散的な倍率の変換テーブルを用意しておき、線形補間によって中間倍率での変換結果を求めたり、変換テーブル間の線形回帰により中間の変換テーブルを作成する手法を提案した（例えば、特許文献２参照）。

特開平７−７９４１８号公報 特開２００４−１９１８５６号公報

しかしながら、特許文献２のようにして中間倍率での拡大を行っても、直接学習で求めた変換テーブルを使用した場合と比較すると画質的な低下が避けられない。

また超高倍率の拡大変換などのように予め学習対が用意できない場合、従来の手法では対応できない。

本発明はこのような状況に鑑みてなされたものであり、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるようにするものである。

本発明の一側面は、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える画像処理装置である。

前記係数構成値を記憶するデータベースをさらに備え、前記データベースは、前記係数構成値を、前記タップの要素を識別する情報に対応づけて記憶するようにすることができる。

前記入力画像の注目画素周辺の画像を、予め定められた方式で複数のクラスのいずれかに分類するクラス分類手段をさらに備え、前記データベースは、前記係数構成値を、前記クラス毎に記憶するようにすることができる。

前記出力画素により構成される出力画像は、前記入力画像より解像度の高い画像であるようにすることができる。

前記パラメータとして入力される前記出力画素のサイズは、前記出力画像の解像度によって定まるようにすることができる。

前記出力画像より解像度の高い無限解像度画像の複数の画素の値を前記集光モデルにより表わされる集光特性に応じて積分した値を前記出力画素の値と近似して、前記予測係数を前記パラメータと前記係数構成値とを有する関数により記述し、前記データベースは、解像度の高い教師画像と解像度の低い生徒画像を用いて予め学習された予測係数と、前記関数に基づいて求められた前記係数構成値を記憶するようにすることができる。

前記集光モデルは、ガウシアンモデルであるようにすることができる。

前記集光モデルは、サーキュラモデルであるようにすることができる。

本発明の一側面は、パラメータ入力手段が、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力し、タップ抽出手段が、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出し、予測係数算出手段が、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出し、画素値演算手段が、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算するステップを含む画像処理方法である。

本発明の一側面は、コンピュータを、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える画像処理装置として機能させるプログラムである。

本発明の一側面においては、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータが入力され、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップが抽出され、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数が算出され、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値が演算される。

本発明によれば、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができる。

従来の画像処理装置の構成例を示すブロック図である。 予測係数の学習を説明する図である。 拡大倍率に応じた学習対の例を説明する図である。 本発明による予測係数の算出の例を説明する図である。 低解像度画像と無限解像度画像と高解像度画像の関係を説明する図である。 高解像度画像の画素がどのように構成されているかを説明する図である。 低解像度画像を拡大倍率「５×５」で拡大変換する場合の例を説明する図である。 式（３）、式（７）、式（８）における（ｉ,ｊ）の組み合わせを説明する図である。 低解像度画像を拡大倍率「３×５」で拡大変換する場合の例を説明する図である。 サーキュラモデルを説明する図である。 集光モデルにサーキュラモデルを採用した場合の図６に対応する図である。 本発明の一実施の形態に係る画像処理装置の構成例を示すブロック図である。 図１２の画像処理装置により実行される拡大変換処理の例を説明する図である。 本発明による予測係数の算出の別の例を説明する図である。 本発明によって、より高画質の拡大変換を実現する方式を説明する図である。 図１５に示される方式により拡大変換処理を行った場合の効果を説明する図である。 本発明の画像処理装置を搭載したテレビジョン受像機の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。

最初に従来の技術による画像の拡大変換について説明する。図１は、従来の画像処理装置１０の構成例を示すブロック図である。同図に示される画像処理装置１０は、例えば、低解像度の画像Ｌが入力画像として入力され、画像Ｌの所定の画素に基づいて高解像度Ｈの画素Ｈ_hを生成して出力画像として出力するものとされる。すなわち、画像処理装置１０により画像の拡大変換が行われる。

入力画像は、クラスタップ抽出部２１に供給され、注目画素が設定される。クラスタップ抽出部２１は、例えば、注目画素値およびその周辺画素値などとして構成されるクラスタップＬ_ｃを抽出するようになされている。クラスタップは、例えば、数次元から数十次元のベクトルとなる。

クラス分類部２２は、抽出されたクラスタップを解析することにより、当該クラスタップを所定のクラス（ｃｌａｓｓ）に分類し、クラスを決定する。

予測係数決定部２３は、入力画像の注目画素に対応する出力画像の画素位置ｈ（位相とも称される）の画素を生成するために必要となる予測係数であって、クラス分類部２２により決定されたクラスに対応する予測係数を記憶部（ＲＯＭなど）から読み出すようになされている。なお、予測係数ω_class,k（h,ｒ_zoom）は、画像の拡大倍率ｒ_zoomと出力画像の画素の位相ｈ応じてクラス毎に予め記憶されており、予測タップと同数の要素を有するベクトルとされる。

予測タップ抽出部２４は、クラス分類部２２により決定されたクラスに対応して予め定められた予測タップを、入力画像から抽出する。予測タップＬ_class,kは、注目画素値およびその周辺画素値などとして構成され、この例では、ｋ個の要素を有するベクトルであるものとする。

予測処理部２５は、予測タップ抽出部２４から供給された予測タップの要素のそれぞれと、予測係数決定部２３から供給された予測係数の要素のそれぞれとの積和演算を行うことにより、高解像度画像の所定の画素Ｈ_hを生成して出力するようになされている。

例えば、高解像度画像の画素位置ｈの画素値を算出する場合、予測タップが注目画素を中心とする９個の画素の画素値とされるとき、次のように演算される。予測係数決定部２３により出力画像の画素の位相が画素位置ｈである場合の予測係数が読み出される。そして、予測係数の第１番目の要素と予測タップの第1番目の要素との積が演算され、予測係数の第２番目の要素と予測タップの第２番目の要素との積が演算され、・・・予測係数の第９番目の要素と予測タップの第９番目の要素との積が演算される。さらにこれらの積の和が算出されて高解像度画像の画素Ｈ_hの画素値とされる。

また、例えば、高解像度画像の画素位置ｉの画素値を算出する場合、予測係数決定部２３により出力画像の画素の位相が画素位置ｉである場合の（９個の要素からなる）予測係数が読み出されて上述の演算がなされる。

例えば、拡大倍率が「５×５」であった場合、入力画像の１画素を注目画素とする予測タップから、出力画像の画素２５個の画素値が算出される。この場合、出力画像の画素の位相は２５通り存在するので、同一のクラスに分類された予測係数は、出力画像の画素の位相に応じて２５通り用意される。そして、予測タップの要素が９個あるので、２５個の予測係数のそれぞれが９個の要素を有することになる。

従来、このようにして、画像の拡大変換が行われていた。

従来用いられていた予測係数は、生徒画像と教師画像との組み合わせからなる学習対に基づいて生成される。図２は、予測係数の学習を説明する図である。同図に示されるように、高解像度の画像である教師画像と、教師画像の画素数を縮退させるなどして得られた低解像度の画像である生徒画像に基づいて、予測係数の学習が行われる。なお、図中において、低解像度の画像の面積が、高解像度の画像の面積と比較して小さくなるように記載されている。

例えば、教師画像の画素値を真値とし、生徒画像から抽出されたタップと真値の組み合わせからなる複数のサンプルを取得して、タップをパラメータとして真値を算出するための線形一次式の係数を、予測係数として学習する。学習された予測係数は、データベースに記憶される。なお、データベースには、予測係数とともに、例えば、クラスタップの抽出方式などの変換情報が必要に応じて記憶される。

このように、学習対を用いて予測係数を学習する場合、拡大倍率に応じた学習対を用意する必要がある。例えば、１.５倍、２倍、２.５倍、３倍の拡大倍率での拡大変換を行う画像処理装置を構成する場合、それらの拡大倍率に応じたデータベースをそれぞれ用意しておく必要がある。例えば、図３に示されるように、１.５倍（「×１.５」）、２倍（「×２.０」）、２.５倍（「×２.５」）、３倍（「×３.０」）の拡大倍率に対応する生徒画像と教師画像との組み合わせを用意し、それらの学習対に基づいて予測係数を学習しておく必要がある。

このようにすると、拡大倍率１.５倍用の予測係数等を記憶するデータベース、拡大倍率２倍用の予測係数等を記憶するデータベース、・・・をそれぞれ用意しておく必要があり、コスト増などの要因となる。

そこで、本発明では、拡大倍率に係らず用いることが可能な予測係数、変換情報などを記憶した統合データベースを用意することにする。

本発明では、各拡大倍率の画像は、被写体の画像が集光特性に応じて積分されたものと考える。すなわち、現実の被写体は、無限の拡大倍率の画像であると考え、高解像度画像や低解像度画像の画素は、無限の拡大倍率の画像の画素が複数集まって構成されているものと考える。なお、無限の拡大倍率の画像を、無限解像度画像と称することにする。

上述した考え方のもと、本発明では、例えば、図４に示されるように、無限の拡大倍率に対応する予測係数、変換情報などを統合データベースに記憶しておき、統合データベースから拡大倍率に応じた予測係数、変換情報などを算出するようにする。

図４では、被写体の画像が１.５倍、２倍、２.５倍、３倍の各拡大倍率に対応するサイズの画素によって表示される例を表している。なお、図中では、便宜上３行３列の矩形により各拡大倍率に対応する画像が示されており、各矩形の大きさが上述の画素のサイズを意味することになる。また、同図は、１.５倍（「×１.５」）、２倍（「×２.０」）、２.５倍（「×２.５」）、３倍（「×３.０」）の拡大倍率に対応する予測係数を個々に記憶せず、統合データベースに記憶された情報に基づいて、各拡大倍率に対応する予測係数が算出されることを表している。

以下に、この方式の詳細について説明する。

本発明では、無限解像度画像の各画素値は、画素位置の座標Ｒ＝（Ｒx，Ｒy）を変数とする連続関数Ｇ（Ｒ）によって記述できるものとする。無限解像度画像の各画素値は、低解像度画像の画素値Ｌ_kを用いて式（１）により表わされる。

式（１）において、予測タップは、低解像度画像の注目画素を中心とするｋ個の画素の画素値からなるベクトルとされ、Ｎはタップの要素数を表し、ｋはそれらの要素の番号を意味するものとする。また、式（１）において、予測係数はｋ個の要素を有するベクトルとして構成され、予測係数のｋ番目の要素がＷ_kとして表わされている。なお、予測係数の各要素は、従来の方式のものと同様に、出力画像（いまの場合、無限解像度画像）の所定の画素位置の画素を生成するためのものとして与えられるものなので、画素位置の座標Ｒを変数として記述されている。

ここで、低解像度画像より解像度が高く、無限解像度画像より解像度が低い高解像度画像の画素値Ｈ_h（画素Ｈ_hの値を意味する）を考える。上述したように、高解像度画像の画素値は、無限解像度画像の画素値が集光特性に応じて積分されたものと考えると、連続関数Ｇ（Ｒ）と座標ｒ＝（ｒx，ｒy）を変数とする集光モデルＳ（ｒ）と積算・積分により得られることになる。なお、座標ｒは、無限解像度画像の座標Ｒを中心とする相対座標とされる。

すなわち、図５に示されるように、高解像度画像の画素値Ｈ_hは、低解像度画像の画素値Ｌ_kを用いて予測された画素値Ｇ（Ｒ）から、集光モデルＳ（ｒ）を用いて算出されることになる。

同図においては、無限解像度画像の座標は点で表わされるものとし、図中の中央に示されている。また、低解像度画像は、単位面積の画像が９（＝３×３）個の画素で構成されるものとし、図中の左側に示されている。さらに、高解像度画像は、単位面積の画像が３６（＝６×６）個の画素で構成されるものとし、図中の右側に示されている。

なお、図５において、集光モデルＳ（ｒ）は、ガウシアンモデルの重み係数を表す三次元空間の図として表現されており、図中右下側に示されている。同図に示されるように、無限解像度画像のｘｙ平面における座標を基準として考えると、低解像度画像の画素はより面積の大きい平面であり、高解像度画像の画素はより面積の小さい平面であるにすぎない。つまり、出力画素値Ｈ_hの画素は、無限解像度画像のｘｙ平面における座標Ｒを中心とした、所定の面積を有する平面を意味することになる。

従って、高解像度画像の画素値Ｈ_hは、式（１）を用いて式（２）のように近似できる。

また、本発明では式（１）で用いた予測係数の各要素Ｗ_k（Ｒ）を、式（３）に示されるように、直交関数の積和式で近似するものとする。ここでは、直交関数の例として余弦関数を用いることにする。なお、式（３）におけるｎの値はできるだけ大きくすることが望ましい。

そうすると、式（２）におけるＤ_kは、高解像度画像の画素の中心座標Ｒ、高解像度画像の画素サイズＺ、集光モデルＳ（ｒ）におけるガウシアンパラメータσを変数として、式（４）により近似される。なお、Ｄ_kは、予測係数と同様に複数の要素からなるベクトルの１要素を表しており、このベクトルを新予測係数と称することにする。なお、式（４）におけるａ、ｂ、ｃ、ｄの値のそれぞれは、画素サイズＺに応じて定まるものとされる。

ここで、高解像度画像の画素（画素値Ｈ_hの画素）は、図６に示されるように構成されているものとする。すなわち、高解像度画像の画素は、無限解像度画像のｘｙ平面における座標Ｒを中心とし、水平方向にＺx、垂直方向Ｚyの長さを有する矩形で表わされるものとする。同図において、高解像度画像の画素である矩形の四隅の点が、それぞれ無限解像度画像のｘｙ平面における座標（ａ，ｄ）、（ｂ，ｄ）、（ａ，ｃ）、（ｂ，ｃ）で表わされている。なお、図中の円の半径がガウシアンパラメータσを表す。

図６の画素サイズＺは、例えば、図５を参照して上述した高解像度画像の画素の平面の大きさを意味し、図６のガウシアンパラメータσは、例えば、図５を参照して上述した集光モデルに用いられるパラメータ（変数）を意味する。従って、画素サイズＺは、例えば、表示装置などに実装された実際の画素の大きさを意味するものではなく、画像の解像度に応じて定まるものである。同様に、ガウシアンパラメータσも、表示装置などの実装に対応した実際の集光特性にかかわらず、例えば、解像度を変換して得られる出力画像の特性として適切な値を任意に設定できるものとしてよい。

図６から、式（４）におけるａ、ｂ、ｃ、ｄの値のそれぞれは、式（５）により導出することが可能である。

式（４）に示される新予測係数の要素Ｄ_k（Ｒ,Ｚ,σ）のそれぞれを、例えば、図２を参照して上述した従来の方式により学習された予測係数の要素のそれぞれと等しいものとして等式を生成する。そして、学習に用いられた生徒画像と教師画像に基づいて特定することが可能な座標Ｒ、画素サイズＺ、ガウシアンパラメータσを代入して連立式を解くことにより、式（４）におけるｗ_ijkを求めることができる。

本発明では、式（４）におけるｗ_ijkをそれぞれ求めて統合データベースに記憶するようにする。

図７を参照して詳細に説明する。図７は、低解像度画像を拡大倍率「５×５」で拡大変換する場合の例を説明する図である。

同図の図中左側に示される９個の矩形が入力画像（低解像度画像）のタップを表している。この例では、「Ｌ0」乃至「Ｌ8」の符号が付された矩形により入力画像の各画素が示されている。また、入力画像における注目画素が図中「Ｌ4」の符号が付された矩形で示される画素とされ、注目画素を中心とした９（＝３×３）個の画素の画素値のそれぞれがタップとされている。

また、この例では、入力画像の注目画素（「Ｌ4」の符号が付された矩形）に対応して図中右側に示される２５（＝５×５）個の高解像度画像の画素が生成されるものとする。図７中右側に示された２５個の矩形が、注目画素に対応して生成される高解像度画像の画素のそれぞれを表している。なお、各矩形内に示される黒い円は、各画素の中心位置を表している。また、図中の最も左上の画素が画素Ｈ0とされ、順番に符号が付されて図中の最も右下の画素が画素Ｈ24とされている。

なお、図７においては、図中右側の高解像度画像の画素群の４隅の座標のそれぞれを、便宜上（０,１）、（１,１）、（０,０）、（１,０）で表わしている。また、同図の高解像度画像は、低解像度画像の１画素に対応する平面に高解像度画像の画素を２５（＝５×５）個生成するものだから、画素サイズＺのｘ成分、ｙ成分ともに０.２（＝１／５）となる。これにより、画素Ｈ0の中心位置の座標は、（０.１,０.９）と特定することができる。同様に、画素Ｈ1の中心位置の座標は、（０.３,０.９）と特定され、・・・画素Ｈ24の中心位置の座標は、（０.９,０.１）と特定される。

いま、予め学習によって求めた予測係数の各要素ω_hkと入力画像から抽出された予測タップの各要素Ｌ_kと用いて、高解像度画像の画素値Ｈ_hを、式（６）により求めることができるものとする。

式（６）に用いられている予測係数の各要素ω_hkは、式（４）によって近似された新予測係数の各要素と等しいものだから、式（７）が成立する。なお、式（７）は、新予測係数Ｄ_k（Ｒ,Ｚ,σ）のパラメータである座標Ｒを、高解像度画像の画素Ｈ0の中心位置とした場合のものであり、高解像度画像の画素Ｈ0を求めるための予測係数の各要素は、要素ω_0kとして表わされている。

また、式（６）におけるａ₀、ｂ₀、ｃ₀、ｄ₀は、それぞれ高解像度画像の画素Ｈ0に対応する矩形平面の４隅の座標を表すものであり、画素Ｈ0の中心位置の座標（０.１,０.９）と、画素サイズＺを式（５）に代入して求めることができる。

このように、式（６）に用いられている予測係数の要素ω_hkのそれぞれを、式（４）によって近似された新予測係数の要素のそれぞれと等しいものとし、式（８）に示されるような連立式を得ることができる。式（６）の予測係数の要素ω_hkにおけるｈは高解像度画像の画素位置を表すものであり、２５通りのｈが存在するので、２５個の式からなる連立式を得ることができる。

なお、式（８）における予測係数の要素ω_hkのそれぞれは、例えば、図２を参照して上述した従来の方式により予め学習された予測係数の要素のそれぞれとされる。

いま、式（３）、式（７）、式（８）において採用するｎの値を６とする。そうすると、式（３）、式（７）、式（８）における（ｉ,ｊ）の組み合わせは、図８に示される通りとなる。

図８に示されるように、ｎが６である場合、ｉの値は０から５までの整数となる。ｉが０の場合、ｊの値は０から５までの整数となり、ｉが１の場合、ｊの値は０から４までの整数となり、・・・ｉが５の場合、ｊの値は０のみとなる。

図８に示されるように、式（３）、式（７）、式（８）において採用するｎの値を６とすると、（ｉ,ｊ）の組み合わせは２１通りとなる。すなわち、式（８）に示される２５個の式からなる連立式において、２１個のｗ_ijkが未知数となる。

よって、例えば、式（８）に示される連立式の誤差項を最小にするように、最小二乗法によって、２１個のｗ_ijkを導出することが可能となる。このようにして、ｋの値毎に２１個のｗ_ijkを導出していく。

例えば、このようにして導出されたｗ_ijkの値をそれぞれ統合データベースに記憶する。上述の例の場合、ｋは予測タップの要素数と同数の９通りあるから、１８９（＝２１×９）個のｗ_ijkの値がそれぞれ統合データベースに記憶される。

統合データベースに記憶されたｗ_ijkを用いることで、低解像度画像の画素値から高解像度画像の画素値を求めることも可能となる。このようなｗ_ijkを係数構成値と称することにする。

なお、係数構成値はクラス毎に分類されて統合データベースに記憶される。すなわち、入力画像から抽出されたクラスタップに基づくクラス分類の結果に応じた係数構成値が統合データベースに記憶される。例えば、式（７）、式（８）に用いられる予測係数の各要素ω_hkは予め学習によって求められたものなので、その学習において分類されたクラスと係数構成値とが対応づけられるようにすればよい。

ここで、統合データベースに記憶される係数構成値の詳細について、予測係数を記憶する場合と比較しながら説明する。

従来の画像処理装置において記憶されている予測係数は、クラス毎に分類されて、出力画像の位相に対応づけられて記憶されていた。例えば、９個の画素値からなる予測タップを用いて、低解像度画像を拡大倍率「５×５」で拡大変換する場合、次のような予測係数が記憶されることになる。この場合、１つの注目画素に対応する予測タップから画素値を算出すべき出力画像の位相として、例えば、位相０乃至位相２４の２５個の位相を考慮する必要がある。

クラスｃ１に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素として、次の２２５個（＝９×２５）の要素が記憶される。

出力画像の位相０を求めるための予測タップの第１番目の要素に乗じられる要素ω₀₁、位相０を求めるための予測タップの第２番目の要素に乗じられる要素ω₀₂、・・・位相０を求めるための予測タップの第９番目の要素に乗じられる要素ω₀₈が記憶される。

同様に、出力画像の位相１を求めるための予測タップの第１番目の要素に乗じられる要素ω₁₁、位相１を求めるための予測タップの第２番目の要素に乗じられる要素ω₁₂、・・・位相１を求めるための予測タップの第９番目の要素に乗じられる要素ω₁₈が記憶される。

このように、出力画像の位相２乃至位相２４をそれぞれ求めるための予測タップの第１番目乃至第９番目の要素も記憶される。

そして、同様に、クラスｃ２に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素として、やはり２２５個（＝９×２５）の要素が記憶されている。よって、全体として、クラス数×２２５個の予測係数の要素が記憶されることになる。

本発明の場合、統合データベースに記憶されている係数構成値は、クラス毎に分類されて、予測係数（または予測タップ）の要素に対応づけられて記憶されている。例えば、９個の画素値からなる予測タップを用いて、低解像度画像を拡大倍率「５×５」で拡大変換する場合、次のような係数構成値が記憶されることになる。なお、式（３）、式（７）、式（８）において採用するｎの値は６であるものとし、上述したように、（ｉ,ｊ）の組み合わせは、図８に示される２１通りとなる。

クラスｃ１に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素を算出するための係数構成値として、次の１８９（＝２１×９）個の係数構成値が記憶される。

出力画像の画素（位相０乃至位相２４のいずれでもよい）を求めるための予測係数の第１番目の要素を算出するための係数構成値ｗ₀₀₁、予測係数の第１番目の要素を算出するための係数構成値ｗ₀₁₁、・・・予測係数の第１番目の要素を算出するための係数構成値ｗ₅₀₁が記憶される。

同様に、出力画像の画素（位相０乃至位相２４のいずれでもよい）を求めるための予測係数の第２番目の要素を算出するための係数構成値ｗ₀₀₂、予測係数の第２番目の要素を算出するための係数構成値ｗ₀₁₂、・・・予測係数の第２番目の要素を算出するための係数構成値ｗ₅₀₂が記憶される。

このように、予測係数の第３番目乃至第９番目の要素のそれぞれを算出するための第１番目乃至第２１番目の係数構成値も記憶される。

そして同様に、クラスｃ２に分類された注目画素を中心とする予測タップに乗じられる予測係数の要素を算出するための係数構成値として、やはり１８９個の係数構成値が記憶される。よって、クラス数×１８９個の係数構成値が記憶されることになる。

このように、本発明では、拡大倍率を任意に設定可能であるものの、記憶すべき情報の量は、従来の場合と比較して増大するものではない。よって、本発明によれば、簡単な構成で多様な変換パターンに対応できる画質変換処理を実現することができるのである。

上述のような統合データベースを用いて、低解像度画像の画素値から高解像度画像の画素値を求める場合、入力画像（低解像度画像）の解像度、出力すべき高解像度画像の画素数などから座標Ｒ、画素サイズＺ、ガウシアンパラメータσを特定する。

そして、特定された座標Ｒ、画素サイズＺ、ガウシアンパラメータσをパラメータとして式（４）に代入するとともに、統合データベースから読み出した係数構成値ｗ_ijkを式（４）に代入することで新予測係数の要素Ｄ_k（Ｒ,Ｚ,σ）を求めることができる。

このようにして求められた新予測係数の要素のそれぞれと、入力画像から抽出された予測タップの要素のそれぞれとの積和演算により、高解像度画像の画素値を得ることが可能となる。

図９を参照して詳細に説明する。図９は、低解像度画像を拡大倍率「３×３」で拡大変換する場合の例を説明する図である。

同図の図中左側に示される９個の矩形が入力画像（低解像度画像）のタップを表している。この例では、「Ｌ0」乃至「Ｌ8」の符号が付された矩形により入力画像の各画素が示されている。また、入力画像における注目画素が図中「Ｌ4」の符号が付された矩形で示される画素とされ、注目画素を中心とした９（＝３×３）個の画素の画素値のそれぞれがタップとされている。

また、この例では、入力画像の注目画素（「Ｌ4」の符号が付された矩形）に対応して図中右側に示される９（＝３×３）個の高解像度画像の画素が生成されるものとする。図９中右側に示された９個の矩形が、注目画素に対応して生成される高解像度画像の画素のそれぞれを表している。なお、各矩形内に示される黒い円は、各画素の中心位置を表している。また、図中の最も左上の画素が画素Ｈ0とされ、順番に符号が付されて図中の最も右下の画素が画素Ｈ8とされている。

なお、図９においては、図中右側の高解像度画像の画素群の４隅の座標のそれぞれを、便宜上（０,１）、（１,１）、（０,０）、（１,０）で表わしている。また、同図の高解像度画像は、低解像度画像の１画素に対応する平面に高解像度画像の画素を９（＝３×３）個生成するものだから、画素サイズＺのｘ成分、ｙ成分ともに０.３３＝（１／３）となる。これにより、画素Ｈ0の中心位置の座標は、（１／６,５／６）と特定することができる。同様に、画素Ｈ1の中心位置の座標は、（３／６,５／６）と特定され、・・・画素Ｈ8の中心位置の座標は、（５／６,１／６）と特定される。

この場合、高解像度画像の画素Ｈ0の値を求めるために必要となる予測係数の各要素ω_0kは、式（４）を用いて式（９）により求めることができる。

なお、ここでは、高解像度画像の画素値を求めるために必要となる予測係数の各要素をω_kとして表わしているが、これらの要素は、式（４）に示される新予測係数の要素Ｄ_kのそれぞれと同じものである。よって、式（９）により新予測係数の各要素が算出されると言い換えることもできる。

式（９）に、画素サイズＺ、ガウシアンパラメータσをパラメータとして代入するとともに、統合データベースから読み出した係数構成値ｗ_ijkを代入すれば、予測係数の各要素ω_0kの値が算出される。このとき、拡大変換の倍率に係らず、統合データベースに記憶されている係数構成値ｗ_ijkが全て用いられる。例えば、上述したように、１８９（＝２１×９）個の係数構成値がそれぞれ統合データベースに記憶されている場合、２１個の係数構成値がそれぞれ式（９）に代入される。

例えば、要素ω₀₀の値を算出するために、２１個の係数構成値が式（９）に代入され、要素ω₀₁の値を算出するために、別の２１個の係数構成値が式（９）に代入され、要素ω₀₂の値を算出するために、さらに別の２１個の係数構成値が式（９）に代入される。このように、要素ω₀₀乃至要素ω₀₈を算出するために１８９個の係数構成値が用いられることになる。

なお、図７を参照して説明した場合と同様に、式（９）におけるａ₀、ｂ₀、ｃ₀、ｄ₀は、それぞれ高解像度画像の画素Ｈ0に対応する矩形平面の４隅の座標を表すものであり、画素Ｈ0の中心位置の座標と、画素サイズを式（５）に代入して求めることができる。

このようにして、８１（＝９×９）個の予測係数の各要素ω_0kの値を求め、それら予測係数の要素のそれぞれと、入力画像から抽出された予測タップの要素のそれぞれとの積和演算により、高解像度画像の画素Ｈ0乃至画素Ｈ8の画素値のそれぞれを得ることが可能となる。

例えば、高解像度画像の画素Ｈ0の画素値をもとめる場合、低解像度画像の画素Ｌ0の画素値と予測係数の各要素ω₀₀との積が演算され、低解像度画像の画素Ｌ1の画素値と予測係数の各要素ω₀₁との積が演算され、・・・低解像度画像の画素Ｌ8の画素値と予測係数の各要素ω₀₈との積が演算される。そしてそれらの積の値の和が演算されて高解像度画像の画素Ｈ0の画素値とされる（式（６）に示される演算と同じ）。

このような演算が９（画素Ｈ0乃至画素Ｈ8）回行われることにより、低解像度画像の画素Ｌ0乃至画素Ｌ8の画素値（予測タップ）に基づいて、高解像度画像の画素Ｈ0乃至画素Ｈ8の画素値のそれぞれを得ることができる。そして、入力画像の注目画素を別の画素とした予測タップを新たに抽出し、その予測タップに基づいて、別の９個の高解像度画像の画素値が演算されることになる。このような画素値の演算を繰り返すことにより、最終的には、入力画像を「３×３」の拡大倍率で拡大変換した出力画像が生成されることになる。

なお、式（９）においてガウシアンパラメータσの値を調整することにより、出力画像（高解像度画像）のぼけ感を調整することもできる。例えば、ガウシアンパラメータσの値を大きくするとぼけた画像が出力され、ガウシアンパラメータσの値を小さくするとぼけの少ないシャープな画像が出力される。

また、ここでは、集光特性を表すモデル（集光モデル）としてガウシアンモデルを用いる例について説明したが、ガウシアンモデルに代えてサーキュラモデルを採用することも可能である。

サーキュラモデルは、例えば、図５に示されるガウシアンモデルの場合と異なり、中心から半径Ｒcの円内での重み係数が一定となる。図１０は、サーキュラモデルの重み係数を表す三次元空間の図である。

また、集光モデルにサーキュラモデルを採用する場合、図６は、図１１に示されるように書き換えられる。図１１においては、図中の円の半径がサーキュラの半径Ｒcとされている。

集光モデルにサーキュラモデルを採用する場合、式（２）におけるＤ_kは、高解像度画像の画素の中心座標Ｒ、高解像度画像の画素サイズＺ、集光モデルＳ（ｒ）におけるサーキュラの半径Ｒcを変数として、式（１０）により近似される。

なお、式（１０）における関数Ｊ₀（ｘ）は、零次ベッセル関数である。

式（１０）に示される新予測係数の要素Ｄ_k（Ｒ,Ｚ,Ｒc）のそれぞれを、例えば、図２を参照して上述した従来の方式により学習された予測係数の要素のそれぞれと等しいものとして、式（１０）における係数構成値ｗ_ijkを求めるようにしてもよい。

この他、集光モデルに画素積分モデルを採用するようにしてもよい。画素積分モデルは、式（１１）により定義されるモデルである。このモデルは、矩形の画素を想定し、式（１１）のＺxとＺyはそれぞれ画素の水平方向の長さと垂直方向の長さを表している。

一方、ガウシアンモデルは、式（１２）により定義される。

さらにサーキュラモデルは式（１３）により定義される。

このように、集光モデルを他のモデルに置き換えても、本発明による拡大変換処理を行うことが可能である。

図１２は、本発明の一実施の形態に係る画像処理装置１００の構成例を示すブロック図である。同図に示される画像処理装置１００は、例えば、低解像度の画像Ｌが入力画像として入力され、画像Ｌの所定の画素に基づいて高解像度Ｈの画素Ｈ_hを生成して出力画像として出力するものとされる。すなわち、画像処理装置１００により画像の拡大変換が行われる。

入力画像は、クラスタップ抽出部１２１に供給され、注目画素が設定される。クラスタップ抽出部１２１は、例えば、注目画素値およびその周辺画素値などとして構成されるクラスタップＬ_ｃを抽出するようになされている。クラスタップは、例えば、数次元から数十次元のベクトルとなる。

クラス分類部１２２は、抽出されたクラスタップを解析することにより、当該クラスタップを所定のクラス（ｃｌａｓｓ）に分類し、クラスを決定する。

予測タップ抽出部１２４は、クラス分類部１２２により決定されたクラスに対応して予め定められた予測タップを、入力画像から抽出する。予測タップＬ_class,kは、注目画素値およびその周辺画素値などとして構成され、この例では、ｋ個の要素を有するベクトルであるものとする。

なお、クラスタップ抽出部１２１、クラス分類部１２２、および予測タップ抽出部１２４のそれぞれは、図１に示される従来の画像処理装置１０のクラスタップ抽出部２１、クラス分類部２２、および予測タップ抽出部２４と同様のものである。

上述したように、本発明では、式（８）における予測係数の要素ω_hkのそれぞれは、例えば、図２を参照して上述した従来の方式により予め学習された予測係数の要素のそれぞれとされて、式（８）の連立式を解く。従って、例えば、図１に示される従来の画像処理装置１０に用いられる予測係数の要素を式（８）に代入して連立式を解いて求めた係数構成値ｗ_ijkが統合データベースに記憶されている場合、画像処理装置１０と同様のクラス分類とタップの抽出を行えばよい。

例えば、クラスタップ抽出部２１が２５個の画素値からなるクラスタップを取得し、クラス分類部２２が方式Ａでクラス分類し、予測タップ抽出部２４が９個の画素値からなる予測タップを抽出するものである場合、クラスタップ抽出部１２１が２５個の画素値からなるクラスタップを取得し、クラス分類部１２２が方式Ａでクラス分類し、予測タップ抽出部１２４が９個の画素値からなる予測タップを抽出するようにする。

また、例えば、クラスタップ抽出部２１が９個の画素値からなるクラスタップを取得し、クラス分類部２２が方式Ｂでクラス分類し、予測タップ抽出部２４が２５個の画素値からなる予測タップを抽出するものである場合、クラスタップ抽出部１２１が９個の画素値からなるクラスタップを取得し、クラス分類部１２２が方式Ｂでクラス分類し、予測タップ抽出部１２４が２５個の画素値からなる予測タップを抽出するようにする。

予測係数決定部１２３は、入力画像の注目画素に対応する出力画像の画素位置ｈの画素を生成するために必要となる係数構成値であって、クラス分類部１２２により決定されたクラスに対応する係数構成値を統合データベース１２７から読み出すようになされている。この例では、係数構成値ｗ_class,ijkが予測係数決定部１２３により読みだされて予測係数算出部１２６に供給されている。

そして、予測係数算出部１２６は、予測係数決定部１２３から供給される係数構成値と、座標Ｒ、画素サイズＺ、ガウシアンパラメータσに基づいて新予測係数の各要素を算出する。このとき、例えば、式（４）を参照して上述した演算が行われる。

なお、座標Ｒ、画素サイズＺ、ガウシアンパラメータσは、拡大変換における倍率、出力画像の特性などに基づいて予め特定されているものとする。

予測処理部１２５は、予測タップ抽出部１２４から供給された予測タップの要素のそれぞれと、予測係数算出部１２６から供給された新予測係数の要素のそれぞれとの積和演算を行うことにより、高解像度画像の所定の画素Ｈ_hを生成して出力するようになされている。

このようにして、本発明による画像の拡大変換が行われる。

次に、図１３のフローチャートを参照して、図１２の画像処理装置１００による拡大変換処理の例について説明する。この処理は、例えば、低解像度の画像Ｌが入力画像として入力され、画像Ｌの所定の画素に基づいて高解像度Ｈの画素を生成して出力画像として出力することが指令されたとき実行される。

ステップＳ２１において、予測係数算出部１２６は、パラメータの入力を受け付ける。ここで、パラメータは、例えば、生成すべき高解像度画像の画素値の座標Ｒ、画素サイズＺ、ガウシアンパラメータσとされる。なお、座標Ｒ、画素サイズＺ、ガウシアンパラメータσは、例えば、ユーザによって、拡大変換における倍率、出力画像の特性などに基づいて特定されるものとする。

ステップＳ２２において、クラスタップ抽出部１２１は入力画像から、例えば、注目画素値およびその周辺画素値などとして構成されるクラスタップを抽出する。

ステップＳ２３において、クラス分類部１２２は、ステップＳ２２の処理で抽出されたクラスタップを解析することにより、当該クラスタップを所定のクラスに分類し、クラスを決定する。

ステップＳ２４において、予測係数決定部１２３は、入力画像の注目画素に対応する出力画像の所定の画素位置の画素を生成するために必要となる係数構成値であって、ステップＳ２３の処理で決定されたクラスに対応する係数構成値を統合データベース１２７から読み出す。

ステップＳ２５において、予測係数算出部１２６は、ステップＳ２４の処理で予測係数決定部１２３から供給される係数構成値と、ステップＳ２１で受け付けた座標Ｒ、画素サイズＺ、ガウシアンパラメータσに基づいて新予測係数の各要素を算出する。このとき、例えば、式（４）を参照して上述した演算が行われる。

ステップＳ２６において、予測タップ抽出部１２４は、ステップＳ２３でクラス分類部１２２により決定されたクラスに対応して予め定められた予測タップを、入力画像から抽出する。予測タップは、注目画素値およびその周辺画素値などとして構成される。

なお、予測タップ抽出部１２４による予測タップの抽出は、ステップＳ２３の処理の後、ステップＳ２４の処理の前、またはステップＳ２５の処理の前に実行されるようにしてもよい。

ステップＳ２７において、予測処理部１２５は、ステップＳ２６で予測タップ抽出部１２４から供給された予測タップの要素のそれぞれと、ステップＳ２５で予測係数算出部１２６から供給された新予測係数の要素のそれぞれとの積和演算を行う。これにより、拡大変換後の画像（高解像度画像）の所定の画素の画素値が演算されて画素が生成される。

ステップＳ２８において、出力画像の全画素値が演算されたか否かが判定される。

ステップＳ２６において、まだ、全画素値が演算されていないと判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。

ステップＳ２６において、出力画像の全画素値が演算されたと判定された場合、処理は、終了する。

このようにして拡大変換処理が実行される。

このように、本発明によれば、任意の拡大倍率で自在に拡大変換を行うことが可能となる。

例えば、図１４に示されるように、１.５倍（「×１.５」）と２.５倍（「×２.５」）の拡大倍率に対応する生徒画像と教師画像との組み合わせを用意し、それらの学習対に基づいて予測係数を学習すれば、２倍、３倍の拡大倍率での拡大変換も行うことが可能となる。

なお、図１４は、２倍（「×２.０」）の拡大倍率および３倍（「×３.０」）の拡大倍率における生徒画像と教師画像の学習対を用意できなかった場合を表している。そして、このような場合でも、統合データベースに記憶された情報を用いれば、２倍または３倍の拡大倍率に対応する予測係数を生成できることを表している。

すなわち、統合データベースに記憶されている係数構成値を用いて式（４）の演算を行えば、実際に学習していない２倍、３倍の拡大倍率に対応する予測係数を簡単に生成することができる。これにより、例えば、超高倍率の拡大変換などのように学習対が用意できない場合でも、本発明の画像処理装置１００を用いて拡大変換を行うことが可能となる。

また、式（３）におけるｎの値を十分に大きくとれば、拡大変換処理によって生成された出力画像の画質は、直接学習で求めた予測係数を用いて拡大変換された画像の画質と比較しても遜色ないものとなる。

さらに、本発明によれば、従来の拡大変換よりも高い画質の出力画像を得ることができる。図１５は、本発明によって、より高画質の拡大変換を実現する方式を説明する図である。

図１５においては、便宜上入力画像が１２（＝４×３）個の矩形により表わされている。白い矩形が低解像度画像の画素（入力画素）を表しており、それらの白い矩形の中の円は画素の中心を表している。また、図中の中央に示される比較的面積の小さい矩形が高解像度画像の画素（出力画素）を表している。出力画素の中に示された「×」の記号が出力画素の中心の位置を表している。拡大変換処理の際に特定すべき出力画像の画素位置（例えば、高解像度画像の所定の画素Ｈ_h）の座標（出力位相）が同図の「×」の記号の位置に対応する。この例では、出力位相は、水平方向と垂直方向の位置がそれぞれ、画像の中央となっている。

いま、図１５に示されるように、出力位相の水平方向の位置が左から２列目と３列目の中間に位置する場合、予測タップの画素値として用いる画素の位置をどう特定するか問題となる。例えば、従来の画像処理装置１０による拡大変換処理では、入力画素のうち左から３列分の９個の画素値によるタップ（予測タップ）を用いて出力画素の画素値を求めていた。入力画素の右から３列分の９個の画素値によるタップを用いて出力画素の画素値を求めてもよい。

つまり、出力位相に近い入力画素が最も相関性が高いと考えられるので、通常、出力位相に近い入力画素の画素値をタップとして用いるが、出力位相が入力画素と入力画素の中央に位置する場合、一意に特定できない。このような場合、例えば、左から３列分の９個の画素値によるタップまたは右から３列分の９個の画素値によるタップのように、所定の基準でいずれかを選択しても、出力画素値を高精度に演算できる保証はない。

本発明によれば、出力画素の面積を半分に分割し、出力画素の左半分の画素値を入力画素の左から３列分の９個の画素値によるタップを用いて算出し、出力画素の右半分の画素値を入力画素の右から３列分の９個の画素値によるタップを用いて算出することができる。そして、算出された左半分の画素値と右半分の画素値を足し合わせて出力画素の画素値とすることができる。

すなわち、従来の拡大変換処理は、出力画素の面積が考慮されておらず、出力画素の中心の位置である出力位相の画素値を算出するものだったので、出力画素を分割して画素値を算出することはできなかった。つまり、実際には、所定の面積を有する画素であるにも関わらず、従来の拡大変換処理は、図中の「×」の記号の位置に対応する点の画素値を算出するのみであった。

これに対して本発明では上述したように、高解像度画像の画素値は、無限解像度画像の画素値が集光特性に応じて積分されたものと考え、予測係数の算出が行われるようにしたので、出力画素の面積を自在に設定することが可能となった。例えば、図１３のステップＳ２１で受け付けられるパラメータのうちの座標Ｒと画素サイズＺを適切に設定することにより、図１５に示されるような分割された出力画素の画素値を算出することが可能となる。

例えば、図１５に示されるように、出力位相が入力画素の画素列の中間に位置している場合、入力画素の左３列分の画素をタップとして用いても、入力画素の右３列分の画素をタップとして用いても、高精度で出力画素の画素値を演算することはできない。

本発明によれば、出力位相が入力画素の画素列の中間に位置している場合、出力画素を分割してそれぞれ画素値を演算することができるので、より高画質の拡大変換を実現することが可能である。

なお、図１５では、出力画素を２分割する例について説明したが、勿論、４分割されるようにしてもよい。このように、出力画素を必要に応じて分割してそれぞれ画素値を演算し、それらの画素値を足し合わせて最終的に出力画素の画素値を算出するようにすれば、より高画質の拡大変換を実現することができる。

図１６は、図１５を参照して上述した方式により拡大変換処理を行った場合の効果を説明する図である。

図１６は、横軸が入力画素の中心と出力位相との距離を表し、縦軸が出力画素の画素値のＳ／Ｎ比を表している。図中の線１９１は、本発明による拡大変換処理であって、図１５を参照して上述した方式を採用した拡大変換処理により得られた出力画素の画素値のＳ／Ｎ比の変化を表している。図中の線１９２は、従来の拡大変換処理により得られた出力画素の画素値のＳ／Ｎ比の変化を表している。

なお、本発明による拡大変換処理の場合、図中垂直方向の点線で示される位置に対応する距離（０.３２程度）を境に、それ以上距離が大きい場合は、出力画素を分割して画素値を演算し、それらの画素値を足し合わせて最終的に出力画素の画素値を算出している。

図１６に示されるように、線１９１と線１９２を比較した場合、出力位相が入力画素の中心から離れるに従って、線１９１により示されるＳ／Ｎ比が高くなっている（画質が向上している）。この例では、出力位相と入力画素の中心との距離が約「０.４５」である場合、従来の技術と比較して５ｄＢ程度画質を向上させることができることが分かる。

このように、本発明によれば、画質を向上させるとともに、簡単な構成で多様な変換パターンに対応することができる。

以上においては、本発明により解像度変換処理を行う場合を例として説明したが、他の画質変換処理にも本発明を適用することができる。例えば、ぼけ除去処理、ノイズ除去処理などの高画質化処理を行う場合にも、本発明を適用することができる。すなわち、本発明によれば、例えば、ぼけの度合い、ノイズの大きさに係らず、統合データベースを用いて予測係数を算出することも可能となる。

従って、上述した拡大変換処理は、図１２を参照して上述した画像処理装置１００により実行される高画質化処理の一例ともいうことができる。

図１２を参照して上述した画像処理装置１００は、例えば、高画質化回路としてテレビジョン受像機に搭載することも可能である。図１７は、図１２を参照して上述した画像処理装置を搭載したテレビジョン受像機５１１の構成例を示すブロック図である。

同図のテレビジョン受像機５１１は、被制御部５３１および制御部５３２から構成される。被制御部５３１は、制御部５３２の制御の下、テレビジョン受像機５１１の種々の機能を実現する。

被制御部５３１は、デジタルチューナ５５３、デマルチプレクサ（Demux）５５４、ＭＰＥＧ(Moving Picture Expert Group)デコーダ５５５、映像・グラフィック処理回路５５６、パネル駆動回路５５７、表示パネル５５８、音声処理回路５５９、音声増幅回路５６０、スピーカ５６１、および受信部５６２を備えている。また、制御部５３２は、ＣＰＵ（Central Processing Unit）５６３、フラッシュＲＯＭ５６４、ＤＲＡＭ（Dynamic Random Access Memory）５６５、および内部バス５６６を備えている。

デジタルチューナ５５３は、図示せぬアンテナ端子から入力されたテレビジョン放送信号を処理して、ユーザの選択したチャンネルに対応した所定のＴＳ（Transport Stream）を、デマルチプレクサ５５４に供給する。

デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ユーザの選択したチャンネルに対応した、パーシャルＴＳ（映像信号のＴＳパケット、音声信号のＴＳパケット）を抽出し、ＭＰＥＧデコーダ５５５に供給する。

また、デマルチプレクサ５５４は、デジタルチューナ５５３から供給されたＴＳから、ＰＳＩ／ＳＩ(Program Specific Information/Service Information)を取り出し、ＣＰＵ５６３に供給する。デジタルチューナ５５３から供給されたＴＳには、複数のチャンネルが多重化されている。デマルチプレクサ５５４がＴＳから任意のチャンネルのパーシャルＴＳを抽出する処理は、ＰＳＩ／ＳＩ（ＰＡＴ/ＰＭＴ）から任意のチャンネルのパケットＩＤ（ＰＩＤ）の情報を得ることで可能となる。

ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される映像信号のＴＳパケットにより構成される映像ＰＥＳ(Packetized Elementary Stream)パケットに対してデコード処理を行い、その結果得られる映像信号を、映像・グラフィック処理回路５５６に供給する。また、ＭＰＥＧデコーダ５５５は、デマルチプレクサ５５４から供給される音声信号のＴＳパケットにより構成される音声ＰＥＳパケットに対してデコード処理を行い、その結果得られる音声信号を、音声処理回路５５９に供給する。

映像・グラフィック処理回路５５６は、ＭＰＥＧデコーダ５５５から供給された映像信号に対して、必要に応じて、スケーリング処理、グラフィックスデータの重畳処理等を行い、パネル駆動回路５５７に供給する。

映像・グラフィック処理回路５５６には、高画質化回路５７０が接続されており、パネル駆動回路５５７に映像信号を供給するのに先立って、高画質化処理が実行される。

高画質化回路５７０は、図１２を参照して上述した画像処理装置と同様の構成とされ、ＭＰＥＧデコーダ５５５から供給された映像信号から得られた画像データに対して、例えば、図１３を参照して上述した拡大変換処理を高画質化処理として実行するようになされている。

パネル駆動回路５５７は、映像・グラフィック処理回路５５６から供給された映像信号に基づいて、表示パネル５５８を駆動し、映像を表示させる。表示パネル５５８は、例えば、ＬＣＤ(Liquid Crystal Display)またはＰＤＰ(Plasma Display Panel)等で構成されている。

音声処理回路５５９は、ＭＰＥＧデコーダ５５５から供給された音声信号に対してＤ/Ａ（Digital to Analog）変換等の必要な処理を行い、音声増幅回路５６０に供給する。

音声増幅回路５６０は、音声処理回路５５９から供給されるアナログ音声信号を増幅し、スピーカ５６１に供給する。スピーカ５６１は、音声増幅回路５６０からのアナログ音声信号に応じた音声を出力する。

受信部５６２は、リモートコントローラ５６７から送信された、例えば赤外線のリモートコントロール信号を受信し、ＣＰＵ５６３に供給する。ユーザは、リモートコントローラ５６７を操作することで、テレビジョン受像機５１１の操作を行うことができる。

ＣＰＵ５６３、フラッシュＲＯＭ５６４、およびＤＲＡＭ５６５は、内部バス５６６を介して接続されている。ＣＰＵ５６３は、テレビジョン受像機１１の各部の動作を制御する。フラッシュＲＯＭ５６４は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ５６５は、ＣＰＵ５６３のワークエリア等を構成する。すなわち、ＣＰＵ５６３は、フラッシュＲＯＭ５６４から読み出したソフトウェアやデータをＤＲＡＭ５６５上に展開してソフトウェアを起動し、テレビジョン受像機５１１の各部を制御する。

このように本発明をテレビジョン受像機に適用することができる。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。

図１８において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。

入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７が接続されている。また、入出力インタフェース７０５には、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ 画像処理装置， １２１ クラスタップ抽出部， １２２ クラス分類部， １２３ 係数決定部， １２４ 予測タップ抽出部， １２５ 予測処理部， １２６ 予測係数算出部， １２７ 統合データベース， ５１１ テレビジョン受像機， ５７０ 高画質化回路， ７０１ ＣＰＵ， ７０２ ＲＯＭ， ７１１ リムーバブルメディア

Claims (10)

1. 出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、
   入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、
   前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、
   前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える
   画像処理装置。
2. 前記係数構成値を記憶するデータベースをさらに備え、
   前記データベースは、
   前記係数構成値を、前記タップの要素を識別する情報に対応づけて記憶する
   請求項１に記載の画像処理装置。
3. 前記入力画像の注目画素周辺の画像を、予め定められた方式で複数のクラスのいずれかに分類するクラス分類手段をさらに備え、
   前記データベースは、
   前記係数構成値を、前記クラス毎に記憶する
   請求項２に記載の画像処理装置。
4. 前記出力画素により構成される出力画像は、前記入力画像より解像度の高い画像である
   請求項３に記載の画像処理装置。
5. 前記パラメータとして入力される前記出力画素のサイズは、前記出力画像の解像度によって定まる
   請求項４に記載の画像処理装置。
6. 前記出力画像より解像度の高い無限解像度画像の複数の画素の値を前記集光モデルにより表わされる集光特性に応じて積分した値を前記出力画素の値と近似して、前記予測係数を前記パラメータと前記係数構成値とを有する関数により記述し、
   前記データベースは、
   解像度の高い教師画像と解像度の低い生徒画像を用いて予め学習された予測係数と、前記関数に基づいて求められた前記係数構成値を記憶する
   請求項５に記載の画像処理装置。
7. 前記集光モデルは、ガウシアンモデルである
   請求項１に記載の画像処理装置。
8. 前記集光モデルは、サーキュラモデルである
   請求項１に記載の画像処理装置。
9. パラメータ入力手段が、出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力し、
   タップ抽出手段が、入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出し、
   予測係数算出手段が、前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出し、
   画素値演算手段が、前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算するステップ
   を含む画像処理方法。
10. コンピュータを、
    出力画素の座標である出力位相、前記出力画素のサイズ、および集光モデルに用いられる変数を含むパラメータを入力するパラメータ入力手段と、
    入力画像の中で前記出力位相に対応する注目画素および周辺画素の画素値からなるタップを抽出するタップ抽出手段と、
    前記パラメータと、予め記憶されている係数構成値とを用いて前記タップの要素のそれぞれに乗じられる予測係数を算出する予測係数算出手段と、
    前記算出された予測係数と、前記タップの要素のそれぞれとの積和演算により出力画素の値を演算する画素値演算手段とを備える画像処理装置として機能させる
    プログラム。

Images