JP2010079411A - 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画素よりも小さい単位での学習により画質を向上させること。
【解決手段】第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、を備える学習装置を提供する。
【選択図】図７

Description

本発明は、学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムに関する。

近年、コンピュータの性能向上に伴い、画像信号の品質、即ち画質をデジタル処理によって向上させる様々な技術が提案されている。画質を向上させる技術としては、例えば、デジタルカメラによる撮像など画像信号を得る段階での画質の劣化を補正するものや、表示装置に画像を表示する段階で高解像度化を図るものなどがある。そして、このような撮像から表示に至る処理のどの段階に着目する場合にも、処理に用いるパラメータなどを適応的に最適化して高画質化の性能を高める、学習と呼ばれる手法を用いるのが効果的である。

画質の向上を学習によって行う場合、典型的には、まず教師画像と生徒画像のセットが用意される。そして、生徒画像から所定のアルゴリズムに従って生成された予測画像と教師画像との間の誤差が評価され、その誤差を最小化させるパラメータが決定される。

例えば、下記特許文献１では、画質に対する寄与度の大きい画素の位置を特徴位置として判定し、当該特徴位置のデータを優先的に再現可能な予測係数を、教師画像と生徒画像とを用いてクラス分類適応処理により決定する手法が開示されている。

特開２００５−２９５３５５号公報

しかしながら、従来の学習処理では、誤差の評価の最小単位が画素単位であったため、画素と同等か画素よりも大きい単位での特徴量しか学習処理に反映させることができなかった。これに対し、例えば、ある画素値を表示装置の１つの画素に与えた際にその画素から発せられる光の強さは、画素内の位置によって異なる場合がある。また、人間の視覚は、多くの場合、画素よりも小さい単位で色や明るさを感知することができる。そのため、画素よりも小さい単位の特徴量を学習処理に反映させることができれば、より高い性能での画質の向上が期待できる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画素よりも小さい単位での学習により画質を向上させることのできる、新規かつ改良された学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、を備える学習装置が提供される。

また、前記学習部は、前記第２画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習してもよい。

また、前記学習部は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第１画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習してもよい。

また、前記視覚特性係数は、前記表示装置と前記ユーザとの間の距離に応じて与えられる係数であってもよく、前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習してもよい。

また、前記学習部は、前記第２画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習してもよい。

また、前記視覚特性係数は、前記第２画像を表示すべき表示装置と前記ユーザとの間の距離に応じて与えられる係数であってもよく、前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習してもよい。

また、前記学習装置は、前記第１画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、をさらに備え、前記学習部は、前記クラス分類部により決定された前記クラスごとに前記予測係数を学習してもよい。

上記課題を解決するために、本発明の別の観点によれば、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と、前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と、を備える画像処理装置が提供される。

また、前記予測係数は、前記第２画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式に基づいて学習された係数であってもよい。

また、前記予測係数は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第１画像と前記詳細画像との間の関係式に基づいて学習された係数であってもよい。

また、前記記憶部は、前記表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得してもよい。

また、前記予測係数は、前記第２画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式に基づいて学習された係数であってもよい。

また、前記記憶部は、前記第２画像を表示すべき表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得してもよい。

また、前記画像処理装置は、前記第１画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、をさらに備え、前記予測演算部は、前記クラス分類部により決定された前記クラスに応じて、前記記憶部から前記予測係数を取得してもよい。

上記課題を解決するために、本発明の別の観点によれば、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習ステップと、を含む学習方法が提供される。

上記課題を解決するために、本発明の別の観点によれば、学習装置を制御するコンピュータを、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、として機能させるためのプログラムが提供される。

上記課題を解決するために、本発明の別の観点によれば、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部から当該予測係数を取得する予測係数取得ステップと、前記予測タップの画素値と前記記憶部から取得した前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算ステップと、を含む画像処理方法が提供される。

上記課題を解決するために、本発明の別の観点によれば、画像処理装置を制御するコンピュータを、第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と、前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と、として機能させるためのプログラムが提供される。

以上説明したように、本発明に係る学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムによれば、画素よりも小さい単位での学習により画質を向上させることができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序にしたがって当該「発明を実施するための最良の形態」を説明する。
１．画素よりも小さい単位での学習の概要
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．まとめ

＜１．画素よりも小さい単位での学習の概要＞
［学習の原理］
まず、図１〜図５を用いて、画素よりも小さい単位での学習の原理について説明する。

図１は、本発明の一実施形態に係る学習モデルを概念的に示した説明図である。図１を参照すると、生徒画像ＩＳ、表示画像ＩＤ、詳細画像ＩＨ、及び詳細教師画像ＩＴの４つの画像が示されている。学習処理においては、これら４つの画像のうち、生徒画像ＩＳ及び詳細教師画像ＩＴが予め与えられる。

生徒画像ＩＳは、例えば、デジタルカメラ（デジタルスチルカメラを含む）などにより撮像された撮像画像に相当する画質を有する画像である。図１の例では、生徒画像ＩＳは、縦横５×５個、計２５個の画素から構成されている。

一方、詳細教師画像ＩＴは、例えば、生徒画像ＩＳと同一のシーンをより高い画素密度をもって撮像して得られた画像である。詳細教師画像ＩＴは、生徒画像ＩＳの画素密度に対してＭ×Ｎ倍（図１の例では、Ｍ＝Ｎ＝３）の画素密度を有する。

図１に例示した学習モデルにおいて、生徒画像ＩＳが与えられると、生徒画像ＩＳの各画素値を所定の予測係数と演算することにより、表示画像ＩＤが生成される。表示画像ＩＤは、例えば、表示装置を介してより高質な画像をユーザに提供するために、撮像画像を補正することにより得られる画像に相当する。

表示画像ＩＤにおける注目画素の画素値ＩＤ_i,jは、注目画素の近傍の画素位置に対応する生徒画像ＩＳの画素値ＩＳ_i-u,j-vと予測係数Ａ_u,vを用いて、次式により表される。

ここで、本明細書では、生徒画像ＩＳに含まれる画素のうち式（１）の演算に用いられる複数の画素を、予測タップと称する。予測タップをＮ個の画素の配列ｘ_nとすると、前述の予測係数Ａ_u,vを一次元に並べた予測係数Ａ_nを用いて、式（１）を次式のように表すこともでできる。

ここで、ＩＤ_kは、表示画像ＩＤにおけるｋ番目の注目画素の画素値を表す。

次に、このように生成された表示画像ＩＤに対し、高密度サンプリングの演算によって、前述した詳細教師画像ＩＴと同等の画素密度を有する詳細画像ＩＨが生成される。

例えば、高密度サンプリングの演算は、表示画像ＩＤが表示されるべき表示装置の発光特性を表す発光特性係数を用いて行われてもよい。

図２は、ある表示装置の１つの画素に所定の画素値を与えた場合の、画素内の位置に応じた発光レベルを実測した結果を示す特性図である。

図２において、二次元の水平面上の座標（Ｘ，Ｙ）は、発光レベルをサンプリングした画素内の位置を表す。一方、水平面に対する格子線の高さＰは、当該サンプリング位置における発光レベルを表す。なお、図２では、ＲＧＢ色空間における３つの色（Ｒ、Ｇ、Ｂ）ごとに、発光レベルの実測値がプロットされている。

図２を参照すると、同じ画素値を与えられた１つの画素の中でも、サンプリング位置によって発光レベルが異なっている。例えば、Ｘ＝３０の付近のサンプリング位置では赤色光（Ｒ）の発光レベルが高く、緑色光（Ｇ）や青色光（Ｂ）の発光レベルは低い。これに対し、例えば、Ｘ＝６０の付近のサンプリング位置では緑色光（Ｇ）の発光レベルが高く、赤色光（Ｒ）や青色光（Ｂ）の発光レベルは低い。また、例えば、Ｘ＝９０の付近のサンプリング位置では青色光（Ｂ）の発光レベルが高く、赤色光（Ｒ）や緑色光（Ｇ）の発光レベルは低い。

即ち、画素値に応じて発光レベルＰ（Ｘ，Ｙ）を画素内のＭ×Ｎ個の位置について実測することで、表示装置の発光特性を表すＭ行Ｎ列の発光特性行列Ｐが得られる。そして、発光特性行列Ｐを用いて、表示画像ＩＤのｋ番目の注目画素の画素値ＩＤ_kに対応する詳細画像ＩＨのＭ×Ｎ個の詳細画素値（ＩＨ_m,n）_k（１≦ｍ≦Ｍ、１≦ｎ≦Ｎ）は、次式により与えられる。

なお、本明細書では、生徒画像ＩＳ又は表示画像ＩＤよりも画素密度の高い詳細教師画像ＩＴ又は詳細画像ＩＨの個々の画素を詳細画素、詳細画素の画素値を詳細画素値というものとする。

さらに、高密度サンプリングの演算は、例えば、表示画像ＩＤが表示されるべき表示装置の発光特性を表す発光特性係数に加えて、人間の視覚特性を表す視覚特性係数を用いて行われてもよい。

人間の視覚特性は、例えば、X.Zhang及びB.A.Wandellによって提案されたｓＣＩＥＬＡＢモデルなどを用いて表現することができる。なお、以下に説明するｓＣＩＥＬＡＢモデルについてのさらなる情報は、次の文献から入手可能である：Xuemei Zhang and Brian A. Wandell, ”A SPATIAL EXTENSION OF CIELAB for DIGITAL COLOR IMAGE REPRODUCTION”, Proceeding of the SID Symposiums 1996, pp.731-734。

図３は、ｓＣＩＥＬＡＢモデルに従って人間の視覚に映る画像を再現する手続を説明するための説明図である。図３を参照すると、ｓＣＩＥＬＡＢモデルにおいて、ＸＹＺ表色系などの色空間における入力画像は、まず、輝度（Ｌｕｍ）及び２つの色度（Ｒ／Ｇ、Ｂ／Ｙ）で表される３つの単色画像へ分離（写像）される。次に、分離後の各単色画像に対し、それぞれ２次元のバンドパスフィルタが適用される。そして、フィルタ処理後の３つの単色画像から元の色空間における画像が再構成（合成）され、人間の視覚に映る出力画像が得られる。

このようなｓＣＩＥＬＡＢモデルにおける単色画像の分離、フィルタ処理、及び合成は、いずれも線形的な変換処理であることから、ｓＣＩＥＬＡＢモデルに従って、人間の視覚特性を、画像信号に作用する視覚特性行列Ｆとして表すことができる。

図４は、ｓＣＩＥＬＡＢモデルに基づいて導出された視覚特性行列Ｆの一例を表している。図４を参照すると、視覚特性行列Ｆは一種の畳み込みを表す二次元のフィルタであることが分かる。なお、視覚特性行列Ｆはかかる例に限定されず、例えば、ｓＣＩＥＬＡＢモデルとは異なるモデルによって定義された行列であってもよい。

図５は、前述した発光特性行列Ｐに加えて視覚特性行列Ｆを考慮した高密度サンプリングについて説明するための説明図である。

図５において、まず、表示画像ＩＤにおける注目画素ごとに、式（３）に従い、発光特性行列Ｐを用いて、人間の視覚特性を考慮する前の詳細画像ＩＨ’の詳細画素値が順次計算される。

そして、全ての注目画素について詳細画像ＩＨ’の詳細画素値が計算されると、次式に従い、視覚特性行列Ｆを用いて、詳細画像ＩＨが計算される。

なお、表示画像ＩＤから詳細画像ＩＨを導く方法はかかる例に限定されない。例えば、図５では表示装置の発光特性と人間の視覚特性とを用いて詳細画像ＩＨを導く例について説明したが、必ずしも表示装置の発光特性を考慮しなくてもよい。その代わりに、表示画像ＩＤに対して線形補間などの公知の手法を適用して画素密度を高めた詳細画像ＩＨ’を得た後、視覚特性行列Ｆを用いて詳細画像ＩＨを導いてもよい。また、例えば、表示装置の内部のアナログ回路の特性や視野角拡大のために画素を分割して表示するＬＣＤ（Liquid Crystal Display）パネルの特性などを考慮して詳細画像ＩＨを導いてもよい。

図１に戻り、一実施形態に係る学習モデルの説明を継続する。

前述した高密度サンプリングにより詳細画像ＩＨが生成されると、詳細画像ＩＨと予め与えられた詳細教師画像ＩＴとの間の誤差が評価される。例えば、詳細画像ＩＨの詳細画素位置（ｘ、ｙ）における詳細教師画像ＩＴとの間の誤差ｅ_x,yは、次式により表される。

そして、最適な詳細画像ＩＨを生成するためのＮ個の予測係数Ａ_nは、最小二乗法の考え方により、次式のように、式（５）の二乗誤差の総和を最小（極小）にする係数として表される。

なお、一実施形態に係る学習処理では、実際には、予め与えられた生徒画像ＩＳから表示画像ＩＤ及び詳細画像ＩＨが生成されるのではなく、上述の考え方に基づいて、まず生徒画像ＩＳと詳細画像ＩＨとの間の関係式が生成される。そして、その関係式を予測係数Ａ_nについて解くことにより、最適な予測係数値が求められる。

例えば、表示装置の発光特性行列Ｐを用いて学習を行うことを想定する。その場合、式（５）における誤差ｅ_x,yを仮にゼロとすると、式（２）、（３）及び（５）から、次式で表される詳細教師画像ＩＴと予測タップｘ_nとの間の関係式が導かれる。なお、次式において、ｘ_n,kとは、表示画像ＩＤにおけるｋ番目の注目画素について抽出された予測タップを表す

即ち、詳細教師画像ＩＴと予測タップｘ_nとの間の関係式は、予測係数Ａ_nを線形結合した多項式の集合となる。これは、式（４）を考慮に入れた場合、即ち発光特性行列Ｐに加えて視覚特性行列Ｆを用いて詳細教師画像ＩＴと予測タップｘ_nとの間の関係式を定義する場合も同様である。

そのため、例えば式（７）を正規方程式とみなし、予測係数Ａ_nについて掃き出し法（Ｇａｕｓ−Ｊｏｒｄａｎの消去法）などを用いて解くことで、詳細画像ＩＨと詳細教師画像ＩＴとの間の二乗誤差の総和Ｅを最小（極小）にする係数値を学習することができる。

なお、ここで述べた画素よりも小さい詳細画素の単位での学習は、入力画像がカラー画像である場合には、ＲＧＢやＸＹＺなどの色空間の個々の構成軸ごとに行うのが好適である。

また、ｓＣＩＥＬＡＢモデルによれば、視覚特性行列Ｆは視野角に依存するため、表示装置とユーザとの間の距離が変化した場合には、視覚特性行列Ｆも変化し得る。また、表示装置の発光特性行列Ｐ及び視覚特性行列Ｆは、画素の出力レベルにも依存して変化し得る。そこで、例えば、表示装置とユーザとの間の距離や画素の出力レベルに応じて異なる特性係数を、前述した学習に用いてもよい。

［学習された予測係数による高画質化］
次に、図６を用いて、ここまでに説明した学習の原理に従って最適化された予測係数を用いた高画質化について説明する。

図６には、高画質化の対象となる入力画像の一例として、デジタルカメラにより撮像された撮像画像Ｉ１が示されている。また、図６には、撮像画像Ｉ１に対して予測演算を行った結果生成される表示画像Ｉ２も示されている。

図６の例では、撮像画像Ｉ１から、表示画像Ｉ２におけるｋ番目の注目画素の近傍の画素位置に対応する１３個の画素からなる予測タップｘ_n（１≦ｎ≦１３）が抽出されている。そして、予測タップｘ_nと前述した学習処理により最適化された予測係数Ａ_nとを式（２）に従って線形一次結合することにより、表示画像Ｉ２における注目画素値Ｉ２_kが順次計算される。

このように生成された表示画像Ｉ２の各画素値は、画像の表示に際し、画素ごとの出力レベルを指示する信号値として表示装置へ入力される。そして、表示装置により表示画像Ｉ２が表示されると、ユーザの視覚には、例えば表示装置の発光特性又はユーザの視覚特性の影響を受けた後の画像、即ち図１における詳細画像ＩＨが感知されることとなる。その際、表示装置に入力された表示画像Ｉ２は表示装置の発光特性やユーザの視覚特性などを予め考慮に入れて最適化された画像であるため、最終的にユーザに感知される画質は、撮像画像Ｉ１をそのまま表示装置に表示するよりも高質なものとなる。

ここまで、図１〜図６を用いて、画素よりも小さい単位での学習の概要について説明した。以下、本明細書では、上述の原理に従った学習処理を行う学習装置、及び学習により得られた予測係数を用いて予測演算処理を行う画像処理装置について、３つの実施形態に沿って詳細に説明する。

＜２．第１の実施形態＞
［学習装置］
図７は、本発明の第１の実施形態に係る学習装置１００の論理的な構成を示すブロック図である。

図７を参照すると、学習装置１００は、予測タップ抽出部１２０、特性記憶部１４０、正規方程式生成部１５０、学習記憶部１６０、学習部１７０、及び係数記憶部１８０を備える。

予測タップ抽出部１２０は、学習装置１００に生徒画像ＩＳと詳細教師画像ＩＴが供給されると、まず、生徒画像ＩＳから予測される表示画像ＩＤにおける注目画素を順次設定する。そして、予測タップ抽出部１２０は、設定した注目画素の近傍の画素位置に対応する複数の画素を生徒画像ＩＳから予測タップｘ_nとして抽出し、予測タップｘ_nを正規方程式生成部１５０へ出力する。

特性記憶部１４０には、生徒画像ＩＳに応じて予測される表示画像ＩＤから、より高い画素密度を有する詳細画像ＩＨを導くための特性係数が、予め記憶される。例えば、特性記憶部１４０には、図２を用いて説明した表示装置の発光特性行列Ｐが記憶されていてもよい。また、特性記憶部１４０には、図３及び図４を用いて説明した人間の視覚特性行列Ｆが特性記憶部１４０に記憶されてもよい。

正規方程式生成部１５０は、予測タップ抽出部１２０から予測タップｘ_nが入力されると、特性記憶部１４０に記憶されている特性係数を取得する。そして、正規方程式生成部１５０は、取得した特性係数を用いて、予測タップｘ_nと予め与えられる詳細教師画像ＩＴの画素値との間の関係を表す正規方程式の足し込みを行う。

ここで、正規方程式への足し込みとは、例えば式（７）などの正規方程式に現れる行列やベクトルの要素を算出し、その結果を正規方程式に設定する処理をいう。例えば、正規方程式生成部１５０は、まず式（７）の右辺の行列における予測タップｘ_nと発光特性係数Ｐ_m,nとによる乗算及びサメーション（Σ）を行う。そして、正規方程式生成部１５０は、乗算及びサメーション（Σ）の結果と、式（７）の左辺における詳細教師画像ＩＴの詳細画素値ＩＴ_x,yとを、順次正規方程式に設定する。

学習記憶部１６０は、正規方程式生成部１５０による足し込みの結果生成された正規方程式を一時的に記憶する。

学習部１７０は、学習記憶部１６０により一時的に記憶された前述の正規方程式を取得し、予測係数Ａ_nについて解くことにより、予測係数Ａ_nを算出する。そして、学習部１７０は、算出した予測係数Ａ_nを係数記憶部１８０に出力する。

係数記憶部１８０は、学習部１７０から入力された予測係数Ａ_nを記憶する。ここで記憶された予測係数Ａ_nは、後述する画像処理装置において、撮像画像Ｉ１から最適な表示画像Ｉ２を予測するために用いられる。

［処理フロー説明：学習処理］
次に、図８のフローチャートを用いて、本実施形態に係る学習装置１００による学習処理の流れの一例を説明する。

図８を参照すると、まず、学習装置１００に生徒画像ＩＳ及び詳細教師画像ＩＴが供給される（Ｓ２０２）。生徒画像ＩＳは、予測タップ抽出部１２０に入力される。また、詳細教師画像ＩＴは、正規方程式生成部１５０に入力される。

次に、予測タップ抽出部１２０により、表示画像ＩＤにおけるｋ番目（ｋ＝１，２…）の注目画素が設定され、当該注目画素の近傍の画素位置に対応する予測タップｘ_n,kが抽出される（Ｓ２０４）。ここで抽出された予測タップｘ_n,kは、正規方程式生成部１５０へ出力される。

その後、正規方程式生成部１５０により、例えば発光特性行列Ｐ又は視覚特性行列Ｆなど、注目画素よりも小さい単位の詳細画素の画素値を導くための特性係数を含む行列が、特性記憶部１４０から取得される（Ｓ２０６）。

そして、正規方程式生成部１５０により、予測タップｘ_n,k、特性係数、及び詳細教師画像ＩＴの画素値を用いて、正規方程式への足し込みが行われる（Ｓ２０８）。ここで生成された正規方程式は、学習記憶部１６０により記憶される。

その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される（Ｓ２１０）。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はＳ２０４へ戻り、予測タップ抽出部１２０によって次の注目画素が設定される。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はＳ２１２へ進む。

Ｓ２１２では、学習部１７０により、正規方程式が学習記憶部１６０から取得され、取得された正規方程式を解くことで最適な予測係数Ａ_nが算出される（Ｓ２１２）。ここで算出された予測係数Ａ_nは、係数記憶部１８０により記憶される。

［画像処理装置］
次に、前述した学習装置１００により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図９は、本発明の第１の実施形態に係る画像処理装置３００の論理的な構成を示すブロック図である。

図９を参照すると、画像処理装置３００は、予測タップ抽出部３２０、係数記憶部３８０、及び予測演算部３９０を備える。

予測タップ抽出部３２０は、画像処理装置３００に高画質化の対象となる撮像画像Ｉ１が供給されると、より高質な表示画像Ｉ２を撮像画像Ｉ１から予測するための注目画素を順次設定する。そして、予測タップ抽出部３２０は、撮像画像Ｉ１から、注目画素の近傍の画素位置に対応する複数の画素を予測タップｘ_nとして抽出し、予測演算部３９０へ出力する。

係数記憶部３８０は、前述した学習装置１００により事前に学習された予測係数Ａ_nを予め記憶している。

予測演算部３９０は、予測タップ抽出部３２０により抽出された予測タップｘ_nに含まれる各画素値と、係数記憶部３８０から取得した予測係数Ａ_nとを線形一次結合することにより、表示画像Ｉ２の注目画素の画素値を計算する。

このような予測演算は、表示画像Ｉ２の全ての注目画素値が計算されるまで繰り返される。

［処理フロー説明：予測演算処理］
次に、図１０のフローチャートを用いて、本実施形態に係る画像処理装置３００による予測演算処理の流れの一例を説明する。

図１０を参照すると、まず、画像処理装置３００に撮像画像Ｉ１が供給される（Ｓ４０２）。撮像画像Ｉ１は、予測タップ抽出部３２０に入力される。

その後、予測タップ抽出部３２０により、表示画像Ｉ２のうち予測の対象とする注目画素が設定され、撮像画像Ｉ１から注目画素位置の近傍に位置する予測タップｘ_nが抽出される（Ｓ４０４）。

次に、予測演算部３９０により、係数記憶部３８０に予め記憶されている予測係数Ａ_nが取得される（Ｓ４０６）。

そして、予測演算部３９０において、予測係数Ａ_nと予測タップｘ_nの線形一次結合が式（２）に従って行われ、注目画素値が計算される（Ｓ４０８）。

その後、全ての注目画素値の計算が終了したか否かが判定される（Ｓ４１０）。ここで、画素値の計算が終了していない注目画素が残っていれば、処理はＳ４０４へ戻り、予測タップ抽出部３２０によって新たな注目画素が設定される。一方、全ての注目画素値の計算が終了していれば、予測演算処理は終了する。

ここまで、本発明の第１の実施形態に係る学習装置１００及び画像処理装置３００について説明した。本実施形態に係る学習装置１００によれば、最適な表示画像を撮像画像から予測するために用いられる予測係数が、当該表示画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習される。そして、画像処理装置３００により、その予測係数を用いて、表示装置に表示すべき表示画像が撮像画像から計算される。それにより、表示装置に表示され、最終的にユーザに視覚を通して感知される画質を、撮像画像をそのまま表示装置に表示するよりも高質なものとすることができる。

［高画質化された画像の例］
図１１は、本実施形態に従い、表示装置の発光特性及び人間の視覚特性を考慮して高画質化された画像の一例を示している。

図１１（Ａ−１）は、デジタルカメラにより撮像された撮像画像の画素値をそのまま表示装置に出力して表示された画像である。これに対し、図１１（Ａ−２）は、（Ａ−１）の撮像画像に対し、本実施形態に係る学習処理により学習された予測係数をそれぞれ適用して生成された表示画像である。

また、図１２は、本実施形態に従い、表示装置の発光特性及び人間の視覚特性を考慮して高画質化された画像の他の例を示している。

図１２（Ｂ−１）は、デジタルカメラにより撮像された撮像画像の画素値をそのまま表示装置に出力して表示された画像である。これに対し、図１２（Ｂ−２）は、（Ｂ−１）の撮像画像に対し、本実施形態に係る学習処理により学習された予測係数をそれぞれ適用して生成された表示画像である。

図１１及び図１２における学習前の撮像画像と学習後の表示画像を対比すると、例えば各画像に写っている物体の輪郭のジャギーが軽減されるなど、本実施形態に係る学習処理及び予測演算処理により画質が向上していることが理解される。

＜３．第２の実施形態＞
第１の実施形態では、表示装置の発光特性及び／又は人間の視覚特性を考慮し、生徒画像ＩＳ又は表示画像ＩＤの画素よりも小さい詳細画素の単位での学習により、撮像画像を高画質化する例について説明した。ここで、前述したように、視覚特性は、表示装置とユーザとの間の距離に依存して変動し得る。そこで、本発明の第２の実施形態として、表示装置とユーザとの間の距離に応じて予測係数を学習する例について説明する。

［学習装置］
図１３は、本発明の第２の実施形態に係る学習装置５００の論理的な構成を示すブロック図である。

図１３を参照すると、学習装置５００は、距離指示部５１０、予測タップ抽出部５２０、特性記憶部５４０、正規方程式生成部５５０、学習記憶部５６０、学習部５７０、及び係数記憶部５８０を備える。

距離指示部５２０は、学習装置５００に生徒画像ＩＳ及び詳細教師画像ＩＴが供給されると、表示装置とユーザとの間の想定される距離ｄを順次設定する。例えば、画像を表示すべき表示装置がデジタルカメラなどの携帯型機器に設けられる小型のモニタである場合には、距離ｄは、数十ｃｍ〜１ｍの範囲内の数段階の距離などであってよい。また、例えば、表示装置が一般的な家庭用のテレビジョン受像機などである場合には、距離ｄは、１ｍ〜数ｍの範囲内の数段階の距離などであってよい。

予測タップ抽出部５２０は、距離指示部５２０により設定された距離ｄごとに、まず、生徒画像ＩＳから予測される表示画像ＩＤにおける注目画素を順次設定する。そして、予測タップ抽出部５２０は、設定した注目画素の近傍の画素位置に対応する複数の画素を生徒画像ＩＳから予測タップｘ_nとして抽出し、予測タップｘ_nを正規方程式生成部５５０へ出力する。

特性記憶部５４０には、表示画像ＩＤを高密度サンプリングして詳細画像ＩＨを導くための特性係数が予め記憶される。本実施形態では、特性記憶部５４０に、表示装置の発光特性行列Ｐ及び人間の視覚特性行列Ｆ（ｄ）が記憶されているものとする。このうち、視覚特性行列Ｆ（ｄ）は、例えば前述したｓＣＩＥＬＡＢモデルに従い、表示装置とユーザとの間の距離ｄに依存する視覚特性係数を含む行列である。

正規方程式生成部５５０は、予測タップ抽出部５２０から予測タップｘ_nが入力されると、距離指示部５１０により指示された距離ｄに応じて、特性記憶部５４０に記憶されている特性行列Ｐ及び視覚特性行列Ｆ（ｄ）を取得する。そして、正規方程式生成部５５０は、取得した各特性行列に含まれる特性係数を用いて、予測タップｘ_nと予め与えられる詳細教師画像ＩＴの画素値との間の関係を表す正規方程式の足し込みを行う。

なお、特性記憶部５４０には、距離ｄに応じた全ての特性係数が記憶されていてもよい。また、その代わりに、正規方程式生成部５５０は、特性記憶部５４０から取得した特性係数を、距離ｄに応じて再計算してもよい。

学習記憶部５６０は、正規方程式生成部５５０による足し込みの結果生成された正規方程式を、表示装置とユーザとの間の距離ｄに関連付けて一時的に記憶する。

学習部５７０は、学習記憶部５６０により一時的に記憶された前述の正規方程式を、表示装置とユーザとの間の距離ｄごとに順次取得し、予測係数Ａ_nについて解くことにより、距離ｄごとの予測係数Ａ_nを算出する。

係数記憶部５８０は、学習部５７０により算出された予測係数Ａ_nを、表示装置とユーザとの間の距離ｄに関連付けて記憶する。ここで記憶された予測係数Ａ_nは、後述する画像処理装置において、撮像画像Ｉ１から最適な表示画像Ｉ２を予測するために用いられる。

［処理フロー説明：学習処理］
次に、図１４のフローチャートを用いて、本実施形態に係る学習装置５００による学習処理の流れの一例を説明する。

図１４を参照すると、まず、学習装置５００に生徒画像ＩＳ及び詳細教師画像ＩＴが供給される（Ｓ６０２）。生徒画像ＩＳは、予測タップ抽出部５２０に入力される。また、詳細教師画像ＩＴは、正規方程式生成部５５０に入力される。

次に、距離指示部５１０により、表示装置とユーザとの間の距離ｄが順次設定される（Ｓ６０４）。

そして、予測タップ抽出部５２０により、表示画像ＩＤにおけるｋ番目（ｋ＝１，２…）の注目画素が設定され、当該注目画素の近傍の画素位置に対応する予測タップｘ_n,kが生徒画像ＩＳから抽出される（Ｓ６０６）。

その後、正規方程式生成部５５０により、例えば発光特性行列Ｐ及び視覚特性行列Ｆ（ｄ）が、特性記憶部５４０から取得される（Ｓ６０８）。このとき、視覚特性行列Ｆ（ｄ）は、距離指示部５１０により設定された距離ｄに応じた係数値を含む。

そして、正規方程式生成部５５０により、予測タップｘ_n,k、特性係数、及び詳細教師画像ＩＴの各画素値を用いて、正規方程式への足し込みが行われる（Ｓ６１０）。ここで生成された正規方程式は、距離ｄと関連付けられ、学習記憶部５６０により記憶される。

その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される（Ｓ６１２）。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はＳ６０６へ戻る。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はＳ６１４へ進む。

Ｓ６１４では、学習部５７０により、正規方程式が距離ｄに応じて学習記憶部５６０から取得され、取得された正規方程式を解くことで予測係数Ａ_nが算出される（Ｓ６１４）。ここで算出された予測係数Ａ_nは、距離ｄごとに係数記憶部５８０により記憶される。

その後、学習すべき全ての距離について学習、即ち予測係数Ａ_nの算出が終了したか否かが判定される（Ｓ６１６）。ここで、学習が終了していない距離が残っていれば、処理はＳ６０４へ戻り、次の距離ｄが設定される。一方、全ての距離ｄについて学習が終了していれば、学習処理は終了する。

［画像処理装置］
次に、前述した学習装置５００により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図１５は、本発明の第２の実施形態に係る画像処理装置７００の論理的な構成を示すブロック図である。

図１５を参照すると、画像処理装置７００は、距離情報取得部７１２、予測タップ抽出部３２０、係数記憶部７８０、及び予測演算部７９０を備える。

距離情報取得部７１２は、撮像画像Ｉ１が画像処理装置７００に供給されると、撮像画像Ｉ１を表示すべき表示装置とユーザとの間の距離を示す距離情報を取得する。例えば、距離情報取得部７１２は、ボタン、スイッチ、レバー、又はマウスやキーボードなどのユーザインタフェースを介してユーザに明示的に距離を指定させることにより距離情報を取得してもよい。また、距離情報取得部７１２は、赤外線などの反射光を用いて三角法により距離を決定し、又は無線信号の折り返し時間に応じて距離を決定するなど、任意の公知の手法により自動的に距離情報を取得してもよい。そして、距離情報取得部７１２は、取得した距離情報を、予測演算部７９０へ出力する。

係数記憶部７８０は、学習装置５００により事前に学習された予測係数Ａ_nを、表示装置とユーザとの間の距離に関連付けて記憶している。

予測演算部７９０は、距離情報取得部７１２から得た距離情報の示す距離ｄに応じて、係数記憶部７８０に記憶されている予測係数Ａ_nを取得する。そして、予測演算部７９０は、予測タップ抽出部３２０により抽出された予測タップｘ_nに含まれる各画素値と、係数記憶部７８０から取得した距離ｄに応じた予測係数Ａ_nとを線形一次結合することにより、表示画像Ｉ２の注目画素の画素値を計算する。

このような予測演算は、第１の実施形態に係る画像処理装置３００と同様、表示画像Ｉ２の全ての注目画素値が計算されるまで繰り返される。

［処理フロー説明：予測演算処理］
次に、図１６のフローチャートを用いて、本実施形態に係る画像処理装置７００による予測演算処理の流れの一例を説明する。

図１６を参照すると、まず、画像処理装置７００に撮像画像Ｉ１が供給される（Ｓ８０２）。撮像画像Ｉ１は、予測タップ抽出部３２０に入力される。

次に、距離情報取得部７１２により、撮像画像Ｉ１を表示すべき表示装置とユーザとの間の距離を示す距離情報が、ユーザ入力により又は自動的に取得される（Ｓ８０４）。ここで取得された距離情報は、予測演算部７９０へ出力される。

その後、予測タップ抽出部３２０により、表示画像Ｉ２のうち予測の対象とする注目画素が設定され、撮像画像Ｉ１から注目画素位置の近傍に位置する予測タップｘ_nが抽出される（Ｓ８０６）。

次に、予測演算部７９０により、表示装置とユーザとの間の距離ｄに関連付けられ係数記憶部７８０に予め記憶されている予測係数Ａ_nが取得される（Ｓ８０８）。

そして、予測演算部７９０において、予測係数Ａ_nと予測タップｘ_nの線形一次結合が式（２）に従って行われ、注目画素値が計算される（Ｓ８１０）。

その後、全ての注目画素値の計算が終了したか否かが判定される（Ｓ８１２）。ここで、画素値の計算が終了していない注目画素が残っていれば、処理はＳ８０６へ戻る。一方、全ての注目画素値の計算が終了していれば、予測演算処理は終了する。

ここまで、本発明の第２の実施形態に係る学習装置５００及び画像処理装置７００について説明した。本実施形態に係る学習装置５００によれば、最適な表示画像を撮像画像から予測するために用いられる予測係数が、表示装置とユーザとの間の想定される距離ごとにそれぞれ学習される。そして、画像処理装置７００により、動的に取得された表示装置とユーザとの間の距離に応じた予測係数を用いて、表示装置に表示すべき表示画像が撮像画像から計算される。それにより、例えば人間の視覚特性など、表示装置とユーザとの間の距離に応じて変化する特性をより正確に反映した表示画像が表示されるため、最終的にユーザに視覚を通して感知される画質をより高質なものとすることができる。

＜４．第３の実施形態＞
本明細書により提案している、表示画像の画素よりも小さい単位での学習による高画質化は、上記特許文献１に記載されたクラス分類適応処理と組み合わせることも可能である。そこで、本発明の第３の実施形態では、クラス分類適応処理を組み合わせる例について説明する。

［学習装置］
図１７は、本発明の第３の実施形態に係る学習装置９００の論理的な構成を示すブロック図である。

図１７を参照すると、学習装置９００は、予測タップ抽出部１２０、クラスタップ抽出部９３０、クラス分類部９３２、特性記憶部１４０、正規方程式生成部９５０、学習記憶部９６０、学習部９７０、及び係数記憶部９８０を備える。

クラスタップ抽出部９３０は、学習装置９００に生徒画像ＩＳと詳細教師画像ＩＴが供給されると、予測タップ抽出部１２０により設定される注目画素をクラス分類するために用いられるクラスタップｃ_nを、生徒画像ＩＳから抽出する。ここで、クラスタップとは、その画素値のパターンに応じたクラス分類を行うための、注目画素の近傍に位置する画素の集合を指す。

図１８は、クラスタップ抽出部９３０により抽出されるクラスタップｃ_nの一例を示している。図１８の例において、クラスタップ抽出部９３０は、注目画素位置を中心とする、縦横５個ずつのいわゆる十字型に配置された計９個の画素ｃ_１〜ｃ_９をクラスタップｃ_nとして抽出している。なお、クラスタップ抽出部９３０により抽出されるクラスタップｃ_nは、図１８の例に限定されず、注目画素の近傍の任意の数又は任意の配置の画素の集合であってよい。

クラスタップ抽出部９３０は、例えば、このように抽出したクラスタップｃ_nを、クラス分類部９３２へ出力する。

クラス分類部９３２は、クラスタップ抽出部９３０から入力されたクラスタップｃ_nの画素値のパターンに応じたいずれかのクラスを決定し、決定したクラスを表すクラスコードＣを正規方程式生成部９５０に出力する。

クラスタップｃ_nの画素値のパターンに応じてクラスを分類する方法としては、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）等を用いることができる。ＡＤＲＣを用いる場合には、クラスタップｃ_nに含まれる各画素値がＡＤＲＣ処理され、その結果としてＡＤＲＣコードが得られる。

より具体的には、例えばＫビットＡＤＲＣにおいては、まず、クラスタップｃ_nに含まれる各画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップｃ_nに含まれる各画素値が再度Ｋビットに量子化される。即ち、クラスタップｃ_nに含まれる各画素値から、最小値ＭＩＮが減算され、その減算値がＤＲ／２Ｋで除算（量子化）される。そして、以上のようにして得られるＫビットの各画素値を所定の順番で並べたビット列が、ＡＤＲＣコードとして得られる。

例えば、クラスタップｃ_nが１ビットＡＤＲＣ処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値ＭＡＸと最小値ＭＩＮとの平均値で除算され（小数点以下切り捨て）、これにより各画素値が二値化される。そして、二値化された画素値を所定の順番で並べたビット列が、ＡＤＲＣコードとして得られる。

クラス分類部９３２は、例えば、そのようにして得られたＡＤＲＣコードに応じたクラスを１つ以上のクラスの中から決定し、決定したクラスを表すクラスコードＣを正規方程式生成部９５０に出力する。

なお、クラス分類部９３２は、ＡＤＲＣ処理ではなく、例えば、クラスタップを構成する画素をベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化することなどによってクラスを決定してもよい。

正規方程式生成部９５０は、まず、生徒画像ＩＳから予測される表示画像ＩＤと詳細画像ＩＨとの間の関係式に用いられる任意の特性係数を、特性記憶部１４０から取得する。そして、正規方程式生成部９５０は、クラス分類部９３２から入力されるクラスコードにより表されるクラスごとに、予測タップｘ_nと詳細教師画像ＩＴの画素値との間の関係を表す正規方程式の足し込みを行い、生成した正規方程式を学習記憶部９６０に記憶させる。

学習記憶部９６０は、正規方程式生成部９５０による足し込みの結果生成された正規方程式を、クラスごとに一時的に記憶する。

学習部９７０は、学習記憶部１６０により一時的に記憶された前述の正規方程式をクラスごとに取得し、予測係数Ａ_nについて解くことにより、注目画素の属するクラスに応じた予測係数Ａ_nを算出する。そして、学習部１７０は、算出した予測係数Ａ_nを順次係数記憶部９８０に出力する。

係数記憶部９８０は、学習部９７０から入力された予測係数Ａ_nを、クラスを表すクラスコードに関連付けて記憶する。ここで記憶された予測係数Ａ_nは、後述する画像処理装置において、撮像画像Ｉ１から最適な表示画像Ｉ２を予測するために用いられる。

［処理フロー説明：学習処理］
次に、図１９のフローチャートを用いて、本実施形態に係る学習装置９００による学習処理の流れの一例を説明する。

図１９を参照すると、まず、学習装置９００に生徒画像ＩＳ及び詳細教師画像ＩＴが供給される（Ｓ１００２）。生徒画像ＩＳは、予測タップ抽出部１２０及びクラスタップ抽出部９３０に入力される。また、詳細教師画像ＩＴは、正規方程式生成部９５０に入力される。

次に、予測タップ抽出部１２０により、表示画像ＩＤにおけるｋ番目（ｋ＝１，２…）の注目画素が設定され、当該注目画素の近傍の画素位置に対応する予測タップｘ_n,kが生徒画像ＩＳから抽出される（Ｓ１００４）。

また、クラスタップ抽出部９３０により、表示画像ＩＤにおける注目画素の近傍の画素位置に対応するクラスタップｃ_nが生徒画像ＩＳから抽出される（Ｓ１００６）。

そして、クラス分類部９３２により、クラスタップｃ_nの画素値のパターンに応じて注目画素の属するクラスを表すクラスコードＣが決定される（Ｓ１００８）。

その後、正規方程式生成部９５０により、例えば発光特性行列Ｐ及び／又は視覚特性行列Ｆなど高密度サンプリングのための特性係数を含む特性行列が、特性記憶部１４０から取得される（Ｓ１０１０）。

そして、正規方程式生成部９５０により、クラス分類部９３２において決定されたクラスごとに、予測タップｘ_n,k、特性係数、及び詳細教師画像ＩＴの各画素値を用いて、正規方程式への足し込みが行われる（Ｓ１０１２）。ここで生成された正規方程式は、クラスごとに学習記憶部９６０により記憶される。

その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される（Ｓ１０１４）。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はＳ１００４へ戻る。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はＳ１０１６へ進む。

Ｓ１０１６では、学習部９７０により、正規方程式がクラスごとに学習記憶部９６０から取得され、取得された正規方程式を解くことで予測係数Ａ_nが算出される（Ｓ１０１６）。ここで算出された予測係数Ａ_nは、係数記憶部９８０によりクラスコードＣと関連付けられて記憶される。

その後、全てのクラスについて学習が終了したか否かが判定される（Ｓ１０１８）。ここで、学習が終了していないクラスが残っていれば、処理はＳ１０１６へ戻り、次のクラスについての予測係数Ａ_nが算出される。一方、全てのクラスについて学習が終了していれば、本フローチャートに係る学習処理は終了する。

［画像処理装置］
次に、前述した学習装置９００により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図２０は、本発明の第３の実施形態に係る画像処理装置１１００の論理的な構成を示すブロック図である。

図２０を参照すると、画像処理装置１１００は、予測タップ抽出部３２０、クラスタップ抽出部１１３０、クラス分類部１１３２、係数記憶部１１８０、及び予測演算部１１９０を備える。

クラスタップ抽出部１１３０は、画像処理装置１１００に撮像画像Ｉ１が供給されると、予測タップ抽出部３２０により設定される注目画素をクラス分類するために用いられるクラスタップｃ_nを撮像画像Ｉ１から抽出し、クラス分類部１１３２へ出力する。例えば、クラスタップ抽出部１１３０は、図１８を用いて説明した注目画素の近傍の９つの画素を、クラスタップｘ_ｎとして抽出することができる。

クラス分類部１１３２は、クラスタップ抽出部１１３０から入力されたクラスタップｃ_nに含まれる画素値のパターンに応じてクラスを決定し、クラスコードＣを予測演算部１１９０へ出力する。例えば、クラス分類部１１３２は、学習装置９００のクラス分類部９３２と同様に、クラスタップｃ_nに含まれる各画素値からＡＤＲＣ処理により生成したＡＤＲＣコードに対応するクラスコードＣを決定してもよい。

係数記憶部１１８０は、前述した学習装置９００によりクラスごとに学習された予測係数Ａ_nを、クラスコードに関連付けて記憶している。

予測演算部１１９０は、クラス分類部１１３２から入力されたクラスコードＣに応じて、係数記憶部１１８０に記憶されている予測係数Ａ_nを取得する。そして、予測演算部１１９０は、予測タップ抽出部３２０により抽出された予測タップｘ_nに含まれる各画素値と、係数記憶部１１８０から取得したクラスコードＣに応じた予測係数Ａ_nとを線形一次結合することにより、表示画像Ｉ２の注目画素の画素値を計算する。

このような予測演算は、表示画像Ｉ２の全ての注目画素値が計算されるまで繰り返される。

［処理フロー説明：予測演算処理］
次に、図２１のフローチャートを用いて、本実施形態に係る画像処理装置１１００による予測演算処理の流れの一例を説明する。

図２１を参照すると、まず、画像処理装置１１００に撮像画像Ｉ１が供給される（Ｓ１２０２）。撮像画像Ｉ１は、予測タップ抽出部３２０及びクラスタップ抽出部１１３０に入力される。

次に、予測タップ抽出部３２０により、表示画像Ｉ２のうち予測の対象とする注目画素が設定され、撮像画像Ｉ１から注目画素の近傍に位置する予測タップｘ_nが抽出される（Ｓ１２０４）。

また、クラスタップ抽出部１１３０により、表示画像Ｉ２において設定された当該注目画素の近傍に位置するクラスタップｃ_nが撮像画像Ｉ１から抽出される（Ｓ１２０６）。

そして、クラス分類部１１３２により、クラスタップｃ_nの画素値のパターンに応じて注目画素の属するクラスを表すクラスコードＣが決定される（Ｓ１２０８）。

次に、予測演算部１１９０により、クラスコードと関連付けて係数記憶部１１８０に予め記憶されている予測係数の中から、クラス分類部１１３２から入力されたクラスコードＣに応じた予測係数Ａ_nが取得される（Ｓ１２１０）。

そして、予測演算部１１９０において、予測係数Ａ_nと予測タップｘ_nの線形一次結合が式（２）に従って行われ、注目画素値が計算される（Ｓ１２１２）。

その後、全ての注目画素値の計算が終了したか否かが判定される（Ｓ１２１４）。ここで、画素値の計算が終了していない注目画素が残っていれば、処理はＳ１２０４へ戻る。一方、全ての注目画素値の計算が終了していれば、予測演算処理は終了する。

ここまで、本発明の第３の実施形態に係る学習装置９００及び画像処理装置１１００について説明した。本実施形態に係る学習装置９００によれば、最適な表示画像を撮像画像から予測するために用いられる予測係数が、注目画素の近傍の画素値のパターンに応じたクラスごとにそれぞれ学習される。そして、画像処理装置１１００により、撮像画像から抽出されたクラスタップの画素値のパターンに応じたクラスと関連付けられた予測係数を用いて、表示装置に表示すべき表示画像が計算される。それにより、撮像画像又は表示画像の画素よりも小さい詳細画素の単位での学習をより柔軟に行うことが可能になり、高画質化の性能がさらに高められる。

なお、本実施形態で説明したクラス分類適応処理を、第２の実施形態として前述した表示装置とユーザとの間の距離に応じた学習に適用してもよい。即ち、表示装置とユーザとの間の距離をクラスを決定するためのパラメータとして用いてもよい。

＜５．まとめ＞
ここまで、図１〜図２１を用いて、画素よりも小さい単位での学習による高画質化に関する３つの実施形態について、それぞれ予測係数を学習する学習装置と高質な表示画像を予測する画像処理装置とに分けて詳細に説明した。

各実施形態に係る学習装置は、例えば、表示装置に接続される独立した学習モジュール、表示装置自体、又は表示装置を具備する撮像装置などであってよい。また、各実施形態に係る画像処理装置は、例えば、表示装置に接続される独立した画像処理モジュール、表示装置自体、又は表示装置を具備する撮像装置などであってよい。

なお、各実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図２２に示した汎用的なコンピュータなどを用いて実行される。

図２２において、ＣＰＵ（Central Processing Unit）１２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read Only Memory）１４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）１６には、処理の実行時にＣＰＵ１２により用いられるプログラムやデータなどが一時的に記憶される。

ＣＰＵ１２、ＲＯＭ１４、及びＲＡＭ１６は、バス２０を介して相互に接続される。バス２０にはさらに、入出力インタフェース２２が接続される。

入出力インタフェース２２は、ＣＰＵ１２、ＲＯＭ１４、及びＲＡＭ１６と、入力装置３０、出力装置３２、記憶装置３４、通信装置３６、及びドライブ４０とを接続するためのインタフェースである。

入力装置３０は、例えばボタン、スイッチ、レバー、又はマウスやキーボードなどのユーザインタフェースを介して、ユーザからの指示や情報入力を受け付ける。出力装置３２は、例えばＬＣＤやＯＬＥＤ（Organic Light Emitting Diode）などの表示装置、又はスピーカなどの音声出力装置を介してユーザに画像や情報を出力する。

記憶装置３４は、例えばハードディスクドライブ又はフラッシュメモリなどにより構成され、プログラムやプログラムデータ、又は画像データなどを記憶する。通信装置３６は、例えばＵＳＢ（Universal Serial Bus）などによる通信ポートを介する通信処理を行う。ドライブ４０には、例えばリムーバブルメディア４２が装着される。

第１〜第３の実施形態に係る一連の処理をソフトウェアで実行する場合には、例えば図２２に示したＲＯＭ１４又は記憶装置３４に格納されたプログラムが、実行時にＲＡＭ１６に読み込まれ、ＣＰＵ１２によって実行される。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、第１〜第３の実施形態に係る学習処理又は予測演算処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。

一実施形態に係る学習処理を概念的に示した説明図である。 表示装置の発光特性の一例を示す特性図である。 ｓＣＩＥＬＡＢモデルに従って人間の視覚特性を表現する手続を説明するための説明図である。 ｓＣＩＥＬＡＢモデルに従って導かれる視覚特性行列の一例である。 発光特性に加えて視覚特性を考慮した高密度サンプリングについて説明するための説明図である。 一実施形態に係る予測演算処理を概念的に示した説明図である。 第１の実施形態に係る学習装置の構成を示すブロック図である。 第１の実施形態に係る学習処理の一例を示すフローチャートである。 第１の実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る予測演算処理の一例を示すフローチャートである。 第１の実施形態を適用して高画質化された画像の一例を示すサンプル画像である。 第１の実施形態を適用して高画質化された画像の他の例を示すサンプル画像である。 第２の実施形態に係る学習装置の構成を示すブロック図である。 第２の実施形態に係る学習処理の一例を示すフローチャートである。 第２の実施形態に係る画像処理装置の構成を示すブロック図である。 第２の実施形態に係る予測演算処理の一例を示すフローチャートである。 第３の実施形態に係る学習装置の構成を示すブロック図である。 注目画素の近傍から抽出されるクラスタップの一例を示す説明図である。 第３の実施形態に係る学習処理の一例を示すフローチャートである。 第３の実施形態に係る画像処理装置の構成を示すブロック図である。 第３の実施形態に係る予測演算処理の一例を示すフローチャートである。 汎用的なコンピュータの構成例を示すブロック図である。

符号の説明

１００、５００、９００ 学習装置
５１０ 距離指示部
１２０、５２０ 予測タップ抽出部
９３０ クラスタップ抽出部
９３２ クラス分類部
１４０、５４０ 特性記憶部
１５０、５５０、９５０ 正規方程式生成部
１６０、５６０、９６０ 学習記憶部
１７０、５７０、９７０ 学習部
１８０、５８０、９８０ 係数記憶部
３００、７００、１１００ 画像処理装置
７１２ 距離情報取得部
３２０ 予測タップ抽出部
１１３０ クラスタップ抽出部
１１３２ クラス分類部
３８０、７８０、１１８０ 係数記憶部
３９０、７９０、１１９０ 予測演算部

Claims (18)

1. 第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
   前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と；
   を備える学習装置。
2. 前記学習部は、前記第２画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習する、請求項１に記載の学習装置。
3. 前記学習部は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第１画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習する、請求項２に記載の学習装置。
4. 前記視覚特性係数は、前記表示装置と前記ユーザとの間の距離に応じて与えられる係数であり、
   前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習する、
   請求項３に記載の学習装置。
5. 前記学習部は、前記第２画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習する、請求項１に記載の学習装置。
6. 前記視覚特性係数は、前記第２画像を表示すべき表示装置と前記ユーザとの間の距離に応じて与えられる係数であり、
   前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習する、
   請求項５に記載の学習装置。
7. 前記学習装置は、
   前記第１画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、
   前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、
   をさらに備え、
   前記学習部は、前記クラス分類部により決定された前記クラスごとに前記予測係数を学習する、
   請求項１に記載の学習装置。
8. 第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
   前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と；
   前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と；
   を備える画像処理装置。
9. 前記予測係数は、前記第２画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式に基づいて学習された係数である、請求項８に記載の画像処理装置。
10. 前記予測係数は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第１画像と前記詳細画像との間の関係式に基づいて学習された係数である、請求項９に記載の画像処理装置。
11. 前記記憶部は、前記表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、
    前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、
    前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得する、
    請求項１０に記載の画像処理装置。
12. 前記予測係数は、前記第２画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第１画像と前記詳細画像との間の関係式に基づいて学習された係数である、請求項８に記載の画像処理装置。
13. 前記記憶部は、前記第２画像を表示すべき表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、
    前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、
    前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得する、
    請求項１２に記載の画像処理装置。
14. 前記画像処理装置は、
    前記第１画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、
    前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、
    をさらに備え、
    前記予測演算部は、前記クラス分類部により決定された前記クラスに応じて、前記記憶部から前記予測係数を取得する、
    請求項８に記載の画像処理装置。
15. 第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと；
    前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習ステップと；
    を含む学習方法。
16. 学習装置を制御するコンピュータを：
    第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
    前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と；
    として機能させるための、プログラム。
17. 第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと；
    前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部から当該予測係数を取得する予測係数取得ステップと；
    前記予測タップの画素値と前記記憶部から取得した前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算ステップと；
    を含む画像処理方法。
18. 画像処理装置を制御するコンピュータを：
    第１画像に含まれる複数の画素であって当該第１画像よりも高質な第２画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と；
    前記第１画像に応じて生成される詳細画像であって前記第２画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と；
    前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と；
    として機能させるための、プログラム。