JP2010079411A - 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム - Google Patents
学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2010079411A JP2010079411A JP2008244327A JP2008244327A JP2010079411A JP 2010079411 A JP2010079411 A JP 2010079411A JP 2008244327 A JP2008244327 A JP 2008244327A JP 2008244327 A JP2008244327 A JP 2008244327A JP 2010079411 A JP2010079411 A JP 2010079411A
- Authority
- JP
- Japan
- Prior art keywords
- image
- prediction
- learning
- pixel
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
Abstract
【課題】画素よりも小さい単位での学習により画質を向上させること。
【解決手段】第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、を備える学習装置を提供する。
【選択図】図7
【解決手段】第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、を備える学習装置を提供する。
【選択図】図7
Description
本発明は、学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムに関する。
近年、コンピュータの性能向上に伴い、画像信号の品質、即ち画質をデジタル処理によって向上させる様々な技術が提案されている。画質を向上させる技術としては、例えば、デジタルカメラによる撮像など画像信号を得る段階での画質の劣化を補正するものや、表示装置に画像を表示する段階で高解像度化を図るものなどがある。そして、このような撮像から表示に至る処理のどの段階に着目する場合にも、処理に用いるパラメータなどを適応的に最適化して高画質化の性能を高める、学習と呼ばれる手法を用いるのが効果的である。
画質の向上を学習によって行う場合、典型的には、まず教師画像と生徒画像のセットが用意される。そして、生徒画像から所定のアルゴリズムに従って生成された予測画像と教師画像との間の誤差が評価され、その誤差を最小化させるパラメータが決定される。
例えば、下記特許文献1では、画質に対する寄与度の大きい画素の位置を特徴位置として判定し、当該特徴位置のデータを優先的に再現可能な予測係数を、教師画像と生徒画像とを用いてクラス分類適応処理により決定する手法が開示されている。
しかしながら、従来の学習処理では、誤差の評価の最小単位が画素単位であったため、画素と同等か画素よりも大きい単位での特徴量しか学習処理に反映させることができなかった。これに対し、例えば、ある画素値を表示装置の1つの画素に与えた際にその画素から発せられる光の強さは、画素内の位置によって異なる場合がある。また、人間の視覚は、多くの場合、画素よりも小さい単位で色や明るさを感知することができる。そのため、画素よりも小さい単位の特徴量を学習処理に反映させることができれば、より高い性能での画質の向上が期待できる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画素よりも小さい単位での学習により画質を向上させることのできる、新規かつ改良された学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、を備える学習装置が提供される。
また、前記学習部は、前記第2画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習してもよい。
また、前記学習部は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第1画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習してもよい。
また、前記視覚特性係数は、前記表示装置と前記ユーザとの間の距離に応じて与えられる係数であってもよく、前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習してもよい。
また、前記学習部は、前記第2画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習してもよい。
また、前記視覚特性係数は、前記第2画像を表示すべき表示装置と前記ユーザとの間の距離に応じて与えられる係数であってもよく、前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習してもよい。
また、前記学習装置は、前記第1画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、をさらに備え、前記学習部は、前記クラス分類部により決定された前記クラスごとに前記予測係数を学習してもよい。
上記課題を解決するために、本発明の別の観点によれば、第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と、前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と、を備える画像処理装置が提供される。
また、前記予測係数は、前記第2画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式に基づいて学習された係数であってもよい。
また、前記予測係数は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第1画像と前記詳細画像との間の関係式に基づいて学習された係数であってもよい。
また、前記記憶部は、前記表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得してもよい。
また、前記予測係数は、前記第2画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式に基づいて学習された係数であってもよい。
また、前記記憶部は、前記第2画像を表示すべき表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得してもよい。
また、前記画像処理装置は、前記第1画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、をさらに備え、前記予測演算部は、前記クラス分類部により決定された前記クラスに応じて、前記記憶部から前記予測係数を取得してもよい。
上記課題を解決するために、本発明の別の観点によれば、第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習ステップと、を含む学習方法が提供される。
上記課題を解決するために、本発明の別の観点によれば、学習装置を制御するコンピュータを、第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と、として機能させるためのプログラムが提供される。
上記課題を解決するために、本発明の別の観点によれば、第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部から当該予測係数を取得する予測係数取得ステップと、前記予測タップの画素値と前記記憶部から取得した前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算ステップと、を含む画像処理方法が提供される。
上記課題を解決するために、本発明の別の観点によれば、画像処理装置を制御するコンピュータを、第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と、前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と、として機能させるためのプログラムが提供される。
以上説明したように、本発明に係る学習装置、画像処理装置、学習方法、画像処理方法、及びプログラムによれば、画素よりも小さい単位での学習により画質を向上させることができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための最良の形態」を説明する。
1.画素よりも小さい単位での学習の概要
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.まとめ
1.画素よりも小さい単位での学習の概要
2.第1の実施形態
3.第2の実施形態
4.第3の実施形態
5.まとめ
<1.画素よりも小さい単位での学習の概要>
[学習の原理]
まず、図1〜図5を用いて、画素よりも小さい単位での学習の原理について説明する。
[学習の原理]
まず、図1〜図5を用いて、画素よりも小さい単位での学習の原理について説明する。
図1は、本発明の一実施形態に係る学習モデルを概念的に示した説明図である。図1を参照すると、生徒画像IS、表示画像ID、詳細画像IH、及び詳細教師画像ITの4つの画像が示されている。学習処理においては、これら4つの画像のうち、生徒画像IS及び詳細教師画像ITが予め与えられる。
生徒画像ISは、例えば、デジタルカメラ(デジタルスチルカメラを含む)などにより撮像された撮像画像に相当する画質を有する画像である。図1の例では、生徒画像ISは、縦横5×5個、計25個の画素から構成されている。
一方、詳細教師画像ITは、例えば、生徒画像ISと同一のシーンをより高い画素密度をもって撮像して得られた画像である。詳細教師画像ITは、生徒画像ISの画素密度に対してM×N倍(図1の例では、M=N=3)の画素密度を有する。
図1に例示した学習モデルにおいて、生徒画像ISが与えられると、生徒画像ISの各画素値を所定の予測係数と演算することにより、表示画像IDが生成される。表示画像IDは、例えば、表示装置を介してより高質な画像をユーザに提供するために、撮像画像を補正することにより得られる画像に相当する。
表示画像IDにおける注目画素の画素値IDi,jは、注目画素の近傍の画素位置に対応する生徒画像ISの画素値ISi-u,j-vと予測係数Au,vを用いて、次式により表される。
ここで、本明細書では、生徒画像ISに含まれる画素のうち式(1)の演算に用いられる複数の画素を、予測タップと称する。予測タップをN個の画素の配列xnとすると、前述の予測係数Au,vを一次元に並べた予測係数Anを用いて、式(1)を次式のように表すこともでできる。
ここで、IDkは、表示画像IDにおけるk番目の注目画素の画素値を表す。
次に、このように生成された表示画像IDに対し、高密度サンプリングの演算によって、前述した詳細教師画像ITと同等の画素密度を有する詳細画像IHが生成される。
例えば、高密度サンプリングの演算は、表示画像IDが表示されるべき表示装置の発光特性を表す発光特性係数を用いて行われてもよい。
図2は、ある表示装置の1つの画素に所定の画素値を与えた場合の、画素内の位置に応じた発光レベルを実測した結果を示す特性図である。
図2において、二次元の水平面上の座標(X,Y)は、発光レベルをサンプリングした画素内の位置を表す。一方、水平面に対する格子線の高さPは、当該サンプリング位置における発光レベルを表す。なお、図2では、RGB色空間における3つの色(R、G、B)ごとに、発光レベルの実測値がプロットされている。
図2を参照すると、同じ画素値を与えられた1つの画素の中でも、サンプリング位置によって発光レベルが異なっている。例えば、X=30の付近のサンプリング位置では赤色光(R)の発光レベルが高く、緑色光(G)や青色光(B)の発光レベルは低い。これに対し、例えば、X=60の付近のサンプリング位置では緑色光(G)の発光レベルが高く、赤色光(R)や青色光(B)の発光レベルは低い。また、例えば、X=90の付近のサンプリング位置では青色光(B)の発光レベルが高く、赤色光(R)や緑色光(G)の発光レベルは低い。
即ち、画素値に応じて発光レベルP(X,Y)を画素内のM×N個の位置について実測することで、表示装置の発光特性を表すM行N列の発光特性行列Pが得られる。そして、発光特性行列Pを用いて、表示画像IDのk番目の注目画素の画素値IDkに対応する詳細画像IHのM×N個の詳細画素値(IHm,n)k(1≦m≦M、1≦n≦N)は、次式により与えられる。
なお、本明細書では、生徒画像IS又は表示画像IDよりも画素密度の高い詳細教師画像IT又は詳細画像IHの個々の画素を詳細画素、詳細画素の画素値を詳細画素値というものとする。
さらに、高密度サンプリングの演算は、例えば、表示画像IDが表示されるべき表示装置の発光特性を表す発光特性係数に加えて、人間の視覚特性を表す視覚特性係数を用いて行われてもよい。
人間の視覚特性は、例えば、X.Zhang及びB.A.Wandellによって提案されたsCIELABモデルなどを用いて表現することができる。なお、以下に説明するsCIELABモデルについてのさらなる情報は、次の文献から入手可能である:Xuemei Zhang and Brian A. Wandell, ”A SPATIAL EXTENSION OF CIELAB for DIGITAL COLOR IMAGE REPRODUCTION”, Proceeding of the SID Symposiums 1996, pp.731-734。
図3は、sCIELABモデルに従って人間の視覚に映る画像を再現する手続を説明するための説明図である。図3を参照すると、sCIELABモデルにおいて、XYZ表色系などの色空間における入力画像は、まず、輝度(Lum)及び2つの色度(R/G、B/Y)で表される3つの単色画像へ分離(写像)される。次に、分離後の各単色画像に対し、それぞれ2次元のバンドパスフィルタが適用される。そして、フィルタ処理後の3つの単色画像から元の色空間における画像が再構成(合成)され、人間の視覚に映る出力画像が得られる。
このようなsCIELABモデルにおける単色画像の分離、フィルタ処理、及び合成は、いずれも線形的な変換処理であることから、sCIELABモデルに従って、人間の視覚特性を、画像信号に作用する視覚特性行列Fとして表すことができる。
図4は、sCIELABモデルに基づいて導出された視覚特性行列Fの一例を表している。図4を参照すると、視覚特性行列Fは一種の畳み込みを表す二次元のフィルタであることが分かる。なお、視覚特性行列Fはかかる例に限定されず、例えば、sCIELABモデルとは異なるモデルによって定義された行列であってもよい。
図5は、前述した発光特性行列Pに加えて視覚特性行列Fを考慮した高密度サンプリングについて説明するための説明図である。
図5において、まず、表示画像IDにおける注目画素ごとに、式(3)に従い、発光特性行列Pを用いて、人間の視覚特性を考慮する前の詳細画像IH’の詳細画素値が順次計算される。
そして、全ての注目画素について詳細画像IH’の詳細画素値が計算されると、次式に従い、視覚特性行列Fを用いて、詳細画像IHが計算される。
なお、表示画像IDから詳細画像IHを導く方法はかかる例に限定されない。例えば、図5では表示装置の発光特性と人間の視覚特性とを用いて詳細画像IHを導く例について説明したが、必ずしも表示装置の発光特性を考慮しなくてもよい。その代わりに、表示画像IDに対して線形補間などの公知の手法を適用して画素密度を高めた詳細画像IH’を得た後、視覚特性行列Fを用いて詳細画像IHを導いてもよい。また、例えば、表示装置の内部のアナログ回路の特性や視野角拡大のために画素を分割して表示するLCD(Liquid Crystal Display)パネルの特性などを考慮して詳細画像IHを導いてもよい。
図1に戻り、一実施形態に係る学習モデルの説明を継続する。
前述した高密度サンプリングにより詳細画像IHが生成されると、詳細画像IHと予め与えられた詳細教師画像ITとの間の誤差が評価される。例えば、詳細画像IHの詳細画素位置(x、y)における詳細教師画像ITとの間の誤差ex,yは、次式により表される。
そして、最適な詳細画像IHを生成するためのN個の予測係数Anは、最小二乗法の考え方により、次式のように、式(5)の二乗誤差の総和を最小(極小)にする係数として表される。
なお、一実施形態に係る学習処理では、実際には、予め与えられた生徒画像ISから表示画像ID及び詳細画像IHが生成されるのではなく、上述の考え方に基づいて、まず生徒画像ISと詳細画像IHとの間の関係式が生成される。そして、その関係式を予測係数Anについて解くことにより、最適な予測係数値が求められる。
例えば、表示装置の発光特性行列Pを用いて学習を行うことを想定する。その場合、式(5)における誤差ex,yを仮にゼロとすると、式(2)、(3)及び(5)から、次式で表される詳細教師画像ITと予測タップxnとの間の関係式が導かれる。なお、次式において、xn,kとは、表示画像IDにおけるk番目の注目画素について抽出された予測タップを表す
即ち、詳細教師画像ITと予測タップxnとの間の関係式は、予測係数Anを線形結合した多項式の集合となる。これは、式(4)を考慮に入れた場合、即ち発光特性行列Pに加えて視覚特性行列Fを用いて詳細教師画像ITと予測タップxnとの間の関係式を定義する場合も同様である。
そのため、例えば式(7)を正規方程式とみなし、予測係数Anについて掃き出し法(Gaus−Jordanの消去法)などを用いて解くことで、詳細画像IHと詳細教師画像ITとの間の二乗誤差の総和Eを最小(極小)にする係数値を学習することができる。
なお、ここで述べた画素よりも小さい詳細画素の単位での学習は、入力画像がカラー画像である場合には、RGBやXYZなどの色空間の個々の構成軸ごとに行うのが好適である。
また、sCIELABモデルによれば、視覚特性行列Fは視野角に依存するため、表示装置とユーザとの間の距離が変化した場合には、視覚特性行列Fも変化し得る。また、表示装置の発光特性行列P及び視覚特性行列Fは、画素の出力レベルにも依存して変化し得る。そこで、例えば、表示装置とユーザとの間の距離や画素の出力レベルに応じて異なる特性係数を、前述した学習に用いてもよい。
[学習された予測係数による高画質化]
次に、図6を用いて、ここまでに説明した学習の原理に従って最適化された予測係数を用いた高画質化について説明する。
次に、図6を用いて、ここまでに説明した学習の原理に従って最適化された予測係数を用いた高画質化について説明する。
図6には、高画質化の対象となる入力画像の一例として、デジタルカメラにより撮像された撮像画像I1が示されている。また、図6には、撮像画像I1に対して予測演算を行った結果生成される表示画像I2も示されている。
図6の例では、撮像画像I1から、表示画像I2におけるk番目の注目画素の近傍の画素位置に対応する13個の画素からなる予測タップxn(1≦n≦13)が抽出されている。そして、予測タップxnと前述した学習処理により最適化された予測係数Anとを式(2)に従って線形一次結合することにより、表示画像I2における注目画素値I2kが順次計算される。
このように生成された表示画像I2の各画素値は、画像の表示に際し、画素ごとの出力レベルを指示する信号値として表示装置へ入力される。そして、表示装置により表示画像I2が表示されると、ユーザの視覚には、例えば表示装置の発光特性又はユーザの視覚特性の影響を受けた後の画像、即ち図1における詳細画像IHが感知されることとなる。その際、表示装置に入力された表示画像I2は表示装置の発光特性やユーザの視覚特性などを予め考慮に入れて最適化された画像であるため、最終的にユーザに感知される画質は、撮像画像I1をそのまま表示装置に表示するよりも高質なものとなる。
ここまで、図1〜図6を用いて、画素よりも小さい単位での学習の概要について説明した。以下、本明細書では、上述の原理に従った学習処理を行う学習装置、及び学習により得られた予測係数を用いて予測演算処理を行う画像処理装置について、3つの実施形態に沿って詳細に説明する。
<2.第1の実施形態>
[学習装置]
図7は、本発明の第1の実施形態に係る学習装置100の論理的な構成を示すブロック図である。
[学習装置]
図7は、本発明の第1の実施形態に係る学習装置100の論理的な構成を示すブロック図である。
図7を参照すると、学習装置100は、予測タップ抽出部120、特性記憶部140、正規方程式生成部150、学習記憶部160、学習部170、及び係数記憶部180を備える。
予測タップ抽出部120は、学習装置100に生徒画像ISと詳細教師画像ITが供給されると、まず、生徒画像ISから予測される表示画像IDにおける注目画素を順次設定する。そして、予測タップ抽出部120は、設定した注目画素の近傍の画素位置に対応する複数の画素を生徒画像ISから予測タップxnとして抽出し、予測タップxnを正規方程式生成部150へ出力する。
特性記憶部140には、生徒画像ISに応じて予測される表示画像IDから、より高い画素密度を有する詳細画像IHを導くための特性係数が、予め記憶される。例えば、特性記憶部140には、図2を用いて説明した表示装置の発光特性行列Pが記憶されていてもよい。また、特性記憶部140には、図3及び図4を用いて説明した人間の視覚特性行列Fが特性記憶部140に記憶されてもよい。
正規方程式生成部150は、予測タップ抽出部120から予測タップxnが入力されると、特性記憶部140に記憶されている特性係数を取得する。そして、正規方程式生成部150は、取得した特性係数を用いて、予測タップxnと予め与えられる詳細教師画像ITの画素値との間の関係を表す正規方程式の足し込みを行う。
ここで、正規方程式への足し込みとは、例えば式(7)などの正規方程式に現れる行列やベクトルの要素を算出し、その結果を正規方程式に設定する処理をいう。例えば、正規方程式生成部150は、まず式(7)の右辺の行列における予測タップxnと発光特性係数Pm,nとによる乗算及びサメーション(Σ)を行う。そして、正規方程式生成部150は、乗算及びサメーション(Σ)の結果と、式(7)の左辺における詳細教師画像ITの詳細画素値ITx,yとを、順次正規方程式に設定する。
学習記憶部160は、正規方程式生成部150による足し込みの結果生成された正規方程式を一時的に記憶する。
学習部170は、学習記憶部160により一時的に記憶された前述の正規方程式を取得し、予測係数Anについて解くことにより、予測係数Anを算出する。そして、学習部170は、算出した予測係数Anを係数記憶部180に出力する。
係数記憶部180は、学習部170から入力された予測係数Anを記憶する。ここで記憶された予測係数Anは、後述する画像処理装置において、撮像画像I1から最適な表示画像I2を予測するために用いられる。
[処理フロー説明:学習処理]
次に、図8のフローチャートを用いて、本実施形態に係る学習装置100による学習処理の流れの一例を説明する。
次に、図8のフローチャートを用いて、本実施形態に係る学習装置100による学習処理の流れの一例を説明する。
図8を参照すると、まず、学習装置100に生徒画像IS及び詳細教師画像ITが供給される(S202)。生徒画像ISは、予測タップ抽出部120に入力される。また、詳細教師画像ITは、正規方程式生成部150に入力される。
次に、予測タップ抽出部120により、表示画像IDにおけるk番目(k=1,2…)の注目画素が設定され、当該注目画素の近傍の画素位置に対応する予測タップxn,kが抽出される(S204)。ここで抽出された予測タップxn,kは、正規方程式生成部150へ出力される。
その後、正規方程式生成部150により、例えば発光特性行列P又は視覚特性行列Fなど、注目画素よりも小さい単位の詳細画素の画素値を導くための特性係数を含む行列が、特性記憶部140から取得される(S206)。
そして、正規方程式生成部150により、予測タップxn,k、特性係数、及び詳細教師画像ITの画素値を用いて、正規方程式への足し込みが行われる(S208)。ここで生成された正規方程式は、学習記憶部160により記憶される。
その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される(S210)。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はS204へ戻り、予測タップ抽出部120によって次の注目画素が設定される。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はS212へ進む。
S212では、学習部170により、正規方程式が学習記憶部160から取得され、取得された正規方程式を解くことで最適な予測係数Anが算出される(S212)。ここで算出された予測係数Anは、係数記憶部180により記憶される。
[画像処理装置]
次に、前述した学習装置100により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図9は、本発明の第1の実施形態に係る画像処理装置300の論理的な構成を示すブロック図である。
次に、前述した学習装置100により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図9は、本発明の第1の実施形態に係る画像処理装置300の論理的な構成を示すブロック図である。
図9を参照すると、画像処理装置300は、予測タップ抽出部320、係数記憶部380、及び予測演算部390を備える。
予測タップ抽出部320は、画像処理装置300に高画質化の対象となる撮像画像I1が供給されると、より高質な表示画像I2を撮像画像I1から予測するための注目画素を順次設定する。そして、予測タップ抽出部320は、撮像画像I1から、注目画素の近傍の画素位置に対応する複数の画素を予測タップxnとして抽出し、予測演算部390へ出力する。
係数記憶部380は、前述した学習装置100により事前に学習された予測係数Anを予め記憶している。
予測演算部390は、予測タップ抽出部320により抽出された予測タップxnに含まれる各画素値と、係数記憶部380から取得した予測係数Anとを線形一次結合することにより、表示画像I2の注目画素の画素値を計算する。
このような予測演算は、表示画像I2の全ての注目画素値が計算されるまで繰り返される。
[処理フロー説明:予測演算処理]
次に、図10のフローチャートを用いて、本実施形態に係る画像処理装置300による予測演算処理の流れの一例を説明する。
次に、図10のフローチャートを用いて、本実施形態に係る画像処理装置300による予測演算処理の流れの一例を説明する。
図10を参照すると、まず、画像処理装置300に撮像画像I1が供給される(S402)。撮像画像I1は、予測タップ抽出部320に入力される。
その後、予測タップ抽出部320により、表示画像I2のうち予測の対象とする注目画素が設定され、撮像画像I1から注目画素位置の近傍に位置する予測タップxnが抽出される(S404)。
次に、予測演算部390により、係数記憶部380に予め記憶されている予測係数Anが取得される(S406)。
そして、予測演算部390において、予測係数Anと予測タップxnの線形一次結合が式(2)に従って行われ、注目画素値が計算される(S408)。
その後、全ての注目画素値の計算が終了したか否かが判定される(S410)。ここで、画素値の計算が終了していない注目画素が残っていれば、処理はS404へ戻り、予測タップ抽出部320によって新たな注目画素が設定される。一方、全ての注目画素値の計算が終了していれば、予測演算処理は終了する。
ここまで、本発明の第1の実施形態に係る学習装置100及び画像処理装置300について説明した。本実施形態に係る学習装置100によれば、最適な表示画像を撮像画像から予測するために用いられる予測係数が、当該表示画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習される。そして、画像処理装置300により、その予測係数を用いて、表示装置に表示すべき表示画像が撮像画像から計算される。それにより、表示装置に表示され、最終的にユーザに視覚を通して感知される画質を、撮像画像をそのまま表示装置に表示するよりも高質なものとすることができる。
[高画質化された画像の例]
図11は、本実施形態に従い、表示装置の発光特性及び人間の視覚特性を考慮して高画質化された画像の一例を示している。
図11は、本実施形態に従い、表示装置の発光特性及び人間の視覚特性を考慮して高画質化された画像の一例を示している。
図11(A−1)は、デジタルカメラにより撮像された撮像画像の画素値をそのまま表示装置に出力して表示された画像である。これに対し、図11(A−2)は、(A−1)の撮像画像に対し、本実施形態に係る学習処理により学習された予測係数をそれぞれ適用して生成された表示画像である。
また、図12は、本実施形態に従い、表示装置の発光特性及び人間の視覚特性を考慮して高画質化された画像の他の例を示している。
図12(B−1)は、デジタルカメラにより撮像された撮像画像の画素値をそのまま表示装置に出力して表示された画像である。これに対し、図12(B−2)は、(B−1)の撮像画像に対し、本実施形態に係る学習処理により学習された予測係数をそれぞれ適用して生成された表示画像である。
図11及び図12における学習前の撮像画像と学習後の表示画像を対比すると、例えば各画像に写っている物体の輪郭のジャギーが軽減されるなど、本実施形態に係る学習処理及び予測演算処理により画質が向上していることが理解される。
<3.第2の実施形態>
第1の実施形態では、表示装置の発光特性及び/又は人間の視覚特性を考慮し、生徒画像IS又は表示画像IDの画素よりも小さい詳細画素の単位での学習により、撮像画像を高画質化する例について説明した。ここで、前述したように、視覚特性は、表示装置とユーザとの間の距離に依存して変動し得る。そこで、本発明の第2の実施形態として、表示装置とユーザとの間の距離に応じて予測係数を学習する例について説明する。
第1の実施形態では、表示装置の発光特性及び/又は人間の視覚特性を考慮し、生徒画像IS又は表示画像IDの画素よりも小さい詳細画素の単位での学習により、撮像画像を高画質化する例について説明した。ここで、前述したように、視覚特性は、表示装置とユーザとの間の距離に依存して変動し得る。そこで、本発明の第2の実施形態として、表示装置とユーザとの間の距離に応じて予測係数を学習する例について説明する。
[学習装置]
図13は、本発明の第2の実施形態に係る学習装置500の論理的な構成を示すブロック図である。
図13は、本発明の第2の実施形態に係る学習装置500の論理的な構成を示すブロック図である。
図13を参照すると、学習装置500は、距離指示部510、予測タップ抽出部520、特性記憶部540、正規方程式生成部550、学習記憶部560、学習部570、及び係数記憶部580を備える。
距離指示部520は、学習装置500に生徒画像IS及び詳細教師画像ITが供給されると、表示装置とユーザとの間の想定される距離dを順次設定する。例えば、画像を表示すべき表示装置がデジタルカメラなどの携帯型機器に設けられる小型のモニタである場合には、距離dは、数十cm〜1mの範囲内の数段階の距離などであってよい。また、例えば、表示装置が一般的な家庭用のテレビジョン受像機などである場合には、距離dは、1m〜数mの範囲内の数段階の距離などであってよい。
予測タップ抽出部520は、距離指示部520により設定された距離dごとに、まず、生徒画像ISから予測される表示画像IDにおける注目画素を順次設定する。そして、予測タップ抽出部520は、設定した注目画素の近傍の画素位置に対応する複数の画素を生徒画像ISから予測タップxnとして抽出し、予測タップxnを正規方程式生成部550へ出力する。
特性記憶部540には、表示画像IDを高密度サンプリングして詳細画像IHを導くための特性係数が予め記憶される。本実施形態では、特性記憶部540に、表示装置の発光特性行列P及び人間の視覚特性行列F(d)が記憶されているものとする。このうち、視覚特性行列F(d)は、例えば前述したsCIELABモデルに従い、表示装置とユーザとの間の距離dに依存する視覚特性係数を含む行列である。
正規方程式生成部550は、予測タップ抽出部520から予測タップxnが入力されると、距離指示部510により指示された距離dに応じて、特性記憶部540に記憶されている特性行列P及び視覚特性行列F(d)を取得する。そして、正規方程式生成部550は、取得した各特性行列に含まれる特性係数を用いて、予測タップxnと予め与えられる詳細教師画像ITの画素値との間の関係を表す正規方程式の足し込みを行う。
なお、特性記憶部540には、距離dに応じた全ての特性係数が記憶されていてもよい。また、その代わりに、正規方程式生成部550は、特性記憶部540から取得した特性係数を、距離dに応じて再計算してもよい。
学習記憶部560は、正規方程式生成部550による足し込みの結果生成された正規方程式を、表示装置とユーザとの間の距離dに関連付けて一時的に記憶する。
学習部570は、学習記憶部560により一時的に記憶された前述の正規方程式を、表示装置とユーザとの間の距離dごとに順次取得し、予測係数Anについて解くことにより、距離dごとの予測係数Anを算出する。
係数記憶部580は、学習部570により算出された予測係数Anを、表示装置とユーザとの間の距離dに関連付けて記憶する。ここで記憶された予測係数Anは、後述する画像処理装置において、撮像画像I1から最適な表示画像I2を予測するために用いられる。
[処理フロー説明:学習処理]
次に、図14のフローチャートを用いて、本実施形態に係る学習装置500による学習処理の流れの一例を説明する。
次に、図14のフローチャートを用いて、本実施形態に係る学習装置500による学習処理の流れの一例を説明する。
図14を参照すると、まず、学習装置500に生徒画像IS及び詳細教師画像ITが供給される(S602)。生徒画像ISは、予測タップ抽出部520に入力される。また、詳細教師画像ITは、正規方程式生成部550に入力される。
次に、距離指示部510により、表示装置とユーザとの間の距離dが順次設定される(S604)。
そして、予測タップ抽出部520により、表示画像IDにおけるk番目(k=1,2…)の注目画素が設定され、当該注目画素の近傍の画素位置に対応する予測タップxn,kが生徒画像ISから抽出される(S606)。
その後、正規方程式生成部550により、例えば発光特性行列P及び視覚特性行列F(d)が、特性記憶部540から取得される(S608)。このとき、視覚特性行列F(d)は、距離指示部510により設定された距離dに応じた係数値を含む。
そして、正規方程式生成部550により、予測タップxn,k、特性係数、及び詳細教師画像ITの各画素値を用いて、正規方程式への足し込みが行われる(S610)。ここで生成された正規方程式は、距離dと関連付けられ、学習記憶部560により記憶される。
その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される(S612)。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はS606へ戻る。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はS614へ進む。
S614では、学習部570により、正規方程式が距離dに応じて学習記憶部560から取得され、取得された正規方程式を解くことで予測係数Anが算出される(S614)。ここで算出された予測係数Anは、距離dごとに係数記憶部580により記憶される。
その後、学習すべき全ての距離について学習、即ち予測係数Anの算出が終了したか否かが判定される(S616)。ここで、学習が終了していない距離が残っていれば、処理はS604へ戻り、次の距離dが設定される。一方、全ての距離dについて学習が終了していれば、学習処理は終了する。
[画像処理装置]
次に、前述した学習装置500により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図15は、本発明の第2の実施形態に係る画像処理装置700の論理的な構成を示すブロック図である。
次に、前述した学習装置500により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図15は、本発明の第2の実施形態に係る画像処理装置700の論理的な構成を示すブロック図である。
図15を参照すると、画像処理装置700は、距離情報取得部712、予測タップ抽出部320、係数記憶部780、及び予測演算部790を備える。
距離情報取得部712は、撮像画像I1が画像処理装置700に供給されると、撮像画像I1を表示すべき表示装置とユーザとの間の距離を示す距離情報を取得する。例えば、距離情報取得部712は、ボタン、スイッチ、レバー、又はマウスやキーボードなどのユーザインタフェースを介してユーザに明示的に距離を指定させることにより距離情報を取得してもよい。また、距離情報取得部712は、赤外線などの反射光を用いて三角法により距離を決定し、又は無線信号の折り返し時間に応じて距離を決定するなど、任意の公知の手法により自動的に距離情報を取得してもよい。そして、距離情報取得部712は、取得した距離情報を、予測演算部790へ出力する。
係数記憶部780は、学習装置500により事前に学習された予測係数Anを、表示装置とユーザとの間の距離に関連付けて記憶している。
予測演算部790は、距離情報取得部712から得た距離情報の示す距離dに応じて、係数記憶部780に記憶されている予測係数Anを取得する。そして、予測演算部790は、予測タップ抽出部320により抽出された予測タップxnに含まれる各画素値と、係数記憶部780から取得した距離dに応じた予測係数Anとを線形一次結合することにより、表示画像I2の注目画素の画素値を計算する。
このような予測演算は、第1の実施形態に係る画像処理装置300と同様、表示画像I2の全ての注目画素値が計算されるまで繰り返される。
[処理フロー説明:予測演算処理]
次に、図16のフローチャートを用いて、本実施形態に係る画像処理装置700による予測演算処理の流れの一例を説明する。
次に、図16のフローチャートを用いて、本実施形態に係る画像処理装置700による予測演算処理の流れの一例を説明する。
図16を参照すると、まず、画像処理装置700に撮像画像I1が供給される(S802)。撮像画像I1は、予測タップ抽出部320に入力される。
次に、距離情報取得部712により、撮像画像I1を表示すべき表示装置とユーザとの間の距離を示す距離情報が、ユーザ入力により又は自動的に取得される(S804)。ここで取得された距離情報は、予測演算部790へ出力される。
その後、予測タップ抽出部320により、表示画像I2のうち予測の対象とする注目画素が設定され、撮像画像I1から注目画素位置の近傍に位置する予測タップxnが抽出される(S806)。
次に、予測演算部790により、表示装置とユーザとの間の距離dに関連付けられ係数記憶部780に予め記憶されている予測係数Anが取得される(S808)。
そして、予測演算部790において、予測係数Anと予測タップxnの線形一次結合が式(2)に従って行われ、注目画素値が計算される(S810)。
その後、全ての注目画素値の計算が終了したか否かが判定される(S812)。ここで、画素値の計算が終了していない注目画素が残っていれば、処理はS806へ戻る。一方、全ての注目画素値の計算が終了していれば、予測演算処理は終了する。
ここまで、本発明の第2の実施形態に係る学習装置500及び画像処理装置700について説明した。本実施形態に係る学習装置500によれば、最適な表示画像を撮像画像から予測するために用いられる予測係数が、表示装置とユーザとの間の想定される距離ごとにそれぞれ学習される。そして、画像処理装置700により、動的に取得された表示装置とユーザとの間の距離に応じた予測係数を用いて、表示装置に表示すべき表示画像が撮像画像から計算される。それにより、例えば人間の視覚特性など、表示装置とユーザとの間の距離に応じて変化する特性をより正確に反映した表示画像が表示されるため、最終的にユーザに視覚を通して感知される画質をより高質なものとすることができる。
<4.第3の実施形態>
本明細書により提案している、表示画像の画素よりも小さい単位での学習による高画質化は、上記特許文献1に記載されたクラス分類適応処理と組み合わせることも可能である。そこで、本発明の第3の実施形態では、クラス分類適応処理を組み合わせる例について説明する。
本明細書により提案している、表示画像の画素よりも小さい単位での学習による高画質化は、上記特許文献1に記載されたクラス分類適応処理と組み合わせることも可能である。そこで、本発明の第3の実施形態では、クラス分類適応処理を組み合わせる例について説明する。
[学習装置]
図17は、本発明の第3の実施形態に係る学習装置900の論理的な構成を示すブロック図である。
図17は、本発明の第3の実施形態に係る学習装置900の論理的な構成を示すブロック図である。
図17を参照すると、学習装置900は、予測タップ抽出部120、クラスタップ抽出部930、クラス分類部932、特性記憶部140、正規方程式生成部950、学習記憶部960、学習部970、及び係数記憶部980を備える。
クラスタップ抽出部930は、学習装置900に生徒画像ISと詳細教師画像ITが供給されると、予測タップ抽出部120により設定される注目画素をクラス分類するために用いられるクラスタップcnを、生徒画像ISから抽出する。ここで、クラスタップとは、その画素値のパターンに応じたクラス分類を行うための、注目画素の近傍に位置する画素の集合を指す。
図18は、クラスタップ抽出部930により抽出されるクラスタップcnの一例を示している。図18の例において、クラスタップ抽出部930は、注目画素位置を中心とする、縦横5個ずつのいわゆる十字型に配置された計9個の画素c1〜c9をクラスタップcnとして抽出している。なお、クラスタップ抽出部930により抽出されるクラスタップcnは、図18の例に限定されず、注目画素の近傍の任意の数又は任意の配置の画素の集合であってよい。
クラスタップ抽出部930は、例えば、このように抽出したクラスタップcnを、クラス分類部932へ出力する。
クラス分類部932は、クラスタップ抽出部930から入力されたクラスタップcnの画素値のパターンに応じたいずれかのクラスを決定し、決定したクラスを表すクラスコードCを正規方程式生成部950に出力する。
クラスタップcnの画素値のパターンに応じてクラスを分類する方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を用いることができる。ADRCを用いる場合には、クラスタップcnに含まれる各画素値がADRC処理され、その結果としてADRCコードが得られる。
より具体的には、例えばKビットADRCにおいては、まず、クラスタップcnに含まれる各画素値の最大値MAXと最小値MINが検出される。そして、DR=MAX−MINを画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップcnに含まれる各画素値が再度Kビットに量子化される。即ち、クラスタップcnに含まれる各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られるKビットの各画素値を所定の順番で並べたビット列が、ADRCコードとして得られる。
例えば、クラスタップcnが1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され(小数点以下切り捨て)、これにより各画素値が二値化される。そして、二値化された画素値を所定の順番で並べたビット列が、ADRCコードとして得られる。
クラス分類部932は、例えば、そのようにして得られたADRCコードに応じたクラスを1つ以上のクラスの中から決定し、決定したクラスを表すクラスコードCを正規方程式生成部950に出力する。
なお、クラス分類部932は、ADRC処理ではなく、例えば、クラスタップを構成する画素をベクトルのコンポーネントとみなし、そのベクトルをベクトル量子化することなどによってクラスを決定してもよい。
正規方程式生成部950は、まず、生徒画像ISから予測される表示画像IDと詳細画像IHとの間の関係式に用いられる任意の特性係数を、特性記憶部140から取得する。そして、正規方程式生成部950は、クラス分類部932から入力されるクラスコードにより表されるクラスごとに、予測タップxnと詳細教師画像ITの画素値との間の関係を表す正規方程式の足し込みを行い、生成した正規方程式を学習記憶部960に記憶させる。
学習記憶部960は、正規方程式生成部950による足し込みの結果生成された正規方程式を、クラスごとに一時的に記憶する。
学習部970は、学習記憶部160により一時的に記憶された前述の正規方程式をクラスごとに取得し、予測係数Anについて解くことにより、注目画素の属するクラスに応じた予測係数Anを算出する。そして、学習部170は、算出した予測係数Anを順次係数記憶部980に出力する。
係数記憶部980は、学習部970から入力された予測係数Anを、クラスを表すクラスコードに関連付けて記憶する。ここで記憶された予測係数Anは、後述する画像処理装置において、撮像画像I1から最適な表示画像I2を予測するために用いられる。
[処理フロー説明:学習処理]
次に、図19のフローチャートを用いて、本実施形態に係る学習装置900による学習処理の流れの一例を説明する。
次に、図19のフローチャートを用いて、本実施形態に係る学習装置900による学習処理の流れの一例を説明する。
図19を参照すると、まず、学習装置900に生徒画像IS及び詳細教師画像ITが供給される(S1002)。生徒画像ISは、予測タップ抽出部120及びクラスタップ抽出部930に入力される。また、詳細教師画像ITは、正規方程式生成部950に入力される。
次に、予測タップ抽出部120により、表示画像IDにおけるk番目(k=1,2…)の注目画素が設定され、当該注目画素の近傍の画素位置に対応する予測タップxn,kが生徒画像ISから抽出される(S1004)。
また、クラスタップ抽出部930により、表示画像IDにおける注目画素の近傍の画素位置に対応するクラスタップcnが生徒画像ISから抽出される(S1006)。
そして、クラス分類部932により、クラスタップcnの画素値のパターンに応じて注目画素の属するクラスを表すクラスコードCが決定される(S1008)。
その後、正規方程式生成部950により、例えば発光特性行列P及び/又は視覚特性行列Fなど高密度サンプリングのための特性係数を含む特性行列が、特性記憶部140から取得される(S1010)。
そして、正規方程式生成部950により、クラス分類部932において決定されたクラスごとに、予測タップxn,k、特性係数、及び詳細教師画像ITの各画素値を用いて、正規方程式への足し込みが行われる(S1012)。ここで生成された正規方程式は、クラスごとに学習記憶部960により記憶される。
その後、全ての注目画素について正規方程式への足し込みが終了したか否かが判定される(S1014)。ここで、正規方程式への足し込みが終了していない注目画素が残っていれば、処理はS1004へ戻る。一方、全ての注目画素について正規方程式への足し込みが終了していれば、処理はS1016へ進む。
S1016では、学習部970により、正規方程式がクラスごとに学習記憶部960から取得され、取得された正規方程式を解くことで予測係数Anが算出される(S1016)。ここで算出された予測係数Anは、係数記憶部980によりクラスコードCと関連付けられて記憶される。
その後、全てのクラスについて学習が終了したか否かが判定される(S1018)。ここで、学習が終了していないクラスが残っていれば、処理はS1016へ戻り、次のクラスについての予測係数Anが算出される。一方、全てのクラスについて学習が終了していれば、本フローチャートに係る学習処理は終了する。
[画像処理装置]
次に、前述した学習装置900により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図20は、本発明の第3の実施形態に係る画像処理装置1100の論理的な構成を示すブロック図である。
次に、前述した学習装置900により算出された予測係数を用いて、撮像画像から最適な表示画像を予測する予測演算処理を行う画像処理装置について説明する。図20は、本発明の第3の実施形態に係る画像処理装置1100の論理的な構成を示すブロック図である。
図20を参照すると、画像処理装置1100は、予測タップ抽出部320、クラスタップ抽出部1130、クラス分類部1132、係数記憶部1180、及び予測演算部1190を備える。
クラスタップ抽出部1130は、画像処理装置1100に撮像画像I1が供給されると、予測タップ抽出部320により設定される注目画素をクラス分類するために用いられるクラスタップcnを撮像画像I1から抽出し、クラス分類部1132へ出力する。例えば、クラスタップ抽出部1130は、図18を用いて説明した注目画素の近傍の9つの画素を、クラスタップxnとして抽出することができる。
クラス分類部1132は、クラスタップ抽出部1130から入力されたクラスタップcnに含まれる画素値のパターンに応じてクラスを決定し、クラスコードCを予測演算部1190へ出力する。例えば、クラス分類部1132は、学習装置900のクラス分類部932と同様に、クラスタップcnに含まれる各画素値からADRC処理により生成したADRCコードに対応するクラスコードCを決定してもよい。
係数記憶部1180は、前述した学習装置900によりクラスごとに学習された予測係数Anを、クラスコードに関連付けて記憶している。
予測演算部1190は、クラス分類部1132から入力されたクラスコードCに応じて、係数記憶部1180に記憶されている予測係数Anを取得する。そして、予測演算部1190は、予測タップ抽出部320により抽出された予測タップxnに含まれる各画素値と、係数記憶部1180から取得したクラスコードCに応じた予測係数Anとを線形一次結合することにより、表示画像I2の注目画素の画素値を計算する。
このような予測演算は、表示画像I2の全ての注目画素値が計算されるまで繰り返される。
[処理フロー説明:予測演算処理]
次に、図21のフローチャートを用いて、本実施形態に係る画像処理装置1100による予測演算処理の流れの一例を説明する。
次に、図21のフローチャートを用いて、本実施形態に係る画像処理装置1100による予測演算処理の流れの一例を説明する。
図21を参照すると、まず、画像処理装置1100に撮像画像I1が供給される(S1202)。撮像画像I1は、予測タップ抽出部320及びクラスタップ抽出部1130に入力される。
次に、予測タップ抽出部320により、表示画像I2のうち予測の対象とする注目画素が設定され、撮像画像I1から注目画素の近傍に位置する予測タップxnが抽出される(S1204)。
また、クラスタップ抽出部1130により、表示画像I2において設定された当該注目画素の近傍に位置するクラスタップcnが撮像画像I1から抽出される(S1206)。
そして、クラス分類部1132により、クラスタップcnの画素値のパターンに応じて注目画素の属するクラスを表すクラスコードCが決定される(S1208)。
次に、予測演算部1190により、クラスコードと関連付けて係数記憶部1180に予め記憶されている予測係数の中から、クラス分類部1132から入力されたクラスコードCに応じた予測係数Anが取得される(S1210)。
そして、予測演算部1190において、予測係数Anと予測タップxnの線形一次結合が式(2)に従って行われ、注目画素値が計算される(S1212)。
その後、全ての注目画素値の計算が終了したか否かが判定される(S1214)。ここで、画素値の計算が終了していない注目画素が残っていれば、処理はS1204へ戻る。一方、全ての注目画素値の計算が終了していれば、予測演算処理は終了する。
ここまで、本発明の第3の実施形態に係る学習装置900及び画像処理装置1100について説明した。本実施形態に係る学習装置900によれば、最適な表示画像を撮像画像から予測するために用いられる予測係数が、注目画素の近傍の画素値のパターンに応じたクラスごとにそれぞれ学習される。そして、画像処理装置1100により、撮像画像から抽出されたクラスタップの画素値のパターンに応じたクラスと関連付けられた予測係数を用いて、表示装置に表示すべき表示画像が計算される。それにより、撮像画像又は表示画像の画素よりも小さい詳細画素の単位での学習をより柔軟に行うことが可能になり、高画質化の性能がさらに高められる。
なお、本実施形態で説明したクラス分類適応処理を、第2の実施形態として前述した表示装置とユーザとの間の距離に応じた学習に適用してもよい。即ち、表示装置とユーザとの間の距離をクラスを決定するためのパラメータとして用いてもよい。
<5.まとめ>
ここまで、図1〜図21を用いて、画素よりも小さい単位での学習による高画質化に関する3つの実施形態について、それぞれ予測係数を学習する学習装置と高質な表示画像を予測する画像処理装置とに分けて詳細に説明した。
ここまで、図1〜図21を用いて、画素よりも小さい単位での学習による高画質化に関する3つの実施形態について、それぞれ予測係数を学習する学習装置と高質な表示画像を予測する画像処理装置とに分けて詳細に説明した。
各実施形態に係る学習装置は、例えば、表示装置に接続される独立した学習モジュール、表示装置自体、又は表示装置を具備する撮像装置などであってよい。また、各実施形態に係る画像処理装置は、例えば、表示装置に接続される独立した画像処理モジュール、表示装置自体、又は表示装置を具備する撮像装置などであってよい。
なお、各実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図22に示した汎用的なコンピュータなどを用いて実行される。
図22において、CPU(Central Processing Unit)12は、汎用コンピュータの動作全般を制御する。ROM(Read Only Memory)14には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。RAM(Random Access Memory)16には、処理の実行時にCPU12により用いられるプログラムやデータなどが一時的に記憶される。
CPU12、ROM14、及びRAM16は、バス20を介して相互に接続される。バス20にはさらに、入出力インタフェース22が接続される。
入出力インタフェース22は、CPU12、ROM14、及びRAM16と、入力装置30、出力装置32、記憶装置34、通信装置36、及びドライブ40とを接続するためのインタフェースである。
入力装置30は、例えばボタン、スイッチ、レバー、又はマウスやキーボードなどのユーザインタフェースを介して、ユーザからの指示や情報入力を受け付ける。出力装置32は、例えばLCDやOLED(Organic Light Emitting Diode)などの表示装置、又はスピーカなどの音声出力装置を介してユーザに画像や情報を出力する。
記憶装置34は、例えばハードディスクドライブ又はフラッシュメモリなどにより構成され、プログラムやプログラムデータ、又は画像データなどを記憶する。通信装置36は、例えばUSB(Universal Serial Bus)などによる通信ポートを介する通信処理を行う。ドライブ40には、例えばリムーバブルメディア42が装着される。
第1〜第3の実施形態に係る一連の処理をソフトウェアで実行する場合には、例えば図22に示したROM14又は記憶装置34に格納されたプログラムが、実行時にRAM16に読み込まれ、CPU12によって実行される。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、第1〜第3の実施形態に係る学習処理又は予測演算処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。
100、500、900 学習装置
510 距離指示部
120、520 予測タップ抽出部
930 クラスタップ抽出部
932 クラス分類部
140、540 特性記憶部
150、550、950 正規方程式生成部
160、560、960 学習記憶部
170、570、970 学習部
180、580、980 係数記憶部
300、700、1100 画像処理装置
712 距離情報取得部
320 予測タップ抽出部
1130 クラスタップ抽出部
1132 クラス分類部
380、780、1180 係数記憶部
390、790、1190 予測演算部
510 距離指示部
120、520 予測タップ抽出部
930 クラスタップ抽出部
932 クラス分類部
140、540 特性記憶部
150、550、950 正規方程式生成部
160、560、960 学習記憶部
170、570、970 学習部
180、580、980 係数記憶部
300、700、1100 画像処理装置
712 距離情報取得部
320 予測タップ抽出部
1130 クラスタップ抽出部
1132 クラス分類部
380、780、1180 係数記憶部
390、790、1190 予測演算部
Claims (18)
- 第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と;
前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と;
を備える学習装置。 - 前記学習部は、前記第2画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習する、請求項1に記載の学習装置。
- 前記学習部は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第1画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習する、請求項2に記載の学習装置。
- 前記視覚特性係数は、前記表示装置と前記ユーザとの間の距離に応じて与えられる係数であり、
前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習する、
請求項3に記載の学習装置。 - 前記学習部は、前記第2画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式を解くことにより、前記予測係数を学習する、請求項1に記載の学習装置。
- 前記視覚特性係数は、前記第2画像を表示すべき表示装置と前記ユーザとの間の距離に応じて与えられる係数であり、
前記学習部は、前記表示装置と前記ユーザとの間の想定される距離に応じて前記予測係数を学習する、
請求項5に記載の学習装置。 - 前記学習装置は、
前記第1画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、
前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、
をさらに備え、
前記学習部は、前記クラス分類部により決定された前記クラスごとに前記予測係数を学習する、
請求項1に記載の学習装置。 - 第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と;
前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と;
前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と;
を備える画像処理装置。 - 前記予測係数は、前記第2画像を表示すべき表示装置の発光特性を表す発光特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式に基づいて学習された係数である、請求項8に記載の画像処理装置。
- 前記予測係数は、前記表示装置により表示される画像を視るユーザの視覚特性を表す視覚特性係数をさらに用いて定義された前記第1画像と前記詳細画像との間の関係式に基づいて学習された係数である、請求項9に記載の画像処理装置。
- 前記記憶部は、前記表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、
前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、
前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得する、
請求項10に記載の画像処理装置。 - 前記予測係数は、前記第2画像を視るユーザの視覚特性を表す視覚特性係数を用いて定義された前記第1画像と前記詳細画像との間の関係式に基づいて学習された係数である、請求項8に記載の画像処理装置。
- 前記記憶部は、前記第2画像を表示すべき表示装置と前記ユーザとの間の距離と関連付けて前記予測係数を記憶しており、
前記画像処理装置は、前記表示装置と前記ユーザとの間の距離を表す距離情報を取得する距離情報取得部、をさらに備え、
前記予測演算部は、前記距離情報取得部により取得された前記距離情報に応じて、前記記憶部から前記予測係数を取得する、
請求項12に記載の画像処理装置。 - 前記画像処理装置は、
前記第1画像に含まれる複数の画素であって、前記注目画素の近傍の画素位置に対応する複数の画素をクラスタップとして抽出するクラスタップ抽出部と、
前記クラスタップ抽出部により抽出された前記クラスタップの画素値のパターンに応じて、前記注目画素のクラスを決定するクラス分類部と、
をさらに備え、
前記予測演算部は、前記クラス分類部により決定された前記クラスに応じて、前記記憶部から前記予測係数を取得する、
請求項8に記載の画像処理装置。 - 第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと;
前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習ステップと;
を含む学習方法。 - 学習装置を制御するコンピュータを:
第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と;
前記予測タップの画素値から前記注目画素の画素値を予測するために用いられる予測係数を、前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように学習する学習部と;
として機能させるための、プログラム。 - 第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出ステップと;
前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部から当該予測係数を取得する予測係数取得ステップと;
前記予測タップの画素値と前記記憶部から取得した前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算ステップと;
を含む画像処理方法。 - 画像処理装置を制御するコンピュータを:
第1画像に含まれる複数の画素であって当該第1画像よりも高質な第2画像において注目された注目画素の近傍の画素位置に対応する複数の画素を、予測タップとして抽出する予測タップ抽出部と;
前記第1画像に応じて生成される詳細画像であって前記第2画像よりも高い画素密度を有する詳細画像と予め与えられる詳細教師画像との間の誤差が最小となるように事前に学習された予測係数を記憶している記憶部と;
前記予測タップの画素値と前記記憶部から取得された前記予測係数とを線形一次結合することにより、前記注目画素の画素値を計算する予測演算部と;
として機能させるための、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008244327A JP2010079411A (ja) | 2008-09-24 | 2008-09-24 | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008244327A JP2010079411A (ja) | 2008-09-24 | 2008-09-24 | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010079411A true JP2010079411A (ja) | 2010-04-08 |
Family
ID=42209816
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008244327A Withdrawn JP2010079411A (ja) | 2008-09-24 | 2008-09-24 | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010079411A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785843A (zh) * | 2017-11-14 | 2019-05-21 | 上海寒武纪信息科技有限公司 | 图像处理装置和方法 |
-
2008
- 2008-09-24 JP JP2008244327A patent/JP2010079411A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785843A (zh) * | 2017-11-14 | 2019-05-21 | 上海寒武纪信息科技有限公司 | 图像处理装置和方法 |
CN109785843B (zh) * | 2017-11-14 | 2024-03-26 | 上海寒武纪信息科技有限公司 | 图像处理装置和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102380164B1 (ko) | 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성 | |
US9697583B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US8325196B2 (en) | Up-scaling | |
US7876323B2 (en) | Display apparatus and display method, learning apparatus and learning method, and programs therefor | |
KR20080093088A (ko) | 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체 | |
CN101465943A (zh) | 图像处理设备、图像处理方法、程序和学习设备 | |
KR100971822B1 (ko) | 데이터 변환 장치 및 데이터 변환 방법, 학습 장치 및 학습 방법, 및 기록 매체 | |
JP2010079411A (ja) | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム | |
CN116980549A (zh) | 视频帧处理方法、装置、计算机设备和存储介质 | |
JP2001222702A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
US7627198B2 (en) | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods | |
CN115035170A (zh) | 基于全局纹理与结构的图像修复方法 | |
JPH10136317A (ja) | 画像信号変換装置および方法 | |
JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
US8228995B2 (en) | Image processing apparatus, image processing method, and program | |
JP4337186B2 (ja) | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 | |
JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
JP2005051638A (ja) | 信号処理装置および信号処理方法 | |
JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
JP4232430B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
JP2010066925A (ja) | 学習装置、画像処理装置、学習方法、画像処理方法、及びプログラム | |
KR101108635B1 (ko) | 계수 데이터의 생성 장치 및 생성 방법, 정보 신호의 처리 장치 및 처리 방법, 및 그것을 기록한 매체 | |
JP4311038B2 (ja) | 学習装置および方法、画像処理装置および方法、記録媒体、並びにプログラム | |
JP4352328B2 (ja) | 情報処理装置および情報処理方法、並びに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20111206 |