JP2005258282A - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】ユーザの嗜好に合った高解像度の画像を生成できるようにする。
【解決手段】 学習部２１は、ユーザの操作履歴とSD画像を間引いて生成した縮小画像との自己相似係数に基づいて両者の相関関係を解析し、係数創造用差分データとしての履歴係数種を生成する。出力画像生成部２２は、そのとき視聴しているSD画像とその縮小画像の自己相似係数に履歴係数種を適用することで、最終係数データを生成し、その最終係数データに基づいて、そのとき視聴しているSD画像からHD画像を生成する。本発明は、テレビジョン受像機に適用することができる。
【選択図】図２

Description

本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特にユーザの嗜好に合った、より高解像度の画像を生成することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。

本出願人は、入力画像からより高い解像度の画像を生成することを先に提案している（例えば、特許文献１）。

この先の提案においては、入力画像からその画像を間引くことで間引き画像がを生成され、入力画像と間引き画像との間で学習対がを生成される。そしてこの学習対を用いて、入力画像と間引き画像の相関関係に対応する予測係数がを生成され、この予測係数を入力画像に適用することで高解像度の画像データが生成される。

特開平１０−１１２８４４号公報

しかしながら、先の提案は、入力画像自身の特徴を予測係数に反映させることができ、実際に入力された画像の特徴に合った画像を生成することができるが、。ユーザ毎にその嗜好に合った最適な画像を提供することが困難である課題があった。

本発明は、このような状況に鑑みてなされたものであり、ユーザ毎にその嗜好に合った最適な画像を提供することができるようにするものである。

請求項１の情報処理装置は、入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得手段と、取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算手段と、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算手段と、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算手段と、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算手段とを備えることを特徴とする。

前記取得手段は、嗜好情報に対応する画像表示に関するパラメータであって、ユーザが表示された画像を見て指定した画像表示に関する指定値をさらに取得するようにすることができる。

前記指定値は、表示された画像の解像度とノイズ除去度の一方または両方に関するパラメータを含むようにすることができる。

前記第１の係数演算手段は、標準的な複数の画像を予め学習することで生成された係数と、指定値に基づいて第１の係数を演算するようにすることができる。

前記第２の係数演算手段は、入力された画像データの画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、入力された画像データとから、第２の係数を演算するようにすることができる。

前記第３の係数演算手段は、第１の係数と第２の係数に基づいて正規方程式を生成し、その正規方程式を解くことで第３の係数を演算するようにすることができる。

前記データ演算手段は、処理対象画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、処理対象画像の画像データとから、第４の係数を演算する第４の演算手段と、処理対象画像に関するユーザの嗜好情報を入力する入力手段と、第３の係数、第４の係数、および処理対象画像に関するユーザの嗜好情報に基づいて、第５の係数を演算する第５の演算手段と、第５の係数と、処理対象画像の画像データに基づいて、処理対象画像より上位の解像度の画像の画素データを演算する画素データ演算手段とを備えるようにすることができる。

請求項８の情報処理方法は、入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算ステップと、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップとを含むことを特徴とする。

請求項９の記録媒体のプログラムは、入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算ステップと、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップとを含むことを特徴とする。

請求項１０のプログラムは、入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算ステップと、前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップとをコンピュータに実行させることを特徴とする。

本発明においては、ユーザの嗜好情報に基づいて第１の係数が演算され、第１の係数を用いて第３の係数が演算され、第３の係数と、処理対象画像とその下位の解像度の自己相似関係を表す第４の係数とに基づいて、処理対象画像より上位の解像度の画像の画像データが演算される。

本発明によれば、より上位の解像度の画像の画像データを生成することが可能となる。特に、各ユーザの嗜好に合った画像の画像データを生成することが可能となる。

以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。

請求項１の情報処理装置（例えば、図１２の画像処理装置１）は、入力された画像データの画像（例えば、SD画像）に関するユーザの嗜好に基づく嗜好情報（例えば、解像度vとノイズ除去度z）を取得する取得手段（例えば、図２２のステップS71の処理を実行する図１７の係数計算部212）と、取得された前記嗜好情報に基づいて第１の係数（例えば、式（２）の係数W_i）を演算する第１の係数演算手段（例えば、図２２のステップS73の処理を実行する図１７の係数計算部212）と、前記入力された画像データの画像（例えば、SD画像）とその下位の解像度の画像（例えば、縮小画像）との自己相似関係を表す第２の係数（例えば、式（１０）の自己相似係数種A_i）を演算する第２の係数演算手段（例えば、図２１のステップS57の処理を実行する図１６の自己相似履歴取得部112）と、前記第１の係数と前記第２の係数に基づいて第３の係数（例えば、式（２３）の履歴係数種データkf_ij）を演算する第３の係数演算手段（例えば、図２２のステップS77の処理を実行する図１７の係数差分処理部213）と、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数（例えば、図１８の自己相似学習部251により生成される、式（２３）の自己相似係数種A_i）とに基づいて、前記処理対象画像（例えば、SD画像）より上位の解像度の画像（例えば、HD画像）の画像データを演算するデータ演算手段（例えば、図２３のステップS114の処理を実行する図１８の履歴使用信号処理部104）とを備える。

前記取得手段は、嗜好情報に対応する画像表示に関するパラメータであって、ユーザが表示された画像を見て指定した画像表示に関する指定値（例えば、解像度とノイズ除去度に関するパラメータ）をさらに取得する（例えば、図１９のステップS23の処理）。

前記指定値は、表示された画像の解像度（例えば、式（２）のv）とノイズ除去度（例えば、式（２）のz）の一方または両方に関するパラメータを含む。

前記第１の係数演算手段は、標準的な複数の画像を予め学習することで生成された係数（例えば、図１７の係数種データ保持部211により保持されている係数種データ）と、指定値（例えば、解像度とノイズ除去度に関するパラメータ）に基づいて第１の係数（例えば、式（２）の係数W_i）を演算する（例えば、図２２のステップS73の処理）。

前記第２の係数演算手段は、入力された画像データの画像を縮小した画像の画像データ（例えば、生徒画素データ）を生成し（例えば、図２１のステップS52の処理）、その縮小した画像の画像データと、入力された画像データ（例えば、教師画素データ）とから、第２の係数を演算する（例えば、図２１のステップS57の処理）。

前記第３の係数演算手段は、第１の係数（例えば、式（２）の係数W_i）と第２の係数（例えば、式（１０）の自己相似係数種A_i）に基づいて正規方程式（例えば、式（２２））を生成し（例えば、図２２のステップS76の処理）、その正規方程式を解くことで第３の係数（例えば、式（２３）の履歴係数種データkf_ij）を演算する（例えば、図２２のステップS77の処理）。

前記データ演算手段（例えば、図１８の履歴使用信号処理部104）は、処理対象画像（例えば、SD画像）を縮小した画像の画像データ（例えば、生徒画素データ）を生成し（例えば、図２３のステップＳ１０３の処理）、その縮小した画像の画像データと、処理対象画像の画像データ（例えば、教師画素データ）とから、第４の係数（例えば、式（２３）の自己相似係数種A_i）を演算する第４の演算手段（例えば、図２３のステップS108の処理を実行する図１８の自己相似学習部251）と、処理対象画像に関するユーザの嗜好情報（例えば、意向反映度u）を入力する入力手段（例えば、図２３のステップS109の処理を実行する図１８のユーザ画質値調整部253）と、第３の係数、第４の係数、処理対象画像に関するユーザの嗜好情報に基づいて、第５の係数（例えば、式（２３）の係数B_i）を演算する第５の演算手段（例えば、図２３のステップS110の処理を実行する図１８のユーザ係数計算部254）と、第５の係数と、処理対象画像（例えば、SD画像）の画像データに基づいて、処理対象画像より上位の解像度の画像（例えば、HD画像）の画素データを演算する画素データ演算手段（例えば、図２３のステップS114の処理を実行する図１８の出力画素値計算部255）とを備える。

請求項８の情報処理方法は、入力された画像データの画像（例えば、SD画像）に関するユーザの嗜好に基づく嗜好情報（例えば、解像度vとノイズ除去度z）を取得する取得ステップ（例えば、図２２のステップS71）と、取得された前記嗜好情報に基づいて第１の係数（例えば、式（２）の係数W_i）を演算する第１の係数演算ステップ（例えば、図２２のステップS73）と、前記入力された画像データの画像（例えば、SD画像）とその下位の解像度の画像（例えば、縮小画像）との自己相似関係を表す第２の係数（例えば、式（１０）の自己相似係数種A_i）を演算する第２の係数演算ステップ（例えば、図２１のステップS57）と、前記第１の係数と前記第２の係数に基づいて第３の係数（例えば、式（２３）の履歴係数種データkf_ij）を演算する第３の係数演算ステップ（例えば、図２２のステップS77）と、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数（例えば、自己相似係数種）とに基づいて、前記処理対象画像（例えば、SD画像）より上位の解像度の画像（例えば、HD画像）の画像データを演算するデータ演算ステップ（例えば、図２３のステップS114）とを含む。

請求項９の記録媒体は、入力された画像データの画像（例えば、SD画像）に関するユーザの嗜好に基づく嗜好情報（例えば、解像度vとノイズ除去度z）を取得する取得ステップ（例えば、図２２のステップS71）と、取得された前記嗜好情報に基づいて第１の係数（例えば、式（２）の係数W_i）を演算する第１の係数演算ステップ（例えば、図２２のステップS73）と、前記入力された画像データの画像（例えば、SD画像）とその下位の解像度の画像（例えば、縮小画像）との自己相似関係を表す第２の係数（例えば、式（１０）の自己相似係数種A_i）を演算する第２の係数演算ステップ（例えば、図２１のステップS57）と、前記第１の係数と前記第２の係数に基づいて第３の係数（例えば、式（２３）の履歴係数種データkf_ij）を演算する第３の係数演算ステップ（例えば、図２２のステップS77）と、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数（例えば、自己相似係数種）とに基づいて、前記処理対象画像（例えば、SD画像）より上位の解像度の画像（例えば、HD画像）の画像データを演算するデータ演算ステップ（例えば、図２３のステップS114）とを含む。

請求項１０のプログラムは、入力された画像データの画像（例えば、SD画像）に関するユーザの嗜好に基づく嗜好情報（例えば、解像度vとノイズ除去度z）を取得する取得ステップ（例えば、図２２のステップS71）と、取得された前記嗜好情報に基づいて第１の係数（例えば、式（２）の係数W_i）を演算する第１の係数演算ステップ（例えば、図２２のステップS73）と、前記入力された画像データの画像（例えば、SD画像）とその下位の解像度の画像（例えば、縮小画像）との自己相似関係を表す第２の係数（例えば、式（１０）の自己相似係数種A_i）を演算する第２の係数演算ステップ（例えば、図２１のステップS57）と、前記第１の係数と前記第２の係数に基づいて第３の係数（例えば、式（２３）の履歴係数種データkf_ij）を演算する第３の係数演算ステップ（例えば、図２２のステップS77）と、前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数（例えば、自己相似係数種）とに基づいて、前記処理対象画像（例えば、SD画像）より上位の解像度の画像（例えば、HD画像）の画像データを演算するデータ演算ステップ（例えば、図２３のステップS114）とをコンピュータに実行させる。

以下、本発明の実施の形態について説明する。図１は、本発明を適用した情報処理装置としての画像処理装置の構成例を表している。この画像処理装置１は、入力装置１１、処理装置１２、出力装置１３、および記憶装置１４により構成されている。これらの装置は、図示されているように、各々を個別の装置として独立させることもできるし、１つの装置としてまとめることもできる。

入力装置１１は、例えば、テレビジョン放送を受信するチューナ、あるいはディスクやテープなどの記録媒体に記録されているコンテンツデータを再生する再生装置などにより構成される。入力装置１１は、入力したコンテンツデータを処理装置１２に出力する。入力装置１１はまた、ユーザの操作に対応した操作データを処理装置１２に出力する。処理装置１２は、入力装置１１より入力されたコンテンツデータを処理し、より高品位のコンテンツデータに変換して出力装置１３に供給する。出力装置１３は、画像を表示する表示部と、音声を出力するスピーカを有し、処理装置１２より供給されたコンテンツデータを画像として表示するとともに、対応する音声を出力する。記憶装置１４は、処理装置１２より供給された操作データを記憶する。処理装置１２は、この操作データを記憶装置１４から適宜読み出し、より高品位の、具体的にはより高解像度の画像データを生成するのに必要な係数を演算する。

この画像処理装置１において行われる画像処理の原理について、以下に説明する。図２に示されるように、画像処理装置２１は、学習部２１と出力画像生成部２２とを有し、学習部２１において、係数創造用差分データが生成され、この係数創造用差分データを用いて出力画像生成部２２において、解像度創造処理において用いられる最終係数データが生成される。

学習部２１においては、ユーザの操作履歴が収集される。すなわち、図３に示されるように、画像処理装置１においては、解像度創造処理（例えば、後述する図１９のステップＳ３０の処理）により、入力されたSD（Standard Definition）画像からHD（High Definition）画像が生成される。ユーザは、生成されたHD画像をみて、そのHD画像をより自分自身の嗜好にあった画質の画像にするためにパラメータの調整を行う。この調整は、例えば、解像度とノイズ除去度のパラメータを設定することで行われる。ユーザが設定したパラメータに基づいて、解像度創造処理が行われることで、生成されるHD画像は、ユーザの嗜好に合った画質の画像となる。このとき、ユーザが画質調整のために設定したパラメータの値は、設定値操作履歴データとして記憶される（例えば、後述する図１９のステップＳ２４の処理）。

学習部２１においてはまた、入力画像の自己相似係数が演算される。すなわち、図４に示されるように、入力画像から、例えばその画素密度を１／４に縮小することで縮小画像（１／４SD画像）が生成される（例えば、後述する図２１のステップＳ５２の処理）。そして、その縮小画像と入力画像との相関学習が行われ、自己相似学習データ（例えば、後述する自己相似係数種）が生成される（例えば、後述する図２１のステップＳ５７の処理）。

このようにして生成されたSD画像と、それを縮小して生成された縮小画像（１／４SD画像）との自己相似の関係は、図５に示されるように、SD画像に対して４倍の画素密度を有する（より高解像度の）HD画像とSD画像との自己相似の関係と近似した関係を有すると考えられる。そこで、この画像処理装置１においては、このSD画像と縮小画像との自己相似関係を利用してSD画像からHD画像を生成するのであるが、この画像処理装置１においては、さらにユーザの嗜好を反映させるために、自己相似係数とユーザの操作履歴との関係を解析するための相関解析処理が行われる。

すなわち、図６に示されるように、この画像処理装置１においては、ユーザが視聴する画像とは無関係に標準的な画像を学習することで生成された標準的学習データ群（例えば、後述する図１７の係数種データ保持部２１１に保持されている係数種データ）が予め保持されている。この標準的学習データ群と、ユーザの嗜好を表す設定値操作履歴データを多項式演算することで、係数データβ（後述する式（２）の係数Ｗ_i）が演算される（例えば、後述する図２２のステップＳ７３の処理）。

このようにして生成された係数データβは、SD画像とその縮小画像の自己相似に基づいて生成された係数データαと形式的には同種のデータであるが、決定される系が違うので、両者の間には距離がある（差がある）。

このことを模式的に表すと、次のようになる。すなわち、係数データαと係数データβは、いずれも図７に示されるように、各画素位置（図７の横軸）において、所定の値（図７の縦軸）を有している。図８Ａに示されるように、係数データαは、所定の空間における所定の点として表される。図８Ａにおいては、点Ａ乃至点Ｅとして係数データαが表されている。同様に、係数データβも、図８Ｂに示されるように、所定の空間における点Ａ’乃至点Ｅ’として表される。従って、係数データαと係数データβとの差が、図８Ｃに示されるように、所定の係数空間における差分のデータとして表される。図８Ｃにおいては、点Ａ−Ａ’乃至点Ｅ−Ｅ’として表されている。

この係数データαと係数データβとの差により表される係数データが、図２における学習部２１において、係数創造用差分データ（例えば、後述する履歴係数種データkf_ij）として生成され、出力画像生成部２２に供給される。

出力画像生成部２２においては、ユーザがそのとき実際に視聴している処理対象としての画像（係数創造用差分データを生成するのに利用された画像とは異なる画像）の自己相似係数が、学習部２１における場合と同様にして生成される。そして、このようにして生成された自己相似係数が、学習部２１より供給された係数創造用差分データと加工されることで最終係数データ（例えば、後述する式（２３）の係数Ｂ_i）が生成される。そして、この最終係数データを用いて、解像度創造処理が実行される。すなわち、入力されたSD画像から対応するより高解像度のHD画像が生成される。

以上をまとめると、この画像処理装置１の処理は、図９乃至図１１に示されるように、３つのフェーズから構成される。第１のフェーズにおいては、図９に示されるように、入力装置１１から入力された画像に対して、標準的学習データ群と設定されたパラメータに基づいて、処理装置１２において解像度創造処理が実行される。創造されたHD画像が出力装置１３に供給され、表示される。そして、このとき、ユーザが画像をみてその画質を設定、調整する操作に対応する設定値操作履歴データが記憶装置１４に供給され、記憶される。

以上の処理が、例えば３ヶ月間など、所定の期間実行され、所定量の設定値操作履歴データが収集された段階で、図１０に示されるように、第２のフェーズの処理が実行される。第２のフェーズの処理においては、それまでに記憶装置１４に記憶された設定値操作履歴データが処理装置１２により読み出され、処理装置１２はこの設定値操作履歴データを統計的に解析することで係数創造用差分データを生成する。

そして、図１１に示されるように、第３のフェーズにおいて、入力装置１１から新たな画像が処理対象画像として入力されると、処理装置１２はこの入力画像に対して係数創造用差分データを適用することで、解像度創造処理を実行し、SD画像からHD画像を生成し、出力装置１３に出力し、表示させる。

次に、画像処理装置１の機能的構成例について説明する。画像処理装置１は、基本的に図１２に示されるように、画像入力部１０１、データ収集部１０２、データ解析部１０３、履歴使用信号処理部１０４、および画像出力部１０５により構成される。

画像入力部１０１は、図１の入力装置１１に対応し、ユーザが視聴する画像を入力する。データ収集部１０２は、図１の処理装置１２と記憶装置１４に対応し、画像入力部１０１より入力画像データを入力するとともに、ユーザの操作入力にともなうデータを収集し記憶する。すなわち、データ収集部１０２は、主に図９を参照して説明したフェーズ１の処理を実行する。データ収集部１０２は、フェーズ１の段階において、画像入力部１０１より入力されたSD画像データからHD画像データを生成し、画像出力部１０５に出力する。データ収集部１０２は、さらに、入力画像を縮小した縮小画像を生成し、入力画像と縮小画像との自己相似係数を演算し、ユーザ操作履歴データに対応して記憶する。

データ解析部１０３は、図１の処理装置１２により対応し、データ収集部１０２により記憶されたユーザ操作履歴データと、自己相似係数種履歴データを取得し、それらを解析することで履歴係数種データを生成する。すなわち、データ解析部１０３は、主に図１０に示されるフェーズ２の段階での処理を実行する。

このデータ解析部１０３は、データ収集部１０２とともに、図２における学習部２１に対応する。

履歴使用信号処理部１０４は、図１１を参照して説明したフェーズ３の段階の処理を主に実行する。すなわち、履歴使用信号処理部１０４は、図１の処理装置１２、並びに図２の出力画像生成部２２に対応し、データ解析部１０３により履歴係数種データが生成された後（学習処理が終了した後）、その履歴係数種データと、新たに画像入力部１０１より入力されるSD画像データと履歴係数種データに基づいてHD画像データを生成し、画像出力部１０５に出力する。

画像出力部１０５は、図１における出力装置１３に対応し、フェーズ１の段階においてデータ収集部１０２より供給されるHD画像データに基づくHD画像、またはフェーズ３の段階において履歴使用信号処理部１０４より供給されるHD画像データに基づくHD画像をユーザに呈示する。

データ収集部１０２は、図１３に示されるように、操作履歴取得部１１１と自己相似履歴取得部１１２により構成される。操作履歴取得部１１１は、ユーザの操作に基づく操作データを取得し、ユーザ操作履歴データとして記憶するとともに、画像入力部１０１より供給された入力画像（SD画像）データから出力画像（HD画像）データを生成し、画像出力部１０５に出力する。操作履歴取得部１１１はまた、収集したユーザ操作履歴データをデータ解析部１０３の係数計算部２１２（後述する図１７参照）に供給する。

自己相似履歴取得部１１２は、画像入力部１０１より供給された入力画像（SD画像）データから自己相似係数種履歴データを生成し、データ解析部１０３の係数差分処理部２１３（後述する図１７参照）に出力する。

図１４は、操作履歴取得部１１１の構成例を表している。この構成図においては、操作履歴取得部１１１は、設定値調整部１３１、操作履歴記録部１３２、および解像度創造処理部１３３により構成されている。設定値調整部１３１は、ユーザの操作に基づく操作入力を取得し、それに基づいて画質を選択調整するための画質選択信号を生成し、解像度創造処理部１３３の係数計算部１４２に出力するとともに、操作履歴記録部１３２に供給する。設定値調整部１３１はまた、ユーザからその意向を反映する意向反映度が入力されると、それを操作履歴記録部１３２に出力する。操作履歴記録部１３２は、設定値調整部１３１より供給された画質選択信号と意向反映度を対応して記録する。

解像度創造処理部１３３は、係数種データ保持部１４１、係数計算部１４２、および出力画素値計算部１４３により構成されている。係数種データ保持部１４１は、標準的な画像（ユーザが実際に視聴する画像とは異なる画像）を学習することで生成された係数種データを予め保持する。

すなわち、出力画素値計算部１４３においては、次式に基づいて入力されたSD画像データからより高解像度のHD画像データを生成し、出力画像データとして出力する。

上記式において、ｙは、HD画像の画素データを表し、ｘ_iは、SD画像の画素データを表し、Ｗ_iは最終係数データを表す。ｎは、予測タップの数を表し、ｉは予測タップの番号を表す。すなわち、HD画素データｙは、SD画素データｘ_iの最終係数データＷ_iとの積和演算により生成される。

最終係数データＷ_iは、次式により表される。

上記式において、ｗ_ijは、係数種データを表し、係数種データ保持部１４１に予め保持されている。ｖは、解像度を表し、ｚは、ノイズ除去度を表す。解像度ｖとノイズ除去度ｚは、設定値調整部１３１より画質選択信号として供給されるパラメータである。

係数計算部１４２は、係数種データ保持部１４１より入力された係数種データｗ_ij、並びに設定値調整部１３１より画質選択信号として供給された解像度ｖとノイズ除去度ｚを、上記した式（２）に適用して、最終係数データＷ_iを生成し、出力画素値計算部１４３に出力する。

なお、上記した式（２）の係数種データｗ_ijは、ユーザが視聴する画像とは別の標準的な画像を学習して、次のようにして予め求めることができる。

すなわち、上記した式（２）は次のように書き換えることができる。

上記式におけるｔ_j（ｊ＝０乃至９）は、次式のように定義される。

ｔ₀＝１，ｔ₁＝ｖ，ｔ₂＝ｚ，ｔ₃＝ｖ²，ｔ₄＝ｖｚ，ｔ₅＝ｚ²，
ｔ₆＝ｖ³，ｔ₇＝ｖ²ｚ，ｔ₈＝ｖｚ²，ｔ₉＝ｚ³ ・・・（４）

学習によって未定係数ｗ_xyが求められる。すなわち、最小自乗法により、クラス毎に、複数のSD画素データとHD画素データを用いて、二乗誤差を最小にする係数値が決定される。学習数をｍ，ｋ（１≦ｋ≦ｍ）番目の学習データにおける誤差をｅ_k、二乗誤差の総和をＥとすると、式（１）および式（２）を用いて、Ｅは式（５）により表される。ここで、ｘ_ikはSD画像のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙ_kはそれに対応するｋ番目のHD画像の画素データを表している。

最小自乗法による解法では、式（６）に示されるように、式（５）のｗ_xyによる偏微分が０になるようなｗ_xyが求められる。

Ｘ_ipjq，Ｙ_ipを、それぞれ、式（７）または式（８）のように定義すると、式（６）は、行列を用いて式（９）のように書き換えられる。

この方程式は、一般に正規方程式と呼ばれている。この正規方程式は、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗ_xyについて解かれ、係数種データｗ_ijが算出される。これが係数種データ保持部１４１に保持される。

図１４の出力画素値計算部１４３は、係数計算部１４２より供給された最終係数データＷ_iと、画像入力部１０１より供給されたSD画像データｘ_iに基づいて、式（１）に従って、出力画像データとしてのHD画像データｙを生成する。

この出力画素値計算部１４３は、例えば、図１５に示されるように構成される。図１５の構成例においては、出力画素値計算部１４３は、クラス分類部１６１、予測タップ抽出部１６２、および係数画素積和部１６３により構成される。

クラス分類部１６１は、画像入力部１０１より入力されたSD画像データから予め設定されている位置のクラスタップを抽出し、そのクラスタップの画素値に基づいてクラスコードを決定し、得られたクラスコードを係数画素積和部１６３に出力する。予測タップ抽出部１６２は、入力されたSD画像データから予め設定されている位置の予測タップを抽出し、その画素値ｘ_iを係数画素積和部１６３に出力する。係数画素積和部１６３にはまた、係数計算部１４２より最終係数データＷ_iが供給されている。係数画素積和部１６３は、クラス分類部１６１より入力されたクラスコードに対応するクラス毎に、上記した式（１）に基づいてHD画像の画素データｙを生成する。

図１３の自己相似履歴取得部１１２は、図１６に示されるように構成される。この構成例においては、自己相似履歴部１１２は、自己相似学習部１８１と、相似学習データ記録部１８２により構成される。

自己相似学習部１８１は、縮小画像生成部１９１、生徒データ取得部１９２、教師データ取得部１９３、および学習データ統計処理部１９４により構成される。縮小画像生成部１９１は、画像入力部１０１より入力されたSD画像の画像データから、水平方向および垂直方向に１画素おきに画素を間引くことで、１／４の画素密度の１／４SD画像データを縮小画像データとして生成する。生徒データ取得部１９２は、縮小画像生成部１９１より入力された１／４SD画像データから所定の画像データを生徒データとして取得し、学習データ統計処理部１９４に出力する。教師データ取得部１９３は、画像入力部１０１より入力されたSD画像データから、生徒画素データに対応する画素データを教師画素データとして取得し、学習データ統計処理部１９４に出力する。学習データ統計処理部１９４は、生徒データ取得部１９２より供給された生徒画素データと、教師データ取得部１９３より供給された教師画素データを用いて、自己相似係数種を算出する。

すなわち、今、縮小画像上の生徒画素データの予測タップの画素値をＰ₁，Ｐ₂，Ｐ₃，・・・Ｐ_i・・・Ｐ_nとし、各予測タップに対応する自己相似係数種データをそれぞれＡ₁，Ａ₂，Ａ₃，・・・Ａ_i・・・Ａ_nとすると、SD画像上の教師画素データの画素値Ｍ’を予測する式は次式で表される。

Ｍ’＝Ａ₁Ｐ₁＋Ａ₂Ｐ₂＋・・・＋Ａ_iＰ_i＋・・・＋Ａ_nＰ_n ・・・（１０）

実際のSD画像の教師画素データの画素値をＭとすると、予測誤差は、次式で表される。

この誤差ｅに対して、最小自乗法を適用して、次式が得られる。

上記式から、次の正規方程式が得られる。

学習データ統計処理部１９４は、この正規方程式を掃き出し法などで解くことで、自己相似係数種データＡ_iを算出する。算出された自己相似係数種データＡ_iは、相似学習データ記録部１８２に供給され、記録される。

図１２のデータ解析部１０３は、図１７に示されるように、係数種データ保持部２１１、係数計算部２１２、および係数差分処理部２１３により構成される。係数種データ保持部２１１は、図１４の係数種データ保持部１４１と同一の係数種データｗ_ijを保持する。係数計算部２１２には、操作履歴取得部１１１の操作履歴記録部１３２からユーザ操作履歴データが供給される。このユーザ操作履歴データには、画質指定値信号としての解像度ｖとノイズ除去度ｚのパラメータと、ユーザの調整した画質に対する意向を反映した意向反映度ｕが含まれている。

係数計算部２１２は、係数種データ保持部２１１より供給された数種種データｗ_ijと、操作履歴記録部１３２より供給された画質指定値信号としての解像度ｖとノイズ除去度ｚのパラメータに基づいて、上記した式（２）に従って係数Ｗ_iを計算し、係数差分処理部２１３に出力する。

係数差分処理部２１３は、自己相似履歴取得部１１２の相似学習データ記録部１８２より供給された自己相似係数種履歴データＡ_iと、係数計算部２１２より供給された係数Ｗ_iを用いて、履歴係数種データを生成する。

すなわち、上記した式（２）で表される係数Ｗ_iは、ユーザの意向反映度ｕと係数種を表す項ｂ_ijによって、次式の形式で近似することができる。

Ｗ₁＝ｂ₁₀＋ｂ₁₁ｕ＋ｂ₁₂ｕ²＋ｂ₁₃ｕ³
Ｗ₂＝ｂ₂₀＋ｂ₂₁ｕ＋ｂ₂₂ｕ²＋ｂ₂₃ｕ³
・
・
・
Ｗ_n＝ｂ_n0＋ｂ_n1ｕ＋ｂ_n2ｕ²＋ｂ_n3ｕ³ ・・・（１４）

同様に、自己相似係数種Ａ_iは、意向反映度ｕと係数種を表す項ａ_ijによって、次式の形式で近似することができる。

Ａ₁＝ａ₁₀＋ａ₁₁ｕ＋ａ₁₂ｕ²＋ａ₁₃ｕ³
Ａ₂＝ａ₂₀＋ａ₂₁ｕ＋ａ₂₂ｕ²＋ａ₂₃ｕ³
・
・
・
Ａ_n＝ａ_n0＋ａ_n1ｕ＋ａ_n2ｕ²＋ａ_n3ｕ³ ・・・（１５）

式（１４）と式（１５）に表されるように、係数Ｗ_iと自己相似係数種Ａ_iは、同一形式の係数データであり、同じ画像に関して得られているデータであるので、両者の間には、相関関係があることが期待される。そこで、係数Ｗ_iを下記のように自己相似係数種Ａ_iに対する倍率項（kf_i0）と差分項（kf_i1，kf_i2，kf_i3）の形式で近似的に表現する。

Ｗ_i＝kf_i0・Ａ_i＋kf_i1ｕ＋kf_i2ｕ²＋kf_i3ｕ³ ・・・（１６）

上記式（１６）におけるkf_ijは、履歴係数種と称する。

ここで係数Ｗ_iに対して、最小自乗法を適用することを考えると、残差ｅは、次式で表される。

なお、上記式（１７）において、ｔ₀乃至ｔ₃は、それぞれ次のように定義される。

ｔ₀＝Ａ_i
ｔ₁＝ｕ
ｔ₂＝ｕ²
ｔ₃＝ｕ³ ・・・（１８）

差分ｅに対して、最小自乗法を適用すると次式が得られる。

ここで、Ｘ_jk,Ｙ_jを次の式（２０）と式（２１）のように定義すると、式（１９）は、式（２２）のように書き換えることができる。

この式（２２）は正規方程式であり、掃き出し法などの一般解で解くことにより、係数種データkf_ijを算出することができる。係数差分処理部２１３は、この式（２２）の正規方程式を解くことで履歴係数種データkf_ijを算出する。

図１８は、図１２の履歴使用信号処理部１０４の構成例を表している。この履歴使用信号処理部１０４は、自己相似学習部２５１、履歴係数種データ保持部２５２、ユーザ画質値調整部２５３、ユーザ係数計算部２５４、および出力画素値計算部２５５により構成されている。

自己相似学習部２５１は、縮小画像生成部２７１、生徒データ取得部２７２、教師データ取得部２７３、および学習データ統計処理部２７４により構成されている。これらの縮小画像生成部２７１、生徒データ取得部２７２、教師データ取得部２７３、および学習データ統計処理部２７４の構成と機能は、図１６における自己相似学習部１８１の縮小画像生成部１９１、生徒データ取得部１９２、教師データ取得部１９３、および学習データ統計処理部１９４と同様であるので、その説明は省略するが、自己相似学習部２５１は、入力画像に基づいて自己相似係数種データを生成し、ユーザ係数計算部２５４に出力する。

履歴係数種データ保持部２５２は、データ解析部１０３の係数差分処理部２１３により生成された履歴係数種データkf_ijを保持する。ユーザ画質値調整部２５３は、ユーザが画質を調整するために入力した意向反映度ｕを取得し、ユーザ係数計算部２５４に出力する。ユーザ係数計算部２５４は、履歴係数種データ保持部２５２より入力された履歴係数種データkf_ij、学習データ統計処理部２７４より供給された自己相似係数種Ａ_i、並びにユーザ画質値調整部２５３より供給された意向反映度ｕを用いて、次式に従って係数Ｂ_iを生成する。

Ｂ_i＝kf_i0・Ａ_i＋kf_i1ｕ＋kf_i2ｕ²＋kf_i3ｕ³ ・・・（２３）

出力画素値計算部２５５には、ユーザが今視聴している画像（履歴係数種データkf_ijを生成するのに利用した画像とは異なる画像）の画像データが画像入力部１０１から供給されているとともに、ユーザ係数計算部２５４より係数Ｂ_iが供給される。出力画素値計算部２５５は、次式に従って出力画像データとしてHD画像データを生成する。

上記式におけるｘ_iは、入力されたSD画像の画素データを表し、ｙは、HD画像の画素データを表す。出力画素値計算部２５５より出力されたHD画像データは、画像出力部１０５に出力される。

なお、出力画素値計算部２５５は、図１５に示される解像度創造処理部１３３の出力画素値計算部１４３と同様の構成とされ、図１５は、出力画素値計算部２５５の構成としても以下に引用される。

次に、図１９のフローチャートを参照して、ユーザ操作履歴取得処理を説明する。この処理は、フェーズ１における処理であり、例えば、ユーザがこの画像処理装置１を購入し、その使用を開始したときから、例えば３ヶ月間など一定の期間、あるいは充分な量のユーザの操作履歴データが取得されるまで、ユーザがコンテンツを視聴しているとき、繰り返し実行される。

ステップＳ２１において、解像度創造処理部１３３の出力画素値計算部１４３は、画像入力部１０１より出力された入力画像データとしてのSD画像データを入力する。すなわち、ユーザが視聴しているコンテンツのSD画像データが、出力画素値計算部１４３のクラス分類部１６１と予測タップ抽出部１６２に入力される。ステップＳ２２において、クラス分類部１６１と予測タップ抽出部１６２は、データ終了か否かを判定する。

データがまだ終了していない場合には、ステップＳ２３において、設定値調整部１３１は、ユーザの操作に基づいて画質指定値を入力する。すなわち、後述するステップＳ２９の処理で、係数画素積和部１６３により生成されたHD画像の画素データが画像出力部１０５に出力され、HD画像が表示される。ユーザはこの画像をみて、画質を調整したいと思うとき、図示せぬリモートコントローラなどを操作することで設定値調整部１３１に画質調整を指令する。このとき、設定値調整部１３１は、画像出力部１０５に、例えば、図２０に示されるような調整画面６１を表示させる。この調整画面６１には、縦軸に解像度ｖの座標軸が表示され、横軸にノイズ除去度ｚの座標軸が表示され、その座標空間上にアイコン６１ａが表示されている。ユーザは、リモートコントローラを適宜操作し、このアイコン６１ａの座標空間上の位置を調整することで、解像度ｖとノイズ除去度ｚの値を所定の値に設定することを指令する。設定値調整部１３１は、アイコン６１ａの座標位置に基づいて、指定される解像度ｖとノイズ除去度ｚを画質指定値として入力する。

ステップＳ２４において、操作履歴記録部１３２は、設定値調整部１３１により入力された画質指定値としての解像度ｖとノイズ除去度ｚのパラメータの値を保存する。ステップＳ２５において、係数計算部１４２は、係数種から係数を生成する処理を実行する。すなわち、係数計算部１４２は、係数種データ保持部１４１に保持されている係数種データｗ_ijを読み出し、ステップＳ２３で設定値調整部１３１より入力された画質指定値信号としての解像度ｖとノイズ除去度ｚのパラメータに基づいて、上記した式（２）に従って、係数Ｗ_iを生成する。この係数Ｗ_iには、フェーズ１における解像度創造処理においては最終係数となる。

ステップＳ２６において、クラス分類部１６１と予測タップ抽出部１６２は、ステップＳ２１で入力された１フレーム分のSD画像データの中から、クラスタップと予測タップの画素値を取得する。ステップＳ２７において、係数画素積和部１６３は、データ終了か否か、すなわち、１フレーム分のデータが終了したか否かを判定する。１フレーム分のデータがまだ終了していない場合には、ステップＳ２８において、クラス分類部１６１は、ステップＳ２６で抽出されたクラスタップの画素値に基づいてクラスを生成する。

ステップＳ２９において、係数画素積和部１６３は、HD画像の画素データを生成する。すなわち、予測タップ抽出部１６２は、入力されたSD画像データの画素データから予測タップを抽出し、係数画素積和部１６３に出力する。係数画素積和部１６３は、ステップＳ２５の処理で生成された係数Ｗ_iの中から、ステップＳ２８の処理で生成されたクラスの係数Ｗ_iを抽出し、その係数Ｗ_iと、ステップＳ２６で抽出された予測タップの画素値ｘ_iに基づいて、式（１）に従ってHD画像の画素データｙを演算する。この画素データｙは、画像出力部１０５に供給される。

その後、処理はステップＳ２６に戻り、ステップＳ２７において１フレーム分のデータが終了したと判定されるまで、ステップＳ２６乃至ステップＳ２９の処理が繰り返し実行される。これにより、１フレーム分のHD画像が画像出力部１０５に表示される。

ステップＳ２７において、１フレーム分のデータが終了したと判定された場合、処理はステップＳ３０に進み、設定値調整部１３１は、ユーザの意向反映度を入力する。すなわち、ユーザは、ステップＳ２９の処理で生成されたHD画像が画像出力部１０５に出力され、表示されたとき、その画像をみて、ユーザの意向が充分反映された画像であるか否かをあらわす値としての意向反映度ｕを入力する。意向反映度ｕの値は、０から100の値のいずれかの値とされる。値100は、意向を充分に反映した良好な画像であることを表し、値０はユーザの意向を十分に反映していないことを表す。ユーザは、リモートコントローラなどを操作することで、０乃至100のうちのいずれかの値を入力する。入力された意向反映度ｕは、ステップＳ２４で保存された画質指定値である解像度ｖとノイズ除去度ｚに対応して、操作履歴記録部１３２に記録される。

その後、処理はステップＳ２１に戻り、それ以降の処理が、ステップＳ２２において、データが終了したと判定されるまで繰り返し実行され、データが終了したと判定された場合その処理は終了される。

このような処理が一定のデータ収集の期間、繰り返し実行される結果、操作履歴記録部１３２には、ユーザ操作履歴データとして、ユーザが設定した画質指定値としての解像度ｖとノイズ除去度ｚの値、並びにそれに対応するユーザの満足度（嗜好）を表す意向反映度ｕが蓄積される。

次に、図２１のフローチャートを参照して、自己相似係数履歴取得処理について説明する。この処理は、図１９を参照して説明したユーザ操作履歴取得処理と並行して、フェーズ１のデータ収集期間において実行される。

ステップＳ５１において、自己相似学習部１８１の縮小画像生成部１９１と、教師データ取得部１９３は、画像入力部１０１より入力されたSD画像データを入力する。ステップＳ５２において、縮小画像生成部１９１は、ステップＳ５１で入力されたSD画像データに基づいて縮小画像を生成する。具体的には、水平方向および垂直方向に１画素ごとに画素を間引くことで、SD画像の１／４の画素密度の縮小画像（１／４SD画像）が生成される。

ステップＳ５３において、生徒データ取得部１９２は、縮小画像生成部１９１より供給された縮小画像の画像データから生徒画素データを抽出し、学習データ統計処理部１９４に出力する。また、教師データ取得部１９３は、ステップＳ５１の処理で入力されたSD画像データから、生徒画素データに対応する教師画素データを抽出し、学習データ統計処理部１９４に出力する。これにより、上記した式（１３）における縮小画素の画素値Ｐ_iと教師画像の画素値Ｍが取得されたことになる。

ステップＳ５４において、学習データ統計処理部１９４は、データ終了か否かを判定し、全フレームのデータがまだ終了していない場合には、ステップＳ５５において、学習データ統計処理部１９４は、クラスを生成する処理を実行する。すなわち、入力された画素データから、所定のクラスタップを抽出し、そのクラスタップの画素値に基づいて、クラスを生成する。学習データ統計処理部１９４は、次に、ステップＳ５６において、正規方程式を生成する。具体的には、上記した式（１３）が生成される。

その後処理はステップＳ５３に戻り、ステップＳ５４において、データが終了したと判定されるまで、ステップＳ５３乃至ステップＳ５６の処理が繰り返し実行される。

ステップＳ５４において、データが終了したと判定された場合、ステップＳ５７において、学習データ統計処理部１９４は、自己相似係数種を生成する。具体的には、式（１３）の正規方程式を掃き出し法などの一般解で解くことにより、自己相似係数種Ａ_iが算出される。ステップＳ５８において、相似学習データ記録部１８２は、ステップＳ５７の処理で生成された自己相似係数種Ａ_iを記録する。

以上のようにして、相似学習データ記録部１８２は、操作履歴記録部１３２に記録されるユーザ操作履歴データ（解像度ｖ、ノイズ除去度ｚ、意向反映度ｕ）に対応する自己相似係数種Ａ_iデータが記録される。

以上の図１９と図２１のフェーズ１における処理が、データ収集期間行なわれ、充分な学習データが得られたとき、データ解析部１０３により、図２２のフローチャートに示される履歴係数種生成処理が、フェーズ２の処理として実行される。

ステップＳ７１において、係数計算部２１２は、操作履歴記録部１３２に記録されている画質指定値履歴データを入力する。すなわち、画質調整のパラメータとしての解像度ｖとノイズ除去度ｚの値が入力される。ステップＳ７２において、係数計算部２１２は、さらに操作履歴記録部１３２に記録されているユーザの意向反映度ｕを入力する。ステップＳ７３において、係数計算部２１２は、画質指定値と係数種より係数を生成する。すなわち、係数計算部２１２は、係数種データ保持部２１１に保持されている係数種ｗ_ijを読み出すとともに、ステップＳ７１の処理で入力された画質指定値としての解像度ｖとノイズ除去度ｚに基づいて、式（２）に従って係数Ｗ_iを生成する。

ステップＳ７４において、係数差分処理部２１３は、自己相似係数種の履歴データを入力する。すなわち、相似学習データ記録部１８２に記録されている自己相似係数種Ａ_iの履歴データが入力される。ステップＳ７５において、係数差分処理部２１３は、データ終了か否かを判定する。すなわち、操作履歴記録部１３２と相似学習データ記録部１８２に記録されたデータが終了したか否かが判定される。データがまだ終了していない場合には、ステップＳ７６において、係数差分処理部２１３は、正規方程式を生成する。具体的には、上述した式（２２）の正規方程式が生成される。その後、処理はステップＳ７１に戻り、ステップＳ７５においてデータ終了と判定されるまで、ステップＳ７１乃至ステップＳ７６の処理が繰り返し実行される。

ステップＳ７５において、データが終了したと判定された場合、ステップＳ７７において、係数差分処理部２１３は履歴係数種を生成する。具体的には、式（２２）として示される正規方程式を掃き出し法などの一般解で解くことで、係数種データkf_ijが生成される。ステップＳ７８において、係数差分処理部２１３は、ステップＳ７７の処理で生成した履歴係数種kf_ijを、履歴使用信号処理部１０４の履歴係数種データ保持部２５２に供給し、記録させる。

以上のようにして、データ収集期間に収集された学習データに基づいて履歴係数種kf_ijが生成される。

履歴係数種kf_ijが生成された後、図２３のフローチャートに示されるフェーズ３の解像度創造処理が、ユーザがコンテンツを視聴しているとき実行される。

ステップＳ１０１において、出力画素値計算部２５５は、画像入力部１０１より出力された処理対象データとしてのSD画像データを入力する。このとき入力されるSD画像データ（コンテンツ）は、一般的には、データ収集期間に入力されるSD画像データ（コンテンツ）とは異なっている。ステップＳ１０２において、出力画素値計算部２５５は、データ終了か否かを判定し、まだ全フレームのデータの処理が終了していない場合（コンテンツの視聴が終了していない場合）には、ステップＳ１０３乃至ステップＳ１０８において、上述した図２１のステップＳ５２乃至ステップＳ５７の処理と同様の処理が実行される。

すなわち、ステップＳ１０３において、縮小画像生成部２７１は、画像入力部１０１より入力されたSD画像から１／４SD画像の縮小画像を生成する。ステップＳ１０４において、生徒データ取得部２７２と教師データ取得部２７３は、それぞれ生徒画素データと教師画素データを取得し、学習データ統計処理部２７４に供給する。ステップＳ１０５において、学習データ統計処理部２７４はデータ終了か否かを判定し、１フレーム分の縮小画像のデータがまだ終了していない場合には、ステップＳ１０６において、学習データ統計処理部２７４は、クラスタップを抽出し、そのクラスタップの画素値に基づいてクラスを生成する。ステップＳ１０７において、学習データ統計処理部２７４は、ステップＳ１０６で生成されたクラス毎に、式（１３）に示される正規方程式を生成する。その後、処理はステップＳ１０４に戻り、ステップＳ１０５において、縮小画像についてのデータが終了したと判定されるまで、ステップＳ１０４乃至ステップＳ１０７の処理が繰り返し実行される。

ステップＳ１０５において、１フレーム分の縮小画像についてのデータが終了したと判定された場合、処理はステップＳ１０８に進み、学習データ統計処理部２７４は、式（１３）に示される正規方程式を解くことで、自己相似係数種Ａ_iを生成する。

次に、ステップＳ１０９において、ユーザ画質値調整部２５３は、ユーザがリモートコントローラなどを操作することで入力した意向反映度ｕを入力する。すなわち、ユーザは０乃至100のうちのいずれかの値を意向反映度ｕとして入力する。図１９のステップＳ２８で入力された意向反映度ｕは、調整された画質に対するユーザの満足度を表していたが、ステップＳ１０９で取得される意向反映度ｕは、ユーザの嗜好を画質に反映させる程度を指定する機能を有する。この場合の意向反映度ｕは、その値が０である場合には、上述した式（２３）における自己相似係数種Ａ_iだけが係数Ｂ_iに反映されることになる。その結果、ユーザの嗜好が全く反映されない画質の画像が得られることになる。意向反映度ｕの値が100に近いほど（大きいほど）、係数Ｂ_iの値は、自己相似係数種Ａ_i以外の成分による重み付けが大きくなり、ユーザの嗜好がより強く反映された画像が得られることになる。

ステップＳ１１０において、ユーザ係数計算部２５４は、自己相似係数種と履歴係数種から係数を生成する。すなわち、ユーザ係数計算部２５４は、ステップＳ１０８で生成された自己相似係数種Ａ_i、履歴係数種データ保持部２５２に記憶されている履歴係数種kf_ij、並びにステップＳ１０９の処理で入力された意向反映度ｕを、式（２３）に代入することで、係数Ｂ_iを生成する。この係数Ｂ_iは、フェーズ３における最終係数となる。

次に、出力画素値計算部２５５は、ステップＳ１１１乃至ステップＳ１１４の処理で、図１９のステップＳ２６乃至ステップＳ２９の処理と同様にHD画像の画素データを生成する。但し、ステップＳ２６乃至ステップＳ２９の処理では、予測係数として、式（２）の係数Ｗ_iが使用されるが、ステップＳ１１１乃至ステップＳ１１４の処理では、予測係数として、式（２３）の係数Ｂ_iが使用される点が異なっている。

すなわち、ステップＳ１１１において、出力画素値計算部２５５のクラス分類部１６１は、クラスタップを抽出する。また、予測タップ抽出部１６２は、入力されたSD画像から予測タップを抽出し係数画素積和部１６３に出力する。

ステップＳ１１２において、係数画素積和部１６３は、データ終了か否かを判定する。まだデータが終了していない場合にはステップＳ１１３において、クラス分類部１６１は抽出したクラスタップの画素値に基づいてクラスを生成する。係数画素値積和部１６３は、ステップＳ１１０の処理で生成された係数Ｂ_iの中から、生成されたクラスに対応するものを抽出する。ステップＳ１１４において、係数画素積和部１６３は、ステップＳ１１３で生成されたクラスに基づく係数Ｂ_iと、ステップＳ１１１で取得されたSD画像の画素値ｘ_iを、式（２４）に適用してHD画像の画素データｙを生成し、画像出力部１０５に出力し、表示させる。

ユーザは、このとき表示される画像を、意向反映度ｕの値を所定の値に設定することで、自分自身の嗜好に合った画像にすることができる。その値を所定の値（０）に設定することで、自分自身の嗜好と無関係の画像を表示させることもできる。

ステップＳ１１１乃至ステップＳ１１４の処理は、ステップＳ１１２において、１フレーム分のデータの処理が終了したと判定されるまで繰り返し実行される。１フレーム分のデータの処理が終了したと判定された場合、処理はステップＳ１０１に戻り、それ以降の処理が繰り返し実行される。ステップＳ１０２において、全フレームのデータが終了したと判定された場合（コンテンツの視聴処理が終了した場合）、解像度創造処理が終了される。

以上のようにして、フェーズ３においては、フェーズ１で学習した結果に基づき、フェーズ２で生成した履歴係数種に基づいて、SD画像データからより高解像度のHD画像データが生成され、出力表示される。履歴係数種には、ユーザの嗜好が反映されているため、ユーザは自分自身の嗜好にあった画像を視聴することが可能となる。また、予め用意された係数種以外に、学習により自己相似係数種を保持するようにするため、ロバスト性が向上し、より多くの数の係数生成を行うことが可能となる。その結果、より高品位の画像を生成することが可能となる。

本発明は、テレビジョン受像機、ハードディスクレコーダ、DVD(Digital Versatile Disk)装置などに適用することができる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、情報処理装置は、図２４に示されるようなパーソナルコンピュータにより構成される。

図２４において、CPU（Central Processing Unit）３２１は、ROM（Read Only Memory）３２２に記憶されているプログラム、または記憶部３２８からRAM（Random Access Memory）３２３にロードされたプログラムに従って各種の処理を実行する。RAM３２３にはまた、CPU３２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３２１、ROM３２２、およびRAM３２３は、バス３２４を介して相互に接続されている。このバス３２４にはまた、入出力インタフェース３２５も接続されている。

入出力インタフェース３２５には、キーボード、マウスなどよりなる入力部３２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部３２７、ハードディスクなどより構成される記憶部３２８、モデムなどより構成される通信部３２９が接続されている。通信部３２９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３２５にはまた、必要に応じてドライブ３３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３２８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア３３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM３２２や、記憶部３２８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明は、パーソナルコンピュータ、テレビジョン受像機、その他の画像処理装置に適用することが可能である。

本発明を適用した画像処理装置の構成例を示す図である。 本発明の画像処理装置の原理的構成を説明する図である。 操作履歴取得の処理を説明する図である。 自己相似学習を説明する図である。 階層間の自己相似の関係を説明する図である。 学習データの関係を説明する図である。 係数データを説明する図である。 係数データの関係を説明する図である。 フェーズ１の動作を説明する図である。 フェーズ２の動作を説明する図である。 フェーズ３の動作を説明する図である。 画像処理装置の機能的構成を示すブロック図である。 データ収集部の構成を示すブロック図である。 操作履歴取得部の構成を示すブロック図である。 出力画素値計算部の構成を示すブロック図である。 自己相似履歴取得部の構成を示すブロック図である。 データ解析部の構成を示すブロック図である。 履歴使用信号処理部の構成を示すブロック図である。 ユーザ操作履歴取得処理を説明するフローチャートである。 調整画面の例を示す図である。 自己相似係数履歴取得処理を説明するフローチャートである。 履歴係数種生成処理を説明するフローチャートである。 解像度創造処理を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

１ 画像処理装置， １１ 入力装置，１２ 処理装置， １３ 出力装置， １４ 記憶装置， １０１ 画像入力部， １０２ データ収集部， １０３ データ解析部， １０４ 履歴使用信号処理部， １０５ 画像出力部， １３１ 設定値調整部， １３２ 操作履歴記録部， １３３ 解像度創造処理部， １４１ 係数種データ保持部， １４２ 係数計算部， １４３ 出力画素値計算部， １６１ クラス分類部， １６２ 予測タップ抽出部， １６３ 係数画素積和部， １８１ 自己相似学習部， １８２ 相似学習データ記録部， １９１ 縮小画像生成部， １９２ 生徒データ取得部， １９３ 教師データ取得部， １９４ 学習データ統計処理部， ２１１ 係数種データ保持部， ２１２ 係数計算部， ２１３ 係数差分処理部， ２５１ 自己相似学習部， ２５２ 履歴係数種データ保持部， ２５３ ユーザ画質値調整部， ２５４ ユーザ係数計算部， ２５５ 出力画素値計算部， ２７１ 縮小画像生成部， ２７２ 生徒データ取得部， ２７３ 教師データ取得部， ２７４ 学習データ統計処理部

Claims (10)

1. 入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得手段と、
   取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算手段と、
   前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算手段と、
   前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算手段と、
   前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算手段と
   を備えることを特徴とする情報処理装置。
2. 前記取得手段は、前記嗜好情報に対応する画像表示に関するパラメータであって、前記ユーザが表示された画像を見て指定した画像表示に関する指定値をさらに取得する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記指定値は、表示された画像の解像度とノイズ除去度の一方または両方に関するパラメータを含む
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の係数演算手段は、標準的な複数の画像を予め学習することで生成された係数と、前記指定値に基づいて前記第１の係数を演算する
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記第２の係数演算手段は、前記入力された画像データの画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、前記入力された画像データとから、前記第２の係数を演算する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記第３の係数演算手段は、前記第１の係数と前記第２の係数に基づいて正規方程式を生成し、その正規方程式を解くことで前記第３の係数を演算する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記データ演算手段は、
   前記処理対象画像を縮小した画像の画像データを生成し、その縮小した画像の画像データと、前記処理対象画像の画像データとから、前記第４の係数を演算する第４の演算手段と、
   前記処理対象画像に関する前記ユーザの嗜好情報を入力する入力手段と、
   前記第３の係数、前記第４の係数、および前記処理対象画像に関する前記ユーザの嗜好情報に基づいて、第５の係数を演算する第５の演算手段と、
   前記第５の係数と、前記処理対象画像の画像データに基づいて、前記処理対象画像より上位の解像度の画像の画素データを演算する画素データ演算手段と
   を備えることを特徴とする請求項６に記載の情報処理装置。
8. 入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、
   取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算ステップと、
   前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、
   前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、
   前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップと
   を含むことを特徴とする情報処理方法。
9. 入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、
   取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算ステップと、
   前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、
   前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、
   前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
10. 入力された画像データの画像に関するユーザの嗜好に基づく嗜好情報を取得する取得ステップと、
    取得された前記嗜好情報に基づいて第１の係数を演算する第１の係数演算ステップと、
    前記入力された画像データの画像とその下位の解像度の画像との自己相似関係を表す第２の係数を演算する第２の係数演算ステップと、
    前記第１の係数と前記第２の係数に基づいて第３の係数を演算する第３の係数演算ステップと、
    前記第３の係数と、前記第３の係数の演算に利用された画像とは別の処理対象画像とその下位の解像度の画像との自己相似関係を表す第４の係数とに基づいて、前記処理対象画像より上位の解像度の画像の画像データを演算するデータ演算ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images