JP2011130122A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】映像のきらめきを入力周波数よりも高い周波数で擬似的に表現することにより、リアリティのある映像を再現可能とする画像処理装置及び画像処理方法を提供する。
【解決手段】フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理装置であって、変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するフレームレート変換部１０２と、着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の変動パターンを生成する輝度変動パターン計算部１０６と、輝度変動パターン計算部１０６で生成されたｎ枚の変動パターンを、フレームレート変換部１０２で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する輝度変動部１０３と、を備える。
【選択図】図１

Description

本発明は、動画像における物体のきらめき（高周波の輝度変動）を擬似的に再現する画像処理装置及び画像処理方法に関する。

像の規格であるＳＭＰＴＥ−１７０Ｍ（通称ＮＴＳＣ）では、６０Ｈｚという映像表示周波数が規定され、規格化したアメリカを中心に、日本、韓国、中南米の放送・撮像システムで、統一的にこの表示周波数が採用されている。一方、表示パネル・駆動回路の技術の向上に伴い、より高い駆動周波数で映像表示が可能となっており、６０Ｈｚよりも高い駆動周波数で映像を表示可能となってきている。例えば、特許文献１では、動き補償を用いてサブフレームを生成し、入力周波数の倍の周波数で動画像を出力することにより、液晶ディスプレイでの動きぼけを改善可能とする技術が開示されている。

特開２００６−３１７６６０号公報

しかしながら、特許文献１に開示された技術では、動き補償処理として入力フレームの画素値をサブフレームの対応する点にコピーしているにすぎず、画素値を制御するものではない。このため、動き補償等を利用したフレームレート変換技術では、映像のきらめきを入力周波数よりも高い周波数で表現することができなかった。

本発明は、上記問題点に鑑みてなされたものであり、映像のきらめきを入力周波数よりも高い周波数で擬似的に表現することにより、リアリティのある映像を再現可能とする画像処理装置及び画像処理方法を提供するものである。

上記課題を解決するため、本発明に係る画像処理装置は、フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理装置であって、変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するサブフレーム生成手段と、前記着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の変動パターンを生成する輝度変動パターン生成手段と、前記輝度変動パターン生成手段で生成されたｎ枚の変動パターンを、前記サブフレーム生成手段で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する出力フレーム生成手段と、を備える。

本発明によれば、映像のきらめきを入力周波数よりも高い周波数で擬似的に表現することにより、リアリティのある映像を再現可能とする画像処理装置及び画像処理方法を提供することができる。

第１の実施形態に係る画像処理装置の構成を示す図。 第１の実施形態の変形例１に係る画像処理装置の構成を示す図。 第１の実施形態の変形例２に係る画像処理装置の構成を示す図。 第１の実施形態の変形例３に係る画像処理装置の構成を示す図。 第１の実施形態の変形例４に係る画像処理装置の構成を示す図。 第１の実施形態の変形例５に係る画像処理装置の構成を示す図。 入力周波数よりも大きな輝度変動を持った動画像の一例を示す図。 第１の実施形態の変形例４に係る輝度変動抽出部５０５の処理を示す図。 第１の実施形態の変形例４に係る輝度変動抽出部５０５の処理を示す図。 第１の実施形態に係る画像処理装置の処理手順を示す図。 第１の実施形態の変形例１に係る画像処理装置の処理手順を示す図。 第１の実施形態の変形例２に係る画像処理装置の処理手順を示す図。 第１の実施形態の変形例３に係る画像処理装置の処理手順を示す図。 第１の実施形態の変形例４に係る画像処理装置の処理手順を示す図。 第１の実施形態の変形例５に係る画像処理装置の処理手順を示す図。 第２の実施形態に係る画像処理装置の構成を示す図。 第２の実施形態に係る画像分離部の構成を示す図。 変動パターンの波形模式図。 第２の実施形態の変形例１に係る画像処理装置の構成を示す図。 変動パターンの波形と周波数特性の模式図。 第２の実施形態の変形例１に係る画像分離部の構成を示す図。 第２の実施形態の変形例２に係る画像処理装置の構成を示す図。 第２の実施形態の変形例２に係る画像分離部の構成を示す図。 第２の実施形態の変形例２に係る画像分離部におけるブロック分離部の分離方法１による画像分離の模式図。 第２の実施形態の変形例２に係る画像分離部におけるブロック分離部の分離方法２による画像分離の模式図。 第２の実施形態に係る画像分離部の処理手順を示す図。 第２の実施形態の変形例１に係る画像分離部の処理手順を示す図。 第２の実施形態の変形例２に係る画像分離部の処理手順を示す図。

以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。なお、本発明の技術的範囲は特許請求の範囲によって確定されるのであって、以下に例示する実施の形態に限定されるものではない。
＜第１の実施形態＞
［画像処理装置の構成（図１）］
本発明に係る画像処理装置は、フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換するものである。１０１はフレーム入力部、１０２はフレームレート変換部、１０３は輝度変動部、１０４はフレーム出力部、１０５は輝度変動抽出部、１０６は輝度変動パターン計算部である。本実施形態では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。下記の動作は、画素単位で処理を説明するものであり、これらの処理は水平方向、垂直方向に走査されフレーム内の全画素に適用される。

フレーム入力部１０１は、各モジュールの要求に応じて外部入力フレームバッファの入力画像データを参照する。フレームレート変換部１０２（サブフレーム生成手段）は、変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成する。本実施形態では、フレームレート変換部１０２は、図７で示すように、フレーム入力部１０１を介して、ｒ番入力フレームを参照して画像データをコピーすることにより、１≦ｉ≦３となるｉ番サブフレームを３枚生成する。なお、本実施形態では、ｒ番入力フレームは０番サブフレームと同一である。また、出力フレーム番号をｎとするとｎ＝４ｒ＋ｉ、又は

という関係になる。

は、床関数（ｆｌｏｏｒ関数）である。

輝度変動抽出部１０５は、フレーム入力部１０１を介して、過去４フレームの入力画像データから輝度変動を取得し、輝度変動パターン計算部１０６に出力する。輝度変動パターン計算部１０６（輝度変動パターン生成手段）は、着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の変動パターンを生成する。本実施形態では、輝度変動パターン計算部１０６は、式１に従って変動パターンａ（ｎ）を生成する。Ｉ（ｒ）はｒ番入力フレームの対象画素位置の輝度値、Ｍ（ｎ）はｒ番出力フレームに対する対象画素位置の輝度値、Ｏ（ｎ）は、ｎ番出力フレームに対する対象画素位置の輝度値を表す。

・・・（式１）
輝度変動パターン計算部１０６は、式１で示すように、着目フレームを含む過去の３枚のフレームの同画素位置の平均値を算出することで、平均画素値で構成される輝度平均値フレームを算出する（第１の算出手段）。また、輝度変動パターン計算部１０６は、着目フレームを含む過去の３枚のフレームの各々と、算出した輝度平均値フレームとの差分を、３枚の輝度変動パターンとして算出する（第２の算出手段）。

輝度変動部１０３（出力フレーム生成手段）は、輝度変動パターン計算部１０６で生成されたｎ枚の変動パターンを、式２に従って、フレームレート変換部１０２で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成する。ｋは、きらめきの強度を示すパラメータである。

Ｏ（ｎ）＝Ｍ（ｎ）＋ｋａ（ｎ）・・・（式２）
フレーム出力部１０４は、輝度変動部１０３が生成したｎ枚の出力フレームをフレームとして構成し外部へ出力する。

［画像処理装置の処理手順（図１０）］
まず、フレーム入力部１０１が、各モジュールの要求に応じて外部入力フレームバッファの入力画像データを参照する（Ｓ１０１）。そして、フレームレート変換部１０２が、図７で示すように、ｒ番入力フレームを参照して画像データをコピーすることにより、１≦ｉ≦３となるｉ番サブフレーム３枚を生成する（Ｓ１０２）。そして、輝度変動抽出部１０５が、過去４フレームの入力画像データから輝度変動成分を取得し（Ｓ１０３）、輝度変動パターン計算部１０６が、上述の式１に従って変動パターンａ（ｎ）を生成する（Ｓ１０４）。更に、輝度変動部１０３が、上述の式２に従ってサブフレームに上述の変動パターンを付加し、出力フレームを生成する（Ｓ１０５）。その後、すべての画素が終了したかを判定し（Ｓ１０６）、終了した場合には、フレーム出力部１０４が、輝度変動部１０３が生成した出力フレームをフレームとして構成し外部へ出力して（Ｓ１０７）、一連の処理を終了する。一方、終了していない場合には、処理対象画素を次に移してＳ１０３に戻る。

本実施形態によれば、図８で示すように、入力周波数よりも大きな輝度変動を持った動画を出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。

本実施形態では、６０Ｈｚ周波数の輝度変動から、２４０Ｈｚ周波数の輝度変動を推定しているが、３０Ｈｚ等他の周波数成分の輝度変動、あるいは、複数の周波数成分の輝度変動から推定することも可能である。また、本実施形態におけるフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。また、画素単位で処理を行っているが、例えばフレームを矩形のブロックに分割し、ブロック単位で画像の特徴量を抽出してもよい。この場合、輝度変動パターンはブロック単位で生成される。

このように、入力、フレームレート変換、輝度変動抽出、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、これらを種々組み合わせた構成をとることも可能である。輝度変動に関して、本実施形態では加算により実現しているが、乗算等輝度に変動を与える方法であれば、どのような方法でもよく、加算に限定されるものではない。

（第１の実施形態の変形例１）
［画像処理装置の構成（図２）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。２０１は輝度変動抽出部、２０２は輝度ピーク検出部、２０３は輝度変動パターン計算部である。輝度変動抽出部２０１は、フレーム入力部１０１を介して、４フレームの入力画像データから輝度変動を取得し、輝度変動パターン計算部２０３に出力する。輝度ピーク検出部２０２は、４フレームの入力画像データの対象位置の画素の輝度値から、式３に従って輝度ピークＬ_ｐｅａｋを計算する。

Ｌ_ｐｅａｋ＝Ｍａｘ（Ｉ（ｒ−３），Ｉ（ｒ−２），Ｉ（ｒ−１），Ｉ（ｒ））・・・（式３）
輝度変動パターン計算部２０３は、式４に従って変動パターンａ_ｎ（ｉ）を生成する。

・・・（式４）
［画像処理装置の処理手順（図１１）］
Ｓ１０１、Ｓ１０２、Ｓ１０５及びＳ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、輝度ピーク検出部２０２が、上述の式３に従って輝度ピークＬ_ｐｅａｋを計算し（Ｓ２０３）、輝度変動パターン計算部２０３が、上述の式４に従って変動パターンａ_ｎ（ｉ）を生成する（Ｓ２０４）。

本変形例によれば、輝度の高い部分に、より多くの輝度変動が加わることになり、映像のきらめき感を再現することが可能となる。

（第１の実施形態の変形例２）
［画像処理装置の構成（図３）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。３０１は輝度変動抽出部、３０２はエッジ検出部、３０３は時間輝度変動パターン計算部である。エッジ検出部３０２は、入力画像データの対象画素のエッジを検出し、エッジ強度Ｓ_ｅｄｇｅを輝度変動パターン計算部３０３へ出力する。このとき、エッジ強度は、０≦Ｓ_ｅｄｇｅ≦１の範囲で表現するものとする。輝度変動抽出部３０１は、フレーム入力部１０１を介して、４フレームの入力画像データから輝度変動を取得し、輝度変動パターン計算部３０３に出力する。輝度変動パターン計算部３０３は、式５に従って変動パターンａ（ｎ）を生成する。

・・・（式５）
［画像処理装置の処理手順（図１２）］
Ｓ１０１、Ｓ１０２、Ｓ１０５及びＳ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、エッジ検出部３０２が、入力画像データの対象画素のエッジを検出し、エッジ強度Ｓ_ｅｄｇｅを輝度変動パターン計算部３０３へ出力する（Ｓ３０１）。そして、輝度変動パターン計算部３０３が、エッジ強度Ｓ_ｅｄｇｅを用いて、式５に従って変動パターンａ（ｎ）を生成する（Ｓ３０２）。

本変形例によれば、第１の実施形態の効果に加えて、エッジ部分の画像処理効果を制御することにより、動きのあるシーンの境界領域の誤処理を抑制することができる。

（第１の実施形態の変形例３）
［画像処理装置の構成（図４）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。４０１はハイパスフィルタ、４０２は分散値計算部、４０３は輝度変動パターン検出部である。ハイパスフィルタ４０１は、フレーム入力部１０１を介して入力画像データを参照し、ハイパスフィルタ画像を生成する。分散値計算部４０２は、ハイパスフィルタ画像の対象位置の画素を中心とする矩形に対して、分散値ｖ（ｎ）を計算する。輝度変動パターン計算部４０３は、式６に従って変動パターンａ（ｎ）を生成する。

・・・（式６）
［画像処理装置の処理手順（図１３）］
Ｓ１０１、Ｓ１０２、Ｓ１０６及びＳ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、バイパスフィルタ４０１が、ハイパスフィルタ処理を施し、ハイパスフィルタ画像を生成する（Ｓ４０１）。そして、分散値計算部４０２が、ハイパスフィルタ画像の対象位置の画素を中心とする矩形に対して、分散値ｖ（ｎ）を計算する（Ｓ４０２）。そして、輝度変動パターン計算部４０３が、上述の式６に従って輝度変動パターンａ（ｎ）を生成する（Ｓ４０３）。

本変形例によれば、輝度変動が乱雑な領域に、時間方向の輝度変動成分を加えることにより、映像のきらめき感を擬似的に再現することが可能となる。なお、本変形例での分散値は、数学的に狭義の分散だけでなく、一般的にデータの分散を表す任意の計算を用いてもよい。また、画像の空間的な乱雑度の算出に、ハイパスフィルタと分散を用いているが、これらに限定されず、空間的なフラクタル特性等を用いてもよい。

（第１の実施形態の変形例４）
［画像処理装置の構成（図５）］
５０１はフレーム入力部、５０２はフレームレート変換部、５０３は輝度変動部、５０４はフレーム出力部、５０５は輝度変動抽出部、５０６は時間輝度変動パターン計算部、５０７は動き探索部、５０８は動き補償部である。本実施形態では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。下記の動作は、画素単位で処理を説明するものであり、これらの処理は水平方向、垂直方向に走査されフレーム内の全画素に適用される。対象画素の座標を（ｘ，ｙ）とする。

フレーム入力部５０１は、各モジュールの要求に応じて外部フレームバッファの入力画像データを参照する。動き探索部５０７は、フレーム入力部５０１を介してｒ番入力フレームとｒ＋１番入力フレームから、ブロック単位で動き探索を行う。このときの上述のブロックに含まれる対象画素の動きベクトルを（ｍｖｘ（ｒ，ｘ，ｙ），ｍｖｘ（ｒ，ｘ，ｙ））とする。動き補償部５０８は、上述の動きベクトルから１≦ｉ≦３となるｉ番サブフレーム３枚を生成する。ただし、ｉ＝ｍｏｄ（ｎ，４）となる。

・・・（式７）
なお、本変形例では、ｎ番入力フレームと０番サブフレームとが同一である。輝度変動抽出部５０５は、図８及び図９で示すように、過去４フレームの動きベクトルから計算される画素の移動情報に基づいて、空間的に移動する同一画素のフレーム毎に輝度変動を取得し、輝度変動パターン計算部に出力する。輝度変動パターン計算部では、式１に従って変動パターンａ（ｎ，ｘ，ｙ）を生成する。Ｉ（ｒ，ｘ，ｙ）は、ｒ番入力フレームの輝度値、Ｍ（ｎ，ｘ，ｙ）は、ｎ番出力フレームに対する輝度値は、Ｏ（ｎ，ｘ，ｙ）は、ｎ番出力フレームに対するｉ番サブフレームの輝度値を表す。

・・・（式８）
輝度変動部５０６は、式９に従ってサブフレームに上述の変動パターンを付加し、出力フレームを生成する。ｋは、きらめきの強度を示すパラメータである。

Ｏ（ｎ，ｘ，ｙ）＝Ｍ（ｎ，ｘ，ｙ）＋ｋａ（ｎ，ｘ，ｙ）・・・（式９）
フレーム出力部５０４は、輝度変動部が生成した出力フレームをフレーム単位で外部へ出力する。

［画像処理装置の処理手順（図１４）］
まず、フレーム入力部５０１が、入力画像データを入力する（Ｓ５０１）。そして、動き探索部５０７が、ｒ番入力フレームとｒ＋１番入力フレームから、ブロック単位で動き探索を行う（Ｓ５０２）。そして、動き補償部５０８が、式７に従って、動きベクトルから１≦ｉ≦３となるｉ番サブフレーム３枚を生成する（Ｓ５０３）。

そして、輝度変動抽出部５０５が、過去４フレームの動きベクトルから計算される画素の移動情報に基づいて、空間的に移動する同一画素のフレーム毎に輝度変動を取得する（Ｓ５０４）。そして、輝度変動パターン計算部５０６が、上述の式８に従って変動パターンａ（ｎ，ｘ，ｙ）を生成する（Ｓ５０５）。そして、輝度変動部５０３が、上述の式９に従ってサブフレームに上述の変動パターンを付加し、出力フレームを生成する（Ｓ５０６）。

その後、すべての画素が終了したかを判定し（Ｓ５０７）、終了した場合には、フレーム出力部５０４が、輝度変動部５０３が生成した出力フレームをフレームとして構成し外部へ出力して（Ｓ５０８）、一連の処理を終了する。一方、終了していない場合には、処理対象画素を次に移してＳ５０４に戻る。

本変形例によれば、第１の実施形態の効果に加えて、動きのあるシーンにおいても、より正確に輝度変動を再現し、映像にリアリティを持たせることができる。

（第１の実施形態の変形例５）
［画像処理装置の構成（図６）］
１０１、１０２、１０３、１０４の構成は、第１の実施形態と同一であるため、説明を省略する。６０１は画像特徴抽出部、６０２は輝度変動パターン選択部、６０３は輝度変動パターンデータベースである。画像特徴抽出部６０１（特徴情報抽出手段）は、複数のフレームから各画像の空間周波数特性（特徴情報）を抽出し、空間周波数特性を輝度変動パターン選択部６０２に出力する。輝度変動パターンデータベースには、空間周波数特性とそれに対応する輝度変動パターンが格納されている。輝度変動パターン選択部６０２は、空間周波数特性をインデックス値に変換し、輝度変動パターンデータベース６０３に格納されている輝度変動パターンの中から、インデックス値に対応する輝度変動パターンを取得し、輝度変動部１０３へ出力する。

［画像処理装置の処理手順（図１５）］
Ｓ１０１、Ｓ１０２、Ｓ１０４乃至Ｓ１０７の動作は第１の実施形態と同一であるため、説明を省略する。Ｓ１０２の処理の後、画像特徴抽出部６０１が、入力画像の処理画素を中心とする矩形に対して、空間周波数特性を計算する（Ｓ６０１）。そして、輝度変動パターン選択部６０２が、空間周波数特性を輝度変動パターンデータベースのインデックス値に変換する（Ｓ６０２）。

本変形例では、例えば、水面や炎のきらめき等の空間周波数特性とそれに対応する輝度変動パターンをデータベース化しておくことにより、オブジェクトに対して最適なきらめきを付加することができる。なお、本変形例では、画像の特徴量として空間周波数成分を用いているが、これに限定されるものではなく、フラクタル次元、明るさ、色、又はそれらの任意の組み合わせを特徴としてもよい。

［第１の実施形態の他の変形例］
第１の実施形態及びその変形例１乃至４では、画像の特徴情報として、複数のフレーム間における輝度値、空間乱雑度、エッジ位置、輝度ピーク、動きベクトルを利用し、輝度変動パターンを生成しているが、この特徴情報は、上述の実施形態又は変形例以外にも、単一又は任意の組み合わせとすることできる。
＜第２の実施形態＞
［画像処理装置の構成（図１６）］
７０１はフレーム入力部、７０２はフレームレート変換部、７０３は画像分離部、７０４は輝度変動部、７０５はフレーム出力部、７０６は輝度変動パターン計算部、７０７は輝度変動抽出部である。

本実施形態では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。フレーム入力部７０１は、各モジュールの要求に応じて外部入力フレームバッファの入力画像データを入力する。

フレームレート変換部７０２は、フレーム入力部７０１を介して、ｒ番入力フレームＳ７０１を参照して画像データをコピーすることにより、ｉ＝｛１，２，３｝とするｉ番サブフレームＳ７０２を３枚生成する。

なお、本実施形態では、初回から連続するサブフレーム及び出力フレームの通し番号をｎとし、ｉ＝０となる０番サブフレームをｒ番入力フレームと同一の画像として処理する。よって、ｎとｒ、ｉとの対応関係は、式１０で表現される。

ｎ＝４ｒ＋ｉ・・・（式１０）
また、Ｉ（ｒ）はｒ番入力フレームＳ７０１の対象画素位置の輝度値、Ｍ（ｎ）はｎ番出力フレームＳ７０２の対象画素の輝度値、Ｏ（ｎ）はｎ番出力フレームＳ７０４に対する対象画素の輝度値として表す。

画像分離部７０３では、所定のパラメータを用いて、入力されるサブフレームＭ（ｎ）を空間的に分割してｌ×ｍ個のサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。ｌの取り得る値の範囲は１≦ｌ≦ｌ_ｍａｘであり、ｌ、ｌ_ｍａｘ共に１以上の整数の値をとる。ｍの取り得る値の範囲は１≦ｍ≦ｍ_ｍａｘであり、ｍ、ｍ_ｍａｘ共に１以上の整数の値をとる。本実施形態では、ｌ_ｍａｘ＝４、ｍ_ｍａｘ＝３とし、１２個のサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。

［画像分離部７０３の処理手順（図１７）］
画像分離部７０３は、輝度レベル分離部７１１と、空間周波数帯域分離部７１２（空間周波数分離手段）と、分離画像生成部７１３とを有する。輝度レベル分離部７１１は、ｎ枚のサブフレームのそれぞれを予め定めた輝度レベル毎に分離して、複数の輝度レベル分離フレームを生成する。すなわち、式１１で表すように、輝度閾値Ｌ_{ｔｈ＿ｍｉｎ}（ｌ）及びＬ_{ｔｈ＿ｍａｘ}（ｌ）を用いて、入力されるＳ７１１で示すサブフレームＭ（ｎ）を画素毎に分離して、Ｓ７１２で示す輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）を生成する。式１１において、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）は、ｎ番出力フレームＳ７１１に対する対象画素の輝度値として表している。

・・・（式１１）
式１１において、

は論理積を表す演算子であり、表１又は表２に示すような演算結果を導く。
（表１）

（表２）

Ｌ_{ｔｈ＿ｍｉｎ}（ｌ）及びＬ_{ｔｈ＿ｍａｘ}（ｌ）は１組以上のｌ組を設定することができる。

本実施形態では、サブフレームＭ（ｎ）の信号レンジ全てを用いて、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）を生成するが、サブフレームの信号レンジの一部を用いて生成してもよい。

例えば、中間画像の信号レンジが０〜２５５の値をとり、ｌ＝１，２，３の３つの値をとるとき、Ｌ_{ｔｈ＿ｍｉｎ}（ｌ）及びＬ_{ｔｈ＿ｍａｘ}（ｌ）を３組用いて、Ｌ_{ｔｈ＿ｍｉｎ}（０）＝０、Ｌ_{ｔｈ＿ｍａｘ}（０）＝１２７、Ｌ_{ｔｈ＿ｍｉｎ}（１）＝１２８、Ｌ_{ｔｈ＿ｍａｘ}（１）＝１９１、Ｌ_{ｔｈ＿ｍｉｎ}（２）＝１９２、Ｌ_{ｔｈ＿ｍａｘ}（２）＝２２３、Ｌ_{ｔｈ＿ｍｉｎ}（３）＝２２４、Ｌ_{ｔｈ＿ｍａｘ}（３）＝２５５と各輝度閾値を設定するとき、信号レンジが０〜１２７、１２８〜１９１、１９２〜２２３、２２４〜２５５となる４つの輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）を生成できる。

空間周波数帯域分離部７１２は、ｎ枚のサブフレームのそれぞれを予め定めた空間周波数帯域毎に分離して、複数の空間周波数帯域分離フレームを生成する。すなわち、入力されるＳ７１１で示すサブフレームＭ（ｎ）をｍ個の空間周波数帯域毎に分割して入力されるＳ７１３で示す空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）を生成する。空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）は式１２に示すように、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算することで得られる。

Ｓ_ｉｍｇ（ｍ，ｎ）＝Ｍ（ｎ）＊ｆ（ｍ）・・・（式１２）
ｆ（ｍ）には、ローパスフィルタやバンドパスフィルタやエッジ検出フィルタ等を用いることができる。例として、ｍ＝１，２，３の３つの値を取るとき、フィルタ特性の異なる３つのフィルタ関数ｆ（１）、ｆ（２）、ｆ（３）を用いる。ｆ（１）のフィルタ形状は式１３で表すローパスフィルタのフィルタ形状を持っている。ただし、ｔ、ｕの取り得る値は、−２、−１、０、１、２である。

・・・（式１３）
ｆ（２）のフィルタ形状は式１４で表すバンドパスフィルタのフィルタ形状を持っている。ただし、式１４の右辺上式において、ｔ、ｕの取り得る値は、−１、０、１であり、式１４の右辺下式において、ｔ、ｕの取り得る値は、−２、２である。

・・・（式１４）
ｆ（３）のフィルタ形状は式１５で表すバンドパスフィルタのフィルタ形状を持っている。ただし、式１５の右辺上式において、ｔ、ｕの取り得る値は、０であり、式１４の右辺下式において、ｔ、ｕの取り得る値は、−２、−１、１、２である。

・・・（式１５）
ｆ（１）のフィルタ形状は表３、ｆ（２）のフィルタ形状は表４、ｆ（３）のフィルタ形状は表５で、それぞれ確認することができる。
（表３）

（表４）

（表５）

本実施形態では、サブフレームの全空間周波数分割帯域を用いて、空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）を生成するが、サブフレームの空間周波数分割帯域の一部を用いて生成してもよい。

分離画像生成部７１３は、輝度レベル分離フレーム及び空間周波数帯域分離フレームに基づいて、複数（ｍ枚）のサブ分離フレームを生成する。すなわち、入力されるＳ７１２で示す輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と、入力されるＳ７１３で示す空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）を用いて判定を行い、出力されるＳ７１４で示すサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。生成においては、式１６に示すように、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）の全ての組み合わせにおいて行う。式１６において、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）は、ｎ番輝度レベル分離フレームＳ７１２とｎ番空間周波数分離フレームＳ７１３に対する対象画素の輝度値として表している。

Ｊ_ｉｍｇ（ｌ，ｍ，ｎ）＝Ｌ_ｉｍｇ（ｌ，ｎ）×Ｓ_ｉｍｇ（ｍ，ｎ）・・・（式１６）
［画像分離部７０３の処理手順（図２６）］
Ｓ７２１は、画像分離部７０３の処理の開始を表している。Ｓ７２２では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）とサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）に必要となるバッファをメモリ領域に割り当てる。本実施形態では輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）は４フレーム、空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）は３フレーム、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）は１２フレーム必要となり、そのフレーム数だけ本工程でメモリ領域に割り当てる。

Ｓ７２３では、フレームカウンタのリセットを行う。本実施形態では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）のフレームカウンタｌと空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）のフレームカウンタｍをそれぞれ１にリセットする。

Ｓ７２４は、フレームカウンタｌに応じたループである。本実施形態では、ｌが４以下の場合はＳ７２５へ処理を進め、それ以外の場合はＳ７２８へ処理を進める。Ｓ７２５では、輝度閾値Ｌ_{ｔｈ＿ｍｉｎ}（ｌ）及びＬ_{ｔｈ＿ｍａｘ}（ｌ）を用いて、サブフレームＭ（ｎ）の画素値判定を行う。サブフレームＭ（ｎ）の当該画素値がＬ_{ｔｈ＿ｍｉｎ}（ｌ）以上、Ｌ_{ｔｈ＿ｍａｘ}（ｌ）以下である場合はＳ７２６へ処理を進め、それ以外の場合はＳ７２７へ処理を進める。Ｓ７２６では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）の当該画素位置にサブフレームＭ（ｎ）の当該画素値をコピーする。Ｓ７２７では、フレームカウンタｌをインクリメントする。Ｓ７２８は、フレームカウンタｍに応じたループである。本実施形態では、ｌが３以下の場合はＳ７２９へ処理を進め、それ以外の場合はＳ７３１へ処理を進める。ＳＳ７２９では、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算して空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）を算出する。Ｓ７３０では、フレームカウンタｍをインクリメントする。Ｓ７３１では、フレームカウンタのリセットを行う。Ｓ７３２は、フレームカウンタｌに応じたループである。本実施形態では、ｌが４以下の場合はＳ７３３へ処理を進め、それ以外の場合はＳ７３７へ処理を進める。

Ｓ７３３は、フレームカウンタｍに応じたループである。本実施形態では、ｌが３以下の場合はＳ７３４へ処理を進め、それ以外の場合はＳ７３６へ処理を進める。Ｓ７３４では、空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）とサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）の積をとることでサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。Ｓ７３５では、フレームカウンタｍをインクリメントする。Ｓ７３６では、フレームカウンタｌをインクリメントする。

Ｓ７３７は、画像分離部７０３の処理の終了を表している。輝度変動パターン計算部７０６では、変動パターンｆ_ｒ（ｌ，ｍ，ｎ）を計算する。本実施形態では、ｆ_ｒ（ｌ，ｍ，ｎ）は任意の時間関数であり、第１の実施形態で示したような輝度変動抽出部７０７から抽出される輝度変動値に基づいて変動パターンを作成するのではなく、予めメモリ上にデータとして記憶されているものとする。

図１８に、ｌ＝２、ｍ＝２の場合の変動パターンｆ_ｒ（ｌ，ｍ，ｎ）の模式図を示す。また、ｆ_ｒ（ｌ，ｍ，ｎ）の総数はｌ×ｍ個である必要はなく、ｌ、ｍの数に依存しない数ｓの関数ｆ_ｒ（ｓ，ｎ）であったり、単一の変動成分ｆ_ｒ（ｎ）であったりしてもよい。輝度変動抽出部７０７では、フレーム入力部７０１を介して入力フレームＳ７０１を参照して輝度変動成分Ｓ７０７を計算する。

本実施形態は、輝度変動パターン計算部７０６で計算されるｆ_ｒ（ｌ，ｍ，ｎ）は任意の時間関数であることから、輝度変動抽出部７０７の機能性に着眼したものではなく、そのため、これより詳細な輝度変動抽出部７０７の説明及び輝度変動パターン計算部７０６との関連を説明しない。

輝度変動部７０４では、式１７に従ってＳ７０３で表すサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）とＳ７０６で表す変動パターンｆ_ｒ（ｌ，ｍ，ｎ）ときらめき強度パラメータｋを用いて、輝度変動サブ分離フレームＡ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。

Ａ_ｉｍｇ（ｌ，ｍ，ｎ）＝Ｊ_ｉｍｇ（ｌ，ｍ，ｎ）×｛ｋｆ_ｒ（ｌ，ｍ，ｎ）＋１｝・・・（式１７）
式１７では、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）に変動パターンｆ_ｒ（ｌ，ｍ，ｎ）を乗じて輝度変動サブ分離フレームＡ_ｉｍｇ（ｌ，ｍ，ｎ）を算出しているが、発明はこれに限定されることなく、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）に変動パターンｆ_ｒ（ｌ，ｍ，ｎ）を加算して輝度変動サブ分離フレームＡ_ｉｍｇ（ｌ，ｍ，ｎ）を算出してもよく、また、乗算と加算を組み合わせて算出してもよい。

また、式１７では、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）に一様に変動パターンｆ_ｒ（ｌ，ｍ，ｎ）を乗じているが、以下の式１８で示すように、時空間的に変動する変動パターンｆ_ｒ（ｌ，ｍ，ｎ，ｘ，ｙ）を乗じてもよい。

Ａ_ｉｍｇ（ｌ，ｍ，ｎ）＝Ｊ_ｉｍｇ（ｌ，ｍ，ｎ）×｛ｋｆ_ｒ（ｌ，ｍ，ｎ，ｘ，ｙ）＋１｝・・・（式１８）
式１８において、ｆ_ｒ（ｌ，ｍ，ｎ，ｘ，ｙ）は式１９で表すｆ_ｒ（ｌ，ｍ，ｎ）にｘ方向とｙ方向の空間変動を加えたものを表している。

ｆ_ｒ（ｌ，ｍ，ｎ，ｘ，ｙ）＝ｆ_ｒ（ｌ，ｍ，ｎ）×ｆ_ｓ（ｘ，ｙ）・・・（式１９）
ｆ_ｓ（ｘ，ｙ）は任意の空間関数であり、例えば式２０で表す疑似乱数ｆ（ｚ）＝ｒａｎｄ（ｚ）を適用することができる。ｆ（ｚ）は入力値ｚにより０から１に変化する関数である。

ｆ_ｓ（ｘ，ｙ）＝ｒａｎｄ（ｘ＋ｙＸ）・・・（式２０）
式２０において、ＸはサブフレームＭ（ｎ）の水平解像度である。式２０により、ｆ_ｓ（ｘ，ｙ）はサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）の画素毎に異なる値となるため、式１９により生成される変動パターンｆ_ｒ（ｌ，ｍ，ｎ，ｘ，ｙ）は画素毎に異なる値を持つ時空間変動となる。

また、式２０の代わりに以下に示す式２１を適用することも可能である。

ｆ_ｓ（ｘ，ｙ）＝ｒａｎｄ（ｘ−ｘ％ｂ＋（ｙ−ｙ％ｂ）×Ｘ）・・・（式２１）
式２１において、ｂはブロック係数であり１以上の整数を取る。％は剰余算を表す演算子であり、例えばｘ_ｐ＝７２０、ｂ＝１６のとき、ｘ_ｐ％ｂ＝０であり、ｘ_ｐ＝３００、ｂ＝１９のとき、ｘ_ｐ％ｂ＝１５である。

式２１により、ｆ_ｓ（ｘ，ｙ）はサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）に対してブロック係数ｂを一辺とする正方形毎に異なる値となるため、式１９により生成される変動パターンｆ_ｒ（ｌ，ｍ，ｎ，ｘ，ｙ）はブロック係数ｂを一辺とする正方形毎に異なる値を持つ時空間変動となる。

その後に、式２２に示すように、全ての輝度変動サブ分離フレームＡ_ｉｍｇ（ｌ，ｍ，ｎ）を合成してＳ７０４で表す出力フレームＯ（ｎ）を生成する。

・・・（式２２）
本実施形態では、ｌ_０＝１、ｍ_０＝１、ｌ_ｍａｘ＝４、ｍ_ｍａｘ＝３である。

フレーム出力部７０５では、輝度変動部が生成した出力フレームＯ（ｎ）をフレームとして構成し外部へ出力する。

本実施形態によれば、入力周波数よりも大きな輝度変動を持った動画が出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。

本実施形態では、６０Ｈｚ周波数の画像から２４０Ｈｚ周波数の画像を生成しているが、それに限定されるものでない。また、本実施形態におけるフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。このように、入力、フレームレート変換、輝度変動抽出、画像分離、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、それぞれの機能の処理単位は、さまざまに組み合わせる構成をとることも可能である。輝度変動に関して、本実施形態では乗算により実現しているが、輝度に変動を与える方法であれば、どのような方法でもよく、乗算に限定されるものではない。

（第２の実施形態の変形例１）
［画像処理装置の構成（図１９）］
８０１はフレーム入力部、８０２はフレームレート変換部、８０３は画像分離部、８０４は輝度変動部、８０５はフレーム出力部、８０６は輝度変動パターン計算部、８０７は輝度変動抽出部である。本変形例では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。なお、本変形例では、初回から連続するサブフレーム及び出力フレームの通し番号をｎとし、ｉ＝０となる０番サブフレームをｒ番入力フレームと同一の画像として処理する。よって、ｎとｒ、ｉとの対応関係は、式２３で表現される。

ｎ＝４ｒ＋ｉ・・・（式２３）
また、Ｉ（ｒ）はｒ番入力フレームＳ８０１の対象画素位置の輝度値、Ｍ（ｎ）はｎ番サブフレームＳ８０２の対象画素の輝度値、Ｏ（ｎ）はｎ番出力フレームＳ８０４に対する対象画素の輝度値として表す。

フレーム入力部８０１、フレームレート変換部８０２、輝度変動部８０４、フレーム出力部８０５、輝度変動抽出部８０７の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。輝度変動パターン計算部８０６では、変動パターンｆ_ｒ（ｌ，ｍ，ｎ）を計算する。また、計算した変動パターンの周波数特性を解析する。

本変形例では、ｆ_ｒ（ｌ，ｍ，ｎ）は任意の時間関数である。また、画像情報に基づいて変動パターンを作成するのではなく、予めメモリ上にデータとして記憶されているものとする。変動パターンｆ_ｒ（ｌ，ｍ，ｎ）の周波数特性も予め解析されてメモリ上にデータとして記憶されているものとする。

図２０に、ｌ＝２、ｍ＝２の場合の変動パターンｆ_ｒ（ｌ，ｍ，ｎ）の模式図を示す。ｆ_ｒ（ｌ，ｍ，ｎ）の総数はｌ×ｍ個である必要はなく、ｌ、ｍの数に依存しない数ｓの関数ｆ_ｒ（ｓ，ｎ）であったり、単一の変動成分ｆ_ｒ（ｎ）であったりしてもよい。

変動パターンの周波数特性の解析では、式２４に示す所定のパワーＦ_ｔｈ以上を示す最大周波数ｋ_ｍａｘが算出される。

Ｆ（ｌ，ｍ，ｋ_ｍａｘ）≧Ｆ_ｔｈ・・・（式２４）
ｆ_ｒ（１，１，ｎ）ではＦ（１，１，ｋ_１）＝Ｆ_ｔｈであり、ｋ_ｍａｘ＝ｋ_１、ｆ_ｒ（１，２，ｎ）ではＦ（１，２，ｋ_２）＝Ｆ_ｔｈであり、ｋ_ｍａｘ＝ｋ_２、ｆ_ｒ（２，１，ｎ）では、Ｆ（２，１，ｋ_３）＝Ｆ_ｔｈであり、ｋ_ｍａｘ＝ｋ_３、ｆ_ｒ（２，２，ｎ）では、Ｆ（２，２，ｋ_４）＝Ｆ_ｔｈであり、ｋ_ｍａｘ＝ｋ_４がそれぞれ所定のパワー以上を示す最大周波数である。

変動パターンの周波数特性は、式２５で示す離散フーリエ変換を用いて算出することが可能である。Ｎは変動パターンの周期であり、ｆ（ｌ，ｍ，ｎ）＝ｆ（ｌ，ｍ，ｎ＋Ｎ）が成り立つ。

・・・（式２５）
画像分離部８０３は、Ｓ８０５で表す輝度変動パターン計算部８０６から入力する変動パターンｆ_ｒ（ｌ，ｍ，ｎ）の最大周波数情報ｋ_ｍａｘを用いて、所定の空間周波数帯域を持つ空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）を生成し、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）及び空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）を用いてサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。

［画像分離部８０３の詳細構成（図２１）］
８１１は輝度レベル分離部であり、８１２は空間周波数帯域分離部であり、８１３は分離画像生成部である。輝度レベル分離部８１１、分離画像生成部８１３の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。

空間周波数帯域分離部８１２は、ｍ個の空間周波数帯域毎にサブフレームＭ（ｎ）を分割して空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）を生成する。空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）は式２６に示すように、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算することで得られる。

Ｓ_ｉｍｇ（ｍ，ｎ）＝Ｍ（ｎ）＊ｆ（ｍ）・・・（式２６）
ｆ（ｍ）には、ローパスフィルタやバンドパスフィルタやエッジ検出フィルタ等を用いることができ、Ｓ８１５で表す入力される変動パターンｆ_ｒ（ｌ，ｍ，ｎ）の最大周波数情報ｋ_ｍａｘ（ｍ）を用いてｆ（ｍ）のフィルタ特性を決定する。例えば、ガウシアンフィルタを用いる場合、以下の式２７で示すように、バンドパスフィルタのフィルタ特性を決定することができる。

・・・（式２７）
但し、式２７の右辺上式において、−Ｃ_１ｋ_ｍａｘ≦ｔ≦Ｃ_１ｋ_ｍａｘ、かつ、−Ｃ_１ｋ_ｍａｘ≦ｕ≦Ｃ_１ｋ_ｍａｘである。また、式２７の右辺下式において、−Ｃ_２ｋ_ｍａｘ≦ｔ＜−Ｃ_１ｋ_ｍａｘ、Ｃ_１ｋ_ｍａｘ＜ｔ≦Ｃ_２ｋ_ｍａｘ、−Ｃ_２ｋ_ｍａｘ≦ｕ＜−Ｃ_１ｋ_ｍａｘ、又はＣ_１ｋ_ｍａｘ＜ｕ≦Ｃ_２ｋ_ｍａｘである。Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４は、フィルタ特性係数であり、取り得る値の範囲は１以上の整数である。

［画像分離部８０３の処理手順（図２７）］
Ｓ８２１は、画像分離部８０３の処理の開始を表している。Ｓ８２２では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）とサブ分離フレームに必要となるバッファをメモリ領域に割り当てる。本変形例では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）は４フレーム、空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）は３フレーム、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）は１２フレーム必要となり、そのフレーム数だけ本工程でメモリ領域に割り当てる。Ｓ８２３では、フレームカウンタのリセットを行う。本変形例では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）のフレームカウンタｌと空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）のフレームカウンタｍをそれぞれ１にリセットする。Ｓ８２４は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ８２５へ処理を進め、それ以外の場合はＳ８２８へ処理を進める。Ｓ８２５では、輝度閾値Ｌ_{ｔｈ＿ｍｉｎ}（ｌ）及びＬ_{ｔｈ＿ｍａｘ}（ｌ）を用いて、サブフレームＭ（ｎ）の画素値判定を行う。サブフレームＭ（ｎ）の当該画素値がＬ_{ｔｈ＿ｍｉｎ}（ｌ）以上、Ｌ_{ｔｈ＿ｍａｘ}（ｌ）以下である場合はＳ８２６へ処理を進め、それ以外の場合はＳ８２７へ処理を進める。Ｓ８２６では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）の当該画素位置にサブフレームＭ（ｎ）の当該画素値をコピーする。Ｓ８２７では、フレームカウンタｌをインクリメントする。

Ｓ８２８は、フレームカウンタｍに応じたループである。本変形例では、ｌが３以下の場合はＳ８２９へ処理を進め、それ以外の場合はＳ８３２へ処理を進める。Ｓ８２９では、変動パターンｆ_ｒ（ｌ，ｍ，ｎ）の最大周波数情報ｋ_ｍａｘ（ｍ）を入力し、ｋ_ｍａｘ（ｍ）を用いてｆ（ｍ）のフィルタ特性を決定する。Ｓ８３０では、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算して空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）を算出する。Ｓ８３１では、フレームカウンタｍをインクリメントする。Ｓ８３２では、フレームカウンタのリセットを行う。Ｓ８３３は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ８３４へ処理を進め、それ以外の場合はＳ８３８へ処理を進める。Ｓ８３４は、フレームカウンタｍに応じたループである。本変形例では、ｌが３以下の場合はＳ８３５へ処理を進め、それ以外の場合はＳ８３７へ処理を進める。Ｓ８３５では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）の積をとることでサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。Ｓ８３６では、フレームカウンタｍをインクリメントする。Ｓ８３７では、フレームカウンタｌをインクリメントする。Ｓ８３８は、画像分離部８０３の処理の終了を表している。

本変形例によれば、入力周波数よりも大きな輝度変動を持った動画を出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。

また、同時に画像の空間周波数帯域成分に対応して重畳する輝度変動の時間周波数を設定できるので、第２の実施形態に比べて、空間的により精度よく輝度変動を重畳することができる。

本変形例では、６０Ｈｚ周波数の画像から２４０Ｈｚ周波数の画像を生成しているが、それに限定されるものでない。また、本変形例に係るフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。このように、入力、フレームレート変換、輝度変動抽出、画像分離、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、それぞれの機能の処理単位は、さまざまに組み合わせる構成をとることも可能である。輝度変動に関して、本変形例では乗算により実現しているが、輝度に変動を与える方法であれば、どのような方法でもよく、乗算に限定されるものではない。

（第２の実施形態の変形例２）
［画像処理装置の構成（図２２）］
９０１はフレーム入力部、９０２はフレームレート変換部、９０３は画像分離部、９０４は輝度変動部、９０５はフレーム出力部、９０６は輝度変動パターン計算部、９０７は輝度変動抽出部である。

本変形例では、入力画像を６０Ｈｚで連続的に入力し、出力画像を２４０Ｈｚで出力するものとして説明する。なお、本変形例では、初回から連続するサブフレーム及び出力フレームの通し番号をｎとし、ｉ＝０となる０番サブフレームをｒ番入力フレームと同一の画像として処理する。よって、ｎとｒ、ｉとの対応関係は、式２８で表現される。

ｎ＝４ｒ＋ｉ・・・（式２８）
また、Ｉ（ｒ）はｒ番入力フレームＳ９０１の対象画素位置の輝度値、Ｍ（ｎ）はｎ番出力フレームＳ９０２の対象画素の輝度値、Ｏ（ｎ）はｎ番出力フレームＳ９０４に対する対象画素の輝度値として表す。

フレーム入力部９０１、フレーム出力部９０５、輝度変動抽出部９０７の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。
フレームレート変換部９０２では、画像分離部９０３にＳ９０２で表すサブフレームＭ（ｎ）と、Ｓ９０５で表すブロック情報Ｂ_ｉｎｆｏ（ｎ）と、Ｓ９０６で表すコピー領域情報Ｃ_ｉｎｆｏ（ｎ）を出力する。

ブロック情報Ｂ_ｉｎｆｏ（ｎ）は、フレームレート変換部９０２の動きベクトル検出単位を表す情報であり、必要十分に該情報を表現するためにデータの形態に限定を持たない。例えば、８×８の正方形ブロック単位で動きベクトル検出が行われる場合は、Ｂ_ｉｎｆｏ（ｎ）＝８であり、１６×８の長方形ブロック単位で動きベクトル検出が行われる場合は、Ｂ_ｉｎｆｏ（ｎ，ｘ）＝１６、Ｂ_ｉｎｆｏ（ｎ，ｙ）＝８となる。

コピー領域情報Ｃ_ｉｎｆｏ（ｎ）は、フレームレート変換部９０２での動きベクトル検出単位の参照フレームから画素をコピーしてサブフレームＭ（ｎ）を生成した際のコピー画素の位置情報であり、必要十分に該情報を表現するためにデータの形態に限定を持たない。例えば、コピー領域情報Ｃ_ｉｎｆｏ（ｎ，ｘ_ｐ，ｙ_ｑ）において、対象画素がコピー画素のときは１、対象画素が補間画素のときは０の値を取る。

画像分離部９０３は、所定のパラメータを用いて、入力されるｎ時刻時（ｎ＝４ｒ＋ｉ）のサブフレームＭ（ｎ）を空間的に分割してｊ×ｋ×ｌ×ｍ個のサブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。ｊの取り得る値の範囲は１≦ｊ≦ｊ_ｍａｘであり、ｊは１以上の整数の値をとり、ｊ_ｍａｘ＝２である。ｋの取り得る値の範囲は１≦ｋ≦ｋ_ｍａｘであり、ｋ、ｋ_ｍａｘ共に１以上の整数の値をとる。ｌの取り得る値の範囲は１≦ｌ≦ｌ_ｍａｘであり、ｌ、ｌ_ｍａｘ共に１以上の整数の値をとる。ｍの取り得る値の範囲は１≦ｍ≦ｍ_ｍａｘであり、ｍ、ｍ_ｍａｘ共に１以上の整数の値をとる。本変形例では、ｊ_ｍａｘ＝２、ｋ_ｍａｘ＝２、ｌ_ｍａｘ＝４、ｍ_ｍａｘ＝３とし、４８個のサブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。

［画像分離部９０３の詳細構成（図２３）］
９１１は輝度レベル分離部、９１２は空間周波数帯域分離部、９１３は分離画像生成部、９１４はコピー領域分離部、９１５はブロック分離部である。輝度レベル分離部９１１、空間周波数帯域分離部９１２の処理の仕組みは第２の実施形態と同様であるため、本変形例中では説明を省略する。

分離画像生成部９１３では、輝度レベル分離部９１１から出力される輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）Ｓ９１２と、空間周波数帯域分離部９１２から出力される空間周波数帯域分離フレームＳ_ｉｍｇ（ｍ，ｎ）Ｓ９１３と、後述するコピー領域分離部９１４から出力されるコピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）Ｓ９１５と、後述するブロック分離部９１５から出力されるブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）Ｓ９１６を用いて、以下に示す式２９よりサブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。

・・・（式２９）
式２９は、上述の表１又は表２に示すような演算結果を導く。コピー領域分離部９１４は、Ｓ９１７で示すフレームレート変換部９０２が出力するコピー領域情報Ｃ_ｉｎｆｏ（ｎ）に基づいてＳ９１１で示すサブフレームＭ（ｎ）を分割してＳ９１５で示すコピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）を生成する。コピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）は、補間画素とコピー画素にサブフレームＭ（ｎ）の各画素を分離することで生成される。

例えば、コピー領域情報Ｃ_ｉｎｆｏ（ｎ）において、対象画素がコピー画素のときは１、対象画素が補間画素のときは０の値を取る２値画像である場合、式３０に示すように、コピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）はサブフレームＭ（ｎ）とコピー領域情報Ｃ_ｉｎｆｏ（ｎ）を用いて算出することができる。

Ｃ_ｉｍｇ（ｊ，ｎ）＝Ｍ（ｎ）×｛Ｃ_ｉｎｆｏ（ｎ）−ｊ｝^２・・・（式３０）
ブロック分離部９１５は、フレームレート変換部９０２が出力するＳ９１８で表すブロック情報Ｂ_ｉｎｆｏ（ｎ）に基づいて、サブフレームＭ（ｎ）を分割することで、Ｓ９１６で表すブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を生成する。ブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）は、以下に示す２つの方法を含む、ブロック情報Ｂ_ｉｎｆｏ（ｎ）に基づく所定の方法のうち、いずれかの方法を選択してサブフレームＭ（ｎ）を分離することで生成される。

一方の分離方法（分離方法１）としては、ブロック境界に隣接する画素領域とそれ以外の領域に分ければよい。他方の分離方法（分離方法２）としては、特定の数列パターンに一致するブロック群毎に分離すればよい。

以下にこれらの２つの分離方法の詳細な処理について説明する。分離方法１を用いてブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を生成する場合、以下の式３１に示すようにブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を生成する。

・・・（式３１）
式３１において、

は論理和を表す演算子であり、表６又は表７に示すような演算結果を導く。
（表６）

（表７）

また、式３１において、％は剰余算を表す演算子であり、例えばｘ_ｐ＝７２０、ｂ＝１６のとき、ｘ_ｐ％ｂ＝０であり、ｘ_ｐ＝３００、ｂ＝１９のとき、ｘ_ｐ％ｂ＝１５である。

式３１によるブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）の模式図を図２４に示す。Ｂ_ｉｎｆｏ（ｎ）＝８で、サブフレームＩ（ｎ）は８×８のブロックサイズを用いて補間画像を生成する。太線がブロック情報Ｂ_ｉｎｆｏ（ｎ）に基づくブロック境界である。白地の矩形が有効画素であり、灰色の矩形が無効画素である。Ｂ_ｉｍｇ（１，ｎ）ではブロック境界以外の画素が有効となり、Ｂ_ｉｍｇ（２，ｎ）ではその反対にブロック境界の画素が有効となる。

分離方法２を用いてブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を生成する場合、以下の式３２に示すようにブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を生成する。

・・・（式３２）
式３２は、上述の表１又は表２に示すような演算結果を導く。また、％は剰余算を表す演算子であり、例えばｘ_ｐ＝７２０、ｂ＝１６のとき、ｘ_ｐ％ｂ＝０であり、ｘ_ｐ＝３００、ｂ＝１９のとき、ｘ_ｐ％ｂ＝１５である。

式３２によるブロック分離フレームＢ_ｉｍｇ（ｊ，ｎ）の模式図を図２５に示す。Ｂ_ｉｎｆｏ（ｎ）＝８で、サブフレームＩ（ｎ）は８×８のブロックサイズを用いて補間画像を生成する。太線がブロック情報Ｂ_ｉｎｆｏ（ｎ）に基づくブロック境界である。白地の矩形が有効画素であり、灰色の矩形が無効画素である。Ｂ_ｉｍｇ（１，ｎ）、Ｂ_ｉｍｇ（２，ｎ）共に８×８のブロックサイズ毎の千鳥格子状に画素が有効となり、Ｂ_ｉｍｇ（１，ｎ）とＢ_ｉｍｇ（２，ｎ）で画素を分割している。

［画像分離部９０３の処理手順（図２８）］
Ｓ９２１は、画像分離部９０３の処理の開始を表している。Ｓ９２２では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）とコピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）とブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）とサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）に必要となるバッファをメモリ領域に割り当てる。本変形例では輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）は４フレーム、空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）は３フレーム、コピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）は２フレーム、ブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）は２フレーム、サブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）は４８フレーム必要となり、そのフレーム数だけ本工程でメモリ領域に割り当てる。

Ｓ９２３では、フレームカウンタのリセットを行う。本変形例では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）のフレームカウンタｌと空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）のフレームカウンタｍとコピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）のフレームカウンタｊとブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）のフレームカウンタｋをそれぞれ１にリセットする。

Ｓ９２４は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ９２５へ処理を進め、それ以外の場合はＳ９２８へ処理を進める。

Ｓ９２５では、輝度閾値Ｌ_{ｔｈ＿ｍｉｎ}（ｌ）及びＬ_{ｔｈ＿ｍａｘ}（ｌ）を用いて、サブフレームＭ（ｎ）の画素値判定を行う。サブフレームＭ（ｎ）の当該画素値がＬ_{ｔｈ＿ｍｉｎ}（ｌ）以上、Ｌ_{ｔｈ＿ｍａｘ}（ｌ）以下である場合はＳ９２６へ処理を進め、それ以外の場合はＳ９２７へ処理を進める。Ｓ９２６では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）の当該画素位置にサブフレームＭ（ｎ）の当該画素値をコピーする。Ｓ９２７では、フレームカウンタｌをインクリメントする。

Ｓ９２８は、フレームカウンタｍに応じたループである。本変形例では、ｌが３以下の場合はＳ９２９へ処理を進め、それ以外の場合はＳ９３１へ処理を進める。Ｓ９２９では、サブフレームＭ（ｎ）にフィルタ関数ｆ（ｍ）を畳み込み演算して空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）を算出する。Ｓ９３０では、フレームカウンタｍをインクリメントする。Ｓ９３１は、フレームカウンタｊに応じたループである。本変形例では、ｊが２以下の場合はＳ９３２へ処理を進め、それ以外の場合はＳ９３５へ処理を進める。Ｓ９３２では、コピー領域情報Ｃ_ｉｎｆｏ（ｎ）を入力する。Ｓ９３３では、サブフレームＭ（ｎ）とコピー領域情報Ｃ_ｉｎｆｏ（ｎ）を用いた演算によりコピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）を算出する。Ｓ９３４では、フレームカウンタｊをインクリメントする。Ｓ９３５は、フレームカウンタｋに応じたループである。本変形例では、ｋが２以下の場合はＳ９３６へ処理を進め、それ以外の場合はＳ９４１へ処理を進める。Ｓ９３６では、ブロック情報Ｂ_ｉｎｆｏ（ｎ）を入力する。

Ｓ９３７では、ブロック情報Ｂ_ｉｎｆｏ（ｎ）を用いたブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）の算出方法により条件分岐である。分離方法が１の場合はＳ９３８へ処理を進め、分離方法が２の場合はＳ９３９へ処理を進める。Ｓ９３８では、上述した分離方法１で、ブロック情報Ｂ_ｉｎｆｏ（ｎ）を用いてブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を算出する。Ｓ９３９では、上述した分離方法２で、ブロック情報Ｂ_ｉｎｆｏ（ｎ）を用いてブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を算出する。Ｓ９４０では、フレームカウンタｋをインクリメントする。Ｓ９４１では、フレームカウンタのリセットを行う。Ｓ９４２は、フレームカウンタｊに応じたループである。本変形例では、ｊが２以下の場合はＳ９４３へ処理を進め、それ以外の場合はＳ９５１へ処理を進める。Ｓ９４３は、フレームカウンタｍに応じたループである。本変形例では、ｋが２以下の場合はＳ９３５へ処理を進め、それ以外の場合はＳ９５０へ処理を進める。Ｓ９４４は、フレームカウンタｌに応じたループである。本変形例では、ｌが４以下の場合はＳ９４５へ処理を進め、それ以外の場合はＳ９４９へ処理を進める。
Ｓ９４５は、フレームカウンタｍに応じたループである。本変形例では、ｍが３以下の場合はＳ９４６へ処理を進め、それ以外の場合はＳ９４８へ処理を進める。Ｓ９４６では、輝度レベル分離フレームＬ_ｉｍｇ（ｌ，ｎ）と空間周波数分離フレームＳ_ｉｍｇ（ｍ，ｎ）とコピー領域分離フレームＣ_ｉｍｇ（ｊ，ｎ）とブロック分離フレームＢ_ｉｍｇ（ｋ，ｎ）を用いてサブ分離フレームＪ_ｉｍｇ（ｌ，ｍ，ｎ）を生成する。Ｓ９４７では、フレームカウンタｍをインクリメントする。Ｓ９４８では、フレームカウンタｌをインクリメントする。Ｓ９４９では、フレームカウンタｋをインクリメントする。Ｓ９５０では、フレームカウンタｊをインクリメントする。Ｓ９５１は、画像分離部９０３の処理の終了を表している。

輝度変動パターン計算部９０６では、変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を計算する。本変形例では、ｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）は任意の時間関数である。また、画像情報に基づいて変動パターンを作成するのではなく、予めメモリ上にデータとして記憶されているものとする。本変形例では、ｊ＝２、ｋ＝２、ｌ＝４、ｍ＝３の場合、４８個の変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）が生成される。

ｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）の総数はｊ×ｋ×ｌ×ｍ個である必要はなく、ｊ、ｋ、ｌ、ｍの数に依存しない数ｓの関数ｆ_ｒ（ｓ，ｎ）であったり、単一の変動成分ｆ_ｒ（ｎ）であったりしてもよい。

輝度変動部９０４では、式３３に従ってＳ９０３で表すサブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）とＳ９０７で表す変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）ときらめき強度パラメータｋを用いて、輝度変動サブ分離フレームＡ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を生成する。

Ａ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）＝Ｊ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）×｛ｋｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）＋１｝・・・（式３３）
式３３では、サブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を乗じて輝度変動サブ分離フレームＡ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を算出しているが、発明はこれに限定されることなく、サブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を加算して輝度変動サブ分離フレームＡ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を算出してもよく、また、乗算と加算を組み合わせて算出してもよい。

また、式３３では、サブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に一様に変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）を乗じているが、以下の式１３１で示すように、時空間的に変動する変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）を乗じてもよい。

Ａ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）＝Ｊ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）×｛ｋｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）＋１｝・・・（式３４）
式３３において、サブ分離フレーム、ｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）は式３４で表すｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）にｘ方向とｙ方向の空間変動を加えたものである。

ｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）＝ｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ）＊ｆ_ｓ（ｘ，ｙ）・・・（式３４）
ｆ_ｓ（ｘ，ｙ）は任意の空間関数であり、例えば式３５で表す疑似乱数ｆ（ｚ）＝ｒａｎｄ（ｚ）を適用することができる。ｆ（ｚ）は入力値ｚにより０から１に変化する関数である。

ｆ_ｓ（ｘ，ｙ）＝ｒａｎｄ（ｘ＋ｙＸ）・・・（式３５）
式３５により、ｆ_ｓ（ｘ，ｙ）はサブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）の画素毎に異なる値となるため、式１３２により生成される変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）は画素毎に異なる値を持つ時空間変動となる。また、式３５の代わりに以下に示す式３６を適用することも可能である。

ｆ_ｓ（ｘ_ｐ，ｙ_ｑ）＝ｒａｎｄ（ｘ_ｐ−ｘ_ｐ％ｂ＋（ｙ_ｑ−ｙ_ｐ％ｂ）×Ｘ）・・・（式３６）
式３６において、ｂはブロック係数であり１以上の整数を取る。％は剰余算を表す演算子であり、例えばｘ_ｐ＝７２０、ｂ＝１６のとき、ｘ_ｐ％ｂ＝０であり、ｘ_ｐ＝３００、ｂ＝１９のとき、ｘ_ｐ％ｂ＝１５である。

式３６により、ｆ_ｓ（ｘ，ｙ）はサブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）に対してブロック係数ｂを一辺とする正方形毎に異なる値となるため、式１３２により生成される変動パターンｆ_ｒ（ｊ，ｋ，ｌ，ｍ，ｎ，ｘ，ｙ）はブロック係数ｂを一辺とする正方形毎に異なる値を持つ時空間変動となる。

その後に、式３７に示すように、全ての輝度変動サブ分離フレームＪ_ｉｍｇ（ｊ，ｋ，ｌ，ｍ，ｎ）を合成して出力フレームＯ（ｎ）を生成する。

・・・（式３７）
本変形例では、ｊ_０＝１、ｋ_０＝１、ｌ_０＝１、ｍ_０＝１、Ｊ_ｍａｘ＝２、ｋ_ｍａｘ＝２、ｌ_ｍａｘ＝４、ｍ_ｍａｘ＝３である。

上記の発明によれば、入力周波数よりも大きな輝度変動を持った動画を出力可能となる。この輝度変動は、従来のディスプレイシステムでは表現できなかった高周波の変動成分であり、この変動によって、実シーンに含まれている輝度の時間周波数成分を擬似的に再現することにより、映像にリアリティを持たせることができる。

また、フレームレート変換の精度悪からくる画質劣化位置を避けて輝度変動を重畳可能であるため、ノイズを目立たせることなく、輝度の時間周波数成分を擬似的に再現することが可能となる。

本変形例では、６０Ｈｚ周波数の画像から２４０Ｈｚ周波数の画像を生成しているが、それに限定されるものでない。また、本変形例に係るフレームレート変換は、フレームのコピーを利用しているが、動き補償を用いてサブフレームを生成してもよい。このように、入力、フレームレート変換、輝度変動抽出、画像分離、輝度変動パターン生成、輝度変動付加、出力は、それぞれの機能の処理単位は、画素、ライン、ブロック、画像領域、フレーム等であり、それぞれの機能の処理単位は、種々組み合わせる構成を採用することも可能である。輝度変動に関して、本変形例では乗算により実現しているが、輝度に変動を与える方法であれば、どのような方法でもよく、乗算に限定されるものではない。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムの一部として適用しても、１つの機器からなる装置の一部に適用してもよい。また、複数の実施形態を挙げて説明したが、これらは個別に構成されるだけでなく、それぞれの構成要素を任意の組み合わせで、再構成することも可能である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理装置であって、
   変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するサブフレーム生成手段と、
   前記着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の変動パターンを生成する輝度変動パターン生成手段と、
   前記輝度変動パターン生成手段で生成されたｎ枚の変動パターンを、前記サブフレーム生成手段で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する出力フレーム生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記輝度変動パターン生成手段は、
   着目フレームを含む過去のｎ枚のフレームの同画素位置の平均値を算出することで、平均画素値で構成される輝度平均値フレームを算出する第１の算出手段と、
   着目フレームを含む過去のｎ枚のフレームの各々と、前記第１の算出手段で算出した輝度平均値フレームとの差分を、前記ｎ枚の輝度変動パターンとして算出する第２の算出手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数のフレームから各画像の特徴情報を抽出する特徴情報抽出手段を更に備え、
   前記輝度変動パターン生成手段は、前記特徴情報に基づいて、前記輝度変動パターンを生成することを特徴とする請求項１に記載の画像処理装置。
4. 前記特徴情報は、前記複数のフレーム間における輝度値、明るさ、エッジ位置、空間乱雑度及び動きベクトルの変動を示す情報の少なくとも１つを含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記輝度変動パターンを格納するデータベースを更に備え、
   前記輝度変動パターン生成手段は、前記特徴情報を前記データベースのインデックス値に変換し、該インデックス値に基づいて、前記輝度変動パターンを前記データベースから取得することにより、前記輝度変動パターンを生成することを特徴とする請求項３に記載の画像処理装置。
6. 前記ｎ枚のサブフレームのそれぞれをｍ枚（ｍは２以上の整数）のサブ分離フレームに分離する画像分離手段を更に備え、
   前記出力フレーム生成手段は、前記ｎ枚の変動パターンに基づいて、前記ｍ枚のサブ分離フレームの各々の輝度値を変動させた後に該ｍ枚のサブ分離フレームを合成することにより、前記ｎ枚の出力フレームを生成することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記画像分離手段は、
   前記ｎ枚のサブフレームのそれぞれを予め定めた輝度レベル毎に分離して、複数の輝度レベル分離フレームを生成する輝度レベル分離手段と、
   前記ｎ枚のサブフレームのそれぞれを予め定めた空間周波数帯域毎に分離して、複数の空間周波数帯域分離フレームを生成する空間周波数分離手段と、
   前記輝度レベル分離フレーム及び前記空間周波数帯域分離フレームに基づいて、前記ｍ枚のサブ分離フレームを生成する分離画像生成手段と、
   を有することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像分離手段は、
   前記サブフレーム生成手段が前記複数のフレームを構成する各画素をコピーすることにより、前記ｎ枚のサブフレームを構成する各画素を生成したか否かを示すコピー領域情報に基づいて、前記ｎ枚のサブフレームを分離して複数のコピー領域分離フレームを生成するコピー領域分離手段と、
   前記サブフレーム生成手段が前記ｎ枚のサブフレームを生成する処理単位であるブロック情報に基づいて、前記複数のフレームを分離して複数のブロック分離フレームを生成するブロック分離手段と、
   を有することを特徴とする請求項６に記載の画像処理装置。
9. フレームレートＦ／ｓｅｃの動画像データをｎ×Ｆ／ｓｅｃ（ｎは２以上の整数）の動画像データに変換する画像処理方法であって、
   変換対象の動画像中の着目フレームから、ｎ枚のサブフレームを生成するサブフレーム生成工程と、
   前記着目フレームを含む過去の複数のフレームから、時系列に輝度が変動するｎ枚の変動パターンを生成する輝度変動パターン生成工程と、
   前記輝度変動パターン生成工程で生成されたｎ枚の変動パターンを、前記サブフレーム生成工程で生成されたｎ枚のサブフレームのそれぞれに加算することで、ｎ枚の出力フレームを生成して出力する出力フレーム生成工程と、
   を有することを特徴とする画像処理方法。

Images