JP2017191990A - コントラスト補正装置及びプログラム - Google Patents

Abstract

【課題】フレームレートを変換した映像のコントラストを補正して主観画質を向上させる。【解決手段】コントラスト補正装置１は、フレームレート変換映像の各フレーム画像の時空間周波数帯域を分割して、時空間周波数帯域分割画像を生成する時空間周波数帯域分割部１１と、時空間周波数帯域分割画像の時空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して帯域毎コントラスト補正画像を生成するコントラスト補正部１２と、帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力するフレーム画像再構成部１３と、を備える。【選択図】図１

Description

本発明は、フレームレートを変換した映像の主観画質の低下を補正するコントラスト補正装置及びプログラムに関する。

従来、フレームレートを変換する一般的な手法として、線形補間フレーム内挿法と動き補正フレーム内挿法が知られている（例えば、非特許文献１参照）。線形補間フレーム内挿法では、時間軸上の内挿フレーム位置の前後フレーム画像に対して、線形フィルタ処理を適用して内挿フレームを生成する。動き補正フレーム内挿法では、時間軸上の内挿フレーム位置の前後フレーム画像間で動き推定を行い、その結果を用いて内挿フレーム位置に動き補正フレーム内挿を行う。また、動き推定精度や確度が高くないと判定された空間領域では線形補間フレーム内挿法を用いることで、動き推定誤りに伴うブロック歪などのアーティファクトの発生を抑制することができる。

また、特許文献１には、動き補正フレーム内挿法を用いてフレームレート変換を行うテレビジョンにおいて、例えば５０Ｈｚから１００Ｈｚにフレームレートを変換後にチャンネル番号等のキャラクタ文字を合成するのは回路規模が大きくなるため、フレームレート変換前にキャラクタ文字を合成してからフレームレート変換を行うこと、さらにキャラクタ文字を合成するオンスクリーン表示領域では、動き補正フレーム内挿を行わないなどの工夫で、高画質なフレームレート変換を行うことが記載されている。

特許第４８７８６２８号公報

「ハイビジョン技術」、日本放送出版協会、1988年11月

フレームレートを変換する場合には、原画像が持つ映像表現をなるべく損なわないようにすることが望ましい。しかし、従来のフレームレート変換法は、視覚のコントラスト感度を考慮したコントラスト補正を行っていないため、誤り無くフレーム内挿を行うことができたとしても、主観画質が低下するという課題がある。この原因として、フレームレート変換に伴う視覚のコントラスト感度の変化により、本来知覚されづらいはずのコントラスト差分が知覚される、又はその逆の現象が発生することが考察される。

図４に、明所視における視覚の時空間コントラスト感度特性を示す。横軸は空間周波数を表し、縦軸はコントラスト感度を表す。ここで、コントラスト感度はコントラスト閾値の逆数であり、コントラスト閾値は刺激の検出ができる最低のマイケルソン（Michelson）コントラストである。図４は時空間コントラスト感度特性の一例であり、コントラスト感度はこの値に限られるものではなく、またより多くの時間周波数のコントラスト感度を含むものであってもよい。時空間コントラスト感度特性の詳細については、例えば、J. G. Robson, "Spatial and Temporal Contrast-Sensitivity Functions of the Visual System", Journal of the Optical Society of America, Vol. 56, Issue 8, pp. 1141-1142 (Mar. 1966)を参照されたい。

図４では時間周波数を変化させた場合のコントラスト感度を示しており、白丸のプロットは時間周波数が１サイクル／秒の場合を示し、黒丸のプロットは時間周波数が６サイクル／秒の場合を示し、白三角のプロットは時間周波数が１６サイクル／秒の場合を示し、黒三角のプロットは時間周波数が２２サイクル／秒の場合を示す。なお、図４では時間周波数が２２サイクル／秒（４４フレーム／秒）までしか示されていないが、それ以上の場合は値を外挿して計算することができる。２２サイクル／秒より時間周波数が高くなっても、コントラスト感度は指数関数的にしか減少しない。

図５を参照してマイケルソンコントラストについて説明する。図５（ａ）に示すような縞模様（正弦波格子）の輝度は、図５（ｂ）で示される。なお、図５（ａ）と図５（ｂ）の横軸のスケールは一致していない。縞模様の最大輝度をＬ_maxとし、縞模様の最小輝度をＬ_minとすると、マイケルソンコントラストＣは式（１）で表される。

図４より、視覚の時空間コントラスト感度は、時間周波数が１サイクル／秒といった低い場合には中間周波数帯域が高い帯域通過型の特性を示す。一方、一般的な映像のように時間周波数が８サイクル／秒（すなわち、１６フレーム／秒）を超える場合には低域通過型の特性を示し、時間周波数が上昇するほど全ての空間周波数帯域にわたりコントラスト感度が低下する。以上より、フレームレート変換においてフレームレートが低下する場合と上昇する場合について、以下の課題が考えられる。

フレームレート変換によりフレームレートが低下する場合は、図４より全ての空間周波数帯域にわたり視覚の時空間コントラスト感度が上昇するため、本来知覚されづらいはずのコントラスト差分が知覚されやすくなるという現象が発生する。例えば、１２０フレーム／秒のスーパーハイビジョン映像から２４フレーム／秒のデジタルシネマ映像へフレームレート変換を行う場合は、視覚の時空間コントラスト感度が上昇するため、フレームレート変換前の１２０フレーム／秒の映像を視聴する際には知覚されづらかったコントラスト差分が知覚されやすくなる。

また、フレームレート変換によりフレームレートが上昇する場合は、図４より全ての空間周波数帯域にわたり視覚の時空間コントラスト感度が低下するため、本来知覚されやすいはずのコントラスト差分が知覚されづらくなるという現象が発生する。例えば、２４フレーム／秒のデジタルシネマ映像から１２０フレーム／秒のスーパーハイビジョン映像へフレームレート変換を行う場合は、視覚の時空間コントラスト感度が低下するため、フレームレート変換前の２４フレーム／秒の映像を視聴する際には知覚されやすかったコントラスト差分が知覚されづらくなる。

かかる事情に鑑みてなされた本発明の目的は、フレームレートを変換した映像のコントラストを補正して主観画質を向上させることが可能なコントラスト補正装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るコントラスト補正装置は、フレームレートが変換されたフレームレート変換映像のコントラストを補正するコントラスト補正装置であって、前記フレームレート変換映像の各フレーム画像の時空間周波数帯域を分割して、時空間周波数帯域分割画像を生成する時空間周波数帯域分割部と、前記時空間周波数帯域分割画像の時空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して帯域毎コントラスト補正画像を生成するコントラスト補正部と、前記帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力するフレーム画像再構成部と、を備えることを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、前記時空間周波数帯域分割画像の空間周波数帯域毎にコントラストを、前記フレームレートが高く変換された場合には大きくなり、前記フレームレートが低く変換された場合には小さくなるように補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性に基づき、前記時空間周波数帯域分割画像の時空間周波数帯域毎にコントラストを補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、前記時空間周波数帯域分割画像の時空間周波数帯域毎に、前記時空間コントラスト感度特性に基づき、フレームレート変換後の時間周波数におけるコントラスト感度に対するフレームレート変換前の時間周波数におけるコントラスト感度の比で表される補正係数を求め、前記空間周波数帯域毎にコントラストを前記補正係数倍になるように補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記コントラスト補正部は、空間の異方性を考慮して前記時空間周波数帯域分割画像のコントラストを時空間周波数帯域毎に補正することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記時空間周波数帯域分割部は、前記時空間コントラスト感度特性を基準に、水平方向及び垂直方向の分解階数を決定することを特徴とする。

さらに、本発明に係るコントラスト補正装置において、前記時空間周波数帯域分割部は、ウェーブレット分解を用いて各フレーム画像を空間周波数帯域分割画像に分解し、前記フレーム画像再構成部は、ウェーブレット再構成を用いて空間周波数帯域分割画像をフレーム画像に逆変換することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記コントラスト補正装置として機能させることを特徴とする。

本発明によれば、フレームレートを変換した映像の主観画質を向上させることができるようになる。

本発明の一実施形態に係るコントラスト補正装置の構成例を示すブロック図である。 本発明の一実施形態に係るコントラスト補正装置における時空間周波数帯域分割処理を説明する図である。 本発明の一実施形態に係るコントラスト補正装置におけるコントラスト補正処理に用いるコントラスト補正関数を示す図である。 明所視における視覚の時空間コントラスト感度特性を示す図である。 マイケルソンコントラストを説明する図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

本発明の一実施形態に係るコントラスト補正装置について、以下に説明する。図１に、本発明の一実施形態に係るコントラスト補正装置の構成例を示す。図１に示す例では、コントラスト補正装置１は、時空間周波数帯域分割部１１と、コントラスト補正部１２と、フレーム画像再構成部１３とを備える。コントラスト補正装置１は、フレームレート変換映像と、時空間コントラスト感度特性情報と、空間周波数情報と、時間周波数情報とを入力し、フレームレート変換映像のコントラストを補正したコントラスト補正映像を出力する。

フレームレート変換映像とは、任意の手法によりフレームレートが変換された映像である。

時空間コントラスト感度特性情報とは、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性の情報である。時空間コントラスト感度特性の一例は図４に示したとおりである。図４のコントラスト感度はコントラストとして式（１）に示したマイケルソンコントラストを用いているが、コントラストとして一般的なＬ_max／Ｌ_minを用いてもよい。また、本実施形態では、コントラストの算出に用いるＬ_max及びＬ_minを絶対値とする。

空間周波数情報とは、フレームレート変換映像の空間周波数（空間解像度）を示す情報である。なお、フレームレート変換映像の空間周波数は、フレームレート変換前の映像の空間周波数と同一である。本実施形態では、空間周波数の単位をサイクル／度とする。

時間周波数情報とは、フレームレート変換映像のフレームレート変換前後の時間周波数を示す情報である。本実施形態では、時間周波数の単位をサイクル／秒とする。フレームレートの単位はフレーム／秒であるため、時間周波数はフレームレートの１／２倍となる。

時空間周波数帯域分割部１１は、フレームレート変換映像を入力して、これを時空間周波数帯域分割して、時空間周波数帯域分割画像をコントラスト補正部１２に出力する。時空間周波数帯域分割は、フーリエ変換、オクターブ分解、ウェーブレット分解などにより行う。本実施形態では、ウェーブレット分解を行うものとして説明する。なお、水平方向の分解階数ｎ_h、垂直方向の分解階数ｎ_v、及び時間方向の分解階数ｎ_tは、個別に設定可能である。また、ウェーブレット分解は各分解階数におけるパワーレベルを均等に保つために、パーセバルの等式を満たすように処理を行う。なお、特定の時空間周波数帯域のみを更にウェーブレット分解してもよい。

図２を参照して、時空間周波数帯域分割部１１のウェーブレット分解処理を説明する。ここでは、水平方向の分解階数ｎ_h＝２、垂直方向の分解階数ｎ_v＝２、時間方向の分解階数ｎ_t＝１としている。時間方向の分解階数ｎ_t＝１の場合、画像は時間低周波数帯域画像と時間高周波数帯域画像とに分解される。また、水平方向の分解階数ｎ_h＝２、垂直方向の分解階数ｎ_v＝２の場合、時間低周波数帯域画像と時間高周波数帯域画像のそれぞれについて、分解階数ｎ_h＝１，ｎ_v＝１の空間周波数帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）の画像と、分解階数ｎ_h＝２，ｎ_v＝２の空間高周波数帯域（ＬＬ²，ＬＨ²，ＨＬ²，ＨＨ²）の画像とに分割される。

あるいは、時空間周波数帯域分割部１１は、時空間コントラスト感度特性情報及び空間周波数情報を更に入力し、周波数分解能にあたる水平方向及び垂直方向の分解階数ｎ_h，ｎ_vを、時空間コントラスト感度特性を基準に、映像の空間周波数から決定してもよい。この場合、図４に示したように、一般的な映像の時間周波数では時空間コントラスト感度が低域通過型の特性を示すため、映像を標準視距離で見た際にｎ階ウェーブレット分解した空間低周波数帯域が時空間コントラスト感度特性においてフラットな領域に入るように分解階数ｎを決定する。

例えば、スーパーハイビジョンでは、水平画素数が７６８０画素、標準視距離０．７５Ｈ（Ｈは画面高）における視野角が約１００度であるため、空間周波数は７６．８画素／度となり、単位をサイクル／度に変換すると約４０サイクル／度となる。そして、図４に示したように、コントラスト感度がほぼフラットな領域になるのは空間周波数が約２．５サイクル／度以下であり、ウェーブレット分解はオクターブ分解の一種であるため、分解階数ｎ_h，ｎ_vはそれぞれ４あればよいことになる（４０×（１/２）⁴＝２．５）。

コントラスト補正部１２は、時空間周波数帯域分割部１１により生成された時空間周波数帯域分割画像のコントラストを、変換前後のフレームレートに基づいて時空間周波数帯域毎に補正して、補正後の時空間周波数帯域分割画像（帯域毎コントラスト補正画像）を生成し、フレーム画像再構成部１３に出力する。

コントラスト補正部１２は、時空間周波数帯域分割画像の帯域毎の補正前のコントラストを、時空間周波数帯域毎に、絶対値の最大値（最大絶対値）をＬ_max、絶対値の最小値（最小絶対値）をＬ_minとして算出し、このコントラストを補正する。

例えば、コントラスト補正部１２は、フレームレート変換映像がフレームレートを高くするように変換された映像である場合には、時空間周波数帯域分割画像のコントラストが大きくなるように補正し、フレームレート変換映像がフレームレートを低くするように変換された映像である場合には、時空間周波数帯域分割画像のコントラストが小さくなるように補正する。

あるいは、コントラスト補正部１２は、時空間周波数帯域分割部１１により生成された時空間周波数帯域分割画像のコントラストの補正量を決定するために、時空間コントラスト感度特性を用い、コントラスト感度の変化率に応じてコントラストを補正してもよい。このコントラスト補正方法については、実施例にて後述する。

また、斜め方向のコントラスト感度は低下することが知られているため、コントラスト補正部１２は、さらに空間の異方性を考慮して時空間周波数帯域分割画像のコントラストを時空間周波数帯域毎に補正してもよい。例えば、斜め方向用の時空間コントラスト感度特性を別途用意するか、あるいは時空間コントラスト感度特性を補正して斜め方向のコントラスト感度を推定する。

フレーム画像再構成部１３は、コントラスト補正部１２により生成された帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正されたコントラスト変換映像をコントラスト補正装置１の外部に出力する。時空間周波数帯域分割部１１においてｎ階ウェーブレット分解を行った場合には、フレーム画像再構成部１３においてｎ階ウェーブレット再構成を行う。

（実施例）
つぎに実施例として、２４フレーム／秒の４Ｋデジタルシネマを６０フレーム／秒の４Ｋテレビジョンにフレームレートを変換したフレームレート変換映像のコントラストを、時空間コントラスト感度特性を用いて補正する例について、以下に説明する。本実施例では、図２と同様に、水平方向の分解階数ｎ_h＝２、垂直方向の分解階数ｎ_v＝２、時間方向の分解階数ｎ_t＝１とする。

４Ｋテレビジョンは、水平画素数が３８４０（又は４０９６）画素、標準視距離１．５Ｈにおける視野角が約６０度であるため、最大空間周波数は６４画素／度となり、単位をサイクル／度に変換すると約３０サイクル／度となる。また、垂直画素数が２１６０画素、標準視距離１．５Ｈにおける視野角が約４０度であるため、最大空間周波数は５４画素／度となり、単位をサイクル／度に変換すると約３０サイクル／度となる。

最大空間周波数が３０サイクル／度の画像を空間方向に２階ウェーブレット分解すると、分解階数ｎ_h＝１，ｎ_v＝１の空間周波数帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）は１５〜３０サイクル／度となるため、その代表値を２２．５サイクル／度とする。また、分解階数ｎ_h＝２，ｎ_v＝２のうちの空間高周波数帯域（ＬＨ²，ＨＬ²，ＨＨ²）は７．５〜１５サイクル／度となるため、その代表値を１１．２５サイクル／度とする。また、分解階数ｎ_h＝２，ｎ_v＝２のうちの空間低周波数帯域（ＬＬ²）は０〜７．５サイクル／度となるため、その代表値を３．７５サイクル／度とする。

フレームレート変換映像のフレームレートは２４フレーム／秒から６０フレーム／秒に変換されており、単位をサイクル／秒に変換すると、最大時間周波数が１２サイクル／秒から３０サイクル／秒への変換となる。

最大時間周波数が１２サイクル／秒の画像を時間方向に１階ウェーブレット分解すると、時間高周波数帯域（Ｈ¹）は６〜１２サイクル／秒となり、時間低周波数帯域（Ｌ¹）は０〜６サイクル／秒となる。また、最大時間周波数が３０サイクル／秒の画像を時間方向に１階ウェーブレット分解すると、時間高周波数帯域（Ｈ¹）は１５〜３０サイクル／秒となり、時間低周波数帯域（Ｌ¹）は０〜１５サイクル／秒となる。つまり、本実施例のフレームレート変換は、時間高周波数帯域（Ｈ¹）については代表値が９サイクル／秒から２２．５サイクル／秒への変換となり、時間低周波数帯域（Ｌ¹）については代表値が３サイクル／秒から７．５サイクル／秒への変換となる。

コントラスト補正部１２は、時空間コントラスト感度特性より、フレームレート変換前後の時間周波数についてそれぞれ、時空間周波数帯域分割画像の各周波数帯域のコントラスト感度（ＣＳ：Contrast Sensitivity）を求める。

時間高周波数帯域（Ｈ¹）における、各空間周波数帯域のコントラスト感度は、９サイクル／秒から２２．５サイクル／秒へフレームレートを変換したとして図４を参照すると、以下のようになる。水平・垂直方向の分解階数ｎ_h＝１，ｎ_v＝１の空間周波数帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）は、コントラスト感度が６から１になる。水平・垂直方向の分解階数ｎ_h＝２，ｎ_v＝２のうちの空間高周波数帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）は、コントラスト感度が２６から３になる。水平・垂直方向の分解階数ｎ_h＝２，ｎ_v＝２のうちの空間低周波数帯域（ＬＬ²）は、コントラスト感度が９０から１２になる。

また、時間低周波数帯域（Ｌ¹）における、各空間周波数帯域のコントラスト感度は、３サイクル／秒から７．５サイクル／秒へフレームレートを変換したとして図４を参照すると、以下のようになる。水平・垂直方向の分解階数ｎ_h＝１，ｎ_v＝１の空間周波数帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）は、コントラスト感度が１１から１０になる。水平・垂直方向の分解階数ｎ_h＝２，ｎ_v＝２のうちの空間高周波数帯域（ＬＨ¹，ＨＬ¹，ＨＨ¹）は、コントラスト感度が５０から４０になる。水平・垂直方向の分解階数ｎ_h＝２，ｎ_v＝２のうちの空間低周波数帯域（ＬＬ²）は、コントラスト感度が２００から１８０になる。

補正係数Ｍは、フレームレート変換後の時間周波数におけるコントラスト感度に対する、フレームレート変換前の時間周波数におけるコントラスト感度の比として求める。これらをまとめると下記の表１のようになる。

コントラスト補正部１２は、フレームレート変換映像の各時空間周波数帯域分割画像のコントラストが補正係数倍になるように補正する。なお、時空間最低周波数帯域（Ｌ¹且つＬＬ²）については、便宜的に直流成分だとみなしてコントラストの補正を行わなくてもよいし、同様に補正を行ってもよい。

コントラスト感度の逆数がコントラスト閾値となり、刺激の検出ができる最低のコントラストとなる。コントラスト補正部１２は、各時空間周波数帯域において、コントラスト閾値の変化に応じて補正を行うものである。この補正を行うことで、例えばコントラスト閾値が上昇（コントラスト感度が低下）した場合には、フレームレート変換前にコントラスト差分が知覚されていたが変換後は知覚されなくなったものを知覚されるように補正することができる。また、コントラスト閾値が低下（コントラスト感度が上昇）した場合には、フレームレート変換前にコントラスト差分が知覚されていなかったが変換後は知覚されるようになったものを知覚されないように補正することができる。

図３は、コントラスト補正処理に用いるコントラスト補正関数ｙ＝ｆ（ｘ）を示す図であり、横軸ｘはコントラスト補正前の要素の絶対値を示し、縦軸ｙはコントラスト補正後の要素の絶対値を示す。最大絶対値と最小絶対値の平均値Ｌ_ave＝（Ｌ_max＋Ｌ_min）／２を一定に保ったままコントラストを補正係数倍に変換すると、コントラスト変換後の要素の最大絶対値Ｌ’_maxはＬ_ave＋（Ｌ_max−Ｌ_ave）×Ｍとなり、コントラスト変換後の要素の最小絶対値Ｌ’_minはＬ_ave−（Ｌ_ave−Ｌ_min）×Ｍとなる。コントラスト補正部１２は、コントラスト補正関数に従ってコントラストを変換した後、コントラスト変換前の要素の値と同一の正負の符号を付す。また、コントラスト変換後の要素の値がその下限値又は上限値を超える場合は、下限値又は上限値でクリップする。

なお、上述したコントラスト補正装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、コントラスト補正装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、コントラスト補正装置１、及びコントラスト補正装置１として機能するコンピュータは、フレームレート変換映像の各フレーム画像の時空間周波数帯域を分割して時空間周波数帯域分割画像を生成し、時空間周波数帯域分割画像の時空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して帯域毎コントラスト補正画像を生成し、帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力する。かかる構成により、本発明によれば、フレームレート変換映像の主観画質を向上させることが可能となる。

例えば、ある時空間低周波数帯域の変換前コントラスト感度が２０、すなわちコントラスト閾値が０．０５であり、変換後コントラスト感度は１０、すなわち変換後のコントラスト閾値が０．１であるとする。この時空間周波数帯域の要素の絶対値の最大値Ｌ_maxが５５であり、要素の絶対値の最小値Ｌ_minが４５である場合、マイケルソンコントラストは（５４−４６）／（５４＋４６）＝０．０８となる。この場合、フレームレート変換前の映像ではコントラストがコントラスト閾値以上であるため知覚されるが、フレームレート変換映像ではコントラストがコントラスト閾値より低いために知覚されなくなる。しかし、コントラスト補正装置１ではコントラスト補正部１２により、コントラストを例えば補正係数倍にすると補正後のコントラストが０．１６になるため、フレームレート変換映像でもコントラストを知覚することができるようになる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ コントラスト補正装置
１１ 時空間周波数帯域分割部
１２ コントラスト補正部
１３ フレーム画像再構成部

Claims (8)

1. フレームレートが変換されたフレームレート変換映像のコントラストを補正するコントラスト補正装置であって、
   前記フレームレート変換映像の各フレーム画像の時空間周波数帯域を分割して、時空間周波数帯域分割画像を生成する時空間周波数帯域分割部と、
   前記時空間周波数帯域分割画像の時空間周波数帯域毎にコントラストを変換前後のフレームレートに基づいて補正して帯域毎コントラスト補正画像を生成するコントラスト補正部と、
   前記帯域毎コントラスト補正画像をフレーム画像に逆変換して、コントラストが補正された映像を出力するフレーム画像再構成部と、
   を備えることを特徴とするコントラスト補正装置。
2. 前記コントラスト補正部は、前記時空間周波数帯域分割画像の空間周波数帯域毎にコントラストを、前記フレームレートが高く変換された場合には大きくなり、前記フレームレートが低く変換された場合には小さくなるように補正することを特徴とする、請求項１に記載のコントラスト補正装置。
3. 前記コントラスト補正部は、時間周波数を変化させたときの空間周波数に対する視覚のコントラスト感度を示す時空間コントラスト感度特性に基づき、前記時空間周波数帯域分割画像の時空間周波数帯域毎にコントラストを補正することを特徴とする、請求項１又は２に記載のコントラスト補正装置。
4. 前記コントラスト補正部は、前記時空間周波数帯域分割画像の時空間周波数帯域毎に、前記時空間コントラスト感度特性に基づき、フレームレート変換後の時間周波数におけるコントラスト感度に対するフレームレート変換前の時間周波数におけるコントラスト感度の比で表される補正係数を求め、前記空間周波数帯域毎にコントラストを前記補正係数倍になるように補正することを特徴とする、請求項３に記載のコントラスト補正装置。
5. 前記コントラスト補正部は、空間の異方性を考慮して前記時空間周波数帯域分割画像のコントラストを時空間周波数帯域毎に補正することを特徴とする、請求項１から４のいずれか一項に記載のコントラスト補正装置。
6. 前記時空間周波数帯域分割部は、前記時空間コントラスト感度特性を基準に、水平方向及び垂直方向の分解階数を決定することを特徴とする、請求項１から５のいずれか一項に記載のコントラスト補正装置。
7. 前記時空間周波数帯域分割部は、ウェーブレット分解を用いて各フレーム画像を空間周波数帯域分割画像に分解し、
   前記フレーム画像再構成部は、ウェーブレット再構成を用いて空間周波数帯域分割画像をフレーム画像に逆変換することを特徴とする、請求項１から６のいずれか一項に記載のコントラスト補正装置。
8. コンピュータを、請求項１から７のいずれか一項に記載のコントラスト補正装置として機能させるためのプログラム。

Images