JP2009134186A

JP2009134186A - 画像信号処理装置

Info

Publication number: JP2009134186A
Application number: JP2007311629A
Authority: JP
Inventors: Yutaka Ishida; 豊石田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-11-30
Filing date: 2007-11-30
Publication date: 2009-06-18
Anticipated expiration: 2027-11-30
Also published as: JP5154208B2

Abstract

【課題】画像処理の副作用による画質の劣化を防ぐ。
【解決手段】信号制限部５を備え、信号制限部５は、フレームレート変換処理部２、画像処理部３及び補償用画像処理部４から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限し、上記補償可能な輝度値と表示装置９が表示可能である最大輝度値との平均値、または上記補償可能な輝度値と表示装置９が表示可能である最小輝度値との平均値は、上記画像処理を行う前のフレーム画像の輝度値である。
【選択図】図１

Description

本発明は、フレームレート変換が行われた動画像信号を処理する画像信号処理装置に係り、特に、現在のフレーム画像で行った画像処理を、次のフレーム画像で補償することで、画像処理による副作用を抑えつつ動画像の画質向上を行う事が可能な画像信号処理装置に関するものである。

液晶ディスプレイやＣＲＴ等の表示装置には、ホールド型に分類されるものと、インパルス型に分類されるものが存在する。液晶ディスプレイはホールド型に分類され、ＣＲＴはインパルス型に分類される。両者の違いは、表示装置の各画素が、１フレーム分の期間、常時ほぼ同じ輝度となっているか否かであり、ＣＲＴの場合、各画素の蛍光体は、電子ビームによる走査を受けた瞬間から僅かな期間のみインパルス状に発光する。それに対し、液晶ディスプレイの各画素は、走査時に電極から得た電荷を各画素の容量に保持する。そのため、上記液晶ディスプレイの各画素は、次回の走査時までほぼ同じ輝度を維持する。

上記液晶ディスプレイのようなホールド型ディスプレイの特徴は、フリッカを生じにくい等の利点をもたらす一方、動画像を表示した際、被写体の動きに人間の目が追随することにより、ホールドぼけと呼ばれる現象が発生し、動画性能が悪くなる、即ち表示される動画像の品質が悪くなるという問題を生じる。

上記ホールドぼけを軽減する手法の一つとして、表示装置に入力された動画像信号を解析し、上記表示装置に連続して入力される２枚のフレーム画像の間に中間フレーム画像を生成する、フレームレート変換による手法が知られている。この手法では、通常フレームレートが６０フレーム毎秒、もしくは５０フレーム毎秒である入力動画像信号に含まれる、連続する２枚のフレーム画像に対して、ブロックマッチングなどの処理を行い、上記連続する２枚のフレーム画像の間で被写体がどれだけ動いたかを検出する。検出された動きを用いて、上記連続する２枚のフレーム画像の間に相当するフレーム画像を新たに作成し、挿入する。

このような手法により、動画像信号のフレームレートを毎秒１００〜１２０フレーム毎秒に変換し、フレームレート変換後の動画像信号を出力して動画像を表示する。表示される動画像のフレームレートを上げることにより、ホールド型ディスプレイであっても、各画素が一定の輝度を保持している時間が短くなるので、ホールドぼけが軽減される。このような動き検出による変換装置は、例えば特許文献１において開示されている。

このような手法は、連続して入力される２枚のフレーム画像の間に挿入されるフレーム画像、即ち内挿フレーム画像を上手く作成できれば有効に作用するが、上記内挿フレーム画像を作成するために必要な動きの検出を全く矛盾無く行うことは困難であり、前後のフレーム画像と整合が取れていない内挿フレーム画像が生成される場合がある。また、検出する動きが複雑である場合、表示装置の複雑化を招く。

ホールドぼけを軽減する他の手法として、入力動画像信号に対しフレームレート変換を加え、フレーム画像数を２倍とし、それぞれのフレーム画像に対し異なる画像処理を加える手法が知られている。この手法におけるフレームレート変換には、動き検出を用いたフレームレート変換も使用可能であるが、より簡単な、同じ入力フレーム画像を２枚ずつ出力することによるフレームレート変換を使用しても構わない。フレームレート変換によりフレーム画像数が２倍となった動画像信号の内、片方のフレーム画像に対し、対象画素とその周囲の画素を用いた画像処理、例えば該対象画素の輝度値を小さくする処理を行う。対象画素とその周囲の画素を用いた画像処理では、対象画素より輝度の低い画素が周囲に多くあれば対象画素の輝度も低くして出力する。逆に、対象画素より輝度の高い画素が周囲に多くあれば対象画素の輝度も高くする。これにより、表示装置の各画素が一定の輝度を保持している時間が短くなり、ホールドぼけが軽減される。

しかし、上記画像処理を行うだけでは、対象画素の輝度は周囲の画素の影響を受けたものとなるので、上記画像処理を行ったフレーム画像は、入力動画像信号に含まれるフレーム画像とは大きく異なることとなる。そこで、フレーム画像数が２倍となった動画像信号の内、もう一方のフレーム画像に対し、上記画像処理と逆の働きを持つ補償用画像処理、例えば上記対象画素の輝度値を大きくする処理を行う。フレームレート変換によりフレームレートが１００〜１２０フレーム毎秒程度となった動画像信号に対し、互いに逆の働きを持つ画像処理を行い表示することとなる。従って、人間の目には、上記画像処理及び上記補償用画像処理を行った２枚のフレーム画像の輝度が積分されて知覚され、これら２枚のフレーム画像は、入力動画像信号に含まれるフレーム画像と大きく異なるフレーム画像に見えることはない。

以上のように、同じ入力フレーム画像を２枚ずつ出力することにより入力動画像信号のフレームレートを変換し、２枚の同じ入力フレーム画像それぞれに対して、互いに逆の働きを持つ画像処理を行った場合、動き検出を行わないことから表示装置を簡単に構成することができ、内挿フレーム画像と前後のフレーム画像との間に不整合が生じることもない。

図７は、入力動画像信号に対してフレームレート変換を行い、それぞれのフレーム画像に対して異なる画像処理を行う従来の画像信号処理装置１０１のブロック図である。入力動画像信号は、フレームレート変換処理部１０２により、フレームレートが２倍となる。フレームレートが２倍となった動画像信号は、画像処理部１０３により、対象画素とその周囲の画素を用いた画像処理が行われる。補償用画像処理部１０４では、画像処理部１０３の出力と、フレームレート変換処理部１０２の出力とを用いて、画像処理部１０３と逆の働きを持つ画像処理を行う。信号選択部１０５は、１フレーム画像毎に、画像処理部１０３の出力と補償用画像処理部１０４の出力とを切り替えて動画像信号を出力する。

図８は、従来の画像信号処理装置１０１により処理される入出力動画像信号に含まれるフレーム画像を表示する、ある１画素における輝度を、時間を横軸としてグラフとしたものである。このグラフでは説明を簡単にするため、フレームレート変換を、同じ入力画像を２回出力する手法で行ったものとしている。

Ｒ１０３及びＲ１０４は、入力される動画像信号を構成するフレーム画像のある画素の輝度であり、Ｒ１０３、Ｒ１０４それぞれが継続している期間Ｔが、入力される動画像信号の１フレームの期間である。

今回、フレームレート変換は、同じ入力フレーム画像を２枚ずつ出力することにより行われるので、フレームレート変換後の輝度も、それぞれＲ１０３及びＲ１０４であるが、１フレームの期間Ｔにおいて、継続される期間がＴ／２であり、輝度が同じであるフレーム画像が２回繰り返して入力されている。また、Ｒ１０１、Ｒ１０２、Ｒ１０６、及びＲ１０７は、出力される動画像信号に含まれるフレーム画像の輝度である。

図７の信号選択部１０５が１フレーム画像毎に出力を切り替えることにより、輝度Ｒ１０１のフレーム画像、及び輝度Ｒ１０６のフレーム画像が画像処理部１０３から出力され、輝度Ｒ１０２のフレーム画像、及び輝度Ｒ１０７のフレーム画像が補償用画像処理部１０４から出力される。輝度Ｒ１０１のフレーム画像、及び輝度Ｒ１０６のフレーム画像が挿入されることにより、ホールドぼけが軽減される。

また、輝度Ｒ１０１のフレーム画像及び輝度Ｒ１０２のフレーム画像、もしくは輝度Ｒ１０６のフレーム画像及び輝度Ｒ１０７のフレーム画像が積分されて知覚される。このため、実際には輝度がＲ１０１、Ｒ１０２、Ｒ１０６、及びＲ１０７であるフレーム画像が表示されているにも関わらず、輝度がＲ１０３及びＲ１０４であるフレーム画像が表示されているように見せることができる。
特開平１−３０９５９７号公報（平成１年１２月１３日公開）

しかしながら、実際の表示装置には、表示できる最大輝度、最小輝度が存在し、両者の範囲内の輝度しか表示することはできない。そのため、図７の補償用画像処理部１０４の出力が飽和する場合がある。

図８において、図７の補償用画像処理部１０４から出力されるフレーム画像の輝度Ｒ１０７が、表示できる最大輝度を超える（飽和する）ことにより、図７の補償用画像処理部１０４から出力されるフレーム画像の輝度がＲ１０８となる場合、図９のようになる。

図９において、輝度Ｒ１０４のフレーム画像から輝度Ｒ１０６のフレーム画像を作成した画像処理と、逆の補償用画像処理を行った結果、フレーム画像の輝度はＲ１０７となる。しかし、輝度Ｒ１０７は、表示装置が表示可能である最大輝度Ｒ１０８を超えているため、最大輝度Ｒ１０８で飽和する。そのため、本来は輝度Ｒ１０６と輝度Ｒ１０７とが積分され、輝度Ｒ１０４のフレーム画像として知覚されるところが、輝度Ｒ１０６と輝度Ｒ１０８との積分である輝度Ｒ１０５のフレーム画像が知覚されてしまう。

このような場合、輝度の飽和が発生した箇所で表示輝度が本来より低く感じられ、真っ白な画像であった場合、白が本来より暗く感じられ（白沈み）、画質劣化を引き起こすこととなる。

同様に、図７の補償用画像処理部１０４の出力が表示できる最小輝度を下回った場合も、輝度の飽和が発生した箇所で表示輝度が本来より高く感じられ、真っ黒な画像で有った場合、黒が本来より明るく感じられ（黒浮き）、画質劣化を引き起こす。

本発明は、上記従来の問題点に鑑みなされたものであり、その目的は、画像処理の副作用による画質の劣化を防ぐことが可能な画像信号処理装置を提供するものである。

本発明の画像信号処理装置は、上記課題を解決するために、表示装置に表示させる動画像のフレームレートを変換する画像信号処理装置であって、複数の画素から構成される複数のフレーム画像により構成される動画像信号が入力され、上記動画像信号のフレームレートを２倍に変換するフレームレート変換手段と、上記複数のフレーム画像における現在のフレーム画像を構成する複数の画素それぞれに対して、対象画素と、その周囲の画素との輝度値を用いた画像処理を行う画像処理手段と、上記現在のフレーム画像の次にされるフレーム画像に対して、上記画像処理手段と逆の画像処理を行う補償用画像処理手段と、１フレーム画像毎に、上記画像処理手段の出力と上記補償用画像処理手段の出力とを切り替えることにより動画像信号を出力する信号選択手段とを備え、上記画像処理は、現在のフレーム画像を構成する複数の画素それぞれについて、輝度値を大きくまたは小さくする処理である画像信号処理装置において、第１信号制限手段を備え、上記第１信号制限手段は、上記フレームレート変換手段、上記画像処理手段及び上記補償用画像処理手段から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限し、上記補償可能な輝度値のフレーム画像を上記表示装置で表示した時の輝度値と上記表示装置が表示可能である最大輝度値との平均値、または上記補償可能な輝度値のフレーム画像を上記表示装置で表示した時の輝度値と上記表示装置が表示可能である最小輝度値との平均値は、上記画像処理を行う前のフレーム画像を上記表示装置で表示した時の輝度値であることを特徴とする。

上記発明によれば、上記画像処理を行ったフレーム画像の輝度値、または上記逆の画像処理を行ったフレーム画像の輝度値が、上記表示装置が表示可能である最大輝度または最小輝度を超える、即ち飽和する場合、上記第１信号制限手段は、これらの輝度値を上記補償可能な輝度値に制限する。

よって、上記表示装置が、上記補償可能な輝度値のフレーム画像と上記最大輝度値のフレーム画像とを表示した場合、これら２つの輝度の平均値は、上記画像処理を行う前のフレーム画像を上記表示装置で表示した時の輝度値と等しくなる。同様に、上記表示装置が、上記補償可能な輝度値のフレーム画像と上記最小輝度値のフレーム画像とを表示した場合、これら２つの輝度の平均値は、上記画像処理を行う前のフレーム画像を上記表示装置で表示した時の輝度値と等しくなる。

従って、上記補償可能な輝度値に制限されたフレーム画像が積分されて知覚され、上記信号選択手段から出力される動画像信号による動画像において、白が本来より暗く感じられる現象である白沈みや、黒が本来より明るく感じられる現象である黒浮きが発生しないので、上記画像処理の副作用または上記逆の画像処理の副作用による、該動画像の画質の劣化を防ぐことが可能となる。

また、上記画像信号処理装置では、上記第１信号制限手段に代えて第２信号制限手段を備え、上記第２信号制限手段は、上記フレームレート変換手段及び上記画像処理手段から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を上記補償可能な輝度値に制限してもよい。

これにより、上記画像処理手段から出力され、上記第２信号制限手段に入力されるフレーム画像の輝度値を上記第２信号制限手段において制限する場合、上記補償用画像処理手段の出力は必要とならない。そのため、上記補償用画像処理手段を一時的に停止しておくことが可能となる。従って、画像信号処理装置の消費電力を小さくすること、及び画像信号処理装置の処理時間を短くすることが可能となる。

上記画像信号処理装置では、上記第１信号制限手段は、第１ルックアップテーブルを有し、上記第１ルックアップテーブルは、上記現在のフレーム画像の輝度と、上記逆の画像処理を行ったフレーム画像の輝度とを用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限してもよい。

また、上記画像信号処理装置では、上記第２信号制限手段は、第２ルックアップテーブルを有し、上記第２ルックアップテーブルは、上記逆の画像処理の結果を用いて作成され、上記現在のフレーム画像の輝度と、上記画像処理を行ったフレーム画像の輝度とを用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限してもよい。

これらのルックアップテーブルを有することにより、上記画像処理の副作用または上記逆の画像処理の副作用による、該動画像の画質の劣化を防ぐことが可能となる。

本発明の画像信号処理装置は、以上のように、第１信号制限手段を備え、上記第１信号制限手段は、上記フレームレート変換手段、上記画像処理手段及び上記補償用画像処理手段から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限し、上記補償可能な輝度値と上記表示装置が表示可能である最大輝度値との平均値、または上記補償可能な輝度値と上記表示装置が表示可能である最小輝度値との平均値は、上記画像処理を行う前のフレーム画像の輝度値であるものである。

それゆえ、画像処理の副作用による画質の劣化を防ぐことが可能な画像信号処理装置を提供するという効果を奏する。

〔実施の形態１〕
本発明の一実施形態について図１〜図３に基づいて説明すれば、以下の通りである。

図１は、本実施形態の画像信号処理装置１の構成を示すブロック図である。図１において、画像信号処理装置１は、フレームレート変換処理部２、画像処理部３、補償用画像処理部４、信号制限部５及び信号選択部６を備えている。

フレームレート変換処理部２は、入力された動画像信号のフレームレートを２倍に変換する。フレームレート変換の方法として、同じフレーム画像を２枚ずつ出力する方法、及び上記入力された動画像信号に含まれる、連続する２枚のフレーム画像の間で動きを検出し、検出された動きを用いて、上記連続する２枚のフレーム画像の間に相当する画像を新たに作成し、挿入する方法がある。フレームレート変換処理部２は、これら２つの方法の両方とも適用可能である。

画像処理部３は、フレームレート変換処理部２から出力される動画像信号を受け取り、対象画素と、その周囲の画素との輝度値を用いた画像処理、例えば該対象画素の輝度値を小さくする処理を行う。

補償用画像処理部４は、フレームレート変換処理部２から出力される動画像信号と、画像処理部３から出力される動画像信号とを受け取り、画像処理部３から出力される動画像信号に基づいて、フレームレート変換処理部２から出力される動画像信号に対し、画像処理部３で行われる処理と逆の働きを持つ画像処理、例えば上記対象画素の輝度値を大きくする処理を行う。

信号制限部５は、まず、フレームレート変換処理部２から出力される動画像信号、画像処理部３から出力される動画像信号、及び補償用画像処理部４から出力される動画像信号を受け取る。次に、信号制限部５は、受け取った動画像信号に基づき、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度を、補償可能な範囲に制限する。

なお、本実施形態に記載の補償可能な輝度値に関して、上記補償可能な輝度値と後述する表示装置９が表示可能である最大輝度値との平均値、または上記補償可能な輝度値と表示装置９が表示可能である最小輝度値との平均値は、上記画像処理を行う前のフレーム画像の輝度値である。これにより、上記補償可能な輝度値に制限されたフレーム画像が積分されて知覚され、表示装置９が表示する動画像において、白が本来より暗く感じられる現象である白沈みや、黒が本来より明るく感じられる現象である黒浮きが発生せず、画質劣化を引き起こさなくなる。

以下に、補償用画像処理において、フレーム画像の輝度が飽和した場合の信号制限部５の動作について説明する。

信号制限部５は、まず、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の最大輝度が、上記表示装置が表示可能な最大輝度でなく、かつ補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の最大輝度が、上記表示装置が表示可能な最大輝度である場合、補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の輝度が飽和したことを示すフラグ信号（以降、単にフラグ信号と称する）を有効とする。同様に、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の最小輝度が、上記表示装置が表示可能な最小輝度でなく、かつ補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の最小輝度が、上記表示装置が表示可能な最小輝度である場合、上記フラグ信号を有効とする。

上の２つのどちらにも当てはまらない場合、上記フラグ信号を無効とする。なお、上記フラグ信号は、信号制限部５の内部で生成される信号である。

上記フラグ信号が無効である場合、信号制限部５は、画像処理部３から出力される動画像信号をそのまま信号選択部６へ出力する。

また、信号制限部５は、２次元ルックアップテーブルを有している。上記フラグ信号が有効である場合、２次元ルックアップテーブルは、フレームレート変換処理部２から出力される動画像信号と、補償用画像処理部４から出力される動画像信号とを入力として用いることにより、補償可能な輝度値を求める。信号制限部５は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値を、上記補償可能な輝度値で置き換えて出力とする。

信号制限部５は、前記２次元ルックアップテーブルにより求められる輝度値と、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度値との間の値を、信号制限部５から出力される動画像信号に含まれるフレーム画像の輝度値として用いる構成としても良い。両者の間の値としては、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度値と前記２次元ルックアップテーブルにより求められる輝度値とのちょうど中間の値、フレームレート変換処理部２の出力寄りの値、もしくは２次元ルックアップテーブルの出力寄りの値を用いるかを設定可能とすると、信号制限部５のゲイン制御として用いることができる。

なお、ここで言うフレームレート変換処理部２の出力寄りの値とは、上記ちょうど中間の値と、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度値との間の値である。同様に、２次元ルックアップテーブルの出力寄りの値とは、上記ちょうど中間の値と、前記２次元ルックアップテーブルにより求められる輝度値との間の値である。

図２は、前記２次元ルックアップテーブルの一例を示す図である。補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の輝度を、２次元ルックアップテーブルの左から１列目に縦方向（Ｙ方向）に並べ、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度を、上から１行目に横方向（Ｘ方向）に並べている。また、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度と、補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の輝度との交点の数値は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度を示している。上記交点の数値としては、ディスプレイ等の特性を考慮して、計算もしくは測定された値が予め入力されている。

補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の輝度値が、上記表示装置が表示可能な最小値、もしくは上記表示装置が表示可能な最大値の場合のみ、この２次元ルックアップテーブルは動作するので、縦方向の要素数は２である。横方向の要素数は、信号制限部５をデジタル信号処理回路で実現した場合、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度値のビット幅による。フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度値が８ｂｉｔ／画素であった場合、横方向の要素数は２５６個である。

横方向の要素数を、画素の全ての値分持たず、ある程度の間隔で間引いて持つことにより、要素数を削減することができる。間引かれた値に関しては、近隣の要素の値より、線形補間などの補間手法を用いて求める。図２の例では、横方向は輝度値を８ｂｉｔ／画素とし、３２毎に間引いている。

２次元ルックアップテーブルの要素として用いる値は、離散化された全ての画素値に対し、前もって、画像処理部３と同じ画像処理、及び補償用画像処理部４と同じ補償用画像処理を行い、補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の輝度値が飽和するか求めることにより作成することができる。この処理は、実際の画像処理装置を用いて行っても良いし、計算機上のプログラムにより、等価な処理を行っても良い。２次元ルックアップテーブルの要素として用いる値は、画像処理部３で行う画像処理と補償用画像処理部４で行う補償用画像処理との構成や、パラメータに基づいて、新たに画像信号処理装置１を使用し始める際に作成する必要がある。上記パラメータとしては、例えば上記表示装置が表示可能な輝度の最大値及び最小値、連続する２つの要素間の間隔がある。

以上のように、補償用画像処理において、フレーム画像の輝度が飽和した場合の信号制限部５の動作について説明したが、画像処理において、フレーム画像の輝度が飽和した場合の信号制限部５の動作についても同様である。この場合、信号制限部５は、画像処理部３から出力される動画像信号内の、フレーム画像の輝度値を制限し、補償用画像処理部４は、補償用画像処理を行った動画像信号をそのまま出力すればよい。この処理は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度が、補償可能な範囲か否かを求めることと、該輝度の制限を行うことを同時に行っているのに等しい。また、この処理を行う際は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度と、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度とに基づく２次元ルックアップテープルを用いれば良い。

信号選択部６は、画像処理部３から信号制限部５を経由して来た動画像信号、もしくは補償用画像処理部４から来た動画像信号を、１フレーム画像毎に切り替えて出力する。信号選択部６から出力される動画像信号は、フレームレート変換処理部２に入力される動画像信号と比較してフレームレートが２倍となり、１フレーム画像毎に、交互に異なる画像処理が加えられた動画像信号となる。

図３は、画像信号処理装置１により処理される入出力動画像信号に含まれるフレーム画像を表示する、ある１画素における輝度を、横軸を時間としてグラフにしたものである。入力される動画像信号の輝度はＲ４であり、同じフレーム画像を２枚ずつ出力する方法でフレームレート変換を行った場合、フレームレート変換処理部２により生成されるフレーム画像の輝度も同じくＲ４である。

図３において、Ｒ４が継続している期間Ｔが、入力される動画像信号の１フレームの期間である。上述したように、フレームレート変換は、同じ入力フレーム画像を２枚ずつ出力することにより行われるので、フレームレート変換後の輝度もＲ４であるが、１フレームの期間Ｔにおいて、継続される期間がＴ／２であり、輝度が同じであるフレーム画像が２回繰り返して入力されている。

フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像に対し、画像処理部３で画像処理を行ったフレーム画像の輝度はＲ６である。輝度Ｒ６に対応するように、輝度Ｒ４のフレーム画像に対して補償用画像処理を行ったフレーム画像の輝度は、本来Ｒ７であるべきである。しかし、動画像信号に含まれるフレーム画像の輝度値は、上記表示装置が表示可能な最大輝度と、上記表示装置が表示可能な最小輝度との範囲内に制限されるので、補償用画像処理部４により補償用画像処理を行ったフレーム画像の輝度は、Ｒ８となる。

輝度Ｒ８は飽和しているので、輝度Ｒ６のフレーム画像と、輝度Ｒ８のフレーム画像とが出力され、これらが積分されて知覚されると、輝度Ｒ５に近い輝度と知覚され、本来知覚されるべきである輝度Ｒ４と異なる輝度が知覚されてしまう。そこで、信号制限部５による輝度の制限が行われ、信号制限部５から出力されるフレーム画像の輝度は、Ｒ９となる。

従って、信号選択部６から出力される動画像信号として、輝度Ｒ９のフレーム画像と、輝度Ｒ８のフレーム画像とが出力され、これらが積分されて知覚されることにより、輝度Ｒ４に近い輝度と知覚される。

なお、図３では、輝度Ｒ７が上記表示装置の表示可能な最大輝度で飽和し、輝度Ｒ８となった場合について説明したが、上記表示装置の表示可能な最小輝度で飽和する場合も同様である。つまり、信号制限部５により制限された輝度と、上記最小輝度とが積分されて知覚されることにより、元の輝度、即ち画像処理と補償用画像処理とを行う前の輝度に近い輝度と知覚されるように、信号制限部５が輝度の制限を行えば良い。

さらに、本実施形態の画像信号処理装置１の出力で平均を取ると、理論上上記元の輝度になるが、実際には、上記元の輝度にはならない。これは、画像信号処理装置１の出力を用いて表示装置９で表示された輝度の平均値が演算誤差などを含むためであり、該平均値は元の輝度値と全く同一とはならず、上記元の輝度に近い値にはなる。

〔実施例〕
本実施形態における表示装置の一例を図４に示す。表示装置９は、画像信号処理装置１、表示処理部１０及び表示部１１を備えている。画像信号処理装置１に動画像信号が入力される。画像信号処理装置により画像処理が行われた動画像信号が、表示処理部１０へ入力される。表示処理部１０は、入力された動画像信号及び表示部１１を制御する制御信号を表示部１１に出力する。これにより表示部１１において動画像が表示できる。なお、本実施例では、画像信号処理装置１が表示装置９に内蔵されているが、これに限定されず、画像信号処理装置１が表示装置９の外部に設けられても良い。

〔実施の形態２〕
本発明の他の実施形態について図５及び図６に基づいて説明すれば、以下の通りである。なお、本実施形態において説明すること以外の構成は、前記実施の形態１と同じである。また、説明の便宜上、前記実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

図５は、本実施形態の画像信号処理装置７の構成を示すブロック図である。図５において、画像信号処理装置７は、フレームレート変換処理部２、画像処理部３、補償用画像処理部４、信号制限部８及び信号選択部６を備えている。

信号制限部８は、フレームレート変換処理部２から出力される動画像信号と、画像処理部３から出力される動画像信号とを受け取り、画像処理部３から出力される動画像信号を、次フレームで補償可能な範囲に制限する。

信号制限部８は、２次元ルックアップテーブルを有している。この２次元ルックアップテーブルは、補償用画像処理部４が行う補償用画像処理も含めて作成されており、フレームレート変換処理部２から出力される動画像信号と、画像処理部３から出力される動画像信号とを入力として用いることにより、補償可能な輝度値を求める。信号制限部８は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値を、上記補償可能な輝度値で置き換えて出力とする。この処理は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値が、補償可能な範囲か求めることと、該輝度の制限を行うことを同時に行っているのに等しい。

上述したように、本実施の形態２に記載の２次元ルックアップテーブルは、実施の形態１に記載の２次元ルックアップテーブルと異なり、補償用画像処理部４が行う補償用画像処理結果を用いて作成されている。従って、信号制限部８は、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値が、補償可能な範囲か求めることと、該輝度の制限を行うことを同時に行うことが可能となる。

信号制限部８は、前記２次元ルックアップテーブルにより求められる輝度値と、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値との間の値を、信号制限部８から出力される動画像信号に含まれるフレーム画像の輝度値として用いる構成としても良い。両者の間の値としては、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値と前記２次元ルックアップテーブルにより求められる輝度値とのちょうど中間の値、画像処理部３の出力寄りの値、もしくは２次元ルックアップテーブルの出力寄りの値を用いるかを設定可能とすると、信号制限部８のゲイン制御として用いることができる。

なお、ここで言う画像処理部３の出力寄りの値とは、上記ちょうど中間の値と、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値との間の値である。同様に、２次元ルックアップテーブルの出力寄りの値とは、上記ちょうど中間の値と、前記２次元ルックアップテーブルにより求められる輝度値との間の値である。

図６は、前記２次元ルックアップテーブルの一例を示す図である。画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度を、２次元ルックアップテーブルの左から１列目に縦方向（Ｙ方向）に並べ、フレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度を、上から１行目に横方向（Ｘ方向）に並べている。

縦方向、横方向それぞれの要素数は、信号制限部８をデジタル信号処理回路で実現した場合、画像処理部３から出力される動画像信号に含まれるフレーム画像の輝度値のビット幅、及びフレームレート変換処理部２から出力される動画像信号に含まれるフレーム画像の輝度値のビット幅による。これらの輝度値が、共に８ｂｉｔ／画素であった場合、縦方向及び横方向それぞれの要素数は、２５６個必要となる。縦方向及び横方向それぞれについて、要素数を画素の全ての値分持たず、ある程度の間隔で間引いて持つことにより、要素数を削減することができる。間引かれた値に関しては、近隣の要素の値より、線形補間などの補間手法を用いて求める。図６の例では、縦方向及び横方向それぞれについて、輝度値を８ｂｉｔ／画素とし、３２毎に間引いている。

２次元ルックアップテーブルの要素として用いる値は、離散化された全ての画素値に対し、前もって、画像処理部３と同じ画像処理、及び補償用画像処理部４と同じ補償用画像処理を行い、補償用画像処理部４から出力される動画像信号に含まれるフレーム画像の輝度値が飽和するか求めることにより作成することができる。この処理は、実際の画像処理装置を用いて行っても良いし、計算機上のプログラムにより、等価な処理を行っても良い。２次元ルックアップテーブルの要素として用いる値は、画像処理部３で行う画像処理と補償用画像処理部４で行う補償用画像処理との構成や、パラメータに基づいて、新たに画像信号処理装置７を使用し始める際に作成する必要がある。上記パラメータとしては、例えば信号選択部６から出力される動画像信号による動画像を表示する図示しない表示装置が表示可能な輝度の最大値及び最小値、連続する２つの要素間の間隔がある。

画像処理部３から出力され、信号制限部８に入力されるフレーム画像の輝度値を信号制限部８において制限する場合、補償用画像処理部４の出力は必要とならない。そのため、補償用画像処理部４を一時的に停止しておくことが可能となる。これにより、画像信号処理装置７の消費電力を小さくすること、及び画像信号処理装置７の処理時間を短くすることが可能となる。

〔実施形態の総括〕
本発明の実施形態に係る画像信号処理装置１は、表示装置９に表示させる動画像のフレームレートを変換する画像信号処理装置であって、複数の画素から構成される複数のフレーム画像により構成される動画像信号が入力され、上記動画像信号のフレームレートを２倍に変換するフレームレート変換処理部２と、上記複数のフレーム画像における現在のフレーム画像を構成する複数の画素それぞれに対して、対象画素と、その周囲の画素との輝度値を用いた画像処理を行う画像処理部３と、上記現在のフレーム画像の次にされるフレーム画像に対して、画像処理部３と逆の画像処理を行う補償用画像処理部４と、１フレーム画像毎に、画像処理部３の出力と補償用画像処理部４の出力とを切り替えることにより動画像信号を出力する信号選択部６とを備え、上記画像処理は、現在のフレーム画像を構成する複数の画素それぞれについて、輝度値を大きくまたは小さくする処理である画像信号処理装置において、信号制限部５を備え、信号制限部５は、フレームレート変換処理部２、画像処理部３及び補償用画像処理部４から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限し、上記補償可能な輝度値のフレーム画像を表示装置９で表示した時の輝度値と表示装置９が表示可能である最大輝度値との平均値、または上記補償可能な輝度値のフレーム画像を表示装置９で表示した時の輝度値と表示装置９が表示可能である最小輝度値との平均値は、上記画像処理を行う前のフレーム画像を表示装置９で表示した時の輝度値であることを特徴とする画像信号処理装置。

上記構成によれば、上記画像処理を行ったフレーム画像の輝度値、または上記逆の画像処理を行ったフレーム画像の輝度値が、表示装置９が表示可能である最大輝度または最小輝度を超える、即ち飽和する場合、信号制限部５は、これらの輝度値を上記補償可能な輝度値に制限する。

よって、表示装置９が、上記補償可能な輝度値のフレーム画像と上記最大輝度値のフレーム画像とを表示した場合、これら２つの輝度の平均値は、上記画像処理を行う前のフレーム画像を上記表示装置で表示した時の輝度値と等しくなる。同様に、表示装置９が、上記補償可能な輝度値のフレーム画像と上記最小輝度値のフレーム画像とを表示した場合、これら２つの輝度の平均値は、上記画像処理を行う前のフレーム画像を上記表示装置で表示した時の輝度値と等しくなる。

従って、上記補償可能な輝度値に制限されたフレーム画像が積分されて知覚され、信号選択部６から出力される動画像信号による動画像において、白が本来より暗く感じられる現象である白沈みや、黒が本来より明るく感じられる現象である黒浮きが発生しないので、上記画像処理の副作用または上記逆の画像処理の副作用による、該動画像の画質の劣化を防ぐことが可能となる。

また、画像信号処理装置７では、信号制限部５に代えて信号制限部８を備え、信号制限部８は、フレームレート変換処理部２及び画像処理部３から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を上記補償可能な輝度値に制限してもよい。

これにより、画像処理部３から出力され、信号制限部８に入力されるフレーム画像の輝度値を信号制限部８において制限する場合、補償用画像処理部４の出力は必要とならない。そのため、補償用画像処理部４を一時的に停止しておくことが可能となる。従って、画像信号処理装置７の消費電力を小さくすること、及び画像信号処理装置７の処理時間を短くすることが可能となる。

画像信号処理装置１では、信号制限部５は、第１ルックアップテーブルを有し、上記第１ルックアップテーブルは、上記現在のフレーム画像の輝度と、上記逆の画像処理を行ったフレーム画像の輝度とを用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限してもよい。

また、画像信号処理装置７では、信号制限部８は、第２ルックアップテーブルを有し、上記第２ルックアップテーブルは、上記逆の画像処理の結果を用いて作成され、上記現在のフレーム画像の輝度と、上記画像処理を行ったフレーム画像の輝度とを用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限してもよい。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像処理の副作用による画質の劣化を防ぐことが可能であるので、液晶ディスプレイやＣＲＴ等の表示装置に好適に利用することが出来る。

本発明の実施形態に係る画像信号処理装置のブロック図である。本発明の実施形態に係る２次元ルックアップテーブルの一例を示す図である。本発明の実施形態に係る画像信号処理装置により処理される入出力動画像信号に含まれるフレーム画像を表示する、ある１画素における輝度を表したグラフである。本発明の実施形態に係る表示装置のブロック図である。本発明の他の実施形態に係る画像信号処理装置のブロック図である。本発明の他の実施形態に係る２次元ルックアップテーブルの一例を示す図である。従来の画像信号処理装置のブロック図である。従来の画像信号処理装置により処理される入出力動画像信号に含まれるフレーム画像を表示する、ある１画素における輝度を表したグラフである。従来の画像信号処理装置により処理される入出力動画像信号に含まれるフレーム画像を表示する、ある１画素における輝度が飽和したことを示すグラフである。

符号の説明

１、７画像信号処理装置
２フレームレート変換処理部（フレームレート変換手段）
３画像処理部（画像処理手段）
４補償用画像処理部（補償用画像処理手段）
５信号制限部（第１信号制限手段）
６信号選択部（信号選択手段）
８信号制限部（第２信号制限手段）
９表示装置
１０表示処理部
１１表示部
Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９輝度
Ｔ期間

Claims

表示装置に表示させる動画像のフレームレートを変換する画像信号処理装置であって、
複数の画素から構成される複数のフレーム画像により構成される動画像信号のフレームレートを２倍に変換するフレームレート変換手段と、
上記複数のフレーム画像における現在のフレーム画像を構成する複数の画素それぞれに対して、対象画素と、その周囲の画素との輝度値を用いた画像処理を行う画像処理手段と、
上記現在のフレーム画像の次にされるフレーム画像に対して、上記画像処理手段と逆の画像処理を行う補償用画像処理手段と、
１フレーム画像毎に、上記画像処理手段の出力と上記補償用画像処理手段の出力とを切り替えることにより動画像信号を出力する信号選択手段とを備え、
上記画像処理は、現在のフレーム画像を構成する複数の画素それぞれについて、輝度値を大きくまたは小さくする処理である画像信号処理装置において、
第１信号制限手段を備え、
上記第１信号制限手段は、上記フレームレート変換手段、上記画像処理手段及び上記補償用画像処理手段から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限し、
上記補償可能な輝度値のフレーム画像を上記表示装置で表示した時の輝度値と上記表示装置が表示可能である最大輝度値との平均値、または上記補償可能な輝度値のフレーム画像を上記表示装置で表示した時の輝度値と上記表示装置が表示可能である最小輝度値との平均値は、上記画像処理を行う前のフレーム画像を上記表示装置で表示した時の輝度値であることを特徴とする画像信号処理装置。
上記第１信号制限手段に代えて第２信号制限手段を備え、
上記第２信号制限手段は、上記フレームレート変換手段及び上記画像処理手段から出力される動画像信号を用いて、上記画像処理を行ったフレーム画像の輝度値を上記補償可能な輝度値に制限することを特徴とする請求項１に記載の画像信号処理装置。
上記第１信号制限手段は、第１ルックアップテーブルを有し、
上記第１ルックアップテーブルは、上記現在のフレーム画像の輝度と、上記逆の画像処理を行ったフレーム画像の輝度とを用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限することを特徴とする請求項１に記載の画像信号処理装置。
上記第２信号制限手段は、第２ルックアップテーブルを有し、
上記第２ルックアップテーブルは、上記逆の画像処理の結果を用いて作成され、上記現在のフレーム画像の輝度と、上記画像処理を行ったフレーム画像の輝度とを用いて、上記画像処理を行ったフレーム画像の輝度値を補償可能な輝度値に制限することを特徴とする請求項２に記載の画像信号処理装置。