JP2015103859A - 映像信号処理装置、画像表示装置及びプログラム - Google Patents

Abstract

【課題】動画の解像度を改善することのできる映像信号処理装置、画像表示装置及びプログラムを提供する。
【解決手段】映像信号処理装置は、表示部１２に表示させる映像の映像信号を処理する。映像信号処理装置は、映像信号に基づく複数のフレームから被写体の動きを取得する取得部２１と、取得部２１によって取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う強調処理部２２と、強調処理部２２によって強調処理が行われたフレームの映像について、強調処理の最適化を行う最適化処理部２３と、最適化処理部２３によって最適化されたフレームの映像を表示部１２に表示させると共に、当該映像を表示部１２に表示させる際に、表示部１２を構成する各画素において、１フレーム期間の輝度を変化させる表示制御部２４と、を備える。
【選択図】図５

Description

本発明は、映像信号処理装置、その映像信号処理装置を備える画像表示装置、及び、画像表示装置において実行されるプログラムに関する。

従来から、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどアクティブマトリックを用いた画像表示装置がある。その画像表示装置は、１フレーム期間同じ映像を連続して表示し、ホールド型表示装置とされる。ホールド型表示装置では、表示されている物体が画面上を移動した場合、人がその物体を追従視するため、目の積分効果により、映像の動画解像度が低下してしまうことがわかっている。この解像度の低下を防ぐために、様々な手法が提案されている。例えば、１フレーム期間の発光期間を短くする装置（特許文献１）、及び映像信号をエッジ強調するシステム（特許文献２）が提案されている。

特開２００２−２１５１１１号公報 特開平７−１９９８５６号公報

特許文献１に記載された装置では、画像表示装置の瞬時輝度を非常に高くする必要がある。しかしながら、有機ＥＬの画像表示装置では十分な瞬時輝度を得られず、また画像表示装置の寿命も極端に短くなってしまう。
また、特許文献２に記載されたシステムでは、ホールド型表示装置において追従視を行った場合、ある空間周波数で応答がゼロとなり、それ以上の高い周波数では折り返し成分であるため、高い周波数部分ではエッジ強調を行ったとしてもエッジ強調の効果はほとんど得られない。

本発明は、動画の解像度を改善することのできる映像信号処理装置及びプログラムを提供することを目的とする。
また、本発明は、映像信号処理装置を備える画像表示装置を提供することを目的とする。

映像信号処理装置は、表示部に表示させる映像の映像信号を処理する。映像信号処理装置は、映像信号に基づく複数のフレームから被写体の動きを取得する取得部と、前記取得部によって取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う強調処理部と、前記強調処理部によって強調処理が行われたフレームの映像について、強調処理の最適化を行う最適化処理部と、前記最適化処理部によって最適化されたフレームの映像を前記表示部に表示させると共に、当該映像を前記表示部に表示させる際に、前記表示部を構成する各画素において、１フレーム期間の輝度を変化させる表示制御部と、を備える。

前記表示制御部は、１フレーム期間の輝度を変化させる場合、輝度をゼロから所定の強度に増加させること、及び、輝度を所定の強度からゼロに減少させることのうち一方を行うよう前記表示部を制御することが好ましい。

前記取得部は、フレームを所定の画素毎に分割して、分割後の所定の画素毎に被写体の動きを取得することが好ましい。この場合、前記強調処理部は、分割後の所定の画素毎に強調処理を行う。

前記強調処理部は、強調処理として、強調フィルタ及びアンシャープマスクのうちの一方の処理を行うことが好ましい。

画像表示装置は、上述した映像信号処理装置と、映像信号を受け付けて、受け付けた映像信号を前記取得部に供給する受付部と、前記表示部と、を備える。

プログラムは、画像表示装置において実行される。プログラムは、映像信号に基づく複数のフレームから被写体の動きを取得する第１ステップと、前記第１ステップにおいて取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う第２ステップと、前記第２ステップにおいて強調処理が行われたフレームの映像について、強調処理の最適化を行う第３ステップと、前記第３ステップにおいて最適化されたフレームの映像を表示部に表示させると共に、当該映像を前記表示部に表示させる際に、前記表示部を構成する各画素において、１フレーム期間の輝度を変化させる第４ステップと、を順に実行する。

本発明によれば、動画の解像度を改善することのできる映像信号処理装置及びプログラムを提供することができる。また、本発明によれば、映像信号処理装置を備える画像表示装置を提供することができる。

従来のホールド型表示装置の場合について説明するための図である。 一実施形態の表示装置の場合について説明するための図である。 一例としての強調フィルタの周波数応答特性である。 図３に示す強調フィルタを適用した場合に表示部に表示される映像の周波数応答特性を示す。 画像表示装置の一例について説明するためのブロック図である。 アンシャープマスクの一例の特性を示す図である。 最適化について説明するための図である。 発光の輝度を変化させる場合の一例を示す図である。

以下、本発明の一実施形態について説明する。
まず、従来のホールド型表示装置について説明する。図１は、従来のホールド型表示装置の場合について説明するための図である。図１（Ａ）は、１フレーム期間の発光強度を示す。図１（Ｂ）は、周波数応答特性を示す図である。ここで、図１（Ｂ）は、８ピクセル／フレームで追従視をした場合の周波数応答特性である。

従来のホールド型表示装置は、１フレーム期間、同じ映像を持続して表示する。このため、従来のホールド型表示装置は、図１（Ａ）に示すように、１フレーム期間の発光強度は同じになる。従来のホールド型表示装置では、追従視をした場合、周波数応答特性は、図１（Ｂ）に示すようになる。図１（Ｂ）からわかるように、空間周波数が約０．１２５ｃｙｃｌｅ／ｐｉｘｅｌの場合に周波数応答がゼロとなり、空間周波数が０．１２５ｃｙｃｌｅ／ｐｉｘｅｌよりも高いと折り返しが現れる。したがって、空間周波数が０．１２５ｃｙｃｌｅ／ｐｉｘｅｌよりも高い場合には、映像が再現されないことになる。従来のホールド型表示装置では、エッジ強調などの強調処理（信号処理）を行っても、動画質の改善量は限定的である

次に、１フレーム間の発光強度を変化させた場合（一実施形態）の表示装置について説明する。図２は、一実施形態の表示装置の場合について説明するための図である。図２（Ａ）は、１フレーム期間の発光強度を示す。図２（Ｂ）は、周波数応答特性を示す図である。ここで、図２（Ｂ）は、８ピクセル／フレームで追従視をした場合の周波数応答特性である。図３は、一例としての強調フィルタの周波数応答特性である。図４は、図３に示す強調フィルタを適用した場合に表示部に表示される映像の周波数応答特性を示す。

一実施形態の表示装置では、図２（Ａ）に示すように、１フレーム期間において、発光強度が所定の強度からゼロに変化する。このような発光を行う表示装置では、追従視をした場合、周波数応答特性は、図２（Ｂ）に示すようになる。図２（Ｂ）からわかるように、空間周波数の数値が高くなると周波数応答が低くなり、コントラストが低下することがわかる。しかしながら、図１に示す場合と異なり、一実施形態の表示装置では、周波数応答がゼロとなることはない。このため、一実施形態の表示装置では、空間周波数の数値が大きい領域でも、映像が再現される。このため、一実施形態の表示装置では、図２（Ａ）に一例を示すような発光を行うと同時に、空間周波数の数値が大きい領域（高周波）を強調する信号処理（強調処理）を行うことで、広い空間周波数で映像の再現が可能になることから、動画質の改善量は非常に大きくなる。強調処理は、一例として、図２（Ｂ）に示す波形を逆フーリエ変換することに基づいて得られた強調フィルタを利用する。例えば、図２（Ａ）に示すような発光を行うと共に、図３に示すような特性を持つ高周波強調フィルタを用いて、映像信号の高周波を強調した場合、得られる周波数応答特性は、図４に示すようになる。図４からわかるように、広い空間周波数の範囲で映像が再現されている。

本発明の一実施形態に係る映像信号処理装置及び画像表示装置は、上述した一実施形態の表示装置を利用する。以下、本発明の一実施形態に係る映像信号処理装置及び画像表示装置について説明する。図５は、画像表示装置の一例について説明するためのブロック図である。

画像表示装置１は、受付部１１と、表示部１２と、映像信号処理部２０と、を備える。映像信号処理部２０は、本発明の「映像信号処理装置」の一実施形態に対応する。

受付部１１は、映像信号を受け付けて、受け付けた映像信号を映像信号処理部２０に供給する。具体的には、受付部１１は、映像信号を後述する取得部２１に供給する。
表示部１２は、例えば、ホールド型の表示部である。

映像信号処理部２０は、表示部１２に表示させる映像の映像信号を処理する。映像信号処理部２０は、取得部２１と、強調処理部２２と、最適化処理部２３と、表示制御部２４と、を備える。

取得部２１は、映像信号に基づく複数のフレームから被写体の動きを取得する。例えば、取得部２１は、第１のフレームに記録される被写体の位置と、第１のフレームに続く第２のフレームに記録される被写体の位置とに基づいて、被写体の動きを取得する。
また、取得部２１は、フレームを所定の画素毎に分割して、分割後の所定の画素毎に被写体の動きを取得してもよい。すなわち、取得部２１は、映像を適当な大きさのブロックに分割し、複数のフレームに基づいてブロックマッチング等を行うことにより、ブロック毎の動きを取得する。１つのブロックの大きさは、例えば、１６画素×１６画素である。

具体的には、取得部２１は、被写体の動きとして、動きベクトルを取得する。この場合、取得部２１は、入力された映像から動きベクトルを推定し、追従視の向きと大きさを取得する。取得部２１は、分割された領域毎に、現在のフレームと直前のフレームとのブロックマッチングにより、動きベクトルを求めることができる。取得部２１は、ブロックマッチングの精度を上げるために、対象となる領域の周囲の画素情報もブロックマッチングに利用することにより動きベクトルの精度を向上させることができる。取得部２１は、取得された動きベクトルの情報から追従視の方向を推測し、この情報を強調処理部２２に送る。

強調処理部２２は、取得部２１によって取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う。一例として、強調処理部２２では、被写体の動きに応じた強調処理が予め定められている。このため、強調処理部２２は、取得部２１から被写体の動きに関する情報（動きベクトル）が供給されると、被写体の動きに対応した強調処理を映像信号に対して行う。

強調処理部２２は、分割後の所定の画素毎に強調処理を行ってもよい。すなわち、強調処理部２２は、取得部２１で分割したブロック毎に強調処理を行う。具体的には、強調処理部２２は、各ブロックの動きベクトルに応じて、強調処理を行う。

強調処理部２２は、強調処理として、強調フィルタ及びアンシャープマスクのうちの一方の処理を行う。例えば、強調フィルタＨ（ｖ）は、図３に示す特性を有する。例えば、アンシャープマスクは、図６に示す特性を有する。ここで、図６は、アンシャープマスクの一例の特性を示す図である。強調フィルタ及びアンシャープマスクのいずれも、高周波領域を強調する特性となっている。一例として、強調処理部２２は、動きベクトルの情報により得られた強調係数がｖ０であると、Ｈ（ｖ０）の強調フィルタにより強調処理を行う。

動きベクトルの情報のみで強調処理が行われた映像では、表示可能な輝度レベルを超えたり、マイナスの映像信号も含んでいたりする可能性がある。そこで、最適化処理部２３は、過度な強調処理が行われることによる画質劣化を防ぐために、強調処理の最適化を行う。すなわち、最適化処理部２３は、強調処理部２２によって強調処理が行われたフレームの映像について、強調処理の最適化を行う。最適化処理部２３は、強調処理部２２において分割したブロック毎に強調処理を行っている場合には、そのブロック毎に強調処理の最適化を行う。

図７は、最適化について説明するための図である。図７は、強調処理部２２によって強調処理が行われた後の周波数応答特性の一例を示す。ここで、映像信号は、黒レベルを０とし、白レベルを１とすると、０〜１の間を表示可能な信号レベルとする。強調処理部２２によって強調処理が行われた後の周波数応答特性では、周波数応答（図７の縦方向）が１を超える場合がある（図７参照）。そこで、好ましい画質にするために、最適化処理部２３によって最適化を行う。

まず、最適化処理部２３は、映像信号レベルの最大値Ｘｍａｘと、映像信号レベルの最小値Ｘｍｉｎと、映像信号レベルの平均値Ｘ＿ＡＶＧとを求める。その後、最適化処理部２３は、最大値Ｘｍａｘと、最小値Ｘｍｉｎと、平均値Ｘ＿ＡＶＧとに基づいて、補正係数Ｋ１，Ｋ２を求める。Ｋ１は、下式（１）によって求められる。Ｋ２は、下式（２）によって求められる。
Ｋ１＝Δ１／Δ２ …（１）
Ｋ２＝Δ３／Δ４ …（２）
ここで、Δ１は、Δ１＝１−Ｘ＿ＡＶＧで求められる。Δ２は、Δ２＝Ｘｍａｘ−Ｘ＿ＡＶＧで求められる。Δ３は、Δ３＝Ｘ＿ＡＶＧ−０で求められる。Δ４は、Δ４＝Ｘ＿ＡＶＧ−Ｘｍｉｎで求められる。

最適化処理部２３は、補正係数Ｋ１，Ｋ２の関係が、Ｋ１＞Ｋ２、且つ、Ｋ２＜１であれば、Ｋ２を利用して、強調フィルタ又はアンシャープマスクの特性を変更する。一例として、強調処理部２２において、Ｈ（ｖ）の強調フィルタにより強調処理を行ったとする。ここで、動きベクトルに応じたｖの値をＶ０とする。この場合、最適化処理部２３は、最適化を行うための強調係数ｖ１を、補正係数Ｋ２を利用して下式（３）のように求める。
ｖ１＝ｖ×Ｋ２ …（３）

最適化処理部２３は、補正係数Ｋ１，Ｋ２の関係が、Ｋ１＜Ｋ２、且つ、Ｋ１＜１であれば、Ｋ１を利用して、強調フィルタ又はアンシャープマスクの特性を変更する。一例として、強調処理部２２において、Ｈ（ｖ）の強調フィルタにより強調処理を行ったとする。ここで、ｖの値は、動きベクトルに応じた値Ｖ０である。この場合、最適化処理部２３は、最適化を行うための強調係数ｖ１を、補正係数Ｋ１を利用して下式（４）のように求める。
ｖ１＝ｖ×Ｋ１ …（４）

補正係数Ｋ１，Ｋ２の関係が上記の２つの場合以外のときは、ｖ１＝ｖ０とする。
最適化処理部２３は、上記のようにして得られた新たな強調係数ｖ１を利用して、最適化処理を行う。すなわち、最適化処理部２３は、Ｈ（ｖ１）の強調フィルタを利用して、強調処理を行う。

表示制御部２４は、最適化処理部２３によって最適化されたフレームの映像を表示部１２に表示させる。表示制御部２４は、その映像を表示部１２に表示させる際に、表示部１２を構成する各画素において、１フレーム期間の輝度を変化させる。表示制御部２４は、１フレーム期間の輝度を変化させる場合、輝度をゼロから所定の強度に増加させること、及び、輝度を所定の強度からゼロに減少させることのうち一方を行うよう表示部１２を制御する。

例えば、表示制御部２４は、最適化処理部２３によって強調処理が最適化された映像を表示部１２に表示させる場合、１フレームを表示する期間それぞれにおける輝度を、なだらかに減少させ、又は、なだらかに増加させる。輝度をなだらかに減少させる場合の例は、図２（Ａ）又は図８に示すようになる。ここで、図８は、発光の輝度を変化させる場合の一例を示す図である。図８では、段階的に輝度を減少させ、輝度が１フレーム期間全体としてなだらかに減少する。又は、図２（Ａ）又は図８とは逆に、輝度は、なだらかに増加してもよい。なお、輝度は、曲線を描くように増加し、又は、曲線を描くように減少してもよい。これにより、人の視覚の積分効果により、強調した高周波部分がフィルタリングされ、実質的には元の映像に近い解像感が得られる。

このような画像表示装置１は、例えば、次のような効果を奏する。
すなわち、画像表示装置１は、被写体の動きを取得する取得部２１と、取得部２１によって取得された被写体の動きに応じて強調処理を行う強調処理部２２と、強調処理部２２によって行われた強調処について最適化を行う最適化処理部２３と、最適化処理部２３によって最適化されたフレームの映像を表示部１２に表示させると共に、その映像を表示部１２に表示させる際に１フレーム期間の輝度を変化させる表示制御部２４と、を備える。これにより、画像表示装置１は、動画の解像度を改善することができる。

画像表示装置１は、１フレーム期間の輝度を変化させる場合、輝度をゼロから所定の強度に増加させる。又は、画像表示装置１は、１フレーム期間の輝度を変化させる場合、輝度を所定の強度からゼロに減少させる。これにより、画像表示装置１は、従来のホールド型表示装置と異なり、映像を再現することができる。

画像表示装置１は、取得部２１によって、フレームを所定の画素毎に分割して、分割後の所定の画素毎に被写体の動きを取得し、強調処理部２２によって、分割後の所定の画素毎に強調処理を行う。これにより、画像表示装置１は、画素毎に適切な強調処理を行うことができる。

画像表示装置１は、強調フィルタ及びアンシャープマスクのうちの一方を利用した処理を行う。これにより、画像表示装置１は、映像に対して強調処理を行うことができる。

なお、本発明は、プログラムとして構成されてもよい。プログラムは、上述した画像表示装置１（又は、映像信号処理部２０）において実行される。プログラムは、第１ステップと、第２ステップと、第３ステップと、第４ステップと、を順に実行する。第１ステップは、映像信号に基づく複数のフレームから被写体の動きを取得する。第２ステップは、第１ステップにおいて取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う。第３ステップは、第２ステップにおいて強調処理が行われたフレームの映像について、強調処理の最適化を行う。第４ステップは、第３ステップにおいて最適化されたフレームの映像を表示部１２に表示させると共に、当該映像を表示部１２に表示させる際に、表示部１２を構成する各画素において、１フレーム期間の輝度を変化させる。プログラムは、画像表示装置１（又は、映像信号処理装置２０）、すなわち、コンピュータで読み取り可能な記録媒体に記録されていてもよい。記録媒体とは、例えば、フレキシブルディスク、光ディスク、メモリ、又はハードディスク等のことである。

１ 画像表示装置
１２ 表示部
２０ 映像信号処理部（映像信号処理装置）
２１ 取得部
２２ 強調処理部
２３ 最適化処理部
２４ 表示制御部

Claims (6)

1. 表示部に表示させる映像の映像信号を処理する映像信号処理装置であって、
   映像信号に基づく複数のフレームから被写体の動きを取得する取得部と、
   前記取得部によって取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う強調処理部と、
   前記強調処理部によって強調処理が行われたフレームの映像について、強調処理の最適化を行う最適化処理部と、
   前記最適化処理部によって最適化されたフレームの映像を前記表示部に表示させると共に、当該映像を前記表示部に表示させる際に、前記表示部を構成する各画素において、１フレーム期間の輝度を変化させる表示制御部と、
   を備える映像信号処理装置。
2. 前記表示制御部は、１フレーム期間の輝度を変化させる場合、輝度をゼロから所定の強度に増加させること、及び、輝度を所定の強度からゼロに減少させることのうち一方を行うよう前記表示部を制御する
   請求項１に記載の映像信号処理装置。
3. 前記取得部は、フレームを所定の画素毎に分割して、分割後の所定の画素毎に被写体の動きを取得し、
   前記強調処理部は、分割後の所定の画素毎に強調処理を行う
   請求項１又は２に記載の映像信号処理装置。
4. 前記強調処理部は、強調処理として、強調フィルタ及びアンシャープマスクのうちの一方の処理を行う
   請求項１から３のいずれか１項に記載の映像信号処理装置。
5. 請求項１から４のいずれか１項に記載の映像信号処理装置と、
   映像信号を受け付けて、受け付けた映像信号を前記取得部に供給する受付部と、
   前記表示部と、
   を備える画像表示装置。
6. 画像表示装置において実行されるプログラムであって、
   映像信号に基づく複数のフレームから被写体の動きを取得する第１ステップと、
   前記第１ステップにおいて取得された被写体の動きに応じて、予め定められた強調処理を各フレームの映像に対して行う第２ステップと、
   前記第２ステップにおいて強調処理が行われたフレームの映像について、強調処理の最適化を行う第３ステップと、
   前記第３ステップにおいて最適化されたフレームの映像を表示部に表示させると共に、当該映像を前記表示部に表示させる際に、前記表示部を構成する各画素において、１フレーム期間の輝度を変化させる第４ステップと、
   を順に実行するプログラム。

Images