JP2010266681A - 映像信号処理装置および表示装置 - Google Patents

映像信号処理装置および表示装置 Download PDF

Info

Publication number
JP2010266681A
JP2010266681A JP2009117837A JP2009117837A JP2010266681A JP 2010266681 A JP2010266681 A JP 2010266681A JP 2009117837 A JP2009117837 A JP 2009117837A JP 2009117837 A JP2009117837 A JP 2009117837A JP 2010266681 A JP2010266681 A JP 2010266681A
Authority
JP
Japan
Prior art keywords
correction
pixel
unit
video signal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009117837A
Other languages
English (en)
Inventor
Tomoya Yano
友哉 谷野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009117837A priority Critical patent/JP2010266681A/ja
Publication of JP2010266681A publication Critical patent/JP2010266681A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】ホールドボケに起因する画質劣化をより適切に改善することが可能な映像信号処理装置を提供する。
【解決手段】ホールドボケ抑制処理部3において、各フレーム期間における注目画素nの補正の際に、その直前のフレーム期間において補正済みの同一画素(補正済画素)における補正結果を利用して補正処理を行う。これにより、このような補正処理を、時間方向におけるIIRフィルタ処理として機能させることができる。よって、従来よりも高い空間周波数成分を含む入力映像信号においてもホールドボケを抑制することができ、ホールドボケに起因する画質劣化をより適切に改善する(鮮明が画像を得る)ことが可能となる。
【選択図】図2

Description

本発明は、ホールド型の表示装置において映像表示を行う際のホールドボケに起因する画質劣化を改善するための処理を行う映像信号処理装置、およびそのような映像信号処理装置を備えた表示装置に関する。
近年、映像(動画像)を表示するための映像信号処理装置において、入力側のテレビジョン方式と出力側のテレビジョン方式との間でフレームもしくはフィールド周波数が一定の同期関係がない場合でも、映像の品質を劣化させずに表示させる手法が提案されている。具体的には、フレームレートを調整する手法(フレームレート変換手法)が提案されている(例えば、特許文献1参照)。
このようなフレームレート変換手法を利用してフレームレートを増やすことにより、例えばLCD(Liquid Crystal Display)のようなホールド型の表示装置において映像表示を行う際の、いわゆるホールドボケを改善することが可能となる。
しかしながら、フレームレート変換手法を利用してフレームレートを増やす場合、コストの増大を伴うため、むやみにフレームレートを増すことは現実的ではない。そこで、例えば特許文献2には、このような問題に対する改善技術が提案されている。
特開2006−66987号公報 特表2007−515874号公報
上記特許文献2における映像信号処理装置では、フレームレートを増す代わりに所定の信号処理を行うことにより、ホールドボケを改善している。具体的には、帯域通過型フィルタを用いた手法となっている。
ところが、この帯域通過フィルタは、ホールドボケにおける理想的な逆フィルタではないため、改善効果が限定的であった。特に、高い空間周波数に対しての改善効果が十分ではなく、改善の余地があった。
本発明はかかる問題点に鑑みてなされたもので、その目的は、ホールドボケに起因する画質劣化をより適切に改善することが可能な映像信号処理装置および表示装置を提供することにある。
本発明の映像信号処理装置は、ホールド型の表示装置に適用される入力映像信号において、所定の単位期間ごとに動きベクトルを検出する検出部と、この動きベクトルを用いて、入力映像信号により構成される入力映像の各画素値を単位期間ごとに補正することにより、表示装置において映像表示を行う際のホールドボケの抑制処理を行い、出力映像信号を生成する補正部とを備えたものである。また、この補正部は、各単位期間における注目画素の補正の際に、その直前の単位期間において補正済みの同一画素である補正済画素における補正結果を利用して補正処理を行うようになっている。
本発明の表示装置は、上記本発明の映像信号処理装置と、この映像信号処理装置により生成される出力映像信号に基づいて映像表示を行う表示部とを備えたものである。
本発明の映像信号処理装置および表示装置では、上記入力映像信号において所定の単位期間ごとに動きベクトルが検出され、この動きベクトルを用いて入力映像信号により構成される入力映像の各画素値が単位期間ごとに補正されることにより、表示装置において映像表示を行う際のホールドボケの抑制処理がなされ、出力映像信号が生成される。このとき、各単位期間における注目画素の補正の際に、その直前の単位期間において補正済みの同一画素である補正済画素における補正結果を利用して、補正処理が行われる。これにより、このような補正処理が、時間方向におけるいわゆるIIR(Infinite Impulse Response;無限インパルス応答)フィルタ処理として機能するようになる。
なお、他の映像信号処理装置として、上記検出部と、上記動くベクトルを用いて、入力映像信号により構成される入力映像の各画素値を単位期間ごとに補正することにより、表示装置において映像表示を行う際のホールドボケの抑制処理を行い、出力映像信号を生成する補正部とを備えると共に、この補正部が、各単位期間において各画素値を順次補正していくと共に、注目画素における補正の際に、現在の単位期間の入力映像内で補正済みの画素である補正済画素における補正結果を利用して補正処理を行うようにしたものが挙げられる。この他の映像信号処理装置では、各単位期間において各画素値が順次補正されていくと共に、注目画素における補正の際に、現在の単位期間の入力映像内で補正済みの画素である補正済画素における補正結果を利用して、補正処理が行われる。これにより、このような補正処理が、空間方向におけるIIRフィルタ処理として機能するようになる。よって、従来よりも高い空間周波数成分を含む入力映像信号においてもホールドボケを抑制することができ、ホールドボケに起因する画質劣化をより適切に改善することが可能となる。
本発明の映像信号処理装置および表示装置によれば、各単位期間における注目画素の補正の際に、その直前の単位期間において補正済みの同一画素である補正済画素における補正結果を利用して補正処理を行うようにしたので、このような補正処理を、時間方向におけるIIRフィルタ処理として機能させることができる。よって、従来よりも高い空間周波数成分を含む入力映像信号においてもホールドボケを抑制することができ、ホールドボケに起因する画質劣化をより適切に改善することが可能となる。
本発明の第1の実施の形態に係る表示装置の全体構成を表すブロック図である。 図1に示したホールドボケ抑制処理部の詳細構成を表すブロック図である。 図2に示した予測値生成部の詳細構成を表すブロック図である。 第1の実施の形態に係るステップ画像におけるホールドボケと予測値との位相関係の一例を表す波形図である。 網膜上においてステップ画像を再現する予測値の一例を表す波形図である。 追従視条件での空間インパルス型ホールドボケの一例を表す模式図である。 追従視条件での時間インパルス型ホールドボケの一例を表す模式図である。 図2に示した補正量算出部の詳細構成を表すブロック図である。 更新係数とフレームナンバーとの関係の一例を表す特性図である。 図2に示した補正値遅延部の詳細構成を表すブロック図である。 本発明の第2の実施の形態に係るホールドボケ抑制処理部の詳細構成を表すブロック図である。 図11に示した予測値生成部の詳細構成を表すブロック図である。 第2の実施の形態に係るステップ画像におけるホールドボケと予測値との位相関係の一例を表す波形図である。 図11に示した補正量算出部の詳細構成を表すブロック図である。 図11に示した補正値遅延部の詳細構成を表すブロック図である。 第2の実施の形態の変形例に係るホールドボケ抑制処理部の詳細構成を表すブロック図である。 変形例に係る補正値の混合比率の一例を表す特性図である。 本発明が適用される映像信号処理装置の全部または一部分のハードウェア構成の一例を表すブロック図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(フレーム間処理によるホールドボケ抑制処理の例)
2.第2の実施の形態(フレーム内処理によるホールドボケ抑制処理の例)
変形例(フレーム内の2方向において求められた補正値を混合する場合の例)
<1.第1の実施の形態>
[表示装置1の全体構成]
図1は、本発明の第1の実施の形態に係る表示装置1のブロック構成を表すものである。この表示装置1は、IP(Interlace Progressive)変換部11と、動きベクトル検出部12(検出部)と、高フレームレート変換部13と、ホールドボケ抑制処理部3(補正部)と、表示駆動部14と、表示パネル15とを備えている。なお、動きベクトル検出部12およびホールドボケ抑制処理部3が、本発明における「映像信号処理装置」の一具体例に対応する。
IP変換部11は、入力映像信号Din(インタレース信号)に対してIP変換を行うことにより、プログレッシブ信号からなる映像信号D0を生成するものである。
動きベクトル検出部12は、IP変換部11から出力される映像信号D0において、各フレーム期間(単位期間)ごとに、動きベクトルmvを検出するものである。なお、ここでは、IP変換部11から出力される映像信号D0において動きベクトルmvを検出しているが、例えば、高フレームレート変換後の映像信号D1において動きベクトルmvを検出するようにしてもよい。ただし、その場合、ホールドボケ抑制処理部3において用いる際には、フレームレート変換比率で減算したのちの動きベクトル値を用いるようにする(2倍速の場合は1/2、4倍速の場合は1/4)。
なお、以下、動きベクトルmvの値を移動速度(移動量)と称し、また、動きベクトルmvの方向を移動方向と称する。この移動方向は、2次元平面上のいずれの方向ともなり得るものであり、表示装置1では、2次元平面上のいずれの方向が移動方向になった場合でも、後述する各種処理を全く同様に実行することが可能である。
高フレームレート変換部13は、検出された動きベクトルmvを用いて、IP変換部11から出力される映像信号D0に対して高フレームレート変換処理を行い、映像信号D1を生成・出力するものである。具体的には、第1のフレームレートの映像信号D0に対して高フレームレート変換処理を施し、この第1のフレームレートよりも高い第2のフレームレートの映像信号D1を、ホールドボケ抑制処理部3へ出力するようになっている。この高フレームレート変換処理とは、入力時の第1のフレームレートが出力(表示)時の第2のフレームレートよりも低い場合に実行される処理である。具体的には、入力時の動画像を構成する各フレームのそれぞれの間に、新たなフレームを作成してそれぞれ挿入することにより、第1のフレームレートをそれよりも高い第2のフレームレートに変換する処理である。
なお、第1のフレームレートとは、高フレームレート変換部13に入力された時点の動画像のフレームレートを指す。したがって、第1のフレームレートは、任意のフレームレートとなり得る。
ホールドボケ抑制処理部3は、検出された動きベクトルmvを用いて、映像信号D1により構成される入力映像の各画素値をフレーム期間ごとに補正することにより、表示パネル15において映像表示を行う際のホールドボケの抑制処理を行うものである。これにより、そのような補正処理後(ホールドボケ抑制処理後)の映像信号D2が生成されるようになっている。具体的には、ホールドボケ抑制処理部3は、各フレーム期間における注目画素の補正の際に、その直前の単位期間において補正済みの同一画素である補正済画素における補正結果を利用して、補正処理を行うようになっている。なお、このホールドボケ抑制処理部3の詳細構成および詳細動作については、後述する。
表示駆動部14は、ホールドボケ抑制処理部3から出力される映像信号D2に基づいて、表示パネル15に対する表示駆動動作を行うものである。
表示パネル15は、いわゆるホールド型の表示パネルであり、表示駆動部14による表示駆動動作に従って、映像信号D2に基づく映像表示を行うものである。このようなホールド型の表示パネル15としては、例えば、LCDやPDP(Plasma Display Panel)、有機EL(Electro Luminescence)ディスプレイなどが挙げられる。
[ホールドボケ抑制処理部3の詳細構成]
次に、図2〜図10を参照して、ホールドボケ抑制処理部3の詳細について説明する。図2は、このホールドボケ抑制処理部3の詳細構成を表すものである。ホールドボケ抑制処理部3は、入力位相補正部30と、予測値生成部31と、補正量算出部32と、補正値遅延部33とを有している。
(入力位相補正部30)
入力位相補正部30は、映像信号D1(画素データIB(n,t);tはt番目のフレーム期間を示す)と動きベクトルmvとに基づいて、画素データIB(n+nc,t)を生成するものである。この画素データIB(n+nc,t)は、画素データIB(n,t)に対し、位相補正値ncの分だけ位相補正を施した画素データに対応するものである。なお、このような位相補正を行うのは以下の理由によるものである。すなわち、まず、ホールドボケを含む画素データIB(n,t)は、後述するように、ホールドボケを取り除いた場合と比較して位相変化を伴っている。また、そのような位相変化は、画素データIB(n,t)に対する補正量が大きい場合に大きくなる。そのため、位相補正値ncは、そのような位相変化によるずれ量を軽減するためのパラメータである。
(予測値生成部31)
予測値生成部31は、動きベクトルmvと、画素データIB(n,t)と、後述する補正値遅延部33から出力される予測値Est(n,t−1)とに基づいて、現在のフレーム期間tにおける注目画素nでの補正値の予測値Est(n,t)を求めるものである。
図3は、この予測値生成部31の詳細構成を表すものである。予測値生成部31は、移動方向微分回路312と、乗算器313と、加算器314とを有している。
移動方向微分回路312は、画像データIB(n,t)と動きベクトルmvとに基づいて、以下説明する所定の微分演算を行うものである。これにより、順次補正方向(移動方向)の画素微分値IB'(n,t)が生成されるようになっている。
ここで、ホールドボケを表すモデルについて説明する。ホールドボケは、ホールド型のディスプレイで表示している動画像を、追従視の条件で観測している場合に発生する。ここで、ホールドボケとして認識している場合は、網膜上の仮想画像位置にディスプレイのフレーム周波数の期間の積分値が表示されるとモデル化することができる。そこで、ホールド型のディスプレイによって再生されている動画像を追従視の条件で観測している場合の画素位置(注目画素)をn、時刻t0における網膜上のボケを含む仮想画像データをIB(n,t0)、Tを撮像時のフレーム期間、Ireal(n,t)をホールドボケのない理想値とする。すると、この画像データIB(n,t0)は、以下の(1)式で表すことができる。また、注目画素nを含む画像の少なくとも一部が等速度で平行移動していると仮定すると、(2)式で表すことができる。ここで、mvは、1フレーム当りの動きベクトルを示す。この(2)式より、動きベクトルmv方向の隣接差分をとることにより、ホールドボケを含む画像データIB(n)の動きベクトルmv方向の画素微分値IB'(n)は、以下の(3)式で表すことができる。
Figure 2010266681
乗算器313は、移動方向微分回路312から出力される画素微分値IB'(n,t)と、動きベクトルmvとを乗算するものである。加算器314は、この乗算器313での乗算値のマイナス(−)値と、現在の1つ前(直前)のフレーム期間(t−1)における予測値Est(n,t−1)とを加算することにより、現在のフレーム期間tにおける予測値Est(n,t)を生成するものである。
ここで、具体的には、これらの演算は、以下の式により表すことができる。まず、上記(3)式を書き換えると、以下の(4)式が得られる。また、この(4)式により、ホールドボケのない画像(画像データの推定値;予測値Est(n,t))は、注目画素nから動きベクトルmvの分だけ離れた位置における画素がホールドボケのないものである場合には、以下のようにして求めることができる。すなわち、まず、(4)式において、フレーム間情報を用いた形に式を置き換えると、以下の(5)式が得られる。したがって、この(5)式により、予測値Est(n,t)を求めるための以下の(6)式が得られる。この(6)式は、現在の1つ前(直前)のフレーム期間(t−1)における予測値Est(n,t−1)を用いて、現在のフレーム期間tにおける予測値Est(n,t)を求めている。
Figure 2010266681
ここで、図4に示すように、例えばステップエッジの信号にホールドボケが加わる場合、網膜上では、(振幅/移動量)の傾きにより表される直線的なボケ画像となる。また、網膜上においてステップエッジの画像を再現する場合には、例えば図5に示すように、(1/移動量)の幅であり振幅が移動量倍となっているインパルス波形が、移動量周期で無限に続くことになる。ここで、追従視の条件で観測すると、例えば図6(A),(B)に示すように、ステップエッジが再現されることが分かる。このことは、別の見方として、次のように考えることができる。すなわち、まず、例えばCRT(Cathode Ray Tube)のような時間的にインパルス型の発光特性を示すディスプレイでは、ホールドボケが少ないことがよく知られている。図7(A),(B)に、時間的にインパルス型の発光を示すディスプレイにおいて、ステップエッジを追従視の条件で観測した場合の特性を示す。図6,図7を比較すると、時間を空間に置き換えても、ホールドボケ改善効果は同じであることが分かる。
(補正量算出部32)
補正量算出部32は、画素データIB(n,t)と、入力位相補正部30から出力される画素データIB(n+nc,t)と、予測値生成部21から出力される予測値Est(n)と、後述する補正値遅延部33から出力される信頼性情報Trst(n,t−1)とに基づいて、補正量を求めるものである。具体的には、信頼性情報Trst(n,t)および予測値Est(n,t)を補正値遅延部33へ出力すると共に、映像信号D2(出力画素データOut(n,t))を出力するようになっている。
図8は、この補正量算出部32の詳細構成を表すものである。補正量算出部32は、補正値生成部322と、信頼性情報算出部323とを有している。
補正値生成部322は、画像データIB(n+nc,t)と、予測値Est(n,t)と、信頼性情報Trst(n,t−1)とに基づいて、以下の(7)式を用いることにより、予測値Est(n,t)および出力画素データOut(n,t)を生成するものである。この(7)式により表される演算処理は、いわゆるIIRフィルタの構成となっている。なお、この(7)式において、αは更新係数であり、0から1の値を取りうると共に、この更新係数αの値は適応的に変えるべきものである。また、(7)式により、この更新係数αを用いて、注目画素nにおける補正処理の大きさが制御されていることが分かる。
信頼性情報算出部323は、画像データIB(n,t)と、予測値Est(n,t)とに基づいて、以下の(8),(9)式を用いることにより、信頼性情報Trst(n,t)(=α(n,t))を生成するものである。
具体的には、この信頼性情報Trst(n,t)は以下のようにして求められる。まず、予測値Est(n,t)の確からしさは、注目画素nにおける直前のフレーム期間(t−1)での補正処理結果に依存する。このため、この直前のフレーム期間における、補正処理結果(補正値)とホールドボケを含む元の画素値との差分値が小さいほど、確からしさが大きいと考えられる。したがって、この予測値Est(n,t)の確からしさは、例えば、直前のフレーム期間での補正量をΔとすると、信頼性情報Trst(n,t−1)を、この補正量Δの関数F(Δ)で表すことができ、これを上記した更新係数αとすることができる。よって、信頼性情報Trst(n,t−1)(=α(n,t−1))は、以下の(8),(9)式により表される。なお、この関数F(Δ)は、補正量Δに関して単調に減少する関数で表され、例えば(1−Δ)である。
Figure 2010266681
また、信頼性情報Trst(n,t−1)の値が大きい(高い)場合には、補正処理結果としての予測値Est(n,t)の確からしさも高くなる。そのため、信頼性情報Trst(n,t)については、信頼性情報Trst(n,t−1)と同等の確からしさを設定することができる。すなわち、以下の(10),(11)式で表すことができる。
Figure 2010266681
更に、更新係数αがフレームごとに大きく変動した場合、動画像においてチラつきとして認識されることがある。したがって、これを軽減するために、所定の2つの定数k1,k2を設定して、以下の(12),(13)式で表すこともできる。
Figure 2010266681
なお、図9は一例として、フレームナンバー(No)に対しての関数F(Δ)の変動と、上記(12),(13)式においてk1=0.95,k2=0.50の場合における信頼性情報Trst(n,t)の変動を示している。
加えて、ノイズを含む画像では、信頼性情報Trst(n,t)にも影響を与える。したがって、フレーム期間内の周辺画素とで適当なLPF処理を施すことも有効である。さらに、ノイズ成分によって補正量Δが大きくなり、必要以上に信頼性情報Trst(n,t)の値を小さく見積もってしまう可能性がある。そのため、ノイズ成分を検出し、ノイズ成分に応じて補正量Δの値をゲイン制御するようにしてもよい。また、例えば図6のような空間的インパルス型の方向に極端に設定した場合の問題的は、追従視の条件から外れた場合に、いわゆるジャーキネスが目立つことがある。また、ディスプレイのダイナミックレンジの制約があることである。したがって、更新係数αの値は、1に近いほどインパルス的となってホールドボケの改善効果が大きいものの、そのような弊害を考慮して決める必要がある。
(補正値遅延部33)
補正値遅延部33は、補正量算出部32から出力される信頼性情報Trst(n,t)および予測値Est(n,t)を保存(記憶)しておくものであり、1フレーム期間の遅延素子として機能している。
図10は、この補正値遅延部33の詳細構成を表すものである。補正値遅延部33は、2つのフレームメモリ331,332を有している。
フレームメモリ331は、予測値Est(n,t)に基づいて、1フレーム期間分だけ遅延させた予測値Est(n,t−1)を生成するものである。フレームメモリ332は、信頼性情報Trst(n)に基づいて、1フレーム期間分だけ遅延させた信頼性情報Trst(n,t−1)を生成するものである。
[表示装置1の作用・効果]
次に、表示装置1の作用および効果について説明する。
(基本動作)
この表示装置1では、図1に示したように、まず、IP変換部11において、入力映像信号Din(インタレース信号)に対してIP変換を行うことにより、プログレッシブ信号からなる映像信号D0を生成する。次いで、動きベクトル検出部12では、この映像信号D0において、各フレーム期間ごとに動きベクトルmvを検出する。次に、高フレームレート変換部13では、この映像信号D0に対して高フレームレート変換処理を行い、映像信号D1を生成する。そして、表示駆動部14では、以下説明するホールドボケ抑制処理部3から出力される映像信号D2に基づいて表示パネル15に対する表示駆動動作を行う。これにより、ホールド型の表示パネル15において、映像信号D2に基づく映像表示が行われる。
(ホールドボケ抑制処理)
このとき、ホールドボケ抑制処理部3では、以下説明するようなホールドボケ抑制処理を行う。すなわち、動きベクトルmvを用いて、映像信号D1により構成される入力映像の各画素値をフレーム期間ごとに補正することにより、表示パネル15において映像表示を行う際のホールドボケの抑制処理を行い、映像信号D2を生成する。
具体的には、まず、図2に示したように、入力位相補正部30において、画素データIB(n,t)と動きベクトルmvとに基づいて、画素データIB(n,t)に対して位相補正値ncの分だけ位相補正を施してなる画素データIB(n+nc,t)を生成する。
次に、予測値生成部31では、動きベクトルmvと、画素データIB(n,t)と、直前のフレーム期間(t−1)における予測値Est(n,t−1)とに基づいて、現在のフレーム期間tにおける予測値Est(n,t)を求める。
次いで、補正量算出部32では、信頼性情報算出部323において、画像データIB(n,t)と、予測値Est(n,t)とに基づいて、信頼性情報Trst(n,t)を生成する。
そして、この補正量算出部32では、補正値生成部222において、画像データIB(n+nc,t)と、予測値Est(n,t)と、信頼性情報Trst(n,t−1)とに基づいて、予測値Est(n,t)および出力画素データOut(n,t)を生成する。
このようにしてホールドボケ抑制処理部3では、各フレーム期間における注目画素nの補正の際に、その直前のフレーム期間において補正済みの同一画素(補正済画素)における補正結果を利用して、補正処理が行われる。これにより、このような補正処理(前述の(6),(7)式の演算処理)が、時間方向におけるIIRフィルタ処理として機能するようになる。
以上のように本実施の形態では、ホールドボケ抑制処理部3において、各フレーム期間における注目画素nの補正の際に、その直前のフレーム期間において補正済みの同一画素(補正済画素)における補正結果を利用して補正処理を行うようにしたので、このような補正処理を、時間方向におけるIIRフィルタ処理として機能させることができる。よって、従来よりも高い空間周波数成分を含む入力映像信号においてもホールドボケを抑制することができ、ホールドボケに起因する画質劣化をより適切に改善する(鮮明が画像を得る)ことが可能となる。
<2.第2の実施の形態>
[ホールドボケ抑制処理部3の構成]
図14は、第2の実施の形態に係るホールドボケ抑制処理部2のブロック構成を表すものである。このホールドボケ抑制処理部2は、予測値生成部21と、補正量算出部22と、補正値遅延部23とを有している。
(予測値生成部21)
予測値生成部21は、動きベクトルmvと、映像信号D1(画素データIB(n))と、後述する補正値遅延部23から出力される予測値Est(n−mv)とに基づいて、注目画素nでの補正値の予測値Est(n)を求めるものである。
図12は、この予測値生成部21の詳細構成を表すものである。予測値生成部21は、mv/2遅延素子211と、微分回路212と、乗算器213と、加算器214とを有している。
mv/2遅延素子211は、画像データIB(n)と動きベクトルmvとに基づいて、mv/2の値に対応する画素分だけ遅延させた画素位置に対応する画像データIB(n−mv/2)を生成するものである。
微分回路212は、mv/2遅延素子211から出力される画像データIB(n−mv/2)に基づいて、前述した(2),(3)式と同様の所定の微分演算を行うことにより、順次補正方向の画素微分値IB'(n−mv/2)を生成するものである。
乗算器213は、微分回路212から出力される画素微分値IB'(n−mv/2)と、動きベクトルmvとを乗算するものである。加算器214は、この乗算器213での乗算値のマイナス(−)値と、予測値Est(n−mv)とを加算することにより、予測値Est(n)を生成するものである。
ここで、具体的には、これらの演算は、以下の式により表すことができる。まず、前述した(3)式を書き換えると、以下の(14)式が得られる。また、この(14)式により、ホールドボケのない画像(画像データの推定値;予測値Est(n))は、注目画素nから動きベクトルmvの分だけ離れた位置における画素がホールドボケのないものである場合には、以下の(15),(16)式により求めることができる。また、これらの(15),(16)式に位相補正項を加えると、以下の(17),(18)式が得られる。なお、これらの(17),(18)式の関係は、動きベクトルmvの極性を互いに入れ替えた関係にすぎない。つまり、動きベクトルmvの方向と処理の方向とをあえて意識せずに、動きベクトルmvの絶対値分だけ離れた画素位置における予測値を用いて、注目画素nの補正処理を行えばよい。
Figure 2010266681
なお、図13は、ステップ画像にホールドボケを加えてなる画像データIB(n),IB(n−mv/2),IB(n+mv/2)と、予測値Est(n),Est(n−mv/2),Est(n+mv/2)との位相関係を示している。
(補正量算出部22)
補正量算出部22は、動きベクトルmvと、映像信号D1(画素データIB(n))と、予測値生成部21から出力される予測値Est(n)と、後述する補正値遅延部23から出力される信頼性情報Trst(n−mv)とに基づいて、補正量を求めるものである。具体的には、信頼性情報Trst(n)および予測値Est(n)を補正値遅延部23へ出力すると共に、映像信号D2(出力画素データOut(n))を出力するようになっている。
図14は、この補正量算出部22の詳細構成を表すものである。補正量算出部22は、mv/2遅延素子221と、補正値生成部222と、信頼性情報算出部223とを有している。
mv/2遅延素子221は、画像データIB(n)と動きベクトルmvとに基づいて、mv/2の値に対応する画素分だけ遅延させた画素位置に対応する画像データIB(n−mv/2)を生成するものである。
補正値生成部222は、画像データIB(n)と、予測値Est(n)と、信頼性情報Trst(n−mv)とに基づいて、以下の(19)式を用いることにより、予測値Est(n)および映像信号D2(出力画素データOut(n))を生成するものである。この(19)式により表される演算処理は、いわゆるIIRフィルタの構成となっている。なお、この(19)式において、αは更新係数であり、0から1の値を取りうると共に、この更新係数αの値は適応的に変えるべきものである。また、(19)式により、この更新係数αを用いて、注目画素nにおける補正処理の大きさが制御されていることが分かる。
信頼性情報算出部223は、mv/2遅延素子221から出力される画像データIB(n−mv/2)と、予測値Est(n)とに基づいて、以下の(10),(11)式を用いることにより、信頼性情報Trst(n)を生成するものである。
具体的には、この信頼性情報Trst(n)は以下のようにして求められる。まず、予測値Est(n)の確からしさは、注目画素nから動きベクトルmvの分だけ離れた画素位置での補正処理結果に依存する。このため、この動きベクトルmvの分だけ離れた画素位置における、補正処理結果(補正値)と、ホールドボケを含む元の画素値との差分値が小さいほど、確からしさが大きいと考えられる。したがって、この予測値Est(n)の確からしさは、例えば、動きベクトルmvの分だけ離れた画素位置での補正量をΔとすると、信頼性情報Trst(n)を、この補正量Δの関数F(Δ)で表すことができ、これを上記した更新係数αとすることができる。よって、注目画素nが増加する方向に補正処理を進めるとすると、信頼性情報Trst(n)(=α(n))は、以下の(20),(21)式により表される。なお、この関数F(Δ)は、補正量Δに関して単調に減少する関数で表され、例えば(1−Δ)である。
Figure 2010266681
また、信頼性情報Trst(n−mv)の値が大きい(高い)場合には、補正処理結果としての予測値Est(n)の確からしさも高くなるため、信頼性情報Trst(n)については、信頼性情報Trst(n−mv)と同等の確からしさを設定することができる。すなわち、以下の(22),(23)式で表すことができる。
Figure 2010266681
更に、更新係数αがフレームごとに大きく変動した場合、動画像においてチラつきとして認識されることがある。したがって、これを軽減するために、所定の2つの定数k1,k2を設定して、以下の(24),(25)式で表すこともできる。
Figure 2010266681
加えて、ノイズを含む画像では、信頼性情報Trst(n)にも影響を与える。したがって、フレーム期間内の周辺画素とで適当なLPF処理を施すことも有効である。さらに、ノイズ成分によって補正量Δが大きくなり、必要以上に信頼性情報Trst(n)の値を小さく見積もってしまう可能性がある。そのため、ノイズ成分を検出し、ノイズ成分に応じて補正量Δの値をゲイン制御するようにしてもよい。また、例えば図6のような空間的インパルス型の方向に極端に設定した場合の問題的は、追従視の条件から外れた場合に、いわゆるジャーキネスが目立つことがある。また、ディスプレイのダイナミックレンジの制約があることである。したがって、更新係数αの値は、1に近いほどインパルス的となってホールドボケの改善効果が大きいものの、そのような弊害を考慮して決める必要がある。
(補正値遅延部23)
補正値遅延部23は、補正量算出部22から出力される信頼性情報Trst(n)および予測値Est(n)を保存(記憶)しておくものであり、動きベクトルmvの大きさの遅延素子として機能している。
図15は、この補正値遅延部23の詳細構成を表すものである。補正値遅延部23は、2つのmv遅延素子231,232を有している。
mv遅延素子231は、予測値Est(n)と動きベクトルmvとに基づいて、mvの値に対応する画素分だけ遅延させた画素位置に対応する予測値Est(n−mv)を生成するものである。mv遅延素子232は、信頼性情報Trst(n)と動きベクトルmvとに基づいて、mvの値に対応する画素分だけ遅延させた画素位置に対応する信頼性情報Trst(n−mv)を生成するものである。
[ホールドボケ抑制処理部2の作用・効果]
次に、ホールドボケ抑制処理部2の作用および効果について説明する。なお、表示装置全体の作用(基本動作)については、上記第1の実施の形態の表示装置1と同様であるため、説明を省略する。
(ホールドボケ抑制処理)
このホールドボケ抑制処理部2では、まず、予測値生成部21において、動きベクトルmvと、映像信号D1(画素データIB(n))と、予測値Est(n−mv)とに基づいて、予測値Est(n)を求める。
次いで、補正量算出部22では、信頼性情報算出部223において、画像データIB(n−mv/2)と予測値Est(n)とに基づいて、信頼性情報Trst(n)を生成する。
そして、この補正量算出部22では、補正値生成部222において、画像データIB(n)と、予測値Est(n)と、信頼性情報Trst(n−mv)とに基づいて、予測値Est(n)および映像信号D2(出力画素データOut(n))を生成する。
このようにしてホールドボケ抑制処理部2では、各フレーム期間において各画素値が順次補正されていくと共に、注目画素nにおける補正の際に、現在のフレーム期間の入力映像内で補正済みの画素(補正済画素)における補正結果を利用して、補正処理が行われる。これにより、このような補正処理(前述の(17)〜(19)式の演算処理)が、空間方向におけるIIRフィルタ処理として機能するようになる。
以上のように本実施の形態では、ホールドボケ抑制処理部2において、各フレーム期間において各画素値を順次補正していくと共に、注目画素nにおける補正の際に、現在のフレーム期間の入力映像内で補正済みの画素(補正済画素)における補正結果を利用して補正処理を行うようにしたので、このような補正処理を、空間方向におけるIIRフィルタ処理として機能させることができる。よって、従来よりも高い空間周波数成分を含む入力映像信号においてもホールドボケを抑制することができ、ホールドボケに起因する画質劣化をより適切に改善する(鮮明が画像を得る)ことが可能となる。
[第2の実施の形態の変形例]
次に、第2の実施の形態の変形例について説明する。なお、第2の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。
図16は、本変形例に係るホールドボケ抑制処理部2Aのブロック構成を表すものである。このホールドボケ抑制処理部2Aは、入力保存部20と、2つの予測値生成部21−1,21−2と、2つの補正量算出部22−1,22−2と、2つの補正値遅延部23−1,23−2と、補正値保存部24と、補正値混合部25とを有している。上記第2の実施の形態で説明したホールドボケ抑制処理部2との違いは、処理方向が互いに逆向きである2つの予測値生成部等を設けるようにした点である。すなわち、補正済画素における補正結果を互いに異なる複数の補正済画素において取得すると共に、これら複数の補正結果のそれぞれを利用して得られた複数の補正値を混合することにより、注目画素nにおける最終的な補正値を求めている。
入力保存部20は、映像信号D1(画素データIB(n))における所定の範囲内のデータを保存するものである。
予測値生成部21−1、補正量算出部22−1および補正値遅延部23−1は、上記第1の実施の形態と同様の動作を行う。すなわち、予測値生成部21−1において、動きベクトルmvと、映像信号D1(画素データIB(n))と、補正値遅延部23−1から出力される予測値Est(n+mv)とに基づいて、予測値Est1(n)を求める。補正量算出部22−1では、画素データIB(n)から求められる画像データIB(n+mv/2)と、予測値Est1(n)とに基づいて、信頼性情報Trst1(n)を生成する。また、補正量算出部22−1では、画像データIB(n)と、予測値Est1(n)と、補正値遅延部23−1から出力される信頼性情報Trst1(n+mv)とに基づいて、予測値Est1(n)および出力画素データOut1(n)を生成する。
予測値生成部21−2、補正量算出部22−2および補正値遅延部23−2も、上記第1の実施の形態と同様の動作を行う。すなわち、予測値生成部21−2において、動きベクトルmvと、映像信号D1(画素データIB(n))と、補正値遅延部23−2から出力される予測値Est(n−mv)とに基づいて、予測値Est2(n)を求める。補正量算出部22−2では、画素データIB(n)から求められる画像データIB(n−mv/2)と、予測値Est2(n)とに基づいて、信頼性情報Trst2(n)を生成する。また、補正量算出部22−2では、画像データIB(n)と、予測値Est2(n)と、補正値遅延部23−2から出力される信頼性情報Trst2(n−mv)とに基づいて、予測値Est2(n)および出力画素データOut2(n)を生成する。
補正値保存部24は、補正量算出部22−1から出力される出力画素データOut1(n)および信頼性情報Trst1(n)を保存するものである。
補正値混合部25は、補正値保存部24または補正量算出部22−2から出力される信頼性情報Trst1(n),Trst2(n)の値の比率に応じて、これらから出力される2つの補正値(出力画素データOut1(n),Out2(n)の値)を混合するものである。具体的には、例えば図17に示したように、(Trst1(n)−Trst2(n))の値に応じて、Out(n)=A1×Out1(n)+A2×Out2(n)の式中の係数A1,A2の値の比率を変化させつつ、最終的な出力画素データOut(n)を生成する。
以上のように本変形例では、処理方向が互いに逆向きである2つの予測値生成部21−1,21−2等を設けるようにしたので、予測値の確からしさを高める方法として、複数の予測値からより確からしさの高い予測値を求めることが可能となる。
また、補正値混合部25において、それぞれの予測値を信頼性の程度の比率に応じて混合するようにしたので、さらに信頼性の高い予測値を求めることが可能となる。
(その他の変形例)
以上、いくつかの実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されず、種々の変形が可能である。
例えば、上記第1の実施の形態で説明したホールドボケ抑制処理では、場合によってはノイズを強調してしまう可能性がある。したがって、これによる弊害を抑えるため、補正量算出部において、入力信号のフレーム差分信号振幅の関数によって補正量のゲイン制御をしたり、補正値の出力部に各種フィルタを配置するのが望ましい。このようなフィルタとしては、例えばεフィルタが有効である。同様に、上記第2の実施の形態およびその変形例で説明したホールドボケ抑制処理では、場合によってはノイズを強調してしまう可能性がある。したがって、これによる弊害を抑えるため、補正量算出部において、入力信号の遅延した画素位置(例えば、mv/2遅延)との差分信号振幅の関数によって補正量のゲイン制御をしたり、補正値の出力部に各種フィルタを配置するのが望ましい。このようなフィルタとしては、例えばεフィルタが有効である。
更に、上記実施の形態等において説明したホールドボケのモデルおよび補正量の算出処理では、入力映像信号Dinは、撮像装置側においてγ処理がなされたデータ(カメラγ)となっている。また、ホールドボケのモデル式である(1)式は、γ処理がなされていない映像信号となっている。そのため、予測値を算出する際に、映像信号D1に対してカメラγの逆γ処理を施すと共に、補正値を出力する際に、カメラγ処理を施すようにするのが望ましい。
加えて、上記実施の形態等で説明したホールドボケ抑制処理部は、単体で用いることも可能であるし、また、図示しない他のブロック(所定の画像処理を施す他の画像処理部)と組み合わせて用いることも可能である。
加えてまた、上記実施の形態等で実行される高フレームレート変換処理において、入力映像信号の第1のフレームレート(フレーム周波数)と、出力映像信号の第2のフレームレート(フレーム周波数)との組み合わせは、特に限定されず、任意の組み合わせでよい。具体的には例えば、入力映像信号の第1のフレームレートとして60(または30)〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとして120[Hz]を採用することができる。例えば、入力映像信号の第1のフレームレートとして60(または30)〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとして240[Hz]を採用することができる。例えば、入力映像信号の第1のフレームレートとして、PAL(Phase Alternation by Line)方式に対応する50〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとして100〔Hz〕や200〔Hz〕を採用することができる。例えば、入力映像信号の第1のフレームレートとして、テレシネに対応する48〔Hz〕を採用し、かつ、出力映像信号の第2のフレームレートとしてそれ以上の所定の周波数を採用することができる。
更にまた、上記実施の形態等において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。図18は、これら一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。このようなプログラムは、コンピュータ200に内蔵されている記録媒体としてのハードディスク205やROM203に予め記録しておくことができる。あるいはまた、プログラムは、リムーバブル記録媒体211に、一時的あるいは永続的に格納(記録)しておくことができる。リムーバブル記録媒体211としては、例えば、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどが挙げられる。このようなリムーバブル記録媒体211は、いわゆるパッケージソフトウエアとして提供することができる。なお、プログラムは、上述したようなリムーバブル記録媒体211からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。そして、コンピュータでは、そのようにして転送されてくるプログラムを、通信部208で受信し、内蔵するハードディスク205にインストールすることができる。
また、このコンピュータ200は、CPU202を内蔵している。このCPU202には、バス201を介して、入出力インタフェース210が接続されている。CPU202は、入出力インタフェース210を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部207が操作等されることにより指令が入力されると、それにしたがって、ROM203に格納されているプログラムを実行する。あるいは、また、CPU202は、ハードディスク205に格納されているプログラム、衛星もしくはネットワークから転送され、通信部208で受信されてハードディスク205にインストールされたプログラム、またはドライブ209に装着されたリムーバブル記録媒体211から読み出されてハードディスク205にインストールされたプログラムを、RAM(Random Access Memory)204にロードして実行する。これにより、CPU202は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU202は、その処理結果を、必要に応じて、例えば、入出力インタフェース210を介して、LCDやスピーカ等で構成される出力部206から出力、あるいは、通信部208から送信、さらには、ハードディスク205に記録等させるようになっている。
1…表示装置、11…IP変換部、12…動きベクトル検出部、13…高フレームレート変換部、14…表示駆動部、15…表示パネル、2,2A…ホールドボケ抑制処理部、20…入力保存部、21,21−1,21−2…予測値生成部、22,22−1,22−2…補正量算出部、23,23−1,23−2…補正値遅延部、24…補正値保存部、25…補正値混合部、3…ホールドボケ抑制処理部、30…入力位相補正部、31…予測値生成部、32…補正量算出部、33…補正値遅延部、Din,D0〜D2…映像信号、mv…動きベクトル。

Claims (4)

  1. ホールド型の表示装置に適用される入力映像信号において、所定の単位期間ごとに動きベクトルを検出する検出部と、
    前記動きベクトルを用いて、前記入力映像信号により構成される入力映像の各画素値を前記単位期間ごとに補正することにより、前記表示装置において映像表示を行う際のホールドボケの抑制処理を行い、出力映像信号を生成する補正部と
    を備え、
    前記補正部は、各単位期間における注目画素の補正の際に、その直前の単位期間において補正済みの同一画素である補正済画素における補正結果を利用して、補正処理を行う
    映像信号処理装置。
  2. 前記補正部は、前記動きベクトルと、直前の単位期間における前記補正済画素での補正結果と、前記注目画素における動きベクトル方向の画素微分値とを用いて、現在の単位期間における注目画素の補正値を求める
    請求項1に記載の映像信号処理装置。
  3. 前記補正部は、直前の単位期間における前記補正済画素の補正値と元の画素値との差分値に対応する信頼性情報を用いて、現在の単位期間における注目画素での補正処理の大きさを制御する
    請求項2に記載の映像信号処理装置。
  4. ホールド型の表示装置に適用される入力映像信号において、所定の単位期間ごとに動きベクトルを検出する検出部と、
    前記動きベクトルを用いて、前記入力映像信号により構成される入力映像の各画素値を前記単位期間ごとに補正することにより、前記表示装置において映像表示を行う際のホールドボケの抑制処理を行い、出力映像信号を生成する補正部と、
    前記出力映像信号に基づいて映像表示を行う表示部と
    を備え、
    前記補正部は、各単位期間における注目画素の補正の際に、その直前の単位期間において補正済みの同一画素である補正済画素における補正結果を利用して、補正処理を行う
    表示装置。
JP2009117837A 2009-05-14 2009-05-14 映像信号処理装置および表示装置 Pending JP2010266681A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009117837A JP2010266681A (ja) 2009-05-14 2009-05-14 映像信号処理装置および表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009117837A JP2010266681A (ja) 2009-05-14 2009-05-14 映像信号処理装置および表示装置

Publications (1)

Publication Number Publication Date
JP2010266681A true JP2010266681A (ja) 2010-11-25

Family

ID=43363698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009117837A Pending JP2010266681A (ja) 2009-05-14 2009-05-14 映像信号処理装置および表示装置

Country Status (1)

Country Link
JP (1) JP2010266681A (ja)

Similar Documents

Publication Publication Date Title
US7817127B2 (en) Image display apparatus, signal processing apparatus, image processing method, and computer program product
US8077258B2 (en) Image display apparatus, signal processing apparatus, image processing method, and computer program product
EP2262255B1 (en) Image processing apparatus and image processing method
JP4857916B2 (ja) ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
JP2006081150A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20120093231A1 (en) Image processing apparatus and image processing method
JP5490236B2 (ja) 画像処理装置および方法、画像表示装置および方法
JP2010268225A (ja) 映像信号処理装置および表示装置
JP2007525703A (ja) 画像の動きを補償する装置及び方法
EP2680253B1 (en) Image processing apparatus and image processing method
JP5249166B2 (ja) 画像処理装置、画像処理方法
US8385430B2 (en) Video signal processing apparatus and video signal processing method
JP4355577B2 (ja) ノイズ抑制対角線方向補正によるアップコンバージョン
JP2000259146A (ja) 画像表示装置
JP2011130128A (ja) 画像処理装置及びその制御方法、プログラム
JP2010266681A (ja) 映像信号処理装置および表示装置
JP2009239698A (ja) 映像変換装置及び映像変換方法
JP2007311963A (ja) 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2009081561A (ja) フレーム補間装置、フレーム補間プログラム、フレーム補間方法および携帯端末
WO2011033675A1 (ja) 画像処理装置および画像表示装置
JP2011142400A (ja) 動きベクトル検出装置および方法、映像表示装置、映像記録装置、映像再生装置、プログラムおよび記録媒体
JP2012227799A (ja) 画像表示装置
JP2018081305A (ja) 表示装置及びその駆動方法
JP2010103643A (ja) 画像処理装置および画像表示装置
JP5480674B2 (ja) 画像処理装置およびその制御方法