JP2007329952A - 画像表示装置及び方法、画像処理装置及び方法 - Google Patents

画像表示装置及び方法、画像処理装置及び方法 Download PDF

Info

Publication number
JP2007329952A
JP2007329952A JP2007190959A JP2007190959A JP2007329952A JP 2007329952 A JP2007329952 A JP 2007329952A JP 2007190959 A JP2007190959 A JP 2007190959A JP 2007190959 A JP2007190959 A JP 2007190959A JP 2007329952 A JP2007329952 A JP 2007329952A
Authority
JP
Japan
Prior art keywords
region
image signal
area
frames
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007190959A
Other languages
English (en)
Other versions
JP4504999B2 (ja
JP2007329952A5 (ja
Inventor
Toshiji Hanaoka
利治 花岡
Yasuhiro Yoshida
育弘 吉田
Masafumi Ueno
雅史 上野
Hiroyuki Furukawa
浩之 古川
Kenichiro Yamamoto
健一郎 山本
Takashi Yoshii
隆司 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007190959A priority Critical patent/JP4504999B2/ja
Publication of JP2007329952A publication Critical patent/JP2007329952A/ja
Publication of JP2007329952A5 publication Critical patent/JP2007329952A5/ja
Application granted granted Critical
Publication of JP4504999B2 publication Critical patent/JP4504999B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】動き補償型のレート変換(FRC)部を備えた画像表示装置において、高速領域と低速領域とが混在する画像に対する画質の劣化を防止する。
【解決手段】FRC部は、動きベクトル検出部11e、内挿フレーム生成部12bを備える。動きベクトル検出部11eは、入力画像信号から第1の所定量以上の動き量を含む第1の領域(高速領域)を検出する第1の領域検出手段112e1、入力画像信号から第2の所定量以下の動き量を含む第2の領域(低速領域)を検出する第2の領域検出手段112e2、入力画像信号のフレーム間差分により静止領域を検出する第3の領域検出手段113eを備える。内挿フレーム生成部12bは、第1の領域(背景)中の静止領域に対して、動きベクトルを用いた動き補償内挿処理を行い、第2の領域(前景)中の静止領域に対しては、動き補償内挿処理の動き補償強度を低減する処理を行う。
【選択図】図17

Description

本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法に関し、より詳細には、動き補償型のレート変換処理を行う際に、画像の前景と背景等の動きベクトル量の異なる複数の領域間で異なる内挿処理を行える画像表示装置及び該装置による画像表示方法に関するものである。
動画像を具現する用途に従来から主として用いられてきた陰極線管(CRT:Cathode Ray Tube)に対して、LCD(Liquid Crystal Display)は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、LCDの表示方式そのものに起因することが指摘されている(例えば、特許文献1参照)。
電子ビームを走査して蛍光体を発光させて表示を行うCRTでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、LCDでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、TFT方式の場合、画素を構成するドット毎にTFTスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド(以下、フレームで代表する)の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術は、FRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法が知られている。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿(動き補償)処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
前述の特許文献1には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、LCD(ホールド型表示方式)の表示状態を、CRT(インパルス型表示方式)の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。
上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。この勾配法においては、連続した2つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより2つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、2つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
従来、前フレームと現フレームの画像に差がない場合、すなわち静止領域に対しては、検出ベクトルではなく、0ベクトルを用いて内挿処理を行う0ベクトル優先の内挿処理方法が知られている(例えば、特許文献2、非特許文献1参照)。この処理は背景画像の画質改善に効果的である。例えば、特許文献2に記載の発明によれば、カメラが停止しているときは前景に対して背景がほぼ静止状態にあるため、背景領域に対して0ベクトル優先の内挿処理を行い、前景領域には0ベクトル優先の内挿処理を行わないようにしている。
図24は、従来のフレームレート変換部における内挿フレーム生成処理に係る要部構成を示すブロック図で、図中、101は遅延部、102は静止領域検出部、103は内挿ベクトル評価部、104は内挿ベクトル制御部、105は内挿フレーム生成部を示す。入力画像信号は、遅延部101によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像信号は、内挿ベクトル評価部103、静止領域検出部102、及び内挿フレーム生成部105に入力される。
図示しない動きベクトル検出部は、初期ベクトル候補(推定ベクトル)として、前々フレームで既に検出されている動きベクトルを蓄積したベクトルメモリ(図示せず)から、被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択し、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレームとの間の動きベクトルを検出する。
内挿ベクトル評価部103は、上記動きベクトル検出部により検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルを内挿フレームの内挿ブロックに割り付ける処理を行う。すなわち、内挿ベクトル評価部103は、ベクトルメモリから順に入力される推定ベクトルを用いてDFD(Displaced Field Difference)を算出し、このDFDに基づいて、最適な内挿ベクトルを決定・出力する。
尚、DFDとは、動きベクトル(ここでは推定ベクトル)の正確さの程度を示す指標であり、被検出ブロック内の各画素と被検出ブロックから動きベクトルが指し示す先のブロック内の各画素とのフレーム間差分の絶対値和である。従って、DFDの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
ここで、前述の非特許文献1で提案されている技術によれば、βなるフラグを設定し、入力画像の動き検出、言い換えると静止領域の判定を行っている。なお、この静止領域とは動きの遅いあるいは動きのない領域のことをいう。
静止領域検出部102は、上述のβなるフラグを設定するものであり、0ベクトルに対するDFDであるFD(Field Difference)を算出し、このFDと所定の閾値とを比較することにより、静止領域の検出を行う。ここでは、内挿ベクトル評価部103から出力された内挿ベクトルを用いたDFDを算出し、所定の閾値として、DFDの最小値Min(DFD)を用いて、Min(DFD)<FDのとき、β=1を出力し、それ以外のときは、β=0を出力する。すなわち、静止領域検出部102は、入力画像信号のフレーム間差分に基づいて、動領域に対してはβ=1を、また、静止領域に対してはβ=0を内挿ベクトル補正部104へ出力する。
また、上述の静止領域の判定条件に関しては、Min(DFD)<FDの条件に限定せず、たとえMin(DFD)<FDの条件に該当しなくとも、Min(DFD)の絶対値が十分小さければ、β=1(つまり、動領域の検出)を出力するようにしてもよい。また、例えばMin(DFD)×k<FD(0<k<1)というような条件を設定して、静止領域の検出基準を厳しくしてもよい。
内挿ベクトル制御部104は、静止領域検出部102からβ=1が入力された場合、内挿ベクトル評価部103からの内挿ベクトルをそのまま用いて内挿フレームを生成するとともに、静止領域検出部102からβ=0が入力された場合、内挿ベクトル評価部103からの内挿ベクトルに代えて0ベクトルを用いて内挿フレームを生成するよう、内挿フレーム生成部105へ制御信号を出力する。
内挿フレーム生成部105は、2つの入力フレームと内挿ベクトル制御部104からの制御信号に基づいて、内挿ベクトル評価部103からの内挿ベクトルあるいは0ベクトルに基づいて、内挿フレームを生成して後段へ出力する。
ここで、カメラが被写体を追従して一定方向に高速でパンニングしながら撮影されたような映像の場合、例えば、図25(A)の画像例に示すように、走行中の自動車をカメラで追いかけて撮影した映像では、撮影対象である自動車以外の背景部分の建物や木、前を通り過ぎる標識などは、自動車の移動方向とは逆方向に非常に高速に動いている映像となる。このような映像画面内の動きベクトルを解析すると、自動車の領域は静止に近い状態となり、背景部分の建物や木、前を通り過ぎる標識は自動車の移動方向とは逆方向の大きな動きベクトルが検出される。つまり、このような映像を計算機から捉えると、自動車の領域が低速領域、自動車以外の領域は高速領域と判定される。
上記のような映像の場合、自動車の前を高速で通り過ぎる標識は、図25(B),(C)の画像例に示すように、文字の一部が壊れて文字の内部に文字以外の部分の色が出たり、また、文字以外の部分に文字の色が出る場合がある(図中、Fで示す部分)。この破綻は、上述した0ベクトル優先の内挿処理に起因して発生するものであって、例えば、前記標識のように一様な色からなる画像中に、文字のような一部にエッジの立った画像が存在する場合に、静止領域判定による0ベクトル内挿を行うと発生し易い。
図26は、高速領域中の静止領域に対して0ベクトル優先内挿処理を行うことにより発生する破綻の原理について説明するための図である。図26(A)において、FDの値が小さくなる領域、いわゆる静止領域判定により静止領域となる図中のβ=0の部分が0ベクトル優先で内挿処理される。この静止領域の周辺画像が高速で移動(スクロール)している場合、1フレーム期間あたりの物体の移動量が大きいため、これが破綻の原因となる。図中、0ベクトル(点線で示した矢印)による内挿処理が行われると、内挿フレームのGで示した領域は、本来、前記標識中の文字が存在すべきであるにも関わらず、文字の背景となる標識自体の画像が内挿されて、文字の一部が欠落してしまう結果となる。
これに対して、動きベクトルが0に近い画像となる自動車の部分では、0ベクトル優先の画像処理を行ったほうが画質がよくなる。自動車に相当する低速領域中の静止領域に対しては0ベクトル優先で内挿した方が画質がよくなる理由を、図26(B)において説明すると、帯部分Zに示すように、低速領域の両端の部分で高速領域画像(建物、木、標識など)の動きベクトルと低速領域画像の動きベクトルとの合成ベクトルが発生するため、やや背景(高速領域)画像の移動方向に引っ張られた内挿画像になることがある。そこで、低速領域の両端部分内側はβ=0、すなわち、0ベクトル優先内挿処理を行ったほうが好ましい結果となり、低速領域中の静止領域部分に対しては0ベクトル優先の内挿処理がよいことになる。
ただし、上述のように低速領域中の静止領域に対して0ベクトル優先内挿処理を行い、高速領域中の静止領域に対して0ベクトル内挿を行わないようにしただけでは、図27に示すように、低速領域の外側の内挿画像に破綻を起こす場合がある。例えば、図27(A)に示す画像に対して、上記内挿処理を適用すると、図27(B)に示すように、楕円で囲んだ部分H、すなわち低速領域の端部に相当する自動車の両端部分に破綻が発生する場合がある。図27(B)においては、本来は背景に相当する高速領域の画像(建物、木など)が描画されるべき位置であるにも関わらず、低速領域の画像である自動車の一部が描画されている。
図28は、低速領域の外周端で発生する破綻の原理を説明するための図である。図中、動きベクトル(点線で示した矢印)を用いた内挿処理が行われると、内挿フレームのIで示した領域は、本来、高速領域画像が存在すべきであるにも関わらず、低速領域画像の影響を受けて、低速領域画像が引っ張られたような破綻が発生するという問題がある。
特許第3295437号明細書 特開平6−178285号公報 野尻裕司、平林洋志、曽根原源、岡野文男、「HDTV方式変換装置」、テレビジョン学会誌、Vol.48、No.1、pp.84−94(1994)
上述したとおり、前述の特許文献2や非特許文献1で提案されている技術によれば、画像中に静止領域が検出された場合、β=0を出力し、静止領域に対して0ベクトル優先の内挿処理を行うような工夫がなされている。
しかしながら、例えば、カメラをパンニングしながら被写体を追従して撮影した画像などのように、高速領域と低速領域とが混在するような画像の場合、被写体となる低速領域に対して高速領域に大きな動きがあるため、例えば図25(B)に示した高速領域中の静止領域に対して0ベクトル優先内挿処理を行ってしまうと、図25(C)に示したような破綻が発生してしまうという問題がある。
一方、低速領域は動きが小さく0ベクトルに近い画像であるため、低速領域中の静止領域に対しては逆に0ベクトル優先内挿処理を行ったほうが画質改善に効果がある。従って、高速領域と低速領域とが混在する画像に対しては、単純に0ベクトル優先内挿処理を行わないというだけでは十分に画質を改善することはできない。
また、低速領域中の静止領域に対して0ベクトル優先内挿処理を行い、高速領域中の静止領域に対しては0ベクトル内挿を行わないようにした場合、低速領域の外周端部において、図27(B)に示したような破綻が発生してしまい、十分に画質を改善することはできない。
本発明は、上述のごとき実情に鑑みてなされたものであり、画像の低速領域と高速領域等の動き量が異なる複数の領域間で異なる内挿処理を行えるようにすること、
また、低速領域中の静止領域に対して動き補償処理以外の内挿処理を行い、高速領域中の静止領域部分に対しては動きベクトルによる動き補償内挿処理が行われた場合、高速領域画像の動きに起因して低速領域端部で発生する破綻を軽減すること、を目的とする。
上記課題を解決するために、本願の第1の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出する第1の領域検出手段と、前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出する第2の領域検出手段と、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する第3の領域検出手段とを備え、前記レート変換手段が、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする。
本願の第2の発明は、前記第2の内挿フレーム生成処理が、動き補償処理を施した画像信号と線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する処理であることを特徴とする。
本願の第3の発明は、前記第2の領域中の前記静止領域に対しては、前記線形補間処理を施した画像信号を内挿画像信号とし、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した画像信号を内挿画像信号とすることを特徴とする。
本願の第4の発明は、前記第2の内挿フレーム生成処理を行った領域とそれ以外の領域との境界部分で、前記レート変換手段における動き補償処理の強度を連続的に変化させることを特徴とする。
本願の第5の発明は、前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張する手段を備えたことを特徴とする。
本願の第6の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出する低速領域検出手段と、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する静止領域検出手段とを備え、前記レート変換手段が、前記低速領域中の前記静止領域以外の領域及び低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする。
本願の第7の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする。
本願の第8の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張するステップと、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記所定量拡張された前記第2の領域中の静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする。
本願の第9の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出するステップと、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、前記低速領域中の前記静止領域以外の領域及び前記低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする。
本願の第10の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出する第1の領域検出手段と、前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出する第2の領域検出手段と、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する第3の領域検出手段とを備え、前記レート変換手段が、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする。
本願の第11の発明は、前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張する手段を備えたことを特徴とする。
本願の第12の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出する低速領域検出手段と、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する静止領域検出手段とを備え、前記レート変換手段が、前記低速領域中の前記静止領域以外の領域及び前記低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする。
本願の第13の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像処理方法において、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする。
本願の第14の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像処理方法において、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張するステップと、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記所定量拡張された前記第2の領域中の静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする。
本願の第15の発明は、入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像処理方法において、前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出するステップと、前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、前記低速領域中の前記静止領域以外の領域及び前記低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする。
本発明によれば、画像の低速領域と高速領域等の動き量が異なる複数の領域間で異なる内挿処理を行うことにより、0ベクトル優先内挿処理に起因した内挿画像の破綻の発生を防止することができる。
また、低速領域中の静止領域に対して動き補償処理以外の内挿処理を行い、高速領域中の静止領域部分に対しては動きベクトルによる動き補償内挿処理が行われた場合、低速領域を所定量だけ拡張することにより、高速領域画像の動きに起因して低速領域端部で発生する破綻を軽減することができる。
以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について説明する。なお、図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。
本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
図1は、本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図で、図中、10はフレームレート変換部(以下、FRC部)で、該FRC部10は、入力画像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部11と、検出した動きベクトルに基づいて内挿フレーム(内挿画像)を生成するフレーム生成部12とから構成される。なお、ベクトル検出部11は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。
ここで、反復勾配法の特徴は、動きベクトルの検出がブロック単位で可能であるため、数種類の動き量が検出でき、また、小領域の動物体でも動きベクトルを検出することができる。また、回路構成も他の方式(ブロックマッチング法など)と比較して小規模で実現することができる。この反復勾配法では、被検出ブロックに対して、すでに検出された近傍のブロックの動きベクトルを初期偏位ベクトルとして、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。
図1において、ベクトル検出部11は、入力画像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部11aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ11bと、動き検出用フレームメモリ11cと、初期ベクトル候補を推定ベクトルとして蓄積するためのベクトルメモリ11dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部11eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部11fと、を備えて構成される。
なお、FRC部10は、本発明のレート変換手段に相当し、動きベクトル検出部11eは、本発明の動きベクトル検出部に相当し、内挿ベクトル評価部11fは、本発明の内挿ベクトル割付部に相当する。
反復勾配法を適用した場合、演算に画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ11bにおいてLPFをかけて高域部の帯域を制限しておく。ベクトルメモリ11dには、初期ベクトル候補(推定ベクトル)として、前々フレームで既に検出されている動きベクトルを蓄積しておく。
動きベクトル検出部11eは、ベクトルメモリ11dに蓄積されている推定ベクトルの中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックにおける既検出動きベクトル(推定ベクトル)の中からブロックマッチング法により初期ベクトルを選択する。そして、動きベクトル検出部11eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部12に出力する。
フレーム生成部12は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ12aと、内挿用フレームメモリ12aからの2つの入力フレームと内挿ベクトル評価部11fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部12bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ12cと、タイムベース変換用フレームメモリ12cからの入力フレームに内挿フレーム生成部12bからの内挿フレームを挿入して出力画像信号(RGB信号)を生成するタイムベース変換部12dと、を備えて構成される。
なお、内挿フレーム生成部12bは、本発明の内挿画像生成部に相当し、タイムベース変換部12dは、本発明の画像内挿部に相当する。
図2は、フレーム生成部12による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部12bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。
上記のようにして生成された内挿フレームは、タイムベース変換部12dに送られる。タイムベース変換部12dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部10により、入力画像信号(60フレーム/秒)を、動き補償された出力画像信号(120フレーム/秒)へ変換することができ、これを表示パネルに出力することにより、動きぼけ妨害の発生を低減して動画質を改善することが可能となる。尚、ここでは、60フレーム/秒の入力画像信号を、120フレーム/秒(2倍)の出力画像信号にフレームレート変換する場合について説明するが、例えば90フレーム/秒(1.5倍)、180フレーム/秒(3倍)の出力画像信号を得る場合に適用しても良いことは言うまでもない。
図3は、本発明に係るFRC部10を備えた画像表示装置の構成例を示すブロック図で、画像表示装置は、FRC部10、電極駆動部14、及び液晶表示パネル15を備える。液晶表示パネル15は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶ディスプレイである。電極駆動部14は、FRC部10によりフレームレート変換された画像信号に基づいて液晶表示パネル15の走査電極及びデータ電極を駆動するための表示ドライバである。
液晶表示パネル15の駆動周波数は、FRC部10により変換されたフレーム周波数となる。従って、例えば60Hzのフレーム周波数で入力された画像信号が、FRC部10で120Hzのフレーム周波数に変換された場合、液晶表示パネル15の駆動周波数は、120Hzとなる。なお、本発明は、液晶ディスプレイ、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能であるが、以下の各実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明する。
図4は、本発明のFRC部10における内挿フレーム生成処理に係る概略構成例を示すブロック図で、図中、111eは遅延部、112e1は第1の領域検出手段、112e2は第2の領域検出手段、113eは第3の領域検出手段、114eは内挿ベクトル制御部、11fは内挿ベクトル評価部、12bは内挿フレーム生成部、121bは第1の内挿フレーム生成処理部、122bは第2の内挿フレーム生成処理部を示す。
図1に示した動きベクトル検出部11eで検出された動きベクトルは、内挿ベクトル評価部11f,第1の領域検出手段112e1,第2の領域検出手段112e2に入力される。 第1の領域検出手段112e1は、動きベクトルから、第1の所定量以上の動きベクトルを含む第1の領域である高速領域(例えば、図25(A)に示す、自動車の背景にある建物、木や自動車の前を通り過ぎる標識など)を検出する。第2の領域検出手段112e2は、動きベクトルから、第2の所定量以下の動きベクトルを含む第2の領域である低速領域(例えば、図25(A)に示す自動車の領域)を検出する。
ここで、高速領域とは、1フレーム期間あたり一定方向への動き量が所定の画素数以上の領域のことをいい、低速領域とは、1フレーム期間あたり一定方向への動き量が所定の画素数以下の領域のことをいう。例えば、カメラをパンニングして撮影している場合、撮影対象の被写体は画面の略中央に捉えている場合が多いため、動きベクトルが小さく検出される。また、この撮影対象の被写体の背景部分は高速に移動(スクロール)することになるため、撮影対象の被写体領域よりも大きな動きベクトルが検出される。従って、各領域で検出される動きベクトルの大きさに応じて、背景に対応する高速領域と、撮影対象の被写体に対応する低速領域とに切り分けることができる。
上記の動き量に相当する画素数(ベクトル長)は、2つの領域間で異なっていてもよい(第1の所定量>第2の所定量)が、第1の所定量と第2の所定量とを同一の値(第1の所定量=第2の所定量)として、例えば、1フレーム期間あたり5画素以上の動きを有する場合は高速領域、5画素未満は低速領域として切り分けるようにしてもよい。また、第1の領域検出手段112e1,第2の領域検出手段112e2で検出する領域は、少なくとも2つであればよく、3つ以上の領域を検出するようにしてもよい。以下の説明においては、1フレーム期間あたり5画素以上の動きがある画像領域を高速領域、1フレーム期間あたり5画素未満の動きがある画像領域を低速領域と定義して説明する。
図4において、入力画像信号は、遅延部111eによって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、内挿ベクトル評価部11f、第3の領域検出手段113e及び内挿フレーム生成部12bに入力される。
第3の領域検出手段113eは、例えば、前述の非特許文献1に記載の方法に基づいて、β値を設定し、Min(DFD)<FDのとき、β=1を出力し、それ以外のときは、β=0を出力する。すなわち、第3の領域検出手段113eは、フレーム間差分に基づいて、動領域に対してはβ=1を、また、静止領域に対してはβ=0を、内挿ベクトル制御部114eへ出力する。この静止領域は、前フレームと現フレームとの間で動きのないあるいは動きの遅い領域のことをいい、換言すれば、フレーム間差分の値が0に近いものをいう。
内挿ベクトル制御部114eは、第3の領域検出手段113eから静止領域検出信号(β=0)が入力され、且つ、第1の領域検出手段112e1から第1領域(高速領域)検出信号が入力された場合、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを第1の内挿フレーム生成処理部121bへ入力するよう制御する。第1の内挿フレーム生成処理部121bは、高速領域中の静止領域に対して、内挿ベクトルを用いて内挿フレームを生成する。このようにして、高速領域中の静止領域に対しては動き補償内挿処理が施される。
一方、内挿ベクトル制御部114eは、第3の領域検出手段113eから静止領域検出信号(β=0)が入力され、且つ、第2の領域検出手段112e2から第2領域(低速領域)検出信号(後述するα=1)が入力された場合、内挿ベクトル評価部11fで割り付けられた内挿ベクトルの代わりに、例えば0ベクトルを第2の内挿フレーム生成処理部122bへ入力するよう制御する。第2の内挿フレーム生成処理部122bは、低速領域中の静止領域に対して、0ベクトルを用いて内挿フレームを生成する。このようして、低速領域中の静止領域に対しては動き補償処理以外の内挿処理、例えば、0ベクトル内挿処理、線形補間処理、同一フレーム挿入処理、動き補償内挿処理における補正強度の可変処理などが施される。
(第1の実施形態)
本発明の第1の実施形態は、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては0ベクトル優先の内挿処理を行い、高速領域中の静止領域に対しては0ベクトル内挿処理を行わないようにするために、低速領域中の静止領域に対応する内挿ブロックの内挿ベクトルを0ベクトルにすることにより、FRC部10における動き補償処理を無効化するものである。
図5は、本発明の第1の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。本実施形態の構成は、遅延部111e、低速領域検出部112e、静止領域検出部113e、内挿ベクトル補正部114e、第1の内挿フレーム生成処理部121b、第2の内挿フレーム生成処理部122b、及び内挿ベクトル評価部11fを備えている。なお、低速領域検出部112eは、図4に示した第1の領域検出手段112e1,第2の領域検出手段112e2に相当し、静止領域検出部113eは、図4に示した第3の領域検出手段113eに相当する。
入力画像信号は、遅延部111eによって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、内挿ベクトル評価部11f、静止領域検出部113e、及び内挿フレーム生成部12bに入力される。
内挿ベクトル評価部11fは、動きベクトル検出部11eにより検出された動きベクトルに対してDFDを算出することで評価し、その評価結果に基づいて最適な(DFDが最小となる)内挿ベクトルを内挿フレーム間の内挿ブロックに割り付ける処理を行う。
静止領域検出部113eは、Min(DFD)<FDのとき、β=1を出力し、それ以外のときは、β=0を出力する。すなわち、静止領域検出部113eは、入力画像信号のフレーム間差分に基づいて、動領域に対してはβ=1を、また、静止領域に対してはβ=0を内挿ベクトル制御部114eへ出力する。
本実施形態における低速領域の検出処理では、内挿ベクトル評価部11fから出力された内挿ベクトルを用いており、この内挿ベクトルが所定量(例えば、5画素)より小さい場合にのみα=1を出力される。
内挿ベクトル制御部114eは、静止領域検出部113eから静止領域検出信号(β=0)が入力され、且つ、低速領域検出部112eから高速領域検出信号(α=0)が入力された場合、内挿ベクトル評価部11fで割り付けられた内挿ベクトルを第1の内挿フレーム生成処理部121bへ入力するよう制御する。第1の内挿フレーム生成処理部121bは、高速領域中の静止領域に対して、内挿ベクトル評価部11fから出力された内挿ベクトルを用いて内挿フレームを生成する。このようにして、高速領域中の静止領域に対しては動き補償内挿処理が施される。
一方、内挿ベクトル制御部114eは、静止領域検出部113eから静止領域検出信号(β=0)が入力され、且つ、低速領域検出部112eから低速領域検出信号(α=1)が入力された場合、内挿ベクトル評価部11fで割り付けられた内挿ベクトルの代わりに、0ベクトルを第2の内挿フレーム生成処理部122bへ入力するよう制御する。第2の内挿フレーム生成処理部122bは、低速領域中の静止領域に対して、0ベクトルを用いて内挿フレームを生成する。このようして、低速領域中の静止領域に対しては0ベクトル内挿処理が施される。
図6は、本発明の第1の実施形態に係る内挿フレーム生成処理に係る要部構成の他の例を示すブロック図である。本実施形態の構成は、図5に示した構成と同様に、遅延部111e、低速領域検出部112e、静止領域検出部113e、内挿ベクトル補正部114e、第1の内挿フレーム生成処理部121b、第2の内挿フレーム生成処理部122b、及び内挿ベクトル評価部11fを備えている。
本実施形態における低速領域の検出処理では、内挿ベクトル評価部11fに入力される動きベクトル、すなわち、動きベクトル検出部11eにより検出された動きベクトルを用いており、この動きベクトルが所定量(例えば、5画素)より小さい場合にのみα=1を出力する。
図7は、本発明の第1の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、電極駆動部14、及び液晶表示パネル15を備えて構成されている。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、タイムベース変換部12dを備え、さらに、内挿ベクトル評価部11fにより割り付けられた内挿ベクトルを内挿ベクトル毎に蓄積する内挿ベクトルメモリ12e、低速領域検出部112e、静止領域検出部113eを備える。
制御部13は、図4乃至図6における内挿ベクトル制御部114eに相当するものであり、低速領域検出部112eからα=1、静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、内挿ベクトルメモリ12eにアクセスし、この低速領域中の静止領域に対応する内挿ブロックの内挿ベクトルを0ベクトルにする。
また、低速領域検出部112eからα=0、静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合、この高速領域中の静止領域に対応する内挿ブロックについて、内挿ベクトルメモリ12eの内挿ベクトルを内挿フレーム生成部12bに入力する。
具体的には、制御部13が、内挿ベクトルメモリ12eにアクセスしたときに、低速領域中の静止領域に対応する内挿ブロックにフラグ情報を付与する。このフラグ情報は、内挿ブロックの内挿ベクトルを使わないようにするためのフラグであり、フラグ情報が付与された内挿ブロックの内挿ベクトルの出力が0になるように制御される。このように、内挿ベクトルメモリ12eの内挿ベクトルを0にすることで、動き補償内挿処理を行わないようにすることができる。
なお、制御部13は、どの内挿ブロック(あるいはどの画素)に低速領域中の静止領域が対応しているかを示す情報を保持している。この情報は、例えば、画素の座標位置情報、内挿ブロックの領域情報などであり、低速領域中の静止領域に対応する画素あるいは領域がわかる情報であればよい。また、フラグ情報が付与されていない内挿ブロックの内挿ベクトルは、内挿ベクトルメモリ12eから出力されて内挿フレーム生成部12bに入力され、内挿フレーム生成部12bにおいて内挿フレーム生成に利用される。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては0ベクトル優先の内挿処理を行い、高速領域中の静止領域に対しては0ベクトル優先の内挿処理を行わないようにできるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、内挿ベクトルを用いた内挿フレームを生成し(0ベクトル優先内挿処理を行わない)、動き補償内挿処理を行う。
(第2の実施形態)
本発明の第2の実施形態は、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては0ベクトル優先の内挿処理を行い、高速領域中の静止領域に対しては0ベクトル内挿処理を行わないようにするために、低速領域中の静止領域に対応する内挿フレーム生成部12bの内挿ブロックの内挿ベクトルを0ベクトルにすることで、FRC部10における動き補償処理を無効化するものである。
図8は、本発明の第2の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、電極駆動部14、及び液晶表示パネル15を備えて構成されている。FRC部10は、動きベクトル検出部11e、内挿ベクトル評価部11f、内挿フレーム生成部12b、タイムベース変換部12d、及び低速領域検出部112e、静止領域検出部113eを備える。
図8において、内挿フレーム生成部12bは、内挿ベクトル評価部11fで割り付けられた内挿ベクトルから内挿フレームを生成する。制御部13は、図4乃至図6における内挿ベクトル制御部114eに相当するものであり、低速領域検出部112eからα=1、静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、内挿フレーム生成部12bにアクセスし、この低速領域中の静止領域に対応する内挿ブロックの内挿ベクトルを0ベクトルにする。
また、低速領域検出部112eから、α=0、静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合は、この領域に対応する内挿ブロックに対して、内挿フレーム生成部12bが内挿ベクトルから内挿フレームを生成する。
ここで、制御部13は、どの内挿ブロック(あるいはどの画素)に低速領域中の静止領域が対応しているかを示す情報(座標位置情報、領域情報など)を内挿フレーム生成部12bに出力し、内挿フレーム生成部12bは、制御部13からの指示に従って、該当する画素あるいはその画素を含む内挿ブロックの内挿ベクトルを0ベクトルにする。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては0ベクトル優先の内挿処理を行い、高速領域中の静止領域に対しては0ベクトル優先の内挿処理を行わないようにできるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、内挿ベクトルを用いた内挿フレームを生成し(0ベクトル優先内挿処理を行わない)、動き補償内挿処理を行う。
尚、上述の実施形態において、低速領域中の静止領域に対しては、FRC部10における動き補償処理を無効化するために、内挿ベクトルを0ベクトルにした場合、この動き補償処理を無効化した領域と、それ以外の動き補償処理を施した領域との境界部分では、ベクトルの急激な変化が生じるため、この動き補償処理の有無が明らかに画像に現れて目立つ場合がある。
この弊害を改善するために、0ベクトル優先の内挿処理を行った低速領域中の静止領域とそれ以外の領域との境界部分に対してローパスフィルタをかける等のフィルタ処理を施すことによって、動き補償処理の強度を連続的に変化させるのが望ましい。このように、動き補償処理の強度を連続的に変化させることにより、低速領域中の静止領域とそれ以外の領域との境界部分の内挿画像を滑らかに連続する画像とすることができ、この境界が目立つのを抑制することが可能となる。尚、以下の実施形態についても、低速領域中の静止領域とそれ以外の領域との境界部分に対してフィルタ処理を行うことで、動き補償処理の強度を連続的に変化させることが望ましい。
(第3の実施形態)
本発明の第3の実施形態は、FRC部10への入力経路とは別の経路上に線形補間内挿処理部を備え、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては線形補間内挿処理を行い、高速領域中の静止領域に対しては動き補償内挿処理を行うために、低速領域中の静止領域に対しては、線形補間による画像信号を内挿するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図9は、本発明の第3の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上に線形補間内挿処理部18とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。
切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、線形補間内挿処理部18からの画像信号(線形補間画像)を出力させるかを切り替える。
制御部13は、FRC10内に設けられた低速領域検出部112eからα=1、静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対しては、切替部16を経路17(線形補間内挿処理部18)側に切り替えて、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿して生成された表示画像信号を表示パネルに出力する。この場合、線形補間内挿処理部18は、入力画像信号のフレーム間に、線形補間処理を施した内挿フレームを挿入する処理を行う。
また、制御部13は、低速領域検出部112eからα=0、静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
尚、上述の線形補間処理とは、前フレームの信号と現フレームの信号とからフレーム内挿比γによる線形補間を施すことにより内挿フレームを得るものである。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては線形補間処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
(第4の実施形態)
本発明の第4の実施形態は、FRC部10への入力経路とは別の経路上にメモリを備え、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うために、低速領域中の静止領域に対しては、メモリ側に切り替えて、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出してフレームレート変換するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行わず、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。
図10は、本発明の第4の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上にメモリ19とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、メモリ19からの前フレーム又は後フレームの画像信号を出力させるかを切り替える。
制御部13は、FRC10内に設けられた低速領域検出部112eからα=1、静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16を経路17(メモリ19)側に切り替えて、入力画像信号のフレーム間に、その前或いは後フレームの画像信号をメモリ19から繰り返し読み出して挿入し生成された表示画像信号を表示パネルに出力する。メモリ19には、入力画像信号が蓄積されており、低速領域中の静止領域が検出されたときに、この領域に対応する画素あるいは該画素を含む領域の画像信号が繰り返し読み出される。
また、制御部13は、低速領域検出部112eからα=0、静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
(第5の実施形態)
本発明の第5の実施形態は、上述の第3の実施形態と同様、FRC部10への入力経路とは別の経路上に線形補間内挿処理部を備え、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては線形補間内挿処理を行い、高速領域中の静止領域に対しては動き補償内挿処理を行うために、低速領域中の静止領域に対しては、線形補間による画像信号を内挿するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図11は、本発明の第5の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、デコード部20、低速領域検出部112e、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上に線形補間内挿処理部18とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。本実施形態においては、低速領域検出部112eが、FRC部10の外部に設けられている。
ここで、入力画像信号が動きベクトル情報などを利用して圧縮された圧縮入力信号(例えば、MPEG、DivXなど)である場合は、この圧縮入力信号をデコード部20で画像信号に復元してFRC部10に入力される。この際、入力画像信号が動きベクトル情報を利用して圧縮された場合、復元の際に用いる動きベクトルが入力画像信号に付加されており、これをデコード部20から抽出することができる。本実施形態では、この抽出された動きベクトルを基に、低速領域検出部112eにて低速領域を判定してα値を出力する。
切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、線形補間内挿処理部18からの画像信号(線形補間画像)を出力させるかを切り替える。
制御部13は、低速領域検出部112eからα=1,FRC部10内に設けられた静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対しては、切替部16を経路17(線形補間内挿処理部18)側に切り替えて、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿して生成された表示画像信号を表示パネルに出力する。この場合、線形補間内挿処理部18は、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対して、入力画像信号のフレーム間に、線形補間処理を施した内挿フレームを挿入する処理を行う。
また、制御部13は、低速領域検出部112eからα=0,FRC部10内に設けられた静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては線形補間処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
(第6の実施形態)
本発明の第6の実施形態は、上述の第4の実施形態と同様、FRC部10への入力経路とは別の経路上にメモリを備え、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うために、低速領域中の静止領域に対しては、メモリ側に切り替えて、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出してフレームレート変換するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行わず、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。
図12は、本発明の第6の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、デコード部20、低速領域検出部112e、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上にメモリ19とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。本実施形態においては、低速領域検出部112eが、FRC部10の外部に設けられている。
デコード部20は、圧縮入力信号を画像信号に復元してFRC部10に入力するとともに、復元の際に利用した動きベクトル情報を低速領域検出部112eに入力する。低速領域検出部112eは、デコード部20にて抽出された動きベクトルに基づいて、低速領域を判定してα値を出力する。
切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、メモリ19からの前フレーム又は後フレームの画像信号を出力させるかを切り替える。
制御部13は、低速領域検出部112eからα=1,FRC部10内に設けられた静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16を経路17(メモリ19)側に切り替えて、入力画像信号のフレーム間に、その前或いは後フレームの画像信号をメモリ19から繰り返し読み出して挿入し生成された表示画像信号を表示パネルに出力する。メモリ19には、入力画像信号が蓄積されており、低速領域中の静止領域が検出されたときに、この領域に対応する画素あるいは該画素を含む領域の画像信号が繰り返し読み出される。
また、制御部13は、低速領域検出部112eからα=0,FRC部10内に設けられた静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
また、上記第5、第6の実施形態においては、制御部13に入力されるα値、β値に基づき、切替部16を切替制御することによって、動き補償処理を無効化する構成としているが、上述した第1、第2の実施形態のように、α値、β値に応じて内挿ベクトルを制御する構成としてもよいことは言うまでもない。
(第7の実施形態)
本発明の第7の実施形態は、上述の第3の実施形態と同様、FRC部10への入力経路とは別の経路上に線形補間内挿処理部を備え、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては線形補間内挿処理を行い、高速領域中の静止領域に対しては動き補償内挿処理を行うために、低速領域中の静止領域に対しては、線形補間による画像信号を内挿するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図13は、本発明の第7の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、デコード部20、低速領域検出部112e、テロップ領域検出部23、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上に線形補間内挿処理部18とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。本実施形態においては、低速領域検出部112eが、FRC部10の外部に設けられている。
デコード部20は、圧縮入力信号を画像信号に復元してFRC部10に入力するとともに、復元の際に利用した動きベクトル情報を低速領域検出部112eとテロップ領域検出部23とに入力する。低速領域検出部112eは、デコード部20にて抽出された動きベクトルを基に、低速領域を判定してα値を出力する。
ここで、入力画像信号としては、カメラで撮影された映像の上に、テロップ(一定方向に所定速度で移動(スクロール)するキャラクタ文字など)が放送局で付加されたものが存在する。このような画像が入力された場合、上述のように低速領域と高速領域とに切り分けることを考えると、テロップが付加されている領域は高速領域として、0ベクトル内挿処理を行わないようにすべきである。
しかしながら、テロップには細い線で構成されたキャラクタ文字も含まれており、このような文字を高速領域と判定するのは困難であるため、部分的に低速領域と判定されて0ベクトル内挿処理が行われる場合があり、内挿画像に破綻が生じることがある(図25(C)と同様)。従って、本実施形態においては、テロップ領域をあらかじめ検出し、テロップ領域を高速領域(つまり、α=0)と判定することで、テロップ領域の静止領域に対しては0ベクトル優先の内挿処理を行わないようにする。
テロップ領域検出部23における、テロップ領域の検出方法は、様々な公知技術を用いることができる。例えば、ある特定の速度(ベクトル長)を持つ動きベクトルが集中して存在する領域をテロップ領域として検出したり、また、テロップは水平方向にスクロールする場合が多いため、表示画面の水平方向の帯状領域毎に、同様の速度(ベクトル長)を持つ動きベクトルが多数存在しているかどうかを判定し、同様の速度(ベクトル長)を持つ動きベクトルが多数存在する水平方向の帯状領域をテロップ領域としても良い。
また、本出願人の出願に係る特願2006−325139号明細書には、表示画面の水平方向の帯状領域毎に、その帯状領域にて検出された動きベクトルの平均値を求め、これらの値に基づいた統計的処理により、テロップの存在する帯状領域を推定する方法が提案されており、この方法を用いてテロップ領域を検出してもよい。
本実施形態では、テロップ領域検出部23にてテロップ領域として検出された画素領域を、高速領域として判定(つまり、α=0)し、テロップ領域が確実に高速領域として処理されるようにする。
切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、線形補間内挿処理部18からの画像信号(線形補間画像)を出力させるかを切り替える。
制御部13は、テロップ領域検出部23によりテロップ領域として検出された画素領域情報(座標位置情報、領域情報など)を受け取り、低速領域検出部112eから出力されるα値に対して、テロップ領域として検出された画素領域に対応するα値をα=0に書き換える。このα値と、FRC部10内に設けられた静止領域検出部113eから出力されるβ値とに基づいて、切替部16を制御する。
このように、テロップ領域検出結果に基づき制御部13にてα値が更新設定された後、α=1,β=0となる場合、すなわち、低速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対しては、切替部16を経路17(線形補間内挿処理部18)側に切り替えて、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿して生成された表示画像信号を表示パネルに出力する。この場合、線形補間内挿処理部18は、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対して、入力画像信号のフレーム間に、線形補間処理を施した内挿フレームを挿入する処理を行う。
また、上記テロップ領域検出結果に基づき制御部13にてα値が更新設定された後、α=0,β=0となる場合、すなわち、高速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、さらにテロップ領域は確実に高速領域であると判定されるように制御し、低速領域中の静止領域に対しては線形補間処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
(第8の実施形態)
本発明の第8の実施形態は、上述の第4の実施形態と同様、FRC部10への入力経路とは別の経路上にメモリを備え、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うために、低速領域中の静止領域に対しては、メモリ側に切り替えて、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出してフレームレート変換するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行わず、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。
図14は、本発明の第8の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、デコード部20、低速領域検出部112e、テロップ領域検出部23、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上にメモリ19とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。本実施形態においては、低速領域検出部112eが、FRC部10の外部に設けられている。
デコード部20は、圧縮入力信号を画像信号に復元してFRC部10に入力するとともに、復元の際に利用した動きベクトル情報を低速領域検出部112eに入力する。低速領域検出部112eは、デコード部20にて抽出された動きベクトルに基づいて、低速領域を判定してα値を出力する。
テロップ領域検出部23は、デコード部20から出力される動きベクトル情報に基づいて、テロップが存在する画素領域を検出する。本実施形態では、テロップ領域検出部23にてテロップ領域として検出された画素領域を、高速領域として判定(つまり、α=0)し、テロップ領域が確実に高速領域として処理されるようにする。
切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、メモリ19からの前フレーム又は後フレームの画像信号を出力させるかを切り替える。
制御部13は、テロップ領域検出部23によりテロップ領域として検出された画素領域情報(座標位置情報、領域情報など)を受け取り、低速領域検出部112eから出力されるα値に対して、テロップ領域として検出された画素領域に対応するα値をα=0に書き換える。このα値と、FRC部10内に設けられた静止領域検出部113eから出力されるβ値とに基づいて、切替部16を制御する。
このように、テロップ領域検出結果に基づき制御部13にてα値が更新設定された後、α=1,β=0と判定された場合、すなわち、低速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16を経路17(メモリ19)側に切り替えて、入力画像信号のフレーム間に、その前或いは後フレームの画像信号をメモリ19から繰り返し読み出して挿入し生成された表示画像信号を表示パネルに出力する。メモリ19には、入力画像信号が蓄積されており、低速領域中の静止領域が検出されたときに、この領域に対応する画素あるいは該画素を含む領域の画像信号が繰り返し読み出される。
また、上記テロップ領域検出結果に基づき制御部13にてα値が更新設定された後、α=0,β=0と判定された場合、すなわち、高速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、さらにテロップ領域は確実に高速領域であると判定されるように制御し、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
また、上記第7、第8の実施形態においては、制御部13にて判定されるα値、β値に基づき、切替部16を切替制御することによって、動き補償処理を無効化する構成としているが、上述した第1、第2の実施形態のように、α値、β値に応じて内挿ベクトルを制御する構成としてもよいことは言うまでもない。
(第9の実施形態)
本発明の第9の実施形態は、上述の第3の実施形態と同様、FRC部10への入力経路とは別の経路上に線形補間内挿処理部を備え、高速スクロール画像が入力された場合、入力画像を低速領域と高速領域に切り分けて、低速領域中の静止領域に対しては線形補間内挿処理を行い、高速領域中の静止領域に対しては動き補償内挿処理を行うために、低速領域中の静止領域に対しては、線形補間による画像信号を内挿するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。
図15は、本発明の第9の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、画像合成処理部21、合成部22、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上に線形補間内挿処理部18とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。
ここで、画像合成処理部21は、入力画像信号とは異なる、文字やキャラクタなどの静止画像に係る第二の画像信号(例えば、当該画像表示装置内部で発生するオンスクリーン表示(OSD)信号や、データ放送を受信して得られるデータ情報表示信号など)を生成するものである。この画像合成処理部21で生成される第二の画像信号は、リモコン(リモートコントロール装置)等を用いてユーザによりなされる指示操作に応じて制御される。
合成部22は、画像合成処理部21からの第二の画像信号を、入力画像信号に合成(重畳)するものである。本実施形態では、第二の画像信号を合成する画素領域を、低速領域として判定(つまり、α=1)し、第二の画像信号が合成された領域は確実に低速領域中の静止領域として判定されるようにする。
切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、線形補間内挿処理部18からの画像信号(線形補間画像)を出力させるかを切り替える。
制御部13は、画像合成処理部21より第二の画像信号が合成される画素領域情報(座標位置情報、領域情報など)を受け取り、FRC部10内に設けられた低速領域検出部112eから出力されるα値に対して、第二の画像信号が合成される画素領域に対応するα値をα=1に書き換える。このα値と、FRC部10内に設けられた静止領域検出部113eから出力されるβ値とに基づいて、切替部16を制御する。
このように、画像合成位置情報に基づき制御部13にてα値が更新設定された後、α=1,β=0となる場合、すなわち、低速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対しては、切替部16を経路17(線形補間内挿処理部18)側に切り替えて、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿して生成された表示画像信号を表示パネルに出力する。この場合、線形補間内挿処理部18は、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対して、入力画像信号のフレーム間に、線形補間処理を施した内挿フレームを挿入する処理を行う。
また、上記画像合成位置情報に基づき制御部13にてα値が更新設定された後、α=0,β=0となる場合、すなわち、高速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては線形補間処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
また、第二の画像信号が合成された静止画部分については、確実に低速領域中の静止領域として、線形補間画像の内挿処理を行うことができるため、動き補償内挿処理に起因する画質の劣化を防止することが可能となる。
(第10の実施形態)
本発明の第10の実施形態は、上述の第4の実施形態と同様、FRC部10への入力経路とは別の経路上にメモリを備え、入力画像を低速領域と高速領域に切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うために、低速領域中の静止領域に対しては、メモリ側に切り替えて、メモリから同一フレームの画像信号を複数回高速で繰り返し読み出してフレームレート変換するものである。すなわち、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行わず、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。
図16は、本発明の第10の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、FRC部10、制御部13、切替部16、画像合成処理部21、合成部22、さらに、FRC部10への入力経路とは別に設けられた経路17と、経路17上にメモリ19とを備えて構成されている。なお、電極駆動部14、液晶表示パネル15の記載は省略している。切替部16は、FRC部10の後段に設けられ、制御部13からの指示に従って、FRC部10からの画像信号(動き補償画像)を出力させるか、メモリ19からの前フレーム又は後フレームの画像信号を出力させるかを切り替える。
ここで、画像合成処理部21は、入力画像信号とは異なる、文字やキャラクタなどの静止画像に係る第二の画像信号(例えば、オンスクリーン(OSD)信号や、データ放送信号など)を生成するものである。この画像合成処理部21で生成される第二の画像信号は、リモコン(リモートコントロール装置)等を用いてユーザによりなされる指示操作に応じて制御される。
合成部22は、画像合成処理部21からの第二の画像信号を入力画像信号に合成(重畳)するものである。本実施形態では、第二の画像信号を合成する画素領域を、低速領域として判定(つまり、α=1)し、第二の画像信号が合成された領域は確実に低速領域中の静止領域として判定されるようにする。
制御部13は、画像合成処理部21により第二の画像信号が合成される画素領域情報(座標位置情報、領域情報など)を受け取り、FRC部10内に設けられた低速領域検出部112eから出力されるα値に対して、第二の画像信号が合成される画素領域に対応するα値をα=1に書き換える。このα値と、FRC部10内に設けられた静止領域検出部113eから出力されるβ値とに基づいて、切替部16を制御する。
このように、画像合成位置情報に基づき制御部13にてα値が更新設定された後、α=1,β=0となる場合、すなわち、低速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16を経路17(メモリ19)側に切り替えて、入力画像信号のフレーム間に、その前或いは後フレームの画像信号をメモリ19から繰り返し読み出して挿入し生成された表示画像信号を表示パネルに出力する。メモリ19には、入力画像信号が蓄積されており、低速領域中の静止領域が検出されたときに、この領域に対応する画素あるいは該画素を含む領域の画像信号が繰り返し読み出される。
また、上記画像合成位置情報に基づき制御部13にてα値が更新設定された後、α=0,β=0となる場合、すなわち、高速領域中の静止領域と判定された場合、この領域に対応する画素あるいは該画素を含む領域に対して、切替部16をFRC部10側に切り替えて、入力画像信号のフレーム間においてFRC処理(動き補償フレーム内挿処理)が施された表示画像信号を表示パネルに出力する。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては同一フレーム挿入処理を行い、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
また、第二の画像信号が合成された静止画部分については、確実に低速領域中の静止領域として、同一フレーム画像の挿入処理を行うことができるため、動き補償内挿処理に起因する画質の劣化を防止することが可能となる。
尚、上記第9、第10の実施形態においては、制御部13にて判定されるα値、β値に基づき、切替部16を切替制御することによって、動き補償処理を無効化する構成としているが、上述した第1、第2の実施形態のように、α値、β値に応じて内挿ベクトルを制御する構成としてもよいことは言うまでもない。
(第11の実施形態)
本発明の第11の実施形態は、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては内挿フレーム生成部における動き補償処理の補償強度を可変するように構成される。具体的には、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿フレームを生成する内挿フレーム生成部を備え、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対して、加重加算比率を可変する。
図17は、本発明の第11の実施形態に係るFRC部10の要部構成例を示すブロック図で、FRC部10のフレーム生成部12は、内挿用フレームメモリ12a、内挿フレーム生成部12b、さらに、FRC部10における動き補償処理の補償強度を可変する補正強度可変部12f、を備えて構成される。なお、図中、Vは内挿ベクトル、γはフレーム内挿比、δは補償強度(加重加算比率)を示す。
一般に、フレーム内挿処理の方法として、例えば、2フレーム間の線形補間内挿によるフレーム内挿と、動きベクトルを用いたフレーム内挿(動き補償内挿)が知られている。前者は、前フレームの信号と現フレームの信号とからフレーム内挿比γによる線形補間を行うことで内挿フレームを得るものである。
一方、後者は、前フレームと現フレームとから内挿フレームを得るために、前フレームの画像と現フレームの画像との間の動きベクトルから内挿ベクトルVを検出し、その値(内挿ベクトルV)をフレーム内挿比γで分割したγVの大きさだけ前フレームの画像をずらした信号と、現フレームの画像を(γ―1)Vだけずらした信号との加重加算により内挿フレームを得る。この動き補償内挿を用いれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、良好な画質を得ることができるが、この処理に起因して、上述したような内挿画像の破綻が生じる場合がある。
そこで、本実施形態では、フレーム生成部12に補償正強度可変部12fを設けている。この補償強度可変部12fは、低速領域検出部112eからα=1、静止領域検出部113eからβ=0が入力された場合、すなわち、低速領域中の静止領域が検出された場合、この領域に対応する画素あるいは該画素を含む領域に対して、加重加算比率δを可変する。この加重加算比率δは、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを加重加算する際の比率である。本実施形態の内挿フレーム生成部12bは、この加重加算比率δに従って、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対して、線形補間内挿と動き補償内挿を加重加算して内挿フレームを生成する。
例えば、補償強度可変部12fは、低速領域中の静止領域に対応する画素あるいは該画素を含む領域に対して加重加算比率δ=0とし、線形補間処理を施した画像信号を内挿フレームにする。また、低速領域検出部112eからα=0、静止領域検出部113eからβ=0が入力された場合、すなわち、高速領域中の静止領域が検出された場合は、この領域に対応する画素あるいは該画素を含む領域に対して加重加算比率δ=1とし、動き補償処理を施した画像信号を内挿フレームにする。
また、加重加算比率δは任意に可変設定できるため、0〜1の略中間の値に設定するようにしてもよい。これにより、動きぼけによる画質劣化と高速領域の画質劣化との双方を適切に改善することが可能となる。なお、FRC部10における補償強度の可変処理は、画素単位で行う方法、ブロック(領域)単位で行う方法のいずれの方法で行ってもよい。
このように、入力画像を低速領域と高速領域とに切り分けて、低速領域中の静止領域に対しては動き補償処理の補償強度を弱くするように可変し、高速領域中の静止領域に対しては動き補償処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を抑制することができる。尚、上記以外の領域に対しては、動き補償内挿処理を行う。
ここで、撮影対象の被写体部分に動き補償処理以外の内挿処理を行い、被写体の背景部分に動きベクトルによる内挿処理が行われた場合、前述の図28(B)に示したように、被写体の端部に破綻を起こす場合がある。そこで、図18に示すように、低速領域中の静止領域の少なくとも一端を、画像の動き方向あるいはその逆方向に所定量だけ拡張することで、低速領域端で発生する破綻を軽減することができる。
図18は、低速領域端で発生する破綻を改善する方法の一例を説明するための図である。本例は、片方向内挿(現フレーム画像からのみ内挿画像を生成)処理の場合において、背景に相当する高速領域の動きベクトルの逆方向に低速領域(α領域)を拡張した状態を示す。片方向内挿の場合、背景に相当する高速領域における画像の動きベクトル方向の領域Xには破綻が発生しないが、逆方向の領域Yには破綻が発生する。そこで、この部分(領域Y)に対しては0ベクトル優先内挿処理を有効(α=1)にすることで、破綻の軽減を図ることができる。
領域Y(α領域)の拡張サイズは、例えば、背景に相当する高速領域における画像の動きベクトルをVとすると、−V/2となる。また、両方向内挿(前フレーム及び現フレーム画像から内挿画像を生成。通常は2つのフレームの画像の平均を内挿画像とする)の場合、低速領域の両端(領域X及び領域Y)に破綻が発生するため、低速領域の両側にα領域を拡張するようにすればよい。
(第12の実施形態)
図19は、本発明の第12の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。本実施形態の構成は、遅延部111e、低速領域検出部112e、静止領域検出部113e、内挿ベクトル制御部114e、第1の内挿フレーム生成処理部121b、第2の内挿フレーム生成処理部122b、内挿ベクトル評価部11fを備え、さらに、領域拡張部115e、画面全体平均動きベクトル算出部116eを備えている。
画面全体平均動きベクトル算出部116eは、動きベクトル検出部11eで検出された動きベクトルから、表示パネルの画面全体における画面平均動きベクトルVを算出し、この画面平均動きベクトルVを領域拡張部115eへ出力する。領域拡張部115eは、低速領域検出部112eで検出された低速領域の少なくとも一端を、画面全体平均動きベクトル算出部116eで算出された画面平均動きベクトルVに基づいて所定量だけ拡張する。例えば、画面平均動きベクトルVに対して、−V/2だけα領域を拡張する。
(第13の実施形態)
図20は、本発明の第13の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。本実施形態の構成は、遅延部111e、低速領域検出部112e、静止領域検出部113e、内挿ベクトル制御部114e、第1の内挿フレーム生成処理部121b、第2の内挿フレーム生成処理部122b、内挿ベクトル評価部11fを備え、さらに、領域拡張部115e、周辺平均動きベクトル算出部117eを備えている。
周辺平均動きベクトル算出部117eは、低速領域検出部112e、静止領域検出部113eによる検出結果を用いて、内挿ベクトル評価部11fで割り付けられた内挿ベクトルから、低速領域中の静止領域の周辺領域における周辺平均動きベクトルVを算出し、この周辺平均動きベクトルVを領域拡張部115eへ出力する。
領域拡張部115eは、低速領域検出部112eで検出された低速領域の少なくとも一端を、周辺平均動きベクトル算出部117eで算出された周辺平均動きベクトルVに基づいて所定量だけ拡張する。例えば、周辺平均動きベクトルVに対して、−V/2だけα領域を拡張する。なお、この周辺平均動きベクトルVは、低速領域中の静止領域の周辺領域の動きベクトルの平均あるいは加重平均のいずれであってもよい。
尚、上記第12、第13の実施形態においては、入力画像に含まれる低速領域や画面全体の動き量を検出する際、動きベクトル検出部11eからの動きベクトルを用いているが、内挿ベクトル評価部11fから出力される内挿ベクトルを利用してもよいことは言うまでもない。
(第14の実施形態)
図21は、本発明の第14の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。本実施形態の構成は、遅延部111e、低速領域検出部112e、静止領域検出部113e、内挿ベクトル補正部114e、内挿フレーム生成部12b、内挿ベクトル評価部11fを備え、さらに、画面全体平均動きベクトル算出部116eを備えている。
画面全体平均動きベクトル算出部116eは、動きベクトル検出部11eで検出された動きベクトルから、表示パネルの画面全体における画面平均動きベクトルを算出し、この画面平均動きベクトルVを、低速領域検出部112eへ出力する。
低速領域検出部112eは、内挿ベクトル評価部11fから出力された内挿ベクトルが所定値以下となる内挿ブロックを低速領域として検出する。ここで、本実施形態においては、低速領域検出部112eにて低速領域を検出するための閾値を、画面全体平均動きベクトル算出部116eから出力される画面平均動きベクトル値に応じて可変とする。
例えば、画面全体平均動きベクトル算出部116eから出力された画面平均ベクトル長が16の場合、低速領域検出部112eにて低速領域を検出するための閾値を12とする。また、画面全体平均動きベクトル算出部116eから出力された画面平均ベクトル長が8の場合、低速領域検出部112eにて低速領域を検出するための閾値を6とする。
このように、画面平均動きベクトルに応じて、低速領域を検出するための所定の閾値を可変制御することで、画面内の高速領域と低速領域との切り分けを、相対的な速度の違いに応じて切り分けることが可能となる。また、画面全体平均動きベクトル算出部116eから出力された画面平均ベクトル長が小さい場合は、低速領域検出部112eにて低速領域を検出するための閾値を0としてもよい。つまり、画面全体の動き量が小さい場合は、高速領域と低速領域との切り分けを行わないようにしてもよい。
尚、上記第14の実施形態においては、入力画像の画面全体における動き量を検出する際、動きベクトル検出部11eから出力される動きベクトルを用いているが、内挿ベクトル評価部11fから出力される内挿ベクトルを利用してもよいことは言うまでもない。
また、低速領域検出部112eによる低速領域の検出を、内挿ベクトル評価部11fから出力される内挿ベクトルを用いて行うこととしたが、動きベクトル検出部11eから出力される動きベクトルを用いて行うこととしてもよい。
さらに、上記実施形態において、第2の領域(低速領域)検出部に加えて、第1の領域(高速領域)が設けられている場合、低速領域を検出するための閾値のみならず、高速領域を検出するための閾値を、画面全体における動き量に応じて可変するようにしてもよい。
そしてまた、上記実施形態においては、動きベクトル検出部11eから出力される動きベクトルの1フレームにおける平均値を用いて、画面全体の動き量を検出しているが、これに限らず、例えばカメラのパンニングを検出する方法や、入力画像信号に付加されるカメラ・パラメータなどの関連データから、画面全体の動き量を検出する方法を用いてもよい。
図22は、本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。まず、画像表示装置は、前フレームと現フレームとのフレーム間差分に基づいて静止領域が検出されたかどうかを判定し(ステップS1)、静止領域が検出されない場合(β=1,NOの場合)、ステップS4へ移行して第1の内挿フレーム生成処理(動き補償内挿処理)を行う。
また、画像表示装置は、ステップS1において、静止領域が検出された場合(β=0,YESの場合)、所定量以下の動きベクトルを含む低速領域が検出されたかどうかを判定し(ステップS2)、低速領域が検出された場合(α=1,YESの場合)、その低速領域中の静止領域に対して第2の内挿フレーム生成処理(内挿ベクトルを0ベクトルにするなど)を行う(ステップS4)。
また、画像表示装置は、ステップS2において、低速領域が検出されない場合(α=0、NOの場合)、ステップS4へ移行して第1の内挿フレーム生成処理を行う。
図23は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。画像表示装置は、前フレームと現フレームとのフレーム間差分に基づいて静止領域が検出されたかどうかを判定し(ステップS11)、静止領域が検出されない場合(β=1,NOの場合)、ステップS14へ移行して第1の内挿フレーム生成処理(動き補償処理)を行う。
また、ステップS11において、静止領域が検出された場合(β=0,YESの場合)、所定量以下の動きベクトルを含む低速領域が検出されたかどうかを判定し(ステップS12)、低速領域が検出された場合(α=1,YESの場合)、その低速領域中の静止領域を所定量だけ動き方向あるいはその逆方向に拡張する処理を行う(ステップS13)。
また、画像表示装置は、ステップS13において、所定量の拡張がなされた低速領域中の静止領域に対して第2の内挿フレーム生成処理(内挿ベクトルを0ベクトルにするなど)を行う(ステップS15)。
そして、画像表示装置は、ステップS12において、低速領域が検出されない場合(α=0,NOの場合)、ステップS14へ移行して第1の内挿フレーム生成処理を行う。
以上説明したように、本発明によれば、動き補償型のレート変換(FRC)部を備えた画像表示装置において、入力画像の低速領域と高速領域等の動き量の異なる複数の領域間で異なる内挿処理を行うことができるため、0ベクトル優先内挿処理に起因した高速領域における破綻の発生を防止することができる。
また、低速領域中の静止領域に対して動き補償処理以外の内挿処理を行い、その周囲領域に対して動きベクトルを用いた動き補償内挿処理が行われる場合、低速領域を所定量だけ拡張することにより、低速領域中の静止領域周辺の動きベクトルに起因して低速領域端部で発生する破綻を軽減することができる。
尚、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像処理プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図である。 フレーム生成部による内挿フレーム生成処理の一例を説明するための図である。 本発明に係るFRC部を備えた画像表示装置の構成例を示すブロック図である。 本発明のFRC部における内挿フレーム生成処理に係る概略構成例を示すブロック図である。 本発明の第1の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第1の実施形態に係る内挿フレーム生成処理に係る要部構成の他の例を示すブロック図である。 本発明の第1の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第2の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第3の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第4の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第5の実施形態に係るFRC部の要部構成例を示すブロック図である。 本発明の第6の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第7の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第8の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第9の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第10の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第11の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 低速領域端部で発生する破綻を改善する方法の一例を説明するための図である。 本発明の第12の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第13の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の第14の実施形態に係る内挿フレーム生成処理に係る要部構成例を示すブロック図である。 本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 従来のフレームレート変換部における内挿フレーム生成処理に係る要部構成を示すブロック図である。 高速領域に対して0ベクトル内挿処理を行うことに起因する破綻の例を示す図である。 高速領域に対して0ベクトル内挿処理を行うことに起因する破綻の原理について説明するための図である。 低速領域に対して0ベクトル内挿処理を行い、高速領域に対して0ベクトル内挿処理を行わないようにした場合に、低速領域端部に発生する破綻の例を示す図である。 低速領域端部で発生する破綻の原理を説明するための図である。
符号の説明
10…フレームレート変換(FRC)部
11…ベクトル検出部
11a…輝度信号抽出手段
11b…前処理フィルタ
11c…動き検出用フレームメモリ
11d…ベクトルメモリ
11e…動きベクトル検出部
111e,101…遅延部
112e…低速領域検出部
112e1…第1の領域検出手段
112e2…第2の領域検出手段
113e,102…静止領域検出部(第3の領域検出手段)
114e,104…内挿ベクトル補正部
115e…領域拡張部
116e…画面全体平均動きベクトル算出部
117e…周辺平均動きベクトル算出部
11f,103…内挿ベクトル評価部
12…フレーム生成部、12a…内挿用フレームメモリ
12b,105…内挿フレーム生成部
121b…第1の内挿フレーム生成処理部
122b…第2の内挿フレーム生成処理部
12c…タイムベース変換用フレームメモリ
12d…タイムベース変換部
12e…内挿ベクトルメモリ
12f…補正強度可変部
13…制御部
14…電極駆動部
15…液晶表示パネル
16…切替部
17…経路
18…線形補間内挿処理部
19…メモリ
20…デコード部
21…画像合成処理部
22…合成部
23…テロップ領域検出部

Claims (15)

  1. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出する第1の領域検出手段と、
    前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出する第2の領域検出手段と、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する第3の領域検出手段とを備え、
    前記レート変換手段は、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする画像表示装置。
  2. 前記請求項1に記載の画像表示装置において、
    前記第2の内挿フレーム生成処理は、動き補償処理を施した画像信号と線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する処理であることを特徴とする画像表示装置。
  3. 前記請求項2に記載の画像表示装置において、
    前記第2の領域中の前記静止領域に対しては、前記線形補間処理を施した画像信号を内挿画像信号とし、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した画像信号を内挿画像信号とすることを特徴とする画像表示装置。
  4. 前記請求項1乃至3のいずれかに記載の画像表示装置において、
    前記第2の内挿フレーム生成処理を行った領域とそれ以外の領域との境界部分で、前記レート変換手段における動き補償処理の強度を連続的に変化させることを特徴とする画像表示装置。
  5. 前記請求項1乃至4のいずれかに記載の画像表示装置において、
    前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張する手段を備えたことを特徴とする画像表示装置。
  6. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出する低速領域検出手段と、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する静止領域検出手段とを備え、
    前記レート変換手段は、前記低速領域中の前記静止領域以外の領域及び低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする画像表示装置。
  7. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、
    前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、
    前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする画像表示方法。
  8. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、
    前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、
    前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張するステップと、
    前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記所定量拡張された前記第2の領域中の静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする画像表示方法。
  9. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出するステップと、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、
    前記低速領域中の前記静止領域以外の領域及び低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする画像表示方法。
  10. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出する第1の領域検出手段と、
    前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出する第2の領域検出手段と、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する第3の領域検出手段とを備え、
    前記レート変換手段は、前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする画像処理装置。
  11. 前記請求項10に記載の画像処理装置において、
    前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張する手段を備えたことを特徴とする画像処理装置。
  12. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出する低速領域検出手段と、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出する静止領域検出手段とを備え、
    前記レート変換手段は、前記低速領域中の前記静止領域以外の領域及び低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うことを特徴とする画像処理装置。
  13. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像処理方法において、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、
    前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、
    前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記第2の領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする画像処理方法。
  14. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像処理方法において、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が第1の所定量以上である第1の領域を検出するステップと、
    前記第1の領域とは異なる領域であって、前記入力画像信号のフレーム間あるいはフィールド間における動き量が第2の所定量(第2の所定量≦第1の所定量)以下である第2の領域を検出するステップと、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、
    前記第2の領域中の前記静止領域の少なくとも一端を、動き方向あるいはその逆方向に所定量だけ拡張するステップと、
    前記第1の領域中の前記静止領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記所定量拡張された前記第2の領域中の静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする画像処理方法。
  15. 入力画像信号のフレーム間あるいはフィールド間に、動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像処理方法において、
    前記入力画像信号のフレーム間あるいはフィールド間における動き量が所定量以下である低速領域を検出するステップと、
    前記入力画像信号のフレーム間あるいはフィールド間差分により静止領域を検出するステップと、
    前記低速領域中の前記静止領域以外の領域及び低速領域以外の領域に対しては、前記動き補償処理を施した第1の内挿フレーム生成処理を行うと共に、前記低速領域中の前記静止領域に対しては、前記第1の内挿フレーム生成処理における動き補償処理の補償強度より小さい補償強度の動き補償処理を施した第2の内挿フレーム生成処理を行うステップとを備えたことを特徴とする画像処理方法。
JP2007190959A 2006-02-28 2007-07-23 画像表示装置及び方法、画像処理装置及び方法 Expired - Fee Related JP4504999B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007190959A JP4504999B2 (ja) 2006-02-28 2007-07-23 画像表示装置及び方法、画像処理装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006053416 2006-02-28
JP2007190959A JP4504999B2 (ja) 2006-02-28 2007-07-23 画像表示装置及び方法、画像処理装置及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006351784A Division JP4303748B2 (ja) 2006-02-28 2006-12-27 画像表示装置及び方法、画像処理装置及び方法

Publications (3)

Publication Number Publication Date
JP2007329952A true JP2007329952A (ja) 2007-12-20
JP2007329952A5 JP2007329952A5 (ja) 2008-02-07
JP4504999B2 JP4504999B2 (ja) 2010-07-14

Family

ID=38930055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007190959A Expired - Fee Related JP4504999B2 (ja) 2006-02-28 2007-07-23 画像表示装置及び方法、画像処理装置及び方法

Country Status (1)

Country Link
JP (1) JP4504999B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175182A (ja) * 2008-01-21 2009-08-06 Sharp Corp 画像処理装置
WO2010046990A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体
KR100973561B1 (ko) 2008-06-25 2010-08-03 삼성전자주식회사 표시장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06178285A (ja) * 1992-12-01 1994-06-24 Nippon Hoso Kyokai <Nhk> 動きベクトル最適化回路
JPH06217263A (ja) * 1993-01-20 1994-08-05 Oki Electric Ind Co Ltd 動き補正方式の内挿信号生成装置
JPH08149421A (ja) * 1994-11-22 1996-06-07 Oki Electric Ind Co Ltd 動きベクトルを用いた動き内挿方法および動き内挿回路
JP3295437B2 (ja) * 1991-03-29 2002-06-24 日本放送協会 表示装置
JP2005051460A (ja) * 2003-07-28 2005-02-24 Shibasoku:Kk ビデオ信号処理装置及びビデオ信号の処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3295437B2 (ja) * 1991-03-29 2002-06-24 日本放送協会 表示装置
JPH06178285A (ja) * 1992-12-01 1994-06-24 Nippon Hoso Kyokai <Nhk> 動きベクトル最適化回路
JPH06217263A (ja) * 1993-01-20 1994-08-05 Oki Electric Ind Co Ltd 動き補正方式の内挿信号生成装置
JPH08149421A (ja) * 1994-11-22 1996-06-07 Oki Electric Ind Co Ltd 動きベクトルを用いた動き内挿方法および動き内挿回路
JP2005051460A (ja) * 2003-07-28 2005-02-24 Shibasoku:Kk ビデオ信号処理装置及びビデオ信号の処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009175182A (ja) * 2008-01-21 2009-08-06 Sharp Corp 画像処理装置
KR100973561B1 (ko) 2008-06-25 2010-08-03 삼성전자주식회사 표시장치
US7940241B2 (en) 2008-06-25 2011-05-10 Samsung Electronics Co., Ltd. Display apparatus with frame rate controllers generating motion interpolated intermediate image based on image information from adjacent frame rate controller
US8648788B2 (en) 2008-06-25 2014-02-11 Samsung Display Co., Ltd. Display apparatus with motion compensator for plural image display areas based on total image data
WO2010046990A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP4504999B2 (ja) 2010-07-14

Similar Documents

Publication Publication Date Title
JP4303748B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181592B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181593B2 (ja) 画像表示装置及び方法
JP4157579B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5215668B2 (ja) 画像表示装置及び方法
JP4369948B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008109528A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2009055340A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4731356B2 (ja) 画像表示装置及び方法
JP4504999B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181613B2 (ja) 画像表示装置及び方法
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181612B2 (ja) 画像表示装置及び方法
JP2009258269A (ja) 画像表示装置
JP2008109628A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181610B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4917867B2 (ja) テロップ検出装置及び方法、並びに画像表示装置及び方法
JP4181611B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4157586B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008113414A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008109627A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2009192803A (ja) 画像表示装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20071205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100423

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees