JP2008160793A - 画像表示装置及び方法、画像処理装置及び方法 - Google Patents

画像表示装置及び方法、画像処理装置及び方法 Download PDF

Info

Publication number
JP2008160793A
JP2008160793A JP2007195526A JP2007195526A JP2008160793A JP 2008160793 A JP2008160793 A JP 2008160793A JP 2007195526 A JP2007195526 A JP 2007195526A JP 2007195526 A JP2007195526 A JP 2007195526A JP 2008160793 A JP2008160793 A JP 2008160793A
Authority
JP
Japan
Prior art keywords
image
frame
field
image signal
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007195526A
Other languages
English (en)
Other versions
JP4181614B2 (ja
Inventor
Kenichiro Yamamoto
健一郎 山本
Hiroyuki Furukawa
浩之 古川
Masafumi Ueno
雅史 上野
Yasuhiro Yoshida
育弘 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007195526A priority Critical patent/JP4181614B2/ja
Publication of JP2008160793A publication Critical patent/JP2008160793A/ja
Application granted granted Critical
Publication of JP4181614B2 publication Critical patent/JP4181614B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】フレームレート変換(FRC)部を備えた画像表示装置において、複数枚の同一画像が連続する可能性のある動画像でのFRC処理に起因する画質劣化を防止する。
【解決手段】画像表示装置のFRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部106と、入力画像信号において同一画像が連続した場合にそれを検出する同一画像検出部105とを備える。入力画像信号におけるn−1フレーム目の画像とnフレーム目の画像とが略同一であった場合、nフレーム目とn+1フレーム目との間に対しては、動き補償処理の動き補償強度を低減した内挿画像生成処理を行うことで、エラーを多く含む内挿画像が出力されることを防ぐ。
【選択図】図13

Description

本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法、画像処理装置及び方法に関し、より詳細には、動き補償型のレート変換処理に起因する、複数枚の同一画像が連続する場合のある動画像の画質劣化を防止する画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。
動画像を具現する用途に従来から主として用いられてきた陰極線管(CRT:Cathode Ray Tube)に対して、LCD(Liquid Crystal Display)は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、LCDの表示方式そのものに起因することが指摘されている(例えば、特許文献1、非特許文献1参照)。
電子ビームを走査して蛍光体を発光させて表示を行うCRTでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、LCDでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、TFT方式の場合、画素を構成するドット毎にTFTスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド(以下、フレームで代表する)の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術は、FRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法がある(例えば、非特許文献2参照)。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて動き補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
前述の特許文献1には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
図21は、従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するFRC部100と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル103と、FRC部100によりフレームレート変換された画像信号に基づいて液晶表示パネル103の走査電極及びデータ電極を駆動するための電極駆動部104と、を備えて構成される。
FRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部102とを備える。
上記構成において、動きベクトル検出部101は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、MPEG方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
図22は、図21に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。FRC部100は、動きベクトル検出部101より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム(図中グレーに色付けされた画像)を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒60フレーム(60Hz)から毎秒120フレーム(120Hz)に変換する処理を行う。
図23は、動きベクトル検出部101及び内挿フレーム生成部102による内挿フレーム生成処理について説明するための図である。動きベクトル検出部101は、図21に示した例えばフレーム#1とフレーム#2から勾配法等により動きベクトル111を検出する。すなわち、動きベクトル検出部101は、フレーム#1とフレーム#2の1/60秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル111を求める。次に、内挿フレーム生成部102は、求めた動きベクトル111を用いて、フレーム#1とフレーム#2間に内挿ベクトル112を割り付ける。この内挿ベクトル112に基づいてフレーム#1の位置から1/120秒後の位置まで対象(ここでは自動車)を動かすことにより、内挿フレーム113を生成する。
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、LCD(ホールド型表示方式)の表示状態を、CRT(インパルス型表示方式)の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出方法としては、例えば、特許文献2に示された「テレビジョン画像の動き検出方法」や特許文献3に示された「画像動ベクトルの漸近的検出方法」などに記載のパターンマッチング法、または、特許文献4に示された「画像動き量検出方式」や特許文献5に示された「動画像の動き推定における初期偏位方式」などに記載の反復勾配法が、それぞれ提案されている。
特に、後者の反復勾配法による動きベクトル検出方式は、パターンマッチング法に比べて、小型でかつ精度良く、動きベクトルを検出することができる。すなわち、反復勾配法による動きベクトル検出方法は、デジタル化したテレビジョン信号のそれぞれのフレームを、例えば、横方向m画素、縦方向nラインを含むm×n画素の予め定めた所定の大きさのブロックに細分化して、それぞれのブロック毎に、その画面内での信号の勾配及び対応する画面間での信号差分値の物理的な対応などに基づいて、反復的な勾配法演算を施すことにより動き量を推定するものである。
ところで、動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つ。あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。例えば、ボールが画面の右から左へと転がっていく様子を撮影した動画像の場合、ボールの領域は、どのフレームでも同様の動き量を持ちながら移動していく。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。
このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームでの動きベクトル検出をより容易に、あるいは、より正確に行うことが可能である。前記特許文献5においては、動き量を推定する際の初期値として、被検出ブロックに該当するブロックを含む周辺の複数のブロックにおいて既に検出されている動きベクトルの候補の中から、該被検出ブロックの動きベクトル検出用として最適なものを初期変位ベクトルとして選択し、該被検出ブロックの真の動きベクトルに近い値から勾配法演算を開始することにより、勾配法演算の演算回数を少なくして、例えば2回の勾配法演算にて真の動きベクトルを検出する方法が提案されている。
図24に、前フレームでの動きベクトル検出結果を参照してベクトル検出を行う動きベクトル検出部の例を示す。これは、図21に示した画像表示装置のFRC部100中に含まれる動きベクトル検出部101の内部構成の例を詳しく説明するためのものである。ベクトル検出部101は、フレーム遅延部1、初期変位ベクトル選択部2、動きベクトル演算部3、ベクトルメモリ4、0ベクトル保持部5を有しており、被検出ブロック毎に、フレーム遅延部1にて遅延させた例えば1フレーム前の入力画像信号と現フレームの入力画像信号との間で対応するブロック間における動きの方向及び大きさを表わす動きベクトルを求めるためのものである。
初期変位ベクトル選択部2は、既に検出されて、ベクトルメモリ4に蓄積されている動きベクトルの中から選択した候補ベクトル群と、0ベクトル保持部5から供給される長さ0のベクトル(以下では0ベクトルと呼ぶ)とを用いて、最適な動きベクトルを被検出ブロックにおける初期変位ベクトルとして選択する。動きベクトル演算部3は、上記選択された初期変位ベクトルを起点として、例えば2回の勾配法演算により被検出ブロックにおける真の動きベクトルを求める。
また、動きベクトル演算部3において求められた真の動きベクトルはベクトルメモリ4に保存され、次のフレームでの動き検出処理において、初期変位ベクトルの候補として用いられる。画面のある場所において、動物体が通り過ぎて背景が現れた時、ある動き量から動き量0へと急激に変化するが、初期変位ベクトルの候補に0ベクトルを加えることで、この変化にも追従することが可能である。この方法については、例えば特許文献6に開示されている。
また、特許文献7に示された「動きベクトル検出回路」では、動きベクトル検出の精度を更に高めるために、少なくとも1フィールド以上又は1フレーム以上離れた画像信号の各ブロック間で動きの初期変位ベクトルを検出する方法が提案されている。さらに、ブロックマッチング法においても、前フレームでの動きベクトル検出結果を参照して探索順序を変えるなどして、効率的な動きベクトル検出を行うことが考えられる。このように、動きベクトルを検出する際に、既検出の動きベクトルを利用することによって、例えばフレームレート変換のリアルタイム処理が可能になる。
特許第3295437号明細書 特開昭55−162683号公報 特開昭55−162684号公報 特開昭60−158786号公報 特開昭62−206980号公報 特開2005−301622号公報 特開平06−217266号公報 石黒秀一、栗田泰市郎、「8倍速CRTによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、EID96−4(1996−06)、p.19−26 山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Vol.45、No.12、pp.1534−1543(1991)
ところで、例えば通常の映画フィルムは毎秒24コマ(フレーム)であり、これをフレームレートが60Hzのディスプレイに出力する場合、フレームレートが24Hzの映像を2−3プルダウン処理し、2コマないし3コマずつ同じ画像を出力することで、フレームレートが60Hzの映像信号に変換して出力することが行われている。
また、毎秒30コマ(フレーム)のフィルム映画やCGによるアニメ映像を、フレームレートが60Hzのディスプレイに出力する場合は、フレームレートが30Hzの映像を2−2プルダウン処理し、2コマずつ同じ画像を出力することで、フレームレートが60Hzの映像信号に変換して出力する。さらに、毎秒24コマ(フレーム)のフィルム映画をフレームレートが50Hzのディスプレイに出力する場合は、フレームレートが24Hzの映像を2−2プルダウン処理し、2コマずつ同じ画像を出力することが行われている。
このように、フィルム映画やCGによるアニメ映像などは、原画像が60Hz以下あるいは50Hz以下のフレームレートのものが多く、同じ画像を複数枚続けて出力することにより、60Hzあるいは50Hzの映像信号として表示出力している。
またさらに、映像をスロー再生する場合も、同じ画像を複数枚出力することで、再生速度を遅くしている。例えば、元の映像の1フレームを2枚ずつ出力すれば50%の再生速度のスロー再生となり、元の映像のある1フレームを2枚出力し次の1フレームを1枚出力するという手順を繰り返せば、約67%の再生速度のスロー再生となる。
上記した例のうち、2−3プルダウン処理された映画映像の場合を、図25を用いて説明する。図25における#1から#10までのフレームは、24Hzの映画映像を2−3プルダウン処理により60Hzに変換した画像シーケンスを表している。フレーム#1と#2、フレーム#3から#5、フレーム#6と#7、フレーム#8から#10が、それぞれ同じ画像である。
以上のように、複数枚の同じ画像が出力される場合のある映像においては、各フレーム間の動きベクトルの連続性が損なわれてしまう。例えば図25において、何らかの動くオブジェクトが撮影されている映像である場合を考える。フレーム#5と#6とは異なる画像であるため、この間では動きベクトルが検出されるが、次のフレーム#6と#7とは同じ画像であるため、検出される動きベクトルは全て0であるべきである。さらに次のフレーム#7と#8とは異なる画像であるため、この間では動きベクトルが検出される。
このように、図25におけるフレーム#5から#7までの連続するフレーム間での動きベクトルを考えると、“動きベクトルあり”、“動きベクトル0”、“動きベクトルあり”の順に混在することとなり、隣り合う各フレーム間の動きベクトルの連続性が存在しない。
このような同じ画像が複数枚出力される場合のある映像に対して、前述したような、前フレームでの動きベクトル検出結果を参照することでその次のフレームでの動きベクトル検出を行う処理を行った場合、各フレーム間の動きベクトルの連続性が存在しないために、ベクトル検出に誤りが生じるという問題がある。
特に、前フレームでの動きベクトル検出結果が0ベクトルであり、その次のフレームで動きが存在する場合に、誤りが生じやすい。また、あるフレームでベクトルの検出誤りが発生した場合、さらにその次のフレームのベクトル検出にも影響を与える。安定してベクトル検出が行われるまで動きベクトルの不連続点から数フレームの処理を要する場合もある。
これに対して、前フレームでの動きベクトル検出結果に何らかの動きベクトルが存在し、その次のフレームでは動きが存在しない場合は、0ベクトルが正しく検出される場合が多い。これは前述したように、初期変位ベクトルの候補に0ベクトルを加えたことで、0ベクトルが検出されやすいためである。
上記した例で説明すると、図25におけるフレーム#7と#8とは異なる画像であるため、この間では動きベクトルが検出されるべきであるが、その前のフレーム#6と#7との間の動きベクトルは0であるため、これを参照することで0ベクトルを誤って検出する、あるいは正しいベクトルを見つけられない可能性がある。そして、このようなベクトルの誤検出は内挿画像の画質劣化を引き起こす。
本発明は、上述のような課題を解決するためになされたものであり、複数枚の同一画像が連続する可能性のある動画像において、動き補償型のフレームレート変換(FRC)処理の誤りに起因する画質劣化を防止することを目的とする。
本願の第1の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、該画像表示装置が、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする。
本願の第2の発明は、前記レート変換手段が、前記動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部を有し、前記検出手段によりn−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像を生成する際の、前記動き補償処理を施した画像信号の加重加算比率を低くすることを特徴とする。
本願の第3の発明は、前記内挿画像生成部が、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、前記線形補間処理を施した画像信号を少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とし、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出されない場合、前記動き補償処理を施した画像信号をn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とすることを特徴とする。
本願の第4の発明は、前記検出手段によりn−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、n番目のフレームあるいはフィールド乃至n+N+1番目(Nは所定の自然数)のフレームあるいはフィールドの期間に対しては、前記入力画像信号のフレームあるいはフィールド間の前記動き補償処理の動き補償強度を低減することを特徴とする。
本願の第5の発明は、前記検出手段が、ヒステリシス特性を持つことを特徴とする。
本願の第6の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出し、前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする。
本願の第7の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、該画像処理装置が、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする。
本願の第8の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像処理方法であって、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出し、前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする。
本発明によれば、入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、動き補償処理の動き補償強度を低減することにより、表示画像の画質劣化を効果的に防止することができる。
以下、添付図面を参照しながら、本発明の画像表示装置の好適な実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
図1は、本発明におけるFRC駆動表示回路の概略構成の一例を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより、入力画像信号のフレーム数を変換するFRC部100と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル103と、FRC部100によりフレームレート変換された画像信号に基づいて、液晶表示パネル103の走査電極及びデータ電極を駆動するための電極駆動部104とを備えて構成される。
FRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部106と、入力画像信号において同一画像が連続した場合にそれを検出する同一画像検出部105とを備える。
図21に示した従来例の構成との違いは、同一画像が連続したこと検出する同一画像検出部105が追加されており、入力画像信号が同一画像検出部105に入力されていること、同一画像検出部105による検出結果に基づいて、内挿フレーム生成部106での処理が可変制御されること、である。
同一画像検出部105は、入力画像信号を入力とし、連続する2枚のフレーム間における相関が所定の量より大きい場合に、その2枚のフレームを同一画像として検出する。連続する2枚のフレームが同一画像であることを検出すると、同一画像検出信号を内挿フレーム生成部106に出力する。
内挿フレーム生成部106では、同一画像検出信号を受信したときには、画質劣化を防止するための処理を行う。この内挿フレーム生成部106における画質劣化を防止するための処理の詳細については後述することとし、ここではまず、同一画像検出部105の内部構成および処理について説明する。
図2は、同一画像検出部105の構成の一例を示すブロック図であり、本例の同一画像検出部105は、フレーム遅延部11、画素差分累計部12、同一画像判定部13、閾値保持部14を備えている。フレーム遅延部11は、入力画像信号を例えば1フレーム期間遅延させるものであり、画素差分累計部12は、フレーム遅延部11で遅延された1フレーム前の入力画像信号と現フレームの入力画像信号との間で、各画素の差分絶対値和を求めるものである。
また、同一画像判定部13は、画素差分累計部12で求められた差分絶対値和が所定の閾値Aより小さい場合に、前フレームと現フレームとを同一画像として検出し、同一画像検出信号を出力するものである。閾値A保持部14は、同一画像判定部13の判定処理で用いる所定の閾値Aを保持している。
ここで、1フレーム前の入力画像信号と現フレームの入力画像信号とが完全に同一である場合は、各画素の差分は0であり、差分絶対値和も0である。しかし実際には、MPEG圧縮によるノイズ等により、本来なら完全に同一であるはずの画像に微小な差が生じる場合もあるため、所定の閾値Aを設定することにより、ある程度の許容範囲を設けて同一画像判定を行っている。
例えば、入力画像の解像度がFull−HDサイズ(1920ピクセル×1080ピクセル)で8ビットモノクロ階調の場合において、連続するフレーム画像での各画素において、平均して画素値1のノイズを許容する場合、閾値Aとして1920×1080×1=2073600を設定し、差分絶対値和が2073600以下なら、連続するフレーム画像を同一画像として検出する。
図3は、同一画像検出部105の構成の他の一例を示すブロック図であり、本例の同一画像検出部105は、フレーム遅延部11、差分存在画素数累計部15、同一画像判定部16、閾値B保持部17、閾値C保持部18を備えている。フレーム遅延部11は、入力画像信号を例えば1フレーム期間遅延させるものであり、差分存在画素数累計部15は、フレーム遅延部11にて遅延させた1フレーム前の入力画像信号と現フレームの入力画像信号との間で所定の閾値B以上の差が存在する画素の数をカウントするものである。閾値B保持部17は、上記所定の閾値Bを保持している。
また、同一画像判定部16は、上記所定の閾値B以上の差が存在する画素の数が所定の閾値Cより小さい場合に、前フレームと現フレームとを同一画像として検出し、同一画像検出信号を出力するものであり、閾値C保持部18は、上記所定の閾値Cを保持している。
ここで、1フレーム前の入力画像信号と現フレームの入力画像信号とが完全に同一である場合、該所定の閾値B以上の差が存在する画素の数は、閾値Bの値に関わらず0である。しかし実際には、MPEG圧縮によるノイズ等により、本来なら完全に同一であるはずの画像に微小な差が生じる場合もあるため、所定の閾値Bおよび閾値Cを設定することにより、ある程度の許容範囲を設けて同一画像判定を行っている。
例えば、入力画像の解像度がFull−HDサイズ(1920ピクセル×1080ピクセル)で8ビットモノクロ階調の場合において、連続するフレーム画像での各画素において、平均して画素値5のノイズを許容するとした場合、閾値Bとして5を設定し、5以上の画素値の差を持つ画素をカウントする。また、閾値B以上の差を持つ画素が全画素数の3%までの存在を許容する場合は、閾値Cとして1920×1080×0.03=62208を設定し、所定の閾値B以上の差が存在する画素の数が62208以下なら、連続するフレーム画像を同一画像として検出する。
図4は、本発明におけるFRC駆動表示回路の概略構成の他の一例を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより、入力画像信号のフレーム数を変換するFRC部100と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル103と、FRC部100によりフレームレート変換された画像信号に基づいて、液晶表示パネル103の走査電極及びデータ電極を駆動するための電極駆動部104と、を備えて構成される。
FRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部106と、入力画像信号において同一画像が連続した場合にそれを検出する同一画像検出部107とを備える。
図1に示したFRC駆動表示回路の一構成例との違いは、動きベクトル検出部101から出力された動きベクトル信号に基づいて、同一画像が連続したこと検出する同一画像検出部107が用いられていることである。
図5は、同一画像検出部107の構成の一例を示すブロック図であり、本例の同一画像検出部107は、ベクトル累計部19、同一画像判定部20、閾値D保持部21、閾値E保持部22を備えている。ベクトル累計部19は、動きベクトル検出部101より出力された、各動き検出ブロックの動きベクトルのうち、その長さが所定の閾値D以下のベクトルの数をカウントするものであり、閾値D保持部21は、上記所定の閾値Dを保持している。
また、同一画像判定部20は、ベクトル累計部19でカウントされたベクトルの数が所定の閾値Eより大きい場合に、前フレームと現フレームとを同一画像として検出し、同一画像検出信号を出力するものであり、閾値E保持部22は、上記所定の閾値Eを保持している。
ここで、1フレーム前の入力画像信号と現フレームの入力画像信号とが完全に同一である場合は、本来は各動き検出ブロックの動きベクトルはいずれも0である。しかし実際には、画像中でテクスチャの無い同一色の領域では0ベクトル以外の動きベクトルが誤検出される可能性があること、MPEG圧縮によるノイズ等の影響により誤った動きベクトルが検出される可能性があること、上述のように前フレームでの動きベクトル検出結果を参照することでその次のフレームにおける動きベクトル検出を行った場合に誤った動きベクトルが検出される可能性があること、などの理由により、所定の閾値D及び閾値Eを設定することで、ある程度の許容範囲を設けて同一画像判定を行っている。
例えば、入力画像の解像度がFull−HDサイズ(1920ピクセル×1080ピクセル)で8ビットモノクロ階調、動きベクトル検出ブロックのサイズが8ピクセル×8ピクセルで、合計32400個の動き検出ブロックがある場合において、長さ1ピクセル以下の動きベクトルなら0ベクトルとみなす場合は、閾値Dとして1を設定し、長さ1以下の動きベクトルの数をカウントする。また、閾値D以下の長さの動きベクトルの数が全動き検出ブロックの98%以上の場合を同一画像とする場合、すなわち2%の動きベクトル検出の誤りを許容する場合は、閾値Eとして32400*0.98=31752を設定し、閾値D以下の動きベクトルの数が31752以上なら、連続するフレーム画像を同一画像として検出する。
以上の説明では、2種類のFRC駆動表示回路と、3種類の同一画像の検出方法について述べたが、これらのいずれか1つを用いて同一画像の検出を行っても良いし、その複数を組み合わせて用いることにより同一画像の検出を行っても良い。
ここで、上述した同一画像検出部105または同一画像検出部107における処理手順例のフローを、図6に示す。入力画像信号の2つの連続するフレームが同一画像であるかどうかを判定し(ステップS1)、両者が同一画像であると判定された場合は同一画像検出信号を出力し(ステップS2)、処理を終える。同一画像ではないと判定された場合は、そのまま処理を終える。なお、上記の処理フローは、ある1フレームに対する処理手順であり、これを毎フレーム繰り返して行う。
次に、前記同一画像検出部105、107で入力画像における同一画像の連続を検出した場合に、内挿フレーム生成部106で行う画質劣化を防止するための処理について、以下詳細に述べる。
図7は、入力画像に対してどのように同一画像検出処理とFRC処理とを行うかを、その時系列がわかるように示した説明図である。図中、同一画像検出処理31ないし35は、図1及び図4とともに上述した同一画像検出部105、107で行われる処理であり、内挿画像生成処理36ないし40は、図1及び図4とともに上述した動きベクトル検出部101および内挿フレーム生成部106で行われる処理である。
図7では6枚の入力フレームが図示されている。これは映画映像を2−3プルダウンにより60Hzに変換した画像シーケンスを表しており、フレーム#1と#2、フレーム#3から#5が同一の画像であり、フレーム#1とフレーム#3とフレーム#6は異なる画像である。また出力フレームは、入力フレームがそのまま出力される画像は同じフレーム番号で表し、FRCによる内挿画像、例えばフレーム#1と#2との間の内挿画像は、フレーム#1.5というように、0.5刻みの数字で内挿フレーム番号を示している。
前述したように、特に前フレームでの動きベクトル検出結果が0ベクトルであり、その次のフレームで動きが存在する場合に、ベクトル検出の誤りが生じやすい。図7でこれに該当するのは、フレーム#2と#3との間における内挿画像を生成する時と、フレーム#5と#6との間における内挿画像を生成する時である。そこでまず、フレーム#2と#3との間における内挿画像を生成する時に関して、以下詳細に説明する。
フレーム#1と#2とは同一画像であり、同一画像検出処理31は同一画像検出信号41を出力する。(なお、図7において、同一画像検出信号41は、同一画像検出信号が出力された場合であることを示すために、太実線で描いている。また、例えば同一画像検出信号42は、同一画像検出信号が出力されない場合であることを示すために、破線で描いている。以後の図においても、太実線で描かれている場合は同一画像検出信号が出力されることを示し、破線で描かれている場合は同一画像検出信号が出力されないことを示している。)
また、内挿画像生成処理36によって検出される動きベクトルは、ノイズ等に起因する誤検出を除けば、全て0ベクトルとなり、内挿画像生成処理36によって生成されるフレーム#1.5はフレーム#1、#2と同一の画像になる。これに対して、フレーム#2と#3とは異なる画像であり、内挿画像生成処理37にて何らかの動きベクトルが検出されるが、この際、内挿画像生成処理36で検出された動きベクトルを参照するために、ベクトル検出の誤りが生じやすいことは、前述のとおりである。このため、内挿画像生成処理36によって生成されるフレーム#2.5はベクトル検出の誤りに起因するエラーを多く含む画像になる可能性がある。
そこで、同一画像検出処理31から出力された同一画像検出信号41を受けた内挿画像生成処理37は、動き補償処理を無効化した内挿画像生成処理を行うようにすることで、エラーを多く含む画像が出力されることを防ぐ。つまり、フレーム#1と#2とが同一画像であった場合は、その次のFRC処理である、フレーム#2と#3との間におけるFRC処理において、動き補償処理を無効化した内挿画像生成処理を行うようにすることで、エラーを多く含む内挿画像が出力されることを防ぐ。
すなわち、本実施形態においては、n−1フレーム目の画像ととnフレーム目の画像とが同一であった場合、少なくともnフレーム目とn+1フレーム目との間のFRC処理において、動き補償処理を無効化した内挿画像生成処理を行うようにすることで、エラーを多く含む内挿画像が出力されて画質劣化が生じるのを防止することができる。
前述のように、内挿画像生成処理36乃至40は、動きベクトル検出部101及び内挿フレーム生成部106で行われる処理を示している。このうち、前記の同一画像検出信号を受けて、通常と異なる内挿画像生成処理を行うのは内挿フレーム生成部106である。この内挿フレーム生成部106の具体的構成や処理の例について、以下詳細に説明する。
図8は、内挿フレーム生成部106の概略構成の第1の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56を備えて構成されている。
フレーム遅延部51にて遅延させた1フレーム前の入力画像信号と現フレームの入力画像信号とは、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56に供給される。切り替え部52は、同一画像検出信号が入力されていない場合は、動きベクトル検出部105で検出された動きベクトルを内挿ベクトル評価部54に供給し、同一画像検出信号が入力された場合は、0ベクトル53を内挿ベクトル評価部54に供給する。
内挿ベクトル評価部54は、入力された動きベクトルを評価し、その評価結果に基づいて、最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、内挿フレーム生成部55に出力する。内挿フレーム生成部55は、内挿ベクトル評価部54から入力された内挿ベクトルに基づき、1フレーム前の入力画像信号と現フレームの入力画像信号とを用いて内挿フレームを生成する。タイムベース変換部56は、入力フレームと内挿フレームとを交互に出力することで、元の入力画像信号の2倍のフレームレートの画像信号を出力する。
前記のように、切り替え部52では、同一画像検出信号が入力されていない場合は、動きベクトルを内挿ベクトル評価部54に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、0ベクトル53を内挿ベクトル評価部54に供給することで、内挿画像として1フレーム前の入力画像信号と同一の画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、1フレーム前の入力フレーム#2と同一の画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。
図9は、内挿フレーム生成部106の概略構成の第2の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56を備えて構成されている。図8に示したものとの違いは、切り替え部52の挿入位置である。図9においては、切り替え部52は、同一画像検出信号が入力されていない場合、内挿ベクトル評価部54から出力された内挿ベクトルを内挿フレーム生成部55に供給し、同一画像検出信号が入力された場合、0ベクトル53を内挿フレーム生成部55に供給する。
このように、切り替え部52では、同一画像検出信号が入力されていない場合は、内挿ベクトルを内挿フレーム生成部55に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、0ベクトル53を内挿フレーム生成部55に供給することで、内挿画像として1フレーム前の入力画像信号と同一の画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、1フレーム前の入力フレーム#2と同一の画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。
図10は、内挿フレーム生成部106の概略構成の第3の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56を備えて構成されている。図8、図9に示したものとの違いは、切り替え部52の挿入位置である。図10においては、切り替え部52は、同一画像検出信号が入力されていない場合、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給し、同一画像検出信号が入力された場合、フレーム遅延部51から出力された1フレーム前の入力画像信号をタイムベース変換部56に供給する。
このように、切り替え部52では、同一画像検出信号が入力されていない場合は、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、1フレーム前の入力画像信号をタイムベース変換部56に供給することで、内挿画像として前フレームの入力画像信号と同一の画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、1フレーム前の入力フレーム#2と同一の画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。
図11は、内挿フレーム生成部106の概略構成の第4の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56を備えて構成されている。図10に示したものとの違いは、切り替え部52に入力される画像信号の違いである。図11においては、切り替え部52は、同一画像検出信号が入力されていない場合、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給し、同一画像検出信号が入力された場合、現フレームの入力画像信号をタイムベース変換部56に供給する。
このように、切り替え部52では、同一画像検出信号が入力されていない場合は、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、現フレームの入力画像信号をタイムベース変換部56に供給することで、内挿画像として現フレームの入力画像信号と同一の画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、現在の入力フレーム#3と同一の画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。
図12は、内挿フレーム生成部106の概略構成の第5の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56、線形内挿画像生成部57を備えて構成されている。図10及び図11に示したものとの違いは、線形内挿画像生成部57を備えること、及び切り替え部52に入力される画像信号の違いである。線形内挿画像生成部57は、動き補償による内挿処理ではなく、2つのフレーム間の線形内挿処理によって内挿画像を生成するものである。
また、図12においては、切り替え部52は、同一画像検出信号が入力されていない場合、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給し、同一画像検出信号が入力された場合、線形内挿画像生成部57から出力された線形内挿画像をタイムベース変換部56に供給する。
このように、切り替え部52では、同一画像検出信号が入力されていない場合は、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、線形内挿画像生成部57から出力された線形内挿画像をタイムベース変換部56に供給することで、内挿画像として線形内挿画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、フレーム#2とフレーム#3との線形内挿画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。
図13は、内挿フレーム生成部106の概略構成の第6の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56、線形内挿画像生成部57、画像混合部58を備えて構成されている。図12に示したものとの違いは、切り替え部52の代わりに画像混合部58を備えることである。
画像混合部58は、所定の加重加算比率αを用いて、内挿フレーム生成部55から出力された内挿フレームをαの割合で、線形内挿画像生成部57から出力された線形内挿画像を1−αの割合で加重加算して、最終的な内挿画像を生成し、タイムベース変換部56に供給する。この加重加算比率αを、同一画像検出信号の入力の有無によって可変する。例えば、画像混合部58は、同一画像検出信号が入力された場合、加重加算比率α=0とし、線形補間処理を施した画像信号を内挿画像としてタイムベース変換部56に供給することで、動き補償のエラーによる画質劣化のある内挿画像が出力されることを防止する。一方、同一画像検出信号が入力されていない場合、加重加算比率α=1とし、動き補償処理を施した画像信号を内挿画像としてタイムベース変換部56に供給することで、動画像の画質をより良好にする。
このように、切り替え部52では、同一画像検出信号が入力されていない場合は、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、線形内挿画像生成部57から出力された線形内挿画像をタイムベース変換部56に供給することで、内挿画像として線形内挿画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、フレーム#2とフレーム#3との線形内挿画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。
尚、上述した加重加算比率αは任意に可変設定できるため、0〜1の略中間の値に設定するようにしてもよい。これにより、内挿フレーム画像において動き補償を行いつつ、動き補償のエラーによる画質の劣化を抑制するように制御することができ、動きぼけによる画質劣化と、動き補償のエラーによる画質劣化との双方を適切に改善することが可能となる。
図14は、内挿フレーム生成部106の概略構成の第7の例を示すブロック図であり、本例の内挿フレーム生成部106は、フレーム遅延部51、切り替え部52、内挿ベクトル評価部54、内挿フレーム生成部55、タイムベース変換部56を備えて構成されている。図10及び図11に示したものとの違いは、黒レベル信号発生部59を備えること、その黒レベル信号発生部59からの出力信号が切り替え部52に入力されること、同一画像検出信号がタイムベース変換部56にも入力されることである。
図14においては、切り替え部52は、同一画像検出信号が入力されていない場合、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給し、同一画像検出信号が入力された場合、黒レベル信号発生部59によって生成された黒レベル信号などの予め決められた単色画像信号をタイムベース変換部56に供給する。
これによると、内挿画像として黒レベル信号が出力されるため、半分の期間しか画像が表示されていないのと同等であり、時間平均で見ると輝度が半分となる。よって、画像表示期間の短縮による表示輝度の低下を補償するために、出力フレームにおいて黒レベル信号の前又は後のフレームは、輝度を倍にして時間平均の輝度を均一にする必要がある。このため、タイムベース変換部56では、同一画像検出信号が入力された場合は、入力フレームの輝度を倍にして出力する。またあるいは、画像表示期間の短縮による表示輝度の低下を補償するために、液晶表示パネル103の背面に設けられるバックライト(図示せず)の発光輝度を上げても良い。なお、このように黒レベル信号を挿入した際の輝度均一化の方法は上記のものに限らず、他の方法を用いても良い。
このように、切り替え部52では、同一画像検出信号が入力されていない場合は、内挿フレーム生成部55から出力された内挿フレームをタイムベース変換部56に供給することで、動き補償による内挿画像を出力し、一方、同一画像検出信号が入力された場合は、黒レベル信号発生部59によって生成された黒レベル信号をタイムベース変換部56に供給することで、内挿画像として黒レベル画像が出力される。
すなわち、図7とともに上述した内挿画像生成処理37によって出力される内挿フレーム#2.5は、同一画像検出信号が入力された場合の処理によって、予め決められた単色画像となる。このようにして、入力フレーム#2と#3との間における動き補償処理を無効化することにより、フレーム#2.5がベクトル検出の誤りによるエラーを多く含む画像になることを防ぐことができる。また、本例によれば、ホールド型表示に起因した動きぼけによる画質劣化も抑制することが可能となる。
尚、上記実施例の他にも、前フレームと現フレームとが同一画像である場合には、例えば現フレームの原画像を所定の輝度比で複数のフレーム画像に分割するなどして、フレームレート変換することにより、動き補償型のFRC処理に起因する画質劣化を防止しつつ、動画質改善効果を維持するようにしてもよい。
また、図8乃至図14とともに上述した内挿フレーム生成部106のフレーム遅延部51は、上記同一画像検出部105のフレーム遅延部11と共用しても良いことは言うまでもない。
さて、図7に戻り、入力フレームが上記の手順によりどのように処理されるかを続けて述べる。フレーム#2と#3との間の内挿画像については、前述のとおり、その1つ前のフレーム#1と#2とに対する同一画像検出処理31による同一画像検出情報41を受けた内挿画像生成処理37が、図8乃至図14とともに上述したような、動き補償処理を無効化した内挿画像生成処理を行って、内挿フレーム#2.5を出力することで、動きベクトルの誤検出に起因するエラーを多く含む画像が出力されることを防ぐ。
フレーム#3と#4との間の内挿画像については、その1つ前のフレーム#2と#3とは異なる画像であるため、同一画像検出処理32から同一画像検出情報は出力されない。よって、内挿画像生成処理38では動き補償処理を用いた内挿画像生成処理を行い、動き補償処理が施された内挿フレーム#3.5を出力する。
この場合は、前フレームでの動きベクトル検出結果に何らかの動きベクトルが存在し、その次のフレームでは動きが存在しない場合に相当し、上述したように、0ベクトルが正しく検出される場合が多い。これは、前記のように、初期変位ベクトルの候補に0ベクトルを加えたことで、0ベクトルが検出されやすいためである。
フレーム#4と#5との間の内挿画像については、その1つ前のフレーム#3と#4とに対する同一画像検出処理33からの同一画像検出情報43を受けた内挿画像生成処理39が、図8乃至図14とともに上述したような、動き補償処理を無効化した内挿画像生成処理を行って、内挿フレーム#4.5を出力する。
尚、この場合は、1つ前のフレーム#3と#4とは同一画像であるため動きは無く、次のフレーム#4と#5も同一画像であるため動きは無い。すなわち、動きの連続性は保たれており、動きの連続性が存在しないことに起因するベクトル検出の誤りは発生しない。このため、内挿画像生成処理39において動き補償処理を用いた内挿画像生成処理を行っても問題は生じないが、上記のように、動き補償処理を無効化した内挿画像生成処理を行っても画質劣化は引き起こさないため、問題は無い。
フレーム#5と#6との間の内挿画像については、その1つ前のフレーム#4と#5とが同一画像であるため、同一画像検出処理34からの同一画像検出情報44を受けた内挿画像生成処理40が、図8乃至図14とともに上述したような、動き補償処理を無効化した内挿画像生成処理を行って、内挿フレーム#5.5を出力することで、動きベクトルの誤検出に起因するエラーを多く含む画像が出力されることを防ぐ。
このように、n−1フレーム目の画像とnフレーム目の画像とが同一であった場合、nフレーム目とn+1フレーム目との間の内挿画像生成処理において、動き補償処理を無効化することで、エラーを多く含む画像が出力されることを防ぐことができる。
次に、スロー再生を行った場合のFRC処理について述べる。図15は、再生速度50%のスロー再生を行った場合の処理を説明する図である。再生速度50%のスロー再生は、元の映像の各フレームを2度ずつ出力することで実現される。図15においては、入力フレーム#1と#2、#3と#4、#5と#6が同一画像であり、50%の再生速度のスロー再生のフレームの様子を示している。
この時、同一画像検出処理31、33及び35により、同一画像検出情報41、43及び45が出力され、それを受けた内挿画像生成処理37及び39において、動き補償処理を無効化した内挿画像生成処理を行って、内挿フレーム#2.5、#4.5を出力する。このように、再生速度50%のスロー再生時に前記した本発明の手法を適用することで、動きベクトルの誤検出に起因するエラーを多く含む画像が出力されることを防ぐことができる。なお、フレームレート50Hzのディスプレイに、フレームレート24Hzの映画を2−2プルダウン処理して出力する場合もこれと同様である。
さらに、別の速度のスロー再生を行った場合のFRC処理について述べる。図16は、再生速度約67%のスロー再生を行った場合の処理を説明する図である。再生速度約67%のスロー再生は、元の映像の各フレームを2枚、1枚の順に交互に枚数を変えながら出力することで実現される。図16においては、フレーム#1と#2とが同一であり、フレーム#3が独立、フレーム#4と#5とが同一であり、フレーム#6が独立である。このように、元の画像を2枚、1枚の順に交互に出力することで、元の映像の2枚のフレームを再生時には3枚のフレームに表示することになり、約67%のスロー再生が実現される。
この時、同一画像検出処理31及び34により、同一画像検出情報41及び44が出力され、それを受けた内挿画像生成処理37及び40において、動き補償処理を無効化した内挿画像生成処理を行って、内挿フレーム#2.5、#5.5を出力する。ここで問題となるのは、フレーム#3と#4との間における内挿フレーム#3.5である。上述したように、あるフレームでベクトルの検出誤りが発生した場合、さらにその次のフレームのベクトル検出にも影響を与え、安定してベクトル検出が行われるまで動きベクトルの不連続点から数フレームの処理を要する場合がある。
フレーム#2と#3との間の内挿フレーム生成においては、前述の処理により、動き補償処理を無効化した内挿画像生成処理を行うことで、検出されたベクトルに関わらずエラーのない内挿フレーム#2.5が出力されるが、検出ベクトル自体にはエラーが存在するため、その次のフレーム#3と#4との間の内挿フレーム生成におけるベクトル検出に影響を与える。従って、動き補償処理を用いた内挿画像生成処理を行い、動き補償による内挿フレーム#3.5を出力した場合、エラーを多く含む内挿フレームが出力される場合があることが、新たな課題となる。
この課題を解決するための第1の方法は、同一画像検出部105または同一画像検出部107における処理において、一旦同一画像が検出されたら、それ以後所定のNフレームの期間は、同一画像検出情報を出力し続けるような処理を行い、同一画像検出持続状態とすることである。こうすることで、一旦同一画像によりベクトル検出結果に誤りが生じても、安定してベクトル検出が行われるまでのNフレームの間、同一画像検出情報を出力し続けて、エラーの多く含まれる内挿画像が出力されることを防ぐことができる。
その具体的な処理手順の例を図17に示す。なお、この手順で使用するカウンタは、初期値として0が入力されているものとする。まず、カウンタ値が0であるかどうかを判定し(ステップS11)、0であった場合は、入力画像信号における2つの連続するフレームが同一画像であるかどうかを判定する(ステップS12)。カウンタ値が0以外の場合は、カウンタ値を1減少させてから(ステップS13)、ステップS12の処理を行う。ステップS12で同一画像であると判定された場合は、カウンタ値を所定の値Nに設定する(ステップS14)。同一画像ではないと判定された場合は、ステップS14を飛ばして、カウンタ値が0より大きいかどうかを判定する(ステップS15)。
ステップS15で、カウント値が0より大きいと判定された場合は、同一画像検出信号を出力し(ステップS16)、処理を終える。カウンタ値が0より大きくないと判定された場合は、そのまま処理を終える。以上のような手順で処理を行うことで、一旦同一画像が検出されて同一画像検出持続状態になれば、カウンタ値が0になるまでの少なくともNフレームの間は、同一画像検出結果に関わらず同一画像検出情報を出力し続けることになる。また、Nフレームの間に再度同一画像が検出されれば、カウンタ値が再びNにセットされ、そこからNフレームの間は、同一画像検出結果に関わらず同一画像検出情報を出力し続ける。なお、上記の処理フローは、ある1フレームに対する処理手順であり、これを毎フレーム繰り返して行う。
図18は、図17に示した手順をN=2の条件において再生速度約67%のスロー再生に本発明を適用した場合を説明するものである。図18においては、図16に示したものと同様、フレーム#1と#2とが同一であり、フレーム#3が独立、フレーム#4と#5とが同一であり、フレーム#6が独立である。この時、図16の場合と同様に、同一画像検出処理31及び34により、同一画像検出情報41及び44が出力され、それを受けた内挿画像生成処理37及び40において、動き補償処理を無効化した内挿画像生成処理を行って内挿フレーム#2.5、#5.5を出力する。
さらに、図17に示した同一画像検出持続処理を行うことによって、同一画像検出処理31で同一画像が検出された後、これを含めて2フレーム(N=2の場合)の期間、すなわち同一画像検出処理31に加えて同一画像検出処理32においても同一画像検出情報42が出力され、それを受けた内挿画像生成処理38においても動き補償処理を無効化した内挿画像生成処理を行って、内挿フレーム#3.5を出力する。同様に、同一画像検出処理34により同一画像が検出された後、これを含めて2フレームの期間、すなわち同一画像検出処理34に加えて同一画像検出処理35においても同一画像検出情報45が出力される。
このような手順で処理を行うことで、同一画像検出部105、107によりn−1番目のフレームとn番目のフレームとが同一画像として検出された場合、n番目のフレーム乃至n+N+1番目のフレームの期間における動き補償処理を無効化することが可能となり、例えば再生速度約67%のスロー再生においても、動きベクトルの誤検出に起因するエラーを多く含む画像が出力されることを防ぐことができる。
さらに上述の方法において、定期的あるいは不定期に同一画像が存在する入力フレーム全般に対し、所定のフレーム数Nを適切に設定することにより、動きベクトルの誤検出に起因するエラーを多く含む画像が出力されることを防ぐことが可能となる。ここで、所定のフレーム数Nは、例えばFRC部100で用いている動きベクトル検出部101が、入力フレーム中に同一画像が存在しベクトル検出にエラーが発生した後で、安定なベクトル検出を行えるようになるまでに要するフレーム数に応じて決めればよい。例えば5フレームで安定なベクトル検出を行えるようになるならば、N=5とすればよい。
また、上述した同一画像検出部105または同一画像検出部107における同一画像検出処理においては、前記のとおり、入力画像信号に重畳されたMPEG圧縮によるノイズ等の影響が考えられる。例えば、フレームレート24Hzの映画映像を2−3プルダウン処理して、フレームレート60Hzのディスプレイに出力する際に、画像のある部分では同一画像検出が行われるが、別のある部分ではノイズ等により同一画像検出が行われず、その結果、部分的に動きベクトルの検出誤りによるエラーを含む内挿画像が出力されてしまうという現象が発生する可能性がある。
これに対する対策としては、映画映像のような2−3プルダウン映像は一定時間持続するため、一旦同一画像が検出されれば同一画像の検出閾値を下げ、ノイズ等に対する耐性を強くすること、すなわち、所謂ヒステリシス処理を加えることが有効である。
例えば図2に示した同一画像検出部105の構成の一例においては、同一画像判定に閾値A保持部14で保持している閾値Aを用いているが、1つ前の処理で同一画像を検出していない状態では、閾値A−1を用い、1つ前の処理で同一画像を検出している場合は、閾値A−1より大きな閾値A−2を用いるようにし、より同一画像として検出されやすくすることで、同一画像検出にヒステリシスを持たせることができる。
また、例えば図3に示した同一画像検出部105の構成の別の一例においては、同一画像判定に閾値B保持部17で保持している閾値B、及び閾値C保持部17で保持している閾値Cを用いているが、1つ前の処理で同一画像を検出していない状態では、閾値B−1及び閾値C−1を用い、1つ前の処理で同一画像を検出している場合は、閾値B−1より大きな閾値B−2、及び閾値C−1より大きな閾値C−2を用いるようにし、より同一画像として検出されやすくすることで、同一画像検出にヒステリシスを持たせることができる。ここで、同一画像未検出時に用いる閾値B−1及び閾値C−1を閾値セット(1)、同一画像検出持続状態で用いる閾値B−2及び閾値C−2を閾値セット(2)と呼ぶ。
さらに、例えば図5に示した同一画像検出部107の構成の一例においても、上記と同様に、1つ前の処理で同一画像を検出していない場合としている場合とで、異なる閾値セットを用いることにより、同一画像検出にヒステリシスを持たせることが可能である。
このように、同一画像検出部105または同一画像検出部107において、同一画像検出にヒステリシスを持たせる場合の処理手順の例を図19に示す。この処理では、前フレームでの同一画像検出結果を保持しておくためのメモリが必要となる。まず、前フレームでの同一画像検出結果を参照し(ステップS21)、検出結果が同一画像でなかった場合は、閾値セット(1)を用いて現フレームに対する同一画像検出処理を行う(ステップS22)。
前フレームでの検出結果が同一画像であった場合は、閾値セット(2)を用いて現フレームに対する同一画像検出処理を行う(ステップS23)。ステップS22あるいはステップS23で同一画像であると判定された場合は、同一画像検出信号を出力し(ステップS24)、処理を終える。ステップS22あるいはステップS23で同一画像であると判定されなかった場合は、そのまま処理を終える。なお、上記の処理フローは、ある1フレームに対する処理手順であり、これを毎フレーム繰り返して行う。
また、同一画像検出部105または同一画像検出部107において、同一画像検出にヒステリシスを持たせる場合の処理手順の別の例を図20に示す。本例は、図17とともに上述した、複数フレーム期間にわたって同一画像検出状態を持続させる方法と、図19とともに上述した、同一画像検出にヒステリシスを持たせる処理とを組み合わせたものである。なお、この手順で使用するカウンタは、初期値として0が入力されているものとする。
まず、カウンタ値が0であるかどうかを判定し(ステップS31)、0であった場合は同一画像未検出状態であるため、閾値セット(1)を用いて同一画像検出処理を行う(ステップS33)。ステップS31でカウンタ値が0より大きかった場合は同一画像検出持続状態であるため、カウンタ値を1減少させてから(ステップS32)、閾値セット(2)を用いて同一画像検出処理を行う(ステップS34)。ステップS33あるいはステップS34で同一画像であると判定された場合は、カウンタ値を所定の値Nに設定し(ステップS35)、同一画像ではないと判定された場合は、ステップS35の処理を行わずにステップS36へ進む。
次に、カウンタ値が0より大きいかどうかを判定し(ステップS36)、大きい場合は同一画像検出信号を出力し(ステップS37)、処理を終える。カウンタ値が0より大きくなかった場合、すなわちカウンタ値が0であった場合は、そのまま処理を終える。
このような手順で処理を行うことによって、同一画像未検出状態では、閾値セット(1)を用いて同一画像検出を行い、一旦同一画像が検出され同一画像検出持続状態になれば、カウンタ値が0になるまでの少なくともNフレームの間は閾値セット(2)を用いて同一画像検出を行うとともに、検出結果に関わらず同一画像検出情報を出力し続ける。
また、Nフレームの間に再度同一画像が検出されれば、カウンタ値が再びNにセットされ、そこからNフレームの間は閾値セット(2)を用いて同一画像検出を行うとともに、検出結果に関わらず同一画像検出情報を出力し続ける。なお、上記の処理フローは、ある1フレームに対する処理手順であり、これを毎フレーム繰り返して行う。
以上、詳述したとおり、本実施形態に係る画像表示装置においては、入力画像信号におけるn−1フレーム目の画像とnフレーム目の画像とが略同一であった場合、nフレーム目とn+1フレーム目との間に対する内挿画像生成処理において、動き補償処理を施さない(用いない)内挿画像を出力することにより、エラーを多く含む内挿画像が出力されることを防ぐことができる。すなわち、複数枚の同一画像が連続する可能性のある動画像において、動き補償型のフレームレート変換(FRC)処理の誤りに起因する画質劣化を防止することが可能となる。
尚、本発明の画像表示装置は、表示パネルとして液晶パネルを用いた液晶ディスプレイばかりでなく、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用することが可能である。また、入力画像信号としては、テレビジョン放送信号に限らず、外部メディアから再生された画像信号など種々の画像信号であってもよいことは言うまでもない。
また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像処理プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
本発明の画像表示装置の一実施形態におけるFRC駆動表示回路の概略構成の一例を示すブロック図である。 本発明の画像表示装置の一実施形態における同一画像検出部の構成の一例を示すブロック図である。 本発明の画像表示装置の一実施形態における同一画像検出部の構成の別の例を示すブロック図である。 本発明の画像表示装置の一実施形態におけるFRC駆動表示回路の概略構成の別の一例を示すブロック図である。 本発明の画像表示装置の一実施形態における同一画像検出部の構成の別の例を示すブロック図である。 本発明の画像表示装置の一実施形態における同一画像検出部の処理手順の例を示すフロー図である。 本発明の画像表示装置の一実施形態におけるFRC処理を説明するための説明図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第1の例を示すブロック図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第2の例を示すブロック図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第3の例を示すブロック図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第4の例を示すブロック図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第5の例を示すブロック図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第6の例を示すブロック図である。 本発明の画像表示装置の一実施形態における内挿フレーム生成部の概略構成の第7の例を示すブロック図である。 本発明の画像表示装置の一実施形態において再生速度50%のスロー再生を行った場合のFRC処理を説明するための説明図である。 本発明の画像表示装置の一実施形態において再生速度約67%のスロー再生を行った場合のFRC処理を説明するための説明図である。 本発明の画像表示装置の一実施形態における同一画像検出部の処理手順の第2の例を示すフロー図である。 本発明の画像表示装置の一実施形態において再生速度約67%のスロー再生を行った場合のFRC処理の別の例を説明するための説明図である。 本発明の画像表示装置の一実施形態における同一画像検出部の処理手順の第3の例を示すフロー図である。 本発明の画像表示装置の一実施形態における同一画像検出部の処理手順の第4の例を示すフロー図である。 従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図である。 従来のFRC駆動表示回路によるフレームレート変換処理を説明するための説明図である。 従来のFRC駆動表示回路における動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。 従来のFRC駆動表示回路における前フレームでの動きベクトル検出結果を参照してベクトル検出を行う動きベクトル検出部の構成例を示すブロック図である。 映画映像を2−3プルダウンした各フレームを示す説明図である。
符号の説明
1 フレーム遅延部
2 初期変位ベクトル選択部
3 動きベクトル演算部
4 ベクトルメモリ
5 0ベクトル保持部
11 フレーム遅延部
12 画素差分累計部
13 同一画像判定部
14 閾値A保持部
15 差分存在画素数累計部
16 同一画像判定部
17 閾値B保持部
18 閾値C保持部
19 ベクトル累計部
20 同一画像判定部
21 閾値D保持部
22 閾値E保持部
51 フレーム遅延部
52 切り替え部
53 0ベクトル
54 内挿ベクトル評価部
55 内挿フレーム生成部
56 タイムベース変換部
57 線形内挿画像生成部
58 画像混合部
59 黒レベル信号発生部
100 フレームレート変換(FRC)部
101 動きベクトル検出部
102 内挿フレーム生成部
103 液晶表示パネル
104 電極駆動部
105 同一画像検出部
106 内挿フレーム生成部
107 同一画像検出部
111 動きベクトル
112 内挿ベクトル
113 内挿フレーム
本願の第1の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像表示装置であって、該画像表示装置が、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とすることを特徴とする。
本願の第の発明は、前記内挿画像生成部が、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、前記線形補間処理を施した画像信号を少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とし、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出されない場合、前記動き補償処理を施した画像信号をn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とすることを特徴とする。
本願の第の発明は、前記検出手段によりn−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、n番目のフレームあるいはフィールド乃至n+N+1番目(Nは所定の自然数)のフレームあるいはフィールドの期間に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を可変することを特徴とする。
本願の第の発明は、前記検出手段が、ヒステリシス特性を持つことを特徴とする。
本願の第の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換ステップを備えた画像表示方法であって、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出し、前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。
本願の第6の発明は、前記内挿画像生成工程が、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、前記線形補間処理を施した画像信号を少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とし、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出されない場合、前記動き補償処理を施した画像信号をn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とすることを特徴とする。
本願の第7の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像処理装置であって、該画像処理装置が、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。
本願の第8の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換ステップを備えた画像処理方法であって、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出し、前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。
本願の第1の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した画像信号と、前記入力画像信号に動き補償処理を施さずに生成した画像信号または予め決められた単色画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像表示装置であって、該画像表示装置が、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、前記内挿画像生成部が、前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記入力画像信号に動き補償処理を施して生成した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。
本願の第2の発明は、前記内挿画像生成部が、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、前記入力画像信号に動き補償処理を施して生成した画像信号の比率を0とし、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出されない場合、前記入力画像信号に動き補償処理を施さずに生成した画像信号または予め決められた単色画像信号の比率を0とすることを特徴とする。
本願の第3の発明は、前記内挿画像生成部が、前記検出手段によりn−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、n番目のフレームあるいはフィールドからn+N+1番目(Nは所定の自然数)のフレームあるいはフィールドまでの期間に対しては、前記入力画像信号に動き補償処理を施して生成した画像信号の加算比率が低くなるように、前記加重加算比率を可変することを特徴とする。
本願の第4の発明は、前記検出手段が、n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、n番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとに対する同一画像の検出閾値を下げることを特徴とする。
本願の第5の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した画像信号と、前記入力画像信号に動き補償処理を施さずに生成した画像信号または予め決められた単色画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換工程を備えた画像表示方法であって、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する工程を備え前記内挿画像生成工程が、前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記入力画像信号に動き補償処理を施して生成した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。
本願の第6の発明は、前記内挿画像生成工程が、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、前記入力画像信号に動き補償処理を施して生成した画像信号の比率を0とし、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出されない場合、前記入力画像信号に動き補償処理を施さずに生成した画像信号または予め決められた単色画像信号の比率を0とすることを特徴とする。
本願の第7の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した画像信号と、前記入力画像信号に動き補償処理を施さずに生成した画像信号または予め決められた単色画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像処理装置であって、該画像処理装置が、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、前記内挿画像生成部が、前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記入力画像信号に動き補償処理を施して生成した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。
本願の第8の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に動き補償処理を施して生成した画像信号と、前記入力画像信号に動き補償処理を施さずに生成した画像信号または予め決められた単色画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換工程を備えた画像処理方法であって、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する工程を備え前記内挿画像生成工程が、前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記入力画像信号に動き補償処理を施して生成した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。

Claims (8)

  1. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
    該画像表示装置は、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、
    前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする画像表示装置。
  2. 前記請求項1に記載の画像表示装置において、
    前記レート変換手段は、前記動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部を有し、
    前記検出手段によりn−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像を生成する際の、前記動き補償処理を施した画像信号の加重加算比率を低くすることを特徴とする画像表示装置。
  3. 前記請求項2に記載の画像表示装置において、
    前記内挿画像生成部は、前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、前記線形補間処理を施した画像信号を少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とし、
    前記n−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出されない場合、前記動き補償処理を施した画像信号をn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間の内挿画像信号とすることを特徴とする画像表示装置。
  4. 前記請求項1乃至3のいずれかに記載の画像表示装置において、
    前記検出手段によりn−1番目のフレームあるいはフィールドとn番目のフレームあるいはフィールドとが同一画像として検出された場合、n番目のフレームあるいはフィールド乃至n+N+1番目(Nは所定の自然数)のフレームあるいはフィールドの期間に対しては、前記入力画像信号のフレームあるいはフィールド間の前記動き補償処理の動き補償強度を低減することを特徴とする画像表示装置。
  5. 前記請求項1乃至4のいずれかに記載の画像表示装置において、
    前記検出手段は、ヒステリシス特性を持つことを特徴とする画像表示装置。
  6. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、
    前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出し、
    前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする画像表示方法。
  7. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
    該画像処理装置は、前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出する検出手段を備え、
    前記検出手段により前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする画像処理装置。
  8. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づき、前記入力画像信号に対して動き補償処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像処理方法であって、
    前記入力画像信号におけるn−1番目(nは任意の自然数)のフレームあるいはフィールドとn番目のフレームあるいはフィールドとの相関が所定の量より大きい場合に、該2つのフレームあるいはフィールドを同一画像として検出し、
    前記2つのフレームあるいはフィールドが同一画像として検出された場合、少なくともn番目のフレームあるいはフィールドとn+1番目のフレームあるいはフィールドとの間に対しては、前記動き補償処理の動き補償強度を低減することを特徴とする画像処理方法。
JP2007195526A 2007-07-27 2007-07-27 画像表示装置及び方法、画像処理装置及び方法 Expired - Fee Related JP4181614B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007195526A JP4181614B2 (ja) 2007-07-27 2007-07-27 画像表示装置及び方法、画像処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007195526A JP4181614B2 (ja) 2007-07-27 2007-07-27 画像表示装置及び方法、画像処理装置及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2006345632A Division JP4181598B2 (ja) 2006-12-22 2006-12-22 画像表示装置及び方法、画像処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2008160793A true JP2008160793A (ja) 2008-07-10
JP4181614B2 JP4181614B2 (ja) 2008-11-19

Family

ID=39661131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007195526A Expired - Fee Related JP4181614B2 (ja) 2007-07-27 2007-07-27 画像表示装置及び方法、画像処理装置及び方法

Country Status (1)

Country Link
JP (1) JP4181614B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010276987A (ja) * 2009-05-29 2010-12-09 Tpo Displays Corp 表示制御装置
CN101556760B (zh) * 2009-05-06 2011-02-09 凌阳科技股份有限公司 增加影像显示频率的增频系统
JP2011151438A (ja) * 2010-01-19 2011-08-04 Sharp Corp 画像表示装置
JP2013195798A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
CN112785988A (zh) * 2021-03-18 2021-05-11 合肥京东方显示技术有限公司 一种显示基板、驱动方法、显示面板及显示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556760B (zh) * 2009-05-06 2011-02-09 凌阳科技股份有限公司 增加影像显示频率的增频系统
JP2010276987A (ja) * 2009-05-29 2010-12-09 Tpo Displays Corp 表示制御装置
US8421809B2 (en) 2009-05-29 2013-04-16 Chimei Innolux Corporation Display control device
JP2011151438A (ja) * 2010-01-19 2011-08-04 Sharp Corp 画像表示装置
JP2013195798A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
CN112785988A (zh) * 2021-03-18 2021-05-11 合肥京东方显示技术有限公司 一种显示基板、驱动方法、显示面板及显示装置

Also Published As

Publication number Publication date
JP4181614B2 (ja) 2008-11-19

Similar Documents

Publication Publication Date Title
JP4181598B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4615508B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181593B2 (ja) 画像表示装置及び方法
JP4157579B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369948B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
WO2008035472A1 (fr) Dispositif et procédé d'affichage d'image, et dispositif et procédé de traitement d'image
JP4181614B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4731356B2 (ja) 画像表示装置及び方法
JP4615594B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4231539B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2009181067A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2009182865A (ja) 画像表示装置及び方法、画像処理装置及び画像処理方法
JP4181613B2 (ja) 画像表示装置及び方法
JP2008193730A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4772008B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4359328B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181612B2 (ja) 画像表示装置及び方法
JP4157587B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008109628A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4772007B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181615B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4359322B2 (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080819

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080829

R150 Certificate of patent or registration of utility model

Ref document number: 4181614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees