JP2009055340A - 画像表示装置及び方法、画像処理装置及び方法 - Google Patents
画像表示装置及び方法、画像処理装置及び方法 Download PDFInfo
- Publication number
- JP2009055340A JP2009055340A JP2007220053A JP2007220053A JP2009055340A JP 2009055340 A JP2009055340 A JP 2009055340A JP 2007220053 A JP2007220053 A JP 2007220053A JP 2007220053 A JP2007220053 A JP 2007220053A JP 2009055340 A JP2009055340 A JP 2009055340A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- interpolation
- rate conversion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Systems (AREA)
Abstract
【課題】動き補償型のレート変換(FRC)部を備えた画像表示装置において、1画面内の領域毎に異なるフレームレート変換処理を施した場合に、画面領域の境界部分において生じる画質劣化を防止する。
【解決手段】FRC部は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、動きベクトルフィルタ部21、内挿ベクトル割付部11f、内挿フレーム生成部12b、タイムベース変換部12dを備える。1画面内を複数の領域に分割して、領域毎に動きベクトル検出部11eにおける動きベクトル検出処理を異ならしめる場合に、動きベクトルフィルタ部21は、分割された画面領域の境界部分の動きベクトルに対しフィルタ処理を施すことにより、該画面領域の境界部分に連続性を持たせる。
【選択図】 図1
【解決手段】FRC部は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、動きベクトルフィルタ部21、内挿ベクトル割付部11f、内挿フレーム生成部12b、タイムベース変換部12dを備える。1画面内を複数の領域に分割して、領域毎に動きベクトル検出部11eにおける動きベクトル検出処理を異ならしめる場合に、動きベクトルフィルタ部21は、分割された画面領域の境界部分の動きベクトルに対しフィルタ処理を施すことにより、該画面領域の境界部分に連続性を持たせる。
【選択図】 図1
Description
本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法、画像処理装置及び方法に関し、より詳細には、1画面内において異なるレート変換処理を行った場合の画質劣化を防止することができる画像表示装置及び該装置による画像表示方法、画像処理装置及び該画像処理装置による画像処理方法に関するものである。
動画像を具現する用途に従来から主として用いられてきた陰極線管(CRT:Cathode Ray Tube)に対して、LCD(Liquid Crystal Display)は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、LCDの表示方式そのものに起因することが指摘されている(例えば、特許文献1、非特許文献1参照)。
電子ビームを走査して蛍光体を発光させて表示を行うCRTでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、LCDでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、TFT方式の場合、画素を構成するドット毎にTFTスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド(以下、フレームで代表する)の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術は、FRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法がある(例えば、非特許文献2参照)。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿(動き補償)処理が提案されている。この動き補償処理によれば、動画像そのものをとらえて補償するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
前述の特許文献1には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
図9は、従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するフレームレート変換部(以下、FRC部)10と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル15と、FRC部10によりフレームレート変換された画像信号に基づいて液晶表示パネル15の走査電極及びデータ電極を駆動するための電極駆動部14と、を備えて構成される。
FRC部10は、入力画像信号から動きベクトル情報を検出するベクトル検出部11と、ベクトル検出部11により得られた動きベクトル情報に基づいて内挿フレームを生成しフレーム間に挿入するフレーム生成部12とを備える。
上記構成において、ベクトル検出部11は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、MPEG方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
図10は、図9に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。FRC部10は、ベクトル検出部11より出力された動きベクトル情報を用いた動き補償により、フレーム間の内挿フレーム(図中グレーに色付けされた画像)を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒60フレーム(60Hz)から毎秒120フレーム(120Hz)に変換する処理を行う。
図11は、ベクトル検出部11及びフレーム生成部12による内挿フレーム生成処理について説明するための図である。ベクトル検出部11は、図10に示した例えばフレーム#1とフレーム#2から勾配法等により動きベクトル105を検出する。すなわち、ベクトル検出部11は、フレーム#1とフレーム#2の1/60秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル105を求める。次に、求めた動きベクトル105を用いて、フレーム#1とフレーム#2間に内挿ベクトル106を割り付ける。フレーム生成部12は、この内挿ベクトル106に基づいてフレーム#1の位置から1/120秒後の位置まで対象(ここでは自動車)を動かすことにより、内挿フレーム107を生成する。
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、LCD(ホールド型表示方式)の表示状態を、CRT(インパルス型表示方式)の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。これらの手法においては、連続した2つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、この動きベクトルを用いて2つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、2つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。
ところで、動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つため、あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。例えば、ボールが画面の右から左へと転がっていく様子を撮影した動画像の場合、ボールの領域は、どのフレームでも同様の動き量を持ちながら移動していく。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。
このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームにおける動きベクトルの検出をより容易に、あるいはより正確に行うことが可能である。例えば、勾配法を改良した反復勾配法においては、被検出ブロックに対して、前フレームあるいは現フレームで既に検出された近傍のブロックの動きベクトルを初期偏位ベクトルとし、これを起点として勾配法の演算を繰り返す方法が用いられる(例えば、非特許文献2参照)。この方法によれば、勾配法の繰り返しは2回程度でほぼ正確な動き量を得ることができる。
以上のように、入力画像信号から正確な動きベクトルを検出し、検出された動きベクトルを用いて動き補償型のフレームレート変換処理を施すことにより、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となるが、実際には種々の技術的な理由から、1画面内における領域毎に異なるフレームレート変換処理を行うことがある。これについて、以下説明する。
例えば、特許文献2には、動き補償処理に固有な動画のエッジ部分におけるフリッカの発生や、動きが不自然に見える画質劣化の発生を抑制しつつ、モーションジャダーが目立つのを防止して高画質化を図るために、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの領域を検出し、この領域に対してのみ動き補償型のフレームレート変換処理を行い、その他の領域に対しては動き補償型のフレームレート変換処理を行わず、現フレームと前フレームの信号の平均値、あるいは現フレームの信号で内挿フレームの信号を生成することによりフレームレート変換処理を行うものが記載されている。
また、特許文献3には、追加画像データがスーパーインポーズされた映像信号に対して動き補償処理を行った場合、スーパーインポーズされた画像、および、該スーパーインポーズされた画像の周辺画像エリアにおいてアーティファクトが生じ得るため、スーパーインポーズされている画像エリアについては動き補償型のフレームレート変換処理と別のフレームレート変換処理を行うことで、そのようなエリアおよびある処理方法に典型的なアーティファクトを回避するものが記載されている。
すなわち、特許文献3のものは、新しいフレームレートの映像画像を生成するために、フレームレート変換処理では、画像データの線形内挿、画像への動き補償の適用、入力映像信号の未処理映像データの単なる使用のいずれかが実行されるが、スーパーインポーズされた画像およびスーパーインポーズされた画像の周辺画像エリアに対しては、動き補償型のフレームレート変換処理を行わず、画像データの線形内挿、入力映像信号の未処理映像データの単なる使用によりフレームレート変換処理を行うものである。
さらに、例えば、本願の出願人が先に出願した特願2006−325139号明細書においては、画面上で文字が水平や垂直方向にスクロール(移動)していくテロップ部分に対する動き補償処理をより正確に行い、該テロップの存在する領域の画質向上を実現するために、テロップの領域とそれ以外の領域とで異なる動き補償処理を行うものが提案されている。
これによれば、テロップの領域に対しては、該テロップの動きベクトル(テロップベクトル)を動き補償処理に用いる動きベクトルの候補ベクトルとして追加する、あるいは、該テロップの動きベクトル(テロップベクトル)を優先的に選択して動き補償処理を行うとともに、テロップの領域以外の領域に対しては、全画面の平均ベクトルを優先的に選択して動き補償処理を行う、あるいは、0ベクトルを優先的に選択して動き補償処理を行うことで、画面領域毎により適切な初期変位ベクトルを選択する可能性を向上させた動き補償型のフレームレート変換を実現している。
そしてまた、例えば、特許文献4には、画郭周縁部においては、動き画像部分の一部欠如に起因して、連続した2フレーム間に施すべきフレーム間内挿画像信号の形成が正常に行われないのみならず、通例、連続した少なくとも2フレームのフレーム間差に基づいて行われる画像の動き検出にも支障を来たすおそれがあるため、画郭周縁部に対しては、前後2フレームからの、すなわち両方向からの内挿(動きベクトル両端の画像からの線形補間)に替えて、画像の欠如が生じていない方のフレームのみからの、すなわち片方向からの内挿(内挿ベクトルによる入力画像の平行移動)へ適応的に切り換えることで、画郭の全面に亘り実質的に画質劣化のない動き補償型のフレ−ムレート変換画像を得るものが記載されている。
以下では、上述した従来の技術について、図12乃至図17を用いて、より詳細に説明する。
図12は、従来の動き補償型フレームレート変換部の構成例を示すブロック図である。FRC部10は、入力画像信号に含まれる2つの連続したフレーム間で動きベクトルを検出するベクトル検出部11と、検出した動きベクトルに基づいて内挿フレーム(内挿画像)を生成するフレーム生成部12とから構成される。なお、ベクトル検出部11は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、ブロックマッチング法などを用いてもよい。
図12において、ベクトル検出部11は、入力画像信号(RGB信号)から輝度信号(Y信号)を抽出する輝度信号抽出部11aと、抽出したY信号にLPFを掛けて高域部の帯域を制限するための前処理フィルタ11bと、動き検出用フレームメモリ11cと、初期ベクトル候補を蓄積するための初期ベクトルメモリ11dと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部11eと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル割付部11fと、を備えて構成される。
上記反復勾配法の演算は画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ11bにおいてLPFをかけて高域部の帯域を制限しておく。初期ベクトルメモリ11dには、初期ベクトル候補として、前々フレームで既に検出されている動きベクトル(初期ベクトル候補)を蓄積しておく。
動きベクトル検出部11eは、初期ベクトルメモリ11dに蓄積されている初期ベクトル候補の中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。詳細には、候補ベクトルのそれぞれのDFD(Displaced Field Difference)を算出し、このDFDに基づいて、最適なベクトルを初期ベクトルとする。
尚、DFDとは、動きベクトル(ここでは推定ベクトル)の正確さの程度を示す指標であり、被検出ブロック内の各画素と被検出ブロックから動きベクトルが指し示す先のブロック内の各画素とのフレーム間差分の絶対値和である。従って、DFDの値が小さいほど、被検出ブロックと被検出ブロックから動きベクトルが指し示す先のブロックとのマッチングが良く、対応する候補ベクトルがよりふさわしいことを示す。
また、ここでは既に検出された動きベクトルを初期ベクトル候補とする構成としたが、この初期ベクトル候補に、全画面の平均ベクトルや、テロップベクトルなどの動きベクトルを追加する構成も可能である。
さらに、DFDに基づいて最適な初期ベクトルを選択する際に、候補ベクトルの長さに応じてDFDに重み付けを行い、ある長さのベクトルに近いものを優先的に選択するような構成も可能である。例えば、テロップの速度に近いベクトルを優先的に選択したい場合は、テロップベクトルと候補ベクトルとの長さの差が小さいほどDFDが小さくなるような重み係数をかけて、テロップベクトルに近いベクトルを選択しやすくすることが可能となる。
そして、動きベクトル検出部11eは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。内挿ベクトル割付部11fは、動きベクトル検出部11eにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部12に出力する。
フレーム生成部12は、2つの入力フレーム(前フレーム、現フレーム)を蓄積するための内挿用フレームメモリ12aと、内挿用フレームメモリ12aからの2つの入力フレームと内挿ベクトル割付部11fからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部12bと、入力フレーム(前フレーム、現フレーム)を蓄積するためのタイムベース変換用フレームメモリ12cと、タイムベース変換用フレームメモリ12cからの入力フレームに内挿フレーム生成部12bからの内挿フレームを挿入して出力画像信号(RGB信号)を生成するタイムベース変換部12dと、を備えて構成される。
図13は、フレーム生成部12による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部12bは、内挿ブロックに割り付けられた内挿ベクトルVを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍3点よりA点の輝度を算出する。現フレームでは近傍3点よりB点の輝度を算出する。内挿フレームではP点の輝度をA点とB点の輝度から補間する。P点の輝度は、例えばA点の輝度とB点の輝度の平均としてもよい。
上記のようにして生成された内挿フレームは、タイムベース変換部12dに送られる。タイムベース変換部12dは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、FRC部10により、入力画像信号(60フレーム/秒)を、動き補償された出力画像信号(120フレーム/秒)へ変換することができ、これを表示パネルに出力することにより、動きぼけを低減して動画質を改善することが可能となる。
尚、ここでは、60フレーム/秒の入力画像信号を、120フレーム/秒(2倍)の出力画像信号にフレームレート変換する場合について説明したが、例えば90フレーム/秒(1.5倍)、180フレーム/秒(3倍)の出力画像信号を得る場合など、その他の倍数のフレームレート変換に適用することも可能である。
図14は、図12を簡略化し、さらに1画面内の領域毎に異なるレート変換処理を行うために領域検出部20と領域・境界制御部17とを備えた構成例を示すブロック図である。ベクトル検出部11には動きベクトル検出部11eと内挿ベクトル割付部11fとを備え、フレーム生成部12には内挿フレーム生成部12bとタイムベース変換部12dとを備えている。
遅延部19は、図12の動き検出用フレームメモリ11c、内挿用フレームメモリ12a、タイムベース変換用フレームメモリ12cに相当するものであり、入力画像信号を1フレーム期間遅延させ、前フレームと現フレームとのそれぞれの画像データを、動きベクトル検出部11e、内挿ベクトル割付部11f、内挿フレーム生成部12b、領域検出部20に出力する。
領域検出部20は、前記で説明したような、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた画像領域、画郭周縁領域などの特定の画面領域を検出するためのものであり、該特定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理、または内挿フレーム生成処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
動きベクトル検出部11eは、領域・境界制御部17からの制御情報をもとに画面領域毎に異なる動きベクトル検出処理を行う。画面領域毎に異なる動きベクトル検出処理を行うための詳細な構成は、後に図16を用いて説明する。
内挿ベクトル割付部11fは、動きベクトル検出部11eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
内挿フレーム生成部12bは、内挿ベクトル割付部11fから出力された内挿ベクトルを用い、領域・境界制御部17からの制御情報をもとに画面領域毎に異なる内挿フレーム生成処理を行う。画面領域毎に異なる内挿フレーム生成処理を行うための詳細な構成は、後に図17を用いて説明する。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿フレーム生成部12bから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
図15は、図14の領域検出部20にて行われる領域分割の具体例を説明するためのものである。図15(A)は、テロップ領域を検出した場合の具体例である。水平方向に文字がスクロールする映像、つまり水平方向のテロップが含まれる映像において、斜線部202の横帯状の領域をテロップ領域として検出した結果である。この時、例えば、テロップ領域の画質向上を図るために、テロップ領域202はテロップベクトルを優先的に、その他の通常領域201、203は全画面の平均ベクトルを優先的に選択するような動きベクトル検出処理を行うことが可能となる。
図15(B)は、画郭周縁領域を検出した場合の具体例である。斜線部205、206が画郭周縁領域である。この時、例えば、画面全体が横方向にスクロールする映像においては、画郭周縁部で、内挿フレーム画像を生成するための前後フレームの画像データが一部欠如するために正常な内挿フレーム画像の生成が困難である。従って、画郭周縁領域205、206では、画像データが欠如していないフレームの片方向からの内挿フレーム生成を行い、それ以外の通常領域204では両方向からの内挿フレーム生成を行うことが可能となる。
図15(C)は、スーパーインポーズされた画像領域、およびスーパーインポーズされた画像の周辺領域を検出した場合の具体例である。灰色で塗りつぶされた領域208がスーパーインポーズされた画像領域で、斜線部209がスーパーインポーズされた画像の周辺領域である。この時、例えば、スーパーインポーズされた画像領域およびその周辺の画質劣化を防止するために、スーパーインポーズされた画像領域208には、動き補償型のレート変換を行わず、前フレームの画像データをそのまま使用し、スーパーインポーズされた画像の周辺領域209には、前後フレーム間の線形内挿を行い、その他の通常領域207には、動き補償型のレート変換による内挿を行うことが可能となる。
図16は、図14の動きベクトル検出部11eについて、1画面内の領域毎に異なる動きベクトル検出処理を行う場合の構成例を説明するための図である。図16(A)は、第1の動きベクトル検出処理部110eと第2の動きベクトル検出処理部111eとの2つの動きベクトル検出部を設け、それぞれの検出処理部で異なる動きベクトル検出処理を行い、領域・境界制御部17から出力される領域座標情報に応じてスイッチ16を切り替え、動きベクトル検出処理結果を選択的に出力するものである。
例えば、前述したような、テロップ領域とそれ以外の領域とで異なる動きベクトル検出処理を行う場合、第1の動きベクトル検出部110eはテロップベクトルを候補ベクトルとして追加し、もう一方の第2の動きベクトル検出部111eは0ベクトルを候補ベクトルとして追加する構成とし、テロップ領域には第1の動きベクトル検出部110eから出力される動きベクトルを用い、それ以外の領域には第2の動きベクトル検出部111eから出力される動きベクトルを用いるような構成が実現できる。
図16(B)は、第1のパラメータ保存部181と第2のパラメータ保存部182との2つのパラメータ保存部を設け、それぞれに動きベクトル検出処理に寄与する異なるパラメータを保存し、領域・境界制御部17から出力される領域座標情報に応じて、動きベクトル検出処理部112eに与えるパラメータを切り替えることで、画面領域毎に異なる動きベクトル検出処理を行う。
例えば、前述したような、テロップ領域とそれ以外の領域とで異なる動きベクトル検出処理を行う場合、第1のパラメータ保存部181にはテロップベクトルを優先的に選択するように、テロップベクトルと候補ベクトルとの長さの差が小さいほどDFDが小さくなるような重み係数を設定し、第2のパラメータ保存部182には全画面の平均ベクトルを優先的に選択するように、全画面の平均ベクトルと候補ベクトルとの長さの差が小さいほどDFDが小さくなるような重み係数を設定しておく。
そして、テロップ領域では第1のパラメータ保存部181に設定されたパラメータによって初期ベクトル選択し、これを用いて動きベクトル検出処理を行い、それ以外の領域には第2のパラメータ保存部182に設定されたパラメータによって初期ベクトルを選択し、これを用いて動きベクトル検出処理を行う、というような構成が実現できる。
尚、上述した2つの構成例では、画面領域毎に異なる動きベクトル検出処理を行う場合について説明したが、どちらか一方の画面領域においては動きベクトル検出処理を行わず、つまり、0ベクトルを出力するような構成も可能である。この場合は、動きベクトル検出処理を行わない領域は、動き補償処理が行われず、前後フレームのどちらか一方の画像データがそのまま出力されるか、前後フレームの線形内挿された画像データが出力される。つまり、動き補償処理が無効化されることとなる。
図17は、図14の内挿フレーム生成部12bについて、1画面内の領域毎に異なる内挿フレーム生成処理を行う場合の構成例を説明するための図である。図17(A)は、第1の内挿フレーム生成処理部120bと第2の内挿フレーム生成処理部121bとの2つの内挿フレーム生成処理部を設け、それぞれの内挿フレーム生成処理部では異なる内挿フレーム生成処理を行い、領域・境界制御部17から出力される領域座標情報に応じてスイッチ16を切り替え、内挿フレーム生成処理結果を選択的に出力するものである。
例えば、前述したような、画郭周縁領域とそれ以外の領域とで異なる内挿フレーム生成処理を行う場合、第1の内挿フレーム生成処理部120bは前後2フレーム、すなわち両方向からの内挿フレーム生成を行い、もう一方の第2の内挿フレーム生成処理部121bは画像の欠如が生じていない方のフレームのみから、すなわち片方向からの内挿フレーム生成を行う構成とし、画郭周縁領域には、第2の内挿フレーム生成処理部121bから出力される片方向から内挿された内挿フレーム画像を出力し、それ以外の領域には、第1の内挿フレーム生成処理部120bから出力される両方向から内挿された内挿フレーム画像を出力するような構成が実現できる。
または、前述したような、スーパーインポーズされた画像領域およびスーパーインポーズされた画像の周辺領域とそれら以外の領域とで異なる内挿フレーム生成処理を行う場合、第1の内挿フレーム生成処理部120bは動き補償型の内挿フレーム生成処理を行い、もう一方の第2の内挿フレーム生成処理部121bは前後2フレーム間の線形内挿による内挿フレーム生成処理を行う構成とし、スーパーインポーズされた画像領域およびスーパーインポーズされた画像の周辺領域には、第2の内挿フレーム生成処理部121bから出力される線形内挿により生成された内挿フレーム画像を出力し、それら以外の領域には第1の内挿フレーム生成処理部120bから出力される動き補償により生成された内挿フレーム画像を出力するような構成が実現できる。
図17(B)は、第1のパラメータ保存部181と第2のパラメータ保存部182との2つのパラメータ保存部を設け、それぞれに内挿フレーム生成処理に寄与する異なるパラメータを保存し、領域・境界制御部17から出力される領域座標情報に応じて、内挿フレーム生成処理部122bに与えるパラメータを切り替えることで、画面領域毎に異なる内挿フレーム生成処理を行う。
例えば、前述したような、画郭周縁領域とそれ以外の領域とで異なる内挿フレーム生成処理を行う場合、第1のパラメータ保存部181には内挿ベクトルが指す前後フレームの画素データの混合比を1:1(平均)として内挿フレーム画像の画素データを生成するようなパラメータを設定し、もう一方の第2のパラメータ保存部182には内挿ベクトルが指す前後フレームの画素データの混合比を、画像の欠如が生じていない方のフレームの画素データに比重をかけて内挿フレーム画像の画素データを生成するようなパラメータを設定しておき、画郭周縁領域には第2のパラメータ保存部182に設定されたパラメータを用いて内挿フレーム生成処理を行い、それ以外の領域には第1のパラメータ保存部181に設定されたパラメータを用いて内挿フレーム生成処理を行うような構成が実現できる。
特許第3295437号明細書
特開平11−177940号公報
特開2004−120757号公報
特開昭62−217784号公報
石黒秀一、栗田泰市郎、「8倍速CRTによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、EID96−4(1996−06)、p.19−26
山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Vol.45、No.12、pp.1534−1543(1991)
上述したとおり、従来のフレームレート変換処理においては、1画面内の異なる領域毎に動き補償処理を行うか否かを切り換える(例えば、上述の特許文献2,3)、あるいは、動き補償処理自体は行うが、1画面内の領域毎に異なる動き補償処理とするなど、1画面内の領域毎に異なるフレームレート変換処理を施すことが行われることがある。ここで、異なる動き補償処理とする例としては、動きベクトル検出処理を画面領域毎に異ならしめるもの(例えば、上述の特願2006−325139号明細書)や、内挿画像生成処理を画面領域毎に異ならしめるもの(例えば、上述の特許文献4)が挙げられる。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合、画面領域の境界部分において処理が不連続であるため、該境界部分が目立ってしまい、結果として画質劣化が生じるという問題がある。
例えば、図18(A)は、背景に静止した灰色の2本の柱状の物があり、前景に文字が左方向へスクロールするテロップが重畳されている動画像の、あるフレーム(nフレーム目とする)の画像を図示したものであり、図18(B)は、その次のn+1フレーム目の画像を図示したものである。このような画像に対し、前記のようにテロップの領域とそれ以外の領域とで異なる動き補償処理を行った場合を考える。すなわち、テロップの存在する領域においては、テロップの文字の内挿画像の画質を向上するためにテロップベクトルを優先して選択して動きベクトル検出処理を行い、テロップ以外の領域に対しては、全画面の平均ベクトルを優先的に選択して動きベクトル検出処理を行う、あるいは0ベクトルを優先的に選択して動きベクトル検出処理を行う。
このような処理を行った場合に生成される内挿画像の例を図18(C)に示す。これは、上記のように画面領域ごとに異なった動きベクトル検出処理を行い、また、図18(A)に示したnフレーム目の画像のみを用いて内挿画像を生成した場合を示している。この場合、テロップの文字は正しい位置に内挿されるが、文字の背景の柱状の物が文字に引っ張られて文字と共に動いてしまい、異なる動きベクトル検出処理を行った領域の境目で背景画像のずれが発生する。
また、内挿画像の別の例を図18(D)に示す。これは、上記のように画面領域ごとに異なった動きベクトル検出処理を行い、また、図18(A)に示したnフレーム目の画像と図18(B)に示したn+1フレーム目の画像の両方を用いて内挿画像を生成した場合を示している。この場合も、図18(C)の例と同様、文字の背景の柱状の物が文字に引っ張られて文字と共に動いてしまい、異なる動きベクトル検出処理を行った領域の境目で背景画像のずれが発生し、前後の2枚の画像の線形内挿により内挿画像を生成しているため、ずれた部分は薄い灰色となる。
図18の例では背景に静止した灰色の2本の柱状の物のみがある場合について説明したが、実際の画像における背景はより複雑なテクスチャを持つ。よって上述した画像のずれは、図18(C)および(D)において点線で示した部分全体に発生するため、領域の境界がはっきりと目立ってしまうという問題が発生する。
本発明は、上記課題に鑑みてなされたものであり、1画面内の領域毎に異なるフレームレート変換処理を施した場合であっても、画面領域の境界部分が目立つことによる画質劣化を防止することができる画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。
本願の第1の発明は、入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、前記レート変換手段が、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を行うことを特徴とする。
本願の第2の発明は、前記レート変換手段が、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする。
本願の第3の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする。
本願の第4の発明は、前記レート変換手段が、前記動きベクトル検出部により検出された前記領域の境界部分における動きベクトルに対してフィルタ処理を施すことを特徴とする。
本願の第5の発明は、前記レート変換手段が、前記内挿ベクトル割付部により割り付けられた前記領域の境界部分における内挿ベクトルに対してフィルタ処理を施すことを特徴とする。
本願の第6の発明は、前記レート変換手段が、前記内挿画像生成部により生成された前記領域の境界部分における内挿画像信号に対してフィルタ処理を施すことを特徴とする。
本願の第7の発明は、前記レート変換手段が、前記領域の境界からの距離に応じて、前記フィルタ処理のフィルタ強度を可変することを特徴とする。
本願の第8の発明は、前記レート変換手段が、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする。
本願の第9の発明は、前記レート変換手段が、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする。
本願の第10の発明は、前記レート変換手段が、前記動きベクトル検出部を複数有し、該複数の動きベクトル検出部のそれぞれにより検出された前記領域の境界部分における複数の動きベクトルを加重加算処理することを特徴とする。
本願の第11の発明は、前記レート変換手段が、前記内挿ベクトル割付部を複数有し、該複数の内挿ベクトル割付部のそれぞれにより割り付けられた前記領域の境界部分における複数の内挿ベクトルを加重加算処理することを特徴とする。
本願の第12の発明は、前記レート変換手段が、前記内挿画像生成部を複数有し、該複数の内挿画像生成部のそれぞれにより生成された前記領域の境界部分における複数の内挿画像信号を加重加算処理することを特徴とする。
本願の第13の発明は、前記レート変換手段が、前記領域の境界からの距離に応じて、前記加重加算処理の加重加算比率を可変することを特徴とする。
本願の第14の発明は、前記レート変換手段が、前記領域毎に動き補償処理を施すか否かを切り換えてフレームレート変換処理を行うことを特徴とする。
本願の第15の発明は、前記レート変換手段が、前記領域毎に異なる動き補償処理を施したフレームレート変換処理を行うことを特徴とする。
本願の第16の発明は、入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、前記レート変換ステップが、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする。
本願の第17の発明は、前記レート変換ステップが、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする。
本願の第18の発明は、前記レート変換ステップが、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする。
本願の第19の発明は、入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、前記レート変換手段が、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする。
本願の第20の発明は、入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像処理方法であって、前記レート変換ステップが、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする。
本発明によれば、1画面内の領域毎に異なるフレームレート変換処理を施した場合に、領域の境界部分の画像に連続性を持たせる処理を行うことにより、領域の境界部分における画質劣化を防止することができる。
以下、添付図面を参照しながら本発明の好適な画像表示装置に係るFRC部の実施の形態について詳細に説明するが、上述した従来例と同一部分には同一符号を付し、その詳細な説明は省略する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
(第1の実施形態)
本発明の第1の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の動きベクトルに対して動きベクトルフィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第1の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の動きベクトルに対して動きベクトルフィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
図1は、本発明の第1の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、動きベクトルフィルタ部21、内挿ベクトル割付部11f、内挿フレーム生成部12b、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、動きベクトル検出部11e、内挿ベクトル割付部11f、及び内挿フレーム生成部12bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
動きベクトル検出部11eは、従来技術として説明した図16(A)、(B)のような構成を用いたもので、領域・境界制御部17からの情報を基に画面領域毎に異なる動きベクトル検出処理を行い、動きベクトルフィルタ処理部21に動きベクトルを出力する。
動きベクトルフィルタ処理部21は、領域・境界制御部17からの領域座標情報を基に、画面分割領域の境界部分の動きベクトルに対し、フィルタ処理を行い、該領域の境界部分の動きベクトルが連続的に変化するような処理を行う。ここでのフィルタ処理は、例えば、画面領域の境界部分に位置する対象ブロックの動きベクトルとその近傍ブロックの動きベクトルとに対してLPFを掛けて動きベクトルの平滑化を行うものである。また、このLPFは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
内挿ベクトル割付部11fは、動きベクトル検出部11eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。内挿フレーム生成部12bは、内挿ベクトル割付部11fから出力された内挿ベクトルを用いて内挿フレームを生成する。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿フレーム生成部12bから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の動きベクトルに対して動きベクトルフィルタ処理を施し、該領域の境界部分の動きベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の境界部分における画質劣化を効果的に防止することができる。
(第2の実施形態)
本発明の第2の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の内挿ベクトルに対して内挿ベクトルフィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第2の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の内挿ベクトルに対して内挿ベクトルフィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
図2は、本発明の第2の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、内挿ベクトル割付部11f、内挿ベクトルフィルタ部22、内挿フレーム生成部12b、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、動きベクトル検出部11e、内挿ベクトル割付部11f、及び内挿フレーム生成部12bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
動きベクトル検出部11eは、従来技術として説明した図16(A)、(B)のような構成を用いたもので、領域・境界制御部17からの情報を基に画面領域毎に異なる動きベクトル検出処理を行い、内挿ベクトル割付部11fに動きベクトルを出力する。
内挿ベクトル割付部11fは、動きベクトル検出部11eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
内挿ベクトルフィルタ処理部22は、領域・境界制御部17からの領域座標情報を基に、画面分割領域の境界部分の内挿ベクトルに対し、フィルタ処理を行い、該領域の境界部分の内挿ベクトルが連続的に変化するような処理を行う。ここでのフィルタ処理は、例えば、画面領域の境界部分に位置する対象ブロックの内挿ベクトルとその近傍ブロックの内挿ベクトルとに対してLPFを掛けて内挿ベクトルの平滑化を行うものである。また、このLPFは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
内挿フレーム生成部12bは、内挿ベクトルフィルタ処理部22から出力された内挿ベクトルを用いて内挿フレームを生成する。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿フレーム生成部12bから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の内挿ベクトルに対して内挿ベクトルフィルタ処理を施し、該領域の境界部分の内挿ベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の境界部分における画質劣化を効果的に防止することができる。
(第3の実施形態)
本発明の第3の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の画像に対して空間フィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第3の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、画面領域の境界部分の画像に対して空間フィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
図3は、本発明の第3の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、内挿ベクトル割付部11f、内挿フレーム生成部12b、空間フィルタ処理部23、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、動きベクトル検出部11e、内挿ベクトル割付部11f、及び内挿フレーム生成部12bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
動きベクトル検出部11eは、従来技術として説明した図16(A)、(B)のような構成を用いたもので、領域・境界制御部17からの情報を基に画面領域毎に異なる動きベクトル検出処理を行い、内挿ベクトル割付部11fに動きベクトルを出力する。
内挿ベクトル割付部11fは、動きベクトル検出部11eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。内挿フレーム生成部12bは、内挿ベクトル割付部11fから出力された内挿ベクトルを用いて内挿フレームを生成する。
ここで、前記動きベクトル検出部11eにて、画面領域毎に異なる動きベクトル検出処理を行い、この結果を用いて内挿フレーム生成処理を行うため、最終的に出力される内挿フレーム画像にも画面領域毎に異なる処理が施されることとなる。このため、内挿フレーム生成部12bから出力される内挿フレーム画像を空間フィルタ処理部23に出力し、画面領域の境界部分の画像に対し、フィルタ処理を行う。
空間フィルタ処理部23は、領域・境界制御部17から得る領域座標情報を用いて、1画面内のそれぞれの領域の境界部分の画像信号に対し、空間フィルタ処理を行い、該領域の境界部分における画像を連続的に変化させるようにする。空間フィルタ処理は、画面領域の境界部分に位置する画像データとその近傍の画像データとに対してLPFを掛けて内挿フレーム画像の平滑化を行うものである。また、このLPFは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と空間フィルタ処理部23から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の内挿フレーム画像に対して空間フィルタ処理を施し、該領域の境界部分の内挿フレーム画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の画面境界部分における画質劣化を効果的に防止することができる。
(第4の実施形態)
本発明の第4の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる内挿フレーム生成処理を行うときに、画面領域の境界部分の画像に対し、空間フィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第4の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる内挿フレーム生成処理を行うときに、画面領域の境界部分の画像に対し、空間フィルタ処理を施すことにより、該領域の境界部分での画質劣化を防止するものである。
図4は、本発明の第4の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、内挿ベクトル割付部11f、内挿フレーム生成部12b、空間フィルタ処理部23、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、動きベクトル検出部11e、内挿ベクトル割付部11f、及び内挿フレーム生成部12bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
動きベクトル検出部11eは、動きベクトル検出処理を行い、内挿ベクトル割付部11fに動きベクトルを出力する。
内挿ベクトル割付部11fは、動きベクトル検出部11eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
内挿フレーム生成部12bは、従来技術として説明した図17(A)、(B)のような構成を用いたもので、領域・境界制御部17からの座標情報に基づいて画面領域毎に異なる内挿フレーム生成処理を施し、内挿フレーム画像を出力する。
空間フィルタ処理部23は、領域・境界制御部17から得る領域座標情報を用いて、1画面内のそれぞれの領域の境界部分の画像信号に対し、空間フィルタ処理を行い、該領域の境界部分における画像を連続的に変化させるようにする。空間フィルタ処理は、画面領域の境界部分に位置する画像データとその近傍の画像データとに対してLPFを掛けて内挿フレーム画像の平滑化を行うものである。また、このLPFは、画面領域の境界からの距離に応じて強度を変化させてもよい。例えば、画面領域の境界から離れるに従って強度を弱める。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と空間フィルタ処理部23から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、画面領域の境界部分の内挿フレーム画像に対して空間フィルタ処理を施し、該領域の境界部分の内挿フレーム画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことに起因する、該画面領域の境界部分における画質劣化を効果的に防止することができる。
(第5の実施形態)
本発明の第5の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部を複数設け、これらの動きベクトル検出部から出力される動きベクトルを画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第5の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部を複数設け、これらの動きベクトル検出部から出力される動きベクトルを画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
図5は、本発明の第5の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、第1の動きベクトル検出部113e、第2の動きベクトル検出部114e、動きベクトル加重加算処理部24、内挿ベクトル割付部11f、内挿フレーム生成部12b、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、第1の動きベクトル検出部113e、第2の動きベクトル検出部113e、内挿ベクトル割付部11f、及び内挿フレーム生成部12bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
第1の動きベクトル検出部113eと第2の動きベクトル検出部114eとは、それぞれ異なる動きベクトル検出処理を行うものである。例えば、水平方向にスクロールするテロップが含まれる映像において、第1の動きベクトル検出部113eでは、該テロップ領域の画質向上を実現するために、該テロップの動きベクトル(テロップベクトル)を優先的に選択する動きベクトル検出処理を行い、第2の動きベクトル検出部114eでは、背景映像などのテロップ以外の領域の画質向上を実現するために、全画面の平均ベクトルを優先的に選択する動きベクトル検出処理を行う。これら2つの動きベクトル検出部は、それぞれ全画面分の動きベクトル検出処理を並列に行い、後の動きベクトル加重加算処理部24にて画面領域に応じて選択的に用いられる。
動きベクトル加重加算部24は、第1の動きベクトル検出部113eと第2の動きベクトル検出部114eとから出力される2つの動きベクトルを入力とし、領域・境界制御部17から得る領域座標情報に応じて、該2つの動きベクトルを加重加算して動きベクトルを生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
例えば、テロップが含まれる映像において、1画面内をテロップ領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置するブロックの動きベクトルは、テロップベクトルを優先的に選択して検出された動きベクトルと、全画面の平均ベクトルを優先的に選択して検出された動きベクトルとを1:1の比率で加重加算処理を行う。
また、画面領域の境界からテロップ領域側に離れるに従って、テロップベクトルを優先的に選択して検出された動きベクトルの加重加算比率を高くし、画面領域の境界からテロップ領域以外の領域側に離れるに従って、全画面の平均ベクトルを優先的に選択して検出された動きベクトルの加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
内挿ベクトル割付部11fは、動きベクトル加重加算処理部24から出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。内挿フレーム生成部12bは、内挿ベクトル割付部11fから出力された内挿ベクトルを用いて内挿フレームを生成する。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿フレーム生成部12bから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる動きベクトル検出処理で検出された複数の動きベクトルを、領域座標情報に応じて加重加算処理し、画面領域の境界部分の動きベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
(第6の実施形態)
本発明の第6の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部、および内挿ベクトル割付部を複数設け、内挿ベクトル割付部から出力される内挿ベクトルを画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第6の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部、および内挿ベクトル割付部を複数設け、内挿ベクトル割付部から出力される内挿ベクトルを画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
図6は、本発明の第6の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、第1の動きベクトル検出部113e、第2の動きベクトル検出部114e、第1の内挿ベクトル割付部110f、第2の内挿ベクトル割付部111f、内挿ベクトル加重加算処理部25、内挿フレーム生成部12b、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、第1の動きベクトル検出部113e、第2の動きベクトル検出部113e、第1の内挿ベクトル割付部110f、第2の内挿ベクトル割付部111f、及び内挿フレーム生成部12bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
第1の動きベクトル検出部113eと第2の動きベクトル検出部114eとは、それぞれ異なる動きベクトル検出処理を行うものである。例えば、水平方向にスクロールするテロップが含まれる映像において、第1の動きベクトル検出部113eでは、該テロップ領域の画質向上を実現するために、該テロップの動きベクトル(テロップベクトル)を優先的に選択する動きベクトル検出処理を行い、第2の動きベクトル検出部114eでは、背景映像などのテロップ以外の領域の画質向上を実現するために、全画面の平均ベクトルを優先的に選択する動きベクトル検出処理を行う。これら2つの動きベクトル検出部は、それぞれ全画面分の動きベクトル検出処理を並列に行い、さらに、それぞれで内挿ベクトル割付を行い、後の内挿ベクトル加重加算処理部25にて画面領域に応じて選択的に用いられる。
第1の内挿ベクトル割付部110fは第1の動きベクトル検出部113eから、第2の内挿ベクトル割付部111fは第2の動きベクトル検出部114eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
内挿ベクトル加重加算部25は、第1の内挿ベクトル割付部110fと第2の内挿ベクトル割付部111fとから出力される2つの内挿ベクトルを入力とし、領域・境界制御部17から得る領域座標情報に応じて、該2つの内挿ベクトルを加重加算して内挿ベクトルを生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
例えば、テロップが含まれる映像において、1画面内をテロップ領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置するブロックの内挿ベクトルは、テロップベクトルを優先的に選択して検出された動きベクトルが割り付けられた内挿ベクトルと、全画面の平均ベクトルを優先的に選択して検出された動きベクトルが割付けられた内挿ベクトルとを1:1の比率で加重加算処理を行う。
また、画面領域の境界からテロップ領域側に離れるに従って、テロップベクトルを優先的に選択して検出された動きベクトルが割り付けられた内挿ベクトルの加重加算比率を高くし、領域の境界からテロップ領域以外の領域側に離れるに従って、全画面の平均ベクトルを優先的に選択して検出された動きベクトルが割り付けられた内挿ベクトルの加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
内挿フレーム生成部12bは、内挿ベクトル加重加算処理部25から出力された内挿ベクトルを用いて内挿フレームを生成する。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿フレーム生成部12bから出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる動きベクトル検出処理で検出された動きベクトルが割り付けられた複数の内挿ベクトルを、領域座標情報に応じて加重加算処理し、画面領域の境界部分の内挿ベクトルを連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
(第7の実施形態)
本発明の第7の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部、内挿ベクトル割付部、および内挿フレーム生成部を複数設け、内挿フレーム生成部から出力される内挿フレーム画像を画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第7の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる動きベクトル検出処理を行うときに、動きベクトル検出部、内挿ベクトル割付部、および内挿フレーム生成部を複数設け、内挿フレーム生成部から出力される内挿フレーム画像を画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
図7は、本発明の第7の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、第1の動きベクトル検出部113e、第2の動きベクトル検出部114e、第1の内挿ベクトル割付部110f、第2の内挿ベクトル割付部111f、第1の内挿フレーム生成部123b、第2の内挿フレーム生成部124b、内挿画像加重加算処理部26、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、第1の動きベクトル検出部113e、第2の動きベクトル検出部113e、第1の内挿ベクトル割付部110f、第2の内挿ベクトル割付部111f、第1の内挿フレーム生成部123b、第2の内挿フレーム生成部124bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
第1の動きベクトル検出部113eと第2の動きベクトル検出部114eとは、それぞれ異なる動きベクトル検出処理を行うものである。例えば、水平方向にスクロールするテロップが含まれる映像において、第1の動きベクトル検出部113eでは、該テロップ領域の画質向上を実現するために、該テロップの動きベクトル(テロップベクトル)を優先的に選択する動きベクトル検出処理を行い、第2の動きベクトル検出部114eでは、背景映像などのテロップ以外の領域の画質向上を実現するために、全画面の平均ベクトルを優先的に選択する動きベクトル検出処理を行う。これら2つの動きベクトル検出部は、それぞれ全画面分の動きベクトル検出処理を並列に行い、さらに、それぞれで内挿ベクトル割付、及び内挿フレーム生成を行い、後の内挿画像加重加算処理部26にて領域に応じて選択的に用いられる。
第1の内挿ベクトル割付部110fは第1の動きベクトル検出部113eから、第2の内挿ベクトル割付部111fは第2の動きベクトル検出部114eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
第1の内挿フレーム生成部123bは第1の内挿ベクトル割付部110fから、第2の内挿フレーム生成部124bは第2の内挿ベクトル割付部111fから出力された内挿ベクトルを用いて内挿フレームを生成する。
内挿画像加重加算部26は、第1の内挿フレーム生成部123bと第2の内挿フレーム生成部124bとから出力される2つの内挿画像を入力とし、領域・境界制御部17から得る領域座標情報に応じて、該2つの内挿画像を加重加算して内挿フレーム画像を生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
例えば、テロップが含まれる映像において、1画面内をテロップ領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置する画像データは、テロップベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿画像と、全画面の平均ベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿画像とを1:1の比率で加重加算処理を行う。
また、画面領域の境界からテロップ領域側に離れるに従って、テロップベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿フレーム画像の加重加算比率を高くし、画面領域の境界からテロップ領域以外の領域側に離れるに従って、全画面の平均ベクトルを優先的に選択して検出された動きベクトルに基づいて生成された内挿フレーム画像の加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿画像加重加算部26から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる動きベクトル検出処理で検出された動きベクトルに基づいて生成された複数の内挿フレーム画像を、領域座標情報に応じて加重加算処理し、画面領域の境界部分の内挿画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
(第8の実施形態)
本発明の第8の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる内挿フレーム生成処理を行うときに、内挿フレーム生成部を複数設け、内挿フレーム生成部から出力される内挿フレーム画像を画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
本発明の第8の実施形態は、1画面内を複数の領域に分割して、それぞれの領域で異なる内挿フレーム生成処理を行うときに、内挿フレーム生成部を複数設け、内挿フレーム生成部から出力される内挿フレーム画像を画面領域の境界部分で加重加算処理することにより、該領域の境界部分での画質劣化を防止するものである。
図8は、本発明の第8の実施形態に係るFRC部10の要部構成例を示すブロック図である。本実施形態のFRC部10は、遅延部19、領域検出部20、領域・境界制御部17、動きベクトル検出部11e、内挿ベクトル割付部11f、第1の内挿フレーム生成部123b、第2の内挿フレーム生成部124b、内挿画像加重加算処理部26、タイムベース変換部12dを備えている。
入力画像信号は、遅延部19によって1フレーム期間遅延され、前フレームと現フレームとのそれぞれの画像データは、領域検出部20、動きベクトル検出部11e、内挿ベクトル割付部11f、第1の内挿フレーム生成部123b、第2の内挿フレーム生成部124bに入力される。
領域検出部20は、テロップなどの特殊な動きをもつ領域やスーパーインポーズされた領域、画郭周縁領域などの所定の画面領域を検出するためのものであり、該所定の画面領域を示す領域座標情報を領域・境界制御部17に出力する。領域・境界制御部17は、領域検出部20にて検出された領域座標情報に基づいて、画面領域毎に動きベクトル検出処理を異ならしめるための制御信号と前記領域座標情報とを出力する。
動きベクトル検出部は、動きベクトル検出処理を行い、内挿ベクトル割付部11fに動きベクトルを出力する。
内挿ベクトル割付部11fは動きベクトル検出部11eから出力された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付ける処理を行う。
第1の内挿フレーム生成部123bと第2の内挿フレーム生成部124bとは、それぞれ異なる内挿フレーム生成処理を行うものである。例えば、画郭周縁領域とそれ以外の領域とに分割して、それぞれの画面領域で異なる内挿フレーム生成処理を行う場合、第1の内挿フレーム生成部123bは前後2フレーム、すなわち両方向からの内挿フレーム生成を行い、もう一方の第2の内挿フレーム生成部124bは画像の欠如が生じていない方のフレームのみから、すなわち片方向からの内挿フレーム生成を行う構成とし、画郭周縁領域には、第1の内挿フレーム生成処理部123bから出力される片方向から内挿された内挿フレーム画像を出力し、それ以外の領域には、第2の内挿フレーム生成処理部124bから出力される両方向から内挿された内挿フレーム画像を出力する。これら2つの内挿フレーム生成部は、それぞれ全画面分の内挿フレーム生成処理を並列に行い、後の内挿画像加重加算処理部26にて画面領域に応じて選択的に用いられる。
内挿画像加重加算部26は、第1の内挿フレーム生成部123bと第2の内挿フレーム生成部124bとから出力される2つの内挿画像を入力とし、領域・境界制御部17から得る領域座標情報に応じて、該2つの内挿画像を加重加算して内挿フレーム画像を生成する。加重加算処理は、画面分割領域の境界からの距離に応じて加重加算比率を変えてもよい。
例えば、画郭周縁領域とそれ以外の領域とに分割した場合、これらの画面領域の境界に位置する画像データは、画郭周縁領域に用いる片方向から内挿された内挿フレーム画像と、それ以外の領域に用いる両方向から内挿された内挿フレーム画像とを1:1の比率で加重加算処理を行う。
また、画面領域の境界から画郭周縁領域側に離れるに従って、片方向から内挿された内挿フレーム画像の加重加算比率を高くし、画面領域の境界から画郭周縁領域以外の領域側に離れるに従って、両方向から内挿された内挿フレーム画像の加重加算比率を高くすることで、画面領域の境界部分を連続的に変化させることが可能となる。
タイムベース変換部12dは、遅延部19から出力される前フレーム画像と内挿画像加重加算部26から出力される内挿フレーム画像とを入力とし、前フレーム画像、内挿フレーム画像の順に出力するようにフレームレート変換処理を行い、120フレーム/秒の出力画像信号を出力する。
このように、1画面内の領域毎に異なるフレームレート変換処理を施した場合には、異なる内挿フレーム生成処理にて生成された複数の内挿フレーム画像を、領域座標情報に応じて加重加算処理し、画面領域の境界部分の内挿画像を連続的に変化させることで、画面領域毎に異なるフレームレート変換処理を施すことによる、該画面領域の境界部分における画質劣化を効果的に防止することができる。
以上説明したように、本実施形態によれば、1画面内を複数の領域に分割して、それぞれの領域で異なるフレームレート変換処理を行うときに、画面分割された領域の境界部分の画像に連続性を持たせる処理を施すことで、領域毎に異なるフレームレート変換処理を行うことに起因して生じる、領域境界部分での画質劣化を防止することができる。
尚、上記実施形態においては、1画面内を2つの領域に分割して領域毎に異なるフレームレート変換処理を行う場合を例に挙げて説明したが、これに限らず、1画面内を複数の領域に分割して、複数の領域毎に異なるフレームレート変換処理を行う場合にも、複数の領域の境界部分の画像に連続性を持たせる処理を施すようにすればよい。
また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像表示プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
さらに、本発明は、液晶ディスプレイ、有機ELディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能である。
10…フレームレート変換(FRC)部
105…動きベクトル
106…内挿ベクトル
107…内挿フレーム
11…ベクトル検出部
11a…輝度信号抽出部
11b…前処理フィルタ
11c…動き検出用フレームメモリ
11d…初期ベクトルメモリ
11e…動きベクトル検出部
112e…動きベクトル検出処理部
113e…第1の動きベクトル検出部
114e…第2の動きベクトル検出部
11f…内挿ベクトル割付部
110f…第1の内挿ベクトル割付部
111f…第2の内挿ベクトル割付部
12…フレーム生成部
12a…内挿用フレームメモリ
12b…内挿フレーム生成部
122b…内挿フレーム生成処理部
123b…第1の内挿フレーム生成部
124b…第2の内挿フレーム生成部
12c…タイムベース変換用フレームメモリ
12d…タイムベース変換部
14…電極駆動部
15…液晶表示パネル
17…領域・境界制御部
19…遅延部
20…領域検出部
21…動きベクトルフィルタ処理部
22…内挿ベクトルフィルタ処理部
23…空間フィルタ処理部
24…動きベクトル加重加算処理部
25…内挿ベクトル加重加算処理部
26…内挿画像加重加算処理部
105…動きベクトル
106…内挿ベクトル
107…内挿フレーム
11…ベクトル検出部
11a…輝度信号抽出部
11b…前処理フィルタ
11c…動き検出用フレームメモリ
11d…初期ベクトルメモリ
11e…動きベクトル検出部
112e…動きベクトル検出処理部
113e…第1の動きベクトル検出部
114e…第2の動きベクトル検出部
11f…内挿ベクトル割付部
110f…第1の内挿ベクトル割付部
111f…第2の内挿ベクトル割付部
12…フレーム生成部
12a…内挿用フレームメモリ
12b…内挿フレーム生成部
122b…内挿フレーム生成処理部
123b…第1の内挿フレーム生成部
124b…第2の内挿フレーム生成部
12c…タイムベース変換用フレームメモリ
12d…タイムベース変換部
14…電極駆動部
15…液晶表示パネル
17…領域・境界制御部
19…遅延部
20…領域検出部
21…動きベクトルフィルタ処理部
22…内挿ベクトルフィルタ処理部
23…空間フィルタ処理部
24…動きベクトル加重加算処理部
25…内挿ベクトル加重加算処理部
26…内挿画像加重加算処理部
Claims (20)
- 入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
前記レート変換手段は、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を行うことを特徴とする画像表示装置。 - 前記請求項1に記載の画像表示装置において、
前記レート変換手段は、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする画像表示装置。 - 前記請求項2に記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、
該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする画像表示装置。 - 前記請求項3に記載の画像表示装置において、
前記レート変換手段は、前記動きベクトル検出部により検出された前記領域の境界部分における動きベクトルに対してフィルタ処理を施すことを特徴とする画像表示装置。 - 前記請求項3に記載の画像表示装置において、
前記レート変換手段は、前記内挿ベクトル割付部により割り付けられた前記領域の境界部分における内挿ベクトルに対してフィルタ処理を施すことを特徴とする画像表示装置。 - 前記請求項3に記載の画像表示装置において、
前記レート変換手段は、前記内挿画像生成部により生成された前記領域の境界部分における内挿画像信号に対してフィルタ処理を施すことを特徴とする画像表示装置。 - 前記請求項2乃至6のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域の境界からの距離に応じて、前記フィルタ処理のフィルタ強度を可変することを特徴とする画像表示装置。 - 前記請求項1に記載の画像表示装置において、
前記レート変換手段は、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする画像表示装置。 - 前記請求項8に記載の画像表示装置において、
前記レート変換手段は、前記入力画像信号に含まれる連続したフレーム間あるいはフィールド間で動きベクトルを検出する動きベクトル検出部と、
該検出した動きベクトルに基づいて、前記フレーム間あるいは前記フィールド間に内挿ベクトルを割り付ける内挿ベクトル割付部と、
該割り付けた内挿ベクトルを用いて、前記入力画像信号から内挿画像信号を生成する内挿画像生成部と、
該生成した内挿画像信号を前記フレーム間あるいは前記フィールド間に内挿する画像内挿部とを有することを特徴とする画像表示装置。 - 前記請求項9に記載の画像表示装置において、
前記レート変換手段は、前記動きベクトル検出部を複数有し、該複数の動きベクトル検出部のそれぞれにより検出された前記領域の境界部分における複数の動きベクトルを加重加算処理することを特徴とする画像表示装置。 - 前記請求項9に記載の画像表示装置において、
前記レート変換手段は、前記内挿ベクトル割付部を複数有し、該複数の内挿ベクトル割付部のそれぞれにより割り付けられた前記領域の境界部分における複数の内挿ベクトルを加重加算処理することを特徴とする画像表示装置。 - 前記請求項9に記載の画像表示装置において、
前記レート変換手段は、前記内挿画像生成部を複数有し、該複数の内挿画像生成部のそれぞれにより生成された前記領域の境界部分における複数の内挿画像信号を加重加算処理することを特徴とする画像表示装置。 - 前記請求項8乃至12のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域の境界からの距離に応じて、前記加重加算処理の加重加算比率を可変することを特徴とする画像表示装置。 - 前記請求項1乃至13のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域毎に動き補償処理を施すか否かを切り換えてフレームレート変換処理を行うことを特徴とする画像表示装置。 - 前記請求項1乃至13のいずれかに記載の画像表示装置において、
前記レート変換手段は、前記領域毎に異なる動き補償処理を施したフレームレート変換処理を行うことを特徴とする画像表示装置。 - 入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像表示方法であって、
前記レート変換ステップは、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする画像表示方法。 - 前記請求項16に記載の画像表示方法において、
前記レート変換ステップは、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対してフィルタ処理を施すことを特徴とする画像表示方法。 - 前記請求項16に記載の画像表示方法において、
前記レート変換ステップは、前記領域の境界部分の画像に連続性を持たせる処理として、前記異なるフレームレート変換処理を行う過程で得られるデータに対して加重加算処理を施すことを特徴とする画像表示方法。 - 入力画像信号のフレーム数あるいはフィールド数を変換するレート変換手段を備えた画像処理装置であって、
前記レート変換手段は、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする画像処理装置。 - 入力画像信号のフレーム数あるいはフィールド数を変換するレート変換ステップを備えた画像処理方法であって、
前記レート変換ステップは、画面分割領域毎に異なるフレームレート変換処理を行うとともに、前記領域の境界部分の画像に連続性を持たせる処理を施すことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007220053A JP2009055340A (ja) | 2007-08-27 | 2007-08-27 | 画像表示装置及び方法、画像処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007220053A JP2009055340A (ja) | 2007-08-27 | 2007-08-27 | 画像表示装置及び方法、画像処理装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009055340A true JP2009055340A (ja) | 2009-03-12 |
Family
ID=40505999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007220053A Pending JP2009055340A (ja) | 2007-08-27 | 2007-08-27 | 画像表示装置及び方法、画像処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009055340A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011035612A (ja) * | 2009-07-31 | 2011-02-17 | Sanyo Electric Co Ltd | フレームレート変換装置、およびそれを搭載した表示装置 |
JP2011135288A (ja) * | 2009-12-24 | 2011-07-07 | Canon Inc | 映像処理装置及び方法 |
JP2012147336A (ja) * | 2011-01-13 | 2012-08-02 | Canon Inc | 画像処理装置および画像処理方法 |
JP2013074384A (ja) * | 2011-09-27 | 2013-04-22 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
JP2013219453A (ja) * | 2012-04-05 | 2013-10-24 | Jvc Kenwood Corp | 映像信号処理装置及び方法 |
CN113207003A (zh) * | 2021-04-15 | 2021-08-03 | 上海顺久电子科技有限公司 | 一种视频图像的运动估计方法及电子设备 |
-
2007
- 2007-08-27 JP JP2007220053A patent/JP2009055340A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011035612A (ja) * | 2009-07-31 | 2011-02-17 | Sanyo Electric Co Ltd | フレームレート変換装置、およびそれを搭載した表示装置 |
JP2011135288A (ja) * | 2009-12-24 | 2011-07-07 | Canon Inc | 映像処理装置及び方法 |
JP2012147336A (ja) * | 2011-01-13 | 2012-08-02 | Canon Inc | 画像処理装置および画像処理方法 |
JP2013074384A (ja) * | 2011-09-27 | 2013-04-22 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
JP2013219453A (ja) * | 2012-04-05 | 2013-10-24 | Jvc Kenwood Corp | 映像信号処理装置及び方法 |
CN113207003A (zh) * | 2021-04-15 | 2021-08-03 | 上海顺久电子科技有限公司 | 一种视频图像的运动估计方法及电子设备 |
CN113207003B (zh) * | 2021-04-15 | 2023-01-24 | 上海顺久电子科技有限公司 | 一种视频图像的运动估计方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7965303B2 (en) | Image displaying apparatus and method, and image processing apparatus and method | |
JP4181593B2 (ja) | 画像表示装置及び方法 | |
JP5215668B2 (ja) | 画像表示装置及び方法 | |
JP4181598B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4157579B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4181592B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4369948B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4746514B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2008090176A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
WO2008062578A1 (fr) | Appareil d'affichage d'image | |
JP2009055340A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4181614B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4731356B2 (ja) | 画像表示装置及び方法 | |
JP2009181067A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4504999B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2009071842A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2009182865A (ja) | 画像表示装置及び方法、画像処理装置及び画像処理方法 | |
JP4181613B2 (ja) | 画像表示装置及び方法 | |
JP2008109625A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2008193730A (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4369971B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP4181612B2 (ja) | 画像表示装置及び方法 | |
JP2009258269A (ja) | 画像表示装置 | |
JP4157587B2 (ja) | 画像表示装置及び方法、画像処理装置及び方法 | |
JP2008109628A (ja) | 画像表示装置及び方法、画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100513 |