JP2007082030A - 映像表示装置 - Google Patents

Abstract

【課題】
簡易な処理で高画質のまま映像信号のフレームレート変換が可能な映像表示装置を提供すること。
【解決手段】
前フレーム５０１と後フレーム５０３の中間フレーム上であって補間画素５０４と同一空間位置の画素５０５の動きベクトル５０６を探索し、この動きベクトルを平行移動させて補間画素５０４の動きベクトル５０７とする。そして、動きベクトル５０７上に位置する前フレーム５０１上の画素５０８の画素値Ｐ、動きベクトル５０７上に位置する後フレーム５０２上の画素５０９の画素値Ｎ及び前後フレームに対する補間フレームの時間距離の比α：βに基づいて補間画素５０４を生成する。
【選択図】 図５

Description

本発明は、映像信号処理技術に関し、特に、複数画素で表現される画像がフレーム単位で連続した映像信号のフレーム周波数（以下「フレームレート」と称する）を変換するフレームレート変換技術に関する。

従来から、入力された映像信号のフレームレートを所望のフレームレートに変換するフレームレート変換技術が知られている。
フレームレート変換技術に関しては、既に種々の提案がなされている。その一つとして、同じフレームを繰り返し出力することで簡易的にフレームレートを変換する技術が知られている。（例えば、特許文献１参照）しかし、このフレームレート変換技術では、本来動き続けて表示されるべき映像が動いたりとまったりして見える、いわゆるモーションジャダーと呼ばれる画質劣化が生じる場合がある。

また、フレームレート変換前の映像信号から動きベクトルを探索し、探索した動きベクトルに応じて、前後のフレーム画像に含まれる画像の位置を移動させた新たなフレーム画像を生成し、生成した新たなフレーム画像を前後フレーム間に挿入することによって、映像信号のフレームレートを増加させる、いわゆる動き補正型のフレームレート変換技術も知られている。（例えば、特許文献２参照）この動き補正型フレームレート変換技術では、先に述べたモーションジャダー妨害の除去に有効であり、ボケの少ない高画質な補間フレームを生成可能である。

特開２００１−１１１９６８号公報 特開平１１−１１２９３９号公報

特許文献２記載のフレームレート変換技術では、複数画素からなるブロック単位で動きベクトルを探索し、さらに画素単位で動きベクトルを探索して、探索した動きベクトルに基づいて、新たなブロックを作成することで補間フレームを作成し、フレームレートを変換する。
ブロック単位でのみ動きベクトルを探索して補間フレームを生成する場合には、動きベクトルの探索結果が誤っていると、補間フレームの画像にブロック状のブロックノイズが発生してしまう場合があり、画質が下がる。従って、特許文献２記載のフレームレート変換技術ではブロック単位及び画素単位で動きベクトルを検索して補間フレームを作成している。

しかし、動きベクトル探索を２回行わければならないため、処理が複雑になり、フレームレート変換に必要な処理回路の回路規模及びコストが大きくなってしまう。

本発明の目的は、簡易な処理で高画質のまま映像信号のフレームレート変換が可能な映像表示装置を提供することにある。

本発明の目的を達成する構成の一つとして、入力した映像信号の第１のフレームと該第１のフレームに続く第２のフレームとの間に第３のフレームを追加することで前記映像信号のフレームレートを変換する映像表示装置に対して、前記第１のフレームと前記第２のフレームとの間であって前記第３のフレームとは異なる第４のフレーム上の画素に対する動きベクトルを探索する探索手段と、前記第１のフレームと前記第２のフレームと前記探索手段が探索した動きベクトルに基づいて前記第３のフレームを作成して追加するフレームレート変換手段とを設けることとする。

本発明によれば、簡易な処理で高画質に映像信号のフレームレート変換を行うことが可能になる。

以下、本発明の実施例を、図面を参照して説明する。まず実施例の前提となるフレームレート変換技術について説明する。
フレームレート変換技術の一つとして、補間フレーム上の補間画素に対して点対称の位置にある前後フレーム上の画素のペアを求めて利用する手法が考えられる。実施例は、この画素ペア探索によって画素補間を行うフレームレート変換技術に対して有効である。この手法の原理を、フレームレートを倍速にする場合を例にして、図１を用いて説明する。図１においてＨはフレームの水平方向、Ｖはフレームの垂直方向、Ｔｉｍｅはフレーム時間方向を指す。また、各フレームの画像は複数画素の組み合わせで構成されている。補間フレーム画像１０２は、前フレーム画像１０１及び後フレーム画像１０３のフレーム時間方向中間に配置される。よって、前フレーム画像１０１から補間フレーム画像１０２までの時間と、補間フレーム画像１０２から後フレーム画像１０３までの時間との比は、１対１である。

補間フレーム１０２上の補間画素１０５を時間的に通過する画素が、前後フレーム１０１、１０３のどの画素に対応するのかを、動きベクトル探索手法を用いて求める。この動きベクトルを探索する手法自体は特に限定されないが、補間画素１０５に対して点対称の位置には必ず前後フレームの画素が存在することを利用すると効率がよい。図１においては、補間画素１０５に対して、前フレーム１０１の画素１０４と後フレーム１０３の画素１０６、前フレーム１０１の画素１０７と後フレーム１０３の画素１０８がそれぞれ点対称の位置にある。このような前後フレームの画素の組み合わせを複数検出し、組み合わせ画素間の差異が一番小さい組み合わせ画素同士を結ぶ直線を動きベクトルとして探索することが一例として挙げられる。

図２は、補間画素に対する点対称の位置関係を平面図で示したもので、フレーム垂直方向を無視して、フレーム水平方向とフレーム時間方向の関係を示したものである。補間画素１０５に対する動きベクトルが、図示したとおりだとした場合、前後フレーム１０１、１０３に存在する画素１０４、１０６を用いて求められるため、図２に示すように、補間画素１０５の画素値は、前フレーム１０１上の画素１０４の画素値、および後フレーム１０３上の画素１０６の画素値を用いて定めることが出来る。補間画素値の算出方法自体は特に限定されない。画素１０４の画素値の画素１０６の画素値の混合比を適宜変更して算出してもよいし、両者の平均値としてもよいし、一方の画素値をそのまま流用してもよい。以上のとおり補間フレーム上の全画素について補間画素を生成しることで補間フレームを作成し、作成した補間フレームを前後フレーム間に追加することで、高画質にフレームレートを変換することができる。

しかしながら、上記フレームレート変換技術を前フレーム画像１０１と後フレーム画像１０３との時間距離が１対１でない補間フレーム作成に適用した場合、補間フレーム上の補間画素と点対称の位置に前後フレーム上の画素が存在しないという問題が発生する。これを、図３を用いて説明する。前フレーム３０１、後フレーム３０３に対して時間距離がα対β（α：β≠１：１）にある補間フレーム３０２上の補間画素３０５と点対称の位置にある前後フレーム上の画素は、図４及び図５に図示した画素、３０４、３０６のように、元々前フレーム３０１及び後フレーム３０３内に存在しない画素となってしまう。このような場合、前後フレーム３０１、３０３内に元々存在する画素を補間処理して動きベクトル探索に必要な精細度まで解像度を高めた上で、画素ペアの探索を行う必要があるので演算量が増大し、回路規模が大きくなってしまう。

本実施例は、動きベクトル探索前に画素の補間処理を行う必要がなく、簡易な処理で高画質なフレームレート変換技術である。以下、実施例について説明する。
はじめに、本実施例の原理について図５を用いて説明する。
本実施例では、前後フレームに対する補間フレームの時間距離が１：１であろうとなかろうと、常に時間距離が１対１にあるフレーム上の画素の動きベクトルを求めることとする。図５に示すように、前フレーム５０１と後フレーム５０３との間の時間距離がα（＝５）対β（＝１）になるような補間フレーム５０２の補間画素５０４の動きベクトルを求める際には、そのフレーム上の画素の動きベクトルとして、前記の前後フレームから時間距離が１対１にある補間フレーム上であって補間画素５０４と同一空間位置の画素５０５の動きベクトルを探索して動きベクトル５０６を求め、その動きベクトルと平行なベクトルであって補間画素５０４を通過する動きベクトル５０７を、補間画素５０４の動きベクトルとして設定する。

動きベクトルの平行移動、すなわちベクトル値の変換を行うと、補間に用いる前フレーム５０１上の画素と後フレーム上の画素５０３が、図５に図示した画素Ｐ及び画素Ｎのように画素と画素との境界に移動してしまうことがあるが、この場合には、周囲画素の画素値を用いて擬似的な画素である擬似画素５０８及び擬似画素５０９を作成する。そして、擬似画素５０８及び擬似画素５０９に基づいて補間フレーム５０２上の補間画素５０４を作成する。補間フレーム５０２上の全ての画素について補間画素５０４と同様の作成手法で作成すればその補間画素の集まりが補間フレームとなる。そして補間フレームを前後フレーム間に追加することで映像信号のフレームレートを変換することができる。

なお、上述のとおり、本実施例において、動きベクトル探索自体及び画素補間自体に関し、その手法について特に限定されない。また、動きベクトルの水平方向Ｈへの平行移動について説明したが、動きベクトルの垂直方向への平行移動によって補間画素５０４を作成することもできる。

上述のフレームレート変換技術によれば、動きベクトル探索のために前後フレームの画素補間を行う必要がないため、処理が簡単になり回路規模の増大を抑えることができる。また、画質の劣化も抑え、高画質でフレームレートを変換できることを確認できた。特に動きベクトルの精度を上げるために前後フレームの画素の組み合わせを多数検出して動きベクトルを探索する場合には、その効果は顕著である。

次に、本発明をテレビ等の映像表示装置に適用した実施例について説明する。
図６は、映像表示装置６００のブロック図である。
映像表示装置６００は、アンテナ６０１、受信回路（ＴＵＮ）６０２、フレームレート変換回路（ＦＲＣ）７００、信号処理回路（ＡＶＣ）６０３及び表示部（ＤＩＳＰ）６０４を含む。

アンテナ６０１は、外部から電波を受信し、受信した電波を受信回路６０２に送る。受信回路６０２は、アンテナ６０１から受けた電波を映像信号に変換し、変換した映像信号を信号処理回路６０３に送る。信号処理回路６０３は、受信回路６０２から受けた映像信号の信号処理を行い、表示部６０４に送る。また、信号処理回路６０３は、映像信号及び制御信号を、それぞれ後述するフレームレート変換回路７００の映像信号入力部６０５及び制御信号入力部６１０に送り、フレームレート変換回路７００からフレームレートが変換された映像信号６１２を受ける。表示部６０４は、信号処理回路１０４から受けた映像信号の画像を表示する。

フレームレート変換回路７００は、映像信号の信号処理の一つとして、映像信号のフレームレートの変換を行う。本実施例では、フレームレート変換回路を信号処理回路６０３と異なるブロックとして図示しているが、両者が同一回路上に組み込まれていてもよい。

図７は、フレームレート変換回路７００のブロック図である。フレームレート変換回路７００は、映像信号入力部６０５、画像メモリ（ＦＭ）７０２、７０３、７０５、画素補間回路（ＭＣ）７０４、切り替え回路（ＳＷ）７０６、遅延回路（ＤＹ）７０７、動き探索回路（ＭＥ）７０８、動きベクトル変換回路（ＶＣ）７０９、制御信号入力部６１０、制御回路（ＣＴＬ）７１１及び映像信号出力部６１２を備える。

信号処理回路６０３から出力された映像信号は、映像信号入力部６０５を介して画像メモリ７０２及び遅延回路７０７に送られる。なお、映像信号入力部６０５に入力される映像信号は、アナログ信号であってもデジタル信号であってもよいが、フレームレート変換処理が容易となるという観点から、デジタル信号であることが好ましい。よって、フレームレート変換回路７００は、アナログ信号が入力される場合、映像信号入力部６０５と画像メモリ７０２及び遅延回路７０７との間にＡＤ変換回路を設ける。信号処理回路６０３内にＡＤ変換回路を設けて、デジタル信号がフレームレート変換回路７００に出力されるようにしてもよい。

画像メモリ７０２、７０３、７０５は、受信した映像信号の１フレーム分の画像を記憶する。遅延回路７０７は、受信した映像信号の画像を１フレーム分だけ遅延させて、画像メモリ７０３に送信する。つまり、画像メモリ７０３は、画像メモリ７０２が受信する映像信号の画像より１フレーム遅れた画像を受信する。

動き探索回路７０８は、画像メモリ７０２が記憶しているｎ＋１フレームの画像、つまり後フレーム画像と画像メモリ７０３が記憶しているｎフレームの画像、つまり前フレーム画像との間における動きベクトルを探索する。動きベクトル変換回路７０９は、動き探索回路７０８で求めた動きベクトル値を、制御回路７１１からの制御信号に基づいて変換する。この動きベクトル値の変換は、時間距離１対１でないフレームを補間する場合において、時間距離１対１の場合において求められた動きベクトルをフレームの水平方向に平行移動させるものである。ちなみに動きベクトル値の値は、例えば動きベクトルの始点である前フレームの画素の位置情報と動きベクトルの終点である後フレームの画素の位置情報との組み合わせで表現することができる。つまり、動き探索回路７０８及び動きベクトル変換回路７０９は図５を引用して説明した上述の原理に則って動作する。

なお、動きベクトル値の変換結果は、変換前後のフレームレート、前後フレームの間に補間するフレームの時間距離の比率に応じて一意に決まる。従って、変換前後の動きベクトル情報の関係をテーブルとして動きベクトル変換回路２０９に予め記憶させておけば、フレームレート変換に必要な演算量を減らすことができ、さらに処理が簡単になる。

画素補間回路７０４は、画像メモリ７０２及び７０３が記憶している前後フレーム画像並びにベクトル変換回路７０９が出力した動きベクトルに基づいて、補間フレームを作成する。そして、画素補間回路７０４は、作成した補間フレームの画像を画像メモリ７０５に送る。

切り替え回路７０６は、画像メモリ７０５が記憶している補間フレーム画像と、画像メモリ７０３が記憶しているフレーム画像のいずれか一方を、制御回路７１１の制御に基づいて切り替えながら映像信号出力部６１２を通して出力する。

信号処理回路６０３から与えられる制御信号は、制御入力部６１０を介して制御回路７１１に送られる。制御回路７１１は、この制御信号に基づいてフレームレート変換処理を制御するために動きベクトル変換回路７０９、および切り替え回路７０６の制御を行う。

図８は、映像表示装置６００が行うフレームレート変換処理のフローチャートである。

まず、フレームレート変換回路７００の動き探索回路７０８は、作成する補間フレームの補間画素を設定する（Ｓ８０１）。次に、フレームレート変換回路７００の動き探索回路７０８は、選択した補間画素に対して、動きベクトル探索処理を行う（Ｓ８０２）。図５を引用して説明したとおり、前後フレームに対する補間フレームの時間距離が１：１であろうとなかろうと、常に時間距離が１対１にあるフレーム上の画素の動きベクトルを求めることとする。つまり図５における画素５０５の動きベクトル５０６を求めることとする。動きベクトル５０６を求める際、前後フレームの画素の組み合わせを複数検出し、組み合わせ画素間の差異が一番小さい組み合わせ画素同士を結ぶ直線を動きベクトルとして探索すれば、動きベクトルの精度が向上する。

次に、フレームレート変換回路７００の動きベクトル変換回路７０９は、変換するフレームレートに応じて、動きベクトルの値を変換する（Ｓ８０３）。つまり図５における動きベクトル５０６の動きベクトル値を動きベクトル５０７の動きベクトル値に変換する。

そして、フレームレート変換回路７００の画素補間回路７０４は、動きベクトル変換回路１０９より出力された動きベクトル値に基づいて、補間画素作成処理を行う（Ｓ５０４）。つまり図５における前フレームの擬似画素５０８の画素値Ｐと後フレームの擬似画素５０９の画素値Ｎを周辺がその画素値に基づいて算出する。そして、求めた画素値Ｐ及びＮに基づいて、補間フレーム５０２の補間画素５０４の画素値Ｘを算出する。

例えば、以下の式（１）によって、補間フレーム５０２の補間画素５０４の画素値Ｘを算出する。
Ｘ＝（β×Ｐ＋α×Ｎ）／(α＋β)・・・（１）
なお、求めた画素値Ｐ又は画素値Ｎのどちらか一方を、そのまま補間対象画素の画素値Ｘとしてもよい。なぜなら、画素値Ｐと画素値Ｎとは、近似した値となるからである。この場合、処理がさらに簡易になり回路規模の増大を抑えることができる。

次に、フレームレート変換回路７００の画素補間回路７０４は、補間フレーム画像に含まれるすべての画素を動き探索回路７０７が選択したか否かを判定する（Ｓ８０５）。画素補間回路７０４は、すべての画素を選択していないと判定すると、ステップＳ７０１に戻る。一方、画素補間回路７０４は、すべての画素を選択したと判定すると、補間フレーム画像の作成を完了したと判定し、作成した補間フレームを画像メモリ７０５に送る。

最後に制御回路７１１の制御に基づいて、切り替え回路７０６が画像メモリ７０３のフレームと画像メモリ７０５のフレームを切り替えながら所望のフレームレートで出力する（Ｓ８０６）。

図９に５０Ｈｚから６０Ｈｚにフレームレート変換した場合の、それぞれのフレームの時間位置を示す。図中、前フレームと補間フレームとの時間距離をα、後フレームと補間フレームとの時間距離をβで示す。太線は画像メモリ７０３、７０５に記憶されるフレーム、細線はフレームレート変換回路７００が作成する補間フレーム、点線は前後フレームの中間点、すなわち時間距離の比α：βが１：１の地点を示す。変換前のフレーム１はそのまま変換後のフレーム１として切り替え回路７０６から出力される。一方、変換前のフレーム２〜５は、補間フレーム作成のために動き探索回路７０８及び動きベクトル変換回路７０９で用いられるが、切り替え回路７０６から出力されない。変換前のフレーム２〜５の代わりに切り替え回路７０６から出力されるフレームは、変換後のフレーム２〜６である。変換前のフレーム１〜５に対して変換後のフレームは１〜６になるので、５０Hzのフレームレートが６０Hzのフレームレートに変換されることになる。

変換後のフレーム２は変換前のフレーム１、２に対してα＝５、β＝１として算出し、変換後のフレーム３は変換前のフレーム２、３に対してα＝４、β＝２、変換後のフレーム４は変換前のフレーム３、４に対してα＝３、β＝３、変換後のフレーム５は変換前のフレーム４、５に対してα＝２、β＝４、変換後のフレーム６は変換前のフレーム５、６に対してα＝１、β＝５として算出する。

図１０に２４Ｈｚから６０Ｈｚにフレームレート変換した場合の、それぞれのフレームの時間位置を示す。図９に示した例と同様の処理を行ってフレームレートが変換されるが、図９に示した例の場合と異なるのは、１つの変換前のフレーム間で複数の補間フレームが作成されることである。すなわち変換前のフレーム１，２から補間フレーム２及び３が作成され、変換前のフレーム２、３から補間フレーム４及び５が作成される。補間フレーム２及び３の作成の際、おのおのの動きベクトルは、動き探索回路７０８によって求められた同じ動きベクトルを平行移動（変換）するだけでよく、αとβの値を変えるだけで簡単に算出することができる。従って、動きベクトル探索に伴う処理を大幅に簡素化することが出来る。

なお、フレームレート変換比率は、上述の例に限定されるものではなく任意のレートに変換できることはいうまでもない。

本実施例においては、画素単位のベクトルを用いて補完する例を示したが、本実施例は、ベクトル変換回路を用いて動きベクトルの平行移動を行うことを特徴とするものであるため、特に画素単位のベクトルにおける処理に限られるものでなく、ブロック単位の動きベクトルに対しても同様に適用することが出来る。なお、映像表示装置の画面のサイズに応じて、一度に補間する補間対象画素の数を決定してもよい。また、動きベクトルの水平方向Ｈへの平行移動について説明したが、動きベクトルの垂直方向への平行移動によって補間画素５０４を作成することもできる。

最後に、本実施例が高画質を維持できる理由について図１１を参酌して説明する。
図１１において前フレーム１１０１において画素Ａだけが発光しており、後フレーム１１０２では画素Ｂだけが発光している、すなわち前後フレームにて発光点が画素Ａから画素Ｂに移動している前後フレームに対して時間距離が１：１ではない補間フレームを作成する例について説明する。

本実施例を用いない場合は、補間フレーム１１０４上の画素Ｃ、Ｆに対して点対称の位置にある前フレーム１１０１及び後フレーム１１０２の擬似画素ＤとＥ、ＧとＨを画素Ａ、Ｂを含む周辺画素から作成して動きベクトルを探索した結果、補間フレーム１１０４上の画素Ｃ及びＦが発光するか、もしくは、動きベクトルを検出できない結果、補間フレーム１１０４上で発光する画素は存在しなくなる。よって画質は悪化する。

これに対し、本実施例を用いた場合は、補間フレーム１１０４上の補間画素Ｃ作成の際には、中間フレーム１１０３上の画素Ｉの動きベクトル１１０５を探索し、その動きベクトル１１０５を動きベクトル１１０６に変換した後に擬似画素Ｄ，Ｅを作成して補間画素Ｃを作成するので補間画素Ｃは発光して表示される。一方、補間フレーム１１０４上の補間画素Ｆ作成の際には、中間フレーム１１０３上の画素Ｊの動きベクトル１１０５を探索するが、動きベクトルが存在しないので、補間画素Ｆは発光しない。よって高画質を維持できる。

以上説明したとおり、本実施例によれば、簡易な処理で高画質に映像信号のフレームレートを変換することができる。

本実施例の前提となるフレームレート変換技術の説明図 本実施例の前提となるフレームレート変換技術の説明図 本実施例の前提となるフレームレート変換技術の説明図 本実施例の前提となるフレームレート変換技術の説明図 本実施例のフレームレート変換技術の説明図 本実施例の映像表示装置のブロック図 図７は、本実施例のフレームレート変換回路のブロック図 本実施例のフレームレート変換処理のフローチャート ５０Ｈｚのフレームレートを６０Ｈｚに変換した場合におけるフレームの時間軸上の位置を示す図 ２４Ｈｚのフレームレートを６０Ｈｚに変換した場合におけるフレームの時間軸上の位置を示す図 本実施例によるフレームレート変換の一例を示す図

符号の説明

６００…映像表示装置
６０１…アンテナ
６０２…受信回路
６０３…信号処理回路
６０４…表示部
６０５…映像信号入力部
６１０…制御信号入力部
６１２…映像信号出力部
７００…フレームレート変換回路
７０２，７０３，７０５…画像メモリ
７０４…画素補間回路７０４
７０６…切り替え回路
７０７…遅延回路
７０８…動き探索回路
７０９…動きベクトル変換回路
７１１…制御回路

Claims (5)

1. 入力した映像信号の第１のフレームと該第１のフレームに続く第２のフレームとの間に第３のフレームを追加することで前記映像信号のフレームレートを変換する映像表示装置において、
   前記第１のフレームと前記第２のフレームとの間であって前記第３のフレームとは異なる第４のフレーム上の画素に対する動きベクトルを探索する探索手段と、
   前記第１のフレームと前記第２のフレームと前記探索手段が探索した動きベクトルに基づいて前記第３のフレームを作成して追加するフレームレート変換手段とを備えていることを特徴とする映像表示装置。
2. 前記第４のフレームは前記第１のフレームと前記第２のフレームとの中間に位置するフレームであることを特徴とする請求項１に記載の映像表示装置。
3. 前記フレームレート変換手段は、前記探索手段が探索した動きベクトルを前記第３のフレームの補間しようとする画素上に平行移動させることを特徴とする請求項２に記載の映像表示装置。
4. 前記フレームレート変換手段は、前記平行移動させた動きベクトル上に位置する前記第１のフレーム上の画素及び前記第２のフレーム上の画素を生成し、前記生成した前記第１のフレーム上の画素及び前記第２のフレーム上の画素に基づいて前記第３のフレーム上の画素を生成することを特徴とする請求項３に記載の映像表示装置。
5. 前記第１のフレームから前記第３のフレームまでの時間距離と前記第１のフレームから前記第３のフレームまでの時間距離との比をα：βとし、前記生成した前記第１のフレーム上の画素の値をＰとし、前記生成した前記第２のフレーム上の画素の値をＮとしたときに、前記フレームレート変換手段は、前記第３のフレーム上の画素の画素値Ｘを
   Ｘ＝（β×Ｐ＋α×Ｎ）／(α＋β)
   として算出することを特徴とする請求項４記載の映像表示装置。
   

Images