JP2004343715A - フレームレート変換時のフレーム補間方法およびその装置 - Google Patents

Abstract

【課題】 画面上に表示される映像の状態を判断し、その状態に応じて適切な画素値で設定されたフレームを補間することによってフレーム補間による画質低下を防げることができるフレーム補間装置および方法を提供する。
【解決手段】 本フレーム補間装置は、基準フレームおよび以前フレームに対して交互マッチングされるブロックを検出する演算部、マッチングされる各ブロックを比較して、映像信号に応じて画面上に表示される映像の状態を判断する判断部、および判断部の判断結果に応じて補間されるフレームの画素値を選択的に決める補間部を含む。この場合、演算部はＳＡＤ演算を行ってマッチングされるブロックを検出できる。
【選択図】 図２

Description

本発明はＭＰＥＧのような映像処理分野において、フレームレートコンバージョンの時フレーム補間を行う方法およびその装置に関し、より詳しくは、入力される映像が反復パターンで現れるかを判断し、反復パターンで現れる場合には前フレームの同一位置の画素値で補間する方法およびその装置に関する。

フレームレート変化（フレームレート変換： ＦＲＣ）とは、秒当り出力されるフレーム数を変換させることを意味する。一般的にフレームレートはＨｚで表す。例えば、２４Ｈｚのフレームレートを有する映画を３０Ｈｚのフレームレートを有しているＴＶで出力するためには、両方の映像信号間のフレームレートが相異なっているのでフレームレート変換が必要である。前記の例のようにフレームレートが増加する場合、フレームを補間する過程が必要である。

ＭＰＥＧのような映像処理分野における映像信号は、大体相関関係（自動相関関係）が大きいため重複性を有しており、このような重複性（冗長度）を除くことによってデータ圧縮効果が得られる。この時、時間的に変わるビデオフレームを効率的に圧縮するためには、２次元空間上の重複性の除去だけではなく、時間軸方向の重複性の除去も必要である。

時間軸方向の重複性の除去は、フレームで変わらなかった部分や動いたとしても類似している部分はすぐ前のフレームなどから持ち込んで補うことによって伝送すべきデータ量を大幅で減らすことができるという考えに基礎する。

このために、以前フレームと現在フレーム間で一番似ているブロックを探し出す作業が必要であるが、これを動き推定と言い、ブロックがどのくらい動いたかを表す変位のことをモーションベクトルと言う。

一方、動きを推定する方法として、動き程度の正確度と効用性、リアルタイム処理可能性、およびハードウェアの具現などを考慮してブロックマッチング方式（ブロック マッチング アルゴリズム）が一般に利用されている。

ブロックマッチング方法は、前のフレームと後のフレームのように連続している二枚の映像をブロック単位で比べ、信号類型のマッチング度に基づいた動きを推定することを言う。ブロックマッチング方法では一定なサイズ、即ち横方向にはＭ画素、縦方向にはＮ画素の集合単位で予測および補償を行うが、係る画素の集合をマクロブロックと言い、普通はＭ×Ｎで表す。

映像の動き情報を用いてフレームレートを変換しようとする場合、このようなブロックマッチング方法によって、前のフレームと後のフレームとを参照してモーションベクトルを推定し、推定されたモーションベクトルを用いてフレーム補間を行う。

図１は、一般的なブロックマッチング方法を用いて動きを推定する方法を表した図である。フレームＡは、入力映像の以前フレーム、フレームＣは入力映像の以後フレームであり、フレームＢはフレームＡ、Ｃの画素値を用いて補間された新しいフレームである。図面において、ｔ１、ｔ２は各々以前フレームと補間フレーム間の間隔、補間フレームと以後フレーム間の時間的間隔を表す。

一般に、フレームレート変換の際に使用されるブロックマッチングは前後フレームの間に一定したサイズのブロックを中心にして一定なサイズの検索範囲を設定し、前記検索範囲内でＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：ブロック内画素差の合計）値を比較して前後フレーム内マッチングされるブロックを探し出して動き情報として活用する。前記ＳＡＤ値は次式から求められる。

前記式で、ｉ、ｊは画素の座標を表しｆ（ｉ、ｊ）はｉ行、ｊ列に位置する画素の画素値を表す。ｆの下付き添え字は該当フレームを表す。一般的にマッチングされるブロックを探し出すために使用される検索方法としては全域検索（フルサーチ）方法および３−Ｓｔｅｐ検索方法がある。全域検索方法は、性能が優れているもののハードウェアの負担を有しており、３−ステップ検索方法は、ハードウェアは簡単であるが相対的に性能が落ちるという長所と短所を各々持っているから、これは目標とするシステム構成に応じて選択すればよい。

図１の時間間隔を有するフレームにおいて、フレームＡとフレームＣとの間でＳＡＤ値を通じて求めた最適のモーションベクトルをＭＶとすると、フレームＢからフレームＡへのモーションベクトルＭＶ_ＢＡおよびフレームＢからフレームＣへのモーションベクトルＭＶ_ＢＣは次のように表れる。

前記式で、ｍｖは単位モーションベクトル［ｄｘ、ｄｙ］を表す。

従来技術によると、フレーム補間の時一般的な映像である場合は前記モーションベクトルを用いて補間フレームの画素値を決める。即ち、補間フレームの画素値であるｆＢ（ｉ、ｊ）は次のように表れる。

数式３でフレームＢからフレームＡへのモーションベクトル、フレームＣへのモーションベクトルを用いて補間されるフレームの画素値が求められる。一方、高速で変る、即ち、はやい映像或いは反復的なパターンで現れる映像である場合にはモーションベクトルの推定が難しくなって一般映像のように補間には問題があった。このような場合、従来の技術では、前後フレームの同じ位置にある画素値の平均を通じて補間をした。即ち、このような特殊な映像に対してはその補間フレームの画素値は次の数式で求められる。

前記数式４では数式３とは違ってモーションベクトルを利用せずに画素値ｆＢ（ｉ、ｊ）を求めたことが分かる。

このような従来の動き推定技法によると、一般的な映像に対してはモーションベクトルを用いて補間を行い、特殊な映像に対しては前後映像の平均値を取って補間することにより映像がひどく化けることを防げる。はやい映像、即ち画素値が急激に変る映像の場合、動映像でブラーリング症状が現れても人の目に大きく影響を与えない程度なので別に大きい問題はなかった。

但し、映像が反復的である場合には、入力される映像と補間された映像との間のブラーリングが生じて、動映像をリアルタイムで見る時、明るいか暗いかの輝度の差が目触りになるという問題点があった。

本発明は前述の問題点を解決するために案出したもので、本発明の目的は、繰り返えされる映像に対するフレームレート変換の際、高速変換映像と異なる別途のアルゴリズムを通じて処理することにより、画質の劣化現象が発生しないフレーム補間方法および装置を提供することにある。

上述した目的を達成するための本発明の一実施形態に係るフレーム補間装置は、入力される映像信号の中基準フレームおよび以前フレームに対して交互マッチングされるブロックを検出する演算部、前記マッチングされるブロックを比較して、前記映像信号に応じて画面上に表示される映像の状態を判断する判断部、および前記判断部の判断結果に応じて補間されるフレームの画素値を選択的に決める補間部を含む。

この場合、前記演算部は、前記基準フレームおよび前記以前フレームに対してＳＡＤマップ演算を遂行して前記マッチングされるブロックを検出することが好ましい。より好ましくは、前記判断部は、前記マッチングされるブロックに対するＳＡＤ値を比較して前記画面上に表示される映像が反復パターン映像であるかを判断する反復パターン判断部、前記マッチングされるブロック間のモーションベクトルを計算するモーションベクトル抽出部、および前記モーションベクトル値を確かめて前記画面上に表示される映像が高速変化映像であるかを判断する高速変換映像判断部を含む。

これによって、前記補間部は、前記映像が反復パターン映像であると判断されると前記以前フレームの画素値を用いて前記補間されるフレームの画素値を決めることが可能である。

一方、前記補間部は、前記映像が高速変化映像であると判断されると前記以前フレームおよび前記基準フレーム上で同一位置の各画素値の平均値を演算した後、前記平均値を用いて前記補間されるフレームの画素値を決めることもできる。

また、前記補間部は、前記映像が反復パターン映像や高速変化映像ではない一般映像であると判断されると、前記以前フレームおよび前記基準フレームのモーションベクトルを用いて前記補間されるフレームの画素値を決める。

一方、本発明の実施形態に係る補間方法は、（ａ）入力される映像信号の中、基準フレームおよび以前フレームに対して交互マッチングされるブロックを探索する段階、（ｂ）前記交互マッチングされるブロックを比較して前記映像信号に応じて画面上に表示される映像が反復パターン映像であるかを判断する段階および（ｃ）前記映像信号が反復パターン映像であると判断されると、前記基準フレームおよび前記以前フレーム間に補間される補間フレームの画素値を前記以前フレーム上の同一位置の画素値で補間する段階を含むことができる。

この場合、前記（ａ）段階は、前記基準フレームおよび前記以前フレーム各々に対してＳＡＤマップ演算を遂行して前記マッチングされるブロックを検出することが好ましい。

一方、このフレーム補間方法は、前記反復パターン映像ではないと判断された場合、モーションベクトルを抽出する段階、前記モーションベクトルを用いて、前記映像信号がはやく変る高速変化映像であるかを判断する段階、および前記高速変化映像であると判断された場合、前記基準フレームおよび前記以前フレーム上で同じ位置の画素値に対する平均値を演算し前記補間フレームの画素値で設定する段階を含むことが好ましい。

より好ましくは前記映像が前記反復パターン映像や前記高速変化映像ではない一般映像であると判断されると、前記モーションベクトルを用いて前記補間フリームの画素値を設定する段階をさらに含むことができる。

結果的に本フレーム補間方法によると、映像の表示状態に応じて補間フレームの画素値を相違に設定することができる。

本発明によれば、反復される映像に対しては前のフレームの画素値をそのまま用いて補間することによって、反復パターン映像を補間する時に発生するブラーリング現象を防げる。これによって、反復パターン映像が画面上に表示される時もきれいな画質で視聴できる。

以下、添えた図面を参照して本発明を詳説する。

まず、図２は本発明によってフレーム補間を行うフレーム補間装置の簡略の構成を表すブロック図であって、演算部２１０、判断部３００および補間部２５０を含んでいる。前記判断部３００は、反復パターン判断部２２０、モーションベクトル抽出部２３０および高速変化映像判断部２４０を含む部分を観念的に指している。本発明はフレーム補間方法および装置に関し、フレーム補間と直接的な連関のない他の映像装置の構成についてはその説明および図示は除いた。

前記演算部２１０は、前後フレーム間で一定サイズのブロックを中心にして、一定サイズの検索範囲を設定し、前記検索範囲内でＳＡＤ値を演算する。この場合、前記ＳＡＤ値は上述した数式１を用いて求められる。前記ＳＡＤ値を比較して一番小さい値を有する場合を最適のブロックマッチングとして判断する。上述したようにこのような検索方法としては全域検索方法、３−ステップ検索方法などが使用できる。

反復パターン判断部２２０は、前記マッチングされるブロックを比較して映像が反復されているかが判断できる。前記判断は、一般に知られている反復パターン認識アルゴリズムを利用できる。前記反復パターン認識アルゴリズムの一実施形態として既に提案された３段階反復パターン認識アルゴリズムに対して見て見ると、一番目の段階であるダイアゴナルＭＡＰディスタンス（Ｄｉａｇｏｎａｌ Ｍａｐ Ｄｉｓｔａｎｃｅ）はフレームのブロックに対して各対応画素の違いに対した絶対値を合してＭＡＥ（平均絶対誤差）ＭＡＰを求め、対角線上に存するＭＡＥデータの差の合を表すダイアゴナル ディスタンス（ｄｉａｇｏｎａｌ ｄｉｓｔａｎｃｅ）が一定以上の臨界値を持っていれば潜在的な反復パターンであると認識する。二度目の段階であるＭＡＥ ＭＡＰ ＣｌａｓｓｉｆｉｃａｔｉｏｎはＭＡＥ Ｍａｐを小ブロック規模で分離した後、各ブロックのＭＡＥ比（最大／最小）値が全体的に分布されず、対角線または上下左右に偏って分布している場合、類似反復パターンとして見做して反復パターンから除去する。最後の段階のモディファイド メディアン フィルタリング（Ｍｏｄｉｆｉｅｄ Ｍｅｄｉａｎ Ｆｉｌｔｅｒｉｎｇ）過程は、一般に、反復映像は密集されているという特性を用いて回りのブロックとの相関性を考慮し回りのブロック（たとえば３ｘ３ブロック）の中一定個数以上の反復性を有していれば信頼できる反復パターン映像として見做す。このような方式のアルゴリズムを適用して映像の反復性が判断できる。

前記反復パターン判断部２２０で反復パターンと認識されると、直ちに補間部２５０へ信号を送って、前記補間部２５０は前のフレームの同一画素の画素値を用いて補間を行う。

モーションベクトル抽出部２３０は、前記反復パターン判断部２２０で反復パターンではないと判断されると、前後フレームのＳＡＤ値から最適のモーションベクトルを抽出するようになる。この場合、最適のモーションベクトルはＳＡＤ値が一番小さな場合のモーションベクトルを取る。

高速変化映像判断部２４０は、前記モーションベクトル抽出部２３０から抽出されたモーションベクトルを用いて映像がはやく変る映像（以下、高速変化映像）であるか一般映像であるかを判断する。即ち、モーションベクトルが一定以上である場合には高速変化映像と認識し、その他の場合は一般映像であると認識する。

一方、補間部２５０は、前記判断部３００で判断された結果によって補間フレームの画素値を相違にして補間する。

図３は本発明に係るフレームレートコンバージャン時のフレーム補間方法に対するアルゴリズムを示す。これによると、Ｓ４１０段階では、まず、補間フレームの前後フレーム間で一定サイズのブロックを設定する。

次に、Ｓ４２０段階で、前記ブロックを中心とする一定なサイズの検索範囲を設定し、前記検索範囲内でＳＡＤを演算する。前記ＳＡＤを比較して一番小さい値を有する場合を最適のブロックマッチングであると判断する。

Ｓ４３０段階では、既存の反復パターン認識アルゴリズムを用いて、前記前後フレームのマッチングされるブロック間の映像を比較し反復パターンが現れる映像であるかを判断する。反復パターン認識アルゴリズムは、一般的に知られているため具体的な段階の図示は略する。

もし、前記段階で反復パターン映像であると判断されると、Ｓ４４０段階で補間部２５０は補間されるフレームのＩ画素値を前のフレームの同一位置に存するＡ画素の値として補間してからフレーム補間程度を終了する。

もし、Ｓ４３０段階で反復パターン映像ではないと判断されると、Ｓ４５０においてモーションベクトルを抽出するようになる。前記モーションベクトルは上述した通りＳＡＤ値を通じて求められる。

次に、Ｓ４６０段階では、高速変化映像であるかを判断する。即ち、Ｓ４５０段階で抽出されたモーションベクトル値が一定以上に大きいかを判断し、もし大きければ高速変化映像であると認識するようになる。このような認識過程も反復パターン映像の場合と同様に既存の高速映像認識アルゴリズムによって処理されることができる。

もし、高速で変わる映像であると判断されると、Ｓ４７０において補間部２５０は、補間されるフレームのＩ画素を前後フレーム上の同一位置に存するＡ画素、Ｂ画素の平均値に補間する。もし、高速で変わらない一般映像であると判断されると、Ｓ４８０で補間部２５０は画素Ｃ、画素Ｄへのモーションベクトルを用いて、補間するようになる。

図４はかかる補間過程を表す図である。図面での三個のライン（ｌｉｎｅ）は各々以前フレーム、補間フレームおよび以後フレームを表して、各ライン上に配列された円型部分はフレーム上の各々の画素を表す。図４Ａは反復パターンとして認識される場合の補間方法を表すが、この場合、補間されるフレームの画素Ｉは以前フレーム上の同一位置、即ち画素Ａの値に補間される。一方、図４Ｂは、高速変化映像であると認識される場合であって、補間されるフレームの画素Ｉは前後フレームの同一位置の画素値、即ち、画素Ａ、画素Ｂの平均値に補間される。図４Ｃは一般映像である場合であって、この場合はフレーム間のモーションベクトルを用いて補間される。即ち、フレームＢからフレームＡへのモーションベクトルＭＶＢＡおよびフレームＢからフレームＣへのモーションベクトルＭＶ_ＢＣを用いて補間するようになる。

本発明のように反復パターン映像に対して以前フレームの同一位置の画素値で補間すると、既存にブラーリング現象が発生したことを解決できる。図５は既存の方法で補間する場合（図５Ａ）と本発明の方法によって補間する場合（図５Ｂ）を各々シミュレーションで比較したものである。図５Ａの補間されたフレームにおいて著しく映像がくもっているが、図５Ｂは比較的に鮮明であることが分かる。

一方、ＭＳＥ（平均平方誤差）を用いて求めたＰＳＮＲ（ピーク信号対雑音比）データを求めて比べると、既存方式に対する本発明の効果が著しく現れる。前のフレームの画素値ｆ_１（ｉ、ｊ）および後のフレームの画素値ｆ_２（ｉ、ｊ）を用いてＭＳＥを求めると同時にＰＳＮＲが求められる。その式は次の通りである。

前記数式において、Ｍはブロックの幅、Ｎはブロックの長さを表す。前記数式を用いて求めたデータを表で示すと、次のようである。

表１をみると、反復パターン映像に対しては前フレームの画素値をそのまま用いて補間する場合、即ち、本発明によって補間した場合にＰＳＮＲが一番高い。前後フレームの画素平均を用いて補間する場合はモーションベクトルを用いて補間する場合よりＰＳＮＲが高いものの、本発明による場合よりは著しく低いことが分かる。

本発明による補間方法を整理して見ると、反復パターンを有する映像の場合（図４Ａの場合）、補間されるフレームの画素Ｉはｆ_ｂ（ｉ、ｊ）＝ｆ_Ａ（ｉ、ｊ）の値で補間する。

次に、高速変化映像の場合（図４Ｂの場合）、画素Ｉは次の数式によって補間する。

最後に、一般映像であると判断された場合（図４Ｃの場合）、補間されるフレームの画素Ｉは下の数式によって補間する。

これによって、一般映像および高速変化映像である場合には、既存の補間方法に応じて補間するが、反復される映像に対しては前のフレームの画素値をそのまま用いて補間することにより既存に反復パターン映像の補間の時にブラーリング現象が現れた問題点を解決できる。このような点は視覚的にも、かつデータ上にも記載された通りである。即ち、図５Ａの補間フレームにおいて現れるブラーリング現象が図５Ｂでは全く解消されていることが分かる。また表１のデータを比較して本発明の補間方法によって補間した場合、反復パターン映像のＰＳＮＲがもっと高いことが分かる。

本発明は、本発明の技数的思想から逸脱することなく、他の種々の形態で実施することができる。前述の実施例は、あくまでも、本発明の技数内容を明らかにするものであって、そのような具体例のみに限定して狭義に解釈されるべきものではなく、本発明の精神と特許請求の範囲内で、いろいろと変更して実施することができるものである。

本発明はＭＰＥＧと同じ映像処理分野においてフレームレートコンバージョンの時フレームを補間し映像を表す映像ディスプレー装置に適用されることができる。

一般に使用される対称的ブロックマッチングの方法を示した図である。 本発明に係るフレーム補間を行う装置の簡略な構成を示したブロック図である。 本発明に係るフレームの補間を行う方法に対するフロー図である。 Ａ、Ｂ、Ｃの各々の入力映像が反復パターン、高速変換映像、一般映像である場合に補間を行う方法に対する図である。 Ａは既存の補間方法に係る反復パターン映像に対したシミュレーション結果を示した図、Ｂは本発明の補間方法に係る反復パターン映像に対したシミュレーション結果を示した図である。

符号の説明

２１０ 演算部
２２０ 反復パターン判断部
２３０ モーションベクトル抽出部
２４０ 高速変化映像判断部
２５０ 補間部

Claims (10)

1. 入力される映像信号の中基準フレームおよび以前フレームとの間にフレームを補間するフレーム補間装置において、
   前記基準フレームおよび以前フレームについて相互マッチングされるブロックを検出する演算部と、
   前記マッチングされるブロックに比較して、前記映像信号に応じて画面上に表示される映像の状態を判断する判断部と、
   前記判断部の判断結果に応じて補間されるべきフレームの画素値を選択的に決める補間部を含むことを特徴とするフレーム補間装置。
2. 前記演算部は、前記基準フレームおよび前記以前フレームに対してＳＡＤマップ演算を行うことによって前記マッチングされるブロックを検出することを特徴とする請求項１に記載のフレーム補間装置。
3. 前記判断部は、
   前記マッチングされるブロックに対するＳＡＤ値を比較して前記画面上に表示される映像が反復パターン映像であるかを判断する反復パターン判断部と、
   前記マッチングされるブロック間のモーションベクトルを計算するモーションベクトル抽出部と、
   前記モーションベクトル値を確かめて前記画面上に表示される映像が高速変化映像であるかを判断する高速変換映像判断部とを含むことを特徴とする請求項２に記載のフレーム補間装置。
4. 前記補間部は、前記映像が反復パターン映像であると判断されると前記以前フレームの画素値を用いて前記補間されるフレームの画素値を決めることを特徴とする請求項３に記載のフレーム補間装置。
5. 前記補間部は、前記映像が高速変化映像であると判断されると、前記以前フレームおよび前記基準フレーム上で同一位置の各画素値の平均値を演算した後、前記平均値を用いて前記補間されるフレームの画素値を決めることを特徴とする請求項４に記載のフレーム補間装置。
6. 前記補間部は、前記映像が一般映像であると判断されると、前記以前フレームおよび前記基準フレームのモーションベクトルを用いて前記補間されるフレームの画素値を決めることを特徴とする請求項５に記載のフレーム補間装置。
7. （ａ）入力される映像信号の中基準フレームおよび以前フレームに対して相互マッチングされるブロックを探索する段階と、
   （ｂ）前記相互マッチングされるブロックを比較して前記映像信号に応じて画面上に表示される映像が反復パターン映像であるかを判断する段階と、
   （ｃ）前記映像信号が反復パターン映像であると判断されると、前記基準フレームおよび前記以前フレームとの間に補間される補間フレームの画素値を前記以前フレーム上の同一位置の画素値で補間する段階と、を含むことを特徴とするフレーム補間方法。
8. 前記（ａ）段階は、前記基準フレームおよび前記以前フレーム各々についてＳＡＤマップ演算を行うことで前記マッチングされるブロックを検出することを特徴とする請求項７に記載のフレーム補間方法。
9. 前記反復パターン映像ではないと判断される場合、モーションベクトルを抽出する段階と、
   前記モーションベクトルを用いて、前記映像信号がはやく変る高速変化映像であるかを判断する段階と、
   前記高速変化映像であると判断された場合、前記基準フレームおよび前記以前フレーム上で同一位置の画素値に対した平均値を演算し前記補間フレームの画素値で設定する段階と、を含むことを特徴とする請求項８に記載のフレーム補間方法。
10. 前記高速変化映像であると判断されなかった場合、前記モーションベクトルを用いて前記補間フレームの画素値を設定する段階をさらに含むことを特徴とする請求項９に記載のフレーム補間方法。

Images