JP2009290828A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】フレームレートを変換する画像処理装置において、正しい動きベクトルが検出されない場合、補間フレームが乱れ妨害感を感じる場合があった。本発明はこのような妨害感を低減することを目的とする。
【解決手段】画像を複数のブロックに分割し、前記ブロックごとに動きベクトルを検出することにより補間フレームを作成する画像処理装置において、動きベクトルの信頼度Ｓを検出する信頼度検出部５と、信頼度Ｓに応じてブロックの輝度データを制御する輝度制御部８を有する。
【選択図】図１

Description

本発明は、画像のフレームレートを変換する処理に関するものである。

入力画像のフレームレートを変換して表示する画像処理方法がある（以下では、この画像処理方法をフレームレート変換と呼ぶ）。例えば、６０Ｈｚのフレームレートで入力された画像を、１２０Ｈｚに変換するといったことが考えられる。この場合、６０Ｈｚで入力された連続する２枚のフレームの間に、作成した補間フレームを１枚挿入して表示することで１２０Ｈｚの表示を実現している。

フレームレート変換の一般的な手法として、動きベクトルを検出し補間フレーム画像を生成する技術がある。動きベクトル検出は入力画像の前後フレームのブロックマッチングにより行う。しかし、必ずしも正しい動きベクトルを検出できるとは限らない。正しい動きベクトルが検出できない場合、補間フレームが動画再生時に妨害感として感じられるという問題があった。妨害感の一例として、例えば二重像が観察されるというものがある。

従来、二重像の問題を解決するために、補間フレームにＬＰＦ（ローパスフィルタ）をかけることにより妨害感を低減する手法があった（例えば特許文献１）。
特許第３７９８４４０号公報（特開平７−１６２８１１号公報）

フレームレート変換の際、正しい動きベクトルが検出されない原因として、例えば画像の動きが速いため探索範囲内にベクトルが検出されない、というものがある。

図６は、このような場合に補間フレームの画像が乱れる様子を説明する図である。図６の（ａ）、（ｃ）は入力画像の、ある連続する２フレームを示す。図６の（ａ）は、連続する２フレームのうち時間的に前のフレーム（以下、「前フレーム」又は「第１のフレーム」と呼ぶ）、（ｃ）は時間的に後のフレーム（以下、「後フレーム」又は「第２のフレーム」と呼ぶ）である。また、（ｂ）はフレームレート変換により作成されたフレーム（以下、「補間フレーム」又は「第３のフレーム」と呼ぶ）である。画像の動きが速いため動きベクトルが検出されない場合、補間フレームに前フレームと同じ画像を表示する手法（以下、二度出しと呼ぶ）がある。しかし、このように被写体が動いているにもかかわらず、二度出しを行なうと、動画再生時に二重像として観察され、妨害感を発生する。このような二重像は、観察者の視野が移動する被写体（図６で黒い円で示しているもの）とともに移動するため、前フレームと補間フレームとで被写体が異なる位置に見えることにより発生する。

特許文献１はこのような二重像を低減するために、補間フレームにＬＰＦをかけ、エッジをぼかすものである。しかし、図６の補間フレーム（ｂ）にＬＰＦをかけても、移動する被写体の面積が広いため、エッジはぼけるものの二重像が観察され、妨害感が残るという問題があった。

本発明は、フレームレート変換により発生する動画再生時の妨害感を低減することを目的とする。

本発明の第１態様の画像処理装置は、
入力される第１及び第２のフレームの画像から検出された動きベクトルに基づいて、前記第１及び第２のフレームの間に挿入する第３のフレームの画像を作成する変換手段と、
前記第３のフレームの画像領域を分割して得られる複数のブロックのそれぞれについて、前記動きベクトルの信頼度を検出する信頼度検出手段と、
前記変換手段により作成された前記第３のフレームの画像の各ブロックの輝度を、前記ブロックに対応する前記動きベクトルの信頼度に応じて、制御する輝度制御手段と、を備える。

本発明の第２態様の画像処理方法は、
入力される第１及び第２のフレームの画像から検出された動きベクトルに基づいて、前記第１及び第２のフレームの間に挿入する第３のフレームの画像を作成するステップと、
前記第３のフレームの画像領域を分割して得られる複数のブロックのそれぞれについて、前記動きベクトルの信頼度を検出するステップと、
前記第３のフレームの画像の各ブロックの輝度を、前記ブロックに対応する前記動きベクトルの信頼度に応じて、制御するステップと、を含む。

本発明によれば、フレームレート変換により発生する動画再生時の妨害感を低減することが可能である。

＜実施例１＞
図１は本発明の実施例１の画像処理装置の回路ブロック図である。本実施例の画像処理装置は、フレームレート変換部１、動きベクトル検出部２、補間フレーム作成部３、フレームメモリ４、信頼度検出部５、平均輝度計算部６、輝度制御値計算部７、輝度制御部８から構成される。ここで、フレームレート変換部１、信頼度検出部５、輝度制御値計算部７、輝度制御部８がそれぞれ本発明の変換手段、信頼度検出手段、輝度制御手段、輝度制御値計算手段に対応する。

フレームレート変換部１は、動きベクトル検出部２、補間フレーム生成部３、フレームメモリ４から構成される。このフレームレート変換部１は、入力される第１及び第２のフレームの画像から検出された動きベクトルに基づいて、第１及び第２のフレームの間に挿入する第３のフレームの画像を作成する機能である。ここでは、第１のフレームを「前フレーム」、第２のフレームを「後フレーム」、第３のフレームを「補間フレーム」と呼ぶ。

本実施例では、フレームレート変換部１に入力される画像のフレームレートは６０Ｈｚ、出力される画像のフレームレートは１２０Ｈｚであるものとする。すなわち、前フレームと後フレームの中間に１つの補間フレームが挿入されることになる。ただし本発明の適用範囲はこれに限られず、入力フレームレートと出力フレームレートの組み合わせは任意であり、挿入される補間フレームの数やその挿入位置も任意である。また、本実施例では、画像データとして、輝度、色差データを用いているが、本発明は、ＲＧＢデータなど他の形式の画像データの変換にも適用可能である。

動きベクトル検出部２は、入力画像の連続する２つのフレームから、ブロックマッチングにより動きベクトルを検出する。動きベクトル検出部２における動きベクトル検出は二段階になっている。まず第一段階で、前フレームの画像領域を分割して得られる複数のブロックのそれぞれについて動きベクトルを検出し、次に、第二段階で、補間フレームの画像領域を分割して得られる複数のブロックのそれぞれについて動きベクトルを検出する。

図２は、動きベクトル検出部２が前フレーム上の各ブロックの動きベクトルを検出する方法（上記の第一段階の検出方法）を説明する図である。図２で（ａ）は入力画像の連続する２フレームのうちの前フレームを、（ｃ）は後フレームを表す。また、（ｂ）は補間フレームを示している。

動きベクトル検出部２では、前フレーム（ａ）の画像全体を複数のブロックに分割し、各ブロックと類似する画像パターンを有するブロックを後フレーム（ｃ）から検出する。本例ではこのブロックサイズは、８×８画素としているが、これに限るものではない。また、ブロック分割は画像内で隙間なく行われる。

図２のブロック２１は前フレーム内のあるブロックを表している。ブロックマッチングとは、ブロック２１と類似する画像データを持つブロックを、後フレーム（ｃ）から検出する処理である。ブロックマッチングにより、後フレームのブロック２２がブロック２１と類似度が高いと判定されたとする。このとき、ブロック２１の動きベクトルとして動きベクトル２４が検出される。動きベクトル２４は、ブロック２１の位置を始点としブロック２２の位置を終点とするベクトルである。このようにして、動きベクトル検出部２は、前フレームの各ブロックに対する動きベクトルを検出する。

次に、動きベクトル検出部２は、補間フレームの各ブロックにおける動きベクトルを検出する。本実施例では、前フレームのブロックと同じ位置において補間フレームもブロック分割されている。ただし、前フレームと補間フレームのブロックの位置及び大きさは一致している必要がないので、前フレームとは異なる位置で補間フレームを分割しても構わない。

図３は、補間フレーム上のあるブロック２３で動きベクトルを検出する方法（上記の第二段階の検出方法）を説明する図である。動きベクトル検出部２は、第一段階で検出された前フレームの各ブロックの動きベクトルの中から、補間フレームのブロック２３を通過する動きベクトルを抽出する。例えば、ブロック２３を通過する動きベクトルが動きベクトル２４のみであったとする。この場合、動きベクトル検出部２は、動きベクトル２４と同じ方向に、ブロック２３の動きベクトル２６を定義する。なお、動きベクトル２６の大きさは、動きベクトル２４の大きさと、前フレームと後フレームの間隔に対する前フレームと補間フレームの間隔の比率から決まる。本実施例では、動きベクトル２６の大きさは、動きベクトル２４の１／２になる。

もし、前フレームの動きベクトルの中に、補間フレームのブロック２３を通過する動きベクトルが存在しなかった場合、ブロック２３の動きベクトルは検出されない。本実施例では、そのようなブロック２３の動きベクトルは静止ベクトル、即ち大きさ０のベクトルとする。

また、前フレームの動きベクトルの中に、補間フレームのブロック２３を通過する動きベクトルが複数存在する場合は、前後フレームのブロック類似度が最も高いブロックの動きベクトルを採用する。

このようにして、動きベクトル検出部２は、補間フレーム上の全てのブロックについて動きベクトルを検出する。

図１に示すように、動きベクトル検出部２は、検出された補間フレーム内の全ての動きベクトル情報Ａを補間フレーム生成部３および信頼度検出部５に出力する。本例では、動きベクトル情報Ａには、
（１）動きベクトル
（２）ブロック差分絶対値
が含まれている。（１）の動きベクトルは、例えば動きベクトル２６のような二要素（ｘ、ｙ）のベクトルデータである。また、（２）のブロック差分絶対値とは、補間対象となる前後のフレームのブロック間の画像データの差（類似度）を表す値である。例えば、（１）の動きベクトルが図３の動きベクトル２６であったとすると、ブロック差分絶対値は、前フレームのブロック２１内の各画素と後フレームのブロック２２内の各画素の輝度データの差分絶対値の総和である。ブロック２１とブロック２２のブロック差分絶対値は以下の（式１０）で表される。

ここで、
ブロック２１（ｉ，ｊ）：ブロック２１内の座標（ｉ，ｊ）の輝度データ
ブロック２２（ｉ，ｊ）：ブロック２２内の座標（ｉ，ｊ）の輝度データ
ｉ、ｊ：ｘ、ｙ座標（１〜８の範囲の値）
である。もし、ブロック２１の画像データとブロック２２の画像データが完全に一致していれば、ブロック差分絶対値は０となる。ブロック差分絶対値は、一つの動きベクトルにつき一つ存在する。

補間フレーム作成部３は、動きベクトル検出部２により求められた補間フレーム上の各ブロックの動きベクトルと、前フレームの画像データを用いて、補間フレームの画像データを作成する。図３の（ｂ）は補間フレーム作成部３が作成した補間フレームの画像データを示している。補間フレーム作成部３は、補間フレーム（ｂ）の各ブロックで検出された動きベクトルに応じて、前フレーム（ａ）の画像データを補間フレーム（ｂ）にコピーする。例えば、補間フレーム（ｂ）のブロック２３で動きベクトル２６が検出されたとする。補間フレーム作成部３は、動きベクトル２６に対応する前フレームの画像、即ちブロック２１の画像データをブロック２３にコピーする。

信頼度検出部５は、動きベクトル検出部２で検出された補間フレーム上の動きベクトル情報Ａを用いて、動きベクトルの信頼度Ｓを検出する。本例では、信頼度Ｓは動きベクトル検出部２で求めるブロック差分絶対値により決定する値とする。

ブロック差分絶対値が大きいほど、ブロック間の類似度が低いことが推測できる。したがって、ブロック差分絶対値が大きいときは信頼度Ｓは低く、ブロック差分絶対値が小さいときは信頼度Ｓは大きな値になる。信頼度検出部５は、あらかじめ指定された閾値ｔｈとブロック差分絶対値を比較し、信頼度Ｓを求める。本例では、信頼度Ｓは以下の判断により求めるものとする。

ブロック差分絶対値＜ｔｈの場合：信頼度Ｓ＝Ｈｉ （式１１）
ブロック差分絶対値≧ｔｈの場合：信頼度Ｓ＝Ｌｏ （式１２）
しかし、信頼度Ｓを求める処理はこれに限らず、テーブルを使用したり計算により求めてもよい。また信頼度ＳはＨｉとＬｏの二値ではなく、３つ以上の値をとってもよいし、連続量でもよい。

平均輝度計算部６は、補間フレーム（ｂ）上の各ブロックの平均輝度Ｌｃ及び、そのブロックの周辺平均輝度Ｌａを計算する。例えば、輝度制御部８で、補間フレーム（ｂ）の
ブロック２３の輝度を制御する場合を考える（以下、輝度を制御する対象のブロックを「注目ブロック」と呼ぶ）。この場合、Ｌｃは注目ブロック２３の平均輝度であり、Ｌａは注目ブロック２３の周辺部、即ち、図３の斜線で示した領域２５の平均輝度である。注目ブロック２３の周辺の領域２５としては、注目ブロックの周辺に位置する１又は複数の周辺ブロックが選ばれる。

輝度制御値計算部７は、信頼度Ｓと、平均輝度計算部６で求めたＬｃ、Ｌａから、オフセットＯｆ、ゲインＧａを求め、輝度制御値としてオフセットＯｆ、ゲインＧａ、平均輝度Ｌｃを出力する。ゲインＧａは、輝度制御部８において補間フレームの輝度データに乗算されるゲイン値であり、オフセットＯｆは、ゲインＧａが乗算された輝度に加算されるオフセット値である。本例では、オフセットＯｆ、ゲインＧａは以下のように求める。

（１）信頼度Ｓ＝Ｈｉの場合
動きベクトルの信頼度が高いと判定された場合である。このとき、
Ｏｆ＝Ｌｃ （式１）
Ｇａ＝１ （式２）
とする。

（２）信頼度Ｓ＝Ｌｏ場合
動きベクトルの信頼度が低いと判定された場合である。このとき、ゲインＧａとして１より小さい値を出力し、オフセットＯｆとして注目ブロック２３の周辺の領域２５の輝度値を出力する。具体的には、
Ｏｆ＝Ｌａ （式３）
Ｇａ＝０．１ （式４）
とする。

上記のオフセットＯｆ、ゲインＧａはそれぞれ一つのブロックにつき一つの値である。

輝度制御部８は、フレームレート変換部１により作成された補間フレームの画像の各ブロックの輝度データを制御（補正）するブロックである。このとき、輝度制御部８は、注目ブロックに対応する動きベクトルの信頼度Ｓに応じて、輝度の制御を行う。具体的には、輝度制御部８は、注目ブロックの信頼度Ｓが低い場合にその注目ブロック内の画像のコントラストが低くなるように、注目ブロック内の各画素の輝度を制御する。信頼度Ｓが低いブロックについては、動きベクトルが正確に検出されていない蓋然性が高く、視覚的な妨害感を生じる可能性が高い。そこで本実施例では、信頼度Ｓの低いブロックのコントラストを低下させ、当該ブロックの画像を目立たなくすることで、視覚的な妨害感を低減するのである。

輝度制御部８は、輝度データを以下の式に基づいて計算する。
Ｙｏｕｔ＝Ｇａ×（Ｙｉｎ−Ｌｃ）＋Ｏｆ （式５）
Ｙｉｎ：輝度制御部８の入力輝度データ
Ｙｏｕｔ：ゲイン、オフセット演算後の輝度データ

また、例えば、輝度制御部８の入出力画像データビット数を８ｂｉｔとすると、輝度制御部８は（式５）で求められた輝度データＹｏｕｔを０〜２５５の範囲内にリミットした後出力する。

信頼度の高い動きベクトルを検出できた場合の処理を、図３を使って説明する。動きベクトル検出部２により、ブロック２３の動きベクトル２６が検出される。また、ブロック２１とブロック２２の類似度は高いため、ブロック差分絶対値は閾値ｔｈより小さい値と
なる。したがって、ブロック２３の動きベクトル信頼度ＳはＨｉとなる。この場合、オフセットＯｆ、ゲインＧａの値は、（式１）、（式２）で示すように、それぞれＯｆ＝Ｌｃ、Ｇａ＝１となる。

輝度制御部８は（式５）にしたがってブロック２３の輝度データを処理する。即ち、ブロック２３の輝度データはＹｏｕｔ＝Ｙｉｎとなり、輝度制御部８により出力輝度は全く変化しない。その結果、図３に示すように、ブロック２３は正しく補間された画像データが表示される。

次に、動きベクトルが検出できなかった場合の処理例を説明する。図４は、被写体の動きが速いため動きベクトルが検出できなかった場合の処理例を説明する図である。

図４で前フレームのブロック１０１〜１０４は動きベクトルを検出できなかったとする。また、図には示していないがブロック１０１〜１０４以外のブロックは静止しており、正しく動きベクトル（静止ベクトル）を検出できたものとする。動きベクトル検出部２において、補間フレーム上のブロック１０５〜１０８は通過する動きベクトルが存在しないため、動きベクトルが検出されない。この場合、ブロック１０５〜１０８の動きベクトルは静止ベクトルとなる。

信頼度検出部５は、各注目ブロック１０５〜１０８の動きベクトルの信頼度Ｓを検出する。図４において、ブロック１０５のブロック差分絶対値は、ブロック１０１とブロック１０９の差分絶対値であるため、閾値ｔｈより大きな値となる。同様に、ブロック１０６〜１０８のブロック差分絶対値も閾値ｔｈより大きな値となる。したがって、ブロック１０５〜１０９の動きベクトル信頼度ＳはＬｏとなる。この場合、オフセットＯｆ、ゲインＧａの値は、（式３）、（式４）で示すように、それぞれＬａ、０．１となる。

以下で、ブロック１０５においてＬａがＬｃと比べてどのような値になるかを説明する。Ｌａはブロック１０５の周辺の平均輝度であり、図４の場合背景の白の部分を多く含んだ輝度となる。したがって、暗い被写体が多くの面積を占めるＬｃよりＬａが大きな値となる。つまり、
Ｌａ＞Ｌｃ （式６）
となる。ブロック１０６〜１０８についても（式６）と同様な式が成り立つ。

ブロック１０５〜１０９の輝度データは輝度制御部８により（式５）の処理が行われる。即ち、ブロック１０５〜１０９の輝度データは
Ｙｏｕｔ＝０．１×（Ｙｉｎ−Ｌｃ）＋Ｌａ （式７）
となる。この（式７）の処理は、注目ブロックの輝度（Ｙｉｎ）を注目ブロックの周辺の輝度（Ｌａ）に近づける処理に相当する。

この結果、ブロック１０５〜１０９は図４に示すような見え方となる。つまり、黒い被写体が白浮きし、背景部分の輝度が下がることにより、ブロック１０５〜１０９の部分はコントラストが減少する。そのため、二重像の妨害感が低減する。なお、本実施例では、信頼度Ｓが低い場合のゲインＧａを０．１に設定したが、ゲインＧａの値は０＜Ｇａ＜１の中から適宜選択することができる。ゲインＧａの値を小さくするほど、注目ブロックの輝度よりも周辺ブロックの輝度のほうが支配的になり、注目ブロックのコントラストが低下する。

＜実施例２＞
本発明の実施例２の画像処理装置の回路構成は実施例１のもの（図１）と同様である。

実施例２が実施例１と異なる点は、ブロック周辺輝度Ｌａの求め方である。

図５は、本実施例により動きベクトルが検出できない場合の処理を説明する図である。本実施例のブロック周辺の平均輝度Ｌａは、注目ブロックの周辺に位置する複数の周辺ブロックの中で、動きベクトルの信頼度Ｓが高いブロックにおける平均輝度とする。例えば、図５においてブロック１０５の周辺平均輝度Ｌａは、動きベクトルの信頼度Ｓが高いブロックの平均輝度であり、斜線で示した領域１１３の平均輝度とする。つまり、ブロック１０５の周辺平均輝度Ｌａには、ブロック１０６〜１０８の輝度は含まれない。

領域１１３は背景の白部分であるため、Ｌａは背景と同じ白レベルとなる。したがって、輝度制御部８により（式５）の処理を行なうことにより、ブロック１０５は背景と同じ輝度となる。同様に、ブロック１０６〜１０８も、背景と同じ輝度となる。

この結果、ブロック１０５〜１０９は図５に示すような見え方となる。つまり、ブロック１０５〜１０９の部分は背景と同じ輝度レベルになる。そのため、二重像の妨害感が低減する。

本発明の実施例１の画像処理装置のブロック図である。 前後のフレーム間での動きベクトル検出を説明する図である。 補間フレームの動きベクトル検出を説明する図である。 実施例１により二重像の妨害感を低減する処理を説明する図である。 実施例２により二重像の妨害感を低減する処理を説明する図である。 従来技術の課題を説明する図である。

符号の説明

１ フレームレート変換部
２ 動きベクトル検出部
３ 補間フレーム作成部
４ フレームメモリ
５ 信頼度検出部
６ 平均輝度計算部
７ 輝度制御値計算部
８ 輝度制御部

Claims (9)

1. 入力される第１及び第２のフレームの画像から検出された動きベクトルに基づいて、前記第１及び第２のフレームの間に挿入する第３のフレームの画像を作成する変換手段と、
   前記第３のフレームの画像領域を分割して得られる複数のブロックのそれぞれについて、前記動きベクトルの信頼度を検出する信頼度検出手段と、
   前記変換手段により作成された前記第３のフレームの画像の各ブロックの輝度を、前記ブロックに対応する前記動きベクトルの信頼度に応じて、制御する輝度制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記輝度制御手段は、
   輝度を制御する対象のブロックである注目ブロックに関して、前記動きベクトルの信頼度が低い場合に、前記動きベクトルの信頼度が高い場合よりも前記注目ブロックのコントラストが低くなるように、前記注目ブロックの輝度を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度制御手段は、
   前記注目ブロックの輝度を前記注目ブロックの周辺の輝度に近づけることにより、前記注目ブロックのコントラストを低下させることを特徴とする請求項２に記載の画像処理装置。
4. 前記注目ブロックの周辺の輝度は、前記注目ブロックの周辺に位置する１又は複数の周辺ブロックにおける平均輝度であることを特徴とする請求項３に記載の画像処理装置。
5. 前記注目ブロックの周辺の輝度は、前記注目ブロックの周辺に位置する複数の周辺ブロックの中で前記動きベクトルの信頼度が高いブロックにおける平均輝度であることを特徴とする請求項３に記載の画像処理装置。
6. 前記動きベクトルの信頼度に応じて、前記ブロックの輝度を制御するための輝度制御値を計算する輝度制御値計算手段をさらに備え、
   前記輝度制御手段は、前記輝度制御値計算手段から出力された輝度制御値を用いて前記第３のフレームの画像の輝度を制御することを特徴とする請求項３〜５のいずれかに記載の画像処理装置。
7. 前記輝度制御値は、前記注目ブロックの輝度に乗算するゲイン値と、前記ゲイン値が乗算された輝度に加算されるオフセット値と、を含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記輝度制御値計算手段は、前記注目ブロックの動きベクトルの信頼度が低い場合に、前記ゲイン値として１より小さい値を出力し、前記オフセット値として前記注目ブロックの周辺の輝度値を出力することを特徴とする請求項７に記載の画像処理装置。
9. 入力される第１及び第２のフレームの画像から検出された動きベクトルに基づいて、前記第１及び第２のフレームの間に挿入する第３のフレームの画像を作成するステップと、
   前記第３のフレームの画像領域を分割して得られる複数のブロックのそれぞれについて、前記動きベクトルの信頼度を検出するステップと、
   前記第３のフレームの画像の各ブロックの輝度を、前記ブロックに対応する前記動きベクトルの信頼度に応じて、制御するステップと、
   を含むことを特徴とする画像処理方法。

Images