JP2008011197A - 動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置 - Google Patents

Abstract

【課題】作成される補間フレームの品質を低下させることなくブロックマッチングに関わるデータ処理量を削減できるようにする。
【解決手段】補間フレーム作成装置は、画像フレーム１００，２００におけるブロックマッチングの対象とされる探索範囲が、水平および垂直方向に定まった長さを有する矩形状領域１０４，２０４から、４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域１０２，２０２に設定されている。また、補間フレーム作成装置は、制限領域１０２，２０２においてブロックマッチングを行い、制限領域１０２，２０２以外ではブロックマッチングを行わない。
【選択図】図３

Description

本発明は、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置に関する。

現在、テレビ、パーソナルコンピュータ、携帯電話機など、画像表示手段を備えた多様な装置が実用化されている。このような画像表示手段を備えた装置では、入力画像信号を構成する画像フレームから各画像フレームを補間する補間フレームを作成し、作成された補間フレームを内挿して表示させる技術が適用されている。

この補間フレームは、液晶表示装置において、同じフレームが表示されることによる画質の低下を防止するためや、ＰＡＬ（Phase Alternation by Line color television）で生じるとされるフリッカ（画面のちらつき）を防止するため、さらには、低フレームレートで伝送された入力画像信号を用いて画像をスムーズに表示するため、といった目的で作成されている。

このような補間フレームが作成される場合、２つの画像フレームを所定のブロックに分割し、各画像フレームのブロック間の相関を求めるブロックマッチングが行われ、ブロックマッチングによって求められた相関に基づいて、最も相関の高いブロック同士の変位を示す動きベクトルが検出される。

このような動きベクトルの検出に関しては、従来から様々な提案がなされていた。例えば、特許文献１には、ベクトルの予測誤差が所定値を超えたときは、予測誤差が大きくなるにしたがって探索領域を拡大してブロックマッチングを行うことが開示されている。
特開２０００−１３４５８５号公報

ブロックマッチングを行って動きベクトルが検出される場合、ブロックマッチングが行われる範囲は画像フレーム中の所定の領域に設定されている。このブロックマッチングが行われる範囲（動きベクトルを見つけ出す探索が行われる範囲という意味で、探索範囲ともいう）が広く設定されればされるほど、検出される動きベクトルの精度が高まり、作成される補間フレームの品質を高めることができる。

しかし、探索範囲が拡大されると、ブロックマッチングに関わる演算等のデータ処理量が探索範囲に比例して増大してしまう。その一方、探索範囲が狭まればデータ処理量が削減されることとなるが、そうすると、検出される動きベクトルの精度が低下し、作成される補間フレームの品質が低下することとなる。

そこで、本発明は上記課題を解決するためになされたもので、作成される補間フレームの品質を低下させることなくブロックマッチングに関わるデータ処理量を削減可能な動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置を提供することを目的とする。

上記課題を解決するため、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、各画像フレームにおけるブロックマッチングの対象とされる探索範囲が、水平および垂直方向に定まった長さを有する矩形状領域から、その矩形状領域の角部を含む４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域に設定されている動きベクトル検出装置を特徴とする。

また、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、各画像フレームにおける水平および垂直方向に定まった長さを有する矩形状領域から、その矩形状領域の角部を含む４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域においてブロックマッチングを行い、制限領域以外においてブロックマッチングを行わない動きベクトル検出方法を提供する。

さらに、本発明は、複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、その動きベクトル検出手段により検出された動きベクトルに基づいて、各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、動きベクトル検出手段は、各画像フレームにおけるブロックマッチングの対象とされる探索範囲が、水平および垂直方向に定まった長さを有する矩形状領域から、その矩形状領域の角部を含む４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域に設定されている補間フレーム作成装置を提供する。

以上詳述したように、本発明によれば、動きベクトル検出装置、動きベクトル検出方法および補間フレーム作成装置において、作成される補間フレームの品質を低下させることなくブロックマッチングに関わるデータ処理量を削減することができる。

以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

（補間フレーム作成装置の構成）
図１は、本発明の実施の形態に係る補間フレーム作成装置１０の構成を示すブロック図である。この補間フレーム作成装置１０は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。

この補間フレーム作成装置１０は、入力される入力画像信号Ｓ０を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号Ｓ１を出力できるようになっている。

補間フレーム作成装置１０は、フレームメモリ２０と、動きベクトル検出部３０と、補間画像作成部４０とを有している。

フレームメモリ２０は、入力画像信号Ｓ０を画像フレーム毎に記憶する。動きベクトル検出部３０は、フレームメモリ２０を介さずに入力される画像フレームと、フレームメモリ２０に記憶された画像フレームについてのブロックマッチングを行って動きベクトルＶ０を検出し、検出された動きベクトルＶ０を補間画像作成部４０に出力する。なお、動きベクトル検出部３０の構成および動作内容については、後に詳述する。

補間画像作成部４０は、フレームメモリ２０を介さずに入力される画像フレームおよびフレームメモリ２０に記憶されている画像フレームと、検出された動きベクトルＶ０とに基づいて補間フレームＳＦを作成し、作成された補間フレームＳＦをフレームメモリ２０に記憶させる。この補間画像作成部４０の動作についても、後に詳述する。

次に、動きベクトル検出部３０の構成について、図２を参照して説明する。図２は、動きベクトル検出部３０の一例としての構成を示すブロック図である。

動きベクトル検出部３０は、図２に示すように、ブロック相関演算部３２と、ベクトル選択部３３とを有している。

ブロック相関演算部３２は、入力画像信号Ｓ０と、フレームメモリ２０から入力される１フレーム遅延信号Ｓ１０とを入力する。そして、ブロック相関演算部３２は、外部から供給されるブロックタイミング信号ＢＴの示すタイミングにしたがい、入力画像信号Ｓ０と、１フレーム遅延信号Ｓ１０とを構成する２つの画像フレームを対象としてブロックマッチングを行い、各ブロック間の相関を示す相関信号ＳＴを出力する。相関信号ＳＴは、ベクトル選択部３３に出力される。

このブロック相関演算部３２では、ブロックマッチングの対象となる探索範囲が後述する制限領域１０２，２０２に設定されている。

ベクトル選択部３３は、入力される相関信号ＳＴに基づいて、相関が最も高いブロック間の変位を示すベクトル値を検出し、その検出したベクトル値に基づいて、動きベクトルＶ０を出力する。

ここで、ブロック相関演算部３２およびベクトル選択部３３では、相関信号ＳＴとして、候補となる動き方向の各ブロック間のＳＡＤ(Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ：画素差分絶対値の総和)を用いることができる。また、ベクトル選択部３３は、このＳＡＤの値が最小となるブロックが、相関が最も高いブロックと判断することが出来る。

（補間フレーム作成装置の動作内容）
次に、補間フレーム作成装置１０の動作内容について説明する。補間フレーム作成装置１０は、図６に示すフローチャートに沿って補間フレーム作成処理を行い、補間フレームを作成する。

補間フレーム作成装置１０は、補間フレーム作成処理を開始すると、処理をステップ１に進めて、動きベクトル検出を行い、続いて処理をステップ２に進めて補間フレーム作成を実行する。

動きベクトル検出では、動きベクトル検出部３０が２つの画像フレームのブロックマッチングを行い動きベクトルを検出する。

この場合、ブロック相関演算部３２において、図３に示すように、入力画像信号Ｓ０を構成する画像フレーム（前フレーム）１００と、１フレーム遅延信号Ｓ１０を構成する画像フレーム（後フレーム）２００を対象として、ブロックマッチングが行われる。

このブロックマッチングでは、ブロックタイミング信号ＢＴの示すタイミングにしたがい、時間的に前に位置する前フレーム１００、時間的に後に位置する後フレーム２００のそれぞれが複数の画像ブロックに分割される。

本実施の形態では、前フレーム１００は画像ブロック１００ａ，１００ｂを含む複数の画像ブロックに分割され、後フレーム２００は画像ブロック２００ａ，２００ｂを含む複数の画像ブロックに分割される。その後、前フレーム１００と、後フレーム２００とについて、各画像ブロックの相関（例えば、画像ブロック１００ａと画像ブロック２００ａの相関）が検出され、相関信号ＳＴが出力される。

そして、補間フレーム作成装置１０では、ブロック相関演算部３２が上記のようにブロックマッチングを行う場合、そのブロックマッチングの対象となる探索範囲が制限領域１０２，２０２に設定されている。

ここで、制限領域１０２，２０２は、図３に示すように、前フレーム１００、後フレーム２００において、水平および垂直方向に定まった長さＬ１、Ｌ２を有する矩形状領域１０４，２０４から、４つの角部領域を除いた残りの領域からなっている。

図３に示した制限領域１０２は、矩形状領域１０４の角部１０４ｒを含む４つの角部領域１０６ａ、１０６ｂ、１０６ｃ、１０６ｄが除かれた残りの領域（図３の斜線部分）であり、制限領域２０２は、矩形状領域２０４の角部２０４ｒを含む４つの角部領域２０６ａ、２０６ｂ、２０６ｃ、２０６ｄが除かれた残りの領域（図３の斜線部分）である。

図３に示す矩形状領域１０４，２０４では、角部領域１０６ａ〜１０６ｄと、２０６ａ〜２０６ｄとがともに矩形状に設定されている。制限領域１０２，２０２は、このような矩形状の角部領域１０６ａ〜１０６ｄと、２０６ａ〜２０６ｄとをそれぞれ４つとも矩形状領域１０４，２０４から除いた残りの十字状領域になっている。

そして、動きベクトル検出部３０では、ブロック相関演算部３２が前フレーム１００、後フレーム２００における制限領域１０２，２０２において、ブロックマッチングを行い、制限領域１０２，２０２以外において、ブロックマッチングを行わないように構成されている。

ここで、従来の補間フレーム作成装置の場合、図７に示すように、探索範囲は矩形状領域１０４，２０４のような矩形状の領域に設定されており、２つのフレームにおいて、その設定された領域内でブロックを水平または垂直方向に移動させて、ブロックマッチングが行われる。

このようにしてブロックマッチングが行われる場合、探索範囲が広く設定されればされるほど、２つのフレームにおいて、相関の最も高いブロックが見つかる可能性が高まるため、検出される動きベクトルの精度が高まり、作成される補間フレームの品質を高めることができる。

しかし、ブロックマッチングに関わる演算は、探索範囲の大きさに比例して処理量が増大するため、探索範囲を拡大するとその分、ブロックマッチングに関わる演算処理の負担が増加してしまう。処理量が増加しないようにするには、回路規模を小さくしたり、ソフトウェア処理量を抑制するなどして、探索範囲を削減しなければならない。ところが、探索範囲が削減されると動きベクトルの精度が低下し、補間フレームの品質が低下するおそれがある。

一方、入力映像信号Ｓ０を用いて表示される実際の映像では、ボール、自動車、動物といった被写体自体の動き以外に、撮影に使用したカメラの水平または垂直方向への移動や、テロップ（Ｔｅｌｏｐ；テレビ放送等の画面に挿入される文字や図形）、クレジット（著作物等の知的所有権、出典を明示する原作者、協力者等の名称）、字幕といった被写体以外の文字や記号などの横方向、縦方向のスクロールに起因する動きがある。

被写体の動きについては、その動く方向に規則性が見出し難く、ランダム性が高いと考えられる。しかしながら、上述したテロップなど被写体以外の要因による動きについては、真横方向、真上または真下方向といった規則性が高い動きを示す傾向が強いので、被写体よりも斜め方向の動き成分が含まれる比率は比較的低いと考えられる。

そこで、本実施の形態における補間フレーム作成装置１０では、この点に着目し、上述した実際の映像に備わる特徴を利用して探索範囲を制限領域１０２，２０２に設定している。探索範囲を制限領域１０２，２０２に設定することにより、矩形状領域１０４，２０４の４つの角部領域１０６ａ〜１０６ｄ、２０６ａ〜２０６ｄが探索範囲から除外されるので、その分、探索に要する処理量を削減することができるようになる。

しかし、角部領域１０６ａ、ｂ、ｃ、ｄが探索範囲から除外されても、被写体以外の動きについては、斜め方向の動き成分が含まれる比率は比較的低いと考えられるので、制限領域１０２，２０２においてだけブロックマッチングが行われるとしても、相関の高いブロックが見つかる可能性が認められる。

そのため、補間フレーム作成装置１０では、検出される動きベクトルの精度が低下して作成される補間フレームの品質が低下することなく、ブロックマッチングに関わるデータ処理量を削減できるようになっている。

そして、以上のようにしてブロック相関演算部３２から相関信号ＳＴが出力されると、最小値検出回路３３がその相関信号ＳＴに基づいて、各ブロック間における最も相関の高いブロック間の変位を示すベクトル値を検出して動きベクトルＶ０を出力する。

続いて、補間画像作成部４０が動きベクトル検出部３０から出力される動きベクトルＶ０に基づいて、フレームメモリ２０を介さずに入力される前フレーム（参照フレーム）１００と、フレームメモリ２０に記憶されている後フレーム（基準フレーム、検出対象フレーム）２００との間に補間される補間フレーム１５０を次のようにして作成する。

補間画像作成部４０は、前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレーム２００から補間フレーム１５０までの時間的距離の割合で動きベクトルＶ０を縮小する。

そして、補間画像作成部４０は、その縮小された動きベクトルＶ０に基づいて、後フレーム２００の対応する画素ブロックを変位させて補間フレーム１５０を構成するブロックを生成する。補間画像作成部４０は、この手順を前フレーム１００の各画素ブロックと、後フレーム２００の各画素ブロックについて繰り返し、補間フレーム１５０を作成する。

（変形例）
本発明における制限領域は、上述した制限領域１０２，２０２のような十字状領域とするほか、次のようにすることもできる。制限領域は、例えば図４（ａ）に示すように、角部領域を４つとも三角形状に除いた残りの菱形状の制限領域１１０としたり、図４（ｂ）に示すように、楕円状の制限領域１１１にすることができる。また、図示はしないが、制限領域は、円形状にすることもできる。

また、図５（ａ）に示すように、４つの角部領域のうちの互いに対向する位置に配置されている２つの角部領域を三角形状に除いた残りの６角形状の制限領域１１２としたり、図５（ｂ）に示すように、三角形状の角部領域２つと、矩形状の角部領域２つを除いた残りの下向き矢印状の制限領域１１３としてもよい。

以上の説明は、本発明の実施の形態についての説明であって、この発明の装置及び方法を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。

本発明の実施の形態に係る補間フレーム作成装置の構成を示すブロック図である。 動きベクトル検出部の内部構成の一例を示すブロック図である。 本発明の実施の形態に係る動きベクトル検出手順が適用される２つの画像フレームおよび補間フレームを示す斜視図である。 図３に示した制限領域と形状の異なる制限領域を示す図で、（ａ）は菱形の制限領域、（ｂ）は楕円形の制限領域を示している。 図３、４に示した制限領域と形状の異なる制限領域を示す図で、（ａ）は互いに対向する位置に配置されている２つの三角形状の角部領域を除外した制限領域、（ｂ）は下向き矢印のような形状の制限領域を示している。 補間フレーム作成装置における補間フレーム作成処理の動作手順を示すフローチャートである。 従来の動きベクトル検出手順が適用される２つの画像フレームおよび補間フレームを示す斜視図である。

符号の説明

１０…補間フレーム作成装置、２０…フレームメモリ
３０…動きベクトル検出部、４０…補間画像作成部
３２…ブロック相関演算部、３３…ベクトル選択部、１００…前フレーム
１０２，１１０，１１１，１１２，１１３，２０２…制限領域
１５０…補間フレーム、２００…後フレーム

Claims (10)

1. 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出装置であって、
   前記各画像フレームにおける前記ブロックマッチングの対象とされる探索範囲が、水平および垂直方向に定まった長さを有する矩形状領域から、該矩形状領域の角部を含む４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域に設定されていることを特徴とする動きベクトル検出装置。
2. 前記制限領域は、前記角部領域を４つとも矩形状に除いた残りの十字状領域になっていることを特徴とする請求項１記載の動きベクトル検出装置。
3. 前記制限領域は、前記角部領域を４つとも三角形状に除いた残りの菱形状領域になっていることを特徴とする請求項１記載の動きベクトル検出装置。
4. 前記制限領域は、円形または楕円形状領域になっていることを特徴とする請求項１記載の動きベクトル検出装置。
5. 前記ブロックマッチングを行うマッチング手段が、前記各画像フレームにおける前記制限領域において前記ブロックマッチングを行い、前記制限領域以外において前記ブロックマッチングを行わないことを特徴とする請求項１〜４のいずれか一項記載の動きベクトル検出装置。
6. 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出方法であって、
   前記各画像フレームにおける水平および垂直方向に定まった長さを有する矩形状領域から、該矩形状領域の角部を含む４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域において前記ブロックマッチングを行い、前記制限領域以外において前記ブロックマッチングを行わないことを特徴とする動きベクトル検出方法。
7. 複数の画像フレームのブロックマッチングを行い動きベクトルを検出する動きベクトル検出手段と、該動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記各画像フレームの間に内挿される補間フレームを作成する補間フレーム作成手段とを備えた補間フレーム作成装置であって、
   前記動きベクトル検出手段は、前記各画像フレームにおける前記ブロックマッチングの対象とされる探索範囲が、水平および垂直方向に定まった長さを有する矩形状領域から、該矩形状領域の角部を含む４つの角部領域の少なくとも１つを除いた残りの領域からなる制限領域に設定されていることを特徴とする補間フレーム作成装置。
8. 前記各画像フレームのうち、前記動きベクトル検出手段による前記動きベクトルの検出対象とされる前記画像フレームを検出対象フレーム、前記動きベクトルを検出する際に参照される前記画像フレームを参照フレームとしたときに、前記補間フレーム作成手段は、前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記検出対象フレームを変位させて前記補間フレームを作成することを特徴とする請求項７記載の補間フレーム作成装置。
9. 前記検出対象フレームが記憶されるフレームメモリを更に有し、
   前記動きベクトル検出手段は、前記フレームメモリに記憶されている前記検出対象フレームおよび前記参照フレームを複数の画像ブロックに分割し、該分割された前記各画像ブロックについて前記ブロックマッチングを行い、前記動きベクトルを検出することを特徴とする請求項７または８記載の補間フレーム作成装置。
10. 前記制限領域は、前記角部領域を４つとも矩形状に除いた残りの十字状領域、前記角部領域を４つとも三角形状に除いた菱形状領域、円形領域、楕円形状領域のいずれかになっていることを特徴とする請求項７〜９のいずれか一項記載の補間フレーム作成装置。
    

Images