JP2008022156A - 動きベクトル検出装置及び動きベクトル検出方法 - Google Patents

Abstract

【課題】より精度の高い動きベクトルを検出することができる動きベクトル検出装置及び動きベクトル検出方法を提供する。
【解決手段】ブロック設定部４により設定された複数種類のブロックを採用して動きベクトル候補算出部３は隣接するフレームＰｍ，Ｐｍ＋１間でブロックマッチングにより複数の動きベクトル候補を算出し、動きベクトル決定部６は、対応画素間での相関量が最も大きくなるものに対応する動きベクトル候補を動きベクトルとして決定する。
【選択図】図１

Description

本発明は、フレーム補間等を行う場合に用いられる動きベクトルを検出する動きベクトル検出装置及び動きベクトル検出方法に関する。

液晶テレビジョン受像機等、動画を表示する装置においては、表示特性を向上する等を目的として、補間フレーム画像を生成するフレーム補間装置が設けられる場合がある。 このフレーム補間装置は、時間点に前後する例えば現フレーム画像と過去フレーム画像との動きベクトルを求めて補間フレーム画像を生成する。
このように補間フレーム画像を生成するためには、動きベクトルを求めることが必要になり、動きベクトルを求めるためにマクロブロック等の単位ブロックが採用される。

図９は従来例におけるフレーム補間の説明図を示す。
時間的に隣接する第ｍ番目及びｍ＋１番目のフレーム画像（以下単にフレームと略記）Ｐｍ，Ｐｍ＋１からこれらの間を補間する補間フレームを生成する場合、補間フレームを複数に分割した各ブロックＢの画像が２つのフレーム間でどのように移動したかを示す動きベクトルＶをブロックマッチングにより算出する。

図９においては、静止した背景に対して長円形Ｅの物体が、時間的に下側に移動する様子を示している。２つのフレームＰｍ，Ｐｍ＋１上でのブロックマッチングにより、補間フレーム上のブロックＢが算出される。図１０は、図９における補間フレームを拡大して示す。
図１０に示すブロックＢは、１点鎖線で示す長円形Ｅの一部と、この長円形Ｅの外側となる斜線で示す部分を含む。このため、このブロックＢの画像は、移動している物体と共に、移動していない部分も移動しているように補間したものとなってしまう。
つまり、この従来例では誤った動きベクトルを割り当ててしまう。
一方、特許文献１においては、入力画像と参照画像とを分割した大ブロックをさらに分割した小ブロック毎及び大ブロック毎に入力画像と参照画像とのブロックマッチング誤差を算出する動きベクトル検出方法が開示されている。
この特許文献１の方法は、上述した図９に示す１種類のブロックＢのみで動きベクトルを検出する方法に比べるとより精度が高い動きベクトルを検出できる可能性がある。
特開２００３−１１１０８２号公報

しかしながら、上記特許文献１の方法は、小ブロックが大ブロックを分割して生成されるものに限定されるため、実質的には小ブロック１種類の場合よりも精度の高い動きベクトルを検出することが困難になる。

本発明は上述した点に鑑みてなされたもので、より精度の高い動きベクトルを検出することができる動きベクトル検出装置及び動きベクトル検出方法を提供することを目的とする。

本発明の一態様に係る動きベクトル検出装置は、時間的に前後する第１及び第２のフレーム画像間を補間する補間フレームを複数に分割する第１のブロック及び少なくとも該第１のブロックを複数に分割した関係とは異なる種類の第２のブロックそれぞれに対して、前記第１及び第２のフレーム画像間でブロックマッチングを行い、前記第１及び第２のブロックそれぞれに対する第１及び第２の動きベクトル候補を算出する動きベクトル候補算出手段と、
前記第１及び第２の動きベクトル候補から最も相関の高いものに対応する動きベクトル候補を、前記第１及び第２のブロックに共通に含まれる１画素以上からなる補間画素に対する動きベクトルとして決定する動きベクトル決定手段と、
を具備することを特徴とする。

本発明の一態様に係る動きベクトル検出方法は、時間的に前後する第１及び第２のフレーム画像間を補間する補間フレームを複数に分割する第１のブロック及び少なくとも該第１のブロックを複数に分割した関係とは異なる種類の第２のブロックそれぞれに対して、前記第１及び第２のフレーム画像間でブロックマッチングを行い、前記第１及び第２のブロックそれぞれに対する第１及び第２の動きベクトル候補を算出する動きベクトル候補算出ステップと、
前記第１及び第２の動きベクトル候補から最も相関の高いものに対応する動きベクトル候補を、前記第１及び第２のブロックに共通に含まれる１画素以上からなる補間画素に対する動きベクトルとして決定する動きベクトル決定ステップと、
を具備することを特徴とする。

本発明によれば、単に一方を分割した関係とは異なる２種類以上のブロックを用いて動きベクトルを算出するので、より精度の高い動きベクトルを検出することができる。

以下、図面を参照して本発明の実施例を説明する。
（第１の実施形態）
図１は本発明の第１の実施形態に係る動きベクトル検出装置の構成を示す。この動きベクトル検出装置１は、その入力端に入力される時系列の画像信号における複数のフレーム画像（単にフレームと略記）を一時的に格納するフレームメモリ２を有する。
フレームメモリ２は、第ｍ番目及び第ｍ＋１番目のフレームＰｍ、Ｐｍ＋１をそれぞれ格納する第１フレームメモリ２ａ及び第２フレームメモリ２ｂを有する。
第１フレームメモリ２ａ及び第２フレームメモリ２ｂに格納された第ｍ番目及び第ｍ＋１番目のフレームＰｍ、Ｐｍ＋１の画像は、動きベクトル候補算出部３に入力される。この動きベクトル候補算出部３は、シンメトリックサーチによるブロックマッチングにより動きベクトル候補を算出する。なお、シンメトリックサーチによるブロックマッチングに関しては図３にて後述する。

動きベクトル候補算出部３は、ブロック設定部４により設定される複数のブロックそれぞれに対して上記シンメトリックサーチによるブロックマッチングを行い、それぞれ算出した動きベクトルを（後述する複数のブロックに共通に含まれる補間画素の）動きベクトル候補として算出する。
この動きベクトル候補算出部３により算出された複数の動きベクトル候補は、動きベクトル候補メモリ５に格納され、動きベクトル決定部６により参照される。
この動きベクトル決定部６は、フレームＰｍ，Ｐｍ＋１上において複数の動きベクトル候補から、複数のブロックに共通に含まれる補間対象の画素、つまり補間画素に対応する対応画素間の相関演算を行い、最も相関の大きい（高い）動きベクトル候補をその補間画素の動きベクトルとして決定する。

この動きベクトル決定部６により決定された動きベクトルは、補間画素の位置情報と共にフレーム補間部７に送られ、このフレーム補間部７は、動きベクトルと補間画素の位置情報とにより、第ｍ番目及び第ｍ＋１番目のフレームＰｍ、Ｐｍ＋１を補間する補間フレームＱｍを作成する。
このフレーム補間部７は、Ｐｍ，Ｑｍ，Ｐｍ＋１の順序でフレーム及び補間フレームを液晶ディスプレイ等の画像を表示する画像表示装置側に出力する。画像表示装置は、例えば時間的に隣接する第ｍ番目及び第ｍ＋１番目のフレームＰｍ、Ｐｍ＋１との間が補間フレームＱｍで補間された所定のフレームレートを倍速にした動画を表示する。
そして、所定のフレームレートを倍速にすることにより、動画の表示特性を向上する。 図２は、ブロック設定部４により設定された、例えば３つのブロックＢａ，Ｂｂ，Ｂｃを用いてブロックマッチングする様子を示す。

図２の左右の中央部分は、ブロック設定部４により、補間フレームＱｍを算出するための補間用フレームＱ上に設定された、例えば３種類のブロックＢａ，Ｂｂ，Ｂｃを示す。これら３種類のブロックＢａ，Ｂｂ，Ｂｃは、ユーザにより選択設定することができる。 このブロック設定部４により、設定できるブロックは、２種類以上のブロックであり、画素数サイズ、形状が互いに異なるものを選択できる。
なお、図２に示す３種類のブロックＢａ，Ｂｂ，Ｂｃは、単なる１例を示すものであり、このようなブロックに限定されるものでない。
本実施形態においては、第１のブロックと、その第１のブロック及びその分割ブロックとは少なくとも異なる関係となる第２のブロックとの少なくとも２種類のブロックを有する。
換言すると、本実施形態は、従来例における大ブロックを分割することにより小ブロックとなるような関係の実質的に小ブロック１種類に近似されるようなブロックのみの場合を排除した、実質的に種類が異なる２種類以上のブロックを含む。

なお、３種類以上のブロックを設定する場合には、１つのブロックを複数に分割したような分割関係となるブロックを含むようにしても良い。
図２に示したように３種類のブロックＢａ，Ｂｂ，Ｂｃは、補間用フレームＱを縦横方向に規則的に分割して形成される。
このように補間用フレームＱに設定された各ブロックＢａ，Ｂｂ，Ｂｃに対して、その左右に示す２つのフレームＰｍ、Ｐｍ＋１間で、動きベクトル候補算出部３は、ブロックマッチングを行う。
つまり、補間用フレームＱ上での補間画素を生成するために、該補間画素を内側に含む各ブロックＢａ，Ｂｂ，Ｂｃに対して、動きベクトル候補算出部３は、それぞれ動きベクトルを算出する。

これら複数の動きベクトルは、補間画素に対する動きベクトル候補となり、後述する動きベクトル決定部６により１つの動きベクトルが決定される。
なお、図２に示す例では、動き検出の説明を分かり易くするため、従来例の説明の場合と同様に第ｍ番目のフレームＰｍにおける長円形Ｅの物体が第ｍ＋１番目のフレームＰｍ＋１に示すように下側に移動した様子を示している。
また、図２に示す例では、長円形Ｅ付近の位置のブロックＢａ，Ｂｂ、Ｂｃを示しているが、動きベクトル候補算出部３は、例えば左上隅から右下隅の位置まで、各ブロックＢａ，Ｂｂ、Ｂｃの動きベクトル候補を算出する。

図３は、ブロックＢａの場合において、シンメトリックサーチによるブロックマッチングで、動きベクトル候補を算出する様子を示す。
補間用フレームＱ上に設定されたブロックＢａに対して、第ｍ番目及び第ｍ＋１番目のフレームＰｍ、Ｐｍ＋１上において幾何学的な対称位置に探索範囲Ｒａ、Ｒａ′が設定される。
そして、この対称位置に設定された対となる探索範囲Ｒａ、Ｒａ′内において、動きベクトル候補算出部３は、このブロックＢａと同じ画素数サイズの対となる画像ブロックＷａｉ、Ｗａｉ′（ｉ＝１、…、ｎ）をブロックＢａに関して対称位置となる関係を維持して、水平及び垂直方向に１画素分づつシフトしながら対となる画像ブロックＷａｉ、Ｗａｉ′間でブロックマッチングを行う。

このようにブロックＢａに関して対称な位置に探索範囲Ｒａ、Ｒａ′を設定し、かつブロックＢａに関して対称位置となる関係を維持して、対となる画像ブロックＷａｉ、Ｗａｉ′を１画素分づつシフトすることをシンメトリックサーチという。そして、このシンメトリックサーチを行いながら対となる画像ブロックＷａｉ、Ｗａｉ′間でブロックマッチングを行う。
図３の場合、画像ブロックＷａｉ、Ｗａｉ′として、最初に実線で示す画像ブロックＷａ１、Ｗａ１′間において対応する画素間で差分の絶対値の積算値Σ１が算出される。次に、画像ブロックＷａ１、Ｗａ１′が水平方向に１画素分（対称関係を保つように互いに逆方向に）シフトされて、同様に対応する画素間で差分の絶対値の積算値Σ２が算出される。

このようにして図３における点線で示す最後の画像ブロックＷａｎ、Ｗａｎ′において対応する画素間で差分の絶対値の積算値Σｎが算出される。
そして、動きベクトル候補算出部３は、積算値Σ１からΣｎにおけるその積算値が最も小さくなるものに相当する動きベクトルを、このブロックＢａに含まれる補間画素に対する動きベクトル候補として算出する。
なお、より正確には、ブロックマッチングにより算出される動きベクトルの１／２にしたものが、このブロックＢａに含まれる補間画素に対する動きベクトル候補として算出される。
他のブロックＢｂ，Ｂｃの場合にも同様にシンメトリックサーチによるブロックマッチングにより、動きベクトル候補がそれぞれ算出される。

このようにして、各ブロックＢａ，Ｂｂ，Ｂｃに対してそれらに共通に含まれる補間画素に対する動きベクトル候補が算出されることになる。
例えば図２に実線で示すブロックＢａ，Ｂｂ，Ｂｃに対して図３に示すシンメトリックサーチにより、図２上に示した動きベクトル候補Ｖａ、Ｖｂ，Ｖｃが算出される。
なお、各動きベクトル候補Ｖａ、Ｖｂ，Ｖｃに対応するフレームＰｍ，Ｐｍ＋１上の画像ブロックを、それぞれＷａ、Ｗａ′と、Ｗｂ，Ｗｂ′と、Ｗｃ、Ｗｃ′とにより示している。
図４は、長円形Ｅ付近における補間画素αを共通に含む動きベクトル候補Ｖａ、Ｖｂ，Ｖｃに対応するブロックＢａ，Ｂｂ，Ｂｃを拡大して示す（なお、簡単化のため、動きベクトル候補Ｖａ、Ｖｂ，Ｖｃ算出前のブロックＢａ，Ｂｂ，Ｂｃと同じ符号を用いる）。 このようにして算出された複数の動きベクトル候補Ｖａ、Ｖｂ，Ｖｃは、各ブロックＢａ，Ｂｂ，Ｂｃの情報と共に、動きベクトル候補メモリ５に格納される。

本実施形態においては、このようにして算出された複数の動きベクトル候補Ｖａ、Ｖｂ，Ｖｃに対して、動きベクトル決定部６は、相関量の大きさを算出することにより、各補間画素毎に１つの動きベクトルを決定する。
図５は相関量の大きさ、より具体的には差分値の絶対値の大きさを算出することにより、各補間画素毎に１つの動きベクトルを決定する様子を示す。
つまり、図５は、図２において上述したブロックマッチングにより、算出された動きベクトル候補Ｖａ、Ｖｂ，Ｖｃで規定される画像ブロックＷａ、Ｗａ′、Ｗｂ，Ｗｂ′、Ｗｃ、Ｗｃ′における補間画素αに対応する各画素を示す。
図５におけるブロックＢａ中の中央の上部に位置する補間画素αは、ブロックＢｂ中においては左上の隅に位置し、さらにブロックＢｃ中においては、その中央よりも左側にシフトした位置の上部に位置する。

図５において、動きベクトル候補Ｖａ，Ｖｂ、Ｖｃにより、この補間対象となる補間画素αを規定するフレームＰｍ，Ｐｍ＋１上の画像ブロックＷａ、Ｗａ′、Ｗｂ，Ｗｂ′、Ｗｃ、Ｗｃ′における（補間画素αに対応する）対応画素は、それぞれＮａ，Ｎａ′、Ｎｂ，Ｎｂ′、Ｎｃ，Ｎｃ′で示されている。
そして、動きベクトル決定部６は、補間画素αに対応する対応画素Ｎａ，Ｎａ′間、Ｎｂ，Ｎｂ′間、Ｎｃ，Ｎｃ′間それぞれにおいて、以下の差分の絶対値Ｄａ、Ｄｂ、Ｄｃの大きさをそれぞれ算出する。
Ｄａ＝｜Ｎａ′−Ｎａ｜
Ｄｂ＝｜Ｎｂ′−Ｎｂ｜ （１）
Ｄｃ＝｜Ｎｃ′−Ｎｃ｜
また、動きベクトル決定部６は、これら３つの差分の絶対値Ｄａ、Ｄｂ、Ｄｃの中で最小となる値を補間画素αの動きベクトルと決定する。

例えば、Ｄａが最小の値となる場合には、ブロックＢａで求めた動きベクトル候補Ｖａを動きベクトルと決定する。
例えば、Ｄｂが最小の値となる場合には、ブロックＢｂで求めた動きベクトル候補Ｖｂを動きベクトルと決定する。
例えば、Ｄｃが最小の値となる場合には、ブロックＢｃで求めた動きベクトル候補Ｖｃを動きベクトルと決定する。
このようにして補間画素αを１つづつシフトしながら、各補間画素α毎に動きベクトルを決定する。
また、図５では、長円形Ｅ付近のブロックＢａ，Ｂｂ，Ｂｃに含まれる補間画素αの場合で説明したが、補間用フレームＱを分割する全ての位置のブロックＢａ，Ｂｂ，Ｂｃに対して行う。

本実施形態は、このように各補間画素α毎に複数の動きベクトル候補から、相関量が最も大きくなるものに対応する動きベクトル候補を動きベクトルとして決定（採用）するようにしている。
従って、各ブロック内に動きのある部分と動きがない静止部分とが混在して含まれるような場合においても、動きのある画素と動きのない画素それぞれに対して相関量が最も大きくなるようなベクトルを選択してする採用することができる。
以上の方法で、各補間画素αに対してより精度の高い動きベクトルを当てはめることができる。そして、各補間画素αに対して、以上の方法で動きベクトルを当てはめることで、誤った動きベクトルの割り当てを削減することができる。そして、画質の良い補間フレームを生成できるようになる。

上述した本実施形態による動きベクトル検出方法の概略は、図６のフローチャートのようになる。
最初のステップＳ１において、ユーザはブロック設定部４により、動きベクトル検出に用いる複数種類のブロックを設定する初期設定を行う。
ユーザは、例えば２種類或いは図２の中央に示すように３種類のブロックＢａ，Ｂｂ，Ｂｃ等を設定する。
複数種類のブロックの設定などの初期設定が終了すると、次のステップＳ２において動きベクトル候補算出部３は、図２及び図３に示したように、複数種類のブロックを用いてシンメトリクサーチによるブロックマッチングにより、複数の動きベクトル候補を算出する。

そして、算出された複数の動きベクトル候補は、動きベクトル候補メモリ５に格納される。
次のステップＳ３において動きベクトル決定部６は、対応画素間の相関量の算出から、より具体的には対応画素間の差分の絶対値が最小となる値に対応する動きベクトル候補が動きベクトルとして決定する。そして、動きベクトル検出の処理が終了する。
以上のべた本実施形態によれば、複数修理のブロックを用いて複数の動きベクトル候補を算出しさらに複数の動きベクトル候補から１つの動きベクトルを決定するようにしているので、精度の高い動きベクトルを検出することができる。
また、本実施形態においては、１画素の補間画素単位で動きベクトル候補から動きベクトルを決定するようにしているので、非常に高い精度で動きベクトルを検出することが可能になる。

（第２の実施形態）
次に本発明の第２の実施形態を説明する。図７は第２の実施形態に係る動きベクトル検出装置１の構成を示す。この動きベクトル検出装置１は、図１の動きベクトル検出装置１において、動きベクトル決定部６に対して補間画素の単位を設定する補間画素設定部８が設けてある。
上述した第１の実施形態においては１つの画素からなる補間画素単位で動きベクトルを決定していたが、本実施形態においては補間画素設定部８により設定された例えば複数画素からなる補間画素単位で動きベクトルを決定する。
第１の実施形態においては、１画素単位で動きベクトルを算出するため、精度の高い動きベクトルを検出できる反面、処理量が増大する。

このため、本実施形態では、補間画素設定部８により、複数画素を単位とする補間画素を設定できるようにして、処理量を低減し、かつ精度の高い動きベクトルの検出を確保する。
その他の構成は、第１の実施形態と同様の構成である。
例えば第１の実施形態のように３種類のブロックＢａ，Ｂｂ，Ｂｃを設定した場合には、長円形Ｅ付近の補間画素αを含むブロックの関係は図４に示したようになっている。 本実施形態では、図４の一部を拡大した図８の斜線で示すように３種類のブロックＢａ，Ｂｂ，Ｂｃに共通に含まれる共通画素Ｃを補間画素として設定することができるようにしている。
このように複数画素からなる共通画素Ｃを補間画素の単位として設定した場合には、動きベクトル決定部６は、上記（１）式の対応画素間の差分の絶対値を算出する代わりに、共通画素Ｃに対応する複数画素からなる対応画素間の差分の絶対値の積算値を算出する。そして、その積算値が最も小さい値となるものに対応する動きベクトル候補をその共通画素Ｃの動きベクトルと決定する。

このように設定することにより、第１の実施形態の場合よりも処理量を大幅に削減することができる。また、この場合においても、互いに異なる複数種類のブロックを用いているので、１種類のブロック或いはこれに近い場合よりも、より高い精度の動きベクトルを検出することができる。
なお、補間画素の設定は、図８に示した設定例に限らず、共通画素Ｃにおける水平方向に例えば２分割した２つの分割画素部分を補間画素の単位として設定したり、垂直方向に例えば複数に分割したりして補間画素の単位を設定することもできる。このようにすると、共通画素Ｃの場合よりもより高い動きベクトルを検出することができる。
なお、上述した実施形態においては、複数種類のブロックを設定する場合、図２等に示すようにそれぞれ等分割されたもので設定しているが、本発明はこれに限定されるものでない。例えば周辺部分では一部が欠けた状態となるような分割方法でブロックの設定を行うようにしても良い。

図１は本発明の第１の実施形態に係る動きベクトル検出装置の構成を示すブロック図。 図２は複数種類のブロックを用いてブロックマッチングにより動きベクトル候補を算出する様子を示す説明図。 図３はシンメトリクサーチによるブロックマッチングの動作の説明図。 図４は動きベクトル候補算出後における補間画素を共通して含む３種類のブロックを示す図。 図５は複数の動きベクトル候補から１つの動きベクトルを決定する動作の説明図。 図６は第１の実施形態の動作の概略を示すフローチャート。 図７は本発明の第２の実施形態に係る動きベクトル検出装置の構成を示すブロック図。 図８は補間画素設定部により設定される補間画素の設定例を示す図。 図９は従来例におけるフレーム補間の説明図。 図１０は図９の補間フレームの一部を拡大して示す図。

符号の説明

１…動きベクトル検出装置
２…フレームメモリ
３…動きベクトル候補算出部
６…動きベクトル決定部

Claims (5)

1. 時間的に前後する第１及び第２のフレーム画像間を補間する補間フレームを複数に分割する第１のブロック及び少なくとも該第１のブロックを複数に分割した関係とは異なる種類の第２のブロックそれぞれに対して、前記第１及び第２のフレーム画像間でブロックマッチングを行い、前記第１及び第２のブロックそれぞれに対する第１及び第２の動きベクトル候補を算出する動きベクトル候補算出手段と、
   前記第１及び第２の動きベクトル候補から最も相関の高いものに対応する動きベクトル候補を、前記第１及び第２のブロックに共通に含まれる１画素以上からなる補間画素に対する動きベクトルとして決定する動きベクトル決定手段と、
   を具備することを特徴とする動きベクトル検出装置。
2. 前記ブロックマッチングは、前記第１及び第２のブロックそれぞれに対して前記第１及び第２のフレーム画像間で幾何学的に対称位置に設定される探索範囲内において、前記第１及び第２のブロックそれぞれに対して幾何学的に対称な関係を保つようにそれぞれ設定された対となる画像ブロック間で行われることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記動きベクトル決定部は、前記第１及び第２のブロックに共通に含まれる１画素からなる各補間画素に対応して、前記第１及び第２の動きベクトル候補で規定される前記第１及び第２のフレーム画像上における対応画素間の差分の絶対値が最も小さくなるものに対応する動きベクトル候補を前記動きベクトルとして決定することを特徴とする請求項１又は２に記載の動きベクトル検出装置。
4. 前記動きベクトル決定部は、前記第１及び第２のブロックに共通に含まれる複数画素からなる補間画素に対応して、前記第１及び第２の動きベクトル候補で規定される前記第１及び第２のフレーム画像上における対応画素間の差分絶対値の積算値が最も小さくなるものに対応する動きベクトル候補を前記動きベクトルとして決定することを特徴とする請求項１又は２に記載の動きベクトル検出装置。
5. 時間的に前後する第１及び第２のフレーム画像間を補間する補間フレームを複数に分割する第１のブロック及び少なくとも該第１のブロックを複数に分割した関係とは異なる種類の第２のブロックそれぞれに対して、前記第１及び第２のフレーム画像間でブロックマッチングを行い、前記第１及び第２のブロックそれぞれに対する第１及び第２の動きベクトル候補を算出する動きベクトル候補算出ステップと、
   前記第１及び第２の動きベクトル候補から最も相関の高いものに対応する動きベクトル候補を、前記第１及び第２のブロックに共通に含まれる１画素以上からなる補間画素に対する動きベクトルとして決定する動きベクトル決定ステップと、
   を具備することを特徴とする動きベクトル検出方法。

Images