JP2012142818A - カラー動画像動き推定方法及びカラー動画像動き推定装置 - Google Patents

Abstract

【課題】 カラー動画像動き推定方法及びカラー動画像動き推定装置を提供すること。
【解決手段】本発明のカラー動画像動き推定装置は、入来するカラー動画像に対して、基準フレームの既存色プレーンを基準画像とし、前記基準フレームと隔離した基準フレームと同一色プレーンを持つ参照フレームの色プレーンを参照画像として仮動きベクトルを求める動き推定器（６）と、基準フレームと異なる色プレーンを持つ目的フレームと、前記参照フレームと、前記基準フレームの距離関係に応じて前記仮動きベクトルをスケーリングし、修正動きベクトルを得るベクトルスケーラ（８，１０）と、基準フレームの既存色プレーンを基準画像とし、目的フレームの色プレーンを参照画像として、修正動きベクトルを中心にその周辺部に対して動きベクトルの再探索を行い、目的フレームの動きベクトルを得る動き再探索器（７，９）とを備えている。
【選択図】図２

Description

テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するための映像信号処理で、特に合理的な信号形態で形成されたカラー動画像を動き補償フレーム間補間で構造変換したり、動き補償フレーム間予測で符号化したりする際に必要となる動きベクトルを求めるフレーム間動き推定処理に属する。

動画像に限らずカラー画像信号は、赤(Red)、緑(Green)、青(Blue)の３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない４：４：４、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブサンプリングされた４：２：０がある。各動画像カラーフォーマットは、規格で詳細に定義されており、放送などで広く使われている。

カラー動画像の撮像において、最も簡易な方式として、各フレーム(インターレース走査画像ではフィールド)で色プレーンを切り替えるシーケンシャルカラー(カラー)方式(以下ＳＣと略す)が過去に検討されている。この方式は、動き補償無しで色補間を行うと動いた部分は原色間のズレを生じ、実用的な画像にならない。なお、３倍速で撮像と表示を行なえばこのような問題は無いが、色差サブサンプリングのような合理化ができないので、現在はまったく使われていない。しかし、通常と同じフレームレートでも適正な動き補償を使って色補間を行うことができれば、問題の無い画像が得られる。

通常のＲＧＢ画像とそれに対応するＳＣ画像を図６に示す。尚、図６中、ハッチング「黒」がＲ、ハッチング「グレー」がＧ、ハッチング「なし」が、Ｂの色成分を示す。図６では、フレームにより撮像タイミングが異なり画像内容が変化していることを、色の濃さの異なる丸印の移動で表している。ＲＧＢ画像は、各フレームに３色すべての色プレーンが存在する。ＳＣ画像はひとつのフレームにひとつの色プレーンしか存在しない。そして、各フレームの色プレーンは、所定パターンでフレーム毎に入れ替わる。色プレーンは３種類なのでパターンは３フレーム周期となるので、３フレーム経過すると同じ色プレーンとなる。

ＳＣ画像の非圧縮データ量は、ＲＧＢ画像の３分の１であり、単色(白黒)画像と同じになる。これは、現在最も一般的に使われているコンポーネントカラー信号の４：２：０より少なく、機器間の接続において非圧縮で使われることの多い４：２：２の半分となる。

一方、表示装置において、３原色を時分割で表示する方法がある。各色がフレーム(フィールド)で順次となるので、フレーム(フィールド)シーケンシャル方式と呼ばれる。この場合は、通常１フレーム(フィールド)が提示される６０分の１秒間に、３原色のすべてを表示するので、色プレーンの表示速度は３倍となる。また、そもそも同一フレームの各色プレーンを表示タイミングだけ変えるので、画像内容の時間による動き変化は無い。この方式は、各色プレーンで動きによる画像変化があるシーケンシャルカラー方式とは異なるものである。

以下、従来のカラー動画像動き推定を、そのままＳＣ画像に適用した場合について、図７に示す動き推定のフレーム間色プレーン関係を使用して説明する。図７（ａ）では、片方向からの動き推定が行われており、図７(ａ)に示される片方向推定処理では、基準フレーム(R4)に対して１フレーム前の画像(B3)と２フレーム前の画像(G2)を動き補償するために、（R4）を基準画像として、（B3）と（G2）を参照画像としてマッチングを求めるものである。ＳＣ画像に対して従来の動き推定を適用すると、直前の異なるカラー要素のフレームを使用した動き推定が行われことになるので、カラー画像の画素値がＲＧＢで大きく異なる場合などにおいては、適切な動き推定処理が行われず、正しい動きベクトルが得られないという問題が生じてしまう。

また、他の動き推定として、双方向推定処理も可能であり、図７(ｂ)を使用して双方向推定処理について説明する。これはフレーム内挿などに用いられるもので、B12に対する処理の場合、基準フレームは無く前後の同一色プレーンとなる（G11）と（G14）、（R10）と（R13）を双方向参照画像としてマッチングを求めるものである。この場合、色プレーンは同じであるので色の影響は無いが、対象となる（B12）が使われないので、動きベクトルの信頼性は低くなるという問題も生じる。

図８には、図７で示した動き推定処理を行うための従来の動き推定装置の構成を示す。図８では、シーケンシャルカラー画像入力１から入来するＳＣ画像信号は、参照画像メモリ２に格納され、遅延調整された信号は、次の参照画像メモリ３に与えられる。参照画像メモリ３で１フレーム分遅延した信号は次の参照画像メモリ４に与えられる。参照画像メモリ４は、参照画像メモリ３と同様なものである。これにより、参照画像メモリ２には現在フレームが、参照画像メモリ３には１フレーム前の画像が、参照画像メモリ４には２フレーム前の画像が格納される。格納されているのはＳＣ画像信号なので、それぞれのメモリの色プレーンはフレーム単位で更新される。

動き推定器２４は参照画像メモリ２の現在フレームの画像と参照画像メモリ３の１フレーム前の画像を用いて動き推定を行い、１フレーム間の動きベクトルを得る。動き推定は、ブロックマッチングで、ブロックサイズ(動きベクトルを求める単位)は、４×４画素か８×８画素とする。探索精度は０.５画素か０.２５画素となる。

一方、動き推定器２５は、参照画像メモリ２の現在フレームの画像と参照画像メモリ４の２フレーム前の画像を用いて動き推定を行い、２フレーム間の動きベクトルを得る。この動き推定処理は２フレーム間で行なわれているので、動き推定器２４より動きベクトルの探索範囲を広げる。

ＳＣ画像のフレーム構造を考えると、ＳＣ画像の色プレーンは、図７に示すように３フレーム周期に出現することになるので、図７で説明したように１フレーム間も２フレーム間も異なった色プレーン間での動き推定となる。この場合、画像に色が無くＲＧＢ各プレーンの値が近い場合は問題が無いが、画像に色が付いていると色プレーンにより画素値が異なり、単純なブロックマッチングでは動き推定ができなくなる。

これまで、カラー動画像の符号化については種々検討されており、例えば、特開平９−２２４２６２号公報（特許文献１）では、差分パルスコード変調による予測エラーを視感色差の範囲を用いて低減するために、現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する映像入力部と、そこから出力される現在の元映像の各画素の色成分に対する視感色差の範囲を決める視感色差範囲決め部と、前記映像入力部から出力される予測映像と現在の元映像との予測エラーを発生させる予測エラー発生部と、そこから出力される予測エラーと前記視感色差範囲決め部から出力される各画素の視感色差の範囲とを比べる視感予測エラー比較部とを備え、視感予測エラーと予測映像を用いて前記現在の元映像を符号化して復元する映像符号化方法および装置が開示されている。

また、特開平１０−７０７３８号公報（特許文献２）では、カラー画像の視感誤差を改善するために、元の画像と復元画像との差から予測誤差画像を生成する手段を設け、復号化された予測誤差画像から動き推定及び補償により復元画像を予測する手段と、予測誤差画像を視感色差ルックアップテーブルを用いて視感誤差画像に再構成する画像符号化装置が開示されている。

さらに、特開２００２−１１８８５０号公報（特許文献３）では、フレーム間符号化方法を用いて動画像の符号化を行い符号を伝送する際に、差分情報にある誤差を一定期間内に減衰させて再生画像の誤差を減らす動画像符号化方式が記載されている。また、特開２００５−３９８４２号公報（特許文献４）では、カラー画像のためのビデオ符号化装置および方法であって、第１動き予測部は、入力映像の第１動き予測結果に基づいて入力映像に対する第１予測誤差映像を算出し、映像情報把握部は、Ｒ−Ｇ−Ｂ映像の色成分のうち所定の色成分を基準色成分に設定し、入力映像がＹ−Ｃｂ−Ｃｒ映像であるかＲ−Ｇ−Ｂ映像であるかを把握し、入力映像の色成分が基準色成分であるか否かを把握することで、カラー映像の符号化／復号化を行う点が記載されている。

この他、特開２００８−１７２５９９号公報（特許文献５）では、４：２：０、４：２：２、４：４：４等の複数の異なるクロマフォーマットに対して効率的な装置構成で統一的に符号化・復号するために、前記入力動画像信号のクロマフォーマット種別を与える制御信号に基づき、クロマフォーマットが４：２：０ないしは４：２：２の場合は、入力動画像信号の輝度成分に第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を、色差成分に第２のイントラ予測モード決定部と第２のイントラ予測画像生成部を適用し、クロマフォーマットが４：４：４の場合は、前記入力動画像信号の全色成分に第１のイントラ予測モード決定部と前記第１のイントラ予測画像生成部を適用して符号化を行い、前記可変長符号化部は前記制御信号を動画像シーケンス単位に適用する符号化データとしてビットストリームに多重化する点を記載している。さらに、特開２００９−３０３２６３号公報（特許文献６）では、４：４：４フォーマットのような色成分間にサンプル比の区別のない動画像信号を符号化するにあたり、最適性を高めた、符号化装置、復号装置、符号化方法、および、復号方法が記載されている。

特開平９−２２４２６２号公報 特開平１０−７０７３８号公報 特開２００２−１１８８５０号公報 特開２００５−３９８４２号公報 特開２００８−１７２５９９号公報 特開２００９−３０３２６３号公報

フレーム毎に原色が入れ替わるシーケンンシャルカラー動画像を任意のフレーム間で動き推定しようとした場合、フレーム関係により異なった色プレーン間での処理となるので、画像に色が付いている部分ではフレーム間で画像が異なることになり、適切な動き推定ができない。また、同一色プレーン間のみで動き推定を行うと、対象フレームが参照されず動きベクトルの信頼性が低い。

本発明は以上の点に着目してなされたもので、シーケンシャルカラー画像で適切な動き推定を行い、信頼性が高い動きベクトルを任意のフレーム間で得ることができるカラー動画像動き推定方法及びカラー動画像動き推定装置を提供することを目的とする。

本発明はフレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームの既存色プレーンを基準画像とし、基準フレームと同一色プレーンを持つ主参照フレームを参照画像として動きベクトルを求め、基準フレームと異なる色プレーンを持つ副参照フレームとの距離関係に応じて動きベクトルをスケーリングし、修正動きベクトルを中心にその周辺部に対して再探索を行い、副参照フレームの動きベクトルを得るカラー動画像動き推定方法及びカラー動画像動き推定装置である。

また、基準フレームの既存色プレーンの高周波数成分を基準画像とし、異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像として空間的に移動させてブロックマッチングを行い動きベクトルを求めるカラー動画像動き推定方法及びカラー動画像動き推定装置である。
さらに、基準フレームの既存色プレーンから抽出された輪郭のみの画像を基準画像とし、異なる色プレーンを持つフレームの色プレーンから抽出された輪郭のみの画像参照画像として空間的に移動させてブロックマッチングを行い動きベクトルを求めるカラー動画像動き推定方法及びカラー動画像動き推定装置である。

本発明はフレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームの既存色プレーンを基準画像とし、基準フレームと同一色プレーンを持つ主参照フレームを参照画像として動きベクトルを求め、基準フレームと異なる色プレーンを持つ副参照フレームとの距離関係に応じて動きベクトルをスケーリングし、修正動きベクトルを中心にその周辺部に対して再探索を行うことで、異なる色プレーン間の動き推定は狭い範囲に限定され、画像に色がありフレーム間差分が大きくなっても、マッチングの相対的優位度はあまり変わらないので、通常のブロックマッチングでも適切な動き推定が可能になる。

また、基準フレームの既存色プレーンの高周波数成分を基準画像とし、異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像として空間的に移動させてブロックマッチングを行い動きベクトルを求めることで、主に低周波数成分で形成される色差成分は、ほとんどマッチング処理に影響せず、もっぱら輝度成分の高周波数成分でマッチング処理を行なうことになり、適切な動き推定が可能になる。
さらに、基準フレームの既存色プレーンから抽出された輪郭のみの画像を基準画像とし、異なる色プレーンを持つフレームの色プレーンから抽出された輪郭のみの画像参照画像として空間的に移動させてブロックマッチングを行なうことで、輪郭は色プレーンが異なってもあまり変化しないので、動き推定が可能になる。また、輪郭抽出処理前に画像拡大を行なうことで、サンプリング位置と実際の動きの関係に影響され難い、動き推定に好適な輪郭抽出が可能になり、ブロックマッチングの演算ビット数も大幅に軽減できる。

本実施形態の動き推定処理のフレーム間色プレーン関係を示す図である。 第１の実施形態のカラー動画像動き推定装置の機能ブロックを示す図である。 第２の実施形態のカラー動画像動き推定装置の機能ブロックを示す図である。 第３の実施形態のカラー動画像動き推定装置の機能ブロックを示す図である。 カラー動画像動き推定方法で使用する画像輪郭抽出部の機能ブロックを示す図である。 シーケンシャルカラー画像の構成を示す図である。 従来の動き推定処理のフレーム間色プレーン関係を示す図である。 従来のカラー動画像動き推定装置の機能ブロックを示す図である。

本発明の第１の実施形態のカラー動画像動き推定について説明する。本実施形態の動き推定のフレーム間色プレーン関係を図１に示す。図１(ａ)は基準フレーム(R4)と３フレーム前(R1)との間で動き推定を行い、基準画像(R4)と１フレーム前(B3)と、２フレーム前(G2)の間で再探索を行って動きベクトルを得る。(ｂ)は逆方向の例で、（B9）を基準フレームとして、(ａ)とは逆向きに３フレーム後(B12)との間で動き推定を行い、１フレーム後(R10)と２フレーム後(G11)で再探索を行って動きベクトルを得る。

図２は、図１(ａ)のフレーム間色プレーン関係にしたがって動き推定を行う第１の実施形態のカラー動画像動き推定装置の機能ブロックを示したものである。なお、本明細書では、同一の機能要素は、同一の参照符号を付して参照する。同一付番を記してある。図２では、図８と比較して、動き推定器２４，２５の代わりに、処理動作の異なる動き推定器６が追加されている。また、参照画像メモリ５、動き再探索器７，９、動きベクトルスケーラ８，１０が追加されている。

本実施形態で、シーケンシャルカラー（ＳＣ）画像とは、同一の色属性を有するフレームが、色属性の数、例えばＲＧＢであれば３フレーム周期で配置された構成を有する。シーケンシャルカラー画像入力１から入来するシーケンシャルカラー(ＳＣ)画像信号は、参照画像メモリ２に１フレーム分の１割程度が格納され、受け取り側の要求に応じたタイミングで出力される。参照画像メモリ２で遅延調整された信号は、次の参照画像メモリ３に与えられる。参照画像メモリ３にはおおよそ１フレーム分が格納されるが、ＳＣ画像なので１色(プレーン)のみである。１フレーム分遅延した信号は次の参照画像メモリ４に与えられる。参照画像メモリ４は、参照画像メモリ３と同様なもので、画像信号を１フレーム分時間遅延させ、参照画像メモリ５に与えれる。これにより、参照画像メモリ２には被補間フレームである現在フレームが、参照画像メモリ３には１フレーム前の画像が、参照画像メモリ４には２フレーム前の画像が、参照画像メモリ５には３フレーム前の画像が格納される。格納されているのはＳＣ画像信号なので、それぞれのメモリの色プレーンはフレーム単位で更新される。

動き推定器６は、参照画像メモリ２の現在フレームの画像と参照画像メモリ５の３フレーム前の画像を用いて動き補償を行う。シーケンシャルカラー画像がＲＧＢの３種類の色プレーンで構成されていると、３フレームで１周期となり、両者の色プレーンは同一となる。

動き推定処理はブロックマッチングで、基準画像(現在フレーム)はブロック位置が固定され、探索の空間移動は参照画像(３フレーム前)の画像のみに適用される。ブロックサイズ(動きベクトルを求める単位)は、４×４画素か８×８画素とするが、基本的なブロックマッチングでは誤ベクトルが生じやすいので、階層型探索など誤ベクトルを防ぐ処理を用いる。一方、探索精度は、後に動きベクトルがスケールダウンされ再探索が行われるので、１画素精度で十分である。探索範囲は画素数とフレームレートに合わせて設定される。

動き推定器６で現フレームに対して３フレーム前で求められた動きベクトルは、動きベクトルスケーラ８，１０で、水平・垂直各成分の値がダウンスケールされる。具体的には、動きベクトルスケーラ８は、２フレーム前の画像に対応するので３分の２倍し、動きベクトルスケーラ１０は、１フレーム前の画像に対応するので３分の１倍する。そして、３分の２倍された動きベクトルは、動き再探索器７に、３分の１倍された動きベクトルは動き再探索器９に与えられる。

動き再探索器９は、参照画像メモリ２に格納されている現在の画像を基準画像とし、参照画像メモリ３に格納されている１フレーム前の画像を参照画像とし、３分の１動きベクトルの周辺について再探索を行う。動き再探索器７は、参照画像メモリ２に格納されている現在の画像を基準画像とし、参照画像メモリ４に格納されている２フレーム前の画像を参照画像とし、３分の２動きベクトルの周辺について再探索を行う。得られた１フレーム間の動きベクトルはベクトル出力１１から、２フレーム間の動きベクトルはベクトル出力１２から出力される。

再探索においてブロックマッチングは、異なる色プレーン間であるが、動き推定器６と同じブロックマッチングが使われる。再探索の範囲は±１画素か±２画素程度で良いが、探索精度は動き補償の必要性に合わせて０.２５画素程度とする。

本実施形態において、同一色プレーン間で行なわれる動き推定では、ブロックマッチングは一般的な輝度信号におけるものと同等の処理で、同等の結果が得られる。一方、異なるプレーン間で行なわれる動き推定では、原則的には適切な動き推定ができない。しかし、探索範囲が狭い場合、空間変化の少ない色差成分の影響は大きくない。色がある部分では絶対値差分の値自体は大きくなるが、相対的関係は維持されるので、その最小値を与える動きベクトルを求めることができる。

図３は、第２の実施形態のカラー動画像動き推定装置の機能ブロックを示す。図２の第１の実施形態と同一構成要素には同一付番を記してある。図３では、図２と比較して、空間ＨＰＦ２１，２２，２３が追加されており、また動きベクトルスケーラ８，１０がなく、動き再探索器７，９が動き推定器２４，２５に替わっている。

第２の実施形態では、対象画像の高周波数成分のみを使って動きベクトルの探索を行なうものである。従って、第１実施形態の３フレーム間の動き推定が不要になる。
シーケンシャルカラー画像入力１から入来するシーケンシャルカラー(ＳＣ)画像信号は、参照画像メモリ２に１フレーム分の１割程度が格納され、次の参照画像メモリ３に与えられる。参照画像メモリ３にはおおよそ１フレーム分が格納され、次の参照画像メモリ４に与えられる。参照画像メモリ４は、参照画像メモリ３と同様なものである。これにより、参照画像メモリ２には被補間フレームである現在フレームが、参照画像メモリ３には１フレーム前の画像が、参照画像メモリ４には２フレーム前の画像が格納される。

参照画像メモリ２に格納されている現在フレームの基準画像は、空間ハイパスフィルタ（ＨＰＦ）２１で低い方の周波数が４分の１から８分の１程度が削除され高周波数成分のみとなり、動き推定器２４と２５に与えられる。同様に参照画像メモリ３に格納されている１フレーム前の参照画像も、空間ＨＰＦ２２で高周波数成分のみとなり動き推定器２４に与えられ、参照画像メモリ４に格納されている２フレーム前の参照画像に対して空間ＨＰＦ２３で高周波数成分のみとなり動き推定器２５に与えられる。

帯域制限の具体的方法は、通常のＦＩＲ型フィルタを用いて画面全体を処理する方法と、ブロックマッチングのブロック単位に行なうものがある。後者は８×８画素ないし４×４画素のブロック平均値を低周波数成分とし、平均値と各画素の差分を高周波数成分とするものである。ブロック単位の処理は、１回の処理は簡単であるが、動きベクトル探索で参照ブロックが変わるたびに行う必要がある。

動き推定器２４は、現在フレームの画像の高周波数成分のみを基準画像とし、１フレーム前の画像の高周波数成分を参照画像として動き推定を行う。動き推定器２５は、現在フレームの画像の高周波数成分を基準画像とし、２フレーム前の画像の高周波数成分を参照画像として動き推定を行う。得られた１フレーム間の動きベクトルはベクトル出力１１から、２フレーム間の動きベクトルはベクトル出力１２から出力される。

動き推定においてブロックマッチングは、異なる色プレーン間であるが、図２の動き推定器６と同じブロックマッチングが使われる。探索の範囲はフレーム距離に応じて狭くするが、精度は動き補償の必要性に合わせて０.２５画素精度程度とする。
本実施形態において、異なるプレーン間で行なわれる動き推定は、画像の高周波数成分のみを使っている。各色プレーンの画像で、色差成分の高い周波数成分があまりないので、高周波数成分のみには色差成分はあまり含まれず、輝度成分の高周波数成分のみでマッチングを調べている形になる。

図３に示した実施形態では、それぞれの参照画像に空間ＨＰＦを使っているが、参照画像メモリが動き推定専用であり、空間ＨＰＦがＦＩＲ型フィルタの場合は、先にフィルタリングしたものを参照画像メモリに格納してもよい。この場合、空間ＨＰＦはひとつで済む。逆に、動き推定器内にＨＰＦを持ち、参照画像はそのまま受け取って、ブロックマッチング処理において差分をとった後に空間ＨＰＦを施しても得られる結果は同じになる。

図４を使用して、本発明の第３の実施形態のカラー動画像動き推定装置について説明する。本実施形態は、画像そのものではなく抽出された画像輪郭に基づき動き推定を行うものである。これは、各色プレーンの画素値は、色差により大きく変化するが、画像輪郭はあまり変化しない点を利用するものである。

図４は、第３の実施形態のカラー動画像動き推定装置の機能ブロックを示したものである。図４には、図２と比較して、画像拡大器３１，画像輪郭抽出器３２があり、動きベクトルスケーラ８，１０がなく、動き再探索器７，９が動き推定器３６，３７に替わっている。また、参照画像メモリ２，３，４は画素数やビット精度が異なる参照画像メモリ３３，３４，３５に替わっている。

シーケンシャルカラー画像入力１から入来するシーケンシャルカラー(ＳＣ)画像信号は、画像拡大器３１で水平と垂直の両方向に２倍ないし４倍に拡大された画像を得る。つまり、画素数では４倍ないし１６倍となる。動き推定が０.５画素精度なら２倍、０.２５画素精度なら４倍とするのが好適である。使用される拡大処理は、少なくともバイキュービックとする。

得られた拡大画像に対して輪郭抽出処理を行なうが、色プレーンは色により画素値が異なるので、色プレーンによる違いが少なくなるように、検出後の輪郭のレベルを正規化する。また、抽出された輪郭画像は、ビット数を落とす。図５は、上述した画像輪郭抽出器３２の機能ブロックを示す。

画像入力４１に入来する拡大画像は、空間１次微分を使用して輪郭を決定するソーベルオペレータを含むソーベルフィルタ４２で演算され、水平方向と垂直方向に等価な輪郭画像が検出される。この結果は空間ＬＰＦ（ローパスフィルタ）４６で平滑化され、局部平均成分が抽出される。具体的には周辺７×７画素ないし１５×１５画素の平均値である。正規化器４３はソーベルフィルタ４２の出力を空間ＬＰＦ４６の出力で除する。ただし、除算の分母は最低値を設定し、画像振幅が小さなところはそのままとする。振幅が正規化された輪郭画像は、１６倍拡大の場合に２値化器４４で１画素１ビットの２値画像とする。また、４倍拡大では１画素４ビットとする。拡大画像に対するビット削減された輪郭画像は、輪郭出力４５から出力される。

このようにして得られた輪郭画像は、参照画像メモリ３３に１フレーム分の１割程度が格納され、次の参照画像メモリ３４に与えられる。参照画像メモリ３４にはおおよそ１フレーム分が格納され、次の参照画像メモリ３５に与えられる。参照画像メモリ３５は、参照画像メモリ３４と同様なものである。これにより、参照画像メモリ３３には現在フレームの輪郭画像が、参照画像メモリ３４には１フレーム前の輪郭画像が、参照画像メモリ３５には２フレーム前の輪郭画像が格納される。元画像が８ビットだったとすると、輪郭画像の情報量は、画素数４倍の４ビットまたは画素数１６倍の１ビットで、元の２倍となる。

動き推定器３６は、参照画像メモリ３３に格納されている現在フレームの輪郭画像を基準画像とし、参照画像メモリ３４に格納されている１フレーム前の輪郭画像を参照画像として動き推定を行う。動き推定器３７は、参照画像メモリ３３に格納されている現在フレームの輪郭画像を基準画像とし、参照画像メモリ３５に格納されている２フレーム前の輪郭画像を参照画像として動き推定を行う。

動き推定処理はブロックマッチングであるが、ブロックサイズは目的とする動き補償のブロックを画像拡大比に合わせて拡大するので、動き補償ブロックが４×４画素で１６倍拡大なら１６×１６画素となる。動き推定の探索精度は１画素で、演算精度は４ビットないし１ビット（２値パターンマッチングと等価)となる。得られた１フレーム間の動きベクトルはベクトル出力１１から、２フレーム間の動きベクトルはベクトル出力１２から出力される。

本実施形態では、部分レベル正規化を行った輪郭画像間でブロックマッチングを行うが、この画像は色プレーンで色が付いている部分でも似た画像となり、異なる色プレーン間でもブロックマッチングにより動きベクトルを求めることができる。
輪郭抽出の前に画像拡大を行なうのは、通常の画素精度のまま輪郭抽出を行うと、エッジ位置とサンプリング位置の関係で、１画素以下の動きでエッジ部分の画素値が大きく変化し、マッチングが行いにくいためである。輪郭抽出が単純な線形フィルタの場合は、事前の画像拡大は動き推定の高精度探索のためのリサンプリングと等価となるが、本実施形態のように輪郭抽出が線形でない場合には、あらかじめ画像拡大するのが有効となる。一方、メモリ容量の増加を許容すれば、通常の動き推定でも高精度探索対応として事前に画像拡大しておくことは有効であるが、本実施形態ではビット削減によりメモリ容量も通常の２倍程度で済むことになる。

以上説明したように、本発明は、シーケンシャルカラー画像を高画質にＲＧＢ画像に変換可能にするもので、シーケンシャルカラー方式で撮像するカメラを実現できる。また、ディスプレイに適用することで、現在デジタル放送やＤＶＤなどで使われている輝度色差４：２：０方式などの動画像フォーマットの代わりに、より合理的なシーケンシャルカラー方式を使用可能とするものである。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…シーケンシャルカラー画像入力、２，３，４，５…参照画像メモリ、６…動き推定器、８，１０…動きベクトルスケーラ、７，９…動き再探索器、２１，２２，２３…空間ＨＰＦ、２４，２５，３６，３７…動き推定器、３１…画像拡大器、３２…画像輪郭抽出器、３３，３４，３５…参照画像メモリ、４２…ソーベルフィルタ、４３…正規化器、４４…２値化器、４５…輪郭出力

Claims (6)

1. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームと任意の目的フレーム間の動きベクトルを求める際に、
   入来するカラー動画像に対して、基準フレームの既存色プレーンを基準画像とし、前記基準フレームと隔離した基準フレームと同一色プレーンを持つ参照フレームの色プレーンを参照画像として仮動きベクトルを求める動き推定工程と、
   前記基準フレームと異なる色プレーンを持つ目的フレームと、前記参照フレームと、前記基準フレームの距離関係に応じて前記仮動きベクトルをスケーリングし、修正動きベクトルを得る工程と、
   前記基準フレームの既存色プレーンを基準画像とし、前記目的フレームの色プレーンを参照画像として、前記修正動きベクトルを中心にその周辺部に対して動きベクトルの再探索を行い、目的フレームの動きベクトルを得る工程とを含む、カラー動画像動き推定方法。
2. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、
   入来するカラー動画像に対して、基準フレームの既存色プレーンの高周波数成分を基準画像とする工程と、
   前記基準フレームと異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像とする工程と、
   前記基準画像と空間的に移動させた参照画像の間でマッチングを求め、前記マッチング結果から動きベクトルを得る工程とを含む、カラー動画像動き推定方法。
3. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、
   入来するカラー動画像に対して、色プレーンを拡大して画素数の増加した拡大画像を得る工程と、
   前記拡大画像に対して、輪郭抽出を行い色プレーンの拡大輪郭画像を得る工程と、
   基準フレームの前記拡大輪郭画像を基準画像とし、基準フレームと異なる色プレーンを持つフレームの色プレーンの拡大輪郭画像を参照画像として、ブロックマッチングを行い動きベクトルを求める工程とを含む、カラー動画像動き推定方法。
4. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のための動き推定において、基準フレームと任意の目的フレーム間の動きベクトルを求めるカラー動画像動き推定装置であって、
   入来するカラー動画像に対して、基準フレームの既存色プレーンを基準画像とし、前記基準フレームと隔離した基準フレームと同一色プレーンを持つ参照フレームの色プレーンを参照画像として仮動きベクトルを求める動き推定手段と、
   前記基準フレームと異なる色プレーンを持つ目的フレームと、前記参照フレームと、前記基準フレームの距離関係に応じて前記仮動きベクトルをスケーリングし、修正動きベクトルを得る手段と
   前記基準フレームの既存色プレーンを基準画像とし、前記目的フレームの色プレーンを参照画像として、前記修正動きベクトルを中心にその周辺部に対して動きベクトルの再探索を行い、目的フレームの動きベクトルを得る手段とを含む、カラー動画像動き推定装置。
5. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のためのカラー同画像動き推定装置であって、
   入来するカラー動画像に対して、基準フレームの既存色プレーンの高周波数成分を基準画像とする手段と、
   前記基準フレームと異なる色プレーンを持つフレームの色プレーンの高周波数成分を参照画像とする手段と、
   前記基準画像と空間的に移動させた参照画像の間でマッチングを求め、前記マッチング結果から動きベクトルを得る手段とを含む、カラー動画像動き推定装置。
6. フレーム毎に色プレーンが入れ替わるカラー動画像の動き補償のためのカラー動画像動き推定装置であって、
   入来するカラー動画像に対して、色プレーンを拡大して画素数の増加した拡大画像を得る手段と、
   前記拡大画像に対して、輪郭抽出を行い色プレーンの拡大輪郭画像を得る手段と、
   基準フレームの前記拡大輪郭画像を基準画像とし、基準フレームと異なる色プレーンを持つフレームの色プレーンの拡大輪郭画像を参照画像として、ブロックマッチングを行い動きベクトルを求める手段とを含む、カラー動画像動き推定装置。