JP2008263391A

JP2008263391A - 映像処理装置

Info

Publication number: JP2008263391A
Application number: JP2007104382A
Authority: JP
Inventors: Masahiro Yamazaki; 山崎正裕; Tomoya Ozaki; 尾崎友哉
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2007-04-12
Filing date: 2007-04-12
Publication date: 2008-10-30

Abstract

【課題】処理量の増大を抑制しつつ、高画質な補間フレームを生成可能な映像処理装置を提供する。
【解決手段】画像処理装置は、動画像情報のマクロブロック情報を用いて、補間候補ベクトルを求め、この補間候補ベクトルを用いて画素ペアを算出し、算出した画素ペアから補間位置の補間画素を生成し、生成した補間画素からなる補間フレームを生成する。
【選択図】図１

Description

本発明は、フレーム補間処理を行う映像処理装置に関する。

MPEG（Moving Picture Experts Group）等の映像符号化方式では、動画の各フレームにおいて、輝度信号16×16画素と色差信号8×8画素のブロック（以下、マクロブロック）ごとに、動き補償技術などに基づいて圧縮している。動き補償技術とは、動画の連続したフレーム間に存在する相関を利用して、マクロブロックごとに時間方向の信号の冗長度を削減する技術である。メモリに蓄積された過去に符号化済みの画像を参照画像とし、参照画像中の所定の探索範囲内で、動き補償予測の対象としている現マクロブロックと最も差分の小さいブロック領域を探索する。探索結果の空間位置と現マクロブロックの空間位置とのずれを動きベクトルとして符号化する。

特許文献１には、この動きベクトルを用いて補間フレームを生成する方式（以下、動きベクトル利用方式）において、動画像の時間解像度改善のために、動きベクトル推定のために必要な情報を入力ストリームから取り出すことで、改めて多くの演算を行わず、更に閾値処理を少なくしてもロバストにフレーム補間処理を行うことが出来る動画像復号装置が開示されている。

特開２００６−２７９９１７号公報

特許文献１では、周囲の動きベクトルを用いて補正することにより、動きベクトル利用方式を改善する方法が記載されているが、他の補間フレーム生成方式と動きベクトルを組み合わせることについては開示されていない。また、動きベクトル以外に、参照ピクチャ番号などの他のマクロブロック情報を用いて補間フレームを生成することについても開示されていない。

本発明は、処理量の増大を抑制しつつ、高画質な補間フレームを生成可能な映像処理装置を提供することを目的とする。

本発明にかかる画像処理装置は、動画像情報のマクロブロック情報を用いて、点対称方式でフレーム補間処理を行う。具体的には、マクロブロック情報を用いて補間候補ベクトルを求め、この補間候補ベクトルを用いて画素ペアを算出し、算出した画素ペアから補間位置の補間画素を生成し、生成した補間画素からなる補間フレームを生成する。

本発明によれば、処理量の増大を抑制しつつ、高画質な補間フレームを生成可能な映像処理装置を提供することができる。

以下、図面を用いて、動きベクトルを用いて、点対称方式でフレーム補間処理を行う方法について説明する。

まず、図７を用いて点対称方式によるフレーム補間処理の概要を説明する。なお、以下、入力された現在のフレームを現フレーム、現フレームの１つ前のフレームを前フレーム、動画像のフレームレートを変換するために現フレームおよび前フレームから生成されたフレームを補間フレームという。点対称方式では、補間フレーム上にある補間対象の画素を補間画素７０１とし、補間画素７０１を中心にして点対称に位置する画素ペアの輝度値の差分を計算する。例えば、前フレーム７０５上にある画素７０２ａと現フレーム７０６上の画素７０２ｂ、画素７０３ａと画素７０３ｂ、というように点対称の画素ペアの差分を所定の探索範囲内の画素について計算する。その中で一番差分が小さかった画素ペアを差分最小画素ペアとし、このペアの平均輝度値を補間画素に採用する。

この点対称方式を用いてフレーム補間処理を行うことにより、ブロック状のノイズの発生を抑制することができる。しかし、探索の処理量が大きいため、回路規模が大きくなってしまうという問題がある。そこで、処理量の増大を抑制しつつ、高画質な補間フレームを生成するために、動きベクトルから大まかな画素ペアの位置を求め、その位置を中心にした所定範囲内で点対象方式を用いて補間フレームの生成を行う。

図１は、映像処理装置の一例を示すブロック図である。ここで、映像処理装置１００とは、携帯電話などの携帯端末や、テレビ、カーナビである。符号化情報解析部１０１は、MPEGなどにより符号化された動画像を復号化する。復号化されたフレームは、フレームメモリ１０６に蓄積する。また、マクロブロックごとに動きベクトルや、参照ピクチャ番号、マクロブロックタイプなどのマクロブロック情報を抽出する。抽出されたマクロブロック情報は、マクロブロック情報メモリ１０２に蓄積される。

マクロブロック情報メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ(Random Access Memory)等で構成され、映像処理装置１００で扱うデータやソフトウェアなどを記憶する。フレームメモリ１０６は、符号化情報解析部１０１によって復号化されたフレームや、補間フレーム生成部１０５が生成する補間フレームの輝度値および色差値を保存する。

補間候補ベクトル出力部１０３は、マクロブロック情報メモリ１０２に蓄積された動きベクトルを用いて、補間候補ベクトルを算出し、補間候補ベクトルメモリ１０７に書き込む。ここで、補間候補ベクトルとは、補間フレーム上の補間対象画素の空間位置を始点とし、補間対象画素の輝度値を生成するための画素ペアのうち、前フレーム上の画素のベクトルである。

補間候補ベクトルの算出方法の一例を図２に示す。まず、現フレーム２０３内のマクロブロックの１つであるマクロブロック２０４のマクロブロック情報を取得する。取得したマクロブロック情報のうち、動きベクトル２０５を使って、動きベクトル２０５の1/2の値（以下、1/2MV）であるベクトル２０６を計算する。次に、現フレーム２０３上のマクロブロック２０４の左上の画素２０７の空間位置から、計算した1/2MVだけ移動した空間位置２０８を計算し、その位置を左上の角にもつマクロブロックと同サイズの領域２０９を求める。

そして、補間フレーム２０２上で領域２０９と同じ空間位置にある各画素２１０に対して、補間候補ベクトルの値を1/2MVとする。すなわち、補間候補ベクトルメモリ１０７のうち領域２１０の座標に対応するアドレスのメモリに、ベクトルの値として1/2MVの値を書き込む。以上の処理を現フレーム２０３上の全てのマクロブロックに対して行うことにより、補間候補ベクトルを生成する。差分最小画素ペア算出部１０４は、補間候補ベクトル出力部１０３が出力する補間候補ベクトルを利用して、最終的に差分が最小となる画素ペアを算出する。

この最小画素ペアの算出方法について図３を用いて説明する。まず、補間フレーム上の補間対象の画素を補間画素３０７として、補間画素３０７と空間位置が同じで前フレーム３０１上にある画素を画素３１０、現フレーム３０２上にある画素を画素３１１とする。
次に、画素３１０から補間候補ベクトル３０８だけ移動した位置にある前フレーム３０１上の画素を画素３０５、画素３１１から補間候補ベクトルの逆ベクトル３０９だけ移動した位置にある現フレーム３０２上の画素を画素３０６とする。そして、画素３０５を中心として所定の上下方向Ｓｙおよび水平方向Ｓｘに位置する前フレーム３０１上の領域を探索領域３０３、画素３０６を中心として所定の上下方向Ｓｙおよび水平方向Ｓｘに位置する現フレーム３０２上の領域を探索領域３０４とする。探索領域３０３および探索領域３０４の範囲内にある画素について、輝度値の差分を計算し、最も差分が小さい画素のペアを差分最小画素ペアとする。

補間フレーム生成部１０５は、差分最小画素ペア算出部１０４によって決定された差分最小画素ペアの画素の輝度値の平均値を計算し、補間画素の輝度値とし、フレームメモリ１０６に書き込む。以上の処理を補間フレーム上の全ての画素に対して行い、補間フレームを生成する。

このように、動きベクトルを用いて補間候補ベクトルを求め、補間候補ベクトルを利用して点対称方式で補間フレームを生成することにより、処理量の増大を抑制しつつ、高画質な補間フレームを生成することができる。

以上の例では、マクロブロック情報のうちの動きベクトルのみを用いて補間候補ベクトルを求めているが、動きベクトル以外に参照ピクチャ番号等を用いて補間候補ベクトルを求める方法について以下説明する。

映像情報が符号化される際に、一つ前のフレームだけでなく、複数枚前のフレームを用いて符号化される場合がある。このような場合、マクロブロック情報に含まれる動きベクトルは、複数枚前のフレームを参照しており、ベクトルの値をそのまま1/2MVとして計算してしまうと、補間フレーム上の物体の位置としては正しくない位置になってしまう。例えば、２つ前のフレームを参照している動きベクトルの場合、物体が等速直線運動していると仮定すると、１つ前のフレームを参照している動きベクトルよりも２倍のサイズになっているからである。その結果、補間フレーム上にはノイズが発生してしまい、画質の悪い補間フレームができてしまうという問題が発生する。そこで、補間候補ベクトル出力部１０３は、動きベクトルがどのフレームを参照しているのかを示す参照ピクチャ番号を用いて補間候補ベクトルを生成することが望ましい。

具体的には、例えば図４に示すように、２つ前のフレームを参照した動きベクトルの場合、動きベクトルのサイズは１つ前のフレームを参照した場合と比べて２倍になっていると仮定する。そして、動きベクトルを1/2倍して、１つ前のフレームを参照した場合に換算する。さらに、1/2倍することで、補間候補ベクトルの大きさを決定する。同様に、３つ前のフレームを参照している場合はまず1/3倍して１つ前のフレームを参照した場合に換算し、さらに1/2倍する。すなわち、n枚前のフレームを参照している動きベクトルに対しては、動きベクトルの1/2n倍を計算することで補間候補ベクトルを求める。ここで、ｎは1以上の整数である。

このように、参照ピクチャ番号を用いて補間候補ベクトルを求めることにより、映像情報が複数枚前のフレームを用いて符号化されている場合であっても、高画質な補間フレームを生成することができる。

また、現フレーム上の複数のマクロブロックの動きベクトルの値が０である場合がある。例えば図５に示すように、マクロブロック５０１ａ〜５０４ａ以外のマクロブロックは、動きベクトルの値が０であるとする。この場合、補間候補ベクトルの値として、５０１ｂ〜５０４ｂの領域には1/2MVが代入され、動きベクトルが０のマクロブロックと同じ空間位置の領域５０７（図のグレー部分）には０が代入される。領域５０６（図の斜線部分）には値が何も代入されないため、補間候補ベクトルは初期値の０とする。しかし、領域５０８（図の点線楕円で囲まれた部分）のように領域５０１ｂと領域５０４ｂに挟まれた領域の補間ベクトルは、本来であれば領域５０１ｂあるいは領域５０４ｂに近い補間候補ベクトルとなるはずであり、初期値０としたのではノイズになってしまうという問題がある。

このような問題を解決するために、領域５０８のような隙間領域には、補間候補ベクトルの値を周辺の補間候補ベクトルから予測して代入するという補正を行うことが望ましい。

図６は、隙間領域を補正する際に値を取得する画素の位置と優先順位を示した図である。図において、画素６００は隙間領域と判定された画素であり、マス内の数字は取得する優先順位を表している。例えば４つの画素を用いる場合、補間候補ベクトル出力部１０３は優先順位が１〜４である画素６０１〜画素６０４に対する補間候補ベクトルの値の平均値を、画素６００に対する補間候補ベクトルの値とする。

なお、補正対象の画素６００の近く、例えば画素６０４の位置にある画素が画素６００と同様に隙間領域である場合、この画素については補間候補ベクトルの値を取得しないようにする。例えば、図６（２）のように、補正対象の画素６１０の右上にあたる画素６１１が隙間領域であった場合、画素６１１に対する補間候補ベクトルは取得せずに、本来５番目の優先順位であった画素６１２に対する補間候補ベクトルの値を取得する。

以上のように処理することにより、隙間領域が発生した場合であっても、高画質な補間フレームを生成することができる。

なお、平均値を計算するのに使用する値の数は４つに限られたものではなく、いくつでもよい。また、図６（１）に示した優先順位は一例であり、これに限定するものではなく、別の優先順位で値を取得しても構わない。

また、マクロブロック情報に含まれる動きベクトルの中には、符号化効率を優先するために物体の動きとは関係のない方向や大きさの動きベクトル（以下、誤動きベクトル）が存在している場合がある。このような場合に、そのまま誤動きベクトルを利用して補間候補ベクトルを生成すると、ノイズが発生してしまうという問題点がある。

図８は、誤動きベクトルをそのまま使用し、補正しなかった場合の補間フレームの状態を示した図である。例えば２つの顔８０７と８０８が映っているが、顔８０７だけが上方向にゆっくり動いている場合、現フレーム８０３において顔８０７に対する動きベクトルは下向きの動きベクトル８０９になるはずである。しかし、顔８０７と顔８０８が部分的に似ており、顔８０８の一部を参照して画像を符号化した方が圧縮効率が高い場合があり、そのように符号化された場合、動きベクトル８０４のように、物体の動きとは全く関係ない方向と大きさを持つことになる。

この動きベクトル８０４を用いて補間候補ベクトルを求めると、ベクトル８０５のようになる。この結果、画像８０６が貼り付けられてしまい、逆に領域８１０には貼り付けられる画像がなくなり、ノイズとなってしまう。このようなノイズ発生を回避するために、補間候補ベクトル出力部１０３において以下の処理を行うことが望ましい。

まず、誤動きベクトルの有無を判定するために、各マクロブロックとその周囲の動きベクトルを取得する。取得した動きベクトルの方向や大きさを比較し、明らかに周囲と異なる値を持つ動きベクトルを誤動きベクトルと判定する。ここで周囲とは、図６に示すように１つのマクロブロックを囲む８つのマクロブロックであっても良いし、８つより多くのマクロブロックであっても良い。具体的には、動きベクトルの方向は比較する動きベクトルとの内積（Ｘ成分、Ｙ成分の積の和）とし、動きベクトルの大きさは各ベクトルの絶対値（Ｘ成分、Ｙ成分の二乗の和）とする。そして、内積の値が所定の閾値から所定の閾値の範囲内に入っていない、または、絶対値の大きさが周囲のベクトルと比べて所定の範囲に入っていない、などの場合、誤動きベクトルと判定する。

誤動きベクトルを検出した場合、補間候補ベクトル出力部１０３は、誤動きベクトルを検出したマクロブロックの周囲のマクロブロックの動きベクトルの平均値を求め、誤動きベクトルを検出したマクロブロックの動きベクトルとする。この際、周囲のマクロブロックの動きベクトルが誤動きベクトルであった場合は、その動きベクトルの値を用いずに平均値を計算する。

このように、誤動きベクトルを検出して補正することにより、誤動きベクトルによるノイズを抑えることができ、画質の良い補間フレームを生成することができる。

また、マクロブロックの中には、前のフレームを用いずに現フレーム内の情報により符号化されているマクロブロックがあり、イントラマクロブロックと呼ばれている。このイントラマクロブロックには、動きベクトル情報がないため、補間フレーム上にノイズを発生させてしまうという問題がある。そこで、補間候補ベクトル出力部１０３は、マクロブロックがどのタイプに属するものかを示すマクロブロックタイプを用いて、補間候補ベクトルを生成するための処理を行うことが望ましい。

具体的には、まず、補間候補ベクトル出力部１０３はマクロブロック情報メモリ１０２からマクロブロックタイプを読み出す。イントラマクロブロックでは、マクロブロックタイプの値が例えば９〜１４等と決まっており、この値を見てマクロブロックがイントラマクロブロックかどうかを判定する。
マクロブロックがイントラマクロブロックだった場合、誤動きベクトルが検出された場合と同様に、周辺のマクロブロックの動きベクトルを取得し、取得した動きベクトルの平均値をイントラマクロブロックの動きベクトルとして用いて、補間候補ベクトルを求める。

このように、マクロブロックタイプを用いて補間候補ベクトルを求めることにより、イントラマクロブロックにより発生するノイズを抑えることができ、画質の良い補間フレームを生成することができる。

また、場面が切り替わるシーンチェンジなどにおいては、前フレームと現フレームが全く似ていないため、フレーム全てがイントラマクロブロックで構成される場合がある。このような場合、前述のように周りのマクロブロックから補間候補ベクトルを求めることができない。

そこで、以下のように処理することが望ましい。まず、補間候補ベクトル出力部１０３がマクロブロック情報メモリ１０２からマクロブロック情報を読み取り、現フレームの全てのマクロブロックについてマクロブロックタイプを調べる。全てのマクロブロックがイントラマクロブロックであれば、補間候補ベクトル出力部１０３は補間候補ベクトルを出力せず、フラグを設定し、フラグ設定されたことを示す情報をを差分最小画素ペア算出部１０４に出力する。差分最小画素ペア算出部１０４はフラグが設定された場合、差分最小画素ペアの算出を行わず、補間フレーム生成部１０５にフラグ設定を通知する。補間フレーム生成部１０５は、通知を取得すると、前フレームと現フレームにおける同位置の画素値の平均値を補間フレームの画素値とすることで、前フレームと現フレームの中間的なフレーム（以下、単純平均フレーム）を生成する。

この単純平均フレームを補間フレームとして前フレームと現フレームの間に挿入することで、シーンチェンジを滑らかに見せることができる。

なお、シーンチェンジではないのにフレームがイントラマクロブロックだけで構成される場合があり、このような場合に、上記のように単純平均フレームを補間フレームとして用いると、連続した動きのある場面においては、このフレームだけ動きが滑らかでない違和感のある動画となってしまうこともある。そこで、シーンチェンジではない場合は、単純平均フレームを挿入するのではなく、補間候補ベクトル出力部１０３が補間候補ベクトルを０に設定し、差分最小画素ペア算出部１０４で画素ペアを探索するようにしても良い。これにより、動き量が差分最小画素ペア算出部１０４の探索範囲以内であるような動き量の少ないシーンでは、きれいな補間フレームを作成することができる。

ここで、イントラマクロブロックだけで構成されるフレームがシーンチェンジかどうかを判定するには、前フレームと現フレームの画素値の比較を行う。まず、前フレームおよび現フレームにおける全画素の輝度値の合計を計算する。そして、これら輝度値の合計の差分を求め、その差分値が予め定められた閾値よりも大きい場合をシーンチェンジと判定する。また、輝度値の合計の差分だけでなく、色差値の合計の差分値も求め、それが閾値よりも大きい場合をシーンチェンジと判定するようにしても良い。

また、差分最小画素ペア算出部１０４の探索範囲を超えるような動き量の大きいシーンで補間フレームの画像を破綻させないように、差分最小画素ペア算出部１０４が探索する範囲内で十分にマッチする画素ペアが見つからない場合は、差分最小画素ペアとして同位置の画素を設定するように処理する。これにより、動き量の大きいシーンでは、補間フレームとして単純平均フレームを作成することができ、より高画質な補間フレームを作成することができる。

以上説明したフレーム補間処理を用いて補間フレームを作成した場合に、作成される補間フレームの特徴について説明する。

動きベクトル情報を含んだフレーム（以下、Pフレーム）を入力画像とした場合、前フレームと現フレームとの間の動き量に関わらず、破綻の少ない高画質な補間フレームが作成される。一方、動きベクトル情報を含んでいないイントラマクロブロックのみで構成されたフレーム（以下、Iフレーム）を入力画像とした場合、動き量の違いで作成される補間フレームの画質が異なる。動き量が差分最小画素ペア算出部１０４の探索範囲を超えている、すなわち動き量が大きい場合、前フレームと現フレームとの単純平均フレーム、前フレーム、現フレームのいずれかになる。また、動き量が差分最小画素ペア算出部１０４の探索範囲内、すなわち動き量が小さい場合は差分最小画素ペア算出部１０４が差分最小ペアを探索して見つけ出すことができるので、前フレームと現フレームの物体の動きを補償した補間フレームが作成される。

別の言い方をすれば、動き量の大きいシーンを入力画像にした場合、入力画像をPフレームとするかIフレームとするかで、補間フレームの画質が異なる。Pフレームの場合は補間フレームの破綻が少なく、Iフレームの場合は補間フレームが単純平均フレーム、前フレーム、現フレームのいずれかになる。一方、動き量の小さいシーンを入力画像にした場合、入力画像がPフレームであろうがIフレームであろうが補間フレームの画質はほぼ同じとなる。なお、動き量に関わらずシーンチェンジの場合は補間フレームを単純平均フレームや前フレーム、現フレームとする処理を施している場合は、補間フレームはこれらのいずれかになる。

なお、上述してきた種々の機能をソフトウェアで実現してもよい。このソフトウェアは映像処理装置に予め記憶されている場合に限らず、ユーザが、例えばＣＤ―ＲＯＭ等の記録媒体やサーバから取得したソフトウェアを映像処理装置に記憶させることができるようにすることが望ましい。これにより、必要に応じて機能を追加や削除、更新することができ、ユーザの使い勝手を向上することができる。

なお、以上説明した実施形態を組み合わせて用いることができることは言うまでもない。また、本発明は、上記に示された実施形態に限定されるものではなく、ここに開示された原理及び新しい特性は広範囲の技術的範囲を含むものである。

映像処理装置の構成例を示すブロック図である。補間候補ベクトルの算出方法の一例を示した図である。差分最小画素ペアの算出方法の一例を示した図である。参照フレームと動きベクトルの関係を示す図である。隙間領域の一例を示した図である。隙間領域を補正する際に値を取得する画素の位置と優先順位を示した図である。点対称方式によるフレーム補間処理の概要を示した図である。誤動きベクトルを補正しなかった場合の補間フレームの状態を示した図である。

符号の説明

１００映像処理装置
１０１符号化情報解析部
１０２マクロブロック情報メモリ
１０３補間候補ベクトル出力部
１０４差分最小画素ペア算出部
１０５補間フレーム生成部
１０６フレームメモリ
１０７候補ベクトルメモリ

Claims

符号化された動画像情報が入力される入力部と、
前記入力された動画像情報のマクロブロック情報を抽出する抽出部と、
前記抽出部により抽出されたマクロブロック情報を用いて補間候補ベクトルを出力する補間候補ベクトル出力部と、
前記補間候補ベクトル出力部により出力された補間候補ベクトルを用いて画素ペアを算出する画素ペア算出部と、
画素ペア算出部により算出された画素ペアから補間位置の補間画素を生成し、補間画素からなる補間フレームを生成する補間フレーム生成部と、
を有することを特徴とする映像処理装置。
請求項１に記載のマクロブロック情報は、前記動画像情報のマクロブロックの動きを示す動きベクトルと、前記動きベクトルが参照しているフレームを示す参照ピクチャ番号あるいは前記マクロブロックの種類を示すマクロブロックタイプとを含むことを特徴とする映像処理装置。
符号化された動画像情報が入力される入力部と、
前記入力された動画像情報のマクロブロックの動きを示す動きベクトルを抽出する抽出部と、
前記抽出部により抽出された動きベクトルを用いて補間候補ベクトルを出力する補間候補ベクトル出力部と、
前記補間候補ベクトル出力部により出力された補間候補ベクトルを用いて画素ペアを算出する画素ペア算出部と、
画素ペア算出部により算出された画素ペアから補間位置の補間画素を生成し、補間画素からなる補間フレームを生成する補間フレーム生成部と、
を有することを特徴とする映像処理装置。
請求項３に記載の抽出部は前記動きベクトルが参照しているフレームを示す参照ピクチャ番号を抽出し、前記補間候補ベクトル出力部は前記動きベクトルとともに前記参照ピクチャ番号を用いて補間候補ベクトルを出力することを特徴とする映像処理装置。
請求項４に記載の補間候補ベクトル出力部は、前記参照ピクチャ番号が動きベクトルがｎ枚前のフレームを参照していることを示している場合、前記動きベクトルの（１/２ｎ）倍を補間候補ベクトルの大きさとすることを特徴とする映像処理装置。
請求項３に記載の補間候補ベクトル出力部は、補間候補ベクトルを生成した領域と領域の間に補間候補ベクトルが生成されていない隙間領域がある場合に、前記隙間領域の周囲の領域の補間候補ベクトルを用いて、前記隙間領域の補間候補ベクトルを生成することを特徴とする映像処理装置。
請求項３に記載の補間候補ベクトル出力部は、物体の動きとは無関係な方向や大きさを持った動きベクトルである誤動きベクトルを検出し、前記誤動きベクトルを検出したマクロブロックの周囲のマクロブロックの動きベクトルを用いて補間候補ベクトルを生成することを特徴とする映像処理装置。
請求項３に記載の抽出部は前記マクロブロックの種類を示すマクロブロックタイプを抽出し、前記補間候補ベクトル出力部は前記マクロブロックタイプがイントラマクロブロックである場合は、前記イントラマクロブロックであるマクロブロックの周囲のマクロブロックの動きベクトルを用いて補間候補ベクトルを生成することを特徴とする映像処理装置。
請求項３に記載の抽出部は前記マクロブロックの種類を示すマクロブロックタイプを抽出し、現フレーム上の全てのマクロブロックのマクロブロックタイプがイントラマクロブロックである場合、前記補間フレーム生成部は前フレームと前記現フレームの画素値の平均値を補間フレームの画素値とすることを特徴とする映像処理装置。