JP2009027446A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】対応する画素の追従中に動きベクトルが存在しない場合でも、仮の動きベクトルを算出することによりあるフレーム画像から他のフレーム画像への動きベクトル値を少ない誤差で求めることのできる画像処理方法および画像処理装置を提供する。
【解決手段】本発明に係る画像処理方法は、フレーム選択ステップ（Ｓ１０３）と、１または複数のフレーム画像間を画素ごとに追従することにより、あるフレーム画像から他のフレーム画像への動きベクトル値を算出する動きベクトル算出ステップ（Ｓ１０４）と、動きベクトル算出ステップ（Ｓ１０４）において、途中まで追従した画素が含まれるブロックの符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動きベクトルが存在しないときに仮の動きベクトルを算出する動きベクトル補正ステップ（Ｓ２７）とを有することを特徴とするものである。
【選択図】図１

Description

本発明は、画像処理方法および画像処理装置に関し、特にフレーム画像間の動き情報が記録された符号化動画像データを用いてフレーム画像同士の位置合わせ等を行うことができる画像処理方法および画像処理装置に関する。

従来の符号化動画像データを用いた動きベクトル変換方法では、インタレース走査ＭＰＥＧ２からプログレッシブ走査ＭＰＥＧ４へビットストリーム変換する際、ブロック毎に動きベクトルを変換するようにしており、インタレースからプログレッシブに変換するときにフレームレート変換を行って、元のＭＰＥＧ２のフレームを破棄するようにしていた（例えば、特許文献１参照）。このとき、破棄するフレームに隣接する後フレームから隣接する前フレームまでの動きベクトル値を、破棄するフレームと隣接する後フレームの対応するブロック間の動きベクトルに基づいて決定し、隣接する後フレームの対応するブロックが持つ新しい動きベクトル値として記録するようにしていた。

特許文献１では、破棄するフレームから隣接する前フレームまでの動きベクトルが存在する場合には、隣接する後フレームのから破棄するフレームまでの動きベクトルと破棄するフレームから隣接する前フレームまでの動きベクトルを累積加算したものを新しい動きベクトル値とし、破棄するフレームから隣接する前フレームまでの動きベクトルが存在しない場合には、隣接する後フレームから破棄するフレームまでの動きベクトルを破棄するフレームから隣接する前フレームまでの時間を考慮した伸張で変換したものを新しい動きベクトル値としていた。
特開２００２−２５２８５４号公報（第１頁、図１９）

しかし、例えばＭＰＥＧ（Moving Picture Expert Group）のような動き情報が記録されている動画像データの複数のフレーム画像を位置合わせし、高解像度画像を生成するような場合には、従来の動きベクトル変換方法（例えば、特許文献１参照）を応用してフレーム画像の位置合わせに利用すると、対応する画素を追従中にイントラ符号化ブロックがあった場合、Ｐフレームの一つの動きベクトルのみを伸張して変換するため、変換された新しい動きベクトル値の誤差が大きくなるという問題点があった。また、対応する画素を追従中にイントラ符号化以外のＢフレームの片方向予測符号化ブロック、つまりForwardもしくはBackwardの符号化ブロックがあったときに、そのブロックが持つ動きベクトルが向かう片方向のフレームが対象外などであって使用できない場合には、追従が不可能になるという問題点があった。

さらに、ＭＰＥＧ等でイントラ符号化ブロックなど動きベクトルが存在しない場合、つまり、上記のような追従ができない場合というのは、下記（１）〜（３）の３つの原因が考えられる。
（１）シーンチェンジではないが、ＧＯＰ(Group Of Pictures)構造の設定によりイントラフレーム符号化された場合
（２）対象となるブロックにテクスチャ情報がなく動き補償が出来ずイントラ符号化された場合
（３）シーンチェンジのフレームやブロック毎に大きな移動・変形があり動き補償出来ずイントラ符号化や、Ｂフレームでの片方向予測（FORWAD／BACKWARD）された場合
このような原因のうち、（１）、（２）、および（３）におけるシーンチェンジフレームでない短時間の突発的な移動・変形によるイントラ符号化や片方向予測の場合には、前後フレームの相関性が高い場合が多く、このようなフレームの近辺さえ追従できればフレーム画像の位置合わせを行うことができると考えられる。

本発明は上記のような問題点を鑑みてなされたものであり、対応する画素の追従中に動きベクトルが存在しない場合でも、仮の動きベクトルを算出することによりあるフレーム画像から他のフレーム画像への動きベクトル値を少ない誤差で求めることのできる画像処理方法および画像処理装置を提供することを目的とする。

本発明に係る画像処理方法は、符号化された動画像データに記録されているフレーム画像間の動きベクトルを利用する画像処理方法であって、符号化された動画像データを復号化して得られるフレーム画像の中から複数のフレーム画像を選択するフレーム選択ステップと、符号化された動画像データに記録された動きベクトルを用いて１または複数のフレーム画像間を画素ごとに追従することにより、フレーム選択ステップにおいて選択された複数のフレーム画像の中のあるフレーム画像から他のフレーム画像への動きベクトル値を算出する動きベクトル算出ステップと、動きベクトル算出ステップにおいて、途中まで追従した画素が含まれるブロックの符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動きベクトルが存在しないときに、途中まで追従した画素から追従先の画素への仮の動きベクトルを算出する動きベクトル補正ステップと、を有することを特徴とするものである。

本発明に係る画像処理方法では、対応する画素を追従中に動きベクトルが存在しない場合でも、仮の動きベクトルを算出することによりあるフレーム画像から他のフレーム画像への動きベクトル値を少ない誤差で求めることができるため、フレーム画像の位置合わせや高解像度画像の生成等を高精度に行うことが可能となる。

（実施形態１）
以下、図面を参照しながら本発明の実施形態１に係る画像処理方法および画像処理装置について説明する。

図１は、本発明の実施形態１に係る画像処理方法を実施する画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１は、動き情報付き動画像データが入力される動画像入力部１１、動画像復号部１２、動きベクトル算出部１３、動きベクトル補正部１３ａ、使用者等からのフレーム指定が入力されるフレーム選択部１５、位置合わせ処理部１６、高解像度画像生成部１８、メモリ１９、および画像表示部２０を備えている。なお画像表示部２０は、画像処理装置１と一体にしてもよく、別体として設けるようにしてもよい。

なお本実施形態では、動き情報付き動画像データは既に存在しているものとし、フレーム画像間の動きベクトル情報を持つあらゆる動画像データのことを意味するものとする。例えば、現在一般的な動き情報付き動画像データとして、ＭＰＥＧ（Moving Picture Experts Group）１、ＭＰＥＧ２、ＭＰＥＧ４や、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４などがある。

動き情報付き動画像データが動画像入力部１１に入力された後、動画像復号部１２で連続するフレーム画像を復号化しメモリ１９に保存する。ここで、例えばＭＰＥＧの場合、動画像復号部１２はフレーム画像の復号化をすると共にフレーム画像間の動きベクトル情報を復号化し変換することで動きベクトルを抽出する。ＭＰＥＧに記録されている動きベクトル情報は、対象となるブロックの動きベクトルと隣接するブロックの動きベクトルの差分値を圧縮符号化しているため、動きベクトル情報を復号化した後に隣接するブロックの動きベクトルに差分値を加算することで変換を行い、対象となるブロックの動きベクトルを抽出する。また動画像復号部１２は、後述する図３のＭＰＥＧ４の復号器に対応する。

保存された復号化データは、画像表示部２０で動画表示することができ、使用者は画像表示部２０で表示された画像を閲覧し、例えば高解像度化させたい基準フレームと高解像度化に使用する参照フレームを指定することが可能である。使用者からのフレーム指定により、フレーム選択部１５は動きベクトル算出部１３へ指定フレーム情報を出力する。動きベクトル算出部１３は、動画像復号部１２によって抽出された動きベクトルをメモリ１９経由又は動画像復号部１２経由で取得し、その動きベクトルを使用してフレーム指定された各参照フレームから基準フレームまでの動きベクトル値を算出する。なお、動きベクトル算出部１３内に動きベクトル補正部１３ａが内蔵されており、必要に応じて動きベクトル補正部１３ａが仮の動きベクトルを算出する。

算出された動きベクトル値は位置合わせ処理部１６に入力され、この動きベクトル値を用いて基準フレームと各参照フレームの位置合わせを行う。なお位置合わせ処理部１６は、メモリ１９に保存されている復号化されたフレーム画像へのアクセスが自由にできるようになっている。位置合わせを行った基準フレームと各参照フレームのデータは、高解像度画像生成部１８へ入力される。高解像度画像生成部１８は、位置合わせを行った基準フレームと各参照フレームのデータを用いて動画像復号部１２で復号化されたフレーム画像よりも解像度の高い高解像度画像を生成し、この高解像度画像をメモリ１９へ保存する。メモリ１９に保存された高解像度画像は、画像表示部２０に表示することができ、使用者は画像表示部２０で高解像度画像を確認することができる。

図２は、本実施形態に係る画像処理方法で行われる処理を示すフローチャートである。本実施形態に係る動画像データに記録されているフレーム画像間の動きベクトルを利用する画像処理方法では、まず動き情報付き動画像データ入力処理（Ｓ１０１）により動画像データの入力を行う。次に、入力した動画像データを動画像データ復号処理（Ｓ１０２）により動きベクトルと連続するフレーム画像へ復号化する。それから、使用者のフレーム指定に基づいてフレーム選択処理（Ｓ１０３）により、フレーム画像中の高解像度化の対象となる基準フレームと高解像度化に使用する参照フレームを選択する。そして動きベクトル算出処理（Ｓ１０４）において、Ｓ１０２の動画像データ復号処理で復号化された動きベクトルを用いて１または複数のフレーム画像間を画素ごとに追従することにより参照フレームから基準フレームへの動きベクトル値を算出する。それから基準フレームと参照フレームの位置合わせ処理（Ｓ１０５）を行って、高解像度画像生成処理（Ｓ１０６）により高解像度画像を生成する。

図３は、ＭＰＥＧ４の復号化処理ブロックの構成を示すブロック図である。本実施形態において図１の動画像復号部１２は、図３に示すＭＰＥＧ４の復号化処理ブロックにおける復号器１００と対応する。また動き情報付き動画像データは、図３の符号化信号１０８と対応する。復号器１００に入力された符号化信号１０８は、可変長復号化ブロック１０１で復号化され、映像データは逆量子化ブロック１０２へ、動き情報データは動きベクトル復号化ブロック１０５へそれぞれ出力される。その後、映像データは逆ＤＣＴ(Discrete Cosine Transform)ブロック１０３で逆ＤＣＴされる。動きベクトル符号化ブロック１０５で復号された動きベクトルは動き補償ブロック１０６でメモリ１０７に保存されている前のフレーム画像の対象ブロックに対し動き補償し、逆ＤＣＴされた映像データに加算することで復号画像１０９を生成する。

図４は、本実施形態のフレーム指定において使用者が基準フレームおよび参照フレームを指定する際の指定方法を示した図である。図４に示すように、基準フレームおよび参照フレームを指定するための表示画面２０１において、使用者は復号画像２０２の表示を復号画像表示フレーム切り替えつまみ２０３を動かしながら確認し、高解像度化したい基準フレームのフレーム番号を指定フレーム設定タブ２０４の基準フレーム設定タブ２０５に、高解像度化に使用する参照フレームのフレーム番号を使用フレーム設定タブ２０６に設定することで基準フレームおよび参照フレームを指定できる。

図５は、本実施形態の位置合わせ処理（Ｓ１０５）を行うための動きベクトル算出処理（Ｓ１０４）の概要を示した図である。図５に示すように、使用者のフレーム指定に基づいてフレーム選択処理（Ｓ１０３）で選択された基準フレームと使用する各参照フレームが持つ動きベクトル（図５のＭＶ１からＭＶ９）を方向を考慮して累積加算することで各参照フレームから基準フレームへの動きベクトル値を求め、その動きベクトル値で各参照画像を変形することで基準フレームと各参照フレームの位置合わせができる。これらの動きベクトル値を求める動きベクトル算出処理を、フレーム画像の各画素に対して行う。なお、これとは逆に、動きベクトル算出処理で求めた動きベクトル値の方向を全て反転した値で基準フレームを変形することで各参照フレームに対して位置合わせすることもできる。このように、各フレーム画像が持つ動きベクトルを用いて１または複数のフレーム画像間を画素ごとに追従することにより、あるフレーム画像から他のフレーム画像への動きベクトル値を求めて、複数のフレーム画像を位置合わせすることができる。

図６および図７は、図２の動きベクトル算出処理（Ｓ１０４）の内容を示すフローチャートである。なお図６における処理（１）乃至（９）の処理内容は、図９に示されている。また以下の説明において、Ｉとは「Ｉフレーム(Intra-coded Frame)／Ｉ-Ｐｉｃｔｕｒｅ／Ｉ−ＶＯＰ（Intra-coded Video Object Plane）」、Ｐとは「Ｐフレーム(Predicted Frame)／Ｐ−Ｐｉｃｔｕｒｅ／Ｐ−ＶＯＰ（Predicted Video Object Plane）」、Ｂとは「Ｂフレーム(Bidirectional predicted Frame)／Ｂ−Ｐｉｃｔｕｒｅ／Ｂ−ＶＯＰ（Bidirectional predicted Video Object Plane）」を示すものとし、フレーム画像のことを単にフレームと呼ぶものとする。なお、Ｉフレーム（Ｉ−ＶＯＰ）、Ｐフレーム（Ｐ−ＶＯＰ）およびＢフレーム（Ｂ−ＶＯＰ）については後に説明する。以下、動きベクトル算出処理（Ｓ１０４）について説明する。

動きベクトル算出処理（Ｓ１０４）における動きベクトル値の算出では、フレーム選択処理（Ｓ１０３）で選択された基準フレームと参照フレームのうち、基準フレーム以外のフレーム分（参照フレーム分）のループ（Ｓ０１、Ｓ２５）と各参照フレーム内全画素分のループ（Ｓ０２、Ｓ２４）で処理される。

ループ内処理として、まず対象フレーム・対象画素設定処理（Ｓ０３）で元対象フレームと対象フレームを参照フレームに、元対象画素と対象画素を参照フレーム内の対象画素に設定する。なおここで対象フレームとは、上記のように動きベクトルを用いて途中まで追従した画素（追従前の最初の画素を含む）がその時点で属しているフレームのことであり、元対象フレームとは、それ以前に追従中の画素が属していたフレームのことである。また対象画素とは、途中まで追従したその時点の画素（追従前の最初の画素を含む）のことであり、元対象画素とは、それ以前の追従中の画素のことである。

対象フレーム・対象画素設定処理（Ｓ０３）を行った後、対象フレームと基準フレームとの前後（時間の前後）関係を判定（Ｓ０４）し、処理（１）（Ｓ０５、Ｓ１２）で基準フレームの符号化タイプと処理（２）（Ｓ０６、Ｓ０７、Ｓ１３、Ｓ１４）で対象フレームの符号化タイプを判別する。

その後、各符号化タイプの組み合わせを考慮して処理（３）乃至（９）（Ｓ０８、Ｓ０９、Ｓ１０、Ｓ１１、Ｓ１５、Ｓ１６、Ｓ１７、Ｓ１８）で判別・選択処理を行う。図９に示すように処理（３）乃至（９）では動きベクトルを用いて対象フレームから基準フレームへ追従するために、対象画素に対応する画素を探索し所定の範囲内で対象画素に対応する画素の存在するフレームが見つかった場合には、追従先の画素としてその画素とその画素が存在するフレームを選択する。なお、処理（３）乃至（９）において対象画素に対応する画素が見つかった場合（ＹＥＳ）には、追従可能な動きベクトルが存在することとなる。

処理（３）乃至（９）（Ｓ０８、Ｓ０９、Ｓ１０、Ｓ１１、Ｓ１５、Ｓ１６、Ｓ１７、Ｓ１８）で、対象画素に対応する画素および対応するフレームが選択されない（ＮＯ）場合には図７に示す処理へ移り、ＮＯになった理由を判定（Ｓ２６）する。Ｓ２６において動きベクトルは存在したが対象画素に対応する画素が画像領域外であった場合には、動きベクトル値なし（Ｓ２９）として保存（Ｓ２３）し、参照フレーム内全画素分ループエンド（Ｓ２４）へ進む。Ｓ２６において対象画素に対応する画素が画像領域外でないが動きベクトルが存在しなかったと判定された場合には、動きベクトル補正処理（Ｓ２７、後に説明する）で仮の動きベクトルを算出する。その仮の動きベクトルでも対象画素に対応する画素が画像領域外であった場合には、動きベクトル値なしとなる（図１０参照）。動きベクトル補正処理（Ｓ２７）で仮の動きベクトルを算出した後、動きベクトル値の有無を判定（Ｓ２８）し、ない場合には動きベクトル値なし（Ｓ２９）として保存（Ｓ２３）し、参照フレーム内全画素分ループエンド（Ｓ２４）へ進む。Ｓ２８において動きベクトル値がある場合には、仮の動きベクトルを用いて動きベクトル値を更新（Ｓ１９）する。

処理（３）乃至（９）（Ｓ０８、Ｓ０９、Ｓ１０、Ｓ１１、Ｓ１５、Ｓ１６、Ｓ１７、Ｓ１８）で対象画素に対応する画素および対応するフレームが選択される（ＹＥＳ）場合には、動きベクトル値更新処理（Ｓ１９）で動きベクトルを方向を考慮して累積加算することにより動きベクトル値を更新する。

図８は、動きベクトル値更新処理（Ｓ１９）において動きベクトル値を更新する方法を示した図である。動きベクトル値を更新する方法には２種類あり、図８における更新方法Ａは、選択されたフレーム内の対象画素に対応する画素から対象フレームの対象画素への動きベクトルを方向を考慮して累積加算するものである。図８の更新方法Ｂは、対象フレームの対象画素から選択されたフレーム内の対象画素に対応する画素への動きベクトルを方向を考慮して累積加算するものである。更新方法の選択は、図８に示すように対象フレーム、選択されたフレームの符号化タイプと対象フレーム、基準フレームとの前後（時間の前後）関係から決定される。

その後、選択されたフレームと基準フレームの比較処理（Ｓ２０）を行い、一致していれば参照フレームの対象画素から基準フレームの対象画素に対応する画素までの動きベクトル値が求められたことになるのでその動きベクトル値を保存（Ｓ２３）し、参照フレーム内全画素分ループエンド（Ｓ２４）へ進む。一致していなければ、対象フレーム・対象画素更新処理（Ｓ２１）において対象フレームを処理（３）乃至（９）で選択されたフレームに更新し、対象画素を処理（３）乃至（９）で選択された画素に更新して、対象フレームと基準フレームの前後関係判定処理（Ｓ０４）へ戻る。これらのループ内処理を各参照フレーム内全画素分のループ（Ｓ０２、Ｓ２４）と参照フレーム分のループ（Ｓ０１、Ｓ２５）とで処理することにより動きベクトル算出処理（Ｓ１０４）を終了する。

図１０は、動きベクトル補正処理（Ｓ２７）の内容を示すフローチャートである。動きベクトル補正処理（Ｓ２７）では、まず動きベクトル補正種別を判定（Ｓ２０１）し、補正種別ごとに異なる仮の動きベクトルを算出する。なお補正種別は、例えば使用者が入力により設定するようにしてもよく、メーカーパラメーターなどで予め設定しておくようにしてもよい。

本実施形態の例では補正種別が０の場合、仮の動きベクトルを０とする（Ｓ２０２）。補正種別が１の場合は、仮の動きベクトルを対象画素の周辺ブロック（後に説明する）が持つ動きベクトルを重み付け平均することにより算出する（Ｓ２０３）。補正種別が２の場合は、仮の動きベクトルを対象画素の周辺画素が持つ動きベクトルを重み付け平均することにより算出する（Ｓ２０４）。補正種別が３の場合は、仮の動きベクトルを参照フレームの画素から対象画素までの動きベクトル値を算出するのに用いられた動きベクトルを重み付け平均することにより算出する（Ｓ２０５）。そしてＳ２０２乃至Ｓ２０５で算出された仮の動きベクトルによって追従を行い、追従先である対象画素に対応する画素とその画素が属するフレームを探索（Ｓ２０６）し、対象画素と対応する画素が画像領域外かどうかを判定（Ｓ２０７）する。対象画素と対応する画素が画像領域内なら仮の動きベクトルを動きベクトルとし（Ｓ２０８）、画像領域外なら動きベクトル値なし（Ｓ２０９）とする。

以上の動きベクトル算出処理（Ｓ１０４）の詳細を、いくつかのパターンを例に説明する。まずその説明の前提として、ＭＰＥＧ４によるフレームの符号化タイプと各符号化タイプ内のマクロブロック符号化タイプについて説明する。

ＭＰＥＧ４のフレームには、上記のようにＩ−ＶＯＰ、Ｐ−ＶＯＰ、Ｂ−ＶＯＰの３種類がある。Ｉ−ＶＯＰはイントラ符号化と呼び、Ｉ−ＶＯＰ自体の符号化時には、フレーム内で符号化が完結するため他のフレームとの予測を必要としない。Ｐ−ＶＯＰとＢ−ＶＯＰは、インター符号化と呼び、Ｐ−ＶＯＰ自体の符号化時には、前方のＩ−ＶＯＰまたはＰ−ＶＯＰから予測符号化をする。Ｂ−ＶＯＰ自体の符号化時には、双方向（前後方向）のＩ−ＶＯＰまたはＰ−ＶＯＰから予測符号化をする。

図１１は、動き補償時の予測方向と、動き補償によって各フレームが持つ（各フレーム内に符号化記録される）動きベクトルの方向（どのフレームに対する動きベクトルか）を例示する図である。なお図１１（ａ）は、動き補償時の予測方向を示しており、図１１（ｂ）は、図１１（ａ）の例において各フレームが持つ動きベクトルの方向を示している。また図１１（ｂ）の矢印は、基本的に図１１（ａ）の矢印と逆向きとなっている。

例えば、図１１（ａ）の左から４番目のＩ−ＶＯＰは他のフレーム予測には使用されるがＩ−ＶＯＰ自体の符号化に他のフレームからの予測は必要としない。つまり図１１（ｂ）に示すように、左から４番目のＩ−ＶＯＰからの動きベクトルは存在しないのでIＩ−ＶＯＰ自体は動きベクトルを持たない。

また図１１（ａ）の左から７番目のＰ−ＶＯＰは左から４番目のＩ−ＶＯＰから予測される。つまり図１１（ｂ）に示すように、左から７番目のＰ−ＶＯＰからの動きベクトルは左から４番目のＩ−ＶＯＰへの動きベクトルが存在するのでＰ−ＶＯＰ自体は動きベクトルを持つ。

さらに図１１（ａ）の左から５番目のＢ−ＶＯＰは左から４番目のＩ−ＶＯＰと左から７番目のＰ−ＶＯＰから予測される。つまり図１１（ｂ）に示すように左から５番目のＢ−ＶＯＰからの動きベクトルは左から４番目のＩ−ＶＯＰと左から７番目のＰ−ＶＯＰへの動きベクトルが存在するのでＢ−ＶＯＰ自体は動きベクトルを持つ。

しかし、ＭＰＥＧ４などの符号化はフレーム全体を一度に符号化するわけではなくフレーム内を複数のマクロブロックに分けて符号化をする。この際、各マクロブロックの符号化にはいくつかのモードが設けられているため、必ずしも上記のような方向への動きベクトルを持つとは限らない。

図１２は、各フレーム符号化タイプの各マクロブロック符号化モードと各モードにおいてそのマクロブロックが持つ動きベクトルを示す図である。図１２に示すように、Ｉ−ＶＯＰのマクロブロック符号化タイプはＩＮＴＲＡ（＋Ｑ）モードのみで１６×１６ピクセルのフレーム内符号化を行うので動きベクトルは存在しない。

Ｐ−ＶＯＰのマクロブロック符号化タイプはＩＮＴＲＡ（＋Ｑ）、ＩＮＴＥＲ（＋Ｑ）、ＩＮＴＥＲ４Ｖ、ＮＯＴ ＣＯＤＥＤの４種類のモードがある。ＩＮＴＥＲ（＋Ｑ）は１６×１６ピクセルのフレーム内符号化を行うので動きベクトルは存在しない。ＩＮＴＥＲ（＋Ｑ）は１６×１６ピクセルの前方向予測符号化を行うので前予測フレームへの動きベクトルを１つ持つ。ＩＮＴＥＲ４Ｖは１６×１６ピクセルを４分割した８×８ピクセルごとに前方向予測符号化を行うので前予測フレームへの動きベクトルを４つ持つ。ＮＯＴ ＣＯＤＥＤは前予測フレームとの差分が小さいため符号化せず、前予測フレームの同じ位置におけるマクロブロックの画像データをそのまま使用するので、実際には動きベクトルは持たないが、本実施形態においては前予測フレームへの動きベクトル値"０"を１つ持つと考えることができる。

Ｂ−ＶＯＰのマクロブロック符号化タイプはＩＮＴＥＲＰＯＬＡＴＥ、ＦＯＲＷＡＲＤ、ＢＡＣＫＷＡＲＤ、ＤＩＲＥＣＴの４種類のモードがある。ＩＮＴＥＲＰＯＬＡＴＥは１６×１６ピクセルの双方向予測符号化を行うので前後予測フレームへの動きベクトルをそれぞれ１つずつ持つ。ＦＯＲＷＡＲＤは１６×１６ピクセルの前方向予測符号化を行うので前予測フレームへの動きベクトルを１つ持つ。ＢＡＣＫＷＡＲＤは１６×１６ピクセルの後方向予測符号化を行うので後予測フレームへの動きベクトルを１つ持つ。ＤＩＲＥＣＴは１６×１６ピクセルを４分割した８×８ピクセルごとに前後方向予測符号化を行うので前後予測フレームへの動きベクトルをそれぞれ４つずつ持つ。

以上の前提を元に動きベクトル算出処理（Ｓ１０４）の詳細を、いくつかのパターンを例に図１３乃至図２０を用いて説明する。

図１３は、動きベクトル算出処理（Ｓ１０４）における追従の例を示す図である。図１３の例において、１フレーム目はＩ−ＶＯＰ、２フレーム目と３フレーム目はＰ−ＶＯＰであり、基準フレームを１フレーム目、参照フレームを３フレーム目とする。３フレーム目の参照フレーム内の対象画素を斜線の画素として、まずその対象画素が含まれるマクロブロックの持つ動きベクトルを探す。この例の場合、マクロブロック符号化タイプはＩＮＴＥＲでこのマクロブロックが持つ動きベクトルはＭＶ１なので対象画素の位置をＭＶ１を使って移動する。移動した画素の位置を２フレーム目のＰ−ＶＯＰのフレーム内の位置に対応させ、対応した２フレーム目の対象画素の位置に対して同様に対象画素が含まれるマクロブロックが持つ動きベクトルを探す。この例の場合、マクロブロック符号化タイプはＩＮＴＥＲ４Ｖでこのマクロブロックが持つ動きベクトルは４つ存在するが、対象画素が含まれている８×８ピクセルのブロックが持つ動きベクトルはＭＶ４なので追従中の対象画素の位置をさらにＭＶ４を使って移動する。そして移動した画素の位置を１フレーム目のＩ−ＶＯＰのフレーム内の位置に対応させる。この例の場合、１フレーム目が基準フレームなので、参照フレームの対象画素は基準フレームまで追従できたことになり、追従時に使用した初期値０とＭＶ１とＭＶ４を累積加算することで参照フレームの対象画素から基準フレームの対象画素に対応する画素までの動きベクトル値を求めることができる。

図１４は、動きベクトル算出処理（Ｓ１０４）における追従の他の例を示す図である。図１４の例において、１フレーム目はＩ−ＶＯＰ、２フレーム目と３フレーム目はＰ−ＶＯＰとし、基準フレームを３フレーム目、参照フレームを１フレーム目とする。１フレーム目の参照フレーム内の対象画素を斜線の画素として、まず１フレーム目への動きベクトルを持つ２フレーム目のＰ−ＶＯＰの全画素から１フレーム目の対象画素に対応する画素を探す。対応する画素が見つかったら、その画素が含まれる２フレーム目のマクロブロックが持つ動きベクトル（この例の場合ＩＮＴＥＲ４ＶでＭＶ３）の方向を反転した−ＭＶ３で対象画素の位置を移動し、移動した画素の位置を２フレーム目のＰ−ＶＯＰのフレーム内の位置に対応させ、対応した２フレーム目の対象画素の位置に対して同様に３フレーム目のＰ−ＶＯＰの全画素から２フレーム目の対象画素に対応する画素を探す。対応する画素が見つかったらその画素が含まれる３フレーム目のマクロブロックが持つ動きベクトル（この例の場合ＩＮＴＥＲでＭＶ５）の方向を反転した−ＭＶ５で対象画素の位置を移動し、移動した画素の位置を３フレーム目のＰ−ＶＯＰのフレーム内の位置に対応させる。この例の場合、３フレーム目が基準フレームなので、参照フレームの対象画素は基準フレームまで追従できたことになり、追従時に使用した初期値０と−ＭＶ３と−ＭＶ５を累積加算することで参照フレームの対象画素から基準フレームの対象画素に対応する画素までの動きベクトル値を求めることができる。

図１５は、図１４の例において対象画素に対応する画素および動きベクトルを探す方法を示す図である。なお図１５では、図１４のような例において１フレーム目への動きベクトルを持つ２フレーム目のＰ−ＶＯＰの全画素から１フレーム目の対象画素に対応する画素を探す方法や、３フレーム目のＰ−ＶＯＰの全画素から２フレーム目の対象画素に対応する画素を探す方法について示している。図１５の例では、左から４番目の参照フレーム（Ｉ−ＶＯＰ）の対象画素が左から７番目の基準フレーム（Ｐ−ＶＯＰ）のどの画素と対応するか、およびその画素が含まれるマクロブロックが持つ動きベクトル（図１５のＭＶ１）を探す。

図１５（ａ）のように、まず基準フレーム（Ｐ）の全てのマクロブロック（全画素）を各マクロブロック（全画素）が持つ動きベクトルで位置を移動する。移動した結果が図１５（ａ）の左図である。この位置移動された画像領域内において、参照フレームの対象画素がどの位置にあたるかをマークし、その位置にある基準フレームを移動させた画素が対象画素に対応する画素となる。図１５（ａ）の例では、マクロブロック２の中のある一つの画素が対象画素に対応する画素となるため、元のマクロブロック２内の対応する画素とマクロブロック２の動きベクトルが選択される。このようにして対象画素と対応する画素を探すことができる。

図１５（ｂ）は、対象画素をマークした位置に基準フレームを移動した画素が複数存在する場合であり、どれを選択してもよい。例えば図１５（ｂ）の例では、対象画素をマークした位置がマクロブロック１と６のある画素に対応しているが、マクロブロック１の方が中心に近いのでマクロブロック１内の対応する画素を選択するようにしてもよい。また処理の都合上、ラスタスキャン順に処理を行いフラグを上書きしているような場合には、順番の遅いマクロブロック６を選択するようにしてもよい。

図１６は、動きベクトル算出処理（Ｓ１０４）で動きベクトル補正処理（Ｓ２７）が必要な場合と動きベクトル補正処理（Ｓ２７）における補正方法を示した図である。図１６（ａ）の動きベクトル補正処理が必要な場合では、参照フレームから基準フレームまで各画素が持つ動きベクトルによって対象画素を追従中にＰフレーム内の動きベクトルを持たないＩＮＴＲＡブロックが存在するため、基準フレームまでの追従が途絶える。このような場合に、本実施形態の動きベクトル補正処理（Ｓ２７）によって左から３番目のＰフレームの対象画素から左から２番目のＰフレームへの仮の動きベクトルを算出して、追従を続けられるようにする。

図１６（ｂ）の第１の補正方法では、左から３番目のＰフレーム内の対象画素の仮の動きベクトルを０とすることにより追従を続ける。

図１６（ｃ）の第２の補正方法では、左から３番目のＰフレーム内の対象画素の仮の動きベクトルを対象画素が含まれるブロックの周辺ブロックが持つ動きベクトルを重み付け平均することにより算出して追従を続ける。その際の仮の動きベクトルの算出方法を式（１）に示す。

なお式（１）において、ＭＶは仮の動きベクトル、ｉは周辺ブロックの識別番号、ｎは周辺ブロックの総ブロック数、αｉは重み係数、ＭＶｉは周辺ブロックが持つ動きベクトルである。例えば、図１６（ｃ）において左から３番目のＰフレーム内の対象画素が含まれるブロックの周辺ブロックが持つ動きベクトルをＭＶ５からＭＶ１２とすると、ＭＶ５からＭＶ１２を重み付け平均することにより仮の動きベクトルを求める。

図１６（ｄ）の第３の補正方法では、左から２番目のＰフレーム内の対象画素の仮の動きベクトルを、参照フレームの元対象画素から対象画素までの動きベクトル値を算出するのに用いられた動きベクトル（図１６（ｄ）のＭＶ１、ＭＶ２、ＭＶ３）を重み付け平均することにより算出して追従を続ける。その際の仮の動きベクトルの算出方法を式（２）に示す。

なお式（２）において、ＭＶは仮の動きベクトル、ｎは参照フレームの元対象画素から対象画素までの動きベクトル値を算出するのに用いられた動きベクトルの識別番号、ｍは参照フレームの元対象画素から対象画素までの動きベクトル値を算出するのに用いられた動きベクトルの総数、αｉは重み係数、ＭＶｎは参照フレームの元対象画素から対象画素までの動きベクトル値を算出するのに用いられた動きベクトルである。例えば図１５（ｄ）では、参照フレームの元対象画素から左から２番目のＰフレーム内の対象画素までの動きベクトル値を算出するのに用いられた動きベクトルは図１６（ｄ）のＭＶ１、ＭＶ２、ＭＶ３であるので、このＭＶ１、ＭＶ２、ＭＶ３を重み付け平均することにより仮の動きベクトルを求める。

図１７は、動きベクトル補正処理（Ｓ２７）における重み係数の設定例を示す図である。図１７（ａ）は、図１６の第２の補正方法に適用でき、注目している対象画素と仮の動きベクトルの算出に利用する周辺ブロックの中心までの距離に応じて重み係数を決める例である。このとき、距離が近いほど相関性が高いと予想できるので高い重み係数を付加し、距離が遠いほど低い重み係数を付加する。

図１７（ｂ）は、図１６の第２の補正方法に適用でき、仮の動きベクトルの算出に利用する周辺ブロックが持つ動きベクトルを例えば９方向に分別（方向の分別方法は後に説明する）して統計をとり、統計量（総数）に応じて重み付けし、統計量が多い方向と同一の方向を持つブロックに対しては高い重み係数を付加し、統計量が少ない方向と同一の方向を持つブロックに対しては低い重み係数を付加する。

図１７（ｃ）は、図１６の第２の補正方法に適用でき、図１７（ｂ）の例によって得た統計量が一番多い方向との向きの差（向きの差の決定方法は後に説明する）に応じて重み付けし、向きの差が小さいほど高い重み係数を付加し、向きの差が大きいほど低い重み係数を付加する。

図１７（ｄ）は、図１６の第３の補正方法に適用でき、対象画素が含まれるフレームと仮の動きベクトルの算出に利用する動きベクトルを持つフレームとの時間的距離に応じて重み付けし、時間的距離が近いほど高い重み係数を付加し、時間的距離が遠いほど低い重み係数を付加する。

図１８は、動きベクトル補正処理（Ｓ２７）において重み係数を設定する際の方向分別と向きの差を示す図である。図１８（ａ）は、動きベクトルを９方向に分別する際の分類例を示しており、動きベクトルが０の場合は方向８としている。図１８（ｂ）のように動きベクトルが方向０と方向１の間にある場合は、近い方に近似して方向を分別する。

図１８（ｃ）は、方向と統計量による重み係数の設定例を示しており、例えば周辺ブロックの８ブロックが持つ動きベクトルを各９方向に分別し、方向０が１ブロック、方向１が４ブロック、方向２が２ブロック、方向５が１ブロックと統計量が求められたとする。重み係数をそれぞれ図１８（ｃ）のようにα１からα４とした場合、図１７（ｂ）のように利用する周辺ブロックの動きベクトルの向きが同一の個数によって重み付けする場合には、α１≧α２≧α３＝α４という大小関係で重み係数を決定する。

図１７（ｃ）のように利用する周辺ブロックの動きベクトルの向きが同一の個数が一番多いものの向きとの差によって重み付けするときは、α１≧α２＝α３＞α４という大小関係で重み係数を決定する。ここでの向きの差の考え方について、図１８（ｄ）に示すように、例えば周辺ブロックの動きベクトルの向きが同一の個数が一番多いものの向きが方向１だとした場合に、方向０と方向２は方向１との向きが他の方向よりも近いので、差を１とする。同様の考え方から方向７と方向３は差を２、方向６と方向４は差を３、方向５は差を４とし、方向８は差を１．５とする。このような考え方に基づいて重み係数を決定することもできる。なお、この例では動きベクトルの向きが同一の個数が一番多いもの以外については動きベクトルの個数を考慮していないが、例えば統計量の多い方向２の重み係数を統計量の少ない方向０の重み係数よりも大きくして、α１≧α２＞α３＞α４という大小関係で重み係数を決定するようにしてもよい。また図１７に示す４パターンの重み付けによる動きベクトル補正処理をそれぞれ組み合わせて使用してもよく、さらに周辺ブロックに対する処理を周辺画素に対して行ってもよい。

図１９は、追従中に対象画素に対応する画素が画像領域外になる例を示した図である。図１９の例では、動きベクトル算出処理（Ｓ１０４）において左から１０番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素が左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素と動きベクトルＭＶ３で対応している。しかし、左から４番目のＩ−ＶＯＰまでは動きベクトルがないわけではないが、例えば左から７番目の対象画素が持つ動きベクトルＭＶ２で位置を移動してみると、画像領域の範囲外に移動してしまうため追従できず、参照フレームの元対象画素から基準フレームの対象画素と対応する画素までの動きベクトル値は存在しない。

図２０は、対象画素に対応する画素が画像領域の範囲外に移動してしまう原因について示す図である。図２０は、ＭＰＥＧ１、ＭＰＥＧ２とＭＰＥＧ４の予測符号化時における予測用参照画像への参照方法の違いについて示しており、ＭＰＥＧ１、ＭＰＥＧ２の場合には、対象画像のマクロブロックは予測用参照画像の画像領域内におさまっていなければならなかったが、ＭＰＥＧ４の場合は、画像領域内に参照マクロブロックが全ておさまっていなくてもよいという無制限動きベクトル手法が取り入れられたため、追従中の画素が画像領域の範囲外に移動してしまうことがある。

図２１は、位置合わせ処理部１６で行われる位置合わせ処理（Ｓ１０５）と高解像度画像生成部１８で行われる高解像度画像生成処理（Ｓ１０６）のアルゴリズムを示すフローチャートである。以下、図２１に示すアルゴリズムの流れに添って位置合わせ処理（Ｓ１０５）および超解像処理を用いた高解像度画像生成処理（Ｓ１０６）の説明を行う。

まず、基準フレームの画像データと参照フレームの画像データを読み込む（Ｓ３０１）。なお参照フレームは、フレーム指定およびフレーム選択処理（Ｓ１０３）において複数枚を選択するようにし、Ｓ３０１において複数枚分の参照フレームの画像データを読み込むのが望ましい。次に、基準フレームを高解像度画像生成処理のターゲット画像として、このターゲット画像に対しバイリニア補間やバイキュービック補間等の補完処理を行って初期画像ｚ₀を作成する（Ｓ３０２）。なおこの補間処理は、場合により省略することができる。

それから、動きベクトル算出処理（Ｓ１０４）で算出された動きベクトル値を画像変位量として、ターゲット画像と参照フレームとの間の画素対応関係を明らかにし、ターゲット画像の拡大座標を基準とする座標空間において重ねあわせ処理を行って、レジストレーション画像ｙを生成する（Ｓ３０３）。なおここでｙは、レジストレーション画像の画像データを表すベクトルである。このレジストレーション画像ｙは、位置合わせ処理部１６が位置合わせ処理（Ｓ１０５）を行うことにより生成する。レジストレーション画像ｙを生成する方法の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Computer Vision and Image Media(CVIM) Vol.2004、No.113、pp.97-104 (2004-11)」に開示されている。Ｓ３０３における重ねあわせ処理は、例えば複数枚の参照フレームの各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。なお本実施形態では、ターゲット画像（基準フレーム）と参照フレームとの間の画像変位量として、動きベクトル算出処理（Ｓ１０４）で算出された動きベクトル値を用いる。

次に、光学伝達関数(ＯＴＦ、Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ)、ＣＣＤアパーチャ（ＣＣＤ開口）等の撮像特性を考慮した点広がり関数(ＰＳＦ、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)を求める（Ｓ３０４）。このＰＳＦは、以下の式（３）における行列Ａに反映され、例えば簡易的にＧａｕｓｓ関数を用いることができる。それから、Ｓ３０３で生成されたレジストレーション画像ｙとＳ３０４で求められたＰＳＦを用いて、以下の式（３）で表される評価関数ｆ（ｚ）の最小化を行い（Ｓ３０５）、ｆ（ｚ）が最小化されたかどうかを判定する（Ｓ３０６）。

式（３）において、ｙはＳ３０３で生成されたレジストレーション画像の画像データを表す列ベクトル、ｚはターゲット画像を高解像度化した高解像度画像の画像データを表す列ベクトル、Ａは光学系の点像分布関数、サンプリング開口によるぼけ、カラーモザイクフィルタ（ＣＦＡ）による各色コンポネント等を含めた撮像システムの特性をあらわす画像変換行列である。また、ｇ（ｚ）は画像の滑らかさや画像の色の相関等を考慮した正則化項であり、λは重み係数である。式（３）で表される評価関数ｆ（ｚ）の最小化には、例えば最急降下法を用いることができる。最急降下法を用いる場合には、ｆ（ｚ）をｚの各要素で偏微分した値を計算して、それらの値を要素とするベクトルを生成する。そして以下の式（４）に示すように、偏微分した値を要素とするベクトルをｚに付加することにより、高解像度画像ｚを更新させていき（Ｓ３０７）、ｆ（ｚ）が最小となるｚを求める。

式（４）において、ｚ_nはｎ回目の更新を行った高解像度画像の画像データを表す列ベクトルであり、αは更新量の歩み幅である。なお、最初のＳ３０５の処理では、高解像度画像ｚとしてＳ３０２で求められた初期画像ｚ₀を用いることができる。Ｓ３０６においてｆ（ｚ）が最小化されたと判定された場合には処理を終了し、そのときのｚ_nを最終的な高解像度画像としてメモリ１９等に記録する。このようにして、基準フレームや参照フレームなどのフレーム画像よりも解像の高い高解像度画像を得ることができる。

図２２は、高解像度画像生成部１８の構成例を示すブロック図である。なお図２２では、動きベクトル算出部１３および位置合わせ処理部１６を含めて示している。ここで、高解像度画像生成部１８等で行われる位置合わせ処理（Ｓ１０５）および超解像処理を用いた高解像度画像生成処理（Ｓ１０６）についてさらに説明する。図２２に示すように高解像度画像生成部１８は、補間拡大部３０１、画像蓄積部３０２、ＰＳＦデータ保持部３０３、畳込み積分部３０４、画像比較部３０６、畳込み積分部３０７、正則化項演算部３０８、更新画像生成部３０９、収束判定部３１０を備えている。また位置合わせ処理部１６は、レジストレーション画像生成部３０５を備えている。

はじめに、メモリ１９に保存された複数枚のフレームのうちフレーム選択処理（Ｓ１０３）において選択された基準フレームを高解像度画像生成処理のターゲット画像として補間拡大部３０１に与え、ターゲット画像の補間拡大を行う（図２１のＳ３０２に対応）。ここで用いられる補間拡大の方法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。補間拡大部３０１において補間拡大されたターゲット画像は、例えば初期画像ｚ₀として画像蓄積部３０２に送られ、ここに蓄積される。次に、補間拡大されたターゲット画像は畳込み積分部３０４に与えられ、ＰＳＦデータ保持部３０３により与えられるＰＳＦデータ（式（３）の画像変換行列Ａに相当）との間で畳込み積分が行われる。

また、メモリ１９に保存された参照フレームは、レジストレーション画像生成部３０５に与えられ、動きベクトル算出部１３により算出された動きベクトル値を画像変位量としてターゲット画像の拡大座標を基準とする座標空間で重ねあわせ処理を行うことにより、レジストレーション画像ｙが生成される（図２１のＳ３０３に対応）。レジストレーション画像生成部３０５における重ねあわせ処理は、例えば複数枚の参照フレームの各ピクセル値と、ターゲット画像の拡大座標との間で画素位置の対応付けを行い、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていくことで行われる。このとき、同一の格子点上に複数のピクセル値をおく場合があるが、その場合にはそれらのピクセル値に対して平均化処理を実施する。

畳込み積分部３０４において畳込み積分された画像データ（ベクトル）は画像比較部３０６に送られ、レジストレーション画像生成部３０５において生成されたレジストレーション画像ｙとの間で、同一のピクセル位置におけるピクセル値の差分を算出することにより、差分画像データ（式（３）の（ｙ−Ａｚ）に相当）が生成される。画像比較部３０６において生成された差分画像データは畳込み積分部３０７に与えられ、ＰＳＦデータ保持部３０３により与えられるＰＳＦデータとの間で畳込み積分が行われる。畳込み積分部３０７は、例えば式（３）における画像変換行列Ａの転置行列と差分画像データを表す列ベクトルとを畳込み積分することにより、式（３）の‖ｙ−Ａｚ‖²をｚの各要素で偏微分したベクトルを生成する。

また、画像蓄積部３０２に蓄積された画像は正則化項演算部３０８に与えられ、式（３）における正則化項ｇ（ｚ）が求められると共に、正則化項ｇ（ｚ）をｚの各要素で偏微分したベクトルが求められる。正則化項演算部３０８は、例えば、画像蓄積部３０２に蓄積された画像データに対して、ＲＧＢからＹＣ_rＣ_bの色変換処理を行い、そのＹＣ_rＣ_b成分（輝度成分と色差成分）に対して周波数高域通過フィルタ（ラプラシアンフィルタ）を畳込み積分したベクトルを求める。そして、このベクトルの二乗ノルム（長さの二乗）を正則化項ｇ（ｚ）として、ｇ（ｚ）をｚの各要素で偏微分したベクトルを生成する。Ｃ_r、Ｃ_b成分（色差成分）にラプラシアンフィルタを掛けると偽色の成分が抽出されるため、正則化項ｇ（ｚ）を最小化することにより偽色の成分を除去することができる。このため、式（３）に正則化項ｇ（ｚ）を含めることで「一般に画像の色差成分は滑らかな変化である」という画像の先験情報を用いることとなり、色差を抑制した高解像度画像を安定して求めることが可能となる。

畳込み積分部３０７で生成された画像データ（ベクトル）、画像蓄積部３０２に蓄積された画像データ（ベクトル）、正則化項演算部３０８で生成された画像データ（ベクトル）は、更新画像生成部３０９に与えられる。更新画像生成部３０９では、これらの画像データ（ベクトル）が式（３）、式（４）に示すλ、α等の重み係数を乗じて加算され、更新された高解像度画像が生成される（式（４）に対応）。

それから、更新画像生成部３０９において更新された高解像度画像は、収束判定部３１０へ与えられ、収束判定が行われる。この収束判定では、収束にかかった繰り返し演算回数が一定回数よりも多くなった場合に高解像度画像の更新作業が収束したと判断しても良いし、また、過去に更新された高解像度画像を記録しておき、現在の高解像度画像との差分を取って、その更新量が一定の値よりも少ないと判断された場合に高解像度画像の更新作業が収束したと判断しても良い。

収束判定部３１０において更新作業が収束したと判断された場合には、更新された高解像度画像は最終的な高解像度画像としてメモリ１９等に保存される。更新作業が収束していないと判断された場合には、更新された高解像度画像は画像蓄積部３０２へ与えられ、次回の更新作業に利用される。この高解像度画像は、次回の更新作業のために畳込み積分部３０４、正則化項演算部３０８へ与えられる。以上の処理を繰り返し、更新画像生成部３０９で高解像度画像を更新していくことで、良好な高解像度画像を得ることができる。なお本実施形態では、高解像度画像生成処理（Ｓ１０６）において高解像度画像を生成するようにしているが、例えば高解像度画像生成処理（Ｓ１０６）の代わりに、ランダムノイズを低減させるような加重平均による平滑化処理を行ってフレーム画像を高画質化するようにしてもよい。

本実施形態では、対応する画素を追従中に動きベクトルが存在しない場合でも、仮の動きベクトルを算出することによりあるフレーム画像から他のフレーム画像への動きベクトル値を少ない誤差で求めることができるため、フレーム画像の位置合わせや高解像度画像の生成等を高精度に行うことが可能となる。

（実施形態２）
図２３は、本発明の実施形態２に係る動きベクトル補正処理における補正方法を示した図である。なお、本実施形態に係る画像処理装置の構成および画像処理方法の内容は、以下に示す点を除いて実施形態１に係る画像処理方法および画像処理装置と同様であり、異なる部分についてのみ説明する。

本実施形態では、実施形態１の図１６（ｃ）と同様に対象画素が含まれるブロックの周辺ブロックが持つ動きベクトルを重み付け平均することにより仮の動きベクトルを算出するが、実施形態１よりも多数の周辺ブロックを用いている。図２３の例では、中心のＩＮＴＲＡブロックの仮の動きベクトルを、周辺ブロックの動きベクトルＭＶ１乃至ＭＶ２４を重み付け平均（式（１）参照）することにより算出する。

本実施形態では、周辺ブロックが持つ動きベクトルを多数用いて仮の動きベクトルを算出するため、さらに精度の高い仮の動きベクトルを求めることができる。その他の効果については実施形態１に係る画像処理方法および画像処理装置と同様である。

（実施形態３）
図２４は、本発明の実施形態３に係る動きベクトル補正処理における補正方法を示した図である。なお、本実施形態に係る画像処理装置の構成および画像処理方法の内容は、以下に示す点を除いて実施形態１に係る画像処理方法および画像処理装置と同様であり、異なる部分についてのみ説明する。

図２４には、フレーム選択処理（Ｓ１０３）とフレーム構造によって画素の追従ができない場合を示している。図２４の例では、右から３番目のＢフレームが参照フレームで基準フレームまで追従する際に、注目している対象画素が含まれるブロックがＢＡＣＫＷＡＲＤ符号化のため動きベクトルを持っているが、この動きベクトルは右から１番目のＰフレームへの動きベクトルである。この場合、一旦右から１番目のＰフレームへ追従し、次に右から４番目のＰフレームへと追従する方法が考えられるが、図２４の例の場合、フレーム指定およびフレーム選択処理で右から１番目のＰフレームを使用できるフレーム（参照フレーム）として選択していないため、使用することができない。
注目している右から３番目のＢフレームの対象画素が含まれるブロックの周辺ブロックにはＦＯＲＷＡＲＤ、ＩＮＴＥＲＰＯＬＡＴＥ、ＤＩＲＥＣＴなどの符号化によるブロックがあり、それらのブロックが持つ動きベクトルは、右から４番目のＰフレームへの動きベクトルである。これらの動きベクトルを図１６（ｃ）の第２の補正方法によって処理することにより、中心のＢＡＣＫＷＡＲＤ符号化の仮の動きベクトルを求めることができる。

本実施形態では、フレーム構造等により画素の追従ができない場合でも周辺ブロックが持つ動きベクトルを用いて仮の動きベクトルを算出するため、参照フレームから基準フレームへの動きベクトル値を少ない誤差で求めることができる。その他の効果については実施形態１に係る画像処理方法および画像処理装置と同様である。

（実施形態４）
図２５は、本発明の実施形態４に係る動きベクトル補正処理における補正方法を示した図である。なお、本実施形態に係る画像処理装置の構成および画像処理方法の内容は、以下に示す点を除いて実施形態１に係る画像処理方法および画像処理装置と同様であり、異なる部分についてのみ説明する。

図２５の例では、右から１番目の参照フレームから基準フレームへ追従するが、右から３番目のＩフレームにおいてＩＮＴＲＡブロックとなるため、動きベクトルが存在せず追従を続けることができない。このため、まず図１６に示す第１から第３の補正方法のいずれかの補正方法によって仮の動きベクトルＭＶを算出して、このＭＶで追従を続ける。例えば図１６（ｄ）の第３の補正方法を用いる場合は、図２５のＭＶ１とＭＶ２を重み付け平均することにより仮の動きベクトルＭＶを求める。

そしてＭＶで次のフレームに追従した後、さらに１フレーム分以上追従（図２５の例では２フレーム分）を続けてから、この１フレーム分以上追従したときの動きベクトル（図２５のＭＶ３、ＭＶ４）を用いて仮の動きベクトルＭＶを更新する。例えば本実施形態では、追従に使用したＭＶ１、ＭＶ２、ＭＶ３およびＭＶ４を重み付け平均することでＩＮＴＲＡブロックの仮の動きベクトルＭＶを少なくとも１回以上更新し、その度に追従を繰り返す。この際、仮の動きベクトルを任意回数更新してもよいし、仮の動きベクトルＭＶが収束するまで繰り返してもよい。

本実施形態では、第１乃至第３の補正方法のいずれかの補正方法によって仮の動きベクトルを算出し、この仮の動きベクトルを用いて追従を続け、さらに１フレーム分以上追従を続けてからこの１フレーム分以上追従を続けたときの動きベクトルを用いて仮の動きベクトルを更新するため、さらに精度の高い仮の動きベクトルを求めることができる。その他の効果については実施形態１に係る画像処理方法および画像処理装置と同様である。

（実施形態５）
図２６は、本発明の実施形態５に係る動きベクトル補正処理における補正方法を示した図である。なお、本実施形態に係る画像処理装置の構成および画像処理方法の内容は、以下に示す点を除いて実施形態１に係る画像処理方法および画像処理装置と同様であり、異なる部分についてのみ説明する。

図２６の例では、右から１番目の参照フレームから基準フレームへ追従するが、右から３番目のＩフレームにおいてＩＮＴＲＡブロックとなるため、動きベクトルが存在せず追従を続けることができない。このため、まず図１６に示す第１から第３の補正方法のいずれかの補正方法によって仮の動きベクトルＭＶを算出して、このＭＶで追従を続ける。例えば図１６（ｄ）の第３の補正方法を用いる場合は、図２５のＭＶ１とＭＶ２を重み付け平均することにより仮の動きベクトルＭＶを求める。

そしてＭＶで次のフレームに追従した後、さらに１フレーム分以上追従（図２５の例では２フレーム分）を続けてから、この１フレーム分以上追従したときの動きベクトル（図２５のＭＶ３、ＭＶ４）を重み付け平均することにより、仮の動きベクトルＭＶに対応する逆方向の動きベクトルＭＶ５を算出する。それから、この逆方向の動きベクトルＭＶ５を用いて右から２番目のＰフレームから右から３番目のＩフレームに逆向きに追従し、逆向きに追従した画素の位置が、元の画素（対象画素）の位置と一致したら上記の第１から第３の補正方法のいずれかの補正方法によって求めたＭＶを正式に仮の動きベクトルとして追従を続ける。元の画素の位置と一致しなければ動きベクトルなしとする。

本実施形態では、追従を続けたときの動きベクトルを重み付け平均して逆方向の動きベクトルを算出し、この逆方向の動きベクトルで逆向きに追従して元の画素と一致した場合のみ仮の動きベクトルを追従に用いるため、精度の高い仮の動きベクトルのみを用いて追従を行うことができる。その他の効果については実施形態１に係る画像処理方法および画像処理装置と同様である。

（実施形態６）
図２７は、本発明の実施形態６に係る動きベクトル補正処理における補正方法を示した図である。なお、本実施形態に係る画像処理装置の構成および画像処理方法の内容は、以下に示す点を除いて実施形態１に係る画像処理方法および画像処理装置と同様であり、異なる部分についてのみ説明する。

図２７の例では、右から１番目の参照フレームから基準フレームへ追従するが、右から３番目のＩフレームにおいてＩＮＴＲＡブロックとなるため、動きベクトルが存在せず追従を続けることができない。このため、まず図１６に示す第１から第３の補正方法の補正方法によって３つの仮の動きベクトルＭＶを算出して、それぞれのＭＶで追従を続ける。

図２７（ａ）の例では、図１６（ｂ）の第１の補正方法を用い仮の動きベクトルを０とする。また図２７（ｂ）の例では、図１６（ｃ）の第２の補正方法を用い周辺ブロックが持つ動きベクトルを重み付け平均することにより仮の動きベクトルＭＶを算出する。さらに図２７（ｃ）の例では、図１６（ｄ）の第３の補正方法を用い図２５のＭＶ１とＭＶ２を重み付け平均することにより仮の動きベクトルＭＶを求める。

そしてそれぞれのＭＶで次のフレームに追従した後、さらに１フレーム分以上追従（図２５の例では２フレーム分）を続けてから、この１フレーム分以上追従したときの動きベクトルを重み付け平均することにより、仮の動きベクトルＭＶに対応する逆方向の動きベクトルＭＶ５、ＭＶ９、ＭＶ１３をそれぞれ算出する。このとき、図２７（ａ）ではさらに１フレーム分以上追従したときのＭＶ３とＭＶ４を、図２７（ｂ）ではＭＶ７とＭＶ８を、図２７（ｃ）ではＭＶ１１とＭＶ１２を重み付け平均することでそれぞれＭＶ５、ＭＶ９、ＭＶ１３を算出する。

それから、この逆方向の動きベクトルＭＶ５、ＭＶ９、ＭＶ１３を用いて右から２番目のＰフレームから右から３番目のＩフレームに逆向きに追従し、逆向きに追従した画素の位置が、元の画素（対象画素）の位置と一致する逆方向の動きベクトルＭＶ５、ＭＶ９、ＭＶ１３を探し、一致する逆方向の動きベクトルが求められたＭＶを正式に仮の動きベクトルとして追従を続ける。元の画素の位置と一致する逆方向の動きベクトルがなければ、動きベクトルなしとする。

本実施形態では、第１乃至第３の３つの補正方法を用いて追従を続けたときの動きベクトルを重み付け平均して逆方向の動きベクトルを算出し、３つの逆方向の動きベクトルで逆向きに追従して元の画素と一致したものを正式な仮の動きベクトルとして追従に用いるため、精度の高い仮の動きベクトルを選択して追従を行うことができる。その他の効果については実施形態１に係る画像処理方法および画像処理装置と同様である。

（実施形態７）
図２８は、本発明の実施形態７に係る動きベクトル補正処理の内容を示すフローチャートである。図２８に示す動きベクトル補正処理は、実施形態１の動きベクトル算出処理（Ｓ１０４、図２参照）における動きベクトル補正処理（Ｓ２７、図７参照）として行われるものとする。なお、本実施形態に係る画像処理装置の構成および画像処理方法の内容は、以下に示す点を除いて実施形態１に係る画像処理方法および画像処理装置と同様であり、異なる部分についてのみ説明する。

本実施形態に係る動きベクトル補正処理では、まず追従先の画素（対象画素に対応する画素）が含まれるフレームがＧＯＰ構造設定に反したイントラ符号化フレームかどうかを判定することでシーンチェンジ判定（Ｓ４０１）を行う。このシーンチェンジ判定（Ｓ４０１）では、ＭＰＥＧ等の符号化された動き情報付き動画像データに記録されているデータに基づいて、符号化種別を判定することでシーンチェンジによるイントラ符号化フレームかどうかを判定し、シーンチェンジによるイントラ符号化フレームの場合は動きベクトルなし（Ｓ４１０）とし、シーンチェンジによるイントラ符号化フレームでない場合にはＳ４０２以下の処理で仮の動きベクトルを算出する。

シーンチェンジ判定（Ｓ４０１）において追従先の画素が含まれるフレームがシーンチェンジによるイントラ符号化フレームでないと判定された場合には、動きベクトル補正種別を判定（Ｓ４０２）し、補正種別ごとに異なる仮の動きベクトルを算出する。なお補正種別は、例えば使用者が入力により設定するようにしてもよく、メーカーパラメーターなどで予め設定しておくようにしてもよい。

本実施形態では実施形態１と同様に補正種別が０の場合、仮の動きベクトルを０とする（Ｓ４０３）。補正種別が１の場合は、仮の動きベクトルを対象画素の周辺ブロックが持つ動きベクトルを重み付け平均することにより算出する（Ｓ４０４）。補正種別が２の場合は、仮の動きベクトルを対象画素の周辺画素が持つ動きベクトルを重み付け平均することにより算出する（Ｓ４０５）。補正種別が３の場合は、仮の動きベクトルを参照フレームの画素から対象画素までの動きベクトル値を算出するのに用いられた動きベクトルを重み付け平均することにより算出する（Ｓ４０６）。そしてＳ４０３乃至Ｓ４０６で算出された仮の動きベクトルによって追従を行い、追従先である対象画素に対応する画素とその画素が属するフレームを探索（Ｓ４０７）し、対象画素と対応する画素が画像領域外かどうかを判定（Ｓ４０８）する。対象画素と対応する画素が画像領域内なら仮の動きベクトルを動きベクトルとし（Ｓ４０９）、画像領域外なら動きベクトル値なし（Ｓ４１０）とする。

本実施形態では、シーンチェンジ判定（Ｓ４０１）を行い、追従先の画素が含まれるフレームがシーンチェンジによるイントラ符号化フレームかどうかを判定するため、追従ができないシーンチェンジ後のフレームについて仮の動きベクトルの算出を省略することができ、シーンチェンジによるイントラ符号化フレームでない場合には仮の動きベクトルを用いて追従を行うことが可能となる。その他の効果については実施形態１に係る画像処理方法および画像処理装置と同様である。

なお、本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。例えば、上記の実施形態では画像処理装置１の位置合わせ処理部１６と高解像度画像生成部１８を別々に設けているがこれらを一体としてもよく、また画像処理装置１の構成は図１に示すものに限定されない。さらに上記の実施形態では、高解像度画像生成部１８において超解像処理による高解像度画像生成処理（Ｓ１０６）を行っているが、超解像処理以外の高解像度化処理を行うようにしてもよい。

本発明の実施形態１に係る画像処理方法を実施する画像処理装置の構成を示すブロック図である。 実施形態１に係る画像処理方法で行われる処理を示すフローチャートである。 ＭＰＥＧ４の復号化処理ブロックの構成を示すブロック図である。 実施形態１のフレーム指定において使用者が基準フレームおよび参照フレームを指定する際の指定方法を示した図である。 実施形態１の位置合わせ処理を行うための動きベクトル算出処理の概要を示した図である。 図２の動きベクトル算出処理の内容を示すフローチャートである。 図２の動きベクトル算出処理の内容を示すフローチャートである。 動きベクトル値更新処理において動きベクトル値を更新する方法を示した図である。 図６における処理（１）乃至（９）の処理内容を示す図である。 動きベクトル補正処理の内容を示すフローチャートである。 動き補償時の予測方向と、動き補償によって各フレームが持つ動きベクトルの方向を例示する図である。 各フレーム符号化タイプの各マクロブロック符号化モードと各モードにおいてそのマクロブロックが持つ動きベクトルを示す図である。 動きベクトル算出処理における追従の例を示す図である。 動きベクトル算出処理における追従の他の例を示す図である。 図１４の例において対象画素に対応する画素および動きベクトルを探す方法を示す図である。 動きベクトル算出処理で動きベクトル補正処理が必要な場合と動きベクトル補正処理における補正方法を示した図である。 動きベクトル補正処理における重み係数の設定例を示す図である。 動きベクトル補正処理において重み係数を設定する際の方向分別と向きの差を示す図である。 追従中に対象画素に対応する画素が画像領域外になる例を示した図である。 対象画素に対応する画素が画像領域の範囲外に移動してしまう原因について示す図である。 位置合わせ処理部で行われる位置合わせ処理と高解像度画像生成部１８で行われる高解像度画像生成処理のアルゴリズムを示すフローチャートである。 高解像度画像生成部の構成例を示すブロック図である。 本発明の実施形態２に係る動きベクトル補正処理における補正方法を示した図である。 本発明の実施形態３に係る動きベクトル補正処理における補正方法を示した図である。 本発明の実施形態４に係る動きベクトル補正処理における補正方法を示した図である。 本発明の実施形態５に係る動きベクトル補正処理における補正方法を示した図である。 本発明の実施形態６に係る動きベクトル補正処理における補正方法を示した図である。 本発明の実施形態７に係る動きベクトル補正処理の内容を示すフローチャートである。

符号の説明

１ 画像処理装置
１１ 動画像入力部
１２ 動画像復号部
１３ 動きベクトル算出部
１３ａ 動きベクトル補正部
１５ フレーム選択部
１６ 位置合わせ処理部
１８ 高解像度画像生成部
１９ メモリ
２０ 画像表示部
１００ 復号器
１０１ 可変長復号化ブロック
１０２ 逆量子化ブロック
１０３ 逆ＤＣＴブロック
１０５ 動きベクトル復号化ブロック
１０６ 動き補償ブロック
１０７ メモリ
１０８ 符号化信号
１０９ 復号画像
２０１ 表示画面
２０２ 復号画像
２０３ 復号画像表示フレーム切り替えつまみ
２０４ 指定フレーム設定タブ
２０５ 基準フレーム設定タブ
２０６ 使用フレーム設定タブ
３０１ 補間拡大部
３０２ 画像蓄積部
３０３ ＰＳＦデータ保持部
３０４ 畳込み積分部
３０５ レジストレーション画像生成部
３０６ 画像比較部
３０７ 畳込み積分部
３０８ 正則化項演算部
３０９ 更新画像生成部
３１０ 収束判定部

Claims (13)

1. 符号化された動画像データに記録されているフレーム画像間の動きベクトルを利用する画像処理方法であって、
   前記符号化された動画像データを復号化して得られるフレーム画像の中から複数のフレーム画像を選択するフレーム選択ステップと、
   前記符号化された動画像データに記録された動きベクトルを用いて１または複数のフレーム画像間を画素ごとに追従することにより、前記フレーム選択ステップにおいて選択された複数のフレーム画像の中のあるフレーム画像から他のフレーム画像への動きベクトル値を算出する動きベクトル算出ステップと、
   前記動きベクトル算出ステップにおいて、途中まで追従した画素が含まれるブロックの符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを算出する動きベクトル補正ステップと、
   を有することを特徴とする画像処理方法。
2. 前記動きベクトル算出ステップにおいて、前記動画像データに記録されているフレーム画像間の動きベクトルを方向を考慮して累積加算することにより、前記あるフレーム画像から前記他のフレーム画像への動きベクトル値を画素ごとに算出することを特徴とする請求項１に記載の画像処理方法。
3. 前記フレーム選択ステップにおいて、前記複数のフレーム画像として基準フレームおよび参照フレームを選択し、前記動きベクトル算出ステップにおいて、前記参照フレームから前記基準フレームへの動きベクトル値を画素ごとに算出することを特徴とする請求項２に記載の画像処理方法。
4. 前記動きベクトル算出ステップで算出された動きベクトル値に基づいて、前記基準フレームと前記参照フレームの位置合わせを行う位置合わせステップを有することを特徴とする請求項３に記載の画像処理方法。
5. 前記位置合わせステップにおいて位置合わせを行った前記基準フレームと前記参照フレームを用いて、前記フレーム画像よりも解像度の高い高解像度画像を生成する高解像度画像生成ステップを有することを特徴とする請求項４に記載の画像処理方法。
6. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを０とすることを特徴とする請求項１に記載の画像処理方法。
7. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを、前記途中まで追従した画素の周辺ブロックまたは前記途中まで追従した画素の周辺画素が持つ動きベクトルを重み付け平均することにより算出することを特徴とする請求項１に記載の画像処理方法。
8. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを、前記あるフレーム画像の画素から前記途中まで追従した画素までの動きベクトル値を算出するのに用いられた動きベクトルを重み付け平均することにより算出することを特徴とする請求項１に記載の画像処理方法。
9. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを、０とする第１の補正方法、前記途中まで追従した画素の周辺ブロックまたは前記途中まで追従した画素の周辺画素が持つ動きベクトルを重み付け平均する第２の補正方法、および前記あるフレーム画像の画素から前記途中まで追従した画素までの動きベクトル値を算出するのに用いられた動きベクトルを重み付け平均する第３の補正方法のいずれかの補正方法によって仮の動きベクトルを算出し、この仮の動きベクトルを用いて追従を続け、
   さらに１フレーム分以上追従を続けてからこの１フレーム分以上追従を続けたときの動きベクトルを用いて前記仮の動きベクトルを更新することを少なくとも１回以上繰り返すことを特徴とする請求項１に記載の画像処理方法。
10. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを、０とする第１の補正方法、前記途中まで追従した画素の周辺ブロックまたは前記途中まで追従した画素の周辺画素が持つ動きベクトルを重み付け平均する第２の補正方法、および前記あるフレーム画像の画素から前記途中まで追従した画素までの動きベクトル値を算出するのに用いられた動きベクトルを重み付け平均する第３の補正方法のいずれかの補正方法によって仮の動きベクトルを算出し、この仮の動きベクトルを用いて追従を続け、
    さらに１フレーム分以上追従を続けてからこの１フレーム分以上追従を続けたときの動きベクトルを重み付け平均することにより前記仮の動きベクトルに対応するフレーム画像間の逆方向の動きベクトルを算出し、この逆方向の動きベクトルを用いて前記追従先の画素から前記途中まで追従した画素へ逆向きに追従して、逆向きに追従した画素の位置が前記途中まで追従した画素の位置と一致した場合に、前記第１乃至第３の補正方法のいずれかによって算出した仮の動きベクトルを前記途中まで追従した画素から前記追従先の画素への追従に正式に使用することを特徴とする請求項１に記載の画像処理方法。
11. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを、０とする第１の補正方法、前記途中まで追従した画素の周辺ブロックまたは前記途中まで追従した画素の周辺画素が持つ動きベクトルを重み付け平均する第２の補正方法、および前記あるフレーム画像の画素から前記途中まで追従した画素までの動きベクトル値を算出するのに用いられた動きベクトルを重み付け平均する第３の補正方法のそれぞれの補正方法によって仮の動きベクトルを算出し、これらの仮の動きベクトルを用いて追従を続け、
    さらに１フレーム分以上追従を続けてからこの１フレーム分以上追従を続けたときの動きベクトルを重み付け平均することにより前記仮の動きベクトルに対応するフレーム画像間の逆方向の動きベクトルを算出し、この逆方向の動きベクトルを用いて前記追従先の画素から前記途中まで追従した画素へ逆向きに追従して、逆向きに追従した画素の位置が前記途中まで追従した画素の位置と一致した場合に、前記第１乃至第３のそれぞれの補正方法によって算出した仮の動きベクトルのうち、前記逆向きに追従した画素の位置が前記途中まで追従した画素の位置と一致するものを、前記途中まで追従した画素から前記追従先の画素への追従に正式に使用することを特徴とする請求項１に記載の画像処理方法。
12. 前記動きベクトル補正ステップにおいて、前記追従可能な動きベクトルが存在しないときに、前記符号化された動画像データに記録されているデータに基づいて、途中まで追従した画素が含まれるブロックがシーンチェンジによるイントラ符号化フレーム内のイントラ符号化ブロックかどうかを判定する符号化種別判定を行い、前記途中まで追従した画素が含まれるブロックがシーンチェンジによるイントラ符号化フレーム内のイントラ符号化ブロックでない場合に、前記仮の動きベクトルを算出することを特徴とする請求項１から１１のいずれか一つに記載の画像処理方法。
13. 符号化された動画像データに記録されているフレーム画像間の動きベクトルを利用する画像処理装置であって、
    前記符号化された動画像データを復号化して得られるフレーム画像の中から基準フレームおよび参照フレームを選択するフレーム選択手段と、
    前記符号化された動画像データに記録された動きベクトルを方向を考慮して累積加算することで１または複数のフレーム画像間を画素ごとに追従することにより、前記参照フレームから前記基準フレームへの動きベクトル値を算出する動きベクトル算出手段と、
    を備え、
    前記動きベクトル算出手段は、途中まで追従した画素が含まれるブロックの符号化タイプによりこの途中まで追従した画素に対応する追従先の画素への追従可能な動きベクトルが存在しないときに、前記途中まで追従した画素から前記追従先の画素への仮の動きベクトルを算出する動きベクトル補正手段を有することを特徴とする画像処理装置。

Images