JP2012124945A - 動画像符号化装置 - Google Patents

Abstract

【課題】本発明の課題は、少ないオーバヘッドで予測画像信号を表現し、異なる画素精度の動き補償を提供する。
【解決手段】
本発明に係る動画像符号化装置２０は、フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出手段３２と、フレーム画像内の符号化された所定領域の動きベクトルを用いて、符号化対象の所定領域の動きベクトルを予測する予測手段３３ｃと、動きベクトル検出手段３２により検出された動きベクトルが、予測手段３３ｃにより予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断手段３３ｄと、動きベクトル検出手段３２により検出された動きベクトルが、所定の動きベクトルである場合と所定の動きベクトルでない場合で、符号化対象の所定領域の動き補償値の算出方法を切り替える切替手段３３ｅとを具備する。
【選択図】図６

Description

本発明は、動画像符号化装置に関する。

従来の動画像符号化方式の事例として「ＩＴＵ-Ｔ ＳＧ１６ ＶＣＥＧ-Ｍ８１，“Ｈ.２６Ｌ Ｔｅｓｔ Ｍｏｄｅｌ Ｌｏｎｇ Ｔｅｒｍ Ｎｕｍｂｅｒ ８（ＴＭＬ-８）”に記載の「Ｈ．２６Ｌ符号化方式」に基づく動画像符号化装置及び動画像復号化装置の説明を行う。図１に、上述の動画像符号化装置２０の構成を、図２に、上述の動画像復号装置５０の構成を示す。

ＩＴＵ-Ｔ ＳＧ１６ ＶＣＥＧ-Ｍ８１，"Ｈ.２６Ｌ Ｔｅｓｔ Ｍｏｄｅｌ Ｌｏｎｇ Ｔｅｒｍ Ｎｕｍｂｅｒ ８（ＴＭＬ-８）" 図１の動画像符号化装置は、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、直交変換によりさらに空間方向に残る冗長度を削減することで動画像（入力映像信号）の情報圧縮を行うものである。図３に、動き補償フレーム間予測の説明図を示す。

以下、これらの図を参照しながら、図１に示す動画像符号化装置２０の動作について説明する。

入力映像信号１は、フレーム画像の時間系列で構成されている。ここで、符号化対象となるフレーム画像は、入力部３１において、１６×１６画素の正方矩形領域（マクロブロック）に分割され、動画像符号化装置２０における符号化処理及び動画像復号装置５０における復号化処理は、このマクロブロック単位で行われるものとする。また、マクロブロック単位に分割されたフレーム画像を「フレーム画像信号２」と定義する。

「Ｈ.２６Ｌ符号化方式」では、「予測モード」として、同一フレーム画像上の符号化済み近傍領域の画素値（例えば、符号化対象のフレーム画像信号２の上方及び左方に隣接する画素値）を用いた空間予測を行う「ＩＮＴＲＡ（イントラ）予測モード」と、時間的に異なる符号化済みフレーム画像（参照フレーム画像５）を用いた動き補償フレーム間予測を行う複数の「ＩＮＴＥＲ（インター）予測モード」とが用意されている。

「Ｈ.２６Ｌ符号化方式」は、入力映像信号１の局所的な性質に応じてマクロブロック単位で「予測モード」を切り替え、効率的な情報圧縮を行うことができるように構成されている。

「動き補償フレーム間予測」は、参照フレーム画像５の所定の探索範囲内で、フレーム画像信号２内の画像信号パターンに類似する画像信号パターンを探し出して、両画像信号パターン間の空間的な変位量を「動きベクトル３」として検出し、「動きベクトル３」や「予測モード」や「参照フレーム番号」を含む「動き補償関連情報」と当該動きベクトル３に応じて算出された「予測残差信号９」とを符号化して伝送する技術である。

「Ｈ．２６Ｌ符号化方式」では、図３に示すように、７種類の「ＩＮＴＥＲ予測モード」が用意されている。より正確には、これらに加えて、映像が静止している場合などで有用な「スキップモード」、すなわち、参照フレーム画像５（符号化済みフレーム画像）の同位置の画素をそのままコピーする予測モードも用意されている。

図３に示すように、「モード１」では１６×１６画素単位、「モード２」では８×１６画素単位、「モード３」では１６×８画素単位、「モード４」では８×８画素単位、「モード５」では４×８画素単位、「モード６」では８×４画素単位、「モード７」では４×４画素単位で、動きベクトル３を検出する。

つまり、これらの７種類の予測モードは、マクロブロック内の動き検出単位を細分化できるようにしたものであり、マクロブロック内に存在し得る種々の動きを正確に捉えることを目的として設けられている。

第１に、入力部３１が、フレーム画像信号２を動き検出部３２及び空間予測部３５に送信する。

その後、動き検出部３２が、受信したフレーム画像信号２について、フレームメモリ３４から送信された参照フレーム画像５を参照して、所定の予測モード４に対応した本数の動きベクトル３の検出を行う。

一方、空間予測部３５は、フレームメモリ３４から送信された同一フレーム画像上の符号化済み近傍領域の画素値を用いた空間予測を行う。空間予測部３５は、複数の方法の空間予測を行ってもよい。

第２に、動き検出部３２が、図３に示す全ての「ＩＮＴＥＲ予測モード」について検出した動きベクトル３と当該動きベクトル３に対応する予測モード（例えば、モード１乃至モード７）４とを、動き補償部３３に送信する。

その後、動き補償部３３が、フレームメモリ３４から送信された参照フレーム画像５と、動き検出部３２から送信された複数の動きベクトル３及び予測モード４の組み合わせとを用いた動き補償によって、予測画像信号（マクロブロック単位）６を生成する。

第３に、動き補償部３３は、動き補償によって生成された予測画像信号６と予測モード４と動きベクトル３と符号化効率に関する情報とを、予測モード決定部３６に送信する。一方、空間予測部３５は、空間予測によって生成された予測画像信号７と予測モード（空間予測の種類が複数ある場合）４と符号化効率に関する情報とを、予測モード決定部３６に送信する。

第４に、予測モード決定部３６が、マクロブロック単位で、図３に示す全ての「ＩＮＴＥＲ予測モード」についての評価を行い、最も符号化効率がよいと判断される「ＩＮＴＥＲ予測モード」を選択する。

また、予測モード決定部３６は、同様に「ＩＮＴＲＡ予測モード」についての評価を行い、「ＩＮＴＲＡ予測モード」の方が「ＩＮＴＥＲ予測モード」よりも符号化効率がよい場合には「ＩＮＴＲＡ予測モード」を選択する。

そして、予測モード決定部３６は、選択された予測モード４によって生成された予測画像信号（マクロブロック単位）８を、減算器３７に送信する。

また、予測モード決定部３６は、予測モード４として「ＩＮＴＥＲ予測モード」を選択した場合、選択された「ＩＮＴＥＲ予測モード」で定められる本数分（最大でマクロブロックあたり１６本）の動きベクトル３等を含む「動き補償関連情報」を可変長符号化部４０に伝送する。一方、予測モード決定部３６は、予測モード４として「ＩＮＴＲＡ予測モード」を選択した場合、動きベクトル３を伝送しない。

第５に、直交変換部３８が、減算器３７から送信されたフレーム画像信号２と予測画像信号８との差分値（予測残差信号９）を直交変換することにより、直交変換係数１０を生成する。

第６に、量子化部３９が、直交変換部３８から送信された直交変換係数１０を量子化することにより、量子化直交変換係数１１を生成する。

第７に、可変長符号化部４０が、量子化部３９から送信された量子化直交変換係数１１と予測モード決定部３６から送信された予測モード４（及び、動きベクトル３）とについて、エントロピー符号化を行って圧縮ストリーム１２に多重化する。

可変長符号化部４０は、動画像復号化装置５０に対して、マクロブロック単位で圧縮ストリーム１２を送信してもよいし、フレーム画像単位で圧縮ストリーム１２を送信してもよい
また、逆量子化部４１が、量子化部３９から送信された量子化直交変換係数１１について逆量子化を行うことにより、直交変換係数１３を生成する。そして、逆直交変換部４２が、逆量子化部４１から送信された直交変換係数１３について逆直交変換を行うことにより、予測残差信号１４を生成する。

次に、加算器４３において、逆直交変換部４２から送信された予測残差信号１４と予測モード決定部３６から送信された予測画像信号８とが加算されてフレーム画像信号１５が生成される。

このマクロブロック単位のフレーム画像信号１５が、フレームメモリ３４に格納される。フレームメモリ３４には、以降の符号化処理で用いられるフレーム画像単位の参照フレーム画像５と、現在符号化しているフレーム画像の符号化済みマクロブロックの情報（画素値や動きベクトル）とが格納されている。

次に、図２に示す動画像復号化装置１０の動作について説明する。

第１に、可変長復号化部７１が、圧縮ストリーム１２を受信した後、各フレームの先頭を表す同期ワードを検出して、マクロブロック単位で、動きベクトル３と予測モード４と量子化直交変換係数１１とを復元する。

そして、可変長復号化部７１は、量子化直交変換係数１１を逆量子化部７６に送信し、予測モード４をスイッチ７５に送信する。また、可変長復号化部７１は、予測モード４が「ＩＮＴＥＲ予測モード」である場合、動きベクトル３及び予測モード４を動き補償部７２に送信し、予測モード４が「ＩＮＴＲＡ予測モード」である場合、予測モード４を空間予測部７４に送信する。

次に、予測モード４が「ＩＮＴＥＲ予測モード」である場合、動き補償部７２が、可変長復号化部７１から送信された動きベクトル３と予測モード４とを用いて、フレームメモリ７３から送信された参照フレーム画像５を参照して、予測画像信号６を生成する。

また、予測モード４が「ＩＮＴＲＡ予測モード」である場合、空間予測部７４が、フレームメモリ７３から送信された符号化済みの近傍領域の画像信号を参照して予測画像信号７を生成する。

次に、スイッチ７５が、可変長復号化部７１から送信された予測モード４に応じて、予測画像信号６と予測画像信号７とのいずれかを選択し、予測画像信号８を決定する。

一方、可変長復号化部７１により復元された量子化直交変換係数１１は、逆量子化部７６により逆量子化されて直交変換係数１０に復元され、逆直交変換部７７により逆直交変換されて予測残差信号９に復元される。

そして、加算器７８において、スイッチ７５から送信された予測画像信号８と逆直交変換部７７から送信された予測残差信号９とが加算されてフレーム画像信号２が復元されて出力部８０に送信される。出力部８０は、所定の表示タイミングで表示デバイス（図示せず）へ出力し、出力映像信号（動画像）１Ａを再生する。

また、復元されたフレーム画像信号２は、以降の復号化処理に用いられるため、フレームメモリ７３に格納される。

「ＴＭＬ-８」では、「ｆｕｎｎｙ ｐｏｓｉｔｉｏｎ（特異位置）」の概念を用いた動き補償が実現されている。図４に、この「特異位置」を、整数画素位置、１/２画素位置、１/４画素位置と共に示す。なお、「ＴＭＬ-８」では、１/４画素精度の動き補償が実現されている。

図４において、動き検出部３２によって検出された動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の整数画素位置（（１画素，１画素）の画素位置）「Ｄ」を指しているものと仮定する。この場合、参照フレーム画像５内の画素位置「Ｄ」の画素値が、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」となる。

次に、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の１/２画素位置（（１/２画素，１/２画素）の画素位置）「Ｅ」を指しているものと仮定する。この場合、参照フレーム画像５内の整数画素位置の画素値を縦横にそれぞれ独立に６タップフィルタ（１，−５，２０，２０，−５，１）/３２を作用させて得られた補間値が、符号化対象のフレーム画像信号２の画素位置「Ａ」に対する「動き補償値」となる。

次に、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の１/４画素位置（（１/４画素，１/４画素）の画素位置）「Ｆ」又は「Ｇ」を指しているものと仮定する。この場合、近傍の整数画素位置の画素値及び１/２画素位置の画素値の線形補間値が、符号化対象のフレーム画像信号２の画素位置「Ａ」に対する「動き補償値」となる。

例えば、動きベクトル３が、符号化対象のフレーム画像信号２の画素位置「Ａ」に対して、参照フレーム画像５内の画素位置「Ｆ」を指している場合は、画素位置「Ｆ」を取り囲む近傍の整数画素位置の画素値及び１/２画素位置の画素値の４点の平均値が、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」となる。

また、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の画素位置「Ｇ」を指している場合は、画素位置「Ｇ」を水平に挟む１/２画素位置の画素値の２点の平均値が、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」となる。

さらに、動きベクトルが、符号化対象のフレーム画像信号２内の整数画素位置に対して、参照フレーム画像５内の（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）の画素位置を指していた場合は、符号化対象のフレーム画像信号２内の整数画素位置に対する「動き補償値」は、参照フレーム画像５内の（Ｎ，Ｍ）の画素値、（Ｎ，Ｍ＋１）の画素値、（Ｎ＋１，Ｍ）の画素値及び（Ｎ＋１，Ｍ＋１）画素値の平均値となる。ここで、参照フレーム画像５内の（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）が、上述の「特異位置」である。

例えば、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の画素位置「Ｈ」（すなわち「特異位置」）を指している場合、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」は、前述の１/４画素位置（例えば、画素位置「Ｆ」）の場合に算出された値ではなく、（Ａ＋Ｂ＋Ｃ＋Ｄ）/４の計算により算出された値となる。

以上のとおり、「Ｈ.２６Ｌ符号化方式」では、精緻な動き補償が可能となるように、多くの「ＩＮＴＥＲ予測モード」を用意している。また、整数画素位置、１/２画素位置、１/４画素位置、特異位置による動き補償を用意している。以上の構成により、予測構造を精緻化しつつ、予測が当たらないフレーム画像信号２が入力されても予測画像信号８が破綻しない仕組みが導入されている。

１/４画像精度の計算は、近傍の画素位置の画素値の線形補間で行われるため、周波数空間では低域通過型の作用を持ち、平滑化された予測画像信号６を生成する。

また、特異位置による動き補償を用いた場合には、近傍の４つの整数画素位置の画素値の平均値により「動き補償値」を算出することにより、さらに平滑化が行われた予測画像信号を生成することになる。平滑化は、予測画像信号にガウスノイズが重畳されていると仮定すると、このノイズ成分が大きいときに予測誤差を減ずる効果を持っている。

したがって、「ＴＭＬ-８」で定義される「Ｈ.２６Ｌ符号化方式」では、参照フレーム画像５にノイズが重畳されている場合、または参照フレーム画像５に高域成分が多く含まれており予測誤差が大きくなる場合に、１/４画素精度の計算及び特異位置による動き補償を用いて符号化効率の改善を図っている。

しかしながら、従来の「Ｈ.２６Ｌ符号化方式」には、以下のような問題点が考えられる。

第１に、符号化対象のフレーム画像信号２内の画素位置が、「特異位置」と等しい画素位置（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）を指す動きベクトルを有する場合、算出される「動き補償値」には常に強い平滑化がかかり、特に高いレートでは精緻な動き補償が実現できなくなるという問題点（第１の問題点）があった。

すなわち、従来の「Ｈ.２６Ｌ符号化方式」では、動きベクトル３の絶対値で「特異位置」を定めていたために、図５に示すように、例えば、ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅが、右下に（３/４画素，３/４画素）で平行に動いているとき、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（３/４，３/４）として、平滑化された動き補償を行うか、又は、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（１/２，３/４）又は（３/４，１）として、真の動きとは異なる動きベクトルを送って動き補償を行うことになる。ここで、ＭＶｘは、動きベクトルのＸ成分を示し、ＭＶｙは、動きベクトルのＹ成分を示す。

具体的には、図５に示すように、従来の「Ｈ.２６Ｌ符号化方式」において、符号化対象のブロックをＥとし、ブロックＥの動きベクトルＭＶを（ＭＶｘ_E，ＭＶｙ_E）とすると、「ＭＶｘ_E％４＝３」かつ「ＭＶｙ_E％４＝３」となる領域が、常に「特異位置」となり、平滑化された画素値が、ブロックＥに対する「動き補償値」として選ばれることになる。ここで、“％”を商余演算記号とし、動きベクトルＭＶの表現に係る単位を１/４画素とする。

このため、「Ｈ.２６Ｌ符号化方式」では、動きベクトル（３/４，３/４）が、実際（１/２，１/２）の画素位置にある平滑化された画素値を指すことになるため、「特異位置」と等しい画素位置（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）の画素値を表現することができないという問題点があった。

第２に、１/４画素精度による予測画像信号の生成は、高レートでは予測の精緻化、低レートでは予測の平滑化の効果が期待されているが、低レートにおける予測の平滑化では、１/４画素精度の動き補償まで必要なく、１/２画素精度の動き補償が実現できれば十分であり、予測の平滑化のために動きベクトルのパラメータ空間の半分を占める１/４画素精度の動きベクトルの検出は冗長であるという問題点（第２の問題点）があった。

そこで、本発明は、以上の点に鑑みてなされたもので、少ないオーバヘッドで予測画像信号を表現することが可能であり、異なる画素精度の動き補償を提供することを目的とする。

本発明の第１の特徴は、フレーム画像の時間系列で構成される動画像を動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを要旨とする。

本発明の第２の特徴は、フレーム画像の時間系列で構成される動画像を動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを要旨とする。

本発明の第３の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する工程Ａと、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する工程Ｂと、前記工程Ａで検出された動きベクトルが、前記工程Ｂで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Ｃと、前記工程Ａで検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える工程Ｄとを有することを要旨とする。

本発明の第４の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する工程Ａと、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する工程Ｂと、前記工程Ａで復号化された動きベクトルが、前記工程Ｂで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Ｃと、前記工程Ａで復号化された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える工程Ｄとを有することを要旨とする。

本発明の第５の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第６の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第７の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第７の特徴において、前記所定の動きベクトルが、前記予測部により予測された動きベクトルと異なるように設定されることが好ましい。

また、本発明の第７の特徴において、前記判断部が、前記予測部により予測された動きベクトルと前記動きベクトル検出部により検出された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルであると判断することが好ましい。

本発明の第８の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第８の特徴において、前記所定の動きベクトルが、前記予測部により予測された動きベクトルと異なるように設定されることが好ましい。

また、本発明の第８の特徴において、前記判断部が、前記予測部により予測された動きベクトルと前記動きベクトル復号化部により復号化された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルであると判断することが好ましい。

本発明の第９の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。

本発明の第１０の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。

本発明の第１１の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。

本発明の第１２の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施した参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。

本発明の第１３の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｂと、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する工程Ｃとを有し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。

本発明の第１４の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Ａと、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｂとを有することを要旨とする。

本発明の第１５の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する工程Ｂと、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Ｃとを有し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。

本発明の第１６の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Ａと、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Ｂとを有することを要旨とする。

本発明の第１７の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第１８の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第１９の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第２０の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第２１の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第２１の特徴において、前記動き補償部が、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、前記伝送部が、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することが好ましい。

また、本発明の第２１の特徴において、前記参照画像に係る情報が、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記伝送部が、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送が好ましい。

また、本発明の第２１の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記動き補償部が、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことが好ましい。

また、本発明の第２１の特徴において、前記参照画像に係る情報が、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。

また、本発明の第２１の特徴において、前記参照画像に係る情報が、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。

本発明の第２２の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第２２の特徴において、前記参照画像生成部が、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。

また、本発明の第２２の特徴において、前記参照画像生成部が、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。

本発明の第２３の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第２３の特徴において、前記復号化部が、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、前記動き補償部が、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることが好ましい。

また、本発明の第２３の特徴において、前記参照画像に係る情報が、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記復号化部が、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、前記動き補償部が、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することが好ましい。

また、本発明の第２３の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記動き補償部が、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことが好ましい。

また、本発明の第２３の特徴において、前記参照画像に係る情報が、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。

また、本発明の第２３の特徴において、前記参照画像に係る情報が、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更が好ましい。

本発明の第２４の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

また、本発明の第２４の特徴において、前記参照画像生成部が、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。

また、本発明の第２４の特徴において、前記参照画像生成部が、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。

本発明の第２５の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備することを要旨とする。

本発明の第２６の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。

本発明の第２７の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する工程Ｂと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｃと、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する工程Ｄとを有することを要旨とする。

本発明の第２８の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、復号化対象の所定領域の３次元動きベクトルを復号化する工程Ｂと、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する工程Ｃとを有することを要旨とする。

本発明の第２９の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第３０の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第３１の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第３１の特徴において、前記参照画像生成部が、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルが、前記フィルタを識別することが好ましい。

また、本発明の第３１の特徴において、前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記伝送部が、前記３次元動きベクトル生成部により生成された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することが好ましい。

また、本発明の第３１の特徴において、前記３次元動きベクトル予測部が、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することが好ましい。

また、本発明の第３１の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記３次元動きベクトル生成部が、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落とすことが好ましい。

本発明の第３２の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。

本発明の第３２の特徴において、前記参照画像生成部が、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルが、前記フィルタを識別することが好ましい。

また、本発明の第３２の特徴において、前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記動き補償部が、前記復号化部により復号化された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することが好ましい。

また、本発明の第３２の特徴において、前記３次元動きベクトル予測部が、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することが好ましい。

以上説明したように、本発明によれば、少ないオーバヘッドで予測画像信号を表現することが可能であり、異なる画素精度の動き補償を提供することができる。

従来技術に係る動画像符号化装置の概略構成図である。 従来技術に係る動画像復号化装置の概略構成図である。 従来技術に係るＩＮＴＥＲ予測モードにおけるマクロブロックの分割パターンを示す図である。 従来技術に係る特異位置の概念を示す図である。 本発明の一実施形態に係る動画像符号化装置における予測動きベクトルの算出方法を示す図である。 本発明の一実施形態に係る動画像符号化装置の動き補償部の機能ブロック図である。 本発明の一実施形態に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。 本発明の一実施形態に係る動画像符号化装置の動き補償部の動作を示すフローチャート図である。 本発明の一実施形態に係る動画像復号化装置における復号化処理手順を示すフローチャート図である。 本発明の一変更例に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。 本発明の一変更例に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。 本発明の一実施形態に係る動画像符号化装置概略図である 本発明の一実施形態に係る動画像復号化装置概略図である 本発明の一実施形態で用いられるＨ.２６Ｌ符号化方式におけるマクロブロック単位での符号化シンタックスを示す図である。 本発明の一実施形態で用いられる参照フレームコード表の一例である。 本発明の一実施形態で用いられる参照フレームコード表の一部である。 本発明の一変更例で用いられるＨ.２６Ｌ符号化方式におけるマクロブロック単位での符号化シンタックスを示す図である。 本発明の一変更例で用いられるマクロブロックモードコード表である。 本発明の一実施形態に係る動画像符号化装置の概略構成図である。 本発明の一実施形態に係る動画像復号化装置の概略構成図である。 本発明の一実施形態に係る階層化参照画像について説明する図である。 本発明の一実施形態に係る階層化参照画像の生成方法について説明する図である。 本発明の一実施形態に係る動画像符号化装置における予測動きベクトルの算出方法を示す図である。 本発明の一実施形態に係る動画像符号化装置における動き補償の動作を示すフローチャート図である。 本発明の一変更例に係る階層化参照画像の生成方法について説明する図である。 本発明の一実施形態に係る動画像符号化装置又は動画像復号化装置として、コンピュータを機能させるためのプログラムを記録するコンピュータ読み取り可能な記録媒体を示す図である。

（実施形態１）
本発明の第１の実施形態では、従来の「ＴＭＬ-８」で定義されている「Ｈ.２６Ｌ符号化方式」で課題となっている「特異位置」における動き補償（第１の問題点）について改良を施した動画像符号化装置２０及び動画像復号装置５０について述べる。

本実施形態では、「特異位置」における動き補償を除いて、その動作は「ＴＭＬ-８」に記載の動画像符号化装置２０及び動画像復号化装置５０の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。

具体的には、本実施形態に係る動画像符号化装置２０及び動画像復号化装置５０の構成は、従来の動画像符号化装置２０及び動画像復号化装置５０の構成と比較すると、動き補償部３３,７２の構成が異なる。

本実施形態において、動画像符号化装置２０の動き補償部３３と動画像復号化装置５０の動き補償部７２の構成は同一であるので、以下、動画像符号化装置２０の動き補償部３３について説明する。

なお、本実施形態に係る動画像符号化装置２０は、フレーム画像の時間系列で構成される動画像（入力映像信号１）を動き補償により符号化するものであって、本実施形態に係る動画像復号化装置５０は、フレーム画像の時間系列で構成される動画像（出力映像信号１Ａ）を動き補償により復号化するものである。

また、本実施形態に係る動画像符号化装置２０において、動き検出部３２が、フレーム画像内の符号化対象の所定領域（例えば、マクロブロック）の動きベクトル３を検出する動きベクトル検出部を構成する。また、本実施形態に係る動画像復号化装置５０において、可変長復号部７１が、フレーム画像内の復号化対象の所定領域（例えば、マクロブロック）の動きベクトル３を復号化する動きベクトル復号化部を構成する。

本実施形態に係る動画像符号化装置２０の動き補償部３３は、図６に示すように、動きベクトル入力部３３ａと、参照フレーム画像入力部３３ｂと、予測動きベクトル算出部３３ｃと、判断部３３ｄと、予測画像信号生成部３３ｅとを具備している。

本実施形態において、予測動きベクトル算出部３３ｃが、フレーム画像内の符号化された所定領域の動きベクトル（例えば、ＭＶ_Ａ＝（ＭＶｘ_Ａ，ＭＶｙ_Ａ）、ＭＶ_Ｂ＝（ＭＶｘ_Ｂ，ＭＶｙ_Ｂ）、ＭＶ_Ｃ＝（ＭＶｘ_Ｃ，ＭＶｙ_Ｃ））を用いて、符号化対象の所定領域（マクロブロックＥ）の予測動きベクトルＰＭＶ_Ｅ＝（ＰＭＶｘ_Ｅ，ＰＭＶｙ_Ｅ）を予測する予測部を構成する。また、判断部３３ｄが、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）が、予測部（予測動きベクトル算出部３３ｃ）により予測された動きベクトルＰＭＶ_Ｅ＝（ＰＭＶｘ_Ｅ，ＰＭＶｙ_Ｅ）に応じて設定される所定の動きベクトル（「特異位置」を指す動きベクトル）であるか否かを判断する判断部を構成する。

また、予測画像信号生成部３３ｅが、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）が、所定の動きベクトル（「特異位置」を指す動きベクトル）である場合と所定の動きベクトル（「特異位置」を指す動きベクトル）でない場合で、符号化対象の所定領域の「動き補償値」の算出方法（予測画像信号６の生成方法）を切り替える切替部を構成する。

動きベクトル入力部３３ａは、判断部３３ｄに接続されており、動き検出部３２により検出された動きベクトルＭＶ_Ｅを受信して判断部３３ｄに送信するものである。

参照フレーム画像入力部３３ｂは、予測動きベクトル算出部３３ｃと判断部３３ｄとに接続されており、フレームメモリ３４に格納されている符号化対象の所定領域の近傍領域（マクロブロックＡ，Ｂ，Ｃ）の動きベクトルを抽出して予測動きベクトル算出部３３ｃに送信し、フレームメモリ３４に格納されている参照フレーム画像５を抽出して判断部３３ｄに送信するものである。

予測動きベクトル算出部３３ｃは、参照フレーム画像入力部３３ｂと判断部３３ｄとに接続されており、例えば、フレームメモリ３４に格納されている符号化対象の所定領域の近傍領域（マクロブロックＡ，Ｂ，Ｃ）の動きベクトル（フレーム画像内の符号化された所定領域の動きベクトル）ＭＶ_Ａ，ＭＶ_Ｂ，ＭＶ_Ｃを用いて、符号化対象の所定領域（マクロブロック）の動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）の予測値である予測動きベクトルＰＭＶ_Ｅ＝（ＰＭＶｘ_Ｅ，ＰＭＶｙ_Ｅ）を算出するものである。

ここで、ＰＭＶｘ_Ｅは、予測動きベクトルの水平成分（Ｘ成分）を示し、ＰＭＶｙ_Ｅは、予測動きベクトルの垂直成分（Ｙ成分）を示す。

「ＴＭＬ-８」では、動きベクトルを効率よく符号化するために、「中央値予測」と呼ばれる予測方式により、参照フレーム画像５に含まれる符号化済みの近傍領域の動きベクトルを用いて、符号化対象となる所定領域の動きベクトルを予測して符号化する。

図５では、近傍領域（マクロブロック）Ａ，Ｂ，Ｃの動きベクトルＭＶであるＭＶ_Ａ＝（ＭＶｘ_Ａ，ＭＶｙ_Ａ）、ＭＶ_Ｂ＝（ＭＶｘ_Ｂ，ＭＶｙ_Ｂ）、ＭＶ_Ｃ＝（ＭＶｘ_Ｃ，ＭＶｙ_Ｃ）が、既に符号化されており、当該動きベクトルの水平成分ＭＶｘ_Ａ，ＭＶｘ_Ｂ，ＭＶｘ_Ｃの平均値を取って、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルの水平成分ＰＭＶｘ_Ｅとし、当該動きベクトルの垂直成分ＭＶｙ_Ａ，ＭＶｙ_Ｂ，ＭＶｙ_Ｃの平均値を取って、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルの垂直成分ＰＭＶｙ_Ｅとする。

例えば、予測動きベクトルＰＭＶの算出に用いる近傍領域（マクロブロック）Ａ，Ｂ，Ｃがフレーム画像外にあったり、近傍領域（マクロブロック）Ａ，Ｂ，Ｃが動きベクトルを持たない予測モード（符号化モード）である場合には、予測動きベクトルＰＭＶは零ベクトルとされる。

さらに、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルＰＭＶの算出に用いる近傍領域（マクロブロック）Ａ，Ｂ，Ｃ内に３以上の動きベクトルが存在しない場合には、当該近傍領域（マクロブロック）Ａ，Ｂ，Ｃの動きベクトルを零ベクトルとする等の仮定を用いて、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルＰＭＶ_Ｅの値は、常に求められる。

また、予測動きベクトル算出部３３ｃは、動きベクトル入力部３３ａからの動きベクトルＭＶ_Ｅと予測動きベクトルＰＭＶ_Ｅとの差分情報ＭＶＤ＝（ＭＶＤｘ，ＭＶＤｙ）を算出する。ここで、差分情報ＭＶＤのＸ成分であるＭＶＤｘは「ＭＶｘ_Ｅ−ＰＭＶｘ_Ｅ」により算出され、差分情報ＭＶＤのＹ成分であるＭＶＤｙは「ＭＶｙ_Ｅ−ＰＭＶｙ_Ｅ」により算出される。

「Ｈ.２６Ｌ符号化方式」では、動きベクトルＭＶは、伝送効率の向上のため、上述の差分情報ＭＶＤの形態で符号化され伝送される。

判断部３３ｄは、動きベクトル入力部３３ａと参照フレーム画像入力部３３ｂと予測動きベクトル算出部３３ｃと予測画像信号生成部３３ｅとに接続されており、動きベクトル入力部３３ａからの動きベクトルＭＶ_Ｅ及び予測動きベクトル算出部３３ｃからの予測動きベクトルＰＭＶ_Ｅに応じて、予測画像信号６の生成方法（動き補償値の算出方法）を決定して予測画像信号生成部３３ｅに通知するものである。

具体的には、判断部３３ｄは、図７に示すように、予測画像信号生成部３３ｅにより生成された予測動きベクトルの垂直成分ＰＭＶｙ_Ｅの位相と、動き検出部３２により検出された動きベクトルＭＶ_Eとに応じて、当該動きベクトルＭＶ_Eが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部３３ｅに通知する。

以下、予測動きベクトルＰＭＶ_Ｅ及び動きベクトルＭＶ_Eの表現に係る単位を１/４画素とする。

第１に、判断部３３ｄは、「ＰＭＶｙ_Ｅ％４＝０又は１」のとき（すなわち、ＰＭＶｙ_Ｅが第１の位相であるとき）で、「ＭＶｘ_E％４＝３」かつ「ＭＶｙ_E％４＝３」の場合に、符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶ_E（ＭＶｘ_E，ＭＶｙ_E）が「特異位置」を指していると判断する。

第２に、判断部３３ｄは、「ＰＭＶｙ_E％４＝２又は３」のとき（すなわち、ＰＭＶｙ_Ｅが第２の位相であるとき）で、「ＭＶｘ_E％４＝１」かつ「ＭＶｙ_E％４＝１」の場合に、符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶ_E（ＭＶｘ_E，ＭＶｙ_E）が「特異位置」を指していると判断する。

この結果、予測動きベクトルＰＭＶ_Eが指す領域が「特異位置」と重ならないように調整される。すなわち、予測動きベクトル算出部３３ｃ（予測部）により予測された予測動きベクトルＰＭＶ_Eが、「特異位置」を指す動きベクトル（所定の動きベクトル）と異なるように設定される。

ＰＭＶｙ_Eが第１の位相であるケースでは、従来の「Ｈ.２６Ｌ符号化方式」における動き補償がそのまま適用される（すなわち、画素位置ａ（図７参照）を指す動きベクトルが「特異位置」を指すものとされる）。

また、ＰＭＶｙ_Eが第２の位相であるケースでは、異なる画素位置ｂ（図７参照）を指す動きベクトルが「特異位置」を指すものとされるが、得られる「動き補償値」は、その動きベクトルを囲む４つの近傍整数画素位置の画素値の平均値として平滑化したものであり、その他の動き補償処理は、従来の「Ｈ.２６Ｌ符号化方式」のものと同じである。

予測画像信号生成部３３ｅは、判断部３３ｄに接続されており、判断部３３ｄからの判断結果に応じて、符号化対象の所定領域（マクロブロック）に係る「予測画像信号６の生成方法」を切り替えて予測画像信号６を生成するものである。

具体的には、予測画像信号生成部３３ｅは、動き検出部３２により検出された符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶ_Ｅが「特異位置」を指すものと判断された場合、当該所定領域の予測画像信号６を、その動きベクトルＭＶ_Ｅが指す画素位置を囲む４つの近傍整数画素位置の画素値の平均値として平滑化したものとし、その他の場合、従来の「Ｈ.２６Ｌ符号化方式」の方法で当該所定領域の予測画像信号６を生成する。

なお、本実施形態では、動き補償部３３と動き検出部３２とを別個に設けているが、動き補償部３３と動き検出部３２とを一体として設けてもよい。

図８に、上述の動き補償部３３の動作を示す。

ステップ４０１において、予測動きベクトル算出部３３ｃが、フレーム画像上の符号化された近傍領域（図５では、マクロブロックＡ，Ｂ，Ｃ）の動きベクトルＭＶ_Ａ，ＭＶ_Ｂ，ＭＶ_Ｃに基づいて、同一フレーム画像上の符号化対象の所定領域（図５では、マクロブロックＥ）の動きベクトルの予測値である予測動きベクトルＰＭＶ_Ｅを算出する。

ステップ４０２において、判断部３３ｄが、予測動きベクトル算出部３３ｃからの予測動きベクトルの垂直成分ＰＭＶｙ_Ｅの位相と動きベクトル入力部３３ａからの動きベクトルＭＶ_Ｅとに応じて、当該動きベクトルＭＶ_Ｅが「特異位置」を指しているか否かを判断する。

ステップ４０３において、上述の動きベクトルＭＶ_Ｅが「特異位置」を指すものである場合、予測画像信号生成部３３ｅが、当該所定領域の予測画像信号６を平滑化した形態で生成する。

ステップ４０４において、上述の動きベクトルＭＶ_Ｅが「特異位置」を指すものでない場合、予測画像信号生成部３３ｅが、従来の「Ｈ.２６Ｌ符号化方式」の方法で当該所定領域の予測画像信号６を生成する。

次いで、図９を参照にして、動画像復号化装置５０における復号処理手順について説明する。

ステップ５０１において、可変長復号化部７１が、ピクチャ（入力映像信号１を構成する個々のフレーム画像）の先頭を表す「同期ワード」を検出する。

ステップ５０２において、可変長復号化部７１が、上述のピクチャの「ピクチャヘッダ」を復号する。「ピクチャヘッダ」には、当該ピクチャが「当該ピクチャを構成する全てのマクロブロックを「ＩＮＴＲＡ予測モード」によって符号化するピクチャのこと。以下「Ｉピクチャ」と呼ぶ」」であるか、「ＩＮＴＥＲ予測モードを使用するピクチャ（以下「Ｐピクチャ」と呼ぶ）」であるかについて識別する「ピクチャタイプ情報」や、直交変換係数内の量子化パラメータ等の値が含まれる。

続いて、所定のシンタックスで構成される個々のマクロブロック層のデータの復号に進む。

ステップ５０３において、可変長復号化部７１が、マクロブロック層において、「ＲＵＮ（ラン）」を復号する。「ＲＵＮ」は、マクロブロック層のデータが零であるマクロブロックの継続個数を示すものであり、「ＲＵＮ」の数だけのスキップモードが適用されるマクロブロック（スキップＭＢ）が発生する。

ステップ５０４において、復号化対象とされているマクロブロックがスキップＭＢか否かが判断される。

スキップＭＢである場合、ステップ５０５において、フレームメモリ７３に格納されている所定の参照フレーム画像５上で同位置にある１６×１６画素領域が、そのまま予測画像信号６として採用される。この処理は、可変長復号化部７１が、値が零の動きベクトルと所定の参照フレーム画像の識別番号とを動き補償部７２に送信することによって行われる。

スキップＭＢでない場合、ステップ５０６において、当該ＭＢの「ＲＵＮ」が当該ピクチャの最終ＭＢを示すか否かが判断される。

最終ＭＢである場合、ステップ５０７において、当該ピクチャの可変長復号化処理を終了し、次のピクチャの可変長復号化処理へ移る。

スキップＭＢでも最終ＭＢでもない場合、すなわち通常のＭＢである場合、ステップ５０８において、可変長復号化部７１が、「ＭＢ＿Ｔｙｐｅ（マクロブロックタイプ）」の復号を行う。「ＭＢ＿Ｔｙｐｅ」によって、復号化対象の所定領域（マクロブロック）の予測モード４が確定する。ステップ５０９において、確定した予測モード４が「ＩＮＴＲＡ予測モード」であるか否かが判断される。

予測モード４が「ＩＮＴＲＡ予測モード」である場合、ステップ５１０において、可変長復号化部７１が、「ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」の復号を行う。ステップ５１１において、空間予測部７４が、「ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」に基づいて、近傍領域の画素値から空間予測を行い、予測画像信号７を生成する。

予測モード４が「ＩＮＴＥＲ予測モード」である場合、予測モード４は、図３に示すモード１乃至モード７のいずれかとなる。したがって、この時点で「Ｒｅｆ＿ｆｒａｍｅ（参照フレーム画像番号）」及び「ＭＶＤ（動きベクトルの差分情報）」を何個復号すべきかが確定する。これらの情報にしたがって、可変長復号化部７１は、「Ｒｅｆ＿ｆｒａｍｅ」と「ＭＶＤ」の組を復号する。

ただし、「Ｒｅｆ＿ｆｒａｍｅ」が多重されているかどうかは、前述の「ピクチャタイプ情報」に統合されているため、ステップ５１２において、「ピクチャタイプ情報」の値に応じて「Ｒｅｆ＿ｆｒａｍｅ」が存在するか否かの判断を行う。

「Ｒｅｆ＿ｆｒａｍｅ」が存在する場合、ステップ５１３において、可変長復号化部７１は、「Ｒｅｆ＿ｆｒａｍｅ」を復号した後で、ステップ５１４において「ＭＶＤ」を復号する。「Ｒｅｆ＿ｆｒａｍｅ」が存在しない場合、ステップ５１４において「ＭＶＤ」のみが復号される。

ステップ５１４において、こうして得られた「Ｒｅｆ＿ｆｒａｍｅ」と「ＭＶＤ」と「ＭＢ＿Ｔｙｐｅ」より確定される予測モード４に基づいて、ＭＢ内の全ての４×４ブロックに対応する動きベクトルＭＶが復元される。

ステップ５１５において、動き補償部７２が、「Ｒｅｆ＿ｆｒａｍｅ」と動きベクトルＭＶとに基づいて、個々の４×４ブロックに対する予測画像信号６を生成する。「特異位置」に係る処理は、ここで反映される。

ステップ５１６において、可変長復号化部７１が、量子化直交変換係数１１の復元を行い、ステップ５１７において、逆量子化部７６が、直交変換係数１０の復元を行い、ステップ５１８において、逆直交変換部７７が、予測残差信号９の復元を行う。

ステップ５１９において、加算器７８で、スイッチ７５からの予測画像信号８と逆直交変換部７７からの予測残差信号９との加算が行われ、当該ＭＢのフレーム画像信号２を獲得する。その後、次のＭＢの復号化処理に移る。

（実施形態１に係る動画像符号化装置及び動画像復号化装置の作用・効果）
本実施形態に係る動画像符号化装置によれば、予測画像信号生成部３３ｅが、判断部３３ｄによる判断結果に応じて、すなわち、予測動きベクトル算出部３３ｃにより予測された予測動きベクトルに応じて、符号化対象の所定領域の動き補償値の算出方法を切り替えるため、「特異位置」と等しい画素位置（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは任意整数）の画素値を表現することが可能となる。

また、「特異位置」と等しい画素位置を指す動きベクトルを持つ領域（例えば、マクロブロック又はサブブロック）で「動き補償値」に常に強い平滑化がかかるという問題点を解決することができる。

本実施形態において示した予測画像信号あるいは動き補償値の生成方法は一例であり、本実施形態で行う動き補償値の算出方法の切り替えを実現するために必要な任意の生成方法を用いることができる。

（変更例１Ａ）
上述の実施形態１に係る動画像符号化装置２０及び動画像復号化装置５０の変更例１Ａについて説明する。以下、実施形態１との相違点についてのみ説明する。

本変更例に係る動画像符号化装置２０及び動画像復号化装置５０は、上述の実施形態に係る動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２を変更するものである。動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２は同一のものであるので、以下、動画像符号化装置２０の動き補償部３３について説明する。

本変更例では、動き補償部３３の判断部３３ｄは、予測動きベクトルの水平成分ＰＭＶｘ_Ｅの位相と、動き検出部３２により検出された動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）とに応じて、当該動きベクトルが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部３３ｅに通知する。以下、動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）の表現に係る単位を１/４画素とする。

第１に、判断部３３ｄは、「ＰＭＶｘ_Ｅ％４＝０又は１」のとき（すなわち、ＰＭＶｘ_Ｅが第１の位相であるとき）で、「ＭＶｘ_Ｅ％４＝３」かつ「ＭＶｙ_Ｅ％４＝３」の場合に、当該動きベクトルＭＶ_Ｅ（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）が「特異位置」を指していると判断する。

第２に、判断部３３ｄは、「ＰＭＶｘ_Ｅ％４＝２又は３」のとき（すなわち、ＰＭＶｘ_Ｅが第２の位相であるとき）で、「ＭＶｘ_Ｅ％４＝１」かつ「ＭＶｙ_Ｅ％４＝１」の場合に、当該動きベクトルＭＶ_Ｅ（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）が「特異位置」を指していると判断する。

この結果、予測動きベクトルＰＭＶ_Ｅが指す領域が「特異位置」と重ならないように調整される。すなわち、「特異位置」を指す動きベクトルが、予測動きベクトルＰＭＶ_Ｅと異なるように設定される。

上述のように、本変更例１では、動きベクトルの予測符号化構造を利用して、「特異位置」となる動きベクトルが、真の動きと重なる可能性を減ずる効果がある。図５において、例えば、ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅが、右下に（３/４画素，３/４画素）だけ平行に動いている場合、すなわち、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（３/４，３/４）の場合であっても、予測動きベクトルＰＭＶの第２の位相が「２」である場合、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（３/４，３/４）が「特異位置」を指していることにはならない。

（変更例１Ｂ）
上述の実施形態１に係る動画像符号化装置２０及び動画像復号化装置５０の変更例１Ｂについて説明する。以下、実施形態１との相違点についてのみ説明する。

本変更例に係る動画像符号化装置２０及び動画像復号化装置５０は、上述の実施形態に係る動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２を変更するものである。動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２は同一のものであるので、以下、動画像符号化装置２０の動き補償部３３について説明する。

本変更例では、動き補償部３３の判断部３３ｄは、上述の動きベクトルの差分情報ＭＶＤ_Ｅ＝（ＭＶＤｘ_Ｅ，ＭＶＤｙ_Ｅ）に応じて、動き検出部３２により検出された符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶ_Ｅが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部３３ｅに通知する。

すなわち、判断部３３ｄが、予測部（予測動きベクトル算出部３３ｃ）により予測された動きベクトルＰＭＶ_Ｅと、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶ_Ｅとの差分情報ＭＶＤ_Ｅが、所定値である場合に、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶ_Ｅが、所定の動きベクトル（「特異位置」を指す動きベクトル）であると判断する判断部を構成する。

以下、動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）の表現に係る単位を１/４画素とする。

例えば、判断部３３ｄは、「ＭＶＤｘ_Ｅ％４＝３」かつ「ＭＶＤｙ_Ｅ％４＝３」の場合に、動き検出部３２によって検出された動きベクトルＭＶ_Ｅ（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）が「特異位置」を指していると判断する。

かかる場合、すなわち、動きベクトルの差分情報ＭＶＤ_Ｅの商余で平滑化操作を行う場合、「特異位置」にある画素値の計算方法を変更する必要がある。

つまり、従来技術、上述の実施形態１及び変更例１では、「特異位置」を囲む整数画素位置の画素値の平均値により動き補償を行っていたが、動きベクトルの差分情報ＭＶＤ_Ｅの商余で「特異位置」の判断を行う場合、「特異位置」そのものが整数画素位置となり、平均値を求めるのに用いる整数画素位置が定まらない場合が生じる。そこで、動き補償の動作を以下のようにする。

図１１において、予測画像生成部３３ｅは、「ＭＶＤｘ_Ｅ％４＝３」かつ「ＭＶＤｙ_Ｅ％４＝３」（ここで、「ＰＭＶｘ_Ｅ％４＝１」かつ「ＰＭＶｙ_Ｅ％４＝１」）であるため、動き検出部３２により検出された動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）が「特異位置」を指していると判断する。ここで、実際には、動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）は、整数画素位置「Ｄ」を指している。

かかる場合、予測画像生成部３３ｅは、図１１に示すように、符号化対象の所定領域（マクロブロック又はサブブロック）の動き補償値を、参照フレーム画像５内の（ＭＶｘ_Ｅ＋２，ＭＶｙ_Ｅ＋２）の画素値、（ＭＶｘ_Ｅ＋２，ＭＶｙ_Ｅ−２）の画素値、（ＭＶｘ_Ｅ−２，ＭＶｙ_Ｅ＋２）の画素値、（ＭＶｘ_Ｅ−２，ＭＶｙ_Ｅ−２）画素値の平均値とする。

あるいはまた、予測画像生成部３３ｅは、符号化対象の所定領域（マクロブロック又はサブブロック）の動き補償値を、常に参照フレーム画像５内の整数画素位置の画素値から得ることとして、参照フレーム画像５内の（（ＭＶｘ_Ｅ/４）×４，（ＭＶｙ_Ｅ/４）×４）の画素値、（（（ＭＶｘ_Ｅ＋４）/４）×４，（ＭＶｙ_Ｅ/４）×４）の画素値、（（（ＭＶｘ_Ｅ/４）×４，（（ＭＶｙ_Ｅ＋４）/４）×４）の画素値、（（（ＭＶｘ_Ｅ＋４）/４）×４，（（ＭＶｙ_Ｅ＋４）/４）×４）の画素値の平均値としてもよい。

変更例１Ｂによれば、動画像符号化装置２０において、真の動きベクトル（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）を伝送するか、または、動きベクトルＭＶ_Ｅ＝（ＭＶｘ_Ｅ，ＭＶｙ_Ｅ）＝（１，１）を伝送して平滑化した動き補償を行うかの選択が可能になる。

（実施形態２）
本発明の実施形態２に係る動画像符号化装置２０及び動画像復号化装置５０について説明する。本実施形態では「特異位置」を用いた動き補償は行わない。

上述の実施形態１では、「特異位置」を指す動きベクトルＭＶ（又は、動きベクトルの差分情報ＭＶＤ）を伝送することの問題点、すなわち、真の動きベクトルＭＶが送れないという問題点を減ずる対策を述べたが、それでも真の動きベクトルＭＶが送れない可能性は残る。

そこで、本実施形態では、実施形態１での「特異位置」における「動き補償値」により提供されるような強い平滑化のかかった予測画像信号と、「特異位置」以外における通常の「動き補償値」の予測画像信号とを別に用意し、これら２種類の予測画像信号の識別情報を参照フレーム画像番号とともにシグナリングすることで、「特異位置」を用いることなく、符号化対象の所定領域ごとに異なる平滑度の参照画像から動き補償を行うことを可能とする動画像符号化装置２０及び動画像復号化装置５０について説明する。

図１２に、本実施形態に係る動画像符号化装置２０の概略図を示し、図１３に、動画像復号化装置５０の概略図を示す。

本実施形態でも、実施形態１と同様に、従来の「ＴＭＬ-８」で定義されている「Ｈ.２６Ｌ符号化方式」で課題となっている「特異位置」における動き補償（第１の問題点）について改良を施した動画像符号化装置２０及び動画像復号装置５０について述べる。

実施形態２では、「特異位置」を用いることなく、異なる参照画像から動き補償を行うことを除いて、その動作は「ＴＭＬ-８」に記載の動画像符号化装置２０及び動画像復号化装置５０の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。

本実施形態に係る動画像符号化装置２０及び動画像復号化装置５０と、従来技術に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、動き補償部３３、７２と可変符号化部４０の構成が変更されている点、及び参照画像生成部４５、８０が新たに追加された点を除いて、両者の基本動作は、ほぼ同じである。

本実施形態において、参照画像生成部４５、８０は、参照フレーム画像５から複数の異なる画像処理を施して複数の異なる参照画像（通常の第１の参照画像又は強い平滑化のかかった第２の参照画像）１７を生成するものである。ここで、上述の画像処理として、平滑度を変更する処理や空間解像度を変更する処理等が考えられている。本実施形態では、画像処理として、平滑度を変更する処理を用いた場合について説明する。

また、動き補償部３３は、参照フレーム画像５の代わりに参照画像１７を用いて、符号化対象の所定領域（マクロブロック）について動き補償値（予測画像信号６）を算出するものである。

可変長符号化部４０は、動き補償値（予測画像信号６）の算出に用いられた「参照画像１７に係る情報（参照フレームコード：Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス：Ｔｅｘｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｎｔａｘ）」とを組み合わせて伝送する伝送部を構成する。

また、可変長復号化部７１は、動画像符号化装置２０において動き補償値の算出に用いられた「参照画像に係る情報（Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス）」とを復号化する復号化部を構成する。

可変長復号化部７１は、動きベクトル３と予測モード４と「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」４Ａとを、動き補償部７２に送信する。

また、動き補償部７２は、「参照画像に係る情報（Ｒｅｆ＿ｆｒａｍｅ）」によって特定される参照画像１７を、参照フレーム画像５の代わりに用いて、符号化対象の所定領域（マクロブロック）について動き補償値を算出するものである。

本実施形態において、「参照画像１７に係る情報（参照フレームコード：Ｒｅｆ＿ｆｒａｍｅ）」は、「参照フレーム画像の識別情報（参照フレーム画像番号）」と「平滑度を示す情報（第１の参照画像又は第２の参照画像）」とを組み合わせたものである。

第１に、本実施形態では、参照画像生成部４５が、「特異位置」を持たない通常の参照画像（以下、第１の参照画像）を生成する。第１の参照画像の「動き補償値」は、前記「ＴＭＬ−８」での「特異位置」に相当する位置での「動き補償値」にも本来の「動き補償値」が用いられることを除いて、「ＴＭＬ−８」の整数画素位置、１/２画素位置、１/４画素位置の各画素位置における「動き補償値」と同様である。

「ＴＭＬ−８」での「特異位置」に相当する画素位置での第１の参照画像の「動き補償値」は、「ＴＭＬ−８」での「特異位置」以外における（１/４画素、１/４画素）位置における「動き補償値」と同様に、近傍の整数画素位置の画素値及び１/２画素位置の画素値の４点の平均値として生成する。

第２に、第１の参照画像を用いて、「ＴＭＬ−８」での「特異位置」における「動き補償値」により提供されるような強い平滑化のかかった参照画像（以下、第２の参照画像）を生成する。ここで、第２の参照画像は、第１の参照画像の各画素値に対して、各種の平滑化フィルタを用いた画像処理を施すことにより生成することができ、例えば、１/４画素精度をもつ第１の参照画像の各画素位置の画素値に、縦横それぞれ独立に、平滑化作用のある３タップフィルタ（１、４，１）/６を作用させることにより、１/４画素精度をもつ第２の参照画像を生成することができる。

「Ｈ．２６Ｌ符号化方式」では、参照フレーム画像５として、時間的に異なる複数の符号化済みフレーム画像を用意し、それらを参照画像として動き補償に用いることが可能である。また、これらの時間的に異なる符号化済みフレーム画像の識別情報は、参照フレーム画像番号として区別される。

本実施形態では、第１の参照画像の識別情報又は第２の参照画像の識別情報、すなわち、参照画像の生成方法の情報と参照フレーム画像番号とを組み合わせて伝送することとする。

これにより、「特異位置」を用いることなく、符号化対象の所定領域（例えば、マクロブロック）ごとに異なる平滑度の参照画像を用いた動き補償を行うことが可能となる。

この場合、時間的に異なる符号化済みフレーム画像である参照フレーム画像５に対して、参照画像生成部４５、８０が、異なる平滑度である第１の参照画像及び第２の参照画像を生成し、これらを「参照画像」として動き補償部３３、７２における動き補償に利用することを可能とする。

図１４に、本実施形態において用いられる「Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックス」を示す。本実施形態では、Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックスからの変更点はないが、「Ｒｅｆ＿ｆｒａｍｅ」の定義を、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」とを組み合わせたもの、すなわち「参照フレームコード」に変更している。

図１４に示すように、一つのマクロブロック内で複数の動きベクトルを検出することが必要な予測モード（例えば、モード７）が適用される場合であっても、複数の「ＭＢ＿ＴＹＰＥ」や「Ｒｅｆ＿ｆｒａｍｅ」等の情報を含むことなく符号化を行うことができる。

すなわち、かかる符号化シンタックスを用いることによって、１回の「ＭＢ＿ＴＹＰＥ」や「Ｒｅｆ＿ｆｒａｍｅ」等の伝送に対して、動きベクトルの差分情報ＭＶＤ及び予測残差信号データ符号化シンタックス（Ｔｅｘｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｎｔａｘ）を繰り返し伝送することができる。ここで、予測残差信号データ符号化シンタックスは、量子化直交変換係数１１を可変長符号化したものである。

図１５に、参照フレーム画像番号と参照画像の生成方法の識別情報との組み合わせによる参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）の一例を示す。

ここで、図１５に示すように、従来のＨ．２６Ｌにおける参照フレーム画像番号と同じ参照フレームコード（「０」乃至「４」）は、第１の参照画像用に用いられており、新たに追加された参照フレームコード（「５」乃至「９」）は、第２の参照画像用に用いられている。

本実施形態において、第２の参照画像は、通常の参照画像である第１の参照画像に比べて強い平滑化がかかっており、原画像（参照フレーム画像５）の持つ空間解像度を保持していない参照画像となっている。

したがって、第２の参照画像は、強い平滑度の参照画像を用いた方が、より符号化歪みが抑圧され、動き補償の効率が向上される場合などのみに用いられることとなり、第１の参照画像に比べて選択される確率が低いと考えられる。

そのため、動き補償に利用される参照画像として、多くの場合に通常の参照画像である第１の参照画像が選ばれ、このときに伝送される参照フレームコードを定義する参照フレームコード表は、図１６に示す「Ｈ．２６Ｌ符号化方式の参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」を定義する参照フレームコード表と同じであるため、従来の「Ｈ．２６Ｌ符号化方式」の場合と比べて、参照フレームコードの変更によるビット量の増加がない。

また、強い平滑度の第２の参照画像を用いた動き補償を行う場合は、伝送される参照フレームコードとして比較的長い符号長が必要となるが、これらの第２の参照画像が利用される確率は多くはなく、また強い平滑度の第２の参照画像を用いることによる動き補償の効率向上に比べて、参照フレームコードのビット量の増加の影響は少ないと考えられ、高効率の符号化が期待できる。

（実施形態２に係る動画像符号化装置及び動画像復号化装置の作用・効果）
本発明に係る動画像符号化装置２０によれば、参照画像生成部４５において作成される通常の参照画像（第１の参照画像）と強い平滑度の参照画像（第２の参照画像）の２種類の異なる平滑度の参照画像を用いることにより、符号化対象の所定領域（例えば、マクロブロック）ごとに異なる平滑度の参照画像を用いて動き補償を行うことが可能となる。

また、本発明に係る動画像符号化装置２０によれば、「参照画像の生成方法の識別情報」を「参照フレーム画像番号」と組み合わせて参照フレームコードを生成することで、参照画像の平滑度をシグナリングすることが可能であり、「Ｈ．２６Ｌ符号化方式」のように「特異位置」と等しい画素位置を指す動きベクトルをもつ領域で、「動き補償値」に常に強い平滑化がかかるという問題点を解決することができる。

本実施形態において示した、強い平滑度の参照画像である第２の参照画像を生成するためのフィルタは一例であり、また、平滑化以外のフィルタを適用することで、異なる性質の参照画像による予測を実現することが可能となる。

また、図１１では、説明を簡単にするために、参照画像の生成に用いることができる参照フレーム画像の最大数を「５」としているが、本発明は、これに限るものではなく、かかる参照フレーム画像の最大数を任意とすることができる。

「ＴＭＬ−８」では、参照画像の生成に用いることができる参照フレーム画像の最大数は、動画像符号化装置２０及び動画像復号化装置５０において、あらかじめ既知のものとして与えられる。

また、実際のアプリケーションでは、このような方法もしくは動画像符号化装置２０から動画像復号化装置５０に伝送される圧縮ストリーム１２の情報によって、上述の参照フレーム画像の最大数が決定されると考えられる。

いずれの場合にも、参照画像の生成に用いることができる参照フレーム画像の最大数は、動画像符号化装置２０及び動画像復号化装置５０において、一意に決定されるため、参照画像の生成に用いることができる参照フレーム画像の最大数に応じた参照フレームコード表を一意に決定できる。

さらに、図１６の参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を定義する参照フレームコード表では、「参照フレーム画像番号」と「第１の参照画像」とを組み合わせた「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の後に、「参照フレーム画像番号」と「第２の参照画像」とを組み合わせた「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」を割り当てているが、動き補償に用いられる参照画像は、時間的に近いものが多用されるとの考えに基づき、強い平滑度の第２の参照画像のうち、参照フレーム画像番号の小さいものを参照フレームコード表の上位に配置することもできる。

また、参照フレームコード表は、上述のように、符号化対象の所定領域（マクロブロック）の符号化条件に応じて一意に決定されてもよいし、上述の符号化条件に応じて動的に変更されてもよい。ここで、上述の符号化条件には、予測モード（すなわち、動きベクトルを検出する単位の種類）や量子化ステップ（ＱＰ値）等が考えられる。ここで、動きベクトルを検出する単位の種類には、例えば、動きベクトルを検出するサブブロックの大きさ等が考えられる。

具体的には、量子化ステップに応じて、参照フレームコード表を動的に変更する場合の例について説明する。ここで、強い平滑度の第２の参照画像は、低ビットレート符号化時に多用されると考えられるため、量子化ステップが所定の閾値以下の場合に、「第２の参照画像」を含む「参照フレームコード」を参照フレームコード表の下方に配置し、量子化ステップが所定の閾値を越えた場合に、「第２の参照画像」を含む「参照フレームコード」いくつかを参照フレームコード表の上方に配置する。

上述のように、図１５に示す「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせである「参照フレームコード」を定義する「参照フレームコード表」は、一例であり、本実施形態で行う「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との切り替えを実現するために必要な任意の参照フレームコード表を用いることができる。

また、本実施形態において、参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、符号化対象の所定領域（マクロブロック）の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。

すなわち、参照画像生成部４５は、符号化対象の所定領域（マクロブロック）の符号化条件（動きベクトルを検出する単位や量子化ステップ等）に応じて、所定の平滑度の参照画像１７を生成してもよい。

例えば、符号化対象の所定領域（マクロブロック）が細かく分割されるような「マクロブロックモード（ＭＢ＿Ｔｙｐｅ：予測モード）」で符号化される領域には、複雑な動きがあると考えられ、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。

また、量子化ステップ（ＱＰ値）の大きなマクロブロックにおいても、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。

したがって、動きベクトルが検出される単位（サブブロック）の数や量子化ステップが所定の閾値を越えるマクロブロックに関しては、強い平滑の程度である第２の参照画像を常に用いることとしてもよい。

かかる場合、生成される参照画像が、符号化条件によって一意に決定されるため、参照フレーム画像番号を用いて平滑度を識別する情報を必要とせず、「Ｈ．２６Ｌ符号化方式」に比べて、参照フレームコードやマクロブロックモードコードの変更によるビット量の増加がない。

（変更例２Ａ）
上述の実施形態２の変更例２Ａについて説明する。以下、本実施例と実施形態２との相違点について説明する。

上述の実施形態２では、２種類の異なる生成方法（平滑度）の参照画像（第１の参照画像及び第２の参照画像）１７を作成し、作成された「参照画像の生成方法の識別情報（平滑度を示す情報）」と「参照フレーム画像番号（参照フレーム画像の識別情報）」とを組み合わせて「参照フレームコード（参照画像に係る情報）」を生成することで、符号化対象の所定領域（マクロブロック）ごとに平滑度を変更した参照画像を用いた動き補償を可能とした。

しかしながら、平滑度の切り替えは、参照フレーム画像番号を割り当てる単位であるマクロブロック単位でしか行えなかった。

そこで、本変更例では、参照フレーム画像番号と参照画像の生成方法の識別情報とを組み合わせて生成する「参照フレームコード」と、マクロブロック内での動き補償の行われる「サブブロック単位（動きベクトルを検出する単位）」とを組み合わせて伝送することを可能とする動画像符号化装置２０及び動画像復号化装置５０について説明する。

本変更例に係る動画像符号化装置２０及び動画像復号化装置５０と、上述の実施形態２に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、両者の基本動作はほぼ同じである。

本変更例において、動き補償部３３が、動きベクトルを検出する単位（サブブロック単位）で、動き補償値の算出に用いる参照画像（第１の参照画像又は第２の参照画像）１７を切り替える。

また、可変長符号化部４０は、動きベクトルを検出する単位（サブブロック単位）で、「参照画像に係る情報（Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス）」とを組み合わせて伝送する。

また、可変長復号化部７１は、動きベクトルを検出する単位（サブブロック単位）で、「参照画像に係る情報（参照フレームコード）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス）」とを復号化する。

また、動き補償部７２は、動きベクトルを検出する単位（サブブロック単位）で、動き補償値の算出に用いる参照画像１７を切り替える。

ここで、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせによる「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の一例としては、実施形態２と同様のものを考える。

図１７に、本変更例によるマクロブロック単位での符号化シンタックスを示す。

本変更例では、マクロブロック内において、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」とを組み合わせて生成した「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」をサブブロック単位で複数回伝送する必要が生じる。

伝送されるべき「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の数は、「マクロブロックタイプ（ＭＢ＿ｔｙｐｅ）」によりサブブロックの形式ならびに数が伝送されることから、「マクロブロックタイプ（ＭＢ＿ｔｙｐｅ）」により通知されることとすることができる。

例えば、マクロブロックタイプが「ＩＮＴＥＲ予測モード（モード７）」である場合、伝送されるべき「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の数は「１６」である。

本変更例によれば、マクロブロック内で動きベクトルを検出する単位である「サブブロック」単位において、異なる平滑度の参照画像１７を用いて動き補償を行うことが可能となる。

また、サブブロックごとに異なる参照フレーム画像５を用いた動き補償を行うことが可能となり、フレーム画像信号２の形状や動きに合わせた、より自由度の高い動き補償が可能となる。

また、変更例において、参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、動きベクトルを検出する領域（マクロブロック又はサブブロック）の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。

（変更例２Ｂ）
実施形態２の変更例２について説明する。本実施例でも、「特異位置」を用いることなく、異なる参照画像１７を用いて動き補償を行うことを除いて、その動作は、「ＴＭＬ-８」に記載の動画像符号化装置２０及び動画像復号化装置５０の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。

上述の実施形態２では、２種類の異なる生成方法（平滑度）の参照画像（第１の参照画像及び第２の参照画像）を作成し、作成された「参照画像の生成方法の識別情報」と「参照フレーム画像番号」とを組み合わせて「参照フレームコード」を生成することで、符号化対象の所定領域（例えば、マクロブロック：参照フレーム画像番号を割り当てる単位）ごとに平滑度を変更した動き補償を可能とした。

本変更例では、２種類の異なる平滑度の参照画像（第１の参照画像及び第２の参照画像）を生成し、生成した「参照画像の生成方法の識別情報」と「マクロブロックモード」とを組み合わせて「マクロブロックモードコード」を生成することで、符号化対象の所定領域（マクロブロック）ごとに平滑度を変更した動き補償を可能とする。

本変更例に係る動画像符号化装置２０及び動画像復号化装置５０と、上述の実施形態２に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、両者の基本動作はほぼ同じである。

本変更例において、「参照画像に係る情報（マクロブロックモードコード）」は、「動きベクトルを検出する単位を示す識別情報（マクロブロックモード：ＭＢ＿Ｔｙｐｅ）」と「平滑度を示す情報（第１の参照画像又は第２の参照画像）」との組み合わせである。

また、可変長符号化部４０は、符号化対象の所定領域（マクロブロック）単位で、「参照画像に係る情報（マクロブロックモードコード）」と「参照フレーム画像の識別情報（参照フレーム画像番号：Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測残差信号データ符号化シンタックス）」とを組み合わせて伝送する。

また、可変長復号化部７１は、符号化対象の所定領域（マクロブロック）単位で、「参照画像に係る情報（マクロブロックモードコード：ＭＢ＿Ｔｙｐｅ）」と「参照フレーム画像の識別情報（参照フレーム画像番号：Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報予測残差信号データ符号化シンタックス」」とを復号化する。

また、動き補償部７２は、「参照画像に係る情報（ＭＢ＿Ｔｙｐｅ）」及び「参照フレーム画像の識別情報（Ｒｅｆ＿ｆｒａｍｅ）」によって特定される参照画像１７を、参照フレーム画像５の代わりに用いて、符号化対象の所定領域（マクロブロック）について動き補償値を算出する。

図１４に、Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックスを示す。本変更例では、従来の「Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックス」からの変更点はないが、「マクロブロックモード（ＭＢ＿Ｔｙｐｅ）」の定義を、「マクロブロックモード」と「参照画像の生成方法の識別情報」とを組み合わせたものに変更している。

図１８に、「マクロブロックモード」と「参照画像の生成方法の識別情報」との組み合わせによる「マクロブロックモードコード（ＭＢ＿Ｔｙｐｅ）」の一例を示す。

図１８に示すように、従来のＨ．２６Ｌにおけるマクロブロックモードと同じマクロブロックモードは、第１の参照画像から動き補償を行うことを指示しており、新たに追加されたマクロブロックモードは、強い平滑度の第２の参照画像から動き補償を行うことを指示している。

本変更例では、マクロブロックモードが、マクロブロック単位に割り当てられるため、マクロブロック単位で、異なる平滑度の参照画像から動き補償を行うこととなる。

また、変更例において、マクロブロックモードコード（ＭＢ＿Ｔｙｐｅ）を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、符号化対象の所定領域（マクロブロック）の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。

（変更例２Ｃ）
上述の実施形態２の変更例２Ｃについて説明する。本変更例では、上述の実施形態２における第２の参照画像が強い平滑化のかかったものであり、必ずしも動き補償において第１の参照画像と同じ精度の動きベクトルが必要ないことから、第２の参照画像が用いられる場合の動きベクトルの精度を変更することとした構成について説明する。以下、本変更例と上述の実施形態２との相違点について説明する。

本変更例において、動き補償部３３は、強い平滑度の参照画像（第２の参照画像）を用いる場合、動き補償値（予測画像信号６）の算出に用いる動きベクトルの精度を落とす。具体的には、かかる場合、動き補償部３３は、当該動きベクトルの水平成分及び垂直成分の精度を落とすように構成されている。

本変更例において、参照画像生成部４５が、上述の実施形態２と同様に、第１の参照画像を生成した後、第２の参照画像として空間解像度を１/２画素精度又は整数画素精度に落とした強い平滑化のかかった参照画像を生成する。

第２の参照画像における１/２画素精度の空間解像度の強い平滑化のかかった参照画像を生成する方法の一例として、第１の参照画像に（１，２，１）/４フィルタを作用させてダウンサンプリングする方法を示す。

また、整数画素精度の空間解像度の強い平滑化のかかった参照画像を生成する方法の一例として、１/２画素精度の平滑化画像に、さらに（１，２，１）/４フィルタを作用させてダウンサンプリングする方法を示す。

本変更例において、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせによる「参照フレームコード」の一例としては、上述の実施形態２と同様のものを考える。

例えば、第２の参照画像として、空間解像度を１/２画素精度に落とした強い平滑化のかかった参照画像を生成する場合、第１の参照画像での動きベクトルを（ＭＶｘ、ＭＶｙ）とすると、第２の参照画像での動きベクトルでは、以下の読みかえを行う。

第１の参照画像の画素位置：ＭＶｘ、ＭＶｙ （単位は１/４画素）
第２の参照画像の画素位置：ＭＶｘ//２、ＭＶｙ//２
ここで、“//”は、零方向への丸め処理を伴う整数除算である。

また、第２の参照画像として、空間解像度を整数画素精度に落とした強い平滑化のかかった参照画像を生成する場合、第１の参照画像での動きベクトルを（ＭＶｘ、ＭＶｙ）とすると、第２の参照画像での動きベクトルでは、以下の読みかえを行う。

第１の参照画像の画素位置：ＭＶｘ、ＭＶｙ （単位は１/４画素）
第２の参照画像の画素位置：ＭＶｘ//４、ＭＶｙ//４
ここで、“//”は、零方向への丸め処理を伴う整数除算である。

したがって、第２の参照画像では、同じ動きベクトルＭＶ＝（ＭＶｘ、ＭＶｙ）に対して、複数の値を持つことになる。

例えば、第２の参照画像を１/２画素精度に落とした場合、（３，３）、（２，３）、（３，２）、（２，２）は、同じ動きベクトルを指す。

したがって、第２の参照画像では、可変長符号化部４０において符号化を行う際に、発生する符号量の少ない動きベクトル（例えば、（２，２））を代表として送出すれば良い。

あるいは、第２の参照画像では、空間解像度に合わせた読み替えを行った後の動きベクトルを用いて、予測動きベクトルＰＭＶ並びに動きベクトルの差分情報ＭＶＤの算出を行うこととし、送出する動きベクトルの差分情報の値を小さくする、すなわち、符号化量を小さくすることとしてもよい。

この場合、第２の参照画像から空間解像度の大きい第１の参照画像について、予測動きベクトル並びに動きベクトルの差分情報ＭＶＤの算出を行う場合には、逆に第２の参照画像に係る動きベクトルＭＶの空間解像度を上げる読み替えを行うこととなる。

以上の変更により、参照フレーム画像５にノイズが重畳されている場合、低い空間解像度の第２の参照画像を参照することにより、効率の良い符号化が期待される。

また、本変更例では、低い空間解像度の第２の参照画像では、動きベクトルの空間解像度を下げており、動きベクトルの符号化時の冗長度を省いているところが特徴である。

また、本変更例において、参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を用いて、動き補償に用いた参照画像の空間解像度を明示的にシグナルするのではなく、符号化対象の所定領域（マクロブロック）の符号化条件に応じて、参照画像の空間解像度を自動的に切り替えて一意に決定してもよい。

例えば、符号化対象の所定領域（マクロブロック）が細かく分割されるような「マクロブロックモード（ＭＢ＿Ｔｙｐｅ：予測モード）」で符号化される領域には、複雑な動きがあると考えられ、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。

また、量子化ステップ（ＱＰ値）の大きなマクロブロックにおいても、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。

したがって、動きベクトルが検出される単位（サブブロック）の数や量子化ステップが所定の閾値を越えるマクロブロックに関しては、強い平滑の程度である（すなわち、低い空間解像度である）第２の参照画像を常に用いることとしてもよい。

かかる場合、生成される参照画像が、符号化条件によって一意に決定するため、参照フレーム画像番号を用いて平滑度を識別する情報を必要とせず、「Ｈ．２６Ｌ符号化方式」に比べて、参照フレームコードやマクロブロックモードコードの変更によるビット量の増加がない。

さらに、上述の符号化条件（マクロブロックモードや量子化ステップ等）に応じて、平滑度及び空間解像度を自動的に切り替えて一意に決定することもできる。

かかる場合、サブブロックの分割数や量子化ステップが所定の閾値を越えるマクロブロックについては、空間解像度を１/２画素精度又は整数画素精度に落とし、強い平滑度をかけるフィルタを使用した参照画像を常に用い、動きベクトルの水平成分及び垂直成分の画素精度を落とすように構成して、発生する動きベクトルの符号量を少なくする。

（実施形態３）
実施形態３に係る動画像符号化装置２０及び動画像復号化装置５０について説明する。上述の実施形態２では、「参照画像の生成方法の識別情報（第１の参照画像又は第２の参照画像）」と「参照フレーム画像番号」とを組み合わせた「参照画像に係る情報（参照フレームコード又はマクロブロックモードコード）」をシグナリングすることで、符号化対象の所定領域（マクロブロック）ごとに通常の参照画像（第１の画像情報）及び強い平滑化のかかった参照画像（第２の画像情報）を用いた動き補償を行うことを可能とする動画像符号化装置２０及び動画像復号化装置５０について説明した。

本実施形態では、空間解像度ごとの階層からなるピラミッドを構成して、３種類以上の異なる画素精度を有する参照画像を生成することが可能である動画像符号化装置２０及び動画像復号化装置５０について説明する。

図１９に、本実施形態に係る動画像符号化装置２０の概略構成を示し、図２０に、動画像復号化装置５０の概略構成を示す。

本実施形態に係る動画像符号化装置２０及び動画像復号化装置５０と、従来技術に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、動き検出部３２と動き補償部３３、７２と可変長符号化部４０の構成が変更されている点、及び階層参照画像生成部４６、８１が新たに追加されている点を除いて、両者の基本動作は、ほぼ同じである。

本実施形態において、階層参照画像生成部４６、８１が、参照フレーム画像５から複数の異なる画像処理を施して複数の異なる参照画像（階層参照画像１８）を生成する参照画像生成部を構成する。ここで、上述の画像処理として、平滑度を変更する処理や空間解像度を変更する処理等が考えられる。本実施形態では、上述の画像処理として、空間解像度を変更する処理を用いた場合について説明する。

また、階層参照画像生成部４６、８１は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して複数の空間解像度の参照画像（階層参照画像１８）を生成する。ここで、「画像処理を示す情報、すなわち空間解像度を示す情報（Ｌａｙｅｒ）」は、フィルタを識別するものである。

また、動き検出部３２が、参照画像（階層参照画像１８）を用いて検出した「動きベクトル（ＭＶｘ，ＭＶｙ）」と当該「参照画像（階層参照画像１８）の空間解像度を示す情報（Ｌａｙｅｒ）」とを関連付けて「３次元動きベクトル（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）」を生成する３次元動きベクトル生成部を構成する。

また、動き検出部３２は、低い空間解像度の参照画像（例えば、レイヤー３等）に対して、３次元動きベクトルの精度を落とすように構成されていてもよい。

また、動き補償部３３（７２）が、参照画像（階層参照画像１８）を参照フレーム画像５の代わりに用いて、符号化（復号化）対象の所定領域（マクロブロック）について動き補償値を算出するものである。

また、動き補償部３３は、フレーム画像内の符号化された所定領域（符号化済みマクロブロック）と符号化対象の所定領域（符号化対象のマクロブロック）との相関（例えば、算術符号化におけるコンテクストの切り替え）を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を構成する。

可変長符号化部４０は、「３次元動きベクトル」と「動き補償値を示す情報」とを組み合わせて伝送する伝送部を構成する。

また、可変長符号化部４０は、動き検出部３２により生成された３次元動きベクトル（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）と動き補償部３３により予測された３次元動きベクトル（ＰＬａｙｅｒ，ＰＭＶｘ，ＰＭＶｙ）との差分情報（ＬａｙｅｒＤ，ＭＶＤｘ，ＭＶＤｙ）と動き補償値を示す情報とを組み合わせて伝送してもよい。

また、可変長復号化部７１は、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部を構成する。

まず、本実施形態において用いる概念を、図２１及び図２２を用いて説明する。

階層参照画像生成部４６、８１が、動き補償部３３、７２による動き補償で用いられる参照フレーム画像５に対して、３つのレイヤーを生成する。

第１に、階層参照画像生成部４６,８１は、図２１及び図２２に示すように、参照フレーム画像５に対して、８タップフィルタによるアップサンプリングすることによって、階層化参照画像１８の一つである１/４画像精度のレイヤー１を生成する。ここで用いられる８タップフィルタの一例を以下に示す。・１/４画素位置用：
（-３，１２，-３７，２２９，７１，-２１，６，-１）/２５６・２/４画素位置用：
（-３，１２，-３９，１５８，１５８，-３９，１２，-３）/２５６・３/４画素位置用：
（-１，６，-２１，７１，２２９，-３７，１２，-３）/２５６
ここで、整数画素位置の画素値は、参照フレーム画像５の同位置の画素値がコピーされ、整数画素位置間の１/４画素位置，２/４画素位置，３/４画素位置にある画素値は、整数画素位置の画素値に対して、上述のフィルタ係数の積和演算を行うことにより求められる。このフィルタ処理は、水平方向及び垂直方向に分離されて行われる。

かかるフィルタ処理は、従来の「ＴＭＬ-８」の１/８画素精度のアップサンプリング処理に記載されているので、詳細は省略する。

第２に、階層参照画像生成部４６、８１は、生成された１/４画像精度のレイヤー１に対して、３タップフィルタ（低域通過型フィルタ）によるダウンサンプリングすることによって、階層参照画像１８の一つである１/２画素精度のレイヤー２を生成する。ここで用いられる３タップフィルタの一例が「（１，２，１）/４」である。

第３に、階層参照画像生成部４６、８１は、生成された１/２画像精度のレイヤー２に対して、３タップフィルタによるダウンサンプリングすることによって、階層参照画像１８の一つである整数画素精度のレイヤー３を生成する。ここで用いられる３タップフィルタは、先に用いられた３タップフィルタと同じものである。

注目すべきは、レイヤー１は、従来技術と同じく１/４画素精度であるが、１/４画素位置の画素値は、線形補間により算出されたものではなく、上述のフィルタ処理により原画像（参照フレーム画像５）の持つ空間解像度を保持するように算出されている点である。

以上のように、階層参照画像生成部４６、８１は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して複数の異なる空間解像度を有する参照画像（レイヤー１乃至レイヤー３）を生成する。

本実施形態では、動き補償部３３は、このように生成された階層参照画像１８を用いて動き補償を行う。

この際、動きベクトル３は、（ＭＶｘ，ＭＶｙ）の２項組（２次元動きベクトル）ではなく、（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）の３項組（３次元動きベクトル）となる。

動き検出部３２は、２次元動きベクトル（ＭＶｘ，ＭＶｙ）を検出する代わりに、３次元動きベクトル（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）を検出する。

レイヤー２は、レイヤー１の半分の空間解像度であり、さらに、レイヤー３は、レイヤー２の半分の空間解像度であるので、以下の読みかえを行う。

レイヤー１の画素位置：ＭＶｘ，ＭＶｙ（単位は１/４画素）
レイヤー２の画素位置：ＭＶｘ//２，ＭＶｙ//２
レイヤー３の画素位置：ＭＶｘ//４，ＭＶｙ//４
ここで、“//”は、零方向への丸め処理を伴う整数除算である。

したがって、レイヤー２，レイヤー３では、同じ動きベクトルに対して、複数の（ＭＶｘ，ＭＶｙ）の値を持つことになる。

例えば、レイヤー２，レイヤー３では、（２，３，３）、（２，２，３）、（２，２，３）、（２，２，２）は、同じ動きベクトルを指す。

したがって、上位レイヤー（レイヤー２やレイヤー３）では、可変長符号化部４０において符号化を行う際に、発生する符号量の少ない動きベクトル（例えば、上述の場合、（２，２，２））を代表として送出すれば良い。

あるいはまた、レイヤー２、レイヤー３では、各レイヤーの空間解像度に合わせた読み替えを行った後の動きベクトルを用いて、予測動きベクトルＰＭＶ並びに動きベクトルの差分情報ＭＶＤの算出を行うこととし、送出する動きベクトルの差分情報ＭＶＤの値を小さくする、すなわち、符号量を小さくすることとしてもよい。

この場合、これらのレイヤーからレイヤー１等の空間解像度の大きい動きベクトルの予測動きベクトルＰＭＶ並びに動きベクトルの差分情報ＭＶＤの算出を行う場合には、逆に各レイヤーの動きベクトルの空間解像度を上げる読み替えを行うこととなる。

この概念を用いて、動き補償部３３の予測動きベクトル算出部３３ｃは、上述の実施形態１の場合とほぼ同じ方法で、図２３に示すように、複数の空間解像度へ拡張した３次元動きベクトルについての予測を行う。

図２３において、「ＰＭＶｘ_Ｅ」は、符号化対象の所定領域（マクロブロック）Ｅについての予測動きベクトルＰＭＶ_Ｅの水平成分を示し、「ＰＭＶｙ_Ｅ」は、符号化対象の所定領域（マクロブロック）Ｅについての予測動きベクトルＰＭＶ_Ｅの垂直成分を示す。

「ＰＬａｙｅｒ_Ｅ」は、符号化対象の所定領域（マクロブロック）Ｅについての予測空間解像度を示す。

「ＭＶＤｘ_Ｅ」、「ＭＶＤｙ_Ｅ」は、符号化対象の所定領域（マクロブロック）Ｅに係る１/４画素精度の動きベクトルの差分情報を示す。「ＬａｙｅｒＤ」は、符号化対象の所定領域（マクロブロック）Ｅに係る空間解像度の差分情報を示す。

したがって、符号化処理は（ＬａｙｅｒＤ，ＭＶＤｘ，ＭＶＤｙ）の３項組に対して行われる。

また、動き補償部３３は、フレーム画像信号２内の符号化された所定領域（マクロブロック）の３次元動きベクトルを用いて、符号化対象の所定領域（マクロブロック）の３次元動きベクトルを予測し、予測された３次元動きベクトルと動きベクトル検出部３２により検出された３次元動きベクトルとの差分情報を算出し、算出された３次元動きベクトルの差分情報を用いて動き補償を行ってもよい。

ここで、ＬａｙｅｒＤは、通常、零に集中すると予測され、また、レイヤー１やレイヤー３から見れば、その遷移は、非対称である。

そこで、本実施形態において、従来技術で実現されている「適応算術符号化」を用いることとして、さらに、近傍領域のマクロブロックとの相関を利用するように、ＰＬａｙｅｒのコンテクストモデルの３状態を新たに付加した拡張を行ってもよい。

上述のように、Ｌａｙｅｒについては、近傍領域のマクロブロックとの相関を利用した符号化を行うことができる。

上述では、ＰｌａｙｅｒとＬａｙｅｒＤを用いた予測差分符号化を行うこととしたが、予測差分符号化を行うことは、算術符号化においてコンテクストモデリングを行うことと同等である。

したがって、近傍領域のマクロブロックとの相関を、直接、若しくは、Ｐｌａｙｅｒのような中間値により、コンテクストモデルとして利用する（コンテクストの切り替えを用いる）こととして、ＬａｙｅｒＤではなく、Ｌａｙｅｒそのものを、算術符号化を用いて符号化することとしてもよい。

なお、「適応算術符号化」の概念と詳細は、従来「Ｃｏｎｔｅｘｔ-ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ」として述べられているので、詳細は省略する。

以上、本実施形態では、上述の実施形態１，２やそれらの変更例のように、「２次元動きベクトル」と「画像処理を示す情報（空間解像度を示す情報）」を伝送する代わりに、「２次元動きベクトル」を「画像処理（空間解像度）を示す情報（Ｌａｙｅｒ）」を含む「３次元動きベクトル」として拡張した新しい動き補償について説明した。

図２４に、本実施形態に係る動画像符号化装置２０における動き補償の動作について説明する。

ステップ１２０１において、階層参照画像生成部４６が、フレームメモリ３４から抽出した参照フレーム画像５を用いて、階層参照画像１８を生成する。

ステップ１２０２において、動き検出部３２が、階層参照画像生成部４６からの階層参照画像１８を参照して、符号化対象の所定領域（マクロブロック）の３次元動きベクトルを検出する。

ステップ１２０３において、動き補償部３３が、動き検出部３２からの３次元動きベクトルと階層参照画像生成部４６からの階層参照画像１８とに基づいて、予測画像信号６を生成する。

本実施形態によれば、参照フレーム画像５にノイズが重畳されている場合、適応的に低い空間解像度のレイヤー画像を参照することにより、効率の良い符号化が期待される。

また、低い空間解像度のレイヤー画像（例えば、レイヤー２，３画像）では、３次元動きベクトルの空間解像度を落としており、３次元動きベクトルの符号化時の冗長度を省いているところが特徴である。

また、本実施形態では、３次元動きベクトルを採用したが、この３次元動きベクトルのパラメータ空間上でベクトルの分布は、空間的に連続であることが予想され、符号化の効率向上が期待できる。

本実施形態において示した予測画像信号あるいは動き補償値の生成方法は、一例であり、本実施形態で行う動き補償値の算出方法の切り替えを実現するために必要な任意の生成方法を用いることができる。

（実施形態３に係る動画像符号化装置及び動画像復号化装置の作用・効果）
本発明に係る動画像符号化装置によれば、動き検出部３２が、階層参照画像１７に応じて３次元動きベクトルを生成するため、符号化対象の所定領域ごとに、異なる画素精度の動き補償を行うことができる。

（変更例３Ａ）
上述の実施形態３の変更例３Ａについて説明する。以下、図２５を参照して、本変更例と実施形態３との相違点について説明する。

第１に、本変更例では、１/４画素精度ではなく１/２画素精度で動き補償を行う点で、上述の実施形態３の場合と相違する。

すなわち、本変更例では、階層参照画像生成部４６、８１が、従来の「ＴＭＬ-８」で用いられていた６タップフィルタ「（１，−５，２０，２０，−５，１）/３２」を、参照フレーム画像５に適用してアップサンプリングすることによって、１/２画素精度のレイヤー１を生成する。

第２に、階層参照画像生成部４６、８１が、レイヤー１に対して、平滑化フィルタ「（１，２，１）/４」を水平・垂直に独立に適用して、レイヤー２を生成する点で、上述の実施形態３の場合と異なる。

第３に、本変更例では、レイヤーが、２つ（レイヤー１及びレイヤー２）であり、両者の空間解像度が同じである点で、上述の実施形態３の場合と異なる。

したがって、
レイヤー１の画素位置：ＭＶｘ，ＭＶｙ（単位は１/２画素）
レイヤー２の画素位置：ＭＶｘ，ＭＶｙ（単位は１/２画素）となる。

以上の変更を加えて、従来技術と同じ方法で「中間値予測」を行って、（ＬａｙｅｒＤ，ＭＶＤｘ，ＭＶＤｙ）の３次元動きベクトルを符号化する。「適応算術符号化」は、上述の実施形態３の場合とは異なり、ＰｌａｙｅｒＥのコンテクストが２状態となる。

以上の変更により、１/２画素精度で動き補償を行いつつ、参照フレーム画像５にノイズが乗っている場合は、適応的に低い空間解像度に切り替えながら動き補償を行うことが可能になる。

特に、低レート符号化では、１/４画素精度は不要であると予想され、むしろ、１/４画素精度の動き補償を平滑化したものが用いられる傾向があるため、ここでは、明示的に低い空間解像度の画像に切り替える方式を本変更例として示した。

なお、本変更例では、レイヤー２画像を生成するためのフィルタを「（１，２，１）/４」の単純な低域通過型フィルタとしたが、エッジ保存型の平滑化フィルタとしても良い。

例えば、このようなエッジ保存型の平滑化フィルタとしては、３画素×３画素の領域の中間値を求める「メディアンフィルタ」や米国特許６,０４１,１４５「Ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｓｍｏｏｔｈｉｎｇ ｐｉｃｔｕｒｅ ｓｉｇｎａｌ, ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｅｎｃｏｄｉｎｇ ｐｉｃｔｕｒｅ ａｎｄ ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｅｃｏｄｉｎｇ ｐｉｃｔｕｒｅ」記載の「動的重み付けフィルタ」が利用できる。

上述の「動的重み付けフィルタ」は、平滑化の中心画素値とその近傍画素値の差分絶対値を計算し、この差分絶対値に逆比例したフィルタ係数を周辺画素値（８近傍）に与えることにより適応的な平滑化を行うものである。

なお、コンピュータ１００を、本発明に係る動画像符号化装置２０及び動画像復号化装置５０として機能させるためのプログラムを、コンピュータ読み取り可能な記録媒体に記録することができる。

このコンピュータ読み取り可能な記録媒体として、図２６に示すように、例えば、フロッピィーディスク１０１、コンパクトディスク１０２、ＩＣチップ１０３、カセットテープ１０４等が挙げられる。このようなプログラムを記憶したコンピュータ読み取り可能な記録媒体によれば、上述のプログラムの保存、運搬、販売等を容易に行うことができる。

なお、本発明は、以下のように表現されてもよい。例えば、本発明の特徴において、前記動き補償部は、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、前記伝送部は、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記伝送部は、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落としてもよい。

本発明の特徴において、前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

本発明の特徴において、前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

また、本発明は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであってもよい。

本発明の特徴において、前記復号化部は、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、前記動き補償部は、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えてもよい。

本発明の特徴において、前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記復号化部は、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、前記動き補償部は、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出してもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落してもよい。

本発明の特徴において、前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

本発明の特徴において、前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

また、本発明は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｂと、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する工程Ｃとを有し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであってもよい。

本発明の特徴において、前記工程Ｂにおいて、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、前記工程Ｃにおいて、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記工程Ｃにおいて、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記工程Ｂにおいて、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落としてもよい。

本発明の特徴において、前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

本発明の特徴において、前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

また、本発明は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する工程Ｂと、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Ｃとを有し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであってもよい。

本発明の特徴において、前記工程Ｂにおいて、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、前記工程Ｃにおいて、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えてもよい。

本発明の特徴において、前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記工程Ｂにおいて、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、前記工程Ｃにおいて、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出してもよい。

本発明の特徴において、前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記工程Ｃにおいて、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落としてもよい。

本発明の特徴において、前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

本発明の特徴において、前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

また、本発明は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムであってもよい。

本発明の特徴において、前記動き補償部は、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、前記伝送部は、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記伝送部は、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落としてもよい。

本発明の特徴において、前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

本発明の特徴において、前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

また、本発明は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムであってもよい。

本発明の特徴において、前記復号化部は、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、前記動き補償部は、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えてもよい。

本発明の特徴において、前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記復号化部は、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、前記動き補償部は、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出してもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落としてもよい。

本発明の特徴において、前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

本発明の特徴において、前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されてもよい。

また、本発明は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であってもよい。

また、本発明は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であってもよい。

また、本発明は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備することを特徴とする動画像符号化装置であってもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記画像処理を示す情報は、前記フィルタを識別してもよい。

本発明の特徴において、前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記伝送部は、前記３次元動きベクトル生成部により生成された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記３次元動きベクトル生成部は、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落としてもよい。

また、本発明は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを特徴とする動画像復号化装置であってもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルは、前記フィルタを識別してもよい。

本発明の特徴において、前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記動き補償部は、前記復号化部により復号化された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出してもよい。

本発明の特徴において、前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測してもよい。

また、本発明は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する工程Ｂと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｃと、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する工程Ｄとを有することを特徴とする動画像符号化方法であってもよい。

本発明の特徴において、前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルは、前記フィルタを識別してもよい。

本発明の特徴において、前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する工程Ｅを有し、前記工程Ｄにおいて、前記工程Ｂで生成された前記３次元動きベクトルと前記工程Ｅで予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記工程Ｅにおいて、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記工程Ｂにおいて、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落としてもよい。

また、本発明は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、復号化対象の所定領域の３次元動きベクトルを復号化する工程Ｂと、前記３次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する工程Ｃとを有することを特徴とする動画像復号化方法であってもよい。

本発明の特徴において、前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別してもよい。

本発明の特徴において、前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する工程Ｄを有し、前記工程Ｃにおいて、前記工程Ｂで復号化された前記３次元動きベクトルと前記工程Ｄで予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出してもよい。

本発明の特徴において、前記工程Ｄにおいて、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測してもよい。

また、本発明は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムであってもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルは、前記フィルタを識別してもよい。

本発明の特徴において、前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記伝送部は、前記３次元動きベクトル生成部により生成された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送してもよい。

本発明の特徴において、前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測してもよい。

本発明の特徴において、前記画像処理は、空間解像度を変更する処理であり、前記３次元動きベクトル生成部は、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落としてもよい。

また、本発明は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであってもよい。

本発明の特徴において、前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別してもよい。

本発明の特徴において、前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記動き補償部は、前記復号化部により復号化された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出してもよい。

本発明の特徴において、前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測してもよい。

また、本発明は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であってもよい。

また、本発明は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であってもよい。

２０…動画像符号化装置３１…入力部３２…動き検出部３３…動き補償部３３ａ…動きベクトル入力部３３ｂ…参照フレーム画像入力部３３ｃ…予測動きベクトル算出部３３ｄ…判断部３３ｅ…予測画像信号生成部３４…フレームメモリ３５…空間予測部３６…予測モード決定部３８…直交変換部３９…量子化部４０…可変長符号化部４１…逆量子化部４２…逆直交変換部４６…階層参照画像生成部５０…動画像復号化装置７１…可変長復号化部７２…動き補償部７３…フレームメモリ７４…空間予測部７６…逆量子化部７７…逆直交変換部８０…出力部８１…階層参照画像生成部

Claims (1)

1. フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
   参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
   生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
   前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
   前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像符号化装置。

Images