JP2000299864A - 動画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 オーバーラップ動き補償予測符号化処理は、
加算演算の回数が多いために処理時間がかかってしま
う。 【解決手段】 マクロブロック内の動きベクトルが同一
であれば、ステップS1905においてマクロブロック単位
でのオーバーラップ動き補償を行なうが、その際に、複
数の重み係数マトリクスにおいて有為係数のみの演算を
行なえば良いため、実質的な演算量を削減することがで
き、処理速度が向上する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像の動き補償予
測符号化を行なう動画像処理方法に関する。

【０００２】

【従来の技術】近年、画像信号の符号化技術や該符号化
データを通信したり蓄積したりする技術、また、該符号
化データを安価なコストで復号するための半導体技術、
復号した画像を表示する技術等、いわゆる画像情報を扱
うインフラ技術の発達がめざましい。

【０００３】これにより、動画像のような大量の情報を
有する画像であっても遠隔地へ転送することができ、多
地点間におけるより高度な情報交換が可能になってき
た。

【０００４】動画像の符号化においては、フレーム間の
画像信号の相関性を利用して情報量を大幅に削減するこ
とが可能である。この特性を利用した代表的な符号化技
術として、所謂動き補償予測符号化方式が知られてい
る。該符号化方式においては、所定の画素ブロック毎
に、参照すべき画像の相対位置を表わす動きベクトルと
称する情報を参照する。そして、該動きベクトル情報に
基づいて得られる画素情報を予測値とし、該予測値と実
際の画素値との差分に対してDCT等の直交変換を施すこ
とにより、該変換情報を人間の視覚特性に基づいて削減
することができる。

【０００５】このようなブロック単位での符号化方式に
おいて、圧縮率を上げるために変換情報を大幅に削減す
ると、ブロック状の歪が出現しやすくなってしまう。一
般に符号の転送レートが低い装置において使用する圧縮
方式においては、圧縮率を上げることは必須であるた
め、ブロック状の歪は避け難いものとなっていた。

【０００６】そこで、ITU-T勧告H.263規格やMPEG4規格
においては、前記ブロック状の歪を軽減するため、オー
バーラップ動き補償という処理を行なっている。

【０００７】一般的な動き補償予測においては、フレー
ム画像内の着目ブロックを、参照画像上で動きベクトル
分だけずらしたものを該着目ブロックの予測画像とする
ことにより、符号化を行なう。この場合、隣接ブロック
間で動きベクトルが同一であれば、該隣接する2つのブ
ロックの予測画像データは隣接部において連続性がある
ため、予測画像データ上ではブロック歪が生じることは
無い。ところが、隣接ブロック間で動きベクトルに若干
の差がある場合、その動きベクトルの差が、隣接する2
つのブロックの予測画像の隣接部における不連続性とな
って現れる。

【０００８】そこで、着目ブロックの動きベクトルのみ
を用いて予測を行なう代わりに、隣接するブロックの動
きベクトルを反映するような予測を行なうことによっ
て、上記不連続性を軽減することが考えられる。

【０００９】オーバーラップ動き補償では、着目ブロッ
クの動きベクトルを用いて予測した画像データ(1ブロッ
ク分)、隣接する4つのブロックの動きベクトルを用いて
予測した画像データ(1ブロック分×4)の各々に重み係数
を乗じ、それらを合算したデータを最終的な予測値（画
像）とする。

【００１０】

【発明が解決しようとする課題】しかしながら、従来の
オーバーラップ動き補償においては、加算演算の回数が
多く、処理時間がかかってしまうといった問題があっ
た。

【００１１】本発明は上記問題を解決するためになされ
たものであり、動きベクトル予測に伴って生じる隣接ブ
ロック間の不連続性の歪を軽減するオーバーラップ動き
補償を高速に可能とする動画像処理方法を提供すること
を目的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
の一手法として、本発明の動画像処理方法は以下の工程
を備える。

【００１３】即ち、着目するブロック及びそれに隣接す
るブロックにおける動きベクトルのそれぞれに基づく第
１の重み係数マトリクスより、複数ブロックからなるマ
クロブロックに対応する第２の重み係数マトリクスを生
成し、該第２の重み係数マトリクスを用いてマクロブロ
ック単位でオーバーラップ動き補償予測符号化を行なう
ことを特徴とする。

【００１４】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて詳細に説明する。

【００１５】＜第１実施形態＞まず、一般的なオーバー
ラップ動き補償について簡単に説明する。

【００１６】図1において、符号化または復号対象であ
るフレーム画像101内の座標(ｘ0，ｙ0)を位置情報とす
る着目ブロック102を、参照画像104上で動きベクトル10
3分だけずらした位置にある1ブロックの画像データを、
着目ブロック102の予測画像105とする。これが、一般的
な動き補償による予測である。

【００１７】このような動き補償予測において、隣接ブ
ロック間で動きベクトルが同一であれば、該隣接する2
つのブロックの予測画像データは隣接部において連続性
があるため、予測画像データ上ではブロック歪が生じる
ことは無い。ところが、隣接ブロック間で動きベクトル
に若干の差がある場合、その動きベクトルの差が、隣接
する2つのブロックの予測画像の隣接部における不連続
性となって現れる。

【００１８】そこで、着目ブロックの動きベクトルのみ
を用いて予測を行なう代わりに、隣接するブロックの動
きベクトルを反映するような予測を行なうことによっ
て、上記不連続性を軽減することが考えられる。

【００１９】オーバーラップ動き補償では、着目ブロッ
クの動きベクトルを用いて予測した画像データ(1ブロッ
ク分)、隣接する4つのブロックの動きベクトルを用いて
予測した画像データ(1ブロック分×4)の各々に重み係数
を乗じ、それらを合算したデータを最終的な予測値（画
像）とする。

【００２０】具体的には、着目ブロックの動きベクトル
を用いて予測した画像データに対しては図2に示す重み
係数マトリクスを乗じ、また、着目ブロックの上，下，
左，右のそれぞれに隣接するブロックの動きベクトルを
用いて予測した画像データに対してはそれぞれ図3，図
4，図5，図6に示す重み係数マトリクスを乗じる。そし
て、それら5画像分を全て足し合わせた後に更に4を加算
し、8で割った値を予測値(画像)とする。

【００２１】上記演算は即ち、以下に示す(1)式で表さ
れる。

【００２２】 p(x,y)=(q(x,y)H2(i,j)+u(x,y)H3(i,j)+d(x,y)H4(i,j) +l(x,y)H5(i,j)+r(x,y)H6(i,j)+4)/8 …(1) ここで、(x,y)は画像全体における着目ブロック中の各
画素位置を表わす座標であり、i,jは着目ブロックの左
上の座標を(x0,y0)とした時、i=x-x0，j=y-y0という値
をとる。また、q(x,y)は着目ブロックの動きベクトルを
用いて予測した画像データであり、u(x,y)，d(x,y)，l
(x,y)，r(x,y)はそれぞれ、着目ブロックの上，下，
左，右に隣接するブロックの動きベクトルを用いて予測
した画像データである。これらの画像データq(x,y)，u
(x,y)，d(x,y)，l(x,y)，r(x,y)は、それぞれの動きベ
クトルを(MV1x,MV1y)，(MV2x,MV2y)，(MV3x,MV3y)，(MV
4x,MV4y)，(MV5x,MV5y)とし、予測の基になる参照画像
をref(i,j)とすると、以下の様に表される。

【００２３】q(x,y)=ref(x+MV1x,y+MV1y) u(x,y)=ref(x+MV2x,y+MV2y) d(x,y)=ref(x+MV3x,y+MV3y) l(x,y)=ref(x+MV4x,y+MV4y) r(x,y)=ref(x+MV5x,y+MV5y) また、H2(i,j)，H3(i,j)，H4(i,j)，H5(i,j)，H6(i,j)
は、各々図2，図3，図4，図5，図6に示す重み係数マト
リクスであり、それぞれ0≧i，j≧7の範囲においての
み、値が定義されている。

【００２４】以下、本実施形態におけるオーバラップ動
き補償について説明する。本実施形態においては、マク
ロブロック単位によるオーバラップ動き補償を行なうこ
とを特徴とする。

【００２５】ITU-T勧告H.263規格やMPEG4規格において
は、8×8のブロックという単位の上位に16×16のマクロ
ブロックという単位があり、該マクロブロックは図7に
示すように4つのブロックより成る。該マクロブロック
において、各ブロックがそれぞれ別の動きベクトルを持
つことを可能とするモードが存在するが、マクロブロッ
ク全体における動きの相関が強い場合には、情報量削減
のために該モードにおいても該マクロブロックを1つの
動きベクトルで代表する場合がある。

【００２６】以下、マクロブロック全体で1つの動きベ
クトルしか持たない、即ち、マクロブロックを構成する
各ブロックの動きベクトルが等しい場合について考え
る。

【００２７】上述した一般的なオーバーラップ動き補償
予測を示す(1)式を、図7に示すマクロブロックを構成す
る4つのブロックa，b，c，dにそれぞれ適用すると、該
(1)式は各ブロック毎に異なる演算式に変形される。

【００２８】まず、ブロックaについて考える。ブロッ
クaが着目ブロックであれば、ブロックbとブロックcは
それぞれ右と下に隣接するブロックであり、この場合マ
クロブロック内で1つの動きベクトルしか持たないた
め、ブロックbとブロックcはブロックaと同一の動きベ
クトルを持つことになる。従って、(1)式においてd(x,
y)とr(x,y)をq(x,y)で置き換えることができる。よっ
て、ブロックaに対するオーバラップ動き補償予測につ
いては、以下の(2)式で示される演算式を得る。

【００２９】 p(x,y)=(q(x,y)H2(i,j)+u(x,y)H3(i,j)+q(x,y)H4(i,j) +l(x,y)H5(i,j)+q(x,y)H6(i,j)+4)/8 =(q(x,y)(H2(i,j)+H4(i,j)+H6(i,j)) +u(x,y)H3(i,j)+l(x,y)H5(i,j)+4)/8 …（2） 同様にブロックbについては、(1)式においてd(x,y)とl
(x,y)をq(x,y)に置き換えることができるため、以下の
(3)式で示される演算式を得る。

【００３０】 p(x,y)=(q(x,y)H2(i,j)+u(x,y)H3(i,j)+q(x,y)H4(i,j) +q(x,y)H5(i,j)+r(x,y)H6(i,j)+4)/8 =(q(x,y)(H2(i,j)+H4(i,j)+H5(i,j)) +u(x,y)H3(i,j)+r(x,y)H6(i,j)+4)/8 …（3） またブロックcについては、上に隣接するブロックaと右
に隣接するブロックdが同一マクロブロック内にあるた
め、ブロックcと同じ動きベクトルを持つ。さらに下に
隣接するブロックは符号化もしくは復号化処理がまだ行
われておらず、動きベクトル情報が得られないため、ブ
ロックcの動きベクトルで置き換えることができる。よ
って、前記(1)式において、u(x,y)，d(x,y)，r(x,y)をq
(x,y)に置き換えることができ、以下の(4)式で示される
演算式を得る。

【００３１】 p(x,y)=(q(x,y)H2(i,j)+q(x,y)H3(i,j)+q(x,y)H4(i,j) +l(x,y)H5(i,j)+q(x,y)H6(i,j)+4)/8 =(q(x,y)(H2(i,j)+H3(i,j)+H4(i,j)+H6(i,j)) +l(x,y)H5(i,j)+4)/8 …（4） 同様にブロックｄについては、u(x,y)，d(x,y)，l(x,y)
をq(x,y)に置き換えることができるため、以下の(5)式
で示される演算式を得る。

【００３２】 p(x,y)=(q(x,y)H2(i,j)+q(x,y)H3(i,j)+q(x,y)H4(i,j) +q(x,y)H5(i,j)+r(x,y)H6(i,j)+4)/8 =(q(x,y)(H2(i,j)+H3(i,j)+H4(i,j)+H5(i,j)) +r(x,y)H6(i,j)+4)/8 …（5） 以上の(2)〜(5)式によれば、４つのブロックa，b，c，d
における予測画像データq(x,y)に対する重み係数マトリ
クスは、それぞれ H2(i,j)＋H4(i,j)＋H6(i,j) H2(i,j)＋H4(i,j)＋H5(i,j) H2(i,j)＋H3(i,j)＋H4(i,j)＋H6(i,j) H2(i,j)＋H3(i,j)＋H4(i,j)＋H5(i,j) となり、これらをそれぞれ図8(a)〜(d)に示す。

【００３３】該4つのブロックa，b，c，dをマクロブロ
ック単位で処理しようとすると、重み係数マトリクスも
マクロブロックに対応した大きさ、すなわち16×16サイ
ズとする必要がある。該重み係数マトリクスとしては、
図8(a)〜(d)に示した４つの重み係数マトリクスを図9に
示すように連結することで得られる。ここで、このマト
リクスをM2(i,j)と定義する。

【００３４】また、上に隣接するブロックの動きベクト
ルを用いて予測した画像データu(x,y)に対応する16×16
の重み係数マトリクスは、図3に示すH3(i,j)を2つ横に
連結し、下半分である16×8の領域には0を埋め込んだも
ので表される。これをM3(i,j)と定義し、図10に示す。

【００３５】また、左に隣接するブロックの動きベクト
ルを用いて予測した画像データl(x,y)に対応する16×16
の重み係数マトリクスは、図5に示すH5(i,j)を2つ縦に
連結し、右半分である8×16の領域には0を埋め込んだも
ので表される。これをM5(i,j)と定義し、図11に示す。

【００３６】また、右に隣接するブロックの動きベクト
ルを用いて予測した画像データr(x,y)に対応する16×16
の重み係数マトリクスは、M5(i,j)を左右反転したもの
で表される。これをM6(i,j)と定義し、図12に示す。

【００３７】尚、下に隣接するブロックの動きベクトル
を用いて予測した画像データd(x,y)に対応する重み係数
マトリクスは、すでにM2(i,j)に反映済みである。

【００３８】これら重み係数マトリクスM2(i,j)，M3(i,
j)，M5(i,j)，M6(i,j)を用いて、マクロブロック単位の
オーバーラップ動き補償の演算式を記述すると、(6)式
のようになる。

【００３９】 p(x,y)=(q(x,y)M2(i,j)+u(x,y)M3(i,j)+l(x,y)M5(i,j) +r(x,y)M6(i,j)+4)/8 …（6） (6)式によれば、上記(1)式において0〜7の範囲であった
i，jの値が、0〜15まで広がる。ここで(6)式によれば、
図9に示すM2(i,j)の3/8を占める、係数が8である要素に
ついては、p(x,y)＝q(x,y)となるので、計算を行なう必
要がなくなる。即ち、実際に演算処理を実行しなければ
ならない画素が、全体の5/8まで減少することが分か
る。

【００４０】このように、本実施形態のマクロブロック
単位によるオーバーラップ動き補償により、マクロブロ
ックに対応した重み係数マトリクスにおいて有為係数の
みの演算を行なえば良いため、一般的なブロック単位に
よるオーバーラップ動き補償と比べて演算量を実質的に
削減することができる。

【００４１】以上の説明においては、着目マクロブロッ
クは1つの動きベクトルしか持っていないという前提に
基づき、新たなオーバーラップ動き補償の演算式や重み
係数マトリクスを導出してきた。しかしながら実際に
は、上または左右に隣接する3つのマクロブロックも各
々1つの動きベクトルしか持たない場合や、各々が4つの
動きベクトルを持つ場合、あるいは、各々のブロックに
よって動きベクトル数が異なる場合などが考えられる。

【００４２】従って本実施形態のオーバーラップ動き補
償においては、上または左右に隣接する3つのマクロブ
ロックの各々が、1つの動きベクトルしかない場合とそ
うでない場合とのそれぞれについて、異なる処理を行な
うことを特徴とする。

【００４３】図13に、本実施形態における動き補償処理
の概要フローチャートを示す。まずステップS1901にお
いて、オーバーラップ動き補償を行なうモードであるか
否かを識別し、該モードでなければ、Ｓ1902において通
常の動き補償を実行する。ここでは、重み付け演算は行
なわず、 p(x,y)=q(x,y)=ref(x+MV1x,y+MV1y) により予測画像を生成する。

【００４４】一方、オーバーラップ動き補償を行なうモ
ードであると識別された場合には、ステップS1903にお
いて、マクロブロック内に4つの動きベクトルがあるか
否かを識別する。4つの動きベクトルがあれば、ステッ
プS1904において(1)式に示した一般的なブロック単位に
よるオーバーラップ動き補償処理を行なう。一方、動き
ベクトルが4つではなく、1つしか無い場合には、ステッ
プS1905において本実施形態の特徴であるマクロブロッ
ク単位でのオーバーラップ動き補償処理を行なう。

【００４５】図14に、上記ステップS1905における本実
施形態のマクロブロック単位によるオーバーラップ動き
補償処理の詳細フローチャートを示す。

【００４６】まずステップS2001において、上，左，右
にそれぞれ隣接するマクロブロックにおける動きベクト
ルの数が、各々1つしか無いか否かを判別し、各々1つし
か無い場合には、ステップS2002〜S2005の処理を行な
う。

【００４７】まずステップS2002においては、16×16の
着目マクロブロックのうち、図15に示す領域21aについ
てのみ、 p(x,y)=M3(i,j)u(x,y)=M3(i,j)ref(x+MV2x,y+MV2y) なる重み付け演算を行なう。次にステップS2003におい
て、同じく図16に示す領域22aについてのみ、 p(x,y)=p(x,y)+M5(i,j)l(x,y)=p(x,y)+M5(i,j)ref(x+MV
4x,y+MV4y) なる重み付け演算を行なう。尚、該式においては右辺の
p(x,y)に対する加算処理により、左辺のp(x,y)が新たに
得られることを示す。そしてステップS2004において、
図16に示す領域22bについてのみ、 p(x,y)=p(x,y)+M6(i,j)l(x,y)=p(x,y)+M6(i,j)ref(x+MV
5x,y+MV5y) なる重み付け演算を行なう。最後にステップS2005にお
いて、着目マクロブロックにおける図15に示す領域21
a，図16に示す領域22a，22bに対して、 p(x,y)=(p(x,y)+M2(i,j)q(x,y)+4)/8 =(p(x,y)+M2(i,j)ref(x+MV1x,y+MV1y)+4)/8 を演算し、着目マクロブロックの残りの領域に対して
は、 p(x,y)=q(x,y)=ref(x+MV1x,y+MV1y) のコピー処理を行なう。

【００４８】上述したステップS2002〜S2005の処理は、
代入処理や加算処理を配慮すれば、その演算の順番を入
れ替えることができ、例えばステップS2005の処理を最
初に行なうことも可能である。この場合、上記ステップ
S2005における p(x,y)=(p(x,y)+M2(i,j)q(x,y)+4)/8 =(p(x,y)+M2(i,j)ref(x+MV1x,y+MV1y)+4)/8 なる加算処理は、 p(x,y)=M2(i,j)q(x,y) =M2(i,j)ref(x+MV1x,y+MV1y) なる代入処理のみとなり、ステップS2002〜S2004の他の
処理ブロックで加算処理を行なうことになる。もちろ
ん、演算の最後には、4を加算して8で割るといった丸め
処理を行なう必要がある。

【００４９】一方、ステップS2001における判別結果が
異なる場合、即ち、隣接する3つのマクロブロックの
内、少なくとも1つのマクロブロックが動きベクトルを4
つ持っている場合、ステップS2010〜S2016の処理を行な
う。

【００５０】この場合、隣接する3つのマクロブロック
をブロックに分割し、図17に示すように、着目するマク
ロブロックCとそれに隣接する6つのブロックU1，U2，L
1，L2，R1，R2としてとらえる。

【００５１】尚、同じマクロブロックに属する2つのブ
ロックは、同一の動きベクトルを持つ（マクロブロック
内に動きベクトルを1つしか持たない場合）こともあれ
ば、異なる動きベクトルを持つ（マクロブロック内に4
つの動きベクトルを持つ場合）こともある。ここで、6
つのブロックU1，U2，L1，L2，R1，R2に対応する動きベ
クトルをそれぞれ、(MVb1x,MVb1y)，(MVb2x,MVb2y)，(M
Vb3x,MVb3y)，(MVb4x,MVb4y)，(MVb5x,MVb5y)，(MVb6x,
MVb6y)とする。

【００５２】まずステップS2010においては、16×16の
着目マクロブロックのうち、図18に示す領域24aについ
てのみ、 p(x,y)=M3(i,j)u(x,y)=M3(i,j)ref(x+MVb1x,y+MVb1y) なる重み付け演算を行なう。次にステップS2011におい
て、同様に図18に示す領域24bについてのみ、 p(x,y)=p(x,y)+M3(i,j)u(x,y)=p(x,y)+M3(i,j)ref(x+MV
b2x,y+MVb2y) なる重み付け演算を行なう。尚、上述したように、右辺
のp(x,y)に対する加算処理により、左辺のp(x,y)が新た
に得られることを示す。そしてステップS2012におい
て、図19に示す領域25aについてのみ、 p(x,y)=p(x,y)+M5(i,j)l(x,y)=p(x,y)+M5(i,j)ref(x+MV
b3x,y+MVb3y) なる重み付け演算を行なう。そしてステップS2013にお
いて、図19に示す領域25bについてのみ、 p(x,y)=p(x,y)+M5(i,j)l(x,y)=p(x,y)+M5(i,j)ref(x+MV
b4x,y+MVb4y) なる重み付け演算を行なう。次にステップS2014におい
て、図19に示す領域25cについてのみ、 p(x,y)=p(x,y)+M6(i,j)r(x,y)=p(x,y)+M6(i,j)ref(x+MV
b5x,y+MVb5y) なる重み付け演算を行なう。次にステップS2015におい
て、図19に示す領域25dについてのみ、 p(x,y)=M6(i,j)r(x,y)=p(x,y)+M6(i,j)ref(x+MVb6x,y+M
Vb6y) なる重み付け演算を行なう。そして最後にステップS201
6において、着目マクロブロックにおける図18に示す領
域24a，24b、及び図19に示す領域25a，25b，25c，25dに
対して、 p(x,y)=(p(x,y)+M2(i,j)q(x,y)+4)/8 =(p(x,y)+M2(i,j)ref(x+MV1x,y+MV1y)+4)/8 を演算し、着目マクロブロックの残りの領域には、 p(x,y)=q(x,y)=ref(x+MV1x,y+MV1y) のコピー処理を行なう。

【００５３】尚、上述したステップS2002〜S2005の場合
と同様、ステップS2010〜S2016の処理についても、その
順番を入れ替えることが可能である。

【００５４】以上説明したように本実施形態によれば、
マクロブロック単位によるオーバーラップ動き補償を行
なうことにより、アクセスする画素数を減少し、加算演
算の回数を減らすことができる。従ってオーバーラップ
動き補償処理を高速化することが可能となる。

【００５５】＜第２実施形態＞以下、本発明に係る第２
実施形態について説明する。尚、第２実施形態におい
て、着目マクロブロックに隣接するマクロブロックはそ
れぞれ1つの動きベクトルしか持たないものと仮定す
る。尚、4つの動きベクトルを持つマクロブロックが隣
接する場合には、上述した第１実施形態と同様に場合分
けを行ない、それぞれに応じた処理を実行すれば良い。

【００５６】第２実施形態においては、上述した第１実
施形態で示したマクロブロック単位によるオーバーラッ
プ動き補償処理を、画像の上部境界のマクロブロックに
適用したことを特徴とする。

【００５７】画像の上部境界に位置する着目ブロックに
おいては、上に隣接するブロックが存在しないために、
該上に隣接するブロックに対応する動きベクトルは、着
目ブロックの動きベクトルで置き換えて処理される。即
ち、第１実施形態で示した(6)式において、u(i,j)をq
(i,j)に置き換えることにより、演算を行なう。

【００５８】従って、図9に示す重み係数マトリクスM2
(i,j)と図10に示す重み係数マトリクスM3(i,j)の加算結
果である、図20に示す重み係数マトリクスを用いること
により、マクロブロック単位のオーバーラップ動き補償
処理を行なうことができる。即ち、着目マクロブロック
の動きベクトルを用いて予測した画像データに対しては
図20に示す重み係数マトリクスを乗じ、左右に隣接する
ブロックの動きベクトルを用いて予測した画像データに
対しては、第１実施形態において図11，図12に示した重
み係数マトリクスを乗じる。そして、それらを足し合わ
せてさらに4を加えた後に、8で割った値を予測値（画
像）とする。

【００５９】上記演算を数式によって表現すると、下記
に示す(7)式が得られる。

【００６０】 p(x,y)=(q(x,y)M2(i,j)+q(x,y)M3(i,j)+l(x,y)M5(i,j) +r(x,y)M6(i,j)+4)/8 =(q(x,y)(M2(i,j)+M3(i,j))+l(x,y)M5(i,j) +r(x,y)M6(i,j)+4)/8 …(7) ここで(7)式によれば、図20に示すM2(i,j)+M3(i,j)の1/
2を占める、係数が8である要素については、p(x,y)＝q
(x,y)となるので、計算を行なう必要がなくなる。即
ち、実際に演算処理を実行しなければならない画素が、
全体の1/2まで減少することが分かる。

【００６１】以上説明したように本実施形態によれば、
画像の上部境界にあるマクロブロックのオーバーラップ
動き補償処理をさらに高速化することができる。

【００６２】例えば、符号化対象である画像のフォーマ
ットがテレビジョンの共通中間フォーマットであるQCIF
(Quarter Common Intermediate Format)であった場合、
画像全体のマクロブロックの数は11×9個であり、その
うち11個のマクロブロックが画像の上部境界に相当す
る。従って、画像全体の1/9の領域において、第2実施形
態による効果が得られる。

【００６３】さらに、画像フォーマットがサブQCIFであ
った場合、画像全体のマクロブロックの数は8×6個であ
り、そのうち8個のマクロブロックが画像の上部境界に
あるため、画像全体の1/6の領域において、第2実施形態
による効果が得られる。

【００６４】＜第３実施形態＞以下、本発明に係る第３
実施形態について説明する。尚、第３実施形態におい
て、着目マクロブロックに隣接するマクロブロックはそ
れぞれ1つの動きベクトルしか持たないものと仮定す
る。尚、4つの動きベクトルを持つマクロブロックが隣
接する場合には、上述した第１実施形態と同様に場合分
けを行ない、それぞれに応じた処理を実行すれば良い。

【００６５】第３実施形態においては、上述した第１実
施形態で示したマクロブロック単位によるオーバーラッ
プ動き補償処理を、画像の左境界及び右境界のマクロブ
ロックに適用したことを特徴とする。

【００６６】画像の左境界に位置する着目ブロックにお
いては、左に隣接するブロックが存在せず、また、画像
の右境界に位置する着目ブロックにおいては、右に隣接
するブロックが存在しない。従って、これら存在しない
隣接ブロックに対応する動きベクトルは、着目ブロック
の動きベクトルで置き換えて処理される。即ち、第１実
施形態で示した(6)式において、画像の左境界ではl(i,
j)をq(i,j)に置き換え、右境界ではr(i,j)をq(i,j)に置
き換えることにより、演算を行なう。

【００６７】従って左境界においては、図9に示す重み
係数マトリクスM2(i,j)と図11に示す重み係数マトリク
スM5(i,j)の加算結果である、図21に示す重み係数マト
リクスを用いて、また右境界においては、図9に示す重
み係数マトリクスM2(i,j)と図12に示す重み係数マトリ
クスM6(i,j)の加算結果である、図22に示す重み係数マ
トリクスを用いることにより、マクロブロック単位のオ
ーバーラップ動き補償処理を行なうことができる。

【００６８】第３実施形態における左境界及び右境界の
オーバーラップ動き補償の演算を数式によって表現する
と、下記に示す(8)式及び(9)式が得られる。

【００６９】 p(x,y)=(q(x,y)M2(i,j)+u(x,y)M3(i,j)+q(x,y)M5(i,j) +r(x,y)M6(i,j)+4)/8 =(q(x,y)(M2(i,j)+M5(i,j))+u(x,y)M3(i,j) +r(x,y)M6(i,j)+4)/8 …(8) p(x,y)=(q(x,y)M2(i,j)+u(x,y)M3(i,j)+l(x,y)M5(i,j) +q(x,y)M6(i,j)+4)/8 =(q(x,y)(M2(i,j)+M6(i,j))+u(x,y)M3(i,j) +l(x,y)M5(i,j)+4)/8 …(9) ここで、例えば(8)式によれば、図21に示すM2(i,j)+M5
(i,j)の9/16を占める、係数が8である要素については、
p(x,y)＝q(x,y)となるので、計算を行なう必要がなくな
る。即ち、実際に演算処理を実行しなければならない画
素が、全体の7/16まで減少することが分かる。また(9)
式においても、同様に処理すべき画素数が全体の7/16と
なる。

【００７０】以上説明したように本実施形態によれば、
画像の左境界及び右境界にあるマクロブロックのオーバ
ーラップ動き補償処理をさらに高速化することができ
る。

【００７１】例えば、画像のフォーマットがQCIFであっ
た場合、画像全体の11×9個のマクロブロックのうち、9
個が画像の左境界に、また9個が右境界に存在する。従
って、画像全体の2/11の領域において、第3実施形態に
よる効果が得られる。

【００７２】さらに、画像フォーマットがサブQCIFであ
った場合、画像全体のマクロブロックの数は8×6個であ
り、そのうち12個のマクロブロックが画像の左又は右境
界にあるため、画像全体の1/4の領域において、第3実施
形態による効果が得られる。

【００７３】＜第４実施形態＞以下、本発明に係る第４
実施形態について説明する。

【００７４】上述した第１乃至第３実施形態によれば、
オーバーラップ動き補償の処理速度を向上させることが
できる。第４実施形態においては、上記各実施形態にお
いて使用される重み係数マトリクスの格納領域を節約す
ることを特徴とする。

【００７５】上記各実施形態においては、オーバーラッ
プ動き補償をマクロブロック単位で行なうために各重み
係数マトリクスは16×16のサイズとなっているが、該マ
トリクスにおいて、係数が0または8である部分について
は実際の処理を行なう必要がないため、このような係数
は保持しておく必要がない。

【００７６】例えば、図10，図11，図12に示す重み係数
マトリクスについては、係数が0でない、16×4または4
×16の有為係数部分のみを保持すれば良い。また、図9
に示す重み係数マトリクスについては、係数が8でな
い、4×16の有為係数部分を2つと8×4の有為係数部分を
1つ保持すれば良い。また図20に示す重み係数マトリク
スについては、係数が8でない、4×16の有為係数部を2
つ保持すれば良い。また、図21，図22に示す重み係数マ
トリクスについては、係数が8でない、16×4の有為係数
部分を1つと4×12の有為係数部分を1つ保持すれば良
い。

【００７７】また、図9〜図12、及び図20に示す重み係
数マトリクスは上下又は左右に対象性があるため、さら
にその半分の有為係数のみを保持すれば良い。

【００７８】以上説明したように第４実施形態によれ
ば、上述した第１乃至第３実施形態におけるオーバーラ
ップ動き補償を行なう際に、参照する重み係数マトリク
スの最低限必要な係数のみを保持することにより、その
メモリ容量を節約することができる。

【００７９】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ，インタフェイス機
器，リーダ，プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機，ファクシミリ装置など）に適用してもよい。

【００８０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００８１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００８２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００８３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００８４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。本発明を上記記憶
媒体に適用する場合、その記憶媒体には、先に説明した
フローチャートに対応するプログラムコードを格納する
ことになる。

【００８５】

【発明の効果】以上説明したように本発明によれば、動
きベクトル予測に伴って生じる隣接ブロック間の不連続
性の歪を軽減するオーバーラップ動き補償が高速に可能
となる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態の動き補償予測符号化
における動きベクトル情報と予測画像データの関係を示
す図、

【図２】本実施形態における着目ブロックに対する重み
係数マトリクス例を示す図、

【図３】上に隣接するブロックに対する重み係数マトリ
クス例を示す図、

【図４】下に隣接するブロックに対する重み係数マトリ
クス例を示す図、

【図５】左に隣接するブロックに対する重み係数マトリ
クス例を示す図、

【図６】右に隣接するブロックに対する重み係数マトリ
クス例を示す図、

【図７】本実施形態におけるマクロブロックの構成を示
す図、

【図８】マクロブロックを構成する各ブロック毎の重み
係数マトリクス例を示す図、

【図９】本実施形態における着目マクロブロックに対す
る16×16の重み係数マトリクス例を示す図、

【図１０】上に隣接するブロックに対する16×16の重み
係数マトリクス例を示す図、

【図１１】左に隣接するブロックに対する16×16の重み
係数マトリクス例を示す図、

【図１２】右に隣接するブロックに対する16×16の重み
係数マトリクス例を示す図、

【図１３】本実施形態におけるオーバーラップ動き補償
処理の概要を示すフローチャート、

【図１４】本実施形態におけるマクロブロック単位のオ
ーバーラップ動き補償処理の詳細を示すフローチャー
ト、

【図１５】マクロブロック内の重み付け領域を示す図、

【図１６】マクロブロック内の重み付け領域を示す図、

【図１７】着目マクロブロックと隣接するブロックの関
係を示す図、

【図１８】マクロブロック内の重み付け領域を示す図、

【図１９】マクロブロック内の重み付け領域を示す図、

【図２０】本発明に係る第２実施形態における重み係数
マトリクス例を示す図、

【図２１】本発明に係る第３実施形態における重み係数
マトリクス例を示す図、

【図２２】本発明に係る第３実施形態における重み係数
マトリクス例を示す図、である。

【符号の説明】

１０１ 処理対象フレーム画像 １０２ 着目ブロック １０３ 動きベクトル １０４ 参照画像 １０５ 予測画像データ

Claims (20)

【特許請求の範囲】
1. 【請求項１】 着目するブロック及びそれに隣接するブ
   ロックにおける動きベクトルのそれぞれに基づく第１の
   重み係数マトリクスより、複数ブロックからなるマクロ
   ブロックに対応する第２の重み係数マトリクスを生成
   し、 該第２の重み係数マトリクスを用いてマクロブロック単
   位でオーバーラップ動き補償予測符号化を行なうことを
   特徴とする動画像処理方法。
2. 【請求項２】 前記オーバーラップ動き補償予測符号化
   の際に、前記第２の重み係数マトリクスに基づいて前記
   マクロブロックの予測画像を導出することを特徴とする
   請求項１記載の動画像処理方法。
3. 【請求項３】 前記第１の重み係数マトリクスは前記ブ
   ロックのサイズに対応し、前記第２の重み係数マトリク
   スは前記マクロブロックのサイズに対応することを特徴
   とする請求項１記載の動画像処理方法。
4. 【請求項４】 前記マクロブロックは、４つの前記ブロ
   ックよりなることを特徴とする請求項３記載の動画像処
   理方法。
5. 【請求項５】 前記第２の重み係数マトリクスは、複数
   の前記第１の重み係数マトリクスを加算し、前記マクロ
   ブロックのサイズに連結することによって生成されるこ
   とを特徴とする請求項３記載の動画像処理方法。
6. 【請求項６】 前記隣接するブロックは、前記着目する
   ブロックの上下左右に隣接するブロックであることを特
   徴とする請求項１記載の動画像処理方法。
7. 【請求項７】 前記第２の重み係数マトリクスは、着目
   するマクロブロック及びその上，左，右に隣接するマク
   ロブロックにおける動きベクトルのそれぞれに対応して
   複数生成されることを特徴とする請求項１記載の動画像
   処理方法。
8. 【請求項８】 前記オーバーラップ動き補償予測符号化
   の際に、前記第２の重み係数マトリクスの有為係数に関
   してのみ重み付け加算演算が行われることを特徴とする
   請求項１記載の動画像処理方法。
9. 【請求項９】 前記有為係数は、０又は８以外の係数で
   あることを特徴とする請求項８記載の動画像処理方法。
10. 【請求項１０】 前記第２の重み係数マトリクスは、前
    記有為係数のみが保持されることを特徴とする請求項８
    記載の動画像処理方法。
11. 【請求項１１】 前記着目するマクロブロックは、１つ
    の動きベクトルを有することを特徴とする請求項１記載
    の動画像処理方法。
12. 【請求項１２】 前記オーバーラップ動き補償予測符号
    化の際に、前記着目するマクロブロックの所定領域毎
    に、前記第２の重み係数マトリクスに基づく演算を施す
    ことを特徴とする請求項１１記載の動画像処理方法。
13. 【請求項１３】 前記隣接するマクロブロックの全てが
    それぞれ１つの動きベクトルを有するか否かに応じて、
    前記所定領域が異なることを特徴とする請求項１２記載
    の動画像処理方法。
14. 【請求項１４】 前記隣接するマクロブロックの少なく
    とも１つが複数の動きベクトルを有する場合、前記所定
    領域は前記ブロックのサイズに対応することを特徴とす
    る請求項１３記載の動画像処理方法。
15. 【請求項１５】 更に、前記着目するマクロブロックが
    ２つ以上の動きベクトルを有するか否かを判定し、 該判定結果が否である場合に、前記オーバーラップ動き
    補償予測符号化を行なうことを特徴とする請求項１１記
    載の動画像処理方法。
16. 【請求項１６】 前記着目するマクロブロックが２つ以
    上の動きベクトルを有すると判定された場合に、前記第
    １の重み係数マトリクスを用いて前記ブロック単位によ
    るオーバーラップ動き補償予測符号化を行なうことを特
    徴とする請求項１５記載の動画像処理方法。
17. 【請求項１７】 前記請求項１乃至１６のいずれかに記
    載の動画像処理方法により符号化された動画像を復号す
    る動画像処理方法。
18. 【請求項１８】 前記請求項１乃至１６のいずれかに記
    載の動画像処理方法により動画像を符号化する動画像処
    理装置。
19. 【請求項１９】 前記請求項１乃至１６のいずれかに記
    載の動画像処理方法により符号化された動画像を復号す
    る動画像処理装置。
20. 【請求項２０】 オーバーラップ動き補償予測符号化を
    行なう動画像処理方法のプログラムコードが記録された
    記録媒体であって、該プログラムは、着目するブロック
    及びそれに隣接するブロックにおける動きベクトルのそ
    れぞれに基づく第１の重み係数マトリクスより、複数ブ
    ロックからなるマクロブロックに対応する第２の重み係
    数マトリクスを生成するコードと、 該第２の重み係数マトリクスを用いてマクロブロック単
    位でオーバーラップ動き補償予測符号化を行なうコード
    と、を含むことを特徴とする記録媒体。