JP2000308062A

JP2000308062A - 動画像処理方法

Info

Publication number: JP2000308062A
Application number: JP10841199A
Authority: JP
Inventors: Tadayoshi Nakayama; 忠義中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-04-15
Filing date: 1999-04-15
Publication date: 2000-11-02

Abstract

(57)【要約】【課題】動き補償予測符号化におけるＢピクチャの符
号化の際に、前方予測ベクトル及び後方予測ベクトル共
に最適な値が得られるとは限らないため、最高の符号化
効率は得られなかった。【解決手段】Ｐピクチャ内のマクロブロックをフレー
ム内符号化する際に、Ｂピクチャの前方予測ベクトルＭ
Ｖf及び後方予測ベクトルＭＶbを、それぞれステップＳ
４０１及びＳ４０３で共に探索により求め、Ｐピクチャ
におけるマクロブロックの動きベクトルＭＶとＢピクチ
ャにおけるマクロブロックの動きベクトルの補正情報Ｍ
ＶＤＢを演算することにより、動き補償予測符号化にお
ける予測精度を大幅に向上させることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像の動き補償予
測符号化を行なう動画像処理方法に関する。

【０００２】

【従来の技術】近年、画像信号の符号化技術や該符号化
データを通信したり蓄積したりする技術、また、該符号
化データを安価なコストで復号するための半導体技術、
復号した画像を表示する技術等、いわゆる画像情報を扱
うインフラ技術の発達がめざましい。

【０００３】これにより、動画像のような大量の情報を
有する画像であっても遠隔地へ転送することができ、多
地点間におけるより高度な情報交換が可能になってき
た。

【０００４】動画像の符号化においては、フレーム間の
画像信号の相関性を利用して情報量を大幅に削減するこ
とが可能である。この特性を利用した代表的な符号化技
術として、所謂動き補償予測符号化方式が知られてい
る。該符号化方式においては、所定の画素ブロック毎
に、参照すべき画像の相対位置を表わす動きベクトルと
称する情報を参照する。そして、該動きベクトル情報に
基づいて得られる画素情報を予測値とし、該予測値と実
際の画素値との差分に対してＤＣＴ等の直交変換を施す
ことにより、該変換情報を人間の視覚特性に基づいて削
減することができる。

【０００５】具体的には、あるフレーム画像内の着目ブ
ロックを、参照画像上で動きベクトル分ずらした画像デ
ータを、該着目ブロックの予測画像とする。そして、該
予測画像と実際の画素値との差分値を直交変換符号化す
る。一般的に、時間的に過去の画像からの予測によって
符号化した画像をＰピクチャ(predictive coded pictur
e)といい、それに対し、他の画像からの予測を行なわず
にフレーム内で符号化した画像をＩピクチャ(intra cod
ed picture)という。また時間的に過去の画像および未
来の画像の両方からの予測によって符号化した画像をＢ
ピクチャ(bi-directionally predictive coded pictur
e)という。

【０００６】Ｂピクチャを使用することによって、動き
補償予測符号化における予測の精度が向上し、結果的
に、より少ない符号による効率の良い符号化を実現する
ことができる。尚、Ｂピクチャの符号化処理において、
予測画像を生成した後の処理は、Ｐピクチャの符号化処
理と基本的に同じである。

【０００７】Ｂピクチャの符号化においては、過去の画
像(前方参照画像)および未来の画像(後方参照画像)の両
方を参照して予測画像を生成するため、前方予測ベクト
ル及び後方予測ベクトルの２つの動きベクトルを必要と
する。この２つの動きベクトルを求める方法としては、
それぞれを独立に求める方式や、該Ｂピクチャの次のＰ
ピクチャにおける動きベクトルを内分することよって求
めた動きベクトルに対する補正値を求める方式がある。
ＩＴＵ−Ｔ勧告Ｈ.２６３規格やＭＰＥＧ４規格におい
ては、後者の方式が規定されている。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来のＢピクチャの符号化処理において必要となる２つの
動きベクトルを上記補正値として得た場合、結果とし
て、必ずしも前方予測ベクトル及び後方予測ベクトル共
に最適なものが得られるとは限らなかった。従って最適
な予測符号化は必ずしも実現されず、即ち最高の符号化
効率が得られるとは限らなかった。

【０００９】本発明は上記問題を解決するためになされ
たものであり、動画像の動き補償予測符号化の際に、符
号化効率のさらなる向上を可能とする動画像処理方法を
提供することを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
の一手法として、本発明の動画像処理方法は以下の工程
を備える。

【００１１】即ち、動画像の動き補償予測符号化を行な
う動画像処理方法であって、双方向予測符号化画像にお
けるマクロブロックの前方予測ベクトルを前方参照画像
を探索することにより求める前方探索工程と、前記双方
向予測符号化画像におけるマクロブロックの後方予測ベ
クトルを後方参照画像を探索することにより求める後方
探索工程と、前記前方予測ベクトル及び後方予測ベクト
ルに基づいて、前記後方参照画像におけるマクロブロッ
クの動きベクトルと前記双方向予測符号化画像のマクロ
ブロックの動きベクトル補正情報を算出する算出工程
と、前記動きベクトル及び動きベクトル補正情報に基づ
いて、前記双方向予測符号化画像のマクロブロックと同
位置である前記後方参照画像のマクロブロックをフレー
ム内符号化する符号化工程と、を有することを特徴とす
る。

【００１２】

【発明の実施の形態】以下、本発明に係る一実施形態に
ついて詳細に説明する。

【００１３】＜第１実施形態＞まず、本実施形態の基礎
となる一般的な動き補償予測符号化方式について、図１
を参照して詳細に説明する。図１において、符号化また
は復号対象であるフレーム画像１０１内の座標(ｘ0，ｙ
0)を位置情報とする着目ブロック１０２を、参照画像１
０４上で動きベクトル１０３分だけずらした位置にある
１ブロックの画像データを、着目ブロック１０２の予測
画像１０５とする。そして、予測画像１０５と実際の画
素値との差分値を直交変換符号化する。

【００１４】上述したように、時間的に過去の画像から
の予測によって符号化した画像をＰピクチャ(predictiv
e coded picture)といい、それに対し、他の画像からの
予測を行なわずにフレーム内で符号化した画像をＩピク
チャ(intra coded picture)という。また時間的に過去
の画像および未来の画像の両方からの予測によって符号
化した画像をＢピクチャ(bi-directionally predictive
coded picture)という。

【００１５】Ｂピクチャを使用することによって、動き
補償予測符号化における予測の精度が向上し、結果的
に、より少ない符号による効率の良い符号化を実現する
ことができる。尚、Ｂピクチャの符号化処理において、
予測画像を生成した後の処理は、Ｐピクチャの符号化処
理と基本的に同じである。

【００１６】Ｂピクチャの符号化においては、過去の画
像(前方参照画像)および未来の画像(後方参照画像)の両
方を参照して予測画像を生成するため、２つの動きベク
トルを必要とする。この２つの動きベクトルを求める方
法としては、それぞれを独立に求める方式や、該Ｂピク
チャの次のＰピクチャにおける動きベクトルを内分する
ことよって求めた動きベクトルに対する補正値を求める
方式があるが、以下、Ｈ.２６３規格やＭＰＥＧ４規格
において規定されている後者の方式について、詳細に説
明する。

【００１７】まず、Ｂピクチャの復号処理の際に、各ブ
ロックの動きベクトルを内分によって算出する方法につ
いて説明する。Ｈ.２６３規格やＭＰＥＧ４規格におい
ては、符号化するピクチャは時間的に連続したものでは
なく、例えば図２に示すように、時間的に連続している
フレーム画像を数フレームずつ間引いて、符号化したも
のである。よって、内分の演算時にはこれら間引かれた
フレーム数を考慮する必要がある。

【００１８】図２において、Ｂ1が着目するＢピクチャ
であり、Ｐ0，Ｐ2はそれぞれＢ1の前後のピクチャであ
る。Ｂ1の後のＰ2ピクチャには、上述した動き補償予測
符号化のために必要な動きベクトルが、ブロック単位、
あるいは、マクロブロック単位に１つ存在する。ここ
で、Ｂ1ピクチャの復号ブロックと同位置のＰ2ピクチャ
におけるブロックの動きベクトルをＭＶ(ＭＶx，ＭＶy)
とする。また、Ｂ1ピクチャがその前のＰ0ピクチャから
何フレーム目にあたるかをＴＲbとし、Ｂ1ピクチャの後
のＰ2ピクチャがＰ0ピクチャから何フレーム目にあたる
かをＴＲdとすると、Ｂ1ピクチャ中の符号化ブロックの
前方参照動きベクトル(前方予測ベクトル)ＭＶfは、以
下の(１)式で求められる。

【００１９】ＭＶf＝(ＴＲb×ＭＶ)／ＴＲd＋ＭＶＤＢ …（１） (１)式によればＢ1ピクチャの前方予測ベクトルＭＶfは
即ち、Ｐ2ピクチャにおける動きベクトルＭＶをフレー
ム間距離に基づいて内分することによって予測し、更に
補正情報ＭＶＤＢを加えたものとして求められる。尚、
(１)式はベクトル演算であるため、ｘ成分とｙ成分の両
方についてそれぞれ演算する必要がある。

【００２０】また、Ｂ1ピクチャの後方参照動きベクト
ル(後方予測ベクトル)ＭＶｂは、以下の(２)式で求めら
れる。尚この場合、補正情報ＭＶＤＢ＝０であるとす
る。

【００２１】ＭＶb＝ＭＶf−ＭＶ …（２）上記(１)式で求めたＭＶfに基づいて前方予測した画像
と、(２)式で求めたＭＶbに基づいて後方予測した画像
との平均により求めた双方向予測画像に対して、Ｂ1ピ
クチャのブロックの復号差分データを加算することによ
って、該ブロックが復元される。

【００２２】上記(１)式は、復号処理時において、補正
情報ＭＶＤＢ及び他の情報に基づいて前方予測ベクトル
ＭＶfを求める演算を示している。従って符号化時には
逆に、該ＭＶfを探索してから、内分して求めた予測
値、すなわち(１)式の第１項を差し引くことにより、Ｍ
ＶＤＢを求める。尚、Ｐ2ピクチャの動きベクトルＭＶ
は、Ｐ2ピクチャにおいてＢ1ピクチャの符号化ブロック
と同位置にあるブロックと相関の高いブロックを、Ｐ0
ピクチャ内で探索し、該Ｐ0ピクチャ内のブロックとＰ2
ピクチャ内のブロックの位置の差分値として求められ
る。

【００２３】また、Ｂ1ピクチャの前方予測ベクトルＭ
Ｖfは、Ｂ1ピクチャの符号化ブロックと相関の高いブロ
ックを、前方参照画像であるＰ0ピクチャ内から探索
し、該Ｐ0ピクチャ内のブロックとＢ1ピクチャ内の符号
化ブロックの位置の差分値として求められる。

【００２４】以下、符号化時に補正情報ＭＶＤＢを求め
るための一般的な処理を、図３のフローチャートを参照
して説明する。尚、既に符号化されているＰ0，Ｐ2ピク
チャ、及び符号化中であるＢ1ピクチャのフレーム番号
に基づいて、上述したＴＲb，ＴＲdおよびＭＶは既知で
あるとする。

【００２５】まずステップＳ３０１において、(ＴＲb×
ＭＶ)／ＴＲdにより、動きベクトル(ＭＶf)の予測値を
算出する。そしてステップＳ３０２において、該動きベ
クトル予測値に基づいて前方参照画像であるＰ0ピクチ
ャにおける動きベクトル探索領域を設定し、ステップＳ
３０３において、該探索領域内の前方参照画像データを
探索メモリに転送する。そしてステップＳ３０４におい
て、Ｂ1ピクチャ内の符号化ブロックと最も相関の高い
ブロック領域を前記探索メモリ中の画像データから探索
し、ステップＳ３０５において該相関の高いブロック位
置に基づいて、動きベクトル即ち、前方予測ベクトルＭ
Ｖfを算出する。そしてステップＳ３０６では(１)式に
基づいて、ステップＳ３０５で算出したＭＶfから前記
動きベクトル予測値を減じることにより、補正情報ＭＶ
ＤＢを得る。

【００２６】上記ステップＳ３０４におけるブロック探
索方法としては例えば、対応する画素間の差の絶対値の
総和が最小となるような位置を探索すれば良く、この場
合、全探索や演算量を減らした間引き探索を行なうこと
が考えられる。

【００２７】以上のようにして求められた補正情報ＭＶ
ＤＢは符号化されて、通信先へ転送される。一方、復号
処理の際には、該ＭＶＤＢを復号することにより、前方
予測ベクトルＭＶf及び後方予測ベクトルＭＶbが算出さ
れる。

【００２８】尚、Ｐ2ピクチャのブロックにおける動き
ベクトルＭＶは、該ブロックをフレーム間符号化する際
には該ブロック自身のために必要であり、更に上記演算
にも必要となる。ところが、該ブロックをフレーム内符
号化する場合には、ＭＶは該ブロック自身のためには必
要ないが、上記演算にはやはり必要であるため、上述し
た方法により予め求めておく。

【００２９】上述した一般的な動き補償予測符号化処理
において、Ｐピクチャ内のマクロブロックをフレーム内
符号化する場合にその動きベクトルＭＶを求めることに
より、該動きベクトルＭＶとＢピクチャにおけるブロッ
クの動きベクトルの補正情報ＭＶＤＢに基づいて、(１)
式よりＢピクチャの前方予測ベクトルＭＶfを最適に復
元することができる。

【００３０】しかしながら、Ｂピクチャの後方予測ベク
トルＭＶｂについては、(２)式から分かるように、(１)
式の演算結果として得られた数値(ＭＶf)を使用するた
め、必ずしも最適な値とはならない。

【００３１】即ち、２つの独立なパラメータ(ＭＶ，Ｍ
ＶＤＢ)から１つの最適なパラメータ(ＭＶf)しか求めて
いないために、必ずしも最適な予測符号化が実現される
とは限らず、即ち最高の符号化効率が得られるとは限ら
ない。

【００３２】従って本実施形態においては、後方予測ベ
クトルＭＶbも前方予測ベクトルＭＶfと同様に探索によ
って求めることにより、最適な値として得ることを特徴
とする。

【００３３】本実施形態における符号化時に補正情報Ｍ
ＶＤＢを求める処理を、図４のフローチャートに示し、
以下説明する。

【００３４】まず図４のステップＳ４０１において、Ｂ
ピクチャの符号化マクロブロックから前方参照画像への
前方予測ベクトルＭＶfを探索する。尚、このステップ
Ｓ４０１における探索処理としては所謂ブロックマッチ
ング法が適用可能であるが、例えば上述した図３のステ
ップＳ３０１〜Ｓ３０５に示す処理を行なえば良い。

【００３５】そしてステップＳ４０２において、Ｂピク
チャの符号化マクロブロックと同位置の後方参照画像
（Ｐピクチャ）のマクロブロックの画像データを探索メ
モリに転送し、ステップＳ４０３で該探索メモリ内にお
いて後方予測ベクトルＭＶbを探索する。そしてステッ
プＳ４０４で(２)式に基づき、ＭＶf−ＭＶbの演算によ
りＰピクチャの動きベクトルＭＶを算出する。

【００３６】そしてステップＳ４０５において、ステッ
プＳ４０４で算出した動きベクトルＭＶからその予測値
を減じた結果を符号化する。

【００３７】そしてステップＳ４０６で(１)式に基づ
き、(ＴＲb×ＭＶ)／ＴＲd−ＭＶfの演算により、Ｂピ
クチャにおける符号化マクロブロックの動きベクトルの
補正情報ＭＶＤＢを算出し、それを符号化する。

【００３８】以上の処理によって符号化された補正情報
ＭＶＤＢは、復号処理によって復元され、上記探索によ
って求められた前方予測ベクトルＭＶf及び後方予測ベ
クトルＭＶbが復元される。

【００３９】上述したように、前方予測ベクトルＭＶf
の探索は所謂ブロックマッチング法によって行われる。
それに対し、後方予測ベクトルＭＶbの探索は多少状況
が異なる。即ち、該探索はマクロブロック分のデータに
対してのみ行なうので、該マクロブロックと符号化マク
ロブロックの重なりが少なくなると、差分絶対値の和が
相対的に小さくなる。従って、該差分絶対値の和を重な
りの面積等で割って正規化する必要がある。しかしなが
ら、単純に重なり面積だけで正規化すると、該面積が小
さい場合、少ない画素での差分値が大きな意味を持つよ
うになるため、差分絶対値の和というパラメータの信頼
性が低くなってしまう。従って、重なり面積が大きい方
の後方予測ベクトルが探索されやすくなるように、重な
り面積に反比例して大きくなるようなパラメータを各画
素に加算する等、処理を工夫することが必要である。

【００４０】以上説明したように本実施形態によれば、
Ｐピクチャ内のマクロブロックをフレーム内符号化する
際に、Ｂピクチャの前方予測ベクトルＭＶf及び後方予
測ベクトルＭＶbを共に探索により求め、これに基づい
てＰピクチャにおけるマクロブロックの動きベクトルＭ
ＶとＢピクチャにおけるマクロブロックの動きベクトル
の補正情報ＭＶＤＢを演算することにより、動き補償予
測符号化における予測精度を大幅に向上させることがで
きる。

【００４１】＜第２実施形態＞以下、本発明に係る第２
実施形態について説明する。

【００４２】第２実施形態においては、上述した第１実
施形態において、動きベクトルＭＶの値が規格の範囲外
になってしまうことを避けるために、図４に示すステッ
プＳ４０１の前後に処理を追加し、後方予測ベクトルＭ
Ｖbの探索範囲を規定するようにしたことを特徴とす
る。

【００４３】第２実施形態において符号化時に補正情報
ＭＶＤＢを求める処理を図５のフローチャートに示し、
説明する。尚、同図において上述した第１実施形態に示
す図４と同様の処理には同一ステップ番号を付し、説明
を省略する。

【００４４】まずステップＳ５０１において、後方参照
画像であるＰピクチャの動きベクトルＭＶに対する予測
値を算出する。そしてステップＳ５０２において、該予
測値に基づいて動きベクトルＭＶの取りうる範囲を規定
する。

【００４５】次にステップＳ４０１に進み、第１実施形
態と同様に、Ｂピクチャから前方参照画像への前方予測
ベクトルＭＶfを探索する。

【００４６】そしてステップＳ５０３において、Ｂピク
チャの後方予測ベクトルＭＶbのＰピクチャ上の探索範
囲を、(ＭＶの範囲−ＭＶf)の演算により規定する。

【００４７】そしてその後は、上述した第１実施形態と
同様に、図４のステップＳ４０２〜Ｓ４０６の処理を行
なうことにより、動きベクトルＭＶ及びＢピクチャにお
ける符号化マクロブロックの動きベクトル補正情報ＭＶ
ＤＢを得る。

【００４８】以上の処理によって符号化された補正情報
ＭＶＤＢは、復号処理によって復元され、上記探索によ
って求められた前方予測ベクトルＭＶf及び後方予測ベ
クトルＭＶbが復元される。

【００４９】また、上述した第１実施形態と同様に、後
方予測ベクトルＭＶbの探索はマクロブロック分のデー
タに対してのみ行なうので、該マクロブロックと符号化
マクロブロックの重なりが少なくなると、差分絶対値の
和が相対的に小さくなる。従って、該差分絶対値の和を
重なりの面積等で割って正規化する必要がある。第２実
施形態においては、後方予測ベクトルＭＶbの探索範囲
を規定することにより、ＭＶbとしてある程度妥当な値
が得やすくなる。更に、後方予測ベクトルＭＶbはマク
ロブロック間において連続性があるという性質に基づ
き、左または上に隣接するマクロブロックの後方予測ベ
クトルから離れるほど値が大きくなるようなパラメータ
を各画素に加算することにより、隣接するブロックの後
方予測ベクトルに近いベクトルほど探索されやすいよう
に制御することができる。

【００５０】以上説明したように第２実施形態によれ
ば、上述した第１実施形態に対して更に、後方予測ベク
トルＭＶｂの探索範囲を規定することにより、動きベク
トルＭＶの値が規格範囲外となってしまうことを回避す
ることができる。

【００５１】＜第３実施形態＞以下、本発明に係る第３
実施形態について説明する。

【００５２】上述した第１及び第２実施形態において
は、Ｂピクチャの前方予測ベクトルＭＶf及び後方予測
ベクトルＭＶbは、それぞれ前方参照画像及び後方参照
画像と符号化ブロックが最も高い相関を示す位置情報と
して求める例について説明した。しかしながら、Ｂピク
チャのマクロブロックを符号化するための予測値を得る
ためには、該予測画像の平均と符号化ブロックとの相関
が最も高いことが望ましい。即ち、前方予測ベクトルＭ
Ｖfより得られる前方予測画面と後方予測ベクトルＭＶb
より得られる後方予測画像との平均が、Ｂピクチャの符
号化マクロブロックと高い相関を持つような、該２つの
ベクトルの組み合わせが要求される。言い替えれば、該
２つのベクトルの組み合わせに基づく予測画像が前記条
件を満たせば、各ベクトルのそれぞれが必ずしも最適で
ある必要はない。

【００５３】上述した様に、前方予測ベクトルＭＶfは
ブロックの全画素を用いて相関度を見るため、その精度
は高く信頼できるものであるが、後方予測ベクトルＭＶ
bはブロックの一部の画素により相関度を判定される場
合が多いため、精度が低くなる場合がある。従って、第
３実施形態においては、後方予測ベクトルＭＶbについ
ては更なる調整の余地があるとして、上述した第１及び
第２実施形態において探索された後方予測ベクトルＭＶ
bに対して、更に微調整を施すことを特徴とする。

【００５４】第３実施形態における後方予測ベクトルＭ
Ｖbの演算処理を図６のフローチャートに示し、説明す
る。尚、該処理以前に、前方予測ベクトルＭＶfは既に
得られており、後方予測ベクトルＭＶbとして仮の値が
設定されているとする。

【００５５】まずステップＳ６０１において、前方予測
ベクトルＭＶfに基づいて前方予測画像データを得る。
そしてステップＳ６０２において、調整値(ｘ，ｙ)の全
種類についての処理が終了したか否かを判定する。第３
実施形態においては、調整値(ｘ，ｙ)として各成分がそ
れぞれ−１，０，１の値をとった場合、即ち全９種類の
調整値(ｘ，ｙ)について、後段のステップＳ６０３〜Ｓ
６０６の処理を行なうとする。

【００５６】調整値の全９種類中、未処理のものがあれ
ば該調整値について、ステップＳ６０３でＭＶb'＝ＭＶ
b＋(x，y)の演算により、後方予測ベクトル候補ＭＶb'
を算出する。そしてステップＳ６０４において、後方予
測ベクトル候補ＭＶｂ’に基づいて後方予測画像データ
を得、ステップＳ６０５で該後方予測画像データと、ス
テップＳ６０１で得られた前方予測画像データとの平均
を求める。但し、後方予測画像データは範囲が限定され
ているため、該後方予測画像データが存在しない部分の
平均については、前方予測画像データをそのまま用い
る。そしてステップＳ６０６において、ステップＳ６０
５で得られた予測画像の平均と符号化マクロブロックと
の相関度を、例えば画素差分絶対値の総和により求め
る。

【００５７】その後、処理はステップＳ６０２に戻り、
調整値(ｘ，ｙ)の全９種類についての処理が終了するま
で、ステップＳ６０３〜Ｓ６０６を繰り返す。従って、
全部で９個の相関度が得られることになる。

【００５８】ステップＳ６０２において全９種類の調整
値(ｘ，ｙ)についての処理が終了すればステップＳ６０
７に進み、得られた９種類の相関度のうちの最高の相関
度が得られた場合、即ち、画素差分絶対値の総和が最小
である場合の後方予測ベクトル候補ＭＶb'を決定し、該
ＭＶb'を後方予測ベクトルＭＶbとして設定する。

【００５９】以上の処理よって求めた後方予測ベクトル
ＭＶbに基づいて、上述した第１実施形態の図４に示し
たステップＳ４０４〜Ｓ４０６の処理を行なうことによ
り、動きベクトルＭＶや補正情報ＭＶＤＢを算出し、符
号化することができる。

【００６０】尚、第３実施形態においては、調整値
(ｘ，ｙ)の各成分を−１〜１の範囲とすることにより９
通りの後方予測ベクトル候補ＭＶb'を算出し、それぞれ
の予測画像との相関を求める例について説明した。しか
しながら本発明はこの例に限定されず、後方予測ベクト
ル候補ＭＶb'をより広範囲に変化させて、相関を見るこ
とももちろん可能である。

【００６１】また、上述した第２実施形態のように、動
きベクトルＭＶの範囲−ＭＶfによって、後方予測ベク
トルＭＶbの探索範囲を規定し、該範囲内でのみ相関を
見るという処理を併用することも可能である。

【００６２】以上説明したように第３実施形態によれ
ば、後方予測ベクトルＭＶbに対して微調整を施すこと
により、前方予測ベクトルＭＶfより得られる前方予測
画面と後方予測ベクトルＭＶbより得られる後方予測画
像との平均と、Ｂピクチャの符号化マクロブロックとの
相関をより高いものとすることができ、より効率の良い
符号化が可能となる。

【００６３】＜他の実施形態＞なお、本発明は、複数の
機器（例えばホストコンピュータ，インタフェイス機
器，リーダ，プリンタなど）から構成されるシステムに
適用しても、一つの機器からなる装置（例えば、複写
機，ファクシミリ装置など）に適用してもよい。

【００６４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００６５】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００６６】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【００６７】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００６８】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００６９】

【発明の効果】以上説明したように本発明によれば、動
画像の動き補償予測符号化の際に、符号化効率のさらな
る向上が可能となる。

【図面の簡単な説明】

【図１】本発明に係る一実施形態の動き補償予測符号化
における動きベクトル情報と予測画像データの関係を示
す図、

【図２】本実施形態における各符号化ピクチャのフレー
ム関係を示す図、

【図３】符号化時に補正情報ＭＶＤＢを求める一般的な
処理を示すフローチャート、

【図４】本実施形態における補正情報ＭＶＤＢを求める
処理を示すフローチャート、

【図５】本発明に係る第２実施形態における補正情報Ｍ
ＶＤＢを求める処理を示すフローチャート、

【図６】本発明に係る第３実施形態における後方予測ベ
クトルＭＶbの演算処理を示すフローチャート、であ
る。

【符号の説明】

１０１処理対象フレーム画像１０２着目ブロック１０３動きベクトル１０４参照画像１０５予測画像データ

Claims

【特許請求の範囲】

【請求項１】動画像の動き補償予測符号化を行なう動
画像処理方法であって、双方向予測符号化画像におけるマクロブロックの前方予
測ベクトルを前方参照画像を探索することにより求める
前方探索工程と、前記双方向予測符号化画像におけるマクロブロックの後
方予測ベクトルを後方参照画像を探索することにより求
める後方探索工程と、前記前方予測ベクトル及び後方予測ベクトルに基づい
て、前記後方参照画像におけるマクロブロックの動きベ
クトルと前記双方向予測符号化画像のマクロブロックの
動きベクトル補正情報を算出する算出工程と、前記動きベクトル及び動きベクトル補正情報に基づい
て、前記双方向予測符号化画像のマクロブロックと同位
置である前記後方参照画像のマクロブロックをフレーム
内符号化する符号化工程と、を有することを特徴とする
動画像処理方法。
【請求項２】前記後方探索工程においては、前記後方
予測ベクトルを、前記双方向予測符号化画像におけるマ
クロブロックと同位置である、前記後方参照画像のマク
ロブロックの画像データから探索することを特徴とする
請求項１記載の動画像処理方法。
【請求項３】前記前方探索工程及び前記後方探索工程
においては、対応する画素間の差分絶対値の総和が最小
となるような位置を探索することを特徴とする請求項２
記載の動画像処理方法。
【請求項４】前記後方探索工程においては、前記マク
ロブロック同士の重なり面積が小さいほど大きくなるパ
ラメータを各画素に加算することを特徴とする請求項３
記載の動画像処理方法。
【請求項５】前記後方探索工程において、前記後方参
照画像の探索範囲を限定することを特徴とする請求項１
記載の動画像処理方法。
【請求項６】前記後方探索工程において、前記後方参
照画像における動きベクトルの範囲を予測し、該動きベ
クトルの予測範囲から前記前方予測ベクトルを減じた範
囲において、前記後方予測ベクトルを探索することを特
徴とする請求項２記載の動画像処理方法。
【請求項７】前記後方探索工程においては、前記後方
参照画像の、着目マクロブロックの左または上に隣接す
るマクロブロックの後方予測ベクトルから離れるほど値
が大きくなるパラメータを各画素に加算することを特徴
とする請求項２記載の動画像処理方法。
【請求項８】更に、前記後方探索工程において探索さ
れた後方予測ベクトルに対して調整を施す調整工程を備
え、前記算出工程においては、該調整された後方予測ベクト
ルに基づいて、前記後方参照画像におけるマクロブロッ
クの動きベクトルと前記双方向予測符号化画像のマクロ
ブロックの動きベクトル補正情報を算出することを特徴
とする請求項１記載の動画像処理方法。
【請求項９】前記調整工程は、前記後方予測ベクトルに対して所定範囲内の複数の調整
値を加算することにより複数の候補ベクトルを生成する
候補ベクトル生成工程と、前記前方予測ベクトル及び前記複数の候補ベクトルに基
づいて複数の参照画像を生成する参照画像生成工程と、前記複数の参照画像と前記双方向予測参照画像における
マクロブロックとの相関度を検出する相関検出工程と、前記相関度が最も高い参照画像に対応する候補ベクトル
を前記後方予測ベクトルとして設定する設定工程と、を
有することを特徴とする請求項８記載の動画像処理方
法。
【請求項１０】前記参照画像生成工程は、前記前方予測ベクトルに基づいて前方予測画像を生成
し、前記候補ベクトルに基づいて後方予測画像を生成し、前記前方予測画像及び後方予測画像の平均により前記参
照画像を生成することを特徴とする請求項９記載の動画
像処理方法。
【請求項１１】前記参照画像は、前記後方予測画像が
存在しない画素については前記前方予測画像のままであ
ることを特徴とする請求項１０記載の動画像処理方法。
【請求項１２】前記調整値は、前記後方予測ベクトル
の各成分毎に−１〜１の範囲内であることを特徴とする
請求項９記載の動画像処理方法。
【請求項１３】前記後方探索工程において、前記後方
参照画像の探索範囲を限定することを特徴とする請求項
８記載の動画像処理方法。
【請求項１４】前記請求項１乃至１３のいずれかに記
載の動画像処理方法により動画像を符号化する動画像処
理装置。
【請求項１５】動画像の動き補償予測符号化を行なう
動画像処理方法のプログラムコードを記録した記録媒体
であって、該プログラムコードは、双方向予測符号化画像におけるマクロブロックの前方予
測ベクトルを前方参照画像を探索することにより求める
前方探索工程のコードと、前記双方向予測符号化画像におけるマクロブロックの後
方予測ベクトルを後方参照画像を探索することにより求
める後方探索工程のコードと、前記前方予測ベクトル及び後方予測ベクトルに基づい
て、前記後方参照画像におけるマクロブロックの動きベ
クトルと前記双方向予測符号化画像のマクロブロックの
動きベクトル補正情報を算出する算出工程のコードと、前記動きベクトル及び動きベクトル補正情報に基づい
て、前記双方向予測符号化画像のマクロブロックと同位
置である前記後方参照画像のマクロブロックをフレーム
内符号化する符号化工程のコードと、を含むことを特徴
とする記録媒体。