JP2007505529A

JP2007505529A - 映像符号化の符号化側／復号化側に使用される双方向予測方法

Info

Publication number: JP2007505529A
Application number: JP2006525606A
Authority: JP
Inventors: 向▲陽▼ 季; 文高; ▲徳▼▲彬▼ ▲趙▼; 岩呂; 思▲偉▼ ▲馬▼; 洪▲鋼▼ ▲齊▼
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2003-09-12
Filing date: 2004-07-02
Publication date: 2007-03-08
Anticipated expiration: 2024-07-02
Also published as: BRPI0413945A8; EP1672926B1; EP1672926A1; EP1672926A4; CN1525762A; KR100897880B1; WO2005027520A1; JP4755095B2; US8005144B2; CN1225127C; BRPI0413945A; US20070110156A1; BRPI0413945B1; KR20070026317A

Abstract

本発明が開示する映像符号化に使用される双方向予測方法では、符号化側で双方向予測符号化を行う時、まず、現在のBフレームの画像ブロックごとに、現在画像ブロックが与えた前方向動きベクトル候補を取得する。次に、計算して取得した後方向動きベクトルを利用して、双方向予測方法を用いて双方向予測参照ブロック候補を取得し、与えられた検索範囲内及び/または与えられたマッチング閾値内で、マッチング値を計算する。最後に、最適なマッチングブロックを選択することで、当該ブロックの最終的な前方向動きベクトル、後方向動きベクトルとブロック残差を確定する。本発明では、一つの動きベクトルの符号化を通じて双方向予測の目的を実現し、基本的に符号化側検索マッチングブロックの複雑度を増やさずに、動きベクトルに対する符号化量を極めて節約でき、且つ、映像での物体の動きをよりリアルに現し、前方向及び後方向の予測符号化と結合して新しい予測符号化方式を実現する。

Description

本発明は、映像符号化の双方向予測方法に関するものであり、特に映像を圧縮する双方向予測方法であり、映像符号化・復号化の技術分野に属する。

デジタルテレビ、次世代移動通信、ブロードバンドネットワーク通信及び消費家電など発展中のハイテク産業は、その共通技術として映像と音声をはじめとするマルチメディア情報処理技術、特にデータ圧縮技術に注力している。高効率の映像符号化・復号化技術は、高品質、低コストのマルチメディアデータの蓄積と伝送がキーポイントである。従来、通常の符号化方式として、予測符号化、直交変換符号化、ベクトル量化符号化などがある。これらの方式は、全て信号処理理論に基づいたものであり、通常第一世代の符号化技術と言われている。現在比較的普及している映像符号化の国際標準は、全てこの符号化理論に基づいたものであり、ブロックマッチング（Block‐matching）動き補償、離散コサイン変換と量子化を混合した符号化方式が採用されている。例えば、国際標準化組織／国際電工技術委員会第一連合技術組織（ISO／IEC JTC1）が提唱したMPEG（Motion Picture Experts Group、動画専門グループ）‐1, MPEG‐2とMPEG‐4などの国際標準、および国際電信連盟（ITU‐T）が提唱したH．26xシリーズがある。これらの映像符号化標準は、産業界で幅広く応用されている。

これらの符号化標準は、全て混合符号化（Hybrid Video Coding）方式を採用し、通常予測、変換、量子化、情報エントロピー符号化などの四つの主要モジュールを含む。予測モジュールの主な機能は、既に符号化且つ復元化された画像を利用して、現在符号化しようとする画像に対して予測（フレーム間予測）し、或いは画像中既に符号化且つ復元化された画像ブロックを利用して、現在符号化しようとする画像ブロックを予測（フレーム内予測）することである。変換モジュールの主な機能は、入力された映像ブロックをほかの一つの空間に変換させ、入力された信号のエネルギーができるだけ低頻変換係数に集中するようにし、よって画像ブロック内の素子間の相関性を低下させ、圧縮しやすくすることである。量子化モジュールの主な機能は、変換した係数を符号化に役立つ有限要素集に映すことである。情報エントロピー符号化モジュールの主な機能は、統計規則に基づいて、量子化した後の変換係数を変長コードに表示することである。映像符号化システムは、類似のモジュールを含み、主に入力された符号列（code stream）を復号化、逆量子化、逆コサイン変換などの過程を通じて復号化映像を再成形する。上記のモジュール以外、映像符号化システムには、通常ある補助符号化ツール含み、これらのツールもシステム全体の符号化性能（圧縮比）に役立っている。

映像符号化の主な符号化効率は、動き補償に基づく予測によるものである。動き補償に基づく予測の主な機能は、映像序列の時間的な冗長性を無くすことである。映像の符号化過程とは、映像序列の各画像フレームに対して符号化する過程であり、本機能を果たすのが予測モジュールである。常用の映像符号化システムの映像フレームごとに対する符号化は、画像ブロックを基本単位にして行われる。各映像フレームを符号化する時、またフレーム間（Iフレーム）符号化、予測（Pフレーム）符号化と双方向予測（Bフレーム）符号化などに分類される。通常、符号化する時、Iフレーム、PフレームとBフレームなどは、インタールードで行われ、例えば、IBBPBBPなどの順序で行われる。

Bフレームの導入は、運動物体間或いは物体と背景との間で生じる異なる運動方向または運動速度により起こる「遮断問題」を有効に解決することができる。Bフレームの符号化は、符号化圧縮率を200：1以上のコード率にすることができる。Bフレームでの画像ブロックに対する符号化は、直接（Direct）、前方向予測（Forward Prediction）、後方向予測（Backward Prediction）と双方向予測（Bi‐directional Prediction）の四種類の方式がある。Bフレーム技術は、同時に前方向と後方向の運動予測を行う必要があるため、比較的複雑な計算が必要になると同時に、前後の運動ベクトルを区別するために特別な識別情報を導入する必要がある。

従来の映像符号化システムにおいて、Bフレームは、通常双方向予測の動き方式があり、この方式は、画像間の回転、輝度の変化、ノイズなどによる不適切なフレーム間予測を除去する。しかし、それと同時により多くの動きベクトルを符号化する必要があるため、動きベクトルの符号化のビット数が常に全符号の30％以上を占めるという問題があった。
比較的良い双方向予測性能を保つ前提で、動きベクトルの符号化量を低下させれば、符号化の圧縮率を有効に向上できる。特に低い符号化率の映像伝送への応用に際し、動きベクトル符号化に必要なビット数を低下させることは、より重要な意味がある。

本発明は、符号化に必要な動きベクトル数を有効に低下させるだけでなく、基本的に符号化側のマッチングブロックの検索の複雑度を増加させずに、映像符号化に使用される双方向予測方法を提供することを課題とする。

映像符号化に使用される符号化側の双方向予測方法は、現在Bフレームの画像ブロック毎に対して、前方向予測モードを用いて、前方向参照画像から現在画像ブロックの前方向動きベクトルを取得するステップ10と、ステップ10で得られた現在画像ブロックの前方向動きベクトル候補を利用して、後方向動きベクトル候補を計算・取得し、双方向予測に必要な前方向動きベクトル候補と後方向動きベクトル候補を取得するステップ20と、ステップ20で得られた現在画像ブロックの前方向動きベクトル候補と後方向動きベクトル候補を利用して、双方向予測方法により双方向予測参照ブロック候補を取得するステップ30と、与えられた検索範囲内及び/またはマッチング値が予め設定されたマッチング閾値以下である限りは、新しい参照ブロックを設定し続け、前の三つのステップを繰り返して、最適な参照ブロックを選択するステップ40と、当該画像ブロックの最適参照ブロックにより確定された前方向動きベクトル、後方向動きベクトル及びブロック残差を、符号列に編入するステップ50とからなる。

上記の映像符号化の復号化側に使用される双方向予測方法は、符号列から復号化して、前方向動きベクトルを取得するステップ21と、ステップ21で得られた前方向動きベクトルを利用して、後方向動きベクトルを計算・取得し、双方向予測に必要な前方向動きベクトルと後方向動きベクトルを取得するステップ31と、ステップ31で得られた現在画像ブロックの前方向動きベクトルと後方向動きベクトルを利用して、双方向予測方法により、最終的な双方向予測参照ブロックを求めるステップ41と、ステップ41で得られた予測参照ブロックを符号列から復号化して取得したブロック残差と合併して現在ブロック画像を形成するステップ51とからなる。

本発明の映像符号化に使用される双方向予測方法は、一つの動きベクトルのみに対し符号化し、もう一つの動きベクトルは計算により取得することによって、双方向予測の目的を実現する。このため単一の動きベクトルによる双方向予測方法とも言われている。本発明の方法は、基本的に符号化側マッチングブロックの検索の複雑度を増加させずに、動きベクトルに対する符号化量を極めて節約できる。且つ、映像での物体の動きをよりリアルに現し、より正確に動きベクトルを予測し、前方向予測符号化及び後方向予測符号化と結合して新しい予測符号化方式を実現する。

以下、図面及び実施例を用いて、本発明の技術的特徴について更に詳しく説明する。
本発明の実施例では、一つの前方向参照ピッチャーと一つの後方向参照ピッチャーだけで現在Bフレームの画像ブロックに対して前後参照フレーム上動きベクトルを予測する。

本発明の実施例の映像符号化に使用される双方向予測方法、上記双方向予測符号化方法は、図4に示すように、現在のBフレームの映像毎に、前方向予測モードを用いて、前方向参照画像から現在画像ブロックの前方向動きベクトル候補を取得するステップ10を含む。上記の前方向予測モードは、具体的に、前方向参照ピッチャーに設定した参照ブロックが含まれている場合にはステップ102を実行し、最初の回でない場合はステップ103を実行するステップ101と、前方向参照ピッチャーに設定された参照ブロックの前方向参照ピッチャー中の位置とBフレームの現在画像ブロックの現在ピッチャー中の位置との位置偏差から得られたベクトルが即ち前方向動きベクトル候補であり、ステップ10を終了するステップ102と、前方向参照ピッチャー中、Bフレームの現在画像ブロックと同じ位置の画像ブロックを、前方向参照ピッチャーに設定された参照ブロックとして選定し、ステップ102を実行するステップ103とからなる。
前後二つのフレームの画像時間間隔が非常に短いため、相違は多くない。最初に選択した参照ピッチャー位置と同じ点を参照点とする。その時の前方向動きベクトル候補は0であり、両者の間には位置の変化がない。もし下記のステップ40を通じて参照点を変えた場合、前方向動きベクトルは0ではない。

ステップ20では、ステップ10を利用して得られた現在画像ブロックの前方向動きベクトル候補から後方向動きベクトル候補を計算・取得し、双方向予測に必要な前方向動きベクトル候補と後方向動きベクトル候補を取得する。ベクトル候補の取得に関する方法について以下に説明する。
（フレーム符号化モード）
このモードでは、数式１を通じて現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補を計算する。

ここで、TD_Bは現在Bフレームと前方向参照フレームの時間軸上の距離であり、TD_Dは後方向参照フレームと前方向参照フレームの時間軸上の距離であり、CMV_FとCMV_Bはそれぞれ該当のBフレーム現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補である（図１を参照）。
（フィールド符号化方式）
奇数フィールドモードでは、数式２を通じて、現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補を計算する。

ここで、TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは後方向参照ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、CMV_FとCMV_Bは、それぞれ推算された該当のBフレーム現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補である。数式２中のiの値は、奇数偶数モードによって決定され、奇数モードの場合は0、偶数モードの場合は2を取る（図２を参照）。
偶数フィールドモードでは、後方向参照フィールドに対応するブロックの動きベクトルが時間軸上現在フィールドより前の任意のフィールドを指す場合、現在ブロックの後方向動きベクトルの推算は奇数フィールドの場合と同じである。
後方向参照フィールドに対応するブロックの動きベクトルが該当の（偶数フィールドと同じフレームに属する）奇数フィールドを指す場合、このような状況では、現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補の推算は下記の通りである。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の時間距離であり、TD_Dは後方向参照ピッチャーと前方向参照ピッチャーの時間軸上の時間距離であり、CMV_FとCMV_Bはそれぞれ推算された該当のBフレーム現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補である（図3を参照）。

ステップ30では、ステップ20で取得した現在画像ブロックの前方向動きベクトル候補と後方向動きベクトル候補を利用して、双方向予測方法により、最終的双方向予測参照ブロックを取得する。即ち、前方向動きベクトル候補と後方向動きベクトル候補が指す二つの予測参照ブロックに対応する画素の平均を取り、最終的な双方向予測参照ブロックを求める。

ステップ40では、与えられた検索範囲内及び/またはマッチング値が予め設定されたマッチング閾値以下である間に、常に新しい参照ブロックを設定し、前述の三つのステップを繰り返し実行し、最後に最適なマッチングブロックを選定する。
ステップ40では、検索範囲が参照ピッチャー中Bフレーム現在ブロックと同じ位置の参照ブロックを中心とする一定の範囲であり、検索区域の大きさは画像質に対する要求によって異なり、検索する区域が広いほど、得られた参照ブロックがより正確であり、検索区域は最大で参照ピッチャー全体となる。検索範囲全体で、参照ブロックから得られた双方向予測参照ブロックとBフレーム現在ブロックに対応する画素との差の絶対値の和（SADで表す）が一番小さい双方向予測参照ブロックが最適マッチングブロックである。
マッチング値は、双方向予測参照ブロックとBフレーム現在ブロックに対応する画素との差の絶対値の和SADである。マッチング閾値は予め設定されたマッチング値であり、マッチング値がマッチング閾値以下である場合、その時の参照ブロックが最適参照ブロックとなる。一定の順、一般的には現在参照ブロックを基点として近い点から遠い点へと順に、参照ブロックのマッチング値を計算する。マッチング閾値を設定する方法を使用すれば、全ての参照点を検索することなく、要求に合う参照ブロックを検索したときに、最適参照ブロック検索過程を終了させるので、非常に効率が良い。
上記の二種類の方法では、SADを計算して双方向予測参照ブロックとBフレーム現在ブロックの差を表す方法を採用したが、他の方法を採用することもできる。例えば、対応する画素の分散を計算する方法があるが、この方法はSAD方法より直接的、効率的でない。
当然、検索範囲とマッチング閾値の設定を結合する方法も採用することができ、図4に示すように、設定した区域内で近い点から遠い点へと順にマッチング値を計算する。この方法では必要に応じて、検索範囲を確定し、全体の検索範囲を検索する必要がないため、最も効率的である。

ステップ50では、該当映像ブロックの最適参照ブロックから確定した前方向動きベクトル、後方向動きベクトル及びブロック残差を符号列に編入する。ブロック残差は、最適参照ブロックが確定した双方向予測参照ブロックとBフレーム現在ブロックの対応する画素の差異であり、最適参照ブロックとBフレーム現在ブロックの対応する画素の差の序列を直接符号化することができ、或いは該当差の序列を圧縮し、伝送しやすくすることもできる。

本発明の実施例の映像符号化の双方向予測方法に使用される、双方向予測復号化方法は、図5に示すように、下記のステップからなる。
上記の双方向予測復号化方法は、符号列から復号化し、前方向動きベクトルを取得するステップ21と、ステップ21で得られた前方向動きベクトルを利用して、後方向動きベクトルを計算・取得し、双方向予測に必要な前方向動きベクトルと後方向動きベクトルを取得するステップ31と、ステップ31で得られた現在映像ブロックの前方向動きベクトルと後方向動きベクトルを利用して、双方向予測方法により、最終的に双方向予測参照ブロックを取得するステップ41と、ステップ41で得られた予測参照ブロックと符号列中の復号化に対応したブロック残差を合わせ、現在ブロック画像を形成するステップ51とからなる。

上記ステップ31で、後方向動きベクトルを計算するステップは下記の通りである。
ステップ310では、現在の画像モードを判断し、フレーム符号化モードである場合には、ステップ311を実行する。フィールド符号化モードである場合には、奇数フィールドか偶数フィールドかを判断し、奇数フィールドの場合には、ステップ312を実行し、偶数フィールドの場合には、ステップ313を実行する。
ステップ311では、数式４を通じて、後方向動きベクトルを計算する。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、MV_FとMV_Bはそれぞれ該当のBフレームの現在ブロックの前方向動きベクトルと後方向動きベクトルである。ステップ31を終了する。
ステップ312では、数式５を通じて、後方向動きベクトルを計算する。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、MV_FとMV_Bはそれぞれ推算された該当のBフレームの現在ブロックの前方向動きベクトルと後方向動きベクトルである；下付けiの値は奇数偶数モードにより決定され、奇数モードの場合には0、偶数モードの場合は１の値をとる。ステップ31を終了する。
ステップ313では、後方向参照フィールドに対応するブロックの動きベクトルが時間軸上現在フィールドより前の任意のフィールドを指す場合、ステップ312を実行する。後方向参照フィールドの対応するブロックの動きベクトルが偶数フィールドと同一フレーム上の該当する奇数フィールドを指す場合、数式６を通じて、後方向動きベクトルを計算する。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、MV_FとMV_Bはそれぞれ推算された該当のBフレームの現在ブロックの前方向動きベクトルと後方向動きベクトルである。ステップ31を終了する。

ステップ41において、双方向予測方法の具体的なプロセスは、前方向動きベクトルと後方向動きベクトルが指す二つの予測参照ブロックに対応する画素の平均を取り、最終的な双方向予測参照ブロックを取得することである。
復号化のプロセスは比較的簡単で、符号列から前方向動きベクトルを取得した後、直接計算して後方向動きベクトルを取得し、双方向予測参照ブロックとブロック残差を合わせ、符号化前の映像を取得する。これは完全に符号化のプロセスとは逆のプロセスであると考えられる。

上記の実施例は、本発明の技術的特徴を説明するためのものあり、それにより本発明を制限するものではない。最適な実施例を参照して本発明について詳細に説明したが、本分野の技術者らは、本発明の技術的特徴について修正或いは同等の変更を行えると考えるべきであり、本発明の技術的特徴の思想及び範囲を超えない限り、本発明の特許請求の範囲に含まれるべきである。

フレーム符号化中の後方向動きベクトルを推算する過程を示す図である。フィールド符号化中の、奇数フィールドまたは偶数フィールド中で、後方向参照フィールドに対応するモジュールの動きベクトルが時間領域上現在フィールドより早い任意のフィールドを指す時、後方向動きベクトルを推算する過程を示す図である。フィールド符号化中の、偶数フィールド中で、後方向参照フィールドの対応ブロックの動きベクトルが偶数フィールドと同じフレームに属する奇数フィールドを指す時、フィールド符号化中の後方向動きベクトルを推算する過程を示す図である。符号化側が動き予測を実現して前方向動きベクトルを得て、後方向動きベクトルを計算し最終的に最適マッチングブロックを取得する双方向予測フローチャートである。復号化側が符号列から取得した前方向動きベクトルにより後方向動きベクトルを推算し、且つ最終的に双方向予測補償により、任意の画像ブロックを新しく形成する過程を示す図である。

Claims

現在Bフレームの画像ブロック毎に対して、前方向予測モードを用いて、前方向参照画像から該現在画像ブロックの前方向動きベクトルを取得するステップ10と、
該ステップ10で得られた前記現在画像ブロックの前方向動きベクトル候補を利用して、後方向動きベクトル候補を計算・取得し、双方向予測に必要な前方向動きベクトル候補と後方向動きベクトル候補を取得するステップ20と、
該ステップ20で得られた前記現在画像ブロックの前記前方向動きベクトル候補と前記後方向動きベクトル候補を利用して、双方向予測方法により双方向予測参照ブロック候補を取得するステップ30と、
与えられた検索範囲内及び／またはマッチング値が予め設定されたマッチング閾値以下である間は、新しい参照ブロックを設定し、前記ステップ10から30を繰り返して、最適参照ブロックを選択するステップ40と、
前記画像ブロックの前記最適参照ブロックにより確定された前記前方向動きベクトル、前記後方向動きベクトル及びブロック残差を、符号列に編入するステップ50とからなることを特徴とする映像符号化に使用される符号化側双方向予測方法。
前記ステップ10中、前方向予測運動モードを用いて、前記前方向動きベクトル候補を取得する過程は、
最初の回である場合、前方向参照ピッチャー中Bフレーム現在画像ブロックと同じ位置の画像ブロックを、前記前方向参照ピッチャー中に設定された参照ブロックとして選定し、ステップ102を実行し、最初の回でない場合は直接、該ステップ102を実行するステップ101と、
前記前方向参照ピッチャー中に設定された参照ブロックの、前記前方向参照ピッチャー中の位置とBフレーム現在画像ブロックの現在ピッチャー中の位置との差を演算し、得られたベクトルは前記前方向動きベクトルであり、前記ステップ10を終了するステップ102とを含むことを特徴とする請求項1に記載の映像符号化に使用される符号化側双方向予測方法。
前記ステップ20中、前記後方向動きベクトル候補を計算する過程は、ステップ110、ステップ111、ステップ212、ステップ213からなり、
該ステップ110では、現在の画像モードを判断し、フレーム符号化モードである場合は前記ステップ111を実行し、フィールド符号化モードである場合は奇数フィールドか偶数フィールドかを判断し、奇数フィールドであれば前記ステップ112を実行し、偶数フィールドであれば前記ステップ113を実行し、
前記ステップ111では、数式１を通じて、前記後方向動きベクトルを計算・取得し、前記ステップ20を終了し、
前記ステップ212では、数式２を通じて、前記後方向動きベクトルを計算・取得し、前記ステップ20を終了し、
前記ステップ213では、前記後方向参照フィールドに対応するブロックの動きベクトルが時間軸上現在フィールドより前の任意のフィールドを指す場合、前記ステップ212を実行し、前記後方向参照フィールドに対応するブロックの動きベクトルが偶数フィールドと同じフレームに該当する奇数フィールドを指す場合、数式３を通じて、前記後方向動きベクトルを計算・取得し、前記ステップ20を終了することを特徴とする請求項1に記載の映像符号化に使用される符号化側双方向予測方法。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、CMV_FとCMV_Bは、それぞれ該当のBフレーム現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補である。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、CMV_FとCMV_Bは、それぞれ推算された該当のBフレーム現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補である。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、CMV_FとCMV_Bは、それぞれ推算された該当のBフレーム現在ブロックの前方向動きベクトル候補と後方向動きベクトル候補である。
前記ステップ30の前記双方向予測方法の具体的な過程では、前記前方向動きベクトル候補と前記後方向動きベクトル候補が指す二つの予測参照ブロックが対応する画素に対して平均を取り、最終的な双方向予測参照ブロックを求めることを特徴とする請求項1に記載の映像符号化に使用される符号化側双方向予測方法。
前記ステップ40では、検索範囲が参照ピッチャー中Bフレーム現在ブロックと同じ位置の参照ブロックを中心とする一定の区域であり、最大で参照ピッチャー全体まで広がり、全体の検索範囲中、前記参照ブロックから得られた前記双方向予測参照ブロックと前記Bフレーム現在ブロックに対応する画素との差の絶対値の和が一番小さい参照ブロックが最適マッチングブロックであることを特徴とする請求項1に記載の映像符号化に使用される符号化側双方向予測方法。
前記ステップ40中、マッチング値は前記双方向予測参照ブロックと前記Bフレーム現在ブロックに対応する画素との差の絶対値の和であり、マッチング閾値は予め設定されたマッチング値であり、該マッチング値が該マッチング閾値以下である場合、この時の参照ブロックは最適な参照ブロックであることを特徴とする請求項1に記載の映像符号化に使用される符号化側双方向予測方法。
前記ブロック残差は、前記最適参照ブロックと前記Bフレーム現在ブロックとの該当する画素の差異であることを特徴とする請求項1に記載の映像符号化に使用される符号化側双方向予測方法。
符号列から復号化して、前記前方向動きベクトルを取得するステップ21と、
該ステップ21で得られた前記前方向動きベクトルを利用して、前記後方向動きベクトルを計算・取得し、前記双方向予測に必要な前記前方向動きベクトルと前記後方向動きベクトルを取得するステップ31と、
該ステップ31で得られた現在画像ブロックの前記前方向動きベクトルと前記後方向動きベクトルを利用して、双方向予測方法により、最終的な双方向予測参照ブロックを求めるステップ41と、
該ステップ41で得られた該予測参照ブロックを符号列から復号化して取得したブロック残差と合併して現在ブロック画像ブロックを形成するステップ51とからなることを特徴とする映像符号化に使用される復号化側双方向予測方法。
前記ステップ31中、前記後方向動きベクトルを計算するステップは、ステップ310、ステップ311、ステップ312、ステップ313からなり、
前記ステップ310では、現在画像モードを判断し、フレーム符号化モードである場合はステップ311を実行し、フィールド符号化モードである場合は奇数フィールドか偶数フィールドかを判断した後、奇数フィールドである場合はステップ312を実行し、偶数フィールドである場合はステップ313を実行し、
前記ステップ311では、数式４を通じて、前記後方向動きベクトルを計算・取得し、前記ステップ31を終了し、
前記ステップ312では、数式５を通じて、前記後方向動きベクトルを計算・取得し、前記ステップ31を終了し、
前記ステップ313では、前記後方向参照フィールドに対応するブロックの動きベクトルが、時間軸上現在フィールドより前の任意のフィールドを指す場合、前記ステップ312を実行し、前記後方向参照フィールドに対応するブロックの動きベクトルが、偶数フィールドと同一フレームに属する該当の奇数フィールドを指す場合、数式６を通じて、前記後方向動きベクトルを計算・取得し、前記ステップ31を終了することを特徴とする請求項8に記載の映像符号化に使用される復号化側双方向予測方法。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、MV_FとMV_Bは、それぞれ該当のBフレーム現在ブロックの前方向動きベクトルと後方向動きベクトルである。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、MV_FとMV_Bは、それぞれ推算された該当のBフレーム現在ブロックの前方向動きベクトルと後方向動きベクトルである。

TD_Bは現在ピッチャーと前方向参照ピッチャーの時間軸上の距離であり、TD_Dは前方向参照ピッチャーと後方向参照ピッチャーの時間軸上の距離であり、MV_FとMV_Bは、それぞれ推算された該当のBフレーム現在ブロックの前方向動きベクトルと後方向動きベクトルである。
前記ステップ41の双方向予測方法の具体的な過程では、前記前方向動きベクトルと前記後方向動きベクトルが指す二つの予測参照ブロックに対応する画素に対して平均を取り、最終的な双方向予測参照ブロックを求めることを特徴とする請求項8に記載の映像符号化に使用される復号化側双方向予測方法。