JP2006136011A

JP2006136011A - 動画像符号化方法とその装置、及び、復号方法とその装置

Info

Publication number: JP2006136011A
Application number: JP2005351362A
Authority: JP
Inventors: Tak Yen Tong; トンタク・エン; Yoichi Yagasaki; 陽一矢ヶ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-12-05
Filing date: 2005-12-05
Publication date: 2006-05-25

Abstract

【課題】動きベクトルなしで動き補償を行うビデオ符号化方法およびその装置を実現する。
【解決手段】（Ｆ_n からＦ_n+i ）番目までの複数の連続的なブロック画像を受け、イントラ画像（Ｆ_n およびＦ_n+i ）を選択し、参照ブロック画像（Ｆ_n ）および予測ブロック画像（Ｆ_n+i ）として、前記選択されたイントラ画像をイントラ画像符号化し、予測ブロック画像の動きベクトルを求め、前記復号されたイントラ画像相互間の距離を検出し、得られた動きベクトルを補間処理し動き補償画像を求め、該動き補償画像と前記受けた画像との差画像を求め、当該差画像を符号化し、イントラ画像符号化された画像および符号化された差画像を提供する動画像符号化方法を提供する。
【選択図】図４

Description

発明の背景
１．発明の技術分野
本発明は、ディジタル動画像の圧縮、特に、ディジタル記憶媒体、テレビジョン放送および通信ネットワークなど種々の用途における圧縮された状態での転送および記憶のためのディジタル化された動画像列を処理する方法およびその装置に関するものである。

２．関連技術の記述
近年、ディジタル音声および画像ビデオ列を効率的に転送および記憶するための研究が活発に行われている。ある可能な用途としては、ディジタルビデオ、ビデオ電話、双方向テレビおよび双方向ゲーム機器がある。しかし、大量なデータを扱うため、データ転送量を低減させるためのデータ圧縮が必要である。そのような試みの一つとしては、国際標準委員会（ＩＳＯ）と国際電子技術委員会（ＩＥＣ）が共同で行われている。これは動画像専門家グループ（Moving Picture Expert Group ：ＭＰＥＧ）として周知のことである。

動画像信号の代表的な特徴は、画面に一部の移動対象を除けば、連続的な画像フレームの間に変化が殆どない。動画像信号を符号化するために通常用いられる一つの方法は、動画像を幾つかのグループに分割して、ある画像圧縮手法を用いて参照フレームとしての第ｎおよび第（ｎ＋ｉ）番目のフレームを圧縮して転送することにより画像の空間冗長性を低減することである。動き補償と呼ばれた技術が、参照フレーム、即ちフレームｎおよびフレーム（ｎ＋ｉ）に基づきフレームｎとフレーム（ｎ＋ｉ）の間の画像を予測することが一般に用いられている。図１を参照すると、動き補償は参照画像に基づき、動きによる予測画像における画素ブロックの空間変位を求める演算処理である。こうして得られた動きベクトルは変位ブロックを示し、動き補償予測符号化に用いられる。

ここでは、“動き補償された画像”とは動き補償のみに基づき構成された画像をいう。“置き換えベクトル”または“動きベクトル”とは動き補償された画像を表すために用いられる。“差画像”とは動き補償された画像と元の画像との差を示す。差画像は空間冗長性が低減され、符号化される。第ｎ番目のフレームと第（ｎ＋ｉ）番目のフレーム間の画像が通常“インター画像”といい、置き換えベクトル（動き補償画像）および差画像の情報に基づき生成される。従って、動き補償手法は連続的なフレーム間の時間的な相関を用いることで動画像を符号化するために必要なビット数を低減させることができる。動きベクトルおよび符号化された差画像のみを転送すればよい。

動画像の符号化において従来の動き補償を用いることにより、動画像の空間冗長性を大幅に低減でき、圧縮率の向上を図れる。従来の動き補償手法においては、次の二種類の情報が必要である：動きベクトル、動きベクトルのみに基づき生成された画像と元の画像との差画像である。

発明の概要
本発明の目的は低いビットレートにおける動画像の符号化のために改良した方法とその装置を提供することにある。本発明の他の目的は効率的な、高精度なかつ複合的なブロック／対象／動き検索手法による動画像符号化における改良した方法とその装置を提供することにある。

本発明によれば、動きベクトルなしで動画像を符号化するために、動き補償を用いる方法が提案される。本発明によれば、（Ｆ_n からＦ_n+i ）番目までの複数の連続的なブロック画像を受け、イントラ画像（Ｆ_n およびＦ_n+i ）を選択し、参照ブロック画像（Ｆ_n）および予測ブロック画像（Ｆ_n+i ）として、前記選択されたイントラ画像をイントラ画像符号化し、予測ブロック画像の動きベクトルを求め、前記復号されたイントラ画像相互間の距離を検出し、得られた動きベクトルを補間処理し動き補償画像を求め、該動き補償画像と前記受けた画像との差画像を求め、当該差画像を符号化し、イントラ画像符号化された画像および符号化された差画像を提供する動画像符号化方法が提供される。

好適には、前記ブロック画像はフレームビデオ画像を含む。

また、本発明によれば、参照画像、予測画像として前記イントラ画像符号化された画像および符号化された差画像を受けて、前記イントラ画像符号化された画像をイントラ画像復号し、前記符号化された差画像を復号し、復号されたイントラ画像より動きベクトルを求め、復号されたイントラ画像相互間の距離を検出し、動きベクトルを補間処理し、動き補償ブロック画像を求め、得られた動き補償ブロック画像と復号された差画像とを加算し、復号された予測ブロック画像を得る動画像復号方法が提供される。

本発明によれば、（Ｆ_n からＦ_n+i ）番目までの複数の連続的なブロック画像を受けて、イントラ画像（Ｆ_n およびＦ_n+i ）を選択する手段と、参照ブロック画像（Ｆ_n ）および予測ブロック画像（Ｆ_n+i ）として前記選択されたイントラ画像をイントラ画像符号化する手段と、前記符号化されたイントラ画像をイントラ画像復号する手段と、予測ブロック画像の動きベクトルを求め、復号されたイントラ画像相互間の距離を検出し、得られた動きベクトルに対する補間処理で動き補償画像を求める手段と、動き補償画像と受けた画像との差画像を求める手段と、当該差画像を符号化する符号化手段と、イントラ画像符号化されたブロック画像および符号化された差画像を提供する手段とを有する動画像符号化手段が提供される。

さらに、本発明によれば、参照画像、予測画像としてイントラ画像符号化された画像および符号化された差画像を受ける手段と、前記イントラ画像符号化された画像をイントラ画像復号する手段と、前記符号化された差画像を復号するローカル復号手段と、復号されたイントラ画像より動きベクトルを求め、復号されたイントラ画像相互間の距離を検出し、動きベクトルを補間処理し、動き補償ブロック画像を求める手段と、得られた動き補償ブロック画像と復号された差画像とを加算し、復号された予測ブロック画像を得る加算手段とを有する動画像復号手段が提供される。

本発明により提案された方法では動きベクトルに関する情報を転送する必要がなく、圧縮率の向上を図れる。また、符号化された動きベクトルをノイズのある転送チャネルで転送することによる動きベクトルの劣化を回避できる。さらに、圧縮率を悪化させることなく、従来のブロックマッチング動き補償法の代わりにより効率的な、高精度なかつ複合的なブロック／対象／動き検索手法を提供できる。

以上提案した方法によれば、動きベクトルを転送せずに動き補償が達成できる。動きベクトルを転送しないので、ビットレートを増加させることなくより高精度な、効率的なブロック／対象／動き検索技術が得られる。また、提案された順方向および逆方向動き補償方法によれば、補間処理された動きベクトルからより高精度な動き補償画像が得られる。

好適実施形態の記述
本発明の上記および他の目的および特徴は添付図面に関連付けた好適な実施形態に関する下記の記述により、より明瞭になる。
基本原理
本発明は低いビットレートで符号化された動画像における動き補償の改良に関するものである。本発明の主な目的は画像の動き補償における動きベクトルの転送の必要性を無くし、差画像の情報のみを転送する。

本発明の構想は、同じシーンに属し、分離しかつ圧縮された複数の画像フレームの内の二つのイントラ画像、即ち、時間ｔ_n におけるフレームｎおよび時間ｔ_n+i におけるフレーム（ｎ＋ｉ）を用いて、これら二つのイントラ画像を復号側に転送し、エンコーダ（符号器）およびデコーダ（復号器）においては同様な動き補償を行うことにある。従来の動き補償手法とは異なり、本発明では参照画像フレームに基づき、任意のイントラ画像を予測フレーム画像として、動きにより予測画像におけるブロック／対象の最良のマッチを求める。エンコーダおよびデコーダは予測フレーム画像のために装置内で発生された同様な動きベクトル群を用いる。参照画像フレームからの位置に基づき、エンコーダおよびデコーダにより得られた同様な動きベクトル群に対して補間処理を行うことによりフレームｎからフレーム（ｎ＋ｉ）までの動き補償画像が得られる。差画像、即ち動き補償画像と元の画像との差のみがデコーダに転送される。デコーダにおいて、差画像とともにデコーダ内で生成された動き補償画像が用いられ、フレームｎから（ｎ＋ｉ）までの画像が求められる。

与えられたグループ画像の内、選択された二つのイントラ画像間の時間的な相関が高くなるように適切なイントラ画像を選択することが重要である。従来の動き補償手法と同様に、選択された二つのイントラ画像が同一のシーンに属することが必要である。さらに、これら二つのイントラ画像の差（移動）が小さく、かつ動きが連続的であることが望ましい。

本発明の方法では、まず二つのイントラ画像の適切な動きベクトルを求める。図２は逆方向動き補償の一例を示す図であり、ここで、フレーム画像Ｆ_n+4 （参照フレーム画像）に基づき、フレーム画像Ｆ_n （予測フレーム画像）の動きが推定される。フレーム画像Ｆ_n の動きベクトルＭＶに対する補間処理によってフレーム画像Ｆ_n+1 の動き補償フレームが得られる。即ち、フレーム画像Ｆ_n+1 の動きベクトルはフレーム画像Ｆ_n の動きベクトルＭＶの３／４である。

図３は順方向動き補償の一例を示す図であり、ここで、フレーム画像Ｆ_n （参照フレーム画像）に基づき、フレーム画像Ｆ_n+4 （予測フレーム画像）の動きが推定される。フレーム画像Ｆ_n の動きベクトルＭＶに対する補間処理によってフレーム画像Ｆ_n+3 の動き補償フレームが得られる。即ち、フレーム画像Ｆ_n+3 の動きベクトルはフレーム画像Ｆ_n+4 の動きベクトルＭＶの３／４である。

図２および図３を参照すると、二つのイントラ画像が３フレームおきに選択されている。即ち、フレーム画像Ｆ_n およびＦ_n+4 がイントラ画像として選択される。

ここで、いわゆる逆方向動き補償とはフレーム画像Ｆ_n+4 を参照フレーム画像として、フレーム画像Ｆ_n を予測して、フレーム画像Ｆ_n+4 とＦ_n との距離およびフレーム画像Ｆ_n+4 とＦ_n+1 との距離に基づきフレーム画像Ｆ_n の動きベクトルを得る動き補償手法である。

同様に、いわゆる順方向動き補償とはフレーム画像Ｆ_n を参照フレーム画像として、フレーム画像Ｆ_n+4 を予測して、フレーム画像Ｆ_n+4 の動きベクトルを得る動き補償手法である。フレーム画像Ｆ_n とＦ_n+4 との距離およびフレーム画像Ｆ_n とＦ_n+3 との距離に基づきフレーム画像Ｆ_n の動きベクトルに対する補間処理によりフレーム画像Ｆ_n+3 の動きベクトルが得られる。

動きベクトルＭＶは主として予測フレーム画像、即ち、逆方向動き補償の場合のフレーム画像Ｆ_n および順方向動き補償の場合のフレーム画像Ｆ_n+4 に用いられるので、一般に逆方向動き補償を用いて得られた動きベクトルに対する補間処理で得たフレーム画像Ｆ_n+1 の動きベクトルは、順方向の動きベクトルの補間処理で得たフレーム画像よりも正確に表現される。同様に、順方向動き補償を用いて得られた動きベクトルに対する補間処理で得たフレーム画像Ｆ_n+3 の動きベクトルは、一般に逆方向の動きベクトルの補間処理で得たフレーム画像よりも正確である。イントラ画像の中間にあるフレーム画像においては、順方向動きベクトルおよび逆方向動きベクトルの組合せが用いられる。

エンコーダ
図４は動きベクトルなし動き補償エンコーダの構成を示すブロック図である。Ｆ_n ，Ｆ_n+i およびＦ_n+j はそれぞれフレームｎ，ｎ＋ｉ，ｎ＋ｊ（ｊ＝１，２，・・・，ｉ−１）からの画像（イメージ）を示す。ここで、フレーム画像Ｆ_n+j はフレーム画像Ｆ_n からＦ_n+i の間にある任意のフレーム画像である。ＭＶは動きベクトル、ＭＣは動き補償、ＦＭはフレームメモリ、Ｃ_k は符号化されたフレーム画像Ｆ_k （ｎ≦ｋ≦ｎ＋ｉ）をそれぞれ示している。

エンコーダ１００に複数のフレームメモリ（ＦＭ）１０２〜１０８が直列に接続され、これらのフレームメモリはＦ_n からＦ_n+i までの連続的なフレーム画像（ビデオイメージ）を受けて記憶する。ここで、ｉ＝１，２，３，…ｍ。また、エンコーダ１００には第１ローカルエンコーダ１１０およびローカルデコーダ１１２が設けられている。第１ローカルエンコーダ１１０はフレーム画像Ｆ_n およびＦ_n+i に対してイントラ画像符号化を行い、デコーダ１１２はイントラ画像符号化によりデコーダ１１０から得られた符号化された画像Ｃ_n およびＣ_n+i に対してイントラ画像復号を行う。デコーダ１１２により元のフレーム画像Ｆ_n およびＦ_n+i にそれぞれ対応する復号されたフレーム画像Ｆ_n 'およびＦ_n+i 'が提供される。エンコーダ１００には動きベクトルユニット１１４および動き補償ユニット１１６が設けられている。動きベクトルユニット１１４は予測フレーム画像の動きベクトルＭＶを求め、動き補償ユニット１１６は動き補償画像を提供する。エンコーダ１００には減算器１１８およびバッファ１２２が設けられ、動き補償ユニット１１６からの動き補償画像とバッファ１２２からの元のフレーム画像との差を求めることにより差画像フレームを生成する。エンコーダ１００には減算器１１８からの差画像を符号化する第２のエンコーダ１２０が設けられている。

図４を参照すると、まずエンコーダ１００により適切なｉが選択され、そしてフレーム画像Ｆ_n+i ，Ｆ_n+i-1 ，…，Ｆ_n+1 ，Ｆ_n はまずフレームメモリ１０２〜１０８に記憶される。第１ローカルエンコーダ１１０において、フレーム画像Ｆ_n ，Ｆ_n+i に対してイントラ画像符号化が行われる。符号化されたイントラ画像Ｃ_n ，Ｃ_n+i はセレクタ１２４を介して図５に示すデコーダ２００に転送される。ローカルデコーダ１１２は符号化されたフレーム画像Ｃ_n とＣ_n+i に対して復号処理を行い、これにより符号化側と復号側において、同じ画像に対して動き補償が行われる。動きベクトルユニット１１４においては、復号されたフレーム画像Ｆ_n 'を参照フレーム画像として、復号されたフレーム画像Ｆ_n+i 'を予測フレーム画像として動き補償が行われる。または、上述のように、フレーム画像Ｆ_n+j （０＜ｊ＜ｉ）の位置により逆にフレーム画像Ｆ_n+i 'を参照フレーム画像として、フレーム画像Ｆ_n 'を予測フレーム画像として動き補償が行われる。予測フレーム画像の動きベクトルＭＶが得られた後、予測フレーム画像の動きベクトルＭＶに対する補間処理によりフレーム画像Ｆ_n+j の動きベクトルが求まる。動き補償ユニット１１６においては、補間処理された動きベクトルによりフレーム画像Ｆ_n+j の動き補償画像が構成され、補間処理された動きベクトルによりフレーム画像Ｆ_n+j の差画像が構成される。フレーム画像Ｆ_n+j の差画像は、減算器１１８における元のフレーム画像Ｆ_n+j と動き補償フレーム画像Ｆ_n+j 'との減算処理により得られ、画像の空間冗長性が低減され、転送するために第２ローカルエンコーダ１２０により符号化される。セレクタ１２４により出力される符号化された画像はＣ_n+i-1 ，…，Ｃ_n+1 ，Ｃ_n+i ，Ｃ_n の順である。ここで、Ｃ_k は符号化されたフレーム画像Ｆ_k （ｎ≦ｋ≦ｎ＋ｉ）を示す。

従来の手法に較べて、上述した本発明の手法は数多くの利点がある。まず、動きベクトルは転送しないので、動きベクトルの転送にかかるコストが削減できる。より効率的な、高精度なかつ複合的な対象／ブロック／動き検索技術、ブロックおよび対象マッチング、回転およびスケーリングを扱う疑似動きモデル（H.Jozawa et al. セグメントに基づく疑似動き補償を用いるビデオの符号化、Proc.of International Picture Coding Symposium PCS'94, pp.238-243, Sep. 1994.）、重複動き補償(C. Auyeung et al. 重複動き補償、Proc. of Visual Commun. and Image Processing' 92, pp. 561-572, Nov. 1992) 、フラックションナルーペル精度(B. Girod フラックションナルーペル精度を用いる動き補償予測、IEEE Trans. on Commun. , vol.41, no.4, pp.604-612, Apr. 1993.)などを含む技術が符号化ビットレートを増大させることなく採用できる。さらに、ノイズによる動きベクトルの劣化が回避される。

図５は動きベクトルなしで動き補償デコーダ２００のブロック図である。Ｆ_n，Ｆ_n+i およびＦ_n+j はそれぞれフレームｎ，ｎ＋ｉおよびｎ＋ｊのフレーム画像（ビデオイメージ）を示し、ここで、Ｆ_n+j はフレーム画像Ｆ_n とＦ_n+i の間にある任意のフレーム画像である。ＭＶは動きベクトル、ＭＣは動き補償、ＦＭはフレームメモリ、Ｃ_k は符号化されたフレーム画像Ｆ_k （ｎ≦ｋ≦ｎ＋ｉ）をそれぞれ示している。

デコーダ２００は第１セレクタ２０２、第１ローカルデコーダ２０４、フレームメモリ２０６と２０８、動きベクトルユニット２１０、動き補償ユニット２１２、第２ローカルデコーダ２１４、加算器２１６および第２セレクタ２１８により構成されている。

デコーダ２００は図４に示すエンコーダ１００と非常に類似である。図５を参照すると、エンコーダ１００からのＣ_n およびＣ_n+i 、即ち、フレーム画像Ｆ_nおよびＦ_n+i の符号化データがまずセレクタ２０２により受けて、ローカルデコーダ２０４により復号され、フレームメモリ２０６および２０８に記憶される。エンコーダ１００の場合と同様に、動き補償はフレーム画像Ｆ_n を参照フレーム画像として、フレーム画像Ｆ_n+i は予測フレーム画像として行われる。または、上述のように、フレーム画像Ｆ_n+j （０＜ｊ＜ｉ）の位置により逆にフレーム画像Ｆ_n+i を参照フレーム画像として、フレーム画像Ｆ_n を予測フレーム画像として動き補償が行われる。予測フレーム画像の動きベクトルＭＶが得られた後、予測フレーム画像の動きベクトルＭＶに対する補間処理によりフレーム画像Ｆ_n+jの動きベクトルが求まり、フレーム画像Ｆ_n+j の動き補償フレーム画像はユニット２１０、２１２において、補間処理された動きベクトルにより構成される。フレーム画像Ｆ_n+j の差画像が第２ローカルデコーダ２１４により復号され、フレーム画像Ｆ_n+j の復号された画像は加算器２１６における動き補償画像Ｆ_n+j と復号されたＦ_n+j の差画像との足し算により得られる。セレクタ２１８における復号された画像の出力順番はＦ_n+i ，…，Ｆ_n+1 ，Ｆ_n である。

従来の動き補償手法を用いて参照フレームによるフレーム予測の一例を示す図である。Ｆ_n+4 （参照フレーム）に基づきＦ_n （予測フレーム）を動き推定する逆方向動き補償の一例を示す図である。Ｆ_n （参照フレーム）に基づきＦ_n+4 （予測フレーム）を動き推定する順方向動き補償の一例を示す図である。動きベクトルなし動き補償エンコーダのブロック図である。動きベクトルなし動き補償デコーダのブロック図である。

Claims

（Ｆ_n からＦ_n+i ）番目までの複数の連続的なブロック画像を受けて、イントラ画像（Ｆ_n およびＦ_n+i ）を選択し、
参照ブロック画像（Ｆ_n ）および予測ブロック画像（Ｆ_n+i ）として、前記選択されたイントラ画像をイントラ画像符号化し、
前記符号化されたイントラ画像をイントラ画像復号し、
予測ブロック画像の動きベクトルを求め、前記復号されたイントラ画像相互間の距離を検出し、前記得られた動きベクトルを補間処理し、動き補償画像を求め、
該動き補償画像と前記受けた画像との差画像を求め、
該得られた差画像を符号化し、
イントラ画像符号化されたブロック画像および符号化された差画像を提供する段階を有する動画像符号化方法。
前記ブロック画像はフレームビデオ画像を含む請求項１記載の動画像符号化方法。
参照画像、予測画像としてイントラ画像符号化された画像および符号化された前記差画像を受けて、
前記イントラ画像符号化された画像をイントラ画像復号し、
前記符号化された差画像を復号し、
復号されたイントラ画像より動きベクトルを求め、復号されたイントラ画像相互間の距離を検出し、動きベクトルを補間処理し、動き補償ブロック画像を求め、
得られた動き補償ブロック画像と復号された差画像とを加算し、復号された予測ブロック画像を得る段階を有する請求項１記載の動画像復号方法。
前記ブロック画像はフレームビデオ画像を含む請求項３記載の動画像復号方法。
（Ｆ_n からＦ_n+i ）番目までの複数の連続的なブロック画像を受けて、イントラ画像（Ｆ_n およびＦ_n+i ）を選択する手段と、
参照ブロック画像（Ｆ_n ）および予測ブロック画像（Ｆ_n+i ）として前記選択されたイントラ画像をイントラ画像符号化する手段と、
前記符号化されたイントラ画像をイントラ画像復号する手段と、
予測ブロック画像の動きベクトルを求め、復号されたイントラ画像相互間の距離を検出し、得られた動きベクトルを補間処理し、動き補償画像を求める手段と、
動き補償画像と受けた画像との差画像を求める手段と、
得られた差画像を符号化する手段と、
イントラ画像符号化されたブロック画像および符号化された差画像を提供する手段とを有する動画像符号化装置。
前記ブロック画像はフレームビデオ画像を含む請求項５記載の動画像符号化装置。
参照画像、予測画像としてイントラ画像符号化された画像および符号化された差画像を受ける手段と、
前記イントラ画像符号化された画像をイントラ画像復号する手段と、
前記符号化された差画像を復号するローカル復号手段と、
復号されたイントラ画像より動きベクトルを求め、復号されたイントラ画像相互間の距離を検出し、動きベクトルを補間処理し、動き補償ブロック画像を求める手段と、
得られた動き補償ブロック画像と復号された差画像とを加算し、復号された予測ブロック画像を得る加算手段とを有する請求項５記載の動画像復号装置。
前記ブロック画像はフレームビデオ画像を含む請求項７記載の動画像復号装置。