JP2010021704A - 動画像符号化装置、復号化装置、符号化方法、及び復号化方法 - Google Patents

Abstract

【課題】３次元ＤＣＴを用いた動画像符号化において、残差画像の相関が低い場合でもより符号化効率の良い動画像符号化処理を実現すること。
【解決手段】第２動き検出部１０１は、残差画像Ｐ１をフレーム間で比較し、画像の動きベクトルＭＶ２を検出し、第２動き補償部１０２は、第２動き検出部１０１で検出した動きベクトルＭＶ２を用いて、フレーム間の画像の動きが小さくなるように画面を補正する。３次元ＤＣＴ部１０３は、第２動き補償部１０２で補正した残差画像を２次元空間及び時間方向に離散コサイン変換処理を行う。ここに第２動き補償部１０２は、動きベクトルＭＶ２に従い画面を分割し、分割した画面を入れ替えて画面を再構成する。
【選択図】図１

Description

本発明は、動画像の高画質符号化及び復号化技術に関する。

従来の動画像符号化技術として、空間内で２次元離散コサイン変換（２Ｄ−ＤＣＴ）を用いた符号化方法が広く用いられている。また、２Ｄ−ＤＣＴ方法の時間方向への拡張として、非特許文献１には、複数フレーム間の冗長性を除去するために時間方向へもＤＣＴを行う３次元ＤＣＴ（３Ｄ−ＤＣＴ）を利用する方法が提案されている。また符号化効率を向上させるため、特許文献１には、動き補償付き時間方向ローパスフィルタリングを符号化の前処理として行う方法が提案されている。

石川亮，吉田俊之，「類似フレーム探索に基づく動画像の３Ｄ／２Ｄハイブリッド符号化」，２００２年画像符号化シンポジウム（ＰＣＳＪ２００２），Ｐ−５．０９，２００２年１１月，Ｐ８５−８６ 特開２００７−２２１２０８号公報

非特許文献１に開示される３Ｄ−ＤＣＴを利用する方法では、動き補償にて得られた残差画像に対して時間的なＤＣＴを行って符号量の削減を図っているが、残差画像の相関が低い場合には十分な符号量削減を実現できないという課題があった。

特許文献１に開示される動き補償付き時間方向ローパスフィルタリング処理は２Ｄ−ＤＣＴ符号化の前処理であり、本符号化部の前に、予測符号化を行う仮符号化部と、ローパスフィルタ処理を行うプレフィルタを新たに設ける必要があり、構成が複雑になるという課題がある。

本発明は上記課題を鑑みてなされたものであり、その目的は、より符号化効率の良い動画像符号化処理および復号化処理をより簡単な構成で実現することである。

本発明は、入力する動画像をその予測画像との残差画像を求め、離散コサイン変換、量子化、可変長符号化処理して符号化画像データを生成し出力する動画像符号化装置において、残差画像をフレーム間で比較し、画像の動きベクトルを検出する動き検出部と、動き検出部で検出した動きベクトルを用いて、フレーム間の画像の動きが小さくなるように画面を補正する動き補償部と、動き補償部で補正した残差画像を２次元空間及び時間方向に離散コサイン変換処理を行う３次元離散コサイン変換部とを備える。ここに動き補償部は、動き検出部で検出した動きベクトルに従い画面を分割し、分割した画面を入れ替えて画面を再構成する。

本発明は、入力する符号化画像データを可変長復号化、逆量子化、逆離散コサイン変換処理して残差画像を求め、その予測画像を加算して動画像を生成し出力する動画像復号化装置において、入力する符号化画像データは、残差画像のフレーム間の動きベクトルを用いて動き補償を行った後符号化処理されたものであって、逆量子化された残差画像を２次元空間及び時間方向に逆離散コサイン変換処理を行う３次元逆離散コサイン変換部と、３次元逆離散コサイン変換部にて変換された残差画像に対し、動きベクトルを用いてフレーム間の画像の動きを元に戻すように画面を補正する逆動き補償部とを備える。

本発明は、入力する動画像をその予測画像との残差画像を求め、離散コサイン変換、量子化、可変長符号化処理して符号化画像データを生成し出力する動画像符号化方法において、残差画像をフレーム間で比較し、画像の動きベクトルを検出するステップと、検出した動きベクトルを用いて、フレーム間の画像の動きが小さくなるように画面を補正するステップと、補正した残差画像を２次元空間及び時間方向に離散コサイン変換処理を行うステップとを備える。

本発明は、入力する符号化画像データを可変長復号化、逆量子化、逆離散コサイン変換処理して残差画像を求め、その予測画像を加算して動画像を生成し出力する動画像復号化方法において、入力する符号化画像データは、残差画像のフレーム間の動きベクトルを用いて動き補償を行った後符号化処理されたものであって、逆量子化された残差画像を２次元空間及び時間方向に逆離散コサイン変換処理を行うステップと、変換された残差画像に対し、動きベクトルを用いてフレーム間の画像の動きを元に戻すように画面を補正するステップとを備える。

本発明によれば、時間方向の離散コサイン変換による符号量削減効果を高め、より符号化効率の良い動画像符号化処理および復号化処理を簡単な構成で実現できる。

以下に、本発明の実施の形態を図面を参照しつつ説明する。なお、各図面において、同一の符号が付されている構成要素は同一の機能を有するものである。

図１は、本発明に係る動画像符号化装置の一実施例を示す構成図である。動画像符号化装置１０において、１０１は第２動き検出部、１０２は第２動き補償部、１０３は３次元ＤＣＴ部、１０４は量子化部、１０５は可変長符号化部で、入力画像Ｐ０を符号化して出力画像Ｐ５を生成する部分である。また１０６は逆量子化部、１０７は３次元逆ＤＣＴ部、１０８は逆動き補償部、１０９はフレームメモリ、１１０は第１動き検出部、１１１は第１動き補償部であり、参照画像Ｐｒから予測画像Ｐｐを生成する部分である。

第１動き検出部１１０は、入力された画像Ｐ０と、フレームメモリ１０９の参照画像Ｐｒとのマッチングを行い、動きベクトル（第１の動きベクトル）ＭＶ１を算出する。第１動き補償部１１１は、フレームメモリ１０９に保存している参照画像Ｐｒと動きベクトルＭＶ１により予測画像Ｐｐを生成する。入力画像Ｐ０は減算器１１２にて予測画像Ｐｐとの差分を取られ、残差画像Ｐ１となる。

第２動き検出部１０１は、フレーム間の残差画像Ｐ１のマッチングを行い、残差画像の動きベクトル（第２の動きベクトル）ＭＶ２を検出する。第２動き補償部１０２は、第２の動きベクトルＭＶ２に従い残差画像Ｐ１の画面を分割し、フレーム間の画像の動きが小さくなるように分割画面を入れ替える補正を行い、新たな残差画像Ｐ２を生成する。

３次元ＤＣＴ部１０３は、送られてきた複数フレーム分の残差画像Ｐ２に対して、空間内の２次元ＤＣＴと時間方向のＤＣＴを組み合わせた３次元ＤＣＴを実行し、画像データＰ３に変換する。量子化部１０４は、画像データＰ３を量子化し画像データＰ４とし、可変長符号化部１０５は、量子化された画像データＰ４と動きベクトルＭＶ１，ＭＶ２を可変長符号化した画像データＰ５として出力する。

また、逆量子化部１０６は、量子化部１０４からの画像データＰ４を逆量子化し画像データＰ３’とする。３次元逆ＤＣＴ部１０７は、画像データＰ３’に対して空間内の２次元逆ＤＣＴと時間方向の逆ＤＣＴを組み合わせた３次元逆ＤＣＴを実行し、残差画像Ｐ２’に変換する。逆動き補償部１０８は、第２の動きベクトルＭＶ２に従い残差画像Ｐ２’の画面を分割し、分割画面を入れ替えて元の残差画像Ｐ１’に戻す補正を行う。残差画像Ｐ１’は、加算器１１３にて第１動き補償部１１１からの予測画像Ｐｐと加算され、参照画像Ｐｒとなり、フレームメモリ１０９へ保存される。

このように本実施例の動画像符号化装置１０では、第２動き検出部１０１は、フレーム間の残差画像Ｐ１に関する新たな動きベクトル（第２の動きベクトル）ＭＶ２を検出し、第２動き補償部１０２は、第２の動きベクトルＭＶ２に基づきフレーム間の画像の動きが小さくなるように新たな残差画像Ｐ２を生成することに特徴がある。その結果、新たな残差画像Ｐ２は時間方向の動きが小さくなるので、３次元ＤＣＴ部１０３処理後の画像データＰ３は高周波成分が除去され、出力する画像データＰ５は符号量が大幅に削減される。言い換えれば、時間方向に相関が低い残差画像の場合でも、時間方向の動き補償を行うことで、より効率的な符号化処理を実現するものである。

次に、第２動き検出部１０１と第２動き補償部１０２の行う動き補償処理について図面を用いて説明する。残差画像に関する第２の動きベクトルＭＶ２は、ブロック毎に設定しても良いし、画面全体やある領域に対して１つのベクトルで動きを表しても良い。また、残差の動きベクトル検出方法は、ブロックマッチング法でも良いし、簡略なエッジ検出法などの手法で行っても良い。

図４は、残差画像に関する動き補償の一例を示す図であり、画面全体に対し１つの動きベクトルを適用する場合である。

（ａ）は、第２動き検出部１０１へ入力されるフレーム（Ｎ−１）の残差画像Ｐ１であり、例えば人物像４０１が含まれているとする。（ｂ）は、次のフレーム（Ｎ）における残差画像Ｐ１であり、画面内を移動した人物像４０２が含まれているとする。ここで、（ａ）のフレーム（Ｎ−１）と（ｂ）のフレーム（Ｎ）をマッチングすることで、人物像４０１から人物像４０２への第２の動きベクトルＭＶ２を求める。

（ｃ）は、第２動き補償部１０２により、動きベクトルＭＶ２に従ってフレーム（Ｎ）の画面を分割した状態である。すなわち、画面左上隅から引いたベクトルＭＶ２の先端を通る横線と縦線により、画面を上辺領域４１１と左辺領域４１２、及び人物を含む残りの領域４１３に分割する。さらに（ｄ）は、分割領域を入れ替えて配置した状態である。ここでは、人物像を含む領域４１３をベクトルＭＶ２の大きさだけ逆方向に移動させ領域４１３’とし、上辺領域４１１と左辺領域４１２は、それぞれ下辺領域４１１’と右辺領域４１２’に移動して配置する。

画面入れ替えの結果、フレーム（Ｎ−１）における人物像４０１と、次のフレーム（Ｎ）における人物像４０２’は、画面内の同一位置に配置されることになる。よって画面内の人物は時間的にあたかも静止しているような画像信号になるので、３次元ＤＣＴ処理において高周波成分が消失して、符号量を大幅に削減することができる。

なお、このとき（ｄ）における下辺領域４１１’と右辺領域４１２’の部分は残差の相関性が低い場合も考えられるため、テンプレート画像で代用することも可能である。

上記の例では、画面全体に１つの動きベクトルを適用する場合を示したが、図５のように画面を複数のブロック５００に分割し、ブロック単位でそれぞれ第２の動きベクトルＭＶ２’を適用することも可能である。ブロック単位で処理することにより、画面内の動きが均一でないような場合でもきめ細かな処理を行うことができる。

また、上記の例では３次元ＤＣＴのみを適用する場合を示したが、画面内の部分によって３次元ＤＣＴと２次元ＤＣＴを適応的に切り替えても良い。

図２は、本発明に係る動画像復号化装置の一実施例を示す構成図である。動画像復号化装置２０において、２０１は可変長復号化部、２０２は逆量子化部、２０３は３次元逆ＤＣＴ部、２０４は逆動き補償部、２０５はフレームメモリ、２０６は第１動き補償部であり、入力画像Ｐ５を復号化して出力画像Ｐ０を生成する。

可変長復号部２０１は、入力画像データＰ５に可変長復号処理を行い、量子化された動画像データＰ４と動きベクトルＭＶ１とＭＶ２を得る。逆量子化部２０２は、画像データＰ４に逆量子化処理を行い画像データＰ３を生成し、３次元逆ＤＣＴ部２０３は、画像データＰ３に対して空間内の２次元逆ＤＣＴと時間方向の逆ＤＣＴを組み合わせた３次元逆ＤＣＴ処理を実行し、残差画像Ｐ２に変換する。

逆動き補償部２０４は、可変長復号部２０１からの第２の動きベクトルＭＶ２に従い残差画像Ｐ２の画面を分割し、分割画面を入れ替えて元の残差画像Ｐ１に戻す補正を行う。残差画像Ｐ１は、加算器２０７にて第１動き補償部２０６からの予測画像Ｐｐと加算され、出力画像Ｐ０となる。出力画像Ｐ０は、フレームメモリ２０５へ保存され参照画像Ｐｒとなる。ここでフレームメモリ２０５の直前に、デブロッキングフィルタを入れても良い。第１動き補償部２０６は、フレームメモリ２０５から参照画像Ｐｒを読み出し、可変長復号部２０１からの動きベクトルＭＶ１を用いて次のフレームを処理するときの予測画像Ｐｐを生成する。

このとき逆動き補償部２０４の行う動き補償処理は、前記図４を逆方向に処理することになる。すなわち、フレーム（Ｎ）として（ｄ）の画像データが入力すると、第２の動きベクトルＭＶ２の逆ベクトル（−ＭＶ２）の先端を通る横線と縦線により、画面を右辺領域４１１’と下辺領域４１２’、及び人物４０２’を含む領域４１３’に分割する。次に（ｃ）のように分割領域を入れ替えて配置する。ここでは、領域４１３’をベクトルＭＶ２の大きさだけ移動させ領域４１３とし、下辺領域４１１’と右辺領域４１２’は、それぞれ上辺領域４１１と左辺領域４１２に配置する。画面入れ替えの結果、人物像４０２’は元の位置４０２に戻され、（ｂ）のような残差画像が復元される。

このように本実施例の動画像復号化装置２０では、実施例１の動画像符号化装置１０にて符号化された画像データに対し、逆動き補償部２０４は第２の動きベクトルＭＶ２に基づき分割画面を入れ替えて元の残差画像Ｐ１を再構成することに特徴がある。その結果、残差画像の第２の動きベクトルＭＶ２を用いて符号化された画像データを、より効率的に復号化処理を行うことができる。

図３は、本発明の動画像符号化装置と動画像復号化装置を適用した映像表示装置の一例を示す構成図である。映像表示装置１は、符号化部（動画像符号化装置）１０と復号化部（動画像復号化装置）２０の他に、入力部３０、記録部４０、表示部５０、出力部６０などを備える。具体的には、録画機能付きテレビジョン装置が該当する。

入力部３０は、他の機器から符号化ストリームを入力したり、デジタルテレビジョン放送を受信するなどして、動画像を含む符号化ストリームを取得する。符号化部１０は取得した符号化ストリームに対し、実施例１で述べたように残差画像の動きベクトルを利用した動き補償と３次元ＤＣＴ処理を行い、高効率の符号化処理を行う。記録部４０は、符号化部１０で符号化されたストリーム、または入力部３０に入力した符号化ストリームを記録媒体に記録する。記録媒体としては、ハードディスクや光ディスクなどが用いられる。

復号化部２０は、入力部３０で取得した符号化ストリーム、または記録部４０から再生した符号化ストリームを復号化し、例えばＲＧＢまたはコンポーネント（Ｙ／Ｃｂ／Ｃｒ）形式などの動画像信号を生成する。そのとき復号部２０は、実施例２で述べたように、残差画像の動きベクトルを利用した動き補償と３次元逆ＤＣＴ処理を行い、高効率の復号化処理を行う。復号化した動画像信号は、表示部５０または出力部６０に送られる。表示部５０は、ＬＣＤやＰＤＰなどの表示素子に動画像を表示する。出力部６０は、動画像信号を他の機器等に出力する。

本実施例の映像表示装置１によれば、符号化部１０と復号化部２０は従来よりも符号量を削減して高効率に符号化処理を行うので、記録部４０の記憶容量を節約し効率良く利用することができる。

なお、本発明の動画像符号化装置と動画像復号化装置を適用した他の装置として、符号化部１０と記録媒体４０と出力部６０とを備えた動画像記録装置（レコーダー）を構成することも可能である。

本発明に係る動画像符号化装置の一実施例を示す構成図。 本発明に係る動画像復号化装置の一実施例を示す構成図。 動画像符号化装置と動画像復号化装置を適用した映像表示装置の一例。 残差画像に関する動き補償の一例を示す図。 画面をブロックに分割し、ブロック単位で動きベクトルを適用する場合。

符号の説明

１…映像表示装置、
１０…動画像符号化装置（符号化部）、
２０…動画像復号化装置（復号化部）、
１０１…第２動き検出部、
１０２…第２動き補償部、
１０３…３次元ＤＣＴ部、
１０４…量子化部、
１０５…可変長符号化部、
１０６，２０２…逆量子化部、
１０７，２０３…３次元逆ＤＣＴ部、
１０８，２０４…逆動き補償部、
１０９，２０５…フレームメモリ、
１１０…第１動き検出部、
１１１，２０６…第１動き補償部
２０１…可変長復号化部、
ＭＶ１，ＭＶ２…動きベクトル。

Claims (11)

1. 入力する動画像をその予測画像との残差画像を求め、離散コサイン変換、量子化、可変長符号化処理して符号化画像データを生成し出力する動画像符号化装置において、
   上記残差画像をフレーム間で比較し、画像の動きベクトルを検出する動き検出部と、
   該動き検出部で検出した動きベクトルを用いて、フレーム間の画像の動きが小さくなるように画面を補正する動き補償部と、
   該動き補償部で補正した残差画像を２次元空間及び時間方向に離散コサイン変換処理を行う３次元離散コサイン変換部と、
   を備えたことを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記動き補償部は、前記動き検出部で検出した動きベクトルに従い画面を分割し、分割した画面を入れ替えて画面を再構成することを特徴とする動画像符号化装置。
3. 請求項１または２に記載の動画像符号化装置において、
   前記動き検出部は、比較するフレーム間でブロックマッチングまたはエッジ検出により動きベクトルを検出することを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置において、
   各フレームの画面は複数のブロックに分割されていて、
   前記動き検出部は、上記ブロック単位で動きベクトルを検出し、
   前記動き補償部は、上記ブロック単位で画面を補正することを特徴とする動画像符号化装置。
5. 請求項１に記載の動画像符号化装置において、
   前記動き検出部にて検出した動きベクトルを、生成した前記符号化画像データに含めて出力することを特徴とする動画像符号化装置。
6. 入力する符号化画像データを可変長復号化、逆量子化、逆離散コサイン変換処理して残差画像を求め、その予測画像を加算して動画像を生成し出力する動画像復号化装置において、
   上記入力する符号化画像データは、残差画像のフレーム間の動きベクトルを用いて動き補償を行った後符号化処理されたものであって、
   上記逆量子化された残差画像を２次元空間及び時間方向に逆離散コサイン変換処理を行う３次元逆離散コサイン変換部と、
   該３次元逆離散コサイン変換部にて変換された残差画像に対し、上記動きベクトルを用いてフレーム間の画像の動きを元に戻すように画面を補正する逆動き補償部と、
   を備えたことを特徴とする動画像復号化装置。
7. 請求項６に記載の動画像復号化装置において、
   前記逆動き補償部は、前記動きベクトルに従い画面を分割し、分割した画面を入れ替えて画面を再構成することを特徴とする動画像復号化装置。
8. 入力する動画像をその予測画像との残差画像を求め、離散コサイン変換、量子化、可変長符号化処理して符号化画像データを生成し出力する動画像符号化方法において、
   上記残差画像をフレーム間で比較し、画像の動きベクトルを検出するステップと、
   該検出した動きベクトルを用いて、フレーム間の画像の動きが小さくなるように画面を補正するステップと、
   該補正した残差画像を２次元空間及び時間方向に離散コサイン変換処理を行うステップと、
   を備えたことを特徴とする動画像符号化方法。
9. 請求項８に記載の動画像符号化方法において、
   前記画面を補正するステップは、前記動きベクトルに従い画面を分割し、分割した画面を入れ替えて画面を再構成することを特徴とする動画像符号化方法。
10. 入力する符号化画像データを可変長復号化、逆量子化、逆離散コサイン変換処理して残差画像を求め、その予測画像を加算して動画像を生成し出力する動画像復号化方法において、
    上記入力する符号化画像データは、残差画像のフレーム間の動きベクトルを用いて動き補償を行った後符号化処理されたものであって、
    上記逆量子化された残差画像を２次元空間及び時間方向に逆離散コサイン変換処理を行うステップと、
    該変換された残差画像に対し、上記動きベクトルを用いてフレーム間の画像の動きを元に戻すように画面を補正するステップと、
    を備えたことを特徴とする動画像復号化方法。
11. 請求項１０に記載の動画像復号化方法において、
    前記画面を補正するステップは、前記動きベクトルに従い画面を分割し、分割した画面を入れ替えて画面を再構成することを特徴とする動画像復号化方法。

Images