JP2014207573A - 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体 - Google Patents

Abstract

【課題】予測残差符号化に必要な符号量を削減する。
【解決手段】時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化する映像符号化装置が行う映像符号化方法であって、時間方向または視差方向の既に復号済みの画像を参照ピクチャとして符号化対象画像を予測し、一次予測画像を生成する一次予測ステップと、一次予測画像と符号化対象画像とから一次予測残差を生成する一次予測残差生成ステップと、一次予測ステップで参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして一次予測残差を予測し、予測予測残差を生成する残差予測ステップと、一次予測残差と予測予測残差とから予測残差を生成する予測残差生成ステップとを有する。
【選択図】図１

Description

本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体に関し、特に双方向予測符号化方法に関する。

一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差信号とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象信号を予測するイントラ予測と、既に符号化済みの他のフレームを参照して動き補償などに基づき符号化対象信号を予測するフレーム間予測を行う。

ここで、多視点映像符号化について説明する。多視点映像符号化とは、同一のシーンを複数のカメラで撮影した複数の映像を、その映像間の冗長性を利用して高い効率で符号化するものである。多視点映像符号化については非特許文献１に詳しい。多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測と、フレーム間予測により符号化対象信号を予測し、その残差信号を既に符号化済みの別の視点の映像の符号化時の残差信号を参照して予測する視点間残差予測などの方法が用いられる。視点間予測は、ＭＶＣなどの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Ｂピクチャにおいては２つ以上の予測画像を補間して予測画像とする双方向予測にも用いることができる。

残差予測は、高い相関を持つ２つの画像をそれぞれ予測符号化した場合にその予測残差も互いに相関を持つことを利用した、予測残差の符号量を抑えるための方法である。残差予測については非特許文献２に詳しい。多視点映像符号化において用いられる視点間残差予測では、異なる視点の映像における符号化対象画像と対応する領域の符号化時の予測残差信号を符号化対象の予測残差信号から差し引くことによって残差信号のエネルギーを低減し、符号化効率を向上することが可能である。視点間の対応関係は、例えば既に符号化済みの周辺ブロックが視差補償予測で符号化されている場合に、その視差補償ベクトルによって符号化対象ブロックに対応する別の視点の領域を設定するなどの方法で求められる。視点間残差予測は、Ｂピクチャにおいてフレーム間予測が用いられる場合に、その予測とは別に残差に対する更なる処理として用いられる。

M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability," Communications, Control and Signal Processing, 2008. ISCCSP 2008. 3rd International Symposium on, no. March, pp. 1041-1046, 2008.

多視点映像符号化においては、フレーム間予測と視点間予測の両方を行うことができるピクチャにおいてはフレーム間予測と視点間予測による双方向予測を行うことができる。

しかしながら、動き補償予測と視差補償予測とでは誤差の性質が異なり、シーケンスの性質によってはフレーム間予測だけからなる双方向予測に比べて互いに誤差を打ち消しあう効果が得られにくい。そのような誤差には例えば動き補償予測では被写体の変形等によるものやブレによるもの、視差補償予測ではカメラの性質の違いによるものやオクルージョンの発生によるものなどがある。そのような場合には精度の高い方の予測方法が偏って選択され、双方向予測はほとんど用いられない。このため、例えば前方向予測と視点間予測が可能な種類のＢピクチャにおいて、構造上は双方向予測が可能であるにもかかわらず、実際には単方向予測しか用いられないために十分な効果が得られない場合がある。

また、従来の視点間残差予測は、符号化対象の原画像に対して、符号化済みの別の視点の復号画像上の対応する領域を参照し、その領域の符号化時の予測残差を符号化対象領域の予測残差から差し引いたものを符号化対象としているが、これは互いに相関の高い画像同士はその予測残差の相関も高いという仮定に基づく。実際の映像符号化においては、２つの画像が一方はインター予測でもう一方はイントラ予測というようなそれぞれ異なる方法で予測符号化される場合や、同一の予測方法であっても片方が前方向予測で片方が後方向予測であるというような予測方向が異なる場合や、あるいは予測領域の大きさが異なる場合や一方が予測領域の継ぎ目に当たる場合など、上記仮定が成り立たない場合が多数存在し、そのような条件下では従来の視点間残差予測機能は有効に働かないという問題がある。

本発明は、このような事情に鑑みてなされたもので、予測残差符号化に必要な符号量を削減することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体を提供することを目的とする。

本発明は、時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化する映像符号化装置が行う映像符号化方法であって、前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測し、一次予測画像を生成する一次予測ステップと、前記一次予測画像と前記符号化対象画像とから一次予測残差を生成する一次予測残差生成ステップと、前記一次予測ステップで参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測残差を予測し、予測予測残差を生成する残差予測ステップと、前記一次予測残差と前記予測予測残差とから前記予測残差を生成する予測残差生成ステップとを有することを特徴とする。

本発明は、前記予測予測残差と前記一次予測画像とから予測画像を更新する予測画像更新ステップを更に有し、前記予測残差生成ステップでは、前記予測画像と前記符号化対象画像とから予測残差を生成することを特徴とする。

本発明は、前記残差予測における予測参照先を特定する情報である残差予測情報を生成する残差予測情報生成ステップを更に有することを特徴とする。

本発明は、前記残差予測情報を符号化する残差予測情報符号化ステップを更に有することを特徴とする。

本発明は、既に復号済みの画像の符号化時の予測残差を参照ピクチャリストに含める参照ピクチャリスト更新ステップを更に有し、前記残差予測情報は、参照ピクチャリスト中の参照予測残差ピクチャを特定する参照インデックスとその上の領域を特定するベクトルであることを特徴とする。

本発明は、一方の予測における前記参照インデックスが前記参照予測残差ピクチャを示す場合に残差予測を実行する残差予測判定ステップを更に有することを特徴とする。

本発明は、前記残差予測情報は、前記参照ピクチャを特定するインデックスとその上の領域を特定するベクトルであり、前記残差予測ステップでは、符号化時の予測残差を参照して予測予測残差を生成することを特徴とする。

本発明は、前記残差予測情報を予測し、予測残差予測情報を生成する残差予測情報予測ステップを更に有し、前記残差予測情報符号化ステップでは、前記残差予測情報と前記予測残差予測情報との差分である残差予測情報差分を符号化することを特徴とする。

本発明は、時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化した符号データから復号画像を生成する映像復号装置が行う映像復号方法であって、前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして復号対象画像を予測し、一次予測画像を生成する一次予測ステップと、前記一次予測ステップで参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測画像と復号画像との差分である一次予測残差を予測し予測予測残差を生成する残差予測ステップと、前記符号データを復号した前記予測残差と前記予測予測残差とから前記一次予測残差を生成する一次予測残差生成ステップと、前記一次予測残差と前記一次予測画像とから前記復号画像を生成する復号画像生成ステップとを有することを特徴とする。

本発明は、前記一次予測残差生成ステップに代えて、前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップを有し、前記復号画像生成ステップは、前記予測残差と前記予測画像とから復号画像を生成することを特徴とする。

本発明は、前記残差予測における参照先を指定する情報である残差予測情報を生成する残差予測情報生成ステップを更に有し、前記残差予測ステップでは、前記残差予測情報に基づいて予測予測残差を生成することを特徴とする。

本発明は、前記残差予測における参照先を指定する情報である残差予測情報を復号する残差予測情報復号ステップを更に有し、前記残差予測ステップでは、前記残差予測情報に基づいて予測予測残差を生成することを特徴とする。

本発明は、既に復号済みの画像の前記予測残差を参照ピクチャリストに含める参照ピクチャリスト更新ステップを更に有し、前記残差予測情報は、参照ピクチャリスト中の参照予測残差ピクチャを特定する参照インデックスとその上の領域を特定するベクトルであることを特徴とする。

本発明は、一方の予測における参照インデックスが参照予測残差ピクチャを示す場合に残差予測を実行する残差予測判定ステップを更に有することを特徴とする。

本発明は、前記残差予測情報は、参照ピクチャを特定するインデックスとその上の領域を特定するベクトルであり、前記残差予測ステップでは、前記領域の符号化時の予測残差を参照して予測予測残差を生成することを特徴とする。

本発明は、前記残差予測情報を予測し、予測残差予測情報を生成する残差予測情報予測ステップを更に有し、前記残差予測情報復号ステップでは、前記残差予測情報と前記予測残差予測情報との差分である残差予測情報差分を復号し、前記予測残差予測情報と合わせて残差予測情報を生成することを特徴とする。

本発明は、時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化する映像符号化装置であって、前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測し、一次予測画像を生成する一次予測手段と、前記一次予測画像と前記符号化対象画像とから一次予測残差を生成する一次予測残差生成手段と、前記一次予測手段において参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測残差を予測し、予測予測残差を生成する残差予測手段と、前記一次予測残差と前記予測予測残差とから前記予測残差を生成する予測残差生成手段とを備えることを特徴とする。

本発明は、時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化した符号データから復号画像を生成する映像復号装置であって、前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして復号対象画像を予測し、一次予測画像を生成する一次予測手段と、前記一次予測手段において参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測画像と復号画像との差分である一次予測残差を予測し予測予測残差を生成する残差予測手段と、前記符号データを復号した前記予測残差と前記予測予測残差とから前記一次予測残差を生成する一次予測残差生成手段と、前記一次予測残差と前記一次予測画像とから前記復号画像を生成する復号画像生成手段とを有することを特徴とする。

本発明は、前記映像符号化方法をコンピュータに実行させるための映像符号化プログラムである。

本発明は、前記映像復号方法をコンピュータに実行させるための映像復号プログラムである。

本発明は、前記映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、予測残差符号化に必要な符号量を削減することができるため、符号化効率を向上させることができるという効果が得られる。

本発明の一実施形態による映像符号化装置の構成を示すブロック図である。 図１に示す映像符号化装置１００の処理動作を示すフローチャートである。 本発明の一実施形態による映像復号装置の構成を示すブロック図である。 図３に示す映像復号装置２００の処理動作を示すフローチャートである。 予測残差を求める動作を示す説明図である。 映像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。 映像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。

以下、図面を参照して、本発明の一実施形態による映像符号化装置、映像復号装置を説明する。始めに、映像符号化装置について説明する。図１は同実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力画像メモリ１０２、参照ピクチャメモリ１０３、参照予測残差ピクチャメモリ１０４、予測部１０５、予測画像生成部１０６、減算部１０７、予測残差予測部１０８、予測予測残差生成部１０９、減算部１１０、変換・量子化部１１１、逆量子化・逆変換部１１２、加算部１１３、加算部１１４、およびエントロピー符号化部１１５を備えている。なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

符号化対象映像入力部１０１は、符号化対象となる映像を入力する。以下は、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。入力画像メモリ１０２は、入力された符号化対象映像を記憶する。参照ピクチャメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下は、この記憶されたフレームを参照フレームまたは参照ピクチャと呼ぶ。参照予測残差ピクチャメモリ１０４は、それまでに符号化・復号された画像の予測残差を記憶する。以下は、この記憶されたフレームを参照予測残差フレームあるいは参照予測残差ピクチャと呼ぶ。

予測部１０５は、記憶された参照ピクチャ上で符号化対象画像に対する予測を行い、予測情報を生成する。予測画像生成部１０６は、予測情報に基づき一次予測画像を生成する。減算部１０７は、符号化対象画像と一次予測画像の差分値をとり、一次予測残差を生成する。予測残差予測部１０８は、記憶された参照予測残差ピクチャ上で一次予測残差に対する予測を行い、残差予測情報を生成する。予測予測残差生成部１０９は、残差予測情報に基づき予測予測残差を生成する。減算部１１０は、一次予測残差と予測予測残差の差分値をとり、予測残差を生成する。

変換・量子化部１１１は、生成された予測残差を変換・量子化し、量子化データを生成する。逆量子化・逆変換部１１２は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。加算部１１３は、復号予測残差と予測予測残差から復号一次予測残差を生成し、加算部１１４は、復号一次予測残差と一次予測画像とを加算し復号画像を生成する。エントロピー符号化部１１５は、量子化データをエントロピー符号化し符号データを生成して出力する。

次に、図２を参照して、図１に示す映像符号化装置１００の処理動作を説明する。図２は、図１に示す映像符号化装置１００の処理動作を示すフローチャートである。符号化対象映像は、多視点映像のうちの一つの映像であり、多視点映像はフレーム毎に１視点ずつ全視点の映像を符号化し復号する構造をとる。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。

まず、符号化対象映像入力部１０１は、符号化対象フレームを入力し、入力画像メモリ１０２に記憶する（ステップＳ１０１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照ピクチャメモリ１０３に記憶されているとする。また、符号化対象フレームと同じフレームまでの参照可能な別の視点の映像も既に符号化され復号されて入力画像メモリ１０２に記憶されていることとする。また、それらの復号時の予測残差が参照予測残差ピクチャメモリ１０４に記憶されているとする。ここで記憶されている予測残差は、残差予測を行う前の復号された予測残差値を記憶していてもよいし、復号フレームが残差予測によって符号化され復号されている場合には、残差予測を行った後の再構成された予測残差を記憶していてもよい。

次に、映像入力の後、符号化対象フレームを符号化対象ブロックに分割し、ブロック毎に符号化対象フレームの映像信号を符号化する。ステップＳ１０３〜Ｓ１１１の処理はフレーム全てのブロックに対して繰り返し実行する（ステップＳ１０２〜Ｓ１１２）。

符号化対象ブロックごとに繰り返される処理において、まず、予測部１０５は、符号化対象ブロックに対するインター予測を行い予測情報を生成する。そして、予測画像生成部１０６は、予測情報に基づき一次予測画像を生成する（ステップＳ１０３）。予測や予測情報の生成にはどのような方法を用いてもよいし、予測情報としてどのような情報を設定してもよい。一般的なものとしては、参照可能な全ての参照ピクチャ上で符号化対象ブロックに対するブロックマッチングなどの探索を行い、最も予測精度の高い場合の参照ピクチャを特定するインデックスと参照ピクチャ上での参照先を示す動きベクトルまたは視差ベクトルを予測情報とする方法がある。または、既に符号化し復号済みの周辺ブロックの予測情報から決定するという方法も適用できる。

また別の方法としては、例えば符号化対象ブロックに対する予測では時間方向の参照ピクチャを参照し、一次予測残差に対する残差予測では視差方向の参照予測残差ピクチャを参照するという組み合わせの場合に、既に復号済みの別の視点の映像上で符号化対象ブロックに対応する領域を定め、時間方向の参照ピクチャのフレーム番号を対応する領域の符号化／復号時の参照フレーム番号と同じとすることにより、一次予測残差と別の視点の映像の符号化／復号時の予測残差との相関を高めることにより、視点間残差予測の性能を向上させるという方法も適用できる。

別の視点の映像上の対応領域は、後述の残差予測において参照する領域と同じとしてもよいし、別の領域でもよい。別の領域である場合には、視差補償探索を行なって決定してもよいし、既に復号済みの周辺ブロックの符号化時の視差ベクトルを用いて決定してもよいし、他にどのような方法で決定してもよい。

また、予測方法と残差予測方法の組み合わせは逆でもよいし、他にどのような組み合わせでもよい。またはすべての予測方法と残差予測方法の組み合わせについて同様に予測情報を生成し、更に最もよいものを選んでもよい。予測情報は符号化し映像の符号データと多重化してもよいし、前述のように周辺の予測情報や自身の残差予測情報等から導き出せる場合には符号化しなくてもよい。また、予測情報を予測しその残差を符号化してもよい。

次に、減算部１０７は、符号化対象ブロックと一次予測画像の差分値を求め、一次予測残差を生成する（ステップＳ１０４）。続いて、予測残差予測部１０８は、記憶された参照予測残差ピクチャを参照ピクチャとして一次予測残差に対するインター予測を行い、残差予測情報を生成する。そして、予測予測残差生成部１０９は、残差予測情報に基づき予測予測残差を生成する（ステップＳ１０５）。

残差予測や残差予測情報の生成にはどのような方法を用いても良いし、残差予測情報としてどのような情報を設定してもよい。例えば参照可能な全ての参照予測残差ピクチャ上で一次予測残差に対するブロックマッチングなどの探索を行い、最も予測精度の高い場合の参照予測残差ピクチャを特定するインデックスと参照予測残差ピクチャ上での参照先を示す動きベクトルを予測情報とする方法がある。または、既に符号化し復号済みの周辺ブロックの残差予測情報から決定するという方法も適用できるし、残差予測情報ではなく予測情報を用いるという方法も適用できるし、両方を用いる方法も適用できる。

その他に前述の予測部１０５における例にあげた方法を用いてもよいし、その場合に予測部１０５において仮定した視点間対応やフレーム間対応に基づき参照残差インデックスや動きベクトルを決定してもよいし、別途探索等を行なって決定してもよい。残差予測情報は符号化し映像の符号データと多重化してもよいし、前述のように周辺の残差予測情報や自身の予測情報等から導き出せる場合には符号化しなくてもよい。また、残差予測情報を予測しその残差を符号化してもよい。その場合に、前述のように既に復号済みの周辺ブロックの符号化時の予測情報や残差予測情報を使用しても構わないし、デプスマップなどの付加情報が存在する場合は使用しても構わない。

前述のように、予測部１０５における予測と予測残差予測部１０８における残差予測は、それぞれ独立に行なってもよいし、どちらかを先に実行し固定してもよいし、交互に繰り返し実行し最適化してもよい。あるいは、予測方向の組み合わせだけを予め定めておき、それに基づきそれぞれ独立に予測を行なってもよいし、順番に行ってもよい。また、組み合わせを特定する情報を符号化して映像の符号データと多重化してもよい。

また、予測情報及び残差予測情報は、必要であれば両方符号化してもよいし、予め定めた規則によって決定できるのであればしなくてもよい。例えば、予測残差予測部１０８における残差予測情報は予測部１０５における参照先の符号化時の残差予測情報から決定することとして、予測部１０５における参照ピクチャインデックスと動きベクトルだけを符号化し、残差予測情報は符号化しなくてもよい。また逆に残差予測情報だけを符号化してもよいし、他にどのような規則を定めてもよい。例えば、予測が時間方向に行われる場合には、残差予測で参照する参照予測残差ピクチャは符号化対象フレームと同じフレームの異なる視点の画像の符号化時の予測残差であると予め定めておき、残差予測情報としてはベクトルだけを符号化してもよいし、逆の場合もある。

予測情報及び残差予測情報を符号化し映像の付加情報とする場合、どのように符号化し付加してもよい。例えば、通常の双方向予測と同様に参照ピクチャリストを用いてもよい。例えば通常の予測をＬ０予測とし残差予測をＬ１予測と予め定め、それぞれの参照ピクチャインデックスや動きベクトル等を割り当ててもよいし、逆でもよい。あるいは別の方法として、予測・残差予測を区別せずに参照ピクチャリストに割り当て、参照ピクチャインデックスや動きベクトルなどの情報から通常の予測を行うか残差予測を行うかを判定してもよい。例えば、通常の予測は時間方向に行い残差予測は視差方向に行うと予め定めておき、視差方向を示す情報を持つ方が残差予測であるとするなどの方法がある。

残差予測における参照予測残差ピクチャを示すインデックスは、その参照予測残差ピクチャに対応する参照ピクチャを示すものでもよいし、通常の参照ピクチャと区別可能なインデックスでもよい。例えば通常の予測であっても残差予測であっても参照ピクチャリストは通常の参照ピクチャを示すインデックスを持っているとして、前述の判定方法などによって通常の予測と残差予測を区別し、残差予測である方はインデックスが示す参照ピクチャの符号化時の予測残差である参照予測残差ピクチャを参照して残差予測を行うとしてもよい。

あるいは、参照予測残差ピクチャが通常の参照ピクチャと同列に参照ピクチャの一種でありインデックスにより区別することができるとして、参照予測残差ピクチャのピクチャを示すインデックスを持つ方が残差予測にあたるとしてもよい。その他にどのような方法を用いてもよい。

次に、予測予測残差を生成したら、減算部１１０は、一次予測残差と予測予測残差の差分値を求め、予測残差を生成する（ステップＳ１０６）。ここでは一次予測残差を更新する形で予測残差を生成しているが、予測予測残差に基づき一次予測画像を更新する形で予測画像を生成し、一次予測残差との差分を取り予測残差を決定してもよい。

次に、予測残差の生成が終了したら、変換・量子化部１１１は、予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０７）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。そして、変換・量子化が終了したら、逆量子化・逆変換部１１２は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０８）。

次に、復号予測残差の生成が終了したら、加算部１１３は、復号予測残差と予測予測残差とを加算し復号一次予測残差を生成し、参照予測残差ピクチャとして参照予測残差ピクチャメモリ１０４に記憶する（ステップＳ１０９）。そして、復号一次予測残差の生成が終了したら、加算部１１４は、復号一次予測残差と一次予測画像とを加算し復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１１０）。ここでは予測予測残差に基づき復号予測残差を更新する形で予測画像に対する予測残差を生成しているが、予測予測残差に基づき一次予測画像を更新する形で予測画像を生成し、その予測残差として復号予測残差を加算してもよい。必要であれば復号画像にループフィルタをかけてもよい。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

次に、エントロピー符号化部１１５は、量子化データをエントロピー符号化し符号データを生成し、必要であれば、予測情報や残差予測情報その他の付加情報も符号化し符号データと多重化し、全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１２）。

次に、映像復号装置について説明する。図３は、本発明の一実施形態による映像復号装置の構成を示すブロック図である。映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照ピクチャメモリ２０３、参照予測残差ピクチャメモリ２０４、エントロピー復号部２０５、逆量子化・逆変換部２０６、予測予測残差生成部２０７、加算部２０８、予測画像生成部２０９、加算部２１０を備えている。

符号データ入力部２０１は、復号対象となる映像符号データを入力する。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。符号データメモリ２０２は、入力された復号対象映像を記憶する。参照ピクチャメモリ２０３は、すでに復号済みの画像を記憶する。参照予測残差ピクチャメモリ２０４は、既に復号済みの画像の復号時の予測残差を記憶する。

エントロピー復号部２０５は、復号対象フレームの符号データをエントロピー復号し量子化データを生成し、逆量子化・逆変換部２０６は量子化データに逆量子化／逆変換を施して復号予測残差を生成する。予測予測残差生成部２０７は、予測予測残差を生成する。加算部２０８は、予測予測残差と復号予測残差とを加算し復号一次予測残差を生成し、予測画像生成部２０９は、一次予測画像を生成し、加算部２１０は、復号一次予測残差と一次予測画像とを加算し復号画像を生成する。

次に、図４を参照して、図３に示す画像復号装置の処理動作を説明する。図４は、図３に示す映像復号装置２００の処理動作を示すフローチャートである。復号対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を復号する構造をとるとする。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号フレームが参照ピクチャメモリ２０３に記憶されているとする。また、復号対象フレームと同じフレームまでの参照可能な別の視点の映像も既に復号され復号されて参照ピクチャメモリ２０３に記憶されていることとする。また、それらの復号時の予測残差が参照予測残差ピクチャメモリ２０４に記憶されているとする。ここで記憶されている予測残差は、残差予測を行う前の復号された予測残差値を記憶していてもよいし、復号フレームが残差予測によって復号され復号されている場合には、残差予測を行った後の再構成された予測残差を記憶していてもよい。

次に、映像入力の後、復号対象フレームを復号対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号する。ステップＳ２０３〜Ｓ２０８の処理はフレーム全てのブロックに対して繰り返し実行する（ステップＳ２０２〜Ｓ２０９）。

復号対象ブロックごとに繰り返される処理おいて、まず、エントロピー復号部２０５は、符号データをエントロピー復号し（ステップＳ２０３）する。しして、逆量子化・逆変換部２０６は、逆量子化・逆変換を行い、復号予測残差を生成する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し適宜必要な情報を生成してもよい。

次に、予測予測残差生成部２０７は、記憶された参照予測残差ピクチャを参照ピクチャとして、予測残差に対するインター予測に基づき予測予測残差を生成する。残差予測情報が符号化され映像の符号データと多重化されている場合にはその情報を利用して予測予測残差の生成を行ってもよいし、前述のように周辺の残差予測情報や自身の予測情報等から導き出せる場合にはなくてもよい。また、残差予測情報の予測残差が符号化されている場合には、残差予測情報の予測を行なってもよい。残差予測の詳細は、符号化装置と同様である。

次に、予測予測残差の生成が終了したら、加算部２０８は、予測予測残差と復号予測残差を加算し、復号一次予測残差を生成し、参照予測残差ピクチャメモリに記憶する（ステップＳ２０６）。そして、予測画像生成部１０６は、インター予測に基づき一次予測画像を生成する（ステップＳ２０７）。予測情報が符号化され映像の符号データと多重化されている場合にはその情報を利用して予測画像の生成を行ってもよいし、前述のように周辺の予測情報や自身の残差予測情報等から導き出せる場合にはなくてもよい。また、予測情報の予測残差が符号化されている場合には、予測情報の予測を行なってもよい。予測の詳細は、符号化装置と同様である。

次に、一次予測画像の生成が終了したら、加算部２１０は、復号一次予測残差と一次予測画像を加算し、復号画像を生成し、参照ピクチャメモリに記憶する（ステップＳ２０８）。必要であれば復号画像にループフィルタをかけてもよい。通常の映像復号では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。そして、全てのブロックについて処理が終了したら、復号フレームとして出力する（ステップＳ２０９）。

なお、前述した一部の処理動作は、その順序が前後してもよい。また、前述した説明では時間方向と視差方向の双方向予測において一方の予測を残差予測とする映像符号化の方法を説明しているが、双方向とも通常の予測を行う通常の双方向予測と共に使用してもよい。両方法を別々の予測モードとしてもよいし、付加情報を与えても良いし、予測情報から判定してもよい。例えば、付加情報として残差予測を行うかどうかを示す情報を符号化し映像の符号データとともに多重化するという方法が適用できる。あるいは、参照予測残差ピクチャそのものが参照ピクチャリストに含まれ通常の参照ピクチャと区別可能なインデックスを持つ場合には、双方向予測の２つの参照ピクチャのうちの片方が参照予測残差ピクチャであるか否かで残差予測を行うか否かを判定する方法も適用できる。

次に、図５を参照して、予測残差を求める動作を説明する。図５は、予測残差を求める動作を示す説明図である。まず、符号化対象画像Ａ内の符号化対象ブロックａに対して、予測を行い、一次予測画像ｂを得る。複数の一次予測画像ｂは参照ピクチャＢを構成する。そして、符号化対象ブロックａと、一次予測画像ｂとの差から一次予測残差ｄを生成する。次に、一次予測残差ｄに対して残差予測を行い、予測予測残差ｃを生成する。複数の予測予測残差ｃは、参照予測残差ピクチャＣを構成する。そして、一次予測残差ｄと予測予測残差ｃとの差から予測残差ｅを生成する。これにより、予測残差が生成されることになる。

なお、以上説明した映像符号化装置及び映像復号装置の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

図６は、前述した映像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。本システムは、プログラムを実行するＣＰＵ３０と、ＣＰＵ３０がアクセスするプログラムやデータが記憶されるＲＡＭ等のメモリ３１と、カメラ等からの符号化対象の映像信号を入力する符号化対象映像入力部３２（ディスク装置などによる映像信号を記憶する記憶部でもよい）と、図２に示す処理動作をＣＰＵ３０に実行させるソフトウェアプログラムである映像符号化プログラム３３１が記憶されたプログラム記憶装置３３と、ＣＰＵ３０がメモリ３１にロードされた映像符号化プログラムを実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部３４（ディスク装置などによる符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。図示省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。

図７は、前述した映像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。本システムは、プログラムを実行するＣＰＵ４０と、ＣＰＵ４０がアクセスするプログラムやデータが記憶されるＲＡＭ等のメモリ４１と、映像符号化装置が本手法により符号化した符号データを入力する符号データ入力部４２（ディスク装置などによる符号データを記憶する記憶部でもよい）と、図４に示す処理動作をＣＰＵ４０に実行させるソフトウェアプログラムである映像復号プログラム４３１が記憶されたプログラム記憶装置４３と、ＣＰＵ４０がメモリ４１にロードされた映像復号プログラムを実行することにより生成された復号映像を、再生装置などに出力する復号映像出力部４４とが、バスで接続された構成になっている。図示省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。

以上説明したように、多視点映像符号化におけるフレーム間予測と視点間予測との双方向予測を行うことができるピクチャにおいて、第一の予測として、時間方向または視差方向の既に復号済みの画像を参照ピクチャとして符号化対象画像を予測し、第二の予測として、第一の予測と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして第一の予測の予測残差を予測する残差予測を行い、通常の双方向予測において符号化対象となる１つの予測残差と２つの予測情報の代わりに、１つの残差予測の誤差と１つの予測情報と１つの残差予測情報とを符号化対象とすることで予測残差符号化に必要な符号量を削減することができる。

なお、図１に示す映像符号化装置及び図３に示す映像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

時間方向と視差方向とからなる通常の双方向予測が不敵であるため単方向予測が用いられ予測残差の符号量が増大する場合に、予測残差を予測符号化することで符号量を低減することが不可欠な用途に適用できる。

１０１・・・符号化対象映像入力部、１０２・・・入力画像メモリ、１０３・・・参照ピクチャメモリ、１０４・・・参照予測残差ピクチャメモリ、１０５・・・予測部、１０６・・・予測画像生成部、１０７、１１０・・・減算器、１０８・・・予測残差予測部、１０９・・・予測予測残差生成部、１１１・・・変換・量子化部、１１２・・・逆量子化・逆変換部、１１３、１１４・・・加算器、１１５・・・エントロピー符号化部、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照ピクチャメモリ、２０４・・・参照予測残差ピクチャメモリ、２０５・・・エントロピー復号部、２０６・・・逆量子化・逆変換部、２０７・・・予測予測残差生成部、２０８、２１０・・・加算器、２０９・・・予測画像生成部

Claims (22)

1. 時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化する映像符号化装置が行う映像符号化方法であって、
   前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測し、一次予測画像を生成する一次予測ステップと、
   前記一次予測画像と前記符号化対象画像とから一次予測残差を生成する一次予測残差生成ステップと、
   前記一次予測ステップで参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測残差を予測し、予測予測残差を生成する残差予測ステップと、
   前記一次予測残差と前記予測予測残差とから前記予測残差を生成する予測残差生成ステップと
   を有することを特徴とする映像符号化方法。
2. 前記予測予測残差と前記一次予測画像とから予測画像を更新する予測画像更新ステップを更に有し、
   前記予測残差生成ステップでは、前記予測画像と前記符号化対象画像とから予測残差を生成することを特徴とする請求項１に記載の映像符号化方法。
3. 前記残差予測における予測参照先を特定する情報である残差予測情報を生成する残差予測情報生成ステップを
   更に有することを特徴とする請求項１または２に記載の映像符号化方法。
4. 前記残差予測情報を符号化する残差予測情報符号化ステップを
   更に有することを特徴とする請求項３に記載の映像符号化方法。
5. 既に復号済みの画像の符号化時の予測残差を参照ピクチャリストに含める参照ピクチャリスト更新ステップを更に有し、
   前記残差予測情報は、参照ピクチャリスト中の参照予測残差ピクチャを特定する参照インデックスとその上の領域を特定するベクトルである
   ことを特徴とする請求項３または４に記載の映像符号化方法。
6. 一方の予測における前記参照インデックスが前記参照予測残差ピクチャを示す場合に残差予測を実行する残差予測判定ステップを更に有することを特徴とする請求項５に記載の映像符号化方法。
7. 前記残差予測情報は、前記参照ピクチャを特定するインデックスとその上の領域を特定するベクトルであり、
   前記残差予測ステップでは、符号化時の予測残差を参照して予測予測残差を生成する
   ことを特徴とする請求項３または４に記載の映像符号化方法。
8. 前記残差予測情報を予測し、予測残差予測情報を生成する残差予測情報予測ステップを更に有し、
   前記残差予測情報符号化ステップでは、前記残差予測情報と前記予測残差予測情報との差分である残差予測情報差分を符号化する
   ことを特徴とする請求項４から７の何れか１項に記載の映像符号化方法。
9. 時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化した符号データから復号画像を生成する映像復号装置が行う映像復号方法であって、
   前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして復号対象画像を予測し、一次予測画像を生成する一次予測ステップと、
   前記一次予測ステップで参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測画像と復号画像との差分である一次予測残差を予測し予測予測残差を生成する残差予測ステップと、
   前記符号データを復号した前記予測残差と前記予測予測残差とから前記一次予測残差を生成する一次予測残差生成ステップと、
   前記一次予測残差と前記一次予測画像とから前記復号画像を生成する復号画像生成ステップと
   を有することを特徴とする映像復号方法。
10. 前記一次予測残差生成ステップに代えて、前記一次予測画像と前記予測予測残差とから予測画像を生成する予測画像生成ステップを有し、
    前記復号画像生成ステップは、前記予測残差と前記予測画像とから復号画像を生成する
    ことを特徴とする請求項９に記載の映像復号方法。
11. 前記残差予測における参照先を指定する情報である残差予測情報を生成する残差予測情報生成ステップを更に有し、
    前記残差予測ステップでは、前記残差予測情報に基づいて予測予測残差を生成する
    ことを特徴とする請求項９または１０に記載の映像復号方法。
12. 前記残差予測における参照先を指定する情報である残差予測情報を復号する残差予測情報復号ステップを更に有し、
    前記残差予測ステップでは、前記残差予測情報に基づいて予測予測残差を生成する
    ことを特徴とする請求項９または１０に記載の映像復号方法。
13. 既に復号済みの画像の前記予測残差を参照ピクチャリストに含める参照ピクチャリスト更新ステップを更に有し、
    前記残差予測情報は、参照ピクチャリスト中の参照予測残差ピクチャを特定する参照インデックスとその上の領域を特定するベクトルである
    ことを特徴とする請求項１１または１２に記載の映像復号方法。
14. 一方の予測における参照インデックスが参照予測残差ピクチャを示す場合に残差予測を実行する残差予測判定ステップを更に有することを特徴とする請求項１３に記載の映像復号方法。
15. 前記残差予測情報は、参照ピクチャを特定するインデックスとその上の領域を特定するベクトルであり、
    前記残差予測ステップでは、前記領域の符号化時の予測残差を参照して予測予測残差を生成する
    ことを特徴とする請求項１１または１２に記載の映像復号方法。
16. 前記残差予測情報を予測し、予測残差予測情報を生成する残差予測情報予測ステップを更に有し、
    前記残差予測情報復号ステップでは、前記残差予測情報と前記予測残差予測情報との差分である残差予測情報差分を復号し、前記予測残差予測情報と合わせて残差予測情報を生成する
    ことを特徴とする請求項１２に記載の映像復号方法。
17. 時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化する映像符号化装置であって、
    前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして前記符号化対象画像を予測し、一次予測画像を生成する一次予測手段と、
    前記一次予測画像と前記符号化対象画像とから一次予測残差を生成する一次予測残差生成手段と、
    前記一次予測手段において参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測残差を予測し、予測予測残差を生成する残差予測手段と、
    前記一次予測残差と前記予測予測残差とから前記予測残差を生成する予測残差生成手段と
    を備えることを特徴とする映像符号化装置。
18. 時間方向と視差方向の両方で予測を行う双方向予測を用いて、一方の予測として符号化対象画像を予測し、他方の予測として予測残差を予測する残差予測を行う際に、該残差予測の予測残差を符号化した符号データから復号画像を生成する映像復号装置であって、
    前記時間方向または前記視差方向の既に復号済みの画像を参照ピクチャとして復号対象画像を予測し、一次予測画像を生成する一次予測手段と、
    前記一次予測手段において参照する方向と異なる方向の既に復号済みの画像の符号化時の予測残差を参照ピクチャとして前記一次予測画像と復号画像との差分である一次予測残差を予測し予測予測残差を生成する残差予測手段と、
    前記符号データを復号した前記予測残差と前記予測予測残差とから前記一次予測残差を生成する一次予測残差生成手段と、
    前記一次予測残差と前記一次予測画像とから前記復号画像を生成する復号画像生成手段と
    を有することを特徴とする映像復号装置。
19. 請求項１から８のいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
20. 請求項９から１６のいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
21. 請求項１９に記載の映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
22. 請求項２０に記載の映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images