JP2014131210A - 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体 - Google Patents

Abstract

【課題】重み係数値を符号化することなく高精度な予測画像を生成することができる映像符号化方法、映像復号方法を提供する。
【解決手段】符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と、第１の一次予測画像から予測画像を生成する映像符号化方法・映像復号方法であって、参照領域を予測符号化した際の予測残差である参照予測残差に基づき、参照領域に基づく第２の一次予測画像と第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、重み係数に基づいて第１の一次予測画像と第２の一次予測画像とから予測画像を生成する予測画像生成ステップとを有する。
【選択図】図１

Description

本発明は、双方向予測符号化を用いた映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体に関する。

一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象画像を予測するイントラ予測と、既に復号済みの他のフレームを参照して動き探索などに基づき符号化対象画像を予測するインター予測を行う。これらの予測方法による予測結果は、２つ以上組み合わせて予測精度を向上することもできる。

ＭＰＥＧ（動画像専門家グループ（Moving Picture Experts Group））−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む、多くのビデオ圧縮標準では、画像の符号化／復号順序は再生順序と同一ではなく、そのためインター予測において時間的に前のフレームを参照する前方向予測だけでなく後のフレームを参照する後方向予測、更に２つ以上のフレームからの予測結果を混合する双方向予測を行うことができる。双方向予測によれば、画像間の回転、輝度変化、ノイズなどによる予測エラーを低減することができる。双方向予測については、非特許文献１に詳しい。

双方向予測は、予測方向が時間的に異なる場合だけでなく、空間方向に異なる場合等、別の予測方法を組み合わせることも可能であり、空間解像度の異なる映像を符号化するスケーラブル映像符号化や、多視点映像を符号化する多視点映像符号化などにも利用することができる。スケーラブル符号化においては、低解像度レイヤの復号画像から高解像度レイヤの予測を行うインターレイヤ予測とインター予測を混合することが可能である。また多視点映像符号化においては、異なる視点の復号画像から符号化対象視点の予測を行うインタービュー予測とインター予測を混合することが可能である。スケーラブル映像符号化については非特許文献２に、多視点映像符号化においては非特許文献３に詳しい。

また、予測画像の精度をさらに向上させることが出来る方法として、あるピクチャを符号化した際の予測残差を現符号化対象ピクチャの予測に用いる残差予測を利用することも可能である。残差予測については非特許文献４に詳しい。この方法は、高い相関を持つ２つのピクチャをそれぞれ予測符号化した場合に、その予測残差も互いに相関を持つことを利用した予測方式である。一般的な残差予測では、あるピクチャの符号化時の予測残差を、現符号化対象ピクチャの予測残差から差し引き、その差分を符号化する。

スケーラブル符号化では、低解像度レイヤにおける予測残差をアップサンプリングし、高解像度レイヤにおける予測残差から差し引くことで、符号量を削減することができる。多視点映像符号化においては、異なる視点における予測残差を符号化対象視点の予測残差から差し引くことで符号化効率向上が可能である。この方式は、２つのピクチャを予測符号化した場合のそれぞれの予測方式が同一であり、それぞれの参照ピクチャ同士の相関が高い場合に特に符号化効率が向上する。例えば、予測方式が共にインター予測であり、参照ピクチャのフレーム番号が同じである場合などに特に符号量を削減することができる。

なお、本明細書中において、画像とは動画像の１つのフレームまたは静止画像のことであり、複数のフレーム（画像）が集まったもの（動画像）を映像と称する。

M. Flierl and B. Girod, "Generalized B pictures and the draft H. 264/AVC video-compression standard," Circuits and Systems for Video Technology, …, vol. 13, no. 7, pp. 587-597, 2003. H. Schwarz, D. Marpe, and T. Wiegand, "Overview of the scalable video coding extension of the H. 264/AVC standard," … and Systems for Video …, vol. 17, no. 9, pp. 1103-1120, Sep. 2007. M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability," Communications, Control and Signal Processing, 2008. ISCCSP 2008. 3rd International Symposium on, no. March, pp. 1041-1046, 2008.

従来の双方向予測のように異なる予測結果を組み合わせる予測方法は、複数の予測に基づいて生成される各々の予測結果である一次予測画像の混合によって、フレーム間の輝度変化に対する補償やノイズの低減が期待できる反面、一部で各々の予測結果が大きく異なる場合には予測精度が低下する。こうした予測精度の違いに対する解決方法としては、各一次予測画像に重みを設定し混合する方法などがある。

例えば、混合した一次予測画像Ｐｒｅｄは、
Ｐｒｅｄ＝〔（Ｐ０）（Ｐｒｅｄ０）〕＋〔（Ｐ１）（Ｐｒｅｄ１）〕＋Ｄ；
である。ここで、Ｐ０，Ｐ１は重みであり、Ｐｒｅｄ０，Ｐｒｅｄ１はそれぞれ異なる参照領域に基づく１次予測画像であり、Ｄはオフセットである。重み及びオフセットは単一のスカラー値よりも画素毎の係数値がより効果的であるが、復号側で用いるためにこの係数値を符号化することはビットストリーム全体の符号量の増大を招くという問題がある。

本発明は、このような事情に鑑みてなされたもので、重み係数値を符号化することなく高精度な予測画像を生成することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体を提供することを目的とする。

本発明は、符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と、第１の一次予測画像から予測画像を生成する映像符号化方法であって、前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像とから前記予測画像を生成する予測画像生成ステップとを有することを特徴とする。

本発明は、前記第２の一次予測画像と前記参照予測残差とから参照予測画像を生成する参照予測画像生成ステップを更に有し、前記重み係数設定ステップは、前記参照予測残差と前記参照予測画像に基づき前記重み係数を設定することを特徴とする。

本発明は、前記第１の一次予測画像は、前記参照領域と異なる領域である第１予測参照領域に基づく画像であることを特徴とする。

本発明は、前記重み係数設定ステップは、前記参照予測残差と、前記第１予測参照領域を予測符号化した際の予測残差である第２の参照予測残差に基づき前記重み係数を設定することを特徴とする。

本発明は、符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像符号化方法であって、前記参照領域から参照予測画像を設定する参照予測画像生成ステップと、前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像とから前記予測画像を生成する予測画像生成ステップとを有することを特徴とする。

本発明は、前記第２の一次予測画像と前記参照予測画像とから参照予測残差を生成する参照予測残差生成ステップを更に有し、前記重み係数設定ステップは、前記参照予測残差に基づき前記重み係数を設定することを特徴とする。

本発明は、前記参照予測画像と前記第１の一次予測画像とから差分画像を生成する差分画像生成ステップを更に有し、前記重み係数設定ステップは、前記参照予測残差と前記差分画像に基づき前記重み係数を設定することを特徴とする。

本発明は、前記参照領域と前記第１の一次予測画像は、互いに異なる性質の画像上に設定することを特徴とする。

本発明は、前記参照領域は符号化対象と異なるカメラで撮影された画像上に設定することを特徴とする。

本発明は、前記参照領域は符号化対象と異なるレイヤの画像上で設定することを特徴とする。

本発明は、前記符号化対象画像と前記参照領域に基づく第２の一次予測画像との関係が前記第１の一次予測画像と前記参照予測画像との関係に等しくなるように前記第１の一次予測画像を設定することを特徴とする。

本発明は、前記符号化対象画像と前記第１の一次予測画像との関係が前記参照領域に基づく第２の一次予測画像と前記参照予測画像との関係に等しくなるように参照領域を設定することを特徴とする。

本発明は、映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号方法であって、前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像とから前記予測画像を生成する予測画像生成ステップとを有することを特徴とする。

本発明は、前記第２の一次予測画像と前記参照予測残差とから参照予測画像を生成する参照予測画像生成ステップを更に有し、前記重み係数設定ステップは、前記参照予測残差と前記参照予測画像に基づき前記重み係数を設定することを特徴とする。

本発明は、前記第１の一次予測画像は、前記参照領域と異なる領域である第１予測参照領域に基づく画像であることを特徴とする。

本発明は、前記重み係数設定ステップは、前記参照予測残差と、前記第１予測参照領域を予測符号化した際の予測残差である第２の参照予測残差に基づき前記重み係数を設定することを特徴とする。

本発明は、映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号方法であって、前記参照領域から参照予測画像を設定する参照予測画像生成ステップと、前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像とから前記予測画像を生成する予測画像生成ステップとを有することを特徴とする。

本発明は、前記第２の一次予測画像と前記参照予測画像とから参照予測残差を生成する参照予測残差生成ステップを更に有し、前記重み係数設定ステップは、前記参照予測残差に基づき前記重み係数を設定することを特徴とする。

本発明は、前記参照予測画像と前記第１の一次予測画像とから差分画像を生成する差分画像生成ステップを更に有し、前記重み係数設定ステップは、前記参照予測残差と前記差分画像に基づき前記重み係数を設定することを特徴とする。

本発明は、前記参照領域と前記第１の一次予測画像は、互いに異なる性質の画像上に設定することを特徴とする。

本発明は、前記参照領域は符号化対象と異なるカメラで撮影された画像上に設定することを特徴とする。

本発明は、前記参照領域は符号化対象と異なるレイヤの画像上で設定することを特徴とする。

本発明は、復号対象画像と前記参照領域に基づく第２の一次予測画像との関係が前記第１の一次予測画像と前記参照予測画像との関係に等しくなるように第１の一次予測画像を設定することを特徴とする。

本発明は、前記復号対象画像と前記第１の一次予測画像の関係が前記参照領域に基づく第２の一次予測画像と前記参照予測画像との関係に等しくなるように参照領域を設定することを特徴とする。

本発明は、符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と、第１の一次予測画像から予測画像を生成する映像符号化装置であって、前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像とから前記予測画像を生成する予測画像生成手段とを備えることを特徴とする。

本発明は、符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像符号化装置であって、前記参照領域から参照予測画像を設定する参照予測画像生成手段と、前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像とから前記予測画像を生成する予測画像生成手段とを備えることを特徴とする。

本発明は、映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号装置であって、前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像とから前記予測画像を生成する予測画像生成手段とを備えることを特徴とする。

本発明は、映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号装置であって、前記参照領域から参照予測画像を設定する参照予測画像生成手段と、前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像とから前記予測画像を生成する予測画像生成手段とを備えることを特徴とする。

本発明は、前記映像符号化方法をコンピュータに実行させるための映像符号化プログラムである。

本発明は、前記映像復号方法をコンピュータに実行させるための映像復号プログラムである。

本発明は、前記映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、重み係数値を符号化することなしに双方向予測における画素混合による予測精度低下を回避し、高精度な予測画像を生成することができる。これにより、予測残差符号化に必要な符号量を削減することができるという効果が得られる。

本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。 図１に示す映像符号化装置１００の動作を示すフローチャートである。 本発明の第１実施形態による映像復号装置の構成を示すブロック図である。 図３に示す映像復号装置２００の動作を示すフローチャートである。 本発明の第２実施形態による映像符号化装置の構成を示すブロック図である。 図５に示す映像符号化装置１００ａの動作を示すフローチャートである。 本発明の第２実施形態による映像復号装置の構成を示すブロック図である。 図７に示す映像復号装置２００ａの動作を示すフローチャートである。 符号化対象映像が多視点映像のうちの一つの視点であり、参照領域の決定方法がインタービュー予測による場合の例を示す説明図である。 本発明の第３実施形態による映像符号化装置の構成を示すブロック図である。 図１０に示す映像符号化装置１００ｂの動作を示すフローチャートである。 本発明の第３実施形態による映像復号装置の構成を示すブロック図である。 図１２に示す映像復号装置２００ｂの動作を示すフローチャートである。 映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。 映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。図１は、本発明の第１実施形態による映像符号化装置１００の構成を示すブロック図である。映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力フレームメモリ１０２、参照フレームメモリ１０３、残差メモリ１０４、第１予測部１０５、第２予測部１０６、重み係数設定部１０７、重み付け混合部１０８、減算部１０９、変換・量子化部１１０、逆量子化・逆変換部１１１、加算部１１２、ループフィルタ部１１３、及びエントロピー符号化部１１４を備えている。

符号化対象映像入力部１０１は、符号化対象となる映像を入力する。以下では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象画像と呼ぶ。入力フレームメモリ１０２は、入力された符号化対象映像を記憶する。参照フレームメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下では、この記憶されたフレームを参照フレームまたは参照画像と呼ぶ。残差メモリ１０４は、それまでに復号された映像の符号化・復号後の予測残差を記憶する。以下では、この記憶された予測残差を参照予測残差と呼ぶ。

第１予測部１０５は記憶された参照画像を用いて符号化対象画像に対するいずれかの予測を行い、それに基づき第１一次予測画像を生成する。第２予測部１０６は、記憶された参照画像上で符号化対象画像に対する参照領域を決定し、その領域の画像を第２一次予測画像とする。重み係数設定部１０７は、参照領域に対応する参照予測残差に基づき、各一次予測画像に対する混合重み係数を決定する。重み付け混合部１０８は、各一次予測画像と設定された混合重み係数とから予測画像を生成する。減算部１０９は、符号化対象画像と予測画像の差分値をとり、予測残差を生成する。

変換・量子化部１１０は、生成された予測残差を変換・量子化し、量子化データを生成する。逆量子化・逆変換部１１１は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。加算部１１２は、予測画像と予測残差から、復号画像を生成する。ループフィルタ部１１３は、生成された復号画像にループフィルタをかけ参照フレームを生成する。エントロピー符号化部１１４は、量子化データをエントロピー符号化し符号データを生成する。

次に、図２を参照して、図１に示す映像符号化装置１００の動作を説明する。図２は、図１に示す映像符号化装置１００の動作を示すフローチャートである。図２は、参照領域を予測符号化した際の予測残差である参照予測残差と第１予測部１０５における予測精度との相関を利用し、第１実施形態における重み係数設定処理として参照予測残差を重み付けに用いる場合の処理を示している。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化が実現できる。

まず、符号化対象映像入力部１０１は符号化対象フレームを入力し、入力フレームメモリ１０２に記憶する（ステップＳ１０１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ１０３に記憶され、また符号化時の予測残差が残差メモリ１０４に記憶されているとする。ここで記憶されている予測残差は変換・量子化・逆量子化・逆変換後のものであるが、必要であれば変換前のものでも構わないし、またループフィルタ処理後の復号フレームから生成し直したものでも構わないし、別途フィルタ処理を行ったものでも構わないし、他にどのようなものでも構わない。

次に、映像入力の後、符号化対象フレームを符号化対象ブロックに分割し、ブロック毎に符号化対象フレームの映像信号を符号化する（ステップＳ１０２〜Ｓ１１１）。以下のステップＳ１０３〜Ｓ１１０までの処理はフレーム全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理では、まず、第１予測部１０５は記憶された参照画像を用いて符号化対象画像に対するいずれかの予測を行い、それに基づき第１一次予測画像を生成する。第２予測部１０６は記憶された参照画像上で符号化対象画像に対する参照領域を決定し、その領域の画像を第２一次予測画像とする（ステップＳ１０３）。

第１予測部１０５での予測方法は、復号側で予測情報などを使用して正しく予測方法を決定し一次予測画像を生成できるならどのような方法でも構わない。例えば一般的なイントラ予測やインター予測やインタービュー予測やインターレイヤ予測などどのような方法を使っても構わないし、双方向予測やその他のどんな予測方法を組み合わせていても構わない。また第２予測部１０６で参照領域を決定する方法はどのようなものでも構わない。一般的な予測で用いられるような領域探索を行なっても構わないし、周辺ブロックの符号化時の予測情報を用いても構わないし、予め領域を定めておいても構わない。

また、両方法の組み合わせを予め定めておいても構わない。例えば、第１予測部１０５においてはイントラ予測を行い、第２予測部１０６においてはインター予測を行うと予め定めておいても構わない。あるいは、第１予測部１０５においてはインタービュー予測を行い、第２予測部１０６においてインター予測を行う方法や、その逆でもよいし、第１予測部１０５においてはインターレイヤ予測を行い、第２予測部１０６においてインター予測を行う方法や、その逆でもよい。また、この組み合わせを示す情報を符号化し映像と共に多重化しても構わない。

また、各予測部における処理は別々に行なっても構わないし、順番に行っても構わないし、またその順番はどのように決めても構わない。例えば、第２予測部１０６において参照領域を決定してから第１予測部１０５において第１予測画像を生成する等でも構わない。またその場合に、参照領域の符号化時の予測情報を用いて第１予測部１０５における予測方法等を決定しても構わない。例えば、参照領域の符号化時の予測方法と同一の予測方法を用いることとしても構わないし、更に参照領域の符号化時の予測ベクトルや予測方向と同一の予測ベクトルや予測方向を用いることとしても構わない。また、順番や依存関係を示す情報を符号化し映像と共に多重化しても構わない。

また、各予測方法や各参照画像及び参照領域を示す情報などを予測情報として符号化し映像と共に多重化するなどしても構わないし、復号側で同様の情報を得られる場合にはしなくても構わない。例えば、各参照画像及び参照領域を示す参照画像ＩＤや予測ベクトルや予測方向を符号化する場合もあるし、それらを復号済みの周辺ブロックなどから推定する場合もある。

あるいは、参照領域を示す情報または予測情報のみを符号化し、もう一方を示す情報を予測しても構わない。例えば、第１予測部１０５における予測方法がＩピクチャまたはＰピクチャからの前方向予測であり第２予測部１０６における参照領域の決定方法がＰピクチャからの後方向予測である場合に、参照領域を示す動きベクトルのみを符号化し、第１予測部１０５では参照領域の周辺ブロックの前方向予測に用いた動きベクトルから、動きベクトルを推定する場合などがある。

また多視点映像の場合には、第１予測部１０５における予測方法がインター予測であり、第２予測部１０６における参照領域の決定方法がインタービュー予測である場合に、インター予測における動きベクトルのみを符号化し、第２予測部１０６では符号化対象画像の周辺ブロックを予測符号化する際にインタービュー予測に用いた視差ベクトルから、参照領域を示す視差ベクトルを推定する場合などがあるし、逆にインタービュー予測における視差ベクトルのみを符号化し、インター予測における動きベクトルを推定する場合もある。その他どのような組み合わせで予測情報を符号化しても予測しても構わない。

このように第１予測部１０５と第２予測部１０６での予測方法及び参照画像及び参照領域を決定する方法はどのような方法や組み合わせを用いても構わないが、例えば符号化対象画像と第１一次予測画像との関係が、第２一次予測画像と参照領域を予測符号化した際の予測画像との関係と等しくなるように、各予測部における予測方法及び参照領域を決定することで、参照領域を予測符号化した際の予測精度と第１予測部１０５における予測精度との間の相関を高め、それにより参照領域を予測符号化した際の予測残差と第１予測部１０５における予測精度との相関を高め、本実施形態による映像符号化装置の性能をさらに向上することもできる。

例えば、参照領域の決定方法がインタービュー予測であり、参照領域の予測符号化にインター予測が用いられていた場合、単に第１予測部１０５における予測方法をインター予測とすることとしてもいいし、さらに参照画像のフレーム番号と参照領域を示す動きベクトルを参照領域の予測符号化に用いたものと同一とする方法などでもよい。また、参照領域がその参照画像を予測符号化する際の複数の予測単位にまたがり、複数の予測方法または参照領域に基づいて符号化されている場合、第１予測部１０５において同様に複数の予測方法及び参照領域に基づいて第１一次予測画像を生成しても構わない。

次に、重み係数設定部１０７は、残差メモリ１０４に記憶されている参照領域に対応する符号化時の予測残差を参照して、第１の一次予測画像と第２の一次予測画像とを混合するための画素ごとの重み係数を決定して設定する（ステップＳ１０４）。以下では、この参照する予測残差を参照予測残差と呼ぶ。重み係数は荷重係数でも構わないし、オフセット係数でも構わないし、両方でも構わない。重み係数の決定方法はどのような方法を用いても構わない。例えば参照領域を予測符号化した際の予測方法及びその予測画像が第１予測部１０５における予測方法及び第１一次予測画像と相関を持っているとして、参照予測残差から参照領域を予測符号化した際の予測精度を見積もり、そこから第１予測部１０５における予測の精度を見積もり、第１一次予測画像に対する重み係数を決定するような方法が考えられる。精度の推定は逐次行なっても構わないし、考えられるパターンについて予め推定しておきルックアップテーブルなどを生成しても構わない。また、このパターンやテーブルなどの情報を符号化し映像と共に多重化しても構わない。

最も単純な場合には、例えば参照予測残差の絶対値に対する閾値処理で二値あるいは多値の重みを切り分けるなどしてもよい。例えば、第１一次予測画像及び第２一次予測画像に対する重みをそれぞれＷ_１、Ｗ_２とし、参照予測残差をＲｅｓｉとし、閾値をＴ_１＞Ｔ_２としたとき、

とすればよい。あるいは他に参照予測残差に対するどのような関数を設計し用いても構わない。その他にどのような方法を用いても構わない。

また、第２の一次予測画像に対する重みは第１の一次予測画像に対する重みから決定されても構わないし、第１の一次予測画像に対する重みと同時に決定されても構わない。その他にどのような順番や方法を用いても構わない。また、各重みは正規化されていても構わないし、されていなくても構わない。あるいは、重み係数のパターンを予め定め、参照予測残差の値によって使用するパターンを決定する方法などでもよい。また、このパターンを示す情報を符号化し映像と共に多重化しても構わない。また、重み係数を決定する方法を示す情報を符号化し映像と共に多重化しても構わない。

また、前述の例では参照領域を符号化した際の予測残差のみを参照して重み係数を決定しているが、第１予測部１０５における予測符号化に用いた参照画像上の領域を符号化した際の予測残差も同様に参照し、ふたつの参照予測残差に基づいて重み係数を決定しても構わない。例えば、第１予測部１０５の予測方法がインター予測であり、第２予測部１０６の予測方法がインタービュー予測である場合に、第１の参照領域を符号化した際の予測残差を第１の参照予測残差とし、第２の参照領域を符号化した際の予測残差を第２の参照予測残差とし、第１の参照予測残差と第２の参照予測残差から第１予測部１０５と第２予測部１０６の予測精度を見積もることで、重み係数を決定する場合などがある。予測精度の見積と重み係数の決定はどのような方法を用いても構わない。最も単純な方法としては、例えば第１一次予測画像及び第２一次予測画像に対する重みをそれぞれＷ_１、Ｗ_２とし、第１参照予測残差及び第２参照予測残差をＲｅｓＰｒｅｄ１、ＲｅｓＰｒｅｄ２としたとき、
Ｗ_１＝｜ＲｅｓＰｒｅｄ１｜／（｜ＲｅｓＰｒｅｄ１｜＋｜ＲｅｓＰｒｅｄ２｜） ・・・（２）
Ｗ_２＝｜ＲｅｓＰｒｅｄ２｜／（｜ＲｅｓＰｒｅｄ１｜＋｜ＲｅｓＰｒｅｄ２｜） ・・・（３）
とするような方法がある。

あるいは、

とするような方法も考えられる。

この他にどのような参照予測残差の関数を設計し用いても構わないし、その他にどのような方法を用いて重みを決定しても構わない。例えば、予め幾つかの組み合わせの一次予測画像について最適な混合重み係数を決定しておき、参照予測残差との相関を学習しておくような方法も考えられる。またルックアップテーブル等を生成し使用しても構わない。その他にどのような方法を用いても構わない。

また、参照予測残差に何らかの処理を加えてから利用しても構わない。例えば、参照領域が符号化対象と異なる視点の映像上に設定されている場合に、その参照予測残差に三次元幾何変換処理などを施して利用してもよい。またあるいは、参照領域が符号化対象と異なるレイヤの映像上に設定されている場合などに、参照予測残差にアップサンプリング処理などを施して利用してもよい。その他にどのような処理を加えても構わない。また、その処理を示す情報を符号化し映像と共に多重化しても構わない。

また、前述の例では各一次予測画像の乗算に用いる荷重係数だけを重み係数として決定しているが、この他の重み係数としてオフセット係数も決定し、後述の重み付き混合部で加算し予測画像を生成しても構わない。オフセットはスカラー値でも構わないし、画素毎のオフセット値からなる係数行列でも構わない。また、このオフセットはどのように決定されても構わない。ここで、Ｗ_１，Ｗ_２は重みであり、Ｐｒｅｄ１，Ｐｒｅｄ２はそれぞれ１次予測画像であり、Ｄはオフセットであるとき、
Ｐｒｅｄ＝〔（Ｗ_１）（Ｐｒｅｄ１）〕＋〔（Ｗ_２）（Ｐｒｅｄ２）〕＋Ｄ ・・・（５）
と記述し、
Ｗ_１＝１ ・・・（６）
Ｗ_２＝０ ・・・（７）
Ｄ＝ＲｅｓＰｒｅｄ２ ・・・（８）
であれば、一般的な残差予測と同様の予測結果を得る。ここで、ＲｅｓＰｒｅｄ２は第２参照予測残差である。また例えば、第1参照予測残差も参照し決定する場合も考えられる。例えば、
Ｄ＝（Ｗｒ）ＲｅｓＰｒｅｄ２ ・・・（９）
Ｗｒ＝｜ＲｅｓＰｒｅｄ２｜／（｜ＲｅｓＰｒｅｄ１｜＋｜ＲｅｓＰｒｅｄ２｜） ・・・（１０）
とするような場合が考えられる。この場合には、第２予測部における予測精度を考慮した第１予測部に対する残差予測としての効果が得られる。この他にどのような方法で決定しても構わない。また、乗算のための荷重係数と同時に決定しても構わないし、順番に決定しても構わない。

次に、重み付け混合部１０８はそれぞれ第１の一次予測画像と第２の一次予測画像から重み係数に基づき予測画像を生成する（ステップＳ１０５）。荷重係数を各一次予測画像に乗算し加算することで予測画像としても構わないし、オフセット係数を加算しても構わないし、両者を同時に行なっても構わない。次に減算部１０９は、予測画像と符号化対象画像との差分を取り予測残差を生成する（ステップＳ１０６）。

次に、変換・量子化部１１０は、予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０７）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。続いて、逆量子化・逆変換部１１１は、量子化データを逆量子化・逆変換し復号予測残差を生成し、参照予測残差として残差メモリ１０４に記憶する（ステップＳ１０８）。

次に、加算部１１２は、復号予測残差と予測画像とを加算し復号画像を生成する。そして、ループフィルタ部１１３は復号画像に対してループフィルタをかけ、参照フレームとして参照フレームメモリ１０３に記憶する（ステップＳ１０９）。ループフィルタは必要がなければ特にかけなくても構わないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

次に、エントロピー符号化部１１４は、量子化データをエントロピー符号化し符号データを生成する。そして、必要であれば、予測情報やその他の付加情報も符号化し符号データに含めても構わない。全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１１）。

本発明の第１実施形態による映像復号装置を説明する。図３は、本発明の第１実施形態による映像復号装置の構成を示すブロック図である。映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照フレームメモリ２０３、残差メモリ２０４、エントロピー復号部２０５、逆量子化・逆変換部２０６、第１予測部２０７、第２予測部２０８、重み係数設定部２０９、重み付け混合部２１０、加算部２１１、及びループフィルタ部２１２を備えている。

符号データ入力部２０１は、復号対象となる映像符号データを入力する。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象画像と呼ぶ。符号データメモリ２０２は、入力された復号対象映像を記憶する。参照フレームメモリ２０３は、すでに復号済みの画像を記憶する。残差メモリ２０４は、すでに復号済みの画像の復号前の予測残差を記憶する。エントロピー復号部２０５は、復号対象フレームの符号データをエントロピー復号し量子化データを生成し、逆量子化・逆変換部２０６は量子化データに逆量子化／逆変換を施して復号予測残差を生成する。

第１予測部２０７は記憶された参照画像を用いて符号化対象画像に対するいずれかの予測を行い、それに基づき第１一次予測画像を生成する。第２予測部２０８は、記憶された参照画像上で復号対象画像に対する参照領域を決定し、その領域の画像を第２一次予測画像とする。重み係数設定部２０９は、少なくともひとつの参照領域に対応する参照予測残差に基づき、各一次予測画像に対する混合重み係数を決定する。重み付け混合部２１０は、各一次予測画像と設定された混合重み係数とを乗算し、混合重み係数をそれぞれ乗算した一次予測画像それぞれを加算し予測画像を生成する。加算部２１１は、予測画像と復号予測残差から、復号画像を生成する。ループフィルタ部２１２は、生成された復号画像にループフィルタをかけ参照フレームを生成する。

次に、図４を参照して、図３に示す映像復号装置２００の動作を説明する。図４は、図３に示す映像復号装置２００の動作を示すフローチャートである。図４は、参照領域を予測符号化した際の予測残差である参照予測残差と第１予測部における予測精度との相関を利用し、第１実施形態における重み係数設定処理として参照予測残差を重み付けに用いる場合の処理を示している。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

まず、符号データ入力部２０１は、符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ２０３に記憶されており、またその予測残差が残差メモリ２０４に記憶されているとする。ここで記憶されている予測残差は逆量子化・逆変換後のものであるが、必要であればループフィルタ処理後の復号フレームから生成し直したものでも構わないし、別途フィルタをかけたものでも構わないし、他にどのようなものでも構わない。

次に、復号対象フレームを対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号する（ステップＳ２０２〜Ｓ２０９）。以下のステップＳ２０３〜Ｓ２０８までの処理はフレーム内全てのブロックに対して繰り返し実行する。

復号対象ブロックごとに繰り返される処理では、まず、エントロピー復号部２０５は符号データをエントロピー復号する（ステップＳ２０３）。逆量子化・逆変換部２０６は、逆量子化・逆変換を行い、復号予測残差を生成し、残差メモリ２０４に記憶する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し適宜必要な情報を生成しても構わない。

次に、第１予測部２０７は記憶された参照画像を用いて符号化対象画像に対するいずれかの予測を行い、それに基づき第１一次予測画像を生成し、第２予測部２０８は記憶された参照画像上で符号化対象画像に対する参照領域を決定し、その領域の画像を第２一次予測画像とする（ステップＳ２０５）。このとき用いる予測情報や参照領域の決定方法は映像符号データと多重化されていても構わないし、特に予測情報を用いずに符号化時と同様の予測が行えるのであればなくても構わない。詳細については符号化の場合と同様であるので、詳細な説明を省略する。

次に、重み係数設定部２０９は、残差メモリ２０４に記憶されている第１の参照領域に対応する符号化時の予測残差を参照して、第１の一次予測画像と第２の一次予測画像とを混合するための画素ごとの重み係数を決定して設定する（ステップＳ２０６）。重み係数は荷重係数でも構わないし、オフセット係数でも構わないし、両方でも構わない。またこのとき用いる重み係数を決定する方法を示す情報が映像符号データと多重化されていればそれを使用しても構わないし、特になくても符号化時と同様に重み付を行える場合はなくても構わない。詳細については符号化の場合と同様であるので、詳細な説明を省略する。

次に、重み付け混合部２１０は、それぞれ第１の一次予測画像と第２の一次予測画像から重み係数に基づき予測画像を生成する（ステップＳ２０７）。このときに荷重係数を各一次予測画像に乗算し加算することで予測画像としても構わないし、オフセット係数を加算しても構わないし、両者を同時に行なっても構わない。続いて、加算部２１１は予測画像と復号予測残差とを加算し復号画像を生成する。そして、ループフィルタ部２１２は、復号画像に対してループフィルタをかけ、参照フレームとして参照フレームメモリ２０３に記憶する（ステップＳ２０８）。ループフィルタは必要がなければ特にかけなくても構わないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。全てのブロックについて処理が終了したら、復号フレームとして出力する（ステップＳ２０９）。

＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置を説明する。図５は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、新たに参照予測画像生成部１１５と差分画像生成部１１６を備えている点である。参照予測画像生成部１１５は、参照予測残差と第２一次予測画像から更に参照領域を予測符号化した際の予測画像である参照予測画像を生成する。差分画像生成部１１６は、第１一次予測画像と参照予測画像から差分画像を生成する。

次に、図６を参照して、図５に示す映像符号化装置１００ａの動作を説明する。図６は、図５に示す映像符号化装置１００ａの動作を示すフローチャートである。図６は、参照領域を予測符号化した際の予測残差である参照予測残差と第２一次予測画像から更に参照領域を予測符号化した際の予測画像を生成し参照予測画像とし、参照予測画像と第１一次予測画像とから差分画像を生成し、この差分画像と第２予測部における予測精度との相関を利用し、第２実施形態における重み係数設定処理として参照予測残差と差分画像を重み付けに用いる場合の処理を示している。図６において、図２に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

まず、ステップＳ１０１からＳ１０３までは、図２に示す処理動作と同様の処理を行う。次に参照予測画像生成部１１５は、参照予測残差と第２一次予測画像から更に参照領域を予測符号化した際の予測画像である参照予測画像を生成し、続いて差分画像生成部１１６は、参照予測画像と第１一次予測画像とから差分画像を生成する（ステップＳ１０３ａ）。参照予測画像を生成する方法はどのような方法を用いても構わない。例えば、第２一次予測画像から参照予測残差を差し引いて参照予測画像とするようにしてもよい。この時に例えば何らかの重み付けを行なっても構わないし、他にもどのような方法を用いても構わない。また、その方法などを示す情報を符号化し映像と共に多重化しても構わない。

また、差分画像を求める方法もどのようなものを用いても構わない。例えば、単純に第１一次予測画像から参照予測画像を差し引いて差分画像とするようにしてもよい。あるいは、更に参照予測画像と第１一次予測画像とのマッチング処理等を行い画素をずらして差分を取ることで、差分画像と第２予測部における予測精度との相関を高めても構わない。また、第２予測部における参照領域を示す予測ベクトルなどの情報を更に利用しても構わない。他にもどのような方法を用いても構わない。また、その方法等を示す情報を符号化し映像と共に多重化しても構わない。

図９は符号化対象映像が多視点映像のうちの一つの視点であり、参照領域の決定方法がインタービュー予測による場合の例である。この例は第１予測部における予測方法と参照領域の符号化時の予測方法が共に単方向予測の場合であるが、他にイントラ予測や双方向予測の場合にも同様の方法を用いることができる。また、多視点映像以外にも通常の映像やスケーラブル映像や他のどのような映像でも同様の方法を用いることができる。このような場合には、第１予測部１０５と第２予測部１０６での予測方法及び参照画像及び参照領域を決定する際に、符号化対象画像と第２一次予測画像との関係が、第１一次予測画像と参照予測画像との関係と等しくなるように、各予測部における予測方法及び参照領域を決定することで両予測精度の相関を高めることもできる。

次に、重み係数設定部１０７は、参照予測残差と差分画像に基づいて重み係数を決定する（ステップ１０４ａ）。重み係数は荷重係数でも構わないし、オフセット係数でも構わないし、両方でも構わない。重み係数の決定はどのような方法を用いても構わない。第１実施形態の参照予測残差を２つ用いる場合と同様の方法でも構わないし、他にどのような方法でも構わない。また、係数値そのものでなく、別の値として決定されても構わない。例えば（４）式と（９）、（１０）式を一般化し、
Ｐｒｅｄ＝〔（Ｗ_１）（Ｐｒｅｄ１）〕＋〔（Ｗ_２）（Ｐｒｅｄ２）〕＋〔［Ｗｒ］［ＲｅｓＰｒｅｄ２］〕 ・・・（１１）
としたとき、変形によって
Ｐｒｅｄ＝〔（Ｗ_１）（Ｐｒｅｄ１）〕＋〔（Ｗ_２）（Ｐｒｅｄ２）〕＋〔［Ｗｒ］［ＰｒｅｄＢ−Ｐｒｅｄ２］〕 ・・・（１２）
Ｐｒｅｄ＝〔（Ｗ_１）（Ｐｒｅｄ１）〕＋〔（Ｗ_２−Ｗｒ）（Ｐｒｅｄ２）〕＋〔［Ｗｒ］［ＰｒｅｄＢ］〕 ・・・（１３）
となることから、一次予測画像に対する荷重係数と、参照予測画像をオフセットとして用いるときのスケーリング係数として決定しても構わない。このとき、スケーリング係数を符号化し映像と共に多重化しても構わない。この他にどのような値として決定しても構わないし、どのような方法で決定しても構わない。以下、ステップＳ１０５〜Ｓ１１１の処理は、図２に示す処理動作と同様である。

次に、本発明の第２実施形態による映像復号装置について説明する。図７は、本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図３に示す装置と異なる点は、新たに参照予測画像生成部２１３と差分画像生成部２１４を備えている点である。参照予測画像生成部２１３は、参照予測残差と第２一次予測画像から更に参照領域を予測符号化した際の予測画像を生成する。差分画像生成部２１４は、第１一次予測画像と参照予測画像から差分画像を生成する。

次に、図８を参照して、図７に示す映像復号装置２００ａの動作を説明する。図８は、図７に示す映像復号装置２００ａの動作を示すフローチャートである。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号を実現することができる。図８には、参照領域を予測符号化した際の予測残差である参照予測残差と第２一次予測画像から更に参照領域を予測符号化した際の予測画像を生成し参照予測画像とし、参照予測画像と第１一次予測画像とから差分画像を生成し、この差分画像と第２予測部における予測精度との相関を利用し、第２実施形態における重み係数設定処理として参照予測残差と差分画像を重み付けに用いる場合の処理を示している。図８において、図４に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

まず、ステップＳ２０１〜Ｓ２０５は、図４に示す処理動作と同様の処理を行う。次に参照予測画像生成部２１３は、参照予測残差と第２一次予測画像から更に参照領域を予測符号化した際の予測画像である参照予測画像を生成し、続いて差分画像生成部２１４は、参照予測画像と第１一次予測画像とから差分画像を生成する（ステップＳ２０５ａ）。参照予測画像及び差分画像を生成する方法は、示す情報が映像符号データと多重化されていても構わないし、特にそうした情報を用いずに符号化時と同様の生成が行えるのであればなくても構わない。詳細については符号化の場合と同様であるので、詳細な説明は省略する。

次に、重み係数設定部２０９は、参照予測残差と差分画像に基づいて重み係数を決定する（ステップ２０６ａ）。重み係数は荷重係数でも構わないし、オフセット係数でも構わないし、両方でも構わない。重み係数の決定方法は、示す情報が映像符号データと多重化されていても構わないし、特にそうした情報を用いずに符号化時と同様の生成が行えるのであればなくても構わない。詳細については符号化の場合と同様であるので、詳細な説明を省略する。以下、ステップＳ２０７〜Ｓ２０９の処理は、図４に示す処理動作と同様である。

＜第３実施形態＞
次に、本発明の第３実施形態による映像符号化装置を説明する。図１０は、本発明の第３実施形態による映像符号化装置１００ｂの構成を示すブロック図である。この図において、図５に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図５に示す装置と異なる点は、残差メモリ１０４を削除し、新たに参照予測残差生成部１１７を備えている点である。参照予測残差生成部１１７は、参照予測画像と第２一次予測画像から参照予測残差を生成する。

次に、図１１を参照して、図１０に示す映像符号化装置１００ｂの動作を説明する。図１１は、図１０に示す映像符号化装置１００ｂの動作を示すフローチャートである。図１１は、参照領域に対する何れかの参照予測画像を生成し、参照予測画像と第２一次予測画像とから参照予測残差を生成し、参照予測画像と第１一次予測画像とから差分画像を生成し、第３実施形態における重み係数設定処理として参照予測残差と差分画像を重み付けに用いる場合の処理を示している。図１１において、図６に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

まず、ステップＳ１０１〜Ｓ１０３は、図６に示す処理動作と同様の処理を行う。次に参照予測画像生成部１１５は、参照予測領域から参照予測画像を生成し、続いて差分画像生成部１１６は参照予測画像と第１一次予測画像とから差分画像を生成し、参照予測残差生成部１１７は参照予測画像と第２一次予測画像とから参照予測残差を生成する（ステップＳ１０３ｂ）。参照予測画像を生成する方法はどのような方法を用いても構わない。また、その方法等を示す情報を符号化し映像と共に多重化しても構わない。

例えば、参照領域の符号化時に用いた予測ベクトルを用いて参照予測画像を生成するなどが適用できる。あるいは一般的な参照画像上での領域探索などを行い参照領域に対する予測処理を行ない参照予測画像を生成しても構わないし、周辺ブロックから推定した予測ベクトルを用いても構わないし、第１予測部における予測方法や情報や結果から推定した予測情報を用いても構わないし、他にどのような方法を用いても構わない。また、例えば符号化対象画像と第１一次予測画像との関係が第２一次予測画像と参照予測画像との関係と等しくなるように、あるいは符号化対象画像と第２一次予測画像との関係が、第１一次予測画像と参照予測画像との関係と等しくなるように、参照予測画像を生成することによって、本実施形態による映像符号化装置の性能をさらに向上することもできる。

差分画像を生成する方法は第２実施形態と同様の方法でも構わないし、後述の参照予測残差と同時に生成しても構わない。他にどのような方法を用いても構わない。また、その方法等を示す情報を符号化し映像と共に多重化しても構わない。参照予測残差を生成する方法はどのような方法を用いても構わない。例えば、第２一次予測画像との差分を参照予測残差とする方法などが適用できる。また、その方法等を示す情報を符号化し映像と共に多重化しても構わない。以下、ステップＳ１０４ａ〜Ｓ１１１の処理は、図６に示す処理動作と同様である。

次に、本発明の第３実施形態による映像復号装置について説明する。図１２は、本発明の第３実施形態による映像復号装置２００ｂの構成を示すブロック図である。この図において、図７に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図７に示す装置と異なる点は、残差メモリ２０４を削除し、新たに参照予測残差生成部２１５を備えている点である。参照予測残差生成部２１５は、参照予測画像と第２一次予測画像から参照予測残差を生成する。

次に、図１３を参照して、図１２に示す映像復号装置２００ｂの動作を説明する。図１３は、図１２に示す映像復号装置２００ｂの動作を示すフローチャートである。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号を実現することができる。図１３には、参照領域に対する何れかの参照予測画像を生成し、参照予測画像と第２一次予測画像とから参照予測残差を生成し、参照予測画像と第１一次予測画像とから差分画像を生成し、第３実施形態における重み係数設定処理として参照予測残差と差分画像を重み付けに用いる場合の処理を示している。図１３において、図８に示す処理と同一の部分には同一の符号を付し、その説明を省略する。

まず、ステップＳ２０１〜Ｓ２０５は、図８に示す処理動作と同様の処理を行う。次に参照予測画像生成部２１３は、参照予測領域から参照予測画像を生成し、続いて差分画像生成部２１４は参照予測画像と第１一次予測画像とから差分画像を生成し、参照予測残差生成部２１５は参照予測画像と第２一次予測画像とから参照予測残差を生成する（ステップＳ２０５ｂ）。参照予測画像及び差分画像を生成する方法及び参照予測残差を生成する方法は、示す情報が映像符号データと多重化されていても構わないし、特にそうした情報を用いずに符号化時と同様の生成が行えるのであればなくても構わない。詳細については、符号化の場合と同様であるので詳細な説明を省略する。以下、ステップＳ２０６ａ〜Ｓ２０９の処理は、図８に示す処理動作と同様に実行する。

なお、前述の第１〜第３実施形態では、符号化対象フレームの全ブロックについて重み係数を適用する例を説明したが、一部のブロックにのみ適用してもよい。また、ブロックによって予測部における予測方法の組み合わせや重み係数の決定方法などを可変にしても構わない。その場合には、それらを示す情報を符号化し映像と共に多重化してもよいし、復号側に適用可否や予測方法などを判別する機能を付け加えてもよい。その場合には、符号化ノイズや伝送エラーによって復号不能になることを防ぐための回避機能や訂正機能を付け加えるとよい。

また、前述した第１〜第３実施形態では、基本的に参照予測残差を用いて重み係数を決定するが、参照予測画像と一次予測画像のみを用いて重み係数を決定しても構わない。例えば、第１一次予測画像と第２一次予測画像との重み付け混合が参照予測画像となることを仮定して参照重み付け係数を求め、ここから重み係数を決定する方法などが適用できる。この他にどのような方法を用いても構わない。

また、前述した第１〜第３実施形態では、参照領域を復号フレームメモリ上に記憶された参照画像上に設定しているが、他に別の画像や映像を入力し参照画像として参照領域を設定しても構わない。また、前述の第１〜第３実施形態では、符号化対象映像信号中の輝度信号や色差信号を特に区別していないが、区別しても構わない。例えば色差信号は固定の重み係数を用いて符号化し、輝度信号の符号化時に色差信号の符号化時の予測情報や予測残差を参照して重み係数を決定しても構わないし、逆でも構わない。あるいは、それぞれの重み係数として異なるものを決定し用いても構わない。

また、前述した第１〜第３実施形態では、第１一次予測画像と第２一次予測画像との混合によって予測画像を生成する例を説明しているが、３つ以上の一次予測画像を混合して予測画像を生成するようにしてもよい。また、その場合に使用する参照領域や参照予測残差や参照予測画像の数はいくつでも構わないし、その決定方法もどのようなものでも構わないし、複数の決定方法を組み合わせても構わない。また、前述した第１〜第３実施形態における一部の処理は、その順序が前後しても構わない。

なお、以上説明した映像符号化装置及び映像復号装置の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータで読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。図１４は、映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。本システムは、プログラムを実行するＣＰＵ３０と、ＣＰＵ３０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ３１と、カメラ等からの符号化対象の映像信号を入力する符号化対象映像入力部３２（ディスク装置などによる映像信号を記憶する記憶部でもよい）と、図２、図６、図１１に示す処理動作をＣＰＵ３０に実行させるソフトウェアプログラムである映像符号化プログラム３５１が格納されたプログラム記憶装置３５と、ＣＰＵ３０がメモリ３１にロードされた映像符号化プログラムを実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部３６（ディスク装置などによる符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。この他に、第２、３実施形態で説明したような符号化を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部３３（ディスク装置などによる補助情報信号を記憶する記憶部でもよい）をさらに接続する。図示省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。

図１５は、映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア図である。本システムは、プログラムを実行するＣＰＵ４０と、ＣＰＵ４０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ４１と、映像符号化装置が本手法により符号化した符号データを入力する符号データ入力部４２（ディスク装置などによる符号データを記憶する記憶部でもよい）と、図４、図８、図１３に示す処理動作をＣＰＵ４０に実行させるソフトウェアプログラムである映像復号プログラム４５１が格納されたプログラム記憶装置４５と、ＣＰＵ４０がメモリ４１にロードされた映像復号プログラムを実行することにより生成された復号映像を、再生装置などに出力する復号映像出力部４６とが、バスで接続された構成になっている。この他に、第２、３実施形態で説明したような復号を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部４３（ディスク装置などによる補助情報信号を記憶する記憶部でもよい）をさらに接続する。図示省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。

以上説明したように、符号化対象画像と相関性の高い参照画像上の参照領域に基づき生成される一次予測画像と、符号化対象画像に対する別の予測結果である別の一次予測画像に対し、参照領域を予測符号化した際の予測残差や予測画像やその他の予測情報からそれぞれの一次予測画像の予測精度を見積もり、精度に基づき画素毎に重み係数を導出し混合に用いることで、係数値を符号化することなしに高精度な予測画像を生成する。

これによれば、重み係数値を符号化することなしに高精度な予測画像を生成することができる。これにより、予測残差符号化に必要な符号量を削減することが出来るという効果が得られる。

なお、図１、３、５、７、１０、１２における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化処理、映像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

係数値を符号化することなしに高精度な予測画像を生成し、予測残差符号化に必要な符号量を削減することが不可欠な用途に適用できる。

１００・・・映像符号化装置、１０１・・・符号化対象映像入力部、１０２・・・入力フレームメモリ、１０３・・・参照フレームメモリ、１０４・・・残差メモリ、１０５・・・第１予測部、１０６・・・第２予測部、１０７・・・重み係数設定部、１０８・・・重み付け混合部、１０９・・・減算部、１１０・・・変換・量子化部、１１１・・・逆量子化・逆変換部、１１２・・・加算部、１１３・・・ループフィルタ部、１１４・・・エントロピー符号化部、１１５・・・査証予測画像生成部、１１６・・・差分画像生成部、１１７・・・参照予測残差生成部、２００・・・映像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照フレームメモリ、２０４・・・残差メモリ、２０５・・・エントロピー復号部、２０６・・・逆量子化・逆変換部、２０７・・・第１予測部、２０８・・・第２予測部、２０９・・・重み係数設定部、２１０・・・重み付け混合部、２１１・・・加算部、２１２・・・ループフィルタ部、２１３・・・参照予測画像生成部、２１４・・・差分画像生成部、２１５・・・参照予測残差生成部

Claims (32)

1. 符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と、第１の一次予測画像から予測画像を生成する映像符号化方法であって、
   前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、
   前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像から前記予測画像を生成する予測画像生成ステップと
   を有することを特徴とする映像符号化方法。
2. 前記第２の一次予測画像と前記参照予測残差とから参照予測画像を生成する参照予測画像生成ステップを更に有し、
   前記重み係数設定ステップは、前記参照予測残差と前記参照予測画像に基づき前記重み係数を設定することを特徴とする請求項１に記載の映像符号化方法。
3. 前記第１の一次予測画像は、前記参照領域と異なる領域である第１予測参照領域に基づく画像であることを特徴とする請求項１に記載の映像符号化方法。
4. 前記重み係数設定ステップは、前記参照予測残差と、前記第１予測参照領域を予測符号化した際の予測残差である第２の参照予測残差に基づき前記重み係数を設定することを特徴とする請求項３に記載の映像符号化方法。
5. 符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像符号化方法であって、
   前記参照領域から参照予測画像を設定する参照予測画像生成ステップと、
   前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、
   前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像から前記予測画像を生成する予測画像生成ステップと
   を有することを特徴とする映像符号化方法。
6. 前記第２の一次予測画像と前記参照予測画像とから参照予測残差を生成する参照予測残差生成ステップを更に有し、
   前記重み係数設定ステップは、前記参照予測残差に基づき前記重み係数を設定することを特徴とする請求項５に記載の映像符号化方法。
7. 前記参照予測画像と前記第１の一次予測画像とから差分画像を生成する差分画像生成ステップを更に有し、
   前記重み係数設定ステップは、前記参照予測残差と前記差分画像に基づき前記重み係数を設定することを特徴とする請求項２または６に記載の映像符号化方法。
8. 前記参照領域と前記第１の一次予測画像は、互いに異なる性質の画像上に設定することを特徴とする請求項１から７のいずれか１項に記載の映像符号化方法。
9. 前記参照領域は符号化対象と異なるカメラで撮影された画像上に設定することを特徴とする請求項８に記載の映像符号化方法。
10. 前記参照領域は符号化対象と異なるレイヤの画像上で設定することを特徴とする請求項８に記載の映像符号化方法。
11. 前記符号化対象画像と前記参照領域に基づく第２の一次予測画像との関係が前記第１の一次予測画像と前記参照予測画像との関係に等しくなるように前記第１の一次予測画像を設定することを特徴とする請求項８から１０のいずれか１項に記載の映像符号化方法。
12. 前記符号化対象画像と前記第１の一次予測画像との関係が前記参照領域に基づく第２の一次予測画像と前記参照予測画像との関係に等しくなるように参照領域を設定することを特徴とする請求項８から１０のいずれか１項に記載の映像符号化方法。
13. 映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号方法であって、
    前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、
    前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像から前記予測画像を生成する予測画像生成ステップと
    を有することを特徴とする映像復号方法。
14. 前記第２の一次予測画像と前記参照予測残差とから参照予測画像を生成する参照予測画像生成ステップを更に有し、
    前記重み係数設定ステップは、前記参照予測残差と前記参照予測画像に基づき前記重み係数を設定することを特徴とする請求項１３に記載の映像復号方法。
15. 前記第１の一次予測画像は、前記参照領域と異なる領域である第１予測参照領域に基づく画像であることを特徴とする請求項１３に記載の映像復号方法。
16. 前記重み係数設定ステップは、前記参照予測残差と、前記第１予測参照領域を予測符号化した際の予測残差である第２の参照予測残差に基づき前記重み係数を設定することを特徴とする請求項１５に記載の映像復号方法。
17. 映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号方法であって、
    前記参照領域から参照予測画像を設定する参照予測画像生成ステップと、
    前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定ステップと、
    前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像から前記予測画像を生成する予測画像生成ステップと
    を有することを特徴とする映像復号方法。
18. 前記第２の一次予測画像と前記参照予測画像とから参照予測残差を生成する参照予測残差生成ステップを更に有し、
    前記重み係数設定ステップは、前記参照予測残差に基づき前記重み係数を設定することを特徴とする請求項１７に記載の映像復号方法。
19. 前記参照予測画像と前記第１の一次予測画像とから差分画像を生成する差分画像生成ステップを更に有し、
    前記重み係数設定ステップは、前記参照予測残差と前記差分画像に基づき前記重み係数を設定することを特徴とする請求項１４または１８に記載の映像復号方法。
20. 前記参照領域と前記第１の一次予測画像は、互いに異なる性質の画像上に設定することを特徴とする請求項１３から１９のいずれか１項に記載の映像復号方法。
21. 前記参照領域は符号化対象と異なるカメラで撮影された画像上に設定することを特徴とする請求項２０に記載の映像復号方法。
22. 前記参照領域は符号化対象と異なるレイヤの画像上で設定することを特徴とする請求項２０に記載の映像復号方法。
23. 復号対象画像と前記参照領域に基づく第２の一次予測画像との関係が前記第１の一次予測画像と前記参照予測画像との関係に等しくなるように第１の一次予測画像を設定することを特徴とする請求項２０から２２のいずれか１項に記載の映像復号方法。
24. 前記復号対象画像と前記第１の一次予測画像の関係が前記参照領域に基づく第２の一次予測画像と前記参照予測画像との関係に等しくなるように参照領域を設定することを特徴とする請求項２０から２２のいずれか１項に記載の映像復号方法。
25. 符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と、第１の一次予測画像から予測画像を生成する映像符号化装置であって、
    前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、
    前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像から前記予測画像を生成する予測画像生成手段と
    を備えることを特徴とする映像符号化装置。
26. 符号化対象映像を構成するフレームを複数の処理領域に分割し、処理領域ごとに予測符号化を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像符号化装置であって、
    前記参照領域から参照予測画像を設定する参照予測画像生成手段と、
    前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、
    前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像から前記予測画像を生成する予測画像生成手段と
    を備えることを特徴とする映像符号化装置。
27. 映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号装置であって、
    前記参照領域を予測符号化した際の予測残差である参照予測残差に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、
    前記重み係数に基づいて前記第２の一次予測画像と前記第１の一次予測画像から前記予測画像を生成する予測画像生成手段と
    を備えることを特徴とする映像復号装置。
28. 映像符号化データを構成する復号対象フレームを複数の処理領域に分割し、処理領域ごとに復号を行う際に、参照領域と第１の一次予測画像から予測画像を生成する映像復号装置であって、
    前記参照領域から参照予測画像を設定する参照予測画像生成手段と、
    前記参照予測画像に基づき、前記参照領域に基づく第２の一次予測画像と前記第１の一次予測画像の画素ごとの重み係数を設定する重み係数設定手段と、
    前記重み係数に基づいて前記第１の一次予測画像と前記第２の一次予測画像から前記予測画像を生成する予測画像生成手段と
    を備えることを特徴とする映像復号装置。
29. 請求項１から１２のいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
30. 請求項１３から２４のいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
31. 請求項２９に記載の映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
32. 請求項３０に記載の映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images