JP2015128250A

JP2015128250A - 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体

Info

Publication number: JP2015128250A
Application number: JP2013273293A
Authority: JP
Inventors: 志織杉本; Shiori Sugimoto; 信哉志水; Shinya Shimizu; 明小島; Akira Kojima
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-12-27
Filing date: 2013-12-27
Publication date: 2015-07-09
Anticipated expiration: 2033-12-27
Also published as: JP6306883B2

Abstract

【課題】符号化効率または復号映像品質を向上することができる映像符号化方法、映像復号方法を提供する。【解決手段】予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像符号化方法であって、参照ピクチャから画面間予測によって予測予測残差を生成する残差予測ステップと、予測予測残差を更新して新たな予測予測残差とする予測予測残差更新ステップとを有する。予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像復号方法であって、参照ピクチャから画面間予測によって予測予測残差を生成する残差予測ステップと、予測予測残差を更新して新たな予測予測残差とする予測予測残差更新ステップとを有する。【選択図】図１

Description

本発明は、映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体に関する。

一般的な映像符号化では、被写体の空間的／時間的な連続性を利用して、映像の各フレームを処理単位ブロックに分割し、ブロック毎にその映像信号を空間的／時間的に予測し、その予測方法を示す予測情報と予測残差信号とを符号化することで、映像信号そのものを符号化する場合に比べて大幅な符号化効率の向上を図っている。一般的な二次元映像符号化では、同じフレーム内の既に符号化済みのブロックを参照して符号化対象信号を予測するイントラ予測と、既に符号化済みの他のフレームを参照して動き補償などに基づき符号化対象信号を予測するフレーム間予測を行う。

ここで、多視点映像符号化について説明する。多視点映像符号化とは、同一のシーンを複数のカメラで撮影した複数の映像を、その映像間の冗長性を利用して高い効率で符号化するものである。多視点映像符号化については非特許文献１に詳しい。多視点映像符号化においては、一般的な映像符号化で用いられる予測方法の他に、既に符号化済みの別の視点の映像を参照して視差補償に基づき符号化対象信号を予測する視点間予測と、フレーム間予測により符号化対象信号を予測し、その残差信号を既に符号化済みの別の視点の映像の符号化時の残差信号を参照して予測する視点間残差予測などの方法が用いられる。視点間予測は、ＭＶＣ（Multiview Video Coding）などの多視点映像符号化ではフレーム間予測とまとめてインター予測として扱われ、Ｂピクチャにおいては２つ以上の予測画像を補間して予測画像とする双方向予測にも用いることができる。このように、多視点映像符号化においては、フレーム間予測と視点間予測の両方を行うことができるピクチャにおいてはフレーム間予測と視点間予測による双方向予測を行うことができる。

インター予測を行う場合にはその参照先を示す参照ピクチャインデックスや動きベクトルなどの参照情報を得る必要が有る。一般的には参照情報は予測情報として符号化し映像とともに多重化するが、その符号量を削減するために何らかの方法で参照情報を予測することもある。一般的な方法では、既に符号化済みの符号化対象画像の周辺ブロックが符号化時に使用した予測情報を取得し、符号化対象画像の予測に用いる参照情報とするダイレクトモードや、周辺ブロックの予測情報を候補リスト（Candidate List）としてリスト化し、リスト中から予測情報を取得する対象ブロックを識別する識別子を符号化するマージモードなどがある。

また他の方法として残差予測がある。残差予測は、高い相関を持つ２つの画像をそれぞれ予測符号化した場合にその予測残差も互いに相関を持つことを利用した予測残差の符号量を抑えるための方法である。残差予測については非特許文献２に詳しい。多視点映像符号化において用いられる視点間残差予測では、異なる視点の映像における符号化対象画像と対応する領域の符号化時の予測残差信号を符号化対象の予測残差信号から差し引くことによって残差信号のエネルギーを低減し、符号化効率を向上することが可能である。視点間の対応関係は、例えば既に符号化済みの周辺ブロックが視差補償予測で符号化されている場合に、その視差ベクトルによって符号化対象ブロックに対応する別の視点の領域を設定するなどの方法で求められる。この方法で求められる視差ベクトルはＤｉｓｐａｒｉｔｙｖｅｃｔｏｒｆｒｏｍｎｅｉｇｈｂｏｕｒｉｎｇｂｌｏｃｋｓ（ＮＢＤＶ）と呼ばれる。視点間残差予測は、Ｂピクチャにおいてフレーム間予測が用いられる場合に、その予測とは別に残差に対する更なる処理として用いられる。

また元々の予測方法が符号化対象視点と異なる視点の参照ピクチャを使用したインター予測である場合には、符号化対象フレームと異なるフレームにおける符号化対象画像と対応する領域の符号化時の予測残差信号を使用して同様に残差予測を行う方法もある。また、いずれの場合にも対応する領域の符号化時の予測残差を参照する代わりに、対応する領域に対して符号化対象画像で使用するものと同じ動き情報を使用して予測画像を生成し、対応する領域の画像との差分を取ることで予測残差の予測値を生成する方法がある。

なお、本明細書中において、画像とは動画像の１つのフレームまたは静止画像のことであり、複数のフレーム（画像）が集まったもの（動画像）を映像と称する。

M. Flierl and B. Girod, "Multiview video compression," Signal Processing Magazine, IEEE, no. November 2007, pp. 66-76, 2007. X. Wang and J. Ridge, "Improved video coding with residual prediction for extended spatial scalability," Communications, Control and Signal Processing, 2008. ISCCSP 2008. 3rd International Symposium on, no. March, pp. 1041-1046, 2008.

多視点映像の符号化において、残差予測は有効な符号量削減方法である。しかしながら、その予測精度は視点間対応の精度に大きく依存する。視点間対応の精度が十分でない場合には予測された予測残差と予測画像の間にずれが生じるため、符号化対象の予測残差を十分低減できない、または復号画像にノイズが発生するなどにより、十分な効果が得られないという問題がある。また視点間で信号特性が大きく異なる場合や、符号化対象映像にノイズが乗っている場合、また参照ピクチャ毎に符号化に起因する歪が乗っている場合にも、同様の問題が発生するという問題もある。

本発明は、このような事情に鑑みてなされたもので、符号化効率または復号映像品質を向上することができる映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体を提供することを目的とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像符号化方法であって、前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新ステップとを有することを特徴とする。

本発明は、前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、前記一次予測画像と前記予測予測残差から前記予測画像を生成する予測画像生成ステップと、さらに有することを特徴とする。

本発明は、前記参照ピクチャから前記画面間予測によって前記予測画像を生成する予測画像生成ステップと、前記予測予測残差と前記予測残差とから符号化対象予測残差を生成する予測残差生成ステップとさらに有することを特徴とする。

本発明は、前記予測予測残差更新ステップでは、前記予測予測残差に対してフィルタを適用して予測画像を更新することを特徴とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う符号化方法であって、前記参照ピクチャからフィルタを使用した画面間予測によって予測予測残差を生成する残差予測ステップを有することを特徴とする。

本発明は、前記フィルタを生成するフィルタ生成ステップをさらに有することを特徴とする。

本発明は、前記フィルタ生成ステップでは、前記予測予測残差または前記一次予測画像の情報に基づき前記フィルタを生成することを特徴とする。

本発明は、前記フィルタ生成ステップでは、前記予測対象領域の部分領域ごとに適応的に前記フィルタを生成することを特徴とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像復号方法であって、前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新ステップとを有することを特徴とする。

本発明は、前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、前記一次予測画像と前記予測予測残差とから前記予測画像を生成する予測画像生成ステップと、さらに有することを特徴とする。

本発明は、前記予測予測残差更新ステップでは、前記予測予測残差に対してフィルタを適用して前記予測画像を更新することを特徴とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う復号方法であって、前記参照ピクチャからフィルタを使用した前記画面間予測によって予測予測残差を生成する残差予測ステップを有することを特徴とする。

本発明は、前記フィルタ生成ステップは、前記予測予測残差または前記一次予測画像の情報に基づき前記フィルタを生成することを特徴とする。

本発明は、前記フィルタ生成ステップは、前記予測対象領域の部分領域ごとに適応的に前記フィルタを生成することを特徴とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像符号化装置であって、前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測手段と、前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新手段とを備えることを特徴とする。

本発明は、予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像復号装置であって、前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測手段と、前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新手段とを備えることを特徴とする。

本発明は、前記映像符号化方法をコンピュータに実行させるための映像符号化プログラムである。

本発明は、前記映像復号方法をコンピュータに実行させるための映像復号プログラムである。

本発明は、前記映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明は、前記映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、残差予測による残差予測値を更新あるいはフィルタリングし、主に残差予測の精度に由来するノイズを防止することにより符号化効率または復号映像品質を向上することができるという効果が得られる。

本発明の第１実施形態による映像符号化装置の構成を示すブロック図である。図１に示す映像符号化装置１００の処理動作を示すフローチャートである。本発明の第１実施形態による映像復号装置の構成を示すブロック図である。図３に示す映像復号装置２００の処理動作を示すフローチャートである。本発明の第２実施形態による映像符号化装置の構成を示すブロック図である。図５に示す映像符号化装置１００ａの処理動作を示すフローチャートである。本発明の第２実施形態による映像復号装置の構成を示すブロック図である。図７に示す映像復号装置２００ａの処理動作を示すフローチャートである。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像符号化装置を説明する。図１は、本発明の第１実施形態による映像符号化装置１００の構成を示すブロック図である。映像符号化装置１００は、図１に示すように、符号化対象映像入力部１０１、入力映像メモリ１０２、参照ピクチャメモリ１０３、一次予測画像生成部１０４、予測予測残差生成部１０５，予測予測残差更新部１０６、予測画像生成部１０７、減算部１０８、変換・量子化部１０９、逆量子化・逆変換部１１０、加算部１１１、及びエントロピー符号化部１１２を備えている。

符号化対象映像入力部１０１は、符号化対象となる映像を入力する。以下の説明では、この符号化対象となる映像のことを符号化対象映像と呼び、特に処理を行うフレームを符号化対象フレームまたは符号化対象ピクチャと呼ぶ。入力映像メモリ１０２は、入力された符号化対象映像を記憶する。参照ピクチャメモリ１０３は、それまでに符号化・復号された画像を記憶する。以下は、この記憶されたフレームを参照フレームまたは参照ピクチャと呼ぶ。

一次予測画像生成部１０４は、参照ピクチャメモリ１０３に記憶された参照ピクチャを使用して符号化対象領域に対する予測を行い、一次予測画像を生成する。予測予測残差生成部１０５は、参照ピクチャメモリ１０３に記憶された参照ピクチャと一次予測画像生成時の予測情報を使用して予測予測残差を生成する。予測予測残差更新部１０６は、生成された予測予測残差を更新し新たな予測予測残差とする。予測画像生成部１０７は、予測予測残差と一次予測画像とから予測画像を生成する。減算部１０８は、符号化対象画像と予測画像の差分を求め、予測残差を生成する。

変換・量子化部１０９は、生成された予測残差を変換・量子化し、量子化データを生成する。逆量子化・逆変換部１１０は、生成された量子化データを逆量子化・逆変換し、復号予測残差を生成する。加算部１１１は、復号予測残差と予測画像とを加算し復号画像を生成する。エントロピー符号化部１１２は、量子化データをエントロピー符号化し符号データを生成する。

次に、図２を参照して、図１に示す映像符号化装置１００の処理動作を説明する。図２は、図１に示す映像符号化装置１００の処理動作を示すフローチャートである。ここでは、符号化対象映像は多視点映像のうちの一つの映像であることとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を符号化し復号する構造をとるものとする。ここでは符号化対象映像中のある１フレームを符号化する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。

まず、符号化対象映像入力部１０１は、符号化対象ピクチャを入力し、入力映像メモリ１０２に記憶する（ステップＳ１０１）。なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号結果が参照ピクチャメモリ１０３に記憶されているものとする。また、符号化対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に符号化され復号されて参照ピクチャメモリ１０３に記憶されているものとする。

映像入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１２の繰り返しループ）。以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップＳ１０３〜Ｓ１１０の処理はピクチャの全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、一次予測画像生成部１０４は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ１０３）。予測はどのような方法で行ってもよいし、動き情報はどのようなものでもよい。参照情報として一般的なものとして、参照ピクチャを特定する参照ピクチャインデックス情報と、参照ピクチャ上での参照位置を示す動きベクトルの組み合わせなどがある。

予測方法として一般的なものとしては、候補となる参照ピクチャ上でマッチングを行い参照先を決定する方法や、ダイレクトモードやマージモードと呼ばれる既に符号化済みの周辺ブロックの符号化時の予測に用いた動き情報を継承する方法などがある。その他どのような予測方法、動き情報を使用してもよい。動き情報は符号化し映像の符号データと多重化してもよいし、また動き情報を特定可能な情報を別に符号化し多重化してもよいし、前述のように周辺の動き情報や候補リストから導き出せる場合には符号化しなくてもよい。また、動き情報を予測しその残差を符号化してもよい。

次に、予測予測残差生成部１０５は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ１０４）。残差予測はどのような方法で行ってもよい。一般的な方法としては、符号化対象領域に対応する参照ピクチャメモリ内の参照ピクチャ上の別の領域を参照領域とし、参照領域における符号化時の予測残差を取得し、符号化対象領域における予測予測残差とする方法などがある。あるいは、参照領域に対して符号化対象画像で使用するものと同じ動き情報を使用して、参照領域に対する予測画像を生成し、参照領域の画像との差分を取ることで予測予測残差を生成する方法がある。

また、参照領域はどのような方法で決定してもよい。一般的な方法では、符号化対象領域と異なる視点の映像における符号化対象画像と対応する領域を参照領域とする場合に、既に符号化済みの周辺ブロックの視差補償予測で使用した動きベクトルによって参照領域を決定する方法などがある。

次に、予測予測残差更新部１０６は、生成された予測予測残差を更新し新たな予測予測残差とする（ステップＳ１０５）。更新の方法はどのような方法でもよい。以下では例として、参照領域と符号化対象領域の対応関係に誤差が見込まれる場合の残差予測による予測精度を向上する例を説明する。参照領域と符号化対象領域の対応関係に整数画素レベルあるいは小数画素レベルのずれが見込まれる場合、残差予測で生成された予測予測残差も同程度ずれが見込まれ、このずれによって残差予測の性能が大きく低下する。このような場合には、予測予測残差を平滑化フィルタやその他のローパスフィルタなどを適用して更新することによりずれによる誤差を平均化するなどしてもよい。

また別の例として、符号化対象映像に何らかのノイズが乗っており、そのため予測予測残差にも同種のノイズが残留している場合についても説明する。この場合には、予測予測残差を何らかのノイズ除去フィルタを適用して更新することにより誤差を低減するなどしてもよい。この場合、参照領域やその予測画像などを使用してノイズモデルを見積もり、更新に利用するなどしてもよい。またあるいは、参照ピクチャに符号化歪が乗っている場合などには、符号化歪みによるノイズを参照領域の符号化時の量子化パラメータなどに基づいて見積もってもよい。

また別の例として、アクセス可能領域の違いなどの問題から参照領域に対して符号化対象画像で使用するものと同じ動き情報や同じフレームの参照ピクチャを使用せず、異なる動き情報や異なるフレームの参照ピクチャを使用して参照領域に対する予測画像を生成して予測予測残差生成に使用している場合や、参照領域における符号化時の予測残差を取得し符号化対象領域における予測予測残差としている場合の残差予測の精度向上についても説明する。この場合には、動き情報の違いやずれに起因して予測予測残差にもずれが見込まれる。このような場合には、符号化対象領域と参照領域のそれぞれで使用した動き情報などから更新に必要な情報を決定してもよい。例えば、動きベクトルの差からフィルタのカーネル幅や強度などを見積もるなどしてもよい。

また、予め定められたフィルタの中から適切なものを選択し使用するとしてもよい。上述のいずれの例の場合にも、更新に使用したパラメータやフィルタ係数や、それらを特定可能な情報を付加情報として符号化し映像とともに多重化してもよい。

予測予測残差を更新したら、予測画像生成部１０７は、第一予測画像と予測予測残差とから予測画像を生成する（ステップＳ１０６）。予測画像はどのように生成してもよい。一般的には、一次予測画像と予測予測残差とを加算することで予測画像を生成する方法などがある。次に、減算部１０８は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０７）。次に、予測残差の生成が終了したら、変換・量子化部１０９は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０８）。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いてもよい。そして、変換・量子化が終了したら、逆量子化・逆変換部１１０は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０９）。

次に、復号予測残差の生成が終了したら、加算部１１１は、復号予測残差と予測画像とを加算し復号画像を生成し、参照ピクチャメモリ１０３に記憶する（ステップＳ１１０）。必要であれば復号画像にループフィルタをかけてもよい。通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。

次に、エントロピー符号化部１１２は、量子化データをエントロピー符号化し符号データを生成し、必要であれば、予測情報や残差予測情報その他の付加情報も符号化し符号データと多重化し（ステップＳ１１１）、全てのブロックについて処理が終了したら、符号データを出力する（ステップＳ１１２）。

次に、本発明の第１実施形態による映像復号装置について説明する。図３は、本発明の第１実施形態による映像復号装置２００の構成を示すブロック図である。映像復号装置２００は、図３に示すように、符号データ入力部２０１、符号データメモリ２０２、参照ピクチャメモリ２０３、エントロピー復号部２０４、逆量子化・逆変換部２０５、一次予測画像生成部２０６、予測予測残差生成部２０７、予測予測残差更新部２０８、予測画像生成部２０９、加算部２１０を備えている。

符号データ入力部２０１は、復号対象となる映像符号データを入力する。この復号対象となる映像符号データのことを復号対象映像符号データと呼び、特に処理を行うフレームを復号対象フレームまたは復号対象ピクチャと呼ぶ。符号データメモリ２０２は、入力された復号対象映像を記憶する。参照ピクチャメモリ２０３は、すでに復号済みの画像を記憶する。エントロピー復号部２０４は、復号対象ピクチャの符号データをエントロピー復号し量子化データを生成し、逆量子化・逆変換部２０５は量子化データに逆量子化／逆変換を施して復号予測残差を生成する。

一次予測画像生成部２０６は、参照ピクチャメモリ２０３に記憶された参照ピクチャを使用して符号化対象領域に対する予測を行い、一次予測画像を生成する。予測予測残差生成部２０７は、参照ピクチャメモリ２０３に記憶された参照ピクチャと一次予測画像生成時の予測情報を使用して予測予測残差を生成する。予測予測残差更新部２０８は、生成された予測予測残差を更新し新たな予測予測残差とする。予測画像生成部２０９は、予測予測残差と一次予測画像とから予測画像を生成する。加算部２１０は、復号予測残差と予測画像とを加算し復号画像を生成する。

次に、図４を参照して、図３に示す映像復号装置２００の処理動作を説明する。図４は、図３に示す映像復号装置２００の処理動作を示すフローチャートである。復号対象映像は多視点映像のうちの一つの映像であるものとし、多視点映像はフレーム毎に１視点ずつ全視点の映像を復号する構造をとるものとする。ここでは符号データ中のある１フレームを復号する処理について説明する。説明する処理をフレームごとに繰り返すことで、映像の復号が実現できる。

まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ２０３に記憶されているとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号され復号されて参照ピクチャメモリ２０３に記憶されていることとする。

次に、符号データ入力の後、復号対象ピクチャを復号対象ブロックに分割し、ブロック毎に復号対象ピクチャの映像信号を復号する（ステップＳ２０２〜Ｓ２１０の繰り返しループ）。以下では、復号対象となるブロックの画像のことを復号対象ブロックまたは復号対象画像と呼ぶ。ステップＳ２０３〜Ｓ２０９の処理はフレーム全てのブロックに対して繰り返し実行する。

復号対象ブロックごとに繰り返される処理において、まず、エントロピー復号部２０４は、符号データをエントロピー復号する（ステップＳ２０３）。逆量子化・逆変換部２０５は、逆量子化・逆変換を行い、復号予測残差を生成する（ステップＳ２０４）。予測情報やその他の付加情報が符号データに含まれる場合は、それらも復号し適宜必要な情報を生成してもよい。

ステップＳ２０５からステップＳ２０８までの処理は、映像符号化装置１００におけるステップＳ１０３からステップＳ１０６までの処理と同様であるので、ここでは簡単に説明する。一次予測画像生成部２０６は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ２０５）。次に、予測予測残差生成部２０７は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ２０６）。次に、予測予測残差更新部２０８は、生成された予測予測残差を更新し新たな予測予測残差とする（ステップＳ２０７）。予測予測残差を更新したら、予測画像生成部２０９は、一次予測画像と予測予測残差とから予測画像を生成する（ステップＳ２９８）。

次に、予測画像の生成が終了したら、加算部２１０は、復号予測残差と予測画像を加算し、復号画像を生成し、参照ピクチャメモリに記憶する（ステップＳ２０９）。必要であれば復号画像に更にループフィルタをかけてもよい。通常の映像復号では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。そして、全てのブロックについて処理が終了したら、復号フレームとして出力する（ステップＳ２１０）。

＜第２実施形態＞
次に、本発明の第２実施形態による映像符号化装置を説明する。図５は、本発明の第２実施形態による映像符号化装置１００ａの構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、予測予測残差更新部１０６を省略し、新にフィルタ決定部１１３を備えている点である。フィルタ決定部１１３は、残差予測に使用するフィルタを決定する。また、予測予測残差生成部１０５は、決定されたフィルタを使用して残差予測を行い予測予測残差を生成する。

次に、図６を参照して、図５に示す映像符号化装置１００ａの処理動作を説明する。図６は、図５に示す映像符号化装置１００ａの処理動作を示すフローチャートである。図６において、図２に示す処理と同一の部分には同一の符号を付し、その説明を簡単に行う。

まず、符号化対象映像入力部１０１は、符号化対象ピクチャを入力し、入力映像メモリ１０２に記憶する（ステップＳ１０１）。映像入力の後、符号化対象ピクチャを符号化対象ブロックに分割し、ブロック毎に符号化対象ピクチャの映像信号を符号化する（ステップＳ１０２〜Ｓ１１２の繰り返しループ）。以下では、符号化対象となるブロックの画像のことを符号化対象ブロックまたは符号化対象画像と呼ぶ。以下のステップＳ１０３〜Ｓ１１１の処理はピクチャの全てのブロックに対して繰り返し実行する。

符号化対象ブロックごとに繰り返される処理において、まず、一次予測画像生成部１０４は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ１０３）。

次に、フィルタ決定部１１３は、残差予測に使用するフィルタを決定し（ステップＳ１０４ａ）、フィルタを決定したら、予測予測残差生成部１０５は、決定されたフィルタを使用して予測予測残差を生成する（ステップＳ１０５ａ）。残差予測において、参照領域の画像やその予測画像は一般的な画面間予測によって生成され、また一般に画面間予測では小数画素単位での画像取得のため補間フィルタが使用される。前述した第１実施形態についての説明のとおり、通常残差予測によって生成される予測予測残差には様々なノイズやずれが見込まれる。そのようなノイズやずれを補正するあるいは分散するようなフィルタを使用して画面間予測を行うことによって残差予測における参照領域画像やその予測画像を生成し、予測予測残差生成に使用してもよい。またあるいは、通常の画面間予測によって生成した参照領域画像やその予測画像に対してフィルタ処理を行い新な画像とし、予測予測残差生成に使用してもよい。

またあるいは、一般に画面間予測には６タップから８タップなどの精度の高い補間フィルタが使用されるが、残差予測において参照領域を示す情報やその予測先を示す情報にある程度の誤差が見込まれる場合には補間フィルタの精度を適応的に下げることで演算量の削減を図ってもよい。フィルタ生成の方法はどのような方法でもよい。第１実施例で説明した方法でも良いし、また別の方法でもよい。

また、予め定められたフィルタの中から適切なものを選択し使用するとしてもよい。上述のいずれの例の場合にも、更新に使用したパラメータやフィルタ係数や、それらを特定可能な情報を付加情報として符号化し映像とともに多重化してもよい。また、ここで決定したフィルタを一次予測画像生成に使用してもよい。

予測予測残差生成の方法は第１実施形態で説明したとおりであるが、参照領域の画像やその予測画像、あるいは参照領域の符号化時の予測残差などを決定されたフィルタを使用して生成し予測予測残差を生成してもよいし。通常の画面間予測で生成したそれらにフィルタ処理を施し予測予測残差を生成してもよい。

予測予測残差を更新したら、予測画像生成部１０７は、第一予測画像と予測予測残差とから予測画像を生成する（ステップＳ１０６）。次に、減算部１０８は予測画像と符号化対象ブロックの差分をとり、予測残差を生成する（ステップＳ１０７）。次に、予測残差の生成が終了したら、変換・量子化部１０９は予測残差を変換・量子化し、量子化データを生成する（ステップＳ１０８）。そして、変換・量子化が終了したら、逆量子化・逆変換部１１０は、量子化データを逆量子化・逆変換し復号予測残差を生成する（ステップＳ１０９）。

次に、本発明の第２実施形態による映像復号装置について説明する。図７は、本発明の第２実施形態による映像復号装置２００ａの構成を示すブロック図である。この図において、図３に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図３に示す装置と異なる点は、予測予測残差更新部２０８を省略し、新にフィルタ決定部２１１を備えている点である。フィルタ決定部２１１は、残差予測に使用するフィルタを決定する。また、予測予測残差生成部２０７は、決定されたフィルタを使用して残差予測を行い予測予測残差を生成する。

次に、図８を参照して、図７に示す映像復号装置２００ａの処理動作を説明する。図８は、図７に示す映像復号装置２００ａの処理動作を示すフローチャートである。図８において、図４に示す処理と同一の部分には同一の符号を付し、その説明を簡単に行う。まず、符号データ入力部２０１は符号データを入力し、符号データメモリ２０２に記憶する（ステップＳ２０１）。なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、その復号結果が参照ピクチャメモリ２０３に記憶されているとする。また、復号対象ピクチャと同じフレームまでの参照可能な別の視点の映像も既に復号され復号されて参照ピクチャメモリ２０３に記憶されていることとする。

ステップＳ２０５からステップＳ２０８までの処理は、映像符号化装置１００におけるステップＳ１０３からステップＳ１０６までの処理と同様であるので、ここでは簡単に説明する。一次予測画像生成部２０６は、符号化対象ブロックに対して、参照ピクチャメモリ内の参照ピクチャを参照するインター予測を行い、参照先を示す情報である動き情報を決定し、参照先の画像から一次予測画像を生成する（ステップＳ２０５）。

次に、フィルタ決定部２１１は、残差予測に使用するフィルタを決定する（ステップＳ２０６ａ）。フィルタを決定したら、予測予測残差生成部２０７は、決定されたフィルタを使用して予測予測残差を生成する（ステップＳ２０７ａ）。詳細は映像符号化装置１００ａと同様である。

次に、予測予測残差生成部２０７は、符号化対象領域に対する残差予測を行い、予測予測残差を生成する（ステップＳ２０６）。次に、予測予測残差更新部２０８は、生成された予測予測残差を更新し新たな予測予測残差とする（ステップＳ２０７）。予測予測残差を更新したら、予測画像生成部２０９は、一次予測画像と予測予測残差とから予測画像を生成する（ステップＳ２９８）。

なお、前述した実施形態では生成した予測予測残差を使用して予測画像を更新し新な予測画像とする場合について説明したが、一次予測画像をそのまま予測画像とし予測残差を決定した後に予測予測残差を使用して予測残差を更新して符号化対象予測残差としてもよい。また、前述した実施形態では符号化対象映像が多視点映像のうちの一つの映像である場合を説明したが、他にスケーラブル映像の一つの映像である場合など、互いに相関のある映像を共に符号化し多重化する場合には、同様の方法で残差予測を適用できる映像について、同様の方法で残差予測のノイズを低減させてもよい。

また、前述した第１〜第２実施形態における一部の処理は、その順序が前後しても構わない。

以上説明したように、残差予測による残差予測値を更新あるいはフィルタリングし、主に残差予測の精度に由来するノイズを防止することで符号化効率または復号映像品質を向上することができる。

前述した実施形態における映像符号化装置及び映像復号装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

残差予測による残差予測値を更新あるいはフィルタリングし、主に残差予測の精度に由来するノイズを防止することで符号化効率または復号映像品質を向上することが不可欠な用途に適用できる。

１００・・・映像符号化装置、１０１・・・符号化対象映像入力部、１０２・・・入力映像メモリ、１０３・・・参照ピクチャメモリ、１０４・・・一次予測画像生成部、１０５・・・予測予測残差生成部、１０６・・・予測予測残差更新部、１０７・・・予測画像生成部、１０８・・・減算部、１０９・・・変換・量子化部、１１０・・・逆量子化・逆変換部、１１１・・・加算部、１１２・・・エントロピー符号化部、１１３・・・フィルタ決定部、２００・・・映像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照ピクチャメモリ、２０４・・・エントロピー復号部、２０５・・・逆量子化・逆変換部、２０６・・・一次予測画像生成部、２０７・・・予測予測残差生成部、２０８・・・予測予測残差更新部、２０９・・・予測画像生成部、２１０・・・加算部、２１１・・・フィルタ決定部

Claims

予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像符号化方法であって、
前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、
前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新ステップと
を有することを特徴とする映像符号化方法。
前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、
前記一次予測画像と前記予測予測残差から前記予測画像を生成する予測画像生成ステップと、
さらに有することを特徴とする請求項１に記載の映像符号化方法。
前記参照ピクチャから前記画面間予測によって予測画像を生成する予測画像生成ステップと、
前記予測予測残差と予測残差とから符号化対象予測残差を生成する予測残差生成ステップと
さらに有することを特徴とする請求項１に記載の映像符号化方法。
前記予測予測残差更新ステップでは、前記予測予測残差に対してフィルタを適用して予測画像を更新することを特徴とする請求項１から３のいずれか１項に記載の映像符号化方法。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う符号化方法であって、
前記参照ピクチャからフィルタを使用した画面間予測によって予測予測残差を生成する残差予測ステップを有することを特徴とする映像符号化方法。
前記フィルタを生成するフィルタ生成ステップをさらに有することを特徴とする請求項４または５のいずれか１項に記載の映像符号化方法。
前記フィルタ生成ステップでは、前記予測予測残差または一次予測画像の情報に基づき前記フィルタを生成することを特徴とする請求項６に記載の映像符号化方法。
前記フィルタ生成ステップでは、前記予測対象領域の部分領域ごとに適応的に前記フィルタを生成することを特徴とする請求項６または７に記載の映像符号化方法。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像復号方法であって、
前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測ステップと、
前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新ステップと
を有することを特徴とする映像復号方法。
前記参照ピクチャから前記画面間予測によって一次予測画像を生成する一次予測画像生成ステップと、
前記一次予測画像と前記予測予測残差とから前記予測画像を生成する予測画像生成ステップと、
さらに有することを特徴とする請求項９に記載の映像復号方法。
前記参照ピクチャから前記画面間予測によって前記予測画像を生成する予測画像生成ステップと、
前記予測予測残差と予測残差とから符号化対象予測残差を生成する予測残差生成ステップと
さらに有することを特徴とする請求項９に記載の映像復号方法。
前記予測予測残差更新ステップでは、前記予測予測残差に対してフィルタを適用して前記予測画像を更新することを特徴とする請求項９から１１のいずれか１項に記載の映像復号方法。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う復号方法であって、
前記参照ピクチャからフィルタを使用した前記画面間予測によって予測予測残差を生成する残差予測ステップを有することを特徴とする映像復号方法。
前記フィルタを生成するフィルタ生成ステップをさらに有することを特徴とする請求項１２または１３に記載の映像復号方法。
前記フィルタ生成ステップは、前記予測予測残差または一次予測画像の情報に基づき前記フィルタを生成することを特徴とする請求項１４に記載の映像復号方法。
前記フィルタ生成ステップは、前記予測対象領域の部分領域ごとに適応的に前記フィルタを生成することを特徴とする請求項１４または１５に記載の映像復号方法。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像符号化装置であって、
前記参照ピクチャから画面間予測によって予測予測残差を生成する残差予測手段と、
前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新手段と
を備えることを特徴とする映像符号化装置。
予測対象領域に対して予測を行い予測画像を生成する際に、参照ピクチャから画面間予測によって生成された画像に対して更に残差予測を行う映像復号装置であって、
前記参照ピクチャから前記画面間予測によって予測予測残差を生成する残差予測手段と、
前記予測予測残差を更新して新たな予測予測残差とする予測予測残差更新手段と
を備えることを特徴とする映像復号装置。
請求項１から８のいずれか１項に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
請求項９から１６のいずれか１項に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
請求項１９に記載の映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
請求項２０に記載の映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。