JP2012124959A

JP2012124959A - 多視点映像の符号化、復号化方法及び装置

Info

Publication number: JP2012124959A
Application number: JP2012057573A
Authority: JP
Inventors: Jong-Bom Choe; チェー，ジョン−ボム; Wo-Son Sim; シム，ウ−ソン; Hak-Sop Song; ソン，ハク−ソプ; Yong-Ho Moon; ムン，ヨン−ホ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-04-11
Filing date: 2012-03-14
Publication date: 2012-06-28
Also published as: KR101144874B1; CN101682779A; EP2464119B1; JP2012165403A; SG179465A1; SG179467A1; CN102984514A; KR20080092210A; EP2464120A1; CN102984514B; MX2009010933A; CN102892003A; KR101301181B1; SG179461A1; JP5667110B2; SG179466A1; EP2464119A1; SG179462A1; KR20100097086A; CN102984516A

Abstract

【課題】さらに速く、効率的に多視点映像の符号化、復号化を行える多視点映像の符号化、復号化方法及び装置を提供する。
【解決手段】多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定し、決定結果によって視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスを符号化する。
【選択図】図２

Description

本発明は、多視点映像の符号化、復号化方法及び装置に係り、さらに詳細には、多視点映像の符号化、復号化のために必要な視点間予測（ｉｎｔｅｒ−ｖｉｅｗｐｒｅｄｉｃｉｔｉｏｎ）及び時間的予測（ｔｅｍｐｏｒａｌｐｒｅｄｉｃｔｉｏｎ）をさらに速く行うための多視点映像の符号化、復号化方法及び装置に関する。

多視点映像符号化では、多視点映像を提供する複数のカメラから入力された映像を同時に符号化する。多視点映像を時間的相関関係（ｔｅｍｐｏｒａｌｃｏｒｒｅｌａｔｉｏｎ）及びカメラ間（ｉｎｔｅｒ−ｖｉｅｗ）の空間的相関関係（ｓｐａｔｉａｌｃｏｒｒｅｌａｔｉｏｎ）を利用して圧縮符号化する。

図１は、従来技術による多視点映像のシーケンスを示す。図１において、横軸は時間軸であり、縦軸は視点軸である。多視点映像の符号化では、基本視点の映像に対して周期的にイントラピクチャー（Ｉｐｉｃｔｕｒｅ）を生成し、該生成されたイントラピクチャーに基づいて時間的予測（ｔｅｍｐｏｒａｌｐｒｅｄｉｃｔｉｏｎ）または視点間（ｉｎｔｅｒ−ｖｉｅｗｐｒｅｄｉｃｔｉｏｎ）予測を行って他のピクチャーを予測符号化する。

時間的予測とは、同じ視点、すなわち、同じ行にある映像間に時間的な相関関係を利用する予測である。視点間予測は、同じ時間、すなわち、同じ列にある映像間に空間的な相関関係を利用する予測である。

図１において、それぞれの行は多視点映像のそれぞれの視点に対する映像シーケンスを経時的に示す。それぞれの行は、上から順次に視点０、視点１、視点２、．．．の映像シーケンスとなる。ここで、視点０を基本視点とし、よって最初行の映像シーケンスは、基本視点の映像シーケンスとなる。基本視点の映像シーケンスに含まれたピクチャーは、時間的予測のみを行って予測符号化され、視点間予測は行わない。

また、それぞれの列は、同じ時間での多視点映像を示す。示された列のうち、イントラピクチャーを含んでいる列１１０、１２０、１３０に含まれているピクチャーをアンカーピクチャーと称する。アンカーピクチャーは、視点間予測のみを利用して予測符号化する。

イントラピクチャーを含んでいる列１１０、１２０、１３０を除外した残りの列１４０、１５０に含まれているピクチャーは、非アンカーピクチャー（ｎｏｎ−ａｎｃｈｏｒｐｉｃｔｕｒｅｓ）と称する。非アンカーピクチャーは、時間的予測及び視点間予測を利用して予測符号化する。

図１に示されたシーケンスのうち、第２行の第５列に位置したピクチャー１４１を例として説明する。ピクチャー１４１に含まれたブロックを各々視点間予測及び時間的予測を利用して予測する。ブロック単位で予測方法が異なりうるために、ピクチャー１４１を予測するには、隣接した奇数行に含まれているピクチャー１４２、１４３及び時間的に前後のピクチャー１１１、１２１をいずれも参照せねばならない。

同様に、非アンカーピクチャーは、視点間予測及び時間的予測のために４つのピクチャーを参照して予測符号化せねばならないので、従来技術によって多視点映像を符号化する場合、符号化の速度が遅い。

本発明が解決しようとする技術的課題は、多視点映像のシーケンスをさらに速く、効率的に符号化、復号化する多視点映像符号化、復号化方法及び装置を提供するところにあり、前記方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供するところにある。

前記技術的課題を解決するための本発明による多視点映像の符号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する段階と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して、前記ピクチャーを符号化する段階を含む。

本発明による望ましい実施例によれば、前記符号化する段階は、前記参照ピクチャーであるか否かを示す前記ピクチャー各々についてのパラメータを符号化する段階を含む。

前記技術的課題を解決するための本発明による多視点映像の符号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する決定部と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して、前記ピクチャーを符号化する符号化部を含む。

本発明によるさらに望ましい実施例によれば、前記符号化部は、前記決定に基づいて前記それぞれのピクチャーが視点間予測及び時間的予測のうち、少なくとも１つのために参照する参照ピクチャーについての情報を符号化することを特徴とする。

前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階を含む。

本発明によるさらに望ましい実施例によれば、前記情報は、前記ピクチャー各々についてのパラメータに含まれていることを特徴とする。

前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部を含む。

前記技術的課題を解決するための本発明による多視点映像の符号化方法は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化して、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する段階と、を含む。

本発明によるさらに望ましい実施例によれば、前記選択する段階は、前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャーを選択する段階を含む。

本発明によるさらに望ましい実施例によれば、前記符号化する段階は、前記選択されたピクチャーについての情報を符号化する段階を含む。

前記技術的課題を解決するための本発明による多視点映像の符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する選択部と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する符号化部と、を含む。

前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報を抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階と、を含む。

本発明によるさらに望ましい実施例によれば、前記情報は、シーケンスパラメータまたはＳＥＩメッセージに含まれていることを特徴とする。

前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報を抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部、を含む。

前記技術的課題を解決するための本発明は、前記多視点映像符号化及び復号化方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供する。

本発明によれば、多視点映像符号化及び復号化過程で多視点映像シーケンスに含まれた一部にピクチャーのみ視点間予測を利用して予測符号化及び復号化できて、符号化及び復号化の速度が速くなる。

また、視点間予測を利用しないピクチャーを予測する場合、参照せねばならないピクチャーの数が少ないので、予測符号化及び復号化過程で必要なメモリを効率よく利用しうる。

従来技術による多視点映像のシーケンスを示す図面である。本発明の一実施例による多視点映像の符号化装置を示す図面である。多視点映像シーケンスの時間的レベルを示す図面である。本発明の一実施例による多視点映像シーケンスを示す図面である。本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す図面である。本発明の一実施例によるＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）単位ヘッダの構文を示す図面である。本発明の一実施例によるシーケンスパラメータセットの構文を示す図面である。本発明の一実施例によるシーケンスパラメータセットの構文を示す図面である。本発明の一実施例によるＳＥＩメッセージを示す図面である。本発明の一実施例によるＳＥＩメッセージを示す図面である。本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。本発明の一実施例による多視点映像復号化装置を示す図面である。本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。

以下、図面を参照して本発明の望ましい実施例を詳細に説明する。

図２は、本発明の一実施例による多視点映像の符号化装置を示す。図２を参照すれば、本発明による多視点映像の符号化装置２００は、制御部２１０及び符号化部２２０を含む。

本発明の一実施例によれば、制御部２１０は、多視点映像シーケンスに含まれたピクチャーが視点間予測のために、シーケンスに含まれた他のピクチャーにより参照される参照ピクチャーであるか否かを決定する。

多視点映像シーケンスは、時間的に隣接したピクチャー間に存在する時間的相関関係及び隣接した視点のピクチャー間に存在する空間的な相関関係を利用して予測符号化される。シーケンスによって、時間的相関関係は高く、一方、空間的相関関係は低いシーケンスがありえる。この場合、空間的相関関係を利用する視点間予測を、図１と同様に、あらゆる非アンカーピクチャーに対して行うのは、多視点映像の符号化に消耗される時間のみ大きくするだけで、圧縮率の向上には別に影響を及ぼさない。

したがって、本発明による多視点映像符号化装置２００は、非アンカーピクチャーをいずれも視点間予測で予測符号化するものではなく、一部の非アンカーピクチャーに対してのみ視点間予測を行う。このために、制御部２１０は、シーケンスに含まれたピクチャーが各々視点間予測の参照ピクチャーとして機能しているか否かを判断する。換言すれば、視点間予測を行って予測符号化される他のピクチャーによって参照されるか否かを決定する。

本発明の他の実施例によれば、制御部２１０は、時間的レベル（ｔｅｍｐｏｒａｌｌｅｖｅｌ）に基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを多視点映像のシーケンスから選択する。ピクチャー各々に対して、他のピクチャーにより視点間予測のために参照されるか否かを決定する代わりに、積極的にいかなるピクチャーを、視点間予測を用いて符号化するかを選択する。従来の技術によれば、あらゆる非アンカーピクチャーが視点間予測及び時間的予測を利用して予測符号化される。しかし、本発明によって一部の非アンカーピクチャーのみ視点間予測を利用して符号化するために、時間的レベルに基づいて視点間予測及び時間的予測を利用して、符号化するピクチャーを多視点映像のシーケンスから選択する。

時間的レベルとは、映像シーケンスを複数のレベルに区分し、映像の復号化時に一部の時間的レベルのみを選択して復号化可能にすることによって、時間的スケーラビティを提供するためのパラメータである。図３を参照して詳細に説明する。

図３は、多視点映像シーケンスの時間的レベルを示す。多視点映像シーケンスの最初映像処理単位を例として説明する。図３を参照すれば、多視点映像シーケンスでアンカーピクチャー３１０、３１２の時間的レベルは‘０’である。アンカーピクチャー３１０、３１２の間に位置したピクチャー３１４の時間的レベルは‘１’であり、時間的レベルが‘０’であるピクチャーと時間的レベルが‘１’であるピクチャーとの間に位置したピクチャー３１６、３１８の時間的レベルは‘２’である。残りのピクチャーの時間的レベルは‘３’である。

図４Ａは、本発明の一実施例による多視点映像シーケンスを示す。

制御部２１０が多視点映像シーケンスに含まれたピクチャー各々に対して、視点間予測のための参照如何を決定するか、視点間予測及び時間的予測を利用して符号化するピクチャーを選択した結果によって生成される多視点映像シーケンスを示す。図４Ａに図示された多視点映像シーケンスは、視点間予測が選択的に行われる図１に示された従来技術による多視点映像シーケンスとは異なる多視点映像シーケンスとなる。

例えば、多視点映像シーケンスの第２行及び第２列に位置したピクチャー１４４は、図１に示された従来の技術によれば、最初行の第２列に位置したピクチャー１４５及び第３行及び第２列に位置したピクチャー１４６を視点間予測のために参照する。換言すれば、最初行の第２列に位置したピクチャー１４５及び第３行及び第２列に位置したピクチャー１４６は、視点間予測の参照ピクチャーとなる。

しかし、本発明の一実施例による多視点映像シーケンスでは、第２行及び第２列に位置したピクチャー４２０は、最初行の第２列に位置したピクチャー４２２及び第３行の第２列に位置したピクチャー４２４を視点間予測のために参照しない。第２行の第３列のピクチャー４２６及び第２行の第３列のピクチャー４２８を時間的予測のために参照するだけである。

図１に示されたような従来技術による多視点映像シーケンスの非アンカーピクチャーのうち、奇数行に含まれているピクチャーは、いずれも視点間予測のために他のピクチャーにより参照されたが、図４Ａに示された本発明の一実施例による多視点映像シーケンスでは奇数行に含まれている非アンカーピクチャーの一部のみが視点間予測のために他のピクチャーにより参照される。換言すれば、図４Ａに示された例では、奇数行に含まれている非アンカーピクチャーのうち、奇数列に位置した非アンカーピクチャーのみ視点間予測を利用して符号化する。

図４Ｂは、本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す。図４Ｂは、図４Ａに示された多視点映像シーケンスのようにシーケンスに含まれた一部のピクチャーのみ視点間予測を利用して符号化する場合、この一部のピクチャーを選択する方法を説明する。

図４Ｂは、時間的レベルに基づいて視点間予測のために参照されるピクチャーを決定した場合を例として説明する。図４Ｂでは、時間的レベルが３である非アンカーピクチャーは視点間予測を利用して符号化しないと決定する。換言すれば、非アンカーピクチャーのうち、時間的レベルが所定値以下である一部のピクチャーのみを、視点間予測及び時間的予測を利用して符号化するピクチャーとして選択する。

制御部２１０の決定または選択基準になる時間的レベルは、多視点映像シーケンスの特徴によって異なり、図４Ｂに示された例に限定されない。例えば、多視点映像を撮影するカメラ間の距離が大きいために、視点間に存在する空間的相関関係が大きくない場合には、あらゆる非アンカーピクチャーを視点間予測を行って予測する必要がない。この場合、時間的レベルが‘１’以下であるピクチャーのみを視点間予測を利用して予測し、極端な場合には、視点間予測を利用せず、非アンカーピクチャーを予測するように実施例を構成しうる。

また図２を参照すれば、本発明の一実施例によれば、符号化部２２０は、制御部２１０の決定または選択結果に基づいて多視点映像シーケンスを符号化する。換言すれば、決定部２１０の決定または選択結果に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスを予測符号化する。

多視点映像シーケンスに含まれているそれぞれのピクチャーを予測して、それぞれのピクチャーの予測値を原本ピクチャーから減算して多視点映像シーケンスの残差データを生成する。

符号化部２２０の予測実行時、所定のメモリに参照ピクチャーを保存して参照して、視点間予測または時間的予測を行う。従来技術によれば、非アンカーピクチャーを予測する時視点間予測及び時間的予測のためのピクチャーをいずれもメモリに保存していなければならない。しかし、本発明によれば、制御部２１０で視点間予測を行わないと決定したピクチャーに対しては、視点間予測のための参照ピクチャーをメモリに保存しておく必要はない。

例えば、図４Ａに示された第２行及び第２列に位置したピクチャー４２０を符号化するに当たって、ピクチャー４２０の上部及び下部に隣接した視点に位置したピクチャー４２２、４２４は視点間予測の参照ピクチャーではないので、このピクチャー４２２、４２４をメモリに保存する必要はない。これにより、メモリをさらに効率よく利用できるようになる。

制御部２１０で視点間予測に参照されないと決定されたピクチャーは、視点間予測のためには参照しないので、全体的な予測の速度も速くなる。

また図２を参照すれば、本発明の一実施例によれば、符号化部２２０は、多視点映像シーケンスを予測符号化するに当たって、制御部２１０で決定された視点間予測の参照ピクチャーであるか否かを示すパラメータも符号化してビットストリームに挿入する。制御部２１０で各ピクチャーに対して視点間予測のために参照されるか否かを決定すれば、符号化部２２０は、制御部２１０で決定した結果についての情報を符号化する。

視点間予測のために他のピクチャーによる参照如何はそれぞれのピクチャーごとに決定されるので、視点間予測のために、他のピクチャーによる参照如何を示す情報をそれぞれのピクチャーについてのパラメータに含める。

図５は、本発明の一実施例によるＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）単位ヘッダの構文を示す。

ＮＡＬ単位は、映像データのパケット化単位である。一般的に１つのＮＡＬ単位には、１つのピクチャーについてのデータが含まれるので、ＮＡＬ単位ヘッダにそれぞれのピクチャーが視点間予測のために、他のピクチャーによる参照如何を示す情報を含めて符号化する。

図５を参照すれば、従来技術によるＮＡＬ単位ヘッダに‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ’構文を追加し、他のピクチャーにより視点間予測のために参照されるか否かを示す。例えば、‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ＝１’であれば、視点間予測のために他のピクチャーにより参照されることを意味し、‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ＝０’であれば、視点間予測のために他のピクチャーにより参照されないことを意味する。

‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ’に新たビットを割当てられたので、‘ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｆｏｕｒ＿ｂｉｔｓ’構文も追加して余裕ビット（ｒｅｓｅｒｖｅｄｂｉｔｓ）の個数を変える。

再び図２を参照すれば、符号化部２２０が符号化を行う時には、それぞれのピクチャーが視点間予測及び時間的予測のために参照するピクチャーについての情報も符号化する。‘ＲｅｆＰｉｃＬｉｓｔ’構文が、このような情報を示す。制御部２１０で、それぞれのピクチャーが視点間予測の参照ピクチャーとして機能しているか否かを決定した。したがって、符号化部２２０で多視点映像シーケンスが符号化される時、視点間予測の参照ピクチャーとして機能しないピクチャーは他のピクチャーにより参照されない。

したがって、符号化部２２０がそれぞれのピクチャーに対して参照ピクチャーについての情報を符号化する時には、制御部２１０で視点間予測のために参照しないと決定されたピクチャーを除いては、‘ＲｅｆＰｉｃｌｉｓｔ’を生成しうる。

例えば、図４Ａに示されたピクチャー４２０を符号化するに当たって、従来技術によれば、上部及び下部の隣接した視点のピクチャー４２２、４２４も参照ピクチャーであり、これについての情報が‘ＲｅｆＰｉｃＬｉｓｔ’に共に含まれた。しかし、本発明によれば、ピクチャー４２０の参照ピクチャーには、上部及び下部の隣接した視点のピクチャー４２２、４２４は、参照ピクチャーでないと制御部２１０で決定されたので、‘ＲｅｆＰｉｃＬｉｓｔ’に含まれない。

本発明による他の実施例によれば、符号化部２２０は、制御部２１０がいかなるピクチャーを視点間予測及び時間的予測を利用して符号化するために選択したピクチャーについての情報も共に符号化してビットストリームに挿入する。

図６Ａないし図６Ｂを参照して詳細に説明する。

図６Ａは、本発明の一実施例によるシーケンスパラメータセットの構文を示す。図６Ａを参照すれば、符号化部２２０は、制御部２１０が選択したピクチャーを特定するための情報をシーケンスパラメータセットに含めて符号化しうる。本発明によるシーケンスパラメータセットは、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’構文を含む。

‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’は、多視点映像符号化装置２００により符号化される多視点映像シーケンスの時間的レベルが何段階であるかを示す情報である。図３Ｂに示された多視点映像シーケンスは‘０’から‘３’までの時間的レベルを有するので、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’は‘３’である。

‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’は、視点間予測及び時間的予測を利用して予測符号化されたピクチャーを特定するための情報である。ここで、‘ｉ’は時間的レベルを意味する。図４Ｂのように時間的レベルが‘１’及び‘２’であるピクチャーに対してのみ視点間予測を行う場合‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］＝１’、 ‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［２］＝１’、 ‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］＝０’に構文を設定しうる。値‘０’及び‘１’は、当該時間的レベルに含まれたピクチャーが視点間予測を利用して予測を行っているか否かを示すフラッグ（ｆａｇ）情報である。

時間的レベルが‘０’である場合、アンカーピクチャーであることを意味し、アンカーピクチャーの場合には視点間予測のみを利用して予測符号化するために、‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［０］’は別途に設定しない。

図６Ｂは、本発明のさらに他の実施例によるシーケンスパラメータセットの構文を示す。

図４Ｂで、制御部２１０は、時間的レベルのみを基準として視点間予測及び時間的予測を利用して予測符号化するピクチャーを選択した。換言すれば、特定の時間的レベルに含まれているピクチャーは、いずれも時間的予測を行っていない。しかし、時間的レベルだけでなく、それぞれの視点を基準にピクチャーを選択しうる。

例えば、視点１のシーケンスに含まれているピクチャーは、時間的レベルが１、２であるピクチャーに対して、視点間予測及び時間的予測を行い、視点３のシーケンスに含まれているピクチャーは、時間的レベルが１である場合にのみ視点間予測及び時間的予測を行える。換言すれば、視点ごとに個別的に視点間予測及び時間的予測を行うピクチャーを選択するものである。この場合、それぞれの視点ごとに選択されたピクチャーを特定するための構文が必要である。

図４Ｂを参照すれば、シーケンスパラメータセットは、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’構文を含む。

‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’は、図６Ａと関連して‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’と同一であるが、‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’は、図６Ａと関連して前述した‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’と相異なる。

‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’で、‘ｉ’は視点を意味し、‘ｊ’は時間的レベルを意味する。前述した例の通り、視点１のシーケンスに含まれたピクチャーは、時間的レベルが‘１’、 ‘２’であるピクチャーのみ視点間予測及び時間的予測を行い、視点３のシーケンスに含まれたピクチャーは、時間的レベルが‘１’であるピクチャーのみ視点間予測及び時間的予測を行う場合を例として説明する。

この場合、‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［１］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［２］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［３］＝０’である。

‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［１］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［２］＝０’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［３］＝０’である。

ここで、値‘０’及び‘１’は、図６Ａと同様に視点間予測を利用して予測を行っているか否かを示すフラッグ（ｆａｇ）情報である。

図６Ｃは、本発明の一実施例によるＳＥＩメッセージ（ｓｕｐｐｌｅｍｅｎｔａｌｅｎｈａｎｃｅｍｅｎｔｉｎｆｏｒｍａｔｉｏｎｍｅｓｓａｇｅ）を示す。図６Ｃを参照すれば、符号化部２２０は、制御部２１０が選択したピクチャーを特定するための情報をＳＥＩメッセージに含めて符号化しうる。

ＳＥＩメッセージは、動映像符号化階層（ｖｉｄｅｏｃｏｄｉｎｇｌａｙｅｒ）の復号化過程で必要な付加的な情報を示すものであって、各ピクチャーのタイミング情報、パン／スキャン機能に関する情報、ランダムアクセスを行うために必要な情報などを含むことができる。ＳＥＩメッセージは、ユーザが独自に定義する情報も含みうるが、本発明の一実施例によるＳＥＩメッセージは、制御部２１０が視点間予測を行うために選択したピクチャーを特定するための情報を含む。

図６Ｃで、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄｉｃｔｉｏｎ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’は、図６Ａと関連して前述した構文と同一である。

図６Ｄは、本発明の他の実施例によるＳＥＩメッセージを示す。図６Ｄで、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄｉｃｔｉｏｎ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’は、図６Ｂと関連して前述した構文と同一である。

図７は、本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。図７を参照すれば、段階７１０で本発明による多視点映像符号化装置は、多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定する。それぞれのピクチャーが視点間予測のためにシーケンスに含まれた他のピクチャーにより参照されるか否かを決定する。

本発明の一実施例による多視点映像符号化方法は非アンカーピクチャーをいずもれ視点間予測を利用して予測符号化せず、一部非アンカーピクチャーに対してのみ視点間予測を行う。したがって、視点間予測のために他のピクチャーにより参照されるピクチャーも一部に限定されるので、このために段階７１０ではそれぞれのピクチャーに対して視点間予測のために他のピクチャーにより参照されるか否かを決定する。望ましくは、時間的レベルに基づいて視点間予測の参照ピクチャーを決定する。

段階７２０で本発明による多視点映像符号化装置は、段階７１０での決定に基づいて、視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスのピクチャーを符号化する。

多視点映像シーケンスに含まれているそれぞれのピクチャーを視点間予測及び時間的予測のうち、少なくとも１つを利用して予測し、それぞれのピクチャーの予測値を原本ピクチャーから減算して、多視点映像シーケンスの残差データを生成する。

視点間予測実行時、視点間予測の参照ピクチャーではないと段階７１０で決定されたピクチャーは参照せず、視点間予測を行えるために、予測の速度及びメモリ利用の効率性が向上する。

多視点映像シーケンスを符号化するに当たって、段階７１０で視点間予測の参照ピクチャーとして決定されたピクチャーについての情報も共に符号化してビットストリームに挿入する。多視点映像シーケンスのピクチャー各々についてのパラメータに視点間予測の参照ピクチャーであるか否かを示す情報を挿入する。ＮＡＬ単位ヘッダに含めて符号化することは前述した。

図８は、本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。図８を参照すれば、段階８１０で本発明による多視点映像符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを選択する。多視点映像の視点ごとに個別的に視点間予測及び時間的予測を利用して符号化するピクチャーをも選択しうる。時間的レベルが所定値以下である非アンカーピクチャーを選択することによって、視点間予測及び時間的予測を行うピクチャーを選択する。

段階８２０で、多視点映像符号化装置は、段階８１０での選択結果に基づいて多視点映像シーケンスを符号化する。段階８１０で選択されたピクチャーは、視点間予測及び時間的予測を利用して予測符号化し、選択されたピクチャーを除外した残りのピクチャーは視点間予測または時間的予測を利用して予測符号化する。従来技術によれば、多視点映像シーケンスに含まれたあらゆる非アンカーピクチャーを視点間予測及び時間的予測を利用して予測符号化したが、本発明の一実施例によれば、非アンカーピクチャーのうち、一部のピクチャーのみ視点間予測及び時間的予測を利用して予測符号化することによって、多視点映像の符号化速度が速くなる。

多視点映像シーケンスの符号化時、段階８１０で視点間予測を行うために選択されたピクチャーについての情報も共に符号化してビットストリームに挿入する。シーケンスパラメータセットまたはＳＥＩメッセージの形で情報を符号化してビットストリームに挿入できるということは前述した。

図９は、本発明の一実施例による多視点映像復号化装置を示す。図９を参照すれば、本発明による多視点映像復号化装置９００は、抽出部９１０及び復号化部９２０を含む。

抽出部９１０は、本発明による多視点映像符号化方法により符号化された多視点映像シーケンスについてのデータを含んでいるビットストリームを受信する。ここで、多視点映像シーケンスについてのデータは、多視点映像シーケンスの残差データであり、ビットストリームには多視点映像シーケンスのそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かについての情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を含んでいる。

ビットストリームを受信した抽出部９１０は、受信されたビットストリームから情報を抽出する。視点間予測の参照ピクチャーであるか否かについてのそれぞれのピクチャーについてのパラメータまたは視点間予測及び時間的予測を利用して符号化されたピクチャーであることを示すパラメータを抽出する。ＮＡＬ単位ヘッダまたはシーケンスパラメータまたはＳＥＩメッセージに含まれている情報を抽出する。

復号化部９２０は、抽出部９１０で抽出された情報に基づいて多視点映像シーケンスについてのデータを復号化する。ビットストリームに含まれている多視点映像シーケンスについてのデータは残差データである。

したがって、復号化部９２０は、抽出部９１０で抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して、多視点映像シーケンスのそれぞれのピクチャーを予測し、予測結果を多視点映像シーケンスの残差データと加算して多視点映像シーケンスを復元する。

復号化部９２０で予測実行時、所定のメモリに参照ピクチャーを保存して予測を行う。しかし、本発明による多視点映像復号化装置９００は、視点間予測の実行時、抽出部９１０で抽出された情報によって視点間予測の参照ピクチャーではないピクチャーはメモリに保存しない。したがって、予測実行時、メモリに保存せねばならない参照ピクチャーの数が減るので、メモリをさらに効率的に利用しうる。

また、あらゆる非アンカーピクチャーに対して視点間予測を行わないので、予測速度が向上する。ランダムアクセスの場合にも、早いアクセスが可能となる。例えば、図４Ａに示された第２行及び第２列に位置したピクチャー４２０をランダムアクセスする場合を説明すれば、上部及び下部に隣接した視点に位置するピクチャー４２２、４２４は、視点間予測の参照ピクチャーではないものと既に決定されているので、視点間予測のために復号化する必要がない。したがって、早い予測が可能となって、早いアクセスも可能となる。

図１０は、本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。図１０を参照すれば、段階１０１０で本発明による多視点映像復号化装置は、多視点映像のシーケンスについてのデータを含むビットストリームを受信する。シーケンスについてのデータは、多視点映像シーケンスの残差データである。

段階１０２０で、多視点映像復号化装置は、段階１０１０で受信したビットストリームからシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを示す情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を抽出する。シーケンスについてのデータ、すなわち、残差データも抽出する。多視点映像シーケンスのＮＡＬ単位ヘッダまたはシーケンスパラメータまたはＳＥＩメッセージに含まれている情報を抽出する。

段階１０３０で、多視点映像復号化装置は、段階１０２０で抽出された情報に基づいて多視点映像シーケンスを復号化する。抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して予測し、予測結果に段階１０２０で抽出した残差データを加算して多視点映像シーケンスを復元する。

予測実行時、抽出された情報によって、視点間予測の参照ピクチャーではないと決定されたピクチャーは、視点間予測で参照しない。視点間予測をさらに速く効率よく行えるために、多視点映像の復号化速度も速くなる。

前述したように、本発明は、たとえ限定された実施例と図面により説明されたとしても、本発明が前記の実施例に限定されるものではなく、本発明が属する技術分野で当業者ならば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、特許請求の範囲によってのみ把握され、これと均等であるか、等価的な変形は、いずれも本発明の思想の範ちゅうに属するものである。また、本発明によるシステムは、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置または伝送媒体を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。伝送媒体は、キャリアウェーブ（例えば、インターネットを介した伝送）を含みうる。またコンピュータで読取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式によってコンピュータで読取り可能なコードが保存され、実行されうる。

Claims

多視点(multi-view)映像の予測復号化方法において、
前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測(inter-view prediction)のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報と前記シーケンスについてのデータとを含むビットストリームを受信する段階と、
前記受信されたビットストリームから前記参照ピクチャーであるか否かを示す情報と前記シーケンスについてのデータとを抽出する段階と、
前記抽出された参照ピクチャーであるか否かを示す情報に基づいて、前記シーケンスについてのデータに含まれたピクチャーを視点間予測復号化に利用するか否かを決定する段階と、
前記決定に基づいて予測符号化を行う段階と、を含み、
前記参照ピクチャーであるか否かを示す情報は、それぞれのピクチャーに対するパラメータに含まれていることを特徴とする多視点映像の予測復号化方法。
前記参照ピクチャーであるか否かについての情報は、NAL単位ヘッダ(NAL unit header)に含まれることを特徴とする請求項１に記載の多視点映像の予測復号化方法。
前記抽出する段階は、前記それぞれのピクチャーが視点間予測及び時間的予測のうち、少なくとも１つのために参照する参照ピクチャーについての情報を抽出する段階をさらに含むことを特徴とする請求項１に記載の多視点映像の予測復号化方法。