JP2012147470A - 多視点映像の符号化、復号化方法及び装置 - Google Patents
多視点映像の符号化、復号化方法及び装置 Download PDFInfo
- Publication number
- JP2012147470A JP2012147470A JP2012057571A JP2012057571A JP2012147470A JP 2012147470 A JP2012147470 A JP 2012147470A JP 2012057571 A JP2012057571 A JP 2012057571A JP 2012057571 A JP2012057571 A JP 2012057571A JP 2012147470 A JP2012147470 A JP 2012147470A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- picture
- inter
- view
- temporal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002123 temporal effect Effects 0.000 claims abstract description 105
- 230000000153 supplemental effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】 さらに速く、効率的に多視点映像の符号化、復号化を行える多視点映像の符号化、復号化方法及び装置を提供する。
【解決手段】 多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定し、決定結果によって視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスを符号化する。
【選択図】 図２
【解決手段】 多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定し、決定結果によって視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスを符号化する。
【選択図】 図２
Description
本発明は、多視点映像の符号化、復号化方法及び装置に係り、さらに詳細には、多視点映像の符号化、復号化のために必要な視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｉｔｉｏｎ）及び時間的予測（ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ）をさらに速く行うための多視点映像の符号化、復号化方法及び装置に関する。
多視点映像符号化では、多視点映像を提供する複数のカメラから入力された映像を同時に符号化する。多視点映像を時間的相関関係（ｔｅｍｐｏｒａｌ ｃｏｒｒｅｌａｔｉｏｎ）及びカメラ間（ｉｎｔｅｒ−ｖｉｅｗ）の空間的相関関係（ｓｐａｔｉａｌ ｃｏｒｒｅｌａｔｉｏｎ）を利用して圧縮符号化する。
図１は、従来技術による多視点映像のシーケンスを示す。図１において、横軸は時間軸であり、縦軸は視点軸である。多視点映像の符号化では、基本視点の映像に対して周期的にイントラピクチャー（Ｉ ｐｉｃｔｕｒｅ）を生成し、該生成されたイントラピクチャーに基づいて時間的予測（ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ）または視点間（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）予測を行って他のピクチャーを予測符号化する。
時間的予測とは、同じ視点、すなわち、同じ行にある映像間に時間的な相関関係を利用する予測である。視点間予測は、同じ時間、すなわち、同じ列にある映像間に空間的な相関関係を利用する予測である。
図１において、それぞれの行は多視点映像のそれぞれの視点に対する映像シーケンスを経時的に示す。それぞれの行は、上から順次に視点０、視点１、視点２、．．．の映像シーケンスとなる。ここで、視点０を基本視点とし、よって最初行の映像シーケンスは、基本視点の映像シーケンスとなる。基本視点の映像シーケンスに含まれたピクチャーは、時間的予測のみを行って予測符号化され、視点間予測は行わない。
また、それぞれの列は、同じ時間での多視点映像を示す。示された列のうち、イントラピクチャーを含んでいる列１１０、１２０、１３０に含まれているピクチャーをアンカーピクチャーと称する。アンカーピクチャーは、視点間予測のみを利用して予測符号化する。
イントラピクチャーを含んでいる列１１０、１２０、１３０を除外した残りの列１４０、１５０に含まれているピクチャーは、非アンカーピクチャー（ｎｏｎ−ａｎｃｈｏｒ ｐｉｃｔｕｒｅｓ）と称する。非アンカーピクチャーは、時間的予測及び視点間予測を利用して予測符号化する。
図１に示されたシーケンスのうち、第２行の第５列に位置したピクチャー１４１を例として説明する。ピクチャー１４１に含まれたブロックを各々視点間予測及び時間的予測を利用して予測する。ブロック単位で予測方法が異なりうるために、ピクチャー１４１を予測するには、隣接した奇数行に含まれているピクチャー１４２、１４３及び時間的に前後のピクチャー１１１、１２１をいずれも参照せねばならない。
同様に、非アンカーピクチャーは、視点間予測及び時間的予測のために４つのピクチャーを参照して予測符号化せねばならないので、従来技術によって多視点映像を符号化する場合、符号化の速度が遅い。
本発明が解決しようとする技術的課題は、多視点映像のシーケンスをさらに速く、効率的に符号化、復号化する多視点映像符号化、復号化方法及び装置を提供するところにあり、前記方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供するところにある。
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する段階と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して、前記ピクチャーを符号化する段階を含む。
本発明による望ましい実施例によれば、前記符号化する段階は、前記参照ピクチャーであるか否かを示す前記ピクチャー各々についてのパラメータを符号化する段階を含む。
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを決定する決定部と、前記決定に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して、前記ピクチャーを符号化する符号化部を含む。
本発明によるさらに望ましい実施例によれば、前記符号化部は、前記決定に基づいて前記それぞれのピクチャーが視点間予測及び時間的予測のうち、少なくとも１つのために参照する参照ピクチャーについての情報を符号化することを特徴とする。
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階を含む。
本発明によるさらに望ましい実施例によれば、前記情報は、前記ピクチャー各々についてのパラメータに含まれていることを特徴とする。
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測のために、前記シーケンスに含まれている他のピクチャーにより参照される参照ピクチャーであるか否かを示す情報及び前記シーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報及び前記シーケンスについてのデータを抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部を含む。
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化して、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する段階と、を含む。
本発明によるさらに望ましい実施例によれば、前記選択する段階は、前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャーを選択する段階を含む。
本発明によるさらに望ましい実施例によれば、前記符号化する段階は、前記選択されたピクチャーについての情報を符号化する段階を含む。
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する選択部と、前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは時間的予測または時間的予測を利用して符号化する符号化部と、を含む。
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記情報を抽出する段階と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する段階と、を含む。
本発明によるさらに望ましい実施例によれば、前記情報は、シーケンスパラメータまたはＳＥＩメッセージに含まれていることを特徴とする。
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、前記多視点映像のシーケンスのうち、視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報及び前記多視点映像のシーケンスについてのデータを含むビットストリームを受信し、前記受信されたビットストリームから前記情報を抽出する抽出部と、前記抽出された情報に基づいて前記シーケンスについてのデータを復号化する復号化部、を含む。
前記技術的課題を解決するための本発明は、前記多視点映像符号化及び復号化方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体を提供する。
本発明によれば、多視点映像符号化及び復号化過程で多視点映像シーケンスに含まれた一部にピクチャーのみ視点間予測を利用して予測符号化及び復号化できて、符号化及び復号化の速度が速くなる。
また、視点間予測を利用しないピクチャーを予測する場合、参照せねばならないピクチャーの数が少ないので、予測符号化及び復号化過程で必要なメモリを効率よく利用しうる。
以下、図面を参照して本発明の望ましい実施例を詳細に説明する。
図２は、本発明の一実施例による多視点映像の符号化装置を示す。図２を参照すれば、本発明による多視点映像の符号化装置２００は、制御部２１０及び符号化部２２０を含む。
本発明の一実施例によれば、制御部２１０は、多視点映像シーケンスに含まれたピクチャーが視点間予測のために、シーケンスに含まれた他のピクチャーにより参照される参照ピクチャーであるか否かを決定する。
多視点映像シーケンスは、時間的に隣接したピクチャー間に存在する時間的相関関係及び隣接した視点のピクチャー間に存在する空間的な相関関係を利用して予測符号化される。シーケンスによって、時間的相関関係は高く、一方、空間的相関関係は低いシーケンスがありえる。この場合、空間的相関関係を利用する視点間予測を、図１と同様に、あらゆる非アンカーピクチャーに対して行うのは、多視点映像の符号化に消耗される時間のみ大きくするだけで、圧縮率の向上には別に影響を及ぼさない。
したがって、本発明による多視点映像符号化装置２００は、非アンカーピクチャーをいずれも視点間予測で予測符号化するものではなく、一部の非アンカーピクチャーに対してのみ視点間予測を行う。このために、制御部２１０は、シーケンスに含まれたピクチャーが各々視点間予測の参照ピクチャーとして機能しているか否かを判断する。換言すれば、視点間予測を行って予測符号化される他のピクチャーによって参照されるか否かを決定する。
本発明の他の実施例によれば、制御部２１０は、時間的レベル（ｔｅｍｐｏｒａｌ ｌｅｖｅｌ）に基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを多視点映像のシーケンスから選択する。ピクチャー各々に対して、他のピクチャーにより視点間予測のために参照されるか否かを決定する代わりに、積極的にいかなるピクチャーを、視点間予測を用いて符号化するかを選択する。従来の技術によれば、あらゆる非アンカーピクチャーが視点間予測及び時間的予測を利用して予測符号化される。しかし、本発明によって一部の非アンカーピクチャーのみ視点間予測を利用して符号化するために、時間的レベルに基づいて視点間予測及び時間的予測を利用して、符号化するピクチャーを多視点映像のシーケンスから選択する。
時間的レベルとは、映像シーケンスを複数のレベルに区分し、映像の復号化時に一部の時間的レベルのみを選択して復号化可能にすることによって、時間的スケーラビティを提供するためのパラメータである。図３を参照して詳細に説明する。
図３は、多視点映像シーケンスの時間的レベルを示す。多視点映像シーケンスの最初映像処理単位を例として説明する。図３を参照すれば、多視点映像シーケンスでアンカーピクチャー３１０、３１２の時間的レベルは‘０’である。アンカーピクチャー３１０、３１２の間に位置したピクチャー３１４の時間的レベルは‘１’であり、時間的レベルが‘０’であるピクチャーと時間的レベルが‘１’であるピクチャーとの間に位置したピクチャー３１６、３１８の時間的レベルは‘２’である。残りのピクチャーの時間的レベルは‘３’である。
図４Ａは、本発明の一実施例による多視点映像シーケンスを示す。
制御部２１０が多視点映像シーケンスに含まれたピクチャー各々に対して、視点間予測のための参照如何を決定するか、視点間予測及び時間的予測を利用して符号化するピクチャーを選択した結果によって生成される多視点映像シーケンスを示す。図４Ａに図示された多視点映像シーケンスは、視点間予測が選択的に行われる図１に示された従来技術による多視点映像シーケンスとは異なる多視点映像シーケンスとなる。
例えば、多視点映像シーケンスの第２行及び第２列に位置したピクチャー１４４は、図１に示された従来の技術によれば、最初行の第２列に位置したピクチャー１４５及び第３行及び第２列に位置したピクチャー１４６を視点間予測のために参照する。換言すれば、最初行の第２列に位置したピクチャー１４５及び第３行及び第２列に位置したピクチャー１４６は、視点間予測の参照ピクチャーとなる。
しかし、本発明の一実施例による多視点映像シーケンスでは、第２行及び第２列に位置したピクチャー４２０は、最初行の第２列に位置したピクチャー４２２及び第３行の第２列に位置したピクチャー４２４を視点間予測のために参照しない。第２行の第３列のピクチャー４２６及び第２行の第３列のピクチャー４２８を時間的予測のために参照するだけである。
図１に示されたような従来技術による多視点映像シーケンスの非アンカーピクチャーのうち、奇数行に含まれているピクチャーは、いずれも視点間予測のために他のピクチャーにより参照されたが、図４Ａに示された本発明の一実施例による多視点映像シーケンスでは奇数行に含まれている非アンカーピクチャーの一部のみが視点間予測のために他のピクチャーにより参照される。換言すれば、図４Ａに示された例では、奇数行に含まれている非アンカーピクチャーのうち、奇数列に位置した非アンカーピクチャーのみ視点間予測を利用して符号化する。
図４Ｂは、本発明の一実施例による多視点映像シーケンス及び時間的レベルを示す。図４Ｂは、図４Ａに示された多視点映像シーケンスのようにシーケンスに含まれた一部のピクチャーのみ視点間予測を利用して符号化する場合、この一部のピクチャーを選択する方法を説明する。
図４Ｂは、時間的レベルに基づいて視点間予測のために参照されるピクチャーを決定した場合を例として説明する。図４Ｂでは、時間的レベルが３である非アンカーピクチャーは視点間予測を利用して符号化しないと決定する。換言すれば、非アンカーピクチャーのうち、時間的レベルが所定値以下である一部のピクチャーのみを、視点間予測及び時間的予測を利用して符号化するピクチャーとして選択する。
制御部２１０の決定または選択基準になる時間的レベルは、多視点映像シーケンスの特徴によって異なり、図４Ｂに示された例に限定されない。例えば、多視点映像を撮影するカメラ間の距離が大きいために、視点間に存在する空間的相関関係が大きくない場合には、あらゆる非アンカーピクチャーを視点間予測を行って予測する必要がない。この場合、時間的レベルが‘１’以下であるピクチャーのみを視点間予測を利用して予測し、極端な場合には、視点間予測を利用せず、非アンカーピクチャーを予測するように実施例を構成しうる。
また図２を参照すれば、本発明の一実施例によれば、符号化部２２０は、制御部２１０の決定または選択結果に基づいて多視点映像シーケンスを符号化する。換言すれば、決定部２１０の決定または選択結果に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスを予測符号化する。
多視点映像シーケンスに含まれているそれぞれのピクチャーを予測して、それぞれのピクチャーの予測値を原本ピクチャーから減算して多視点映像シーケンスの残差データを生成する。
符号化部２２０の予測実行時、所定のメモリに参照ピクチャーを保存して参照して、視点間予測または時間的予測を行う。従来技術によれば、非アンカーピクチャーを予測する時視点間予測及び時間的予測のためのピクチャーをいずれもメモリに保存していなければならない。しかし、本発明によれば、制御部２１０で視点間予測を行わないと決定したピクチャーに対しては、視点間予測のための参照ピクチャーをメモリに保存しておく必要はない。
例えば、図４Ａに示された第２行及び第２列に位置したピクチャー４２０を符号化するに当たって、ピクチャー４２０の上部及び下部に隣接した視点に位置したピクチャー４２２、４２４は視点間予測の参照ピクチャーではないので、このピクチャー４２２、４２４をメモリに保存する必要はない。これにより、メモリをさらに効率よく利用できるようになる。
制御部２１０で視点間予測に参照されないと決定されたピクチャーは、視点間予測のためには参照しないので、全体的な予測の速度も速くなる。
また図２を参照すれば、本発明の一実施例によれば、符号化部２２０は、多視点映像シーケンスを予測符号化するに当たって、制御部２１０で決定された視点間予測の参照ピクチャーであるか否かを示すパラメータも符号化してビットストリームに挿入する。制御部２１０で各ピクチャーに対して視点間予測のために参照されるか否かを決定すれば、符号化部２２０は、制御部２１０で決定した結果についての情報を符号化する。
視点間予測のために他のピクチャーによる参照如何はそれぞれのピクチャーごとに決定されるので、視点間予測のために、他のピクチャーによる参照如何を示す情報をそれぞれのピクチャーについてのパラメータに含める。
図５は、本発明の一実施例によるＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）単位ヘッダの構文を示す。
ＮＡＬ単位は、映像データのパケット化単位である。一般的に１つのＮＡＬ単位には、１つのピクチャーについてのデータが含まれるので、ＮＡＬ単位ヘッダにそれぞれのピクチャーが視点間予測のために、他のピクチャーによる参照如何を示す情報を含めて符号化する。
図５を参照すれば、従来技術によるＮＡＬ単位ヘッダに‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ’構文を追加し、他のピクチャーにより視点間予測のために参照されるか否かを示す。例えば、‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ＝１’であれば、視点間予測のために他のピクチャーにより参照されることを意味し、‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ＝０’であれば、視点間予測のために他のピクチャーにより参照されないことを意味する。
‘ｎａｌ＿ｒｅｆ＿ｉｄｃ＿ｖｉｅｗ’に新たビットを割当てられたので、‘ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿ｆｏｕｒ＿ｂｉｔｓ’構文も追加して余裕ビット（ｒｅｓｅｒｖｅｄ ｂｉｔｓ）の個数を変える。
再び図２を参照すれば、符号化部２２０が符号化を行う時には、それぞれのピクチャーが視点間予測及び時間的予測のために参照するピクチャーについての情報も符号化する。‘ＲｅｆＰｉｃＬｉｓｔ’構文が、このような情報を示す。制御部２１０で、それぞれのピクチャーが視点間予測の参照ピクチャーとして機能しているか否かを決定した。したがって、符号化部２２０で多視点映像シーケンスが符号化される時、視点間予測の参照ピクチャーとして機能しないピクチャーは他のピクチャーにより参照されない。
したがって、符号化部２２０がそれぞれのピクチャーに対して参照ピクチャーについての情報を符号化する時には、制御部２１０で視点間予測のために参照しないと決定されたピクチャーを除いては、‘ＲｅｆＰｉｃｌｉｓｔ’を生成しうる。
例えば、図４Ａに示されたピクチャー４２０を符号化するに当たって、従来技術によれば、上部及び下部の隣接した視点のピクチャー４２２、４２４も参照ピクチャーであり、これについての情報が‘ＲｅｆＰｉｃＬｉｓｔ’に共に含まれた。しかし、本発明によれば、ピクチャー４２０の参照ピクチャーには、上部及び下部の隣接した視点のピクチャー４２２、４２４は、参照ピクチャーでないと制御部２１０で決定されたので、‘ＲｅｆＰｉｃＬｉｓｔ’に含まれない。
本発明による他の実施例によれば、符号化部２２０は、制御部２１０がいかなるピクチャーを視点間予測及び時間的予測を利用して符号化するために選択したピクチャーについての情報も共に符号化してビットストリームに挿入する。
図６Ａないし図６Ｂを参照して詳細に説明する。
図６Ａは、本発明の一実施例によるシーケンスパラメータセットの構文を示す。図６Ａを参照すれば、符号化部２２０は、制御部２１０が選択したピクチャーを特定するための情報をシーケンスパラメータセットに含めて符号化しうる。本発明によるシーケンスパラメータセットは、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’構文を含む。
‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’は、多視点映像符号化装置２００により符号化される多視点映像シーケンスの時間的レベルが何段階であるかを示す情報である。図３Ｂに示された多視点映像シーケンスは‘０’から‘３’までの時間的レベルを有するので、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’は‘３’である。
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’は、視点間予測及び時間的予測を利用して予測符号化されたピクチャーを特定するための情報である。ここで、‘ｉ’は時間的レベルを意味する。図４Ｂのように時間的レベルが‘１’及び‘２’であるピクチャーに対してのみ視点間予測を行う場合‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］＝１’、 ‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［２］＝１’、 ‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］＝０’に構文を設定しうる。値‘０’及び‘１’は、当該時間的レベルに含まれたピクチャーが視点間予測を利用して予測を行っているか否かを示すフラッグ（ｆａｇ）情報である。
時間的レベルが‘０’である場合、アンカーピクチャーであることを意味し、アンカーピクチャーの場合には視点間予測のみを利用して予測符号化するために、‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［０］’は別途に設定しない。
図６Ｂは、本発明のさらに他の実施例によるシーケンスパラメータセットの構文を示す。
図４Ｂで、制御部２１０は、時間的レベルのみを基準として視点間予測及び時間的予測を利用して予測符号化するピクチャーを選択した。換言すれば、特定の時間的レベルに含まれているピクチャーは、いずれも時間的予測を行っていない。しかし、時間的レベルだけでなく、それぞれの視点を基準にピクチャーを選択しうる。
例えば、視点１のシーケンスに含まれているピクチャーは、時間的レベルが１、２であるピクチャーに対して、視点間予測及び時間的予測を行い、視点３のシーケンスに含まれているピクチャーは、時間的レベルが１である場合にのみ視点間予測及び時間的予測を行える。換言すれば、視点ごとに個別的に視点間予測及び時間的予測を行うピクチャーを選択するものである。この場合、それぞれの視点ごとに選択されたピクチャーを特定するための構文が必要である。
図４Ｂを参照すれば、シーケンスパラメータセットは、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’構文を含む。
‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’は、図６Ａと関連して‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’と同一であるが、‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’は、図６Ａと関連して前述した‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’と相異なる。
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’で、‘ｉ’は視点を意味し、‘ｊ’は時間的レベルを意味する。前述した例の通り、視点１のシーケンスに含まれたピクチャーは、時間的レベルが‘１’、 ‘２’であるピクチャーのみ視点間予測及び時間的予測を行い、視点３のシーケンスに含まれたピクチャーは、時間的レベルが‘１’であるピクチャーのみ視点間予測及び時間的予測を行う場合を例として説明する。
この場合、‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［１］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［２］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［３］＝０’である。
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［２］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［１］［３］＝０’である。
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［１］＝１’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［２］＝０’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［３］＝０’である。
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［２］＝０’であり、
‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［３］［３］＝０’である。
ここで、値‘０’及び‘１’は、図６Ａと同様に視点間予測を利用して予測を行っているか否かを示すフラッグ（ｆａｇ）情報である。
図６Ｃは、本発明の一実施例によるＳＥＩメッセージ（ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｍｅｓｓａｇｅ）を示す。図６Ｃを参照すれば、符号化部２２０は、制御部２１０が選択したピクチャーを特定するための情報をＳＥＩメッセージに含めて符号化しうる。
ＳＥＩメッセージは、動映像符号化階層（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ）の復号化過程で必要な付加的な情報を示すものであって、各ピクチャーのタイミング情報、パン／スキャン機能に関する情報、ランダムアクセスを行うために必要な情報などを含むことができる。ＳＥＩメッセージは、ユーザが独自に定義する情報も含みうるが、本発明の一実施例によるＳＥＩメッセージは、制御部２１０が視点間予測を行うために選択したピクチャーを特定するための情報を含む。
図６Ｃで、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄｉｃｔｉｏｎ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］’は、図６Ａと関連して前述した構文と同一である。
図６Ｄは、本発明の他の実施例によるＳＥＩメッセージを示す。図６Ｄで、‘ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ＿ｍａｘ’及び‘ｕｓｅ＿ｉｎｔｅｒｖｉｅｗ＿ｐｒｅｄｉｃｔｉｏｎ＿ｔｅｍｐｏｒａｌ＿ｌｅｖｅｌ［ｉ］［ｊ］’は、図６Ｂと関連して前述した構文と同一である。
図７は、本発明の一実施例による多視点映像の符号化方法を説明するためのフローチャートである。図７を参照すれば、段階７１０で本発明による多視点映像符号化装置は、多視点映像のシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを決定する。それぞれのピクチャーが視点間予測のためにシーケンスに含まれた他のピクチャーにより参照されるか否かを決定する。
本発明の一実施例による多視点映像符号化方法は非アンカーピクチャーをいずもれ視点間予測を利用して予測符号化せず、一部非アンカーピクチャーに対してのみ視点間予測を行う。したがって、視点間予測のために他のピクチャーにより参照されるピクチャーも一部に限定されるので、このために段階７１０ではそれぞれのピクチャーに対して視点間予測のために他のピクチャーにより参照されるか否かを決定する。望ましくは、時間的レベルに基づいて視点間予測の参照ピクチャーを決定する。
段階７２０で本発明による多視点映像符号化装置は、段階７１０での決定に基づいて、視点間予測及び時間的予測のうち、少なくとも１つを利用して多視点映像シーケンスのピクチャーを符号化する。
多視点映像シーケンスに含まれているそれぞれのピクチャーを視点間予測及び時間的予測のうち、少なくとも１つを利用して予測し、それぞれのピクチャーの予測値を原本ピクチャーから減算して、多視点映像シーケンスの残差データを生成する。
視点間予測実行時、視点間予測の参照ピクチャーではないと段階７１０で決定されたピクチャーは参照せず、視点間予測を行えるために、予測の速度及びメモリ利用の効率性が向上する。
多視点映像シーケンスを符号化するに当たって、段階７１０で視点間予測の参照ピクチャーとして決定されたピクチャーについての情報も共に符号化してビットストリームに挿入する。多視点映像シーケンスのピクチャー各々についてのパラメータに視点間予測の参照ピクチャーであるか否かを示す情報を挿入する。ＮＡＬ単位ヘッダに含めて符号化することは前述した。
図８は、本発明の他の実施例による多視点映像の符号化方法を説明するためのフローチャートである。図８を参照すれば、段階８１０で本発明による多視点映像符号化装置は、時間的レベルに基づいて視点間予測及び時間的予測を利用して符号化するピクチャーを選択する。多視点映像の視点ごとに個別的に視点間予測及び時間的予測を利用して符号化するピクチャーをも選択しうる。時間的レベルが所定値以下である非アンカーピクチャーを選択することによって、視点間予測及び時間的予測を行うピクチャーを選択する。
段階８２０で、多視点映像符号化装置は、段階８１０での選択結果に基づいて多視点映像シーケンスを符号化する。段階８１０で選択されたピクチャーは、視点間予測及び時間的予測を利用して予測符号化し、選択されたピクチャーを除外した残りのピクチャーは視点間予測または時間的予測を利用して予測符号化する。従来技術によれば、多視点映像シーケンスに含まれたあらゆる非アンカーピクチャーを視点間予測及び時間的予測を利用して予測符号化したが、本発明の一実施例によれば、非アンカーピクチャーのうち、一部のピクチャーのみ視点間予測及び時間的予測を利用して予測符号化することによって、多視点映像の符号化速度が速くなる。
多視点映像シーケンスの符号化時、段階８１０で視点間予測を行うために選択されたピクチャーについての情報も共に符号化してビットストリームに挿入する。シーケンスパラメータセットまたはＳＥＩメッセージの形で情報を符号化してビットストリームに挿入できるということは前述した。
図９は、本発明の一実施例による多視点映像復号化装置を示す。図９を参照すれば、本発明による多視点映像復号化装置９００は、抽出部９１０及び復号化部９２０を含む。
抽出部９１０は、本発明による多視点映像符号化方法により符号化された多視点映像シーケンスについてのデータを含んでいるビットストリームを受信する。ここで、多視点映像シーケンスについてのデータは、多視点映像シーケンスの残差データであり、ビットストリームには多視点映像シーケンスのそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かについての情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を含んでいる。
ビットストリームを受信した抽出部９１０は、受信されたビットストリームから情報を抽出する。視点間予測の参照ピクチャーであるか否かについてのそれぞれのピクチャーについてのパラメータまたは視点間予測及び時間的予測を利用して符号化されたピクチャーであることを示すパラメータを抽出する。ＮＡＬ単位ヘッダまたはシーケンスパラメータまたはＳＥＩメッセージに含まれている情報を抽出する。
復号化部９２０は、抽出部９１０で抽出された情報に基づいて多視点映像シーケンスについてのデータを復号化する。ビットストリームに含まれている多視点映像シーケンスについてのデータは残差データである。
したがって、復号化部９２０は、抽出部９１０で抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して、多視点映像シーケンスのそれぞれのピクチャーを予測し、予測結果を多視点映像シーケンスの残差データと加算して多視点映像シーケンスを復元する。
復号化部９２０で予測実行時、所定のメモリに参照ピクチャーを保存して予測を行う。しかし、本発明による多視点映像復号化装置９００は、視点間予測の実行時、抽出部９１０で抽出された情報によって視点間予測の参照ピクチャーではないピクチャーはメモリに保存しない。したがって、予測実行時、メモリに保存せねばならない参照ピクチャーの数が減るので、メモリをさらに効率的に利用しうる。
また、あらゆる非アンカーピクチャーに対して視点間予測を行わないので、予測速度が向上する。ランダムアクセスの場合にも、早いアクセスが可能となる。例えば、図４Ａに示された第２行及び第２列に位置したピクチャー４２０をランダムアクセスする場合を説明すれば、上部及び下部に隣接した視点に位置するピクチャー４２２、４２４は、視点間予測の参照ピクチャーではないものと既に決定されているので、視点間予測のために復号化する必要がない。したがって、早い予測が可能となって、早いアクセスも可能となる。
図１０は、本発明の一実施例による多視点映像の復号化方法を説明するためのフローチャートである。図１０を参照すれば、段階１０１０で本発明による多視点映像復号化装置は、多視点映像のシーケンスについてのデータを含むビットストリームを受信する。シーケンスについてのデータは、多視点映像シーケンスの残差データである。
段階１０２０で、多視点映像復号化装置は、段階１０１０で受信したビットストリームからシーケンスに含まれたそれぞれのピクチャーが視点間予測の参照ピクチャーであるか否かを示す情報または視点間予測及び時間的予測を利用して符号化されたピクチャーについての情報を抽出する。シーケンスについてのデータ、すなわち、残差データも抽出する。多視点映像シーケンスのＮＡＬ単位ヘッダまたはシーケンスパラメータまたはＳＥＩメッセージに含まれている情報を抽出する。
段階１０３０で、多視点映像復号化装置は、段階１０２０で抽出された情報に基づいて多視点映像シーケンスを復号化する。抽出された情報に基づいて視点間予測及び時間的予測のうち、少なくとも１つを利用して予測し、予測結果に段階１０２０で抽出した残差データを加算して多視点映像シーケンスを復元する。
予測実行時、抽出された情報によって、視点間予測の参照ピクチャーではないと決定されたピクチャーは、視点間予測で参照しない。視点間予測をさらに速く効率よく行えるために、多視点映像の復号化速度も速くなる。
前述したように、本発明は、たとえ限定された実施例と図面により説明されたとしても、本発明が前記の実施例に限定されるものではなく、本発明が属する技術分野で当業者ならば、このような記載から多様な修正及び変形が可能である。したがって、本発明の思想は、特許請求の範囲によってのみ把握され、これと均等であるか、等価的な変形は、いずれも本発明の思想の範ちゅうに属するものである。また、本発明によるシステムは、コンピュータで読取り可能な記録媒体にコンピュータで読取り可能なコードとして具現することが可能である。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読取り可能なデータが保存されるあらゆる種類の記録装置または伝送媒体を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。伝送媒体は、キャリアウェーブ（例えば、インターネットを介した伝送）を含みうる。またコンピュータで読取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式によってコンピュータで読取り可能なコードが保存され、実行されうる。
Claims (6)
- 多視点(multi-view)映像の符号化方法において、
時間的レベル(temporal level)に基づいて視点間予測(inter-view prediction)及び時間的予測(temporal prediction)を利用して符号化するピクチャーを前記多視点映像のシーケンスから選択する段階と、
前記選択されたピクチャーは、視点間予測及び時間的予測を利用して符号化し、前記シーケンスに含まれた残りのピクチャーは、視点間予測または時間的予測を利用して符号化する段階と、を含むことを特徴とする多視点映像符号化方法。 - 前記選択する段階は、
前記シーケンスに含まれたピクチャーのうち、前記時間的レベルが所定値以下である非アンカーピクチャー(non-anchor)を選択する段階を含むことを特徴とする請求項１に記載の多視点映像符号化方法。 - 前記選択する段階は、
前記時間的レベルに基づいて前記シーケンスの視点ごとに視点間予測及び時間的予測を利用して符号化するピクチャーを選択する段階を含むことを特徴とする請求項１に記載の多視点映像符号化方法。 - 前記符号化する段階は、
前記選択されたピクチャーについての情報を符号化する段階を含むことを特徴とする請求項１に記載の多視点映像符号化方法。 - 前記符号化する段階は、
前記情報を含むシーケンスパラメータ(sequence parameter)またはSEIメッセージ(Supplemental Enhancement Information message)を符号化する段階を含むことを特徴とする請求項４に記載の多視点映像符号化方法。 - 請求項１ないし５のうち、いずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
Applications Claiming Priority (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US90761407P | 2007-04-11 | 2007-04-11 | |
| US60/907,614 | 2007-04-11 | ||
| US90775307P | 2007-04-16 | 2007-04-16 | |
| US60/907,753 | 2007-04-16 | ||
| KR1020070065664A KR101301181B1 (ko) | 2007-04-11 | 2007-06-29 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
| KR10-2007-0065664 | 2007-06-29 | ||
| KR10-2007-0068186 | 2007-07-06 | ||
| KR1020070068186A KR100996850B1 (ko) | 2007-04-11 | 2007-07-06 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010502926A Division JP2010524381A (ja) | 2007-04-11 | 2008-03-06 | 多視点映像の符号化、復号化方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012147470A true JP2012147470A (ja) | 2012-08-02 |
| JP5647161B2 JP5647161B2 (ja) | 2014-12-24 |
Family
ID=40152508
Family Applications (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010502926A Pending JP2010524381A (ja) | 2007-04-11 | 2008-03-06 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057575A Expired - Fee Related JP5667110B2 (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057576A Pending JP2012124961A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057574A Pending JP2012147471A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057573A Pending JP2012124959A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057572A Pending JP2012165403A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057571A Expired - Fee Related JP5647161B2 (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
Family Applications Before (6)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010502926A Pending JP2010524381A (ja) | 2007-04-11 | 2008-03-06 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057575A Expired - Fee Related JP5667110B2 (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057576A Pending JP2012124961A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057574A Pending JP2012147471A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057573A Pending JP2012124959A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
| JP2012057572A Pending JP2012165403A (ja) | 2007-04-11 | 2012-03-14 | 多視点映像の符号化、復号化方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| EP (5) | EP2464119B1 (ja) |
| JP (7) | JP2010524381A (ja) |
| KR (6) | KR101301181B1 (ja) |
| CN (6) | CN102892003B (ja) |
| MX (1) | MX2009010933A (ja) |
| SG (6) | SG179464A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012124961A (ja) * | 2007-04-11 | 2012-06-28 | Samsung Electronics Co Ltd | 多視点映像の符号化、復号化方法及び装置 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101158491B1 (ko) | 2008-12-08 | 2012-06-20 | 한국전자통신연구원 | 다시점 영상 부호화, 복호화 방법 및 그 장치. |
| JP5614900B2 (ja) * | 2009-05-01 | 2014-10-29 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ３ｄ映像符号化フォーマット |
| US8780999B2 (en) * | 2009-06-12 | 2014-07-15 | Qualcomm Incorporated | Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems |
| US8411746B2 (en) | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
| US20130162774A1 (en) | 2010-09-14 | 2013-06-27 | Dong Tian | Compression methods and apparatus for occlusion data |
| WO2012096176A1 (en) | 2011-01-12 | 2012-07-19 | Panasonic Corporation | Methods and apparatuses for encoding and decoding video using multiple reference pictures |
| RU2480941C2 (ru) | 2011-01-20 | 2013-04-27 | Корпорация "Самсунг Электроникс Ко., Лтд" | Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности |
| WO2012108181A1 (en) * | 2011-02-08 | 2012-08-16 | Panasonic Corporation | Methods and apparatuses for encoding and decoding video using multiple reference pictures |
| US9105076B2 (en) | 2011-03-08 | 2015-08-11 | Sony Corporation | Image processing apparatus, image processing method, and program |
| KR101626683B1 (ko) * | 2011-08-30 | 2016-06-01 | 인텔 코포레이션 | 멀티뷰 비디오 코딩 방안 |
| KR102057194B1 (ko) * | 2012-01-19 | 2019-12-19 | 삼성전자주식회사 | 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치 |
| WO2013115562A1 (ko) * | 2012-01-30 | 2013-08-08 | 삼성전자 주식회사 | 시점변환을 위한 예측구조에 기초한 다시점 비디오 부호화 방법 및 그 장치, 시점변환을 위한 예측구조에 기초한 다시점 비디오 복호화 방법 및 그 장치 |
| JP5743968B2 (ja) * | 2012-07-02 | 2015-07-01 | 株式会社東芝 | 動画像復号方法及び動画像符号化方法 |
| CA2892477C (en) * | 2012-12-04 | 2020-12-22 | Sectago Gmbh | Security device |
| WO2014092445A2 (ko) * | 2012-12-11 | 2014-06-19 | 엘지전자 주식회사 | 영상 복호화 방법 및 이를 이용하는 장치 |
| BR112015017059A2 (pt) * | 2013-01-17 | 2018-09-25 | Samsung Electronics Co., Ltd. | método decodificador de vídeo, método codificador de vídeo, aparelho decodificador de vídeo, aparelho codificador de vídeo, e mídia de gravação legível por computador. |
| FR3042368A1 (fr) * | 2015-10-08 | 2017-04-14 | Orange | Procede de codage et de decodage multi-vues, dispositif de codage et de decodage multi-vues et programmes d'ordinateur correspondants |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012147961A (ja) * | 2011-01-19 | 2012-08-09 | Heiwa Corp | 遊技機の基板ユニット |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100760258B1 (ko) * | 2004-12-10 | 2007-09-19 | 한국전자통신연구원 | 범용적 다시점 동영상 부호화/복호화 장치 및 방법 |
| US7728878B2 (en) * | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
| KR100779875B1 (ko) * | 2005-01-14 | 2007-11-27 | 주식회사 휴맥스 | 다-시점 코딩을 위한 참조 프레임 순서 설정 방법 및 그방법을 기록한 기록매체 |
| KR100732961B1 (ko) * | 2005-04-01 | 2007-06-27 | 경희대학교 산학협력단 | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 |
| US8228994B2 (en) * | 2005-05-20 | 2012-07-24 | Microsoft Corporation | Multi-view video coding based on temporal and view decomposition |
| KR100728009B1 (ko) | 2005-08-22 | 2007-06-13 | 삼성전자주식회사 | 다시점 동영상을 부호화하는 방법 및 장치 |
| US8559515B2 (en) * | 2005-09-21 | 2013-10-15 | Samsung Electronics Co., Ltd. | Apparatus and method for encoding and decoding multi-view video |
| KR101174901B1 (ko) * | 2005-11-28 | 2012-08-17 | 세종대학교산학협력단 | 다시점 영상에서 적응적 움직임 벡터 예측 장치 및 방법 |
| US7903737B2 (en) * | 2005-11-30 | 2011-03-08 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for randomly accessing multiview videos with known prediction dependency |
| PL2008460T3 (pl) * | 2006-03-30 | 2017-10-31 | Lg Electronics Inc | Sposób i urządzenie do dekodowania/kodowania sygnału wideo |
| KR20070098429A (ko) * | 2006-03-30 | 2007-10-05 | 엘지전자 주식회사 | 비디오 신호의 디코딩 방법 |
| KR20080007086A (ko) * | 2006-07-14 | 2008-01-17 | 엘지전자 주식회사 | 비디오 신호의 디코딩/인코딩 방법 및 장치 |
| KR101301181B1 (ko) * | 2007-04-11 | 2013-08-29 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
-
2007
- 2007-06-29 KR KR1020070065664A patent/KR101301181B1/ko not_active IP Right Cessation
- 2007-07-06 KR KR1020070068186A patent/KR100996850B1/ko active IP Right Grant
-
2008
- 2008-03-06 SG SG2012017091A patent/SG179464A1/en unknown
- 2008-03-06 CN CN201210390787.8A patent/CN102892003B/zh active Active
- 2008-03-06 EP EP12153703.9A patent/EP2464119B1/en active Active
- 2008-03-06 EP EP12153708.8A patent/EP2464123B1/en active Active
- 2008-03-06 JP JP2010502926A patent/JP2010524381A/ja active Pending
- 2008-03-06 MX MX2009010933A patent/MX2009010933A/es active IP Right Grant
- 2008-03-06 EP EP12153707.0A patent/EP2464122B1/en active Active
- 2008-03-06 CN CN201210389146.0A patent/CN102984515B/zh active Active
- 2008-03-06 SG SG2012017059A patent/SG179461A1/en unknown
- 2008-03-06 CN CN201210389751.8A patent/CN102984516B/zh active Active
- 2008-03-06 EP EP12153706.2A patent/EP2464121B1/en active Active
- 2008-03-06 SG SG2012017109A patent/SG179465A1/en unknown
- 2008-03-06 SG SG2012017067A patent/SG179462A1/en unknown
- 2008-03-06 SG SG2012017125A patent/SG179467A1/en unknown
- 2008-03-06 SG SG2012017117A patent/SG179466A1/en unknown
- 2008-03-06 EP EP12153705.4A patent/EP2464120B1/en active Active
- 2008-03-06 CN CN200880019798.7A patent/CN101682779B/zh active Active
- 2008-03-06 CN CN201210390786.3A patent/CN102892002B/zh active Active
- 2008-03-06 CN CN201210389088.1A patent/CN102984514B/zh active Active
-
2010
- 2010-08-12 KR KR1020100077821A patent/KR101144874B1/ko active IP Right Grant
- 2010-10-21 KR KR1020100103141A patent/KR101217635B1/ko active IP Right Grant
- 2010-10-21 KR KR1020100103140A patent/KR101266169B1/ko active IP Right Grant
-
2012
- 2012-01-11 KR KR1020120003241A patent/KR101266170B1/ko active IP Right Grant
- 2012-03-14 JP JP2012057575A patent/JP5667110B2/ja not_active Expired - Fee Related
- 2012-03-14 JP JP2012057576A patent/JP2012124961A/ja active Pending
- 2012-03-14 JP JP2012057574A patent/JP2012147471A/ja active Pending
- 2012-03-14 JP JP2012057573A patent/JP2012124959A/ja active Pending
- 2012-03-14 JP JP2012057572A patent/JP2012165403A/ja active Pending
- 2012-03-14 JP JP2012057571A patent/JP5647161B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012147961A (ja) * | 2011-01-19 | 2012-08-09 | Heiwa Corp | 遊技機の基板ユニット |
Non-Patent Citations (3)
| Title |
|---|
| JPN7012001751; Ｃｈｅｎ，Ｙｉｎｇ；Ｗａｎｇ，Ｙｅ-Ｋｕｉ；Ｈａｎｎｕｋｓｅｌａ，Ｍｉｓｋａ: 'ＭＶＣ Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｍａｎａｇｅｍｅｎｔ' Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ-Ｔ ＶＣＥＧ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ-Ｔ ＳＧ１６ Ｑ．６） ＪＶＴ- , 20061020 * |
| JPN7012001752; Ｃｈｅｎ，Ｙｉｎｇ；Ｗａｎｇ，Ｙｅ-Ｋｕｉ；Ｈａｎｎｕｋｓｅｌａ，Ｍｉｓｋａ； Ｌｉ，Ｈｏｕｑｉａｎｇ: 'Ｏｎ ＭＶＣ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｍａｒｋｉｎｇ' Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ-Ｔ ＶＣＥＧ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ-Ｔ ＳＧ１６ Ｑ．６） ＪＶＴ- , 20070113 * |
| JPN7013003109; Ｖｅｔｒｏ， Ａｎｔｈｏｎｙ ｅｔ ａｌ: 'Ｊｏｉｎｔ Ｄｒａｆｔ ２．０ ｏｎ Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ' Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ （ＪＶＴ） ｏｆ ＩＳＯ／ＩＥＣ ＭＰＥＧ ＆ ＩＴＵ-Ｔ ＶＣＥＧ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ａｎｄ ＩＴＵ-Ｔ ＳＧ１６ Ｑ．６） ＪＶＴ- , 20070306 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012124961A (ja) * | 2007-04-11 | 2012-06-28 | Samsung Electronics Co Ltd | 多視点映像の符号化、復号化方法及び装置 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5667110B2 (ja) | 多視点映像の符号化、復号化方法及び装置 | |
| US8554002B2 (en) | Method and apparatus for encoding and decoding and multi-view image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140513 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140813 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5647161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |