CN109691110A - 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置 - Google Patents

利用空间布局信息的同步多视点影像的编码/解码方法以及其装置 Download PDF

Info

Publication number
CN109691110A
CN109691110A CN201780055513.4A CN201780055513A CN109691110A CN 109691110 A CN109691110 A CN 109691110A CN 201780055513 A CN201780055513 A CN 201780055513A CN 109691110 A CN109691110 A CN 109691110A
Authority
CN
China
Prior art keywords
image
information
multiple views
space layout
subgraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780055513.4A
Other languages
English (en)
Other versions
CN109691110B (zh
Inventor
林柾润
林和燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Jiawen Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160115815A external-priority patent/KR20180028300A/ko
Priority claimed from KR1020160115813A external-priority patent/KR20180028298A/ko
Priority claimed from KR1020160115814A external-priority patent/KR102014240B1/ko
Application filed by Jiawen Electronics Co Ltd filed Critical Jiawen Electronics Co Ltd
Publication of CN109691110A publication Critical patent/CN109691110A/zh
Application granted granted Critical
Publication of CN109691110B publication Critical patent/CN109691110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本发明的实施例的影像编码方法，包括：获取同步多视点影像的步骤；生成所述同步多视点影像的空间布局信息的步骤；对所述同步多视点影像进行编码的步骤；以及对应所述经编码的多视点影像，信令通知所述空间布局信息的步骤。

Description

利用空间布局信息的同步多视点影像的编码/解码方法以及 其装置
技术领域
本发明涉及一种影像的编码/解码方法及装置，更具体而言，本发明涉及利用空间布局信息的同步多视点影像的编码/解码方法及其装置。
背景技术
最近随着数码影像处理和电脑图像技术的发展，正积极开展再现现实世界并体验真实感受的虚拟现实(VIRTUAL REALITY，VR)技术的研究。
特别是，最近如HMD(Head Mounted Display)的VR系统，不仅可以给用户的双目提供三维立体图像，而且可以全方位视点跟踪，因此，可360度旋转观看逼真的虚拟现实(VR)影像内容而倍受关注。
然而，360度VR内容由在时间及双目影像在空间上复合同步的、同时全方位多视点影像信息而构成，因此，在制作及传输影像时，对在所有视点的双目空间同步的2个大型影像进行编码后压缩并传输。这样会加重复杂程度和宽带的负担，特别是在解码装置上对脱离了用户的视点，实际观看不到的区域也进行解码，因此存在浪费不必要的程序的问题点。
因而，需要一种减少影像传输数据量和复杂程度，且对宽带及解码装置的耗电方面也有效地编码方法。
发明内容
技术问题
本发明是为解决所述问题点而提出的，其目的在于，提供一种利用同步多视点影像的空间布局信息对如360度相机或VR用影像等的同步多视点影像有效进行编码/解码的方法以及装置。
技术方案
作为达成所述技术课题的技术手段，根据本发明的实施例的影像编码方法，其中，包括：获取同步多视点影像的步骤；生成所述同步多视点影像的空间布局信息的步骤；对所述同步多视点影像进行编码的步骤；以及对应所述经编码的多视点影像，信令通知所述空间布局信息的步骤。
并且，作为达成所述技术课题的技术手段，根据本发明的实施例的影像编码装置，其中，包括：影像获取部，用于获取同步多视点影像；空间布局信息生成部，用于生成所述同步多视点影像的空间布局信息；影像编码部，用于对所述同步多视点影像进行编码；以及空间布局信息信令通知部，对应所述经编码的多视点影像，信令通知所述空间布局信息。
并且，作为达成所述技术课题的技术手段，根据本发明的实施例的影像解码方法，其中，包括：接收位流的步骤；识别所述位流是否包含同步多视点影像的步骤；在包含所述同步多视点影像时，对空间布局信息进行语法分析的步骤；以及基于所述空间布局信息，对所述同步多视点影像进行解码的步骤。
并且，作为达成所述技术课题的技术手段，根据本发明的实施例的影像解码方法，其中，包括：接收包含经编码的影像的位流的步骤；获取对应于同步多视点影像的空间布局信息的步骤；以及基于所述空间布局信息，对所述位流的至少一部分选择性地执行解码的步骤。
并且，作为达成所述技术课题的技术手段，根据本发明的实施例的影像解码装置包括解码处理部，所述解码处理部从包含经编码的影像的位流获取对应于同步多视点影像的空间布局信息，并基于所述空间布局信息，对所述位流的至少一部分选择性地执行解码。
并且，作为达成所述技术课题的技术手段，根据本发明的实施例的影像编码方法，其中，包括：获取同步多视点影像的步骤；生成所述同步多视点影像的空间布局信息的步骤；对所述同步多视点影像进行编码的步骤；以及将包含所述经编码的多视点影像及所述空间布局信息的位流传送到解码系统的步骤，所述解码系统基于所述空间布局信息，对所述位流的至少一部分选择性地执行解码。
并且，所述视频处理方法可由记录有计算机可执行程序的计算机可读记录介质而体现。
根据本发明的实施例，从同步多视点影像提取适合编码及传输的空间布局信息并信令通知，从而，能有效地减小影像传输数据量、宽带及复杂度。
并且，可以提供一种编码/解码方法以及装置，当在解码单元中接收到同步多视点影像时，可以根据信令信息对每个视点进行优化的部分解码和选择性解码，从而，能够减少系统浪费，在复杂度及耗电池方面也有效。
另外，根据本发明的实施例，可以支持关于各种类型的同步影像的空间布局信息，从而能够根据解码装置的规格进行适当的影像再现，并能提高装置兼容性。
附图说明
图1是根据本发明的一实施例的整个系统的结构图。
图2是示出根据本发明的一实施例的时间同步多视点影像编码装置的结构的框图。
图3至图6是示出根据本发明的实施例的同步多视点影像的空间布局的一例的图。
图7至图9是用于说明根据本发明的各种实施例的空间布局信息的信令通知方法的图。
图10是示出用于说明根据本发明的实施例的空间布局信息的结构的图。
图11至图12是用于说明根据本发明的实施例的空间布局信息的类型索引表的图。
图13是用于说明根据本发明的实施例的空间布局信息的视点信息表的图。
图14是用于说明根据本发明的实施例的解码方法的流程图。
图15及图18是根据本发明的实施例的空间布局信息的信令通知确定在解码端的扫描顺序的示例图。
图17是用于说明根据空间布局信息的信令通知区分的独立子图像和从属子图像的图。
图18至图19是示出子图像之间的边界区域根据空间布局信息参考子图像解码的图。
图20至图24是示出根据本发明的一实施例的解码系统及其动作的图。
图25至图26是用于说明根据本发明的实施例的编码及解码处理的图。
具体实施方式
下面参照附图详细说明本发明的实施例以供本发明所属领域的技术人员能够容易实施。但是，本发明可以体现为各种不同的形态，并不局限于此处说明的实施例。并且，为了明确说明本发明，图中省略了与说明无关的部分，在整个说明书中对类似的部分标注类似的图面符号。
在本发明的说明书中，某部分与其他部分“连接”时，不仅包括“直接连接”的情况，还包括在中间通过其他元件“电连接”的情况。
本发明的说明书中，某部件位于其他部件上时，不仅包括某部件与其他部件相接触的情况，还包括在两个部件之间存在其他部件的情况。
本发明的说明书中，某部分“包括”某构成要素时，除非没有特别相反的记载并不排除其他构成要素而可进一步包括其他构成要素。本发明的说明书中所使用的“约”、“实际上”等程度术语是指在所提及的含义提示固有的制造及物质的允许误差时，以该数值或与该数值近似的含义使用，并用于防止未经许可的侵权者为了理解本发明而不正当的利用准确或绝对数值所指代的公开内容。本发明的说明书中使用的术语“～步骤”或“～的步骤”并不意味着“用于～步骤”。
在整个说明书中，马库什形式的表现中所包含的这些组合的术语是指选自由马库什形式的表现中记载的构成要素组成的组中的一个以上的混合或组合，并指选自由所述构成要素组成的组中的一个以上。
本发明的实施例中，作为对同步影像进行编码的方法的一例，可以利用到目前为止开发的视频编码标准中具最高的编码效率的由MPEG(Moving Picture Experts Group)和VCEG(Video Coding Experts Group)共同标准化的HEVC(High Efficiency VideoCoding)或目前正在进行标准化工作的编码技术进行编码，但并不局限于此。
通常，编码装置包括编码过程和解码过程，解码装置包括解码过程。解码装置的解码过程与编码装置的解码过程相同。因此，下面主要说明编码装置。
图1是根据本发明的一实施例的整个系统的结构图。
参照图1，根据本发明的一实施例的整个系统，包括：预处理装置10、编码装置100、解码装置200、以及后处理装置20。
根据本发明的实施例的系统，可以包括：预处理装置10；对多个视点的影像分别进行合并或拼接(stitch)等工作来进行预处理获得同步的视频帧；编码装置100，对所述同步化的视频帧进行编码而输出位流；解码装置200，接收所述位流对所述同步化的视频帧进行解码；以及后处理装置20，通过对所述视频帧的后处理由各自的显示器输出按照各视点同步化的影像。
此处，输入影像可包括多视点的个别影像，例如，可包括一个以上的相机在时间及空间同步的状态下拍摄的多样的视点的子图像信息。由此，预处理装置10通过对所获得的多视点子图像信息按时间进行空间合并或拼接处理，从而，可以获得同步影像信息。
并且，编码装置100对所述同步影像信息进行扫描及预测编码而生成位流，所生成的位流可以传输至解码装置200。尤其，根据本发明的实施例的编码装置100从所述同步的影像信息可以提取空间布局信息，并向解码装置200信令通知。
此处，空间布局信息(spatial layout information)可以包括从所述预处理装置10合并一个以上的子图像而构成一个视频帧，对每个子图像的属性及布置的基本信息。并且，还可以进一步包括各子图像以及对子图像之间的关系的附加信息，对此将在后面详述。
由此，根据本发明的实施例的空间布局信息可传递至解码装置200。并且，解码装置200参考空间布局信息和用户视点信息确定位流的解码对象及解码顺序，可以推导有效的解码。
并且，经解码的视频帧再次通过后处理装置20按各自的显示器分为子图像，然后被提供至如HMD等多个同步化的显示系统，由此，用户能得到如虚拟现实逼真的同步化的多视点影像。
图2是示出根据本发明的一实施例的时间同步多视点影像编码装置的结构的框图。
参照图2，根据本发明的实施例的编码装置100，包括：同步多视点影像获取部110、空间布局信息生成部120、空间布局信息信令通知部130、影像编码部及传输处理部150。
同步多视点影像获取部110利用如360相机等同步多视点影像获取单元获得同步多视点影像。同步多视点影像可包括时间及空间同步的多个子图像，可从预处理装置10接收或从另外的外部输入装置接收。
并且，空间布局信息生成部120将所述同步多视点影像划分为时间单位的视频帧，并提取关于所述视频帧的空间布局信息。可以根据各个子图像的属性和布置状态来确定空间布局信息，并且可以根据从预处理装置10获得的信息来确定空间布局信息。
并且，空间布局信息信令通知部130执行将所述空间布局信息给解码装置200信令通知的信息处理。例如，空间布局信息信令通知部130可以执行包括在由影像编码部经编码的影像数据、或构建其他的数据格式、或者包括在经编码的影像的元数据的一个以上的程序。
然后，影像编码部根据时间流逝对同步多视点影像进行编码。另外，影像编码部作为参考信息利用在空间布局信息生成部120生成的空间布局信息来确定影像扫描顺序及参考图像等。
因此，如上所述，影像编码部可以利用HEVC(High Efficiency Video Coding)执行编码，但是，根据空间布局信息可以更有效的方式改善同步多视点影像。
然后，传输处理部150执行结合经编码的影像数据与从所述空间布局信息信令通知部130插入的空间布局信息传输给解码装置200的一个以上的变换及传输处理。
图3至图6是示出根据本发明的实施例的同步多视点影像的空间布局及影像结构的一例的图。
参照图3，根据本发明的实施例的多视点影像可包括时间同步及空间同步的多个影像帧。
每个帧可根据固有的空间布局同步，可以构成在同一时间表示的对应于一个以上的场景(Scene)、视点(Perspective)或视图(View)的子图像的布局。
由此，空间布局信息在构成同步多视点影像的每个子图像通过合并、拼接(stitch)等被构成为一个输入影像，或者同时间段多视点影像(例如，作为同时同步的多个影像对应于在相同的POC内对应的各种视图)被构成为输入影像时，可以包括所述多视点影像或子图像的配置信息、捕获相机的位置信息及角度信息、合并信息、子图像的数量信息、扫描顺序信息、获取时间信息、相机参数信息、子图像之间的参考依赖性信息等子图像和其相关信息。
例如，如图4所示出，可通过发散(divergent)式相机排列拍摄影像信息，也可以通过对排列影像的拼接处理来构成可360度观察的空间影像。
如图4所示，对应于每个相机排列A、B、C...拍摄的影像A'、B'、C'可根据一维或二维空间布局配置，作为空间布局信息可以例示用于处理所排列的影像之间的拼接处理的左右、上下区域关系信息。
由此，空间布局信息生成部120可从输入影像提取包括如所述各种属性的空间布局信息，空间布局信息信令通知部130可以通过后述的最佳的方法信令通知所述空间布局信息。
如此生成及信令通知的空间布局信息，如上所述，可作为有用的参考信息所利用。
例如，假设通过每个相机拍摄的内容为被预拼接的图像时，所述每个预拼接的图像在编码之前重叠形成一个场景(scene)。相反，可根据每个视图(view)分离所述场景，并可根据类型在分离的各图像间相互补偿。
由此，将在多视点拍摄的一个以上的影像在前处理过程中合并及拼接为一个图像后传输并输入到编码器的预拼接图像时，合并及拼接的输入影像的场景信息、空间布局结构信息等可通过另外的空间布局信息的信令通知传送到编码步骤及解码步骤。
并且，从多视点取得的影像为以时间同步的视点的一个以上的输入影像传输并经过编码及解码的非拼接图像类型时，在编码及解码步骤中，也可根据所述空间布局信息参考及补偿。为此，会需要各种空间布局信息及对应于其的数据字段。而且，数据字段与输入影像的压缩信息一起编码或可包括在独立的元数据并传输。
并且，包括空间布局信息的数据字段还可以利用于影像的后处理装置20及显示器的渲染处理中。
为此，包括空间布局信息的数据字段可以包括从每个相机获取影像时获得的位置坐标信息及色差信息。
例如，从每个相机获取影像信息时获得的影像的三维坐标信息及色差信息(X、Y、Z)、(R、G、B)等信息可作为对每个子图像的附加信息获取并传输，这种信息在执行解码后可利用于影像的后处理及渲染过程中。
并且，包括空间布局信息的数据字段可包括每个相机的相机信息。
如图5至图6所示，可以配置拍摄三维空间提供空间影像的一个以上的相机。
例如，图5所示，获取影像时，以在三维空间内的一个地点获取周边事物的形态，一个以上的相机的位置固定在中央位置，并可以设定每个方向。
并且，如图6所示，一个以上的相机可以配置成在多样的角度拍摄一个对象物的形态。此时，基于获取影像时的坐标信息(X、Y、Z)和距离信息等，将要再生三维影像的VR显示设备分析用户的操作信息(Up/Down、Left/Right、Zoom in/Zoom Out)等，并对对应于此的影像的一部分进行解码或后处理后，可以重建用户所需的视点或部分影像。另一方面，如上所述，在例示的VR影像的同步多视点影像的压缩、传送、再生等的系统中，根据影像的类型或特性、解码装置的特性等，可以在必要的部分追加其他的影像转换工具模块等。
例如，影像编码部140从相机获取的影像为球面(Equirectangular)类型时，根据影像的压缩性能及编码效率等通过变换工具模块变换为20面体/立方体贴图(Icosahedron/Cube Map)等方式的影像类型，可由此执行编码。此时，变换工具模块还可以利用在预处理装置10及后处理装置20，经变换的变换信息包括在所述空间布局信息等后可以以元数据形式传送到编码装置200或后处理装置20或VR显示装置。
另一方面，为传递根据本发明的实施例的同步多视点影像，编码装置100及解码装置200之间可能会需要用于支持可伸缩性的其他的VR影像压缩方式。
由此，编码装置100为了对VR影像可伸缩地进行压缩，可以以区分基本层和增强层的方式对影像进行压缩编码。
这种方法中，在压缩通过各种相机获取一张输入影像的高分辨率VR影像时，在基本层对原始影像进行压缩，在增强层对一张图片如切片/瓦片等方式分割区域，可以对每个子图像进行编码。
此时，编码装置100将基本层的重建影像作为参考影像利用，并可通过提高编码效率的层间预测技术(Inter layer prediction)处理压缩编码。
另一方面，在解码装置200对基本层执行解码的同时，需要根据用户的操作等对特定影像迅速执行解码时，对增强层的局部区域执行解码后，可以对根据用户的操作的局部影像迅速执行解码。
在这种可伸缩压缩方式中，编码装置100对基本层执行编码，但在基本层对原始影像以任意比率按比例缩小(Scale down))或下采样((Down sampling))等后可以执行压缩。此时，在增强层对基本层的重建影像通过按比例扩展(Scale Up)或上采样(Up sampling)等以相同的分辨率调节影像尺寸，并通过作为参考图片利用对应于此的基本层的重建影像，可以执行编码/解码。
根据支持这种可伸缩性的处理结构，解码装置200对低比特或低分辨率压缩的基本层的整个位流执行解码，在增强层根据用户的操作可以仅对整个位流中的局部影像执行解码。并且，由于并非对整个影像执行解码，因此，以低复杂度也可重建VR影像。
并且，根据支持不同分辨率的其他可伸缩性的影像压缩方式，编码装置100在基本层可根据原始影像或影像制作者的意图对影像进行压缩，并在增强层基于参考基本层的重建影像进行编码的层间预测方式执行编码。
此时，增强层的输入影像可为通过影像分割方法分割一张输入影像后编码为多个区域的影像。一个分割的区域最多可以包括一个子图像，多个分割区域可以构成一个子图像。通过这样的分割方法编码的压缩位流可以处理服务和应用程序阶段中的2个以上的输出。例如，在服务中通过对基本层的解码重建整个影像并输出，在增强层反映通过服务或应用程序的用户的操作、视点变化及操作等，仅对局部区域及局部子图像执行解码。
图7至图9是用于说明根据本发明的各种实施例的空间布局信息的信令通知方法的图。
如图7至图9所示，空间布局信息在对一般影像进行编码时，在被定义为编码参数的序列参数集(SPS，SEQUENCE PARAMETER SET)或视频参数集(VPS，VIDEO PARAMETER SET)等的HLS上，可以向以网络抽象层(NAL，NETWORK ABSTRACTION LAYER)单元形式的一个级别的类型信令通知。
首先，图7示出插入根据本发明的实施例的同步影像编码标志的NAL UNIT类型，例如，在VPS(VIDEO PARAMETER SET)等可以插入根据本发明的实施例的同步影像编码标志。
由此，图8示出将根据本发明的实施例的空间布局信息标志插入至VPS(VIDEOPARAMETER SET)的实施例。
如图8所示，根据本发明实施例的空间布局信息信令通知部130，在VPS上可以插入用于确认其他的输入影像的种类的标志。编码装置100通过空间布局信息信令通知部130，利用vps_other_type_coding_flag，执行如VR内容等同步多视点影像编码，可插入指示空间布局信息已被信令通知的标志。
另外，如图9所示，根据本发明的实施例的空间布局信息信令通知部130可以向SPS(序列参数集)信令通知经编码的多视点同步影像。
例如，如图9所示，空间布局信息信令通知部130通过插入输入影像的类型(INPUT_IMAGE_TYPE)，可在SPS包括同步多视点影像的索引信息进行传输。
此处，SPS的INPUT_IMAGE_TYPE_INDEX不是-1时，或INDEX值不是-1时，或其值被指定为0，对应于-1时，可以表示INPUT_IMAGE_TYPE为根据本发明的实施例的同步多视点影像。
另外，空间布局信息信令通知部130，当输入影像的类型为同步多视点影像时，通过在SPS中包括其视点信息(PERSPECTIVE INFORMATION)信令通知，从而，还可以在SPS插入同步多视点影像的空间布局信息的局部进行传输。视点信息是根据二维影像的三维渲染处理过程，按每个时间段信令通知图像布局的信息，可以包括上段、下段及侧面等的顺序信息。
由此，解码装置200对VPS或SPS的所述标志进行解码后，可以识别该影像是否利用根据本发明的实施例的空间布局信息进行编码。例如，图5的VPS的情况下，通过提取VPS_OTHER_TYPE_CODING_FLAG，可以确认该影像是否为利用空间布局信息编码的同步多视点影像。
并且，图9的SPS情况下，通过对PERSPECTIVE_INFORMATION_IN DEX进行解码，可以识别如布局等实际空间布局信息。
此时，空间布局信息可以以参数的形式构成，例如，空间布局参数信息可以不同地包含在SPS、VPS等的HLS上，或者以如独立的函数形态构成语法，或者可以被定义为SEI消息。
并且，根据一实施例，空间布局信息可包含在PPS(PICTURE PARAMETER SET)上进行传输。此时，可包含每个子图像的属性信息。例如，可信令通知子图像的独立性。独立性可以指示相应影像在不参考其他影像的情况下可进行编码及解码，同步多视点影像的子图像可包括独立子图像和从属子图像。从属子图像可参考独立子图像进行解码。空间布局信息信令通知部130在PPS上对独立子图像可以以列表(Independent sub image list)形式信令通知。
另外，所述空间布局信息可以被定义为SEI消息信令通知。图10作为空间布局信息例示了SEI消息，并且，可以使用空间布局信息描述符来插入参数化的空间布局信息。
如图10所示，空间布局信息可以包括能显示输入影像的空间布局(Spatiallayout)的类型索引信息(INPUT IMAGE TYPE INDEX)、视点信息(PERSPECTIVEINFORMATION)、相机参数信息(CAMERA PARAMETER)、场景角度信息(SCEN ANGLE)、场景动态范围信息(SCENE DYNAMIC RANGE)、独立子图像信息(INDEPENDENT SUB IMAGE)、场景时间信息(SCENE TIME INFORMATION)中的至少一个，其外，还可以进一步包括有效编码多视点同步影像所需的各种信息。这些参数可被定义为一种描述类型SEI消息格式，解码装置200解析这些参数，可在解码、后处理和渲染步骤中有效利用所述空间布局信息。
并且，如上所述，空间布局信息可以以SEI或元数据的形式传递至解码装置200。
并且，例如，空间布局信息在编码步骤中可通过如配置(configuration)等选择选项来信令通知。
作为第1选项，空间布局信息根据语法上的编码效率可包括在HLS上的VPS/SPS/PPS或编码单元(Coding unit)语法中。
作为第2选项，空间布局信息可以以在语法上的SEI形态的元数据一次性用信令通知。
下面，参照图11至图19，进一步具体说明根据本发明的一实施例的同步多视点影像格式的有效的视频编码及解码方法。
如上所述，在预处理步骤生成的多个视点的每个影像可以合成为一个输入影像后被编码。此时，一个输入影像可包括多个子图像。每个子图像可在同一时刻同步，可分别对应于不同的视图，视觉视点(PERSPECTIVE)或场景。这具有如现有即便不使用深度信息的情况下对相同的POC(PICTURE ORDER COUNT)也支持各种视图的效果，并且，每个子图像之间的重叠的区域将限于边界区域。
尤其，输入影像的空间布局信息可以如上所述的形式信令通知，编码装置100及解码装置200解析空间布局信息并可以有效利用于编码及解码。即，编码装置100在编码步骤中可以利用所述空间布局信息处理多视点影像编码，解码装置200在解码、预处理及渲染步骤中可以利用所述空间布局信息处理解码。
图11至图12是用于说明根据本发明的实施例的空间布局信息的类型索引表的图。
如上所述，输入影像的子图像可以以多种方式布置。由此，空间布局信息可以单独地包含用于信令通知布置信息的表索引。例如，如图11所示，同步多视点影像根据变换方法可举等角(Equirectangular：ERP)、立方体(Cubemap：CMP)、等面积(Equal-area：EAP)、八面体(Octahedron：OHP)、Viewport generation using rectilinear projection、二十面体(Icosahedron，ISP)、Crasters Parabolic Projection(克拉斯特抛物线投影)for CPP-PSNR calculation、正方棱台(Truncated Square Pyramid：TSP)、分段球体(SegmentedSphere Projection：SSP)、调整的立方体地图(Adjusted Cubemap Projection：ACP)、旋转球体(Rotated Sphere Projection：RSP)等布局，在空间布局信息可以插入与每个布局相对应的图12所示的表索引。
更具体地，根据各空间布局信息，对应于360度的坐标系的三维影像可被投影为二维影像。
ERP是在一个面上投影变换360度影像的投影方式，可包括对应于二维图像的取样位置的u、v坐标系位置变换以及对应于所述u、v坐标系位置的等距矩形经度与维度坐标变换处理。由此，空间布局信息可包括ERP索引、单面信息(例如设定face index为0)。
CMP是将360度影像投影到6个正六边形面的投影方式，可以布置投影到与PX、PY、PZ、NX、NY、NZ(P表示正，N表示负)对应的各面索引(face index,f)的子图像。例如，CMP影像的情况下可以包括将ERP影像变换为3×2的立方贴图影像的影像。
因此，空间布局信息可以包括CMP索引和与子图像对应的各面索引信息。后处理装置20根据面索引处理关于子图像的二维位置信息，计算与三维坐标系对应的位置信息，并逆变换输出三维360度影像。
ACP，如CMP将360度影像投影到6个正六边形面时，适用分别对应于二维投影变换及三维逆变换根据三维弯曲变形调整的函数，虽其处理函数不同，但所利用的空间布局信息可包含ACP索引和每个子图像的面索引信息。因此，后处理装置20根据利用面索引调整子图像上的二维位置信息的函数进行逆变换处理，计算出与三维坐标系对应的位置信息，可以输出由此而形成的三维360度影像。
EAP与ERP相同是投影到一个面的变换，可以包括与二维图像的取样位置及时对应的等距矩形经度和维度坐标变换处理。空间布局信息可包括EAP索引和单面信息。
OHP是将360度影像利用6个顶点(vertices)投影到正八边形面的投影方式，利用面{F0,F1、F2、F3、F4、F5、F6、F7}和顶点{V0、V1、V2、V3、V3、V4、V5}投影的子图像可布置于变换影像。
因此，空间布局信息可以包括OHP索引、与子图像对应的各面索引信息、以及与所述面索引信息匹配的一个以上的顶点索引信息。另外，变换影像的子图像的布置可分为紧凑情况和非紧凑情况。因此，空间布局信息还可以包括识别紧凑与否信息。例如，可以不同地确定非紧凑的情况和紧凑情况的面索引及顶点索引匹配信息和逆变换程序。例如，若面索引4不紧凑，则可以与顶点索引V0、V5和V1匹配，紧凑时，对V1、V0和V5可以处理其他匹配。
后处理装置20根据面索引和顶点索引对子图像上的二维位置信息进行逆变换处理，计算出与三维坐标系对应的矢量信息，并逆变换输出三维360度影像。
ISP是将360度影像利用20个面和12个顶点投影的方式，并且，可以在变换影像布置根据每个变换的子图像。空间布局信息与OHP类似，可以包括ISP索引、面索引、顶点索引和紧凑识别信息中的至少一个。
SSP将360度影像的球体分为北极、赤道及南极的三个分段处理。北极和南极分别映射到由索引识别的两个圆，两极分段间角落被处理为灰色的非激活样品，赤道可以利用与ERP相同的投影方法。因此，空间布局信息可以包括与SSP索引、每个赤道、北极和南极分段对应的面索引。
RSP可以包括将360度影像的球体划分为两个相同大小的片段，并且将所述分割的影像展开在二维变换影像中布置两排的方式。RSP以与CMP类似的3×2纵横比，可以利用6个面来实现上述布置。因此，变换影像可以包括上段的第一划分影像和下段的第二划分影像。空间布局信息可以包括RSP索引、划分影像索引和面索引中的至少一个。
TSP可以包括将投影到6个立方体表面上的360度影像的帧与截头矩形金字塔的表面相对应变形投影的方式。因此，对应于各面的子图像的大小和形状可以彼此不同。空间布局信息可以包括TSP识别信息和面索引中的至少一个。
Viewport generation using rectilinear projection是将360度影像变换为以视角为Z轴投影的二维影像而获取的投影方式，空间布局信息还包括Viewport generationusing rectilinear projection索引信息和表示视点的视口信息。一方面，空间布局信息还可包括适用于所述影像变换的插值滤波器信息。例如，插值滤波器信息可根据各投影变换方式而不相同，可包括最邻近滤波器(nearest neighbor)、双线性滤波器、双三次(BICUBIC)滤波器、Lanczos滤波器等中的至少一个。
一方面，可以另外定义用于评估预处理变换和后处理逆变换的处理性能的变换方式及索引。例如，性能评估可用于确定预处理装置10上的预处理方式，并且，作为该方式可以例举将相互不同的2个变换影像变换为CPP(Crasters Parablic Projection)域名而测量PSNR的CPP方式。
然而，图12所示的表是根据输入影像任意布置的，可根据编码效率及市场的内容分布等来改变。
因此，解码装置200可以解析另外信令通知的表索引并将其用于解码处理。
尤其，在本发明的实施例中，所述每个布局信息可以有用地用于影像的局部解码。也就是说，诸如立方体布局(CUBIC LAYOUT)的子图像布置信息可用于区分独立子图像与从属子图像，从而确定有效的编码和解码扫描顺序，或者可以对特定视点执行局部解码。
图13是用于说明根据本发明的实施例的解码方法的流程图。
参照图13，首先，解码装置200接收影像位流(S101)。
并且，解码装置200确认影像是否为同步多视点影像(S103)。
在此，解码装置200从影像位流识别是否为自从空间布局信息信令通知部130信令通知的标志同步多视点影像。例如，解码装置200从如上所述的VPS、SPS等可预先识别影像是否为同步多视点影像。
若不是同步多视点影像，则对一般的整体影像执行解码(S113)。
并且，解码装置200，在同步多视点影像时，从空间布局信息对表索引执行解码(S105)。
此处，解码装置200从表索引可以识别是否为球面(EQUIRECTANGULAR)影像。
这是因为同步多视点影像中球面影像时，不能区分为其他的子图像，所以，解码装置200对球面影像执行整个影像的解码(S113)。
若不是球面影像，则解码装置200对剩下的整个空间布局信息(SPATIAL LAYOUTINFORMATION)执行解码(S109)，基于所述空间布局信息执行解码处理(S111)。
图14是用于说明根据本发明的实施例的空间布局信息的视点信息表的图。
根据本发明的实施例的空间布局信息可以包括用于视点信息(PERSPECTIVEINFORMATION)的表。
编码装置100及解码装置200作为用于区分影像之间参考、编码、解码顺序及独立子图像的信息，可以利用所述视点信息表。
并且，在多视点显示装置上渲染时，视点信息表可以与经解码的影像一起发送到装置的系统层，用户利用该信息根据内容提供者(contents provider)的意图调整相位来观看影像。
更具体而言，空间布局信息信令通知部130可以信令通知到各个子图像的视点(PERSPECTIVE)。尤其，空间布局信息信令通知部130，根据影像类型仅对Top、Bottom及前方影像信息信令通知，在解码装置200可以利用上部场景、前方场景(Perspective Scene)、下部场景(Bottom Scene)推导剩下侧面的影像信息。由此，可以仅对最小限的信息信令通知。
图15及图16是按照根据本发明的实施例的空间布局信息的信令通知确定解码端的扫描顺序的图。
图15及图16所示，根据空间布局信息的类型索引，可以一起传输子图像的扫描顺序，并通过所传输的扫描顺序信息能有效进行解码及渲染。
图15及图16示出原始影像以A->B->C->D->E->F顺序进行扫码。
为了信令通知，空间布局信息信令通知部130在扫描序列中仅对俯视图(Topview)、仰视图(Bottom view)、前视图等局部子图像的顺序信息信令通知。解码装置200利用所述局部子图像的顺序信息可以导出整个顺序。
并且，根据所传输的影像的种类、并列性及参考结构，可以如图15或16所示改变扫描顺序。
假设TOP为A，Bottom为F，Front为B，图15的扫描顺序可以是A->F->B->C->D->E，图16的扫描顺序可以是A->B->C->D->E->F。这是在考虑编码效率不同地确定扫描顺序时可以有效利用。
图17是用于说明根据空间布局信息的信令通知区分的独立子图像和从属子图像的图。
如图17所示，配置于空间布局的每个子图像考虑参考性及并列性，可区分为从属子图像(Dependent sub image)和独立子图像(Independent sub image)。独立子图像具有不参考其他子图像编码的特性，从属子图像可以参考相邻的独立子图像或相邻的从属子图像重建。
因此，独立子图像可具有必须在从属子图像之前编码或解码的特性。
在一实施例中，独立子图像可以参考在时间轴上不同的已被编码或解码的独立子图像执行编码或解码，从属子图像在时间轴上可以参考相同或不同的独立子图像执行编码或解码。并且，是否为独立可根据空间布局信息由单独索引信令通知。
图18至图19是示出子图像之间的边界区域根据空间布局信息参考独立子图像执行解码的图。
如上所述，编码装置100或解码装置200可以同时考虑扫描顺序和子图像的依赖性信息来处理编码和解码。
如图18所示，当A和F为独立子图像时，可以如A->F->B->C->D->E的扫描顺序传输或导出，此时，应该相对于其他从属子图像优先对A、F解码。并且，当对剩余的B、C、D、E进行解码时，可以参考独立子图像来对每个子图像的相邻的边界区域执行解码。因此，可以参考已解码的独立子图像或已解码的从属子图像的边界区域对剩余子图像进行解码。
并且，上述独立子图像不仅可以用于一个影像帧，还可以用于在相邻图像的边界区域中执行帧内/帧间编码和解码。
然而，如图19所示，由于不同的分辨率，有可能不能1：1映射(在一般影像的情况下，宽度的比率宽于高度)。
此时，为了参考相应相邻面，通过诸如对象子图像的旋转和上采样(Upsampling)等影像处理技术根据分辨率调整比例，用于在边界区域的编码或解码。
并且，所述影像处理技术可以包括诸如插值滤波器或解块滤波器、适应取样滤波器(SAO)、自适应环路滤波器(ALF:Adaptive Loop Filter)的滤波处理，对所述子图像间的边界区域需要进行滤波处理时，可以选择性地适用所述滤波处理。
例如，在图19中的C的上区域边界的编码/解码中，可以参考A的边值。为此，编码装置100或解码装置200将A的边值(Height)上采样到对应于C的宽度的比率，根据相应位置生成参考块值，并对其进行编码和解码。图20至图24是示出根据本发明的实施例的解码系统及其操作的图。
参考图20，根据本发明实施例的解码系统300接收从上述的编码装置100或外部服务器等接收的整体同步的多视点影像位流及空间布局信息，可以构成向用户的虚拟现实显示装置400提供一个以上的解码图片的客户端系统。
为此，解码系统300包括解码处理部310、用户操作分析部320及接口部330。尽管在本说明书中将解码系统300描述为单独的系统，但是，可由构成用于执行必要的解码处理及后处理的上述的解码系统300和后处理装置20的全部或局部模块的组合构成，还可以扩张解码装置200而构成。因此，不局限于该名称。
因此，根据本发明的实施例的解码系统300可以根据从编码装置100接收的空间布局信息、和基于用户操作分析的用户视点信息对整个位流的局部可以选择性地执行解码。尤其，根据参照图20说明的选择性解码，解码系统300使用空间布局信息将具有同时间(POC,Picture of Count)的多个视点的输入影像可以以预定方向为准与用户的视点(PERSPECTIVE)相对应。并且，以此为准，可以对基于用户视点确定的感兴趣区域(ROI,Region Of Interest)图片执行部分解码。
以这种方式，解码系统300可以使用空间布局信息选择性地处理与所选择的特定区域相对应的解码。例如，通过根据结构信息单独处理的解码来确定与特定选择区域相对应的质量参数(Qp)值，并由此可以处理选择性解码。尤其，在对所述感兴趣区域(ROI)的选择性解码中，可以与其他区域不同地确定质量参数的值。作为ROI区域的一部分的细部(DETAIL)区域的质量参数可以根据用户的视点(PERSPECTIVE)与其他区域不同地确定。
为此，解码系统300可以包括用于接收和分析用户信息的接口层，并且，可以选择性地执行当前解码的图像所支持的时间点以及VR显示装置400的视点映射，后处理和渲染等。更具体而言，界面层可以包括用于所述后处理和渲染的一个以上的处理模块、界面部330及用户操作分析部320。
接口部330可从用户佩戴的VR显示装置400接收运动信息。
接口部330可以包括用于有线或无线地接收如用户的VR显示装置400的环境传感器、接近传感器、运动传感器、位置传感器、陀螺仪传感器、加速度传感器和地磁传感器中的至少一个的数据通信模块。
并且，用户操作分析部320分析从所述接口部330接收的用户操作信息以确定用户的视点(PERSPECTIVE)，并将自适应地选择与选择信息对应的解码图片组，并传输到解码处理部310。
因此，解码处理部310可以基于从用户操作分析部320传输的选择信息来设置用于选择ROI(感兴趣区域)图片的ROI掩码，并可以仅对与所设置的ROI掩码相对应的图片区域执行解码。例如，图片组可以对应于上述的影像帧中的多个子图像或参考图像中的至少一个。
例如，如图20所示，当在解码处理部310解码的特定POC的子图像存在1至8个时，解码处理部310仅对与用户的视点对应的子图像区域6、7进行解码，由此，可以实时提高处理速度和效率。
图21示出了根据本发明的实施例的整体经编码的位流和GOP(图像组)，
图22示出了根据用户的视点选择性地改变整个位流待解码的图像组。
如上所述，根据本发明的实施例的解码系统300接收所接收的同步多视点影像的整体经编码的位流，并可以对与用户的视觉视图(perspective view)对应的子位流进行解码。
此时，如上所述，可以以SEI或HLS的形式用信令通知同步多视点影像的空间布局信息。尤其，根据一实施例，解码系统300可以使用独立子图像((Independent sub image)，从属子图像(dependent sub image)及空间随机访问图片(SRAP)生成及构建参考结构。并且，利用所述参考结构根据视觉视点的变化选择局部位流进行解码。
为此，编码装置100可以通过NAL类型或PPS选择图片作为空间随机访问图片(SRAP,SPATIAL RANDAOM ACCESS PICTURE)，并且SRAP图片在另一个未选择图片的子图像的帧内预测编码中可以用作参考图片。
因此，编码装置100和解码装置200通过特定GOP(图片组)或NAL类型或PPS可以对未被选择为SPAP的图片选择一个以上SRAP图片执行编码和解码处理。
更具体而言，SRAP图片意味着为了对整个位流中的局部位流执行解码，在相同的时间段由多视点构成的一张输入影像与对于不同时间段的图像的解码无关，利用SRAP图片中的子图像之间的数据冗余等，可以独立地解码的图片。
并且，被选择为SRAP的图片的每个子图像可以通过帧内预测等执行编码/解码，在预定GOP内可以包括至少一个SRAP图片来对整个位流中的局部位流执行解码。
并且，未被选择为SRAP的图片作为参考图片利用被选择为SRAP图片的图片通过帧间预测方法，根据用户的视点执行解码。
因此，解码系统300可以通过解码处理部310使用所述参考图片对对应用户的视觉视点选择的一个以上的子图像执行解码。
并且，被选择为SRAP的图片无需参考图片可根据通常的编码及解码方法对单一影像执行帧内预测编码。
因此，解码系统300或解码装置200需要在DPB(解码图像缓冲器)中存储至少一个SRAP图片。另外，可以使用存储在SRAP中的图片作为参考图片来对在一个GOP中的已被解码的图片或SRAP图片之间的子图像执行解码。
因此，图22示出了根据被指定为SRAP的图片和用户视点的变化的解码区域的选择性变化。如图19所示，SRAP图片被解码的周期可以是预先设定的预定时间周期。
并且，参考周期性解码的SRAP图片可以改变根据用户视点变化发生时间解码的子图像组。例如，如图19所示，可以在发生用户视点变化的时点，经解码的ROI区域从第一子图像组改变为第二图像子图像组。
另外，图23是用于说明根据本发明的一实施例的子图像解码方法的图。
如上所述，在根据用户视点对局部图片执行解码的方法中，如图20所示，可以考虑每个子图像的依赖性(DEPENDENCY)。
如上所述，编码装置100和解码装置200可根据编码效率或子图像的扫码顺序，对局部图片(子图像)赋予独立性。然后，赋予独立性的独立子图像通过在帧内图片执行编码及解码处理，从而，可以去除与其他子图像的依赖性。
同时，编码装置100和解码装置200可以将剩余的子图像指定为从属子图像(Dependent sub image)。与从属子图像具有相同POC的独立子图像(Independent subimage)可添加到从属子图像的参考图片列表(referencepicture list)中，并且，所述从属子图像对相邻的独立子图像通过帧内预测执行编码或解码，或者将具有相同的POC的独立子图像用作参考图片执行帧间预测或者对具有不同的POC的独立子图像通过帧间预测方法执行编码或解码。
更具体而言，将具有不同POC的独立子图像也对应从属子图像添加到参考图片列表中。在帧内预测编码或参考添加到列表的独立子图像的帧间预测编码时，所述从属子图像可以用作参考图片。
因此，可以使用独立子图像对从属子图像通过帧内预测方法执行解码。并且，将与执行解码的当前子图像相同的POC指定为参考图片，可通过帧间预测方法执行解码。
例如，由于从属子图像与具有相同的POC的独立子图像在边界区域的相似度高，因此，编码装置100相对于从属子图像的所述边界区域可以利用与所述独立子图像的帧内预测方法执行编码。
此时，可以根据HLS上的PPS或SPS等单位来改变要参考的独立子图像，并对此信息可以单独地信令通知。另外，解码装置200可以基于独立子图像导出从属子图像。解码装置200还可以以单独的列表形式接收整个子图像是否独立。
另外，根据如上所述的SRAP和基于独立的编码和解码处理，解码系统300可以根据用户的视点从整个位流中容易选择局部位流，并能有效地执行自适应及选择性解码。
另外，独立子图像或从属子图像被单独信令通知或索引，并将能够识别它们的信号传输到解码装置200。此时，解码装置200根据用户的视点将成为解码对象的子图像的局部或整个区域参考相邻的独立子图像或已被解码的子图像对子图像间相邻接的区域推测直接编码模式，并能对相应区域执行解码。
另一方面，如图24所示，在执行帧内预测及帧间预测编码时，可以例示考虑编码效率的编码方法。
参考图24，根据本发明的实施例的编码装置100，为了测量诸如影像的PSNR等的失真或者测量RDO过程(编码过程)的误差值等，可以执行根据影像的特征不同地适用每个区域加权值(Weighting factor)的运算(Metric)。
如图24所示，使用VR显示器观看同步多视点影像的用户通常以正面视点为准左右视野范围较宽，而上下视野范围较窄。因此，编码装置100将多视点影像转换为二维影像，并对视野上端及下端区域设定加权值低的区域(LOW WEIGHT FACTOR REGION)，从而，可以提高编码效率。
图24示出了各种同步多视点影像的用户视点区域，示出了在双重多视点影像为等距矩形(Equirectangular type)的情况下适用加权值低的区域。
尤其，为了适用加权值，首先，编码装置100可以将同步多视点影像转码为二维图像后执行编码，并可根据多视点影像的类型不同地确定加权区域(Weighting region)。另外，加权区域信息可以包括在上述的空间布局信息中，或者可以通过HLS另外信令通知。加权函数也可以向另外的HLS信令通知或以列表形式发送。因此，解码装置200可以基于信令通知的加权函数对加权区域执行解码。
根据如上所述的本发明的实施例的加权区域，假设因自然影像的特征及折射的三维影像等的特性而人可以集中的区域受限而被设置。
因此，编码装置100作为基础QP适用相对低的QP来对相对低的加权区域执行编码。此外，当测量PSNR时，编码装置100可以对相对低的加权区域的PSNR测量为低。相反，编码装置100可以执行对加权值相对高的区域作为基础QP适用相对高的QP，或对PSNR测量较高的操作。
根据本发明的实施例，如上所述，对于帧间块复制预测，在相同的POC内也可以参考具有不同视点的影像来执行解码，并且，参考影像可以例示可独立解码的独立子图像。
尤其，可以对边界区域有效地适用帧内预测，并且，可以使用所述加权函数来最大化对边界区域的编码效率。例如，编码装置100根据距离指定所述加权函数使得修补从独立子图像区域参考的区域，并通过适用伸缩值，能有效地确定周边块的预测值。
在构建对帧内编码的最大可能模式(MPM，MOST PROBABLE MODE)时，编码装置100可以适用对边界区域的加权值。因此，编码装置100即便结构不相邻，以影像内子图像间的边界面为中心可以导出MPM的预测方向。
并且，编码装置100在帧间编码(INTER CODING)中还能考虑独立子图像。例如，编码装置100可以对应独立子图像参考位于关联地区的子图像。因此，当构造用于帧间编码的参考图片时，可以仅将影像中的局部子图像添加到参考图片列表。
图25至26是用于说明根据本发明的实施例的编码及解码处理的图。
图25是示出根据本发明的一实施例的视频编码装置的结构的框图，作为输入视频信号可以接收处理根据本发明的实施例的同步多视点影像的每个子图像或整个帧。
参照图25，根据本发明的视频编码装置100，包括:图像分割部160、变换部、量化部、扫描部、熵编码部、帧内预测部169、帧间预测部170、逆量化部、逆变换部、后处理部171、图像存储部172、减法部以及加法部168。
图像分割部160分析所输入的视频信号对最大的编码单元(LCU：LargestCodingUnit)以预定大小的编码单元分割图像后确定预测模式，并按所述编码单元确定预测单元的大小。
并且，所述图像分割部160根据预测模式(或预测方法)将待编码的预测单元传输至帧内预测部169或帧间预测部170。并且，图像分割部160将待编码的预测单元传输至减法部。
此处，图像由多个切片构成，切片可由多个最大编码单元构成(CodingTree Unit:CTU)。
所述LCU可分割为多个编码单元(CU)，编码器可将表示分割与否的信息附加到位流。解码器可以利用地址(LcuAddr)识别LCU的位置。
不允许分割的情况下的编码单元(CU)视为预测单元(Prediction unit：PU)，解码器可以利用PU索引识别PU的位置。
预测单元PU可分为多个分区。并且，预测单元PU可由多个变换单元(Transformunit：TU)构成。
此时，图像分割部160以根据所确定编码模式的预定大小的块单元(例如，PU单元或TU单元)将影像数据传输至减法部。
视频编码单元使用CTB(Coding Tree Block)，此时，CTB被定为多样的正四边形形状。CTB称为编码单元CU(Coding Unit)。
编码单元(CU)根据分割可具有四叉树形态。并且，在QTBT(Quadtreeplus binarytree)分割的情况下，编码单元可具有四叉树或在终端节点二元分割的二叉树形态，根据编码器的标准最大尺寸可为256×256至64×64。
例如，在最大编码单元(LCU)的情况下，最大尺寸为64×64时深度为0，图像分割部160直到尺寸8×8的编码单元为止递归地搜索最佳的预测单元进行编码直到深度成为3。此外，例如对被分割为QTBT的终端节点的编码单元，PU(Prediction Unit)及TU(TransformUnit)与所述被分割的编码单元具有相同的形态或更加分割的形态。
执行预测的预测单元由PU(Prediction Unit)定义，各编码单元执行对分割为多个块的单元的预测，分为正四边形及矩形的形态执行预测。
变换部对所输入的预测单元的原始块和在帧内预测部169或帧间预测部170生成的预测块之间的残差信号的残差块进行变换。所述残差块由编码单元或预测单元而构成。由编码单元或预测单元构成的残差块被分割为最佳的变换单元而进行变换。可根据预测模式确定相互不同的变换矩阵。并且，由于帧内预测的残差信号根据帧内预测模式具有方向性，因此，可根据帧内预测模式自适应地确定变换矩阵。
变换单元可以通过两个(水平、垂直)一维变换矩阵进行变换。例如，在帧间预测的情况下，确定预定的一个变换矩阵。
一方面，帧内预测情况下，在帧内预测模式为水平时，残差块具有垂直方向的方向性地概率变高，因此，垂直方向适用基于DCT的整数矩阵，水平方向适用基于DST或基于KLT的整数矩阵，帧内预测模式为垂直时，垂直方向适用基于DST或基于KLT的整数矩阵，水平方向适用基于DCT的整数矩阵。
在DC模式下两方向均可适用基于DCT的整数矩阵。而且，帧内预测情况下，可基于变换单元(TU)的大小自适应地确定变换矩阵。
量化部确定用于量化通过所述变换矩阵变换的残差块的系数的量化步长，可按照预设大小以上的量化单元确定量化步长。
预设的大小可为8×8或16×16，利用根据预定的量化步长及预测模式而确定的量化矩阵对多个变换块的系数进行量化。
量化部作为当前量化单元的量化步长的预测子，可以利用与当前量化单元相邻的量化单元的量化步长。
量化部以当前量化单元的左侧量化单元、上侧量化单元、左上侧量化单元的顺序进行搜索，可利用1个或2个有效的量化步长生成当前量化单元的量化步长预测子。
例如，可将由所述顺序搜索的有效的第一个量化步长确定为量化步长预测子，或者将由所述顺序搜索的有效的2个量化步长的平均值确定为量化步长预测子，或者在只有1个量化步长有效时，可将其确定为量化步长预测子。
若确定所述量化步长预测子，量化部将当前编码单元的量化步长和量化步长预测子之间的差分值传输至熵编码部。
一方面，当前编码单元的左侧编码单元、上侧编码单元、左上侧编码单元可以都不存在。相反，在最大编码单元内的编码顺序上可以存在之前存在的编码单元。
因此，按照编码顺序，在与当前编码单元相邻的量化单元和所述最大编码单元内紧前面的量化单元的量化步长成为候选。
此时，可以以1)当前编码单元的左侧量化单元、2)当前编码单元的上侧量化单元、3)当前编码单元的左上侧量化单元、4)按照编码顺序紧前面的量化单元的顺序设定优先顺序。所述顺序可以改变，还可以省略所述左上侧量化单元。
所述经量化的变换块被传输至逆量化部和扫描部。
扫描部对经量化的变换块的系数进行扫描并将它们变换成一维量化系数。由于量化后的变换块的系数分布会取决于帧内预测模式，因此，可以根据帧内预测模式确定扫描方式。
并且，可以根据变换单元的大小不同地确定系数扫描方式。并且，所述扫描方式可根据方向性帧内预测模式而不同。此时，量化系数的扫描顺序可以在相反方向上扫描。
当所述经量化的系数被分割为多个子集时，对每个子集内的量化系数适用相同的扫描方式。子集之间的扫描方式可以是Z字形扫描或对角线扫描。优选地，所述扫描方式从包括DC的主子集扫描到正向的剩余子集，但是，也可以进行反向扫描。
另外，可以以与子集中经量化的系数的扫描方式相同的方式设置子集之间的扫描方式。此时，可根据帧内预测模式确定子集之间的扫描方式。另一方面，编码器将可以指示在所述变换单元中非零的最后量化系数的位置的信息传输至解码器。
可以指示各子集内非零的最后量化系数的位置的信息也可以传输至解码器。
逆量化部对所述经量化的量化系数进行逆量化，逆变换部将经逆量化的变换系数重建为空间区域的残差块。加法部相加由所述逆变换部重建的残差块和自帧内预测部169或帧间预测部170接收的预测块，可以生成重建块。
后处理部171可以执行解块(deblocking)滤波过程，以消除在重建的图像中产生的方块效应；自适应偏移适用过程，以像素单位补偿与原始图像之间的差值；以及自适应环路滤波过程，以编码单元补偿与原始图像之间的差值。
解块滤波过程优选适用于具有预定大小以上的大小的预测单元及变换单元的边界。所述大小可为8×8。所述解块滤波过程可包括：确定待滤波的边界(bounary)的步骤；确定适用于所述边界的边界滤波强度的步骤；确定是否适用解块滤波器的步骤；以及确定适用解块滤波器时，选择适用于所述边界的滤波器的步骤。
是否适用所述解块滤波器可取决于i)所述边界滤波强度是否大于0；以及ii)与所述待滤波的边界相邻的2个块(P块、Q块)边界部份的像素值是否小于表示变化程度的值的量化参数所确定的第一参考值。
所述滤波器优选至少为2个。若位于块边界的2个像素之间的差值的绝对值大于或等于第二参考值，则选择执行相对弱滤波的滤波器。
所述第二参考值由所述量化参数和所述边界滤波强度而确定。
自适应偏移适用过程用于减小适用解块滤波的影像内的像素和原始像素之间的差值(distortion)。可以以图像或切片单位确定是否适用自适应偏移过程。
图像或切片可分割为多个偏移区域，可对每个偏移区域确定偏移类型，所述偏移类型可包括预定数量(例如4个)的边缘偏移类型和2个带偏移类型。
例如，当偏移类型为边缘偏移类型时，确定各像素所属的边缘类型来适用与其相对应的偏移，所述边缘类型可以基于与当前像素相邻的2个像素值的分布来确定。
自适应环路滤波过程可以基于比较经解块滤波过程或自适应偏移适用过程的重建影像和原始影像的值进行滤波。自适应环路滤波可适用于所确定的4×4大小或8×8大小的块中所包含的像素整体。
是否适用自适应环路滤波器按照编码单元确定。所适用环路滤波器的大小及系数可根据各编码单元而不同。表示是否针对每个编码单元(CU)适用自适应环路滤波器(ALF)的信息可以包括在每个切片首标中。
在色度信号的情况下，可以以图像单位确定是否适用自适应环路滤波器(ALF)。与亮度不同，环路滤波器的形状也可以具有矩形形状。
自适应环路滤波可以按照切片确定是否适用。因此，表示自适应环路滤波是否适用于当前切片的信息可以包含在切片首标或图像首标。
若表示对当前切片适用了自适应环路滤波，则切片首标或图像首标可另外包括表示在自适应环路滤波过程中使用的亮度分量的水平及/或垂直方向的滤波器长度的信息。
切片首标或图像首标可包括表示滤波器组的数量的信息，滤波器组的数量为2个以上时，滤波器系数可以使用预测方法进行编码。因此，切片首标或图像首标可以包括表示滤波器系数是否用预测方法编码的信息，使用预测方法时可以包含预测的滤波器系数。
一方面，除了亮度之外对色度分量也可以自适应地进行滤波。此时，表示对每个色度分量是否进行滤波的信息可以包括在切片首标或图像首标中。为了减少比特数，可以与表示对Cr和Cb是否进行滤波的信息一起联合编码(即多重编码)。
此时，在色度分量的情况下，为了减低复杂度，对Cr和Cb都不进行滤波的可能性频繁地发生，因此，在对Cr和Cb都不进行滤波时，可以分配最小的索引，来执行熵编码。
对于Cr和Cb都进行滤波的情况下，可以分配最大的索引来执行熵编码。
图像存储部172从后处理部171接收经后处理的影像数据，并以图像单位重建影像进行存储。图像可为帧单位的影像或场单位的影像。图像存储部172具备可存储多个图像的缓冲器(省略图示)。
帧间预测部170可以使用存储在所述图像存储部172中的至少一个参考图像执行运动估计，并可以确定表示参考图像的参考图像索引和运动矢量。
根据所确定的参考图像索引和运动矢量可从存储在图像存储部172中的多个参考图像中用于运动估计的参考图像提取对应于待编码的预测单元的预测块。
帧内预测部169可以使用包括当前预测单元的图像中重建的像素值来执行帧内预测编码。
帧内预测部169接收待预测编码的当前预测单元，并根据当前块的大小选择预定数量的帧内预测模式中的一个来执行帧内预测。
帧内预测部169可以自适应地滤波参考像素以生成帧内预测块。在不能利用参考像素时，可以利用可用参考像素来生成参考像素。
熵编码部可以对通过量化部量化的量化系数、自帧内预测部169接收的帧内预测信息，自帧间预测部170接收的运动信息等进行熵编码。
虽未图示，帧间预测编码装置，可包括，运动信息确定部，运动信息编码模式确定部、运动信息编码部、预测块生成部、残差块生成部、残差块编码部及多路复用器。
运动信息确定部确定当前块的运动信息。运动信息包括参考图像索引和运动矢量。参考图像索引可表示已被编码重建的图像中的一个。
对当前块进行单向帧间预测编码时，表示属于列表0(L0)的参考图像中的一个，相反地，对当前块进行双向预测编码时，可包括表示列表0(L0)的参考图像中的一个的参考图像索引和表示列表1(L1)的参考图像中的一个的参考图像索引。
并且，还可包括对当前块进行双向预测编码时，表示结合列表0和列表1而生成的复合列表(L/C)的参考图像中的一个或2个图像的索引。
运动矢量表示每个参考图像索引所指示的图像中的预测块的位置。所述运动矢量可以是像素单位(整数单位)或子像素单位。
例如，所述运动矢量可具有1/2、1/4、1/8或1/16像素的分辨率，当运动向量不是整数单位时，预测块可由整数单位的像素生成。
运动信息编码模式确定部可以由跳过模式、合并模式及AMVP模式中的一个来确定对当前块的运动信息的编码模式。
跳过模式在存在具有与当前块的运动信息相同的运动信息的跳过候选，且残差信号为0的情况下适用，所述跳过模式可在当前块的大小与编码单元相同时适用。当前块可视为预测单元。
合并模式在存在具有与当前块的运动信息相同的运动信息的合并候选的情况下适用，所述合并模式在当前块的大小与编码单元不同或相同时，存在残差信号的情况下适用。合并候选可与跳过候选相同。
AMVP模式是在不适用跳过模式和合并模式的情况下适用，可以将具有与当前块的运动向量最相似的运动向量的AMVP候选选择为AMVP预测子。
运动信息编码部可根据由运动信息编码模式确定部确定的方式对运动信息进行编码。在运动信息编码模式为跳过模式或合并模式时执行合并运动矢量编码过程，当运动信息编码模式为AMVP模式时执行AMVP编码过程。
预测块生成部利用当前块的运动信息生成预测块，运动向量为整数单位时，复制与参考图像索引所指示的图像中的运动矢量表示的位置相对应的块，生成当前块的预测块。
但是，当运动矢量不是整数单位时，从由参考图像索引所指示的图像中的整数单位像素生成预测块的像素。
此时，对亮度像素可使用8抽头插值滤波器生成预测像素。并且对色度像素可使用4抽头插值滤波器生成预测像素。
残差块生成部使用当前块和当前块的预测块生成残差块，当当前块的大小为2N×2N时，可以利用当前块和与当前块对应的大小为2N×2N的预测块生成残差块。
但是，当用于预测的当前块的大小为2N×N或N×2N时，分别对构建2N×2N的2个2N×N块求预测块之后，可以利用2个2N×N预测块生成大小为2N×2N的最终预测块。
并且，还可以利用大小为2N×2N的预测块生成大小为2N×2N的残差块。为了解决大小为2N×N的2个预测块的边界部分的不连续性，可以使边界部分的像素平滑重叠。
残差块编码部将所生成的残差块分割为一个以上的变换单元。并且可以对各变换单元进行变换编码、量化和熵编码。此时，变换单元的大小可根据残差块的大小确定为四叉树方式。
残差块编码部可以利用基于整数的变换矩来变换由帧间预测方法生成的残差块。并且，所述变换矩可为基于整数的DCT矩阵。
残差块编码部利用量化矩阵来对由所述变换矩阵而变换的残差块的系数进行量化，并且，所述量化矩阵可由量化参数确定。
所述量化参数可按照预定大小以上的编码单元而确定。所述预定的大小可为8×8或16×16。因此，当前编码单元小于所述预定大小时，在所述预定大小内的多个编码单元中按编码顺序只对第一个编码单元的量化参数进行编码，而剩余编码单元的量化参数与所述参数相同，因此，可以不进行编码。
另外，可以使用根据所确定的量化参数和预测模式确定的量化矩阵来对所述变换块的系数进行量化。
可以使用与当前编码单元相邻的编码单元的量化参数来对按照所述预定大小以上的编码单元确定的量化参数进行预测编码。以当前编码单元的左侧编码单元、上侧编码单元的顺序进行搜索利用1个或2个有效的量化参数生成当前编码单元的量化参数预测子。
例如，可以将以上述顺序搜索的有效的第一个量化参数确定为量化参数预测子。并且，以左侧编码单元、按编码顺序紧前面的编码单元的顺序进行搜索来将有效的第一个量化参数确定为量化参数预测子。
扫描经量化的变换块的系数并将其变换为一维量化系数。并且，可以根据熵编码模式不同地设置扫描方式。例如，用CABAC进行编码时，可以按预定的一种方式(之字形或对角线方向进行光栅扫描)扫描经帧间预测编码的量化系数，在使用CAVLC进行编码时，可以与上述方式不同的方式进行扫描。
例如，帧间扫描时采用之字形扫描，帧内扫描时可根据帧内预测模式确定扫描方式，并且，可以根据变换单元的大小不同地确定系数扫描方式。
所述扫描方式可根据方向性帧内预测模式而不同。并且，量化系数的扫描顺序以相反方向扫描。
多路复用器对由所述运动信息编码部进行编码的运动信息和由所述残差块编码部进行编码的残差信号进行多路分配。所述运动信息可根据编码模式而不同。
即在跳过模式或合并模式的情况下，仅包括指示预测子的索引。但是，在AMVP模式的情况下，包括当前块的参考图像索引、差分运动矢量和AMVP索引。
下面，将详细说明帧内预测部169的操作的一实施例。
首先，从图像分割部160接收预测模式信息及预测块的大小，预测模式信息表示帧内模式。预测块的大小可为64×64、32×32、16×16、8×8、4×4等的正方形，但并不局限于此。即所述预测块的大小可为非正方形而不是正方形。
接着，从图像存储部172读取参考像素来确定预测块的帧内预测模式。
通过检查是否存在不可用的参考像素来判断是否生成参考像素，并且，所述参考像素可用于确定当前块的帧内预测模式。
当前块位于当前图像的上边界时，不定义与当前块上侧相邻的像素，当前块位于当前图像的左边界时，不定义与当前块的左侧相邻的像素。
可以确定所述像素不是可用像素。而且，在当前块位于切片边界而与切片的上侧或左侧相邻的像素不是先经编码而重建的像素时，也可以判断为不是可用的像素。
如上所述，当没有与当前块的左侧或上侧相邻的像素时，或者没有预先经编码重建的像素时，可以仅使用可用像素来确定当前块的帧内预测模式。
但是，还可以利用当前块的可用参考像素来生成不可用位置的参考像素，例如，当上部块的像素不可用时，可以利用左侧像素的局部或全部来生成上侧像素，反之亦然。
即，从不可用位置的参考像素复制在预定方向上最近位置的可用参考像素来生成参考像素。在预定方向上没有可用的参考像素时，可以复制相反方向上最近位置的可用参考像素来生成参考像素。
一方面，存在当前块的上侧像素或左侧像素时，也可以根据所述像素所属块的编码模式将确定为不可用像素。
例如，与当前块的上侧相邻的参考像素所属块为被帧间编码而重建的块时，可以将所述像素判断为不可用像素。
此时，可以利用属于与当前块相邻的块被帧内编码而重建的块的像素来生成可用的参考像素。此时，编码器根据编码模式将判断为可用的参考像素的信息传输至解码器。
接着，利用所述参考像素确定当前块的帧内预测模式。当前块中可允许的帧内预测模式的数量可以根据块的大小而不同。例如，当前块的大小为8×8、16×16、32×32时，可以存在34个帧内预测模式，当前块的大小为4×4时，可以存在17个帧内预测模式。
所述34个或17个帧内预测模式可由至少一个非方向性模式和多个方向性模式组成。
至少一个非方向性模式可为DC模式及/或平面模式。当DC模式及平面模式为非方向性模式时，无论当前块的大小如何，都可能存在35个帧内预测模式。
此时，可以包括2个非方向性模式(DC模式和平面模式)及33个方向性模式。
在平面模式时，利用位于当前块的右下侧的至少一个像素值(或所述像素值的预测值，以下称为第一参考值)和参考像素来生成当前块的预测块。
根据本发明的一实施例的视频解码装置的组成可以从参照图1、2、及25说明的视频编码装置的组成导出，例如，通过相反地执行参照图2及图25说明的编码过程则可以对影像进行解码。
图26是示出根据本发明的一实施例的视频解码装置的结构的框图。
参照图26，根据本发明的视频解码装置，包括：熵解码部210、逆量化/逆变换部220、加法器270、解块滤波器250、图像存储部260、帧内预测部230、运动补偿预测部240以及帧内/帧间切换开关280。
熵解码部210输入得到在视频编码装置上经编码的位流进行解码，划分为帧内预测模式索引、运动信息、量化系数序列等。熵解码部210将经解码的运动信息传输至运动补偿预测部240。
熵解码部210将所述帧内预测模式索引传输至所述帧内预测部230及逆量化/逆变换部220。所述熵解码部210将所述逆量化系数序列传输至逆量化/逆变换部220。
逆量化/逆变换部220将所述量化系数序列变换为二维排列的逆量化系数。为进行所述变换，可从多个扫描方式中选择一种。可基于当前块的预测模式(即帧内预测或帧间预测中的一个)和帧内预测模式中的至少一个来选择多个扫描方式中的一个。
所述帧内预测模式从帧内预测部或熵解码部接收。
逆量化/逆变换部220对所述二维排列的逆量化系数适用从多个量化矩阵中选择的量化矩阵来重建量化系数。根据要重建的当前块的大小适用相互不同的量化矩阵，对相同大小的块也可基于所述当前块的预测模式及帧内预测模式中的至少一个选择量化矩阵。
并且，对所述重建的量化系数进行逆变换重建残差块。
加法器270对通过逆量化/逆变换部220重建的残差块和通过帧内预测部230或运动补偿预测部40生成的预测块进行相加重建影像块。
截块滤波器250对通过加法器270生成的重建影像进行解块滤波处理。由此，可以减小在量化过程中因影像损失而导致的截块伪像。
图像存储部260是帧存储器，用于存储通过截块滤波器250执行截块滤波处理的本地解码影像。
帧内预测部230基于从熵解码部210接收的帧内预测模式索引重建当前块的帧内预测模式，根据重建的帧内预测模式生成预测块。
运动补偿预测部240基于运动向量信息从存储在图像存储部260的图像生成对当前块的预测块，适用小数精度的运动补偿时，适用所选择的插值滤波器生成预测块。
帧内/帧间切换开关280基于编码模式可向加法器270提供在帧内预测部230和运动补偿预测部240中的一个生成的预测块。
利用通过同上所述的方式重建的当前块的预测块以及解码的当前块的残差块来重建当前块。
根据本发明的一实施例的视频位流作为存储一个图像的被编码的数据时所使用的单位，可以包括参数集(PS：parameter sets)及切片数据。
参数集(PS：parameter sets)分割为对应于各图像的首标的数据所谓图像参照集(以下，简称为PPS)和序列参数集(以下，简称为SPS)。所述PPS及SPS可包括用于初始化各编码所需的初始化信息，可包括根据本发明的实施例的空间布局信息(SPATIAL LAYOUTINFORMATION)。
SPS是对于由随机存取单元(RAU)编码的所有图像进行解码的公共参考信息，可以包括文件、可用作参考的最大图片数量及图片大小等。
PPS是对于由随机存取单元(RAU)编码的每个图像进行解码的参考信息，可以包括可变长度编码方法的种类、量化步骤的初始值和多个参考图像。
一方面，切片首标SH包括在以切片单位进行编码时有关切片的信息。
根据如上所述的本发明的方法被制作成可在计算机执行的程序，所述程序存储于计算机可读记录介质上，计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储设备等。
计算机可读记录介质分布在由网络连接的计算机系统上，因此计算机可读代码以分布的形式被存储和执行。用于实现所述方法的功能性程序、编码以及编码段可由本发明所属区域的程序编制员容易推论。

Claims (17)

1.一种影像编码方法，其中，包括：
获取同步多视点影像的步骤；
生成所述同步多视点影像的空间布局信息的步骤；
对所述同步多视点影像进行编码的步骤；以及
对应所述经编码的多视点影像，信令通知所述空间布局信息的步骤。
2.根据权利要求1所述的影像编码方法，其特征在于，所述同步多视点影像是在时间同步的视频帧按照空间布局配置多个多视点子图像的影像。
3.根据权利要求1所述的影像编码方法，其特征在于，所述空间布局信息通过用于所述同步多视点影像编码的参数集信令通知。
4.根据权利要求3所述的影像编码方法，其中，进一步包括通过所述参数集，信令通知表示是否为同步多视点影像的标志的步骤。
5.根据权利要求1所述的影像编码方法，其中，所述空间布局信息包括类型索引、视点信息、相机参数、场景角度、场景动态范围、独立子图像及场景时间信息中的至少一种。
6.根据权利要求1所述的影像编码方法，其中，所述空间布局信息包含对应于所述同步多视点影像的布局的类型索引。
7.根据权利要求6所述的影像编码方法，其中，所述空间布局信息进一步包含对应于所述类型索引的各子图像的视点信息。
8.根据权利要求7所述的影像编码方法，其特征在于，所述视点信息根据所述类型索引只有一部分被信令通知。
9.根据权利要求1所述的影像编码方法，其中，所述空间布局信息包含所述同步多视点影像的扫描顺序信息。
10.根据权利要求1所述的影像编码方法，其中，所述空间布局信息包含对应于所述同步多视点影像的多个子图像的独立信息，
所述子图像被区分为不参考其他子图像进行编码或解码的独立子图像；和参考所述其他子图像进行编码或解码的从属子图像。
11.根据权利要求10所述的影像编码方法，其特征在于，所述各子图像的相邻的边界区域参考独立子图像进行编码，对剩余子图像执行解码时参考已被解码的独立子图像或已被解码的从属子图像的边界区域。
12.一种影像编码装置，其中，包括：
影像获取部，用于获取同步多视点影像；
空间布局信息生成部，用于生成所述同步多视点影像的空间布局信息；
影像编码部，用于对所述同步多视点影像进行编码；以及
空间布局信息信令通知部，对应所述经编码的多视点影像，信令通知所述空间布局信息。
13.根据权利要求12所述的影像编码装置，其特征在于，所述同步多视点影像是在时间同步的视频帧按照空间布局配置多个多视点子图像的影像。
14.根据权利要求12所述的影像编码装置，其中，所述空间布局信息通过用于所述同步多视点影像编码的参数集信令通知，
所述空间布局信息信令通知部通过所述参数集信令通知表示同步多视点影像的标志。
15.根据权利要求12所述的影像编码装置，其中，所述空间布局信号包括类型索引、视点信息、相机参数、场景角度、场景动态范围、独立子图像及场景时间信息中的至少一种。
16.一种影像解码方法，其中，包括：
接收位流的步骤；
识别所述位流是否包含同步多视点影像的步骤；
在包含所述同步多视点影像时，对空间布局信息进行语法分析的步骤；以及
基于所述空间布局信息，对所述同步多视点影像进行解码的步骤。
17.根据权利要求16所述的影像解码方法，其中，所述解码步骤包括利用从所述空间布局信号获取的类型索引、视点信息、相机参数、场景角度、场景动态范围、独立子图像及场景时间信息中的至少一个来对所述同步多视点影像的全部或局部进行解码的步骤。
CN201780055513.4A 2016-09-08 2017-07-04 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置 Active CN109691110B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020160115815A KR20180028300A (ko) 2016-09-08 2016-09-08 공간적 구조 정보를 이용한 동기화된 다시점 미디어 스트림 제공 방법, 복호화 방법 및 그 장치
KR10-2016-0115813 2016-09-08
KR10-2016-0115815 2016-09-08
KR10-2016-0115814 2016-09-08
KR1020160115813A KR20180028298A (ko) 2016-09-08 2016-09-08 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치
KR1020160115814A KR102014240B1 (ko) 2016-09-08 2016-09-08 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
PCT/KR2017/007064 WO2018048078A1 (ko) 2016-09-08 2017-07-04 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN109691110A true CN109691110A (zh) 2019-04-26
CN109691110B CN109691110B (zh) 2023-07-25

Family

ID=61562077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055513.4A Active CN109691110B (zh) 2016-09-08 2017-07-04 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置

Country Status (3)

Country Link
US (1) US10904570B2 (zh)
CN (1) CN109691110B (zh)
WO (1) WO2018048078A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204135A1 (en) * 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling and inference of subpicture related syntax element
CN113841397A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像编码和解码方法及装置
US11743506B1 (en) 2020-04-09 2023-08-29 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
US11831923B2 (en) 2020-04-17 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
US11856237B2 (en) 2020-04-10 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
US11924474B2 (en) 2020-04-26 2024-03-05 Bytedance Inc. Conditional signaling of video coding Syntax Elements

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105451282A (zh) 2014-08-22 2016-03-30 电信科学技术研究院 一种中继终端重选的方法及设备
CN110089115B (zh) * 2016-08-26 2021-07-06 夏普株式会社 图像解码装置、图像编码装置
US10863198B2 (en) * 2017-01-03 2020-12-08 Lg Electronics Inc. Intra-prediction method and device in image coding system for 360-degree video
EP3729812A1 (en) * 2017-12-19 2020-10-28 VID SCALE, Inc. Face discontinuity filtering for 360-degree video coding
EP3562158A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for combined intra prediction modes
CN111246189B (zh) * 2018-12-06 2022-01-25 上海视云网络科技有限公司 虚拟屏幕投影实现方法、装置及电子设备
MX2021011021A (es) * 2019-03-11 2021-11-12 Huawei Tech Co Ltd Imágenes con tipos de unidad nal mezclados.
US11570439B2 (en) 2019-05-15 2023-01-31 Hyundai Motor Company Inverse quantization device and method used in video decoding device
CN110675310B (zh) 2019-07-02 2020-10-02 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
US20220345721A1 (en) * 2019-09-30 2022-10-27 Sony Interactive Entertainment Inc. Image data transfer apparatus, image display system, and image compression method
CN113225450B (zh) * 2020-02-06 2023-04-11 阿里巴巴集团控股有限公司 视频处理方法、视频处理装置及电子设备
US11363247B2 (en) * 2020-02-14 2022-06-14 Valve Corporation Motion smoothing in a distributed system
DE102021132275A1 (de) * 2021-12-08 2023-06-15 immerVR GmbH Vorrichtung und Verfahren

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910931A (zh) * 2005-01-07 2007-02-07 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置、其程序及记录该程序的记录介质
US20080219351A1 (en) * 2005-07-18 2008-09-11 Dae-Hee Kim Apparatus of Predictive Coding/Decoding Using View-Temporal Reference Picture Buffers and Method Using the Same
US20130243103A1 (en) * 2011-09-13 2013-09-19 Taiji Sasaki Encoding device, decoding device, playback device, encoding method, and decoding method
US20160112705A1 (en) * 2014-10-20 2016-04-21 Google Inc. Compressing and representing multi-view video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US8854486B2 (en) * 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US20090323822A1 (en) * 2008-06-25 2009-12-31 Rodriguez Arturo A Support for blocking trick mode operations
US8233026B2 (en) 2008-12-23 2012-07-31 Apple Inc. Scalable video encoding in a multi-view camera system
US20130009980A1 (en) 2011-07-07 2013-01-10 Ati Technologies Ulc Viewing-focus oriented image processing
US20130258052A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Inter-view residual prediction in 3d video coding
WO2013162258A1 (ko) * 2012-04-23 2013-10-31 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
US9674542B2 (en) * 2013-01-02 2017-06-06 Qualcomm Incorporated Motion vector prediction for video coding
US20160065980A1 (en) * 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof
CN105075251B (zh) * 2014-01-02 2016-11-23 维迪奥股份有限公司 利用辅助图片的覆盖的视频解码方法、装置和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910931A (zh) * 2005-01-07 2007-02-07 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置、其程序及记录该程序的记录介质
US20080219351A1 (en) * 2005-07-18 2008-09-11 Dae-Hee Kim Apparatus of Predictive Coding/Decoding Using View-Temporal Reference Picture Buffers and Method Using the Same
US20130243103A1 (en) * 2011-09-13 2013-09-19 Taiji Sasaki Encoding device, decoding device, playback device, encoding method, and decoding method
US20160112705A1 (en) * 2014-10-20 2016-04-21 Google Inc. Compressing and representing multi-view video

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113841397A (zh) * 2019-05-15 2021-12-24 现代自动车株式会社 影像编码和解码方法及装置
WO2021204135A1 (en) * 2020-04-07 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Signaling and inference of subpicture related syntax element
US20230059183A1 (en) 2020-04-07 2023-02-23 Beijing Bytedance Network Technology Co., Ltd. Signaling for inter prediction in high level syntax
US11792435B2 (en) 2020-04-07 2023-10-17 Beijing Byedance Network Technology Co., Ltd. Signaling for inter prediction in high level syntax
US11743506B1 (en) 2020-04-09 2023-08-29 Beijing Bytedance Network Technology Co., Ltd. Deblocking signaling in video coding
US11856237B2 (en) 2020-04-10 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Use of header syntax elements and adaptation parameter set
US11831923B2 (en) 2020-04-17 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
US11924474B2 (en) 2020-04-26 2024-03-05 Bytedance Inc. Conditional signaling of video coding Syntax Elements

Also Published As

Publication number Publication date
CN109691110B (zh) 2023-07-25
US20190373287A1 (en) 2019-12-05
WO2018048078A1 (ko) 2018-03-15
US10904570B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
CN109691110A (zh) 利用空间布局信息的同步多视点影像的编码/解码方法以及其装置
US11539882B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
KR102014240B1 (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
US11553168B2 (en) Image data encoding/decoding method and apparatus
CN111527752B (zh) 图像编码和解码的方法和装置以及存储比特流的记录介质
US11778331B2 (en) Image data encoding/decoding method and apparatus
US20200267385A1 (en) Method for processing synchronised image, and apparatus therefor
KR102537024B1 (ko) 프레임 패킹을 제공하는 가상 현실 영상의 부호화/복호화 방법 및 그 장치
KR20190022399A (ko) 가상 현실 영상의 부호화/복호화 방법 및 그 장치
KR20180028298A (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 부호화/복호화 방법 및 그 장치
KR102312285B1 (ko) 공간적 구조 정보를 이용한 동기화된 다시점 영상의 선택적 복호화 방법, 부호화 방법 및 그 장치
KR20200052763A (ko) 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치
KR20200052762A (ko) 영상의 삼차원 구체 움직임 정보 기반 부호화/복호화 방법 및 그 장치
KR20190007254A (ko) 동기화된 영상의 처리 방법 및 그 장치
KR20190005452A (ko) 동기화된 리전 기반 영상의 처리 방법 및 그 장치
KR20180028300A (ko) 공간적 구조 정보를 이용한 동기화된 다시점 미디어 스트림 제공 방법, 복호화 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Gyeonggi Do city of South Korea

Applicant after: Jiawen Group Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Applicant before: Jiawen Electronics Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240118

Address after: Gyeonggi Do Korea Suwon

Patentee after: SAMSUNG ELECTRONICS Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: Jiawen Group Co.,Ltd.

TR01 Transfer of patent right