CN111630862A - 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备 - Google Patents

用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备 Download PDF

Info

Publication number
CN111630862A
CN111630862A CN201880080485.6A CN201880080485A CN111630862A CN 111630862 A CN111630862 A CN 111630862A CN 201880080485 A CN201880080485 A CN 201880080485A CN 111630862 A CN111630862 A CN 111630862A
Authority
CN
China
Prior art keywords
view
image
block
pixels
active area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880080485.6A
Other languages
English (en)
Other versions
CN111630862B (zh
Inventor
J·郑
B·雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of CN111630862A publication Critical patent/CN111630862A/zh
Application granted granted Critical
Publication of CN111630862B publication Critical patent/CN111630862B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Abstract

本发明涉及一种用于对表示多视图视频序列的编码数据信号进行解码的方法和设备，该多视图视频序列表示全向视频，该多视图视频序列至少包括第一视图和第二视图。从信号中读取(60)允许获得(61)表示从第二视图的平面到第一视图的平面的变换的单应矩阵的参数。第二视图的图像包括所谓的有效区域，该有效区域包括像素，当所述像素经由单应矩阵被投影到第一视图的图像上时，所述像素被包括在第一视图的图像中。通过生成(620)包括根据第一视图的图像中的先前重构的像素以及单应矩阵确定的像素值的参考图像来解码(62)第二视图的图像，并且对于第二视图的图像中的至少一个块，当所述块属于(622)所述有效区域时，所生成的参考图像被包括在所述参考图像列表中。根据由从数据信号读取(621)的索引指示的参考图像来重建(625)所述块。

Description

用于对表示全向视频的多视图视频序列进行编码和解码的方 法和设备
技术领域
本发明涉及全向(omnidirectional)视频，诸如特别是360°、180°视频等。更特别地，本发明涉及对此类视频的编码和解码。
背景技术
360°视频由安装在球形平台上的相机来捕获。这些相机被称为是分散的，因为它们被放置成以便捕获所有方向上的场景。每个相机捕获场景的一部分，由各个相机捕获的所有视图(view)允许根据360°视场来生成表示该场景的视频。
因此，这样的360°视频允许用户观看场景，就像他被放在场景的中心一样，并允许以360°来环顾四周，从而提供一种观看视频的新方式。这样的视频通常在虚拟现实头盔(也被称为HMD，“头戴式设备(Head Mounted Devices)”)上再现。但是，它们也可以显示在配备有适用的用户交互装置的2D屏幕上。用于捕获360°场景的相机的数量取决于所使用的平台而不同。
但是，无论使用什么平台，两个相邻相机各自捕获场景的一部分，其中这两个相机捕获的数据中有重叠。换句话说，以360°捕获的场景中的一部分在两个视图之间是公共的，其中每个视图分别由两个相邻相机捕获。这在图1中图示，图1示出了两个视图：由第一相机捕获的视图1和由放置在第一相机右侧的第二相机捕获的视图2。在图1中，视图1中右侧的区域(以实线框起)对应于捕获场景中与视图2中左侧的区域(以实线框起)相同的部分。因此，在视图1和视图2之间存在场景数据的重叠。当用户遍历由360°视频提供的视场时，这样的重叠对于允许连续过渡是必需的。
为了生成360°视频，考虑到视图之间的重叠，将由不同相机捕获的分散视图端对端进行放置，以创建全景(panoramic)2D视图。该步骤也称为“拼接(stitching)”。例如，等矩形投影(ERP)是获得此类全景图像的可能投影。根据该投影，每个视图的图像被投影到球形表面上。其它类型的投影也是可能的，诸如立方体映射类型投影(在立方体的各面上的投影)之类。然后，将投影在表面上的图像投影到2D平面上以获得包括在给定时刻捕获的场景的所有视图的2D图像。
然后，借助常规的2D视频编码器，例如符合HEVC(“高效视频编码(HighEfficiency Video Coding)”的缩写)标准的编码器，对如此获得的2D图像进行编码。
该技术的主要缺点是，当将360°视频再现给用户时，可以通过围绕静态中心点旋转来改变视点，但是不能例如通过向左、向右、向前或向后移动几厘米来从该中心点进行移位。换句话说，为了改变视点，仅允许旋转，而排除任何其它移动，特别是平移。因此，这样的技术提供了3个自由度(3DoF，表示3Degree Of Freedom)，但是它没有提供根据6个自由度(6DoF)的自然移动。
该缺点更加令人烦恼的是，即使当用户仅执行旋转移动时，实际上也存在许多小的寄生性平移移动。这样的平移移动没有被正确地渲染，其后果是向用户显示与用户的大脑所预期的内容并不完美对应的像素。这是HMD型装备的用户感到不适的主要原因之一。
MV-HEVC和3D-HEVC编码器用于编码多视图内容。这样的编码器利用了多视图内容的视图间相似性。但是，这样的编码器被设计为处理由位于场景外部的具有不同中心的相机捕获的多个线性或收敛视图。因此，在这些编码器中，在深度图的帮助下，称为“基线距离(baseline distance)”的两个相机中心之间的距离被用于计算视差。然后该视差被用于经由通过视差补偿进行的预测对一些块进行预测，这允许在对视频序列的图像进行编码时利用视图间的相似性。
在360°视频的情况下，视图是分散的，这样的多视图编码器对于编码360°视频的视图不是最佳的，视图间预测将很少或者甚至不被编码器使用。实际上，在360°视频的两个视图之间，几乎没有可以在视图之间进行预测的相似内容。
另外，两个相邻视图之间的重叠区域并不完全相似。实际上，重叠区域的像素已经在视图之间经历了几何变换，并且在重叠区域中对像素从一个视图到另一个视图的简单复制会导致无效的视图间预测。
因此，需要改进现有技术。
发明内容
本发明改进了现有技术。为此，本发明涉及一种用于对表示多视图视频序列的编码数据信号进行解码的方法，所述多视图视频序列表示全向视频，所述多视图视频序列至少包括第一视图和第二视图。这种解码方法包括：
-在所述数据信号中读取允许获得表示从第二视图的平面到第一视图的平面的变换的单应(homographic)矩阵的参数，
-对第二视图的图像进行解码，第二视图的图像包括称为有效(active)区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，对第二视图的图像进行解码包括：
-生成包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像，以及
-对于第二视图的图像中的至少一个块：
-在所述数据信号中读取表示包括第二视图的至少一个先前重构的图像的参考图像列表中包括的参考图像的索引，
-确定所述块是否属于所述有效区域，
-根据由所读取的索引指示的所述参考图像来重构所述块，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中。
因此，根据本发明的方法允许通过利用属于视图间重叠区域的块的相邻视图之间的冗余来改进对分散视图进行编码的多视图编码器的压缩性能。
有利的是，通过考虑允许补偿视图之间的几何失真的单应矩阵来改进视图间预测。
借助表示从第一视图的图像平面到第二视图的图像平面的变换的单应矩阵来确定视图间重叠区域。
根据本发明，对于属于要解码的图像的有效区域的块，通过可以考虑借助单应矩阵和先前重构的视图的图像而生成的新参考图像来改进预测。这样的新参考图像仅可用于属于有效区域的块。因此，在参考图像列表中插入这样的新参考图像不影响用信号发送用于不属于有效区域的其它块的参考图像的成本。
属于有效区域的块的位置是直接从要解码的图像的像素经由单应矩阵在先前重构的图像上的投影来推导的，使得不必对附加信息进行编码以指示这些块是否可以使用新的参考图像。
当块不属于有效区域时，例如，常规地借助通过内部预测先前重构的像素或通过图像间预测的属于先前编码和解码的相同视图的另一个图像的像素来重构所述块。
有利的是，在第二视图的平面中限定参考图像。更特别地，有效区域由借助单应矩阵投影到第一视图的图像中的所有像素在第二视图的图像中来确定。
因此，新的参考图像包括称为有效像素的像素，所述有效像素与通过单应矩阵投影到第一视图的图像上的第二视图的图像的像素对应。在第一视图的图像中没有对应关系的参考图像的其余像素被称为非有效像素。
下面提到的各种实施例或特征可以独立地或彼此组合地添加到以上定义的解码方法的特征中。
根据本发明的具体实施例，所述参数是分别与关联于第一视图的第一相机和关联于第二视图的第二相机相关联的相机参数，所述方法还包括根据所述相机参数计算所述单应矩阵。
根据本发明的该具体实施例，单应矩阵是在解码期间根据表示多视图序列的数据信号中编码的相机参数(诸如特别是每个相机的焦距和表示第一视图的相机和第二视图的相机之间的旋转角的角分离之类)计算的。
根据本发明的另一个具体实施例，所述参数是所述单应矩阵的系数。
根据本发明的该具体实施例，不必在解码时重新计算单应矩阵。其系数在编码器处计算，并在表示多视图序列的数据信号中传输。这使得在解码器处的计算复杂度较低。
根据本发明的另一个具体实施例，当有效区域的边界跨越要重构的块时，该解码方法还包括：
-在所述数据信号中读取表示在参考图像组中包括的参考图像的另一个索引，所述参考图像组不包括所生成的参考图像，要重构的块的不属于所述有效区域的像素根据由读取的所述另一个索引指示的参考图像的像素进行重构。
本发明的该具体实施例允许提供对位于有效区域的边界处的块的划分，而无需对信息进行编码来对该划分进行编码，并且允许根据块中像素相对于边界的位置来调整对这些块的像素的预测。
根据本发明的另一个具体实施例，该解码方法还包括：
-在所述数据信号中读取允许获得表示从第二视图的平面到第三视图的平面的变换的另一个单应矩阵的参数，经由所述另一个单应矩阵投影到第三视图的图像中的第二视图的图像中的至少一个像素被包括在第三视图的图像中，
-所生成的参考图像还包括根据第三视图的图像的先前重构的像素和所述另一个单应矩阵确定的像素值。
本发明的该具体实施例允许考虑另一个先前重构视图的图像来生成新的参考图像。因此，当另一个视图也可用以预测第二视图时，非有效像素的区域减小。实际上，允许从第二视图转到第三视图的所述另一个单应矩阵允许在参考图像中限定与像素对应的新的有效区域，当所述像素经由所述另一个单应矩阵投影到第三视图的图像上时，所述像素被包含在第三视图的图像中。
本发明还涉及用于在数据信号中对表示全向视频的多视图视频序列进行编码的方法，所述多视图视频序列至少包括第一视图和第二视图。所述编码方法包括：
-计算表示从第二视图的平面到第一视图的平面的变换的单应矩阵，
-在数据信号中对允许在解码时获得所述单应矩阵的参数进行编码，
-对第二视图的图像进行编码，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，对所述图像进行编码包括：
-生成包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像，以及
-对于第二视图的图像中的至少一个块：
确定所述块是否属于所述有效区域，
-根据包括第二视图的至少一个先前重构的图像的参考图像列表中包括的参考图像来预测所述块，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中，
-在所述数据信号中对表示用于预测所述块的参考图像的索引进行编码。
根据本发明的具体实施例，所述参数是分别与关联于第一视图的第一相机和关联于第二视图的第二相机相关联的相机参数。
根据本发明的另一个具体实施例，所述参数是所述单应矩阵的系数。
根据本发明的另一个具体实施例，当有效区域的边界跨越要编码的块时，所述编码方法还包括：
-在所述数据信号中对表示在参考图像组中包括的参考图像的另一个索引进行编码，所述参考图像组不包括所生成的参考图像，要编码的块的不属于所述有效区域的像素根据由所述另一个索引指示的参考图像的像素进行预测。
根据本发明的另一个具体实施例，所述编码方法还包括：
-计算表示从第二视图的平面到第三视图的平面的变换的另一个单应矩阵，经由所述另一个单应矩阵投影到第三视图的图像中的第二视图的图像中的至少一个像素被包括在第三视图的图像中，
-在所述数据信号中对允许获得所述另一个单应矩阵的参数进行编码，
-所生成的参考图像还包括根据第三视图的图像的先前重构的像素和所述另一个单应矩阵确定的像素值。
本发明还涉及一种用于对表示多视图视频序列的编码数据信号进行解码的设备，所述多视图视频序列表示全向视频，所述多视图视频序列至少包括第一视图和第二视图，所述解码设备包括：
-用于在所述数据信号中读取允许获得表示从第二视图的平面到第一视图的平面的转换的单应矩阵的参数的装置，
-用于对第二视图的图像进行解码的装置，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，用于对第二视图的图像进行解码的所述装置包括：
-用于生成包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像的装置，以及
-对于第二视图的图像中的至少一个块：
-用于从所述数据信号中读取表示包括第二视图的至少一个先前重构的图像的参考图像列表中包括的参考图像的索引的装置，
-用于确定所述块是否属于所述有效区域的装置，
-用于根据由所读取的索引指示的所述参考图像来重构所述块的装置，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中。
本发明还涉及一种用于在数据信号中对表示全向视频的多视图视频序列进行编码的设备，所述多视图视频序列至少包括第一视图和第二视图，所述编码设备包括：
-用于计算表示从第二视图的平面到第一视图的平面的变换的单应矩阵的装置，
-用于在所述数据信号中对允许获得所述单应矩阵的参数进行编码的装置，
-用于对第二视图的图像进行编码的装置，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，用于对所述图像进行编码的所述装置包括：
-用于生成包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像的装置，以及
-对于第二视图的图像中的至少一个块：
-用于确定所述块是否属于所述有效区域的装置，
-用于根据包括第二视图的先前重构的至少一个图像的参考图像列表中包括的参考图像来预测所述块的装置，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中，
-用于在所述数据信号中对表示用于预测所述块的参考图像的索引进行编码的装置。
根据本发明的具体实施例，解码方法以及相应的编码方法由计算机程序来实现。本发明还涉及一种计算机程序，包括在所述程序由处理器执行时用于实现根据上述具体实施例中的任一项所述的解码方法或编码方法的指令。这样的程序可以使用任何编程语言。这样的程序可以从通信网络下载和/或被记录在计算机可读介质上。该程序可以使用任何编程语言，并且可以是以源代码、目标代码或源代码与目标代码之间的中间代码的形式，诸如以部分编译的形式或以任何其它期望的形式。
本发明还涉及一种由计算机可读的并且包括如上所述的计算机程序的指令的记录介质或信息介质。上述记录介质可以是任何能够存储程序的实体或设备。例如，介质可以包括存储装置，诸如ROM之类，例如CD ROM或微电子电路ROM，或者磁记录装置，例如软盘(floppy disc)或硬盘。另一方面，记录介质可以对应于诸如电信号或光信号之类的可传输介质，这些电信号或光信号可以经由电缆或光缆，通过无线电或其它装置来路由。特别地，根据本发明的程序可以从因特网类型的网络下载。可替代地，记录介质可以对应于其中并入了程序的集成电路，该电路适于执行或用于执行所讨论的方法。
附图说明
通过阅读以下通过简单的说明性和非限制性示例给出的具体实施例的描述以及附图，本发明的其它特征和优点将变得更加清楚，附图中：
-图1图示了由两个相机捕获的并且具有重叠区域的两个分散视图，
-图2示意性地图示了捕获分散视图的示例，
-图3示意性地图示了根据图2中所示的系统放置的具有邻近视图的一个或两个重叠区域的视图的两个示例，
-图4示意性地图示了根据本发明的具体实施例的用于对全向视频进行编码的方法的步骤，
-图5图示了根据本发明的具体实施例的从中心视图的左侧视图和右侧视图生成的用于要编码或要解码的中心视图的参考图像的示例，
-图6示意性地图示了根据本发明的具体实施例的用于对全向视频进行解码的方法的步骤，
-图7图示了跨越要编码或要解码的图像的有效区域和非有效区域之间的边界的块的示例，
-图8示意性地图示了根据本发明的具体实施例的用于对全向视频进行编码的设备，
-图9示意性地图示了根据本发明的具体实施例的用于对全向视频进行解码的设备，
-图10A-B示意性地图示了根据本发明的具体实施例的表示全向视频的编码数据信号，
-图11图示了3D空间的点P在两个分散相机A和B各自的两个图像平面上的投影。
具体实施方式
5.1一般原理
本发明的目的之一是在由多视图编码器对全向视频进行编码时改进对全向视频的编码，其中通过相对于先前编码的相同视图的图像的时间预测或通过相对于另一个视图的图像的视图间预测来对每个视图进行编码。
为了在对全向视频的视图进行编码时改进视图间预测，从与要编码的视图相邻的视图的先前编码图像中生成新的参考图像。更具体地，计算允许将像素从要编码或要解码的视图投影到与要编码或要解码的视图邻近的视图的图像的单应矩阵。然后，投影在邻近视图的图像边界中的要编码或要解码的视图的像素限定要编码或要解码的图像的有效区域。然后，当先前已重构相邻视图的图像的像素时，可以根据这些像素来预测这样的有效区域。因此，在对全向视频的视图进行编码时通过考虑视图间重叠的区域来改进视图间预测。
有利的是，为了对当前视图的图像块进行编码或解码，从邻近视图的先前重构的像素和单应矩阵来创建新的参考图像。当要编码或要解码的块至少部分地属于要编码或要解码的图像的有效区域时，该新的参考图像然后可以用在参考图像列表中。
因此，用信号发送该新的参考图像的成本不影响对不属于有效区域的其它块的编码。
5.2实施方式的示例
图2示意性地图示了分散视图捕获的示例，其中分别从放置在由图2中的点C表示的平台上的六个相机捕获六个视图(V1-V6)。在图2中，每个相机的视场由实线或虚线表示，并且与每个相机相关联的视图的图像平面借助与相机的视场相同的实线或虚线来表示。可以看出，对于每个视图，当前视图与左视图和右视图之间分别存在重叠区域。换句话说，两个邻近或相邻视图具有表示分别由每个相机捕获的场景的相同3D数据的像素。例如，在图2中，区域ZC1图示了视图V1和V6之间的重叠，区域ZC2图示了视图V2和V3之间的重叠，并且区域ZC5图示了视图V5和V6之间的重叠。
但是，为了使用来自邻近视图的重叠区域的信息以对当前视图进行编码，必须先前已经对邻近视图进行了编码和重构。
因此，例如，如果对视图进行编码的顺序是V1、V2、V3、V4、V5和V6，那么视图V1在没有相对于重叠区域的预测的情况下进行编码，这是因为还没有对任何视图进行编码。例如，视图V1的图像将通过相对于先前编码的视图V1的图像的时间预测来编码。
对视图V2、V3、V4和V5的编码可以实现相对于先前编码的相同视图的图像的时间预测和/或借助当前视图的分别V2、V3、V4和V5与右侧视图的分别V1、V2、V3和V4之间的重叠区域的视图间预测。
对视图V6的编码可以使用相对于相同视图的先前编码图像的时间预测和/或借助当前视图V6和右侧视图V5之间的重叠区域的视图间预测和/或借助当前视图V6和左侧视图V1之间的重叠区域的视图间预测。
例如，如图3中所示，对于视图V6，表示视图V1与视图V6的重叠的区域ZA1和表示视图V5与视图V6的重叠的重叠区域ZA5可以用于预测视图V6。
根据另一个示例，对于视图V3，表示视图V2与视图V3的重叠的区域ZA2可以用于预测视图V3。
下面描述的用于对全向视频进行编码和解码的方法通常适用于具有N个视图的多视图图像序列的情况，其中N是大于或等于2的整数。
下面一般地描述了用于对全向视频进行编码和解码的方法，并且可以将其集成到任何类型的多视图视频编码器/解码器中，例如3D-HEVC或MV-HEVC标准或其它。
图4示意性地图示了根据本发明的具体实施例的用于对全向视频进行编码的方法的步骤。
在步骤40期间，对于要编码的每个视图k，计算单应矩阵来表示从要编码的视图k的平面到与要编码的视图k邻近的视图(例如，k-1)的平面的变换。这里认为，与要编码的视图邻近的视图的图像先前已经进行了编码和重构。因此，这里认为，先前已经通过相对于相同视图的先前编码和重构的图像的时间预测或视图间预测对视图k-1的图像进行了编码和重构。
当要编码的当前视图k在每一侧与两个先前编码和重构的视图邻近时，计算两个单应矩阵，每个单应矩阵分别对应于从要编码的视图平面到右侧视图平面的变换和从要编码的视图平面到左侧视图平面的变换。
下面考虑对视图k的编码，邻近的视图k-1先前已经进行编码和重构并且具有与视图k的重叠区域。
这里认为，如果视图k的图像中的至少一个像素被投影到视图k-1的图像上，那么视图k具有与视图k-1的重叠区域。然后，这样的像素位于视图k的图像的称为有效的区域中。
在步骤40期间，根据分别与邻近视图k-1和当前视图k相关联的相机参数来计算邻近视图k-1和要编码的当前视图k之间的单应矩阵。
关于图11描述了单应矩阵的计算，其中表示了两个分散相机A和B的捕获场。相机A的主轴线是轴线ZA，其对应于垂直于相机A的图像平面PLA的轴线。邻近的相机B相对于相机A的轴线ZA旋转θsep的角度。相机B的主轴线是轴线ZB，其对应于垂直于相机B的图像平面PLB的轴线。
3D空间的点P(px,py,pz)在相机A的图像平面PLA中投影在PA(pax,pay)以及在相机B的图像平面PLB中投影在PB(pbx,pby)。点P、PA、PB之间的关系由下式给出：
PA＝KAP (1)
PB＝KBRA2BP (2)
其中KA和KB表示相机A和B的固有参数，诸如：
Figure BDA0002536698220000131
其中fA和fB分别为相机A和B的焦距。RA2B表示相机A的主轴线ZA朝向相机B的主轴线ZB的旋转，其对应于围绕y轴的θsep角度的顺时针旋转。RB2A表示相机B的主轴线ZB朝向相机A的主轴线ZA的旋转，其对应于围绕y轴的θsep角度的逆时针旋转。
Figure BDA0002536698220000141
因此可以将等式(2)写为：
Figure BDA0002536698220000142
通过公式(1)代入给出的P的值，可以通过下式来推导PA和PB之间的关系：
Figure BDA0002536698220000143
Figure BDA0002536698220000144
因此，点PA和PB经由单应矩阵H进行连接。
因此可以根据相机A和B的焦距以及两个相机之间的角偏差θsep来获得矩阵H的参数。
在步骤40期间，根据分别与视图k和k-1相关联的相机的焦距和两个相机之间的分离角θsep来计算表示从视图k到视图k-1的变换的单应矩阵Hk,k-1的参数。
在步骤41期间，在表示全向视频的数据信号中对允许获得单应矩阵Hk,k-1的参数进行编码。
根据一个变型，在信号中对3×3单应矩阵Hk,k-1的9个系数进行编码。
根据另一个变型，在信号中对视图k-1和视图k的相机的固有参数和非固有参数(即相机的焦距和两个相机之间的分离角θsep)进行编码。根据该变型，将必须在解码器处重新计算单应矩阵Hk,k-1。
在步骤41之后，在数据信号中逐个图像地对当前视图k进行编码。在步骤42期间，对视图k的时刻t的当前图像
Figure BDA0002536698220000145
进行编码。
为此，在步骤420期间，创建新的参考图像Iref。根据邻近视图k-1的相同时刻t的并且先前已经进行了编码和重构的图像
Figure BDA0002536698220000146
的像素来创建新的参考图像Iref。为此，对于参考图像的每个像素，参考图像的像素(x，y)通过单应矩阵Hk,k-1投影在视图k-1的参考帧中的点(x'，y')处。如果点(x'，y')属于图像
Figure BDA0002536698220000151
那么像素(x，y)被投影到视图k-1的图像
Figure BDA0002536698220000152
中。如果投影的像素不属于图像
Figure BDA0002536698220000153
即如果投影的像素在图像的边界之外，那么参考图像中像素的值被设置为默认值，例如128。该像素被称为非有效像素。
如果投影的像素在图像
Figure BDA0002536698220000154
中，即如果投影的像素在图像的边界内，那么根据图像
Figure BDA0002536698220000155
的像素来获得参考图像中的像素的值。该像素然后被称为有效像素。
如果投影的像素对应于图像
Figure BDA0002536698220000156
的网格的像素，那么在参考图像中投影的像素的值将采取图像
Figure BDA0002536698220000157
的对应像素的值。否则，如果投影的像素位于图像
Figure BDA0002536698220000158
中的子像素位置处，那么以常规的方式，根据围绕图像
Figure BDA0002536698220000159
中投影的像素位置的图像
Figure BDA00025366982200001510
的网格的像素的值来对参考图像中的投影的像素的值进行内插。
因此，有效像素和非有效像素限定参考图像中的有效区域和非有效区域。
在要编码的视图k具有先前已编码和重构的另一个邻近视图k+1的情况下，这次使用在视图k和视图k+1之间计算的单应矩阵以及来自视图k+1的图像
Figure BDA00025366982200001511
来迭代步骤420。
图5图示了根据本发明的具体实施例从当前视图的左侧的相邻视图和右侧的相邻视图生成的用于当前视图的参考图像的示例。在图5的示例中，使用了两个单应矩阵，一个单应矩阵用于每个邻近的左视图和右视图。可以看出，在参考图像中，经由通过单应矩阵的投影仅重构了邻近视图之间的重叠区域。实际上，在图5中，参考图像呈现了非有效区域(灰色区域)以及两个有效区域ZAg和ZAd，分别表示当前视图与左侧视图和右侧视图的重叠。
再次参考图4，然后对视图k的当前图像
Figure BDA00025366982200001512
进行编码。为此，图像切被割成了像素块，并且图像的像素块被遍历以通过空间、时间或视图间预测进行编码，如下所示。
对于当前图像
Figure BDA0002536698220000161
的每个块Bk，实现以下步骤。
在步骤421期间，确定块Bk是否位于当前图像的有效区域中。换句话说，确定块Bk是否包括有效像素。
应当注意的是，参考图像在要编码的当前视图的图像平面中表示，要编码的当前视图的图像中的有效区域和非有区域与参考图像中的有效区域和非有区域对应。
因此，根据这里描述的本发明的具体实施例，如果块Bk的所有像素都是有效的，即，如果块Bk的所有像素都在有效区域中，那么块Bk属于有效区域。
如果块Bk属于有效区域，那么在步骤422期间，将新的参考图像Iref添加到参考图像列表中以对块Bk进行编码。否则，即，如果块Bk不属于有效区域，那么用于对块Bk进行编码的参考图像列表不变，并且仅包括要编码的当前视图k的先前重构的图像。
在步骤423期间，确定块Bk的编码模式。例如，实现速率失真优化，在此期间，对块Bk可用的所有编码模式都投入竞争。更具体地，在速率失真优化期间，常规地测试通过空间或图像内预测的编码模式，并且测试通过借助参考图像列表的时间预测的编码模式。
根据这里描述的本发明的具体实施例，有利的是，用于确定当前块的编码模式的编码器的常规操作没有被修改。实际上，当块Bk位于有效区域中时，已将新的参考图像添加到了参考图像列表中。因此，如果该编码模式比常规的内或间编码模式更有利于块Bk，那么速率失真优化将选择使用相对于在步骤420期间创建的新参考图像的预测的编码模式。常规地，当测试时间预测编码模式时，例如通过块匹配方法来估计当前块与参考图像列表的参考图像中的像素块之间的移动。
在步骤424期间，当为块Bk确定了最佳编码模式时，在数据信号中对该块的数据进行编码。常规地，根据在步骤423期间确定的编码模式来构造预测块。
特别地，如果在步骤423中确定的编码模式使用相对于新参考图像的预测，那么预测块对应于由例如在步骤423中确定的当前块Bk的移动向量或视差信息指向的新参考图像中的像素块。
通过计算当前块Bk与预测块之间的差异来获得残差块。预测残差例如通过DCT类型的变换(“离散余弦变换(Discrete Cosine Transform)”)进行变换，并由熵编码器进行量化和编码。在数据信号中也对预测模式进行编码，以及相关联的编码参数，诸如用于预测的参考图像的索引、移动或视差向量之类。
常规地，当前块Bk被重构以用作对后续块的编码的预测。
在步骤425期间，检查当前图像的所有块是否已经被编码。如果仍然有要编码的块，那么该方法转到要编码的图像中的下一块，并返回到步骤421。否则，当前图像的编码结束。存储重构的当前图像以用作对后续图像或后续视图进行编码的参考图像。
图10A示意性地图示了根据关于图4描述的本发明的具体实施例的表示全向视频的编码数据信号的示例。这样的数据信号包括允许获得表示从视图k的平面到相邻视图k-1的平面的变换的单应矩阵的参数PAR。对于视图k的每个图像，编码数据DAT包括用于图像的有效区域中的至少一个块的指示用于对块进行重构的参考图像列表中的参考图像的索引idx。
图6示意性地图示了根据本发明的具体实施例的用于对表示全向视频的编码数据信号进行解码的方法的步骤。例如，根据关于图4描述的编码方法来生成编码数据信号。这里考虑了对与视图k-1邻近的当前视图k的解码。还考虑了视图k-1的图像先前已经进行了解码和重构。
在步骤60期间，在信号中读取允许获得表示从要解码的视图k的平面到邻近的视图k-1的平面的变换的单应矩阵Hk,k-1的参数。
根据一种变型，在信号中读取3×3单应矩阵Hk,k-1的9个参数。根据另一个变型，在信号中读取视图k-1和视图k的相机的固有参数和非固有参数，即相机的焦距和两个相机之间的分离角θsep。
在步骤61期间，获得单应矩阵Hk,k-1。当在信号中读取矩阵的参数时，直接从这些参数获得单应矩阵Hk,k-1。
当读取的参数对应于相机参数时，借助上面给出的等式(3)来计算单应矩阵Hk,k-1。
在步骤61之后，从数据信号中包含的数据中逐个图像地对当前视图k进行解码。在步骤62期间，对视图k的时刻t的当前图像
Figure BDA0002536698220000181
进行解码。
为此，在步骤620期间，创建新的参考图像Iref。根据邻近视图k-1的相同时刻t的并且先前已经进行了重构的图像
Figure BDA0002536698220000182
的像素来创建新参考图像Iref。实现了与关于图4的步骤420描述的机制相同的机制以创建参考图像Iref。
然后对视图k的当前图像
Figure BDA0002536698220000183
进行解码。为此，图像被切割成了像素块，并且图像的像素块被遍历以进行解码和重构。
对于当前图像
Figure BDA0002536698220000184
中的每个块Bk，实现以下步骤。
在步骤621期间，读取信号中块Bk的编码数据。具体地，当通过相对于参考图像列表中包括的参考图像的预测(图像间预测)对块Bk进行编码时，读取参考图像索引。常规地，对于通过图像间预测编码的图像，参考图像列表包括从与要重构的当前图像相同的视图先前重构的至少一个图像。在需要时，可以在信号中读取当前块Bk的其它信息，诸如编码模式、视差信息或移动向量、预测残差系数。常规地，由熵解码器对为该块读取的数据进行解码。残差块是通过将与编码中实现的量化相反的量化应用于解码的系数，并且将与编码中实现的变换相反的变换应用于解码的去量化的系数而获得的。
在步骤622期间，确定块Bk是否位于当前图像的有效区域中。换句话说，确定块Bk是否包括有效像素。
根据这里描述的本发明的具体实施例，如果块Bk的所有像素都是有效的，即，如果块Bk的所有像素都在有效区域中，那么块Bk属于有效区域。
如果块Bk属于有效区域，那么在步骤623期间，将新的参考图像Iref添加到参考图像列表中。否则，即，如果块Bk不属于有效区域，那么用于对块Bk进行解码的参考图像列表不变，并且仅包括要解码的当前视图k的先前重构的图像。
在步骤624期间，然后常规地计算块Bk的预测。根据这里描述的本发明的具体实施例，有利的是，用于预测当前块的解码器的常规操作没有被修改。
实际上，当块Bk位于有效区域时，已将新的参考图像添加到了参考图像列表中。因此，用于当前块Bk的预测块的构造是通过根据对当前块确定的移动或视差信息以及由在信号中读取的参考索引指示的参考图像的移动或视差补偿来实现的。
在步骤625期间，重构当前块Bk。为此，将在步骤624期间构造的预测块添加到在步骤621期间获得的残差块。
在步骤626期间，检查当前图像的所有块是否已经被解码。如果仍然有要解码的块，那么该方法转到要解码的图像中的下一块，并返回到步骤621。否则，当前图像的解码结束。存储重构的当前图像以用作对后续图像或后续视图进行解码的参考图像。
在以上描述的本发明的具体实施例中，如果块Bk的所有像素都是有效的，即，如果该块的所有像素都在有效区域中，那么确定要编码或要解码的块Bk属于当前图像的有效区域。
在本发明的另一个具体实施例中，如果要编码或要解码的块中的至少一个像素是有效像素，那么确定块Bk属于有效区域。
根据本发明的所述具体实施例，当要编码或要解码的块的所有像素都有效时，编码和解码的方法相似。
当要编码或要解码的块的所有像素都非有效时，同样如此。
根据所述的另一个实施例，对于包括至少一个有效像素和至少一个非有效像素的要编码或要解码的块，对这样的块的预测被调整。
图7图示了跨越要编码或要解码的图像的有效区域71和非有效区域72之间的边界70的要编码或要解码的块的示例。
对于这种类型的块，当通过使用在步骤420和620中创建的新参考图像来构造图4和图6的步骤424和624中确定的预测块时，预测块包括：在该块的有效区域71中，通过相对于新参考图像的移动补偿而获得的像素，以及在该块的非有效区域72中通过相对于参考图像列表中包括的当前视图的先前重构图像的移动补偿而获得的像素。因此，对于跨越有效区域和非有效区域之间的边界的块：
-在信号中对第一参考索引进行编码或从信号中对其进行解码，该第一参考索引对应于用于对块的有效区域进行编码的参考图像的索引，以及
-在信号中对第二参考索引进行编码或从信号中对其进行解码，该第二参考索引对应于用于对块的非有效区域进行编码的当前视图的先前重构的参考图像的索引。
这样的信号的示例在图10B中图示。图10B的数据信号包括允许获得表示从当前视图的平面到相邻视图的平面的变换的单应矩阵的参数PAR。对于当前视图中的每个图像，编码数据DAT包括用于跨越图像有效区域和非有效区域之间的边界的至少一个块的、指示要用于对块进行重构的参考图像列表中的参考图像的两个索引idx1和idx2。
可替代地，仅当第一索引idx1指示要用于块的有效区域的参考图像对应于步骤420或620中创建的新参考图像时，才在信号中针对跨越图像的有效区域和非有效区域之间的边界的块对第二索引idx2进行编码。根据该变型，当用于预测块的参考图像是先前从当前视图重构的图像时，不必对第二索引进行编码。
图8示出了根据以上描述的本发明的具体实施例中的任一项的适于实现编码方法的编码设备COD的简化结构。
这样的编码设备包括存储器MEM、处理单元UT，其例如配备有处理器PROC并由存储在存储器MEM中的计算机程序PG来控制。计算机程序PG包括当程序由处理器PROC执行时用于实现如先前描述的编码方法的步骤的指令。
在初始化中，计算机程序PG的代码指令例如在被处理器PROC执行之前被加载到处理单元(未示出)的存储器中。根据计算机程序PG的指令，处理单元UT的处理器PROC特别实现了关于图4和图7描述的编码方法的步骤。
根据本发明的具体实施例，编码设备包括通信接口COM，其特别地允许编码设备经由通信网络发送表示全向视频的编码数据信号。
根据本发明的具体实施例，以上描述的编码设备被包括在终端中。
图9示出了根据以上描述的本发明的具体实施例中的任一项的适于实现解码方法的解码设备DEC的简化结构。
这样的解码设备包括存储器MEM0、处理单元UT0，其例如配备有处理器PROC0并由存储在存储器MEM0中的计算机程序PG0来控制。计算机程序PG0包括当程序由处理器PROC0来执行时，用于实现如以上描述的解码方法的步骤的指令。
根据本发明的具体实施例，解码设备DEC包括通信接口COM0，其特别地允许解码设备经由通信网络接收表示全向视频的编码数据信号。
在初始化中，计算机程序PG0的代码指令例如在被处理器PROC0执行之前被加载到处理单元(未示出)的存储器中。根据计算机程序PG0的指令，处理单元UT0的处理器PROC0特别实现了关于图6和图7描述的解码方法的步骤。
根据本发明的具体实施例，以上描述的解码设备被包括在终端中。

Claims (13)

1.一种用于对表示多视图视频序列的编码数据信号进行解码的方法，所述多视图视频序列表示全向视频，所述多视图视频序列至少包括第一视图和第二视图，所述解码方法包括以下步骤：
-在所述数据信号中读取(60)允许获得(61)表示从第二视图的平面到第一视图的平面的变换的单应矩阵的参数，
-对第二视图的图像进行解码(62)，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，对第二视图的图像进行解码包括：
-生成(620)包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像，以及
-对于第二视图的图像中的至少一个块：
-在所述数据信号中读取(621)表示包括第二视图的至少一个先前重构的图像的参考图像列表中包括的参考图像的索引，
-确定(622)所述块是否属于所述有效区域，
-根据由所读取的索引指示的所述参考图像来重构(625)所述块，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中。
2.根据权利要求1所述的解码方法，其中，所述参数是分别与关联于第一视图的第一相机和关联于第二视图的第二相机相关联的相机参数，所述方法还包括根据所述相机参数计算所述单应矩阵。
3.根据权利要求1所述的解码方法，其中，所述参数是所述单应矩阵的系数。
4.根据权利要求1至3中的任一项所述的解码方法，其中，当所述有效区域的边界跨越要重构的块时，所述解码方法还包括：
-在所述数据信号中读取表示在参考图像组中包括的参考图像的另一个索引，所述参考图像组不包括所生成的参考图像，要重构的块的不属于所述有效区域的像素根据由所读取的所述另一个索引指示的参考图像的像素进行重构。
5.根据权利要求1至4中的任一项所述的解码方法，还包括：
-在所述数据信号中读取允许获得表示从第二视图的平面到第三视图的平面的变换的另一个单应矩阵的参数，经由所述另一个单应矩阵投影到第三视图的图像中的第二视图的图像中的至少一个像素被包括在第三视图的图像中，
-所生成的参考图像还包括根据第三视图的图像的先前重构的像素和所述另一个单应矩阵确定的像素值。
6.一种用于在数据信号中对表示全向视频的多视图视频序列进行编码的方法，所述多视图视频序列至少包括第一视图和第二视图，所述编码方法包括以下步骤：
-计算(40)表示从第二视图的平面到第一视图的平面的变换的单应矩阵，
-在数据信号中对允许在解码时获得所述单应矩阵的参数进行编码(41)，
-对第二视图的图像进行编码(42)，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，对所述图像进行编码包括：
-生成(420)包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像，以及
-对于第二视图的图像中的至少一个块：
-确定(421)所述块是否属于所述有效区域，
-根据包括第二视图的至少一个先前重构的图像的参考图像列表中包括的参考图像来预测(424)所述块，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中，
-在所述数据信号中对表示用于预测所述块的参考图像的索引进行编码(424)。
7.根据权利要求6所述的编码方法，其中，所述参数是分别与关联于第一视图的第一相机和关联于第二视图的第二相机相关联的相机参数。
8.根据权利要求6所述的编码方法，其中，所述参数是所述单应矩阵的参数。
9.根据权利要求6至8中的任一项所述的编码方法，其中，当所述有效区域的边界跨越要编码的块时，所述编码方法还包括：
-在所述数据信号中对表示在参考图像组中包括的参考图像的另一个索引进行编码，所述参考图像组不包括所生成的参考图像，要编码的块的不属于所述有效区域的像素根据由所述另一个索引指示的参考图像的像素进行预测。
10.根据权利要求6至9中的任一项所述的编码方法，还包括：
-计算表示从第二视图的平面到第三视图的平面的变换的另一个单应矩阵，经由所述另一个单应矩阵投影到第三视图的图像中的第二视图的图像中的至少一个像素被包括在第三视图的图像中，
-在所述数据信号中对允许获得所述另一个单应矩阵的参数进行编码，
-所生成的参考图像还包括根据第三视图的图像的先前重构的像素和所述另一个单应矩阵确定的像素值。
11.一种用于对表示多视图视频序列的编码数据信号进行解码的设备，所述多视图视频序列表示全向视频，所述多视图视频序列至少包括第一视图和第二视图，所述解码设备包括：
-用于在所述数据信号中读取允许获得表示从第二视图的平面到第一视图的平面的转换的单应矩阵的参数的装置，
-用于对第二视图的图像进行解码的装置，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，用于对第二视图的图像进行解码的所述装置包括：
-用于生成包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像的装置，以及
-对于第二视图的图像中的至少一个块：
-用于从所述数据信号中读取表示包括第二视图的至少一个先前重构的图像的参考图像列表中包括的参考图像的索引的装置，
-用于确定所述块是否属于所述有效区域的装置，
-用于根据由所读取的索引指示的所述参考图像来重构所述块的装置，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中。
12.一种用于在数据信号中对表示全向视频的多视图视频序列进行编码的设备，所述多视图视频序列至少包括第一视图和第二视图，所述编码设备包括：
-用于计算表示从第二视图的平面到第一视图的平面的变换的单应矩阵的装置，
-用于在所述数据信号中对允许获得所述单应矩阵的参数进行编码的装置，
-用于对第二视图的图像进行编码的装置，第二视图的图像包括称为有效区域的区域，所述有效区域包括像素，当所述像素经由所述单应矩阵投影到第一视图的图像上时，所述像素被包括在第一视图的图像中，用于对所述图像进行编码的所述装置包括：
-用于生成包括根据第一视图的图像的先前重构的像素和所述单应矩阵确定的像素值的参考图像的装置，以及
-对于第二视图的图像中的至少一个块：
-用于确定所述块是否属于所述有效区域的装置，
-用于根据包括第二视图的先前重构的至少一个图像的参考图像列表中包括的参考图像来预测所述块的装置，在所述块属于所述有效区域时，所生成的参考图像包括在所述参考图像列表中，并且在所述块不属于所述有效区域时，所生成的参考图像不包括在所述参考图像列表中，
-用于在所述数据信号中对表示用于预测所述块的参考图像的索引进行编码的装置。
13.一种计算机程序，包括在所述程序由处理器执行时用于实现根据权利要求1至5中的任一项所述的解码方法的指令和/或用于实现根据权利要求6至10中的任一项所述的编码方法的指令。
CN201880080485.6A 2017-12-15 2018-11-26 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备 Active CN111630862B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1762251 2017-12-15
FR1762251A FR3075540A1 (fr) 2017-12-15 2017-12-15 Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.
PCT/FR2018/052978 WO2019115899A1 (fr) 2017-12-15 2018-11-26 Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues représentative d'une vidéo omnidirectionnelle

Publications (2)

Publication Number Publication Date
CN111630862A true CN111630862A (zh) 2020-09-04
CN111630862B CN111630862B (zh) 2024-03-12

Family

ID=61873437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880080485.6A Active CN111630862B (zh) 2017-12-15 2018-11-26 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备

Country Status (8)

Country Link
US (1) US11166043B2 (zh)
EP (1) EP3725080B1 (zh)
JP (1) JP7279047B2 (zh)
KR (1) KR20200098495A (zh)
CN (1) CN111630862B (zh)
BR (1) BR112020011762A2 (zh)
FR (1) FR3075540A1 (zh)
WO (1) WO2019115899A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033348A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 行人重识别的俯视图像校正方法、存储介质和电子设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1793609A2 (en) * 2005-11-30 2007-06-06 Mitsubishi Electric Corporation Method and system for managing multiview videos
CN101790888A (zh) * 2007-06-25 2010-07-28 法国电信公司 用于编码和解码借助于运动管道表示的图像序列的方法和设备、相应的计算机程序产品和信号
CN101925950A (zh) * 2008-01-04 2010-12-22 杜比国际公司 音频编码器和解码器
US20110228850A1 (en) * 2010-03-19 2011-09-22 Canon Kabushiki Kaisha Method of processing a video sequence and associated device
US20120207210A1 (en) * 2009-10-13 2012-08-16 Canon Kabushiki Kaisha Method and device for processing a video sequence
WO2013159330A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN103404145A (zh) * 2011-03-09 2013-11-20 西门子公司 一种用于对数字化图像的序列进行编码的方法
CN104641636A (zh) * 2012-09-19 2015-05-20 汤姆逊许可公司 用于补偿图像序列中的照明变化的方法和装置
US20150334369A1 (en) * 2013-02-06 2015-11-19 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
CN105704491A (zh) * 2014-11-28 2016-06-22 同济大学 图像编码方法、解码方法、编码装置和解码装置
US20160295241A1 (en) * 2013-12-03 2016-10-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, video decoding apparatus and method, and programs therefor
CN106134197A (zh) * 2013-12-27 2016-11-16 日本电信电话株式会社 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
KR20170059901A (ko) * 2015-11-23 2017-05-31 한국전자통신연구원 다시점 비디오의 부호화/복호화 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491099B (zh) * 2006-07-11 2011-09-21 汤姆森特许公司 使用虚拟参考画面的方法及装置
CN115243040A (zh) * 2015-11-23 2022-10-25 韩国电子通信研究院 视频编码/解码方法和记录介质
KR20180000279A (ko) * 2016-06-21 2018-01-02 주식회사 픽스트리 부호화 장치 및 방법, 복호화 장치 및 방법
EP3349460A1 (en) * 2017-01-11 2018-07-18 Thomson Licensing Method and apparatus for coding/decoding a picture of an omnidirectional video
JP6338724B2 (ja) 2017-03-02 2018-06-06 キヤノン株式会社 符号化装置、撮像装置、符号化方法及びプログラム
US10484682B2 (en) * 2017-07-03 2019-11-19 Qualcomm Incorporated Reference picture derivation and motion compensation for 360-degree video coding

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1793609A2 (en) * 2005-11-30 2007-06-06 Mitsubishi Electric Corporation Method and system for managing multiview videos
CN101790888A (zh) * 2007-06-25 2010-07-28 法国电信公司 用于编码和解码借助于运动管道表示的图像序列的方法和设备、相应的计算机程序产品和信号
CN101925950A (zh) * 2008-01-04 2010-12-22 杜比国际公司 音频编码器和解码器
US20120207210A1 (en) * 2009-10-13 2012-08-16 Canon Kabushiki Kaisha Method and device for processing a video sequence
US20110228850A1 (en) * 2010-03-19 2011-09-22 Canon Kabushiki Kaisha Method of processing a video sequence and associated device
CN103404145A (zh) * 2011-03-09 2013-11-20 西门子公司 一种用于对数字化图像的序列进行编码的方法
WO2013159330A1 (en) * 2012-04-27 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN104641636A (zh) * 2012-09-19 2015-05-20 汤姆逊许可公司 用于补偿图像序列中的照明变化的方法和装置
US20150334369A1 (en) * 2013-02-06 2015-11-19 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view stereoscopic display device
US20160295241A1 (en) * 2013-12-03 2016-10-06 Nippon Telegraph And Telephone Corporation Video encoding apparatus and method, video decoding apparatus and method, and programs therefor
CN106134197A (zh) * 2013-12-27 2016-11-16 日本电信电话株式会社 视频编码方法、视频解码方法、视频编码装置、视频解码装置、视频编码程序以及视频解码程序
CN105704491A (zh) * 2014-11-28 2016-06-22 同济大学 图像编码方法、解码方法、编码装置和解码装置
KR20170059901A (ko) * 2015-11-23 2017-05-31 한국전자통신연구원 다시점 비디오의 부호화/복호화 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033348A (zh) * 2021-03-11 2021-06-25 北京文安智能技术股份有限公司 行人重识别的俯视图像校正方法、存储介质和电子设备

Also Published As

Publication number Publication date
JP7279047B2 (ja) 2023-05-22
JP2021507593A (ja) 2021-02-22
EP3725080A1 (fr) 2020-10-21
RU2020123288A (ru) 2022-01-17
BR112020011762A2 (pt) 2020-11-17
US11166043B2 (en) 2021-11-02
KR20200098495A (ko) 2020-08-20
FR3075540A1 (fr) 2019-06-21
CN111630862B (zh) 2024-03-12
WO2019115899A1 (fr) 2019-06-20
US20200389670A1 (en) 2020-12-10
EP3725080B1 (fr) 2024-02-21
RU2020123288A3 (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US20240073535A1 (en) Image data encoding/decoding method and apparatus
US11438506B2 (en) Method and apparatus for reconstructing 360-degree image according to projection format
US11962744B2 (en) Image data encoding/decoding method and apparatus
US20240031603A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US11831914B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
RU2729966C1 (ru) Способы, устройства и машиносчитываемый носитель для кодирования и декодирования видеосигнала
CN111630862B (zh) 用于对表示全向视频的多视图视频序列进行编码和解码的方法和设备
RU2776664C2 (ru) Способы и устройства для кодирования и декодирования многовидовой видеопоследовательности всенаправленного видео
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant