CN113330479A - 生成和处理图像属性像素结构 - Google Patents

生成和处理图像属性像素结构 Download PDF

Info

Publication number
CN113330479A
CN113330479A CN202080010368.XA CN202080010368A CN113330479A CN 113330479 A CN113330479 A CN 113330479A CN 202080010368 A CN202080010368 A CN 202080010368A CN 113330479 A CN113330479 A CN 113330479A
Authority
CN
China
Prior art keywords
pixel structure
image
region
image property
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080010368.XA
Other languages
English (en)
Inventor
W·H·A·布鲁斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN113330479A publication Critical patent/CN113330479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及用于生成或处理图像信号的装置。第一图像属性像素结构是表示针对视点的视球的表面的二维非矩形像素结构。第二图像属性像素结构是二维矩形像素结构并且是由处理器(305)生成的，以具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域。所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域。所述图像信号被生成为包括所述第二图像属性像素结构，并且所述图像信号可以由接收器处理以恢复所述第一图像属性像素结构。

Description

生成和处理图像属性像素结构
技术领域
本发明涉及用于生成和/或处理图像属性像素结构的装置和方法，并且特别地但非排他性地涉及生成和/或处理表示场景的深度或光强度的矩形像素结构。
背景技术
近年来，随着新服务以及利用和消费视频的方式不断得到开发和引入，图像和视频应用的种类和范围显著增加。
例如，一种越来越流行的服务是以观看者能够主动和动态地与系统交互以改变绘制参数的方式提供图像序列。在许多应用中，一个非常吸引人的特征是能够改变观看者的有效观看位置和观看方向，从而例如允许观看者在所呈现的场景中移动和“环顾四周”。
这样的特征能够特别允许向用户提供虚拟现实体验。这可以允许用户例如(相对)自由地在虚拟环境中移动并动态地改变他的位置和他正在看的地方。通常，这样的虚拟现实应用基于场景的三维模型，其中，该模型被动态地评价以提供特定的请求视图。这种方法是众所周知的，例如从用于计算机和控制台的游戏应用(例如，第一人称射击游戏)可知。
还希望所呈现的图像是三维图像，特别是对于虚拟现实应用。实际上，为了优化观看者的沉浸感，用户通常更喜欢体验作为3D场景的呈现场景。实际上，虚拟现实体验应当优选允许用户选择他/她自己的位置、相机视点以及相对于虚拟世界的时刻。
通常，虚拟现实应用固有地受到限制，因为它们基于场景的预定模型，并且通常基于虚拟世界的人工模型。通常希望基于现实世界捕获来提供虚拟现实体验。然而，在许多情况下，这样的方法受限于或往往要求根据现实世界捕获来构建现实世界的虚拟模型。然后通过评价该模型来生成虚拟现实体验。
然而，当前的方法往往是次优的，并且常常具有较高的计算或通信资源要求和/或提供次优的用户体验(例如因质量下降或自由受限)。
在许多例如虚拟现实应用中，场景可以通过图像表示来表示，例如通过一个或多个表示场景的特定视图姿态的图像来表示。在一些情况下，这样的图像可以提供场景的广角视图并且可以覆盖例如完整的360°视图或覆盖完整的视球。
在许多应用(特别是对于虚拟现实应用)中，图像数据流是根据表示场景的数据生成的，使得该图像数据流能够反映用户在场景中的(虚拟)位置。这样的图像数据流通常是动态和实时生成的，使得该图像数据流能够反映用户在虚拟场景内的移动。可以将图像数据流提供给绘制器，该绘制器根据图像数据流的图像数据向用户绘制图像。在许多应用中，向绘制器提供图像数据流是经由带宽受限的通信链路进行的。例如，图像数据流可以由远程服务器生成并且例如通过通信网络被传输到绘制设备。然而，对于大多数这样的应用而言，维持合理的数据速率以允许高效通信非常重要。
已经提出要提供基于360°视频流的虚拟现实体验，其中，场景的完整的360°视图由服务器针对给定的观看者位置来提供，从而允许客户端生成不同方向的视图。特别地，有前途的虚拟现实(VR)应用之一是全向视频(例如VR360或VR180)。该方法往往会引起高数据速率，因此提供完整的360°视球的视点数量通常被限制为较低的数量。
举个具体的示例，虚拟现实眼镜已经进入市场。这些眼镜让观看者可以体验捕获到的360度(全景)视频。这些360度视频通常是使用相机绑定预先捕获的，其中，个体图像被拼接在一起而成为单个球面映射。在一些这样的实施例中，可以生成表示来自给定视点的完整球面视图的图像并将其传输给驱动器，该驱动程序器被布置为为眼镜生成与用户的当前视图相对应的图像。
在许多应用中，场景可以由可能具有相关联的深度的单个视球图像来表示。然后可以通过选择完整图像的适当部分来生成针对当前观看者姿态的适当图像。另外，对于观看者的位置的足够小的变化，深度信息可以用于使用视图移位算法和技术来生成对应的图像。
这样的系统和应用的关键考虑因素是图像格式以及如何高效地表示大视图。例如，以合理高分辨率表示的完整球形视图会引起高数据要求。
由于优选将全部(或部分)球形信息的视点数量保持在较低水平(通常仅提供少量甚至仅一个视点的数据)，因此从最优姿态开始的姿态变化在以前常常相对有限的情况下其质量下降会变得明显。该方法的特别有吸引力的应用是诸如沉浸式视频之类的应用，其中，支持小的姿态变化，但不支持较大的变化。例如，可以提供这样的视频服务，该视频服务向用户呈现具有正确立体提示(例如，视差)的场景，该场景为用户提供了旋转他的头部或进行小的头部移动的效果而不是为用户提供大致移动的位置。这样的应用可以在许多情况下提供非常有利的用户体验，但基于的所提供的数据量相对较少(与在必须支持场景中的自由移动的情况下相比)。举个具体示例，它可以提供非常具有沉浸感的运动体验，甚至观看者可能有类似于坐在活动现场的座位上的观众的体验。
对于基于这样的图像或视频数据的系统来说，一个非常重要的问题是如何从给定的视点提供视图数据的高效表示，特别是如何表示视球。
一种用于表示这样的视球的常见格式被称为立方体图格式(参见例如https://en.wikipedia.org/wiki/Cube_mapping)。在这种格式中，六幅图像围绕一个视图位置形成一个立方体。然后将视球投影到立方体的侧面，每个侧面都提供平的和方形(部分)图像。另一种常见格式被称为ERP格式，其中，使用等距柱状投影将视球表面投影到矩形图像上(参见例如https://en.wikipedia.org/wiki/Equirectangular_projection)。
然而，这些格式的缺点是它们往往效率相对较低并且要求相对大量的数据来表示。例如，如果视球被划分成具有统一分辨率的像素并且相同的分辨率被认为是ERP/立方体图格式表示的最小分辨率，则这些格式要求的像素将比视球要求的像素多50％。因此，这会导致所要求的像素数量显著增加。当前使用的格式在所要求的数据速率/容量、复杂性等方面往往不是最优的，并且往往导致使用这些格式的系统不是最优的。
因此，改进的方法将是有利的。特别地，允许改进的操作、提高的灵活性、改善的虚拟现实体验、降低的数据速率、提高的效率、促进的分布、降低的复杂性、促进的实施、减少的存储要求、提高的图像质量和/或改善的性能和/或操作的系统和/或图像属性格式将是有利的。
发明内容
因此，本发明寻求优选单独地或以任何组合方式减轻、减缓或消除上述缺点中的一个或多个缺点。
根据本发明的一个方面，提供了一种用于生成表示从视点看到的场景的属性的图像属性像素结构的装置，所述装置包括：第一处理器，其提供第一图像属性像素结构，所述第一图像属性像素结构是表示针对所述视点的视球的表面的至少部分的二维非矩形像素结构；以及第二处理器，其用于生成第二图像属性像素结构，所述第二图像属性像素结构是二维矩形像素结构并且具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠；其中，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围。
本发明可以提供改善的场景表示。在许多实施例中，能够提供更高效的场景表示，例如允许以降低的数据速率实现给定的质量。该方法可以提供改进的矩形图像属性像素结构，它适合用于由许多针对矩形图像设计的常规过程、操作和算法进行的处理。特别地，第二图像属性像素结构可以适合用于使用许多已知的编码算法(包括许多标准化的视频或图像编码算法)来进行编码。
在许多实施例中，该方法可以提供适合用于灵活、高效和高性能的虚拟现实(VR)应用的场景的图像属性像素表示。在许多实施例中，它可以允许或实现图像质量与数据速率之间的折中得到显著改善的VR应用。在许多实施例中，它可以允许提高的感知图像质量和/或降低的数据速率。
该方法可以特别适用于例如支持在接收端针对移动和头部旋转进行调整的广播视频服务。
针对给定的视点的视球上的点(像素)可以具有反映在以下光线方向上第一次遇到的场景对象的图像属性(通常是光强度、深度、透明度)值的值，该光线方向的原点在视球处并且该光线在该点处与视球相交。应当理解，这原则上与视球的大小无关，因为点并没有延伸。另外，针对像素化的视球，像素值仅取决于像素的大小，因此针对统一分辨率，像素值仅取决于视球被划分成的像素的数量，而不取决于视球本身的大小。
在许多实施例中，图像属性像素结构可以是填满形状的规则像素网格，其中，每个像素表示图像属性的值。第一图像属性像素结构的形状不是矩形，而第二图像属性像素结构的形状是矩形。
图像属性像素结构可以特别是图像或图，例如，光强度图像、深度图和/或透明度图。图像属性可以是深度属性、透明度属性或光强度属性(例如，颜色通道值)。
第一图像属性像素结构可以是表面的至少部分在平面上的等积投影。等积投影可以是维持视球的表面与表面被投影到的平面之间的区域的面积(例如，像素面积)比例的投影。
第一图像属性像素结构可以是表面的至少部分的正弦投影。
第二处理器可以被布置为通过应用第一图像属性像素结构与第二图像属性像素结构之间的像素位置映射来生成第二图像属性像素结构。针对中心区域和(每个)边界区域的映射可能是不同的。
根据本发明的任选特征，所述第一图像属性像素结构针对所述表面的所述至少部分具有统一的分辨率。
这可以在许多实施例中提供有利的表示和操作。
根据本发明的任选特征，所述图像属性像素结构的所述中心区域与所述第一边界区域不重叠。
这可以在许多实施例中提供有利的表示和操作。在许多实施例中，它可以允许特别高效的表示并且特别是针对给定的质量降低所要求的数据速率。
第一图像属性像素结构的每个像素可以只属于中心区域和(一个或多个)边界区域中的一个区域。第二图像属性像素结构的每个像素可以只属于中心区域和(一个或多个)角落部分区域中的一个区域。
根据本发明的任选特征，所述第二处理器被布置为生成所述第二图像属性像素结构以具有根据所述第一图像属性像素结构的第二边界区域导出的第二角落区域，所述第二角落区域与所述第二图像属性像素结构的所述中心区域不重叠，所述第二边界区域是靠近所述上边界和所述下边界中的所述一个的区域，并且所述第一边界区域和所述第二边界区域在所述第一图像属性像素结构的虚拟垂直线的不同侧。
这可以在许多实施例中提供有利的表示和操作。在许多实施例中，它可以允许特别高效的表示并且特别是针对给定的质量降低所要求的数据速率。虚拟垂直线可以是任何叠加在第一图像属性像素结构上的垂直线。虚拟垂直线可以是任何将第一图像属性像素结构分成左区域和右区域的垂直线。
虚拟垂直线可以是中心线。
根据本发明的任选特征，所述虚拟垂直线将所述第一边界区域与所述第二边界区域分开，并且所述第一边界区域和所述第二边界区域围绕所述虚拟垂直线镜像对称。
这在许多实施例中可以是特别有利的。
根据本发明的任选特征，从所述第一边界区域到所述第二边界区域的水平方向与从所述第一角落区域到所述第二角落区域的水平方向相反。
这在许多实施例中可以是特别有利的。在许多实施例中，当边界区域被定位在角落区域中时，它可以在中心区域与边界区域之间提供改善的和/或更紧密的配合。如果从第一边界区域到第二边界区域的水平方向是从左到右的，则从第一角落区域到第二角落区域的水平方向可以是从右到左的，反之亦然。
根据本发明的任选特征，所述第一角落区域靠近所述第一边界区域的相对的边界。
这在许多实施例中可以是特别有利的。在许多实施例中，如果第一边界区域更接近第一图像属性像素结构的上边界(即，它处于上半部分)，则第一角落区域将更接近第二图像属性像素结构的下边界(即，它处于下半部分)，反之亦然。
在一些实施例中，针对第一垂直边界区域的水平像素顺序与针对第一角落区域的水平像素顺序相反。
根据本发明的任选特征，所述第二处理器被布置为将所述第二图像属性像素结构的所述第一角落区域和所述中心区域中的至少一个的像素外推到所述第二图像属性像素结构的靠近所述第一角落区域和所述中心区域中的至少一个的未填充区域。
这在许多实施例中可以提供更高效的表示并且特别可以在编码第二图像属性像素结构时提高编码效率。
根据本发明的任选特征，所述第二处理器被布置为通过所述第一边界区域的像素值的移位、平移、镜像和旋转中的至少一项来确定所述第一角落区域的像素值。
这在许多实施例中可以是特别有利的。
根据本发明的任选特征，所述第一处理器被布置为通过借助于等距柱状投影使表示所述表面的所述至少部分的矩形图像属性像素结构扭曲来生成所述第一图像属性像素结构。
这在许多实施例中可以是特别有利的。
根据本发明的一个方面，提供了一种用于生成输出图像属性像素结构的装置，所述装置包括接收器和处理器。所述接收器用于接收包括第二图像属性像素结构的图像信号，所述第二图像属性像素结构是二维矩形像素结构并且具有根据第一图像属性像素结构的中心区域导出的中心区域和根据第一图像属性像素结构的第一边界区域导出的至少第一角落区域，第一图像属性像素结构是表示针对视点的视球的表面的至少部分的二维非矩形像素结构，并且所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围。所述处理器用于生成表示针对所述视点的所述视球的所述表面的所述至少部分的非矩形输出图像属性像素结构，所述非矩形输出图像属性像素结构具有根据所述第二图像属性像素结构的所述中心区域导出的中心区域和根据所述第二图像属性像素结构的所述第一角落区域导出的边界区域，所述边界区域是靠近所述输出图像属性像素结构的上边界和下边界中的一个的区域。
根据本发明的一个方面，提供了一种生成表示从视点看到的场景的属性的图像属性像素结构的方法，所述方法包括：提供第一图像属性像素结构，所述第一图像属性像素结构是表示针对所述视点的视球的表面的至少部分的二维非矩形像素结构；并且生成第二图像属性像素结构，所述第二图像属性像素结构是二维矩形像素结构并且具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠；其中，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围。
根据本发明的一个方面，提供了一种用于生成输出图像属性像素结构的方法，所述方法包括：接收包括第二图像属性像素结构的图像信号，所述第二图像属性像素结构是二维矩形像素结构并且具有根据第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，第一图像属性像素结构是表示针对视点的视球的表面的至少部分的二维非矩形像素结构，并且所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围；生成表示针对所述视点的所述视球的所述表面的所述至少部分的非矩形输出图像属性像素结构，所述非矩形输出图像属性像素结构具有根据所述第二图像属性像素结构的所述中心区域导出的中心区域和根据所述第二图像属性像素结构的所述第一角落区域导出的边界区域，所述边界区域是靠近所述输出图像属性像素结构的上边界和下边界中的一个的区域。
根据本发明的一个方面，提供了一种包括第二图像属性像素结构的图像信号，所述第二图像属性像素结构是二维矩形像素结构并且具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，第一图像属性像素结构是表示针对视点的视球的表面的至少部分的二维非矩形像素结构，并且所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠。
参考下文描述的(一个或多个)实施例，本发明的这些和其他方面、特征和优点将是显而易见的并且得到阐明。
附图说明
将仅通过示例的方式并参考附图来描述本发明的实施例，在附图中：
图1图示了用于提供虚拟现实体验的布置的示例；
图2图示了针对视球的球面图像的ERP投影的示例；
图3图示了根据本发明的一些实施例的装置的元件的示例；并且
图4图示了针对视球的球面图像的正弦投影的示例；
图5图示了根据本发明的一些实施例的从针对视球的球面图像的正弦投影到表示视球的矩形图像的映射的示例；
图6图示了根据本发明的一些实施例的从针对视球的球面图像的正弦投影到表示视球的矩形图像的映射的示例；
图7图示了根据本发明的一些实施例的表示视球的矩形图像的示例；
图8图示了根据本发明的一些实施例的表示视球的矩形图像的示例；
图9图示了根据本发明的一些实施例的表示两个视球的矩形图像的示例；并且
图10图示了根据本发明的一些实施例的装置的元件的示例。
具体实施方式
允许用户在虚拟世界中四处走动的虚拟体验正变得越来越流行，并且正在开发服务以满足这样的需求。然而，提供高效的虚拟现实服务非常具有挑战性，特别是如果体验是基于对现实世界环境的捕获而不是基于完全虚拟生成的人工世界。
在许多虚拟现实应用中，观看者姿态输入被确定为反映虚拟观看者在该场景中的姿态。虚拟现实装置/系统/应用然后为与观看者姿态相对应的观看者生成与场景的视图和视口相对应的一幅或多幅图像。
通常，虚拟现实应用生成针对左眼和右眼的单独视图图像形式的三维输出。然后可以通过合适的方式(例如通常是VR头戴式设备的独立的左眼显示器和右眼显示器)将这些输出呈现给用户。在其他实施例中，图像可以例如被呈现在自动立体显示器上(在这种情况下，可以针对观看者姿态生成大量视图图像)，或者实际上在一些实施例中可以(例如使用常规的二维显示器)仅生成单个二维图像。
在不同应用中可以以不同方式确定观看者姿态输入。在许多实施例中，可以直接跟踪用户的身体移动。例如，调查用户区的相机可以检测和跟踪用户的头部(甚至眼睛)。在许多实施例中，用户可以佩戴能够通过外部方式和/或内部方式跟踪的VR头戴式设备。例如，头戴式设备可以包括加速度计和陀螺仪，它们提供关于头戴式设备以及因此头部的移动和旋转的信息。在一些示例中，VR头戴式设备可以传输信号或包括(例如视觉)标识符，这使得外部传感器能够确定VR头戴式设备的移动。
在一些系统中，观看者姿态可以通过手动方式来提供，例如通过用户手动控制操纵杆或类似的手动输入来提供。例如，用户可以通过用一只手控制第一模拟操纵杆来手动移动虚拟观看者在场景中四处走动，并且通过用另一只手手动移动第二模拟操纵杆来手动控制虚拟观看者正在看的方向。
在一些应用中，可以使用手动方法与自动方法的组合来生成输入的观看者姿态。例如，头戴式设备可以跟踪头部的取向并且观看者在场景中的移动/位置可以通过用户使用操纵杆来控制。
图像的生成基于虚拟世界/环境/场景的合适表示。在一些应用中，可以为场景提供完整的三维模型，并且能够通过评价该模型来确定从特定观看者姿态看到的场景的视图。在其他系统中，可以通过与从不同捕获姿态捕获的视图相对应的图像数据来表示场景。例如，针对一个或多个捕获姿态，可以将完整球形图像与三维(深度数据)存储在一起。在这样的方法中，可以通过三维图像处理(例如特别是使用视图移位算法)来生成用于除了(一个或多个)捕获姿态之外的其他姿态的视图图像。在场景是由针对离散的视点/位置/姿态存储的视图数据描述/引用的系统中，这些离散的视点/位置/姿态也可以被称为锚定视点/位置/姿态。通常，当通过从不同的视点/位置/姿态捕获图像来捕获现实世界环境时，这些捕获视点/位置/姿态也是锚定视点/位置/姿态。
因此，典型的VR应用提供(至少)与针对当前观看者姿态的场景的视口相对应的图像，其中，图像被动态更新以反映观看者姿态的变化，并且图像是基于表示虚拟场景/环境/世界的数据生成的。
在该领域中，术语放置和姿态被用作针对位置和/或方向/取向的通用术语。例如对象、相机、头部或视图的位置和方向/取向的组合可以被称为姿态或放置。因此，放置或姿态指示可以包括六个值/分量/自由度，其中，每个值/分量通常描述对应对象的位置/定位或取向/方向的独立属性。当然，在许多情况下，可能会以较少的分量考虑或表示放置或姿态，例如在一个或多个分量被认为是固定的或不相关的情况下(例如在所有对象都被认为处于相同的高度并且具有水平取向的情况下，四个分量可以提供对象姿态的完整表示)。在下文中，术语姿态用于指代可以由一到六个值(对应于最大可能的自由度)表示的位置和/或取向。
许多VR应用基于具有最大自由度的姿态，即，位置和取向中的每个的三个自由度会得到总共六个自由度。姿态因此可以由表示六个自由度的六个值的集合或向量来表示，并且因此姿态向量可以提供三维位置和/或三维方向指示。然而，应当理解，在其他实施例中，姿态可以由更少的值来表示。
姿态可以是取向和位置中的至少一个。姿态值可以指示取向值和位置值中的至少一个。
基于为观看者提供最大自由度的系统或实体通常被称为具有6个自由度(6DoF)。许多系统和实体仅提供取向或位置，并且这些系统和实体通常被称为具有3个自由度(3DoF)。
在一些系统中，可以通过例如不使用(甚至根本无法访问)任何远程VR数据或处理的独立设备在本地向观看者提供VR应用。例如，诸如游戏控制台之类的设备可以包括用于存储场景数据的存储装置、用于接收/生成观看者姿态的输入部，以及用于根据场景数据来生成对应图像的处理器。
在其他系统中，可以在远离观看者的地方实施和执行VR应用。例如，用户本地的设备可以检测/接收移动/姿态数据，该移动/姿态数据被传输到远程设备，该远程设备处理该数据以生成观看者姿态。远程设备然后可以基于描述场景数据的场景数据来生成针对观看者姿态的合适的视图图像。然后将视图图像传输到观看者本地的设备，在该设备处呈现视图图像。例如，远程设备可以直接生成由本地设备直接呈现的视频流(通常是立体/3D视频流)。因此，在这样的示例中，除了传输移动数据和呈现接收到的视频数据之外，本地设备可以不执行任何VR处理。
在许多系统中，功能可以被分布在本地设备和远程设备上。例如，本地设备可以处理接收到的输入和传感器数据以生成被连续传输到远程VR设备的观看者姿态。远程VR设备然后可以生成对应的视图图像并且将这些视图图像传输到本地设备以供呈现。在其他系统中，远程VR设备可能不直接生成视图图像，而是可以选择相关的场景数据并将其传输到本地设备，然后该本地设备可以生成所呈现的视图图像。例如，远程VR设备可以识别最接近的捕获点并提取对应的场景数据(例如来自该捕获点的球面图像和深度数据)并将其传输到本地设备。本地设备然后可以处理接收到的场景数据以生成针对特定的当前视图姿态的图像。视图姿态通常将对应于头部姿态，并且对视图姿态的引用通常可以被等效地认为对应于对头部姿态的引用。
在许多应用中，尤其是针对广播服务，源可以以独立于观看者姿态的场景的图像(包括视频)表示的形式传输场景数据。例如，针对单个捕获位置的单个视球的图像表示可以被传输到多个客户端。个体客户端然后可以在本地合成对应于当前观看者姿态的视图图像。
引起特别关注的特定应用是以下应用：其支持有限量的移动，使得所呈现的视图被更新以跟随与基本上静态的观看者相对应的小的移动和旋转，该观看者仅进行小的头部移动和头部旋转。例如，坐着的观看者能够转动他的头部并稍微移动他的头部，其中，所呈现的视图/图像被调整以跟随这些姿态变化。这样的方法可以提供高度具有沉浸感的例如视频体验。例如，观看体育赛事的观看者可能会觉得他出现在竞技场中的特定地点。
这样的有限自由度应用具有以下优点：它能够提供改善体验，同时又不要求从许多不同位置看到的场景的准确表示，从而显著降低了捕获要求。类似地，需要提供给绘制器的数据量能够大大减少。实际上，在许多场景中，只需要向能够从中生成所希望的视图的本地绘制器提供针对单个视点的图像并且通常还提供深度数据。为了支持头部旋转，通常希望从视点看到的大面积视图由所提供的数据来表示，并且优选以视点为中心的视球的整个表面被所提供的图像和深度数据覆盖。
该方法可能特别适合用于需要通过带宽受限的通信信道将数据从源传送到目的地的应用，例如，广播或客户端服务器应用。
图1图示了VR系统的这样一个示例，其中，远程VR客户端设备101与VR服务器103例如经由网络105(例如，互联网)进行联络。服务器103可以被布置为同时支持潜在大量的客户端设备101。
VR服务器103可以例如通过以下操作来支持广播体验：传输针对特定视点的图像数据和深度，然后客户端设备被布置为处理该信息以在本地合成与当前姿态相对应的视图图像。
因此，许多应用基于传输与比常规的小视口大得多的视口相对应的视图位置的图像信息，常规的小视口提供相对较窄的左眼和右眼图像。特别地，在许多应用中，希望为传送针对一个或多个视图/捕获位置的整个视球的图像属性信息(例如，光强度和深度)。例如，在VR360视频应用中，传输针对整个视球的光强度和深度值。然而，针对这样的应用的关键问题是如何表示信息而使得能够实现特别高效的通信。
例如希望能够使用现有的用于编码和格式化图像属性信息的算法和函数。然而，这样的函数往往几乎专门为平面矩形图像格式而设计，而三维表面的表面本质上并不对应于二维矩形。为了解决这个问题，许多方法使用立方体图格式，其中，将一个立方体定位在视球周围，然后将视球的表面投影到立方体的正方形边上。这些边中的每条边都是平面的并且因此能够通过常规技术进行相应处理。然而，一个缺点是：如果立方体图的分辨率与立方体图接触视球的点处的视球的分辨率相同(以便不造成任何分辨率损失)，那么与视球相比立方体图会要求数量非常多的像素(视球投影到每条边的外区会引起每个视球像素被投影到大于单个像素的区(并且特别是可能对应于相对较大数量的像素的区))。能够表明，立方体图表示所要求的给定统一大小的像素会比球形表示所要求的给定统一大小的像素多50％左右。
另一种常用的格式是使用等距柱状投影(ERP)将场景的表面投影到二维矩形上。图2示出了这样的图像的示例。能够看出，由投影引起的变形也会显著增加一些区域相对于其他区域的结果得到的投影面积(特别是投影面积朝向垂直边缘增大反映了视图姿态之上(或之下)的单个点被拉伸在矩形的整个宽度上)。因此，在不降低中心分辨率的情况下所要求的(恒定大小的)像素的要求数量将显著增加。能够表明，ERP表示所要求的给定统一大小的像素会比球形表示所要求的给定统一大小的像素多50％左右。
这种增加的像素计数会导致处理复杂性增加和数据要求提高。特别地，可能要求更高的数据速率来传输图像信息。
图3图示了可以生成视球的表面(的至少部分)的表示的装置的元件。
该装置包括第一处理器301，第一处理器301被布置为提供第一图像属性像素结构，该第一图像属性像素结构是表示针对视点/视图位置的视球的表面的至少部分的二维(平面、欧几里得)非矩形像素结构。在下面的示例中，第一处理器301被布置为处理(光强度)图像和深度图，并且第一图像属性像素结构可以被认为对应于图像或深度图，或者实际上同时对应于这两者(其中，像素值是图像像素值与深度图像素值的组合)。
在该示例中，第一处理器301被耦合到用于第一图像属性像素结构的源303，并且特别地，该源可以提供输入图像和深度图。特别地，源303可以是存储图像信息的本地存储器，或者源303可以例如是合适的捕获单元，例如，完整球形相机和/或深度传感器。
针对视点的视球是包围视点的(标称)球体，其中，表面的每个点表示针对场景的在从视点通过表面上的点的方向上的图像属性值。针对光强度图像属性值，表面的点的值对应于从该点的方向到达视点的光线的光强度。对应地，针对深度或范围图像属性值，视球的表面的给定点的深度值对应于在从视点到(通过)表面上的点的方向上从视点到场景的第一对象的距离。
第一图像属性像素结构表示图像属性，该图像属性表示可以由图像绘制过程用于生成特定视图图像的场景的属性。因此，图像属性可以是能够支持用于生成(针对一个或多个视口的，例如对应于不同的视图姿态的)场景图像的图像生成/合成功能的属性。图像属性具体可以是以下属性中的至少一种属性：光强度属性、深度属性或透明度属性。
在一些实施例中，图像属性可以是组合属性，例如，图像属性可以包括多个颜色通道光强度值(例如，红色值、绿色值和蓝色值)，并且还可能包括深度值。例如，第一图像属性像素结构的每个像素可以包括针对每个值的多个值，或者像素值可以是多分量向量值。等效地，第一处理器301可以被认为提供多个单值图像属性像素结构，其中，这些单值图像属性像素结构中的每个都被如下所述地处理。
下面的描述将集中于光强度和深度的属性。因此，为了简洁和清楚起见，(一个或多个)图像属性像素结构也相应地由(光强度)图像和深度图的更常见的术语来指代。
特别地，图像属性像素结构可以是被划分成多个像素的平面区或区域。每个像素包括一个或多个值，这一个或多个值指示针对由像素覆盖的区的图像属性的值。通常，像素都具有相同的大小，即，分辨率是统一的。通常，像素是正方形的，或者至少是矩形的，并且被布置在等距网格中。因此，常规的图像或深度图是图像属性像素结构的示例。
然而，第一图像属性像素结构不是矩形图像属性像素结构，而是二维非矩形像素结构。第一图像属性像素结构还表示视球的表面的至少部分，并且通常是视球的整个表面。由于视球的表面具有三维弯曲属性，因此对应的平面表示一般不会是矩形。
特别地，可以认为球体的表面被划分成给定数量的等面积像素，其中，像素覆盖的区通常是(基本上)正方形。如果这些像素替代地被重新布置在平面上，则结果得到的覆盖区将不是矩形或正方形。特别地，图4图示了结果得到的正方形像素区。
在这种情况下，第一图像属性像素结构可以特别是视球的表面的正弦投影。图4示出了针对完整表面的第一图像属性像素结构所覆盖的区。如图所示，视球表面被表示为这样的区，其中宽度/水平延伸是垂直位置的正弦函数，其中，垂直位置由从0到π(180°)的范围内的值表示，其中，中心垂直位置对应于π/2(90°)。在该示例中，0和π(180°)的垂直位置因此对应于从视点直接向下和向上的方向，而π/2(90°)的垂直位置对应于从视点看到的水平方向。
应当理解，在一些实施例中，第一图像属性像素结构可以仅表示视球的表面的部分。例如，在一些实施例中，第一图像属性像素结构可以仅表示半球(例如，上半球(例如对应于被定位在地平面处并且仅捕获地平面之上的场景的相机))或仅表示在给定方向上的半球(例如只针对用户在一个大体方向上看到的半球)。在这样的示例中，第一图像属性像素结构也将是非矩形的，但不会直接对应于图4的示例。在一些实施例中，第一图像属性像素结构仍然可以是正弦投影，但是可以只是部分表面的投影。例如，结果得到的针对半球的第一图像属性像素结构可以仅对应于图4的上半部分或左(或右)半部分。
第一图像属性像素结构因此是非矩形结构并且因此不适合在许多现有过程中的处理，包括例如在图像或视频编码器中的处理。第一图像属性像素结构还倾向于与许多基于矩形图像表示的现有标准和格式不一致。因此，希望将非矩形的第一图像属性像素结构转换成矩形的第二图像属性像素结构。如上所述，常规地，这通常是通过使用ERP将球体的表面投影到矩形或者投影到立方体的侧面(立方体图表示)来完成的。
然而，相比之下，图3的装置包括第二处理器305，第二处理器305被布置为使用得到更高效的结构的方法并且特别是能够维持分辨率而不要去显著增加所要求的像素的数量的方法来生成作为二维矩形像素结构的第二图像属性像素结构。
相应地，第二处理器305的输出为矩形图像结构，并且特别可以是矩形图像和/或深度图。该第二图像属性像素结构可以被馈送到输出生成器307，该输出生成器307被布置为生成能够被传输到远程设备的输出数据流形式的图像信号。特别地，输出生成器307可以被布置为使用为矩形图像设计的技术来编码第二图像属性像素结构并且将编码数据包括在输出数据流中。例如，图像或视频编码可以应用于由第二处理器305提供的矩形图像，以便生成可以被传输到远程客户端的对应编码视频数据流。
特别地，第二处理器305被布置为确定第一图像属性像素结构中的不同区域并且将这些区域不同且分开地定位在第二图像属性像素结构的矩形区域中。特别地，第二处理器305被布置为根据第一图像属性像素结构的中心区域来导出第二图像属性像素结构的中心区域。第二处理器305还可以根据在垂直方向上的一个或多个边界区域并且特别是靠近第一图像属性像素结构的上边缘/边界或下边缘/边界的一个或多个边界区域来导出一个或多个角落区域。因此，在该方法中，第二处理器305可以基于非矩形图像的中心区域的图像数据来占据矩形输出图像的中心区域的位置，并且根据输入图像的在垂直方向上的(一个或多个)外区域(接近输入图像的顶部或底部)的图像数据来占据(一个或多个)角落区域的位置。
可以参考图5-7来图示由第二处理器305进行的方法的示例，其中，图6和图7示出了对应于图3的特定图像(其中已经应用了图5的原理)的示例。
在该示例中，图像形式的第一图像属性像素结构通过正弦投影来表示视球的表面，并且因此对应于由正弦波周期的一半形成的形状所对应的平坦区域501及其镜像，如图所示。在该示例中，确定了四个边界区域，即，左上区域p1、右上区域p2、左下区域p3和右下区域p4。
第二处理器305然后生成对应于矩形图像的第二图像属性像素结构。该图像因此对应于矩形区域503。该图像是通过维持输入图像的中心部分并将边界区域p1-p4以对角线移动到相对的角落而生成的。在该示例中，输入图像的尺寸为W×H0，而输出图像的高度可能降低了H。
图6图示了可以如何通过将边界区域复制到中间图像的角落区域来首先生成具有与图4的输入图像相同高度和宽度的矩形中间图像的示例。该图像可能比输入图像大很多，因为它包括许多冗余像素。然而，然后可以通过垂直裁剪来生成输出图像，从而降低高度并去除冗余像素。特别地，可以将高度降低到冗余像素的数量被最小化的水平。实际上，在许多实施例中，可以通过裁剪来降低高度，从而不包括冗余像素。
该方法可以通过矩形图像来提供场景的非常高效的视球表示。该方法基于发明者的以下认识，即，视球的投影的属性适合用于被划分成能够被紧密拟合在矩形区内的不同区域。事实上，从图5、图6和图7的示例能够看出，能够确定能够紧密贴合边界区域的边界区域。事实上，通过图7的示例能够看出，能够生成仅包括少量额外像素(由图7中的黑色区域表示)的矩形图像。实际上，能够表明，在该示例中，能够在像素增加仅约5％的情况下实现视球表面的矩形表示，而没有任何分辨率损失。
因此，通过所描述的方法能够实现比ERP或立方图表示更高效的表示。
在以上示例中，图像属性像素结构已经是(光强度)图像，但是应当理解，这些方法也可以应用于其他属性，例如应用于深度图或透明度图。例如，可以用例如可以分别提供针对图像的每个像素的深度值和透明度值的深度图和/或透明度图来补充上面的示例的图像。然后可以以与针对光强度图像描述的方式相同的方式处理这些图，从而得到更合适的正方形图或者例如使用常规技术进行编码。
在上面的示例中，第二处理器305被布置为确定第一图像属性像素结构中的四个边界区域(p1、p2、p3、p4)，其中，边界结构接近第一图像属性像素结构的上边界或图像属性像素结构的下边界。在示例中，边界区域因此是上边界区域和下边界区域并且特别是(连续的)区域，针对该连续区域，其边界的部分也是第一图像属性像素结构本身的边界。
在该示例中，第二处理器305识别第二图像属性像素结构中的中心区域，并且用第一图像属性像素结构的中心区域来占据该中心区域的位置。识别第二图像属性像素结构的四个角落区域，并且然后用第一图像属性像素结构的四个边界区域来占据这四个角落区域的位置。因此，高效地，能够将识别出的第一图像属性像素结构的四个边界区域移动到第二图像属性像素结构中的角落区域。
在该示例中，用于占据中心区域的位置的第一图像属性像素结构的中心区域由与第二图像属性像素结构的上边缘和下边缘相对应的上水平线和下水平线限定。第一图像属性像素结构的边界区域比这些线更靠外围，即，它们分别位于划分水平线的之上和之下。因此，应用从第一图像属性像素结构的中心区域的像素位置到第二图像属性像素结构的中心区域中的像素位置的位置映射。如果将相同的像素位置映射应用于边界区域，则会使得位置落在第二图像属性像素结构之外。
特别地，第二图像属性像素结构是矩形结构，并且具有上/顶部(水平)边缘和下/底部(水平)边缘。第二图像属性像素结构的中心区域可以由这些边缘限定，并且第二图像属性像素结构中的中心区域可以拼接到第二图像属性像素结构的边缘。
第二图像属性像素结构的上边缘可以对应于第一图像属性像素结构中的上/顶部水平线，而第二图像属性像素结构的下边缘可以对应于第一图像属性像素结构中的上/顶部水平线。
可以将第一图像属性像素结构的中心区域选择为第一图像属性像素结构的落在这两条水平线之间的部分。
第一图像属性像素结构的一个、多个以及通常所有的边界区域是比水平线中的至少一条更靠外围的区域。因此，边界区域可以在上水平线之上或者在下水平线之下。
在一些实施例中，所描述的方法可能只应用于第一图像属性像素结构的顶部或底部，因此在一些实施例中，可以只考虑上水平线和下水平线中的一条，或等效于上水平线和下水平线中的一条可以被认为对应于第一图像属性像素结构的边缘。然而，在大多数实施例中，该方法将对称地应用于第一图像属性像素结构的顶部部分和底部部分。而且，在大多数实施例中，该方法将对称地应用于第一图像属性像素结构的顶部部分和底部部分。
在许多实施例中，可以确定多个边界区域并将其分配给第二图像属性像素结构中的角落区域。这些边界区域中的每个都可以比水平线更靠外围，即，可以在上水平线之上或者在下水平线之下。
在许多实施例中，边界区域可以包括第一图像属性像素结构的比水平线更靠外围/更为偏远/更靠外部/更为外侧的所有区域。因此，在一些实施例中，上水平线之上和下水平线之下的所有像素可以被包括在边界区域中。
该方法可以特别允许生成小于将包含第一图像属性像素结构的矩形结构的第二图像属性像素结构。第二图像属性像素结构的行数可以低于第一图像属性像素结构的行数，并且通常可以低至少5％、10％或20％。
第二图像属性像素结构的高度(垂直延伸)可以显著低于第一图像属性像素结构的高度(垂直延伸)，并且通常可以低至少5％、10％或20％。
另外，这通常可以在维持列数/宽度/水平延伸的同时实现，因此可以显著减少矩形图像所要求的像素数量。
在许多实施例中，每个边界区域可以是包括相对大量的像素的连续区域。在许多实施例中，至少一个边界区域可以包括不少于1000个，甚至5000个像素。在许多实施例中，边界区域可以包括不小于第一图像属性像素结构中的像素总数的5％或10％。
在一些实施例中，第二图像属性像素结构的编码可以使用基于图像块(例如，从例如MPEG编码已知的宏块)的编码算法。在这样的实施例中，每个边界区域可以包括整数宏块，即，每个边界区域可以不包括编码块的任何部分。另外，在许多实施例中，每个边界区域可以包括多个编码块。
每个边界区域可以作为块被重新分配给边界区域，即，像素之间的相对位置不变。
在许多实施例中，每个部分可以是延伸到第二图像属性像素结构的角落的部分。边界区域可以被包括在第二图像属性像素结构中，使得它邻接第二图像属性像素结构的角落。边界区域可以被包括在第二图像属性像素结构中，使得它具有与第二图像属性像素结构的边缘共同的边缘，并且可能具有与第二图像属性像素结构共同的两个边缘。
在许多实施例中，边界区域可以被包括在第二图像属性像素结构中，使得边界区域到第二图像属性像素结构的中心区域有一定距离，即，它们之间可以存在保护带。这样的距离可以例如不少于1、2、5、10或50个像素。
在许多实施例中，边界区域可以被包括在第二图像属性像素结构中，使得边界区域的像素在第二图像属性像素结构中的垂直位置与在第一图像属性像素结构中的垂直位置不同。特别地，针对边界区域的像素的垂直位置可以变得比上垂直线和/或下垂直线的垂直位置更靠外围，比上垂直线和/或下垂直线的垂直位置更靠中心/更远离外围。
在特定示例中，每个边界区域被移动到对角线角落区域，即，左上边界区域被移动到右下角落区域；右上边界区域被移动到左下角落区域；左下边界区域被移动到右上角落区域；并且右下边界区域被移动到左上角落区域。
因此，在该示例中，第一图像属性像素结构中的两个边界区域与它们被映射到的在第二图像属性像素结构中的两个角落区域之间的水平关系是颠倒的。因此，位于第二边界区域的左侧的第一边界区域将被移动到位于第二边界区域所移动到的第二角落区域的右侧的第一角落区域。在该方法中，从第一边界区域到第二边界区域的水平方向与从第一角落区域到第二角落区域的水平方向相反。
类似地，在该实施例中，第一图像属性像素结构中的两个边界区域与它们被映射到的在第二图像属性像素结构中的两个角落区域之间的垂直关系是颠倒的。因此，位于第二边界区域之上的第一边界区域(第一区域是上边界区域，而第二区域是下边界区域)将被移动到位于第二边界区域所移动到的第二角落区域之下的第一角落区域(第一角落区域是下角落区域，而第二角落区域是上角落区域)。在该方法中，从第一边界区域到第二边界区域的垂直方向与从第一角落区域到第二角落区域的垂直方向相反。
在许多实施例中，例如在上述那些实施例中，第一角落区域和第二角落区域可以包括分别根据第一图像属性像素结构中的第一边界区域和第二边界区域导出的像素数据，其中，两个边界区域靠近相同的上边界或下边界(即，两个边界区域都处于上边界或者都处于下边界)。例如，两个边界区域可以是附图中的区域p1和p2(或p3和p4)。这两个边界区域相对于彼此水平移位，并且特别地，这两个边界区域中的一个区域的整体可以完全位于另一个区域的整体的右侧。因此，这两个边界区域可以位于虚拟垂直线的不同侧，特别地，虚拟垂直线可以是第一图像属性像素结构的中心线。在附图中的示例中，该虚拟垂直线是中心线(即，p1和p2位于垂直中心线的不同侧，p3和p4也是如此)。
在图5-7的特定示例中，虚拟垂直线是第一图像属性像素结构的中心线。此外，在该示例中，虚拟垂直线是将第一边界区域与第二边界区域分开的线。实际上，第一边界区域和第二边界区域一起形成了连续的区域，该连续的区域被虚拟垂直线细分成第一边界区域和第二边界区域。另外，在特定示例中，第一边界区域和第二边界区域围绕虚拟垂直线镜像对称。在该示例中，上边界区域(和/或下边界区域)被标识为在给定的垂直坐标之上(或之下)(并且因此在与该水平线相对应的给定水平线之上(或之下))的区域。因此，该区域被垂直中心线划分成两个对应的区域。在特定示例中，这样得到两个相同但镜像对称的边界区域。
另外，在特定示例中，识别上边界区域和下边界区域这两者，并且这些区域相对于水平中心线镜像对称。特别地，在该示例中，发现了四个边界区域，这四个边界区域围绕水平中心线和垂直中心线成对地镜像对称。
在许多实施例中，将第一图像属性像素结构分成这样的水平和/或垂直移位和分离的区域可以提供高效且有利的划分，其允许在减少第二图像属性像素结构的未使用部分的量的情况下对第二图像属性像素结构进行复杂度相对较低但高效的重新组织，因此减少了开销/浪费。如上所述，在许多实施例中，两个边界区域可以被链接到角落区域，使得水平顺序颠倒并且/或者垂直顺序颠倒，但是应当理解，这并不是必需的，并且一些实施例可以不采用(一个或多个)这样的颠倒。
特别地，该方法允许生成高效的矩形和平面的图像结构，其允许维持统一的分辨率而不要求用于矩形表示的大开销。
在许多实施例中，第一图像属性像素针对视球的表面(或表面的部分)具有统一的分辨率。因此，视球的分辨率在所有方向上都是相同的，并且所有方向都以相同的质量表示。将第一图像属性像素结构变换成矩形的第二图像属性像素结构能够通过像素的直接重新布置来实现，因此像素分辨率不变。与ERP或立方体图格式相比，所描述的方法生成了矩形图像，其中视球的分辨率不变并且因此也表示视球的统一分辨率。另外，这仅以很小的开销和增加的像素数量来实现。
所描述的方法的特殊优点是它提供了这样一种方法，其中边界区域紧密拟合在所选择的边界区域内。该边界区域的形状和轮廓与在将中心部分复制到第二图像属性像素结构中之后剩余的角落区域紧密匹配。另外，在特定示例中将边界区域分配到角落区域使得形状彼此匹配而不会引入任何额外操作(特别是仅要求平移/移位)。
在许多实施例中，第一图像属性像素结构的像素可以被直接映射到第二图像属性像素结构的像素，并且特别地，第二图像属性像素结构中的每个像素可以是第一图像属性像素结构中的像素的副本。第二处理器305的处理因此可以被视为第一图像属性像素结构中的像素(像素位置)到第二图像属性像素结构中的像素(像素位置)的映射。然而，应当理解，在一些实施例中，第二处理器305还可以包括对像素值的某种处理，例如，该处理可以包括亮度调整、深度调整、滤波等。
在所图示的示例中，通过边界区域的直接移位/偏移/平移来占据角落区域的位置。在角落区域中维持边界区域中的每个边界区域中的像素之间的内部空间关系。
然而，在其他实施例中，第二处理器305可以替代地或额外地被布置为包括例如边界区域的镜像和/或旋转。特别地，这可以确保边界区域的形状与边界区域被定位在的角落区域的形状之间的更紧密拟合。
这可以例如用于在边界区域与角落区域之间应用不同的映射。例如，不是将边界区域链接到对角线相对的角落区域(即，左上边界区域到右下角落区域)，而是可以将给定的边界区域映射到近侧角落区域并且可以使用旋转(和/或镜像)使边界区域的形状拟合到角落区域的形状。例如，在附图中的示例中，左上边界区域p1可以旋转180°并移位到左上角落区域。因此，可以执行旋转而使得边界区域的中心部分变成横向部分。
这样的使用平移和/或镜像而非仅使用平移的方法在其中仅视球的部分由第一图像属性像素结构和第二图像属性像素结构表示的许多实施例中可以是特别有利的。例如，在仅表示视球的上半部分(仅对应于示例性附图的图像的上半部分)的示例中，能够将两个边界区域p1和p2拟合到两个角落区域中。例如，p1和p2能够在旋转了180°之后分别拟合到左上角落区域和右上角落区域中，或者在围绕水平线发生镜像之后分别拟合到右上角落区域和左上角落区域中。
在一些实施例中，第一处理器201被布置为将视球的表面的表示接收为通过等距柱状投影表示表面的图像属性像素结构。例如，第一处理器201可以接收如图2所示的表示。
在这样的实施例中，第一处理器201可以被布置为使这样的矩形图像属性像素结构扭曲成非矩形图像属性像素结构，该非矩形图像属性像素结构然后能够被处理为如上所述的第一图像属性像素结构。特别地，在这样的实施例中，第一处理器201可以被布置为将接收到的图像属性像素结构从等距柱状投影变换为对应于正弦投影的图像属性像素结构。
第一处理器201可以例如被布置为通过根据余弦扭曲进行坐标平移来实现这一点。在matlab中实施的示例可以如下所示：
W0＝4000
H0＝2000
W＝W0*4
W2＝W/2
H＝H0
H2＝H/2
AA＝imread('in1.png')；
BB＝zeros(size(AA))；
for x＝1:W
for y＝1:H
sc＝abs(cos(3.14/2*(y-H2)/H2))；
％sc＝0；
x1＝x-W2；
i＝floor(x1*sc)+W2；
BB(y,x,1)＝AA(y,i,1)；
BB(y,x,2)＝AA(y,i,2)；
BB(y,x,3)＝AA(y,i,3)；
end
end
imwrite(uint8([BB]),['out.png'])；
在先前的示例中，生成了第二图像属性像素结构，该第二图像属性像素结构包括分别根据第一图像属性像素结构的中心区域和一个或多个边界区域生成的中心区域和一个或多个角落区域。特别地，该方法可以利用第一图像属性像素结构的几何属性来生成中心区域和边界区域，使得通过从第一图像属性像素结构的中心区域填充第二图像属性像素结构的中心区域所产生的角落区域具有与边界区域的几何属性(特别是形状)相对紧密匹配的几何属性(特别是形状)。这允许这样的布置，其中，整个第一图像属性像素结构紧密位于仅具有小间隙的非重叠的中心区域和角落区域内。因此，实现了高效的表示，而仅有少量的第二图像属性像素结构的像素不表示第一图像属性像素结构的像素。
在图7中通过角落区域与中心区域之间的黑色像素示出了这种情况。能够看出，该方法能够利用第一图像属性像素结构的几何形状，以确保高效的矩形表示，而相对于第一图像属性像素结构的非矩形表示在矩形表示中仅有少量的额外像素。在正弦投影(例如，如图4所示的正弦投影)的示例中，仅增加5％的像素数量就能够生成矩形表示。
因此生成了具有一个或多个未填充区域的第二图像属性像素结构，然而，这些未填充区域被保持在相当小的区内。小的开销(例如与ERP或立方图表示相比)使得图像属性像素结构的像素计数减少，这会大大降低编码数据速率。
在一些实施例中，第二处理器305还可以被布置为执行对未填充区域中的一个或多个未填充区域的填入。特别地，填入可以通过以下操作来执行：基于已经被占据位置的区域中的近侧像素的像素值并且特别是基于中心区域的像素值和针对尚未根据第一图像属性像素结构来占据位置的最近的角落区域的像素的像素值来生成针对(一个或多个)未填充区域的像素的像素值。
在许多实施例中，根据第一图像属性像素结构生成的一个或多个像素值可以被外推到(一个或多个)未填充区域中。应当理解，根据作为视图合成技术的部分的去遮挡过程可以知晓多种填入技术，并且能够使用任何这样的合适的算法。
在一些实施例中，该填入可以通过以下操作来执行：根据第一图像属性像素结构来生成中间图像属性像素结构，其中，第一图像属性像素结构被外推到周围区域中。在该示例中，不是仅仅将第一图像属性像素结构的边界区域移动到第二图像属性像素结构的角落区域(当边界区域的形状与角落区域的形状不匹配时会直接导致未填充区域)，而是还移动中间图像的对应于未填充区域的区域，从而填入未填充区域。
图8示出了通过将第一图像属性像素结构外推到矩形图像中而生成的中间图像的示例。然后，第二处理器305可以通过以下操作来生成第二图像属性像素结构：将中心区域复制到第二图像属性像素结构的中心区域，并且将针对每个边界区域的区域复制到第二图像属性像素结构的角落区域，但是选择复制区域的形状以与角落区域的形状完全匹配。
填入区域的方法的优点是它提供了第二图像属性像素结构，该第二图像属性像素结构趋向于具有更一致的像素值，其中，跨不同区域之间的划分的变化更小。这样会得到更高效的编码，从而使得针对给定的质量水平的数据速率降低。
上面的示例集中在对单幅图像的处理上。然而，应当理解，该方法同样能够应用于多幅图像，例如，视频序列的各个帧。
而且，在一些实施例中，该方法可以应用于并行图像，例如应用于场景的立体图像表示的左眼图像和右眼图像。在这样的情况下，第二处理器305可以生成两个矩形图像属性像素结构，然后可以对其进行编码。在一些实施例中，可以在编码之前组合矩形图像属性像素结构。例如，如图9所示，可以通过并置由第二处理器305生成的两个独立的图像属性像素结构来生成单个矩形图像属性像素结构，并且可以将结果得到的整体图像编码为单幅图像。
因此，上述装置可以非常高效地生成包括所描述的第二图像属性像素结构的图像信号。在一些实施例中，图像信号可以是未编码的图像信号(例如对应于图3的三个示例中的第二处理器305的输出)，但是在许多实施例中，图像信号可以是编码的图像信号(例如对应于图3的三个示例中的编码器307的输出)。
应当理解，接收器(sink)/客户端/解码器侧可以接收包括如在先前示例中所描述的第二图像属性像素结构的图像信号并且对其进行处理以重新创建与原始的第一图像属性像素结构相对应的(即与视球的非矩形表示相对应的)图像属性像素结构。
图10示出了这样的装置的示例。该装置包括接收器1001，该接收器1001被布置为接收图像信号，该图像信号包括以图像属性像素结构的形式的场景的图像表示，该图像属性像素结构表示从给定视点看到的视球，如针对第二图像属性像素结构所描述的那样。
该第二图像属性像素结构被馈送到反转处理器1003，该反转处理器1003被布置为通过执行由图3的第二处理器执行的操作的相反操作来生成非矩形图像属性像素结构。特别地，它可以执行像素(位置)逆映射，使得接收到的第二图像属性像素结构的中心区域被映射到所生成的图像属性像素结构的中心部分，并且第二图像属性像素结构的(一个或多个)角落区域被映射到所生成的图像属性像素结构的边界区域。
然后，这个本地生成的非矩形图像属性像素结构可以被输出到其他功能部分以进行进一步处理。例如，在图10中，所生成的图像属性像素结构被馈送到本地绘制器，该本地绘制器可以继续合成与当前观看者姿态相对应的视图图像，如本领域技术人员已知的那样。
应当理解，为了清楚起见，以上描述已经参考不同的功能电路、单元和处理器描述了本发明的实施例。然而，显然可以使用不同的功能电路、单元或处理器之间的任何合适的功能分布而不偏离本发明。例如，被图示为由单独的处理器或控制器执行的功能可以由相同的处理器或控制器来执行。因此，对特定的功能单元或电路的引用仅被视为对用于提供所描述的功能的合适模块的引用，而不是指示严格的逻辑或物理结构或组织。
本发明能够以任何合适的形式来实施，包括硬件、软件、固件或这些项目的任何组合。本发明可以任选地至少部分地被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和分量可以以任何合适的方式在物理上，在功能上和在逻辑上实施。实际上，该功能可以在单个单元中，在多个单元中或作为其他功能单元的部分来实施。正因如此，本发明可以在单个单元中实施或者可以在物理上和功能上分布在不同的单元、电路和处理器之间。
虽然已经结合一些实施例描述了本发明，但是这并不旨在将本发明限于本文阐述的特定形式。而是，本发明的范围仅由权利要求来限制。另外，虽然似乎结合特定实施例描述了特征，但是本领域技术人员将认识到，根据本发明可以组合所描述的实施例的各种特征。在权利要求中，术语包括并不排除其他元件或步骤的存在。
此外，虽然被单独列出，但是多个模块、元件、电路或方法步骤可以通过例如单个电路、单元或处理器来实施。另外，虽然单独的特征可能被包括在不同的权利要求中，但是这些特征可能被有利地组合，并且这些特征被包括在不同的权利要求中并不意味着这些特征的组合是不可行的和/或不是有利的。而且，在一个权利要求类别中包括特征并不意味着对这一类别的限制，而是表明该特征在适当时同样适用于其他权利要求类别。此外，权利要求中的特征的顺序并不意味着这些特征必须以任何特定的顺序工作，特别是方法权利要求中的各个步骤的顺序并不意味着这些步骤必须按该顺序执行。而是，这些步骤可以以任何合适的顺序执行。另外，单数引用并不排除复数。因此，对“一”、“一个”、“第一”、“第二”等的引用并不排除多个。权利要求中的附图标记仅被提供用于清楚地说明示例，而不应被解释为以任何方式限制权利要求的范围。

Claims (17)

1.一种用于生成表示从视点看到的场景的属性的图像属性像素结构的装置，所述装置包括：
第一处理器(301)，其提供第一图像属性像素结构，所述第一图像属性像素结构是表示针对所述视点的视球的表面的至少部分的二维非矩形像素结构；以及
第二处理器(305)，其用于生成第二图像属性像素结构，所述第二图像属性像素结构是二维矩形像素结构并且具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠；其中，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围。
2.根据权利要求1所述的装置，其中，所述第一图像属性像素结构针对所述表面的所述至少部分具有统一的分辨率。
3.根据任一前述权利要求所述的装置，其中，所述图像属性像素结构的所述中心区域与所述第一边界区域不重叠。
4.根据任一前述权利要求所述的装置，其中，所述第二处理器(305)被布置为生成所述第二图像属性像素结构以具有根据所述第一图像属性像素结构的第二边界区域导出的第二角落区域，所述第二角落区域与所述第二图像属性像素结构的所述中心区域不重叠，所述第二边界区域是靠近所述上边界和所述下边界中的所述一个的区域，并且所述第一边界区域和所述第二边界区域在所述第一图像属性像素结构的虚拟垂直线的不同侧。
5.根据权利要求4所述的装置，其中，所述虚拟垂直线将所述第一边界区域与所述第二边界区域分开，并且所述第一边界区域和所述第二边界区域围绕所述虚拟垂直线镜像对称。
6.根据权利要求4或5所述的装置，其中，从所述第一边界区域到所述第二边界区域的水平方向与从所述第一角落区域到所述第二角落区域的水平方向相反。
7.根据任一前述权利要求所述的装置，其中，所述第一角落区域靠近所述第一边界区域的相对的边界。
8.根据任一前述权利要求所述的装置，其中，所述第二处理器(305)被布置为将所述第二图像属性像素结构的所述第一角落区域和所述中心区域中的至少一个的像素外推到所述第二图像属性像素结构的靠近所述第一角落区域和所述中心区域中的至少一个的未填充区域。
9.根据任一前述权利要求所述的设备，其中，所述第二处理器(305)被布置为通过所述第一边界区域的像素值的移位、平移、镜像和旋转中的至少一项来确定所述第一角落区域的像素值。
10.根据权利要求1所述的装置，其中，所述第一处理器(301)被布置为通过借助于等距柱状投影使表示所述表面的所述至少部分的矩形图像属性像素结构扭曲来生成所述第一图像属性像素结构。
11.根据任一前述权利要求所述的装置，其中，所述图像属性像素结构是深度图。
12.根据前述权利要求1-10中的任一项所述的装置，其中，所述图像属性像素结构是光强度图像。
13.一种用于生成输出图像属性像素结构的装置，所述装置包括：
接收器(1001)，其用于接收包括第二图像属性像素结构的图像信号，所述第二图像属性像素结构是二维矩形像素结构并且具有根据第一图像属性像素结构的中心区域导出的中心区域和根据第一图像属性像素结构的第一边界区域导出的至少第一角落区域，第一图像属性像素结构是表示针对视点的视球的表面的至少部分的二维非矩形像素结构，并且所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围，以及
处理器(1003)，其用于生成表示针对所述视点的所述视球的所述表面的所述至少部分的非矩形输出图像属性像素结构，所述非矩形输出图像属性像素结构具有根据所述第二图像属性像素结构的所述中心区域导出的中心区域和根据所述第二图像属性像素结构的所述第一角落区域导出的边界区域，所述边界区域是靠近所述输出图像属性像素结构的上边界和下边界中的一个的区域。
14.一种生成表示从视点看到的场景的属性的图像属性像素结构的方法，所述方法包括：
提供第一图像属性像素结构，所述第一图像属性像素结构是表示针对所述视点的视球的表面的至少部分的二维非矩形像素结构；并且
生成第二图像属性像素结构，所述第二图像属性像素结构是二维矩形像素结构并且具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠；其中，
所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围。
15.一种用于生成输出图像属性像素结构的方法，所述方法包括：
接收包括第二图像属性像素结构的图像信号，所述第二图像属性像素结构是二维矩形像素结构并且具有根据第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，第一图像属性像素结构是表示针对视点的视球的表面的至少部分的二维非矩形像素结构，并且所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠，所述第一图像属性像素结构的所述中心区域由与所述第二图像属性像素结构的上边缘相对应的上水平线和与所述第二图像属性像素结构的下边缘相对应的下水平线中的至少一个限定；并且所述第一图像属性像素结构的所述第一边界区域比所述上水平线和所述下水平线中的所述至少一个更靠外围；
生成表示针对所述视点的所述视球的所述表面的所述至少部分的非矩形输出图像属性像素结构，所述非矩形输出图像属性像素结构具有根据所述第二图像属性像素结构的所述中心区域导出的中心区域和根据所述第二图像属性像素结构的所述第一角落区域导出的边界区域，所述边界区域是靠近所述输出图像属性像素结构的上边界和下边界中的一个的区域。
16.一种包括计算机程序代码模块的计算机程序产品，当所述程序在计算机上运行时，所述计算机程序代码模块适于执行权利要求14或15的所有步骤。
17.一种包括第二图像属性像素结构的图像信号，所述第二图像属性像素结构是二维矩形像素结构并且具有根据所述第一图像属性像素结构的中心区域导出的中心区域和根据所述第一图像属性像素结构的第一边界区域导出的至少第一角落区域，第一图像属性像素结构是表示针对视点的视球的表面的至少部分的二维非矩形像素结构，并且所述第一边界区域是靠近所述第一图像属性像素结构的上边界和下边界中的一个的区域，所述至少一个角落部分不与所述第二图像属性像素结构的所述中心区域重叠。
CN202080010368.XA 2019-01-24 2020-01-16 生成和处理图像属性像素结构 Pending CN113330479A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19153580.6A EP3686833A1 (en) 2019-01-24 2019-01-24 Generating and processing an image property pixel structure
EP19153580.6 2019-01-24
PCT/EP2020/051072 WO2020152033A1 (en) 2019-01-24 2020-01-16 Generating and processing an image property pixel structure

Publications (1)

Publication Number Publication Date
CN113330479A true CN113330479A (zh) 2021-08-31

Family

ID=65268734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010368.XA Pending CN113330479A (zh) 2019-01-24 2020-01-16 生成和处理图像属性像素结构

Country Status (9)

Country Link
US (1) US20220122216A1 (zh)
EP (2) EP3686833A1 (zh)
JP (1) JP2022517499A (zh)
KR (1) KR20210119476A (zh)
CN (1) CN113330479A (zh)
BR (1) BR112021014351A2 (zh)
CA (1) CA3127405A1 (zh)
TW (1) TW202101373A (zh)
WO (1) WO2020152033A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548358A (en) * 2016-03-15 2017-09-20 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
CN106375760B (zh) * 2016-10-11 2019-04-19 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
GB2555788A (en) * 2016-11-08 2018-05-16 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US10735765B2 (en) * 2018-06-07 2020-08-04 Hong Kong Applied Science and Technology Research Institute Company, Limited Modified pseudo-cylindrical mapping of spherical video using linear interpolation of empty areas for compression of streamed images

Also Published As

Publication number Publication date
EP3686833A1 (en) 2020-07-29
KR20210119476A (ko) 2021-10-05
WO2020152033A1 (en) 2020-07-30
BR112021014351A2 (pt) 2021-11-23
EP3915086A1 (en) 2021-12-01
US20220122216A1 (en) 2022-04-21
JP2022517499A (ja) 2022-03-09
TW202101373A (zh) 2021-01-01
CA3127405A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US10645369B2 (en) Stereo viewing
KR102533555B1 (ko) 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
WO2018129186A1 (en) Stereoscopic rendering using raymarching and a virtual view broadcaster for such rendering
US11893700B2 (en) Layered augmented entertainment experiences
CN108693970B (zh) 用于调适可穿戴装置的视频图像的方法和设备
EP3437319A1 (en) Multi-camera image coding
JP7479386B2 (ja) シーンを表す画像信号
CN113330479A (zh) 生成和处理图像属性像素结构
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US20220174259A1 (en) Image signal representing a scene
JP2022522364A (ja) 画像信号を生成する装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination