CN111383167A

CN111383167A - 成像环境中的半球立方体贴图投影格式

Info

Publication number: CN111383167A
Application number: CN201911207384.3A
Authority: CN
Inventors: 吉尔·博伊斯; 马克西姆·德米特里琴科
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2018-12-31
Filing date: 2019-11-29
Publication date: 2020-07-07
Also published as: CN115222580A; DE102019218373A1; DE102019218373A8; US20190272618A1; US20230394618A1; US11756153B2

Abstract

本公开涉及成像环境中的半球立方体贴图投影格式。根据一个实施例，描述了用于促进半球立方体贴图投影格式成像环境的机构。如本文所述的实施例的方法包括由耦合到一个或多个处理器的相机捕捉具有图像内容的图像，其中由该图像表示的图像内容是全向的，使得图像内容虽然表示小于球体但被映射在球体上；基于立方体的六个面将图像映射到立方体表示，其中六个面中的一个或个面被分类为非活动区域，从而该一个或多个面保持不被占据或者被部分占据；并且通过避免包括非活动区域来基于立方体表示将六个面布置在紧凑表示中。

Description

成像环境中的半球立方体贴图投影格式

相关申请

本申请要求于2018年12月31日递交的发明人为Jill Boyce等人的标题为“HEMISPHERE CUBE MAP PROJECTION FORMAT(半球立方体贴图投影格式)”的美国临时申请第62/787,156号的权益和优先权，该美国申请的全部内容通过引用合并于此。

技术领域

本文描述的实施例概括而言涉及数据处理，更具体而言涉及促进半球立方体贴图投影(hemisphere cube map projection)格式成像环境。

背景技术

尚不知有用于为半球全向内容定义立方体贴图投影(cube map projection，CMP)格式的传统技术。用于立方体贴图布局的这种传统技术经常是效率低下且容易被破坏的。

发明内容

本公开的实施例提供了促进数字成像环境中的半球立方体贴图投影格式的方法、设备和计算机可读介质。该方法包括由耦合到一个或多个处理器的相机捕捉具有图像内容的图像，其中由图像表示的图像内容是全向的，以使得图像内容虽然表示小于球体但被映射在球体上；基于立方体的六个面将图像映射到立方体表示，其中六个面中的一个或多个面被分类为非活动区域，从而一个或多个面保持不被占据或者被部分占据；并且通过避免包括非活动区域来基于立方体表示将六个面布置在紧凑表示中。该设备包括用于执行上述方法的相应装置。该计算机可读介质包括存储于其上的指令，这些指令当被一个或多个计算设备执行时使得该一个或多个计算设备执行上述方法。

附图说明

在附图中以示例方式而非限制方式图示了实施例，附图中相似的标号指代类似的元素。

图1根据一个实施例图示了采用前向投影机构的计算设备。

图2根据一个实施例图示了图1的前向投影机构和逆向投影机构。

图3A图示了传统立方体贴图布局。

图3B图示了传统的基于CMP的图像。

图3C图示了传统的基于等量矩形投影(equirectangular projection，ERP)格式的图像。

图3D图示了传统的经裁剪的基于ERP格式的图像。

图3E图示了传统的基于半ERP格式的图像。

图3F图示了具有非活动区域的传统的经裁剪的基于CMP格式的图像。

图4A根据一个实施例图示了半球CMP布局。

图4B根据一个实施例图示了具有填充的二维半球CMP投影。

图4C根据一个实施例图示了具有填充的二维半ERP投影。

图4D根据一个实施例图示了三维球形视图。

图4E根据一个实施例图示了具有加权球形峰值信噪比权重的半球CMP格式。

图5图示了能够支持和实现一个或多个实施例的计算设备。

图6A根据一个实施例图示了具有半球立方体贴图的全景视频系统上的事务序列。

图6B根据一个实施例图示了用于前向投影的方法。

图6C根据一个实施例图示了用于逆向投影的方法。

具体实施方式

在接下来的描述中，阐述了许多具体细节。然而，在没有这些具体细节的情况下也可以实现如本文所述的实施例。在其他情况下，没有详细示出公知的电路、结构和技术，以免模糊对本说明书的理解。

实施例提供了新颖的技术来促进半球立方体贴图投影格式，该格式表示半球180°×180°全向图像或视频，例如由单个鱼眼镜头捕捉的那些图像或视频，以使得它们随后可被利用现有的图像或视频编解码器来高效地编码。此投影格式可被描述在补充增强信息(supplemental enhancement information，SEI)消息中来包括在视频编码标准中，例如高效率视频编码(high efficiency video coding，HEVC)。

图1根据一个实施例图示了采用前向投影机构110的计算设备100。计算设备100表示通信和数据处理设备，包括或表示(但不限于)智能语音命令设备、智能个人助理、家庭/办公室自动化系统、家用电器(例如，洗衣机、电视机等等)、移动设备(例如，智能电话、平板计算机等等)、游戏设备、手持设备、可穿戴设备(例如，智能手表、智能手镯等等)、虚拟现实(virtual reality，VR)设备、头戴式显示器(head-mounted display，HMD)、物联网(Internet of Things，IoT)设备、膝上型计算机、桌面型计算机、服务器计算机、机顶盒(例如，基于互联网的有线电视机顶盒等等)、基于全球定位系统(global positioningsystem，GPS)的设备、汽车信息娱乐设备，等等。

在一些实施例中，计算设备100包括任何数目和类型的其他智能设备、或者与任何数目和类型的其他智能设备一起工作、或者被嵌入在任何数目和类型的其他智能设备中、或者辅助任何数目和类型的其他智能设备，这些智能设备例如(但不限于)是自主机器或人工智能代理，例如机械代理或机器、电子代理或机器、虚拟代理或机器、机电代理或机器，等等。自主机器或人工智能代理的示例可包括(但不限于)机器人、自主运载工具(例如，自动驾驶汽车、自动飞行飞机、自动航行船只等等)、自主设备(自动操作施工运载工具、自动操作医疗设备等等)，等等。另外，“自主运载工具”不限于汽车，而是它们可包括任何数目和类型的自主机器，例如机器人、自主设备、家用自主设备等等，并且涉及这种自主机器的任何一个或多个任务或操作可与自主驾驶被可互换地提及。

另外，例如，计算设备100可包括容宿着集成电路(“IC”)的计算机平台，例如片上系统(“SoC”或“SOC”)，其将计算设备100的各种硬件和/或软件组件集成在单个芯片上。例如，计算设备100包括具有一个或多个处理器的数据处理设备，这些处理器包括(但不限于)共同位于共同的半导体封装上的中央处理单元112和图形处理单元114。

如图所示，在一个实施例中，计算设备100可包括任何数目和类型的硬件和/或软件组件，例如(但不限于)图形处理单元(“GPU”或简称为“图形处理器”)114、图形驱动器(也称为“GPU驱动器”、“图形驱动器逻辑”、“驱动器逻辑”、用户模式驱动器(user-modedriver，UMD)、UMD、用户模式驱动器框架(user-mode driver framework，UMDF)、UMDF或者简称为“驱动器”)116、中央处理单元(“CPU”或者简称为“应用处理器”)112、存储器104、网络设备、驱动器，等等，以及(一个或多个)输入/输出(I/O)源108，例如触摸屏、触摸面板、触摸板、虚拟或常规键盘、虚拟或常规鼠标、端口、连接器，等等。计算设备100可包括操作系统(operating system，OS)106，其充当计算设备100的硬件和/或物理资源和用户之间的接口。

要明白，对于某些实现方式，比上文描述的示例装配得更少或更多的系统可能是优选的。因此，取决于许多因素，例如价格约束、性能要求、技术改进或其他情况，计算设备100的任何配置在实现方式与实现方式之间可有所不同。

实施例可实现为以下各项的任何一者或者其组合：利用主板互连的一个或多个微芯片或集成电路、硬连线的逻辑、由存储器设备存储并且被微处理器执行的软件、固件、专用集成电路(application specific integrated circuit、ASIC)、和/或现场可编程门阵列(field programmable gate array、FPGA)。像“逻辑”、“模块”、“组件”、“引擎”、“电路”、“元件”和“机构”之类的术语可包括例如软件、硬件、固件和/或其组合。

在一个实施例中，如图所示，前向投影机构110可由与计算设备100的诸如麦克风、扬声器等等之类的(一个或多个)I/O源108通信的存储器104容宿。在另一实施例中，前向投影机构110可以是操作系统106的一部分或者由操作系统106容宿。在另外一个实施例中，前向投影机构110可由图形驱动器116容宿或辅助。在另外一个实施例中，前向投影机构110可由图形处理单元(“GPU”或简称为“图形处理器”)114或者图形处理器114的固件容宿或者是其一部分；例如，前向投影机构110可以以误用评估组件130的形式被嵌入在图形处理器114的处理硬件中或者实现为图形处理器114的处理硬件的一部分。类似地，在另外一个实施例中，前向投影机构110可由中央处理单元(“CPU”或简称为“应用处理器”)112容宿或者是其一部分；例如，前向投影机构110可以以误用评估组件120的形式被嵌入在应用处理器112的处理硬件中或者实现为应用处理器112的处理硬件的一部分。

例如，前向投影组件120、130和/或前向投影机构110的任何元件可由一个或多个模拟或数字电路、逻辑电路、可编程处理器、可编程控制器、GPU、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、可编程逻辑器件(programmable logic device，PLD)和/或现场可编程逻辑器件(field programmable logic device，FPLD)实现。

设想了此新颖技术不限于软件实现方式或硬件实现方式，并且正如本文档中将进一步描述的，此新颖技术可被应用和实现在软件、硬件、固件或者其任何组合中。因此，还设想了实施例不限于对前向投影机构110的某种实现或容宿，并且前向投影机构110的一个或多个部分或组件可被使用或实现为硬件、软件、固件或者其任何组合。另外，就本文使用的而言，短语“与……通信”(包括其变体)涵盖了直接通信和/或通过一个或多个中间组件的间接通信，并且不要求直接物理(例如，有线)通信和/或不断的通信，而是还包括按周期性间隔、调度的间隔、非周期性间隔和/或一次性事件的选择性通信。

计算设备100可容宿(一个或多个)网络接口设备以提供对网络的接入，其中网络例如是LAN、广域网(wide area network，WAN)、城域网(wide area network，MAN)、个人区域网(personal area network，PAN)、蓝牙、云网络、移动网络(例如，第3代(3G)、第4代(4G)等等)、内联网、互联网，等等。(一个或多个)网络接口可包括例如具有天线的无线网络接口，其中天线可表示一个或多个天线。(一个或多个)网络接口还可包括例如有线网络接口，以经由网络线缆与远程设备通信，网络线缆例如可以是以太网线缆、同轴线缆、光缆、串行线缆或并行线缆。

实施例可例如被提供为计算机程序产品，该计算机程序产品可包括一个或多个其上存储有机器可执行指令的机器可读介质，这些指令当被诸如计算机、数据处理机器、数据处理设备、计算机的网络或其他电子设备之类的一个或多个机器执行时可导致该一个或多个机器实现根据本文描述的实施例的操作。如参考图1所述，机器可包括一个或多个处理器，例如CPU、GPU等等。机器可读介质可包括但不限于适用于存储机器可执行指令的软盘、光盘、致密盘-只读存储器(Compact Disc-Read Only Memory，CD-ROM)、磁光盘、ROM、随机访问存储器(Random Access Memory，RAM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read Only Memory，EEPROM)、磁卡或光卡、闪存或者其他类型的媒介/机器可读介质。

例如，当读到本专利的任何装置、方法或系统权利要求覆盖纯软件和/或固件实现方式时，前向投影组件120、130和/或前向投影机构110的至少一个元件可被明确定义为包括包含该软件和/或固件的非暂态计算机可读存储设备或存储盘，例如存储器、数字多功能盘(digital versatile disk，DVD)、致密盘(compact disk，CD)、蓝光盘等等。

另外，前向投影组件120、130和/或前向投影机构110的一个或多个元件可作为计算机程序产品被下载，其中该程序可经由通信链路(例如，调制解调器和/或网络连接)通过体现在载波或其他传播介质中和/或被载波或其他传播介质调制的一个或多个数据信号被从远程计算机(例如，服务器)传送到请求方计算机(例如，客户端)。

在本文档各处，术语“用户”可被与“观看者”、“观察者”、“发言者”、“人”、“个体”、“最终用户”、“开发者”、“程序员”、“管理员”等等可互换地提及。例如，在一些情况下，用户可以指最终用户，例如访问客户端计算设备的消费者，而在一些其他情况下，用户可包括访问充当客户端计算设备的工作站的开发者、程序员、系统管理员等等。要注意，在本文档各处，像“图形域”之类的术语可被与“图形处理单元”、“图形处理器”或者简称“GPU”可互换地提及；类似地，“CPU域”或“主机域”可被与“计算机处理单元”、“应用处理器”或者简称“CPU”可互换地提及。

要注意，诸如“节点”、“计算节点”、“服务器”、“服务器设备”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机机器”、“设备”、“计算设备”、“计算机”、“计算系统”之类的术语在本文档各处可被可互换地使用。还要注意，诸如“应用”、“软件应用”、“程序”、“软件程序”、“包”、“软件包”之类的术语在本文档各处可被可互换地使用。

另外，在本文档各处，诸如“请求”、“查询”、“作业”、“工作”、“工作项目”和“工作负载”之类的术语被可互换地提及。类似地，“应用”或“代理”可以指或者可以包括通过应用编程接口(application programming interface，API)提供的计算机程序、软件应用、游戏、工作站应用等等，其中API例如是自由渲染API，例如开放图形库(Open Graphics Library，

)、

11、

12等等，其中“分派”可被与“工作单元”或“绘制工具(draw)”可互换地提及，而“应用”可被与“工作流”或者简称“代理”可互换地提及。

例如，工作负载，例如三维(3D)游戏的工作负载，可包括和发出任何数目和类型的“帧”，其中每个帧可表示一图像(例如，帆船、人脸)。另外，每个帧可包括并提供任何数目和类型的工作单元，其中每个工作单元可表示由其相应的帧表示的图像(例如，帆船、人脸)的一部分(例如，帆船的桅杆、人脸的前额)。然而，为了一致性起见，在本文档各处，每个项目由单个术语(例如，“分派”、“代理”等等)来提及。

在一些实施例中，诸如“显示屏幕”和“显示表面”之类的术语可被可互换地使用来称呼显示设备的可见部分，而显示设备的其余部分可被嵌入到计算设备中，例如智能电话、可穿戴设备等等。设想了并且要注意到实施例不限于任何特定的计算设备、软件应用、硬件组件、显示设备、显示屏幕或表面、协议、标准等等。例如，实施例可被应用到任何数目和类型的计算机上的任何数目和类型的实时应用并且与之一起使用，例如桌面型计算机、膝上型计算机、平板计算机、智能电话、头戴式显示器和其他可穿戴设备，等等。另外，例如，利用此新颖技术为高效性能渲染场景可从诸如桌面构成之类的简单场景到诸如3D游戏、增强现实应用等等之类的复杂场景。

图2根据一个实施例图示了图1的前向投影机构110和逆向投影机构260。为了简洁，下文不再重复或论述已经参考图1论述的许多细节。在一个实施例中，前向投影机构110可包括任何数目和类型的元件或组件，例如(但不限于)：检测和监视逻辑201；发起逻辑203；映射逻辑205；布置逻辑207；通信/兼容性逻辑209；填充逻辑211。计算设备100还容宿视频编码器213和用户界面219。

在图示的实施例中，计算设备100表示服务器计算设备(也称为“服务器设备”或者简称为“服务器”)，其耦合到一个或多个客户端计算设备或者与之通信，例如容宿逆向投影机构260的客户端计算设备(也称为“客户端设备”或者简称为“客户端”)。在一个实施例中，逆向投影机构260可包括一个或多个元素或组件，例如(但不限于)：裁剪/弯曲逻辑261；投影逻辑263；视口生成逻辑265；格式创建逻辑267；位置选择和显示逻辑268；以及通信逻辑269。计算设备250还容宿视频解码器273、用户界面275；以及显示设备277。

与计算设备100处的前向投影机构110一样，计算设备250处的逆向投影机构260可作为软件、硬件、固件或者其任何组合被容宿。例如，逆向投影机构260可作为指令由计算设备250处的存储器来容宿，和/或作为一个或多个硬件组件由计算设备250处的一个或多个处理器来容宿或者嵌入在计算设备250处的一个或多个处理器中。设想了并且要注意到实施例不限于任何实现方式。

计算设备100还包括用户界面219(例如，基于图形用户界面(graphical userinterface，GUI)的用户界面、Web浏览器、基于云的平台用户界面、基于软件应用的用户界面、其他用户或应用编程接口(API)，等等)。计算设备100还可包括(一个或多个)I/O源108，其具有(一个或多个)输入组件231，例如(一个或多个)相机242(例如，

RealSense^TM相机)、(一个或多个)麦克风241、传感器、检测器、键盘、鼠标等等，以及(一个或多个)输出组件233，例如(一个或多个)显示设备或者简称为显示器244(例如，整合式显示器、张量显示器、投影屏幕、显示屏幕等等)、(一个或多个)扬声器设备或者简称为扬声器，等等。

计算设备100还被图示为能够通过一个或多个通信介质230(例如，诸如邻近网络、云网络、内联网、互联网等等之类的网络)访问一个或多个数据库225和/或一个或多个其他计算设备和/或与之通信。

在一些实施例中，(一个或多个)数据库225可包括一个或多个存储介质或设备、仓库、数据源等等，其中具有任何数量和类型的信息，例如数据、元数据等等，涉及任何数目和类型的应用，例如与一个或多个用户、物理位置或区域、适用的法律、政策和/或规章、用户偏好和/或简档、安全性和/或认证数据、历史和/或偏好的细节等等有关的数据和/或元数据。

如前所述，计算设备100可容宿包括(一个或多个)输入组件231和(一个或多个)输出组件233的(一个或多个)I/O源108。在一个实施例中，(一个或多个)输入组件231可包括传感器阵列，包括但不限于(一个或多个)麦克风241(例如，超声麦克风)、(一个或多个)相机242(例如，二维(2D)相机、三维(3D)相机、红外(IR)相机、深度感测相机等等)、电容器、无线电组件、雷达组件、扫描仪和/或加速度计等等。类似地，(一个或多个)输出组件233可包括任何数目和类型的(一个或多个)显示设备244、投影仪、发光二极管(LED)、(一个或多个)扬声器243、和/或振动电机，等等。

如前所述，诸如“逻辑”、“模块”、“组件”、“引擎”、“电路”、“元件”和“机构”之类的术语可包括例如软件、硬件、固件和/或其任何组合。例如，逻辑本身可以是或者可以包括一个或多个设备处的电路或者与之相关联，这些电路例如是图1的分别由应用处理器112和/或图形处理器114容宿的前向投影组件130和/或前向投影组件120，它们必须促进或执行相应的逻辑来执行某些任务。类似地，逆向投影机构260可作为一个或多个逆向投影组件由计算设备250处的一个或多个应用和/或图形处理器来容宿。

实施例提供了由前向投影机构110和/或逆向投影机构260促进的新颖技术，用于投影半球立方体贴图投影格式投影来表示半球180°×180°全向图像或视频，例如由单个鱼眼镜头捕捉的那些图像或视频。例如，如参考图4A所示，此新颖的半球立方体贴图格式(hemisphere cube map format，HCMP)400包含表示半球的一个完整立方体面401和四个半立方体面403A、403B、405A、405B，其中此完整面401和半面403A、403B、405A、405B例如当与现有的CMP格式相比时被布置成不同的紧凑布局，以便通过消除非活动区域来减小图片大小。换言之，此新颖技术提供了更好且更高效的方式来提供结果。另外，该提出的新颖HCMP布局可与任何基于立方体的投影格式一起使用，以及用于等角立方体贴图(Equi-AngularCube map，EAC)格式的半球版本，其中此新颖格式被称为半球EAC(hemispheric EAC，HEAC)格式。在一个实施例中，这些新颖的HCMP和HEAC格式可被添加到软件，例如360Lib软件。

例如，可通过使用两个背对背的鱼眼相机镜头并随后将内容拼接在一起来捕捉360°×180°全向内容。单个鱼眼相机镜头可捕捉180°×180°内容，表示单个半球，而不是完整球体。设想了鱼眼相机被用作示例，而实施例不一定限于此。另外，例如，本文档各处提及的一个或多个相机可被包括在(一个或多个)相机242中，其中(一个或多个)相机242可以是计算设备100的一部分或者嵌入在其中，或者是独立放置的，例如放置在街角或者房间中，其通过一个或多个通信介质230通信地耦合到计算设备100。

MPEG-I Visual中的MPEG的3DoF+项目中使用的一些内容是ERP格式的180°×180°内容，例如TechnicolorHijack序列，其中全向媒介格式(Omnidirectional Media Format，OMAF)定义鱼眼格式，而视频编码联合协作组(Joint Collaborative Teamon VideoCoding，JCT-VC)开发了鱼眼投影格式补充增强信息(SEI)消息，其使得能够以鱼眼内容原始被捕捉的格式对鱼眼内容编码。参见ITU-T SG 16WP 3和ISO/IEC JTC 1/SC29/WG 11的联合视频专家组(Joint Video Experts Team，JVET)，第13次会议，Marrakech，MA，2019年1月9日-18日。然而，因为图像翘曲(warping)，预期鱼眼格式对于视频编码不是一种具有比特率效率的格式。当前，对于JCT-VC在考虑的实现鱼眼投影等式的鱼眼格式，没有技术(例如算法)可用。

传统上来说，如关于图3A所示，其指示了基于图3B的基于立方体贴图格式的图像310(例如，来自Trolley序列)的360Lib中的CMP格式布局300的立方体的不同面的各种位置。如图所示，图3A的传统CMP格式布局30示出了六个面，包括前面301、后面302、左面303、右面304、顶面305和底面306。图3C图示了Trolley序列的另一传统的基于ERP版本的图像320。图3D图示了传统的基于ERP格式的图像330的中央的180°×180°内容的裁剪，在任一侧示出了黑色背景331A、331B。图3E示出了传统的基于半ERP格式的图像340，其中只有活动区域被保留，如3DoF+TechnicolorHijack序列中使用的那样。图3F图示了传统的CMP格式180°×180°裁剪的trolley图像350，其指示出了非活动或未使用区域351A、351B、315C，它们不能够被直接裁剪以降低更高的帧大小、像素率、级别等等。

实施例提供了新颖的技术，其中180°×180°半球可被投影映射到立方体的一半，其中活动内容在一个完整面，例如前面401，以及四个半面，例如左半面403A、右半面405A、下半面405A和上半面405B上，如参考图4A所示。

在一个实施例中，在计算设备100处，图像和/或视频(具有图像的序列)被一个或多个相机242捕捉，而检测和监视逻辑201连续地检测并监视每个图像及其活动和非活动区域。在检测到图像的活动和非活动的部分或区域时，发起逻辑203被触发来以使用图像的任何180°×180°的格式进行发起，其中此初始格式可包括鱼眼格式、ERP格式，等等。通过这个发起，映射逻辑205随后被触发来映射图像的各个部分以形成单个完整面，例如图4A的完整面401，以及多个半面，例如图4A的四个半面403A、403B、405A、405B。

在该提出的新颖HCMP格式中，例如图4A的HCMP格式400，布置逻辑207随后被用于例如当使用CMP格式时将此完整面401和半面403A-405B布置到紧凑区域中，以避免任何非活动区域。另外，在一个实施例中，半球中的邻居连续性在整个布局中被维持，其中单个连续区域跨越左半面403A、前面401和右半面403B，这是由布置逻辑207促进的，如参考图4A所示。类似地，上半面405B和下半面405A被旋转并且被布置在单个连续区域的任一侧，这是由布置逻辑207促进的，如图4A所示。

另外，在一个实施例中，填充逻辑211被触发来向诸如图4A的HCMP格式400之类的格式添加活动填充，其方式是通过从球面上的邻居拷贝样本，例如分别在前面401的水平上方和下方示出的填充源A 409A、B 409B，和分别在图4A中的左半面403A的左侧和右半面403B的右侧垂直示出的填充目的地A 407A、B 407B。另外，如填充逻辑211所促进的，活动填充可在从图像中的任何相应邻近位置拷贝(并旋转)的非连续边界处添加。

如分别参考图4B和4C的图像410和420进一步图示的，图4A的填充目的地A 407A和B 407B和填充源A 409A和B 409B被示为分别对应于图4B的图像410(例如，二维(2D)HCMP投影图像)的填充目的地A407A和B 407B和图4C的图像420(例如，2D半ERP或HERP投影图像)的填充源A 409A和B 409B。图4D图示了按图4A的HCMP格式400进一步投影的由球体430表示的图像。在一个实施例中，所提出的新颖布局也适用于其他基于立方体的格式，例如EAC、HEC等等。

继续前向投影机构110，此新颖格式布置随后在视频编码器213处被接收，其中视频编码器213对相关数据编码，并且在通信/兼容性逻辑209和/或通信逻辑269的促进下，将编码后的数据通过诸如邻近网络、云网络、互联网等等之类的一个或多个通信介质230传输到计算设备250处的视频解码器273。

在一个实施例中，视频解码器273对经编码的数据进行解码并且将其提供到逆向投影机构260以用于执行逆向投影和其他相关过程。例如，在于逆向投影机构260处接收到经解码的数据时，裁剪/弯曲逻辑261被触发来裁剪或混合新颖格式布局的填充区域。在一个实施例中，投影逻辑263随后被触发来将新颖格式布局的映射投影到半球，例如将完整前面与四个半面一起投影到半球。

一旦投影完成，在一个实施例中，视口生成逻辑265就可用于生成用于供用户利用显示器277观看图像的视口，其中该观看可小于完整的180°×180°半球。类似地，在另一实施例中，格式创建逻辑267被用于在鱼眼或ERP格式的内容中创建180°×180°半球格式。如早前所述，这种图像随后被利用显示设备277并且在用户界面275的促进下显示给用户。

返回参考(一个或多个)输入组件231，它们可包括任何数目和类型(一个或多个)麦克风241，例如多个麦克风或者麦克风阵列，例如超声麦克风、动态麦克风、光纤麦克风、激光麦克风等等。设想了(一个或多个)麦克风241中的一个或多个充当一个或多个输入设备，用于接受或接收音频输入(例如人类语音)到计算设备100中并且将此音频或声音转换成电信号。类似地，设想了(一个或多个)相机242中的一个或多个充当一个或多个输入设备，用于检测和捕捉场景、物体等等的图像和/或视频，并且将捕捉的数据作为视频输入提供到计算设备100中。

例如，如图所示，(一个或多个)输入组件231可包括任何数目和类型的(一个或多个)麦克风241，例如多个麦克风或者麦克风阵列，例如超声麦克风、动态麦克风、光纤麦克风、激光麦克风等等。设想了(一个或多个)麦克风241中的一个或多个充当一个或多个输入设备，用于接受或接收音频输入(例如人类语音)到计算设备100中并且将此音频或声音转换成电信号。类似地，设想了(一个或多个)相机242中的一个或多个充当一个或多个输入设备，用于检测和捕捉场景、物体等等的图像和/或视频，并且将捕捉的数据作为视频输入提供到计算设备100中。

JVET 360CTC序列在中央处被裁剪以创建180°×180°序列，如参考图3D所示，并且被看作原始序列。例如，具有8192×4096分辨率的序列被裁剪到4096×4096分辨率，其中JVET 360CTC中除了将水平分辨率减半以外的所有其他阶段被遵循，并且HM 16.15/360Lib-3.0和VTM 3.0被使用。另外，对于JVET-K1012-v1的条件进行适配以用于半球格式，例如对于ERP，使用2216×2216的面大小，而对于HCMP/HEAC，面大小是1280×1280。此外，HCMP对于每一个使用8像素宽度的填充，从而总宽度被计算如下：3*1280(面)+2*8(填充)＝3856像素。

另外，360Lib软件被修改来支持180°×180°内容，其中对于提出的HCMP和HEAC格式添加了该支持。例如，新颖的投影格式是基于以下各项的或者提供了以下各项：向和/或从360°正规化球体的转换，具有2D YUV读取和/或写入，扩展到支持半面的360Lib的配置文件支持，源场板(field-plate，FP)结构参数，编码FP结构参数，以及按codingPCMP、输入PCMP等等定义的填充控制。另外，关于加权球体(weighted spherical，WS)峰值信噪比(peak signal-to-noise ration，PSNR)，图4E图示了针对HDMP格式440的WS-PSNR权重。

鱼眼比较

将此新颖HEAC格式与原始编码鱼眼格式相比较，对于序列中的四个，同时裁剪的ERP序列被转换到鱼眼格式，例如利用Hugin开放源投影，中间转换到红绿蓝(RGB)，以及2048×2048的分辨率。传统的技术在360Lib软件中不提供对鱼眼格式的支持。

表格5例示了HEAC格式相对于传统鱼眼格式节省了68.6％到81.1％之间的比特率，并且这是因为引入一些编码损耗的多个中间转换步骤。

表格5：HEAC与鱼眼

实施例提供了将HCMP和HEAC添加到360Lib，并且利用如上所示的基于立方体贴图的格式，例如EAC，来对于360°×180°球体内容提供相对于ERP格式的显著比特率降低。这个新颖的技术对于180°×180°球体内容提供了类似的益处，例如当图像和/或视频是利用单个鱼眼镜头相机(例如(一个或多个)相机242)来捕捉时。另外，这个提出的新颖布局要求更小的图片大小，而不是像当使用现有CMP或EAC格式时那样，这使得能够使用更低的级别来对半球视频序列编码。

返回参考(一个或多个)I/O源108，设想了实施例不限于任何数目或类型的(一个或多个)麦克风241、(一个或多个)相机242、(一个或多个)扬声器243、(一个或多个)显示器244等等，用于数据的捕捉或呈现。例如，如检测和监视逻辑201所促进的，(一个或多个)麦克风241中的一个或多个可用于同时从用户(例如扬声器)检测话音或声音。类似地，如检测和监视逻辑201所促进的，(一个或多个)相机242中的一个或多个可用于捕捉地理位置(无论是室内还是室外)及其关联的内容(例如，家具、电子设备、人类、动画、树木、山脉等等)的图像或视频并且形成一组图像或视频流。

类似地，如图所示，(一个或多个)输出组件233可包括任何数目和类型的扬声器或扬声器设备243来充当输出设备，用于出于任何数目或类型的原因(例如人类聆听或消费)而从计算设备100输出或给出输出音频。例如，(一个或多个)扬声器243与(一个或多个)麦克风241相反地操作，其中(一个或多个)扬声器243将电信号转换成声音。

另外，(一个或多个)输入组件231可包括任何数目或类型的相机，例如深度感测相机或捕捉设备(例如，

RealSense^TM深度感测相机)，这些相机被已知用来为媒体(例如个人媒体)捕捉静止和/或视频红-绿-蓝(RGB)和/或RGB-深度(RGB-D)图像。具有深度信息的这种图像已被有效地用于各种计算机视觉和计算摄影效果，例如(但不限于)场景理解、重聚焦、构图、动态图片，等等。类似地，例如，显示器可包括任何数目和类型的显示器，例如整合式显示器、张量显示器、立体显示器等等，包括(但不限于)嵌入的或连接的显示屏幕、显示设备、投影仪，等等。

(一个或多个)输入组件231还可包括以下各项中的一个或多个：振动组件、触觉组件、电导元件、生物计量传感器、化学检测器、信号检测器、脑电图术、功能性近红外光谱技术、波检测器、力传感器(例如，加速度计)、照明器、眼睛跟踪或注视跟踪系统、头部跟踪系统等等，它们可用于捕捉任何数量和类型的视觉数据，例如图像(例如，照片、视频、电影、音频/视频流等等)，和非视觉数据，例如音频流或信号(例如，声音、噪声、振动、超声等等)、无线电波(例如，无线信号，比如具有数据、元数据、符号等等的无线信号)、化学变化或属性(例如，湿度、体温等等)、生物计量读数(例如，指纹等等)、脑电波、脑循环、环境/天气状况、地图，等等。设想了“传感器”和“检测器”在本文档各处可被可互换地提及。还设想了一个或多个输入组件231还可包括支持或补充设备中的一个或多个，用于数据的捕捉和/或感测，例如照明器(例如，IR照明器)、灯具、生成器、声音阻挡器，等等。

还设想了在一个实施例中，(一个或多个)输入组件231可包括任何数目和类型的情境传感器(例如，线性加速度计)，用于感测或检测任何数目和类型的情境(例如，估计与移动计算设备等等有关的水平线、线性加速度等等)。例如，(一个或多个)输入组件231可包括任何数目和类型的传感器，例如(但不限于)：加速度计(例如，用来测量线性加速度的线性加速度计，等等)；惯性设备(例如，惯性加速度计、惯性陀螺仪、微机电系统(micro-electro-mechanical systems，MEMS)陀螺仪、惯性导航器，等等)；以及重力梯度仪来研究和测量由于重力等等引起的重力加速度的变化。

另外，例如，(一个或多个)输入组件231可包括(但不限于)：音频/视觉设备(例如，相机、麦克风、扬声器等等)；情境感知传感器(例如，温度传感器、与音频/视觉设备的一个或多个相机一起工作的面部表情和特征测量传感器、环境传感器(例如用于感测背景颜色、光等等)；生物计量传感器(例如用于检测指纹等等)、日历维护和读取设备)，等等；全球定位系统(global positioning system，GPS)传感器；资源请求器；和/或TEE逻辑。TEE逻辑可被单独使用或者可以是资源请求器和/或I/O子系统等等的一部分。(一个或多个)输入组件231还可包括语音辨识设备、照片辨识设备、面部和其他身体辨识组件、语音到文本转换组件，等等。

类似地，(一个或多个)输出组件233可包括具有作为呈现触摸的可视化的示例的触觉效应器的动态触觉触摸屏幕，其中这种动态触觉触摸屏幕的实施例可以是超声发生器，其可在空间中发送信号，这些信号当到达例如人类手指时可以在手指上引起触觉感或类似的感受。另外，例如，在一个实施例中，(一个或多个)输出组件233可包括(但不限于)以下各项中的一个或多个：光源、显示设备和/或屏幕、音频扬声器、触觉组件、电导元件、骨传导扬声器、嗅觉或气味视觉和/或非视觉呈现设备、触觉或触摸视觉和/或非视觉呈现设备、动画显示设备、生物计量显示设备、X射线显示设备、高分辨率显示器、高动态范围显示器、多视图显示器以及用于虚拟现实(virtual reality，VR)和增强现实(augmented reality，AR)的至少一者的头戴式显示器(head-mounted display，HMD)，等等。

设想了实施例不限于任何数目或类型的用例场景、体系结构布置或组件设置；然而，为了简洁和清晰起见，在本文档各处出于示范目的提供和论述了图示和描述，但实施例不限于此。另外，在本文档各处，“用户”可以指能够访问一个或多个计算设备(例如计算设备100)的某人，并且可被与“人”、“个体”、“人类”、“他”、“她”、“孩子”、“成人”、“观看者”、“玩家”、“游戏者”、“开发者”、“程序员”等等可互换地提及。

通信/兼容性逻辑209可被用于促进各种组件、网络、(一个或多个)数据库225和/或(一个或多个)通信介质230等等与任何数目和类型的以下各项之间的动态通信和兼容性：其他计算设备250A、250B、250C、260A、260B、260N(例如可穿戴计算设备、移动计算设备、桌面型计算机、服务器计算设备等等)，处理设备(例如，中央处理单元(centralprocessingunit，CPU)、图形处理单元(graphics processing unit，GPU)等等)，捕捉/感测组件(例如，非视觉数据传感器/检测器，比如，音频传感器、嗅觉传感器、触觉传感器、信号传感器、振动传感器、化学检测器、无线电波检测器、力传感器、天气/温度传感器、身体/生物计量传感器、扫描仪、等等，以及视觉数据传感器/检测器，比如相机，等等)，用户/情境感知组件和/或识别/验证传感器/设备(例如生物计量传感器/检测器、扫描仪等等)，存储器或存储设备、数据源和/或(一个或多个)数据库(例如数据存储设备、硬盘驱动器、固态驱动器、硬盘、存储器卡或设备、存储器电路等等)，(一个或多个)网络(例如，云网络、互联网、物联网、内联网、蜂窝网络、邻近网络，比如蓝牙、低能耗蓝牙(Bluetooth low energy，BLE)、智能蓝牙、Wi-Fi邻近度、射频识别、近场通信、身体区域网络等等)，无线或有线通信和相关协议(例如，

WiMAX、以太网等等)，连通性和位置管理技术，软件应用/网站(例如，社交和/或商业联网网站、商业应用、游戏和其他娱乐应用等等)，编程语言等等，同时确保与变化的技术、参数、协议、标准等等的兼容性。

在本文档各处，诸如“逻辑”、“组件”、“模块”、“框架”、“引擎”、“工具”、“电路”之类的术语可与例如软件、硬件、固件和/或其任何组合被可互换地提及，并且可包括软件、硬件、固件和/或其任何组合。在一个示例中，“逻辑”可以指或者可以包括软件组件，该软件组件与计算设备(例如计算设备100)的操作系统、图形驱动器等等中的一个或多个一起工作。在另一示例中，“逻辑”可以指或者可以包括硬件组件，该硬件组件能够与计算设备(例如计算设备100)的一个或多个系统硬件元件一起被物理安装或者被安装为其一部分，这些系统硬件元件例如是应用处理器、图形处理器等等。在另一示例中，“逻辑”可以指或者可以包括固件组件，该固件组件能够作为计算设备(例如计算设备100)的系统固件的一部分，该系统固件例如是应用处理器或图形处理器等等的固件。

另外，对诸如以下的特定商标、词语、术语、短语、名称和/或首字母缩略词的任何使用不应当被理解为将实施例限制到在本文档外的产品或文献中携带该标签的软件或设备：“半球”、“立方体贴图投影”、“半球立方体贴图投影格式”、“HCMP”、“等量矩形投影”、“HERP”、“前面”、“半面”、“填充”、“投影映射”、“前向投影”、“逆向投影”、“视口生成”、“逆向投影”、“格式创建”、“视频编码”、“视频解码”、“鱼眼相机”、“鱼眼格式”、“映射”、“布置”、“填充”、“裁剪”、“混合”、“投影”、“创建”、“生成”、“深度”、“像素深度”、“创建”、“训练”、“推断”、“分类”、“估计”、“RealSense^TM相机”、“实时”、“自动”、“动态”、“用户界面”、“相机”、“传感器”、“麦克风”、“显示屏幕”、“扬声器”、“验证”、“认证”、“隐私”、“用户”、“用户简档”、“用户偏好”、“发送器”、“接收器”、“个人设备”、“智能设备”、“移动计算机”、“可穿戴设备”、“IoT设备”、“邻近网络”、“云网络”、“服务器计算机”，等等。

设想了任何数目和类型的组件可被添加到图1的前向投影机构110和/或前向投影组件120、130中的一个或多个和/或图2的逆向投影机构260(和/或一个或多个逆向投影组件)和/或被从其去除来促进包括添加、去除和/或增强某些特征的各种实施例。为了简洁、清晰以及容易理解图1的前向投影机构110和/或前向投影组件120、130中的一个或多个和/或图2的逆向投影机构260(和/或一个或多个逆向投影组件)，这里没有示出或论述许多标准和/或已知的组件，例如计算设备的那些组件。设想了如本文所述的实施例不限于任何技术、拓扑、系统、体系结构和/或标准并且是足够动态的来采用和适应任何未来的变化。

图5图示了能够支持和实现一个或多个实施例的计算设备500。图示的计算设备500可与图2的计算设备100、250相同或相似。计算设备500容纳系统板502。板502可包括若干个组件，包括但不限于处理器504和至少一个通信包506。通信包耦合到一个或多个天线516。处理器504物理地和电气地耦合到板502。

取决于其应用，计算设备500可包括其他组件，这些组件可与或不与板502物理地和电气地耦合。这些其他组件包括但不限于易失性存储器(例如，DRAM)508、非易失性存储器(例如，ROM)509、闪存(未示出)、图形处理器512、数字信号处理器(未示出)、加密处理器(未示出)、芯片集514、天线516、显示器518(例如触摸屏显示器)、触摸屏控制器520、电池522、音频编解码器(未示出)、视频编解码器(未示出)、功率放大器524、全球定位系统(GPS)设备526、罗盘528、加速度计(未示出)、陀螺仪(未示出)、扬声器530、相机532、麦克风阵列534以及大容量存储设备(例如硬盘驱动器)510、致密盘(CD)(未示出)、数字多功能盘(DVD)(未示出)，等等。这些组件可连接到系统板502、安装到系统板、或者与任何其他组件相组合。

通信包506使能无线和/或有线通信，以进行去往和来自计算设备500的数据的传送。术语“无线”及其衍生词可用于描述可通过使用经调制的电磁辐射通过非固态介质来传输数据的电路、设备、系统、方法、技术、通信信道等等。该术语并不意味着关联的设备不包含任何线路，虽然在一些实施例中它们可能确实不包括。通信包506可实现若干种无线或有线标准或协议中的任何一种，包括但不限于Wi-Fi(IEEE 802.11族)、WiMAX(IEEE 802.16族)、IEEE 802.20、长期演进(long term evolution，LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、以太网、其衍生物，以及被命名为3G、4G、5G及以上的任何其他无线和有线协议。计算设备500可包括多个通信包506。例如，第一通信包506可专用于较短程的无线通信，例如Wi-Fi和蓝牙，并且第二通信包506可专用于较长程的无线通信，例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO、及其他。

包括任何深度传感器或邻近传感器的相机532耦合到可选的图像处理器536来执行转换、分析、噪声降低、比较、深度或距离分析、图像理解和如本文所述的其他过程。处理器504耦合到图像处理器来利用中断驱动过程、设置参数、和控制图像处理器和相机的操作。图像处理可替代地在处理器504、图形CPU 512、相机532或者任何其他设备中执行。

在各种实现方式中，计算设备500可以是膝上型计算机、上网本、笔记本、超极本、智能电话、平板设备、个人数字助理(PDA)、超移动PC、移动电话、桌面型计算机、服务器、机顶盒、娱乐控制单元、数字相机、便携式音乐播放器或者数字视频记录器。计算设备可以是固定的、便携的或者可穿戴的。在另外的实现方式中，计算设备500可以是处理数据或记录数据以便在别处处理的任何其他电子设备。

实施例可利用通过主板、专用集成电路(application specific integratedcircuit，ASIC)和/或现场可编程门阵列(field programmable gate array，FPGA)互连的一个或多个存储器芯片、控制器、CPU(中央处理单元)、微芯片或集成电路来实现。术语“逻辑”可包括例如软件或硬件和/或软件和硬件的组合。

提及“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等等表明这样描述的(一个或多个)实施例可包括特定的特征、结构或特性，但不是每一个实施例都一定包括该特定特征、结构或特性。另外，一些实施例可具有针对其他实施例描述的特征中的一些、全部或者不具有这些特征。

在接下来的描述和权利要求中，可使用术语“耦合”及其衍生词。“耦合”用于表明两个或更多个元素与彼此合作或交互，但它们之间可以有或者可以没有居间的物理或电组件。

就权利要求中使用的而言，除非另有指明，否则使用序数形容词“第一”、“第二”、“第三”等等来描述共同元素只是表明正提及相似元素的不同实例，而并不打算暗示这样描述的元素必须在时间上、空间上、排名上或者以任何其他方式处于给定的序列中。

附图和前述描述给出了实施例的示例。本领域技术人员将会明白，描述的元件中的一个或多个完全可被组合成单个功能元件。或者，某些元件可被分割成多个功能元件。来自一个实施例的元件可被添加到另一实施例。例如，本文描述的过程的顺序可被改变并且并不限于本文描述的方式。另外，任何流程图的动作不需要按示出的顺序来实现；也不是一定需要执行所有的动作。另外，没有依从于其他动作的那些动作可被与其他动作并行执行。实施例的范围绝不受这些具体示例的限制。许多变化，无论是否在说明书中明确给出，例如结构、尺寸和材料使用上的差异，是可能的。实施例的范围至少如所附权利要求给出的那样宽。

实施例可例如被提供为计算机程序产品，该计算机程序产品可包括一个或多个其上存储有机器可执行指令的暂态或非暂态机器可读存储介质，这些机器可执行指令当被诸如计算机、计算机网络或其他电子设备之类的一个或多个机器执行时可使得该一个或多个机器实现根据本文描述的实施例的操作。机器可读介质可包括但不限于适用于存储机器可执行指令的软盘、光盘、CD-ROM(致密盘-只读存储器)以及磁光盘、ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存或者其他类型的媒体/机器可读介质。

图6A根据一个实施例图示了具有半球立方体贴图的全景视频系统上的事务序列600。为了简洁起见，在下文可不再论述或重复先前参考图1-

图5提及或论述的许多细节。另外，设想了可由处理逻辑执行利用该图示和其他图示的任何处理或事务，该处理逻辑可包括硬件(例如，电路、专用逻辑、可编程逻辑等等)、软件(例如在处理设备上运行的指令)或者其组合，这由图1的前向投影机构110和/或前向投影组件120、130中的一个或多个和/或图2的逆向投影机构260和/或逆向投影组件(未示出)中的一个或多个来促成。为了呈现的简洁和清晰起见，可在线性序列中图示或记载与该图示和其他图示相关联的任何处理或事务；然而，设想了它们中的任何多个可被并行、异步或者按不同的顺序执行。

如图6A中所示，在服务器计算设备100处，利用相机242来捕捉图像和/或视频，其中如先前参考图2所述，该捕捉的信息随后被提供来进行由图1的前向投影机构110促进的前向投影(投影映射等等)601。一旦该前向投影映射被执行，所得到的数据随后就被利用视频编码器213来编码，并且被传输到客户端计算设备250处的视频解码器273。经编码的数据随后被利用视频解码器273解码，并且被转发来进行逆向投影(视口生成、格式创建等等)611，这是由逆向投影机构260促进的，如参考图2进一步描述。

例如，如位置选择器613所确定和选择并且由图2的位置选择和显示逻辑268促进的，在一个实施例中，可创建半球内容格式(例如，鱼眼或ERP格式的内容中的180°×180°度半球格式)，或者在另一实施例中，可生成(小于180°×180°度的)视口来供用户通过显示设备277观看。

图6B根据一个实施例图示了用于前向投影的方法620。为了简洁起见，在下文可不再论述或重复先前参考图1-图6A提及或论述的许多细节。另外，设想了可由处理逻辑执行利用该图示和其他图示的任何处理或事务，该处理逻辑可包括硬件(例如，电路、专用逻辑、可编程逻辑等等)、软件(例如在处理设备上运行的指令)或者其组合，这由图1的前向投影机构110和/或前向投影组件120、130中的一个或多个来促进。为了呈现的简洁和清晰起见，可在线性序列中图示或记载与该图示和其他图示相关联的任何处理或事务；然而，设想了它们中的任何多个可被并行、异步或者按不同的顺序执行。

方法620开始于块621，其中在服务器计算设备处发起诸如鱼眼格式、ERP格式等等之类的格式的180°×180°内容。在块623，该格式随后被映射到如下布局，该布局提供或具有完整面和多个半面，例如表示右半面、左半面、上半面和下半面的四个半面。在一个实施例中，在块625，此映射随后被处理以被布置成让完整面和四个半面在单一行中，包括两个半面的旋转。在块627，利用来自球体邻居的活动填充(例如水平填充、垂直填充等等)来增强该布置。在块629，此布置随后在服务器计算设备处利用视频编码器来编码，然后在块631，经编码的布置被利用一个或多个网络(例如邻近网络、云网络、互联网等等)传输到客户端计算设备。

图6C根据一个实施例图示了用于逆向投影的方法650。为了简洁起见，在下文可不再论述或重复先前参考图1-图6B提及或论述的许多细节。另外，设想了可由处理逻辑执行利用该图示和其他图示的任何处理或事务，该处理逻辑可包括硬件(例如，电路、专用逻辑、可编程逻辑等等)、软件(例如在处理设备上运行的指令)或者其组合，这由图2的逆向投影机构260和/或逆向投影组件(未示出)中的一个或多个来促成。为了呈现的简洁和清晰起见，可在线性序列中图示或记载与该图示和其他图示相关联的任何处理或事务；然而，设想了它们中的任何多个可被并行、异步或者按不同的顺序执行。

方法650开始于块651，其中在客户端计算设备处从服务器计算设备接收图6B的经编码布置。在块653，经编码的布置随后被视频解码器解码，并且一旦该布置被解码，然后在块655，该布置的被填充区域就被裁剪或混合。在块657，贴图的完整前面和四个半面被投影到半球。在块659，确定是要在鱼眼或ERP格式的内容中创建半球格式还是生成视口来通过显示设备观看。如果选择了半球格式，则在块667，生成半球格式。如果选择了视口，则在块669，生成视口。

以下条款和/或示例属于进一步实施例或示例。示例中的具体细节可用在一个或多个实施例中的任何地方。不同实施例或示例的各种特征可被各种各样地组合，其中包括一些特征并且排除其他特征，以适应多种不同的应用。示例可包括以下主题，例如：根据本文描述的实施例和示例的用于促进混合通信的方法，用于执行该方法的动作的装置，包括当被机器执行时使得该机器执行该方法的动作的指令的至少一个机器可读介质、或者用于促进混合通信的装置或系统。

一些实施例关于示例1，示例1包括一种装置来促进半球立方体贴图投影格式成像环境，该装置包括：耦合到存储器的一个或多个处理器，该一个或多个处理器用于：通过相机捕捉具有图像内容的图像，其中由所述图像表示的所述图像内容是全向的，以使得所述图像内容虽然表示小于球体但被映射在所述球体上；基于立方体的六个面将所述图像映射到立方体表示，其中所述六个面中的一个或多个面被分类为非活动区域，从而所述一个或多个面保持不被占据或者被部分占据；并且通过避免包括所述非活动区域来基于所述立方体表示将所述六个面布置在紧凑表示中。

示例2包括如示例1所述的主题，其中所述六个面被布置在单一行中并且包括一个完整面和四个部分面。

示例3包括如示例1-2所述的主题，其中所述一个或多个处理器还用于向具有在所述球体上表示的有效邻近区域的一个或多个区域应用填充，并且避免对缺乏一个或多个所述有效邻近区域并且提供部分球体表示的其他区域的填充。

示例4包括如示例1-3所述的主题，其中所述立方体表示是基于半球立方体贴图格式(HCMF)格式和半球等角立方体贴图(HEAC)格式中的一个或多个的，其中半球小于所述球体并且是由一个完整面和四个半面表示的，其中所述填充被进一步应用到所述半球。

示例5包括如示例1-4所述的主题，其中所述一个或多个处理器还利用视频编码器对所述布置编码并且经由一个或多个网络将经编码的布置传输到计算设备，其中共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

一些实施例关于示例6，示例6包括一种装置来促进半球立方体贴图投影格式成像环境，该装置包括：耦合到存储器的一个或多个处理器，该一个或多个处理器用于：接收基于具有图像内容的图像的立方体表示的立方体的六个面的经编码布置，其中所述六个面中的一个或多个面被分类为非活动区域，使得所述一个或多个面保持不被占据或者被部分占据；并且经由视频解码器将所述经编码布置解码成经解码的布置。

示例7包括如示例6所述的主题，其中布置当被编码或解码时通过避免包括所述非活动区域而提供所述立方体表示的紧凑表示。

示例8包括如示例6-7所述的主题，其中所述立方体表示是基于半球立方体贴图格式(HCMF)格式和半球等角立方体贴图(HEAC)格式中的一个或多个的，其中半球小于完整球体并且是由一个完整面和四个半面表示的。

示例9包括如示例6-8所述的主题，其中共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

一些实施例关于示例10，示例10包括一种促进半球立方体贴图投影格式成像环境的方法，该方法包括：由耦合到一个或多个处理器的相机捕捉具有图像内容的图像，其中由所述图像表示的所述图像内容是全向的，以使得所述图像内容虽然表示小于球体但被映射在所述球体上；基于立方体的六个面将所述图像映射到立方体表示，其中所述六个面中的一个或多个面被分类为非活动区域，从而所述一个或多个面保持不被占据或者被部分占据；并且通过避免包括所述非活动区域来基于所述立方体表示将所述六个面布置在紧凑表示中。

示例11包括如示例10所述的主题，其中所述六个面被布置在单一行中并且包括一个完整面和四个部分面。

示例12包括如示例10-11所述的主题，还包括向具有在所述球体上表示的有效邻近区域的一个或多个区域应用填充，并且避免对缺乏一个或多个所述有效邻近区域并且提供部分球体表示的其他区域的填充。

示例13包括如示例11-12所述的主题，其中所述立方体表示是基于半球立方体贴图格式(HCMF)格式和半球等角立方体贴图(HEAC)格式中的一个或多个的，其中半球小于所述球体并且是由一个完整面和四个半面表示的，其中所述填充被进一步应用到所述半球。

示例14包括如示例11-13所述的主题，还包括利用视频编码器对所述布置编码并且经由一个或多个网络将经编码的布置传输到计算设备，其中共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

一些实施例关于示例15，示例15包括一种数据处理系统，该数据处理系统包括存储器；以及耦合到所述存储器的一个或多个处理器，该一个或多个处理器用于：通过相机捕捉具有图像内容的图像，其中由所述图像表示的所述图像内容是全向的，使得所述图像内容虽然表示小于球体但被映射在所述球体上；基于立方体的六个面将所述图像映射到立方体表示，其中所述六个面中的一个或多个面被分类为非活动区域，从而所述一个或多个面保持不被占据或者被部分占据；并且通过避免包括所述非活动区域来基于所述立方体表示将所述六个面布置在紧凑表示中。

示例16包括如示例15所述的主题，其中所述六个面被布置在单一行中并且包括一个完整面和四个部分面。

示例17包括如示例15-16所述的主题，其中所述一个或多个处理器用于向具有在所述球体上表示的有效邻近区域的一个或多个区域应用填充，并且避免对缺乏一个或多个所述有效邻近区域并且提供部分球体表示的其他区域的填充。

示例18包括如示例15-17所述的主题，其中所述立方体表示是基于半球立方体贴图格式(HCMF)格式和半球等角立方体贴图(HEAC)格式中的一个或多个的，其中半球小于所述球体并且是由一个完整面和四个半面表示的，其中所述填充被进一步应用到所述半球。

示例19包括如示例15-18所述的主题，其中所述一个或多个处理器利用视频编码器对所述布置编码并且经由一个或多个网络将经编码的布置传输到计算设备，其中共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

一些实施例关于示例20，示例20包括一种促进半球立方体贴图投影格式成像环境的设备，该设备包括：用于通过耦合到一个或多个处理器的相机捕捉具有图像内容的图像的装置，其中由所述图像表示的所述图像内容是全向的，使得所述图像内容然表示小于球体但被映射在所述球体上；用于基于立方体的六个面将所述图像映射到立方体表示的装置，其中所述六个面中的一个或多个面被分类为非活动区域，从而所述一个或多个面它们保持不被占据或者被部分占据；以及用于通过避免包括所述非活动区域来基于所述立方体表示将所述六个面布置在紧凑表示中的装置。

示例21包括如示例20所述的主题，其中所述六个面被布置在单一行中并且包括一个完整面和四个部分面。

示例22包括如示例20-21所述的主题，还包括用于向具有在所述球体上表示的有效邻近区域的一个或多个区域应用填充并且避免对缺乏一个或多个所述有效邻近区域并且提供部分球体表示的其他区域的填充的装置。

示例23包括如示例20-22所述的主题，其中所述立方体表示是基于半球立方体贴图格式(HCMF)格式和半球等角立方体贴图(HEAC)格式中的一个或多个的，其中半球小于所述球体并且是由一个完整面和四个半面表示的，其中所述填充被进一步应用到所述半球。

示例24包括如示例20-23所述的主题，还包括用于利用视频编码器对所述布置编码并且经由一个或多个网络将经编码的布置传输到计算设备的装置，其中共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

示例25包括至少一个非暂态或有形机器可读介质，其包括多个指令，所述指令当在计算设备上被执行时实现或执行如权利要求或示例6-14中任一项中所要求保护的方法。

示例26包括至少一种机器可读介质，其包括多个指令，所述指令当在计算设备上被执行时实现或执行如权利要求或示例6-14中任一项中所要求保护的方法。

示例27包括一种系统，其包括机构来实现或执行如权利要求或示例6-14中任一项所要求保护的方法。

示例28包括一种设备，包括用于执行权利要求或示例6-14中任一项中所要求保护的方法的装置。

示例29包括一种计算设备，被布置为实现或执行如权利要求或示例6-14中任一项中所要求保护的方法。

示例30包括一种通信设备，被布置为实现或执行如权利要求或示例6-14中任一项中所要求保护的方法。

示例31包括至少一种机器可读介质，其包括多个指令，所述指令当在计算设备上被执行时实现或执行如任何在前权利要求中所要求保护的方法或者实现如任何在前权利要求中所要求保护的装置。

示例32包括至少一种非暂态或有形机器可读介质，其包括多个指令，所述指令当在计算设备上被执行时实现或执行如任何在前权利要求中所要求保护的方法或者实现如任何在前权利要求中所要求保护的装置。

示例33包括一种系统，其包括机构来实现或执行如任何在前权利要求中所要求保护的方法或者实现如任何在前权利要求中所要求保护的装置。

示例34包括一种设备，包括用于执行如任何在前权利要求中所要求保护的方法的装置。

示例35包括一种计算设备，被布置为实现或执行如任何在前权利要求中所要求保护的方法或者实现如任何在前权利要求中所要求保护的装置。

示例36包括一种通信设备，被布置为实现或执行如任何在前权利要求中所要求保护的方法或者实现如任何在前权利要求中所要求保护的装置。

附图和前述描述给出了实施例的示例。本领域技术人员将会明白，描述的元件中的一个或多个完全可被组合成单个功能元件。或者，某些元件可被分割成多个功能元件。来自一个实施例的元件可被添加到另一实施例。例如，本文描述的处理的顺序可被改变并且并不限于本文描述的方式。另外，任何流程图的动作不需要按示出的顺序来实现；也不一定需要执行所有的动作。而且，没有依从于其他动作的那些动作可被与其他动作并行执行。实施例的范围绝不受这些具体示例的限制。许多变化，无论是否在说明书中明确给出，例如结构、尺寸和材料使用上的差异，是可能的。实施例的范围至少如所附权利要求给出的那样宽。

Claims

1.一种促进数字成像环境中的半球立方体贴图投影格式的装置，该装置包括：

耦合到存储器的一个或多个处理器，该一个或多个处理器用于：

通过相机捕捉具有图像内容的图像，其中由所述图像表示的所述图像内容是全向的，以使得所述图像内容虽然表示小于球体但被映射在所述球体上；

基于立方体的六个面将所述图像映射到立方体表示，其中所述六个面中的一个或多个面被分类为非活动区域，从而所述一个或多个面保持不被占据或者被部分占据；并且

通过避免包括所述非活动区域来基于所述立方体表示将所述六个面布置在紧凑表示中。

2.如权利要求1所述的装置，其中，所述六个面被布置在单一行中并且包括一个完整面和四个部分面。

3.如权利要求1所述的装置，其中，所述一个或多个处理器还用于向具有在所述球体上表示的有效邻近区域的一个或多个区域应用填充，并且避免对缺乏一个或多个所述有效邻近区域并且提供部分球体表示的其他区域的填充。

4.如权利要求1所述的装置，其中，所述立方体表示是基于半球立方体贴图格式HCMF格式和半球等角立方体贴图HEAC格式中的一个或多个的，其中，半球小于所述球体并且是由一个完整面和四个半面表示的，其中，所述填充被进一步应用到所述半球。

5.如权利要求1所述的装置，其中，所述一个或多个处理器还利用视频编码器对所述布置编码并且经由一个或多个网络将经编码的布置传输到计算设备，其中，共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

6.一种用于促进数字成像环境中的半球立方体贴图投影格式的方法，该方法包括：

由耦合到一个或多个处理器的相机捕捉具有图像内容的图像，其中由所述图像表示的所述图像内容是全向的，以使得所述图像内容虽然表示小于球体但被映射在所述球体上；

7.如权利要求6所述的方法，其中，所述六个面被布置在单一行中并且包括一个完整面和四个部分面。

8.如权利要求6所述的方法，还包括向具有在所述球体上表示的有效邻近区域的一个或多个区域应用填充，并且避免对缺乏一个或多个所述有效邻近区域并且提供部分球体表示的其他区域的填充。

9.如权利要求6所述的方法，其中，所述立方体表示是基于半球立方体贴图格式HCMF格式和半球等角立方体贴图HEAC格式中的一个或多个的，其中，半球小于所述球体并且是由一个完整面和四个半面表示的，其中，所述填充被进一步应用到所述半球。

10.如权利要求6所述的方法，还包括利用视频编码器对所述布置编码并且经由一个或多个网络将经编码的布置传输到计算设备，其中，共同位于共同的半导体封装上的所述一个或多个处理器包括中央处理单元和图形处理单元中的一个或多个。

11.至少一种机器可读介质，其包括多个指令，所述指令当在计算设备上被执行时实现或执行如权利要求6-10中任一项中所要求保护的方法。

12.一种系统，其包括机构来实现或执行如权利要求6-10或示例6-10中任一项中所要求保护的方法。

13.一种设备，包括用于执行如权利要求6-10或示例6-10中任一项中所要求保护的方法的装置。

14.一种计算设备，被布置为实现或执行如权利要求6-10或示例6-10中任一项中所要求保护的方法。

15.一种通信设备，被布置为实现或执行如权利要求6-10或示例6-10中任一项中所要求保护的方法。