CN112470484B

CN112470484B - 用于流式传输视频的方法和设备

Info

Publication number: CN112470484B
Application number: CN201980047435.2A
Authority: CN
Inventors: A·尼南
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2018-07-17
Filing date: 2019-07-15
Publication date: 2023-09-08
Anticipated expiration: 2039-07-15
Also published as: EP3824634A1; JP7443325B2; US11330309B2; US20210329316A1; JP2021530918A; WO2020018458A1; CN112470484A

Abstract

将第一偏影图像流式传输到流式传输客户端。所述第一图像与第一图像元数据集一起用于产生用于在第一时间点向观看者呈现的第一显示器映射图像。观看方向数据经收集且用于确定在第二时间点的所述观看者的第二观看方向。第二偏影图像及第二图像元数据集参考所述观看者的所述第二观看方向从第二HDR源图像产生且用于产生用于在所述第二时间点向所述观看者呈现的第二显示器映射图像。所述第二图像元数据集包括用于将焦点视觉及周边视觉图像部分调适到所述第二显示器映射图像中的对应图像部分的显示器管理元数据部分。所述焦点视觉显示器管理元数据部分在针对所述第二时间点的所述观看者的预测光适应水平下产生。所述第二偏影图像及所述第二图像元数据集经传输到所述视频流式传输客户端。

Description

用于流式传输视频的方法和设备

相关申请案的交叉参考

本申请案主张2018年7月17日申请的第62/699,583号美国临时专利申请案及2018年9月17日申请的第18194859.7的欧洲专利申请案的优先权权益，所述申请案两者特此以全文引用方式并入。

技术领域

本发明大体上涉及图像编码及呈现，且特定来说，涉及与偏影(foviation)及高动态范围(HDR)相关的图像编码。

背景技术

可将大量视频数据实时发送到客户端装置以在例如增强现实、虚拟现实、远程呈现应用、沉浸式视频应用等的视频相关应用中支持高质量无缝用户体验。考虑到压缩及解压视频数据所需的带宽及计算能力的量，将大量视频数据流式传输到许多现存网络基础设施中的多种客户端装置及/或显示器装置可能是有困难且甚至是不切实际的。

另外，视频应用中涉及的大量视频数据及视频处理可导致显著时间滞后(例如，12到15毫秒以上等)频繁发生于用户引导用户的视野(FOV)的第一时间与高质量图像内容呈现于用户的FOV中的第二稍后时间之间。此类时间滞后可能容易被用户感知到，从而不利地影响用户体验质量。

此段中描述的方法是可采用的方法，但并不一定是先前已经设想或采用的方法。因此，除非另外指示，否则不应假定此段中描述的方法中的任何方法仅凭借其包含于此段中就作为现有技术。类似地，除非另外指示，否则关于一或多种方法识别的问题不应被假设已经基于此段在任何现有技术中意识到。

发明内容

在一个方面，本申请涉及一种用于流式传输视频的方法，其包括：使一或多个第一偏影图像与一或多个第一图像元数据集流式传输到视频流式传输客户端，所述一或多个第一偏影图像及所述一或多个第一图像元数据集将由所述视频流式传输客户端用于产生用于在一或多个第一时间点向观看者呈现的一或多个第一显示器映射图像，所述一或多个第一偏影图像及所述一或多个第一图像元数据集参考在所述一或多个第一时间点的所述观看者的一或多个第一观看方向从一或多个第一高动态范围HDR源图像产生；接收在所述观看者正在观看所述一或多个第一显示器映射图像时实时收集的所述观看者的观看方向数据的至少一部分，所述观看方向数据用于确定在所述一或多个第一时间点之后的第二时间点的所述观看者的第二观看方向；参考在所述第二时间点的所述观看者的所述第二观看方向从第二HDR源图像产生第二偏影图像及第二图像元数据集，所述第二偏影图像及所述第二图像元数据集将由所述视频流式传输客户端用于产生用于在所述第二时间点向所述观看者呈现的第二显示器映射图像，所述第二偏影图像具有覆盖所述观看者的所述第二观看方向的焦点视觉偏影图像部分及在所述焦点视觉图像部分以外的周边视觉偏影图像部分，所述第二图像元数据集包括单独且专门经产生用于将所述焦点视觉偏影图像部分调适到所述第二显示器映射图像中的焦点视觉显示器映射图像部分的焦点视觉显示器管理DM元数据部分，所述第二图像元数据集包括单独且专门经产生用于将所述周边视觉偏影图像部分调适到所述第二显示器映射图像中的周边视觉显示器映射图像部分的周边视觉DM元数据部分，所述焦点视觉DM元数据部分针对所述第二时间点在所述观看者的预测光适应水平下产生；将所述第二偏影图像及所述第二图像元数据集传输到所述视频流式传输客户端。

附图说明

本发明在附图的图式中通过实例且并非通过限制来说明，且其中相似的参考元件指示类似元件且其中：

图1说明普通观看者的眼睛的实例角视场表示；

图2A及图2B说明偏影图像中的实例图像部分；图2C说明实例源区及目标区；图2D、图2E及图2G说明实例显示器映射；图2F说明实例低计数调光目标显示器；

图3A到图3C说明实例视频流式传输服务器及客户端；

图4A及图4B说明实例过程流；及

图5说明可在其上实施本文中所描述的计算机或计算装置的实例硬件平台。

具体实施方式

本文中描述与偏影(fovation)及HDR相关的实例实施例。在以下描述中，出于解释的目的，陈述众多特定细节以便提供本发明的详尽理解。然而，应明白，可在没有这些特定细节的情况下实践本发明。在其它例子中，未详尽描述众所周知的结构及装置以便避免使不必要地遮挡、模糊或混淆本发明。

本文中根据以下概述描述实例实施例：

1.总体概述

2.人类视野

3.观看方向跟踪

4.偏影图像

5.光适应水平

6.在空间上有差别的显示器映射

7.实例视频流式传输服务器及客户端

8.实例过程流

9.实施机制-硬件概述

10.等效物、扩展、替代物及其他

1.总体概述

此概述呈现本发明的实例实施例的一些方面的基本描述。应注意，此概述不是实例实施例的各方面的广泛或详尽概述。此外，应注意，此概述既不希望被理解为识别实例实施例的任何特别重要的方面或要素，也不希望被理解为描绘特定来说实例实施例或一般来说本发明的任何范围。此概述仅依精简及简化格式呈现了与实例实施例相关的一些概念，且应被理解为以下实例实施例的更详细描述的序言。注意，尽管本文中讨论了单独的实施例，但本文中论述的实施例及/或部分实施例的任何组合可经组合以形成另外实施例。

可在各种视频应用中实施本文中所描述的技术，以将HDR源图像的视口范围、图像范围及/或显示器范围的动态范围(例如，应用于整个视频图像的动态范围、应用于整个视口的动态范围、应用于整个目标显示器的动态范围等)重新映射到偏影图像的取决于中心凹视觉的动态范围。基于在对应时间点确定或预测的观看者的观看方向，从HDR源图像中的对应HDR源图像产生偏影图像中的每一者。偏影图像中的每一者包括中心凹视觉动态范围的中心凹视觉图像部分，其保持或高度接近对应HDR源图像中的高动态范围及从对应HDR源图像中的高动态范围压缩或下取样的非中心凹视动态范围的一个或多个非中心凹视图像部分。

如本文中使用，术语“保持”或“高度接近”可意味着偏影图像中的中心凹视觉图像部分(例如，围绕观看者的观看方向的2到4度半径等)具有的动态范围在用于导出偏影图像的对应HDR源图像中的对应图像部分中，如与用以表示具有灰度级别差异等的对应图像细节的总数目个灰度级别相比，具有用以表示具有可比灰度级别差异等的图像细节的可比较的总数目个灰度级别。

本文中所描述的视频应用可指代以下各者中的任一者：视频显示器应用、VR应用、AR应用、汽车娱乐应用、远程呈现应用、显示器应用等。

技术可经应用于最小化用于在视频流式传输服务器与视频流式传输客户端之间流式传输视频数据的带宽使用。实例视频内容可包含(但不一定限于)以下各者中的任一者：视听节目、电影、视频节目、电视广播、计算机游戏、增强现实(AR)内容、虚拟现实(VR)内容、汽车娱乐内容等。实例视频流式传输客户端可包含(但不一定限于)以下各者中的任一者：显示器装置、带近眼显示器的计算装置、头戴式显示器(HMD)、移动装置、穿戴式显示器装置、带有显示器的机顶盒，例如电视、视频监视器等。

如本文中使用，“视频流式传输服务器”可指代准备视频内容并将其流式传输到一个或多个视频流式传输客户端以便在一或多个(目标)显示器上呈现视频内容的至少一部分(例如，对应于用户的FOV或视口等)的一或多个上游装置。在其上呈现视频内容的显示器可为一或多个视频流式传输客户端的部分，或可结合一或多个视频流式传输客户端操作。实例视频流式传输服务器可包含(但不一定限于)以下各者中的任一者：定位在视频流式传输客户端远端的基于云的视频流式传输服务器、经由本地有线或无线网络与视频流式传输客户端连接的本地视频流式传输服务器、VR装置、AR装置、汽车娱乐装置、数字媒体装置、数字媒体接收器、机顶盒、游戏机(例如Xbox)、通用个人计算机、平板计算机、专用数字媒体接收器(例如Apple TV)或Roku盒子等。

压缩的视频内容(例如偏影图像)可与空间变化的动态范围重新映射元数据一起以整体低带宽进行传输。接收者装置可使用空间变化的动态范围重新映射元数据来重新映射偏影图像，以显示映射图像，所述映射图像无论(人类)观看者将观看方向引导向何处都支持人类对观看者的中心凹视觉中的高动态范围的感知。观看者的观看方向可通过观看方向跟踪方法的任何组合进行跟踪，所述跟踪方法包含(但不限于)凝视跟踪、视口跟踪、FOV跟踪、观看者位置跟踪、面部跟踪或任何其它观看方向跟踪方法。

在观看者观看从偏影图像重新映射的所显示图像时，收集用于跟踪观看者的观看方向的观看方向数据。实例观看方向数据可包含(但不限于)线性位移、角位移、线性运动或平移、角运动或旋转、俯仰、滚动、偏转、摇摆、起伏、喘振、高达六个自由度等，这些可通过凝视跟踪装置、位置跟踪装置、视口跟踪装置、面部跟踪装置、FOV跟踪装置等的任何组合来收集。可确定多个时间点的观看者的观看方向。观看者的观看方向可(例如，另外、任选地、替代地等)在接收者装置本身上用于产生新的视图直到上游装置对新数据作出响应。还可将观看者的观看方向反馈到上游装置以参考观看者的观看方向从HDR源图像产生在灰度级别及/或色彩及/或空间分辨率方面具有不同级别的图像细节的特定偏影图像。代替依大数据量发送HDR源图像，参考观看者的观看方向产生的特定偏影图像(其与HDR源图像的大数据量相比相当于少得多的数据量)被发送到观看者的显示器装置以进行呈现。

如本文中使用，偏影图像是指这样一种图像，其中仅覆盖观看者的视野的非常小的区域或图像部分(例如，充分覆盖观看者的中心凹视觉，比观看者的中心凹视觉多覆盖10％、比观看者的中心凹视觉多覆盖5％等)被赋予了最细微的图像细节(例如，最高动态范围、最佳灰度级别、最高色彩精度、最高空间分辨率等)的图像数据，而覆盖观看者的视野的其它区域的图像数据可在动态范围、灰度及/或色彩准确度/精度及/或空间分辨率方面的图像细节级别中被(例如，极大地等)压缩和/或下取样。

基于观看者当前正在观看的位置，可由视频流式传输服务器对HDR源图像中的图像部分(例如，对应于中心凹视觉图像部分、对应于一或多个非中心凹视觉图像部分等)执行动态范围的在空间上有差异的重新映射以产生偏影图像。偏影图像包含相对较小尺寸的中心凹视觉图像部分，例如，围绕观看者的观看方向足以覆盖2度半径、4度半径、相当或稍大的观看者中心凹视觉等。可基于HDR源图像的对应图像部分中的最大及最小光度值，在最大可能程度上优化或保持偏影图像的中心凹视图像部分的动态范围，而偏影图像的非中心凹视觉图像中的动态范围可经减小或压缩使得可或可不将存在于HDR源图像的对应图像部分中的光度值保持在偏影图像中。例如，为了减少带宽使用，可在偏影图像中剪辑或大幅压缩非中心凹视觉图像部分中的动态范围(例如，特定于非中心凹视觉图像部分等的动态范围)。

针对在偏影图像的中心凹视觉图像部分中存在的明亮图像细节(或像素)，与产生中心凹视觉图像部分相关的动态范围重新映射可在由目标显示器(例如，4000尼特显示器等)支持的最大可能程度上使中心凹视觉图像部分的动态范围中的峰值光度值(例如4000尼特或甚至更高等)最大化。另一方面，针对例如周边视觉图像部分的非中心凹视觉图像部分中存在的明亮图像细节，与产生非中心凹视觉图像部分相关的动态范围重新映射可能不会在由目标显示器支持的最大可能程度上最大化非中心凹视觉图像部分的动态范围中的峰值光度值；而是，如果必要的话，可将HDR源图像中的明亮图像细节的光度值设置到剪辑光度值。另外、任选地或替代地，针对在中心凹视觉图像部分及周边视觉图像部分外的图像部分中存在的明亮图像细节，与产生另一图像部分相关的动态范围重新映射可将HDR源图像中的明亮图像细节的光度值剪辑到甚至低于周边光度值中的剪辑光度值的剪辑光度值。

如先前提及，本文中所描述的HDR源图像到偏影图像的动态范围重新映射可取决于是在观看者的中心凹视觉中、是在观看者的周边视觉中、还是在观看者的视野外等执行动态范围重新映射而针对HDR源图像及偏影图像的不同图像部分因区域而异。

除了动态范围重新映射之外，还可实施空间变化的分辨率重新映射。作为实例(而非限制)，观看者的虹膜可控制瞳孔的直径及大小以在观看者正看着明亮图像细节(例如，正看着太阳或太阳附近等)时减少到达视网膜的光的量。瞳孔的直径及大小的减小可就在视觉上分辨或辨别附近的不同点而言降低观看者的视觉能力。因此，当观看者正在观看明亮图像细节时，非中心凹视觉图像部分可经编码有下取样空间分辨率的图像数据，而中心凹视觉图像部分仍可经编码有最大可用空间分辨率的图像数据。在一些操作案例中，整个图像可响应于确定观看者在给定时间无法感知过高空间分辨率而经编码有较小空间分辨率。

观看者的观看方向可在场景(例如连续序列的图像)中来回移动，例如观看具有第一亮度级的第一图像细节(在场景的前一图像中)到观看具有第二不同亮度级的第二图像细节(在场景的目前图像中)。观看者的眼睛在观看第二图像细节时可能无法立即调整到第二亮度级，这是因为观看者仍可能适应前一亮度级，例如第一亮度级。基于随着时间的推移观看者的观看方向周围的区的平均光级，可至少部分基于眼睛适应特性、导演输入、目标显示器特性等估计、预测或确定观看者的光适应水平。

为了预测或估计在给定时间观看者的光适应水平，光适应曲线(或光适应曲线族)可用于将指示观看者正在观看哪一源区、观看者已经过哪些中间区、观看者当前正在观看或预测观看者当前正在观看哪一目标区等的数个输入因素考虑在内。实例输入因素可包含(无限制)眼睛适应特性、导演输入、目标显示器特性等。视线跟踪数据可用于确定光适应曲线中的这些输入因素中的一些或全部以确定、估计或预测在给定时间观看者的光适应水平。举例来说，通过观看者的视线跟踪数据所监测的观看者的眼睛移动可用于设置或确定光适应曲线中的一些或全部操作参数的值。

在一些情况中，可抑制或平滑化观看者的周边视觉的光级中的瞬闪、脉动或突变。观看者的周边视觉中的图像部分的动态范围重新映射可实施平滑化过程以允许观看者的周边视觉中的光级在适应时间(例如，2秒、5秒、10秒、至少部分取决于开始及结束光级的时间量等)期间平滑地转变(例如，相对缓慢上升、相对缓慢下降等)。在实例中，一些或全部图像部分可在适应时间内经历相同或类似转变过程；观看者的整个目标显示器可同时随着时间的推移经历相同或类似光级调整过程。在另一实例中，不同图像部分可同时随着时间的流逝经历不同光级调整过程。

艺术家意图(或导演意图)可经并入于与光级调整相关的视频呈现操作中。在实例中，当观看者移动观看方向以看向暗区时，暗区中的细节仅可在由表示艺术家意图的用户输入所指示的某一特定时间之后浮现(或可能不被呈现)。在另一实例中，暗区中的细节可被呈现，而呈现周围区域中的细节可能被延迟而仅在某一特定时间之后才被呈现。

本文中所描述的技术可用于允许下游接收者装置的用户自由改变用户的观看角度或视野以显示从来自视频流式传输服务器的偏影图像产生的映射图像。在多数(如果并非全部)操作案例中，可向用户呈现具有最细微图像细节的焦点视觉视频内容以实现无缝观看体验，所述无缝观看体验相对无与并未采用本文中所描述的技术的一些其它方法相关联的视觉伪影、生理不适等。与其它方法相关联的视觉伪影、生理不适等可包含(但不一定限于)以下各者中的任一者：例如无法维持平滑跟随的运动伪影、在转变到精细图像细节时由人类视觉所感知的延长滞后、人类视觉的焦点观看区内的可注意到的粗糙图像细节、用户的自然视觉相关直觉与实际呈现给用户的视频内容之间的失配、当观看者移动观看角度时图像细节水平的突然下降、从粗糙图像细节到精细图像细节的可感知缓慢转变、当观看者移动观看角度时展示先前被遮挡的图像细节的模糊图像等。

本文中所描述的基于观看方向的视频应用可经扩展以支持多个观看者(或用户)。举例来说，多个观看者中的每一者的观看方向可由电视机前的呈条状物形式的观看方向跟踪器相应地进行跟踪及/或确定。多个观看者可同时被相同图像细节或若干不同图像细节吸引。偏影图像可参考针对偏影图像将在其处进行呈现的时间点预测的所有观看者的观看方向产生。偏影图像包括针对多个观看者中的每一者具有最高动态范围、最细微图像细节、最高色彩精度、最佳空间分辨率等的中心凹视觉图像部分。在其中多个观看者正在观看至少两个不同图像细节的案例中，偏影图像可包括分别对应于至少两个不同图像细节的至少两个中心凹视觉图像部分。多个观看者的周边视觉图像部分可基于多个观看者的光适应水平设置到平均动态范围。在一些情况中，可抑制或平滑化多个观看者的周边视觉的光级中的瞬闪、脉动或突变。另外，任选地或替代地，可跟踪及/或确定可为或可不为一群一或多个观看者中的一者的所选择(例如代表性等)观看者的观看方向。所选择观看者的观看方向可指示所关注图像细节。偏影图像可参考所选择观看者的观看方向产生且用偏影图像呈现给一群观看者。因此，将在视频流式传输服务器与视频流式传输客户端之间流式传输的视频内容的量可在单个观看者操作案例以及多个观看者操作案例中减少或最小化，借此减小或最小化对使用相对较大带宽预算来流式传输视频内容及有效地支持针对多种多样的下游装置的多种多样的视频流式传输应用的需要。

在空间上有差异的显示器管理(DM或SDDM)元数据部分可经产生用于本文中所描述的偏影图像中的不同图像部分。接收偏影图像及DM元数据部分的接收者视频解码装置可使用DM元数据部分对偏影图像的图像部分执行相应显示器映射或显示器管理(DM)操作，以产生将在结合接收者视频解码装置一起操作的一或多个目标显示器上呈现的显示器映射图像。

基于在空间上有差异的DM元数据从偏影图像调适的显示器映射图像可在多种多样的目标显示器中的任何目标显示器上呈现。实例目标显示器可包含(无限制)全局调光显示器、低计数调光显示器、局部调光显示器、具有光定向能力的显示器、具有过驱动/欠驱动能力的显示器、具有基于相位的光调制能力的显示器等。

基于相位的光调制还可用于将光准确地引导到本文中所描述的显示器映射图像中的一或多个特定光点。代替浪费无需明亮光度的图像位置/区域上的未使用能量的是，来自这些图像位置/区域的能量或光可被重新分布到具有基于相位的光调制能力的目标显示器中的任何给定位置以在这些特定光点处准确地产生十分高的亮度级。

在一些实例实施例中，本文中所描述的机构形成媒体处理系统的一部分，包含(但不限于)以下各者中的任一者：基于云的服务器、移动装置、虚拟现实系统、增强现实系统、抬头显示器装置、头盔安装式显示器装置、CAVE型系统、墙壁大小的显示器、视频游戏装置、显示器装置、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于家庭的系统、通信装置、视频处理系统、视频编码解码系统、演播室系统、流式传输服务器、基于云的内容服务系统、手持式装置、游戏机、电视机、影院显示器、膝上型计算机、上网本计算机、平板计算机、蜂窝无线电话、电子书阅读器、销售点终端、桌面计算机、计算机工作站、计算机服务器、计算机自动售货机或各种其它种类的终端及媒体处理单元。

所属领域的技术人员将容易地明白对本文中描述的优选实施例及一般原理及特征的各种修改。因此，本发明并不希望限于展示的实施例，而是与本文中描述的原理及特征的最宽范围相一致。

2.人类视野

本文中所描述的技术可基于了解(人类)眼睛及眼睛如何感知光度、色彩、空间分辨率等实施。这些技术可基于个别观看者的特定视觉特性或用户群体的平均或集体视觉特性应用。

图1说明普通观看者的眼睛的视野的实例表示。视锥(cone)及视杆(rod)分布(在眼睛中)可经分段成不同的视锥及视杆分布范围且进一步经投影到图1中所说明的(眼睛的)角视野表示中。最高水平的视觉感知在眼睛的中心凹(视野)区域102中实现。

作为实例而非限制，眼睛的视野中的最宽角范围是沿着图1的水平方向，在不考虑来自面部解剖学的视觉约束的情况下，所述水平方向平行于观看者的两眼之间的瞳孔间线，且大约可为180度角。

同心圆中的每一者(例如，标记为30°、60°、90°等)表示相对于观看者的左眼或右眼的观看方向的相等(或相同)角度的方向。应注意，例如30°、60°、90°等的角度仅是为了说明目的。不同值的角或不同组的角可用于定义或描述观看者的视野。观看方向(图1中未展示)在中心凹区域102(最暗填充图案)中的横向方向112与垂直方向114的相交点处从图1的平面垂直地向外指向。在此，横向方向112及垂直方向114形成垂直于观看方向的平面。

如图1中说明，眼睛的视野可经分割(例如，逻辑地、由视杆/视锥密度的分布中的某些分区投影等)成由近中心区域104直接环绕的中心凹区域102。在一些实施例中，中心凹区域102可对应于观看者的中心凹视觉且从零(0)度角扩展到相对于观看方向的第一角度(例如，2到4度角、3到7度角、5到9度角等)。在一些实施例中，近中心区域104可从第一角度扩展到相对于观看方向的第二角度(例如，6到12度角等)。

近中心区域104由仅周边区域106直接环绕。近周边区域106直接邻近中周边区域108，中周边区域108又直接邻近视野的剩余部分，远周边区域110。在一些实施例中，近周边区域106可从第二角度扩展到相对于观看方向的第三角度(例如，25到35度角等)。在一些实施例中，中周边区域108可从第三角度扩展到相对于观看方向的第四角度(例如，50到65度角等)。远周边区域110可从第四角度扩展到视野的边缘。

用于视野的此实例逻辑分区中的第一、第二、第三及第四角度可沿着横向方向112定义或指定。当图1的视野对应于前水平观看方向处的视野时，横向方向112可与观看者的瞳孔间线相同或平行。

应注意，除了或代替基于图1中所说明的角度将观看者的视野逻辑地分割成中心凹、近中心、近周边、中周边、远周边等区域的方案，可使用逻辑地分割观看者的视野的不同方案。

举例来说，在一些实施例中，观看者的视野可经分割成更多或更少区域，例如中心凹区域、近周边区域及远周边区域等的组合而没有近中心区域及/或中周边区域。HDR图像部分可用于从中心凹区域一直覆盖到观看者的视野的此逻辑分区中的近周边区域中的一些或全部。

在一些实施例中，观看者的视野可基于除了图1中所说明的角度之外的其它量进行分割。举例来说，在非限制性实施方案中，中心凹区域可经定义为对应观看者的中心凹视觉的视野区域。近中心区域可经定位为对应其中视锥/视杆密度超过相对较高视锥/视杆密度阈值的观看者的视网膜区的视野区域。近周边区域可经定位为对应其中视锥/视杆密度分别未超过相对较高视锥/视杆密度阈值但超过了中间视锥/视杆密度阈值的观看者的视网膜区的视野区域。中周边区域可经定位为对应其中视锥/视杆密度分别未超过中间视锥/视杆密度阈值但超过了相对较低视锥/视杆密度阈值的观看者的视网膜区的视野区域。本文中所描述的焦点视觉区域可基于不一定是基于角度的阈值(例如视锥/视杆密度阈值等)从观看者的中心凹视觉一直覆盖到区域中的一些或全部(例如，观看者的近周边视觉中的一些或全部等)。

另外、任选地或替代地，逻辑地分割观看者的视野两个或更多个不同方案的组合及/或其它人类视觉因素可用于确定观看者的视野的焦点视觉区域。举例来说，代替使用本文中所描述的焦点视觉区域在不同角度方向上覆盖相同角度值范围的是，本文中所描述的焦点视觉区域可沿着横向方向112覆盖比由焦点视觉区域沿着垂直方向114覆盖的角度值范围更大的角度值范围，这是因为人类视觉系统可能对沿着横向方向112的图像细节比对沿着垂直方向114的图像细节更敏感。

在一些实施例中，本文中所描述的焦点视觉区域覆盖以下各者中的一些或全部：中心凹区域(例如，加安全裕度等)、近中心区域(例如，排除中心凹区域且从中心凹区域延伸等)、近周边区域(例如，进一步排除近中心区域且从近中心区域延伸等)、中周边区域(例如，进一步排除近周边区域且从近周边区域延伸等)等。

在一些实施例中，本文中所描述的焦点视觉区域覆盖表示宽角度范围的对称(按观看者的观看方向)区域的对称角度范围。焦点视觉区域的实例可包含(但不一定限于)以下中的一者：相对于观看者的观看方向的+/-15度角、+/-20度角、+/-25度角等。

在一些实施例中，本文中所描述的焦点视觉区域覆盖表示宽角度范围的非对称(按观看者的观看方向)区域的非对称角度范围。一只眼睛的视野中的非对称角度范围可经定义或指定为从内角覆盖(朝向另一只眼/共轭眼看)覆盖到外角(远离另一只眼/共轭眼看)。

在一些实施方案实例中，在偏好在观看者的左眼及右眼的两个视野中重叠的内部方向的情况下偏向非对称角范围。在偏向内角的情况下非对称角度范围的内角的实例可包含(但不一定限于)以下各者中的一者：相对于观看者的观看方向的15度角、30度角、45度角等。在偏向内角的情况下的非对称角度范围的外角的实例可包含(但不一定限于)以下各者中的一者：相对于观看者的观看方向的10度角、15度角、20度角等。

在一些实施方案实例中，在偏好可或可不在观看者的左眼及右眼的两个视野中重叠的外部方向的情况下偏向非对称角度范围。在偏向外部方向的情况下非对称角度范围的外角的实例可包含(但不一定限于)以下各者中的一者：相对于观看者的观看方向的15度角、30度角、45度角等。在偏向外部方向的情况下的非对称角度范围的内角的实例可包含(但不一定限于)以下各者中的一者：相对于观看者的观看方向的10度角、15度角、20度角等。

另外，任选地或替代地，在一些实施例中，本文中所描述的一只眼的视野将例如眼睛转动、来自鼻子、角膜、眼睑等的观看约束的视觉相关因素考虑在内。

本文中所描述的焦点视觉区域的实例可包含(但不一定限于)以下各者中的一或多者的任何组合：圆形形状、长方形形状、椭圆形形状、心形形状、星形形状、圆形状、方形形状、多边形形状等。

3.观看方向跟踪

在一些实施例中，仅眼睛的视野的(例如，相对较小等)焦点视觉区域需要被提供有具有最高动态范围、最宽色域、最高(或最清晰)空间分辨率等的像素值。在一些实施例中，眼睛的视野的焦点视觉区域可对应于眼睛的整个中心凹视觉(例如，完全地、近似地、不小于完整中心凹视觉的95％、不大于完整中心凹视觉的105％等)一直到眼睛的近周边视觉中的一些或全部。在一些实施例中，眼睛的视野的焦点视觉区域可另外包含安全视野区域。

在一些实施例中，焦点视觉区域中的安全视野区域的大小及/或形状可经预先配置到不会随视频应用中涉及的计算装置(例如，头盔安装式显示器装置、小形状因子计算装置，例如信用卡大小插入装置、壁式显示器等)的网络带宽、图像内容、类型、视频应用中涉及的呈现环境(例如，基于云的视频流式传输服务器、与视频流式传输客户端共同定位的视频流式传输服务器、经由本地无线连接与视频流式传输客户端连接的视频流式传输服务器等)的类型等而变化的固定大小(例如，0％、5％、10％、-5％、-10％等)。

在一些其它实施例中，焦点视觉区域中的安全视野区域的大小及/或形状可在运行时动态地预先配置，且可能随以下各者中的一或多者在某一范围(例如，从-10％到10％、从-5％到5％、从0％到5到10％等)内变化：视频应用中涉及的计算装置(例如，头盔安装式显示器装置、小形状因子计算装置，例如信用卡大小插入装置、壁式显示器等)的网络带宽、图像内容、类型、视频应用中涉及的呈现环境(例如，基于云的视频流式传输服务器、与视频流式传输客户端共同定位的视频流式传输服务器、经由本地无线连接与视频流式传输客户端连接的视频流式传输服务器等)的类型等。

举例来说，响应于确定网络连接不支持相对较高带宽，安全视野区域的大小及/或形状可在运行时在眼睛的中心凹视觉内从10％动态缩减到5％。另一方面，响应于确定网络连接不支持相对较高带宽，安全视野区域的大小及/或形状可在运行时在眼睛的中心凹视觉内从5％动态扩大到10％。

安全视野区域的大小及/或形状还可取决于眼睛跟踪中的延时而设置。举例来说，运行时用户的观看方向可由观看方向跟踪装置跟踪。观看方向跟踪装置可与显示器映射图像序列在其上呈现的显示器一起实时操作。随着用户不时地改变观看方向及/或观看距离，观看方向跟踪装置跟踪且计算在显示器映射图像序列正在其中呈现的坐标系中的观看角度及/或观看距离、产生观看方向的时间序列、及发信号向本文中所描述的视频流式传输服务器通知观看方向的时间序列中的每一观看方向。由视频流式传输服务器所接收的观看者的每一此发信号通知的观看方向可按时间点值编索引。时间点值可通过本文中所描述的视频流式传输服务器与由视频解码器用于产生显示器映射图像序列的偏影图像序列中的特定偏影图像相关联或相关。

观看方向数据可经收集、分析及/或以相对较低延时(例如，在一个图像帧时间的一小部分内、在5毫秒内等)在观看方向跟踪装置及流式传输装置之中共享/传输。在实例实施方案中，在多个数据/网络连接可用的情况下可使用最低延时数据/网络连接在这些装置之中共享观看方向跟踪数据。

响应于基于观看方向数据在相对较低延时下(例如，在图像帧时间的一小部分内等)相对迅速地确定观看者的观看方向，视频流式传输服务器(例如，用一或多个上游装置实施等)可在运行时在眼睛的中心凹视觉内将安全视野区域的大小及/或形状从10％动态地缩减到5％。具有最高动态范围、最宽色域、最高空间分辨率等的相对较小区(例如，与从观看方向成20度角以内等)可在视频信号中发送到下游接收者装置。

另一方面，响应于基于观看方向数据在相对较高延时(例如，超过时间阈值、大于一个图像帧时间的一小部分、比5毫秒长等)情况下相对缓慢地确定观看者的观看方向，视频流式传输服务器可在运行时在眼睛的中心凹视觉内将安全视野区域的大小及/或形状从1％动态地扩大到3％、从2％动态地扩大到6％、从5％动态地扩大到10％等。具有最高动态范围、最宽色域、最高空间分辨率等的相对较大区(例如，与观看方向成高达30度角等)可在视频信号中发送到下游接收者装置。那样，视频信号的接收者装置可在相对较大焦点视觉区域内具有充足图像数据以出于图像呈现目的基于观看方向作出局部决策。

本文中所描述的HDR源图像可用部署于一或多个空间环境中的一或多个相机系统捕获/产生。实例空间环境可包含(但不仅仅限于)以下各者中的任一者：物理空间环境、模拟空间环境、电影工作室、室外场景、室内场景、隧道、街道、车辆、船只、飞机、外层空间等。实例相机系统可包含(但不仅仅限于)以下各者中的任一者：光场相机、具有重叠及/或非重叠视野的多个相机、数码相机、模拟相机、网络摄像机等。

如本文中使用，HDR源图像可表示HDR源图像序列中的一个个别HDR源图像。视频流式传输服务器可经配置以接收及使用接收到的HDR源图像序列作为输入以制备用于流式传输到(下游)视频流式传输客户端以支持以下各者中的一或多者的偏影视频内容：视频显示器应用、VR应用、AR应用、汽车娱乐应用、远程呈现应用、显示器应用等。

本文中所描述的图像(例如，HDR源图像、偏影图像、显示器映射图像等)可在多种多样的坐标系中的任一者中表示，例如世界坐标系、相对于相机系统静止的坐标系、相对于空间环境固定的坐标系等。图像中的空间位置可为绝对位置(例如，在世界坐标系等中表示)或相对位置(例如，在相对于相机系统静止的相对坐标系等中表示)。

在一些实施例中，图像中的空间位置(例如，像素等)可由一组特定(x,y)坐标值表示。作为实例而非限制，特定(x,y)坐标值的x坐标值可对应于3D空间中的图像表示中的特定经度(范围从0到360度角)，而(x,y)坐标值的y坐标值可对应于3D空间中的图像表示中的特定纬度(范围从0到180度角)。在各个实施例中，几何变换可用于将一或多个图像表示中的空间位置的一组(例如，x,y)坐标值变换成其它图像表示中的相同位置的另一组坐标值(例如，俯仰、滚动、偏转、摇摆、起伏、喘振等)。

4.偏影图像

图2A说明具有覆盖观看者的中心凹视觉的HDR图像内容的实例偏影图像200。偏影图像200包括从对应HDR源图像中的多个对应图像部分调适的多个图像部分。可产生包括分别用于偏影图像中的多个图像部分的多个显示器管理(DM)元数据部分的图像元数据。代替直接编码HDR源图像的是，将偏影图像200编码成可从一或多个上游装置(例如，视频流式传输服务器等)传输到下游接收者装置(例如，视频流式传输客户端等)的视频信号。

本文中所描述的图像中的图像部分可逻辑地表示含有一组像素(或位置)处的一组像素值的图像帧。图像部分的个别形状(例如，矩形、多边形形状、规则形状、不规则形状等)及个别大小及/或用于存储图像部分的对应缓冲器可例如基于以下各者中的一或多者动态地经重新塑形或重定大小：网络延时、带宽、观看方向移动、图像内容等。在一或多个上游装置及/或接收者装置处，偏影200中的每一图像部分(或每一图像帧)可(但不仅仅限于)保持于多个存储器缓冲器中存储偏影图像200的相应存储器缓冲器中。在一些实施例中，存储器缓冲器中的一些或全部可以共同帧速率共同地进行刷新。在一些实施例中，存储器缓冲器中的至少一些可以其自身帧速率个别地进行刷新。在一些实施例中，本文中所描述的不同存储器缓冲器中的图像数据可共同地、个别地或单独地进行压缩。在一些实施例中，存储不同图像层的不同存储器缓冲器可定位于一或多个内容递送网络、一或多个内容分布网络、一或多个核心网络、一或多个接入网络等的不同计算装置中。举例来说，存储表示对应HDR源图像的相同视频内容的偏影图像的焦点视觉图像部分的存储器缓冲器可保持相对靠近(例如，在地理上、在网络拓扑中、在相同网络中、在相同服务提供商网络中、在接入网络中、经由本地WIFI或有线网络/数据连接、经由相对较少网络跃点等)接收者装置。存储表示对应HDR源图像的相同视频内容的偏影图像的非焦点视觉图像部分的另一存储器缓冲器可保持相对更远离(例如，在地理上、在网络拓扑中、在不同网络中、在不同服务提供商网络中、在核心网络中、经由一或多个远程网络/数据连接、经由相对众多网络跃点等)接收者装置。

在一或多个上游装置处，作为用于产生偏影200的输入接收的HDR源图像可保持于单独输入HDR源图像缓冲器中。在接收者装置处，从偏影200产生的显示器映射图像可保持于单独显示器映射图像缓冲器中。在一些实施例中，显示器映射图像缓冲器可用于在观看者的显示器装置上驱动/呈现从偏影图像导出的图像内容，且可以观看者的显示器装置的装置特定帧速率进行刷新。

偏影图像200可包括覆盖眼睛的视野的焦点视觉区域的焦点视觉图像部分202。在一些实施例中，中心凹视觉图像部分202覆盖对应于观看者的中心凹视觉的最内部分(例如，50％、70％、90％等)的焦点视觉区域(例如，完全、基本上在+或-5％安全裕度内等)。在一些实施例中，中心凹视觉图像部分202覆盖对应于观看者的中心凹视觉及观看者的近周边视觉中的一些或全部的焦点视觉区域(例如，完全、基本上在+或-5％安全裕度内等)。

焦点视觉图像部分202中的图像数据可以相对较高数据速率高速缓存及在空间接近度或网络拓扑接近度方面相对靠近下游接收者装置的上游装置、内容服务节点、内容高速缓存节点等处分发到下游接收者装置。焦点视觉图像部分可包括如在视频信号中从一或多个上游装置(例如，基于云的视频流式传输服务器、机顶盒、本地视频流式传输服务器、前述内容中的一或多者的任何组合等)传输的最高动态范围、最宽色域、最高空间分辨率等的像素值。

偏影图像200可包括覆盖焦点视觉区域外的眼睛的视野中的周边视觉区域的周边视觉图像部分204。周边视觉图像部分204中的图像数据可以相对较低数据速率在空间接近度或网络拓扑接近度方面相对远离下游接收者装置的上游装置、内容服务节点、内容高速缓存节点等处高速缓存及分发到下游接收者装置。周边视觉图像部分204可包括如在视频信号中从一或多个上游装置(例如，基于云的视频流式传输服务器、机顶盒、本地视频流式传输服务器、前述内容中的一或多者的任何组合等)传输的相对较低动态范围、相对较窄色域、相对较低空间分辨率等的像素值。

在一些实施例中，焦点视觉图像部分202及周边视觉图像部分204可覆盖用于参考针对时间点确定或预测的观看者的观看方向在偏影图像200-1中产生焦点视觉及周边视觉图像部分(204及204)的HDR源图像(未展示)的图像场(例如，208等)的观看者的视口206。

HDR源图像可包括分别对应于图2A中所展示的焦点视觉图像部分202及周边视觉图像部分204的两个HDR源图像部分。两个HDR源图像部分中的一者对应于(能够覆盖)观看者的焦点视觉区域且用于产生或经调适以产生焦点视觉图像部分202。两个HDR源图像部分中的另一者对应于(能够覆盖)观看者的周边视觉区域且用于产生或经调适以产生周边视觉图像部分204。

如图2A中说明，焦点视觉图像部分202及周边视觉图像部分204共同表示参考针对将在其处呈现从偏影图像200产生的显示器映射图像的时间点确定或预测的观看者的观看方向产生的偏影图像200中的所有图像数据。偏影图像200中的焦点视觉图像部分202及周边视觉图像部分204可用于在所述时间点共同覆盖观看者的视口206。如本文中使用，视口可指代从在其上呈现从偏影图像200产生的显示器映射图像的观看者的一或多个图像显示器(或一或多个目标显示器)可得到的总显示器区(或总图像呈现表面)。用于参考针对时间点确定或预测的观看者的观看方向在偏影图像200中产生多个图像部分的HDR源图像可覆盖比观看者的视口206大得多的图像场208(例如，沉浸式、全景、360度视图等)。

偏影图像200可用于覆盖整个视口加安全裕度。如果偏影图像200碰巧不足以覆盖整个视口，那么填充像素可用于视口内部的一些(例如，微小等)部分。

在一些实施例中，多个焦点视觉图像部分可在参考针对将在其处呈现偏影图像200的时间点确定或预测的观看者的观看方向产生的偏影图像200中产生。另外，任选地或替代地，多个周边视觉(例如，近周边、中周边、远周边等)图像部分可在参考针对将在其处呈现偏影图像200的时间点确定或估计的观看者的观看方向产生的偏影图像200中产生。

在一些实施例中，除了焦点视觉及周边视觉图像部分之外的一或多个其它图像部分可针对本文中所描述的偏影图像产生。其它图像部分及焦点视觉及周边视觉图像部分共同表示参考针对将在其处呈现从偏影图像200产生的显示器映射图像的时间点确定或预测的观看者的观看方向产生的偏影图像中的所有图像数据。

图2B说明包括焦点视觉图像部分202-1、周边视觉图像部分204-1、另一图像部分210-1等的实例偏影图像200-1。在一些实施例中，另一图像部分210-1、焦点视觉图像部分202-1及周边视觉图像部分206-1可覆盖高达用于参考针对时间点确定或预测的观看者的观看方向在偏影图像200-1中产生多个图像部分的HDR源图像(未展示)的整体图像场208-1。如图2B中说明，显示于观看者的目标显示器的视口中的显示器映射图像可由从整个焦点视觉图像部分202-1、周边视觉图像部分206-1的一部分及另一图像部分210-1的一部分导出的显示器映射图像数据组成。

HDR源图像可经分割成分别对应于图2B中所展示的焦点视觉图像部分202-1、周边视觉图像部分204-1及另一图像部分210-1的三个HDR源图像部分。三个HDR源图像部分中的第一者对应于(能够覆盖)观看者的焦点视觉区域且用于产生或经调适以产生焦点视觉图像部分202-1。三个HDR源图像部分中的第二者覆盖观看者的周边视觉区域且用于产生或经调适以产生周边视觉图像部分204-1。三个HDR源图像部分中的第三者覆盖观看者的周边视觉区域外(或视口206-1外)的图像场部分且用于产生或经调适以产生另一图像部分210-1。

在一些实施例中，偏影图像200-1的焦点视觉图像部分202-1中的图像数据可包括最细微图像细节且具有不含或含很少剪辑或不含或含很少量化错误的相对未压缩动态范围、不含或含很少取样错误的相对较高空间分辨率等。焦点视觉图像部分202-1中的图像数据可从HDR源图像中的不含、含很少或最少色彩及/或空间分辨率的下取样、不含、含很少或最少动态范围压缩等的对应图像部分产生。

在一些实施例中，偏影图像200-1的周边视觉图像部分204-1中的图像数据可包括较少图像细节且可能具有含一些剪辑或相对较大量化错误的压缩动态范围、含一些色彩失真或相对较大量化错误的相对较窄色域、含相对较大取样错误的相对较低空间分辨率等。周边视觉图像部分204-1中的图像数据可从HDR源图像中的含有色彩及/或空间分辨率的下取样、含有动态范围压缩等的对应图像部分产生。

在一些实施例中，偏影图像200-1的另一图像部分210-1中的图像数据可包括甚至更少图像细节且可能具有含更多剪辑或更大量化错误的更大压缩动态范围、含色彩失真或较大量化错误的较窄色域、含大取样错误的较低空间分辨率等。另一图像部分210-1中的图像数据可从HDR源图像中含有色彩及/或空间分辨率方面的更多下取样、含有更多动态范围压缩的对应图像部分产生。

本文中所描述的偏影视频内容包括可超过观看者的目标显示器的显示器能力的高动态范围及宽色域的至少一些图像数据(例如，在中心凹视觉图像部分中、在周边视觉图像部分中等)。DM操作(或显示器映射操作)可在空间上有差异地应用于将偏影视频内容转换成显示器映射视频内容以向观看者呈现。显示器映射视频内容可在跨显示器映射视频内容中的每一显示器映射图像的空间变化的程度上具有在观看者的目标显示器的显示器能力内的较低动态范围、较窄色域等。

包括指示动态范围及色域应如何从参考目标显示器映射到观看者的(实际)目标显示器的DM元数据的图像元数据可由视频流式传输服务器针对偏影视频内容产生。在本文中所描述的技术下，DM操作不一定跨偏影图像或跨从偏影图像产生的显示器映射图像的观看者的视口在空间上均匀地执行。而是，在空间上有差异的DM操作可关于定位于偏影图像的不同空间部分中或定位于从偏影图像产生的显示器映射图像的视口的不同空间部分中的不同图像部分执行。

本文中所描述的技术下所提及的观看者的观看方向用于定义或描绘偏影图像中的焦点视觉图像部分及其它图像部分，例如周边视觉图像部分等。焦点视觉DM元数据部分可针对偏影图像中的焦点视觉图像部分专门或单独地产生。例如周边视觉DM元数据部分等的其它DM元数据部分可针对偏影图像中的例如周边视觉图像部分等的其它图像部分专门或单独地产生。

基于这些不同DM元数据部分，不同DM操作在同一偏影图像内对动态范围压缩、色彩及/或空间分辨率的下采样等具有在空间上有差异的影响。

与偏影图像一起递送到接收者装置的图像元数据集可包含针对偏影图像产生的各种DM元数据部分。更明确来说，与偏影图像一起递送的图像元数据集可包括覆盖观看者的视野中的中心凹视觉的小角度范围(例如，2到4度、3到5度、4到6度等)的焦点视觉图像部分的焦点视觉DM元数据部分。如与显示器映射图像的非焦点视觉图像部分相比，此焦点视觉DM元数据部分可由接收者装置用于以将可从对应HDR源图像得到的动态范围、色域、空间分辨率等方面的最细微图像细节保持于显示器映射图像的焦点视觉图像部分中的方式将偏影图像中的焦点视觉图像部分重新映射到从偏影图像产生的显示器映射图像中的对应图像部分中。因此，本文中所描述的DM元数据不仅包含可适用于视口及目标显示器的DM元数据，而且包含可在各个时间点适用于观看者的视野的实时焦点视觉区域(例如，2到4度、3到5度、4到6度等)的DM元数据。

作为实例而非限制，本文中所描述的图像元数据集可包含与观看者的视野、视口、目标显示器的图像呈现区、沉浸式图像的图像场等相关中的一些或全部空间区域的以下DM元数据部分中的一些或全部。举例来说，焦点视觉DM元数据部分可包括观看者的视野中的焦点视觉区域中的最大、最小及/或平均光度级或亮度值。周边视觉DM元数据部分可包括观看者的视野中的周边视觉区域中的最大、最小及/或平均光度级或亮度值。视口DM元数据部分可包括视口中的最大、最小及/或平均光度级或亮度值，其可适用于由例如焦点视觉DM元数据、周边视觉DM元数据等的更特定DM元数据部分表示的空间区域外的视口的空间区域。沉浸式(例如，360度、全向等)DM元数据部分可包括HDR源图像的图像场中的最大、最小及/或平均光度级或亮度值，其可适用于由例如焦点视觉DM元数据、周边视觉DM元数据、视口DM元数据等的更特定DM元数据部分表示的空间区域外的图像场的空间区域。这些不同DM元数据部分可用于定义或产生应用于偏影图像中的不同空间区域的DM操作的不同重新映射曲线(例如，传递函数等)。

基于中心凹视觉区域的DM元数据部分产生的重新映射曲线(例如，传递函数等)可不包括或包括很少剪辑及/或不包括或包括很少量化错误。举例来说，随着重新映射曲线被应用于将偏影图像的焦点视觉图像部分映射到显示器映射图像的焦点视觉图像部分，偏影图像中表示的所有灰度级别—其还可又忠实地保持用于导出偏影图像的对应HDR源图像中的所有灰度级别—可在从偏影图像产生的对应显示器映射图像中准确地再现。

另一方面，基于非中心凹视觉区域的DM元数据部分产生的重新映射曲线(例如，传递函数等)可包能括剪辑及/或量化错误。举例来说，随着重新映射曲线被应用于将偏影图像的周边视觉图像部分映射到显示器映射图像的周边视觉图像部分，偏影图像中表示的一些灰度级别—其还可又不表示用于导出偏影图像的对应HDR源图像中的所有灰度级别—无法在显示器映射图像中再现或可在具有量化错误的情况下在显示器映射图像中表示。

5.光适应水平

在真实世界中，观看者凝视着太阳且接着看稍微远离的暗区域将是非常痛苦的。观看者从非常强的光级适应到低光级需要花费时间(例如，可能需要很长时间，5秒、20秒等)。在观看者适应低光级之前，不在所呈现图像可表示的内容的最大程度上感知所呈现图像的暗图像区域中的图像细节。因此，当观看者不适应低光级而无法在最大程度上感知这些图像细节时，使所呈现图像包含图像细节会浪费计算资源及/或带宽。

另一方面，如果太阳未处在观看者的中心凹视觉中，那么即使太阳仍存在(远离观看者的中心凹视觉)于观看者的视野内或存在于用于直接或间接导出呈现图像(例如显示器映射图像等)的HDR源图像的图像场内，观看者完全适应低光级及感知图像细节可能并没有那么痛苦或需要那么长时间。

因此，在各个时间点观看者对图像细节的感知能力受观看者在这些各个时间点适应哪一光级影响。特定来说，观看者在特定时间点适应哪一光级(例如，主要、很大程度上、在显著较高相关性下等)是基于观看者在特定时间点之前具体看向的位置、看向所述位置的时间及时间长度确定，且并非那么依赖于所呈现图像是否可包括与观看者适应到的光级十分不同的光级的其它图像细节，只要这些其它图像细节并非在观看者的中心凹视觉中或附近即可。

本文中所描述的技术可经实施以预测观看者的光适应水平(或观看者适应的光级)及在呈现从偏影视频内容显示器映射的显示器映射视频内容的过程中模仿自然视觉过程。例如DM元数据的图像元数据可用于指定或影响用于DM操作(或其它图像处理操作)中的重新映射曲线应如何随着时间的推移基于观看者在各个时间点适应各个光适应水平的速度改变、转变或适应。

光适应曲线可由视频流式传输服务器、视频流式传输客户端等用于预测或估计眼睛(观看者的一只眼睛)如何随着时间的推移而适应。在一些实施例中，光适应曲线可取决于数个光适应因素或输入变量，其包含(但不限于)以下各者中的一或多者：源区的光级、目标区的光级、观看者的焦点视觉处于源区内的时间长度、观看者的焦点视觉处于目标区内的时间长度等。

本文中所描述的光适应曲线可(但不一定仅限于)基于人类视觉模型。光适应曲线可包括将目标显示器的差异考虑在内的输入因素。举例来说，光适应曲线可针对具有不同显示器能力的不同类型的目标显示器以不同方式预测不同光适应水平。

本文中所描述的光适应曲线可针对不同图像上下文的场景不同地预测光适应水平。场景中的实例图像上下文可包含(无限制)连续跟随(例如，观看者的眼睛进行快速或弹道移动或扫视等)、平滑跟随场景(例如，观看者的眼睛进行平滑跟随移动等)、相对较大深度的场景(例如，观看者的眼睛进行聚散移动等)或其它场景(例如，观看者的眼睛进行较小的前庭眼移动以稳定或补偿所描绘场景中对象的移动等)。

举例来说，在连续跟随场景中，光适应曲线可将更多权重提供到直接描绘连续跟随的图像细节(或像素)的光级且将更少权重提供到并非直接描绘连续跟随的图像细节(或像素)的光级。

相比之下，光适应曲线可以与其它场景不同的方式预测平滑场景(例如，缓慢变化的场景等)中的光适应水平。在此场景中，光适应曲线可将权重指派(例如，相当的、在相同量级下等)到场景中的相对较大区(例如，包含周边视觉图像细节中的一些等)中的图像细节的光级。

艺术家意图(例如，导演输入、调色师输入等)可经并入以调整用于构造光适应曲线以确定、估计或预测观看者的光适应水平的的模型中的操作参数(例如，曲线参数，例如升力、增益、偏移等)中的一些或全部。

用于预测观看者的光适应水平的光适应曲线还可部分基于用户输入。举例来说，观看者可与接收者装置及/或目标显示器交互以从多个可选光适应设置之中选择特定光适应设置。特定光适应设置可用于影响光适应曲线如何预测观看者的光适应水平、确定用于光适应曲线中的输入参数中的一些或全部的值等。

在本文中所描述的技术下，给定观看者正在观看的目标区，预测观看者正在观看的源区可基于炮弹模型或针对人类眼睛移动专门开发(例如，通过实验、通过模拟、通过验证研究等)的模型。举例来说，观看者的眼睛移动(例如，扫视、平滑跟随移动、聚散移动、前庭眼移动等)可基于视线跟踪数据监测。可在目标区处基于跟踪观看者的眼睛移动的视线跟踪数据确定观看方向变化的速度、加速度等。与目标区的初始位置一起，源区的位置可至少部分基于如在目标区处所测量的速率、加速度等确定、估计或预测。

基于在给定时间预测或估计的观看者的光适应水平，可确定观看者的视野的各个区域中的空间变化的最小可觉差(JND)的分布。动态范围及空间分辨率可基于观看者的视野中的空间变化的JND的分布进行调整。在其中观看者的视觉能力(例如，基于JND等)经预测或估计为无法区分细微图像细节或精细灰度级别差异的图像部分(例如，周边视觉等)中，图像部分中的图像数据(例如，可提供相对低位深度图像数据，例如低至2位视频数据等)可经下取样、压缩等，而在观看者的视觉感知中不会导致视觉伪影。另一方面，在其中观看者的视觉能力(例如，基于JND等)经预测或估计为能够区分细微图像细节或细微灰度级别差异的图像部分(例如，中心凹视觉等)中，图像部分中的图像数据(例如，可提供相对高位深度图像数据，例如低至12位视频数据等)可从HDR源图像1对1映射以维持或保持细微图像细节。

图2C说明由观看者观看的所呈现场景224中的实例源区220及实例目标区222。源区220表示观看者的焦点视觉先前在所呈现场景224中所定位的(所呈现场景的)空间位置或区。目标区222表示观看者的焦点视觉针对将在其处呈现显示器映射图像的时间点(例如，经确定为、经预测为、经估计为等)所定位的(所呈现场景的)空间位置或区，其中显示器映射图像将至少部分基于针对时间点基于光适应曲线预测的观看者的光适应水平从偏影图像重新映射。

例如目标区222、源区220等的区的光级可基于从区内及周围的像素的光度值确定/计算的加权聚合光级确定。为了计算区的光级，区的最内部分中的像素的光度值可被给予(例如，显著地等)比区的最内部分外或区外的像素的光度值更高的权重。计算区的光级的特定方式、特定因素、特定参数等可基于人类视觉建模、用于人类视觉系统(HVS)的光适应模型、实证人类视觉研究、实验、验证等。

在当观看者的观看方向在区内部时，观看者可能已经或可能尚未适应区。在一些实施例中，光适应曲线可用于确定淡入淡出时间供观看者适应目标区222中的光级。淡入淡出时间可用作用于将偏影视频内容重新映射到显示器映射视频内容的适应时间。

举例来说，响应于确定观看者需要适应时间来适应目标区222的光级，视频流式传输服务器可在图像元数据中发信号通知适应时间。接收者装置可延迟重新映射目标区222(或可能任何地方)中的完整图像细节直到适应时间过去。在适应时间期间，无法由观看者的眼睛良好感知的光级或光级范围可经剪辑或用编码有大量化步长的粗糙灰度级别或色彩表示。一旦适应时间过去且预测观看者适应目标区222的光级，就可在观看者的新光适应水平(其等于或高度接近目标区222的光级)下或附近在显示器映射内容中针对目标区222再现/呈现完整图像细节。

因此，在本文中所描述的技术下，给定HDR源图像序列中的相同HDR源图像，取决于观看者的预测光适应水平(其取决于观看者的观看方向的历史及先前所呈现图像内容)，不同偏影图像可从HDR源图像产生，且不同显示器映射图像可经再现/呈现。

举例来说，当观看者的眼睛正通过观看者的目标显示器的视口看着所呈现场景的左上角中的源区220且接着通过相同视口俯视所呈现场景中的目标区222时，本文中所描述的显示器映射操作(或DM操作)基于源区220处的图像部分何时明亮及明亮的程度及观看者的眼睛花费多长时间适应到一系列目标区中的光级直到目标区222中的光级将观看者的眼睛的适应时间考虑在内。

因此，如果观看者的眼睛正看向源区220处的图像中的太阳或太阳附近，那么在观看者的眼睛适应目标区222中的光级之前在明亮光度级下或明亮光度范围中无图像细节损失或具有很少图像细节损失的情况下将光度范围的顶部增大或保持到其最大或峰值光度级及切碎或剪辑目标区222(或任何地方)中的光度范围中的暗光度级或阴影是可接受的。另外，随着观看者的眼睛移动到阴影中的目标区222且随着观看者的眼睛变得越来越适应目标区222中的光级，首先使整个图像变暗而不在目标区222中展示光级附近的图像细节及接着随着时间的推移在阴影中(暂时)缓慢显现图像细节是可接受的，例如通过指定与偏影图像一起发送(例如，同时等)到结合观看者的目标显示器一起操作的观看者的视频解码装置的图像元数据中的适应时间。

6.在空间上有差别的显示器映射

图2D说明在观看者的眼睛适应相对较高光级的操作案例中的从HDR源图像的HDR源动态范围230(例如，跨整体是均匀的等)到从HDR源图像产生的偏影图像的焦点视觉图像部分的焦点视觉动态范围232及偏影图像的周边视觉图像部分的周边视觉动态范围234的实例显示器映射。

如展示，HDR源动态范围230的第一子范围236可表示用于导出/产生偏影图像的焦点视觉图像部分的(HDR源图像的)第一图像部分的整个动态范围。在本文中所描述的技术下，不对HDR源图像的第一图像部分执行动态范围压缩或对其执行最小动态范围压缩，所述第一图像部分用于导出/产生偏影图像的焦点视觉图像部分(例如，响应于确定观看者的光适应水平与焦点视觉图像部分周围的区中的加权聚合光级相当等)。HDR源图像的第一图像部分的所有灰度级别及/或色彩及/或空间分辨率可为1-1，或以焦点视觉动态范围232及/或焦点视觉色域及/或焦点视觉空间分辨率在焦点视觉图像部分中相对忠实地再现。

另一方面，在本文中所描述的技术下，可对HDR源图像的其它图像部分执行(例如，相对较大的等)动态范围压缩，所述其它图像部分用于导出/产生偏影图像的非焦点视觉图像部分。HDR源图像的其它图像部分的一些灰度级别及/或色彩及/或空间分辨率可在非焦点视觉图像部分中具有大量化错误的情况下以非焦点视觉动态范围及/或非焦点视觉色域及/或非焦点视觉空间分辨率经压缩、下取样或表示。HDR源图像的其它图像部分的一些灰度级别及/或色彩及/或空间分辨率可在非焦点视觉图像部分中甚至更大错误的情况下以非焦点视觉动态范围及/或非焦点视觉色域及/或非焦点视觉空间分辨率经剪辑或表示。

举例来说，HDR源动态范围230的第二子范围240可表示低于用于导出/产生偏影图像的周边视觉图像部分的至少一部分的(HDR源图像的)第一图像部分的第一子范围236的附近灰度级别。表示于HDR源动态范围230的第二子范围240中的灰度或光度级可经压缩于周边视觉动态范围234中。HDR源动态范围230的第三子范围242可表示用于导出/产生偏影图像的周边视觉图像部分的至少一部分且甚至低于(HDR源图像的)第一图像部分的第二子范围240且离观看者的光适应水平的灰度级别更远。表示于HDR源动态范围230的第三子范围242中的灰度或光度级可经剪辑于周边视觉动态范围234中。相比之下，如果表示于HDR源动态范围230的第四子范围238中的灰度或光度级接近观看者的光适应水平，那么这些灰度或光度级可在周边视觉动态范围234中在很大程度上再现，即使这些灰度或亮度级并非用于编码偏影图像的焦点视觉图像部分的动态范围的一部分。

图2E说明在观看者的眼睛适应相对较低光级的操作案例中的从HDR源图像的HDR源动态范围230-1(例如，跨整体是均匀的等)到从HDR源图像产生的偏影图像的焦点视觉图像部分的焦点视觉动态范围232-1及偏影图像的周边视觉图像部分的周边视觉动态范围234-1的实例显示器映射。

如展示，HDR源动态范围230-1的第一子范围236-1可表示用于导出/产生偏影图像的焦点视觉图像部分的(HDR源图像的)第一图像部分的整个动态范围。HDR源图像的第一图像部分的所有灰度级别及/或色彩及/或空间分辨率可为1-1，或以焦点视觉动态范围232-1及/或焦点视觉色域及/或焦点视觉空间分辨率在焦点视觉图像部分中相对忠实地再现。

另一方面，HDR源动态范围230-1的第二子范围240-1可表示高于用于导出/产生偏影图像的周边视觉图像部分的至少一部分的(HDR源图像的)第一图像部分的第一子范围236的附近灰度级别。在HDR源动态范围230-1的第二子范围240-1中的灰度或光度级可经压缩在周边视觉动态范围234-1中。HDR源动态范围230-1的第三子范围242-1可表示用于导出/产生偏影图像的周边视觉图像部分的至少一部分且甚至高于(HDR源图像的)第一图像部分的第二子范围240-1且离观看者的光适应水平更远。在HDR源动态范围230-1的第三子范围242-1中表示的灰度或光度级可经剪辑于周边视觉动态范围234-1中。相比之下，如果表示于HDR源动态范围230-1的第四子范围238-1中的灰度或光度级接近观看者的光适应水平，那么这些灰度或光度级可在周边视觉动态范围234-1中在很大程度上再现，即使这些灰度或光度级并非用于编码偏影图像的焦点视觉图像部分的动态范围的一部分。

本文中所描述的显示器映射视频内容可在支持全局调光、局部调光或低计数调光的观看者的一或多个目标显示器上呈现。如本文中使用，支持全局调光的目标显示器是指能够在光基于图像数据被调制成图像中之前调整跨整个显示器区或整个图像呈现表面的光的(例如全局等)光度级的显示器装置。支持局部调光的目标显示器是指能够在光基于图像数据被调制成图像中之前针对显示器区或图像呈现表面内的相对较大数目个(例如，数十、数百、数千或更多等)区调整光的个别局部区光度级的显示器装置；个别区的个别本地区光度级可至少部分基于图像的下取样版本进行控制。支持低计数调光的目标显示器是指能够在光基于图像数据被调制到图像成之前针对显示器区或图像呈现表面内的相对较小数目个(例如，两个、四个、六个、八个等)区调整光的个别局部区光度级的显示器装置。

在实例中，例如中心凹视觉图像部分的图像部分中的重新映射动态范围可用于影响具有过驱动及/或欠驱动能力的目标显示器中的背光如何用于图像呈现操作中。如果中心凹视觉图像部分具有相对较高动态范围或峰值光度值，那么目标显示器可过驱动将背光提供到中心凹视觉图像部分的背光子单元。另外，任选地或替代地，目标显示器可欠驱动将背光提供到非中心凹视觉图像部分的背光子单元以防止能量过热或过度耗损。

在另一实例中，全局调光目标显示器可能够在给定时间支持数个(例如，1000等)灰度级别。这些灰度级别可用于最大限度地支持图像细节或灰度级别在观看者的中心凹视觉中的呈现。当观看者正在观看明亮图像细节时，全局调光目标显示器可将多数(如果不是全部的话)灰度级别设置到相对较高光度值(例如，3000到4000尼特等)。另一方面，当观看者正在观看暗图像细节时，全局调光目标显示器可将多数(如果不是全部的话)灰度级别设置到相对较低光度值(例如，0.1尼特到100尼特等)。类似地，其它光度子范围可由全局调光目标显示器取决于在任何给定时间将在观看者的中心凹视觉中表示的动态范围动态地设置。因此，尽管全局调光目标显示器可限于1000灰度级别，但全局调光目标显示器可在大得多的动态范围及多得多的众多灰度级别下在观看者的中心凹视觉中呈现，借此造成以下印象：全局调光目标显示器具有局部调光能力、能够支持从十分低的光度值到十分高的光度值的十分的高动态范围、能够支持十分大的对比度(例如，从0.1尼特的最低光度值到4000尼特的峰值光度值等)、能够呈现具有高保真度的图像等。

另外，任选地或替代地，低计数调光目标显示器可用于呈现从本文中所描述的偏影图像产生的显示器映射图像。类似于全局调光目标显示器，低计数调光目标显示器还可基于显示器映射图像中的中心凹视觉图像部分的动态范围自适应地设置具有目标显示器中的低计数总数目个区的任何区中的灰度级别的动态范围。因此，尽管低计数调光目标显示器可具有用于调光操作的相对有限数目个区，且可限于区中的每一者中的数个灰度级别，但低计数调光目标显示器可在大得多的动态范围及多得多的众多灰度级别下在观看者的中心凹视觉中呈现，借此造成以下印象：低计数调光目标显示器具有局部调光能力、能够支持从十分低的光度值到十分高的光度值的十分高的动态范围、能够支持十分大的对比度(例如，从0.1尼特的最低光度值到4000尼特的峰值光度值等)、能够呈现具有高保真度的图像等。

图2F说明包括四个个别低计数调光区252-1到252-4的实例低计数调光目标显示器250。在调光区(252-1到252-4)中的每一者中，可调整个别光度值。举例来说，在第一时间，观看者的观看方向或中心凹视觉可定位于对应于低计数调光区252-1的源区(例如，220等)中，低计数调光区252-1的光度级可基于在低计数调光区252-1内的显示器映射像素的光度值的动态子范围进行控制。特定来说，低计数调光区252-1的光度级可经设置成至少不少于观看者的中心凹视觉、观看者的中心凹视觉、源区220等中的峰值光度。因此，可在最大可能程度或保真度上再现在观看者的中心凹视觉内、观看者的中心凹视觉中、源区220等内的显示器映射像素的光度值。

在第二时间，观看者的观看方向或中心凹视觉可定位于对应于低计数调光区252-4的目标区(例如，222等)中，低计数调光区252-4的光度级可基于在低计数调光区252-4内的显示器映射像素的光度值的动态子范围进行控制。特定来说，低计数调光区252-4的光度级可经设置成至少不少于观看者的中心凹视觉、观看者的中心凹视觉、目标区222等中的峰值光度。因此，可在最大可能程度或保真度上再现在观看者的中心凹视觉内、观看者的中心凹视觉中、目标区222等内的显示器映射像素的光度值。

图2G说明在观看者的眼睛适应相对较低光级的操作案例中的从HDR源图像的HDR源动态范围230-1(例如，跨整体是均匀的，等)到从HDR源图像产生的偏影图像的焦点视觉图像部分的焦点视觉动态范围及偏影图像的周边视觉图像部分的周边视觉动态范围234-1的实例显示器映射。偏影图像的焦点视觉图像部分的焦点视觉动态范围可包括两个动态子范围，其中一者可对应于图2E的动态范围232-1，且其中另一者可为高于动态范围232-1的额外动态范围232-2(例如，图像高光、灯泡、来自闪烁表面的强反射等)。

在一些实施例中，全局调光显示器可将整个显示器的其光度级设置为不小于额外动态范围232-2中的最大光度值以便对焦点视觉图像部分不执行动态范围压缩或执行最小动态范围压缩。

在一些实施例中，如果这些不同区中的显示器映射像素是焦点视觉图像部分的一部分，那么局部调光显示器可将显示器的不同区中的其局部光度级设置为不小于这些显示器映射像素的最大光度值。

在一些实施例中，如果这些不同区中的显示器映射像素是焦点视觉图像部分的一部分，那么低计数调光显示器可将显示器的不同低计数区中的其光度级设置为不小于这些显示器映射像素的最大光度值。

另外，任选地或替代地，假如显示器映射像素需要提高的光度级，那么光引导方法、相控光调制方法等可用于使更多光朝向这些显示器映射像素的位置转向。举例来说，如果具有在额外动态范围232-2中的光度值的显示器映射像素定位于焦点视觉图像部分中，那么一或多个光引导方法、相控光调制方法等可用于增加这些显示器映射像素的光级或光度级。有可能的是，随着更多光被引导到具有提高的光级或光度级的这些显示器映射像素，其它图像部分中的其它显示器映射像素的光级或光度级可减小或牺牲。

在一些操作案例中，代替或除了观看方向跟踪之外，先验用户输入(例如，来自调色师、导演、视频专业人员等)可用于识别HDR源图像或从其产生的偏影图像中的焦点视觉图像部分。焦点视觉偏影图像部分及对应DM元数据部分可从基于HDR源图像中的用户输入所识别的焦点视觉图像部分产生。DM元数据部分可由接收者装置用于确保基于用户输入所指定的焦点视觉图像部分中的动态范围、色域、空间分辨率等方面的图像细节保持在偏影图像及从所述偏影图像产生的显示器映射图像中。基于用户输入识别的中心凹视觉图像部分可用于在特定时间量内将观看者的观看方向引导例如到某一所关注区中，其中所述某一所关注区以图像细节呈现，而其它区可被屏蔽或可含有相对于所关注区更少的图像细节。

在一些实施例中，例如AR等的视频应用中的本文中所描述的显示器映射视频内容可至少部分基于视频应用中的环境光级创建。用观看者的目标显示器所监测的环境光级可用于调整偏影视频内容中的对应动态范围、动态子范围等将映射或重新映射到其的显示器映射视频内容的各个图像部分中的动态范围、动态子范围等。举例来说，环境光级可用于将基于DM元数据部分及实际环境光级的动态范围映射调整到基于DM元数据部分及由观看者的目标显示器所监测的实际环境光级的经调整动态范围映射。经调整动态范围映射可用于将偏影图像中的图像部分的动态范围映射或重新映射到偏影图像中的对应图像部分的显示器映射动态范围。

本文中所描述的技术可应用于多种视频内容。举例来说，在例如TV的显示器上显示2D视频内容的视频应用中，可实时、近实时等地监测正在观看2D视频内容的一或多个观看者的观看方向。这些观看方向可用于(例如，同时等)识别图像细节将在其中得以保持的一或多个焦点视觉图像部分。偏影图像可经创建以含有来自用于产生偏影图像的HDR源图像中的一或多个对应图像部分的一或多个焦点视觉图像部分。

出于说明的目的，已经描述了，给定时间观看者的观看方向(例如，到源区、到目标区、到中间区等)可基于在观看者正在观看者偏影视频内容时收集/跟踪的观看方向数据而确定。另外，任选地或替代地，可预测给定时间观看者的观看方向。举例来说，在一些实施例中，一或多个上游装置可测量一或多个上游装置与下游接收者装置之间的网络延时。一或多个上游装置还可确定观看者的移动(例如，在六个自由度中、在旋转中、在平移中、在旋转与平移的组合中等)。基于网络延时及观看者的移动，一或多个上游装置可预测在后一时间点观看者的观看方向。

在一些实施例中，下游装置可确定观看者的移动(例如，在六个自由度中、在旋转中、在平移中、在旋转与平移的组合中等)。基于观看者的移动，下游装置可预测在后一时间点观看者的观看方向(例如，到源区、到目标区、到中间区等)。

7.实例视频流式传输服务器及客户端

图3A说明包括偏影图像处理器302、偏影图像产生器312等的实例视频流式传输服务器300。在一些实施例中，偏影图像处理器302包括HDR源图像接收器306、数据储存库310等。视频流式传输服务器300的组件中的一些或全部可由一或多个装置、模块、单元等实施于软件、硬件、软件与硬件的组合等中。

在一些实施例中，HDR源图像接收器306包括经配置以进行以下操作的软件、硬件、软件与硬件的组合等：从例如基于云的HDR源图像源、与VR应用结合的相机系统、AR应用、远程呈现应用、显示器应用等的HDR源图像源接收输入HDR源图像流304；将输入HDR源图像流304解码成一或多个输入HDR源图像(例如，输入HDR源图像序列等)等。

在一些实施例中，数据储存库310表示经配置以支持关于输入HDR源图像中的一些或全部等的例如存储、更新、检索、删除等的操作的一或多个数据库、一或多个数据存储单元/模块/装置等。

在一些实施例中，偏影图像产生器312包括经配置以进行以下操作的软件、硬件、软件与硬件的组合等：经由双向数据流314接收观看者的观看方向数据；建立/确定随着时间的推移关于偏影视频内容将在其中呈现于观看者的图像呈现装置(或显示器装置)中的空间坐标系的观看者的观看方向(例如，针对两只眼睛的每一者等)；产生经编码有HDR源图像的每一者的多个图像部分及多个DM元数据部分的整体视频流等。不同DM元数据部分可在一时间点针对将在所述时间点呈现的HDR源图像的不同图像部分参考观看者的(例如，经确定的、经预测的、经估计的等)观看方向单独且专门地产生，且可在与HDR源图像中的不同图像部分一起递送的图像元数据集中经由双向数据流314(例如，直接或间接通过中间装置等)递送到下游装置。下游装置可表示视频流式传输客户端、显示器装置、存储装置、与目标显示器一起操作的视频解码器等。

另外，任选地或替代地，例如图像旋转确定、图像对准分析、场景切换检测、坐标系之间的变换、时间抑制、显示器管理、内容映射、色彩映射、视野管理等的图像处理操作中的一些或全部可由视频流式传输服务器300执行。

视频流式传输服务器300可用于支持实时沉浸式视频应用、近实时沉浸式视频应用、实时非沉浸式视频应用、近实时非沉浸式视频应用、非实时沉浸式视频应用、虚拟现实、增强现实、汽车娱乐、头盔安装式显示器应用、抬头显示器应用、游戏、2D显示器应用、3D显示器应用、多视图显示器应用等。举例来说，参考观看者的观看方向等产生的观看方向跟踪数据、多个图像部分及多个DM元数据部分中的一些或全部由视频流式传输服务器300实时、近实时等地产生或存取。

图3B说明包括偏影图像接收器316、观看方向跟踪器326、显示器管理器318、一或多个图像显示器(或一或多个目标显示器)320等的实例图像呈现系统324-1。图像呈现系统324-1的组件中的一些或全部可由一或多个装置、模块、单元等实施于软件、硬件、软件与硬件的组合等中。

在一些实施例中，偏影图像接收器316包括经配置以进行以下操作的软件、硬件、软件与硬件的组合等：经由双向数据流314发送观看者的观看方向跟踪数据，其可由视频流式传输服务器用于建立/确定随着关于偏影视频内容将在其中呈现在观看者的图像显示器320中的空间坐标系的时间的推移的观看者的观看方向；接收经编码有HDR源图像的每一者的多个图像部分及多个DM元数据部分的整体视频流；等。

用户可能在运行时移动用户的观看方向。在一些实施例中，观看方向跟踪器326包括经配置以产生随着时间的推移与观看者相关的观看方向数据的软件、硬件、软件与硬件的组合等。观看方向跟踪数据可在相对较精细时间尺度下(例如，每毫秒、每5毫秒等)经取样或测量。观看方向跟踪数据可用于建立/确定给定时间分辨率(例如，每毫秒、每5毫秒等)下观看者的观看方向。

在一些实施例中，图像呈现系统324-1经配置以产生将在用户的显示器上呈现的偏影视频内容。在一些实施例中，接收到的视频流中的偏影图像的多个图像部分可用DM操作基于对应DM元数据部分应用且经缝合/合成在一起以形成统一影像(或整个显示器映射图像)。去块操作、去轮廓操作、模糊操作等可作为合成将在用户的显示器上呈现的统一影像的一部分执行。

在一些实施例中，显示器管理器318包括经配置以进行以下操作的软件、硬件、软件与硬件的组合等：对将在图像显示器320上呈现的偏影视频内容执行DM操作以产生显示器映射偏影视频内容；将显示器映射偏影视频内容(例如，在HDMI信号等中)输出到图像显示器320以进行呈现等。

另外，任选地或替代地，例如观看方向跟踪、运动检测、位置检测、旋转确定、坐标系之间的变换、时变图像参数的时间抑制、图像参数的任何其它时间操纵、显示器管理、内容映射、色调映射、色彩映射、视野管理、预测、通过鼠标、轨迹球、键盘、足部跟踪器、实际身体运动的导航等的图像呈现操作中的一些或全部可由图像呈现系统324-1执行。

图像呈现系统324-1可用于支持实时沉浸式视频应用、近实时沉浸式视频应用、非实时沉浸式视频应用、实时非沉浸式视频应用、近实时非沉浸式视频应用、非实时非沉浸式视频应用、虚拟现实、增强现实、汽车娱乐、头盔安装式显示器应用、抬头显示器应用、游戏、2D显示器应用、3D显示器应用、多视图显示器应用等。举例来说，参考观看者的观看方向等产生的观看方向数据、多个图像部分及多个DM元数据部分中的一些或全部由图像呈现系统324-1实时、近实时等地产生或存取。

本文中所描述的技术可经实施于多种系统架构中。本文中所描述的一些或全部图像处理操作可由基于云的视频流式传输服务器、与视频流式传输客户端共同定位或并入到视频流式传输客户端中的视频流式传输服务器、图像呈现系统、图像呈现系统、显示器装置等中的一或多者实施。基于接收者装置的例如视频应用的类型、带宽/位速率预算、计算能力、资源、负载等、视频流式传输服务器及/或计算机网络等的计算能力、资源、负载等的一或多个因素，一些图像处理操作可由视频流式传输服务器执行，而一些其它图像处理操作可由视频流式传输客户端、图像呈现系统、显示器装置等执行。

图3C说明其中偏影图像产生器(例如312，等)并入到边缘视频流式传输服务器324-2中的实例配置。在一些实施例中，图3C的偏影图像处理器302可基于云。在一些实施例中，偏影图像处理器302可定位于与例如边缘视频流式传输服务器324-2的边缘装置分离的核心网络中。如在图3A中，偏影图像处理器302可包括HDR源图像接收器306、数据储存库310等。偏影图像处理器302可表示经由相对较高位速率与边缘视频流式传输服务器324-2通信的上游视频流式传输服务器。偏影图像处理器302及/或边缘视频流式传输服务器324-2的组件中的一些或全部可由一或多个装置、模块、单元等实施于软件、硬件、软件与硬件的组合等中。

在一些实施例中，偏影图像处理器302经配置以在数据流322中将HDR源图像输出到下游装置，所述下游装置中的一者可为边缘视频流式传输服务器324-2。

在一些实施例中，边缘视频流式传输服务器324-2或其中的偏影图像产生器312包括经配置以进行以下操作的软件、硬件、软件与硬件的组合等：确定关于偏影视频内容将在其中呈现于观看者的显示器装置中的空间坐标系的随着时间的推移的观看者的观看方向；产生经编码有HDR源图像中的每一者的多个图像部分及多个DM元数据部分的整体视频流等。不同DM元数据部分可在一时间点针对将在所述时间点呈现的HDR源图像中的不同图像部分参考观看者的(例如，经确定的、经预测的、经估计的等)观看方向单独且专门地产生，且可在与HDR源图像中的不同图像部分一起递送的图像元数据集中经由双向数据流314(例如，直接或间接通过中间装置等)递送到下游装置。

在一些实施例中，图像呈现装置(例如，324-1)或其中的显示器管理器(例如，图2B的318)包括经配置以进行以下操作的软件、硬件、软件与硬件的组合等：对将在一或多个图像显示器上呈现的偏影视频内容执行DM操作以产生显示器映射偏影视频内容；将显示器映射偏影视频内容(例如，在HDMI信号等中)输出到图像显示器以进行呈现；等。

观看者可在运行时移动观看者的观看方向。图像呈现系统324-2经配置以产生将在观看者的显示器装置上呈现的偏影视频内容。在一些实施例中，接收到的视频流中的偏影图像的多个图像部分可用DM操作基于对应DM元数据部分应用且经缝合或合成在一起以形成统一影像(或整个显示器映射图像)。去块操作、去轮廓操作、模糊操作等可作为合成将在用户的显示器上呈现的统一影像的一部分执行。

8.实例过程流

图4A说明根据本发明的实例实施例的实例过程流。在一些实例实施例中，一或多个计算装置或组件可执行此过程流。在框402中，偏影图像处理器(例如，图3A到图3C的视频流式传输服务器或视频流式传输客户端等)将一或多个第一偏影图像与一或多个第一图像元数据集一起流式传输到视频流式传输客户端。一或多个第一偏影图像及一或多个第一图像元数据集将由视频流式传输客户端用于产生一或多个第一显示器映射图像以在一或多个第一时间点向观看者呈现。一或多个第一偏影图像及一或多个第一图像元数据集参考在一或多个第一时间点观看者的一或多个第一观看方向从一或多个第一高动态范围(HDR)源图像产生。

在框404中，偏影图像处理器(例如，图3A到图3C的视频流式传输服务器或视频流式传输客户端等)接收在观看者正在观看一或多个第一显示器映射图像时实时收集的观看者的观看方向数据的至少一部分。观看方向数据用于确定在一或多个第一时间点之后的第二时间点观看者的第二观看方向。

在框406中，偏影图像处理器参考在第二时间点观看者的第二观看方向从第二HDR源图像产生第二偏影图像及第二图像元数据集。第二偏影图像及第二图像元数据集将由视频流式传输客户端用于产生第二显示器映射图像以在第二时间点向观看者呈现。第二偏影图像具有覆盖观看者的第二观看方向的焦点视觉偏影图像部分及所述焦点视觉图像部分外的周边视觉偏影图像部分。第二图像元数据集包括单独且专门地经产生用于将焦点视觉偏影图像部分调适到第二显示器映射图像中的焦点视觉显示器映射图像部分的焦点视觉显示器管理(DM)元数据部分。第二图像元数据集包括单独且专门地经产生用于将周边视觉偏影图像部分调适到第二显示器映射图像中的周边视觉显示器映射图像部分的周边视觉DM元数据部分。

在框408中，偏影图像处理器将第二偏影图像及第二图像元数据集传输到视频流式传输客户端。

在实施例中，偏影图像处理器进一步经配置以执行：接收识别第三HDR源图像中的第三焦点视觉图像部分的用户输入(例如，从调色师、导演等)，所述第三HDR源图像用于产生第三偏影图像；从基于第三HDR源图像中的用户输入所识别的第三焦点视觉图像部分产生第三焦点视觉偏影图像部分；产生将由视频流式传输客户端用于将第三焦点视觉偏影图像部分调适到第三显示器映射图像中的第三焦点视觉显示器映射图像部分以在第三时间点呈现的第三焦点视觉DM元数据部分；将第三偏影图像及包含第三焦点视觉DM元数据的第三图像元数据集传输到视频流式传输客户端；等。

在实施例中，偏影图像处理器进一步经配置以执行：至少部分基于观看方向数据确定观看者适应新的光适应水平的适应时间；使对应于偏影图像中的焦点视觉偏影图像部分中的新的光适应水平的流式传输完整图像细节延迟直到所述适应时间过去。

在实施例中，所述适应时间在伴随传输到所述视频流式传输客户端的所述偏影图像中的至少一者的图像元数据集中指定。

在实施例中，焦点视觉DM元数据指定表示于焦点视觉偏影图像部分中的所有像素之中的焦点视觉特定最大(例如，峰值、上限等)亮度值，而无需识别焦点视觉偏影图像部分中的哪一像素与焦点视觉特定最大亮度值相关联；周边视觉DM元数据指定表示于周边视觉偏影图像部分中的所有像素之中的周边视觉特定最大亮度值，而无需识别周边视觉图像部分中的哪一像素与周边视觉特定最大亮度值相关联；焦点视觉特定最大亮度值不同于周边视觉特定最大亮度值。

在实施例中，所述焦点视觉DM元数据部分用于将参考传递函数调适成将应用于产生所述焦点视觉显示器映射图像部分的焦点视觉特定传递函数；所述周边视觉DM元数据用于将所述相同参考传递函数调适成将应用于产生所述周边视觉显示器映射图像部分的周边视觉特定传递函数；所述焦点视觉特定传递函数将以与所述周边视觉特定传递函数不同的方式映射至少一个输入码字。

在实施例中，表示于所述参考传递函数中的灰度级别对应于可编码于所述第二HDR源图像中的色彩空间的亮度通道中的最细微的可感知图像细节。

在实施例中，所述第二图像元数据集进一步包含用于将所述相同参考传递函数调适成将应用于在所述第二显示器映射图像中产生除了所述焦点视觉显示器映射图像部分及所述周边视觉显示器映射图像部分之外的另一图像部分的另一传递函数的其它DM元数据；另一传递函数不同于所述焦点视觉特定传递函数及所述周边视觉特定传递函数两者。

在实施例中，所述相同参考传递函数经应用于参考参考目标显示器将编码于所述第二HDR源图像中的所有亮度值都映射到对应灰度级别。

在实施例中，所述相同参考传递函数经应用于参考参考目标显示器将编码于所述第二HDR源图像的视口中的所有亮度值都映射到对应灰度级别。

在实施例中，所述偏影图像处理器进一步经配置以执行：预测在所述第二时间点的所述观看者的光适应水平；确定所述观看者的预测光适应水平是否与将适应的光度级相当；响应于确定所述观看者的预测光适应水平与所述将适应的光度级相当，将编码于所述第二HDR源图像的第一图像部分中的最细微的可感知图像细节保持于所述第二偏影图像的所述焦点视觉偏影图像部分中，所述第二HDR源图像的所述第一图像部分用于导出所述第二偏影图像的所述焦点视觉偏影图像部分。

如本文中使用，视频流式传输客户端处的光适应水平可基于光级信息经平移、映射、估计、近似等到偏影图像、HDR源图像中的区、图像部分、图像区域等的加权聚合光级。

在实施例中，所述偏影图像处理器进一步经配置以执行：预测在所述第二时间点的所述观看者的光适应水平；确定所述观看者的预测光适应水平是否与将适应的光度级相当；响应于确定所述观看者的预测光适应水平(例如，关于观看者的目标显示器的光适应水平等)与所述将适应的光度级相当，将最细微的可感知图像细节与对应于所述第二HDR源图像的第一图像部分中的所述观看者的预测光适应水平的特定光级(例如，针对用于编码偏影图像中的参考显示器的经平移光适应水平等)附近的光级保持于所述第二偏影图像的所述焦点视觉偏影图像部分中，所述第二HDR源图像的所述第一图像部分用于导出所述第二偏影图像的所述焦点视觉偏影图像部分。

在实施例中，偏影图像处理器进一步经配置以在所述焦点视觉偏影图像部分中剪辑编码于所述第二HDR源图像的所述第一图像部分中的一或多个亮度值。

在实施例中，所述一或多个第一显示器映射图像中的至少一者的焦点视觉显示器映射图像部分表示所述观看者的光适应的源区；所述第二显示器映射图像的所述焦点视觉显示器映射图像部分表示所述观看者的光适应的目标区。

在实施例中，所述第二HDR源图像表示以下各者中的一者：沉浸式图像、全景图像、增强现实图像、虚拟现实图像、远程呈现图像等。

在实施例中，焦点视觉DM元数据部分指定以下各者中的一或多者：所述焦点视觉偏影图像部分中的所述观看者的预测光适应水平、焦点视觉特定最大亮度值、焦点视觉特定最小亮度值、焦点视觉特定平均亮度值、焦点视觉特定白点等。

在实施例中，周边视觉DM元数据部分指定以下各者中的一或多者：所述周边视觉偏影图像部分中的周边视觉特定最大亮度值、周边视觉特定最小亮度值、周边视觉特定平均亮度值、周边视觉特定白点等。

在实施例中，一或多个第一时间点及第二时间点共同表示覆盖时间间隔的连续时间点；观看者的焦点视觉中的光度级不同于相对明亮光度级(例如，基于显示器映射图像、偏影图像或源图像等确定或估计)；第二HDR源图像中的第一图像部分对应于第二偏影图像中的焦点视觉偏影图像部分；表示于第二偏影图像中的焦点视觉偏影图像部分中的暗级的总数目相对于表示于第二HDR源图像中的第一图像部分中的源暗级的总数目减小。

在实施例中，一或多个第一时间点及第二时间点共同表示覆盖时间间隔的连续时间点；观看者的焦点视觉中的光度级根据不同于明亮光度级(例如，基于显示器映射图像、偏影图像或源图像等确定或估计)；第二HDR源图像中的第一图像部分对应于第二偏影图像中的焦点视觉偏影图像部分；表示于第二偏影图像中的焦点视觉偏影图像部分中的亮度级的总数目相对于表示于第二HDR源图像中的第一图像部分中的源亮度级的总数目减小。

在实施例中，偏影图像处理器进一步经配置以执行：确定随着时间的推移变化(例如，时间变化等)的所述观看者的光适应水平；使用随着时间的推移改变的所述观看者的光适应水平预测第二时间点的观看者的光适应水平；产生焦点视觉DM元数据部分与第二时间点的观看者的预测光适应水平。

在实施例中，观看者的光适应水平包括：所述一或多个第一时间点的所述观看者的一或多个第一预测光适应水平；所述一或多个第一预测光适应水平至少部分基于在所述一或多个第一时间点的所述观看者的一或多个第一观看方向及所述一或多个第一显示器映射图像中的一或多个第一焦点视觉图像部分确定。

在实施例中，第二显示器映射图像中的第二焦点视觉图像部分覆盖观看者的中心凹视觉高达最大线性角值：在2与4度之间、在4与6度之间、在6与8度之间等。

图4B说明根据本发明的实例实施例的实例过程流。在一些实例实施例中，一或多个计算装置或组件可执行此过程流。在框452中，视频流式传输客户端(例如，图3B的图像呈现系统等)在一或多个第一时间点向观看者呈现一或多个第一显示器映射图像。一或多个第一显示器映射图像从自视频流式传输服务器接收的一或多个第一偏影图像及一或多个第一图像元数据集产生。一或多个第一偏影图像及一或多个第一图像元数据集由视频流式传输服务器参考一或多个第一时间点观看者的一或多个第一观看方向从一或多个第一高动态范围(HDR)源图像产生。

在框454中，视频流式传输客户端实时收集在观看者正在观看一或多个第一显示器映射图像时收集的观看者的观看方向数据。观看方向数据用于确定一或多个第一时间点之后的第二时间点观看者的第二观看方向。

在框456中，视频流式传输客户端将观看方向数据的至少一部分发送到视频流式传输服务器以致使视频流式传输服务器参考第二时间点观看者的第二观看方向从第二HDR源图像产生第二偏影图像及第二图像元数据集。第二偏影图像及第二图像元数据集将用于产生第二显示器映射图像以在第二时间点向观看者呈现。第二偏影图像具有覆盖观看者的第二观看方向的焦点视觉偏影图像部分及所述焦点视觉图像部分外的周边视觉偏影图像部分。第二图像元数据集包括单独且专门地经产生用于将焦点视觉偏影图像部分调适到第二显示器映射图像中的焦点视觉显示器映射图像部分的焦点视觉显示器管理(DM)元数据部分。第二图像元数据集包括单独且专门地经产生用于将周边视觉偏影图像部分调适到第二显示器映射图像中的周边视觉显示器映射图像部分的周边视觉DM元数据部分。

在框458中，视频流式传输客户端从视频流式传输服务器接收第二偏影图像及第二图像元数据集。

在框460中，视频流式传输客户端从第二偏影图像产生第二显示器映射图像。

在框462中，视频流式传输客户端在第二时间点向观看者呈现第二显示器映射图像。

在实施例中，视频流式传输客户端进一步经配置以执行：至少部分基于观看方向数据确定观看者适应新的光适应水平的适应时间；使对应于偏影图像中的焦点视觉偏影图像部分中的新的光适应水平的流式传输完整图像细节延迟直到所述适应时间过去。

在实施例中，所述适应时间在运行时自动确定。

在实施例中，所述视频里客户端进一步经配置以使用相控光调制使额外光集中到所述第二显示器映射图像的所述焦点视觉图像部分中的一或多个特定像素。在实施例中，所述额外光经集中到所述第二显示器映射图像的所述焦点视觉图像部分中的所述一或多个特定像素同时使来自未在所述焦点视觉图像部分中的所述第二显示器映射图像中的一或多个其它像素的光转向。

在实施例中，所述视频流式传输客户端进一步经配置以执行：监测与所述一或多个第一显示器映射图像及所述第二显示器映射图像经呈现在其上的目标显示器相关联的环境光级；使用所述环境光级对用于将至少一个偏影图像映射到将在所述目标显示器上呈现的至少一个显示器图像的一或多个传递函数作出调整。

在实施例中，所述一或多个第一显示器映射图像及所述第二显示器映射图像在经配置有包含以下各者中的一或多者的调光能力的目标显示器上呈现：全局调光能力、局部调光能力或低计数调光能力。

在各个实例实施例中，一种设备、系统、设备或一或多个其它计算装置执行所描述的前述方法中的任一者或一部分。在实施例中，一种存储当由一或多个处理器执行时致使执行本文中所描述的方法的软件指令的非暂时性计算机可读存储媒体。

注意，尽管本文中讨论了单独的实施例，但本文中论述的实施例及/或部分实施例的任何组合可经组合以形成另外实施例。

9.实施机构-硬件概述

根据一个实施例，本文中描述的技术由一或多个专用计算装置实施。专用计算装置可经硬接线以执行所述技术，或可包含永久经编程以执行所述技术的数字电子装置，例如一或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或可包含经编程以依据固件、存储器、其它存储装置或组合中的程序指令执行所述技术的一或多个通用硬件处理器。此类专用计算装置还可组合定制硬接线逻辑、ASIC或FPGA与定制编程以实现所述技术。专用计算装置可为桌面计算机系统、便携式计算机系统、手持式装置、联网装置或并入硬接线及/或程序逻辑以实施所述技术的任何其它装置。

举例来说，图5是说明可在其上实施本发明的实例实施例的计算机系统500的框图。计算机系统500包含用于传达信息的总线502或其它通信机构及与总线502耦合以处理信息的硬件处理器504。硬件处理器504可为例如通用微处理器。

计算机系统500还包含耦合到总线502以存储将由处理器504执行的信息及指令的主存储器506，例如随机存取存储器(RAM)或另一动态存储装置。主存储器506还可用于在执行将由处理器504执行的指令期间存储临时变量或其它中间信息。此类指令当存储于处理器504可存取的非暂时性存储媒体中时将计算机系统500呈现为经定制以执行指定于指令中的操作的专用机器。

计算机系统500进一步包含只读存储器(ROM)508或耦合到总线502以用于存储处理器504的静态信息及指令的另一静态存储装置。

例如磁盘或光盘、固态RAM的存储装置510经提供且耦合到总线502以存储信息及指令。

计算机系统500可经由总线502耦合到显示器512，例如液晶显示器，以向计算机用户显示信息。包含字母数字及其它按键的输入装置514耦合到总线502以将信息及命令选择传达给处理器504。另一类型的用户输入装置是用于将方向信息及命令选择传达给处理器504且用于控制光标在显示器512上的移动的光标控件516，例如鼠标、轨迹球或光标方向按键。此输入装置通常在第一轴(例如x)及第二轴(例如y)的两个轴中具有两个自由度，此允许装置指定平面中的位置。

计算机系统500可使用结合计算机系统致使计算机系统500成为专用机器或将计算机系统500编程为专用机器的定制硬接线逻辑、一或多个ASIC或FPGA、固件及/或程序逻辑实施本文中描述的技术。根据一个实施例，本文中的技术由计算机系统500响应于处理器504执行主存储器506中所含的一或多个指令的一或多个序列而执行。此类指令可从例如存储装置510的另一存储媒体读取到主存储器506中。主存储器506中所含的指令序列的执行致使处理器504执行本文中描述的过程步骤。在替代实施例中，硬接线电路系统可代替软件指令或与软件指令组合使用。

本文中所使用的术语“存储媒体”是指存储致使机器以特定方式操作的数据及/或指令的任何非暂时性媒体。此类存储媒体可包括非易失性媒体及/或易失性媒体。非易失性媒体包含例如光盘或磁盘，例如存储装置510。易失性媒体包含动态存储器，例如主存储器506。常见形式的存储媒体包含例如软盘(floppy disk/flexible disk)、硬盘、固态驱动器、磁带或任何其它磁性数据存储媒体、CD-ROM、任何其它光学数据存储媒体、具有穿孔模式的任何物理媒体、RAM、PROM及EPROM、FLASH-EPROM、NVRAM、任何其它存储器芯片或卡匣。

存储媒体不同于传输媒体但可结合传输媒体使用。传输媒体参与在存储媒体之间传送信息。举例来说，传输媒体包含同轴电缆、铜线及光纤光学器件，包含包括总线502的线。传输媒体还可采用声波或光波的形式，例如在无线电波及红外数据通信期间产生的声波或光波。

将一或多个指令的一或多个序列载送到处理器504以供执行可涉及各种形式的媒体。举例来说，指令最初可在远程计算机的磁盘或固态驱动器上载送。远程计算机可将指令加载到其动态存储器中及使用调制解调器经由电话线发送指令。在计算机系统500本地的调制解调器可接收电话线上的数据及使用红外传输器将数据转换成红外信号。红外检测器可接收红外信号中载送的数据，且适当电路系统可将数据放置在总线502上。总线502将数据载送到主存储器506，处理器504从主存储器506检索及执行指令。由主存储器506接收的指令可任选地在由处理器504执行之前或之后经存储在存储装置510上。

计算机系统500还包含耦合到总线502的通信接口518。通信接口518提供到连接到本地网络522的网络链路520的双向两通数据通信耦合。举例来说，通信接口518可为集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或将数据通信连接提供到对应类型的电话线的调制解调器等。作为另一实例，通信接口518可为提供到兼容LAN的数据通信连接的局域网(LAN)卡。还可实施无线链路。在任何此实施方案中，通信接口518发送及接收载送表示各种类型的信息的数字数据流的电信号、电磁信号或光学信号。

网络链路520通常提供通过一或多个网络到其它数据装置的数据通信。举例来说，网络链路520可提供通过本地网络522到主机计算机524或由因特网服务提供商(ISP)526操作的数据设备的连接。ISP 526又提供通过现在通常称为“因特网”528的全球分组数据通信网络的数据通信服务。本地网络522及因特网528两者都使用载送数字数据流的电信号、电磁信号或光学信号。将数字数据载送到计算机系统500且载送来自计算机系统500的数字数据的通过各个网络的信号及在网络链路520上且通过通信接口518的信号是传输媒体的实例形式。

计算机系统500可通过网络、网络链路520及通信接口518发送消息及接收数据，包含程序代码。在因特网实例中，服务器530可通过因特网528、ISP 526、本地网络522及通信接口518传输针对应用程序请求的代码。

接收到的代码可由处理器504执行，这是因为所述代码经接收及/或存储于存储装置510或其它非易失性存储装置中以供稍后执行。

10.等效物、扩展、替代物及其他

在前述说明书中，已参考可根据实施方案的不同而不同的众多特定细节描述了本发明的实例实施例。因此，本发明的内容及申请人所期望的本发明的内容的唯一且排他性指示是从本申请案发出的权利要求集，其呈发出此类权利要求的特定形式，包含任何后续更正。本文中针对此类权利要求中所包含的术语的明确陈述的任何定义均应支配权利要求中所使用的此类术语的含义。因此，在权利要求书中没有明确叙述的任何限制、要素、性质、特征、优点或属性都不应以任何方式限制此权利要求书的范围。因此，说明书及附图应被认为是说明性的而不是限制性的。

枚举的示范性实施例

本发明可已本文中描述的形式中的任一者体现，包含(但不限于)描述本发明的一些部分的结构、特征及功能性的下文枚举的实例实施例(EEE)。

EEE 1.一种用于流式传输视频的方法，其包括：

使一或多个第一偏影图像与一或多个第一图像元数据集流式传输到视频流式传输客户端，所述一或多个第一偏影图像及所述一或多个第一图像元数据集将由所述视频流式传输客户端用于产生用于在一或多个第一时间点向观看者呈现的一或多个第一显示器映射图像，所述一或多个第一偏影图像及所述一或多个第一图像元数据集参考在所述一或多个第一时间点的所述观看者的一或多个第一观看方向从一或多个第一高动态范围(HDR)源图像产生；

接收在所述观看者正在观看所述一或多个第一显示器映射图像时实时收集的所述观看者的观看方向数据的至少一部分，所述观看方向数据用于确定在所述一或多个第一时间点之后的第二时间点的所述观看者的第二观看方向；

参考在所述第二时间点的所述观看者的所述第二观看方向从第二HDR源图像产生第二偏影图像及第二图像元数据集，所述第二偏影图像及所述第二图像元数据集将由所述视频流式传输客户端用于产生用于在所述第二时间点向所述观看者呈现的第二显示器映射图像，所述第二偏影图像具有覆盖所述观看者的所述第二观看方向的焦点视觉偏影图像部分及在所述焦点视觉图像部分以外的周边视觉偏影图像部分，所述第二图像元数据集包括单独且专门经产生用于将所述焦点视觉偏影图像部分调适到所述第二显示器映射图像中的焦点视觉显示器映射图像部分的焦点视觉显示器管理(DM)元数据部分，所述第二图像元数据集包括单独且专门经产生用于将所述周边视觉偏影图像部分调适到所述第二显示器映射图像中的周边视觉显示器映射图像部分的周边视觉DM元数据部分；

将所述第二偏影图像及所述第二图像元数据集传输到所述视频流式传输客户端。

EEE 2.根据EEE 1所述的方法，其进一步包括：

接收识别第三HDR源图像中的第三焦点视觉图像部分的用户输入，其中所述第三HDR源图像用于产生第三偏影图像；

从基于所述第三HDR源图像中的所述用户输入所识别的所述第三焦点视觉图像部分产生第三焦点视觉偏影图像部分；

产生将由所述视频流式传输客户端使用以将所述第三焦点视觉偏影图像部分调适到用于在第三时间点呈现的第三显示器映射图像中的第三焦点视觉显示器映射图像部分的第三焦点视觉DM元数据部分；

将所述第三偏影图像及包含所述第三焦点视觉DM元数据的第三图像元数据集传输到所述视频流式传输客户端。

EEE 3.根据EEE1或2所述的方法，其进一步包括：

至少部分基于所述观看方向数据，确定所述观看者适应新的光适应水平的适应时间；

使对应于偏影图像中的焦点视觉偏影图像部分中的所述新的光适应水平的流式传输完整图像细节延迟直到所述适应时间过去。

EEE 4.根据任一前述EEE所述的方法，其中所述适应时间在伴随传输到所述视频流式传输客户端的所述偏影图像中的至少一者的图像元数据集中指定。

EEE 5.根据任一前述EEE所述的方法，其中所述焦点视觉DM元数据指定表示于所述焦点视觉偏影图像部分中的所有像素之中的焦点视觉特定最大亮度值，而无需识别所述焦点视觉偏影图像部分中的哪一像素与所述焦点视觉特定最大亮度值相关联，其中所述周边视觉DM元数据指定表示于所述周边视觉偏影图像部分中的所有像素之中的周边视觉特定最大亮度值，而无需识别所述周边视觉图像部分中的哪一像素与所述周边视觉特定最大亮度值相关联，且其中所述焦点视觉特定最大亮度值不同于所述周边视觉特定最大亮度值。

EEE 6.根据任一前述EEE所述的方法，其中所述焦点视觉DM元数据部分用于将参考传递函数调适成将应用于产生所述焦点视觉显示器映射图像部分的焦点视觉特定传递函数，其中所述周边视觉DM元数据用于将所述相同参考传递函数调适成将应用于产生所述周边视觉显示器映射图像部分的周边视觉特定传递函数，且其中所述焦点视觉特定传递函数以所述周边视觉特定传递函数不同的方式映射至少一个输入码字。

EEE 7.根据EEE 6所述的方法，其中表示于所述参考传递函数中的灰度级别对应于可编码于所述第二HDR源图像中的色彩空间的亮度通道中的最细微的可感知图像细节。

EEE 8.根据EEE 6或7所述的方法，其中所述第二图像元数据集进一步包含用于将所述相同参考传递函数调适成将应用于在所述第二显示器映射图像中产生除了所述焦点视觉显示器映射图像部分及所述周边视觉显示器映射图像部分之外的另一图像部分的另一传递函数的其它DM元数据，且其中另一传递函数不同于所述焦点视觉特定传递函数及所述周边视觉特定传递函数两者。

EEE 9.根据EEE 6到8中任一EEE所述的方法，其中所述相同参考传递函数经应用于参考参考目标显示器将编码于所述第二HDR源图像中的所有亮度值都映射到对应灰度级别。

EEE 10.根据EEE 6到9中任一EEE所述的方法，其中所述相同参考传递函数经应用于参考参考目标显示器将编码于所述第二HDR源图像的视口中的所有亮度值都映射到对应灰度级别。

EEE 11.根据任一前述EEE所述的方法，其进一步包括：

预测在所述第二时间点的所述观看者的光适应水平；

确定所述观看者的预测光适应水平是否与将适应的亮度级相当；

响应于确定所述观看者的预测光适应水平与所述将适应的亮度级相当，将编码于所述第二HDR源图像的第一图像部分中的最细微的可感知图像细节保持于所述第二偏影图像的所述焦点视觉偏影图像部分中，其中所述第二HDR源图像的所述第一图像部分用于导出所述第二偏影图像的所述焦点视觉偏影图像部分。

EEE 12.根据任一前述EEE所述的方法，其进一步包括：

预测在所述第二时间点的所述观看者的光适应水平；

确定所述观看者的预测光适应水平是否与将适应的光度级相当；

响应于确定所述观看者的预测光适应水平与所述将适应的光度级相当，将最细微的可感知图像细节与对应于所述第二HDR源图像的第一图像部分中的所述观看者的预测光适应水平的特定光级附近的光级保持于所述第二偏影图像的所述焦点视觉偏影图像部分中，其中所述第二HDR源图像的所述第一图像部分用于导出所述第二偏影图像的所述焦点视觉偏影图像部分。

EEE 13.根据EEE 12所述的方法，其进一步包括：

在所述焦点视觉偏影图像部分中剪辑编码于所述第二HDR源图像的所述第一图像部分中的一或多个亮度值。

EEE 14.根据任一前述EEE所述的方法，其中所述一或多个第一显示器映射图像中的至少一者的焦点视觉显示器映射图像部分表示所述观看者的光适应的源区，且其中所述第二显示器映射图像的所述焦点视觉显示器映射图像部分表示所述观看者的光适应的目标区。

EEE 15.根据任一前述EEE所述的方法，其中所述第二HDR源图像表示以下各者中的一者：沉浸式图像、全景图像、增强现实图像、虚拟现实图像或远程呈现图像。

EEE 16.根据任一前述EEE所述的方法，其中所述焦点视觉DM元数据部分指定以下各者中的一或多者：所述焦点视觉偏影图像部分中的所述观看者的预测光适应水平、焦点视觉特定最大亮度值、焦点视觉特定最小亮度值、焦点视觉特定平均亮度值、或焦点视觉特定白点。

EEE 17.根据任一前述EEE所述的方法，其中所述周边视觉DM元数据部分指定以下各者中的一或多者：所述周边视觉偏影图像部分中的周边视觉特定最大亮度值、周边视觉特定最小亮度值、周边视觉特定平均亮度值、或周边视觉特定白点。

EEE 18.根据任一前述EEE所述的方法，其中所述一或多个第一时间点及所述第二时间点共同表示覆盖时间间隔的连续时间点，其中所述观看者的焦点视觉中的光度级不同于相对明亮光度级，其中所述第二HDR源图像中的第一图像部分对应于所述第二偏影图像中的所述焦点视觉偏影图像部分，其中表示于所述第二偏影图像中的所述焦点视觉偏影图像部分中的暗级的总数目相对于表示于所述第二HDR源图像中的所述第一图像部分中的源暗级的总数目减小。

EEE 19.根据任一前述EEE所述的方法，其中所述一或多个第一时间点及所述第二时间点共同表示覆盖时间间隔的连续时间点，其中所述观看者的焦点视觉中的光度级不同于相对明亮光度级，其中所述第二HDR源图像中的第一图像部分对应于所述第二偏影图像中的所述焦点视觉偏影图像部分，其中表示于所述第二偏影图像中的所述焦点视觉偏影图像部分中的亮度级的总数目相对于表示于所述第二HDR源图像中的所述第一图像部分中的源亮度级的总数目减小。

EEE 20.根据任一前述EEE所述的方法，其进一步包括：

确定随着时间的推移改变的所述观看者的光适应水平；

使用随着时间的推移改变的所述观看者的光适应水平预测所述第二时间点的所述观看者的光适应水平；

在所述第二时间点的所述观看者的预测光适应水平下产生所述焦点视觉DM元数据部分。

EEE 21.根据EEE 20所述的方法，其中所述观看者的光适应水平包括：所述一或多个第一时间点的所述观看者的一或多个第一预测光适应水平，且其中所述一或多个第一预测光适应水平至少部分基于在所述一或多个第一时间点的所述观看者的一或多个第一观看方向及所述一或多个第一显示器映射图像中的一或多个第一焦点视觉图像部分确定。

EEE 22.根据任一前述EEE所述的方法，其中所述第二显示器映射图像中的所述第二焦点视觉图像部分覆盖所述观看者的中心凹视觉高达最大线性角值：在2与4度之间、在4与6度之间、或在6与8度之间。

EEE 23.一种用于流式传输视频的方法，其包括：

向观看者呈现一或多个第一时间点的一或多个第一显示器映射图像，所述一或多个第一显示器映射图像从自视频流式传输服务器接收的一或多个第一偏影图像及所述一或多个第一图像元数据集产生，所述一或多个第一偏影图像及所述一或多个第一图像元数据集参考由所述视频流式传输服务器参考所述一或多个第一时间点的所述观看者的一或多个第一观看方向从一或多个第一高动态范围(HDR)源图像产生；

实时收集在所述观看者正在观看所述一或多个第一显示器映射图像时收集的所述观看者的观看方向数据，所述观看方向数据用于确定在所述一或多个第一时间点之后的第二时间点的所述观看者的第二观看方向；

将所述观看方向数据的至少一部分发送到所述视频流式传输服务器以致使所述视频流式传输服务器参考在所述第二时间点的所述观看者的所述第二观看方向从第二HDR源图像产生第二偏影图像及第二图像元数据集，所述第二偏影图像及所述第二图像元数据集用于产生用于在所述第二时间点向所述观看者呈现的第二显示器映射图像，所述第二偏影图像具有覆盖所述观看者的所述第二观看方向的焦点视觉偏影图像部分及在所述焦点视觉图像部分以外的周边视觉偏影图像部分，所述第二图像元数据集包括单独且专门经产生用于将所述焦点视觉偏影图像部分调适到所述第二显示器映射图像中的焦点视觉显示器映射图像部分的焦点视觉显示器管理(DM)元数据部分，所述第二图像元数据集包括单独且专门经产生用于将所述周边视觉偏影图像部分调适到所述第二显示器映射图像中的周边视觉显示器映射图像部分的周边视觉DM元数据部分；

从所述视频流式传输服务器接收所述第二偏影图像及所述第二图像元数据集；

从所述第二偏影图像产生所述第二显示器映射图像；

在所述第二时间点向所述观看者呈现所述第二显示器映射图像。

EEE 24.根据EEE 23所述的方法，其进一步包括：

EEE 25.根据EEE 24所述的方法，其中所述适应时间在运行时自动确定。

EEE 26.根据EEE 23到25中任一EEE所述的方法，其进一步包括：使用相控光调制使额外光集中到所述第二显示器映射图像的所述焦点视觉图像部分中的一或多个特定像素。

EEE 27.根据EEE 26所述的方法，其中所述额外光经集中到所述第二显示器映射图像的所述焦点视觉图像部分中的所述一或多个特定像素同时使来自未在所述焦点视觉图像部分中的所述第二显示器映射图像中的一或多个其它像素的光转向。

EEE 28.根据EEE 23到27中任一EEE所述的方法，其进一步包括：

监测与所述一或多个第一显示器映射图像及所述第二显示器映射图像经呈现在其上的目标显示器相关联的环境光级；

使用所述环境光级对用于将至少一个偏影图像映射到将在所述目标显示器上呈现的至少一个显示器图像的一或多个传递函数作出调整。

EEE 29.根据EEE 23到28中任一EEE所述的方法，其中所述一或多个第一显示器映射图像及所述第二显示器映射图像在经配置有包含以下各者中的一或多者的调光能力的目标显示器上呈现：全局调光能力、局部调光能力或低计数调光能力。

EEE 30.一种执行根据EEE 1到29中所述的方法中的任一者的设备。

EEE 31.一种执行根据EEE 1到29中所述的方法中的任一者的系统。

EEE 32.一种存储当由一或多个处理器执行时致使执行根据EEE 1到29中任一者所述的方法的软件指令的非暂时性计算机可读存储媒体。

EEE 33.一种包括一或多个处理器及一或多个存储媒体的计算装置，所述一或多个存储媒体存储当由一或多个处理器执行时致使执行根据EEE 1到29中任一者所述的方法的一组指令。

Claims

1.一种用于流式传输视频的方法，其包括：

使一或多个第一偏影图像与一或多个第一图像元数据集流式传输到视频流式传输客户端，所述一或多个第一偏影图像及所述一或多个第一图像元数据集将由所述视频流式传输客户端用于产生用于在一或多个第一时间点向观看者呈现的一或多个第一显示器映射图像，所述一或多个第一偏影图像及所述一或多个第一图像元数据集参考在所述一或多个第一时间点的所述观看者的一或多个第一观看方向从一或多个第一高动态范围HDR源图像产生；

参考在所述第二时间点的所述观看者的所述第二观看方向从第二HDR源图像产生第二偏影图像及第二图像元数据集，所述第二偏影图像及所述第二图像元数据集将由所述视频流式传输客户端用于产生用于在所述第二时间点向所述观看者呈现的第二显示器映射图像，所述第二偏影图像具有覆盖所述观看者的所述第二观看方向的焦点视觉偏影图像部分及在所述焦点视觉偏影图像部分以外的周边视觉偏影图像部分，所述第二图像元数据集包括单独且专门经产生用于将所述焦点视觉偏影图像部分调适到所述第二显示器映射图像中的焦点视觉显示器映射图像部分的焦点视觉显示器管理DM元数据部分，所述第二图像元数据集包括单独且专门经产生用于将所述周边视觉偏影图像部分调适到所述第二显示器映射图像中的周边视觉显示器映射图像部分的周边视觉DM元数据部分，所述焦点视觉DM元数据部分针对所述第二时间点在所述观看者的预测光适应水平下产生；

将所述第二偏影图像及所述第二图像元数据集传输到所述视频流式传输客户端；

至少部分基于所述观看方向数据，确定所述观看者适应新的光适应水平的适应时间；以及

使对应于偏影图像中的焦点视觉偏影图像部分中的所述新的光适应水平的流式传输完整图像细节延迟直到所述适应时间过去，

其中所述适应时间在伴随传输到所述视频流式传输客户端的所述偏影图像中的至少一者的图像元数据集中指定。

2.根据权利要求1所述的方法，其进一步包括：

3.根据权利要求1或2所述的方法，其中针对所述第二时间点的所述观看者的光适应水平使用在所述一或多个第一时间点的所述观看者的一或多个第一预测光适应水平进行预测，且其中所述一或多个第一预测光适应水平至少部分基于在所述一或多个第一时间点的所述观看者的所述一或多个第一观看方向及所述一或多个第一显示器映射图像中的一或多个第一焦点视觉图像部分而确定。

4.根据权利要求1所述的方法，其中所述焦点视觉DM元数据部分用于将参考传递函数调适成将应用于产生所述焦点视觉显示器映射图像部分的焦点视觉特定传递函数，其中所述周边视觉DM元数据用于将相同参考传递函数调适成将应用于产生所述周边视觉显示器映射图像部分的周边视觉特定传递函数，且其中所述焦点视觉特定传递函数不同于所述周边视觉特定传递函数。

5.根据权利要求4所述的方法，其中在所述参考传递函数中表示的灰度级别对应于可编码于所述第二HDR源图像中的色彩空间的亮度通道中的最精细可感知图像细节。

6.根据权利要求4所述的方法，其中所述第二图像元数据集进一步包含用于将所述相同参考传递函数调适成将应用于在所述第二显示器映射图像中产生除了所述焦点视觉显示器映射图像部分及所述周边视觉显示器映射图像部分之外的另一图像部分的另一传递函数的其它DM元数据，且其中另一传递函数不同于所述焦点视觉特定传递函数及所述周边视觉特定传递函数两者。

7.根据权利要求4到6中任一权利要求所述的方法，其中所述相同参考传递函数经应用于参考参考目标显示器将编码于所述第二HDR源图像中的所有亮度值都映射到对应灰度级别。

8.根据权利要求4到6中任一权利要求所述的方法，其中所述相同参考传递函数经应用于参考参考目标显示器将编码于所述第二HDR源图像的视口中的所有亮度值都映射到对应灰度级别。

9.根据权利要求1、2和4-6中任一权利要求所述的方法，其进一步包括：

预测在所述第二时间点的所述观看者的光适应水平；

确定所述观看者的预测光适应水平是否处于与将适应的光度级相同的量级；

响应于确定所述观看者的预测光适应水平处于与所述将适应的光度级相同的量级，将编码于所述第二HDR源图像的第一图像部分中的最细微的可感知图像细节保持于所述第二偏影图像的所述焦点视觉偏影图像部分中，其中所述第二HDR源图像的所述第一图像部分用于导出所述第二偏影图像的所述焦点视觉偏影图像部分。

10.根据权利要求1、2和4-6中任一权利要求所述的方法，其进一步包括：

预测在所述第二时间点的所述观看者的光适应水平；

响应于确定所述观看者的预测光适应水平处于与所述将适应的光度级相同的量级，将最细微的可感知图像细节与对应于所述第二HDR源图像的第一图像部分中的所述观看者的预测光适应水平的特定光级附近的光级保持于所述第二偏影图像的所述焦点视觉偏影图像部分中，其中所述第二HDR源图像的所述第一图像部分用于导出所述第二偏影图像的所述焦点视觉偏影图像部分。

11.根据权利要求10所述的方法，其进一步包括：

12.根据权利要求1、2和4-6中任一权利要求所述的方法，其中所述一或多个第一显示器映射图像中的至少一者的焦点视觉显示器映射图像部分表示所述观看者的光适应的源区，且其中所述第二显示器映射图像的所述焦点视觉显示器映射图像部分表示所述观看者的光适应的目标区。

13.根据权利要求1、2和4-6中任一权利要求所述的方法，其中所述第二HDR源图像表示以下各者中的一者：沉浸式图像、全景图像、增强现实图像、虚拟现实图像或远程呈现图像。

14.根据权利要求1、2和4-6中任一权利要求所述的方法，其包括使用光适应曲线预测所述观看者的光适应水平。

15.根据权利要求14所述的方法，所述光适应曲线取决于所述观看者先前正在观看的源区的光级、所述观看者已经过的哪些中间区、所述观看者当前正在观看或预测在所述第二时间点当前正在观看的目标区的光级、所述观看者的焦点视觉在所述源区内的时间长度及所述观看者的焦点视觉在所述目标区内的时间长度中的任一者。

16.根据权利要求14所述的方法，其中所述光适应曲线针对不同图像上下文场景以不同方式预测所述观看者的光适应水平。

17.根据权利要求14所述的方法，其中所述光适应曲线是基于艺术家意图及/或用户输入。