CN107924560B - 基于锚定帧修改多帧图像的方法和装置 - Google Patents

Abstract

提供了一种方法、装置和计算机程序产品，用于使得图像内容以与相应的查看方向(诸如头戴式显示设备的用户的查看方向)相一致的方式来被调节。关于方法，确定多帧图像内的一个或多个第一锚定帧，确定相对于多帧图像的用户的查看方向，并且基于用户的查看方向标识至少一个第二锚定帧。该方法还包括基于一个或多个第一锚定帧以及至少一个第二锚定帧确定与查看方向相关的帧的一个或多个色调修改参数。此外，该方法基于一个或多个色调修改参数生成多个经修改的帧。还提供了相应的装置和计算机程序产品。

Description

基于锚定帧修改多帧图像的方法和装置

技术领域

示例实施例总体上涉及修改内容，并且更具体地涉及用于基于在多帧图像内标识的锚定帧来修改多帧图像的方法和装置。

背景技术

可以为了各种目的而生成全景图像。除了为了个人享受而创建的全景图像，诸如度假目的地、风景位置或事件的全景图像之外，全景图像可以被视频游戏或包括虚拟现实或增强现实应用的其他视觉沉浸技术利用。虽然全景图像可以以各种方式呈现，但是头戴式显示器耳机、立体护目镜、智能电话、便携式视频游戏机等可以被配置为显示全景图像。

全景图像可以根据从不同查看方向捕获的多个图像来生成，该多个图像被组合和拼接在一起以形成全景图像。由于用于形成全景图像的多个单独图像的组合，全景图像可能不会显得均匀，并且相反，各个图像的不同图像属性可能使得组成全景图像的各个图像容易地可区分。因此，图像修改系统已经被开发用于对组成全景图像的所有图像进行全局色调校正。尽管可用于混合全景图像的各个图像，但是这些系统倾向于减少或消除存在于现实世界中并且希望被保持在全景图像中的图像参数的局部变化，但是由于不同的色调而提供不均匀的色调波动和可见的视觉接缝。

发明内容

根据示例实施例提供了一种方法、装置和计算机程序产品，以便修改诸如全景图像的多帧图像的帧，以便混合帧，同时保留图像参数的至少一定程度的局部变化。因此，由用户查看的全景图像的帧子集的图像参数可以基于更局部的图像参数集合进行修改，从而用于在保持局部变化的同时对帧进行混合。因此，由于局部变化，诸如当应用于头戴式显示设备的上下文时，查看体验可以得到增强，因为在任何时刻，用户可以仅查看作为360°视图的子集的局部内容。

在示例实施例中，提供了一种方法，其包括确定多帧图像内的一个或多个第一锚定帧。这个示例实施例的方法还包括确定相对于多帧图像的用户的查看方向。这个示例实施例的方法还包括基于用户的查看方向标识至少一个第二锚定帧。这个示例实施例的方法还包括基于一个或多个第一锚定帧以及至少一个第二锚定帧，确定与查看方向相关的帧的一个或多个色调修改参数。因此，可以基于一个或多个色调修改参数来生成图像内容，诸如多个经修改的帧。

示例实施例的方法可以通过接收多个图像并且基于一个或多个图像属性的相似度将多个图像分类成多个子集来确定多帧图像内的一个或多个第一锚定帧。示例实施例的方法还可以包括通过以下操作来将多个图像分类成多个子集：分析由多个图像限定的多个颜色校正矩阵或多个自动白平衡参数；基于多个颜色校正矩阵或多个自动白平衡参数将多个图像集群成多个子集；以及将来自每个集群的相应图像标识为第一锚定帧。在示例实施例中，基于一个或多个色调修改参数生成多个经修改的帧包括使得多个经修改的帧由头戴式显示设备来显示。

示例实施例的方法可以通过以下操作来接收多个图像：接收关于预定义焦点的从多个方向捕获的一个或多个图像，以及组合多个图像以形成全景图像形式的多帧图像，其中一个或多个第一锚定帧以及至少一个第二锚定帧是多帧图像的不同图像。示例实施例的方法还可以包括：基于用户的查看方向限定查看方向范围；选择位于查看方向范围内的至少一个第二锚定帧；以及在查看方向范围之外和查看方向范围的相对侧中的每一侧选择至少一个第一锚定帧。在示例实施例中，该方法可以通过在查看方向范围的中央部分中选择至少一个第二锚定帧来选择位于查看方向范围内的至少一个第二锚定帧。示例实施例的方法可以通过基于在查看方向范围内的至少一个第二锚定帧以及在查看方向范围之外以及查看方向范围内的相应帧的与至少一个第二锚定帧相对的一侧的第一锚定帧确定用于相应帧的一个或多个色调修改参数，以确定一个或多个色调修改参数。在示例实施例中，该方法可以通过分别向第一多个锚定帧和第二多个锚定帧中的每个锚定帧动态地指派多个权重贡献因子来计算与查看方向相关联的多个色调修改参数。

在另一示例实施例中，提供了一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为利用处理器使得该装置确定多帧图像内的一个或多个第一锚定帧，以及确定相对于多帧图像的用户的查看方向。至少一个存储器和计算机程序代码还被配置为利用处理器使得这个示例实施例的装置基于用户的查看方向标识至少一个第二锚定帧。例如，可以基于一个或多个第一锚定帧以及至少一个第二锚定帧来确定与查看方向相关的帧的一个或多个色调修改参数。至少一个存储器和计算机程序代码还被配置为利用处理器使得这个示例实施例的装置基于一个或多个色调修改参数生成多个经修改的帧。

至少一个存储器和计算机程序代码还可以被配置为利用处理器使得示例实施例的装置通过接收多个图像并且基于一个或多个图像属性的相似度将多个图像分类成多个子集来确定多帧图像内的一个或多个第一锚定帧。至少一个存储器和计算机程序代码还可以被配置为利用处理器使得示例实施例的装置通过使得多个经修改的帧由头戴式显示设备来显示来基于一个或多个色调修改参数生成多个经修改的帧。在示例实施例中，至少一个存储器和计算机程序代码还可以被配置为利用处理器使得该装置基于用户的查看方向限定查看方向范围，选择位于查看方向范围内的至少一个第二锚帧，以及在查看方向范围之外和查看方向范围的相对侧中的每一侧选择至少一个第一锚定帧。在示例实施例中，至少一个存储器和计算机程序代码还可以被配置为利用处理器使得该装置通过基于在查看方向范围内的至少一个第二锚定以及在查看方向范围之外以及查看方向范围内的相应帧的与至少一个第二锚定帧相对的一侧的第一锚定帧确定查看方向范围内的相应帧的一个或多个色调修改参数，以确定一个或多个色调修改参数。在示例实施例中，至少一个存储器和计算机程序代码还可以被配置为利用处理器使得该装置通过分别向第一多个锚定帧和第二多个锚定帧中的每个锚定帧动态地指派多个权重贡献因子来计算与查看方向相关联的多个色调修改参数。

在另外的示例实施例中，提供了一种计算机程序产品，其包括存储有计算机可执行程序代码部分的至少一个非暂态计算机可读存储介质，计算机可执行程序代码部分包括用于以下操作的程序代码指令：确定多帧图像内的一个或多个第一锚定帧以及确定相对于多帧图像的用户的查看方向。这个示例实施例的计算机可执行程序代码部分还包括用于基于用户的查看方向标识至少一个第二锚定帧的程序代码指令。这个示例实施例的计算机可执行程序代码部分还包括用于基于一个或多个第一锚定帧以及至少一个第二锚定帧确定与查看方向相关的帧的一个或多个色调修改参数以及基于一个或多个色调修改参数生成多个经修改的帧的程序代码指令。

在示例实施例中，用于确定多帧图像内的一个或多个第一锚定帧的程序代码指令可以包括用于接收多个图像并且基于一个或多个图像属性的相似度将多个图像分类成多个子集的程序代码指令。

示例实施例的计算机可执行程序代码部分还可以包括用于基于用户的查看方向限定查看方向范围并且选择位于查看方向范围内的至少一个第二锚定帧的程序代码指令。这个示例实施例的计算机可执行程序代码部分还包括用于在查看方向范围之外和查看方向范围的相对侧中的每一侧选择至少一个第一锚定帧的程序代码指令。在示例实施例中，用于确定一个或多个色调修改参数的程序代码指令包括用于基于在查看方向范围内的至少一个第二锚定帧以及在查看方向范围之外以及查看方向范围内的相应帧的与至少一个第二锚定帧相对的一侧的第一锚定帧来确定相应帧的一个或多个色调修改参数的程序代码指令。在替代实施例中，用于计算与查看方向相关联的多个色调修改参数的程序代码指令可以包括用于分别向第一多个锚定帧和第二多个锚定帧中的每个锚定帧动态地指派多个权重贡献因子的程序代码指令。

在又一示例实施例中，提供了一种装置，其包括用于确定多帧图像内的一个或多个第一锚定帧的部件。这个示例实施例的装置还包括用于确定相对于多帧图像的用户的查看方向的部件。这个示例实施例的装置还包括用于基于用户的查看方向标识至少一个第二锚定帧的部件。这个示例实施例的装置还包括用于基于一个或多个第一锚定帧以及至少一个第二锚定帧确定与查看方向相关的帧的一个或多个色调修改参数的部件。这样，可以基于一个或多个色调修改参数来生成图像内容，诸如多个经修改的帧。

附图说明

已经由此一般性地描述了本发明的某些实施例，现在将参考附图，附图不一定按比例绘制，并且在附图中：

图1描绘了根据本发明的示例实施例的结合图像修改使用的全景图像内的查看方向范围；

图2描绘了根据本发明的示例实施例的关于查看方向的锚定帧的图；

图3示出了可以根据本发明的示例实施例来具体配置的装置的简化框图；

图4是示出根据本发明的示例实施例的诸如由图3的装置执行的操作的流程图；以及

图5是示出根据本发明的示例实施例的为了确定一个或多个第一锚定帧而诸如由图3的装置执行的操作的流程图。

具体实施方式

现在将参考附图在下文中更全面地描述本发明的一些实施例，在附图中示出了本发明的一些但不是全部的实施例。实际上，本发明的各种实施例可以以很多不同的形式来实施，而不应当被解释为限于本文中阐述的实施例；相反，提供这些实施例是为了使得本公开能够满足适用的法律要求。相同的附图标记始终指代相同的元素。如本文中使用的，术语“数据”、“内容”、“信息”和类似的术语可以可互换地使用以指代根据本发明的实施例的能够被传输、接收和/或存储的数据。因此，任何这样的术语的使用不应当被用来限制本发明的实施例的精神和范围。

另外，如本文中使用的，术语“电路”是指(a)仅硬件电路实现(例如，模拟电路和/或数字电路的实现)；(b)包括存储在一个或多个计算机可读存储器上的一起工作以使得装置执行本文中描述的一个或多个功能的软件和/或固件指令的电路和计算机程序产品的组合；以及(c)即使软件或固件没有物理存在也需要软件或固件进行操作的电路，诸如例如微处理器或微处理器的一部分。“电路”的这个定义适用于这个术语在本文中的所有用途，包括在任何权利要求中。作为另一示例，如本文中使用的，术语“电路”还包括实现，该实现包括一个或多个处理器和/或其部分和附带的软件和/或固件。作为另一示例，本文中使用的术语“电路”还包括例如用于移动电话的基带集成电路或应用处理器集成电路、或者服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似的集成电路。

如本文中定义的，指代物理存储介质(例如，易失性或非易失性存储器设备)的“计算机可读存储介质”可以与指代电磁信号的“计算机可读传输介质”区分开来。

根据示例实施例，提供了一种方法、装置30和计算机程序产品，以便生成与查看诸如全景图像的多帧图像的查看方向10相关的经修改的图像内容。因此，示例实施例的方法、装置和计算机程序产品允许基于查看方向10标识一个或多个锚定帧以及色调修改参数。在这方面，通过监测用户的查看方向，示例实施例的方法、装置和计算机程序产品提供图像内容以与当前查看方向10相对应地被修改和显示，从而允许多帧图像的帧被混合，同时仍然保留局部图像参数集合。因此，根据本发明的示例实施例，可以通过对诸如全景图像的多帧图像的色调修改来增强所得到的用户体验。

多帧图像可以通过将多个单个图像组合和拼接在一起而形成。每个图像可以已经在不同的方向被捕获并且与不同的方向相关联，使得通过组合多个单独的图像，能够创建跨越较大角度范围的较大的多帧图像。在图1的实施例中，多帧图像围绕查看者延伸360°以成为全景图像。多帧图像可以是单个静态图像，或者多帧图像可以是组成视频图像的多个多帧图像中的一个多帧图像。

作为示例，图1描绘了全景图像的用户，诸如查看者。这个示例中的用户可以位于全景图像的中央，并且在一个示例实施例中，可以佩戴具有用于显示的屏幕的头戴式显示设备14，诸如通过取决于用户正在查看的方向而呈现全景图像的不同部分。组成多帧图像的各个图像从各个方向被捕获，并且因此彼此不同。图像的内容可以包括例如二维(2D)表示、3D表示和/或立体表示。另外，一些图像内容可以包括透视投影、四角形投影和/或正交投影。在一些实施例中，来自不同潜在查看方向的图像内容可以被捕获并且被预校准，诸如在如下所述的色调修改参数方面，以在多帧图像的随后查看期间增加处理速度，诸如在各种虚拟现实或其他应用中。在替代实施例中，图像内容可以被捕获和存储，但是仅在用户查看特定方向时被处理，使得查看方向范围被限定。

如上所述，用户可以以各种方式查看多帧图像，包括例如经由头戴式显示设备14。在这个示例实施例中，头戴式显示器包括戴在头上的显示器，使得图像内容的方向和轨迹两者保持相对应，即使当包括显示器的头戴式显示设备14倾斜时。如图1所示，例如，诸如佩戴头戴式显示器的用户的用户可以在水平面内具有以查看方向10为中心的角度范围16，诸如30°。在示例实施例中，角度范围16可以是预定义的，诸如对于某些头戴式显示设备14。在另一实施例中，角度范围16可以由用户可调节，诸如取决于多帧图像的应用。例如，对于虚拟城市游览应用，角度范围可以由用户在30°-90°之间可调节，对于虚拟采访会议应用，角度范围可以由用户在20°-40°之间可调节，或者对于虚拟军事训练应用，角度范围可以在60°-180°之间可调节。

为了根据本申请的示例实施例来限定色调修改参数，多个锚定帧被标识。作为示例，图2描绘了包括关于查看方向10拼接在一起的多个帧的全景图像内的锚定帧的结构图。如上所述，查看方向范围是关于查看方向并且在查看方向范围内限定的，在查看方向10处或接近查看方向10的第一可变锚定帧24被选择。除了可变锚定帧之外，多个锚定帧可以包括一个或多个固定锚定帧，每个固定锚定帧表示帧的不同子集。如下所述，帧的每个子集基于子集中的帧的一个或多个图像属性的相似度而被标识，诸如归因于被相同光源照亮的子集中的帧。来自相同子集的帧可以在物理上是连续的。在一个实施例中，第一固定锚定帧18和第二固定锚定帧20分别选自多帧图像的第一子集和第二子集。第一锚定帧和第二锚定帧位于查看方向范围16之外并且在其每个相对侧。如下文所描述的，在查看方向范围内以及在第一固定锚定帧与第一可变锚定帧之间的帧22然后可以通过混合第一固定锚定帧18和第一可变锚定帧24两者的参数基于色调修改参数而被修改。类似地，在查看方向范围内以及在第二固定锚定帧与第一可变锚定帧之间的帧26可以通过混合第二固定锚定帧20和第一可变锚定帧24的参数基于色调修改参数而被修改。如这些示例所示，可以基于位于相应帧的相对侧的锚定帧(可变锚定帧和固定锚定帧)的图像参数来为查看方向范围内的每个帧生成色调修改参数。锚定帧的图像参数对色调修改参数的相对贡献可以以各种方式来限定，诸如根据与每个锚定帧相关联的权重贡献因子。例如，用于帧22的色调修改参数可以通过向第一固定锚定帧18指派50％的权重贡献因子并且向第一可变锚定帧24指派50％的权重贡献因子来生成。类似地，帧26的色调修改参数可以通过向第二固定锚定帧20指派20％的权重贡献因子和向第一可变锚定帧24指派80％的权重贡献因子来生成。在其中用户头部的速度或加速度改变(诸如在示例实施例中通过头戴式显示设备14的移动速度限定的)的情况下，权重贡献因子将基于移动速度被相应地重新指派或重新生成。

图3是实施该装置的计算设备的简化框图。装置30可以包括处理器32、存储器设备34和通信接口36，或者以其他方式与之相关联，或者以其他方式与之通信。在其中该装置通过诸如头戴式显示设备的便携式显示设备实施的实施例中，该装置还可以包括用户接口38、传感器模块40(诸如图像传感器42、运动传感器44等)，与之相关联，或者以其他方式与之通信。取决于期望的功能，替代实施例可以添加、省略、分离和/或组合部件。本领域普通技术人员将认识到许多变化。

示例实施例的装置30可以通过各种不同类型的计算设备来实施。例如，该装置可以由便携式显示设备来实施，诸如头戴式显示器、立体护目镜或眼镜、立体头盔、个人数字助理(PDA)、移动电话、智能电话、同伴设备、游戏设备、膝上型计算机、相机、平板计算机、触摸表面或前述的任何组合、以及其他类型的图像和视频通信系统。或者，计算设备可以是与用户携带的显示设备14进行通信以便接收关于查看方向的信息以及在一些实施例中关于用户的头部正在移动的速度的信息的数据并且提供用于由显示设备14呈现的色调修改的图像内容的固定计算设备，诸如个人计算机、台式计算机、计算机工作站、服务器、模拟器等。

不管装置30的实施如何，示例实施例的装置在图3中描绘。该装置可以包括与处理器32和存储器设备34以及可选的通信接口36和用户接口38，与之相关联，或者以其他方式与之通信。在一些实施例中，处理器32(和/或协处理器或辅助处理器或以其他方式与处理器相关联的任何其他处理电路)可以经由总线与存储器设备34通信以在装置30的部件之间传递信息。存储器设备可以是非暂态的，并且可以包括例如一个或多个易失性和/或非易失性存储器。换言之，例如，存储器设备可以是包括被配置为存储可以由机器(例如，计算设备，如处理器)可检索的数据(例如，比特)的门的电子存储设备(例如，计算机可读存储介质)。存储器设备可以被配置为存储用于使得设备能够执行根据本发明的示例实施例的各种功能的信息、数据、内容、应用、指令等。例如，存储器设备可以被配置为缓冲输入数据用于由处理器处理。另外地或替代地，存储器设备可以被配置为存储用于由处理器执行的指令。

如上所述，装置30可以由计算设备来实施。然而，在一些实施例中，该装置可以实施为芯片或芯片组。换言之，该装置可以包括一个或多个物理封装(例如，芯片)，其包括在结构组件(例如，电路板)上的材料、部件和/或导线。结构组件可以提供被包括在其上的部件电路的物理强度、尺寸保存和/或电交互限制。因此，该装置在一些情况下可以被配置为在单个芯片上实现本发明的实施例或者将本发明的实施例实现为单个“片上系统”。因此，在一些情况下，芯片或芯片组可以构成用于执行用于提供本文中描述的功能的一个或多个操作的装置。

处理器32可以以很多不同的方式来实施。例如，处理器可以被实施为各种硬件处理装置中的一个或多个，诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或不具有伴随DSP的处理元件、或包括集成电路的各种其他处理电路，诸如例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。因此，在一些实施例中，处理器可以包括被配置为独立地操作的一个或多个处理核心。多核处理器可以在单个物理封装件实现多处理。另外地或替代地，处理器可以包括经由总线串联配置以实现指令、流水线和/或多线程的独立执行的一个或多个处理器。

在示例实施例中，处理器32可以被配置为执行存储在存储器设备34中的指令或者处理器以其他方式可访问的指令。替代地或另外地，处理器可以被配置为执行硬编码的功能。因此，无论是由硬件还是由软件方法还是有其组合配置，处理器可以表示能够执行根据本发明的实施例的操作同时被相应地配置的实体(例如，以电路在物理上实施)。因此，例如，当处理器被实施为ASIC、FPGA等时，处理器可以是用于执行本文中描述的操作的具体配置的硬件。替代地，作为另一示例，当处理器被实现为软件指令的执行器时，指令可以将处理器具体地配置为在指令被执行时执行本文中描述的算法和/或操作。然而，在一些情况下，处理器可以是被配置为通过使用用于执行本文中描述的算法和/或操作的指令进一步配置处理器来采用本发明的实施例的特定设备(例如，计算设备)的处理器。除其他之外，处理器可以包括被配置为支持处理器的操作的时钟、算术逻辑单元(ALU)和逻辑门。

示例实施例的装置30还可以可选地包括用户接口38或者以其他方式与之通信。用户接口38可以包括显示器、触摸屏显示器、键盘、鼠标或其他输入/输出机构。在一些实施例中，用户接口还可以被配置为向用户提供输出。在这个示例实施例中，处理器32可以包括被配置为控制一个或多个输入/输出机构的至少一些功能的用户接口38的电路。处理器和/或包括处理器的用户接口电路可以被配置为通过存储在处理器可访问的存储器(例如，存储器设备34等)上的计算机程序指令(例如，软件和/或固件)来控制一个或多个输入/输出机构的一个或多个功能。

所示实施例的装置30还可以可选地包括通信接口36，通信接口36可以是被配置为从/向与该装置通信的其他电子设备(诸如传感器模块40)接收和/或传输数据的任何装置，诸如实施为硬件或者硬件和软件的组合的设备或电路。在这方面，通信接口可以包括例如天线(或多个天线)以及用于实现与无线通信网络的通信的支持硬件和/或软件。另外地或替代地，通信接口可以包括用于与天线交互以使得经由天线发射信号或者处理经由天线接收的信号的接收的电路。在一些环境中，通信接口可以替代地或者也支持有线通信。

装置30的或与装置30相关联的传感器模块还可以包括图像传感器42、运动传感器44等中的一个或多个。图像传感器可以以各种方式实施以便在不同方向上捕获多个图像。例如，图像传感器可以由360度相机或者以特定速度旋转以捕获全景图像、视频和/或空间音频的相机来实施。然而，在其他实施例中，图像传感器可以以其他方式实施。

关于运动传感器44，运动传感器可以以速度传感器和/或捕获运动的其他手段的形式提供运动检测，以便捕获用户头部运动的速度。另外，运动传感器44还可以包括以各种方式实施的方位传感器，以确定用户的头部的方位。例如，方位传感器可以由磁力计、加速计、陀螺仪等来实施。在其中该装置由头戴式显示设备14实施或与之相关联的示例实施例中，头戴式显示器可以包括图像传感器和运动传感器。

现在参考图4，描绘了诸如由图3的特定配置的装置30执行的操作。如框50所示，装置30包括用于确定多帧图像(诸如全景图像)内的一个或多个锚定帧的装置，诸如处理器32等。尽管可以针对存储在存储器34中的多帧图像确定锚定帧，但是示例实施例的装置还可以包括用于接收多个图像(诸如全景或其他多帧图像或从共同位置(即，预定义的焦点)但是在不同查看方向上捕获的多个图像)的装置，诸如处理器32、存储器34等。在其中接收到在不同查看方向上捕获的多个图像的情况下，该装置可以包括用于诸如通过基于与图像相关联的不同查看方向将图像拼接在一起来组合多个图像以形成多帧图像(诸如全景图像)的装置，诸如处理器。

从多帧图像确定的锚定帧包括取决于查看方向10的至少一个可变锚定帧、以及一个或多个固定锚定帧。如框52所示，装置30因此还包括用于确定相对于多帧图像的用户的查看方向10的装置，诸如传感器模块40、处理器32等。该装置还包括用于确定以当前查看方向10为中央的角度范围以便限定查看方向范围(诸如以上述方式，其中范围是基于用户正在与之交互的应用的类型而预定义的)的装置，诸如处理器等。

为了确定一个或多个固定锚定帧(也被称为第一锚定帧)，示例实施例的装置30包括用于接收多个图像(每个图像是多帧图像的帧)的装置，诸如处理器32、存储器34等，如图5的框70所示并且如上所述。该装置还包括用于基于一个或多个图像属性的相似度将多个图像分类成多个子集的装置，诸如处理器等。图像属性的相似度可以通过将多帧图像的各帧曝光到不同的光源来被驱动。例如，多帧图像的帧的第一子集可以主要由第一光源(诸如通过第一窗口的自然光)照射，多帧图像的帧的第二子集可以主要由第二光源(诸如通过第二窗口的自然光)照射，并且多帧图像的帧的第三子集可以主要由第三光源(诸如灯)照射。图像可以以各种方式被分类成不同的子集。在一个示例实施例中，每个图像与颜色校正矩阵和/或自动白平衡参数相关联。在这个示例实施例中，装置30包括用于分析由多个图像限定的多个颜色校正矩阵和/或自动白平衡参数的装置(诸如处理器等)和用于基于多个色彩校正矩阵和/或自动白平衡参数将多个图像集群成多个子集的装置(诸如处理器等)。参见图5的框72和74。在这方面，可以基于各个图像的多个颜色校正矩阵和/或自动白平衡参数之间的相似度将图像集群成子集。另外，集群成子集的图像通常彼此相邻以便限定来自多帧图像的图像的连续子集。

该示例实施例的装置30还包括用于将来自每个集群的相应图像标识为第一锚定帧(即固定锚定帧)的装置，诸如处理器32等。参见图5的框76。子集中的固定锚定帧可以以各种方式限定，包括例如相对于子集中的其他图像具有中值图像参数的子集中的锚定帧。

基于关于多帧图像的用户的查看方向10，示例实施例的装置30还包括用于标识至少一个第二锚定帧(即可变锚定帧)的装置，诸如处理器32等。尽管第二锚定帧可以以各种方式限定，但是示例实施例的装置包括用于选择位于查看方向范围内(诸如在查看方向范围的中央部分内)的至少一个第二锚定帧的装置，诸如处理器等。例如，在其中奇数帧在查看方向范围内的情况下，第二锚定帧可以是查看方向范围内的最中央的帧。替代地，在其中偶数帧在查看方向范围内的情况下，可以选择在查看方向范围内的两个最中央的帧作为第二锚定帧。

一旦限定了查看方向范围，装置30还包括用于在查看方向范围的每个相对侧选择至少一个第一固定帧的装置，诸如处理器32等。在其中多帧图像中仅存在单个第一锚定帧的情况下，该单个锚定帧被选择为第一锚定帧。然而，在其中多帧图像中存在两个或更多第一锚定帧的情况下，两个锚定帧被选择为第一锚定帧。例如，最靠近查看方向范围的相对侧的锚定帧可以被选择为第一锚定帧。

示例实施例的装置30还包括用于基于至少一个第二锚定帧以及一个或多个第一锚定帧的组合(诸如基于这些锚定帧的音调修改参数的组合)来确定用于查看方向10的范围内的相应帧的色调修改参数的装置，诸如处理器32等。参见图4的框56。在这方面，位于第二锚定帧与第一锚定帧中的一个第一锚定帧之间的在查看方向范围内的帧的色调修改参数(诸如用于位于第二锚定帧24与第一锚定帧18之间的帧22的色调修改参数)基于第二锚定帧和第一锚定帧中的一个第一锚定帧的色调修改参数的组合。类似地，用于位于第二锚定帧与第一锚定帧中的另一第一锚定帧之间的在查看方向范围内的帧的色调修改参数(诸如用于位于第二锚定帧24与第一锚定帧20之间的帧26的色调修改参数)基于第二锚定帧和第一锚定帧中的另一第一锚定帧的色调修改参数的组合。

可以确定各种色调修改参数，包括例如选自色彩校正、自动白平衡或曝光波动修改的修改参数。无论色调修改参数的类型如何，在一个示例实施例中，在查看方向范围内的帧的色调修改参数可以基于至少一个第二锚定帧以及一个或多个第一锚定帧的色调修改参数的平均值来限定。另外地或替代地，诸如处理器的装置可以被配置为分别向可变锚定帧和固定锚定帧中的每个锚定帧动态地指派多个权重贡献因子，其中在查看方向范围内的帧的色调修改参数在这个示例实施例中基于至少一个第二锚定帧以及一个或多个第一锚定帧的色调修改参数的加权平均来限定。权重贡献因子可以以各种方式限定，并且在示例实施例中基于用户头部转动的方向和速度来限定，其中在用户头部的转动方向上的锚定帧比另一锚定帧被更大地加权，并且其中加权的差别与速度成比例地变化，使得与其中用户头部以较慢速度转动的情况下相比，在其中用户头部以更大速度转动的情况下，在用户头部的转动方向上的锚定帧具有更大的权重。在示例实施例中，可以确定每个锚定帧的调节图，并且然后诸如以加权组合的方式利用调节图来确定色调修改参数。参见Farbman等人的SIGGRAPH 2011的“Tonal Stabilization of Video”以获得关于锚定帧的调节图的确定和应用的进一步讨论。

装置30还包括用于基于一个或多个色调修改参数生成多个经修改的帧并且在一个实施例中使得多个经修改的帧被显示在头戴式显示器14上的装置，诸如处理器32或用户接口38。还参见图4的框58和62。在这方面，可以通过如上所述基于锚定帧向查看方向范围内的帧应用色调修改参数来修改帧。另外地或替代地，示例实施例的装置30还包括用于确定头戴式显示设备14的查看方向10已经改变到不同方向的装置，诸如处理器32、传感器模块40等。参见图4的框64。在这方面，如图4的框50-58所示，这个示例实施例的装置30(诸如处理器32)然后重复接收与不同的查看方向相关联的图像内容信息并且生成多个经修改的帧以诸如在头戴式显示器上显示的过程。这样，呈现给用户的图像内容和与其相关联的色调修改信息随着头戴式显示设备14的查看方向10和/或位置的改变而改变。因此，包括与其相关联的头戴式显示设备14的装置可以响应于用户查看新的查看方向而访问和查看适时地调节的图像内容。

图4和5示出了根据本发明的示例实施例的装置、方法和计算机程序产品的流程图。应当理解，流程图的每个框以及流程图中的框的组合可以通过各种手段来实现，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他通信设备。例如，上述过程中的一个或多个可以通过计算机程序指令来实施。在这方面，实施上述过程的计算机程序指令可以由采用本发明的实施例的装置的存储器设备34来存储，并且由该装置的处理器32来执行。可以理解，任何这样的计算机程序指令可以加载到计算机或其他可编程装置(例如，硬件)上以产生机器，使得所得到的计算机或其他可编程装置实现流程图框中指定的功能。这些计算机程序指令还可以存储在计算机可读存储器中，计算机可读存储器可以指示计算机或其他可编程装置以特定方式运行，使得存储在计算机可读存储器中的指令产生制造品，制造品的执行实现流程图框中指定的功能。计算机程序指令还可以加载到计算机或其他可编程装置上以使得一系列操作在计算机或其他可编程装置上被执行以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图框中指定的功能的操作。

因此，流程图的框支持用于执行指定功能的装置的组合和用于执行指定功能的操作的组合。还应当理解，流程图中的一个或多个框以及流程图中的框的组合可以由执行指定功能的基于专用硬件的计算机系统或者专用硬件与计算机指令的组合来实现。

在一些实施例中，以上操作中的某些操作可以被修改或进一步放大。此外，在一些实施例中，可以包括附加的可选操作，其中的一些已经在上面进行了描述。对上述操作的修改、添加或放大可以以任何顺序和任何组合来执行。

在本文中阐述的本发明的很多修改和其他实施例将会被这些发明所属领域的技术人员得益于在前面的描述和相关附图中呈现的教导的情况下想到。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和其他实施例旨在被包括在所附权利要求的范围内。此外，尽管前面的描述和相关联的附图在元件和/或功能的某些示例组合的上下文中描述了示例实施例，但是应当理解，在不脱离所附权利要求的范围的情况下，可以由替代实施例来提供元件和/或功能的不同组合。在这方面，例如，如可以在一些所附权利要求中阐述的，还能够想到与以上明确描述的不同的元件和/或功能的组合。虽然本文中采用特定术语，但是它们仅在一般性的和描述性的意义上使用，而不是为了限制的目的。

Claims (17)

1.一种用于修改多帧图像的方法，所述方法包括：

确定所述多帧图像内的一个或多个第一锚定帧；

确定相对于所述多帧图像的用户的查看方向；

基于所述用户的查看方向限定查看方向范围；

基于所述用户的查看方向标识至少一个第二锚定帧；

在所述查看方向范围的相对侧中的每一侧选择至少一个第一锚定帧，其中标识所述至少一个第二锚定帧包括选择位于所述查看方向范围内的所述至少一个第二锚定帧；

基于所述一个或多个第一锚定帧以及所述至少一个第二锚定帧，确定与所述查看方向相关的帧的一个或多个色调修改参数；以及

利用处理器，基于所述一个或多个色调修改参数来生成多个经修改的帧。

2.根据权利要求1所述的方法，其中确定所述多帧图像内的所述一个或多个第一锚定帧包括：

接收多个图像；以及

基于一个或多个图像属性的相似度，将所述多个图像分类成多个子集。

3.根据权利要求1所述的方法，其中基于所述一个或多个色调修改参数来生成所述多个经修改的帧包括使得所述多个经修改的帧由头戴式显示设备显示。

4.根据权利要求1所述的方法，其中确定所述一个或多个色调修改参数包括：基于所述查看方向范围内的所述至少一个第二锚定帧以及所述查看方向范围内的相应帧的与所述至少一个第二锚定帧相对的一侧的所述第一锚定帧，确定用于所述相应帧的所述一个或多个色调修改参数。

5.一种用于修改多帧图像的装置，所述装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置至少：

确定多帧图像内的一个或多个第一锚定帧；

确定相对于所述多帧图像的用户的查看方向；

基于所述用户的查看方向限定查看方向范围；

基于所述用户的查看方向标识至少一个第二锚定帧；

在所述查看方向范围的相对侧中的每一侧选择至少一个第一锚定帧，其中使得所述装置通过选择位于所述查看方向范围内的所述至少一个第二锚定帧来标识所述至少一个第二锚定帧；

基于所述一个或多个第一锚定帧以及所述至少一个第二锚定帧，确定与所述查看方向有关的帧的一个或多个色调修改参数；以及

基于所述一个或多个色调修改参数，生成多个经修改的帧。

6.根据权利要求5所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置通过以下操作来确定所述多帧图像内的所述一个或多个第一锚定帧：

接收多个图像；以及

基于一个或多个图像属性的相似度，将所述多个图像分类成多个子集。

7.根据权利要求6所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置通过以下操作来将所述多个图像分类成所述多个子集包括：

分析由所述多个图像限定的多个颜色校正矩阵或多个自动白平衡参数；

基于所述多个颜色校正矩阵或所述多个自动白平衡参数，将所述多个图像集群成所述多个子集；以及

将来自每个集群的相应图像标识为第一锚定帧。

8.根据权利要求5所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置通过使得所述多个经修改的帧由头戴式显示设备显示，来基于所述一个或多个色调修改参数，生成所述多个经修改的帧。

9.根据权利要求6所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置通过以下操作来接收所述多个图像：

接收关于预定义焦点的在多个方向上捕获的一个或多个图像；以及

组合所述一个或多个图像以形成全景图像形式的所述多帧图像，其中所述一个或多个第一锚定帧以及所述至少一个第二锚定帧是所述多帧图像的不同图像。

10.根据权利要求5所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置通过以下操作来选择位于所述查看方向范围内的所述至少一个第二锚定帧：在所述查看方向范围的中央部分中选择所述至少一个第二锚定帧。

11.根据权利要求5所述的装置，其中所述至少一个存储器和所述计算机程序代码被配置为利用所述处理器使得所述装置通过以下操作来确定所述一个或多个色调修改参数：通过基于所述查看方向范围内的所述至少一个第二锚定以及所述查看方向范围内的相应帧的与所述至少一个第二锚定帧相对的一侧的所述第一锚定帧，确定所述相应帧的所述一个或多个色调修改参数。

12.根据权利要求5至9中任一项所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置为利用所述处理器使得所述装置通过分别向所述一个或多个第一锚定帧以所述至少一个第二锚定帧中的每个锚定帧动态地指派多个权重贡献因子来计算与所述查看方向相关联的所述一个或多个色调修改参数。

13.一种计算机可读存储介质，其上存储有由装置使用的代码，所述代码在由处理器执行时使得所述装置执行：

基于多个光源，确定多帧图像内的一个或多个第一锚定帧；

确定相对于所述多帧图像的用户的查看方向；

基于所述用户的查看方向，限定查看方向范围；

基于所述用户的查看方向，标识至少一个第二锚定帧；

在所述查看方向范围的相对侧中的每一侧选择至少一个第一锚定帧，其中标识至少一个第二锚定帧包括选择位于所述查看方向范围内的所述至少一个第二锚定帧；

基于所述一个或多个第一锚定帧以及所述至少一个第二锚定帧，确定与所述查看方向相关的帧的一个或多个色调修改参数；以及

基于所述一个或多个色调修改参数，生成多个经修改的帧。

14.根据权利要求13所述的计算机可读存储介质，其中所述代码还使得所述装置执行：

接收多个图像；以及

基于一个或多个图像属性的相似度将所述多个图像分类成多个子集。

15.根据权利要求14所述的计算机可读存储介质，其中用于接收所述多个图像的代码还使得所述装置执行：

接收关于预定义焦点的在多个方向上捕获的一个或多个图像；以及

组合所述一个或多个图像以形成全景图像形式的所述多帧图像，其中所述一个或多个第一锚定帧以及所述至少一个第二锚定帧是所述多帧图像的不同图像。

16.根据权利要求13所述的计算机可读存储介质，其中用于确定一个或多个色调修改参数的所述代码还使得所述装置执行：基于所述查看方向范围内的所述至少一个第二锚定帧以及所述查看方向范围内的相应帧的与所述至少一个第二锚定帧相对的一侧的所述第一锚定帧来确定所述相应帧的一个或多个色调修改参数。

17.根据权利要求13至15中任一项所述的计算机可读存储介质，其中所述代码还使得所述装置执行：通过分别向第一多个锚定帧和第二多个锚定帧中的每个锚定帧动态地指派多个权重贡献因子来计算与所述查看方向相关联的所述一个或多个色调修改参数。

Images