CN105144283A - 基于设备旋转查看角图像操纵 - Google Patents

Abstract

一种用户设备使用传感器来确定用户设备相对于参考定向的旋转。使用用户设备的旋转，图像操纵模块访问与图像旋转相关联的图像。基于设备旋转来选择图像的集合，以选择具有对应于设备旋转的图像定向的图像。可以确定用于每个所选择图像的权重，并且合并该图像以使用所述权重来生成混合图像。向用户显示混合图像，并且随着用户设备的旋转的改变，重复所述过程以显示基于设备旋转而改变混合图像，由此模拟旋转效果。

Description

基于设备旋转查看角图像操纵

背景技术

本发明总体上涉及显示物体的图像，并且具体涉及基于设备定向来修改图像。

通常将物体的图像向用户显示为非运动的静态照片。当通过图像提供物体的不同视图时，通过从图库中具体选择图像、或者通过从图像集合中顺序渐进查看，用户通常选择单独从一个图像移到另一个图像以查看不同的视图。这使得用户难以在通过图像提供的视图之间查看物体的各个视图。类似地，拍摄图像的人员不能向用户充分地显示物体的各个方面。

发明内容

在本发明的各种实施方式中，用户操纵用户设备来基于用户设备的定向而生成静态物体的不同视图。物体图像的集合从多个不同的观察角度进行捕获。基于图像被捕获的查看角度，物体图像的集合中的每个图像与图像定向相关联。

为了创建图像集合，相机捕获物体的图像并且将图像定向与每个图像进行关联。可以在各种条件下捕获图像。在一个实施方式中，相机被移动到不同位置，以从围绕物体的不同位置(或观察角度)捕获物体的图像。从每个位置，相机都被定向为朝向该物体，并且相机的朝向物体的定向被储存为图像的定向。

在另一实施方式中，一个或多个光源被移动到不同的位置，以从各种角度照亮物体。在该实施方式中，相机相对于物体保持静止，而环境的其它各个方面被改变。例如，光源可以在环境中移动以从各种角度照亮物体。在该实施方式中，光源对物体进行照明的角度被储存为图像定向。

在另一个实施方式中，物体被旋转到不同的角度。在该实施方式中，相机相对于物体保持静止，而物体自身被改变。在该实施方式中的图像定向是基于物体的旋转。各种实施方式可以更改图像捕获过程的其它方面，以将图像定向与所捕获的图像进行关联，包括所描述的方法的任何方法的组合。

与每个图像相关联的定向可以被表示为旋转角度。该定向还可以在球面坐标系中被表示成距从平面上的参考点(或锚定点)垂直延伸的直线的角距离对，其中，物体位于参考点处或接近参考点。在这一表示中，每个定向对应于球面坐标系中的点。

为了基于设备的定向来呈现物体的图像，用户设备确定设备的定向，例如，通过使用一组陀螺仪传感器或加速度计。设备的定向，或“设备定向”可以相对于参考(或锚定)定向而进行表示，其中，设备的初始定向被用于确定用户设备的参考定向。相对于参考定向的设备定向被称为“设备旋转”。初始定向对参考定向进行校准，并且在设备初始显示图像时、在图像操纵模块被初始化时根据设备的定向来确定，或者相对于地面(即，重力)来确定。

设备旋转被用于选择图像集合中的一个或多个图像。例如，可以选择具有最接近于设备旋转的图像定向的图像的子集，诸如在每个正交方向上具有两个最接近图像定向的图像的子集。设备旋转相对于每个所选择的图像的图像定向的相对距离(例如，角距离)被用于确定所选择的图像的权重。用户设备使用所选择的图像以及用于每个所选择的图像的各权重生成混合图像。在另一个实施方式中，选择具有最接近于设备旋转的定向的图像并将其用于显示，而不混合多个图像。

在用户设备上示出所产生的混合图像。该过程可以被不断地重复，或者达特定的阈值(例如，设备的移动超出了预定的量)，从而使得后续的混合图像随着用户移动用户设备而进行计算，并且相对于参考定向计算新的定向。通过在用户设备移动时重新计算混合图像，向用户显示的图像在用户移动用户设备以变更设备定向时而改变，并且所产生的显示图像可以“发微光”，这是因为物体的照明在图像被选择并且针对混合图像而不同地加权而改变。

附图说明

图1是根据实施方式的用于生成旋转相关的物体图像的用户设备。

图2是根据实施方式的各种图像定向的概念性说明。

图3A-C是说明根据实施方式的包括图像定向的图像捕获的框图。

图4是根据实施方式的生成和显示基于旋转的物体图像的方法。

附图仅出于说明的目的描绘了本发明的各种实施方式。根据下面的讨论，本领域的技术人员将容易地认识到，在不背离本文描述的发明的原理的情况下，可以采用本文描述的结构和各种方法的备选实施方式。

具体实施方式

概述

系统在用户旋转用户设备时向用户示出物体的各种视图。基于用户设备的定向生成两个或更多图像来生成图像，而不是呈现三维模型或向用户示出单独的图像。通过基于设备的定向来合并且混合图像，以实际捕获的物体图像之间的平滑过渡来向用户示出物体的不同方面。

图1是根据实施方式的用于生成定向相关的物体图像的用户设备100。用户设备100包括图像操纵模块110、陀螺仪传感器120的集合、显示器130、以及图像存储140。用户设备100可以是任何合适的手持计算机化设备，诸如平板计算机、智能电话、游戏系统、以及包含用于执行所描述的动作的组件的其它系统。因此，用户设备100根据各种实施方式可以包括各种附加特征、模块、以及元件。诸如图像操纵模块110或图像存储140的组件可以被并入到在用户设备100上执行的更大的模块或应用中，例如，可以被并入到内容分布式系统，或作为网页或浏览器的一部分。因此，这些模块和数据储存器可以相对于用户设备100远程设置，并且可从远程位置取回以供用户设备100使用和执行。

陀螺仪传感器120确定用户设备100的旋转测量集合。陀螺仪传感器120提供(通常为用户设备100的)传感器的陀螺仪旋转的指示。在一个实施方式中，陀螺仪传感器120直接感测诸如俯仰(pitch)、翻转(roll)、以及偏转(yaw)的旋转测量结果。在备选实施方式中，陀螺仪传感器120是确定用户设备100的角加速度的加速度计，该陀螺仪传感器120被集成以根据参考定向来确定旋转测量。用户设备100的定向被称作设备定向。通过确定设备相对于被称作“参考定向”的初始定向的定向，原始旋转测量被转换成设备定向。参考定向可以在陀螺仪传感器120被初始化时由陀螺仪传感器120确定，或者参考定向由图像操纵模块110确定。设备从参考点的旋转被称作设备旋转。

图像存储140储存与物体有关的图像集合。在图像存储中的图像中的每一个图像都与图像定向相关联。图像定向是与图像相关联的定向，通常在从参考定向的旋转(或旋转对)中进行测量。因此，图像定向可以指示相对于参考定向的旋转10°的俯仰以及旋转5°的翻转。如参照图2进一步描述的，图像定向的集合通常覆盖诸如[-45°，+45°]的指定范围之间的俯仰范围和翻转范围，并使各个图像与该范围中的每个45度的变化相关联。因此，在这个示例中，对于每个俯仰/翻转坐标集合，对于[-45°，+45°]的范围可以使用九个图像：(+45°，+45°)、(+45°，0°)、(+45°，-45°)、…(-45°，0°)、(-45°，-45°)。图像集合可以包括任意数量的图像，图像坐标紧密或稀疏地覆盖坐标范围。

图像操纵模块110基于由陀螺仪传感器120确定的用户设备100的旋转来生成图像。所生成的图像在显示器130上示出。图像操纵模块110从陀螺仪传感器120访问用户设备100的设备定向，并且从图像存储140访问图像和图像旋转。如果陀螺仪传感器120没有提供设备相对于参考定向的位置，则由图像操纵模块110确定。设备旋转被用于确定最接近地匹配用户设备100的旋转的图像。在上面提供的图像定向的示例中，(-30，-35)的设备旋转最接近地匹配于(-45，0)、(0，-45)、以及(-45，-45)的图像旋转。为了确定所述“最接近匹配”，图像操纵模块110确定设备旋转相对于图像定向中的每个图像定向的距离。在一个实施方式中，通过确定设备旋转和图像定向之间的角度的大小来计算设备旋转和图像定向之间的距离，并且可以在其它实施方式中使用任何合适的手段。选择具有最小距离的图像达最大值，例如三个。

在一个实施方式中，还计算设备旋转和图像定向对之间的角度差异，在角度上太相似的最邻近的(即，太接近的)图像被排除。例如，如果一对图像相对于设备旋转彼此之间的差异并未区分开至少一阈值角度(诸如30°、45°或60°)，那么该对中更远距离的图像被排除。对于图像定向的范围之外的特定设备旋转，这导致仅仅选择单个图像。

图像操纵模块110使用所选择的图像来生成对应于设备定向的所选择的图像的混合图像。为了混合图像，图像操纵模块110使用基于设备与每个图像的距离的加权来对图像进行插值。在一个实施方式中，每个图像的加权基于所选择的图像的距离除以所选择的所有图像的总距离来进行计算。在一个实施方式中，不是使用加权插值，而是将最接近的图像选择作为基础图像，并且通过基于其他剩余图像的距离的剩余图像的权重来对其进行修改。在一个实施方式中，均化像素值而不对单独图像进行加权。通过这种方式，随着设备定向(以及由此的设备旋转)的改变，图像操纵模块110基于图像集合生成新的混合图像而不要求与确切的设备旋转有关的事先存在的图像，并且随着设备改变定向而提供所生成的图像的平滑改变。

在一个实施方式中，图像操纵模块110生成图像，以用于向用户呈现为广告的一部分。所生成的图像允许广告商使用混合图像以吸引人的方式来提供广告商的项目(诸如珠宝或衣着类产品)的各种视图。这些混合图像将不能以静态图像的方式或通过呈现三维模型而被充分地展示。

图2是根据实施方式的各种图像定向的概念性说明。在图2的说明中，旋转值被表示为关于球面投影的坐标集合，且具有以参考点230为圆心的半径。也就是说，球面投影200指示具有以参考点230为圆心的恒定半径r的球体曲面。相对角220指示从参考点230相对于参考角235的定向角。在该示例中，球面投影上的设备旋转位于球面投影上具有相对角220的点210处。九个图像定向的集合被转换成球面投影200上的位置，被表示为点A-I。虽然未被示出，但是每个图像定向具有对应的角度值，表示图像定向距参考角的角度位置(angularposition)。在这个示例中，点E与距参考角没有角度位置。也就是说，点E与图像定向(0°，0°)相关联。图像定向的角度值被用于通过确定如下点来确定球面投影的位置，在该点处以该角度值投影的正交射线与参考点230交叉。虽然本文参考概念性的说明进行描述，但是在一个实施方式中，图像定向和设备旋转被转换为球面投影上的坐标系。在另一个实施方式中，设备旋转被维持在角(旋转)坐标系中。

在该示例中，点E对应于具有与参考点(即，图像定向(0,0))匹配的相对角的图像定向。因此，环绕的图像定向指示用户设备在定向上从参考定向倾斜的旋转。在这个示例中，设备旋转在点210处被指示。使用球面投影来测量距离，该距离现在可以被测量为关于投影的欧氏距离，对应于点F、H和I的图像定向最接近于设备旋转点210。备选地，距离可以被测量为设备旋转和图像定向之间的角距离。选择与点F、H和I关联的图像用于图像生成。如在图2中说明的，这些点的选择使得能够针对点210创建图像，尽管并不存在具有与设备旋转对应的图像定向的图像。

除了生成图像之外，设备旋转可以被用于生成用户设备上的附加事件。例如，用户可以将设备旋转超出存在针对其的图像的设备旋转的范围。例如，超出点I的设备旋转可以触发诸如指示用户向参考定向返回的事件。

在一个实施方式中，区域240被设计为用于生成附加事件。例如，图像操纵模块110可以被包括在广告中。各种图像可以被用于在特定的视图或透视图(perspective)中显示产品。区域240可以被用于指示如果用户继续朝G旋转设备则用户可以看见物体的特别有吸引力的视图，或者被用于指出在区域240中生成的视图处现在很明显的产品特征。例如，当设备被定向在预定区域240之内时，叠加了闪光(sparkle)的图像可以被添加到宝石的混合图像。备选地，附加事件可以包括声音、启动其它的应用、叠加文本和/或图像、或任何其它期望的事件。虽然在本文中示出了球面投影200上的坐标区域240，但是该区域可以通过设备旋转的范围进行定义。

图3A-C是说明根据实施方式的包括图像定向的图像捕获的框图。图3A示出了捕获物体320的图像的相机位置300的集合。在一个实施方式中，相机还可以作为用户设备100进行操作，但是在其它实施方式中，可以使用具有其它特性的相机。每个相机位置300A、300B、300C从不同的角度310捕获物体320的图像。相机被移动到每个位置300(或使用不同的相机)，并且对物体320的图像进行捕获。相机位置300中的每个位置通常距对象320相同的距离，使得在图像被并入到混合图像之中时对象320保持相同的大小和其它特征。虽然在本文中以二维形式示出，但是相机能够被放置在三维形式的许多位置中，以在围绕物体320的不同位置处捕获图像。相机可以包括陀螺仪传感器，以自动确定捕获图像的相机位置300的角度310，或者可以通过诸如操作者输入的其它手段来确定角度310。

在图3A的实施方式中，相机位置300被移动到不同的位置，以捕获物体320的各种透视图。在图3B和3C的实施方式中，相机位置300保持固定，而光源330被移动到不同的位置。图3B示出了光源330A的一个位置，并且图3C示出了光源330B的第二个位置。在该实施方式中，每个光源330与光源340的对应角度相关联。光源340的角度被用于确定在每个相机位置330处所捕获的图像的相关联的图像定位。在这个实施方式中，当所捕获的图像在图像操纵模块100中示出时，所述图像反映了物体320的不同照明，并且由此允许用户旋转用户设备并且查看物体320的反射。例如，对于说明具有基于物体320的光源高度变化的反射的物体320(诸如珠宝)，该实施方式可能是理想的。在另一个实施方式中(未示出)，对象320被旋转，并且对象320的旋转被用于确定相关联的图像定向。在其它实施方式中，改变相机位置300、光源位置330、以及旋转物体320的任何组合都可以被使用。例如，相机位置和光源位置330在一个实施方式中被一起移动。

图4是根据实施方式生成和显示基于旋转的物体图像的方法。在一个实施方式中，这一方法由图像操纵模块110执行。图像操纵模块110确定400将从其测量设备旋转中的改变的参考定向。接着，通过访问陀螺仪传感器120来确定410设备旋转。确定到图像集合中的图像定向的距离，并且选择420最近的图像。如上所述，使用最近的图像，基于设备旋转相对于所选择的图像旋转的距离来确定430每个图像的加权。接着，如上所述，图像操纵模块使用加权通过内插或其它方式生成混合图像。接着，所生成的混合图像在用户设备上进行显示450，并且确定410设备旋转的下一次读取。以这种方式，在用户设备被旋转时，向用户呈现在用户旋转设备时生成的物体的变化图像。

在各种实施方式中，图像操纵模块110和图像存储140位于与用户设备100进行通信的远程服务器处。因此，在这些实施方式中，在服务器处执行特定的步骤。例如，设备的定向可以被传送至远程服务器，在远程服务器上生成混合图像并且将混合图像传送至用户设备100用于向用户进行显示。

总结

已经出于说明的目的，提供了本发明的实施方式的前述描述；并不旨在进行穷举或将本发明限制为所公开的严格的形式。相关领域的技术人员能够理解，在上述公开内容的启示下，可能存在许多修改和变化。

本说明书中的某些部分在信息相关的操作的算法和符号表示方面描述了本发明的实施方式。这些算法描述和表示被数据处理领域中的技术人员普遍使用，以向本领域的技术人员有效传达其工作实质。这些操作，尽管在功能上、计算上、或逻辑上进行了描述，但是应理解的是，它们可以通过计算机程序或等效电路、微代码等实现。此外，有时还为了论证的方便，将这些操作的布置称为模块而不失一般性。所描述的操作及其相关联的模块可以被具体化为软件、固件、硬件、及其任意组合。

本文描述的任何步骤、操作或过程都可以单独或结合其它设备在一个或多个硬件或软件模块上执行或实现。在一个实施方式中，软件模块可以用计算机程序产品实现，所述计算机程序产品包括包含计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器执行，以用于执行所描述的步骤、操作或过程中的任何步骤或全部步骤。

本发明的实施方式还可以涉及用于执行本文中的操作的装置。所述装置可以针对所要求的目的而被专门构造，和/或其可以包括通过储存在计算机中的计算机程序选择性激活或重新配置的通用计算设备。这样的计算机程序可以被储存在非瞬态的、有形的计算机可读储存介质中；或者被储存在适合于储存电子指令的任何类型的介质中；所述介质可以被耦合到计算机系统总线。此外，在说明书中提到的任何计算系统可以包括单个处理器，或可以是用于增加的计算能力的采用多处理器设计的架构。

本发明的实施方式还可以涉及由本文描述的计算过程生产的产品。这样的产品可以包括根据计算过程产生的信息，其中，所述信息被储存在非瞬态的、有形的计算机可读储存介质中，并且还可以包括计算机程序产品或本文所述的其它数据组合的任何实施方式。

最后，说明书中使用的语言主要出于易读性和启发性目的而被选择，而且，其选择并不是用于描绘或限制发明性的主题。因此，旨在不通过本文的详细说明来限制本发明的范围，而是通过基于本文的关于应用的问题的任意权利要求来进行限制。因此，本发明的实施方式的公开内容旨在是说明性的，而不是对本发明的范围的限制，本发明的范围在所附的权利要求中进行了阐述。

本发明的实施方式还可以涉及由本文描述的计算过程生产的产品。这样的产品可以包括从计算过程产生的信息，其中，所述信息被储存在非瞬态的、有形的计算机可读储存介质中，并且可以包括计算机程序产品或本文描述的其它数据组合的任何实施方式。

最后，说明书中使用的语言主要出于易读性和启发性目的而被选择，而且，其选择并不是用于描绘或限制发明性的主题。因此，旨在不通过本文的详细说明来限制本发明的范围，而是通过基于本文的关于应用的问题的任意权利要求来进行限制。因此，本发明的实施方式的公开内容旨在是说明性的，而不是对本发明的范围的限制，本发明的范围在所附的权利要求中进行了阐述。

Claims (30)

1.一种用于基于设备旋转的图像操纵的方法，所述方法包括：

确定用户设备的设备旋转，所述设备旋转基于所述用户设备相对于参考定向的定向来确定；

访问多个图像，所述多个图像中的每个图像与图像定向相关联；

从所述多个图像中选择一个或多个邻近图像，所述选择基于确定的所述设备旋转和与选择的所述一个或多个邻近图像相关联的所述图像定向；

通过合并选择的所述一个或多个邻近图像来生成混合图像；以及

输出所述混合图像以用于在所述用户设备上显示。

2.根据权利要求1所述的方法，其中所述多个图像是物体的图像。

3.根据权利要求1所述的方法，其中所述多个图像中的图像的所述图像定向基于拍摄所述图像的相对于物体的角度。

4.根据权利要求1所述的方法，其中所述多个图像中的图像的所述图像定向基于在拍摄所述图像时物体在环境中所位于的角度。

5.根据权利要求1所述的方法，其中所述多个图像中的图像的所述图像定向基于在拍摄所述图像时物体被旋转的角度。

6.根据权利要求1所述的方法，还包括：

基于所述用户设备相对于所述参考定向的改变的定向来确定更新的设备旋转；以及

使用更新的所述设备旋转重复所述选择、所述生成、以及所述输出步骤。

7.根据权利要求1所述的方法，其中所述设备旋转与所述图像定向之间的差异以球面投影上的距离进行测量。

8.根据权利要求1所述的方法，还包括：

确定所述设备旋转与每个图像定向之间的角度，并且其中从邻近图像的集合中的选择中排除图像，被排除的所述图像在与选择的图像相关联的所述角度的阈值之内时被排除。

9.根据权利要求1所述的方法，还包括，确定用于每个所选择的一个或多个邻近图像的权重，所述权重基于所述设备旋转与所述图像定向之间的所述差异，并且其中生成的所述混合图像基于与每个邻近图像相关联的所述权重。

10.根据权利要求9所述的方法，其中生成所述混合图像包括基于所述相关联的权重在所述一个或多个邻近图像中插值每个邻近图像的像素值。

11.根据权利要求1所述的方法，还包括：

确定所述设备旋转在包括设备旋转的范围的区域之内；以及

基于确定所述设备旋转在所述区域之内来执行事件。

12.根据权利要求11所述的方法，其中所述事件包括通知、图像叠加、声音、或者启动应用。

13.根据权利要求1所述的方法，其中选择单个邻近图像。

14.根据权利要求1所述的方法，其中所述设备旋转通过所述用户设备上的传感器来确定。

15.根据权利要求1所述的方法，其中所述设备旋转通过接收所述用户设备的所述定向的服务器来确定，并且所述服务器生成所述混合图像。

16.根据权利要求1所述的方法，其中所述混合图像由所述用户设备生成。

17.一种用于基于设备旋转的图像操纵的计算机程序产品，所述计算机程序产品包括计算机可读储存介质，所述计算机可读储存介质包含用于如下的计算机程序代码：

确定用户设备的设备旋转，所述设备旋转基于所述用户设备相对于参考定向的定向来确定；

访问多个图像，所述多个图像中的每个图像与图像定向相关联；

从所述多个图像中选择一个或多个邻近图像，所述选择基于确定的所述设备旋转和与选择的所述一个或多个邻近图像相关联的所述图像定向；

通过合并选择的所述一个或多个邻近图像来生成混合图像；以及

输出所述混合图像以用于在所述用户设备上显示。

18.根据权利要求17所述的计算机程序产品，其中所述多个图像是物体的图像。

19.根据权利要求17所述的计算机程序产品，其中所述多个图像中的图像的所述图像定向基于拍摄所述图像的相对于物体的角度。

20.根据权利要求17所述的计算机程序产品，其中所述多个图像中的图像的所述图像定向基于在拍摄所述图像时物体在环境中所位于的角度。

21.根据权利要求17所述的计算机程序产品，其中所述多个图像中的图像的所述图像定向基于在拍摄所述图像时物体被旋转的角度。

22.根据权利要求17所述的计算机程序产品，其中所述计算机可读储存介质还包括用于以下的计算机程序代码：

基于所述用户设备相对于所述参考定向的改变的定向来确定更新的设备旋转；以及

使用更新的所述设备旋转重复所述选择、所述生成、以及所述输出步骤。

23.根据权利要求17所述的计算机程序产品，其中所述设备旋转与所述图像定向之间的差异以球面投影上的距离进行测量。

24.根据权利要求17所述的计算机程序产品，其中所述计算机可读储存介质还包括用于以下的计算机程序代码：

确定所述设备旋转与每个图像定向之间的角度，并且其中从邻近图像的集合中的选择中排除图像，被排除的所述图像在与选择的图像相关联的所述角度的阈值之内时被排除。

25.根据权利要求1所述的计算机程序产品，其中所述计算机可读储存介质还包括用于确定用于每个所选择的一个或多个邻近图像的权重的计算机程序代码，所述权重基于所述设备旋转与所述图像定向之间的所述差异；并且其中生成的所述混合图像基于与每个邻近图像相关联的所述权重。

26.根据权利要求25所述的计算机程序产品，其中生成所述混合图像包括基于所述相关联的权重在所述一个或多个邻近图像中插值每个邻近图像的像素值。

27.根据权利要求17所述的计算机程序产品，其中所述计算机可读储存介质还包括用于以下的计算机程序代码：

确定所述设备旋转在包括设备旋转的范围的区域之内；以及

基于确定所述设备旋转在所述区域之内来执行事件。

28.根据权利要求27所述的计算机程序产品，其中所述事件包括通知、图像叠加、声音、或者启动应用。

29.根据权利要求17所述的计算机程序产品，其中选择单个邻近图像。

30.根据权利要求17所述的计算机程序产品，其中所述设备旋转通过所述用户设备上的传感器来确定。