CN102314679A - 使用加速计信息来确定图片和视频图像的方向 - Google Patents

Abstract

描述了使用加速计信息来确定图片和视频图像的方向。诸如移动设备等的计算设备能使用数字相机捕捉图片或视频图像并使用加速计获得关联的方向信息。方向信息能被用以调整被捕捉的图片或视频图像中的一个或多个以补偿一个或多个旋转平面内的旋转。方向信息能与被捕捉的图片或视频图像一起保存。方向信息也能与被捕捉的图片或视频图像一起传送或流化。能使用已经通过使用方向信息调整的图片或视频图像来执行图像匹配操作。

Description

使用加速计信息来确定图片和视频图像的方向

技术领域

本发明设计确定图片和视频图像的方向，尤其涉及使用加速计信息来确定图片和视频图像的方向。

背景技术

合并数字相机和位置感测技术的移动设备正变得日益常见。由于当这样的移动设备捕捉图片或视频时能以任意方向旋转，当图片或视频被保存在设备时缺乏图片或视频图像在方向上的统一性。例如，用户可使用稍微向右或向左旋转的移动设备拍照。有时这样的旋转是有意的(其表示理想的图片合成)，但有时不是的。不管旋转是否是有意的，用户可能想要在稍后调整图片。图片或图像的旋转通常是手动过程(诸如使用照片编辑应用)，并可能是困难以及不准确的。

当处理公共图像处理任务时，图片或视频图像之间方向上的不同是有问题的。例如，当将一图片与一个或多个其他图片进行比较时，诸如旋转等方向上的差异能增加寻找匹配图片或寻找图片内匹配特征的困难度。类似地，当在将图片缝合到马赛克或全景视图期间在两个或两个图片之间匹配特征时，方向上的不同能使得任务成功并准确地执行变得更为困难。

因此，存在对与图片和图像捕捉以及使用方向信息处理有关的技术的改进的充分机会。

发明内容

能应用关于图片和图像捕捉以及使用方向信息处理的各种技术。

例如，提供了一种用于捕捉并处理视频数据的方法。该方法包括，为多个视频图像的各个视频图像，获得捕捉视频图像的计算设备的方向信息，并基于该方向信息调整被捕捉的视频图像，该方向信息指示计算设备在捕捉视频图像时的方向。能显示(例如，在视频捕捉期间实时地、或在稍后)调整后的被捕捉的视频图像。能使用三轴加速计来捕捉方向信息。在某些实现中，方向信息包括三个值：执行捕捉的计算设备的x-轴上的加速度、y-轴上的加速度以及z-轴上的加速度。

作为另一示例，提供了一种用于捕捉并处理视频数据的移动设备。移动设备包括三轴加速计、存储、数字相机、以及处理单元。移动设备被配置以为多个视频图像的各个视频图像，获得指示移动设备在捕捉视频图像时的方向的方向信息，并存储被捕捉的视频以及关联的方向信息。关联的方向信息能被存储在与捕捉视频图像相同的文件或不同的文件里，并且能被存储为加速度值、旋转角度值或按另一表示的值。在某些情况下，方向信息以及视频图像数据(具有或不具有根据方向信息的调整)从移动设备流传输到网络服务器。

或者，能使用二轴加速计(例如，而不是三轴加速计)来捕捉方向信息(例如，两个轴上的加速度值)，其能被用以确定并补偿一个平面内的旋转。

作为另一示例，提供了一种用于匹配图像数据的方法。该方法包括获得由数字相机捕捉的第一图像的图像数据以及关联的方向信息，并获得由数字相机捕捉的第二图像的图像数据以及关联的方向信息。方向信息能例如表示在图像捕捉期间获得的三轴加速计信息。接着，使用方向信息来调整第一和第二被捕捉的图像中的至少一个以补偿沿着至少一个旋转平面的数字相机的方向上的差异。通过匹配如经调整的第一和第二图像之间的兴趣点来执行图像匹配。

参考附图阅读以下详细描述，将更清楚本发明的前述和其他特征和优点。

附图简述

图1是显示用于捕捉视频数据并使用方向信息处理该视频数据来显示的示例性方法的流程图。

图2是显示用于捕捉视频数据并使用方向信息存储该视频数据的示例性方法的流程图。

图3是显示包括加速计的示例移动设备的图示，其中移动设备通常与由X轴和Y轴定义的平面对齐，并垂直于Z轴。

图4是示出包括加速计的示例移动设备的框图。

图5是示出示例使用方向信息的图像匹配操作的图示。

图6是显示用于使用方向信息来匹配图像数据的示例性方法的流程图。

图7是示出示例移动设备细节的框图。

图8是示出示例实现环境的图示。

示例性实施例的详细描述

以下描述针对用于使用方向信息的图像处理的技术和方案。各种技术和方案可组合或单独使用。不同的实施例可实现所描述的技术和方案的一个或多个。

I.示例方向信息

在此描述的技术和方案中，方向信息被用于各种图像处理任务。如在此使用的，方向信息指能够描述诸如移动设备等设备的方向的信息。例如，方向信息包括能够描述设备在至少一个平面上的旋转的信息。

在某些实现中，从三轴加速计(有时称为g-传感器)获得方向信息。三轴加速计提供三个值，各个值表示沿着一不同轴的加速。具体的，三轴加速计提供表示沿着x-轴的加速度的值、表示沿着y-轴的加速度的值以及表示沿着z-轴的加速度的值。按照惯例，加速计返回的值具有m/s²(米/秒²)单位(其中大约9.80665m/s²的值等于一个重力，或1g)。如在此使用的，术语“ax”、“ay”以及“az”指从三轴加速计获得的关于x-轴、y-轴以及z-轴方向的加速度值。

在某些实现中，方向信息包括从三轴加速计获得的三个加速度值(ax，ay以及az)。在其他实现中，方向信息包括从加速度值计算出的值(例如，左/右滚转角度和/或向前/向后倾斜角度)。在又一其它实现中，只获得两轴加速度值(例如，只有ax和ay或只有az和ay)，其能被用以确定一个平面内的旋转(例如，只是左/右滚转或只是向前/向后倾斜)。

图3是示出包括加速计的示例移动设备300的图示。加速计提供描述移动设备300方向的方向信息。通过三轴加速计，能获得x、y以及z-轴的方向信息。移动设备300内的加速计的位置将确定各个轴的方向。在移动设备300的示例中，加速计已经被定向使得当移动设备300保持竖直和水平时加速计的y-轴指向下(朝向地球)。x-轴从移动设备300向左和向右延伸，并且z-轴从移动设备300向前和向后延伸。加速计能在设备内被不同地定向(例如，当设备保持竖直和水平时z-轴指向下)，其将需要对于用于在此描述的各种操作的轴的对应更改。

当移动设备300被竖直和水平地定向时(如在图中描绘的)，三轴加速计将提供y-轴大约9.80665m/s²的值、x-轴0.0m/s²的值(表示左-右滚转0度)、以及z-轴0.0m/s²(表示向前-向后倾斜0度)。如果移动设备300被稍微向右旋转，那么y-轴加速度值将减小并且x-轴加速度值将增大，这指示(y，x)平面内的旋转(如果设备300不是向前或向后旋转，那么z-轴值将保持不变)。类似地，如果移动设备300被稍微向前旋转，那么y-轴加速度值将减小并且z-轴加速度值将增大，这指示(y，z)平面内的旋转(如果设备300不是向左或向右旋转，那么x-轴值将保持不变)。左/右以及向前/向后旋转的结合将导致x、y以及z-轴加速度值的对应改变。然而，不管设备如何旋转，向量(ax，ay，az)的大小理论上是9.80665m/s²(当设备静止或具有恒定速度)。

移动设备300可以是任何类型的移动计算设备。例如，移动设备300可以是移动电话、个人数字助理(PDA)、智能电话、图形输入板计算机、膝上型计算机、数字相机、数字录像机等等。尽管图3描述了移动设备300，在此描述的技术和方案不限于移动设备。通常，包括加速计和成像设备的任何类型的计算设备(例如，数字相机和/或摄像机)能实现在此描述的技术和方案。例如，具有加速计和集成摄像头(或具有加速计的附连的摄像头)的台式计算机能获得在图片或视频图像的捕捉期间的方向信息。

II.示例关联方向信息

在此描述的技术和方案中，方向信息能与静态图片和视频图像关联。当捕捉图片或视频图像时，能获得执行该捕捉的设备(例如，移动设备或另一类型的计算设备)的方向信息并将其与被捕捉的图片或视频图像关联。例如，方向信息被保存在与图片或视频相同的文件中(例如，在图片或视频的头部)或被保存在与图片或视频文件关联的单独的文件中。

例如，具有相机和加速计的智能电话被用以拍摄静态图片。当图片被拍摄时，获得来自加速计的方向信息并将其与被捕捉的图片关联。方向信息描述在图片被拍摄时智能电话的方向。在一具体的实现中，静态图片的方向信息(例如，从三轴加速计获得的ax、ay以及az值)根据信息互换模型(IIM)(IIM模型由国际新闻电信会议(IPTC)提供)被保存在图片文件的IPTC头部。或者，方向信息被存储在单独的元数据文件中。

在另一示例中，使用具有相机(其支持视频捕捉)和加速计的智能电话来记录视频。在记录视频期间，获得来自加速计的方向信息并将其与被捕捉的各个单独的视频图像关联(例如，各个单独的视频帧或半帧)。方向信息描述在各个单独的视频图像的捕捉期间，智能电话的方向。方向信息能与视频图像一起保存在一文件中，或被保存在单独的关联文件(例如，包括将各个被捕捉的方向信息值(诸如ax、ay以及az值)集合与它们对应的视频图像关联的信息)中。除了保存视频图像和方向信息之外，或者作为其替代，能将视频图像和方向信息从智能电话流传输到一个或多个目的地(例如，到网络服务器用于存储或到另一设备用于显示)。

在一具体的实现中，使用实时传输协议(RTP)来流传输视频图像和方向信息。具体的，原始的(未经调整的)视频图像以及方向信息被保存在RTP协议的净荷字段内并被传送到一个或多个目的地(例如，网络服务器或其他设备)。或者，方向信息能被插入在头部字段中。在目的地，提取图像数据和方向信息。方向信息能被用以在目的地调整视频图像。或者，能在流传输视频图像之前使用方向信息来调整视频图像(方向信息能依然随着经调整的视频图像发送)。

III.旋转角度的示例计算

使用三轴加速计，既能为设备的左/右滚转又能为设备的向前/向后倾斜计算旋转角度。使用图3中描绘的方向，(y，x)平面内的旋转角度(设备的左/右滚转)被定义为α。(y，z)平面内的旋转角度(设备的向前/向后倾斜)被定义为β。

在一具体的实现中，通过计算表示重力加速度的向量(0，|y|，0)以及由加速计值生成的向量(ax，ay，az)之间的3D旋转转换来确定旋转角度。|y|的值理论上是9.80665。然而，由于加速计的非理想性，出于校准的目的，|y|的值被计算为sqrt(ax²+ay²+az²)。使用以下等式来计算3D转换：

$\left(\begin{array}{c}\mathrm{ax}\\ \mathrm{ay}\\ \mathrm{az}\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\α}& \sin \mathrm{\α}\cos \mathrm{\β}& -\sin \mathrm{\α}\sin \mathrm{\β}\\ -\sin \mathrm{\α}& \cos \mathrm{\α}\cos \mathrm{\β}& -\cos \mathrm{\α}\sin \mathrm{\β}\\ 0& \sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}0\\ \left|y\right|\\ 0\end{array}\right)$

使用以上3D转换，能直接计算旋转角度α和β。

IV.示例旋转补偿

一旦计算好旋转角度(以上的α和β的值)，被捕捉的图片或视频图像能被调整以补偿设备旋转。能仅为一个平面执行补偿(例如，仅针对表示滚转的α)，或为两个平面执行补偿(考虑滚转和倾斜)。

能执行补偿以将任意给定的图片或图像返回到参考方向。参考方向指示设备的方向并可间接指示参考图片或视频图像的方向。参考方向可以是任意理想的方向，并取决于特定情况的需要。例如，参考方向可以是0度的α值以及0度的β值，表示捕捉图片或图像的设备的竖直/水平方向或被视为对于图像捕捉而言是理想的。作为另一示例，参考方向可以是90度的α值。

例如，如果图片或视频图像被捕捉，其中方向信息指示向右20度的滚转(20度的α值)，那么图片或视频图像能被调整以在方向上向左改变20度来将图片或图像返回到参考方向(参考方式是0度的α值)。

作为另一示例，参考方向可以是当视频序列内的初始图像被捕捉时计算设备的方向。所以，如果序列内的初始视频图像被捕捉，其中方向信息指示向左的5度滚转，一后续的视频图像被捕捉，其中方向信息指示向左的8度滚转，那么该后续的视频图像被调整以在方向上向右改变3度来将图像返回到参考方向。

应用到图片或视频图像以补偿设备方向上的差异的转换取决于实现。在某些实现中，当补偿设备方向上的差异时，设备使用仿射转换来执行旋转、平移、缩放和/或修剪操作。例如，取决于旋转角度α和/或β来设置转换的参数。

V.捕捉视频图像的示例方法

图1示出了用于捕捉视频数据并使用方向信息处理该视频数据的示例性方法100。在110，获得被捕捉的视频图像的方向信息(即，获得至少大致与捕捉视频图像同时的方向信息)。例如，方向信息包括来自三轴加速计的ax、ay以及az值。

在120，使用方向信息调整被捕捉的视频图像。例如，以上描述的3D转换能被用以确定被捕捉的视频图像在一个或两个平面(例如，仅仅是滚转或者滚转和倾斜两者)内的旋转角度。根据(诸)旋转角度，能调整被捕捉的视频图像。例如，如果被捕捉的视频图像在向右滚转10度处被捕捉(使用图3中描绘的方向来在(y，x)平面内旋转)，那么被捕捉的视频图像能被向左旋转10度来补偿(以将被捕捉的图像返回到0度左/右滚转的参考方向)。除了针对滚转调整，或作为其替代，被捕捉的视频图像也能针对向前/向后倾斜进行调整。例如，通过仿射转换(用于图像平移、缩放、旋转和/或修剪)或透视转换对被捕捉的视频图像进行变形。

在一具体的实现中，通过使用从以上“III.旋转角度的示例计算”中的计算获得的α和β值，按以下执行对于滚转和倾斜的补偿。首先，通过使用2x2旋转矩阵，使用(y，x)平面内(滚转)的角度来调整图片或图像，所述2x2旋转矩阵具有一般形式：

$\left[\begin{array}{cc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)\end{array}\right]$

其次，一旦已经调整好滚转，使用β的值来执行针对倾斜的补偿。具体地，图片或图像的x-值保持相同而y-值乘以cos(β)。

在130，显示经调整的被捕捉的图像。例如，经调整的被捕捉的图像能被输出以供由捕捉该图像的相同设备(例如，智能电话)显示，或经调整的被捕捉的图像能从捕捉设备输出以供另一设备(例如，从智能电话传送到另一设备或传送到服务器)显示。

能对多个视频图像中的各个视频图像执行示例方法100。例如，对在视频记录期间捕捉的各个视频图像执行示例方法100。示例方法100能在视频记录期间实时地执行。例如，获得110一视频图像的方向信息，接着调整120该图像并显示130作为正在被捕捉的下一图像的视频(例如，允许用户在视频捕捉期间实时地查看经调整的视频图像)。

图2示出了用于捕捉视频数据并使用方向信息存储该视频数据的示例性方法200。在210，获得被捕捉的视频图像的方向信息(即，获得至少大致与被捕捉的视频图像同时的方向信息)。例如，方向信息包括来自三轴加速计的ax、ay以及az值。

在220，被捕捉的视频图像与其关联的方向信息一起被存储。例如，方向信息被保存在与被捕捉的视频信息相同的文件中(例如，在图像文件或结构的头部)，或方向信息被保存在与视频图像文件关联的单独的文件中。

能对多个视频图像中的各个视频图像执行示例方法200。例如，在视频记录期间对被捕捉的各个视频图像执行示例方法200。示例方法200能在视频记录期间实时地执行。例如，获得一视频图像的方向信息210，并接着该方向信息与被捕捉的视频图像一起存储220作为正被捕捉的随后的视频。

被捕捉的视频图像能在正在进行的其他图像的捕捉时被调整(例如，实时地)或在稍后被调整(例如，使用保存的方向信息和保存的视频图像)。使用方向信息调整视频图像能包括补偿视频图像相比于参考方向的旋转。例如，参考方向能是如图3中描绘的竖直/水平方向(其中ay＝9.80665，ax＝0.0，并且az＝0.0)。能在一个或两个平面内执行针对旋转(例如，针对图3描绘的(y，x)平面内的滚转和/或针对图3描绘的(y，z)平面内的倾斜)的补偿。例如，能通过计算平面内的旋转角度、确定计算的旋转角度和参考旋转角度之间旋转角度上的差异、以及调整被捕捉的视频图像以补偿旋转(例如，来将被捕捉的视频图像返回到参考旋转角度)来对各个平面执行旋转补偿。

VI.示例移动设备

在在此描述的技术和方案中，能使用移动设备来捕捉图片和/或视频图像，以及捕捉关联的方向信息。移动设备也能基于被捕捉的图片/图像以及关联的方向信息执行其他操作，诸如调整图片或图像来补偿旋转、保存原始和/或经调整的图片或图像、保存方向信息、流传输原始和/或经调整的图片或图像、以及流传输方向信息。

移动设备可以是任何类型的移动计算设备。例如，移动设备可以是移动电话、个人数字助理(PDA)、智能电话、图形输入板计算机、膝上型计算机、数字相机、数字录像机等等。此外，一般不被考虑为“移动”的计算设备(诸如台式计算机)也能实现在此描述的技术和方案(例如，具有内建摄像机和加速计或具有包括加速计的摄像头的台式计算机)。

图4是显示能够捕捉图片和/或图像以及关联的方向信息的示例移动设备410的框图。移动设备410包括显示器420、存储430、处理单元440、加速计450以及数字相机460。

处理单元440能被配置以从加速计450读取方向信息。例如，如果加速计450是三轴加速计，那么处理单元440在使用相机捕捉图像时(即，大致同时，使得获得的方向信息与其他图像的捕捉时刻相比准确地表示捕捉该图像的时刻)从加速计450读取ax、ay以及az值。处理单元440能将方向信息以及被捕捉的图片或图像保存在存储430内。

处理单元440能使用方向信息调整被捕捉的图片或图像并使得经调整的被捕捉的图片或图像在显示器420上显示。处理单元440还能传送或流传输原始的或经调整的图片或图像(例如，使用无线数据网络组件(未示出)，诸如WiFi收发器或移动数据网络收发器)。

VII.示例图像匹配

在此描述的技术和方案能被用以匹配图片和视频图像。例如，方向信息能被用以促进匹配图片和视频图像内特征或兴趣点的任务。

当方向信息不可用于图片或图像时，图像匹配能是困难的并且计算上是昂贵的。例如，如果不知道两个图片具有相同的方向(例如，相同的滚转，如图3中描绘的(y，x)平面内的旋转)，那么当比较兴趣点时需要能不管这样的旋转而执行的特殊类型的描述符。然而，这些特殊类型的描述符相比于简单描述符计算上是更加昂贵的并且在某些情况下倾向数字上的不准确。一种类型的旋转不变兴趣点描述符的示例是加速稳健特征(SURF)描述符。

使用在此描述的技术和方案，在执行成像和匹配任务之前能调整图片和图像以补偿设备旋转。例如，使用方向信息(例如，ax、ay以及az值)来调整两个或更多图片或图像以补偿设备旋转(例如，如图3中描绘的(y，x)和/或(y，z)平面内)。一旦调整好图片/图像，能选择第一图片或图像内的特征或兴趣点并与一个或多个其他图片或图像内潜在的匹配特征或兴趣点进行比较。由于图片或图像已经被调整以补偿设备方向上(在一个或多个旋转平面内)的差异，能使用相对简单的像素比较操作来执行兴趣点匹配(假定图像具有相同的比例，否则需要执行针对比例/缩放的差异的补偿)，相比于涉及以上讨论的旋转不变描述符的操作，该相对简单的像素比较操作较不倾向数字上的错误并且计算上是较不昂贵的。

使用方向信息的图像匹配能帮助提高多个方面的效率和准确性。例如，使用方向信息来调整图片或图像库或数据库中的图片或图像以补偿设备旋转来促进对于特征或兴趣点的搜索。作为另一示例，能调整图片或图像以补偿设备旋转来促进将两个或更多图片缝合或连接在一起(例如，以创建全景图片或图像)。

图5是示出如何使用方向信息来实现图像匹配和缝合的示例图示500。在510描绘的匹配示例显示要被匹配的两个图片(其也可以是单个的视频图像)。在510描绘的两个图片(左侧和中间的图片)是使用相对于左-右旋转(滚转)的相同的设备方向捕捉的。为了匹配两个图片，在第一图片内选择兴趣点(如在512描绘的9x9像素网格)。第一图片内所选择的兴趣点512被用以寻找第二图片内的匹配兴趣点(如在514描绘的9x9像素网格)。由于两个图片具有相同的方向，当匹配兴趣点512和514时，能使用相对简单的像素匹配操作。在该示例510中，接着，基于匹配的兴趣点512和514(以及可能的其他匹配的兴趣点)将两个图像缝合(或连接)在一起以创建单个缝合的图片(右侧图片)。

在520描绘的匹配示例也显示要被匹配的两个图片(其也可以是单个的视频图像)。在520描绘的第一(左侧的)图片是通过旋转(滚转)大约45度的相机捕捉的。在520描绘的第一图片没有被调整以补偿设备旋转。在520描绘的第二(中间的)图片通过水平的(没有滚转)相机捕捉。结果，为了将在520描绘的第一图片内的兴趣点与在520描绘的第二图片内的兴趣点匹配，需要使用旋转不变兴趣点描述符(如在522和524示出的9x9像素网格)。相比于示例510的像素匹配，这是较不准确并且计算上是更加昂贵的操作(如520中示出的问号，指示匹配兴趣点或创建缝合的图像是困难的或不可能的)。

在530描绘的匹配示例显示要被匹配的两个图片(其也可以是单个的视频图像)。在530描绘的第一(左侧的)图片是通过旋转(滚转)大约45度的相机捕捉的。然而，不像在520描绘的对应的第一图片，530中的第一图片已经基于方向信息被调整以补偿设备旋转。由于在530的第一和第二(中间的)图片实际上具有相同的设备方向，兴趣点能被更加准确地并有效地匹配(如在兴趣点像素网格532和534中描绘的)。例如，通过使用简单的像素匹配操作而不是在520中的匹配所需的较不准确并且计算上更加昂贵的旋转不变描述符，能匹配兴趣点。通过匹配530内的第一和第二图片内的兴趣点，第一和第二图片能被缝合在一起来创建530内的第三(右侧的)图像。

VIII.用于图像匹配的示例方法

图6显示了用于使用方向信息来匹配图像的示例性方法600。匹配的图像数据能包括静态图片数据和视频图像数据。捕捉图片或图像的计算设备能执行匹配，或计算设备能使用从另一计算设备或相机接收到的方向信息和图像数据来执行该方法。

在610，获得第一被捕捉的图像的图像数据和关联的方向信息(例如，ax、ay以及az值)。在620，获得第二被捕捉的图像的图像数据和关联的方向信息。在一具体的实现中，第一和第二图像的方向信息包括在图像捕捉期间获得的三轴加速计信息。

在630，使用方向信息来调整第一和第二被捕捉的图像中的至少一个以补偿在至少一个旋转平面内的相机方向上的差异。例如，两个图像均被调整以补偿在(y，x)平面(如图3中描绘的)内的相机方向上的差异和/或两个图像均被调整以补偿在(y，z)平面(如图3中描绘的)内的相机方向上的差异。为了调整两个图像以实际上具有相同的捕捉方向，能相对于参考相机方向在至少一个旋转平面内调整一个或两个图像。

在640，至少一个兴趣点在如经调整的第一和第二被捕捉的图像之间被匹配。例如，当图片实际上具有相同的相机方向时，在匹配兴趣点时能使用简单的像素匹配操作。

通过示例方法600能提供(例如，输出)各种结果。例如，能输出(例如，显示)关于兴趣点是否在第一和第二图像之间被匹配的指示。结果也能被用以执行其他任务，诸如图像缝合，在这种情况下缝合的(或全景)图像能够被输出(例如，被显示或保存)。

IX.示例移动设备细节

图7描绘了能够实现在此描述的技术和方案的移动设备700的详细示例。移动设备700包括各种任选的硬件和软件组件，一般性地在702中显示。该移动设备中的任何组件702可与任何其他组件通信，但出于容易例示的目的而未示出所有连接。该移动设备可以是各种计算设备(例如，蜂窝电话、智能电话、手持式计算机、膝上型计算机、笔记本计算机、平板设备、上网本、个人数字助理(PDA)、相机、摄像机等)中的任一个，并且可允许与诸如Wi-Fi、蜂窝或卫星网络等一个或多个移动通信网络704进行无线双向通信。

所示移动计算设备700可包括用于执行如信号编码、数据处理、输入/输出处理、电源控制和/或其他功能等任务的控制器或处理器710(例如，信号处理器、微处理器、ASIC、或其他控制和处理逻辑电路)。操作系统712可控制对组件702的分配和使用，并支持一个或多个应用程序714。应用程序可包括公共移动计算应用程序(例如，电子邮件应用程序、日历、联系人管理器、web浏览器、消息接发应用程序)、或任何其他计算应用。

所示移动计算设备700可包括存储器720。存储器720可包括不可移动存储器722和/或可移动存储器724。可移动存储器722可包括RAM、ROM、闪存、硬盘、或其他众所周知的存储器存储技术。可移动存储器724可包括闪存或用户身份模块(SIM)卡——其在GSM通信系统中是众所周知的，或者其他众所周知的存储器存储技术，如“智能卡”。存储器720可用于存储数据和/或用于运行操作系统712和应用程序714的代码。示例数据可包括经由一个或多个有线或无线网络发送给和/或接收自一个或多个网络服务器或其他设备的网页、文本、图像、声音文件、视频数据或其他数据集。存储器720可用于存储诸如国际移动订户身份(IMSI)等订户标识符，以及诸如国际移动设备标识符(IMEI)等设备标识符。可将此类标识符传送给网络服务器以标识用户和装备。

移动设备700能支持诸如触摸屏732、麦克风734、相机736(例如，能够捕捉静态图像和/或视频图像)、物理键盘738以及轨迹球740等的一个或多个输入设备730以及诸如扬声器752和显示器754等的一个或多个输出设备750。其他可能的输出设备(未示出)可包括压电或其他触觉输出设备。一些设备可服务一个以上的输入/输出功能。例如，触摸屏732和显示器754可被组合在单个输入/输出设备中。

无线调制解调器760可被耦合至天线(未示出)，并且可支持处理器710与外部设备之间的双向通信，如本领域中清楚理解的。调制解调器760被一般性地示出，并且可包括用于与移动通信网络704和/或其它基于无线电的调制解调器(例如蓝牙764或Wi-Fi 762)进行通信的蜂窝调制解调器。无线调制解调器760通常被配置成与一个或多个蜂窝网络进行通信，蜂窝网络如用于单个蜂窝网络内、蜂窝网络之间、或移动设备与公共交换电话网络(PSTN)之间的数据和语音通信的GSM网络。

移动设备可进一步包括至少一个输入/输出端口780、电源782、卫星导航系统接收机784(诸如全球定位系统(GPS)接收机)、加速计786、收发机788(用于无线发射模拟或数字信号)和/或物理连接器737，它可以是USB端口、IEEE 1394(火线)端口、和/或RS-232端口。所示组件702不是必需的或包括一切的，因为可删除任何组件并且可添加其他组件。

移动设备700能实现在此描述的技术。例如，处理器710能在通过相机736捕捉图片或视频图像期间从加速计786获得方向信息(例如，ax、ay以及az值)。能使用方向信息来调整(例如，通过处理器710)被捕捉的图片或视频图像以补偿移动设备700的旋转。能将图片或视频图像(以原始形式或经调整的形式)保存在存储器(722或724)中。此外，能将方向信息保存到存储器(722或724)中(例如，在与图片或视频图像相同的文件中，或在单独的文件中)。图片或视频图像能以原始或经调整的形式以及与关联的方向信息一起或不与关联的方向信息一起经由无线网络(例如，经由无线调制解调器760或收发机788)传送(例如，流传输)。

X.示例实现环境

图8示出了其中可实现所描述的实施例、技术、和技艺的合适实现环境800的一个通用示例。

在示例环境800中，由810提供各种类型的服务(例如，计算服务)。例如，云810可包括可位于中央或是分布式的计算设备集，其向经由诸如因特网等网络的各种类型的用户和设备提供基于云的服务。实现环境800可按差异方式用于实现计算任务。例如，一些任务(例如，处理用户输入和呈现用户界面)可在本地计算设备(例如，连接的设备830-832)上执行，而其他任务(例如，存储将在后继处理中使用的数据)可在云810中执行。

在示例环境800中，云810向具有各种屏幕能力的连接的设备830-832提供服务。连接的设备830表示具有计算机屏幕(例如，中型屏幕)的设备。例如，连接的设备830可以是个人计算机，诸如台式计算机、膝上型计算机、笔记本、上网本等。连接的设备831表示具有移动设备屏幕(例如，小型屏幕)的设备。例如，连接的设备831可以是移动电话、智能电话、个人数字助理、平板计算机等。连接的设备832表示具有大屏幕的设备。例如，连接的设备832可以是电视屏幕(例如，智能电视机)或连接到电视机的另一设备(例如，机顶盒或游戏控制台)等。连接的设备830-832中的一个或多个可包括触摸屏能力。不具备屏幕能力的设备也可被用在示例环境800中。例如，云810可向没有显示器的一个或多个计算机(例如，服务器计算机)提供服务。

可由云810通过服务提供者820、或通过其他在线服务的提供者(未描述)来提供服务。例如，云服务可被定制成对应于特定连接的设备(例如，连接的设备830-832)的屏幕大小、显示能力、和/或触摸屏能力。

在示例环境800中，云820至少部分地使用服务提供者830来向各个连接的设备830-832提供本文中所描述的技术和方案。例如，服务提供商820可向各种基于云的服务提供集中式解决方案。服务提供者820可管理用户和/或设备(例如，连接的设备830-832和/或其各自的用户)的服务订阅。

例如，诸如设备831等连接的设备包括相机和加速计，能获得数字图片或视频图像以及关联的方向信息。连接的设备831能将图片或图像以及关联的方向信息传送到其他连接的设备(例如，830-832)或到服务提供者820(例如，用于显示或存储)。服务提供者820能通过使用接收到的图片/图像数据以及关联的方向信息来执行各种图像处理任务(例如，使用方向信息来调整图像以补偿设备旋转、匹配经调整的图像内的兴趣点、执行对于经调整的图像的缝合操作、以及将图像分发到其他连接的设备；或，使用方向信息来调整图像以补偿设备旋转，接着将图像分发到其他连接的设备)。

XI.示例替换和变化

虽然为方便呈现起见所公开的方法的一些操作是以特定的顺序次序来描述的，但应当理解，这一描述方法涵盖重新安排，除非以下阐明的具体语言需要特定排序。例如，在某些情况下，可以重新安排或并发执行顺序地描述的操作。此外，为简明起见，附图可能未示出可结合其他方法使用所公开的方法的各种方式。

所公开的方法中的任一个可被实现为存储在一个或多个计算机可读介质(例如，非临时计算机可读介质，诸如一个或多个光学介质盘、易失性存储器组件(诸如DRAM或SRAM)或非易失性存储器组件(诸如硬驱动器))上

并且在计算机(例如，任何可购买的计算机，包括包含计算硬件的智能电话或其它移动设备)上执行的计算机可执行指令。用于实现所公开的技术的计算机可执行指令中的任一个以及在实现所公开的实施例期间创建和使用的任何数据可被存储在一个或多个计算机可读介质(例如，非临时计算机可读介质)上。计算机可执行指令可以是例如经由web浏览器或其它软件应用程序(诸如远程计算应用程序)访问或下载的专用软件应用程序或软件应用程序。此类软件可例如在单个本地计算机(例如，任何合适的可购买计算机)上或在使用一个或多个网络计算机的网络环境中(例如，经由因特网、广域网或局域网、客户机-服务器网络(诸如，云计算网络)或其它此类网络)执行。

为清楚起见，只描述了基于软件的各实现的某些所选择的方面。省略了本领域公知的其他细节。例如，应当理解，所公开的技术不限于任何特定计算机语言、或程序。例如，所公开的技术可由用C++、Java、Perl、JavaScript、AdobeFlash或任何其它合适的编程语言编写的软件来实现。同样，所公开的技术不限于任何特定计算机或硬件类型。合适计算机和硬件的某些细节是众所周知的，因此无需在本公开中进行详细阐述。

此外，基于软件的实施方式中的任一个(包括例如用于使计算机执行所公开的方法中的任一种的计算机可执行指令)可以通过合适的通信手段来上传、下载、或远程访问。这些合适的通信手段包括，例如，因特网、万维网、内联网、软件应用、电缆(包括光缆)、磁通信手段、电磁通信手段(包括RF、微波和红外通信)、电子通信手段或任何这样的通信手段。

所公开的方法、装置和系统决不应被解释成限制性的。相反，本发明针对各公开的实施方式(单独地或彼此的各种组合和子组合)的所有新颖和非显而易见特征和方面。所公开的方法、装置和系统不限于任何具体方面或特征或其组合，所公开的各实施方式也不要求存在任何一个或多个具体优点或解决各个问题。因此，要求保护落入这些权利要求的精神和范围内的所有内容作为本发明。

Claims (15)

1.一种至少部分地由计算设备实现的用于捕捉并处理视频数据的方法，所述方法包括：

为多个视频图像中的每一个：

通过所述计算设备获得在捕捉所述视频图像时所述计算设备的方向信息(110)，其中所述计算设备包括三轴加速计，并且其中所述方向信息是从所述三轴加速计获得的；

通过所述计算设备基于所述方向信息来调整被捕捉的视频图像(120)；以及

通过所述计算设备输出以供显示经调整的被捕捉的视频图像(130)。

2.如权利要求1所述的方法，其中所述方向信息包括：

表示沿着所述计算设备的x-轴的加速度的第一值；

表示沿着所述计算设备的y-轴的加速度的第二值；以及

表示沿着所述计算设备的z-轴的加速度的第三值。

3.如权利要求1所述的方法，其中基于方向信息调整被捕捉的视频图像包括补偿所获得的被捕捉的视频图像的方向信息与参考方向之间的差异。

4.如权利要求1所述的方法，其中基于方向信息调整被捕捉的视频图像包括：

使用被捕捉的视频图像的所述方向信息来计算第一平面内的旋转角度；

确定所计算的第一平面内的旋转角度与第一平面内参考旋转角度之间的旋转角度上的差异；以及

调整被捕捉的视频图像以补偿旋转角度上的差异。

5.如权利要求1所述的方法，其中基于方向信息调整被捕捉的视频图像包括：

使用被捕捉的视频图像的所述方向信息来计算第一平面内的旋转角度；

使用被捕捉的视频图像的所述方向信息来计算第二平面内的旋转角度，其中第一平面与第二平面不同；

确定所计算的第一平面内的旋转角度与第一平面内参考旋转角度之间的旋转角度上的差异；

确定所计算的第二平面内的旋转角度与第二平面内参考旋转角度之间的旋转角度上的差异；以及

调整被捕捉的视频图像以补偿第一平面内旋转角度上的差异以及第二平面内旋转角度上的差异。

6.如权利要求1所述的方法，其中为所述多个视频图像中的每一个，在通过所述计算设备记录所述多个视频图像期间实时地执行所述获得、所述调整以及所述显示。

7.如权利要求1所述的方法，其特征在于，还包括：

为所述多个视频图像中的每一个：

通过所述计算设备存储经调整的被捕捉的视频图像。

8.如权利要求7所述的方法，其特征在于，还包括：

为所述多个视频图像中的每一个：

通过所述计算设备存储与所存储的经调整的被捕捉的视频图像关联的方向信息，其中所述方向信息被存储为表示沿着所述计算设备的轴的加速度的多个值或被存储为所述计算设备的多个旋转角度。

9.一种具有用于使得所述计算设备被编程从而执行权利要求1-8中任意一项的方法的计算机可执行指令的计算机可读介质。

10.一种用于捕捉并处理视频数据的移动设备(410)，所述移动设备包括：

加速计(450)；

存储(430)；

数字相机(460)；以及

处理单元(410)，所述处理被配置以执行操作包括：

为多个视频图像中的每一个：

通过所述处理单元从所述加速计获得所述移动设备的方向信息(210)，所述方向信息指示在捕捉视频图像时所述移动设备的方向；

通过所述处理单元将被捕捉的视频图像和所述方向信息存储在存储中(220)，其中所述方向信息与其相应的被捕捉的视频图像相关联。

11.如权利要求10所述的移动设备，其中多个被捕捉的视频图像存储在第一数据文件中，并且其中所述方向信息被存储在不同于所述第一数据文件的第二数据文件中。

12.如权利要求10所述的移动设备，其中所述加速计是三轴加速计，其中多个被捕捉的视频图像以及所述方向信息被存储在相同的数据文件中，并且其中所述方向信息被存储为表示沿着计算设备的轴的加速的多个值或被存储为所述计算设备的多个旋转角度。

13.如权利要求10所述的移动设备，其特征在于，还包括：

为所述多个视频图像中的每一个：

将所获得的方向信息和被捕捉的视频图像从所述移动设备流传输到网络服务器。

14.如权利要求10所述的移动设备，其特征在于，还包括：

为所述多个视频图像中的每一个：

通过所述移动设备基于所述方向信息来调整被捕捉的视频图像；以及

将经调整的被捕捉的视频图像从所述移动设备流传输到网络服务器。

15.如权利要求10所述的移动设备，其中所述加速计是三轴加速计，并且其中所述方向信息包括：

表示沿着所述移动设备的x-轴的加速度的第一值；

表示沿着所述移动设备的y-轴的加速度的第二值；以及

表示沿着所述移动设备的z-轴的加速度的第三值。

Images