CN105144691A - 用于稳定和重新成帧的方法和系统 - Google Patents

Abstract

一种用于动态地保持视频的水平成帧的方法和装置。系统允许用户在摄像的同时自由地旋转设备，同时在拍摄期间在设备取景器或屏幕上的覆盖层中观察最终输出。随后对所得记录进行校正，以保持具有稳定水平线的单一方向。系统和方法可操作以在所捕捉视频的所捕捉表示上显示覆盖层，其中，所述覆盖层指示相对于所述方向的修正图像。

Description

用于稳定和重新成帧的方法和系统

本申请要求享有于2013年3月8日递交申请的美国临时申请No.61/775,324的优先权。

背景技术

便携式电子设备正变得越来越普遍。这些设备，例如移动电话、音乐播放器、摄像机、平板计算机等通常包括设备的组合，从而使携带多个对象是多余的。例如，目前的触摸屏移动电话，例如苹果的iPhone或三星的Galaxyandroid电话包括视频和静态摄像机、全球定位导航系统、网络浏览器、文字和电话、视频和音乐播放器等。这些设备通常允许多个网络，例如wifi、有线和蜂窝(例如3G)，以发送和接收数据。

便携式电子产品中的辅助特征的质量得到了不断提高。例如，早期的“拍照手机”包括了低分辨率传感器，具有定焦镜头并且没有闪光灯。如今，很多移动电话包括全高清视频功能、编辑和过滤工具以及高清显示器。有了这些功能改善，很多用户都在使用这些设备作为其主要的摄影设备。因此，存在对于性能更加改进并且专业级别的嵌入式摄影工具的需求。

例如，移动设备上的许多视频是以用户可能无意中旋转移动设备从而将视频的水平和竖直方向对于观看者而言倾斜的方式记录的。在极端情况下，用户可能开始用相机在竖直方向上拍摄并且改变到水平方向。这将导致当显示给观看者时开始是正确的方向但最后旋转90度的视频。要解决此问题，需要后期处理，这是希望经由社交网络直接共享视频的用户不希望的选项。

另外，在竖直位置用移动设备记录视频往往导致高度大于宽度的视频。这个最后的结果对在通常宽度大于高度的大多数显示器(例如电视屏幕)上使用并非最佳。在许多情况下，用户拍摄视频没有特别注意水平方向，尤其是当拍摄社会活动、现场事件或其他被摄体时(其中用户正经历将其关注点从他们用来记录的设备移开)。此外，大多数移动电话被设计为在竖直方向上使用。因此，用户可能开始在设备的预期方向上使用设备，只是后来认识到应该在水平方向上拍摄视频。

因此，希望克服嵌入在移动电子设备中的当前摄像机的这些问题。

发明内容

一种用于动态地保持视频的水平成帧的方法和装置。系统允许用户在摄像的同时自由地旋转设备，同时在拍摄期间在设备取景器或屏幕上的覆盖层中观察最终输出。随后对所得记录进行校正，以保持具有稳定水平线的单一方向。系统和方法可操作以在所捕捉视频的所捕捉表示上显示覆盖层，其中，所述覆盖层指示相对于所述方向的修正图像。

在一个方面，本发明涉及一种保存图像数据的方法，所述方法包括下列步骤：接收表示具有第一方向的第一图像的数据；接收表示指示相对于重力的设备竖直方向的第二方向的数据；重新定向所述第一图像，使得所述第二方向成为所述第一图像的竖直方向以产生重新定向的图像；以及保存所述重新定向的图像。

在另一个方面，本发明还涉及一种处理视频流的方法，所述方法包括下列步骤：初始化视频捕捉模式；接收表示视频流的第一数据；显示所述视频流的表示；接收表示纵横比的第二数据；接收表示旋转位置的第三数据；以及将表示所述纵横比和所述旋转位置的图形覆盖在所述视频流的所述表示上。

在另一个方面，本发明还涉及一种装置，所述装置包括：图像传感器，用于捕捉具有第一方向的图像数据；旋转传感器，用于确定旋转值；处理器，用于响应于所述旋转值而确定第二方向，并且用于响应于所述第二方向而重新定向所述图像数据，以产生重新定向的图像；以及存储所述重新定向的图像。

附图说明

从将结合附图阅读的优选实施例的以下详细描述，本公开的这些和其他方面、特征和优点将被描述或变得显而易见。

在附图中，其中类似的附图标记贯穿所有视图表示类似的元件：

图1示出了移动电子设备的示例性实施例的框图；

图2示出了根据本发明的具有有源显示器的示例性移动设备显示器；

图3示出了根据本公开的用于图像稳定和重新成帧的示例性过程；

图4示出了根据本发明的具有捕捉初始化400的示例性移动设备显示器；

图5示出了根据本公开的用于启动图像或视频捕捉的示例性过程500。

具体实施方式

本文列出的范例说明了本发明的优选实施例，并且这些范例不应被解释为以任何方式限制本发明的范围。

参考图1，示出了移动电子设备的示例性实施例的框图。虽然所描绘的移动电子设备是移动电话100，但是本发明同样可以在任何数量的设备，例如音乐播放器、摄像机、平板计算机、全球定位导航系统等上实现。移动电话通常包括发送和接收电话呼叫和文本消息、通过蜂窝网络或本地无线网络与互联网介接、拍摄照片和视频、回放音频和视频内容以及运行应用程序(例如文字处理、程序或视频游戏)的能力。许多移动电话包括GPS并且还包括触摸屏面板作为用户接口的一部分。

移动电话包括主处理器150，所述主处理器150耦合到其他主要组件中的每一者。主处理器或处理器在各种部件(例如网络接口、摄像机140、触摸屏170和其他输入/输出I/O接口180)之间路由信息。主处理器150还处理用于直接在设备上或通过音频/视频接口在外部设备上回放的音频和视频内容。主处理器150可操作以控制各子设备，例如摄像机140、触摸屏170以及USB接口130。主处理器150进一步操作以在移动电话中执行子程序用于处理数据(类似于计算机)。例如，主处理器可用于在照片已经由摄像机功能140拍摄之后处理图像文件。这些处理可包括裁剪、压缩、颜色和亮度调整等。

蜂窝网络接口110由主处理器150控制，并且用于通过蜂窝无线网络接收和发送信息。可以将此信息编码为各种格式，例如时分多址(TDMA)、码分多址(CDMA)或正交频分复用(OFDM)。经由蜂窝网络接口110从设备发送和接收信息。接口可以包括用于将信息编码和解码成适当的格式以用于传输的多个天线编码器、解调器等。蜂窝网络接口110可以用于促进语音或文本传输，或从互联网发送和接收信息。这个信息可以包括视频、音频和或图像。

无线网络接口120或wifi网络接口用于通过wifi网络发送和接收信息。可以根据不同的wifi标准(802.11g、802.11b、802.11ac等)将此信息编码为各种格式。该接口可以包括用于将信息编码和解码成适当的格式以用于传输并且将信息解码以用于解调的多个天线编码器、解调器等。wifi网络接口120可以用于促进语音或文本传输，或从互联网发送和接收信息。这个信息可以包括视频、音频和或图像。

通用串行总线(USB)接口130用于通过有线等通常向计算机或其他有USB能力的设备发送和接收信息。USB接口120可以用于发送和接收信息、连接到互联网、发送和接收语音和文本呼叫。另外，此有线链路可以用于使用移动设备蜂窝网络接口110或wifi网络接口120将有USB能力的设备连接到另一个网络。USB接口120可以由主处理器150用来向计算机发送和接收配置信息。

存储器160或存储设备可以耦合到主处理器150。存储器160可用于存储与移动设备的操作相关和主处理器150所需要的特定信息。存储器160可用于存储音频、视频、照片或由用户存储和检索的其他数据。

输入输出(I/O)接口180包括按钮、用于电话呼叫的扬声器/麦克风、音频记录和回放或语音激活控制。移动设备可以包括通过触摸屏控制器耦合到主处理器150的触摸屏170。触摸屏170可以是使用电容式和电阻式触摸传感器中的一个或多个的单点触摸屏或多点触摸屏。智能电话还可以包括额外的用户控制，例如但不限于开/关按钮、激活按钮、音量控制、振铃控制以及多按钮小键盘或键盘。

现在转向图2，示出了根据本发明的具有有源显示器的示例性移动设备显示器200。示例性移动设备应用可操作用于允许用户：在拍摄的同时以任何成帧来记录和自由地旋转其设备，在拍摄期间在设备的取景器上的覆盖层中观察最终输出，并且最后在最终输出中校正其方向。

根据该示例性实施例，当用户开始拍摄时，考虑其当前方向并且使用基于设备的传感器的重力向量来指示水平线。对于每一个可能的方向，例如纵向(portrait)210(其中设备的屏幕和相关光学传感器的高度大于宽度)或横向(landscape)250(其中设备的屏幕和相关光学传感器的宽度大于高度)，选择最佳目标纵横比。内嵌矩形225内接于整个传感器内，在针对给定(当前)方向给定期望的最佳纵横比的情况下，其最佳适配传感器的最大边界。稍微填充传感器的边界，以便为校正提供“喘息空间”。通过实质上与设备的自身旋转(从设备的集成陀螺仪采样得到)相反地进行旋转来变换这个内嵌矩形225，以补偿旋转220、230、240。变换的内矩形225最佳地内接于减去填充的整个传感器的最大可用边界内。取决于设备的最当前方向，相对于旋转的量调整变换的内矩形225的尺寸以插入在两个最佳纵横比之间。

例如，如果选择用于纵向方向的最佳纵横比为正方形(1∶1)，并且选择用于横向方向的最佳纵横比较宽(16∶9)，则随着内接矩形从一个方向旋转到另一个方向，内接矩形将最佳地插入在1∶1和16∶9之间。对内接矩形进行采样并且然后进行变换以适配最佳输出尺寸。例如，如果最佳输出尺寸是4∶3并且采样的矩形是1∶1，则采样的矩形将被纵横填充(完全光学填充1∶1区域，必要时裁剪数据)或纵横适配(完全光学适配于1∶1区域内，用“横式边框”或“柱式边框”盖住任何未使用的区域)。最后，结果是固定的纵横资产(aspectasset)，其中内容成帧在校正期间基于动态地提供的纵横比调整。因此，例如包括1∶1到16∶9的内容的16∶9的视频将在光学填充260(在16∶9部分期间)和与柱式边框适配250(在1∶1部分期间)之间摆动。

存在附加改进，从而在选择最佳输出纵横比时考虑和权衡所有移动的总和。例如，如果用户记录“主要是横向”(有少量纵向内容)的视频，则输出格式将是横向纵横比(对纵向片段加柱式边框)。如果用户记录主要是纵向的视频，则相反的情况适用(视频将是纵向并且光学填充输出，从而裁剪落在输出矩形的边界之外的任何横向内容)。

现在参考图3，示出了根据本公开的用于图像稳定和重新成帧的示例性过程300。系统响应于摄像机的捕捉模式被启动而初始化。该初始化可以根据硬件或软件按钮或响应于响应于用户动作而产生的另一控制信号而启动。一旦设备的捕捉模式被启动，则响应于用户选择而选择移动设备传感器320。可以通过在触摸屏设备上的设置、通过菜单系统或响应于按钮如何被致动而做出用户选择。例如，被按压一次的按钮可以选择照片传感器，而被连续按住的按钮可以指示视频传感器。另外，按住按钮预定的时间(例如3秒)可以指示已选择视频并且正在移动设备上记录的视频将继续，直到按钮被第二次致动。

一旦选择适当的捕捉传感器，则系统然后向旋转传感器请求测量320。旋转传感器可以是陀螺仪、加速度计、轴方向传感器、光传感器等，用于确定移动设备的位置的水平和/或竖直指示。测量传感器可以向控制处理器发送周期性测量，从而连续指示移动设备的竖直和/或水平方向。因此，当设备旋转时，控制处理器可以连续地更新显示，并且以具有连续一致的水平线的方式保存视频或图像。

在旋转传感器已返回移动设备的竖直和/或水平方向的指示之后，移动设备在显示器上描绘内嵌矩形，指示视频或图像的捕捉方向340。随着移动设备旋转，系统处理器不断地使内嵌矩形与从旋转传感器接收的旋转测量同步350。用户可以可选地指示优选的最终视频或图像比例，例如1∶1、9∶16、16∶9或由用户决定的任何比例。系统还可以根据移动设备的方向存储针对不同的比例的用户选择。例如，用户可以针对在竖直方向上记录的视频指示1∶1的比例，但是针对在水平方向上记录的视频指示16∶9的比例。在此例项中，系统可以随着移动设备旋转连续地或递增地重新缩放视频360。因此，视频可以以1∶1的方向开始，但是可以响应于用户在拍摄时从竖直方向旋转到水平方向而逐步重新缩放而以16∶9的方向结束。可选地，用户可以指示开始或结束方向确定视频的最终比例。

现在转向图4，示出了根据本发明的具有捕捉初始化400的示例性移动设备显示器。示出了示例性移动设备，描绘用于捕捉图像或视频的触摸色调显示器。根据本发明的一个方面，示例性设备的捕捉模式可以响应于若干动作而启动。可以压下移动设备的硬件按钮410中的任一者以启动捕捉序列。或者，可以通过触摸屏激活软件按钮420来启动捕捉序列。可以将软件按钮420覆盖在触摸屏上显示的图像430上。图像430用作取景器，指示图像传感器正在捕捉的当前图像。也可以将如前文所述的内接矩形440覆盖在图像上以指示正在捕捉的图像或视频的纵横比。

现在参考图5，示出了根据本公开的启动图像或视频捕捉的示例性过程500。一旦成像软件已被启动，则系统等待指示以启动图像捕捉。一旦图像捕捉指示已由主处理器510接收，则设备开始保存从图像传感器520发送的数据。另外，系统启动定时器。然后系统继续从图像传感器捕捉数据作为视频数据。响应于来自捕捉指示的第二指示(指示捕捉已被停止530)，系统停止保存来自图像传感器的数据并且停止定时器。

然后，系统将定时器值与预定时间阈值进行比较540。例如，预定时间阈值可以是由软件供应商确定的默认值，例如1秒，或者它可以是由用户确定的可配置设置。如果定时器值小于预定阈值540，则系统确定期望静态图像并且以静态图像格式(例如jpeg等)将视频捕捉的第一帧保存为静态图像560。系统可以可选地选择另一帧作为静态图像。如果定时器值大于预定阈值540，则系统确定期望视频捕捉。然后系统以视频文件格式(例如mpeg等)将捕捉数据保存为视频文件550。系统然后可以返回到初始化模式，等待捕捉模式被再次启动。如果移动设备配备有不同的传感器用于静态图像捕捉和视频捕捉，则系统可以可选地保存来自静态图像传感器的静态图像和开始保存来自视频图像传感器的捕捉数据。当将定时器值与预定时间阈值进行比较时，保存期望的数据，而不保存不需要的数据。例如，如果定时器值超过阈值时间值，则保存视频数据并且丢弃图像数据。

应当理解的是，上面示出和讨论的元件可以以各种形式的硬件、软件或其组合来实现。优选地，在一个或多个适当编程的通用设备上以硬件和软件的组合来实现这些元件，所述一个或多个适当编程的通用设备可以包括处理器、存储器和输入/输出接口。本描述说明了本公开的原理。因此，将理解的是，本领域的技术人员将能够设计体现本公开的原理并且包括在其范围之内的各种布置(尽管本文没有明确描述或示出)。本文引用的所有实例和条件语言意在用于参考目的，以帮助读者理解本公开的原理和发明人所贡献的推动现有技术的概念，并且应被解释为不限于这些具体引用的实例和条件。此外，引用本公开的原理、方面和实施例以及其具体实例的本文中的所有叙述意在涵盖其结构和功能等效物。另外，意在这样的等效物包括当前已知的等效物以及将来开发的等效物，即，执行相同的功能的任何开发的元件，而不管结构。因此，例如，本领域的技术人员将理解，由此呈现的框图表示体现本公开的原理的说明性电路的概念图。类似地，将理解，任何流程表、流程图、状态转变图、伪码和类似物表示可以在计算机可读介质中基本上表示并且因此由计算机或处理器执行的各种过程，无论这样的计算机或处理器是否明确示出。

Claims (17)

1.一种保存图像数据的方法，包括下列步骤：

-接收表示具有第一方向的第一图像的数据；

-接收表示指示相对于重力的设备竖直方向的第二方向的数据；

-重新定向所述第一图像，使得所述第二方向成为所述第一图像的竖直方向以产生重新定向的图像；以及

-保存所述重新定向的图像。

2.根据权利要求1所述的方法，还包括以下步骤：显示所述第一图像和显示指示所述第二方向的指示符。

3.根据权利要求2所述的方法，其中，所述指示符是表示纵横比和所述第二方向的图形，其中，以表示所述重新定向的图像的方式将所述指示符覆盖在所述第一图像上。

4.根据权利要求3所述的方法，其中，所述纵横比响应于所述第二方向而改变。

5.根据权利要求1所述的方法，其中，所述第一图像是视频的帧。

6.一种装置，包括：

-图像传感器，用于捕捉具有第一方向的图像数据；

-旋转传感器，用于确定旋转值；

-处理器，用于响应于所述旋转值而确定第二方向，并且用于响应于所述第二方向而重新定向所述图像数据，以产生重新定向的图像；以及

-存储所述重新定向的图像。

7.根据权利要求6所述的装置，还包括：显示器，用于显示所述图像并且显示指示所述第二方向的指示符。

8.根据权利要求7所述的装置，其中，所述指示符是表示纵横比和所述第二方向的图形，其中，以表示所述重新定向的图像的方式将所述指示符覆盖在所述图像上。

9.根据权利要求8所述的装置，其中，所述纵横比响应于所述第二方向而改变。

10.根据权利要求5所述的装置，其中，所述图像是视频的帧。

11.一种方法，包括下列步骤：

-初始化捕捉模式；

-接收表示图像的数据；

-接收表示旋转位置的数据；

-去激活所述捕捉模式；

-响应于所述旋转位置而旋转所述图像，以产生旋转的图像；以及

-存储所述旋转的图像。

12.根据权利要求11所述的方法，还包括以下步骤：显示所述图像并且显示指示所述旋转位置的指示符。

13.根据权利要求12所述的方法，其中，所述指示符是表示纵横比和所述旋转位置的图形，其中，以表示所述旋转的图像的方式将所述指示符覆盖在所述图像上。

14.根据权利要求13所述的方法，其中，所述纵横比响应于所述旋转位置而改变。

15.根据权利要求11所述的方法，其中，所述图像是视频的帧。

16.一种处理视频流的方法，包括下列步骤：

-初始化视频捕捉模式；

-接收表示视频流的第一数据；

-显示所述视频流的表示；

-接收表示纵横比的第二数据；

-接收表示旋转位置的第三数据；以及

-将表示所述纵横比和所述旋转位置的图形覆盖在所述视频流的所述表示上。

17.根据权利要求16所述的方法，其中，所述纵横比响应于所述旋转位置而改变。