CN105027556A - 自动图片对准校正 - Google Patents

Abstract

公开了一种相机装置。该相机装置包括用于捕捉图像的传感器、用于检测重力的方向的传感器以及配置为使用所检测的重力方向提取图像的一部分以根据该图像产生水平对准图像的处理器。

Description

自动图片对准校正

背景技术

相机可以用于捕捉单个图像或将被用作视频信号的帧的一系列图像。相机可以被固定到稳定物体，如例如相机可以安装在诸如三脚架的架上，从而在捕捉视频帧的同时保持相机静止。然而，相机通常可以体现在移动装置中而并不必然安装于固定物体，例如相机可保持在手中，或者可被安装在诸如车辆的移动物体上。如果相机未被水平保持，则由该相机产生的图片将未水平对准，这在一些情况下可能是不期望的。

发明内容

提供本发明内容来介绍以简化形式的概念的选择，该概念在以下详细描述中被进一步描述。该发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也并不旨在被用于限制所要求保护的主题的范围。

在此描述的实施例包括相机，其能够输出水平对准的图片或视频，即使在该相机被成角度地握持时。即，由该相机产生的图片将被水平对准，即使在该相机被附着于固定或移动物体而无需考虑其取向。在这一上下文中，所有对于“图片”或“图像”的提及也可以适用于构成视频的帧的图像系列。

在一个实施例中，公开了一种装置。该装置包括用于捕捉图像的传感器、用于检测重力的方向的传感器以及配置为利用所检测的重力的方向来提取图像的一部分以产生水平对准图像的处理器。

在另一实施例中，公开了一种用于图像处理的方法。该方法包括使用相机装置捕捉图像。针对视频中的使用，如果需要，多个图像可以相对于彼此被水平对准，以去除或减小相机装置在图像的捕捉期间的振动的影响。使用加速度计来确定相机装置的旋转角。基于旋转角，从该图像中提取水平对准图像。

替代地，重力的方向被检测并且与图像数据的数据流一起被传送至外部装置。

在再另一实施例中，公开了一种计算机程序产品。计算机程序产品包括用于执行用于图像处理的以下方法的编程指令。该方法包括使用相机装置捕捉图像。对于视频中的使用，如果需要，多个图像可以相对于彼此被数字地稳定，以去除或减小相机装置在捕捉期间的振动的影响。使用传感器（例如，加速度计）来确定相机装置的旋转角。基于该旋转角，从图像中提取水平对准图像。

替代地，将该角附着于图像或视频数据作为元数据。将图像/视频与该元数据一起传输至外部装置上的计算机程序并且基于该旋转角从该图像中提取水平对准图像。重力的方向可以代替旋转角以作为元数据传送。

其他实施例包括但不限于计算机可读存储介质，其包括使处理单元能够实施所公开的方法的一个或多个方面的指令；以及配置为实施所公开的方法的一个或多个方面的系统。

附图说明

从而参照其中一些在附图中图示的实施例，可以得到可以详细理解上文记载的特征的方式、以上简要概括的更加具体的说明。然而，应注意，附图仅图示各种实施例，并且因此不被认为限制所要求保护的主题的范围。

图1图示根据一个实施例的用于取得正确对准的图片或视频的系统的示意图。

图2图示根据一个实施例的附着于相机的示例紧固装置。

图3图示根据一个实施例的由成角度握持的相机拍摄的图片到正确对准图片的示例转换。

图4图示根据一个实施例确定旋转角。

图5图示根据一个实施例的图片的示例剪裁以产生正确对准图片。

图6图示根据一个实施例的产生正确对准图片的方法。

具体实施方式

在以下描述中，陈述了各种具体细节以提供对所描述的实施例更加彻底的理解。然而，本领域技术人员将明了，可以在不利用这些具体细节中的一个或多个的情况下实践所描述的实施例。在其他情况下，公知特征未描述以便避免模糊所描述的实施例。

整个本公开对“一个实施例”或“实施例”的提及意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在整个说明书中各处出现的短语“在一个实施例中”或“在实施例中”，并不必然指的是相同实施例。此外，该特定特征、结构或特性可以以任何合适的方式结合在一个或多个实施例中。

在一些情况下，可能期望使用相机装置以一定角度拍照或拍摄视频。然而，在一些其他情况下，诸如当相机附着于移动或/和至少部分旋转的物体时，可能期望产生正确对准的图片和视频。如果相机被以一定角度握持，弥补振动或摇晃相机的影响以产生良好质量图片的传统技术仍然产生其中场景以该角度倾斜的图片。在此描述的实施例提供了用于在捕捉图片的时刻甚至当相机被以一定角度握持时产生水平对准图片或视频的系统和方法。

图1图示相机装置100的示意图。相机装置100包括镜头102，其具有适于覆盖要构图的场景的焦距。在一个实施例中，机械装置可以与镜头102一起被包括以使能该镜头的自动或手动聚焦。在另一实施例中，相机装置100可以是定焦装置，其中未包括机械组件来移动镜头102。具有感测表面（未示出）的传感器104也被包括以将传感器104的感测表面上的由入射光形成的图像转换为数字格式。传感器104可以包括用于扫描入射光并且建立数字图片的电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）图像传感器。可以使用其他技术或装置，只要所使用的装置能够将感测表面上的由入射光形成的图像转换为数字形式。通常，这些图像检测装置确定了光在微小光敏器件上的效果并且以数字格式记录变化。

应认识到，相机装置100可以包括诸如电池或电源之间的其他部件以及处理器进行操作所需要的其他处理器部件。然而，为了避免模糊教导，这些公知部件被省略。在一个实施例中，相机装置100未包括取景器或预览显示器。然而，在其他实施例中，可以提供预览显示器。在此描述的技术可以用于任意类型的相机，并且在诸如在移动电话以及其他便携用户设备中实施的那些的小型、高度便携性相机中特别有效。因此，在一个实施例中，相机装置100包括用于拨打和接听电话的硬件或软件。

相机装置100还包括加速度计108。加速度计108用于确定重力的方向以及任意方向上的加速度。除了加速度计108以外或替代加速度计108，还可以使用陀螺仪。陀螺仪可以提供有关相机装置100的旋转角如何随时间改变的信息。可以使用任意其他类型的传感器，只要传感器能够测量重力的方向。如果相机装置100被旋转，利用旋转角，可以计算相机装置100的旋转的角度。还包括的是输入/输出（I/O）端口114，其用于将相机装置100连接至包括通用目的计算机的外部装置。I/O端口114可以用于使外部装置能够配置相机装置100或上载/下载数据。在一个实施例中，I/O端口114也可以用于使视频或图片从相机装置100串流至外部装置。在一个实施例中，I/O端口也可以用于向相机装置100供电或者向相机装置100中的可更再充电电池（未示出）充电。

相机装置100还可以包括耦接于传送器/接收器（Tx/Rx）模块116的天线118。Tx/Rx模块116耦接于处理器106。天线108可以完全或者部分暴露于相机装置100的主体外部。然而，在另一实施例中，天线118可以完全封闭在相机装置100的主体内。Tx/Rx模块116可以配置用于Wi-Fi传送/接收、蓝牙传送/接收或两者。在另一实施例中，Tx/Rx模块116可以配置为使用用于无线电信号的传送/接收的专有协议。在再另一实施例中，可以使用任意无线电传输或数据传输标准，只要所使用的标准能够传送/接收数字数据和控制信号。在一个实施例中，Tx/Rx模块116是具有小于10英尺的传输范围的低功率模块。在另一实施例中，Tx/Rx模块116是具有小于5英尺的传输范围的低功率模块。在其他实施例中，传输范围是可以使用由相机装置100经由I/O端口114或者经由天线118接收的控制信号而可配置的。

相机装置100还包括处理器106。处理器106耦接于传感器104和加速度计108。处理器106还可以耦接于存储装置110（例如，计算机可读存储介质），其在一个实施例中是在处理器106的外部。存储装置110可以用于存储用于控制和操作相机装置100的其他部件的编程指令。存储装置110还可以用于存储捕捉的媒体（例如，图片和/或视频）。在另一实施例中，存储装置110可以是处理器106本身的一部分。

在一个实施例中，处理器106可以可选地包括图像处理器112。图像处理器112可以是硬件部件或者也可以是由处理器106执行的软件模块。应注意，处理器106和/或图像处理器112可以驻留在不同芯片中。例如，多个芯片可以用于实施处理器106。在一个示例中，图像处理器112可以是数字信号处理器（DSP）。图像处理器可以配置为处理模块，其是处理器可执行的计算机程序。处理器112用于基于接收自加速度计108的输入来处理接收自传感器104的原始图像。诸如图像信号处理器（ISP）的其他部件可以用于图像处理。在一个实施例中，存储装置110配置为存储原始（未修改图像）以及相应的修改图像两者。处理器缓冲器（未示出）也可以用于存储图像数据。图片可以经由I/O端口114或者经由利用天线118的无线信道下载至外部装置。在一个实施例中，当外部装置发送命令以从相机装置110下载图像时，未修改和修改的图像两者被下载至外部装置。在一个实施例中，相机装置100可以配置为以选择的间隔开始捕捉一系列图像。

在一个实施例中，来自传感器104的原始图像输入至图像处理器（诸如ISP）以用于图像或颜色校正。在一个示例实施例中，在此描述的图像旋转机制应用于图像处理器输出的图像。在其他实施例中，图像旋转机制可以应用于接收自传感器104的原始图像。在在此描述的图像旋转机制应用于图像处理器输出的图像之后，修改的图像被编码。通常执行图像编码以压缩图像数据。

在示例实施例中，相机装置100可以不包括用于处理由传感器104捕捉的图像的部件。相反，相机装置100可以包括编程指令，以在从传感器104提取图像之后，将原始图像传送至经由互联网或局域网连接至移动装置100的基于云端的处理系统。基于云端的系统配置为接收原始图像以及相机装置100的旋转角（或简单地，重力的方向）并且通过图像处理器处理原始图像。例如，重力的方向可以作为元数据嵌入在数据流中，该数据流包括定义原始图像的数据。在另一实施例中，在提取之后，替代传送原始图像，相机装置100通过图像处理器（诸如ISP）处理原始图像并且随后将已处理的图像传送至基于云端的图像处理系统。基于云端的图像处理系统随后使用本公开中描述的图像旋转的方法，根据重力的方向旋转并且剪裁图像，并且通过图像编码器处理已旋转的图像。根据用户配置，已编码的图像随后存储在选择的基于云端的存储装置中，或者图像被发送回到相机装置100或任意其他装置。基于云端的图像处理系统的使用是有利的，因为其减少了将若干图像处理部件并入每个相机装置中的需要，因此使得相机装置更轻、更能量高效和更便宜。

在另一示例实施例中，替代基于云端的图像处理，相机装置100可以将原始图像或者通过图像处理器处理的图像发送至例如移动电话或计算机之类的另一装置。图像可以经由Wi-Fi、蓝牙或者适于将数字数据从一个装置传送至另一装置的任意其他类型的网络协议，被传送至移动电话（或计算机）以用于进一步处理。根据在此描述的一个或多个实施例，在移动装置产生水平对准图像之后，根据用户或系统配置，所产生的图像在对准之后可以保存至装置上的本地存储装置上、传输以存储在基于云端的存储系统中、或传送至另一装置。

在一个实施例中，相机装置100中的原生图像处理系统可以产生非标准格式的图像和/或视频。例如，可以产生1200x1500像素的图像。这可以通过剪裁、缩放或使用具有非标准分辨率的图像传感器来完成。由于用于以选择的标准分辨率变换图像的方法是公知的，不再进一步讨论该主题。

以上和以下描述的各种实施例可以利用包括使处理单元能够实施所公开的方法的一个或多个方面的指令的计算机可读存储介质、以及配置为实施所公开的方法的一个或多个方面来实施。

计算机可读存储介质（诸如一个或多个存储器部件）可以通过示例而非限制的方式包括，随机存取存储器（RAM）、非易失性存储器（例如，只读存储器（ROM）、闪存、EPROM、EEPROM等中的任意一个或多个）以及盘存储装置。盘存储装置可以实施为任意类型的磁或光存储装置，诸如硬盘驱动器、可记录和/或可重写紧致盘（CD）、任意类型的数字多功能盘（DVD）等。计算机可读存储介质也可以包括大规模存储介质装置。因此，计算机可读存储介质意图指代法定形式的介质。由此，计算机可读存储介质不描述载波或信号本身。

一般而言，在此描述的任意功能可以使用软件、固件、硬件（例如，固定逻辑电路）、人工处理或这些实施方式的组合来实施。如在此使用的术语“模块”、“功能”和“逻辑”通常表示软件、固件、硬件或其组合。在软件实施方式的情况下，模块、功能或逻辑表示程序代码，该程序代码在处理器上执行或者由处理器（例如，CPU或多个CPU）执行时执行特定任务。程序代码可以存储在一个或多个计算机可读存储器介质中。

继续到图2，其图示附着于相机装置100的可选紧固装置120。应注意，即使相机装置100被示为具有正方形或矩形形状，但是相机装置100可以以任意形状制造，只要形状和尺寸适于并且足以容纳相机装置100的上述部件。相机装置100的外部壳体可以由金属模制、合成材料模制或其组合来制成。在其他实施例中，可以使用任意其他类型的材料，只要该材料能够为典型的便携装置用途提供持久且强壮的外壳。在一个实施例中，相机装置100可以包括附着于相机装置100的主体的一侧的可选紧固装置120。紧固装置120可以是简单的无扣夹、鳄鱼夹、钩子、Velcro或磁体或用于容纳磁体的一块金属。相机装置100可以利用紧固装置120永久或半永久地附着于另一物体。在另一实施例中，相机装置100不包括任何紧固装置。在再另一实施例中，可以在容纳物体上制成壳体以容纳相机装置100的上述部件。在其他实施例中，相机装置100不包括其自身的壳体，而是内部部件（例如，镜头102、传感器104等）封装在另一物体（例如，移动电话或平板电脑）中。

图3图示产生水平对准图片的过程。相应地，相机装置100以与平行于地面的水平线成一定角度地被握持并且指向场景130。因此，所捕捉的图像132，在参考水平对准平面观看时，与该角度成比例地倾斜。体现在相机装置100中的处理器106或图像处理器112从加速度计108获得重力的方向以确定旋转角（即，相机装置100的倾斜角）。图像处理器112随后计算图像132中的水平对准矩形区域并且剪裁掉该矩形区域以外的像素以产生水平对准图像134。如果必要，该图像可以被按比例缩小。

图4图示体现在相机装置100中并且耦接于处理器106的加速度计108的操作。相机装置100被校准，以使得在相机装置100平行于地面握持时（例如，在示例图示中，相机装置100的边136平行于地面或水平面），垂直于地面的假想平面与重力的方向一致。当相机装置100倾斜时，处理器106，利用加速度计108的帮助，确定相对于重力的方向的倾斜角度。加速度计108可以是模拟加速度计、数字加速度计、微机电系统（MEMS）加速度计或压电传感器或能够测量物体的加速度或旋转的任意其他装置。通常，加速度计感测与自由下落的偏差并且这一信息可以变换为大致重力方向。通常，加速度计包括电路，其检测由平移加速度或加速力造成的电气属性的改变。

图5进一步描述了图3中描绘的过程。当处理器106（或图像处理器112）接收来自传感器104的图像132时，处理器106利用加速度计108的帮助来确定旋转的角度。处理器106随后确定所接收的图像132中的矩形区域134。在一个实施例中，矩形区域134被选择，以使得所选择的矩形区域134的中心与图像132的中心重合或尽可能接近图像132的中心。在另一实施例中，矩形区域的尺寸被选择以便允许未来的图像以不同角度旋转，但输出相同图像尺寸。矩形区域134以相反方向上旋转该旋转角度。替代地，处理器106识别出最优尺寸的矩形区域（例如，矩形形状134的最大可能区域，其中矩形形状134完全或者基本上在所接收的图像132的边界内），其中边线基本上倾斜与旋转角度相同的角度。

在一个实施例中，剪裁掉过程可以用于丢弃所有在矩形区域134外部的像素并且随后在相机装置100的旋转的相反方向上将矩形图像134旋转回该旋转角度。最终的图像134存储在存储装置110中。替代地，可以跳过存储步骤，并且最终图像134可以由处理器106经由传送器116传送至外部装置。在一些实施例中，最终图像134被编码成选择的数据格式，例如JPEG、PNG等，或者与多个图像组合并且编码为标准视频格式，例如H.264、MP4等。编码可以通过处理器106可执行的编码器模块（未示出）来执行。编码可以有助于减少最终图像的尺寸并且还使最终图像能够由共同可用的图像/视频播放器读取。

图6图示产生水平对准图像和视频的示例过程200。相应地，在步骤202，相机装置100用于捕捉图像或视频。通过从外部装置发送控制信号，可以发起捕捉。替代地，相机装置100可以配置为例如基于来自运动传感器的输入而自动捕捉图像。在另一实施例中，相机装置100可以配置为一旦相机装置100启动则连续地捕捉一系列图像。在图像或视频的捕捉期间，可以与重力的方向成一定角度地握持相机装置100。捕捉由传感器104执行并且所捕捉的图像传输至处理器106。在步骤204，所捕捉的图像或视频可以被稳定以去除或减小相机装置100的振动。在步骤206，处理器106确定相机装置100的旋转角度。旋转角度对应于相机装置100从重力方向的倾斜角度。在步骤208，图像处理器112确定所捕捉的图像中的矩形区域。在相机装置100的倾斜的相反方向上，基本上与在先确定的旋转角度相等地倾斜矩形区域。图像处理器112随后选择矩形区域内的像素。在步骤210，图像处理器112丢弃矩形区域外部的像素并且旋转剩余图像该旋转角度以使矩形区域水平对准。所选择的像素（在矩形区域中）随后存储在存储装置110中或经由传送器116或经由I/O端口11传送至外部装置。可选地，所选择的像素可以被编码以形成处于选择的数据格式的图像文件。

虽然已经以特定于结构特征和/或方法动作的语言描述了各种实施例，但应理解，在所附权利要求中限定的实施例并不必然限于所描述的具体特征或动作。相反，具体特征和动作被公开以作为实施各种所要求保护的实施例的示例形式。

Claims (10)

1.一种装置，包括：

图像传感器，用于捕捉图像；

取向传感器，用于检测重力的方向；以及

处理器，配置为使用所述重力的方向以旋转所述图像，来产生水平对准图像。

2.根据权利要求1所述的装置，还包括用于以选择的数据格式对所产生的图像进行编码的编码器模块。

3.根据权利要求1所述的装置，其中，所述处理器配置为剪裁所旋转的图像的边角。

4.根据权利要求1所述的装置，还包括耦接于所述处理器的传送器/接收器，其中所述传送器/接收器配置为将所述水平对准图像传送至外部装置。

5.根据权利要求1所述的装置，其中，所述装置包括移动电话。

6.一种方法，包括：

使用相机装置捕捉图像；

稳定所述图像以去除或减小所述相机装置在所述图像的所述捕捉期间的振动的影响；

使用传感器检测重力的方向；以及

将定义所述图像的图像数据以及所述重力的方向的数据流传送至外部装置。

7.根据权利要求6所述的方法，其中，在从所述外部装置接收到控制信号时，激活所述捕捉。

8.根据权利要求6所述的方法，其中，所述相机装置配置为以选择的间隔开始捕捉一系列图像。

9.根据权利要求6所述的方法，其中，所述相机装置配置为通过识别环绕所述图像的中心的矩形区域来水平对准所述图像的一部分，其中，所述矩形区域基本上倾斜与所述相机装置的旋转角相同的旋转角。

10.根据权利要求6所述的方法，其中，所述相机装置包括在移动电话中。