CN115088242A - 用于捕获图像或视频的设备和方法 - Google Patents

Abstract

本发明提供了一种设备，该设备包括：用于捕获第一图像数据的至少一个第一传感器和至少一个第二传感器，该至少一个第一传感器和至少一个第二传感器是矩形的，并且该至少一个第二传感器被布置成正交于至少一个第一矩形传感器；和至少一个硬件处理器，该至少一个硬件处理器被配置为：使至少一个第一传感器和至少一个第二传感器至少基本上同时地分别捕获第一图像数据和第二图像数据，以及进行以下中的至少一者：将来自第一图像数据的数据和来自第二图像数据的数据作为十字形图像同时显示，或者将来自第一图像数据的数据和来自第二图像数据的数据作为十字形图像存储在一起。可以将所得第一图像数据和第二图像数据存储在存储器中的单个文件中。可以处理至少一个硬件处理器以去除图像数据之间的冗余。该设备还可以从第一图像数据和第二图像数据提取图像数据，该图像数据对应于平行于水平线的矩形。

Description

用于捕获图像或视频的设备和方法

技术领域

本公开整体上涉及数字摄影，并且尤其涉及使用手持设备(诸如智能手机和平板电脑)的摄影。

背景技术

本部分意图向读者介绍本领域的各个方面，这些方面可与下文描述和/或要求保护的本公开的各个方面有关。此讨论被认为有助于向读者提供背景信息，以促进更好地理解本公开的各个方面。因此，应当理解，这些陈述应当从这个角度来解读，而不是承认现有技术。

现在，用户在使用智能手机拍摄图片或视频时，通过旋转智能手机来选择纵向格式或横向格式。呈纵向格式的照片不适用于在电视或其他基于横向的显示器上显示，而相反，呈横向格式的照片也不适合用作智能手机上的壁纸以及用于在基于纵向的显示器上显示。

尽管用户通常有足够的时间来选择合适的模式(例如，纵向或横向)，但也可能发生由于突发事件而在匆忙中拍摄照片，在这种情况下，用户倾向于在拍照时以最本能的方式(即处于纵向模式)保持智能手机，因为这些设备被设计成以单手保持纵向模式。

就视频而言，大多数观察屏呈横向模式，不过尽管如此，人们通常使用其智能手机以纵向模式录制视频，结果拍出的视频特别不适用于这些观察屏。

可以看出，用智能手机拍摄图片或录制视频的用户并不总是选择最合适的模式。

因此，应理解，期望提出一种解决方案来解决至少一些与用智能手机拍摄图片或录制视频有关的缺点。本发明原理提供这种解决方案。

发明内容

在第一方面，本发明原理涉及一种设备，该设备包括：用于捕获第一图像数据的至少一个第一传感器，该至少一个第一传感器是矩形的并且沿相对于设备的方向定向；用于捕获第二图像数据的至少一个第二传感器，该至少一个第二传感器是矩形的并且沿该方向定向，并且被进一步布置成至少基本上正交于至少一个第一矩形传感器；以及至少一个硬件处理器，该至少一个硬件处理器被配置为：至少基本上同时地使至少一个第一传感器和至少一个第二传感器分别捕获第一图像数据和第二图像数据，以及进行以下中的至少一者：将来自第一图像数据的数据和来自第二图像数据的数据作为十字形图像同时显示，或者将来自第一图像数据的数据和来自第二图像数据的数据作为十字形图像存储在一起。

在第二方面，本发明原理涉及一种方法，该方法包括：至少基本上同时地由设备的至少一个第一传感器捕获第一图像数据和由该设备的至少一个第二传感器捕获第二图像数据，该至少一个第一传感器是矩形的并且沿相对于设备的方向定向，并且该至少一个第二传感器是矩形的并且沿该方向定向，并且被进一步布置成至少基本上正交于至少一个第一矩形传感器；以及进行以下中的至少一者：将来自第一图像数据的数据和来自第二图像数据的数据作为十字形图像同时显示，或者将来自第一图像数据的数据和来自第二图像数据的数据作为十字形图像存储在一起。

在第三方面，本发明原理涉及一种计算机程序产品，该计算机程序产品存储在非暂态计算机可读介质上并且包括程序代码指令，该程序代码指令可由处理器执行以实施根据第二方面的任何实施方案的方法的步骤。

附图说明

现在将参考附图通过非限制性示例描述本发明原理的特征，其中：

图1示出了根据本发明原理的实施方案的设备；

图2示出了根据本发明原理的实施方案的方法；

图3A和图3B示出了根据本发明原理的实施方案的捕获区的示例；

图4示出了存储照片的文件的示例，该照片使用图2中所示的方法捕获；

图5A和图5B分别示出了对应于传感器所显示的处理数据的示例；

图6示出了根据实施方案的用于处理经捕获的数据的方法；

图7A和图7B示出了对应于图像数据和对应缩减数据的图像的示例；

图8示出了存储照片的文件的示例，该照片使用图2中所示的方法捕获并且大小已缩减；

图9示出了根据本发明原理的实施方案的用于捕获视频的方法；并且

图10A至图10D示出了基于图9方法中的滚动角裁剪经组合的视频数据。

具体实施方式

图1示出了根据本发明原理的实施方案的设备100。在下文中，作为非限制性示例，设备100将描述为智能手机，但是应当理解，设备100可以实现为其他类型的设备，诸如平板电脑。此外，在描述中提及图像(也被称为图片)的情况下，图像可以延伸为包括视频，视频实际上是一组图像。

智能手机100包括至少一个用户界面110，该至少一个用户界面被配置为从用户接收输入诸如指令和选择，以及向用户提供输出。可以使用任何合适的用户界面，包括例如麦克风、扬声器、触觉致动器、按钮、键盘和触摸屏。

智能手机100进一步包括至少一个硬件处理器120(“处理器”)，该至少一个硬件处理器被配置为控制智能手机100、处理捕获图像，以及执行程序代码指令等等，以执行本发明原理的至少一种方法。智能手机100还包括存储器130，该存储器被配置为存储程序代码指令、执行参数、图像数据等。

智能手机100还包括显示器140，该显示器被配置为输出可能由智能手机100捕获的视觉信息，诸如图像。显示器140可以是触摸屏，其是用户界面110的一部分，但为了强调，单独进行描述。

智能手机100还包括被配置为捕获图像的至少一个第一矩形传感器(“第一传感器”)150和至少一个第二矩形传感器(“第二传感器”)160。第一传感器150和第二传感器可以具有相同的纵横比(例如，4/3或16/9)，但取向成面向相同方向(诸如直接从智能手机背面向外)并且分别正交或至少基本上正交。换句话讲，一个传感器可以取向成捕获纵向图像，而另一个传感器取向成捕获横向图像，并可能以其他方式具有与第一传感器相同的特性。

智能手机100还包括角度测量单元170，该角度测量单元被配置为测量滚动角，即智能手机相对于水平线的倾斜。

智能手机100可以包括取向成面向相同方向的多个第一传感器150和多个第二传感器160，优选但不必要为相同数量。如已知的，在多个传感器中，不同传感器可以具有不同性质，以便使提供例如散景特效、广角功能、远摄镜头功能或经改善的精致细节成为可能。

本领域技术人员将理解，智能手机将包括另外的特征，诸如电源和无线电接口；出于简洁和清楚起见，仅讨论了与本发明原理有关的特征。

当例如响应于用户指令而拍摄图片时，处理器120将使得第一传感器150和第二传感器160两者同时或至少基本上同时拍摄图片。可以处理所得第一图片和第二图片，然后存储在例如存储器130中，或者传输到另一设备。

可以例如基于可扩展设备元数据(XDM)文件格式将第一图片和第二图片存储在单个文件中，该XDM文件格式使得能够将来自多个相机(传感器)的图像数据存储在单个文件中。然而，与本发明原理相反，XDM格式的常规使用似乎需要图像有相同的位姿和相同的纵横比。

图2示出了本发明原理的实施方案的方法200。该方法200可以由设备100诸如图1中的智能手机执行。

在步骤S210中，设备100启动其照片应用程序，从而启用照片功能。这可以例如响应于用户指令(例如，经由图1中的用户界面110)、响应于对软件代码的执行或响应于从外部设备接收到的指令而完成。

在步骤S220中，设备100在其显示器上显示捕获区。捕获区至少基本上指示可以由设备的第一传感器和第二传感器捕获的内容。技术人员将理解，这使得用户能够在拍摄图片之前瞄准设备，以便对图片进行取景。

图3A和图3B示出了根据本发明原理的实施方案的设备的显示器上的捕获区的示例。图3A示出了在竖直取向的智能手机上显示的纵横比为4/3的捕获区的第一示例。图3B示出了在水平取向的智能手机上显示的纵横比为16/9的捕获区的第二示例。

如在图3A和图3B中可见，捕获区是十字形的。实际上，捕获区显示了第一传感器和第二传感器所“看到”的内容。在实施方案中，处理来自第一传感器和第二传感器的输入(如下文将解释的)，目的是提供输入的无缝拼接。在另一实施方案中，捕获区示出了来自该传感器中的一个传感器的输入和来自另一传感器的输入的“缺失部分”。

在步骤S230中，设备100获得要拍摄图片的指令。如在步骤S210中，该指令可以例如是用户指令。

在步骤S240中，响应于指令，设备100分别捕获来自第一传感器和第二传感器的输入。

在步骤S250中，设备100处理来自第一传感器和第二传感器的捕获输入。下文将进一步描述这种处理。

在步骤S260中，设备100存储捕获照片，即经处理的输入。捕获照片可以存储在设备的存储器中，或者输出到用于存储的另一设备。

如已经提及的，捕获输入可以例如使用XDM文件格式存储在单个文件中，来自每个传感器的输入与不同的“相机”相关联。

在实施方案中，处理可以包括分别将来自传感器的捕获输入与传感器位姿信息(例如纵向或水平)相关联。

图4示出了存储使用图2中所示方法捕获的照片的文件的示例。在示例中，文件格式是XDM。

可以看出，XDM文件400包括对文件类型410(诸如JPEG和GIF)的指示、XDM设备信息420，该XDM设备信息包括设备位姿430和相机信息440。相机信息440可以包括与第一相机442有关的信息和与第二相机444有关的信息。

与相机442、444有关的信息可以各自对应于传感器，例如相机0可以对应于第一传感器150，而相机1对应于第二传感器160，反之亦然。

与相机442、444有关的每个信息可以包括来自对应传感器的经处理的图像数据442a、444a、关于相机位姿(即传感器位姿)442b、444b和透视模型442c、444c的信息，该透视模型即相机的固有参数，诸如例如焦距、光轴的主点、倾斜度和镜头畸变。

图5A和图5B分别示出了对应于传感器所显示的处理数据的示例。图5A示出了由一个传感器捕获的横向图像并且图5B示出了由另一传感器捕获的纵向图像。

设备在显示所存储的照片时，可以示出组合图像，该组合图像具有来自两个传感器的数据，该数据以任何合适的方式组合，仅横向图像或仅纵向图像。用户可以预设或选择设备所显示的内容。设备可以显示组合图像，然后响应于用户指令，显示、存储或输出两个图像中的一个图像。

技术人员将理解，两个图像包含大量冗余信息，并且因此对于至少一些应用程序，需要更大的存储要求。

在另一实施方案中，处理经捕获的数据，以缩减所得文件的大小。应注意，这种处理还可以用于提供参考步骤S220提及的无缝拼接。

在另一实施方案中，由于用于传感器的透镜不同，因此参考另一传感器矫正从一个传感器捕获的图像数据，调整其大小，然后进行裁剪，以仅保持经捕获的图像数据的附加部分。

图6示出了根据另一实施方案的用于处理经捕获的数据的方法。在此示例中，虽然第一相机即相机0，拍摄横向图片，并且第二相机即相机1，拍摄纵向图片，但这可以是另一种方式。

在步骤S610中，处理器获得从相机1捕获的数据、来自相机1的位姿和透视模型，以及来自相机0的位姿和透视模型。

在步骤S620中，处理器参考相机0矫正从相机1捕获的图像数据，这产生经矫正的图像数据。这一程序众所周知，由于其已在以下文章中进行描述：例如，Z.Zhang的“用于相机标定的灵活新技术(A Flexible New Technique for Camera Calibration)”(《在IEEE模式分析与机器智能汇刊》，2000年11月，第22卷，第11期，第1330-1334页)，以及J.-Y.Bouguet的“用于矩阵实验室(Matlab)的相机标定工具箱(Camera Calibration Toolboxfor Matlab)”，见于http://www.vision.caltech.edu/bouguetj/calib_doc/index.html，因此，本文将不再进一步描述。

在步骤S630中，处理器调整经矫正的图像数据的大小，以匹配从相机0捕获的图像数据的大小，这产生大小经调整的图像数据。该程序同样众所周知。

在步骤S640中，处理器去除大小经调整的图像数据的冗余部分，这产生经缩减的图像数据。可在从相机0捕获的图像数据中发现冗余部分，其基本上为重叠部分。

在步骤S650中，处理器输出经缩减的图像数据，例如以便在文件中存储。

应注意，假如期望使用图像处理技术，该图像处理技术需要从两个传感器捕获的数据(诸如例如，超分辨成像)，那么应在使用图6中的方法缩减经捕获的图像数据之前执行此类图像处理。

图7A和图7B示出了对应于图像数据和对应缩减数据的图像的示例。图7A示出了与图5A中相同的横向图像，而图7B示出了附加部件(注意，存在两个附加部分，一个对应于图7A中的图像上方的部分，一个对应于下方的部分)。

图8示出了存储照片的文件的示例，该照片使用图2中所示的方法捕获并且大小已缩减。

可以看出，文件800与图4中的文件400有显著的相似之处；当所指示的特征相同时，使用相同的参考标号。第一差异是相机1 844的图像数据844a包括附加部分，第二差异是图像数据844a与经缩减的图像数据指示符844b相关联，该经缩减的图像数据指示符指示文件是否包括经缩减的图像数据，即附加部分，以在显示之前与相机0的图像数据进行组合。

图9示出了根据本发明原理的实施方案的用于捕获视频的方法。该方法可以由图1的设备100执行；附图中描述的参考标号是指图1中的参考标号。应注意，该方法将通常实现为迭代法，一次处理一个捕获图像。

在步骤S910中，第一传感器150和第二传感器160捕获视频，即一系列图像。

在步骤S920中，处理器120使用图6中描述的方法处理从第二传感器160捕获的视频，该方法即，矫正、调整大小和缩减，以生成经缩减的视频数据。

在步骤S930中，处理器120将来自第一传感器150的视频与步骤S920中生成的经缩减的视频数据进行组合，以生成经组合的视频数据。

在步骤S940中，处理器120使用例如由设备100的角度测量单元170测量的滚动角，以裁剪经组合的视频数据，使得经裁剪的视频数据在横向模式中和纵向模式中平行或至少基本上平行。

在步骤S950中，处理器120将经裁剪的视频数据输出到例如显示器140、存储器130和外部设备中的至少一者。

图10A至图10D示出了基于步骤S940中的滚动角裁剪经组合的视频数据。这些图旨在示出设备100从竖直取向(还由竖直散列矩形指示)沿逆时针方向旋转到近水平取向。

每张图都示出了经组合的视频(示出为水平散列和竖直散列矩形的叠加)和经裁剪的视频(示出为透明矩形)，并且还指示了滚动角。

视频被裁剪成具有相同的输出大小，该输出大小可以尽可能大，同时完全包含在经组合的视频中，而不管滚动角如何。作为示例，在每个传感器具有1920×1080像素的情况下，获得像素为1331×748的裁剪视频是可能的。

因此，应当理解，本发明原理可以用于提供一种设备，该设备至少在一定程度上能够补偿其在拍摄图片或录制视频时的取向方法。

应理解，附图中所绘示的元件可以各种形式的硬件、软件或它们的组合来实施。优选地，这些元件在一或多个适当编程的通用设备上以硬件和软件的组合实施，该通用设备可包含处理器、存储器和输入/输出接口。

本说明书示出本公开的原理。因此，应理解，本领域技术人员将能够设计各种布置，尽管在本文中未明确描述或绘示，但是体现本公开的原理并且包含在其范围内。

本文所叙述的所有示例和条件语言旨在教学目的，以帮助读者理解本公开的原理和由发明人对促进本领域所贡献的概念，并且应解释为不限于这种具体叙述的示例和条件。

此外，本文阐述的本公开的原理、方面和实施方案以及它们的具体示例的所有陈述均旨在涵盖它们的结构和功能等同物。此外，意图在于，这种等同物包含当前已知等同物以及未来开发的等同物两者，即，所开发的任何执行相同功能的元件，而不管结构如何。

因此，例如，本领域技术人员将理解，本文所呈现的框图表示体现本公开的原理的说明性电路的概念图。类似地，应当理解，任何流程图(flow charts)、流程图(flowdiagrams)等表示可基本上在计算机可读介质中表示并且由计算机或处理器执行的各种过程，无论这种计算机还是处理器是否被明确绘示。

图中所绘示的各种元件的功能可通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供。当由处理器提供时，功能可由单个专用处理器、单个共享处理器或由多个单独处理器提供，其中一些可以为共享的。此外，术语“处理器”或“控制器”的明确使用不应解释为指能够执行软件的硬件，并且可隐含地包括但不限于数字信号处理器(DSP)硬件、存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储装置。

还可包含其他常规和/或定制的硬件。类似地，图中所绘示的任何开关仅为概念性的。其功能可通过编程逻辑的操作、通过专用逻辑、通过编程控制和专用逻辑的交互、或甚至手动地进行，如从上下文更具体地理解，可由实施人员选择的特定技术。

在本文的权利要求中，表达为用于执行指定功能的装置的任何元件旨在涵盖执行该功能的任何方式，包括例如，a)执行该功能的电路元件的组合，或b)呈任何形式的软件，因此，包含固件、微码或类似物，与用于执行该软件以执行该功能的适当电路结合。如这些权利要求所定义的公开内容在于以下事实：以权利要求书要求的方式将由各种所叙述的装置提供的功能结合并且汇集在一起。因此，认为可提供那些功能的任何装置等同于本文所绘示的那些。

Claims (15)

1.一种设备，所述设备包括：

至少一个第一传感器，所述至少一个第一传感器用于捕获第一图像数据，所述至少一个第一传感器是矩形的并且沿相对于所述设备的方向定向；

至少一个第二传感器，所述至少一个第二传感器用于捕获第二图像数据，所述至少一个第二传感器是矩形的并且沿所述方向定向，并且被进一步布置成至少基本上正交于所述至少一个第一矩形传感器；和

至少一个硬件处理器，所述至少一个硬件处理器被配置为：

使所述至少一个第一传感器和所述至少一个第二传感器至少基本上同时地分别捕获所述第一图像数据和所述第二图像数据；以及

以及进行以下中的至少一者：将来自所述第一图像数据的数据和来自所述第二图像数据的数据作为十字形图像同时显示，或者将来自所述第一图像数据的数据和来自所述第二图像数据的数据作为十字形图像存储在一起。

2.根据权利要求1所述的设备，进一步包括显示器，所述显示器被配置为显示所述十字形图像。

3.根据权利要求1所述的设备，其中所述至少一个硬件处理器被进一步配置为处理所述第一图像数据和所述第二图像数据中的至少一者，以去除所述第一图像数据与所述第二图像数据之间的冗余。

4.根据权利要求3所述的设备，其中所述至少一个硬件处理器被配置为通过以下方式去除冗余：

参考所述第一图像数据矫正所述第二图像数据，以获得经矫正的第二图像数据；

调整所述经矫正的第二图像数据的大小以匹配所述第一图像数据的大小，从而获得大小经调整的第二图像数据；以及

去除所述第一图像数据中存在的所述大小经调整的第二图像数据的部分。

5.根据权利要求3所述的设备，进一步包括角度测量单元，所述角度测量单元被配置为测量所述设备的滚动角；

其中所述至少硬件处理器被进一步配置为从所述第一图像数据和所述第二图像数据并利用所述滚动角提取图像数据，所述图像数据对应于其较长边缘平行于水平线的矩形图像。

6.根据权利要求5所述的设备，其中对于至少一些但并非所有滚动角值，所述经提取的图像数据包括来自所述第一图像数据和所述第二图像数据两者的图像数据。

7.根据权利要求1所述的设备，其中所述设备进一步包括存储器，所述存储器被配置为将来自所述第一图像数据的所述数据和来自所述第二图像数据的所述数据存储在一起。

8.根据权利要求1所述的设备，其中所述至少一个硬件处理器被进一步配置为将响应于指令捕获的来自所述第一图像数据的所述数据和来自所述第二图像数据的所述数据存储在单个文件中。

9.根据权利要求1所述的设备，其中所述至少一个第一矩形传感器和所述至少一个第二矩形传感器具有相同的纵横比。

10.根据权利要求1所述的设备，其中所述设备是智能手机或平板电脑。

11.一种方法，所述方法包括：

至少基本上同时地由设备的至少一个第一传感器捕获第一图像数据和由所述设备的至少一个第二传感器捕获第二图像数据，所述至少一个第一传感器是矩形的并且沿相对于所述设备的方向定向，并且所述至少一个第二传感器是矩形的并且沿所述方向定向，并且被进一步布置成至少基本上正交于所述至少一个第一矩形传感器；以及

进行以下中的至少一者：将来自所述第一图像数据的数据和来自所述第二图像数据的数据作为十字形图像同时显示，或者将来自所述第一图像数据的数据和来自所述第二图像数据的数据作为十字形图像存储在一起。

12.根据权利要求11所述的方法，进一步包括由至少一个硬件处理器处理所述第一图像数据和所述第二图像数据中的至少一者，以去除所述第一图像数据与所述第二图像数据之间的冗余。

13.根据权利要求12所述的方法，其中所述至少一个硬件处理器通过以下方式去除冗余：

参考所述第一图像数据矫正所述第二图像数据，以获得经矫正的第二图像数据；

调整所述经矫正的第二图像数据的大小以匹配所述第一图像数据的大小，以获得大小经调整的第二图像数据；以及

去除所述第一图像数据中存在的所述大小经调整的第二图像数据的部分。

14.根据权利要求11所述的方法，进一步包括将响应于指令捕获的来自所述第一图像数据的所述数据和来自所述第二图像数据的所述数据存储在单个文件中。

15.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储编程代码指令，所述编程代码指令在由处理器执行时实施根据权利要求11至14中的至少一项所述的方法的步骤。

Images