CN102938826A

CN102938826A - 使用多个相机照相

Info

Publication number: CN102938826A
Application number: CN2012104554657A
Authority: CN
Inventors: 黃孜戟
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2011-11-14
Filing date: 2012-11-14
Publication date: 2013-02-20
Also published as: WO2013074383A1; US20130120602A1

Abstract

各种实施例利用例如电话的移动设备上的多个内置相机来捕获图像，所述图像的各个包括来自所述相机中的每个的部分。在所述图像被捕获和存储之前，可以调整来自不同相机的所述部分的比例和布局。在至少某些实施例中，各个相机面向不同方向，以及，可以将由所述相机中的一个捕获的图像并入由所述相机中的另一个捕获的图像中。例如，在至少某些实施例中，特别是在其中用户的图像被捕获的那些实施例，所述用户的图像可以从例如移动设备上的前置相机的第一相机的视图中提取出，并在由第二相机捕获的图像的前景中显示给用户，所述由第二相机捕获的图像例如是由所述移动设备上的后置相机捕获的风景图像。

Description

使用多个相机照相

背景技术

许多手机配备了相机，用户频繁使用所述相机来在各种地方为其自己和其他人照相。为获得其自己的照片，用户可以要么自己照相，要么可以尝试找到另一人来为其照相。当用户尝试靠他或她自己照相时，用户可能与背景中的风景相比之下显得在照片中非常大。可能还难以正确地将相机瞄准和确保光线是可接受的。这可能导致产生这样的照片，所述照片未正确瞄准中心或剪裁掉照片的主题中的一个或多个。

如果用户可以找到另一个人来照相，则用户没有控制照片的布局的选择，并且可能以并非用户正追求的照片告终。例如，想要在圣路易斯的拱门前的照片的一对夫妻可能因为摄影师假设这对夫妻应当是照片的主焦点而以剔除了拱门顶部的照片告终，但这对夫妻事实上想要整个拱门在照片中。此外，附近并不总是存在愿意或能够照相的其他人。

发明内容

提供本发明内容来以简化形式介绍下面在具体实施方式中进一步描述的概念的选摘。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

各种实施例使用例如电话的移动设备上的多个内置相机来捕获图像，各个图像包括来自所述相机的每个的部分。在所述图像被捕获和存储之前，可以调整所述来自不同相机的部分的比例和布局。在至少某些实施例中，各个相机面向不同方向，并且由所述相机中的一个捕获的图像可以被并入由所述相机中的另一个捕获的图像。例如，在至少某些实施例中，特别是在其中用户的图像被捕获的那些，所述用户的图像可以从例如移动设备上的前置相机的第一相机的视图中提取，并在由第二相机捕获的图像的前景中显示给用户，其中，所述由第二相机捕获的图像例如是由所述移动设备上的后置相机捕获的风景图像。所述用户可以相对于彼此调整所述图像的比例和布局，并将所述图像捕获在文件中。

附图说明

尽管本说明书以特别指出和确切要求保护主题的权利要求结束，但应当相信，从以下结合附图的描述中将更好地理解实施例，其中：

图1是根据一个或多个实施例的示例性运行环境的图示；

图2是根据一个或多个实施例的示例性实现的图示；

图3是根据一个或多个实施例的示例性实现的图示；

图4是根据一个或多个实施例的示例性实现的图示；

图5是根据一个或多个实施例的示例性方法的流程图；以及

图6是可以用于实现一个或多个实施例的示例性设备的框图。

具体实施方式

综述

各种实施例使用例如电话的移动设备上的多个内置相机来捕获图像，所述图像的各个包括来自所述相机的每个的部分。在图像被捕获和存储之前，可以调整来自不同相机的部分的比例和布局。在至少某些实施例中，各个相机面向不同方向，并且由相机中的一个捕获的图像可以被并入由相机中的另一个捕获的图像。例如，在至少某些实施例中，特别是在其中用户的图像被捕获的那些，用户的图像可以从例如移动设备上的前置相机的第一相机的视图中提取，并且在由第二相机捕获的图像的前景中显示给用户，其中，由第二相机捕获的图像例如是由移动设备上的后置相机捕获的风景图像。用户可以相对于彼此调整图像的比例和布局，并且将图像捕获在文件中。

在以下讨论中，命名为“示例性运行环境”的小节描述根据一个或多个实施例的运行环境。接下来，命名为“示例性实施例”的小节描述使用例如双相机设备的多相机移动设备来捕获包括来自相机的每个的部分的图像的各种示例。最后，命名为“示例性设备”的小节描述可以用于实现一个或多个实施例的示例性移动设备。

现在，考虑根据一个或多个实施例的示例性运行环境。

示例性运行环境

图1是根据一个或多个实施例的示例性环境100的图示。环境100包括配备了多个相机的手持、移动设备102。在至少某些实施例中，所述多个相机中的至少一些可以面向不同方向。可以使用任意合适数量的相机，并将其放置为面向任意合适的方向。作为示例并且不作为限制，移动设备102包括前置相机104和后置相机106。由此，在本示例中，相机面向大体相反的方向。在各种实施例中，用户可以利用来自前置相机104和后置相机106这两者的图像部分来照相。移动设备102可以被实现为任意合适类型的设备，下面提供其示例。

在所示和所描述的实施例中，移动设备102包括一个或多个处理器108和计算机可读存储介质110。计算机可读存储介质110可以包括各种软件可执行模块，包含图像处理模块112、相机模块114、输入/输出模块116和用户接口模块118。在该特定示例中，图像处理模块被配置为，从第一相机提取例如用户的图像的近景图像（close image），并将所提取的图像显示在来自第二相机的图像上。相机模块114被配置为控制相机，并且可以导致相机捕获各自的图像。

输入/输出模块116被配置为，使移动设备102能够从例如移动电话、计算机等的其它设备接收通信和数据并向其发送通信和数据。输入/输出模块116可以包括多种功能，例如用于产生和接收电话呼叫、形成短消息服务（SMS）文本消息、多媒体消息传递服务（MMS）消息、电子邮件消息、将状态更新传输到社交网络服务等的功能。

用户接口模块118被配置为，管理与在设备上执行的可执行模块关联的用户接口。在所示和所描述的实施例中，用户接口模块118在图像处理模块112的影响下可以导致相机104和106的视图内的图像与工具一起呈现给用户，其中，所述工具可以使用户能够调整图像以达到期望的合并图像。

移动设备102还包括放置在设备前面的显示器120，该显示器被配置为，显示例如由图像处理模块112产生的相机104和106的图像的内容。显示器120可以用于输入各种内容，例如呼叫者标识（ID）、联系人、图像（例如照片）、电子邮件消息、多媒体消息、互联网浏览内容、游戏性内容、音乐、视频等。在一个或多个实施例中，显示器120被配置为，通过合并触屏功能而充当输入设备，例如通过电容式、表面声波、电阻式、光学、应变计、扩散（dispersive）信号、声脉冲和其它触屏功能。触屏功能（以及例如轨迹板的其它功能）可以也用于检测手势或其它输入。

实际上，图像处理模块112可以从由前置相机摄取的图像提取例如用户图像的图像，并将所提取的图像显示在来自后置相机的图像之中或之上。例如，用户可以将移动设备102上的后置相机指向风景的视图，而移动设备102上的前置相机被指向用户。图像处理模块112可以从由移动设备上的前置相机摄取的图像提取用户图像，并将该用户图像覆盖在风景图像上。用户可以然后通过选择显示器120上示出的用户手段（instrumentality）或移动设备上的机械按钮122来照相。

相机模块114可以包括：一个或多个相机镜头，其收集来自对象的光线以用于使对象成像；传感器，其将已成像的光信号转换为电信号；测距传感器；以及信号处理器，其将从相机传感器输出的模拟图像信号转换为数字数据。相机传感器可以是例如电荷耦合设备（CCD）传感器。信号处理器可以是例如数字信号处理器（DSP）。相机传感器、测距传感器和信号处理器可以被集成为单个信号单元，或者可以是单独的设备。在不脱离所要求保护的主题的精神和范围的情况下，可以使用任意合适的一个或多个相机。

在各种实施例中，相机模块114可以包括至少两个相机镜头。所述镜头可以被放置在移动设备102的相反朝向的表面上（例如，用于前置相机104的镜头和用于后置相机106的镜头）。在可替换实施例中，移动设备102可以包括两个相机模块114，并且该两个相机模块114每个可以包括单一相机镜头。为简单起见，将在假设相机模块114包括至少两个相机镜头的情况下描述过程，但是应当认识到和理解，多个相机模块可以取代单一的集成相机模块而被包括。

实际上，图像处理模块112可以使相机模块114能够呈现可以使用前置相机104和后置相机106捕获的图像的预览。在各种实施例中，预览可以是直播预览，并且可以随着用户移动设备而被更新。这可以导致可以被设备的相机捕获的图像的改变。

相机模块114可以将由以上提到的传感器收集的信息和/或数据发送给图像处理模块112进行进一步处理。具体的，图像处理模块112可以利用来自相机模块的信息和/或数据来提取来自例如前置相机104的相机中的一个的近景图像。例如，图像处理模块112可以接收关于由前置相机104查看到的图像中各种对象的距离的数据的数字数据，以便使图像处理模块112能够从来自前置相机104的视图提取用户图像，其中，来自前置相机104的视图包括用户图像和用户被放置在其前面的背景。换句话说，图像处理模块112可以使用来自测距传感器的信息来提取靠近相机的对象的表示。

如以上和以下描述的那样，图像处理模块112可以然后将所提取的用户图像显示在由后置相机106捕获的图像上。在各种实施例中，前置相机104的视图是在与由第二相机摄取的视图不同的方向上摄取的。换句话说，在当前描述的实施例中，来自所述相机的图像不覆盖或包含任何相同点。如以上和以下所描述的，用户可以在图像被捕获之前调整所显示的图像，例如通过修改由一个相机获取的图像的尺寸相对于由另一相机获取的图像的尺寸的比例、或一个图像相对于另一个的定位。当用户指示期望捕获如所显示的图像时，相机模块114可以导致图像使用所述两个相机而被捕获。在各种实施例中，相机基本同时地捕获其各自的图像部分，但是应当认识到和理解，相机可以在不同时间点捕获其各自的图像部分。包括来自前置相机的至少一部分和来自后置相机的至少一部分的图像可以被存储为移动设备102上的单一文件。

一般而言，本文中所描述的功能中的任一个可以使用软件、固件、硬件（例如固定逻辑电路）或这些实现的组合来实现。本文中使用的术语“模块”、“功能”和“逻辑”一般地代表软件、固件、硬件或其组合。在软件实现的情况下，模块、功能或逻辑代表当被在处理器（例如一个或多个CPU）上执行时执行指定任务的程序代码。该程序代码可以存储在一个或多个计算机可读存储器设备中。以下描述的用户接口技术的特征是平台无关的，这意味着，所述技术可以在具有多种处理器的多种商用计算平台上实现。

可以关于以下示例性实施例来理解已描述的示例性环境，其中，所述示例性实施例利用移动设备上的多个内置相机来捕获和处理图像。

示例性实施例

图2是在其中用户202正利用移动设备102来捕获视图204的示例性实施例200的图示。在本示例中，存在两个相关的距离关系。具体地，在所示的实施例中，视图204是圣路易斯的拱门的视图，并且用户为捕获整个拱门的图像而位于足够远距离处。用户202还位于距移动设备102的第二较近距离处。用户202与移动设备102之间的距离可以例如是大约手臂的长度，而用户与拱门之间的距离大得多，例如一百码或更多。

移动设备102被配置为，显示用户202的图像（例如由前置相机104提供）和视图的图像（例如由后置相机106提供）这两者。呈现合并的图像的示例性显示在图3中示出。

此处，移动设备102包括呈现在显示器120上的示例性合并的图像300。合并的图像代表被覆盖在背景图像304上的所提取的用户302的表示或图像。所提取的用户302的表示可以从由前置相机104摄取的图像中提取。这可以以任意合适的方式来完成。例如，测距传感器可以在视图的前景中识别例如用户的一个或多个对象，并从视图的剩余部分中提取该对象。在各种实施例中，测距传感器可以提供数据以使图像处理模块能够确定设备近距离内的至少一个对象，并实现从视图的剩余部分中对表示的提取。“近距离”可以取决于特定实施例而改变。例如，在某些实施例中，一米或更小距离内的对象的表示可以从来自相机的视图中提取出。

因为用户距离上比背景更靠近移动设备102，所提取的用户302的表示可以相比于背景图像304不成比例。因此，可以在显示器120上提供一个或多个用户手段（例如“照相”用户手段306a和“编辑”用户手段306b），以使用户能够在照片出现在显示器上时通过选择对应的手段来编辑和接受照片。作为编辑功能可以如何被使用的仅一个示例，考虑以下。

图4是例如当用户已选择在照相之前编辑合并的图像时呈现在显示器120上的示例性合并图像400的图示。在图4中，用户可以与显示器120上的合并的图像进行交互，并且修改所显示图像的属性和特征。这可以以任意合适的方式来完成。例如，用户可以修改所提取的用户402的表示的尺寸相对于背景图像404的尺寸的比例。这可以通过使用显示器120上呈现的一个或多个菜单或通过由用户的手406代表的各种手势来达到。手势可以包括例如“捏”手势，该“捏”手势用于导致所提取的用户402的表示的尺寸相对于背景图像404被缩小。可替换地或另外，“伸开”手势可以用于导致所提取的用户402的表示的尺寸相对于背景图像404被扩大。例如拖的其它手势可以用于相对于彼此移动图像。在不脱离所要求保护的主题的精神和范围的情况下，可以另外并入此外其它的手势。例如，手势输入可以用于导致颜色、色调、强度、对比度等的改变。

一旦整体图像显得对用户合适，则用户可以与移动设备102进行交互以捕获图像。例如，用户可以选择例如标记为“照相”的用户手段306a的用户手段，或者可以选择机械按钮122，以导致设备例如通过将其作为文件存储在存储器中而更持久地捕获图像。

已描述了使用移动设备上的双内置相机来将多个图像集成为单一照片的各种实施例，现在考虑用于使用多个相机来创建图像的方法。

图5是根据一个或多个实施例的过程500的流程图。该过程可以结合任意合适的硬件、软件、固件或其组合来实现。在实施例的至少某些中，该过程可以由例如移动设备102的移动设备实现。任意合适类型的移动设备可以被使用，上面提供了其示例。

框502导致图像的预览被显示。这可以以任意合适的方式来执行。例如，假设用户正持有移动设备，其中第一相机面向他且第二相机面向相反方向（即，第二相机正面向与该用户所面向的相同方向）。如以上所描述的，包括来自第一相机的图像部分（例如用户的图像或表示）和来自第二相机的图像部分（例如拱门的视图）的图像可以被显示。

在各种实施例中，来自所述相机中至少一个的图像部分是从来自该特定相机的视图中提取出的对象的表示。所提取出的图像部分被覆盖在来自另一相机的图像部分上。来自给定视图的对象表示可以例如是基于与由测距传感器提供的对象距相机的距离或距离关系相关的信息。在各种实施例中，大约一米或更近距离内的对象的表示可以从视图中提取出。上面提供了这可以如何来完成的示例。

框504实现对图像进行修改。这可以以任意合适的方式来完成。例如，各种用户手段可以被显示，以便使用户能够改变图像部分中的一个的尺寸相对于其它图像部分的比例（例如，使用户的图像相对于背景图像更小），调整一个图像部分相对于其它的定位（例如，向左或向右移动用户的图像），放大或缩小图像部分中的一个等。取决于特定实施例，可以进行对图像的属性和特征的其它修改。

框506探知图像是否已被修改。这可以以任意合适的方式来完成。例如，设备可以探知用户动作的出现，所述用户动作例如是在实现了触摸的显示器上的拖动手势。如果图像已被修改，则框508根据该修改更新图像的预览。这可以以任意合适的方式来完成。例如，预览可以是随着修改的进行而实时更新的“直播”预览。一旦预览被更新，则过程返回到框502，直到不存在任何对图像的进一步修改为止。

当不存在任何对图像的修改（或不存在任何对图像的进一步修改）（例如框506处的“否”）时，框510可以探知指示期望捕获图像的用户与设备的交互的出现。这可以以任意合适的方式来完成。例如，设备可以检测，用户已与标记为“照相”的用户手段进行交互，或用户已按压设备上的机械按钮。

框512使用多个相机捕获图像。这可以以任意合适的方式来执行。例如，设备可以包括这样的硬件，所述硬件被配置为，使多个相机能够基本同时地或在彼此相距3-5秒内捕获图像的部分。该时间可以根据特定实施例而改变，但应当导致单一图像文件被生成。

框514存储图像。这可以以任意合适的方式来执行。例如，图像可以被存储在安全数字（SD）卡中或设备存储器中。在各种实施例中，图像被存储为一个文件，尽管其包括从多个相机获取的图像部分。

使用多个相机捕获图像的各种实施例可以使用多种设备来实现，例如以下示例中描述的设备。

示例性设备

图6示出了可以用于实现以上描述的实施例中的一个或多个的示例性设备600的各种部件。在一个或多个实施例中，设备600可以实现为例如图1中的移动设备102的用户设备。

设备600包括输入设备602，该输入设备602可以包括互联网协议（IP）输入设备以及例如键盘的其它输入设备。设备600进一步包括通信接口604，该通信接口604可以实现为无线接口、任意类型的网络接口和任意其它类型的通信接口中的任意一个或多个。网络接口提供设备600与通信网络之间的连接，其中，其它电子和计算设备通过该通信网络可以与设备600通信数据。无线接口可以使设备600能够运行为用于无线通信的移动设备。

设备600还包括一个或多个处理器606（例如微处理器、控制器等中的任一个），所述一个或多个处理器606处理各种计算机可执行指令以便控制设备600的操作和与其它电子设备进行通信。设备600可以实现为带有例如一个或多个存储器部件的计算机可读介质608，其示例包括随机访问存储器（RAM）和非易失性存储器（例如只读存储器（ROM）、闪存、EPROM、EEPROM等中的任意一个或多个）。

计算机可读介质608提供数据存储以存储内容和数据610以及设备可执行模块和与设备600的操作方面相关的任意其它类型的信息和/或数据。一个所述配置的计算机可读媒介是信号承载媒介，并且由此被配置为，例如经由网络向计算设备的硬件发送指令（例如作为载波）。所述计算机可读媒介还可以被配置为计算机可读存储媒介，并且由此不是信号承载媒介。计算机可读存储媒介的示例包括随机访问存储器（RAM）、只读存储器（ROM）、光盘、闪存、硬盘存储器以及可以使用磁、光和其它技术来存储指令和其它数据的其它存储器设备。存储类型计算机可读介质在本文中被明确定义为排除传播的数据信号。

操作系统612可以利用计算机可读介质608被维护为计算机可执行模块，并且在处理器606上执行。设备可执行模块除如以上和以下所描述运行的图像处理模块616和相机模块618之外可以还包括I/O模块614（其可以用于提供电话功能）。

设备600还包括向音频渲染和/或显示系统622提供音频和/或视频数据的音频和/或视频输入/输出620。例如，音频和/或视频输入/输出620可以导致图像的预览或捕获的图像被显示在音频渲染和/或显示系统622上。音频渲染和/或显示系统622可以被实现为示例性设备600的（多个）集成部件，并且可以包括处理、显示和/或渲染音频、视频和图像数据的任意部件。音频渲染和/或显示系统622可以包括用于导致捕获的图像或图像的预览例如在显示器120上被显示给用户的功能。

在各种实施例中，设备经由音频/视频输入/输出620和/或输入602可以例如当用户与由音频渲染/显示系统622显示的用户手段进行交互时感知用户与移动设备的交互，并且可以响应于所述用户交互而捕获图像或执行其它动作。

如前所述，框可以代表被配置为提供所代表功能的模块。进一步地，本文中所描述的功能中的任一个可以使用软件、固件（例如固定逻辑电路）、人工处理或这些实现的组合来实现。本文中使用的术语“模块”、“功能”和“逻辑”一般地代表软件、固件、硬件或其组合。在软件实现的情况下，模块、功能或逻辑代表当在处理器（例如一个或多个CPU）上执行时执行指定任务的程序代码。程序代码可以被存储在一个或多个计算机可读存储设备中。以上所描述的技术的特征是平台无关的，这意味着，所述技术可以在具有多种处理器的多种商用计算平台上实现。

尽管上面已描述了各种实施例，但应当理解，其已作为示例并且不作为限制被提出。对于相关（多个）领域的技术人员应当显而易见，在不脱离本公开的范围的情况下，可以做出形式和细节上的各种改变。由此，实施例不应当受以上描述的示例性实施例中的任一个限制，而应当仅根据以下权利要求及其等价体来定义。

Claims

1. 一种计算机实现的方法，其包括：

在移动设备上导致图像的预览被显示（502），所述图像包括从所述移动设备上的第一相机获取的至少第一部分和从所述移动设备上的第二相机获取的第二部分；

使得能够对所述图像的预览进行一个或多个修改（504）；以及

通过使用所述第一相机捕获所述图像的第一部分和使用所述第二相机捕获所述图像的第二部分来捕获所述图像（512）。

2. 根据权利要求1的计算机实现的方法，其中，所述使能包括使得能够在捕获所述图像之前对所述图像的预览进行一个或多个修改。

3. 根据权利要求2的计算机实现的方法，其中，所述一个或多个修改包括对以下中一个或多个的修改：所述图像的所述第一部分的尺寸相对于所述图像的所述第二部分的尺寸的比例，或者所述图像的所述第一部分相对于所述图像的所述第二部分的定位。

4. 根据权利要求1的计算机实现的方法，其进一步包括：

通过从由所述第一相机摄取的视图中提取至少一个对象的表示来获取所述图像的所述第一部分。

5. 根据权利要求4的计算机实现的方法，其中，来自所述第一相机的所述视图是在与由所述第二相机摄取的视图不同的方向上摄取的。

6. 一种移动设备（102），其包括：

一个或多个处理器（108）；

一个或多个计算机可读存储介质（110）；

位于所述设备上的第一相机（104）；

位于所述设备上的至少一个第二相机（106）；以及

一个或多个模块（112，114，116，118），其被包含在所述一个或多个计算机可读存储介质中，并且可在所述一个或多个处理器的影响下执行，所述一个或多个模块被配置为，使得由所述第一相机和所述至少一个第二相机捕获的图像能够被合并为包括来自每个所捕获图像的部分的合并图像。

7. 根据权利要求6的移动设备，所述一个或多个模块被进一步配置为，导致所述合并的图像的预览被显示。

8. 根据权利要求6的移动设备，所述一个或多个模块被进一步配置为：

使用测距传感器检测来自所述第一相机的视图中的对象；

从来自所述第一相机的视图中提取所述对象的表示，所述提取的对象的表示包括将作为所述合并图像的一部分而被合并的部分；以及

将所述第一部分覆盖到由所述第二相机捕获的第二部分上。

9. 一个或多个包括指令的计算机可读存储介质，所述指令可执行为导致设备执行以下过程，包括：

导致图像的预览被显示（502），所述图像包括：从第一相机获取的至少第一部分，其中，所述第一相机相对于该第一相机所关联的移动设备面向第一方向；以及，从第二相机获取的第二部分，其中，所述第二相机相对于所述移动设备面向第二、不同的方向，所述第一部分包括基于与所述移动设备的距离关系选择的至少一个对象；以及

将所述图像存储在所述移动设备中（514）。

10. 根据权利要求9的一个或多个计算机可读存储介质，其中，所述不同的方向大体与所述第一方向相反。