CN103548034A - 自动优化一个或多个主体的图像的捕捉 - Google Patents

Abstract

在此描述了捕捉并存储主体的优化的图像。可以以实况模式或连拍模式来捕捉主体的图像。管理照片的摄影师或用户可能希望拥有具有一个或多个优化的特征的图像。在多个图像中，找到每个主体的优化的特征并使用该特征来合成一个优化的图像，并且可以存储该优化的图像。

Description

自动优化一个或多个主体的图像的捕捉

背景

当前拍照的情形涉及为一个或多个人拍摄照片并希望所述照片是适合的。或者，一旦照片被拍摄，可以在所述照片上进行后期处理以对它们进行修改，从而在照片中的每个人的眼睛都是睁开的、每个人都是微笑的等等。但是，由于已经过了捕捉图像的时刻，如果后期处理的图像还是不适合，摄影师也将无能为力。

概述

本发明的实施例通常涉及捕捉具有优化的主体特征的图像。当试图捕捉一个人或超过一个人的图像时，要协调所有人以使得他们的眼睛是张开的、每个人都是微笑的或是期望的其它表情，这可能是很困难的。随着图像中的人越多，则捕捉具有最优脸部表情的所有主体也就越加困难。使用在此所述的实施例，可以捕捉主体的多个图像。所捕捉的图像可以形成可在其中检测到主体脸部的故事板。从所述多个图像中找到主体的至少一个特征，并且可以选择一个在其中可以优化所述特征的图像。随后，可以创建一个经优化的图像并将其与主体的所述特征一起存储。

各实施例由所附权利要求书而非本概述来定义。为此，此处提供了各方面的高级概览，以提供公开内容的概览，并介绍将在下面进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征。也不是意在被用作单独帮助确定所请求保护的主题的范围。

附图说明

下面将参考附图详细描述本发明的说明性实施例，在附图中：

图1描绘了适用于实现在此讨论的各实施例的示例性计算环境的框图。

图2描绘了根据一个实施例的用于自动存储张开眼睛的人的照片的示例方法的流程图。

图3描绘了根据一个实施例的用于自动存储张开眼睛的人的照片的系统的框图。

图4描绘了根据一个实施例的用于自动捕捉一个或多个主体的经优化的图像的示例性方法的流程图。

图5描绘了根据一个实施例的用于自动存储具有主体中经优化的特征的经优化的图像的示例性方法的流程图。

图6描绘了根据一个实施例的用于自动存储具有至少一个经优化的特征的主体的优化图像的示例性方法的流程图。

图7A-B描绘了根据一个实施例的故事板和经优化的图像的示例。

详细描述

本文中用细节来描述本发明各实施例的主题以满足法定要求。然而，该描述本身并非旨在必定限制权利要求的范围。相反，所要求保护的主题可结合其他当前或未来技术按照其他方式来具体化，以包括不同的步骤或类似于本文中所描述的步骤的步骤组合。术语不应被解释为暗示本文所公开的各步骤之中或之间的任何特定次序，除非且除了在明确描述个别步骤的次序的时候。

本发明通常涉及自动捕捉主体的经优化的图像。随着相机电话、数码相机以及其它含有相机的设备的采用，用户正在拍摄更多的照片。特别是，通过云存储和社交网络，即时上传所捕捉的照片以显示给其他人正变得日益流行。但是，所捕捉的图像可能并不能够使照片的主体特别满意。当在无法使用后期处理程序的情况下就上传时，所捕捉的东西就是将显示给世人的东西。在此呈现了一种用于在捕捉图像时对其进行优化的方法，以使得所存储的图像代表了主体的特征的最佳图像。

在一个实施例中，一个或多个计算机存储介质可以具有嵌入在其上的计算机可执行指令，当计算机可执行指令被执行时，自动捕捉具有优化的主体特征的图像。捕捉一个或多个主体的图像，并且检测所述一个或多个主体的脸部。在所述一个或多个主体中找到一个特征。选择具有所述特征的一个图像、对其优化，并将其作为具有所述一个或多个主体的所述特征的经优化的图像存储。

另一个实施例自动捕捉具有经优化的主体特征的图像。用相机捕捉一个或多个主体的多个图像。在所述多个图像中找到所述一个或多个主体的至少一个经优化的特征。最终，存储具有所述一个或多个主体的所述至少一个经优化的特征的经优化的图像。

在另一个实施例中，一个或多个计算机存储介质可以具有嵌入在其上的计算机可执行指令，当计算机可执行指令被执行时，自动捕捉具有优化的主体特征的图像。可以检测第一主体的第一脸部，并且，可以捕捉第一主体的多个图像。在所述多个图像中检测第一主体的第一附加特征，并且标识出所述多个图像中在其中优化了第一附加特征的至少一个图像。最终存储具有第一主体的优化的第一附加特征的至少一个经优化的图像。

在已经简要描述了本发明的概述后，现在描述可以在其中实现本发明的各个方面的示例性操作环境。概括地参考附图，并首先具体参考图1，示出了用于实现本发明的各实施例的示例性操作环境，并将其概括地指定为计算设备100。计算设备100只是合适的计算环境的一个示例，并且不旨在对本发明的使用范围或功能提出任何限制。也不应该将计算设备100解释为对所示出的任一组件或其组合有任何依赖性或要求。

本发明的各实施例可以在由计算机或诸如个人数据助理或其它手持式设备之类的其它机器执行的计算机代码或机器可使用指令（包括诸如程序模块之类的计算机可执行指令）的一般上下文中描述。一般而言，包括例程、程序、对象、组件、数据结构等的程序模块指的是执行特定任务或实现特定抽象数据类型的代码。本发明的实施例可以在各种系统配置中实施，这些系统配置包括手持式设备、消费电子产品、通用计算机、更专用计算设备等等。本发明的各实施例也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实施。

继续参考图1，计算设备100包括直接或间接耦合以下设备的总线101：存储器102、一个或多个处理器103、一个或多个呈现组件104、输入/输出（I/O）端口105、I/O组件106、和说明性电源107。总线101表示可以是一条或多条总线（诸如地址总线、数据总线、或其组合）。虽然为了清楚起见利用线条示出了图1的各框，但是实际上，各组件的轮廓并不是那样清楚，并且比喻性地来说，线条更精确地将是灰色的和模糊的。例如，可以将诸如显示设备等呈现组件认为是I/O组件。另外，许多处理器具有存储器。发明人关于此点认识到这是本领域的特性，并重申，图1的图示只是可以结合本发明的一个或多个实施例来使用的示例性计算设备的例示。诸如“工作站”、“服务器”、“膝上型计算机”、“手持式设备”等分类之间没有区别，它们全部都被认为是在图1的范围之内的并且被称为“计算设备”。

计算设备100通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备100访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。作为示例而非局限，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪存或其它存储器技术、CD-ROM、数字多功能盘（DVD）或其它全息存储器、磁带盒、磁带、磁盘存储或其它磁性存储设备或可用于编码所需信息且可以由计算设备100访问的任何其它介质。

存储器102包括易失性和/或非易失性存储器形式的计算机存储介质。存储器102可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备100包括从诸如存储器102或I/O组件106等各种实体读取数据的一个或多个处理器。呈现组件104向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等等。

I/O端口105允许计算设备100逻辑上耦合至包括I/O组件106的其它设备，其中某些可以是内置的。说明性I/O组件106包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、无线设备等等。

图2描绘了根据一个实施例提供了自动捕捉具有优化的主体特征的图像。使用数码相机、相机电话等等的用户可以在步骤201按下或以其他方式激活快门按键。如果检测到主体的脸部，相机就以“连拍模式”拍摄一系列的照片或图像，处于“连拍模式”的相机在短时段中捕捉多张照片。在该系列的每张照片或图像中，可以在步骤203确定主体的眼睛在所标识的脸部区域中的位置。在一个实施例中，存在许多可能的眼睛跟踪算法。如在205处所示，可以检查主体的眼睛以查看它们是张开的还是闭合的。如果存在所有的主体眼睛都是张开的单张图像，则选择该图像。但是如果每个主体在不同的图像中显示出最佳的眼睛张开，则可以使用在所选择的图像中的优化的特征来合成一张经优化的图像。这样，如在206处所示，保存了最可能包括主体的张开的眼睛的照片。连拍模式中拍摄的剩余图像可以被丢弃。或者，如果没有检测到主体的脸部，相机可以以普通模式或其他常规模式拍摄单张图像或照片（在208处示出），并保存该单张图像（在209处示出）。

参考图3，示出了用于自动捕捉具有优化主体特征的图像的示意性系统300。图像输入302和传感器303可以包括任意图像传感器，包括电荷耦合器件（CCD）传感器或互补金属氧化物半导体（CMOS）传感器。故事板304可以是存储在连拍模式中捕捉的多个图像的临时缓冲器，并被绑定301到图像信号处理流水线306。图像信号处理流水线可以运行一个或多个脸部检测算法、眼睛跟踪算法和/或二进制图案分类器以检查优化的特征和/或各种训练算法以及数据库。图像信号处理流水线306可以包括用于合成优化的图像的一系列规则。在由图像信号处理流水线306优化之后，优化的图像可以被存储在存储器305中。存储器305可以包括：随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、闪存、或其它存储器技术、CD-ROM、数字多功能盘（DVD）或其它全息存储器、磁带盒、磁带、磁盘存储或其它磁性存储设备或可用于编码所需信息的任何其它介质。

图4描绘了根据一个实施例的用于自动捕捉优化的主体特征的流程400。如401处所示，使用包含相机的设备来捕捉主体的多个图像。例如，父亲可以拍摄一张三个孩子的照片。含有相机的设备可以捕捉三个孩子在圣诞树前面摆好姿势的多张图像。含有相机的设备可以运行脸部检测算法，该算法在检测到一个或多个脸部时以连拍模式自动拍摄多张图像。或者，相机用户可以手动地选择脸部识别或连拍模式。在步骤402可以检测主体的脸部，并且如在403处所示，可以选择主体的至少一个附加特征。例如，父亲可能想要一张所有孩子都在笑的照片。存在大量的特征跟踪算法的示例，并且图像处理流水线可以包括训练算法以帮助对新优化的特征的检测。可以使用训练数据库，例如一个数据库具有笑的人的照片，而一个数据库具有不笑的人的照片。二进制图案分类器技术，例如支持向量机（SVM）、主分量分析（PCA）等也可以被用于决策和选择。

如在404处所示，可以选择多个捕捉的图像中其中特征被优化的图像。例如，图像处理流水线可以在多个图像中找到每个孩子的微笑。最终，如在405处所示，可以存储其中为主体优化了特征的优化的图像。例如，可以将在圣诞树前的所有的孩子在他们脸上都有微笑的照片存储作为最终图像。

另外，含有相机的设备可以包括先前针对多个主体所标识的优化的特征的数据库。例如，拍摄孩子照片的父亲可能已经存储了孩子微笑的早前图像。如果在圣诞树前的多个图像中所捕获的图像在特征优化中失败，则可以使用先前捕获的图像来合成优化的图像。例如，孩子之一在海滩边微笑的一张照片可以被用于优化在圣诞树前的孩子的图像，这样，他在优化的图像中也正在微笑。

而且，捕捉主体的多个图像可以在快门或其它相机激活方式之前或之后发生。例如，许多含有相机的设备包括了“实况模式”，该模式不被用于合成最终图像，而是仅仅是作为取景器。甚至在激活相机快门之前，“实况模式”的图像就可以被用作捕获的多个图像的一部分。

图5描绘了根据一个实施例的用于自动捕捉具有优化主体特征的图像的流程500，例如在其中可使用“实况模式”图像来形成优化的图像的方法。如在501处所示，可以用相机来捕捉主体的多个图像。所述多个图像可以形成故事板，并且可以以相机的“实况模式”或取景器模式来捕捉。所述多个图像的捕捉也可以按时间分隔开。例如，所述主体的多个图像可以是在过去已经被捕捉的，并形成主体的图像数据库。如在502处所示，可以激活包含相机的设备的相机快门。如在503处所示，可以在所述多个图像内找到主体的至少一个优化的特征。该步骤还可以包括如前所述的检测主体的脸部并定位要优化的特征。

为了存储优化了主体的特征的优化的图像，例如在步骤504中，图像处理流水线可以选择所述多个图像中最可能包含优化的特征的一幅图像。图像处理流水线可以使用特征映射信息来使用从所述多个图像中选中的优化的特征以人工调整所述特征。在一个实施例中，可以丢弃所述多个图像中没有被使用的图像。未使用的图像可以为训练数据库出力。确定包括一个或多个主体的优化的特征的图像可以为优化器数据库出力以在合成将来的优化的图像时使用。例如，眼睛张开的家族成员的图像可以被用于合成眼睛张开的家族成员的将来的图像。

图6解说了根据一个实施例的用于自动捕捉具有优化的主体特征的图像的流程600。流程600可以存储在各种与包含相机的设备一起使用的计算机存储介质上。含有相机的设备可以包括用于检测主体的脸部的脸部检测软件，如在601处所示。在一个示例中，含有相机的设备可以运行实况模式或取景器模式，在其中检测到主体的脸部，如在601处所示。如果检测到主体的脸部，则捕捉主体的多个图像，如在602处所示。当激活所述相机快门时，可以用连拍模式捕捉所述多个图像。可以以实况模式或取景器模式来捕捉所述多个图像。在所述多个图像的每个图像中，可以检测第一主体的第一附加特征，如在603处所示。使用各种算法来检测该附加特征，例如用于检测第一主体中的眼睛位置的眼睛跟踪算法。在步骤604中标识其中优化了至少一个附加特征的图像。如上所述，可以使用训练数据库来确定特征的优化以建立二进制分类，例如：眼睛张开或眼睛闭合。可以将任意二进制图案分类器技术用于决策。在步骤602中拍摄的所述多个图像之中，存储具有第一主体的优化的特征的至少一个优化的图像，如在605处所示。

如上所述，在捕捉具有第二主体的图像时，也可以在所述多个图像中检测并标识第二主体的优化的特征。所述第二主体的优化的特征可以被用于合成所存储的优化的图像。图像处理流水线可以应用规则以合成所述图像；例如，如果多个特征要被优化，特征#1（眼睛张开）可以比特征#2（微笑）在合成所述优化的图像中有更重的加权，或者相反。

在图7A和7B中，示出了根据一个实施例的自动捕捉具有优化的主体特征的图像的示例。在图7A中，多个图像700-703可以形成故事板或故事板的一部分。所述图像包括第一主体705和第二主体706。含有相机的设备可以检测第一主体705的第一脸部707和/或第二主体706的第二脸部709。脸部检测可以自动触发连拍模式或故事板捕捉。含有相机的设备可以捕捉第一主体705和第二主体706的多个图像700-703；然而，快门激活可以在这一系列图像中的任意点上发生，例如在704处。含有相机的设备可以使用任意脸部检测算法来检测第一主体705和第二主体706的脸部707和709。所述图像处理流水线还可以使用眼睛跟踪算法来检测在所述多个图像700-703的每个图像中的第一主体的眼睛的位置716、719、721以及第二主体的眼睛的位置718、720、722。二进制图案分类器可以确定或标识其中第一主体的眼睛是张开的721的图像703和其中第二主体的眼睛是张开的718的图像701。如图7B所示的优化的图像可以使用各种规则和所选的最优特征来合成。如图7A所示，没有图像包括眼睛张开的第一主体和第二主体。在图7B中，所存储的优化的图像723包括眼睛张开726的第一主体724以及眼睛张开727的第二主体725。

可以使用上述的方法和系统来标识和优化许多特征。例如，要被标识并优化的一个特征可以是主体中的微笑。另一个特征可以是所有的主体执行一个动作：例如所有的主体跳起或保持特定的姿势。所述主体可以是非人类主体。例如，动物摄影师可以希望优化动物主体中的特征。在这种情况中，自动优化图像捕捉在可能更加难以安排或预期的主体中更加有用。可以使用训练数据库和算法来选择非人类主体的不同的特征。

所描绘的各组件以及未示出的组件的许多不同的安排都是可能的，而不背离所附权利要求书的精神和范围。已带着说明而非限制的意图描述了本技术的各实施例。在阅读本发明之后或由于阅读了本发明，替换实施例将变得对本发明的读者显而易见。可完成实现上述的替换装置而不脱离所附权利要求书的范围。某些特征和子组合是有用的，并且可以使用而无需参考其他特征和子组合并且被认为是在权利要求书的范围之内的。

Claims (10)

1.一种或多种具有嵌入其上的计算机可执行指令的计算机存储介质，所述指令在被执行时执行一种用于自动捕捉具有优化主体特征的图像的方法，所述方法包括：

捕捉一个或多个主体的多个图像；

检测所述一个或多个主体的至少一个脸部；

在所述一个或多个主体的所述多个图像中找到所述一个或多个主体的至少一个特征；

选择在其中优化了所述一个或多个主体的所述至少一个特征的一个图像；以及

存储包括所述一个或多个主体的所述至少一个特征的至少一个优化的图像。

2.如权利要求1所述的介质，其特征在于，捕捉所述主体的所述多个图像还包括以实况模式捕捉所述图像的一部分。

3.一种自动捕捉具有优化的主体特征的方法，所述方法包括：

用相机捕捉一个或多个主体的多个图像；

激活所述相机的快门释放；

在所述一个或多个主体的所述多个图像中找到所述一个或多个主体的至少一个优化的特征；以及

存储包括所述一个或多个主体的所述至少一个优化的特征的至少一个优化的图像。

4.如权利要求3所述的方法，其特征在于，找到所述至少一个优化的特征包括定位所述一个或多个主体的脸部并定位所述一个或多个主体的特征以及确定所述多个图像中具有所述至少一个优化的特征的图像。

5.如权利要求3所述的方法，其特征在于，存储至少一个优化的图像还包括存储所述多个图像中具有所述主体的最优化的特征的一个图像。

6.如权利要求3所述的方法，其特征在于，还包括使用所确定的所述一个或多个主体的所述至少一个优化的特征来合成优化的图像。

7.如权利要求3所述的方法，其特征在于，捕捉所述主体的多个图像还包括在激活所述相机快门之前以实况模式捕捉所述图像的一部分。

8.一种或多种具有嵌入其上的计算机可执行指令的计算机存储介质，所述指令在被执行时执行一种用于自动捕捉具有优化主体特征的图像的方法，所述方法包括：

检测第一主体的第一脸部；

捕捉所述第一主体的多个图像；

检测所述多个图像中的所述第一主体的第一附加特征；

标识所述多个图像中的至少一个图像，在所述至少一个图像中优化了所述第一附加特征；以及

存储包括了所述第一主体的优化的第一附加特征的至少一个优化的图像。

9.如权利要求8所述的介质，其特征在于，所述方法还包括：

检测所述多个图像中的一个或多个附加主体的一个或多个附加脸部；

检测所述多个图像中的所述一个或多个附加主体的一个或多个附加特征；以及

标识所述多个图像中的在其中优化了所述一个或多个附加特征的至少一个图像，其中所述至少一个优化的图像还包括所述一个或多个附加主体的所述优化的一个或多个附加特征。

10.如权利要求8所述的介质，其特征在于，所述方法还包括：

检测所述多个图像中的所述第一主体的第二特征；以及

标识所述多个图像中的在其中优化了所述第二特征的至少一个图像，其中所述至少一个优化的图像还包括所述第一主体的所述优化的第二特征。

Images