CN109792478A - 基于焦点目标信息调整焦点的系统和方法 - Google Patents

Abstract

提供了一种用于基于焦点目标信息调整焦点的系统、方法和计算机程序产品。在使用中，使用相机模块将图像采样为图像数据。接下来，发送图像数据以进行处理，其中处理包括识别一个或更多个焦点区域。附加地，确定与一个或更多个焦点区域对应的焦点目标信息。此外，基于焦点目标信息调整焦点，并捕获图像。还介绍了其他系统、方法和计算机程序产品。

Description

基于焦点目标信息调整焦点的系统和方法

技术领域

本发明涉及数字摄影系统，并且更具体地涉及基于焦点目标信息调整焦点的系统和方法。

背景技术

传统的数字摄影系统在如何改变相机模块的焦点方面固有地受到限制。一种解决方案是依靠软件解决方案(例如，在片上系统中找到)来发送焦点信号以聚焦与相机模块相关联的透镜组件。例如，与相机模块相关联的图像传感器可以与片上系统通信，该片上系统可以评估给定点处的焦点并且将焦点信号(例如，伺服信号)发送回相机模块以调整透镜组件中的一个或更多个透镜进入将入站图像聚焦在该点的位置。然而，这种方法可能是麻烦且耗时的，并且在一些情况下，在指定点处与聚焦相关联的延迟时间可能明显缓慢。

因此，需要解决与现有技术相关联的这些和/或其他问题。

发明内容

提供了用于基于焦点目标信息调整焦点的系统、方法和计算机程序产品。在使用中，使用相机模块将图像采样为图像数据。接下来，发送图像数据以进行用于处理，其中处理包括识别一个或更多个焦点区域。附加地，确定与一个或更多个焦点区域对应的焦点目标信息。此外，基于焦点目标信息调整焦点，并捕获图像。还介绍了其他系统、方法和计算机程序产品。

在一个实施例中，一种系统包括装置，该装置包括用于以下操作的电路：使用相机模块将图像采样为图像数据，发送图像数据以进行处理，其中该处理包括识别一个或更多个焦点区域，确定与一个或更多个焦点区域对应的焦点目标信息，基于焦点目标信息调整焦点，并捕获第一图像。

附加地，在一个实施例中，一个或更多个焦点区域包括一个或更多个像素点。在另一实施例中，一个或更多个焦点区域包括具有半径和权重配置文件的一个或更多个像素点。此外，在另一个实施例中，权重配置文件包括起点和终点，其中预定义的函数应用在起点和终点之间。

在另一实施例中，一个或更多个焦点区域包括具有权重蒙皮的一个或更多个像素点。附加地，在一个实施例中，使用与权重蒙皮相关联的一个或更多个权重来建立焦点估计。此外，在另一实施例中，聚合来自与一个或更多个焦点区域相关联的一个或更多个焦点像素的第一信息以生成一个或更多个焦点区域的焦点估计，所述焦点估计基于焦点目标信息。

在一个实施例中，焦点目标信息包括2d掩码值。附加地，在另一实施例中，焦点目标信息被保存为与第一图像相关联的元数据。此外，在一个实施例中，焦点目标信息包括与一个或更多个像素点对应的至少一个坐标。

附加地，在一个实施例中，用户选择一个或更多个识别的焦点区域。此外，在一个实施例中，该电路还被配置用于：将第二图像采样为第二图像数据，发送第二图像数据以进行处理，响应于该处理接收与一个或更多个识别的第二焦点区域相对应的第二焦点目标信息，其中，一个或更多个识别的第二焦点区域与一个或更多个第二焦点像素相关联，基于第二焦点目标信息调整焦点，并捕获第二图像。

在另一实施例中，电路还被配置用于混合第一图像和第二图像。附加地，在一个实施例中，焦点目标信息对应于第一焦点设置，以及第二焦点目标信息对应于第二焦点设置。此外，在一个实施例中，第一焦点设置用于捕获第一图像，以及第二焦点设置用于捕获第二图像，其中第一图像和第二图像被混合以创建第一混合图像。

再者，在一个实施例中，电路还被配置为接收与一个或更多个识别的焦点区域相对应的更新的焦点目标信息。在另一实施例中，响应于接收到更新的焦点目标信息，基于更新的焦点目标信息调整焦点。附加地，在一个实施例中，根据两个或更多个乘积的加权和来生成焦点估计，其中通过将焦点像素差信号乘以对应的权重值来计算每个乘积。

附图说明

图1示出了根据一个可能的实施例的用于基于焦点目标信息调整焦点而执行的的示例性方法。

图2示出了根据一个实施例的被配置为基于焦点目标信息调整焦点的示例性系统。

图3A示出了根据一个实施例的数字摄影系统。

图3B示出了根据一个实施例的数字摄影系统内的处理器复合体。

图3C示出了根据一个实施例的数码相机。

图3D示出了根据另一实施例的无线移动设备。

图3E示出了根据一个实施例的被配置为对图像进行采样的相机模块。

图3F示出了根据另一实施例的被配置为对图像进行采样的相机模块。

图3G示出了根据一个实施例的与应用程序处理器通信的相机模块。

图4示出了根据另一实施例的网络服务系统。

图5示出了根据一个实施例的与应用程序处理器通信的相机模块。

图6示出了根据一个实施例的图像传感器内的焦点像素阵列。

图7示出了根据一个实施例的图像传感器内的焦点像素点阵列和焦点区域。

图8示出了根据一个实施例的用于基于焦点目标信息调整焦点的方法。

图9示出了根据一个实施例的用于基于焦点目标信息调整焦点的方法。

图10示出了根据一个实施例的用于基于焦点目标信息调整焦点的方法。

图11示出了根据一个可能的实施例的网络架构。

具体实施方式

图1示出了根据一个可能的实施例的用于基于焦点目标信息调整焦点而执行的示例性方法100。作为选择，示例性方法100可以在任何附图的细节的上下文中实现。然而，当然，示例性方法100可以在任何期望的环境中执行。

如图所示，使用相机模块将图像采样为图像数据。参见操作102。附加地，相机模块可以将图像数据发送到应用程序处理器。在本说明书的上下文中，这样的图像数据包括与图像相关联的任何数据，包括光电二极管电压、光电二极管电流、光强度、以及由模拟-数字转换器采样电压和/或电流产生的数据。此外，可以对附加图像进行采样并将其添加到图像数据中。

在一个实施例中，相机模块可包括图像传感器，控制器，包括用于图像传感器的接口电路(例如，定时控制逻辑、模数转换电路、焦点控制系统电路等)和用于与应用程序处理器和/或SoC、透镜组件和其他控制电子设备通信的接口电路。附加地，在另一实施例中，应用程序处理器可包括片上系统(SoC)或集成电路。

在操作104中，发送图像数据用于处理，其中处理包括识别一个或更多个焦点区域。在一个实施例中，片上系统(SoC)可用于传输图像数据和/或处理图像数据。附加地，在一个实施例中，图像数据的这种处理可以包括至少部分地压缩图像数据，归一化图像数据，校正和/或调整与图像数据相关联的一个或更多个参数(例如，白平衡、色彩平衡、曝光、亮度、饱和度、黑点、中点等)，或分析图像数据。此外，分析图像数据可以包括识别一个或更多个对象。

在一个实施例中，识别一个或更多个焦点区域可包括识别一个或更多个对象(例如，人脸)，识别界定指定位置的固定区域，检测图像数据内的边缘(例如，区域边界)，检测颜色或光照的变化、观察方向的变化、尺寸或形状的变化、灰度匹配、渐变匹配或直方图的变化。此外，识别一个或更多个焦点区域可以包括执行图像分类器以识别图像数据内的对象。此外，在另一实施例中，这些特征可用于进一步将图像数据与真实对象的名称匹配。例如，图像数据可以由图像分类器处理以识别足球场上的球的位置。识别可以识别圆形黑白色足球与纹理的绿草区域之间的颜色和/或几何特征的差异。基于这样的信息，黑白色足球可以进一步被识别为足球，并且绿草可以进一步被识别为草。在一些实施例中，识别真实对象的名称可以包括将图像数据和/或特征(例如，边缘、颜色的变化等)发送到单独的服务器，以更准确和有效地处理数据特征以实际识别和匹配具有名称的对象。

这样，在各种实施例中，识别一个或更多个对象可以包括，在一个步骤中，将包含在图像数据内的一个位置处的一个对象与另一个位置处的另一个对象分离，并且在另一个步骤中，识别一个对象的名称和另一个对象的名称(或其他标识符)。

这样，确定与一个或更多个焦点区域相对应的焦点目标信息。参见操作106。在本说明书的上下文中，此类焦点目标信息包括任何二维(2D)坐标、像素图像平面坐标、整数像素坐标、归一化坐标(例如，每个维度中0.0至1.0)、XY坐标或在正交或非正交坐标系内的任何其他技术上可行的坐标。可以使用任何技术上可行的技术来表示坐标，诸如XY坐标的列表或阵列，或者位图，其中每个位图元素的状态表示对应于该元素的坐标是否被包括作为坐标之一。附加地，焦点目标信息可以包括可以从中推断出焦点权重蒙皮(weight mask)的图像数据(对比度、饱和度、边缘信息等)。在一个实施例中，可以发生坐标的转换，包括例如从3D映射到2D映射，从图像传感器行和列映射到图像平面映射，或者从XY图像坐标到像素图像坐标。

在一个实施例中，焦点目标信息的确定可以是自动的。例如，基于一个或更多个对象的识别，可以确定哪个对象最接近相机模块，并且可以将用于指示的最近对象的焦点目标信息作为焦点区域提供给相机模块。当然，在其他实施例中，与相机模块相关联的设置可以被配置为建立与对象相关联的优先级。例如，面部(甚至是多个)可以共同获得比背景中的无生命对象更高的优先级分数。这样，在各种实施例中，对象的位置、类型(例如，面部)、数量、亮度和颜色以及其他特征可用于建立对象的优先级。优先级可用于设置相机模块的焦点。优先级还可以用于指定用于捕获图像堆栈中的不同图像的一组焦距。然后，所得到的图像可用于聚焦堆叠或单独观看。

然而，在一个实施例中，对象的优先级可以基于与多于一个设备相关联的数据。例如，在一个实施例中，从社交媒体服务收集的数据可用于识别哪个对象对用户最重要的概率(例如，基于过去的使用、基于所识别的偏好等)。在另一个实施例中，使用一个以上的相机来拍摄对象，并且从每个相机收集的数据可以共同用于评估所识别的对象的优先级等级。例如，在一个实施例中，个人可以站在树附近。第一台相机捕获个人和树。然而，仅基于个人和树的位置，可能不会自动确定个人应该是对焦的。然而，从多个设备接收输入可以允许系统知道照片中的个人始终是兴趣的对象。例如，从单独角度拍摄的相机可以包括个人，但该角度可以裁剪掉树。以这种方式，来自多个相机模块的集合数据可用于确定对象的优先级，然后可用于自动确定对象的焦点目标信息。可以通过任何技术上可行的无线数据网络在移动设备之间共享收集的数据。然后，移动设备中的一个或更多个可以识别哪个或哪些对象应该被优先化为焦点区域。

附加地，在另一实施例中，焦点目标信息的确定可以是手动的。例如，在一个实施例中，相机模块可以将图像数据发送到SoC以显示在耦合到SoC的显示单元上。用户可以手动选择与焦点目标信息相对应的一个或更多个区域。例如，用户可以使用触摸手势输入或简单地“触摸输入”(例如，触摸正在由显示单元显示的一个或更多个对象)来选择正在显示单元上显示的一个或更多个对象，其中触摸输入提供相应的焦点目标信息。这样的焦点目标信息然后可以由SoC接收并且从SoC发送到相机模块，从而指示相机模块聚焦在焦点目标信息上。

如图所示，基于焦点目标信息调整焦点。参见操作108。在一个实施例中，相机模块可以调整光学透镜组件的焦点以聚焦在焦点目标信息(例如，坐标)处，其可以与相机模块内的图像传感器的有源感测区域的二维坐标空间相关联。在一个实施例中，图像传感器包括焦点像素阵列，每个焦点像素与由XY坐标标识的区域相关联。在一个实施例中，图像传感器的原始分辨率可以高于嵌入在图像传感器内的焦点像素的分辨率。并且，给定的XY坐标可以被映射到嵌入在图像传感器内的一个或更多个焦点像素。例如，XY坐标可以位于两个或更多个焦点像素之间并且被映射到最近的焦点像素。可选地，XY坐标可以位于两个或更多个焦点像素之间，并且当基于两个或更多个焦点像素进行聚焦时可以应用权重或优先级以实现XY坐标处的焦点。在某些实施例中，收集来自与焦点区域相关联的焦点像素集合的信息以生成焦点区域(或多个焦点区域)的焦点估计(例如，根据成本函数)。当然，可以使用任何其他技术上可行的用于调整焦点的方法。例如，调整焦点可涉及物理地将一个或更多个透镜移动到目标焦点位置或调整电焦点信号(例如，电压电平)以将具有电可变折射率的光学元件控制到目标焦点配置中。

图2示出了根据一个实施例的被配置为基于焦点目标信息调整焦点的示例性系统200。作为选择，示例性系统200可以在任何附图的细节的上下文中实现。然而，当然，示例性系统200可以在任何期望的环境中执行。此外，上述定义可同样适用于下面的描述。

如图所示，相机模块202将图像数据204发送到SoC 206。在一个实施例中，基于所接收的图像数据，SoC 206可以识别图像数据中的一个或更多个对象，并且可以确定与所识别的一个或更多个对象相关联的焦点目标信息(例如，坐标)。此外，SoC可以将焦点目标信息208返回到相机模块202，相机模块202然后可以基于由SoC 206指示的焦点目标信息来调整焦点。

在可选实施例210中，SoC 206可用于生成由显示单元212使用的图像数据，以生成对应的视觉图像。例如，在一个实施例中，SoC 206可以生成并发送图像数据以在显示单元上显示。响应于由显示单元212显示的视觉图像，用户可以提供一个或更多个触摸手势输入(触摸输入)。触摸输入可以由输入设备214接收，其中触摸输入可以识别图像数据的位置(或所显示的位于该位置的对象)，如显示单元212上所示，其应该是对焦的。在一个实施例中，输入设备214包括电容式触摸输入面板。在另一个实施例中，输入设备214可以包括音频检测系统，其被配置为接收和解码口头命令(例如，“使树对焦”等)。当然，输入设备214可以对任何类型的输入(例如，触摸、口头、触笔、凝视检测等)进行采样。

然后可以将来自输入设备214的输入数据发送回SoC 206，然后SoC206可以确定与所识别的一个或更多个对象相关联的焦点目标信息(例如，坐标)。附加地，一旦识别出这样的焦点目标信息，SoC就可以将焦点目标信息208发送回相机模块202，相机模块202然后可以基于由SoC 206指示的焦点目标信息来调整焦点。

图3A示出了根据一个实施例的数字摄影系统300。作为选择，数字摄影系统300可以在本文公开的任何附图的细节的上下文中实现。然而，当然，数字摄影系统300可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，数字摄影系统300可以包括经由相机互连334耦合到相机模块330的处理器复合体310。在一个实施例中，处理器复合体310耦合到闪光灯单元336。数字摄影系统300可以还包括但不限于显示单元312、一组输入/输出设备314、非易失性存储器316、易失性存储器318、无线单元340和传感器设备342，每个都耦合到处理器复合体310。在一个实施例中，电源管理子系统320被配置为为数字摄影系统300内的每个电负载元件产生适当的电源电压。电池322可以被配置为向电源管理子系统320提供电能。电池322可以实现任何技术上可行的能量存储系统，包括主电池或可充电电池技术。当然，在其他实施例中，系统中可以包括附加的或更少的特征、单元、设备、传感器或子系统。

在一个实施例中，闪光灯单元336可以集成到数字摄影系统300中，并配置成在由数字摄影系统300执行的图像采样事件期间提供闪光灯照明350。在另一个实施例中，闪光灯单元336可以实现区别于来自数字摄影系统300的独立设备，并且闪光灯单元336被配置为在数字摄影系统300执行的图像采样事件期间提供闪光灯照明350。闪光灯单元336可包括一个或更多个LED设备、气体放电照明器(例如氙气闪光设备、氙气闪光灯等)或任何其他技术上可行的照明装置。在某些实施例中，两个或更多个闪光灯单元被配置为结合对图像进行采样来同步地产生闪光灯照明。在一个实施例中，通过闪光灯控制信号338控制闪光灯单元336以发射闪光灯照明350或不发射闪光灯照明350。闪光灯控制信号338可以使用任何技术上可行的信号传输协议来实现。闪光灯控制信号338可以指示闪光灯参数(例如，闪光强度、闪光颜色、闪光时间等)，用于引导闪光灯单元336以产生闪光灯照明350的指定强度和/或颜色。闪光灯控制信号338可以由处理器复合体310、相机模块330或其任何其他技术上可行的组合生成。在一个实施例中，闪光灯控制信号338由处理器复合体310内的相机接口单元产生，并且被发送到闪光灯单元336(经由闪光灯控制信号338)和相机模块330(经由相机互连334)。在另一实施例中，闪光灯控制信号338由相机模块330产生并经由相机互连334传输到被闪光灯单元336。

光学场景信息352，其可包括从相关联的摄影场景中的对象反射的闪光灯照明350的至少一部分，被聚焦为相机模块330内的图像传感器332上的光学图像。图像传感器332生成光学图像的电子表示。电子表示包括空间颜色强度信息，其可包括不同颜色强度样本(例如，红色、绿色和蓝色光等)。在其他实施例中，空间颜色强度信息还可以包括用于白光的样本。电子表示经由相机互连334被发送到处理器复合体310，其可以实现任何技术上可行的信号传输协议。在某些实施例中，图像传感器332包括嵌入在原生成像像素阵列内的焦点像素阵列。这样的焦点像素可以使用相位检测技术来实现，并且可以包括本领域中已知为相位差检测像素的结构。在一个实施例中，图像传感器332实现本领域中已知的拜耳滤波器镶嵌，其中所选择的绿色像素被配置为实现相位差检测并用作焦点像素。在其他实施例中，图像传感器332将焦点像素实现为成像像素阵列后面的掩埋相位差检测结构的阵列。掩埋相位差检测结构被配置为检测未被成像像素吸收的光子，其中成像像素和相关结构被配置为提供蒙皮(masking)以促进相位检测。

在一个实施例中，输入/输出设备314可以包括但不限于电容式触摸输入设备(触摸输入表面)、电阻式平板输入表面、一个或更多个按钮、一个或更多个旋钮、发光设备、光检测设备、发声设备、声音检测设备或任何其他技术上可行的用于接收用户输入并将输入转换成电信号或将电信号转换成物理信号的一个或更多个设备。在一个实施例中，输入/输出设备314包括耦合到显示单元312的电容触摸输入表面。触摸输入显示系统可以包括显示单元312和电容式触摸输入表面，也耦合到处理器复合体310。

附加地，在其他实施例中，非易失性(NV)存储器316被配置为在电源中断时存储数据。在一个实施例中，NV存储器316包括一个或更多个闪存设备(例如ROM、PCM、FeRAM、FRAM、PRAM、MRAM、NRAM等)。NV存储器316包括非暂时性计算机可读介质，其可以被配置为包括用于由处理器复合体310内的一个或更多个处理单元执行的编程指令。编程指令可以实现但不限于操作系统(OS)、UI软件模块、图像处理和存储软件模块、连接到处理器复合体310的一个或更多个输入/输出设备314、用于通过相机模块330对图像堆栈进行采样的一个或更多个软件模块、用于通过显示单元312呈现图像堆栈或从图像堆栈生成的一个或更多个合成图像的一个或更多个软件模块。作为示例，在一个实施例中，编程指令还可以实现用于合并图像堆栈内的图像或图像部分、对准图像堆栈内的每个图像的至少一部分或其组合的一个或更多个软件模块。在另一个实施例中，处理器复合体310可以被配置为执行编程指令，该编程指令可以实现可操作以创建高动态范围(HDR)图像的一个或更多个软件模块。在又一个实施例中，编程指令实现用于确定焦点区域并将相关联的焦点目标信息(例如坐标)发送到相机模块330的方法。在这样的实施例中，相机模块330接收焦点目标信息并调整光学透镜组件以在光学目标信息(例如坐标)处将光学场景信息352聚焦到图像传感器332上。在某些实施例中，确定两个或更多个不同的焦点区域并且将对应的焦点目标信息(例如，坐标)发送到相机模块330。两个或更多个不同的焦点区域中的每一个可以包括也可以被发送到相机模块330的权重或优先级，并且相机模块可以根据焦点目标信息(例如坐标)和焦点目标信息(例如坐标)的对应权重和/或优先级进行聚焦。

然而，在一个实施例中，包括NV存储器316的一个或更多个存储器设备可以被封装为被配置为由用户安装或移除的模块。在一个实施例中，易失性存储器318包括动态随机存取存储器(DRAM)，其被配置为临时存储编程指令、图像数据(诸如与图像堆栈相关联的数据)等，其在数字摄影系统300的正常操作期间被访问。当然，易失性存储器可以以任何方式使用，并且与附接到处理复合体310的任何其他输入/输出设备314或传感器设备342相关联。

在一个实施例中，传感器设备342可以包括但不限于用于检测运动和/或方位的加速计、用于检测运动和/或方位的电子陀螺仪、用于检测方位的磁通量检测器、用于检测地理位置的全球定位系统(GPS)模块中的一个或更多个、或其任何组合。当然，其他传感器包括但不限于运动检测传感器、接近传感器、RGB(例如，漫射环境)光传感器、手势传感器、3D输入图像传感器、压力传感器和室内位置传感器，可以集成为传感器设备。在一个实施例中，传感器设备可以是输入/输出设备314的一个示例。

无线单元340可以包括被配置为发送和接收数字数据的一个或更多个数字无线电。具体地，无线单元340可以实现无线标准(例如，WiFi、蓝牙、NFC等)，并且可以实现用于数据通信的数字蜂窝电话标准(例如，CDMA、3G、4G、LTE、LTE-Advanced等)。当然，可以实现和使用任何无线标准或数字蜂窝电话标准。

在一个实施例中，数字摄影系统300被配置为经由无线单元340将一个或更多个数字照片发送到基于网络(在线)或“基于云”的摄影媒体服务。一个或更多个数字照片可以驻留在NV存储器316或易失性存储器318或与处理器复合体310相关联的任何其他存储器设备内。在一个实施例中，用户可拥有访问在线摄影媒体服务的凭证并发送一个或更多个数字照片用于存储到在线摄影媒体服务、从在线摄影媒体服务检索以及由线摄影媒体服务呈现。在传输数字照片之前，可以在数字摄影系统300内存储或生成凭证。可以与用于网络服务的用户登录相关联地提供凭证，例如社交网络服务登录。在线摄影媒体服务可以包括社交网络服务、照片共享服务、或提供数字照片的存储、数字照片的处理、数字照片的传输、数字照片的共享任何其他基于网络的服务，或其任何组合。在某些实施例中，基于发送到与在线摄影媒体服务相关联的服务器的图像数据(例如，图像堆栈、HDR图像堆栈、图像包或容器等)，由在线摄影媒体服务生成一个或更多个数字照片。在这样的实施例中，用户可以从数字摄影系统300上传一个或更多个源图像，以供在线摄影媒体服务处理。

在一个实施例中，数字摄影系统300包括相机模块330的至少一个实例。在另一个实施例中，数字摄影系统300包括多个相机模块330。这样的实施例还可以包括至少一个闪光灯单元336，被配置为照亮由多个相机模块330作为多个视图采样的拍摄场景。多个相机模块330可以被配置为采样广角视图(例如，相机之间的扫描大于45度)生成全景照片。在一个实施例中，多个相机模块330可以被配置为对两个或更多个不同的窄角度视图(例如，相机之间的扫描小于45度)进行采样以生成立体照片。在其他实施例中，多个相机模块330可以被配置为生成3-D图像或以其他方式显示深度透视(例如，z分量等)，如显示单元312或任何其他显示设备上所示。

在一个实施例中，显示单元312可以被配置为显示二维像素阵列以形成用于显示的图像。显示单元312可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器或任何其他技术上可行类型的显示设备。在某些实施例中，显示单元312能够显示比从摄影场景采样的整个强度值范围更窄(有限)的动态范围的图像强度值，例如在单个HDR图像内或包括多重曝光或HDR图像堆栈的一组两个或更多个图像。在一个实施例中，可以根据任何技术上可行的HDR混合技术合并包括图像堆栈的图像，以生成合成图像，用于在显示单元312的动态范围约束内显示。在一个实施例中，有限动态范围可以指定对应颜色强度的八位每个颜色通道二进制表示。在其他实施例中，有限动态范围可以指定每个颜色通道二进制表示多于八位(例如，10位、12位或14位等)。

图3B示出了根据一个实施例的图3A的数字摄影系统300内的处理器复合体310。作为选择，处理器复合体310可以在本文公开的任何附图的细节的上下文中实现。然而，当然，处理器复合体310可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，处理器复合体310包括处理器子系统360并且可以包括存储器子系统362。在一个实施例中，处理器复合体310可以包括实现处理器子系统360的片上系统(SoC)设备，以及包括耦合至处理器子系统360的一个或更多个DRAM设备的存储器子系统362。在另一个实施例中，处理器复合体310可以包括封装SoC设备的多芯片模块(MCM)和包括存储器子系统362的一个或更多个DRAM设备。

处理器子系统360可以包括但不限于一个或更多个中央处理单元(CPU)核370、存储器接口380、输入/输出接口单元384、相机接口单元386和显示接口单元382，每个耦合到互连374。一个或更多个CPU核370可以被配置为执行驻留在存储器子系统362、易失性存储器318、NV存储器316或其任何组合内的指令。一个或更多个CPU核370中的每一个可以被配置为通过互连374和存储器接口380检索和存储数据。在一个实施例中，一个或更多个CPU核370中的每一个可以包括数据高速缓存和指令高速缓存。附加地，两个或更多个CPU核370可以共享数据高速缓存、指令高速缓存或其任何组合。在一个实施例中，实现高速缓存层次结构以向每个CPU核370提供私有高速缓存层和共享高速缓存层。

在一些实施例中，处理器子系统360可以包括一个或更多个图形处理单元(GPU)核372。每个GPU核372可以包括多个多线程执行单元，其可以被编程为实现(但不限于)图形加速功能。在各种实施例中，GPU核372可以被配置为根据公知标准(例如，OpenGL^TM、WebGL^TM、OpenCL^TM、CUDA^TM等)和/或任何其他可编程渲染图形标准来执行多个线程程序。在某些实施例中，至少一个GPU核372实现运动估计功能的至少一部分，例如众所周知的Harris检测器或众所周知的Hessian-Laplace检测器。这种运动估计功能可以至少部分地用于对准图像堆栈内的图像或图像部分。例如，在一个实施例中，可以基于图像堆栈来编译HDR图像，其中在编译HDR图像之前首先对准两个或更多个图像。

此外，在另一实施例中，运动估计功能可以被配置为在实时视频捕获期间实现对象跟踪以识别可以被发送到相机模块330的一个或更多个焦点区域和对应的焦点目标信息(例如，坐标)。相机模块330可以聚焦在焦点目标信息(例如，坐标)处，以提供由运动估计功能识别的对象的连续焦点。在某些实施例中，运动估计功能可以至少部分地实现被配置为识别和/或跟踪场景内的对象的图像分类器。可以在实时视频捕获期间执行识别和跟踪。在某些实施例中，用户识别至少一个对象，例如使用视频的实时预览上的触摸输入。然后，图像分类器跟踪所识别的一个或更多个对象的移动，以识别与该对象(或多个对象)相关联的一个或更多个焦点区域。焦点区域可随着相机移动或实际对象移动而移动。尽管对象的运动跟踪可以是相机模块330实际捕获后的一帧，但是当对象移动时通过连续识别新的焦点区域，只要该对象保持可见，相机模块330能够连续地保持聚焦在所识别的对象上。只要相机模块330能够聚焦在两个或更多个对象上，一个或更多个对象可以由用户识别、跟踪和聚焦。如果对象在深度上移动并且超过相机模块330的焦点包络线，则可以应用优先级以使得一个对象保持对焦。

如图所示，互连374被配置为在存储器接口380、显示接口单元382、输入/输出接口单元384、CPU核370和GPU核372之间传输数据。在各种实施例中，互连374可以实现一个或更多个总线、一个或更多个环、交叉条、网格或任何其他技术上可行的数据传输结构或技术。存储器接口380可以被配置为将存储器子系统362耦合到互连374。存储器接口380还可以将NV存储器316、易失性存储器318或其任何组合耦合到互连374。显示接口单元382可以被配置为将显示单元312耦合到互连374。显示接口单元382可以实现某些帧缓冲功能(例如，帧刷新等)。可选地，在另一实施例中，显示单元312可实现某些帧缓冲功能(例如，帧刷新等)。输入/输出接口单元384可以被配置为将各种输入/输出设备耦合到互连374。

在某些实施例中，相机模块330被配置为存储用于对与图像堆栈相关联的每个图像进行采样的曝光参数。例如，在一个实施例中，当涉及对照相场景进行采样时，相机模块330可以根据存储的曝光参数对包括图像堆栈的一组图像进行采样。包括在处理器复合体310内执行的编程指令的软件模块可以在指示相机模块330对图像堆栈进行采样之前生成并存储曝光参数。在其他实施例中，相机模块330可用于计量图像或图像堆栈，并且包括在处理器复合体310内执行的编程指令的软件模块可在指示相机模块330捕获图像之前生成并存储计量参数。当然，相机模块330可以以任何方式与处理器复合体310结合使用。

在一个实施例中，与包括图像堆栈的图像相关联的曝光参数可以存储在包括一个或更多个图像的曝光参数的曝光参数数据结构内。在另一个实施例中，处理器复合体310内的相机接口单元(图3B中未示出)可以被配置为从曝光参数数据结构读取曝光参数并且将相关联的曝光参数发送到相机模块330以准备对摄影场景采样。在根据曝光参数配置相机模块330之后，相机接口可以指示相机模块330对拍摄场景进行采样；然后，相机模块330可以生成相应的图像堆栈。曝光参数数据结构可以存储在相机接口单元、处理器复合体310内的存储器电路、易失性存储器318、NV存储器316、相机模块330或任何其他技术上可行的存储器电路内。此外，在另一实施例中，在处理器复合体310内执行的软件模块可以生成并存储曝光参数数据结构。

相机接口单元386可以包括用于与相机模块通信的电路，例如通过相机互连334连接到图3A的相机模块330。所述通信可以包括将焦点目标信息发送到相机模块。焦点目标信息可以包括但不限于一个或更多个位置(坐标)、一个或更多个权重蒙皮、或者被配置为传送焦点区域的一个或更多个其他数据类型或数据结构。相机接口单元386还可以包括用于接收由相机模块内的图像传感器捕获的图像数据和/或焦点数据的电路。

图3C示出了根据一个实施例的数码相机302。作为选择，数码相机302可以在本文公开的任何附图的细节的上下文中实现。然而，当然，数码相机302可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

在一个实施例中，数码相机302可以被配置为包括数字摄影系统，例如图3A的数字摄影系统300。如图所示，数码相机302包括照相机模块330，其可以包括配置为将表示摄影场景的光学场景信息聚焦到图像传感器上的光学元件，该图像传感器可以被配置为将摄影场景的光学场景信息转换为电子表示。

附加地，数码相机302可以包括闪光灯单元336，并且可以包括用于触发照相采样事件的快门释放按钮315，由此数码相机302对包括电子表示的一个或更多个图像进行采样。在其他实施例中，任何其他技术上可行的快门释放机构可以触发摄影采样事件(例如，诸如定时器触发器或遥控触发器等)。在某些实施例中，快门释放机构通过数码相机302启动视频的捕获。

图3D示出了根据另一实施例的无线移动设备376。作为选择，移动设备376可以在本文公开的任何附图的细节的上下文中实现。然而，当然，移动设备376可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

在一个实施例中，移动设备376可以被配置为包括数字摄影系统(例如，图3A的数字摄影系统300)，其被配置为对摄影场景进行采样。在各种实施例中，相机模块330可以包括光学元件，其被配置为将表示拍摄场景的光学场景信息聚焦到图像传感器上，该图像传感器可以被配置为将拍摄场景的光学场景信息转换为电子表示。此外，可以通过任何技术上可行的机制(例如虚拟按钮)生成快门释放命令，该机制可以通过包括显示单元312的触摸输入显示系统上的触摸手势/输入或位于移动设备376的任何面或表面物理按钮来激活。当然，在其他实施例中，任何数量的其他按钮、外部输入/输出、或数字输入/输出可以包括在移动设备376上，并且可以结合相机模块330使用。

如图所示，在一个实施例中，包括显示单元312的触摸输入显示系统设置在移动设备376的与相机模块330相对的一侧。在某些实施例中，移动设备376包括面向用户的相机模块331和可以包括面向用户的闪光灯单元(未示出)。当然，在其他实施例中，移动设备376可以包括任意数量的面向用户的相机模块或面向后方的相机模块，以及任何数量的面向用户的闪光灯单元或面向后方的闪光灯单元。

在一些实施例中，数码相机302和移动设备376可各自基于由相机模块330采样的图像堆栈生成并存储合成图像。图像堆栈可包括在环境照明条件下采样的一个或更多个图像、在闪光灯单元336的闪光灯照明下采样的一个或更多个图像、或其组合。此外，数码相机302和移动设备376均可以基于由相机模块330或331采样的连续帧来生成和存储视频片段。

图3E示出了根据一个实施例的相机模块330。作为选择，相机模块330可以在本文公开的任何附图的细节的上下文中实现。然而，当然，相机模块330可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

在一个实施例中，相机模块330可以被配置为通过闪光灯控制信号338控制闪光灯单元336。如图所示，透镜390被配置为将光学场景信息352聚焦到图像传感器332上以进行采样。更一般地，包括透镜390的透镜组件可以将光学场景信息352聚焦到图像传感器332上，其中与聚焦光学场景信息352相关联的焦距由焦点信号确定。在一个实施例中，图像传感器332有利地通过闪光灯控制信号338控制闪光灯单元336的详细定时，以减少在启用闪光灯单元336时采样的图像与禁用闪光灯单元336采样的图像之间的采样间时间。例如，在图像传感器332完成与采样环境图像相关联的曝光时间之后并且在采样闪光图像之前，图像传感器332可以使闪光灯单元336发射小于1微秒(或任何期望长度)的闪光灯照明350。

在其他实施例中，可以基于期望的一个或更多个目标点来配置闪光灯照明350。例如，在一个实施例中，闪光灯照明350可以点亮前景中的对象，并且取决于曝光时间的长度，还可以点亮图像背景中的对象。在一个实施例中，一旦启用闪光灯单元336，图像传感器332就可以立即开始曝光闪光图像。因此，图像传感器332可以能够直接控制采样操作，包括启用和禁用与生成图像堆栈相关联的闪光灯单元336，图像堆栈可以包括禁用闪光灯单元336时采样的至少一个图像以及闪光灯单元336启用或禁用时采样的至少一个图像。在一个实施例中，包括由图像传感器332采样的图像堆栈的数据经由相机互连334发送到处理器复合体310内的相机接口单元386。在一些实施例中，相机模块330可包括图像传感器控制器，其可以是被配置为结合控制图像传感器332的操作来产生闪光灯控制信号338。

图3F示出了根据一个实施例的相机模块330。作为选择，相机模块330可以在本文公开的任何附图的细节的上下文中实现。然而，当然，相机模块330可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

在一个实施例中，相机模块330可以被配置为基于闪光灯单元336的状态信息对图像进行采样。状态信息可以包括但不限于一个或更多个闪光灯参数(例如闪光强度、闪光颜色、闪光时间)，用于引导闪光灯单元336以产生闪光灯照明350的指定强度和/或颜色。在一个实施例中，用于配置与闪光灯单元336相关联的状态信息的命令可以通过闪光灯控制信号338传输，闪光灯控制信号338可以由相机模块330监视以检测何时启用闪光灯单元336。例如，在一个实施例中，在闪光灯控制信号338启用或禁用闪光灯单元336的微秒或更短时间内，相机模块330可以检测闪光灯单元336何时是启用的或禁用的。为了对需要闪光灯照明的图像进行采样，相机接口单元386可以通过闪光灯控制信号338发送启用命令来启用闪光灯单元336。在一个实施例中，相机接口单元386可以被包括作为图3B的处理器复合体310的处理器子系统360中的输入/输出接口384的接口。启用命令可以包括信号电平转换、数据分组、寄存器写入、或任何其他技术上可行的传输的命令。相机模块330可以感测闪光灯单元336被启用，然后在闪光灯单元336被启用时使图像传感器332对需要闪光灯照明的一个或更多个图像进行采样。在这样的实施方式中，图像传感器332可以被配置为等待以闪光灯单元336为目的地的使能信号作为触发信号以开始对新曝光进行采样。

在一个实施例中，相机接口单元386可以通过相机互连334将曝光参数和命令发送到相机模块330。在某些实施例中，相机接口单元386可以被配置为通过将控制命令通过闪光灯控制信号338发送到闪光灯单元336来直接控制闪光灯单元336。通过直接控制相机模块330和闪光灯单元336，相机接口单元386可以使相机模块330和闪光灯单元336在精确时间同步中执行它们各自的操作。在一个实施例中，精确的时间同步可以小于五百微秒的事件定时误差。附加地，事件定时误差可以是从预期事件发生到对应的实际事件发生的时间的差异。

在另一个实施例中，相机接口单元386可以被配置为在从相机模块330接收图像数据的同时累积统计信息。具体地，相机接口单元386可以在通过相机互连334接收图像的图像数据的同时累积给定图像的曝光统计信息。曝光统计信息可包括但不限于强度直方图、过度曝光像素的计数、曝光不足像素的计数、像素强度的强度加权和中的一个或更多个、或其任何组合。相机接口单元386可以将曝光统计信息呈现为由处理器复合体310中的处理器(例如一个或更多个CPU核370)定义的物理或虚拟地址空间内的存储器映射存储位置。在一个实施例中，曝光统计信息驻留在存储电路中，其被映射到存储器映射的寄存器空间，其可以通过相机互连334被访问。在其他实施例中，与发送捕获图像的像素数据一起发送曝光统计信息。例如，在传输捕获图像的像素强度数据之后，可以将在给定图像的曝光统计信息作为在线数据传输。可以在相机接口单元386内计算、存储或缓存曝光统计信息。

在一个实施例中，相机接口单元386可以累积用于估计场景白平衡的颜色统计信息。可以累积任何技术上可行的颜色统计信息以用于估计白平衡，例如包括红色、绿色和蓝色通道的不同颜色通道的强度之和。然后，根据白平衡模型(诸如灰色世界白平衡模型)，可以使用颜色通道强度的总和来对相关联的图像执行白平衡颜色校正。在其他实施例中，曲线拟合统计信息被累积用于对图像执行白平衡校正的线性或二次曲线拟合。

在一个实施例中，相机接口单元386可以累积空间颜色统计信息，用于在图像之间执行颜色匹配，例如在环境图像和用闪光灯照明采样的一个或更多个图像之间。与曝光统计信息一样，颜色统计信息可以呈现为处理器复合体310内的存储器映射存储位置。在一个实施例中，颜色统计信息被映射在存储器映射的寄存器空间中，其可以通过相机互连334在处理器子系统360内被访问。在其他实施例中，可以与发送捕获图像的像素数据一起来发送颜色统计信息。例如，在一个实施例中，在传输图像的像素强度数据之后，可以作为在线数据传输给定图像的颜色统计信息。可以在相机接口386内计算、存储或缓存颜色统计信息。

在一个实施例中，相机模块330可以将闪光灯控制信号338发送到闪光灯单元336，使得闪光灯单元336能够在相机模块330对图像进行采样时产生照明。在另一个实施例中，相机模块330可以在从相机接口单元386接收到闪光灯单元336被启用的指示信号时对由闪光灯单元336照亮的图像进行采样。在又一个实施例中，相机模块330可以在经由场景照明的快速上升检测到拍摄场景内的闪光灯照明时对由闪光灯单元336照亮的图像进行采样。在一个实施例中，场景照明的快速上升可以包括至少与启用闪光灯单元336一致的增加强度的速率。在又一个实施例中，相机模块330可以在对一个图像进行采样时使闪光灯单元336产生闪光灯照明，并且在对不同图像进行采样时禁用闪光灯单元336。

在某些实施例中，相机模块330被配置为对环境图像进行采样和保存，并且随后启用闪光灯单元336，同时继续对图像进行采样，其可以作为组合(环境和闪光)图像单独存储。可以合并环境图像和组合图像以生成包含环境图像信息和闪光图像信息的最终图像。在某些实施方式中，环境图像可以提供参考颜色信息，而闪光图像可以提供具有较低总噪声的强度信息。在这样的实施例中，闪光图像的计量可以针对提供最大闪光的曝光目标，该最大闪光不会比等效曝光饱和(“烧坏”)更多的像素但是没有启用闪光灯单元336。可选地，曝光目标可以提供饱和像素的阈值部分。此外，曝光目标可以限制或另外限制所识别的曝光区域内的饱和像素的一部分。所识别的曝光区域可以由用户经由对显示单元312的触摸输入来选择。所识别的曝光区域也可以对应于焦点区域，如本文所述。

在一个实施例中，相机模块330被配置为对一系列环境图像和组合图像对进行采样。序列可包含三对或更多对。在三对或更多对中，可以基于估计的图像模糊来选择一对。可以基于测量图像内的模糊来计算估计的图像模糊，或者通过基于在捕获期间物理测量的相机移动来估计模糊(例如，通过将加速计或陀螺仪传感器采样为传感器设备342之一)来计算估计的图像模糊。在三个或更多个对中，可以选择、存储一个具有最小估计图像模糊的对，并将其作为捕获图像呈现给用户，可以是单个合并图像，也可以是可调整的合并图像，其中可以由用户通过动态调整闪光贡献。其他对可以被丢弃。图像传感器332可以实现全局快门或滚动快门。

在实现全局快门的实施例中，图像传感器可包括两个或更多个模拟存储平面，以提供环境图像和组合图像的单独存储。在实现滚动快门的实施例中，图像传感器可以采样一个或更多个初始环境图像，启用闪光灯单元336、禁用闪光灯单元336以及读出组合图像。在某些实施例中，闪光灯单元336在被禁用之前启用少于五十毫秒。可以基于任何技术上可行的白平衡估计技术来确定环境图像的白平衡。组合图像的白平衡可以由环境图像的白平衡、闪光灯单元336的颜色或其组合确定。可以调整(校正)组合图像内的每个像素的颜色以与环境图像的对应颜色一致。可以更一般地校正组合图像的颜色以与像素、区域和帧级别的环境图像的颜色一致。

在某些其他实施例中，相机模块330被配置为捕获视频，并且可以在交替帧期间启用闪光灯单元336，使得相机模块330捕获连续环境图像和闪光图像对；然后可以合并连续对以生成连续视频帧。为了避免感知到的照明闪烁，帧速率可以设置为240FPS(120Hz闪光照明)或更高。可以计算闪光图像的曝光，目的是避免饱和(烧坏)像素。在所识别的曝光区域和/或焦点区域处避免饱和像素可以被赋予更高的优先级和/或可以被赋予比整个场景更严格的阈值。

图3G示出了根据一个实施例的相机模块330。作为选择，相机模块330可以在本文公开的任何附图的细节的上下文中实现。然而，当然，相机模块330可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

在一个实施例中，相机模块330可以与应用程序处理器335通信。相机模块330被示出为包括与控制器333通信的图像传感器332。此外，控制器333被示出为与应用程序处理器335通信。

在一个实施例中，应用程序处理器335可以位于相机模块330的外部。如图所示，透镜390可以被配置为将光学场景信息聚焦到图像传感器332上以进行采样。然后，由图像传感器332采样的光学场景信息可以从图像传感器332传送到控制器333，用于后续处理和通信到应用程序处理器335中的至少一个。在另一个实施例中，控制器333可以控制由图像传感器332采样的光学场景信息的存储、或处理的光学场景信息的存储。在一个实施例中，模块外壳(未示出)被配置为包含包括相机模块330的各种元件，包括但不限于图像传感器332和控制器333。此外，模块外壳可以提供用于对准透镜组件(包括具有图像传感器332的透镜390)的物理刚性和结构。在各种实施例中，应用程序处理器335物理地位于模块外壳的外部，从而在图像传感器332(对热敏感)和应用程序处理器335(热源)之间提供有利的热隔离。

在另一实施例中，在图像传感器332完成与采样环境图像相关联的曝光时间之后，控制器333可使闪光灯单元能够在短时间内(例如，小于1微秒等)发射闪光灯照明。此外，控制器333可以被配置为结合控制图像传感器332的操作来生成闪光灯控制信号338。

在一个实施例中，图像传感器332可以是互补金属氧化物半导体(CMOS)传感器、电荷耦合器件(CCD)传感器、微测辐射热计阵列或任何其他技术上可行类型的图像传感器器件。在另一个实施例中，控制器333和图像传感器332可以作为集成系统或集成电路封装在一起。在又一个实施例中，控制器333和图像传感器332可以包括分立封装。在一个实施例中，控制器333可以提供用于从图像传感器332接收光学场景信息的电子表示、电子表示的处理(例如，模数转换)、各种功能的定时以及与应用程序处理器335相关联的信令的电路。此外，在另一个实施例中，控制器333可以提供用于控制曝光、快门、白平衡和增益调节中的一个或更多个的电路。控制器333的电路对电子表示的处理可以包括增益应用、放大、模数转换以及基于来自与不同地区(在内处置)相关联的焦点像素的信号在图像传感器332内的不同区域处估计焦点中的一个或更多个。在处理电子表示之后，控制器333可以将相应的数字像素数据发送到例如应用程序处理器335。

在一个实施例中，应用程序处理器335可以在处理器复合体310上实现，并且可以访问存储在易失性存储器318和NV存储器316或任何其他存储器设备和/或系统之一内的数据和/或编程指令。应用程序处理器335可以预先配置用于处理接收到的光学场景信息或数字像素数据，光学场景信息或数字像素数据从相机模块330传送到应用程序处理器335。

图4示出了根据一个实施例的网络服务系统400。作为选择，网络服务系统400可以在本文公开的任何附图的细节的上下文中实现。然而，当然，网络服务系统400可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

在一个实施例中，网络服务系统400可以被配置为向实现数字摄影系统的设备提供网络访问。如图所示，网络服务系统400包括无线移动设备376、无线接入点472、数据网络474、数据中心480和数据中心481。无线移动设备376可以经由数字无线电链路471与无线接入点472通信，以发送和接收数字数据，包括与数字图像和/或数字视频相关联的数据。无线移动设备376和无线接入点472可以实现用于经由数字无线电链路471发送数字数据的任何技术上可行的传输技术，而不脱离当前公开的实施例的范围和精神。在某些实施例中，可以使用虚拟构造来实现数据中心480、481中的一个或更多个，使得给定数据中心480、481内的每个系统和子系统可以包括被配置为执行指定数据处理和网络任务的虚拟机。在其他实现方式中，数据中心480、481中的一个或更多个可以物理地分布在多个物理站点上。

无线移动设备376可以包括被配置为包括数码相机的智能电话，被配置为包括无线网络连接的数码相机、现实增强设备、被配置为包括数码相机和无线网络连接的膝上型电脑、或被配置为包括数字摄影系统和无线网络连接的任何其他技术上可行的计算设备。

在各种实施例中，无线接入点472可以被配置为经由数字无线电链路471与无线移动设备376通信，并且经由任何技术上可行的传输介质(例如任何电、光、或无线电传输介质)与数据网络474通信。例如，在一个实施例中，无线接入点472可以通过光纤与数据网络474通信，光纤耦合到无线接入点472并耦合到数据网络474内的路由器系统(未示出)或交换机系统(未示出)。网络链路475(诸如广域网(WAN)链路)可以被配置为在数据网络474和数据中心480之间传输数据。

在一个实施例中，数据网络474可以包括路由器、交换机、长途传输系统、供应系统、授权系统以及被配置为在网络端点之间(例如在无线接入点472和数据中心482之间)传送数据的任何技术上可行的通信和操作子系统的组合。在一个实现方式中，无线移动设备376可以包括被配置为经由耦合到数据网络474的一个或更多个无线接入点与数据中心480进行通信的多个无线移动设备中的一个。

附加地，在各种实施例中，数据中心480可以包括但不限于交换机/路由器482和至少一个数据服务系统484。交换机/路由器482可以被配置为在网络链路475和每个数据服务系统484之间转发数据流量。交换机/路由器482可以实现任何技术上可行的传输技术，例如以太网媒体层传输、层2交换、层3路由等。交换机/路由器482可以包括一个或更多个单独的系统，其被配置为在数据服务系统484和数据网络474之间传输数据。

在一个实施例中，交换机/路由器482可以在多个数据服务系统484之间实现会话级负载平衡。每个数据服务系统484可以包括至少一个计算系统488，并且还可以包括一个或更多个存储系统486。每个计算系统488可以包括一个或更多个处理单元，例如中央处理单元、图形处理单元或其任何组合。给定数据服务系统484可以实现为包括被配置为一起操作的一个或更多个物理上不同的系统的物理系统。可选地，给定数据服务系统484可以实现为包括在任意物理系统上执行的一个或更多个虚拟系统的虚拟系统。在某些场景中，数据网络474可以被配置为在数据中心480和另一数据中心481之间传输数据，例如通过网络链路476。

在另一个实施例中，网络服务系统400可以包括被配置为实现本说明书的一个或更多个实施例的任何联网的移动设备。例如，在一些实施例中，可以在两个不同的无线移动设备之间建立对等网络(诸如ad-hoc无线网络)。在这样的实施例中，数字图像数据可以在两个无线移动设备之间传输，而不必将数字图像数据发送到数据中心480。图5示出了根据一个实施例的与应用程序处理器518通信的相机模块502。作为选择，相机模块502可以在本文公开的任何附图的细节的上下文中实现。然而，当然，相机模块502可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，相机模块502可以与应用程序处理器518进行通信516。附加地，相机模块502可以包括透镜组件506、图像传感器管芯508和控制器管芯514。图像传感器管芯508可以从透镜组件506接收光学场景信息504。此外，图像传感器管芯508可以与控制器管芯514进行通信512，并且控制器管芯514可以与透镜组件506进行通信510并且可以进一步与应用程序处理器518进行通信516。在一个实施例中，应用程序处理器518可以位于相机模块502的模块外壳的外部。

如图所示，透镜组件506可以被配置为将光学场景信息504聚焦到要被采样的图像传感器管芯508上。可以由图像传感器管芯508对光学场景信息进行采样，以生成光学场景信息的电子表示。电子表示可以包括像素图像信息和像素焦点信息，其可以从图像传感器管芯508传送到控制器管芯514，用于后续处理(例如，模拟到数字处理)和进一步通信到应用程序处理器518中的至少一个。在另一个实施例中，控制器管芯514可以控制由图像传感器管芯508采样的光学场景信息的存储和/或包括电子表示的处理后的光学场景信息的存储。

此外，在各种实施例中，透镜组件506可以被配置为通过使用音圈将光学元件(例如，透镜)移动到焦点位置、使用可变指数(例如，液晶等)光学元件、或使用微机电系统(MEMS)致动器将光学元件移动到焦点位置来控制光学场景信息504的焦点。当然，在其他实施例中，可以使用用于控制透镜组件的焦点的任何技术上可行的方法。在一个实施例中，控制器管芯514包括焦点控制系统(未示出)，该焦点控制系统包括用于评估来自图像传感器管芯508的像素焦点信息并且用于将焦点调整(表示为焦点信号)传送(发送)到透镜组件506以基于从应用程序处理器518发送到控制器管芯514的焦点区域信息实现聚焦目标的电路。可以基于根据本文公开的技术计算的或者可选地根据任何技术上可行的技术计算的焦点估计值来确定焦点调整。焦点调整可以包括焦点调整方向和焦点调整幅度，两者都基于焦点估计和可选地至少一个先前焦点估计和一个对应焦点调整。在另一个实施例中，图像传感器管芯508包括焦点控制系统。在又一个实施例中，单独的管芯(未示出)包括焦点控制系统。在替代实施例中，应用程序处理器518包括焦点控制系统的至少一部分。

在一个实施例中，控制器管芯514可以启用闪光灯单元，例如图3A的闪光灯单元336，以发射闪光灯照明350。此外，控制器管芯514可以被配置为结合控制图像传感器管芯508的操作来产生闪光灯控制信号338。在其他实施例中，控制器管芯514可以感测闪光灯单元336何时启用以便能够结合闪光灯单元336正在启用而对闪存图像进行协同采样。

在某些实施例中，图像传感器管芯508可以具有与图像传感器332相同的能力和特征，控制器管芯514可以具有与控制器333相同的能力和特征，并且应用程序处理器518可以具有作为应用程序处理器335相同的能力和特征。

图6示出了根据一个实施例的图像传感器602内的像素阵列600。作为选择，像素阵列600可以在本文公开的任何附图的细节的上下文中实现。然而，当然，像素阵列600可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，图像传感器602可以包括用白色方块表示的彩色像素和用黑色填充的方块表示的焦点像素。例如，像素604是彩色像素，以及像素606是焦点像素。每个颜色像素感测光强度(例如，红色、绿色和蓝色分量)。每个焦点像素感测焦点，并且还可以感测光强度。在一个实施例中，每个像素是焦点像素，被配置为感测颜色和焦点。在另一个实施例中，如图6中当前所示，仅像素的子集可以用作焦点像素。

可以根据坐标系来组织像素阵列600，该坐标系具有原点610、行维度614和列维度612。图像传感器602内的给定像素可以基于坐标系内的对应坐标唯一地识别。坐标可以包括沿给定维度的整数地址。可选地，标准化坐标可以标识坐标系内的点或区域。虽然示出了原点和不同维度的一个取向，但是可以在不脱离本公开的范围的情况下实现原点和维度的任何技术上可行的取向。

在各种实施例中，图像传感器602可以包括前照式图像传感器、背光图像传感器或与焦点平面(所有焦点像素)感应器管芯结合的堆叠彩色平面(所有颜色像素)中的一个。在本说明书的上下文中，焦点像素是至少用于聚焦的像素，并且还可以提供颜色或强度信息。例如，在一个实施例中，给定坐标(例如，由SoC指示)可以与焦点像素相对应，焦点像素用作将光学信息聚焦到图像传感器602上的基础。附加地，在各种实施例中，聚焦可以包括感测对比度(例如，对比度检测)、感测焦点(例如，相位检测等)，或者一种或更多种已知技术的组合或混合。

在一些实施例中，进入透镜(例如，图5的透镜组件506)并聚焦到图像传感器602上的光可以到达焦点像素，其可以包括第一光电二极管和第二光电二极管(或可能包括任何更多数量的光电二极管)。焦点像素处的入射光可以根据入射角到达不同的相位。当到达光电二极管的光没有对焦时，相位差检测结构提供第一光电二极管和第二光电二极管之间的光电二极管电流的差异。此外，电流差的符号可指示是否将焦点调整得更近或更远以在焦点像素处实现聚焦。第一和第二光电二极管电流中的每一个可以通过相关联的电容结构在曝光时间上积分。每个电容器处的电压提供模拟信号，该模拟信号可以作为电压或电流(例如，通过电容器处的跨导电路)传输到模拟读出电路。模拟信号的差异可以指示入射光是否是对焦的，并且如果未对焦，那么透镜需要朝哪个方向调整以在焦点像素处实现聚焦。可以在模拟域或数字域中执行用于评估聚焦的差异测量，作为实施决策。

当然，如上所述，各种实施例还可包括大于仅一个的任何数量的焦点像素。应用本文所述的技术，可以与所选择的一个焦点像素或更多个焦点像素相关联调整图像传感器的焦点。附加地，图像传感器可以实现与一个或更多个焦点像素相关联的焦点调整的方面，其中该实现包括确定焦点像素是否指示聚焦条件并且相机模块调整透镜组件以便相对于焦点像素校正焦点。相机模块可以接收与一个或更多个焦点像素相关联的焦点目标信息(例如，与诸如与控制器管芯514通信的那些坐标)，并且调整透镜组件506以在一个或更多个焦点像素处实现聚焦。以这种方式，相机模块502可以实现闭环焦点控制系统，用于聚焦由相机模块捕获的图像。在这样的实施例中，可以使用包括给定焦点、区域或权重蒙皮的焦点目标信息来指定焦点控制系统的焦点目标。焦点目标信息可以由应用程序处理器518提供给焦点控制系统。在一个实施例中，控制器管芯514包括配置成实现焦点控制系统的电路，并且应用程序处理器518配置成将焦点目标信息发送到焦点控制系统。焦点控制系统可以根据焦点目标信息通过调整透镜组件506以将光学场景信息504聚焦到图像传感器上来响应接收焦点目标信息和/或焦点命令。焦点控制系统可以产生焦点信号并将焦点信号发送到透镜组件506以执行焦点调整。焦点信号可以使用任何技术上可行的技术表示焦点和/或焦点调整。在一个实施例中，焦点信号可以表示为电信号(例如，电压或电流水平)，其直接驱动致动器，用于将透镜组件506内的透镜位置调整到焦点位置。在另一实施例中，电信号驱动可变指数光学元件以调整焦点。在又一个实施例中，焦点信号可以编码由透镜组件使用的数字焦点值以调整焦点，例如通过驱动致动器或可变指数光学元件。

在一个实施例中，可以依赖应用程序处理器(例如，应用程序处理器518)来提供包括点、具有半径的点、具有半径和权重配置文件(weight profile)的点、围绕感兴趣点的权重的区域、或权重蒙皮的焦点目标信息，使得已经确定所识别的焦点目标信息(在哪里聚焦)。给定的权重(焦点权重)可以提供关于相关联的焦点目标信息的聚焦应该在相机模块的整个焦距中有多大影响的定量指示。一旦完成这样的确定，相机模块然后可以继续调整与应用程序处理器(例如，SoC等)给出的焦点目标信息相关联的焦点。调整焦点可以作为一系列焦点调整迭代进行，其中在每次迭代时，基于焦点目标信息和测量的焦点信息生成焦点估计；然后，焦点控制系统根据焦点估计调整焦点。

此外，在某些实施例中，焦点像素可以实现为R-G-G-B(红-绿-绿-蓝)像素图案的一个通道(例如，绿色)。当然，可以使用任何颜色通道(包括具有与红色、绿色或蓝色不同的颜色的颜色通道)来制作焦点像素。给定的焦点区域可以具有与给定的焦点像素或焦点像素组相对应的焦点目标信息。

在另一实施例中，每个像素可以用作焦点像素并且包括被配置为检测入射光中的相位差的两个光电二极管。在这样的实施例中，每个像素可以为至少一个强度样本(例如，两个绿色强度样本中的一个)生成两个强度信号，其中两个强度信号之间的差可以用于焦点，以及两个强度信号中的一个或两者的组合可以用于与像素相关联的颜色。

然而，在另一个实施例中，相机模块可以包括双光检测平面，一个用于聚焦，另一个用于创建图像。这样，第一光检测平面可用于聚焦，第二光检测平面可用于创建图像。在一个实施例中，用于聚焦的光检测平面可以在第一光检测平面(例如，其收集颜色等)的后面。

在一个实施例中，驻留在图像传感器管芯508内的一个或更多个所选择的焦点像素向包括驻留在控制器管芯514内的焦点控制系统的电路提供焦点信息(例如，相位差信号)。一个或更多个所选择的焦点像素是基于与由应用程序处理器518识别的焦点区域相关联的焦点目标信息(例如，坐标)来选择的。应用程序处理器518可以实现各种技术以识别焦点区域，该技术包括但不限于自动识别场景内的对象和/或接收通过在触摸输入设备上提供触摸输入而最初识别场景内的一个或更多个对象的显式用户输入。

图7示出了根据一个实施例的图像传感器702内的焦点像素阵列和焦点区域700。作为选择，焦点像素阵列和焦点区域700可以在任何本文所公开的附图的细节的上下文中实现。然而，当然，焦点像素阵列和焦点区域700可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，图像传感器702可以包括焦点704、焦点706、焦点区域708和/或焦点区域710。在一个实施例中，焦点(或多个点)是特定像素，被选为焦点像素。在另一实施例中，焦点区域(或多个区域)可包括许多像素的集合(例如，N×N像素区域)，其中像素中的至少一些是焦点像素。每个像素可以具有关联的点位置或像素点。

附加地，在一个实施例中，焦点区域可包括一个或更多个隐式的或显式的权重。此外，各种形状(例如，圆形形状)可以限定焦点区域。例如，可以通过将权重0分配给N×N区域的角来实现圆形区域(而不是N×N矩形或正方形区域)。

在各种实施例中，焦点和/或焦点区域可以由用户交互来定义。例如，在一个实施例中，用户可以触摸区域(例如，在与应用程序处理器相关联的显示单元上)，并且应用程序处理器可以将该区域的焦点目标信息关联到相机模块使用的焦点区域以便保持焦点。在另一个实施例中，用户可以触摸显示单元上的区域，并且应用程序处理器可以识别该区域中的对象，使得应用程序处理器连续跟踪对象，并且相机模块持续保持与对焦的焦点目标信息(例如坐标)相关联的图像信息。以这种方式，应用程序处理器(例如SoC等)执行对象跟踪和/或像素流跟踪以连续地跟踪和更新一个或更多个焦点区域，并且相机模块基于与连读地更新的一个或更多个焦点区域相关联的焦点目标信息和/或坐标而保持连续焦点。

图8示出了根据实施例的用于基于焦点目标信息调整焦点的方法800。作为选择，方法800可以在本文公开的任何附图的细节的上下文中实现。然而，当然，方法800可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，相机模块对图像进行采样以产生图像数据。参见操作802。附加地，相机模块将图像数据发送到片上系统(SoC)。参见操作804。当然，在其他实施例中，相机模块可以将图像数据发送到任何类型的应用程序处理器。

在操作806中，SoC处理图像数据以供显示。接下来，显示单元(诸如图3A的显示单元312)生成视觉图像。参见操作808。在一个实施例中，视觉图像可包括多个帧(例如，由相机模块接收并发送到SoC的实时视图)。此外，触摸输入设备接收一个或更多个触摸输入并将一个或更多个触摸输入转换为对应的焦点目标信息(例如，输入坐标)。参见操作810。

如图所示，触摸输入设备将焦点目标信息发送到SoC。参见操作812。例如，在一个实施例中，触摸输入包括用户触摸显示在显示单元上的图像，显示单元耦合到触摸输入设备，该触摸输入设备被配置为检测显示图像上的触摸手势位置。作为响应，SoC可以确定触摸位置以建立焦点目标信息。

附加地，SoC将焦点目标信息发送到相机模块。参见操作814。此外，确定是否需要重复。参见判定816。如果需要重复，则该方法在操作802再次开始。如果不需要重复，则该方法结束。在一个实施例中，如果需要额外的图像捕获，则可能需要重复。在某些实施例中，SoC将区域和/或焦点蒙皮信息发送到相机模块以用作焦点目标信息，并且一个或更多个焦点目标信息可以识别一个或更多个焦点区域的中心。

在一个实施例中，触摸输入被转换为可用于选择焦点的焦点目标信息。然后可以将焦点(例如，坐标位置，坐标等)发送到相机模块，以根据需要调整对应的焦点像素的焦点。

在另一个实施例中，用户可以选择多个焦点或区域，并且可以将多个坐标发送到相机模块。例如，摄影场景可以包括前景中的树和背景中的流。相机的用户可以通过触摸输入指示前景中的树和背景中的流都要对焦，并且可以将与触摸输入相关联的这种坐标发送到相机模块以调整聚焦。在一个实施例中，相机模块可以捕获第一坐标和第二坐标之间的焦点扫描。例如，树可以对应于第一坐标(例如，第一焦点)，并且流可以对应于第二坐标(例如，第二焦点)，并且相机模块可以将焦点从第一坐标调整到第二坐标，同时从第一坐标到第二坐标捕获多帧场景信息。

在一个实施例中，可以使用第一坐标和第二坐标之间的扫描来在第一对象和第二对象之间创建混合图像。例如，第一坐标和第二坐标之间的扫描可以对应于两个不同焦距之间的焦距扫描。可以在两个不同的焦距之间捕获图像序列，以生成每个具有不同焦距的图像的图像堆栈。可以实现本领域中已知的如聚焦堆叠、焦平面合并、z堆叠或聚焦混合的技术以生成混合图像。可选地，在捕获图像堆栈之后可以保留图像堆栈以允许用户选择焦距和/或焦点深度。在某些实施例中，图像堆栈中的每个图像相对于参考图像进行对准步骤，然后将每个图像的对齐版本存储在图像堆栈内。在一个实施例中，混合图像可以包括至少两个焦点和至少两个时间点，其中与第一焦点和第一时间点相关联的图像数据和与第二焦点和第二时间点相关联的图像数据混合。当然，任何数量的坐标点(即焦点/区域等)和时间点可以用于混合图像。在一个实施例中，混合至少两个图像数据(例如，关联的焦点/时间点)可以包括所指示的焦点显示对焦，然后在与所指示的焦点相关联的数据和与非焦点相关联的数据之间混合(例如，合并图像数据)。附加地，在一个实施例中，混合图像可以包括相机模块的多次捕获，其可以被配置为顺序地且独立地生成用于多次捕获的图像数据。

此外，在另一个实施例中，可以使用一叠图像来创建合成孔径图像。例如，在一个实施例中，可以使用微距透镜来捕获对象的特写图像，其中该对象被指示为焦点区域。在这样的实施例中，可以将焦点平面移动至更接近或更远离已识别的焦点，以确保整个图像是对焦的，其中所得到的图像堆栈被混合以创建均匀聚焦的图像，其中整个所选择的焦点区域(即，对象)完全是对焦的。以这种方式，使用SoC来识别焦点区域，并且使用相机模块来捕获包括多个图像(每个在单独的焦点平面处)的图像堆栈，可以确保焦点区域的混合图像是完全对焦的。

然而，在各种实施例中，能够快速跟踪(使用SoC)和聚焦(使用相机模块)可能具有许多行业的相关性和适用性。例如，快速运动摄影中的对象(例如，运动、汽车、幼儿)可以由SoC精确地跟踪，其中焦点由相机模块维持。附加地，这种方法还可以用于增强现实或虚拟现实，其中可以跟踪用户的动作(再次，通过SoC)并且在相关联的屏幕上显示(由相机模块聚焦)。

在一个实施例中，发送到相机模块的焦点目标信息可以包括但不限于与映射到相机模块的视场的坐标系相关联的四种坐标类型中的一种：1)在点列表中的一个或更多个点；2)具有围绕每个点的隐式或指定半径的和/或具有每个点的权重配置文件的一个或更多个点；3)作为权重蒙皮内的一个或更多个点；4)作为2D掩码覆盖的每个离散位置的2D掩码值。在一个实施例中，可以将一个或更多个这样的坐标类型保存为与图像相关联的元数据，从而记录图像的焦点信息。此外，这些保存的元数据可以根据需要(例如，获取和应用)重用于其他随后捕获的图像和/或视频片段。

在另一个实施例中，一个或更多个点可以对应于在坐标系内具有相关联坐标的特定的一个或更多个焦点像素点。在另一个实施例中，具有半径和/或权重配置文件的一个或更多个点可以对应于特定的一个或更多个焦点像素区域。此外，在一个实施例中，权重配置文件可以包括起点和终点，其中预定义的函数应用在两点之间。例如，在包括点加半径的坐标中，半径可以包括权重配置文件，其中权重配置文件确定沿着半径的每个点处应用的权重。半径可以定义包含点的几何区域(例如，圆形、椭圆形或矩形区域)的尺寸，其中在该区域内限定非零权重。此外，隐式或显式的权重配置文件可基于距点的径向距离或基于相对于点的几何关系来定义几何区域内的权重值。例如，权重配置文件可以定义该点处的权重1.0，并且权重线性较小直至在半径的距离处为0.0的值。本领域技术人员将认识到任何和任意的权重配置文件也是可能的。在另一个实施例中，权重蒙皮包括权重矩阵，其中权重矩阵包括要在每个坐标点处应用的特定权重。权重蒙皮提供用于在相机模块处应用一组焦点权重的一般且易于实现的构造，而点和权重配置文件可提供用于传输到相机模块的较不通用但更紧凑的表示。

由焦点或权重蒙皮明确陈述的、或由半径和/或权重配置文件暗示的权重建立对焦点成本函数的焦点估计贡献。在一个实施例中，焦点成本函数用于估计当前正在实现聚焦目标的程度。在某些实施例中，驻留在图5的控制器管芯514内或图3G的控制器333内的焦点控制系统接收一个或更多个焦点和焦点权重。焦点控制系统基于焦点和焦点权重来计算焦点成本函数。然后，焦点控制系统在适合于降低成本函数的方向上调整透镜。随着调整焦点，新焦点信息是可用的，并且可以重新采用每个新的调整焦点像素，并且可以计算新的焦点成本函数。该过程可以持续任意持续时间，并且不断地调整和更新焦点。在一个实施例中，焦点成本函数被定义为焦点像素相位差值的总和，每个值乘以相应的焦点权重。当然，在不脱离本公开的实施例的范围的情况下，也可以实现其他焦点成本函数。

以这种方式，发送到相机模块的焦点目标信息(例如，坐标)可以具有不同程度的细节和不同程度的被发送的数据。例如，传输一个或更多个点将包括比具有半径和/或权重配置文件的一个或更多个点更少的数据，其将包括比具有权重蒙皮的一个或更多个点更少的数据。这样，可以基于用户和/或系统的需要来选择坐标类型。

附加地，在一个实施例中，可以隐含或明确(例如规定的)权重配置文件。例如，隐含的权重配置文件可以包括引用相同配置文件的配置文件。在一个实施例中，隐含的配置文件可以保持相同(即，它不能被改变)。在另一实施例中，隐含的配置文件可包括使用设定图案(例如，圆形、矩形等)。附加地，明确的权重配置文件可以包括每当请求或发送权重配置文件时参考权重的配置文件。

然而，在一个实施例中，权重蒙皮可以是显式的，和/或存储和索引的。例如，显式的权重蒙皮将包括每次请求或发送蒙皮时引用的蒙皮。然而，存储和索引的蒙皮是先前创建和存储蒙皮的地方，并且稍后可以关于正被捕获的场景参考(例如，将蒙皮索引MM应用于焦点XY等)。以这种方式，可以检索先前创建的蒙皮并将其应用于指示的焦点。

在一个实施例中，与先前捕获相关联的信息(例如，元数据)可以应用于后续帧。例如，在各种实施例中，可以将为第一图像选择的权重配置文件和权重蒙皮应用于后续图像。在一些情况下，可以接收大量帧(例如，快速射击捕获、视频等)，使得先前选择的权重配置文件和权重蒙皮可以应用于后续帧。此外，信息可以与一个或更多个焦点相关联，并且一个或更多个焦点的坐标可以在捕获帧或后续帧的过程中改变。当然，在一些实施例中，可以根据需要修改权重配置文件和权重蒙皮(以及任何一个或更多个点)以应用于当前帧和后续帧。

图9示出了根据实施例的用于基于焦点目标信息调整焦点的方法900。作为选择，方法900可以在本文公开的任何附图的细节的上下文中实现。然而，当然，方法900可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，相机模块对图像进行采样以产生图像数据。参见操作902。附加地，相机模块将图像数据发送到片上系统(SoC)。参见操作904。当然，在其他实施例中，相机模块可以将图像数据发送到任何类型的应用程序处理器。

在操作906中，SoC处理图像数据以供显示。接下来，显示单元基于图像数据生成视觉图像。参见操作908。在一个实施例中，视觉图像可包括多个帧(例如，由相机模块接收并发送到SoC的实时视图)。此外，触摸输入设备接收一个或更多个触摸输入并将一个或更多个触摸输入转换为焦点目标信息(例如，一个或更多个输入坐标)。参见操作910。

如图所示，触摸输入设备将焦点目标信息发送到SoC。参见操作912。例如，在一个实施例中，用户可以触摸由显示单元生成的图像，并且作为响应，SoC可以确定触摸位置以建立焦点目标信息(输入坐标)。

附加地，SoC识别图像中的对象，确定对象位置，并将对象位置坐标发送到相机模块。参见操作914。接下来，确定是否需要位置坐标更新。参见判定916。如果确定需要位置坐标更新，则SoC将更新的位置坐标发送到相机模块。参见操作918。如果确定不需要位置坐标更新或者在SoC将更新的位置坐标发送到相机模块之后，SoC从相机模块接收新图像。参见操作920。在SoC从相机模块接收图像之后，该方法返回到操作914。

在一个实施例中，SoC可以跟踪(例如，像素流、对象运动跟踪等)识别的对象或图像区域。例如，在一个实施例中，用户可以选择在图像中显示的笔尖作为焦点。如判定916所示，确定是否需要位置坐标更新。因此，笔尖可以在屏幕上移动时被跟踪。跟踪工作发生在SoC中。当笔尖最初被识别为感兴趣的焦点时，需要位置更新，并且该方法进行到操作918。在接收到更新的位置坐标时，相机模块开始将焦点保持在位置坐标处。如果笔尖从最初被识别为感兴趣的焦点后没有移动，则相机模块已经用于识别焦点区域的位置坐标仍然代表感兴趣的焦点，并且相机模块可以根据需要继续校正焦点，并完成图像的捕获(如果需要)。如果笔尖已经移动，则更新的位置坐标被发送到相机模块，相机模块然后可以根据需要校正焦点，并完成图像的捕获(如果需要)。以这种方式，控制循环的任务是保持焦点位置(“对象移动吗？”)发生在SoC中，并且负责将焦点保持在焦点位置(“它是对焦的吗？”)的控制循环发生在相机模块。

附加地，在一个实施例中，所识别的对象可以包括对象验证。例如，在一个实施例中，笔尖的角度可以改变。这样，可能需要更新与所识别的对象相关联的位置坐标。附加地，可能需要验证对象的新角度以确保它仍然对应于所识别和跟踪的对象。例如，笔可以水平保持，使得笔尖延伸到一侧。然而，可以移动笔，使得笔尖朝向相机面朝上，这意味着不再看到笔的长度，而是仅显示笔的尖端和宽度。在这样的实施例中，可以验证对象以确保先前识别的笔尖仍然对应于笔尖。

在一个实施例中，如果所识别的对象的视角或角度已经改变，则该方法可以包括确定是否已经超过改变阈值。例如，如果视角的变化很小，则可能不需要对象验证。然而，如果视角的变化很大(例如，在笔长度与面朝上的情况下)，则对象验证可能是适当的。

附加地，在一个实施例中，与所识别的对象相关联的像素集可以用作与确定是否需要位置坐标更新相关联的阈值的基础。例如，识别对象的每个新迭代可以包括识别与对象相关联的新像素集。如果新像素集的百分比与旧像素集匹配，则可能不需要位置坐标更新。然而，相反，如果新的像素集与旧的像素集不匹配，或者如果在与该位置相关联的场景内容中检测到像素运动，则可能需要位置坐标更新。这样，对象识别可以包括识别与识别的对象相关联的像素集，并使用这样的像素集作为确定是否需要位置坐标更新的基础。可选地，可以实现运动估计技术以确定像素集以及是否需要位置坐标更新。在一个实施例中，可以在实时预览模式中对每个新预览帧执行新的迭代。在另一个实施例中，可以针对正被捕获的视频信息的每个新的帧执行新的迭代。

在一个实施例中，如果已经超过阈值，则可以给出警告。例如，可以显示警告“这是同一个对象？”，请求来自用户的反馈。此外，如果对象不再可见(例如，用户转动相机，或者对象移动到场景外)，则基于对象的感兴趣的焦点可能丢失并且用户被通知。在一个实施例中，相机模块可以继续聚焦在最后的已知位置。在另一个实施例中，如果对象不再可见或运动估计失败，则相机模块重新聚焦在整个场景上。

此外，在一些实施例中，对象验证可以包括至少部分地依赖于与其他设备相关联的资源。例如，在各种实施例中，与所识别的对象相关联的像素和/或图像数据可以被发送到被配置为识别对象的单独的服务器。在一些实施例中，依赖于与其他设备相关联的资源可以同步或异步地发生。例如，同步通信将允许相机设备识别和跟踪对象，同时显示对象识别的实时结果。在一个实施例中，同步通信可以使相机设备依赖于其他设备继续前进(即，在前进之前可能需要完全识别对象)。相反，异步通信将允许相机设备识别和跟踪对象，其中所识别的对象的结果显示在其他设备进行确定的任何点上。以这种方式，异步通信将允许相机设备连续监视和跟踪所识别的对象，其中实际的对象标识在其完成的任何点被接收。在一个实施例中，可以在相机设备完成图像的捕获之后接收对象标识。在其他实施例中(例如，视频、快速射击静止图像)，随着捕获帧可以显示对象识别，其可以允许在整个记录中更准确地跟踪对象。

在另一个实施例中，可以在显示单元上显示对象识别(或识别丢失)的指示。例如，一旦已经识别了对象，该对象可以包括焦点框(或一些视觉标识，诸如对象周围的绿色框)，其指示已经识别并且正在跟踪对象。以类似的方式，如果对象识别已经丢失，则焦点框可以消失，改变颜色(例如，从绿色变为红色等)，或以其他方式向用户提供一些通知(例如，显示“先前识别的对象是不再可用。请选择要跟踪的对象”等)。

图10示出了根据实施例的用于基于焦点目标信息调整焦点的方法1000。作为选择，方法1000可以在本文公开的任何附图的细节的上下文中实现。然而，当然，方法1000可以在任何期望的环境中实现。此外，上述定义可同样适用于下面的描述。

如图所示，相机模块对图像进行采样以产生图像数据。参见操作1002。附加地，相机模块将图像数据发送到片上系统(SoC)。参见操作1004。当然，在其他实施例中，相机模块可以将图像数据发送到任何类型的应用程序处理器。

在操作1006中，SoC处理图像数据以识别焦点区域。接下来，SoC确定焦点区域位置，并将焦点区域位置坐标发送到相机模块。参见操作1008。接下来，确定是否需要位置坐标更新。参见判定1010。如果确定需要位置坐标更新，则SoC将更新的位置坐标发送到相机模块。参见操作1012。如果确定不需要位置坐标更新或者在SoC将更新的位置坐标发送到相机模块之后，则SoC从相机模块接收新图像。参见操作1014。在SoC从相机模块接收图像之后，该方法返回到操作1008。

在一个实施例中，当SoC处理图像数据以识别对象时，SoC还可以确定哪个(哪些)对象具有作为焦点对象的最大可能性。在一个实施例中，已知对象可以具有高于另一个识别的对象的优先级等级。例如，照片可以包括用户的脸部和花朵。两个识别的对象可以与排名分数相关联，使得优先权被给予脸部以确保脸部是对焦的。在一些实施例中，可以捕获多个图像的扫描，使得被识别的任何对象可以被单独聚焦和捕获，并且输出的或以其他方式显示的图像可以是图像堆栈的混合，使得用于显示的混合照片包括各个以及每个识别的对焦的对象。可选地，用户可以选择哪个或哪些对象应该对焦，并且可以显示或混合以供显示来自图像堆栈的相应一个图像或更多个图像。

在另一个实施例中，SoC可以具有存储信息库以帮助识别对象。例如，与通用眼睛、鼻子或嘴巴有关的信息可以帮助确定面部存在于图像中。或者，与猫、牛或任何动物的一般结构有关的信息可以帮助确定无生命对象和有生命对象。

此外，在一个实施例中，可以识别多个对象。例如，在一个实施例中，照片可以包括具有十个单独面部的十个个体，每个面部具有围绕它的显示通知(例如绿框)，指示已经识别了对象。在一个实施例中，可以获得十个单独的捕获，其中每个捕获具有单独的焦点，每个捕获具有对焦的指定面部。然后可以混合图像堆栈，使得十个面部中的每一个被示出为是对焦的。在这样的实施例中，捕获的照片可以在快速排序的采集中获得，其中任何滞后时间被最小化以防止输出图像的任何失真(例如模糊)。在一个实施例中，在从第一捕获照片到最后捕获的照片存在一些变化的情况下，可以执行对准步骤以确保所有被混合的成像被适当地对准，至少在它们各自的感兴趣焦点处，并且标准化可以确保在混合操作期间从一个捕获图像到下一个捕获图像的照明和颜色是一致的。

在一个实施例中，确保焦点可以更快地发生(通过相机模块内的硬件)可以允许更精确的图像稳定。例如，如果稳定方法(例如在SoC中发现的等)依赖于像素移动，则显示并发送到SoC的像素可能更清晰且对焦，这将允许更精确地应用稳定系统。

附加地，在一个实施例中，在SoC中跟踪对象位置并在相机模块中调整焦点可以改善视频模式中的焦点。例如，在录制视频时，对象经常会移动。然而，SoC仅需要跟踪对象(例如，自动识别或经由用户输入识别)并将位置坐标发送到相机模块，其中一旦位置坐标改变，则相机模块更新焦点。

然而，在一个实施例中，具有与每个像素的每个颜色通道相关联的多于一个光电二极管(和电容器结构)可以允许使用与图像网格相关联的焦点像素，该图像网格比完整图像传感器网格更稀疏。附加地，在一个实施例中，这种容量(多个图像平面)可以允许HDR捕获，其中一个平面用于焦点信息，并且两个或更多个附加平面用于HDR捕获。

在一个实施例中，包括相机模块的图像传感器内的至少大多数像素实现焦点像素。例如，在每个像素具有拜耳红-绿-绿-蓝滤光器的图像传感器中，每个像素处的两个绿色通道中的第一个可以实现焦点像素，该焦点像素被配置为以相位检测样本的形式提供两个或更多个焦点检测输出。该第一绿色通道在此可以称为焦点通道。在替代实施例中，可以为焦点通道选择包括清除的不同滤色器颜色。每个像素处的剩余红色、绿色和蓝色通道在本文中可称为图像通道。因此，每个像素可以提供焦点通道信息的两个或更多个样本(相位检测样本)，以及图像通道信息的三个或更多个通道(红色、绿色、蓝色强度)。图像传感器可包括二维(2D)像素阵列，并且与2D像素阵列相关联的焦点通道信息在本文中可称为焦点阵列，而对应图像通道信息在本文中可称为图像阵列。焦点、焦点区域、焦点映射和与其相关联的坐标可以被映射到图像阵列的2D范围。在某些实施例中，焦点像素更稀疏地分布在图像传感器上，但是仍然可以进行类似的坐标映射。

在一个实施例中，同时对焦点阵列和图像阵列进行采样(曝光)。在这样的实施例中，由焦点阵列采样的强度信息可以与由图像阵列采样的图像数据混合。例如，焦点阵列强度信息可以被加在一起并被视为每个像素的第二绿色通道。在另一个实施例中，焦点阵列可以比图像阵列曝光更长的持续时间或更短的持续时间。例如，为了更好的聚焦性能，焦点阵列可以在低光设置下曝光比图像阵列更长的曝光时间，但是可以以更高的感光度(ISO)对图像阵列进行更短的曝光时间的采样以减少摇动，同时接受图像色彩噪声作为质量权衡。

在一个实施例中，可以计量焦点阵列的曝光时间和灵敏度以在整个场景上实现平衡曝光(“EV 0”)。可选地，可以计量焦点阵列的曝光时间和灵敏度，以在一个或更多个焦点区域内实现平衡曝光，同时通常排除焦点区域外的区域。

在某些实施例中，图像阵列包括两个或更多个模拟存储平面，每个模拟存储平面具有与另一个分别配置的曝光时间和/或灵敏度。此外，每个模拟存储平面的曝光时间和定时可以与焦点阵列的曝光时间和定时无关。在某些实施例中，每个像素的图像通道电路和焦点通道电路包括两个光电二极管和两个模拟采样电路。此外，在焦点通道电路中，两个模拟采样电路中的一个被配置为对来自两个光电二极管之一的电流进行积分以产生第一模拟强度样本，并且两个模拟采样电路中的另一个被配置为对来自两个光电二极管中另一个的电流进行积分以产生第二模拟强度样本。在图像通道电路中，两个光电二极管可以耦合在一起，以向两个不同的模拟采样电路提供光电二极管电流；两个不同的模拟采样电路可以被配置为独立地集成光电二极管电流。两个不同的模拟采样电路可以同时和/或分开地集成光电二极管电流。换句话说，应当同时对与焦点通道相关联的强度样本进行积分以在像素处生成焦点信息，而与图像通道相关联的强度样本可以独立地集成以独立地生成曝光的强度样本。

在某些实施例中，图像传感器包括2D像素阵列，其中每个像素包括用于捕获焦点信息的模拟采样电路和用于捕获图像信息的两个或更多个模拟采样电路(例如，针对红色，绿色，蓝色中各个的两个或更多个模拟采样电路)。在这样的实施例中，第一模拟存储平面包括阵列内相应像素处的两个或更多个不同模拟采样电路中的第一个的实例并且与图像通道相关联，并且第二模拟存储平面包括像素处的两个或更多个不同模拟采样电路中的第二个的实例并且与图像平面相关联。在某些实施例中，用于选择和读取图像通道样本的行的读出电路可以被配置为还选择和读取焦点通道样本的行。

然而，在某些相关实施例中，可以在第一模拟存储平面内捕获环境图像(闪光灯单元关闭)，并且可以在第二模拟存储平面内捕获闪光图像(闪光灯单元开启)。环境图像和闪光图像的捕获可以在时间上不重叠或在时间上重叠。可选地，可以在两个不同的模拟存储平面中的每一个中捕获两个闪光图像，其中两个闪光图像中的各个具有不同的曝光时间。在这样的实施例中，相机模块可以被配置为在启用或不启用闪光灯单元的情况下基于指定的聚焦点和/或区域(焦点信息)建立焦点。

然而，在一个实施例中，相机模块用于基于指定的焦点信息捕获闪光图像。作为响应，相机模块可以执行曝光度量操作以针对至少焦点像素建立适当的曝光，并且随后基于焦点信息进行以实现聚焦。然后，相机模块在完成对焦后捕获闪光图像。一旦焦点控制系统实现了聚焦，并且无需等待SoC或应用程序处理器，就可以捕获闪光图像，从而降低功耗和快门滞后。在一个实施例中，相机模块在实现聚焦之后捕获一系列闪光图像。可以使用加速度计测量捕获闪光图像序列中的每个闪光图像，该加速度计测量捕获相机运动作为图像模糊的估计。具有最小估计图像模糊的闪光图像被存储和/或被呈现给用户，而其他闪光图像可被丢弃。可选地，可以存储和/或呈现闪光图像序列中的每个闪光图像。

然而，在另一实施例中，相机模块用于捕获两个或更多个图像的图像堆栈，该图像对应于相机模块图像传感器内的可用模拟存储平面。两个或更多个图像中的每一个可以是环境图像、闪光图像或组合图像。可以根据焦点信息和/或曝光信息指定两个或更多个图像中的每一个。每个图像的捕获可以与图像堆栈中的其他图像的捕获重叠或不重叠。一旦焦点控制系统已经实现聚焦，并且无需等待SoC或应用程序处理器，就可以继续捕获图像堆栈。

在一个实施例中，第一相机模块包括被配置为包括至少一个焦点像素的图像传感器，并且可以包括焦点阵列，而第二相机模块包括不包括焦点阵列的图像传感器。第一相机模块和第二相机模块可以包括在同一设备内，例如移动电话设备。第一相机模块可以被配置为执行本文所述的焦点操作，而第二相机模块可以被配置为以跟踪模式操作，该跟踪模式动态地跟踪由第一相机模块内的焦点控制系统确定的焦距。

在一个实施例中，移动设备包括两个或更多个相机模块，每个相机模块被配置为独立地将焦点保持在由耦合到两个或更多个相机模块的SoC

(或任何其他形式的应用程序处理器)提供的相应焦点区域上。两个或更多个相机模块在结构和操作上可以基本相同，并且可以面向相同方向安装到移动设备。当SoC识别出两个或更多个焦点区域时，例如当用户触摸预览显示中的两个或更多个对象时，或者当两个或更多个对象被自动识别为具有焦点感兴趣的高概率(例如，人脸)时，两个或更多个相机模块中的每个可以被配置为分别保持对场景内的不同的，分配的对象的聚焦。两个或更多个相机模块可以产生具有独立焦点的两个或更多个对应的预览帧，并且捕获两个或更多个相应的图像或视频片段，每个具有独立的焦点。可以根据任何技术上可行的焦点堆叠技术处理两个或更多个预览、图像和/或视频片段，以呈现单个图像、预览或视频片段序列。两个或更多个预览、图像和/或视频片段中的每一个可以经历对准过程以与参考视图对准。所述对准过程可以实现为基于移动设备内的相机放置几何形状和/或来自移动设备的焦距的仿射变换。在一个实施例中，仿射变换被配置为通常对准两个或更多个相机模块的视锥体。在某些实施例中，来自两个或更多个相机模块之一的一个或更多个图像用作参考，并且来自两个或更多个相机模块的不同相机模块的图像数据与一个或更多个参考图像对准和/或混合以产生实时预览、静止图像和/或视频片段。静止图像和/或视频片段可以在捕获期间显示并存储以供以后查看或共享以供在不同设备上查看。

焦点控制系统可以在耦合到图像传感器的控制器(例如，图3G的控制器333或图5的控制器管芯514)内实现，其中图像传感器和控制器都可以驻留在相机模块内。控制器可以包括读出电路，该读出电路包括模数转换器电路(ADC)阵列，其被配置为从图像传感器接收模拟强度信号并将模拟强度信号转换成相应的数字表示。每个像素可以包括红色、绿色和蓝色(或任何其他颜色组合)模拟强度信号，其可以转换为像素的红色、绿色和蓝色强度的数字表示。类似地，每个焦点像素的每个焦点通道包括至少两个相位检测模拟信号。

在一个实施例中，每个焦点像素通过对来自相位差检测结构内的两个不同光电二极管的两个不同光电二极管电流中的每一个进行积分来生成两个相位检测样本。通过从另一个相减去一个相位检测信号而产生的差信号表示在焦点像素处的相对焦点。如果差信号的符号是正的，则入射光信息在一个方向上失焦(例如，聚焦点平面在光电二极管上方)；如果符号为负，则入射光信息在相反方向上失焦(例如，聚焦点平面在光电二极管下方)。也就是说，差信号的符号确定相机模块是否应该更近或更远地调整焦距以在焦点像素处实现聚焦。如果差信号低于预定阈值，则可以认为入射光信息在焦点像素处聚焦。

在一个实施例中，焦点平面和图像平面的模拟强度信息从相机模块内的图像传感器(例如图像传感器管芯508)发送到相机模块内的控制器(例如，控制器管芯514)。控制器对模拟强度信息执行模数转换。在这样的实施例中，每个焦点像素处的差信号被计算为数字域减法或比较操作。模拟强度信息的数字表示可以从控制器发送到SoC，或发送到任何其他技术上可行的应用程序处理器。数字表示可以包括图像阵列信息、焦点阵列信息或其组合。

在不同的实施例中，每个焦点像素处的差信号被生成为在关联的焦点像素的行读出期间的模拟域减法或模拟域比较操作的数字域结果。例如，在一个实施例中，模拟比较器电路耦合到一行内给定像素的两个相位检测样本中的每一个。比较器电路可以被配置为当差信号为正时生成数字域“1”，并且当差信号为负时生成数字域“0”。当响应于焦点调整比较器输出从1变为0或从0变为1时，焦点调整可能超过最佳焦距。然后，焦点控制系统可以进行相反的较小的焦点调整以汇聚焦点。比较器电路可以实现指定的滞后阈值，使得当第一精细焦点调整使比较器输出转变并且在相反方向上的第二精细焦点调整不引起转变时，则焦点像素处的入射光信息可以由于差信号低于滞后阈值而被认为是对焦的。此外，多个比较器可以包括在图像传感器或控制器中，多个比较器被配置为同时产生用于一行焦点像素的差信号。可选地，使用一半数量的比较器，可以在第一采样周期中生成并存储用于焦点像素的前半部分的差信号，并且可以在第二采样周期中生成并存储用于焦点像素的后半部分的差信号。在不脱离本文公开的实施例的范围的情况下，还可以实现其他模拟域焦点估计技术。

更一般地，相机模块内的焦点控制系统可以基于给定的焦点成本函数选择性地对数字域差信号进行采样以调整相机模块的焦距。可以使用任何技术上可行的技术(例如在数字域或模拟域中实现减法或比较操作的上述技术)来生成数字域差信号。选择性采样可以由焦点、聚焦映射、焦点区域或传输到相机模块内的控制器的任何其他聚焦规范来引导。选择性采样可以包括仅对某些差信号进行采样以生成焦点估计或者将每个差信号乘以指定的权重并从所得到的乘法乘积生成焦点估计。在某些实施例中，可以对乘法乘积进行标记。

在一个实施例中，焦点控制系统实现加权和成本函数以生成焦点估计。在这样的实施例中，焦点控制系统可以在帧读出期间累积加权的焦点信息。例如，在顺序行读出过程中给定行的读出时间期间，每个焦点像素的数字域差信号可以乘以相应的与先前发送到相机模块的焦点区域信息相关联的权重。可以将每个乘法结果添加到行中的其他乘法结果以生成行焦点估计，并且可以将完整帧的行焦点估计加在一起以计算帧焦点估计。在某些实施例中，可以将帧焦点估计归一化到特定范围以生成归一化帧焦点估计。例如，可以通过将帧焦点估计乘以焦点权重之和的倒数来计算归一化帧焦点估计。给定帧焦点估计或归一化帧焦点估计可以包括由焦点控制系统保持聚焦的离散时间反馈信号的离散样本。在一个实施例中，帧焦点估计的较低绝对值(幅度)指示较好的聚焦，而较高幅度指示较差的聚焦。通常，焦点控制系统可以被配置为最小化帧焦点估计的幅度。

在一个实施例中，每个数字差信号由比较器生成，该比较器被配置为比较相应焦点像素的模拟相位检测样本，如前所述。由于只有一个比较器产生差信号，因此只知道一个方向上的焦点偏移产生失焦结果(例如正的差信号)，而穿过零的焦点偏移不知道在负方向上聚焦或失焦。在这样的实施例中，焦点控制系统可以调整焦点以实现帧焦点估计的最小幅度，但是避免可以穿过零的焦点调整以避免在负方向上过度聚焦。

在替代实施例中，可以使用两个比较器来生成每个数字差信号，其可以包括两个值；第一个值表示差信号是否为正，而第二个值表示差信号是否为负。两个比较器可以被配置为具有非零的已知偏移，但是当两个比较器报告“0”输出时足够小，可以认为焦点像素是对焦的并且关联的焦点像素对帧焦点估计的贡献为零值。当比较器之一指示“1”值时，该1可以乘以分配给焦点像素坐标的焦点权重，并且导致对帧焦点估计的正符号贡献。当另一个比较器指示“1”值时，这可以乘以焦点权重的负值，并且导致对帧焦点估计的负符号贡献。

本公开的实施例可以在帧的读出完成之后立即提供帧的焦点估计。完全焦点估计的立即可用性允许焦点控制系统在帧读出完成之后立即开始调整焦点，从而减少焦点跟踪中的感知滞后。此外，通过在相机模块内的控制器上实现焦点控制系统，可能需要较少的整体系统功耗来维持特定的聚焦响应时间，因为需要将更少的数据传输到SoC以进行焦点维护。相比之下，传统系统需要额外的时间和功耗来保持焦点。例如，传统系统通常将图像数据帧(可能包括焦点像素数据)发送到传统SoC，然后传统SoC处理图像数据以产生焦点估计；基于焦点估计，传统SoC然后计算更新的焦距目标并将更新的焦点目标发送到传统的相机模块，传统的相机模块接收焦距目标并执行焦点调整。与本文公开的实施例相比，这些传统步骤通常需要更多的功耗(减少的设备电池寿命)和更多的执行时间(增加的聚焦滞后)。

在一个实施例中，将焦点权重值量化为具有值0或1，使得焦点区域内的任何焦点像素对焦点估计提供相等的贡献，并且焦点区域外的焦点权重贡献零权重。焦点权重的这种量化提供了焦点映射、焦点、焦点列表等的相对紧凑的表示。在其他实施例中，焦点权重值被量化以包括多个级别，其可以包括权重0、权重1和0到1之间的权重。在其他实施例中，可以实现不同的量化范围，包括但不限于，由定点和/或浮点表示指定的量化范围。

焦点图可指定在生成用于维持焦点的焦点估计时由相机模块内的焦点控制系统应用的2D焦点权重阵列。可以将2D焦点权重阵列的每个焦点权重映射到图像传感器的对应像素位置。在一个实施例中，2D焦点权重阵列的每个焦点权重与图像传感器内的焦点像素一一对应。在另一实施例中，2D焦点权重阵列包括比可用焦点像素更低分辨率的焦点权重集合，并且可以通过由2D焦点权重阵列指定的焦点权重之间的内插来计算每个焦点像素的焦点权重。这种内插可以产生与焦点像素数字域差信号结合使用的分数或二进制(1或0)焦点权重，以产生焦点估计。

焦点可包括用于选择图像传感器内的焦点像素的焦点目标信息(例如，坐标)。焦点可以定义焦点之间的位置，并且控制器可以将适当的分数焦点权重应用于界定该位置的两个或四个焦点像素。此外，焦点可以包括形成关于焦点的几何区域(例如，圆形、正方形等)的半径。可以为几何区域内的焦点像素分配非零焦点权重。可以为非零焦点权重分配1或分数值，例如根据权重配置文件。焦点列表可以包括坐标列表，每个坐标可用作焦点，其中焦点估计在与焦点列表中的焦点相关联的区域上计算。

在某些实施例中，相机模块可以提供可变焦点平面取向，使得焦点平面可以倾斜。在一个实施例中，包括相机模块透镜组件的倾斜透镜可包括两个或更多个致动器，其配置成相对于光学路径中的光学元件的传统平面对准将至少一个光学元件移动到任意取向。例如，光学元件可以耦合到三个独立的致动器，这三个独立的致动器被配置成根据指定的平面取向定位光学元件，该指定的平面取向相对于其他光学元件可以是非平面的。这样，透镜组件可以实现类似于传统倾斜透镜的聚焦操作。然而，在一个实施例中，当指定两个或更多个焦点区域时，相机模块可以定向光学元件(焦点平面)以在两个或更多个焦点区域上实现聚焦。例如，当两个或更多人站在不垂直于相机模块透镜组件的平面内时，焦点平面可以倾斜以包括每个焦点极端的人，从而允许相机模块捕获每个人都基本对焦的人的图像。

在一个实施例中，确定视频中的焦点信息可以包括接收与第一图像帧相关联的位置坐标，将坐标发送到相机模块，以及将与坐标相关联的焦点调整到第二(或后续)图像帧。以这种方式，可以将针对一个图像帧确定的焦点信息应用于一个或更多个后续帧。

然而，在一个实施例中，识别对象(例如，通过SoC)可以包括一个或更多个触发器。例如，触发可以包括移动、声音、视差(例如，颜色、亮度、强度的变化)等。在一个实施例中，这种触发可以应用于安全应用。例如，安全相机可以指向场景，但是可以基于满足在场景内检测到的触发(例如，移动)来启动场景的记录。一旦检测到移动，则SoC可以跟踪移动对象并将相应的坐标发送到相机模块以调整焦点。

附加地，在另一个实施例中，一旦识别了对象，则可以启用智能缩放。例如，如果已经检测到移动，则可以捕获与移动对象相关联的坐标并将其发送到相机模块，相机模块可以调整焦点以及对所识别对象自动增大/减小缩放。例如，在一个实施例中，SoC可以确定移动对象是像素区域。相机模块可以放大到紧邻周围的区域，但是由SoC包围所识别的像素区域。

再者，在一个实施例中，使用SoC来识别和/或跟踪对象以及使用相机模块来调整焦点，还可以涉及多个设备。例如，在一个实施例中，无人机的集合可用于跟踪和聚焦在同一对象上。附加地，通过使用这种系统捕获的图像将允许相同对象的多个角度和/或透视和/或缩放。这种聚合图像的集合还将允许增强现实系统或虚拟现实系统。

此外，使用这样的系统将允许更清晰的沉浸式360度捕获和/或全景场景，其中多个图像可以以周围对象具有一致焦点的方式拼接在一起。附加地，在一个实施例中，这种捕获还可以允许修改亮度、强度、帧速率、胶片速度，使得当图像被拼接在一起时，在一个图像与另一个图像之间最小化模糊和失真。这样，在捕获期间更有效的聚焦可以允许对捕获的图像进行更有效的后处理工作。

再者，在一个实施例中，扫描具有多个焦点的场景可以允许在后处理期间的用户定义的焦点。例如，可以扫描具有多个对象的场景，使得可以捕获每个识别的对象的焦点。可以针对拍摄场景编辑所有捕获图像的图像集，使得在后处理期间，用户可以定义焦点并重新调整照片(捕获之后)以考虑焦点的变化。

图11示出了根据一个可能实施例的网络架构1100。如图所示，提供至少一个网络1102。在本网络架构1100的上下文中，网络1102可以采用任何形式，包括但不限于电信网络、局域网(LAN)、无线网络、广域网(WAN)(诸如因特网)、对等网络、有线电视网等。虽然仅示出了一个网络，但是应该理解，可以提供两个或更多个相似或不同的网络1102。

耦合到网络1102的是多个设备。例如，服务器计算机1112和终端用户计算机1108可以耦合到网络1102以用于通信目的。这样的终端用户计算机1108可以包括台式计算机、膝上型计算机和/或任何其他类型的逻辑。此外，各种其他设备可以耦合到网络1102，包括个人数字助理(PDA)设备1110、移动电话设备1106、相机1114、电视1104等。在各种实施例中，所示的任何设备(例如，PDA 1110、终端用户计算机1108、相机1114、移动电话1106等)可以包括被配置为实现本公开的各个方面的一个或更多个相机模块。

再者，在各种实施例中，本文公开的一种或更多种技术可以应用于各种市场和/或产品。例如，尽管已经参考照片捕获公开了这些技术，但是它们可以应用于电视、网络会议(或直播流功能等)、安全相机(例如，增加对比度以确定特性等)、汽车(例如，驾驶员辅助系统、车载信息娱乐系统等)、和/或包括相机输入的任何其他产品。

虽然上面已经描述了各种实施例，但是应该理解，它们仅以示例的方式呈现，而不是限制。因此，优选实施例的宽度和范围不应受任何上述示例性实施例的限制，而应仅根据所附权利要求及其等同物来限定。

Claims (20)

1.一种装置，包括：

电路，用于：

使用相机模块将图像采样为图像数据；

传输所述图像数据以进行处理，其中所述处理包括识别一个或更多个焦点区域；

确定与所述一个或更多个焦点区域对应的焦点目标信息；

基于所述焦点目标信息调整焦点；以及

捕获第一图像。

2.如权利要求1所述的装置，其中，所述一个或更多个焦点区域包括一个或更多个像素点。

3.如权利要求1所述的装置，其中，所述一个或更多个焦点区域包括具有半径和权重配置文件的一个或更多个像素点。

4.如权利要求1所述的装置，其中，所述一个或更多个焦点区域包括具有权重蒙皮的一个或更多个像素点。

5.如权利要求4所述的装置，其中，与所述权重蒙皮相关联的一个或更多个权重用于建立焦点估计。

6.如权利要求1所述的装置，其中，聚合来自与所述一个或更多个焦点区域相关联的一个或更多个焦点像素的第一信息，以生成所述一个或更多个焦点区域的焦点估计，所述焦点估计基于所述焦点目标信息。

7.如权利要求1所述的装置，其中，所述焦点目标信息包括2D掩码值。

8.如权利要求1所述的装置，其中，所述焦点目标信息被保存为与所述第一图像相关联的元数据。

9.如权利要求1所述的装置，其中，所述焦点目标信息包括与一个或更多个像素点相对应的至少一个坐标。

10.如权利要求1所述的装置，其中，所述一个或更多个识别的焦点区域由用户选择。

11.如权利要求1所述的装置，其中，所述电路还被配置用于：

将第二图像采样为第二图像数据；

发送所述第二图像数据进行处理；

响应于所述处理，接收与一个或更多个识别的第二焦点区域相对应的第二焦点目标信息，其中，所述一个或更多个识别的第二焦点区域与一个或更多个第二焦点像素相关联；

基于所述第二焦点目标信息调整所述焦点；以及

捕获所述第二图像。

12.如权利要求11所述的装置，其中，所述电路还被配置用于混合所述第一图像和所述第二图像。

13.如权利要求11所述的装置，其中，焦点目标信息对应于第一焦点设置，以及第二焦点目标信息对应于第二焦点设置。

14.如权利要求13所述的装置，其中，所述第一焦点设置用于捕获第一图像，并且所述第二焦点设置用于捕获第二图像，其中所述第一图像和所述第二图像被混合以创建第一混合图像。

15.如权利要求1所述的装置，其中，所述电路还被配置用于：

接收与所述一个或更多个识别的焦点区域相对应的更新的焦点目标信息；

响应于接收到所述更新的焦点目标信息，基于所述更新的焦点目标信息调整所述焦点。

16.如权利要求3所述的装置，其中，所述权重配置文件包括起点和终点，其中在所述起点和所述终点之间应用预定义函数。

17.如权利要求1所述的装置，其中调整所述焦点包括：

将第二图像采样为第二图像数据；

基于所述焦点目标信息和所述第二图像数据生成焦点估计；

基于所述焦点估计生成焦点信号；以及

将所述焦点信号发送到包括在所述相机模块内的透镜组件，以使所述透镜组件调整所述焦点。

18.如权利要求17所述的装置，其中，根据两个或更多个乘积的加权和生成所述焦点估计，其中，通过将焦点像素差信号乘以对应的权重值来计算每个乘积。

19.一种装置，包括：

图像传感器，包括用于生成光学图像的电表示的电路；

透镜组件，包括用于通过根据焦点信号聚焦光学场景信息来生成所述光学图像的光学元件；

控制器，耦合到所述图像传感器和所述透镜组件，所述控制器包括用于以下的电路：

从所述图像传感器接收所述电表示；

从相机互连接收焦点目标信息；

基于所述电表示和所述焦点目标信息生成焦点估计；

基于所述焦点估计生成所述焦点信号；

从所述电表示生成图像数据；以及

通过所述互连传输所述图像数据；以及

模块壳体，被配置为包围所述图像传感器、所述透镜组件和所述控制器，并且还被配置为将所述透镜组件与所述图像传感器光学对准。

20.一种方法，包括：

使用相机模块将图像采样为图像数据；

传输所述图像数据以进行处理，其中所述处理包括识别一个或更多个焦点区域；

确定与所述一个或更多个焦点区域相对应的焦点目标信息；

基于所述焦点目标信息调整焦点；以及

捕获第一图像。