CN101600050A

CN101600050A - 高效优化数码相机中的变焦设置的系统和方法

Info

Publication number: CN101600050A
Application number: CNA2009101373836A
Authority: CN
Inventors: 尼考劳斯·乔治斯; 保罗·黄; 费瑞德瑞克·卡皮奥
Original assignee: Sony Corp; Sony Electronics Inc
Current assignee: Sony Corp; Sony Electronics Inc
Priority date: 2008-04-24
Filing date: 2009-04-24
Publication date: 2009-12-09
Anticipated expiration: 2029-04-24
Also published as: US20120057052A1; EP2112822A3; US8040399B2; JP5492454B2; JP2009268116A; CN101600050B; CN103347146A; JP2014140204A; EP2112822A2; US20090268060A1

Abstract

本发明公开了高效优化数码相机中的变焦设置的系统和方法。用于高效优化数码相机中的变焦设置的系统和方法包括执行数码变焦功能的数码变焦模块，以及控制数码相机的透镜单元以执行光学变焦功能的光学变焦模块。景深管理器执行变焦设置优化过程以选择用于所述光学变焦模块和所述数码变焦模块的最优变焦值，由此来优化由相机设备捕获的图像的图像质量特性。

Description

高效优化数码相机中的变焦设置的系统和方法

技术领域

本发明一般涉及用于捕获图像数据的技术，并且更具体地涉及用于高效优化数码相机中的变焦设置的系统和方法。

背景技术

实现用于捕获图像数据的高效方法是当代电子设备的设计者和制造商需要考虑的重要事情。然而，高效地利用电子设备来捕获图像数据可能给系统设计者带来重大挑战。例如，对提高系统功能和性能的日益增强的需求可能需要更多的系统处理能力，并且需要额外的硬件资源。在处理或硬件需求方面的增长还可能会由于增长的生产成本和操作的低效而导致相应的不利经济冲击。

此外，虽然用于执行各种高级操作的增强的设备能力可以给系统用户提供额外的益处，但是也可能使得对各种系统部件的控制和管理的需求增加。例如，高效捕获数字图像数据的增强电子设备可能由于所涉及的数字数据的巨大数量和复杂性而从高效的实现方式中受益。

由于对系统资源的日益增长的需求以及数据量的大幅增加，显然，开发用于分析图像数据的新技术是一件相关电子技术中一件值得关注的事情。因此，出于所有上述原因，开发用于捕获图像数据的高效系统仍然是当代电子设备的设计者、制造商及用户需要考虑的重要事情。

发明内容

根据本发明，公开了用于高效优化数码相机中的变焦设置的系统和方法。在一个实施例中，为了优化所捕获图像的景深特性，景深(DOF)管理器可以利用光学变焦模块执行光学变焦功能，以在物理上将数码相机的透镜单元调节到最优光学变焦值。DOF管理器随后可以利用数码变焦模块执行数码变焦功能以补偿前面的光学变焦功能，由此产生具有与相机用户最初希望的表观变焦特性相同的特性的图像。

在本发明的一个实施例中，DOF管理器首先读取用于光学变焦模块的光学变焦值。DOF管理器还读取到所希望的目标对象的当前对象距离。随后，DOF管理器从先前根据指定标准创建的查找表访问最优变焦值(光学变焦值和相应的数码变焦值)。DOF管理器然后将来自查找表的最优变焦值应用到光学变焦模块和数码变焦模块。最后，数码相机的图像传感器利用经优化的变焦值(光学变焦值和数码变焦值)捕获经优化的图像。因此，本发明提供了用于高效优化数码相机中的变焦设置的经改进的系统和方法。

附图说明

图1是根据本发明的相机设备的一个实施例的框图；

图2是根据本发明的图1的捕获子系统的一个实施例的框图；

图3是根据本发明的图1的控制模块的一个实施例的框图；

图4是根据本发明的图3的存储器的一个实施例的框图；

图5是图示出根据本发明一个实施例的景深的示图；

图6是图示出根据本发明一个实施例的数码变焦过程的示图；

图7是图示出根据本发明一个实施例的经优化的变焦值的曲线图；

图8A-8B是根据本发明第一实施例的用于优化景深的方法步骤的流程图；以及

图9是根据本发明第二实施例的用于优化景深的方法步骤的流程图。

具体实施方式

本发明涉及对图像数据捕获技术的改进。呈现下面的描述以使得本领域普通技术人员能够制造和使用本发明，并且是在专利申请及其要求的背景中来提供下面的描述的。本领域技术人员将会很容易地清楚对所公开的实施例的各种修改，并且这里的一般原理可以被应用到其它实施例中。因此，本发明不希望被限定到所示出的实施例，而是与符合在此描述的原理和特征的最宽范围一致。

本发明包括用于高效优化数码相机中的变焦设置的系统和方法，并且包括执行数码变焦功能的数码变焦模块，以及控制数码相机的透镜单元执行光学变焦功能的光学变焦模块。景深管理器执行变焦设置优化过程以选择用于光学变焦模块和数码变焦模块的最优变焦值，由此优化由相机设备所捕获的图像的图像质量特性。

现在参考图1，示出了根据本发明的相机设备110的一个实施例的框图。在图1的实施例中，相机设备110可以包括但不限于捕获子系统114、系统总线116和控制模块118。在图1的实施例中，捕获子系统114可以光耦合到摄影(photographic)目标112，并且还可以经由系统总线116电耦合到控制模块118。

在替代实施例中，相机设备110可以包括除了结合图1的实施例讨论的那些组件的某些之外的其它组件，或者不包括结合图1的实施例讨论的那些组件的某些而包括其它组件。另外，在某些实施例中，或者可以在除了图1的相机设备110以外的任何适当类型的电子设备中体现本发明。例如，相机设备110或者可以被实现为成像设备、计算机设备或消费者电子设备。

在图1的实施例中，一旦系统用户将捕获子系统114聚焦在目标112上并请求相机设备110捕获与目标112相对应的图像数据，则控制模块118可以经由系统总线116指示捕获子系统114捕获表示目标112的图像数据。所捕获的图像数据随后通过系统总线116传送到控制模块118，控制模块118可以作为响应而对图像数据执行各种处理和功能。系统总线116还可以在捕获子系统114和控制模块118之间双向传递各种状态和控制信号。

现在参考图2，示出了根据本发明的图1的捕获子系统114的一个实施例的框图。在图2的实施例中，捕获子系统114包括但不限于快门218、透镜单元220、图像传感器224、红、绿和蓝(R/G/B)放大器228、模数(A/D)转换器230、接口232以及光学变焦控制器236。在替代实施例中，捕获子系统114可以容易地包括除了结合图2的实施例讨论的那些组件的某些之外的其它组件，或者可以不包括结合图2的实施例讨论的那些组件的某些而包括其它组件。

在图2的实施例中，捕获子系统114通过沿着光路径236、对图像传感器224产生影响的反射光来捕获与目标112相对应的图像数据。可以包括电荷耦合器件(CCD)的图像传感器224可以作为响应而生成表示目标112的一组图像数据。图像数据随后可以被路由通过红、绿和蓝放大器228、A/D转换器230以及接口232。来自接口232的图像数据通过系统总线116传递到用于适当处理和存储的控制模块118。诸如CMOS或线性阵列之类的其它类型的图像捕获传感器也可以考虑用来结合本发明捕获图像数据。在图2的实施例中，透镜单元220以以支持由光学变焦236响应于来自控制模块118(图1)的命令而控制的机械变焦功能的任何高效方式来实现。下面结合图5-9进一步讨论捕获子系统的使用和功能。

现在参考图3，示出了根据本发明的图1的控制模块118的一个实施例的框图。在图3的实施例中，控制模块118包括但不限于取景器308、中央处理单元(CPU)344、存储器346，以及一个或多个输入/输出接口(I/O)348。取景器308、CPU 344、存储器346和I/O 348的每个都经由公共系统总线116耦合并通信，公共系统总线116还与捕获子系统114通信。在替代实施例中，控制模块118可以包括除了结合图3的实施例讨论的那些组件的某些之外的其它组件，或者可以不包括结合图3的实施例讨论的那些组件的某些而包括其它组件。

在图3的实施例中，CPU 344可以被实现为包括任何适当的微处理器设备。或者，可以利用任何其它适当技术来实现CPU 344。例如，CPU344可以被实现为包括某些专用集成电路(ASIC)或者其它适当的电子设备。存储器346可以被实现为一个或多个适当的存储设备，包括但不限于只读存储器、随机存取存储器，以及各种类型的非易失性存储器，例如软盘设备、硬盘设备或闪存。I/O 348可以提供用于辅助相机设备110与包括系统用户或另外的电子设备在内的任何外部实体之间的通信的一个或多个高效接口。可以利用任何适当的输入和/或输出设备来实现I/O 348。下面将结合图4至9进一步讨论控制模块118的操作和使用。

现在参考图4，示出了根据本发明的图3的存储器346的一个实施例的框图。在图4的实施例中，存储器346可以包括但不限于相机应用程序412、操作系统414、景深(DOF)管理器416、数码变焦模块418、景深(DOF)参数420、变焦值422以及图像数据424。在替代实施例中，存储器346可以容易地包括除了结合图4的实施例讨论的那些组件之外的其它组件，或者可以不包括结合图4的实施例讨论的那些组件而包括其它组件。

在图4的实施例中，相机应用程序412可以包括由CPU 344(图3)执行以执行相机设备110的各种功能和操作的程序指令。相机应用程序412的特殊性质和功能取决于诸如相应的相机设备110的类型和特殊应用之类的因素而变化。在图4的实施例中，操作系统414优选地控制并协调相机设备110的低层功能。

根据本发明，DOF管理器416可以控制并协调变焦优化过程以选择最优的变焦值422用于捕获图像数据424。变焦值422可以包括用于数码变焦418和光学变焦236(图2)的具体设置。在图4的实施例中，DOF参数420可以包括DOF管理器416优化变焦值422所需的任何适当的值或信息。下面将结合图5-9进一步讨论执行变焦优化过程的DOF管理器416的使用。

现在参考图5，示出了图示出根据本发明一个实施例的景深(DOF)的示图。图5的示图被呈现用于图示说明的目的，并且在替代实施例中，景深可以包括除了图5的示例示出的那些特性或参数的某些之外的其它特性或参数，或者不包括图5的示例示出的那些特性或参数的某些而包括其它特性或参数。

在图5的实施例中，示出了具有所定义的各种相关距离和参数的透镜514。相机一般能够准确地聚焦在仅一个平面上。任何其它平面上的点对象都被成像为圆盘而非点，并且平面离焦平面越远，该圆盘越大。然而，如果该圆盘(称为模糊斑点)足够小，则不能与点区分开，从而可接受的清晰度区存在于焦平面任一侧的两个平面之间。该区称为景深(DOF)。最近的平面是DOF的近极限，而最远的平面是DOF的远极限。足够小的模糊斑点的直径称为散光圈(the circle of confusion)。

在图5的示例中，在近极限526(由距离u_n定义)和远极限522(由距离u_f定义)之间示出了DOF。对光圈大小进行控制来控制模糊斑点的大小，并且聚焦确定DOF的位置。随着光圈的大小减小(或者f数被增加)，散焦模糊斑点的大小减小而DOF增加。但是，在暗光的环境中，光圈可能需要增大并且快门速度减小以获得用于充分捕获图像的足够的光。因此，可以通过操作相机110使用于光学变焦236的变焦值被设置(或缩小)得尽可能远来使DOF最大化，以捕获所希望的目标对象112。

在图5的示例中，离透镜514的距离为u的目标对象112在焦距v处处于聚焦中(例如，在图2的图像传感器224上)。在距离u_f和u_n处的目标对像可以分别在焦距v_f和v_n处处于聚焦中。在焦距v处，它们被成像为模糊斑点。景深受孔径光阑直径d的影响。当模糊斑点直径等于散光圈c时，DOF的近极限和远极限由纵轴522和纵轴526之间的距离u_f和u_n来定义。

在图5的示例中，可由下面的公式来定义DOF：

DOF = u_{f} - u_{n} = \frac{2 Nc (m + 1)}{m^{2} - {(\frac{Nc}{f})}^{2}}

其中，u_f是聚焦中的较远对象的距离，u_n是聚焦中的较近对象的距离，f是焦长，u是对象距离，v是图像距离，c是散光圈，d是光圈直径，m是图像放大率(等于u/v)，而N是f数(等于f/d)。

现在参考图6，示出了图示出根据本发明一个实施例的数码变焦过程的示图。在替代实施例中，本发明可以使用各种其它配置和技术来实现数码变焦过程。

在图6的示例中，示出了全尺寸图像614，其中，在框的中央有一示例性目标对象(人)。图6的示例还示出了由虚线所界定的较小框围起来的较小的经放大的(zoomed-in)图像618。在图6的实施例中，相机110可以使用数码变焦418(图4)通过利用任何高效的技术在电子学上对图像执行数码变焦过程。例如，在某些实施例中，数码变焦418可以剪切或移除全尺寸图像614中落在经放大的图像618的外面的区域。数码变焦418随后可以通过利用任何适当的技术来增大经放大图像618的表观(apparent)尺寸以匹配全尺寸图像614的原始尺寸。例如，在某些实施例中，数码变焦418可以从经放大的图像618复制相邻像素，直到呈现了足够的像素来将经放大的图像618填充为全尺寸图像。

如上结合图5所讨论的，为了优化所捕获图像的景深特性，DOF管理器416(图4)可以有利地将透镜单元220(图2)缩小(延长焦长)至最优的光学变焦值。根据本发明，DOF管理器416随后可以高效地利用数码变焦418通过利用数码变焦418执行数码放大过程来补偿前面的光学缩小过程，由此产生具有与相机用户最初希望的表观变焦特性相同的特性的经放大的图像618。下面将结合图7-9进一步讨论最优变焦设置的推导。

现在参考图7，示出了图示出根据本发明一个实施例的经优化的变焦值的曲线图。图7的实施例是出于图示说明的目的而呈现的，并且在替代实施例中，可以利用除了结合图7的实施例讨论的那些技术和配置的某些以外的其它技术和配置来优化变焦值，或者可以不用结合图7的实施例讨论的那些技术和配置的某些而用其它技术和配置来优化变焦值。

在图7的曲线图中，在纵轴上示出了用于光学变焦236(图2)的光学变焦值，而在水平轴上示出了数码变焦418(图4)的数码变焦值。在图7的示例中示出了近似同心的一组六个逐渐变小的周线。在其它实施例中，可以利用任何其它数目的周线或形状。在图7的实施例中，每个周线表示在给定对象距离处所捕获的图像的不同等级的图像质量。在图7的实施例中，最外面的周线表示最差的图像质量。图像质量沿着一系列相邻周线逐渐增加，直到达到中央周线中的最优图像质量。

图7的曲线图示出了用于标识光学变焦236和数码变焦418的最优变焦设置的无约束解和受约束解。最优变焦设置可以通过应用任何高效的技术或标准来标识。例如，可以选择与所捕获图像的最优图像质量特性(例如最优图像细节或最优景深)相对应的最优变焦设置。在图7的实施例中，无约束解将最优变焦设置标识为中央周线中的黑色区域718。对于受约束解，曲线714图示出了满足相机用户表观上所希望的变焦设置的所有可能的变焦设置对(光学和数码)。最优变焦设置被标识在曲线714接触最高等级周线的位置722处。下面结合图8-9进一步讨论用于标识和使用最优变焦设置的另外的技术。

现在参考图8A-8B，示出了根据本发明第一实施例的用于优化景深的方法步骤的流程图。图8的实施例被呈现用于图示说明的目的，并且在替代实施例中，本发明可以容易地利用除了结合图8的实施例讨论的那些以外的各种其它步骤和序列。

在图8A的步骤814中，景深(DOF)管理器416首先读取用于控制相机设备110的透镜单元220的光学变焦236的光学变焦值。在步骤818，相机设备110的图像传感器224捕获并存储与目标对象112相对应的图像数据424。在步骤822，DOF管理器416读取到目标对象112的当前对象距离。然后，在步骤826，DOF管理器416指示光学变焦236将光学变焦值递减-ΔZ_o的缩小值。

在步骤830，DOF管理器416计算用于递增数码变焦值的放大值+ΔZ_d，由此补偿来自前面步骤826的光学变焦值的递减。在步骤834，DOF管理器416将新的数码变焦值应用到数码变焦418，并且图像传感器224利用更新的变焦值(光学变焦值和数码变焦值)捕获新的图像。图8A的处理随后通过连接字母“A”前进到图8B的步骤838。

在步骤838，DOF管理器416判定刚才的变焦值与当前更新后的变焦值(来自步骤834)的表观变焦特性是否相同。如果表观变焦特性不同，则图8B的处理通过连接字母“B”返回到图8A的步骤830。但是，如果步骤838中的表观变焦特性相同，则在步骤842，DOF管理器416通过利用任何适当的技术和标准来计算来自步骤834的新的图像的质量特性。

在步骤846，DOF管理器416判定是否已利用任何高效的方法将针对新图像的质量度量最大化。例如，在某些实施例中，可以利用图7的周线曲线图方法。如果针对新图像的质量度量未最大化，则图8B的处理通过连接字母“C”返回到图8A的步骤826。但是，如果步骤846中针对新图像的质量度量已最大化，则在步骤850中，DOF管理器416可以应用供相机设备110使用的最终的光学变焦值和最终的数码变焦值。

现在参考图9，示出了根据本发明第二实施例的用于优化景深的方法步骤的流程图。图9的实施例被呈现用于图示说明的目的，并且在替代实施例中，本发明可以容易地利用除了结合图9的实施例讨论的那些以外的各种其它步骤和序列。

在图9的实施例中，在步骤910，景深(DOF)管理器416首先读取用于控制相机设备110的透镜单元220的光学变焦236的光学变焦值。在步骤914，DOF管理器416读取到目标对象112的当前对象距离。然后，在步骤918，DOF管理器416从先前根据指定标准创建的变焦值查找表(LUT)访问最优变焦值(光学变焦值和对应的最优数码变焦值)。在图9的实施例中，最优变焦值可以是基于相关相机参数的，包括但不限于由相机用户设置的初始光学变焦值以及到所希望的目标对象112的当前目标距离。在步骤922，DOF管理器416将来自LUT的最优变焦值分别应用到光学变焦236和数码变焦418。最后，在步骤926，图像传感器224利用经优化的变焦值(光学变焦值和数码变焦值)捕获新图像。图9的处理随后可以终止。因此，本发明提供了用于高效地优化数码相机中的变焦设置的经改进的系统和方法。

已经参考某些实施例解释了本发明。根据本公开，本领域技术人员将会清楚其它实施例。例如，可以利用除了在上述实施例中描述的那些配置和技术以外的配置和技术来实现本发明。另外，可以结合除了上述那些系统以外的系统来高效地使用本发明。因此，本发明意图涵盖对上述实施例的这些和其它变体，本发明仅仅由所附权利要求来限定。

Claims

1.一种用于优化相机设备中的变焦设置的系统，包括：

光学变焦模块，控制所述相机设备的透镜单元来执行光学变焦功能；

数码变焦模块，执行数码变焦功能；以及

景深管理器，执行变焦设置优化过程，以选择所述光学变焦模块和所述数码变焦模块的最优变焦值，由此来优化由所述相机设备捕获的图像的图像质量特性。

2.根据权利要求1所述的系统，其中，所述光学变焦功能是物理上调节所述相机设备的所述透镜单元的缩小功能。

3.根据权利要求2所述的系统，其中，所述数码变焦功能是由所述相机设备上的软件过程控制的放大功能。

4.根据权利要求3所述的系统，其中，所述放大功能数字地剪切所述图像以产生经剪切的图像，随后所述放大功能数字地扩展所述经剪切的图像以产生最终的图像。

5.根据权利要求3所述的系统，其中，所述缩小功能优化所述图像质量特性，所述放大功能被执行以补偿所述缩小功能，以产生与由相机用户最初选择的表观变焦特性相同的表观变焦特性。

6.根据权利要求1所述的系统，其中，所述图像质量特性包括所述图像的景深特性。

7.根据权利要求1所述的系统，其中，所述相机设备包括具有所述光学变焦模块、所述透镜单元及捕获所述图像的图像传感器的捕获子部件。

8.根据权利要求1所述的系统，其中，所述相机设备包括具有处理器设备的控制模块，所述处理器设备控制所述景深管理器和数码变焦模块。

9.根据权利要求1所述的系统，其中，所述景深管理器通过计算并评估与所述图像相对应的图像质量周线来选择所述最优变焦值，所述最优变焦值包括最优光学变焦值和最优数码变焦值。

10.根据权利要求9所述的系统，其中，所述景深管理器利用无约束解来标识所述图像质量周线中的所述最优变焦值。

11.根据权利要求9所述的系统，其中，所述景深管理器利用受约束解来标识所述图像质量周线中的所述最优变焦值。

12.根据权利要求1所述的系统，其中，所述变焦设置优化过程利用离线技术来选择所述最优变焦值。

13.根据权利要求12所述的系统，其中，所述景深管理器读取由相机用户设置的初始光学变焦值，所述景深管理器还读取目标对象相对于所述相机设备的目标距离。

14.根据权利要求13所述的系统，其中，所述景深管理器参考变焦值查找表来确定所述最优变焦值，所述变焦值查找表是先前基于所定义的变焦设置选择标准而实现的。

15.根据权利要求14所述的系统，其中，所述相机设备利用所述最优变焦值来捕获具有经优化的图像质量特性的所述图像。

16.根据权利要求1所述的系统，其中，所述变焦设置优化过程利用离线技术来选择所述最优变焦值。

17.根据权利要求16所述的系统，其中，所述景深管理器读取由相机用户设置的初始光学变焦值，所述景深管理器还读取目标对象相对于所述相机设备的目标距离，所述相机设备捕获并存储初始图像。

18.根据权利要求17所述的系统，其中，所述景深管理器执行迭代过程以产生更新的变焦值，所述迭代过程递减所述光学变焦模块的光学变焦值，递增所述数码变焦模块的数码变焦值以补偿对所述光学变焦值的递减，所述相机设备利用所述更新后的变焦值来捕获评估图像。

19.根据权利要求18所述的系统，其中，所述景深管理器重复所述迭代过程直到所述图像质量特性被优化，所述相机设备随后捕获最终的经优化的图像。

20.一种用于优化相机设备中的变焦设置的方法，包括：

利用光学变焦模块控制所述相机设备的透镜单元以执行光学变焦功能；

通过利用数码变焦模块来执行数码变焦功能；以及

利用景深管理器执行变焦设置优化过程以选择所述光学变焦模块和所述数码变焦模块的最优变焦值，所述变焦设置优化过程由此来优化由所述相机设备捕获的图像的图像质量特性。