CN109756668A - 在不同图像捕获条件下结合光学变焦和数字变焦 - Google Patents

Abstract

一种在不同图像捕获条件下结合光学变焦和数字变焦的设备，包括用于对焦图像或进行光学变焦的镜头组件，用于捕获图像的传感器阵列；用于存储指令的存储器；以及用于执行指令的处理器。处理器可以执行指令以：使传感器阵列捕获图像；确定所捕获的图像中的视场；获得基于与所捕获的图像相关联的传感器测量值的参数值；基于参数值、所捕获的图像和视场获得数字变焦曲线和光学变焦曲线；并针对所述视场联合应用数字变焦曲线和光学变焦曲线，以将摄像机设置为接收到的变焦请求。

Description

在不同图像捕获条件下结合光学变焦和数字变焦

背景技术

这些年来，摄像机和其他监控设备变得越来越便宜。因此，它们的使用变得更加广泛。随着摄像机和监控设备的激增，制造商正在设计许多产品特性并将它们集成到这些设备中，以帮助用户捕获高质量的图像。

发明内容

根据一个方面，一种方法可以包括：在摄像机的传感器阵列处捕获图像；确定视场；获得与所捕获的图像相关联的参数值；基于参数值和视场获得指示数字放大的数字变焦曲线和指示光学放大的光学变焦曲线；并且针对所确定的视场，将数字变焦曲线和光学变焦曲线联合应用于在传感器阵列处捕获的图像。通过联合提供数字变焦和光学变焦两者，摄像机可以避免从光学变焦到数字变焦的突然转换。联合提供数字变焦和光学变焦可以使变焦更快，特别是与单独使用光学变焦相比。与仅使用光学变焦相比，联合提供数字变焦和光学变焦还可以保持更长的景深，这可以使摄像机更容易自动对焦。

另外，参数值可以包括光强测量值，并且光学放大可以基于光强测量值而优先于数字放大。这可以允许摄像机使用整个图像传感器并且在不良光照条件下保持更高的光灵敏度。

另外，参数值可以包括景深值，并且数字放大可以基于景深值而优先于光学放大。这可以允许摄像机保持更大的景深和/或保持光圈大小。

另外，参数值可以包括传感器分辨率和用于显示的分辨率，并且数字变焦曲线可以基于传感器分辨率和用于显示的分辨率。考虑传感器分辨率和显示器的分辨率可以允许摄像机使用数字变焦而不损害图像分辨率。

另外，参数值可以包括被定义为包括运动的区域，并且当视场位于被定义为包括运动的区域内时，数字放大可以优先于光学放大。该特征允许摄像机在难以自动对焦时避免必须自动对焦。

另外，被定义为包括运动的区域可以与时间段相关联。该特征可以允许摄像机在特定时间变焦到特定区域。

另外，该方法还可以包括调节与视场相关联的曝光。这可以允许摄像机增加或减少光量或获得合适的曝光水平。

另外，调节与视场相关联的曝光可以包括改变快门速度或光圈。该特征允许摄像机至少以两种不同的方式调节曝光。

另外，该方法还可以包括在应用数字变焦曲线和光学变焦曲线之前接收重置数字放大和光学放大的用户输入。这提供了计算合适的数字放大和光学放大水平。

另外，联合应用数字变焦曲线和光学变焦曲线可以包括改变摄像机的定向。该特征可允许摄像机在其取景器中对选定区域进行光学变焦。因为选定区域可能位于取景器内的任何位置，所以可能需要在光学变焦期间调节摄像机镜头组件的定向。

根据另一方面，一种设备可包括：镜头组件，用于对焦图像或进行光学变焦；传感器阵列，用于捕获从镜头组件输出的图像；存储指令的存储器；以及执行指令的处理器。处理器可以执行指令以：使传感器阵列捕获图像；确定视场；获得与捕获的图像相关联的参数值；基于参数值和视场，获得指示数字放大的数字变焦曲线和指示光学放大的光学变焦曲线；并且针对所确定的视场，将数字变焦曲线和光学变焦曲线联合应用于捕获的图像。通过联合提供数字变焦和光学变焦两者，该设备可以避免从光学变焦到数字变焦的突然转换。联合提供数字变焦和光学变焦可以使变焦更快，特别是与单独使用光学变焦相比。与仅使用光学变焦相比，联合提供数字变焦和光学变焦可以保持更长的景深，并使设备更容易自动对焦。

另外，参数值可以包括光强测量值，并且处理器可以执行指令以基于光强测量值使光学放大优先于数字放大。这可以允许设备使用其整个图像传感器并在不良光照条件下保持更高的光灵敏度。

另外，参数值可以包括景深测量值，并且处理器可以执行指令以基于景深测量值使数字放大优先于光学放大。这可以允许设备保持更大的景深和/或保持其光圈大小。

另外，参数值可以包括传感器分辨率和用于显示的分辨率，并且数字变焦曲线可以基于传感器分辨率和用于显示的分辨率。考虑传感器分辨率和显示器的分辨率可以允许设备使用数字变焦而不损害图像分辨率。

另外，参数值可以包括被定义为包括运动的区域，并且处理器可以执行指令以当视场位于被定义为包括运动的区域内时，使数字放大优先于光学放大。该特征可以允许设备避免在自动对焦困难时必须自动对焦。

另外，被定义为包括运动的区域可以与时间段相关联。该特征可以允许设备在特定时间变焦到特定区域。

另外，处理器还可以执行指令以调节与视场相关联的曝光。这可以允许设备增加或减少光量或获得合适的曝光水平。

另外，处理器可以进一步执行指令以当处理器调节与视场相关联的曝光时改变快门速度或光圈。该特征允许设备至少以两种不同的方式调节曝光。

另外，处理器还可以执行指令以在应用数字变焦曲线和光学变焦曲线之前接收重置数字放大和光学放大的用户输入。这提供了计算合适的数字放大和光学放大水平。

另外，处理器可以进一步执行指令以当处理器联合应用数字变焦曲线和光学变焦曲线时，改变镜头组件的定向。该特征可允许设备在其取景器中对选定区域进行光学变焦。因为选定区域可能位于取景器内的任何位置，所以可能需要在光学变焦期间调节镜头组件的定向。

附图说明

图1示出可以实施本文描述的实施例的示例性环境；

图2是示出在一个实施例中图1的摄像机的示例性部件的示意图；

图3是一个实施例中的计算设备的示例性部件的框图；

图4是示出图1的摄像机的示例性功能部件的框图；

图5示出了用于应用变焦并用于选择不同的数字和光学变焦选项的示例性用户界面；以及

图6是基于不同的图像捕获条件应用数字变焦和光学变焦的示例性过程的流程图。

具体实施方式

以下详细描述参考附图。不同附图中的相同附图标记可以指代相同或相似的元件。

本文所使用的术语“图像”是指视觉信息(例如，图片、视频、照片、动画等)的模拟或数字表示。术语“图像”也可以用于表示“图像传感器数据”或描述图像的任何数据。

本文使用的术语“摄像机”包括捕获并存储图像的设备。例如，数码摄像机可以包括以电子方式而不是使用胶卷来捕获并存储图像的电子设备。数码摄像机可以是多功能的，其中一些设备能够记录声音和/或图像。

本文使用的术语“主题”将被广义地解释为包括能够被捕获为图像的任何人、地点和/或事物。如本文所使用的，术语“光”可以不仅涉及可见光，而且也可以涉及非可见光谱中的光(例如，电磁辐射)。

现代数码摄像机可以应用数字变焦和光学变焦两者。具体地，具有比用于显示的输出分辨率更高分辨率的图像传感器的摄像机可以应用数字变焦而不会损失光学分辨率。结合数字变焦和光学变焦的一种方式是首先进行光学变焦(例如，增大光学放大率直到达到最大光学放大率)，然后进行数字变焦(例如，增大数字放大率)。然而，在某些情况下，两种类型的变焦之间的转换对用户来说比较明显并且刺耳。如这里使用的术语，“变焦”意味着改变(例如，增大或减小)光学放大率、和/或改变数字放大率，和/或改变图像的总放大率。“放大”意味着增大图像的光学放大率和/或数字放大率。“缩小”意味着降低图像的光学放大率和/或数字放大率。

在下面描述的一个实施例中，摄像机提供同时的数字变焦和光学变焦(例如，在应用另一种类型的变焦之前不会耗尽由一种类型的变焦引起的增大放大率的能力)。通过联合提供数字变焦和光学变焦两者，摄像机可以避免从光学变焦到数字变焦的突然转换。联合提供数字变焦和光学变焦两者可以使变焦更快，特别是与单独使用光学变焦相比。与仅使用光学变焦相比，联合提供数字变焦和光学变焦两者还可以保持更长的景深，这可以使摄像机更容易自动对焦。此外，在一个实施例中，联合提供数字变焦和光学变焦两者，摄像机还可以避免从数字变焦到光学变焦的突然转换(例如，当否则额外的数字变焦会降低图像质量时)。同时的数字变焦和光学变焦可以被称为“交错”数字和光学变焦或“联合”应用数字和光学变焦。

根据不同的图像捕获条件，摄像机使用不同数字和光学变焦比例。例如，在不良光照条件下，摄像机可以优先应用光学变焦以利用整个图像传感器并保持更高的光灵敏度。另一方面，在良好光照条件下，摄像机可以使数字变焦和/或放大优先于光学变焦。在另一个示例中，当景深浅时，基于对比度的自动对焦可能变得更加困难。在这种情况下，摄像机可以优先应用数字变焦和/或放大以保持更大的景深。例如，景深可以是光圈大小和光学变焦的放大率水平的倍数。

在一个实施例中，摄像机具有在增加光学变焦时减小光圈以减少穿过摄像机镜头周边的光量的可变光圈镜头。换句话说，这种类型的可变光圈镜头在增加光学变焦时减小光圈大小，以将入射光限制到摄像机镜头的中心从而保持图像质量(例如，镜头的中心可能具有比镜头边缘更少的缺陷)。因此，在一个实施例中，当使用这种类型的可变光圈摄像机时，在可能不期望减小光圈大小的情况下，摄像机可以使数字变焦和/或放大优先于光学变焦和/或放大。

图1示出了可以实施本文描述的实施例的示例性环境100。如图所示，环境100可以包括摄像机110-1和110-2(统称为摄像机110并且单独地称为摄像机110)、网络120和管理站130。

摄像机110可以包括例如使用可见光、红外光和/或其他非可见电磁辐射(例如，用于雷达成像的雷达)捕获图像数据的视频摄像机。捕获的图像数据可以包括连续图像序列(例如，视频)、有限图像序列、静止图像和/或其组合。摄像机110可以包括用于捕获并对图像进行数字化的数码摄像机。

网络120可以使环境100中的设备能够彼此通信。例如，摄像机110可以彼此通信并与管理站130通信。网络120可以包括一个或多个电路交换网络和/或分组交换网络。例如，网络120可以包括局域网(LAN)、广域网(WAN)、城域网(MAN)、公共交换电话网(PSTN)、自组织网络、无线网状网络、内联网、因特网、基于光纤的网络、无线网络和/或这些或其他类型的网络的组合。

管理站130可以包括被配置用于与摄像机110通信的任何计算设备。例如，管理站130可以包括个人计算机或工作站(例如，具有监视器、键盘、鼠标等)、服务器设备、膝上型计算机、平板电脑、便携式通信设备(例如，移动电话、智能手机和/或其他类型的无线设备)、服务器设备和/或具有计算和通信能力的任何类型的设备。

摄像机110通过网络120将数据发送到管理站130。例如，摄像机110可以将图像或视频进行流传输到管理站130以供人在显示器上查看。管理站130也可以通过网络120将数据发送到摄像机110。

虽然图1示出了环境100的示例性部件，但在其他实施方式中，与图1中描绘的相比，环境100可以包括更少的部件、不同的部件、不同布置的部件或附加的部件。例如，环境100可以包括许多摄像机110。附加地或替代地，任何一个设备(或任何设备组)可以执行被描述为由一个或多个其他设备执行的功能。

图2是示出一个实施例中的摄像机110的示例性部件的图。在其他实施例中，摄像机110可以实现为例如雷达或声纳。如图2所示，摄像机110可包括壳体202、快门204、镜头组件206、传感器阵列208、底盘210、致动器212和控制器214。

壳体202可以保护摄像机110的部件免受外部元件的影响。如图所示，壳体202容纳快门204、镜头组件206、传感器阵列208和底盘210。虽然未示出，但是根据实施方式，壳体202可以容纳附加部件。例如，在一个实施方式中，壳体202可包括致动器212和控制器214。

快门204提供供光到达镜头组件206和/或摄像机110的其他内部光学部件的开口。根据实施例，快门204可包括光阑(例如，快门)或其他类型的光学部件(例如，中灰密度镜)。在一个实施例中，快门204可以调节其开口的大小或快门打开的持续时间，以控制到达传感器阵列208并被传感器阵列208捕获的光量。尽管快门204被示出为位于镜头组件206的前面，但在一个实施方案中，快门204的每个部件可位于光路上适于调节到达传感器阵列208的光量的任何点处。

镜头组件206可包括用于操纵来自给定或选定方向和/或范围的光的设备，以使可以以期望的方式捕获在该方向和/或范围内的图像。镜头组件206可包括不同类型的透镜(例如，凸透镜、凹透镜、反射透镜等)。在一个实施例中，镜头组件206可包括一组用于执行光学变焦的放大镜头。穿过快门204和镜头组件206的光可以由镜头组件206进行光学放大。

传感器阵列208可以包括用于记录、感测和测量入射或落在传感器阵列208上的光的传感器的阵列。光可以在可见光谱、红外光谱或其他波长范围内。传感器阵列208可包括例如电荷耦合器件(CCD)阵列和/或有源像素阵列(例如，互补金属氧化物半导体(CMOS)传感器阵列)。

传感器阵列208输出指示(例如，描述性能或特性)入射在传感器阵列208上的光的数据。例如，从传感器阵列208输出的数据可包括诸如入射在传感器阵列208中的一个或多个像素上的光强(例如，亮度)、颜色等的信息。入射在传感器阵列208上的光可以是由镜头组件206对焦的光所形成的图像。传感器阵列208可以提供图片元件或“像素”。如本文所用，“像素”可以指传感器阵列208中进行光测量(例如，指示入射到传感器阵列208上的光的测量)的任何区域。像素可以对应于传感器阵列208中的一个或多个(或少于一个)传感器。传感器阵列208的像素可以与显示器的像素不同。

底盘210提供用于安装诸如快门204、镜头组件206和/或传感器阵列208的不同光学部件的结构。当底盘210改变其位置(即，坐标或定向)时，安装在底盘210上的所有部件也可以关于底盘轴的中心改变它们的位置和定向。

致动器212可包括基于来自控制器214的输入修改摄像机110的部件的物理配置的机电部件(例如，伺服电机)。在一个实施例中，致动器212可改变例如镜头组件206的放大率，通过重新定位透镜中的一个或多个来修改镜头组件206的像平面的位置，和/或改变快门204的开口的大小以允许更多或更少的光。在另一个示例中，基于来自控制器214的输入，致动器212可以改变底盘210的方向并因此改变镜头组件206的方向。

控制器214控制摄像机110的操作。例如，控制器214可以基于来自其他传感器(未示出)、传感器阵列208等的输入来控制传感器阵列208和致动器212的操作。例如，控制器214可以发送控制信号到致动器212以改变镜头组件206的方向、快门204的开口的大小等。

控制器214还可以提供摄像机110的其他功能，诸如向用户呈现图形用户界面(GUI)、应用数字信号处理(例如，降噪)、应用数字变焦、检索或存储图像、运行应用、通过网络与其他设备通信(例如，将图像上传到云端、发送/接收文本消息或电子邮件等)等。如上所述，在光照射到传感器阵列208上之前，可以光学地放大穿过镜头组件206的光。在一个实施例中，控制器214可以对由传感器阵列208接收的图像执行数字放大。

图2中所示的部件是示例性的。在其他实施方式中，与图2中的描绘相比，摄像机110可以包括更少的部件、不同的部件、不同地布置的部件或附加的部件。例如，摄像机110可以包括附加的传感器和/或检测器和光学部件(例如，滤镜)。附加地或替代地，摄像机110的一个或多个部件可以执行被描述为由摄像机110的一个或多个其他部件执行的功能。

图3是示出一个实施例中的计算设备300的示例性部件的框图。摄像机110中的控制器214和管理站130均可包括计算设备300。如图3所示，计算设备300可以包括总线302、处理器304、存储器306、存储设备308，输入部件308、输出部件310和通信接口312。

总线302包括实现计算设备300的部件之间的通信的路径。处理器304可以包括解译并执行指令的任何类型的单核处理器、多核处理器、微处理器，基于锁存器的处理器和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。在其他实施例中，处理器304可以包括专用集成电路(ASIC)、现场可编程门阵列(FPGA)和/或其他类型的集成电路或处理逻辑。处理器304可以包括硬件加速器，例如图形处理单元(GPU)。在一些实施例中，硬件加速器可以包括ASIC、FPGA、其他类型的集成电路、一个或多个专用集成电路(例如，具有硬连线数字和/或模拟电路)等。硬件加速器可以在与处理器304不同的芯片上实施或作为处理器304的一部分来实施。

存储器306可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器306可以包括随机存取存储器(RAM)或任何类型的动态存储设备、只读存储器(ROM)设备或任何类型的静态存储设备。

存储器306还可以或可替代地包括磁和/或光存储/记录介质。在一些实施例中，存储器306中的一些或全部可以安装在目录树下或者可以映射到驱动器。术语“介质”、“存储器”、“存储”、“存储设备”、“存储介质”和/或“存储单元”在本文中可以互换使用。例如，“计算机可读存储设备”或“计算机可读存储介质”可以指存储器和/或存储设备。

输入部件308可以使用户能够向计算设备300输入信息。输入部件308可以包括例如麦克风、触摸屏、语音识别和/或生物识别机制、红外传感器、触摸屏传感器、声学传感器等。输出部件310可以向用户输出信息。输出部件310可以包括例如显示器、扬声器等。

通信接口312可以包括使计算设备300能够与其他部件、设备和/或系统通信的发送器和/或接收器(例如，收发器)。通信接口312可以经由无线通信(例如，射频、红外等)、有线通信或其组合进行通信。通信接口312可以包括将基带信号转换为射频(RF)信号或者反之的收发器，并且可以耦合到天线。

通信接口312可以包括逻辑部件，其包括输入和/或输出端口、输入和/或输出系统和/或便于将数据传输到其他设备的其他输入和输出部件。例如，通信接口312可以包括用于有线通信的网络接口卡(例如，以太网卡)或用于无线通信的无线网络接口(例如，WiFi)卡。

计算设备300可以响应于处理器304执行存储在非暂时性计算机可读介质(诸如存储器306)中的软件指令而执行本文描述的操作。软件指令可以经由通信接口312从另一计算机可读介质或从另一设备读入存储器306。存储在存储器306中的软件指令当由处理器304执行时可以使处理器302执行本文描述的过程。例如，像摄像机110一样，由计算模块300运行的程序(其被示为图4中的功能部件)可以指示摄像机110执行并发的数字和光学变焦。

计算设备300可以包括有助于接收、发送和/或处理数据的其他部件(未示出)。此外，计算设备300中的部件的其他配置是可能的。在其他实施方式中，计算设备300可以包括比图3中描绘的更少的部件、不同的部件、附加的部件或不同地布置的部件。另外或替代地，计算设备300的一个或多个部件可以执行被描述为由计算设备300的一个或多个其他部件执行的一个或多个任务。

图4是示出摄像机110的示例性功能部件的框图。如图所示，摄像机110可以包括变焦应用402、交错变焦应用404、检测器406、摄像机接口408、操作系统410和数据库412。虽然部件402-412可以被实施为图4的示例中的软件，但在其他实施例中，部件402-412可以被实施为硬件或者硬件和软件的组合。

操作系统410可以包括用于管理摄像机110的硬件和软件资源的软件指令。例如，操作系统410可以包括Linux、Windows、OS X、Android、嵌入式操作系统等。操作系统410还可以提供某些网络服务、设备驱动程序、文件管理系统、内存管理、多处理能力等。

数据库412可以存储图像、用户偏好、设置、OS配置、摄像机配置等。在不同的实施例中，数据库412可以存储摄像机110以期望状态启动所需的信息。其他信息(例如，图像、视频、音频等)可以存储在云端和/或网络中，并且可以根据需要下载到摄像机110。

变焦应用402可以接收指定期望的放大和/或变焦的输入请求。变焦应用402可以经由检测器406和/或摄像机接口408获得摄像机信息或测量值，确定数字放大率和/或光学放大率，并经由摄像机接口408通过指令摄像机110来应用所确定的数字和/或光学放大率，以进行数字和/或光学放大或缩小。

在一些配置中，当变焦应用402接收到变焦请求(例如，改变放大率)时，变焦应用402可以联合应用数字变焦和光学变焦。数字变焦和光学变焦的联合应用意味着组合光学放大率和数字放大率的总放大率可以通过每种放大率的增量式应用来达到或获得(例如，变焦)，其中增量(例如，放大率的改变)可以取决于具体情况。例如，可以以交错的方式施加每个变焦以减少操作者可能感知的伪像。可以基于可在数学上描述或通过查找表离散地限定的曲线来确定每种类型的变焦的应用。例如，用于将光学放大率从1.0改变到2.0的曲线可以是总放大率的线性函数。用于改变光学放大率的曲线和用于改变数字放大率的曲线可以以用户看起来连续且平滑的方式联合(例如，同时或以交错的方式)应用。

数字变焦和光学变焦的联合应用还可以意味着在应用其他类型的变焦/放大之前不一定必须耗尽一种类型的变焦/放大。例如，在一种配置中，即使附加的光学变焦(光学放大)可用，摄像机110也可以进行数字变焦。因为其整体变焦增加，这种并发的光学和数字变焦可以允许摄像机110平滑地放大图像并对焦在图像上。在不同的配置中，如果光学变焦单独可以实现所请求的放大率，则摄像机110可以只进行光学变焦。然而，如上所述，随着摄像机110变焦，从光学变焦(例如，一旦光学放大率耗尽)到数字变焦(例如，以补充光学放大率)的转换可能导致可见的、不期望的显示伪像(即，不连续)，并可能阻碍对高质量图像的捕获的优化。此外，随着摄像机110光学地变焦到更远的对象，景深(DOF)减小，这在某些情况下会使自动对焦更加困难。在另一种配置中，即使摄像机110可以联合应用数字和光学变焦，摄像机110仍然会在耗尽数字变焦之后才应用光学变焦。在这种情况下，仍可能出现可见的不期望的显示伪像。

在一个实施例中，变焦应用402可以通过网络接收放大请求。附加地或替代地，变焦应用402可以经由一个或多个输入部件310接收该请求。根据实施例，该请求可以来自另一设备、程序、摄像机110的内部部件和/或用户。

在一个实施方式中，变焦应用402包括要变焦的期望视场和/或可选的变焦模式。在接收到对特定放大率的请求时，变焦应用402可以确定用于变焦的光学放大率值Z_o(或简称为“光学放大率Z_o”)和/或数字放大率值Z_d(或简称为“数字放大率Z_d”)。变焦应用402可以指示摄像机110通过摄像机接口408变焦到数字和/或光学放大率值Z_d和Z_o。

图5示出了示出用于应用402的用户界面502的示例性显示器500。管理设备130可以包括显示器500，并且用户界面502可以为操作者提供用于执行与摄像机110相关联的变焦相关功能的部件。如图所示，用户界面502可包括显示窗口504(例如，取景器)以显示摄像机110的视场。用户界面502还显示当前视场和不同的变焦模式。

在图5所示的实施例中，可以自动地或通过不同的输入机制指示显示窗口504内的期望变焦区域506(例如，要放大的视场)。例如，如果摄像机110在跟随一对象或者被设置为在特定时间或响应于一事件而观察特定区域，则摄像机110可以自动放大变焦区域506。可替代地，操作者可以使用鼠标、触摸屏(例如，两个手指)、鼠标滚轮、图形小部件(例如，箭头、滚动箭头等)来选择变焦区域506。在不同的实施例中，可以隐含期望的变焦区域。例如，可以按下特定键(例如，控制键)，同时旋转鼠标滚轮以进行变焦。在这样的实施例中，鼠标滚轮的每次增量式转动可以指定特定的放大水平。当鼠标滚轮转动时，变焦区域可以扩展以充满显示窗口504。

在图5的示例中，在确定了期望的变焦区域506之后，可以请求应用402进行变焦。在一个示例中，该请求可以是自动的。在另一个示例中，可以通过激活放大按钮508(例如，GUI部件)来进行该请求。在接收到该请求时，应用402可以放大期望的变焦区域506，这使得变焦区域506扩展并完全占据显示窗口504(如虚线所示)。根据实施方式，当执行变焦(例如，光学变焦)时，应用402可以重新定向摄像机110，以使当变焦区域506已经扩展到充满显示窗口504时，期望视场的中心成为显示窗口504的中心。

如图5所示，用户界面502还可以包括恢复按钮510。当要丢弃最终的变焦时，可以激活恢复按钮510，并且应用402将恢复到先前视图。为了实施该特征，应用402可以存储当前设置(例如，焦点、光圈大小、方向等)。然后，保存的设置可用于将摄像机恢复到变焦之前的状态。

在一些实施例中，摄像机110可以安装在具有许多移动对象的位置(例如，有汽车的街道)附近。对于这种情况，摄像机110可以指定并存储一个或多个运动区域。运动区域可以定义包括移动对象(例如，汽车)的区域。运动区域可以通过传感器确定(例如，通过检测区域中的移动对象来习得)或者可以由用户输入。当视场位于运动区域内时，自动对焦可能变得更加困难。在一个实施例中，当应用402放大运动区域内的视场(或放大其中运动区域会干扰自动对焦的视场)时，应用402可以使数字变焦和/或数字放大优先于光学变焦和/或光学放大。使数字变焦和/或数字放大优先于光学变焦和/或光学放大可以提供更大的景深，这使得自动对焦比其他方式更容易。

在一个实施例中，变焦应用402可以允许每个运动区域与特定时间段(例如，一天中的某个时间，一周中的某一天等)相关联，以考虑运动区域中的运动可能与时间有关的事实。例如，运动区域可能在一天中的某些时间期间显示很多流量，而在其他时间期间则不显示。

在一些实施例中，变焦应用402可包括用于基于过去用户指定的变焦和放大率以及摄像机状态进行学习的软件或硬件部件。如果摄像机110的当前状态类似于摄像机110的先前状态(例如，一天中的某个时间、光量等)，则当请求新的变焦时，变焦应用402可以尝试将当前的光学和数字放大/变焦匹配到之前的放大/变焦。

变焦模式520示出了当应用402放大期望的视场时应用402可以应用的不同类型的变焦。在所示的实施方式中，可用的模式包括：(1)仅光学变焦(OZ)、(2)仅数字变焦(DZ)、(3)等量的同时的光学变焦和数字变焦、(4)基于光照条件同时应用加权的光学变焦和数字变焦、以及(5)基于景深同时应用加权的光学变焦和数字变焦。当处于模式(2)或(3)时，应用402可以将光学放大率值Z_o或数字放大率值Z_d设置为期望的放大率。当处于模式(4)或(5)时，应用402可以请求交错变焦应用404确定光学放大率值Z_o和数字放大率值Z_d。其他模式也是可能的(例如，不同模式的组合)。

在一个实施例中，交错变焦应用404考虑光照条件和DOF两者(例如，模式(4)和(5)的组合)。在该实施例中，交错变焦应用404可以确定景深值和场景的亮度水平。进一步地，交错变焦应用404可以基于所确定的景深值和场景亮度水平，确定并应用适当量的光学变焦和数字变焦。

如图5所示，变焦模式520还可以包括帽模式(cap mode)522，当帽模式522激活时使得应用402在计算数字放大率值Z_d和/或光学放大率值Z_o时考虑传感器阵列208的分辨率。例如，在模式(4)或(5)中，当帽模式522被激活时，只要放大率不受传感器的分辨率约束(例如，放大会导致较低分辨率的图像)，应用402就可以请求交错变焦应用404使用数字变焦。如果是，则应用402可以请求交错变焦应用404限制数字放大率值Z_d。类似地，在模式(2)或(3)中，当按钮522被激活时，应用402可以限制数字放大率值Z_d的值。

如图5所示，管理站130可以包括显示器500，其显示由应用402生成的用户界面502。在不同的实施例中，与图5中示出的那些相比，应用402可以包括附加的、更少的、不同的部件或不同的部件布置。例如，应用402可以不显示变焦模式520。在这样的实施方式中，模式520可以通过菜单层级进行访问或自动设置。在另一个示例中，应用402可以包括包括更多选项的用户界面，其中选项诸如针对变焦的光照条件降低而进行自动调节(例如，降低快门速度)的选项。图5中提供的一些特征还可以通过网络获得或通过API可用于另一个部件。

回到图4，因为执行光学变焦可以减少入射在传感器阵列208上的光量(例如，在具有可变光圈镜头的摄像机中)，所以如果减少的曝光处于不期望的水平，则应用402可以通过调用由例如摄像机接口408提供的曝光控制功能来进行补偿以增加曝光(例如，通过降低快门速度)。

另外，当变焦应用402放大视场时，光学放大率和/或数字放大率改变的速率可以由不同的曲线表示，例如总放大率值的线性或非线性函数。在一个实施例中，变焦应用402可以显示组合的“变焦效果”以模拟单个变焦(即使它可以包括数字变焦和光学变焦两者)，使得变焦对用户来说是平滑的。在该实施例中，即使单独、离散地和/或以交替方式应用每种类型的变焦，变焦也可以看起来是平滑的。

变焦应用402可调用交错变焦应用404以计算数字放大率值Z_d和/或光学放大率值Z_o。交错变焦应用404接收期望的总放大率值Z_t并确定用于数字变焦的数字放大率值Z_d和/或用于光学变焦的光学放大率值Z_o。任何部件(例如，操作系统410、应用402、外部设备等)可以请求在给定总放大率值Z_t的情况下的数字放大率值Z_d和/或光学放大率值Z_o。为了确定数字放大率值Z_d和光学放大率值Z_o，交错变焦应用404可以使用来自传感器的测量值(例如，“参数值”)(例如，捕获的图像的强度I)和/或摄像机110的状态(例如，景深DOF)。为了获得这些参数值，交错变焦应用404可以使用硬件驱动程序(例如，用于传感器的驱动程序、用于测量相对镜头位置的驱动程序、用于测量摄像机位置的驱动程序等)。

交错变焦应用404可以将总放大率值Z_t定义和/或确定为光学放大率值Z_o和数字放大率值Z_d的乘积，其被表示为：

Z_t＝Z_o·Z_d (1)

也就是说，交错变焦应用404可以将总放大率值Z_t除以光学放大率值Z_o以计算数字放大率值Z_d。同样，交错变焦应用404可以将总放大率值Z_t除以数字放大率值Z_d，以计算光学放大率值Z_o。

在一个实施例中，交错变焦应用404可以从检测器406和/或摄像机接口408获得图像的光照条件(例如，强度I)、光圈大小设置(例如，光圈级数)和/或景深(DOF)。基于强度I和/或DOF，交错变焦应用404可确定光学放大率值Z_o和/或数字放大率值Z_d以实现期望的总放大率值Z_t。

在该实施例中，交错变焦应用404可以基于场景的光照条件确定光学放大率Z_o和数字放大率Z_d。在一个实施方式中，交错变焦应用404包括强度I(n)的离散函数Z_d(n)，其被存储为阵列或表格，其中“n”作为该阵列或表格的索引。因此，当测量的强度I落在I(n)和I(n+1)之间时，交错变焦应用404可以查找数字变焦最佳Z_d(n)。也就是说，交错变焦应用404可以确定数字放大率Z_d，使得：

当I(n)<I<I(n+1)时，对于所标记的n，Z_d＝Z_d(n) (2)

在给定所请求的总放大率Z_t和来自表格的数字放大率Z_d的情况下，可以基于表达式(1)确定光学放大率值Z_o。在不同的实施方式中，交错变焦应用404可以基于表达数学公式的逻辑而不是通过按照表达式(2)查找值来确定数字放大率值Z_d。

在某些情况下，传感器阵列208在低光照条件(例如，捕获的图像的低强度I)下或当捕获的图像饱和(例如，捕获对比度的能力差)时可能表现不佳。为了补偿这种灵敏度的缺乏，在一个实施例中，交错变焦应用404可以使光学放大(和/或光学变焦)优先于数字放大(和/或数字变焦)，以最大化传感器阵列208的性能。在给定低光照条件的情况下，例如，交错变焦应用404可以确定数字放大率值Z_d小于Z_t ^1/2(例如，总放大率值Z_t的平方根)。例如，如果期望的总放大率Z_t是2，则对于特定的低光强，可以确定数字放大率值Z_d小于2的平方根(Z_d<2^1/2≈1.414)。

相反，在良好的光照条件下，对于期望的总放大率Z_t，交错变焦应用404可以使数字放大(和/或数字变焦)优先于光学放大(和/或光学变焦)。例如，交错变焦应用404可以确定数字放大率值Z_d大于Z_t ¹/₂(例如，大于总放大率值Z_t的平方根)。

在另一个实施例中，交错变焦应用404可以基于摄像机110自动对焦到特定对象的能力来确定光学放大率Z_o和数字放大率Z_d的水平。在特定的放大率水平下，自动对焦可受到镜头组件206的DOF的影响。在一个实施例中，交错变焦应用404包括域DOF(m)的离散函数Z_d(m)，其被存储为阵列或表格，其中“m”作为该阵列或表格的索引。在该实施例中，当测量/计算的DOF落在DOF(m)和DOF(m+1)之间时，交错变焦应用404可以查找数字放大率Z_d(m)。也就是说，交错变焦可以确定数字放大率Z_d，使得：

当DOF(m)<DOF<DOF(m+1)时，对于所标记的m，Z_d＝Z_d(m) (3)

在给定期望的总放大率Z_t和来自表格的数字放大率Z_d的情况下，可以基于表达式(1)确定光学放大率Z_o。在不同的实施方式中，交错变焦应用404可以基于表达数学公式的逻辑而不是根据表达式(3)查找值来确定数字放大率Z_d。

在一个实施例中，自动对焦对于较小的或浅的DOF可能不太有效。在这种情况下，交错变焦应用404可以使数字变焦和/或放大优先于光学变焦和/或放大。通过使数字变焦和/或数字放大优先于光学变焦和/或光学放大，可以保持DOF(例如，不使其变得更浅)，以便不进一步降低自动对焦能力。例如，对于小的DOF，交错变焦应用404可以确定和/或选择数字放大率值Z_d大于Z_t ^1/2(例如，大于总放大率值Z_t的平方根)。相反，对于大的DOF，交错变焦应用404可以使光学变焦和/或光学放大优先于数字变焦和/或数字放大。

在另一个实施例中，在交错变焦应用404确定数字放大率Z_d和光学放大率Z_o之后，交错变焦应用404可以基于数字放大的图像的质量重新调节放大率值Z_d和Z_o。例如，假设对于一图像，传感器阵列208可以捕获比显示该图像的显示区域(例如，视口或显示屏幕)更多的像素(或者比由管理站130请求的来自摄像机110的视频流的分辨率更大)。在这种情况下，交错变焦应用404可以使数字变焦和/或数字放大优先于光学变焦和/或放大。例如，交错变焦应用404可以对给定区域执行数字变焦(例如，仅执行数字变焦)，直到数字放大区域的像素数与显示区域的分辨率匹配。

假设传感器阵列208的分辨率是M个像素宽，并且显示器的分辨率是N个像素宽。如果摄像机110将数字放大率Z_d应用于传感器阵列208上的图像，则传感器阵列208上对变焦后图像作出贡献的像素数变为M/Z_d，而显示区域(例如，分配给当前视场)的像素数保持不变。也就是说，放大使得传感器阵列208的有效像素数减少到M/Z_d。然而，只要显示区域的像素数小于传感器阵列208中用于图像的有效像素数(Z_d<M/N)，该减少的像素数可能就不会在显示区域上显现。

因此，在该实施例中，交错变焦应用404可以增加数字变焦直到M/Z_d达到N。如果交错变焦应用404要进一步增大数字放大率Z_d，则变焦后图像的分辨率将小于显示区域的分辨率。换句话说，本实施例中的数字放大率Z_d不超过M/N，否则将存在显示图像分辨率的损失。

在一个实施例中，交错变焦应用404使得上限或最大值与数字变焦相关联(例如，最大值M/N)。因此，在如以上所述计算光学放大率值Z_o和数字放大率值Z_d之后，交错变焦应用404可以重置或确定数字放大率值Z_d，使得：

Z_d＝min(Z_d,M/N) (4)

可以基于(4)和表达式(1)的结果重新计算光学放大率值Z_o。

在上文中，尽管由表达式(2)和(3)指定的函数是以Z_d给出的，但是交错变焦应用404也可能包括以Z_o定义的函数。在这些实施例中，交错变焦应用404可以在确定Z_d之前确定Z_o。

在一些实施例中，当自动对焦困难时，交错变焦应用404可以使数字变焦和/或放大优先于光学变焦和/或放大。例如，当视场包括明亮光源(例如，汽车前灯)时，当传感器阵列208饱和时，等等，自动对焦可能是困难的。在另一个示例中，当期望的视场位于运动区域内时，自动对焦可能是困难的。

参见图4，检测器406检测与图像相关联的参数，诸如照明(或曝光)、焦距、有效光圈大小、摄像机110的定向等。当检测器406接收到对这些参数值之一的请求时，检测器406可以从硬件、软件、现有图像等获得该值，并将该值提供给发出请求的部件。例如，交错变焦应用404可以向检测器406请求图像的平均光强的值。然后作为响应，检测器406可以计算图像的亮度(例如，基于其像素值)并将结果值提供给交错变焦应用404。

在另一个示例中，交错变焦应用404可以请求检测器406提供镜头组件206的焦距、DOF和/或摄像机光圈大小。检测器406可以从镜头组件206获得相对镜头位置(例如，经由摄像机接口408)，并且基于该位置和镜头参数，确定焦距、DOF和光圈大小。交错变焦应用404可以使用这些从检测器406返回的值。

摄像机接口408可以包括用于摄像机110的硬件部件的设备驱动程序。诸如检测器406和交错变焦应用404之类的其他部件可以调用摄像机接口408以获得测量值(例如，镜头位置、摄像机110定向、亮度值等)并控制摄像机110的各种部件。例如，交错变焦应用404和/或变焦应用402可以使用摄像机接口408通过驱动致动器212(基于测量/计算的摄像机方向)设置摄像机110的方向，通过打开快门204来改变摄像机光圈大小，应用光学放大，应用数字放大等。

与图4中所示的那些相比，摄像机110可以包括附加的、更少的、不同的部件或不同地布置的部件。例如，摄像机110可以包括用于对视频进行记录、编码、编辑和/或转码的软件应用以及音频程序、附加通信程序(例如，电子邮件程序)等。另外，被描述为由摄像机110的部件之一执行的功能可以由另一个部件执行。

图6是与应用数字和光学变焦相关联的示例性过程600的流程图。在一个实施例中，摄像机110可以执行过程600。在其他实施例中，管理站130可以执行过程600的某些框。

过程600可以包括接收变焦偏好(框602)。例如，应用402可以启动并允许另一个部件、设备或用户选择不同类型的变焦。例如，应用402可以向用户(通过网络经由浏览器)呈现会使应用402同时应用光学变焦和数字变焦两者的变焦选项。在接收到所选择的偏好时，摄像机110可以在本地或在另一个位置(例如，云端、网络存储设备、管理站130等)保存所接收的偏好。

过程600还可以包括接收和/或捕获一个或多个图像(框604)和/或显示所捕获的图像(框606)。例如，摄像机110可以从传感器阵列208接收一系列视频帧。在一个实施例中，应用402可以在显示器上显示所捕获的图像。在一个实施例中，管理站130可以从摄像机110接收视频流以便在显示器上显示。

过程600可以进一步包括接收期望的视场和/或总放大率值Z_T(框608)。在一个实施例中，摄像机110可以在显示窗口504内接收期望视场506并计算总放大率值Z_T。可替代地，用户可以通过滚动按钮、鼠标滚轮、操纵杆等指示期望的视场，以便以增量式指定期望的变焦水平。在应用402接收API调用的实施例中，界面可以提供指定变焦水平(例如，110％)和/或指定期望视场的位置的选项。例如当期望的视场或放大率值基于规则(诸如跟随一对象、一天中的某个时间等)时，应用402可以接收API调用。在另一个实施例中，可以接收总放大率值Z_t(框608)而不对视场进行任何改变。例如，如果光照条件改变，则交错变焦应用404可以改变光学放大率值Z_o，并且即使总放大率值Z_t没有改变，数字放大率值Z_d也可以改变。

过程600可以包括接收确定变焦值的请求(框610)，诸如对期望视场进行变焦的请求的一部分。例如，用户可以激活经由用户界面500提供的放大按钮508。可替代地，当用户点击观看窗口的滚动箭头或旋转鼠标滚轮时，摄像机110可确定用户已请求了特定变焦水平。作为另一个示例，摄像机110可响应于规则(例如，运动)而变焦到期望的视场。作为又一个示例，交错变焦应用404可以确定光照条件已经改变并且应该确定新的变焦值(例如，增大或减小景深)。例如，如果交错变焦应用404确定光照条件已经改善，则交错变焦应用404可以增大数字放大率值Z_d并减小光学放大率值Z_o(例如，同时保持总放大率值Z_t相同)。或者，如果交错变焦应用404确定光照条件已恶化，则交错变焦应用404可减少数字变焦并增加光学变焦(例如，同时保持总放大率值Z_t相同)。

过程600可以进一步包括进行传感器测量并基于测量值获得与捕获的图像/期望的变焦相关的参数值(框612)。例如，摄像机110可以获得捕获的图像的像素值；并获得镜头组件的焦距(例如，通过摄像机接口408)。基于测量值和所捕获的图像，摄像机110可以确定例如诸如图像的亮度、焦距、摄像机光圈大小和DOF之类的参数。

过程600可以包括确定光学放大率值和/或数字放大率值(框614)。如果已经指定了光学变焦和数字变焦的混合(例如，基于捕获的图像的焦点或光照条件对光学变焦和数字变焦进行加权的选项)，则摄像机110可以以上面针对交错变焦应用404所描述的方式确定光学放大率值Z_o和/或数字放大率值Z_d。放大率值Z_o和Z_d可以基于在框612中确定的传感器测量值。该计算可以依赖于用户是否选择限制数字变焦以避免在变焦超过传感器阵列分辨率与显示器分辨率的比率时可能的图像劣化。

如果用户仅指定使用数字变焦或仅使用光学变焦，则摄像机110可基于显示区域的大小与所选变焦区域或视场的大小之间的比率(或基于从摄像机110到管理设备130的视频流的分辨率)来确定数字放大率值Z_d和/或光学放大率值Z_o。

过程600可以包括确定光学变焦曲线和数字变焦曲线，并应用变焦(框616)。曲线可以定义每个变焦值如何随着总变焦值和每种类型的变焦被应用的顺序而改变。这样，摄像机110的当前放大水平以及放大水平Z_d和Z_o形成变焦曲线的一部分(例如，起点和终点)。例如，依赖于从框614接收的参数和在框614中请求的总变焦(Z_T)的水平，可以以交错的方式增量式应用每种类型的变焦。在一个实施例中，应用每种类型的变焦以产生平滑的组合变焦。在另一个实施例中，光学变焦或数字变焦可以全面地并以顺序方式应用。例如，摄像机110可以进行光学变焦直到达到光学放大率的全值，然后进行数字变焦直到达到数字变焦的全值，从而达到总变焦。一旦选择了曲线，每种类型的变焦的值就可以作为总变焦的函数而生成。如框602所示，用户可能已指定要应用的不同类型的变焦。

摄像机110可以基于所确定的放大率值Z_o和Z_d仅应用数字变焦、仅应用光学变焦或应用光学变焦和数字变焦的混合。例如，基于放大率值Z_o和Z_d，应用402可以使用摄像机接口408来驱动光学变焦和数字变焦。应用光学变焦可以包括经由致动器212改变摄像机110的定向以及设置镜头组件206的光学变焦。在一个实施例中，摄像机可以基于用户偏好应用数字变焦和/或光学变焦。

为了应用数字变焦，摄像机110可以在应用光学变焦之后获取在传感器阵列110处捕获的图像，并且将图像剪裁到期望的数字变焦放大率。

过程600可以包括调节捕获的图像的曝光(框618)。例如，应用变焦可能已经改变期望的图像照明水平。为了补偿，摄像机110可以基于捕获的图像的亮度、光学变焦的放大率或焦距来调节快门204。

本说明书已经公开了用于同时应用数字变焦和光学变焦的设备的各种实施例。通过同时提供两种类型的变焦，设备避免必须从一种类型的变焦转换到另一种类型的变焦。取决于图像捕获条件，摄像机110优先应用数字变焦和/或放大或者光学变焦和/或放大。

显而易见的是，本文描述的各个方面可以以很多与图中所示的实施方式中的软件、固件和硬件不同的形式来实施。用于实施各方面的实际软件代码或专用控制硬件不应被解释为限制。因此，在不参考特定软件代码的情况下描述了各方面的操作和行为—应理解，软件和控制硬件可以被设计为基于本文描述实施各方面。

除非明确地如此描述，否则本申请中使用的元件、动作或指令不应被解释为对本发明是关键或必要的。而且，如本文所使用的，冠词“一”旨在包括一个或多个项目。在仅指一个项目的情况下，使用术语“一个”或类似语言。此外，除非另有明确说明，否则短语“基于”旨在表示“至少部分地基于”。

应当强调，当在本说明书中使用时，术语“包括/包含”用于指明所述特征、整数、步骤或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、部件或其组。

此外，本发明的某些部分已被描述为执行一个或多个功能的“逻辑”。该逻辑可以包括诸如处理器、专用集成电路或现场可编程门阵列的硬件、软件或硬件和软件的组合。

Claims (15)

1.一种方法，包括：

在摄像机的传感器阵列处捕获图像；

确定视场；

获得与所捕获的图像相关联的参数值；

基于所述参数值和所述视场获得指示数字放大的数字变焦曲线和指示光学放大的光学变焦曲线；以及

针对所确定的视场，对在所述传感器阵列处捕获的所述图像联合应用所述数字变焦曲线和所述光学变焦曲线。

2.根据权利要求1所述的方法，其中，所述参数值包括光强测量值；并且

其中，基于所述光强测量值，所述光学放大优先于所述数字放大。

3.根据权利要求1所述的方法，其中，所述参数值包括景深值；并且

其中，基于所述景深值，所述数字放大优先于所述光学放大。

4.根据权利要求1所述的方法，其中，所述参数值包括传感器分辨率和用于显示的分辨率，并且

其中所述数字变焦曲线基于所述传感器分辨率和所述用于显示的分辨率。

5.根据权利要求1所述的方法，其中，所述参数值包括被定义为包括运动的区域，

其中，当所述视场位于所述被定义为包括运动的区域内时，所述数字放大优先于所述光学放大。

6.根据权利要求5所述的方法，其中，所述被定义为包括运动的区域与时间段相关联。

7.根据权利要求1所述的方法，进一步包括：

调节与所述视场相关联的曝光。

8.根据权利要求7所述的方法，其中调节与所述视场相关联的曝光包括：改变快门速度或光圈。

9.根据权利要求1所述的方法，进一步包括：

在应用所述数字变焦曲线和所述光学变焦曲线之前接收重置所述数字放大和所述光学放大的用户输入。

10.根据权利要求1所述的方法，其中，联合应用所述数字变焦曲线和所述光学变焦曲线包括：

改变所述摄像机的定向。

11.一种设备，包括：

镜头组件，用于对焦图像或进行光学变焦；

传感器阵列，用于捕获从所述镜头组件输出的图像；

存储器，用于存储指令；以及

处理器，用于执行所述指令以：

使所述传感器阵列捕获图像；

确定视场；

获得与所捕获的图像相关联的参数值；

基于所述参数值和所述视场，获得指示数字放大的数字变焦曲线和指示光学放大的光学变焦曲线；并且

针对所确定的视场，对所捕获的图像联合应用所述数字变焦曲线和所述光学变焦曲线。

12.根据权利要求11所述的设备，其中，所述参数值包括光强测量值；并且

其中所述处理器用于执行所述指令以基于所述光强测量值使所述光学放大优先于所述数字放大。

13.根据权利要求11所述的设备，其中，所述参数值包括景深测量值；并且

其中所述处理器用于执行所述指令以基于所述景深测量值使所述数字放大优先于所述光学放大。

14.根据权利要求11所述的设备，其中，所述参数值包括传感器分辨率和用于显示的分辨率，并且

其中所述数字变焦曲线基于所述传感器分辨率和所述用于显示的分辨率。

15.根据权利要求11所述的设备，其中，所述参数值包括被定义为包括运动的区域，

其中，所述处理器用于执行所述指令以当所述视场位于所述被定义为包括运动的区域内时，使数字放大优先于所述光学放大。