CN105765967B - 使用第二相机来调节第一相机的设置的方法、系统和介质 - Google Patents
使用第二相机来调节第一相机的设置的方法、系统和介质 Download PDFInfo
- Publication number
- CN105765967B CN105765967B CN201480065311.4A CN201480065311A CN105765967B CN 105765967 B CN105765967 B CN 105765967B CN 201480065311 A CN201480065311 A CN 201480065311A CN 105765967 B CN105765967 B CN 105765967B
- Authority
- CN
- China
- Prior art keywords
- image
- image capture
- camera
- setting
- tet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
Abstract
通常,成像可以指以数字格式和/或胶片格式(例如,以照片和/或运动视频)来捕获和表现真实世界环境的色彩和亮度特性。存在大量不同的图像捕获设备,因此为消费者提供了用于捕获图像数据的多种方式。随着诸如相机的图像捕获设备变得更加普及,这样的设备可以被用作单独的硬件设备,或者可以被集成到各种其他类型的设备中。例如,静态相机和视频相机现在常规地被包括在无线通信设备(例如,移动电话)、平板式计算机、膝上型计算机、视频游戏接口、家用自动化设备以及甚至汽车和其他类型的车辆中。
Description
技术领域
通常,成像可以指以数字格式和/或胶片格式(例如,以照片和/或运动视频)来捕获和表现真实世界环境的色彩和亮度特性。存在有大量不同的图像捕获设备,因此为消费者提供了用于捕获图像数据的多种方式。
背景技术
随着诸如相机的图像捕获设备变得更加普及,这样的设备可以被用作单独的硬件设备,或者可以被集成到各种其他类型的设备中。例如,静态相机和视频相机现在常规地被包括在无线通信设备(例如,移动电话)、平板式计算机、膝上型计算机、视频游戏接口、家用自动化设备以及甚至汽车和其他类型的车辆中。
发明内容
一些数字相机系统不包括用于诸如自动曝光和自动对焦的自动化功能的单独的传感器系统,并且因此使用被用于图像捕获的同一传感器系统来提供这样的功能。因此,这样的自动化功能可以导致例如曝光设置快速地改变的部分和/或视频失焦的视频部分。因此,示例实施例可以包括被定向在相同的方向上的两个或更多个相机系统,使得在第一相机正在捕获图像数据的同时第二相机可以提供这样的自动化功能。这样的多相机配置可以帮助防止在设备同时地使用同一图像传感器用于图像捕获和自动化图像设置调节处理时生成的不期望的效果中的一些。
在一个方面中,方法涉及:(a)通过计算设备来操作第一图像捕获系统以捕获场景的第一图像数据,其中,第一图像捕获系统初始地使用用于第一图像设置的第一值来捕获第一图像数据;以及(b)当第一图像捕获系统正在捕获第一图像数据时:(i)通过计算设备来操作第二图像捕获系统以确定用于第一图像设置的更新后的值,其中,第一图像捕获系统和第二图像捕获系统被布置在给定设备上并且被定向在基本上相同的方向上;以及(ii)将指示使用用于第一图像设置的更新后的值来继续捕获第一图像数据的指令发送到第一图像捕获系统。
在另一个方面中,系统包括:控制系统;以及两个或更多个图像捕获系统,至少包括第一图像捕获系统和第二图像捕获系统,其中,第一图像捕获系统和第二图像捕获系统被定向在基本上相同的方向中。控制系统被配置为:(a)初始地操作第一图像捕获系统以使用用于第一图像设置的第一值来捕获第一图像数据;以及(b)在第一图像捕获系统正在捕获第一图像数据的同时:(i)操作第二图像捕获系统以确定用于第一图像设置的更新后的值;以及(ii)使得第一图像捕获系统使用用于第一图像设置的更新后的图像值来继续捕获第一图像数据。
在另一个方面中,非暂态计算机可读介质在其中存储有指令,该指令通过计算设备可执行以使得计算设备执行功能,该功能包括:(a)操作第一图像捕获系统以捕获场景的第一图像数据,其中,第一图像捕获系统初始地使用用于第一图像设置的第一值以捕获第一图像数据;以及(b)在第一图像捕获系统正在捕获第一图像数据的同时:(i)操作第二图像捕获系统以确定用于第一图像设置的更新后的值,其中,第一图像捕获系统和第二图像捕获系统被布置在给定设备上并且被定向在基本上相同的方向上;以及(ii)将指示使用用于第一图像设置的更新后的值来继续捕获第一图像数据的指令发送到第一图像捕获系统。
在又一个方面中,系统可以包括:(a)用于操作第一图像捕获系统以捕获场景的第一图像数据的装置,其中,第一图像捕获系统初始地使用用于第一图像设置的第一值来捕获第一图像数据;以及(b)用于在第一图像捕获系统正在捕获第一图像数据的同时进行下述的装置:(i)操作第二图像捕获系统以确定用于第一图像设置的更新后的值,其中,第一图像捕获系统和第二图像捕获系统被布置在给定设备上并且被定向在基本上相同的方向上;以及(ii)将指示使用用于第一图像设置的更新后的值来继续捕获第一图像数据的指令发送到第一图像捕获系统。
通过适当地参考附图来阅读下面详细的说明书,这些以及其他方面、优点和替选对于本领域普通技术人员将变得明显。此外,应当理解,在此发明内容部分和在此文档的其他部分中所提供的描述旨在通过示例的方式而不是通过限制的方式来示出所要求保护的主题。
附图说明
图1A描绘了根据示例实施例的数字相机设备的正视图、右侧视图和后视图。
图1B示出了根据示例实施例的、具有被定向为在相同的方向上的四个相机的布置的数字相机设备。
图1C示出了根据示例实施例的、具有被定向为在相同的方向上的四个相机的布置的另一个数字相机设备。
图1D示出了根据示例实施例的、具有被定向为在相同的方向上的六个相机的布置的数字相机设备
图2是示出了示例计算设备的一些组件的简化框图。
图3描绘了根据示例实施例的流程图。
图4A描绘了根据示例实施例来从一个或更多个捕获的图像创建直方图。
图4B描绘了根据示例实施例来训练图像数据库。
图5描绘了根据示例实施例的用于捕获图像的有效载荷突发(burst)结构。
图6描绘了根据示例实施例的流程图。
图7描绘了根据示例实施例的另一个流程图。
图8A描绘了根据示例实施例的分裂paxel下采样。
图8B也描绘了根据示例实施例的分裂paxel下采样。
图8C描绘了根据示例实施例来从一个或更多个捕获的图像创建直方图。
图9描绘了根据示例实施例的又一个流程图。
图10A至图10C描绘了根据示例实施例的额外的流程图。
具体实施方式
I.概述
诸如高端DSLR相机的一些数字相机包括提供诸如自动对焦、自动曝光以及自动白平衡的自动化功能的单独的专用组件。这些组件例如可以调节对焦和/或曝光,而对由相机的传感器所捕获的图像数据(例如,视频)不具有可察觉的影响。例如,许多SLR相机利用通过镜头(through-the-lens)光学AF传感器用于自动对焦,以及利用单独的传感器阵列用于光测定。
诸如经常被用于移动电话和平板式设备中的较不昂贵的相机的其他数字相机系统不包括用于这样的自动化功能的单独的组件。因此,这样的相机系统可以迭代地调节设置并且分析生成的图像数据以执行自动对焦和其他自动化功能。这种类型的自动化功能通常可以被称为“实验和调节(experiment and adjust)”功能。作为示例,在移动电话相机中,自动对焦可以涉及相机反复地调节对焦设置、捕获图像数据以及分析捕获的图像数据,直到期望的对象被确定为聚焦为止。该特定类型的迭代实验和调节功能可以被称为“对焦搜寻(hunting)”。
当在记录视频的同时用户移动了移动电话相机时,到相机的视场中的(一个或多个)对象的(一个或多个)距离可能改变,并且对焦搜寻可能发生。虽然对焦搜寻可以相当快速地执行,但是在对焦搜寻期间所记录的视频的片段可能可察觉地失焦。因此,示例实施例可以帮助提供在在移动电话和其他这样的应用中可以使用的自动对焦和/或其他自动化调节功能,而不具有对焦搜寻的缺点。
具体地,示例设备可以包括被定向在相同方向上的两个或更多个相机系统。这样地被配置的相机系统中的一个或更多个可以执行一个或更多个自动化实验和调节处理,以确定用于正被用于捕获图像数据的另一个相机系统的一个或更多个图像捕获设置。这可以防止当设备同时地使用同一图像传感器用于图像捕获和自动化实验和调节功能时可能导致的一些不期望的影响。此外,使用用于实验和调节处理的单独的相机系统可以改进这样的处理的结果,因为实验不受采用同一图像传感器来捕获图像数据的需要所约束。
例如,考虑到包括两个相机系统的移动电话的情况,该情况对于立体成像的目的变为更加普通。如果移动电话不使用两个相机用于立体成像,则移动电话可以采用第一相机来记录视频,而同时使用第二相机用于自动对焦。这样,基于采用第二相机正在执行的自动对焦处理的结果,在记录中第一相机的对焦设置可以被调节。此外,因为关于对焦搜寻对于生成的视频的影响不存在担忧,所以与另外地可能被测试的设置相比,第二相机系统可以测试更宽范围的设置和/或测试更大数量的设置。这些扩展的测试能力可以改进通过自动对焦处理所实现的结果。
这里,“相机系统”可以采取下述形式:相机、相机内的系统、可通信地耦接到相机的单独的系统、或者相机与一个或更多个其他系统的组合。此外,为了简明,这里所描述的示例可以向“相机”或“相机设备”赋予特定的功能和/或特性。应当理解,在很多情况中,被赋予相机或相机设备的功能和/或特性可以同样地被赋予相机系统,甚至当这未被明确地陈述时也如此。
II.示意性的系统
图像捕获设备的物理组件可以包括:光通过其进入的光圈;用于捕获由光所表示的图像的记录表面;以及被定位在光圈前面以将图像的至少一部分对焦在记录表面上的镜头。光圈可以是固定的大小或者可调节。在模拟相机中,记录表面可以是摄影胶片。在数字相机中,记录表面可以包括电子图像传感器(例如,电耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)以将所捕获的图像传递和/或存储在数据存储单元(例如,存储器)中。
快门可以耦接到镜头或记录表面,或者可以耦接在镜头或记录表面附近。快门可以处于关闭位置,在该位置中其阻挡光到达记录表面;或处于打开位置,在该位置中光被允许到达记录表面。快门的位置可以由快门按钮控制。例如,快门可以默认地处于关闭位置。当快门按钮被触发(例如,被按下)时,快门可以从关闭位置改变到打开位置达被称为快门周期的一时间段。在快门周期期间,图像可以被捕获在记录表面上。在快门周期结束时,快门可以改变回到关闭位置。
可替换地,快门处理可以是电子的。例如,在CCD图像传感器的电子快门“打开”之前,传感器可以被重置以去除在其光电二极管中的任何残留信号。当电子快门保持打开时,光电二极管可以积累电荷。当快门关闭时或当快门关闭之后,这些电荷可以被转移到长期数据存储装置。机械快门和电子快门的组合也是可能的。
与类型无关,快门可以通过快门按钮之外的一些来激活和/或控制。例如,快门可以通过软键、定时器或一些其他触发器来激活。这里,术语“图像捕获”可以指导致一个或多个照片被记录的任何机械和/或电子快门处理,而与如何触发或控制快门处理无关。
A.具有多图像捕获系统的设备
如之前所注意到地,数字相机可以是单独的设备或者可以与其他设备集成。作为示例,图1A示出了数字相机设备100的正面要素(factor)。数字相机设备100可以是例如移动电话、平板式计算机或可穿戴计算设备。然而,其他实施例是可能的。数字相机设备100可以包括各种元件,诸如主体102、前置相机104、多元显示器106、快门按钮108以及其他按钮110。数字相机设备100可以进一步包括两个后置相机112A和112B。前置相机104可以被定位在主体102在操作中时通常面对用户的一侧上,或被定位在与多元显示器106的相同侧上。后置相机112A和112B可以被定位在主体102的与前置相机104相对的一侧上。将相机称为前置的或后置的是任意的,并且数字相机设备100可以包括被定位在主体102的各侧上的多个相机。
后置相机112A和112B的镜头被布置在数字相机设备100的背面的上角上,并且被定向在基本上相同的方向上。然而,应当理解,其他多相机布置是可能的。具体地,均被定向在基本上相同的方向上的两个或更多个相机的镜头可以被布置在电话的表面上的不同的构成中。例如,这里关于图1B至图1D描述了若干其他多相机布置。
具体地,图1B示出了具有被定向在相同的方向上的四个相机122A至122D的布置的移动设备120,四个相机122A至122D包括在移动设备的上角上的两个相机122A和122B(类似于图1A),和位于移动设备120的下角处的两个额外的相机122C和122D。此外,图1C示出了具有被定向在相同方向上的四个相机的另一个布置。具体地,图1C中的布置包括在设备140的每个角中的一个相机144A至144D。
又进一步地,图1D示出了具有面向相同的方向的六个相机166A至166F的布置。在图1D中,六个相机166A至166F以较不结构化的“组织(organic)”布置被放置在移动设备160的背面上。注意,具有三个或更多个相机的布置可以在不同的相机对之间提供多个基线。例如,诸如图1D中所示的六相机布置可以例如针对立体成像来提供高达15个不同的基线。更一般地,被定向在基本上相同的方向上的n个相机的布置可以提供高达C(n,k)个基线。
此外设想到,多相机布置可以包括比两个更多的相机。另外,多相机布置中的镜头可以关于在其上布置有镜头的表面以不同的角度被定向。又进一步地,应当理解,多相机布置可以被实施在数字相机设备的其他侧上。关于在附图中所示的多相机布置的其他变型也是可能的。
多元显示器106可以代表阴极射线管(CRT)显示器、发光二极管(LED)显示器、液晶显示器(LCD)、等离子体显示器或本领域中已知的任何其他类型的显示器。在一些实施例中,多元显示器106可以显示由前置相机104和/或后置相机112A和112B中的一个或两个正在捕获的当前图像、或者由这些相机中的任何一个或任何组合能够捕获的或最近捕获的图像的数字表示。因此,多元显示器106可以用作任一相机的取景器。多元显示器106还可以支持触摸屏幕和/或压敏功能,其可能能够调节数字相机设备100的任何方面的设置和/或配置。
前置相机104可以包括图像传感器和诸如镜头的相关联的光学元件。前置相机104可以提供变焦能力或可以具有固定的焦距。在其他实施例中,可互换的镜头可以与前置相机104一起使用。前置相机104可以具有可变机械光圈以及机械和/或电子快门。前置相机104还可以被配置为捕获静态图像、视频图像或两者。此外,前置相机104可以代表单视点的、立体的或多视点的相机。后置相机112A和112B可以相似地或不同地被布置。额外地,前置相机104、后置相机112A和112B或这些相机的任何组合可以实际上是一个或多个相机的阵列(或将光引导到通用图像传感器上的镜头的阵列)。
前置相机104和后置相机112A和112B中的任何一个或任何组合可以包括照明组件或与照明组件相关联,该照明组件提供光场以照亮目标物体。例如,照明组件可以提供对目标物体的闪光或恒定照明。照明组件还可以被配置为提供包括结构光、偏振光以及具有特定光谱含量的光中的一个或多个的光场。在这里的实施例的上下文中,已知的并且被用于恢复来自物体的三维(3D)模型的其他类型的光场是可能的。
前置相机104和后置相机112A和112B中的任何一个或任何组合可以包括环境光传感器或与环境光传感器相关联,该环境光传感器可以连续地或者间或地确定相机可以捕获的场景的环境亮度。在一些设备中,环境光传感器可以被用于调节与相机相关联的显示器(例如,取景器)的显示亮度。当所确定的环境光亮度高时,屏幕的亮度等级可以被增加以使得屏幕更容易查看。当所确定的环境光亮度低时,屏幕的亮度等级可以被降低,同样以使得屏幕更容易查看以及潜在地节省电力。额外地,环境光传感器的输入可以被用于确定相关联的相机的曝光设置,或在此确定中有帮助。
数字相机设备100可以被配置为使用多元显示器106和任意前置相机104或后置相机112A和112B中的一个或两个来捕获目标物体的图像。所捕获的图像可以是多个静态图像或视频流。图像捕获可以通过激活快门按钮108、按下多元显示器106上的软键或通过一些其他机制来触发。依赖于实施方式,图像可以以特定的时间间隔自动地被捕获,例如在按下快门按钮108时、在目标物体的合适的光照条件时、在将数字相机设备100移动特定的距离时或者根据预先确定的捕获安排(schedule)。
B.示意性的设备组件
如以上所注意到地,数字相机设备100——或另外的类型的数字相机——的功能可以集成到计算设备中,或可以采取计算设备的形式,诸如移动电话、平板式计算机、膝上型计算机等。出于示例的目的,图2是示出可以包括相机组件224的示例计算设备200的一些组件的简化框图。相机组件224可以包括多个相机,诸如相机112A和112B。
通过示例而非限制的方式,计算设备200可以是蜂窝移动电话(例如,智能电话)、静态相机、视频相机、传真机、计算机(诸如桌面型、笔记本型、平板式或手持式计算机)、个人数字助理(PDA)、家用自动组件、数字视频记录器(DVR)、数字电视机、远程控制器、可穿戴计算设备或配备有至少一些图像捕获和/或图像处理能力的一些其他类型的设备。应当理解,计算设备200可以代表诸如数字相机的物理相机设备、在其上相机应用以软件进行操作的特定的物理硬件平台、或者被配置为执行相机功能的硬件或软件的其他组合。
如图2中所示,计算设备200可以包括通信接口202、用户接口204、处理器206、数据存储装置208以及相机组件224,所有这些可以通过系统总线、网络或其他连接机制210可通信地链接在一起。
通信接口202可以运作为允许计算设备200使用模拟或数字调制来与其他设备、接入网络和/或传输网络进行通信。因此,通信接口202可以促进电路交换和/或分组交换网络通信,诸如传统电话服务(POTS)通信和/或因特网协议(IP)或其他分组化通信。例如,通信接口202可以包括针对与无线接入网络或接入点的无线通信所布置的芯片集和天线。另外,通信接口202可以采取线道(wireline)接口的形式或包括线道接口,线道接口诸如以太网、通用串行总线(USB)或高清晰度多媒体接口(HDMI)端口。通信接口202还可以采取无线接口的形式或包括无线接口,无线接口诸如Wifi、全球定位系统(GPS)或广域无线接口(例如,WiMAX或3GPP长期演进(LTE))。然而,其他形式的物理层接口和其他类型的标准或专有的通信协议可以被用于通信接口202上。此外,通信接口202可以包括多个物理通信接口(例如,Wifi接口、接口和广域无线接口)。
用户接口204可以运作为允许计算设备200与人类或非人类用户交互,诸如接收来自用户的输入并且向用户提供输出。因此,用户接口204可以包括输入组件,诸如键区、键盘、触摸敏感或压敏面板、计算机鼠标、轨迹球、操纵杆、麦克风等。用户接口204还可以包括一个或更多个输出组件,诸如例如可以与压敏面板组合的显示屏。显示屏可以是基于CRT、LCD和/或LED的技术,或者现在已知的或稍后开发的其他技术。用户接口204还可以被配置为经由扬声器、扬声器插口、音频输出端口、音频输出设备和/或其他类似的设备来生成(一个或多个)听觉输出。
在一些实施例中,用户接口204可以包括用作由计算设备200所支持的静态相机和/或视频相机功能的取景器的显示器。额外地,用户接口204可以包括一个或更多个按钮、开关、旋钮和/或拨盘,其促进相机功能的配置和对焦以及图像的捕获(例如,捕获图片)。这些按钮、开关、旋钮和/或拨盘中的一些或所有被实施为压敏面板上的功能可能是可以的。
处理器206可以包括一个或更多个通用处理器——例如,微处理器——和/或一个或更多个专用处理器——例如,数字信号处理器(DSP)、图形处理单元(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC)。在一些实例中,专用处理器可能能够进行图像处理、图像对准和融合图像以及其他能力。数据存储装置208可以包括一个或更多个易失性和/或非易失性存储组件,诸如磁、光、闪存或有机存储装置,并且可以整体地或部分地与处理器206集成。数据存储装置208可以包括可移除和/或不可移除组件。
处理器206可能能够执行在数据存储装置208中所存储的程序指令218(例如,编译的或未编译的程序逻辑和/或机器代码)以执行这里所描述的各种功能。因此,数据存储装置208可以包括其上存储有程序指令的非暂态计算机可读介质,该程序指令当被计算设备200执行时,使得计算设备200执行在本说明书和/或附图中所公开的方法、处理或功能中的任一个。由处理器206进行的程序指令218的执行可以导致处理器206使用数据212。
通过示例的方式,程序指令218可以包括安装在计算设备200上的操作系统222(例如,操作系统核心、一个或多个设备(驱动器)、和/或其他模块)以及一个或多个应用程序220(例如,相机功能、地址簿、电子邮件、web浏览、社交网络和/或游戏应用)。类似地,数据212可以包括操作系统数据216和应用数据214。操作系统数据216可以主要地对操作系统222可访问,并且应用数据214可以主要地对应用程序220中的一个或更多个可访问。应用数据214可以被布置在对于计算设备200的用户可见或隐藏的文件系统中。
应用程序220可以通过一个或多个应用编程接口(API)与操作系统222通信。例如,这些API可以促进应用程序220读取和/或写入应用程序214、经由通信接口202传送或接收信息、接收信息和/或在用户接口204上显示信息、等等。
在一些行话(vernacular)中,应用程序220可以被简称为“app”。额外地,应用程序220可以通过一个或更多个在线应用商店或应用市场被下载到计算设备200。然而,应用程序还可以以其他方式被安装到计算设备200,诸如经由web浏览器或通过物理接口(例如,USB端口)被安装在计算设备200上。
相机组件224可以包括但是不限于光圈、快门、记录表面(例如,摄影胶片和/或图像传感器)、镜头和/或快门按钮。相机组件224可以至少地被由处理器206所执行的软件来控制。此外,相机组件224可以包括多个相机系统,其各自包括光圈、快门、记录表面、图像传感器、处理器和/或快门按钮。当包括多个相机系统时,可能存在在系统之间共享的一些组件,并且存在不共享的其他组件。例如,每个相机可以包括其自身的光圈、透镜和图像传感器而同时共享诸如处理器和快门按钮的其他组件。作为另一个示例,每个相机可以包括其自身的透镜,但是共享同一图像传感器。可替换地,每个相机系统的组件可以仅针对该相机系统而被利用,并且不与其他相机系统共享。
C.数字图像
静态相机可以每当图像捕获被触发时捕获一个或多个图像。视频相机可以以特定的速率(例如,24个图像——或帧——每秒)来捕获图像,只要图像捕获保持被触发(例如,当快门按钮被保持按下)即可。一些数字静态相机可以在相机设备或应用被激活时打开快门,并且快门可以保持在该位置直到相机设备或应用被去激活为止。当快门打开时,相机设备或应用可以捕获场景的表示并且将其显示在取景器上。当图像捕获被触发时,当前场景的一个或多个区别的数字图像可以被捕获。注意,示例实施例可以利用具有电子快门和/或机械快门的相机。
被捕获的数字图像可以被表示为一维、二维或多维像素阵列。可以通过可以对相应像素的色彩和/或亮度进行编码的一个或多个值来表示每个像素。例如,一个可能的编码使用YCbCr色彩模型(其还可以被称为YUV色彩模型)。在此色彩模型中,Y色彩通道可以表示像素的亮度,以及Cb(U)和Cr(V)色彩通道可以分别地表示像素的蓝色色度和红色色度。例如,这些色彩通道中的每个可以取0-255的值(即,单个8位字节可以提供的色调范围)。因此,如果像素为黑色或接近黑色,则像素的亮度可以通过0或接近于0的值来表示,并且如果像素为白色或接近白色,则像素的亮度可以通过255或接近255的值来表示。然而,255的值是非限制性的参考点,并且一些实施方式可以使用不同的最大值(例如,1023、4095等)。
但是YCbCr色彩模型仅为一个可能的色彩模型,并且诸如红-绿-蓝(RGB)色彩模型的其他色彩模型或青-品红-黄-黑(key)(CMYK)也可以被这里的实施例所采用。此外,图像中的像素可以以各种文件格式被表示,包括原始(未压缩)格式或压缩的格式,诸如联合图像专家组(JPEG)、便携网络图像(PNG)、图像交换格式(GIF)等。
一些像素编码——包括YCbCr色彩模型——使用8位来表示每个像素的亮度。这样做被称为LDR成像。作为结果,仅可以支持亮度的256个等级。然而,与通过LDR成像可以合理地表示的亮度的动态范围相比,真实世界场景经常展现出亮度的更宽的动态范围。例如,个体在暗室中站立在窗前的场景可以包括极亮区域和极暗区域两者。然而,基于采用其来捕获图像的曝光、使用LDR成像来捕获这样的场景的图像可能导致亮区域和/或暗区域中细节的丢失。
D.自动曝光
捕获的图像的曝光可以通过光圈的大小、进入光圈的光的亮度和/或快门周期的长度(也被称为快门长度或曝光长度)的组合来确定。额外地,数字和/或模拟增益可以被应用于图像,从而影响曝光。在一些实施例中,术语“总曝光长度”或“总曝光时间”可以指快门长度乘以用于特定光圈大小的增益。这里,术语“总曝光时间”或“TET”应当可能地被解释为快门长度、曝光时间或控制从到达记录表面的光所生成的信号响应的量的任何其他度量。在一些实施例中,“真正曝光时间”可以指在应用任何增益之前的曝光的时间长度。
相机——甚至模拟相机——可以包括软件以控制一个或更多个相机功能和/或设置,诸如光圈大小、TET、增益等。额外地,一些相机可以包括在捕获图像的同时或在捕获图像之后可以数字地处理图像的软件。虽然应当理解以上描述通常指代相机,但是其可以具体地涉及数字相机。
短的TET可以导致场景的亮区域的适度地精确的表示,但是在一些情况中暗区域可能曝光不足。相反,长的TET可以导致暗区域的适度地精确的表示,但是在一些情况中亮区域可能曝光过度。在以上所介绍的示例场景中,如果TET过长,则房间中的特征可能呈现为适当地曝光,但是窗外的特征可能呈现为白化(whitewash)。但是如果TET过短,则窗外的特征可能呈现为正常,但是房间中的特征可能呈现为变暗。这些结果中的任一个是不期望的。对于一些场景,可能不存在下述单一TET:该单一TET导致采用可接受的细节来表示亮区域和暗区域两者中的细节的捕获的图像。
相机设备可以支持自动曝光(AE)模式,在该模式中,在输出图像捕获之前,相机基于场景的亮度来确定TET。例如,用户可以在触发图像捕获之前观察相机的取景器中的场景。在此时段期间,相机可以进行适合的TET的初始估计,采用该TET捕获预览图像以及然后评估捕获的图像中的像素。然后,作为一个可能的实施方式,如果预览图像中的大多数(或一些其他足够部分(fraction))像素曝光过度,则相机可以降低TET并且捕获另一预览图像。如果预览图像中的大多数(或一些其他足够部分)像素曝光不足,则相机可以增加TET并且捕获又一预览图像。
例如,如果捕获的图像中的大多数像素展现出在高阈值等级(例如,240)以上的亮度值,则相机可以降低TET。另一方面,如果大多数像素展现出在低阈值等级(例如,96)以下的亮度等级,则相机可以增加TET。
可替换地或额外地,可以确定用于场景的像素中的一些或所有的目标平均像素值。如果实际的平均像素值在目标平均像素值以上,则可以降低TET;而如果实际的平均像素值在目标平均像素值以下,则可以增加TET。还可以依赖于在场景中存在多少对比度来不同地调谐目标平均像素值。例如,在低对比度场景中,目标平均像素值可以是亮的(例如,200)。但是在高对比度场景中,目标平均像素值可以较低(例如,128)。
该处理可以继续,直到相机确定图像应当被捕获并且被存储(例如,用户激活快门按钮)为止。在此处理期间,如果场景的特性相对不变,则相机通常基于场景的亮度收敛到所估计的“最佳”TET。在一些实施例中,在相机的取景器上所显示的图像可以省略来自捕获的预览图像中的一个或更多个的信息,或对来自捕获的预览图像中的两个或更多个的信息进行组合。
在一些情况中,当确定场景的“平均”亮度时,相机可以不均等地对待所有像素。使用被描述为“中心加权平均”的技术,接近场景的中部的像素可以被认为更加重要。因此,与示出场景的其他区域的像素相比,这些像素可以被更多地加权。可替换地,在图像的其他位置中的像素可以被给予更多的权重。例如,如果相机在图像的中心之外的特定位置中检测到人脸(或一些其他的感兴趣物体),则相机可以对相关联的像素给予更高的权重。
以这种方式,AE算法可以试图确定产生大量(例如,最大数量)的被适当地曝光的像素的TET。然而,在给定LDR成像的范围限制的情况下,甚使在AE模式中捕获的图像也可能包含白化或变暗的部分。因此,如以上所注意地,对于一些场景可能不存在单一“最佳”TET。
这里,如果其亮度值在预先定义的范围内,则像素可以被认为被“适当地曝光”。对于8位亮度值,该范围可能是例如32-224、16-240、96-240、128-240等。如果其亮度值落在此范围之外,则像素被“不适当地曝光”(即,像素或者曝光不足或者曝光过度)。然而,可以使用更多或更少位来编码亮度值,并且预先定义的范围可以与以上所给出的示例范围不同。
AE算法可以与以上描述不同。例如,一些可能更加复杂,不同地处理不同的色彩、考虑场景的空间和/或结构分量、和/或测量区域之间的对比度。然而,可能的是,这里所描述的实施例可以利用现在已知的或将来要开发的任何AE算法,或结合现在已知的或将来要开发的任何AE算法进行操作。
高动态范围(HDR)成像被提出作为针对LDR成像的缺陷进行补偿的方式。在可能的实施方式中,HDR成像可能涉及下述相机:该相机以各种TET捕获场景的多个图像,并且然后数字地处理这些捕获的图像以产生包含场景的大多数或所有区域——包括非常亮的和非常暗的那些区域——中的细节的合理表示的单个图像。然而,确定用于捕获图像的TET可能是有问题的。具体地,调节用于具体场景的TET的难度创建了对HDR成像的限制。这里所描述的方法和实施方式可以提供计算有效性、对于人工制品的健壮性和/或增强的图像质量。
下面,术语“LDR成像”可以指使用LDR成像所捕获的图像,并且术语“LDR场景”可以指被确定为使用LDR成像合理地表示的场景。类似地,术语“HDR图像”可以指使用HDR成像所捕获的图像,并且术语“HDR场景”可以指被确定为使用HDR成像合理地表示的场景。此外,术语“LDR成像”可以与术语“LDR图像获取”可互换地使用,并且术语“HDR成像”可以与术语“HDR图像获取”可互换地使用。
图3描绘了根据示例实施例的流程图。以较高的级别,流程图300表示用于数字相机设备302的成像流水线。例如,流程图300可以表示由数字相机设备302所执行的多个步骤,以对于具体的场景确定是使用LDR图像获取还是使用HDR图像获取,确定采用其来捕获场景的图像的一个或更多个TET,以及是否和/或如何将捕获的图像组合到作为场景的合理地满意的表示的输出图像。以这种方式,数字相机设备302可以动态地适应于场景的光照模式,无论该模式是暗的、亮的还是两者的一些组合。数字相机设备302可以具有与图1A至图1D中的数字相机设备100相同或相似的能力。
流程图300可以表示当快门按钮被触发时由数字相机设备302所执行的一系列步骤。可替换地或额外地,流程图300可以表示当数字相机设备302的取景器正在显示场景的表示时连续地执行的步骤。因此,在一些实施例中,流程图300的特征可以以对于用户不显见的方式被执行。例如,在具有捕获单个图像的意愿的情况下,用户可以触发快门一次。然而,数字相机设备302可以在第一图像捕获306和第二图像捕获314的每个中捕获多个图像,并且提供作为在第二图像捕获314期间所捕获的一个或多个图像的组合的输出图像318。
应当注意,不是图3中所描绘的所有步骤需要被数字相机设备302来执行。一些步骤——诸如,图像处理308和组合图像316——例如可以被不同的设备来执行。例如,在第一图像捕获306和第二图像捕获314期间所捕获的一个或多个图像的表示可以被从捕获设备传送到远程计算设备。远程计算设备然后可以执行图像处理308和组合图像316,可能将其结果中的一些或所有传送到捕获设备。
额外地,训练图像数据库304可以被包括在数字相机设备302中,或可替换地,训练图像数据库304可以是由数字相机设备302可以访问的单独的设备或系统的一部分。在一些实施例中,训练图像数据库304可以包括能够被用于帮助确定在第二图像捕获314中所使用的有效载荷突发(payload burst)的结构的训练图像的表示。
在第一图像捕获306中,可以使用“测定突发扫描(metering burst sweep)”来捕获场景的第一组图像。在测定突发扫描中,组中的每个图像可以采用不同的TET被捕获。在一些实例中,测定突发扫描可以跨越TET的范围(例如,1至300毫秒、0.1至500毫秒或一些其他范围)来捕获连续的图像。使用这样的TET范围,测定突发扫描可以根据TET的线性、对数和/或指数分布以及其他可能性、采用被设计为覆盖此范围的TET来捕获一系列图像。
在一些实施方式中,设备的第二相机可以执行测定突发扫描以确定应当被用于由第一相机正在记录的视频的每个帧的TET。可替换地,第二相机可以在由第一相机进行的视频记录期间周期性地执行测定突发扫描,以便周期性地调节第一相机的TET。例如,测定突发扫描可以由第二相机对于由第一相机进行的视频记录的每十帧执行一次。其他示例也是可能的。
作为另外的示例,图3描绘了包括各自采用不同的TET所捕获的场景的三个数字图像。由于不同的TET被用于捕获图像,所以三个图像展现出多样的亮度等级。在其他示例中,在第一图像捕获306期间可以捕获更多或更少的图像。这些捕获的图像可以提供用于数字图像设备302在捕获场景的随后的图像时使用的参数。
测定突发扫描可以被用于确定场景的特性,使得可以选择用于第二图像捕获314的随后的有效载荷突发结构。因此,在步骤308中,可以处理在步骤306处所捕获的图像。具体地,步骤308可以包括将在步骤306处所捕获的图像中的一个或多个融合到组合图像310中。步骤308还可以包括从融合的图像生成直方图312,并且然后使用直方图以及可能地使用训练图像数据304中的信息中的一些或所有来对场景进行分类(例如,分类为LDR场景或HDR场景),基于场景的分类来确定有效载荷突发的结构,以及确定根据有效载荷突发捕获图像时要使用的TET。在一些实施例中,作为第一图像捕获306的结果所示出的捕获的图像可以在融合之前被下采样。此外,直方图可以是LDR直方图、HDR直方图、对数HDR直方图或一些其他形式的直方图。
在图4A中示出了此处理的示例。为了简明,假定测定突发扫描由图像400和图像402的两个图像构成。具体地,在测定扫描突发中,来自一个至八个或更多个图像的任何位置可以被捕获。采用10毫秒的TET捕获图像400,而采用20毫秒的TET捕获图像402。因此,图像402的像素的亮度可能被期望为图像400的像素的亮度的大约两倍。在一些情况中,图像400和图像402中的每个中的像素可以被色调映射。因此,针对这些图像可以使色调映射处理反向。在使色调映射处理反向之后,图像402的像素的亮度可以是图像400的像素的亮度的大约两倍。在下面更详细地讨论色调映射和反向色调映射。此外,注意,当图像突发扫描由第二相机执行以确定用于正在记录视频的第一相机的一个或多个曝光设置时,在图像突发扫描中所使用的TET的范围与如果同一相机执行扫描并且捕获图像数据则可以另外地可能的TET的范围相比以更大的量变化。
图像400和图像402可以被下采样以分别地形成图像404和图像406。例如,可以通过将给定的图像划分为i×j像素块(i和j可以取相同的值或不同的值)并且通过单个像素来置换这些块中的每个来实施下采样。此置换像素的值可以基于相应的i×j像素块中的像素的值。例如,置换像素的值可以通过采取块中的像素的值的平均来确定,结果导致“更模糊”、更低分辨率以及更小的下采样图像。因此,作为一个可能的示例,如果1600×1200像素图像被划分为2×2像素块并且被下采样一个等级,则结果是800×600像素图像。如果1600×1200像素图像被下采样两个等级(或如果800×600像素图像再被下采样一个等级),则结果是400×300像素图像,等等。但是,图块(tile)可以以其他方式被下采样。例如,4×4、8×8像素块或16×16像素块可以被单个像素替换,并且可以执行多于仅一个等级或两个等级的下采样。
在一些实施例中,针对每个图像可以执行多个等级的下采样,因此创建“金字塔状(pyramid)”的下采样。通过使用具有多个等级的下采样的图像,与图像中的光等级的分布和这些光等级的空间结构两者有关的信息可以被保存。
因此,例如,图4A描绘了具有在其左上角的像素块400A和在其右上角的像素块400B的图像400。额外地,图像402具有在其左上角的像素块402A和在其右上角的像素块402B。每个图像中的每个像素块可以被下采样到图像404和图像406中的单个的相应的像素——像素404A表示像素块400A的下采样,像素404B表示像素块400B的下采样,像素406A表示像素块402A的下采样以及像素406B表示像素块402B的下采样。
在一些情况中,i×j像素块及其相关联的下采样像素两者可以被称为“数据块(paxel)”。因此,像素块402A和像素404A两者可以被称为paxel。
对于下采样的图像中的每个位置(例如,像素404A和406A将被认为在相同的位置中),可以选择具有小于255的最高值的像素。在一些实施例中,像素中的每个色彩通道的像素值可以与255比较。如果这些像素值中的所有低于255,则像素是用于选择的候选。在所有的候选像素之中,可以选择具有最高像素值的一个像素。在其他实施例中,替代地可以使用与255不同的阈值(例如,250、245或者高于255的值)。
图4A示出了此处理的示例。在下采样的图像404中,像素404A可以分别地具有250、100和150的红色、绿色和蓝色(R,G,B)值。在下采样的图像406中,像素406A可以分别地具有255、200和255的(R,G,B)值。因为像素404A的(R,G,B)值均低于255,但是像素406A的(R,G,B)值中的一些为255,所以选择像素404A。类似地,像素404B可以分别地具有100、50和50的(R,G,B)值,而像素406B分别地具有200、100和100的(R,G,B)值。因为像素406B的(R,G,B)值均小于255,但是大于像素404B的(R,G,B)值,所以选择像素406B。还可以使用其他类型的比较,或可以代替图4A中所示的处理来使用其他类型的比较。可替换地,YCbCr色彩空间中的像素的亮度(Y)值可以被用于进行相对于阈值的测试。
每个所选择的像素可以被放置在组合图像408的相应的位置中。因此,例如,在组合图像408中,像素404A可以被放置为像素408A,而像素406B可以被放置为像素408B。额外地,针对组合图像408所选择的像素可以被反向色调映射。
色调映射是包括根据预先确定的函数来映射像素值的过程的集合。因此,例如,一些相机设备将像素值从线性空间(其中,像素值中k单位的增加或减少表示亮度中成比例的增加或减少)映射到非线性空间。针对艺术性的目的可以自动地执行色调映射,诸如增亮中间范围像素值。无论如何,为了将所选择的像素反向色调映射回到线性空间,逆色调映射函数可以被应用到相应的像素值。
额外地,可以将像素值除以采用其捕获像素的相应的TET。这样做可以将使用各种TET所捕获的像素值规格化到特定的范围。因此,对于像素408A,(R,G,B)值分别地可以是25、10、15,而对于像素408B,(R,G,B)值可以是10、5、5。另一方面,对于低于1毫秒的TET(例如,0.25毫秒、0.5毫秒等的TET),除以TET可以增加组合图像408中的像素值。在一些情况中,这可以导致像素值大于255,并且因此组合图像408可以是场景的HDR表示。
此外,直方图410可以从组合图像408创建。虽然存在可以形成直方图的许多方式,但是一些实施例可以包括对每个像素的色彩通道的函数进行评估。例如,该函数可以是最大化或是一些其他函数。
此外,此函数的输出的对数也可以被采用,并且生成的值被绘制在直方图410上。真实世界中光等级的分布是对数的。因此,通过使用对数标度,存在该范围的粗糙的均匀覆盖。对于基于线性的光等级的直方图,可以使用更多的直方图直条(bin)。此外,在一些实施例中,在将该输出放置在直方图410中之前,权重可以被施加到函数的输出的对数。例如,中心加权平均技术可以被用于对于更接近捕获的图像的中心的像素施加更高的权重,而对于远离图像的中心的像素施加更低的权重。
无论如何,直方图410可以表示组合图像408中的像素值的分布。直方图的垂直轴可以指示每个像素值的像素的数量,而水平轴可以表示像素值的范围。像素值可以在0至255的范围内,或可以使用一些其他范围。例如,HDR直方图可以包括在255以上的像素值。在一些实施例中,HDR直方图可以表示15位的像素值,即,从0至32,767。因此,呈现在HDR直方图中的对数值可以在0至log(32,767)=4.52的范围中。
作为示例,直方图410将大部分像素绘制在其水平轴的最末端。这指示绘制图像408的直方图410的大部分是黑色或白色的阴影。然而,因为直方图410还将数据点绘制在水平轴的中部,所以组合图像也可以包含具有中间范围亮度的像素。
又作为图像处理308的一部分,直方图410可以与训练图像数据库304中的图像的一个或更多个直方图进行比较。如图4B中所描绘,训练图像数据库304可以包含参考场景的直方图的集合和/或相关联的参数。如上所述,参考场景的直方图可以是HDR直方图。
图4B示出了训练图像数据库304,该训练图像数据库304包含:用于直方图420、(一个或多个)目标像素值422、剪裁的像素的目标百分比424以及场景类型426的条目。直方图420可以以与以上在图4A的上下文中所描述的相同或相似的方式、从一个或更多个图像导出。因此,参考场景的一个或更多个图像可以使用各种TET被捕获,并且这些图像可以被下采样并且被组合到单个图像中,从该单个图像可以导出直方图420。通常,从其导出直方图420的参考场景不需要为与从其导出直方图410的相同的场景。
在一些实施例中,在下采样的、组合的单个图像中被剪裁的像素(例如,具有255或更高的像素值的像素)的百分比可以被存储在剪裁的像素的目标百分比424中。当被用于捕获图像的TET过高或过低时,或者当在图像捕获处理中场景的一些非常暗的或非常亮的细节丢失时,剪裁可能发生。在一些情况中,仅在范围的一端处被剪裁的像素可以被包括在剪裁的像素的百分比中。例如,剪裁的像素的百分比可以仅包括具有255或更高的像素值的像素,并且可以在所有其他像素(例如,具有0至254的像素值的所有像素)上计算未剪裁的像素的平均像素值。
此外,场景是LDR还是HDR的指示可以被存储在场景类型426中。在一些实施方式中,当场景类型为LDR时,场景类型426可以取为零的值;而当场景类型为HDR时,场景类型426可以取为一的值。可替换地,场景类型426可以在例如从0至1的范围内。在这种情况中,小于阈值(例如,0.5)的值可以指示LDR场景类型,并且大于或等于阈值的任何数字可以指示HDR场景类型。
(一个或多个)目标像素值422可以是被确定为对于相关联的场景是期望的一个或更多个像素值。如果场景是LDR,则(一个或多个)目标像素值422可以包括单一像素值,或(一个或多个)像素值的范围。此单一像素值(或范围)可以被选择为使得具有与目标像素值相匹配的平均像素值的场景的图像将合理地被良好曝光。因此,(一个或多个)目标像素值422可以是目标平均像素值。额外地,(一个或多个)目标像素值422可以是LDR值(例如,从0至255)。
此外,在第二相机执行诸如方法4A的方法以调节用于由第一相机所记录的视频的TET的实施例中,(一个或多个)目标像素值422可以包括用于由第一相机使用的单一像素值。具体地,第二相机可以重复诸如在这里所描述的方法的方法,以确定用于通过第一相机正在捕获的视频的每个帧的单一像素值。可替换地,第二相机可以被用于周期性地确定用于由正在捕获视频的第一相机使用的单一像素值(例如,每四帧一次)。
如果场景是HDR,则(一个或多个)目标像素值422可以包括短曝光目标像素值(或范围)、长曝光目标像素值(或范围)以及可能的回退(fallback)曝光目标像素值(或范围)。这些像素值或范围可以被选择为使得具有用于短曝光的短曝光目标像素值和用于长曝光的长曝光目标像素值的HDR图像可以合理地被良好曝光。如果HDR图像失败(例如,如以下讨论的)并且单一TET被用于捕获HDR场景,则可以使用回退目标像素值。
在一些情况中,可以通过检查捕获图像的若干合成曝光并且选择呈现为对于眼睛最舒适的(一个或多个)像素值和/或(一个或多个)范围,来手动地确定(一个或多个)目标像素值422、剪裁的像素的目标百分比424以及场景类型426。可替换地,可以用算法或自动地确定(一个或多个)目标像素值422、剪裁的像素的目标百分比424以及场景类型426。
此外,在第二相机执行诸如方法4A的方法以调节用于由第一相机正在记录的视频的TET的实施例中,(一个或多个)目标像素值422可以包括用于由第一相机使用的短曝光目标像素值(或范围)。具体地,第二相机可以使用视频的相邻帧来重复这样的方法,以便确定用于由第一相机正在捕获的视频的每个帧的短曝光目标像素值(或范围)。这可以帮助提供视频中的降噪和HDR。可替换地,第二相机可以被用于简单地确定用于通过第一相机正在捕获的视频的每个帧的单一曝光TET(例如,单一像素值)。
训练图像数据库304还可以包含关于直方图430、(一个或多个)目标像素值432、剪裁的像素的目标百分比434和场景类型436以及关于直方图440、(一个或多个)目标像素值442、剪裁的像素的目标百分比444和场景类型446的相似的条目。在一些实施例中,可以从训练图像数据库304中省略诸如剪裁的像素的目标百分比的一个或更多个参数。额外地,其他参数可以被包括在训练图像数据库304中。训练图像数据库可以存储少至一个或几十个、几百个或几千个这样的条目,每个条目可能与不同的场景有关。
如以上在第一图像捕获306期间所捕获的图像的上下文中所讨论地,针对训练图像数据库304中的每个图像可以执行多个等级的下采样,因此创建每个图像的“金字塔状”的下采样版本。通过使用具有多个等级的下采样的图像,关于图像中的光等级的分布和这些光等级的空间结构两者的信息可以被保存。用于这些下采样图像中的每个的直方图可以被包括在训练图像数据304中。
训练图像数据库304中的信息可以在商业操作之前的校准、测试和/或其他装运前评估以及其他可能性期间被存储在其中。可替换地,信息还可以被存储在能够管理训练图像数据库304的各种其他设备和系统上。无论如何,信息可以为本质上基本上静态的,尽管信息可以通过固件和/或软件更新或其他安装而被修改。
通过将直方图410(和或基于图像400和402的下采样版本相似地导出的直方图)与训练图像数据304中的直方图进行比较,在图像400和402中所表现的场景的动态范围可以被估计。此估计的动态范围可以被用于确定、获得或另外地选择用于第二图像捕获314的有效载荷突发结构。
例如,每个直方图410可以与在训练图像数据304中所存储的每个直方图进行比较。直方图对可以以各种方式被比较,该各种方式中的任何一个可以被使用。在一些实施例中,可以计算直方图对之间的陆地移动距离(earth mover’s distance,EMD)。当直方图一致时,EMD为0,并且EMD随着直方图之间的差异而增加。因此,较低的EMD指示两个直方图之间良好的匹配,而较高的EMD指示两个直方图之间的低劣的匹配。
权重可以从用于特定直方图对的EMD导出。例如,权重可以与其相关联的EMD值成反比例。在一些情形中,权重w可以被导出为:
其中,EMD是EMD值并且n可以在1至10的范围中。然而,可以使用n的其他值。因此,在一些实施例中,权重可以取0与1之间的值。在EMD为0的情况中,可以选择适当大的权重(例如,1)。可替换地,非常小的值(例如,0.001)可以被添加到分母以避免除以0。无论如何,两个直方图之间的良好的匹配可以导致高权重,并且两个直方图之间的低劣的匹配可以导致低的权重。
对于每个直方图对(其中,第一直方图是直方图410,而第二直方图来自训练图像数据库304中的条目),权重w可以被施加到与训练图像数据库304中的第二直方图的条目相关联的相应的场景类型。结果可以在直方图对上被平均,以确定场景的“HRD性”。例如,如果生成的“HDR性”在0至1的标度上在0.5处或在0.5之上,则场景可以被指定用于HDR处理;但是如果生成的“HDR性”在相同的标度上在0.5之下,则场景可以被指定用于LDR处理。
应当理解,以上所述的实施例仅是确定场景的亮度和“HDR性”的一个可能方式。可以替代地使用其他技术,并且这些其他技术中的一些可以基于将在第一图像捕获306期间所捕获的图像的参数(例如,剪裁的像素的百分比和未被剪裁的像素的平均值)与在训练图像数据库304中所表示的图像的相同或相似的参数进行比较。另外的技术可以包括将第一直方图和第二直方图的相应的下采样图像金字塔进行比较。
为了确定用于有效载荷突发的TET,可以使用下面的示例过程。然而,可以替代地使用其他过程。
针对每个直方图对(再次地,其中,第一直方图是直方图410,而第二直方图来自训练图像数据库304中的条目),权重w可以被施加到与训练图像数据库304中的第二直方图的条目相关联的相应的目标像素值。结果可以被平均以确定用于由直方图410所表示的场景的目标平均像素值。如果场景类型是HDR,则两个或更多个目标平均像素值可以被确定。
针对每个目标平均像素值,间隔等分可以被用于搜索特定的TET值,使得如果要采用特定的TET值捕获场景,则生成的图像将具有目标平均像素值或大约目标平均像素值。用于基于目标平均像素值来确定特定的TET值的一个可能的方法被示出为以下伪代码。
表1
在表1的行1和行2处,定义了初始的低TET值和高TET值(分别地为lo_tet和hi_tet)。这些值可以在最终TET值(mid_test)被期望落入其中的范围的极值端处或附近被选择。在一些实施例中,可以使用更宽的范围或更窄的范围。
行3至行11描绘了可以被迭代t次的循环。t的值可以被选择为使得mid_tet在循环的t个迭代之后收敛。在一些实施例中,t可以低至2或3,但是在其他实施例中,t可以是5、10、20、50、100或一些其他值。但是,在行4处,mid_tet被设置为lo_tet和hi_tet的平均(中点)。
在行5处,确定在mid_tet处的图像的像素值。进行此确定的一个可能的方式是合成地曝光HDR图像,仿佛图像是使用mid_tet的TET被捕获那样。生成的图像(其可能是HDR图像)可以被色调映射,并且色调映射的图像的平均像素值(pixel_value_at_mid_tet,其可能是LDR值)可以被确定。
合成曝光是从HDR图像获得LDR图像的一个方式。假定使用为T的TET捕获HDR图像。通过将HDR图像中的每个像素的像素值乘以p(p可以大于或小于1),该HDR图像可以被合成地曝光为p乘T的TET。在结果得到的图像中,所有在255以上的像素值被“剪裁”为255。该处理模拟了场景的外观,仿佛其采用LDR成像、使用为p乘T的TET被捕获那样。可替换地,HDR图像的非对数HDR直方图(施加或未施加中心加权的平均)可以被使用。在此步骤之后,可以仿真通常将被施加到线性图像的无论什么处理(诸如色调映射),以便产生合成的LDR图像。该图像中的平均值(如果期望则施加中心加权的平均)可以被采取并且可以被与目标像素值比较。
在行6至行11处,如果该结果得到的平均像素值大于目标平均像素值,则mid_tet过高,并且hi_tet被设置为mid_tet以便降低下一个迭代中的mid_tet。另一方面,如果生成的平均像素值小于或等于目标平均像素值,则mid_tet过低,并且lo_tet被设置为mid_tet以便提高下一个迭代中的mid_tet。
通过表1所示的处理可以针对在有效载荷突发结构中可以使用的每个TET值而重复。因此,如果场景被确定为是HDR场景,则表1的处理可以针对一个TET而执行。然而,如果场景被确定为是HDR场景,则表1的处理可以针对两个或更多个TET(例如,短TET、长TET和/或回退TET)而被执行,所有三个TET可以具有不同的目标平均LDR像素值。
在步骤S314中,可以捕获第二组图像。捕获的图像的数量和被用于捕获这些图像的TET的布置可以被称为“有效载荷突发”。例如,在图3中,第二图像捕获314包括场景的三个图像,每个图像采用在步骤308中所标识的TET被捕获。应当理解,在步骤308中所标识的TET可以与在步骤306中被用于捕获图像的TET相同或不同。额外地,可能的是采用相同或相似的TET捕获第二图像捕获314中的所有三个图像。
在步骤316中,来自第二组图像的图像可以被组合。组合图像可以包括将两个或更多个图像对准。在一些实例中,图像可以被全局地对准(即,与对准图像的部分相反,对准整个图像),被局部地对准(即,对准图像的部分),或者可能地被全局地和局部地对准两者。此外,组合两个或更多个图像还可以包括将其融合以形成输出图像318。该融合可以根据现在已知的或将来开发的图像融合技术被执行。
与第二组中的个体图像中的任何一个相比,融合第二组图像中的图像可以导致输出图像318更锐利和/或更好地被曝光。例如,如果采用相同或相似的TET捕获第二图像捕获314中的图像中的一些,则这些图像可以被融合以降低图像的一个或更多个部分中的噪声。可替换地或额外地,如果采用两个或更多个不同的TET捕获第二图像捕获314中的图像,则具有不同的曝光时间的至少一些图像可以根据HDR过程被融合。无论如何,输出图像可以被存储在计算机可读介质上和/或被显示在诸如图1A的多元显示器106上。
在一些实施例中,可以基于在步骤308中所确定的TET以及对步骤316的组合图像的理解来确定各种可能的有效载荷突发结构的布置。虽然有效载荷突发结构的很多布置可能是可以的,但是这里描绘了三个示例。
场景类型 | 有效载荷突发结构 |
LDR | T T T T |
HDR | L S L L S L L S L L |
HDR(具有回退) | L S L L S L L F FF |
表2
表2示出了三个示例。在第一示例中,场景类型为LDR。在此示例中,有效载荷突发结构包括顺序地捕获的四个图像,并且可以被称为“LDR突发结构”。表2的有效载荷突发结构列中的每个“T”可以表示捕获图像。这些图像中的每个可以使用在步骤308中所确定的相同或相似的TET被捕获。在一些实施例中,更少或更多的图像可以在LDR有效载荷突发中被捕获。例如,可以包括少至一个或者多至十个或更多个的图像。
不管捕获的图像的数量如何,这些图像中的一些可以在步骤316中被对准并且被组合。例如,如果在有效载荷突发中m个图像被捕获,则这些图像中最锐利的一个可以被选择作为“主要图像”,并且剩余的m-1个图像可以被认为是“辅助图像”。在一些实施方式中,图像的锐利度可以通过图像的分辨率和/或图像中不同色调和/或色彩区域之间的边界来测量。可替换地或额外地,可以使用其他锐利度测量。
此外,m-1个辅助图像中的零个或更多个然后可以被与最锐利的图像对准并且融合。例如,可以分别地在辅助图像中的每个与最锐利图像之间尝试对准。如果对于相应的辅助图像中的一部分对准失败,则这些部分可以被丢弃,并且不与主要图像组合。以这种方式,可以利用来自辅助图像中的一些或所有的信息对最锐利的图像降噪。
在第二示例中,场景类型为HDR。在此示例中,有效载荷突发结构包括根据长TET和短TET的模式捕获的十个图像,并且可以被称为“HDR突发结构”。在表2的有效载荷突发结构列中,每个“L”可以表示采用长TET所捕获的图像,每个“S”可以表示采用短TET所捕获的图像。因此,“L S L L S L L S L L”的模式可以指示:有效载荷突发的第一图像是使用长TET所捕获的,第二图像是使用短TET所捕获的,第三图像和第四图像是使用长TET所捕获的,第五图像是使用短TET所捕获的,第六图像和第七图像是使用长TET所捕获的,第八图像是使用短TET所捕获的,第九图像是使用长TET所捕获的,以及第十图像是使用长TET所捕获的。
可以基于图像处理308的结果来确定长TET和短TET。因此,可以选择长TET和短TET以使得采用这些TET所捕获的结果得到的图像可以使用HDR过程来组合。长TET可以被用于捕获场景的暗部分中的细节,而短TET可以被用于捕获场景的亮部分中的细节。
短TET值的示例可以包括为1毫秒、2毫秒和/或8毫秒的TET,而长TET值的示例可以包括为20毫秒、40毫秒和/或80毫秒的TET。然而,短TET和长TET可以取不同的值。
尽管第二示例中的有效载荷突发具有表1中的特定结构,但是可以使用其他结构。例如,“L S LS L S L S L S”或“L L S L L S L L S L”的有效载荷突发结构可能潜在地提供长TET和短TET的合适的模式。此外,一些有效载荷突发结构可以包括中等TET(通过“M”来指示)。因此,额外的示例有效载荷突发可以包括“S M L L L S M L L L”或“S M L S ML S M L L”结构。
在一些实施例中,有效载荷突发结构可以包括比十个更多或更少的图像。一般而言,确定有效载荷突发结构的长度涉及折中。一方面,长的有效载荷突发(即,具有较大数量的图像捕获的有效载荷突发)是期望的,这是因为增加所捕获的图像中的一个或更多个被良好曝光并且锐利的可能性。另一方面,如果有效载荷突发过长,则重影(ghosting)的可能性由于场景的移动也增加。额外地,较暗的场景可以从使用更长TET所捕获的图像受益,使得更多的光可以到达记录表面。因此,有效载荷突发结构可以可能部分地基于这些考虑。
在第三示例中,场景类型也是HDR。然而,在此示例中,相关联的有效载荷突发结构(也被称为HDR突发结构)包括根据长TET和短TET的模式所捕获的七个图像,之后为三个回退TET。每个“F”可以表示采用回退TET所捕获的图像,并且回退TET可以取与长TET和短TET两者不同的值。
不管有效载荷突发结构的类型如何,HDR场景的图像可以被对准和组合。为了方便,使用短TET所捕获的图像可以被称为“短图像”,并且为了方便,使用长TET所捕获的图像可以被称为“长图像”。
在一些实施例中,可以从短图像中选择最锐利的短图像作为主要短图像。剩余的辅助短图像中的零个或更多个然后可以与主要短图像对准并且融合。例如,可以分别地在辅助短图像中的每个与主要短图像之间尝试对准。如果对于相应的辅助短图像中的一部分对准失败,则这些部分可以被丢弃,并且不与主要短图像组合。以这种方式,可以采用来自辅助短图像中的一些的信息对最锐利的短图像降噪。
对于长图像可以执行相同或相似的处理。例如,可以从长图像中选择最锐利的长图像作为主要长图像。剩余的辅助长图像中的零个或更多个然后可以与主要长图像对准并且融合。可以分别地在辅助长图像中的每个与主要长图像之间尝试对准。如果对于相应的辅助长图像中的一部分对准失败,则这些部分可以被丢弃,并且不与主要长图像组合。
结果得到的组合的短图像(例如,可能通过来自零个或更多个辅助短图像的信息而降噪的最锐利的短图像)和结果得到的组合的长图像(例如,可能通过来自零个或更多个辅助长图像的信息而降噪的最锐利的长图像)然后可以被对准。如果对准成功,则这两个图像(例如,均为LDR图像)可以根据HDR过程被组合。例如,它们可以被组合为HDR图像,并且HDR图像然后可以被色调映射,使得其亮度落入与常规视频输出设备的显示能力相当的范围内(例如,在0与255——包括0和255——之间的像素值)。结果得到的色调映射的HDR图像可以被指定为输出图像318。在一些实施例中,如果所有输出图像318中的一部分的信噪比仍然低于阈值,则降噪过程可以被应用以进一步降低噪声。额外地,可能在应用降噪过程之后,还可以使输出图像318锐化。通常,各种类型的HRD融合算法——诸如,曝光融合或局部拉普拉斯滤波器——可以被用于融合短图像和长图像。如果中等TET被用于有效载荷突发结构,则这些HDR融合算法也可以被应用到一个或多个中等图像。
如果组合的短图像与组合的长图像之间的对准失败,则HDR处理失败。然而,如果回退图像被捕获,则回退图像中的一个或多个可以被用于形成输出图像318。例如,可以选择最锐利的回退图像。剩余的辅助回退图像中的零个或更多个可以与最锐利的回退图像对准并且组合,其以与以上针对短图像和长图像所描述的处理相似的方式被执行。对于不具有在其中对准失败的回退图像的有效载荷突发结构,组合的长图像或短图像可以被用于形成输出图像318。
在图5中进一步示出了示例的有效载荷突发结构。有效载荷突发结构500可以表示用于LDR场景的有效载荷突发,有效载荷突发结构502可以表示用于HDR场景的有效载荷突发,以及有效载荷突发结构504可以表示用于回退HDR场景的有效载荷突发。每个突发结构示出了用于每个图像捕获的TET的近似持续时间。例如,对于突发结构502和504,短TET与长TET相比具有更少的持续时间,并且回退TET的持续时间在长TET和短TET的持续时间之间。
在图5中,垂直虚线描绘了可以开始图像捕获的时间阶段(epoch in time)。一些电子图像传感器以特定的频率操作,诸如30赫兹。以此频率操作的传感器可以每秒捕获30个图像,或近似每33.33毫秒捕获一个图像。因此,图5中的各阶段之间的持续时间可以为33.33毫秒。但是,对于低光场景,曝光时间可以长于33.33毫秒,并且图像传感器的操作频率可以相应地向下调节。在此示例中,可以通过增加TET的增益分量而实现长于30毫秒的TET。
对于一些传感器,图像捕获可以仅在这样的阶段的结束处被激活。因此,如图5中所示,每个图像捕获在相应的阶段的边缘处结束。然而,由于它们变化的TET,一些图像捕获可以在不同的时间处开始。可替换地,对于一些图像传感器,图像捕获可以仅在阶段的开始处被激活。
应当理解,各种其他技术、过程和/或算法可以被用于确定有效载荷突发结构。因此,以上讨论连同以上的表2和图5仅提供了一些可能的有效载荷突发结构。其他技术可以被使用而不背离这里的实施例的范围。
例如,在一些实施例中,可以基于TET的长度、使用RMS方法或者SMR方法计算色调映射的图像的平均像素值(例如,表1中的步骤5)。n个值的RMS平均可以被计算为:
n个值的SMR平均可以被计算为:
对于更短的TET——例如HDR有效载荷突发的短TET和/或回退TET,或者可能地LDR突发的TET——可能期望的是尝试增加或最大化像素的亮度而不剪裁它们。因此,取像素值的RMS平均将更多的权重施加到更亮的像素。对于更长的TET——例如,HDR有效载荷突发的长TET——可能期望的是强调场景更暗的部分。因此,取像素值的SMR平均将更多的权重施加到更暗的像素。
在图5的突发结构502的上下文中示出了另一变化。该变化涉及选择最锐利的短图像。为了讨论方便,假定最锐利的长图像是长图像508。然后,代替于选择最锐利的短图像作为主要短图像,在时间上最接近最锐利的长图像而被捕获的短图像可以被选择作为主要短图像。例如,这可能是短图像510,其紧接在长图像508之前。然后,剩余的辅助短图像可以与主要短图像对准和/或组合(如果对准允许)。可替换地,如果图像传感器在阶段的开始处捕获图像,则在最锐利的长图像之后(很可能紧接在之后)的短图像可以被选择作为主要短图像。作为替选,时间上相邻的短图像/长图像对可以被选择以使得这些图像一起最大化组合的锐利度度量。
在一些实施例中,有效载荷突发结构可以基于图像传感器是在捕获阶段的开始处还是结束处采用小于图像传感器的像素的读出时间的曝光时间(这里被称为子读出曝光时间)来捕获图像。如果图像传感器在图像捕获阶段的结束处捕获子读出曝光时间,则有效载荷突发结构可以包括短TET后面紧随长TET的一个或更多个双TET子序列。如果图像传感器在图像捕获阶段的开始处捕获子读出曝光时间,则有效载荷突发结构可以包括长TET后面紧随短TET的一个或更多个双TET子序列。
以这种方式选择主要长图像的一个可能的优点是降低运动模糊或“重影”影响。例如,如果场景包含运动,则融合从场景所捕获的多个图像可能导致运动在融合后的图像中呈现为模糊。通常,当捕获图像之间的时间差越大则此模糊越大。通过选择在时间上彼此接近的主要长图像和主要短图像,可以减少重影。
应当注意,通过流程图300所示出的步骤可以通过各种类型的相机和/或计算设备来执行,诸如通过数字相机设备302和/或计算设备200所例示的这些。此外,可以可能的是在多个相机和/或计算设备之间分布一些单独步骤的各方面。例如,第一图像捕获306和第二图像捕获314可以在数字相机设备302上发生。此外,图像处理308和组合图像318可以在不同的计算设备上发生。也可能存在分布单独的步骤的其他组合。
图6描绘了根据示例实施例的流程图。在步骤600处,可能地通过图像传感器可以捕获场景的第一多个图像。第一多个图像中的每个图像可以采用不同的总曝光时间(TET)被捕获。
在步骤602处,至少基于第一多个图像,可以确定用于捕获场景的图像的TET序列。确定TET序列可以涉及基于场景的第一多个图像中的至少一个图像来确定场景直方图。场景直方图可以基于对场景的第一多个图像中的图像进行的下采样和组合。
在一些实施例中,额外的直方图可以被存储在训练图像数据库中。这些直方图可以基于相应的场景的捕获的至少两个图像。直方图可以与相应的动态范围参数相关联,其中,相应的动态范围参数指示相应的场景是LDR还是HDR。确定TET序列可以进一步涉及将场景直方图与训练图像数据库中的至少一个直方图进行比较,并且基于比较的结果来从相应的动态范围参数中确定用于场景的动态范围参数,其中,TET序列进一步地基于用于场景的动态范围参数。
如果用于场景的动态范围参数指示场景是LDR,则确定TET序列可以涉及选择要在TET序列中使用的单一TET值。如果用于场景的动态范围参数指示场景是HDR,则确定TET序列可以涉及选择要在TET序列中使用的短TET值和长TET值。如果场景是HDR,则确定TET序列还可以涉及选择要在TET序列中使用的回退TET。
在一些实施例中,训练数据库中的直方图还可以与相应的目标像素值相关联。在这些实施例中,确定TET序列可以进一步涉及基于在训练数据库中的相应的目标像素值来确定用于场景的一个或更多个目标像素值,基于一个或更多个所确定的目标像素值来选择要在TET序列中使用的一个或更多个TET值。
在步骤604处,可以通过图像传感器捕获场景的第二多个图像。第二多个图像中的图像可以使用TET序列被捕获。在步骤606处,可以至少基于第二多个图像来构建场景的输出图像。
确定TET序列可以涉及确定场景是LDR场景,并且定义用于TET序列中的TET的公共值。构建场景的输出图像可以涉及对准和组合使用公共值所捕获的第二多个图像中的一个或更多个图像。
可替换地或额外地,确定TET序列可以涉及确定场景是HDR场景,并且定义短TET值和长TET值。构建场景的输出图像可以涉及对准和组合:(i)采用短TET值所捕获的第二多个图像中的一个或更多个图像与(ii)采用长TET值所捕获的第二多个图像中的一个或更多个图像。
可替换地或额外地,确定TET序列可以涉及确定场景是HDR场景,并且定义短TET值、长TET值和回退TET值。构建场景的输出图像可以涉及尝试对准:(i)采用短TET值所捕获的第二多个图像中的一个或更多个图像与(ii)采用长TET值所捕获的第二多个图像中的一个或更多个图像。构建场景的输出图像可以进一步涉及确定(i)采用短的TET值所捕获的第二多个图像中的一个或更多个图像与(ii)采用长TET值所捕获的第二多个图像中的一个或更多个图像的对准已失败。构建场景的输出图像还可以涉及:响应于确定对准失败来对准并且组合采用回退TET值所捕获的第二多个图像中的一个或更多个图像,以形成输出图像。
图7描绘了根据示例实施例的另一个流程图。在步骤700处,可以通过图像传感器捕获场景的第一多个图像。第一多个图像中的每个图像可以使用不同的总曝光时间(TET)被捕获。在步骤702处,可以至少基于第一多个图像来确定长TET、短TET以及包括长TET和短TET的TET序列。
在步骤704处,可以通过图像传感器捕获场景的第二多个图像,其中,使用与TET序列相对应的TET序列顺序地捕获图像序列中的第二多个图像中的图像。图像序列可以包括使用长TET所捕获的第一长TET图像、之后使用短TET所捕获的短TET图像、之后使用长TET所捕获的第二长TET图像的三个图像子序列。可替换地,图像序列可以包括使用长TET所捕获的第一长TET图像、之后使用长TET所捕获的第二长TET图像、之后的使用短TET所捕获的短TET图像的三个图像子序列。可以基于相机设备的特性(例如,是否使用卷帘快门和/或其他图像传感器特性)和/或场景的特性(例如,平均像素值或一些其他度量)来选择子序列中的模式。无论如何,子序列可以通过有效载荷突发结构重复一次或更多次。
在步骤706处,基于图像序列中的一个或更多个图像,可以构建输出图像。在一些实施例中,图像序列可以包括主要短TET图像之后跟随主要长TET图像的双图像子序列。图像序列还可以包括一个或更多个辅助短TET图像和一个或更多个辅助长TET图像。可以使用短TET来捕获主要短TET图像和辅助短TET图像,并且可以使用长TET来捕获主要长TET图像和辅助长TET图像。构建输出图像可以涉及:形成组合的短TET图像,其中,组合的短TET图像包括主要短TET图像和一个或多个辅助短TET图像中的至少一部分;形成组合的长TET图像,其中,组合的长TET图像包括主要长TET图像和一个或更多个辅助长TET图像中的至少一部分;以及形成输出图像,其中,输出图像包括组合的短TET图像中的至少一部分和组合的长TET图像中的至少一部分。
可替换地或额外地,图像序列可以包括使用长TET所捕获的长TET图像。构建输出图像可以涉及:确定长TET图像是使用长TET所捕获的图像序列中的所有图像中的最锐利的图像。基于长TET图像是使用长TET所捕获的图像序列中的所有图像中的最锐利的图像,选择长TET图像作为主要长TET图像,并且选择图像序列中与主要长TET图像相邻的、使用短TET所捕获的图像作为主要短TET图像。构建输出图像可以进一步涉及:形成组合的短TET图像,其中,组合的短TET图像包括主要短TET图像和来自使用短TET所捕获的图像序列中的一个或更多个图像中的至少一部分;形成组合的长TET图像,其中,组合的长TET图像包括主要长TET图像和来自使用长TET所捕获的图像序列的一个或更多个图像中的至少一部分;以及形成输出图像,其中,输出图像包括组合的短TET图像的至少一部分和组合的长TET图像的至少一部分。
在一些示例中,在图像序列中,主要短TET图像可以紧接在主要长TET图像之前。基于在相应的图像捕获阶段的边缘处结束图像捕获,在图像序列中紧接在主要长TET图像之前的短TET图像可以被选择做为主要短TET图像。
在其他示例中,在图像序列中,主要短TET图像可以紧接在主要长TET图像之后。基于在相应的图像捕获阶段的边缘处开始图像捕获,在图像序列中紧接在主要长TET图像之后的短TET图像可以被选择做为主要短TET图像。
在图6和图7中所描绘的步骤可以通过下述来执行:诸如数字相机设备100的相机设备、诸如计算设备200的计算设备和/或两个或更多个相区分的设备。例如,在一些实施例中,图像捕获步骤可以通过图像传感器来执行,并且剩余的步骤可以通过单独的计算设备来执行。其他布置是可能的。此外,图6和/或图7中所描绘的流程图可以根据在本说明书和/或附图中所公开的变型例而修改。
当在这里使用时,术语“序列”可以指顺序地布置的一个或更多个TET和/或顺序地捕获的一个或多个图像。然而,在一些实施例中,相机设备可以包括多个图像传感器(例如,图像传感器阵列),并且这些图像传感器可以顺序地、并行地或使用两者的一些组合来捕获图像。为了方便,术语“序列”或“序列的”也可以被用于指并行地捕获“序列”的至少一些图像。
图8A、图8B和图8C描绘了基于在第一图像捕获306期间所捕获的两个或更多个图像来构建像素值直方图的替选方法。图8A、图8B和图8C的过程可以与图4A的过程组合或替代图4A的过程来使用。
例如,图8A描绘了分裂paxel下采样。如以上所注意地,i×j像素块及其相关联的下采样像素两者可以被称为“paxel(数据块)”。像素块800是paxel——包含像素值的3×2像素块——的示例。这些像素值可以是相应的像素的(R,G,B)值、相应像素的(R,G,B)值的平均、YCbCr色彩空间中的像素的亮度(Y)值或像素的一些其他表示中的一个或更多个。无论如何,这六个像素值的平均为96.67。
作为对像素块800的六个像素下采样的一部分,除了确定平均像素值之外,平均值还可以被用于将paxel中的像素“分裂”为两个组。第一组由具有大于或等于平均像素值的像素值的像素构成,而第二组由具有小于平均像素值的像素值的像素构成。可以计算第一组像素值的平均以确定高平均paxel802,其具有为180的值。可以计算第二组像素值的平均以确定低平均paxel804,其具有为55的值。额外地,可以通过计算将第一组中的像素的数量除以paxel中的像素的总数量来确定高像素806的百分比(或分数)。在一些实施例中,但是未在图8A中示出,可以通过计算第二组中的像素的数量除以paxel中的像素的总数量来确定低像素的百分比(或分数)。可替换地,可以通过从1中减去高像素806的百分比(或分数)来确定低像素的百分比(或分数)。
下采样图像中的每个paxel可以由这三个(或四个)值表示。以这种方式,关于paxel的结构的信息——诸如像素值的变化——可以被保留。额外地,也可以通过高像素806的百分比(或分数)来表示分布是在平均值之上还是在平均值之下被更重地加权。
图8B描绘了32:1的分裂paxel下采样的示例。图像808是1280×960的图像。通过使用分裂的paxel、以32的因子对图像808进行下采样结果得到40×30的高平均图像810、40×30的低平均图像812以及40×30的高百分比像素矩阵814。因此,高平均图像810和低平均图像812中的每个像素值可以表示图像810中的1024个像素(32×32个paxel)。虽然高平均图像810和低平均图像812被称为“图像”,但是高平均图像810和低平均图像812不可以被直接地观看。因此,可替换地,高平均图像810和低平均图像812可以被称为“矩阵”。尽管在图8B中未示出,但是还可以生成低百分比像素矩阵。
图8C描绘了基于下采样分裂paxel图像来构建直方图。图像820和图像822可以是从在测定突发期间所捕获的相应的图像所导出的、下采样的高平均图像。图像826和图像828可以是从同一测定突发的相应图像中所导出的、下采样的低平均图像。例如,图像820和图像826可以分别是从在测定突发中的同一原始、全尺寸图像中所导出的下采样高平均图像和下采样低平均图像。相似地,图像822和图像828可以分别是从在测定突发中的另一原始、全尺寸图像中所导出的下采样高平均图像和下采样低平均图像。
并非与在图4A的上下文中以上所述的处理不同,图像820和图像822可以被反向色调映射并且可以被组合到组合的高平均图像824。因此,对于下采样高平均图像中的每个位置(例如,像素820A和像素822A将被认为是在相同的位置中),可以选择具有小于255的最高值的像素。可能独立地,图像826和图像828可以被反向色调映射和组合到组合的高平均图像830。因此,对于下采样低平均图像中的每个位置(例如,像素826A和像素828A将被认为是在相同的位置中),可以选择具有小于255的最高值的像素。在其他实施例中,可以替代地使用与255不同的阈值像素值(例如,250、245或者高于255的阈值像素值)。
从高平均图像802和822中的一个中所选择的每个像素可以被放置在组合的高平均图像824中的其相应的位置中。因此,例如,像素820A可以被放置为像素824A,而像素822B可以被放置为像素824B。额外地,针对组合的高平均图像824所选择的像素可以被反向地色调映射。类似地,从低平均图像826和828中的一个中所选择的每个像素可以被放置在组合的高平均图像830中的其相应的位置中。因此,例如,像素826A可以被放置为像素830A,而像素828B可以被放置为像素830B。针对组合的高平均图像824所选择的像素还可以被反向色调映射。
此外,在组合的高平均图像824和组合的低平均图像830中的每个中所放置的每个像素值可以除以相应的TET,采用该相应的TET捕获在其相应的paxel中未被下采样的像素。这样做可以将使用各种TET所捕获的像素值规格化为特定的范围——例如,各种图像的像素可以被放置在相同亮度的单元中。
可以从组合的高平均图像824和组合的低平均图像830创建直方图832。直方图832可以是LDR直方图、HDR直方图、对数HDR直方图或一些其他类型的直方图。虽然存在可以形成直方图的许多方式,但是一些实施例可以包括对每个像素的像素值的函数进行评估。例如,如果像素值被表示在(R,G,B)色彩空间中,则函数可以取(R,G,B)色彩通道的值的平均或最大值。
可替换地,可以构建多个直方图。例如,在(R,G,B)色彩空间的情况中,可以创建用于R通道的一个直方图、用于G通道的一个直方图以及用于B通道的一个直方图。如果许多金字塔被使用,则可以每色彩通道构建一个直方图金字塔。
此外,此函数的输出的对数也可以被采用,并且结果可以被用于将直条定位在直方图的x轴上。被添加到此直条的量可以基于像素的相关联的高像素百分比(或分数)或低像素百分比(或分数)。例如,假定像素820A与为0.73的高像素百分比(或分数)相关联。进一步假定像素820A被放置为像素824A。然后,一旦针对此像素确定了直方图直条,则0.73的权重可以被添加到该直条。类似地,假定像素828A与为0.49的低像素百分比(或分数)相关联。进一步假定像素828A被放置为像素830A。然后,一旦针对此像素确定了直方图直条,则0.49的权重可以被添加到该直条。在一些实施例中,此权重可以进一步被修改,可能地通过中心加权平均或一些其他技术。
在一些实施例中,对像素信息的下采样和融合到直方图832的处理可以一起执行而不是顺序地执行。例如,可以确定用于组合的高平均图像824和组合的低平均图像830两者的特定像素位置的像素值,并且相关联的权重可以在考虑下一个像素位置之前被添加到直方图832。如果组合的高平均图像824中的高平均像素取自一个图像、组合的低平均图像830中的低平均像素取自另一个图像并且它们相应的权重之和不为1,则这样做可以允许对权重的进一步的规格化。图8C所示出的过程的其他顺序也是可能的,并且可能被包括在替选实施例中。
直方图832可以与一个或更多个参考直方图比较,以确定用于随后的有效载荷突发的TET值。例如,直方图832可以与在训练图像数据304中所存储的每个直方图比较。直方图对可以以各种方式被比较,诸如计算直方图对之间的EMD。如以上所讨论地,可能取0与1之间的值的权重w可以从用于特定直方图对的EMD导出。
对于每个直方图对(其中,第一直方图是直方图832,而第二直方图来自训练图像数据库304中的条目),权重w可以被施加到与训练图像数据库304中的第二直方图的条目相关联的相应的场景类型。结果可以在直方图对上被平均,以确定场景的“HDR性”。例如,如果生成的“HDR性”在0至1的标度上在0.5处或在0.5之上,则场景可以被指定用于HDR处理;但是如果生成的“HDR性”在相同的标度上在0.5之下,则场景可以被指定用于LDR处理。以上所描述的实施例仅是确定场景的亮度和“HDR性”的一个可能的方式。可以替代地使用其他技术。例如,可以确定用于场景的短TET和长TET。如果短TET与长TET之间的差异(或长TET与短TET的比率)小于或等于阈值,则场景可以被认为是LDR场景。如果短TET与长TET之间的差异(或长TET与短TET的比例)大于阈值,则场景可以被认为是HDR场景。
为了确定用于有效载荷突发的TET,可以使用下面的示例过程。然而,可以替代地使用其他过程。
对于每个直方图对(再次地,其中,第一直方图是直方图832,而第二直方图来自训练图像数据库304中的条目),权重w可以被施加到与训练图像数据库304中的第二直方图的条目相关联的相应的目标像素值。结果可以被平均以确定用于由直方图832所表示的场景的目标平均像素值。然后,表1中所描绘的过程或一些其他过程可以被用于确定要被用于随后的图像捕获的TET。如果场景类型是HDR,则可以确定两个或更多个目标平均像素值(和两个或更多个相应的TET)。在一些实施例中,相应的TET可以包括回退TET。然而,可能未使用回退TET来捕获图像,除非在第二图像捕获314期间所捕获的短图像和长图像的融合失败。可替换地,仅在第一图像捕获306期间所捕获的图像可以被用于形成输出图像316。
具体地,这里的实施例可以支持若干变型例。在一个可能的变型例中,可以在图像处理308期间确定短TET和长TET。然后,在第二图像捕获314期间,可以分别地使用短TET和长TET来捕获短图像和长图像。如果组合的短图像和组合的长图像的对准和/或融合失败,则组合的短图像或组合的长图像可以被提供为输出图像316或输出图像316的一部分。
在另一个可能的变型例中,可以在图像处理308期间确定短TET、长TET以及回退TET。然后,在第二图像捕获314期间,可以分别地使用短TET、长TET以及回退TET来捕获短图像、长图像以及回退图像。如果组合的短图像和组合的长图像的对准和/或融合失败,则回退图像或组合的回退图像中的一个可以被提供为输出图像316或被提供为输出图像316的至少一部分。组合的回退图像可以以与组合的短图像和/或组合的长图像相似的方式被构建。
在又一个可能的变型例中,可以在图像处理308期间确定短TET、长TET以及回退TET。然后,在第二图像捕获314期间,可以仅分别地使用短TET和长TET来捕获短图像和长图像。如果组合的短图像和组合的长图像的对准和/或融合失败,则组合的短图像或组合的长图像可以被选择并且被提供为输出图像316或被提供为输出图像316的至少一部分。然而,在此变型例中,如果回退TET大于所选择的融合图像的TET,则数字增益可以被施加(例如,对于像素值的乘法运算)以将输出图像的亮度调节为与回退TET相对应的亮度。因此,输出图像316可以展现出与使用回退TET所捕获的图像的亮度一致的亮度。
图9描绘了根据示例实施例的流程图。在步骤900处,可以通过图像传感器来捕获场景的第一多个图像。第一多个图像中的每个图像可以使用不同的TET被捕获。在步骤902处,多个图像中的图像可以被下采样。在步骤904处,基于下采样的图像的像素值,可以构建像素值直方图。
在步骤906处,像素值直方图可以与一个或更多个参考像素值直方图比较。将像素值直方图与一个或更多个参考像素值直方图比较可以涉及:针对像素值直方图和一个或更多个参考像素值直方图中的每个,确定相应的相似性度量,并且基于相似性度量的逆来确定相应的权重。一个或更多个参考像素值直方图可以与相应的目标平均像素值相关联,并且有效载荷TET可以基于被应用到相应的目标平均像素值的相应权重之和。
在步骤908处,可以基于将像素值直方图与一个或更多个参考像素值直方图比较来确定有效载荷TET。可以使用有效载荷TET来捕获场景的至少一个额外的图像。
在一些实施例中,对多个图像中的图像进行下采样可能涉及:形成多个高平均下采样图像和第二多个低平均下采样图像。额外地,基于下采样图像的像素值来构建像素值直方图可能涉及基于多个高平均下采样图像和多个低平均下采样图像的像素值来构建像素值直方图。
形成多个高平均下采样图像中的每个图像可以涉及:将多个高平均下采样图像中的每个图像划分为相应paxel的非重叠矩阵,计算每个paxel的平均像素值,以及计算每个paxel的高平均像素值。paxel的非重叠矩阵中的每个像素可以表示具有1×2、2×1、2×2或更大的维度的多个图像中的相应图像的至少一个像素图块。平均像素值可以是相应paxel内的所有像素的相应的平均值,并且高平均像素值可以是具有大于或等于相应paxel的平均像素值的相应paxel内的所有像素的相应的平均值。
形成多个低平均下采样图像的每个图像可能涉及计算每个paxel的低平均像素值。低平均像素值可以是具有小于相应paxel的平均像素值的值的相应paxel内的所有像素的相应的平均值。
对多个图像中的图像进行下采样可以进一步涉及:计算用于每个paxel的相应的高像素分数和用于每个paxel的相应的低像素分数。高像素分数可以是(i)具有大于或等于相应paxel的平均像素值的值的相应paxle内的像素与(ii)相应paxel内的总像素的相应的比率。低像素分数可以是(i)具有小于相应paxel的平均像素值的值的相应paxel内的像素与(ii)相应paxel内的总像素的相应的比率。
基于下采样的图像的像素值来构建像素值直方图可以涉及:将来自多个高平均下采样图像的图像组合到组合的高平均下采样图像,并且将来自多个低平均下采样图像的图像组合到组合的低平均下采样图像。将来自第一多个高平均下采样图像的图像组合到组合的高平均下采样图像可以涉及:针对组合的高平均下采样图像中的每个像素位置,从高平均下采样图像中的一个中的相同像素位置中选择高平均像素值。将来自第二多个低平均下采样图像的图像组合到组合的低平均下采样图像可以涉及:针对组合的低平均下采样图像中的每个像素位置,从低平均下采样图像中的一个中的相同像素位置中选择低平均像素值。
基于下采样的图像的像素值来构建像素值直方图可以进一步包括:向像素值直方图添加表示组合的高平均下采样图像中的每个高平均像素值的量的第一集合和表示组合的低平均下采样图像中的每个低平均像素值的量的第二集合。量的第一集合中的量基于相应的相关联的高像素分数。量的第二集合中的量基于相应的相关联的低像素分数。
在图9中所描绘的步骤可以通过下述来执行:诸如数字相机设备100的相机设备、诸如计算设备200的计算设备和/或两个或更多个相区分的设备。例如,在一些实施例中,(一个或多个)图像捕获步骤可以通过图像传感器来执行,并且剩余的步骤可以通过单独的计算设备来执行。其他布置是可能的。此外,图9中所描绘的流程图可以根据在本说明书和/或附图中所公开的变型例而修改。
因此,诸如图1A至图1D所示的示意性的设备可以使用第一相机系统来记录视频或用于取景,而同时使用第二相机系统来实施包括或基于图9中所示的方法的自动曝光处理。例如,数字相机设备100的相机112A可以被用于记录场景的视频。在相机112A记录场景的视频时,数字相机设备100可以使用相机112B来实施自动曝光处理以建立场景的HDR直方图,并且将直方图与参考数据进行比较,以便对由相机112A所使用的曝光提供记录中调节。
E.自动对焦
通常,自动对焦(AF)系统可以包括一些种类的传感器、自动地确定对焦设置的控制系统、以及根据对焦设置来调节相机的机械组件(例如,镜头)的致动器。由传感器所提供的数据可以被用于评估图像传感器记录或将记录环境的方式,并且被用于响应地控制可以改变相机的对焦的机电系统(例如,通过使用致动器来移动镜头的组件和/或改变光圈的大小)。各种类型的自动对焦技术可以由诸如数字相机设备100的图像捕获设备利用。
许多消费者相机包括被动自动对焦系统,该被动自动对焦系统通过被动地分析进入光学系统的图像来将透镜对焦在对象上(例如,其不将被控制的光束引导到对象上以便进行对焦)。典型的被动自动对焦技术包括“相位检测”自动对焦(PD-AF)和“对比度检测”自动对焦(CD-AF),其也可以被称为“对比度测量”自动对焦。
被动自动对焦处理典型地涉及计算系统(例如,处理器)对机械镜头系统进行操作以调节镜头的对焦设置(例如,改变对焦距离或景深),并且然后分析从自动对焦传感器所生成的图像是否对焦。如果生成的图像未被满意地对焦,则计算系统再次调节对焦设置并且评估生成的图像中的对焦特性。在一些实施方式中,对于对焦设置的每个调节可以基于图像如何失焦(或图像的特定部分如何失焦)的一些测量来确定。在其他实施方式中,调节可以是预先确定的。在任意情况下,可以重复该处理直到生成的图像被视为被满意地对焦为止。
如以上所注意地,诸如DSLR的一些相机可以包括专用自动对焦系统,其可以包括一个或更多个自动对焦专用的传感器。这样的相机通常不使用被用于捕获图像的图像传感器来用于自动对焦的目的。此外,这样的相机通常包括PD-AF系统,在该系统中,通过镜头所接收到的光被分裂为一对图像。然后,一对图像中的两个图像可以被引导到自动对焦传感器上并且被分析以确定镜头是否对焦。
一个通用系统的PD-AF系统是辅助图像配准(SIR)的通过透镜相位检测系统。SIRPD-AF系统利用束分裂器来将入射光引导朝向自动对焦传感器。更具体地,位于镜头的相对侧的微透镜可以将来自于源自镜头的相对侧的光引导朝向自动对焦传感器,这可以有效地创建测距仪,其中,两个图像被投影在自动对焦传感器上。然后,由两个微透镜所形成的图像被比较以确定分离误差,该分离误差被评估以确定镜头是否正确地被对焦。如果分离误差指示对象失焦(例如,如果分离误差不为零或者不在与零的一定阈值内),则对于对焦的调节可以基于该分离误差而被计算,并且镜头可以根据所调节的设置而被移动。
当在器件设计中,组件的大小和/或成本是显著的时,器件可以利用不包括单独的自动对焦系统的相机系统。对于许多移动电话和/或平板式计算机是这样的情况,其经常包括使用同一图像传感器用于自动对焦和图像捕获两者的相机系统。在很多情况中,诸如移动电话和平板式设备的便携式设备中的相机使用CD-AF用于成像的目的。
虽然CD-AF系统可以使用对于自动对焦专用的单独的传感器,但是大多数CD-AF系统使用同一图像传感器用于图像捕获和自动对焦两者。CD-AF系统通过测量在传感器上所检测的图像中的对比度来确定对象是否对焦。为了这样做,CD-AF系统可以在图像中的各个点评估对比度的改变,其中对比度越高被解释为图像越锐利的指示。
更具体地,与图像对象失焦时相比,当所捕获的对象在相邻像素中对焦时,传感器的相邻像素之间的强度的差异通常较大。此外,CD-AF系统可以测量特定像素处的对比度,或确定在特定像素组上的平均。在任一情况中,CD-AF系统然后可以调节对焦设置直到检测到阈值对比度为止(并且可能直到检测到最大对比度为止)。例如,示意性的CD-AF系统可以使图像数据通过高通滤波器,并且调节镜头的对焦直到来自滤波器的输出超过阈值为止(并且可能直到滤波器的输出在其最高等级处为止)。
捕获具有不同对焦设置的场景的多个图像的处理可能涉及对焦扫描。当捕获静态摄影时,相机系统可以仅在拍照之前执行对焦扫描一次。当记录视频时,相机系统可以连续地执行对焦扫描,或至少周期性地执行对焦扫描。注意地,当利用主图像传感器的CD-AF系统在记录视频的同时执行对焦扫描时,这可以导致视频的可察觉的失焦的短片段。注意,采用不同的对焦设置来捕获场景的多个图像的处理还可以涉及在一个方向或另一个方向上的微小的对焦搜寻。
因此,诸如图1A至图1D的示意性的设备可以使用第一相机系统来记录视频,而同时使用第二相机系统代表第一相机系统来实施CD-AF。例如,数字相机设备100的相机112A可以被用于记录场景的视频。当相机112A记录场景的视频时,数字相机100可以使用相机112B来实施CD-AF处理,以便对于相机112A的对焦设置进行确定并且进行记录中调节。
III.用于具有多个相机的设备的示意性方法
图10A示出了根据示例实施例的方法1000。更具体地,方法1000涉及设备使用第一相机来捕获第一图像数据,其中,第一相机初始地使用用于图像设置的第一值来捕获第一图像数据,如通过方框1002所示。然后,在第一相机捕获第一图像数据的同时,设备使用第二相机来确定用于图像设置的更新后的值,其中,第一相机和第二相机被布置在设备上并且被定向在基本上相同的方向上,如通过方框1004所示。然后,设备使得第一相机使用用于图像设置的更新后的值,以继续捕获第一图像数据,如通过方框1006所示。
在另一个方面中,当设备包括三个或更多个相机时,设备可以使用两个或更多个相机以用于图像捕获,而同时使用一个或更多个其他相机来提供用于正在被用于捕获图像的所有相机的自动对焦、自动曝光和/或自动白平衡。
此外,方法1000可以被实施为用于各种类型的图像捕获。例如,第二相机可以被用于更新由第一相机所使用的图像设置来捕获视频。作为另一个示例,第二相机可以被用于更新由第一相机所使用的图像设置,以生成用于取景器中的显示的图像数据。其他示例也是可能的。
在又一方面中,注意代表其他相机来确定设置的一个或更多个相机在确定设置的同时可以在低电力模式下操作。例如,执行自动对焦处理的辅助相机可以在这样做的同时使用剪切以节省电力。作为另一个示例,执行自动曝光处理的辅助相机可以使用用于像素的重新划分(binning)或跳过技术来节省电力。用于确定各种相机设置的其他低电力技术也是可能的。
A.使用用于实验和调节处理的第二相机系统
图10B示出了可以通过设备实施的以使用第二相机来确定用于图像设置的更新后的值的方法1050,诸如在方法1000的方框1004处。具体地,设备可以使得第二相机使用用于图像设置的测试值来捕获第二图像数据,如通过方框1004a所示。然后,设备可以确定第二图像数据是否满足一个或更多个图像准则,如通过方框1004b所示。如果第二图像数据满足一个或更多个图像准则,则设备可以设置图像设置为测试值,如通过方框1004c所示。否则,设备可以改变用于图像设置的测试值,如通过方框1004d所示。然后,设备可以重复方框1004a至1004d,直到在方框1004c处确定第二图像数据满足一个或更多个准则为止。
在一些实施方式中,方法1000和方法1050可以提供自动对焦处理,其使用第二相机来调节用于第一相机的对焦,而同时第一相机正在记录视频或取景。例如,为了在移动设备的第一相机正在捕获场景的视频的同时提供自动对焦,移动设备的第二相机可以被用于执行场景的一个或更多个对焦扫描,使得第一相机的对焦设置可以被调节。在一些实施方式中,与如果同一相机执行对焦扫描和捕获视频相比,该对焦扫描可以扫描更大数量和或范围的对焦设置。进而,自动对焦处理的结果可以提高。例如,当第二相机执行用于第一相机的自动对焦时,自动对焦处理可以更多地响应于场景中突然的或激烈的改变。此外,该配置可以帮助降低并且可能消除在由第一相机所捕获的视频中的对焦搜寻的可视化影响。
在一些实施例中,可以假定第二图像捕获系统的镜头与被对焦的物体之间的距离,和第一图像捕获系统的透镜与物体之间的距离相同(或至少针对对焦的目的足够接近)。在这样的实施例中,第一图像捕获系统可以简单地使用由第二图像捕获系统所确定的对焦设置(例如,与被对焦的对象相对应的(一个或多个)设置)。
在其他实施例中,使用第二图像捕获系统所确定的对焦设置(例如,焦距)可以针对第一图像捕获系统的使用而被调节。例如,使用第二相机所确定的对焦设置可以根据第一相机与第二相机之间的基线(即,两个相机之间的距离)而针对第一相机被调节。为了这样做,可以基于下述来确定从第一相机的镜头到对象的距离:(a)第二相机的镜头与对象之间的距离和角度,以及(b)第一相机与第二相机之间的基线。然后,可以根据从第一相机的透镜到对象的距离与从第二相机的透镜到对象的距离的比率来调节由第二相机所使用的焦距,以便确定第一相机的透镜与对象之间的距离。用于第一相机的(一个或多个)对焦设置然后可以被设置为使得第一相机的焦距和对象与第一相机的镜头之间的距离对准。其他示例也是可能的。
额外地或可替换地,方法1000和方法1050可以在第一图像捕获系统正在记录视频或取景的同时提供自动白平衡处理,其使用第二图像捕获系统来确定用于第一图像捕获系统的白平衡设置。在这样的实施例中,第二图像捕获系统可以使用现在已知的或稍后开发的任何白平衡处理。
此外,方法1000和方法1050可以提供自动曝光处理,其使用第二图像捕获系统来确定用于第一图像捕获系统的曝光。例如,第二相机可以实施下述自动曝光处理:向上或向下调节TET,直到平均像素值等于目标平均像素值,或与目标平均像素值偏差了少于预先确定的量。其他示例也是可能的。
B.使用用于基于模型设置的第二相机
除了迭代实验和调节处理之外或与迭代实验和调节处理可替换的,计算设备可以使用来自第二相机系统的图像数据来对正在捕获图像数据的第一相机的设置进行基于模型的更新。例如,在第一相机正在记录视频的同时,第二相机可以被用于自动曝光处理。
作为具体的示例,图10C示出了可以由设备所实施的以使用第二相机来提供用于基于模型的自动曝光处理的数据的方法1070。方法1070例如可以在方法1000的方框1040处被实施。此外,方法1070可以在设备的第一相机正在记录场景的视频的同时被反复地执行,以使用设备的第二相机来提供用于第一相机的自动曝光处理。
通过实施方法1070,移动设备的第二相机可以被用于捕获图像数据,移动设备(或与移动设备通信的远程设备)通过该图像数据可以渐进地构建场景的HDR直方图,该图像数据被更新为由第二相机采用不同的曝光设置捕获的新的图像数据。渐进地构建的直方图可以周期性地或可能甚至同时地被与参考数据比较,以便对第一相机的曝光提供记录中调节。
如通过方框1072所示,方法1070涉及计算设备操作第二图像捕获系统来捕获场景的多个第二图像,其中,使用用于曝光设置的不同值来捕获多个图像中的每个图像。在方框1074处,计算设备下采样多个第二图像。然后,计算设备可以基于下采样的图像的像素值来构建像素值直方图,如通过方框1076所示。此外,计算设备可以将像素值直方图与一个或更多个参考像素值直方图比较,如通过方框1078所示。然后,计算设备可以基于像素直方图与一个或更多个参考像素值直方图的比较来确定用于曝光设置的更新后的值,如通过方框1080所示。
在一些实施例中,方框1080可以涉及确定由第一图像捕获系统使用以继续捕获第一图像数据的TET。因此,方法1070可以在第一相机进行的视频记录期间被重复多次,使得由第一相机所使用的捕获视频的TET可以贯穿记录被调节多次。类似地,方法1070可以在第一相机正在捕获用于在取景器中所呈现的图像数据的同时被重复多次,使得第一相机的TET可以在捕获用于取景器的图像数据的同时被调节多次。
在又一方面中,在方框1078处,像素值直方图与一个或更多个参考像素值直方图的比较可以使用各种技术完成。例如,像素值直方图与一个或更多个参考像素值直方图的比较可以涉及针对像素值直方图和一个或更多个参考像素值直方图中的每个来确定相应的相似性度量,并且基于相似性度量的逆来确定相应的权重。一个或更多个参考像素值可以与相应的目标平均像素值相关联,并且在方框1080处,可以基于被施加到相应的目标平均像素值的相应权重之和来确定TET。用于第一相机的TET然后可以被相应地更新。
在一些实施例中,对多个图像中的图像进行下采样可以涉及形成多个高平均下采样的图像和第二多个低平均下采样图像。额外地,基于下采样的图像的像素值来构建像素值直方图可以涉及基于多个高平均下采样图像和多个低平均下采样图像的像素值来构建像素值直方图。
形成多个高平均下采样图像中的每个图像可以涉及:将多个高平均下采样图像中的每个图像划分为相应的paxel的非重叠矩阵,计算每个paxel的平均像素值,以及计算每个paxel的高平均像素值。paxel的非重叠矩阵中的每个像素可以表示具有1×2、2×1、2×2或更大的维度的多个图像中的相应图像的至少一个像素图块。平均像素值可以是相应paxel内的所有像素的相应的平均值,并且高平均像素值可以是具有大于或等于相应paxel的平均像素值的相应paxel内的所有像素的相应的平均值。
形成多个低平均下采样图像的每个图像可能涉及计算每个paxel的低平均像素值。低平均像素值可以是具有小于相应paxel的平均像素值的值的相应paxel内的所有像素的相应的平均值。
对多个图像中的图像进行下采样可以进一步涉及:计算用于每个paxel的相应的高像素分数和用于每个paxel的相应的低像素分数。高像素分数可以是(i)具有大于或等于相应paxel的平均像素值的值的相应paxle内的像素与(ii)相应paxel内的总像素的相应比率。低像素分数可以是(i)具有小于相应paxel的平均像素值的值的相应paxel内的像素与(ii)相应paxel内的总像素的相应比率。
基于下采样的图像的像素值来构建像素值直方图可以涉及:将来自多个高平均下采样图像的图像组合到组合的高平均下采样图像,并且将来自多个低平均下采样图像的图像组合到组合的低平均下采样图像。将来自第一多个高平均下采样图像的图像组合到组合的高平均下采样图像可以涉及:针对组合的高平均下采样图像中的每个像素位置,从高平均下采样图像中的一个中的相同像素位置中选择高平均像素值。将来自第二多个低平均下采样图像的图像组合到组合的低平均下采样图像可以涉及:针对组合的低平均下采样图像中的每个像素位置,从低平均下采样图像中的一个中的相同像素位置中选择低平均像素值。
基于下采样的图像的像素值来构建像素值直方图可以进一步包括:向像素值直方图添加表示组合的高平均下采样图像中的每个高平均像素值的量的第一集合和表示组合的低平均下采样图像中的每个低平均像素值的量的第二集合。量的第一集合中的量基于相应的相关联的高像素分数。量的第二集合中的量基于相应的相关联的低像素分数。
注意以上的利用高平均像素值和低平均像素值的分裂paxel技术仅是构建像素值直方图的一个方式。在其他情况中,以上所描述的分裂paxel技术可以被省略,并且直方图可以从下采样的图像直接地创建。用于生成像素值直方图的其他技术也是可能的。
注意用于自动曝光处理的第二相机的使用——诸如方法1070——可能允许关于曝光的有意义的实验,其可能提高自动曝光处理的结果。此外,因为场景的直方图可以在视频记录期间渐进地构建,所以直方图可以随着视频记录的进展而改进。因此,场景的记录持续越长,也可以改进自动曝光处理的结果。
C.使用一个或更多个额外的相机来更新用于第一相机的多个图像设置
在一些实施例中,设备可以使用诸如方法1000的示例方法来调节两个或更多个图像设置。方法1000或其部分可以针对两个或更多个不同类型的图像设置而实施。这样,在第一图像捕获系统正在捕获场景的第一图像数据的同时,两个或更多个不同类型的图像设置中的所有可以针对第一图像捕获系统而被更新。
作为具体示例,在第一相机设备正在捕获图像数据(例如,记录视频或捕获一群静态图像)的同时,设备上的一个或更多个第二相机可以被用于并发地更新用于同一设备上的第一相机的对焦设置和曝光设置两者。作为另一个具体示例,在第一相机设备捕获图像数据的同时,设备上的一个或更多个第二相机可以被用于更新用于第一相机的近场对焦设置和远场对焦设置。例如,在第一相机正在捕获视频的同时,第二相机可以在远离设备的距离处执行对焦扫描或对焦搜寻,并且第三相机可以在接近设备的距离处执行对焦扫描或对焦搜寻。
此外,注意设备上的一个或更多个第二相机还可以被用于并发地更新用于并发地捕获图像数据的同一设备上的两个或更多个其他相机的多个设置(例如,对焦设置和曝光设置)。例如,第一相机可以执行AF处理并且第二相机可以同时地执行自动曝光处理,以便调节用于捕获立体视频(例如,创建3D视频素材)的第三相机和第四相机的对焦设置和曝光设置。其他示例也是可能的。
在一些实施例中,设备可以使用一个辅助相机来更新用于正在记录视频的第一相机的多个图像设置。例如,方法1000可以进一步涉及计算设备在(a)操作第二图像捕获系统以更新用于第一图像捕获系统的第一图像设置和(b)操作第二图像捕获系统以更新第二图像设置之间交替。
作为示例,当第一相机正在记录视频时,计算设备可以在下述之间向前和向后切换:(a)使用第二相机来确定用于第一相机的对焦设置;和(b)使用同一第二相机来确定用于第一相机的曝光设置。
作为另一个示例,当第一相机正在记录视频时,计算设备可以在下述之间向前和向后切换:(a)使用第二相机来确定用于第一相机的对焦设置;和(b)使用同一第二相机来确定用于第一相机的白平衡设置。
以及,作为又一个示例,当第一相机正在记录视频时,计算设备可以在下述之间轮换:(a)使用第二相机来确定用于第一相机的对焦设置;(b)使用同一第二相机来确定用于第一相机的白平衡设置;以及(c)使用同一第二相机来确定用于第一相机的曝光设置。其他示例也是可能的。
在一些实施例中,示例方法可以通过包括三个或更多个相机的设备来实施。在这样的设备中,两个或更多个额外的相机可以被用于同时更新用于正在记录视频的第一相机的不同的图像设置。这样,方法1000可以进一步涉及:在第一图像捕获系统正在捕获第一图像数据时:(a)通过计算设备来操作第三图像捕获系统以确定用于第二图像设置的更新后的值;和(b)向第一图像捕获系统发送指示使用用于第二图像设置的更新后的值来继续捕获第一图像数据的指令。
作为示例,当第一相机正在记录视频时,第二相机可以被用于确定用于第一相机的对焦设置(例如,用于自动对焦),而同时第三相机可以同时地被用于确定用于第一相机的曝光设置(例如,用于自动曝光)。作为另一个示例,当第一相机正在记录视频时,计算设备可以同时地:(a)使用第二相机来更新第一相机的对焦;(b)使用第三相机来更新用于第一相机的白平衡;以及(c)使用第四相机来更新第一相机的曝光。其他示例也是可能的。此外,注意,这样的功能可以通过阵列配置的相机的集合来实施,其所有均捕获图像数据。然而,其他配置也是可能的。
此外,当设备包括三个或更多个相机时,一个相机可以确定用于其他相机中的两个或更多个的一个或多个设置。例如,设备上的相机可以代表设备上的两个或更多个其他相机来执行自动对焦处理、自动曝光处理和/或自动白平衡处理。其他示例也是可能的。
IV.结论
以上详述的说明书参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中,相似的符号通常标识相似的组件,除非上下文指示并非如此。在详述的说明书、附图和权利要求中所描述的示意性的实施例不意欲为限制性的。其他实施例可以被利用,并且可以进行其他改变,而不脱离这里所呈现的主体的范围。将容易地理解,如这里通常所描述地和在附图中所示地,本公开的各方面可以以各种广泛的不同配置被布置、替换、组合、分离和设计,所有这些在这里都明确地设想到了。
关于附图中的和如在这里所讨论的消息流图、情境和流程图中的任何或所有,每个步骤、方框和/或通信可以代表根据示例实施例的信息的处理和/或信息的传输。替选实施例被包括在这些示例实施例的范围内。在这些替选实施例中,例如,依赖于所涉及的功能,被描述为步骤、方框、传输、通信、请求、响应和/或消息的功能可以不按照所示出的或所讨论的顺序被执行,包括按照基本上并发地或相反的顺序被执行。此外,更多的或更少的步骤、方框和/或功能可以与这里所讨论的消息流图、情境和流程图中的任何一起使用,并且这些消息流图、情境和流程图可以部分地或整体地彼此组合。
代表信息的处理的步骤或方框可以与可以被配置为执行这里所描述的方法或技术的具体逻辑功能的电路相对应。可替换地或额外地,代表信息的处理的步骤或方框可以与程序代码(包括相关数据)的模块、片段或部分相对应。程序代码可以包括一个或更多个指令,该指令由处理器可执行以用于实施方法或技术中的具体的逻辑功能或动作。程序代码和/或相关数据可以被存储在诸如存储设备的任何类型的计算机可读介质上,包括盘驱、硬驱或其他存储媒介。
计算机可读介质还可以包括非暂态计算机可读媒介,诸如像寄存器存储器、处理器高速缓存和/或随机存取存储器(RAM)那样短时间段地存储数据的计算机可读媒介。计算机可读媒介还可以包括较长时间段地存储程序代码和/数据的非暂态计算机可读媒介,诸如像例如只读存储器(ROM)、光盘或磁盘和/或压缩盘只读存储器(CD-ROM)那样的中等的或永久的长期存储装置。计算机可读媒介还可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。
此外,代表一个或更多个信息传输的步骤或方框可以与同一物理设备中的软件模块和/或硬件模块之间的信息传输相对应。然而,其他信息传输可能是在不同的物理设备中的软件模块和/或硬件模块之间。
虽然这里已经公开了各种方面和实施例,但是其他方面和实施例对于本领域技术人员将是明显的。这里所公开的各种方面和实施例出于示意的目的而不意欲为限制性的,真实的范围由下面的权利要求所指示。
Claims (27)
1.一种使用第二相机来调节第一相机的设置的方法,包括:
通过计算设备来操作第一图像捕获系统以捕获场景的第一图像数据,其中,所述第一图像捕获系统初始地使用用于第一图像设置的第一值来捕获所述第一图像数据;以及
在所述第一图像捕获系统正在捕获所述第一图像数据的同时:
通过所述计算设备来操作第二图像捕获系统以确定用于所述第一图像设置的更新后的值,其中,所述第一图像捕获系统和所述第二图像捕获系统被布置在给定设备上并且被定向在基本上相同的方向上;以及
将指示使用用于所述第一图像设置的更新后的值来继续捕获所述第一图像数据的指令发送到第一图像捕获系统;
其中,所述第一图像设置包括用于所述第一图像捕获系统的曝光时间,以及
其中,操作所述第二图像捕获系统来确定用于所述第一图像设置的更新后的值包括:
操作所述第二图像捕获系统来捕获场景的多个第二图像,其中,使用不同的曝光时间来捕获多个第二图像中的每个图像;
从场景的多个第二图像来构建像素值直方图;
将像素值直方图与多个参考像素值直方图中的每个进行比较,以针对像素值直方图和所述参考像素值直方图中的每个,确定相应的相似性度量;
基于相应的相似性度量来确定所述多个参考像素值直方图中的每个的相应的权重;以及
基于参考像素值直方图的相应的权重来确定用于所述第一图像捕获系统的曝光时间。
2.根据权利要求1所述的方法,其中,确定曝光时间包括确定用于由所述第一图像捕获系统使用以继续捕获所述第一图像数据的总曝光时间(TET)。
3.根据权利要求1所述的方法,其中,将所述像素值直方图与所述多个参考像素值直方图中的每个进行比较包括:
针对所述像素值直方图和所述多个参考像素值直方图中的每个,来确定相应的相似性度量;以及
基于所述相似性度量的逆来确定相应的权重。
4.根据权利要求3所述的方法,其中,所述多个参考像素值直方图与相应的目标平均像素值相关联,并且其中,基于被施加到所述相应的目标平均像素值的相应的权重之和来确定用于所述曝光时间的更新后的值。
5.根据权利要求1所述的方法,其中,操作所述第二图像捕获系统来确定用于所述第一图像设置的更新后的值进一步包括:
(a)使得所述第二图像捕获系统使用用于所述第一图像设置的测试值来捕获第二图像数据;
(b)确定所述第二图像数据是否满足一个或更多个图像准则;
(c)如果所述第二图像数据满足所述一个或更多个图像准则,则设置所述第一图像设置为所述测试值;以及
(d)否则,改变用于所述第一图像设置的所述测试值,并且然后重复(a)至(d)直到在(c)确定所述第二图像数据满足所述一个或更多个准则为止。
6.根据权利要求1所述的方法,其中,所述第一图像数据包括视频。
7.根据权利要求1所述的方法,其中,所述第一图像数据包括用于取景器中的显示的图像数据。
8.根据权利要求1所述的方法,其中,所述第一图像设置包括对焦设置。
9.根据权利要求1所述的方法,其中,所述第一图像设置包括曝光设置。
10.根据权利要求1所述的方法,其中,所述第一图像设置包括白平衡设置。
11.根据权利要求1所述的方法,进一步包括:执行权利要求1所述的方法以便在所述第一图像捕获系统正在捕获所述场景的所述第一图像数据的同时,更新用于所述第一图像捕获系统的两个或更多个图像设置中的每个,其中,所述两个或更多个图像设置包括所述第一图像设置和第二图像设置。
12.根据权利要求11所述的方法,其中,所述计算设备在(a)操作所述第二图像捕获系统以更新所述第一图像设置和(b)操作所述第二图像捕获系统以更新所述第二图像设置之间交替。
13.根据权利要求11所述的方法,其中,第三图像捕获系统也被布置在所述给定设备上并且被定向在与所述第一图像捕获系统和所述第二图像捕获系统两者基本上相同的方向上,以及其中,所述方法进一步包括:
在所述第一图像捕获系统正在捕获所述第一图像数据的同时:
通过所述计算设备来操作所述第三图像捕获系统以确定用于所述第二图像设置的更新后的值;以及
向所述第一图像捕获系统发送指示使用用于所述第二图像设置的更新后的值以继续捕获所述第一图像数据的指令。
14.根据权利要求11所述的方法,其中,所述两个或更多个图像设置包括对焦设置和曝光设置。
15.根据权利要求11所述的方法,其中,所述两个或更多个图像设置包括近场对焦设置和远场对焦设置。
16.根据权利要求11所述的方法,其中,所述第一图像设置包括对焦设置,以及其中,所述第二图像设置包括曝光设置。
17.根据权利要求1所述的方法,其中,所述第二图像捕获系统初始地被配置为捕获静态图像,以及其中,所述方法进一步包括:
在使用所述第一图像捕获系统开始捕获所述第一图像数据之前,重新配置所述第二图像捕获系统以代表所述第一图像捕获系统来确定用于所述第一图像设置的更新。
18.一种使用第二相机来调节第一相机的设置的系统,包括:
两个或更多个图像捕获系统,至少包括第一图像捕获系统和第二图像捕获系统,其中,所述第一图像捕获系统和所述第二图像捕获系统被定向在基本上相同的方向中;
控制系统,被配置为:
初始地操作所述第一图像捕获系统以使用用于第一图像设置的第一值来捕获第一图像数据;以及
在所述第一图像捕获系统正在捕获所述第一图像数据的同时:
操作所述第二图像捕获系统以确定用于所述第一图像设置的更新后的值;以及
使得所述第一图像捕获系统使用用于所述第一图像设置的更新后的图像值来继续捕获所述第一图像数据,
其中,所述第一图像设置包括用于所述第一图像捕获系统的曝光时间,以及
其中,为了操作所述第二图像捕获系统来确定用于所述第一图像设置的更新后的值,所述控制系统被配置为:
操作所述第二图像捕获系统来捕获场景的多个第二图像,其中,使用不同的曝光时间来捕获多个第二图像中的每个图像;
从场景的多个第二图像来构建像素值直方图;
将像素值直方图与多个参考像素值直方图中的每个进行比较,以针对像素值直方图和所述参考像素值直方图中的每个,确定相应的相似性度量;
基于相应的相似性度量来确定所述多个参考像素值直方图中的每个的相应的权重;以及
基于参考像素值直方图的相应的权重来确定用于所述第一图像捕获系统的曝光时间。
19.根据权利要求18所述的系统,其中,所确定的用于所述曝光时间的值包括用于由所述第一图像捕获系统使用来继续捕获所述第一图像数据的总曝光时间(TET)。
20.根据权利要求18所述的系统,其中,为了操作所述第二图像捕获系统以确定用于所述第一图像设置的更新后的值,所述控制系统进一步被配置为:
(a)操作所述第二图像捕获系统以使用用于所述图像设置的测试值来捕获所述场景的第二图像数据;
(b)确定所述第二图像数据是否满足一个或更多个图像准则;
(c)如果所述第二图像数据满足所述一个或更多个图像准则,则设置所述图像设置为所述测试值;以及
(d)否则,改变用于所述图像设置的所述测试值,并且重复(a)至(d)直到确定所述第二图像数据满足所述一个或更多个准则为止。
21.根据权利要求18所述的系统,其中,所述第一图像数据包括视频。
22.根据权利要求18所述的系统,其中,所述图像设置包括以下中的一项:(a)对焦设置,(b)曝光设置,以及(c)白平衡设置。
23.根据权利要求18所述的系统,其中,所述系统是移动设备,以及其中,所述第一图像捕获系统和所述第二图像捕获系统被布置在所述移动设备的第一表面的角落处。
24.根据权利要求18所述的系统,其中,所述系统是移动设备,以及其中,所述移动设备包括被定向在相同的方向上的四个图像捕获系统,其中,所述四个图像捕获系统中的两个被布置在所述移动设备的第一表面的第一角落处,以及其中,所述四个图像捕获系统中的第三个和第四个分别地被布置在所述第一表面的第二角落和第三角落处。
25.根据权利要求18所述的系统,其中,所述系统是移动设备,以及其中,所述移动设备包括被定向在相同的方向上的四个图像捕获系统,其中,在所述移动设备的第一表面的四个角落的每个处布置所述四个图像捕获系统中的一个。
26.一种其中存储有指令的非暂态计算机可读介质,所述指令通过计算设备可执行以使得所述计算设备执行功能,所述功能包括:
操作第一图像捕获系统以捕获场景的第一图像数据,其中,所述第一图像捕获系统初始地使用用于第一图像设置的第一值以捕获所述第一图像数据;以及
在所述第一图像捕获系统正在捕获所述第一图像数据的同时:
操作第二图像捕获系统以确定用于所述第一图像设置的更新后的值,其中,所述第一图像捕获系统和所述第二图像捕获系统被布置在给定设备上并且被定向在基本上相同的方向上;以及
将指示使用用于所述第一图像设置的更新后的值来继续捕获所述第一图像数据的指令发送到所述第一图像捕获系统,
其中,所述第一图像设置包括用于所述第一图像捕获系统的曝光时间,以及
其中,操作所述第二图像捕获系统来确定用于所述第一图像设置的更新后的值包括:
操作所述第二图像捕获系统来捕获场景的多个第二图像,其中,使用不同的曝光时间来捕获多个第二图像中的每个图像;
从场景的多个第二图像来构建像素值直方图;
将像素值直方图与多个参考像素值直方图中的每个进行比较,以针对像素值直方图和所述参考像素值直方图中的每个,确定相应的相似性度量;
基于相应的相似性度量来确定所述多个参考像素值直方图中的每个的相应的权重;以及
基于参考像素值直方图的相应的权重来确定用于所述第一图像捕获系统的曝光时间。
27.根据权利要求26所述的非暂态计算机可读介质,其中,确定用于所述曝光时间的值包括确定用于由所述第一图像捕获系统使用以继续捕获所述第一图像数据的总曝光时间(TET)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/041,905 US9615012B2 (en) | 2013-09-30 | 2013-09-30 | Using a second camera to adjust settings of first camera |
US14/041,905 | 2013-09-30 | ||
PCT/US2014/056413 WO2015047877A1 (en) | 2013-09-30 | 2014-09-18 | Using a second camera to adjust settings of first camera |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105765967A CN105765967A (zh) | 2016-07-13 |
CN105765967B true CN105765967B (zh) | 2019-06-04 |
Family
ID=52739784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480065311.4A Active CN105765967B (zh) | 2013-09-30 | 2014-09-18 | 使用第二相机来调节第一相机的设置的方法、系统和介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9615012B2 (zh) |
EP (1) | EP3053332B1 (zh) |
CN (1) | CN105765967B (zh) |
WO (1) | WO2015047877A1 (zh) |
Families Citing this family (163)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113472989A (zh) | 2012-11-28 | 2021-10-01 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
CN108388005A (zh) | 2013-07-04 | 2018-08-10 | 核心光电有限公司 | 小型长焦透镜套件 |
CN109120823B (zh) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
KR20150042574A (ko) * | 2013-10-11 | 2015-04-21 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9578252B2 (en) * | 2013-10-18 | 2017-02-21 | Light Labs Inc. | Methods and apparatus for capturing images using optical chains and/or for using captured images |
KR102154802B1 (ko) * | 2014-02-11 | 2020-09-11 | 삼성전자주식회사 | 전자 장치의 촬영 방법 및 그 전자 장치 |
US9344638B2 (en) | 2014-05-30 | 2016-05-17 | Apple Inc. | Constant bracket high dynamic range (cHDR) operations |
US9380218B2 (en) * | 2014-05-30 | 2016-06-28 | Apple Inc. | Highlight exposure metric and its applications |
WO2015188359A1 (zh) * | 2014-06-12 | 2015-12-17 | 深圳市大疆创新科技有限公司 | 一种图片处理方法、装置 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
WO2016025962A1 (en) * | 2014-08-15 | 2016-02-18 | The University Of Akron | Device and method for three-dimensional video communication |
TWI554098B (zh) * | 2014-10-07 | 2016-10-11 | 緯創資通股份有限公司 | 錄影裝置與錄影方法 |
US10445895B2 (en) * | 2014-11-21 | 2019-10-15 | Apple Inc. | Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale |
US9396554B2 (en) | 2014-12-05 | 2016-07-19 | Symbol Technologies, Llc | Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code |
CN112327463B (zh) | 2015-01-03 | 2022-10-14 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
US9729785B2 (en) * | 2015-01-19 | 2017-08-08 | Microsoft Technology Licensing, Llc | Profiles identifying camera capabilities that are usable concurrently |
WO2016156996A1 (en) | 2015-04-02 | 2016-10-06 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
ES2907810T3 (es) | 2015-04-16 | 2022-04-26 | Corephotonics Ltd | Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado |
US9979890B2 (en) | 2015-04-23 | 2018-05-22 | Apple Inc. | Digital viewfinder user interface for multiple cameras |
EP3304161B1 (en) | 2015-05-28 | 2021-02-17 | Corephotonics Ltd. | Bi-directional stiffness for optical image stabilization in a digital camera |
KR102336447B1 (ko) * | 2015-07-07 | 2021-12-07 | 삼성전자주식회사 | 촬영 장치 및 그 동작 방법 |
US10230888B2 (en) * | 2015-07-31 | 2019-03-12 | Qualcomm Incorporated | Sensor-based camera initialization |
KR102263924B1 (ko) | 2015-08-13 | 2021-06-11 | 코어포토닉스 리미티드 | 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라 |
CN106470336A (zh) * | 2015-08-17 | 2017-03-01 | 深圳富泰宏精密工业有限公司 | 相机色温补偿系统及智能终端 |
KR102339178B1 (ko) * | 2015-08-27 | 2021-12-14 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
EP3335077B1 (en) | 2015-09-06 | 2019-08-14 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
USD998607S1 (en) * | 2015-10-16 | 2023-09-12 | Sondhi Amit | Mobile device with multiple camera lenses |
TW201719572A (zh) * | 2015-11-19 | 2017-06-01 | 國立交通大學 | 三維模型分析及搜尋方法 |
US10212341B2 (en) * | 2015-11-20 | 2019-02-19 | Amit SONDHI | Mobile electronic device with multiple cameras |
WO2017095376A1 (en) | 2015-11-30 | 2017-06-08 | Hewlett-Packard Development Company, L.P. | Parameter adjustments based on strength change |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
JP6629454B2 (ja) * | 2015-12-28 | 2020-01-15 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 画像フュージョン方法と装置、および端末装置 |
KR102187146B1 (ko) | 2015-12-29 | 2020-12-07 | 코어포토닉스 리미티드 | 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라 |
US10352689B2 (en) | 2016-01-28 | 2019-07-16 | Symbol Technologies, Llc | Methods and systems for high precision locationing with depth values |
US10145955B2 (en) | 2016-02-04 | 2018-12-04 | Symbol Technologies, Llc | Methods and systems for processing point-cloud data with a line scanner |
US10721451B2 (en) | 2016-03-23 | 2020-07-21 | Symbol Technologies, Llc | Arrangement for, and method of, loading freight into a shipping container |
CN107230187B (zh) * | 2016-03-25 | 2022-05-24 | 北京三星通信技术研究有限公司 | 多媒体信息处理的方法和装置 |
US9805240B1 (en) * | 2016-04-18 | 2017-10-31 | Symbol Technologies, Llc | Barcode scanning and dimensioning |
CN111965919B (zh) | 2016-05-30 | 2022-02-08 | 核心光电有限公司 | 旋转滚珠引导音圈电动机 |
KR20170139408A (ko) * | 2016-06-09 | 2017-12-19 | 엘지전자 주식회사 | 듀얼 카메라가 장착된 동영상 촬영 장치 |
US9912860B2 (en) | 2016-06-12 | 2018-03-06 | Apple Inc. | User interface for camera effects |
KR102521406B1 (ko) | 2016-06-19 | 2023-04-12 | 코어포토닉스 리미티드 | 듀얼 애퍼처 카메라 시스템에서의 프레임 동기화 |
KR102520225B1 (ko) * | 2016-06-30 | 2023-04-11 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 이미지 촬영 방법 |
WO2018007981A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
KR102636272B1 (ko) * | 2016-07-26 | 2024-02-14 | 삼성전자주식회사 | 영상 촬상 장치 및 이를 포함하는 전자 시스템 |
US10776661B2 (en) * | 2016-08-19 | 2020-09-15 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting and dimensioning objects |
CN106550230A (zh) * | 2016-08-31 | 2017-03-29 | 深圳小辣椒虚拟现实技术有限责任公司 | 一种3d图像拍摄装置和方法 |
GB2554669B (en) * | 2016-09-30 | 2022-04-06 | Apical Ltd | Image processing |
US11042161B2 (en) | 2016-11-16 | 2021-06-22 | Symbol Technologies, Llc | Navigation control method and apparatus in a mobile automation system |
US10284761B2 (en) * | 2016-11-17 | 2019-05-07 | Motorola Mobility Llc | Multi-camera capture of a high dynamic range image |
US10451405B2 (en) | 2016-11-22 | 2019-10-22 | Symbol Technologies, Llc | Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue |
US10354411B2 (en) | 2016-12-20 | 2019-07-16 | Symbol Technologies, Llc | Methods, systems and apparatus for segmenting objects |
TWI626620B (zh) * | 2016-12-20 | 2018-06-11 | 廣東歐珀移動通訊有限公司 | 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質 |
US11531209B2 (en) | 2016-12-28 | 2022-12-20 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
KR102672599B1 (ko) * | 2016-12-30 | 2024-06-07 | 삼성전자주식회사 | Af 방법 및 이를 수행하는 전자 장치 |
US10250794B2 (en) | 2017-01-04 | 2019-04-02 | Motorola Mobility Llc | Capturing an image using multi-camera automatic focus |
KR102164655B1 (ko) | 2017-01-12 | 2020-10-13 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 |
US10630888B2 (en) | 2017-02-09 | 2020-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for selecting capture configuration based on scene analysis |
US10169671B2 (en) | 2017-02-17 | 2019-01-01 | Motorola Mobility Llc | Face detection with temperature and distance validation |
US10057499B1 (en) | 2017-02-21 | 2018-08-21 | Motorola Mobility Llc | Automatic exposure control convergence procedure by auxiliary camera |
IL290630B2 (en) | 2017-02-23 | 2023-10-01 | Corephotonics Ltd | Lens designs for a folded camera |
CN114137790A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的系统、移动电子装置及其方法 |
US10250795B2 (en) | 2017-03-15 | 2019-04-02 | Motorola Mobility Llc | Identifying a focus point in a scene utilizing a plurality of cameras |
US10591918B2 (en) | 2017-05-01 | 2020-03-17 | Symbol Technologies, Llc | Fixed segmented lattice planning for a mobile automation apparatus |
AU2018261257B2 (en) | 2017-05-01 | 2020-10-08 | Symbol Technologies, Llc | Method and apparatus for object status detection |
US11449059B2 (en) | 2017-05-01 | 2022-09-20 | Symbol Technologies, Llc | Obstacle detection for a mobile automation apparatus |
WO2018204342A1 (en) | 2017-05-01 | 2018-11-08 | Symbol Technologies, Llc | Product status detection system |
US11367092B2 (en) | 2017-05-01 | 2022-06-21 | Symbol Technologies, Llc | Method and apparatus for extracting and processing price text from an image set |
US10663590B2 (en) | 2017-05-01 | 2020-05-26 | Symbol Technologies, Llc | Device and method for merging lidar data |
US10949798B2 (en) | 2017-05-01 | 2021-03-16 | Symbol Technologies, Llc | Multimodal localization and mapping for a mobile automation apparatus |
US10726273B2 (en) | 2017-05-01 | 2020-07-28 | Symbol Technologies, Llc | Method and apparatus for shelf feature and object placement detection from shelf images |
CN107426471B (zh) * | 2017-05-03 | 2021-02-05 | Oppo广东移动通信有限公司 | 相机模组和电子装置 |
US10122943B1 (en) | 2017-05-05 | 2018-11-06 | Motorola Mobility Llc | High dynamic range sensor resolution using multiple image sensors |
WO2018201423A1 (en) | 2017-05-05 | 2018-11-08 | Symbol Technologies, Llc | Method and apparatus for detecting and interpreting price label text |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
CN107343158A (zh) * | 2017-07-25 | 2017-11-10 | 广东欧珀移动通信有限公司 | 加快aec收敛的方法及装置、终端设备 |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US10521914B2 (en) | 2017-09-07 | 2019-12-31 | Symbol Technologies, Llc | Multi-sensor object recognition system and method |
US10572763B2 (en) | 2017-09-07 | 2020-02-25 | Symbol Technologies, Llc | Method and apparatus for support surface edge detection |
US10891126B2 (en) * | 2017-09-11 | 2021-01-12 | Mx Technologies, Inc. | On-device feature and performance testing and adjustment |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
US10922551B2 (en) * | 2017-10-06 | 2021-02-16 | The Nielsen Company (Us), Llc | Scene frame matching for automatic content recognition |
US10200623B1 (en) * | 2017-10-17 | 2019-02-05 | Qualcomm Incorporated | Image capture setting determination in flash photography operations |
KR102261024B1 (ko) | 2017-11-23 | 2021-06-04 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
KR102091369B1 (ko) | 2018-02-05 | 2020-05-18 | 코어포토닉스 리미티드 | 폴디드 카메라에 대한 감소된 높이 페널티 |
US11112964B2 (en) | 2018-02-09 | 2021-09-07 | Apple Inc. | Media capture lock affordance for graphical user interface |
CN113467031B (zh) | 2018-02-12 | 2023-07-14 | 核心光电有限公司 | 具有光学图像稳定化的折叠摄像机、数字摄像机及方法 |
US10809078B2 (en) | 2018-04-05 | 2020-10-20 | Symbol Technologies, Llc | Method, system and apparatus for dynamic path generation |
US10740911B2 (en) | 2018-04-05 | 2020-08-11 | Symbol Technologies, Llc | Method, system and apparatus for correcting translucency artifacts in data representing a support structure |
US11327504B2 (en) | 2018-04-05 | 2022-05-10 | Symbol Technologies, Llc | Method, system and apparatus for mobile automation apparatus localization |
US10832436B2 (en) | 2018-04-05 | 2020-11-10 | Symbol Technologies, Llc | Method, system and apparatus for recovering label positions |
US10823572B2 (en) | 2018-04-05 | 2020-11-03 | Symbol Technologies, Llc | Method, system and apparatus for generating navigational data |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
CN111936908B (zh) | 2018-04-23 | 2021-12-21 | 核心光电有限公司 | 具有扩展的两个自由度旋转范围的光路折叠元件 |
US10594921B2 (en) * | 2018-04-26 | 2020-03-17 | Qualcomm Incorporated | Dual phase detection power optimizations |
JP2019197946A (ja) * | 2018-05-07 | 2019-11-14 | シャープ株式会社 | 電子機器、プログラム、制御装置、および制御方法 |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
WO2020031005A1 (en) | 2018-08-04 | 2020-02-13 | Corephotonics Ltd. | Switchable continuous display information system above camera |
CN109040589B (zh) * | 2018-08-16 | 2020-06-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
JP7150147B2 (ja) * | 2018-09-07 | 2022-10-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出 |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11506483B2 (en) | 2018-10-05 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for support structure depth determination |
US11010920B2 (en) | 2018-10-05 | 2021-05-18 | Zebra Technologies Corporation | Method, system and apparatus for object detection in point clouds |
KR102569375B1 (ko) | 2018-10-24 | 2023-08-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
KR20200053125A (ko) | 2018-11-08 | 2020-05-18 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11003188B2 (en) | 2018-11-13 | 2021-05-11 | Zebra Technologies Corporation | Method, system and apparatus for obstacle handling in navigational path generation |
US11090811B2 (en) | 2018-11-13 | 2021-08-17 | Zebra Technologies Corporation | Method and apparatus for labeling of support structures |
JP7115253B2 (ja) * | 2018-11-28 | 2022-08-09 | トヨタ自動車株式会社 | 車載カメラシステム |
US11416000B2 (en) | 2018-12-07 | 2022-08-16 | Zebra Technologies Corporation | Method and apparatus for navigational ray tracing |
US11079240B2 (en) | 2018-12-07 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for adaptive particle filter localization |
US11100303B2 (en) | 2018-12-10 | 2021-08-24 | Zebra Technologies Corporation | Method, system and apparatus for auxiliary label detection and association |
US11015938B2 (en) | 2018-12-12 | 2021-05-25 | Zebra Technologies Corporation | Method, system and apparatus for navigational assistance |
US10731970B2 (en) | 2018-12-13 | 2020-08-04 | Zebra Technologies Corporation | Method, system and apparatus for support structure detection |
US11057558B2 (en) * | 2018-12-27 | 2021-07-06 | Microsoft Technology Licensing, Llc | Using change of scene to trigger automatic image capture |
CA3028708A1 (en) | 2018-12-28 | 2020-06-28 | Zih Corp. | Method, system and apparatus for dynamic loop closure in mapping trajectories |
CN111919057B (zh) | 2019-01-07 | 2021-08-31 | 核心光电有限公司 | 具有滑动接头的旋转机构 |
WO2020183312A1 (en) | 2019-03-09 | 2020-09-17 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
CN111901475A (zh) * | 2019-05-06 | 2020-11-06 | 苹果公司 | 用于捕获和管理视觉媒体的用户界面 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
US11080566B2 (en) | 2019-06-03 | 2021-08-03 | Zebra Technologies Corporation | Method, system and apparatus for gap detection in support structures with peg regions |
US11151743B2 (en) | 2019-06-03 | 2021-10-19 | Zebra Technologies Corporation | Method, system and apparatus for end of aisle detection |
US11662739B2 (en) | 2019-06-03 | 2023-05-30 | Zebra Technologies Corporation | Method, system and apparatus for adaptive ceiling-based localization |
US11960286B2 (en) | 2019-06-03 | 2024-04-16 | Zebra Technologies Corporation | Method, system and apparatus for dynamic task sequencing |
US11200677B2 (en) | 2019-06-03 | 2021-12-14 | Zebra Technologies Corporation | Method, system and apparatus for shelf edge detection |
US11341663B2 (en) | 2019-06-03 | 2022-05-24 | Zebra Technologies Corporation | Method, system and apparatus for detecting support structure obstructions |
US11402846B2 (en) | 2019-06-03 | 2022-08-02 | Zebra Technologies Corporation | Method, system and apparatus for mitigating data capture light leakage |
CN110189277B (zh) * | 2019-06-05 | 2023-03-31 | 电子科技大学 | 一种基于经验模态分解的高动态范围图像可视化方法 |
US11575884B1 (en) | 2019-07-26 | 2023-02-07 | Apple Inc. | Display calibration system |
KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11507103B2 (en) | 2019-12-04 | 2022-11-22 | Zebra Technologies Corporation | Method, system and apparatus for localization-based historical obstacle handling |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
US11107238B2 (en) | 2019-12-13 | 2021-08-31 | Zebra Technologies Corporation | Method, system and apparatus for detecting item facings |
WO2021165764A1 (en) | 2020-02-22 | 2021-08-26 | Corephotonics Ltd. | Split screen feature for macro photography |
US11341621B2 (en) * | 2020-03-04 | 2022-05-24 | GM Global Technology Operations LLC | Enhanced imaging system for a motor vehicle |
WO2021175920A1 (en) * | 2020-03-06 | 2021-09-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods providing video conferencing with adjusted/modified video and related video conferencing nodes |
CN115299031A (zh) * | 2020-03-20 | 2022-11-04 | 深圳市大疆创新科技有限公司 | 自动对焦方法及其相机系统 |
US11822333B2 (en) | 2020-03-30 | 2023-11-21 | Zebra Technologies Corporation | Method, system and apparatus for data capture illumination control |
WO2021220080A1 (en) | 2020-04-26 | 2021-11-04 | Corephotonics Ltd. | Temperature control for hall bar sensor correction |
KR102495627B1 (ko) | 2020-05-17 | 2023-02-06 | 코어포토닉스 리미티드 | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 |
KR20240001277A (ko) | 2020-05-30 | 2024-01-03 | 코어포토닉스 리미티드 | 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법 |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
EP4202521A1 (en) | 2020-07-15 | 2023-06-28 | Corephotonics Ltd. | Point of view aberrations correction in a scanning folded camera |
US11450024B2 (en) | 2020-07-17 | 2022-09-20 | Zebra Technologies Corporation | Mixed depth object detection |
EP4065934A4 (en) | 2020-07-31 | 2023-07-26 | Corephotonics Ltd. | LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY |
KR102480820B1 (ko) | 2020-08-12 | 2022-12-22 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라의 광학 이미지 안정화 |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
US11593915B2 (en) | 2020-10-21 | 2023-02-28 | Zebra Technologies Corporation | Parallax-tolerant panoramic image generation |
US11392891B2 (en) | 2020-11-03 | 2022-07-19 | Zebra Technologies Corporation | Item placement detection and optimization in material handling systems |
US11847832B2 (en) | 2020-11-11 | 2023-12-19 | Zebra Technologies Corporation | Object classification for autonomous navigation systems |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
WO2022259154A2 (en) | 2021-06-08 | 2022-12-15 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
US11954882B2 (en) | 2021-06-17 | 2024-04-09 | Zebra Technologies Corporation | Feature-based georegistration for mobile computing devices |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1848913A (zh) * | 2005-04-05 | 2006-10-18 | 奥林巴斯映像株式会社 | 数字照相机 |
CN102761690A (zh) * | 2011-04-28 | 2012-10-31 | 佳能株式会社 | 摄像设备及其控制方法 |
Family Cites Families (132)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59137942A (ja) | 1983-01-28 | 1984-08-08 | Hitachi Ltd | 画像位置合わせ方式 |
US6204881B1 (en) | 1993-10-10 | 2001-03-20 | Canon Kabushiki Kaisha | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
US5781308A (en) | 1996-03-04 | 1998-07-14 | Hewlett-Packard Company | High speed system for threshold matrix alignment and tiling, during creation of a binary half-tone image |
US5828793A (en) | 1996-05-06 | 1998-10-27 | Massachusetts Institute Of Technology | Method and apparatus for producing digital images having extended dynamic ranges |
US6061091A (en) | 1996-05-30 | 2000-05-09 | Agfa Gevaert N.V. | Detection of and correction for specular reflections in digital image acquisition |
US6075905A (en) | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
US5926190A (en) | 1996-08-21 | 1999-07-20 | Apple Computer, Inc. | Method and system for simulating motion in a computer graphics application using image registration and view interpolation |
US6466701B1 (en) | 1997-09-10 | 2002-10-15 | Ricoh Company, Ltd. | System and method for displaying an image indicating a positional relation between partially overlapping images |
JP3667105B2 (ja) | 1997-10-01 | 2005-07-06 | 松下電器産業株式会社 | 動きベクトル検出方法及びその方法を実施する装置 |
JPH11120185A (ja) | 1997-10-09 | 1999-04-30 | Canon Inc | 情報処理装置及びその方法 |
US6101285A (en) | 1998-03-23 | 2000-08-08 | Xerox Corporation | Filter for producing continuous tone images from halftone digital images data |
JPH11341292A (ja) | 1998-05-29 | 1999-12-10 | Canon Inc | 画像処理装置及び方法及び記憶媒体 |
JP4245699B2 (ja) | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
US6864916B1 (en) | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
US6975755B1 (en) | 1999-11-25 | 2005-12-13 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JP3750462B2 (ja) | 2000-02-22 | 2006-03-01 | コニカミノルタフォトイメージング株式会社 | デジタルカメラおよび記録媒体 |
US7298402B2 (en) | 2000-10-26 | 2007-11-20 | Olympus Corporation | Image-pickup apparatus with expanded dynamic range capabilities |
US7053953B2 (en) * | 2001-12-21 | 2006-05-30 | Eastman Kodak Company | Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image |
US7173666B1 (en) | 2002-08-22 | 2007-02-06 | Smal Camera Technologies | System and method for displaying a non-standard aspect ratio image on a standard aspect ratio monitor |
JP3898606B2 (ja) | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
JP3804617B2 (ja) | 2003-02-14 | 2006-08-02 | コニカミノルタフォトイメージング株式会社 | 画像処理装置及び方法 |
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US7158168B2 (en) | 2003-05-13 | 2007-01-02 | The United States Of America As Represented By The Secretary Of The Navy | Auto Focus and Zoom Controller for controlling multiple cameras |
US7142723B2 (en) | 2003-07-18 | 2006-11-28 | Microsoft Corporation | System and process for generating high dynamic range images from multiple exposures of a moving scene |
CA2442603C (en) | 2003-10-01 | 2016-11-22 | Aryan Saed | Digital composition of a mosaic image |
US20050239104A1 (en) | 2003-11-04 | 2005-10-27 | Ferea Tracy L | Microarray controls |
US7330592B2 (en) | 2004-01-27 | 2008-02-12 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting the location and luminance transition range of slant image edges |
US20050243176A1 (en) | 2004-04-30 | 2005-11-03 | James Wu | Method of HDR image processing and manipulation |
US7667764B2 (en) | 2004-06-04 | 2010-02-23 | Konica Minolta Holdings, Inc. | Image sensing apparatus |
US7522779B2 (en) | 2004-06-30 | 2009-04-21 | Accuray, Inc. | Image enhancement method and system for fiducial-less tracking of treatment targets |
US7701499B2 (en) | 2004-12-07 | 2010-04-20 | Bright Imaging Ltd. | Method and apparatus for imaging of scenes having large intensity variance |
US7239805B2 (en) | 2005-02-01 | 2007-07-03 | Microsoft Corporation | Method and system for combining multiple exposure images having scene and camera motion |
US7626614B1 (en) | 2005-02-15 | 2009-12-01 | Apple Inc. | Transfer function and high dynamic range images |
WO2006122009A2 (en) | 2005-05-09 | 2006-11-16 | Lockheed Martin Corporation | Continuous extended range image processing |
JP4420294B2 (ja) | 2005-06-28 | 2010-02-24 | エルジー ディスプレイ カンパニー リミテッド | ミディアンフィルタリング方法及び装置 |
JP4530961B2 (ja) | 2005-06-30 | 2010-08-25 | オリンパスイメージング株式会社 | 電子的ぶれ補正装置 |
KR20080034508A (ko) | 2005-08-08 | 2008-04-21 | 요셉 러브너 | 적응형 노출 제어 |
WO2007031696A1 (en) | 2005-09-13 | 2007-03-22 | Arm Limited | Cache miss detection in a data processing apparatus |
JP4567593B2 (ja) | 2005-12-27 | 2010-10-20 | 三星デジタルイメージング株式会社 | 撮像装置および撮影方法 |
US8131111B2 (en) | 2005-12-29 | 2012-03-06 | Mtekvision Co., Ltd. | Device of processing dead pixel |
US7903168B2 (en) | 2006-04-06 | 2011-03-08 | Eastman Kodak Company | Camera and method with additional evaluation image capture based on scene brightness changes |
US8189100B2 (en) * | 2006-07-25 | 2012-05-29 | Qualcomm Incorporated | Mobile device with dual digital camera sensors and methods of using the same |
US20080030592A1 (en) | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
US7944485B2 (en) | 2006-08-30 | 2011-05-17 | Micron Technology, Inc. | Method, apparatus and system for dynamic range estimation of imaged scenes |
TW200820123A (en) | 2006-10-20 | 2008-05-01 | Primax Electronics Ltd | Method and system of generating high dynamic range image corresponding to specific scene |
US7859588B2 (en) * | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
US7548689B2 (en) | 2007-04-13 | 2009-06-16 | Hewlett-Packard Development Company, L.P. | Image processing method |
US20080278633A1 (en) | 2007-05-09 | 2008-11-13 | Mikhail Tsoupko-Sitnikov | Image processing method and image processing apparatus |
KR101341095B1 (ko) | 2007-08-23 | 2013-12-13 | 삼성전기주식회사 | 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법 |
US8026955B2 (en) * | 2007-08-30 | 2011-09-27 | Honda Motor Co., Ltd. | Camera exposure controller including imaging devices for capturing an image using stereo-imaging |
US7978258B2 (en) | 2007-08-31 | 2011-07-12 | Historx, Inc. | Automatic exposure time selection for imaging tissue |
WO2009040871A1 (ja) | 2007-09-25 | 2009-04-02 | Fujitsu Limited | 画像合成装置及び方法 |
JP4424402B2 (ja) | 2007-09-28 | 2010-03-03 | ソニー株式会社 | 撮像装置、撮像制御方法、撮像制御プログラム |
KR100911814B1 (ko) | 2007-10-08 | 2009-08-12 | 성균관대학교산학협력단 | 스테레오 영상 매칭오류 제거장치 및 이를 이용한 제거방법 |
US7777804B2 (en) | 2007-10-26 | 2010-08-17 | Omnivision Technologies, Inc. | High dynamic range sensor with reduced line memory for color interpolation |
US8600189B2 (en) | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
US8059891B2 (en) | 2007-12-30 | 2011-11-15 | Intel Corporation | Markov stationary color descriptor |
KR101442610B1 (ko) | 2008-02-18 | 2014-09-19 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
US8482620B2 (en) | 2008-03-11 | 2013-07-09 | Csr Technology Inc. | Image enhancement based on multiple frames and motion estimation |
KR20090098197A (ko) | 2008-03-13 | 2009-09-17 | 삼성디지털이미징 주식회사 | 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체 |
JP5054583B2 (ja) | 2008-03-17 | 2012-10-24 | 株式会社リコー | 撮像装置 |
US20090244301A1 (en) | 2008-04-01 | 2009-10-01 | Border John N | Controlling multiple-image capture |
KR101599875B1 (ko) | 2008-04-17 | 2016-03-14 | 삼성전자주식회사 | 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치 |
KR101257942B1 (ko) | 2008-04-23 | 2013-04-23 | 고려대학교 산학협력단 | 광역 역광보정 영상처리에서의 전처리 방법 및 장치 |
US8145015B2 (en) | 2008-04-25 | 2012-03-27 | Intel Corporation | Device, system, and method for indexing digital image frames |
US8724921B2 (en) | 2008-05-05 | 2014-05-13 | Aptina Imaging Corporation | Method of capturing high dynamic range images with objects in the scene |
FR2931288B1 (fr) | 2008-05-19 | 2010-08-20 | Thierry Prigent | Procede d'enregistrement d'images et de donnees de restauration de ces images |
KR20090127602A (ko) | 2008-06-09 | 2009-12-14 | 삼성전자주식회사 | 엔트로피를 이용한 영상 획득 방법 및 장치 |
US8035728B2 (en) | 2008-06-27 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus providing rule-based auto exposure technique preserving scene dynamic range |
US8134589B2 (en) | 2008-07-17 | 2012-03-13 | Eastman Kodak Company | Zoom by multiple image capture |
JP4561912B2 (ja) | 2008-09-12 | 2010-10-13 | ソニー株式会社 | 撮像装置、撮像方法及びプログラム |
CN101394487B (zh) | 2008-10-27 | 2011-09-14 | 华为技术有限公司 | 一种合成图像的方法与系统 |
JP5230376B2 (ja) | 2008-11-28 | 2013-07-10 | 三星電子株式会社 | 撮像装置及び撮像方法 |
KR101520068B1 (ko) | 2008-12-16 | 2015-05-13 | 삼성전자 주식회사 | 다중영상 합성장치 및 그 방법 |
US8339475B2 (en) | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
TWI395051B (zh) | 2008-12-31 | 2013-05-01 | Altek Corp | Panorama Image Automatic Shooting Method for Digital Camera |
US8675122B2 (en) * | 2009-01-16 | 2014-03-18 | Microsoft Corporation | Determining exposure time in a digital camera |
TWI393992B (zh) | 2009-02-05 | 2013-04-21 | Nat Univ Chung Cheng | High dynamic range image synthesis method |
US8228400B2 (en) | 2009-04-17 | 2012-07-24 | Sony Corporation | Generation of simulated long exposure images in response to multiple short exposures |
US8525900B2 (en) | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
WO2010123923A1 (en) | 2009-04-23 | 2010-10-28 | Zoran Corporation | Multiple exposure high dynamic range image capture |
JP2010279016A (ja) | 2009-04-30 | 2010-12-09 | Sony Corp | 固体撮像素子とその駆動方法および撮像装置 |
US8553106B2 (en) | 2009-05-04 | 2013-10-08 | Digitaloptics Corporation | Dual lens digital zoom |
BRPI0924541A2 (pt) | 2009-06-16 | 2014-02-04 | Intel Corp | Aplicações de câmera em um dispositivo portátil |
JP5319415B2 (ja) | 2009-06-22 | 2013-10-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2011010108A (ja) | 2009-06-26 | 2011-01-13 | Seiko Epson Corp | 撮像制御装置、撮像装置及び撮像制御方法 |
US8644644B2 (en) | 2009-09-14 | 2014-02-04 | Adobe Systems Incorporation | Methods and apparatus for blending images |
KR101604068B1 (ko) | 2009-09-22 | 2016-03-17 | 삼성전자주식회사 | 고대비 영상 생성 장치 및 방법 |
US9020257B2 (en) | 2009-10-08 | 2015-04-28 | International Business Machines Corporation | Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image |
WO2011044497A2 (en) | 2009-10-09 | 2011-04-14 | Edgenet, Inc. | Automatic method to generate product attributes based solely on product images |
US20110149111A1 (en) | 2009-12-22 | 2011-06-23 | Prentice Wayne E | Creating an image using still and preview |
JP4983905B2 (ja) | 2009-12-25 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、3dモデリングデータ生成方法、および、プログラム |
KR101575803B1 (ko) | 2010-01-15 | 2015-12-09 | 삼성전자 주식회사 | 저조도 환경에서의 고감도 영상 생성 방법 및 그 장치 |
WO2011093994A1 (en) | 2010-01-27 | 2011-08-04 | Thomson Licensing | High dynamic range (hdr) image synthesis with user input |
US8339508B2 (en) | 2010-02-22 | 2012-12-25 | Csr Technology Inc. | Method and apparatus for low-light imaging enhancement |
JP5445235B2 (ja) | 2010-03-09 | 2014-03-19 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US20110255786A1 (en) * | 2010-04-20 | 2011-10-20 | Andrew Hunter | Method and apparatus for determining flicker in the illumination of a subject |
EP2569615A4 (en) | 2010-05-12 | 2014-01-15 | Li Cor Inc | IMAGING WITH A WIDE DYNAMIC RANGE |
US8885978B2 (en) | 2010-07-05 | 2014-11-11 | Apple Inc. | Operating a device to capture high dynamic range images |
JP2012029029A (ja) | 2010-07-23 | 2012-02-09 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
EP2606637B1 (en) | 2010-08-23 | 2016-09-21 | Red.Com, Inc. | High dynamic range video |
US8994843B2 (en) | 2010-09-01 | 2015-03-31 | Qualcomm Incorporated | High dynamic range image sensor |
WO2012039669A1 (en) | 2010-09-20 | 2012-03-29 | Scalado Ab | Method for forming images |
US20120075489A1 (en) | 2010-09-24 | 2012-03-29 | Nishihara H Keith | Zoom camera image blending technique |
US8493500B2 (en) * | 2010-10-27 | 2013-07-23 | Apple Inc. | Auto exposure blowout prevention |
US8462221B2 (en) | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
WO2012066775A1 (ja) * | 2010-11-18 | 2012-05-24 | パナソニック株式会社 | 撮像装置、撮像方法 |
TWI433533B (zh) | 2010-11-22 | 2014-04-01 | Altek Corp | 影像擷取裝置及其影像合成方法 |
EP2667353B1 (en) | 2011-01-20 | 2019-07-10 | Panasonic Intellectual Property Management Co., Ltd. | Feature extraction unit, feature extraction method, feature extraction program, and image processing device |
US8428308B2 (en) | 2011-02-04 | 2013-04-23 | Apple Inc. | Estimating subject motion for capture setting determination |
US8611655B2 (en) | 2011-02-04 | 2013-12-17 | Apple Inc. | Hue-based color matching |
WO2012110894A1 (en) | 2011-02-18 | 2012-08-23 | DigitalOptics Corporation Europe Limited | Dynamic range extension by combining differently exposed hand-held device-acquired images |
KR101226751B1 (ko) | 2011-02-18 | 2013-01-25 | (주)앤드웍스 | 디지털기기로 해독되는 정보를 포함한 디자인코드 패턴 및 그 운영시스템 |
US8873882B2 (en) | 2011-02-28 | 2014-10-28 | Aptina Imaging Corporation | Blooming filter for multiple exposure high dynamic range image sensors |
US8593548B2 (en) | 2011-03-28 | 2013-11-26 | Aptina Imaging Corporation | Apparataus and method of automatic color shading removal in CMOS image sensors |
US9813632B2 (en) * | 2011-05-19 | 2017-11-07 | Foveon, Inc. | Method of adjusting digital camera image processing parameters |
US8620070B2 (en) | 2011-05-31 | 2013-12-31 | Korean Electronics Technology Institute | Corresponding image processing method for compensating colour |
US9077917B2 (en) | 2011-06-09 | 2015-07-07 | Apple Inc. | Image sensor having HDR capture capability |
US8754977B2 (en) * | 2011-07-28 | 2014-06-17 | Hewlett-Packard Development Company, L.P. | Second camera for finding focal target in poorly exposed region of frame taken by first camera |
JP2013038504A (ja) | 2011-08-04 | 2013-02-21 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
JP5780885B2 (ja) | 2011-08-26 | 2015-09-16 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
US9106879B2 (en) | 2011-10-04 | 2015-08-11 | Samsung Electronics Co., Ltd. | Apparatus and method for automatic white balance with supplementary sensors |
US8913153B2 (en) | 2011-10-06 | 2014-12-16 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
US8200020B1 (en) | 2011-11-28 | 2012-06-12 | Google Inc. | Robust image alignment using block sums |
KR101225482B1 (ko) * | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
US9137456B2 (en) | 2012-06-06 | 2015-09-15 | Apple Inc. | Intelligent auto-exposure bracketing |
US8446481B1 (en) | 2012-09-11 | 2013-05-21 | Google Inc. | Interleaved capture for high dynamic range image acquisition and synthesis |
US8866927B2 (en) | 2012-12-13 | 2014-10-21 | Google Inc. | Determining an image capture payload burst structure based on a metering image capture sweep |
US8866928B2 (en) | 2012-12-18 | 2014-10-21 | Google Inc. | Determining exposure times using split paxels |
TWI511559B (zh) | 2013-02-07 | 2015-12-01 | Altek Semiconductor Corp | 影像處理方法 |
US11016628B2 (en) * | 2013-05-09 | 2021-05-25 | Amazon Technologies, Inc. | Mobile device applications |
US8885976B1 (en) | 2013-06-20 | 2014-11-11 | Cyberlink Corp. | Systems and methods for performing image fusion |
-
2013
- 2013-09-30 US US14/041,905 patent/US9615012B2/en active Active
-
2014
- 2014-09-18 WO PCT/US2014/056413 patent/WO2015047877A1/en active Application Filing
- 2014-09-18 EP EP14848412.4A patent/EP3053332B1/en active Active
- 2014-09-18 CN CN201480065311.4A patent/CN105765967B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1848913A (zh) * | 2005-04-05 | 2006-10-18 | 奥林巴斯映像株式会社 | 数字照相机 |
CN102761690A (zh) * | 2011-04-28 | 2012-10-31 | 佳能株式会社 | 摄像设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2015047877A1 (en) | 2015-04-02 |
EP3053332A1 (en) | 2016-08-10 |
EP3053332B1 (en) | 2020-11-04 |
US20150092066A1 (en) | 2015-04-02 |
US9615012B2 (en) | 2017-04-04 |
CN105765967A (zh) | 2016-07-13 |
EP3053332A4 (en) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105765967B (zh) | 使用第二相机来调节第一相机的设置的方法、系统和介质 | |
CN108419023B (zh) | 一种生成高动态范围图像的方法以及相关设备 | |
US8964060B2 (en) | Determining an image capture payload burst structure based on a metering image capture sweep | |
Battiato et al. | Exposure correction for imaging devices: an overview | |
EP1924966B1 (en) | Adaptive exposure control | |
CN105100594B (zh) | 摄像装置和摄像方法 | |
US7916181B2 (en) | Method and device for creating high dynamic range pictures from multiple exposures | |
US20150002733A1 (en) | Determining Exposure Times Using Split Paxels | |
CN106797453B (zh) | 图像处理装置、摄像装置、图像处理方法以及图像处理程序 | |
JP6259185B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
CN106358030B (zh) | 图像处理装置和图像处理方法 | |
JP3873994B2 (ja) | 撮像装置、及び画像取得方法 | |
CN105814875A (zh) | 选择用于立体成像的相机对 | |
US9087391B2 (en) | Determining an image capture payload burst structure | |
WO2012098768A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 | |
US9961319B2 (en) | Image processing apparatus and control method thereof | |
CN105516611A (zh) | 摄像装置和摄影方法 | |
CN103685928B (zh) | 图像处理装置以及图像处理方法 | |
JP7077100B2 (ja) | 撮像装置およびその制御方法、並びにプログラム | |
JP2013012124A (ja) | 画像処理装置、撮像装置およびプログラム | |
CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
CN104144286A (zh) | 拍摄装置和拍摄方法 | |
WO2017071560A1 (zh) | 图片处理方法及装置 | |
Granados et al. | Contrast-use metrics for tone mapping images | |
Watson et al. | Documenting Archaeological Mortuary Features using High Dynamic Range (HDR) Imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: American California Applicant after: Google limited liability company Address before: American California Applicant before: Google Inc. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |