CN107409171A - 使用半导体光源的闪烁检测 - Google Patents

Abstract

本发明公开了用于基于由双峰部件采集的环境光线确定的频率来调整卷帘快门的曝光窗的设备和方法。由于环境光线的频率的周期与所述曝光窗口之间的相互作用，闪烁的光源可使得在捕获的图像中造成伪影。图像捕获设备包括被配置为以两种模式操作的半导体部件和被配置为基于来自所述光源的信号来补偿所述闪烁的曝光窗口控制部件。在传感器模式中，所述半导体部件可以操作以检测环境光线的所述频率。为了避免图像伪影，分析所述环境光线的所述频率，并且将曝光时间调整为所述频率的所述周期的整数倍，使得曝光与所述闪烁光源的所述周期性照明相匹配。

Description

使用半导体光源的闪烁检测

技术领域

本公开整体涉及捕获图像，并且更具体地，涉及在图像捕获时补偿环境照明中的偏差。

背景技术

当要求图像捕获设备在各种不同的环境中捕获高质量图像时，可能会出现性能欠佳的问题。例如，供图像捕获设备调用以便影响视场中对象的照明的特征部的数量相对较少。通常，可将某种类型的光源诸如闪光灯或发光二极管(LED)或其他类型的灯提供给便携式图像捕获设备，使得这些设备可以向正在被捕获的场景增加照明。

然而，照明充足的一些场景可能受到环境照明的不利影响，所述环境照明具有可能不利于提供高品质、视觉吸引力的图像的特征。在此类情况下，从设备LED闪光单元添加额外的光可能会导致过度曝光，或者可能以其他方式加重环境光线的不利特征(例如，高度照明下的饱和度)。

例如，室内环境光线的一些来源诸如荧光灯泡具有(例如，以约60Hz AC)闪烁的照明特征。荧光灯还可具有光谱卷。LED和其他光源可例如以不同频率(例如，100Hz至2KHz或更高)调制。此类开/关行为可对图像的捕获造成不利影响。短时间的相机曝光不能整合足够的时间以通过低通滤波器对环境光线进行滤波，并且卷帘快门曝光模式使得具有照明频率的曝光“差拍”。在一些系统中，相机可与提供环境光线的交流电源的频率同步。然而，便携式设备不易获得交流电源的频率。在其他系统中，可以分析所捕获的图像以确定频率，并且随后图像的曝光可被限制为频率的周期的倍数。然而，此类方法对防止所分析图像中的伪影是没有帮助的，并且此类方法需要主CPU进行分析和采样，或者当后置相机在使用时检测设备的前部的环境光线。

发明内容

本公开的实施方案描述了一种图像捕获设备，该图像捕获设备被配置为基于对来自半导体光源的信号的分析来修改卷帘快门曝光窗口，该半导体光源被配置为以照明模式作为光源以及以传感器模式作为环境光传感器交替操作以产生信号。

该设备包括曝光窗口控制部件，该曝光窗口控制部件在实施方案中基于来自半导体光源的信号来确定环境光线的频率，并且基于该频率的周期来指示初始曝光窗口的修改。初始曝光窗口还已经基于环境光线的频率之外的标准，例如用户可配置的设置、默认持续时间或来自传感器的数据确定。在一些实施方案中，修改可以使得曝光窗口的持续时间为频率的周期的整数倍。

在实施方案中，曝光窗口的修改可以避免由于环境光线的闪烁与曝光窗口的持续时间不同步(例如，不是整数倍)而导致的图像捕获伪影。

在实施方案中，当半导体光源处于照明模式时(例如，当捕获图像数据时准备照亮图像传感器的视场)，设备可捕获图像数据而不修改初始卷帘快门曝光窗口。

附图说明

图1和图1A示出了根据一些实施方案工作的图像捕获设备。

图2A和图2B分别示出了根据一些实施方案的图像传感器中的像素的布置，以及读出视频图像的帧的过程。

图3示出了在一些实施方案中，环境光线的频率和视频帧的行的读出之间的相互作用。

图4示出了在实施方案中，每个特定行的帧的亮度水平可以随着环境光线的频率而变化。

图5示出了在闪烁的环境光线中捕获的图像可表现出明暗带。

图6示出了根据一些实施方案的具有曝光窗控制部件的图像捕获设备。

图7示出了在一些实施方案中，使用LED频闪进行环境光线检测的部件。

图8示出了根据一些实施方案的用于修改卷帘快门曝光的曝光窗口的过程。

图9示出了根据一些实施方案的用于修改卷帘快门曝光的曝光窗口的过程。

图10示出了在一些实施方案中，曝光窗口可被调整为对应于环境照明的频率。

图11示出了在一些实施方案中，曝光窗口可被调整为对应于环境照明的频率。

图12示出了根据一些实施方案的图像捕获设备的系统图。

本说明书包括参考“一个实施方案”(“one embodiment”)或“实施方案”(“anembodiment”)。出现短语“在一个实施方案中”(“in one embodiment”)或“在实施方案中”(“in an embodiment”)不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何适当的方式结合。

“包括。”该术语是开放式的。当在所附权利要求书中使用时，该术语不排除附加的结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元的装置...”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。

“被配置为。”各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这些一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件，例如，电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112第六段。此外，“被配置为”可包括通用结构(例如，通用电路)，该通用结构受软件和/或固件操纵(例如，FPGA或执行软件的通用处理器)，以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制造设施)以制造适于实现或执行一项或多项任务的设备(例如，集成电路)。

“第一”、“第二”等，如本文所用，这些术语用作在它们之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路可在本文中被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”不一定暗指第一值必须在第二值之前写入。

“基于。”如本文所用，该术语用于描述影响确定的一个或多个因素。该术语不排除可能影响确定的其他因素。即，确定可仅仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B是影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。

具体实施方式

简介

本发明公开了用于基于环境光线的频率的周期来确定卷帘快门曝光窗口的调整的设备、系统和方法的各种实施方案。在实施方案中，通过利用光源(例如，频闪LED)作为输入传感器，可以生成提供环境光线的频率的信号。在实施方案中，可基于该信号来调整传感器曝光极限，使得在图像捕获过程期间消除不期望的伪影(例如，“差拍”图案)。在一些实施方案中，设备或系统可配置为具有适于以各种模式操作的基于半导体的多模态设备。例如，基于半导体的多模态设备可被配置为用作接收环境光线并产生指示环境光线的一个或多个特征的信号的传感器。除了环境光线感测功能之外，相同的基于半导体的多模态设备还可以被配置为提供其他功能。例如，相同的基于半导体的多模态设备还可以被配置为产生光(例如，作为相机闪光灯)或感测环境光线的其他特征(例如，环境光传感器)等。

环境光线可以表现出影响场景的捕获图像的特征，从而使得在图像中出现在图像捕获时肉眼不容易看见的各种伪影。例如，一些环境光线可能具有对图像质量造成不利影响的频率，从而使得捕获图像中出现明暗带。大多数设备不具有被配置为确定图像传感器的视场中的环境光线的频率的传感器。这意味着大多数设备不能确定视场中的环境光线的频率。能够防止与闪烁的环境光线相关联的伪影的设备中的一些设备依赖于捕获初步图像、分析该图像以确定修复，然后将该修复应用于随后的图像。因此，需要用户在捕获所需图像之前捕获初步图像。此类方案很不方便，可能需要用户对该方案进行了解，并且可以防止自发捕获没有伪影的图像。

在一些实施方案中，本文描述的系统和方法可以启用图像捕获设备(例如，相机、电话、摄像机、膝上型电脑、平板电脑或一些其他配备相机的设备)以主动确定环境光线的特征可能使得在待捕获的图像中造成伪影，并且对图像捕获过程进行调整，以防止在所捕获的图像中出现这些伪影。

确定环境光线的特征和基于环境光线的特征来调整图像捕获过程所涉及的过程可由图像捕获设备的各种部件执行。如图6所示并且如下所述，在实施方案中，图像捕获设备可包括用于捕获图像的图像传感器、曝光窗口控制部件和被配置为以两种替代模式进行操作的光源，其中一种模式用于生成光，另一种模式用于接收环境光线以及向曝光窗控制部件提供信号。

如下所述，在实施方案中，通过将环境光线的周期性频率与卷帘快门曝光模式的曝光时间(例如，与卷帘快门曝光模式的曝光窗口相关联的定时)进行协调，可以避免所捕获图像中的伪影。例如，在一些实施方案中，光源(例如，LED、频闪LED或其他光电二极管型设备、手电筒或闪光灯)可以在光接收模式下操作，使得环境光线被光源接收。可以从所接收的环境光线确定环境光线的频率。例如，可使用模拟数字转换器和/或快速傅里叶变换来获得由光源接收的环境光线的频率。

在一些实施方案中，可以调整或修改图像捕获过程以考虑到频率。如下所述，由于与图像传感器的行的读出相关联的定时(例如，正在根据卷帘快门模式读出的CMOS成像器件)可使得一行(例如，底行)的实际曝光在时间上比另一行(例如，第一行)的曝光更晚，帧可能具有相同的曝光长度(例如，时间)，但是帧的特定行的曝光可能在不同的时间位置发生。此外，因为环境光线可能在曝光时间的不同位置之间波动，所以不同的行可能暴露于不同量的波动的环境光线。环境光线频率和曝光时间或曝光窗口之间的此类相互作用可导致“差拍”行图案(例如，明暗交替带)。

在一些实施方案中，为了避免差拍行图案，可以调整曝光而使得曝光与频率或频率的周期同步。例如，可以将曝光窗口设置为环境光线频率的周期的整数倍，使得使用该曝光窗口设置所捕获的图像避免差拍行图案伪影。

现在将详细地参考实施方案，这些实施方案的示例在附图中示出。在下面的详细描述中给出了许多具体细节，以便提供对本发明的彻底理解。然而，对本领域的普通技术人员将显而易见的是，一些实施方案可以在没有这些具体细节的情况下被实践。在其他实例下，没有详细地描述众所周知的方法、过程、部件、电路以及网络，以便不会不必要地使实施方案的多个方面晦涩难懂。

在本文的描述中所使用的术语只是为了描述特定实施方案的目的，而并非旨在进行限制。如在说明书和所附权利要求中所使用的那样，单数形式的“一个”(“a”,“an”)和“所述”旨在也涵盖复数形式，除非上下文清楚地以其他方式来指示。还应当理解，本文中所使用的术语“和/或”是指并且涵盖相关联地列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”“including”“comprises”)和/或“包含”(“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元素和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件和/或其组。

根椐上下文，如本文所用，术语“如果”可被理解为指“当……时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被理解为是指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

在以下详细描述中，给出了多个具体细节以提供对要求保护的主题的全面理解。然而，本领域技术人员将理解，要求保护的主题可以在没有这些具体细节的情况下被实现。在其他实例中，没有详细地描述普通技术人员已知的方法、装置或系统，以便不使要求保护的主题晦涩难懂。

本文描述了电子设备、此类设备的用户界面和使用此类设备的相关联的过程的实施方案。在一些实施方案中，该设备是还包含其他功能诸如图像捕获、PDA和/或音乐播放器功能的便携式通信设备，诸如移动电话。便携式设备的示例性实施方案包括但不限于来自Apple Inc.(Cupertino,California)的和设备。还可以使用其他便携式电子设备，诸如具有或不具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型电脑或平板电脑。其他示例性设备包括录像机、摄像机、数码相机和新闻采集相机。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有或不具有触敏表面(例如，触摸屏显示器和/或触控板)的台式计算机。在一些实施方案中，设备是具有取向传感器(例如，游戏控制器中的取向传感器)的游戏计算机。在一些实施方案中，所述设备是电影相机。

在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而应当理解，电子设备可以包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。

现在将注意力转到图像和视频捕获以及录像设备的实施方案。图1和图1A示出了根据一些实施方案工作的图像捕获设备。图像捕获设备110(或“设备”)与用户界面118一起示出。在一些实施方案中，用户界面118可以是触敏显示器(为方便起见，有时称为“触摸屏”)，也可以称为触敏显示器系统或简称为显示器。设备110还与光源112、曝光窗口控制部件116和图像传感器114一起示出。在实施方案中，设备110可包括传输信道(其可包括RF电路)。这些部件可通过一条或多条通信总线或信号线(在图11中示出为通信总线或信号线1003)进行通信。

图1示出了根据一些实施方案的用于捕获图像或视频帧的图像捕获设备110的示例性实施方案。在具有光130和对象140的房间中示出了设备110。图1示出了设备110经由用户界面118显示对象140的图像，并且用户正在(通过触摸用户界面118的屏幕部分)指示待由设备110捕获的图像。对象140可以是由房间中的环境光线照明的对象(例如，艺术作品)。在实施方案中，环境光线由光130提供。在所示实施方案中，光130由灯泡诸如荧光灯泡供电，该荧光灯泡在正负状态之间振荡，使得来自光130的光以一定频率“闪烁”(例如，对于60Hz AC的电源以120Hz的频率闪烁)。

图1A示出了以一定频率接收环境光线的示例性图像显示器或视频播放器设备110。在所示实施方案中，一些环境光线(例如，光124)从物体140反射到图像传感器和/或光源，而其他环境光线(例如，光122)由光源和图像传感器直接从光130接收。在任一种情况下，图像传感器114和/或光源112接收具有由光130限定的频率的环境光线。在一些实施方案中，环境光线可包括来自其他源的且处于其他频率的光。在实施方案中，光的各个部分在不同的光之间行进的距离或者光从对象140或房间的壁反射的距离可使得光的频率相对于光的其他部分偏移。

对于设备(例如，设备110)，包括包含一个或多个微型相机的设备，可包括在本文中也称为光源112的照明源，该照明源照明位于相机(在本文中相机也被称为“相机设备”、“相机模块”等)的视场内的场景的至少一部分。在本文中，相机的视场可以被称为“相机视场”。此类相机和照明源可以被包括在更大的电子设备中，包括可以包括移动电话、智能电话、笔记本电脑等的移动电子设备。

可以包括“闪光灯”模块、“频闪”模块等的照明源可以发射照明照明源外部空间的光束，并且可以包括相机视场，由此照明相机视场内的被摄体用于获得所述被摄体的由相机捕获的图像。

在某些情况下，包括在设备中的照明源包括光源，该光源包括发光二极管(LED)。照明源可以包括准直器，该准直器可包括包含抛物面镜的反射设备、包含光学透镜的折射设备、其某种组合等。准直器可以减少由光源发射的光束的至少一部分的光束发散(“聚焦”)，并将经过准直的光束从照明源向外引导。

包括在小型设备中的照明源可生成具有静态准直能力的光束，使得经过准直的光束的发散(“光束角度”)和方向是静态的。当此类光束用于场景的“闪光灯”或“频闪”照明时，可使相机视场泛光。在一些实施方案中，可将单独的环境光线检测器并入设备中。在实施方案中，可以将光电二极管并入图像传感器以检测闪烁。

在一些实施方案中，设备110可以支持使用图像传感器114捕获图像和/或视频帧以及在用户界面118上显示图像或播放视频的功能。在一些实施方案中，图1示出了捕获图像或视频或例如经由传输信道150彼此共享图像或视频的多个类似设备中的一者。在各种实施方案中，诸如图1中所示的设备可以捕获并记录图像或视频，并将图像或视频发送到类似于图1中所示的设备的另一设备，并且类似的设备可以显示或播放由另一设备捕获的图像或视频。

应当理解，设备110只是便携式视频捕获和记录设备的一个示例，并且设备110可具有比所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置或布置。图1中所示的各种部件可以硬件、软件或软件和硬件的组合来实现，包括一个或多个信号处理电路和/或专用集成电路(ASIC)。

在实施方案中，用户界面118包括在设备和用户之间提供输入接口和输出接口的显示器。在所示实施方案中，用户界面118向用户显示视觉输出。该视觉输出可包括图形、文本、图标、视频及其任意组合(统称为“图形”)。

设备110还可以包括一个或多个图像传感器。所示出的图像传感器114也可以被称为或叫作光学传感器或相机传感器。图像传感器(图12中的多个相机传感器1264中的一个相机传感器)可包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)、光电晶体管或其他本领域已知的光电传感器。图像传感器114从环境接收通过一个或多个透镜而投射的光，并将所述光转换为表示图像的数据。图像传感器114可捕获静态图像或视频。在例示的实施方案中，图像传感器位于设备110的后部，与设备前部上的用户界面118相对，使得用户界面可用作静态和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，使得用户在触摸屏显示器上观看其他视频会议参与者的同时可以获得该用户的图像用于视频会议。

图2A和图2B分别示出了根据一些实施方案的图像传感器中的像素的布置，以及读出视频图像的帧的过程。图2A示出了具有排列成行的像素的图像传感器(例如，CMOS图像传感器)的实施方案。在卷帘快门模式下，可依次从传感器中读出每行像素。在一些实施方案中，可针对每个帧读出整个传感器，并且读出过程可能由于帧速率而受到时间限制。图2B示出了图像传感器上的所捕获的图像252的每行被顺序地读出以创建帧(例如，所捕获的图像252被示出为在时间长度225期间被读出以创建帧262，并且先前所捕获的图像在相同的时间长度225期间被读出以创建帧242)。在一个示例中，分配给每个帧的时间长度225可以是约33毫秒(例如，每秒30帧的帧速率意味着传感器必须在约33毫秒或更短的时间内读出，在例示的示例中，占用约一半的分配时间，或约12毫秒)。

在实施方案中，正在读出的行被置于“重置”状态，直到开始曝光。在一些成像器件(例如，CMOS成像器件)中，可通过调整自该行从“重置”状态释放到该行被读出的时间来调整每一行的曝光时间量。在实施方案中，每行暴露相同的时间量并以相同的方式读出，直到成像器件的所有行都被读出。

需注意，根据该方法，底行的实际曝光晚于第一行的曝光。因此，虽然不同行的曝光具有相同的量或时间长度，但不同行在时间上的位置是不同的。此类操作模式可以被称为卷帘快门曝光模式。在一些实施方案中，卷帘快门曝光可使得出现运动伪影或使得出现某些光源(例如，闪烁的光源，诸如LED灯泡的荧光)的“差拍”行图案(例如，明亮和/或昏暗的交替带)。

图3示出了在一些实施方案中，环境光线的频率和视频帧的行的读出之间的相互作用。在图3中，跨该图的顶部示出了AC光源。例如，在针对120Hz光源的实施方案中，光源的周期302为约8.33毫秒。示出了曝光窗口304以及帧速率225(例如，在帧速率为每秒30帧的实施方案中，约每33毫秒读出一帧，如上文关于图2B所述)。图3的下部示出了多行帧随时间被依次读出。例如，行的阶梯的左上角处的第一个框对应于图2B中的图像252的第一行。图3的顶部部分示出不同时间的光子能量是不同的。在一些实施方案中，在暴露帧的其他行的同时执行帧的行的读出。因此，在实施方案中，环境照明随着相同图像帧的不同行被暴露而改变。

因此，图3示出虽然在光源的频率中的波峰期间捕获了帧，但是图像区域的中间行可以在AC频率的周期中的波谷期间曝光。在实施方案中，可以将曝光窗口增加到经组合的曝光时间和读出时间占据分配给帧的几乎所有时间225的点。然而，较长的曝光时间可能导致过度曝光或高照明下的饱和，在一些实施方案中，否定了减少伪影的益处。

需注意，在一些实施方案中，如果将曝光缩短至小于光源频率的周期，则帧中的带的图案变得更糟。例如，图4中曝光窗口304的时间长度与图3中的相同，但示出曝光在较晚的时间发生，在交流频率的幅度中的波谷406期间发生。图3和图4合在一起示出帧的顶行308可能较亮，因为它们在AC频率周期的较高幅度或较亮的部分期间曝光，而帧的随后行410可能较暗，因为它们在AC频率周期的较低的幅度或较暗的部分曝光。在实施方案中，在图像传感器的行的顺序曝光期间，随着频率的幅度变化，这种明暗图案可以继续通过帧的行。

图5示出了在闪烁的环境光线中捕获的图像可表现出明暗带。在图5中，示出了明暗带510。这些带影响背景504以及图像500中的对象502。在一些实施方案中，相对于光源具有更短或更长的非整数倍曝光时间的图像将显示行条带。在实施方案中，(例如，用于捕获慢动作场景的)高速相机模式(例如，在某些照明条件诸如在荧光照明下)表现出条带伪影。

图6示出了根据一些实施方案的具有曝光窗口控制部件的图像捕获设备。在一些实施方案中，曝光窗口控制部件的模块可执行图7和图8中所示过程的一个或多个元素(如下所述)。在实施方案中，闪存驱动器模块602或图像处理器618可被配置为执行部分或全部元素。在一些实施方案中，设备110可配置为具有包括照明源驱动器(例如，频闪LED驱动器)或从照明源供给输出的相机源。

在例示的实施方案中，设备110配置为具有光源112。如本文所述，光源112(例如，LED、频闪LED或其他基于半导体的或光电二极管型器件)被配置为在至少两种替代模式中的一种模式下操作。在照明模式中，光源112可被配置为从闪存驱动器模块602接收指令(例如，生成照明的指令)。在传感器模式中，光源112可被配置为感测环境光线，并且响应于所述环境光线产生信号(例如，信号618)。在例示的实施方案中，设备110包括环境光传感器115。在实施方案中，环境光传感器115可被配置为检测环境光线的幅度(例如，以控制显示器亮度或用于其他目的)。在一些实施方案中，环境光传感器115可被配置为检测环境光线的频率。在一些实施方案中，设备1110可被配置为不具有环境光传感器115。

在实施方案中，可以使用各种配置的传感器设备中的任何一种来感测环境光线。在一些实施方案中，图像传感器114的一个或多个像素可被配置作为环境光传感器。在实施方案中，此类配置可以针对整个环境的相对较小的区域。在一些实施方案中，传感器部件(例如，光源112)可以是基于半导体的设备。在实施方案中，传感器部件可以耦接到盖或透镜，该透镜用于在光通过透镜时散射光。在实施方案中，此类配置可用于整合来自环境的较大区域的环境光线。

还设想了其他传感器和传感器的布置。一些设备被配置为具有环境光传感器。一些设备被配置为具有用于确定光的幅度的环境光传感器(例如，以作为响应而调整屏幕亮度)。例如，一些设备(例如，智能电话)在设备的显示器侧上被配置为具有环境光传感器。在另一个示例中，一些设备(例如，平板电脑)在与显示器相对的一侧上被配置为具有环境光传感器。此类配置可以测量房间里的光的特性，而不是目标(例如，图像传感器的目标)的光特性。在实施方案中，被配置为用于某些其他任务或提供某些其他功能的各种现有传感器中的任何一种可被重新配置或重新利用，以用作提供指示环境光线的频率的信号的环境光传感器。

在至少所例示的实施方案中，信号618可被传送到频率检测模块606。在一些实施方案中，频率检测模块606分析信号并将周期或频率614传送到曝光窗口模块610。例如，下面描述的图7示出了用于确定环境光线的频率的部件和过程，该过程可由图6中所示的一个或多个模块执行。曝光窗口控制模块可使用所接收的周期或频率来确定如本文所述的卷帘快门曝光窗口(例如，图3、图4、图10或图11中所示的曝光窗口)的调整。所确定的调整616可被发送至图像处理器618，该图像处理器可使用调整以修改现有的卷帘快门曝光窗口。图像处理器可以指示图像传感器114根据所修改的卷帘快门曝光窗口捕获图像，并将捕获的图像存储在数据存储库650中。

在一些实施方案中，图7示出了使用LED频闪进行环境光线检测的部件。在实施方案中，设备的各种部件可包括模拟放大器和/或滤波器面包板，其中具有microChipuController充当计数器/I2C接口，使得数据可以被发送至数据处理器。在一些实施方案中，此类部件的部分或全部可被包括在闪存驱动器(例如，闪存驱动器模块602)中，或者作为环境光传感器或环境光传感器控制器的一部分。在其他实施方案中，此类机构的部分或全部可被集成到成像传感器(例如，成像传感器114)中。特别地，LED频闪112被示出以感测模式操作，使得LED频闪112将所接收的光子从环境光线转变为提供给带通滤波器和/或放大器720的信号，所述滤波器和/或放大器对来自LED频闪的信号进行滤波和放大。在例示的实施方案中，经滤波和放大的信号然后被传送到过零检测器。在实施方案中，每当经滤波和放大的信号没有电压时，过零检测器将信号输出至频率检测器740。频率检测器对从过零检测器730接收的信号的次数进行计数，并基于在一段时间内所接收的信号的次数来确定经滤波和放大的信号的频率。图750示出了表示电压对时间的波形760中的过零点。在一些实施方案中，水平线770限定过零点。所示波形可能与其他实施方案中的波形不同。

图8示出了根据一些实施方案的用于修改卷帘快门曝光的曝光窗口的过程。图8中所示过程的各种元素可由设备110的各种部件执行。例如，曝光窗口控制部件116的模块可以执行所示过程的一个或多个元素。在一些实施方案中，所示过程的元素由配置为具有LED光源的设备执行，该LED光源被配置为在光源或照明模式和/或传感器模式下作为环境光线频率检测器操作。

如图8所示，在一个或多个实施方案中，半导体光源以传感器模式作为环境光线频率检测器操作(框802)，并且从半导体光源接收环境光线检测信号(框804)。例如，设备110的闪光灯LED单元可被配置为接收环境光线，并将指示环境光线的特征的信号输出至接收器模块(例如，信号接收模块606)。

可以分析环境光线检测信号以确定环境光线频率的周期(框806)。例如，信号接收模块606或曝光窗口模块610可以使用信号处理块来确定环境光线的特征(例如，使用模拟数字转换器和快速傅里叶变换来确定频率)。

框808示出了针对图像捕获设备的卷帘快门曝光窗口确定曝光窗口调整。例如，曝光窗口模块610或某些其他模块诸如设备110的相机控制模块618，可例如基于用户配置或基于环境光线的亮度来接收初始曝光窗口的指示。曝光窗口控制模块610可基于环境光线的频率的频率或周期来确定调整或修改，使得曝光时间是环境光线周期的整数倍。在一些实施方案中，可以设置曝光时间，使得曝光的周期大于或等于环境光线频率的周期。

可基于调整来修改卷帘快门曝光窗口(框810)。例如，曝光窗口模块610或相机控制模块618可基于调整616将初始曝光窗口增加或减少为环境光线周期的最接近的整数倍。基于修改的卷帘快门曝光窗口捕获图像的图像数据(框812)。例如，图像处理器618根据由曝光窗口模块610提供给相机控制模块618的调节616，暴露并读出由相机控制模块618控制的图像传感器114的行。

图9示出了根据一些实施方案的用于修改卷帘快门曝光的曝光窗口的过程。在图9中，示出了诸如当光源处于照明模式时或者当曝光时间的增加将使得过度曝光或饱和时，本文所述要避免的可能使得对曝光窗口的调整的多个决策点。

在一些实施方案中，还可以基于环境光线的频率之外的标准来确定初始卷帘快门曝光窗口(框902)。例如，初始卷帘快门曝光窗口可基于环境光线的亮度(例如，由一个或多个光传感器自动确定)或基于用户配置的设置或模式(例如，用户配置的室内模式或用户配置的高速模式)确定。

框904示出了在实施方案中基于环境光线和/或用户配置来确定半导体光源的模式。例如，如果环境光线明亮，则半导体光源112可将模式从照明模式改变为传感器模式，作为环境光线频率检测器以接收环境光线检测信号。在另一个示例中，如果设备感测到低光环境或者该设备由用户配置为处于照明模式(例如，用户可配置的夜间模式)，则半导体光源112可被配置为处于照明模式。

框906示出了决策点。如果半导体光源处于照明模式(框906，是)，则指示半导体光源在触发时照明。例如，可以在图像捕获处理期间指示LED闪光灯点亮。如果半导体光源处于传感器模式(框906，否)，则基于来自半导体光源的环境光线检测信号来确定图像捕获设备的卷帘快门曝光的曝光窗口调整(框910)。例如，图9示出了用于确定曝光窗口调整的示例性过程的至少一部分。

框912示出了其中确定曝光窗口调整是否满足和/或超过阈值的另一个决策点。例如，增加曝光窗口的时间长度的某些调整可能会使得图像过度曝光。在此类情况下，优选地不改变曝光窗口(912，是)并且处理伪影(例如，在后期处理中)，而不是过度曝光或饱和。在一些实施方案中，阈值可以基于默认值、用户可配置的设置或(例如，通过一个或多个相机传感器和对应的模块)视场或环境光线的动态分析。然而在实施方案中，如果没有超过阈值(912，否)，则基于所确定的窗口调整，指示卷帘快门曝光窗口的修改。例如，可以基于所确定的窗口调整来修改初始卷帘快门曝光窗口，或者可以基于所确定的窗口调整和其他调整的某些组合来修改初始卷帘快门曝光窗口(例如，基于对配置设置的改变的调整，或基于对设备环境诸如环境亮度的分析的调整)。

在实施方案中，基于卷帘快门曝光窗口指示图像数据的捕获(框916)。例如，用户可以与设备110的用户界面118交互，从而指示设备捕获对象140的图像，并且相机控制模块618可指示图像处理器620基于所修改的卷帘快门曝光窗口来操作卷帘快门曝光窗口，使得捕获一个或多个图像620。

图10示出了在一些实施方案中，曝光窗口可被调整为对应于环境照明的频率。在图10中，创建帧的时间长度225(例如，33毫秒)和光源的周期302(例如约8.33毫秒)保持为与图3和图4的相同。然而，曝光的长度1004已被修改为该周期的整数倍(例如，曝光窗口也被设置为8.33毫秒的持续时间)。此类修改(将闪烁光源的周期性照明与曝光窗口的持续时间相匹配)使得在所有曝光行中存在相同量的光能，而不管读出过程的定时延迟如何。

类似地，图11进一步示出了在一些实施方案中，曝光窗口可被调整为对应于环境照明的频率。虽然图11中周期302的部分1106已经改变，曝光窗口的持续时间仍然与周期302相匹配(例如，是整数倍)，因此，在所有的曝光线中存在相同量的光能，而不管读出时的定时延迟。即使周期302的部分1106已经沿着信号移动以包括信号的不同部分，在部分1106中存在与部分1006中相同量的光能。因此，在频率的相应部分(1006,1106)期间暴露的相应行(1010,1110)暴露于相同量的光能。此类对应防止了伪影(例如，运动伪影或图5中所示的“差拍”行图案)。

图12示出了根据一些实施方案的图像捕获设备的系统图。在图12中，设备110被示出为具有一个或多个相机传感器1264(例如，图像传感器114)、相机传感器控制器1258(例如，图像处理器618)、闪存驱动器602和光源112。这些部件可通过一条或多条通信总线或信号线1203进行通信。应当理解，设备110只是便携式视频捕获和记录设备的一个示例，并且设备110可具有比所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置或布置。图12中所示的各种部件可以硬件、软件或硬件和软件的组合来实现，包括一个或多个信号处理电路和/或专用集成电路。

存储器1202可包括高速随机存取存储器并且还可包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备或其他非易失性固态存储器设备。设备110的其他部件(诸如，CPU/处理器1220和外围设备接口1218)对存储器1202的访问可由存储器控制器1222来控制。

外围设备接口1218可用于将设备的输入外围设备和输出外围设备耦接到CPU1220和存储器1202。所述一个或多个处理器1220运行或执行存储器1202中所存储的各种软件程序和/或指令集，以执行设备110的各种功能并处理数据。

在一些实施方案中，外围设备接口1218、CPU 1220和存储器控制器1222可在单个芯片诸如芯片1204上实现。在一些其他实施方案中，它们可在单独的芯片上实现。RF(射频)电路1208接收和发送也被叫做电磁信号的RF信号。RF电路1208将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号与通信网络以及其他通信设备进行通信。RF电路1208可包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路1208可通过无线通信与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。无线通信可以使用多个通信标准、协议和技术中任何一个，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网协议语音技术(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息和存在协议(XMPP)、针对即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时信息和存在服务(IMPS))和/或短消息服务(SMS)、或任何其他合适的通信协议，包括在本申请的提交日还未开发出的通信协议。

I/O子系统1206将设备110上的输入/输出外围设备诸如触摸屏1212(例如，用户界面118的一部分)和其他输入控制设备1216耦接到外围设备接口1218。I/O子系统1206可包括显示控制器1256以及一个或多个输入控制器1260用于其他输入或控制设备。所述一个或多个输入控制器1260从其他输入或控制设备1216接收电信号/将电信号发送至其他输入或控制设备116。其他输入控制设备1216可包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等等。在一些另选实施方案中，一个或多个输入控制器1260可耦接到(或不耦接到)以下各项中的任一者：键盘、红外端口、USB端口以及指向设备诸如鼠标。

触敏显示器1212(例如，用户界面118的一部分)提供设备与用户之间的输入接口和输出接口。显示控制器1256从触摸屏1212接收电信号和/或将电信号发送至触摸屏1212。触摸屏1212向用户显示视觉输出。视觉输出可包括图形、文本、图标、视频及其任意组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出可对应于用户界面对象。

设备110还包括用于为各种部件供电的电力系统1262。电力系统1262可包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率变换器或逆变器、电源状态指示器(例如，发光二极管(LED))和与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。

设备110还可以包括一个或多个光学传感器1264(例如，图像传感器114)。光学传感器1264可包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管。光学传感器1264从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。光学传感器1264可捕获静态图像或视频。在一些实施方案中，光学传感器位于设备110的与设备的前部的触摸屏显示器1212相背对的后部，使得触摸屏显示器可被用作用于静态图像和/或视频图像采集的取景器。在一些实施方案中，另一光学传感器位于设备的前部上，使得用户在触摸屏显示器上观看其他视频会议参与者的同时可以获得该用户的图像以用于视频会议。

设备110包括一个或多个取向传感器1268。在一些实施方案中，这一个或多个取向传感器包括一个或多个加速度计(例如，一个或多个线性加速度计和/或一个或多个旋转加速度计)。在一些实施方案中，这一个或多个取向传感器包括一个或多个陀螺仪。在一些实施方案中，这一个或多个取向传感器包括一个或多个磁力仪。在一些实施方案中，这一个或多个取向传感器包括全球定位系统(GPS)、全球导航卫星系统(GLONASS)和/或其他全球导航系统接收器中的一个或多个。GPS、GLONASS和/或其他全球导航系统接收器可用于获得关于设备110的位置和取向(例如，纵向或横向)的信息。在一些实施方案中，这一个或多个取向传感器包括取向/旋转传感器的任何组合。在一些实施方案中，一个或多个取向传感器1268可以耦接到I/O子系统1206中的输入控制器1260。在一些实施方案中，信息基于对从这一个或多个取向传感器接收的数据的分析而在触摸屏显示器上被显示在纵向视图或横向视图中。

在一些实施方案中，存储在存储器1202中的软件部件包括曝光窗口控制部件116。存储在存储器1202中的软件部件还可以包括操作系统、通信模块(或指令集)、接触/运动模块(或指令集)、图形模块(或指令集)、文本输入模块(或指令集)、全球定位系统(GPS)模块(或指令集)和应用程序(或指令集)(全部未示出)。

结合触摸屏1212、显示控制器1256、相机传感器1264、相机传感器控制器1258，相机模块(未示出)可包括可执行指令，该可执行指令用于捕获静态图像或视频(包括视频流)并将其存储到存储器1202，修改静态图像或视频的特征或从存储器1202删除静态图像或视频。

结合触摸屏1212、显示控制器1256和相机模块，图像管理模块(未示出)可包括可执行指令，该可执行指令用于布置、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)以及存储静态图像和/或视频图像。

结合触摸屏1212、显示系统控制器1256、图形模块、音频电路、扬声器和RF电路1208，媒体播放器模块(未示出)可包括可执行指令，该可执行指令允许用户下载和播放记录的媒体和以一种或多种文件格式来存储的其他声音文件，诸如MP3或AAC文件，并且该可执行指令显示、呈现或以其他方式播放视频(例如，在经由外部端口1224来连接的触摸屏1212上或外部显示器上)

上述所识别的模块和应用中的每个模块和应用对应于用于执行上述一种或多种功能以及在该专利申请中所述的方法(例如，本文所述的计算机实现的方法和其他信息处理方法)的可执行指令集。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，并且因此这些模块的各种子集可在各种实施方案中加以组合或以其他方式重新布置。在一些实施方案中，存储器1202可存储上文识别的模块和数据结构的子集。此外，存储器1202可存储上文没有描述的附加模块和数据结构。

在一些实施方案中，设备110是唯一地通过触摸屏和/或触控板来执行设备上的预定义的一组功能的操作的设备。通过使用触摸屏和/或触控板作为用于设备110的操作的主要输入控制设备，可减少设备110上的物理输入控制设备(诸如，下压按钮、拨号盘等等)的数量。

可唯一地通过触摸屏和/或触控板执行的预定义的一组功能包括在用户界面之间进行导航。在一些实施方案中，触控板在被用户触摸时将设备110从可显示在设备110上的任何用户界面导航到主界面菜单、home菜单或根菜单。在此类实施方案中，触摸板可被称为“菜单按钮”。在一些其他实施方案中，菜单按钮可以是物理下压按钮或者其他物理输入控制设备，而不是触摸板。

本领域的技术人员还将认识到，虽然各种项目被示出为在使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。或者，在其他实施方案中，这些软件部件中的一些或全部可在另一设备上的存储器中执行，并且经由计算机间通信来与所示出的计算机系统进行通信。系统部件或数据结构中的一些或全部还可以(例如，作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中进行了描述。在一些实施方案中，存储在与设备110分开的计算机可访问介质上的指令可经由传输介质或信号(诸如，电信号、电磁信号或数字信号)被传输到设备110，传输介质或信号经由通信介质(诸如，网络和/或无线链路)来传送。各种实施方案可还包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁或光介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如，SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路来传输的电信号、电磁信号或数字信号。

在不同的实施方案中，本文所述的方法可以在软件、硬件或者其组合中实现。此外，可以改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可以为在本文中描述为单个实例的部件提供多个实例。各种部件、操作和数据存储库之间的界限多少是任意性的，并且在具体例示性配置的上下文中例示了特定操作。预期了功能的其他分配，并且它们可以落在所附权利要求的范围内。最后，呈现为示例性配置中的分立部件的结构和功能性可以被实现为组合结构或部件。这些和其他变型、修改、添加和改进可落在所附权利要求所限定的实施方案的范围内。

Claims (20)

1.一种设备，包括：

图像传感器，所述图像传感器被配置为捕获图像传感器的视场中的图像的图像数据，其中至少部分地基于卷帘快门曝光来捕获所述图像数据；

半导体部件，所述半导体部件被配置为以多种模式操作，每种模式与特定功能相关联；和

曝光窗口控制部件，所述曝光窗口控制部件被配置为：

至少部分地基于来自所述半导体部件的信号来确定在所述图像传感器的视场的至少一部分内的环境光线的频率，以及

至少部分地基于所述环境光线的所确定的频率，指示根据所述卷帘快门曝光捕获所述图像数据的多个部分的曝光窗口的修改。

2.根据权利要求1所述的设备，其中所述半导体部件的所述多种模式包括：

照明模式，其中当所述半导体部件处于照明模式时，所述半导体部件被信号驱动以生成照亮所述图像传感器的视场内的照明区域的光线，和

传感器模式，其中当所述半导体部件处于所述传感器模式时，所述半导体部件基于由所述半导体部件接收的环境光线生成所述信号。

3.根据权利要求2所述的设备，其中针对随后的图像，并且当所述半导体部件处于所述照明模式时，所述设备被配置为指示所述图像数据的捕获，而不修改相应的卷帘快门曝光窗口。

4.根据权利要求1所述的设备，其中所述曝光窗口控制模块被进一步配置为至少部分地基于所述环境光线的所确定频率之外的标准来指示所述曝光窗口的调整。

5.根据权利要求4所述的设备，其中所述曝光窗口控制模块被配置为在所述曝光窗口的所述调整之后执行所述修改，并且其中所述修改包括将所述曝光窗口四舍五入为所确定频率的周期的最接近的整数倍。

6.一种方法，包括：

通过图像捕获设备执行：

指示半导体部件以传感器模式操作为环境光传感器，以在所述图像传感器的视场的至少一部分内生成指示环境光线的信号；

通过曝光窗口控制部件分析来自所述半导体部件的所述信号，以确定由所述信号指示的所述环境光线的频率的周期；

至少部分地基于所述频率的所确定的周期来确定用于捕获图像的卷帘快门曝光窗口的调整；以及

至少部分地基于所确定的卷帘快门曝光窗口调整来修改所述卷帘快门曝光窗口。

7.根据权利要求6所述的方法，其中所述至少部分地基于所确定的卷帘快门曝光窗口调整来修改所述卷帘快门曝光窗口包括修改所述曝光窗口，以避免由于所述卷帘快门曝光窗口不是所述环境光线周期的整数倍而导致的图像捕获伪影。

8.根据权利要求6所述的方法，还包括：

针对随后的图像捕获：

至少部分地基于相应图像的所述环境光线的所确定频率之外的标准来确定另一个卷帘快门曝光窗口；

确定所述半导体器件部件是否处于所述相应图像的照明模式；以及

当所述半导体部件处于所述照明模式时，指示所述相应图像的捕获，而不修改其他卷帘快门曝光窗口。

9.根据权利要求6所述的方法，还包括：

针对随后的图像捕获：

至少部分地基于相应图像的所述环境光线的所确定频率之外的标准来确定相应卷帘快门曝光窗口；

分析来自所述相应图像的所述半导体部件的相应环境光线检测信号，以确定环境光线频率的相应周期；

基于环境光线频率的所述相应周期来确定相应的曝光窗口调整；以及

针对具有满足或超过曝光阈值的相应确定的曝光窗口调整的每个图像捕获，

捕获相关联的图像，而不修改所确定的其他曝光窗口。

10.根据权利要求9所述的方法，其中所述阈值至少部分地基于所述修改是否将使得所述相应的所捕获图像过度曝光进行设置。

11.根据权利要求6所述的方法，还包括：

在所述确定所述卷帘快门曝光窗口的所述调整之前，

至少部分地基于所述环境光线的所确定的频率之外的标准来确定所述曝光窗口；以及

其中所述修改所述卷帘快门曝光窗口至少部分地基于所确定的频率之外的所述标准来修改所确定的曝光窗口。

12.根据权利要求11所述的方法，其中所述环境光线的所确定的频率之外的所述标准包括，所述图像捕获设备的高速相机模式或其他配置设置或所述环境光线的亮度水平。

13.根据权利要求6所述的方法，还包括基于所修改的卷帘快门曝光窗口捕获图像的图像数据。

14.一种设备，所述设备包括：

一个或多个部件，所述一个或多个部件被配置为：

从接收环境光线的半导体部件接收环境光线检测信号，并基于所接收的环境光线产生环境光线检测信号；

基于所述环境光线检测信号的分析来确定所述环境光线的频率；以及

输出与所确定的频率相关联的信息。

15.根据权利要求14所述的设备，其中所述一个或多个部件包括：

带通滤波器，所述带通滤波器被配置为对所述环境光线检测信号进行滤波，和

放大器，所述放大器被配置为放大所滤波的环境光线检测信号。

16.根据权利要求15所述的设备，其中所述一个或多个部件进一步包括过零检测器，所述过零检测器被配置为接收所滤波和放大的环境光线检测信号，并输出与所确定的频率相关联的基于相位的信号。

17.根据权利要求16所述的设备，其中所述一个或多个部件包括频率检测器，所述频率检测器被配置为：

从所述过零检测器接收输出信号，

至少部分地基于来自所述过零检测器的所述信号来确定所述环境光线检测信号的频率，以及

输出与所述环境光线检测信号的所确定的频率相关联的频率信息。

18.根据权利要求17所述的设备，其中与所述环境光线检测信号的所确定的频率相关联的所述输出频率信息包括所述环境光线的所述频率的周期。

19.根据权利要求14所述的设备，其中所述设备包括用于附接到其他设备的I²C总线。

20.根据权利要求14所述的设备，其中所述设备包括被配置为指示捕获的图像数据的处理的图像处理器，或被配置为驱动所述半导体部件的闪存驱动器。