CN114697561B - 通过环境切换对图像传感器自动曝光控制的方法和设备 - Google Patents

通过环境切换对图像传感器自动曝光控制的方法和设备 Download PDF

Info

Publication number
CN114697561B
CN114697561B CN202110648280.7A CN202110648280A CN114697561B CN 114697561 B CN114697561 B CN 114697561B CN 202110648280 A CN202110648280 A CN 202110648280A CN 114697561 B CN114697561 B CN 114697561B
Authority
CN
China
Prior art keywords
environment
image
control unit
exposure
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110648280.7A
Other languages
English (en)
Other versions
CN114697561A (zh
Inventor
杨伟杰
陈柏璋
陈泊芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Imaging Ltd
Original Assignee
Himax Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Imaging Ltd filed Critical Himax Imaging Ltd
Publication of CN114697561A publication Critical patent/CN114697561A/zh
Application granted granted Critical
Publication of CN114697561B publication Critical patent/CN114697561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种通过环境切换对图像传感器自动曝光控制的方法和设备。在一实例中,该方法包含:通过一第一环境设置一图像传感器阵列,以将具有相对较长的曝光时间的一高解析度图像输出到一后端设备。根据该高解析度图像和一宽收敛区间,将该第一环境切换到一第二环境;通过该第二环境设置该图像传感器阵列,以输出具有相对较短的曝光时间的一个或多个低解析度图像,以根据该一个或多个低解度图像更新一曝光值;以及根据一窄收敛区间来更新该曝光值,从而设置该图像传感器阵列。

Description

通过环境切换对图像传感器自动曝光控制的方法和设备
技术领域
本发明涉及图像传感器的自动曝光控制,尤其涉及通过环境切换(contextswitching)手段,对图像传感器进行自动曝光控制的方法和设备。
背景技术
自动曝光是数码相机的基础功能,用于补偿图像传感器的有限动态范围。自动曝光可以自动计算和操控相机的曝光设定(例如,曝光时间、传感器增益),从而提供:(a)对人眼来说更舒适观赏的图像,或(b)适合进行计算机视觉任务的图像(例如,脸部识别、物体/动态检测)。除了提供曝光良好的图像外,能够在光照剧烈变化发生时(例如,开/关灯),立刻进行快速曝光控制,从而缩短获得曝光良好的图像的所需时间也很重要。
通常,图像传感器会被设置成输出低解析度图像,以加速自动曝光控制。自动曝光控制机制将分析低解析度图像,以获得最佳曝光值,并使用该值决定当前场景的曝光设定。一旦找到最佳曝光值后,便将图像传感器阵列设置成输出高解析度图像,以此作为最终输出。这是因为低解析度图像的读取与分析速度较快。为了加速自动曝光控制,图像传感器还会被设置为在输出低解析度图像时使用较短的曝光时间(以及高增益)。
然而,当场景是由交流电供电的人造光源所照明时,短曝光时间可能导致不准确和不稳定的自动曝光控制。由于光源可能在特定频率(例如100Hz 或120Hz)下运作,且光源强度可能会在照明周期内发生变化(称为“闪烁”)。因此,若曝光时间短于光源的照明周期,可能会导致提取到的低解析度图像之间存在亮度波动。如此一来,基于低解析度图像所决定的曝光值,可能不适合用于产生具有较长曝光时间的高解析度图像。在最坏的情况下,可能导致高解析度图像的曝光值不稳定,并且让提取到的高解析度图像之间出现明显可见的闪烁。有鉴于此,有必要提供一种改善自动曝光控制机制的方法。
发明内容
为了解决前述的问题,本发明的目的之一在于提供一种用于监控相机系统或动态启动(motion-activated device)装置中的图像提取设备的自动曝光控制机制。本发明实施例通过环境切换(context switching)来快速设置图像提取设备,从而针对不同用途提供图像,例如,图像提取或场景感测(例如,照度估计)。更具体来说,图像提取设备可以被一个环境(context)设置为输出高解析度与高质量的图像,以用于图像提取,而由另一个环境设置为输出低解析度图像,以用于照度估计。此外,本发明还提供了不同的自动曝光控制策略,从而适应不同的情境(例如,不同的照度条件)。根据本发明的多个实施例,图像提取设备可以使用不同的收敛区间,进行曝光控制和环境切换。因此,本发明提出了一种自动曝光控制机制,可以在短时间内提供准确的曝光结果,并且对不同情境有着良好的适应性。
本发明的一实施例提供一种根据一启动信号进行运作的图像提取设备。该图像提取设备包含:一图像传感器阵列、一环境切换控制单元以及一曝光控制单元。该图像传感器阵列可通过一第一环境所设置,以将具有相对较长的曝光时间的一高解析度图像输出到一后端设备,并通过一第二环境所设置,以输出具有相对较短的曝光时间的一个或多个低解析度图像,以根据该一个或多个低解度图像更新一曝光值。该环境切换控制单元用于根据该高解析度图像和一宽收敛区间,将该第一环境切换到该第二环境。该曝光控制单元由这些环境所设置,用于根据一窄收敛区间来更新该曝光值,从而设置该图像传感器阵列。
本发明的一实施例提供一种用于控制根据一启动信号进行运作的一图像提取设备的方法。该方法包含:通过一第一环境设置一图像传感器阵列,以将具有相对较长的曝光时间的一高解析度图像输出到一后端设备。根据该高解析度图像和一宽收敛区间,将该第一环境切换到一第二环境;通过该第二环境设置该图像传感器阵列,以输出具有相对较短的曝光时间的一个或多个低解析度图像,以根据该一个或多个低解度图像更新一曝光值;以及根据一窄收敛区间来更新该曝光值,从而设置该图像传感器阵列。
附图说明
图1绘示本发明实施例的图像提取设备的架构示意图。
图2绘示本发明实施例的图像提取设备的操作时序。
图3绘示本发明实施例的图像提取设备所使用的关于曝光控制的收敛区间。
图4A与图4B绘示本发明第一实施例的图像提取设备如何通过环境切换进行曝光控制。
图5绘示本发明第二实施例的图像提取设备如何通过环境切换进行曝光控制。
图6绘示本发明实施例中如何控制图像提取设备的流程图。
【符号说明】
100图像提取设备
110图像传感器阵列
120暂存器组
122_1~122_N暂存器
125多工器
130环境切换控制单元
140曝光控制单元
142平均值统计模块
144区间检查模块
146曝光计算模块
具体实施方式
在以下内文中,描述了许多具体细节以提供阅读者对本发明实施例的透彻理解。然而,本领域技术人员将能理解,如何在缺少一个或多个具体细节的情况下,或者利用其他方法或元件或材料等来实现本发明。在其他情况下,众所皆知的结构、材料或操作不会被示出或详细描述,从而避免模糊本发明的核心概念。
说明书中提到的“一实施例”意味着该实施例所描述的特定特征、结构或特性可能被包含在本发明的至少一个实施例中。因此,本说明书中各处出现的“在一实施例中”不一定意味着同一个实施例。此外,前述的特定特征、结构或特性可以以任何合适的形式在一个或多个实施例中结合。
请参考图1,该图绘示本发明实施例的图像提取设备。如图所示,图像提取设备100包括图像传感器阵列110、暂存器组120、环境切换(context switching)控制单元130和曝光控制单元140。根据本发明的各种实施例,暂存器组120、环境切换控制单元130和曝光控制单元140可以整合并实现在单个处理器,或者分别实现在不同的芯片上。
图像提取设备100可以用在监视系统或动态启动的照明系统中。在不同实施例中,图像提取设备100可以用于向后端设备(未示出)提供高质量图像,其中后端设备可利用这些高质量图像,进行图像辨识或各种其他应用。
请参考图2以了解更多细节。如图所示,图像提取设备100可以周期性地运作于低功率或睡眠模式中,且仅在收到启动信号后的短时间内被启动,输出所提取的图像。根据不同实施例,启动信号可以由一个参考时钟源产生。举例来说,启动信号可能以每隔几秒或以远低于常见帧率30fps的速率(例如 1、5或10fps),启动图像提取设备100来输出所提取的图像。在监控系统的例子中,动态检测(未示出)可以通过分析提取到的图像来判断物体是否存在于场景中,或在场景中动作。一旦发现物体存在于场景中或在场景中动作时,则图像提取设备100可以在正常模式下操作,并且以30fps的普通帧率输出所提取的图像,从而完整地记录场景中物体运动。在动态启动照明系统的例子中,一旦发现物体存在于场景中或者有动作,便可启动光源。通过这种方式,监控系统或动态启动照明系统可以更加地节能。
图像提取设备100依靠环境切换在不同设置之间进行快速切换,以对不同用途提供图像。每个环境(context)指出图像提取设备100中的多个元件的独特设置组合,例如图像传感器阵列110、环境切换控制单元130和曝光控制单元140等元件的设置。下表示出了本发明中一个环境范例所包含的设定:
“图像解析度”代表关于图像传感器阵列110的输出图像的尺寸设定。“最长曝光时间”代表图像传感器阵列110提取单张图像时,可使用的最长曝光时间设定。“区间选择”代表曝光控制单元140进行自动曝光控制时,所使用的收敛区间的宽度设定,以及环境切换控制单元130决定环境切换时,所使用的收敛区间的宽度设定。“切换条件”代表环境切换控制单元130何时从一个环境切换到另一个环境的条件。请注意,在本发明不同实施例中,一个环境可能还包含其他可用于设定图像提取设备100的参数,例如帧率。
图像传感器阵列110包括以矩阵形式排列的多个像素电路,其可以是电荷耦合元件(Charge-coupled Device,CCD)或互补式金属氧化物半导体 (Complementary Metal-Oxide-Semiconductor,CMOS)式的图像传感器。像素电路的感测信号被读出后,产生提取图像。基于所选环境所设定的“图像解析度”,图像传感器阵列110可以输出用于图像提取的高解析度图像或用于场景感测的低解析度图像,例如估计场景的照明度。此外,本发明还会计算图像传感器阵列110在当前所选的环境下,输出图像的数量,这样的信息可在判断是否切换环境时被参考。
暂存器组120包括多个暂存器,其中暂存器组120中的多个暂存器组合 122_1~122_N分别存储不同的环境。存储在暂存器组合122_1~122_N中的多个环境之一可被载入,以设置图像传感器阵列110、环境切换控制单元130和曝光控制单元140。多个暂存器组合122_1~122_N的选择由多工器125所决定,而多工器125可被环境切换控制单元130所控制。
曝光控制单元140包括平均值统计模块142、区间检查模块144和曝光计算模块146。平均值统计模块142被设置为用于计算提取图像的亮度平均值ME_K。区间检查模块144被设置为用于检查亮度平均值ME_K是否落入收敛区间内,其中收敛区间定义了特定的亮度范围。将亮度平均值与收敛区间所定义的上界和下界进行比较,便可了解图像提取设备100所使用的曝光值是否能够正确地曝光当前场景。
根据区间检查模块144产生的检查结果,曝光计算模块146将决定是否更新当前曝光值。若提取图像的平均亮度值ME_K未落入收敛区间内,则曝光控制单元140会更新曝光值。如果亮度平均值高于目标值TV,则曝光计算模块146将通过降低等级来更新当前曝光值。如果亮度平均值低于目标值TV,则曝光计算模块146将通过增加等级来更新当前曝光值。一旦曝光值被更新,就可以决定新的增益设定和新的曝光时间设定,并将此些设定应用于图像传感器阵列110。
请参考图3,该图展示了曝光控制单元140如何以及何时更新曝光值。在图3中所示的情况下,第一提取图像的亮度平均值ME_1未落入收敛区间 Zone_A(上界为Zone_A_U,下界值为Zone_A_L)。因此,曝光计算模块146 决定更新曝光值。由于平均亮度值ME_1高于目标值TV,曝光计算模块146 将曝光值由较高的等级调整为较低的等级。一旦曝光计算模块146开始更新曝光值,它会不断地调整曝光值,直到亮度平均值ME_3落入收敛区间Zone_A内。简而言之,当提取图像的亮度平均值未落在收敛区间Zone_A内时,曝光控制单元140开始自动曝光控制,并且当提取图像的亮度平均值落在收敛区间Zone_A内时,曝光控制单元140停止自动曝光控制。
关于曝光控制单元140所计算的亮度平均值和使用的收敛区间等相关信息,将被传送到环境切换控制单元130。环境切换控制单元130可以使用这些信息来判断是否从一个环境切换至另一个环境。根据本发明的不同实施例,曝光控制单元140用于判断何时开始或停止自动曝光控制的一个或多个收敛区间可以不同于,环境切换控制单元130用于判断是否切换环境所使用的收敛区间(稍后会说明)。此外,环境切换控制单元130还可以根据,当前所选环境下产生的图像数量来判断是否从一个环境切换至另一个环境。
第一实施例
请参考图4A与图4B绘示出了本发明第一实施例的情境与操作。图4A 绘示了场景中环境光的强度和提取图像相对应的亮度平均值。在本实施例中,环境光是交流电供电的人造光源,例如,萤光灯或发光二极管(light-emitting diode,LED)光源。交流电供电的人造光源在时间T0开启,由于交流电供电,其强度基于特定频率(例如,100Hz或120Hz)不断变化。因此,本发明提供以下控制机制,以执行快速且抗闪烁的自动曝光控制。其中,图像提取装置100被唤醒后,通过低解析度图像,迭代地执行自动曝光控制,直到曝光值被最佳化。并且,基于最佳曝光值输出高解析度图像至后端装置(未示出),之后图像提取装置100便进入休眠状态。
在第一实施例中,首先由环境切换控制单元130从存储在暂存器组合 122_1~122_N中的多个环境中选择环境No_1。其中环境No_1可将图像传感器阵列110设置成使用相对较短的曝光时间提取低解低度图像。由于低解析度图像可以更快地被读取和分析,所以可以加快自动曝光控制,并且缩短获得合理曝光值的时间。
另外,环境No_1将曝光控制单元140设置为使用较宽的收敛区间Zone_B (上界为Zone_B_U,下界为Zone_B_L)来决定何时开始与停止进行自动曝光控制。环境No_1还将环境切换控制单元130设置为使用较宽的收敛区间 Zone_B来决定何时切换环境。
在环境No_1的设置下,如果低解析度图像的亮度平均值落在较宽的收敛区间Zone_B内,则环境切换控制单元130将切换到存储在暂存器组合 122_1~122_N中的环境No_2。一旦低解析度图像的亮度平均值落在较宽的收敛区间Zone_B内,则意味着曝光控制单元140已找到次佳(suboptimal)曝光值,此值会近似适合产生当前场景的高解析度图像的最佳曝光值。因此,环境切换控制单元130切换到环境No_2,从而允许图像传感器阵列110输出高解析度图像作为最终输出。
另一方面,如果曝光控制单元140长时间未能找到最佳曝光值,则环境切换控制单元130也会切换到环境No_2。亦即,若帧数Fcount_1(即在环境 No_1的设置下所输出的图像数量)大于或等于N,则环境切换控制单元130将切换至环境No_2。换句话说,环境切换控制单元130可以让曝光控制单元140停止自动曝光控制,并且无论低解析度图像的亮度平均值是否落在较宽的收敛区间Zone_B内,图像提取设备100都被强制输出高解析度图像,从而避免图像提取设备100的睡眠时间被限制。
一旦环境No_2被选择,图像传感器阵列110被设置成以相对长的曝光时间提取高解析度图像。此外,环境No_2亦设置曝光控制单元140使用比收敛区间Zone_B更窄的收敛区间Zone_A(具有上界Zone_A_U,和下界Zone_A_L)来判断是否开始和停止自动曝光控制。通过使用以较长曝光时间提取到的高解析度图像,自动曝光控制能够进一步微调与修正,在先前的环境No_1设置中,以短时间所获得的次佳曝光值。由于高解析度图像的曝光时间可以为照明周期的整数倍,因此可以在不受光源强度变化影响的情况下,决定最佳曝光值。在环境No_2的设置中,如果帧数Fcount_2(即在环境No_2 的设置下所输出的图像数量)大于或等于1,则环境切换控制单元130将切换回环境No_1。这意味着一旦输出高解析度图像后,环境切换控制单元130就切换回环境No_1。在图像传感器阵列110输出高解析度图像后,图像提取设备100会进入睡眠状态,直到被启动信号再次唤醒。
请进一步参考图4B以获取更多细节。图像提取装置100在时间T1被启动信号TR唤醒。在时间T1,图像提取装置100会被环境No_1所设置,使得图像传感器阵列110输出低解析度图像IMG_L_1。曝光控制单元140分析低解析度图像IMG_L_1以获得亮度平均值ME_1。在图4B所示的情况下,直到曝光控制单元140两次更新曝光值以获得曝光值E1后,低解析度图像IMG_L_3的亮度平均值ME_3才落入较宽的收敛区间Zone_B内。
当低解析度图像IMG_L_3的亮度平均值ME_3落入收敛区间Zone_B时,环境切换控制单元130决定切换到环境No_2。同时,由于亮度平均值ME_3 落入收敛区间Zone_B,曝光控制单元140也将停止自动曝光控制。一旦环境切换控制单元130切换到环境No_2,图像传感器阵列110便输出高解析度图像IMG_H_1。图像传感器阵列110会依据曝光值E1来输出高解析度图像 IMG_H_1。请注意,即使低解析度图像IMG_L_3与高解析度图像IMG_H_1 均基于曝光值E1所提取,但两者对应的图像传感器阵列110的增益设定是不同的。这是因为低解析度图像是用短曝光时间所提取的,而高解析度图像则是用长曝光时间所提取的,所以两者的增益设定必须不同才能达到相同的曝光值E1。
由于在环境No_1中获得的曝光值E1导致高解析度图像IMG_H_1的亮度平均值ME_4未能落入较窄的收敛区间Zone_A内,因此曝光控制单元140 开始进行自动曝光控制,并更新当前曝光值使其从E1到E2。此外,在图像传感器阵列110输出高解析度图像IMG_H_1后,环境切换控制单元130切换回环境No_1。之后,图像提取设备100进入睡眠状态。
在时间T2,图像提取装置100被启动信号TR唤醒,图像提取装置100 会由环境No_1所设置,使得图像传感器阵列110输出低解析度图像IMG_L_4。此外,图像传感器阵列110基于曝光值E2产生低解析度图像IMG_L_4。由于低解析度图像IMG_L_4的亮度平均值ME_5落入较宽的收敛区间Zone_B,因此曝光控制单元140不会开始自动曝光控制,使得曝光值维持在E2。通过使用较宽的收敛区间Zone_B,交流电供电的人造光源的亮度波动将不至于影响根据高解析度图像IMG_H_1所得到的曝光值E2。另一方面,由于亮度平均值ME_5落入较宽的收敛区间Zone_B内,环境切换控制单元130切换到环境No_2。
在选择环境No_2后,图像传感器110被设置为输出高解析度图像 IMG_H_2。图像传感器110基于曝光值E2输出高解析度图像IMG_H2。由于高解析度图像IMG_H_2的亮度平均值ME_6落入较窄的收敛区间Zone_A 内,因此曝光控制单元140不会开始自动曝光,使得曝光值将维持在E2。此外,在图像传感器110输出高解析度图像IMG_H_2后,环境切换控制单元130会切换回环境No_1。之后,图像提取设备100进入睡眠状态。
在时间T3,图像提取装置100根据启动信号TR再次被启动,图像提取装置100由环境No_1设置,使得图像传感器阵列110输出低解析度图像 IMG_L_5。图像传感器阵列110仍然依靠曝光值E2产生低解析度图像 IMG_L_5。由于低解析度图像IMG_L_5的亮度平均值ME_7落入收敛区间 Zone_B内,因此曝光控制单元140不会开始自动曝光控制,且曝光值继续维持在E2。另一方面,由于亮度平均值ME_7落在收敛区间Zone_B内,所以环境切换控制单元130切换到环境No_2。在选择环境No_2之后,图像传感器阵列110被设置成输出高解析度图像IMG_H_3。图像传感器阵列110依靠曝光值E2产生高解析度图像IMG_H_3。由于高解析度图像IMG_H_3的亮度平均值ME_8落入较窄的收敛区间Zone_A内,因此曝光控制单元140不会开始自动曝光控制,使得曝光值继续维持在E2。之后,环境切换控制单元 130切换回环境No_1,且图像提取装置100进入睡眠状态。
由于环境No_1使用了较宽的收敛区间Zone_B,因此交流电供电的人造光源所导致的亮度波动(例如ME_5、ME_7)不会影响基于高解析度图像 IMG_H_1所得到的曝光值E2,从而避免不稳定的曝光值被用在产生高解析度图像IMG_H_2和IMG_H_3。
在本实施例中,在环境No_1的设置下,曝光控制单元140使用较宽的收敛区间Zone_B来决定是否启动自动曝光控制,使得曝光控制可以不受交流电供电的人造光源的亮度变化所影响,让曝光值更为稳定。因此,高解析度图像(作为最终输出)的整体亮度可以更加一致。又或者是,在环境No_2的设置下,曝光控制单元140利用收敛区间Zone_A来决定是否启动自动曝光控制,使得曝光控制机制能够找到适合产生当前场景的高解析度图像的最佳曝光值。另一方面,在环境No_1的设置下,环境切换控制单元130使用较宽的收敛区间Zone_B来判断当光照剧烈变化时,是否继续保持环境NO_1的设置,以进行快速自动曝光控制。
第二实施例
请参考图5,该图绘示本发明第二实施例的情境和操作。图像提取装置 100被唤醒后,先将高解析度图像输出至后端装置,再以低解析度图像迭代地进行自动曝光控制,直到曝光值被最佳化。之后,图像提取设备100进入睡眠状态,并且存储最佳曝光值,以应用于下一张高解析度图像中。
在本实施例中,环境切换控制单元130首先从暂存器组合122_1~122_N 保存的多个环境中,选择环境No_3。其中环境No_3将设置图像传感器阵列 11,令其使用相对较长的曝光时间提取高解析度图像,而高解析度图像将被输出到后端设备(未示出)。此外,环境No_3还将设置曝光控制单元140,令其使用较窄的收敛区间Zone_A来决定是否开始和停止自动曝光控制。环境No_3也设置环境切换控制单元130,使用较宽的收敛区间Zone_B来判断何时切换环境。
如果高解析度图像的亮度平均值未落入收敛区间Zone_B内,则环境切换控制单元130将从暂存器组合122_1~122_N中选择环境No_4。这意味着当前曝光值可能与当前场景的最佳曝光值相差甚远。因此,快速自动曝光控制是必要的。为了加速自动曝光控制,本发明将使用环境No_4,因为它将设置图像传感器阵列110输出可以更快被读取和分析的低解析度图像。
一旦环境No_4被选择,它将设置图像传感器阵列110使用相对较短的曝光时间来提取低解析度图像。此外,环境No_4会设置曝光控制单元140使用较窄的收敛区间Zone_A来判断是否开始和停止自动曝光控制。环境No_4 还设置环境切换控制单元130以使用较窄的收敛区间Zone_A来判断何时切换环境。
在环境No_4的设置下,如果低解析度图像的亮度平均值落在收敛区间 Zone_A内,则环境切换控制单元130将切换回环境No_3,这意味着曝光控制单元140已经找到次佳曝光值,此值近似于足以正确地曝光当前场景的高解析度图像的最佳曝光值。此外,若帧数Fcount_4(即在环境No_4的设置下输出的图像数量)大于或等于N,则环境切换控制单元130切换回环境No_3,这是为了限制自动曝光控制耗费的时间,避免图像提取设备100的睡眠时间被压缩。
请参考图5以获取进一步细节。图像提取装置100在时间T1被启动信号 TR唤醒。在时间T1,图像提取装置100会被环境No_3设置,使图像传感器阵列110输出高解析度图像IMG_H_1至后端装置供其应用。曝光控制单元 140分析高解析度图像IMG_H_1以获得亮度平均值ME_1。由于高解析度图像IMG_H_1的平均亮度值ME_1并未落入较宽的收敛区间Zone_B内,因此环境切换控制单元130切换至环境No_4以进行快速自动曝光控制。此外,由于高解析度图像IMG_H_1的亮度平均值ME_1并未落入收敛区间Zone_A 内,曝光控制单元140亦决定开始自动曝光控制,并将曝光值由E1更新为 E2。
一旦环境No_4被选择,图像传感器阵列110开始输出以短曝光时间提取的低解析度图像。曝光控制单元140计算亮度平均值并相应地更新曝光值。在图5所示的情况下,直到曝光控制单元140将曝光值更新为E4,低解析度图像IMG_L_3的亮度平均值ME_4才落入收敛区间Zone_A内。一旦低解析度图像IMG_L_3的亮度平均值ME_4落入收敛区间Zone_A内,曝光控制单元140就停止自动曝光控制,使得曝光值维持在E4。另外,由于亮度平均值 ME_4落在收敛区间Zone_A内,环境切换控制单元将切换到环境No_3。之后,图像提取设备100进入睡眠状态。
由于交流电供电的人造光源的亮度变化,使得提取的低解析度图像之间具有亮度波动,让自动曝光控制无法找到最佳曝光值。因此,自动曝光控制需要以相对较长的曝光时间所提取到的高解析度图像,进一步微调次佳曝光值E4。
在时间T2,图像提取装置100根据启动信号TR被启动,且图像提取装置100将由环境No_3所设置,使得图像传感器阵列110输出高解析度图像 IMG_H_2。图像传感器阵列110基于曝光值E4产生高解析度图像IMG_H_2。由于高解析度图像IMG_H_2的亮度平均值ME_5未落入收敛区间Zone_A内时,曝光控制单元140因此开始自动曝光控制,将当前曝光值由E4更新为 E5。另一方面,由于亮度平均值ME_5落入收敛区间Zone_B内,环境切换控制单元130不会切换环境。之后,图像提取设备100进入睡眠状态。
在时间T3,图像提取装置100根据启动信号TR再次被启动,图像提取装置100由环境No_3所设置,使图像传感器阵列110输出高解析度图像 IMG_H_3。图像传感器阵列110根据曝光值E5产生高解析度图像IMG_H_3。由于高解析度图像IMG_H_3的亮度平均值ME_6落入收敛区间Zone_A内,因此曝光控制单元140无需启动自动曝光控制以及更新当前曝光值。另一方面,由于亮度平均值ME_6落入收敛区间Zone_B内,环境切换控制单元130 不会切换环境。因此,图像提取设备100进入睡眠状态。
由于环境No_3使用较宽的收敛区间Zone_B,所以仅当光照剧烈变化时,才会进行低解析度图像的提取。如此一来,可以降低低解析度图像的提取所造成的功耗,并且交流电供电的人造光源的亮度变化所导致的亮度波动,将不会影响使用高解析度图像所得到的最佳曝光值。
在本实施例中,在环境No_3的设置下,环境切换控制单元130使用较宽的收敛区间Zone_B来判断是否切换到环境NO_4,这样可以避免低解析度图像的亮度波动的影响,并降低了切换至环境No_4的机率。如此一来,只有在当前曝光值与当前场景的最佳曝光值相差很远时(如光照剧烈变化),才会进一步使用低解析度图像进行快速自动曝光控制,所以低解析度图像的提取所导致的功耗可被降低。
图6绘示了通过环境切换来控制图像提取设备的方法的简化流程,其中,图像提取设备根据启动信号进行操作,该方法包括以下步骤:
步骤310:从多个环境中选择一个环境;
步骤320:利用一图像提取装置中的一图像传感器阵列,根据该所选环境输出一张或多张提取图像;
步骤330:利用该所选环境所设置的用于环境切换的一收敛区间,判断是否从该所选环境切换到另一个环境;以及
步骤340:利用由该所选环境所设置的用于曝光控制的一收敛区间,判断是否更新一曝光值,并相应地决定该曝光值以设置该图像传感器阵列,其中,用于该环境切换的该收敛区间以及用于曝光控制的该收敛区间都定义了亮度范围,且用于环境切换的该收敛区间的宽度可以不同于用于曝光控制的该收敛区间的宽度。
由于上述步骤的原理和具体细节已经结合图像提取设备100的实施例进行了详细描述和说明,在此不再赘述处理方法。值得注意的,本发明还可以通过在上述流程中加入其他额外步骤来实现。
综上所述,本发明的图像提取装置使用预设的环境条件来提升可设置性,以适应不同的情境。例如,本发明可以使用较宽的收敛区间,判断是否基于启动基于低解析度图像的自动曝光控制,以进行快速曝光控制,同时使用较窄的收敛区间以判断是否基于启动基于高解析度图像的自动曝光控制,从而使用低解析度图像微调以及最佳化自动曝光控制的结果。这样的设置可以让图像提取设备更不受环境光的强度变化的影响,并且加速曝光控制。另一方面,本发明亦设置图像传感器阵列以先高解析度图像作为最终输出,然后选择性地设置图像传感器阵列输出低解析度图像,以进行快速自动曝光控制。在这种做法中,可以保证图像提取设备有充足的睡眠时间,从而提高图像提取设备的能源效率。
本发明的实施例可使用硬件、软件、固件以及其相关结合来完成。藉由适当的一指令执行系统,可使用存储在一存储器中的软件或固件来实作本发明的实施例。就硬件而言,则是可应用下列任一技术或其相关结合来完成:具有可根据数据信号执行逻辑功能的逻辑门的一个别运算逻辑、具有合适的组合逻辑门的一特定应用集成电路(applicationspecific integrated circuit,ASIC)、可编程门阵列(programmable gate array,PGA)或一现场可编程门阵列 (field programmable gate array,FPGA)等。
说明书内的流程图中的流程和方块示出了基于本发明的各种实施例的系统、方法和计算机软件产品所能实现的架构,功能和操作。在这方面,流程图或功能方块图中的每个方块可以代表程序代码的模块,区段或者是部分,其包括用于实现指定的逻辑功能的一个或多个可执行指令。另外,功能方块图和/或流程图中的每个方块,以及方块的组合,基本上可以由执行指定功能或动作的专用硬件系统来实现,或专用硬件和计算机程序指令的组合来实现。这些计算机程序指令还可以存储在计算机可读介质中,该介质可以使计算机或其他可编程数据处理装置以特定方式工作,使得存储在计算机可读介质中的指令,实现流程图和/或功能方块图中的方块所指定的功能/动作。
以上所述仅为本发明的优选实施例,凡依本发明权利要求书所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (6)

1.一种根据启动信号所运作的图像提取设备,包含:
图像传感器阵列,可通过第一环境(context)设置,以将具有相对较长的曝光时间的高解析度图像输出到后端设备,并通过第二环境设置,以输出具有相对较短的曝光时间的一个或多个低解析度图像,以根据该一个或多个低解度图像更新曝光值;
环境切换控制单元,用于根据该高解析度图像和宽收敛区间,将该第一环境切换到该第二环境;以及
曝光控制单元,由所述第一环境和第二环境所设置,用于根据窄收敛区间来更新该曝光值,从而设置该图像传感器阵列,
其中若该图像传感器阵列输出的该高解析度图像的亮度平均值未落在该宽收敛区间内,则该环境切换控制单元将环境从该第一环境切换到该第二环境;若该图像传感器阵列输出的这些低解析度图像中的一个的亮度平均值落在该宽收敛区间内,则该环境切换控制单元将环境从该第二环境切换到该第一环境。
2.如权利要求1所述的图像提取设备,其中该启动信号是基于参考时钟源产生,并且该图像提取设备周期性地被该启动信号从睡眠状态中唤醒。
3.如权利要求1所述的图像提取设备,其中若该图像传感器阵列输出的低解析度图像的数量大于预定值,则该环境切换控制单元将环境从该第二环境切换到该第一环境。
4.如权利要求1所述的图像提取设备,其中若该高解析度图像或该低解析度图像的亮度平均值在该窄收敛区间内时,则该图像提取设备进入睡眠状态。
5.如权利要求1所述的图像提取设备,还包含:
暂存器组,包括多个暂存器组合,每个暂存器组合用于存储一个环境;以及
多工器,耦接到该暂存器组与该环境切换控制单元,可由该环境切换控制单元所控制,以输出所选择的一个环境。
6.如权利要求1所述的图像提取设备,其中该图像传感器阵列在该启动信号后,由该第一环境设置。
CN202110648280.7A 2020-12-29 2021-06-10 通过环境切换对图像传感器自动曝光控制的方法和设备 Active CN114697561B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/136,046 US11252337B1 (en) 2020-12-29 2020-12-29 Method and apparatus of performing automatic exposure control for image sensor with context switching
US17/136,046 2020-12-29

Publications (2)

Publication Number Publication Date
CN114697561A CN114697561A (zh) 2022-07-01
CN114697561B true CN114697561B (zh) 2024-04-26

Family

ID=80249389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110648280.7A Active CN114697561B (zh) 2020-12-29 2021-06-10 通过环境切换对图像传感器自动曝光控制的方法和设备

Country Status (3)

Country Link
US (1) US11252337B1 (zh)
CN (1) CN114697561B (zh)
TW (1) TWI794837B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11653111B2 (en) * 2021-03-31 2023-05-16 Apple Inc. Exposure truncation for image sensors
US12015845B2 (en) 2021-09-13 2024-06-18 Apple Inc. Object depth estimation and camera focusing techniques for multiple-camera systems
US11750922B2 (en) 2021-09-13 2023-09-05 Apple Inc. Camera switchover control techniques for multiple-camera systems

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112864A (ja) * 1997-09-30 1999-04-23 Ricoh Co Ltd デジタルカメラ調整システム及びデジタルカメラ調整装置
CN101203884A (zh) * 2005-05-10 2008-06-18 安德鲁·奥古斯蒂娜·魏斯 控制图像捕获系统的方法、图像捕获系统以及数码相机
CN102090068A (zh) * 2008-08-01 2011-06-08 伊斯曼柯达公司 利用不同分辨率的图像形成改良图像
CN102118564A (zh) * 2011-02-17 2011-07-06 无锡中星微电子有限公司 曝光控制系统及方法
JP2012008442A (ja) * 2010-06-28 2012-01-12 Elmo Co Ltd 露出制御装置および露出制御方法
CN103139488A (zh) * 2011-11-23 2013-06-05 恒景科技股份有限公司 高动态范围影像感测装置、方法、及装置制造方法
CN105612506A (zh) * 2013-10-02 2016-05-25 高通股份有限公司 相机控制接口休眠和唤醒信令
CN107580185A (zh) * 2017-09-30 2018-01-12 德淮半导体有限公司 图像传感器及操作方法以及成像装置
CN111669512A (zh) * 2019-03-08 2020-09-15 恒景科技股份有限公司 影像撷取装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060011724A1 (en) * 2004-07-15 2006-01-19 Eugene Joseph Optical code reading system and method using a variable resolution imaging sensor
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8325890B2 (en) * 2010-06-06 2012-12-04 Apple Inc. Auto exposure techniques for variable lighting conditions
US8970720B2 (en) * 2010-07-26 2015-03-03 Apple Inc. Automatic digital camera photography mode selection
JP5986461B2 (ja) * 2012-09-07 2016-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US9343177B2 (en) * 2013-02-01 2016-05-17 Apple Inc. Accessing control registers over a data bus
JP6736407B2 (ja) * 2016-07-28 2020-08-05 キヤノン株式会社 撮像装置、その制御方法およびプログラム
US10873714B2 (en) * 2017-11-09 2020-12-22 Semiconductor Components Industries, Llc Image sensor with multiple pixel access settings

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112864A (ja) * 1997-09-30 1999-04-23 Ricoh Co Ltd デジタルカメラ調整システム及びデジタルカメラ調整装置
CN101203884A (zh) * 2005-05-10 2008-06-18 安德鲁·奥古斯蒂娜·魏斯 控制图像捕获系统的方法、图像捕获系统以及数码相机
CN102090068A (zh) * 2008-08-01 2011-06-08 伊斯曼柯达公司 利用不同分辨率的图像形成改良图像
JP2012008442A (ja) * 2010-06-28 2012-01-12 Elmo Co Ltd 露出制御装置および露出制御方法
CN102118564A (zh) * 2011-02-17 2011-07-06 无锡中星微电子有限公司 曝光控制系统及方法
CN103139488A (zh) * 2011-11-23 2013-06-05 恒景科技股份有限公司 高动态范围影像感测装置、方法、及装置制造方法
CN105612506A (zh) * 2013-10-02 2016-05-25 高通股份有限公司 相机控制接口休眠和唤醒信令
CN107580185A (zh) * 2017-09-30 2018-01-12 德淮半导体有限公司 图像传感器及操作方法以及成像装置
CN111669512A (zh) * 2019-03-08 2020-09-15 恒景科技股份有限公司 影像撷取装置

Also Published As

Publication number Publication date
CN114697561A (zh) 2022-07-01
TWI794837B (zh) 2023-03-01
TW202226815A (zh) 2022-07-01
US11252337B1 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
CN114697561B (zh) 通过环境切换对图像传感器自动曝光控制的方法和设备
JP4259998B2 (ja) フリッカ検出装置及び撮像装置
US20050270413A1 (en) Adjustment of illumination light quantity for moving picture in moving picture image pickup device
US9936152B2 (en) Image sensor and sensor module
RU2627933C2 (ru) Устройство захвата изображения и способ управления им
US20180227573A1 (en) Electronic device having dynamically controlled flashlight for image capturing and related control method
US6549239B1 (en) Smart progressive-scan charge-coupled device camera
JP4574185B2 (ja) 撮像装置及び閃光装置の制御方法
JP2021500820A (ja) 撮像制御方法および撮像装置
KR100968543B1 (ko) 적외선 발광다이오드를 이용한 카메라 및 적외선 발광다이오드 제어 방법
JP2010152285A (ja) 撮像装置
JP2010068386A (ja) 撮像装置、撮像方法及びプログラム
US20070014553A1 (en) Image-taking apparatus
JP2021061627A (ja) 撮像装置およびその制御方法、プログラム
US8115860B2 (en) LED flash control
US11637960B2 (en) Image processing apparatus, image processing method, and storage medium
CN113114926B (zh) 一种图像处理方法、装置及摄像机
JP2008148180A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP6816210B2 (ja) 撮像装置およびその制御方法、プログラム
JP4932170B2 (ja) 画像撮影装置及び発光制御方法、並びに携帯電話端末
JP2020057885A (ja) スイッチング電源回路
KR101101484B1 (ko) 자동 초점 보조광을 이용한 촬상 장치 및 방법
KR20090071325A (ko) 촬상 장치
JP2007163837A (ja) 撮影用発光装置及びカメラ
JP3808254B2 (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant