CN109474788B - 用于彩色和ir相机传感器的照明控制技术 - Google Patents

用于彩色和ir相机传感器的照明控制技术 Download PDF

Info

Publication number
CN109474788B
CN109474788B CN201710807641.1A CN201710807641A CN109474788B CN 109474788 B CN109474788 B CN 109474788B CN 201710807641 A CN201710807641 A CN 201710807641A CN 109474788 B CN109474788 B CN 109474788B
Authority
CN
China
Prior art keywords
flash
camera
adjusting
signal
camera mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710807641.1A
Other languages
English (en)
Other versions
CN109474788A (zh
Inventor
周汇
张春荣
刘大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Priority to CN201710807641.1A priority Critical patent/CN109474788B/zh
Priority to US15/728,406 priority patent/US10674081B2/en
Publication of CN109474788A publication Critical patent/CN109474788A/zh
Application granted granted Critical
Publication of CN109474788B publication Critical patent/CN109474788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本文中公开了用于相机照明器控制的技术。这些技术可以用于包括RGBIR(红绿蓝红外线)相机传感器和两个照明器的相机中,这两个照明器一个是可见光照明器并且一个是红外线照明器。这些技术针对各种不同的相机模式为此类相机提供定时和控制。特定相机模式可以被定义为针对不同的相机模式参数具有不同的相机模式值。也就是说,任何特定相机模式是由相机模式参数集合中的每一者的特定相机模式值所定义。不同参数包括闪光周期性参数、同时性参数、自动曝光模式参数、快门模式参数和丢帧参数。

Description

用于彩色和IR相机传感器的照明控制技术
技术领域
本文中公开了用于相机照明器控制的技术。
背景技术
相机变得越来越小型化并且被提供有增加的能力。近来,相机已将可见光和红外线感测能力组合到单个传感器芯片中。将要被捕获图像的场景有时要求闪光照明以将光增加到可接受的水平。通过使用组合的可见光和红外线传感器,闪光照明被复杂化。
发明内容
本文中公开了用于相机照明器控制的技术。这些技术可以用于包括RGBIR(红绿蓝红外线)相机传感器和两个照明器的相机中,这两个照明器一个是可见光照明器并且一个是红外线照明器。这些技术针对各种不同的相机模式为此类相机提供定时和控制。在本文中,特定相机模式可以被定义为针对不同的相机模式参数具有不同的相机模式值。也就是说,任何特定相机模式是由相机模式参数集合中的每一者的特定相机模式值所定义。
一个相机模式参数是闪光照明的周期性。周期性相机模式参数确定对于对闪光使能信号(或“闪光断言信号”)的任何给定断言来说,照明器是单个帧内开启一次、多个帧上开启一次、还是在断言闪光使能信号时周期性地进行。
另一相机模式参数是同时性参数,其确定了是红外线和RGB数据两者都从传感器的单个曝光帧读出(在本文中称为“同时”读出或“双输出”读出)、还是仅红外线和RGB数据中的一个从传感器的单个曝光帧读出(在本文中称为“单输出”读出)。如果同时性参数具有双输出值,那么另一参数是自动曝光参数,自动曝光参数确定是否执行自动曝光计算以确定可见光闪光灯、红外线闪光灯或可见光闪光灯和红外线闪光灯两者的照明水平。
另一相机模式参数是快门模式参数。快门模式参数确定传感器是以全局快门模式还是卷帘快门模式读出。
另一相机模式参数是丢帧参数。由于照明器关于快门曝光的定时,并且尤其对于卷帘快门来说,丢掉在帧流中的一些帧可能是期望的或有用的。在一些模式中,尽管使用卷帘快门,也有可能避免丢帧。丢帧参数指示是否丢弃帧流的帧。
如上所述,具有RGBIR传感器和两个照明器的相机可以各种模式操作,每一模式是由不同的相机模式参数的集合中的每一者的不同的参数值所定义。一些参数可具有任何值,不管其它参数的值如何,而对于其它参数来说,不同的参数的特定的参数值集合的仅某些值是可能的。以下提供附加细节。
附图说明
图1是根据实例的包括相机和相机处理器的装置的方框图;
图2A至2C是根据实例的示出周期性相机模式参数的变化的时序图;
图3A和图3B示出了根据实例的与其中使用RGB和IR数据两者的传感器读出模式的自动曝光计算和闪光控制有关的定时;
图4是根据实例的示出相机的卷帘快门操作和具有部分照明的帧的可能性的示意图;
图5A至图5D示出了根据实例的包括出于适当照明曝光帧的目的将闪光定时与曝光持续时间对准的特征的时序图;以及
图6是根据实例的用于根据不同的相机模式参数值来操作相机的方法的流程图。
具体实施方式
图1是根据实例的包括相机102和相机处理器112的装置100的方框图。相机102包括传感器104。传感器104包括具有多个子像素的像素阵列。不同的子像素被配置为感测在不同波长上的光。在一种配置中,红色、绿色、蓝色和红外线(或近红外线)光存在不同的子像素,使得传感器104的曝光造成针对这些各种波长的光而产生的信号。相机102还包括了RGB(或“可见光”)照明器106,其产生了具有可见光波长的光,以便照明对象以由传感器104的RGB分量进行感测。相机102还包括了IR照明器107,其产生了具有红外线或近红外线波长的光,以便照明对象以由传感器104的IR分量进行感测。
相机处理器112包括相机接口108和图像处理器110。相机接口108与相机102直接对接,并且执行动作,诸如从传感器104的像素读出原始数据、控制曝光定时和控制RGB照明器106和IR照明器107的亮度和使能。图像处理器110处理由相机接口108取得的原始数据。这种处理包括各种图像处理步骤中的任一者,诸如原始数据的亮度或彩色值的调整、对图像的净化(其去除来自各种来源的污染,诸如光谱污染(因用于传感器104的子像素的不完美滤色器造成的污染)、光学空间污染(其涉及由光可取决于光在传感器104上的入射角而撞击于传感器的不正确的像素这一事实造成的污染)和电气污染(其源自于入射在一个像素上的光触发相邻像素上的电气响应))。通过图像处理器110进行处理还包括了分析原始数据或处理过的数据以确定相机参数,诸如像快门速度或光圈尺寸的曝光参数、是否要求闪光照明和闪光电源应是什么。图像处理器110还控制了相机102的定时参数,从而通过相机接口108控制相机。如果将要使用闪光灯(即,RGB照明器106和/或IR照明器107),那么图像处理器110控制闪光的使能和定时。时序包括相对于闪光触发垂直同步(“VSYNC”)信号的延迟以及闪光持续时间。如上所述,相机102可以许多不同模式操作,每一模式是由周期性相机模式参数、同时性相机模式参数、自动曝光参数、快门模式参数和丢帧参数的不同的相机模式参数值集合所定义。
图2A至2C是根据实例的示出周期性相机模式参数的变化的时序图。图2A示出了每单个帧一次时序图200,图2B示出了多个帧上一次时序图210,并且图2C示出了周期性闪光时序图220。如上所述,周期性相机模式参数可以被设定为由图2A至2C表示的三个值中的一个值,并且控制闪光电源开启相对于传感器曝光定时的定时。
每单个帧一次时序图200示出了其中在断言闪光断言信号的时间段期间闪光灯在单个帧内被点亮一次的模式。闪光断言信号表示由图像处理器110做出的将发生闪光照明的决策。这个决策可能是出于各种原因做出的。在一个实例中,这个决策是基于由图像处理器110针对前一传感器曝光帧计算的曝光水平做出的。例如,如果帧太暗,那么图像处理器110确定期望闪光照明以使光级增加并且断言闪光断言信号。在另一实例中,闪光被设定为“始终开启”,并且因此作为响应,图像处理器110断言闪光断言信号。出于各种原因中的任一者,图像处理器110可在稍后时间上对信号解除断言。
在每单个帧一次时序图200中,闪光断言信号导致闪光灯在仅一个帧内接通电源,直至闪光断言信号解除断言为止。因此,闪光灯每一断言闪光断言信号实例接通电源一次。出于定时目的,示出了闪光VSYNC信号和闪光触发信号。这些信号是由相机接口108生成,并且用于调节闪光何时可响应于由图像处理器110提供的闪光断言信号而触发的定时。闪光VSYNC信号是具有的时间段与传感器曝光周期的时间段相等的周期性信号。闪光VSYNC信号被示出为在比传感器帧曝光开始稍晚的时间(这个时间被示出为“传感器曝光持续时间”)上进行断言。对闪光VSYNC信号的断言导致闪光触发信号一般在比闪光VSYNC信号短的时间段内进行断言。
闪光灯响应于在当断言闪光断言信号时断言闪光触发信号的第一时间而接通电源,但响应于在当仍然断言闪光断言信号时断言闪光触发信号的任何其它时间内不接通。在对闪光断言信号解除断言和重新断言后,闪光灯在闪光触发信号被断言的第一实例时再次接通电源,如图2A所示。
闪光灯在解除断言闪光触发信号后的时间量(其被称为“延迟”或“延迟定时参数”或“延迟参数”)接通电源。闪光灯在与闪光持续时间参数相等的持续时间内接通电源。延迟参数被设定为使得闪光灯在传感器曝光帧开始后的某个点(如由“传感器曝光持续时间”信号反映)开始接通电源。持续时间是基于各种因素设定的。在一些情况下,持续时间可能导致闪光断言从闪光灯开始接通电源的曝光帧延长到下一个相邻帧。如果使用卷帘快门,这就可能导致在该帧内部分照明。然而,在其中一些帧被丢弃的模式中,例如,如果丢弃该帧,那么令人满意的是部分照明下一个相邻帧。以下将针对图4和图5A至5D来更详细地描述帧的丢弃、帧的部分照明和卷帘快门。如果不允许下一个相邻帧被部分照明,例如如果不周期性地丢弃帧,那么持续时间参数被设定为使得闪光灯接通电源,直至闪光灯接通电源的帧结束或直至在该时间之前。
图2B示出了多个帧上一次时序图210,其示出了当周期性相机模式参数的值是多个帧上一次值时所发生的情况。在这种情况下,闪光灯在多个帧上保持接通电源。正如单个帧内一次参数值那样,闪光灯响应于断言闪光断言信号和闪光触发信号而接通电源。延迟值设定为导致闪光灯在特定的曝光帧开始时或在此之后接通电源。闪光灯响应于在解除断言闪光断言信号时断言闪光灯触发而断开电源。因此,在图2B中,在解除断言闪光断言信号时断言闪光触发的第三时间内,相机接口108导致闪光灯断开电源。闪光灯的断电的定时由闪光结束时间值确定。此值表示在最后闪光触发断言(这在对闪光断言信号解除断言时发生)后闪光灯断开电源的时间。闪光结束时间被设定为使得最后一个照明的帧是完全而不是部分照明。
图2C示出了周期性闪光时序图220。利用周期性相机模式参数的周期性值,闪光灯在闪光断言信号开启时周期性地接通电源。具体来说,闪光灯每N个帧接通电源,其中N表示特定整数一或更大整数。在图2C中,N的特定值为3,因为闪光灯在当断言闪光断言信号时断言闪光触发的第一时间和第四时间开启。
图3A和图3B示出了根据实例的与其中使用RGB和IR数据两者的传感器读出模式的自动曝光计算和闪光控制有关的定时,即,同时性参数被设定为与单输出读数相反的双输出读数。在这个模式中,在任何特定传感器帧内,RGB和IR中的任一者或两者的闪光灯都有可能接通电源。除了关于图2A至2C而描述的各种信号(包括曝光持续时间,以及闪光触发)之外,例如,图3A和3B还示出了传感器读出信号、RGB图像信号处理(“ISP”)信号、IR ISP信号、RGB自动曝光信号、IR自动曝光信号、RGB闪光开启信号和IR闪光开启信号。
在图3A中,自动曝光是基于RGB值而不是IR值,但是IR值仍然从传感器读出。因此,RGB自动曝光信号包括说明RGB自动曝光计算的光点。RGB自动曝光计算在RGB图像信号处理后发生。注意,在RGB自动曝光计算发生前,红外线图像处理器无需进行操作。因此,在图3A的实例中,RGB自动曝光计算在IR ISP开始前发生。
RGB自动曝光计算造成图像处理器110确定可见光闪光灯将要接通电源。作为响应,图像处理器110断言闪光断言信号,这导致了可见光闪光灯将要在下一闪光触发发生后接通电源。可见光闪光灯在下一闪光触发后的延迟参数时间上接通电源。
注意,图3A示出了其中自动曝光是基于RGB数据而不是IR数据确定的实例。然而,在替代方案中,可基于IR数据而不是RGB数据设定自动曝光。
在图3B中,基于RGB和IR数据两者设定自动曝光。RGB和IR两者都可能会要求照明。因此,如图3B所示,RGB数据的自动曝光计算导致发出RGB闪光断言信号,并且IR数据的自动曝光计算导致发出IR闪光断言信号。RGB闪光断言信号导致可见光闪光灯在作为在当开启RGB闪光断言信号时设定闪光触发后的第一延迟参数的时间上打开,并且IR闪光断言信号导致IR闪光灯在作为在当开启IR闪光信号时设定闪光触发后的第二延迟参数的时间上打开。第一延迟参数和第二延迟参数都是可调整的。在一个实例中,将这些参数进行调整以导致相应的闪光灯在帧开始时或之后开启,以避免对前一帧的部分照明。如果相机102在丢掉一些帧的模式中操作,那么这些参数无需导致闪光灯在特定帧已经开始后启动,并且如果将要丢掉前一帧,那么可以照明该前一帧。
注意,图3A至3B中示出的实例中的周期性相机模式参数被设定为单个帧内一次值,这意味着在闪光断言信号为高时,闪光灯在仅一个帧内接通电源。然而,周期性相机模式参数可以被设定为本文中描述的任一个值,不管传感器是同时准备就绪还是处于单输出模式,并且如果同时读出,那么不管是基于RGB数据、IR数据还是两者。
图4是根据实例的示出相机102的卷帘快门操作和具有部分照明的帧的可能性的示意图。卷帘快门操作是在不同时间上曝光和读出传感器104的不同行的像素的操作。曝光按行序继续从传感器104的一端到另一端(例如,从上到下)。帧是由传感器的所有行(或至少被认为是对帧有利的所有行)的行读出组成。在一个帧内可曝光和读出一些行,而其它行则在其它帧内被曝光和读出。例如,前一帧的最后一行可与后一帧的较高的行之一同时被曝光和读出。
如图4所示,卷帘快门的一个问题是如果使用照明,那么由于相同帧的不同的行在不同时间上曝光,因此可以将一些行照明,而其它行不被照明。在图4的图形400中,时间流向右侧,并且行号是从上到下的。每一个对角条表示单个曝光帧。这些条是对角的,因为不同的行在不同时间上曝光。图形400还示出了照明开启或关闭的不同的时间段。跨越照明开启时间和照明关闭时间之间的边界的帧是部分照明的,并且因此包括可能被认为是不可用的数据。不跨越这个边界的帧是完全照明或完全未被照明的,并且因此可以被认为是“可用”帧。
如果同时性参数被设定为使得从传感器104获取RGB和IR数据的同时读数,那么使用图3A和图3B的自动曝光模式。如果仅仅获取一种读数(仅RGB或仅IR),那么使用以下关于图5A至5D而描述的模式之一。同时模式和单读出模式之间的一个差异是,一般来说,在同时模式下,闪光延迟显着大于单读出模式中的闪光延迟,因为在单读出模式中,闪光延迟为零或最小值,如下所述。
图5A至图5D示出了根据实例的包括出于适当照明曝光帧的目的将闪光定时与曝光持续时间对准的特征的时序图。图5A和图5B示出了使用顺序传感器帧并且没有丢帧的情况的时序图,图5C和图5D示出了在将交替帧丢掉的情况的时序图。
在图5A的图形500中,传感器在全局快门模式中操作,并且每一传感器曝光帧(被示出为交替的高信号和低信号,但是此图仅仅是指示不同的帧的简图)被完全照明(或未照明)并且不会部分照明。注意,高信号可以指示其中由光引起的传感器曝光导致信号构建的时间段,并且低信号可以指示没有发生信号构建(例如,这是由于光未入射到传感器上)的时间段。为了实现完全而非部分照明,闪光被定时来照明各个帧。闪光在开始新的传感器曝光帧时触发。在帧开始时(例如,当传感器曝光持续时间在图形500中从低升高到高)时,图像处理器110断言闪光断言信号。由于断言闪光触发信号,相机接口108导致闪光灯在下一闪光触发后的延迟周期后打开。在图5A至5D的所有图中,延迟周期为零。
更具体地,图像处理器110将闪光灯的延迟设定设定为零或可能最小的延迟量,并且基于自动曝光设定和/或其它因素将闪光灯的持续时间设定为适当的时间量,从而限制持续时间,使得闪光灯在下一帧开始时不保持接通电源。当然,闪光灯可以在下一帧内再次接通电源。
图5B示出了其中传感器104在卷帘快门模式中操作并且没有丢帧的情况的图形510。在这种情况下,后一帧的闪光由前一帧的最后一行的曝光结束触发。因此,在图5B中,示出的是在正好在示出的第一帧前的帧的曝光结束时,发出闪光断言信号。延迟被设定为零,使得闪光尽可能早开始。持续时间被设定为使得闪光灯在当前帧的第一行的曝光结束时或在此之前断开电源。
在最后一个帧的第一行的曝光结束时触发闪光并且在当前帧的第一行的曝光结束时或在此之前结束闪光的结果是,闪光照明时间对当前帧的所有行是相等的。此相等性确保行都不是部分照明的,并且因此实现适当曝光。闪光灯可在没有部分照明图5B中的行的情况下接通电源的时间被示出为“安全”窗。
图5C和图5D表示因包括“脏”图像而丢弃交替帧的情况。更具体地,由于对闪光灯的更轻松的定时控制,一些帧仅部分照明,并且因此可能不被认为是有用的。这些不可用帧会被丢弃。
在图5C的图形520中,快门104是全局激活的。由于每隔一帧丢掉一帧,闪光持续时间可以延长超过闪光预期要照明的帧的结束。因此,在图5C中,当延迟被设定为零或允许闪光在帧开始后尽快开始的某最小值时,持续时间被设定为允许闪光延长超过帧的结束的值。注意,图像处理器110响应于当前帧开始而导致发出闪光断言信号。这又导致闪光灯因闪光断言信号和在帧开始时被断言的闪光触发两者而开始接通电源。零帧延迟导致闪光灯在帧开始之后立即接通电源。闪光持续时间是基于自动曝光和/或其它设定而设定以导致闪光灯保持接通电源,直至持续时间结束。持续时间在不是后一帧而是后一帧之后的帧开始前而不是在后一帧的开始前结束。后一帧可能是部分照明的并因此被丢掉的帧用“X’指示
在图5D的图形530中,快门104以卷帘方式被激活。图像处理器110响应于当前帧开始而导致发出闪光断言信号,这导致了闪光灯在当前帧开始后不久就会接通电源。闪光延迟被设定为零或达到导致此定时发生的某最小值。闪光持续时间是根据期望设定的,但是被设定为并不允许闪光灯在不是下一帧而是下一帧之后的帧开始时接通电源。因为下一帧可能是部分照明的,因此使该帧被丢弃(用“X”指示)。
图6是根据实例的用于根据不同的相机模式参数来操作相机的方法600的流程图。虽然已经关于图1的系统(所述系统已经关于图2A至图5D进行描述)进行描述,但是本领域的技术人员将会理解,被配置为以技术上可行的步骤顺序执行方法的任何系统都落入本公开的范围内。
如图所示,方法600在步骤602处开始,其中相机处理器112调整一个或多个相机模式参数。如上所述,相机模式参数包括闪光照明周期性参数、同时性参数、自动曝光参数、快门模式参数和丢帧参数。
在步骤604处,相机处理器112基于对上文所描述的一个或多个相机模式参数的调整来调整闪光照明延迟和/或闪光照明持续时间。如果同时性参数被设定为使得在相同帧中从传感器104获取同时RGB和IR读数,那么延迟被设定为使得IR和RGB闪光灯中的任一者或两者在已设定了传感器104的自动曝光后开始照明主体并且近似匹配特定帧的开始。具体来说,由于响应于自动曝光计算而改变传感器104中的相机设定要求多达若干帧的时间,因此延迟被设定为使得闪光灯在相机设定已经改变后开启。如果同时性参数被设定为使得仅从传感器104获取RGB或IR读数中的一个,那么延迟被设定为零或很小的值。闪光持续时间是基于是否使用卷帘快门(快门模式参数)和是否将要丢帧(丢帧参数)。如果使用卷帘快门并且将不丢帧,那么持续时间被设定为使得照明器在帧的第一行的曝光结束前关闭。如果使用全局快门并且将不丢帧,那么持续时间被设定为使得照明器在照明器被开启的帧的曝光结束前关闭。如果使用全局快门或卷帘快门并且将要丢帧,那么持续时间被设定为使得照明器在先于照明器被开启的帧的第二帧的曝光开始前关闭。在步骤606处,图像处理器110在适当时间上断言闪光断言信号。如果同时性参数被设定为使得在一个帧中从传感器获得红外线和RGB数据两者,那么在基于自动曝光计算而将要使用新的曝光设定的帧上或稍微在此之前发出闪光断言信号(但在正好前一个帧开始后以避免在曝光设定尚未改变的帧内开始照明)。如果同时性参数被设定为使得在任何给定的帧内仅从传感器104获取IR或RGB数据中的一个,那么图像处理器110对闪光断言信号进行断言的时间是取决于使用全局快门还是卷动快门和是否丢帧。如果丢帧(即,每隔一帧丢掉一帧),那么在未丢帧开始时断言闪光断言信号。如果没有丢帧并且使用全局快门,那么在每一帧开始时断言闪光断言信号。如果没有丢帧并且使用卷帘快门,那么在每一帧结束时断言闪光断言信号。
在步骤608处,图像处理器110和相机接口108根据设定操作相机。闪光断言信号导致闪光灯响应于下一闪光触发发生而开启。实际在闪光触发发生之后的延迟周期后向闪光灯提供电力。闪光灯在闪光持续时间内保持开启,除非使用每多个帧一次模式,在这种情况下,闪光灯在首次闪光触发后在降低闪光断言信号后的闪光结束时间时间量被关闭。
在适当情况下,可以使用周期性模式中的任一者。例如,当利用闪光灯照明相邻帧时,可以使用每一闪光使能信号一帧,其中图像处理器110每一个帧都断言该信号。或者,可以使用在断言闪光使能信号时周期性地进行的模式,其中闪光使能信号被保持在高值,并且重复率设定为每一帧有一次闪光(“N”)。对于在断言闪光使能信号时周期性地进行的模式,如果丢帧,并且因此使用每隔一帧,那么可将重复率设定为每隔一帧闪光一次。对于图3A和图3B的自动曝光控制模式,在一些实施方案中,使用每一闪光使能信号一次。
还应理解,尽管本文中公开了各种不同相机模式参数,但是具有更多或更少的相机模式参数的相机也落入本公开的范围内。
应当理解,基于本文中的公开内容,许多变化是可能的。尽管特征和要素在上文中以特定组合进行描述,但是每个特征或要素可以在没有其它特征和要素的情况下单独使用,或者在与或不与其它特征和要素组合的各种情况下使用。
所提供的方法可以在通用计算机、处理器或处理器核心中实现。合适的处理器举例来说包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型集成电路(IC)和/或状态机。可通过使用处理过的硬件描述语言(HDL)指令和其它中间数据(包括网表)(此类数据能够存储在计算机可读介质上)的结果配置制造过程来制造此类处理器。这种处理的结果可以是掩模工艺,掩模工艺随后用来在半导体制造过程中制造实现本公开的特征的处理器。
本文中提供的方法或流程图可以在并入非暂时计算机可读存储介质中的计算机程序、软件或固件中实现以供通用计算机或处理器执行。非暂时计算机可读存储介质实例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储器装置、磁性介质(诸如内部硬盘和可移动盘)、磁光介质和光学介质(诸如CD-ROM盘和数字通用盘(DVD))。

Claims (15)

1.一种操作包括可见光照明器和红外线照明器的相机的方法,所述方法包括:
调整一个或多个相机模式参数;
基于对所述一个或多个相机模式参数的所述调整,确定闪光照明延迟、闪光照明持续时间或闪光结束时间中的一个或多个的一个或多个变化;
断言所述可见光照明器和所述红外线照明器中的一者或两者的闪光断言信号;以及
基于以下一项或多项而触发闪光灯的闪光电源开启和闪光电源关闭:所述一个或多个相机模式参数;所述闪光照明延迟、所述闪光照明持续时间、所述闪光结束时间的所述一个或多个变化;所述闪光断言信号;以及闪光触发信号,其中所述闪光灯包括所述可见光照明器和所述红外线照明器中的一者,
其中:
调整所述相机模式参数中的一个或多个包括调整周期性相机模式参数以具有每一闪光断言信号有一个帧的值;并且
触发闪光电源开启包括触发闪光灯在当断言所述闪光断言信号时断言所述闪光触发信号的第一时间内接通电源,但在当断言所述闪光断言信号而不解除断言时断言所述闪光触发信号的其它时间内不接通。
2.如权利要求1所述的方法,其中:
调整所述相机模式参数中的一个或多个包括调整周期性相机模式参数以具有周期性的值;并且
触发闪光电源开启包括触发所述闪光灯在断言所述闪光断言信号时周期性地接通电源。
3.如权利要求1所述的方法,其中:
调整所述相机模式参数中的一个或多个包括调整同时性相机模式参数以具有同时红外线和可见光感测的值;并且
触发闪光电源开启在可见光和红外线中的一者或两者的自动曝光发生后发生。
4.如权利要求1所述的方法,其中:
调整所述相机模式参数中的一个或多个包括调整同时性相机模式参数以具有非同时的值。
5.如权利要求4所述的方法,其中:
调整所述相机模式参数中的一个或多个包括调整快门模式参数以具有卷帘快门的值并且调整丢帧参数使得不会丢帧;并且
断言所述闪光断言信号在每一帧结束时发生。
6.如权利要求4所述的方法,其中:
调整所述相机模式参数中的一个或多个包括调整快门模式参数以具有卷帘快门的值,并且调整丢帧参数使得丢掉一些帧;并且
断言所述闪光断言信号在未丢的每一帧开始时发生。
7.如权利要求4所述的方法,其中:
调整所述相机模式参数中的一个或多个包括调整快门模式参数以具有全局快门的值;并且
断言所述闪光断言信号在每一帧开始时发生。
8.一种用于操作包括可见光照明器和红外线照明器的相机的相机处理器,所述相机处理器包括:
图像处理器;以及
相机接口;
其中所述图像处理器被配置为:
调整一个或多个相机模式参数;
基于对所述一个或多个相机模式参数的所述调整,确定闪光照明延迟、闪光照明持续时间或闪光结束时间中的一个或多个的一个或多个变化;以及
断言所述可见光照明器和所述红外线照明器中的一者或两者的闪光断言信号,并且
其中所述相机接口被配置为基于以下一项或多项而触发闪光灯的闪光电源开启和闪光电源关闭:所述一个或多个相机模式参数;所述闪光照明延迟、所述闪光照明持续时间、所述闪光结束时间的所述一个或多个变化;所述闪光断言信号;以及闪光触发信号,其中所述闪光灯包括所述可见光照明器和所述红外线照明器中的一者,
其中:
所述图像处理器被配置为通过调整周期性相机模式参数以具有每一闪光断言信号有一个帧的值而调整所述一个或多个相机模式参数;并且
所述相机接口被配置为通过触发闪光灯在当断言所述闪光断言信号时断言所述闪光触发信号的第一时间内接通电源,但在当断言所述闪光断言信号而不解除断言时断言所述闪光触发信号的其它时间内不接通而触发闪光电源开启。
9.如权利要求8所述的相机处理器,其中:
所述图像处理器被配置为通过调整周期性相机模式参数以具有周期性的值而调整所述一个或多个相机模式参数;并且
所述相机接口被配置为触发所述闪光灯在断言所述闪光断言信号时周期性地接通电源而触发闪光电源开启。
10.如权利要求8所述的相机处理器,其中:
所述图像处理器被配置为通过调整同时性相机模式参数以同时红外线和可见光感测的值而调整所述一个或多个相机模式参数;并且
所述相机接口被配置为在可见光和红外线中的一者或两者的自动曝光发生后触发闪光电源开启。
11.如权利要求8所述的相机处理器,其中:
所述图像处理器被配置为通过调整同时性相机模式参数以具有非同时的值而调整所述一个或多个相机模式参数。
12.如权利要求11所述的相机处理器,其中:
所述图像处理器被配置为:
通过调整快门模式参数以具有卷帘快门的值并且调整丢帧参数使得不会丢帧而调整所述一个或多个相机模式参数;以及
在每一帧结束时断言所述闪光断言信号。
13.如权利要求11所述的相机处理器,其中:
所述图像处理器被配置为:
通过调整快门模式参数以具有卷帘快门的值并且调整丢帧参数使得丢掉一些帧而调整所述相机模式参数中的一个或多个;以及
在未丢的每一帧开始时断言所述闪光断言信号。
14.如权利要求11所述的相机处理器,其中:
所述图像处理器被配置为:
通过调整快门模式参数以具有全局快门的值而调整所述相机模式参数中的一个或多个;以及
在每一帧开始时断言所述闪光信号。
15.一种相机,所述相机包括:
可见光照明器;
红外线照明器;以及
相机处理器,所述相机处理器包括:
图像处理器;以及
相机接口;
其中所述图像处理器被配置为:
调整一个或多个相机模式参数;
基于对所述一个或多个相机模式参数的所述调整,确定闪光照明延迟、闪光照明持续时间或闪光结束时间中的一个或多个的一个或多个变化;以及
断言所述可见光照明器和所述红外线照明器中的一者或两者的闪光断言信号,并且
其中所述相机接口被配置为基于以下一项或多项而触发闪光灯的闪光电源开启和闪光电源关闭:所述一个或多个相机模式参数;所述闪光照明延迟、所述闪光照明持续时间、所述闪光结束时间的所述一个或多个变化;所述闪光断言信号;以及闪光触发信号,其中所述闪光灯包括所述可见光照明器和所述红外线照明器中的一者,
其中:
所述图像处理器被配置为通过调整周期性相机模式参数以具有每一闪光断言信号有一个帧的值而调整所述一个或多个相机模式参数;并且
所述相机接口被配置为通过触发闪光灯在当断言所述闪光断言信号时断言所述闪光触发信号的第一时间内接通电源,但在当断言所述闪光断言信号而不解除断言时断言所述闪光触发信号的其它时间内不接通而触发闪光电源开启。
CN201710807641.1A 2017-09-08 2017-09-08 用于彩色和ir相机传感器的照明控制技术 Active CN109474788B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710807641.1A CN109474788B (zh) 2017-09-08 2017-09-08 用于彩色和ir相机传感器的照明控制技术
US15/728,406 US10674081B2 (en) 2017-09-08 2017-10-09 Illumination control techniques for color and IR camera sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710807641.1A CN109474788B (zh) 2017-09-08 2017-09-08 用于彩色和ir相机传感器的照明控制技术

Publications (2)

Publication Number Publication Date
CN109474788A CN109474788A (zh) 2019-03-15
CN109474788B true CN109474788B (zh) 2021-11-30

Family

ID=65632119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710807641.1A Active CN109474788B (zh) 2017-09-08 2017-09-08 用于彩色和ir相机传感器的照明控制技术

Country Status (2)

Country Link
US (1) US10674081B2 (zh)
CN (1) CN109474788B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958830B2 (en) 2018-05-24 2021-03-23 Magna Electronics Inc. Vehicle vision system with infrared LED synchronization
US10742858B1 (en) * 2019-03-28 2020-08-11 Karl Storz Imaging, Inc. System and method for prioritizing the synchronization of a light source with image sensor
CN110493535B (zh) * 2019-05-31 2021-09-28 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110493495B (zh) * 2019-05-31 2022-03-08 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN110493493B (zh) * 2019-05-31 2022-04-29 杭州海康威视数字技术股份有限公司 全景细节摄像机及获取图像信号的方法
CN110493536B (zh) * 2019-05-31 2021-10-22 杭州海康威视数字技术股份有限公司 图像采集装置和图像采集的方法
CN111710061B (zh) * 2020-06-28 2021-04-13 北京嘀嘀无限科技发展有限公司 图像采集系统、方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196613A (zh) * 2010-03-19 2011-09-21 允文科技股份有限公司 摄影机发光二极管电路架构
CN102804752A (zh) * 2009-06-30 2012-11-28 诺基亚公司 用于相机系统的增强型定时器功能性
CN102932603A (zh) * 2012-08-16 2013-02-13 浙江宇视科技有限公司 一种补光控制方法及摄像机
CN104301623A (zh) * 2014-10-28 2015-01-21 浙江宇视科技有限公司 一种混合补光方法和装置
KR20150057041A (ko) * 2013-11-18 2015-05-28 (주)에스엔디시스템 카메라의 led 조명제어 방법 및 그 장치
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术(上海)有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9225916B2 (en) * 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
EP2490439B1 (en) * 2011-02-18 2013-07-03 Axis AB Illumination device for a monitoring camera
JPWO2013011988A1 (ja) * 2011-07-20 2015-02-23 株式会社ニコン アクセサリー、カメラ、アクセサリー制御方法、アクセサリー制御プログラム、及びカメラ制御プログラム
JP6597636B2 (ja) * 2014-12-10 2019-10-30 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
US10373008B2 (en) * 2016-03-31 2019-08-06 Princeton Identity, Inc. Systems and methods of biometric analysis with adaptive trigger

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804752A (zh) * 2009-06-30 2012-11-28 诺基亚公司 用于相机系统的增强型定时器功能性
CN102196613A (zh) * 2010-03-19 2011-09-21 允文科技股份有限公司 摄影机发光二极管电路架构
CN102932603A (zh) * 2012-08-16 2013-02-13 浙江宇视科技有限公司 一种补光控制方法及摄像机
KR20150057041A (ko) * 2013-11-18 2015-05-28 (주)에스엔디시스템 카메라의 led 조명제어 방법 및 그 장치
CN104301623A (zh) * 2014-10-28 2015-01-21 浙江宇视科技有限公司 一种混合补光方法和装置
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术(上海)有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备

Also Published As

Publication number Publication date
US20190082107A1 (en) 2019-03-14
US10674081B2 (en) 2020-06-02
CN109474788A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109474788B (zh) 用于彩色和ir相机传感器的照明控制技术
US9756258B2 (en) Image capturing apparatus, image capturing method, and control method for reducing the influence of flicker on still image exposure
US7817910B2 (en) Imaging apparatus
US20150358570A1 (en) Image pickup apparatus having plurality of unit pixel areas, control method therefor, and storage medium
CN106572310B (zh) 一种补光强度控制方法与摄像机
US20180213141A1 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
US7653299B2 (en) Imaging apparatus
US10129486B2 (en) Image capturing apparatus, control method therefor, and storage medium
US10056421B2 (en) Imaging device and imaging method
CN112672009A (zh) 一种视频处理方法、装置、设备及存储介质
JP2006025435A (ja) 自動色補正機能が備えられた撮影装置およびその方法
JP4322264B2 (ja) テレビジョンカメラ
US9736445B2 (en) Image processing apparatus, information processing method and program
JP4777266B2 (ja) 撮像装置及びその制御方法
US10701278B2 (en) Method of inter-frame and intra-frame image processing
JP6700747B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5587083B2 (ja) 撮像装置及びその制御方法
JP2016220002A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP4278281B2 (ja) ストロボ調光システムおよびストロボ付きカメラ
JP5225932B2 (ja) 撮像装置、集積回路、画像処理方法及びプログラム
JP2015126455A5 (zh)
CN112422807A (zh) 一种调节景深范围的方法
US9325916B2 (en) Cinematic image blur in digital cameras based on exposure timing manipulation
JP2006033577A (ja) 監視カメラ
JP2010219864A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant