CN111263035A - 拍摄高动态范围图像的系统、方法与照相机 - Google Patents

拍摄高动态范围图像的系统、方法与照相机 Download PDF

Info

Publication number
CN111263035A
CN111263035A CN201911098574.6A CN201911098574A CN111263035A CN 111263035 A CN111263035 A CN 111263035A CN 201911098574 A CN201911098574 A CN 201911098574A CN 111263035 A CN111263035 A CN 111263035A
Authority
CN
China
Prior art keywords
pixel
image
pixels
exposure
effective gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911098574.6A
Other languages
English (en)
Other versions
CN111263035B (zh
Inventor
姜凌涛
林鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN111263035A publication Critical patent/CN111263035A/zh
Application granted granted Critical
Publication of CN111263035B publication Critical patent/CN111263035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种拍摄高动态范围(HDR)图像的系统包括：图像传感器，包括分割像素，所述分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素。使用拍摄窗口进行曝光的第二像素拍摄由通过脉冲宽度调制控制的发光二极管(LED)发出的至少一个脉冲。由包括以下的组合生成第一高动态范围图像：由第二像素生成的图像以及由第一像素的多重曝光生成的图像。根据由第二像素生成的图像与由第一像素生成的图像的差来产生发光二极管闪烁校正的权重图，且使用权重图及来自第二像素的图像来校正第一高动态范围图像中的闪烁区域。

Description

拍摄高动态范围图像的系统、方法与照相机
技术领域
本发明涉及发光二极管(LED)闪烁减少，且更具体来说涉及用于高动态范围(HDR)成像的发光二极管闪烁减少。
背景技术
发光二极管(light emitting diode，LED)的亮度通常通过脉冲宽度调制(pulsewidth modulation，PWM)来控制。对于特定的脉冲频率，重复脉冲的宽度决定了人们感觉到的LED的亮度。脉冲越宽，人们感觉到的LED就越亮。脉冲频率及脉冲宽度可能不与图像传感器的帧频率及拍摄窗口(capture window)同步。如果脉冲宽度窄且如果脉冲频率低于图像传感器的帧频率，则图像传感器可能会错过拍摄LED脉冲。因此，一些帧会拍摄到LED，而一些帧不会拍摄到LED，从而导致由图像传感器拍摄的LED图像闪烁。
许多新型汽车配备有LED头灯、尾灯、转向灯等。目前，许多交通灯也在使用LED。如果例如安装在汽车中的照相机的视野包括具有LED的汽车及交通灯，则汽车及交通灯的显示图像可能会包括闪烁的LED光。闪烁的LED光可能被误认为是来自紧急救援车辆(emergency vehicle)且可能会分散驾驶员的注意力并使驾驶员处于危险之中。
因此，需要提供减少或消除LED闪烁的图像传感器。
发明内容
本发明的一些实施例提供一种拍摄高动态范围(HDR)图像的系统，其特征在于，包括：图像传感器，包括分割像素，所述分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(LED)发出的至少一个脉冲；其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
此外，本发明的其他实施例提供一种拍摄高动态范围(HDR)图像的方法，其特征在于，包括：通过图像传感器的分割像素中的较低有效增益像素拍摄图像，其中拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(LED)发出的至少一个脉冲，其中所述拍摄窗口位于所述较低有效增益像素的帧内；利用第一曝光、通过所述图像传感器的所述分割像素中的较高有效增益像素来拍摄第一图像；利用第二曝光、通过所述图像传感器的所述分割像素的所述较高有效增益像素来拍摄第二图像；其中所述第一曝光及所述第二曝光位于所述较高有效增益像素的帧内；至少将由所述图像传感器的所述分割狭缝像素中的所述较低有效增益像素拍摄的所述图像、由所述图像传感器的所述分割像素中的所述较高有效增益像素拍摄的所述第一图像及所述第二图像进行组合，以生成第一高动态范围图像。
另外，本发明的其他实施例提供一种拍摄高动态范围(HDR)图像的照相机，其特征在于，包括：图像传感器，包括多个分割像素，所述多个分割像素中的每一分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；透镜系统，在所述图像传感器上形成包括发光二极管(LED)的视野的图像；其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的所述发光二极管发出的至少一个脉冲；其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
附图说明
参照以下各图阐述本发明的非限制性及非排他性实施例，其中除非另外指明，否则在所有各种视图中相同的参考编号指代相同的部件。
图1示出根据本发明实施例的照相机的示例性视野。
图2示出根据本发明实施例的示例性脉冲宽度调制。
图3示出根据本发明实施例的LED闪烁的产生。
图4示出根据本发明实施例的包括多对分割像素的示例性图像传感器。
图5示出根据本发明实施例的示例性LED时间信号、示例性小型光电二极管(smallphoto-diode，SPD)时间信号、具有较长曝光时间的被标记为LPD1的示例性大型光电二极管(large photo-diode，LPD)时间信号以及具有较短曝光时间的被标记为LPD2的示例性LPD时间信号。
图6示出根据本发明实施例的高动态范围(high dynamic range，HDR)图像组合。
图7示出根据本发明实施例的各别权重计算。
图8示出根据本发明实施例的总权重组合。
图9示出根据本发明实施例的最终闪烁校正(final flicker correction)。
图10示出根据本发明实施例的图6到图9的组合。
图11示出根据本发明实施例的包括透镜系统、图像传感器及处理器的照相机。
在图式的若干视图中，对应的参考字符指示对应的组件。所属领域中的技术人员将理解，图中的元件是为了简洁及清晰起见而示出且未必按比例绘制。举例来说，可相对于其他元件而言夸大图中的元件中的一些元件的尺寸以帮助理解本发明的各种实施例。
具体实施方式
在以下说明中，陈述众多具体细节以提供对本发明的透彻理解。然而，对于所属领域中的普通技术人员而言应显而易见，实践本发明不必采用所述具体细节。在其他情形中，未详细阐述众所周知的材料或方法以避免使本发明模糊不清。
在本说明书通篇中提及“一个实施例”或“实施例”意指在本发明的至少一个实施例中包括结合所述实施例所阐述的特定特征、结构或特性。因此，在本说明书通篇的各种地方出现的短语“在一个实施例中”或“在实施例中”未必均指代同一实施例。此外，在一个或多个实施例中，所述特定特征、结构或特性可以任意合适的组合和/或子组合加以组合。
图1示出根据本发明实施例的照相机的示例性视野100。举例来说，所述照相机(未示出)是安装在汽车中的照相机。在另一环境中，所述照相机可为移动电话的照相机或任何照相机。具有包括LED 104的头灯的汽车102及由LED 108制成的交通灯106处于视野100中。
LED的亮度通常通过脉冲宽度调制(PWM)来控制。图2示出根据本发明实施例的示例性脉冲宽度调制。LED的示例性时间信号200包括第一脉冲202、第二脉冲204、第三脉冲206、第四脉冲208等。脉冲202到208指示LED接通。虽然对于人们的感觉来说，LED似乎总是亮的，但实际上，LED是反复接通及关断的。当LED例如响应于脉冲202而接通时，LED发光。LED的另一示例性时间信号220包括第一脉冲222、第二脉冲224、第三脉冲226、第四脉冲228等等。脉冲222到228指示LED接通。时间信号200中的脉冲以与时间信号220中的脉冲进行重复的频率相同的频率进行重复。脉冲222比脉冲202宽，脉冲224比脉冲204宽，脉冲226比脉冲206宽，且脉冲228比脉冲208宽。因此，与时间信号200相比，时间信号220使LED光感觉起来更亮。
图3示出根据本发明实施例的LED闪烁的产生。与图2相似，LED的示例性时间信号200包括第一脉冲202、第二脉冲204、第三脉冲206、第四脉冲208等等。脉冲202到208指示LED接通。图1所示照相机拍摄视野100包括图像传感器。图像传感器的示例性时间信号300包括第一帧的第一拍摄窗口302、第二帧的第二拍摄窗口304、第三帧的第三拍摄窗口306等等。举例来说，图像传感器的第一拍摄窗口302将拍摄包括LED的第一脉冲202且错过LED的第二脉冲204的第一图像。图像传感器的第二拍摄窗口304将拍摄错过LED的第三脉冲206的第二图像。图像传感器的第三拍摄窗口306将拍摄包括LED的第四脉冲208的第三图像。因此，一些图像包括LED光，而一些图像不包括LED光。当逐帧显示所拍摄的图像时，LED会出现闪烁。
图4示出根据本发明实施例的包括多个分割像素402的示例性图像传感器400。分割像素402包括具有较高有效增益的第一像素(大型光电二极管(LPD)404)及具有较低有效增益的第二像素(小型光电二极管(SPD)406)。举例来说，LPD 404的有效增益可比SPD 406的有效增益大约100倍。换句话说，LPD 404的灵敏度可比SPD 406的灵敏度大约100倍。在本公开中，词语“灵敏度”与词语“有效增益”可互换使用。在实施例中，可将SPD 406的曝光时间设定成等于或大于11ms。
由于LPD 404具有较大的面积且SPD 406具有较小的面积，因此LPD 404具有较高的有效增益且SPD 406具有较低的有效增益。作为另外一种选择，LPD 404与SPD 406具有相同的面积，但SPD 406被衰减器(attenuator)覆盖，使得SPD 406的有效增益低于LPD 404的有效增益。另外，SPD 406可不被衰减器覆盖，而使SPD 406及LPD 404的有效增益可由电路和/或光电探测器控制，所述电路和/或光电探测器被设计成使得SPD 406的有效增益低于LPD 404的有效增益。
图5示出根据本发明实施例的示例性LED时间信号200、示例性SPD时间信号500、具有较长曝光时间的被标记为LPD1 510的示例性LPD时间信号以及具有较短曝光时间的被标记为LPD2 520的示例性LPD时间信号。与图2相似，LED时间信号200包括第一脉冲202、第二脉冲204、第三脉冲206、第四脉冲208等等。脉冲202到208指示LED接通。
时间信号500是SPD 406的拍摄时间信号，时间信号500包括第二像素帧504内的拍摄窗口502。拍摄窗口502被设定成长度足以拍摄LED时间信号200的至少一个脉冲(例如，脉冲204)。在实施例中，SPD 406的灵敏度足够低，因而SPD 406的拍摄窗口502的曝光时间可被设定成等于或大于11ms。拍摄窗口502将拍摄频率大于90Hz的至少一个LED脉冲，且当重放所拍摄图像时将不会发生LED闪烁。应注意，常规视频帧速率为约30Hz。SPD 406的灵敏度低。如果SPD 406的灵敏度过高，则SPD 406将因其曝光时间长而拍摄出过度曝光的图像。
在实施例中，LPD 404在第一像素帧514内被曝光两次。第一曝光由LPD1时间信号510表达，LPD1时间信号510具有位于帧514内的具有较长曝光时间的拍摄窗口512。第一曝光之后的第二曝光由LPD2时间信号520表达，LPD2时间信号520具有位于同一帧514内的具有较短曝光时间的拍摄窗口522。第一像素帧514可与第二像素帧504相同。
在传统高动态范围(HDR)成像中，举例来说，LPD1的曝光生成第一图像A，且LPD2的曝光生成第二图像B。第一图像A与第二图像B在单个HDR图像中进行组合。HDR图像将在图像的暗部分中显示图像A，且将在图像的亮部分中显示图像B。这是由于在HDR图像的暗部分中，具有较低增益的图像B将曝光不足且不具有贡献，而在HDR图像的亮部分中，具有较高增益的图像A将曝光过度且不具有贡献。
在实施例中，从由LPD1、LPD2及SPD拍摄的图像生成HDR图像。以此种方式，除了传统HDR图像之外，也可确保包括无闪烁LED图像(例如，由SPD拍摄的图像)。因此，所生成的HDR图像将不具有LED闪烁。在实施例中，HDR图像是由SPD拍摄的图像与由具有不同曝光时间的LPD(例如，LPD1及LPD2)拍摄的至少两个图像的组合。在原理上，LPD可在帧中以不同的曝光时间(拍摄窗口)连续拍摄多个图像，从而形成LPD1、LPD2、LPD3等等的图像。可从由LPD1、LPD2、LPD3、….及SPD拍摄的图像生成HDR图像。
图6示出根据本发明实施例的HDR图像组合600。HDR图像组合器602通过将以下进行组合来生成第一HDR图像HDR1(x,y)：由具有较低有效增益的第二像素(SPD)生成的图像S(x,y)604、由具有较高有效增益的第一像素(LPD)的第一曝光(LPD1)生成的第一图像L1(x,y)606、由具有较高有效增益的第一像素(LPD)的第二曝光(LPD2)生成的第二图像L2(x,y)608以及由同一LPD以不同曝光时间拍摄的一系列图像，包括由同一LPD以第n曝光时间拍摄的图像Ln(x,y)610。S(x,y)是由SPD生成的归一化图像数据，L1(x,y)是由LPD以第一曝光时间生成的归一化图像数据，L2(x,y)是由LPD以第二曝光时间生成的归一化图像数据，依此类推。因此，S(x,y)、L1(x,y)、L2(x,y)、Ln(x,y)具有相同的量值标度(magnitude scale)。
举例来说，对于仅由S(x,y)、L1(x,y)及L2(x,y)生成的HDR1(x,y)，HDR1(x,y)可被表达为：
Figure BDA0002269141140000051
其中a(x,y)、b(x,y)及c(x,y)是系数，所述系数是(x,y)的函数，可通过检查(x,y)处的像素是曝光不足、过度曝光还是正常曝光来确定(x,y)的所述函数。
图7示出根据本发明实施例的各别权重计算700。各别权重计算器702为每一Li(x,y)704计算各别权重Wi(x,y)706，其中i可为1，2，3，….，n。Li(x,y)是由LPD以第i曝光时间拍摄的图像。举例来说，各别权重Wi(x,y)706可与由SPD拍摄的图像S(x,y)604与由LPD以第i曝光时间拍摄的图像Li(x,y)704之间的差的绝对值成比例。绝对值可被表达为|S(x,y)-Li(x,y)|。Wi(x,y)是|S(x,y)-Li(x,y)|的值及基于噪声模型的阈值Ti(x,y)708的函数。当|S(x,y)-Li(x,y)|较大时，Wi(x,y)较大。当|S(x,y)-Li(x,y)|小于Ti(x,y)时，Wi(x,y)为零。各别权重Wi(x,y)被定义成0≤Wi(x,y)≤1，即：
Wi(x,y)＝Wi{|S(x,y)-Li(x,y)|,Ti(x,y)}
图8示出根据本发明实施例的总权重组合800。总权重组合器802提供总权重W(x,y)810。举例来说，总权重W(x,y)810可为包括第一权重W1(x,y)804、第二权重W2(x,y)806及第n权重Wn(x,y)808的所有各别权重的归一化加权总和(normalized weightedsummation)。ωi是每一通道的权重，其根据Li(x,y)与S(x,y)之间的曝光率决定。总权重W(x,y)被归一化成使其值介于零与一之间，0≤W(x,y)≤1。
Figure BDA0002269141140000061
Figure BDA0002269141140000062
图9示出根据本发明实施例的执行最终闪烁校正的处理器900。在实施例中，在区块902中，将由SPD拍摄的图像S(x,y)604乘以W(x,y)810，且在区块904中，将第一HDR图像HDR1(x,y)612乘以(1-W(x,y))。在区块906中，对来自区块902的结果与来自区块904的结果相加。从区块906生成的和是第二HDR图像HDR2(x,y)908，第二HDR图像HDR2(x,y)908是最终闪烁校正HDR图像。HDR2(x,y)可被表达为：
HDR2(x,y)＝[S(x,y)×W(x,y)]+[HDR1(x,y)×(1-W(x,y))]
由包括由第二像素生成的图像与由第一像素的多重曝光生成的图像的组合生成第一HDR图像。根据由第二像素生成的图像与由第一像素生成的图像的差来产生LED闪烁校正的权重图，且使用权重图及来自第二像素的图像来校正第一HDR图像中的闪烁区域。
图10示出根据本发明实施例的过程1000，过程1000是图6到图9的组合。HDR图像组合器1002的区块等同于图6所示HDR图像组合器602的区块。权重计算器及组合器1004的区块等同于图7所示各别权重计算器702的区块及图8所示总权重组合器802的区块。闪烁校正1006的区块等同于图9所示最终闪烁校正900。
返回参照图4，对于分割像素402，如果SPD 406的位置从LPD 404的位置显著偏移，则可相对于L1(x,y)来校正S(x,y)。L1(x,y)，L2(x,y)，….是相同的LPD 404，因此它们不相对于彼此进行校正。
图11示出根据本发明实施例的包括透镜或透镜系统1102、图像传感器1104及处理器1106的照相机1108。举例来说，照相机1108拍摄图1所示视野100。透镜系统1102在图像传感器1104上形成视野100的图像。图像传感器1104包括多个分割像素(例如，图4所示分割像素402)，所述多个分割像素包括具有较高有效增益的像素(LPD)及具有较低有效增益的像素(SPD)。处理器1106可表示图10所示过程1000。从处理器1106输出最终闪烁校正HDR图像(即图9及图10所示HRD2(x,y)908)。
尽管本文中已参照示例性实施例及用于实践本发明的最佳方式阐述了本发明，然而对于所属领域中的普通技术人员而言应显而易见，在不背离本发明的精神及范围的条件下，可对本发明作出对各种实施例的许多润饰、改良及子组合、以及作出各种修改及变型。
以上权利要求书中所使用的用语不应被理解成将本发明限制为本说明书及权利要求书中所公开的具体实施例。确切来说，应完全通过以上权利要求书来确定范围，以上权利要求书应根据既定的权利要求解释规则来理解。本说明书及各个图应相应地被视作例示性的而非约束性的。

Claims (20)

1.一种拍摄高动态范围(HDR)图像的系统，其特征在于，包括：
图像传感器，包括分割像素，所述分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；
其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；
其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(LED)发出的至少一个脉冲；
其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
2.根据权利要求1所述的系统，其特征在于，所述第一曝光具有第一曝光时间且所述第二曝光具有第二曝光时间，所述第一曝光时间比所述第二曝光时间长。
3.根据权利要求1所述的系统，其特征在于，所述第一像素帧与所述第二像素帧相同。
4.根据权利要求1所述的系统，其特征在于，所述第一像素被多重曝光，包括多于两次曝光。
5.根据权利要求1所述的系统，其特征在于，还包括：处理器，其中从所述处理器输出最终闪烁校正高动态范围图像，且其中所述最终闪烁校正高动态范围图像是如下生成的：
HDR2(x,y)＝,S(x,y)×W(x,y)-+[HDR1(x,y)×(1-W(x,y))]，
其中：
0≤W(x,y)≤1，
其中HDR2(x,y)是所述最终闪烁校正高动态范围图像，S(x,y)是由所述第二像素生成的所述图像，HDR1(x,y)是所述第一高动态范围图像，且W(x,y)是总权重，所述总权重是各别权重的函数，且所述各别权重是由所述第二像素生成的所述图像及由所述第一像素生成的图像之间的差的绝对值与基于噪声模型的阈值的函数。
6.根据权利要求1所述的系统，其特征在于，所述第二像素具有比所述第一像素小的面积。
7.根据权利要求1所述的系统，其特征在于，所述第二像素被衰减器覆盖。
8.根据权利要求1所述的系统，其特征在于，所述第一像素的有效增益及所述第二像素的有效增益由电路控制，所述电路被设计成使得所述第二像素的所述有效增益低于所述第一像素的所述有效增益。
9.一种拍摄高动态范围(HDR)图像的方法，其特征在于，包括：
通过图像传感器的分割像素中的较低有效增益像素拍摄图像，其中拍摄窗口拍摄由通过脉冲宽度调制控制的发光二极管(LED)发出的至少一个脉冲，其中所述拍摄窗口位于所述较低有效增益像素的帧内；
利用第一曝光、通过所述图像传感器的所述分割像素中的较高有效增益像素来拍摄第一图像；
利用第二曝光、通过所述图像传感器的所述分割像素的所述较高有效增益像素来拍摄第二图像；
其中所述第一曝光及所述第二曝光位于所述较高有效增益像素的帧内；
至少将由所述图像传感器的所述分割像素中的所述较低有效增益像素拍摄的所述图像、由所述图像传感器的所述分割像素中的所述较高有效增益像素拍摄的所述第一图像及所述第二图像进行组合，以生成第一高动态范围图像。
10.根据权利要求9所述的方法，其特征在于，所述第一曝光具有第一曝光时间且所述第二曝光具有第二曝光时间，所述第一曝光时间比所述第二曝光时间长。
11.根据权利要求9所述的方法，其特征在于，所述较高有效增益像素的所述帧与所述较低有效增益像素的所述帧相同。
12.根据权利要求9所述的方法，其特征在于，还包括：
如下生成最终闪烁校正高动态范围图像：
HDR2(x,y)＝,S(x,y)×W(x,y)-+[HDR1(x,y)×(1-W(x,y))]，
其中：
0≤W(x,y)≤1，
其中HDR2(x,y)是所述最终闪烁校正高动态范围图像，S(x,y)是由第二像素拍摄的图像，HDR1(x,y)是所述第一高动态范围图像，且W(x,y)是总权重，所述总权重是各别权重的函数，且所述各别权重是由所述第二像素生成的所述图像及由第一像素生成的图像之间的差的绝对值与基于噪声模型的阈值的函数。
13.一种拍摄高动态范围(HDR)图像的照相机，其特征在于，包括：
图像传感器，包括多个分割像素，所述多个分割像素中的每一分割像素包括具有较高有效增益的第一像素及具有较低有效增益的第二像素；
透镜系统，在所述图像传感器上形成包括发光二极管(LED)的视野的图像；
其中所述第一像素被多重曝光，包括第一像素帧内的第一曝光及第二曝光；
其中所述第二像素使用第二像素帧内的拍摄窗口进行曝光，所述拍摄窗口拍摄由通过脉冲宽度调制控制的所述发光二极管发出的至少一个脉冲；
其中由包括以下的组合生成第一高动态范围图像：由所述第二像素生成的图像、由所述第一像素的所述第一曝光生成的第一图像及由所述第一像素的所述第二曝光生成的第二图像。
14.根据权利要求13所述的照相机，其特征在于，所述第一曝光具有第一曝光时间且所述第二曝光具有第二曝光时间，所述第一曝光时间比所述第二曝光时间长。
15.根据权利要求13所述的照相机，其特征在于，所述第一像素帧与所述第二像素帧相同。
16.根据权利要求13所述的照相机，其特征在于，还包括：处理器，其中从所述处理器输出最终闪烁校正高动态范围图像，且其中所述最终闪烁校正高动态范围图像是如下生成的：
HDR2(x,y)＝,S(x,y)×W(x,y)-+[HDR1(x,y)×(1-W(x,y))]，
其中：
0≤W(x,y)≤1，
其中HDR2(x,y)是所述最终闪烁校正高动态范围图像，S(x,y)是由所述第二像素生成的所述图像，HDR1(x,y)是所述第一高动态范围图像，且W(x,y)是总权重，所述总权重是各别权重的函数，且所述各别权重是由所述第二像素生成的所述图像及由所述第一像素生成的图像之间的差的绝对值与基于噪声模型的阈值的函数。
17.根据权利要求13所述的照相机，其特征在于，所述第二像素具有比所述第一像素小的面积。
18.根据权利要求13所述的照相机，其特征在于，所述第二像素被衰减器覆盖。
19.根据权利要求13所述的照相机，其特征在于，所述第一像素的有效增益及所述第二像素的有效增益由电路控制，所述电路被设计成使得所述第二像素的所述有效增益低于所述第一像素的所述有效增益。
20.根据权利要求13所述的照相机，其特征在于，所述第一像素被多重曝光，包括多于两次曝光。
CN201911098574.6A 2018-11-30 2019-11-12 拍摄高动态范围图像的系统、方法与照相机 Active CN111263035B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862773276P 2018-11-30 2018-11-30
US62/773,276 2018-11-30
US16/543,760 US11019277B2 (en) 2018-11-30 2019-08-19 LED flicker reduction for high dynamic range imaging
US16/543,760 2019-08-19

Publications (2)

Publication Number Publication Date
CN111263035A true CN111263035A (zh) 2020-06-09
CN111263035B CN111263035B (zh) 2022-08-16

Family

ID=70848837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911098574.6A Active CN111263035B (zh) 2018-11-30 2019-11-12 拍摄高动态范围图像的系统、方法与照相机

Country Status (3)

Country Link
US (1) US11019277B2 (zh)
CN (1) CN111263035B (zh)
TW (1) TWI762829B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039082B2 (en) * 2018-11-27 2021-06-15 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
JP2022020553A (ja) * 2020-07-20 2022-02-01 株式会社ユピテル システム及びプログラム等
CN116980738A (zh) 2022-04-14 2023-10-31 思特威(上海)电子科技股份有限公司 图像传感器像素、像素电路、图像传感器及控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160205290A1 (en) * 2015-01-08 2016-07-14 Gean Technology Co. Limited Method for detecting electronic lighting flickering
CN106559622A (zh) * 2015-09-30 2017-04-05 半导体元件工业有限责任公司 具有闪烁抑制和高动态范围的成像系统
US20170264845A1 (en) * 2016-03-08 2017-09-14 Samsung Electronics Co., Ltd. Image sensor having led flicker mitigation function and image processing system including the image sensor
US20170350755A1 (en) * 2016-06-06 2017-12-07 Semiconductor Components Industries, Llc Image sensors with led flicker mitigaton global shutter pixles
US20180109715A1 (en) * 2016-10-18 2018-04-19 Texas Instruments Incorporated Wdr imaging with led flicker mitigation
CN108419030A (zh) * 2018-03-01 2018-08-17 上海晔芯电子科技有限公司 具有led闪烁衰减的hdr图像传感器像素结构及成像系统
US10136084B1 (en) * 2017-10-06 2018-11-20 Omnivision Technologies, Inc. HDR skimming photodiode with true LED flicker mitigation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI477123B (zh) * 2013-01-15 2015-03-11 Univ Nat Chiao Tung 多功能控制照明裝置
CN107709096B (zh) * 2015-06-22 2021-08-24 金泰克斯公司 用于处理流式传输视频图像以校正经调幅光的闪变的系统和方法
WO2017205492A1 (en) * 2016-05-25 2017-11-30 Gopro, Inc. Three-dimensional noise reduction
US10714517B2 (en) 2018-01-23 2020-07-14 Samsung Electronics Co., Ltd. Image sensor

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160205290A1 (en) * 2015-01-08 2016-07-14 Gean Technology Co. Limited Method for detecting electronic lighting flickering
CN106559622A (zh) * 2015-09-30 2017-04-05 半导体元件工业有限责任公司 具有闪烁抑制和高动态范围的成像系统
US20170264845A1 (en) * 2016-03-08 2017-09-14 Samsung Electronics Co., Ltd. Image sensor having led flicker mitigation function and image processing system including the image sensor
US20170350755A1 (en) * 2016-06-06 2017-12-07 Semiconductor Components Industries, Llc Image sensors with led flicker mitigaton global shutter pixles
US20180109715A1 (en) * 2016-10-18 2018-04-19 Texas Instruments Incorporated Wdr imaging with led flicker mitigation
US10136084B1 (en) * 2017-10-06 2018-11-20 Omnivision Technologies, Inc. HDR skimming photodiode with true LED flicker mitigation
CN108419030A (zh) * 2018-03-01 2018-08-17 上海晔芯电子科技有限公司 具有led闪烁衰减的hdr图像传感器像素结构及成像系统

Also Published As

Publication number Publication date
US11019277B2 (en) 2021-05-25
TWI762829B (zh) 2022-05-01
TW202022478A (zh) 2020-06-16
US20200177788A1 (en) 2020-06-04
CN111263035B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN111263035B (zh) 拍摄高动态范围图像的系统、方法与照相机
JP4706466B2 (ja) 撮像装置
CN109845242B (zh) 具有led闪烁抑制的wdr成像
US8194153B2 (en) Imaging apparatus, imaging method and program
CN110557574A (zh) 高动态范围上可见光通信源的检测
CN109474770B (zh) 一种成像装置及成像方法
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
US7995137B2 (en) Exposure compensation method for digital image
WO2012172922A1 (ja) 車載カメラ装置
US9214034B2 (en) System, device and method for displaying a harmonized combined image
JP2008048251A (ja) 撮影装置及び撮影方法
JP2006237851A (ja) 画像入力装置
JP2019189081A (ja) 画像表示装置
JP2014110621A (ja) 評価値算出装置および評価値算出方法
JP2013162339A (ja) 撮像装置
CN111435972B (zh) 一种图像处理的方法及装置
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
JP6827394B2 (ja) 撮像装置、撮像処理論理素子及び撮像素子
CN109788211B (zh) 拍摄图像显示系统、电子镜系统以及拍摄图像显示方法
JP2005333248A (ja) カメラ式車両感知器における画面の輝度調整方法及び装置
JP2002268116A (ja) 自動露出制御装置およびそのプログラムを組み込んだ外部記憶媒体
JP4677924B2 (ja) 撮影システム、動画像処理方法および動画像処理装置
JP2007249568A (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
Hertel Extended use of ISO 15739 incremental signal-to-noise ratio as reliability criterion for multiple-slope wide dynamic range image capture
JPH0428087B2 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant