CN109040526B - 基于片内多帧合成的led闪烁消除的系统及方法 - Google Patents

基于片内多帧合成的led闪烁消除的系统及方法 Download PDF

Info

Publication number
CN109040526B
CN109040526B CN201811105713.9A CN201811105713A CN109040526B CN 109040526 B CN109040526 B CN 109040526B CN 201811105713 A CN201811105713 A CN 201811105713A CN 109040526 B CN109040526 B CN 109040526B
Authority
CN
China
Prior art keywords
memory
output
data
column
quantization circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811105713.9A
Other languages
English (en)
Other versions
CN109040526A (zh
Inventor
徐辰
莫要武
马伟剑
任冠京
谢晓
汪小勇
邵科
张正民
石文杰
邵泽旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SmartSens Technology Shanghai Co Ltd
Original Assignee
Siteway Shanghai Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siteway Shanghai Electronic Technology Co ltd filed Critical Siteway Shanghai Electronic Technology Co ltd
Publication of CN109040526A publication Critical patent/CN109040526A/zh
Application granted granted Critical
Publication of CN109040526B publication Critical patent/CN109040526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明提供一种基于片内多帧合成的LED闪烁消除的系统，其包括像素阵列，所述像素阵列中的光电二极管曝光时间分成多段短时间曝光，每次短曝光结束后读取该段时间内积累的电子，转化为电压信号后输出至列量化电路；列量化电路，对所述像素阵列输出的像素信号进行量化处理；运算单元对所述列量化电路输出的每一行数据进行锁存及运算；存储器单元对所述运算单元的输出进行存储；输出控制单元控制所述存储器单元的数据输出，所述输出控制单元可以串行模式或并行模式输出数据。本发明还提供一种基于片内多帧合成的LED闪烁消除的方法。

Description

基于片内多帧合成的LED闪烁消除的系统及方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理技术中LED光源闪烁消除的系统及方法。
背景技术
LED(Light Emitting Diode，发光二极管)光源广泛应用于各领域中。LED光源的工作原理是由脉冲电压驱动，其亮度会以人眼无法察觉的频率闪动。当今图像传感器装置在各种环境中使用广泛，例如摄像装置，视频监控装置等，图像传感器装置是智能系统中获取视频图像等信息的主要组件。传统的图像传感器装置在拍摄含有LED光源的目标物体时，如果曝光时间过长，其显示的图像为过曝；如果曝光时间过短，可能会因缺少光源亮度信息，会对包含LED光源信息的目标物体信息误判。例如，交通信号灯，汽车尾灯等，进而由于监控信息的不完善导致交通重大事故及损失。
为改进图像传感器装置对包含LED光源目标物体的信息采集准确性，降低或消除LED光源的闪烁在图像传感装置图像采集过程中的问题及影响，本发明提出一种基于片内多帧合成的LED闪烁消除系统及方法。
发明内容
本发明目的提供一种基于片内多帧合成的LED闪烁消除的系统，所述系统包括：
像素阵列，包括多个按行和列排列的像素单元，用于积累光电效应产生的电子并转换为电压信号后输出至列量化电路，所述像素单元中的光电二极管的曝光时间分成多段短时间曝光，短曝光结束后读取该段时间内累积的电子并转换为电压信号后输出至列量化电路；
列量化电路，用于对所述像素阵列的像素信号进行处理；
运算单元，用于对所述列量化电路输出的每一行数据进行锁存及运算；
存储器单元，用于对所述运算单元的输出进行存储；
输出控制单元，对所述存储器单元的输出数据控制处理；
进一步地，所述存储器单元包含多个存储器，所述存储器为SRAM存储器(StaticRandom-Access Memory，静态随机存取存储器)，SDRAM存储器(Synchronous DynamicRandom Access Memory，同步动态随机存储器)。
本发明还提供一种基于片内多帧合成的LED闪烁消除的方法，所述方法基于上述所述基于片内多帧合成的LED闪烁消除的系统，所述系统的像素阵列输出的像素信号至列量化电路，运算单元对所述列量化电路输出的每一行数据进行锁存及运算，运算结果输出到存储器进行存储，输出控制单元对存储器单元的输出数据控制处理，所述方法包含以下步骤：
(1)进行初始化设定，第j＝1帧，i＝0行；
(2)v行h列像素阵列的列量化电路并行输出第j帧，第i行数据；
(3)将输入运算单元的第i行数据同存储器中当前第i行数据求和运算；
(4)将运算结果写入存储器中第i行，i＝i+1；
(5)判断第i行与v行，如果i＜v，则返回步骤(2)；
(6)如果i≥v，叠加帧数j＝j+1，设置i＝0；
(7)如果j≤F，返回到步骤(2)，F为叠加帧数；
(8)如果j＞F，则输出第i行数据。
进一步地，设定每帧图像v行，共叠加F帧；
进一步地，所述列量化电路的量化精度为N bit(位)；每行像素对应v行N bit的存储器，N值由所述列量化电路的量化精度确定；
进一步地，所述输出控制单元输出数据可采用串行方式输出，或并行方式输出。
本发明所提出的基于片内多帧合成的LED闪烁消除的系统及方法，图像传感器装置的像素阵列将多段短时曝光获取的多帧信号采用片内合成的方式合成一帧图像，通过减少叠加图像帧数，可实现避免LED闪烁产生的图像过曝；通过增加合成图像帧数可以获取更多暗处图像信息。
附图说明
图1为低LED闪烁影响的原理示意图；
图2为基于片内多帧合成的LED闪烁消除的系统结构图；及
图3为基于片内多帧合成的LED闪烁消除的方法流程图。
具体实施方式
以下结合各个附图对本发明提出的内容进行详细的说明。
图1为低LED闪烁影响的原理示意图。如图1中所示，将图像传感器装置的光电二极管PD的曝光时间分成多段短时间曝光，曝光示意图中阴影部分(斜线部分)表示有效的曝光时段，每次短曝光结束后读取该段时间内累积的电子。
图2为本发明提出的基于片内多帧合成的LED闪烁消除系统的结构图。如图中所示，本实施例中，系统包括图像传感器的像素阵列包括v行和h列。
(1)通过时序控制对像素阵列中第i行像素曝光，像素阵列中光电二极管的曝光时间分成多段短时间曝光，短曝光结束后读取像素信号并通过列量化电路进行量化处理，假设量化信号精度为Nbit；
(2)运算单元write_en和存储器Dram_R_en信号使能，存储器地址选择第i行数据，列量化电路输出数据和存储器第i行数据同时读取至运算单元；
(3)运算单元Add_en使能，实现列量化电路输出数据和存储器第i行数据的加法运算；
(4)运算单元Read_on使能，运算单元的运算结果输出至存储器数据总线；
(5)存储器Dram_W_en使能，将数据总线上的数据写入第i行存储单元；
(6)当out_en使能时，输出控制单元以串行或并行方式输出数据总线数据。
以实现F帧图像的叠加为例，从i＝0起，依次执行步骤(1)至(5)读取整个像素阵列的所有行；重复以上操作F-1次；从i＝0起，依次执行步骤(1)至(4)、(6)读取并实现第F帧图像的叠加和输出。
本发明中实施例中存储器可为SRAM存储器或SDRAM存储器。
图3为本发明提出的基于片内多帧合成的LED闪烁消除的方法流程示意图。如图中所示，方法具体的实现过程如下：
步骤一，首先进行初始化设置，初始设定帧j＝1，行i＝0；
步骤二，v行h列像素阵列的列量化电路输出第j帧第i行数据；
步骤三，将输入运算单元的第i行数据同存储器中当前第i行数据进行求和运算；
步骤四，将运算结果写入存储器中，第i行i＝i+1；
步骤五，对当前第i行进行判断，如果i＜v，则返回步骤二；
步骤六，如果i≥v，则叠加帧数j＝j+1，设置i＝0；
步骤七，对叠加帧数j进行判断，如果j≤F，返回步骤二，F为叠加帧数；
步骤八，如果j＞F，则输出第i行数据。
本发明提供的实施中，设定每帧v行共叠加F帧；列量化电路的量化精度为N bit，每列像素对应v行N bit的存储器，N值由所述列量化电路的量化精度确定，例如8bit；最终输出的第i行数据可采用串行方式输出或并行方式输出。
根据本发明提供的实施例，图像传感器装置的像素阵列将多段短时曝光获取的多帧信号采用片内合成的方式合成一帧图像，通过减少叠加图像帧数，可实现避免LED闪烁产生的图像过曝，增加合成图像帧数可以获取更多暗处图像信息。
本发明给出的实施例及附图，是为了说明的目的，在不背离本发明更广泛的主旨和范围下，不同形式的等效修改是可行的。根据上述详细的说明可对本发明实施例进行修改。用于权利要求中的术语不应解释为限定于本发明具体实施内容和权利要求部分中所揭露的具体实施例。相反地，权利要求中完整确定的范围应解释为根据权利要求解释确立的声明。本发明的说明书和附图应被看作是解释性的，而不是约束性的。

Claims (8)

1.一种基于片内多帧合成的LED闪烁消除的系统，其特征在于，所述系统包括：
像素阵列，包括多个按行和列排列的像素单元，用于积累光电效应产生的电子并转换为电压信号后输出至列量化电路；
列量化电路，对所述像素阵列输出的像素信号进行处理；
运算单元，对所述列量化电路输出的每一行数据进行锁存及运算；
存储器单元，对所述运算单元的输出进行存储，所述存储器单元包含多个存储器；及
输出控制单元，对所述存储器单元的输出数据控制处理；
其中，所述像素阵列、列量化电路、运算单元、存储器单元以及输出控制单元包括以下功能：
(1)通过时序控制对所述像素阵列中第i行像素曝光，所述像素阵列中光电二极管的曝光时间分成多段短时间曝光，短曝光结束后读取像素信号并通过所述列量化电路进行量化处理；
(2)所述运算单元写入信号(write_en)和所述存储器行选信号(Dram_R_en)使能，所述存储器地址选择第i行数据，所述列量化电路输出数据和所述存储器第i行数据同时读取至运算单元；
(3)所述运算单元加法信号(Add_en)使能，实现所述列量化电路输出数据和所述存储器第i行数据的加法运算；
(4)所述运算单元读出信号(Read_on)使能，所述运算单元的运算结果输出至所述存储器数据总线；
(5)所述存储器写入信号(Dram_W_en)使能，将数据总线上的数据写入第i行存储单元；
(6)当所述输出控制单元的输出信号(out_en)使能时，所述输出控制单元输出数据总线数据；
其中，为实现F帧图像的叠加，从i＝0起，依次通过执行功能(1)至(5)读取整个像素阵列的所有行；重复以上操作F-1次；从i＝0起，依次执行功能(1)至(4)、(6)读取并实现第F帧图像的叠加和输出。
2.根据权利要求1所述的基于片内多帧合成的LED闪烁消除的系统，其特征在于，所述存储器单元的存储器为SRAM存储器或SDRAM存储器。
3.根据权利要求1所述的基于片内多帧合成的LED闪烁消除的系统，其特征在于，所述输出控制单元以串行模式或并行模式输出数据。
4.一种应用于如权利要求1所述的基于片内多帧合成的LED闪烁消除的系统的方法，其特征在于，所述方法包括以下步骤：
(1)进行初始化设定，j＝1帧，i＝0行；
(2)v行h列像素阵列的列量化电路并行输出第j帧，第i行数据；
(3)将输入运算单元的第i行数据同存储器中当前第i行数据求和运算；
(4)将运算结果写入存储器中第i行，i＝i+1；
(5)判断第i行与v行，如果i＜v，则返回到步骤(2)；
(6)如果i≥v，叠加帧数j＝j+1，设置i＝0；
(7)如果j≤F，返回到步骤(2)，F为叠加帧数；
(8)如果j＞F，则输出第i行数据。
5.根据权利要求4所述的方法，其特征在于，设定每帧图像v行，共叠加F帧。
6.根据权利要求4所述的方法，其特征在于，所述列量化电路的量化精度为N位，每列像素对应v行N位的存储器，N值由所述列量化电路的量化精度确定。
7.根据权利要求4所述的方法，其特征在于，所述输出的第i行数据采用串行方式或并行方式输出。
8.根据权利要求4所述的方法，其特征在于，所述存储器为SRAM存储器或SDRAM存储器。
CN201811105713.9A 2018-07-06 2018-09-21 基于片内多帧合成的led闪烁消除的系统及方法 Active CN109040526B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810734150 2018-07-06
CN2018107341503 2018-07-06

Publications (2)

Publication Number Publication Date
CN109040526A CN109040526A (zh) 2018-12-18
CN109040526B true CN109040526B (zh) 2021-01-05

Family

ID=64617316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811105713.9A Active CN109040526B (zh) 2018-07-06 2018-09-21 基于片内多帧合成的led闪烁消除的系统及方法

Country Status (1)

Country Link
CN (1) CN109040526B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008146496A1 (ja) * 2007-05-28 2008-12-04 Panasonic Corporation 固体撮像装置およびその駆動方法
CN101909158A (zh) * 2009-06-05 2010-12-08 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
CN102595066A (zh) * 2012-03-05 2012-07-18 天津大学 低功耗数字域累加cmos-tdi图像传感器
CN103716552A (zh) * 2012-09-28 2014-04-09 索尼公司 固态成像装置、用于驱动其的方法以及电子装置
CN104219469A (zh) * 2014-09-22 2014-12-17 天津大学 提高图像传感器模拟域累加器累加效果的装置和方法
CN105991933A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 图像传感器
CN108141546A (zh) * 2015-10-15 2018-06-08 索尼公司 视频信号处理装置、视频信号处理方法和程序

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008146496A1 (ja) * 2007-05-28 2008-12-04 Panasonic Corporation 固体撮像装置およびその駆動方法
CN101909158A (zh) * 2009-06-05 2010-12-08 比亚迪股份有限公司 在图像传感器中获得高动态范围图像的方法及图像传感器
CN102595066A (zh) * 2012-03-05 2012-07-18 天津大学 低功耗数字域累加cmos-tdi图像传感器
CN103716552A (zh) * 2012-09-28 2014-04-09 索尼公司 固态成像装置、用于驱动其的方法以及电子装置
CN104219469A (zh) * 2014-09-22 2014-12-17 天津大学 提高图像传感器模拟域累加器累加效果的装置和方法
CN105991933A (zh) * 2015-02-15 2016-10-05 比亚迪股份有限公司 图像传感器
CN108141546A (zh) * 2015-10-15 2018-06-08 索尼公司 视频信号处理装置、视频信号处理方法和程序

Also Published As

Publication number Publication date
CN109040526A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
US8013919B2 (en) CMOS image sensor with increased dynamic range based on multiple exposure periods of varying lengths
CN102625059B (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
CN101019413A (zh) 成像器中的双面板像素读出
CN102625060B (zh) 用于移动式应用的cmos图像传感器的动态范围扩展
JP6932542B2 (ja) 撮像装置、撮像システム及び移動体
US20170006207A1 (en) High dynamic range imaging with reduced frame buffer
US9743025B2 (en) Method and system of implementing an uneven timing gap between each image capture in an image sensor
JP2018023092A (ja) 非同期マルチモード焦点面アレイ
CN108419032B (zh) 支持多种曝光模式的hdr图像传感器像素结构及成像系统
US20140267884A1 (en) Increasing Dynamic Range Using Multisampling
GB2575137A (en) An image sensor and an image dynamic information processing method
US10721415B2 (en) Image processing system with LED flicker mitigation
CN102572245A (zh) 一种扩展图像动态范围的方法及装置
US20210160413A1 (en) Image sensor, recording apparatus, and reset method
CN109040526B (zh) 基于片内多帧合成的led闪烁消除的系统及方法
JP2023545370A (ja) 量子化動作を低減したデジタル画素センサ
US11368639B2 (en) Photoelectric conversion apparatus, image capturing system, method for driving photoelectric conversion apparatus, and moving object
CN110336953B (zh) 四元像素结构图像传感器及读取控制方法
CN113709381A (zh) 制作hdr视频的单重曝光多帧图像捕获的方法
US20160065821A1 (en) Imaging systems and methods for capturing image data at high scan rates
US8976281B2 (en) Image pickup device and evaluation value generating device
CN111601054B (zh) 图像传感器新型滚筒式曝光的时序控制方法
US20230388655A1 (en) Image sensing device
US20160323529A1 (en) Signal readout circuit, imaging apparatus, and imaging system
CN113079330B (zh) 多线阵图像传感器及图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 612, 6th floor, No. 111 Building, Xiangke Road, Shanghai Pudong New Area Free Trade Pilot Area, 201203

Applicant after: STEVE (SHANGHAI) ELECTRONIC TECHNOLOGY CO., LTD

Address before: Room 612, 6th floor, No. 111 Building, Xiangke Road, Shanghai Pudong New Area Free Trade Pilot Area, 201203

Applicant before: Shanghai Ye Core Electronic Technology Co. Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 612, 6th floor, No. 111 Building, Xiangke Road, Shanghai Pudong New Area Free Trade Pilot Area, 201203

Patentee after: Starway (Shanghai) Electronic Technology Co.,Ltd.

Address before: Room 612, 6th floor, No. 111 Building, Xiangke Road, Shanghai Pudong New Area Free Trade Pilot Area, 201203

Patentee before: Siteway (Shanghai) Electronic Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder