CN113784062B - 非连续成像cmos图像传感器稳定图像控制系统及方法 - Google Patents

非连续成像cmos图像传感器稳定图像控制系统及方法 Download PDF

Info

Publication number
CN113784062B
CN113784062B CN202110982294.2A CN202110982294A CN113784062B CN 113784062 B CN113784062 B CN 113784062B CN 202110982294 A CN202110982294 A CN 202110982294A CN 113784062 B CN113784062 B CN 113784062B
Authority
CN
China
Prior art keywords
image sensor
cmos image
illuminated
roller shutter
shutter door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110982294.2A
Other languages
English (en)
Other versions
CN113784062A (zh
Inventor
王彭
宋克非
孙亮
韩振伟
陈波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110982294.2A priority Critical patent/CN113784062B/zh
Publication of CN113784062A publication Critical patent/CN113784062A/zh
Application granted granted Critical
Publication of CN113784062B publication Critical patent/CN113784062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

一种非连续成像CMOS图像传感器稳定图像控制系统及方法,属于CMOS图像传感器技术领域。解决了现有背照式卷帘门CMOS图像传感器在非连续成像时,拍摄图像的数据波动的问题。本发明的控制系统,包括背照式卷帘门CMOS图像传感器和成像控制器;成像控制器先发送时钟信号给图像传感器,作为图像传感器内部运行控制的基准时钟;然后成像控制器发送像素控制信号和Sync信号给图像传感器,使图像传感器在首次拍摄和两次冗余行的复位和读取时产生图像数据,但成像传感器不读取图像数据,在根据曝光时序逐行开始曝光和读出时,也产生图像数据,但成像控制器读取图像数据。该系统提高了图像质量,使首次拍摄的图像也能够真实反映光照情况。

Description

非连续成像CMOS图像传感器稳定图像控制系统及方法
技术领域
本发明属于CMOS图像传感器技术领域,具体涉及一种非连续成像CMOS图像传感器稳定图像控制系统及方法。
背景技术
背照式CMOS图像传感器因其高量子效率以及宽探测谱段,广泛应用于科学级成像以及天文学领域,尤其是在紫外谱段探测领域。CMOS图像传感器的曝光方式分为全局快门和卷帘快门,其中卷帘快门像素设计相对简单,可以提升图像传感器的灵敏度,降低噪声,因此在天文学等需要长曝光时间的应用中具有较大优势。
卷帘快门CMOS图像传感器采用逐行曝光的曝光控制方式,每行像素开始曝光和停止曝光的时刻是不同的,但是所有像素的实际曝光时间是相同的。卷帘快门像素内没有存储单元,曝光结束后,信号需要立刻读出,因此曝光是逐行开始和停止,并且逐行读出,卷帘门CMOS图像传感器曝光工作时序如图1所示。对于采用列模数转换器的CMOS图像传感器,其在每一列像素下设置一个可编程放大器以及一个模数转换器,采集到的数字信号存储在一个行存储器中,通过列编码器扫描该行存储器读出数据。卷帘快门CMOS图像传感器对像素的每一次操作包括读出和复位,一次读出和复位构成了一个行时间,图像传感器的曝光时间取决于同一行的复位时刻和读出时刻的时间间隔。由于所有行共用同一套列运放及模数转换器,在同一时刻只能读出一行数据。
在天文成像领域,因观测目标的变化,经常需要非连续成像。背照式卷帘门CMOS图像传感器的特殊结构,其在不成像期间,感光元件依然会有少量的电荷累计,因此在首次拍摄时第一次采集到的图像会包含该部分电荷累计,在非连续成像时,即上次曝光结束时刻到下次曝光开始时刻间隔较大(如大于20秒)时,会造成首次拍摄图像的平均灰度值比后续采集图像的平均灰度值大。现有技术中,采用控制像素进行读取操作的方法,清除积累的电荷,即单次成像时首先读取整个图像传感器数据,并丢弃不用的方法,其具体时序如图2所示。
但是,在发明人研究和实践过程中发现,采用该种方法,并没有完全清除电荷累计,同时由于卷帘快门的特殊结构,每一行共用放大电路、模数转化以及行存储模块,当数据首次经过该部分电路时,电路尚处于初始状态,因此首次拍摄图像的平均灰度值仍然会比后续图像的平均灰度值偏大,尤其是其第一行和第二行的平均灰度值,会比后续图像的对应行灰度值大很多,且随着成像间隔时间的增长,其差值会变大,最大波动可达到约600个灰度值,严重影响图像数据对光照情况的真实反映。
发明内容
本发明的目的是解决现有技术中背照式卷帘门CMOS图像传感器在非连续成像时,拍摄图像的数据波动的问题,提高图像质量,提供一种非连续成像CMOS图像传感器稳定图像控制系统及方法。
本发明解决上述问题采取的技术方案如下。
本发明提供一种非连续成像CMOS图像传感器稳定图像控制系统,包括背照式卷帘门CMOS图像传感器和成像控制器;
在系统开始运行时,所述成像控制器发送时钟信号并传输给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器使用该时钟信号作为内部运行控制的基准时钟;
然后,所述成像控制器产生像素控制信号和Sync信号送入背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号进行最短曝光时间的首次拍摄,并根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
然后,所述成像控制器控制背照式卷帘门CMOS图像传感器进行两次冗余行的复位和读取,同时发送Sync信号给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
最后成像控制器产生像素控制信号和Sync信号送入CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号设定的曝光时序对不同的像素行曝光和读出,并根据Sync信号产生图像数据,成像控制器读取背照式卷帘门CMOS图像传感器的图像数据。
进一步的,所述成像控制器为FPGA控制器。
本发明还提供一种非连续成像CMOS图像传感器稳定图像控制方法,包括以下步骤:
步骤一、在系统开始运行时,成像控制器发送时钟信号并传输给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器使用该时钟信号作为内部运行控制的基准时钟;
步骤二、成像控制器产生像素控制信号和Sync信号送入背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号进行最短曝光时间的首次拍摄,并根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
步骤三、成像控制器进行两次冗余行的复位和读取操作,同时成像控制器发送Sync信号给背照式卷帘门CMOS图像传感器,使图像数据从背照式卷帘门CMOS图像传感器输出,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
步骤四、成像控制器产生像素控制信号和Sync信号送入CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号设定的曝光时序对不同的像素行曝光和读出,并根据Sync信号产生图像数据,成像控制器读取背照式卷帘门CMOS图像传感器的图像数据。
与现有技术相比,本发明的有益效果为:
本发明的非连续成像CMOS图像传感器稳定图像控制系统及方法,采用零曝光操作清除背照式卷帘门CMOS图像传感器的非成像期间的电荷积累,稳定了首次拍摄图像的整体平均灰度值。同时在曝光开始前,复位读取两次冗余行像素,结束了图像数据输出部分电路的初始状态,避免了首次拍摄图像前两行数据的波动。提高了图像质量,使首次拍摄的图像也能够真实反映光照情况。
附图说明
为了更清楚地说明本发明实施方式中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为现有技术中背照式卷帘门CMOS图像传感器的工作原理图;
图2为现有技术中背照式卷帘门CMOS图像传感器的时序图;
图3为本发明的非连续成像CMOS图像传感器稳定图像控制系统的结构示意图;
图4为本发明的非连续成像CMOS图像传感器稳定图像控制方法的控制流程图;
图5为本发明的非连续成像CMOS图像传感器稳定图像控制系统的时序图。
具体实施方式
为了进一步说明本发明,下面结合具体实施方式对本发明的优选实施方案进行描述,但是应当理解,这些描述只是为进一步说明本发明的特征和优点而不是对本发明专利要求的限制。
如图3所示,本发明的背照式卷帘门CMOS图像传感器在非连续成像时稳定图像的控制系统,包括背照式卷帘门CMOS图像传感器和成像控制器;
成像控制器能够产生背照式卷帘门CMOS图像传感器的像素控制信号、时钟信号以及Sync信号,并送入背照式卷帘门CMOS图像传感器;
背照式卷帘门CMOS图像传感器能够产生图像数据,并通过LVDS总线送入成像控制器;
成像控制器对背照式卷帘门CMOS图像传感器的控制过程为:
在系统开始运行时,成像控制器发送时钟信号并传输给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器使用该时钟信号作为内部运行控制的基准时钟;
然后,成像控制器产生像素控制信号和Sync信号送入背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号进行最短曝光时间的首次拍摄,并根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
然后,成像控制器通过复位和读取背照式卷帘门CMOS图像图传感器的冗余地址,进而控制背照式卷帘门CMOS图像传感器进行两次冗余行的复位和读取,同时成像控制器发送Sync信号给背照式卷帘门CMOS图像传感器,使图像数据从背照式卷帘门CMOS图像传感器输出,此时成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
最后,成像控制器产生像素控制信号和Sync信号送入CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号设定的曝光时间对不同的像素行曝光和读出,并根据Sync信号产生图像数据,成像控制器读取背照式卷帘门CMOS图像传感器的图像数据。
上述技术方案中,成像控制器可采用FPGA(现场可编程门阵列)控制器。
上述技术方案中,背照式卷帘快门CMOS图像传感器可采用长光辰芯公司的背照式卷帘快门CMOS。
本发明的背照式卷帘门CMOS图像传感器在非连续成像时稳定图像的控制方法,以N行背照式卷帘门CMOS图像传感器为例,步骤如下:
步骤一、在系统开始运行时,成像控制器发送时钟信号并传输给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器使用该时钟信号作为内部运行控制的基准时钟;
步骤二、成像控制器先产生像素控制信号送入背照式卷帘门CMOS图像传感器,使背照式卷帘门CMOS图像传感器在首次成像时,先逐行曝光一次整个背照式卷帘门CMOS图像传感器,为了减少整幅图像的曝光操作时间,曝光时间设定为最短曝光时间,在该阶段Sync信号正常发送,以使图像数据正常从背照式卷帘门CMOS图像传感器中读出,发送到成像控制器,但是在此阶段成像控制器不存储图像数据,即该阶段采集的图像数据丢弃不用;
具体时序为:第一个行时间内,读取冗余行,复位第0行,即第0行开始曝光;第二个行时间内读取第0行数据,复位第1行,即第0行结束曝光并读出,同时第1行开始曝光;第三个行时间内读取第1行数据,复位第2行,即第1行结束曝光并读出,同时第2行开始曝光;以此类推,直到最后一个行时间,读取第N行数据,复位冗余行,即第N行结束曝光并读出,同时复位冗余行;
通过上述步骤一的曝光操作可消除图像传感器在不成像期间积累的电荷,但是通过实验发现,如果在正式采集图像数据前,仅采取该阶段操作,从图像传感器输出的前两行数据依然会有较大波动。
步骤三、成像控制器通过复位和读取背照式卷帘门CMOS图像图传感器的冗余地址,进而控制背照式卷帘门CMOS图像传感器进行两次冗余行的复位和读取,即第一个行时间读出冗余行,复位冗余行;第二个行时间也读出冗余行,复位冗余行;在该阶段成像控制器正常发送Sync信号给背照式卷帘门CMOS图像传感器,使图像数据从背照式卷帘门CMOS图像传感器中读出,发送到成像控制器,但是在此阶段成像控制器不存储图像数据;
通过该阶段操作,可以使每列像素下的可编程放大器、模数转换器以及行存储器结束初始化状态,进而可以稳定图像前两行数据,消除图像数据的波动。
步骤四、成像控制器根据设定的曝光时间产生像素控制信号和Sync信号送入背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号对不同的像素行曝光和读出,按照背照式卷帘门CMOS图像传感器的曝光时序逐行开始曝光和读出。以最短曝光为例,第一个行时间内,读取冗余行,复位第0行;第二个行时间内读取第0行数据,复位第1行;第三个行时间内读取第1行数据,复位第2行;以此类推,直到最后一个行时间,读取第N行数据,复位冗余行;在该阶段Sync信号正常发送,以使图像数据从背照式卷帘门CMOS图像传感器中读出,发送到成像控制器,此阶段采集的图像为最终使用的第一幅图像。
上述技术方案中,N可以为2047行。
显然,上述实施方式仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (3)

1.非连续成像CMOS图像传感器稳定图像控制系统,其特征在于,包括背照式卷帘门CMOS图像传感器和成像控制器;
在系统开始运行时,所述成像控制器发送时钟信号并传输给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器使用该时钟信号作为内部运行控制的基准时钟;
然后,所述成像控制器产生像素控制信号和Sync信号送入背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号进行最短曝光时间的首次拍摄,并根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
然后,所述成像控制器控制背照式卷帘门CMOS图像传感器进行两次冗余行的复位和读取,同时发送Sync信号给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
最后成像控制器产生像素控制信号和Sync信号送入CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号设定的曝光时序对不同的像素行曝光和读出,并根据Sync信号产生图像数据,成像控制器读取背照式卷帘门CMOS图像传感器的图像数据。
2.根据权利要求1所述的非连续成像CMOS图像传感器稳定图像控制系统,其特征在于,所述成像控制器为FPGA控制器。
3.权利要求1或2所述的非连续成像CMOS图像传感器稳定图像控制系统的控制方法,其特征在于,包括以下步骤:
步骤一、在系统开始运行时,成像控制器发送时钟信号并传输给背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器使用该时钟信号作为内部运行控制的基准时钟;
步骤二、成像控制器产生像素控制信号和Sync信号送入背照式卷帘门CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号进行最短曝光时间的首次拍摄,并根据Sync信号产生图像数据,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
步骤三、成像控制器进行两次冗余行的复位和读取操作,同时成像控制器发送Sync信号给背照式卷帘门CMOS图像传感器,使图像数据从背照式卷帘门CMOS图像传感器输出,但成像控制器不读取背照式卷帘门CMOS图像传感器的图像数据;
步骤四、成像控制器产生像素控制信号和Sync信号送入CMOS图像传感器,背照式卷帘门CMOS图像传感器根据像素控制信号设定的曝光时序对不同的像素行曝光和读出,并根据Sync信号产生图像数据,成像控制器读取背照式卷帘门CMOS图像传感器的图像数据。
CN202110982294.2A 2021-08-25 2021-08-25 非连续成像cmos图像传感器稳定图像控制系统及方法 Active CN113784062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110982294.2A CN113784062B (zh) 2021-08-25 2021-08-25 非连续成像cmos图像传感器稳定图像控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110982294.2A CN113784062B (zh) 2021-08-25 2021-08-25 非连续成像cmos图像传感器稳定图像控制系统及方法

Publications (2)

Publication Number Publication Date
CN113784062A CN113784062A (zh) 2021-12-10
CN113784062B true CN113784062B (zh) 2022-04-26

Family

ID=78839136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110982294.2A Active CN113784062B (zh) 2021-08-25 2021-08-25 非连续成像cmos图像传感器稳定图像控制系统及方法

Country Status (1)

Country Link
CN (1) CN113784062B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064792A (zh) * 2006-04-28 2007-10-31 三星Techwin株式会社 拍摄设备和方法
CN107277384A (zh) * 2017-05-19 2017-10-20 中国科学院长春光学精密机械与物理研究所 高分辨率视频卫星成像系统
CN111405211A (zh) * 2020-03-27 2020-07-10 上海集成电路研发中心有限公司 一种图像传感器像素结构及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7568628B2 (en) * 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
JP4442669B2 (ja) * 2007-09-18 2010-03-31 ソニー株式会社 固体撮像素子およびカメラシステム
JP4556993B2 (ja) * 2007-12-07 2010-10-06 セイコーエプソン株式会社 状態検査システム
JP2012129799A (ja) * 2010-12-15 2012-07-05 Sony Corp 固体撮像素子および駆動方法、並びに電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064792A (zh) * 2006-04-28 2007-10-31 三星Techwin株式会社 拍摄设备和方法
CN107277384A (zh) * 2017-05-19 2017-10-20 中国科学院长春光学精密机械与物理研究所 高分辨率视频卫星成像系统
CN111405211A (zh) * 2020-03-27 2020-07-10 上海集成电路研发中心有限公司 一种图像传感器像素结构及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
采用卷帘数字域TDI技术的CMOS成像系统设计;陶淑苹;《红外与激光工程》;20120930;第41卷(第9期);全文 *

Also Published As

Publication number Publication date
CN113784062A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
US20240064412A1 (en) Method and apparatus providing pixel array having automatic light control pixels and image capture pixels
US7733401B2 (en) Image capturing apparatus
EP1233613B1 (en) Active pixel image sensor with high dynamic range
US8184188B2 (en) Methods and apparatus for high dynamic operation of a pixel cell
WO2016072289A1 (ja) 撮像素子および駆動方法、並びに電子機器
US8643755B2 (en) Solid-state imaging device and camera system
US8780245B2 (en) Solid-state image pickup element, method of driving the same, and camera system
US6330030B1 (en) Digital image sensor with low device count per pixel analog-to-digital conversion
US6377303B2 (en) Strobe compatible digital image sensor with low device count per pixel analog-to-digital conversion
JP4444499B2 (ja) アナログ記憶装置用の高速読出しアーキテクチャ
CN101753859B (zh) 摄像传感器及其驱动方法和摄像设备
US10033956B2 (en) Image sensor
JP2007129288A (ja) 物理量検出装置および撮像装置
US10965890B2 (en) Imaging device and imaging system
US8300122B2 (en) Solid-state imaging device, camera system, and signal reading method
US8179460B2 (en) System, method, and apparatus for variable rate pixel data transfer and storage
CN110832846B (zh) 像素单元、图像传感器及其运行方法、摄像装置
CN113784062B (zh) 非连续成像cmos图像传感器稳定图像控制系统及方法
CN110336953B (zh) 四元像素结构图像传感器及读取控制方法
US6657177B2 (en) Solid-state imaging system
JP6245856B2 (ja) 光電変換装置、光電変換システム
KR20030001309A (ko) 촬상 장치
US20200068109A1 (en) Imaging device and control method therefor
CN114040132B (zh) 图像传感器及其曝光时序控制方法、系统及介质
US20230388655A1 (en) Image sensing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant