CN112040155B - 一种cmos图像传感器流水曝光驱动方法 - Google Patents

一种cmos图像传感器流水曝光驱动方法 Download PDF

Info

Publication number
CN112040155B
CN112040155B CN202010884857.XA CN202010884857A CN112040155B CN 112040155 B CN112040155 B CN 112040155B CN 202010884857 A CN202010884857 A CN 202010884857A CN 112040155 B CN112040155 B CN 112040155B
Authority
CN
China
Prior art keywords
frame
windowing
exposure
spectrum
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010884857.XA
Other languages
English (en)
Other versions
CN112040155A (zh
Inventor
贺小军
韩悦羽
王行行
于树海
韦宗喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chang Guang Satellite Technology Co Ltd
Original Assignee
Chang Guang Satellite Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chang Guang Satellite Technology Co Ltd filed Critical Chang Guang Satellite Technology Co Ltd
Priority to CN202010884857.XA priority Critical patent/CN112040155B/zh
Publication of CN112040155A publication Critical patent/CN112040155A/zh
Application granted granted Critical
Publication of CN112040155B publication Critical patent/CN112040155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明是一种CMOS图像传感器流水曝光驱动方法。本发明涉及CMOS图像传感器流水曝光驱动技术领域，本发明设置CMOS图像传感器的开窗，实现等效实现16行开窗；根据每帧的开窗位置，进行驱动曝光，读取时序，确定具体开窗位置；对每帧图像进行数字域N×N像元合并，得到输出图像。本发明针对同一片CMOS图像传感器上实现多种不同分辨率的光谱载荷，通过流水曝光的方式，提升低分辨率谱段的有效曝光量、图像信噪比，同时利用流水曝光方向与像移方向匹配来提升MTF调制传递函数。

Description

一种CMOS图像传感器流水曝光驱动方法
技术领域
本发明涉及CMOS图像传感器流水曝光驱动技术领域，是一种CMOS图像传感器流水曝光驱动方法。
背景技术
近年来，随着CMOS图像传感器的成像性能的迅速提升，利用高速面阵CMOS图像传感器实现线阵多光谱甚至高光谱成像的研究日益活跃，其中一个重要研究方向是采用数字域TDI以实现亚米级高分辨遥感，已有大量相关专利公开(CN102724447B、CN101854489B等)，另一方向是实现多通道多分辨率光谱遥感，充分利用图像传感器帧频，在满足光谱通道数量的同时，尽可能增加每个通道的有效开窗行数，以提高曝光量，提升信噪比。
发明内容
本发明为针对同一片CMOS图像传感器上实现多种不同分辨率的光谱载荷，通过流水曝光的方式，提升低分辨率谱段的有效曝光量、图像信噪比，同时利用流水曝光方向与像移方向匹配来提升MTF(调制传递函数)，本发明提供了一种CMOS图像传感器流水曝光驱动方法，本发明提供了以下技术方案：
一种CMOS图像传感器流水曝光驱动方法，包括以下步骤：
步骤1：设置CMOS图像传感器的开窗，实现等效实现16行开窗；
步骤2：根据每帧的开窗位置，进行驱动曝光，读取时序，确定具体开窗位置；
步骤3：对每帧图像进行数字域N×N像元合并，得到输出图像。
优选地，所述步骤1具体为：
当单片传感器上集成1个1×1像元的谱段，1个2×2像元合并的谱段，1个4×4像元合并的谱段，采用流水曝光开窗方式，在不增加每帧读出行数的前提下，4×4像元合并的谱段每帧读出四行，每四行读出一行，帧间不进行光电子复位清空，则等效实现16行开窗，实现每谱4级积分；2×2像元合并的谱段实现等效2级积分。
优选地，所述步骤2具体为：
根据每帧的开窗位置固定，每帧中的每行图像，曝光时长不能超过帧周期；在流水曝光下，每帧的开窗位置不再保持一致，对于N×N合并的谱段，采用N帧为一组，组内各帧的开窗位置沿着像移方向依次偏移1行，每帧读出谱段每级积分级数中的一行，曝光时间是N倍帧周期，通过下式确定具体开窗位置：
ROI(band,frm,row)＝ROI(band)+N mod(frm,N)+row
其中，band为谱段序号，frm为帧序号，row为帧内行序号，ROI为开窗位置对应的行地址，N为像元合并系数，mod为取余函数。
优选地，所述步骤3具体为：
对谱段内每帧的图像进行N×N像元合并，得到谱段最终输出图像，通过下式表示最终信噪比：
Figure GDA0003494613280000021
其中，η为量子效率，μp为帧周期内像元收集的光子数，σd.0为暗场随机噪声(e-)，μI为暗电流大小(e-/pixel/s)，Tint为单帧曝光时间，σq为量化噪声，数值上位
Figure GDA0003494613280000022
k为传感器转换增益；
对4×4像元合并时沿轨像移失配率为1/4个像元，通过下式确定动态MTF：
Figure GDA0003494613280000023
其中，2×2合并时N取2,4×4合并时N取4；
根据动态MTF上达到垂轨动态传函的95％，2×2合并时像移失配率为1/2像元，沿轨动态MTF理论上可达到垂轨动态传函的90％，对应MTF仅为63.6％。
本发明具有以下有益效果：
本发明用于多光谱仪成像，可利用高速面阵图像传感器芯片，通过改进驱动方法，实现比现有方法更高的图像信噪比，使其可用于亚米级高分辨光学遥感卫星中。
本发明针对同一片CMOS图像传感器上实现多种不同分辨率的光谱载荷，通过流水曝光的方式，提升低分辨率谱段的有效曝光量、图像信噪比，同时利用流水曝光方向与像移方向匹配来提升MTF(调制传递函数)。
本发明在流水曝光驱动方式可以在传感器现有读出速率下，通过不同帧读取不同开窗位置，从而提高多光谱谱段的有效曝光量，提升图像信噪比，该技术已经成功应用于光谱卫星多光谱仪中。
附图说明
图1为传统曝光与流水曝光开窗示意图；
图2为传统曝光与流水曝光时序对照图；
图3为传统曝光与流水曝光像移失配示意图图；
图4为像元2×2合并流水曝光数字域处理过程图；
图5为像元4×4合并流水曝光数字域处理过程图。
具体实施方式
以下结合具体实施例，对本发明进行了详细说明。
具体实施例一：
根据图1至图5所示，本发明提供一种CMOS图像传感器流水曝光驱动方法，具体为：
一种CMOS图像传感器流水曝光驱动方法，包括以下步骤：
步骤1：设置CMOS图像传感器的开窗，实现等效实现16行开窗；
所述步骤1具体为：
当单片传感器上集成1个1×1像元的谱段，1个2×2像元合并的谱段，1个4×4像元合并的谱段，采用流水曝光开窗方式，在不增加每帧读出行数的前提下，4×4像元合并的谱段每帧读出四行，每四行读出一行，帧间不进行光电子复位清空，则等效实现16行开窗，实现每谱4级积分；2×2像元合并的谱段实现等效2级积分。
步骤2：根据每帧的开窗位置，进行驱动曝光，读取时序，确定具体开窗位置；
所述步骤2具体为：
根据每帧的开窗位置固定，每帧中的每行图像，曝光时长不能超过帧周期；在流水曝光下，每帧的开窗位置不再保持一致，对于N×N合并的谱段，采用N帧为一组，组内各帧的开窗位置沿着像移方向依次偏移1行，每帧读出谱段每级积分级数中的一行，曝光时间是N倍帧周期，通过下式确定具体开窗位置：
ROI(band,frm,row)＝ROI(band)+N mod(frm,N)+row
其中，band为谱段序号，frm为帧序号，row为帧内行序号，ROI为开窗位置对应的行地址，N为像元合并系数，mod为取余函数。
步骤3：对每帧图像进行数字域N×N像元合并，得到输出图像。
所述步骤3具体为：
对谱段内每帧的图像进行N×N像元合并，得到谱段最终输出图像，通过下式表示最终信噪比：
Figure GDA0003494613280000031
其中，η为量子效率，μp为帧周期内像元收集的光子数，σd.0为暗场随机噪声(e-)，μI为暗电流大小(e-/pixel/s)，Tint为单帧曝光时间，σq为量化噪声，数值上位
Figure GDA0003494613280000041
DN，k为传感器转换增益；
对4×4像元合并时沿轨像移失配率为1/4个像元，通过下式确定动态MTF：
Figure GDA0003494613280000042
其中，2×2合并时N取2,4×4合并时N取4；
根据动态MTF上达到垂轨动态传函的95％，2×2合并时像移失配率为1/2像元，沿轨动态MTF理论上可达到垂轨动态传函的90％，对应MTF仅为63.6％。
具体实施例二：
1.传感器开窗：设置为Band1～Band7七谱段为A型谱段，每个谱段开窗1行；Band8～Band13六谱段为B型谱段，每个谱段开窗2行；Band14～Band20七谱段为C型谱段，每个谱段开窗4行。
2.曝光控制：采用N＝2的流水曝光方式，每两帧为一组，开窗位置如表1所示；采用N＝4的流水曝光方式，每两帧为一组，开窗位置如表2所示。
表1N＝2谱段内开窗行序号
Figure GDA0003494613280000043
表2N＝4谱段内开窗行序号
Figure GDA0003494613280000051
Figure GDA0003494613280000061
数字域合并处理：对Band8～Band13输出的原始数据,进行帧内2×2像素合并累加，以及每组内2帧合并后结果作为2级积分，与相邻组数据进行TDI积分，得到图像输出数据；对应B14～B20输出的原始数据，进行帧内4×4像素合并累加，以及每组内4帧合并结果作为4级积分，与相邻组进行4级TDI积分，得到图像输出结果，如图4和图5所示。
以上所述仅是一种CMOS图像传感器流水曝光驱动方法的优选实施方式，一种CMOS图像传感器流水曝光驱动方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (2)

1.一种CMOS图像传感器流水曝光驱动方法，其特征是：包括以下步骤：
步骤1：设置CMOS图像传感器的开窗，实现等效实现16行开窗；在不增加每帧读出行数的前提下，4×4像元合并的谱段每帧读出四行，每四行读出一行，帧间不进行光电子复位清空，则等效实现16行开窗；
所述步骤1具体为：
当单片传感器上集成1个1×1像元的谱段，1个2×2像元合并的谱段，1个4×4像元合并的谱段，采用流水曝光开窗方式，在不增加每帧读出行数的前提下，4×4像元合并的谱段每帧读出四行，每四行读出一行，帧间不进行光电子复位清空，则等效实现16行开窗，实现每谱4级积分；2×2像元合并的谱段实现等效2级积分；
步骤2：根据每帧的开窗位置，进行驱动曝光，读取时序，确定具体开窗位置；
所述步骤2具体为：
根据每帧的开窗位置固定，每帧中的每行图像，曝光时长不能超过帧周期；在流水曝光下，每帧的开窗位置不再保持一致，对于N×N合并的谱段，采用N帧为一组，组内各帧的开窗位置沿着像移方向依次偏移1行，每帧读出谱段每级积分级数中的一行，曝光时间是N倍帧周期，通过下式确定具体开窗位置：
ROI(band,frm,row)＝ROI(band)+N mod(frm,N)+row
其中，band为谱段序号，frm为帧序号，row为帧内行序号，ROI为开窗位置对应的行地址，N为像元合并系数，mod为取余函数；
步骤3：对每帧图像进行数字域N×N像元合并，得到输出图像。
2.根据权利要求1所述的一种CMOS图像传感器流水曝光驱动方法，其特征是：所述步骤3具体为：
对谱段内每帧的图像进行N×N像元合并，得到谱段最终输出图像，通过下式表示最终信噪比：
Figure FDA0003494613270000011
其中，η为量子效率，μp为帧周期内像元收集的光子数，σd.0为暗场随机噪声，单位为e-，μI为暗电流大小，单位为e-/pixel/s，Tint为单帧曝光时间，σq为量化噪声，单位为DN；k为传感器转换增益；
对4×4像元合并时沿轨像移失配率为1/4个像元，通过下式确定动态MTF：
Figure FDA0003494613270000021
其中，2×2合并时N取2,4×4合并时N取4。
CN202010884857.XA 2020-08-28 2020-08-28 一种cmos图像传感器流水曝光驱动方法 Active CN112040155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010884857.XA CN112040155B (zh) 2020-08-28 2020-08-28 一种cmos图像传感器流水曝光驱动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010884857.XA CN112040155B (zh) 2020-08-28 2020-08-28 一种cmos图像传感器流水曝光驱动方法

Publications (2)

Publication Number Publication Date
CN112040155A CN112040155A (zh) 2020-12-04
CN112040155B true CN112040155B (zh) 2022-04-15

Family

ID=73586086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010884857.XA Active CN112040155B (zh) 2020-08-28 2020-08-28 一种cmos图像传感器流水曝光驱动方法

Country Status (1)

Country Link
CN (1) CN112040155B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529810A (zh) * 2020-12-15 2021-03-19 北京空间机电研究所 一种面阵凝视相机的探测信噪比提升方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110336953A (zh) * 2019-07-02 2019-10-15 思特威(上海)电子科技有限公司 四元像素结构图像传感器及读取控制方法
CN111294530A (zh) * 2020-02-18 2020-06-16 西安微电子技术研究所 一种用于图像传感器的自由亚采样型行逻辑电路及其工作方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5675215B2 (ja) * 2010-08-20 2015-02-25 オリンパス株式会社 デジタルカメラ
CN104796636B (zh) * 2015-04-20 2017-12-12 中国航天科技集团公司第九研究院第七七一研究所 用于超大面阵拼接cmos图像传感器的复用型像元控制电路
CN106713754B (zh) * 2016-12-29 2019-04-16 中国科学院长春光学精密机械与物理研究所 基于面阵cmos图像传感器的运动场景成像方法及系统
CN108061600B (zh) * 2017-12-14 2019-10-18 中国科学院长春光学精密机械与物理研究所 一种小型化光谱成像系统及成像方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110336953A (zh) * 2019-07-02 2019-10-15 思特威(上海)电子科技有限公司 四元像素结构图像传感器及读取控制方法
CN111294530A (zh) * 2020-02-18 2020-06-16 西安微电子技术研究所 一种用于图像传感器的自由亚采样型行逻辑电路及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像传感器与相机性能测试标准;欧洲机器视觉协会;《EMVA1288标准 R3.1》;20161230;6-10 *

Also Published As

Publication number Publication date
CN112040155A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
US9866771B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US10924698B2 (en) Solid-state imaging element, method of driving the same, and camera system
JP4611296B2 (ja) 電荷ビニング型イメージセンサ
US8558899B2 (en) System and method for super-resolution digital time delay and integrate (TDI) image processing
US20060013485A1 (en) Data processing method, data processing apparatus, semiconductor device, and electronic apparatus
US20150281605A1 (en) Solid-state imaging device and electronic equipment
US6822213B2 (en) Image sensors with improved signal to noise ratio
US20110221941A1 (en) Solid-state imaging device applied to cmos image sensor
CN112040155B (zh) 一种cmos图像传感器流水曝光驱动方法
US20120281126A1 (en) Digital integration sensor
WO2004049731A1 (ja) 固体撮像装置及びその信号読み出し方法
KR100611701B1 (ko) 고체 촬상 소자 및 화상 신호 처리 장치
US7893981B2 (en) Image sensor with variable resolution and sensitivity
US20100208116A1 (en) Color ccd linear image sensor
JP3916612B2 (ja) 固体撮像装置、その駆動方法及びそれを用いたカメラ
JP2007166486A (ja) 固体撮像装置
US20200228761A1 (en) Sub-sampled color channel readout wiring for vertical detector pixel sensors
US20230112586A1 (en) Dynamic pixel-wise multi-gain readout for high dynamic range imaging
JP3330403B2 (ja) 固体撮像装置
US20230308780A1 (en) Imaging device, and electronic instrument comprising imaging device
JP4360749B2 (ja) 撮像素子及び画像入力装置
JP3241828B2 (ja) 固体撮像装置
TWI793809B (zh) 雙增益時延積分感測器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province

Applicant after: Changguang Satellite Technology Co.,Ltd.

Address before: No. 1299, Mingxi Road, Beihu science and Technology Development Zone, Changchun City, Jilin Province

Applicant before: CHANG GUANG SATELLITE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A pipeline exposure driving method for CMOS image sensor

Effective date of registration: 20220720

Granted publication date: 20220415

Pledgee: National Development Bank of China Jilin branch

Pledgor: Changguang Satellite Technology Co.,Ltd.

Registration number: Y2022220000041

PE01 Entry into force of the registration of the contract for pledge of patent right