CN108322681B - 抑制图像失配的tdi感光器件及图像传感器 - Google Patents
抑制图像失配的tdi感光器件及图像传感器 Download PDFInfo
- Publication number
- CN108322681B CN108322681B CN201810154578.0A CN201810154578A CN108322681B CN 108322681 B CN108322681 B CN 108322681B CN 201810154578 A CN201810154578 A CN 201810154578A CN 108322681 B CN108322681 B CN 108322681B
- Authority
- CN
- China
- Prior art keywords
- tdi
- photosensitive
- image
- pixel signals
- arrays
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明的抑制图像失配的TDI感光器件由集成在同一块芯片上的K行分离的TDI感光子阵列组成，并且相邻TDI感光子阵列间的间隙内布置与各TDI感光子阵列对应的转移电路。各TDI感光子阵列采集的像素信号分别通过转移电路转移至外部，在外部对第2～k行TDI感光子阵列的像素信号进行移位操作使得相同列的像素信号相匹配，然后对各列像素信号进行累加得到校正后的图像。本发明完全解决了图像失配问题，极大的改善了TDI图像质量，并能够节约后期图像校正成本值。
Description
技术领域
本发明属于集成电路图像传感器技术领域，具体涉及一种TDI图像传感器。
背景技术
时间延迟积分技术(Time Delay Integration，TDI)是一种广泛应用于图像传感器的成像技术。传感器行像素先后对物体的同一部位曝光，最后每列像素的光信号累加，提升微光环境下探测器的感光能力，弥补低照度环境中图像传感器能量获取不足的缺点。传统的TDI感光器件是一个整体CCD阵列，根据信号累加方式,分为电荷域累加和数字域累加。当图像传感器TDI级数为N时，电荷域TDI技术将产生的光电荷直接进行N次累加，传感器的信噪比提升N倍；数字域TDI-CCD先将光生电荷转化为数字信号，最后对数字信号累加。由于TDI技术具有低噪声和高动态范围，其被广泛应用于深空探索和空间侦察任务中。
传统线阵CCD电荷累加原理如图1a、图1b所示，当传感器推扫模式及帧频与物体运动完美匹配时，行像素对物体同一部位先后扫描后把每列像素的信号累加，从而得到一维光强分布信息。但在具体应用中，图像传感器像扫描方向和物体运动存在分歧，如横向运动引起列像素间图像的串扰，如图2a、图2b所示，这导致图像传感器解析能力降低，严重时产生图像拖影，因此在后期需要进行图像校正。同时由于电荷域TDI技术对信号先累加后输出，计算机算法无法从根本上校正图像。同时TDI信噪比与其级数成正相关，但级数的增加不仅会增加版图设计复杂度，同时也迅速降低芯片良率。数字域模式虽然可以先校正图像后对信号累加，但由于信号在读出中都会引入读出噪声，因此信噪比只能提升
倍，对噪声压制的空间非常有限。
发明内容
本发明要解决的一个技术问题是提供一种能够解决图像失配问题的抑制图像失配的TDI感光器件。
为了解决上述技术问题，本发明的抑制图像失配的TDI的感光器件由集成在同一块芯片上的K行分离的TDI感光子阵列组成，并且相邻TDI感光子阵列间的间隙内布置与各TDI感光子阵列对应的转移电路。
所述的相邻TDI感光子阵列间的间隙宽度在1到10个像素尺寸以内。
所述的TDI感光子阵列包含一行像素或多行像素。
各TDI感光子阵列采集的像素信号分别通过转移电路转移至外部，在外部根据信号累加一级时图像在水平方向偏移的像素个数η，对第2～k行TDI感光子阵列的像素信号进行移位操作使得相同列的像素信号相匹配，然后对各列像素信号进行累加得到校正后的图像。
本发明要解决的另一个技术问题是提供一种包含上述抑制图像失配TDI感光器件的图像传感器，该图像传感器还包括存储运算区；各TDI感光子阵列采集的像素信号分别通过转移电路转移至存储运算区，存储运算区根据信号累加一级时图像在水平方向偏移的像素个数η，对第2～k行TDI感光子阵列的像素信号进行移位操作使得相同列的像素信号相匹配，然后对各列像素信号进行累加得到校正后的图像。
所述存储运算区包括存储区、控制电路和运算电路；存储区包括与各TDI感光子阵列数量对应的寄存器；各TDI感光子阵列采集的像素信号通过转移电路分别转移至对应的寄存器；运算电路根据信号累加一级时图像在水平方向偏移的像素个数η计算第2～k行TDI感光子阵列的各列像素信号应移动的位数，再通过控制电路控制各寄存器进行移位操作使得相同列的像素信号相匹配；将各寄存器对应列像素信号进行累加得到校正后的图像。
进一步，上述图像传感器还可以包括模数转换区；存储运算区包括存储区、控制电路和加法器；所述模数转换区包括与各TDI感光子阵列数量对应的模数转换单元；存储区包括与各TDI感光子阵列数量对应的寄存器；各TDI感光子阵列采集的像素信号通过转移电路转移至对应的模数转换单元，经模数转换后转移到对应的寄存器；控制电路根据信号累加一级时图像在水平方向偏移的像素个数η计算第2～k行TDI感光子阵列的各列像素信号应移动的位数，再通过控制电路控制各寄存器进行移位操作使得相同列的像素信号相匹配；加法器将各寄存器对应列像素信号进行累加得到校正后的图像。
所述的存储区和运算电路可以与感光器件集成在一块芯片上。
所述的存储区和运算电路还可以布置在相邻TDI感光子阵列间的间隙内。
本发明的有益效果：
1.将感光器件分解为多个TDI感光子阵列，对TDI感光子阵列采集的像素信号先进行校正后累加，完全解决了图像失配问题，节约了后期图像校正成本。
2.TDI感光子阵列的列数、TDI感光子阵列的级数及信号读出方式可灵活设计。TDI感光子阵列内部像素信号在电荷域累加，各TDI感光子阵列间信号累加方式可以在电荷域或在数字域。
3.传统TDI技术中只能获得物体在y轴方向的运动速度，本发明通过计算物体在x轴方向的速度来进行像素信号移位校正，从而使图像传感器获得物体在二维平面内的运动信息。
4.传统电荷域TDI传感器如CCD(Charge Coupled Device,电荷耦合器件),其中任意行像素的损坏都会导致本列CCD不能正常工作，因此CCD级数的增加会显著降低芯片良率。本发明将感光器件分解为多个TDI感光子阵列，且TDI感光子阵列信号读出互不干扰，任意TDI感光子阵列的损坏并不影响像素信号整体累加，因此能显著降低制作高级数TDI图像传感器的技术难度。
5.本发明将多个TDI感光子阵列同时集成在一块芯片上，每个TDI感光子阵列可实现信号电荷域累加，各累加后的信号先进行以为校正，然后把校正后的像素信号累加，能够进一步提高传感器信噪比，节约了后期图像校正成本。
本发明不仅极大的改善了TDI图像质量，节约后期图像校正成本，具有很强的商业使用价值。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1a、图1b分别是传统TDI图像传感器扫描与运动匹配时的图像和一维光强分布曲线；
图2a、图2b分别是传统TDI图像传感器扫描与运动失配时的图像和一维光强分布曲线；
图3是扫描方向与运动方向匹配时物体运动方向与所成图像对应图。
图4是扫描方向与运动方向失配时物体运动方向与所成图像对应图。
图5是本发明的图像移位校正原理图。
图6是本发明的图像移位校正原理图。
图7是本发明实施例1的图像传感器架构原理图。
图8是本发明实施例2的图像传感器架构原理图。
图9是本发明的实施例1的寄存器移位操作原理示意图。
具体实施方式
如图3所示，应用TDI技术的CCD扫描运动的物体，传感器扫描方向及帧频与物体运动方向、速度完美的匹配，同一列像素的每个像素单元只对物体同一部位曝光，最后把同一列的相同的信号累加即可得到物体所成的图像。在具体实施中，物体运动方向和传感器的扫描方式不一致，如图4所示，由于物体存在横向运动，t2或t3时刻，在每一列像素中曝光时序靠后的像素，与同列已曝光的像素所收集的图像不同，而且物象进入相邻的列像素，导致相同列的像素对物体曝光部位存在不一致性，从而产生了图像的扭曲或者残影。
如图5所示，4级TDI图像传感器感光阵列沿y轴方向扫描。当物体A运动方向与X和Y方向夹角45°时，物体A同一部位出现在传感器的不同列像素中，同列像素信号直接累加导致图像失真。
如图6所示，本发明的TDI感光器件，每个TDI感光子阵列独立曝光，曝光结束后通过转移电路将各列像素信号转移到外部。在外部，首先对各列像素信号进行移位校正，然后将校正后的同列像素信号累加得到校正后的图像。
实施例1
如图7所示，本发明的包含抑制图像失配TDI感光器件的图像传感器还包括存储运算区；物理结构上，感光器件由K个分离的TDI感光子阵列组成，TDI感光子阵列的级数可根据具体需求设计，所有的TDI感光子阵列必须集成在同一块芯片上；相邻TDI感光子阵列间存在间隙，TDI感光子阵列的各列像素信号通过间隙中的转移电路向存储运算区转移。为了不丢失物象像素信号，间隙空间需要做的很窄，同时需要能放置转移电路，因此原则上间隙宽度在1到10个像素尺寸以内。存储运算区包括存储区、控制电路和运算电路；存储区由k个寄存器组成，各TDI感光子阵列采集的像素信号通过转移电路分别转移至对应的寄存器；存储区和运算电路可以放置在相邻TDI感光子阵列间的间隙内与感光器件同时集成在一块芯片上，也可以在芯片外部实现。
实际应用中，当物象出现失配，操控人员可根据图像传感器行频和物象清晰度判断物象横向和纵向移动速度，并通过串行外设接口输入偏移指令，运算电路根据偏移指令计算各寄存器像素信号的偏移量并将其发送给控制电路，控制电路根据偏移量对寄存器中的像素信号进行移位操作，然后对相同列像素信号依次累加，并从读出电路输出，从而得到校正后的图像。本实施例像素信号的校正和累加都是在电荷域中，因此传感器的信噪比可以提高K倍。
如图9所示，以感光器件由2行6列的4个TDI感光子阵列组成为例，其移位校正原理如下：
t1时刻，箭头向右下方匀速运动，在t4时刻箭头向下移动像素NY为6，水平方向移动像素NX为3，横向运动使像素信号串列，造成物象和扫描的失配，因此定义失配系数η
在CCD中,NY也为像素信号的累加级数，因此η也表示像素信号累加一级时图像在水平方向偏移的像素个数。
t1时刻，TDI感光子阵列1扫描物体并将像素信号存入寄存器1中。t2时刻，由于像素信号失配，需要把寄存器2中第二列像素信号转移到第一列中；t3时刻，需要把寄存器3中第三列像素信号转移到第一列中；t4时刻需要把寄存器2中第四列像素信号转移到第一列中；校正时像素信号左移位数为η×2i，i为TDI感光子阵列的序号，像素信号累加8级，像素信号失真为η×6＝3，像素信号只在TDI感光子阵列中失真，失真度为η×2＝1。
需要指出上述方法只能完成不同TDI感光子阵列间数字图形校正，TDI感光子阵列内像素信号失配无法校正。但可通过增加TDI感光子阵列的个数，减少各TDI感光子阵列的级数来减少图像的失配。本实施中TDI感光子阵列像素信号累加属于电荷域，阵列像素信号校正及累加属于数字域，因此信噪比的提升小于K，但要高于
实施例2
如图8所示，本发明的包含抑制图像失配TDI感光器件的图像传感器还包括模数转换区和存储运算区；物理结构上，感光器件由K个分离的TDI感光子阵列组成，TDI感光子阵列的级数可根据具体需求设计，所有的TDI感光子阵列必须集成在同一块芯片上；相邻TDI感光子阵列间存在间隙，TDI感光子阵列的像素信号通过间隙中转移电路向存储运算区转移。为了不丢失物象像素信号，间隙空间需要做的很窄，同时需要能放置转移电路，因此原则上间隙宽度在1到10个像素尺寸以内。存储运算区包括存储区、控制电路和加法器；存储区由k个寄存器组成；模数转换区由k个模数转换器组成；各模数转换器将对应TDI感光子阵列的模拟像素信号数字化，并通过读出电路转移到对应寄存器中；存储区和加法器可以放置在相邻TDI感光子阵列间的间隙内与感光器件同时集成在一块芯片上，也可以在芯片外部实现。
本发明实际应用中，当物象出现失配，操控人员可根据图像传感器行频和物象清晰度判断物象横向和纵向移动速度，并通过串行外设接口输入偏移指令，控制电路根据偏移指令对寄存器中的像素数字信号进行移位操作，然后在加法器中对相同列像素信号依次累加，得到校正后的图像。
Claims (7)
1.一种包含抑制图像失配TDI感光器件的图像传感器，其特征在于该图像传感器还包括存储运算区；所述的感光器件由集成在同一块芯片上的K行分离的TDI感光子阵列组成，并且相邻TDI感光子阵列间的间隙内布置与各TDI感光子阵列对应的转移电路；各TDI感光子阵列采集的像素信号分别通过转移电路转移至存储运算区，存储运算区根据信号累加一级时图像在水平方向偏移的像素个数η，对第2～k行TDI感光子阵列的像素信号进行移位操作使得相同列的像素信号相匹配，然后对各列像素信号进行累加得到校正后的图像。
2.根据权利要求1所述的包含抑制图像失配的TDI感光器件的图像传感器，其特征在于所述的相邻TDI感光子阵列间的间隙宽度在1到10个像素尺寸以内。
3.根据权利要求1所述的包含抑制图像失配的TDI感光器件的图像传感器，其特征在于所述的TDI感光子阵列包含一行像素或多行像素。
4.根据权利要求1所述的包含抑制图像失配TDI感光器件的图像传感器，其特征在于所述存储运算区包括存储区、控制电路和运算电路；存储区包括与各TDI感光子阵列数量对应的寄存器；各TDI感光子阵列采集的像素信号通过转移电路分别转移至对应的寄存器；运算电路根据信号累加一级时图像在水平方向偏移的像素个数η计算第2～k行TDI感光子阵列的各列像素信号应移动的位数，再通过控制电路控制各寄存器进行移位操作使得相同列的像素信号相匹配；将各寄存器对应列像素信号进行累加得到校正后的图像。
5.根据权利要求1所述的包含抑制图像失配TDI感光器件的图像传感器，其特征在于所述图像传感器还可以包括模数转换区；存储运算区包括存储区、控制电路和加法器；所述模数转换区包括与各TDI感光子阵列数量对应的模数转换单元；存储区包括与各TDI感光子阵列数量对应的寄存器；各TDI感光子阵列采集的像素信号通过转移电路转移至对应的模数转换单元，经模数转换后转移到对应的寄存器；控制电路根据信号累加一级时图像在水平方向偏移的像素个数η计算第2～k行TDI感光子阵列的各列像素信号应移动的位数，再通过控制电路控制各寄存器进行移位操作使得相同列的像素信号相匹配；加法器将各寄存器对应列像素信号进行累加得到校正后的图像。
6.根据权利要求4所述的包含抑制图像失配TDI感光器件的图像传感器，其特征在于所述的存储区和运算电路与该感光器件集成在一块芯片上。
7.根据权利要求6所述的包含抑制图像失配TDI感光器件的图像传感器，其特征在于所述的存储区和运算电路布置在相邻TDI感光子阵列间的间隙内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810154578.0A CN108322681B (zh) | 2018-02-23 | 2018-02-23 | 抑制图像失配的tdi感光器件及图像传感器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810154578.0A CN108322681B (zh) | 2018-02-23 | 2018-02-23 | 抑制图像失配的tdi感光器件及图像传感器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108322681A CN108322681A (zh) | 2018-07-24 |
| CN108322681B true CN108322681B (zh) | 2020-08-14 |
Family
ID=62900748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810154578.0A Active CN108322681B (zh) | 2018-02-23 | 2018-02-23 | 抑制图像失配的tdi感光器件及图像传感器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108322681B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114234744A (zh) * | 2021-12-24 | 2022-03-25 | 中国电子科技集团公司第四十四研究所 | 一种激光引信探测前端的光学参数测试装置及光学参数测试方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104541500A (zh) * | 2012-10-12 | 2015-04-22 | 统雷有限公司 | 采用ccd成像仪的时间延迟与积分扫描 |
| US9374540B1 (en) * | 2015-01-13 | 2016-06-21 | Exelis, Inc. | Multi-register bank enhanced digital time delay integration using CMOS ROIC |
| CN105791716A (zh) * | 2016-03-10 | 2016-07-20 | 长春长光辰芯光电技术有限公司 | Cmostdi图像传感器及其控制方法 |
| CN106407972A (zh) * | 2016-09-18 | 2017-02-15 | 首都师范大学 | 高速多光谱图像传感器及其数据传输方法 |
-
2018
- 2018-02-23 CN CN201810154578.0A patent/CN108322681B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104541500A (zh) * | 2012-10-12 | 2015-04-22 | 统雷有限公司 | 采用ccd成像仪的时间延迟与积分扫描 |
| US9374540B1 (en) * | 2015-01-13 | 2016-06-21 | Exelis, Inc. | Multi-register bank enhanced digital time delay integration using CMOS ROIC |
| CN105791716A (zh) * | 2016-03-10 | 2016-07-20 | 长春长光辰芯光电技术有限公司 | Cmostdi图像传感器及其控制方法 |
| CN106407972A (zh) * | 2016-09-18 | 2017-02-15 | 首都师范大学 | 高速多光谱图像传感器及其数据传输方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108322681A (zh) | 2018-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6570384B2 (ja) | 撮像装置及び撮像システム | |
| US9148601B2 (en) | CMOS TDI image sensor with rolling shutter pixels | |
| US20200059622A1 (en) | Solid-state imaging element and camera system | |
| KR101195325B1 (ko) | 데이터 처리 방법, 데이터 처리 장치, 물리량 분포 검지용반도체 장치 및 전자 장치 | |
| CN108600661B (zh) | 集成电路图像传感器和在图像传感器内操作的方法 | |
| CN102469271A (zh) | 固态图像感测设备和相机系统 | |
| EP2088763B1 (en) | Time delay integration in imaging devices | |
| CN106068562B (zh) | 固态成像器件及成像装置 | |
| US8487232B2 (en) | Solid state image sensor adapted to remove noise | |
| US20120281126A1 (en) | Digital integration sensor | |
| CN102883112B (zh) | 固态成像设备、驱动其的方法、以及使用其的电子装置 | |
| US11343454B2 (en) | Imaging systems and methods for performing pixel binning and variable integration for analog domain regional feature extraction | |
| Lindgren et al. | A multiresolution 100-GOPS 4-Gpixels/s programmable smart vision sensor for multisense imaging | |
| EP3435658B1 (en) | Imaging element and imaging device | |
| CN108322681B (zh) | 抑制图像失配的tdi感光器件及图像传感器 | |
| Yasutomi et al. | Two-stage charge transfer pixel using pinned diodes for low-noise global shutter imaging | |
| US10129494B2 (en) | Imaging device, and solid-state image sensor | |
| US20230353902A1 (en) | Time delay integration sensor with pixels having different sensing ability | |
| TWI793809B (zh) | 雙增益時延積分感測器 | |
| Otaka et al. | An 8-segmented 256× 512 CMOS image sensor for processing element-coupled unified system in machine vision application | |
| US20240089620A1 (en) | Time delay integration sensor with multiple sensor arrays | |
| JP3149909B2 (ja) | イメージセンサ | |
| TW202203641A (zh) | 使用滾動快門的時延積分感測器 | |
| JP2019176324A (ja) | 撮像装置、飛翔体およびイメージセンサ駆動方法 | |
| Nitta et al. | Ultrafast 2K line-scan sensor for industrial inspection applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Xinyang Inventor after: Ma Cheng Inventor after: Zhou Quan Inventor after: Li Yang Inventor after: Wu Dayou Inventor before: Wang Xinyang Inventor before: Ma Cheng Inventor before: Zhou Quan Inventor before: Li Yang Inventor before: Wu Dayou |
|
| CB03 | Change of inventor or designer information | ||
| CP03 | Change of name, title or address |
Address after: Office Buildings 1 and 5, Phase I, Optoelectronic Information Industry Park, No. 7691 Ziyou Road, Changchun Economic and Technological Development Zone, Jilin Province, 130000 Patentee after: Changchun Changguang Chenxin Microelectronics Co.,Ltd. Address before: No. 588, Yingkou Road, Jingkai District, Changchun City, Jilin Province, 130033 Patentee before: Changchun Changguangchenxin Optoelectronics Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |