CN113938626B - 一种tdi-cmos探测器及应用其的压缩感知成像方法 - Google Patents

一种tdi-cmos探测器及应用其的压缩感知成像方法 Download PDF

Info

Publication number
CN113938626B
CN113938626B CN202111165252.6A CN202111165252A CN113938626B CN 113938626 B CN113938626 B CN 113938626B CN 202111165252 A CN202111165252 A CN 202111165252A CN 113938626 B CN113938626 B CN 113938626B
Authority
CN
China
Prior art keywords
pixel
column
control circuit
reading
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111165252.6A
Other languages
English (en)
Other versions
CN113938626A (zh
Inventor
李云辉
王晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202111165252.6A priority Critical patent/CN113938626B/zh
Publication of CN113938626A publication Critical patent/CN113938626A/zh
Application granted granted Critical
Publication of CN113938626B publication Critical patent/CN113938626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及成像技术领域，特别涉及一种TDI‑CMOS探测器及应用其的压缩感知成像方法；在本发明内，像素控制电路通过对像素感光阵列的每行像素随机读出与抛弃，按列将像素感光阵列转换的模拟信号增加到对应列累加器中，循环多次完成压缩混叠采样，采样次数远小于探测器阵列行数，因此信号数量采集需求显著降低，从而降低探测器内ADC转换器速率需求，同时减少图像采集数据量，进而降低后续数据存储及传输压力。

Description

一种TDI-CMOS探测器及应用其的压缩感知成像方法
技术领域
本发明涉及成像技术领域，特别涉及一种TDI-CMOS探测器及应用其的压缩感知成像方法。
背景技术
近年来随着科学技术飞速发展及社会民生日益改善，对成像设备的分辨率及幅宽等技术指标提出了更高的要求。图像数据量与成像分辨率成几何倍增关系，当分辨率提升一倍时，数据量扩增为四倍，这给图像传感器及后续数据处理及传输等关节都带来巨大压力。
压缩感知理论指出：如果一个信号在某个变换域是稀疏的，那么通过非相关测量矩阵将该信号投影到低维空间上，并通过求解一个最优化问题即可根据低维投影值高概率的恢复出原始信号，压缩感知理论给成像方式上带来了新的变革，突破了Nyquist-Shannon采样定理的限制，将图像采样与压缩合并为一个过程，成为解决高分辨率成像瓶颈的重要技术手段。
基于压缩感知理论，国内外学者提出了多种成像系统，包括单像素相机、压缩编码孔径成像、随机曝光编码成像等，其中美国Rice大学的Duarte M F等人提出的一种单像素相机是该理论的典型应用，该相机利用DMD阵列对场景进行编码，采用单像素的点探测器替代图像传感器作为图像信息采集器件，降低了系统的复杂度和成本；然而压缩感知成像物理解决方案中绝大多数需要借助额外硬件代价，或是应用环境及场合有特殊需求。
发明内容
本发明主要解决的技术问题是提供一种TDI-CMOS探测器及应用其的压缩感知成像方法，在不增加外部硬件代价，直接通过对探测器驱动控制实现压缩感知过程，有效降低了探测器内ADC转换器速率需求，同时减少图像采集数据量，进而降低数据存储及传输压力。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种TDI-CMOS探测器，其中，包括：
像素感光阵列，用于将光强信号转换为模拟电信号；
像素控制电路，用于对所述像素感光阵列进行逐行读出与复位；
列累加器，用于将所述像素感光阵列输出的当前列像素输出的模拟电信号进行累加；
列模数转换器，用于将所述列累加器输出的信号转换为数字信号；
水平读出寄存器，用于将所述列模数转换器输出的数字信号进行存储；
读出控制电路，用于驱动所述水平读出寄存器中的数据进行读出。
作为本发明的一种改进，所述像素感光阵列的每一列对应一个所述列累加器。
作为本发明的进一步改进，所述读出控制电路可同时驱动所述列累加器、列模数转换器和水平读出寄存器工作。
作为本发明的更进一步改进，所述像素控制电路与所述读出控制电路的时序驱动均由外部控制器来实现。
一种应用TDI-CMOS探测器的压缩感知成像方法，其中，包括如下步骤：
步骤S1、外部控制器驱动像素控制电路对像素感光阵列逐行操作，每行像素依次执行像素读出与复位操作，循环执行；
步骤S2、像素感光阵列的每行像素读出后，按列将像素感光阵列的模拟信号输出至列累加器中进行累加；
步骤S3、读出控制电路将列累加器的模拟信号输入到列模数转换器中转换成数字信号；
步骤S4、将数字信号存储至水平读出寄存器中；
步骤S5、读出控制电路逐项读出水平读出寄存器的数据。
作为本发明的一种改进，还包括：
步骤S6、重复执行步骤S1至步骤S5，循环次数取决于压缩采样次数，循环次数小于积分级数。
作为本发明的进一步改进，在步骤S3内，所述列累加器的模拟信号输入到所述列模数转换器中后，所述列累加器清零，准备进入下一个循环的累加。
作为本发明的更进一步改进，在步骤S1内，外部控制器同时生成一组(0，1)的随机数，其与对每行像素执行操作时间对齐。
作为本发明的更进一步改进，在步骤S1内，当随机数为1时，像素控制电路正常完成对像素感光阵列的当前行像素读出与复位操作。
作为本发明的更进一步改进，在步骤S1内，当随机数为0时，像素控制电路正常完成对像素感光阵列的像素读出操作地址行取虚拟行，复位操作采用正常操作。
在本发明内，像素控制电路通过对像素感光阵列的每行像素随机读出与抛弃，按列将像素感光阵列转换的模拟信号增加到对应列累加器中，循环多次完成压缩混叠采样，采样次数远小于探测器阵列行数，因此信号数量采集需求显著降低，从而降低探测器内ADC转换器速率需求，同时减少图像采集数据量，进而降低后续数据存储及传输压力。
附图说明
图1为本发明的TDI-CMOS系统架构组成图；
图2为本发明的应用TDI-CMOS探测器的压缩感知成像方法的步骤框图；
图3为本发明的应用TDI-CMOS探测器的压缩感知成像方法的压缩感知成像累加的说明图；
图4为采用本发明的压缩感知成像方法的压缩感知成像的对比图，其中，a-原始图像，b-压缩采样数据，c-恢复图像；
附图标记：1-像素感光阵列、2-列累加器、3-列模数转换器、4-水平读出寄存器、5-像素控制电路、6-读出控制电路。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1至图4所示，本发明的一种TDI-CMOS探测器，包括：
像素感光阵列，用于将光强信号转换为模拟电信号；
像素控制电路，用于对所述像素感光阵列进行逐行读出与复位；
列累加器，用于将所述像素感光阵列输出的当前列像素输出的模拟电信号进行累加；
列模数转换器，用于将所述列累加器输出的信号转换为数字信号；
水平读出寄存器，用于将所述列模数转换器输出的数字信号进行存储；
读出控制电路，用于驱动所述水平读出寄存器中的数据进行读出。
在本发明内，像素控制电路通过对像素感光阵列的每行像素随机读出与抛弃，按列将像素感光阵列转换的模拟信号增加到对应列累加器中，循环多次完成压缩混叠采样，采样次数远小于探测器阵列行数，因此信号数量采集需求显著降低，从而降低探测器内ADC转换器速率需求，同时减少图像采集数据量，进而降低后续数据存储及传输压力。
具体地讲，像素感光阵列实现将光强信号转换为模拟电信号，列累加器用于将当前列像素输出的模拟电信号进行累加操作，列模数转换器将列累加器信号转换为数字量，水平读出寄存器用于暂存该数字量，像素控制电路用来驱动TDI-CMOS探测器完成各行像素的读出与复位操作，读出控制电路用来驱动水平读出寄存器中数据的读出。
在本发明内，像素感光阵列的每一列对应一个列累加器。
读出控制电路可同时驱动列累加器、列模数转换器和水平读出寄存器工作，像素控制电路与读出控制电路的时序驱动均由外部控制器来实现。
本发明还提供一种应用TDI-CMOS探测器的压缩感知成像方法包括如下步骤：
步骤S1、外部控制器驱动像素控制电路对像素感光阵列逐行操作，每行像素依次执行像素读出与复位操作，循环执行；
步骤S2、像素感光阵列的每行像素读出后，按列将像素感光阵列的模拟信号输出至列累加器中进行累加；
步骤S3、读出控制电路将列累加器的模拟信号输入到列模数转换器中转换成数字信号；
步骤S4、将数字信号存储至水平读出寄存器中；
步骤S5、读出控制电路逐项读出水平读出寄存器的数据。
进一步，还包括步骤S6、重复执行步骤S1至步骤S5，循环次数取决于压缩采样次数，循环次数小于积分级数。
在步骤S1内，外部控制器同时生成一组(0，1)的随机数，其与对每行像素执行操作时间对齐；当随机数为1时，像素控制电路正常完成对像素感光阵列的当前行像素读出与复位操作；当随机数为0时，像素控制电路正常完成对像素感光阵列的像素读出操作地址行取虚拟行，复位操作采用正常操作。
在步骤S3内，列累加器的模拟信号输入到列模数转换器中后，所述列累加器清零，准备进入下一个循环的累加。
具体地讲，步骤如下：
1、外部控制器驱动像素控制电路对像素感光阵列逐行操作，每行像素依次执行像素读出与复位操作，执行时间为TL，循环执行，如图3所示；外部控制器同时生成一组0，1随机数，与对每行像素执行操作时间对齐，当随机数为1时，正常完成该行像素读出与复位操作；当随机数为0时，像素读出操作地址行取虚拟行，复位操作正常，等效于抛弃当前行像素读出值；每行像素读出后，按列将模拟信号增加到对应列累加器中；当所有行读出操作均执行一次后，读出控制电路将列累加器的模拟信号输入到列模数转换器中，转换后的数字信号存储到水平读出寄存器中，并通过读出控制电路逐项读出；
2、列累加器的模拟信号输入到列模数转换器中后，列累加器清零，准备进入下一个循环的累加；
3、重复执行上述过程，循环次数取决于压缩采样次数，循环次数小于积分级数，以实现压缩信号采集。
上述压缩感知成像驱动控制过程可用数学抽象表达为：
设探测器阵列规模行方向为n个像素，列方向为m积分级，目标场景X∈Rm×n，重复执行次数为v，则随机数矩阵G∈Rv×m，图像数据采集结果Y∈Rv×n可表示为：
Y＝GX；
其中，随机数矩阵G中的每一行代表在该次循环中的随机数序列，图像采集结果Y中的每一行表示在该次循环中的数字信号读出结果。
由于压缩感知理论模型针对一维向量，因此对上述矩阵方程按列处理，表示为：
Y:,j＝GX:,j(j＝1～n)；
对上述方程采用压缩感知恢复算法重构得到原始图像的每一列向量，然后再将所有列向量拼接为完整二维图像。
本发明的应用TDI-CMOS探测器的压缩感知成像方法，用于在成像探测器端实施压缩感知过程，应用于凝视成像场合，降低探测器内ADC转换器速率需求，同时减少图像采集数据量，进而降低数据存储及传输压力。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种TDI-CMOS探测器，其特征在于，包括：
像素感光阵列，用于将光强信号转换为模拟电信号；
像素控制电路，用于对所述像素感光阵列进行逐行读出与复位；
列累加器，用于将所述像素感光阵列输出的当前列像素输出的模拟电信号进行累加；
列模数转换器，用于将所述列累加器输出的信号转换为数字信号；
水平读出寄存器，用于将所述列模数转换器输出的数字信号进行存储；
读出控制电路，用于驱动所述水平读出寄存器中的数据进行读出；
所述像素控制电路与所述读出控制电路的时序驱动均由外部控制器来实现；外部控制器同时生成一组(0，1)的随机数，其与对每行像素执行操作时间对齐；
当随机数为1时，像素控制电路正常完成对像素感光阵列的当前行像素读出与复位操作；
当随机数为0时，像素控制电路正常完成对像素感光阵列的像素读出操作地址行取虚拟行，复位操作采用正常操作。
2.根据权利要求1所述的一种TDI-CMOS探测器，其特征在于，所述像素感光阵列的每一列对应一个所述列累加器。
3.根据权利要求1所述的一种TDI-CMOS探测器，其特征在于，所述读出控制电路可同时驱动所述列累加器、列模数转换器和水平读出寄存器工作。
4.一种应用TDI-CMOS探测器的压缩感知成像方法，其特征在于，包括如下步骤：
步骤S1、外部控制器驱动像素控制电路对像素感光阵列逐行操作，每行像素依次执行像素读出与复位操作，循环执行；
步骤S2、像素感光阵列的每行像素读出后，按列将像素感光阵列的模拟信号输出至列累加器中进行累加；
步骤S3、读出控制电路将列累加器的模拟信号输入到列模数转换器中转换成数字信号；
步骤S4、将数字信号存储至水平读出寄存器中；
步骤S5、读出控制电路逐项读出水平读出寄存器的数据；
在步骤S1内，外部控制器同时生成一组(0，1)的随机数，其与对每行像素执行操作时间对齐；
在步骤S1内，当随机数为1时，像素控制电路正常完成对像素感光阵列的当前行像素读出与复位操作；
在步骤S1内，当随机数为0时，像素控制电路正常完成对像素感光阵列的像素读出操作地址行取虚拟行，复位操作采用正常操作。
5.根据权利要求4所述的一种应用TDI-CMOS探测器的压缩感知成像方法，其特征在于，还包括：
步骤S6、重复执行步骤S1至步骤S5，循环次数取决于压缩采样次数且循环次数小于积分级数。
6.根据权利要求5所述的一种应用TDI-CMOS探测器的压缩感知成像方法，其特征在于，在步骤S3内，所述列累加器的模拟信号输入到所述列模数转换器中后，所述列累加器清零，准备进入下一个循环的累加。
CN202111165252.6A 2021-09-30 2021-09-30 一种tdi-cmos探测器及应用其的压缩感知成像方法 Active CN113938626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111165252.6A CN113938626B (zh) 2021-09-30 2021-09-30 一种tdi-cmos探测器及应用其的压缩感知成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111165252.6A CN113938626B (zh) 2021-09-30 2021-09-30 一种tdi-cmos探测器及应用其的压缩感知成像方法

Publications (2)

Publication Number Publication Date
CN113938626A CN113938626A (zh) 2022-01-14
CN113938626B true CN113938626B (zh) 2023-03-24

Family

ID=79277931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111165252.6A Active CN113938626B (zh) 2021-09-30 2021-09-30 一种tdi-cmos探测器及应用其的压缩感知成像方法

Country Status (1)

Country Link
CN (1) CN113938626B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017195513A (ja) * 2016-04-20 2017-10-26 キヤノン株式会社 撮影装置及びその制御方法
CN107547801A (zh) * 2016-06-27 2018-01-05 佳能株式会社 能够间歇地拍摄图像的摄像设备及其控制方法和记录介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483067B2 (en) * 2005-04-15 2009-01-27 Micron Technology, Inc. Column-parallel sigma-delta analog-to-digital conversion for imagers
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
DE102007036973A1 (de) * 2007-02-24 2008-09-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelzelle, Verfahren zum Betreiben einer Pixelzelle, Verfahren zum Bestimmen einer Position eines Maximums einer Hüllkurve eines analogen amplituden-modulierten Signals, Vorrichtung zum Bestimmen einer Ladungsmenge, Vorrichtung und Verfahren zum Bestimmen einer Ladungsmenge auf einem kapazitiven Element, Vorrichtung und Verfahren und Setzen eines Schaltungsknotens auf eine vorbestimmte Spannung, Vorrichtung und Verfahren zum ladungsbasierten analog-/digital-Wandeln und Vorrichtung und Verfahren zur ladungsbasierten Signalverarbeitung
CN102595067A (zh) * 2012-03-07 2012-07-18 天津大学 模拟、数字混合累加型tdi-cis图像传感器
CN102685403B (zh) * 2012-05-07 2014-07-16 天津大学 扩展tdi-cmos图像传感器动态范围的方法
CN102811321B (zh) * 2012-07-12 2014-09-24 天津大学 低噪声3t像素cmos图像传感器
WO2015120328A1 (en) * 2014-02-07 2015-08-13 Rambus Inc. Feedthrough-compensated image sensor
CN105072359B (zh) * 2015-08-26 2018-09-25 中国科学院上海高等研究院 基于压缩感知的cmos图像传感器成像系统及方法
US9848141B2 (en) * 2016-05-10 2017-12-19 Semiconductor Components Industries, Llc Image pixels having processed signal storage capabilities
CN106454164B (zh) * 2016-11-04 2019-07-12 天津大学 电荷与数字混合累加型cmos-tdi图像传感器
CN110247717A (zh) * 2018-03-07 2019-09-17 索尼公司 用于无线通信的电子设备、方法和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017195513A (ja) * 2016-04-20 2017-10-26 キヤノン株式会社 撮影装置及びその制御方法
CN107547801A (zh) * 2016-06-27 2018-01-05 佳能株式会社 能够间歇地拍摄图像的摄像设备及其控制方法和记录介质

Also Published As

Publication number Publication date
CN113938626A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
US7202463B1 (en) Higher dynamic range image sensor with signal integration
US6831684B1 (en) Circuit and method for pixel rearrangement in a digital pixel sensor readout
US10225441B2 (en) Time delay and integration (TDI) imaging sensor and method
Jacques et al. CMOS compressed imaging by random convolution
CN102186025B (zh) 基于压缩感知的cmos成像测量值获取系统及其方法
WO2013131329A1 (zh) 低功耗数字域累加cmos-tdi图像传感器
US11153522B2 (en) Imaging system including digital dual speed readout integrated circuit (ROIC)
CN105072359B (zh) 基于压缩感知的cmos图像传感器成像系统及方法
JP2016131363A (ja) 撮像装置、撮像システム、復元装置、撮像方法およびコンピュータプログラム
WO2016010838A1 (en) Read-out integrated circuit with integrated compressive sensing
US20160316164A1 (en) Readout circuitry for image sensor
CN113938626B (zh) 一种tdi-cmos探测器及应用其的压缩感知成像方法
US20140034809A1 (en) Image sensor with a split-counter architecture
US10110808B2 (en) Imaging device and imaging method using compressed sensing
CN106920264B (zh) 一种基于可形变部件模型算法的目标检测硬件结构
Heidari et al. A 2D camera design with a single-pixel detector
JP3834113B2 (ja) 高速視覚センサ装置
CN107635087B (zh) 固态图像传感器和图像感测方法
US9706143B2 (en) Readout circuit and method of using the same
Xuan et al. A deep learning framework for compressed learning and signal reconstruction
US20210281793A1 (en) Imaging systems having improved analog-to-digital converter circuitry
CN207321377U (zh) 固态图像传感器
KR101950431B1 (ko) 프레임 레이트의 향상이 가능한 압축 센싱 이미지 센서 및 그의 동작 방법
US11877079B2 (en) Time-resolving computational image sensor architecture for time-of-flight, high-dynamic-range, and high-speed imaging
CN116033138B (zh) 一种单次曝光压缩感知被动三维成像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant