CN117812480A - 状态可调的tdi传感器时序控制方法及电路 - Google Patents

Abstract

本发明公开了一种状态可调的TDI型图像传感器时序控制方法及电路，属于集成电路设计领域。所述电路包括：片内接口电路、状态控制电路、行控制电路、列控制电路、时钟模块和片外的时序控制信号。其可通过片外时序控制信号与接口进行信息交互，可实现曝光、转移、复位状态时间可调和TDI累加的级数动态可调，可有效适应不同工作环境下TDI图像传感器的不同需求。此外，本发明提供TDI图像传感器自检测、单图片和连续图片等不同的工作模式的工作逻辑，并在片内设计可配置寄存器，可及时通过FPGA对于片内进行调控。

Description

状态可调的TDI传感器时序控制方法及电路

技术领域

本发明涉及一种状态可调的TDI型图像传感器时序控制方法及电路，属于集成电路设计领域。

背景技术

时间延迟积分(Time Delay Integration，TDI)是一种用于提高图像质量的技术，适用于高速运动场景下的成像系统。TDI技术的核心思想是对像素反复曝光并累计积分，以提高信噪比和动态范围。传统的图像传感器在一次曝光期间只能捕捉到物体瞬间的光强信息，在高速移动的场景，需要较长的曝光时间以捕捉到完整的光信号，但这会导致图像模糊。

在TDI中，相机的像素行被分为多个并行的组，每个组只在某个特定时间点接收光信号。当物体或相机移动时，下一个组接收光信号，这一过程不断重复，像素行的输出被串联起来形成最终的图像。TDI的优势在于它可以将多个曝光周期的信号累加起来，从而大大提高了图像的信噪比和动态范围。尤其在低光条件或高速运动的场景下，TDI能够有效地减少噪声，提高图像的细节和清晰度。TDI技术广泛的应用在航空摄影、卫星遥感、医学成像等领域。它能够捕捉到高速运动物体的细节，提供更清晰的图像表达，对于需要高质量、高分辨率的图像成像系统非常重要。

在传统的TDI方法中，每个像素行的积分时间是固定的。现有技术实现TDI型图像传感器积分可变时，采用单级寄存器组控制积分时间的长短，只能在一两个数量级调节，而实际应用场景中，可能存在极亮或极暗的使用环境，所以像素矩阵感光速度存在极快或极慢情况，且像素满阱电荷量有限，曝光由us级到ms级存在三个数量级差，因此，积分时间可调的范围有限，这就导致在拍摄光线较强环境下图像过曝，在光线较弱环境下图像过暗，不能得到有效图像信息。现有技术主要通过行控制电路实现TDI型图像传感器不同工作模式间的切换，现有的行控制电路是由分级译码器实现，优点在于面积较小，可进行全局曝光、逐行卷帘曝光等。但由于时序控制在片外实现，片内仅做译码，存在易造成行控制信号间存在偏移的缺点，导致卷帘曝光时，多行同时使能，读出紊乱，输出错误图像。

发明内容

为了解决以上问题中的一种或多种，本申请提出一种TDI型图像传感器时序控制方法及电路，支持单图片、连续图片以及自检测等不同工作模式。可以实现积分时间可变，这意味着在需要更多信号积累的区域(如低亮度区域)，可以延长像素行的积分时间，而在高亮度区域则可以缩短积分时间，这样可以提高图像的动态范围和细节捕捉能力，增强了图像传感器在不同工作环境的适应性。

为保证在不同工作环境下，TDI型图像传感器均能产生高质量图像，本发明的目的是提供了一种TDI型图像传感器时序控制方法及电路。

首先，本发明提供一种TDI型图像传感器时序控制电路，包括：片内接口电路、状态控制电路、行控制电路、列控制电路、时钟模块和片外的时序控制信号；TDI型图像传感器内部的像素器件与成像芯片交互的部分包括像素器件的栅端、漏端和源端，内部还有可配置寄存器；

其中，片外的时序控制信号，用以给出图像传感器的使能信号、复位信号、时钟信号，以及通过接口与图像传感器进行数据交互；

片内接口电路，用于配置所需的寄存器值，通过改变寄存器的值来控制图像传感器的工作模式以及曝光、复位和转移状态的时间；

状态控制电路，用于产生行控制电路和列控制电路不同工作模式下像素阵列所需的使能信号以及与接口电路配置内部可配置寄存器，像素复位时间、像素曝光时间、像素转移时间、TDI级数、工作模式、读出模式信号由内部寄存器配置；

行控制电路采用状态机实现，用于产生像素阵列所需的行控制时序控制信号，作用于像素阵列的栅端；

列控制电路采用状态机实现，用于产生像素阵列所需的列控制时序控制信号，作用于像素阵列的漏端和源端，还提供模数转换器所需的使能以及时序控制信号；

时钟模块，用于提供系统主时钟和分频时钟，还将片外的时序控制信号中异步信号与内部时钟边沿同步释放处理。

在一种实施方式中，所述的片外的时序控制信号由现场可编程门阵列(FPGA)、单片机、微控制单元(MCU)、上位机产生。

在一种实施方式中，所述片内接口电路为从机，与片外的时序控制源进行信息交互，数据位宽与地址位宽均可为自定。

在一种实施方式中，时钟模块包括PLL(锁相环)以及时钟分频电路。

在一种实施方式中，所述的工作模式包括自检模式、单图片模式、连续图片模式；单图即图像传感器拍摄一帧图像后进入待机模式，连续拍摄为图像传感器连帧拍摄直至手动停止，自检模式为debug模式，可检查片内像素阵列以及外围电路工作是否正常。

本发明还提供一种TDI型图像传感器时序控制方法，采用上述的TDI型图像传感器时序控制电路，所述方法如下：

步骤一：时钟模块稳定输出锁定信号，通过计数器进行计数，取较大计数值以消除时钟信号振荡对片内的影响，此时输出的系统主时钟信号为有效信号，锁定信号有效前，系统主时钟信号为无效信号；

步骤二：待计数结束，对片内进行全片复位，片内时钟源均来源于系统主时钟或分频时钟，同源同步时钟信号、异步复位信号与系统时钟做同步释放；

步骤三：待复位结束，通过接口模块写入寄存器配置值，确定片内工作模式以及曝光、复位和转移各状态时间；

步骤四：状态控制电路控制行控制电路逐行依次使能，列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外处理；

步骤五：通过处理输出的图像信息，可通过片外的时序控制信号逐帧对片内曝光、复位、转移等各状态时间进行调整以及自检模式、单图片模式和连续图片模式工作模式的控制。

在一种实施方式中，所述自检测模式下，因IO速度限制，为保证测试点数据可以通过IO传出，系统主时钟采用PLL参考时钟所用的慢速时钟；与正常工作模式相比，主频发生变化，片内各分频关系不变，输出测试点寄存器值来判别内部各模块是否正常工作。

在一种实施方式中，所述单图片模式下，接口电路配置寄存器单图片模式；状态控制电路工作在单图片模式，控制行控制电路逐行依次使能；因TDI图像传感器采用延时积分，不同行像素存在同时使能，所以行控制电路与像素行数为一一对应关系；列控制电路为全局电路，受到第一行像素对应的行控制电路以及全局的状态控制电路控制；列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外；单图片模式下，最后一行的行控制电路产生的结束信号有效，反馈至状态控制电路，控制像素阵列逐行曝光读出后即停止工作；输出一帧图像自动停止。

在一种实施方式中，所述连续图片模式下，其工作逻辑与单图片模式类似；但在连续图片模式下，最后一行的行控制电路产生的结束信号无效，状态控制电路控制像素阵列逐行曝光读出至最后一行后，重新卷帘曝光读出，图像传感器逐帧输出像素信息，实现无间隔连续图像输出。

本发明有益效果是：

(1)本发明通过内置可配置寄存器可实现TDI级数可控，使得像素曝光范围大幅度增加，可有效提高图像传感器动态范围以及提高信噪比，提高图像质量。

(2)本发明在片内采用硬件实现控制电路，采用状态机代替译码电路，从物理距离减少控制电路路径，可有效减小不同行控制电路间偏移。另外采用状态机实现行列控制电路，可有效减小芯片IO资源的使用，在超大规模芯片设计中可有效减小芯片面积。

(3)本发明的时序控制电路片内各状态如曝光、转移、读出状态时间可调，可根据不同应用环境(进光量不同，极暗以及极亮环境)、以及拍摄目标不同(静物对象或快速移动对象)，采用外部控制模块(如FPGA、单片机)根据输出的图像质量对于片内各状态时间进行调控，提高图像的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明TDI图像传感器时序控制电路的结构示意图；

图2是本发明TDI图像传感器时序控制电路的时序控制流程图；

图3是本发明TDI图像传感器时序控制电路的上电时序示意图；

图4是本发明TDI图像传感器时序控制电路的行控制逻辑示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种TDI图像传感器的时序控制电路，如图1所示，包括：SPI接口电路、状态控制电路、行控制电路、列控制电路、并串转换电路、时钟模块和片外的时序控制信号，其中，所有时序控制电路和模块均有可配置寄存器；像素阵列、读出电路、GPIO不包括在本文TDI图像传感器时序控制电路内，为图像传感器内配套模块；GPIO为标准单元库的IO单元，用于片内信号与片外信号进行交互；像素阵列是光电器件，将捕获的光电信号转换为模拟信号；读出电路为模拟电路模块，将模拟信号转换为数字信号；

其中，片外的时序控制信号与接口模块以及状态控制电路相连，用于提供芯片从上电到正常工作的时序控制以及配置片内寄存器。

片外的时序控制信号与时钟模块相连，用于提供PLL所需的参考时钟。

时钟模块包括PLL以及时钟分频电路，提供片内各频率时钟信号，与片内所有模块相连。

状态控制电路与行控制电路以及列控制电路相连，用于提供图像传感器工作模式。

行控制电路与像素阵列相连，作用于像素栅端，切换像素阵列栅端电平以使得图像传感器工作在不同状态下。

行控制电路与列控制电路相连，用于提供像素阵列漏端所需的控制信号，行列控制电路同步工作。

并串转换电路将读出电路转换出的并行数字信号转换为串行信号，并通过GPIO传至FPGA进行采集处理。

实施例二：

如图2所示，本实施例提供一种TDI图像传感器的时序控制方法，基于实施例一记载的TDI图像传感器的时序控制电路实现，包括：

步骤一：首先PLL上电，待PLL稳定输出Locked信号，通过计数器进行计数，取较大计数值以消除时钟信号振荡对片内的影响。Locked信号为PLL输出信号，用于表示PLL已经锁住输出频率，此时输出的系统主时钟信号为有效信号。Locked信号有效前，PLL输出的系统主时钟信号为无效信号。TDI图像传感器的上电时序如图3所示。

步骤二：待计数结束，对片内进行全片复位，片内时钟源均来源于PLL或PLL输出分频信号，同源同步时钟信号，异步复位信号与100M时钟边沿做异步逻辑同步释放。

步骤三：待复位结束，通过接口模块写入寄存器配置值，确定片内工作模式以及曝光、复位、转移等各状态时间。

步骤四：状态控制电路控制行控制电路逐行依次使能。列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外处理。

步骤五：通过处理输出的图像信息，可通过片外的时序控制信号逐帧对片内曝光、复位、转移等各状态时间进行调整。

在自检测模式下，因IO速度限制，为保证测试点数据可以通过IO传出，系统主时钟采用PLL参考时钟所用的慢速时钟；与正常工作模式相比，主频发生变化，片内各分频关系不变，输出测试点寄存器值来判别内部各模块是否正常工作。

单图片模式下，接口电路配置寄存器单图片模式；状态控制电路工作在单图片模式，控制行控制电路逐行依次使能；因TDI图像传感器采用延时积分，不同行像素存在同时使能，所以行控制电路与像素行数为一一对应关系；列控制电路为全局电路，受到第一行像素对应的行控制电路以及全局的状态控制电路控制；列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外；单图片模式下，最后一行的行控制电路产生的结束信号有效，反馈至状态控制电路，控制像素阵列逐行曝光读出后即停止工作；输出一帧图像自动停止。

连续图片模式下，其工作逻辑与单图片模式类似；但在连续图片模式下，最后一行的行控制电路产生的结束信号无效，状态控制电路控制像素阵列逐行曝光读出至最后一行后，重新卷帘曝光读出，图像传感器逐帧输出像素信息，实现无间隔连续图像输出。

本发明的时序控制方法可通过片外的时序控制信号与接口进行信息交互，可实现曝光、转移、复位状态时间可调和TDI累加的级数动态可调，可有效适应不同工作环境下TDI图像传感器的不同需求。

实施例三：

根据实施例二提供的时序控制方法，提出一种基于状态机的行时序控制电路，因采用列读出结构，列控制电路作用为提供像素阵列以及各模拟模块控制信号，使得受控的模拟模块使能信号可调控，增强片内模拟电路的可控性，列控制电路采用全片一个复用的状态机。

每行的行控制电路对应一个行状态机，其控制逻辑由图4所示，不同工作状态(曝光、复位、转移、读出)切换由计数器计数控制，idle为空闲状态、rst为复位状态、read为读出状态，分为tran1、tran2、tran3、tran4、tran5是因为像素间存在电荷转移需要不同控制电平，转移read1、read2、read3、read4、read5是因为读出状态需要做相关双取样(CDS)，需要存在曝光读以及复位读以及曝光计数值相减，不同状态跳转所需的时间不同由计数器cnt计数所得。且各状态计数值可由接口电路所配置。TDI级数也可通过接口电路配置，若工作在TDI级数为0时，即为不进行累加积分为普通相机模式。

列控制电路则为全片复用一个，其与行状态机配合工作，且设计与行状态机进行握手通信，其使能信号来自于像素阵列对应的第一行行状态机。列状态机提供模拟模块所需的控制时序。其控制信号的脉宽同样均可提供接口电路配置。

传统方案内控制信号均由片外产生，芯片内部仅做行列译码，片外产生的控制信号经PCB上长走线以及芯片PAD，各片外控制信号传入芯片内后存在相位差，易导致片内控制信号紊乱(逐行卷帘读出中可能存在多行使能，列读出可能存在高并行输出信号相位微乱)。本文采用的模式将控制方式放入片内，片外仅提供使能信号，对比传统方案，控制信号不需要经过PCB长走线以及芯片的PAD，可大大降低控制信号偏移问题，有效降低行列控制信号间的相位差。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种TDI型图像传感器时序控制电路，其特征在于，所述电路包括：片内接口电路、状态控制电路、行控制电路、列控制电路、时钟模块和片外的时序控制信号；TDI型图像传感器内部的像素器件与成像芯片交互的部分包括像素器件的栅端、漏端和源端，内部还有可配置的寄存器；

其中，片外的时序控制信号，用以给出图像传感器的使能信号、复位信号、时钟信号，以及通过接口与图像传感器进行数据交互；

片内接口电路，用于配置所需的寄存器值，通过改变寄存器的值来控制图像传感器的工作模式以及曝光、复位和转移状态的时间；

状态控制电路，用于产生行控制电路和列控制电路不同工作模式下像素阵列所需的使能信号以及与接口电路配置内部可配置寄存器，像素复位时间、像素曝光时间、像素转移时间、TDI级数、工作模式、读出模式信号由内部寄存器配置；

行控制电路采用状态机实现，用于产生像素阵列所需的行控制时序控制信号，作用于像素阵列的栅端；

列控制电路采用状态机实现，用于产生像素阵列所需的列控制时序控制信号，作用于像素阵列的漏端和源端，还提供模数转换器所需的使能以及时序控制信号；

时钟模块，用于提供系统主时钟和分频时钟，还将片外的时序控制信号中异步信号与内部时钟边沿同步释放处理。

2.根据权利要求1所述的电路，其特征在于，所述的片外的时序控制信号由FPGA、单片机、MCU、上位机产生。

3.根据权利要求1所述的电路，其特征在于，所述片内接口电路为从机，与片外的时序控制源进行信息交互。

4.根据权利要求1所述的电路，其特征在于，所述的工作模式包括自检模式、单图片模式和连续图片模式；单图片模式即图像传感器拍摄一帧图像后进入待机模式；连续拍摄为图像传感器连帧拍摄直至手动停止；自检模式可检查片内像素器件以及外围电路工作是否正常。

5.根据权利要求1所述的电路，其特征在于，所述时钟模块包括锁相环PLL以及分频电路，片外时钟源产生慢速时钟，经IO进入片内，用作PLL输入的参考时钟以及图像传感器工作在自检测模式下的系统时钟；若工作在正常模式，PLL将输入参考时钟倍频作为系统主时钟；分频电路则将主时钟分频至不同频率的时钟信号，以作为内部不同模块的时钟信号；接口模块用于与片外进行数据交互；行控制电路用于控制像素器件栅极以进入不同的工作状态；状态控制电路与列控制电路时钟用于提供读出电路模块所需的各种控制信号，其时钟信号均为主时钟分频所得。

6.一种TDI型图像传感器时序控制方法，其特征在于，采用权利要求1-5任一所述的电路，所述方法包括以下步骤：

步骤一：时钟模块稳定输出锁定信号，通过计数器进行计数，取较大计数值以消除时钟信号振荡对片内的影响，此时输出的系统主时钟信号为有效信号，锁定信号有效前，系统主时钟信号为无效信号；

步骤二：待计数结束，对片内进行全片复位，片内时钟源均来源于系统主时钟或分频时钟，同源同步时钟信号、异步复位信号与系统时钟做同步释放；

步骤三：待复位结束，通过接口模块写入寄存器配置值，确定片内工作模式以及曝光、复位和转移各状态时间；

步骤四：状态控制电路控制行控制电路逐行依次使能，列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外处理；

步骤五：通过处理输出的图像信息，可通过片外的时序控制信号逐帧对片内曝光、复位、转移各状态时间进行调整以及自检模式、单图片模式和连续图片模式工作模式的控制。

7.根据权利要求6所述的控制方法，其特征在于，所述自检测模式下，系统主时钟采用PLL参考时钟所用的慢速时钟；与正常工作模式相比，主频发生变化，片内各分频关系不变，输出测试点寄存器值来判别内部各模块是否正常工作。

8.根据权利要求6所述的控制方法，其特征在于，所述单图片模式下，接口电路配置寄存器单图片模式；状态控制电路工作在单图片模式，控制行控制电路逐行依次使能；TDI图像传感器采用延时积分，不同行像素存在同时使能，行控制电路与像素行数为一一对应关系；列控制电路为全局电路，受到第一行像素对应的行控制电路以及全局的状态控制电路控制；列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外；单图片模式下，最后一行的行控制电路产生的结束信号有效，反馈至状态控制电路，控制像素阵列逐行曝光读出后即停止工作；输出一帧图像自动停止。

9.根据权利要求6所述的控制方法，其特征在于，所述的连续图片模式下，接口电路配置寄存器连续图片模式；状态控制电路工作在连续图片模式，控制行控制电路逐行依次使能；TDI图像传感器采用延时积分，不同行像素存在同时使能，行控制电路与像素行数为一一对应关系；列控制电路为全局电路，受到第一行像素对应的行控制电路以及全局的状态控制电路控制；列控制电路产生读出电路模块所需的时序控制信号，读出电路模块将像素阵列产生的模拟信号转换为数字信号，然后通过并串转换电路将并行数字信号转换为串行数字信号，然后通过IO传输至片外；在连续图片模式下，最后一行的行控制电路产生的结束信号无效，状态控制电路控制像素阵列逐行曝光读出至最后一行后，重新卷帘曝光读出，图像传感器逐帧输出像素信息，实现无间隔连续图像输出。