CN106713754B - 基于面阵cmos图像传感器的运动场景成像方法及系统 - Google Patents

基于面阵cmos图像传感器的运动场景成像方法及系统 Download PDF

Info

Publication number
CN106713754B
CN106713754B CN201611248984.0A CN201611248984A CN106713754B CN 106713754 B CN106713754 B CN 106713754B CN 201611248984 A CN201611248984 A CN 201611248984A CN 106713754 B CN106713754 B CN 106713754B
Authority
CN
China
Prior art keywords
image sensor
cmos image
coded pulse
multiple digital
digital picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611248984.0A
Other languages
English (en)
Other versions
CN106713754A (zh
Inventor
兰太吉
龙科慧
李俊霖
薛旭成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201611248984.0A priority Critical patent/CN106713754B/zh
Publication of CN106713754A publication Critical patent/CN106713754A/zh
Application granted granted Critical
Publication of CN106713754B publication Critical patent/CN106713754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本申请公开一种基于面阵CMOS图像传感器的运动场景成像方法及系统，通过融合编码曝光和数字域TDI技术，以编码曝光时序为框架，在每个单次曝光过程中进行不同级数的数字域时间延迟积分，对CMOS图像传感器所成的数字图像进行处理，得到像移补偿后的单次曝光图像，将多个像移补偿后的单次曝光图像叠加后得到编码曝光图像，再进行反卷积运算，最终得到清晰化的目标图像。本发明提供的基于面阵CMOS图像传感器的运动场景成像方法可以避免编码曝光在高速运动场景成像中的单次曝光像移模糊和数字域TDI动态范围受限的问题，从而使得面阵CMOS图像传感器可以适用于高速运动场景成像，消除像移模糊，提高成像质量。

Description

基于面阵CMOS图像传感器的运动场景成像方法及系统
技术领域
本发明涉及成像技术领域，尤其涉及一种基于面阵CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)图像传感器的运动场景成像方法及系统。
背景技术
在航天、航空遥感等研究和应用领域中要重点解决的问题包括高速运动场景成像和高动态范围成像。所谓运动场景，是成像主体即相机与成像客体即目标间相对运动的统称。以航天遥感应用为例，无论是早期的返回式胶片相机，还是如今占据主导地位的传输型数字相机，像移模糊都是遥感成像中最突出的问题之一。存在像移模糊的原因为：在相机曝光时间内，目标场景通过光学镜头在焦面处所成的像相对于胶片或图像探测器发生位移，使之与像元失去一对一映射关系，从而导致图像中目标物体的拖影现象，定量表现为推扫方向调制传递函数(MTF)的下降。遥感成像场景中高层建筑阴影处地面反射辐照度低，由于相机动态范围受限，阴影中的暗目标与其他区域的亮目标难以被同时分辨，制约了遥感相机的观测能力。
目前面阵CMOS图像传感器已经广泛应用在星敏感器、深空探测等领域，但将其应用到高速运动场景成像领域并保证高动态范围观测能力，还没有相应的解决方案。
发明内容
有鉴于此，本发明提供一种基于面阵CMOS图像传感器的运动场景成像方法及系统，以解决现有技术中CMOS图像传感器在高速运动场景成像中同样存在像移模糊的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于面阵CMOS图像传感器的运动场景成像方法，包括：
预设编码脉冲序列，所述编码脉冲序列包括多个脉冲；
根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像；
对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像；
将多个所述单次曝光图像进行错位叠加，得到混叠的编码曝光图像；
根据所述编码脉冲序列对应的模糊化函数，对所述编码曝光图像进行反卷积运算，得到清晰化的目标图像。
优选地，所述根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像具体包括：
根据所述编码脉冲序列，及目标场景与CMOS图像传感器的相对运动速度，控制面阵CMOS图像传感器以卷帘式电子快门工作方式，并以所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向移动一个像元的位移量所用时间作为帧周期，进行曝光成像。
优选地，所述对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像，具体包括：
根据所述多个数字图像所在编码脉冲对应的单次曝光时长、根据目标场景与CMOS图像传感器的相对运动速度，计算在所述单次曝光时长内，所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向所移动的像元数；
将所述像元数作为所述数字域时间延迟积分的级数，对所述多个数字图像进行沿所述推扫方向的移位累加，得到所述多个数字图像所在编码脉冲对应的单次曝光图像。
优选地，在所述根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像步骤之后，还包括：
将所述多个数字图像存储到寄存器中。
本发明还提供一种基于面阵CMOS图像传感器的运动场景成像系统，包括：
编码脉冲序列预设模块，用于预设编码脉冲序列，所述编码脉冲序列包括多个脉冲；
CMOS图像传感器，用于根据所述编码脉冲序列进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像；
数字域时间延迟积分处理模块，用于对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像；
曝光图像叠加模块，用于将多个所述单次曝光图像进行错位叠加，得到混叠的编码曝光图像；
反卷积模块，用于根据所述编码脉冲序列对应的模糊化函数，对所述编码曝光图像进行反卷积运算，得到清晰化的目标图像。
优选地，所述数字域时间延迟积分处理模块包括：
计算单元，用于根据所述多个数字图像所在编码脉冲对应的单次曝光时长、根据目标场景与CMOS图像传感器的相对运动速度，计算在所述单次曝光时长内，所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向所移动的像元数；
累加单元，用于将所述像元数作为所述数字域时间延迟积分的级数，对所述多个数字图像进行沿所述推扫方向的移位累加，得到所述多个数字图像所在编码脉冲对应的单次曝光图像。
优选地，还包括存储模块，用于存储所述多个数字图像。
优选地，所述存储模块为位于所述CMOS图像传感器外部的寄存器。
经由上述的技术方案可知，本发明提供的基于面阵CMOS图像传感器的运动场景成像方法，通过融合编码曝光和数字域TDI(Time Delay Integration，时间延迟积分)技术，以编码曝光时序为框架，在每个单次曝光过程中进行数字域TDI，即本发明提供的基于面阵CMOS图像传感器的运动场景成像方法的整体框架是面阵CMOS图像传感器对目标场景的编码曝光，而每个单次曝光开窗成像则采用数字域TDI技术对CMOS图像传感器所成的数字图像进行处理，得到像移补偿后的单次曝光图像，将多个像移补偿后的单次曝光图像叠加后得到编码曝光图像，再进行反卷积运算，最终得到清晰化的目标图像。
一方面采用数字域TDI技术对CMOS图像传感器所成的数字图像进行处理，能够避免编码曝光过程中的单次曝光像移模糊，使编码曝光的应用成为可能；另一方面通过编码曝光过程中先后多次以不同曝光时间、对应不同积分级数的数字域TDI成像，可得到对同一场景以特定编码格式的、没有单次曝光像移模糊的、不同曝光度的错位叠加图像，在良态反卷积得到清晰图像的同时，对不同曝光度图像分量的融合使得图像的动态范围得以提升。
本发明提供的基于面阵CMOS图像传感器的运动场景成像方法可以避免编码曝光在高速运动场景成像中的单次曝光像移模糊和数字域TDI动态范围受限的问题，从而使得面阵CMOS图像传感器可以适用于高速运动场景成像，消除像移模糊，提高成像质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于面阵CMOS图像传感器的运动场景成像方法流程图；
图2为本发明实施例提供的一种基于面阵CMOS图像传感器的运动场景成像方法原理示意图；
图3为传统相机拍摄到的图像；
图4为编码相机拍摄的图像；
图5为本发明实施例提供的一种基于面阵CMOS图像传感器的运动场景成像系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
CMOS图像传感器属有源像素传感器(Active Pixel Sensor，简称APS)，与CCD(Charge-coupled Device，电荷耦合元件)图像传感器的不同在于CMOS图像传感器的外围电路可集成到芯片内部，除光子转电子、电荷测量外，其相关双采样、A/D转换、图像处理甚至压缩编码等电路都可以与光敏单元一起封装在同一芯片中，这使得基于CMOS图像传感器的成像电子学系统的集成化优势明显，进而可以有效减小相机的体积、重量和功耗，大幅降低遥感相机的研制和发射成本。此外，CMOS图像传感器还具有抗辐照能力强、可靠性高等优点，特别适用于航天遥感任务中。但CMOS图像传感器无法利用不同相位电极极性的交替变化，驱动光生电荷沿推扫方向转移，使电荷移动与焦面上上的像移同步，抵消相对运动，从而实现消除像移模糊的功能。
发明人经过研究发现，面阵CMOS图像传感器用于运动场景成像，通常有两种可选择的技术：编码曝光技术和数字域TDI技术。
但要在航天、航空遥感高速推扫成像中应用编码曝光技术，则要求快门编码的时间分辨率，也就是面阵探测器的帧转移周期与行间图像像移的周期在量级上相当。但受面阵探测器帧频(百万像素级的面阵CMOS帧频一般不超过1kfps，对应为1ms帧周期)的限制，遥感相机几十甚至十几微秒的行转移周期使得编码曝光方法难以直接应用。因为如果快门编码的周期较大地超出图像行间像移周期，则编码曝光过程中的一次曝光期间，目标景物在探测器靶面上所成的像就会跨越多个像元，从而出现像移模糊——单次曝光像移模糊，而这种模糊是难以修复的。换句话说，编码曝光拍摄运动物体只适用于速度较低的目标，速度过高后会因产生单次曝光拖影而不适用。
而利用FPGA(Field-Programmable Gate Array，现场可编程门阵列)或DSP(数字信号处理)等芯片对CMOS图像传感器输出的数字图像信号进行处理，可通过对多帧图像的移位、累加和存储等操作在数字域中实现CMOS图像传感器的TDI功能。但在实际应用中发现，由于数字域TDI技术是在光电成像链路即“光子->电荷->电压->数字码值”中的最后一个阶段对图像信号进行时间延迟累加，无可避免地将链路中此之前的读出噪声、量化噪声等一系列噪声也以积分级数倍进行累加，且积分级数越高，累加噪声越大，使得成像系统的噪声等效曝光量较大，从而减小系统的动态范围，具体表现为对低照度目标的成像效果较差。受此限制，在遥感相机实际应用中，由于对地观测目标的对比度通常较大，即输入的动态范围较大，基于数字域TDI技术的CMOS图像传感器难以给出理想的大动态范围图像。
基于此，请参考图1和图2，其中，图1为本发明实施例提供的一种基于面阵CMOS图像传感器的运动场景成像方法流程图，图2为本发明实施例提供的一种基于面阵CMOS图像传感器的运动场景成像方法原理示意图。如图1所示，本发明实施例提供的基于面阵CMOS图像传感器的运动场景成像方法，包括：
步骤S101：预设编码脉冲序列，所述编码脉冲序列包括多个脉冲；
需要说明的是，本实施例中所述编码脉冲序列为在拍摄过程中按照特定的具有良好频域特性的离散序列，通过离散的脉冲序列，实现相机多次开启快门，使图像的高频成分更多地得以保留，并避免频域上的零点。因此，可选的本实施例中所述编码脉冲序列具有良态频域特性，即对高频分量保留较高响应，且频谱中没有零点的编码脉冲序列。
运动模糊可以用一个模糊函数和清晰图像的卷积过程来描述，而模糊图像的清晰化则是一个反卷积的过程。在图像复原过程中，编码曝光相机由于具有良好的频域特性，可以复原出相对清晰的图像，如图3所示，为传统相机拍摄到的图像，其上方的箭头表示快门曝光时间；如图4所示，为编码相机拍摄的图像，其上方的箭头表示快门曝光时间，编码相机的曝光时间为具有良好频域特性的离散序列。
步骤S102：根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像；
本实施例中，所述根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像具体包括：
根据所述编码脉冲序列，及目标场景与CMOS图像传感器的相对运动速度，控制面阵CMOS图像传感器以卷帘式电子快门工作方式，并以所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向移动一个像元的位移量所用时间作为帧周期，进行曝光成像。
需要说明的是，相比于同步式电子快门，卷帘式电子快门工作方式结合数字域TDI时，能够在很大程度上缓解因帧频较高给CMOS图像传感器的数据读出带来过重的负担，使得数字域TDI技术应用于时下已有的航天级面阵CMOS图像传感器件上时，效果更好，因此，优选地，本实施例中根据所述编码脉冲序列，控制面阵CMOS图像传感器以卷帘式电子快门工作方式间歇进行曝光成像。
本实施例中，得到多个数字图像之后，可以将所述多个数字图像存储在存储单元中，所述存储单元为位于CMOS图像传感器外部的寄存器。后续对对多个数字图像进行数字域TDI处理，可以在所述寄存器中进行，并将经过数字域TDI像移补偿后的图像数据存储在所述寄存器中。
步骤S103：对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像；
本实施例中，对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像，具体包括：根据所述多个数字图像所在编码脉冲对应的单次曝光时长、根据目标场景与CMOS图像传感器的相对运动速度，计算在所述单次曝光时长内，所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向所移动的像元数；将所述像元数作为所述数字域TDI的级数，对所述多个数字图像进行沿所述推扫方向的移位累加，得到所述多个数字图像所在编码脉冲对应的单次曝光图像。
需要说明的是，还可以将累加得到的所述多个数字图像所在编码脉冲对应的单次曝光图像进行存储。
步骤S104：将多个所述单次曝光图像进行错位叠加，得到混叠的编码曝光图像；
步骤S105：根据所述编码脉冲序列对应的模糊化函数，对所述编码曝光图像进行反卷积运算，得到清晰化的目标图像。
现有技术中编码曝光技术在高速运动场景成像的特殊应用中：编码曝光对图像传感器的帧频要求过高，该过程中的一次曝光期间，目标景物在探测器靶面上所成的像就会跨越多个像元，从而出现像移模糊，即单次曝光像移模糊的问题，使得编码曝光技术仅可以适用于低速运动场景成像中；另一方面，数字域TDI技术将光电成像链路中的读出噪声、量化噪声等一系列噪声也以积分级数倍进行累加，且积分级数越高，累加噪声越大，使得成像系统的噪声等效曝光量较大，存在减小系统的动态范围的问题。
本发明提供的基于面阵CMOS图像传感器的运动场景成像方法，是融合了编码曝光和数字域TDI的新方法，通过高精度时钟保证编码曝光快门和数字图像叠加过程中行转移的同步性，一方面以较低的积分级数保证了较长卷帘式快门行积分时间，从而提高了响应度；另一方面以较低的像元读出速度完成数字码值的移位累加从而抵消运动像移。解决了编码曝光适用运动目标速度受限和数字域TDI技术动态范围受限的问题，能够将面阵CMOS图像传感器应用于高速运动场景成像。
具体的，本发明提供的基于面阵CMOS图像传感器的运动场景成像方法整体框架是面阵CMOS对目标场景的编码曝光，而每次开窗成像则采用不同级数的卷帘式数字域TDI。一方面通过卷帘式快门实现数字域TDI以降低图像信号读出压力，避免了编码曝光过程中的单次曝光像移模糊，使编码曝光的应用成为可能；另一方面通过编码曝光过程中先后多次以不同曝光时间、对应不同积分级数的数字域TDI成像，可得到对同一场景以特定编码格式的、没有单次曝光像移模糊的、不同曝光度的错位叠加图像，在良态反卷积得到清晰图像的同时，对不同曝光度图像分量的融合使得图像的动态范围得以提升。
本发明另外实施例提供一种基于面阵CMOS图像传感器的运动场景成像系统，如图5所示，包括：编码脉冲序列预设模块1，用于预设编码脉冲序列，所述编码脉冲序列包括多个脉冲；CMOS图像传感器2，用于根据所述编码脉冲序列进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像；数字域时间延迟积分处理模块3，用于对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像；曝光图像叠加模块4，用于将多个所述单次曝光图像进行错位叠加，得到混叠的编码曝光图像；反卷积模块5，用于根据所述编码脉冲序列对应的模糊化函数，对所述编码曝光图像进行反卷积运算，得到清晰化的目标图像。
其中，数字域时间延迟积分处理模块3包括：计算单元31，用于根据所述多个数字图像所在编码脉冲对应的单次曝光时长、根据目标场景与CMOS图像传感器的相对运动速度，计算在所述单次曝光时长内，所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向所移动的像元数；累加单元32，用于将所述像元数作为所述数字域TDI的级数，对所述多个数字图像进行沿所述推扫方向的移位累加，得到所述多个数字图像所在编码脉冲对应的单次曝光图像。
本实施例中提供的基于面阵CMOS图像传感器的运动场景成像系统，还包括存储模块，用于存储所述多个数字图像。本实施例中对所述存储模块不做限定，可选的，所述存储模块为位于所述CMOS图像传感器外部的寄存器。
本实施例中提供的基于面阵CMOS图像传感器的运动场景成像系统相对于现有技术中的TDI CCD系统，本发明提供的融合了编码曝光技术和TDI技术的基于面阵CMOS图像传感器的运动场景成像系统，无需大规模外围电路支持，如驱动单元、量化单元等，从而能够满足航空航天遥感中轻量化、集成化的要求，更加适用于航天、航空遥感等研究和应用领域。
相对于现有技术中的机械式像移补偿系统，本发明提供的融合了编码曝光技术和TDI技术的基于面阵CMOS图像传感器的运动场景成像系统对结构的制造及运行精度要求不高，并且无需大功率传动装置，不会大幅增加航空相机的重量及体积，更加适用于航天、航空遥感领域。
相对于现有技术中光学式像移补偿系统，本发明提供的融合了编码曝光技术和TDI技术的基于面阵CMOS图像传感器的运动场景成像系统无需附加光学系统，从而不用对光学元件进行精度要求较高的控制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于面阵CMOS图像传感器的运动场景成像方法，其特征在于，包括：
预设编码脉冲序列，所述编码脉冲序列包括多个脉冲；
根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像；
对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像；
将多个所述单次曝光图像进行错位叠加，得到混叠的编码曝光图像；
根据所述编码脉冲序列对应的模糊化函数，对所述编码曝光图像进行反卷积运算，得到清晰化的目标图像。
2.根据权利要求1所述的基于面阵CMOS图像传感器的运动场景成像方法，其特征在于，所述根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像具体包括：
根据所述编码脉冲序列，及目标场景与CMOS图像传感器的相对运动速度，控制面阵CMOS图像传感器以卷帘式电子快门工作方式，并以所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向移动一个像元的位移量所用时间作为帧周期，进行曝光成像。
3.根据权利要求1所述的基于面阵CMOS图像传感器的运动场景成像方法，其特征在于，所述对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像，具体包括：
根据所述多个数字图像所在编码脉冲对应的单次曝光时长、根据目标场景与CMOS图像传感器的相对运动速度，计算在所述单次曝光时长内，所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向所移动的像元数；
将所述像元数作为所述数字域时间延迟积分的级数，对所述多个数字图像进行沿所述推扫方向的移位累加，得到所述多个数字图像所在编码脉冲对应的单次曝光图像。
4.根据权利要求1-3任意一项所述的基于面阵CMOS图像传感器的运动场景成像方法，其特征在于，在所述根据所述编码脉冲序列，控制面阵CMOS图像传感器进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像步骤之后，还包括：
将所述多个数字图像存储到寄存器中。
5.一种基于面阵CMOS图像传感器的运动场景成像系统，其特征在于，包括：
编码脉冲序列预设模块，用于预设编码脉冲序列，所述编码脉冲序列包括多个脉冲；
CMOS图像传感器，用于根据所述编码脉冲序列进行曝光成像，在每个编码脉冲时间内，均得到多个数字图像；
数字域时间延迟积分处理模块，用于对所述多个数字图像进行数字域时间延迟积分处理，得到所述多个数字图像所在编码脉冲对应的单次曝光图像；
曝光图像叠加模块，用于将多个所述单次曝光图像进行错位叠加，得到混叠的编码曝光图像；
反卷积模块，用于根据所述编码脉冲序列对应的模糊化函数，对所述编码曝光图像进行反卷积运算，得到清晰化的目标图像。
6.根据权利要求5所述的基于面阵CMOS图像传感器的运动场景成像系统，其特征在于，所述数字域时间延迟积分处理模块包括：
计算单元，用于根据所述多个数字图像所在编码脉冲对应的单次曝光时长、根据目标场景与CMOS图像传感器的相对运动速度，计算在所述单次曝光时长内，所述目标场景中任意一点所成像在所述CMOS图像传感器像面上沿推扫方向所移动的像元数；
累加单元，用于将所述像元数作为所述数字域时间延迟积分的级数，对所述多个数字图像进行沿所述推扫方向的移位累加，得到所述多个数字图像所在编码脉冲对应的单次曝光图像。
7.根据权利要求5所述的基于面阵CMOS图像传感器的运动场景成像系统，其特征在于，还包括存储模块，用于存储所述多个数字图像。
8.根据权利要求7所述的基于面阵CMOS图像传感器的运动场景成像系统，其特征在于，所述存储模块为位于所述CMOS图像传感器外部的寄存器。
CN201611248984.0A 2016-12-29 2016-12-29 基于面阵cmos图像传感器的运动场景成像方法及系统 Active CN106713754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611248984.0A CN106713754B (zh) 2016-12-29 2016-12-29 基于面阵cmos图像传感器的运动场景成像方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611248984.0A CN106713754B (zh) 2016-12-29 2016-12-29 基于面阵cmos图像传感器的运动场景成像方法及系统

Publications (2)

Publication Number Publication Date
CN106713754A CN106713754A (zh) 2017-05-24
CN106713754B true CN106713754B (zh) 2019-04-16

Family

ID=58903998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611248984.0A Active CN106713754B (zh) 2016-12-29 2016-12-29 基于面阵cmos图像传感器的运动场景成像方法及系统

Country Status (1)

Country Link
CN (1) CN106713754B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108627816A (zh) * 2018-02-28 2018-10-09 沈阳上博智像科技有限公司 影像测距方法、装置、存储介质和电子设备
CN108495055B (zh) * 2018-04-10 2019-11-08 中国科学院长春光学精密机械与物理研究所 获取用于高动态范围成像的多曝光图像的方法及系统
CN108510560B (zh) * 2018-04-11 2020-01-24 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109348126B (zh) * 2018-11-07 2020-12-15 中国科学院光电研究院 一种用于空间相机的面阵数字tdi连续推扫成像方法
CN109451249A (zh) * 2018-11-23 2019-03-08 中国科学院长春光学精密机械与物理研究所 一种提高数字域tdi成像动态范围的方法、装置及设备
CN111787244B (zh) * 2020-07-15 2021-06-29 吉林大学 一种航天tdi沿轨推扫像移混叠抑制方法
CN114114317B (zh) * 2020-08-28 2023-11-17 上海禾赛科技有限公司 激光雷达、数据处理方法及数据处理模块、介质
CN112040155B (zh) * 2020-08-28 2022-04-15 长光卫星技术股份有限公司 一种cmos图像传感器流水曝光驱动方法
CN112714249B (zh) * 2020-12-08 2022-08-30 浙江吉利控股集团有限公司 一种图像处理方法及装置
CN113824936B (zh) * 2021-09-23 2024-02-09 合肥埃科光电科技股份有限公司 色彩滤波阵列线扫描相机色彩插值方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638659A (zh) * 2012-03-28 2012-08-15 西安电子科技大学 基于cmos-tdi模式的高分辨率成像系统及方法
CN102685403A (zh) * 2012-05-07 2012-09-19 天津大学 扩展tdi-cmos图像传感器动态范围的方法
US9148601B2 (en) * 2012-09-26 2015-09-29 Teledyne Dalsa, Inc. CMOS TDI image sensor with rolling shutter pixels

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102638659A (zh) * 2012-03-28 2012-08-15 西安电子科技大学 基于cmos-tdi模式的高分辨率成像系统及方法
CN102685403A (zh) * 2012-05-07 2012-09-19 天津大学 扩展tdi-cmos图像传感器动态范围的方法
US9148601B2 (en) * 2012-09-26 2015-09-29 Teledyne Dalsa, Inc. CMOS TDI image sensor with rolling shutter pixels

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An LWIR imaging system with low noise characteristic based on CMOS TDI detector;Baorong Xie等;《IEEE 10th INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING PROCEEDINGS》;20101203;413-416 *
运动模糊图像复原方法的研究;范赐恩;《中国博士学位论文全文数据库 信息科技辑》;20150715(第7期);全文 *

Also Published As

Publication number Publication date
CN106713754A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
CN106713754B (zh) 基于面阵cmos图像传感器的运动场景成像方法及系统
Vautherin et al. Photogrammetric accuracy and modeling of rolling shutter cameras
US7952635B2 (en) Low noise readout apparatus and method with snapshot shutter and correlated double sampling
US9140795B2 (en) Time of flight sensor with subframe compression and method
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
US10761182B2 (en) Star tracker for multiple-mode detection and tracking of dim targets
US20190124279A1 (en) Methods and apparatus for true high dynamic range (thdr) time-delay-and-integrate (tdi) imaging
US10638071B2 (en) System for and method of configurable line scan array imaging
US20110096179A1 (en) Method for improved digital video image quality
EP3425901A1 (en) Imaging device and solid-state imaging element used in same
Sonoda et al. High-speed imaging using CMOS image sensor with quasi pixel-wise exposure
EP1583033A2 (en) Digital cameras with luminance correction
CN101278549A (zh) 多次曝光光学成像设备
US9501698B2 (en) Moving object detection method
CN108090869A (zh) 一种基于面阵cmos光学相机的星上超分辨率重建方法
CN104376547A (zh) 运动模糊图像复原方法
JP6701710B2 (ja) 撮像素子および撮像装置
US8049802B2 (en) CMOS camera adapted for forming images of moving scenes
CN101634555B (zh) 一种面阵ccd相机像移补偿方法
CN110996007B (zh) 一种遥感相机分辨率自动调整系统及其方法
US20050237403A1 (en) Synchronizing of time display and integration cameras
JP3922520B2 (ja) 天球上で既知の運動をする対象物の検出方法
US20220116556A1 (en) Method and system for pixel-wise imaging
CN218830443U (zh) 一种具有编码曝光成像系统的图像自动去模糊相机
JP7384226B2 (ja) 撮像素子及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant