CN108471505A - 一种数字域tdi探测器的优化匹配成像方法及装置 - Google Patents

一种数字域tdi探测器的优化匹配成像方法及装置 Download PDF

Info

Publication number
CN108471505A
CN108471505A CN201810094040.5A CN201810094040A CN108471505A CN 108471505 A CN108471505 A CN 108471505A CN 201810094040 A CN201810094040 A CN 201810094040A CN 108471505 A CN108471505 A CN 108471505A
Authority
CN
China
Prior art keywords
tdi
data
matching
memory
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810094040.5A
Other languages
English (en)
Other versions
CN108471505B (zh
Inventor
陈忻
饶鹏
韩冰
赵云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Technical Physics of CAS
Original Assignee
Shanghai Institute of Technical Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Technical Physics of CAS filed Critical Shanghai Institute of Technical Physics of CAS
Priority to CN201810094040.5A priority Critical patent/CN108471505B/zh
Publication of CN108471505A publication Critical patent/CN108471505A/zh
Application granted granted Critical
Publication of CN108471505B publication Critical patent/CN108471505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种数字域TDI探测器的优化匹配成像方法及装置。该方法首先对数字域TDI探测器的输出信号进行采集,按列进行独立存储。选择其中一个存储器为参考,以列为单位从其中读出数据作为目标列。利用目标列与其他存储器的数据进行粗尺度匹配,提取出对应的匹配区域。对目标列和匹配区域进行高分辨率重构,重构后进行精细匹配,得到目标列的匹配数据段。将目标列与匹配数据段进行累加,得到该列的TDI结果。动态处理全部列数据实现优化匹配成像过程。本发明摆脱了传统TDI探测器只能相邻像元累加的限制,自适应的搜索对应的累加位置,达到优化的TDI成像过程。

Description

一种数字域TDI探测器的优化匹配成像方法及装置
技术领域:
本发明涉及到光电信号处理技术,具体指一种应用于数字域TDI探测器的优化匹配成像处理方法,它应用于工业成像仪器或对地遥感成像仪器,特别适合于对成像动态范围与信噪比有较高要求的场合。
背景技术
时间延迟积分(Time-Delay-Integration,TDI)技术通过对同一场景进行多次曝光,可以大幅度提高成像系统的灵敏度和信噪比。因此TDI探测器广泛应用于扫描成像系统中,用来进行高分率航天遥感和微光成像。根据时间延迟积分过程与模拟—数字转换(analog-digital conversion:A/D C)发生的先后关系,分为模拟域TDI探测器和数字域TDI探测器两大类。模拟域TDI探测器直接将光敏元感应产生的光电荷在势垒的控制下在势阱中累加,完成TDI过程,最后在探测器读出电路(ROIC)中以电压形式输出,进行A/D转换,生成数字信号。数字域TDI探测器的时间延迟积分过程发生在光电感应信号在A/D转换之后,然后在外部处理器中根据扫描成像关系进行数字信号的延迟累加,实现时间延迟积分的功能。
TDI成像系统一般要求推扫速率和目标像移速率严格匹配,以保证成像质量。在实际成像过程中,由于运动电机无法完全与预设值一致,或者是在运动过程中因为震动等原因导致偏差,因此如果仍选择相邻像元进行累加,引发不同步采集而产生的像移,进而降低系统的MTF和分辨率,使输出的图像模糊。TDI探测器的不正确累加的使目标能量分散到图像的多个像元,目标的信噪比因此下降。目前,解决扫描失配引发问题的途径通常是提高系统的扫描精度,尽量避免扫描失配,并没有解决不正确累加后造成的图像退化问题。因此有必要针对数字域TDI探测器的速度失配问题开展研究,寻找速度失配率的有效检测方法,并在此基础上探究一定速度失配情况下,弱小目标检测的可行性方法。
发明内容:
为了克服上述现有技术的不足,本发明提供了一种数字域TDI探测器的优化匹配成像方法,该方法可以在成像过程中通过对参考列的待累帧号的列图像与其他列中图像进行两个层次的匹配选择出最优化的累加方式,实现在对扫描速度存在不匹配或抖动时的累加误差消除,满足对高动态范围高信噪比的要求。
本发明的上述目的是通过如下技术方案予以实现的:
(1)对数字域TDI探测器的输出信号进行采集,并按照垂直于扫描方向为列方向,按列数开辟独立的存储空间按列进行数据存储;像元数为M·N的数字TDI探测器,其中M为行像元数目,N为列像元数目;假设扫描方向垂直于列方向,则需要N个独立的存储区域,每个存储区域在一帧数据图像中存储对应的一列;存储器的深度设置为每帧图像写往存储器中写入M个数据,其中L为对应的读出帧号;
(2)选择其中一个存储器为参考,从存储器的中以列为单位从其中读出数据,并将其作为当前TDI目标列;参考列的范围为[Ln-RT,Ln+RT],其中Ln为当前待匹配的帧号,RT为设置的参考列范围阈值;
(3)利用目标列与其他存储器的数据进行粗尺度匹配,提取出各存储器对应的匹配区域;进行粗匹配时在其他几个存储器中的搜索范围可以设置为[Ln-DT,Ln+DT],其中Ln为当前待匹配的帧号,DT为设置的搜索范围阈值;
(4)对目标列和匹配区域进行高分辨率重构,对重构后数据重新进行匹配,得到目标列在每个存储器位置的优选匹配数据段;匹配方法为基于灰度的图像匹配方法,具体是平均绝对差算法或绝对误差和算法或误差平方和算法或平均误差平方和算法或归一化积相关算法或几种匹配方法的加权组合;超分辨重构方法是双线性内插或三次内插或双立方插值;
(5)将目标列与全部匹配数据段进行累加,并对结果下采样回原始列大小,完成TDI过程,得到该列的TDI结果;
(6)依次处理全部列数据并输出实现优化匹配的TDI成像过程。
一种实现数字域TDI探测器的优化匹配成像方法的装置,装置包括:
数字域TDI探测器信息获取模块,由偏置电压设置电路、信号放大电路、减背景电路、模拟数字转换器组成;数据存储模块,由存储控制电路、双口RAM存储器组成;TDI数据处理模块,由FPGA+DSP组成的数字信号处理电路组成;
TDI探测器开始扫描工作,数字域TDI探测器信息获取模块提供探测器工作所需的偏置电压,并对输出的一帧信号进放大、减背景等调理工作,调理完的输出数据被模拟数字转换器进行数字化;数字化后的信号再存储控制电路的操作下依次存入对应的存储器中;数据处理模块从存储器中读出参考列数据,并与其余存储器中的数据进行匹配,选择出最合适的累加区域,完成数字TDI的优化累加。
与现有技术相比,本发明的有益效果是
1.动态适应扫描速度的变化或抖动,实时完成优化的累加成像,可以显著引降低不正确累加导致的图像模糊,提高了图像质量。
2.通过两级匹配进行高精度的累加,相比传统方法可以达到亚像元级误差。
附图说明
图1为本发明的实现流程框图;
图2为本方明实施装置示意图;
图3为本发明选择出的参考匹配列数据;
图4为为参考匹配列数据高分辨重构的结果;
图5为本发明采用优化匹配方法累加后得到的TDI图像。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
利用512*8中波数字TDI红外探测器红对该方法的实际效果进行验证,探测器放置在一维转台上进行扫描成像,转台转速为正确匹配速度的1.3倍,扫描方向垂直于列方向,共设置8个独立存储器,对应探测器的列数,按时间顺序将不同帧图像存储到8个存储器中。
实例中每次选择存储器1中作为参考列图像的来源,每次除读出当前帧号的列数据外,还读出前后2帧的列数据,一共读出5列数据,如图3所示。选择平均绝对差算法作为匹配的评价算法。将参考数据其他存储器中的数据进行粗匹配,搜索范围DT设置为10,选出其余7个存储器中最匹配的列数据段。将参考数据与选出的匹配区域进行4倍分辨重构,重构方法采用双线性插值,重新进行细尺度匹配,如图4所示。计算得到参考数据与其他数据区域的最优化匹配位置,根据此位置进行累加。累加后的数据下采样回原始尺寸。并输出中间列作为当前帧号的匹配结果。依次处理参考存储器中的全部帧数据,完成TDI探测器的优化匹配累加,如图5所示。

Claims (2)

1.一种数字域TDI探测器的优化匹配成像方法,其特征在于包括如下步骤:
(1)对数字域TDI探测器的输出信号进行采集,并按照垂直于扫描方向为列方向,按列数开辟独立的存储空间按列进行数据存储;像元数为M·N的数字TDI探测器,其中M为行像元数目,N为列像元数目;假设扫描方向垂直于列方向,则需要N个独立的存储区域,每个存储区域在一帧数据图像中存储对应的一列;存储器的深度设置为L·M,每帧图像写往存储器中写入M个数据,其中L为对应的读出帧号;
(2)选择其中一个存储器为参考,从存储器的中以列为单位从其中读出数据,并将其作为当前TDI目标列;参考列的范围为[Ln-RT,Ln+RT],其中Ln为当前待匹配的帧号,RT为设置的参考列范围阈值;
(3)利用目标列与其他存储器的数据进行粗尺度匹配,提取出各存储器对应的匹配区域;进行粗匹配时在其他几个存储器中的搜索范围可以设置为[Ln-DT,Ln+DT],其中DT为设置的搜索范围阈值;
(4)对目标列和匹配区域进行高分辨率重构,对重构后数据重新进行匹配,得到目标列在每个存储器位置的优选匹配数据段;匹配方法为基于灰度的图像匹配方法,具体是平均绝对差算法或绝对误差和算法或误差平方和算法或平均误差平方和算法或归一化积相关算法或几种匹配方法的加权组合;超分辨重构方法是双线性内插或三次内插或双立方插值;
(5)将目标列与全部匹配数据段进行累加,并对结果下采样回原始列大小,完成TDI过程,得到该列的TDI结果;
(6)依次处理全部列数据并输出实现优化匹配的TDI成像过程。
2.一种实现如权利要求1所述数字域TDI探测器的优化匹配成像方法的装置,其特征在于装置包括:
数字域TDI探测器信息获取模块,由偏置电压设置电路、信号放大电路、减背景电路、模拟数字转换器组成;数据存储模块,由存储控制电路、双口RAM存储器组成;TDI数据处理模块,由FPGA+DSP组成的数字信号处理电路组成;
TDI探测器开始扫描工作,数字域TDI探测器信息获取模块提供探测器工作所需的偏置电压,并对输出的一帧信号进放大、减背景等调理工作,调理完的输出数据被模拟数字转换器进行数字化;数字化后的信号再存储控制电路的操作下依次存入对应的存储器中;数据处理模块从存储器中读出参考列数据,并与其余存储器中的数据进行匹配,选择出最合适的累加区域,完成数字TDI的优化累加。
CN201810094040.5A 2018-01-31 2018-01-31 一种数字域tdi探测器的优化匹配成像方法及装置 Active CN108471505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810094040.5A CN108471505B (zh) 2018-01-31 2018-01-31 一种数字域tdi探测器的优化匹配成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810094040.5A CN108471505B (zh) 2018-01-31 2018-01-31 一种数字域tdi探测器的优化匹配成像方法及装置

Publications (2)

Publication Number Publication Date
CN108471505A true CN108471505A (zh) 2018-08-31
CN108471505B CN108471505B (zh) 2020-10-13

Family

ID=63266251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810094040.5A Active CN108471505B (zh) 2018-01-31 2018-01-31 一种数字域tdi探测器的优化匹配成像方法及装置

Country Status (1)

Country Link
CN (1) CN108471505B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824935A (zh) * 2021-09-23 2021-12-21 合肥埃科光电科技有限公司 伪彩色线扫描相机的时间延迟积分方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7675561B2 (en) * 2006-09-28 2010-03-09 Cypress Semiconductor Corporation Time delayed integration CMOS image sensor with zero desynchronization
CN101854489A (zh) * 2010-04-12 2010-10-06 中国科学院长春光学精密机械与物理研究所 实现面阵cmos图像传感器时间延迟积分的装置
CN102595068A (zh) * 2012-03-15 2012-07-18 天津大学 数字域累加cmos-tdi图像传感器
CN102595066A (zh) * 2012-03-05 2012-07-18 天津大学 低功耗数字域累加cmos-tdi图像传感器
CN102638659A (zh) * 2012-03-28 2012-08-15 西安电子科技大学 基于cmos-tdi模式的高分辨率成像系统及方法
CN102685403A (zh) * 2012-05-07 2012-09-19 天津大学 扩展tdi-cmos图像传感器动态范围的方法
CN106101583A (zh) * 2016-07-29 2016-11-09 中国科学院长春光学精密机械与物理研究所 基于数字域tdi的红外成像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7675561B2 (en) * 2006-09-28 2010-03-09 Cypress Semiconductor Corporation Time delayed integration CMOS image sensor with zero desynchronization
CN101854489A (zh) * 2010-04-12 2010-10-06 中国科学院长春光学精密机械与物理研究所 实现面阵cmos图像传感器时间延迟积分的装置
CN102595066A (zh) * 2012-03-05 2012-07-18 天津大学 低功耗数字域累加cmos-tdi图像传感器
CN102595068A (zh) * 2012-03-15 2012-07-18 天津大学 数字域累加cmos-tdi图像传感器
CN102638659A (zh) * 2012-03-28 2012-08-15 西安电子科技大学 基于cmos-tdi模式的高分辨率成像系统及方法
CN102685403A (zh) * 2012-05-07 2012-09-19 天津大学 扩展tdi-cmos图像传感器动态范围的方法
CN106101583A (zh) * 2016-07-29 2016-11-09 中国科学院长春光学精密机械与物理研究所 基于数字域tdi的红外成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马贝: "红外探测系统数字域TDI关键技术研究", 《中国博士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824935A (zh) * 2021-09-23 2021-12-21 合肥埃科光电科技有限公司 伪彩色线扫描相机的时间延迟积分方法、装置及设备
CN113824935B (zh) * 2021-09-23 2024-04-09 合肥埃科光电科技股份有限公司 伪彩色线扫描相机的时间延迟积分方法、装置及设备

Also Published As

Publication number Publication date
CN108471505B (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN102082914B (zh) 图像处理装置及图像处理方法
EP3195042B1 (en) Linear mode computational sensing ladar
Mumby et al. The cost-effectiveness of remote sensing for tropical coastal resources assessment and management
KR920003047B1 (ko) 줌 방식 영상 해상도 향상방법 및 장치
JP4234420B2 (ja) データ解像度を増す方法および装置
CN107563961A (zh) 一种基于相机传感器的动目标检测的系统及方法
CN113222825A (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN104486562B (zh) 基于固定积分时间的嵌入式红外图像超帧处理方法
CN107238727A (zh) 基于动态视觉传感器芯片的光电式转速传感器及探测方法
CN112882057A (zh) 一种基于插值的光子计数非视域三维成像超分辨方法
CN113989343A (zh) 基于注意力机制的传感器融合深度重建数据驱动方法
US20220343463A1 (en) Changing the size of images by means of a neural network
JP5809627B2 (ja) 動画像から静止画像を取得するためのシステム及び方法
CN108471505A (zh) 一种数字域tdi探测器的优化匹配成像方法及装置
CN112461360B (zh) 联合物理噪声模型的高分辨率单光子成像方法与系统
Schutte et al. Signal conditioning algorithms for enhanced tactical sensor imagery
KR20110053417A (ko) 디지털 비디오 필터 및 화상 처리
CN113223065A (zh) Sar卫星图像与光学图像自动匹配方法
CN114494039A (zh) 一种水下高光谱推扫图像几何校正的方法
JPH10173978A (ja) 追尾誤差検出装置
CN113762271A (zh) 基于不规则卷积核神经网络模型的sar图像语义分割方法和系统
Xing et al. Image restoration based on blur kernel estimation using vibration data
CN111601096B (zh) 具有单光子雪崩二极管的合成图像方法
Rice et al. Persistent hyperspectral adaptive multi-modal feature-aided tracking
Sarala et al. Digital image processing–a remote sensing perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant