CN113838108A - 多尺度光谱tdicmos点线配准的电荷累积方向测试系统 - Google Patents

多尺度光谱tdicmos点线配准的电荷累积方向测试系统 Download PDF

Info

Publication number
CN113838108A
CN113838108A CN202111147612.XA CN202111147612A CN113838108A CN 113838108 A CN113838108 A CN 113838108A CN 202111147612 A CN202111147612 A CN 202111147612A CN 113838108 A CN113838108 A CN 113838108A
Authority
CN
China
Prior art keywords
image
registration
scale
charge accumulation
tdicmos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111147612.XA
Other languages
English (en)
Other versions
CN113838108B (zh
Inventor
杨秀彬
高随宁
常琳
周美丽
永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202111147612.XA priority Critical patent/CN113838108B/zh
Publication of CN113838108A publication Critical patent/CN113838108A/zh
Application granted granted Critical
Publication of CN113838108B publication Critical patent/CN113838108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,涉及空间光学遥感技术邻域。包含分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元。TDICMOS采集原始的多光谱图像;依据片元图像空间特征的多样性,采用特征点线结合的单谱配准方法对原始图像进行配准拼接;依据多光谱图像分辨率差异较大以及辐射强度多样性较强的特征;采用多尺度多光谱配准方法实现对于频谱的特征点精确对准;最终根据各光谱图像匹配点的坐标精确计算出不同时差所产生的像移大小,分析像移实时变化,根据实时像移矢量的大小计算出电荷累积方向。实现多光谱TDICMOS图像空域和频域的联合配准与电荷累积方向快速测量。

Description

多尺度光谱TDICMOS点线配准的电荷累积方向测试系统
技术领域
本发明涉及空间光学遥感技术领域,具体涉及一种相机焦面TDICMOS多尺度图像配准与电荷累积量计算的方法。
背景技术
多光谱遥感技术广泛应用于农业监测、矿物探测、军事侦察等领域,是一种高精度地物探测手段。近年来,天基遥感探测不断朝着大视场、高宽幅的方向拓展,对CMOS的成像幅宽有了更高的要求。为了满足该要求,高分辨率相机一般采用多个片元错位拼接的方式来实现大视场成像。但错位拼接会引入偏流角、相移等一系列误差。
由于各个谱段感光尺寸相同且间距相等,卫星采用正向推扫的方式成像,会导致各谱段时域和空域并不一一对应,各谱段对同一目标点的成像的时间并不一致。因此,需一种高精度配准方式去实现多尺度、多光谱之间的时空域的配准。现有的图像配准算法大多基于特征点匹配,容易忽略图像中直线、几何形状等特征,造成图像的直线发生曲折,画面有撕裂感。多光谱的图像配准容易出现特征点失调,经常会出现匹配失败的情况,因此,需要一种全新的单谱拼接和多谱间配准方法。
像移是造成遥感成像质量下降的重要因素,依据配准结果反解出像移之间的关系,为消除像移影响提供重要的数据支撑。电荷累积方向是像移直接表现在CMOS上的形式,分析其大小对成像质量的影响意义重大。
发明内容
本发明为解决现有图像配准方法忽略图像中直线、几何形状等特征,造成图像的直线发生曲折,画面有撕裂感,导致图像配准易出现特征点失调,匹配失败等问题,提供一种多尺度光谱TDICMOS点线配准的电荷累积方向测试系统。
多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,该系统包括分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元;
所述分光式多光谱TDICMOS多级积分成像单元由三段CMOS探测器的片元拼接组成,采用单摆运动模式推扫采集每个CMOS探测器的五个谱段的高分辨率图像;
所述多尺度片内点线结合配准单元接收所述五个谱段的高分辨率图像,采用特征点和特征线相结合配准的方法分别实现相同谱段图像精确配准拼接,获得五个独立谱段的拼接图像;
所述光谱维度的多尺度轮廓特征配准单元接收五个独立谱段的拼接图像,采用多尺度图像轮廓特征匹配的方式,实现各个谱段之间的配准;
所述电荷累积方向计算单元根据所述光谱维度的多尺度轮廓特征配准单元输出的配准图像与原始图像的特征点位置偏移量,计算每个谱段每个位置曝光时间偏移量,并作为自变量,导出像移与时间的函数关系,进一步获得电荷累积方向与时间的关系。
本发明的有益效果:本发明所述的测试系统,在模拟真实的推扫模式下,采用反射分光排布式TDICMOS采集原始的多光谱图像,相比传统错位拼接方式,采取反射拼接的方式会有效减少三段图像的偏流角误差,提高电荷矢量方向计算精度;依据片元图像空间特征的多样性,采用特征点线结合的单谱配准方法对原始图像进行配准拼接,解决只基于特征点匹配方式所导致拼接图像几何特征扭曲的问题;依据多光谱图像分辨率差异较大以及辐射强度多样性较强的特征,采用基于CSS检测改进型多尺度多光谱配准方法实现对于频谱的特征点精确对准,解决多光谱图像配准容易失调的问题;最终根据各光谱图像匹配点的坐标精确计算出不同时差所产生的像移大小,分析像移实时变化,根据实时像移矢量的大小计算出电荷累积方向。依据先后顺序评估每一个环节的精度,实现多光谱TDICMOS图像空域和频域的联合配准与电荷累积方向快速测量。
附图说明
图1为本发明所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试系统的原理图;
图2为CMOS探测器的结构示意图;
图3为卫星成像模式原理图;
图4为单谱图像拼接原理图;
图5为基于点线结合的图像配准原理图;
图6为基于轮廓特征多光谱图像配准原理图。
具体实施方式
结合图1至图6说明本实施方式,如图1所示,多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,包括分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元;
所述分光式多光谱TDICMOS多级积分成像单元的单个TDICMOS的感光区域如图2所示。每一个CMOS的面元的五个谱段呈纵向排布,分别是P、B1、B2、B3和B4谱段,其中全色谱段P对应的最小像元尺寸为7um,分辨率为8224*1;其它四个为多光谱段,最小像元尺寸为14um,分辨率为2056*1。遥感卫星依照图3所示的摆扫模式进行时间积分成像。所述分光式多光谱TDICMOS多级积分成像单元结构包含一个全色谱段P,四个多光谱段B。其中P谱与B谱分辨率相差4倍。光学系统像面采用三段CMOS片元拼接而成,相机按单摆运动模式推扫采集五个谱段的三节高分辨率图像。
所述多尺度片内点线结合配准单元接收成像单元所成的高分辨率图像,采用特征点和特征线相结合配准的算法,分别对五个谱段的三节图像进行重叠区域的匹配点计算,实现每个谱三段子图像精确配准拼接,合成五幅相互独立的不同谱段的拼接图像。
本实施方式中,每个谱的图像均由三节待拼接子图组成。若将三节图像直接按几何关系拼接时,由装调或者机械振动引起的误差会导致图像配准精度下降。因此,需要在图像处理阶段采用高精度配准算法对图像进行配准。
遥感成像的地面目标中包含大量的规则的直线或者矩形特征,为保证两张子图拼接后直线不会发生曲折。采用特征点和特征线相结合配准的算法,特征点用于计算全局仿射变换矩阵,特征线用于精细分割区域,调整每个区域内的变换矩阵系数,实现各个部位精确配准。对于两张待拼接的图像,采用SURF快速检测出特征点对集合P1,P2,P3,P4、P1',P2',P3',P4',其中Pi(i=1,2,3,4)与Pi'一一对应,在实际的对应的空间位置上它们属于同一点。求解出全局仿射变换矩阵。采用最小二乘法拟合特征点集合,找出全局最大的直线特征矢量li、lj',依据点线关系做进一步配准。如图5所示,若右图特征点序列Pi(i=1,2,3,4)构成的矢量li在右图的投影矢量li'必须旋转一定的角度才能与左图全局最大特征矢量lj'匹配,则两张图像间出现了配准直线失准的情况。针对全局仿射变换直线失准的问题,必须建立以直线约束为依据的网格能量函数,对特征直线li'左右两侧分别求取子区域的坐标变换矩阵,进而估计图像之间的最优配准变换。
所述光谱维度的多尺度轮廓特征配准单元接收点线配准单元所成的像,针对不同光谱图像的存在像移问题,采用多尺度图像轮廓特征匹配的方式实现各个谱段之间的配准。多尺度图像轮廓特征匹配为对分辨率较低B谱图像超分辨重构,然后与P谱图像进行基于最大梯度轮廓特征点插值算法的精细匹配。
本实施方式中,面元P谱比B谱的分辨率高四倍,即使两谱段在空间位置上基本配准,但配准精度很低,会出现重影现象。采用超分辨技术对B谱图像进行重构,将问题转换为同尺度多光谱图像间的配准;地面目标的光谱特性复杂多样,不同谱段图像的特征点容易失调,但空间信息保留较好。采用改进型的CSS轮廓及角点检验算法,找出位于各谱图像相似轮廓上的特征点。虽然该特征点数目会大幅下降,但错误匹配的概率也会缩小。最后,为了进一步提高精度,将每相邻四个特征匹配点对角相连,令其交点作为最终的拟合特征点。
具体采取的方法为:
首先,对B谱图像进行超分辨率重构。采用PixelShuffle上采样方法,将B谱低分辨特征进行卷积重组,得到高分辨率的特征;采用改进型的CSS检测轮廓及角点,使用适用于多光谱图像特征主方向计算方法计算角点的主方向;提取角点及其描述子,按照序列提取匹配点并去除显著错误匹配;采用特征点插值的方式拟合最终的匹配点,提高匹配精度。
所述电荷累积方向计算单元接收光谱图像配准单元的图像,根据配准图像与原始图像的特征点位置偏移量,算出每个谱段每个位置曝光时间偏移量,作为自变量,导出像移与时间的函数关系,进而导出电荷累积方向与时间的关系。
如图6所示,由于像移的存在,同一特征点在不同谱段的位置会发生变换。依据推扫成像的模式,面元沿垂直于轨道方向运动,对于地面同一个点目标,B1谱要比B2谱先接收到该点的光强信息,其他谱段依次类推。时间差会导致各谱段的对目标点所成的像存在像移量。建立像插值匹配点追踪模型。记录各谱段匹配点原始坐标A0(λ)=(x0,y0),经过图像配准后,配准点的坐标为A(λ)=(x,y)。则像移量为
Figure BDA0003285981280000051
各谱段图像时间偏移量的计算如下,其中v是CMOS推扫的速度。
Figure BDA0003285981280000052
式中,H=0,h,2h,3h,4h,h为P谱与B1谱感光区域的垂直间隔,λ为各个感光区域所对应中心波段波长。
最终,可得到ΔA(λ)和T(λ)的对应关系。最终依照电荷累积方向与像移量的线性关系得到电荷累积方向矢量的大小。

Claims (4)

1.多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,其特征是:该系统包括分光式多光谱TDICMOS多级积分成像单元,多尺度片内点线结合配准单元,光谱维度的多尺度轮廓特征配准单元以及电荷累积方向计算单元;
所述分光式多光谱TDICMOS多级积分成像单元由三段CMOS探测器的片元拼接组成,采用单摆运动模式推扫采集每个CMOS探测器的五个谱段的高分辨率图像;
所述多尺度片内点线结合配准单元接收所述五个谱段的高分辨率图像,采用特征点和特征线相结合配准的方法分别实现相同谱段图像精确配准拼接,获得五个独立谱段的拼接图像;
所述光谱维度的多尺度轮廓特征配准单元接收五个独立谱段的拼接图像,采用多尺度图像轮廓特征匹配的方式,实现各个谱段之间的配准;
所述电荷累积方向计算单元根据所述光谱维度的多尺度轮廓特征配准单元输出的配准图像与原始图像的特征点位置偏移量,计算每个谱段每个位置曝光时间偏移量,并作为自变量,导出像移与时间的函数关系,进一步获得电荷累积方向与时间的关系。
2.根据权利要求1所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,其特征在于:
所述分光式多光谱TDICMOS多级积分成像单元中每个CMOS探测器均包括一个全色谱段P,四个多光谱段B;全色谱段P与多光谱段谱的分辨率相差4倍。
3.根据权利要求1所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,其特征在于:
所述光谱维度的多尺度轮廓特征配准单元采用多尺度图像轮廓特征匹配的方式,实现各个谱段之间的配准;具体过程为:
首先,对B谱图像进行超分辨率重构,采用上采样方法,将B谱低分辨特征进行卷积重组,获得高分辨率的特征;
然后,采用改进型的CSS检测轮廓及角点,采用适用于多光谱图像特征主方向计算方法计算角点的主方向;提取角点及其描述子,按照序列提取匹配点并去除显著错误匹配;
最后,与P谱图像进行基于最大梯度轮廓特征点插值的方式拟合最终的匹配点。
4.根据权利要求1所述的多尺度光谱TDICMOS点线配准的电荷累积方向测试系统,其特征在于:
所述电荷累积方向计算单元首先建立像插值匹配点追踪模型,记录各谱段匹配点原始坐标A0(λ)=(x0,y0),经过图像配准后,配准点的坐标为A(λ)=(x,y);则像移量为:
Figure FDA0003285981270000021
则各谱段图像时间偏移量的计算公式为:
Figure FDA0003285981270000022
式中,v为CMOS推扫的速度,H=0,h,2h,3h,4h;h为P谱与B1谱感光区域的垂直间隔,λ为各个感光区域所对应中心波段波长;
最终,获得像移量ΔA(λ)和各谱段图像时间偏移量T(λ)的对应关系,并根据电荷累积方向与像移量的线性关系,获得电荷累积方向矢量的大小。
CN202111147612.XA 2021-09-29 2021-09-29 多尺度光谱tdicmos点线配准的电荷累积方向测试系统 Active CN113838108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111147612.XA CN113838108B (zh) 2021-09-29 2021-09-29 多尺度光谱tdicmos点线配准的电荷累积方向测试系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111147612.XA CN113838108B (zh) 2021-09-29 2021-09-29 多尺度光谱tdicmos点线配准的电荷累积方向测试系统

Publications (2)

Publication Number Publication Date
CN113838108A true CN113838108A (zh) 2021-12-24
CN113838108B CN113838108B (zh) 2023-07-21

Family

ID=78967370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111147612.XA Active CN113838108B (zh) 2021-09-29 2021-09-29 多尺度光谱tdicmos点线配准的电荷累积方向测试系统

Country Status (1)

Country Link
CN (1) CN113838108B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1122681A (zh) * 1994-11-05 1996-05-22 华西医科大学 反射分光式体腔粘膜血定量仪
US20060208169A1 (en) * 1992-05-05 2006-09-21 Breed David S Vehicular restraint system control system and method using multiple optical imagers
CN103017907A (zh) * 2011-09-27 2013-04-03 财团法人工业技术研究院 图像式彩色分析仪的校正方法及测量装置
CN106525238A (zh) * 2016-10-27 2017-03-22 中国科学院光电研究院 一种基于超分辨率重建的星载多光谱成像系统设计方法
CN110660089A (zh) * 2019-09-25 2020-01-07 云南电网有限责任公司电力科学研究院 一种卫星图像的配准方法及装置
CN112102887A (zh) * 2020-09-02 2020-12-18 北京航空航天大学 多尺度集成可视化的高通量自动计算流程及数据智能系统
CN113052879A (zh) * 2021-04-08 2021-06-29 西安应用光学研究所 一种多光谱图像自动配准方法
CN113096749A (zh) * 2021-06-10 2021-07-09 武汉大学深圳研究院 n型共掺杂金刚石半导体材料制备的多尺度耦合仿真方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060208169A1 (en) * 1992-05-05 2006-09-21 Breed David S Vehicular restraint system control system and method using multiple optical imagers
CN1122681A (zh) * 1994-11-05 1996-05-22 华西医科大学 反射分光式体腔粘膜血定量仪
CN103017907A (zh) * 2011-09-27 2013-04-03 财团法人工业技术研究院 图像式彩色分析仪的校正方法及测量装置
CN106525238A (zh) * 2016-10-27 2017-03-22 中国科学院光电研究院 一种基于超分辨率重建的星载多光谱成像系统设计方法
CN110660089A (zh) * 2019-09-25 2020-01-07 云南电网有限责任公司电力科学研究院 一种卫星图像的配准方法及装置
CN112102887A (zh) * 2020-09-02 2020-12-18 北京航空航天大学 多尺度集成可视化的高通量自动计算流程及数据智能系统
CN113052879A (zh) * 2021-04-08 2021-06-29 西安应用光学研究所 一种多光谱图像自动配准方法
CN113096749A (zh) * 2021-06-10 2021-07-09 武汉大学深圳研究院 n型共掺杂金刚石半导体材料制备的多尺度耦合仿真方法

Also Published As

Publication number Publication date
CN113838108B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN102194099B (zh) 用于高光谱目标探测方法的高级背景估计技术和电路
CN108955883B (zh) 基于高光谱数据的遥感器辐射定标方法及定标系统
Schlapfer et al. Spatial PSF nonuniformity effects in airborne pushbroom imaging spectrometry data
CN109934788B (zh) 一种基于标准遥感图像的遥感图像缺失数据修复方法
Herold et al. The spectral dimension in urban land cover mapping from high-resolution optical remote sensing data
CN112598608B (zh) 一种基于目标区域的光学卫星快速融合产品制作方法
CN115236655B (zh) 基于全极化sar的滑坡识别方法、系统、设备及介质
Zhu et al. Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features
Zhang et al. A mixed radiometric normalization method for mosaicking of high-resolution satellite imagery
CN103728022A (zh) 一种坏像元的校正方法
CN107941241B (zh) 一种用于航空摄影测量质量评价的分辨率板及其使用方法
Re et al. Performance evaluation of 3DPD, the photogrammetric pipeline for the CaSSIS stereo images
CN113838108A (zh) 多尺度光谱tdicmos点线配准的电荷累积方向测试系统
Xiong et al. An initial study on vehicle information extraction from single pass QuickBird satellite imagery
Cariou et al. Automatic georeferencing of airborne pushbroom scanner images with missing ancillary data using mutual information
Crespi et al. Radiometric quality and DSM generation analysis of CartoSat-1 stereo imagery
Soszyńska et al. Feasibility study of hyperspectral line-scanning camera imagery for remote sensing purposes
Mishra et al. Spatial enhancement of SWIR band from Resourcesat-2A by preserving spectral details for accurate mapping of water bodies
Zhou et al. Accurate band-to-band registration of aotf imaging spectrometer using motion detection technology
CN117592001B (zh) 一种数据融合方法及装置
Vongsy et al. Change detection using synthetic hyperspectral imagery
Gunawan et al. A Westerbork Synthesis Radio Telescope 1400 and 350 MHz continuum survey of the Cygnus OB2 association, in search of hot massive stars
Lee et al. A study on aerial triangulation from multi-sensor imagery
Farjas et al. Airborne multispectral remote sensing application in archaeological areas
Mishra et al. BLUR KERNEL’S EFFECT ON PERFORMANCE OF SINGLE-FRAME SUPER-RESOLUTION ALGORITHMS FOR SPATIALLY ENHANCING HYPERION AND PRISMA DATA

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant