CN117495933A - 基于视差修正的光电望远镜外挂镜头图像实时配准方法 - Google Patents

Abstract

本发明涉及一种基于视差修正的光电望远镜外挂镜头图像实时配准方法，属于图像处理技术领域，解决了现有的基于图像特征信息的配准方法对特征点依赖性强、计算时间长及不能满足光电望远镜对配准低误差、高实时性、特殊情况下无特征点的需求的问题。获取基准图像和待配准图像；采用内插外推法将图像的时间对齐；对图像进行视场角匹配；分别计算方位角视差修正量和俯仰角视差修正量；将经过时间对齐、视场角匹配和视差修正后的待配准图像与基准图像的几何中心重合并进行加权平均计算，完成叠加，叠加后再截取出重叠区域，得到配准图像。本发明不需要进行特征提取，对于夜间或天空、海面等特征不明显区域仍具有较好的适用性，同时具有良好的实时性。

Description

基于视差修正的光电望远镜外挂镜头图像实时配准方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于视差修正的光电望远镜外挂镜头图像实时配准方法。

背景技术

光电望远镜是一种利用光电成像技术来观测远距离目标的光学测量仪器。外挂镜头可以扩展主光路的功能，弥补主光路视场小、波段单一等不足，使得观测到的目标信息更加丰富多样，因此，外挂镜头是光电望远镜的重要组成部分。光电望远镜通常会外挂多路镜头，因为镜头使用的探测器波段不同，所以获取到的图像信息也不同，如分辨率不同、灰度值不同、尺度位置不同等。例如可见光波段探测器具有丰富的颜色信息和高分辨率等特点，红外波段探测器对物体温度更敏感、具备一定的穿云、透雾效果等。目前科研人员使用光电望远镜时，为了进行目标识别，综合利用多路多波段图像的优点，会将多波段图像融合在一起进行处理，而图像配准是实现图像融合的前提条件。图像配准是指将两幅或多幅图像进行对齐，使它们在空间上完全或近似重合的过程。图像配准的目的就是要消除同一场景图像在几何位置上的差异，使一幅或多幅图像通过尺度变换后，最优的映射到目标图像上，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，实现配准，进而达到信息融合的目的。外挂镜头与主光路在安装的过程中保证平行度，但由于安装位置的不同，在成像过程中存在视差，只有在无穷远位置成像才能消除视差的影响，而光电望远镜观测目标的距离很多都达不到无穷远距离，这种情况下视差的影响一直存在，增加了图像配准的难度，通用的图像配准方法都无法解决视差造成的影响。

目前常用的图像配准的方法大致分为三类：

基于图像灰度信息的配准方法，也称之为直接配准法，这类方法以整幅图像的灰度信息为依据，建立待配准图像和基准参考图像之间的相似性度量，利用某种搜索算法，寻找出使得相似度量达到最优值的变换模型参数；

基于图像变换域内信息的配准方法，通常是利用傅里叶变换为基础，进行频域内的配准；

基于图像特征信息的配准方法，是目前最常用的配准方法之一，例如公开号为CN112150520A、CN112164100A的发明专利，该算法只需要提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息，在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性。但是，由于该算法只采用了图像小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。

目前大部分图像配准技术都是基于图像特征信息实现图像配准，该类以特征点提取为基础的图像配准技术，对特征点有较强的依赖性，针对于光电测量设备，通常观测场景多是以天空为背景的，而天空背景不利于特征信息的匹配，难以实现精确的图像配准。使用基于图像特征信息的配准方法应用于光电望远镜时有如下局限性：一是对特征点提取的依赖性过强，而天空背景及空旷场景不利于提取特征点；二是提取特征点需要较大的计算量，当场景复杂时候，特征点过多会减缓处理效率，不满足实时性需求；三是容易出现误匹配的情况，导致配准图像进行错误的空间变换，使融合后的图像模糊，影响融合后图像的显示；四是当多路探测器进行连续调焦、变倍等情况时，成像清晰度与视场变换等因素会对特征匹配精度造成影响。

发明内容

针对基于图像特征信息的配准方法对特征点依赖性强，计算时间长，不能满足光电望远镜对配准低误差、高实时性、特殊情况下无特征点的需求，因此本发明提出一种基于视差修正的光电望远镜外挂镜头图像实时配准方法，该方法通过结合光学系统以及探测器的参数信息计算出探测器观测视场大小，结合变倍过程与视场变化的对应关系进行计算，并引入外挂镜头与主光学系统的视差修正使得多路融合图像观测视场中心一致，截取多路探测器的视场重叠部分进行图像配准。本发明不需要提取特征信息，因此计算量小，算法有较好的实时性，图像配准不依据特征点的匹配进行空间变换，有效提高了配准算法的稳定性与适用性。

为解决上述问题，本发明采取如下的技术方案：

一种基于视差修正的光电望远镜外挂镜头图像实时配准方法，包括以下步骤：

步骤1：获取光电望远镜的主光学系统采集的基准图像和外挂镜头采集的待配准图像；

步骤2：采用内插外推法将基准图像和待配准图像的时间对齐；

步骤3：计算主光学系统的视场角，并根据计算出的视场角大小将待配准图像进行裁剪、插值缩放处理，处理后的待配准图像与基准图像的视场角和分辨率一致；

步骤4：确定主光学系统视轴与外挂镜头视轴在水平方向和垂直方向的物理距离，然后根据在水平方向和垂直方向的物理距离分别计算方位角视差修正量和俯仰角视差修正量，计算公式如下：

；

；

其中，为方位角视差修正量，为俯仰角视差修正量，为主光学系统视轴 与外挂镜头视轴在水平方向的物理距离，为主光学系统视轴与外挂镜头视轴在垂直方 向的物理距离，为目标距离；

计算修正后的外挂镜头（2）观测的方位角和俯仰角，计算公式 如下：

；

；

其中，为望远镜观测的方位角，为望远镜观测的俯仰角；

步骤5：将经过时间对齐、视场角匹配和视差修正后的待配准图像与基准图像的几何位置对齐后，将对应像素点进行加权平均计算，完成两幅图像的叠加，叠加后再截取出重叠区域，得到配准图像。

本发明提出了一种基于视差修正的光电望远镜外挂镜头图像配准方法，以实现将光电望远镜外挂镜头与主光路间多波段图像的精确配准。通过对视差产生原因及光学成像原理的分析计算，克服了由于视差造成的同一目标在各光路成像位置偏差的影响，使用该方法进行光电望远镜的多波段图像配准，能够实现像素级的匹配精度，从而获得光电望远镜外挂镜头与主光路间高精度的多波段融合图像。本发明具有如下的有益效果：

（1）不依赖于图像中的特征点提取与特征点匹配，避免了特征点错误匹配带来的风险，并且对于夜间或天空、海面等特征不明显区域仍具有较好的适用性，同时该方法算法简单，运算量小，对于帧频较高或分辨率较大的系统，仍具有良好的实时性；

（2）通过视差计算方法，结合目标距离，动态调整匹配中心位置，从而在光电望远镜观测距离变化的动态目标时，也能保证较好的配准精度；

（3）对来自不同镜头的图像由于曝光时刻、处理时间和传输时间不同，导致时间不一致，采用内插外推法的时间对齐技术，使误差得到一次性的补偿。

附图说明

图1为光电望远镜的结构示意图；

图2为本发明所述的基于视差修正的光电望远镜外挂镜头图像实时配准方法的流程图；

图3为几何光学成像关系示意图；

图4为视差修正示意图；

图5为图像配准示意图。

附图标记说明：1、主光学系统；2、外挂镜头；3、测角系统。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

光电望远镜用于对目标进行搜索以及跟踪，一般包括主光学系统1、外挂镜头2和测角系统3，如图1所示，主光学系统1用于主口径光学成像，外挂镜头2则用来扩展光电望远镜功能，测角系统3用于测量光电望远镜主口径光学镜头中心点的方位、俯仰指向。主光学系统1和外挂镜头2中的图像探测器一般采用可见或者红外的面阵图像探测器。本发明所提出的基于视差修正的光电望远镜外挂镜头图像实时配准方法的流程图如图2所示，具体包括如下的步骤1至步骤5。

步骤1：多路图像实时采集。

本步骤同时采集光电望远镜的主光学系统1和外挂镜头2的各路图像，主光学系统1采集的图像为基准图像，外挂镜头2采集的图像为待配准图像。以基准图像和待配准图像中的低频图像为基准，对高频图像进行降频处理，保证各路待匹配图像频率相同。

步骤2：图像时间对齐处理。

来自不同镜头的图像由于曝光时刻、处理时间和传输时间不同，因此导致时间不一致，本步骤采用内插外推法将基准图像和待配准图像的时间对齐。内插外推法采用时间片技术，将高精度的观测数据推算到低精度的时间片上，即在同一时间片内将各传感器的观测值按测量精度进行增量排序，然后将高精度观测值分别向最低精度时间点内插、外推，以形成一系列等间隔的目标观测数据。采用内插外推法在较小时间间隔内得到的补偿值有较好的精度。

采用内插外推法将基准图像和待配准图像的时间对齐的具体步骤包括：

步骤2.1：以基准图像和待配准图像中的低频图像为基准，将低频图像新的每一帧 时间作为融合中心的基准时间；

步骤2.2：以基准图像和待配准图像中的高频图像为对象，如果基准图像相较于待 配准图像是高频，则本步骤就以基准图像为对象进行处理，如果待配准图像相较于基准图 像是高频，则本步骤就以待配准图像为对象进行处理，在时刻前选取连续的2帧图像，在时刻后选取与前2帧图像相邻的1帧图像，提取并存储选取的连续的3帧图像及各图像的 采集时间，并对图像中目标的点迹数据进行关联，得到带有感兴趣的目标的关联后的3帧图 像数据，即3帧带着时间信息的图像数据，其中进行数据关联是指将连续3帧图像中各点的 像素位置与3帧图像记录的时间进行关联，使每幅图像的像素都带有时间信息，因此只需要 关注每个像素在三张图像中的位置及时间，就可以求出位置差值后得到该像素的理论位 置，从而形成新的图像；

步骤2.3：以所得的连续的3帧图像为数据源，利用拉格朗日三点插值法近似得到时刻的目标坐标信息，最终得到时间对齐后的图像，用于后续的图像配准。假设以x轴坐 标为例，分别为目标在时刻的x轴坐标，那么时刻的x轴坐标的计算公 式为：

。

对于时间误差是确定的时间不一致现象，可采用时间对齐技术使误差得到一次性的补偿。

步骤3：视场角匹配。

视场角是指探测器所能够拍摄到的画面范围，通常用角度来表示。不同的镜头搭配不同的探测器一般就会具有不同的视场角，因此在图像配准之前，需要先进行视场角的匹配。

由图3所示的几何光学成像关系可知，对于给定焦距、给定探测器像元尺寸，可 以求出主光学系统探测器观测的视场角：

；

；

其中，为方位视场角角度，为俯仰视场角角度，为图像宽度，为图像高度。

根据计算出的主光学系统1的视场角大小，将待配准图像进行裁剪、插值缩放处理，处理后的待配准图像得到视场角大小与基准图像视场保持一致，同时通过插值将待配准图像的像元分辨率与基准图像分辨率保持一致。

步骤4：视差修正。

视差是指由于观察的位置不同而产生的物体位置的视觉差异。光电望远镜视差的产生是因为不同镜头分别位于望远镜不同位置，从不同的角度观察同一物体，导致物体通过各镜头成的像有所不同，这种差异就是视差。视差的大小与物体距离的远近有关，距离越远，视差越小，距离越近，视差越大。本发明所提出的配准方法重点解决了物体距离对视差的影响。光电望远镜一般配备方位标作为精度校准的手段。这里以方位标的视差修正为例描述本步骤视差修正的方法。视差与外挂镜头光轴和主光学系统光轴的物理距离成正比，与观测目标的距离成反比。

如图4所示，计算外挂镜头2与主光学系统1的视差，首先要确定外挂镜头视轴与主 光学系统视轴在水平方向、垂直方向的物理距离、，确定的方法可以依据主光学系统 的设计图纸，也可以现场测量获得（外挂镜头在主光学系统的右侧为正，左侧为负，上部为 正，下部为负）。根据在水平方向和垂直方向的物理距离分别计算方位角视差修正量和俯仰 角视差修正量，计算公式如下：

；

；

其中，为方位角视差修正量，为俯仰角视差修正量，为主光学系统视轴 与外挂镜头视轴在水平方向的物理距离，为主光学系统视轴与外挂镜头视轴在垂直方 向的物理距离，为目标距离。本发明适用于目标距离已知的情况，而对于光电望远镜，获 得目标距离的方法很多，比如激光测距法、多台交会的方法等，还有由其他设备比如雷达 提供目标距离的方法。获得外挂镜头的视差修正量之后，相当于已经获取了外挂镜头的指 向，而该指向就表示了对外挂镜头观测到的目标修正视差后的准确角位置。

根据视差修正量计算修正后的外挂镜头观测的方位角和俯仰角，计算公式如下：

；

；

其中，为望远镜观测的方位角，为望远镜观测的俯仰角，为修正后的 外挂镜头观测的方位角，为修正后的外挂镜头观测的俯仰角。

步骤5：图像配准。

基准图像和待配准图像经过时间对齐、视场角匹配和视差修正后，基准图像与待配准图像的观测中心、图像分辨率、像元分辨率均一致。此时将基准图像与待配准图像的几何位置对齐，如图5所示，将基准图像中心移动到待配准图像中心后，对应像素点进行加权平均计算，将两幅图像叠加，叠加后截取出重叠区域，即可完成图像配准，得到配准图像，配准图像可进行后续的融合处理。

本发明所提出的图像实时配准方法不仅可以应用于光电望远镜，还可以应用于其他光学测量设备，比如枪瞄、光电经纬仪、辐射特性测量系统等。本发明的图像实时配准方法的运行平台称为配准图像采集系统，配准图像采集系统支持图形工作站搭配图像采集卡的形式，也支持嵌入式图像采集系统，除了这两种形式外，还可以采用的其他形式实现，如工控机、计算机、手机等计算平台。

本发明提出了一种基于视差修正的光电望远镜外挂镜头图像实时配准方法，该方法具有如下优点：

（1）不依赖于图像中的特征点提取与特征点匹配，避免了特征点错误匹配带来的风险，并且对于夜间或天空、海面等特征不明显区域仍具有较好的适用性同时该方法算法简单，运算量小，对于帧频较高或分辨率较大的系统，仍具有良好的实时性；

（2）通过视差计算方法，结合目标距离，动态调整匹配中心位置，从而在光电望远镜观测距离变化的动态目标时，也能保证较好的配准精度；

（3）对来自不同镜头的图像由于曝光时刻、处理时间和传输时间不同，导致时间不一致，采用内插外推法的时间对齐技术，使误差得到一次性的补偿。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于视差修正的光电望远镜外挂镜头图像实时配准方法，其特征在于，包括以下步骤：

步骤1：获取光电望远镜的主光学系统（1）采集的基准图像和外挂镜头（2）采集的待配准图像；

步骤2：采用内插外推法将基准图像和待配准图像的时间对齐；

步骤3：计算主光学系统（1）的视场角，并根据计算出的视场角大小将待配准图像进行裁剪、插值缩放处理，处理后的待配准图像与基准图像的视场角和分辨率一致；

步骤4：确定主光学系统视轴与外挂镜头视轴在水平方向和垂直方向的物理距离，然后根据在水平方向和垂直方向的物理距离分别计算方位角视差修正量和俯仰角视差修正量，计算公式如下：

；

；

其中，为方位角视差修正量，/>为俯仰角视差修正量，/>为主光学系统视轴与外挂镜头视轴在水平方向的物理距离，/>为主光学系统视轴与外挂镜头视轴在垂直方向的物理距离，/>为目标距离；

计算修正后的外挂镜头（2）观测的方位角和俯仰角/>，计算公式如下：

；

；

其中，为望远镜观测的方位角，/>为望远镜观测的俯仰角；

步骤5：将经过时间对齐、视场角匹配和视差修正后的待配准图像与基准图像的几何位置对齐后，将对应像素点进行加权平均计算，完成两幅图像的叠加，叠加后再截取出重叠区域，得到配准图像。

2.根据权利要求1所述的基于视差修正的光电望远镜外挂镜头图像实时配准方法，其特征在于，采用内插外推法将基准图像和待配准图像的时间对齐的过程包括以下步骤：

步骤2.1：以基准图像和待配准图像中的低频图像为基准，将低频图像新的每一帧时间作为融合中心的基准时间；

步骤2.2：以基准图像和待配准图像中的高频图像为对象，在时刻前选取连续的2帧图像，在/>时刻后选取与前2帧图像相邻的1帧图像，提取并存储选取的连续的3帧图像及各图像的采集时间，并对图像中目标的点迹数据进行关联；

步骤2.3：以连续的3帧图像为数据源，利用拉格朗日三点插值法近似得到时刻的目标坐标信息，得到时间对齐后的图像，用于后续的图像配准。

3.根据权利要求1或2所述的基于视差修正的光电望远镜外挂镜头图像实时配准方法，其特征在于，主光学系统的视场角的计算公式如下：

；

；

其中，为主光学系统的方位视场角角度，/>为主光学系统的俯仰视场角角度，/>为图像宽度，/>为图像高度，/>为主光学系统的焦距，/>为探测器像元尺寸。

4.根据权利要求1或2所述的基于视差修正的光电望远镜外挂镜头图像实时配准方法，其特征在于，根据主光学系统的设计图纸或者现场测量方法确定主光学系统视轴与外挂镜头视轴在水平方向和垂直方向的物理距离。

5.根据权利要求1或2所述的基于视差修正的光电望远镜外挂镜头图像实时配准方法，其特征在于，利用激光测距法测量获得目标距离。