CN113850905B - 一种用于周扫型光电预警系统的全景图像实时拼接方法 - Google Patents

Abstract

一种用于周扫型光电预警系统的全景图像实时拼接方法，涉及全景图像拼接技术领域，解决现有图像配准方法存在全景拼接的适用性差且计算复杂度高以及实时性差等问题，本发明提出基于球面三维建模的配准方法，根据光电预警系统以方位360°匀速周视扫描、俯仰可调节的工作模式进行三维空间建模，将不同方位、俯仰角度采集的预警图像统一到世界坐标系，通过光学系统参数信息计算相邻帧图像在不同俯仰角度下的最佳配准线，并基于最佳配准线对待拼接图像进行图像矫直，进而实现更具可视性的全景图像实时拼接。本发明方法的计算复杂度较低，可以满足分辨率更大的预警系统，具有较好的实时性。

Description

一种用于周扫型光电预警系统的全景图像实时拼接方法

技术领域

本发明涉及一种用于周扫型光电预警系统的全景图像实时拼接方法。通过拼接后的全景图像中可疑目标的检测与航迹关联，实现可疑目标的识别和预警。

背景技术

图像拼接是实现全景成像的必要手段，而图像配准是决定全景成像效果的一项关键技术。目前大部分配准方法都是采用模板匹配法、APAP算法及其衍生算法，这些算法存在如下局限性:一是对图像特征依赖程度较高，而光电预警系统图像多为单一的天空、海面背景，重叠区域内的图像特征不明显，特征点对较少，导致配准准确率较低，使得此类算法的适用性较差。二是对于实时视频拼接，易出现误匹配问题，帧间配准结果的不唯一易导致全景视频的不稳定性和不连续性。三是算法的计算复杂度较高，对于图像分辨率较大的预警系统，往往难以满足实时性要求。

光电预警系统采用不同波段红外探测器，通过不间断周视扫描的方式，探测飞行目标蒙皮、发动机及尾焰等各部分的温度，实现无人机等空中来袭目标的监视和预警。相比传统的雷达预警系统，光电测量设备具备高精度角度测量能力，并且抗干扰能力强，隐蔽效果好，反应速度快，漏警率、虚警率、成本低等特点。并能够提供符合人类视觉习惯的目标及背景图像，实现大视场、全方位范围的目标识别、分类，弥补了雷达预警系统低空、隐身目标预警能力不足的问题。通过合理部署多台小型的光电预警设备，建立光电防空网，可在边境、城市等布防区域内实现无人机的有效识别和预警，为武器系统提供辅助引导信息，保卫国家领土和重要设施的安全。

光电预警系统采用两轴稳定平台，实现俯仰可调节，方位360°周扫的工作模式，实现连续图像获取。采用图像拼接技术，实时获取设备预警区域的全景图像。通过对全景图像中可疑目标的检测以及多帧航迹关联运算，剔除虚假目标，实现可疑目标的识别、探测及预警功能。图像拼接是实现全景成像的必要手段，而图像配准是决定全景成像效果的一项关键技术。目前，大部分配准方法都是采用模板匹配法、APAP算法及其衍生算法。

专利CN201711143013.4公开了一种基于SURF特征提取结合CS-LBP描述符的图像拼接方法，首先获取待拼接图像；使用SURF提取待拼接图像的特征点信息；求取上述每个特征点的Harr描述符和CS-LBP描述符；利用上述得到的Harr描述符和CS-LBP描述符，确定待拼接图像的特征点匹配对；利用平滑的渐入渐出法对匹配后的图像进行融合，得到拼接图像。

专利CN201911083159.3公开了一种基于变换矩阵的全景图像拼接的方法。首先对获取图像进行畸变校正和影像去噪等预处理操作；然后通过提取图像中的特征点并对其进行描述，并在非刚性匹配算法运动场插值的基础上，即矢量场共识(VFC)，在全景图像上生成精确特征匹配的方法，利用匹配良好的特征点计算变换矩阵从而实现图像的拼接，最终输出全景图像。

专利CN201611075609.0公开了一种鱼眼图像拼接成全景图像和全景视频的方法及装置，利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；根据经纬度坐标、球面坐标和平面坐标的映射关系，将获取到N个柱面投影图像中每组柱面投影图像的相交区域进行特征点匹配，得到每组柱面投影图像相交区域的匹配特征点对；根据球面坐标和经纬度坐标的映射关系，获取匹配特征点对的姿态矩阵；以所述N个鱼眼镜头中的某一鱼眼镜头的坐标为世界坐标系，利用匹配特征点对的姿态矩阵，计算得到每个鱼眼镜头在世界坐标系中的姿态矩阵；根据每个鱼眼镜头在世界坐标系中的姿态矩阵，确定全景图像中每个像素点的像素值；根据所述全景图像中每个像素点的像素值，获取所述全景图像。

专利CN202110300585.9公开了一种基于最佳缝合线的全景图像拼接方法。首先利用特征匹配算法对具有空间重合区域的待拼接图像进行匹配；计算单应性矩阵，对待拼接图像进行全局单应性变换，投影到同一平面，对齐重叠区域；基于颜色、梯度和相似性定义图像能量函数，在重叠区域基于动态规划，利用最小化图像能量函数搜索一条最佳缝合线；将待拼接图像根据最佳缝合线拼接成全景图像，在全景图像上从最佳缝合线向两侧扩展，根据灰度特征函数选取最佳融合区域；利用图像融合算法对最佳融合区域进行合并处理，得到最终的全景图像。

上述方法均利用特征点匹配实现配准，对于单一天空、海面背景的全景拼接的适用性较差。

发明内容

本发明为解决现有图像配准方法存在全景拼接的适用性差且计算复杂度高以及实时性差等问题，提供一种用于周扫型光电预警系统的全景图像实时拼接方法。

一种用于周扫型光电预警系统的全景图像实时拼接方法，该方法基于光电预警系统实现；该方法由以下步骤实现：

步骤一、将光电预警系统的俯仰轴调整到某一俯仰角度后保持不变，绕方位轴实现360°不间断周扫，获取采集的预警图像，图像数量为N；

步骤二、将同一俯仰角下，不同方位角度的采集的预警图像进行坐标转换，统一到世界标系中；

步骤三、计算相邻帧图像在该俯仰角度下的最佳配准线；根据最佳配准线对待拼接图像依次进行图像矫直；

步骤四、对步骤三矫直后的图像依次进行全景图像拼接。

本发明的有益效果：

本发明提出基于球面三维建模的配准方法，根据光电预警系统以方位360°匀速周视扫描、俯仰可调节的工作模式进行三维空间建模，将不同方位、俯仰角度采集的预警图像统一到世界坐标系，通过光学系统参数信息计算相邻帧图像在某一俯仰角度下的最佳配准线，并基于最佳配准线对待拼接图像进行图像矫直，进而实现更具可视性的全景图像实时拼接。具体具备以下优点：

1)避免了传统配准方法过度依赖图像特征进行配准的弊端，对于天空、海面等特征不明显区域的全景成像具有较好的适用性。

2)根据预警系统的工作模式进行三维空间建模，实现相邻帧间最佳配准线的计算。对于实时的视频拼接，具有较好的稳定性与连续性。

3)该方法的计算复杂度较低，可以满足分辨率更大的预警系统，具有较好的实时性。

附图说明

图1为本发明所述的一种用于周扫型光电预警系统的全景图像实时拼接方法的流程图；

图2为本发明所述的一种用于周扫型光电预警系统的全景图像实时拼接方法中的双轴旋转平台的结构示意图；

图3为光电预警系统工作过程示意图；(a)为光电预警系统采集到的第i帧的示意图；(b)为光电预警系统采集到的第i+1帧的示意图；

图4为基于光电预警系统工作模式的三维空间建模示意图；

图5为相邻帧在二维平面上的成像示意图；

图6为相邻帧在三维空间上的成像示意图；

图7为图像较直前后示意图。

具体实施方式

结合图1至图7说明本实施方式，一种用于周扫型光电预警系统的全景图像实时拼接方法，该方法基于光电预警系统实现。具体的实现过程如下：

步骤一、将光电预警系统的俯仰轴调整到某一俯仰角度后保持不变，绕方位轴实现360°不间断周扫，获取采集的预警图像，图像数量为N；

如图2所示，本实施方式中，包括底座1，依次固定在所述底座1的转台俯仰组件2和转台方位组件3，以及安装在俯仰组件2的相机载荷4；

双轴旋转平台绕垂直轴(方位轴)旋转以实现360°方位周扫，绕水平轴(俯仰轴)旋转以实现俯仰角度可调节(水平俯角为零，抬头为正)。系统的工作过程示意图如图3所示，成像系统首先绕水平轴调整到合理的俯仰角度后保持不变，随后绕垂直轴以固定转速实现360°不间断周扫。图3中(a)为光电预警系统采集到的第i帧的示意图；(b)为光电预警系统采集到的第i+1帧的示意图，周扫过程中，成像的画幅数为N。

步骤二、将同一俯仰角下，不同方位角度的采集的预警图像进行坐标转换，统一到世界标系中；

本实施方式中，基于光电预警系统的工作模式进行三维空间建模，如图4 所示。以预警系统为球体中心，同时该球心既为世界坐标系原点，亦为相机坐标系原点，球体半径为系统中相机的焦距，即r＝f。在相机坐标系x_cy_cz_c中，系统在z＝-f的视平面上成像，图像中心是系统光轴与视平面的交点。则预警图像上任意一个像素点P(x,y)(以左下点为像素坐标系原点，x、y分别为像素点所在图像的列数和行数)在相机坐标系下的坐标为当预警系统进行周扫时，将同一俯仰角度、不同方位角度度采集到的图像进行坐标转换，统一到世界坐标系中。

设世界坐标系为XYZ，当预警系统的仰角为α，方位角为β时，即照相机坐标系x_cy_cz_c绕世界坐标系中的X轴旋转α，绕世界坐标系中的Y轴旋转β，则预警图像上任意像素P(x,y)在世界坐标系XYZ下的坐标(u,v,w)为

其中f是相机的像素焦距，即以像素为单位的焦距值。若已知成像系统的水平视场角FOV_A(或垂直视场角FOV_E)和图像宽度W(或图像高度H)，则系统的像素焦距f为

f＝W/(2tan(FOV_A/2))或f＝H/(2tan(FOV_E/2))(像素) (2)

步骤三、计算相邻帧图像在该俯仰角度下的最佳配准线；根据最佳配准线对待拼接图像依次进行图像矫直；

已知周扫过程中，成像的画幅数为N，则拍摄此相邻帧间预警系统的转角为当预警系统的俯仰角为α时，相邻图像在二维平面上的成像示意图如图5所示，I_i和I_i+1是相邻两幅预警图像。P(x,y)以及P′(x′,y′)是相邻图像共有的两个实物景点，由于系统视角的改变，P′(x′,y′)在两幅图像上的成像位置不同，变形有差异；而P(x,y)点在两幅图像上的成像位置位于图像平面的交线MN上，成像效果相同。于是若找到相邻帧在三维空间中的图像平面交线MN，即可完成配准问题。由上述2可知，在基于光电预警系统工作模式建模的三维空间中，任意方位、俯仰下图像像素在世界坐标系XYZ中都能找到唯一坐标点。则相邻图像在三维空间中的成像示意图如图6所示。

当系统的俯仰角度为α时，第i帧图像I_i的方位角为β_i，则在I_i图像中，任意像素P_i(x_i,y_i)在相机坐标系x_cy_cz_c下的坐标为在世界坐标系 XYZ下的空间坐标为

同样的，当系统的俯仰角度为α时，第i+1帧图像I_i+1的方位角为β_i+1，则在I_i+1图像中，任意像素P_i+1(x_i+1,y_i+1)在相机坐标系x′_cy′_cz′_c下的坐标为在世界坐标系XYZ下的空间坐标为：

其中，β_i和β_i+1满足β_i+1＝β_i+β_差，由于相邻帧交于MN线，则联立公式(3) (4)，即当求解出俯仰角为α时，相邻帧的最佳配准线MN在图像I_i和I_i+1上的像素点位置(x_i,y_i)和(x_i+1,y_i+1)，求解结果如下：

y_i＝y_i+1 (4)

当y_i取[0,H)值，x_i和x_i+1都有唯一解。

步骤四、对步骤三矫直后的图像依次进行全景图像拼接。

当找到相邻帧的最佳配准线后，逐帧拼接即可得到周扫360°的全景图像。但由于旋转轴与视轴不正交，导致仰角越高，视场重叠区域越大，如图5所示，相邻帧的重叠区域为不规则六边形B′M₂CFN₂E，则相邻帧拼接后的全景图像将为扇环形图像，为使得拼接后的全景图像更具有可视性，在拼接前对图像进行基于最佳配准线的图像矫直。

如图5所示，由上述3可知待矫直的图像I_i的最佳配准线M₁M₁、M₂M₂的像素坐标分别为(M₁.x,M₁.y)、(N₁.x,N₁.y)、(M₂.x,M₂.y)、(N₂.x,N₂.y)，矫直后四个顶点坐标分别为(0,0)、(0,H-1)、(W-1,0)、(W-1,H-1)。利用矫直前后的四对坐标，计算透射变换矩阵，作用于整个全景待拼接图像，并进行双线性插值完成图像矫直，则矫直后的全景图像示意图如图7所示。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种用于周扫型光电预警系统的全景图像实时拼接方法，该方法基于光电预警系统实现；其特征是：该方法由以下步骤实现：

步骤一、将光电预警系统的俯仰轴调整到某一俯仰角度后保持不变，绕方位轴实现360°不间断周扫，获取采集的预警图像，图像数量为N；

步骤二、将同一俯仰角下，不同方位角度的采集的预警图像进行坐标转换，统一到世界坐标系中；

进行三维建模；以所述光电预警系统为球体中心，同时该球体中心作为世界坐标系原点，亦为相机坐标系原点，球体半径为系统中相机的焦距，即r＝f；在相机坐标系x_cy_cz_c中，光电预警系统在z＝-f的视平面上成像，预警图像中心是光电预警系统光轴与视平面的交点；则预警图像上任意像素点P(x,y)在相机坐标系下的坐标为W为预警图像的宽度，H为预警图像的高度；

当预警系统进行周扫时，将同一俯仰角度、不同方位角度采集到的图像进行坐标转换，统一到世界坐标系中；

步骤三、计算相邻帧图像在该俯仰角度下的最佳配准线；根据最佳配准线对待拼接图像依次进行图像矫直；

计算所述最佳配准线的具体过程为：

当光电预警系统的俯仰角度为α时，第i帧图像I_i的方位角为β_i，则在图像I_i中，任意像素P_i(x_i,y_i)在相机坐标系x_cy_cz_c下的坐标为在世界坐标系XYZ下的空间坐标为：

第i+1帧图像I_i+1的方位角为β_i+1，则在图像I_i+1中，任意像素P_i+1(x_i+1,y_i+1)在相机坐标系x′_cy′_cz′_c下的坐标为在世界坐标系XYZ下的空间坐标为：

式中，β_i和β_i+1满足β_i+1＝β_i+β_差，根据相邻帧交于三维空间中的图像平面交线MN，则联立图像I_i和图像I_i+1的各像素空间坐标公式，即当求解出俯仰角为α时，相邻帧的最佳配准线在图像I_i和图像I_i+1上的像素点位置(x_i,y_i)和(x_i+1,y_i+1)，用下式表示为：

y_i＝y_i+1

当y_i取[0,H)值，x_i和x_i+1均有唯一解；

对图像矫直的具体过程为：

将图像I_i作为待矫直的图像，所述图像I_i最佳配准线M₁M₁、M₂M₂的像素坐标分别为(M₁.x,M₁.y)、(N₁.x,N₁.y)、(M₂.x,M₂.y)、(N₂.x,N₂.y)，矫直后四个顶点坐标分别为(0,0)、(0,H-1)、(W-1,0)、(W-1,H-1)；采用矫直前后的四对坐标，计算透射变换矩阵，作用于整个全景待拼接图像，并进行双线性插值完成图像矫直；

步骤四、对步骤三矫直后的图像依次进行全景图像拼接。

2.根据权利要求1所述的一种用于周扫型光电预警系统的全景图像实时拼接方法，其特征在于：所述光电预警系统为双轴旋转平台，所述双轴旋转平台包括底座，依次固定在所述底座的转台俯仰组件和转台方位组件，以及安装在转台俯仰组件的相机载荷；所述双轴旋转平台绕垂直轴，即方位轴，旋转以实现360°方位周扫，绕水平轴，即俯仰轴，旋转以实现俯仰角度可调节。

3.根据权利要求1所述的一种用于周扫型光电预警系统的全景图像实时拼接方法，其特征在于：

设定世界坐标系为XYZ，当光电预警系统的仰角为α，方位角为β时，即相机坐标系x_cy_cz_c绕世界坐标系XYZ中的X轴旋转α，绕世界坐标系XYZ中的Y轴旋转β，则预警图像上任意像素P(x,y)在世界坐标系XYZ下的坐标(u,v,w)为：

4.根据权利要求3所述的一种用于周扫型光电预警系统的全景图像实时拼接方法，其特征在于：

若已知光电预警系统成像的水平视场角FOV_A和图像宽度W或垂直视场角FOV_E和图像高度H，则相机的焦距f为：

f＝W/(2tan(FOV_A/2))或f＝H/(2tan(FOV_E/2))。

5.根据权利要求1所述的一种用于周扫型光电预警系统的全景图像实时拼接方法，其特征在于：拍摄相邻帧间预警图像时，所述光电预警系统的转角为N为图像数量。