CN114255617A

CN114255617A - 舰载机着舰引导3d显示方法

Info

Publication number: CN114255617A
Application number: CN202111516268.7A
Authority: CN
Inventors: 张祥锋; 赵健; 陈杨博; 刘政; 苟智胜; 张宗泽
Original assignee: Beijing Shenrong Technology Co ltd
Current assignee: Beijing Shenrong Technology Co ltd
Priority date: 2021-12-13
Filing date: 2021-12-13
Publication date: 2022-03-29
Anticipated expiration: 2041-12-13
Also published as: CN114255617B

Abstract

本发明提供一种舰载机着舰引导3D显示方法，本方法将两台摄像机布置在跑道两侧对称的位置；然后进行摄像机内外参数标定，在船体相对稳定的时间段内，用三维控制点的方法标定摄像机在船体坐标系上的内外参数，内参数包括摄像机焦距、主点和像差系数，外参数包括摄像机的光心位置和光轴指向；之后再甲板变形修正和舰载机距离信息获取，根据摄像机内外参数和舰载机距离信息，计算理想下滑道在图像中的位置，叠加上十字丝；最后截取两台摄像机获得的图像中的相应区域，送3D显示器上显示。本发明能够避免摄像机现有布置方式经常被舰载机碾压或者布置在一侧容易产生错觉的问题，并且可以自己修正安装位置的变形；可以自己获得舰载机距离信息。

Description

舰载机着舰引导3D显示方法

技术领域

本发明涉及舰载机着舰引导方法，具体是运用图像处理、摄像测量和3D显示等技术，将着舰引导摄像机获得的舰载机着舰过程视频图像以3d形式显示，辅助舰载机着舰指挥员（LSO）完成着舰引导。

背景技术

舰载机一般采用等角下滑方式着舰。如果将一台摄像机布置在跑道中线上的理想着舰点位置拍摄舰载机着舰过程，那么舰载机如果一直按理想下滑道飞行的话，它将一直保持在摄像机图像上的一个固定位置。将这个视频图像提供给LSO，可以为LSO提供直观的舰载机着舰过程偏离理想下滑道的信息，辅助完成舰载机着舰引导。

由于摄像机一般固定安装在甲板上，摄像机会随船体一起运动，因此需要用船体惯导信息对船体运动引起的摄像机运动进行运动补偿。而且甲板可能存在较大变形，如果直接用主惯导信息进行补偿的话，可能存在较大误差，因此一般会在摄像机基座上安装了局部惯导以提供运动信息用于运动补偿。

由于摄像机一般不能正好布置在理想着舰点而是布置在跑道中线的前部，因此理想下滑道不是图像上的固定点。理想下滑道在图像中的上下位置会随目标距离而变化，需要根据其他引导设备（如雷达）提供的舰载机距离信息，将理想下滑道以十字丝的形式叠加在图像上指示理想下滑道，显示给LSO，以判断舰载机下滑是否偏离理想下滑道。

在中线不适宜布设摄像机时，也可以将摄像机布置在跑道一侧，那么，舰载机在图像中的左右位置也会随目标距离而变化，同样需要根据舰载机距离信息，以叠加十字丝的方式指示理想下滑道。

目前的着舰引导电视存在一定的问题。一是，摄像机如果布置在中线上，容易被舰载机碾压造成损害坏；二是，如果布置在侧面，会给LSO产生舰载机即使是按理想下滑道飞行，也像是向一侧偏移的错觉；三是，必须要局部惯导提供平台运动和变形信息。四是，必须要其他引导设备提供距离信息。

发明内容

针对现有技术的缺陷，本发明提供一种舰载机着舰引导3D显示方法，避免摄像机现有布置方式经常被舰载机碾压或者布置在一侧容易产生错觉的问题，并且可以自己修正安装位置的变形；可以自己获得舰载机距离信息。

为了解决所述技术问题，本发明采用的技术方案是：舰载机着舰引导3D显示方法，包括以下步骤：

S01）、摄像机布置，将两台摄像机布置在跑道两侧对称的位置；

S02）、摄像机内外参数标定，在船体相对稳定的时间段内，用三维控制点的方法标定摄像机在船体坐标系上的内外参数，内参数包括摄像机焦距、主点和像差系数，外参数包括摄像机的光心位置和光轴指向；

S03）、甲板变形修正，摄像机基座固定安装在船体甲板上随船体一起运动，同时甲板产生变形使摄像机指向产生变化；船体运动用主贯导信息进行补偿，甲板变形引起的摄像机指向变化通过提取视场内甲板上的固定点变化量进行修正；

S04）、舰载机距离信息获取，通过对两台摄像机图像中的舰载机进行目标识别跟踪，再进行三角交会获得舰载机在船体坐标系下的空间坐标，其中包括舰载机的距离信息；

S05）、理想下滑道十字丝叠加，采用十字丝指示舰载机在图像中的理想空间点，根据摄像机内外参数和舰载机距离信息，计算理想下滑道在图像中的位置，叠加上十字丝；

S06）、3D显示，截取两台摄像机获得的图像中的相应区域，送3D显示器上显示。

进一步的，步骤S02）中，摄像机内外参数标定方法如下：

S21）、在甲板上，摄像机的视场内，布置若干个固定点作为标定的控制点；

S22）、用全站仪测量控制点在船体坐标系下的三维坐标；

S23）、用待标定的摄像机拍摄这些控制点，判断控制点的图像坐标；

S24）、将控制点的三维坐标值和对应的图像二维坐标值代入摄像机针孔模型，采用直接线性变换法或两步法算法，解算得到摄像机的内外参数。

进一步的，步骤S03）中，甲板变形引起的摄像机指向变化的修正方法为：

S31）、在摄像机安装后进行标定时，记录摄像机视场远距离的两个或两个以上船体的固定点图像坐标，作为变形修正的控制点；

S32）、在设备运行时拍摄的每帧图像中，提取这些控制点的图像坐标，与标定时的坐标值进行对比，得到由于甲板变形引起的摄像机指向变化；

S33）、根据S32）得到的变化量进行修正，将控制点在图像中的位置修回到标定时位置，消除甲板变形影响。

进一步的，步骤S04）中，距离信息获取过程为：

S01）、提取目标在图像中的坐标；

S02）、根据摄像机成像原理，目标空间点、目标图像点和摄像机光心三点共线，将目标图像坐标结合事先标定得到的摄像机内外参数确定这条空间直线，目标空间点就在这条直线上；

S03）、根据三角交会原理，两台摄像机得到的两条空间直线的交点就是目标的三维位置，其中，X坐标值就是舰载机的水平距离，Y坐标值就是舰载机的竖直距离，Z坐标值就是舰载机的垂直距离。

进一步的，步骤S05）中，十字丝计算方法为：

S51）、计算理想下滑道在当前舰载机距离时，在船体坐标系下的三维坐标；

S52）、根据事先标定得到的摄像机内外参数，将以上三维坐标投影到摄像机图像上，即得到船体坐标系下的理想下滑道十字丝中心；

S53）、大地坐标系下的十字丝中心需要根据主惯导信息进行修正，十字丝中心的高低根据主惯导的纵摇修正，左右根据首摇修正；

S54）、十字丝的水平线方向根据主惯导的横摇确定。

进一步的，步骤S06）中，显示区的上下区域范围按如下方法截取：

截取大小为显示器垂直分辨率大小，使十字丝位置为图像垂直方向的中间位置；

显示区的左右区域范围按如下方法截取：

截取大小为显示器水平分辨率大小，使左右两个摄像机图像的十字丝间距为：

（d * L /D-l）/（L* d /D）*d，

其中：D为两个摄像机间距，d为人眼瞳孔间距，L为舰载机到摄像机的距离，l为3D显示器到LSO的距离。

进一步的，步骤S01）中，摄像机固定安装，两台摄像机的视场覆盖整个舰载机的下滑道。

进一步的，步骤S01）中，摄像机安装在跟踪转台上或者使用变焦镜头。

本发明的有益效果：本发明将两个摄像机布置在跑道两侧对称的位置，可以避免摄像机布置在中线经常被舰载机碾压，容易损坏；布置在一侧，容易产生错觉的问题。同时设置了一套修正安装位置变形的方法和获得舰载机距离的方法，可以自动修正安装位置的变形和获取舰载机距离信息，根据3D 显示要求截取所需图像区域送到3D显示器上显示，为LSO提供舰载机着舰视频图像，辅助LSO完成着舰引导。

附图说明

图1为本方法的原理示意图；

图2为摄像机布置的水平示意图；

图3为摄像机布置的垂直示意图；

图中：1、舰载机，2、摄像机I，3、摄像机II，4、计算平台，5、控制显示器，6、飞行眼镜。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

实施例1

本实施例公开一种舰载机着舰引导3D显示方法，本方法在跑道两侧各布置一台摄像机拍摄舰载机下滑过程；首先对两台摄像机进行标定，然后通过对这两台摄像机拍摄的图像进行处理，获得甲板变形信息和舰载机的距离信息；据此再结合主惯导信息在图像上叠加指示理想下滑道的十字丝；最后根据3D 显示要求截取所需图像区域送到3D显示器上显示，为LSO提供舰载机着舰视频图像，辅助LSO完成着舰引导。

具体实施步骤如下：

S01）、摄像机布置，如图1、2、3所示，将摄像头I 2和摄像头II 3布置在跑道两侧对称的位置，舰载机1沿跑道中线下滑着舰，摄像头I 2和摄像头II 3拍摄舰载机1下滑着舰过程的视频，摄像头I 2和摄像头II 3与计算平台4相连，将拍摄的视频传递至计算平台4，计算平台4对这两台摄像机拍摄的图像进行处理，获得甲板变形信息和舰载机的距离信息；据此再结合主惯导信息在图像上叠加指示理想下滑道的十字丝；最后根据3D 显示要求截取所需图像区域送到控制显示器5上显示，LSO佩戴飞行眼镜观看此3D视频，从而辅助LSO完成着舰引导。

本实施例中，摄像机可以是固定安装，两台摄像机的视场应覆盖整个舰载机的下滑道。

摄像机也可以安装在跟踪转台上，也可以使用变焦镜头，以提高舰载机图像的清晰度。

两台摄像机安装如果不对称，可以通过图像变换进行一定的修正。

S02）、摄像机内外参数标定，

在船体相对稳定的时间段内（标定过程中船体变形相对较小），用三维控制点的方法标定摄像机在船体坐标系下的内外参数。内参数包括摄像机焦距、主点和像差系数，外参数包括摄像机的光心位置和光轴指向。

摄像机内外参数标定方法如下：

1、在甲板上，摄像机的视场内，布置一些固定点作为标定的控制点；

2、用全站仪测量这些点在船体坐标系下的三维坐标；

3、用待标定的摄像机拍摄这些控制点，判读控制点的图像坐标；

4、将控制点的三维坐标值和对应的图像二维坐标值代人摄像机针孔模型，采用“直接线性变换法”或“两步法”等算法，解算得到摄像机的内外参数。

S03）、甲板变形修正

摄像机基座固定安装在船体甲板上会随船体一起运动；甲板还会产生变形使摄像机指向产生较大变化。

船体运动可以用主惯导信息进行补偿。

甲板变形引起的摄像机指向变化可以通过提取视场内甲板上的固定点变化量进行修正。

变形修正方法如下：

1、在摄像机安装后进行标定时，记录摄像机视场远距离的两个或两个以上船体的固定点图像坐标，作为变形修正的控制点；

2、在设备运行时拍摄的每帧图像中，提取这些控制点的图像坐标，与标定时的坐标值进行对比，可以得到由于甲板变形引起的摄像机指向变化。以两个控制点为例，变形修正量计算方法如下：

，

其中（x₁₀,y₁₀），（x₂₀,y₂₀）是标定时控制点坐标，（x₁,y₁），（x₂,y₂）是变形后控制点图像坐标。

3、根据2得到的变化量对图像进行修正，将控制点在图像中的位置修回到标定时位置，消除甲板变形影响。

S04）、舰载机距离信息获取

通过对两台摄像机图像中的舰载机进行目标识别跟踪，再进行三角交会获得舰载机在船体坐标系下的空间坐标，其中包括舰载机的距离信息。

距离信息获取方法如下：

1、提取目标在图像中的坐标，提取可以采用相关或特征识别等方法；

2、根据摄像机成像原理，目标空间点、目标图像点和摄像机光心三点共线，将目标图像坐标结合事先标定得到的摄像机内外参数，可以确定这条空间直线，目标空间点就在这条直线上。

3、根据三角交会原理，两台摄像机得到的两条空间直线的交点就是目标的三维位置，其中，X坐标值就是舰载机的水平距离。

S05）、理想下滑道十字丝叠加

国际通用的方法是采用十字丝指示舰载机在图像中的理想空间点。采用根据摄像机内外参数和舰载机距离信息，计算理想下滑道在图像中的位置，叠加上十字丝。

十字丝计算方法：

1、计算理想下滑道在当前舰载机距离时，在船体坐标系下的三维坐标；

2、根据事先标定得到的摄像机内外参数，将以上三维坐标投影到摄像机图像上，即得到船体坐标系下的理想下滑道十字丝中心；

3、大地坐标系下的十字丝中心需要根据主惯导信息进行修正，十字丝中心的高低根据主惯导的纵摇修正，左右根据首摇修正；

4、十字丝的水平线方向根据主惯导的横摇确定。

其中，大地坐标系为，原点：理想着舰点；X轴：船体首尾线在当地水平面上的投影，指向船首为正；Y轴：当地水平面内与X轴垂直方向，指向左舷为正；Z轴：与X、Y轴垂直，向上为正，构成右手系。船体坐标系为，原点：理想着舰点；X轴：甲板平面内首尾线方向，指向船首为正；Y轴：甲板平面内与首尾线垂直方向，指向左舷为正；Z轴：与X、Y轴垂直，向上为正，构成右手系。

S06）、3D显示

截取两台摄像机获得的图像中的相应区域，送3D显示器上显示。

显示的上下区域范围按如下方法截取：

显示的左右区域范围按如下方法截取：

（d * L /D-l）/（L* d /D）*d；

其中：D为两个摄像机间距，d为人眼瞳孔间距，L为舰载机到摄像机的距离，l为3D显示器到LSO的大致距离。

以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims

1.舰载机着舰引导3D显示方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的舰载机着舰引导3D显示方法，其特征在于：步骤S02）中，摄像机内外参数标定方法如下：

S22）、用全站仪测量控制点在船体坐标系下的三维坐标；

3.根据权利要求2所述的舰载机着舰引导3D显示方法，其特征在于：步骤S03）中，甲板变形引起的摄像机指向变化的修正方法为：

4.根据权利要求2所述的舰载机着舰引导3D显示方法，其特征在于：步骤S04）中，距离信息获取过程为：

S01）、提取目标在图像中的坐标；

5.根据权利要求1所述的舰载机着舰引导3D显示方法，其特征在于：步骤S05）中，十字丝计算方法为：

S54）、十字丝的水平线方向根据主惯导的横摇确定。

6.根据权利要求1所述的舰载机着舰引导3D显示方法，其特征在于：步骤S06）中，显示区的上下区域范围按如下方法截取：

显示区的左右区域范围按如下方法截取：

（d * L /D-l）/（L* d /D）*d，

7.根据权利要求1所述的舰载机着舰引导3D显示方法，其特征在于：步骤S01）中，摄像机固定安装，两台摄像机的视场覆盖整个舰载机的下滑道。

8.根据权利要求1所述的舰载机着舰引导3D显示方法，其特征在于：步骤S01）中，摄像机安装在跟踪转台上或者使用变焦镜头。