CN110930508A - 二维光电视频与三维场景融合方法 - Google Patents

Abstract

本发明公开了一种二维光电视频与三维场景融合方法，主要包括地理定位，图像畸变校正，图像配准与动态纹理映射四个部分。该方法能够将二维光电视频融合在三维地形表面，呈现给观察员的是三维空间维度中的一个连续对接并且地理位置上配准的场景，该场景既能展现动态活动中心区域，也能展现传感器周围区域地形地貌特点，观察员能在一副画面中看到包含动静结合的两类信息。这样能够结合二者数据的优势，即光电视频数据的实时性以及地形数据的广域性，提供给飞行员一个更好的感知周围态势的方案，本发明在提高飞行安全、目标侦察，目标跟踪以及路线分析、态势感知方面都有一定的应用潜力。

Description

二维光电视频与三维场景融合方法

技术领域

本发明属于光电侦察、态势感知领域，主要涉及一种二维光电视频与三维场景融合方法。

背景技术

机载平台上的光电传感器探测数据，相对于三维数字地图数据，其以二维视频形式呈现具有实时动态的优点，比如动态的地面目标跟踪或者敌方动态活动侦察，但都受限于探测视场、距离和区域，只能以固定视角呈现有限视场区域范围内的图像，探测区域外的地形地貌特征无法感知。三维数字地图能够以任意视点和视角呈现三维地形地貌特征，其优点在于能展现任意远近距离和范围内的地形场景，但构建三维地图的数据一般都有一定的滞后性，展现的场景也只能是具有静态不变特性的信息，比如地形地貌和没有变化过的地面基础设施和人工建筑等，无法展现具有动态特征的信息，比如地面车辆、行人等目标。

将二维的光电视频数据融合在三维的数字地图上能够结合二者的优势，提供新的技术优势。在直升机飞行安全导航领域以及无人机情报侦察领域对这一技术具有明确的需求。直升机和无人机在飞行各个阶段，三维数字地图能够帮助飞行员感知外部飞行环境，光电视频主要进行战术目标跟踪、情报侦察等活动，将二者信息有效的融合，能够提供超出预期的战场优势，比如目标跟踪和侦察时，能够协助预测地面运动目标的路线，能够根据地图提供的空间关系、路网信息和地面目标类型，甚至预测最佳打击位置和时机等。

现有实际应用中都是将传感器的二维视频和电子地图放在两个屏幕显示的系统，这种技术需要观察员自己在两个屏幕中切换并且自己去思考二者对应关系；也有现有技术是在电子地图屏幕中开一个独立的软件窗口去显示传感器二维视频，这种技术没有实现二者数据的有效的融合，两者画面本质是还是独立的各自的内容，二者内容之间的相关性也不能体现。

发明内容

针对现有技术存在的直升机光电传感器图像与虚拟三维场景(三维数字地图)的融合问题，本发明提出一种二维光电视频与三维场景融合方法，能够将二维的光电视频融合在三维地形表面，呈现给观察员的是三维空间维度中的一个连续对接并且地理位置上配准的场景，该场景既能展现动态活动中心区域，也能展现传感器周围区域地形地貌特点，观察员能在一副画面中看到包含动静结合的两类信息。比如，既有视频提供的地面目标车辆，又有地图提供的地面路网信息和地理空间信息。这样能够结合二者数据的优势，即光电视频数据的实时性以及地形数据的广域性，提供给飞行员一个更好的感知周围态势的方案，本发明在提高飞行安全、目标侦察，目标跟踪以及路线分析、态势感知方面都有一定的应用潜力。

本发明中为了解决二维光电视频与三维数字地图的融合问题，将该过程分为四个流程分别解决地理定位问题，解决光电视频的图像畸变校正问题，解决光电视频与三维数字地图中对应位置的配准问题，解决二维光电视频与三维地形的纹理映射问题。再分别解决上述几个问题之后，将各个流程的结果进行集成，可以实现在三维数字地图中较为准确的融合二维光电视频。

本发明的技术方案为：

所述一种二维光电视频与三维场景融合方法，其特征在于：包括以下步骤：

步骤1：地理定位：

实时获取载机在地心坐标系中的空间位置；实时根据载机中光电稳瞄系统的瞄准线姿态和视场确定光电稳瞄系统的四棱锥视场姿态，并结合载机在地心坐标系中的空间位置，获得光电稳瞄系统四棱锥视场在地心坐标系中的空间位置和姿态，并计算得到四棱锥视场中四条棱线的空间位置和姿态；

根据四条棱线的空间位置和姿态，结合已经构建完成的三维地形曲面，利用K-Dtree求交算法可求得四条棱线与三维地形曲面的交点；

以光电稳瞄系统的瞄准线在所述三维地图区域中的交点为中心点，将中心点与四个所述交点的连线外扩N倍，得到四个新交点；根据四个新交点在三维地形曲面中的位置，以及光电稳瞄系统的瞄准线姿态，利用K-Dtree求交算法得到四个新交点依次相连的四条曲线，进而得到由四条曲线围成的扩展三维地图区域；

步骤2：图像畸变校正

实时获取光电稳瞄系统采集的图像数据，对光电稳瞄系统的径向和切向畸变参数进行标定，并根据标定后的畸变矫正模型得到校正后的图像；

步骤3：图像配准：

将经过校正后的光电稳瞄系统采集的图像与扩展三维地图区域进行特征提取、特征描述和特征匹配，从而确定光电稳瞄系统实时采集图像在三维地形曲面中的位置；

步骤4：动态纹理映射：

将光电稳瞄系统实时采集图像映射到配准后的三维地形曲面对应区域，完成将二维影像与三维场景的融合。

有益效果

本发明的整体技术效果体现在以下几个方面。

(一)本发明在设计通过相关技术手段实现在三维数字地图中镶嵌三维化的光电视频，与三维场景较为准确对接，形成连续一致对接的三维态势感知环境。对于工作负荷极高的飞行员感知外部态势和特定目标具有非常直观的效果。

(二)本发明生成的综合视觉环境能够让观察者始终保持以三维空间观察的优势，继承三维空间多视角观察特点，从不同视角观察实时信息。该技术的特点是为直升机在着陆降落阶段事故多发的问题提供技术支撑。

(三)本发明利用二维三维的匹配融合，可对光电图像内的任意目标或位置(或者对应的像素点)，提供快速的持续的目标地理定位能力，结合宏观数字地图的态势感知，能够有效预测锁定目标的行动路线。现有技术能对多个目标同时提供地理定位能力，在此基础上，可进一步对目标运行路线进行空间可视化，为其它战术应用提供重要基础。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明中方法的流程组成示意图。

图2是本发明中地理定位示意图。

图3是地理定位中求取视场框线与三维地形交点示意图。

图4是根据模拟数据计算得到的地理定位区域。

图5是分别对数字地图定位区域和光电探测区域进行图像配准的流程。

图6a和图6b是根据相位一致性方法提取的数字地图和光电图像特征效果图。

图7a和图7b是根据畸变参数对标定图像进行校正的效果图。

图8是在配准区域上进行光电视频映射后的效果示意图。

具体实施方式

如图1所示，本发明中的二维光电视频与三维场景融合方法方法分为四个模块，包括地理定位、畸变校正、图像配准和动态纹理映射。结合惯导提供的载机姿态角度、载机位置和瞄准线信息以及可视化的三维场景，实现地理定位。对传感器图像结合标定过程确定的畸变参数进行矫正。根据地理定位的结果，将定位区域的图像与实时光电探测视频帧进行图像配准。最后根据偏移补偿后的区域，采用校正后的图像作为纹理进行映射。下面对具体计算过程详述：

(一)地理定位：

地理定位过程为：根据载机位置和姿态数据可确定其在绝对大地中的空间位置，根据LOS(光电稳瞄系统)姿态和视场大小可确定四棱锥视场的姿态，但是二者上报数据属于不同坐标系下，通过进行空间矩阵转换计算，得到近实时的四棱锥空间绝对位置和姿态，从而可以计算出视场四条框线的空间姿态，在已知三维地形曲面的前提下，利用K-Dtree求交算法可求得四条框线与三维地形曲面的交点，四棱锥每个侧面与地形表面相交，得到四条曲线围成的区域即是视频地理空间，如图2所示。

地理定位过程涉及多个坐标系之间的转换过程，涉及的坐标系包括地心坐标系、初始东北天坐标系、飞机东北天坐标系、光电稳瞄坐标系四个坐标系。最终所有空间数据都需要转换到地心坐标系。

地心坐标系O_e-x_ey_ez_e是原点o_e在地球中心的迪卡尔正交坐标系，O_ez_e与地球自转轴重合，朝上为正。O_ex_e在赤道平面内指向格林威治子午线，O_ey_e在赤道平面内，指向遵循右手定则。由经纬度可以确定地球表面的某点在地球坐标系中的位置。

初始东北天坐标系O_o-X_oY_oZ_o：原点O_o是飞机在地面的投影点，X轴沿地球纬度线的切线正东方向，Y轴沿地球经度线的切线正北方向，Z轴垂直于地面朝天，即球心与O_o点的连线方向。

飞机东北天坐标系O₁-X₁Y₁Z₁：原点O₁是飞机质心，X₁正向沿正东方向，Y₁正向沿正北方向，Z₁正向是地球地心与点连线朝天方向。

飞机机轴坐标系O₁-X₂Y₂Z₂：原点O₁是飞机质心，X₂正向是从飞机左翼指向右翼的方向，Y₂正向是纵向机轴指向航向方向，Z₂轴和X₂Y₂轴构成右手坐标系。

光电稳瞄坐标系O₃-X₃Y₃Z₃：原点O₃是探测器回转中心，X₃轴是探测器面阵的主横线，Y₃轴沿探测器面阵的主纵线且指向飞机航向，Z₃轴垂直于X₃Y₃平面且指向天，构成右手坐标系。

载机位置和姿态矩阵的计算过程，记为M_o，该矩阵实际包含了载机位置转化到地心坐标系的位置和姿态变化信息，其初始姿态为初始东北天坐标系下的姿态。

位置姿态矩阵M₀按照如下公式进行计算：

其中，u，v，n构成的3x3为旋转阵，p为位置阵，二者共同构成了转换矩阵，u，v，n构成的旋转阵按照如下公式计算：

u＝[u_x,u_y,u_z]＝[-sinl,cosl,0]

v＝[v_x,v_y,v_z]＝[coslsinb,sinbsinl,-cosb]

n＝[n_x,n_y,n_z]＝[coslcosb,sinlsinb,sinb]

其中b，l分别是惯导给出的载机纬度和经度，H为载机高度。P构成的位置阵按照如下公式进行计算：

p＝[p_x,p_y,p_z]

其中：

p_x＝(N+H)cosbcosl

p_y＝(N+H)cosbsinl

p_z＝[(N(1-e²)+H]sinb

其中：

a，b分别为地球半径长短半径。

飞行过程中姿态的调整用另一个矩阵M_{plane-attitude}表示，该矩阵记录的是飞机瞬时的姿态调整过程，所以其内容实际是由旋转矩阵转化得到的齐次矩阵，由实时采集惯导系统数据计算得到。M_{plane-attitude}按照如下公式进行计算：

其中：

分别是载机姿态的横滚角、俯仰角和方位角。

光电载荷平台在载机坐标系中的位置由平移矩阵转化为齐次矩阵可计算得到，转换过程为：由平移位置坐标直接替换齐次矩阵中位置阵部分即可，记为M_EO-translate。位置阵M_EO-translate的计算过程与M_{plane-attitude}类似，替换其中位置矩阵即可。

瞄准线在载机坐标系下的姿态矩阵记为M_los-attitude。姿态矩阵M_los-attitude的计算过程为可参考M₀的计算，计算旋转矩阵，替换其中对应部分。

而构成视场的四条线框与瞄准线的初始位置有一定的旋转角度，视场不变的情况下，后续运动始终保持相对不变的偏移，其相对偏移可采用基于四元数的模型表征，线框旋转矩阵对应的齐次矩阵记为M_{fov-left-up-rotate}。

视场如果发生变化，根据变化值实时计算M_{fov-left-up-rotate}即可。

根据上述计算过程，可建立三维空间中视场框线的运动模型，在地心坐标系下视场框线位姿矩阵记M_FOV-MOVE为，该矩阵可按照如下公式计算：

M_FOV-MOVE＝M_{fov-left-up-rotate}·M_EO-translate·M_{plane-attitude}·M_o

视场外框线是一条直线，该直线有两点坐标确定，假设起点坐标为P_start，末端为终点坐标P_end，起点坐标对应的载机的空间位置，终点空间位置可自行设置，设置的原则为确保其长度大于飞机到地面的斜距，从而保证该直线与地面有交点。本实施案例中设置该直线长度为50km，直线的末端本地坐标转换得到

P_start(x,y,z)＝M_airplan.getTranslate()

getTranslate()是从位姿矩阵中获取空间位置坐标信息

M_{start-airplan}＝f(P_start(x,y,z))，

将该坐标转化为齐次矩阵，

P_{end_local_los}＝(0,lenth_of_LOS,0)

P_{end_local_fov_1}＝(lenth_of_LOS·tan(α/2),lenth_of_LOS,lenth_of_LOS·tan(β/2))

M_{start-airplan}＝f(P_{end_local_fov_1}()),

同样转化为齐次矩阵，α,β分别代表了视场的方位角和俯仰角，lenth_of_LOS代表了系统中原始设置的瞄准线的长度，为了能够与三维地形表面相交，一般设置该值会比较大，假设视场框线与三维地形表面的交点为P_{fov_end_global}，则：

P_{fov_end_global}＝(M_{start-airplan}·M_{mat_fov_left_up}).getTranslate()

得到了视场框线上面两个点的坐标，同时具备了三维地形表面的模型，视场与地面的求交问题，利用K-Dtree迭代算法求解。K-Dtree算法输入条件为：在统一的地心坐标系下，框线上两个已知点的三维坐标和确定的三维曲面。由此求解交点T的坐标。两点坐标分别记为起点P和终点E，P为载机位置，E为根据框线延长后穿透地面的末端端点。起点、终点经前文计算过程为已知量，三维地形表面已知，如图3所示，求其交点T的坐标利用K-Dtree迭代可得到。

按照上述同样的方法，视场的四条棱线与三维地形表面的交点可以求解，效果如图4所示。因此可以定位出探测视场与三维地形表面相交的地理区域，即地理定位的结果可计算得到。

经过之前的地理定位，得到光电稳瞄系统探测视场与三维地形的四个交叉点，对应为图4中探测区域。但是由于地理定位过程本身是以载机位姿系统提供的位置和姿态数据，根据空间模型计算得到探测区域的地理位置，该过程会引入以下几方面的误差，一是位姿系统本身的数据误差，二是空间模型会对误差放大，三是光电平台的安装误差和角报告精度误差。所以针对该地理定位区域，采取扩大1.5倍区域的措施。

具体的区域扩展思路如下：以光电稳瞄系统的瞄准线在地理定位区域中的交点为中心点，将中心点与四个所述交点的连线外扩1.5倍，得到四个新交点；根据四个新交点在三维地形曲面中的位置，以及光电稳瞄系统的瞄准线姿态，进而得到由四条曲线围成的扩展地理定位区域；扩展地理区域的计算方法同样利用上述K-Dtree求交算法得到。

(二)图像畸变校正：

由于实际中透镜的使用，以及加工制造上的原因，在光电成像系统中总会引入不同程度的畸变，这里我们主要描述两种主要的透镜畸变，并且为它们建模。针对畸变矫正模型中的畸变参数，可利用相机标定方法求解。将畸变参数带入矫正模型中，可对光电图像像素进行位置矫正。

(1)畸变模型

径向畸变来自于透镜形状，径向畸变一个明显的特征是图像在成像边缘区畸变比较严重，这是因为径向畸变在光学中心的畸变为零，光线向边缘移动，畸变越来越严重，成像设备中某点的镜像位置，按如下模型进行调节，(x,y)是畸变点在成像设备上的原始位置，(x_corrected,y_corrected)是矫正后的新位置，r为该点距离成像中心的距离，径向畸变用三个参数描述k₁，k₂，k₃：

x_corrected＝x(1+k₁r²+k₂r⁴+k₃r⁶)

y_corrected＝y(1+k₁r²+k₂r⁴+k₃r⁶)

切向畸变来自于整个成像设备的组装过程，该畸变通常往往由于透镜制造上的缺陷导致图像平面与透镜平面不平行而产生。切向畸变用两个参数描述p₁，p₂：

x_corrected＝x+[2p₁xy+p₂(r²+2x²)]

y_corrected＝y+[2p₂xy+p₁(r²+2y²)]

将图像径向畸变和切向畸变，统一到一个表达式中，进行图像矫正，如下所示：

(2)畸变参数求解

对于径向畸变参数和切向畸变参数，借助与计算机视觉开源库openCV，按照以下标定方法进行解算：

首先将黑白棋盘格组成的标定板，在不同位置不同角度不同姿态下，由需要标定的光电传感器采集图像，最少3张以上，10张以上为宜，棋盘格标定板如图7a中所示；

以上述多张棋盘格图像为输入，借助于openCV中findChessBoardCorners()函数提取每幅图像中的棋盘格角点，得到棋盘格角点坐标；

将角点坐标以及图像参数作为输入参数，送给openCV中calibrateCamera()函数，经计算可得到畸变参数，保存在输出参数distCoeffs中。

采用上述方法，对本实施例中传感器求解畸变参数，得到如下结果：

[k₁,k₂,k₃,p₁,p₂]＝[-0.2991,0.3844,-0.0018,-0.0007,-1.91101]

(3)畸变图像矫正

根据上述过程整理的如下畸变矫正表达式，带入上一步求解得到的畸变参数，对输入的原始图像像素进行矫正，可得到无畸变的图像。

其中(x,y)是原始图像中每一个像素的位置，r²＝x²+y²。

将采集的原始棋盘格图像作为输入图像进行畸变矫正测试，图7a和图7b分别是经过畸变校正后的图像对比，左边是存在一定程度畸变的原始图，右边是经过畸变矫正的图像。可以看出，标靶的边缘处本来是直线由于畸变存在一定弧度，经过畸变矫正后恢复为直线。

(三)图像配准

本方法中的配准的对象是光电系统实时图像和对应区域的数字地图，二者图像存在异源异视角和多时相的问题，传统的配准方法(SIFT,SURF等)不能同时较好解决这几个问题，本方法能较好解决上述问题并比传统方法提供更高精度和效率，本方法中实施的配准过程框架包括以下几个方面：如图5所示，主要步骤包括特征提取、特征描述、特征匹配。下面对这三个步骤详细描述。

(1)特征提取

对输入的光电图像和地理定位得到的数字地图，首先根据相位一致性方法进行特征提取，包括特征角点和特征边缘，特征提取效果见图6，图6a为三维数字地图对应区域进行相位一致性提取的特征图，图6b为模拟的光电图像进行相位一致性提取的特征图。并建立多轮筛除机制对不正确和冗余的特征点进行筛除。

相位一致性方法按照如下计算过程提取：

式中，

为相位的加权平均，A_n为傅立叶变换第n个余弦分量的振幅，根据上式可看出，若所有傅里叶分量都具有一致的相位，则比值为1，反之，比值为0，即相位一致性是一个无量纲的量，反映的是图像相位特征信息，具有图像局部亮度不变形特点和对比度不变性特点。该方法的此特点正是多传感器、多时相图像特征匹配的关键。将相位一致性扩展到二维空间，输入图像为上述过程中得到的光电传感器图像和数字地图对应区域，将该图像视作二维信号，对该二维信号按照如下方法提取特征点，其计算公式为：

其中，PC(x,y)是相位一致性的特征值，(x,y)为图像中的像素点坐标。W_o(x,y)为设定的频率扩展的权重因子；A_no(x,y)为像素点(x,y)在log Gabor小波变换滤波器尺度n和方向o上的振幅，

符号表示值为正时取本身，否则取0，T为噪声阈值，ε为一个避免分母为0的常数，A_no(x,y)Δφ_no(x,y)通过log Gabor小波变换的偶对称滤波器响应值e_no(x,y)和奇对称滤波器响应值o_no(x,y)来计算：

式中：

其中，E(x,y)是局部能量函数，定义为：

(2)特征描述

特征描述以提取到的特征点为输入，计算每一个特征点周围的强度样式，即特征向量，两个特征点越相似，它们的特征向量在向量空间中越靠近。

对于光电图像或数字地图，以上一步骤得到的图像中各个像素点的相位一致性特征值作为输入，利用ORB算法中的特征检测器得到图像中的特征点以及每个特征点的特征描述子，即每个特征点的特征向量f_s。

此外，本实施例中还进一步的以图像本身各个像素点作为输入，利用卷积神经网络(CNN)来提取特征点，其中CNN采用标准的预训练的VGG16模型提取特征点。由于利用卷积神经网络提取特征点的原理是在各个频率进行卷积提取，所以利用卷积神经网络提取的特征点是包含利用ORB算法所得到的特征点的，在利用卷积神经网络提取的特征点中，根据像素值找到与ORB算法所得到的特征点相对应的特征点，对于这些特征点，通过卷积神经网络所得到的特征向量f_c，将该特征向量f_c与特征向量f_s归一化融合得到特征向量F＝{f_s,f_c}。

(3)特征匹配

得到对所有特征点的特征向量后，对两个图像通过计算n维向量空间中欧氏空间距离，距离最近的一对描述子视为最佳匹配。本实施案例采用结合暴力匹配(BruteForce)和快速近邻域逼近(FLANN)的方法进行匹配。这里的特征向量可以采用特征向量f_s，优选采用归一化融合得到的特征向量。

(四)动态纹理映射：

二维图片与三维场景的融合由动态纹理映射的实现，动态纹理映射过程主要包括三个步骤：1.三维模型顶点与纹理坐标建立映射关系；2.通过渲染流水线的光栅化过程，将顶点纹理坐标转换为屏幕像素对应的纹理坐标；3.根据像素对应纹理坐标及采样算法进行纹理拾取。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种二维光电视频与三维场景融合方法，其特征在于：包括以下步骤：

步骤1：地理定位：

实时获取载机在地心坐标系中的空间位置；实时根据载机中光电稳瞄系统的瞄准线姿态和视场确定光电稳瞄系统的四棱锥视场姿态，并结合载机在地心坐标系中的空间位置，获得光电稳瞄系统四棱锥视场在地心坐标系中的空间位置和姿态，并计算得到四棱锥视场中四条棱线的空间位置和姿态；

根据四条棱线的空间位置和姿态，结合已经构建完成的三维地形曲面，利用K-Dtree求交算法可求得四条棱线与三维地形曲面的交点；

以光电稳瞄系统的瞄准线在所述三维地图区域中的交点为中心点，将中心点与四个所述交点的连线外扩N倍，得到四个新交点；根据四个新交点在三维地形曲面中的位置，以及光电稳瞄系统的瞄准线姿态，利用K-Dtree求交算法得到四个新交点依次相连的四条曲线，进而得到由四条曲线围成的扩展三维地图区域；

步骤2：图像畸变校正

实时获取光电稳瞄系统采集的图像数据，对光电稳瞄系统的径向和切向畸变参数进行标定，并根据标定后的畸变矫正模型得到校正后的图像；

步骤3：图像配准：

将经过校正后的光电稳瞄系统采集的图像与扩展三维地图区域进行特征提取、特征描述和特征匹配，从而确定光电稳瞄系统实时采集图像在三维地形曲面中的位置；

步骤4：动态纹理映射：

将光电稳瞄系统实时采集图像映射到配准后的三维地形曲面对应区域，完成将二维影像与三维场景的融合。

2.根据权利要求1所述一种二维光电视频与三维场景融合方法，其特征在于：步骤3中特征提取的具体过程为：

对经过校正后的光电稳瞄系统采集的图像以及扩展三维地图区域的数字地图，分别采用基于相位一致性方法进行特征提取；

所述采用基于相位一致性方法进行特征提取的过程为：

根据公式

计算对应图像中各个像素点的相位一致性特征值PC(x,y)，(x,y)为图像中的像素点坐标；W_o(x,y)为设定的频率扩展的权重因子；A_no(x,y)为像素点(x,y)在log Gabor小波变换滤波器尺度n和方向o上的振幅，通过将对应图像输入log Gabor小波变换滤波器得到；

符号表示值为正时取本身，否则取0，T为噪声阈值，ε为一个避免分母为0的常数，A_no(x,y)Δφ_no(x,y)利用将对应图像输入log Gabor小波变换滤波器所得到的偶对称滤波器响应值e_no(x,y)和奇对称滤波器响应值o_no(x,y)来计算：

式中：

其中，E(x,y)是局部能量函数，定义为：

3.根据权利要求1所述一种二维光电视频与三维场景融合方法，其特征在于：步骤3中特征描述的具体过程为：

对经过校正后的光电稳瞄系统采集的图像以及扩展三维地图区域的数字地图，分别以特征提取得到的图像中各个像素点的相位一致性特征值作为输入，利用ORB算法中的特征检测器得到图像中的特征点以及每个特征点的特征向量f_s。

4.根据权利要求1所述一种二维光电视频与三维场景融合方法，其特征在于：对经过校正后的光电稳瞄系统采集的图像以及扩展三维地图区域的数字地图，分别以图像本身各个像素点作为输入，利用卷积神经网络来提取特征点；在利用卷积神经网络提取的特征点中，根据像素值找到与ORB算法所得到的特征点相对应的特征点，对于这些特征点，通过卷积神经网络所得到的特征向量f_c，将该特征向量f_c与特征向量f_s归一化融合得到特征向量F＝{f_s,f_c}。

Images