CN113554102A - 代价计算动态规划的航空影像dsm匹配法 - Google Patents

Abstract

本发明采用互信息驱动的代价计算动态匹配法对航空影像匹配生成DSM，一是提出了代价计算动态影像匹配法，设计了动态匹配算法的实现流程和匹配代价函数，并对得到的视差结果进行遮挡检测和遮挡填充，进而进行精度分析，进一步验证最佳匹配代价的计算方法和最佳匹配参数；二是在航空影像的基础上，对生成的核线航空影像进行互信息驱动的匹配代价计算，动态匹配得到视差图和密集匹配得到视差图，进行前方交会获取DSM,实验分析得到以下结论：以动态匹配方法为核心的航空影像处理流程获取的DSM有相当高的精度，而且远远超过通过现有技术密集匹配得到DSM，是传统的密集点云的6倍，匹配精度和实时性大幅提高。

Description

代价计算动态规划的航空影像DSM匹配法

技术领域

本发明涉及一种航空遥感影像DSM匹配法，特别涉及一种代价计算动态规划的航空影像DSM匹配法，属于航空遥感影像匹配技术领域。

背景技术

由于传统的二维空间数据在应用中的局限性，如不能表示物体的位置、姿态、形状等，已不能满足客观应用需求,人们对三维表达的需求越来越急切，客观世界三维表达受到越来越多的重视,成为数字图像处理、计算机视觉、数字摄影测量等领域的热点。

三维重构在各个领域有广泛的应用,三维重构过程中解决信息丢失是目前面临的主要的问题。丢失的信息主要包括两种情况：一是把三维场景转化为二维图像过程中，由于前面的场景遮挡了后面的场景而产生的信息丢失；二是在获取二维图像过程中，场景中的连续点被表示为图像中离散的像素点产生的信息丢失，噪声等因素也对三维重构过程产生一定干扰。

数字表面模型(DSM)指物体表面形态以数字表达的集合,是地表及其自然,人工地物空间信息的统一体。摄影测量与激光扫描是获取DSM的两种基本方法。但由于激光扫描系统价格昂贵，短时间内很难得到大范围普及。因此，在生产中用摄影测量法获取DSM仍是最主要的方法，摄影测量的优势在于能够获取更丰富的建筑物边缘信息。摄影测量中,DSM提取的关键为通过自动影像匹配找寻立体像对中的同名像点。

数字摄影测量是以影像匹配取代传统的人工观测，达到自动确定同名像点的目的，影像匹配的质量决定数字摄影测量数据在后续处理过程中的精度，匹配自动化程度是提高数字近景摄影测量效率的关键。三维匹配就是从不同视点获取场景中两幅或多幅影像中找寻匹配基元之间关系的过程，三维匹配因受到辐射差异、遮挡断裂、纹理重复及弱纹理等因素的影响，一直是摄影测量领域中的难题。

根据匹配像元的不同可以将现有技术的影像匹配划分为基于特征的匹配、基于区域的匹配、基于相位的匹配。基于特征的匹配通过找寻影像间显著特征点的过程构建影像特征之间的对应关系,但只能获取难以满足建模要求的稀疏的三维点云。三维匹配算法的不确定性以及复杂性，且对噪声和光照等的敏感程度，决定了大多数三维匹配算法一定程度上依赖许多特定的假设以及一些约束条件和特定的应用环境。

局部匹配算法是以窗口内所有像素点的视差连续性约束为前提,用匹配点和待匹配点本身以及其邻近局部区域的灰度信息来计算相关度。相关窗口大小的影响局部算法的结果,窗口太大将导致跨越区域深度不连续,造成目标边界出现过度平滑现象，窗口太小，包含的纹理信息单一,容易产生歧义性造成误匹配。全局优化算法在一致性约束的基础上，提高了算法的正确率，且保证了算法的稳定性，但方法对象一般针对低分辨率影像,计算复杂度较低，当面临计算复杂度较高的高分辨率影像时，存在较大的局限性了。

密集影像匹配在左右核线图像区域进行逐点匹配取得了较好的进展，获取高精度的地表三维坐标信息成为密集匹配的主要方向。目前,许多经典的密集影像匹配算法已应用到数字摄影测量系统中，提供地表的三维坐标信息，但现有技术的密集影像匹配算法和自动生成地球表面模型/数字高程模型的数字摄影测量系统还不能实现完全的自动化，因此研发实现自动生成高精度地球表面模型/数字高程模型的密集匹配方法非常重要，数字摄影测量中现有技术较为优秀的三维匹配方法有：基于灰度的匹配(局部匹配法)、基于特征点的匹配(SIFT算子提取特征点)、最小二乘匹配、桥式跨接匹配等，但这些方法或依赖于区域窗口内的灰度变化，会因遮挡等原因出现不可检测的错误匹配，或只能得到较少的匹配点，不能获取场景或物体表面完整的点云。

当前，计算机视觉领域出现了对动态规划、置信度传播和图割等一些加入了整体一致性约束的密集匹配算法，这些方法在找寻全局能量函数最优的过程中得到最佳视差，但这些方法大多数仅适用于影像畸变较小的短基线影像匹配,在处理大幅航空遥感影像和卫星影像的中难以得到较好的效果。

当前三维匹配技术快速发展，但其仍然存在许多不足之处。三维匹配算法由于其针对性的特征，从二维图像中恢复丢失的三维信息，获得高精度的视场图像依然十分困难。局部算法利用匹配点和待匹配本身及其邻近的局部区域的灰度信息来计算视差，而全局算法利用影像的全部信息，把匹配转化为求解能量函数的全局最优化过程。局部算法的运算效率较高，但匹配结果易受到噪声的干扰，全局算法的效果比局部算法的好，但计算所耗费的时间很大。因此本发明提出基于不同匹配代价计算的航空遥感影像DSM的匹配法,在效率、速度有较大的提升，影像的重复区域和断裂区域都有较好的效果,能够降低这些区域的误匹配率,具有十分重要的应用价值。

综合来看，现有技术的航空影像DSM匹配存在不足，本发明的难点和待解决的问题主要集中在以下方面：

第一，传统的二维空间数据不能表示物体的位置、姿态、形状等，在应用中的局限性已不能满足客观应用需求,当前对三维表达的需求越来越急切，三维重构过程中现有技术无法解决信息丢失问题，该问题包括两种情况：一是把三维场景转化为二维图像过程中，前面的场景遮挡了后面的场景而产生的信息丢失；二是在获取二维图像过程中，场景中的连续点被表示为图像中离散的像素点产生信息丢失，噪声等因素也对三维重构过程产生干扰，现有技术没有很好的解决办法；

第二，摄影测量与激光扫描是现有技术获取DSM的两种基本方法，但激光扫描系统价格昂贵，短时间内很难大范围普及，生产中摄影测量法获取DSM是最主要的方法，DSM提取过程中通过自动影像匹配找寻立体像对中的同名像点存在很大难度，整体效果不好，现有技术的密集影像匹配和自动生成地球表面模型的数字摄影测量系统不能实现自动化，现有技术或依赖于区域窗口内的灰度变化，会因遮挡等原因出现不可检测的错误匹配，或只能得到较少的匹配点，不能获取场景或物体表面完整的点云，算法复杂度高，耗费时间长，精度和实时性也无法满足要求；

第三，现有技术对动态规划、置信度传播和图割等加入了整体一致性约束的密集匹配算法，大多数仅适用于影像畸变较小的短基线影像匹配,在处理大幅航空遥感影像和卫星影像的中难以得到较好的效果，获得高精度视场图像依然十分困难，现有技术局部算法运算效率较高，但匹配结果易受到噪声的干扰，全局算法所耗费的时间很大，三维匹配因受到辐射差异、遮挡断裂、纹理重复及弱纹理等因素的影响，精度和实时性较差，基于特征的匹配通只能获取难以满足建模要求的稀疏的三维点云，三维匹配算法的不确定性以及复杂性，且对噪声和光照等的敏感程度，使三维匹配算法依赖许多特定假设及约束条件和特定的应用环境，无法直接运用于航空影像DSM匹配；

第四，通过不同位置对同一场景拍摄的两幅影像找出匹配的同名像点进行三维重构是摄影测量与计算机视觉的热点和难点，这其中的关键是选取同名像点，现有技术的三维匹配的局部匹配算法通过小范围的图像计算最优视差，容易导致不同区域的视差不连续，而全局匹配算法在全局能量函数最小的情况下计算整个影像的视差，但会大幅增加系统运行时间，现有技术缺少匹配效果在精度和实时性上都比较可靠，且计算复杂度适中的方法；

第五，由于噪声干扰、大范围相似区域等因素的影像，现有技术像素匹配计算可能会产生歧义，导致非同名像点的代价比真正同名像点的代价小而产生错误匹配，在该点的深度估算受到影响，甚至将待匹配像素邻域范围的深度估算错误，现有技术缺少对应的解决办法，通过现有技术密集匹配得到DSM精度很低，，而且在匹配的过程中,初始视差的确定很困难，匹配精度和实时性都比较差。

发明内容

针对现有技术的不足，本发明采用互信息驱动的代价计算动态匹配法对航空影像匹配生成DSM，一是提出了代价计算动态影像匹配法，设计了动态匹配算法的实现流程和匹配代价函数，并对得到的视差结果进行遮挡检测和遮挡填充，进一步验证最佳匹配代价的计算方法和最佳匹配参数；二是在航空影像的基础上，对生成的核线航空影像进行互信息驱动的匹配代价计算，动态匹配得到视差图和密集匹配得到视差图，进行前方交会获取DSM,实验得出：以动态匹配方法为核心的航空影像处理流程获取的DSM有相当高的精度，而且远远超过通过现有技术密集匹配得到DSM，是传统的密集点云的6倍，匹配精度和实时性大幅提高。

为实现以上技术特征，本发明所采用的技术方案如下：

代价计算动态规划的航空影像DSM匹配法，包括代价计算动态匹配法和航空影像DSM匹配，代价计算动态匹配法包括三维匹配的基本流程和基于不同匹配代价的动态匹配，基于不同匹配代价的动态匹配已知核线关系，即处理影像需要已知相对定向元素在匹配运算时动态的计算核线信息，包括：互信息驱动的匹配代价动态计算、匹配代价的动态聚合、视差动态计算、视差一致性检测、遮挡检测处理、遮挡填充过滤；

代价计算动态匹配法以较低的计算复杂度完成高精度视差的计算，基于局部逐点匹配代价计算，在待匹配像素多个方向上进行动态规划，以一维平滑模拟二维平滑约束来找寻其最佳匹配点，获得的匹配效果在精度和实时性上都有比较可靠的保证；

本发明通过一致性检测和遮挡检测，解析参数对匹配的影响，以及不同匹配代价的计算对匹配的影响，并进行匹配精度的分析，本发明的代价计算动态规划的航空影像匹配方法，首先对航空影像进行核线重排得到核线图像，然后利用互信息驱动的代价计算动态规划对核线图像进行匹配得到视差图，最后通过视差图计算出数字表面模型DSM；

利用动态匹配对航空影像处理生成DSM的流程为：

第一步，生成原始三维影像对；

第二步，进行核线重采样；

第三步，通过核线影像进行代价计算动态规划三维匹配；

第四步，将第三步的结果通过视差图与第二步的结果进行前方交会；

第五步，通过前方交会生成DSM。

代价计算动态规划的航空影像DSM匹配法，进一步的，互信息驱动的匹配代价动态计算：设参考图像J_e上像素w点的灰度值为J_ew，待匹配图像J_n上对应像点k＝b_en(w,a)的灰度值为J_nk，其中函数b_en(w,a)表示像素w和k坐标之间的一一对应关系，对核线图像b_en(w,a)＝[w_x-a,w_y]，a为左右视差；

互信息计算过程中全局灰度差异表现在相关灰度的联合直方图里，有效处理辐射差异造成的影响，互信息NJ描述两个系统之间的统计相关性，在图像匹配的过程中，采用信息熵和协同信息熵定义，如式3：

NJ_J1，J2＝L_J1+L_J2-L_J1，J2 式3

信息熵通过计算两幅图像的联合灰度值概率分布值W得到，对于纠正过的核线图像，通过一幅图像预测另一幅图像，信息熵的计算式为：

初始视差图作为基础，在整幅影像上进行互信息计算，利用泰勒级数展开将协同信息熵的计算转化为求以下数据项的和，如式6所示：

数据项l_J1，J2表示对同名像对的联合灰度概率分布进行二维高斯卷积运算，利用

值取决于同名像对的亮度值，且每个像素计算过程相互独立。

代价计算动态规划的航空影像DSM匹配法，进一步的，本发明实验得出采用7*7高斯卷积窗口计算更快，在第一次高斯滤波之后可能会出现一些0值，为防止对数运算的错误用较小的值来替代这些0值，同名像素点的亮度值的联合概率分布用R[]函数计算，如果输入参数为真，则输出值为1，否则输出值为0：

其中W的计算是两幅图像的联合灰度数除以所有相应的总数，图像信息熵L_J1不变，L_J2也几乎不变，反映J₂的灰度值的视差图重新分布，故协同信息熵作为像素J_1w和J_2w匹配测度，但如果存在遮挡，则一些像素点找不到对应的同名像点，这样的点没有被计算到，会引起图像信息熵的变化，协同信息熵的计算通过以下信息熵来表示：

概率分布W_J只要在影像J₁和J₂相应的区域计算，不需要在整幅影像中，通过在相应区域的行和列的联合概率分布之和可以得到W_J1(j)＝∑_qW_J1，J2(j，q)，互信息定义为：

互信息驱动的匹配代价定义为：

在计算互信息时获取一个初始视差图对匹配影像J_n做处理，初始视差图的获取采用金字塔分层迭代的方法：先在较小的分辨率上用随机视差图计算，然后用匹配得到的新视差图来内插高分辨率上的视差图作为下一次迭代的初始视差图。

代价计算动态规划的航空影像DSM匹配法，进一步的，匹配代价的动态聚合：在平滑性约束的前提下，两个惩罚参数(W₁，W₂)添加到动态匹配能量函数中用于对视差变化的惩罚，视差图A的能量函数B(A)如式12所示：

式中，第一项表示以视差图A作为初始视差计算出的所有像素点的匹配代价的和，第二项对像素w某邻域M_w中所有视差变化较小的像素k以W₁做较小的惩罚，第三项对视差变化较大的像素k以W₂做较大的惩罚，即平滑约束，W₁＜W₂，通过添加较小的惩罚参数W₁使能量函数能够适应曲面或倾斜的物体表面，较大的惩罚参数W₂则防止不正确的视差传播保证视差在边缘处的不连续，函数R[]如式13所示，当且仅当其参数为真时R[]为1，否则为0；

匹配过程即能量函数的最优化，找到使能量函数B(A)有最小值的视差图A，采用多个方向的一维平滑来模拟二维平滑，在每一条路径上按照动态规划进行计算，以多个简单的一维搜索来获得二维层次上能量函数的最优解。

代价计算动态规划的航空影像DSM匹配法，进一步的，视差动态计算：在计算所有像素的匹配代价C(w，a)之后，参考图像J_e的视差图A_e的确定，在动态匹配算法中得到视差，即计算像素点W的视差a_w＝min_aC(w，a)，即总匹配代价最小时所对应的视差值，对参考图像和目标图进行区别对待，但仍根据C(w，a)估算J_n对应的视差图A_n，对于J_n中的像素点k，深度a_n＝min_aC(b_ne(k，a)，a)，最终的视差的获取是对A_e和A_n分别采用3*3的滤波窗口的中值滤波去掉变化较大的深度。

代价计算动态规划的航空影像DSM匹配法，进一步的，视差一致性检测：经过视差的一致性检测，对经过处理的视差图A_e和A_n进行遮挡点和错误匹配点的判断，检测过程通过简单的交换匹配影像的顺序分别计算出两个视差图A_e和A_n，然后按式14计算：

动态匹配法通过对视差值的不同变化加以不同惩罚保证平滑性约束，通过左右视差图的一致性检测保证唯一性约束，并且8个方向的一维路径动态规划使结果更可靠，由此对噪声表现出鲁棒性。

代价计算动态规划的航空影像DSM匹配法，进一步的，遮挡检测处理：检测图像中错误匹配的像素点，以图A为参考图像，图B为目标图像得到图A对应的视差图，然后交换图像的顺序，得到图B像对应的视差图，通过设置临界值在左视差图和右视差图之间进行检测，得到图A对应的误匹配图，图中含有图像中的遮挡区域，即通过双向匹配来检测出图像中的遮挡区域，J_L表示图A对应的视差图，J_R表示图B对应的视差图，W₁表示图A中的一点，假设W₁点的视差值为a，W₁点在J_R中对应的点为W₂，其中点W₁和点W₂对应的视差值分别为J_L(W₁)和J_R(W₂)，设R为临界值，则左右遮挡检测式如式15：

遮挡区域误匹配的像素和临界值R成反比，即临界值越小，包含的遮挡区域的像素点越多，也即误匹配的像素点越多，临界值越大，提取的误匹配的像素点越少，包含的遮挡区域的像素点越少，为尽可能多的取到遮挡区域的误匹配像素点，本发明临界值R取1。

代价计算动态规划的航空影像DSM匹配法，进一步的，遮挡填充过滤：采用后景填充的方法对遮挡区域进行填充，J_L是影像A对应的视差图，动态匹配参考遮挡检测结果，假如检测出来的遮挡区域中的任意一个像素点是W，点W₁和W_r是向左和向右两个方向找到的第一个正确匹配的像素点，这两个点对应的视差值分别对应值a₁和a₂，设W点填充后的视差值是J(w)，在a₁和a₂中选择一个较小的值作为W点的视差值，最后把遮挡检测中的所有的误匹配的像素点遍历完全，得到遮挡填充后的图像：

J(w)＝min(a₁，a₂) 式16

式16为遮挡填充式。

代价计算动态规划的航空影像DSM匹配法，进一步的，航空影像DSM匹配中定义核面与核线：C₁和C₂的连线是摄影基线，摄影基线与任一物方点W所作的平面称为通过点W的核面，通过像主点的核面为主核面，在立体像对中，影像A与影像B各有自己的主核面，核面与影像面的交线为核线，一条核线的任意一点在另一幅影像上的同名像点必定位于其同名核线上。

生成核线图像：核线约束条件将影像从二维相关变成一维相关，在动态匹配算法中需要已知核线几何关系，对于非核线图像在匹配过程中需要实时计算核线关系，生成同名核线是基于共面条件的同名核线几何关系，以共面条件为基础直接在倾斜影像上确定同名核线，并将这些核线重排得到核线图像，生成核线图像需要知道立体影像的相对方位元素，利用POS系统提供摄影时的方位元素，通过POS系统提供的6个外方位元素参数直接恢复摄影时光线的相对位置关系，完成核线图像的生成，在式17中，同一核线的点均在同一核面上，满足共面条件的方程有以下结论：

其中：(E_X，E_Y，E_Z)表示摄影基线在像空间辅助坐标系中的分量，(X_W，Y_W，Z_W)表示像点W在像空间辅助坐标系中的坐标分量，(X，Y，Z)表示左像上与W在同一核线上任意一点的像空间辅助坐标系坐标，展开式17，得到影像A上任意一点W(x_w，y_w)的核线方程为：

D＝-(D′a₁+E′b₁+S′c₁)；E＝(D′a₃+E′b₃+S′c₃)；S＝(D′a₂+E′b₂+S′c₂) 式18

D′＝(E_YZ_P-E_ZY_P)；E′＝(E_ZX_P-E_XZ_P)；C′＝(E_XY_P-E_YX_P) 式19

式20表示左像旋转矩阵，同理可以得到影像B上同名核线的方程。

代价计算动态规划的航空影像DSM匹配法，进一步的，互信息驱动计算匹配代价的动态匹配：得到核线图像对之后进行匹配，采用k＝b_em(k，a)＝[w_x-a，w_y]简化搜索过程，提高同名像点搜索的速度。

设P表示图像的宽度，L表示图像的高度，A表示最大的视差范围，即动态匹配算法在匹配代价计算的空间复杂度为Y(P*L)，在匹配代价累加的计算中的空间复杂度为Y(P*L*A)，在计算视差的空间复杂度也为Y(P*L*A)，在视差检测中的空间复杂度仍然为Y(P*L)，在编程实现过程中，匹配代价聚合步骤中存储总耗费的内存空间与计算视差中的是同一个，但需要额外增加一个记录每条路径累积耗费的空间，其大小为P*L*D；在视差检测中需要交换影像A与影像B顺序进行匹配，因此需要增加一个空间，其大小为P*L，记录交换影像位置匹配得到的视差，因此整个计算总的空间复杂度为：Y(P*L)+Y(P*L*A)+Y(P*L)，本发明在处理航空影像过程中，进行分块处理；

动态匹配视差在各搜索路径上传递，各分块之间设置重叠部分。

与现有技术相比，本发明的贡献和创新点在于：

第一，本发明融合三维匹配算法局部匹配和全局匹配的优点，并能以较低的计算复杂度完成高精度视差的计算，通过一致性检测和遮挡检测，解析参数对匹配的影响，以及不同匹配代价的计算对匹配的影响，并进行匹配精度的分析，本发明的代价计算动态规划的航空影像匹配方法，首先对航空影像进行核线重排得到核线图像，然后利用互信息驱动的代价计算动态规划对核线图像进行匹配得到视差图，最后通过视差图计算出数字表面模型DSM，代价计算动态规划算法基于局部逐点匹配代价计算，在待匹配像素多个方向上进行动态规划，以一维平滑模拟二维平滑约束来找寻其最佳匹配点，获得的匹配效果在精度和实时性上都有大幅提高；

第二，三维匹配算法的全局匹配能有效解决重复纹理区域的错误匹配问题，且能有效处理影像的断裂区域，但全局匹配算法总体复杂度高，需要耗费大量内存和运算时间，局部匹配简单容易处理，但是在重复纹理区域容易产生错误匹配点，且对噪声敏感，并在目标边缘处容易造成膨胀现象。采用本发明的代价计算动态规划方法，能够有效解决重复纹理区域、阴影区域及断裂区域匹配易错区域，且在动态匹配过程中互信息驱动匹配的等级逼近方法优于基于灰度的匹配方法，不仅能直观的表示三维匹配效果,还可以得到定量的精度质量评价；

第三，本发明对求得的初始视差图作进一步的优化处理，从三个方面实现了优化：第一,亚像素级视差求精即估算初始视差图的子像素级视差，现有技术在离散的视差空间中计算视差,在视差结果的基础上进行三维重构，容易出现深度图断层现象，难以满足高精度应用的要求，估算初始视差图的子像素级视差值通过拟合曲线和迭代梯度下降法，提高匹配结果的精度；第二,对基准图和待匹配图交换顺序得到的匹配结果，通过一致性检测遮挡像素点,对遮挡像素点的视差值重新赋值；第三,对得到的视差图进行中值滤波去除匹配中的异常点；本发明动态匹配法通过对视差值的不同变化加以不同惩罚保证平滑性约束，并且8个方向的一维路径动态规划使结果更可靠，对噪声表现出极强的鲁棒性。

第四，当前一张普通数字航空影像在匹配和生成核线过程中，DSM是极其耗费内存空间的，往往会出现内存不足的情况，因为本发明在处理航空影像过程中，进行了分块处理，同时采用动态规划匹配，视差在各搜索路径上传递，为保证各个分块间视差的连续性，各分块之间设置重叠部分，重叠部分的设计经过反复试验和计算，最大程度优化了计算速度、结果视差图的质量，匹配精度和实时性大幅提高；

第五，本发明采用互信息驱动的代价计算的动态匹配法对航空影像匹配生成DSM，一是提出了代价计算动态影像匹配法，设计了动态匹配算法的实现流程和匹配代价函数，通过三维匹配标准测试图像验证基于不同匹配代价的计算对动态匹配算法的影响和匹配算法中参数设置对结果的影响,并对得到的视差结果进行遮挡检测和遮挡填充，进而进行精度分析，进一步验证最佳匹配代价的计算方法和最佳匹配参数；二是在航空影像的基础上，对生成的核线航空影像进行互信息驱动的匹配代价计算，动态匹配得到视差图和密集匹配得到视差图，进行前方交会获取DSM,证明互信息驱动的匹配代价计算的动态匹配算法比现有技术的密集匹配生成的DSM精度高。实验分析得到以下结论：以动态匹配方法为核心的航空影像处理流程获取的DSM有相当高的精度，而且远远超过通过现有技术密集匹配得到DSM，是传统的密集点云的6倍。

附图说明

图1是本发明图像的协同灰度概率分布示意图。

图2是最小路径上进行匹配代价动态规划计算示意图。

图3是8个方向一维搜索获得二维层次上能量函数示意图。

图4是本发明遮挡区域误匹配检测示意图。

图5是本发明航空遥感影像遮挡填充过程示意图。

图6是CBL模型特征提取后分类器各个类别下准确度对比图。

图7是本发明实施例原始影像和生成的核线影像对比图。

图8是本发明实施例原始图像的部分左右核线示意图。

具体实施方法

下面结合附图，对本发明提供的代价计算动态规划的航空影像DSM匹配法的技术方案进行进一步的描述，使本领域的技术人员能够更好的理解本发明并能够予以实施。

通过不同位置对同一场景拍摄的两幅影像找出匹配的同名像点进行三维重构是摄影测量与计算机视觉的热点和难点，通过同名像点的匹配，计算出场景深度信息，结合相机参数计算出对应物方点的三维坐标并完成三维重构，这其中的关键问题是三维匹配,即选取同名像点的过程。

现有技术的三维匹配算法主要包括局部匹配和全局匹配算法，局部匹配算法通过小范围的图像计算最优视差，容易导致不同区域的视差不连续，而全局匹配算法是在全局能量函数最小的情况下计算整个影像的视差，能得到整体较好的结果，但是这样会大幅增加系统运行时间。

本发明融合以上两种方法的优点并能以较低的计算复杂度完成高精度视差的计算，代价计算动态规划算法基于局部逐点匹配代价计算，在待匹配像素多个方向上进行动态规划，以一维平滑模拟二维平滑约束来找寻其最佳匹配点，获得的匹配效果在精度和实时性上都有比较可靠的保证。

不同的匹配代价计算受光照、辐射、噪声多种因素的影响，本发明通过一致性检测和遮挡检测，解析参数对匹配的影响，以及不同匹配代价的计算对匹配的影响，并进行匹配精度的分析，本发明的代价计算动态规划的航空影像匹配方法，首先对航空影像进行核线重排得到核线图像，然后利用互信息驱动的代价计算动态规划对核线图像进行匹配得到视差图，最后通过视差图计算出数字表面模型DSM。

一、代价计算动态匹配法

三维匹配算法中，全局匹配算法能有效解决重复纹理区域的错误匹配问题，对噪声干扰不敏感，且能有效处理影像的断裂区域，但全局匹配算法总体复杂度高，需要耗费大量内存和运算时间。局部匹配算法简单容易处理，但是在重复纹理区域容易产生错误匹配点，且对噪声敏感，并在目标边缘处容易造成膨胀现象。采用本发明的代价计算动态规划方法，能够有效解决重复纹理区域、阴影区域及断裂区域匹配易错区域，且在动态匹配过程中互信息驱动匹配的等级逼近方法优于基于灰度的匹配方法。

(一)三维匹配的基本流程

三维匹配是在已知影像核线几何关系的基础上，通过核线方向动态搜索同名像点的过程得到视差图，然后恢复场景点的深度信息，即三维匹配是在核线图像间进行逐点匹配，计算点的视差，用生成的与左核线图像等大的视差图表示像素点间的匹配关系,视差与像素之间的对应关系用式1表示：

其中，(x_L,y_L)和(x_R,y_R)表示左右核线图像上待匹配的同名像点像素，a表示像素(x_L,y_L)对应的视差，其中三维匹配采用核线图像中的待匹配像素的y坐标值相等，同名像点的x坐标之差为视差d，三维匹配的基本步骤包括：计算匹配代价、聚合匹配代价、视差值的精细求解，匹配代价的计算从核线图像开始，采用匹配代价函数对同名像点进行逐像素的匹配，在像素视差不同的情况，逐一计算左右核线图像同名像点间的匹配代价，且将其设置为一个三维空间，生成视差空间影像，代价聚合是在匹配代价的基础上，对视差空间中的影像匹配代价进行处理，使同名像点之间的匹配度更加的精确。视差估算是对聚合后的空间影像选择出比较合适的视差，得到初始视差图，视差精化是对得到的初始视差进行处理，检测出初始视差图中错误的像素点的视差值，并对其进行改正和优化。

对通过三维匹配得到的视差图，通过对比观察视差图和标准视差图之间的关系检测三维匹配效果，通过影像A和视差图模拟影像B，并将其与标准影像B对比显示三维匹配效果，为更加方便准确的检测三维匹配效果，在得出视差图的基础上，逐一对同名像点进行前方交会，得到匹配点的三维坐标，将三维点云数据和标准激光扫描点云数据相比,不仅能直观的表示三维匹配效果,还可以得到定量的精度质量评价。

1、计算匹配代价

计算匹配代价基于构建待匹配基元之间的相似度度量函数，匹配代价的大小和两个像素之间的匹配程度成反比关系,代价越小，像素间正确匹配的可能性越大，计算匹配代价在某一个视差a下，根据匹配代价函数，计算左右核线图像中的每一对待匹配像素的匹配代价，且一对影像计算出一幅匹配代价影像，影像A与影像B像素的对应关系随着视差a的变化而变化，匹配代价影像与视差一一对应，即视差空间影像由匹配代价影像组合的三维空间，故视差空间影像存储的是所有可能匹配的匹配代价表示逐像素逐视差计算的结果，视差空间影像x轴、y轴和a轴分别表示视核线图像的行方向、列方向和视差，从第三维方向看，视差空间影像的每一层是在某一个视差下全部像素的匹配代价，从一维第二维方向看，视差空间影像的每一列是影像像素的所有视差下的匹配代价，对同一匹配方法采用不用的相似性测度,得到的匹配结果不一样，而对不同的匹配方法采用同一相似性测度,得到不同的匹配结果。

2、聚合匹配代价

已得到的匹配代价不能代表像素间的匹配程度,需要通过匹配代价的聚合对视差空间影像进行修改，为实现匹配代价更加准确的表示像素间匹配程度，修改视差空间影像中的匹配代价即代价的累加，累加匹配代价是在匹配窗口中进行单个像素点代价计算的累计求和，修改匹配代价是对视差空间影像DSI中的每个像素点的匹配代价加权求和：

s表示累加之前的匹配代价，k为权值，k表示w的邻域像素，s'表示累加之后的匹配代价。

3、视差值的精细求解

视差值的精细求解是对求得的初始视差图作进一步的优化处理，该步骤从以下三个方面优化：第一,亚像素级视差求精即估算初始视差图的子像素级视差，现有技术在离散的视差空间中计算视差,在视差结果的基础上进行三维重构，容易出现深度图断层现象，难以满足高精度应用的要求，估算初始视差图的子像素级视差值通过拟合曲线和迭代梯度下降法，提高匹配结果的精度；第二,对基准图和待匹配图交换顺序得到的匹配结果，通过一致性检测遮挡像素点,对遮挡像素点的视差值重新赋值；第三,对得到的视差图进行中值滤波去除匹配中的异常点。

(二)基于不同匹配代价的动态匹配

动态匹配已知核线关系，即处理影像需要已知相对定向元素在匹配运算时动态的计算核线信息，包括：互信息驱动的匹配代价动态计算、匹配代价的动态聚合、视差动态计算、视差一致性检测、遮挡检测处理、遮挡填充过滤。

1、互信息驱动的匹配代价动态计算

设参考图像Je上像素w点的灰度值为J_ew，待匹配图像J_n上对应像点k＝b_en(w，a)的灰度值为J_nk，其中函数b_en(w，a)表示像素w和k坐标之间的一一对应关系，对核线图像b_en(w，a)＝[w_x-a，w_y]，a为左右视差。

匹配窗口的大小及其形状影响匹配测度，窗口大小与算法稳定性成正线性关系，但增大窗口容易造成物体边缘处出现视差断裂，造成边界模糊；通过调整窗口大小来减小模糊无法从根本上消除匹配中模糊带来的影响。为解决噪声对匹配计算的影响，采用互信息驱动作为匹配代价计算代替待匹配点的灰度值计算代价。

互信息计算过程中全局灰度差异表现在相关灰度的联合直方图里，有效处理辐射差异造成的影响，互信息描述两个系统之间的统计相关性，在图像匹配的过程中，采用信息熵和协同信息熵定义，如式3：

NJ_J1，J2＝L_J1+L_J2-L_J1，J2 式3

信息熵通过计算两幅图像的联合灰度值概率分布值W得到，对于纠正过的核线图像，通过一幅图像预测另一幅图像，信息熵的计算式为：

初始视差图作为基础，在整幅影像上进行互信息计算，利用泰勒级数展开将协同信息熵的计算转化为求以下数据项的和，如式6所示：

数据项l_J1，J2表示对同名像对的联合灰度概率分布进行二维高斯卷积运算，利用

值取决于同名像对的亮度值，且每个像素计算过程相互独立。

本发明实验得出采用较小的(实施例为7*7)高斯卷积窗口计算更快，且同时得到与较大高斯卷积窗口一样的效果，在第一次高斯滤波之后可能会出现一些0值，为防止对数运算的错误用较小的值来替代这些0值，同名像素点的亮度值的联合概率分布用R[]函数计算，如果输入参数为真，则输出值为1，否则输出值为0：

其中W的计算是两幅图像的联合灰度数除以所有相应的总数，W计算的分布图像如图1所示。图像信息熵L_J1不变，L_J2也几乎不变，反映J₂的灰度值的视差图重新分布，故协同信息熵作为像素J_1w和J_2w匹配测度，但如果存在遮挡，则一些像素点找不到对应的同名像点，这样的点没有被计算到，会引起图像信息熵的变化，协同信息熵的计算通过以下信息熵来表示：

概率分布W_J只要在影像J₁和J₂相应的区域计算，不需要在整幅影像中，通过在相应区域的行和列的联合概率分布之和可以得到W_J1(j)＝∑_qW_J1，J2(j，q)，互信息定义为：

互信息驱动的匹配代价定义为：

在计算互信息时获取一个初始视差图对匹配影像J_n做处理，初始视差图的获取采用金字塔分层迭代的方法：先在较小的分辨率上用随机视差图计算，然后用匹配得到的新视差图来内插高分辨率上的视差图作为下一次迭代的初始视差图。由于有大量的像素存在，通过较少次数得迭代(实施例为3次)对灰度概率分布做出较准确的估算。

2、匹配代价的动态聚合

由于噪声干扰、大范围相似区域等因素的影像，像素匹配计算可能会产生歧义，导致非同名像点的代价比真正同名像点的代价小而产生错误匹配，算法在该点的深度估算受到影响，甚至将待匹配像素邻域范围的深度估算错误。在平滑性约束的前提下，两个惩罚参数(W₁，W₂)被添加到动态匹配能量函数中用于对视差变化的惩罚，视差图A的能量函数B(A)如式12所示：

式中，第一项表示以视差图A作为初始视差计算出的所有像素点的匹配代价的和，第二项对像素w某邻域M_w中所有视差变化较小的像素k以W₁做较小的惩罚，第三项对视差变化较大的像素k以W₂做较大的惩罚，即平滑约束，W₁＜W₂，通过添加较小的惩罚参数W₁使能量函数能够适应曲面或倾斜的物体表面，较大的惩罚参数W₂则防止不正确的视差传播保证视差在边缘处的不连续，函数R[]如式13所示，当且仅当其参数为真时R[]为1，否则为0。

匹配过程即能量函数的最优化，找到使能量函数B(A)有最小值的视差图A，采用多个方向的一维平滑来模拟二维平滑,如图2在每一条路径上按照动态规划进行计算，如图3以多个简单的一维搜索来获得二维层次上能量函数的最优解。

3、视差动态计算

在计算所有像素的匹配代价C(w,a)之后，参考图像J_e的视差图A_e的确定，在动态匹配算法中得到视差，即计算像素点W的视差a_w＝min_aC(w,a)，即总匹配代价最小时所对应的视差值，对参考图像和目标图进行区别对待，但仍根据C(w,a)估算J_n对应的视差图A_n，对于J_n中的像素点k，深度a_n＝min_aC(b_ne(k,a),a)，最终的视差的获取是对A_e和A_n分别采用3*3的滤波窗口的中值滤波去掉变化较大的深度。

4、视差一致性检测

经过视差的一致性检测，对经过处理的视差图A_e和A_n进行遮挡点和错误匹配点的判断，检测过程通过简单的交换匹配影像的顺序分别计算出两个视差图A_e和A_n，然后按式14计算：

动态匹配法通过对视差值的不同变化加以不同惩罚保证平滑性约束，通过左右视差图的一致性检测保证唯一性约束，并且8个方向的一维路径动态规划使结果更可靠，由此对噪声表现出鲁棒性。

5、遮挡检测处理

检测图像中错误匹配的像素点，以图A为参考图像，图B为目标图像得到图A对应的视差图，然后交换图像的顺序，得到图B像对应的视差图，通过设置临界值在左视差图和右视差图之间进行检测，得到图A对应的误匹配图，图中含有图像中的遮挡区域，即通过双向匹配来检测出图像中的遮挡区域,由图4所示，J_L表示图A对应的视差图，J_R表示图B对应的视差图，W₁表示图A中的一点，假设W₁点的视差值为a,W₁点在J_R中对应的点为W₂，其中点W₁和点W₂对应的视差值分别为J_L(W₁)和J_R(W₂)，设R为临界值，则左右遮挡检测式如式15:

遮挡区域误匹配的像素和临界值R成反比，即临界值越小，包含的遮挡区域的像素点越多，也即误匹配的像素点越多，临界值越大，提取的误匹配的像素点越少，包含的遮挡区域的像素点越少，为了尽可能多的取到遮挡区域的误匹配像素点，本发明临界值R取1。

6、遮挡填充过滤

图A出现的遮挡区域在前景物体的左边缘，在图B中这一部分由于被前景物体遮挡，并未出现，因此在遮挡区域出现误匹配，图A中的遮挡区域为后景物体，该区域的视差值应与后景物体的视差值相同，且所有的遮挡区域都出现在图A中前景物体的左边缘的左边。因此，采用后景填充的方法对遮挡区域进行填充。如图5所示，J_L是影像A对应的视差图，动态匹配参考遮挡检测结果，假如检测出来的遮挡区域中的任意一个像素点是W，点W₁和W_r是向左和向右两个方向找到的第一个正确匹配的像素点，这两个点对应的视差值分别对应值a₁和a₂，设W点填充后的视差值是J(w)，在a₁和a₂中选择一个较小的值作为W点的视差值，最后把遮挡检测中的所有的误匹配的像素点遍历完全，得到遮挡填充后的图像：

J(w)＝min(a₁，a₂) 式16

式16为遮挡填充式。

二、航空影像DSM匹配

DSM表达地表三维模型，能够满足人们对城市规划、电力、水利、地质等方面的应用需求。Lidar应用让场景三维模型的获取变得越来越方便和快捷，甚至有一些航摄系统在飞行时就直接通过Lidar获取地面的三维点云，但由于Lidar昂贵且不普遍，导致在很多时候还需要按照匹配-前方交会的流程来获取目标点的空间位置进而完成场景的三维模型重构。

(一)定义核面与核线

C₁和C₂的连线是摄影基线，摄影基线与任一物方点W所作的平面称为通过点W的核面，通过像主点的核面为主核面，在立体像对中，影像A与影像B各有自己的主核面，核面与影像面的交线为核线，一条核线的任意一点在另一幅影像上的同名像点必定位于其同名核线上。

(二)生成核线图像

核线约束条件的目的是将影像从二维相关变成一维相关，提高匹配算法计算的效率和可靠性。在动态匹配算法中需要已知核线几何关系，对于非核线图像在匹配过程中需要实时计算核线关系，生成同名核线是基于共面条件的同名核线几何关系，以共面条件为基础直接在倾斜影像上确定同名核线，并将这些核线重排得到核线图像，生成核线图像需要知道立体影像的相对方位元素，利用POS系统提供摄影时的方位元素，通过POS系统提供的6个外方位元素参数直接恢复摄影时光线的相对位置关系，完成核线图像的生成，在式17中，同一核线的点均在同一核面上，满足共面条件的方程有以下结论：

其中：(E_X，E_Y，E_Z)表示摄影基线在像空间辅助坐标系中的分量，(X_W，Y_W，Z_W)表示像点W在像空间辅助坐标系中的坐标分量，(X，Y，Z)表示左像上与W在同一核线上任意一点的像空间辅助坐标系坐标，展开式17，得到影像A上任意一点W(x_w，y_w)的核线方程为：

D＝-(D′a₁+E′b₁+S′c₁)；E＝(D′a₃+E′b₃+S′c₃)；S＝(D′a₂+E′b₂+S′c₂) 式18

D′＝(E_YZ_P-E_ZY_P)；E′＝(E_ZX_P-E_XZ_P)；C′＝(E_XY_P-E_YX_P) 式19

式20表示左像旋转矩阵，同理可以得到影像B上同名核线的方程。

(三)互信息驱动计算匹配代价的动态匹配

得到核线图像对之后进行匹配，采用k＝b_em(k，a)＝[w_x-a，w_y]简化搜索过程，提高同名像点搜索的速度。

互信息驱动计算匹配代价的动态匹配有很多优点，但由于算法本身的原因，存在高内存消耗的缺陷。假设P表示图像的宽度，L表示图像的高度，A表示最大的视差范围，即动态匹配算法在匹配代价计算的空间复杂度为Y(P*L)，在匹配代价累加的计算中的空间复杂度为Y(P*L*A)，在计算视差的空间复杂度也为Y(P*L*A)，在视差检测中的空间复杂度仍然为Y(P*L)，在编程实现过程中，匹配代价聚合步骤中存储总耗费的内存空间与计算视差中的是同一个，但需要额外增加一个记录每条路径累积耗费的空间，其大小为P*L*D；在视差检测中需要交换影像A与影像B顺序进行匹配，因此需要增加一个空间，其大小为P*L，记录交换影像位置匹配得到的视差，因此整个计算总的空间复杂度为：Y(P*L)+Y(P*L*A)+Y(P*L)。

当前一张普通数字航空影像在匹配和生成核线过程中，DSM是极其耗费内存空间的，往往会出现内存不足的情况，因为本发明在处理航空影像过程中，进行分块处理。

动态匹配是动态规划，视差在各搜索路径上传递，为保证各个分块间视差的连续性，各分块之间必须要有重叠部分，而重叠部分的大小将会影响计算速度、结果视差图的质量。

(四)互信息驱动DSM的匹配生成

通过动态匹配得到航空影像的视差图，在视差图的基础上通过空间前方交会计算出目标点的三维坐标，重构场景的三维模型，空间前方交会采用基于点投影系数的空间前方交会法；点投影系数式为：

X＝X_c1+MX₁＝X_c1+E_X+M′X₂

Y＝Y_c1+MY₁＝X_c1+E_Y+M′Y₂

Z＝Z_c1+MZ₁＝Z_c1+E_Z+M′Z₂ 式21

E_X、E_Y、E_Z为外方位元素计算的摄影基线分量，如图6所示，利用动态匹配对航空影像处理生成DSM的流程为：

第一步，生成原始三维影像对；

第二步，进行核线重采样；

第三步，通过核线影像进行代价计算动态规划三维匹配；

第四步，将第三步的结果通过视差图与第二步的结果进行前方交会；

第五步，通过前方交会生成DSM。

(五)DSM实验及结果分析

实验所用航空影像数据的具体信息：宽7760(pixel)、高14590(pixel)、像素大小0.012000(mm)、数据大小530(MB)，不是核线图像，左右方向重叠，计算时采用原始影像，不进行降采样处理，模拟影像B是真实影像A在动态匹配得到的视差图的基础上按式k＝b_en(w，a)＝[w_x-a，w_y]计算，通过模拟影像B和真实影像B的对比，粗略的对视差图的精度做出评价。

通过分析可以得到以下结论：第一，以动态匹配方法为核心的航空影像处理流程获取的DSM有相当高的精度，而且远远超过通过现有技术密集匹配得到DSM，是传统的密集点云的6倍左右；第二，在进行动态匹配的过程中，需要确定合适的初始视差。

Claims (10)

1.代价计算动态规划的航空影像DSM匹配法，其特征在于，包括代价计算动态匹配法和航空影像DSM匹配，代价计算动态匹配法包括三维匹配的基本流程和基于不同匹配代价的动态匹配，基于不同匹配代价的动态匹配已知核线关系，即处理影像需要已知相对定向元素在匹配运算时动态的计算核线信息，包括：互信息驱动的匹配代价动态计算、匹配代价的动态聚合、视差动态计算、视差一致性检测、遮挡检测处理、遮挡填充过滤；

代价计算动态匹配法以较低的计算复杂度完成高精度视差的计算，基于局部逐点匹配代价计算，在待匹配像素多个方向上进行动态规划，以一维平滑模拟二维平滑约束来找寻其最佳匹配点，获得的匹配效果在精度和实时性上都有比较可靠的保证；

本发明通过一致性检测和遮挡检测，解析参数对匹配的影响，以及不同匹配代价的计算对匹配的影响，并进行匹配精度的分析，本发明的代价计算动态规划的航空影像匹配方法，首先对航空影像进行核线重排得到核线图像，然后利用互信息驱动的代价计算动态规划对核线图像进行匹配得到视差图，最后通过视差图计算出数字表面模型DSM；

利用动态匹配对航空影像处理生成DSM的流程为：

第一步，生成原始三维影像对；

第二步，进行核线重采样；

第三步，通过核线影像进行代价计算动态规划三维匹配；

第四步，将第三步的结果通过视差图与第二步的结果进行前方交会；

第五步，通过前方交会生成DSM。

2.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，互信息驱动的匹配代价动态计算：设参考图像J_e上像素w点的灰度值为J_ew，待匹配图像J_n上对应像点k＝b_en(w,a)的灰度值为J_nk，其中函数b_en(w,a)表示像素w和k坐标之间的一一对应关系，对核线图像b_en(w,a)＝[w_x-a,w_y]，a为左右视差；

互信息计算过程中全局灰度差异表现在相关灰度的联合直方图里，有效处理辐射差异造成的影响，互信息NJ描述两个系统之间的统计相关性,在图像匹配的过程中,采用信息熵和协同信息熵定义,如式3:

信息熵通过计算两幅图像的联合灰度值概率分布值W得到,对于纠正过的核线图像,通过一幅图像预测另一幅图像,信息熵的计算式为:

初始视差图作为基础，在整幅影像上进行互信息计算，利用泰勒级数展开将协同信息熵的计算转化为求以下数据项的和，如式6所示：

数据项l_J1,J2表示对同名像对的联合灰度概率分布进行二维高斯卷积运算,利用

值取决于同名像对的亮度值，且每个像素计算过程相互独立。

3.根据权利要求2所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，本发明实验得出采用7*7高斯卷积窗口计算更快,在第一次高斯滤波之后可能会出现一些0值，为防止对数运算的错误用较小的值来替代这些0值,同名像素点的亮度值的联合概率分布用R[]函数计算，如果输入参数为真，则输出值为1，否则输出值为0：

其中W的计算是两幅图像的联合灰度数除以所有相应的总数，图像信息熵L_J1不变，L_J2也几乎不变，反映J₂的灰度值的视差图重新分布，故协同信息熵作为像素J_1w和J_2w匹配测度，但如果存在遮挡，则一些像素点找不到对应的同名像点，这样的点没有被计算到，会引起图像信息熵的变化，协同信息熵的计算通过以下信息熵来表示：

概率分布W_J只要在影像J₁和J₂相应的区域计算，不需要在整幅影像中，通过在相应区域的行和列的联合概率分布之和可以得到

互信息定义为：

互信息驱动的匹配代价定义为：

在计算互信息时获取一个初始视差图对匹配影像J_n做处理，初始视差图的获取采用金字塔分层迭代的方法：先在较小的分辨率上用随机视差图计算，然后用匹配得到的新视差图来内插高分辨率上的视差图作为下一次迭代的初始视差图。

4.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，匹配代价的动态聚合:在平滑性约束的前提下，两个惩罚参数(W₁，W₂)添加到动态匹配能量函数中用于对视差变化的惩罚，视差图A的能量函数B(A)如式12所示:

式中，第一项表示以视差图A作为初始视差计算出的所有像素点的匹配代价的和，第二项对像素w某邻域M_w中所有视差变化较小的像素k以W₁做较小的惩罚，第三项对视差变化较大的像素k以W₂做较大的惩罚，即平滑约束，W₁＜W₂，通过添加较小的惩罚参数W₁使能量函数能够适应曲面或倾斜的物体表面，较大的惩罚参数W₂则防止不正确的视差传播保证视差在边缘处的不连续，函数R[]如式13所示，当且仅当其参数为真时R[]为1，否则为0；

匹配过程即能量函数的最优化，找到使能量函数B(A)有最小值的视差图A，采用多个方向的一维平滑来模拟二维平滑,在每一条路径上按照动态规划进行计算，以多个简单的一维搜索来获得二维层次上能量函数的最优解。

5.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，视差动态计算：在计算所有像素的匹配代价C(w,a)之后，参考图像J_e的视差图A_e的确定，在动态匹配算法中得到视差，即计算像素点W的视差a_w＝min_aC(w,a)，即总匹配代价最小时所对应的视差值，对参考图像和目标图进行区别对待，但仍根据C(w,a)估算J_n对应的视差图A_n，对于J_n中的像素点k，深度a_n＝min_aC(b_ne(k,a),a)，最终的视差的获取是对A_e和A_n分别采用3*3的滤波窗口的中值滤波去掉变化较大的深度。

6.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，视差一致性检测：经过视差的一致性检测，对经过处理的视差图A_e和A_n进行遮挡点和错误匹配点的判断，检测过程通过简单的交换匹配影像的顺序分别计算出两个视差图A_e和A_n，然后按式14计算：

动态匹配法通过对视差值的不同变化加以不同惩罚保证平滑性约束，通过左右视差图的一致性检测保证唯一性约束，并且8个方向的一维路径动态规划使结果更可靠，由此对噪声表现出鲁棒性。

7.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，遮挡检测处理：检测图像中错误匹配的像素点，以图A为参考图像，图B为目标图像得到图A对应的视差图，然后交换图像的顺序，得到图B像对应的视差图，通过设置临界值在左视差图和右视差图之间进行检测，得到图A对应的误匹配图，图中含有图像中的遮挡区域，即通过双向匹配来检测出图像中的遮挡区域,J_L表示图A对应的视差图，J_R表示图B对应的视差图，W₁表示图A中的一点，假设W₁点的视差值为a,W₁点在J_R中对应的点为W₂，其中点W₁和点W₂对应的视差值分别为J_L(W₁)和J_R(W₂)，设R为临界值，则左右遮挡检测式如式15:

遮挡区域误匹配的像素和临界值R成反比，即临界值越小，包含的遮挡区域的像素点越多，也即误匹配的像素点越多，临界值越大，提取的误匹配的像素点越少，包含的遮挡区域的像素点越少，为尽可能多的取到遮挡区域的误匹配像素点，本发明临界值R取1。

8.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，遮挡填充过滤：采用后景填充的方法对遮挡区域进行填充,J_L是影像A对应的视差图,动态匹配参考遮挡检测结果,假如检测出来的遮挡区域中的任意一个像素点是W,点W₁和W_r是向左和向右两个方向找到的第一个正确匹配的像素点,这两个点对应的视差值分别对应值a₁和a₂，设W点填充后的视差值是J(w)，在a₁和a₂中选择一个较小的值作为W点的视差值，最后把遮挡检测中的所有的误匹配的像素点遍历完全，得到遮挡填充后的图像：

J(w)＝min(a₁，a₂) 式16

式16为遮挡填充式。

9.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，航空影像DSM匹配中定义核面与核线：C₁和C₂的连线是摄影基线,摄影基线与任一物方点W所作的平面称为通过点W的核面，通过像主点的核面为主核面，在立体像对中,影像A与影像B各有自己的主核面，核面与影像面的交线为核线，一条核线的任意一点在另一幅影像上的同名像点必定位于其同名核线上；

生成核线图像：核线约束条件将影像从二维相关变成一维相关，在动态匹配算法中需要已知核线几何关系，对于非核线图像在匹配过程中需要实时计算核线关系，生成同名核线是基于共面条件的同名核线几何关系，以共面条件为基础直接在倾斜影像上确定同名核线，并将这些核线重排得到核线图像，生成核线图像需要知道立体影像的相对方位元素，利用POS系统提供摄影时的方位元素，通过POS系统提供的6个外方位元素参数直接恢复摄影时光线的相对位置关系，完成核线图像的生成，在式17中，同一核线的点均在同一核面上，满足共面条件的方程有以下结论：

其中：(E_X,E_Y,E_Z)表示摄影基线在像空间辅助坐标系中的分量，(X_W,Y_W,Z_W)表示像点W在像空间辅助坐标系中的坐标分量，(X,Y,Z)表示左像上与W在同一核线上任意一点的像空间辅助坐标系坐标，展开式17，得到影像A上任意一点W(x_w,y_w)的核线方程为：

D＝-(D′a₁+E′b₁+S′c₁)；E＝(D′a₃+E′b₃+S′c₃)；S＝(D′a₂+E′b₂+S′c₂) 式18

D′＝(E_YZ_P-E_ZY_P)；E′＝(E_ZX_P-E_XZ_P)；C′＝(E_XY_P-E_YX_P) 式19

式20表示左像旋转矩阵，同理可以得到影像B上同名核线的方程。

10.根据权利要求1所述的代价计算动态规划的航空影像DSM匹配法，其特征在于，互信息驱动计算匹配代价的动态匹配：得到核线图像对之后进行匹配,采用k＝b_em(k,a)＝[w_x-a,w_y]简化搜索过程,提高同名像点搜索的速度；

设P表示图像的宽度，L表示图像的高度，A表示最大的视差范围，即动态匹配算法在匹配代价计算的空间复杂度为Y(P*L)，在匹配代价累加的计算中的空间复杂度为Y(P*L*A)，在计算视差的空间复杂度也为Y(P*L*A)，在视差检测中的空间复杂度仍然为Y(P*L)，在编程实现过程中，匹配代价聚合步骤中存储总耗费的内存空间与计算视差中的是同一个，但需要额外增加一个记录每条路径累积耗费的空间，其大小为P*L*D；在视差检测中需要交换影像A与影像B顺序进行匹配，因此需要增加一个空间，其大小为P*L，记录交换影像位置匹配得到的视差，因此整个计算总的空间复杂度为：Y(P*L)+Y(P*L*A)+Y(P*L)，本发明在处理航空影像过程中，进行分块处理；

动态匹配视差在各搜索路径上传递，各分块之间设置重叠部分。

Images