CN115689965B - 面向整景卫星影像深度学习密集匹配的多级视差融合方法 - Google Patents

面向整景卫星影像深度学习密集匹配的多级视差融合方法 Download PDF

Info

Publication number
CN115689965B
CN115689965B CN202211712532.9A CN202211712532A CN115689965B CN 115689965 B CN115689965 B CN 115689965B CN 202211712532 A CN202211712532 A CN 202211712532A CN 115689965 B CN115689965 B CN 115689965B
Authority
CN
China
Prior art keywords
parallax
pyramid
epipolar line
line image
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211712532.9A
Other languages
English (en)
Other versions
CN115689965A (zh
Inventor
江万寿
何升
李绅弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211712532.9A priority Critical patent/CN115689965B/zh
Publication of CN115689965A publication Critical patent/CN115689965A/zh
Application granted granted Critical
Publication of CN115689965B publication Critical patent/CN115689965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向整景卫星影像深度学习密集匹配的多级视差融合方法，涉及摄影测量技术领域。该方法在金字塔核线影像上，进行多分辨率密集影像匹配。在金字塔顶层进行最低分辨率核线影像匹配时，采用传统方法生成低分辨率的视差图；然后在逐级进行金字塔核线影像密集匹配时，利用金字塔上一级的视差图引导本级金字塔核线影像的深度学习密集匹配，对山地和平地区域采用不同策略进行处理；对高山地进行视差分段匹配，通过视差分段匹配可以覆盖高山地大视差的整个范围，而避免单次匹配丢失单次可匹配视差范围外的地形；对平地进行单次匹配并将匹配结果和上一级视差图进行融合，以避免丢失高层建筑物信息。

Description

面向整景卫星影像深度学习密集匹配的多级视差融合方法
技术领域
本发明涉及摄影测量技术领域，具体涉及一种面向整景卫星影像深度学习密集匹配的多级视差融合方法。
背景技术
我国城镇化高速发展，高层建筑物越来越多，在提供更多居住空间的同时，也为城市的监测带来了新的挑战。在摄影测量中，利用影像密集匹配技术，获得目标区域的数字表面模型，可以从中提取建筑物的轮廓和高度等信息，为城市发展的监测提供规模化的技术。然而随着建筑物的高度的增大，其在卫星立体影像上的对应视差范围也同比增大，传统的金字塔密集匹配算法已经难以适用。
虽然深度学习算法的采用，缓解了卫星影像立体密集匹配的大视差困难，但仍然难以利用单次匹配实现整个视差范围的匹配。
发明内容
针对现有技术中存在的每次只能匹配一小块影像并且深度学习匹配视差范围大小固定的不足，本发明提供了一种多级匹配视差图融合的全图匹配方法。
为了达到上述发明目的，本发明采用的技术方案为：
一种面向整景卫星影像深度学习密集匹配的多级视差融合方法，包括以下步骤：
S1、根据立体影像对建立金字塔核线影像；
S2、根据金字塔核线影像建立最低分辨率核线影像的视差图；
S3、选取高一级分辨率的金字塔核线影像，根据上一级金字塔核线影像的视差匹配结果对本级金字塔核线影像进行深度学习视差匹配。
进一步地，步骤S3具体包括以下分步骤：
S3-1、选取高一级分辨率的金字塔核线影像，根据上一级金字塔核线影像的视差图内插本级金字塔核线影像的视差图；
S3-2、根据内插的视差图估算本级金字塔核线影像视差图的平均值、方差、最小值和最大值；
S3-3、根据步骤S3-2的计算结果判定本级金字塔核线影像的所属地形；
若本级金字塔核线影像属于山地地形，则跳转至步骤S3-4；
若本级金字塔核线影像属于平地地形，则跳转至步骤S3-5；
S3-4、将本级金字塔核线影像视差图的视差范围分段进行深度学习匹配生成分段视差图，将分段视差图融合得到本级金字塔核线影像的最终视差图；
S3-5、将本级金字塔核线影像视差图按平均视差进行深度学习匹配生成新的视差图，再将新的视差图与上一级金字塔核线影像的视差图融合得到本级金字塔核线影像的最终视差图。
进一步地，步骤S3-3中根据计算结果判定本级金字塔核线影像的所属地形的判定方法为：
采用下式计算本级金字塔核线影像的所属地形判定值：
Figure DEST_PATH_IMAGE001
其中，
Figure 772091DEST_PATH_IMAGE002
为本级金字塔核线影像视差图的最大值，
Figure DEST_PATH_IMAGE003
为本级金字塔核线影像视差图的最小值，
Figure 361335DEST_PATH_IMAGE004
为本级金字塔核线影像视差图的方差；
所属地形判定值为0时表示本级金字塔核线影像属于山地地形；
所属地形判定值为1时表示本级金字塔核线影像属于平地地形。
进一步地，步骤S3-4具体包括以下分步骤：
S3-4-1、根据步骤S3-2估算的本级金字塔核线影像视差图的平均值和方差，更新本级金字塔核线影像视差图的最小值和最大值：
S3-4-2、根据匹配视差范围和深度学习模型的有效视差范围计算需要分段匹配的段数；
S3-4-3、根据步骤S3-4-2计算的分段匹配段数对本级金字塔核线影像视差图的视差范围进行平均分段；
S3-4-4、对每一视差段，按对应视差段的平均视差读取金字塔核线影像；
S3-4-5、根据每一视差段的金字塔核线影像进行深度学习匹配生成对应的分段视差图；
S3-4-6、将所有分段视差图融合得到本级金字塔核线影像的最终视差图。
进一步地，步骤S3-4-1中更新本级金字塔核线影像视差图的最小值和最大值的更新公式为：
Figure DEST_PATH_IMAGE005
其中，
Figure 937810DEST_PATH_IMAGE006
为更新后的本级金字塔核线影像视差图的最小值，
Figure DEST_PATH_IMAGE007
为更新后的本级金字塔核线影像视差图的最大值，
Figure 5123DEST_PATH_IMAGE008
为本级金字塔核线影像视差图的平均值，
Figure 226020DEST_PATH_IMAGE004
为本级金字塔核线影像视差图的方差。
进一步地，步骤S3-4-2中根据匹配视差范围和深度学习模型的有效视差范围计算需要分段匹配的段数的计算公式为：
Figure DEST_PATH_IMAGE009
其中，
Figure 845220DEST_PATH_IMAGE010
为分段匹配段数，
Figure DEST_PATH_IMAGE011
为更新后的本级金字塔核线影像视差图的最小值，
Figure 784358DEST_PATH_IMAGE007
为更新后的本级金字塔核线影像视差图的最大值，
Figure 248837DEST_PATH_IMAGE012
为深度学习模型的有效视差范围。
进一步地，所述视差段表示为
Figure DEST_PATH_IMAGE013
，
Figure 589820DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为第k段视差的最小值，
Figure 255287DEST_PATH_IMAGE016
为第k段视差的最大值，
Figure 540775DEST_PATH_IMAGE011
为更新后的本级金字塔核线影像视差图的最小值，
Figure 418732DEST_PATH_IMAGE007
为更新后的本级金字塔核线影像视差图的最大值，
Figure DEST_PATH_IMAGE017
为视差段的视差长度。
进一步地，步骤S3-4-6具体包括：
对左核线影像的每个像元，根据该像元上一级金字塔核线影像的视差值，依次判断该视差值是否落入各个视差段的取值范围；若是，则将该视差段的视差图的对应像元视差作为本级金字塔核线影像的最终视差；否则继续判断下一视差段。
进一步地，步骤S3-5具体包括以下分步骤：
S3-5-1、根据本级金字塔核线影像视差图的平均视差读取金字塔核线影像；
S3-5-2、对读取的金字塔核线影像进行深度学习匹配生成新的视差图；
S3-5-3、将步骤S3-5-2得到的新的视差图与上一级金字塔核线影像的视差图融合得到本级金字塔核线影像的最终视差图。
进一步地，步骤S3-5-3具体包括：
首先遍历步骤S3-5-2得到的新的视差图，得到本级匹配视差图的最大值；然后遍历每一个像元，判断上一级金字塔核线影像的视差是否大于本级匹配视差图的最大值；若是，则上一级金字塔核线影像的视差替换步骤S3-5-2得到的新的视差；否则保留步骤S3-5-2得到的新的视差。
本发明具有以下有益效果：
（1）本发明对于高山地，通过视差分段匹配可以覆盖高山地大视差的整个范围，而避免单次匹配丢失单次可匹配视差范围外的地形；
（2）对于含有高层建筑物的平地，可以通过融合上一级的视差，避免丢失高层建筑物信息。
附图说明
图1为本发明中一种面向整景卫星影像深度学习密集匹配的多级视差融合方法的流程示意图；
图2为本发明中采用的卷积神经网络的结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例提供了一种多级匹配视差图融合的全图匹配方法，包括以下步骤S1至S3：
S1、根据立体影像对建立金字塔核线影像；
在本发明的一个可选实施例中，步骤S1根据所要匹配的立体影像对的大小，计算金字塔的层数并采样生成金字塔影像，每一层之间的影像分辨率倍数为2倍，一般为5层到6层。
S2、根据金字塔核线影像建立最低分辨率核线影像的视差图；
在本发明的一个可选实施例中，步骤S2采用金字塔匹配策略，读取金字塔核线影像的顶端最低分辨率的核线影像，然后采用半全局匹配算法对最低分辨率（金字塔顶端）的核线影像进行大视差范围的匹配，获得最低分辨率视差图。
本发明建立与视差图相关的全局能量函数表示为：
Figure 738855DEST_PATH_IMAGE018
其中，第一项
Figure DEST_PATH_IMAGE019
表示对于像素
Figure 840804DEST_PATH_IMAGE020
，视差为
Figure DEST_PATH_IMAGE021
时的不相似性代价；第二项
Figure 754533DEST_PATH_IMAGE022
表示像素
Figure 560815DEST_PATH_IMAGE020
取视差
Figure 345231DEST_PATH_IMAGE021
与邻域内的点
Figure DEST_PATH_IMAGE023
取视差
Figure 477135DEST_PATH_IMAGE024
时，视差较为1的惩罚性代价；第三项
Figure DEST_PATH_IMAGE025
表示像素
Figure 143740DEST_PATH_IMAGE020
取视差
Figure 363500DEST_PATH_IMAGE021
与邻域内的点
Figure 392636DEST_PATH_IMAGE023
取视差
Figure 429862DEST_PATH_IMAGE024
时，视差较大于1时的惩罚性代价；
Figure 787025DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
为惩罚系数；
Figure 341634DEST_PATH_IMAGE028
为点像素
Figure DEST_PATH_IMAGE029
的邻域；
Figure 490856DEST_PATH_IMAGE030
为布尔函数，参数表达式为真时，取1，否则取0。
本发明采用半全局匹配算法将全局算法简化为多个方向代价函数的累积，通过8个或16个方向代价的和得到近似全局最优的匹配结果，表示为：
Figure DEST_PATH_IMAGE031
Figure 105508DEST_PATH_IMAGE032
其中，p表示当前像素;
Figure DEST_PATH_IMAGE033
表示像素p的视差；p-r表示前一个阶段的像素；L r(,)表示动态规划的路径；
Figure 215546DEST_PATH_IMAGE026
、
Figure 901743DEST_PATH_IMAGE034
表示惩罚系数；r表示动态规划的步距，一般取1。
对于每一像元,最后的代价为8个方向代价和。代价和最小的视差为该像元的正确匹配视差。
S3、选取高一级分辨率的金字塔核线影像，根据上一级金字塔核线影像的视差匹配结果对本级金字塔核线影像进行深度学习视差匹配。
在本发明的一个可选实施例中，步骤S3采用金字塔匹配策略，利用低一级分辨率影像的匹配视差结果指导本级影像的核线采样，进行视差分段匹配和匹配视差融合。首先提高一级影像分辨率（金字塔降低一级），按深度学习的影像块大小对影像进行分块匹配，对于每一块影像利用上一级的视差图统计本块影像的平均视差、视差方差和最大最小视差；根据视差统计结果，判断本影像块是否属于地形起伏很大的山区还是属于地势平坦区域；如果本块影像属于地形起伏大的山区，则根据视差范围进行视差分段进行多次匹配，然后对位于不同视差段的像素采用对应视差段的匹配结果进行更新；如果本块影像属于地势平坦区域，则只进行一次匹配，并利用上一级视差判断本级匹配的结果是否存在未匹配成功的高层建筑物，如果存在则用上一级视差进行修正。
步骤S3具体包括以下分步骤：
S3-1、选取高一级分辨率的金字塔核线影像，根据上一级金字塔核线影像的视差图内插本级金字塔核线影像的视差图；
具体而言，步骤S3-1对于本级影像的每个像元，计算其在上一级视差图中对应像元位置（x, y），然后用双线性内插得视差图D up。
S3-2、根据内插的视差图估算本级金字塔核线影像视差图的平均值、方差、最小值和最大值；
具体而言，步骤S3-2统计计算本级金字塔核线影像视差图的平均值
Figure DEST_PATH_IMAGE035
、方差
Figure 46416DEST_PATH_IMAGE036
、最小值p min、最大值p max，计算公式为
Figure DEST_PATH_IMAGE037
Figure 831970DEST_PATH_IMAGE038
其中，n为像素总个数，
Figure DEST_PATH_IMAGE039
为第i个像素视差。
S3-3、根据步骤S3-2的计算结果判定本级金字塔核线影像的所属地形；
若本级金字塔核线影像属于山地地形，则跳转至步骤S3-4；
若本级金字塔核线影像属于平地地形，则跳转至步骤S3-5；
具体而言，步骤S3-3采用下式计算本级金字塔核线影像的所属地形判定值：
Figure 694883DEST_PATH_IMAGE040
其中，
Figure 184771DEST_PATH_IMAGE002
为本级金字塔核线影像视差图的最大值，
Figure 511847DEST_PATH_IMAGE003
为本级金字塔核线影像视差图的最小值，
Figure 202722DEST_PATH_IMAGE004
为本级金字塔核线影像视差图的方差；
所属地形判定值为0时表示本级金字塔核线影像属于山地地形；
所属地形判定值为1时表示本级金字塔核线影像属于平地地形。
S3-4、将本级金字塔核线影像视差图的视差范围分段进行深度学习匹配生成分段视差图，对分段视差图融合得到本级金字塔核线影像的最终视差图；
在本发明的一个可选实施例中，步骤S3-4具体包括以下分步骤：
S3-4-1、根据步骤S3-2估算的本级金字塔核线影像视差图的平均值和方差，更新本级金字塔核线影像视差图的最小值和最大值：其中更新公式为：
Figure 880828DEST_PATH_IMAGE005
其中，
Figure 439986DEST_PATH_IMAGE006
为更新后的本级金字塔核线影像视差图的最小值，
Figure 28093DEST_PATH_IMAGE007
为更新后的本级金字塔核线影像视差图的最大值，
Figure 483345DEST_PATH_IMAGE008
为本级金字塔核线影像视差图的平均值，
Figure 789692DEST_PATH_IMAGE036
为本级金字塔核线影像视差图的方差。
S3-4-2、根据匹配视差范围和深度学习模型的有效视差范围计算需要分段匹配的段数；其中计算公式为：
Figure 621382DEST_PATH_IMAGE009
其中，
Figure 454209DEST_PATH_IMAGE010
为分段匹配段数，
Figure 955729DEST_PATH_IMAGE011
为更新后的本级金字塔核线影像视差图的最小值，
Figure 874006DEST_PATH_IMAGE007
为更新后的本级金字塔核线影像视差图的最大值，
Figure 509387DEST_PATH_IMAGE012
为深度学习模型的有效视差范围。
S3-4-3、根据步骤S3-4-2计算的分段匹配段数对本级金字塔核线影像视差图的视差范围进行平均分段；
具体而言，本发明根据步骤S3-4-2计算的分段匹配段数对本级金字塔核线影像视差图的视差范围进行平均分段，使得每一视差段都能够被深度学习视差范围覆盖。每一段的视差长度为
Figure DEST_PATH_IMAGE041
，第k段的视差为
Figure 72086DEST_PATH_IMAGE013
，表示为
Figure 275666DEST_PATH_IMAGE042
Figure DEST_PATH_IMAGE043
其中，
Figure 681239DEST_PATH_IMAGE015
为第k段视差的最小值，
Figure 995677DEST_PATH_IMAGE016
为第k段视差的最大值，
Figure 537517DEST_PATH_IMAGE011
为更新后的本级金字塔核线影像视差图的最小值，
Figure 911997DEST_PATH_IMAGE007
为更新后的本级金字塔核线影像视差图的最大值，
Figure 273709DEST_PATH_IMAGE017
为视差段的视差长度。
S3-4-4、对每一视差段，按对应视差段的平均视差读取金字塔核线影像；
S3-4-5、根据每一视差段的金字塔核线影像进行深度学习匹配生成对应的分段视差图；
具体而言，对于读入第k段的金字塔核线影像输入到图2所示的卷积神经网络进行视差预测，输出视差图
Figure 516471DEST_PATH_IMAGE044
。
S3-4-6、将所有分段视差图融合得到本级金字塔核线影像的最终视差图。
具体而言，对左核线影像的每个像元i，根据该像元上一级金字塔核线影像的视差值
Figure DEST_PATH_IMAGE045
，依次判断该视差值是否落入各个视差段的取值范围
Figure 53763DEST_PATH_IMAGE013
；若是，则将该视差段的视差图的对应像元视差作为本级金字塔核线影像的最终视差；否则继续判断下一视差段。可以表示为：
Figure 458199DEST_PATH_IMAGE046
S3-5、将本级金字塔核线影像视差图按平均视差进行深度学习匹配生成新的视差图，再将新的视差图与上一级金字塔核线影像的视差图融合得到本级金字塔核线影像的最终视差图。
在本发明的一个可选实施例中，步骤S3-5具体包括以下分步骤：
S3-5-1、根据本级金字塔核线影像视差图的平均视差读取金字塔核线影像；
S3-5-2、对读取的金字塔核线影像进行深度学习匹配生成新的视差图；
S3-5-3、将步骤S3-5-2得到的新的视差图与上一级金字塔核线影像的视差图融合得到本级金字塔核线影像的最终视差图。
具体而言，首先遍历步骤S3-5-2得到的新的视差图D 0，得到本级匹配视差图的最大值
Figure DEST_PATH_IMAGE047
；然后遍历每一个像元i，判断上一级金字塔核线影像的视差
Figure 713731DEST_PATH_IMAGE048
(i)是否大于本级匹配视差图的最大值
Figure 369972DEST_PATH_IMAGE047
；若是，则上一级金字塔核线影像的视差替换步骤S3-5-2得到的新的视差；否则保留步骤S3-5-2得到的新的视差。可以表示为：
Figure DEST_PATH_IMAGE049
本发明采用步骤S3所描述的方法逐级提高影像分辨率，直到所有金字塔层影像的视差匹配完成。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，包括以下步骤：
S1、根据立体影像对建立金字塔核线影像；
S2、根据金字塔核线影像建立最低分辨率核线影像的视差图；
S3、选取高一级分辨率的金字塔核线影像，根据上一级金字塔核线影像的视差匹配结果对本级金字塔核线影像进行深度学习视差匹配；具体包括以下分步骤：
S3-1、选取高一级分辨率的金字塔核线影像，根据上一级金字塔核线影像的视差图内插本级金字塔核线影像的视差图；
S3-2、根据内插的视差图估算本级金字塔核线影像视差图的平均值、方差、最小值和最大值；
S3-3、根据步骤S3-2的计算结果判定本级金字塔核线影像的所属地形；
若本级金字塔核线影像属于山地地形，则跳转至步骤S3-4；
若本级金字塔核线影像属于平地地形，则跳转至步骤S3-5；
S3-4、将本级金字塔核线影像视差图的视差范围分段进行深度学习匹配生成分段视差图，将分段视差图融合得到本级金字塔核线影像的最终视差图；
S3-5、将本级金字塔核线影像视差图按平均视差进行深度学习匹配生成新的视差图，再将新的视差图与上一级金字塔核线影像的视差图融合得到本级金字塔核线影像的最终视差图。
2.根据权利要求1所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-3中根据计算结果判定本级金字塔核线影像的所属地形的判定方法为：
采用下式计算本级金字塔核线影像的所属地形判定值：
Figure QLYQS_1
，
其中，
Figure QLYQS_2
为本级金字塔核线影像视差图的最大值，
Figure QLYQS_3
为本级金字塔核线影像视差图的最小值，
Figure QLYQS_4
为本级金字塔核线影像视差图的方差；
所属地形判定值为0时表示本级金字塔核线影像属于山地地形；
所属地形判定值为1时表示本级金字塔核线影像属于平地地形。
3.根据权利要求1所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-4具体包括以下分步骤：
S3-4-1、根据步骤S3-2估算的本级金字塔核线影像视差图的平均值和方差，更新本级金字塔核线影像视差图的最小值和最大值：
S3-4-2、根据匹配视差范围和深度学习模型的有效视差范围计算需要分段匹配的段数；
S3-4-3、根据步骤S3-4-2计算的分段匹配段数对本级金字塔核线影像视差图的视差范围进行平均分段；
S3-4-4、对每一视差段，按对应视差段的平均视差读取金字塔核线影像；
S3-4-5、根据每一视差段的金字塔核线影像进行深度学习匹配生成对应的分段视差图；
S3-4-6、将所有分段视差图融合得到本级金字塔核线影像的最终视差图。
4.根据权利要求3所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-4-1中更新本级金字塔核线影像视差图的最小值和最大值的更新公式为：
Figure QLYQS_5
，
其中，
Figure QLYQS_6
为更新后的本级金字塔核线影像视差图的最小值，
Figure QLYQS_7
为更新后的本级金字塔核线影像视差图的最大值，
Figure QLYQS_8
为本级金字塔核线影像视差图的平均值，
Figure QLYQS_9
为本级金字塔核线影像视差图的方差。
5.根据权利要求3所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-4-2中根据匹配视差范围和深度学习模型的有效视差范围计算需要分段匹配的段数的计算公式为：
Figure QLYQS_10
，
其中，
Figure QLYQS_11
为分段匹配段数，
Figure QLYQS_12
为更新后的本级金字塔核线影像视差图的最小值，
Figure QLYQS_13
为更新后的本级金字塔核线影像视差图的最大值，
Figure QLYQS_14
为深度学习模型的有效视差范围。
6.根据权利要求3所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，所述视差段表示为
Figure QLYQS_15
，
Figure QLYQS_16
，
其中，
Figure QLYQS_17
为第k段视差的最小值，
Figure QLYQS_18
为第k段视差的最大值，
Figure QLYQS_19
为更新后的本级金字塔核线影像视差图的最小值，
Figure QLYQS_20
为更新后的本级金字塔核线影像视差图的最大值，
Figure QLYQS_21
为视差段的视差长度。
7.根据权利要求3所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-4-6具体包括：
对左核线影像的每个像元，根据该像元上一级金字塔核线影像的视差值，依次判断该视差值是否落入各个视差段的取值范围；若是，则将该视差段的视差图的对应像元视差作为本级金字塔核线影像的最终视差；否则继续判断下一视差段。
8.根据权利要求1所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-5具体包括以下分步骤：
S3-5-1、根据本级金字塔核线影像视差图的平均视差读取金字塔核线影像；
S3-5-2、对读取的金字塔核线影像进行深度学习匹配生成新的视差图；
S3-5-3、将步骤S3-5-2得到的新的视差图与上一级金字塔核线影像的视差图融合得到本级金字塔核线影像的最终视差图。
9.根据权利要求8所述的面向整景卫星影像深度学习密集匹配的多级视差融合方法，其特征在于，步骤S3-5-3具体包括：
首先遍历步骤S3-5-2得到的新的视差图，得到本级匹配视差图的最大值；然后遍历每一个像元，判断上一级金字塔核线影像的视差是否大于本级匹配视差图的最大值；若是，则上一级金字塔核线影像的视差替换步骤S3-5-2得到的新的视差；否则保留步骤S3-5-2得到的新的视差。
CN202211712532.9A 2022-12-30 2022-12-30 面向整景卫星影像深度学习密集匹配的多级视差融合方法 Active CN115689965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211712532.9A CN115689965B (zh) 2022-12-30 2022-12-30 面向整景卫星影像深度学习密集匹配的多级视差融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211712532.9A CN115689965B (zh) 2022-12-30 2022-12-30 面向整景卫星影像深度学习密集匹配的多级视差融合方法

Publications (2)

Publication Number Publication Date
CN115689965A CN115689965A (zh) 2023-02-03
CN115689965B true CN115689965B (zh) 2023-03-21

Family

ID=85055298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211712532.9A Active CN115689965B (zh) 2022-12-30 2022-12-30 面向整景卫星影像深度学习密集匹配的多级视差融合方法

Country Status (1)

Country Link
CN (1) CN115689965B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009579A1 (ko) * 2017-07-07 2019-01-10 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117295B2 (en) * 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
EP2916290A1 (en) * 2014-03-07 2015-09-09 Thomson Licensing Method and apparatus for disparity estimation
CN105160702B (zh) * 2015-08-20 2017-09-29 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN106097336B (zh) * 2016-06-07 2019-01-22 重庆科技学院 基于置信传播和自相似差异测度的前后景立体匹配方法
US10638109B2 (en) * 2017-09-15 2020-04-28 Elphel, Inc. Method for the FPGA-based long range multi-view stereo with differential image rectification
CN110660088B (zh) * 2018-06-30 2023-08-22 华为技术有限公司 一种图像处理的方法和设备
US10839543B2 (en) * 2019-02-26 2020-11-17 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN111464814B (zh) * 2020-03-12 2022-01-04 天津大学 一种基于视差引导融合的虚拟参考帧生成方法
CN112233246B (zh) * 2020-09-24 2024-04-16 中山大学 基于srtm约束的卫星影像密集匹配方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019009579A1 (ko) * 2017-07-07 2019-01-10 전자부품연구원 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치

Also Published As

Publication number Publication date
CN115689965A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
WO2020165557A1 (en) 3d face reconstruction system and method
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN112785705B (zh) 一种位姿获取方法、装置及移动设备
CN111144213A (zh) 一种对象检测方法和相关设备
CN108961385B (zh) 一种slam构图方法及装置
CN107871321A (zh) 图像分割方法及装置
CN112435267A (zh) 一种高分辨率城市卫星立体图像的视差图计算方法
CN112241676A (zh) 一种地形杂物自动识别的方法
CN115546273A (zh) 一种面向室内鱼眼图像的场景结构深度估计方法
CN115689965B (zh) 面向整景卫星影像深度学习密集匹配的多级视差融合方法
CN107403465B (zh) 基于结构先验与深度学习的城市场景分段平面重建方法
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN116051699B (zh) 动捕数据的处理方法、装置、设备及存储介质
CN110532868B (zh) 一种预测自由空间语义边界的方法
CN112446353A (zh) 基于深度卷积神经网络的视频图像道线检测方法
CN114820931B (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN113920270B (zh) 一种基于多视角全景的布局重建方法及其系统
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN116164771A (zh) 一种基于语义地图的矿区道路实时检测方法
CN113139965A (zh) 一种基于深度图的室内实时三维语义分割方法
CN113298871A (zh) 地图生成方法、定位方法及其系统、计算机可读存储介质
CN117253232B (zh) 一种高精地图的标注自动生成方法、存储器及存储介质
CN115064054B (zh) 一种地理实体空间身份编码构建方法
Luo et al. End-to-End Edge-Guided Multi-Scale Matching Network for Optical Satellite Stereo Image Pairs
CN117593470B (zh) 一种基于ai模型的街景重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant