CN105466399B - 快速半全局密集匹配方法和装置 - Google Patents

快速半全局密集匹配方法和装置 Download PDF

Info

Publication number
CN105466399B
CN105466399B CN201610016308.4A CN201610016308A CN105466399B CN 105466399 B CN105466399 B CN 105466399B CN 201610016308 A CN201610016308 A CN 201610016308A CN 105466399 B CN105466399 B CN 105466399B
Authority
CN
China
Prior art keywords
image
matching
disparity map
reference images
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610016308.4A
Other languages
English (en)
Other versions
CN105466399A (zh
Inventor
李英成
谢独放
朱祥娥
刘晓龙
罗祥勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA TOPRS (BEIJING) Co Ltd
Original Assignee
CHINA TOPRS (BEIJING) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINA TOPRS (BEIJING) Co Ltd filed Critical CHINA TOPRS (BEIJING) Co Ltd
Priority to CN201610016308.4A priority Critical patent/CN105466399B/zh
Publication of CN105466399A publication Critical patent/CN105466399A/zh
Application granted granted Critical
Publication of CN105466399B publication Critical patent/CN105466399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种快速半全局密集匹配方法和装置，包括：获取待匹配的具有核线关系的基准影像和匹配影像；根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算；分别对得到基准影像视差图和匹配影像视差图进行去噪精化处理；对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图，其通过密集匹配算法以及核线关系，计算基准影像视差图和匹配影像视差图，并对得到两个视差图进行去噪精化处理，过滤了视差图中的噪音且保持了视差图中的物体边界与原始影像的物体边界一致，快速实现了左右一致性检测，无需进行两次单独的左右影像匹配，在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。

Description

快速半全局密集匹配方法和装置
技术领域
本发明涉及数字摄影测量领域，具体而言，涉及快速半全局密集匹配方法和装置。
背景技术
基于影像密集匹配算法生成影像视差图的过程，是数字摄影测量中的一个重要步骤，其同样是后续摄影测量产品的基础。在生成影像视差图之后，借助每个像素的视差值和两张影像的外方位，通过空间前方交汇可以获得密集3D点云，进而能够根据获得的密集3D点云进行物体三维建模、数字表面模型生成以及正射影像纠正等。
具体的，进行影像密集匹配的每个影像(包括基准影像和匹配影像，分别对应为左影像和右影像)中均包括很多像素，因为需要为上述影像中的每一个像素找到对应的同名点，所以影像密集匹配在整个生产流程中是占据计算资源最多，消耗时间最长的步骤。具体的，在实际生产中，除了考虑时间因素，匹配质量也必须得到保证，而下述的多种原因均能够引起错误的匹配，包括：第一，左右影像因为拍摄角度差异，会出现不同程度的物体遮挡现象，因此会造成匹配时被物体遮挡到的边界不清晰；第二，左右图像中拍摄的影像中，如果出现不同区域但是该不同区域对应类似或者重复的纹理的现象，会使左右图像的匹配具有歧义性；第三，某些区域(如草地、沙漠)没有显著的纹理，将使局部区域无法进行匹配。
目前，解决上述问题的方法是使用半全局匹配算法，基于上述算法，相关技术提供了一种半全局密集匹配方法包括：通过上述半全局匹配算法先从左影像(即基准影像)匹配到右影像(即匹配影像)进行独立的第一次匹配，得到左影像视差图；但是，该方法会使拍摄的物体边缘的匹配出现较多错误；为了解决该问题，相关技术还提供了另一种半全局密集匹配方法，包括：通过上述半全局匹配算法先从左影像(即基准影像)匹配到右影像(即匹配影像)进行独立的第一次匹配，再反过来从右影像匹配到左影像进行独立的第二次匹配，然后比较两次匹配结果，去除左影像中的错误匹配点，得到精确的左影像视差图；但是，进行两次独立的影像匹配需要占用较多的计算机内存且会使得匹配时间的翻倍。
发明人在研究中发现，现有技术中提供的半全局密集匹配方法中，在兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机内存，针对该问题，目前尚未提出有效的解决方式。
发明内容
本发明的目的在于提供快速半全局密集匹配方法和装置，能够快速实现了左右一致性检测，无需进行两次单独的左右影像匹配，在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
第一方面，本发明实施例提供了一种快速半全局密集匹配方法，包括：
获取待匹配的基准影像和匹配影像；其中，基准影像和匹配影像具有核线关系；
根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图；
分别对基准影像视差图和匹配影像视差图进行去噪精化处理；其中，去噪精化处理用于过滤视差图中的噪音且保持视差图中物体的边界与原始影像中物体的边界一致；
对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图包括：
通过以下公式计算从基准影像到匹配影像的基准影像视差图mindS[p,d1]；其中，S表示聚集的(平滑的)匹配代价；p表示基准影像上的任意像素；d1表示p像素所对应的视差；
通过以下公式计算从匹配影像到基准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S表示聚集的(平滑的)匹配代价；q表示匹配影像的任意像素；d2表示q像素所对应的视差；emb表示匹配影像中的任意像素q到基准影像中的任意像素p的核线关系。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，方法还包括：
构建待匹配影像对应的影像金字塔；其中，待匹配影像包括：基准影像和/或匹配影像；影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
根据构建的影像金字塔，确定待匹配影像的原始分辨率；
根据构建的影像金字塔，确定待匹配影像用于搜索像素视差的当前分辨率；
在当前分辨率的待匹配影像对应的最大视差范围中搜索像素视差，得到像素的当前视差；
根据影像金字塔中的当前分辨率与原始分辨率的预设关联关系以及当前视差，计算像素在原始分辨率的待匹配影像中的原始视差搜索范围；
在原始视差搜索范围中，搜索视差d1和视差d2。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，获取待匹配的基准影像和匹配影像包括：
接收采集装置发送的原始基准影像和原始匹配影像；其中，采集装置采集原始基准影像和原始匹配影像时对应有预设采集高度；
根据采集装置的预设采集高度以及采集装置的外方位元素，分别计算原始基准影像和原始匹配影像的拍摄区域；其中，外方位元素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
根据原始基准影像的拍摄区域和原始匹配影像的拍摄区域，计算原始基准影像和原始匹配影像的重叠区域；
对重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系的基准影像和匹配影像。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图包括：
对去噪精化处理得到的基准影像视差图和匹配影像视差图进行对比处理，得到基准影像视差图中与匹配影像视差图匹配不一致的像素；
对基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差图。
第二方面，本发明实施例还提供了一种快速半全局密集匹配装置，包括：
获取模块，用于获取待匹配的基准影像和匹配影像；其中，基准影像和匹配影像具有核线关系；
匹配计算模块，用于根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图；
去噪精化处理模块，用于分别对基准影像视差图和匹配影像视差图进行去噪精化处理；其中，去噪精化处理用于过滤视差图中的噪音且保持视差图中物体的边界与原始影像中物体的边界一致；
一致性检测模块，用于对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，匹配计算模块包括：
第一视差图计算单元，用于通过以下公式计算从基准影像到匹配影像的基准影像视差图mindS[p,d1]；其中，S表示聚集的(平滑的)匹配代价；p表示基准影像上的任意像素；d1表示p像素所对应的视差；
第二视差图计算单元，用于通过以下公式计算从匹配影像到基准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S表示聚集的(平滑的)匹配代价；q表示匹配影像的任意像素；d2表示q像素所对应的视差；emb表示匹配影像中的任意像素q到基准影像中的任意像素p的核线关系。
结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，装置还包括：
构建模块，用于构建待匹配影像对应的影像金字塔；其中，待匹配影像包括：基准影像和/或匹配影像；影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
原始分辨率确定模块，用于根据构建的影像金字塔，确定待匹配影像的原始分辨率；
当前分辨率确定模块，用于根据构建的影像金字塔，确定待匹配影像用于搜索像素视差的当前分辨率；
第一搜索模块，用于在当前分辨率的待匹配影像对应的最大视差范围中搜索像素视差，得到像素的当前视差；
计算模块，用于根据影像金字塔中的当前分辨率与原始分辨率的预设关联关系以及当前视差，计算像素在原始分辨率的待匹配影像中的原始视差搜索范围；
第二搜索模块，用于在原始视差搜索范围中，搜索视差d1和视差d2。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，获取模块包括：
接收单元，用于接收采集装置发送的原始基准影像和原始匹配影像；其中，采集装置采集原始基准影像和原始匹配影像时对应有预设采集高度；
拍摄区域计算单元，用于根据采集装置的预设采集高度以及采集装置的外方位元素，分别计算原始基准影像和原始匹配影像的拍摄区域；其中，外方位元素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
重叠区域计算单元，用于根据原始基准影像的拍摄区域和原始匹配影像的拍摄区域，计算原始基准影像和原始匹配影像的重叠区域；
切除处理单元，用于对重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系的基准影像和匹配影像。
结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，一致性检测模块包括：
对比单元，用于对去噪精化处理得到的基准影像视差图和匹配影像视差图进行对比处理，得到基准影像视差图中与匹配影像视差图匹配不一致的像素；
剔除处理单元，对基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差图。
本发明实施例提供的快速半全局密集匹配方法和装置，包括：获取待匹配的具有核线关系的基准影像和匹配影像；根据密集匹配算法以及核线关系对基准影像和匹配影像进行匹配计算；分别对得到基准影像视差图和匹配影像视差图进行去噪精化处理；对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图，与现有技术中的半全局密集匹配方法在兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机内存相比，
其通过密集匹配算法以及基准影像和匹配影像的核线关系，计算基准影像视差图和匹配影像视差图，然后对得到两个视差图进行去噪精化处理，过滤了视差图中的噪音且保持了视差图中的物体边界与原始影像中的物体边界一致，快速实现了左右一致性检测，无需进行两次单独的左右影像匹配，且在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种快速半全局密集匹配方法的流程图；
图2示出了本发明实施例所提供的另一种快速半全局密集匹配方法的流程图；
图3示出了本发明实施例所提供的另一种快速半全局密集匹配方法的流程图；
图4示出了本发明实施例所提供的另一种快速半全局密集匹配方法的流程图；
图5示出了本发明实施例所提供的一种快速半全局密集匹配方法的应用场景示意图；
图6示出了本发明实施例所提供的一种快速半全局密集匹配装置的结构示意图；
图7示出了本发明实施例所提供的一种快速半全局密集匹配装置中匹配计算模块的结构示意图；
图8示出了本发明实施例所提供的另一种快速半全局密集匹配装置的结构示意图；
图9示出了本发明实施例所提供的一种快速半全局密集匹配装置中获取模块的结构示意图；
图10示出了本发明实施例所提供的一种快速半全局密集匹配装置中一致性检测模块的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中提供的半全局密集匹配方法中，除了在兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机内存的问题之外，还存在如下问题：通过固定的视差搜索范围搜素匹配计算过程中的视差，但是，固定的视差搜索范围增加了很多无意义的计算。其中，固定的视差搜索范围指的是，在整幅影像(包括基准影像和匹配影像，对应为左影像和右影像)中设置固定的最大视差值和最小视差值，得到对应的固定视差搜索范围，对于整幅影像中的每个要匹配的像素都要在这个较大的固定视差搜索范围内寻找匹配点，使得绝大部分的搜索计算是在远离正确视差值的区域进行的。另外，现有技术中的匹配方法中，上述左影像和上述右影像的非重叠区域也参与上述匹配计算，而由于上述左影像和右影像的非重叠区域根本没有正确的匹配点，故上述非重叠区域的匹配计算既导致时间的延长，又容易引起错误的结果。
针对上述问题，本发明实施例提供了一种快速半全局密集匹配方法和装置，能够快速实现了左右一致性检测，在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
参考图1，本发明实施例提供了一种快速半全局密集匹配方法，所述方法具体包括如下步骤：
S101、获取待匹配的基准影像和匹配影像；其中，所述基准影像和所述匹配影像具有核线关系。
具体的，获取的待匹配的影像可以有多个，而无论影像具体有多少，本步骤中均是将两个影像为一对进行匹配，故首先获取一对影像，在这一对影像中包括一个基准影像，还包括一个上述基准影像对应的匹配影像，并且，包括该基准影像和匹配影像的一对影像具有核线关系。
具体的，首先获取的上述一对影像是原始的基准影像和匹配影像，然后对原始的基准影像和匹配影像进行计算处理，得到具有核线关系的待匹配的基准影像和匹配影像。
S102、根据密集匹配算法以及所述核线关系对所述基准影像和所述匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图。
具体的，密集匹配算法可以为SGM(Semiglobal Matching，密集匹配)算法，根据该SGM算法首先列出一个匹配能量函数，再用半全局的方式从不同的通道进行匹配代价的聚集(Aggregation of Matching costs through different paths)，然后根据该聚集的(平滑的)匹配代价计算从基准影像到匹配影像的基准影像视差图；
然后，根据SGM算法以及上述基准影像和匹配影像的核线关系，在计算从匹配影像到基准影像的匹配影像视差图。
S103、分别对所述基准影像视差图和所述匹配影像视差图进行去噪精化处理；其中，所述去噪精化处理用于过滤所述视差图中的噪音且保持所述视差图中物体的边界与原始影像中物体的边界一致。
具体的，由于通过上述匹配计算的方式计算的匹配影像视差图，并不是直接从匹配影像到基准影像的匹配，故在物体边缘部分质量稍差。针对该问题，本发明实施例中对上述计算得到的匹配影像视差图进行了优化处理，具体是加入了引导滤波器，通过该引导滤波器对匹配影像视差图首先进行去噪精化处理。
其中，引导滤波器是数字图像处理中一种既能去噪，又能保持边界信息的方法，其去噪精化处理的基本流程是把一个图(在该算法中是基准影像和匹配影像)作为引导图，去过滤另一个图(在该算法中是基准视差图和匹配视差图)，其既能过滤视差图中的噪音，又能让视差图中物体的边界与原始影像的边界保持一致，而通过上述引导滤波器的融合，既不用进行两次独立的密集匹配(即从基准影像到匹配影像以及从匹配影像到基准影像的匹配)，又不降低物体边界的匹配质量。
另外，通过上述匹配计算的方式计算的基准影像视差图也可能存在物体边缘部分质量稍差，故优选的同样使用上述引导滤波器对该基准影像视差图进行去噪滤波处理，得到优化后的基准影像视差图。
S104、对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
具体的，使用去噪精化处理后的匹配影像视差图对上述基准影像视差图进行一致性检测，剔除基准影像视差图中与上述匹配影像匹配不一致的像素点，得到最终的匹配基准影像视差图。
本发明实施例提供了一种快速半全局密集匹配方法，其通过密集匹配算法以及基准影像和匹配影像的核线关系，计算基准影像视差图和匹配影像视差图，然后对得到两个视差图进行去噪精化处理，过滤了视差图中的噪音且保持了视差图中的物体边界与原始影像中的物体边界一致，快速实现了左右一致性检测，无需进行两次单独的左右影像匹配，且在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
具体的，根据上述密集匹配算法以及所述核线关系计算基准影像视差图和匹配影像视差图具体包括：
通过以下公式计算从所述基准影像到所述匹配影像的基准影像视差图mindS[p,d1]；其中，S表示聚集的(平滑的)匹配代价；p表示所述基准影像上的任意像素；d1表示p像素所对应的视差。
具体的，S表示聚集的(平滑的)匹配代价，其是根据SGM算法的一个匹配能量函数，用半全局的方式从不同的通道进行匹配代价的聚集(Aggregation of Matching coststhrough different paths)，得到聚集的(平滑的)匹配代价；然后，根据上述公式mindS[p,d1]计算从基准影像到匹配影像的基准影像视差图；其中，上述S是聚集的(平滑的)匹配代价，需要被最小化；p对应基准影像上的任意像素；d1为p像素所对应的视差，与最小代价相关的d1是所求值。
通过以下公式计算从所述匹配影像到所述基准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S表示聚集的(平滑的)匹配代价；q表示所述匹配影像的任意像素；d2表示q像素所对应的视差；emb表示所述匹配影像中的任意像素q到所述基准影像中的任意像素p的核线关系。
具体的，根据上述得到的聚集的(平滑的)匹配代价，以及基准影像和匹配影像的核线关系，即根据公式mindS[emb(q,d2),d2]计算从匹配影像到基准影像的匹配影像视差图；其中，S表示聚集的(平滑的)匹配代价，需要被最小化；q表示所述匹配影像的任意像素；d2表示q像素所对应的视差，与最小代价相关的d2是所求值；emb表示所述匹配影像中的任意像素q到所述基准影像中的任意像素p的核线关系。
下面详细说明本发明实施例中，计算上述聚集的(平滑的)匹配代价的方法，主要包括三个部分：
第一、输入输出：密集匹配指的是在影像外方位确定以后(即通过空三平差方法获得外方位元素后)，对影像重叠部分进行逐像素的匹配，目的是重建每一个像素点的3D坐标，生成密集3D点云(通常是LAS格式)。目前主流的密集匹配为了节省时间，都是基于核线影像进行的。一对核线影像中的任意同名点只有横轴方向的视差，没有纵轴方向不同。
具体的，密集匹配算法输入包括：基准影像I1和匹配影像I2(与后面的基准影像Ib和匹配影像Im相对应)。
输入的核线像对原则上可以是彩色影像，但是在基于MI(Mutual Information，互信息)的匹配代价计算中，选用的都是黑白影像。因为只存在水平方向的视差，故可以将基准影像上每个点的视差值(即水平位移大小)放到原像素的位置，便构成了一张基准影像的视差图。其中，密集匹配算法输出的：基准影像的视差图D，也叫深度图。
视差以像素为单位，在外方位已知的情况下，通过这些视差值可以计算物体实际的3D坐标。视差值的的正负符号以及绝对值的大小，与物体离采集装置(可以为相机)的距离相关。所以视差图在计算机视觉领域往往也被称作深度图。在飞机垂直航拍的情况下，该“深度”显然与物体的高度线性相关。
第二、基于MI的匹配代价的计算：
密集匹配通过计算和比较匹配代价实现。匹配代价用来衡量基准影像上某个点与匹配影像上某个点的相似程度。越相似的点对应的匹配代价越小，越应该被匹配在一起。从数据结构来说，匹配代价C(p，d)是一个二维数组，其中p代表基准影像上的任意像素，d代表与p像素相关的任意视差值。目的在于对于p选出一个d，使对应的C最小化。
下列步骤为了描述方便，基准影像也被称作左图，匹配影像被称作右图。在实际中，左右互换角色进行匹配也是可以的。
具体的，匹配代价种类繁多，本算法(即密集匹配算法)目前使用的互信息MI是基于统计学的一种匹配代价。MI的本质是用概率分布来描述匹配代价，左图每一灰度值与右图每一灰度值相匹配的概率需要被计算出来。其中，本发明实施例中基于MI的进行匹配代价计算，MI计算步骤如下：
第一步：假设一个先验视差图：计算MI必须从已有的视差图出发，而初始化的过程必须用到先验视差图，可以选择任意视差值作为像素的先验视差。优选的，经过多轮的匹配迭代得到先验视差，用以避免初始化的先验视差值错误。
第二步：计算左右影像灰度值匹配的概率黑白影像的灰度值取值范围为0～255总共256个值。因为图像明暗光照的变化，相匹配的两个点很可能灰度值并不相等。从统计学的角度来说，左图上的每一种灰度值都有一定概率和右图上的每一种灰度值相匹配。左右灰度值i与k取值范围都可以从0到255，总共有(256×256)种匹配的可能性。是一个256×256大小的矩阵，所有元素初始为0。根据上一步的先验视差图，如果每一种灰度匹配出现一次，的相应元素便加1(次)。
第三步：基于概率计算联合熵最初的概率还是一个整数矩阵，每个值都表示某一事件出现的次数。整数型的概率需要被转换为浮点型的联合熵即
上述公式中表示高斯平滑函数，n表示所有匹配点的个数，即影像像素总数。
第四步：计算左图灰度值概率和熵在上述步骤中计算了联合概率与联合熵以后，还需要分别考虑单张影像灰度值出现的概率和熵。是一个包含256个元素的向量，每种灰度值出现一次，对应元素的概率便加1(次)。熵的计算使用如下公式：
第五步：与第四步类似，计算右图灰度值概率和熵
第六步：计算最终互信息
其中，是一个256×256大 小的矩阵，包含浮点类型的数值。为了计算速度，可对其进行缩放、平移和数据类型转换，使 最终结果为short整数类型。
第七步：填充匹配代价C(p，d)：匹配代价C是一个二维数组，其中p代表左图任意像素，d代表与p像素相关的任意视差值。通过(p，d)与核线关系可以在右图上找到对应的像素q。基于q和q的灰度值，能在中获取对应的互信息，并把该互信息填充到数组C(p，d)中的相应位置。
第三、对上述匹配代价的半全局最优解：
如果只考虑单个像素匹配代价C(p，d)，选出每个像素最小的匹配代价以及对应的视差值，很容易出现错误匹配。为了避免错误，必须考虑单个像素与其相邻像素的关系。总体思路是假设相邻像素视差值类似(除了物体边界区域，该假设基本成立)，如果相邻视差变化1，则加上一个较小的惩罚值；如果相邻视差变化大于1，则加上一个较大的惩罚值。该惩罚值需要根据经验选择。在本算法中，惩罚值与基准影像的梯度值相关。梯度值越大，说明是物体边界的可能性越大，即视差跳跃的可能性越大，随之惩罚值越小。这样的惩罚值，一方面可以保证在物体表面视差的连续性，另一方面还可以保证在物体边界处视差能够正确的跳跃。
把上述思路表述为一个需要被最小化的能量函数E(D)：
需要求得一张最优的视差图D，使能量函数E最小化。E是所有像素p的匹配代价C(p，Dp)之和，加上惩罚值。当p的相邻的像素q∈Np与p的视差值变化为1时(|Dp-Dq|＝1条件为真，T等于1，为假时则等于0)，需要加上一个较小的惩罚值P1。当相邻的像素视差值变化大于1时，需要加上较大的惩罚值P2。
以上能量函数最小化问题的变量D是一个二维矩阵，将该二维矩阵简化为多个方向的一维问题可进行求解。沿单个方向来看，二维的影像矩阵中可以提取出一条一维的数据，该一维问题可用动态规划(Dynamic Programming)递归解决，最后综合考虑多个方向一维问题的解，可得到二维问题的近似解(即半全局优化)。
从公式的角度来说，基于MI之前已经计算出单个像素匹配代价C(p，d)。接着，沿某一方向r将要计算出累积代价Lr(p，d)。
其中p-r表示沿着r方向的p的前一像素。上述公式的含义是：聚合代价Lr(p，d)等于单个像素匹配代价C(p，d)加上前一像素的含惩罚值的最小聚合代价减去前一像素不含惩罚值的最小聚合代价。上述公式从影像边缘开始进行递归计算，为了防止数据不断变大超过计算机的处理范围，才减去前一像素不含惩罚值的最小聚合代价。
通过以上公式计算单个通道(即单个方向)的聚合代价，而总体上需要考虑多个通道r。最终聚合代价S(p，d)等于多个通道之和：
在实际计算中，通道数选择8个，即从左到右，从右到左，从上到下，从下到上，从左上到右下，从右下到左上，从右上到左下和从左下到右上。聚合的(平滑的)匹配代价S(p，d)与单个像素的匹配代价C(p，d)的数据结构完全一样，都是一个二维数组。对于任意像素p，基于S(p，d)选出的视差值d，使S最小化，再把所有的d组合成一个二维矩阵，就能得到最终结果：视差图D。
另外，现有技术中匹配计算过程均是通过固定的视差搜索范围搜素匹配计算过程中的视差，但是，固定的视差搜索范围增加了很多无意义的计算。其中，固定的视差搜索范围指的是，在整幅影像(包括基准影像和匹配影像，对应为左影像和右影像)中设置固定的最大视差值和最小视差值，得到对应的固定视差搜索范围，对于整幅影像中的每个要匹配的像素都要在这个较大的固定视差搜索范围内寻找匹配点，使得绝大部分的搜索计算是在远离正确视差值的区域进行的，为了解决该问题，参见图2，本发明实施例中使用动态视差搜索范围，具体方法包括：
S201、构建待匹配影像对应的影像金字塔；其中，所述待匹配影像包括：所述基准影像和/或所述匹配影像；所述影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
本发明实施例中，上述待匹配影像包括：基准影像和/或匹配影像，且基准影像和匹配影像中均包括多个像素；将上述待匹配影像按一定规则生成的由细到粗不同分辨率的影像集，得到该待匹配影像对应的影像金字塔；其中，得到的上述影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系，其中，每一个分辨率占据影像金字塔的一层，该影像金字塔从下到上分辨率越来越大，本发明实施例中以金字塔的最底层为第一层，从最底层往上依次为第二层、第三层等。
上述预设关联关系可以理解为影像金字塔中的分辨率从上到下的逐层缩小关系，如1/2，1/4，1/8和1/16，或者为影像金字塔中的分辨率从下到上的放大关系，如2倍，4倍，8倍和16倍等。
以上述第一层、第二层和第三层为例，其包括分辨率的大小可以分别为：320×240、640×480、1280×960等，且上述相邻两两分辨率之间均为放大2倍的关系。
需要说明的是，上述分辨率的大小和分辨率之间的预设关联关系可以根据需要任意设置，本发明实施例对此不作具体限制。
S202、根据构建的所述影像金字塔，确定所述待匹配影像的原始分辨率。
本发明实施例中针对待匹配影像中的每一个像素均设置一个视差搜索范围，以待匹配影像中的任意一个像素来说，首先确定该像素所在的待匹配影像在影像金字塔中的原始分辨率。
S203、根据构建的所述影像金字塔，确定所述待匹配影像用于搜索像素视差的当前分辨率。
由于在待匹配影像中较大的原始分辨率对应的视差搜索范围(即固定的视差搜索范围)下搜索像素视差，增加了很多无意义的计算，并且还可能使得绝大部分的搜索计算是在远离正确视差值的区域进行的。针对该问题，本发明实施例使用动态视差搜索范围，首先在影像金字塔中确定待匹配影像的一个较小的当前分辨率，然后在该当前分辨率对应的整个视差搜索范围中搜索像素视差，因为是当前分辨率的待匹配影像是低分辨影像，所以并不会消耗太多时间。
本发明实施例中以当前分辨率为影像金字塔的最底层分辨率(即第一层分辨率)为例进行说明；实际中，当前分辨率是根据实际待匹配影像进行确定的。
S204、在所述当前分辨率的待匹配影像对应的最大视差范围中搜索所述像素视差，得到所述像素的当前视差。
具体的，在影像金字塔的最底层分辨率(即第一层分辨率)的待匹配影像对应的整个视差搜索范围中搜索像素视差，得到当前视差d0，该d0是一个点值。
S205、根据所述影像金字塔中的所述当前分辨率与所述原始分辨率的预设关联关系以及所述当前视差，计算所述像素在原始分辨率的待匹配影像中的原始视差搜索范围。
具体的，上述当前分辨率与原始分辨率具有预设关联关系(如相邻的两两分辨率之间为放大2倍关系)，根据上述预设关联关系以及计算得到的当前视差，即可计算得到像素在原始分辨率的待匹配影像中的原始视差搜索范围；
其中，在上述金字塔影像的最底层(即第一层)的当前分辨率的待匹配影像对应的整个视差搜索范围内搜索像素视差，得到该像素的当前视差；然后根据该最底层与上一层的预设关联关系，可以计算得到第二层分辨率影像中的视差所在点值，而为了保证该视差搜索更准确，需要将该第二层得到的点值加减一个预设阈值(此处称为第一预设阈值)，即可得到该像素在第二层中的视差搜索范围；然后根据第二层与上一层(即第三层)的预设关联关系，可以计算得到该像素在第三层分辨率影像中的视差所在点值，而为了保证该视差搜索更准确，需要将该第三层得到的点值加减一个预设阈值(此处称为第二预设阈值)，即可得到该像素在第三层对应的视差搜索范围；以此类推，根据原始分辨率的上一层与原始分辨率所在层数的预设关联关系以及上一层计算得到的视差所在点值，同样可以计算得到该像素在原始分辨率的待匹配影像中的原始视差搜索范围。
上述动态视差搜索范围技术需要确定待匹配影像中每一个像素的视差搜索范围，具体方法为：首先在低分辨率影像中搜索该像素的视差，然后根据当前低分辨率与原始分辨率对应的预设关联关系、像素在低分辨率影像中的搜索得到的视差以及对应的预设阈值，即可以计算得到像素在原始分辨率的待匹配影像中的原始视差搜索范围。
具体的，设一个像素在影像金字塔的第一层对应的低分辨影像上的视差为d0，在该视差加减一个阈值dthreshold后，便可获得在一个高分辨率影像上搜索的视差范围[d-dthreshold，d+dthreshold]。
需要说明的是，上述第一预设阈值，第二预设阈值优选为不同，即每一层对应的加减的预设阈值均不同，而该预设阈值均是根据多次实验得出的数据。
S206、在所述原始视差搜索范围中，搜索视差d1和视差d2。
具体的，在确定的上述原始视差搜索范围中，搜索视差d1和视差d2，用以对基准影像和匹配影像进行匹配计算。
具体的，结合上述步骤201到步骤204对本发明实施例中的快速半全局密集匹配方法中的采用的动态视差搜索范围方法进行简要说明：
针对现有技术中对整幅影像采用固定的视差搜索范围，具有搜索范围过大的缺点，本发明实施例对每个像素设定不同的视差范围，即上述动态视差搜索范围，而缩小视差搜索范围需要利用金字塔影像逐层匹配，具体的，首先从最低分辨率的金字塔影像开始匹配，这时没有任何视差先验信息，然后在最低分辨率的金字塔影像中对整个视差范围进行搜索，得到在该最低分辨率的金字塔影像中搜索的视差d；虽然该视差搜索范围很大，但是因为是低分辨影像，所以并不会消耗太多时间，然后在低分辨影像匹配完成之后，将该低分辨率影像视差图逐层放大到原始图像的分辨率，作为高分辨影像的视差先验信息，在上述低分辨率影像搜索的视差d0的基础上加减一个阈值后，便可获得在高分辨率影像上搜索的视差范围[d0–dthreshold，d0+dthreshold]。
另外，现有技术的匹配方法中，是将基准影像和匹配影像的非重叠区域也参与了匹配计算，由于非重叠区域根本没有正确的匹配点，故该非重叠区域参与了匹配计算既导致时间的延长，又容易引起错误的结果。针对该问题，本发明提供的快速半全局密集匹配方法中，参考图3，上述步骤101具体包括：
S301、接收采集装置发送的原始基准影像和原始匹配影像；其中，所述采集装置采集所述原始基准影像和所述原始匹配影像时对应有预设采集高度。
具体的，采集装置可以为相机，在实际航空测量中，该相机安装在飞机上，相机用于采集物体的多个原始影像，然后根据用户端各种操作计算处理，选择对应的一对原始影像(即原始基准影像和原始匹配影像)；接收相机发送的这一对原始影像。
其中，该相机安装在飞机上时具有预设高度，根据该高度用于后续计算原始基准影像和所述原始匹配影像的重叠区域和非重叠区域。
S302、根据所述采集装置的预设采集高度以及所述采集装置的外方位元素，分别计算所述原始基准影像和所述原始匹配影像的拍摄区域；其中，所述外方位元素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度。
具体的，上述采集装置对应的外方位元素包括x，y、z以及ω(即Omega)、φ(即Phi)和κ(即Kappa)，其中，上述x，y、z分别表示三维空间中的坐标；上述ω、φ和κ分别表示物体在三维空间中三个旋转角度；优选的，X，Y，Z，ω，φ，κ都是通过平差方法得到最后的精确结果的。其中，平差方法需要有初始值，获取上述X，Y，Z，ω，φ，κ的初始值获取方式具体如下：
X，Y，Z的初始值可以通过全球定位系统采集，也可以通过地面控制点坐标也可反算出相机坐标信息；
ω，φ，κ的初始值可以通过惯性导航系统获取，也可以通过最初的航线规划来获取角度近似值。
最后，根据上述采集装置的预设高度以及该采集装置对应的上述外方位元素，可以计算原始基准影像原始匹配影像的拍摄区域。
S303、根据所述原始基准影像的拍摄区域和所述原始匹配影像的拍摄区域，计算所述原始基准影像和所述原始匹配影像的重叠区域。
具体的，根据计算的上述原始基准影像的拍摄区域和上述原始匹配影像的拍摄区域，可以计算(具体为粗略计算出)原始基准影像和原始匹配影像的重叠区域以及非重叠区域。
S304、对所述重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系的所述基准影像和所述匹配影像。
具体的，在计算机视觉中的密集匹配算法不涉及切除处理，因为计算机要处理的大多数为图幅较小的近景影像，故切除多余的部分不会有更好的效果。而在航空摄影摄方面，由于图幅非常大，涉及有几亿像素的影像，该影像处理很耗时，故摄影测量流程在之前精准的获取外方位元素，然后切除根据上述外方位元素和预设高度计算得到的非重叠区域中的原始基准影像和原始匹配影像，能够大大节省处理时间。
针对上述步骤301-步骤304，本发明提供的快速半全局密集匹配，采用排除左右影像不重叠区域的方法。在做密集匹配之前，左右影像的外方位元素是已知的，通过相机外方位元素和飞机拍摄高度可以估算出拍摄区域以及重叠区域，而影像上非重叠区域的80％将会被切除，避免不必要的计算，保留20％的部分作为缓冲区防止过度切除。
为了得到精准的基准影像视差图，以便根据该基准影像视差图进行后续的工作，如物体三维建模、数字表面模型生成以及正射影像纠正，还需要对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，参考图4，具体的一致性检测过程包括如下步骤：
S401、对去噪精化处理得到的所述基准影像视差图和所述匹配影像视差图进行对比处理，得到所述基准影像视差图中与所述匹配影像视差图匹配不一致的像素。
S402、对所述基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差图。
下面结合图5对本发明实施例提供的快速半全局密集匹配方法进行简要说明：
基准影像Ib和匹配影像Im通过SGM算法计算得到的聚集的(平滑的)匹配代价S[p,d]，并根据得到的聚集的(平滑的)匹配代价S[p,d]计算以及选择对应的引导滤波处理前的基准影像视差图D,b和匹配影像视差图D,m，然后通过引导滤波器对这两个视差图进行去噪精化处理，得到去噪精化处理的基准影像视差图Db和匹配影像视差图Dm，最后对得到的基准影像视差图Db和匹配影像视差图Dm进行一致性检测，得到一致性检测后的最终基准影像视差图。
本发明实施例提供的快速半全局密集匹配方法，与现有技术中的半全局密集匹配方法在兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机内存相比，其不降低匹配质量的前提下，缩短了匹配时间，具体体现在下述三个方面：
(1)通过密集匹配算法和基准影像和匹配影像的核线关系，计算基准影像视差图和匹配影像视差图，并融合引导滤波器，对得到两个视差图进行去噪精化处理，过滤了视差图中的噪音且保持物体的边界与原始影像的物体的边界一致，能够进行快速左右一致性检测，无需进行两次单独的左右影像匹配，在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
(2)采用动态视差搜索范围，以缩短计算时间。
(3)排除左右影像不重叠区域的方法，以减少不必要的计算，缩短了匹配时间。
本发明实施例还提供了一种快速半全局密集匹配装置，所述装置用于执行上述快速半全局密集匹配方法，参考图6，所述装置具体包括：
获取模块11，用于获取待匹配的基准影像和匹配影像；其中，所述基准影像和所述匹配影像具有核线关系；
匹配计算模块12，用于根据密集匹配算法以及所述核线关系对所述基准影像和所述匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图；
去噪精化处理模块13，用于分别对所述基准影像视差图和所述匹配影像视差图进行去噪精化处理；其中，所述去噪精化处理用于过滤所述视差图中的噪音且保持所述视差图中物体的边界与原始影像中物体的边界一致；
一致性检测模块14，用于对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
进一步的，参考图7，上述快速半全局密集匹配装置中，匹配计算模块12包括：
第一视差图计算单元121，用于通过以下公式计算从所述基准影像到所述匹配影像的基准影像视差图mindS[p,d1]；其中，S表示聚集的(平滑的)匹配代价；p表示所述基准影像上的任意像素；d1表示p像素所对应的视差；
第二视差图计算单元122，用于通过以下公式计算从所述匹配影像到所述基准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S表示聚集的(平滑的)匹配代价；q表示所述匹配影像的任意像素；d2表示q像素所对应的视差；emb表示所述匹配影像中的任意像素q到所述基准影像中的任意像素p的核线关系。
另外，现有技术中匹配计算过程均是通过固定的视差搜索范围搜素匹配计算过程中的视差，但是，固定的视差搜索范围增加了很多无意义的计算。其中，固定的视差搜索范围指的是，在整幅影像(包括基准影像和匹配影像，对应为左影像和右影像)中设置固定的最大视差值和最小视差值，得到对应的固定视差搜索范围，对于整幅影像中的每个要匹配的像素都要在这个较大的固定视差搜索范围内寻找匹配点，使得绝大部分的搜索计算是在远离正确视差值的区域进行的，为了解决该问题，参见图8，所述装置还包括：
构建模块15，用于构建待匹配影像对应的影像金字塔；其中，所述待匹配影像包括：所述基准影像和/或所述匹配影像；所述影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
原始分辨率确定模块16，用于根据构建的所述影像金字塔，确定所述待匹配影像的原始分辨率；
当前分辨率确定模块17，用于根据构建的所述影像金字塔，确定所述待匹配影像用于搜索像素视差的当前分辨率；
第一搜索模块18，用于在所述当前分辨率的待匹配影像对应的最大视差范围中搜索所述像素视差，得到所述像素的当前视差；
计算模块19，用于根据所述影像金字塔中的所述当前分辨率与所述原始分辨率的预设关联关系以及所述当前视差，计算所述像素在原始分辨率的待匹配影像中的原始视差搜索范围；
第二搜索模块20，用于在所述原始视差搜索范围中，搜索视差d1和视差d2。
另外，现有技术的匹配方法中，是将基准影像和匹配影像的非重叠区域也参与了匹配计算，由于非重叠区域根本没有正确的匹配点，故该非重叠区域参与了匹配计算既导致时间的延长，又容易引起错误的结果。针对该问题，参见图9，本发明提供的快速半全局密集匹配装置中，获取模块11包括：
接收单元111，用于接收采集装置发送的原始基准影像和原始匹配影像；其中，所述采集装置采集所述原始基准影像和所述原始匹配影像时对应有预设采集高度；
拍摄区域计算单元112，用于根据所述采集装置的预设采集高度以及所述采集装置的外方位元素，分别计算所述原始基准影像和所述原始匹配影像的拍摄区域；其中，所述外方位元素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
重叠区域计算单元113，用于根据所述原始基准影像的拍摄区域和所述原始匹配影像的拍摄区域，计算所述原始基准影像和所述原始匹配影像的重叠区域；
切除处理单元114，用于对所述重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系的所述基准影像和所述匹配影像。
为了得到精准的基准影像视差图，以便根据该基准影像视差图进行后续的工作，如物体三维建模、数字表面模型生成以及正射影像纠正，还需要对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，参见图10，进一步的，一致性检测模块14包括：
对比单元141，用于对去噪精化处理得到的所述基准影像视差图和所述匹配影像视差图进行对比处理，得到所述基准影像视差图中与所述匹配影像视差图匹配不一致的像素；
剔除处理单元142，对所述基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差图。
本发明实施例提供的快速半全局密集匹配装置，与现有技术中的半全局密集匹配方法在兼顾了速度和质量的基础上，仍需消耗较多的计算时间以及占用较多的计算机内存相比，其通过密集匹配算法以及基准影像和匹配影像的核线关系，计算基准影像视差图和匹配影像视差图，然后对得到两个视差图进行去噪精化处理，过滤了视差图中的噪音且保持了视差图中的物体边界与原始影像中的物体边界一致，快速实现了左右一致性检测，无需进行两次单独的左右影像匹配，且在兼顾匹配质量和匹配速度的前提下，缩短了匹配时间。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种快速半全局密集匹配方法，其特征在于，包括：
获取待匹配的基准影像和匹配影像；其中，所述基准影像和所述匹配影像具有核线关系；
构建待匹配影像对应的影像金字塔；所述待匹配影像包括：所述基准影像和/或所述匹配影像；所述影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
根据构建的所述影像金字塔，确定所述待匹配影像的原始分辨率和用于搜索所述待匹配影像中像素的像素视差的当前分辨率；
在所述当前分辨率的待匹配影像对应的最大视差范围中搜索所述待匹配影像的像素视差；
根据所述影像金字塔中所述当前分辨率与所述原始分辨率的预设关联关系以及所述待匹配影像的像素视差，计算所述待匹配影像中像素在原始分辨率的待匹配影像中的原始视差搜索范围；
在所述原始视差搜索范围中，搜索所述待匹配影像的视差；
根据密集匹配算法、所述核线关系以及所述基准影像中任意像素的视差和所述匹配影像中任意像素的视差,对所述基准影像和所述匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图；
分别对所述基准影像视差图和所述匹配影像视差图进行去噪精化处理；其中，所述去噪精化处理用于过滤所述视差图中的噪音且保持所述视差图中物体的边界与原始影像中物体的边界一致；
对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
2.根据权利要求1所述的方法，其特征在于，所述根据密集匹配算法、所述核线关系以及所述基准影像中任意像素的视差和所述匹配影像中任意像素的视差，对所述基准影像和所述匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图，包括：
通过以下公式计算从所述基准影像到所述匹配影像的基准影像视差图mindS[p,d1]；其中，S表示平滑的匹配代价；p表示所述基准影像上的任意像素；d1表示p像素所对应的视差；“mind”表示取S的最小值；
通过以下公式计算从所述匹配影像到所述基准影像的匹配影像视差图mindS[emb(q,d2),d2]；其中，S表示平滑的匹配代价；q表示所述匹配影像的任意像素；d2表示q像素所对应的视差；emb表示所述匹配影像中的任意像素q到所述基准影像中的任意像素p的核线关系；“mind”表示取S的最小值。
3.根据权利要求1所述的方法，其特征在于，所述获取待匹配的基准影像和匹配影像包括：
接收采集装置发送的原始基准影像和原始匹配影像；其中，所述采集装置采集所述原始基准影像和所述原始匹配影像时对应有预设采集高度；
根据所述采集装置的预设采集高度以及所述采集装置的外方位元素，分别计算所述原始基准影像和所述原始匹配影像的拍摄区域；其中，所述外方位元素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
根据所述原始基准影像的拍摄区域和所述原始匹配影像的拍摄区域，计算所述原始基准影像和所述原始匹配影像的重叠区域；
对所述重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系的所述基准影像和所述匹配影像。
4.根据权利要求1所述的方法，其特征在于，所述对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图包括：
对去噪精化处理得到的所述基准影像视差图和所述匹配影像视差图进行对比处理，得到所述基准影像视差图中与所述匹配影像视差图匹配不一致的像素；
对所述基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差图。
5.一种快速半全局密集匹配装置，其特征在于，包括：
获取模块，用于获取待匹配的基准影像和匹配影像；其中，所述基准影像和所述匹配影像具有核线关系；
构建模块，用于构建待匹配影像对应的影像金字塔；所述待匹配影像包括：所述基准影像和/或所述匹配影像；所述影像金字塔包括多个不同的分辨率且多个分辨率之间具有预设关联关系；
确定模块，用于根据构建的所述影像金字塔，确定所述待匹配影像的原始分辨率和用于搜索所述待匹配影像中像素的像素视差的当前分辨率；
第一搜索模块，用于在所述当前分辨率的待匹配影像对应的最大视差范围中搜索所述待匹配影像的像素视差；
计算模块，用于根据所述影像金字塔中所述当前分辨率与所述原始分辨率的预设关联关系以及所述待匹配影像的像素视差，计算所述待匹配影像中像素在原始分辨率的待匹配影像中的原始视差搜索范围；
第二搜索模块，用在所述原始视差搜索范围中，搜索所述待匹配影像的视差；
匹配计算模块，用于根据密集匹配算法以及所述核线关系对所述基准影像和所述匹配影像进行匹配计算，得到基准影像视差图和匹配影像视差图；
去噪精化处理模块，用于分别对所述基准影像视差图和所述匹配影像视差图进行去噪精化处理；其中，所述去噪精化处理用于过滤所述视差图中的噪音且保持所述视差图中物体的边界与原始影像中物体的边界一致；
一致性检测模块，用于对去噪精化处理得到的基准影像视差图和匹配影像视差图进行一致性检测，得到匹配基准影像视差图。
6.根据权利要求5所述的装置，其特征在于，所述匹配计算模块包括：
第一视差图计算单元，用于通过以下公式计算从所述基准影像到所述匹配影像的基准影像视差图mind S[p,d1]；其中，S表示平滑的匹配代价；p表示所述基准影像上的任意像素；d1表示p像素所对应的视差；“mind”表示取S的最小值；第二视差图计算单元，用于通过以下公式计算从所述匹配影像到所述基准影像的匹配影像视差图mind S[emb(q,d2),d2]；其中，S表示平滑的匹配代价；q表示所述匹配影像的任意像素；d2表示q像素所对应的视差；emb表示所述匹配影像中的任意像素q到所述基准影像中的任意像素p的核线关系；“mind”表示取S的最小值。
7.根据权利要求6所述的装置，其特征在于，所述获取模块包括：
接收单元，用于接收采集装置发送的原始基准影像和原始匹配影像；其中，所述采集装置采集所述原始基准影像和所述原始匹配影像时对应有预设采集高度；
拍摄区域计算单元，用于根据所述采集装置的预设采集高度以及所述采集装置的外方位元素，分别计算所述原始基准影像和所述原始匹配影像的拍摄区域；其中，所述外方位元素包括：x，y、z、ω、φ和κ；x，y、z分别表示三维空间中的三个坐标；ω、φ和κ分别表示物体在三维空间中三个旋转角度；
重叠区域计算单元，用于根据所述原始基准影像的拍摄区域和所述原始匹配影像的拍摄区域，计算所述原始基准影像和所述原始匹配影像的重叠区域；
切除处理单元，用于对所述重叠区域外的原始基准影像和原始匹配影像进行切除处理，得到具有核线关系的所述基准影像和所述匹配影像。
8.根据权利要求6所述的装置，其特征在于，所述一致性检测模块包括：
对比单元，用于对去噪精化处理得到的所述基准影像视差图和所述匹配影像视差图进行对比处理，得到所述基准影像视差图中与所述匹配影像视差图匹配不一致的像素；
剔除处理单元，对所述基准影像视差图中匹配不一致的像素进行剔除处理，得到匹配基准影像视差图。
CN201610016308.4A 2016-01-11 2016-01-11 快速半全局密集匹配方法和装置 Active CN105466399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610016308.4A CN105466399B (zh) 2016-01-11 2016-01-11 快速半全局密集匹配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610016308.4A CN105466399B (zh) 2016-01-11 2016-01-11 快速半全局密集匹配方法和装置

Publications (2)

Publication Number Publication Date
CN105466399A CN105466399A (zh) 2016-04-06
CN105466399B true CN105466399B (zh) 2019-09-06

Family

ID=55604359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610016308.4A Active CN105466399B (zh) 2016-01-11 2016-01-11 快速半全局密集匹配方法和装置

Country Status (1)

Country Link
CN (1) CN105466399B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9940721B2 (en) * 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
CN106530337A (zh) * 2016-10-31 2017-03-22 武汉市工程科学技术研究院 基于图像灰度引导的非局部立体像对密集匹配方法
CN108182722B (zh) * 2017-07-27 2021-08-06 桂林航天工业学院 一种三维物体边缘优化的真正射影像生成方法
CN110060283B (zh) * 2019-04-17 2020-10-30 武汉大学 一种多测度半全局密集匹配方法
CN110363235B (zh) * 2019-06-29 2021-08-06 苏州浪潮智能科技有限公司 一种高分辨率图像匹配方法及系统
CN116912251A (zh) * 2023-09-13 2023-10-20 深圳市超诺科技有限公司 一种提高红外打猎相机检测灵敏度的检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384340A (zh) * 2013-06-28 2013-11-06 中南大学 一种从单幅2d图像获取3d成像图像的方法
CN103604417A (zh) * 2013-11-15 2014-02-26 南京师范大学 物方信息约束的多视影像双向匹配策略
CN104156957A (zh) * 2014-08-06 2014-11-19 昆山天工智能科技有限公司 一种稳定高效的高分辨率立体匹配方法
CN104299228A (zh) * 2014-09-23 2015-01-21 中国人民解放军信息工程大学 一种基于精确点位预测模型的遥感影像密集匹配方法
CN105160702A (zh) * 2015-08-20 2015-12-16 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103384340A (zh) * 2013-06-28 2013-11-06 中南大学 一种从单幅2d图像获取3d成像图像的方法
CN103604417A (zh) * 2013-11-15 2014-02-26 南京师范大学 物方信息约束的多视影像双向匹配策略
CN104156957A (zh) * 2014-08-06 2014-11-19 昆山天工智能科技有限公司 一种稳定高效的高分辨率立体匹配方法
CN104299228A (zh) * 2014-09-23 2015-01-21 中国人民解放军信息工程大学 一种基于精确点位预测模型的遥感影像密集匹配方法
CN105160702A (zh) * 2015-08-20 2015-12-16 武汉大学 基于LiDAR点云辅助的立体影像密集匹配方法及系统

Also Published As

Publication number Publication date
CN105466399A (zh) 2016-04-06

Similar Documents

Publication Publication Date Title
CN105466399B (zh) 快速半全局密集匹配方法和装置
CN112435325B (zh) 基于vi-slam和深度估计网络的无人机场景稠密重建方法
EP2833322B1 (en) Stereo-motion method of three-dimensional (3-D) structure information extraction from a video for fusion with 3-D point cloud data
Niederheiser et al. Deriving 3D point clouds from terrestrial photographs-Comparison of different sensors and software
Wenzel et al. SURE–The ifp software for dense image matching
Verhoeven et al. Undistorting the past: New techniques for orthorectification of archaeological aerial frame imagery
US9324184B2 (en) Image three-dimensional (3D) modeling
EP3002552B1 (en) A method and a system for building a three-dimensional model from satellite images
Haala et al. Extracting 3D urban models from oblique aerial images
CN109255808B (zh) 基于倾斜影像的建筑物纹理提取方法和装置
Maurer et al. Tapping into the Hexagon spy imagery database: A new automated pipeline for geomorphic change detection
Wang et al. Accuracy evaluation of 3d geometry from low-attitude uav collections a case at zijin mine
Alidoost et al. An image-based technique for 3D building reconstruction using multi-view UAV images
CN111340922A (zh) 定位与地图构建的方法和电子设备
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
WO2015108996A1 (en) Object tracking using occluding contours
CN111383335B (zh) 一种众筹照片与二维地图结合的建筑物三维建模方法
JP2004021921A (ja) ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
CN103606151A (zh) 基于影像点云的大范围虚拟地理场景自动构建方法
CN111721281B (zh) 位置识别方法、装置和电子设备
Bethmann et al. Semi-global matching in object space
Kuschk Large scale urban reconstruction from remote sensing imagery
CN112288637A (zh) 无人机航拍图像快速拼接装置及快速拼接方法
Burkhard et al. Stereovision mobile mapping: System design and performance evaluation
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant