CN110211169A - 基于多尺度超像素和相位相关的窄基线视差的重构方法 - Google Patents

基于多尺度超像素和相位相关的窄基线视差的重构方法 Download PDF

Info

Publication number
CN110211169A
CN110211169A CN201910491539.4A CN201910491539A CN110211169A CN 110211169 A CN110211169 A CN 110211169A CN 201910491539 A CN201910491539 A CN 201910491539A CN 110211169 A CN110211169 A CN 110211169A
Authority
CN
China
Prior art keywords
pixel
parallax
phase
super
multiple dimensioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910491539.4A
Other languages
English (en)
Other versions
CN110211169B (zh
Inventor
叶真
徐聿升
潘玥
顾振雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hesse Intelligent Technology Co Ltd
Original Assignee
Shanghai Hesse Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hesse Intelligent Technology Co Ltd filed Critical Shanghai Hesse Intelligent Technology Co Ltd
Priority to CN201910491539.4A priority Critical patent/CN110211169B/zh
Publication of CN110211169A publication Critical patent/CN110211169A/zh
Application granted granted Critical
Publication of CN110211169B publication Critical patent/CN110211169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多尺度超像素和相位相关的窄基线视差的重构方法，该方法包括以下分步骤：步骤1：采用傅里叶‑梅林变换方法获取两个输入图像之间的全局相似变换模型；步骤2：通过多尺度超像素方法对全局相似变换模型进行像素极误差估计，获得像素极误差估计结果；步骤3：针对像素极误差估计结果采用基于奇异值分解和随机采样一致性的亚像素相位相关方法进行亚像素精度获取操作并进一步得到最终窄基线视差结果；步骤4：根据最终窄基线视差结果对图像进行三维信息重构。与现有技术相比，本发明具有精度高，鲁棒性好，低纹理区域匹配效率高等优点。

Description

基于多尺度超像素和相位相关的窄基线视差的重构方法
技术领域
本发明涉及计算机视觉技术领域，尤其是涉及一种基于多尺度超像素和相位的窄基线立体视差的重构方法。
背景技术
从立体图像中恢复深度是摄影测量乃至计算机视觉中的关键问题之一。在传统的地球观测系统中，为了估计地面的高度，通常会利用具有宽摄影测量基线的卫星或飞机获得的一对或多对立体图像，并确保这些立体像对的基高比(B/H)范围在0.6-1.0。从理论上讲，立体匹配需要较大的B/H比率，以确保高程估计中前方交会的准确性。然而，对于具有宽基线的一对立体图像，意味着这两张图像是以完全不同的视角获取的。在这种情况下，在成像过程中，3D对象被记录在具有不同投影方向的2D图像平面上，这将在图像上为相同的3D对象生成不同的2D图案。因此，当在图像匹配过程中识别对应同一物体的像素点时，将增加更多困难。此外，在城市区域，高大的人造基础设施(例如，摩天大楼或电视塔)将遮挡较低的邻近物体，这将在立体图像中产生遮挡和阴影，使得图像的匹配变得更加困难。
为了解决这些问题，由狭窄基线构建的立体视觉可能是替代方案之一。但是由于视差精度将极大地影响高度估计，窄基线立体视觉需要非常精确且鲁棒的视差估计算法。当前，亚像素匹配算法的发展已经使得能够以优于0.05像素的精度估计图像的视差偏移，这使得窄基线的立体视觉成为可能。另一方面，为了使估计的视差足够准确，还需要解决以下两个主要挑战：(1)低纹理区域提供较少的匹配信息，并使亚像素估计不可靠，尤其是在窗口尺寸较小的情况下。(2)当相关窗口跨越深度不连续时，匹配过程遭受不能正确重建对象边界的fattening(发胖)效果。在这种情况下，除了亚像素匹配算法之外，有效匹配方案和策略对于窄基线立体视觉也是必不可少的。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多尺度超像素和相位相关的窄基线视差的重构方法，主要用于摄影测量或计算机视觉中立体视觉的重构，实现对图像视差的精确估计，其核心功能为从立体像对中估计具有亚像素精度的视差值，从而恢复真实的三维信息。
本发明的目的可以通过以下技术方案来实现：
一种基于多尺度超像素和相位相关的窄基线视差的重构方法，该方法包括以下分步骤：
步骤1：采用傅里叶-梅林变换方法获取两个输入图像之间的全局相似变换模型；
步骤2：通过多尺度超像素方法对全局相似变换模型进行像素极误差估计，获得像素极误差估计结果；
步骤3：针对像素极误差估计结果采用基于奇异值分解和随机采样一致性的亚像素相位相关方法进行亚像素精度获取操作并进一步得到最终窄基线视差结果；
步骤4：根据最终窄基线视差结果对图像进行三维信息重构。
进一步地，所述的步骤2中的多尺度超像素方法的算法模型具体包括以下分步骤：
步骤21：对算法模型的输入图像通过SLIC超像素方法进行分割操作；
步骤22：通过SLIC超像素方法进行分割操作后进行窗口尺寸及位置确定操作；
步骤23：经过窗口尺寸及位置确定操作后进行像素级相位相关操作；
步骤24：经过像素级相位相关操作后进行可靠性检查及视差填充操作；
步骤25：经过可靠性检查及视差填充操作后进行加权中值滤波操作以获取像素级视差图，即像素极误差估计结果。
进一步地，所述步骤3中的基于奇异值分解和随机采样一致性的亚像素相位相关方法具体包括以下步骤：
步骤31：获取像素级视差图的水平方向偏移和垂直方向偏移各自的影像；
步骤32：对两幅影像分别进行Hanning窗函数加权减弱边缘效应和离散傅里叶变换后，计算两幅影像的归一化互功率谱矩阵；
步骤33：对归一化互功率谱矩阵进行高斯频域滤波后进行子空间分解，获得左右的主奇异值向量，并将其转换为对应的两个相位角向量；
步骤34：对相位角向量进行一维解缠；
步骤35：采用随机抽样一致性算法分别估计两个相位角向量的斜率并将该斜率转换为水平和垂直方向上的偏移值。
进一步地，所述步骤32中的归一化互功率谱矩阵，其描述公式为：
式中：Q(u,v)表示归一化互功率谱矩阵，F(u,v)和G(u,v)分别表示像素级视差图的水平方向偏移和垂直方向偏移各自的影像经傅里叶变换后的函数，*表示复数共轭，x0和y0分别表示水平和垂直方向上的偏移值。
进一步地，所述步骤35中，采用随机抽样一致性算法分别估计两个相位角向量的斜率是以相位角向量理论上的直线性作为数学模型、待估计的相位角向量的斜率为模型参数θk进行迭代求解，具体为：
步骤351：预设参数最大迭代值kmax、置信度c0和阈值t，并设当前迭代值k＝0，最大有效样本数据为Imax＝0；
步骤352：随机选择最小要求的m个样本来估计模型参数θk；
步骤353：根据阈值t和估计模型计算阈值内的数据个数Ik，判断|Ik|＞Imax是否成立，若是则执行步骤354，若否则执行步骤355；
步骤354：令最优模型参数θ*＝θk，有效样本数据I*＝Ik，采用如下计算公式重新计算kmax后执行步骤355；
步骤355：令k＝k+1，并判断k＜kmax是否成立，若是则执行步骤356，若否则返回步骤352；
步骤356：获得最终的最优模型参数θ*和有效样本数据I*。
进一步地，所述的步骤354中的如下计算公式为：
式中，εm＝|I*|/N，N表示数学模型数据集的数据量。
进一步地，所述的步骤24中的可靠性检查具体包括：从每一次算法模型迭代中的所有校正的最大峰值相关值自适应地估计判定阈值，通过将峰值相关值与判定阈值相比较，若峰值相关值大于判定阈值，判定为不可靠，停止填充视差图更新，若峰值相关值小于判定阈值，判定为可靠，对具有相同超像素标签的像素用相同的视差值填充并使用填充的视差图更新在先前迭代中估计的先前视差图。
进一步地，所述的步骤23中的像素级相位相关操作通过获取归一化交叉功率谱矩阵的离散傅里叶逆变换的峰值坐标实现，其对应描述公式为：
式中，F-1表示逆离散傅里叶变换。
与现有技术相比，本发明具有以下优点：
(1)极高的视差估计精度：本发明为了证明所提出方法的性能，采用B/H比率小于0.1的连续图像子集对作为实验数据，这些图像由无人驾驶飞行器(UAV)和NIKON D800数码单反相机拍摄，使用傅里叶-梅林变换进行图像配准以估计两个图像之间的全局相似性变换，并且相应地扭曲右图像，在图像配准之后，由相对高度变化引起的视差差异主要在于y方向，因此，在这里仅显示y方向的视差图，与当前主流算法的结果对比可以看出，本发明具有极好的视差估计精度。
(2)有效抵御fattening效应对视差估计的影响：本发明实施例的成像场景是一个有许多建筑物的市区，适合研究fattening效果的影响，由得到的结果中提取的剖西线的对比结果，可以看出，本发明的视差估计结果最接近真实的视差结果，而且有效地避免了视差边缘的fattening效应。
(3)对噪声的鲁棒性好：本发明在图像配准和视差细化过程中使用基于SVD-RANSAC(基于奇异值分解和随机采样一致性的亚像素)的相位相关算法进行旋转平移和亚像素视差估计，可有效通过RANSAC(随机采样一致性)策略避免高频噪声的影响。
(4)可以有效处理低纹理区域的匹配问题：为了可靠的相关性，本发明中针对具有相同超像素标签的像素用相同的视差值填充，并且使用填充的视差图更新在先前迭代中估计的先前视差图，这一填充的过程可以有效的处理低纹理区域的匹配问题，即用可靠的高纹理区域的结果，对不可靠的低纹理区域结果进行填充。
附图说明
图1为本发明的整体方法流程图；
图2为本发明实施例经多尺度超像素方法4次依次迭代聚类的结果示意图；
图3为本发明中基于超体素尺寸的匹配模板示意图；
图4为本发明与不同算法得到的视差图估计结果示意图，其中，(a)为具有较大窗口尺寸的COSI-Corr算法结果，(b)为具有较小窗口尺寸的COSI-Corr算法结果，(c)为具有固定变化(HAFV)的分层和自适应框架算法结果，(d)为MicMac算法结果，(e)为本发明方法的结果，(f)为原始影像图；
图5为不同算法的视差图剖面对比结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
如图1所示为本发明的整体方法流程示意图，其主要包括三个部分：图像配准(Image coregistration)，像素级视差估计(Pixel-level disparity estimation)和亚像素视差细化(Subpixel refinement)，在第一步中，使用亚像素精度的傅里叶-梅林变换(Fourier-Media Transform)来获得两个输入图像(Left image和Right image)之间的全局相似变换模型，然后，通过多尺度超像素的方式迭代估计像素级视差。在每次迭代中，采用简单的线性迭代聚类(SLIC)方法将输入图像分割成不同数量的超像素。利用根据超像素确定的窗口大小和位置来执行像素级的相位相关。同时实施可靠性检查以确保低纹理区域的稳健性。随后，具有相同超像素标签的像素被赋予相同的视差值，并且移位策略更新视差。最后，采用基于边缘感知滤波器的快速加权中值滤波来细化视差结果。在最后一步中，通过使用基于奇异值分解和随机采样一致性(SVD-RANSAC)的亚像素相位相关方法计算准确的差异(Disparity results)。
1)图像配准
为了实现精确的视差估计，应首先对输入图像进行配准以消除视差信息之外的不一致性。由于所提出的方案可以直接估计二维位移，在不严格要求极线约束的情况下，也可以以基于特征或基于区域的配准方法来减少搜索范围和透视失真。在该研究中由于窄基线立体图像具有相似的视角，因此采用基于傅里叶-梅林变换的图像配准方法即可通过相似变换模型将右图像全局地配准到左图像。
使用傅里叶-梅林变换的图像配准可以解决图像之间的平移，旋转和尺度变化(如果存在的话)，并且可以在没有先验知识的情况下应用于大运动的情况。通过傅里叶-梅林变换，其像素的灰度值对应于对数极坐标映射，旋转和缩放估计可以表示为等效坐标系中的平移估计。为了准确的平移估计，采用SVD-RANSAC的相位相关方法。
2)像素级视差估计
在像素级的视差估计中，本发明提出了一种新的分层和自适应框架，以减少低纹理区域和边界区域的影响。与使用图像金字塔或使用固定步长和窗口变化策略的传统方式不同，在本发明方法的算法模型中，多分辨率和多窗口的相位相关是通过多尺度超像素分割实现的。在每次迭代中，按顺序对图像实施：SLIC分割(Superpixel segmentation)->窗口大小和位置确定(Window size and location determination)->像素级相位相关(Pixel-level phase correlation)->可靠性检查->填充视差(Reliability check andFilling)->快速加权中值滤波(Shifting and weighted median filtering)。在下一次迭代中，将超像素的数量设置为增加值，以使窗口大小和相关步长逐渐变小，直到达到指定的最大迭代次数。在本发明方法的算法模型中，一般需要实施四次迭代(Iteration 1、Iteration 2、Iteration 3和Iteration 4)。
超像素分割对于分层和自适应框架至关重要，假设场景是分段连续的。在这里，选择SLIC超像素方法是因为其计算效率和出色的边界依从性。SLIC被认为是对k-均值聚类到分割的适应，其中考虑了组合颜色和空间接近度的加权距离度量(如图2所示)，多尺度SLIC方法在较大的迭代中将图像分解为越来越多的不同尺度的超像素。每个超像素代表相应的对象并且很好地粘附到对象物体的边界。根据超像素段的形状，可以自适应地确定窗口大小和图像相关的位置(如图3中所示)。关于每个超像素块S(k)，使用模板窗口T(Ck)执行图像相关，该模板窗口是以Ck为中心的最小边界框。这种自适应确定策略能够最小化边界的误差和fattening效果的影响。
在本方法中采用相位相关作为基本匹配方法，这是一种基于傅立叶的匹配技术，其表明空间域中的两个相关图像的移位被转换为傅立叶域作为线性相位差。该方法被认为比常用的基于灰度的空域匹配方法更准确有效(例如，传统的归一化互相关方法)。对于每个模板窗口T(Ck)，假设两个图像函数f(x,y)和g(x,y)通过移位x0和y0来关联，使得g(x,y)＝f(x-x0,y-y0)。这里所使用的归一化的交叉功率谱由下式给出：
式中：Q(u,v)表示归一化互功率谱矩阵，F(u,v)和G(u,v)分别表示像素级视差图的水平方向偏移和垂直方向偏移各自的影像经傅里叶变换后的函数，*表示复数共轭，x0和y0分别表示水平和垂直方向上的偏移值。
在整数像素移位的情况下，Q(u,v)的离散傅里叶逆变换是以(x0,y0)为中心的单位脉冲函数。因此，通过找到归一化的交叉功率谱矩阵的离散傅里叶逆变换的峰值坐标来实现像素级相位相关：
式中，F-1表示逆离散傅里叶变换。
在较小窗口尺寸的情况下，低纹理区域和动态变化区域可能显着劣化像素级的相位相关结果。因此，在迭代更新之前，需要进行可靠性检查。从第一次迭代中的所有校正的最大峰值相关值自适应地估计判定阈值。通过将峰值相关值与判定阈值进行比较来评估来自像素级相位相关的每个视差的可靠性。为了可靠的相关性，具有相同超像素标签的像素用相同的视差值填充，并且使用填充的视差图更新在先前迭代中估计的先前视差图。对于不可靠的相关性，先前视差图停止更新。由于超像素填充引起的分层问题和不可靠测量的存在，使用恒定时间加权中值滤波方法以用于视差细化。中值滤波的权重是使用恒定时间边缘感知滤波器构建的(例如,引导滤波器)，这减少了计算时间并且考虑了边界结构。加权中值滤波不仅可以消除异常值误差，还可以减弱肥胖效应的影响。在加权中值滤波之后可以获得像素级的视差图。
3)亚像素视差细化
基于前一步生成的高质量像素级视差图，在该步骤中通过亚像素的相位相关来获取亚像素的精度。亚像素相位相关的窗口大小可以根据像素级视差估计步骤中的不同迭代中的可靠性检查的结果来确定。如果所有迭代中的可靠性检查都通过，则较小的匹配窗口足矣。
在这里再次使用的基于SVD-RANSAC的亚像素相位相关方法，其具有高可靠性和强大的鲁棒性。SVD-RANSAC方法利用了SVD算法将二维估计问题转换为一维的优点，同时使用RANSAC算法进行鲁棒线性拟合，可以在效率和效果之间取得良好的平衡。在如前文所述的计算归一化的跨功率谱矩阵之后，使用SVD和一维展开从经过滤波的归一化的跨功率谱矩阵中提取每个维度的相位差。使用RANSAC算法估计两个主要奇异向量的展开相位角的斜率并将其转换为亚像素的位移(Dense matching using subpixel phase correlation)。这一步类似于像素级视差估计，从SVD-RANSAC方法输出的匹配不确定性测量以及加权中值滤波，通过失配去除(Mismatch removal and weighted median filtering)来进一步细化亚像素级的视差图。
本发明为了证明所提出方法的性能，采用B/H比率小于0.1的连续图像子集对作为实验数据。这些图像由无人驾驶飞行器(UAV)和NIKON D800数码单反相机拍摄。使用傅里叶-梅林变换进行图像配准以估计两个图像之间的全局相似性变换，并且相应地扭曲右图像。在图像配准之后，由相对高度变化引起的视差差异主要在于y方向，因此，在这里我们仅显示y方向的视差图。在图4中，给出了本发明方法的算法模型与当前主流算法的结果对比图(如图4所示)，可以看出，本发明方法的算法模型具有极好的视差估计精度。
由图4的结果中提取的剖西线的对比结果(如图5所示)可以看出，本发明方法的算法模型视差估计结果最接近真实的视差结果，而且有效地避免了视差边缘的fattening效应。
图4和图5中的Profile A表示试验数据，图5中的Proposed Scheme表示本发明方法的算法模型对应的剖西线，MicMac表示一种现有其他算法的剖西线，HAFV表示具有固定变化(HAFV)的分层和自适应框架算法的剖西线，COSI-Corr_W64表示具有较大窗口尺寸的COSI-Corr算法的剖西线，COSI-Corr_W32表示具有较小窗口尺寸的COSI-Corr算法的剖西线，Disparity表示视差，Transect表示横断面。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，该方法包括以下分步骤：
步骤1：采用傅里叶-梅林变换方法获取两个输入图像之间的全局相似变换模型；
步骤2：通过多尺度超像素方法对全局相似变换模型进行像素极误差估计，获得像素极误差估计结果；
步骤3：针对像素极误差估计结果采用基于奇异值分解和随机采样一致性的亚像素相位相关方法进行亚像素精度获取操作并进一步得到最终窄基线视差结果；
步骤4：根据最终窄基线视差结果对图像进行三维信息重构。
2.根据权利要求1所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述的步骤2中的多尺度超像素方法的算法模型具体包括以下分步骤：
步骤21：对算法模型的输入图像通过SLIC超像素方法进行分割操作；
步骤22：通过SLIC超像素方法进行分割操作后进行窗口尺寸及位置确定操作；
步骤23：经过窗口尺寸及位置确定操作后进行像素级相位相关操作；
步骤24：经过像素级相位相关操作后进行可靠性检查及视差填充操作；
步骤25：经过可靠性检查及视差填充操作后进行加权中值滤波操作以获取像素级视差图，即像素极误差估计结果。
3.根据权利要求1所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述步骤3中的基于奇异值分解和随机采样一致性的亚像素相位相关方法具体包括以下步骤：
步骤31：获取像素级视差图的水平方向偏移和垂直方向偏移各自的影像；
步骤32：对两幅影像分别进行Hanning窗函数加权减弱边缘效应和离散傅里叶变换后，计算两幅影像的归一化互功率谱矩阵；
步骤33：对归一化互功率谱矩阵进行高斯频域滤波后进行子空间分解，获得左右的主奇异值向量，并将其转换为对应的两个相位角向量；
步骤34：对相位角向量进行一维解缠；
步骤35：采用随机抽样一致性算法分别估计两个相位角向量的斜率并将该斜率转换为水平和垂直方向上的偏移值。
4.根据权利要求3所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述步骤32中的归一化互功率谱矩阵，其描述公式为：
式中：Q(u,v)表示归一化互功率谱矩阵，F(u,v)和G(u,v)分别表示像素级视差图的水平方向偏移和垂直方向偏移各自的影像经傅里叶变换后的函数，*表示复数共轭，x0和y0分别表示水平和垂直方向上的偏移值。
5.根据权利要求3所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述步骤35中，采用随机抽样一致性算法分别估计两个相位角向量的斜率是以相位角向量理论上的直线性作为数学模型、待估计的相位角向量的斜率为模型参数θk进行迭代求解，具体为：
步骤351：预设参数最大迭代值kmax、置信度c0和阈值t，并设当前迭代值k＝0，最大有效样本数据为Imax＝0；
步骤352：随机选择最小要求的m个样本来估计模型参数θk；
步骤353：根据阈值t和估计模型计算阈值内的数据个数Ik，判断|Ik|＞Imax是否成立，若是则执行步骤354，若否则执行步骤355；
步骤354：令最优模型参数θ*＝θk，有效样本数据I*＝Ik，采用如下计算公式重新计算kmax后执行步骤355；
步骤355：令k＝k+1，并判断k＜kmax是否成立，若是则执行步骤356，若否则返回步骤352；
步骤356：获得最终的最优模型参数θ*和有效样本数据I*。
6.根据权利要求5所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述的步骤354中的如下计算公式为：
式中，εm＝|I*|/N，N表示数学模型数据集的数据量。
7.根据权利要求2所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述的步骤24中的可靠性检查具体包括：从每一次算法模型迭代中的所有校正的最大峰值相关值自适应地估计判定阈值，通过将峰值相关值与判定阈值相比较，若峰值相关值大于判定阈值，判定为不可靠，停止填充视差图更新，若峰值相关值小于判定阈值，判定为可靠，对具有相同超像素标签的像素用相同的视差值填充并使用填充的视差图更新在先前迭代中估计的先前视差图。
8.根据权利要求2所述的一种基于多尺度超像素和相位相关的窄基线视差的重构方法，其特征在于，所述的步骤23中的像素级相位相关操作通过获取归一化交叉功率谱矩阵的离散傅里叶逆变换的峰值坐标实现，其对应描述公式为：
式中，F-1表示逆离散傅里叶变换。
CN201910491539.4A 2019-06-06 2019-06-06 基于多尺度超像素和相位相关的窄基线视差的重构方法 Active CN110211169B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910491539.4A CN110211169B (zh) 2019-06-06 2019-06-06 基于多尺度超像素和相位相关的窄基线视差的重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910491539.4A CN110211169B (zh) 2019-06-06 2019-06-06 基于多尺度超像素和相位相关的窄基线视差的重构方法

Publications (2)

Publication Number Publication Date
CN110211169A true CN110211169A (zh) 2019-09-06
CN110211169B CN110211169B (zh) 2021-05-11

Family

ID=67791435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910491539.4A Active CN110211169B (zh) 2019-06-06 2019-06-06 基于多尺度超像素和相位相关的窄基线视差的重构方法

Country Status (1)

Country Link
CN (1) CN110211169B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951318A (zh) * 2020-08-10 2020-11-17 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法
CN111968170A (zh) * 2020-08-26 2020-11-20 广东工业大学 一种基于互相关时延估计的在线双目视觉测距方法
CN112184736A (zh) * 2020-10-10 2021-01-05 南开大学 一种基于欧式聚类的多平面提取方法
CN113379841A (zh) * 2021-06-21 2021-09-10 上海仙工智能科技有限公司 一种基于相位相关法与因子图的激光slam方法及其可读存储介质
CN114936990A (zh) * 2022-04-26 2022-08-23 北京信息科技大学 一种基于光场傅里叶视差层的视差重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398933A (zh) * 2008-10-17 2009-04-01 北京大学 一种从图像中恢复三维几何信息的方法
CN102136144A (zh) * 2011-04-11 2011-07-27 北京大学 图像配准可靠性模型和超分辨率图像的重构方法
CN103824287A (zh) * 2014-02-14 2014-05-28 同济大学 一种基于稳健平面拟合的相位相关亚像素匹配方法
CN103824286A (zh) * 2014-02-14 2014-05-28 同济大学 一种svd-ransac亚像素相位相关匹配方法
CN103942775A (zh) * 2014-02-14 2014-07-23 同济大学 基于最大核密度估计的相位相关亚像素匹配方法
CN104350525A (zh) * 2012-05-25 2015-02-11 谷歌公司 组合用于三维建模的窄基线和宽基线立体
CN108629809A (zh) * 2018-04-26 2018-10-09 浙江大学 一种精确高效的立体匹配方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398933A (zh) * 2008-10-17 2009-04-01 北京大学 一种从图像中恢复三维几何信息的方法
CN102136144A (zh) * 2011-04-11 2011-07-27 北京大学 图像配准可靠性模型和超分辨率图像的重构方法
CN104350525A (zh) * 2012-05-25 2015-02-11 谷歌公司 组合用于三维建模的窄基线和宽基线立体
CN103824287A (zh) * 2014-02-14 2014-05-28 同济大学 一种基于稳健平面拟合的相位相关亚像素匹配方法
CN103824286A (zh) * 2014-02-14 2014-05-28 同济大学 一种svd-ransac亚像素相位相关匹配方法
CN103942775A (zh) * 2014-02-14 2014-07-23 同济大学 基于最大核密度估计的相位相关亚像素匹配方法
CN108629809A (zh) * 2018-04-26 2018-10-09 浙江大学 一种精确高效的立体匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOHUA TONG: "A Novel Subpixel Phase Correlation Method Using Singular Value Decomposition and Unified Random Sample Consensus", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
ZHEN YE: "Illumination-Robust Subpixel Fourier-Based Image Correlation Methods Based on Phase Congruency", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
刘怡光: "勿需图像矫正的高精度窄基线三维重建算法", 《电子科技大学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951318A (zh) * 2020-08-10 2020-11-17 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法
CN111951318B (zh) * 2020-08-10 2023-08-04 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法
CN111968170A (zh) * 2020-08-26 2020-11-20 广东工业大学 一种基于互相关时延估计的在线双目视觉测距方法
CN112184736A (zh) * 2020-10-10 2021-01-05 南开大学 一种基于欧式聚类的多平面提取方法
CN112184736B (zh) * 2020-10-10 2022-11-11 南开大学 一种基于欧式聚类的多平面提取方法
CN113379841A (zh) * 2021-06-21 2021-09-10 上海仙工智能科技有限公司 一种基于相位相关法与因子图的激光slam方法及其可读存储介质
CN113379841B (zh) * 2021-06-21 2024-04-30 上海仙工智能科技有限公司 一种基于相位相关法与因子图的激光slam方法及其可读存储介质
CN114936990A (zh) * 2022-04-26 2022-08-23 北京信息科技大学 一种基于光场傅里叶视差层的视差重建方法

Also Published As

Publication number Publication date
CN110211169B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110211169A (zh) 基于多尺度超像素和相位相关的窄基线视差的重构方法
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
CN106651938B (zh) 一种融合高分辨率彩色图像的深度图增强方法
CN104869387B (zh) 基于光流法的双目图像最大视差获取方法
CN104346608B (zh) 稀疏深度图稠密化方法和装置
CN106023303B (zh) 一种基于轮廓有效性提高三维重建点云稠密程度的方法
CN110298916B (zh) 一种基于合成深度数据的三维人体重建方法
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN105869167A (zh) 基于主被动融合的高分辨率深度图获取方法
CN103559737A (zh) 一种对象全景建模方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
TW200935353A (en) Geospatial modeling system and related method using multiple sources of geographic information
CN106530333A (zh) 基于捆绑约束的分级优化立体匹配方法
JP2002024850A (ja) 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体
JPH08320933A (ja) 三次元画像の評価方法
CN106447718B (zh) 一种2d转3d深度估计方法
CN117036569B (zh) 三维模型颜色生成网络训练方法、颜色生成方法及装置
Li et al. Hierarchical and adaptive phase correlation for precise disparity estimation of UAV images
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
Hung et al. Multipass hierarchical stereo matching for generation of digital terrain models from aerial images
US11394945B2 (en) System and method for performing 3D imaging of an object
Le Besnerais et al. Dense height map estimation from oblique aerial image sequences
Kang et al. Automatic texture reconstruction of 3d city model from oblique images
Rumpler et al. Rapid 3d city model approximation from publicly available geographic data sources and georeferenced aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant