CN108053467A - 基于最小生成树的立体像对选择方法 - Google Patents
基于最小生成树的立体像对选择方法 Download PDFInfo
- Publication number
- CN108053467A CN108053467A CN201710972518.5A CN201710972518A CN108053467A CN 108053467 A CN108053467 A CN 108053467A CN 201710972518 A CN201710972518 A CN 201710972518A CN 108053467 A CN108053467 A CN 108053467A
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- msub
- stereogram
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于最小生成树的立体像对选择方法它包括如下步骤：1、根据输入的影像集合以及每张影像对应的相机参数和外方位元素POS，自动构建合适的候选立体影像集合；2、构建一张图G(V,E)，根据每个候选立体像对重叠区域的平面覆盖情况，计算对应边的权值；3、采用最小生成树算法，选择权值最小的边集合，作为立体像对选择的结果。本发明能够在保证重建精度和重建完整度的同时，大幅度缩短重建时间，能够用于国土测绘、大范围三维建模、虚拟现实等应用。
Description
技术领域
本发明涉及摄影测量中的立体像对选择领域，具体涉及一种基于最小生成树的立体像对选择方法。
背景技术
随着传感器硬件的不断进步，目前已经涌现出不同类型的光学遥感平台，如卫星、航拍飞机、无人机、飞艇、测绘汽车等。这些遥感平台均能够拍摄多尺度、多视角、多分辨率、多重覆盖的海量影像，用于测绘生产和三维建模。
多视影像密集匹配技术能够根据多视影像，自动重建三维地形。多视影像密集匹配的三维重建时间、三维重建精度和三维重建完整度与立体像对的数目息息相关。如果立体像对数目过多，虽然能保证重建精度和重建完整度，但是会导致巨额的三维重建时间，不利于大范围三维地形的生产和更新。如果立体像对数目过少，虽然能大幅度缩短三维重建时间，但是无法保证重建精度和重建完整度，不利于三维地形的测绘生产和应用。
因此，需要研究一种立体像对自动选择方法，能够从海量影像中选择适合匹配的立体像对，在保证重建精度和重建完整度的同时，大幅度缩短三维重建时间。
发明内容
本发明的目的在于提供一种基于最小生成树的立体像对选择方法，该方法将影像集合中的立体像对选择问题转化为图的计算问题，通过图的优化方法，实现最优立体像对集合的选择，在保证重建精度和重建完整度的同时，大幅度缩短重建时间。该方法能够为大范围自然地表和人工地物三维重建提供技术支持。
为解决上述技术问题，本发明所设计的基于最小生成树的立体像对选择方法，其特征在于，它包括如下步骤：
步骤1：根据输入的影像集合以及影像集合中每张影像对应的相机参数和外方位元素POS，所述相机参数包括相机焦距、像素大小以及相机畸变改正参数；采用基线约束、像平面法向量约束、特征匹配约束和交会角约束，在输入的影像集合中，为每张影像选择合适的候选待匹配影像，构成候选立体影像集合，具体方法为：
首先，根据基线约束，为每张影像选择候选待匹配影像，如下式所示：
Sb(Ii)＝{Ij|Baseline(Ii,Ij)≤λ∩Ij∈S-Ii}
式中，Ii表示当前影像；S表示所有影像集合；S-Ii表示除了影像Ii以外，其余所有影像集合；Ij表示除了影像Ii以外，其余所有影像集合中的任意一张影像；Baseline(Ii,Ij)表示计算影像Ii和Ij之间基线长度的函数；λ表示基线长度的阈值；Sb(Ii)表示经过基线约束后，影像Ii的候选待匹配影像集合，符号∩表示取交集操作；
其次，根据影像Ii的候选待匹配影像集合Sb(Ii)，采用像平面法向量约束，进一步选择与影像Ii之间像平面法向量夹角小于等于给定夹角阈值的影像，作为新的候选待匹配影像，如下式所示：
SN(Ii)＝{Ij1|Normal(Ii,Ij1)≤α∩Ij1∈Sb(Ii)}
式中，Ii表示当前影像；Sb(Ii)表示经过基线约束后，影像Ii的候选待匹配影像集合；Ij1表示集合Sb(Ii)中的任意一张影像；Normal(Ii,Ij1)表示计算影像Ii和Ij1之间像平面法向量夹角的函数；α表示夹角的阈值，小于该阈值的影像保留，大于该阈值的影像剔除；SN(Ii)表示经过像平面法向量约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
然后，将影像Ii依次与候选待匹配影像集合SN(Ii)中的所有影像，组成立体像对，计算每个立体像对的特征匹配点数目，保留特征匹配点数目大于等于特征匹配点数目阈值的立体像对集合，作为新的候选待匹配影像，如下式所示：
SF(Ii)＝{Ij2|FeaNum(Ii,Ij2)≥β∩Ij2∈SN(Ii)}
式中，Ii表示当前影像；SN(Ii)表示经过像平面法向量约束后，影像Ii的新的候选待匹配影像集合；Ij2表示集合SN(Ii)中的任意一张影像；FeaNum(Ii,Ij2)表示计算影像Ii和Ij2之间特征匹配点数目的函数；β表示特征匹配点数目的阈值；SF(Ii)表示经过特征匹配点数目约束后，影像Ii的新的候选待匹配影像集合；∩表示取交集操作；
最后，依次计算影像Ii与候选待匹配影像集合SF(Ii)中的所有影像之间的交会角；保留交会角大于等于阈值的立体像对，剔除交会角小于阈值的立体像对，生成新的候选待匹配影像集合，如下式所示：
SI(Ii)＝{Ij3|Intersection(Ii,Ij3)≥κ∩Ij3∈SF(Ii)}
式中，Ii表示当前影像；SF(Ii)表示经过像平面法向量约束后，影像Ii的候选待匹配影像集合；Ij3表示集合SF(Ii)中的任意一张影像；Intersection(Ii,Ij3)表示计算影像Ii和Ij3之间交会角的函数，根据余弦函数来计算；κ表示交会角的阈值；SI(Ii)表示经过交会角约束后，影像Ii的新的候选待匹配影像集合；∩表示取交集操作；
步骤2：构建一张图G(V,E)，根据每个候选立体像对重叠区域的平面覆盖情况，计算对应边的权值，具体方法为；
将输入的影像集合中的所有影像作为节点，组成一个节点集合V；根据节点集合V中每张影像Ii的候选待匹配影像集合SI(Ii)，依次组成影像Ii与待匹配影像之间的候选立体像对；所有的候选立体像对组成一个边集合E；最终，构成一张包含节点集合V和边集合E的一张图G(V,E)；
在图G(V,E)中，计算每条边的权值；根据每个候选立体像对在平面的覆盖范围，来计算对应边的权值，如下式所示：
式中，Weight(e(Ii,It))表示候选立体像对(Ii,It)所对应边的权值；Soverlap(Ii,It)表示候选立体像对(Ii,It)的重叠区域对应水平面的覆盖范围；S'表示测区未被立体像对覆盖的总面积；It表示影像Ii的候选待匹配影像集合SI(Ii)中的任意一张影像；
步骤3：采用最小生成树算法，在保证重建精度和重建完整度的情况下，从海量边集合E中，选择权值最小的边集合，作为三维重建的立体像对集合，具体方法为：
首先，初始化顶点集合Vnew和边集合Enew：
Vnew＝{vmin} Enew＝φ
式中，vmin表示边集合E中最小权的边所对应的节点；φ表示空集；
其次，在边集合E中，选择权值最小的边e(u,v)，其中，u∈Vnew表示顶点集合Vnew中的任意一个节点，v∈V-Vnew表示Vnew补集中，任意一个节点，V为节点集合；将节点v加入顶点集合Vnew中，将边e(u,v)加入边集合Enew中；
在加入边后，边集合Enew已经不是空集；因此，测区未被立体像对覆盖的总面积S'需要进行相应的更新，即：
S'(i)＝S'-Soverlap(u,v)
式中，i表示当前算法迭代的次数；S'(i)表示在第i次迭代中，测区未被立体像对覆盖的总面积；(u,v)表示边集合Enew中的一条边；Soverlap(u,v)表示边(u,v)对应平面的覆盖范围；
在测区未被立体像对覆盖的总面积S'更新后，重新计算边集合E中所有边所对应的权值；
重复步骤2，直至Vnew＝V，此时边集合Enew中的边，即为最小生成树的选择结果；
由于边集合Enew中的每条边，对应一个立体像对，因此，最小生成树结果即为最优立体像对选择结果。
本发明的有益效果：
本发明设计了一种基于最小生成树的立体像对选择方法，能够在保证三维重建精度和完整度的情况下，减少冗余地立体像对，因而大大减少冗余计算(匹配是每个立体像对计算一次，如果能减少立体像对的数目，那么就能减少计算次数，从而缩短三维重建时间)，能够大幅度缩短三维重建的时间，最终提高多视影像三维重建的实用性，为大范围自然地表和人工地物三维重建服务。
附图说明
图1为本发明的流程图；
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明：
本发明一种基于最小生成树的立体像对选择方法，如图1所示，它包括如下步骤：
步骤1：根据输入的影像集合以及影像集合中每张影像对应的相机参数和外方位元素POS，所述相机参数包括相机焦距、像素大小以及相机畸变改正参数；采用基线约束、像平面法向量约束、特征匹配约束和交会角约束，在输入的影像集合中，为每张影像选择合适的候选待匹配影像，构成候选立体影像集合，具体方法为：
设输入的影像集合中，影像数目为N；如果影像集合中的所有影像两两组成一个立体像对，那么最终的立体像对数目为 因此，当集合中影像数目巨大时，立体像对数目将会以平方的形式增长，因此带来巨额的三维重建时间；
本发明根据每张影像对应的相机参数和外方位元素POS(Positioning andOrientation System，外方位元素)，采用基线约束、像平面法向量约束、特征匹配约束和交会角约束，在输入的影像集合中，为每张影像选择合适的候选待匹配影像，构成候选立体影像集合；
首先，根据基线约束，为每张影像选择邻近基线小于等于基线长度阈值的影像，作为候选待匹配影像，如下式所示：
Sb(Ii)＝{Ij|Baseline(Ii,Ij)≤λ∩Ij∈S-Ii}
式中，Ii表示当前影像；S表示所有影像集合；S-Ii表示除了影像Ii以外，其余所有影像集合；Ij表示除了影像Ii以外，其余所有影像集合中的任意一张影像；Baseline(Ii,Ij)表示计算影像Ii和Ij之间基线长度的函数；λ表示基线长度的阈值，可以根据临近影像的数目来计算，在实际工程应用中，可以根据最邻近的20张影像来定义基线阈值；Sb(Ii)表示经过基线约束后，影像Ii的候选待匹配影像集合；∩表示取交集操作；
基线长度计算函数Baseline(Ii,Ij)可以直接根据影像Ii和Ij之间的相机距离来计算：
式中，Xs(Ii),Ys(Ii),Zs(Ii)表示影像Ii所对应的水平方向、垂直方向和高程方向的外方位线元素；Xs(Ij),Ys(Ij),Zs(Ij)表示影像Ij所对应的水平方向、垂直方向和高程方向的外方位线元素；
其次，根据影像Ii的候选待匹配影像集合Sb(Ii)，采用像平面法向量约束，进一步选择与影像Ii之间像平面法向量夹角小于等于夹角阈值的影像，作为新的候选待匹配影像，如下式所示：
SN(Ii)＝{Ij1|Normal(Ii,Ij1)≤α∩Ij1∈Sb(Ii)}
式中，Ii表示当前影像；Sb(Ii)表示经过基线约束后，影像Ii的候选待匹配影像集合；Ij1表示集合Sb(Ii)中的任意一张影像；Normal(Ii,Ij1)表示计算影像Ii和Ij1之间像平面法向量夹角的函数；α表示夹角的阈值，一般取45°，小于该阈值的影像保留，大于该阈值的影像剔除；SN(Ii)表示经过像平面法向量约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
每张影像的像平面法向量是根据摄像机矩阵P(可以通过影像内外方位元素计算)获得：
式中，Ni代表第i张影像的法向量；表示摄像机的投影矩阵P的第三行向量；T表示转置符号；
在计算像平面法向量后，可以根据余弦公式来计算像平面法向量的夹角：
θ＝arccos(N1·N2/|N1||N2|)
式中，θ表示像平面法向量之间的夹角；N1,N2分别代表立体像对中，两张影像各自的法向量；
然后，将影像Ii依次与候选待匹配影像集合SN(Ii)中的所有影像，组成立体像对，计算每个立体像对的特征匹配点数目，保留特征匹配点数目最多的立体像对集合，作为新的候选待匹配影像，如下式所示：
SF(Ii)＝{Ij2|FeaNum(Ii,Ij2)≥β∩Ij2∈SN(Ii)}
式中，Ii表示当前影像；SN(Ii)表示经过像平面法向量约束后，影像Ii的新的候选待匹配影像集合；Ij2表示集合SN(Ii)中的任意一张影像；FeaNum(Ii,Ij2)表示计算影像Ii和Ij2之间特征匹配点数目的函数；β表示特征匹配点数目的阈值，一般取50；SF(Ii)表示经过特征匹配点数目约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
在实际工程作业中，本发明采用Surf算子来实现立体像对的特征匹配；可以采用开源函数库OpenCV中的SurfFeatureDetector类来实现Surf匹配；
最后，依次计算影像Ii与候选待匹配影像集合SF(Ii)中的所有影像之间的交会角；保留交会角大于等于阈值的立体像对，剔除交会角小于阈值的立体像对，生成新的候选待匹配影像集合，如下式所示：
SI(Ii)＝{Ij3|Intersection(Ii,Ij3)≥κ∩Ij3∈SF(Ii)}
式中，Ii表示当前影像；SF(Ii)表示经过像平面法向量约束后，影像Ii的候选待匹配影像集合；Ij3表示集合SF(Ii)中的任意一张影像；Intersection(Ii,Ij3)表示计算影像Ii和Ij3之间交会角的函数，可根据余弦函数来计算；κ表示交会角的阈值，一般取5°；SI(Ii)表示经过交会角约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
步骤2：构建一张图G(V,E)，根据每个候选立体像对重叠区域的平面覆盖情况，计算对应边的权值，具体方法为：
将输入的影像集合中的所有影像作为节点，组成一个节点集合V；根据节点集合V中每张影像Ii的候选待匹配影像集合SI(Ii)，可以依次组成影像Ii与待匹配影像之间的候选立体像对；每个候选立体像对可以看作连接节点的一条边；因此，所有的候选立体像对组成一个边集合E；最终，构成一张包含节点集合V和边集合E的一张图G(V,E)；
在图G(V,E)中，需要计算每条边的权值；本发明根据每个候选立体像对在平面的覆盖范围，来计算对应边的权值，如下式所示：
式中，Weight(e(Ii,It))表示候选立体像对(Ii,It)所对应边的权值；Soverlap(Ii,It)表示候选立体像对(Ii,It)的重叠区域对应水平面的覆盖范围；S'表示测区未被立体像对覆盖的总面积；It表示影像Ii的候选待匹配影像集合SI(Ii)中的任意一张影像；
步骤3：采用最小生成树算法，选择权值最小的边集合，作为立体像对选择的结果；
本发明采用最小生成树算法，在保证重建精度和重建完整度的情况下，从海量边集合E中，自动选择加权和最小的边集，作为三维重建的立体像对集合。具体做法为：
首先，初始化顶点集合Vnew和边集合Enew：
Vnew＝{vmin} Enew＝φ
式中，vmin表示边集合E中最小权的边所对应的节点；φ表示空集；
其次，在边集合E中，选择权值最小的边e(u,v)，其中，u∈Vnew表示顶点集合Vnew中的任意一个节点，v∈V-Vnew表示Vnew补集中，任意一个节点，V为节点集合；将节点v加入顶点集合Vnew中，将边e(u,v)加入边集合Enew中；
在加入边后，边集合Enew已经不是空集；因此，测区未被立体像对覆盖的总面积S'需要进行相应的更新，即：
S'(i)＝S'-Soverlap(u,v)
式中，i表示当前算法迭代的次数；S'(i)表示在第i次迭代中，测区未被立体像对覆盖的总面积；(u,v)表示边集合Enew中的一条边；Soverlap(u,v)表示边(u,v)对应平面的覆盖范围；
在测区未被立体像对覆盖的总面积S'更新后，重新计算边集合E中所有边所对应的权值；
式中，S'(i)表示在第i次迭代中，更新后的测区未被立体像对覆盖的总面积；Soverlap(u,v)表示边(u,v)对应平面的覆盖范围；SI(u)表示节点u对应的候选待匹配影像集合；e(u,v)表示边集合Enew中的一条边；Weight(e(u,v),i)表示边e(u,v)在第i次迭代中，更新后的权值；
重复步骤2，直至Vnew＝V，此时边集合Enew中的边，即为最小生成树的选择结果；
由于边集合Enew中的每条边，对应一个立体像对，因此，最小生成树结果即为最优立体像对选择结果。
本发明设计一种基于最小生成树的立体像对选择方法，能够在保证重建精度和重建完整度的同时，大幅度缩短三维重建时间，为大范围三维重建提供技术支撑。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (9)
1.一种基于最小生成树的立体像对选择方法，其特征在于，它包括如下步骤：
步骤1：根据输入的影像集合以及影像集合中每张影像对应的相机参数和外方位元素POS，所述相机参数包括相机焦距、像素大小以及相机畸变改正参数；采用基线约束、像平面法向量约束、特征匹配约束和交会角约束，在输入的影像集合中，为每张影像选择合适的候选待匹配影像，构成候选立体影像集合，具体方法为：
首先，根据基线约束，为每张影像选择候选待匹配影像，如下式所示：
Sb(Ii)＝{Ij|Baseline(Ii,Ij)≤λ∩Ij∈S-Ii}
式中，Ii表示当前影像；S表示所有影像集合；S-Ii表示除了影像Ii以外，其余所有影像集合；Ij表示除了影像Ii以外，其余所有影像集合中的任意一张影像；Baseline(Ii,Ij)表示计算影像Ii和Ij之间基线长度的函数；λ表示基线长度的阈值；Sb(Ii)表示经过基线约束后，影像Ii的候选待匹配影像集合，符号∩表示取交集操作；
其次，根据影像Ii的候选待匹配影像集合Sb(Ii)，采用像平面法向量约束，进一步选择与影像Ii之间像平面法向量夹角小于等于给定夹角阈值的影像，作为新的候选待匹配影像，如下式所示：
SN(Ii)＝{Ij1|Normal(Ii,Ij1)≤α∩Ij1∈Sb(Ii)}
式中，Ii表示当前影像；Sb(Ii)表示经过基线约束后，影像Ii的候选待匹配影像集合；Ij1表示集合Sb(Ii)中的任意一张影像；Normal(Ii,Ij1)表示计算影像Ii和Ij1之间像平面法向量夹角的函数；α表示夹角的阈值，小于该阈值的影像保留，大于该阈值的影像剔除；SN(Ii)表示经过像平面法向量约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
然后，将影像Ii依次与候选待匹配影像集合SN(Ii)中的所有影像，组成立体像对，计算每个立体像对的特征匹配点数目，保留特征匹配点数目大于等于特征匹配点数目阈值的立体像对集合，作为新的候选待匹配影像，如下式所示：
SF(Ii)＝{Ij2|FeaNum(Ii,Ij2)≥β∩Ij2∈SN(Ii)}
式中，Ii表示当前影像；SN(Ii)表示经过像平面法向量约束后，影像Ii的新的候选待匹配影像集合；Ij2表示集合SN(Ii)中的任意一张影像；FeaNum(Ii,Ij2)表示计算影像Ii和Ij2之间特征匹配点数目的函数；β表示特征匹配点数目的阈值；SF(Ii)表示经过特征匹配点数目约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
最后，依次计算影像Ii与候选待匹配影像集合SF(Ii)中的所有影像之间的交会角；保留交会角大于等于阈值的立体像对，剔除交会角小于阈值的立体像对，生成新的候选待匹配影像集合，如下式所示：
SI(Ii)＝{Ij3|Intersection(Ii,Ij3)≥κ∩Ij3∈SF(Ii)}
式中，Ii表示当前影像；SF(Ii)表示经过像平面法向量约束后，影像Ii的候选待匹配影像集合；Ij3表示集合SF(Ii)中的任意一张影像；Intersection(Ii,Ij3)表示计算影像Ii和Ij3之间交会角的函数，根据余弦函数来计算；κ表示交会角的阈值；SI(Ii)表示经过交会角约束后，影像Ii的新的候选待匹配影像集合；符号∩表示取交集操作；
步骤2：构建一张图G(V,E)，根据每个候选立体像对重叠区域的平面覆盖情况，计算对应边的权值，具体方法为：
将输入的影像集合中的所有影像作为节点，组成一个节点集合V；根据节点集合V中每张影像Ii的候选待匹配影像集合SI(Ii)，依次组成影像Ii与待匹配影像之间的候选立体像对；所有的候选立体像对组成一个边集合E；最终，构成一张包含节点集合V和边集合E的一张图G(V,E)；
在图G(V,E)中，计算每条边的权值；根据每个候选立体像对在平面的覆盖范围，来计算对应边的权值，如下式所示：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>W</mi>
<mi>e</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<msup>
<mi>S</mi>
<mo>&prime;</mo>
</msup>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>I</mi>
<mi>t</mi>
</msub>
<mo>&Element;</mo>
<msub>
<mi>S</mi>
<mi>I</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，Weight(e(Ii,It))表示候选立体像对(Ii,It)所对应边的权值；Soverlap(Ii,It)表示候选立体像对(Ii,It)的重叠区域对应水平面的覆盖范围；S'表示测区未被立体像对覆盖的总面积；It表示影像Ii的候选待匹配影像集合SI(Ii)中的任意一张影像；
步骤3：采用最小生成树算法，在保证重建精度和重建完整度的情况下，从海量边集合E中，选择权值最小的边集合，作为三维重建的立体像对集合，具体方法为：
首先，初始化顶点集合Vnew和边集合Enew：
Vnew＝{vmin}Enew＝φ
式中，vmin表示边集合E中最小权的边所对应的节点；φ表示空集；
然后，在边集合E中，选择权值最小的边e(u,v)，其中，u∈Vnew表示顶点集合Vnew中的任意一个节点，v∈V-Vnew表示除了集合Vnew补集中，任意一个节点，V为节点集合；将节点v加入顶点集合Vnew中，将边e(u,v)加入边集合Enew中；
在加入边后，边集合Enew已经不是空集；因此，测区未被立体像对覆盖的总面积S'需要进行相应的更新，即：
S'(i)＝S'-Soverlap(u,v)
式中，i表示当前算法迭代的次数；S'(i)表示在第i次迭代中，测区未被立体像对覆盖的总面积；(u,v)表示边集合Enew中的一条边；Soverlap(u,v)表示边(u,v)对应平面的覆盖范围；
在测区未被立体像对覆盖的总面积S'更新后，重新计算边集合E中所有边所对应的权值；
重复步骤2，直至Vnew＝V，此时边集合Enew中的边，即为最小生成树的选择结果；
由于边集合Enew中的每条边，对应一个立体像对，因此，最小生成树结果即为最优立体像对选择结果。
2.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，基线长度阈值λ，根据最邻近的20张影像来定义基线阈值，即基线长度阈值λ能够将最临近的20张影像加入候选待匹配影像集合，基线长度大于λ的影像则不加入该集合。
3.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，基线长度计算函数Baseline(Ii,Ij)直接根据影像Ii和Ij之间的相机距离来计算：
<mrow>
<mi>B</mi>
<mi>a</mi>
<mi>s</mi>
<mi>e</mi>
<mi>l</mi>
<mi>i</mi>
<mi>n</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>I</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<mi>X</mi>
<mi>s</mi>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>X</mi>
<mi>s</mi>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mi>s</mi>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>Y</mi>
<mi>s</mi>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>Z</mi>
<mi>s</mi>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
<mo>-</mo>
<mi>Z</mi>
<mi>s</mi>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
式中，Baseline(Ii,Ij)表示影像Ii,Ij之间的基线长度；Xs(Ii),Ys(Ii),Zs(Ii)表示影像Ii所对应的水平方向、垂直方向和高程方向的外方位线元素；Xs(Ij),Ys(Ij),Zs(Ij)表示影像Ij所对应的水平方向、垂直方向和高程方向的外方位线元素。
4.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，夹角阈值α取45°。
5.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，每张影像的像平面法向量是根据摄像机矩阵P获得：
<mrow>
<msub>
<mi>N</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>p</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
<mi>T</mi>
</msubsup>
<msup>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mi>T</mi>
</msup>
</mrow>
式中，Ni代表第i张影像的法向量；表示摄像机的投影矩阵P的第三行向量；T表示转置符号。
6.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，像平面法向量的夹角可以根据余弦公式来计算：
θ＝arccos(N1·N2/|N1||N2|)
式中，θ表示像平面法向量之间的夹角；N1,N2分别代表立体像对中，两张影像各自的法向量。
7.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，特征匹配点数目阈值β取50，小于该阈值的影像保留，大于该阈值的影像剔除。
8.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤1中，交会角阈值κ取5°；小于该阈值的影像保留，大于该阈值的影像剔除。
9.根据权利要求1所述基于最小生成树的立体像对选择方法，其特征在于：所述步骤3中，在每次迭代中，需要重新计算边集合Enew中所有边所对应的权值：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>W</mi>
<mi>e</mi>
<mi>i</mi>
<mi>g</mi>
<mi>h</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>e</mi>
<mo>(</mo>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<mrow>
<msub>
<mi>S</mi>
<mrow>
<mi>o</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>l</mi>
<mi>a</mi>
<mi>p</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msup>
<mi>S</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>v</mi>
<mo>&Element;</mo>
<msub>
<mi>S</mi>
<mi>I</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
式中，S'(i)表示在第i次迭代中，更新后的测区未被立体像对覆盖的总面积；Soverlap(u,v)表示边(u,v)对应平面的覆盖范围；SI(u)表示节点u对应的候选待匹配影像集合；e(u,v)表示边集合Enew中的一条边；Weight(e(u,v),i)表示边e(u,v)在第i次迭代中，更新后的权值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710972518.5A CN108053467B (zh) | 2017-10-18 | 2017-10-18 | 基于最小生成树的立体像对选择方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710972518.5A CN108053467B (zh) | 2017-10-18 | 2017-10-18 | 基于最小生成树的立体像对选择方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108053467A true CN108053467A (zh) | 2018-05-18 |
| CN108053467B CN108053467B (zh) | 2020-12-04 |
Family
ID=62119378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710972518.5A Active CN108053467B (zh) | 2017-10-18 | 2017-10-18 | 基于最小生成树的立体像对选择方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053467B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998397A (zh) * | 2022-05-20 | 2022-09-02 | 中国人民解放军61540部队 | 一种多视角卫星影像立体像对优化选择方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205808A (zh) * | 2015-08-20 | 2015-12-30 | 武汉大学 | 基于多特征多约束的多视影像密集匹配融合方法及系统 |
| CN105787932A (zh) * | 2016-02-07 | 2016-07-20 | 哈尔滨师范大学 | 基于分割交叉树的立体匹配方法 |
| US20160241834A1 (en) * | 2015-02-13 | 2016-08-18 | Nokia Technologies Oy | Flicker Reduction In 3D Imaging |
| CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
| CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
-
2017
- 2017-10-18 CN CN201710972518.5A patent/CN108053467B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160241834A1 (en) * | 2015-02-13 | 2016-08-18 | Nokia Technologies Oy | Flicker Reduction In 3D Imaging |
| CN105205808A (zh) * | 2015-08-20 | 2015-12-30 | 武汉大学 | 基于多特征多约束的多视影像密集匹配融合方法及系统 |
| CN105787932A (zh) * | 2016-02-07 | 2016-07-20 | 哈尔滨师范大学 | 基于分割交叉树的立体匹配方法 |
| CN106504276A (zh) * | 2016-10-25 | 2017-03-15 | 桂林电子科技大学 | 非局部立体匹配算法的组合匹配代价算法和视差联合填充算法 |
| CN106780729A (zh) * | 2016-11-10 | 2017-05-31 | 中国人民解放军理工大学 | 一种无人机序列影像批处理三维重建方法 |
Non-Patent Citations (5)
| Title |
|---|
| XU HUANG ET.AL: "IMAGE-GUIDED NON-LOCAL DENSE MATCHING WITH THREE-STEPS OPTIMIZATION", 《XXIII ISPRS CONGRESS》 * |
| YONGJUN ZHANG ET.AL: "Direct relative orientation with four independent constraints", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 * |
| YONGJUN ZHANG ET.AL: "LiDAR Strip Adjustment Using Multifeatures Matched With Aerial Images", 《IEEE》 * |
| 姚国标: "倾斜影像匹配关键算法及应用研究", 《中国博士学位论文全文数据库信息科技辑（月刊）》 * |
| 钟良: "LiDAR同机影像辅助点云分类相关技术研究", 《中国博士学位论文全文数据库信息科技辑（月刊）》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998397A (zh) * | 2022-05-20 | 2022-09-02 | 中国人民解放军61540部队 | 一种多视角卫星影像立体像对优化选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108053467B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN108168521A (zh) | 一种基于无人机实现景观三维可视化的方法 | |
| KR101165523B1 (ko) | 다중 소스의 지리 정보를 이용한 지리공간 모델링 시스템 및 관련 방법 | |
| CN104376552B (zh) | 一种3d模型与二维图像的虚实配准方法 | |
| CN104346608B (zh) | 稀疏深度图稠密化方法和装置 | |
| CN108765298A (zh) | 基于三维重建的无人机图像拼接方法和系统 | |
| CN108074218A (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
| Pepe et al. | Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures | |
| CN106228609A (zh) | 一种基于空间特征信息的倾斜摄影三维建模方法 | |
| CN113358091B (zh) | 一种利用三线阵立体卫星影像生产数字高程模型dem的方法 | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| CN107767440A (zh) | 基于三角网内插及约束的文物序列影像精细三维重建方法 | |
| CN104966281A (zh) | 多视影像的imu/gnss引导匹配方法 | |
| CN113916130B (zh) | 一种基于最小二乘法的建筑物位置测量方法 | |
| CN103218812A (zh) | 基于摄影测量的树木形态模型参数快速获取方法 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN112288637A (zh) | 无人机航拍图像快速拼接装置及快速拼接方法 | |
| US11922572B2 (en) | Method for 3D reconstruction from satellite imagery | |
| CN108053467A (zh) | 基于最小生成树的立体像对选择方法 | |
| CN117456136A (zh) | 一种基于多模态视觉识别的数字孪生场景智能生成方法 | |
| CN111986320A (zh) | 面向智慧城市应用的dem与倾斜摄影模型空间贴合优化算法 | |
| CN116152442A (zh) | 一种三维点云模型生成方法及装置 | |
| CN116045920A (zh) | 一种基于gf7号立体像对提取dem的方法 | |
| CN107507249B (zh) | 一种智能车立体视觉系统 | |
| CN108171731B (zh) | 一种顾及拓扑几何多要素约束的最小影像集自动优选方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |