CN111898646B - 一种基于点线图优化求解的跨视图影像直线特征匹配方法 - Google Patents

一种基于点线图优化求解的跨视图影像直线特征匹配方法 Download PDF

Info

Publication number
CN111898646B
CN111898646B CN202010641423.7A CN202010641423A CN111898646B CN 111898646 B CN111898646 B CN 111898646B CN 202010641423 A CN202010641423 A CN 202010641423A CN 111898646 B CN111898646 B CN 111898646B
Authority
CN
China
Prior art keywords
image
matching
line segment
line
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010641423.7A
Other languages
English (en)
Other versions
CN111898646A (zh
Inventor
张永军
魏东
刘欣怡
万一
张祖勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010641423.7A priority Critical patent/CN111898646B/zh
Publication of CN111898646A publication Critical patent/CN111898646A/zh
Application granted granted Critical
Publication of CN111898646B publication Critical patent/CN111898646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于点线图优化求解的影像直线特征匹配方法，包括以下步骤：(1)对需要匹配的影像进行预处理，包括特征点线提取，确定待匹配像对以及恢复影像位姿关系；(2)确定所有影像对的候选匹配特征直线与候选匹配特征点；(3)对所有候选点线匹配进行两两几何检验并构建匹配图；(4)根据构建的匹配图计算每一个候选匹配节点的匹配概率；(5)将匹配概率向量通过按极大值剔除策略，得到所有像对的直线匹配结果。本发明提出的跨视图影像直线特征匹配的算法可以充分利用多特征跨视图的几何约束，提高线段匹配的稳健性。

Description

一种基于点线图优化求解的跨视图影像直线特征匹配方法
技术领域
本发明属于摄影测量影像匹配技术领域，涉及一种基于点线图优化求解的影像直线特征匹配方法。
背景技术
特征线段比特征点包含更多的语义和几何信息，并且人工场景中存在大量的线段。通过线段匹配与摄影测量前方交会可以有得到场景的三维简化结构，有助于获得更加精确和完整的三维重建结果。然而，相较于特征点匹配，特征线匹配仍然是一项具有挑战性的工作：(1)立体像对中的同名线段没有强极线几何约束；(2)沿直线段的图像纹理一般较差，难以获得可靠的纹理描述子；(3)线段的端点不确定，加大几何约束的构建难度。
现阶段的线段匹配的可大致分为四种。(1)基于纹理相似性：通过直方图或向量形式对线段区域的纹理进行描，将纹理描述差异最小的线段对作为匹配结果。(2)基于投影变换或仿射变换不变性：通过对线段编组，在匹配时解算在指定不变性假设下的变换公式，对匹配纹理进行矫正以提高匹配精度。(3)基于点匹配引导：在线段匹配之前进行点特征匹配，根据点匹配结果获得局部区域的仿射或投影变换并引导线段匹配。(4)基于多视几何约束：通过三维线段在两张以上影像中的投影关系构建约束进行匹配。但这些方法存在以下问题：
(1)纹理描述与线段编组都是局部匹配算法，未考虑匹配线段的全局几何一致性。
(2)仅通过点匹配结果来引导线段匹配，未能利用线段本身的几何约束进行点线联合约束，以提高线段匹配的可靠性。
发明内容
针对现有技术的缺点，本发明的目的是提供一种基于点线联合约束与全局图优化的直线特征匹配方法，提高直线特征的匹配精度。包括以下步骤：
步骤a，对待匹配影像进行预处理，包括：特征点线提取，恢复影像位姿关系，确定待匹配像对。
步骤b，确定所有影像对的候选匹配直线与候选匹配点。
步骤c，对步骤b所得到的候选匹配直线段与候选匹配特征点构建匹配图。
步骤d，利用步骤c所得到的候选匹配图计算每个候选匹配线段的匹配概率。
步骤e,对步骤d计算得到的匹配概率按极大值剔除策略，得到所有像对的直线匹配结果。
而且，步骤a中，对影像的预处理包含如下步骤：
步骤1，使用任意一种直线特征提取算法从所有影像中提取特征直线。可根据应用场景设置直线段的最小长度阈值。
步骤2，使用任意一种点特征提取算法从所有影像中提取特征点。
步骤3，利用Structure from Motion方法算出每一幅影像的位置和姿态参数。
步骤4，若待匹配影像大于两张，通过可视性计算或目视判读方法确定可匹配影像对。
而且，步骤b中确定影像对的候选直线匹配包含如下步骤：
步骤b1，在单幅影像中寻找交叉线段对
Figure BDA0002571283880000021
其中l表示步骤a中提取的直线段，i表示影像序号，a,b表示线段在影像中的序号。
Figure BDA0002571283880000022
与
Figure BDA0002571283880000023
必须相交，且交点到
Figure BDA0002571283880000024
与
Figure BDA0002571283880000025
端点的距离均小于同一个阈值。
步骤b2，对影像对中所有的交叉线段对进行初步匹配。具体方法为：
对于两个交叉线段对构建两对匹配：
Figure BDA0002571283880000026
其中i,j表示匹配的影像序号，a1，a2，b1，b2分别为线段所在影像的线段序号。利用两对线段匹配的几何信息可列出方程组：
Figure BDA0002571283880000027
式中
Figure BDA0002571283880000028
对应
Figure BDA0002571283880000029
的两个端点；
Figure BDA00025712838800000210
对应
Figure BDA00025712838800000211
两个端点；端点x与线段l均用齐次坐标表示，分别为x＝(x，y，1)T，l＝(a，b，c)T，ax+by+c＝0；e′与A为像对基础矩阵F(利用步骤a3中位姿参数求得)分解得到的向量与矩阵，即e′与A满足[e′]×A＝F；v为待求解向量。
利用最小二乘法解出向量v，并将v代入至
H＝A-e′vT(2)
算出的H即为
Figure BDA00025712838800000212
的投影变换约束。
将每个匹配对的左影像线段通过H投影至右线段，若匹配对
Figure BDA00025712838800000213
均满足
Figure BDA0002571283880000031
则将
Figure BDA0002571283880000032
与
Figure BDA0002571283880000033
作为候选匹配，
式中C，D为投影线段与右影像线段中较短线段的两个端点，C′、D′为C,D在较长线段所在直线的投影，love为C′D′与较长线段的公共线段长度，Tmap为投影变换后的距离误差阈值，Tove为投影变换后的交叉比率阈值；
步骤b3，利用步骤b2得到的结果增加候选匹配。具体方法为：
对左影像中的每一条线段
Figure BDA0002571283880000034
(c1为线段索引，i为线段所在的影像索引)，计算
Figure BDA0002571283880000035
与步骤2中满足公式(3)的
Figure BDA0002571283880000036
与
Figure BDA0002571283880000037
的最短距离，将所有的最短距离按从小到大排序取前Tnei个候选匹配对生成的Tnei个投影矩阵H进行投影变换检验；将
Figure BDA0002571283880000038
通过H投影至右影像，若右影像存在一条线段
Figure BDA0002571283880000039
(c2为线段索引，j为线段所在的影像索引)满足公式(3)，则将
Figure BDA00025712838800000310
作为候选匹配对。
而且，步骤b中确定影像对候选匹配点
Figure BDA00025712838800000311
满足的几何约束为
Figure BDA00025712838800000312
式中p＝(x，y，1)T，表示点的坐标，p的上标为点所在的影像索引，下标为该点在影像中的索引，dis(*，*)表示点到直线的垂直距离。
而且，步骤c中构建的候选匹配图可用矩阵W(δ)表示，δ表示像对数量。当δ为1时，W(1)由分块矩阵的形式组成
Figure BDA00025712838800000313
式中
Figure BDA00025712838800000314
m,n为候选直线段匹配的序号；
Figure BDA00025712838800000315
Figure BDA00025712838800000316
ΩL，L计算公式为：
Figure BDA00025712838800000317
Figure BDA00025712838800000318
Figure BDA00025712838800000319
的计算方法与
Figure BDA00025712838800000320
相同；
若某一对候选匹配特征点
Figure BDA0002571283880000041
与
Figure BDA0002571283880000042
邻近，则
Figure BDA0002571283880000043
式中H为根据公式(2)求得的投影矩阵。
ΩP评价点到核线的距离，计算公式为：
Figure BDA0002571283880000044
而且，步骤c中当δ大于1时，W(δ)为如下分块矩阵的形式：
Figure BDA0002571283880000045
式中i,j分别表影像对的序号，当i,j不包含公共影像时Ti-j＝0；
Figure BDA0002571283880000046
Figure BDA0002571283880000047
Tp(m，n)为三视匹配中的三焦张量约束，由于点候选匹配
Figure BDA0002571283880000048
与
Figure BDA0002571283880000049
Figure BDA00025712838800000410
对应一组三视点匹配
Figure BDA00025712838800000411
理论上应满足
Figure BDA00025712838800000412
式中
Figure BDA00025712838800000413
为经过
Figure BDA00025712838800000414
的直线。
Figure BDA00025712838800000415
为通过影像位姿关系求得的三焦张量。
因此
Figure BDA00025712838800000416
Tl(m，n)的计算与Tp(m，n)相似，线段候选匹配
Figure BDA00025712838800000417
与
Figure BDA00025712838800000418
对应一组三视匹配
Figure BDA00025712838800000419
将
Figure BDA00025712838800000420
的两个端点通过式(11)投影至影像j中，投影误差通过式(7)计算，最终得到
Figure BDA00025712838800000421
而且，步骤c中W(δ)的负值用0代替。
而且，步骤d中求解候选匹配概率m＝[p1，p2，...，pn1]T，n1为候选匹配的总数，且
Figure BDA00025712838800000422
采用的优化求解目标为
m*＝argmax mTW(δ)m(14)
其中，m*为m的近似解；矩阵W(δ)表示匹配图。
而且，在步骤e中对m使用极大值剔除策略包含以下步骤：
步骤e1，寻找m中极大值，并确定该极大值所对应的候选匹配，
Figure BDA0002571283880000051
步骤e2，将
Figure BDA0002571283880000052
添加至最终匹配，将其它左影像为
Figure BDA0002571283880000053
或右影像为
Figure BDA0002571283880000054
的候选匹配所对应的m中的概率值改为0；
步骤e3，重复步骤e1与步骤e2，直到m全部为0。
本发明提供的技术方案的有益效果为：(1)线段匹配过程不仅考虑了与邻近线段匹配的几何一致性，还考虑到了与其它像对中匹配结果的一致性；(2)所有的几何约束都具有投影变换不变性，得到的线段匹配结果更加准确；(3)不依赖影像纹理信息，可用于大尺度，高分辨影像的线段匹配。
附图说明
图1为本发明中投影误差与投影重叠度示意图。
图2为本发明中特征点线邻近关系，特征点投影约束与核线约束示意图。
图3为本发明实施例的流程图。
图4为本发明实施例的实验影像。
图5为本发明实施例的实验结果，(a)为本发明匹配方法生成的三维线段，(b)为Line3D++生成的三维线段。
具体实施方式
为了更好的理解本发明的技术方案，下面结合附图对本发明做进一步的详细说明，参照图3本发明实施例的步骤如下：
步骤a，影像预处理：特征点线提取，确定待匹配像对，影像位姿恢复。提取特征线可使用LSD，EDLines等算法。提取特征点可使用Harris，SIFT等算法。待匹配像对通过相机基线距离确定。影像位姿通过相机矩阵表达，可使用已有的SfM(Structure from Motion)软件例如VisualSFM,Bundler等计算得到。本段落提及的算法与软件属于计算机视觉，摄影测量领域的常规方法与常用软件，具体流程不再赘述。
步骤b，确定所有影像对的候选匹配特征直线与候选匹配特征点。具体步骤为：
步骤1，在单幅影像中寻找交叉线段对
Figure BDA0002571283880000055
其中l表示步骤a中提取的直线段，i表示影像序号，a,b表示线段在影像中的序号。
Figure BDA0002571283880000061
与
Figure BDA0002571283880000062
必须相交，且交点到
Figure BDA0002571283880000063
与
Figure BDA0002571283880000064
端点的距离均小于同一个阈值。
步骤2，对影像对中的所有交叉线段对进行初步匹配。具体方法为：
每一对交叉线段对构建两对匹配：
Figure BDA0002571283880000065
其中i,j表示匹配的影像序号，a1，a2，b1，b2分别为线段所在影像的线段序号。
利用两对线段匹配的几何信息列出方程组：
Figure BDA0002571283880000066
式中
Figure BDA0002571283880000067
对应
Figure BDA0002571283880000068
的两个端点；
Figure BDA0002571283880000069
对应
Figure BDA00025712838800000610
两个端点；端点x与线段l均用齐次坐标表示，分别为x＝(x，y，1)T，l＝(a，b，c)T，ax+by+c＝0；e′与A为像对基础矩阵F(利用步骤a3中位姿参数求得)分解得到的向量与矩阵，即e′与A满足[e′]×A＝F；v为待求解向量。
利用最小二乘法解出向量v，并将v代入至
H＝A-e′vT(2)
算出的H即为
Figure BDA00025712838800000611
的投影变换约束。
如图1所示，将每个匹配对的左影像线段通过H投影至右线段，若匹配对
Figure BDA00025712838800000612
均满足
Figure BDA00025712838800000613
则将
Figure BDA00025712838800000614
与
Figure BDA00025712838800000615
作为候选匹配。式中C，D为投影线段与右影像线段中较短线段的两个端点，C′、D′为C,D在较长线段所在直线的投影，love为C′D′与较长线段的公共线段长度，Tmap为投影变换后的距离误差阈值，Tove为投影变换后的交叉比率阈值。
步骤3，利用步骤2得到的结果增加候选匹配。具体方法为：
对左影像中的每一条线段
Figure BDA00025712838800000616
(c1为线段索引，i为线段所在的影像索引)，计算
Figure BDA00025712838800000617
与步骤2中满足公式(3)的
Figure BDA00025712838800000618
与
Figure BDA00025712838800000619
的最短距离，将所有的最短距离按从小到大排序取前Tnei个候选匹配对生成的Tnei个投影矩阵H进行投影变换检验；将
Figure BDA0002571283880000071
通过H投影至右影像，若右影像存在一条线段
Figure BDA0002571283880000072
(c2为线段索引，j为线段所在的影像索引)满足公式(3)，则将
Figure BDA0002571283880000073
作为候选匹配对。
而且，步骤b中确定影像对候选匹配点
Figure BDA0002571283880000074
满足的几何约束为
Figure BDA0002571283880000075
式中p＝(x，y，1)T，表示点的坐标，p的上标为点所在的影像索引，下标为该点在影像中的索引，dis(*，*)表示点到直线的垂直距离。
步骤c，对步骤b所得到的候选匹配构建匹配图W(δ)。具体步骤为：
步骤1，当δ为1时，W(1)由分块矩阵的形式组成
Figure BDA0002571283880000076
式中
Figure BDA0002571283880000077
m,n为候选直线段匹配的序号；
Figure BDA0002571283880000078
Figure BDA0002571283880000079
如图(1)所示，ΩL，L计算公式为：
Figure BDA00025712838800000710
Figure BDA00025712838800000711
Figure BDA00025712838800000712
的计算方法与
Figure BDA00025712838800000713
相同。
ΩP，L计算如图(2)所示，若某一对候选特征点
Figure BDA00025712838800000714
与
Figure BDA00025712838800000715
邻近，则
Figure BDA00025712838800000716
式中H为根据公式(2)求得的投影矩阵。
ΩP评价点到核线的距离，计算公式为：
Figure BDA00025712838800000717
步骤2，当δ大于1时，W(δ)为如下分块矩阵的形式：
Figure BDA0002571283880000081
式中i,j分别表影像对的序号，当i,j不包含公共影像时Ti-j＝0；
Figure BDA0002571283880000082
Figure BDA0002571283880000083
Tp(m，n)为三视匹配中的三焦张量约束，由于点候选匹配
Figure BDA0002571283880000084
与
Figure BDA0002571283880000085
Figure BDA0002571283880000086
对应一组三视点匹配
Figure BDA0002571283880000087
理论上应满足
Figure BDA0002571283880000088
式中
Figure BDA0002571283880000089
为经过
Figure BDA00025712838800000810
的直线(不能为核线)。
Figure BDA00025712838800000811
为通过影像位姿关系求得的三焦张量。
因此
Figure BDA00025712838800000812
Tl(m，n)计算与Tp(m，n)相似，线段候选匹配
Figure BDA00025712838800000813
与
Figure BDA00025712838800000814
对应一组三视匹配
Figure BDA00025712838800000815
将
Figure BDA00025712838800000816
的两个端点通过式(11)投影至影像j中，投影误差通过式(7)计算，最终得到
Figure BDA00025712838800000817
步骤3，最后将W(δ)中的负值用0代替。
步骤d，用图优化方法求解匹配概率m＝[p1，p2，...，pn1]T，n1为候选匹配的总数，且
Figure BDA00025712838800000818
采用的优化求解目标为
m*＝argmax mTW(δ)m(14)
其中，m*为m的近似解；矩阵W(δ)表示匹配图。图优化求解是图论中的常规算法，例如可使用奇异值分解，随机游走等方法求解，本技术方案不再赘述。
步骤e，对m使用极大值剔除策略得到最终的匹配结果，具体步骤为：
步骤1，寻找m中极大值，并确定该极大值所对应的候选匹配，
Figure BDA00025712838800000819
步骤2，将
Figure BDA00025712838800000820
添加至最终匹配，将其它左影像为
Figure BDA00025712838800000821
或右影像为
Figure BDA00025712838800000822
的候选匹配所对应的m中的概率值改为0。
步骤3，重复步骤1与步骤2，直到m全部为0。
综上所述，本发明提出的跨视图影像直线特征匹配的算法可以充分利用多特征跨视图的几何约束，提高匹配的稳健性。
以下通过实验来验证本发明的有效性：
实验使用了图4展示的30张建筑物场景的近景影像，为了直观的展示匹配结果，将线段匹配的结果进行前方交会生成三维线段，并使用阈值剔除空间中重叠的三维线段。从图5的实验结果可以看出，与Line3D++得到的三维线段相比，本算法能获取更多的体现建筑物整体结构线段，例如建筑物轮廓，窗户，拱门等。而Line3D++丢失了很多的建筑物细节。
以上内容是结合真实影像和最佳实施方案对本发明说做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于点线图优化求解的影像直线特征匹配方法，其特征在于，包括以下步骤：
步骤a，对需要匹配的影像进行预处理，包括如下步骤；
步骤a1，使用任意一种直线特征提取算法从所有影像中提取特征直线段，根据应用场景设置特征直线段的最小长度阈值；
步骤a2，使用任意一种点特征提取算法从所有影像中提取特征点；
步骤a3，利用Structure from Motion方法算出每一幅影像的位置和姿态参数；
步骤a4，若待匹配的影像大于两张，通过可视性计算或者目视判读方法确定可匹配影像对；
步骤b，确定所有影像对的候选匹配直线段与候选匹配特征点；
步骤b中，确定所有影像对的候选匹配直线段的具体实现包含如下步骤，
步骤b1，在单幅影像中寻找交叉线段对
Figure FDA0003542119120000011
其中l表示步骤a中提取的特征直线段，i表示影像序号，a,b表示特征直线段在影像中的序号，
Figure FDA0003542119120000012
与
Figure FDA0003542119120000013
必须相交，且交点到
Figure FDA0003542119120000014
与
Figure FDA0003542119120000015
端点的距离均小于同一个阈值；
步骤b2，对影像对中的所有交叉线段对进行初步匹配，具体方法为：
每一对交叉线段对构建两对匹配：
Figure FDA0003542119120000016
其中i,j表示匹配的影像序号，a1，a2，b1，b2分别为线段所在影像的线段序号；
利用两对线段匹配的几何信息列出方程组：
Figure FDA0003542119120000017
式中
Figure FDA0003542119120000018
对应
Figure FDA0003542119120000019
的两个端点；
Figure FDA00035421191200000110
对应
Figure FDA00035421191200000111
两个端点；端点x与线段l均用齐次坐标表示，分别为x＝(x,y,1)T，l＝(a,b,c)T，ax+by+c＝0；e′与A为像对基础矩阵F分解得到的向量与矩阵，即e′与A满足[e′]×A＝F，F是利用步骤a3中位姿参数求得；v为待求解向量；
利用最小二乘法解出向量v，并将v代入至
H＝A-e′vT(2)
算出的H即为
Figure FDA0003542119120000021
的投影变换约束；
将每个匹配对的左影像线段通过H投影至右线段，若匹配对
Figure FDA0003542119120000022
均满足
Figure FDA0003542119120000023
则将
Figure FDA0003542119120000024
与
Figure FDA0003542119120000025
作为候选匹配，式中C，D为投影线段与右影像线段中较短线段的两个端点，C′、D′为C,D在较长线段所在直线的投影，love为C′D′与较长线段的公共线段长度，Tmap为投影变换后的距离误差阈值，Tove为投影变换后的交叉比率阈值；
步骤b3，利用步骤b2得到的结果增加候选匹配，具体方法为：
对左影像中的每一条线段
Figure FDA0003542119120000026
c1为线段索引，i为线段所在的影像索引，计算
Figure FDA0003542119120000027
与满足公式(3)的
Figure FDA0003542119120000028
与
Figure FDA0003542119120000029
的最短距离，将所有的最短距离按从小到大排序取前Tnei个候选匹配对生成的Tnei个投影矩阵H进行投影变换检验；将
Figure FDA00035421191200000210
通过H投影至右影像，若右影像存在一条线段
Figure FDA00035421191200000211
满足公式(3)，则将
Figure FDA00035421191200000212
作为候选匹配对，c2为线段索引，j为线段所在的影像索引；
步骤c，对步骤b所得到的候选匹配直线段与候选匹配特征点构建匹配图；
步骤d，利用步骤c所得到的候选匹配图，计算每个候选匹配直线段的匹配概率；
步骤e，对步骤d计算得到的匹配概率通过按极大值剔除策略，得到所有影像对的直线特征匹配结果。
2.根据权利要求1所述的一种基于点线图优化求解的影像直线特征匹配方法，其特征在于：步骤b中确定影像对候选匹配特征点
Figure FDA00035421191200000213
满足的几何约束为
Figure FDA00035421191200000214
式中p＝(x,y,1)T，表示点的坐标，p的上标为点所在的影像索引，下标为该点在影像中的索引，dis(*,*)表示点到直线的垂直距离。
3.根据权利要求2所述的一种基于点线图优化求解的影像直线特征匹配方法，其特征在于：步骤c中构建的候选匹配图用矩阵W(δ)表示，δ表示影像对数量，当δ为1时，W(1)由分块矩阵的形式组成
Figure FDA0003542119120000031
式中
Figure FDA0003542119120000032
m,n为候选直线段匹配的序号；
Figure FDA0003542119120000033
Figure FDA0003542119120000034
ΩL,L计算公式为：
Figure FDA0003542119120000035
Figure FDA0003542119120000036
Figure FDA0003542119120000037
的计算方法与
Figure FDA0003542119120000038
相同；
若某一对候选匹配特征点
Figure FDA0003542119120000039
与
Figure FDA00035421191200000310
邻近，则
Figure FDA00035421191200000311
式中H为根据公式(2)求得的投影矩阵；
ΩP评价点到核线的距离，计算公式为：
Figure FDA00035421191200000312
当δ大于1时，W(δ)为如下分块矩阵的形式：
Figure FDA00035421191200000313
式中i,j分别表影像对的序号，当i,j不包含公共影像时Ti-j＝0；
Figure FDA00035421191200000314
Figure FDA00035421191200000315
Tp(m,n)为三视匹配中的三焦张量约束，由于点候选匹配
Figure FDA00035421191200000316
与
Figure FDA00035421191200000317
Figure FDA00035421191200000318
对应一组三视点匹配
Figure FDA00035421191200000319
理论上应满足
Figure FDA00035421191200000320
式中
Figure FDA00035421191200000321
为经过
Figure FDA00035421191200000322
的直线，不能为核线；
Figure FDA00035421191200000323
为通过影像位姿关系求得的三焦张量；因此
Figure FDA0003542119120000041
Tl(m,n)计算与Tp(m,n)相似，线段候选匹配
Figure FDA0003542119120000042
与
Figure FDA0003542119120000043
对应一组三视匹配
Figure FDA0003542119120000044
将
Figure FDA0003542119120000045
的两个端点通过式(11)投影至影像j中，投影误差通过式(7)计算，最终得到
Figure FDA0003542119120000046
4.根据权利要求3所述的一种基于点线图优化求解的影像直线特征匹配方法，其特征在于：步骤c中构建的W(δ)负值用0代替。
5.根据权利要求4所述的一种基于点线图优化求解的影像直线特征匹配方法，其特征在于：步骤d中求解候选匹配概率m＝[p1,p2,…,pn1]T，n1为候选匹配的总数，且
Figure FDA0003542119120000047
采用的优化求解目标为
m*＝argmax mTW(δ)m(14)
其中，m*为m的近似解；矩阵W(δ)表示匹配图。
6.根据权利要求5所述的一种基于点线图优化求解的影像直线特征匹配方法，其特征在于：在步骤e中对m使用极大值剔除策略包含以下步骤：
步骤e1，寻找m中极大值，并确定该极大值所对应的候选匹配，
Figure FDA0003542119120000048
步骤e2，将
Figure FDA0003542119120000049
添加至最终匹配，将其它左影像为
Figure FDA00035421191200000410
或右影像为
Figure FDA00035421191200000411
的候选匹配所对应的m中的概率值改为0；
步骤e3，重复步骤e1与步骤e2，直到m全部为0。
CN202010641423.7A 2020-07-06 2020-07-06 一种基于点线图优化求解的跨视图影像直线特征匹配方法 Active CN111898646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010641423.7A CN111898646B (zh) 2020-07-06 2020-07-06 一种基于点线图优化求解的跨视图影像直线特征匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010641423.7A CN111898646B (zh) 2020-07-06 2020-07-06 一种基于点线图优化求解的跨视图影像直线特征匹配方法

Publications (2)

Publication Number Publication Date
CN111898646A CN111898646A (zh) 2020-11-06
CN111898646B true CN111898646B (zh) 2022-05-13

Family

ID=73191601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010641423.7A Active CN111898646B (zh) 2020-07-06 2020-07-06 一种基于点线图优化求解的跨视图影像直线特征匹配方法

Country Status (1)

Country Link
CN (1) CN111898646B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711321A (zh) * 2018-12-24 2019-05-03 西南交通大学 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN110490913A (zh) * 2019-07-22 2019-11-22 华中师范大学 基于角点与单线段编组的特征描述算子进行影像匹配方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100092093A1 (en) * 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
US8571303B2 (en) * 2008-11-25 2013-10-29 Nec System Technologies, Ltd. Stereo matching processing system, stereo matching processing method and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711321A (zh) * 2018-12-24 2019-05-03 西南交通大学 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN110490913A (zh) * 2019-07-22 2019-11-22 华中师范大学 基于角点与单线段编组的特征描述算子进行影像匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust line matching through line–point invariants;Bin Fan etal.;《Pattern Recognition》;20110810;全文 *
基于纯几何学线特征匹配的点线结合匹配算法;崔东亮等;《计算机应用与软件》;20200430;第37卷(第4期);全文 *

Also Published As

Publication number Publication date
CN111898646A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111815757B (zh) 基于图像序列的大型构件三维重建方法
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
CN101799937B (zh) 一种采用草图创建三维模型的方法
CN104637090B (zh) 一种基于单张图片的室内场景建模方法
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
US20080247668A1 (en) Method for reconstructing three-dimensional images from two-dimensional image data
CN109859114B (zh) 基于局域平滑性和非局域相似性的三维点云修复方法
CN111652241B (zh) 融合影像特征与密集匹配点云特征的建筑物轮廓提取方法
CN107492107B (zh) 基于平面与空间信息融合的物体识别与重建方法
CN109886124A (zh) 一种基于线束描述子图像匹配的无纹理金属零件抓取方法
CN113689535A (zh) 基于无人机影像的建筑物模型的生成方法和装置
CN107452037B (zh) 一种基于gps辅助信息加速的从运动中恢复结构方法
CN111898646B (zh) 一种基于点线图优化求解的跨视图影像直线特征匹配方法
CN103093011B (zh) 基于cad模型的特征识别算法
CN111696059A (zh) 一种车道线光滑连接处理方法和装置
CN115239776B (zh) 点云的配准方法、装置、设备和介质
Liu et al. A fragment fracture surface segmentation method based on learning of local geometric features on margins used for automatic utensil reassembly
CN113610969B (zh) 一种三维人体模型生成方法、装置、电子设备及存储介质
CN113034673B (zh) 一种3d点云建模系统及计算机可读存储介质
CN106056599B (zh) 一种基于物体深度数据的物体识别算法及装置
CN113850293A (zh) 基于多源数据和方向先验联合优化的定位方法
Lingtao et al. Object viewpoint classification based 3D bounding box estimation for autonomous vehicles
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
CN112489204A (zh) 基于rgb图像的3d房间布局重建系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant