CN111986247B - 层次式相机旋转估计方法 - Google Patents

层次式相机旋转估计方法 Download PDF

Info

Publication number
CN111986247B
CN111986247B CN202010886419.7A CN202010886419A CN111986247B CN 111986247 B CN111986247 B CN 111986247B CN 202010886419 A CN202010886419 A CN 202010886419A CN 111986247 B CN111986247 B CN 111986247B
Authority
CN
China
Prior art keywords
graph
sub
rotation
class
relative rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010886419.7A
Other languages
English (en)
Other versions
CN111986247A (zh
Inventor
高翔
罗家铮
解则晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202010886419.7A priority Critical patent/CN111986247B/zh
Publication of CN111986247A publication Critical patent/CN111986247A/zh
Application granted granted Critical
Publication of CN111986247B publication Critical patent/CN111986247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种层次式相机旋转估计方法，包括以下步骤：S1：对外极几何图进行图聚类处理；构造类内底层图，以及类间顶层图；S2：基于随机抽样一致性算法，对类内底层图进行旋转平均化处理，获得类内顶点的绝对旋转值；S3：对底层图之间的边集合进行旋转平均化处理，计算得类间顶层图中边的相对旋转，基于随机抽样一致性算法，对类间顶层图进行旋转平均化处理，获得类间顶点的绝对旋转初值；S4：基于类内顶点的绝对旋转值、类间顶点的绝对旋转初值及内值边集合进行全局优化，优化后的绝对旋转为相机旋转估计值。利用本发明方法，可以有效检测并滤除外值，获取更好的旋转平均化结果。

Description

层次式相机旋转估计方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种层次式相机旋转估计方法。
背景技术
从运动恢复结构(structure from motion)是基于图像的大规模场景三维建模中的一个关键步骤，近年来发展迅速，其输入为图像特征匹配，输出为相机绝对位姿以及场景结构，可以通过图像画面的运动轨迹，估计相机的真实运动轨迹，在机器人同时定位与构图(simultaneous localization and mapping)、自动驾驶等领域广泛应用。
旋转平均化(rotation averaging)指的是在给定相对旋转测量值下估计相机的绝对姿态，是全局式从运动恢复结构(structure from motion)方法中的一个关键步骤。尽管已被广泛研究，由于外极几何图(epipolar-geometry graph)上的相对旋转中存在着因特征误匹配导致的不可避免的测量外值(outlier)，旋转平均化问题仍远未解决。上述现象在由因特网上下载的图像集合中尤为明显。
为解决上述问题，现有方法通常通过设计复杂的损失函数使得旋转平均化的优化过程对相对旋转测量外值更为鲁棒。尽管被证实较为有效且已被集成至一些全局式从运动恢复结构的流程之中，由于优化问题形式复杂，这类方法通常效率较低。另外，这类方法较为依赖初值，在某些情况下会陷入局部极小值进而导致较差的旋转平均化结果。。
发明内容
本发明的目的在于解决以上技术问题，提供一种精确性高、鲁棒性高的层次式相机旋转估计方法。
为实现上述目的，本发明采用的技术方案是：
一种层次式相机旋转估计方法，包括以下步骤：
S1：对外极几何图进行图聚类处理；将同类外极几何图顶点及同类外极几何图顶点之间的边作为类内底层图，将类内底层图看作一个顶点，各类内底层图之间的边集合看作一条边，构成类间顶层图；
S2：基于随机抽样一致性算法，对类内底层图进行旋转平均化处理，获得类内顶点的绝对旋转值；
S3：对底层图之间的边集合进行旋转平均化处理，计算得类间顶层图中边的相对旋转，基于随机抽样一致性算法，对类间顶层图进行旋转平均化处理，获得类间顶点的绝对旋转初值；
S4：基于类内顶点的绝对旋转值、类间顶点的绝对旋转初值及内值边集合进行全局优化，优化后的绝对旋转为相机旋转估计值。
在本发明一些实施例中，对类内底层图进行旋转平均化处理的方法包括：
S21:基于类内底层图构建随机生成树，基于随机生成树构造随机最小集合；
S22:基于随机最小集合计算类内底层图各顶点的绝对旋转估计值；
S23:基于所述绝对旋转的估计值获得随机生成树的支撑集合；
S24:基于各随机生成树的支撑集合中最大支撑集合的边，优化计算类内顶点的绝对旋转。
在本发明一些实施例中，构建随机生成树的方法为：
S211:指定类内底层图的任意一个顶点，并将该顶点作为起始点；
S212:假设当前已涉及的类内底层图的顶点集合为未涉及的类内底层图的顶点集合为/>两顶点集合之间的边集合记为ε12；
S213:从ε12随机选取一条边，并将该边连接的位于中的顶点移至/>
S214:重复S213直至成为空集。
在本发明一些实施例中，获得随机生成树的支撑集合的方法包括：
确定随机最小集合中的基准顶点，并确定基准顶点与其他各顶点之间的通路，沿通路将各条边上的相对旋转连乘，获得绝对旋转估计的初始值，根据绝对旋转估计的初始值对边上的相对旋转进行反算，反算结果与该边上原始相对旋转测量值角度误差小于角度误差阈值的边集合即为该随机生成树的支撑集合，具体算法如下：
其中，表示随机生成树的支撑集合，/>表示由随机生成树获取的类内底层图中图像i的绝对旋转的初始估计值；/>表示由随机生成树获取的类内底层图中图像j的绝对旋转估计的初始值；ε表示外极几何图边集合，eij表示图像i与图像j之间的外极几何图的边，Rij表示边eij对应的相对旋转，/>表示类内底层图中图像对i,j之间的相对旋转的测量值Rij与估计值/>之间的角度距离，θth表示两个旋转之间角度距离的误差阈值。
在本发明一些实施例中，优化计算类内顶点绝对旋转的方法包括：
其中，表示绝对旋转集合{Ri}的加权优化结果，eij表示/>中的任意一条边，nij表示eij连接的图像对之间的特征匹配数量，/>表示向量的2-范数。
在本发明一些实施例中，计算类内底层图之间相对旋转的方法包括：
选定待处理的一类底层图，将该类底层图内的每个单一子图抽象为顶点，将类内任意两个子图之间的连线抽象为边，构造基于子图上层的外极几何图，则各子图的局部坐标系可统一至基于上层外机几何图的全局坐标系中；
逐一将各类子图进行上述操作，将每类子图均统一至各自独立的全局坐标系；
选定待处理的两类子图，记为第一子图集合和第二子图集合，在第一子图集合内选定一子图，在第二类子图集合内选定一子图；
获取两个选定子图的连接边，并基于连接边，计算两个子图间的相对旋转，作为类间子图的相对旋转。
在本发明一些实施例中，所述类内底层图之间的相对选准的计算方法还包括：
其中/>表示第m个子图的顶点集合，/>表示/>中的任意一个顶点，/>表示/>对应相机在其所在子图的局部坐标系下的绝对旋转；
第一子图集合中的第m个子图与第二子图集合中的第n个子图之间边的相对旋转记为其中εmn表示第一子图集合中第m个子图与第二子图集合中第n个子图之间的边集合，/>表示εmn中的任意一条边，/>表示/>连接的图像对之间的相对旋转；
对于中的各相对旋转均可通过下式获取第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转：
表示经图像对之间的相对旋转/>计算得到的第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转，/>表示第二子图集合中第n个子图的顶点集合/>中的顶点/>对应相机在其所在子图的局部坐标系下的绝对旋转。需要注意的是本发明中各子图的局部坐标系均建立在子图中第一个顶点之上。
在本发明一些实施例中，对类间相对旋转进行全局优化的方法包括：
从类间相对旋转集合中随机抽取一个旋转/>并获取其支撑集合/>
选取支撑集合中特征匹配数量加和最大的相对旋转，具体如下式所示：
其中，表示/>中的任意一条边，/>表示/>连接的图像对之间的特征匹配数量；
采用损失函数对选取后的相对旋转进行加权优化：
其中，表示第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转的优化结果。
与现有技术相比，本发明提供相机旋转估计方法的有益效果在于：
本发明提出了一种聚焦于检测与滤除相对旋转测量外值旋转平均化流程，外值滤除通过鲁棒的模型估计方法，随机抽样一致性(random sample consensus)实现。引入在外极几何图上的随机生成树，将该树的边作为用于模型估计与外值检测的最小集合。首先将外极几何图聚类为几个子图，然后进行类内与类间的更小规模的基于随机抽样一致性的旋转平均化。最小集合的随机生成与最优选取，均采用加权的方式，增加随机抽样一致性的每次迭代与整体过程的可靠性。利用本发明方法，可以有效检测并滤除外值，获取更好的旋转平均化结果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为层次式相机旋转估计方法流程示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种层次式相机旋转估计方法，用于估计相机的绝对旋转位置姿态，其流程参考图1。
层次式相机旋转估计方法的数据源为外极几何图，记为其中，/>为外极几何图顶点集合，ε为外极几何图边集合。
层次式旋转估计算法的输入包括匹配图像对之间的相对旋转与特征匹配数量，记为：{Rij,nij|eij∈ε}，其中，eij表示ε中的任意一条边，Rij表示与边连接的图像对之间的相对旋转，nij表示与边连接的图像对之间的特征匹配数量。层次式旋转估计算法的输出为各相机经优化后的绝对姿态，记为其中vi表示/>中的任意一个顶点，/>表示vi对应的图像经优化后的绝对旋转。
层次式相机旋转估计方法，包括以下步骤：
S1：对外极几何图进行图聚类处理；将同类外极几何图顶点及同类外极几何图顶点之间的边作为类内底层图，将类内底层图看作一个顶点，各类内底层图之间的边集合看作一条边，构成类间顶层图。
分类后，获得若干子图的集合定义为第一子图集合、第二子图集合……第N子图集合。同一类内的各子图定义为类内子图，不同类之间的子图定义为类间子图。第一子图集合中外极几何图顶点之间的边为类内底层图，将第一子图集合看做一个顶点，第二子图集合看做一个顶点，第一子图集合和第二子图集合之间的连线看做边。将各个子图集合均做上述处理，获得各个子图集合之间的边集合，构成类间顶层图。
S2：基于随机抽样一致性算法，对类内底层图进行旋转平均化处理，获得类内顶点的绝对旋转值。
S3：对底层图之间的边集合进行旋转平均化处理，计算得类间顶层图中边的相对旋转，基于随机抽样一致性算法，对类间顶层图进行旋转平均化处理，获得类间顶点的绝对旋初值。
随机抽样一致性是一种自底向上的方法，该方法通过随机选取最小集合进行若干次模型估计，并将最终模型估计结果置为选取的最小集合中支撑集合中最大的对应的估计结果。而对于基于随机抽样一致性的旋转平均化而言，其最小集合为外极几何图上的随机生成树的边。因此，本发明需要在外极几何图上获取随机生成树，用于最小集合的生成。
以上步骤S2和S3中，随机抽样一致性计算的原理是一致的。步骤S2中，基于类内底层图，采用随机一致性方法，构造类内底层图的随机生成树，获得类内底层图最小集合，并计算类内顶点绝对旋转值；步骤S3中，基于类间顶层图，采用随机一致性方法，构造类间顶层图随机生成树，获得类间顶层图最小集合，并计算类件顶点的绝对旋转。
S4：基于类内顶点的绝对旋转值、类间顶点的绝对旋转初值及内值边集合进行全局优化，优化后的绝对旋转为相机旋转估计值。
以下，以类内底层图计算类内顶点的绝对旋转为例，来说明上述步骤S2中随机抽样一致性计算方法的过程。
S21:基于类内底层图构建随机生成树，基于随机生成树构造随机最小集合；
S22:基于随机最小集合计算类内底层图各顶点的绝对旋转估计值；
S23:基于所述绝对旋转的估计值获得随机生成树的支撑集合；
S24:基于各随机生成树的支撑集合中最大支撑集合的边，优化计算类内顶点的绝对旋转。
上述步骤S21中，随机生成树的构造过程如下。
S211:指定类内底层图的任意一个顶点，并将该顶点作为起始点；
S212:假设当前已涉及的类内底层图的顶点集合为未涉及的类内底层图的顶点集合为/>两顶点集合之间的边集合记为ε12；
S213:从ε12随机选取一条边，并将该边连接的位于中的顶点移至/>
S214:重复S213直至成为空集。
另外，由于在随机抽样一致性流程中更希望获取全部是测量内值的最小集合，本发明中随机树采用一种加权的方式进行生成。具体来说，假设集合ε12中的一条边eij连接的图像对之间的特征匹配数量为nij，则该边从ε12之中被选中的概率为：
在本发明一些实施例中，上述步骤S23中，获得一棵随机生成树的支撑集合的方法包括：
确定随机最小集合中的基准顶点，并确定基准顶点与其他各顶点之间的通路，沿通路将各条边上的相对旋转连乘，获得绝对旋转估计的初始值，根据绝对旋转估计的初始值对边上的相对旋转进行反算，反算结果与该边上原始相对旋转测量值角度误差小于角度误差阈值的边集合即为该随机生成树的支撑集合，具体算法如下：
其中，表示随机生成树的支撑集合，/>表示由随机生成树获取的类内底层图中图像i的绝对旋转的初始估计值；/>表示由随机生成树获取的类内底层图中图像j的绝对旋转估计的初始值；Rij表示边eij对应的相对旋转，/>表示类内底层图中图像对i,j之间的相对旋转的测量值Rij与估计值/>之间的角度距离，θth表示两个旋转之间角度距离的误差阈值，可通过设定获得。
在基于随机抽样一致性的算法运行过程中会随机产生若干最小集合并将其中具有最大支撑集合的选定为最优最小集合。而在本发明中，考虑特征匹配数量并通过下式将最优最小集合置为其支撑集合中特征匹配数量加和最大的那一个：
在本发明一些实施例中，上述步骤S24中，优化计算类内顶点绝对旋转的方法包括：
其中，表示绝对旋转集合{Ri}的加权优化结果，eij表示/>中的任意一条边，nij表示eij连接的图像对之间的特征匹配数量，/>表示向量的2-范数。
在本发明一些实施例中，计算类间顶层图图之间相对旋转的方法包括：
选定待处理的一类底层图，将该类底层图内的每个单一子图抽象为顶点，将类内任意两个子图之间的连线抽象为边，构造基于子图上层的外极几何图，则各子图的局部坐标系可统一至基于上层外机几何图的全局坐标系中；
逐一将各类子图进行上述操作，将每类子图均统一至各自独立的全局坐标系；
选定待处理的两类子图，记为第一子图集合和第二子图集合，在第一子图集合内选定一子图，在第二类子图集合内选定一子图；
获取两个选定子图的连接边，并基于连接边，计算两个子图间的相对旋转，作为类间子图的相对旋转。
在本发明一些实施例中，所述类内底层图之间的相对选准的计算方法还包括：
其中/>表示第m个子图的顶点集合，/>表示/>中的任意一个顶点，/>表示/>对应相机在其所在子图的局部坐标系下的绝对旋转；
第一子图集合中的第m个子图与第二子图集合中的第n个子图之间边的相对旋转记为其中εmn表示第一子图集合中第m个子图与第二子图集合中第n个子图之间的边集合，/>表示εmn中的任意一条边，/>表示/>连接的图像对之间的相对旋转；
对于中的各相对旋转均可通过下式获取第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转：
表示经图像对之间的相对旋转/>计算得到的第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转，/>表示第二子图集合中第n个子图的顶点集合/>中的顶点/>对应相机在其所在子图的局部坐标系下的绝对旋转。需要注意的是本发明中各子图的局部坐标系均建立在子图中第一个顶点之上。
在本发明一些实施例中，对类间相对旋转进行全局优化的方法包括：
从类间相对旋转集合中随机抽取一个旋转/>并获取其支撑集合/>
选取支撑集合中特征匹配数量加和最大的相对旋转，具体如下式所示：
其中，表示/>中的任意一条边，/>表示/>连接的图像对之间的特征匹配数量；
采用损失函数对选取后的相对旋转进行加权优化：
其中，表示第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转的优化结果。
上述步骤S3中，计算获得底层图之间相对旋转作为类间顶层图图之间相对旋转，对底层图之间的边集合进行旋转平均化处理，获得底层图之间的绝对旋转初始值；采用顶层图之间的相对旋转、绝对旋转的初始值，采用与步骤S2中相同的方法，对类间顶层图进行旋转平均化处理，获得类间顶点的绝对旋转初值。
实验验证：
为测试本发明的效果，在1DSfM数据集上进行了测试。在测试时将Bundler标定得到的相机绝对旋转作为真值并将旋转角度中值误差作为评测指标。
表1消融实验与对比实验结果
无聚类 无加权 无优化 本发明 对比一 对比二 对比三
ALM 2.11 4.92 3.03 1.11 2.12 2.14 1.26
ELS 1.32 0.72 1.52 0.60 1.02 1.15 0.75
GDM 21.26 4.72 6.89 3.91 45.15 28.20 39.15
MDR 35.38 3.78 4.25 1.47 2.75 3.08 1.12
MND 1.03 0.66 1.77 0.53 0.77 0.71 0.68
NYC 4.51 5.31 3.53 1.32 1.43 1.40 1.30
PDP 1.48 1.05 2.17 0.95 2.19 2.62 1.73
ROF 10.55 4.63 3.16 2.27 1.59 1.70 1.85
TOL 4.08 5.76 5.02 2.47 2.55 2.45 2.10
USQ 15.35 8.97 6.18 5.35 4.34 4.97 3.83
VNC 3.63 3.68 5.18 1.86 4.47 4.64 3.30
YKM 2.90 1.82 2.32 1.72 1.71 1.62 1.55
Mean 8.63 3.84 3.75 1.96 5.34 4.56 5.39
为验证本发明中提出的关键技术的有效性，进行若干消融实验，包括无聚类，无加权以及无优化。这三种情况分别简述如下。
在无聚类的情况下，不进行基于社区发现算法的外极几何图聚类，而基于随机抽样一致性的旋转平均化算法在整个外极几何图上进行；在无加权的情况下，在进行旋转平均化的过程中，所有边被同等对待，即最优最小集合选取及基于损失函数的优化的过程中并不会涉及nij；在无优化的情况下，基于随机抽样一致性的类内与类间旋转平均化中涉及到的优化以及最终的全局优化均不再实施。
消融实验结果列于表1左侧，由表可知相对于本发明方法，各种消融实验情况下的旋转平均化结果的精度均下降明显。因此，本发明中提出的包括图聚类以及优化在内的各像关键技术均能提升方法的精度与鲁棒性。
在对比实验中，将本发明方法与另外三种方法进行了对比，三种方法的对应文献分别为：
对比文件1：A.Chatterjee and V.M.Govindu,“Efficient and robust large-scale rotation averaging,”in IEEE International Conference on Computer Vision(ICCV),2013,pp.521–528.
对比文件2：A.Chatterjee and V.M.Govindu,“Robust relative rotationaveraging,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.40,no.4,pp.958–972,2018.
对比文件3：H.Cui,S.Shen,W.Gao,H.Liu,and Z.Wang,“Efficient and robustlarge-scale structure-from-motion via track selection and cameraprioritization,”ISPRS Journal of Photogrammetry and Remote Sensing,vol.156,pp.202–214,2019.
对比实验结果列于表1右侧，由表可知在所有对比方法中，本发明的方法取得了整体最优的结果。需要注意的是，在所有测试数据之中，GDM数据上本发明的结果精度远超其他对比方法。这是由于在GDM数据对应的场景中存在两个对称建筑，这导致该组数据中存在过多的误匹配图像对以及相对旋转测量外值。简单地引入鲁棒损失函数或特征匹配数量难以应对上述情况。但是，利用本发明方法，可以有效检测并滤除外值以获取更好的旋转平均化结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种层次式相机旋转估计方法，其特征在于，包括以下步骤：
S1：对外极几何图进行图聚类处理；将同类外极几何图顶点及同类外极几何图顶点之间的边作为类内底层图，将类内底层图看作一个顶点，各类内底层图之间的边集合看作一条边，构成类间顶层图；
S2：基于随机抽样一致性算法，对类内底层图进行旋转平均化处理，获得类内顶点的绝对旋转值；
S3：对底层图之间的边集合进行旋转平均化处理，计算得类间顶层图中边的相对旋转，基于随机抽样一致性算法，对类间顶层图进行旋转平均化处理，获得类间顶点的绝对旋转初值；
S4：基于类内顶点的绝对旋转值、类间顶点的绝对旋转初值及内值边集合进行全局优化，优化后的绝对旋转为相机旋转估计值；
对类内底层图进行旋转平均化处理的方法包括：
S21:基于类内底层图构建随机生成树，基于随机生成树构造随机最小集合；
S22:基于随机最小集合计算类内底层图各顶点的绝对旋转估计值；
S23:基于所述绝对旋转的估计值获得随机生成树的支撑集合；
S24:基于各随机生成树的支撑集合中最大支撑集合的边，优化计算类内顶点的绝对旋转；
获得随机生成树的支撑集合的方法包括：
确定随机最小集合中的基准顶点，并确定基准顶点与其他各顶点之间的通路，沿通路将各条边上的相对旋转连乘，获得绝对旋转估计的初始值，根据绝对旋转估计的初始值对边上的相对旋转进行反算，反算结果与该边上原始相对旋转测量值角度误差小于角度误差阈值的边集合即为该随机生成树的支撑集合，具体算法如下：
其中，表示随机生成树的支撑集合，/>表示由随机生成树获取的类内底层图中图像i的绝对旋转的初始估计值；/>表示由随机生成树获取的类内底层图中图像j的绝对旋转估计的初始值；ε表示外极几何图边集合，eij表示图像i与图像j之间的外极几何图的边，Rij表示边eij对应的相对旋转，/>表示类内底层图中图像对i,j之间的相对旋转的测量值Rij与估计值/>之间的角度距离，θth表示两个旋转之间角度距离的误差阈值。
2.如权利要求1所述的层次式相机旋转估计方法，其特征在于，构建随机生成树的方法为：
S211:指定类内底层图的任意一个顶点，并将该顶点作为起始点；
S212:假设当前已涉及的类内底层图的顶点集合为未涉及的类内底层图的顶点集合为/>两顶点集合之间的边集合记为ε12；
S213:从ε12随机选取一条边，并将该边连接的位于中的顶点移至/>
S214:重复S213直至成为空集。
3.如权利要求1所述的层次式相机旋转估计方法，其特征在于，优化计算类内顶点绝对旋转的方法包括：
其中，表示绝对旋转集合{Ri}的加权优化结果，eij表示/>中的任意一条边，nij表示eij连接的图像对之间的特征匹配数量，/>表示向量的2-范数。
4.如权利要求2至3中任意一项所述的层次式相机旋转估计方法，其特征在于，计算类内底层图之间相对旋转的方法包括：
选定待处理的一类底层图，将该类底层图内的每个单一子图抽象为顶点，将类内任意两个子图之间的连线抽象为边，构造基于子图上层的外极几何图，则各子图的局部坐标系统一至基于上层外机几何图的全局坐标系中；
逐一将各类子图统一至各自独立的全局坐标系；
选定待处理的两类子图，记为第一子图集合和第二子图集合，在第一子图集合内选定一子图，在第二类子图集合内选定一子图；
获取两个选定子图的连接边，并基于连接边，计算两个子图间的相对旋转，作为类间子图的相对旋转。
5.如权利要求4所述的层次式相机旋转估计方法，其特征在于，所述类内底层图之间的相对选准的计算方法还包括：
其中/>表示第m个子图的顶点集合，/>表示/>中的任意一个顶点，/>表示/>对应相机在其所在子图的局部坐标系下的绝对旋转；
第一子图集合中的第m个子图与第二子图集合中的第n个子图之间边的相对旋转记为其中εmn表示第一子图集合中第m个子图与第二子图集合中第n个子图之间的边集合，/>表示εmn中的任意一条边，/>表示/>连接的图像对之间的相对旋转；
对于中的各相对旋转均通过下式获取第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转：
其中，表示经图像对之间的相对旋转/>计算得到的第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转，/>表示第二子图集合中第n个子图的顶点集合vn中的顶点/>对应相机在其所在子图的局部坐标系下的绝对旋转；各子图的局部坐标系均建立在子图中第一个顶点之上。
6.如权利要求5所述的层次式相机旋转估计方法，其特征在于，对类间相对旋转进行全局优化的方法包括：
从类间相对旋转集合中随机抽取一个旋转/>并获取其支撑集合/>
选取支撑集合中特征匹配数量加和最大的相对旋转，具体如下式所示：
其中，表示/>中的任意一条边，/>表示/>连接的图像对之间的特征匹配数量；
采用l2损失函数对选取后的相对旋转进行加权优化：
其中，表示第一子图集合中第m个子图与第二子图集合中第n个子图局部坐标系之间的相对旋转的优化结果。
CN202010886419.7A 2020-08-28 2020-08-28 层次式相机旋转估计方法 Active CN111986247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010886419.7A CN111986247B (zh) 2020-08-28 2020-08-28 层次式相机旋转估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010886419.7A CN111986247B (zh) 2020-08-28 2020-08-28 层次式相机旋转估计方法

Publications (2)

Publication Number Publication Date
CN111986247A CN111986247A (zh) 2020-11-24
CN111986247B true CN111986247B (zh) 2023-10-27

Family

ID=73441407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010886419.7A Active CN111986247B (zh) 2020-08-28 2020-08-28 层次式相机旋转估计方法

Country Status (1)

Country Link
CN (1) CN111986247B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090021883A (ko) * 2007-08-28 2009-03-04 중앙대학교 산학협력단 전방향 카메라의 교정방법
WO2010077380A2 (en) * 2009-01-04 2010-07-08 3M Innovative Properties Company Global camera path optimization
CN108280858A (zh) * 2018-01-29 2018-07-13 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法
CN109166171A (zh) * 2018-08-09 2019-01-08 西北工业大学 基于全局式和增量式估计的运动恢复结构三维重建方法
CN110274598A (zh) * 2019-06-24 2019-09-24 西安工业大学 一种机器人单目视觉鲁棒定位估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090021883A (ko) * 2007-08-28 2009-03-04 중앙대학교 산학협력단 전방향 카메라의 교정방법
WO2010077380A2 (en) * 2009-01-04 2010-07-08 3M Innovative Properties Company Global camera path optimization
CN108280858A (zh) * 2018-01-29 2018-07-13 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法
CN109118578A (zh) * 2018-08-01 2019-01-01 浙江大学 一种层次化的多视图三维重建纹理映射方法
CN109166171A (zh) * 2018-08-09 2019-01-08 西北工业大学 基于全局式和增量式估计的运动恢复结构三维重建方法
CN110274598A (zh) * 2019-06-24 2019-09-24 西安工业大学 一种机器人单目视觉鲁棒定位估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
全局相机姿态优化下的快速表面重建;林金花;王延杰;王璐;姚禹;;吉林大学学报(工学版)(03);第270-279页 *

Also Published As

Publication number Publication date
CN111986247A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
EP3382644B1 (en) Method for 3d modelling based on structure from motion processing of sparse 2d images
Fan et al. Pothole detection based on disparity transformation and road surface modeling
US10225473B2 (en) Threshold determination in a RANSAC algorithm
US20170161901A1 (en) System and Method for Hybrid Simultaneous Localization and Mapping of 2D and 3D Data Acquired by Sensors from a 3D Scene
CN107657644B (zh) 一种移动环境下稀疏场景流检测方法和装置
US10460471B2 (en) Camera pose estimating method and system
US9489768B2 (en) Semantic dense 3D reconstruction
CN101398934A (zh) 对图像中的对象进行定位的方法和系统
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
CN112233177A (zh) 一种无人机位姿估计方法及系统
US20160117573A1 (en) Method and apparatus for extracting feature correspondences from multiple images
US10229508B2 (en) Dynamic particle filter parameterization
CN112767546B (zh) 移动机器人基于双目图像的视觉地图生成方法
Ma et al. Visual homing via guided locality preserving matching
CN113822996A (zh) 机器人的位姿估计方法及装置、电子设备、存储介质
Cavestany et al. Improved 3D sparse maps for high-performance SFM with low-cost omnidirectional robots
Wang et al. Tc-sfm: Robust track-community-based structure-from-motion
CN111986247B (zh) 层次式相机旋转估计方法
CN114399547B (zh) 一种基于多帧的单目slam鲁棒初始化方法
Ventura et al. P1ac: Revisiting absolute pose from a single affine correspondence
Zhong et al. A deep learning-based local feature extraction method for improved image matching and surface reconstruction from Yutu-2 PCAM images on the Moon
CN110264508B (zh) 一种基于凸四边形原则的消影点估计方法
Lindblad et al. High-resolution reconstruction by feature distance minimization from multiple views of an object
Jiao et al. Long-Term Map-Based Visual Localization: Analysis of Individual Components of a Hierarchical Pipeline
Chang Significance of omnidirectional fisheye cameras for feature-based visual SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant