CN111209965A - 一种面向大规模三维重建的快速鲁棒特征跟踪方法 - Google Patents

一种面向大规模三维重建的快速鲁棒特征跟踪方法 Download PDF

Info

Publication number
CN111209965A
CN111209965A CN202010012402.9A CN202010012402A CN111209965A CN 111209965 A CN111209965 A CN 111209965A CN 202010012402 A CN202010012402 A CN 202010012402A CN 111209965 A CN111209965 A CN 111209965A
Authority
CN
China
Prior art keywords
feature
scale
dimensional reconstruction
tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010012402.9A
Other languages
English (en)
Inventor
贾伟
夏伟
曹明伟
赵洋
闵海
余烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010012402.9A priority Critical patent/CN111209965A/zh
Publication of CN111209965A publication Critical patent/CN111209965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向大规模三维重建的快速鲁棒特征跟踪方法，属于计算机视觉与计算机图形学领域。该方法对于场景的图像序列，根据像素点之间的对比关系检测图像的特征点；在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子；采用AP聚类方法对特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；采用并查集方法，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；采用极线约束方法去除特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。该方法能够从噪声数据中检测足够多的特征点，高效准确地对特征进行跟踪，满足了三维重建的需求，从而简化三维重建的过程，降低了设计人员负担。

Description

一种面向大规模三维重建的快速鲁棒特征跟踪方法
技术领域
本发明属于计算机视觉与计算机图形学领域，具体涉及一种面向大规模三维重建的快速鲁棒特征跟踪方法。
背景技术
大规模场景的快速三维重建在城市规划、游戏和军事仿真、增强现实、虚拟现实、地图导航和无人驾驶中具有重要的作用。由于场景中存在的光照变化、尺度变化、目标之间的遮挡和图像采集设备的不足，导致获取的图像数据存在大量的噪点。在多视图三维重建过程中，现有的特征跟踪方法检测出的特征点数目难以满足三维重建技术的要求，因此，重建出的三维模型存在大量的空洞。为了获得完整的三维模型，需要设计人员手工修复三维模型中的空洞，然而，这些修复工作极其耗时，因此，极大地增加了设计人员的负担。
例如论文《Good Features to Track for Visual SLAM》中提出的方法主要用于从大量的特征点集合中为同时定位与地图构建系统选取高质量的特征点，不包含特征检测和计算描述子步骤(Zhang G，Vela P A.Good features to track for visual SLAM.2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEEComputer Society，2015.)。论文《Metric learning driven multi-task structuredoutput optimization for robust keypoint tracking》中提出的方法主要是采用基于深度学习的方法从大量的图像数据中学习局部特征，只局限于特征检测和计算特征描述子，不包含特征匹配(Zhao，Liming，Li，Xi，Xiao，Jun，etc.Metric learning driven multi-task structured output optimization for robust keypoint tracking.ComputerScience，2014.)。论文《ENFT：Efficient Non-Consecutive Feature Tracking forRobust Structure-from-Motion》提出的特征跟踪方法，主要面向于视频序列，解决视频序列场景下特征跟踪丢失问题(Zhang G，Liu H，Dong Z，et al.ENFT：Efficient Non-Consecutive Feature Tracking for Robust Structure-from-Motion[J].IEEE TransImage Process，2015，25(12)：5957-5970.)。论文《Good features to track：A viewgeometric approach》提出的方法主要是采用一中基于极限几何方法消除错误匹配的特征点(Jiang J，Yilmaz A.Good features to track：A view geometric approach.IEEEInternational Conference on Computer Vision Workshops，ICCV 2011 Workshops，Barcelona，Spain，November 6-13，2011.IEEE，2011.)。
综合分析现有技术，现有的方法中，多为了解决跟踪过程中的某个特定问题，例如特征点检测，计算特征描述子，特征匹配和消除错误的特征匹配等，当综合应用这些方法进行特征跟踪时，效率较慢，并且检测出的特征点数目较少，并且特征匹配的准确率也不高，使得重建的三维模型出现大量空洞，增加了设计人员负担。
发明内容
技术问题：本发明提供一种面向大规模三维重建的快速鲁棒特征跟踪方法，该方法旨在能够从噪声数据中快速地检测出较多的特征点，快速地计算特征描述子，并快速准确进行特征匹配，从而满足三维重建需要，简化三维重建过程，降低设计人员负担。
技术方案：本发明一种面向大规模三维重建的快速鲁棒特征跟踪方法，包括以下步骤：
S1：确定待重建的场景，输入所重建的场景的图像序列；
S2：对于输入的场景的图像序列，根据像素点之间的对比关系检测图像的特征点；
S3：对于步骤S2中得到的图像的特征点，在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算制特征描述子；
S4：对步骤S3得到的特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；
S5：对于步骤S4得到的特征集合，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；
S6：去除步骤S5得到的特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。
进一步地，所述步骤S2中检测图像的特征点的具体方法为：根据像素点与邻域空间内像素之间的对比关系，将邻域像素划分为若干类，如果存在连续的若干个邻域像素大于或小于中心像素，则认为中心像素点为图像的特征点，否则为图像的非特征点。
进一步地，所述步骤S3中，特征描述子为二进制特征描述子。
进一步地，计算所述特征描述子的方法为：对于输入的图像序列，计算出对应的差分高斯图像，并在差分高斯空间内，为特征描述子元素赋值，如果邻域空间内的像素大于或等于中心像素的值，则对应的特征描述子元素为1，否则为0，当邻域空间的像素处理完毕后，即可计算出二进制特征描述子。
进一步地，所述步骤S4中采用AP聚类算法将特征描述子划分为若干个不同的特征集合。
进一步地，所述步骤S5中采用并查集方法对特征集合中的不同特征描述子进行匹配。
进一步地，所述步骤S6中根据多视图之间的对极几何原理，采用极线约束方法消除特征跟踪链中的错误匹配点。
进一步地，像素之间的对比关系的计算方法为：
Figure BDA0002356965340000031
记O(x，y)表示候选特征点位置，No(x，少)表示O(x，y)的邻域，对于输入的图像I，则公式中，CO→N表示O(x，y)与邻域空间内每个像素之间的对比关系，d和
Figure BDA0002356965340000032
分别表示暗化和不暗化；b和
Figure BDA0002356965340000033
表示像素的亮度值为亮化和不亮化；s表示相似性；Io→n表示O(x，y)与n(x，y)之间的差值，n∈No，C′o→n表示中心像素与领域像素的对比关系，μ表示一个阈值，Io表示中心像素的亮度值，t表示一个阈值。
进一步地，检测图像的特征点时，将邻域像素划分为5类。
进一步地，差分高斯图像的计算方法为：
DOGo(x，y)＝Ro(x，y)*(G(x，y，kσ)-G(x，y，σ))
式中，DOGo(x，y)表示差分高斯图像，Ro(x，y)特征点的旋转邻域，其中，
Figure BDA0002356965340000034
表示方差为σ的高斯密度函数；k为常量，用于控制差分高斯空间的尺度空间变化。
有益效果：本发明与现有技术相比，具有以下优点：
(1)本发明所提出的面向大规模三维重建的快速鲁棒特征跟踪方法，首先，采用像素点之间的对比关系计算特征点，并在图像的差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子，能够避免图像中噪声的影响和提高特征检测的时间效率，从而能够从充满噪声的图像中快速地检测出足够多的特征点，满足了三维重建过程的需要，使得重建出的场景尽可能少的出现空洞，从而减少了后续技术人员的工作负担。
(2)采用AP聚类算法将特征描述子进行划分，并且采用并查集方法进行特征匹配，创建特征跟踪链，采用AP聚类算法能够自动确定聚类的数量，同时能够避免人工干预，因此不仅提高了划分的准确性，同时具有较高的效率；并查集算法是一种从大规模集合中查找相似元素的方法，具有较高的时间效率，因此结合AP聚类算法和并查集算法，避免了现有方法中采用暴力匹配时过多的时间开销，有效地提高了特征匹配的效率，从而使本发明的方法能够更加快速地对特征进行跟踪，并且具有较强地鲁棒性。
(3)采用极线约束方法消除特征跟踪链中的错误匹配，极线约束方法采用相邻两帧图像之间的单应性矩阵对图像之间的变换过程进行验证，能够非常有效的去除错误的特征匹配，从而具有较高的特征的匹配精度，从而使得本发明的方法能够适用于大规模场景的快速高精度的三维重建。
附图说明
图1为本发明的面向大规模三维重建的快速鲁棒特征跟踪方法的处理流程图；
图2为本发明的面向大规模三维重建的快速鲁棒特征跟踪方法的特征点检测原理图；
图3为本发明的面向大规模三维重建的快速鲁棒特征跟踪方法的计算特征描述子的原理图；
图4为本发明的面向大规模三维重建的快速鲁棒特征跟踪方法的创建特征跟踪链的流程图；
图5为本发明的面向大规模三维重建的快速鲁棒特征跟踪方法的几何约束的错误匹配消除的示意图。
具体实施方式
下面结合实施例和说明书附图对本发明作进一步的说明。
首先，对本发明中公式中出现的英文单词进行说明：if如果，otherwise否则，true真，false假，find查找，input输入，donothing无操作。
本发明提供了一种面向大规模三维重建的快速鲁棒特征跟踪方法，通过该方法可以获得噪声数据下的多视图之间的特征跟踪链，以便重建出完整的三维模型，应用场景包括：三维场景重建、在城市规划、游戏和军事仿真、增强现实、虚拟现实、地图导航和无人驾驶。
如图1所示，为本发明一种面向大规模三维重建的快速鲁棒特征跟踪方法的处理流程图，本发明的方法的具体步骤包括：
S1：确定待重建的场景，并输入场景的图像序列。
例如图1中，跟踪的是罗马斗兽场的场景，因此输入该场景的图像序列，输入时，图像序列无需进行后处理。
S2：对于输入的图像序列，根据像素点之间的对比关系检测图像的特征点。
如图2所示，展示了特征点检测原理，其中点O表示特征点，点C表示矩形的目标的质心；θ表示OAGAST特征点的主方向与X轴之间的夹角。记O(x，y)表示候选特征点位置，No(x，y)表示O(x，y)的7×7邻域(如图2中深色矩形区域)，对于输入的图像I，计算O(x，y)与邻域空间内每个像素之间的对比关系CO→N，计算方法如式(1)所示，
Figure BDA0002356965340000051
其中，d和
Figure BDA0002356965340000052
分别表示暗化和不暗化；b和
Figure BDA0002356965340000053
表示像素的亮度值为亮化和不亮化；s表示相似性；IO→n表示O(x，y)与n(x，y)之间的差值，n∈No，C′o→n表示中心像素与领域像素的对比关系，μ表示一个阈值，IO表示中心像素的亮度值，t表示一个阈值。
根据CO→N可以将O(x，y)分为五类：Od、
Figure BDA0002356965340000054
Os、Ob和
Figure BDA0002356965340000055
记KO表示变量，如果O是特征点，则KO＝1，否则KO＝0，采用决策树生成算法选取被比较的初始像素n，并根据KO的熵(Entropy)判断O(x，y)是否被确定为特征点，熵H(O)的计算方法如式(2)所示。
Figure BDA0002356965340000056
其中，c＝|{o|KO＝1}|表示特征点数，
Figure BDA0002356965340000057
非特征点数。
如果被选取的n属于Od且能够产生最大的熵，则采用递归方法将其分为五类：Odd、
Figure BDA0002356965340000058
Ods、Odb和
Figure BDA0002356965340000059
若被选取的是Os，则分为：Osd、
Figure BDA00023569653400000510
Oss、Osb和
Figure BDA00023569653400000511
递归处理每一个被选取的候选点，直到H(O)为0；如果存在连续的10个邻域像素大于或小于中心像素，则认为是特征点，否则不是特征点。最后根据KO值判断O(x，y)是否为特征点，判断标准如式(3)所示。
Figure BDA0002356965340000061
其中，true表示O(x，y)是特征点；false表示O(x，y)非特征点。
特征点的位置确定后，计算No(x，y)的图像矩mp，q，计算方法如式(4)所示。
Figure BDA0002356965340000062
其中，p、q表示阶数，根据图像矩理论，采用一阶矩m10和m01以及零阶矩m00计算No(x，y)的质心C。
Figure BDA0002356965340000063
由摄像机的成像原理可知，在图像区域内像素是非均匀分布，因此No(x，y)的质心C与几何中心O不在同一位置，从O到C可以构造一条向量
Figure BDA0002356965340000064
将向量
Figure BDA0002356965340000065
与X轴之间的夹角定义为特征点O的主方向，角度θ的计算方法如式(6)所示。
Figure BDA0002356965340000066
通过以上步骤，可以计算出给定图像的特征点。根据像素点之间的对比关系检测图像的特征点，可以从噪声数据中得到足够多的特征点，满足了三维重建过程的需要，从而提高了特征跟踪的准确率，使得重建出的场景尽可能少的出现空洞，从而减少了后续技术人员的工作负担。
S3：对于步骤S2中得到的图像的特征点，在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算二进制特征描述子。
在差分高斯空间内，采用中心像素与7×7邻域内像素之间的对比关系作为描述子元素，从而构造48维的二进制特征描述子，且对光照和尺度变化具有较强的鲁棒性。如图3所示，对于给定的特征点O(x，y)，根据它的主方向θ可以计算出旋转矩阵R，计算方法如式(7)所示。
Figure BDA0002356965340000071
由旋转矩阵R可以获得特征点O(x，y)的旋转邻域Ro(x，y)，计算方法如式(8)所示。
Ro(x，y)＝No(x，y)*R (8)
由于差分高斯图像对光照和尺度变化具有较强的鲁棒性，因此，计算Ro(x，y)的差分高斯图像DOGo(x，y)，计算方法如式(9)所示，
DOGo(x，y)＝Ro(x，y)*(G(x，y，kσ)-G(x，y，σ)) (9)
其中，
Figure BDA0002356965340000072
表示方差为σ的高斯密度函数；k为常量，用于控制差分高斯空间的尺度空间变化。
在差分高斯空间内，采用O(x，y)与DOGo(x，y)内像素之间的对比关系作为CCN描述子元素；图3(f)为DOGo(x，y)数字化表达形式，以行为单位计算每个元素与中心点之间的对比关系，获得CCN描述子的矩阵表达形式，计算方法如式(10)所示，
Figure BDA0002356965340000073
其中，
Figure BDA0002356965340000074
i为序号。
以列为单位将对比关系矩阵M串联为48位的浮点向量，即为CCN描述子，计算方法如式(11)所示，
CCN(i)＝vstack(Mi(x，y)) (11)
其中，vstack(*)表示相邻元素水平首尾连接。
S4：对步骤S3得到的特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合。
AP聚类算法能够自动确定聚类的数量，避免人工干预的影响，因此本发明采用AP聚类算法进行特征描述子的划分，如图4所示，对于给定的特征集合FU，采用AP聚类算法将FU分为若干类，计算法方法如式(12)所示，
{Fi，U}＝AP(FU) (12)
其中，AP表示聚类算法；{Fi，U}表示被分类的特征集合，i为序号，每个集合被聚类的数目由AP算法自动确定。
采用AP聚类算法能够自动确定聚类的数量，同时能够避免人工干预，因此不仅提高了划分的准确性，同时具有较高的效率，从而使得能够快速地对特征进行跟踪。
S5：对于步骤S4得到的不同特征集合，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链。
对于给定的特征集合{Fi，U}，创建特征跟踪链需要以下步骤：
步骤1：采用并查集算法中的MakeSet函数为{Fi，U}中的每个特征建立一个独立的特征集合
Figure BDA0002356965340000081
计算方法如式(13)所示，
Figure BDA0002356965340000082
其中，j表示序号。
步骤2：对于给定的Fi，U，计算每个CCN描述子(特征描述子)的模长Lccn，计算方法如式(14)所示。
Figure BDA0002356965340000083
步骤3：以模长最大的描述子CCNmax作为根节点，建立一个节点的KD-Tree，如式(15)所示。
KDTreei＝{CCNmax} (15)
步骤4：采用并查集中的Find函数在
Figure BDA0002356965340000084
中寻找与CCNmax最相似的特征描述子CCNj+1，如果
Figure BDA0002356965340000085
大于
Figure BDA0002356965340000086
则将CCNj+1作为CCNmax的右子树，插入方法如式(16)所示，
KDTreei＝{CCNmax{right{CCNj+1}}} (16)
反之，则将CCNj+1作为CCNj的左子树，插入方法如式(17)所示。
KDTreei＝{CCNmax{left{CCNj+1}}} (17)
步骤5：重复步骤4，直到Fi，U中每个描述子均被处理完毕，即可为Fi，U创建一棵KDTreei。
步骤6：对于给定的特征描述子CCNj，从KDTreei中寻找与之相匹配的特征描述子CCNj+1，构造特征跟踪链Tracksi，计算方法如式(18)所示。
Figure BDA0002356965340000091
步骤7：重复特征跟踪链Tracksi的创建和检索过程，即可为输入特征集合FU构造完整的特征跟踪链集合，
Tracks＝{Tracks1，…，Tracksn} (19)
说明的是，此处n表示特征跟踪链的数量。
并查集算法是一种从大规模集合中查找相似元素的方法，具有较高的时间效率。本发明的方法，结合AP聚类算法和并查集算法，避免了现有方法中采用暴力匹配时过多的时间开销，有效地提高了特征匹配的效率，从而使本发明的方法能够更加快速地对特征进行跟踪，并且具有较强地鲁棒性。
S6：去除步骤S5得到的特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。
根据多视图之间的对极几何原理，采用极线约束方法消除特征跟踪链中的错误匹配点。所谓极线约束就是采用相邻两帧图像之间的单应性矩阵对图像之间的变换过程进行验证，如果误差小于0.5帧则认为是正确的特征匹配，否则是错误的特征匹配。如图5所示，P点分别与Q1、Q2和Q3匹配，可以看出P与Q2和Q3是错误匹配。对于Q1、Q2和Q3产生的描述子，必然存在一个与P点距离最小的描述子Q1。假设Q1是正确的匹配点，因此，Q1所对应的匹配点一定在极线附近。如图5(b)中的P点为Q1在左侧图像上的正确匹配点，因此，图5(c)中保留了正确的匹配点。
采用极线约束方法，有效的去除错误的特征匹配，从而具有较高的特征的匹配精度，从而使得本发明的方法能够适用于大规模场景的快速高精度的三维重建。
通过本发明的方法，能够快速准确地对图像中的特征进行跟踪，并能实现完整的跟踪过程，从而满足三维重建系统的需求，使得重建出的图像具有较高的质量，减轻了设计人员的工作负担。
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (10)

1.一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，包括以下步骤：
S1：确定待重建的场景，输入所重建的场景的图像序列；
S2：对于输入的场景的图像序列，根据像素点之间的对比关系检测图像的特征点；
S3：对于步骤S2中得到的图像的特征点，在差分高斯空间内，根据中心像素与邻域像素之间的对比关系计算特征描述子；
S4：对步骤S3得到的特征描述子进行聚类，将特征描述子划分为若干个不同的特征集合；
S5：对于步骤S4得到的特征集合，对特征集合中的不同特征描述子进行匹配，获得特征跟踪链；
S6：去除步骤S5得到的特征跟踪链中的错误匹配关系，得到精确的特征跟踪链。
2.根据权利要求1所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S2中检测图像的特征点的具体方法为：根据像素点与邻域空间内像素之间的对比关系，将邻域像素划分为若干类，如果存在连续的若干个邻域像素大于或小于中心像素，则认为中心像素点为图像的特征点，否则为图像的非特征点。
3.根据权利要求1所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S3中，特征描述子为二进制特征描述子。
4.根据权利要求3所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，计算所述特征描述子的方法为：对于输入的图像序列，计算出对应的差分高斯图像，并在差分高斯空间内，为特征描述子元素赋值，如果邻域空间内的像素大于或等于中心像素的值，则对应的特征描述子元素为1，否则为0，当邻域空间的像素处理完毕后，即可计算出二进制特征描述子。
5.根据权利要求1所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S4中采用AP聚类算法将特征描述子划分为若干个不同的特征集合。
6.根据权利要求1～5任一项所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S5中采用并查集方法对特征集合中的不同特征描述子进行匹配。
7.根据权利要求1～5任一项所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，所述步骤S6中根据多视图之间的对极几何原理，采用极线约束方法消除特征跟踪链中的错误匹配点。
8.根据权利要求1或2所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，像素之间的对比关系的计算方法为：
Figure FDA0002356965330000021
记O(x，y)表示候选特征点位置，NO(x，y)表示O(x，y)的邻域，对于输入的图像I，则公式中，CO→N表示O(x，y)与邻域空间内每个像素之间的对比关系，d和
Figure FDA0002356965330000022
分别表示暗化和不暗化；b和
Figure FDA0002356965330000023
表示像素的亮度值为亮化和不亮化；s表示相似性；IO→n表示O(x，y)与n(x，y)之间的差值，n∈NO，C′O→n表示中心像素与领域像素的对比关系，μ表示一个阈值，IO表示中心像素的亮度值，t表示一个阈值。
9.根据权利要求2所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，检测图像的特征点时，将邻域像素划分为5类。
10.根据权利要求4所述的一种面向大规模三维重建的快速鲁棒特征跟踪方法，其特征在于，差分高斯图像的计算方法为：
DOGO(x，y)＝RO(x，y)*(G(x，y，kσ)-G(x，y，σ))
式中，DOGO(x，y)表示差分高斯图像，RO(x，y)特征点的旋转邻域，其中，
Figure FDA0002356965330000024
表示方差为σ的高斯密度函数；k为常量，用于控制差分高斯空间的尺度空间变化。
CN202010012402.9A 2020-01-06 2020-01-06 一种面向大规模三维重建的快速鲁棒特征跟踪方法 Pending CN111209965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010012402.9A CN111209965A (zh) 2020-01-06 2020-01-06 一种面向大规模三维重建的快速鲁棒特征跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010012402.9A CN111209965A (zh) 2020-01-06 2020-01-06 一种面向大规模三维重建的快速鲁棒特征跟踪方法

Publications (1)

Publication Number Publication Date
CN111209965A true CN111209965A (zh) 2020-05-29

Family

ID=70788747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010012402.9A Pending CN111209965A (zh) 2020-01-06 2020-01-06 一种面向大规模三维重建的快速鲁棒特征跟踪方法

Country Status (1)

Country Link
CN (1) CN111209965A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111731960A (zh) * 2020-06-22 2020-10-02 浙江新再灵科技股份有限公司 电梯门开关状态检测方法
CN114972629A (zh) * 2022-04-14 2022-08-30 广州极飞科技股份有限公司 一种特征点匹配方法、装置、设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹明伟: "数据驱动的多视图三维重建" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111731960A (zh) * 2020-06-22 2020-10-02 浙江新再灵科技股份有限公司 电梯门开关状态检测方法
CN111731960B (zh) * 2020-06-22 2022-02-15 浙江新再灵科技股份有限公司 电梯门开关状态检测方法
CN114972629A (zh) * 2022-04-14 2022-08-30 广州极飞科技股份有限公司 一种特征点匹配方法、装置、设备以及存储介质
CN114972629B (zh) * 2022-04-14 2024-10-15 广州极飞科技股份有限公司 一种特征点匹配方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
Liu et al. Sift flow: Dense correspondence across different scenes
Wu et al. Stereo matching with fusing adaptive support weights
Tola et al. Daisy: An efficient dense descriptor applied to wide-baseline stereo
US6975755B1 (en) Image processing method and apparatus
CN110633628B (zh) 基于人工神经网络的rgb图像场景三维模型重建方法
CN109255833A (zh) 基于语义先验和渐进式优化宽基线致密三维场景重建方法
Li et al. Coarse-to-fine PatchMatch for dense correspondence
Bhat et al. Piecewise image registration in the presence of multiple large motions
CN106530407A (zh) 一种用于虚拟现实的三维全景拼接方法、装置和系统
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN111209965A (zh) 一种面向大规模三维重建的快速鲁棒特征跟踪方法
CN113095371A (zh) 一种面向三维重建的特征点匹配方法及系统
Ji et al. Semantic image segmentation with propagating deep aggregation
Lei et al. Boundary flow: A siamese network that predicts boundary motion without training on motion
CN108335327A (zh) 摄像机姿态估计方法和摄像机姿态估计装置
Cao et al. Parallel K nearest neighbor matching for 3D reconstruction
Xu et al. Crosspatch-based rolling label expansion for dense stereo matching
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN106845555A (zh) 基于Bayer格式的图像匹配方法及图像匹配装置
Long et al. Detail preserving residual feature pyramid modules for optical flow
Wang et al. Improving deep stereo network generalization with geometric priors
Barath P-HAF: Homography Estimation using Partial Local Affine Frames.
Wang et al. Rethinking low-level features for interest point detection and description
CN113052311B (zh) 具有跳层结构的特征提取网络及特征和描述子生成的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529