CN109614859B - 视觉定位特征提取和匹配方法及装置 - Google Patents
视觉定位特征提取和匹配方法及装置 Download PDFInfo
- Publication number
- CN109614859B CN109614859B CN201811296148.9A CN201811296148A CN109614859B CN 109614859 B CN109614859 B CN 109614859B CN 201811296148 A CN201811296148 A CN 201811296148A CN 109614859 B CN109614859 B CN 109614859B
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- internal
- external image
- external
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000605 extraction Methods 0.000 title claims abstract description 38
- 238000005286 illumination Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 230000007261 regionalization Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001932 seasonal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种视觉定位特征提取和匹配方法及装置，其中，方法包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对外部图像和内部图像提取基于构造虚拟视图的特征；根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据匹配点集合得到最优位姿矩阵。该方法可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种视觉定位特征提取和匹配方法及装置。
背景技术
室外车辆在自然场景的视觉定位中，可以采用车辆内部地图与车辆外部环境匹配定位的方法。但外部环境受季节和光照条件的变化影响较大，如道路两侧树木的枯荣变化，清晨和正午时的光照剧烈变化等，而且这些变化造成的外部环境差异，会影响车辆内部地图与外部环境间的匹配效果，造成视觉定位系统的成功率下降，或者定位误差变大。
相关技术中，通常采用针对场景类型对车辆外部环境提取相应的特征点，如SIFT(Scale-invariant feature transform，旋转不变性特征)，快速旋转特征(ORB)等，特征构成外部场景地图。而后将内部地图与外部地图间进行特征点匹配。然而，由于自然场景中，行道树等构成了车辆行进过程中可以看到的主要视野，其枯荣变化前后差异巨大，基于相关技术中的方法的难以将不同季节的内外部地图进行特征点匹配，而且类似挑战同样发生在光照条件剧烈变化的情况下，亟待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种视觉定位特征提取和匹配方法，该方法可以有效地解决季节和光照对视觉定位系统的影响，简单便捷。
本发明的另一个目的在于提出一种视觉定位特征提取和匹配装置。
为达到上述目的，本发明一方面实施例提出了一种视觉定位特征提取和匹配方法，包括以下步骤：获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；根据所述匹配点集合得到最优位姿矩阵。
本发明实施例的视觉定位特征提取和匹配方法，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。
另外，根据本发明上述实施例的视觉定位特征提取和匹配方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：采集光照和/或季节不同的所述外部图像和所述内部图像；对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。
进一步地，在本发明的一个实施例中，所述通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。
进一步地，在本发明的一个实施例中，所述分别对所述外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。
进一步地，在本发明的一个实施例中，所述根据所述匹配点集合得到最优位姿矩阵，进一步包括：根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。
为达到上述目的，本发明另一方面实施例提出了一种视觉定位特征提取和匹配装置，包括：获取模块，用于获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域；提取模块，用于分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征；匹配模块，用于根据所述外部图像和所述内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合；优化模块，用于根据所述匹配点集合得到最优位姿矩阵。
本发明实施例的视觉定位特征提取和匹配装置，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。
另外，根据本发明上述实施例的视觉定位特征提取和匹配装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：采集模块，用于采集光照和/或季节不同的所述外部图像和所述内部图像；处理模块，用于对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。
进一步地，在本发明的一个实施例中，所述获取模块进一步用于提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取所述兴趣区域。
进一步地，在本发明的一个实施例中，所述提取模块包括：扫描单元，用于均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；检测单元，用于在所有的虚拟视图上检测协变特征及其描述子；投影单元，用于将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。
进一步地，在本发明的一个实施例中，所述优化模块进一步用于根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像相对位置和姿态的最终输出。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的视觉定位特征提取和匹配方法的流程图；
图2为根据本发明一个实施例的视觉定位特征提取和匹配方法的流程图；
图3为根据本发明实施例的视觉定位特征提取和匹配装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的视觉定位特征提取和匹配方法及装置，首先将参照附图描述根据本发明实施例提出的视觉定位特征提取和匹配。
图1是本发明实施例的视觉定位特征提取和匹配方法的流程图。
如图1所示，该觉定位特征提取和匹配方法包括以下步骤：
在步骤S101中，获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域。
其中，在本发明的一个实施例中，还包括：采集光照和/或季节不同的外部图像和内部图像；对外部图像和内部图像进行预处理，并设定算法参数，以提供输入信息。
需要说明的是，如图2所示，在步骤S2之前，本发明实施例还可以包括步骤S1，即图像预处理和参数设定。具体地，输入两张光照或季节差异较大的图像I1和I2，将其图像大小、格式等调整为可用的模式，并设定重要的算法参数，如最小匹配数量，算法迭代次数等。输出为两张图的对应匹配点以及基础矩阵F，本征矩阵E或单应矩阵H，并进一步求出两张图的相对姿态完成定位。这三个矩阵分别适用于不同的场景，如E适用于相机参数已知的情况。H适用于对应匹配点存在于同一个场景平面的情况，从而提供定位以有效的输入信息。
进一步地，在本发明的一个实施例中，通过场景语义分析提取兴趣区域，进一步包括：提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取兴趣区域。
具体地，如图2所示，步骤S2为场景语义分析。具体地，提取图中季节不变的区域，如树干，路灯，建筑，道路等，去除变化的部分，如树叶，草木，周围车辆和行人等。采用深度学习语义分割的方法对二图进行语义分割。提取兴趣区域。原图中非兴趣区域的部分置为空，以降低后续计算量。
本发明实施例可以剔除容易对匹配结果造成错误的图像区域，如树叶等。除了可以提高定位成功率之外，还可以大大降低计算量。这一步将最新的深度学习方法引入传统的视觉几何方法中。
在步骤S102中，分别对外部图像和内部图像提取基于构造虚拟视图的特征。
如图2所示，在本发明的实施例中，步骤S3为基于构造虚拟视图的特征提取，且对于图像I1和I2两张图分别执行。
进一步地，在本发明的一个实施例中，分别对外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。
具体地，本发明实施例的方法包括以下步骤：
步骤S31：均匀扫描一个尺度，俯仰，旋转的参数空间，对于每个参数，生成该视角看原图的虚拟视图。
步骤S32：在所有的虚拟视图上检测协变特征及其描述子。协变特征点用椭圆代表的仿射变换去矫正附近的图像区域，使其对图像之间的几何变换更加鲁棒。描述子采用RootSIFT或者方向RootSift等描述子来实现对该点特征的描述。相比传统的SIFT描述子，RootSIFT已经被证明在图像检索领域中性能更优。
步骤S33：将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。并基于空间和描述子对其做聚类，去重，并将其描述子平均作为其代表。以避免同一个物理点提取多次的情况。这样便得到了同一张图在各个视角中增强协变特征集合。
在本发明的实施例中，本发明实施例可以基于仿射变换原理，通过构造虚拟视图的方法获得增强协变特征点，这一特征点极大地增强了光照变化差异较大的两个图像间得到有效匹配的可能性。
在步骤S103中，根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合。
具体地，如图2所示，步骤4为基于两图区域化的聚类的增强协变特征描述符，实施特征匹配。具体地，首先建立两图特征库的索引树。对于I1中的每个特征，基于I2的索引树在I2中寻找近邻特征和次近邻特征及其距离。如果最近距离与次近距离的比小于一个阈值，则视为匹配成功。得到I1至I2的成功匹配集合。同样方法计算I2到I1的成功匹配集合。二者求交集得到最终匹配点集合，从而获得两幅图像中的有效对应点。
在步骤S104中，根据匹配点集合得到最优位姿矩阵。
进一步地，在本发明的一个实施例中，根据匹配点集合得到最优位姿矩阵，进一步包括：根据匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到外部图像和内部图像相对位置和姿态的最终输出。
可以理解的是，如图2所示，步骤S5为计算位姿矩阵。基于匹配点集合，采用RANSAC鲁棒估计框架估计相应的位姿矩阵F、E、H等。并在此期间剔除错误匹配。完成两图相对位置和姿态的最终输出，从而有效估计两图图像的相对位姿和姿态。
综上所述，如图2所示，本发明实施例通过提取季节和光照不变特征，引导室外车辆进行定位。可以在无人驾驶车辆、安防巡检车辆、室外送餐车辆、厂区间和厂区内的无人AGV等车辆的定位导航中发挥重要作用。在有全球卫星定位系统(GPS)信号条件下，本方法可以作为GPS的有效补充，提高定位的成功率和精度。如在GPS信号被高大建筑物遮挡的条件下。视觉定位系统可以作为备用的定位方式发挥作用。在GPS信号因地面回波等原因造成精度下降时，视觉定位系统可以提高定位精度。此外，视觉定位系统可以在车辆静止的状态下提供预期前进方向，即具有静止定向功能，这是视觉定位系统与GPS等纯定位系统相比具有的绝对优势。可以增强车辆的系统综合能力。总之，在无人驾驶产业蓬勃发展的背景下，研发一种廉价而有效的定位定向方法，具有较大的理论和实际价值。
另外，在本发明的一个实施例，本发明实施例还可以基于图像检索的方式，通过查找与查询图像最相似的库图像的GPS信息，可以部分实现快速定位的能力，但这种方式的定位精度取决于库图像自身所携带的GPS信息的精度，以及库图像的密度，且不能完全克服光照和季节的变化影响。定位精度相对较低，通常用于旅游等对定位精度不高的领域。
根据本发明实施例的视觉定位特征提取和匹配方法，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。
其次参照附图描述根据本发明实施例提出的视觉定位特征提取和匹配装置。
图3是本发明实施例的视觉定位特征提取和匹配装置的结构示意图。
如图3所示，该视觉定位特征提取和匹配装置10包括：获取模块100、提取模块200、匹配模块300和优化模块400。
其中，获取模块100用于获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域。提取模块200用于分别对外部图像和内部图像提取基于构造虚拟视图的特征。匹配模块300用于根据外部图像和内部图像区域化的聚类的增强协变特征描述符进行特征匹配，以得到匹配点集合。优化模块400用于根据匹配点集合得到最优位姿矩阵。本发明实施例的装置10可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：采集模块和处理模块。
其中，采集模块用于采集光照和/或季节不同的外部图像和内部图像。处理模块用于对外部图像和内部图像进行预处理，并设定算法参数，以提供输入信息。
进一步地，在本发明的一个实施例中，获取模块100进一步用于提取图中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对图像进行语义分割，以提取兴趣区域。
进一步地，在本发明的一个实施例中，提取模块200包括：扫描单元、检测单元和投影单元。
其中，扫描单元用于均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图。检测单元用于在所有的虚拟视图上检测协变特征及其描述子。投影单元用于将同一张图对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回原始图中。
进一步地，在本发明的一个实施例中，优化模块400进一步用于根据匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到外部图像和内部图像相对位置和姿态的最终输出。
需要说明的是，前述对视觉定位特征提取和匹配方法实施例的解释说明也适用于该实施例的视觉定位特征提取和匹配装置，此处不再赘述。
根据本发明实施例的视觉定位特征提取和匹配装置，通过提取季节和光照不变特征，引导室外车辆进行定位，从而引导室外车辆进行定位，可以有效地解决季节和光照对视觉定位系统的影响，有效提高特征提取和匹配的准确性和可靠性，提高用户体验。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种视觉定位特征提取和匹配方法，其特征在于，包括以下步骤：
获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域，所述通过场景语义分析提取兴趣区域，进一步包括：提取所述外部图像和内部图像中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对所述外部图像和内部图像进行语义分割，以提取所述兴趣区域；将所述外部图像和内部图像中非兴趣区域的部分置为空，以降低后续计算量；
分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征，所述分别对所述外部图像和内部图像提取基于构造虚拟视图的特征，进一步包括：均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；在所有的虚拟视图上检测协变特征及其描述子；将所述外部图像对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回所述外部图像，将所述内部图像对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回所述内部图像，以得到所述外部图像和内部图像在各个视角中增强协变特征集合；
根据所述外部图像和所述内部图像区域化的聚类的增强协变特征集合进行特征匹配，以得到匹配点集合；以及
根据所述匹配点集合得到最优位姿矩阵。
2.根据权利要求1所述的视觉定位特征提取和匹配方法，其特征在于，还包括：
采集光照和/或季节不同的所述外部图像和所述内部图像；
对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。
3.根据权利要求1所述的视觉定位特征提取和匹配方法，其特征在于，所述根据所述匹配点集合得到最优位姿矩阵，进一步包括：
根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像位姿的最终输出。
4.一种视觉定位特征提取和匹配装置，其特征在于，包括：
获取模块，用于获取车辆的外部图像和内部图像，并通过场景语义分析提取兴趣区域，所述获取模块进一步用于提取所述外部图像和内部图像中季节不变的区域，去除季节变化的区域，其中，采用深度学习语义分割的方法对所述外部图像和内部图像进行语义分割，以提取所述兴趣区域，将所述外部图像和内部图像中非兴趣区域的部分置为空，以降低后续计算量；
提取模块，用于分别对所述外部图像和所述内部图像提取基于构造虚拟视图的特征，所述提取模块包括：扫描单元，用于均匀扫描一个尺度、俯仰、旋转的参数空间，且对于每个参数生成对应视角看原图的虚拟视图；检测单元，用于在所有的虚拟视图上检测协变特征及其描述子；投影单元，用于将所述外部图像对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回所述外部图像，将所述内部图像对应的每个虚拟视图上的特征点结合虚拟图像的位姿重投影回所述内部图像，以得到所述外部图像和内部图像在各个视角中增强协变特征集合；
匹配模块，用于根据所述外部图像和所述内部图像区域化的聚类的增强协变特征集合进行特征匹配，以得到匹配点集合；以及
优化模块，用于根据所述匹配点集合得到最优位姿矩阵。
5.根据权利要求4所述的视觉定位特征提取和匹配装置，其特征在于，还包括：
采集模块，用于采集光照和/或季节不同的所述外部图像和所述内部图像；
处理模块，用于对所述外部图像和所述内部图像进行预处理，并设定算法参数，以提供输入信息。
6.根据权利要求5所述的视觉定位特征提取和匹配装置，其特征在于，所述优化模块进一步用于根据所述匹配点集合并采用RANSAC鲁棒估计框架估计相应的位姿矩阵，并且剔除错误匹配，以得到所述外部图像和所述内部图像位姿的最终输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811296148.9A CN109614859B (zh) | 2018-11-01 | 2018-11-01 | 视觉定位特征提取和匹配方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811296148.9A CN109614859B (zh) | 2018-11-01 | 2018-11-01 | 视觉定位特征提取和匹配方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109614859A CN109614859A (zh) | 2019-04-12 |
| CN109614859B true CN109614859B (zh) | 2021-01-12 |
Family
ID=66002464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811296148.9A Active CN109614859B (zh) | 2018-11-01 | 2018-11-01 | 视觉定位特征提取和匹配方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109614859B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211181B (zh) * | 2019-05-15 | 2021-04-23 | 达闼机器人有限公司 | 视觉定位的方法、装置、存储介质和电子设备 |
| CN118552614A (zh) | 2019-08-09 | 2024-08-27 | 华为技术有限公司 | 视觉定位方法、终端和服务器 |
| CN110542402A (zh) * | 2019-09-09 | 2019-12-06 | 上海中车瑞伯德智能系统股份有限公司 | 复杂结构体的rgb-d视觉定位系统及方法 |
| CN111652934B (zh) * | 2020-05-12 | 2023-04-18 | Oppo广东移动通信有限公司 | 定位方法及地图构建方法、装置、设备、存储介质 |
| CN112729254A (zh) * | 2020-12-23 | 2021-04-30 | 西南交通大学 | 适用于多梯度航带倾斜摄影测量的空中三角测量解算方法 |
| CN113393515B (zh) * | 2021-05-21 | 2023-09-19 | 杭州易现先进科技有限公司 | 一种结合场景标注信息的视觉定位方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8488883B2 (en) * | 2009-12-28 | 2013-07-16 | Picscout (Israel) Ltd. | Robust and efficient image identification |
| CN103530881B (zh) * | 2013-10-16 | 2016-03-09 | 北京理工大学 | 适用于移动终端的户外增强现实无标志点跟踪注册方法 |
| CN104732235B (zh) * | 2015-03-19 | 2017-10-31 | 杭州电子科技大学 | 一种消除夜间道路反光干扰的车辆检测方法 |
| CN105069754B (zh) * | 2015-08-05 | 2018-06-26 | 意科赛特数码科技(江苏)有限公司 | 基于在图像上无标记增强现实的系统和方法 |
-
2018
- 2018-11-01 CN CN201811296148.9A patent/CN109614859B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN109614859A (zh) | 2019-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614859B (zh) | 视觉定位特征提取和匹配方法及装置 | |
| JP7485749B2 (ja) | ビデオベースの位置決め及びマッピングの方法及びシステム | |
| US10521694B2 (en) | 3D building extraction apparatus, method and system | |
| CN105667518B (zh) | 车道检测的方法及装置 | |
| Irschara et al. | From structure-from-motion point clouds to fast location recognition | |
| US8483425B2 (en) | Geospatial information creating system and geospatial information creating method | |
| Hu et al. | A multi-modal system for road detection and segmentation | |
| CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
| Wang et al. | A robust approach for automatic registration of aerial images with untextured aerial lidar data | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| Gao et al. | Ground and aerial meta-data integration for localization and reconstruction: A review | |
| CN106127791A (zh) | 一种航空遥感影像的建筑物轮廓线提取方法 | |
| Lim et al. | Lane detection and Kalman-based linear-parabolic lane tracking | |
| Jiang et al. | Leveraging vocabulary tree for simultaneous match pair selection and guided feature matching of UAV images | |
| Liu et al. | Building extraction from high resolution satellite imagery based on multi-scale image segmentation and model matching | |
| US20220155441A1 (en) | Lidar localization using optical flow | |
| Wu et al. | A stepwise minimum spanning tree matching method for registering vehicle-borne and backpack LiDAR point clouds | |
| Wang et al. | High accuracy and low complexity LiDAR place recognition using unitary invariant frobenius norm | |
| Li et al. | Road-network-based fast geolocalization | |
| CN116778227B (zh) | 基于红外图像与可见光图像的目标检测方法、系统及设备 | |
| Zhu et al. | A minimum cover approach for extracting the road network from airborne LIDAR data | |
| Aggarwal | Machine vision based SelfPosition estimation of mobile robots | |
| KR20210098534A (ko) | 포지셔닝을 위한 환경 모델을 생성하기 위한 방법 및 시스템 | |
| CN107808160B (zh) | 三维建筑物提取方法和装置 | |
| Wu et al. | Visual data driven approach for metric localization in substation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |