CN113643365B - 一种相机位姿估计方法、装置、设备以及可读存储介质 - Google Patents

一种相机位姿估计方法、装置、设备以及可读存储介质 Download PDF

Info

Publication number
CN113643365B
CN113643365B CN202110769366.5A CN202110769366A CN113643365B CN 113643365 B CN113643365 B CN 113643365B CN 202110769366 A CN202110769366 A CN 202110769366A CN 113643365 B CN113643365 B CN 113643365B
Authority
CN
China
Prior art keywords
matching
frame
target
pairs
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110769366.5A
Other languages
English (en)
Other versions
CN113643365A (zh
Inventor
张剑华
马露珍
陈凯祺
孙波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zidong Information Technology Suzhou Co ltd
Original Assignee
Zidong Information Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zidong Information Technology Suzhou Co ltd filed Critical Zidong Information Technology Suzhou Co ltd
Priority to CN202110769366.5A priority Critical patent/CN113643365B/zh
Publication of CN113643365A publication Critical patent/CN113643365A/zh
Application granted granted Critical
Publication of CN113643365B publication Critical patent/CN113643365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种相机位姿估计方法、装置、设备及计算机可读存储介质，包括：每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；选取全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算正确匹配对的单应矩阵；根据单应矩阵计算所有匹配对的对称转移误差；将所有匹配对的对称转移误差与既定误差阈值进行比较，剔除全匹配集中对称转移误差大于既定误差阈值的匹配对，得到正确匹配集；利用正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿。本发明所提供的方法、装置、设备及计算机可读存储介质，可快速提取鲁棒的平面特征，提高了相机位姿估计的精度。

Description

一种相机位姿估计方法、装置、设备以及可读存储介质
技术领域
本发明涉及视觉SLAM技术领域，特别是涉及一种相机位姿估计方法、装置、设备以及计算机可读存储介质。
背景技术
Simultaneous localization and mapping(SLAM)的整个框架是由特征匹配、位姿估计和跟踪建图三部分构成。在SLAM、Structure-from-Motion(SFM)等计算机视觉任务中，特征匹配为SLAM中基础但同样具有重大价值的组成部分，且两帧之间对应性的建立至关重要的，这直接影响位姿估计的精度和跟踪建图部分数据关联是否准确。
基于非平面特征的特征匹配方法是利用环境中的非平面特征，计算出关于非平面点的约束矩阵如本质矩阵、基础矩阵等，从而进行位姿估计。然而，该方法无法很好的处理平面特征匹配，由于大面积平面的情况下，角点并不容易被检测出来，筛选出的点并不鲁棒，导致特征匹配精度大幅下降，从而降低了估计的相机位姿精度。
综上所述可以看出，如何提高相机位姿估计的精度是目前有待解决的问题。
发明内容
本发明的目的是提供一种相机位姿估计方法、装置、设备以及计算机可读存储介质，以解决现有技术中基于非平面特征的相机位姿估计方法，筛选的特征点鲁棒性低导致相机位姿估计精度较低的问题。
为解决上述技术问题，本发明提供一种相机位姿估计方法，包括：每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；选取所述全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算所述正确匹配对的单应矩阵；根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差；将所述全匹配集中所有匹配对的对称转移误差与既定误差阈值进行比较，剔除所述全匹配集中对称转移误差大于所述既定误差阈值的匹配对，得到正确匹配集；利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿。
优选地，所述每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集包括：
利用相机采集待感知环境的连续帧图像，每间隔预设帧数从所述连续帧图像中提取一帧目标图像，并提取每帧目标图像sift特征点；
根据相邻两帧目标图像的sift特征点描述子之间的欧式距离，对所述相邻两帧目标图像的sift特征点进行匹配，得到全匹配集。
优选地，所述利用相机采集待感知环境的连续帧图像，每间隔预设帧数从所述连续帧图像中提取一帧目标图像，并提取每帧目标图像sift特征点包括：
利用OptiTrack相机采集待感知环境的连续帧图像，每间隔10帧从所述连续帧图像中提取一帧目标图像；
构建每帧目标图像的高斯差分金字塔，在所述高斯差分金字塔的每层图像中检测特征点，通过梯度直方图统计法确定各个特征点的方向；
以当前特征点为中心确定采样区，并将所述采样区划分为多个子区域；
将所述采样区的坐标轴旋转至所述当前特征点的方向后，生成各个子区域的梯度直方图；
根据所述各个子区域的梯度直方图，生成所述当前特征点的描述子；
计算所述各个特征点的描述子，得到所述每帧目标图像的sift特征点。
优选地，所述根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差包括：
利用Hconstraint＝d(x，H-1x′)+d(x′，Hx)计算所述全匹配集中所有匹配对的对称转移误差；
其中，Hconstraint为所述全匹配集中当前匹配对(x，x′)的对称转移误差，x为第一帧目标图像特征点的像素系齐次坐标，x′为第二帧目标图像特征点的像素系齐次坐标；
H为所述正确匹配对的单应矩阵，H表示所述第一帧目标图像到所述第二帧目标图像的单应变换，H-1表示所述第二帧目标图像到所述第一帧目标图像的单应变换；
d(x，H-1x′)为所述第一帧目标图像特征点的实际值与变换值之间的欧式距离，d(x′，Hx)为所述第二帧目标图像特征点的实际值与变换值之间的欧式距离。
优选地，所述利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿包括：
将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前预设百分比的匹配对作为目标匹配对；
根据所述目标匹配对求解所述相邻两帧目标图像的最优相对位姿。
优选地，所述将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前预设百分比的匹配对作为目标匹配对包括：
将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前10％的匹配对作为目标匹配对。
优选地，所述根据所述目标匹配对求解所述相邻两帧目标图像的最优相对位姿包括：
利用所述目标匹配对计算所述相邻两帧目标图像的单应矩阵；
根据相机内参，分解所述相邻两帧目标图像的单应矩阵得到四组相对位姿；
分别计算所述四组相对位姿与相机实际移动轨迹的误差，选取误差最小的相对位姿作为所述相邻两帧目标图像的最优相对位姿。
本发明还提供了一种相机位姿估计装置，包括：
特征匹配模块，用于每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；
单应矩阵计算模块，用于选取所述全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算所述正确匹配对的单应矩阵；
误差计算模块，用于根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差；
误匹配筛选模块，用于将所述全匹配集中所有匹配对的对称转移误差与既定误差阈值进行比较，剔除所述全匹配集中对称转移误差大于所述既定误差阈值的匹配对，得到正确匹配集；
位姿估计模块，用于利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿。
本发明还提供了一种相机位姿估计设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种相机位姿估计方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种相机位姿估计方法的步骤。
本发明所提供的相机位姿估计方法，每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集。根据特征点描述子距离从所述全匹配集中筛选正确匹配对，计算所述正确匹配对的单应矩阵，再根据所述单应矩阵对所述全匹配集中所有匹配对的对称转移误差进行计算。将各个匹配对的对应转移误差与既定误差阈值进行比较，以便区分所述全匹配集中的平面匹配点和非匹配点。删除所述全匹配集中的误匹配，即对称转移误差大于既定误差阈值的匹配对，得到正确匹配集。利用所述正确匹配对求解所述相邻两帧目标图像的相对位姿。本发明所提供的方法，利用正确匹配对的单应矩阵表示平面特征点之间的约束，将匹配对之间的对称转移误差作为平面约束的置信度，筛选全匹配集中的内点和外点，以快速提取更鲁棒的平面特征点，提升平面特征的利用率，从而提高了相机位姿估计及后续建图的精度。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的相机位姿估计方法的第一种具体实施例的流程图；
图2为本发明所提供的相机位姿估计方法的第二种具体实施例的流程图；
图3为本发明实施例提供的一种相机位姿估计装置的结构框图。
具体实施方式
本发明的核心是提供一种相机位姿估计方法、装置、设备以及计算机可读存储介质，可快速获取鲁棒性高的平面特征匹配对，进而提高室内外相机定位及后续建图的精度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的相机位姿估计方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；
步骤S102：选取所述全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算所述正确匹配对的单应矩阵；
根据x′i～Hxi，计算所述正确匹配对(xi，x′i)的单应矩阵H，H表示从第一帧目标图像到第二帧目标图像的单应变换。
步骤S103：根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差；
利用Hconstraint＝d(x，H-1x′)+d(x′，Hx)计算所述全匹配集中所有匹配对的对称转移误差；
其中，Hconstraint为所述全匹配集中当前匹配对(x，x′)的对称转移误差，x为第一帧目标图像特征点的像素系齐次坐标，x′为第二帧目标图像特征点的像素系齐次坐标；H-1表示所述第二帧目标图像到所述第一帧目标图像的单应变换；d(x，H-1x′)为所述第一帧目标图像特征点的实际值与变换值之间的欧式距离，d(x′，Hx)为所述第二帧目标图像特征点的实际值与变换值之间的欧式距离。
在本发明实施例中，平面约束包括所述正确匹配对的单应矩阵和所有匹配对的对称转移误差。本实施例采用像素点之间的欧氏距离作为平面约束的置信度，用于筛选匹配对中的内点和外点。
步骤S105：将所述全匹配集中所有匹配对的对称转移误差与既定误差阈值进行比较，剔除所述全匹配集中对称转移误差大于所述既定误差阈值的匹配对，得到正确匹配集；
步骤S106：利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿。
本发明实施例提供了一种单应驱动的分类网络模型(Homography-drivenclassification Network HDCN)，所述HDCN网络模型包括基于平面约束和L2分类损失构建的匹配对分类网络和位姿估计网络。利用预设的数据集训练所述HDCN模型，利用所述匹配对分类网络寻找内点剔除外点，再将所述匹配对分类网络输出的内点输入至位姿估计网络进行相机位姿的估计。
所述HDCN模型的输入为相邻两帧目标图像的匹配对(x，x′)，x为前一帧目标图像的特征点在像素坐标系下的齐次坐标，x′为后续帧目标图像的特征点在像素坐标系下的齐次坐标。
在实际的环境中存在大量的平面特征，如指示牌、房间号、商场logo等，均为具有路标意义的平面特征，对于建图的意义非常重大。本发明所提供的基于平面特征的相机位姿估计方法可以很好的利用环境中的平面信息获取更鲁棒的特征点，从而提高内点率和估计的相机位姿精度。
基于上述实施例，在本实施例中，利用OptiTrack相机采集相邻两帧目标图像后，可分别提取所述相邻两帧目标图像的sift特征点进行特征匹配，并将全匹配集输入至所述HDCN网络中利用由正确匹配对的单应矩阵和匹配对的对称转移误差构成的平面约束筛选所述全匹配集中的平面匹配对，剔除误匹配；再利用位姿估计网络计算所述相邻两帧目标图像的单应矩阵，并结合相机内参，求解所述相邻两帧目标图像的相对位姿。
请参考图2，图2为本发明所提供的相机位姿估计方法的第二种具体实施例的流程图；具体操作步骤如下：
步骤S201：利用相机采集待感知环境的连续帧图像，每间隔预设帧数从所述连续帧图像中提取一帧目标图像，并提取每帧目标图像sift特征点；
OptiTrack相机在拍摄过程中会捕捉到一系列的图像称为连续帧F1∶N＝{F1，F2，…，FN}，本实施例每间隔预设帧数从所述连续帧中提取一帧目标图像，帧间隔可为10、15、20、25、30等。本发明分别采集了帧间隔为10、20、30的数据进行实验，通过计算真实单应矩阵对点变换的准确度，准确度的标准为某点通过真实单应矩阵变换后和对应点的距离在两个像素内则认为准确匹配。根据实验效果，本实施例所提供的方法中，选择了帧间隔为10的目标图像计算正确匹配对之间的单应矩阵。
步骤S202：根据相邻两帧目标图像的sift特征点描述子之间的欧式距离，对所述相邻两帧目标图像的sift特征点进行匹配，得到全匹配集；
提取每帧目标图像的sift特征点时，构建每帧目标图像的高斯差分金字塔，在所述高斯差分金字塔的每层图像中检测特征点，通过梯度直方图统计法确定各个特征点的方向；以当前特征点为中心确定采样区，并将所述采样区划分为多个子区域；将所述采样区的坐标轴旋转至所述当前特征点的方向后，生成各个子区域的梯度直方图；根据所述各个子区域的梯度直方图，生成所述当前特征点的描述子；计算所述各个特征点的描述子，得到所述每帧目标图像的sift特征点。
需要说明的是，在本发明所提供的其他实施例中，还可提取所述相邻两帧目标图像的ORB特征点进行特征匹配。
步骤S203：将所述全匹配集输入至预先完成训练的HDCN模型中，其中，所述HDCN模型包括匹配对分类网络和位姿估计网络；
步骤S204：利用所述匹配对分类网络筛选所述全匹配集中的正确匹配对，并根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差，除所述全匹配集中对称转移误差大于既定误差阈值的匹配对，得到正确匹配集；
步骤S205：将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前预设百分比的匹配对作为目标匹配对；
利用所述匹配对分类网络剔除误匹配，筛选到正确的平面匹配对后，依据训练过程中总结的经验，本实施例中可选取总匹配对的前百分之十作为最终进行位姿估计的点对。
需要说明的是，在本发明所提供的其他实施例中，选取排名前预设百分比的匹配对作为目标匹配对，可根据具体情况进行设置，在此不作限定。
步骤S206：将所述目标匹配对输入至所述位姿估计网络中，利用所述目标匹配对计算所述相邻两帧目标图像的单应矩阵；
根据下式求解所述相邻两帧目标图像的单应矩阵：
xk＝Ayk，k＝1，...，N
H′＝UΛVT，R＝URΛVT，t＝UtΛ
其中，(xk，yk)为用于求解所述相邻两帧目标图像的单应矩阵H′的目标匹配对，xk、yk分别为所述目标匹配对中第一帧目标图像和第二帧目标图像的特征点，k为所述目标匹配对的个数，A为求解所述相邻两帧目标图像的单应矩阵H′的具体表现，至少选择四组匹配对计算H′，(u，v)为所述目标匹配对中特征点对应的像素坐标，为第k＝1，2，3，4组目标匹配对中第一帧目标图像特征点对应的像素坐标，/>为第k组目标匹配对中第二帧目标图像特征点对应的像素坐标；R和t分别为旋转矩阵和平移，Λ为对角矩阵，U、VT、RΛ为正交矩阵，tΛ为平移向量。
步骤S207：根据相机内参，分解所述相邻两帧目标图像的单应矩阵得到四组相对位姿；
步骤S208：分别计算所述四组相对位姿与相机实际移动轨迹的误差，选取误差最小的相对位姿作为所述相邻两帧目标图像的最优相对位姿。
所述匹配对分类网络输出目标匹配对后，将所述目标匹配对输入至所述位姿估计网络中，首先计算得到所述相邻两帧目标图像的单应矩阵，将单应矩阵结合相机内参可以分解出四组解，本发明在训练时的策略为将四组解和真实数据，即相机采集的真实相机移动轨迹，对比计算误差，选择误差最小的那组旋转矩阵R和平移t作为最优相对位姿。而在测试时，可以直接根据先验数据，如相机的位姿，物体始终在相机的前方，因此深度值不为负，则可直接排除四组解中值为负的两组数据，再结合尺度信息选出最优的一组解。
本实施例所提供的方法，使用平面级约束优化特征匹配，并利用优化后的特征匹配对进行相机位姿估计，既可以快速提取鲁棒的特征，又可以针对性的提升平面特征的利用率，从而提高室内外相机定位以及后续建图的精度。
请参考图3，图3为本发明实施例提供的一种相机位姿估计装置的结构框图；具体装置可以包括：
特征匹配模块100，用于每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；
单应矩阵计算模块200，用于选取所述全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算所述正确匹配对的单应矩阵；
误差计算模块300，用于根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差；
误匹配筛选模块400，用于将所述全匹配集中所有匹配对的对称转移误差与既定误差阈值进行比较，剔除所述全匹配集中对称转移误差大于所述既定误差阈值的匹配对，得到正确匹配集；
位姿估计模块500，用于利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿。
本实施例的相机位姿估计装置用于实现前述的相机位姿估计方法，因此相机位姿估计装置中的具体实施方式可见前文中的相机位姿估计方法的实施例部分，例如，特征匹配模块100，单应矩阵计算模块200，误差计算模块300，误匹配筛选模块400，位姿估计模块500，分别用于实现上述相机位姿估计方法中步骤S101，S102，S103，S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种相机位姿估计设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种相机位姿估计方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种相机位姿估计方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的相机位姿估计方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种相机位姿估计方法，其特征在于，包括：
每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；
将所述全匹配集输入至预先完成训练的单应驱动的分类网络模型HDCN，其中，HDCN网络模型包括基于平面约束和L2分类损失构建的匹配对分类网络和位姿估计网络；
利用所述匹配对分类网络筛选所述全匹配集中的正确匹配对，并根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差，剔除所述全匹配集中对称转移误差大于既定误差阈值的匹配对，得到正确匹配集，具体包括：
选取所述全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算所述正确匹配对的单应矩阵；
根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差；
将所述全匹配集中所有匹配对的对称转移误差与既定误差阈值进行比较，剔除所述全匹配集中对称转移误差大于所述既定误差阈值的匹配对，得到正确匹配集；
利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿，具体包括：
将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前预设百分比的匹配对作为目标匹配对；
将所述目标匹配对输入至所述位姿估计网络中，利用所述目标匹配对计算所述相邻两帧目标图像的单应矩阵；
根据相机内参，分解所述相邻两帧目标图像的单应矩阵得到四组相对位姿；
在训练时分别计算所述四组相对位姿与相机实际移动轨迹的误差，选取误差最小的相对位姿作为所述相邻两帧目标图像的最优相对位姿；在测试时，排除四组解中值为负的两组数据，再结合尺度信息选出最优的一组解。
2.如权利要求1所述的相机位姿估计方法，其特征在于，所述每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集包括：
利用相机采集待感知环境的连续帧图像，每间隔预设帧数从所述连续帧图像中提取一帧目标图像，并提取每帧目标图像sift特征点；
根据相邻两帧目标图像的sift特征点描述子之间的欧式距离，对所述相邻两帧目标图像的sift特征点进行匹配，得到全匹配集。
3.如权利要求2所述的相机位姿估计方法，其特征在于，所述利用相机采集待感知环境的连续帧图像，每间隔预设帧数从所述连续帧图像中提取一帧目标图像，并提取每帧目标图像sift特征点包括：
利用OptiTrack相机采集待感知环境的连续帧图像，每间隔10帧从所述连续帧图像中提取一帧目标图像；
构建每帧目标图像的高斯差分金字塔，在所述高斯差分金字塔的每层图像中检测特征点，通过梯度直方图统计法确定各个特征点的方向；
以当前特征点为中心确定采样区，并将所述采样区划分为多个子区域；
将所述采样区的坐标轴旋转至所述当前特征点的方向后，生成各个子区域的梯度直方图；
根据所述各个子区域的梯度直方图，生成所述当前特征点的描述子；
计算所述各个特征点的描述子，得到所述每帧目标图像的sift特征点。
4.如权利要求1所述的相机位姿估计方法，其特征在于，所述根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差包括：
利用Hconstraint＝d(x,H-1x′)+d(x′,Hx)计算所述全匹配集中所有匹配对的对称转移误差；
其中，Hconstraint为所述全匹配集中当前匹配对(x,x′)的对称转移误差，x为第一帧目标图像特征点的像素系齐次坐标，x′为第二帧目标图像特征点的像素系齐次坐标；
H为所述正确匹配对的单应矩阵，H表示所述第一帧目标图像到所述第二帧目标图像的单应变换，H-1表示所述第二帧目标图像到所述第一帧目标图像的单应变换；
d(x,H-1x′)为所述第一帧目标图像特征点的实际值与变换值之间的欧式距离，d(x′,Hx)为所述第二帧目标图像特征点的实际值与变换值之间的欧式距离。
5.如权利要求1所述的相机位姿估计方法，其特征在于，所述将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前预设百分比的匹配对作为目标匹配对包括：
将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前10％的匹配对作为目标匹配对。
6.一种相机位姿估计装置，其特征在于，包括：
特征匹配模块，用于每间隔预设帧数从相机采集的连续帧图像中提取一帧目标图像，将相邻两帧目标图像的特征点进行匹配，得到全匹配集；将所述全匹配集输入至预先完成训练的单应驱动的分类网络模型HDCN，其中，HDCN网络模型包括基于平面约束和L2分类损失构建的匹配对分类网络和位姿估计网络；
利用所述匹配对分类网络筛选所述全匹配集中的正确匹配对，并根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差，剔除所述全匹配集中对称转移误差大于既定误差阈值的匹配对，得到正确匹配集，具体包括：
单应矩阵计算模块，用于选取所述全匹配集中特征点描述子距离最小的匹配对，作为正确匹配对，计算所述正确匹配对的单应矩阵；
误差计算模块，用于根据所述正确匹配对的单应矩阵计算所述全匹配集中所有匹配对的对称转移误差；
误匹配筛选模块，用于将所述全匹配集中所有匹配对的对称转移误差与既定误差阈值进行比较，剔除所述全匹配集中对称转移误差大于所述既定误差阈值的匹配对，得到正确匹配集；
位姿估计模块，用于利用所述正确匹配集中的匹配对求解所述相邻两帧目标图像的最优相对位姿，具体包括：将所述正确匹配集中的匹配对依据对称转移误差从小到大进行排序，选取排名前预设百分比的匹配对作为目标匹配对；将所述目标匹配对输入至所述位姿估计网络中，利用所述目标匹配对计算所述相邻两帧目标图像的单应矩阵；根据相机内参，分解所述相邻两帧目标图像的单应矩阵得到四组相对位姿；在训练时分别计算所述四组相对位姿与相机实际移动轨迹的误差，选取误差最小的相对位姿作为所述相邻两帧目标图像的最优相对位姿；在测试时，排除四组解中值为负的两组数据，再结合尺度信息选出最优的一组解。
7.一种相机位姿估计设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种相机位姿估计方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种相机位姿估计方法的步骤。
CN202110769366.5A 2021-07-07 2021-07-07 一种相机位姿估计方法、装置、设备以及可读存储介质 Active CN113643365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110769366.5A CN113643365B (zh) 2021-07-07 2021-07-07 一种相机位姿估计方法、装置、设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110769366.5A CN113643365B (zh) 2021-07-07 2021-07-07 一种相机位姿估计方法、装置、设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN113643365A CN113643365A (zh) 2021-11-12
CN113643365B true CN113643365B (zh) 2024-03-19

Family

ID=78416740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110769366.5A Active CN113643365B (zh) 2021-07-07 2021-07-07 一种相机位姿估计方法、装置、设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN113643365B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170306B (zh) * 2021-11-17 2022-11-04 埃洛克航空科技（北京）有限公司 图像的姿态估计方法、装置、终端及存储介质
CN116206050A (zh) * 2021-11-30 2023-06-02 中兴通讯股份有限公司 三维重建方法、电子设备和计算机可读存储介质
CN114066987B (zh) * 2022-01-12 2022-04-26 深圳佑驾创新科技有限公司 一种相机位姿估计方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882308A (zh) * 2010-07-02 2010-11-10 上海交通大学 提高图像拼接精度和稳定性的方法
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN107833249A (zh) * 2017-09-29 2018-03-23 南京航空航天大学 一种基于视觉引导的舰载机着陆过程姿态预估方法
CN107845107A (zh) * 2017-11-22 2018-03-27 殷周平 一种图像透视变换的优化方法
CN110000784A (zh) * 2019-04-09 2019-07-12 深圳市远弗科技有限公司 一种机器人回充定位导航方法、系统、设备及存储介质
CN111160298A (zh) * 2019-12-31 2020-05-15 深圳市优必选科技股份有限公司 一种机器人及其位姿估计方法和装置
CN111325792A (zh) * 2020-01-23 2020-06-23 北京字节跳动网络技术有限公司 用于确定相机位姿的方法、装置、设备和介质
CN112258409A (zh) * 2020-10-22 2021-01-22 中国人民武装警察部队工程大学 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237340B2 (en) * 2012-10-10 2016-01-12 Texas Instruments Incorporated Camera pose estimation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882308A (zh) * 2010-07-02 2010-11-10 上海交通大学 提高图像拼接精度和稳定性的方法
CN104463108A (zh) * 2014-11-21 2015-03-25 山东大学 一种单目实时目标识别及位姿测量方法
CN107833249A (zh) * 2017-09-29 2018-03-23 南京航空航天大学 一种基于视觉引导的舰载机着陆过程姿态预估方法
CN107845107A (zh) * 2017-11-22 2018-03-27 殷周平 一种图像透视变换的优化方法
CN110000784A (zh) * 2019-04-09 2019-07-12 深圳市远弗科技有限公司 一种机器人回充定位导航方法、系统、设备及存储介质
CN111160298A (zh) * 2019-12-31 2020-05-15 深圳市优必选科技股份有限公司 一种机器人及其位姿估计方法和装置
CN111325792A (zh) * 2020-01-23 2020-06-23 北京字节跳动网络技术有限公司 用于确定相机位姿的方法、装置、设备和介质
CN112258409A (zh) * 2020-10-22 2021-01-22 中国人民武装警察部队工程大学 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning to Find Good Correspondences;Kwang Moo Yi et al;《arXiv:1711.05971v1》;20171116;第1-13页 *
基于单应矩阵的位姿估计方法及应用;刘玺等;《Proceedings of the 27th Chinese Control Conference》;第410-414页 *

Also Published As

Publication number Publication date
CN113643365A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN113643365B (zh) 一种相机位姿估计方法、装置、设备以及可读存储介质
WO2022002150A1 (zh) 一种视觉点云地图的构建方法、装置
CN110555901B (zh) 动静态场景的定位和建图方法、装置、设备和存储介质
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN106778659B (zh) 一种车牌识别方法及装置
CN111368766A (zh) 一种基于深度学习的牛脸检测与识别方法
CN113658192B (zh) 一种多目标行人的轨迹获取方法、系统、装置及介质
CN103955888A (zh) 一种基于sift的高清视频图像拼接方法及装置
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
CN113850136A (zh) 基于yolov5与BCNN的车辆朝向识别方法及系统
Kim et al. A robust matching network for gradually estimating geometric transformation on remote sensing imagery
CN115457277A (zh) 一种智能化路面病害识别检测方法及系统
Chen et al. Automatic checkerboard detection for robust camera calibration
CN106934395B (zh) 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法
CN113112479A (zh) 基于关键区块提取的渐进式目标检测方法和装置
CN113095316A (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN115035089A (zh) 适用于二维脑图像数据的脑解剖结构定位方法
CN112308061B (zh) 一种车牌字符识别方法及装置
CN112200850A (zh) 一种基于成熟特征点的orb提取方法
Deng et al. A paddy field segmentation method combining attention mechanism and adaptive feature fusion
CN112435277B (zh) 一种监控场景下限定区域内目标跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant