CN111780764A - 一种基于视觉地图的视觉定位方法、装置 - Google Patents
一种基于视觉地图的视觉定位方法、装置 Download PDFInfo
- Publication number
- CN111780764A CN111780764A CN202010620223.3A CN202010620223A CN111780764A CN 111780764 A CN111780764 A CN 111780764A CN 202010620223 A CN202010620223 A CN 202010620223A CN 111780764 A CN111780764 A CN 111780764A
- Authority
- CN
- China
- Prior art keywords
- matching
- frame
- map
- current frame
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本申请公开了一种基于视觉地图的视觉定位方法，该方法包括，采集当前图像，得到当前帧；提取当前帧的特征点，将当前帧的特征点与地图中的地图点进行匹配，得到匹配成功的第一匹配特征点，以地图匹配约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果；其中，地图匹配约束为：与第一匹配特征点匹配的第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差。该方法使得定位结果没有累计误差，从而具有更高的精度。
Description
技术领域
本发明涉及视觉导航领域，特别地，涉及一种基于视觉地图的视觉定位方法。
背景技术
视觉导航是通过摄像装置对周围环境进行图像采集，并基于图像进行计算，完成位置确定和路径识别，通常需要依赖视觉地图来完成，其中，视觉地图可利用图像特征点以及特征点的描述子构建环境地图。以基于地面纹理的地图为例，移动机器人移动经过某纹理点的时候，根据图像配准，解算出当前移动机器人的位姿，即可进行基于地面纹理的定位导航。
现有的基于视觉地图的定位方法，仅仅使用一帧图像的匹配结果进行定位，导致定位精度不足。
发明内容
本发明提供了一种基于视觉地图的视觉定位方法，以提高视觉定位的精度。
本发明提供的一种基于视觉地图的视觉定位方法是这样实现的：
采集当前图像，得到当前帧；
提取当前帧的特征点，
将当前帧的特征点与地图中的地图点进行匹配，得到匹配成功的第一匹配特征点，
基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的地图匹配约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果；
其中，
地图匹配约束为：第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差，或者，当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与该第一匹配特征点匹配的第一匹配地图点在世间坐标系中的空间位置之间的误差。
较佳地，所述基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果，进一步包括，
基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果，
其中，
帧间匹配约束为：当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与当前帧的上一关键帧中与该第一匹配特征点匹配的第二匹配特征点投影至世界坐标系中的空间位置之间的误差，或者，与第二匹配特征点匹配的第二匹配地图点反投影到当前帧的像素位置与该第二匹配地图点反投影到上一关键帧的像素位置之间的误差；
惯性约束为：根据当前里程计数据和上一关键帧的里程计数据所得到的帧间里程计相对位姿与根据当前帧位姿和上一关键帧位姿所得到的帧间相对位姿之间的误差。
较佳地，所述第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差，以如下方式获得：
根据第一匹配地图点的空间位置信息，确定第一匹配特征点的空间位置信息；
根据当前帧中第一匹配特征点的空间位置信息和像素位置信息，获得当前帧位姿；
基于当前帧位姿、以及相机内参，根据第一匹配地图点的空间位置信息，计算第一匹配地图点反投影到当前帧上的像素位置，
计算所述第一匹配地图点反投影到当前帧上的像素位置和当前帧中与该第一地图点匹配的第一匹配特征点的像素位置之间的差值；
所述与第二匹配特征点匹配的第二匹配地图点反投影到当前帧的像素位置与该第二匹配地图点反投影到上一关键帧的像素位置之间的误差，以如下方式获得：
根据第二匹配地图点的空间位置信息，确定第二匹配特征点的空间位置信息；
根据第二匹配特征点的空间位置信息和像素位置信息，获得当前帧位姿以及上一关键帧位姿；
基于当前帧位姿、以及相机内参，根据第二匹配地图点的空间位置信息，计算第二匹配地图点反投影到当前帧上的像素位置，
基于上一关键帧位姿、以及相机内参，根据第二匹配地图点的空间位置信息，计算第二匹配地图点反投影到上一关键帧上的像素位置，
计算所述第二匹配地图点反投影到当前帧上的像素位置与该第二匹配地图点反投影到上一关键帧上的像素位置之间的差值；
所述惯性约束以如下方式获得：
根据当前帧里程计数据和上一关键帧的里程计数据，计算当前帧和上一关键帧的之间的帧间里程计相对位姿，
根据当前帧在相机坐标系下位姿和上一关键帧在相机坐标系下位姿，计算当前帧和上一关键帧之间的帧间相对位姿，
计算里程计相对位姿与帧间相对位姿之间的误差。
所述基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的地图匹配约束，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差的目标函数进行位姿优化。
较佳地，所述基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差的目标函数进行位姿优化，包括，
构建第一目标函数，该函数为：当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，迭代求解使得第一目标函数取得最小值时的当前帧位姿；
该方法进一步包括，
判断当前帧中第一匹配特征点的数量是否小于设定的第一阈值，如果是，则判定当前帧为关键帧，否则，判定为非关键帧，
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
较佳地，所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一为：基于地图匹配约束和帧间匹配约束，
所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和帧间匹配误差的目标函数进行位姿优化。
较佳地，所述基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和帧间匹配误差的目标函数进行位姿优化，包括，
构建第二目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以第二权值加权当前约束帧集合中各帧与其上一关键帧之间所有帧间的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，所累加的第一结果与第二结果之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，
以根据当前帧位姿、第二匹配地图点的空间位置信息、上一关键帧的位姿、相机内参矩阵所得到帧间匹配误差，作为帧间匹配误差初始值，
迭代求解使得第二目标函数取得最小值时当前帧的位姿；
该方法进一步包括，
满足以下条件之一时，判定当前帧为关键帧：
当前帧中第一匹配特征点的数量大小于第一阈值，
当前帧中第二匹配特征点的数量大小于第二阈值；
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的第一帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
较佳地，所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一为：基于地图匹配约束和惯性约束，
所述采集当前图像，得到当前帧进一步包括，采集当前图像以及当前里程计数据；
所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和惯性测量误差的目标函数进行位姿优化。
较佳地，所述基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和惯性测量误差的目标函数进行位姿优化，包括，
构建第四目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以第三权值加权当前约束帧集合中所有帧与其上一关键帧的所有惯性测量误差之和所得到的第三结果，所累加第一结果与第三结果之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，
以根据里程计采集的当前帧与上一关键帧之间相对运动信息、里程计与相机之间外参、上一关键帧在相机坐标系下的位姿，当前帧在相机坐标系下的位姿所求得的惯性测量误差，作为惯性测量误差初始值，
迭代求解使得第四目标函数取得最小值时当前帧的位姿；
该方法进一步包括，
满足以下条件之一时，判定当前帧为关键帧：
第一匹配特征点的数量大小于第一阈值，
根据里程计相对位姿，当前帧与上一关键帧之间的空间距离大于设定的第三阈值；
根据里程计相对位姿，当前帧与上一关键帧之间的空间角度大于设定的第四阈值；
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的第一帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
较佳地，所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一为：基于地图匹配约束、帧间匹配约束和惯性约束，
所述采集当前图像，得到当前帧进一步包括，采集当前图像以及当前里程计数据；
所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差、帧间匹配误差和惯性测量误差的目标函数进行位姿优化。
较佳地，基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差、帧间匹配误差和惯性测量误差为约束的目标函数进行位姿优化，包括，
构建第三目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，和，以第二权值加权当前约束帧集合中各帧与其上一关键帧之间所有帧间的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，以及，以第三权值加权当前约束帧集合中所有帧与其上一关键帧的所有惯性测量误差之和所得到的第三结果，所累加第一结果、第二结果、以及第三结果之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，
以根据当前帧位姿、第二匹配地图点的空间位置信息、上一关键帧的位姿、相机内参矩阵所得到帧间匹配误差，作为帧间匹配误差初始值，
以根据里程计采集的当前帧与上一关键帧之间相对运动信息、里程计与相机之间外参、上一关键帧在相机坐标系下的位姿，当前帧在相机坐标系下的的位姿所求得的惯性测量误差，作为惯性测量误差初始值，
迭代求解使得第三目标函数取得最小值时当前帧的位姿；
该方法进一步包括，
满足以下条件之一时，判定当前帧为关键帧：
第一匹配特征点的数量大小于第一阈值，
第二匹配特征点的数量大小于第二阈值，
根据里程计相对位姿，当前帧与上一关键帧之间的空间距离大于设定的第三阈值；
根据里程计相对位姿，当前帧与上一关键帧之间的空间角度大于设定的第四阈值；
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
较佳地，所述采集当前图像，得到当前帧之后，进一步包括，对当前帧进行如下图像预处理：
根据相机的畸变系数对当前帧进行去畸变处理，得到去畸变图像，
判断去畸变图像中各个像素点的像素值是否大于第一像素阈值，如果是，则将像素值大于第一像素阈值的像素点进行取反操作，然后进行图像滤波，得到背景图像，否则，将去畸变图像进行图像滤波，得到背景图像，
用去畸变图像减去背景图像，得到前景图像，
判断前景图像中的像素值是否分布均匀，如果均匀，则将该前景图像作为图像预处理后的当前帧，否则，对前景图像进行拉伸处理，得到图像预处理后的当前帧；
所述提取当前帧的特征点包括，基于预处理后的当前帧进行特征提取。
较佳地，所述前景图像进行拉伸处理包括，
若前景图像像素值小于等于设定的最小灰度值时，将该前景图像像素值取值为像素取值范围内的最小值；
若前景图像像素值大于最小灰度值、且小于设定的最大灰度值时，按照与像素最大值成一定比例的像素值作为该前景图像像素值；所述比例为前景图像像素值与最小灰度值之差与最大灰度值与最小灰度值之差的比值；
若前景图像像素值大于等于最大灰度值时，将该前景图像像素值取值为像素取值范围内的最大值；
所述基于预处理后的当前帧进行特征提取，包括，
对当前帧进行特征检测，得到特征点，
将当前帧划分成一定数量的网格，
对于任一网格中的特征点，将网格内的特征点按特征点响应值降序排列，保留前Q个特征点，得到筛选后的特征点；其中，Q根据该目标图像帧中特征点的数量和设定的特征点总数上限、以及该网格中的特征点总数确定；
对筛选后的各特征点，分别计算特征描述子。
本发明提供的一种基于视觉地图的视觉定位装置，该装置包括，
采集模块，采集当前图像，得到当前帧；
特征提取模块，提取当前帧的特征点，
第一匹配模块，将当前帧的特征点与地图中的地图点进行匹配，得到匹配成功的第一匹配特征点，
定位模块，基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的地图匹配约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果；
其中，
地图匹配约束为：与第一匹配特征点匹配的第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差；或者，当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与该第一匹配特征点匹配的第一匹配地图点在世间坐标系中的空间位置之间的误差。
本发明还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述基于视觉地图的视觉定位的步骤。
本申请提供的一种基于视觉地图的视觉定位方法，在地图匹配定位的同时，以地图匹配误差为约束，对当前帧位姿进行优化，使得定位结果没有累计误差，从而具有更高的精度；进一步地，通过地图匹配约束与惯性约束和/或帧间匹配约束的融合，可以在匹配有误的条件下得到更为精确的匹配结果，例如，在帧间匹配不上时，可以通过地图匹配进行跟踪，在地图匹配失效时，可以通过帧间匹配进行跟踪；而里程计的惯性约束则可以得到很好的初值并且保证在两种匹配都失效时，仍然可以提供定位结果；在优化过程中，对所有的图像帧进行优化，优化过程中，关键帧和非关键帧进行同样的处理，保证任意时刻输出的定位结果都有很好的精度和鲁棒性，提高了整体的定位效率和定位实时性；对约束帧集合中的关键帧进行优化，极大的提升视觉定位的精度和鲁棒性。
附图说明
图1为本实施例一基于地图匹配约束进行优化的一种视觉定位流程示意图。
图2为本实施例二基于地图匹配约束和帧间匹配约束的视觉定位的一种流程示意图。
图3为本实施例三基于地图匹配约束、帧间匹配约束、以及惯性约束的视觉定位的一种流程示意图。
图4为本实施例四基于地图匹配约束、以及惯性约束的视觉定位的一种流程示意图。
图5a为本申请图像坐标系下当前帧的地图匹配约束、帧间匹配约束的一种示意图。
图5b为世界坐标系下当前帧的地图匹配约束、帧间匹配约束的一种示意图。
图6为本申请定位装置的一种较佳实施例的示意图。
图7为图像预处理模块的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
本申请至少以当前帧中第一匹配特征点的像素位置与地图中该第一匹配特征点匹配的第一匹配地图点反投影到当前帧的像素位置之差所构成地图匹配约束，对当前帧的位姿进行图优化，以提高定位的精度。其中，第一匹配特征点为当前帧中的特征点与地图中地图点匹配成功的特征点。
以下将以基于视觉地图的视觉定位来进行说明，其中，视觉地图为已预先构建好的特征地图，该地图中具有三维或二维空间信息的地图点，即，地图中保存有特征点的世界坐标和描述子信息。
实施例一
在本实施例中，地图为基于采集的地面纹理信息所构建的纹理地图，该地图可以是二维或三维带有特征描述子的点云地图，该纹理地图覆盖范围可以是连续覆盖的，也可以是离散覆盖的。以下以三维点云地图为例。
参见图1所示，图1为本实施例一基于地图匹配约束进行优化的一种视觉定位流程示意图。移动机器人在加载有纹理地图后，执行如下步骤：
步骤101，采集当前图像，得到当前帧；
步骤102，对当前帧进行图像预处理，以使得图像中的纹理显著，包括且不限于，图像去畸变、图像滤波、图像增强等可选的处理。该步骤为基于图像质量的可选步骤。例如，根据当前帧是否去过畸变、纹理是否显著确定是否加入图像预处理。
较佳地，对当前帧进行图像预处理包括如下步骤：
步骤1021，根据相机的畸变系数对当前帧进行去畸变处理，得到去畸变图像I(u，v)，其中，u、v表示像素坐标。
步骤1022，判断去畸变图像中各个像素点的像素值是否大于设定的第一像素阈值，如果是，则将像素值大于第一像素阈值的像素点进行取反操作，然后对进行了取反操作后的去畸变图像进行滤波，否则，直接对去畸变图像I(u，v)，进行图像滤波，得到背景图像Ib(u，v)。
步骤1023，用去畸变图像减去背景图像，得到前景图像If(u，v)，其中，前景图像的数学式表达为：
If(u，v)＝I(u，v)-Ib(u，v)
步骤1024，判断前景图像If(u，v)的像素值是否分布均匀，如果是，则将前景图像作为目标图像，否则，则对前景图像进行拉伸，得到预处理后的当前帧；
其中，对前景图像进行拉伸处理可以为：
当前景图像像素值小于等于最小灰度值时，将该前景图像像素值取值为像素取值范围内的最小值，即像素值为0；
当前景图像像素值大于最小灰度值、且小于最大灰度值时，将增加该前景图像像素值的对比度；较佳地，按照与像素最大值成一定比例的像素值作为该前景图像像素值；较佳地，所述比例为：前景图像像素值与最小灰度值之差与最大灰度值与最小灰度值之差的比值。
当前景图像像素值大于等于最大灰度值时，将该前景图像像素值取值为像素取值范围内的最大值，例如，像素最大值为255。
用数学式表达为：
拉伸后的前景图像If'(u，v)表示为：
其中，Im#n为最小灰度值，Imax为最大灰度值，在上式中，像素取值范围为0～255。
步骤103，提取预处理后的当前帧中的图像特征点，并基于特征点计算描述子，得到当前帧的特征点和描述子。其中，描述子形式与地图中地图点的描述子形式相同。可采用ORB(Oriented FAST and Rotated BRIEF)、尺度不变特征变换(SIFT)、SURF(Speeded UpRobust Features)等特征。例如，地图点的描述子为ORB(Oriented FAST and RotatedBRIEF)特征点，则当前帧的描述子也为ORB特征点。
较佳地，按照与所构建地图的特征点形成方式，提取预处理后的当前帧中的图像特征点。
在本实施例中，采用ORB特征点。
鉴于所采集的地面纹理图像通常尺度稳定，无需多尺度的特征进行构建，以增强特征的尺度不变性，故而可放弃金字塔图像的构建，而基于当前帧图像进行特征提取，以相当于基于源图像进行特征提取，从而减小特征提取需要的计算量，提高计算效率。
鉴于均匀而又显著的特征点能减少相机位姿计算时的定位误差，为了提高定位的性能和效率，可对提取的特征点进行筛选。因此在提取FAST(Features from AcceleratedSegment Test)特征后，可以将当前帧划分为一定数量的网格，每个网格筛选出Q个FAST响应值最高的特征点予以保留。其中，Q根据一帧目标图像中特征点的数量和所设特征点总数上限、以及该网格中的特征点总数确定，不同网格所保留的特征点数可以不同。例如，一帧目标图像中，特征点总数的上限设定为100个，当前目标图像特征点的数量为2000个，则该帧目标图像中每20个特征点选出一个，如果某网格中有20个特征点，则该网格保留的特征点为1，即，Q＝1。用数学式表达为：
其中，符号
表示向下取整。
步骤104，将当前帧的特征点与地图中的地图点进行匹配，如果匹配成功，则判定当前帧的该特征点与地图中的该地图点是匹配的，得到第一匹配特征点，这样，对于第一匹配特征点而言，将与第一匹配特征点匹配的第一匹配地图点的空间位置信息确定为当前帧中的特征点的空间位置信息。
所述匹配可以是这样进行的：对于当前帧的任一特征点，计算当前帧中的特征点与地图中地图点描述子之间的匹配度是否大于设定的匹配阈值，如果是，则判定匹配，否则，判定不匹配；其中，匹配度可以用汉明距离来描述，匹配阈值为汉明距离阈值；
步骤105，根据第一匹配特征点的空间位置信息与像素位置信息，计算当前帧的位姿，
由于移动机器人是在平面中运动，空间位置坐标在同一平面z＝0中，则单应矩阵与空间位置坐标矩阵的乘积对应为像素坐标矩阵，用数学式表达为：
其中单应矩阵的自由度为8，通过4个第一匹配特征点的空间位置和像素位置的对应关系，可以求出单应矩阵中每一个元素的值。对单应矩阵进行奇异值(SVD)分解，可以求得相应的旋转矩阵R和平移向量t，得到当前帧的位姿。
所应理解的是，该步骤不限于采用单应矩阵的方式来求得当前帧位姿，还可以是例如PNP(透视N点定位)等方式。
步骤106，鉴于第一匹配特征点对当前帧的位姿构成了约束，因此，构建第一视觉约束，该约束表示匹配的第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该第一匹配地图点匹配的第一匹配特征点的像素位置之间的误差，表征了当前帧中的特征点与地图中的地图点的匹配约束，在本文中称为地图匹配约束。
故而，对于当前帧i中的任一第一匹配特征点k，其地图匹配约束eik-map为：当前帧i中第一匹配特征点k的像素坐标pik，与，地图中与该第一匹配特征点的第一匹配地图点k反投影到图像上的像素坐标之差，数学式表示可以为：
eik-map＝pik-(K(RiXk+ti))
其中，eik-map为地图匹配约束，pik为当前帧i中第一匹配特征点k的像素坐标，K为相机内参矩阵，Xk为地图中的第一匹配地图点k的三维坐标，Ri、ti为当前帧i的位姿。
步骤107，将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法对构建的以地图匹配误差的目标函数进行位姿优化，得到当前帧的位姿，作为定位结果。
在该步骤中，构建第一目标函数，该函数为：当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和，数学式表示为：
其中，I为当前约束帧集合中帧的总数，K为当前帧内第一匹配特征点的总数，符号‖‖表示范数。
在第一目标函数中，代入根据当前帧i的位姿、地图中第一匹配地图点k的三维坐标、相机内参矩阵K、当前帧i中的第一匹配特征点k的像素坐标所得到的地图匹配约束，作为初始值，迭代求解使得第一目标函数取得最小值时的当前帧位姿，将该位姿作为当前定位结果。
此外，在迭代求解当前帧位姿时，还可以将约束帧中所有各帧的位姿作为待优化的变量来进行优化。
步骤108，优化当前约束帧集合，以作为下一次图优化的约束帧集合。
在该步骤中，根据当前帧的特征点与地图中的地图点所匹配的数量，即，根据第一匹配特征点的数量，判断当前帧是否为关键帧；当第一匹配特征点的数量大于设定的第一阈值时，判定为关键帧，否则判定为非关键帧，
若当前帧不是关键帧，即为非关键帧时，则进行优化后，在约束帧集合中删除该当前帧，从而使得当前帧只用于提供当前定位信息，而不约束下一帧的定位结果；
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除关键帧。
为了减少计算量，约束帧集合中帧数量设定为固定值，例如，5个关键帧，或7个关键帧。
本实施例基于地面纹理图像所提取的特征点与地图进行匹配，减少了累计误差的产生，对采集的所有图像帧进行优化，而不区分关键帧还是非关键帧，保证了任意时刻输出的定位结果都具有较佳的精度和鲁棒性，对约束帧集合及时地进行关键帧增删，提高了整体的定位效率和实时性。
实施例二
在本实施例中，不仅以地图匹配约束进行优化，而且还包括了帧间匹配约束进行优化。参见图2所示，图2为本实施例二基于地图匹配约束和帧间匹配约束的视觉定位的一种流程示意图。移动机器人在加载有纹理地图后，执行如下步骤：
步骤201，采集当前图像，得到当前帧；
步骤202，对当前帧进行图像预处理，以使得图像中的纹理显著，包括且不限于，图像去畸变、图像滤波、图像增强等可选的处理。该步骤为基于图像质量的可选步骤。
该步骤可以与步骤102相同。
步骤203，按照所构建地图的特征点形成方式，提取预处理后的当前帧中的图像特征点，并基于特征点计算描述子，得到当前帧的特征点和描述子。
该步骤可以与步骤103相同。
步骤204，将当前帧中的特征点与地图中的地图点进行匹配，得到第一匹配特征点；基于第一匹配特征点，构建地图匹配约束。
具体步骤与步骤103-106相同。
步骤205，将当前帧中的第一匹配特征点中的特征点与上一关键帧中的特征点进行匹配，如果匹配成功，则得到第二匹配特征点；
所述匹配可以是这样进行的：对于当前帧第一匹配特征点集合中的任一特征点，计算该特征点与上一关键帧中任一特征点描述子之间的匹配度是否大于设定的匹配阈值，如果是，则判定匹配，否则，判定不匹配；其中，匹配度可以用汉明距离来描述，匹配阈值为汉明距离阈值；
步骤206，基于第二匹配特征点的空间位置信息，可计算得到上一关键帧的位姿。具体计算方法与步骤105相同。
说明的是，鉴于在步骤204中已得到当前帧的位姿，故该步骤中可以不再计算当前帧的位姿。
步骤207，鉴于第二匹配特征点形成了对当前帧位姿的第二视觉约束，故而，在本文中称为帧间匹配约束，它表征了与第二匹配特征点匹配的第二匹配地图点反投影到当前帧的像素位置与该第二匹配地图点反投影到上一关键帧的像素位置的误差，用数学式表示为：
eijm-frame＝(K(RiXm+ti))-(K(RjXm+tj))
其中，eijm-frame为第二匹配地图点m在当前帧i和上一关键帧j的反投影误差，Xm为当前帧i和上一关键帧j中的第二匹配特征点所匹配的第二匹配地图点m的三维坐标，Ri、ti为当前帧i的位姿，Rj、tj为上一关键帧j的位姿。
步骤208，将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法以地图匹配约束、和帧间匹配约束，进行位姿优化，得到当前帧的位姿，作为定位结果。
在该步骤中，构建第二目标函数，该函数为：以当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以当前约束帧集合中所有帧与其上一关键帧的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，所累加的第一结果与第二结果之和；数学式表示为：
其中，I为约束帧集合中帧的总数，K为当前帧内第一匹配特征点的总数，j为约束帧集合中各帧的上一关键帧，M为当前帧所反投影的第二匹配地图点总数。
在第二目标函数中，
代入根据当前帧i的位姿、地图中的第一匹配地图点k的三维坐标、相机内参矩阵K、当前帧i中的第一匹配特征点k的像素坐标所得到的地图匹配约束，作为地图匹配约束初始值；
代入根据当前帧i的位姿、地图中第二匹配地图点m的三维坐标、上一关键帧的位姿、相机内参矩阵K所得到帧间匹配约束，作为帧间匹配约束初始值，
迭代求解使得第二目标函数取得最小值时的当前帧位姿，将该位姿作为当前定位结果。
进一步地，还可以赋以地图匹配约束和帧间匹配约束不同的权值，来构建所述第二目标函数，以进一步提高定位的准确性，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以第二权值加权当前约束帧集合中各帧与其上一关键帧之间所有帧间的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，所累加的第一结果与第二结果之和；用数学式表示为：
其中，γ1、γH为权值。
此外，在迭代求解当前帧位姿时，还可以将约束帧中所有各帧的位姿作为待优化的变量来进行优化。
步骤209，优化当前约束帧集合，以作为下一次图优化的约束帧集合。
在该步骤中，根据匹配特征点的数量判断当前帧是否为关键帧，当满足以下条件之一时，判定为关键帧：
第一匹配特征点的数量小于设定的第一阈值，
第二匹配特征点的数量小于设定的第二阈值，
若当前帧不是关键帧，则进行位姿优化后，删除该当前帧，从而使得当前帧只用于提供当前定位信息，而不约束下一帧的定位结果，并删除该当前对应的节点和边信息；
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除最早添加的关键帧，否则，则不删除最早添加的关键帧。
本实施例同时利用地图匹配约束和帧间匹配约束进行优化，提高了定位的精确性；在地图匹配失效时，可以通过帧间匹配进行跟踪，在帧间匹配失效时，可以通过地图匹配进行跟踪，提高了定位的鲁棒性。
实施例三
在本实施例中，不仅以地图匹配约束和帧间匹配约束进行优化，而且还包括了惯性约束进行优化。
参见图3所示，图3为本实施例三基于地图匹配约束、帧间匹配约束、以及惯性约束的视觉定位的一种流程示意图。移动机器人在加载有纹理地图后，执行如下步骤：
步骤301，采集当前图像以及当前里程计数据，得到当前帧以及当前帧里程计数据；
步骤302，根据帧间里程计数据和帧间相对位姿，获取惯性约束；
在该步骤中，根据当前帧里程计数据和上一关键帧的里程计数据，计算当前帧和上一关键帧的之间的里程计相对位姿；根据当前帧在相机坐标系下位姿和上一关键帧在相机坐标系下位姿，计算当前帧和上一关键帧之间的帧间相对位姿，将里程计相对位姿与帧间相对位姿之间的误差，作为惯性约束，其数学式为：
其中，eij-encoder为当前帧i与上一关键帧j之间的惯性约束，
为里程计采集的当前帧i与上一关键帧j之间相对运动信息，
为里程计与相机之间外参，用于将里程计采集到的帧间运动转化至相机坐标系中；Tj-cam为上一关键帧在相机坐标系下的位姿，Ti-cam为当前帧在相机坐标系下的位姿。
步骤303，根据里程计相对位姿，判定当前帧是否为关键帧，并予以记录；
其中，当满足下条件之一时，判定为关键帧：
与上一关键帧之间的空间距离大于设定的第三阈值；
与上一关键帧之间的空间角度大于设定的第四阈值；
步骤304，对当前帧进行图像预处理，该步骤与步骤102或202相同；
步骤305，提取当前帧的图像特征点，得到特征点、以及特征点的描述子，该步骤与步骤103或203相同。
步骤306，将当前帧中的特征点与地图中的地图点进行匹配，得到第一匹配特征点；基于第一匹配特征点，构建地图匹配约束。该步骤与步骤204相同。
步骤307，将当前帧中第一匹配特征点中的特征点与上一关键帧中的特征点进行匹配，得到第二匹配特征点；基于第二匹配特征点，构建帧间匹配约束。该步骤与步骤205～207相同。
步骤308，将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，以地图匹配约束、帧间匹配约束以及惯性测量约束，进行位姿优化，得到当前帧的位姿，作为定位结果。
在该步骤中，构建第三目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，和，以第二权值加权当前约束帧集合中各帧与其上一关键帧之间所有帧间的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，以及，以第三权值加权当前约束帧集合中所有帧与其上一关键帧的所有惯性测量误差之和所得到的第三结果，所累加第一结果、第二结果、以及第三结果之和；数学式表达为：
其中，γ1、γ2、γ3为权值。
在第三目标函数中，
代入根据当前帧i的位姿、地图中的第一匹配地图点k的三维坐标、相机内参矩阵K、当前帧i中的第一匹配特征点k的像素坐标所得到的地图匹配约束，作为地图匹配约束初始值；
代入根据当前帧i的位姿、地图中的第二匹配地图点m、上一关键帧的位姿、相机内参矩阵K所得到帧间匹配约束，作为帧间匹配约束初始值；
代入根据里程计采集的当前帧i与上一关键帧j之间相对运动信息、里程计与相机之间外参、上一关键帧j在相机坐标系下的位姿，当前帧i在相机坐标系下的的位姿所求得的惯性约束，作为惯性约束初始值，
迭代求解使得第三目标函数取得最小值时的位姿，将该位姿作为当前定位结果。
此外，在迭代求解当前帧位姿时，还可以将约束帧中所有各帧的位姿作为待优化的变量来进行优化。
步骤309，若步骤303判定当前帧为非关键帧，则根据匹配特征点的数量判断当前帧是否为关键帧，当满足以下条件之一时，判定为关键帧：
第一匹配特征点的数量小于设定的第一阈值，
第二匹配特征点的数量小于设定的第二阈值，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除最早添加的关键帧，否则，则不删除最早添加的关键帧；
若当前帧不是关键帧，则进行优化后，删除该当前帧。
所应理解的是，步骤303所述根据里程计相对位姿，判定当前帧是否为关键帧，可以与步骤309的关键帧判定合在一起，即，满足以下条件之一时，判定为关键帧：
第一匹配特征点的数量小于设定的第一阈值，
第二匹配特征点的数量小于设定的第二阈值，
根据里程计相对位姿，当前帧与上一关键帧之间的空间距离大于设定的第三阈值；
根据里程计相对位姿，当前帧与上一关键帧之间的空间角度大于设定的第四阈值。
本实施例同时利用地图匹配约束、帧间匹配约束和惯性约束进行优化，其中，地图匹配约束保证了定位结果没有累计误差，惯性约束和帧间匹配约束在匹配有误的条件下得到更为精确的匹配结果，从而提高了定位的精确性；并且，相对于里程计，在地图匹配失效时，可以通过帧间匹配进行跟踪，在帧间匹配失效时，可以通过地图匹配进行跟踪，里程计的惯性约束可以得到较佳的初值并保证两种匹配都失效时仍然可以提供定位结果，从而提高了定位的鲁棒性。
实施例四
在本实施例中，以地图匹配约束和惯性约束进行优化。
参见图4所示，图4为本实施例四基于地图匹配约束、以及惯性约束的视觉定位的一种流程示意图。移动机器人在加载有纹理地图后，执行如下步骤：
步骤401，采集当前图像以及当前里程计数据；
步骤402，对当前帧进行图像预处理，该步骤与步骤102或202相同；
步骤403，提取当前帧的图像特征点，得到特征点、以及特征点的描述子，该步骤与步骤103或203相同。
步骤404，将当前帧中的特征点与地图中的地图点进行匹配，得到第一匹配特征点；基于第一匹配特征点，构建地图匹配约束。该步骤与步骤204相同。
步骤405，根据帧间里程计数据和帧间相对位姿，获取惯性约束；该步骤与步骤302相同；
步骤406，将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，以地图匹配约束和惯性测量约束，进行位姿优化，得到当前帧的位姿，作为定位结果。
在该步骤中，构建第四目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以第三权值加权当前约束帧集合中所有帧与其上一关键帧的所有惯性测量误差之和所得到的第三结果，所累加第一结果与第三结果之和；数学式表达为：
其中，γ1、γ3为权值。
在第四目标函数中，
代入根据当前帧i的位姿、地图中的第一匹配地图点k的三维坐标、相机内参矩阵K、当前帧i中的第一匹配特征点k的像素坐标所得到的地图匹配约束，作为地图匹配约束初始值；
代入根据里程计采集的当前帧i与上一关键帧j之间相对运动信息、里程计与相机之间外参、上一关键帧j在相机坐标系的位姿，当前帧i在相机坐标系的位姿所求得的惯性约束，作为惯性约束初始值，
迭代求解使得第四目标函数取得最小值时的位姿，将该位姿作为当前定位结果。
步骤407，判断当前帧是否为关键帧，当满足如下条件之一时，判定为关键帧：
第一匹配特征点的数量大于设定的第一阈值，
根据里程计相对位姿，当前帧与上一关键帧之间的空间距离大于设定的第三阈值；
根据里程计相对位姿，当前帧与上一关键帧之间的空间角度大于设定的第四阈值；
步骤408，优化当前约束帧集合，以作为下一次图优化的约束帧集合。
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除最早添加的关键帧，否则，则不删除最早添加的关键帧；
若当前帧不是关键帧，则进行优化后，删除该当前帧。
本实施例同时利用地图匹配约束、和惯性约束进行优化，其中，地图匹配约束保证了定位结果没有累计误差，里程计的惯性约束可以得到较佳的初值并保证地图匹配都失效时仍然可以提供定位结果，从而提高了定位的鲁棒性。
参见图5a所示，图5a为本申请实施例在图像坐标系下当前帧的地图匹配约束、帧间匹配约束的一种示意图。其中，第二匹配特征点是第一匹配特征点集合的子集，与第二匹配特征点匹配的第二匹配地图点是与第一匹配特征点匹配的第一匹配地图点集合的子集。第一匹配地图点反投影至当前帧的像素位置与该第一地图点匹配的第一匹配特征点的像素位置之间的误差构成地图匹配约束；第二匹配地图点反投影至当前帧的像素位置与该第二匹配地图点反投影当前帧的上一关键帧的像素位置之间的误差构成帧间匹配约束。
所应理解的是，尽管本申请实施例所述地图匹配约束、帧间匹配约束是在图像坐标系下确定的，地图匹配约束和帧间匹配约束也可以在世界坐标系下确定。
参见图5b所示，图5b为世界坐标系下当前帧的地图匹配约束、帧间匹配约束的一种示意图。其中，当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与该第一匹配特征点匹配的第一匹配地图点在世间坐标系中的空间位置之间的误差构成地图匹配约束；当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与当前帧的上一关键帧中与该第一匹配特征点匹配的第二匹配特征点投影至世界坐标系中的空间位置之间的误差构成帧间匹配约束。所述匹配特征点投影至世界坐标系中的空间位置按照相机模型，根据相机内参、匹配特征点的像素位置、匹配特征点所在的帧的位姿得到。
参见图6所示，图6为本申请定位装置的一种较佳实施例的示意图。该装置包括，
图像采集模块601，采集当前图像，得到当前帧；
惯性传感器数据采集模块602，采集当前帧的里程计数据；
图像预处理模块603，对当前帧进行图像预处理，
特征提取模块604，提取图像预处理后的当前帧的特征点，
第一匹配模块605，将当前帧中的特征点与地图中的地图点进行匹配，得到匹配成功的第一匹配特征点，
地图匹配约束获取模块606，获取与第一匹配特征点匹配的第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差，
第二匹配模块607，将当前帧第一匹配特征点中的特征点与上一关键帧中的特征点进行匹配，得到匹配成功的第二匹配特征点，
帧间匹配约束获取模块608，获取与第二匹配特征点匹配的第二匹配地图点反投影到当前帧的像素位置与该第二匹配地图点反投影到上一关键帧的像素位置之间的误差，
惯性约束获取模块609，根据当前帧里程计数据和上一关键帧的里程计数据所得到的帧间里程计相对位姿与根据当前帧位姿和上一关键帧位姿所得到的帧间相对位姿之间的误差，
定位模块610，至少基于地图匹配约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果；
约束帧集合优化模块611，若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除最早添加的关键帧，否则，则不删除最早添加的关键帧；若当前帧不是关键帧，则进行位姿优化后，删除该当前帧。
所述定位模块还包括，以帧间匹配约束、和/或以惯性测量约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果。
参见图7所示，图7为图像预处理模块的一种示意图。该图像预处理模块包括，
图像去畸变子模块，根据相机的畸变系数对源图像帧进行去畸变处理，得到去畸变图像，
图像滤波子模块，将去畸变图像进行图像滤波，得到背景图像，
图像差分子模块，用去畸变图像减去背景图像，得到前景图像，
图像拉伸子模块，对前景图像进行拉伸处理，得到目标图像帧。
其中，当视觉地图为纹理地图时，图像滤波子模块，图像差分子模块，图像拉伸子模块可用于增强图像纹理。
本申请还提供一种移动机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置执行所述计算机程序，以实现上述基于视觉地图的视觉定位方法的步骤。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述基于视觉地图的视觉定位方法的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (14)
1.一种基于视觉地图的视觉定位方法，其特征在于，该方法包括，
采集当前图像，得到当前帧；
提取当前帧的特征点，
将当前帧的特征点与地图中的地图点进行匹配，得到匹配成功的第一匹配特征点，
基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的地图匹配约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果；
其中，
地图匹配约束为：第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差，或者，当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与该第一匹配特征点匹配的第一匹配地图点在世间坐标系中的空间位置之间的误差。
2.如权利要求1所述的方法，其特征在于，所述基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果，进一步包括，
基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果，
其中，
帧间匹配约束为：当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与当前帧的上一关键帧中与该第一匹配特征点匹配的第二匹配特征点投影至世界坐标系中的空间位置之间的误差，或者，与第二匹配特征点匹配的第二匹配地图点反投影到当前帧的像素位置与该第二匹配地图点反投影到上一关键帧的像素位置之间的误差；
惯性约束为：根据当前里程计数据和上一关键帧的里程计数据所得到的帧间里程计相对位姿与根据当前帧位姿和上一关键帧位姿所得到的帧间相对位姿之间的误差。
3.如权利要求2所述的方法，其特征在于，所述第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差，以如下方式获得：
根据第一匹配地图点的空间位置信息，确定第一匹配特征点的空间位置信息；
根据当前帧中第一匹配特征点的空间位置信息和像素位置信息，获得当前帧位姿；
基于当前帧位姿、以及相机内参，根据第一匹配地图点的空间位置信息，计算第一匹配地图点反投影到当前帧上的像素位置，
计算所述第一匹配地图点反投影到当前帧上的像素位置和当前帧中与该第一地图点匹配的第一匹配特征点的像素位置之间的差值；
所述与第二匹配特征点匹配的第二匹配地图点反投影到当前帧的像素位置与该第二匹配地图点反投影到上一关键帧的像素位置之间的误差，以如下方式获得：
根据第二匹配地图点的空间位置信息，确定第二匹配特征点的空间位置信息；
根据第二匹配特征点的空间位置信息和像素位置信息，获得当前帧位姿以及上一关键帧位姿；
基于当前帧位姿、以及相机内参，根据第二匹配地图点的空间位置信息，计算第二匹配地图点反投影到当前帧上的像素位置，
基于上一关键帧位姿、以及相机内参，根据第二匹配地图点的空间位置信息，计算第二匹配地图点反投影到上一关键帧上的像素位置，
计算所述第二匹配地图点反投影到当前帧上的像素位置与该第二匹配地图点反投影到上一关键帧上的像素位置之间的差值；
所述惯性约束以如下方式获得：
根据当前帧里程计数据和上一关键帧的里程计数据，计算当前帧和上一关键帧的之间的帧间里程计相对位姿，
根据当前帧在相机坐标系下位姿和上一关键帧在相机坐标系下位姿，计算当前帧和上一关键帧之间的帧间相对位姿，
计算里程计相对位姿与帧间相对位姿之间的误差；
所述基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的地图匹配约束，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差的目标函数进行位姿优化。
4.如权利要求3所述的方法，其特征在于，所述基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差的目标函数进行位姿优化，包括，
构建第一目标函数，该函数为：当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，迭代求解使得第一目标函数取得最小值时的当前帧位姿；
该方法进一步包括，
判断当前帧中第一匹配特征点的数量是否小于设定的第一阈值，如果是，则判定当前帧为关键帧，否则，判定为非关键帧，
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
5.如权利要求2所述的方法，其特征在于，所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一为：基于地图匹配约束和帧间匹配约束，
所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和帧间匹配误差的目标函数进行位姿优化。
6.如权利要求5所述的方法，其特征在于，所述基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和帧间匹配误差的目标函数进行位姿优化，包括，
构建第二目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以第二权值加权当前约束帧集合中各帧与其上一关键帧之间所有帧间的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，所累加的第一结果与第二结果之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，
以根据当前帧位姿、第二匹配地图点的空间位置信息、上一关键帧的位姿、相机内参矩阵所得到帧间匹配误差，作为帧间匹配误差初始值，
迭代求解使得第二目标函数取得最小值时当前帧的位姿；
该方法进一步包括，
满足以下条件之一时，判定当前帧为关键帧：
当前帧中第一匹配特征点的数量小于第一阈值，
当前帧中第二匹配特征点的数量小于第二阈值；
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的第一帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
7.如权利要求2所述的方法，其特征在于，所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一为：基于地图匹配约束和惯性约束，
所述采集当前图像，得到当前帧进一步包括，采集当前图像以及当前里程计数据；
所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和惯性测量误差的目标函数进行位姿优化。
8.如权利要求7所述的方法，其特征在于，所述基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差和惯性测量误差的目标函数进行位姿优化，包括，
构建第四目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，以及，以第三权值加权当前约束帧集合中所有帧与其上一关键帧的所有惯性测量误差之和所得到的第三结果，所累加第一结果与第三结果之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，
以根据里程计采集的当前帧与上一关键帧之间相对运动信息、里程计与相机之间外参、上一关键帧在相机坐标系下的位姿，当前帧在相机坐标系下的位姿所求得的惯性测量误差，作为惯性测量误差初始值，
迭代求解使得第四目标函数取得最小值时当前帧的位姿；
该方法进一步包括，
满足以下条件之一时，判定当前帧为关键帧：
第一匹配特征点的数量小于第一阈值，
根据里程计相对位姿，当前帧与上一关键帧之间的空间距离大于设定的第三阈值；
根据里程计相对位姿，当前帧与上一关键帧之间的空间角度大于设定的第四阈值；
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的第一帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
9.如权利要求2所述的方法，其特征在于，所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一为：基于地图匹配约束、帧间匹配约束和惯性约束，
所述采集当前图像，得到当前帧进一步包括，采集当前图像以及当前里程计数据；
所述基于地图匹配约束、以及至少帧间匹配约束、惯性约束之一，对当前帧位姿进行优化，包括，
将当前帧作为用于位姿图优化的参考，增加至用于位姿图优化的约束帧集合中；基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差、帧间匹配误差和惯性测量误差的目标函数进行位姿优化。
10.如权利要求9所述的方法，其特征在于，基于当前约束帧集合，利用最小二乘法，对构建的以地图匹配误差、帧间匹配误差和惯性测量误差为约束的目标函数进行位姿优化，包括，
构建第三目标函数，该函数为：以第一权值加权当前约束帧集合中所有帧的所有第一匹配特征点的地图匹配误差之和所得到的第一结果，和，以第二权值加权当前约束帧集合中各帧与其上一关键帧之间所有帧间的所有第二匹配地图点的帧间匹配误差之和所得到的第二结果，以及，以第三权值加权当前约束帧集合中所有帧与其上一关键帧的所有惯性测量误差之和所得到的第三结果，所累加第一结果、第二结果、以及第三结果之和；
以根据当前帧的位姿、第一匹配地图点的空间位置信息、相机内参、当前帧中的与第一匹配地图点匹配的第一匹配特征点的像素坐标所得到的地图匹配误差，作为地图匹配误差初始值，
以根据当前帧位姿、第二匹配地图点的空间位置信息、上一关键帧的位姿、相机内参矩阵所得到帧间匹配误差，作为帧间匹配误差初始值，
以根据里程计采集的当前帧与上一关键帧之间相对运动信息、里程计与相机之间外参、上一关键帧在相机坐标系下的位姿，当前帧在相机坐标系下的的位姿所求得的惯性测量误差，作为惯性测量误差初始值，
迭代求解使得第三目标函数取得最小值时当前帧的位姿；
该方法进一步包括，
满足以下条件之一时，判定当前帧为关键帧：
第一匹配特征点的数量小于第一阈值，
第二匹配特征点的数量小于第二阈值，
根据里程计相对位姿，当前帧与上一关键帧之间的空间距离大于设定的第三阈值；
根据里程计相对位姿，当前帧与上一关键帧之间的空间角度大于设定的第四阈值；
若当前帧为非关键帧时，则进行优化后，则在约束帧集合中删除该当前帧，
若当前帧为关键帧，则判断当前约束帧集合中帧数量是否达到设定的帧阈值，如果是，则删除约束帧集合中最早添加的关键帧，否则，则不删除约束帧集合中最早添加的关键帧。
11.如权利要求1至10任一所述的方法，其特征在于，所述采集当前图像，得到当前帧之后，进一步包括，对当前帧进行如下图像预处理：
根据相机的畸变系数对当前帧进行去畸变处理，得到去畸变图像，
判断去畸变图像中各个像素点的像素值是否大于第一像素阈值，如果是，则将像素值大于第一像素阈值的像素点进行取反操作，然后进行图像滤波，得到背景图像，否则，将去畸变图像进行图像滤波，得到背景图像，
用去畸变图像减去背景图像，得到前景图像，
判断前景图像中的像素值是否分布均匀，如果均匀，则将该前景图像作为图像预处理后的当前帧，否则，对前景图像进行拉伸处理，得到图像预处理后的当前帧；
所述提取当前帧的特征点包括，基于预处理后的当前帧进行特征提取。
12.如权利要求11所述的方法，其特征在于，所述前景图像进行拉伸处理包括，
若前景图像像素值小于等于设定的最小灰度值时，将该前景图像像素值取值为像素取值范围内的最小值；
若前景图像像素值大于最小灰度值、且小于设定的最大灰度值时，按照与像素最大值成一定比例的像素值作为该前景图像像素值；所述比例为前景图像像素值与最小灰度值之差与最大灰度值与最小灰度值之差的比值；
若前景图像像素值大于等于最大灰度值时，将该前景图像像素值取值为像素取值范围内的最大值；
所述基于预处理后的当前帧进行特征提取，包括，
对当前帧进行特征检测，得到特征点，
将当前帧划分成一定数量的网格，
对于任一网格中的特征点，将网格内的特征点按特征点响应值降序排列，保留前Q个特征点，得到筛选后的特征点；其中，Q根据该目标图像帧中特征点的数量和设定的特征点总数上限、以及该网格中的特征点总数确定；
对筛选后的各特征点，分别计算特征描述子。
13.一种基于视觉地图的视觉定位装置，其特征在于，该装置包括，
采集模块，采集当前图像，得到当前帧；
特征提取模块，提取当前帧的特征点，
第一匹配模块，将当前帧的特征点与地图中的地图点进行匹配，得到匹配成功的第一匹配特征点，
定位模块，基于第一匹配特征点与该第一匹配特征点匹配的第一匹配地图点所构成的地图匹配约束，对当前帧位姿进行优化，得到优化后的位姿，作为定位结果；
其中，
地图匹配约束为：与第一匹配特征点匹配的第一匹配地图点反投影到当前帧上的像素位置与当前帧中与该地图点匹配的第一匹配特征点的像素位置之间的误差；或者，当前帧中的第一匹配特征点投影至世界坐标系中的空间位置与该第一匹配特征点匹配的第一匹配地图点在世间坐标系中的空间位置之间的误差。
14.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一所述基于视觉地图的视觉定位的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620223.3A CN111780764B (zh) | 2020-06-30 | 2020-06-30 | 一种基于视觉地图的视觉定位方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010620223.3A CN111780764B (zh) | 2020-06-30 | 2020-06-30 | 一种基于视觉地图的视觉定位方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111780764A true CN111780764A (zh) | 2020-10-16 |
| CN111780764B CN111780764B (zh) | 2022-09-02 |
Family
ID=72759999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010620223.3A Active CN111780764B (zh) | 2020-06-30 | 2020-06-30 | 一种基于视觉地图的视觉定位方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111780764B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112393723A (zh) * | 2020-11-27 | 2021-02-23 | 北京三快在线科技有限公司 | 一种定位方法、设备、介质及无人设备 |
| CN112419374A (zh) * | 2020-11-11 | 2021-02-26 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
| CN112621753A (zh) * | 2020-12-09 | 2021-04-09 | 浙江大华技术股份有限公司 | 机器人定位方法、电子设备及存储介质 |
| CN112785705A (zh) * | 2021-01-21 | 2021-05-11 | 中国科学技术大学 | 一种位姿获取方法、装置及移动设备 |
| CN112880675A (zh) * | 2021-01-22 | 2021-06-01 | 京东数科海益信息科技有限公司 | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 |
| CN113160270A (zh) * | 2021-02-24 | 2021-07-23 | 广州视源电子科技股份有限公司 | 视觉地图生成方法、装置、终端及存储介质 |
| CN113239072A (zh) * | 2021-04-27 | 2021-08-10 | 华为技术有限公司 | 一种终端设备定位方法及其相关设备 |
| CN113592865A (zh) * | 2021-09-29 | 2021-11-02 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
| CN113674424A (zh) * | 2021-08-31 | 2021-11-19 | 北京三快在线科技有限公司 | 一种电子地图绘制的方法及装置 |
| CN113838129A (zh) * | 2021-08-12 | 2021-12-24 | 高德软件有限公司 | 一种获得位姿信息的方法、装置以及系统 |
| WO2022089548A1 (zh) * | 2020-10-30 | 2022-05-05 | 神顶科技（南京）有限公司 | 服务机器人及其控制方法、移动机器人及其控制方法 |
| CN117036663A (zh) * | 2022-04-18 | 2023-11-10 | 荣耀终端有限公司 | 视觉定位方法、设备和存储介质 |
| WO2024032101A1 (zh) * | 2022-08-08 | 2024-02-15 | 腾讯科技（深圳）有限公司 | 特征地图生成方法、装置、存储介质和计算机设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646391A (zh) * | 2013-09-30 | 2014-03-19 | 浙江大学 | 一种针对动态变化场景的实时摄像机跟踪方法 |
| US20150172626A1 (en) * | 2012-07-30 | 2015-06-18 | Sony Computer Entertainment Europe Limited | Localisation and mapping |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| CN107330373A (zh) * | 2017-06-02 | 2017-11-07 | 重庆大学 | 一种基于视频的违章停车监控系统 |
| US20180188026A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
| CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN108648240A (zh) * | 2018-05-11 | 2018-10-12 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
| CN109059942A (zh) * | 2018-08-22 | 2018-12-21 | 中国矿业大学 | 一种井下高精度导航地图构建系统及构建方法 |
| CN109146972A (zh) * | 2018-08-21 | 2019-01-04 | 南京师范大学镇江创新发展研究院 | 基于快速特征点提取及网格化三角形约束的视觉导航方法 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN110750094A (zh) * | 2018-07-23 | 2020-02-04 | 杭州海康威视数字技术股份有限公司 | 确定可移动设备的位姿变化信息的方法、装置和系统 |
| CN111325842A (zh) * | 2020-03-04 | 2020-06-23 | Oppo广东移动通信有限公司 | 地图构建方法、重定位方法及装置、存储介质和电子设备 |
-
2020
- 2020-06-30 CN CN202010620223.3A patent/CN111780764B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150172626A1 (en) * | 2012-07-30 | 2015-06-18 | Sony Computer Entertainment Europe Limited | Localisation and mapping |
| CN103646391A (zh) * | 2013-09-30 | 2014-03-19 | 浙江大学 | 一种针对动态变化场景的实时摄像机跟踪方法 |
| CN105783913A (zh) * | 2016-03-08 | 2016-07-20 | 中山大学 | 一种融合车载多传感器的slam装置及其控制方法 |
| CN105953796A (zh) * | 2016-05-23 | 2016-09-21 | 北京暴风魔镜科技有限公司 | 智能手机单目和imu融合的稳定运动跟踪方法和装置 |
| US20180188026A1 (en) * | 2016-12-30 | 2018-07-05 | DeepMap Inc. | Visual odometry and pairwise alignment for high definition map creation |
| CN107330373A (zh) * | 2017-06-02 | 2017-11-07 | 重庆大学 | 一种基于视频的违章停车监控系统 |
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| WO2019169540A1 (zh) * | 2018-03-06 | 2019-09-12 | 斯坦德机器人（深圳）有限公司 | 紧耦合视觉slam的方法、终端及计算机可读存储介质 |
| CN108648240A (zh) * | 2018-05-11 | 2018-10-12 | 东南大学 | 基于点云特征地图配准的无重叠视场相机姿态标定方法 |
| CN108303099A (zh) * | 2018-06-14 | 2018-07-20 | 江苏中科院智能科学技术应用研究院 | 基于三维视觉slam的无人机室内自主导航方法 |
| CN110750094A (zh) * | 2018-07-23 | 2020-02-04 | 杭州海康威视数字技术股份有限公司 | 确定可移动设备的位姿变化信息的方法、装置和系统 |
| CN109146972A (zh) * | 2018-08-21 | 2019-01-04 | 南京师范大学镇江创新发展研究院 | 基于快速特征点提取及网格化三角形约束的视觉导航方法 |
| CN109059942A (zh) * | 2018-08-22 | 2018-12-21 | 中国矿业大学 | 一种井下高精度导航地图构建系统及构建方法 |
| CN111325842A (zh) * | 2020-03-04 | 2020-06-23 | Oppo广东移动通信有限公司 | 地图构建方法、重定位方法及装置、存储介质和电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| ELIJAH S. LEE 等: "Feature-based lateral position estimation of surrounding vehicles using stereo vision", 《2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 * |
| 姚二亮 等: "基于Vision-IMU的机器人同时定位与地图创建算法", 《仪器仪表学报》 * |
| 赵银娣 编著: "《遥感数字图像处理教程——IDL编程实现》", 31 December 2015, 测绘出版社 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022089548A1 (zh) * | 2020-10-30 | 2022-05-05 | 神顶科技（南京）有限公司 | 服务机器人及其控制方法、移动机器人及其控制方法 |
| CN112419374A (zh) * | 2020-11-11 | 2021-02-26 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
| CN112419374B (zh) * | 2020-11-11 | 2022-12-27 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
| CN112393723A (zh) * | 2020-11-27 | 2021-02-23 | 北京三快在线科技有限公司 | 一种定位方法、设备、介质及无人设备 |
| CN112393723B (zh) * | 2020-11-27 | 2023-10-24 | 北京三快在线科技有限公司 | 一种定位方法、设备、介质及无人设备 |
| CN112621753A (zh) * | 2020-12-09 | 2021-04-09 | 浙江大华技术股份有限公司 | 机器人定位方法、电子设备及存储介质 |
| CN112785705A (zh) * | 2021-01-21 | 2021-05-11 | 中国科学技术大学 | 一种位姿获取方法、装置及移动设备 |
| CN112785705B (zh) * | 2021-01-21 | 2024-02-09 | 中国科学技术大学 | 一种位姿获取方法、装置及移动设备 |
| CN112880675A (zh) * | 2021-01-22 | 2021-06-01 | 京东数科海益信息科技有限公司 | 用于视觉定位的位姿平滑方法、装置、终端和移动机器人 |
| CN113160270A (zh) * | 2021-02-24 | 2021-07-23 | 广州视源电子科技股份有限公司 | 视觉地图生成方法、装置、终端及存储介质 |
| WO2022228391A1 (zh) * | 2021-04-27 | 2022-11-03 | 华为技术有限公司 | 一种终端设备定位方法及其相关设备 |
| CN113239072A (zh) * | 2021-04-27 | 2021-08-10 | 华为技术有限公司 | 一种终端设备定位方法及其相关设备 |
| CN113838129A (zh) * | 2021-08-12 | 2021-12-24 | 高德软件有限公司 | 一种获得位姿信息的方法、装置以及系统 |
| CN113838129B (zh) * | 2021-08-12 | 2024-03-15 | 高德软件有限公司 | 一种获得位姿信息的方法、装置以及系统 |
| CN113674424A (zh) * | 2021-08-31 | 2021-11-19 | 北京三快在线科技有限公司 | 一种电子地图绘制的方法及装置 |
| CN113674424B (zh) * | 2021-08-31 | 2023-02-03 | 北京三快在线科技有限公司 | 一种电子地图绘制的方法及装置 |
| CN113592865B (zh) * | 2021-09-29 | 2022-01-25 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
| CN113592865A (zh) * | 2021-09-29 | 2021-11-02 | 湖北亿咖通科技有限公司 | 三维地图的质检方法、设备及存储介质 |
| CN117036663A (zh) * | 2022-04-18 | 2023-11-10 | 荣耀终端有限公司 | 视觉定位方法、设备和存储介质 |
| WO2024032101A1 (zh) * | 2022-08-08 | 2024-02-15 | 腾讯科技（深圳）有限公司 | 特征地图生成方法、装置、存储介质和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111780764B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111780764B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| CN111780763B (zh) | 一种基于视觉地图的视觉定位方法、装置 | |
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| CN109815770B (zh) | 二维码检测方法、装置及系统 | |
| US11341738B2 (en) | Using a probabtilistic model for detecting an object in visual data | |
| CN109934115B (zh) | 人脸识别模型的构建方法、人脸识别方法及电子设备 | |
| CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
| CN111750864B (zh) | 一种基于视觉地图的重定位方法和装置 | |
| WO2019196476A1 (zh) | 基于激光传感器生成地图 | |
| CN108229347A (zh) | 用于人识别的拟吉布斯结构采样的深层置换的方法和装置 | |
| CN109063549B (zh) | 基于深度神经网络的高分辨率航拍视频运动目标检测方法 | |
| CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN110007764B (zh) | 一种手势骨架识别方法、装置、系统及存储介质 | |
| CN109961103B (zh) | 特征提取模型的训练方法、图像特征的提取方法及装置 | |
| WO2022247126A1 (zh) | 视觉定位方法、装置、设备、介质及程序 | |
| CN113284237A (zh) | 一种三维重建方法、系统、电子设备及存储介质 | |
| CN111461196A (zh) | 基于结构特征的快速鲁棒图像识别跟踪方法和装置 | |
| CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
| Krueger | Model based object classification and localisation in multiocular images | |
| CN116863085B (zh) | 一种三维重建系统、三维重建方法、电子设备及存储介质 | |
| CN115100535B (zh) | 基于仿射相机模型的卫星遥感图像快速重建方法及装置 | |
| Nobar | Precise Hand Finger Width Estimation via RGB-D Data | |
| CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
| Gawrilowicz | Traceable Surface Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Hikvision Robot Co.,Ltd. Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd. |