CN116664887A - 定位精度确定方法、装置、电子设备及可读存储介质 - Google Patents
定位精度确定方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116664887A CN116664887A CN202210153235.9A CN202210153235A CN116664887A CN 116664887 A CN116664887 A CN 116664887A CN 202210153235 A CN202210153235 A CN 202210153235A CN 116664887 A CN116664887 A CN 116664887A
- Authority
- CN
- China
- Prior art keywords
- image
- feature points
- map
- image feature
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000009826 distribution Methods 0.000 claims abstract description 62
- 238000000605 extraction Methods 0.000 claims description 10
- 238000005315 distribution function Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229920002430 Fibre-reinforced plastic Polymers 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000011151 fibre-reinforced plastic Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种定位精度确定方法、装置、电子设备及可读存储介质，以提高定位的可靠性。方法包括：对图像帧进行特征提取，得到所述图像帧中的图像特征点；根据图像特征点和预设的特征地图，确定图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
Description
技术领域
本公开涉及定位技术领域，尤其涉及一种定位精度确定方法、装置、电子设备及可读存储介质。
背景技术
相关技术中，机器人可以通过多传感器融合进行实时定位机器人的位置，其中，多传感器包括：二维(2D)相机、三维(3D)相机、惯性测量单元(IMU，Inertial MeasurementUnit)等，多传感器又称为同步定位与建图(SLAM，Simultaneous Localization andMapping)定位系统。在多传感器融合定位方式中，认为距离较远的特征重投影误差权重低，距离近的特征重投影误差权重高，因此，可以根据定位时采用的特征距离的远近来检测定位准确度。
然而，在使用多个视觉特征进行定位时，无法对定位的精准度进行检测，从而导致利用多个视觉特征计算的定位结果不可靠，无法应用到产品(例如，机器人、自动驾驶车辆、无人机等)中。
发明内容
本公开的目的是提供一种定位精度确定方法、装置、电子设备及可读存储介质，以提高定位的可靠性。
根据本公开实施例的第一方面，提供一种定位精度确定方法，包括：
对图像帧进行特征提取，得到所述图像帧中的图像特征点；
根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
可选地，所述根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度，包括：
根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一所述图像特征点在其对应栅格的分布概率；
对多个所述分布概率求平均，得到平均分布概率，并根据所述平均分布概率确定对所述图像帧进行采集的采集装置位置的准确度。
可选地，所述根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一所述图像特征点在其对应栅格的分布概率，包括：
针对每一所述图像特征点，根据所述图像特征点的三维绝对坐标，在NDT地图中确定所述图像特征点对应的栅格，并将所述图像特征点的三维绝对坐标代入所述栅格对应的正态分布函数，得到所述图像特征点在所述栅格的分布概率。
可选地，所述根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，包括：
获取所述图像特征点的深度信息；
根据所述图像特征点的深度信息和预设的特征地图，确定对所述图像帧进行采集的采集装置位置；
根据所述图像特征点的深度信息和所述采集装置位置，确定所述图像特征点的三维绝对坐标。
可选地，所述根据所述图像特征点的深度信息和预设的特征地图，确定对所述图像帧进行采集的采集装置位置，包括：
在所述图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，其中，所述目标图像特征点与所述目标地图特征点一一匹配；
从所述图像特征点的深度信息中确定所述目标图像特征点的深度信息，并根据所述目标图像特征点的深度信息和所述目标地图特征点的三维绝对坐标，确定对所述图像帧进行采集的采集装置位置。
可选地，所述地图特征点和所述图像特征点均具有特征描述子，
所述在所述图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，包括：
针对每一所述图像特征点，若所述地图特征点中存在与所述图像特征点的特征描述子相同的地图特征点，则将所述图像特征点确定为目标图像特征点，以及，将与所述目标图像特征点的特征描述子相同的地图特征点确定为目标地图特征点。
可选地，在所述根据所述目标图像特征点的深度信息和所述目标地图特征点的三维绝对坐标，确定对所述图像帧进行采集的采集装置位置之前，还包括：
在所述目标地图特征点中确定基准地图特征点，并在所述目标图像特征点中将与所述基准地图特征点匹配的目标图像特征点确定为基准图像特征点；
针对除所述基准地图特征点和所述基准图像特征点之外的每一对匹配的目标地图特征点和目标图像特征点，分别确定所述目标地图特征点与所述基准地图特征点的第一相对距离、所述目标图像特征点与所述基准图像特征点的第二相对距离，并确定所述第一相对距离与所述第二相对距离的误差；
确定误差之和小于或等于预设阈值。
可选地，所述根据所述图像特征点的深度信息和所述采集装置位置，确定所述图像特征点的三维绝对坐标，包括：
根据所述图像特征点的深度信息和所述图像特征点的二维图像坐标，确定所述图像特征点的三维图像坐标；
根据所述图像特征点的三维图像坐标和图像像素坐标系到图像物理坐标系的转换公式，得到所述图像特征点相对于所述采集装置的三维相对坐标；
根据所述三维相对坐标和所述采集装置位置确定所述图像特征点的三维绝对坐标。
根据本公开实施例的第二方面，提供一种定位精度确定装置，包括：
提取模块，被配置为对图像帧进行特征提取，得到所述图像帧中的图像特征点；
第一确定模块，被配置为根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
第二确定模块，被配置为根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
可选地，所述第二确定模块包括：
第一确定子模块，被配置为根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一所述图像特征点在其对应栅格的分布概率；
第二确定子模块，被配置为对多个所述分布概率求平均，得到平均分布概率，并根据所述平均分布概率确定对所述图像帧进行采集的采集装置位置的准确度。
可选地，所述第一确定子模块被配置为：针对每一所述图像特征点，根据所述图像特征点的三维绝对坐标，在NDT地图中确定所述图像特征点对应的栅格，并将所述图像特征点的三维绝对坐标代入所述栅格对应的正态分布函数，得到所述图像特征点在所述栅格的分布概率。
可选地，所述第一确定模块包括：
获取子模块，被配置为获取所述图像特征点的深度信息；
第三确定子模块，被配置为根据所述图像特征点的深度信息和预设的特征地图，确定对所述图像帧进行采集的采集装置位置；
第四确定子模块，被配置为根据所述图像特征点的深度信息和所述采集装置位置，确定所述图像特征点的三维绝对坐标。
可选地，第三确定子模块包括：
第五确定子模块，被配置为在所述图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，其中，所述目标图像特征点与所述目标地图特征点一一匹配；
第六确定子模块，被配置为从所述图像特征点的深度信息中确定所述目标图像特征点的深度信息，并根据所述目标图像特征点的深度信息和所述目标地图特征点的三维绝对坐标，确定对所述图像帧进行采集的采集装置位置。
可选地，所述地图特征点和所述图像特征点均具有特征描述子，所述第五确定子模块被配置为：针对每一所述图像特征点，若所述地图特征点中存在与所述图像特征点的特征描述子相同的地图特征点，则将所述图像特征点确定为目标图像特征点，以及，将与所述目标图像特征点的特征描述子相同的地图特征点确定为目标地图特征点。
可选地，所述第三确定子模块还包括：
第七确定子模块，被配置为在所述目标地图特征点中确定基准地图特征点，并在所述目标图像特征点中将与所述基准地图特征点匹配的目标图像特征点确定为基准图像特征点；
第八确定子模块，被配置为针对除所述基准地图特征点和所述基准图像特征点之外的每一对匹配的目标地图特征点和目标图像特征点，分别确定所述目标地图特征点与所述基准地图特征点的第一相对距离、所述目标图像特征点与所述基准图像特征点的第二相对距离，并确定所述第一相对距离与所述第二相对距离的误差；
第九确定子模块，被配置为确定误差之和小于或等于预设阈值。
可选地，所述第四确定子模块包括：
第十确定子模块，被配置为根据所述图像特征点的深度信息和所述图像特征点的二维图像坐标，确定所述图像特征点的三维图像坐标；
第十一确定子模块，被配置为根据所述图像特征点的三维图像坐标和图像像素坐标系到图像物理坐标系的转换公式，得到所述图像特征点相对于所述采集装置的三维相对坐标；
第十二确定子模块，被配置为根据所述三维相对坐标和所述采集装置位置确定所述图像特征点的三维绝对坐标。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对图像帧进行特征提取，得到所述图像帧中的图像特征点；
根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的定位精度确定方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
采用上述技术方案，对图像帧进行特征提取，得到所述图像帧中的图像特征点，并根据图像特征点和预设的特征地图确定图像特征点的三维绝对坐标，并根据图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对图像帧进行采集的采集装置位置的准确度。如此，可以对所确定的采集装置位置的准确度进行确定，提高了定位的可靠性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种定位精度确定方法的流程图。
图2是根据一示例性实施例示出的一种确定对图像帧进行采集的采集装置位置的流程图。
图3是根据一示例性实施例示出的一种确定图像特征点的三维绝对坐标的流程图。
图4是根据一示例性实施例示出的一种根据图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定采集装置位置的准确度的流程图。
图5是根据一示例性实施例示出的一种定位精度确定装置的框图。
图6是根据一示例性实施例示出的一种定位精度确定装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种定位精度确定方法的流程图，如图1所示，该方法可以包括以下步骤。
在步骤S11中，对图像帧进行特征提取，得到图像帧中的图像特征点。
在本公开中，图像帧可以是任意图像采集装置采集的一帧图像。其中，图像采集装置可以为单目相机、多目相机、单色相机、RGB相机中的任一相机。例如，可以通过设置在机器人上的RGB相机获取到图像帧。又例如，还可以通过智能设备自带的相机获取图像帧，等等。本公开对获取图像帧的方式不作具体限定。
在可能的实施方式中，可以通过机器学习的方式提取特征。示例地，可以将获取到的图像帧输入至预先训练好的特征提取模型中，经过特征提取模型对图像帧进行特征降维、文本相似度计算、主成分分析等过程，得到特征提取模型输出的图像特征点。
在步骤S12中，根据图像特征点和预设的特征地图，确定图像特征点的三维绝对坐标。其中，特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的。
示例地，根据图像特征点和预设的特征地图，确定图像特征点的三维绝对坐标的具体实施方式可以为：
(1)获取图像特征点的深度信息。
在本公开中，可以通过RGB相机结合深度相机的方式，确定各图像特征点的深度信息，也可以通过RGB相机中相邻图像帧的投影坐标，确定图像特征点的深度信息，对此本公开不作具体限定。
(2)根据图像特征点的深度信息和预设的特征地图，确定对图像帧进行采集的采集装置位置。
下面对特征地图的构建进行说明。
首先，利用步骤S11中所述的方式分别提取出图像帧中以及该帧图像帧的连续若干帧图像中的图像特征点，该图像特征点包括特征点在图像上的二维坐标(u，v)和特征描述子desp，接着，分别获取到图像帧的图像特征点的深度信息以及连续若干帧图像中的图像特征点的深度信息，即，深度值d，进而得到每一图像帧中的图像特征点的三维图像坐标(u，v，d)。接着，在图像特征点中找出特征描述子相同的特征点，其中，特征描述子相同的特征点即为相匹配的特征点。之后，利用相匹配的特征点在不同帧图像中的三维图像坐标(u，v，d)，计算得到采集每一图像帧时相机的相对位置。然后，针对连续图像中的每一图像帧，根据图像帧中的相匹配的特征点的三维图像坐标(u，v，d)，通过相机内参计算得到相匹配的图像特征点在相机坐标系下的相对坐标(Xc，Yc，Zc)，之后，再乘以采集该图像帧时相机的相对位置，即可得到相匹配的图像特征点的三维绝对坐标(Xw，Yw，Zw)。最后，存储所有相匹配的图像特征点的三维绝对坐标(Xw，Yw，Zw)构成特征地图。
图2是根据一示例性实施例示出的一种确定对图像帧进行采集的采集装置位置的流程图。如图2所示，根据所述图像特征点的深度信息和预设的特征地图，确定对图像帧进行采集的采集装置位置，包括以下步骤。
在步骤S21中，在图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，其中，目标图像特征点与目标地图特征点一一匹配。
在一种可能的实施方式中，可以根据特征点的特征描述子来确定任意两个特征是否匹配。示例地，特征地图中包括的地图特征点以及图像帧中的图像特征点均具有特征描述子，针对每一图像特征点，若地图特征点中存在与该图像特征点的特征描述子相同的地图特征点，则将该图像特征点确定为目标图像特征点，以及，将与该目标图像特征点的特征描述子相同的地图特征点确定为目标地图特征点。如此，即可从图像特征点和预设的特征地图中包括的地图特征点中分别确定出目标图像特征点和目标地图特征点。
在一种实施例中，在确定出目标图像特征点和目标地图特征之后，执行步骤S22。
在另一种实施例中，在确定出目标图像特征点和目标地图特征点之后，进一步确定目标图像特征点的数量，在目标图像特征点的数量大于或等于预设数值的情况下执行步骤S22。值得说明的是，若目标图像特征点的数量大于或等于预设数值，则认为该图像帧与特征地图较为匹配，此时，执行步骤S22所确定出的采集装置位置较为准确。
在又一种实施例中，在确定目标特征点的数量大于或等于预设数值之后，进一步确定目标图像特征点之间的相对距离与目标地图特征点之间的相对距离是否一致，并在一致的情况下再执行步骤S22。
示例地，确定目标图像特征点之间的相对距离与目标地图特征点之间的相对距离是否一致的方式为：
首先，在目标地图特征点中确定基准地图特征点，并在目标图像特征点中将与该基准地图特征点匹配的目标图像特征点确定为基准图像特征点。
示例地，可以将目标地图特征点中的任意一个特征点确定为基准地图特征点，又示例地，也可以将目标地图特征点中坐标位于中间位置的特征点确定为基准地图特征点，等等。本公开对确定基准地图特征点的方式不作具体限定。
接着，针对除基准地图特征点和基准图像特征点之外的每一对匹配的目标地图特征点和目标图像特征点，分别确定目标地图特征点与基准地图特征点的第一相对距离、目标图像特征点与基准图像特征点的第二相对距离，并确定第一相对距离与第二相对距离的误差。
最后，确定误差之和小于或等于预设阈值。
示例地，假设目标地图特征点、目标图像特征点的数量为N(N为大于1的整数)，基准地图特征点的三维绝对坐标为(Xwo，Ywo，Zwo)，第i(其中，i的取值范围为0～N-1)对匹配的目标地图特征点的三维绝对坐标为(Xwi，Ywi，Zwi)，则第i对匹配的目标地图特征点与该基准地图特征点的第一相对距离为针对目标图像特征点，首先，根据图像帧对应的深度信息，分别确定出每一目标图像特征点的三维图像坐标(u，v，d)，接着，利用图像像素坐标系到图像物理坐标系的转换计算得到每一目标图像特征点在相机坐标系下的三维相对坐标。其中，与基准地图特征点匹配的目标图像特征点的三维相对坐标记为(Xco，Yco，Zco)，第i对匹配的目标图像特征点的三维相对坐标为(Xci，Yci，Zci)，则第i对匹配的目标图像特征点与该基准图像特征点的第二相对距离为针对第i对匹配的目标地图特征点和目标图像特征点，第一相对距离与第二相对距离的误差为Δdi＝|d1i-d2i|。如此，可以计算出N-1个误差。若该N-1个误差之和小于或等于预设阈值，则认为该图像帧与特征地图较为匹配。之后，再执行步骤S22。
在步骤S22中，从图像特征点的深度信息中确定目标图像特征点的深度信息，并根据目标图像特征点的深度信息和目标地图特征点的三维绝对坐标，确定对图像帧进行采集的采集装置位置。
值得说明的是，目标图像特征点是从图像特征点中确定的，因此，图像特征点的深度信息中包括目标图像特征点的深度信息，可以从图像特征点的深度信息中确定出目标图像特征点的深度信息。
在一种可能的实施方式中，在确定出目标图像特征点的深度信息之后，可以根据任一目标图像特征点的深度信息和与该任一目标特征点相匹配的目标地图特征点的三维绝对坐标，反推出对图像帧进行采集的采集装置位置。
在另一种可能的实施方式中，在确定出目标图像特征点的深度信息之后，针对每一目标图像特征点，根据该目标图像特征点的深度信息和与该目标特征点相匹配的目标地图特征点的三维绝对坐标，反推出对图像帧进行采集的采集装置位置，如此，即可得到多个对图像帧进行采集的采集装置位置(其中，得到的采集装置位置的数量与目标图像特征点的数量相同)，之后，对多个采集装置位置求取平均值，并将平均值确定为对图像帧进行采集的采集装置位置。
(3)根据图像特征点的深度信息和采集装置位置，确定图像特征点的三维绝对坐标。
图3是根据一示例性实施例示出的一种确定图像特征点的三维绝对坐标的流程图。如图3所示，根据图像特征点的深度信息和采集装置位置，确定图像特征点的三维绝对坐标，包括以下步骤。
在步骤S31中，根据图像特征点的深度信息和图像特征点的二维图像坐标，确定图像特征点的三维图像坐标。
例如，图像特征点的二维图像坐标为(u，v)，图像特征点的深度信息为d，则图像特征点的三维图像坐标记为(u，v，d)。
在步骤S32中，根据图像特征点的三维图像坐标和图像像素坐标系到图像物理坐标系的转换公式，得到图像特征点相对于采集装置的三维相对坐标。
在步骤S33中，根据三维相对坐标和采集装置位置确定图像特征点的三维绝对坐标。
例如，将采集装置位置与三维相对坐标相乘，即可得到图像特征点的三维绝对坐标。
返回图1，在步骤S13中，根据图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对图像帧进行采集的采集装置位置的准确度。
下面对NDT地图的构建进行说明。
首先，可以利用步骤S11中所述的方式分别提取出图像帧中以及该帧图像帧的连续若干帧图像中的图像特征点，该图像特征点包括特征点在图像上的二维坐标(u，v)和特征描述子desp，接着，分别获取到图像帧的图像特征点的深度信息以及连续若干帧图像中的图像特征点的深度信息，即，深度值d，分别得到每一图像帧中的图像特征点的三维图像坐标(u，v，d)。接着，在图像特征点中找出特征描述子相同的特征点，其中，特征描述子相同的特征点即为相匹配的特征点。之后，利用相匹配的特征点在不同帧图像中的三维图像坐标(u，v，d)，计算得到采集每一图像帧时相机的相对位置。针对连续图像帧中的每一图像帧，根据采集该图像帧时的相机的相对位置，和该图像帧上的所有像素点的三维图像坐标(u，v，d)，计算得到像素点的三维绝对坐标，之后，存储所有像素点的三维绝对坐标构成NDT点云地图，最后，以一定尺寸栅格化NDT点云地图，并得到每一栅格中点云的均值和方差，存储每一栅格的均值和方差以得到NDT地图。
在本公开中，栅格对应的正态分布信息可以是正态分布参数，例如均值和方差，也可以直接是正态分布函数。值得说明的是，若栅格对应的正态分布信息为均值和方差，在已知均值和方差时可以得到正态分布函数。
参见图4所示，在该步骤S13中，根据图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定采集装置位置的准确度，包括以下步骤。
在步骤S131中，根据图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一图像特征点在其对应栅格的分布概率；
值得说明的是，上述所确定的图像特征点的三维绝对坐标是相对于特征地图的三维绝对坐标的，由于特征地图与NDT地图匹配，因此，上述所确定的图像特征点的三维绝对坐标也是相对于NDT地图的三维绝对坐标的，进而可以根据图像特征点的三维绝对坐标在NDT地图中确定出图像特征点对应的栅格。
示例地，针对每一图像特征点，根据该图像特征点的三维绝对坐标，在NDT地图中确定该图像特征点对应的栅格。之后，将图像特征点的三维绝对坐标代入栅格对应的正态分布函数，得到图像特征点在该栅格的分布概率。
值得说明的是，对每一图像特征点均能求出一个分布概率，且每一图像特征点的分布概率正比与该图像特征点与NDT点云地图中与该图像特征点对应的栅格中所有特征点平均距离的倒数。
在步骤S132中，对多个分布概率求平均，得到平均分布概率，并根据平均分布概率确定采集装置位置的准确度。
在本公开中，图像特征点与NDT点云地图中与该图像特征点对应的栅格中所有特征点的距离越小，表征所确定的采集装置位置越准确，即，分布概率或平均分布概率越大，所确定的采集装置位置越准确。
在可能的实施例中，可以预先确定平均分布概率与采集装置位置准确度之前的对应关系，例如，平均分布概率0～1分别对应采集装置位置准确度0～100％，即，平均分布概率为0对应采集装置位置准确度为0，平均分布概率为0.1对应采集装置位置准确度为10％，平均分布概率为1对应采集装置位置准确度为100％。这样，在确定出平均分布概率之后，根据预设的对应关系，即可确定出采集装置位置的准确度。
采用上述技术方案，在确定出对图像帧进行采集的采集装置位置之后，进一步根据图像特征点的深度信息和采集装置位置确定图像特征点的三维绝对坐标，并根据图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定采集装置位置的准确度。如此，在确定出采集装置位置之后，还可以进一步对所确定的采集装置位置的准确度进行确定，提高了定位的可靠性。
基于相同的发明构思，本公开还提供一种定位精度确定装置，该装置可以以软件、硬件或者两者相结合的方式实现定位方法的全部或部分步骤。
图5是根据一示例性实施例示出的一种定位精度确定装置的框图。参照图5，该定位精度确定装置500包括提取模块501、第一确定模块502和第二确定模块503。
提取模块501，被配置为对图像帧进行特征提取，得到所述图像帧中的图像特征点；
第一确定模块502，被配置为根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
第二确定模块503，被配置为根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的所述采集装置位置的准确度。
可选地，所述第二确定模块503可以包括：
第一确定子模块，被配置为根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一所述图像特征点在其对应栅格的分布概率；
第二确定子模块，被配置为对多个所述分布概率求平均，得到平均分布概率，并根据所述平均分布概率确定对所述图像帧进行采集的采集装置位置的准确度。
可选地，所述第一确定子模块被配置为：针对每一所述图像特征点，根据所述图像特征点的三维绝对坐标，在NDT地图中确定所述图像特征点对应的栅格，并将所述图像特征点的三维绝对坐标代入所述栅格对应的正态分布函数，得到所述图像特征点在所述栅格的分布概率。
可选地，所述第一确定模块502可以包括：
获取子模块，被配置为获取所述图像特征点的深度信息；
第三确定子模块，被配置为根据所述图像特征点的深度信息和预设的特征地图，确定对所述图像帧进行采集的采集装置位置；
第四确定子模块，被配置为根据所述图像特征点的深度信息和所述采集装置位置，确定所述图像特征点的三维绝对坐标。
可选地，第三确定子模块包括：
第五确定子模块，被配置为在所述图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，其中，所述目标图像特征点与所述目标地图特征点一一匹配；
第六确定子模块，被配置为从所述图像特征点的深度信息中确定所述目标图像特征点的深度信息，并根据所述目标图像特征点的深度信息和所述目标地图特征点的三维绝对坐标，确定对所述图像帧进行采集的采集装置位置
可选地，所述地图特征点和所述图像特征点均具有特征描述子，所述第五确定子模块被配置为：针对每一所述图像特征点，若所述地图特征点中存在与所述图像特征点的特征描述子相同的地图特征点，则将所述图像特征点确定为目标图像特征点，以及，将与所述目标图像特征点的特征描述子相同的地图特征点确定为目标地图特征点。
可选地，所述第三确定子模块还可以包括：
第七确定子模块，被配置为在所述目标地图特征点中确定基准地图特征点，并在所述目标图像特征点中将与所述基准地图特征点匹配的目标图像特征点确定为基准图像特征点；
第八确定子模块，被配置为针对除所述基准地图特征点和所述基准图像特征点之外的每一对匹配的目标地图特征点和目标图像特征点，分别确定所述目标地图特征点与所述基准地图特征点的第一相对距离、所述目标图像特征点与所述基准图像特征点的第二相对距离，并确定所述第一相对距离与所述第二相对距离的误差；
第九确定子模块，被配置为确定误差之和小于或等于预设阈值。
可选地，所述第四确定子模块可以包括：
第十确定子模块，被配置为根据所述图像特征点的深度信息和所述图像特征点的二维图像坐标，确定所述图像特征点的三维图像坐标；
第十一确定子模块，被配置为根据所述图像特征点的三维图像坐标和图像像素坐标系到图像物理坐标系的转换公式，得到所述图像特征点相对于所述采集装置的三维相对坐标；
第十二确定子模块，被配置为根据所述三维相对坐标和所述采集装置位置确定所述图像特征点的三维绝对坐标。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的定位精度确定方法的步骤。
图6是根据一示例性实施例示出的一种定位精度确定装置的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成定位精度确定方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行定位精度确定方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成定位精度确定方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的定位精度确定方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种定位精度确定方法，其特征在于，包括：
对图像帧进行特征提取，得到所述图像帧中的图像特征点；
根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度，包括：
根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一所述图像特征点在其对应栅格的分布概率；
对多个所述分布概率求平均，得到平均分布概率，并根据所述平均分布概率确定对所述图像帧进行采集的采集装置位置的准确度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定每一所述图像特征点在其对应栅格的分布概率，包括：
针对每一所述图像特征点，根据所述图像特征点的三维绝对坐标，在NDT地图中确定所述图像特征点对应的栅格，并将所述图像特征点的三维绝对坐标代入所述栅格对应的正态分布函数，得到所述图像特征点在所述栅格的分布概率。
4.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，包括：
获取所述图像特征点的深度信息；
根据所述图像特征点的深度信息和预设的特征地图，确定对所述图像帧进行采集的采集装置位置；
根据所述图像特征点的深度信息和所述采集装置位置，确定所述图像特征点的三维绝对坐标。
5.根据权利要求4所述的方法，其特征在于，所述根据所述图像特征点的深度信息和预设的特征地图，确定对所述图像帧进行采集的采集装置位置，包括：
在所述图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，其中，所述目标图像特征点与所述目标地图特征点一一匹配；
从所述图像特征点的深度信息中确定所述目标图像特征点的深度信息，并根据所述目标图像特征点的深度信息和所述目标地图特征点的三维绝对坐标，确定对所述图像帧进行采集的采集装置位置。
6.根据权利要求5所述的方法，其特征在于，所述地图特征点和所述图像特征点均具有特征描述子，
所述在所述图像特征点和预设的特征地图中包括的地图特征点中，分别确定目标图像特征点和目标地图特征点，包括：
针对每一所述图像特征点，若所述地图特征点中存在与所述图像特征点的特征描述子相同的地图特征点，则将所述图像特征点确定为目标图像特征点，以及，将与所述目标图像特征点的特征描述子相同的地图特征点确定为目标地图特征点。
7.根据权利要求5或6所述的方法，其特征在于，在所述根据所述目标图像特征点的深度信息和所述目标地图特征点的三维绝对坐标，确定对所述图像帧进行采集的采集装置位置之前，还包括：
在所述目标地图特征点中确定基准地图特征点，并在所述目标图像特征点中将与所述基准地图特征点匹配的目标图像特征点确定为基准图像特征点；
针对除所述基准地图特征点和所述基准图像特征点之外的每一对匹配的目标地图特征点和目标图像特征点，分别确定所述目标地图特征点与所述基准地图特征点的第一相对距离、所述目标图像特征点与所述基准图像特征点的第二相对距离，并确定所述第一相对距离与所述第二相对距离的误差；
确定误差之和小于或等于预设阈值。
8.根据权利要求4-6中任一项所述的方法，其特征在于，所述根据所述图像特征点的深度信息和所述采集装置位置，确定所述图像特征点的三维绝对坐标，包括：
根据所述图像特征点的深度信息和所述图像特征点的二维图像坐标，确定所述图像特征点的三维图像坐标；
根据所述图像特征点的三维图像坐标和图像像素坐标系到图像物理坐标系的转换公式，得到所述图像特征点相对于所述采集装置的三维相对坐标；
根据所述三维相对坐标和所述采集装置位置确定所述图像特征点的三维绝对坐标。
9.一种定位精度确定装置，其特征在于，包括：
提取模块，被配置为对图像帧进行特征提取，得到所述图像帧中的图像特征点；
第一确定模块，被配置为根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
第二确定模块，被配置为根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
对图像帧进行特征提取，得到所述图像帧中的图像特征点；
根据所述图像特征点和预设的特征地图，确定所述图像特征点的三维绝对坐标，其中，所述特征地图是基于所述图像帧以及所述图像帧的相邻图像帧构建的；
根据所述图像特征点的三维绝对坐标和NDT地图中各栅格对应的正态分布信息，确定对所述图像帧进行采集的采集装置位置的准确度。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210153235.9A CN116664887A (zh) | 2022-02-18 | 2022-02-18 | 定位精度确定方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210153235.9A CN116664887A (zh) | 2022-02-18 | 2022-02-18 | 定位精度确定方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664887A true CN116664887A (zh) | 2023-08-29 |
Family
ID=87719415
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210153235.9A Pending CN116664887A (zh) | 2022-02-18 | 2022-02-18 | 定位精度确定方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664887A (zh) |
-
2022
- 2022-02-18 CN CN202210153235.9A patent/CN116664887A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111983635B (zh) | 位姿确定方法及装置、电子设备和存储介质 | |
| CN110674719B (zh) | 目标对象匹配方法及装置、电子设备和存储介质 | |
| CN111105454B (zh) | 一种获取定位信息的方法、装置及介质 | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| US11288531B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| CN113205549B (zh) | 深度估计方法及装置、电子设备和存储介质 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| US20220084249A1 (en) | Method for information processing, electronic equipment, and storage medium | |
| CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| CN112945207B (zh) | 目标定位方法及装置、电子设备和存储介质 | |
| CN111523485A (zh) | 位姿识别方法及装置、电子设备和存储介质 | |
| KR102367648B1 (ko) | 전 방향 시차 영상 합성 방법, 장치 및 저장 매체 | |
| CN111860373B (zh) | 目标检测方法及装置、电子设备和存储介质 | |
| CN112541971A (zh) | 点云地图构建方法及装置、电子设备和存储介质 | |
| CN114581525A (zh) | 姿态确定方法及装置、电子设备和存储介质 | |
| CN113345000A (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| CN113344999A (zh) | 深度检测方法及装置、电子设备和存储介质 | |
| CN112767541A (zh) | 三维重建方法及装置、电子设备和存储介质 | |
| CN114550086A (zh) | 一种人群定位方法及装置、电子设备和存储介质 | |
| CN114519794A (zh) | 特征点匹配方法及装置、电子设备和存储介质 | |
| CN116664887A (zh) | 定位精度确定方法、装置、电子设备及可读存储介质 | |
| CN113065392A (zh) | 一种机器人的跟踪方法和装置 | |
| CN113724300A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN113643356B (zh) | 相机位姿确定、虚拟物体显示方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |