CN117197245A - 一种位姿修复方法及装置 - Google Patents

一种位姿修复方法及装置 Download PDF

Info

Publication number
CN117197245A
CN117197245A CN202311257059.4A CN202311257059A CN117197245A CN 117197245 A CN117197245 A CN 117197245A CN 202311257059 A CN202311257059 A CN 202311257059A CN 117197245 A CN117197245 A CN 117197245A
Authority
CN
China
Prior art keywords
image
target
calibration
feature point
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311257059.4A
Other languages
English (en)
Inventor
邓志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ezviz Software Co Ltd
Original Assignee
Hangzhou Ezviz Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ezviz Software Co Ltd filed Critical Hangzhou Ezviz Software Co Ltd
Priority to CN202311257059.4A priority Critical patent/CN117197245A/zh
Publication of CN117197245A publication Critical patent/CN117197245A/zh
Pending legal-status Critical Current

Links

Abstract

本申请实施例提供了一种位姿修复方法及装置，涉及视觉定位技术领域，包括：获取电子设备中的相机采集的目标场景的目标图像和传感器采集的目标深度数据；基于目标图像和目标图像的前一帧图像，确定电子设备的初始位姿和目标场景中相机视野范围内的第二特征点的初始位姿。基于第一特征点在目标图像中所占的图像区域，从目标图像中提取包含第三特征点的参考图像；基于参考图像中的第三特征点的目标深度数据和第三特征点的初始位姿，计算目标图像的尺度修复参数；按照尺度修复参数对电子设备的初始位姿和第二特征点的初始位姿进行修复，得到电子设备的目标位姿和第二特征点的目标位姿，提高确定的目标位姿的准确性。

Description

一种位姿修复方法及装置
技术领域
本申请涉及视觉定位技术领域，特别是涉及一种位姿修复方法及装置。
背景技术
SLAM(Simultaneous Localization And Mapping，同步定位和绘图)技术是指移动机器人在未知的场景中进行移动的过程中，通过移动机器人上安装的传感器采集场景的数据，并基于采集到的数据确定移动机器人自身的位姿和场景中各特征点的位姿，并按照场景中各特征点的位姿绘制该场景的地图。SLAM技术广泛的应用于各个技术领域，能够实现机器人的自主定位和导航。
然而，由于环境因素等影响，确定出的移动机器人的位姿和场景中各特征点的位姿的准确性较低。
发明内容
本申请实施例的目的在于提供一种位姿修复方法及装置，以提高确定出的电子设备的目标位姿和目标场景中的特征点的目标位姿的准确性。具体技术方案如下：
第一方面，为了达到上述目的，本申请实施例提供了一种位姿修复方法，所述方法应用于电子设备，所述电子设备包括相机和传感器，所述方法包括：
获取当前所述相机采集的目标场景的目标图像，以及当前所述传感器采集的所述目标场景的目标深度数据；其中，所述传感器位于所述相机的视野范围内；所述目标深度数据包括所述目标场景中所述传感器采集范围内的第一特征点与所述电子设备之间的距离；
基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿；其中，所述电子设备的初始位姿为所述电子设备在世界坐标系中的三维坐标；所述第二特征点的初始位姿为所述第二特征点在世界坐标系中的三维坐标；
基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像；其中，所述第三特征点属于所述第一特征点；
基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数；
按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
可选的，所述基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数，包括：
计算所述第三特征点与所述电子设备之间的距离的均值，得到第一距离均值；
计算所述第三特征点在世界坐标系的指定坐标轴的坐标值的均值，作为第二距离均值；
计算所述第一距离均值与所述第二距离均值的比值，得到所述目标图像的尺度修复参数。
可选的，所述按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿，包括：
分别计算当前所述电子设备的初始位姿与所述尺度修复参数的乘积，以及所述第二特征点的初始位姿与所述尺度修复参数的乘积，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
可选的，所述基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像，包括：
按照预先记录的标定区域的位置，确定各第一特征点在所述目标图像中所占的图像区域，得到备选图像；其中，所述标定区域的位置为：基于所述相机预先采集的待处理图像进行校准确定的；
对所述目标图像进行目标检测，得到所述目标图像中的各目标物体在所述目标图像中所占的图像区域，得到物体图像；
将所述备选图像与所述物体图像进行对比，如果所述备选图像中包括一个目标物体，确定所述待处理图像为参考图像；
如果所述备选图像中包括多个目标物体，从所述备选图像中提取面积最大的目标物体所占图像区域，得到参考图像。
可选的，在所述基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像之前，所述方法还包括：
获取所述相机采集的包括所述目标场景中放置的标定板的待处理图像，以及所述传感器采集的所述标定板的深度数据；其中，所述标定板的深度数据包括所述标定板中的各特征点与所述电子设备之间的距离；
从所述待处理图像中提取所述标定板所占的图像区域，得到标定图像；
基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标；
基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数；
如果所述校准参数不小于第一阈值，从所述待处理图像中确定新的标定图像，并返回执行所述基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标的步骤；
如果所述校准参数小于所述第一阈值，确定当前所述标定图像在所述待处理图像中的位置，得到标定区域的位置。
可选的，所述从所述待处理图像中确定新的标定图像，包括：
在所述待处理图像中，按照预设的偏移量对上次确定的标定图像进行偏移，得到新的标定图像。
可选的，所述基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数，包括：
基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标和第一预设公式，计算所述标定图像的校准参数；其中，所述第一预设公式为：
Δd表示所述标定图像的校准参数；表示所述标定板中的各特征点与电子设备之间的距离的均值；N表示所述标定板中的特征点的数目；zi表示所述标定板中的第i个特征点在世界坐标系的指定坐标轴的坐标值。
可选的，所述基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿，包括：
针对所述目标图像中的每一第二特征点，基于该第二特征点的邻域范围内的其他特征点与该第二特征点的距离，生成该第二特征点的特征描述子；
针对所述目标图像的前一帧图像中的每一第四特征点，基于该第四特征点的邻域范围内的其他特征点与该第四特征点的距离，生成该第四特征点的特征描述子；
基于各第二特征点的特征描述子，以及各第四特征点的特征描述子，计算各第二特征点与各第四特征点的匹配关系；
基于各第二特征点与各第四特征点的匹配关系，计算从所述目标图像的前一帧图像至所述目标图像的转换关系，并基于所述转换关系确定当前所述电子设备的初始位姿；
基于各第二特征点在所述目标图像中的二维坐标，以及所述相机的相机参数，计算各第二特征点在所述世界坐标系中的三维坐标，得到所述目标场景中所述相机视野范围内的第二特征点的初始位姿。
可选的，所述电子设备为移动机器人；所述相机为单目相机；所述相机的光轴与水平面平行；所述传感器为单点TOF传感器；所述传感器位于所述相机的正上方或正下方。
第二方面，为了达到上述目的，本申请实施例提供了一种位姿修复装置，所述装置应用于电子设备，所述电子设备包括相机和传感器，所述装置包括：
第一获取模块，用于获取当前所述相机采集的目标场景的目标图像，以及当前所述传感器采集的所述目标场景的目标深度数据；其中，所述传感器位于所述相机的视野范围内；所述目标深度数据包括所述目标场景中所述传感器采集范围内的第一特征点与所述电子设备之间的距离；
初始位姿确定模块，用于基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿；其中，所述电子设备的初始位姿为所述电子设备在世界坐标系中的三维坐标；所述第二特征点的初始位姿为所述第二特征点在世界坐标系中的三维坐标；
参考图像获取模块，用于基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像；其中，所述第三特征点属于所述第一特征点；
尺度修复参数确定模块，用于基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数；
目标位姿确定模块，用于按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
可选的，所述尺度修复参数确定模块，具体用于计算所述第三特征点与所述电子设备之间的距离的均值，得到第一距离均值；
计算所述第三特征点在世界坐标系的指定坐标轴的坐标值的均值，作为第二距离均值；
计算所述第一距离均值与所述第二距离均值的比值，得到所述目标图像的尺度修复参数。
可选的，所述目标位姿确定模块，具体用于分别计算当前所述电子设备的初始位姿与所述尺度修复参数的乘积，以及所述第二特征点的初始位姿与所述尺度修复参数的乘积，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
可选的，所述参考图像获取模块，具体用于按照预先记录的标定区域的位置，确定各第一特征点在所述目标图像中所占的图像区域，得到备选图像；其中，所述标定区域的位置为：基于所述相机预先采集的待处理图像进行校准确定的；
对所述目标图像进行目标检测，得到所述目标图像中的各目标物体在所述目标图像中所占的图像区域，得到物体图像；
将所述备选图像与所述物体图像进行对比，如果所述备选图像中包括一个目标物体，确定所述待处理图像为参考图像；
如果所述备选图像中包括多个目标物体，从所述备选图像中提取面积最大的目标物体所占图像区域，得到参考图像。
可选的，所述装置还包括：
第二获取模块，用于在所述参考图像获取模块执行基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像之前，执行获取所述相机采集的包括所述目标场景中放置的标定板的待处理图像，以及所述传感器采集的所述标定板的深度数据；其中，所述标定板的深度数据包括所述标定板中的各特征点与所述电子设备之间的距离；
标定图像获取模块，用于从所述待处理图像中提取所述标定板所占的图像区域，得到标定图像；
三维坐标确定模块，用于基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标；
校准参数确定模块，用于基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数；
标定图像更新模块，用于如果所述校准参数不小于第一阈值，从所述待处理图像中确定新的标定图像，并触发所述三维坐标确定模块执行所述基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标的步骤；
标定区域确定模块，用于如果所述校准参数小于所述第一阈值，确定当前所述标定图像在所述待处理图像中的位置，得到标定区域的位置。
可选的，所述标定图像更新模块，具体用于在所述待处理图像中，按照预设的偏移量对上次确定的标定图像进行偏移，得到新的标定图像。
可选的，所述校准参数确定模块，具体用于基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标和第一预设公式，计算所述标定图像的校准参数；其中，所述第一预设公式为：
Δd表示所述标定图像的校准参数；表示所述标定板中的各特征点与电子设备之间的距离的均值；N表示所述标定板中的特征点的数目；zi表示所述标定板中的第i个特征点在世界坐标系的指定坐标轴的坐标值。
可选的，所述初始位姿确定模块，具体用于针对所述目标图像中的每一第二特征点，基于该第二特征点的邻域范围内的其他特征点与该第二特征点的距离，生成该第二特征点的特征描述子；
针对所述目标图像的前一帧图像中的每一第四特征点，基于该第四特征点的邻域范围内的其他特征点与该第四特征点的距离，生成该第四特征点的特征描述子；
基于各第二特征点的特征描述子，以及各第四特征点的特征描述子，计算各第二特征点与各第四特征点的匹配关系；
基于各第二特征点与各第四特征点的匹配关系，计算从所述目标图像的前一帧图像至所述目标图像的转换关系，并基于所述转换关系确定当前所述电子设备的初始位姿；
基于各第二特征点在所述目标图像中的二维坐标，以及所述相机的相机参数，计算各第二特征点在所述世界坐标系中的三维坐标，得到所述目标场景中所述相机视野范围内的第二特征点的初始位姿。
可选的，所述电子设备为移动机器人；所述相机为单目相机；所述相机的光轴与水平面平行；所述传感器为单点TOF传感器；所述传感器位于所述相机的正上方或正下方。
本申请实施例还提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的位姿修复方法。
本申请实施例还提供了一种移动机器人系统，包括数据采集模块和处理器；所述数据采集模块包括相机和传感器；
所述数据采集模块，用于通过所述相机采集目标场景的目标图像，以及通过所述传感器采集所述目标场景的目标深度数据；
所述处理器，用于执行上述任一所述的位姿修复方法步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的位姿修复方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的位姿修复方法。
本申请实施例有益效果：
本申请实施例提供的一种位姿修复方法，获取当前电子设备中的相机采集的目标场景的目标图像，以及当前传感器采集的所述目标场景的目标深度数据；传感器位于所述相机的视野范围内；目标深度数据包括目标场景中传感器采集范围内的第一特征点与电子设备之间的距离；基于目标图像和目标图像的前一帧图像，确定当前电子设备的初始位姿和目标场景中相机视野范围内的第二特征点的初始位姿。电子设备的初始位姿为电子设备在世界坐标系中的三维坐标；第二特征点的初始位姿为第二特征点在世界坐标系中的三维坐标；基于第一特征点在目标图像中所占的图像区域，从目标图像中提取包含第三特征点的参考图像；第三特征点属于第一特征点；基于参考图像中的第三特征点的目标深度数据和当前第三特征点的初始位姿，计算目标图像的尺度修复参数；按照尺度修复参数，对当前电子设备的初始位姿和第二特征点的初始位姿进行修复，得到当前电子设备的目标位姿和第二特征点的目标位姿。
基于上述处理，第三特征点的目标深度数据可以表示基于传感器得到的第二特征点的位姿，第二特征点的初始位姿表示基于相机得到的第三特征点的位姿。相应的，基于第三特征点的目标深度数据，以及第三特征点的初始位姿，计算得到的尺度修复参数可以表示：基于传感器得到的第三特征点的位姿与基于相机得到的第三特征点的位姿之间的差异。并且，电子设备的位姿变化的尺度、第二特征点的位姿变化的尺度与第三特征点的位姿变化的尺度相同，因此，基于尺度修复参数对电子设备的初始位姿和目标场景中的第二特征点的初始位姿进行修复，可以提高确定出的电子设备的目标位姿和第二特征点的目标位姿的准确性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的第一种位姿修复方法的流程图；
图2为本申请实施例提供的一种相机与传感器的安装结构图；
图3为本申请实施例提供的第二种位姿修复方法的流程图；
图4为本申请实施例提供的第三种位姿修复方法的流程图；
图5为本申请实施例提供的第四种位姿修复方法的流程图；
图6为本申请实施例提供的第五种位姿修复方法的流程图；
图7为本申请实施例提供的第六种位姿修复方法的流程图；
图8为本申请实施例提供的一种位姿修复装置的结构图；
图9为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，移动机器人在进行SLAM的过程中，确定出的移动机器人的位姿和场景中各特征点的位姿的准确性较低。
为了解决上述问题，本申请实施例提供了一种位姿修复方法，该方法应用于电子设备，电子设备包括相机和传感器。电子设备为移动机器人，例如，扫地机器人、AGV(Automated Guided Vehicle，自动导引运输车)等。电子设备中的相机可以采集目标场景的目标图像，传感器可以获取目标场景的目标深度数据，基于目标场景的目标图像和目标深度数据，计算得到尺度修复参数，并按照计算得到的尺度修复参数，对电子设备的初始位姿和目标场景中的各特征点的初始位姿进行修复，得到移动机器人的目标位姿和目标场景中的各特征点的目标位姿，可以提高确定出的移动机器人的目标位姿，以及目标场景中各特征点的目标位姿的准确性。
一种应用场景中，后续基于目标场景中各特征点的目标位姿生成目标场景的地图，可以提高生成的目标场景的地图的准确性。
另一种应用场景中，后续基于移动机器人的目标位姿和目标场景中各特征点的目标位姿，规划移动机器人在目标场景中的移动路径，可以提高路径规划的准确性。
参见图1，图1为本申请实施例提供的一种位姿修复方法的流程图，该方法应用于电子设备，电子设备包括相机和传感器，该方法可以包括以下步骤：
S101：获取当前相机采集的目标场景的目标图像，以及当前传感器采集的目标场景的目标深度数据。
其中，传感器位于相机的视野范围内；目标深度数据包括目标场景中传感器采集范围内的第一特征点与电子设备之间的距离。
S102：基于目标图像和目标图像的前一帧图像，确定当前电子设备的初始位姿和目标场景中相机视野范围内的第二特征点的初始位姿。
其中，电子设备的初始位姿为电子设备在世界坐标系中的三维坐标；第二特征点的初始位姿为第二特征点在世界坐标系中的三维坐标。
S103：基于第一特征点在目标图像中所占的图像区域，从目标图像中提取包含第三特征点的参考图像。
其中，第三特征点属于第一特征点。
S104：基于参考图像中的第三特征点的目标深度数据和当前第三特征点的初始位姿，计算目标图像的尺度修复参数。
S105：按照尺度修复参数，对当前电子设备的初始位姿和第二特征点的初始位姿进行修复，得到当前电子设备的目标位姿和第二特征点的目标位姿。
基于本申请实施例提供的位姿修复方法，第三特征点的目标深度数据可以表示基于传感器得到的第二特征点的位姿，第二特征点的初始位姿表示基于相机得到的第三特征点的位姿。相应的，基于第三特征点的目标深度数据，以及第三特征点的初始位姿，计算得到的尺度修复参数可以表示：基于传感器得到的第三特征点的位姿与基于相机得到的第三特征点的位姿之间的差异。并且，电子设备的位姿变化的尺度、第二特征点的位姿变化的尺度与第三特征点的位姿变化的尺度相同，因此，基于尺度修复参数对电子设备的初始位姿和目标场景中的第二特征点的初始位姿进行修复，可以提高确定出的电子设备的目标位姿和第二特征点的目标位姿的准确性。
在一些实施例中，电子设备为移动机器人；移动机器人中配有逻辑运算单元，逻辑运算单元用于执行本申请实施例提供的位姿修复方法。相机为单目相机；相机的光轴与水平面平行；传感器为单点TOF(Time Of Flight，飞行时间)传感器；传感器位于相机的正上方或正下方。
示例性的，参见图2，图2为本申请实施例提供的一种相机与传感器的安装结构图。单目相机安装于移动机器人上，单目相机的光轴与水平面平行。单点TOF传感器安装于相机的正下方，单点TOF传感器的信号发射方向也可以与水平面平行。
并且传感器位于相机的FOV(Field of View，视场角)视野范围内，则相机在目标场景中采集的目标图像中包含传感器采集目标深度数据的区域的图像，也就可以实现针对目标场景中的同一区域，既能采集到该区域的图像，也能采集到该区域的深度数据。后续，则可以基于该区域的图像和深度数据对移动机器人的位姿和目标场景中的各特征点的位姿进行修复，提高确定出的移动机器人的目标位姿和目标场景中的各特征点的目标位姿的准确性。
针对步骤S101，电子设备为移动机器人，移动机器人在目标场景中进行运动的过程中，通过相机实时采集目标场景的图像，目标图像为移动机器人当前时刻采集的目标场景的图像。并且，电子通过传感器实时采集目标场景的深度数据，目标深度数据为移动机器人当前时刻采集的目标场景的深度数据。目标深度数据包括目标场景中传感器采集范围内的第一特征点与电子设备之间的距离。
针对步骤S102，由于相机采集到的是目标场景中位于相机视野范围内的区域的图像，则目标图像中包括目标场景中位于相机视野范围内的特征点(即第二特征点)。相应的，电子设备可以基于相机采集的目标图像进行SLAM，得到当前电子设备的初始位姿和目标场景中的各第二特征点的初始位姿。
在一些实施例中，在图1的基础上，参见图3，步骤S102可以包括以下步骤：
S1021：针对目标图像中的每一第二特征点，基于该第二特征点的邻域范围内的其他特征点与该第二特征点的距离，生成该第二特征点的特征描述子。
S1022：针对目标图像的前一帧图像中的每一第四特征点，基于该第四特征点的邻域范围内的其他特征点与该第四特征点的距离，生成该第四特征点的特征描述子。
S1023：基于各第二特征点的特征描述子，以及各第四特征点的特征描述子，计算各第二特征点与各第四特征点的匹配关系。
S1024：基于各第二特征点与各第四特征点的匹配关系，计算从目标图像的前一帧图像至目标图像的转换关系，并基于转换关系确定当前电子设备的初始位姿。
S1025：基于各第二特征点在目标图像中的二维坐标，以及相机的相机参数，计算各第二特征点在世界坐标系中的三维坐标，得到目标场景中相机视野范围内的第二特征点的初始位姿。
针对每一特征点，该特征点的特征描述子为ORB(Oriented FAST and RotatedBRIEF，定向快速旋转简报)。该特征点的邻域范围可以为：以该特征点为圆心，半径为指定半径的圆心区域；或者，该特征点的邻域范围也可以为：以该特征点为中心点，宽度为指定宽度，且长度为指定长度的矩形区域。
针对目标图像中的每一第二特征点，在该第二特征点的邻域范围内，随机选择多个特征点。基于选择多个特征点的像素值，生成该第二特征点的特征描述子。例如，针对选择的每两个特征点，按照像素值大的特征点为1，像素值小的特征点为0的方式进行二进制编码，得到该第二特征点的特征描述子。
电子设备确定第四特征点的特征描述子的方式与确定第二特征点的特征描述子的方式类似，可以参考前述实施例的相关介绍。
针对目标图像中的每一第二特征点，电子设备从目标图像的前一帧图像中的各第四特征点中选择一个第四特征点，作为当前的待匹配特征点，并计算该第二特征点的特征描述子与当前的待匹配特征点的特征描述子的Hamming(汉明)距离。
如果计算得到的汉明距离不小于第二阈值，则确定该第二特征点与当前的待匹配特征点相匹配。如果计算得到的汉明距离小于第二阈值，则确定该第二特征点与当前的待匹配特征点不匹配。电子设备从目标图像的前一帧图像中的各第四特征点中，选择未进行匹配的一个第四特征点，作为当前的待匹配特征点，并计算该第二特征点的特征描述子与当前的待匹配特征点的特征描述子的汉明距离，以此类推，可以确定出目标图像中的每一第二特征点在前一帧图像中相匹配的第四特征点，也就可以得到各第二特征点与各第四特征点的匹配关系。
目标图像中的一个第二特征点与前一帧图像中的一个第四特征点相匹配表示：该第二特征点与该第四特征点相同。前一帧图像中的第四特征点进行变换能够得到目标图像中相匹配的第二特征点。
电子设备可以基于第二特征点在目标图像中的二维坐标，以及与第二特征点相匹配的第四特征点在前一帧图像中的二维坐标，计算得到从目标图像的前一帧图像至目标图像的转换关系。计算得到的转换关系包括：从前一帧图像至目标图像的旋转矩阵R和平移向量T。也就是前一帧图像中的第四特征点按照计算得到的旋转矩阵R和平移向量T进行变换，能够得到目标图像中相匹配的第二特征点。
电子设备基于计算得到的转换关系对前一帧图像对应的电子设备的位姿进行转换，得到当前电子设备的初始位姿。前一帧图像对应的电子设备的位姿可以为按照本申请实施例提供的位姿修复方式确定的。
进而，基于各第二特征点在目标图像中的二维坐标，以及相机的相机参数，计算各第二特征点在世界坐标系中的三维坐标，得到目标场景中相机视野范围内的第二特征点的初始位姿。相机参数包括相机的内参和相机的外参。
应用本申请实施例提供的位姿修复方法，可以基于相机采集的目标图像和传感器采集的目标深度数据，确定电子设备的初始位姿和目标场景中的第二特征点的初始位姿。后续，基于尺度修复参数对电子设备的初始位姿和目标场景中的第二特征点的初始位姿进行修复，可以提高确定出的电子设备的目标位姿和第二特征点的目标位姿的准确性。
针对步骤S103，由于传感器位于相机的视野范围内，相机采集的目标图像中包含传感器采集深度数据的区域的图像，相应的，相机视野范围内的第二特征点包含传感器采集范围内的第一特征点。因此，电子设备可以确定第一特征点在目标图像中所占的图像区域，该图像区域也就是传感器采集深度数据的区域的图像。
一种实现方式中，电子设备可以直接确定第一特征点在目标图像中所占的图像区域，作为参考图像，此时，第一特征点均为第三特征点。
另一种实现方式中，在图1的基础上，参见图4，步骤S103可以包括以下步骤：
S1031：按照预先记录的标定区域的位置，确定各第一特征点在目标图像中所占的图像区域，得到备选图像。
其中，标定区域的位置为：基于相机预先采集的待处理图像进行校准确定的。
S1032：对目标图像进行目标检测，得到目标图像中的各目标物体在目标图像中所占的图像区域，得到物体图像。
S1033：将备选图像与物体图像进行对比，如果备选图像中包括一个目标物体，确定待处理图像为参考图像。
S1034：如果备选图像中包括多个目标物体，从备选图像中提取面积最大的目标物体所占图像区域，得到参考图像。
电子设备获取预先记录的标定区域的位置，预先记录的标定区域的位置为：在对相机和传感器进行校准时确定的，传感器采集范围内的特征点在相机采集的待处理图像中所占图像区域的位置。因此，电子设备按照预先记录的标定区域的位置，在待处理图像中确定出的对应的图像区域也就是传感器采集范围内的第一特征点在目标图像中所占图像区域。
电子设备基于预设算法对目标图像进行目标检测，得到目标图像中的各目标物体在目标图像中所占的图像区域，得到物体图像。预设算法可以为Mask-RCNN(Mask RecycleConvolutional Neural Network，掩膜循环卷积神经网络)。
然后，电子设备对物体图像与备选图像进行对比，例如，电子设备按照物体图像在待处理图像中的位置，以及备选图像在待处理图像中的位置，确定物体图像与备选图像的重叠区域。
如果备选图像仅与一个物体图像存在重叠区域，则备选图像中包括一个目标物体，表明该目标物体距离电子设备较近，该目标物体在目标图像中所占的图像区域较大，则传感器采集到的该目标物体的目标深度数据的准确性较高。因此，电子设备可以直接确定备选图像为参考图像。后续，可以提高计算得到的尺度修复参数的准确性，进而提高确定出的电子设备的目标位姿和第二特征点的目标位姿的准确性。
如果备选图像仅与多个物体图像存在重叠区域，则备选图像中包括多个目标物体，多个物体与电子设备之间的距离不同，电子设备可以确定备选图像中的面积最大的目标物体，该目标物体距离电子设备较近，传感器采集到的该目标物体的目标深度数据的准确性较高。后续，可以提高计算得到的尺度修复参数的准确性，进而提高确定出的电子设备的目标位姿和第二特征点的目标位姿的准确性。因此，电子设备可以直接确定面积最大的目标物体在备选图像中所占图像区域，得到参考图像。此时，参考图像中的第三特征点为：备选图像中面积最大的目标物体的特征点。
在一些实施例中，如果备选图像中不包含目标物体，则可能是目标物体距离电子设备较远，目标物体在目标图像中所占的图像区域较小，在对目标图像进行目标检测时未检测出目标物体。目标物体距离电子设备较远时，传感器采集到该目标物体的目标深度数据的准确性较低。因此，电子设备可以不对当前电子设备的初始位姿和目标场景中相机视野范围内的第二特征点的初始位姿进行修复，直接确定当前电子设备的初始位姿为目标位姿，以及确定第二特征点的初始位姿为目标位姿。
在一些实施例中，在图4的基础上，参见图5，在步骤S1031之前，该方法还可以包括以下步骤：
S106：获取相机采集的包括目标场景中放置的标定板的待处理图像，以及传感器采集的标定板的深度数据。
其中，标定板的深度数据包括标定板中的各特征点与电子设备之间的距离。
S107：从待处理图像中提取标定板所占的图像区域，得到标定图像。
S108：基于标定板中的各特征点在标定图像中的二维坐标，以及相机的相机参数，确定标定板中的各特征点在世界坐标系中的三维坐标。
S109：基于标定板中的各特征点与电子设备之间的距离，以及标定板的各特征点在世界坐标系中的三维坐标，计算标定图像的校准参数。
S1010：如果校准参数不小于第一阈值，从待处理图像中确定新的标定图像，并返回执行基于标定板中的各特征点在标定图像中的二维坐标，以及相机的相机参数，确定标定板中的各特征点在世界坐标系中的三维坐标的步骤。
S1011：如果校准参数小于第一阈值，确定当前标定图像在待处理图像中的位置，得到标定区域的位置。
标定板可以为Apriltag(四月标签)码面板，或者，标定板也可以为棋盘格标定板。标定板竖直放置于目标场景中与电子设备预设距离(记为，d1)的位置处。例如，将标定板竖直放置于目标场景中的墙面处，将电子设备放置于距离标定板d1位置处，并将标定板中有图案的一侧朝向电子设备。
电子设备中的相机可以采集包括目标场景中放置的标定板的待处理图像，传感器可以采集标定板的深度数据。电子设备对待处理图像进行目标检测，确定标定板在待处理图像中所占的图像区域，得到标定图像。进而，电子设备可以基于标定板中的各特征点在标定图像中的二维坐标，以及相机的相机参数，确定标定板中的各特征点在世界坐标系中的三维坐标。
标定板的深度数据包括标定板中的各特征点与电子设备之间的距离，标定板中的各特征点在世界坐标系中的三维坐标也能表示标定板中的各特征点与电子设备之间的距离。在理想情况下，基于传感器得到的标定板中的各特征点与电子设备之间的距离，与基于相机得到的标定板中的各特征点与电子设备之间的距离是相同的。
因此，电子设备可以基于标定板中的各特征点与电子设备之间的距离，以及标定板的各特征点在世界坐标系中的三维坐标，计算标定图像的校准参数。
在一些实施例中，步骤S107包括以下步骤：基于标定板中的各特征点与电子设备之间的距离，以及标定板的各特征点在世界坐标系中的三维坐标和第一预设公式，计算标定图像的校准参数。
其中，第一预设公式为：
/>
Δd表示标定图像的校准参数；表示标定板中的各特征点与电子设备之间的距离的均值；N表示标定板中的特征点的数目；zi表示标定板中的第i个特征点在世界坐标系的指定坐标轴的坐标值。
世界坐标系的X轴和Y轴位于水平面内，世界坐标系的Z轴沿竖直方向。指定坐标轴为世界坐标系的Z轴。标定板中的特征点在世界坐标系的Z坐标轴的坐标值可以表示标定板中的特征点与电子设备之间的距离。
针对标定板中的每一特征点，该特征点与电子设备之间的距离记为D。标定板的各特征点位于同一平面上，在理想情况下，标定板的各特征点与电子设备之间的距离是相同的，由于传感器的误差，基于传感器得到的标定板中的各特征点与电子设备之间的距离存在差异。因此，电子设备计算标定板中的各特征点与电子设备之间的距离的均值，得到
同样的，由于相机的误差，基于相机得到的标定板中的各特征点与电子设备之间的距离存在差异。因此，电子设备计算标定板中的各特征点与电子设备之间的距离的均值，也就是计算标定板中的各特征点在世界坐标系的指定坐标轴的坐标值的均值，即
由于传感器的误差和相机的误差，基于传感器得到的标定板中的各特征点与电子设备之间的距离，与基于相机得到的标定板中的各特征点与电子设备之间的距离存在差异。标定图像的校准参数能够表示：基于传感器得到的标定板中的各特征点与电子设备之间的距离，与基于相机得到的标定板中的各特征点与电子设备之间的距离之间的差异。
如果校准参数小于第一阈值，表明基于传感器得到的标定板中的各特征点与电子设备之间的距离，与基于相机得到的标定板中的各特征点与电子设备之间的距离存在较小的差异，则确定出的标定图像中包括的是标定板的特征点。因此，电子设备可以确定当前标定图像在待处理图像中的位置，得到标定区域的位置。
如果校准参数不小于第一阈值，表明基于传感器得到的标定板中的各特征点与电子设备之间的距离，与基于相机得到的标定板中的各特征点与电子设备之间的距离存在较大的差异，可能是确定出的标定图像中包括除标定板的特征点以外的其他特征点。因此，电子设备可以从待处理图像中确定新的标定图像。
在一些实施例中，步骤S108中从待处理图像中确定新的标定图像的步骤包括：在待处理图像中，按照预设的偏移量对上次确定的标定图像进行偏移，得到新的标定图像。
一种实现方式中，电子设备计算上次确定的标定图像的中心点在待处理图像中的二维坐标与预设的偏移量的和值，得到偏移后的标定图像的中心点在待处理图像中的二维坐标，并按照偏移后的标定图像的中心点，在待处理图像中确定与上次确定的标定图像的宽度和长度相同的图像区域，得到新的标定图像。
另一种实现方式中，针对本次确定的标定图像的每一顶点，电子设备该顶点在待处理图像中的二维坐标与预设的偏移量的和值，得到偏移后的该顶点在待处理图像中的二维坐标，并按照偏移后的各顶点在待处理图像中的二维坐标，得到新的标定图像。
然后，电子设备可以基于标定板中的各特征点在本次确定的标定图像中的二维坐标，以及相机的相机参数，确定标定板中的各特征点在世界坐标系中的三维坐标，并计算本次确定的标定图像的校准参数，以此类推，直至确定出的标定图像的校准参数小于第一阈值，电子设备确定当前标定图像在待处理图像中的位置，得到标定区域的位置。标定区域的位置可以用标定区域的四个顶点在待处理图像中的二维坐标表示。
应用本申请实施例提供的位姿修复方法，可以对相机和传感器进行校准，得到标定区域的位置。进而，可以基于标定区域的位置确定参考图像，可以确定参考图像的效率，进而提高进行位姿修复的效率。
在一些实施例中，为了提高确定出的标定区域的准确性，可以设置电子设备与标定板之间的距离标定板d1为一组距离值，例如，1米，1.5米和2米。相应的，将电子设备放置于与标定板距离1米的位置处，按照上述方式对相机和传感器进行校准。然后，将电子设备放置于与标定板距离1.5米的位置处，按照上述方式对相机和传感器进行校准。然后，将电子设备放置于与标定板距离2米的位置处，按照上述方式对相机和传感器进行校准。
在一些实施例中，电子设备还可以保存标定区域的位置。后续，如果未改变相机和传感器在电子设备中的安装位置，在确定电子设备的位姿，可以直接获取保存的标定区域的位置，并基于获取到的标定区域的位置，确定参考图像，可以提高位姿修复效率。如果改变了相机或传感器在电子设备中的安装位置，在确定电子设备的位姿，则可以按照上述方式确定标定区域的位置，并基于获取到的标定区域的位置，确定参考图像。
针对步骤S104，第三特征点的目标深度数据可以表示基于传感器得到的第二特征点的位姿，第二特征点的初始位姿表示基于相机得到的第三特征点的位姿。因此，电子设备可以基于参考图像中的第三特征点的目标深度数据和当前第三特征点的初始位姿，计算目标图像的尺度修复参数。计算得到的尺度修复参数可以表示：基于传感器得到的第三特征点的位姿与基于相机得到的第三特征点的位姿之间的差异。
在一些实施例中，在图1的基础上，参见图6，步骤S104可以包括以下步骤：
S1041：计算第三特征点与电子设备之间的距离的均值，得到第一距离均值。
S1042：计算第三特征点在世界坐标系的指定坐标轴的坐标值的均值，作为第二距离均值。
S1043：计算第一距离均值与二距离均值的比值，得到目标图像的尺度修复参数。
第三特征点在世界坐标系的指定坐标轴的坐标值为：第三特征点在世界坐标系的Z坐标轴的坐标值，该坐标值表示第三特征点与电子设备之间的距离。
针对参考图像中的每一第三特征点，该第三特征与电子设备之间的距离记为DTof，计算各特征点与电子设备之间的距离的第一距离均值，记为该第三特征在世界坐标系的Z坐标轴的坐标值记为DROI，计算各特征点与电子设备之间的距离的第一距离均值，记为/>
进而，电子设备基于如下公式(2)，计算第一距离均值与第二距离均值的比值，得到目标图像的尺度修复参数。
Srepair表示目标图像的尺度修复参数，表示第一距离均值，/>表示第二距离均值。
在一些实施例中，在计算目标图像的尺度修复参数之前，电子设备还可以判断是否满足预设的尺度修复条件。电子设备对目标图像进行目标检测时，得到目标图像中目标物体的物体图像，记为OB＝{obi,i＝1,2,3…}，其中，OB为所有目标物体组成的集合，obi为第i个目标物体的物体图像。
在确定第一特征点在目标图像中所占的备选图像后，对备选图像与物体图像进行对比，如果备选图像与一个物体图像存在重叠区域，确定备选图像包含该物体图像中的目标物体。将备选图像内包含的目标物体的数目个数记为cnt，如果cnt>0，表示备选图像中包括至少一个目标物体，且此备选图像中包含背景。如果cnt＝1，则确定满足尺度修复条件。其中，ζ为预设的距离阈值。如果cnt>1，且/>则确定满足尺度修复条件。后续，按照上述方式，计算目标图像的尺度修复参数Srepair。
如果cnt<1，表明备选图像中不包含目标物体；或者，表明目标物体与电子设备的距离较远，则基于目标物体与电子设备的距离进行尺度修复的准确性较低，因此，可以确定不满足尺度修复条件，不进行后续处理。
针对步骤S105，电子设备计算当前电子设备的初始位姿与尺度修复参数的乘积，得到当前电子设备的目标位姿，以及计算第二特征点的初始位姿与尺度修复参数的乘积，得到第二特征点的目标位姿。
当前电子设备的目标位姿为：采集目标图像的时刻，电子设备在世界坐标系中的三维坐标。第二特征点的目标位姿为：采集目标图像的时刻，相机的视野范围内的第二特征点在世界坐标系中的三维组别。
相应的，电子设备为移动机器人时，在电子设备在目标场景中运动的过程中，基于电子设备实时采集的图像和传感器实时采集的深度数据，也就能实时的确定电子设备的位姿，并且可以得到目标场景中的各个特征点的位姿。
参见图7，图7为本申请实施例提供的一种位姿修复方法的流程图，该方法应用于移动机器人，移动机器人包括单目相机和单点TOF传感器。该方法可以包括以下步骤：
S701：获取单目图像数据。
在本步骤中，单目图像数据为单目相机采集的图像，也就是前述实施例中包括目标场景中的标定板的待处理图像。
S702：获取单点TOF(飞行时间)数据。
在本步骤中，单点TOF数据也就是是单点TOF传感器采集的标定板的深度数据。
S703：图像与单点TOF对应ROI(Region Of Interest，感兴趣区域)校准。
在本步骤中，对单点TOF传感器测量的区域与图像进行校准，得到对应的ROI区域。ROI区域也就是前述实施例中的标定图像。也就是移动机器人基于单目相机采集包含标定板的待处理图像和单点TOF传感器采集的标定板的深度数据进行校准，确定标定图像。
S704：判断校准是否成功，如果是，执行步骤S705，如果否，执行步骤S703。
在本步骤中，移动机器人计算标定图像的校准参数，如果校准参数小于第一阈值，则表示校准成功，移动机器人确定当前标定图像在待处理图像中的位置，得到标定区域的位置。如果校准参数不小于第一阈值，则校准失败，移动机器人可以再次基于单目相机采集包含标定板的待处理图像和单点TOF传感器采集的标定板的深度数据进行校准，得到新的标定图像，以此类推，直至确定出的标定图像的校准参数小于第一阈值，移动机器人确定当前标定图像在待处理图像中的位置，得到标定区域的位置。
S705：判断单目初始化是否成功，如果是，执行步骤S706和步骤S708，如果否，执行步骤S701。
在本步骤中，单目初始化成功也就是基于单目相机采集的第一帧图像，确定移动机器人刚启动时的位姿。单目初始化失败也就是未确定出移动机器人刚启动时的位姿，则移动机器人可以再次进行单目初始化，直至确定出移动机器人刚启动时的位姿。
S706：相邻帧匹配。
在本步骤中，相邻帧是指移动机器人获取的目标图像和目标图像的前一帧图像，相邻帧匹配，也就是移动机器人对目标图像中的各第二特征点，与前一帧图像中的第四特征点进行匹配，得到各第二特征点与各第四特征点之间的匹配关系。
S707：相机位姿、地图点位姿估计。
在本步骤中，由于相机安装于移动机器人上，相机位姿与移动机器人的位姿相同。相机位姿也就是即移动机器人的初始位姿，地图点即也就是目标场景中的相机视野范围内的第二特征点。移动机器人基于各第二特征点与第四特征点之间的匹配关系，确定移动机器人的初始位姿，并基于各第二特征点在目标图像中的二维坐标，以及相机的相机参数，计算得到各第二特征点的初始位姿。
S708：目标分割。
在本步骤中，移动机器人对目标图像进行目标分割，得到目标图像中的各个目标物体的物体图像。
S709：ROI区域深度恢复。
在本步骤中，ROI区域也就是前述实施例中的备选图像。移动机器人基于预先记录的标定区域的位置，确定各第一特征点在目标图像中所占的图像区域，得到备选图像。
S7010：判断ROI区域深度是否统一，如果是，执行步骤S7011。
在本步骤中，判断ROI区域深度是否统一也就是判断备选图像中包含多少个目标物体，如果备选图像中包括一个目标物体，该目标物体各第三特征点的目标深度数据相同，则ROI区域的深度统一，移动机器人可以确定备选图像为参考图像。
如果备选图像中包括多个目标物体，多个目标物体各第三特征点的目标深度数据不相同，则ROI区域的深度不统一，移动机器人从备选图像中提取面积最大的目标物体所占图像区域，得到参考图像。
S7011：修复相机位姿、地图点位姿。
在本步骤中，由于相机安装于移动机器人上，相机位姿与移动机器人的位姿相同。相机位姿也就是移动机器人的初始位姿，地图点也就是目标场景中的相机视野范围内的第二特征点。
移动机器人基于参考图像中的第三特征点的目标深度数据和第三特征点的初始位姿，计算目标图像的尺度修复参数，并按照尺度修复参数，对移动机器人的初始位姿和目标场景中的第二特征点的初始位姿进行修复，得到移动机器人的目标位姿和第二特征点的目标位姿。
基于本申请实施例提供的位姿修复方法，可以在前期对单点TOF传感器在相机采集的图像中所占的图像区域(即标定区域)进行校准，找到单点TOF传感器深度测量数据对应的ROI区域。然后，在对目标图像和前一帧图像进行特征跟踪和匹配过程中，对ROI区域中的特征点进行深度估计，也就是确定移动机器人的初始位姿和目标场景中的特征点的初始位置。进而，利用单点TOF传感器测量的目标深度数据与基于相机采集的目标图像得到的初始位姿进行对比，得到目标深度数据与初始位姿之间的尺度比例(即尺度修复参数)。最后，基于计算得到的尺度修复参数校准移动机器人的初始位姿和地图点(即目标图像中的特征点)的初始位姿，可以提升算法定位精度。并且，本申请实施例提供的位姿修复方法的原理和实现较为简单，可以快速应用到各个室内移动机器人产品中，具有适应性强，成本低且代码量小、落地快等特点，有广阔的应用场景。
与图1的方法实施例相对应，参见图8，图8为一种位姿修复装置的结构图，所述装置应用于电子设备，所述电子设备包括相机和传感器，所述装置包括：
第一获取模块801，用于获取当前所述相机采集的目标场景的目标图像，以及当前所述传感器采集的所述目标场景的目标深度数据；其中，所述传感器位于所述相机的视野范围内；所述目标深度数据包括所述目标场景中所述传感器采集范围内的第一特征点与所述电子设备之间的距离；
初始位姿确定模块802，用于基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿；其中，所述电子设备的初始位姿为所述电子设备在世界坐标系中的三维坐标；所述第二特征点的初始位姿为所述第二特征点在世界坐标系中的三维坐标；
参考图像获取模块803，用于基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像；其中，所述第三特征点属于所述第一特征点；
尺度修复参数确定模块804，用于基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数；
目标位姿确定模块805，用于按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
可选的，所述尺度修复参数确定模块804，具体用于计算所述第三特征点与所述电子设备之间的距离的均值，得到第一距离均值；
计算所述第三特征点在世界坐标系的指定坐标轴的坐标值的均值，作为第二距离均值；
计算所述第一距离均值与所述第二距离均值的比值，得到所述目标图像的尺度修复参数。
可选的，所述目标位姿确定模块805，具体用于分别计算当前所述电子设备的初始位姿与所述尺度修复参数的乘积，以及所述第二特征点的初始位姿与所述尺度修复参数的乘积，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
可选的，所述参考图像获取模块803，具体用于按照预先记录的标定区域的位置，确定各第一特征点在所述目标图像中所占的图像区域，得到备选图像；其中，所述标定区域的位置为：基于所述相机预先采集的待处理图像进行校准确定的；
对所述目标图像进行目标检测，得到所述目标图像中的各目标物体在所述目标图像中所占的图像区域，得到物体图像；
将所述备选图像与所述物体图像进行对比，如果所述备选图像中包括一个目标物体，确定所述待处理图像为参考图像；
如果所述备选图像中包括多个目标物体，从所述备选图像中提取面积最大的目标物体所占图像区域，得到参考图像。
可选的，所述装置还包括：
第二获取模块，用于在所述参考图像获取模块803执行基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像之前，执行获取所述相机采集的包括所述目标场景中放置的标定板的待处理图像，以及所述传感器采集的所述标定板的深度数据；其中，所述标定板的深度数据包括所述标定板中的各特征点与所述电子设备之间的距离；
标定图像获取模块，用于从所述待处理图像中提取所述标定板所占的图像区域，得到标定图像；
三维坐标确定模块，用于基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标；
校准参数确定模块，用于基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数；
标定图像更新模块，用于如果所述校准参数不小于第一阈值，从所述待处理图像中确定新的标定图像，并触发所述三维坐标确定模块执行所述基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标的步骤；
标定区域确定模块，用于如果所述校准参数小于所述第一阈值，确定当前所述标定图像在所述待处理图像中的位置，得到标定区域的位置。
可选的，所述标定图像更新模块，具体用于在所述待处理图像中，按照预设的偏移量对上次确定的标定图像进行偏移，得到新的标定图像。
可选的，所述校准参数确定模块，具体用于基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标和第一预设公式，计算所述标定图像的校准参数；其中，所述第一预设公式为：
Δd表示所述标定图像的校准参数；表示所述标定板中的各特征点与电子设备之间的距离的均值；N表示所述标定板中的特征点的数目；zi表示所述标定板中的第i个特征点在世界坐标系的指定坐标轴的坐标值。
可选的，所述初始位姿确定模块802，具体用于针对所述目标图像中的每一第二特征点，基于该第二特征点的邻域范围内的其他特征点与该第二特征点的距离，生成该第二特征点的特征描述子；
针对所述目标图像的前一帧图像中的每一第四特征点，基于该第四特征点的邻域范围内的其他特征点与该第四特征点的距离，生成该第四特征点的特征描述子；
基于各第二特征点的特征描述子，以及各第四特征点的特征描述子，计算各第二特征点与各第四特征点的匹配关系；
基于各第二特征点与各第四特征点的匹配关系，计算从所述目标图像的前一帧图像至所述目标图像的转换关系，并基于所述转换关系确定当前所述电子设备的初始位姿；
基于各第二特征点在所述目标图像中的二维坐标，以及所述相机的相机参数，计算各第二特征点在所述世界坐标系中的三维坐标，得到所述目标场景中所述相机视野范围内的第二特征点的初始位姿。
可选的，所述电子设备为移动机器人；所述相机为单目相机；所述相机的光轴与水平面平行；所述传感器为单点TOF传感器；所述传感器位于所述相机的正上方或正下方。
基于本申请实施例提供的位姿修复装置，第三特征点的目标深度数据可以表示基于传感器得到的第二特征点的位姿，第二特征点的初始位姿表示基于相机得到的第三特征点的位姿。相应的，基于第三特征点的目标深度数据，以及第三特征点的初始位姿，计算得到的尺度修复参数可以表示：基于传感器得到的第三特征点的位姿与基于相机得到的第三特征点的位姿之间的差异。并且，电子设备的位姿变化的尺度、第二特征点的位姿变化的尺度与第三特征点的位姿变化的尺度相同，因此，基于尺度修复参数对电子设备的初始位姿和目标场景中的第二特征点的初始位姿进行修复，可以提高确定出的电子设备的目标位姿和第二特征点的目标位姿的准确性。
本申请实施例还提供了一种电子设备，如图9所示，包括:
存储器901，用于存放计算机程序；
处理器902，用于执行存储器901上所存放的程序时，实现如下步骤：
获取当前相机采集的目标场景的目标图像，以及当前所述传感器采集的所述目标场景的目标深度数据；其中，所述传感器位于所述相机的视野范围内；所述目标深度数据包括所述目标场景中所述传感器采集范围内的第一特征点与所述电子设备之间的距离；
基于所述目标图像和所述目标图像的前一帧图像，确定当前电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿；其中，所述电子设备的初始位姿为所述电子设备在世界坐标系中的三维坐标；所述第二特征点的初始位姿为所述第二特征点在世界坐标系中的三维坐标；
基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像；其中，所述第三特征点属于所述第一特征点；
基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数；
按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
并且上述电子设备还可以包括通信总线和/或通信接口，处理器902、通信接口、存储器901通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种移动机器人系统，包括数据采集模块和处理器；所述数据采集模块包括相机和传感器；
所述数据采集模块，用于通过所述相机采集目标场景的目标图像，以及通过所述传感器采集所述目标场景的目标深度数据；
所述处理器，用于执行上述任一位姿修复方法步骤。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一位姿修复方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一位姿修复方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者固态硬盘(Solid StateDisk，SSD)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、移动机器人系统、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (14)

1.一种位姿修复方法，其特征在于，所述方法应用于电子设备，所述电子设备包括相机和传感器，所述方法包括：
获取当前所述相机采集的目标场景的目标图像，以及当前所述传感器采集的所述目标场景的目标深度数据；其中，所述传感器位于所述相机的视野范围内；所述目标深度数据包括所述目标场景中所述传感器采集范围内的第一特征点与所述电子设备之间的距离；
基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿；其中，所述电子设备的初始位姿为所述电子设备在世界坐标系中的三维坐标；所述第二特征点的初始位姿为所述第二特征点在世界坐标系中的三维坐标；
基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像；其中，所述第三特征点属于所述第一特征点；
基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数；
按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
2.根据权利要求1所述的方法，其特征在于，所述基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数，包括：
计算所述第三特征点与所述电子设备之间的距离的均值，得到第一距离均值；
计算所述第三特征点在世界坐标系的指定坐标轴的坐标值的均值，作为第二距离均值；
计算所述第一距离均值与所述第二距离均值的比值，得到所述目标图像的尺度修复参数。
3.根据权利要求1所述的方法，其特征在于，所述按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿，包括：
分别计算当前所述电子设备的初始位姿与所述尺度修复参数的乘积，以及所述第二特征点的初始位姿与所述尺度修复参数的乘积，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像，包括：
按照预先记录的标定区域的位置，确定各第一特征点在所述目标图像中所占的图像区域，得到备选图像；其中，所述标定区域的位置为：基于所述相机预先采集的待处理图像进行校准确定的；
对所述目标图像进行目标检测，得到所述目标图像中的各目标物体在所述目标图像中所占的图像区域，得到物体图像；
将所述备选图像与所述物体图像进行对比，如果所述备选图像中包括一个目标物体，确定所述待处理图像为参考图像；
如果所述备选图像中包括多个目标物体，从所述备选图像中提取面积最大的目标物体所占图像区域，得到参考图像。
5.根据权利要求4所述的方法，其特征在于，在所述基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像之前，所述方法还包括：
获取所述相机采集的包括所述目标场景中放置的标定板的待处理图像，以及所述传感器采集的所述标定板的深度数据；其中，所述标定板的深度数据包括所述标定板中的各特征点与所述电子设备之间的距离；
从所述待处理图像中提取所述标定板所占的图像区域，得到标定图像；
基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标；
基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数；
如果所述校准参数不小于第一阈值，从所述待处理图像中确定新的标定图像，并返回执行所述基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标的步骤；
如果所述校准参数小于所述第一阈值，确定当前所述标定图像在所述待处理图像中的位置，得到标定区域的位置。
6.根据权利要求5所述的方法，其特征在于，所述从所述待处理图像中确定新的标定图像，包括：
在所述待处理图像中，按照预设的偏移量对上次确定的标定图像进行偏移，得到新的标定图像。
7.根据权利要求5所述的方法，其特征在于，所述基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数，包括：
基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标和第一预设公式，计算所述标定图像的校准参数；其中，所述第一预设公式为：
Δd表示所述标定图像的校准参数；表示所述标定板中的各特征点与电子设备之间的距离的均值；N表示所述标定板中的特征点的数目；zi表示所述标定板中的第i个特征点在世界坐标系的指定坐标轴的坐标值。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿，包括：
针对所述目标图像中的每一第二特征点，基于该第二特征点的邻域范围内的其他特征点与该第二特征点的距离，生成该第二特征点的特征描述子；
针对所述目标图像的前一帧图像中的每一第四特征点，基于该第四特征点的邻域范围内的其他特征点与该第四特征点的距离，生成该第四特征点的特征描述子；
基于各第二特征点的特征描述子，以及各第四特征点的特征描述子，计算各第二特征点与各第四特征点的匹配关系；
基于各第二特征点与各第四特征点的匹配关系，计算从所述目标图像的前一帧图像至所述目标图像的转换关系，并基于所述转换关系确定当前所述电子设备的初始位姿；
基于各第二特征点在所述目标图像中的二维坐标，以及所述相机的相机参数，计算各第二特征点在所述世界坐标系中的三维坐标，得到所述目标场景中所述相机视野范围内的第二特征点的初始位姿。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述电子设备为移动机器人；所述相机为单目相机；所述相机的光轴与水平面平行；所述传感器为单点TOF传感器；所述传感器位于所述相机的正上方或正下方。
10.一种位姿修复装置，其特征在于，所述装置应用于电子设备，所述电子设备包括相机和传感器，所述装置包括：
第一获取模块，用于获取当前所述相机采集的目标场景的目标图像，以及当前所述传感器采集的所述目标场景的目标深度数据；其中，所述传感器位于所述相机的视野范围内；所述目标深度数据包括所述目标场景中所述传感器采集范围内的第一特征点与所述电子设备之间的距离；
初始位姿确定模块，用于基于所述目标图像和所述目标图像的前一帧图像，确定当前所述电子设备的初始位姿和所述目标场景中所述相机视野范围内的第二特征点的初始位姿；其中，所述电子设备的初始位姿为所述电子设备在世界坐标系中的三维坐标；所述第二特征点的初始位姿为所述第二特征点在世界坐标系中的三维坐标；
参考图像获取模块，用于基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像；其中，所述第三特征点属于所述第一特征点；
尺度修复参数确定模块，用于基于所述参考图像中的第三特征点的目标深度数据和当前所述第三特征点的初始位姿，计算所述目标图像的尺度修复参数；
目标位姿确定模块，用于按照所述尺度修复参数，对当前所述电子设备的初始位姿和所述第二特征点的初始位姿进行修复，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿。
11.根据权利要求10所述的装置，其特征在于，所述尺度修复参数确定模块，具体用于计算所述第三特征点与所述电子设备之间的距离的均值，得到第一距离均值；
计算所述第三特征点在世界坐标系的指定坐标轴的坐标值的均值，作为第二距离均值；
计算所述第一距离均值与所述第二距离均值的比值，得到所述目标图像的尺度修复参数；
所述目标位姿确定模块，具体用于分别计算当前所述电子设备的初始位姿与所述尺度修复参数的乘积，以及所述第二特征点的初始位姿与所述尺度修复参数的乘积，得到当前所述电子设备的目标位姿和所述第二特征点的目标位姿；
所述参考图像获取模块，具体用于按照预先记录的标定区域的位置，确定各第一特征点在所述目标图像中所占的图像区域，得到备选图像；其中，所述标定区域的位置为：基于所述相机预先采集的待处理图像进行校准确定的；
对所述目标图像进行目标检测，得到所述目标图像中的各目标物体在所述目标图像中所占的图像区域，得到物体图像；
将所述备选图像与所述物体图像进行对比，如果所述备选图像中包括一个目标物体，确定所述待处理图像为参考图像；
如果所述备选图像中包括多个目标物体，从所述备选图像中提取面积最大的目标物体所占图像区域，得到参考图像；
所述装置还包括：
第二获取模块，用于在所述参考图像获取模块执行基于所述第一特征点在所述目标图像中所占的图像区域，从所述目标图像中提取包含第三特征点的参考图像之前，执行获取所述相机采集的包括所述目标场景中放置的标定板的待处理图像，以及所述传感器采集的所述标定板的深度数据；其中，所述标定板的深度数据包括所述标定板中的各特征点与所述电子设备之间的距离；
标定图像获取模块，用于从所述待处理图像中提取所述标定板所占的图像区域，得到标定图像；
三维坐标确定模块，用于基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标；
校准参数确定模块，用于基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标，计算所述标定图像的校准参数；
标定图像更新模块，用于如果所述校准参数不小于第一阈值，从所述待处理图像中确定新的标定图像，并触发所述三维坐标确定模块执行所述基于所述标定板中的各特征点在所述标定图像中的二维坐标，以及所述相机的相机参数，确定所述标定板中的各特征点在世界坐标系中的三维坐标的步骤；
标定区域确定模块，用于如果所述校准参数小于所述第一阈值，确定当前所述标定图像在所述待处理图像中的位置，得到标定区域的位置；
所述标定图像更新模块，具体用于在所述待处理图像中，按照预设的偏移量对上次确定的标定图像进行偏移，得到新的标定图像；
所述校准参数确定模块，具体用于基于所述标定板中的各特征点与所述电子设备之间的距离，以及所述标定板的各特征点在所述世界坐标系中的三维坐标和第一预设公式，计算所述标定图像的校准参数；其中，所述第一预设公式为：
Δd表示所述标定图像的校准参数；表示所述标定板中的各特征点与电子设备之间的距离的均值；N表示所述标定板中的特征点的数目；zi表示所述标定板中的第i个特征点在世界坐标系的指定坐标轴的坐标值；
所述初始位姿确定模块，具体用于针对所述目标图像中的每一第二特征点，基于该第二特征点的邻域范围内的其他特征点与该第二特征点的距离，生成该第二特征点的特征描述子；
针对所述目标图像的前一帧图像中的每一第四特征点，基于该第四特征点的邻域范围内的其他特征点与该第四特征点的距离，生成该第四特征点的特征描述子；
基于各第二特征点的特征描述子，以及各第四特征点的特征描述子，计算各第二特征点与各第四特征点的匹配关系；
基于各第二特征点与各第四特征点的匹配关系，计算从所述目标图像的前一帧图像至所述目标图像的转换关系，并基于所述转换关系确定当前所述电子设备的初始位姿；
基于各第二特征点在所述目标图像中的二维坐标，以及所述相机的相机参数，计算各第二特征点在所述世界坐标系中的三维坐标，得到所述目标场景中所述相机视野范围内的第二特征点的初始位姿；
所述电子设备为移动机器人；所述相机为单目相机；所述相机的光轴与水平面平行；所述传感器为单点TOF传感器；所述传感器位于所述相机的正上方或正下方。
12.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法。
13.一种移动机器人系统，其特征在于，包括数据采集模块和处理器；所述数据采集模块包括相机和传感器；
所述数据采集模块，用于通过所述相机采集目标场景的目标图像，以及通过所述传感器采集所述目标场景的目标深度数据；
所述处理器，用于执行权利要求1-9任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
CN202311257059.4A 2023-09-26 2023-09-26 一种位姿修复方法及装置 Pending CN117197245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311257059.4A CN117197245A (zh) 2023-09-26 2023-09-26 一种位姿修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311257059.4A CN117197245A (zh) 2023-09-26 2023-09-26 一种位姿修复方法及装置

Publications (1)

Publication Number Publication Date
CN117197245A true CN117197245A (zh) 2023-12-08

Family

ID=88988702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311257059.4A Pending CN117197245A (zh) 2023-09-26 2023-09-26 一种位姿修复方法及装置

Country Status (1)

Country Link
CN (1) CN117197245A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117419690A (zh) * 2023-12-13 2024-01-19 陕西欧卡电子智能科技有限公司 一种无人船的位姿估计方法、装置及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117419690A (zh) * 2023-12-13 2024-01-19 陕西欧卡电子智能科技有限公司 一种无人船的位姿估计方法、装置及介质
CN117419690B (zh) * 2023-12-13 2024-03-12 陕西欧卡电子智能科技有限公司 一种无人船的位姿估计方法、装置及介质

Similar Documents

Publication Publication Date Title
CN110411441B (zh) 用于多模态映射和定位的系统和方法
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
CN108332752B (zh) 机器人室内定位的方法及装置
US11212511B1 (en) Residual error mitigation in multiview calibration
CN112233177A (zh) 一种无人机位姿估计方法及系统
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN109214254B (zh) 一种确定机器人位移的方法及装置
CN117197245A (zh) 一种位姿修复方法及装置
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
CN112771575A (zh) 距离确定方法、可移动平台及计算机可读存储介质
WO2022147655A1 (zh) 定位方法、空间信息获取方法、装置、拍摄设备
CN110706257B (zh) 有效特征点对的识别方法、相机状态的确定方法及装置
CN117218350A (zh) 一种基于固态雷达的slam实现方法及系统
JP5928010B2 (ja) 道路標示検出装置及びプログラム
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
JP2010145219A (ja) 運動推定装置及びプログラム
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN115272482A (zh) 一种相机外参标定方法及存储介质
CN114661049A (zh) 一种巡检方法、装置及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination