CN115930965A - 一种定位引导方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种定位引导方法、装置、电子设备及存储介质，本申请属于定位引导技术领域。该方法包括：获取第一标记物的标记物特征；以及第二标记物中的各反光球相对于影像坐标系的影像坐标值；确定所述第二标记物相对于第一标记物坐标系的静态坐标值；识别第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。本技术方案，通过建立第一标记物与第二标记物的坐标关系，可以利用第一标记物对第二标记物的坐标值进行计算，提高了定位引导的精度。

Description

一种定位引导方法、装置、电子设备及存储介质

技术领域

本申请属于定位引导技术领域，具体涉及一种定位引导方法、装置、电子设备及存储介质。

背景技术

随着定位技术的日益成熟，越来越多的领域开始使用定位技术辅助执行任务，人们对定位精度也提出了更高的要求，对定位的引导也变得越来越重要。

当前的定位引导方式主要是利用粘贴标记物的方式对定位目标或者定位范围进行标记，通过光学定位系统对标记物的坐标值进行实时的识别，通过计算光学定位系统与影像的坐标转换关系达到利用影像视图进行定位引导的目的。但是当前的定位方式对定位目标有着较高的要求，不仅要求定位目标的位姿不能发生变化，同时要求粘贴于定位目标上的标记物不能发生位移、脱落以及变形等问题。由于上述要求在实际应用中不容易被实现，因此，利用现有技术进行定位引导容易导致定位精度出现偏差的问题。

发明内容

本申请实施例的目的是提供一种定位引导方法、装置、电子设备及存储介质，能够解决当前利用可粘贴标记物进行定位引导容易导致定位精度出现偏差的问题，通过建立第一标记物与第二标记物的坐标关系，可以无需考虑定位目标位姿是否改变以及第二标记物是否脱落等情况，对第二标记物的坐标值进行计算，提高了定位引导的精度和可靠性。

第一方面，本申请实施例提供了一种定位引导方法，所述方法包括：

获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

识别位姿变化后，第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；

根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

进一步的，识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值，包括：

识别所述第一标记物被固定后第二标记物相对于光学定位系统的相对坐标值；以及，识别所述第一标记物坐标系与所述光学定位系统的第一旋转平移矩阵；

根据所述相对坐标值，以及所述第一旋转平移矩阵，确定所述第二标记物相对于第一标记物坐标系的静态坐标值。

进一步的，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值，包括：

读取识别位姿变化后的第二旋转平移矩阵；

根据所述静态坐标值和所述第二旋转平移矩阵，确定所述第二标记物相对于光学定位系统的理论坐标值。

进一步的，根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，包括：

将所述理论坐标值和所述影像坐标值进行匹配，并采用奇异值分解算法确定所述影像相对于所述光学定位系统的变换关系。

进一步的，所述获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值，包括：

将定位目标的二维影像原始数据导入三维模型重建系统，建立三维可视化数字模型；

根据所述二维影像原始数据中第二标记物的各反光球的图像位置，确定第二标记物中的各反光球在三维可视化数字模型中的位置信息；

根据所述三维可视化数字模型中的位置信息，确定第二标记物中的各反光球相对于影像坐标系的影像坐标值。

进一步的，所述第一标记物为“X”形状刚性工具，与定位目标固定。

进一步的，所述第二标记物采用张贴于定位目标表面。

第二方面，本申请实施例提供了一种定位引导装置，所述装置包括：

标记物获取模块，用于获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

静态坐标值确定模块，用于识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

坐标值更新模块，用于确定第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；

定位引导模块，用于根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；识别位姿变化后，第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。通过建立第一标记物与第二标记物的坐标关系，可以直接利用光学定位系统对第一标记物的坐标值进行定位，进而计算出第二标记物的坐标值，避免了由于第二标记物移位、脱落以及变形等导致的无法准确定位的问题，有效提高了定位引导定位的精度和可靠性。

附图说明

图1是本申请实施例一提供的定位引导方法的流程示意图；

图2是本申请实施例二提供的定位引导方法的流程示意图；

图3是本申请实施例三提供的定位引导装置的结构示意图；

图4是本申请实施例四提供的电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的定位引导方法、装置、电子设备及存储介质进行详细地说明。

实施例一

图1是本申请实施例一提供的定位引导方法的流程示意图。所述方法由上位机执行。如图1所示，具体包括如下步骤：

S101，获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

首先，本技术方案的使用场景可以是需要利用定位引导的场景，具体的，可以是将定位目标的影像数据和解剖结构进行准确对应的场景，还可以是对执行工具进行跟踪，进而指导任务进程的场景。通过利用定位引导对任务进程进行指导，可以提高对定位目标定位的准确度。

基于上述使用场景，可以理解，本申请的执行主体可以是上位机中的开发系统，例如控制软件以及具有对下位机发布命令功能的处理器等，此处不做过多限定。

在本方案中，上位机可以是能够直接发出操控命令的计算机，屏幕上可以显示各种信号变化。上位机发出的命令首先给下位机，下位机再根据此命令解释成相应时序信号直接控制相应设备，下位机不时读取设备状态数据，转换成数字信号反馈给上位机，具体的，本方案中的上位机可以对下位机发出控制和计算的指令，控制下位机进行标记物坐标值的计算。

在本方案中，标记物可以是设置在定位目标周围，能够用于定位引导系统进行定位的物体，具体的，所述定位引导系统包括光学定位系统以及影像，所述标记物需要能够被光学定位系统识别，同时能够呈现在影像中。第一标记物的标记物特征可以是能够将第一标记物识别且区分于其他标记物的特征，具体的，可以是第一标记物的形状、颜色以及结构等特征中的一种或多种。所述第一标记物可以是由金属以及塑料等不易发生形变的材料制成的“X”形状的刚性标记物，在定位引导过程中，将所述标记物固定在定位目标附近且该标记物的位置无法移动。所述“X”形状的刚性标记物可以是由“X”形状的刚性支架以及在该支架的四个端点处固定的具有反光特性的球形或者方形立体物组成。第二标记物可以是在执行过程中，粘贴在定位目标表面，能够被光学定位系统以及影像识别的，具有反光作用的球形或者方形立体物，具体的，可以是反光标记球等。所述反光标记球表面由数以万计的微珠组成，这些微珠可以反射红外光，进而精准定位每一个标记点。

在本方案中，影像可以是为了目标定位，以非侵入方式，利用计算机对二维数字断层图像序列形成的三维体数据进行处理，将其变换为具有直观立体效果的图像，具体的，可以是通过影像三维重建软件，利用MRI(Magnetic Resonance Imaging，核磁共振成像)以及CT(Computed Tomography，电子计算机体层扫描)影像数据进行三维重建，获取定位目标的立体形态的影像。所述MRI成像原理是依据释放的能量或者信号，在物质内部不同结构环境中有不同的衰减，通过外加的磁场检测所发射出的电磁波，可以得知构成该物体原子核的位置和种类，从而绘制物体内部的结构图像。所述CT成像原理是利用X射线束对定位目标某部一定厚度的层面进行扫描，由探测器接收透过该层面的X射线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器转为数字，输入计算机处理绘制图像。所述影像可以用于执行人员对定位目标体内的结构进行观测，定位执行工具以及定位目标进而达到对任务进程进行指引的目的。

在本方案中，上位机可以通过影像获取第一标记物的标记特征，具体的，可以是获取该标记物的形状、位置以及反光标记物的数量等内容。所述第二标记物可以利用可卸载胶水等，固定在定位目标附近的表面。所述影像坐标系可以是将影像数据导入三维重建软件，并利用三维重建软件重建的三维坐标系，所述三维重建软件可以是Mimics、Simpleware以及3D-Doctor等，通过三维重建软件获取第二标记物中的各反光球相对于影像坐标系的影像坐标值。

基于上述实施例，可选的，所述第一标记物为“X”形状刚性工具，与定位目标固定。

在本方案中，“X”形状刚性工具可以是由刚性材料制作的，整体结构为“X”形状的，带有反光标记物的定位工具，具体的，所述反光标记物可以是在该结构的四个端点处进行打孔安装的反光标记球，该标记球用于定位引导系统的定位识别，且每个标记球在端点处的位置保持不变。所述“X”形状刚性工具带有底座，用于支撑该工具以及与定位目标固定，且该工具自身与底座固定不能旋转。所述刚性材料可以是在外力作用下不容易发生变形的材料，具体的，可以是硬度较高的塑料、金属以及合成材料等，所述材料既要求重量较轻，也需要体积适中。

在本方案中，所述第一标记物的固定位置可以是在定位目标附近，具体的，所述固定位置与定位目标需要距离适中，在不影响执行人员执行视野与任务进程的前提下，尽可能地保持定位引导系统对第一标记物的定位精准度。

在本方案中，利用“X”形状刚性工具作为第一标记物，可以避免由于执行过程中执行工具与标记物的触碰导致的标记物变形以及失效等问题，同时将标记物结构设置为“X”形状，可以在该标记物的各个端点处设置反光标记球，相当于固定一个刚性工具同时获得四个定位坐标，提高了定位的精度。利用克氏针将第一标记物固定在定位目标附近，可以有效防止标记物发生脱落以及移位等情况，提高了定位准确性。

基于上述实施例，可选的，所述第二标记物采用张贴于定位目标表面。

在本方案中，第二标记物可以是具有反光特性，能够被光学定位系统以及影像识别的标记物，具体的，可以是表面涂有反光材料的反光标记球，该反光标记球可以反射定位引导系统发出的红外光，反射回定位引导系统镜头中的红外光被多个镜头上的感应器矩阵接收，进而获取其球心三维坐标。所述第二标记物的大小与定位目标的面积有关，若定位目标面积越小，则第二标记物越小。所述第二标记物通过可卸载胶水张贴在定位目标附近，所述可卸载胶水可以是具有对定位目标安全、绿色、可吸收特征的胶水，具体的，所述可卸载胶水可直接接触定位目标表面，不影响定位目标状态以及任务进程。对定位目标进行定位时，需要至少设置三个第二标记物，以获取其三维坐标，且两个标记物之间不能距离太近，否则易造成系统无法正确识别，同时标记物之间需要以非直线、非对称方式排布，使系统能够正确识别其方向以及坐标值。

在本方案中，利用第二标记物张贴在定位目标附近的表面上，可以在距离定位目标较近的位置进行定位，提高了定位引导的精度，同时由于第二标记物利用可卸载胶水进行张贴，因此，在第二标记物影响执行人员视野时，可以随时被卸载，避免了标记物影响任务进程。

基于上述实施例，可选的，所述获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值，包括：

将定位目标的二维影像原始数据导入三维模型重建系统，建立三维可视化数字模型；

根据所述二维影像原始数据中第二标记物的各反光球的图像位置，确定第二标记物中的各反光球在三维可视化数字模型中的位置信息；

根据所述三维可视化数字模型中的位置信息，确定第二标记物中的各反光球相对于影像坐标系的影像坐标值。

在本方案中，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视图的信息不完全，因此三维重建需要利用经验知识，而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。三维可视化数字模型可以是利用图像识别，提取二维图像的数字断层图像序列，形成三维体数据，并利用该数据将二维影像变换为具有直观立体效果的图像，具体的，可以是上位机获取定位目标的二维影像之后对下位机发出指令，下位机将所述二维影像的原始数据导入三维模型重建系统，系统通过编码重建三维可视化数字模型。

在本方案中，二维影像原始数据可以是定位目标数据以及第二标记物的各反光球的图像位置数据，通过编码将二维影像与三维可视化数字模型对应，确定第二标记物中的各反光球在三维可视化数字模型中的位置信息。根据所述三维可视化数字模型中的位置信息，确定第二标记物中的各反光球相对于影像坐标系的影像坐标值，所述目标定位影响坐标系可以是三维可视化数字模型的坐标系，通过将二维影像数据导入定位引导软件系统中，重建三维可视化数字模型，并算法提取第二标记物中各反光球相对于影像坐标系的影像坐标值，将该坐标值记为Pimg-2nd＝{P1 img，P2 img，P3 img，...，Pn img}。

在本方案中，通过利用二维影像数据重建三维可视化数字模型，可以获取第二标记物中的各反光球相对于影像坐标系的影像坐标值，利用影像坐标值获取定位目标的定位，提高了执行的安全性。

S102，识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

在本方案中，第一标记物坐标系可以是第一标记物针对自身所建立的坐标系，具体的，可以是使用光学定位系统制作第一标记物的工具文件，所述工具文件包含第一标记物的各个反光标记球在自身坐标系下的坐标值。由于光学定位系统中具有识别第一标记物以及制作工具文件功能的软件，因此，可以利用该软件对所述第一标记物定义一个坐标系，该坐标系即为第一标记物坐标系，并计算所述第一标记物的每个端点处安装的标记球在第一标记物坐标系下的坐标值，记为Ptool-1st＝{P1 tool，P2 tool，P3 tool，...，Pntool}。所述第二标记物相对于第一标记物坐标系的静态坐标值可以是所述第二标记物中的每一个反光标记球与第一标记物中的所有端点处的标记球的相对位置是保持不变的，即两类标记物中的标记球的相对距离保持不变，因此，在第二标记物脱落或者被卸载之后，可以通过光学定位系统获取第一标记物的坐标值，并利用第一标记物的坐标值即可计算第二标记物的坐标值。

基于上述实施例，可选的，识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值，包括：

识别所述第一标记物被固定后第二标记物相对于光学定位系统的相对坐标值；以及，识别所述第一标记物坐标系与所述光学定位系统的第一旋转平移矩阵；

根据所述相对坐标值，以及所述第一旋转平移矩阵，确定所述第二标记物相对于第一标记物坐标系的静态坐标值。

在本方案中，第二标记物相对于光学定位系统的相对坐标值可以是利用光学定位系统，识别并计算第二标记物的坐标值，具体的，可以是光学定位系统使用若干红外摄像机发出红外光，并对该空间进行覆盖拍摄，而第二标记物中的反光标记球对所述红外光进行反射，摄像机捕捉在红外光线在空间中被反射的红外光，便能利用算法进行计算这些点在空间中的相对位置变化就能得到第二标记物相对于光学定位系统的相对坐标值，将该坐标值记为Ptpt-2nd＝{P1 opt，P2 opt-2nd，...，Pn opt-2nd}。所述第一旋转平移矩阵可以是第一标记物自身坐标系到光学定位系统坐标系的旋转平移矩阵，具体的，可以是获取工具文件下的第一标记物的坐标值(A1，A2...)以及当前帧下第一标记物在光学定位仪坐标系下的坐标值(B1，B2...)，计算相同坐标系下两两标记球之间的距离并按照距离排序，使标记球在不同坐标系下的坐标值一一对应(A1对应B1；A2对应B2...)即可得到对应坐标值，进而利用奇异值分解算法求出第一旋转平移矩阵，记为[Rto，Tto]。

在本方案中，由于第一旋转平移矩阵为第一标记物自身坐标系到光学定位系统坐标系的旋转平移矩阵，因此，所述静态坐标值可以是利用所述第一旋转平移矩阵求出，具体的，可以是光学定位系统根据所述第二标记物相对于光学定位系统的相对坐标值以及所述第一旋转平移矩阵，利用点坐标变换公式Popt-2nd＝Rto×Ptool-2nd-in-1st+Tto，求出第二标记物在第一标记物Ptool-1st的坐标系下坐标值，记为Ptool-2nd-in-1st。由于上述过程为计算第二标记物在第一标记物坐标系下的坐标值，因此，为了保证计算结果的可靠性，在此过程中结束前，定位目标的位姿必须保持不动。

在本方案中，通过对第一标记物坐标系与所述光学定位系统的第一旋转平移矩阵的计算，可以得到第一标记物坐标系与光学定位系统坐标系的转换关系，并根据第二标记物相对于光学定位系统的相对坐标值以及第一旋转平移矩阵，计算所述第二标记物相对于第一标记物坐标系的静态坐标值。由于第一标记物与定位目标固定，因此，在第二标记物脱落或者卸载后，通过对第一标记物坐标值的计算得出第二标记物的坐标值，避免了由于定位目标位姿移动导致的标记物脱落以及标记物影响执行人员视野等问题，提高了定位引导的可靠性。

S103，识别位姿变化后，第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；

在本方案中，第一标记物在自身坐标系下的坐标值是不会改变的，而在定位目标位姿移动后，所述第一标记物在光学定位系统下的坐标值发生了改变。因此，第二旋转平移矩阵可以是，第一标记物自身坐标系到光学定位系统坐标系的新的旋转平移矩阵，具体的，可以是获取工具文件下的第一标记物的坐标值(A1，A2...)以及当前帧下第一标记物在光学定位仪坐标系下新的坐标值(B1′，B2′...)，计算相同坐标系下两两标记球之间的距离并按照距离重新排序，使标记球在不同坐标系下的坐标值一一对应(A1对应B1′；A2对应B2′...)即可得到对应坐标值，进而利用奇异值分解算法求出第二旋转平移矩阵，可以记为[Rto′，Tto′]。定位目标在位姿发生变化，可能会导致标记球脱落或者失效等问题，光学定位系统在识别到位姿变化后，可以利用第二旋转平移矩阵，根据所述第二标记物的静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值，具体的，可以是将当前位姿的第二标记物在光学定位系统下坐标值记为Popt-2nd′＝{P1 opt-2nd′，P2 opt-2nd′，...，Pn opt-2nd′}，并利用点坐标公式Popt-2nd′＝Rto′×Ptool-2nd-in-1st+Tto′'计算得出。

S104，根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

在本方案中，所述影像相对于所述光学定位系统的变换关系可以是根据第二标记物相对于光学定位系统的理论坐标值与该标记物的影像坐标值进行对应，并利用奇异值算法对这两个坐标值数集进行解算，得到影像空间到光学定位系统的变换关系，并以此进行定位引导。

在本方案中，定位引导可以是在执行任务之前，对定位目标进行定位以及将定位的位置反馈至执行控制端，引导任务执行的操作过程。具体的，可以是，对定位目标多模式的图像数据进行三维重建和可视化处理，获得三维模型；通过光学定位系统进行注册操作，把三维模型与定位目标的实际体位、空间中执行工具的实时位置统一在一个坐标系下，利用三维定位系统，对执行工具在空间中的位置实时采集并显示，执行人员通过观察三维模型中执行工具与目标位置的相对位置关系，对定位目标进行任务操作。

基于上述实施例，可选的，根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，包括：

将所述理论坐标值和所述影像坐标值进行匹配，并采用奇异值分解算法确定所述影像相对于所述光学定位系统的变换关系。

在本方案中，所述理论坐标值可以是基于当前定位目标的位姿，第二标记物在光学定位系统中的坐标值，具体的，可以是利用第二旋转平移矩阵以及第一标记物在光学系统下的坐标计算得出。所述影像坐标值可以是与所述理论坐标值对应的同一标记物在影像中的坐标值，具体的，可以是该标记物在影像的三维可视化模型中的坐标值。定位引导系统将所述理论坐标值和所述影像坐标值进行对应，并采用奇异值分解算法确定所述影像相对于所述光学定位系统的变换关系。

在本方案中，通过将位姿变化后的第二标记物在光学定位系统下的理论坐标值与该标记物的影像坐标值进行匹配，并采用奇异值分解算法确定所述影像相对于所述光学定位系统的变换关系，可以达到对第二标记物实时定位并将定位结果反馈至影像的目的，提高了定位引导的准确定性。

本实施例所提供的技术方案，获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；识别位姿变化后，第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。通过上述定位引导方法，能够解决当前利用可粘贴标记物进行定位引导容易导致定位精度出现偏差的问题，通过建立第一标记物与第二标记物的坐标关系，可以无需考虑定位目标位姿是否改变以及第二标记物是否脱落等情况，对第二标记物的坐标值进行计算，提高了定位引导的精度和可靠性。

实施例二

图2是本申请实施例二提供的一种定位引导方法的流程示意图。如图2所示，具体包括如下步骤：

S201，获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

S202，识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

S203，识别位姿变化后，第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；

S204，读取识别位姿变化后的第二旋转平移矩阵；

在本方案中，定位引导系统可以通过编码识别位姿变化后的第二旋转平移矩阵，定位目标位姿发生变化之后，第一标记物在光学定位系统中的坐标值也会改变，所述第二旋转平移矩阵可以是光学定位系统根据第一标记物在光学定位系统中新的坐标值以及第一标记物在自身坐标系下的坐标值计算得到的旋转平移矩阵。

S205，根据所述静态坐标值和所述第二旋转平移矩阵，确定所述第二标记物相对于光学定位系统的理论坐标值；

在本方案中，所述静态坐标值可以是第二标记物在第一标记物坐标系下的坐标值，具体的，该坐标值可以通过第一旋转平移矩阵以及点坐标变换公式计算得出。所述第二标记物相对于光学定位系统的理论坐标值可以是光学定位系统通过计算第一标记物在光学定位系统坐标系下新的坐标值，利用点坐标计算公式以及第二旋转平移矩阵计算得出。

S206，根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

本申请实施例所提供的技术方案，通过识别定位目标位姿变化后，计算第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵，并读取识别位姿变化后的第二旋转平移矩阵，根据所述静态坐标值和所述第二旋转平移矩阵，确定所述第二标记物相对于光学定位系统的理论坐标值，可以在不对第二标记物进行光学定位的情况下，计算出第二标记物相对于光学定位系统的理论坐标值，避免了由于第二标记物变形、移位、脱落以及影响任务进程的问题，提高定位引导的可靠性以及提升任务执行的成功率。

实施例三

图3是本申请实施例三提供的定位引导装置的结构示意图。如图3所示，具体包括如下：

标记物获取模块301，用于获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

静态坐标值确定模块302，用于识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

坐标值更新模块303，用于确定第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；

定位引导模块304，用于根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

进一步的，所述静态坐标值确定模块，具体用于：

识别所述第一标记物被固定后第二标记物相对于光学定位系统的相对坐标值；以及，识别所述第一标记物坐标系与所述光学定位系统的第一旋转平移矩阵；

根据所述相对坐标值，以及所述第一旋转平移矩阵，确定所述第二标记物相对于第一标记物坐标系的静态坐标值。

进一步的，所述坐标值更新模块，具体用于：

读取识别位姿变化后的第二旋转平移矩阵；

根据所述静态坐标值和所述第二旋转平移矩阵，确定所述第二标记物相对于光学定位系统的理论坐标值。

进一步的，所述定位引导模块，具体用于：

将所述理论坐标值和所述影像坐标值进行匹配，并采用奇异值分解算法确定所述影像相对于所述光学定位系统的变换关系。

进一步的，所述标记物获取模块，具体用于：

将定位目标的二维影像原始数据导入三维模型重建系统，建立三维可视化数字模型；

根据所述二维影像原始数据中第二标记物的各反光球的图像位置，确定第二标记物中的各反光球在三维可视化数字模型中的位置信息；

根据所述三维可视化数字模型中的位置信息，确定第二标记物中的各反光球相对于影像坐标系的影像坐标值。

进一步的，所述第一标记物为“X”形状刚性工具，与定位目标固定。

进一步的，所述第二标记物采用张贴于定位目标表面。

本实施例所提供的技术方案，标记物获取模块，用于获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；静态坐标值确定模块，用于识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；坐标值更新模块，用于确定第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；定位引导模块，用于根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。通过上述定位引导装置，能够解决能够解决当前利用可粘贴标记物进行定位引导容易导致定位精度出现偏差的问题，通过建立第一标记物与第二标记物的坐标关系，可以无需考虑定位目标位姿是否改变以及第二标记物是否脱落等情况，对第二标记物的坐标值进行计算，提高了定位引导的精度和可靠性。

本申请实施例中的定位引导装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的定位引导装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的定位引导装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

实施例四

如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述定位引导方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

实施例五

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述定位引导方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

实施例六

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述定位引导方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种定位引导方法，其特征在于，所述方法由上位机执行，所述方法包括：

获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

识别位姿变化后，第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；

根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

2.根据权利要求1所述的方法，其特征在于，识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值，包括：

识别所述第一标记物被固定后第二标记物相对于光学定位系统的相对坐标值；以及，识别所述第一标记物坐标系与所述光学定位系统的第一旋转平移矩阵；

根据所述相对坐标值，以及所述第一旋转平移矩阵，确定所述第二标记物相对于第一标记物坐标系的静态坐标值。

3.根据权利要求1所述的方法，其特征在于，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值，包括：

读取识别位姿变化后的第二旋转平移矩阵；

根据所述静态坐标值和所述第二旋转平移矩阵，确定所述第二标记物相对于光学定位系统的理论坐标值。

4.根据权利要求1所述的方法，其特征在于，根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，包括：

将所述理论坐标值和所述影像坐标值进行匹配，并采用奇异值分解算法确定所述影像相对于所述光学定位系统的变换关系。

5.根据根据权利要求1所述的方法，其特征在于，所述获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值，包括：

将二维影像原始数据导入三维模型重建系统，建立三维可视化数字模型；根据所述二维影像原始数据中第二标记物的各反光球的图像位置，确定第二标记物中的各反光球在三维可视化数字模型中的位置信息；

根据所述三维可视化数字模型中的位置信息，确定第二标记物中的各反光球相对于影像坐标系的影像坐标值。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述第一标记物为“X”形状刚性工具，与定位目标固定。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述第二标记物采用张贴于定位目标表面。

8.一种定位引导装置，其特征在于，所述装置配置于上位机，所述装置包括：

标记物获取模块，用于获取第一标记物的标记物特征；以及，获取第二标记物被固定后采集到的第二标记物中的各反光球相对于影像坐标系的影像坐标值；

静态坐标值确定模块，用于识别所述第一标记物被固定后，确定所述第二标记物相对于第一标记物坐标系的静态坐标值；

坐标值更新模块，用于确定第一标记物坐标系与所述光学定位系统的第二旋转平移矩阵；以及，根据所述静态坐标值确定所述第二标记物相对于光学定位系统的理论坐标值；

定位引导模块，用于根据所述理论坐标值和所述影像坐标值，确定所述影像相对于所述光学定位系统的变换关系，并以此进行定位引导。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7中任一项所述的定位引导方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7中任一项所述的定位引导方法的步骤。

Images