CN111821025B - 空间定位方法、装置、设备、存储介质以及导航棒 - Google Patents

空间定位方法、装置、设备、存储介质以及导航棒 Download PDF

Info

Publication number
CN111821025B
CN111821025B CN202010707497.6A CN202010707497A CN111821025B CN 111821025 B CN111821025 B CN 111821025B CN 202010707497 A CN202010707497 A CN 202010707497A CN 111821025 B CN111821025 B CN 111821025B
Authority
CN
China
Prior art keywords
navigation
coordinate system
image
camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010707497.6A
Other languages
English (en)
Other versions
CN111821025A (zh
Inventor
刘翌勋
秦陈陈
姚建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010707497.6A priority Critical patent/CN111821025B/zh
Publication of CN111821025A publication Critical patent/CN111821025A/zh
Priority to JP2022550861A priority patent/JP7449400B2/ja
Priority to EP21846816.3A priority patent/EP4169471A4/en
Priority to PCT/CN2021/098817 priority patent/WO2022017022A1/zh
Application granted granted Critical
Publication of CN111821025B publication Critical patent/CN111821025B/zh
Priority to US17/746,775 priority patent/US20220273376A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems

Abstract

本申请公开了一种空间定位方法、装置、设备、存储介质以及导航棒，属于人工智能技术领域。所述方法包括：获取由相机对目标场景进行拍摄得到的图像；识别图像中的标记点信息；根据标记点在图像对应二维位置坐标以及三维位置坐标，确定相机在导航棒对应的三维坐标系中的位置信息；基于相机在导航棒对应的三维坐标系中的位置信息，确定导航棒对应的三维坐标系与相机对应的三维坐标系之间的空间变换关系；基于导航棒的待检测位置在导航棒对应的三维坐标系中的三维位置坐标以及空间变换关系，确定导航棒的待检测位置的空间位置信息。本申请实施例的技术方案扩大了空间定位范围，提升了空间定位的灵活性，降低了空间定位成本。

Description

空间定位方法、装置、设备、存储介质以及导航棒
技术领域
本申请涉及人工智能技术领域，特别涉及一种空间定位方法、装置、设备、存储介质以及导航棒。
背景技术
手术导航系统是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，在手术导航系统中需要对目标位置进行空间定位，使外科手术更快速、更精确且更安全。
传统的空间定位方法需要借助主机、跟踪器以及跟踪工具。其中跟踪器与主机相连，跟踪器中包括红外发射装置和立体相机。红外发射装置发射红外线并经固定在跟踪工具上的反射球反射后在立体相机中成像，然后通过跟踪工具上的反射球的位置作为参考，来对跟踪工具上的针尖进行定位。其中，跟踪工具在临床上又称为导航棒，需要在跟踪器的跟踪范围内面向跟踪器移动，以完成空间定位。
传统的空间定位方法所需成本高、工作范围有限且导航棒转动角度有限。
发明内容
本申请实施例提供了一种空间定位方法、装置、设备、存储介质以及导航棒，能够扩大空间定位范围，提升导航棒移动灵活性，降低空间定位成本。
一方面，本申请实施例提供了一种空间定位方法，所述方法包括：
获取由相机对目标场景进行拍摄得到的图像，所述图像中包括位于所述目标场景内的导航棒，所述导航棒的外表面具有用于对所述导航棒进行定位的标记点阵列；
识别所述图像中的标记点信息，所述标记点信息用于指示所述图像中包含的标记点在所述标记点阵列中的位置；
根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，确定所述相机在所述导航棒对应的三维坐标系中的位置信息；
基于所述相机在所述导航棒对应的三维坐标系中的位置信息，确定所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的空间变换关系；
基于所述导航棒的待检测位置在所述导航棒对应的三维坐标系中的三维位置坐标以及所述空间变换关系，确定所述导航棒的待检测位置在所述相机对应的三维坐标系中的三维位置坐标，作为所述导航棒的待检测位置的空间位置信息。
另一方面，本申请情实施例提供了一种空间定位装置，所述装置包括：
图像获取模块，用于获取由相机对目标场景进行拍摄得到的图像，所述图像中包括位于所述目标场景内的导航棒，所述导航棒的外表面具有用于对所述导航棒进行定位的标记点阵列；
标记识别模块，用于识别所述图像中的标记点信息，所述标记点信息用于指示所述图像中包含的标记点在所述标记点阵列中的位置；
相机定位模块，用于根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，确定所述相机在所述导航棒对应的三维坐标系中的位置信息；
空间变换模块，用于基于所述相机在所述导航棒对应的三维坐标系中的位置信息，确定所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的空间变换关系；
定点定位模块，用于基于所述导航棒的待检测位置在所述导航棒对应的三维坐标系中的三维位置坐标以及所述空间变换关系，确定所述导航棒的待检测位置在所述相机对应的三维坐标系中的三维位置坐标，作为所述导航棒的待检测位置的空间位置信息。
另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述空间定位方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述空间定位方法。
再一方面，本申请实施例提供了一种用于空间定位的导航棒，所述导航棒包括：棒体、探测头和外壳，其中：
所述探测头连接于所述棒体的一端；
所述棒体内部具有容置腔，所述容置腔中放置有驱动所述导航棒的电路组件；
所述外壳套装于所述棒体外侧，在所述外壳的外表面上具有用于对所述导航棒进行定位的标记点阵列。
还一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述空间定位方法。
本申请实施例提供的技术方案可以带来如下有益效果：
以相机的拍摄范围作为空间定位范围，仅采用导航棒与终端设备构成空间定位系统，可提取相机在任意角度所拍摄图像中标记点的分布特征，确定标记点对应的二维坐标以及三维坐标并以此为基础估计相机位姿，得到局部坐标系与相机坐标系之间的空间转换关系，按照上述空间转换关系对待检测位置进行空间定位，扩大了空间定位范围，提升空间定位的灵活性，降低了空间定位成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的空间定位系统的示意图；
图2示例性示出了一种空间定位的用户界面的示意图；
图3示例性示出了一种空间测距的用户界面的示意图；
图4示例性示出了一种空间轮廓线绘制的用户界面的示意图；
图5是本申请一个实施例提供的用于空间定位的导航棒的示意图；
图6示例性示出了一种标记点阵列中标记点分布的示意图；
图7是本申请一个实施例提供的空间定位方法的流程图；
图8示例性示出了一种相机成像模型的示意图；
图9是本申请另一个实施例提供的空间定位方法的流程图；
图10是本申请一个实施例提供的空间定位装置的框图；
图11是本申请另一个实施例提供的空间定位装置的框图；
图12是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能技术的计算机视觉技术，为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的空间定位系统的示意图。该空间定位系统可以包括：终端10和导航棒20。
终端10可以是诸如手机、平板电脑、游戏主机、可穿戴设备、PC(PersonalComputer，个人计算机)等电子设备。可选地，终端10是诸如基于Android(安卓)系统的平板电脑之类的可移动终端设备，使用上述可移动终端设备可以替代传统空间定位系统中所需PC与跟踪器，减少了空间定位系统内的设备数量。可选地，上述可移动终端设备与导航棒20之间无物理连接，以替代传统PC与跟踪器之间的有线连接，并且上述可移动终端设备无需跟踪器即可对导航棒进行空间定位。
可选地，终端10中安装应用程序的客户端。在本申请实施例中，上述应用程序可以是任何能够显示对目标场景进行拍摄得到的图像，以供用户在目标场景中对导航棒的待检测位置(如针尖位置)进行空间定位的应用程序。典型地，该应用程序为神经外科手术导航应用程序。上述神经外科手术导航应用程序安装在终端10中，为完成神经外科手术导航功能，还需配备一种导航棒，上述导航棒是用于在神经外科手术场景中进行空间定位的手术器械。当然，除了神经外科手术导航应用程序之外，其它类型的应用程序中也可以向用户显示目标场景，并完成空间定位的功能。例如，虚拟现实(Virtual Reality，VR)类应用程序、增强现实(Augmented Reality，AR)类应用程序、三维地图程序、军事仿真程序、图形绘制类程序、模型绘制类应用程序等，本申请实施例对此不作限定。
另外，对于不同的应用程序来说，其所提供的目标场景也会有所不同，且相应的功能也会有所不同，这都可以根据实际需求预先进行配置，本申请实施例对此不作限定。
上述导航棒20是一种用于空间定位的手术器械。可选地，导航棒的外表面具有用于对导航棒进行定位的标记点阵列。上述标记点阵列是标记点按照一定的特征分布形成的阵列，其特征分布可以在上述终端10中的相机所拍摄的图像中呈现并可以被终端10所识别，通过标记点阵列中标记点的分布特征可以获得上述导航棒20的空间位置信息。
在一些实施例中，上述神经外科手术导航应用程序中包括三种功能，分别是空间定位功能、空间测距功能以及空间轮廓线绘制功能。
在一个示例中，请参考图2，其示出了一种空间定位的用户界面的示意图。用户界面20中包括目标场景21、选项按钮22、开始按钮23和功能切换按钮24。其中目标场景21中包括导航棒25，导航棒25的外表面分布有标记点26，在标记点中心显示检测标记27。导航棒的棒尖28为空间定位的待检测位置，在导航棒的棒尖28所处的位置旁显示导航棒的棒尖28的坐标信息29。上述功能按钮24用于切换上述空间定位功能、空间测距功能以及空间轮廓线绘制功能。可选地，每点击一次切换按钮24，上述神经外科手术导航应用程序便切换一种功能。例如，首次点击功能切换按钮24后对应的功能是空间定位功能，再次点击功能切换按钮24后对应的功能是空间测距功能，再次点击功能切换按钮24后对应的功能是空间轮廓线绘制功能，以此类推。
在一个示例中，请参考图3，其示出了一种空间测距的用户界面的示意图。其中，用户界面20中显示有导航棒的棒尖28在两个位置之间的连线31以及连线31对应的移动距离信息32。
在一个示例中，请参考图4，其示出了一种空间轮廓线绘制的用户界面的示意图。其中，用户界面中显示有导航棒的棒尖28形成的轨迹41。可选地，在用户界面中显示轨迹41的长度信息42。
在图2-4中，仅以记号笔代替导航棒，记号笔的笔尖位置代替了导航棒的棒尖位置做出示意性说明，本申请对导航棒的具体形状与样式不做限定。
在示例性实施例中，上述导航棒25与上述终端10可以构成神经外科手术导航系统。可选地，上述功能切换按钮24设置于导航棒25上。可选地，终端10和导航棒25之间通过近距离无线通信连接从而可以互相通信。例如，用户按动上述功能切换按钮24时，导航棒25向终端10发送功能切换信号，终端10响应于上述功能切换信号，执行所切换到的功能对应的程序，以执行用户选定的功能。通过操作设置在导航棒25上功能切换按钮24来切换上述三种功能，进一步提升了上述手术导航系统的易用性。本申请实施例对上述终端10与终端25之间采用的物联网连接技术不做限定。
请参考图5，其示出了本申请实施例提供的用于空间定位的导航棒的示意图。该导航棒50包括棒体51、探测头52和外壳(图中未示出)。其中：
探测头52连接于棒体51的一端。可选地，探测头52为针状探测头，使用探测头的针尖位置作为空间定位的待检测位置对空间中任意一点进行定位，提升空间定位的准确性。可选地，探测头52的材质为金属材质或者陶瓷材质。可选地，棒体51为圆柱体或者棱柱体。当棒体51为圆柱体时，其外表面更加便于分布标记点并使标记点在任意角度都具有良好的显示效果，提升标记点的可被识别性以及识别准确性。
棒体51内部具有容置腔(图中未示出)，容置腔中放置有驱动导航棒50的电路组件(图中未示出)。可选地，棒体51内部为中空结构，具有容置腔，上述容置腔为圆柱形中空空间，可用于存放电源以及上述电路组件。可选地，上述电路组件包括电路板。可选地，上述电路板为印刷电路板(Printed Circuit Board，PCB)或者柔性电路板(Flexible PrintedCircuit，FPC)。可选地，上述电路组件中包括电路元器件或者半导体器件，例如处理芯片、射频天线、电阻、电容等元器件。
外壳套装于棒体51外侧，在外壳的外表面上具有用于对导航棒50进行定位的标记点阵列54。可选地，上述外壳的形状由上述棒体51决定，比如当上述棒体51位圆柱形时，上述外壳为圆柱形外壳，用于分布上述标记点阵列54以及对棒体51进行保护。
可选地，外壳与棒体51之间为可拆卸连接。可选地，在条件允许时，外壳可以套装于另一手术器械外侧，此时可以形成一个新的导航棒，能有效减少空间定位系统中设备数量，使得本申请实施例提供的空间定位方法的应用场景更加丰富，同时减少制作材料的消耗，具有环保效果。
可选地，标记点阵列54包括沿棒体51的轴向分布的n个标记点列，n为大于1的整数。上述棒体51的轴向是指与棒体中心轴55平行的方向。可选地，标记点阵列54中标记点列的数量n由上述棒体51所在的圆柱的半径决定，用于保证在任意角度观察上述导航棒50时至少有两列标记点列可见。可选地，在任意角度观察上述导航棒50时有三列标记点列可见，其中一列标记点列为备用标记点列。
可选地，任意两个标记点列中的标记点53分布均不相同，通过标记点53分布的特征可以判断标记点53所在的标记点列在标记点阵列54中的位置。
可选地，每个标记点列中包含相同数量的标记点53，且任意两个标记点列中的标记点53分布均不相同。可选地，上述标记点53是有源标记点或者无源标记点。上述有源标记点是指需电源来实现显示功能的标记点。上述无源标记点无需电源提供能量，通过标记点图案或者标记点使用材料实现标记功能。可选地，不同导航棒50中标记点列的标记点53的数量不同，通过标记点列的标记点数量可以区分图像中不同的导航棒50。标记点列包括标记点位置和空缺位置，标记点位置上具有标记点53，空缺位置上不具有标记点53。任意两个标记点列中的标记点位置和空缺位置的分布均不相同。
在示例性实施例中，如图6所示，其示出了一种标记点阵列中标记点分布的示意图。其中，标记点阵列60中包含6列标记点列61，每列标记点列61上具有9个位置62。在每列标记点列的9个位置中有8个标记点位置分布有标记点63，有1个是空缺位置64，在空缺位置64上未分布有标记点63。上述空缺位置64在标记点列61中的排序位置可以决定标记点列61在标记点阵列60中的位置，图6中第一列标记点列的空缺位置64是第2个位置，第二列标记点列的空缺位置64是第3个位置，以此类推。若已知空缺位置64在排序位置，便可依据上述关系确定该空缺位置64所在的标记点列61在标记点阵列60中的位置。
可选地，在上述导航棒50的棒体51上设置有按钮(图中未示出)以供用户操作。可选地，上述按钮为功能切换按钮，上述功能切换按钮设置于上述棒体的另一端，提升空间定位系统的易用性。
请参考图7，其示出了本申请一个实施例提供的空间定位方法的流程图。该方法可应用于计算机设备中，如各步骤的执行主体可以是图1所示的空间定位系统的终端10。该方法可以包括以下几个步骤(701～705)：
步骤701，获取由相机对目标场景进行拍摄得到的图像。
相机是一种利用光学成像原理形成影像并使用底片记录影像的设备，是用于摄影的光学器械。在现代社会生活中有很多可以记录影像的设备，它们都具备相机的特征，比如医学成像设备、天文观测设备等。相机的光学成像系统是按照几何光学原理设计的，并通过镜头，把景物影像通过光线的直线传播、折射或反射准确地聚焦在像平面上。可选地，上述相机可以安装于终端中。可选地，上述相机为单目相机。本申请对相机的类型以及安装有相机的计算机设备的类型不做限定。
目标场景是指某一空间呈现的场景。可选地，目标场景是在神经外科手术中真实物理环境的空间场景。
上述图像是对目标场景的客观反映，包含了目标场景中物体的有关信息，是本实施提供的空间定位方法的信息源。可选地，图像中包括位于目标场景内的导航棒，上述导航棒是一种用于空间定位的手术器械。可选地，导航棒的外表面具有用于对导航棒进行定位的标记点阵列。上述标记点阵列是标记点按照一定的特征所分布形成的阵列，其特征分布可以在上述图像中呈现并可以被计算机设备所识别，通过标记点阵列中标记点的分布特征可以获得上述导航棒的位置信息。
相机按照相机模型对目标场景进行拍摄得到图像。上述相机模型是指相机通过对目标场景所处的三维立体空间进行拍摄，将目标场景所处的三维立体空间投影到二维平面图像当中，建立三维立体空间与二维平面图像之间的映射关系。
可选地，三维立体空间对应的坐标系包括世界坐标系、局部坐标系、以及相机坐标系。上述世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的，上述局部坐标系是指以物体的中心为坐标原点，物体的旋转、平移等操作都是围绕局部坐标系进行的，这时，当物体模型进行旋转或平移等操作时，局部坐标系也执行相应的旋转或平移操作。可选地，上述局部坐标系是以上述导航棒中某一点为坐标原点建立的坐标系。上述相机坐标系是以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。
可选地，上述二维平面图像对应的坐标系包括图像坐标系以及成像平面坐标系。上述图像坐标系是指以图像左上角为原点建立以像素为单位的直角坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。由于图像坐标系只表示像素位于数字图像的列数和行数，并没有用物理单位表示出该像素在图像中的物理位置，因而需要再建立以物理单位(例如厘米)表示的成像平面坐标系x-y。其中，(x,y)表示以物理单位度量的成像平面坐标系的坐标。在成像平面坐标系中，原点定义在摄像机光轴和图像平面的交点处，称为图像的主点(principal point)，该点一般位于图像中心处。
可选地，相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，图像坐标系为二维直角坐标系。
请参考图8，其示出了一种相机成像模型的示意图。导航棒通过相机的光轴中心点O1投射到成像平面，建立相机模型(又称小孔模型)，其中包括导航棒对应的局部坐标系、成像平面对应的图像坐标系以及相机对应的相机坐标系。上述局部坐标系的坐标原点O2为导航棒上第一列标记点列中的第一个标记点在圆柱的轴心上的投影点，上述相机坐标系的坐标原点为图6中O点，上述图像坐标系的坐标原点为相机的光轴中心点O1，O到O1的距离为焦距f。导航棒上的标记点M在导航棒对应的局部坐标系中的坐标表示为(Xw,Yw,Zw)，在相机对应的相机坐标系中的坐标表示为(Xc,Yc,Zc),其在成像平面对应的图像坐标系中的坐标表示为(x,y)。
步骤702，识别图像中的标记点信息。
标记点信息包括标记点的形状信息与位置信息。上述标记点的形状信息是指标记点图案的形状信息。可选地，标记点的图案包括圆形、方形、扇形或者两种及两种以上形状的组合图形。上述标记点的位置信息是指标记点在图像中的位置信息以及标记点在标记点阵列中的位置信息。可选地，标记点信息用于指示图像中包含的标记点在标记点阵列中的位置。
步骤703，根据标记点在图像对应的图像坐标系中的二维位置坐标，以及标记点在导航棒对应的三维坐标系中的三维位置坐标，确定相机在导航棒对应的三维坐标系中的位置信息。
可选地，图像对应的图像坐标系是上述图像坐标系或者上述成像平面坐标系。可选地，导航棒对应的三维坐标系是导航棒中某一点为坐标原点建立的局部坐标系，其中，选取标记点阵列中每一列的第一个标记点的中心所围成的圆的圆心作为坐标原点，坐标原点在导航棒的轴心上。
可选地，标记点在图像对应的图像坐标系中的二维位置坐标，以及标记点在导航棒对应的三维坐标系中的三维位置坐标是标记点的位置信息。其中，标记点在图像对应的图像坐标系中的二维位置坐标是标记点在图像中的位置信息，标记点在导航棒对应的三维坐标系中的三维位置坐标是标记点在标记点阵列中的位置信息。
可选地，相机在导航棒对应的三维坐标系中的位置信息包括相机在上述局部坐标系中的坐标。
步骤704，基于相机在导航棒对应的三维坐标系中的位置信息，确定导航棒对应的三维坐标系与相机对应的三维坐标系之间的空间变换关系。
上述空间变换关系是指两个坐标系之间一一对应关系。可选地，导航棒对应的三维坐标系与相机对应的三维坐标系之间的空间变换关系是上述局部坐标系与上述相机坐标系之间的一一对应关系。
上述空间变换关系是坐标转换的依据，坐标转换是对空间实体的位置描述，是从一种坐标系统变换到另一种坐标系统的过程。例如，一个点在一个坐标系的(一组)坐标，按照空间变换关系转换到新坐标系的(另一组)坐标。其中，新坐标系可以是与原坐标系同类型的坐标系，比如通过原坐标轴的平移或旋转等得出新坐标系；也可以是不同类型的坐标系，比如由直角坐标系变为极坐标系等。
步骤705，基于导航棒的待检测位置在导航棒对应的三维坐标系中的三维位置坐标以及空间变换关系，确定导航棒的待检测位置在相机对应的三维坐标系中的三维位置坐标，作为导航棒的待检测位置的空间位置信息。
导航棒的待检测位置是指位于导航棒上用于指示空间中某一点所处位置的检测点。可选地，导航棒的待检测位置是导航棒的针尖位置或者棒尖位置。
可选地，导航棒的待检测位置在导航棒对应的三维坐标系中的三维位置坐标是导航棒的针尖在上述局部坐标系的坐标。
按照上述空间变换关系将导航棒的待检测位置在导航棒对应的三维坐标系中的三维位置坐标进行坐标转换处理，得到导航棒的待检测位置在相机对应的三维坐标系中的三维位置坐标。
可选地，导航棒的待检测位置在相机对应的三维坐标系中的三维位置坐标是导航棒的针尖在上述相机坐标系的坐标。
综上所述，本申请实施例提供的技术方案，以相机的拍摄范围作为空间定位范围，仅采用导航棒与终端设备构成空间定位系统，可提取相机在任意角度所拍摄图像中标记点的分布特征，确定标记点对应的二维坐标以及三维坐标并以此为基础估计相机位姿，得到局部坐标系与相机坐标系之间的空间转换关系，按照上述空间转换关系对待检测位置进行空间定位，扩大了空间定位范围，提升空间定位的灵活性，降低了空间定位成本。
请参考图9，其示出了本申请另一个实施例提供的空间定位方法的流程图。该方法可应用于图1所示的应用程序运行环境中。该方法可以包括以下几个步骤(901-910)：
步骤901，获取由相机对目标场景进行拍摄得到的图像。
步骤902，识别图像中包含的标记点的中心。
对图像进行图像预处理。可选地，图像预处理包括灰度处理、二值化处理、滤波处理以及去噪处理。
利用形状信息(circularity，convexity，area)去除目标场景中的非标记点以及偏离投影方向的标记点。上述形状信息包括形状大小、圆度、凸性以及惯性比等信息。其中，可以通过形状大小、圆度、凸性去除目标场景中的非标记点，例如，正六边形的圆度比正方形高，圆的圆度比正六边形高，可以通过形状的惯性比去除偏离投影方向的标记点。通过上述惯性比可以衡量形状的伸长长度，例如，对于一个圆，该值是1，对于椭圆它是0和1之间，而对于线是0。
可选地，通过Blob分析识别图像中包含的标记点的中心。上述Blob分析目的在于对图像中的标记点进行检测和分析，得到诸如标记点位置、形状、方向和标记点间的拓扑关系(即包含关系)等信息。根据这些信息可对标记点进行识别。
Blob分析中主要包含以下图像处理技术：
1、图像分割：Blob分析实际上是对闭合形状进行特征分析。在Blob分析之前，必须将图像分割为目标和背景。图像分割是图像处理的一大类技术，在Blob分析中拟提供分割技术包括：直接输入、固定硬阈值、相对硬阈值、动态硬阈值、固定软阈值、相对软阈值、像素映射、阈值图像。其中固定软阈值和相对软阈值方法可在一定程度上消除空间量化误差，从而提高目标特征量的计算精度。
2、形态学操作：形态学操作的目的是去除噪声点的影响。
3、连通性分析：将目标从像素级转换到连通分量级。
4、特征值计算：对每个目标进行特征量计算，包括面积、周长、质心坐标等特征。
5、场景描述：对场景中目标之间的拓扑关系进行描述。
步骤903，检测穿过标记点的中心的目标直线。
目标直线是穿过标记点的中心的数量符合条件的直线。上述穿过标记点的中心的数量符合条件是穿过标记点中心的数量符合阈值。可选地，上述阈值由标记点列中标记点的数量决定。可选地，上述阈值为标记点列中标记点的数量。可选地，上述阈值由标记点列中标记点的数量以及合理误差共同决定。
可选地，通过霍夫变换检测穿过标记点的中心的目标直线。霍夫变换是一种特征检测，被广泛应用在图像分析、计算机视觉以及数位影像处理中。霍夫变换是用来辨别找出物件中的特征，例如直线。霍夫变换通过图像平面中的标记点计算得到参数平面中标记点对应的线，再由参数平面中标记点对应的线的交点计算图像平面中的目标直线，上述目标直线在标记点阵列中对应一列标记点列。
步骤904，获取目标直线对应的标记点列的标记点分布形态。
目标直线对应的标记点列是指目标直线经过的标记点所构成的一列标记点，在上述图像中每一标记点列中的标记点的数量是固定的，通过检测上述穿过标记点的中心的数量符合条件的目标直线，可以认定该目标直线所穿过的标记点在标记点阵列中位于同一列，所以根据该目标直线在上述图像中对应一列标记点列，该标记点列中的标记点的中心在该目标直线上。
上述标记点分布形态是指标记点在标记点阵列中所属的标记点列以及标记点在其所属的标记点列中的排序位置。
在示例性实施例中，上述步骤904可通过如下步骤实现。
步骤1，确定目标直线对应的标记点列中的第一标记点。
第一标记点是指目标直线对应的标记点列中在图像中位于最高或者最低位置的标记点。
在一个示例中，根据成像平面坐标系中的纵轴坐标，即y轴坐标决定标记点列中的第一标记点，即标记点列中的第一个标记点。以神经外科手术场景为例，病人手术录入切口都是向上，因此导航棒在进入切口内进行空间定位的时候针尖向下，因此在相机成像的时候，每一标记点列上第一个标记点在成像平面坐标系中的Y值最大，以此可以判定标记点列中的第一标记点。
步骤2，获取剩余标记点与第一标记点的之间的第一距离。
上述剩余标记点是指目标直线对应的标记点列中除第一标记点之外的其他标记点。
基于标记点列中标记点在图像对应的图像坐标系中的二维位置坐标，计算第一距离，第一距离是指剩余标记点与第一标记点在图像坐标系中的距离。根据第一距离判断上述剩余标记点在标记点列中的位置排序，比如剩余标记点中对应第一距离最小的标记点距离第一标记点最近，则该标记点为第二标记点，其余的位置排序可以以此类推，最终得到标记点列中标记点的位置排序，其中包括任一标记点在其所属的标记点列中的排序位置。
步骤3，获取目标直线对应的标记点列中相邻标记点之间的第二距离。
基于标记点列中标记点在图像对应的图像坐标系中的二维位置坐标，计算第二距离，第二距离是指相邻标记点在图像坐标系中的距离。
根据第二距离判断标记点列中的空缺位置。例如，在一种可能实施的标记点阵列中，第一列标记点列的空缺位置在标记点列中的第二个位置，此时第一标记点位于标记点列的第一个位置，第二标记点位于标记点列的第三个位置，第一标记点与第二标记点的第二距离大于其他相邻标记点之间的第二距离，因此可以根据第一标记点与第二标记点的第二距离大于其他相邻标记点之间的第二距离，判断该标记点列是上述标记点阵列中的第一列标记点列。
步骤905，根据标记点分布形态，确定目标直线对应的标记点列的标记点信息。
可选地，上述标记点信息包括目标直线对应的标记点列在标记点阵列中的位置，以及目标直线经过的标记点在标记点阵列中的位置。
步骤906，基于标记点信息，确定图像中包含的标记点在导航棒对应的三维坐标系中的三维位置坐标。
在一种可能的实施方式中，导航棒对应的三维坐标系的坐标原点位于导航棒所处圆柱的中心轴上，z轴沿轴心方向向下，y轴指向标记点阵列中第一列标记点列的第一标记点的中心，x轴可以通过右手准则来确定。此时，基于标记点所属的标记点列在标记点阵列中的位置，可以确定该标记点在导航棒对应的三维坐标系中x轴与y轴方向上的坐标。因上述第一距离与第二距离在标记点阵列中是固定的，所以基于标记点在标记点阵列中的排序位置可以确定标记点在导航棒对应的三维坐标系中z轴方向上的坐标。即，基于标记点信息，确定图像中包含的标记点在导航棒对应的三维坐标系中的三维位置坐标。
步骤907，根据标记点在图像对应的图像坐标系中的二维位置坐标，以及标记点在导航棒对应的三维坐标系中的三维位置坐标，对相机进行姿态估计处理，确定相机在导航棒对应的三维坐标系中的位置信息。
上述姿态估计处理是指确定某一三维目标物体的方位与指向，在本申请实施例中，是对相机进行姿态估计处理，确定相机在导航棒对应的三维坐标系中的位置信息。
可选地，通过采用PnP(Perspectiven-Point)求解PnP问题的方法，对相机进行姿态估计处理。上述采用PnP(Perspectiven-Point)求解PnP问题的方法是指已知相机对应的参数、物体点坐标和对应像素值，根据3D-2D匹配来估计相机的位置姿态。在本申请实施例中，通过选取的相机即可确定相机参数，上述物体点几位标记点，物体点坐标即为标记点在导航棒对应的三维坐标系中的位置信息，物体点对应像素值即为标记点在图像对应的二维坐标系中的位置信息，根据标记点在导航棒对应的三维坐标系中的位置信息以及标记点在图像对应的二维坐标系中的位置信息相匹配，确定相机在导航棒对应的三维坐标系中的位置信息。可选地，相机在导航棒对应的三维坐标系中的位置信息包括6个自由度，其中三个自由度表示相机的位置，另外三个自由度表示相机的角度。
步骤908，获取相机在相机对应的三维坐标系中的位置信息。
获取相机的参数信息。可选地，上述相机的参数信息包括相机的聚焦中心信息，用于确定相机在相机坐标系中的位置信息，即相机在相机对应的三维坐标系中的位置信息。
步骤909，基于相机在导航棒对应的三维坐标系中的位置信息以及相机在相机对应的三维坐标系中的位置信息，得到导航棒对应的三维坐标系与相机对应的三维坐标系之间的变换矩阵。
在一种示例中，已知相机在导航棒确定的局部坐标系中的坐标以及相机在相机在相机坐标系中的坐标，即可求解上述局部坐标系与上述相机坐标系之间的空间变换关系，上述空间变换关系用于对空间中同一点在上述局部坐标系与上述相机坐标系之间进行坐标转换。可选地，空间变换关系包括变换矩阵。
步骤910，基于导航棒的待检测位置在导航棒对应的三维坐标系中的三维位置坐标以及空间变换关系，确定导航棒的待检测位置在相机对应的三维坐标系中的三维位置坐标，作为导航棒的待检测位置的空间位置信息。
综上所述，本申请实施例提供的技术方案通过精确识别标记点中心，并计算标记点中心间的第一距离与第二距离，得到标记点在标记点阵列中的位置信息，进而将标记点从二维平面映射到三维空间中去，为得到相机模型中坐标系间的空间变换关系建立了良好基础。
另外，本申请实施例提供的技术方案基于标记点的二维坐标以及三维坐标，使用PnP算法对相机位姿进行估计，准确地得到相机在局部坐标系中的位置信息，能使上述空间变换关系更为准确，以得到准确的空间定位信息。
在示例性实施例中，上述图像包括第一图像和第二图像，第一图像和第二图像是相机在不同时刻对目标场景进行拍摄得到的图像。上述步骤910执行完毕之后，还执行如下步骤：
步骤911，基于第一图像中导航棒的待检测位置的空间位置信息以及第二图像中导航棒的待检测位置的空间位置信息，确定导航棒的移动距离。
上述第一图像对应的时刻为第一时刻，第二图像对应的时刻为第二时刻。
可选地，计算第一图像中导航棒针尖的坐标与第二图像中导航棒针尖的坐标之间的距离，确定导航棒针尖从第一时刻移动至第二时刻所产生位置变化的直线距离。
在示例性实施例中，上述图像包括至少两个图像帧。上述步骤910执行完毕之后，还执行如下步骤：
步骤912，基于图像帧中导航棒的待检测位置的空间位置信息，确定相邻图像帧中导航棒的待检测位置之间的连线。
上述图像帧是指是组成视频的最小单位。上述相邻图像帧中导航棒的待检测位置之间的连线示出了导航棒的待检测位置在相邻图像帧之间的位置变化，即导航棒的待检测位置在相邻图像帧之间的轨迹。
步骤913，基于相邻图像帧中导航棒的待检测位置之间的连线，得到导航棒的待检测位置在至少两个图像帧中形成的轨迹。
通过起始图像帧到结束图像帧之间的相邻图像帧中导航棒的待检测位置之间的连线首尾相连，得到导航棒的待检测位置在起始图像帧到结束图像帧之间运动所形成的轨迹。
在示例性实施例中，在上述步骤913执行完毕之后，还执行如下步骤：
步骤914，基于图像帧中导航棒的待检测位置的空间位置信息，确定相邻图像帧中导航棒的待检测位置之间的连线的长度。
上述相邻图像帧中导航棒的待检测位置之间的连线的长度即为导航棒的待检测位置在相邻图像帧之间的轨迹长度。
步骤915，基于相邻图像帧中导航棒的待检测位置之间的连线的长度，得到导航棒的待检测位置在至少两个图像帧中形成的轨迹的长度。
通过对起始图像帧到结束图像帧之间的相邻图像帧中导航棒的待检测位置之间的连线的长度进行累加，到导航棒的待检测位置在起始图像帧到结束图像帧之间运动所形成的轨迹的长度。
综上所述，本申请实施例提供的技术方案基于对待检测位置进行空间定位的方法，将其延伸并实现空间测距以及空间轮廓线绘制的功能，丰富了空间定位方法的应用，满足用户多元化的需求。
下述为本申请装置实施例，可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图10，其示出了本申请一个实施例提供的空间定位装置的框图。该装置具有实现上述空间定位方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是终端，也可以设置在终端中。该装置1000可以包括：图像获取模块1010、标记识别模块1020、相机定位模块1030、空间变换模块1040以及定点定位模块1050。
图像获取模块1010，用于获取由相机对目标场景进行拍摄得到的图像，所述图像中包括位于所述目标场景内的导航棒，所述导航棒的外表面具有用于对所述导航棒进行定位的标记点阵列。
标记识别模块1020，用于识别所述图像中的标记点信息，所述标记点信息用于指示所述图像中包含的标记点在所述标记点阵列中的位置。
相机定位模块1030，用于根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，确定所述相机在所述导航棒对应的三维坐标系中的位置信息。
空间变换模块1040，用于基于所述相机在所述导航棒对应的三维坐标系中的位置信息，确定所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的空间变换关系。
定点定位模块1050，用于基于所述导航棒的待检测位置在所述导航棒对应的三维坐标系中的三维位置坐标以及所述空间变换关系，确定所述导航棒的待检测位置在所述相机对应的三维坐标系中的三维位置坐标，作为所述导航棒的待检测位置的空间位置信息。
在示例性实施例中，请参考图11，所述标记识别模块1020包括：
标记中心识别单元1021，用于识别所述图像中包含的标记点的中心。
目标直线检测单元1022，用于检测穿过所述标记点的中心的目标直线，所述目标直线是穿过所述标记点的中心的数量符合条件的直线。
标记分布获取单元1023，用于获取所述目标直线对应的标记点列的标记点分布形态，所述目标直线对应的标记点列是指所述目标直线经过的标记点所构成的一列标记点。
标记信息确定单元1024，用于根据所述标记点分布形态，确定所述目标直线对应的标记点列的标记点信息；其中，所述标记点信息包括所述目标直线对应的标记点列在所述标记点阵列中的位置，以及所述目标直线经过的标记点在所述标记点阵列中的位置。
在示例性实施例中，请参考图11，所述标记分布获取单元1023用于：
确定所述目标直线对应的标记点列中的第一标记点，所述第一标记点是指所述目标直线对应的标记点列中在所述图像中位于最高或者最低位置的标记点；
获取剩余标记点与所述第一标记点的之间的第一距离，所述剩余标记点是指所述目标直线对应的标记点列中除所述第一标记点之外的其他标记点，所述第一距离是指所述剩余标记点与所述第一标记点在所述图像坐标系中的距离；
获取所述目标直线对应的标记点列中相邻标记点之间的第二距离，所述第二距离是指所述相邻标记点在所述图像坐标系中的距离。
在示例性实施例中，请参考图10，所述相机定位模块1030用于：
基于所述标记点信息，确定所述图像中包含的标记点在所述导航棒对应的三维坐标系中的三维位置坐标；
根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，对所述相机进行姿态估计处理，确定所述相机在所述导航棒对应的三维坐标系中的位置信息。
在示例性实施例中，请参考图10，所述空间变换模块1040用于：
获取所述相机在所述相机对应的三维坐标系中的位置信息；
基于所述相机在所述导航棒对应的三维坐标系中的位置信息以及所述相机在所述相机对应的三维坐标系中的位置信息，得到所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的变换矩阵；其中，所述空间变换关系包括所述变换矩阵。
在示例性实施例中，请参考图11，所述图像包括第一图像和第二图像，所述第一图像和第二图像是所述相机在不同时刻对所述目标场景进行拍摄得到的图像。所述装置1000还包括：
距离测定模块1060，用于基于所述第一图像中所述导航棒的待检测位置的空间位置信息以及所述第二图像中所述导航棒的待检测位置的空间位置信息，确定所述导航棒的移动距离。
在示例性实施例中，请参考图11，所述图像包括至少两个图像帧；所述装置1000还包括：
轨迹绘制模块1070，用于基于所述图像帧中所述导航棒的待检测位置的空间位置信息，确定相邻图像帧中所述导航棒的待检测位置之间的连线；基于所述相邻图像帧中所述导航棒的待检测位置之间的连线，得到所述导航棒的待检测位置在所述至少两个图像帧中形成的轨迹。
在示例性实施例中，请参考图11，所述装置1000还包括：
轨迹计算模块1080，用于基于所述图像帧中所述导航棒的待检测位置的空间位置信息，确定相邻图像帧中所述导航棒的待检测位置之间的连线的长度；基于所述相邻图像帧中所述导航棒的待检测位置之间的连线的长度，得到所述导航棒的待检测位置在所述至少两个图像帧中形成的轨迹的长度。
综上所述，本申请实施例提供的技术方案，以相机的拍摄范围作为空间定位范围，仅采用导航棒与终端设备构成空间定位系统，可提取相机在任意角度所拍摄图像中标记点的分布特征，确定标记点对应的二维坐标以及三维坐标并以此为基础估计相机位姿，得到局部坐标系与相机坐标系之间的空间转换关系，按照上述空间转换关系对待检测位置进行空间定位，扩大了空间定位范围，提升空间定位的灵活性，降低了空间定位成本。
请参考图12，其示出了本申请一个实施例提供的终端1200的结构框图。该终端1200可以是诸如手机、平板电脑、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备、PC等电子设备。该终端用于实施上述实施例中提供的空间定位方法。该终端可以是图1所示空间定位系统中的终端10。具体来讲：
通常，终端1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令，至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集，且经配置以由一个或者一个以上处理器执行，以实现上述空间定位方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被处理器执行时以实现上述空间定位方法。
可选地，该计算机可读存储介质可以包括：ROM(Read Only Memory，只读存储器)、RAM(Random Access Memory，随机存取记忆体)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述空间定位方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种空间定位方法，其特征在于，所述方法包括：
获取由相机对目标场景进行拍摄得到的图像，所述图像中包括位于所述目标场景内的导航棒，所述导航棒的外表面具有用于对所述导航棒进行定位的标记点阵列；
识别所述图像中的标记点信息，所述标记点信息用于指示所述图像中包含的标记点在所述标记点阵列中的位置；
根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，确定所述相机在所述导航棒对应的三维坐标系中的位置信息；
基于所述相机在所述导航棒对应的三维坐标系中的位置信息，确定所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的空间变换关系；
基于所述导航棒的待检测位置在所述导航棒对应的三维坐标系中的三维位置坐标以及所述空间变换关系，确定所述导航棒的待检测位置在所述相机对应的三维坐标系中的三维位置坐标，作为所述导航棒的待检测位置的空间位置信息。
2.根据权利要求1所述的方法，其特征在于，所述识别所述图像中的标记点信息，包括：
识别所述图像中包含的标记点的中心；
检测穿过所述标记点的中心的目标直线，所述目标直线是穿过所述标记点的中心的数量符合条件的直线；
获取所述目标直线对应的标记点列的标记点分布形态，所述目标直线对应的标记点列是指所述目标直线经过的标记点所构成的一列标记点；
根据所述标记点分布形态，确定所述目标直线对应的标记点列的标记点信息；其中，所述标记点信息包括所述目标直线对应的标记点列在所述标记点阵列中的位置，以及所述目标直线经过的标记点在所述标记点阵列中的位置。
3.根据权利要求2所述的方法，其特征在于，所述获取所述目标直线对应的标记点列的标记点分布形态，包括：
确定所述目标直线对应的标记点列中的第一标记点，所述第一标记点是指所述目标直线对应的标记点列中在所述图像中位于最高或者最低位置的标记点；
获取剩余标记点与所述第一标记点的之间的第一距离，所述剩余标记点是指所述目标直线对应的标记点列中除所述第一标记点之外的其他标记点，所述第一距离是指所述剩余标记点与所述第一标记点在所述图像坐标系中的距离；
获取所述目标直线对应的标记点列中相邻标记点之间的第二距离，所述第二距离是指所述相邻标记点在所述图像坐标系中的距离。
4.根据权利要求1所述的方法，其特征在于，所述根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，确定所述相机在所述导航棒对应的三维坐标系中的位置信息，包括：
基于所述标记点信息，确定所述图像中包含的标记点在所述导航棒对应的三维坐标系中的三维位置坐标；
根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，对所述相机进行姿态估计处理，确定所述相机在所述导航棒对应的三维坐标系中的位置信息。
5.根据权利要求1所述的方法，其特征在于，所述基于所述相机在所述导航棒对应的三维坐标系中的位置信息，确定所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的空间变换关系，包括：
获取所述相机在所述相机对应的三维坐标系中的位置信息；
基于所述相机在所述导航棒对应的三维坐标系中的位置信息以及所述相机在所述相机对应的三维坐标系中的位置信息，得到所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的变换矩阵；
其中，所述空间变换关系包括所述变换矩阵。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述图像包括第一图像和第二图像，所述第一图像和第二图像是所述相机在不同时刻对所述目标场景进行拍摄得到的图像；所述方法还包括：
基于所述第一图像中所述导航棒的待检测位置的空间位置信息以及所述第二图像中所述导航棒的待检测位置的空间位置信息，确定所述导航棒的移动距离。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述图像包括至少两个图像帧；所述方法还包括：
基于所述图像帧中所述导航棒的待检测位置的空间位置信息，确定相邻图像帧中所述导航棒的待检测位置之间的连线；
基于所述相邻图像帧中所述导航棒的待检测位置之间的连线，得到所述导航棒的待检测位置在所述至少两个图像帧中形成的轨迹。
8.根据权利要求7所述的方法，其特征在于，所述基于所述相邻图像帧中所述导航棒的待检测位置之间的连线，得到所述导航棒的待检测位置在所述至少两个图像帧中形成的轨迹之后，还包括：
基于所述图像帧中所述导航棒的待检测位置的空间位置信息，确定相邻图像帧中所述导航棒的待检测位置之间的连线的长度；
基于所述相邻图像帧中所述导航棒的待检测位置之间的连线的长度，得到所述导航棒的待检测位置在所述至少两个图像帧中形成的轨迹的长度。
9.一种空间定位装置，其特征在于，所述装置包括：
图像获取模块，用于获取由相机对目标场景进行拍摄得到的图像，所述图像中包括位于所述目标场景内的导航棒，所述导航棒的外表面具有用于对所述导航棒进行定位的标记点阵列；
标记识别模块，用于识别所述图像中的标记点信息，所述标记点信息用于指示所述图像中包含的标记点在所述标记点阵列中的位置；
相机定位模块，用于根据所述标记点在所述图像对应的图像坐标系中的二维位置坐标，以及所述标记点在所述导航棒对应的三维坐标系中的三维位置坐标，确定所述相机在所述导航棒对应的三维坐标系中的位置信息；
空间变换模块，用于基于所述相机在所述导航棒对应的三维坐标系中的位置信息，确定所述导航棒对应的三维坐标系与所述相机对应的三维坐标系之间的空间变换关系；
定点定位模块，用于基于所述导航棒的待检测位置在所述导航棒对应的三维坐标系中的三维位置坐标以及所述空间变换关系，确定所述导航棒的待检测位置在所述相机对应的三维坐标系中的三维位置坐标，作为所述导航棒的待检测位置的空间位置信息。
10.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一项所述的空间定位方法。
11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一项所述的空间定位方法。
12.一种用于空间定位的导航棒，其特征在于，所述导航棒包括棒体、探测头和外壳，其中：
所述探测头连接于所述棒体的一端；
所述棒体内部具有容置腔，所述容置腔中放置有驱动所述导航棒的电路组件；
所述外壳套装于所述棒体外侧，在所述外壳的外表面上具有用于对所述导航棒进行定位的标记点阵列；
其中，基于所述标记点阵列对所述导航棒进行定位的方法如权利要求1至8任一项所述。
13.根据权利要求12所述的导航棒，其特征在于，所述标记点阵列包括沿所述棒体的轴向分布的n个标记点列，所述n为大于1的整数；
每个标记点列中包含相同数量的标记点，且任意两个标记点列中的标记点分布均不相同。
14.根据权利要求13所述的导航棒，其特征在于，所述标记点列包括标记点位置和空缺位置，所述标记点位置上具有所述标记点，所述空缺位置上不具有所述标记点；
任意两个标记点列中，所述标记点位置和所述空缺位置的分布均不相同。
15.根据权利要求12至14任一项所述的导航棒，其特征在于，所述外壳与所述棒体之间为可拆卸连接。
CN202010707497.6A 2020-07-21 2020-07-21 空间定位方法、装置、设备、存储介质以及导航棒 Active CN111821025B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010707497.6A CN111821025B (zh) 2020-07-21 2020-07-21 空间定位方法、装置、设备、存储介质以及导航棒
JP2022550861A JP7449400B2 (ja) 2020-07-21 2021-06-08 空間位置決め方法、関連装置およびナビゲーションスティック
EP21846816.3A EP4169471A4 (en) 2020-07-21 2021-06-08 SPATIAL POSITIONING METHOD, ASSOCIATED APPARATUS AND NAVIGATION STICK
PCT/CN2021/098817 WO2022017022A1 (zh) 2020-07-21 2021-06-08 空间定位方法、相关装置以及导航棒
US17/746,775 US20220273376A1 (en) 2020-07-21 2022-05-17 Spatial positioning method, related apparatus, and navigation stick

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010707497.6A CN111821025B (zh) 2020-07-21 2020-07-21 空间定位方法、装置、设备、存储介质以及导航棒

Publications (2)

Publication Number Publication Date
CN111821025A CN111821025A (zh) 2020-10-27
CN111821025B true CN111821025B (zh) 2022-05-13

Family

ID=72923901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010707497.6A Active CN111821025B (zh) 2020-07-21 2020-07-21 空间定位方法、装置、设备、存储介质以及导航棒

Country Status (5)

Country Link
US (1) US20220273376A1 (zh)
EP (1) EP4169471A4 (zh)
JP (1) JP7449400B2 (zh)
CN (1) CN111821025B (zh)
WO (1) WO2022017022A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111821025B (zh) * 2020-07-21 2022-05-13 腾讯科技（深圳）有限公司 空间定位方法、装置、设备、存储介质以及导航棒
CN112733840A (zh) * 2020-12-28 2021-04-30 歌尔光学科技有限公司 耳机定位方法、终端设备及存储介质
CN113133829B (zh) * 2021-04-01 2022-11-01 上海复拓知达医疗科技有限公司 一种手术导航系统、方法、电子设备和可读存储介质
CN114148096B (zh) * 2021-11-05 2023-04-28 武汉逸飞激光股份有限公司 圆柱电芯端盖打码方法、装置、电子设备及存储介质
CN114209433B (zh) * 2021-12-31 2023-09-05 杭州三坛医疗科技有限公司 一种手术机器人导航定位装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2652928B1 (fr) * 1989-10-05 1994-07-29 Diadix Sa Systeme interactif d'intervention locale a l'interieur d'une zone d'une structure non homogene.
US5617857A (en) * 1995-06-06 1997-04-08 Image Guided Technologies, Inc. Imaging system having interactive medical instruments and methods
JP2001204739A (ja) * 2000-01-27 2001-07-31 Olympus Optical Co Ltd 顕微鏡下手術支援システム
JP3780146B2 (ja) * 2000-04-12 2006-05-31 オリンパス株式会社 手術ナビゲーション装置
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US20090325135A1 (en) * 2008-06-27 2009-12-31 Eped Inc. Dental clinical and simulation training tracking system and its method of evaluation
CN101862220A (zh) * 2009-04-15 2010-10-20 中国医学科学院北京协和医院 基于结构光图像的椎弓根内固定导航手术系统和方法
CN101697869B (zh) * 2009-10-19 2011-06-15 沈国芳 手术导航用固定支架
JP6008397B2 (ja) * 2013-03-04 2016-10-19 Kddi株式会社 光学式シースルー型ｈｍｄを用いたａｒシステム
JP6159030B2 (ja) * 2013-08-23 2017-07-05 ストライカー ヨーロピアン ホールディングス Ｉ，エルエルシーＳｔｒｙｋｅｒ Ｅｕｒｏｐｅａｎ Ｈｏｌｄｉｎｇｓ Ｉ，Ｌｌｃ 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術
WO2015118157A1 (en) * 2014-02-10 2015-08-13 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
WO2016084834A1 (ja) * 2014-11-25 2016-06-02 株式会社日立ハイテクノロジーズ 計測システム、頭部装着装置、プログラム、およびサービス提供方法
EP3273854B1 (en) * 2015-03-26 2021-09-22 Universidade de Coimbra Systems for computer-aided surgery using intra-operative video acquired by a free moving camera
CN105852970B (zh) * 2016-04-29 2019-06-14 北京柏惠维康科技有限公司 神经外科机器人导航定位系统及方法
US11071593B2 (en) * 2017-07-14 2021-07-27 Synaptive Medical Inc. Methods and systems for providing visuospatial information
CN207898557U (zh) * 2017-09-15 2018-09-25 苏州肯美特设备集成有限公司 一种镂空牙科导航定位器
CN107874832B (zh) * 2017-11-22 2020-03-10 合肥美亚光电技术股份有限公司 骨科手术器械导航系统及方法
CN108765494B (zh) * 2018-05-21 2021-12-24 南昌航空大学 一种基于圆柱体标定物的多相机标定方法
CN110547872B (zh) * 2019-09-23 2021-08-10 重庆博仕康科技有限公司 手术导航注册系统
CN111821025B (zh) * 2020-07-21 2022-05-13 腾讯科技（深圳）有限公司 空间定位方法、装置、设备、存储介质以及导航棒

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备

Also Published As

Publication number Publication date
JP2023516930A (ja) 2023-04-21
US20220273376A1 (en) 2022-09-01
EP4169471A4 (en) 2024-01-24
CN111821025A (zh) 2020-10-27
JP7449400B2 (ja) 2024-03-13
WO2022017022A1 (zh) 2022-01-27
EP4169471A1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
CN111821025B (zh) 空间定位方法、装置、设备、存储介质以及导航棒
CN111325823B (zh) 人脸纹理图像的获取方法、装置、设备及存储介质
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN110807451B (zh) 人脸关键点检测方法、装置、设备及存储介质
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US9778751B2 (en) Gesture based control using three-dimensional information extracted over an extended depth of field
KR101575016B1 (ko) 현실 세계에서 표면들의 정보의 투영을 위한 동적 선택
US20060173357A1 (en) Patient registration with video image assistance
CN108257177B (zh) 基于空间标识的定位系统与方法
CN102226880A (zh) 一种基于虚拟现实的体感操作方法及系统
CN102902355A (zh) 移动设备的空间交互方法
CN110796701B (zh) 标记点的识别方法、装置、设备及存储介质
CN110832542B (zh) 识别处理设备、识别处理方法和程序
WO2009124181A2 (en) Gesture based control using three-dimensional information extracted over an extended depth of field
Katahira et al. Development and evaluation of a system for AR enabling realistic display of gripping motions using Leap Motion controller
CN112990101B (zh) 基于机器视觉的面部器官定位方法及相关设备
CN112258494B (zh) 一种病灶位置确定方法、装置及电子设备
CN115063607B (zh) 切割轮廓的确定方法、装置、设备及存储介质
CN115601824B (zh) 一种二维图像中人眼凝视方向的标注装置、系统和方法
Watanabe et al. Parameter identification of depth-depth-matching algorithm for liver following
CN114886558A (zh) 一种基于增强现实的内窥镜投影方法及系统
CN113850245A (zh) 图像处理方法、装置、电子设备及存储介质
JP2006064585A (ja) 画像処理方法、画像処理装置
JP4817631B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
CN115222826B (zh) 结构光和相机相对位姿可改变的三维重建方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030068

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant