CN113509263A - 一种物体空间校准定位方法 - Google Patents

一种物体空间校准定位方法 Download PDF

Info

Publication number
CN113509263A
CN113509263A CN202110357358.XA CN202110357358A CN113509263A CN 113509263 A CN113509263 A CN 113509263A CN 202110357358 A CN202110357358 A CN 202110357358A CN 113509263 A CN113509263 A CN 113509263A
Authority
CN
China
Prior art keywords
positioning device
position information
space
positioning
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110357358.XA
Other languages
English (en)
Other versions
CN113509263B (zh
Inventor
孙非
朱奕
郭晓杰
崔芙粒
单莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jedicare Medical Technology Co ltd
Original Assignee
Shanghai Jedicare Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jedicare Medical Technology Co ltd filed Critical Shanghai Jedicare Medical Technology Co ltd
Priority to CN202110357358.XA priority Critical patent/CN113509263B/zh
Publication of CN113509263A publication Critical patent/CN113509263A/zh
Priority to PCT/CN2022/081521 priority patent/WO2022206417A1/zh
Application granted granted Critical
Publication of CN113509263B publication Critical patent/CN113509263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种物体空间校准定位方法，包括：捕获空间中的定位装置图像，并识别定位装置图像中的定位装置识别特性，得到定位装置空间位置信息；当待定位物体处于特定位置时，捕获待定位物体在空间中的图像信息，并识别待定位物体图像中的待定位物体识别特性，得到待定位物体空间位置信息；根据所述定位装置空间位置信息以及所述特定位置，对待定位物体空间位置信息进行校正，得到待定位装置的最终空间位置信息。本发明能够对特定场景下的物体，通过使两位物体达到特定的角度和位置关系，进而对两个不同物体进行图像获取和位置的相互校正，实现单方或双方的光学定位精度提高，能够帮助使用者进行精准和完整的操作。

Description

一种物体空间校准定位方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种物体空间校准定位方法。
背景技术
增强现实技术，通常通过摄像头捕获到现实场景的图像，需要对捕获到的现实场景图像进行分析处理，并在现实场景的基础上叠加显示附加的信息给用户，即对现实的增强。对现实场景的图像进行分析处理的过程，往往包括对场景中物体的定位。在某些特定需求下，对场景中的物体定位的精度要求极高，现有技术对场景中物体定位的准确度不能满足需求。
举例来说，增强现实技术应用于手术导航场景，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能确保向用户提供准确的导航信息。如基于增强现实技术的穿刺导航，可以用最简单方便，易学易用的设备实现快速精准的手术导航。而在整个流程中，精准导航的核心之一：基于可见光图案的精准手术器械空间定位，及虚拟器官与真实人体的配准，但是在定位之前，如何进行快速的定位匹配和校正是十分重要的，在具体的手术中，需要先进行手术器械与拍摄装置的定位校准，才能保证后面的整个导航过程中的导航位置的精准，进而才能保证后期的增强现显示的精准。对于手术器械与拍摄装置的定位校准，需要依赖于对待定位物体上的可识别图案的准确空间定位。而由于器械设计所限，不同尺寸形状的可识别图案，因其自身图案特征点空间分布的固有规律或其生产过程的特点，所特有的空间定位准确度也不尽相同，所以对手术器械的定位十分不方便。
发明内容
针对上述缺陷或不足，本发明的目的在于提供一种物体空间校准定位方法。
为达到以上目的，本发明的技术方案为：
一种物体空间校准定位方法，包括：
捕获空间中的定位装置图像，并识别所述定位装置图像中的定位装置识别特性，得到定位装置空间位置信息；
当待定位物体处于特定位置时，捕获待定位物体在空间中的图像信息，并识别待定位物体图像中的待定位物体识别特性，得到待定位物体空间位置信息；其中，所述特定位置与所述定位装置的相对位置确定；
根据所述定位装置空间位置信息以及所述特定位置，对所述待定位物体空间位置信息进行校正，得到待定位装置的最终空间位置信息。
所述定位装置识别特性至少包括定位装置本体形态特性和/或定位装置标记识别特性；所述定位装置本体形态特性至少包括定位装置本体的结构、形态或颜色；所述定位装置标记识别特性至少包括定位装置上设置的图案、图形或二维码。
所述待定位物体识别特性至少包括待定位物体本体形态特性和/或待定位物体标记识别特性；所述待定位物体本体形态特性至少包括待定位物体本体的结构、形态或颜色；所述待定位物体标记识别特性至少包括待定位物体上设置的图案、图形或二维码。
所述定位装置空间位置信息至少包括定位装置空间坐标和/或定位装置朝向；所述待定位物体空间位置信息至少包括待定位物体空间坐标和/或待定位物体朝向。
所述特定位置为所述待定位物体与所述定位装置上的预设的点、线或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
所述根据所述定位装置空间位置信息以及所述特定位置，对所述待定位物体空间位置信息进行校正包括：
根据所述定位装置空间位置信息以及所述特定位置，计算待定位物体理论位置信息；根据所述待定位物体理论位置信息，对所述待定位物体的空间位置信息进行校正。
所述对所述待定位物体的空间位置信息进行校正包括：对所述待定位物体的x、y坐标进行校正。
还包括根据所述待定位物体空间位置信息以及所述特定位置，对所述定位装置空间位置信息进行校正。
所述根据所述待定位物体空间位置信息以及所述特定位置，对所述定位装置空间位置信息进行校正包括：
根据所述待定位物体空间位置信息以及所述特定位置，计算定位装置理论位置信息；根据所述定位装置理论位置信息，对所述定位装置的空间位置信息进行校正。
所述对所述定位装置的空间位置信息进行校正包括：对所述定位装置的 z坐标进行校正。
所述待定位物体为手术器械。
所述待定位物体为穿刺针。
所述定位装置包括：包括：支撑部，以及设置于所述支撑部上的特征部和限位部；
其中，所述特征部包括展示板，所述展示板与所述支撑部相连接，所述展示板上设置有用于被拍摄和识别的光学特征件；
所述限位部设置为对待定位物体进行限位。
所述特征部还包括连接机构，所述展示板通过所述连接机构与所述支撑部相连接。
所述连接机构包括铰链机构，所述展示板通过铰链机构可翻转安装于支撑部上。
所述光学特征件包括用于被光学识别的特定图形、结构、颜色之一或任意组合。
所述光学特征件为贴设或印刷于展示板上的图案，所述图案为二维码。
所述限位部设置于特征部一侧，当待定位物体被移动到预定位置，所述限位部对待定位物体进行限位，与待定位物体形成特定的空间位置关系。
所述限位部为可拆卸结构，可安装于特征部一侧或进行更换。
所述限位部为柱形结构，所述柱形结构上开设有定位槽，所述定位槽上水平开设有水平α角开口。
沿所述柱形结构的中轴线设置有用于对待定位物体进行限位的通孔或盲孔。
所述展示板上设置有用于对光学特征件进行遮挡的遮挡件。
与现有技术比较，本发明的有益效果为：
本发明提供了一种一种物体空间校准定位方法，能够对特定场景下的物体，通过在同一场景下使用具有不同误差特性的物体的识别特性，能够使得两位物体达到特定的角度和位置关系，进而通过二者对应物体的空间关联，对两个不同物体进行图像获取和位置的相互校正，实现单方或双方的光学定位精度提高，该装置和方法能够在多种场合中进行应用，比如手术过程中的医疗器械操作的定位、教学模拟操作中的应用以及游戏活动过程中的用于等，精准的定位和位置的增强现实，能够帮助使用者进行精准和完整的操作。
附图说明
图1是本发明定位方法流程图
图2是本发明具体实施方式中的实施方案示例图；
图3是本发明物体空间校准定位方法中定位装置示意图一；
图4是本发明物体空间校准定位方法中定位装置示意图二；
图5是本发明物体空间校准定位方法定位装置示意图三；
图6是本发明互校准示意图。
具体实施方式
下面将结合附图对本发明做详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例1
在进行精准的操作场景中，很多时候需要获取准确地确定物体的实际位置与图像中的位置，在某些特定需求下，对场景中的物体定位的精度要求极高，比如医疗过程中，需要非常准确地确定医疗器械与病人、场景之间的位置关系，才能够确保向用户提供准确的导航信息。基于该要求，本发明提供了一种基于校正物体在空间中位置的增强现实方法，能够应用于手术实施场景，也可以是应用于模拟教学过程中的操作场景、也可以应用于游戏过程中的定位。
以手术实施场景为例，本发明为用户提供针对对象体内的手术器械的定位。其中，用户是整个体内导航过程的观察者，其也是将器械探入对象体内的操作者。对象可以是用户需要对其进行操作的人或其他动物。器械可以是任意可探入对象体内的工具。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。优选地，所述定位装置为手术场景中的固定物；所述待定位物体为手术场景中的医疗器械。
如图1所示，本发明提供了一种物体空间校准定位方法，包括：
S1、捕获空间中的定位装置图像，并识别所述定位装置图像中的定位装置识别特性，得到定位装置空间位置信息；
为了能够对待定位物体进行定位校准，首先获取一个固定的物体的具体的空间位置信息，该空间位置信息至少包括定位装置空间坐标和/或定位装朝向，能够对固定的定位装置进行空间位置的具体定位。
本实施例中，所述定位装置识别特性至少包括定位装置本体形态特性和/ 或定位装置标记识别特性。所述定位装置本体形态特性至少包括定位装置本体的结构、形态或颜色，但是具体实施过程中，不局限于此，也可以是物体的其他的能够被识别的特性。示例性的，本发明可以固定设置一个形状固定的物体，在进行校准前，先识别定位装置的结构和形状，识别过程中，通过不同的显示方式，能够提示用户捕获过程和识别过程是否成功。对该定位装置进行定位识别，获取手术定位装置的准确空间位置信息。
另外，本发明中，所述定位装置标记识别特性至少包括定位装置上设置的图案、图形或二维码。所述图案、图形或二维码可以为通过印刷过程设置于定位装置上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现对导航器械的快速空间校准。
示例性的，本发明中，可以使用印刷有二维码的矩形信息板，用于捕获定位装置图像的设备为能够进行图像采集的装置，采集角度与用户的观察方向保持一致。当用户使用时，其可以将拍摄装置佩戴于身体上，例如头部。可选地，拍摄装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。通过拍摄装置获取定位装置图像，识别定位装置标记识别特性，根据定位装置标记识别特性获取定位装置本体形态特性，得到定位装置朝向在xyz空间坐标系中的位置，其中，z坐标表示沿延摄像头拍摄的深度方向上的坐标，x、 y坐标是垂直于z坐标轴方向的坐标，对定位装置设置当前定位装置空间坐标记为X1、Y1、Z1。
S2、当待定位物体处于特定位置时，捕获待定位物体在空间中的图像信息，并识别待定位物体图像中的待定位物体识别特性，得到待定位物体空间位置信息；其中，所述特定位置与所述定位装置的相对位置确定；
在进行具体的手术场景中，需要使用器械进行操作，本发明中所述待定位物体为移动的器械，所述待定位物体空间位置信息包括待定位物体的空间坐标和/或待定位物体朝向。
所述待定位物体识别特性至少包括待定位物体本体形态特性和/或待定位物体标记识别特性；所述待定位物体本体形态特性至少包括待定位物体本体的结构、形态、或颜色；所述待定位物体标记识别特性至少包括待定位物体上设置的图案、图形或二维码。
二维码是在平面上分布的黑白相间的平面图形，其上面的点非常易于识别，通过识别其中的至少3个点，可以实现该二维码的定位。因为二维码固定于对象或器械，所以，可以实现固定有该二维码的对象或器械的定位。
可选地，待定位物体标记识别特性还可以是诸如棋盘格的其他平面图形。利用二维码或棋盘格作为标识，使得定位对象或器械更准确且快速。从而，可以对快速移动器械进行更精准地导航。
可选地，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。
示例性的，本发明中待定位物体为手术中的穿刺针，穿刺针的端部设置有标识结构，并且印刷有二维码。
当待定位物体处于特定位置，捕获待定位物体在空间中的待定位物体图像时具体包括：
所述定位装置固定设置在空间中，所述待定位物体为移动物体，当所述待定位物体移动到特定位置，则捕获待定位物体在空间中的待定位物体图像。该过程所述特定位置可以设置为待定位物体移动到与定位装置的预设位置重合。或者，根据实际操作的需要，当待定位物体的某一位置到达固定位置或者完成规定动作进行定位。
具体包括：所述定位装置固定设置在空间中，所述待定位物体为移动物体，当所述待定位物体移动到特定位置，则根据待定位物体标记识别特性识别所述待定位物体，得到待定位物体朝向，对待定位物体设置当前的待定位物体空间坐标，记为X2、Y2、Z2。所述特定位置与所述定位装置的相对位置确定，所述特定位置为所述待定位物体与所述定位装置上的预设的相关联的点、线、或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
示例性的，如图2所示，以信息板作为定位装置，穿刺针为待定位物体进行说明，当用户手持穿刺针使针尖B点与信息板的A点重合时，对两个物体的位置定位，并且相互校准。结合本发明的实施例1，参照图3、4、5所示，当穿刺针的针尖或针体在定位装置的限位部3的限位之下时，即针尖位于定位槽31处，或针体置于限位部的通孔或盲孔中时，对穿刺针和定位装置的位置定位并且相互校准。
S3、根据所述定位装置空间位置信息以及所述特定位置，对所述待定位物体空间位置信息进行校正，得到待定位装置的最终空间位置信息。
优选地，可以根据实际的情况，对两个物体进行相对的校正，比如根据定位装置空间位置信息以及特定位置，计算待定位物体理论位置信息；根据待定位物体理论位置信息，对待定位物体的空间位置信息进行校正；
和/或根据待定位物体空间位置信息以及特定位置，计算定位装置理论位置信息；根据定位装置理论位置信息，对定位装置的空间位置信息进行校正。
举例说明，如图2所示，根据拍摄的定位装置的图像，计算该物体在空间中的位置信息，此时A点的坐标是通过拍摄到的定位装置的特征(主要是面板上的图案特征)计算得到的；
当医生手持待定位物体(穿刺针)将针尖B点放置在定位装置的A点，此时根据识别穿刺针末端设置的易于识别的特征，可以计算穿刺针的针尖B 点的坐标；
已知此时A、B两点是重合的，但通过步骤1和步骤2分别得到的A、B 两点的坐标未必相同。根据两个物体的空间几何特征可知，定位装置上A点的x，y坐标的精确度高但Z坐标的精确度相对较低，而待定位物体(穿刺针) 上B点的z坐标精确度相对较高，所以根据定位装置的X1、Y1坐标校正待定位物体的X2、Y2坐标，用待定位物体的Z2坐标校正定位装置的Z1坐标。则两个结构在数据库内的对应位置做如下调整：
X2＝X1；Y2＝Y1；Z1＝Z2；
具体的互校准方法由以下2个部分组成，互校准示意图如图6所示：
(1)通过人工事先确定出针尖点在针识别物坐标系下的坐标。
(2)在识别板上加工一孔洞，使其平行于z轴，垂直于Oxy平面，孔洞底部一点为标定点(Calibration Point)。通过设计定位装置模体，要确定出标定点在定位装置坐标系下的坐标pQ。标定时，将识别针插入孔洞内，并保证针尖点位于标定点处。根据标定点在摄像机坐标系下的坐标保持不变的特点，通过坐标转换，可知以下关系，此时标定点在针尖坐标系下有以下2个表达式：TC←QpQ＝TC←NpN
此时标定点在针尖坐标系下有以下2个表达式：
(a)由针识别物识别出并经人工点标定直接确定的待定位物体的坐标系：
Figure BDA0003003943140000111
(b)由定位装置(识别板)识别出并经坐标转换得到的待定位物体的坐标系：
Figure BDA0003003943140000112
上述2个坐标均是标定点在针识别物坐标系下的表示。假设z坐标分量采用表达式(a)更准确，x、y坐标分量采用表达式(b)更准确，那么互校准后的结果为
Figure BDA0003003943140000113
其中，C：摄像机坐标系
Q：定位装置坐标系
N：穿刺针坐标系
TB←A：表示从坐标系A到坐标系B的坐标转换矩阵
pA：坐标系A中的点p
vA：坐标系A中的向量v
定位装置点标定方法，摄像机识别出定位装置和穿刺针，即可得到TC←Q和 TC←N。将穿刺针针尖放置于识别板上一固定点p。从识别板的加工模型可以确定出该固定点在识别板坐标系下的坐标，即pQ。根据该点在摄像机坐标系下坐标不变的特点，可得下述坐标关系：
TC←QpQ＝TC←NpN
因此得到该点在穿刺针坐标系下的坐标，即
Figure BDA0003003943140000121
另外，本发明也可是用过方向标定进行校准，具体包括：
互校准方法由以下2个部分组成，互校准示意图如图6所示：
(1)通过人工事先确定出穿刺针在针识别物坐标系下的方向向量vN。
(2)在定位装置上加工一孔洞，使其平行于z轴，垂直于Oxy平面，孔洞底部一点为标定点(Calibration Point)，孔洞方向称为标定方向 (Calibration Direction)。通过设计定位装置模体，要确定出该孔洞方向在定位装置坐标系下的方向向量vQ。标定时，将识别针插入孔洞内，并保证针尖点位于标定点处。根据标定方向在摄像机坐标系下的方向保持不变的特点，通过坐标转换，可知以下关系：
TC←QvQ＝TC←NvN
此时标定方向在针尖坐标系下有2个表达式：
由针识别物识别出并经人工方向标定直接确定的待定位物体的方向向量：
Figure BDA0003003943140000122
(b)由识别板识别出并经坐标转换得到的待定位物体的方向向量：
Figure BDA0003003943140000123
上述2个向量均是标定方向在针识别物坐标系下的表示。假设w坐标分量采用表达式(a)更准确，u、v坐标分量采用表达式(b)更准确，那么互校准后的结果为
Figure BDA0003003943140000131
摄像机识别出定位板和穿刺针，即可得到TC←Q和TC←N。将穿刺针针尖插入识别板上一固定孔洞内。从识别板的加工模型可以确定出该孔洞在识别板坐标系下的方向向量，即vQ。由该方向向量在摄像机坐标系下方向不变，可得下述转换关系
TC←QvQ＝TC←NvN
因此得到该方向向量在穿刺针坐标系下的表示，即
Figure BDA0003003943140000132
经过方向标定后，摄像机实时识别针识别物时，可按下述公式实时计算针尖方向：
vC＝TC←NvN
其中，TC←N由摄像机识别针识别物后给出，vN为采用互校准或定位装置方向标定计算后的标定结果。
在一种实施例中，该拍摄装置实时采集对象以及器械的视频。用户可以观看该视频，在该视频中不仅显示拍摄装置所采集的对象和器械的表面部分，而且还在对应位置三维地显示实际不可见的对象的体内器官、病变以及器械在对象体内的部分。换言之，在视频中，将实际不可见的体内器官、病变以及器械位于体内的部分与人体及实际器械对准，从而指引用户在类似于真实环境的虚拟场景图像以及操作器械的位置。
本发明中能够根据定位装置和待定位物体进行识别，在同一场景下使用具有不同误差特性的光学识别物，通过二者对应物体的空间关联，实现单方或双方的光学定位精度提高。针对不同误差特征的识别物，将与之有空间关联性的器械通过几何结构的匹配，确定不同识别图案在同一空间中坐标的关联性。通过利用已知的可信数值，实现对不同识别图案空间识别位置的校准。
实施例2
如图3所示，本发明还有提供了一种定位装置，包括：支撑部1，以及设置于所述支撑部1上的特征部2和限位部3；
其中，所述特征部2包括展示板22，所述展示板22与所述支撑部1相连接，所述展示板22上设置有用于被拍摄和识别的光学特征件221；
所述限位部3设置于特征2部一侧，用于对待定位物体进行限位。
优选地，本发明中，所述特征部2还包括连接机构21，所述展示板22 通过所述连接机构21与所述支撑部1相连接。展示板22过连接机构21可翻转安装于支撑部1上，所述连接机构21可以设置为铰链结构，能够与支撑部 1翻转连接或者通过铰接件铰接连接，当需要对展示板22进行角度调整时，通过连接机构21的转动，实现翻转调整，达到适合拍摄的最佳角度。
进一步地，如图4所示，所述展示板22上设置有用于对光学特征件进行遮挡的遮挡件222。遮挡件222可以为上下开合及左右开合挡板，可以在识别平面状识别物时打开，在识别针状识别物时遮挡住平面识别物。
所述光学特征件221包括用于被识别的特定图形、结构、颜色之一或任意组合。所述图案、图形、结构或二维码可以为通过印刷过程设置于定位装置上，可识别图案根据其自身图案的规律以及生产特点，所具备的空间准确度也不尽相同。充分利用不同特性可识别图案的组合，实现快速空间校准。示例性的，本发明中，所述光学特征件为贴设或印刷于展示板22上的图案，所述图案为二维码。拍摄装置识别到二维码，根据二维码图案上的许多个特征点位置信息计算出该物体的位置空间信息。该空间位置信息包括定位装置的空间坐标、摆放形态中的一种或几种，能够对固定的定位装置进行空间位置的具体定位。
本发明中，所述限位部3为可拆卸结构，可安装于特征部一侧或进行更换。比如，为根据不同的灭菌/消毒需求，限位部3可以与整体结构分离。这样整体结构可以反复使用，并仅需消毒。而会接触无菌的手术器械的限位部 3可以是经过灭菌处理的一次性使用部件。在使用现场，再将结构3与整体结构组合后使用，提高了手术使用时的安全性。另外，本发明中，所述限位部设置于特征部一侧，当对待定位物体移动到预定位置，所述限位部对待定位物体进行限位，与待定位物体形成特定的空间位置关系。对于手术过程中的应用场景，拍摄装置是头戴式光学摄像头。在用户使用时，无论其采用何种姿势，都可以很好地保持头戴式光学摄像头的采集角度与其观察方向一致。
所述待定位物体为手术器械，在器械表面上所固定的标识还可以是立体图形，例如，在器械设计生产过程中，标识的图形可以是该器械的手柄，或者是固定于手柄侧面的某个结构。使用立体图形进行空间定位虽然识别所需的计算时间相对平面图形长，但对固定不动或慢速移动的目标空间定位精度较高。器械可以例如是穿刺针、活检针、射频或微波消融针、超声探头、硬质内窥镜、内窥镜手术下卵圆钳、电刀或吻合器等医疗器械。如图2所示，以穿刺针为例，穿刺针的针尖移动，当穿刺针的针尖移动到限位部，使所述针尖与所述定位装置形成特定的空间位置关系便于进行定位，根据限位部的位置信息对针尖进行位置信息校正。
示例性的，如图5所示，所述限位部3为柱形结构，柱形结构顶端开设有用于定位的定位槽31，所述定位槽31上水平开设有水平α角开口。手持针体，使针尖点中定位槽的开口时，此结构可以保证手持针体从垂直到水平这90度范围，水平α角范围内移动时，针尖不会从平面内滑脱。另一种实施例中，沿所述柱形结构的中轴线设置有通孔或盲孔，使通孔或盲孔适配于容纳穿刺针插入放置，即可实现对针体所处直线的限位。
对于本领域技术人员而言，显然能了解到上述具体事实例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。

Claims (13)

1.一种物体空间校准定位方法，其特征在于，包括：
捕获空间中的定位装置图像，并识别所述定位装置图像中的定位装置识别特性，得到定位装置空间位置信息；
当待定位物体处于特定位置时，捕获待定位物体在空间中的图像信息，并识别待定位物体图像中的待定位物体识别特性，得到待定位物体空间位置信息；其中，所述特定位置与所述定位装置的相对位置确定；
根据所述定位装置空间位置信息以及所述特定位置，对所述待定位物体空间位置信息进行校正，得到待定位装置的最终空间位置信息。
2.根据权利要求1所述的物体空间校准定位方法，其特征在于，所述定位装置识别特性至少包括定位装置本体形态特性和/或定位装置标记识别特性；所述定位装置本体形态特性至少包括定位装置本体的结构、形态或颜色；所述定位装置标记识别特性至少包括定位装置上设置的图案、图形或二维码。
3.根据权利要求1所述的物体空间校准定位方法，其特征在于，所述待定位物体识别特性至少包括待定位物体本体形态特性和/或待定位物体标记识别特性；所述待定位物体本体形态特性至少包括待定位物体本体的结构、形态或颜色；所述待定位物体标记识别特性至少包括待定位物体上设置的图案、图形或二维码。
4.根据权利要求1所述的物体空间校准定位方法，其特征在于，所述定位装置空间位置信息至少包括定位装置空间坐标和/或定位装置朝向；所述待定位物体空间位置信息至少包括待定位物体空间坐标和/或待定位物体朝向。
5.根据权利要求1所述物体空间校准定位方法，其特征在于，所述特定位置为所述待定位物体与所述定位装置上的预设的点、线或面具有特定位置关系时的位置，所述特定位置关系包括点、线或面重合、部分重合。
6.根据权利要求1或5所述物体空间校准定位方法，其特征在于，所述根据所述定位装置空间位置信息以及所述特定位置，对所述待定位物体空间位置信息进行校正包括：
根据所述定位装置空间位置信息以及所述特定位置，计算待定位物体理论位置信息；根据所述待定位物体理论位置信息，对所述待定位物体的空间位置信息进行校正。
7.根据权利要求6所述物体空间校准定位方法，其特征在于，所述对所述待定位物体的空间位置信息进行校正包括：对所述待定位物体的x、y坐标进行校正。
8.根据权利要求1或5所述物体空间校准定位方法，其特征在于，还包括根据所述待定位物体空间位置信息以及所述特定位置，对所述定位装置空间位置信息进行校正。
9.根据权利要求8所述物体空间校准定位方法，其特征在于，所述根据所述待定位物体空间位置信息以及所述特定位置，对所述定位装置空间位置信息进行校正包括：
根据所述待定位物体空间位置信息以及所述特定位置，计算定位装置理论位置信息；根据所述定位装置理论位置信息，对所述定位装置的空间位置信息进行校正。
10.根据权利要求9所述物体空间校准定位方法，其特征在于，所述对所述定位装置的空间位置信息进行校正包括：对所述定位装置的z坐标进行校正。
11.根据权利要求1-10任一项权利要求所述的物体空间校准定位方法，其特征在于，所述待定位物体为手术器械。
12.根据权利要求1-10任一项权利要求所述的物体空间校准定位方法，其特征在于，所述待定位物体为穿刺针。
13.根据权利要求1-10任一项权利要求所述的物体空间校准定位方法，其特征在于，所述定位装置包括：支撑部，以及设置于所述支撑部上的特征部和限位部；其中，所述特征部包括展示板，所述展示板与所述支撑部相连接，所述展示板上设置有用于被拍摄和识别的光学特征件；所述限位部设置为对待定位物体进行限位。
CN202110357358.XA 2021-04-01 2021-04-01 一种物体空间校准定位方法 Active CN113509263B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110357358.XA CN113509263B (zh) 2021-04-01 2021-04-01 一种物体空间校准定位方法
PCT/CN2022/081521 WO2022206417A1 (zh) 2021-04-01 2022-03-17 一种物体空间校准定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110357358.XA CN113509263B (zh) 2021-04-01 2021-04-01 一种物体空间校准定位方法

Publications (2)

Publication Number Publication Date
CN113509263A true CN113509263A (zh) 2021-10-19
CN113509263B CN113509263B (zh) 2024-06-14

Family

ID=78062303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110357358.XA Active CN113509263B (zh) 2021-04-01 2021-04-01 一种物体空间校准定位方法

Country Status (2)

Country Link
CN (1) CN113509263B (zh)
WO (1) WO2022206417A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206417A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 一种物体空间校准定位方法
WO2022206406A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10137914A1 (de) * 2000-08-31 2002-05-16 Siemens Ag Verfahren zur Ermittlung einer Koordinatentransformation für die Navigation eines Objekts
CN101091103A (zh) * 2005-01-28 2007-12-19 爱信艾达株式会社 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
KR101367366B1 (ko) * 2012-12-13 2014-02-27 주식회사 사이버메드 영상 유도 수술을 위한 수술 도구를 보정하는 방법 및 도구
CN105931237A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种图像校准方法和系统
CN107194395A (zh) * 2017-05-02 2017-09-22 华中科技大学 一种基于颜色识别和轮廓提取的物体动态定位方法
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US20180132946A1 (en) * 2016-11-14 2018-05-17 Intai Technology Corp. No-touch surgical navigation method and system thereof
CN108294825A (zh) * 2017-12-26 2018-07-20 刘洋 用于手术导航的配准系统及方法
US20180373291A1 (en) * 2017-06-23 2018-12-27 Westunitis Co., Ltd. Remote support system
US20190142359A1 (en) * 2016-06-08 2019-05-16 Tinavi Medical Technologies Co., Ltd. Surgical positioning system and positioning method
CN109833092A (zh) * 2017-11-29 2019-06-04 上海复拓知达医疗科技有限公司 体内导航系统和方法
US20190328462A1 (en) * 2018-04-30 2019-10-31 Chang Gung University System for facilitating medical treatment
CN110506297A (zh) * 2017-04-17 2019-11-26 康耐视公司 高精确度校准系统和方法
US20200078133A1 (en) * 2017-05-09 2020-03-12 Brainlab Ag Generation of augmented reality image of a medical device
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6497134B1 (en) * 2000-03-15 2002-12-24 Image Guided Technologies, Inc. Calibration of an instrument
FR2854318B1 (fr) * 2003-05-02 2010-10-22 Perception Raisonnement Action Determination de la position d'un element anatomique
US20050187562A1 (en) * 2004-02-03 2005-08-25 Grimm James E. Orthopaedic component inserter for use with a surgical navigation system
CN103006335B (zh) * 2013-01-06 2015-01-28 新博医疗技术有限公司 一种手术导航用的通用标定模及标定方法
US20180021092A2 (en) * 2014-02-05 2018-01-25 Brainlab Ag Identification and calibration method
TWI649067B (zh) * 2017-03-01 2019-02-01 醫百科技股份有限公司 Positioning corrector
CN110537983B (zh) * 2019-09-26 2021-05-14 重庆博仕康科技有限公司 光磁一体穿刺手术导航平台
CN113509263B (zh) * 2021-04-01 2024-06-14 上海复拓知达医疗科技有限公司 一种物体空间校准定位方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10137914A1 (de) * 2000-08-31 2002-05-16 Siemens Ag Verfahren zur Ermittlung einer Koordinatentransformation für die Navigation eines Objekts
CN101091103A (zh) * 2005-01-28 2007-12-19 爱信艾达株式会社 图像识别装置和方法以及使用该图像识别装置或方法的定位装置、车辆控制装置和导航装置
KR101367366B1 (ko) * 2012-12-13 2014-02-27 주식회사 사이버메드 영상 유도 수술을 위한 수술 도구를 보정하는 방법 및 도구
US20180071032A1 (en) * 2015-03-26 2018-03-15 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
CN105931237A (zh) * 2016-04-19 2016-09-07 北京理工大学 一种图像校准方法和系统
US20190142359A1 (en) * 2016-06-08 2019-05-16 Tinavi Medical Technologies Co., Ltd. Surgical positioning system and positioning method
US20180132946A1 (en) * 2016-11-14 2018-05-17 Intai Technology Corp. No-touch surgical navigation method and system thereof
CN110506297A (zh) * 2017-04-17 2019-11-26 康耐视公司 高精确度校准系统和方法
CN107194395A (zh) * 2017-05-02 2017-09-22 华中科技大学 一种基于颜色识别和轮廓提取的物体动态定位方法
US20200078133A1 (en) * 2017-05-09 2020-03-12 Brainlab Ag Generation of augmented reality image of a medical device
US20180373291A1 (en) * 2017-06-23 2018-12-27 Westunitis Co., Ltd. Remote support system
CN109833092A (zh) * 2017-11-29 2019-06-04 上海复拓知达医疗科技有限公司 体内导航系统和方法
CN108294825A (zh) * 2017-12-26 2018-07-20 刘洋 用于手术导航的配准系统及方法
US20190328462A1 (en) * 2018-04-30 2019-10-31 Chang Gung University System for facilitating medical treatment
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206417A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 一种物体空间校准定位方法
WO2022206406A1 (zh) * 2021-04-01 2022-10-06 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质

Also Published As

Publication number Publication date
WO2022206417A1 (zh) 2022-10-06
CN113509263B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
US10165981B2 (en) Surgical navigation method
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
CN113940755B (zh) 一种术像一体的外科手术规划与导航方法
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
US5765561A (en) Video-based surgical targeting system
CN109998678A (zh) 在医学规程期间使用增强现实辅助导航
KR102105974B1 (ko) 의료 영상 시스템
WO2022206417A1 (zh) 一种物体空间校准定位方法
US11602397B2 (en) System and method to conduct bone surgery
CN112043382A (zh) 一种外科手术导航系统及其使用方法
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
CN216535498U (zh) 一种基于物体在空间中的定位装置
Chan et al. A needle tracking device for ultrasound guided percutaneous procedures
WO2022206406A1 (zh) 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质
Bucholz et al. Automated rejection of contaminated surface measurements for improved surface registration in image guided neurosurgery
CN115120350A (zh) 计算机可读存储介质、电子设备、位置标定及机器人系统
WO2022206436A1 (zh) 一种动态位置识别提示系统及其方法
CN116019571A (zh) 用于在手术期间定位患者身体并跟踪患者位置的装置和方法
KR101592444B1 (ko) 투명디스플레이를 이용한 의료용 영상증강 장치 및 구현 방법
KR20090038717A (ko) 수술용 도구 및 수술용 내비게이션 방법
US11806093B1 (en) Apparatus and method for tracking hand-held surgical tools
CN111956327B (zh) 图像测量与配准方法
US20220338937A1 (en) Device For Navigating A Medical Instrument Relative To A Patient Anatomy
CN115886695A (zh) 手持机器人辅助式内窥镜
CN116807617A (zh) 一种手术机器人系统及手术导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant