CN116725674B - 三维实时图像的追踪方法、装置及存储介质 - Google Patents

三维实时图像的追踪方法、装置及存储介质 Download PDF

Info

Publication number
CN116725674B
CN116725674B CN202311014106.2A CN202311014106A CN116725674B CN 116725674 B CN116725674 B CN 116725674B CN 202311014106 A CN202311014106 A CN 202311014106A CN 116725674 B CN116725674 B CN 116725674B
Authority
CN
China
Prior art keywords
coordinate system
coordinates
image
dimensional
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311014106.2A
Other languages
English (en)
Other versions
CN116725674A (zh
Inventor
罗恩
黄立维
朱照琨
张冬海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Xunchuang Information Technology Co ltd
Original Assignee
Chengdu Xunchuang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Xunchuang Information Technology Co ltd filed Critical Chengdu Xunchuang Information Technology Co ltd
Priority to CN202311014106.2A priority Critical patent/CN116725674B/zh
Publication of CN116725674A publication Critical patent/CN116725674A/zh
Application granted granted Critical
Publication of CN116725674B publication Critical patent/CN116725674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Abstract

本发明公开了一种三维实时图像的追踪方法、装置及存储介质，涉及图像处理技术领域。该方法包括获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标；获取手术导航系统中定位标签在手术导航坐标系中的第二坐标；基于定位标签在医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵；基于转换矩阵，将三维扫描图像展示在手术导航坐标系中。本发明公开的三维实时图像的追踪方法、装置及存储介质可对手术器械进行准确定位的同时，避免多次CT扫描。

Description

三维实时图像的追踪方法、装置及存储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种三维实时图像的追踪方法、装置及存储介质。
背景技术
在外科手术中，常常需要将手术器械送至肉眼所不能看见的病灶部位，如穿刺手术中需要将穿刺针穿刺到指定的部位，为确保手术安全顺利完成，需要对手术器械进行准确定位。
现有技术中，较常用的方式是通过对患者的病灶部位拍摄电子计算机断层扫描（Computed Tomography，CT）图像，在将手术器械送至病灶部位的过程中，每隔一定距离进行一次CT扫描，并根据CT扫描结果校正手术器械。然而，采用这样的方式需要患者接收多次CT扫描，患者接受辐射较大，对患者的健康造成威胁。
因此，如何提供一种有效的方案，以便在对手术器械准确定位的同时，减少患者所收到的辐射已成为现有技术中一亟待解决的问题。
发明内容
本发明的目的是提供一种三维实时图像的追踪方法、装置及存储介质，用以解决现有技术中存在的上述问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种三维实时图像的追踪方法，包括：
获取表面粘贴有定位标签的患者指定区域的三维扫描图像；
建立医学影像坐标系，确定出所述定位标签在所述医学影像坐标系中的第一坐标；
获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；
基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；
基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
基于上述公开的内容，本发明通过获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标；获取手术导航系统中定位标签在手术导航坐标系中的第二坐标；基于定位标签在医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵；最后基于转换矩阵，将三维扫描图像展示在手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和三维扫描图像在手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。如此，可通过定位标签在医学影像坐标系中的坐标和在手术导航坐标系中的坐标，确定出将三维扫描图像展示在手术导航坐标系中的转换矩阵，从而可将三维扫描图像展示在手术导航坐标系中，进而可在手术过程中对手术器械进行准确定位的同时，避免由于多次CT扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁。
通过上述的设计，本发明可在手术过程中对手术器械进行准确定位的同时，避免由于多次CT扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁。
在一个可能的设计中，所述获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标，包括：
获取将所述手术器械移动至所述定位标签所在位置时所述手术器械在所述手术导航坐标系中的坐标，得到所述定位标签在手术导航坐标系中的第二坐标。
在一个可能的设计中，所述基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵，包括：
基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，通过迭代最近点算法确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的旋转矩阵和平移矩阵。
在一个可能的设计中，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：
通过轮廓识别，识别出所述三维扫描图像中与所述定位标签对应的标签图像；
基于所述标签图像在医学影像坐标系中的坐标，得到所述定位标签在所述医学影像坐标系中的第一坐标。
在一个可能的设计中，所述定位标签为圆球形，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：
将所述三维扫描图像在所述医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像；
识别出每个投影图像中与所述定位标签匹配的目标区域；
基于每个投影图像中的目标区域中所对应的坐标，确定出所述定位标签在所述医学影像坐标系中的第一坐标。
在一个可能的设计中，所述三维扫描图像为电子计算机断层扫描图像或核磁共振图像。
在一个可能的设计中，所述定位标签上设置有内凹的二维码，所述二维码的凹陷程度沿二维码边缘至二维码中心方向渐变增加。
第二方面，本发明提供了一种三维实时图像的追踪装置，用于实现第一方面或第一方面任一可能设计所述三维实时图像的追踪方法，包括：
获取单元，用于获取表面粘贴有定位标签的患者指定区域的三维扫描图像；
建立单元，用于建立医学影像坐标系；
确定单元，用于确定出所述定位标签在所述医学影像坐标系中的第一坐标；
所述获取单元还用于获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；
所述确定单元还用于基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；
展示单元，用于基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
第三方面，本发明提供了一种三维实时图像的追踪装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面所述的三维实时图像的追踪方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行第一方面所述的三维实时图像的追踪方法。
第五方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的三维实时图像的追踪方法。
有益效果：
本发明可在手术过程中对手术器械进行准确定位的同时，避免出现由于多次CT扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁，便于实际应用和推广。
附图说明
图1为本申请实施例提供的三维实时图像的追踪方法的流程图；
图2为本申请实施例提供的定位标签的剖面图；
图3为本申请实施例提供的定位标签的俯视图；
图4为本申请实施例提供的三维实时图像的追踪装置的结构示意图；
图5为本申请实施例提供的另一三维实时图像的追踪装置的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
为了在手术过程中对手术器械进行准确定位，本申请实施例提供了一种三维实时图像的追踪方法、装置及存储介质，该三维实时图像的追踪方法、装置及存储介质可在手术过程中对手术器械进行准确定位的同时，避免出现由于多次CT扫描导致患者接受辐射过大的情况。
本申请实施例提供的三维实时图像的追踪方法可应用于手术导航系统。可以理解，所述执行主体并不构成对本申请实施例的限定。
下面将对本申请实施例提供的三维实时图像的追踪方法进行详细说明。
如图1所示，是本申请实施例第一方面提供的三维实时图像的追踪方法的流程图，该三维实时图像的追踪方法可以但不限于包括如下步骤S101-S105。
步骤S101.获取表面粘贴有定位标签的患者指定区域的三维扫描图像。
本申请实施例中，所述定位标签可以采用在三维扫描图像显形的材料，其可以但不限于无磁性合金或无磁性金属等。
在外科手术中之前，可在患者的指定区域表面粘贴至少三给定位标签，然后获取该表面粘贴有定位标签的患者指定区域的三维扫描图像。其中，所述三维扫描图像可以但不限于是电子计算机断层扫描图像或核磁共振图像（Magnetic Resonance Imaging，MRI），所述指定区域可以是需要进行手术操作的区域，所述定位标签未处于同一直线上。
步骤S102.建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标。
本申请实施例中，可在获取到患者指定区域的三维扫描图像后建立一医学影像坐标系，并在医学影像坐标系中展示该获取到的三维扫描图像。建立医学影像坐标系后，可确定出该定位标签在医学影像坐标系中的第一坐标。
在一个或多个实施例中，确定出定位标签在所述医学影像坐标系中的第一坐标，可以先通过轮廓识别，识别出三维扫描图像中与定位标签对应的标签图像，然后将该标签图像在医学影像坐标系中的坐标，作为定位标签在医学影像坐标系中的第一坐标。标签图像在医学影像坐标系中的坐标可以是标签图像的中心坐标，也可以是标签图像在医学影像坐标系中远离三维扫描图像中心点的一侧的顶点坐标或角点坐标等。
在一个或多个实施例中，定位标签为圆球形，确定出定位标签在所述医学影像坐标系中的第一坐标时，可以但不限于如下步骤S1021-S1023。
步骤S1021.将三维扫描图像在医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像。
本申请实施例中，可根据医学影像坐标系中的三个坐标轴（x、y、z轴）在医学影像坐标系中划分三个相互垂直的坐标面（xoy平面、yoz平面和xoz平面），然后将三维扫描图像在医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像。
步骤S1022.识别出每个投影图像中与定位标签匹配的目标区域。
识别投影图像中与定位标签匹配的目标区域可以采用现有的图像识别算法，本申请实施例中不做具体说明。
步骤S1023.基于每个投影图像中的目标区域中所对应的坐标，确定出定位标签在医学影像坐标系中的第一坐标。
在xoy平面进行的投影图像为投影图像a，在yoz平面进行的投影图像为投影图像b，xoz平面进行的投影图像为投影图像c，在投影图像a中目标区域d所对应的坐标为（x1，y1），在投影图像b中目标区域d所对应的坐标为（y1，z1），在投影图像c中目标区域d所对应的坐标为（x1，z1），则目标区域d所对应的定位标签在医学影像坐标系中的第一坐标可以表示为（x1，y1，z1）。
在一个或多个实施例中，定位标签上可设置二维码，所述二维码可以是任意形状。如图2和图3所示，该定位标签上的二维码可设置为向内凹陷的形式，且沿二维码边缘至二维码中心方向的凹陷程度渐变增加，即二维码截面呈圆弧状，且截面的宽高比可以为1：0.06，圆弧与定位标签板的交界处切线与版面呈15°夹角，向内凹陷的设置可实现直视至75°斜视范围内二维码图案形态基本一致，明暗光线下，变换视觉时能够完整清晰地识别二维码，保证后续图像的实时精准配准与随动。
步骤S103.获取手术导航系统中定位标签在手术导航坐标系中的第二坐标。
手术导航系统可记录手术器械在手术导航坐标系中的坐标，因此本申请实施例中可通过控制手术器械移动至该定位标签所在位置，并记录下手术器械移动至该定位标签所在位置时手术器械在手术导航坐标系中的坐标，并将其作为定位标签在手术导航坐标系中的第二坐标。
步骤S104.基于定位标签在所述医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵。
具体的，可基于定位标签在所述医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，通过迭代最近点（Iterative Closest Point，ICP）算法确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵，该转换矩阵包括旋转矩阵和平移矩阵。
其中，通过ICP算法就散坐标转换的转换矩阵为现有技术，本申请实施例中不再详细说明。
步骤S105.基于转换矩阵，将三维扫描图像展示在手术导航坐标系中，以便在手术过程中根据手术器械在手术导航坐标系中的实时坐标和三维扫描图像在手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
具体的，可根据转换矩阵将三维扫描图像中各像素点在医学影像坐标系中的坐标转换为在手术导航坐标系中的坐标，并得到三维扫描图像中各像素点在手术导航坐标系中的坐标，然后将三维扫描图像在手术导航坐标系中进行展示。
由此通过前述步骤S101-S105所述的三维实时图像的追踪方法，通过获取表面粘贴有定位标签的患者指定区域的三维扫描图像；建立医学影像坐标系，确定出定位标签在医学影像坐标系中的第一坐标；获取手术导航系统中定位标签在手术导航坐标系中的第二坐标；基于定位标签在医学影像坐标系中的第一坐标和定位标签在手术导航坐标系中的第二坐标，确定出医学影像坐标系中的坐标转换为手术导航坐标系中坐标的转换矩阵；最后基于转换矩阵，将三维扫描图像展示在手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和三维扫描图像在手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。如此，可通过定位标签在医学影像坐标系中的坐标和在手术导航坐标系中的坐标，确定出将三维扫描图像展示在手术导航坐标系中的转换矩阵，从而可将三维扫描图像展示在手术导航坐标系中，进而可在手术过程中对手术器械进行准确定位的同时，避免由于多次CT扫描导致患者接受辐射过大的情况，在保障手术能够安全顺利完成的同时，避免对患者的健康造成威胁，便于实际应用和推广。
请参阅图4，本申请实施例第二方面提供了一种三维实时图像的追踪装置，用于实现第一方面所述三维实时图像的追踪方法，该三维实时图像的追踪装置包括：
获取单元，用于获取表面粘贴有定位标签的患者指定区域的三维扫描图像；
建立单元，用于建立医学影像坐标系；
确定单元，用于确定出所述定位标签在所述医学影像坐标系中的第一坐标；
所述获取单元还用于获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；
所述确定单元还用于基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；
展示单元，用于基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
本实施例第二方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图5所示，本申请实施例第三方面提供了另一种三维实时图像的追踪装置，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的三维实时图像的追踪方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器（RAM）、只读存储器（ROM）、闪存（Flash Memory）、先进先出存储器（FIFO）和/或先进后出存储器（FILO）等等；所述处理器可以不限于采用型号为STM32F105系列的微处理器、ARM（Advanced RISCMachines）、X86等架构处理器或集成NPU（neural-network processing units）的处理器；所述收发器可以但不限于为WiFi（无线保真）无线收发器、蓝牙无线收发器、通用分组无线服务技术（General Packet Radio Service，GPRS）无线收发器、紫蜂协议（基于IEEE802.15.4标准的低功耗局域网协议，ZigBee）无线收发器、3G收发器、4G收发器和/或5G收发器等。
本实施例第三方面提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第四方面提供了一种存储包含有实施例第一方面所述的三维实时图像的追踪方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的三维实时图像的追踪方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的三维实时图像的追踪方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种三维实时图像的追踪方法，其特征在于，包括：
获取表面粘贴有定位标签的患者指定区域的三维扫描图像；所述定位标签上设置有内凹的二维码，所述二维码的凹陷程度沿二维码边缘至二维码中心方向渐变增加，即二维码截面呈圆弧状，且截面的宽高比为1：0.06，圆弧与定位标签板的交界处切线与版面呈15°夹角；
建立医学影像坐标系，确定出所述定位标签在所述医学影像坐标系中的第一坐标；
获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；
基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；
基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
2.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标，包括：
获取将所述手术器械移动至所述定位标签所在位置时所述手术器械在所述手术导航坐标系中的坐标，得到所述定位标签在手术导航坐标系中的第二坐标。
3.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵，包括：
基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，通过迭代最近点算法确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的旋转矩阵和平移矩阵。
4.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：
通过轮廓识别，识别出所述三维扫描图像中与所述定位标签对应的标签图像；
基于所述标签图像在医学影像坐标系中的坐标，得到所述定位标签在所述医学影像坐标系中的第一坐标。
5.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述定位标签为圆球形，所述确定出所述定位标签在所述医学影像坐标系中的第一坐标，包括：
将所述三维扫描图像在所述医学影像坐标系中相互垂直的三个坐标面上进行投影，得到三个投影图像；
识别出每个投影图像中与所述定位标签匹配的目标区域；
基于每个投影图像中的目标区域中所对应的坐标，确定出所述定位标签在所述医学影像坐标系中的第一坐标。
6.根据权利要求1所述的三维实时图像的追踪方法，其特征在于，所述三维扫描图像为电子计算机断层扫描图像或核磁共振图像。
7.一种三维实时图像的追踪装置，用于实现权利要求1-6任一项所述三维实时图像的追踪方法，其特征在于，包括：
获取单元，用于获取表面粘贴有定位标签的患者指定区域的三维扫描图像；所述定位标签上设置有内凹的二维码，所述二维码的凹陷程度沿二维码边缘至二维码中心方向渐变增加，即二维码截面呈圆弧状，且截面的宽高比为1：0.06，圆弧与定位标签板的交界处切线与版面呈15°夹角；
建立单元，用于建立医学影像坐标系；
确定单元，用于确定出所述定位标签在所述医学影像坐标系中的第一坐标；
所述获取单元还用于获取手术导航系统中所述定位标签在手术导航坐标系中的第二坐标；
所述确定单元还用于基于所述定位标签在所述医学影像坐标系中的第一坐标和所述定位标签在手术导航坐标系中的第二坐标，确定出所述医学影像坐标系中的坐标转换为所述手术导航坐标系中坐标的转换矩阵；
展示单元，用于基于所述转换矩阵，将所述三维扫描图像展示在所述手术导航坐标系中，以便在手术过程中根据手术器械在所述手术导航坐标系中的实时坐标和所述三维扫描图像在所述手术导航坐标系中的坐标，生成手术过程中的三维实时图像并对生成的三维实时图像进行追踪。
8.一种三维实时图像的追踪装置，其特征在于，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1~6任意一项所述的三维实时图像的追踪方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1~6任意一项所述的三维实时图像的追踪方法。
CN202311014106.2A 2023-08-14 2023-08-14 三维实时图像的追踪方法、装置及存储介质 Active CN116725674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311014106.2A CN116725674B (zh) 2023-08-14 2023-08-14 三维实时图像的追踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311014106.2A CN116725674B (zh) 2023-08-14 2023-08-14 三维实时图像的追踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116725674A CN116725674A (zh) 2023-09-12
CN116725674B true CN116725674B (zh) 2023-12-15

Family

ID=87910003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311014106.2A Active CN116725674B (zh) 2023-08-14 2023-08-14 三维实时图像的追踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116725674B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131588B1 (en) * 1999-04-21 2006-11-07 Canon Kabushiki Kaisha Creation and decoding of two-dimensional code patterns
CN103870863A (zh) * 2014-03-14 2014-06-18 华中科技大学 制备隐藏二维码图像全息防伪标签的方法及其识别装置
DE102014212913A1 (de) * 2014-07-03 2016-01-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur intraoperativen Navigation
CN109658107A (zh) * 2019-03-01 2019-04-19 北京意锐新创科技有限公司 基于生物特征识别功能的扫码支付方法和装置
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统
CN112155727A (zh) * 2020-08-31 2021-01-01 上海市第一人民医院 基于三维模型的手术导航系统、方法、设备和介质
JP2021138116A (ja) * 2020-03-09 2021-09-16 太平洋セメント株式会社 情報表示体およびその製造方法
CN113876426A (zh) * 2021-10-28 2022-01-04 电子科技大学 一种与无影灯结合的术中定位跟踪系统及方法
CN116012522A (zh) * 2022-11-03 2023-04-25 成都寻创信息技术有限公司 头颈颌面部软组织、骨骼及血管的三维成像系统
CN116650115A (zh) * 2023-05-16 2023-08-29 长春理工大学 一种基于uwb标记点的骨科手术导航注册方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131588B1 (en) * 1999-04-21 2006-11-07 Canon Kabushiki Kaisha Creation and decoding of two-dimensional code patterns
CN103870863A (zh) * 2014-03-14 2014-06-18 华中科技大学 制备隐藏二维码图像全息防伪标签的方法及其识别装置
DE102014212913A1 (de) * 2014-07-03 2016-01-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur intraoperativen Navigation
CN109658107A (zh) * 2019-03-01 2019-04-19 北京意锐新创科技有限公司 基于生物特征识别功能的扫码支付方法和装置
JP2021138116A (ja) * 2020-03-09 2021-09-16 太平洋セメント株式会社 情報表示体およびその製造方法
CN111494009A (zh) * 2020-04-27 2020-08-07 上海霖晏医疗科技有限公司 用于手术导航的图像配准方法、装置和手术导航系统
CN112155727A (zh) * 2020-08-31 2021-01-01 上海市第一人民医院 基于三维模型的手术导航系统、方法、设备和介质
CN113876426A (zh) * 2021-10-28 2022-01-04 电子科技大学 一种与无影灯结合的术中定位跟踪系统及方法
CN116012522A (zh) * 2022-11-03 2023-04-25 成都寻创信息技术有限公司 头颈颌面部软组织、骨骼及血管的三维成像系统
CN116650115A (zh) * 2023-05-16 2023-08-29 长春理工大学 一种基于uwb标记点的骨科手术导航注册方法

Also Published As

Publication number Publication date
CN116725674A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
US9978141B2 (en) System and method for fused image based navigation with late marker placement
CN110946654A (zh) 一种基于多模影像融合的骨科手术导航系统
EP3238649B1 (en) Self-localizing medical device
EP2950735B1 (en) Registration correction based on shift detection in image data
US20150150641A1 (en) System and method for determining the three-dimensional location and orientation of identification markers
US20210223855A1 (en) Alignment of Medical Images in Augmented Reality Displays
US20220202493A1 (en) Alignment of Medical Images in Augmented Reality Displays
Meng et al. An automatic markerless registration method for neurosurgical robotics based on an optical camera
CA2969874C (en) Method for optimising the position of a patient's body part relative to an imaging device
CN116725674B (zh) 三维实时图像的追踪方法、装置及存储介质
US20230410331A1 (en) Imaging system
CN109620405B (zh) 用于开颅手术体表切口导航的识别图像贴片的实现方法
CN115868999A (zh) 射线成像系统的定位方法、定位装置和可读存储介质
CN110368026B (zh) 一种手术辅助装置及系统
EP3896654A1 (en) Technique for determining a position of one or more imaged markers in an image coordinate system
EP3024408B1 (en) Wrong level surgery prevention
US20230293235A1 (en) Determining an avoidance region for a reference device
CN115930965A (zh) 一种定位引导方法、装置、电子设备及存储介质
CN115399876A (zh) 机械臂主动跟随方法、装置、设备和介质
CN116982079A (zh) 用于图像引导手术中的非接触式患者配准的方法和系统
CN116981419A (zh) 用于图像引导手术中的非接触式患者配准的方法和系统
CN117252937A (zh) 图像生成方法、装置、设备、介质和程序产品
CN117765035A (zh) 超声图像和ct图像配准方法、装置、计算机设备及介质
WO2022197535A1 (en) Imaging system
CN116828160A (zh) 一种投影方法及手术辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant