CN111494009B - 用于手术导航的图像配准方法、装置和手术导航系统 - Google Patents
用于手术导航的图像配准方法、装置和手术导航系统 Download PDFInfo
- Publication number
- CN111494009B CN111494009B CN202010343673.2A CN202010343673A CN111494009B CN 111494009 B CN111494009 B CN 111494009B CN 202010343673 A CN202010343673 A CN 202010343673A CN 111494009 B CN111494009 B CN 111494009B
- Authority
- CN
- China
- Prior art keywords
- image
- light source
- positioning
- tracking
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003902 lesion Effects 0.000 claims abstract description 9
- 230000004807 localization Effects 0.000 claims description 13
- 239000011521 glass Substances 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 208000002847 Surgical Wound Diseases 0.000 abstract description 5
- 229910000831 Steel Inorganic materials 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010052428 Wound Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请实施例公开一种用于手术导航的图像配准方法，获取扫描设备光源点在定位追踪设备坐标系中的位置信息。对获取到的病人的医学图像进行三维重建，得到病人的三维虚拟影像，医学图像中包括病变部位。通过虚拟光源点对三维虚拟影像进行投影，确定虚拟光源点与三维虚拟影像的相对位置关系，即定位追踪设备坐标系扫描设备光源点与三维虚拟影像的相对位置关系，故根据该相对位置关系以及扫描设备光源点在定位追踪设备坐标系中的位置信息，可以计算三维虚拟影像在定位追踪设备坐标系中的位置信息。从而实现图像配准，以便进行手术导航。这种方法不需要取点，手术创口小，配准精度高，在一些难度、风险较大的手术中，对医生经验依赖度较小，操作性高。
Description
技术领域
本申请涉及医疗领域，特别是涉及一种用于手术导航的图像配准方法、装置和手术导航系统。
背景技术
随着现代医疗技术的发展，各类手术的实施为提高治疗效果带来了很大的进步。但是，手术的实施往往都存在一定难度和风险，例如在骨科手术中，必须要准确地确定手术部位，否则容易造成手术失败。
为了使得医生能够清晰地了解手术器械相对病人解剖结构的位置，计算机辅助导航技术被应用到医生的手术过程中。手术导航技术是将病人术前或术中影像数据和手术床上病人解剖结构准确对应，即进行图像配准，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。
现有用于手术导航的图像配准方法通常是对病人进行扫描，获得病人的X光图像数据，根据这些X光图像数据三维重建获得三维虚拟影像；然后将三维虚拟影像与病人进行配准，概括的说，在三维虚拟影像上依次选取三个特征点，然后在病人对应的位置上按序依次选取三个特征点，且用于选点的工具上装设有能够被定为追踪设备识别追踪的追踪部件，从而能够获得病人身上特征点的位置信息，分别计算出三点确定的平面的法向量，将上述两个法向量拟合，使得三维虚拟影像与病人对应，即在虚拟中构建了现实场景，病人三维虚拟影像与手术器械的位置一目了然。
但是这种方法不可避免的造成手术创口较大，且对医生的操作要求比较高。
发明内容
为了解决上述技术问题，本申请提供了一种用于手术导航的图像配准方法、装置和手术导航系统，不需要取点，手术创口小，配准精度高，在一些难度、风险较大的手术中，对医生经验依赖度较小，操作性高。
第一方面，本申请实施例提供一种用于手术导航的图像配准方法，所述方法包括：
获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
对获取到的病人的医学图像进行三维重建，得到所述病人的三维虚拟影像；所述医学图像中包括病变部位；
通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系；
根据所述相对位置关系以及所述扫描设备光源点在定位追踪设备坐标系中的位置信息，计算所述三维虚拟影像在定位追踪设备坐标系中的位置信息。
可选的，所述通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系，包括：
在模拟区域内改变所述虚拟光源点的位姿对所述三维虚拟影像进行投影，得到多个投影图像，每个位姿对应一个投影图像；
分别针对所述医学图像和每个投影图像提取轮廓点云；
根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像；
根据所述最佳投影图像确定所述虚拟光源点与所述三维虚拟影像的相对位置关系。
可选的，所述根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像，包括：
从所述医学图像的轮廓点云中选取特征点；
计算每个特征点在投影图像上距离最近轮廓点的距离值；
将距离值之和最小的投影图像作为所述最佳投影图像；所述距离值之和为所有特征点在同一投影图像上距离最近轮廓点的距离值之和。
可选的，所述根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像，包括：
获取所述医学图像的第一轮廓点云和所述多个投影图像的第二轮廓点云；
将与所述第一轮廓点云误差最小的所述第二轮廓点云对应的投影图像作为所述最佳投影图像。
可选的，所述虚拟光源点与所述扫描设备光源点的参数相同。
可选的，所述获取扫描设备光源点在定位追踪设备坐标系中的位置信息，包括：
获取所述医学图像；所述医学图像中包括标靶，所述标靶上设置有追踪部件；
根据所述标靶与所述扫描设备光源点之间的移动变换关系，确定所述扫描设备光源点在所述定位追踪设备坐标系中的位置信息。
可选的，所述方法还包括：
通过所述定位追踪设备获取手术器具在定位追踪设备坐标系中的位置信息，所述手术器具上设有追踪部件；
根据所述手术器具在定位追踪设备坐标系中的位置信息和所述三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航。
第二方面，本申请实施例提供一种用于手术导航的图像配准装置，所述装置包括：
第一获取单元，用于获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
第二获取单元，用于对获取到的病人的医学图像进行三维重建，得到所述病人的三维虚拟影像；所述医学图像中包括病变部位；
确定单元，用于通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系；
计算单元，用于根据所述相对位置关系以及所述扫描设备光源点在定位追踪设备坐标系中的位置信息，计算所述三维虚拟影像在定位追踪设备坐标系中的位置信息。
可选的，所述确定单元，用于：
在模拟区域内改变所述虚拟光源点的位姿对所述三维虚拟影像进行投影，得到多个投影图像，每个位姿对应一个投影图像；
分别针对所述医学图像和每个投影图像提取轮廓点云；
根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像；
根据所述最佳投影图像确定所述虚拟光源点与所述三维虚拟影像的相对位置关系。
可选的，所述确定单元，具体用于：
从所述医学图像的轮廓点云中选取特征点；
计算每个特征点在投影图像上距离最近轮廓点的距离值；
将距离值之和最小的投影图像作为所述最佳投影图像；所述距离值之和为所有特征点在同一投影图像上距离最近轮廓点的距离值之和。
可选的，所述确定单元，具体用于：
获取所述医学图像的第一轮廓点云和所述多个投影图像的第二轮廓点云；
将与所述第一轮廓点云误差最小的所述第二轮廓点云对应的投影图像作为所述最佳投影图像。
可选的，所述虚拟光源点与所述扫描设备光源点的参数相同。
可选的，所述第一获取单元，用于：
获取所述医学图像；所述医学图像中包括标靶，所述标靶上设置有追踪部件；
根据所述标靶与所述扫描设备光源点之间的移动变换关系，确定所述扫描设备光源点在所述定位追踪设备坐标系中的位置信息。
可选的，所述装置还包括：
第三获取单元，用于通过所述定位追踪设备获取手术器具在定位追踪设备坐标系中的位置信息，所述手术器具上设有追踪部件；
导航单元，用于根据所述手术器具在定位追踪设备坐标系中的位置信息和所述三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航。
第三方面，本申请实施例提供一种手术导航系统，所述系统包括扫描设备、定位追踪设备、标靶、手术器具和计算机：
所述扫描设备具有扫描设备光源点，用于对病人进行扫描得到病人的医学图像；
所述定位追踪设备，用于追踪定位追踪部件；
所述标靶被用于获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
所述手术器具设有追踪部件，所述定位追踪设备通过追踪定位追踪部件获取所述手术器具在定位追踪设备坐标系中的位置信息；
所述计算机用于根据第一方面任一项所述的方法进行图像配准，确定三维虚拟影像在定位追踪设备坐标系中的位置信息，并根据所述手术器具在定位追踪设备坐标系中的位置信息和所述三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航。
可选的，所述系统还包括增强现实AR眼镜，所述AR眼镜上设有追踪部件，所述AR眼镜用于显示所述三维虚拟影像。
由上述技术方案可以看出，本申请实施例具有以下优点：
在进行图像配准时，获取扫描设备光源点在定位追踪设备坐标系中的位置信息。对获取到的病人的医学图像进行三维重建，得到病人的三维虚拟影像，其中，医学图像中包括病变部位。之后，通过虚拟光源点对三维虚拟影像进行投影，确定虚拟光源点与三维虚拟影像的相对位置关系，该相对位置关系即定位追踪设备坐标系扫描设备光源点与三维虚拟影像的相对位置关系，故根据该相对位置关系以及扫描设备光源点在定位追踪设备坐标系中的位置信息，可以计算三维虚拟影像在定位追踪设备坐标系中的位置信息。从而实现图像配准，以便进行手术导航。这种方法不需要取点，手术创口小，配准精度高，在一些难度、风险较大的手术中，对医生经验依赖度较小，操作性高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种用于手术导航的图像配准方法的流程图；
图2为本申请实施例提供的一种手术导航系统的结构图；
图3为本申请实施例提供的一种用于手术导航的图像配准装置的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了解决现有的图像配准方法需要取点，导致手术创口较大，且对医生的操作要求比较高的技术问题，本申请实施例提供一种用于手术导航的图像配准方法、装置和手术导航系统，不需要取点，手术创口小，配准精度高，在一些难度、风险较大的手术中，对医生经验依赖度较小，操作性高。
本申请实施例提供的图像配准方法可以用于进行手术导航，通过确定出三维虚拟影像在定位追踪设备坐标系中的位置信息，可以实现三维虚拟影像与病人的精确配准，从而在手术过程中，当手术器具指向患者身体内部的任意部位时，它的位置信息都会被导航系统实时捕捉，这样，并显示在三维虚拟影像中。由于三维虚拟影像与病人的精确配准，手术器具在三维虚拟影像中的位置可以反映手术器具作用于病人的位置，从而实时了解手术器具和病人之间的相对关系来指导手术的执行。
本申请实施例提供的方法可以应用于终端设备，该终端设备例如可以是计算机，所述计算机可以是手术导航系统的组成部分，所述手术导航系统还包括扫描设备、定位追踪设备、标靶和手术器具，计算机可以获取通过手术导航系统中其他设备确定出的信息，从而利用这些信息进行图像配准。
接下来，将结合附图对本申请实施例提供的用于手术导航的图像配准方法进行详细介绍。参见图1，所述方法包括：
S101、获取扫描设备光源点在定位追踪设备坐标系中的位置信息。
扫描设备具有扫描设备光源点，用于对病人进行扫描得到病人的医学图像。该扫描设备可以包括多种，例如可以是C型臂X光机，此时，得到的医学图像例如可以是X光图像。
定位追踪设备可以追踪定位追踪部件，从而可以根据定位追踪部件获取位置信息。其中，定位追踪设备例如可以是光学定位追踪器；定位追踪部件例如可以是被动式的反光小球，或者主动式的发光小球。
在本申请实施例中，S101中获取扫描设备光源点在定位追踪设备坐标系中的位置信息的一种实现方式，可以是获取医学图像，该医学图像中包括标靶，标靶上设置有追踪部件，以便定位追踪设备可以根据定位追踪部件获取标靶的位置信息。
需要说明的是，在获取医学图像时，扫描设备位于定位追踪设备的有效视野内，将标靶放置在扫描设备前进行扫描，获得标靶与扫描设备光源点之间的移动变换关系，进而根据所述标靶与扫描设备光源点之间的移动变换关系，确定扫描设备光源点在定位追踪设备坐标系中的位置信息。
接下来，对利用标靶确定扫描设备光源点在定位追踪设备坐标系中的位置信息的原理进行介绍。
标靶是一种加工件，其上有A、B两个相互平行的平面，两平面上均开设有n排m列容纳孔位，容纳孔位之间的距离均已知，另外装设有至少3个能够被定位追踪设备追踪的追踪部件。
实际使用中，在A平面上的容纳孔位装入钢珠，当然也可以选择则用其他材质，只要保证装入容纳孔的珠体与平面所使用的材质的物质密度明显不同，使得最终呈现具有明显可分性即可，因此其他满足要求的材质均可在实施例中实用，本实施例对此不作具体限定。另外，需要注意的是，装入孔位的钢珠成不对称分布，并且在B平面做同样操作。然后，将标靶放在C型臂下拍摄，C型臂的成像板上会出现标靶的二维图像。根据公式：
XMP＝W
其中，X表示A平面上钢珠的局部三维坐标(可以其中一钢珠作为坐标原点，可以得到其他钢珠的位置坐标)；P为投影矩阵，是C型臂的设备参数；W为C型臂成像板的上二维坐标；M表示以扫描设备光源点为坐标原点的，到达标靶(或者说到达以钢珠为坐标的原点)需要经过的移动矩阵(即移动变换关系)。
X、P、W均可以得出，因此能够计算出每一次拍摄的移动矩阵M，即得到扫描设备光源点与标靶之间的移动变换关系，并且，标靶上还设有能够被定位追踪设备追踪的追踪部件，因此，在定位追踪设备坐标系下，可以得到追踪部件(即标靶)的位置信息，并通过M可计算得出扫描设备光源点在定位追踪设备坐标系下的位置信息。
另外，需要说明的是，仅通过标靶的A面或者B面即可完成位置信息获取，而作为优选的，设置两个平面，即该标靶的B面，可用于验证计算。利用标靶确定扫描设备光源点在定位追踪设备坐标系下的位置信息，操作简单，可重复使用，精确度高，大大提高手术安全性。
S102、对获取到的病人的医学图像进行三维重建，得到所述病人的三维虚拟影像。
扫描设备对病人进行扫描，得到病人的医学图像，对医学图像进行三维重建，得到病人的三维虚拟影像。所述医学图像中包括病变部位，该病变部位例如可以是骨骼、血管、器官等。
S103、通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系。
其中，通过虚拟光源点对三维虚拟影像进行投影，确定虚拟光源点与所述三维虚拟影像的相对位置关系的一种实现方式可以是在模拟区域内改变所述虚拟光源点的位姿对所述三维虚拟影像进行投影，得到多个投影图像，每个位姿对应一个投影图像。然后，分别针对医学图像和每个投影图像提取轮廓点云，例如对投影图像进行图像处理，利用边缘检测技术提取出其轮廓点云，针对医学图像提取轮廓点云的方法可以是利用轮廓点云提取算法提取，也可以是手工提取，本实施例对此不做限定。根据轮廓点云，从多个投影图像中确定最佳投影图像。得到最佳投影图像的虚拟光源点的位置就是虚拟光源点的正确位置，而最佳投影图像可以相当于三维虚拟影像，故根据最佳投影图像可以确定虚拟光源点与三维虚拟影像的相对位置关系。
其中，在模拟区域内改变虚拟光源点的位姿对三维虚拟影像进行投影时，首先可以在包括三维虚拟影像的虚拟空间中，选择一初始位置，以该初始位置模拟虚拟光源点，对三维虚拟影像进行投影，将其投影图像与医学图像例如X光图像进行重合比对，使其二者近似重合。以该初始位置为原点，半径d以内，选为模拟区域，在模拟区域内不断改变虚拟光源点的位姿，位姿例如可以包括方位以及角度，分别对三维虚拟影像进行投影，将得到的投影图像与X光图像进行重合比对。
需要说明的是，在设置虚拟光源点时，需要设置虚拟光源点的参数与扫描设备光源点的参数相同。其中，参数例如可以是视野角、投影图像大小(以像素为单位)等。
可以理解的是，根据轮廓点云，从多个投影图像中确定最佳投影图像的方式可以包括多种，第一种方式可以是从医学图像的轮廓点云中选取特征点，计算每个特征点在投影图像上距离最近轮廓点的距离值，对所有特征点在同一投影图像上距离最近轮廓点的距离值求和，得到每个投影图像对应的距离值之和，将距离值之和最小的投影图像作为最佳投影图像。距离值之和为所有特征点在同一投影图像上距离最近轮廓点的距离值之和。
例如，对投影图像进行图像处理，利用边缘检测技术提取出其轮廓，得到轮廓点云，若投影图像为骨骼的投影图像，则得到骨骼投影图像的轮廓点云。然后在医学图像例如骨骼X光图像上选取轮廓点，得到骨骼X光图像的轮廓点云，在骨骼X光图像的轮廓点云中选取特征点，根据大量模拟实验，作为优选的，一般选取的特征点数量为8个以上，并且选取的特征点应该是分布于轮廓四周的特殊点。计算每一个选取点在投影图像上距离最近轮廓点的距离值A1，A2，A3，……，得到距离值之和S，S值最小的对应的投影图像就是虚拟光源点的正确位置，即可以得到虚拟光源点与三维虚拟影像的相对位置关系。
第二种方式是利用迭代最近点算法(Iterative Closest Point，ICP)算法将投影图像与医学图像例如X光图像进行配准，例如获取医学图像的第一轮廓点云和多个投影图像的第二轮廓点云，将与第一轮廓点云误差最小的第二轮廓点云对应的投影图像作为最佳投影图像。
S104、根据所述相对位置关系以及所述扫描设备光源点在定位追踪设备坐标系中的位置信息，计算所述三维虚拟影像在定位追踪设备坐标系中的位置信息。
在确定虚拟光源点与三维虚拟影像的相对位置关系，以及扫描设备光源点在定位追踪设备坐标系中的位置信息后，由于虚拟光源点与三维虚拟影像的相对位置关系可以模拟体现实际环境中扫描设备光源点与病人的相对位置关系，故，可以根据该相对位置关系以及扫描设备光源点在定位追踪设备坐标系中的位置信息，计算三维虚拟影像在定位追踪设备坐标系中的位置信息，从而准确的确定出病人的位置信息，从而实现图像配准，以便进行手术导航。
进一步的，病人身上还固定有追踪部件。在完成精确配准后，在定位追踪设备的坐标系中，三维虚拟影像与追踪部件也确定了连接关系，在后期手术过程中，可以通过追踪部件的变化来带动三维虚拟影像变化，实现了手术过程的实时同步，且无需重新进行扫描配准。需要说明的是，即便不固定追踪部件，也可以通过周期性的重复上述步骤，实现术中的即时配准。
在手术过程中，手术器具上设有追踪部件，可以通过定位追踪设备获取手术器具在定位追踪设备坐标系中的位置信息。由于通过上述S101-S104的步骤可以确定三维虚拟影像在定位追踪设备坐标系中的位置信息，故，可以根据手术过程中获取的手术器具在定位追踪设备坐标系中的位置信息和三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航。例如，可以将手术器具显示在三维虚拟影像中，由于三维虚拟影像与病人的精确配准，手术器具在三维虚拟影像中的位置可以反映手术器具作用于病人的位置，从而实时了解手术器具和病人之间的相对关系来指导手术的执行。
其中，可以通过手术导航系统中的计算机显示三维虚拟影像并在三维虚拟影像中显示手术器具，在一些情况下，为了方便医生观看，以便更好的进行手术导航，医生可以佩戴增强现实(Augmented Reality，AR)眼镜，AR眼镜上设有追踪部件，从而可以确定AR眼镜的位置信息，通过坐标系转换计算，进而将三维虚拟影像显示在AR眼镜上，医生通过AR眼镜既可以看到实际手术场景又可以看到虚拟手术场景，实现手术场景虚拟与现实的重合。
在进行图像配准时，获取扫描设备光源点在定位追踪设备坐标系中的位置信息。对获取到的病人的医学图像进行三维重建，得到病人的三维虚拟影像，其中，医学图像中包括病变部位。之后，通过虚拟光源点对三维虚拟影像进行投影，确定虚拟光源点与三维虚拟影像的相对位置关系，该相对位置关系即定位追踪设备坐标系扫描设备光源点与三维虚拟影像的相对位置关系，故根据该相对位置关系以及扫描设备光源点在定位追踪设备坐标系中的位置信息，可以计算三维虚拟影像在定位追踪设备坐标系中的位置信息。从而实现图像配准，以便进行手术导航。这种方法不需要取点，手术创口小，配准精度高，在一些难度、风险较大的手术中，对医生经验依赖度较小，操作性高。
基于此，本申请实施例还提供一种手术导航系统，参见图2，该系统包括扫描设备201、定位追踪设备202、标靶203、手术器具204和计算机205，扫描设备具有扫描设备光源点，用于对病人进行扫描得到病人的医学图像；定位追踪设备，用于追踪定位追踪部件；标靶被用于获取扫描设备光源点在定位追踪设备坐标系中的位置信息；手术器具设有追踪部件，所述定位追踪设备通过追踪定位追踪部件获取所述手术器具在定位追踪设备坐标系中的位置信息；计算机用于根据图1对应实施例提供的方法进行图像配准，确定三维虚拟影像在定位追踪设备坐标系中的位置信息，并根据手术器具在定位追踪设备坐标系中的位置信息和三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航。
在一些可能的实现方式中，该系统还包括增强现实AR眼镜，AR眼镜上设有追踪部件，所述AR眼镜用于显示所述三维虚拟影像。
本申请实施例还提供一种用于手术导航的图像配准装置，参见图3，所述装置包括：
第一获取单元301，用于获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
第二获取单元302，用于对获取到的病人的医学图像进行三维重建，得到所述病人的三维虚拟影像；所述医学图像中包括病变部位；
确定单元303，用于通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系；
计算单元304，用于根据所述相对位置关系以及所述扫描设备光源点在定位追踪设备坐标系中的位置信息，计算所述三维虚拟影像在定位追踪设备坐标系中的位置信息。
可选的，所述确定单元，用于：
在模拟区域内改变所述虚拟光源点的位姿对所述三维虚拟影像进行投影，得到多个投影图像，每个位姿对应一个投影图像；
分别针对所述医学图像和每个投影图像提取轮廓点云；
根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像；
根据所述最佳投影图像确定所述虚拟光源点与所述三维虚拟影像的相对位置关系。
可选的，所述确定单元，具体用于：
从所述医学图像的轮廓点云中选取特征点；
计算每个特征点在投影图像上距离最近轮廓点的距离值；
将距离值之和最小的投影图像作为所述最佳投影图像；所述距离值之和为所有特征点在同一投影图像上距离最近轮廓点的距离值之和。
可选的，所述确定单元，具体用于：
获取所述医学图像的第一轮廓点云和所述多个投影图像的第二轮廓点云；
将与所述第一轮廓点云误差最小的所述第二轮廓点云对应的投影图像作为所述最佳投影图像。
可选的，所述虚拟光源点与所述扫描设备光源点的参数相同。
可选的，所述第一获取单元，用于：
获取所述医学图像；所述医学图像中包括标靶，所述标靶上设置有追踪部件；
根据所述标靶与所述扫描设备光源点之间的移动变换关系，确定所述扫描设备光源点在所述定位追踪设备坐标系中的位置信息。
可选的，所述装置还包括：
第三获取单元，用于通过所述定位追踪设备获取手术器具在定位追踪设备坐标系中的位置信息，所述手术器具上设有追踪部件；
导航单元，用于根据所述手术器具在定位追踪设备坐标系中的位置信息和所述三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (6)
1.一种用于手术导航的图像配准装置，其特征在于，所述装置包括：
第一获取单元，用于获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
第二获取单元，用于对获取到的病人的医学图像进行三维重建，得到所述病人的三维虚拟影像；所述医学图像中包括病变部位；
确定单元，用于通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系，包括：在模拟区域内改变所述虚拟光源点的位姿对所述三维虚拟影像进行投影，得到多个投影图像，每个位姿对应一个投影图像；分别针对所述医学图像和每个投影图像提取轮廓点云；根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像，包括：从所述医学图像的轮廓点云中选取特征点；计算每个特征点在投影图像上距离最近轮廓点的距离值；将距离值之和最小的投影图像作为所述最佳投影图像；所述距离值之和为所有特征点在同一投影图像上距离最近轮廓点的距离值之和；根据所述最佳投影图像确定所述虚拟光源点与所述三维虚拟影像的相对位置关系；
计算单元，用于根据所述相对位置关系以及所述扫描设备光源点在定位追踪设备坐标系中的位置信息，计算所述三维虚拟影像在定位追踪设备坐标系中的位置信息。
2.一种手术导航系统，其特征在于，所述系统包括扫描设备、定位追踪设备、标靶、手术器具和计算机：
所述扫描设备具有扫描设备光源点，用于对病人进行扫描得到病人的医学图像；
所述定位追踪设备，用于追踪定位追踪部件；
所述标靶被用于获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
所述手术器具设有追踪部件，所述定位追踪设备通过追踪定位追踪部件获取所述手术器具在定位追踪设备坐标系中的位置信息；
所述计算机用于根据手术导航的图像配准方法进行图像配准，确定三维虚拟影像在定位追踪设备坐标系中的位置信息，并根据所述手术器具在定位追踪设备坐标系中的位置信息和所述三维虚拟影像在定位追踪设备坐标系中的位置信息进行手术导航；
所述手术导航的图像配准方法，包括：
获取扫描设备光源点在定位追踪设备坐标系中的位置信息；
对获取到的病人的医学图像进行三维重建，得到所述病人的三维虚拟影像；所述医学图像中包括病变部位；
通过虚拟光源点对所述三维虚拟影像进行投影，确定所述虚拟光源点与所述三维虚拟影像的相对位置关系，包括：
在模拟区域内改变所述虚拟光源点的位姿对所述三维虚拟影像进行投影，得到多个投影图像，每个位姿对应一个投影图像；
分别针对所述医学图像和每个投影图像提取轮廓点云；
根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像，包括：
从所述医学图像的轮廓点云中选取特征点；
计算每个特征点在投影图像上距离最近轮廓点的距离值；
将距离值之和最小的投影图像作为所述最佳投影图像；所述距离值之和为所有特征点在同一投影图像上距离最近轮廓点的距离值之和；
根据所述最佳投影图像确定所述虚拟光源点与所述三维虚拟影像的相对位置关系；
根据所述相对位置关系以及所述扫描设备光源点在定位追踪设备坐标系中的位置信息，计算所述三维虚拟影像在定位追踪设备坐标系中的位置信息。
3.根据权利要求2所述的系统，其特征在于，所述根据所述轮廓点云，从所述多个投影图像中确定最佳投影图像，包括：
获取所述医学图像的第一轮廓点云和所述多个投影图像的第二轮廓点云；
将与所述第一轮廓点云误差最小的所述第二轮廓点云对应的投影图像作为所述最佳投影图像。
4.根据权利要求2-3任一项所述的系统，其特征在于，所述虚拟光源点与所述扫描设备光源点的参数相同。
5.根据权利要求2所述的系统，其特征在于，所述获取扫描设备光源点在定位追踪设备坐标系中的位置信息，包括：
获取所述医学图像；所述医学图像中包括标靶，所述标靶上设置有追踪部件；
根据所述标靶与所述扫描设备光源点之间的移动变换关系，确定所述扫描设备光源点在所述定位追踪设备坐标系中的位置信息。
6.根据权利要求2所述的系统，其特征在于，所述系统还包括增强现实AR眼镜，所述AR眼镜上设有追踪部件，所述AR眼镜用于显示所述三维虚拟影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010343673.2A CN111494009B (zh) | 2020-04-27 | 2020-04-27 | 用于手术导航的图像配准方法、装置和手术导航系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010343673.2A CN111494009B (zh) | 2020-04-27 | 2020-04-27 | 用于手术导航的图像配准方法、装置和手术导航系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111494009A CN111494009A (zh) | 2020-08-07 |
| CN111494009B true CN111494009B (zh) | 2021-09-14 |
Family
ID=71849138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010343673.2A Active CN111494009B (zh) | 2020-04-27 | 2020-04-27 | 用于手术导航的图像配准方法、装置和手术导航系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111494009B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114159160B (zh) * | 2020-09-10 | 2023-09-05 | 杭州三坛医疗科技有限公司 | 手术导航方法、装置、电子设备、存储介质 |
| CN112288799B (zh) * | 2020-09-22 | 2024-08-13 | 上海擎朗智能科技有限公司 | 一种行驶设备的定位方法、装置、设备及存储介质 |
| CN112006776A (zh) * | 2020-09-27 | 2020-12-01 | 安徽埃克索医疗机器人有限公司 | 一种手术导航系统及手术导航系统的配准方法 |
| CN112515767B (zh) * | 2020-11-13 | 2021-11-16 | 中国科学院深圳先进技术研究院 | 手术导航装置、设备及计算机可读存储介质 |
| CN113081265B (zh) * | 2021-03-24 | 2022-11-15 | 重庆博仕康科技有限公司 | 手术导航空间配准方法、装置以及手术导航系统 |
| CN113349914B (zh) * | 2021-04-13 | 2023-09-12 | 郑振雨 | 混合现实可视化操作系统 |
| CN113349931B (zh) * | 2021-06-18 | 2024-06-04 | 云南微乐数字医疗科技有限公司 | 一种高精度手术导航系统的病灶配准方法 |
| CN114010314B (zh) * | 2021-10-27 | 2023-07-07 | 北京航空航天大学 | 一种针对经内镜逆行性胰胆管造影术的增强现实导航方法及系统 |
| CN113925611A (zh) * | 2021-12-16 | 2022-01-14 | 北京诺亦腾科技有限公司 | 对象三维模型和对象实体的匹配方法、装置、设备及介质 |
| CN116725674B (zh) * | 2023-08-14 | 2023-12-15 | 成都寻创信息技术有限公司 | 三维实时图像的追踪方法、装置及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120069167A1 (en) * | 2009-05-18 | 2012-03-22 | Koninklijke Philips Electronics N.V. | Marker-free tracking registration and calibration for em-tracked endoscopic system |
| ITTV20100133A1 (it) * | 2010-10-08 | 2012-04-09 | Teleios Srl | Apparato e metodo per effettuare la mappatura di uno spazio tridimensionale in applicazioni medicali a scopo interventistico o diagnostico |
| NL2012416B1 (en) * | 2014-03-12 | 2015-11-26 | Stichting Katholieke Univ | Anatomical Image Projection System. |
| US10089778B2 (en) * | 2015-08-07 | 2018-10-02 | Christie Digital Systems Usa, Inc. | System and method for automatic alignment and projection mapping |
| CN105434046B (zh) * | 2015-11-18 | 2018-02-09 | 上海交通大学 | 基于消除红外滤光片折射效应的手术导航仪定位方法 |
| JP6646748B2 (ja) * | 2015-12-15 | 2020-02-14 | セント・ジュード・メディカル・インターナショナル・ホールディング・エスエーアールエルＳｔ． Ｊｕｄｅ Ｍｅｄｉｃａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｈｏｌｄｉｎｇ Ｓ．ａ，ｒ．ｌ． | 電磁センサ追跡システムのためのモーション・ボックス視覚化 |
| US10325380B2 (en) * | 2016-01-12 | 2019-06-18 | University Of Iowa Research Foundation | Precise, low-cost orthopaedic surgical simulator |
| CN106214256A (zh) * | 2016-09-21 | 2016-12-14 | 华南理工大学 | 一种无标记点光学手术导航系统及其导航方法 |
| CN208974134U (zh) * | 2018-09-07 | 2019-06-14 | 上海霖晏医疗科技有限公司 | 一种主动式追踪的手术器械 |
| CN109925054B (zh) * | 2019-03-04 | 2020-12-18 | 杭州三坛医疗科技有限公司 | 确定靶点路径的辅助方法、装置和系统、可读存储介质 |
| CN109925052B (zh) * | 2019-03-04 | 2020-12-08 | 杭州三坛医疗科技有限公司 | 靶点路径的确定方法、装置和系统、可读存储介质 |
-
2020
- 2020-04-27 CN CN202010343673.2A patent/CN111494009B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109758230A (zh) * | 2019-02-26 | 2019-05-17 | 中国电子科技集团公司信息科学研究院 | 一种基于增强现实技术的神经外科手术导航方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111494009A (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111494009B (zh) | 用于手术导航的图像配准方法、装置和手术导航系统 | |
| CN113940755B (zh) | 一种术像一体的外科手术规划与导航方法 | |
| CN109416841B (zh) | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 | |
| JP2966089B2 (ja) | 不均質組織内部における局部手術用対話型装置 | |
| EP2950735B1 (en) | Registration correction based on shift detection in image data | |
| CN113950301A (zh) | 用于计算机引导手术的系统 | |
| US20080154120A1 (en) | Systems and methods for intraoperative measurements on navigated placements of implants | |
| JP2003144454A (ja) | 関節手術支援情報算出方法、関節手術支援情報算出プログラム、及び関節手術支援情報算出システム | |
| TWI836493B (zh) | 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統 | |
| CN110916702B (zh) | 支持用户的方法、数据载体和成像系统 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| CN112168346A (zh) | 三维医学影像与患者实时重合的方法及手术辅助系统 | |
| CN116492052B (zh) | 一种基于混合现实脊柱三维可视化手术导航系统 | |
| CN112515766B (zh) | 用于将x射线图像数据组与导航系统配准的方法和系统 | |
| JP6493877B2 (ja) | 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム | |
| US9576353B2 (en) | Method for verifying the relative position of bone structures | |
| JP4512824B2 (ja) | 画像処理装置及びそれに用いられるプログラム | |
| CN114404039B (zh) | 三维模型的组织漂移校正方法、装置、电子设备及存储介质 | |
| US20230233259A1 (en) | Augmented reality headset systems and methods for surgical planning and guidance for knee surgery | |
| CN116958486A (zh) | 一种基于卷积神经网络的医学图像处理方法及系统 | |
| Wang et al. | Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy | |
| WO2016042297A1 (en) | Computer and computer-implemented method for supporting laparoscopic surgery | |
| CN112515762A (zh) | 在切除中支持医务人员的方法和系统以及计算机程序产品 | |
| JP7495216B2 (ja) | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム | |
| CN116370072A (zh) | 手术辅助方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image registration method, device and surgical navigation system for surgical navigation Effective date of registration: 20230324 Granted publication date: 20210914 Pledgee: Industrial Bank Co.,Ltd. Shanghai Pudong Sub branch Pledgor: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd.|Liu Yang Registration number: Y2023310000085 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20210914 Pledgee: Industrial Bank Co.,Ltd. Shanghai Pudong Sub branch Pledgor: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd.|Liu Yang Registration number: Y2023310000085 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image registration method, device, and surgical navigation system for surgical navigation Granted publication date: 20210914 Pledgee: Industrial Bank Co.,Ltd. Shanghai Pudong Sub branch Pledgor: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd.|Liu Yang Registration number: Y2024310000454 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |