CN116862963A - 一种配准方法及装置 - Google Patents
一种配准方法及装置 Download PDFInfo
- Publication number
- CN116862963A CN116862963A CN202310937224.4A CN202310937224A CN116862963A CN 116862963 A CN116862963 A CN 116862963A CN 202310937224 A CN202310937224 A CN 202310937224A CN 116862963 A CN116862963 A CN 116862963A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- registration information
- coordinate
- coordinate set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000008569 process Effects 0.000 claims abstract description 35
- 230000000241 respiratory effect Effects 0.000 claims description 53
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 20
- 230000001131 transforming effect Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000001356 surgical procedure Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035515 penetration Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000004888 thoracic abdominal cavity Anatomy 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
本说明书提供了一种配准方法及装置，该方法包括：获取目标对象目标部位的具有手术规划信息的第一图像；获取手术过程中的第二图像，并获取拍摄第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；第二图像中包括多个定位传感器的图像；确定第二图像与第一图像的第一配准信息；确定多个定位传感器在第二图像坐标系中的第二坐标集合；确定第一坐标集合和第二坐标集合的第二配准信息；根据第一配准信息和第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿下的虚拟内窥镜视野中的手术规划信息。本方案能够自动实现术中真实坐标系至术前图像坐标系的配准，并获取局部手术规划信息，减少了人工操作量。
Description
技术领域
本申请涉及医疗器械技术领域，特别涉及一种配准方法及装置。
背景技术
基于术前CT(Computed Tomography，即电子计算机断层扫描)的支气管导航是一种新型的肺结节穿刺辅助方法。相比于过去的经皮穿刺可以获得更小的创伤。由于路径规划是基于术前CT图像，而术中获得的是真实内窥镜图像，如图1所示，A为术前CT图像，B为术中真实内窥镜图像，如何将二者的坐标系进行匹配是十分重要的一个环节。
目前普遍方法是通过在术前CT图像上获取多个标注点及其坐标；随后在真实场景中，医生手动进镜标注点的位置，获得在真实坐标系下相应的标注点坐标，从而进行点云配准。
这种配准方法的整个过程自动化程度较低，从而配准效率低且很大程度上受到医生操作水平与经验的影响。
发明内容
本申请实施方式的目的是提供一种配准方法及装置，以解决现有配准方法的配准效率低且很大程度上受到医生操作水平与经验影响的问题。
为解决上述技术问题，本说明书第一方面提供一种配准装置，包括：第一获取单元，用于获取目标对象目标部位的第一图像，所述第一图像中具有手术规划信息；第二获取单元，用于获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；所述第二图像中包括所述多个定位传感器的图像；所述第一坐标集合为所述定位传感器自身所在位置处于真实坐标系中的坐标；第一确定单元，用于确定所述第二图像与所述第一图像进行配准的第一配准信息；第二确定单元，用于确定所述多个定位传感器在所述第二图像坐标系中的第二坐标集合；第三确定单元，用于确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息；第三获取单元，用于获取内窥镜在真实坐标系下的位姿；第四确定单元，用于根据所述第一配准信息和所述第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在所述第一图像中所述对应位姿下的虚拟内窥镜视野中的手术规划信息。
在一些实施例中，所述第一确定单元将所述第二图像和所述第一图像输入预先训练的配准模型，得到所述配准模型输出的第一配准信息；其中，所述配准模型通过以下方法训练得到：获取样本图像，所述样本图像包括术前拍摄的第一样本图像、术中拍摄的第二样本图像；并重复执行以下操作，直至损失函数收敛：将所述第一样本图像和所述第二样本图像输入配准模型，得到第一配准信息；采用所述第一配准信息对所述第二样本图像进行变换，得到第三样本图像；计算第一样本图像和第三样本图像的第一不相似度，并将所述第一不相似度作为损失函数；在损失函数不收敛的情况下，调整所述配准模型的参数。
在一些实施例中，所述配准模型的训练方法还包括：从所述第一样本图像中分割出目标组织得到第一目标组织图像，并从所述第二样本图像中分割出所述第一目标组织得到第二目标组织图像；采用所述第一配准信息对所述第二目标组织图像进行变换，得到第三目标组织图像；计算所述第一目标组织图像和所述第三目标组织图像的第二不相似度；相应地，将所述第一不相似度和所述第二不相似度作为损失函数。
在一些实施例中，所述第三确定单元包括：第一获取子单元，用于获取第一坐标集合和所述第二坐标集合中的坐标对应关系；计算子单元，用于根据所述第一坐标集合和所述第二坐标集合中的一一对应关系，计算所述第一坐标集合和所述第二坐标集合的配准矩阵，并将所述配准矩阵作为第二配准信息。
在一些实施例中，所述第二获取单元包括：第二获取子单元，用于获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像；相应地，所述第一确定单元包括：第一配准子单元，用于分别将各个第二图像与所述第一图像进行配准，得到一个呼吸相的多个不同呼吸状态对应的第一配准信息；第一确定子单元，用于在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第一配准信息；和/或，所述第二获取单元包括：第三获取子单元，用于获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；相应地，所述第二确定单元确定拍摄各第二图像时第二定位传感器处于所述第二图像坐标系中的第二坐标集合，从而得到一个呼吸相的各不同呼吸状态对应的第一坐标集合、第二坐标集合；所述第三确定单元包括：第二配准子单元，用于分别将各呼吸状态中同一呼吸状态对应的第一坐标集合和第二坐标集合进行配准，得到各呼吸状态分别对应的第二配准信息；第二确定子单元，用于在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第二配准信息。
本说明书第二方面提供一种配准方法，包括：获取目标对象目标部位的第一图像，所述第一图像中具有手术规划信息；获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；所述第二图像中包括所述多个定位传感器的图像；所述第一坐标集合为所述定位传感器自身所在位置处于真实坐标系中的坐标；确定所述第二图像与所述第一图像进行配准的第一配准信息；确定所述多个定位传感器在所述第二图像坐标系中的第二坐标集合；确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息；获取内窥镜在真实坐标系下的位姿；根据所述第一配准信息和所述第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在所述第一图像中所述对应位姿下的虚拟内窥镜视野中的手术规划信息。
在一些实施例中，确定所述第二图像与所述第一图像进行配准的第一配准信息，包括：将所述第二图像和所述第一图像输入预先训练的配准模型，得到所述配准模型输出的第一配准信息；其中，所述配准模型通过以下方法训练得到：获取样本图像，所述样本图像包括术前拍摄的第一样本图像、术中拍摄的第二样本图像；并重复执行以下操作，直至损失函数收敛：将所述第一样本图像和所述第二样本图像输入配准模型，得到第一配准信息；采用所述第一配准信息对所述第二样本图像进行变换，得到第三样本图像；计算第一样本图像和第三样本图像的第一不相似度，并将所述第一不相似度作为损失函数；在损失函数不收敛的情况下，调整所述配准模型的参数。
在一些实施例中，所述配准模型的训练方法还包括：从所述第一样本图像中分割出目标组织得到第一目标组织图像，并从所述第二样本图像中分割出所述第一目标组织得到第二目标组织图像；采用所述第一配准信息对所述第二目标组织图像进行变换，得到第三目标组织图像；计算所述第一目标组织图像和所述第三目标组织图像的第二不相似度；相应地，将所述第一不相似度和所述第二不相似度作为损失函数。
在一些实施例中，以预先训练好的配准模型作为初始模型，基于所述初始模型采用目标对象自身的样本图像训练得到配准模型。
在一些实施例中确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息，包括：获取第一坐标集合和所述第二坐标集合中的坐标对应关系；根据所述第一坐标集合和所述第二坐标集合中的一一对应关系，计算所述第一坐标集合和所述第二坐标集合的配准矩阵，并将所述配准矩阵作为第二配准信息。
在一些实施例中，获取手术过程中的目标对象目标部位的第二图像，确定所述第二图像与所述第一图像进行配准的第一配准信息，包括：获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像；分别将各个第二图像与所述第一图像进行配准，得到一个呼吸相的多个不同呼吸状态对应的第一配准信息；在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第一配准信息；和/或，获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合，确定定位传感器处于所述第二图像坐标系中的第二坐标集合，确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息，包括：获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合，确定拍摄各第二图像时第二定位传感器处于所述第二图像坐标系中的第二坐标集合，从而得到一个呼吸相的各不同呼吸状态对应的第一坐标集合、第二坐标集合；分别将各呼吸状态中同一呼吸状态对应的第一坐标集合和第二坐标集合进行配准，得到各呼吸状态分别对应的第二配准信息；在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第二配准信息。
在一些实施例中，目标部位为肺部或腹部。
本说明书第三方面提供一种手术系统，包括：第一成像系统，用于获取目标对象目标部位的第一图像；第二成像系统，用于获取目标对象目标部位的第二图像；所述第二成像系统包括多个定位传感器，所述多个定位传感器用于防止在目标对象目标部位，每个定位传感器的采集值为定位传感器自身所在位置处于真实坐标系中的坐标；内窥镜，用于在手术过程中获取目标部位内部的实时图像；处理装置，用于在所述第一图像中确定手术规划信息，并确定所述第二图像与所述第一图像进行配准的第一配准信息；确定定位传感器处于所述第二图像坐标系中的第二坐标集合；确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息；根据所述第一配准信息和所述第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在所述第一图像中所述对应位姿下的内窥镜视野中的手术规划信息。
本说明书第四方面提供一种处理装置，包括：存储器和处理器，所述处理器和所述存储器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第二方面任一项所述方法的步骤。
本说明书第五方面提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被处理器执行时实现第二方面任一项所述方法的步骤。
本说明书所提供的配准方法、装置及处理装置，在目标对象目标部位的第一图像中确定手术规划信息，在手术过程中对目标对象目标部位进行实时成像，得到实时的第二图像，确定第二图像与第一图像的第一配准信息，该第一配准信息也即是手术过程中的实时图像至携带有手术规划的术前图像的转换信息；在手术过程中进行实时成像时，目标对象目标部位放置有多个定位传感器，因此可以实时获取定位传感器所采集的自身所在位置处于真实坐标系中的真实坐标，且第二图像中也会有这些定位传感器的图像，可以确定根据定位传感器的真实坐标与定位传感器在第二图像中的坐标确定真实空间与第二图像的第二配准信息，该第二配准信息也即是真实空间至第二图像的转换信息。根据第二配准信息和第一配准信息，可以将真实空间与术前的第一图像进行配准，进而能够在第一图像中找到内窥镜真实坐标的对应坐标，再确定在第一图像中对应坐标位置的虚拟内窥镜所能够看到的图像以及手术规划信息。本方案能够自动实现术中真实坐标系至术前图像坐标系的配准，并获取内窥镜真实位姿处所对应的手术规划信息，整个过程可以全自动化执行，减少了人工操作量；本方案是将术前图像坐标系与真实坐标系进行配准，而不仅仅是将术前图像坐标系与术中图像坐标系进行配准，能够自动化获取内窥镜真实位姿对应的局部手术规划信息，而无需人工定位内窥镜真实位姿对应的局部手术规划信息；本方案通过定位传感器实现真实坐标系至术中图像坐标系的配准，无需人工标记点的坐标，因此配准方法的准确性较高，不受医生操作水平与经验的影响。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了支气管手术场景示意图；
图2示出了本说明书提供的配准方法的一种流程图；
图3示出了支气管手术的手术规划信息的确定示意图；
图4示出了本说明书提供的配准方法的一种示意图；
图5示出了本说明书提供的配准方法的另一种示意图；
图6出了三个定位传感器在人体上的放置位置以及对应第二图像的示意图；
图7示出了一种电磁定位传感器的示意图；
图8示出了配准模型的一种训练方法的流程图；
图9示出了配准模型的一种训练示意图；
图10示出了配准模型的另一种训练方法的流程图；
图11示出了本说明书提供的配准方法的另一种流程图；
图12示出了本说明书提供的一种手术系统的示意图；
图13示出了本说明书提供的处理装置的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。
本说明书提供一种配准方法，在术前得到的第一图像中确定手术规划信息，在手术过程中实时进行成像，得到给时刻对应的第二图像，以第二图像作为过渡来确定真实手术空间至术前第一图像的配准信息，根据该配准信息将内窥镜的真实坐标配准至第一图像上的虚拟内窥镜，在第一图像上确定虚拟内窥镜看到的图像以及手术规划信息，也即将内窥镜的真实位置自动、实时地配准到术前第一图像中规划的路径上，以便于医生在手术规划信息的指导下实现手术操作。
如图2所示，该方法包括如下步骤：
S10：获取目标对象目标部位的第一图像，第一图像中具有手术规划信息。
目标对象可以是人，也可以是动物。
目标部位可以是肺部、腹部等手术需要使用内窥镜的部位。内窥镜可以是与其他手术设备通过实体线缆通信连接的，也可以是与其他手术设备通过无线通信连接的，例如胶囊内窥镜。本说明书各附图上仅以肺部为目标部位、支气管为目标组织为例来说明本方案的配准方案，并不表示本方案仅可用于目标部位为肺部的情形。
手术规划信息可以是指手术器械在目标部位的行进路线、在目标部位中的哪一位置执行什么操作等。图3示出了支气管手术的手术规划信息的确定示意图。如图3所示，术前手术规划信息可以包括先进行支气管分割、病灶分割，然后定位距离病灶最近的气管分支的穿刺点，再寻找主气管到穿刺点的最短路径，最后由医生进行确认或调整。
支气管分割可以通过深度学习算法完成，比如常见的编码-解码网络Unet；也可以通过传统算法实现，比如区域增长。
病灶分割可以通过半自动分割算法完成，比如GraphCut算法；也可以通过传统或者深度算法全自动分割，但需要医生进行人工确认与调整，以提高分割精确度，提升穿刺阳性率。
需要说明的是，本说明书中的“手术”不仅仅包括用医疗器械对患者身体进行切除、缝合等治疗操作，还包括从患者体内取出病变组织进行病理学检查的切取、钳取或穿刺等操作(即活检)，也即本说明书中的“手术”是指应诊断或治疗的需要，对患者身体进行处理的手段。
第一图像是在术前确定的。例如，第一图像可以是CT图像或者核磁共振图像等。
由于需要基于第一图像进行手术规划，因此，第一图像通常要求精度较高，成像精度或者准确度较低的成像方式通常不适合用于确定第一图像。
S20：获取手术过程中的目标对象目标部位的第二图像，并获取拍摄第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；第二图像中包括多个定位传感器的图像；第一坐标集合为定位传感器自身所在位置处于真实坐标系中的坐标。
第二图像是手术过程中(即术中)实时确定的，因此，用于得到第二图像的成像技术应当是适于在手术过程中使用的，且是成像精度及准确度较高的成像方式。
例如，第二图像可以是CBCT(Cone beam CT，即锥形束CT)图像。
第一图像、第二图像可以都是二维图像，也可以都是三维图像。
第一图像，第二图像可以是二维图像，也可以是三维图像，第一图像和第二图像通常是相同维度的图像。
可以结合图4和图5来理解本说明书所提供的配准方法。图4中的“术前图像”以及图5中的“①”所标记的图像为第一图像，图4中的“术中图像”以及图5中的“④”所标记的图像为第二图像。
为了能够将术中的实时图像与真实坐标系下的目标部位进行配准，本方案在进行术中实时成像的过程中，在目标对象的目标部位放置多个定位传感器，通过这些定位传感器获取自身所在位置处于真实坐标系中的坐标。并且，在术中实时成像时使得这些定位传感器出现在实时成像结果中，那么便可以从术中实时成像结果(即第二图像)中获取定位传感器在第二图像坐标系下的第一坐标集合，第一坐标集合中包括各定位传感器在第二图像中的第一坐标。
多个定位传感器放置到目标部位时应当注意：多个定位传感器不在一条直线上、不在一个平面上，以使这些定位传感器的位置能够较为准确地唯一确定一个空间坐标系。
图4中示出了“术中图像”(即第二图像)中包括多个定位传感器图像的示意图，其中，四个灰色圆点为定位传感器的图像。图6中的左侧示出了三个定位传感器在人体上的放置位置示意图，图6中的右侧示出了按照图6中左侧放置三个定位传感器时所拍摄的实时图像(即第二图像)的示意图，其中，三个圆形分别表示三个定位传感器的图像。
定位传感器是能够获取自身所处位置在真实坐标系下的坐标的传感器。定位传感器通常配合定位系统使用。例如，定位传感器可以是与电磁定位系统配合使用的电磁定位传感器。定位传感器可以为圆片状或者球状。图7示出了电磁定位传感器的一种结构示意图。
当然，定位传感器也可以是采用其他定位技术的定位传感器，例如，定位传感器可以为光学定位系统的靶标，该光学定位系统可以准确地确定每个靶标所处位置在真实坐标系下的坐标。
本申请中的真实坐标系，是指真实的手术空间的坐标系，而并非拍摄第二图像时所采用的图像坐标系。通常情况下图像坐标系与真实坐标系是不同的。真实坐标是指在该真实坐标系下的坐标。
S30：确定第二图像与第一图像进行配准的第一配准信息。
该第一配准信息可以是将第二图像转换为第一图像的配准矩阵，也可以是将第二矩阵转换为第一矩阵的形变场。
形变场，是指变形场就是每个像素(这对二维图像)或者每个体素(针对三维图像)位移的向量形成的一个矩阵。
当然第一配准信息也可以是将第一图像转换为第二图像的配准矩阵。根据“将第一图像转换为第二图像的配准矩阵”通常进行逆运算可以得到“将第二图像转换为第一图像的配准矩阵”。
图4中示出了第一配准信息的作用示意图，即将术中图像配准至术前图像(即第一图像)的第一图像坐标系下。第一图像坐标系是指拍摄或建立第一图像时所建立的坐标系。
图5中的“⑤”所标记的形变场示意图也即是上述第一配准信息。
S40：确定多个定位传感器在第二图像坐标系中的第二坐标集合。
该第二坐标集合中包括每个定位传感器在第二图像坐标系下的坐标。第二图像坐标系，是指拍摄或形成第二图像时所建立的坐标系。
通过多个定位传感器在真实坐标系下的第一坐标集合以及在第二图像坐标系下的第二坐标集合，能够将真实坐标系与第二图像坐标系建立转换关系，得到第二配准信息。
S50：确定第一坐标集合和第二坐标集合进行配准的第二配准信息。
该第二配准信息可以是将第二坐标集合转换为第一坐标集合的配准矩阵。当然，该第二配准矩阵也可以是将第一坐标集合转换为第二坐标集合的配准矩阵。根据“将第一坐标集合转换为第二坐标集合的配准矩阵”通常进行逆运算可以得到“将第二坐标集合转换为第一坐标集合的配准矩阵”。
图4中示出了第二配准信息的作用示意图，即将真实坐标系下的目标部位配准至术中图像(即第二图像)的第二图像坐标系下。
图5中的“⑥”所标记的“变换矩阵”也即是上述第二配准信息。
S60：获取内窥镜在真实坐标系下的位姿。
内窥镜的位置可以是内窥镜上目标点在真实坐标系下的位置坐标以及姿态。其中，姿态可以是指内窥镜的视野轴向的延伸方向等。
可以在内窥镜上设置位置传感器，使得位置传感器与手术系统中的处理器通信连接，从而获取通过位置传感器所获取的内窥镜在真实坐标系下的位置坐标及姿态。在现有技术中，有一些内窥镜自身设置有位置传感器使得内窥镜自身可以上报其位姿信息。
S70：根据第一配准信息和第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在第一图像中对应位姿下的虚拟内窥镜视野中的手术规划信息。
步骤S70可以参阅图1中的A和B进行理解。
如图4所示和图5所示，通过第一配准信息和第二配准信息能够将真实坐标系下的目标部位变换至术前图像(即第一图像)中，从而可以将内窥镜的真实位姿变换至术前图像(即第一图像)中，在第一图像中可以构建虚拟内窥镜，获取虚拟内窥镜视野中的目标组织图像以及手术规划信息。其中，图5中的“②”所标记的图片中的圆点表示内窥镜在真实坐标系下的真实位姿。
本说明书所提供的配准方法，在目标对象目标部位的第一图像中确定手术规划信息，在手术过程中对目标对象目标部位进行实时成像，得到实时的第二图像，确定第二图像与第一图像的第一配准信息，该第一配准信息也即是手术过程中的实时图像至携带有手术规划的术前图像的转换信息；在手术过程中进行实时成像时，目标对象目标部位放置有多个定位传感器，因此可以实时获取定位传感器所采集的自身所在位置处于真实坐标系中的真实坐标，且第二图像中也会有这些定位传感器的图像，可以确定根据定位传感器的真实坐标与定位传感器在第二图像中的坐标确定真实空间与第二图像的第二配准信息，该第二配准信息也即是真实空间至第二图像的转换信息。根据第二配准信息和第一配准信息，可以将真实空间与术前的第一图像进行配准，进而能够在第一图像中找到内窥镜真实坐标的对应坐标，再确定在第一图像中对应坐标位置的虚拟内窥镜所能够看到的图像以及手术规划信息。本方案能够自动实现术中真实坐标系至术前图像坐标系的配准，并获取内窥镜真实位姿处所对应的手术规划信息，整个过程可以全自动化执行，减少了人工操作量；本方案是将术前图像坐标系与真实坐标系进行配准，而不仅仅是将术前图像坐标系与术中图像坐标系进行配准，能够自动化获取内窥镜真实位姿对应的局部手术规划信息，而无需人工定位内窥镜真实位姿对应的局部手术规划信息；本方案通过定位传感器实现真实坐标系至术中图像坐标系的配准，无需人工标记点的坐标，因此配准方法的准确性较高，不受医生操作水平与经验的影响。
在一些实施例中，上述步骤S30可以根据目标组织的特征直接从上第一图像上选取第一目标点云，并在第二图像上选取第二目标点云，采用最小二乘法计算第一配准信息。
在另一些实施例中，上述步骤S30可以是将第二图像和第一图像输入预先训练的配准模型，得到配准模型输出的第一配准信息。
如图8所示，配准模型通过以下步骤S31至S36训练得到：
S31：获取样本图像，样本图像包括术前拍摄的第一样本图像、术中拍摄的第二样本图像。
S32：将第一样本图像和第二样本图像输入配准模型，得到第一配准信息。
S33：采用第一配准信息对第二样本图像进行变换，得到第三样本图像。
S34：计算第一样本图像和第三样本图像的第一不相似度，并将第一不相似度作为损失函数。
S35：判断损失函数是否收敛。在损失函数不收敛的情况下，执行步骤S36；否则，结束采用该样本图像对配准模型进行训练。
S36：调整配准模型的参数，并跳转至S32继续执行。
通过上述步骤S31至S36可以实现一个样本图像对于配准模型的训练，在此基础上，可以采用大量的样本图像对配准模型进行训练，每个样本图像均采用上述步骤S31至S36所述的方式进行训练。
图9示出了配准模型的训练示意图，其中A为术前拍摄的第一样本图像，B为术中拍摄的第二样本图像，X为配准模型，Y为第一配准信息，C为上述第三样本图像。
进一步地，如图10所示，配准模型的训练方法还可以包括如下步骤S37至S39：
S37：从第一样本图像中分割出目标组织得到第一目标组织图像，并从第二样本图像中分割出该目标组织得到第二目标组织图像。
这里的目标组织可以是目标部位中特征性较为明显的组织。例如，目标组织可以是肺部的支气管。
S38：采用第一配准信息对第二目标组织图像进行变换，得到第三目标组织图像。
S39：计算第一目标组织图像和第三目标组织图像的第二不相似度。
相应地，步骤S34将第一不相似度和第二不相似度作为损失函数。
可以根据大量目标对象的大量样本图像(即通过大数据)预先训练配准模型，使得该配准模型适用于各目标对象。即在各目标对象手术过程中，通过预先训练的配准模型得到第一配准信息。
在一些实施例中，也可以如上述所述通过大数据训练得到第一配准信息，然后以预先训练的配准模型为初始模型，结合目标对象自身的样本图像对初始模型进行进一步训练，得到与目标对象匹配度更高的配准模型。即，多个目标对象的初始模型可以是相同的。
在一些实施例中，也可以以上一次执行配准时训练好的配准模型作为初始模型，以目标对象自身的样本图像训练得到配准模型。即多个目标对象的初始模型是不同的。
在一些实施例中，上述步骤S50可以采用直接计算第一坐标集合和第二坐标集合之间的配准矩阵。例如，采用点云配准方法中的ICP算法。具体地，在获取第一坐标集合和所述第二坐标集合中的坐标对应关系之后，可以根据所述第一坐标集合和所述第二坐标集合中的一一对应关系，计算所述第一坐标集合和所述第二坐标集合的配准矩阵，并将所述配准矩阵作为第二配准信息。
由于胸腔、腹腔等部位的组织具有一定的弹性，目标对象进行呼吸的过程中通常会引起组织产生一定的形变。因此，目标对象的呼吸作用对配准效果的影响较大。
为了补偿呼吸作用对于配准效果的影响，如图11所示，本说明书提出的配准方法可以包括如下步骤：
S10：获取目标对象目标部位的第一图像，第一图像中具有手术规划信息。
S1101：获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像。
S1102：分别将各个第二图像与第一图像进行配准，得到一个呼吸相的多个不同呼吸状态对应的第一配准信息。
S1103：在手术过程中监测目标对象的呼吸状态参数，并根据呼吸状态参数确定对应的第一配准信息。
S1104：获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像，并获取拍摄第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合，确定拍摄各第二图像时第二定位传感器处于第二图像坐标系中的第二坐标集合，从而得到一个呼吸相的各不同呼吸状态对应的第一坐标集合、第二坐标集合。
S1105：分别将各呼吸状态中同一呼吸状态对应的第一坐标集合和第二坐标集合进行配准，得到各呼吸状态分别对应的第二配准信息。
S1106：在手术过程中监测目标对象的呼吸状态参数，并根据呼吸状态参数确定对应的第二配准信息。
S60：获取内窥镜在真实坐标系下的位姿。
S70：根据第一配准信息和第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在第一图像中对应位姿下的虚拟内窥镜视野中的手术规划信息。
图11所示的配准方法中，预先确定一个呼吸相的多个呼吸状态所对应的第一配准信息、第二配准信息，在手术过程中实时检测目标对象的呼吸状态参数，并根据呼吸状态参数确定第一配准信息、第二配准信息，也即配准过程中所采用的第一配准信息和第二配准信息是与呼吸状态对应的，是随呼吸状态变化而变化的，因此配准的结果更为准确。
图11所示的配准方法，可以在术前确定一个呼吸相的多个呼吸状态所对应的第一配准信息、第二配准信息，在手术过程中之间根据实时监测的呼吸状态参数找到对应呼吸状态所对应的第一配准信息、第二配准信息直接使用即可，无须在手术过程中实时计算第一配准信息、第二配准信息，因此减少了手术过程中的上计算量，使得第一配准信息、第二配准信息的获取更为及时，从而局部手术规划信息的反馈更加及时。
本说明书提供一种配准装置，该配准装置可以用于实现上述配准方法。该配准装置包括第一获取单元、第二获取单元、第一确定单元、第二确定单元、第三确定单元、第三获取单元和第四确定单元。
第一获取单元用于获取目标对象目标部位的第一图像，所述第一图像中具有手术规划信息。
第二获取单元用于获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；所述第二图像中包括所述多个定位传感器的图像；所述第一坐标集合为所述定位传感器自身所在位置处于真实坐标系中的坐标。
第一确定单元用于确定所述第二图像与所述第一图像进行配准的第一配准信息。
第二确定单元用于确定所述多个定位传感器在所述第二图像坐标系中的第二坐标集合。
第三确定单元用于确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息。
第三获取单元用于获取内窥镜在真实坐标系下的位姿。
第四确定单元用于根据所述第一配准信息和所述第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在所述第一图像中所述对应位姿下的虚拟内窥镜视野中的手术规划信息。
在一些实施例中，所述第一确定单元将所述第二图像和所述第一图像输入预先训练的配准模型，得到所述配准模型输出的第一配准信息；
其中，所述配准模型通过以下方法训练得到：获取样本图像，所述样本图像包括术前拍摄的第一样本图像、术中拍摄的第二样本图像；并重复执行以下操作，直至损失函数收敛：将所述第一样本图像和所述第二样本图像输入配准模型，得到第一配准信息；采用所述第一配准信息对所述第二样本图像进行变换，得到第三样本图像；计算第一样本图像和第三样本图像的第一不相似度，并将所述第一不相似度作为损失函数；在损失函数不收敛的情况下，调整所述配准模型的参数。
在一些实施例中，所述配准模型的训练方法还包括：从所述第一样本图像中分割出目标组织得到第一目标组织图像，并从所述第二样本图像中分割出所述第一目标组织得到第二目标组织图像；采用所述第一配准信息对所述第二目标组织图像进行变换，得到第三目标组织图像；计算所述第一目标组织图像和所述第三目标组织图像的第二不相似度；相应地，将所述第一不相似度和所述第二不相似度作为损失函数。
在一些实施例中，所述第三确定单元包括：第一获取子单元，用于获取第一坐标集合和所述第二坐标集合中的坐标对应关系；计算子单元，用于根据所述第一坐标集合和所述第二坐标集合中的一一对应关系，计算所述第一坐标集合和所述第二坐标集合的配准矩阵，并将所述配准矩阵作为第二配准信息。
在一些实施例中，所述第二获取单元包括：第二获取子单元，用于获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像。
相应地，所述第一确定单元包括：第一配准子单元，用于分别将各个第二图像与所述第一图像进行配准，得到一个呼吸相的多个不同呼吸状态对应的第一配准信息；第一确定子单元，用于在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第一配准信息。
在一些实施例中，所述第二获取单元包括：第三获取子单元，用于获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合。
相应地，所述第二确定单元确定拍摄各第二图像时第二定位传感器处于所述第二图像坐标系中的第二坐标集合，从而得到一个呼吸相的各不同呼吸状态对应的第一坐标集合、第二坐标集合；所述第三确定单元包括：第二配准子单元，用于分别将各呼吸状态中同一呼吸状态对应的第一坐标集合和第二坐标集合进行配准，得到各呼吸状态分别对应的第二配准信息；第二确定子单元，用于在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第二配准信息。
本说明书提供一种手术系统，如图12所示，包括：第一成像系统1201、第二成像系统1202、内窥镜1203和处理装置1204。
第一成像系统1201用于获取目标对象目标部位的第一图像。第一成像系统1201可以是CT成像系统或核磁成像系统。
第二成像系统1202用于获取目标对象目标部位的第二图像；第二成像系统包括多个定位传感器，多个定位传感器用于防止在目标对象目标部位，每个定位传感器的采集值为定位传感器自身所在位置处于真实坐标系中的坐标。第二成像系统可以是CBCT成像系统。
内窥镜1203用于在手术过程中获取目标部位内部的实时图像。
处理装置1204用于在第一图像中确定手术规划信息，并确定第二图像与第一图像进行配准的第一配准信息；确定定位传感器处于第二图像坐标系中的第二坐标集合；确定第一坐标集合和第二坐标集合进行配准的第二配准信息；根据第一配准信息和第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在第一图像中对应位姿下的内窥镜视野中的手术规划信息。
上述手术系统可以参阅图1进行理解。
本发明实施例还提供了一种处理装置，如图13所示，该处理装置可以包括处理器1301和存储器1302，其中处理器1301和存储器1302可以通过总线或者其他方式连接。
处理器1301可以为中央处理器(Central Processing Unit，CPU)。处理器1301还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器1302作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的脑穿刺辅助方法对应的程序指令/模块。处理器1301通过运行存储在存储器1302中的非暂态软件程序、指令以及模块，从而执行处理装置的各种功能应用以及数据分类，即实现上述方法实施例中的脑穿刺辅助方法。
存储器1302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器1301所创建的数据等。此外，存储器1302可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1302可选包括相对于处理器1301远程设置的存储器，这些远程存储器可以通过网络连接至处理器1301。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器1302中，当被所述处理器1301执行时，执行本说明书提供的脑穿刺辅助方法。
上述处理装置具体细节可以参阅上述方法对应实施例中的相关描述和效果进行理解，此处不再赘述。
本说明书还提供一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，所述计算机程序指令被执行时实现上述方法对应实施例的步骤。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现处理器以外，完全可以通过将方法步骤进行逻辑编程来使得处理器以逻辑门、开关、专用集成电路、可编程逻辑处理器和嵌入微处理器等的形式来实现相同功能。因此这种处理器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。
Claims (10)
1.一种配准装置，其特征在于，包括：
第一获取单元，用于获取目标对象目标部位的第一图像，所述第一图像中具有手术规划信息；
第二获取单元，用于获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；所述第二图像中包括所述多个定位传感器的图像；所述第一坐标集合为所述定位传感器自身所在位置处于真实坐标系中的坐标；
第一确定单元，用于确定所述第二图像与所述第一图像进行配准的第一配准信息；
第二确定单元，用于确定所述多个定位传感器在所述第二图像坐标系中的第二坐标集合；
第三确定单元，用于确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息；
第三获取单元，用于获取内窥镜在真实坐标系下的位姿；
第四确定单元，用于根据所述第一配准信息和所述第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在所述第一图像中所述对应位姿下的虚拟内窥镜视野中的手术规划信息。
2.根据权利要求1所述的配准装置，其特征在于，所述第一确定单元将所述第二图像和所述第一图像输入预先训练的配准模型，得到所述配准模型输出的第一配准信息；
其中，所述配准模型通过以下方法训练得到：
获取样本图像，所述样本图像包括术前拍摄的第一样本图像、术中拍摄的第二样本图像；并重复执行以下操作，直至损失函数收敛：
将所述第一样本图像和所述第二样本图像输入配准模型，得到第一配准信息；
采用所述第一配准信息对所述第二样本图像进行变换，得到第三样本图像；
计算第一样本图像和第三样本图像的第一不相似度，并将所述第一不相似度作为损失函数；
在损失函数不收敛的情况下，调整所述配准模型的参数。
3.根据权利要求2所述的配准装置，其特征在于，所述配准模型的训练方法还包括：
从所述第一样本图像中分割出目标组织得到第一目标组织图像，并从所述第二样本图像中分割出所述第一目标组织得到第二目标组织图像；
采用所述第一配准信息对所述第二目标组织图像进行变换，得到第三目标组织图像；
计算所述第一目标组织图像和所述第三目标组织图像的第二不相似度；
相应地，将所述第一不相似度和所述第二不相似度作为损失函数。
4.根据权利要求1所述的配准装置，其特征在于，所述第三确定单元包括：
第一获取子单元，用于获取第一坐标集合和所述第二坐标集合中的坐标对应关系；
计算子单元，用于根据所述第一坐标集合和所述第二坐标集合中的一一对应关系，计算所述第一坐标集合和所述第二坐标集合的配准矩阵，并将所述配准矩阵作为第二配准信息。
5.根据权利要求1所述的配准装置，其特征在于，所述第二获取单元包括：第二获取子单元，用于获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像；
相应地，所述第一确定单元包括：
第一配准子单元，用于分别将各个第二图像与所述第一图像进行配准，得到一个呼吸相的多个不同呼吸状态对应的第一配准信息；
第一确定子单元，用于在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第一配准信息；
和/或，
所述第二获取单元包括：第三获取子单元，用于获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；
相应地，所述第二确定单元确定拍摄各第二图像时第二定位传感器处于所述第二图像坐标系中的第二坐标集合，从而得到一个呼吸相的各不同呼吸状态对应的第一坐标集合、第二坐标集合；
所述第三确定单元包括：
第二配准子单元，用于分别将各呼吸状态中同一呼吸状态对应的第一坐标集合和第二坐标集合进行配准，得到各呼吸状态分别对应的第二配准信息；
第二确定子单元，用于在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第二配准信息。
6.一种配准方法，其特征在于，包括：
获取目标对象目标部位的第一图像，所述第一图像中具有手术规划信息；
获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合；所述第二图像中包括所述多个定位传感器的图像；所述第一坐标集合为所述定位传感器自身所在位置处于真实坐标系中的坐标；
确定所述第二图像与所述第一图像进行配准的第一配准信息；
确定所述多个定位传感器在所述第二图像坐标系中的第二坐标集合；
确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息；
获取内窥镜在真实坐标系下的位姿；
根据所述第一配准信息和所述第二配准信息，确定内窥镜真实位姿在第一图像中的对应位姿，并确定在所述第一图像中所述对应位姿下的虚拟内窥镜视野中的手术规划信息。
7.根据权利要求6所述的配准方法，其特征在于，确定所述第二图像与所述第一图像进行配准的第一配准信息，包括：
将所述第二图像和所述第一图像输入预先训练的配准模型，得到所述配准模型输出的第一配准信息；
其中，所述配准模型通过以下方法训练得到：
获取样本图像，所述样本图像包括术前拍摄的第一样本图像、术中拍摄的第二样本图像；并重复执行以下操作，直至损失函数收敛：
将所述第一样本图像和所述第二样本图像输入配准模型，得到第一配准信息；
采用所述第一配准信息对所述第二样本图像进行变换，得到第三样本图像；
计算第一样本图像和第三样本图像的第一不相似度，并将所述第一不相似度作为损失函数；
在损失函数不收敛的情况下，调整所述配准模型的参数。
8.根据权利要求7所述的配准方法，其特征在于，所述配准模型的训练方法还包括：
从所述第一样本图像中分割出目标组织得到第一目标组织图像，并从所述第二样本图像中分割出所述第一目标组织得到第二目标组织图像；
采用所述第一配准信息对所述第二目标组织图像进行变换，得到第三目标组织图像；
计算所述第一目标组织图像和所述第三目标组织图像的第二不相似度；
相应地，将所述第一不相似度和所述第二不相似度作为损失函数。
9.根据权利要求6所述的配准方法，其特征在于，确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息，包括：
获取第一坐标集合和所述第二坐标集合中的坐标对应关系；
根据所述第一坐标集合和所述第二坐标集合中的一一对应关系，计算所述第一坐标集合和所述第二坐标集合的配准矩阵，并将所述配准矩阵作为第二配准信息。
10.根据权利要求6所述的配准方法，其特征在于，获取手术过程中的目标对象目标部位的第二图像，确定所述第二图像与所述第一图像进行配准的第一配准信息，包括：
获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像；
分别将各个第二图像与所述第一图像进行配准，得到一个呼吸相的多个不同呼吸状态对应的第一配准信息；
在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第一配准信息；
和/或，
获取手术过程中的目标对象目标部位的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合，确定定位传感器处于所述第二图像坐标系中的第二坐标集合，确定所述第一坐标集合和所述第二坐标集合进行配准的第二配准信息，包括：
获取目标对象在一个呼吸相的多个不同呼吸状态的第二图像，并获取拍摄所述第二图像时放置在目标对象目标部位的多个定位传感器采集到的第一坐标集合，确定拍摄各第二图像时第二定位传感器处于所述第二图像坐标系中的第二坐标集合，从而得到一个呼吸相的各不同呼吸状态对应的第一坐标集合、第二坐标集合；
分别将各呼吸状态中同一呼吸状态对应的第一坐标集合和第二坐标集合进行配准，得到各呼吸状态分别对应的第二配准信息；
在手术过程中监测目标对象的呼吸状态参数，并根据所述呼吸状态参数确定对应的第二配准信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310937224.4A CN116862963A (zh) | 2023-07-27 | 2023-07-27 | 一种配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310937224.4A CN116862963A (zh) | 2023-07-27 | 2023-07-27 | 一种配准方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116862963A true CN116862963A (zh) | 2023-10-10 |
Family
ID=88235889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310937224.4A Pending CN116862963A (zh) | 2023-07-27 | 2023-07-27 | 一种配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862963A (zh) |
-
2023
- 2023-07-27 CN CN202310937224.4A patent/CN116862963A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7093801B2 (ja) | 手術中の位置調整および誘導を容易にするシステム | |
| KR101949114B1 (ko) | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 | |
| KR102309823B1 (ko) | 영상 정합 장치 및 영상 정합 방법 | |
| CN109124764B (zh) | 手术引导装置以及手术系统 | |
| CN108694743B (zh) | 将二维图像/照片投影到3d重建诸如心脏的心外膜视图上的方法 | |
| US20170215969A1 (en) | Human organ movement monitoring method, surgical navigation system and computer readable medium | |
| EP3608870A1 (en) | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure | |
| CN110248603A (zh) | 3d超声和计算机断层摄影结合用于引导介入医疗规程 | |
| CN112741692B (zh) | 实现将器件导航至目标组织位置的快速导航方法及系统 | |
| WO2019157294A1 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
| DE102014203097A1 (de) | Verfahren zum Unterstützen einer Navigation einer endoskopischen Vorrichtung | |
| KR20150118484A (ko) | 의료 영상 정합 방법 및 장치 | |
| US11127153B2 (en) | Radiation imaging device, image processing method, and image processing program | |
| JP2011125431A (ja) | 画像処理装置、および画像位置合せ方法 | |
| CN111588464A (zh) | 一种手术导航方法及系统 | |
| CN115005981A (zh) | 手术路径规划方法、系统、设备、介质和手术操作系统 | |
| EP3673854B1 (en) | Correcting medical scans | |
| WO2021092116A1 (en) | Systems for registering an instrument to an image using change in instrument position data | |
| US20230316550A1 (en) | Image processing device, method, and program | |
| US20230186471A1 (en) | Providing a specification | |
| WO2020064924A1 (en) | Guidance in lung intervention procedures | |
| CN116862963A (zh) | 一种配准方法及装置 | |
| US11657519B2 (en) | Method for deformation correction | |
| CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准系统 | |
| DE102014219581A1 (de) | Verfahren, Vorrichtung und Computerprogramm zur Registrierung eines medizinischen Bildes mit einer anatomischen Struktur |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |