CN113855240A

CN113855240A - 一种基于磁导航的医学影像配准系统和方法

Info

Publication number: CN113855240A
Application number: CN202111161347.0A
Authority: CN
Inventors: 马爱军; 王沐晴
Original assignee: Shanghai Xunshi Technology Co ltd; Affiliated Hospital of University of Qingdao
Current assignee: Suzhou Xunyi Technology Co.,Ltd.; Affiliated Hospital of University of Qingdao
Priority date: 2021-09-30
Filing date: 2021-09-30
Publication date: 2021-12-31
Anticipated expiration: 2041-09-30
Also published as: CN113855240B

Abstract

一种基于磁导航的医学影像配准系统和方法，配准系统包含结构光相机模块、磁导航定位器及计算中心；结构光相机模块包括固定连接的结构光相机及磁导航定位线圈工具；磁导航定位器对应结构光相机模块设置，且磁导航定位线圈工具位于磁导航定位器的捕捉范围内；计算中心通讯连接结构光相机及磁导航定位器。配准方法包括：一、通过术前医学影像提取患者头部的影像三维特征点；二、通过结构光相机获取包含患者头部轮廓的点云数据；三、基于获得的点云数据提取点云三维特征点；四、将影像三维特征点与点云三维特征点匹配，实现术前患者的影像空间与术中患者的真实空间位置配准。本发明配准快且准，且省去机械臂成本及空间占用。

Description

一种基于磁导航的医学影像配准系统和方法

技术领域

本发明涉及医疗器械手术导航领域，具体涉及一种基于磁导航的医学影像配准系统和方法。

背景技术

目前，手术导航系统已在许多外科手术中得到应用，特别是神经外科手术，可以获得减少手术创伤且准确到达病灶位置的效果。手术导航系统的基本原理是将术前患者的患处影像空间与术中患者的患处真实空间位置配准后，将真实的手术器械实时投影到患处影像空间位置，实现手术过程中的精准定位及手术规划的准确实施。因此，术前手术患者医学影像与术中患者空间配准的算法是手术导航系统的重点和难点。

现有的配准方法都存在一些明显缺陷，如骨钉配准方法因需要植入骨钉而带来了额外的创伤问题，如激光采集面部特征点配准法【CN109965979A】存在因特征点数量少、易陷入局部最优解导致误判率高、鲁棒性低、精度低等问题。

其中，最新技术【CN202011630325】主要采用机械臂与多功能相机结合的硬件模块，首先确定基于医学影像重建三维模型并获取面部特征点，然后与通过彩色相机获取真实面部的特征点建立参考匹配关系，接着通过与机械臂组合的结构光相机扫描面部拼接得到的点云与三维模型点云配准，最终确定真实患者空间与影像空间配准关系。然而，该技术在实际应用中仍然存在以下缺陷：

一、配准操作繁杂、技术性要求强，机械臂与多种相机组合配准技术的应用需要多个步骤的校准和拍摄，大大增加了术前准备操作，影响整体手术时间；

二、配准操作复杂度高、技术性要求强，最终实现的配准精度依赖医护人员的操作水平；

三、机械臂的加持虽然增加了相机的控制和定位，但是也增加了配准时的空间坐标变换的步骤，从相机空间转换到机械臂坐标，再从机械臂坐标转换到医学影像空间，提高了计算的复杂度也增加了误差、计算耗时加长。

四、机械臂的应用增加了设备成本，相对于整个手术导航系统的使用收益而言，机械臂仅在术前准备配准环节使用，因此收益较低。

综上，本发明主要从消除机械臂带来的误差，降低配准操作复杂度和操作难度，整体提高配准精度和配准速度等方面的提出新的技术方案。

发明内容

本发明的目的是提供一种基于磁导航的医学影像配准系统和方法。

为达到上述目的，本发明采用的技术方案是：

一种基于磁导航的医学影像配准系统和方法，所述配准系统包含结构光相机模块、磁导航定位器、以及计算中心；

所述结构光相机模块包括结构光相机以及磁导航定位线圈工具，两者固定连接；

所述磁导航定位器对应所述结构光相机模块设置，且所述磁导航定位线圈工具位于磁导航定位器的捕捉范围内；所述磁导航定位器通过对所述磁场定位线圈工具上的磁场定位线圈进行感应，进而捕捉定位所述磁场定位线圈工具的三维空间位置和空间旋转以及平移矩阵；

所述计算中心通讯连接所述结构光相机以及所述磁导航定位器，用于存储所述结构光相机以及所述磁导航定位器捕捉的数据，并通过计算实现图像配准。

所述配准方法包括以下步骤：

步骤一、根据术前医学影像获取患者头部三维特征点

通过向所述计算中心输入所述术前医学影像，提取患者头部至少三个不共线的影像三维特征点；

步骤二、通过结构光相机获取包含患者头部轮廓的点云数据

通过所述结构光相机对患者头部至少拍摄一次，获得至少一帧点云数据；

同时，所述磁导航定位器捕捉所述结构光相机模块中所述磁导航定位线圈工具的空间变换位置，结合所述结构光相机与所述磁导航定位线圈工具的空间关系，通过计算中心将所述结构光相机捕捉的所述点云数据从以所述结构光相机为原点的坐标系转换到以所述磁导航定位器为原点的坐标系下；

若所述结构光相机获得的所述点云数据有多帧，则通过所述计算中心对拍摄的多帧点云数据进行拼接；

步骤三、基于获得的点云数据提取三维特征点

将步骤二最终获得的所述点云数据输入至所述计算中心，剔除非必要点云数据，保留头部点云数据；所述非必要点云数据包括背景杂乱点云；

然后，从所述头部点云数据中提取患者头部的点云三维特征点，该点云三维特征点的数量、位置均与所述影像三维特征点对应；

步骤四、将步骤一中提取获得的影像三维特征点与步骤三中提取获得的点云三维特征点一一匹配，实现术前患者的影像空间与术中患者的真实空间位置配准。

上述技术方案中的有关内容解释如下：

1．上述方案中，还包括：前序步骤、结构光相机的坐标定位

通过所述结构光相机对一固定的反光棋盘格进行拍摄，捕捉所述反光棋盘格中各黑白格交点相对于结构光相机的空间位置数据；

进而获得结构光相机相对于棋盘格的第一空间变换矩阵；

设计一磁导航探针工具，该探针工具呈针形，其尖端设有磁场定位线圈，所述磁导航定位器通过对所述磁场定位线圈进行感应，进而捕捉定位所述探针工具尖端的三维空间位置和空间旋转以及平移矩阵；

通过操作探针工具以预设顺序通过尖端依次接触所述反光棋盘格中的各黑白格交点，并通过所述磁导航定位器同时对所述结构光相机模块以及所述磁导航探针工具进行捕捉，捕捉所述结构光相机模块中所述磁导航定位线圈工具的空间位置数据，以及，捕捉所述磁导航探针工具接触反光棋盘格中各黑白格交点时的空间位置数据；

由于结构光相机与其附着的磁导航定位线圈工具之间的空间位置是固定的，因此根据磁导航定位器捕捉到的磁导航定位线圈工具的空间位置数据和反光棋盘格的空间位置数据可获得磁导航定位线圈工具相对于反光棋盘格的第二空间变换矩阵；

进而通过所述第一空间变换矩阵以及所述第二空间变换矩阵获得所述结构光相机与所述磁导航定位线圈工具的空间关系。

2．上述方案中，所述前序步骤中，获得结构光相机和磁导航定位线圈工具的空间关系的方法包括以下步骤：

(1)通过所述结构光相机获得所述反光棋盘格中各黑白格交点相对于结构光相机的空间位置数据P，见下述公式1：

假设反光棋盘格共有n个交点，n为大于1的正整数；P1为第一个交点，Pn为第n个交点，x，y，z代表每个交点的三维空间坐标，该矩阵维度为4*n；

(2) 通过所述磁导航定位器通过磁导航探针工具获得所述反光棋盘格中各黑白格交点相对于磁导航定位器的空间位置数据PP，见下述公式2：

假设反光棋盘格共有n个交点，n为大于1的正整数；PP1为第一个交点，PPn为第n个交点，x，y，z代表每个交点的三维空间坐标，该矩阵维度为4*n；

(3) 通过磁导航定位器获得磁导航定位线圈工具相对于磁导航定位器的空间变换矩阵M2，则PP点通过与M2矩阵的逆矩阵相乘，变换即可得到所述反光棋盘格中各黑白格交点相对于磁导航定位线圈工具的位置数据PPP，PPP = Inverse(M2) * PP；

(4)将所述反光棋盘格中各黑白格交点相对于磁导航定位线圈工具的位置数据PPP变换到结构光相机的坐标系下，见下述公式3：

即M*PPP=P，M为一个4x4的空间变换矩阵；假设反光棋盘格共有n个交点，n为大于1的正整数；PPP1为第一个交点，PPPn为第n个交点，x，y，z代表每个交点的三维空间坐标，该矩阵维度为4*n；

通过最小二乘法求得M矩阵，如下公式4：

其中，T代表矩阵的转置（transpose）；

或者，通过QR分解或SVD分解获得M矩阵，所述M矩阵为结构光相机相对于磁导航定位线圈工具的空间变换矩阵。

3．上述方案中，于步骤一中，所述术前医学影像包括患者术前所拍摄的CT或MRI。

4．上述方案中，于步骤一中，所述影像三维特征点通过一第一神经网络获得。

5．上述方案中，于步骤三中，通过一第二神经网络剔除所述非必要点云数据，获得头部点云数据。

6．上述方案中，于步骤三中，通过一第三神经网络从所述头部点云数据中提取患者头部的点云三维特征点。

7．上述方案中，还包括支架，所述结构光相机模块固定连接于所述支架上。

8．上述方案中，所述支架为平移式支架，沿一预设轨道进行平移，通过结构光相机对患者头部进行多帧拍摄。

9．上述方案中，所述支架为手持式支架，由操作人员握持进行手动操作，对结构光相机的空间位置进行改变。

本发明的工作原理及优点如下：

本发明一种基于磁导航的医学影像配准系统和方法，配准系统包含结构光相机模块、磁导航定位器及计算中心；结构光相机模块包括固定连接的结构光相机及磁导航定位线圈工具；磁导航定位器对应结构光相机模块设置，且磁导航定位线圈工具均位于磁导航定位器的捕捉范围内；计算中心通讯连接结构光相机及磁导航定位器。配准方法包括：一、通过术前医学影像提取患者头部的影像三维特征点；二、通过结构光相机获取包含患者头部轮廓的点云数据；三、基于获得的点云数据提取头部点云三维特征点；四、将影像三维特征点与点云三维特征点匹配，实现术前患者的影像空间与术中患者的真实空间位置配准。

相比现有技术而言，本发明的配准系统及方法可大幅缩短手术导航的配准操作时间，同时大幅提升配准精度。另外，由于省去了机械臂，因此不仅降低了设备的整体成本，并且减少了手术室的空间占用，同时避免了机械臂对手术操作时的空间干涉。

附图说明

附图1为本发明实施例的系统示意图；

附图2为本发明实施例的工作原理框图。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：以下将以图式及详细叙述对本案进行清楚说明，任何本领域技术人员在了解本案的实施例后，当可由本案所教示的技术，加以改变及修饰，其并不脱离本案的精神与范围。

本文的用语只为描述特定实施例，而无意为本案的限制。单数形式如“一”、“这”、“此”、“本”以及“该”，如本文所用，同样也包含复数形式。

关于本文中所使用的“第一”、“第二”等，并非特别指称次序或顺位的意思，亦非用以限定本案，其仅为了区别以相同技术用语描述的组件或操作。

关于本文中所使用的“连接”或“定位”，均可指二或多个组件或装置相互直接作实体接触，或是相互间接作实体接触，亦可指二或多个组件或装置相互操作或动作。

关于本文中所使用的“包含”、“包括”、“具有”等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的用词（terms），除有特别注明外，通常具有每个用词使用在此领域中、在本案内容中与特殊内容中的平常意义。某些用以描述本案的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本案描述上额外的引导。

参见附图1所示，一种基于磁导航的医学影像配准系统和方法，所述配准系统包含结构光相机模块、磁导航定位器以及计算中心。

其中，磁导航定位器具体指的是手术导航系统专用磁导航定位器。

所述结构光相机模块包括结构光相机以及磁导航定位线圈工具，两者固定连接，构成两者之间不能发生相对位置的变化。

所述结构光相机即为深度相机，优选精度小于0.1mm的高精度结构光相机，如无锡微视、基恩士视觉等厂商的深度相机。结构光相机模块在出厂前与手术导航系统的工具模块配准后获得空间变换关系矩阵。

所述磁导航定位线圈工具直接固定在所述结构光相机上。或者，所述磁导航定位线圈工具与一刚性结构固定，然后将该刚性结构固定在所述结构光相机上，进而实现间接固定。具体的固定方式可以是不可拆卸的固定方式，也可以是诸如螺丝固定等可拆卸的固定。

所述磁导航定位器对应所述结构光相机模块设置，且所述磁导航定位线圈工具位于磁导航定位器的捕捉范围内。所述磁导航定位器通过对所述磁场定位线圈工具上的磁场定位线圈进行感应，进而捕捉定位所述磁场定位线圈工具的三维空间位置和空间旋转以及平移矩阵，即空间变换矩阵。

所述计算中心通讯连接所述结构光相机以及所述磁导航定位器，主要由CPU、RAM存储器和GPU构成，用于存储所述结构光相机以及所述磁导航定位器捕捉的数据，并通过计算实现图像配准。

具体的，所述计算中心可以是一处理中心，如PC等，也可以是微处理模块，直接结合在磁导航定位器中，或者是处理中心和微处理模块的组合。

以下就本发明配准系统的配准方法进行具体阐述，如图2所示，所述配准方法包括以下步骤：

前序步骤、结构光相机的坐标定位

通过所述结构光相机对一固定的反光棋盘格进行拍摄，捕捉所述反光棋盘格中各黑白格交点相对于结构光相机的空间位置数据（即各黑白格交点空间坐标的集合）；

进而获得结构光相机相对于棋盘格的第一空间变换矩阵；

设计一磁导航探针工具，该探针工具呈针形，其尖端设有磁场定位线圈，所述磁导航定位器通过对所述磁场定位线圈进行感应，进而捕捉定位所述探针工具尖端的三维空间位置和空间旋转以及平移矩阵，即空间变换矩阵；

该前序步骤为出厂前操作，获得结构光相机与磁导航定位线圈工具的空间关系后，在手术导航系统中设置为固定参数，可在术前配准时直接使用。

步骤一、根据术前医学影像获取患者头部三维特征点

通过向所述计算中心输入所述术前医学影像，提取患者头部至少三个不共线的影像三维特征点；即，当影像三维特征点的数量为三个时，三个影像三维特征点不共线，影像三维特征点可从诸如眼、耳、鼻等部位提取，但不限于此。

具体的提取方法为现有技术，由于并非本案发明点所在，故本案不作赘述。

步骤二、通过结构光相机获取包含患者头部轮廓的点云数据

通过所述结构光相机对患者头部至少拍摄一次，获得至少一帧点云数据；如果只拍摄一次，可优先对患者面部进行拍摄；

若所述结构光相机获得的所述点云数据有多帧，则先分别转换坐标系，然后再通过所述计算中心对拍摄的多帧点云数据进行拼接；

拼接时，因为所有点云数据均在磁导航定位器的坐标系下，因此拼接不同帧的图像不需要算法，只需将点云叠加即可。多帧拍摄并拼接的目的在于提高精度。

步骤三、基于获得的点云数据提取三维特征点

然后，从所述头部点云数据中提取患者头部的点云三维特征点，该点云三维特征点的数量、解剖位置均与所述影像三维特征点对应，即，若影像三维特征点的数量为三个，且分别对应患者的眼、耳、鼻部位，则点云三维特征点的数量亦为三个，分别对应患者的眼、耳、鼻部位；

步骤四、将步骤一中提取获得的影像三维特征点与步骤三中提取获得的点云三维特征点一一匹配，实现术前患者的影像空间与术中患者的真实空间位置配准，以上精度可达到0.5mm以内。具体的匹配方法或算法可为现有技术，如最小二乘法。

优选的，所述前序步骤中，获得结构光相机和磁导航定位线圈工具的空间关系的方法包括以下步骤：

(1)通过所述结构光相机获得所述反光棋盘格中各黑白格交点相对于结构光相机的空间位置数据P（即第一空间变换矩阵），见下述公式1：

(3) 通过磁导航定位器获得磁导航定位线圈工具相对于磁导航定位器的空间变换矩阵M2，则PP点通过与M2矩阵的逆矩阵相乘，变换即可得到所述反光棋盘格中各黑白格交点相对于磁导航定位线圈工具的位置数据PPP（即第二空间变换矩阵），

PPP = Inverse(M2) * PP；

通过最小二乘法求得M矩阵，如下公式4：

其中，T代表矩阵的转置（transpose）；

优选的，于步骤一中，所述术前医学影像包括患者术前所拍摄的CT或MRI等。

于步骤一中，所述影像三维特征点通过一第一神经网络获得。

于步骤三中，通过一第二神经网络剔除所述非必要点云数据，通过输入结构光相机拍摄的多帧拼接点云数据，可以实现背景剔除功能，仅保留头部点云数据。

于步骤三中，通过一第三神经网络从所述头部点云数据中提取患者头部的点云三维特征点；

于步骤四中，将各影像三维特征点与各点云三维特征点进行一一匹配，计算得到R1矩阵，具体计算方法可参照上述公式3及公式4进行，区别在于，此处的P1~Pn为通过第一神经网络输出的术前医学影像的影像三维特征点，PPP1~PPPn是通过第三神经网络输出的基于真实空间或三维点云获得的点云三维特征点。

优选的，当需要更高的配准精度时，可通过MC算法（marching cubes）从所述术前医学影像中提取皮肤点云特征点；并且，通过第二神经网络对结构光相机获取的所述点云数据进行非必要点云数据的剔除，保留头部点云数据；然后，将皮肤点云特征点、头部点云数据以及R1矩阵作为输入，通过ICP算法（Iterative Closest Point）对R1矩阵进行优化得到更为精确的R2矩阵，实现更高精度的配准需求，借此方案，配准精度可达0.25mm以内。

本发明所指“神经网络”为人工智能领域中深度学习技术的其中一种现有技术，即“深度神经网络技术”，该技术属于成熟技术，为本领域技术人员所能够掌握。

在本发明中，第一神经网络的输入为术前医学影像，输出为术前医学影像中的头部关键点。第二神经网络的输入为拼接点云，输出为头部点云，实现了背景剔除；第三神经网络的输入为头部点云，输出为头部三维关键点，实现了关键点提取。

优选的，还包括支架，所述结构光相机模块固定连接于所述支架上。该支架并非必须，也可直接手持所述结构光相机模块进行拍摄操作。

所述支架可为平移式支架，沿一预设轨道进行平移，通过结构光相机对患者头部进行多帧拍摄，使得结构光相机可以连续获取点云数据。

或者，所述支架为手持式支架，由操作人员握持进行手动操作，对结构光相机的空间位置进行改变，使得结构光相机可以连续获取点云数据。

亦或者，所述支架为固定式支架，固定在神经外科手术头架上，或通过类似三脚架的形式固定于患者头部一侧的手术床或地面上，对结构光相机的空间位置进行保持。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims

1.一种基于磁导航的医学影像配准系统和方法，其特征在于：

所述配准系统包含结构光相机模块、磁导航定位器以及计算中心；

所述磁导航定位器对应所述结构光相机模块设置，且所述磁导航定位线圈工具位于磁导航定位器捕捉范围内；所述磁导航定位器通过对所述磁场定位线圈工具上的磁场定位线圈进行感应，进而捕捉定位所述磁场定位线圈工具的三维空间位置和空间旋转以及平移矩阵；

所述计算中心通讯连接所述结构光相机以及所述磁导航定位器，用于存储所述结构光相机以及所述磁导航定位器捕捉的数据，并通过计算实现图像配准；

所述配准方法包括以下步骤：

步骤一、根据术前医学影像获取患者头部三维特征点

步骤二、通过结构光相机获取包含患者头部轮廓的点云数据

步骤三、基于获得的点云数据提取三维特征点

2.根据权利要求1所述的医学影像配准系统及方法，其特征在于：还包括：

前序步骤、结构光相机的坐标定位

进而获得结构光相机相对于棋盘格的第一空间变换矩阵；

3.根据权利要求2所述的医学影像配准系统及方法，其特征在于：

所述前序步骤中，获得结构光相机和磁导航定位线圈工具的空间关系的方法包括以下步骤：

通过最小二乘法求得M矩阵，如下公式4：

其中，T代表矩阵的转置（transpose）；

4.根据权利要求1所述的医学影像配准系统及方法，其特征在于：于步骤一中，所述术前医学影像包括患者术前所拍摄的CT或MRI。

5.根据权利要求1所述的医学影像配准系统及方法，其特征在于：于步骤一中，所述影像三维特征点通过一第一神经网络获得。

6.根据权利要求1所述的医学影像配准系统及方法，其特征在于：于步骤三中，通过一第二神经网络剔除所述非必要点云数据，获得头部点云数据。

7.根据权利要求6所述的医学影像配准系统及方法，其特征在于：于步骤三中，通过一第三神经网络从所述头部点云数据中提取患者头部的点云三维特征点。

8.根据权利要求1所述的医学影像配准系统及方法，其特征在于：还包括支架，所述结构光相机模块固定连接于所述支架上。

9.根据权利要求8所述的医学影像配准系统及方法，其特征在于：所述支架为平移式支架，沿一预设轨道进行平移，通过结构光相机对患者头部进行多帧拍摄。

10.根据权利要求8所述的医学影像配准系统及方法，其特征在于：所述支架为手持式支架，由操作人员握持进行手动操作，对结构光相机的空间位置进行改变。