CN115908121A - 内窥镜配准方法及装置和标定系统 - Google Patents

Abstract

本发明涉及内窥镜配准方法及装置和标定系统。所述配准方法包括：获取三维断层扫描影像，根据标识件在影像中的坐标得到棋盘格在影像中的位置，根据第一电磁传感器在电磁空间中的位姿得到棋盘格的位姿和影像相对于电磁空间的第一变换关系，对内窥镜进行标定得到内窥镜的相机坐标系相对于第二电磁传感器的坐标系的第二变换关系，根据第一及第二变换关系和第二电磁传感器在电磁空间中的位姿得到对应于内窥镜的虚拟相机在影像中的位姿、并结合棋盘格在影像中的位置得到虚拟视野，对真实和虚拟视野进行配准得到第三变换关系，根据第一、第二及第三变换关系得到虚拟相机在影像中的位姿相对于内窥镜拍照时第二电磁传感器在电磁空间中的位姿的变换关系。

Description

内窥镜配准方法及装置和标定系统

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种内窥镜配准方法、一种内窥镜配准装置以及一种内窥镜标定系统。

背景技术

现代的微创或无创手术中，一种常用的术中导航方法是基于电磁定位，具体包括：基于电磁定位得到当前时刻内窥镜的位姿，得到术前的三维医学影像中与当前时刻的内窥镜对应的虚拟相机拍摄到的虚拟视野，与当前时刻内窥镜拍摄到的真实视野叠加，实现术中导航。

通常电磁传感器和内窥镜的镜头都设置在送入人体内部的医疗器械的末端，且两者的位置关系相对固定。而在手术过程中，会采用电磁传感器反馈的位姿数据作为内窥镜位姿的依据。然而，因为内窥镜和电磁传感器之间存在相对位移和偏转，若直接利用电磁传感器的位姿数据进行定位会产生误差，导致内窥镜的实际位姿参数不准确，进而导致导航时内窥镜的真实视野和虚拟的三维影像不匹配，这种真实视野与虚拟的三维影像的不匹配可能会引发严重的医疗事故。

目前关于电磁传感器和内窥镜的标定主要是通过棋盘格作为媒介，内窥镜通过拍摄多帧图像，采集得到棋盘格的图像信息，而后利用张正友法求解出内窥镜的相机内外参数，得到棋盘格与内窥镜之间的坐标变换关系。电磁传感器依据棋盘格的网格尺寸大小和数目，构建棋盘格的电磁坐标系。同时，在内窥镜的拍摄过程中，固定在医疗器械末端的电磁传感器随着内窥镜同步运动，记录每帧图像下电磁传感器的坐标值，从而得到棋盘格与电磁传感器之间的坐标变换关系；最终求解得到电磁传感器与内窥镜之间的坐标变换关系，从而完成两者的标定流程。

但是这一标定过程只是确定了电磁传感器与内窥镜之间的坐标变换关系，而没有实现内窥镜的真实视野与虚拟视野的匹配。

发明内容

为克服现有技术存在的不足，本发明实施例提供一种内窥镜配准方法、一种内窥镜配准装置以及一种内窥镜标定系统。

具体地，本发明实施例提供的一种内窥镜配准方法，例如包括步骤：

(a)获取包含棋盘格标定工具的三维断层扫描影像，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知；

(b)根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置；

(c)根据从电磁定位仪获取的所述第一电磁传感器在电磁空间中的位姿得到所述棋盘格在所述电磁空间中的位姿以及所述三维断层扫描影像相对于所述电磁空间的第一变换关系，其中所述第一电磁传感器放置于所述第一安装件；

(d)基于使用固定有第二电磁传感器的内窥镜在多个不同角度下分别对所述棋盘格标定工具进行拍照的结果对所述内窥镜进行标定，得到所述内窥镜的相机内参、以及所述内窥镜的相机坐标系相对于所述第二电磁传感器的坐标系的第二变换关系；

(e)根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，将所述虚拟相机的内参设置为所述内窥镜的相机内参，并结合所述棋盘格在所述三维断层扫描影像中的位置得到虚拟视野；

(f)对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，所述真实视野为使用所述内窥镜拍照得到的图像；以及，

(g)根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿的变换关系。

在本发明的一个实施例中，所述三维断层扫描影像包含患者的手术部位。

在本发明的一个实施例中，根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置，具体包括：

根据所述三维断层扫描影像结合阈值分割，提取所述标识件在所述三维断层扫描影像中的坐标；以及

根据所述标识件在所述三维断层扫描影像中的坐标和所述棋盘格的每个网格的尺寸大小，得到所述棋盘格的多个网格角点在所述三维断层扫描影像中的坐标。

在本发明的一个实施例中，根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，具体包括：

根据以下公式计算虚拟相机在所述三维断层扫描影像中的位姿，

。

其中，表示所述虚拟相机在所述三维断层扫描影像中的姿态、且表示所述虚拟相机在所述三维断层扫描影像中的位置，以共同定义所述虚拟相机在所述三维断层扫描影像中的位姿；表示所述第一变换关系，且、分别表示所述三维断层扫描影像相对于所述电磁空间的旋转矩阵和平移向量；表示所述第二变换关系，、分别表示所述相机坐标系相对于所述棋盘格在所述电磁空间中的位姿的旋转矩阵和平移向量，、分别表示所述棋盘格在所述电磁空间中的位姿相对于所述第二电磁传感器的坐标系的旋转矩阵和平移向量；表示所述第二电磁传感器在所述电磁空间中的姿态、且表示所述第二电磁传感器在所述电磁空间中的位置，以共同定义所述第二电磁传感器在所述电磁空间中的位姿。

在本发明的一个实施例中，对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，具体包括：

获取至少一对所述真实视野和所述虚拟视野的多对匹配像素点；以及

基于对极几何约束条件和所述多对匹配像素点确定所述虚拟视野相对于所述真实视野的目标变换矩阵；

所述对极几何约束条件包括以下公式：

。

其中，、分别代表所述真实视野和所述虚拟视野的一对所述匹配像素点， K表示所述内窥镜的所述相机内参，、分别表示所述目标变换矩阵中的旋转矩阵和平移向量。

在本发明的一个实施例中，根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿之间的变换关系，具体包括：

对所述目标变换矩阵取逆，得到目标逆变换矩阵；以及

根据所述第一变换关系、所述第二变换关系、所述目标逆变换矩阵得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿之间的所述变换关系。

在本发明的一个实施例中，所述标识件分别固定设置在所述标定板的多个角落处。

在本发明的一个实施例中，所述第一安装件为分别形成在所述标定板的所述多个角落处的容置孔或夹具。

另一方面，本发明实施例提供的一种内窥镜配准装置，例如包括：处理器和连接所述处理器的存储器；其中所述存储器存储有被所述处理器执行的指令，且所述指令被所述处理器执行时实现行前述任一实施例所述的内窥镜配准方法。

再一方面，本发明实施例提供的一种内窥镜标定系统，例如包括：前述实施例的内窥镜配准装置以及棋盘格标定工具，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知。

综上所述，本发明各个实施例的内窥镜配准方法、内窥镜配准装置和内窥镜标定系统通过采用改进后的棋盘格标定工具作为媒介，除了对第二电磁传感器与内窥镜进行配准之外，还对真实视野和虚拟视野进行配准，实现第二电磁传感器与虚拟相机之间的配准。并且采用第一安装件来放置第一电磁传感器，提高棋盘格在电磁空间中的位姿的精度，结合对真实视野和虚拟视野之间的精确配准，提高了第二电磁传感器与虚拟相机之间的配准的精度，从而有利于术中导航。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种内窥镜配准方法的流程示意图。

图2为本发明实施例提供的一种棋盘格标定工具的结构示意图。

图3为图2所示棋盘格标定工具的一种剖视示意图。

图4为图1所示内窥镜配准方法中的相关过程状态示意图。

图5为图1所示内窥镜配准方法中使用的一种双目相机的对极几何约束示意图。

图6为本发明实施例提供的一种内窥镜配准装置的模块示意图。

图7为本发明实施例提供的另一种内窥镜配准装置的结构示意图。

图8为本发明实施例提供的一种内窥镜标定系统的架构示意图。

图9为本发明实施例提供的另一种内窥镜标定系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例提供的一种内窥镜配准方法，包括以下步骤S11~S17。

步骤S11：获取包含棋盘格标定工具的三维断层扫描影像，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知。

本发明实施例为了改进内窥镜与电磁传感器标定的方式，提出了一种新的棋盘格标定工具50作为媒介。举例说明，如图2和图3所示，棋盘格标定工具50可以包括印有已知尺寸的棋盘格的标定板51和多个标识件54、且所述标定板51上设有多个用于放置电磁传感器的容置孔55，所述棋盘格、所述标识件54和所述容置孔55之间的相对位置已知。具体而言，所述棋盘格典型地包括多个黑白相间的网格53，各个网格53的尺寸大小已知；所述标识件54可以分别固定设置在标定板51的各个角落处，所述标识件54和所述容置孔55的数量均可以是图2及图3所示的四个，但本发明实施例并不以此为限，也可以是三个或者更多个。所述容置孔55可以是设置在标定板51的各个角落处凹陷的圆柱形孔，以方便固定电磁传感器；所述标识件54可以是埋入标定板51的各个角落处对应所述容置孔55的位置，其可以是高Hu(Hounsfield Unit，亨斯菲尔德单位)值的聚氯乙烯(Polyvinyl chloride，PVC)珠，当然也可以换成其他与标定板51的HU值明显不同的材料，以方便在三维CT影像中建立所述棋盘格的坐标系。此外，值得一提的是，在一些实施例中，所述标识件54也可以与所述标定板51分离设置，其形状也可以更改，只要其能够在三维断层扫描影像中可识别、且与所述容置孔55的相对位置已知即可；所述容置孔55也可以替换成其他形式的第一安装件例如夹具以夹持电磁传感器，只要能实现电磁传感器的固持/夹持作用即可。本实施例后续使用的设备典型地涉及电磁定位仪、多个电磁传感器(包含第一电磁传感器和第二电磁传感器)、内窥镜以及所述棋盘格标定工具50。

具体地，在步骤S11中，可以将所述棋盘格标定工具50固定在手术床上，并通过CT扫描(Computer Tomography，计算机断层扫描)，得到包含所述棋盘格标定工具50的三维CT影像作为所述三维断层扫描影像。三维CT影像的坐标系例如设为，以下简称CT坐标系。可选的，棋盘格标定工具50可以是固定在手术床上和患者一起进行CT扫描(手术前或手术中皆可)，这样的话得到的三维CT影像中除了所述棋盘格标定工具50还包括患者的手术部位，在此情况下，若电磁定位仪和患者的位姿不出现未知的变化，最终标定得到的虚拟相机相对于第二电磁传感器的变换关系可以直接用于术中导航。

步骤S12：根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置。

具体地，在步骤S12中，可以根据三维CT影像结合阈值(例如HU阈值)分割，提取出各个标识件54在三维CT影像中的坐标，例如其中心点的CT坐标。进一步地，根据各个标识件54的CT坐标结合所述棋盘格标定工具50的棋盘格的每个网格53的真实尺寸大小，可以得到每个网格53的角点在三维CT影像中的坐标，也即CT坐标。此处的网格53的角点为网格53的顶点。

步骤S13：根据从电磁定位仪获取的所述第一电磁传感器在电磁空间中的位姿得到所述棋盘格在所述电磁空间中的位姿以及所述三维断层扫描影像相对于所述电磁空间的第一变换关系，其中所述第一电磁传感器放置于所述第一安装件。

具体地，在步骤S13中，可以由电磁定位仪构建电磁空间，其世界坐标系可以设为。取四个电磁传感器作为所述第一电磁传感器置入棋盘格标定工具50的各个容置孔55中，再基于从所述电磁定位仪获取的所述第一电磁传感器在所述电磁空间中的位姿可以得到所述棋盘格标定工具50的棋盘格在所述电磁空间中的位姿，所述棋盘格的电磁坐标系可以设为。

再者，可以根据从所述电磁定位仪获取的所述第一电磁传感器在所述电磁空间中的位姿和各个标识件54在三维CT影像中的CT坐标，进行点匹配，从而可以求出三维CT影像相对于所述电磁空间的所述第一变换关系，即CT坐标系相对于世界坐标系的旋转矩阵和平移向量，此过程也可以称为空间配准。值得一提的是，如果棋盘格标定工具50是固定在手术床上和患者一起进行扫描(手术前或手术中皆可)，这样的话得到的三维CT影像中除了棋盘格标定工具50还包括患者的手术部位，这里的空间配准也就是患者的手术部位的CT影像与电磁空间的配准。

步骤S14：基于使用固定有第二电磁传感器的内窥镜在多个不同角度下分别对所述棋盘格标定工具进行拍照的结果对所述内窥镜进行标定，得到所述内窥镜的相机内参、以及所述内窥镜的相机坐标系相对于所述第二电磁传感器的坐标系的第二变换关系。

具体地，在步骤S14中，将内窥镜与作为所述第二电磁传感器的电磁传感器两者固定，基于所述第二电磁传感器构建的坐标系可以为传感器坐标系，基于内窥镜构建的相机坐标系可以为，各个坐标系如图4所示。接下来，可以进行内窥镜与第二电磁传感器的标定过程。

承上述，通过内窥镜在多个不同角度下分别对所述棋盘格标定工具50进行拍照以采集多个不同角度的棋盘格图像信息，利用张正友标定法求解得到内窥镜的相机内参K，以及不同角度下的外部参数。其中，和分别是相机坐标系相对于所述棋盘格在所述电磁空间中的位姿(对应棋盘格的电磁坐标系)的旋转矩阵和平移向量。所述相机内数K例如是相机内参矩阵，其典型地为(dx, dy, r, u, v, f)；其中， dx、dy表示一个像素的物理尺寸，f表示焦距，r表示图像物理坐标的扭曲因子，u和v(单位为像素)表示图像原点相对于光心成像点的横纵偏移量。

再者，由于所述第二电磁传感器跟随内窥镜运动，因而同步采集了所述第二电磁传感器在内窥镜不同角度下拍照时在所述电磁空间中的位姿，从而可以得到所述棋盘格在所述电磁空间中的位姿(对应棋盘格的电磁坐标系)相对于传感器坐标系的旋转矩阵和平移向量。

根据上述的旋转矩阵、和平移向量、，可以求出所述内窥镜的相机坐标系相对于传感器坐标系的所述第二变换关系，完成对所述内窥镜的标定。若设第二电磁传感器在所述电磁空间中的位置和姿态分别为内窥镜在所述电磁空间中的位置和姿态分别为、，则：

… 公式(1)

其中，、共同定义内窥镜在所述电磁空间中的位姿，、共同定义所述第二电磁传感器在所述电磁空间中的位姿。

由于所述第二电磁传感器可以输出当前位姿下与X、Y、Z三轴的夹角α、β、γ，从而得到第二电磁传感器在世界坐标系中的姿态，通过公式(1)中的变换矩阵，可以求得内窥镜的姿态。具体表示内窥镜在世界坐标系中的姿态，即内窥镜的相机坐标系相对于世界坐标系的旋转；具体表示第二电磁传感器在世界坐标系中的姿态，即传感器坐标系相对于世界坐标系的旋转，由夹角α、β、γ可以计算得到。

步骤S15：根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，将所述虚拟相机的内参设置为所述内窥镜的相机内参，并结合所述棋盘格在所述三维断层扫描影像中的位置得到虚拟视野。

具体地，在步骤S15中，可以针对CT影像进行三维重建，得到棋盘格标定工具50的棋盘格的三维模型。再者，根据上述步骤S13及S14得到的第一变换关系和第二变换关系、并使用所述内窥镜拍照时从所述电磁定位仪获取的第二电磁传感器在所述电磁空间中的位姿可以将内窥镜在电磁空间中的位姿变换到CT空间下，从而得到对应于所述内窥镜的虚拟相机在三维CT影像中的位姿(参见图4的右侧部分)。此外，将所述虚拟相机的内参设置为所述内窥镜的相机内参K。设内窥镜在电磁空间中的位置和姿态分别为、，虚拟相机在三维CT影像(也即CT空间)中的位置和姿态分别为、，则

… 公式(2)

结合公式(1)，公式(2)变换为：。

再者，利用所述虚拟相机在三维CT影像中的位姿，结合所述棋盘格在三维CT像中的位置可以得到虚拟视野。至此，可以得到初步配准的真实视野和虚拟视野。此处的真实视野为使用内窥镜拍照得到的图像；虚拟视野为所述虚拟相机在三维CT影像中“拍照”得到的图像，可以根据三维CT影像和虚拟相机的外部参数及内参计算得到。

步骤S16：对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，所述真实视野为使用所述内窥镜拍照得到的图像。

由于初步配准精度可能存在误差，为了尽可能使得真实视野和虚拟视野保持一致，因而可以进一步基于真实视野对虚拟视野进行精确配准。

承上述，由于真实视野和虚拟视野两个视野实际上是很接近的，类似于双目相机的画面，故而可以利用对极几何约束完成两个相机的匹配。双目相机的对极几何约束示意图如图5所示。在图5中，P为空间点(表示空间中的物体)，、分别为P点在真实视野与虚拟视野中的成像点，、为极点(也即光心和连线与成像面的交点)，P、、组成的平面为极平面，和的连线以及和的连线为极线，也就是极平面与成像面的交线。

具体地，在步骤S16中，可以随机采样多对匹配像素点。这里的像素点可以是所述棋盘格上的网格角点，像素点可以来自一对或者多对真实视野和虚拟视野，不同的真实视野的位姿不同。设一对匹配像素点分别为和，来自于真实视野，来自于与真实视野对应的虚拟视野，则这两个像素点的位置为：

。

其中，K是相机内参矩阵(对应内窥镜的相机内参)，、是点到点的坐标转换矩阵，也即所述第三变换关系中的旋转矩阵和平移向量，是点P在真实视野对应的相机坐标系中的深度，是点P在虚拟视野对应的相机坐标系中的深度，最后可以得到对极约束公式：

… 公式(3)；

代入采样的多对匹配像素点，最终可以求出旋转矩阵和平移向量，得到目标变换矩阵。

步骤S17：根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿的变换关系。

具体地，在步骤S17中，由于目标变换矩阵是由真实视野变换到虚拟视野下的，而实际上则是需要将虚拟视野调整至与真实视野一致，故需要对所述目标变换矩阵取逆，得到目标逆变换矩阵。

之后，基于目标逆变换矩阵和上述步骤S13及S14得到的第一及第二变换关系及可以得到所述虚拟相机在三维CT影像中的位姿相对于内窥镜拍照时从所述电磁定位仪获取的第二电磁传感器在所述电磁空间中的位姿之间的变换关系。当已知与内窥镜固定的第二电磁传感器的位姿时，可以通过下列公式(4)将内窥镜在电磁空间的位姿变换至虚拟的CT空间下，从而引导虚拟相机与真实内窥镜的观察视角对齐，进而可以保证真实视野和虚拟视野的精准匹配。

设已知与内窥镜固定的第二电磁传感器在电磁空间中的位置和姿态分别为，虚拟相机在三维CT影像中的位置和姿态分别为、，则两者之间的变换关系为：

…公式(4)。

综上所述，本发明实施例的内窥镜配准方法通过采用改进后的棋盘格标定工具作为媒介，除了对第二电磁传感器与内窥镜进行配准之外，还对真实视野和虚拟视野进行配准，实现第二电磁传感器与虚拟相机之间的配准。并且采用第一安装件来放置第一电磁传感器，提高棋盘格在电磁空间中的位姿的精度，结合对真实视野和虚拟视野之间的精确配准，提高了第二电磁传感器与虚拟相机之间的配准的精度，从而有利于术中导航。

参见图6，本发明实施例提供的一种内窥镜配准装置，包括：影像获取模块110、棋盘格位置确定模块120、棋盘格位姿及空间变换关系确定模块130、内窥镜标定模块140、虚拟相机及虚拟视野确定模块150、视野变换关系确定模块160和位姿变换关系确定模块170。

其中，所述影像获取模块110例如用于获取包含棋盘格标定工具的三维断层扫描影像，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知；所述棋盘格位置确定模块120例如用于根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置；所述棋盘格位姿及空间变换关系确定模块130例如用于根据从电磁定位仪获取的所述第一电磁传感器在电磁空间中的位姿得到所述棋盘格在所述电磁空间中的位姿以及所述三维断层扫描影像相对于所述电磁空间的第一变换关系，其中所述第一电磁传感器放置于所述第一安装件；所述内窥镜标定模块140例如用于基于使用固定有第二电磁传感器的内窥镜在多个不同角度下分别对所述棋盘格标定工具进行拍照的结果对所述内窥镜进行标定，得到所述内窥镜的相机内参、以及所述内窥镜的相机坐标系相对于所述第二电磁传感器的坐标系的第二变换关系；所述虚拟相机及虚拟视野确定模块150例如用于根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，将所述虚拟相机的内参设置为所述内窥镜的相机内参，并结合所述棋盘格在所述三维断层扫描影像中的位置得到虚拟视野；所述视野变换关系确定模块160例如用于对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，所述真实视野为使用所述内窥镜拍照得到的图像；以及，所述位姿变换关系确定模块170例如用于根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿的变换关系。

至于所述影像获取模块110、所述棋盘格位置确定模块120、所述棋盘格位姿及空间变换关系确定模块130、所述内窥镜标定模块140、所述虚拟相机及虚拟视野确定模块150、所述视野变换关系确定模块160和所述位姿变换关系确定模块170的具体功能细节可参考前述内窥镜配准方法的相关实施例中的详细描述，在此不再赘述。此外，值得一提的是，所述影像获取模块110、所述棋盘格位置确定模块120、所述棋盘格位姿及空间变换关系确定模块130、所述内窥镜标定模块140、所述虚拟相机及虚拟视野确定模块150、所述视野变换关系确定模块160和所述位姿变换关系确定模块170可以为软件模块，存储于非易失性存储器中且由处理器执行相关操作以进行前述实施例中的步骤S11、S12、S13、S14、S15、S16及S17。

参见图7，本发明实施例提供的一种内窥镜配准装置10，包括：处理器11和连接所述处理器11的存储器13。其中，所述存储器13存储有被所述处理器11执行的指令，且所述指令被所述处理器11执行时实现前述任一实施例所述的内窥镜配准方法。

此外，本发明其他实施例还提供的一种计算机可读存储介质，其为非易失性存储器且存储有程序代码，当所述程序代码被一个或多个处理器执行时，例如使得所述一个或多个处理器执行前述任一实施例所述的内窥镜配准方法。

参见图8，本发明实施例提供的一种内窥镜标定系统，包括：内窥镜配准装置10、电磁定位仪20、计算机三维断层扫描机40、棋盘格标定工具50、多个第一电磁传感器60、内窥镜70和第二电磁传感器80。

其中，所述内窥镜配准装置10用于执行前述任一实施例所述的内窥镜配准方法，所述电磁定位仪20和所述计算机三维断层扫描机40分别通信连接所述内窥镜配准装置10，所述计算机断层扫描机40(简称CT机)用于提供三维断层扫描影像例如扫描输出包含棋盘格标定工具的CT影像，所述电磁定位仪20用于构建电磁空间以及感测所述第一电磁传感器60和所述第二电磁传感器80在所述电磁空间中的位姿。再者，各个第一电磁传感器60可以放置于所述棋盘格标定工具50的各个第一安装件，所述第二电磁传感器80可以在利用所述内窥镜70在多个不同角度下分别对所述棋盘格标定工具50进行拍照时与所述内窥镜70固定在一起。

参见图9，本发明实施例提供的另一种内窥镜标定系统，包括：内窥镜配准装置10和棋盘格标定工具50。其中，所述内窥镜配准装置10例如为图7所述的内窥镜配置装置10。所述棋盘格标定工具50例如图2和图3所示，包括印有已知尺寸的棋盘格的标定板51和多个在三维断层扫描影像中可识别的标识件54，所述标定板51上设有多个用于放置第一电磁传感器的第一安装件(例如容置孔55或夹具)，所述棋盘格、所述标识件54和所述第一安装件之间的相对位置已知。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和/或方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多路单元或模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多路网络单元上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元/模块的形式实现。

上述以软件功能单元/模块的形式实现的集成的单元/模块，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)的一个或多个处理器执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅表达了本发明的几种实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种内窥镜配准方法，其特征在于，包括：

获取包含棋盘格标定工具的三维断层扫描影像，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知；

根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置；

根据从电磁定位仪获取的所述第一电磁传感器在电磁空间中的位姿得到所述棋盘格在所述电磁空间中的位姿以及所述三维断层扫描影像相对于所述电磁空间的第一变换关系，其中所述第一电磁传感器放置于所述第一安装件；

基于使用固定有第二电磁传感器的内窥镜在多个不同角度下分别对所述棋盘格标定工具进行拍照的结果对所述内窥镜进行标定，得到所述内窥镜的相机内参、以及所述内窥镜的相机坐标系相对于所述第二电磁传感器的坐标系的第二变换关系；

根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，将所述虚拟相机的内参设置为所述内窥镜的相机内参，并结合所述棋盘格在所述三维断层扫描影像中的位置得到虚拟视野；

对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，所述真实视野为使用所述内窥镜拍照得到的图像；

根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿的变换关系。

2.如权利要求1所述的内窥镜配准方法，其特征在于，所述三维断层扫描影像包含患者的手术部位。

3.如权利要求1所述的内窥镜配准方法，其特征在于，根据所述标识件在所述三维断层扫描影像中的坐标得到所述棋盘格在所述三维断层扫描影像中的位置，具体包括：

根据所述三维断层扫描影像结合阈值分割，提取所述标识件在所述三维断层扫描影像中的坐标；

根据所述标识件在所述三维断层扫描影像中的坐标和所述棋盘格的每个网格的尺寸大小，得到所述棋盘格的多个网格角点在所述三维断层扫描影像中的坐标。

4.如权利要求1所述的内窥镜配准方法，其特征在于，根据所述第一变换关系、所述第二变换关系、以及使用所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿得到对应于所述内窥镜的虚拟相机在所述三维断层扫描影像中的位姿，具体包括：

根据以下公式计算虚拟相机在所述三维断层扫描影像中的位姿

其中，表示所述虚拟相机在所述三维断层扫描影像中的姿态、且表示所述虚拟相机在所述三维断层扫描影像中的位置，以共同定义所述虚拟相机在所述三维断层扫描影像中的位姿；表示所述第一变换关系，且、分别表示所述三维断层扫描影像相对于所述电磁空间的旋转矩阵和平移向量；表示所述第二变换关系，、分别表示所述相机坐标系相对于所述棋盘格在所述电磁空间中的位姿的旋转矩阵和平移向量，、分别表示所述棋盘格在所述电磁空间中的位姿相对于所述第二电磁传感器的坐标系的旋转矩阵和平移向量；表示所述第二电磁传感器在所述电磁空间中的姿态、且表示所述第二电磁传感器在所述电磁空间中的位置，以共同定义所述第二电磁传感器在所述电磁空间中的位姿。

5.如权利要求4所述的内窥镜配准方法，其特征在于，对真实视野和所述虚拟视野进行配准，得到所述虚拟视野相对于所述真实视野的第三变换关系，具体包括：

获取至少一对所述真实视野和所述虚拟视野的多对匹配像素点；

基于对极几何约束条件和所述多对匹配像素点确定所述虚拟视野相对于所述真实视野的目标变换矩阵；

所述对极几何约束条件包括以下公式：

其中，、分别代表所述真实视野和所述虚拟视野的一对所述匹配像素点，K表示所述内窥镜的所述相机内参，、分别表示所述目标变换矩阵中的旋转矩阵和平移向量。

6.如权利要求5所述的内窥镜配准方法，其特征在于，根据所述第一变换关系、所述第二变换关系、所述第三变换关系得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿之间的变换关系，具体包括：

对所述目标变换矩阵取逆，得到目标逆变换矩阵；

根据所述第一变换关系、所述第二变换关系、所述目标逆变换矩阵得到所述虚拟相机在所述三维断层扫描影像中的位姿相对于所述内窥镜拍照时从所述电磁定位仪获取的所述第二电磁传感器在所述电磁空间中的位姿之间的所述变换关系。

7.如权利要求1-6任意一项所述的内窥镜配准方法，其特征在于，所述标识件分别固定设置在所述标定板的多个角落处。

8.如权利要求7所述的内窥镜配准方法，其特征在于，所述第一安装件为分别形成在所述标定板的所述多个角落处的容置孔或夹具。

9.一种内窥镜配准装置，其特征在于，包括：处理器和连接所述处理器的存储器；其中所述存储器存储有被所述处理器执行的指令，且所述指令被所述处理器执行时实现如权利要求1至8中任意一项所述的内窥镜配准方法。

10.一种内窥镜标定系统，其特征在于，包括：如权利要求9所述的内窥镜配准装置以及棋盘格标定工具，所述棋盘格标定工具包括印有已知尺寸的棋盘格的标定板和多个在所述三维断层扫描影像中可识别的标识件，所述标定板上设有多个用于放置第一电磁传感器的第一安装件，所述棋盘格、所述标识件和所述第一安装件之间的相对位置已知。

Images