CN106780706B - 基于腹腔镜的图像显示方法及装置 - Google Patents

Abstract

本发明公开了一种基于腹腔镜的图像显示方法及装置，属于增强现实技术领域。该方法包括：获取第一镜头坐标、第一观察点坐标和第一方向坐标；将第一镜头坐标、第一观点坐标和第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标和第二方向坐标；基于第二镜头坐标、第二观察点坐标和第二方向坐标，将腹腔镜拍摄的图像与三维图像叠加显示。本发明通过将腹腔镜在第一坐标系中的镜头视角转换至第二坐标系中，以该镜头视角对三维重建模型渲染得到三维图像，并将腹腔镜拍摄的图像与三维图像叠加显示，由于三维图像可以反映人体全部的解剖结构，因此，叠加后的图像中，三维图像可以对未拍摄到范围进行补充，从而为医生手术提供全局图像指导。

Description

基于腹腔镜的图像显示方法及装置

技术领域

本发明涉及增强现实技术领域，特别涉及一种基于腹腔镜的图像显示方法及装置。

背景技术

随着医学技术的快速发展，越来越多的患者选择使用腹腔镜手术来代替开腹手术以完成治疗。腹腔镜手术是一种新型的微创手术，手术中，医生在患者腹部开2-4个直径为5-10mm的切口，腹腔镜以及手术器械等通过该切口经由套管伸入腹腔内，之后，腹腔镜在腹腔内拍摄图像，并将该图像发送至终端进行显示，医生根据终端显示的图像来操控手术器械，从而对病灶器官进行手术。与开腹手术相比，腹腔镜手术具有切口小、痛苦小、恢复快和疤痕小等优点。

相关技术中，腹腔镜的镜头为微型摄像头，且腹腔镜可以与终端进行通信。腹腔镜伸入腹腔后，镜头通过冷光源照明，对腹腔内部进行拍摄得到图像，并将该图像发送至终端，由终端直接进行显示。

在腹腔镜手术中，由于腹腔镜的镜头能够拍摄的范围有限，因此，得到的图像视野较小，往往只能反映局部情况，且由于在图像中难以衡量手术器械与病灶器官的相对深度，因此增加了手术的危险性。

发明内容

为了解决现有技术中腹腔镜拍摄的图像视野范围较小，且在图像中难以衡量手术器械与病灶器官的相对深度的问题，本发明实施例提供了一种基于腹腔镜的图像显示方法及装置。所述技术方案如下：

一方面，提供了一种基于腹腔镜的图像显示方法，所述方法包括：

获取第一镜头坐标、第一观察点坐标以及第一方向坐标，所述第一镜头坐标为腹腔镜镜头在第一坐标系中的坐标，所述第一观察点坐标为所述镜头的视线对准的人体位置在所述第一坐标系中的坐标，所述第一方向坐标为所述镜头的顶部所朝向的方向在所述第一坐标系中的坐标，所述第一坐标系是指以腹腔的切口为坐标原点所建立的三维坐标系；

分别将所述第一镜头坐标、所述第一观察点坐标、所述第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，所述第二坐标系是指基于医学影像建立的三维坐标系；

基于所述第二镜头坐标、所述第二观察点坐标和所述第二方向坐标，对三维重建模型进行渲染得到三维图像，并将所述腹腔镜当前在所述腹腔内拍摄得到的图像与所述三维图像叠加显示，所述三维重建模型为通过所述医学影像和体数据重建得到。

可选地，所述获取第一镜头坐标、第一观察点坐标以及第一方向坐标，包括：

通过所述腹腔镜上安装的传感器，获取所述腹腔镜的镜头相对于所述切口的轴向位移，以及所述腹腔镜的旋转角、俯仰角和偏航角；

基于所述轴向位移、所述俯仰角和所述偏航角，确定所述第一镜头坐标和所述第一观察点坐标；

基于所述旋转角、所述俯仰角和所述偏航角，确定所述第一方向坐标。

可选地，所述获取第一镜头坐标、第一观察点坐标以及第一方向坐标，包括：

通过所述腹腔镜上安装的传感器，获取所述腹腔镜的的旋转角、俯仰角和偏航角；

获取第三手柄坐标，所述第三手柄坐标为所述腹腔镜的手柄在第三坐标系中的坐标，所述第三坐标系是指以手术室摄像头为原点所建立的三维坐标系，所述手术室摄像头为手术室中固定的任一摄像头；

基于所述第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标，所述第一手柄坐标为所述腹腔镜的手柄在所述第一坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

基于所述俯仰角、所述偏航角、所述第一手柄坐标和所述腹腔镜的长度，确定所述第一镜头坐标；

基于所述第一镜头坐标、所述俯仰角和所述偏航角，确定所述第一观察点坐标，基于所述旋转角、所述俯仰角和所述偏航角，确定所述第一方向坐标。

可选地，所述分别将所述第一镜头坐标、所述第一观察点坐标、所述第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，包括：

基于所述第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标，所述第三镜头坐标为所述腹腔镜的镜头在第三坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

基于所述第三镜头坐标，通过第二过渡矩阵计算所述第二镜头坐标，所述第二过渡矩阵用于将所述第三坐标系中的坐标转换至所述第二坐标系中；

按照将所述第一镜头坐标转换到所述第二坐标系的方式，将所述第一观察点坐标转换到所述第二坐标系中得到第二观察点坐标，以及将所述第一方向坐标转换到所述第二坐标系中得到第二方向坐标。

可选地，所述基于所述第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标之前，还包括：

获取三个固定标记点在所述第一坐标系中的坐标、所述三个固定标记点在所述第三坐标系中的坐标，以及所述三个固定标记点在所述第二坐标系中的坐标，所述三个固定标记点为手术中不随着手术操作变化且相对于人体位置固定的标记点；

基于所述三个固定标记点在所述第一坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第一过渡矩阵；

基于所述三个固定标记点在所述第二坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第二过渡矩阵。

另一方面，提供了一种基于腹腔镜的图像显示装置，所述装置包括：

获取模块，用于获取第一镜头坐标、第一观察点坐标以及第一方向坐标，所述第一镜头坐标为腹腔镜的镜头在第一坐标系中的坐标，所述第一观察点坐标为所述镜头的视线对准的人体位置在所述第一坐标系中的坐标，所述第一方向坐标为所述镜头的顶部所朝向的方向在所述第一坐标系中的坐标，所述第一坐标系是指以腹腔的切口为坐标原点所建立的三维坐标系；

转换模块，用于分别将所述第一镜头坐标、所述第一观察点坐标、所述第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，所述第二坐标系是指基于医学影像建立的三维坐标系；

显示模块，用于基于所述第二镜头坐标、所述第二观察点坐标和所述第二方向坐标，对三维重建模型进行渲染得到三维图像，并将所述腹腔镜当前在所述腹腔内拍摄得到的图像与所述三维图像叠加显示，所述三维重建模型为通过所述医学影像和体数据重建得到。

可选地，所述获取模块包括：

第一获取子模块，用于通过所述腹腔镜上安装的传感器，获取所述腹腔镜的镜头相对于所述切口的轴向位移，以及所述腹腔镜的旋转角、俯仰角和偏航角；

第一确定子模块，用于基于所述轴向位移、所述俯仰角和所述偏航角，确定所述第一镜头坐标和所述第一观察点坐标；

第二确定子模块，用于基于所述旋转角、所述俯仰角和所述偏航角，确定所述第一方向坐标。

可选地，所述获取模块包括：

第二获取子模块，用于通过所述腹腔镜上安装的传感器，获取所述腹腔镜的的旋转角、俯仰角和偏航角；

第三获取子模块，用于获取第三手柄坐标，所述第三手柄坐标为所述腹腔镜的手柄在第三坐标系中的坐标，所述第三坐标系是指以手术室摄像头为原点所建立的三维坐标系，所述手术室摄像头为手术室中固定的任一摄像头；

第三确定子模块，用于基于所述第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标，所述第一手柄坐标为所述腹腔镜的手柄在所述第一坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

第四确定子模块，用于基于所述俯仰角、所述偏航角、所述第一手柄坐标和所述腹腔镜的长度，确定所述第一镜头坐标；

第五确定子模块，用于基于所述第一镜头坐标、所述俯仰角和所述偏航角，确定所述第一观察点坐标，基于所述旋转角、所述俯仰角和所述偏航角，确定所述第一方向坐标。

可选地，所述转换模块包括：

第一计算子模块，用于基于所述第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标，所述第三镜头坐标为所述腹腔镜的镜头在第三坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

第二计算子模块，用于基于所述第三镜头坐标，通过第二过渡矩阵计算所述第二镜头坐标，所述第二过渡矩阵用于将所述第三坐标系中的坐标转换至所述第二坐标系中；

所述第一计算子模块和第二计算子模块还用于：按照将所述第一镜头坐标转换到所述第二坐标系的方式，将所述第一观察点坐标转换到所述第二坐标系中得到第二观察点坐标，以及将所述第一方向坐标转换到所述第二坐标系中得到第二方向坐标。

可选地，所述转换模块还包括：

第四获取子模块，用于获取三个固定标记点在所述第一坐标系中的坐标、所述三个固定标记点在所述第三坐标系中的坐标，以及所述三个固定标记点在所述第二坐标系中的坐标，所述三个固定标记点为手术中不随着手术操作变化且相对于人体位置固定的标记点；

第六确定子模块，用于基于所述三个固定标记点在所述第一坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第一过渡矩阵；

第七确定子模块，用于基于所述三个固定标记点在所述第二坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第二过渡矩阵。

本发明实施例提供的技术方案带来的有益效果是：本发明实施例通过坐标转换的方法，将腹腔镜的第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中，也即是，将腹腔镜在第一坐标系中的镜头视角转换至三维重建模型的坐标系中，之后，根据该腹腔镜的镜头视角，将腹腔镜当前在腹腔内拍摄得到的图像与三维重建模型进行叠加显示，从而可以保证腹腔镜当前在腹腔内拍摄得到的图像中的人体部位与三维重建模型中的人体部位在叠加后的图像中显示在同样的位置，达到增强显示的效果。并且，由于三维重建模型是根据医学影像建立的，因此，三维重建模型可以反映人体全部的解剖结构，对于腹腔镜无法拍摄到的范围，在叠加后显示的图像中，三维重建模型可以对未拍摄到范围进行补充，从而为医生手术提供全局图像指导。另外，由于三维重建模型可以立体的展示人体解剖结构，因此，可以帮助医生更好的判断手术器械与病灶器官之间的相对深度，从而降低了手术的难度和危险性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本发明实施例提供的一种基于腹腔镜的图像显示方法流程图；

图1B是本发明实施例提供的腹腔镜的初始状态的示意图；

图1C是本发明实施例提供的腹腔镜的4个自由度的示意图；

图1D是本发明实施例提供的第一镜头坐标确定原理图；

图2A是本发明实施例提供的一种基于腹腔镜的图像显示装置框图；

图2B是本发明实施例提供的一种获取模块的框图；

图2C是本发明实施例提供的一种获取模块的框图；

图2D是本发明实施例提供的一种转换模块的框图；

图2E是本发明实施例提供的一种转换模块的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在对本发明实施例进行详细的解释说明之前，先对本发明实施例的应用场景予以介绍。在腹腔镜手术中，医生需要根据腹腔镜拍摄并传回的图像来操纵手术器械，进行手术。腹腔镜在腹腔内拍摄得到图像后，即将该图像发送至终端，终端在接收到该图像之后则直接进行显示。

相关技术中，一方面，由于腹腔镜的镜头能够拍摄的范围有限，因此得到的图像的视野也较小，往往只能反映局部情况，而医生在手术中，经常需要全局图像的指导，此时，腹腔镜拍摄到的局部图像就很难满足手术需要。另一方面，当终端对腹腔镜拍摄到的图像进行显示时，在该图像中很难衡量手术器械和病灶器官的相对深度，因此，医生根据该图像判断手术器械伸入组织器官内的深度时比较困难，间接的增加了手术的难度和危险性。

为了解决上述问题，本发明实施例提供了一种基于腹腔镜的图像显示方法及装置。在该方法中，终端可以根据术前检测的医学影像和体数据，得到人体的三维重建模型，之后，终端可以通过坐标转换的方法，将腹腔镜的第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中，也即是，将腹腔镜在第一坐标系中的镜头视角转换至三维重建模型的坐标系中，之后，根据该腹腔镜的镜头视角，对三维重建模型进行渲染得到三维图像，并将腹腔镜当前在腹腔内拍摄得到的图像与三维图像进行叠加显示，从而可以保证腹腔镜当前在腹腔内拍摄得到的图像中的人体部位与三维图像中的人体部位在叠加后的图像中显示在同样的位置，达到增强显示的效果。并且，由于三维图像是根据医学影像建立的，因此，三维图像可以反映人体全部的解剖结构，对于腹腔镜无法拍摄到的范围，在叠加后的图像中，三维图像可以对未拍摄到的范围进行补充，从而为医生手术提供全局图像指导。另外，由于三维图像可以立体的展示人体解剖结构，因此，可以帮助医生更好的判断手术器械与病灶器官之间的相对深度，从而降低了手术的难度和危险性。

本发明实施例提供了一种基于腹腔镜的图像显示方法，参见图1A，该方法用于终端中，包括以下步骤：

步骤101：获取第一镜头坐标、第一观察点坐标以及第一方向坐标，第一镜头坐标为腹腔镜镜头在第一坐标系中的坐标，第一观察点坐标为镜头的视线对准的人体位置在第一坐标系中的坐标，第一方向坐标为镜头的顶部所朝向的方向在第一坐标系中的坐标，第一坐标系是指以腹腔的切口为坐标原点所建立的三维坐标系。

在腹腔镜手术中，医生会在患者的腹部开直径为5-10mm的切口，以使腹腔镜可以经由套管穿过切口伸入腹腔中。示例的，以该切口为原点建立第一坐标系，可以将平行于患者身高且由患者的脚部指向患者头部的方向确定为第一坐标系的z轴正方向，将平行与患者的背部且与z轴垂直的患者左手方向确定为第一坐标系的x轴正方向，将垂直于患者背部并指向患者背部的方向确定为第一坐标系的y轴正方向。

另外，由于第一镜头坐标反映了腹腔镜的镜头在第一坐标系中的位置，第一观察点坐标反映了腹腔镜的镜头当前观察的点的位置，第一方向坐标反映了腹腔镜的镜头朝向的方向，因此将第一镜头坐标、第一观察点坐标和第一方向坐标结合起来，就可以反映腹腔镜当前在第一坐标系中的镜头视角。而终端只有在确定了腹腔镜当前在第一坐标系中的镜头视角，才能通过坐标转换，将三维重建模型以同样的镜头视角进行渲染得到三维图像，从而确保相同的人体器官在叠加后的图像中显示在同样的位置上。

基于以上描述，终端要想确定腹腔镜当前在第一坐标系中的镜头视角，首先需要获取第一镜头坐标、第一观察点坐标以及第一方向坐标。其中，获取第一镜头坐标、第一观察点坐标和第一方向坐标的实现方式可以有以下两种。

第一种实现方式：终端可以通过腹腔镜上安装的传感器，获取腹腔镜的镜头相对于切口的轴向位移，以及腹腔镜的旋转角、俯仰角和偏航角；基于轴向位移、俯仰角和偏航角，确定第一镜头坐标和第一观察点坐标；基于旋转角、俯仰角和偏航角，确定第一方向坐标。

通常，在腹腔镜上可以安装有运动追踪系统，该运动追踪系统可以整合一系列传感器，如加速度计、陀螺仪和磁力计等。腹腔镜可以通过安装的传感器，测得腹腔镜的镜头的4个自由度信息，即轴向位移、旋转角、俯仰角和偏航角，之后，腹腔镜可以将测得的轴向位移、旋转角、俯仰角和偏航角发送至终端。终端在接收到轴向位移、旋转角、俯仰角和偏航角之后，根据轴向位移、俯仰角和偏航角，确定第一镜头坐标和第一观察点坐标，并根据旋转角、俯仰角和偏航角，确定第一方向坐标。

图1B是本发明实施例提供的一种腹腔镜的初始状态的示意图，如图1B所示，将腹腔镜的镜头与切口(第一坐标系的原点)重合、腹腔镜与第一坐标系的x轴重合、与第一坐标系的z轴垂直、腹腔镜的镜头顶部所朝向的方向为y轴负方向时设置为腹腔镜的初始状态。图1C是本发明实施例提供的腹腔镜的4个自由度的示意图，当腹腔镜从切口伸入或抽出时，腹腔镜的镜头相对于切口即会产生轴向位移，该轴向位移即为腹腔镜的镜头与切口之间的距离，当腹腔镜本身发生旋转时，则会产生旋转角，如果假设腹腔镜的镜头顶部朝向y轴负方向时拍摄得到的图像是正立的图像时，那么当旋转角为180度时，拍摄得到的图像将是倒立的。当腹腔镜绕着第一坐标系的x轴左右摆动时，则会形成偏航角，当腹腔镜绕着第一坐标系的z轴旋转时，则会形成俯仰角。

由上述对轴向位移、旋转角、俯仰角和偏航角的解释可知，通过轴向位移、俯仰角和偏航角，就可以确定出腹腔镜的镜头当前在第一坐标系中的位置，即第一镜头坐标。如图1D所示，F为轴向位移，F_xy为F在x-y平面上的投影，其中，F与x-y平面的夹角即为俯仰角θ，F_xy与x轴的夹角即为偏航角β，根据上述关系即可得到，第一镜头坐标为(F_xy*cosβ，F_xy*sinβ，F*sinθ)，由图1D中的几何关系还可知，F_xy＝F*cosθ，第一镜头坐标即为(F*cosβ*cosθ，F*cosθ*sinβ，F*sinθ)。当终端获取到轴向位移F、俯仰角θ和偏航角β之后，即可通过上述关系确定第一镜头坐标。

另外，当终端获取到轴向位移、俯仰角和偏航角后，就可以确定腹腔镜的镜头当前观察的点在第一坐标系中的位置，即第一观察点坐标。其中，当腹腔镜的镜头对准某个方向时，腹腔镜的镜头发出的光线与人体接触的点即为腹腔镜的镜头当前观察的点。由于光线在照射到人体时，会发生反射，因此，腹腔镜上可以安装有通过光线测距的传感器，从而测量得到腹腔镜的镜头和观察点之间的距离，此时，该距离与腹腔镜的镜头的轴向位移之和为该观察点与切口之间的距离，由于观察点位置、镜头的位置和切口三点位于同一条直线，因此，终端即可以通过该观察点与切口之间的距离、俯仰角和偏航角，通过上述确定第一镜头坐标时的几何关系，确定第一观察点坐标。即，假设腹腔镜的镜头和观察点之间的距离为M，通过上述确定第一镜头坐标时的几何关系，可以确定得到第一观察点坐标为((F+M)*cosβ*cosθ，(F+M)*cosθ*sinβ，(F+M)*sinθ)。

再者，通过旋转角、俯仰角和偏航角，终端就可以确定出腹腔镜的镜头顶部当前朝向的方向，也即是第一方向坐标。其中，将腹腔镜的镜头当前朝向的方向分解为通过三个操作得到，首先将腹腔镜的镜头绕着z轴旋转得到俯仰角θ，之后，将腹腔镜的镜头在平行于x-z的平面中绕着y轴旋转得到偏航角β，最后，将腹腔镜的镜头绕着腹腔镜的轴向旋转得到旋转角α，最终得到的第一方向坐标即为(cosβ*cosθ，cosθ*sinβ*cosα，sinθ)。

在上述实现方式中，由于轴向位移、旋转角、俯仰角和偏航角均可以通过腹腔镜上安装的传感器很容易的测得，因此，通过上述方式确定第一镜头坐标、第一观察点坐标和第一方向坐标，操作方便，进而节省了运算的时间。

但是，由于在该种实现方式中，确定第一镜头坐标时需要测量轴向位移。而在腹腔镜手术中，为了使腹膜壁与器官分开，扩大腹腔空间，在手术前，首先要通过向腹腔内充气建立人工气腹。由于人工气腹的存在，切口的位置会发生一定的移动，此时，在以切口为原点的第一坐标系中，即便腹腔镜没有发生任何移动，由于切口位置的移动，切口相对于腹腔镜的镜头的长度发生了变化，也即是，腹腔镜的第一镜头坐标会发生变化，而此时，由于腹腔镜并没有移动，通过传感器测量得到的轴向位移就不会发生变化，在这种情况下，根据轴向位移、俯仰角和偏航角确定得到的第一镜头坐标将和实际中的第一镜头坐标将存在一定的误差。

为了避免了上述第一种实现方式中所出现的问题，从而更好的保证确定的第一镜头坐标的准确性，终端可以通过以下的第二种实现方式来确定第一镜头坐标、第一观察点坐标和第一方向坐标。

第二种实现方式：终端可以通过腹腔镜上安装的传感器，获取腹腔镜的镜头的旋转角、俯仰角和偏航角；获取第三手柄坐标，第三手柄坐标为腹腔镜的手柄在第三坐标系中的坐标，第三坐标系是指以手术室摄像头为原点所建立的三维坐标系，手术室摄像头为手术室中固定的任一摄像头；基于第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标，第一手柄坐标为腹腔镜的手柄在第一坐标系中的坐标，第一过渡矩阵用于将第一坐标系中的坐标转换至第三坐标系中；基于俯仰角、偏航角、第一手柄坐标和腹腔镜的长度，确定第一镜头坐标；基于第一镜头坐标、俯仰角和偏航角，确定第一观察点坐标；基于旋转角、俯仰角和偏航角，确定第一方向坐标。

其中，以手术室中固定的任一摄像头为原点，建立第三坐标系。终端首先可以通过腹腔镜上安装的传感器，如陀螺仪、磁力计等，获取腹腔镜的镜头的旋转角、俯仰角和偏航角；之后，终端可以通过外接的诸如双目摄像头之类的能够进行标记点定位的设备，获取第三手柄坐标，由于第三手柄坐标通过第一手柄坐标与第一过渡矩阵相乘得到，因此当获取到第三手柄坐标之后，可以首先计算第一过渡矩阵的逆矩阵，并将第三手柄坐标与第一过渡矩阵的逆矩阵相乘得到第一手柄坐标。当终端将第三手柄坐标通过第一过渡矩的逆矩阵转换至第一坐标系，得到第一手柄坐标之后，终端可以计算第一手柄坐标与第一坐标系的原点之间的距离，该距离即为腹腔镜的手柄相对于切口的长度；由于腹腔镜的长度是确定的，而腹腔镜的手柄和腹腔镜的镜头位于腹腔镜的两端，因此，当确定腹腔镜的手柄相对于切口的长度之后，将腹腔镜的长度减去手柄相对于切口的长度，得到的差值即为腹腔镜的镜头相对于切口的长度；当确定腹腔镜的镜头相对于切口的长度后，再结合测得的俯仰角和偏航角，就可以确定出腹腔镜的镜头在空间中的位置坐标，也即是第一镜头坐标。此时，将第一镜头坐标结合俯仰角和偏航角，就能确定腹腔镜的镜头当前观察的点的位置坐标，即第一观察点坐标；根据旋转角、俯仰角和偏航角即可以确定第一方向坐标。

其中，通过腹腔镜的镜头相对于切口的长度，以及测得的俯仰角和偏航角确定第一镜头坐标的方法与上述第一种实现方式确定第一镜头坐标的方法相同，将第一镜头坐标结合俯仰角和偏航角确定第一观察点坐标与上述第一种实现方式中确定第一观察点坐标的方法相同，以及根据旋转角、俯仰角和偏航角确定第一方向坐标的方法也与上述第一种实现方式中确定第一方向坐标的方法相同，本发明实施例对此不做详细阐述。

需要说明的是，由于第三手柄坐标需要通过第一过渡矩阵转换至第一坐标系中，因此，在转换之前，终端可以获取三个固定标记点在第一坐标系中的坐标以及该三个固定标记点在第三坐标系中的坐标，之后，基于三个固定标记点在第一坐标系中的坐标和三个固定标记点在第三坐标系中的坐标，确定第一过渡矩阵。

其中，终端可以通过前述的双目摄像头等能够进行标记点定位的设备获取三个固定标记点在第一坐标系和第三坐标系中的坐标。之后，终端可以基于该三个固定标记点在第一坐标系和第三坐标系中的坐标，以及包含有第一过渡矩阵的参数的线性方程组，计算第一过渡矩阵中各个参数。

由于第一坐标系和第三坐标系均为三维坐标系，因此，假设一个固定标记点B在第一坐标系中的坐标为(X₁,Y₁,Z₁)，在第三坐标系中的坐标为(X₃,Y₃,Z₃)，则可以基于该固定标记点B在第一坐标系和第三坐标系中的坐标，得到以下包含有第一过渡矩阵的参数的三个线性方程：

X₃＝C₀₀X₁+C₀₁Y₁+C₀₂Z₁

Y₃＝C₁₀X₁+C₁₁Y₁+C₁₂Z₁

Z₃＝C₂₀X₁+C₂₁Y₁+C₂₂Z₁

从以上三个线性方程可知，第一过渡矩阵为一个3×3的矩阵，共有九个参数，也即是需要九个线性方程才能确定得到，而一个固定标记点能得到三个线性方程，因此，可以通过上述三个固定标记点在第一坐标系和第三坐标系中的坐标，确定第一过渡矩阵中的各个参数。

另外，该固定标记点不仅可以用于确定第一过渡矩阵，而且还可以用于确定后续步骤中的第二过渡矩阵，因此，选取的固定标记点应当能够保证该标记点在第一坐标系、第二坐标系和第三坐标系中的位置不会随着手术操作或其他因素而发生变化。例如，该固定标记点可以为手术中位置不会发生变化的某些人体部位，如剑突、胸骨上窝等。这样，通过该固定标记点确定的第一过渡矩阵和第二过渡矩阵才能将第一坐标系、第二坐标系和第三坐标系中的坐标进行准确的转换。

在第二种实现方式中，终端在确定第一镜头坐标、第一观察点坐标和第一方向坐标时，不需要测量腹腔镜的镜头相对于切口的轴向位移，只根据第三坐标系中第三手柄坐标计算第一手柄坐标，之后基于该第一手柄坐标和手柄相对于切口的长度，来确定第一镜头坐标，避免了第一种实现方式中所出现的问题，可以更好的保证确定的第一镜头坐标的准确性。

步骤102：分别将第一镜头坐标、第一观察点坐标、第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，第二坐标系是指基于医学影像建立的三维坐标系。

具体的，将第一镜头坐标转换到第二坐标系中得到第二镜头坐标，将第一观察点坐标转换到第二坐标系中得到第二观察点坐标，将第一方向坐标转换到第二坐标系中得到第二方向坐标，其中，第二坐标系是指基于医学影像建立的三维坐标系，医学影像为通过医学影像设备对所述人体进行扫描得到。

由于第二坐标系是通过医学影像建立的三维坐标系，因此，可以将医学影像内平行于人体身高且由脚部指向头部的方向确定为第二坐标系的z轴正方向，将垂直于医学影像平面且指向人体背部的方向确定为第二坐标系的y轴正方向，将平行于医学影像且垂直于z轴的医学影像内人体的左手方向确定为第二坐标系的x轴的正方向。

当终端获取到第一镜头坐标、第一观察点坐标和第一方向坐标后，也就相当于获取到了腹腔镜当前在第一坐标系中的镜头视角。此时，终端只需将该第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中，之后终端就可以根据步骤103对基于腹腔镜的图像进行显示。

其中，终端将第一镜头坐标转换到第二坐标系中时，首先可以基于第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标，第三镜头坐标为腹腔镜的镜头在第三坐标系中的坐标，第一过渡矩阵用于将第一坐标系中的坐标转换至第三坐标系中；之后，终端可以基于计算得到的第三镜头坐标，通过第二过渡矩阵计算第二镜头坐标，第二过渡矩阵用于将第三坐标系中的坐标转换至第二坐标系中。

同理，当终端将第一观察点坐标转换到第二坐标系中时，首先可以基于第一观察点坐标，通过第一过渡矩阵计算第三观察点坐标，第三观察点坐标为镜头的视线对准的人体位置在第三坐标系中的坐标，之后，终端可以基于计算得到的第三观察点坐标，通过第二过渡矩阵计算第二观察点坐标。

同理，当终端将第一方向坐标转换至第二坐标系中时，首先可以基于第一方向坐标，通过第一过渡矩阵计算第三方向坐标，第三方向坐标是镜头的顶部所朝向的方向在第三坐标系中的坐标，之后，终端可以基于计算得到的第三方向坐标，通过第二过渡矩阵计算第二方向坐标。

例如，假设第一镜头坐标为V₁＝(x₁,y₁,z₁)，第一过渡矩阵为C₁₃，第二过渡矩阵为C₂₃，则第三镜头坐标为V₃＝C₁₃×V₁，之后，通过第二过渡矩阵，将第三镜头坐标转换到第二坐标系中得到的第二镜头坐标即为V₂＝C₂₃×V₃＝C₂₃×C₁₃×V₁。

需要说明的是，由于终端需要通过第一过渡矩阵和第二过渡矩阵将第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中，因此，在转换之前，终端首先需要确定第一过渡矩阵和第二过渡矩阵。其中，由于在步骤101中，终端将第三手柄坐标转换至第一坐标系中之前，需要计算第一过渡矩阵，因此，终端可以在基于第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标的操作之前，即同时计算得到第一过渡矩阵和第二过渡矩阵，当然，终端也可以在基于第三镜头坐标，通过第二过渡矩阵计算第二镜头坐标之前，再确定第二过渡矩阵。

其中，终端可以获取三个固定标记点在第二坐标系中的坐标以及三个固定标记点在第三坐标系中的坐标，之后，基于三个固定标记点在第二坐标系中的坐标和三个固定标记点在第三坐标系中的坐标，确定第二过渡矩阵，且确定第二过渡矩阵的方法与上述确定第一过渡矩阵的方法相同，本发明实施例不再赘述。

需要说明的是，终端可以基于医学影像和扫描得到的体数据得到三维重建模型，并通过对三维重建模型进行渲染，展现人体所有细节，从而显示固定标记点，之后终端可以通过调整传递函数，获取三个固定标记点在第二坐标系中的坐标。

步骤103：基于第二镜头坐标、第二观察点坐标和第二方向坐标，对三维重建模型进行渲染得到三维图像，并将腹腔镜当前在腹腔内拍摄得到的图像与三维图像进行叠加显示，三维重建模型为通过医学影像和体数据重建得到，体数据为通过医学影像设备对所述人体进行扫描得到。

当终端将第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中之后，终端可以基于转换后得到的第二镜头坐标、第二观察点坐标和第二方向坐标，将拍摄得到的图像与三维图像以腹腔镜当前的镜头视角进行叠加显示。

其中，腹腔镜可以将拍摄得到的图像发送至终端，如果拍摄得到的图像为模拟信号，终端则可以将该模拟信号转换为数字信号。与此同时，终端可以将转换得到的第二镜头坐标、第二观察点坐标和第二方向坐标输入OpenGL(Open Graphics Library，开源图形库)的渲染矩阵中，终端根据该渲染矩阵对三维重建模型进行渲染，得到当前镜头视角下的三维图像。之后，终端可以将该三维图像和拍摄得到的图像以合适的透明度进行叠加融合，从而在终端的屏幕上进行显示。

由于三维重建模型能够清楚立体的展现人体细节，包括表面细节、器官内部细节等，因此，根据该三维重建模型渲染得到的三维图像也可以清楚立体的展现人体细节，将该三维图像与拍摄得到的图像以合适的透明度进行混合后，可以更加清晰的显示病灶器官的表面和内部情况，增强了显示效果。

另外，终端还可以在重建该三维重建模型时，根据医生的手术规划，对手术中的重要位置进行标记，在显示时，终端可以在叠加后的图像中显示该标记，并根据该标记准确的确定其在当前手术中的位置，从而很好的实现当前手术位置与术前规划位置的无缝匹配。

在本发明实施例中，终端可以根据术前检测的医学影像和体数据，得到人体的三维重建模型，之后，终端可以通过坐标转换的方法，将腹腔镜的第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中，也即是，将腹腔镜在第一坐标系中的镜头视角转换至三维重建模型的坐标系中，这样，终端就可以基于该镜头视角对三维重建模型进行渲染，得到三维图像，并将腹腔镜当前在腹腔内拍摄得到的图像与三维图像以该镜头视角进行叠加显示。由于三维图像显示的视角和拍摄得到的图像显示的视角均为腹腔镜当前的镜头视角，因此，叠加后显示的图像中，拍摄得到的图像中的人体部位与三维图像中的人体部位将显示在同样的位置，达到了增强显示的效果。而且，由于三维重建模型可以清楚的反映人体全部的解剖结构，因此，对于腹腔镜无法拍摄到的部位，在叠加后的图像中，基于三维重建模型得到的三维图像可以对未拍摄到的部位进行补充，从而为医生手术提供全局图像指导。另外，由于三维重建模型能够清楚立体的展现体细节，因此，可以帮助医生更好的判断手术器械与病灶器官之间的相对深度，从而降低了手术的难度和危险性。

本发明实施例提供了一种基于腹腔镜的图像显示装置200，参见图2A，该装置包括：

获取模块201，用于获取第一镜头坐标、第一观察点坐标以及第一方向坐标，第一镜头坐标为腹腔镜的镜头在第一坐标系中的坐标，第一观察点坐标为镜头的视线对准的人体位置在第一坐标系中的坐标，第一方向坐标为镜头的顶部所朝向的方向在第一坐标系中的坐标，第一坐标系是指以腹腔的切口为坐标原点所建立的三维坐标系；

转换模块202，用于分别将第一镜头坐标、第一观察点坐标、第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，第二坐标系是指基于医学影像建立的三维坐标系。

显示模块203，用于基于第二镜头坐标、第二观察点坐标和第二方向坐标，对三维重建模型进行渲染得到三维图像，并将腹腔镜当前在腹腔内拍摄得到的图像与三维图像进行叠加显示，三维重建模型为通过医学影像和体数据重建得到，体数据为通过医学影像设备对人体进行扫描得到。

具体的，转换模块202，具体用于将第一镜头坐标转换到第二坐标系中得到第二镜头坐标，将第一观察点坐标转换到第二坐标系中得到第二观察点坐标，将第一方向坐标转换到第二坐标系中得到第二方向坐标，其中，第二坐标系是指基于医学影像建立的三维坐标系，医学影像为通过医学影像设备对人体进行扫描得到。

可选地，参见图2B，获取模块201包括：

第一获取子模块2011，用于通过腹腔镜上安装的传感器，获取腹腔镜的镜头相对于切口的轴向位移，以及腹腔镜的旋转角、俯仰角和偏航角；

第一确定子模块2012，用于基于轴向位移、俯仰角和偏航角，确定第一镜头坐标和第一观察点坐标；

第二确定子模块2013，用于基于旋转角、俯仰角和偏航角，确定第一方向坐标。

可选地，参见图2C，获取模块201包括：

第二获取子模块2014，用于通过腹腔镜上安装的传感器，获取腹腔镜的的旋转角、俯仰角和偏航角；

第三获取子模块2015，用于获取第三手柄坐标，第三手柄坐标为腹腔镜的手柄在第三坐标系中的坐标，第三坐标系是指以手术室摄像头为原点所建立的三维坐标系，手术室摄像头为手术室中固定的任一摄像头；

第三确定子模块2016，用于基于第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标，第一手柄坐标为腹腔镜的手柄在第一坐标系中的坐标，第一过渡矩阵用于将第一坐标系中的坐标转换至第三坐标系中；

第四确定子模块2017，用于基于俯仰角、偏航角、第一手柄坐标和腹腔镜的长度，确定第一镜头坐标；

第五确定子模块2018，用于基于第一镜头坐标、俯仰角和偏航角，确定第一观察点坐标，基于旋转角、俯仰角和偏航角，确定第一方向坐标。

可选地，参见图2D，转换模块202包括：

第一计算子模块2021，用于基于第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标，第三镜头坐标为腹腔镜的镜头在第三坐标系中的坐标，第一过渡矩阵用于将第一坐标系中的坐标转换至第三坐标系中；

第二计算子模块2022，用于基于第三镜头坐标，通过第二过渡矩阵计算第二镜头坐标，第二过渡矩阵用于将第三坐标系中的坐标转换至第二坐标系中；

第一计算子模块2021和第二计算子模块2022还用于：按照将第一镜头坐标转换到第二坐标系的方式，将第一观察点坐标转换到第二坐标系中得到第二观察点坐标，以及将第一方向坐标转换到第二坐标系中得到第二方向坐标。

可选地，参见图2E，转换模块202还包括：

第四获取子模块2023，用于获取三个固定标记点在第一坐标系中的坐标、三个固定标记点在第三坐标系中的坐标，以及三个固定标记点在第二坐标系中的坐标，三个固定标记点为手术中不随着手术操作变化且相对于人体位置固定的标记点；

第六确定子模块2024，用于基于三个固定标记点在第一坐标系中的坐标和三个固定标记点在第三坐标系中的坐标，确定第一过渡矩阵；

第七确定子模块2025，用于基于三个固定标记点在第二坐标系中的坐标和三个固定标记点在第三坐标系中的坐标，确定第二过渡矩阵。

在本发明实施例中，终端可以根据术前检测的医学影像和体数据，得到人体的三维重建模型，之后，终端可以通过坐标转换的方法，将腹腔镜的第一镜头坐标、第一观察点坐标和第一方向坐标转换至第二坐标系中，也即是，将腹腔镜在第一坐标系中的镜头视角转换至三维重建模型的坐标系中，这样，终端就可以基于该镜头视角对三维重建模型进行渲染，得到三维图像，并将腹腔镜当前在腹腔内拍摄得到的图像与三维图像以该镜头视角进行叠加显示。由于三维图像显示的视角和拍摄得到的图像显示的视角均为腹腔镜当前的镜头视角，因此，叠加后显示的图像中，拍摄得到的图像中的人体部位与三维图像中的人体部位将显示在同样的位置，达到了增强显示的效果。而且，由于三维重建模型可以清楚的反映人体全部的解剖结构，因此，对于腹腔镜无法拍摄到的部位，在叠加后的图像中，基于三维重建模型得到的三维图像可以对未拍摄到的部位进行补充，从而为医生手术提供全局图像指导。另外，由于三维重建模型能够清楚立体的展现体细节，因此，可以帮助医生更好的判断手术器械与病灶器官之间的相对深度，从而降低了手术的难度和危险性。

需要说明的是：上述实施例提供的基于腹腔镜的图像显示装置在显示基于腹腔镜的图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于腹腔镜的图像显示装置与基于腹腔镜的图像显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于腹腔镜的图像显示方法，其特征在于，包括：

通过腹腔镜上安装的传感器，获取所述腹腔镜的旋转角、俯仰角和偏航角；

获取第三手柄坐标，所述第三手柄坐标为所述腹腔镜的手柄在第三坐标系中的坐标，所述第三坐标系是指以手术室摄像头为原点所建立的三维坐标系，所述手术室摄像头为手术室中固定的任一摄像头；

基于所述第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标，所述第一手柄坐标为所述腹腔镜的手柄在第一坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中，所述第一坐标系是指以腹腔的切口为坐标原点所建立的三维坐标系；

基于所述俯仰角、所述偏航角、所述第一手柄坐标和所述腹腔镜的长度，确定第一镜头坐标，所述第一镜头坐标为腹腔镜镜头在第一坐标系中的坐标；

基于所述第一镜头坐标、所述俯仰角和所述偏航角，确定第一观察点坐标，基于所述旋转角、所述俯仰角和所述偏航角，确定第一方向坐标，所述第一观察点坐标为所述镜头的视线对准的人体位置在所述第一坐标系中的坐标，所述第一方向坐标为所述镜头的顶部所朝向的方向在所述第一坐标系中的坐标；

分别将所述第一镜头坐标、所述第一观察点坐标、所述第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，所述第二坐标系是指基于医学影像建立的三维坐标系；

基于所述第二镜头坐标、所述第二观察点坐标和所述第二方向坐标，对三维重建模型进行渲染得到三维图像，并将所述腹腔镜当前在所述腹腔内拍摄得到的图像与所述三维图像叠加显示，所述三维重建模型为通过所述医学影像和体数据重建得到。

2.如权利要求1所述的方法，其特征在于，所述分别将所述第一镜头坐标、所述第一观察点坐标、所述第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，包括：

基于所述第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标，所述第三镜头坐标为所述腹腔镜的镜头在第三坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

基于所述第三镜头坐标，通过第二过渡矩阵计算所述第二镜头坐标，所述第二过渡矩阵用于将所述第三坐标系中的坐标转换至所述第二坐标系中；

按照将所述第一镜头坐标转换到所述第二坐标系的方式，将所述第一观察点坐标转换到所述第二坐标系中得到第二观察点坐标，以及将所述第一方向坐标转换到所述第二坐标系中得到第二方向坐标。

3.如权利要求2所述的方法，其特征在于，所述基于所述第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标之前，还包括：

获取三个固定标记点在所述第一坐标系中的坐标、所述三个固定标记点在所述第三坐标系中的坐标，以及所述三个固定标记点在所述第二坐标系中的坐标，所述三个固定标记点为手术中不随着手术操作变化且相对于人体位置固定的标记点；

基于所述三个固定标记点在所述第一坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第一过渡矩阵；

基于所述三个固定标记点在所述第二坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第二过渡矩阵。

4.一种基于腹腔镜的图像显示装置，其特征在于，所述装置包括：

获取模块，用于获取第一镜头坐标、第一观察点坐标以及第一方向坐标，所述第一镜头坐标为腹腔镜镜头在第一坐标系中的坐标，所述第一观察点坐标为所述镜头的视线对准的人体位置在所述第一坐标系中的坐标，所述第一方向坐标为所述镜头的顶部所朝向的方向在所述第一坐标系中的坐标，所述第一坐标系是指以腹腔的切口为坐标原点所建立的三维坐标系；

转换模块，用于分别将所述第一镜头坐标、所述第一观察点坐标、所述第一方向坐标转换到第二坐标系中得到第二镜头坐标、第二观察点坐标、第二方向坐标，所述第二坐标系是指基于医学影像建立的三维坐标系；

显示模块，用于基于所述第二镜头坐标、所述第二观察点坐标和所述第二方向坐标，对三维重建模型进行渲染得到三维图像，并将所述腹腔镜当前在所述腹腔内拍摄得到的图像与所述三维图像叠加显示，所述三维重建模型为通过所述医学影像和体数据重建得到；

其中，所述获取模块包括：

第二获取子模块，用于通过所述腹腔镜上安装的传感器，获取所述腹腔镜的旋转角、俯仰角和偏航角；

第三获取子模块，用于获取第三手柄坐标，所述第三手柄坐标为所述腹腔镜的手柄在第三坐标系中的坐标，所述第三坐标系是指以手术室摄像头为原点所建立的三维坐标系，所述手术室摄像头为手术室中固定的任一摄像头；

第三确定子模块，用于基于所述第三手柄坐标，通过第一过渡矩阵的逆矩阵，确定第一手柄坐标，所述第一手柄坐标为所述腹腔镜的手柄在所述第一坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

第四确定子模块，用于基于所述俯仰角、所述偏航角、所述第一手柄坐标和所述腹腔镜的长度，确定所述第一镜头坐标；

第五确定子模块，用于基于所述第一镜头坐标、所述俯仰角和所述偏航角，确定所述第一观察点坐标，基于所述旋转角、所述俯仰角和所述偏航角，确定所述第一方向坐标。

5.如权利要求4所述的装置，其特征在于，所述转换模块包括：

第一计算子模块，用于基于所述第一镜头坐标，通过第一过渡矩阵计算第三镜头坐标，所述第三镜头坐标为所述腹腔镜的镜头在第三坐标系中的坐标，所述第一过渡矩阵用于将所述第一坐标系中的坐标转换至所述第三坐标系中；

第二计算子模块，用于基于所述第三镜头坐标，通过第二过渡矩阵计算所述第二镜头坐标，所述第二过渡矩阵用于将所述第三坐标系中的坐标转换至所述第二坐标系中；

所述第一计算子模块和第二计算子模块还用于：按照将所述第一镜头坐标转换到所述第二坐标系的方式，将所述第一观察点坐标转换到所述第二坐标系中得到第二观察点坐标，以及将所述第一方向坐标转换到所述第二坐标系中得到第二方向坐标。

6.如权利要求5所述的装置，其特征在于，所述转换模块还包括：

第四获取子模块，用于获取三个固定标记点在所述第一坐标系中的坐标、所述三个固定标记点在所述第三坐标系中的坐标，以及所述三个固定标记点在所述第二坐标系中的坐标，所述三个固定标记点为手术中不随着手术操作变化且相对于人体位置固定的标记点；

第六确定子模块，用于基于所述三个固定标记点在所述第一坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第一过渡矩阵；

第七确定子模块，用于基于所述三个固定标记点在所述第二坐标系中的坐标和所述三个固定标记点在所述第三坐标系中的坐标，确定所述第二过渡矩阵。