CN104203142A - 手术辅助装置以及手术辅助程序 - Google Patents

Abstract

手术辅助系统(100)的个人计算机(1)在由体绘制运算部(13)生成的三维图像中，将表示手术器具(33)的前端的图像(手术器具图像(33a))和从手术器具前端至切削部位为止的距离进行合成后显示的同时，进行手术中的导航。

Description

手术辅助装置以及手术辅助程序

技术领域

本发明涉及进行手术中的导航的手术辅助装置以及手术辅助程序。

背景技术

在医疗现场，为了进行更适当的手术，有效利用能够进行手术模拟的手术辅助装置。

现有的手术辅助装置例如具备：断层图像信息获取部，其获取X射线CT图像和核磁共振图像(MRI图像)、通过PET(正电子发射断层法)得到的图像等断层图像信息；存储器，其与断层图像信息获取部相连接；体绘制运算部，其与存储器相连接；显示器，其显示体绘制运算部的运算结果；以及输入部，其对显示器显示的显示对象物进行切削指示。

例如，在专利文献1中，公开了以下的手术辅助装置：通过将实际使用的内窥镜的三维位置的坐标与使用断层图像生成的三维体图像数据的坐标相综合，并与内窥镜的影像重叠显示，从而能够根据内窥镜和手术器具的变化实时地在内窥镜图像上重叠显示该位置处的手术对象区域的图像。

在先技术文献

专利文献

专利文献1：JP专利第4152402号公报(2008年7月11日登记)

发明内容

但是，在上述现有的手术辅助装置中，具有以下的问题。

即，在上述公报中公开的手术辅助装置中，由于能够实时地在内窥镜图像上重叠显示该位置处的手术对象区域的图像，所以能够计算出手术器具前端与特定区域之间的距离。但是，在此公开的只是与不和手术器具接触的血管或脏器等部位之间的距离显示以及警告，并不是为了手术中的导航。

本发明的课题在于，提供一种能够观察使用手术器具进行切削的切削部位的同时实施手术中的适当的导航的手术辅助装置以及手术辅助程序。

第1发明涉及的手术辅助装置，在观察内窥镜图像的同时使用切削用手术器具来进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装置具备断层图像信息获取部、存储器、体绘制运算部、内窥镜/手术器具位置检测部、配准运算部、模拟部、距离计算部以及导航部。断层图像信息获取部获取患者的断层图像信息。存储器与断层图像信息获取部相连接，保存断层图像信息的体素信息。体绘制运算部与存储器相连接，基于体素信息，在与视线垂直的方向上对体素信息进行采样。内窥镜/手术器具位置检测部依次检测内窥镜以及手术器具的三维位置。配准运算部对由体绘制运算部生成的三维图像的坐标、和在内窥镜/手术器具位置检测部中检测的内窥镜以及手术器具的坐标进行坐标合并。模拟部在由体绘制运算部生成的三维图像上将预定被虚拟地切削的手术的切削部分相关联到体素信息上后存储于存储器中。距离计算部计算出三维图像上的手术器具的处理部与存储器所保存的表示切削部分的体素信息之间的距离。导航部使用手术器具在手术中的坐标显示三维图像上的手术器具的处理部，并与在手术中显示的内窥镜图像一起显示处理部与存储器所保存的表示切削部分的体素信息之间的距离。

在此，例如，在使用利用多个X射线CT图像生成的三维图像来显示了特定的骨骼或血管、脏器等的周围的状态下实施切削模拟之后，进行使用了内窥镜的手术时，依次检测实际手术中要使用的内窥镜和手术器具的三维位置，将由多个X射线CT图像形成的三维图像的坐标与内窥镜和手术器具的实际的三维位置的坐标相合并。并且，在使用三维图像进行的切削模拟中，计算出实际的手术器具的前端(处理部)相对于被切削的部位的距离，将与三维图像一起显示该距离并告知手术者，由此根据切削模拟的实施而无缝地进行手术导航。

在此，上述断层图像包括例如使用X射线CT或MRI、PET等医用设备获取到的二维图像。此外，上述手术器具包括对内脏或骨骼等进行切削的切削器具等。此外，上述处理部意味着对骨骼或脏器等进行切除的手术器具的锯齿部分等。

由此，例如，在使用内窥镜来切削特定脏器的手术中，手术者能够正确地把握手术器具的前端到作为切削对象的部位还剩多少距离的同时，使切削器具等手术器具逐渐靠近切削部位。由此，手术者在插入手术器具时，不会由于不知道手术器具前端到切削部位为止的距离而感到不安，能够实施适当的导航。

第2发明涉及的手术辅助装置是在第1发明涉及的手术辅助装置中，模拟部在实施手术前的切削模拟时，检测切削部位的深度并运算不连续性或者深度的变化程度，在变化程度预先超过了阈值的情况下，中止切削或者不更新切削数据。

在此，在模拟部中，设定虚拟切削动作的阈值，并设置实施切削模拟时的制约。

由此，在深度的变化程度等超过了阈值的情况下，能够在模拟上的画面中针对该部位，在切削后的状态下使其不再显示。此外，在更新阈值的同时实施切削模拟之际，能够避免阈值的值过小而过渡地中止切削。

第3发明涉及的手术辅助装置是在第1或第2发明涉及的手术辅助装置中，导航部利用多点模型(multi-point model)，对三维图像上的手术器具的处理部进行建模。

在此，所谓多点模型是指，对服从于预测到碰撞的部位的外缘的点进行采样的模型。

由此，例如，如果在实际手术器具的规定位置处设置对手术器具进行位置或角度等的探测的传感器，则能够以该传感器的位置为基准，在虚拟空间上利用多个点来表现手术器具，能够计算并显示从该多个点至切削部分的距离。

第4发明涉及的手术辅助装置是在第1至第3发明的任一个发明涉及的手术辅助装置中，导航部使用设为对手术中的手术器具所切削的部分进行表示的体素信息的方向的分量的向量，作为距离的向量。

由此，能够在手术器具对切削部位逐渐接近的方向上进行采样的同时，根据多个点所靠近的速度、加速度以及方向来变更显示模式等，对于手术者来说，对手术器具前端与切削部位之间的位置关系进行了更有效的显示。

第5发明涉及的手术辅助装置是在第1至第4发明的任一个发明涉及的手术辅助装置中，导航部从切削部分起按等距离来变更体素的颜色来使其被显示。

在此，在手术中的导航画面中，将以切削部分为中心的等距离的范围作为颜色不同的球来进行显示。

由此，在手术中的导航中，能够对于手术者来说，以易于理解的方式来显示从进行切削的部分到手术器具前端为止的距离，能够作为导航的補助。

第6发明涉及的手术辅助装置是在第1至第5发明的任一个发明涉及的手术辅助装置中，配准运算部将内窥镜以及手术器具的坐标和三维图像的坐标进行坐标合并后，确认坐标合并的精度，在该精度超过了规定范围的情况下，对坐标合并的偏差进行校正。

在此，对将基于多个X射线CT图像等而生成的三维图像的坐标、与内窥镜及手术器具的实际坐标进行合并的配准的精度进行验证，在不满足规定精度的情况下，再次实施配准。

由此，能够更正确地在三维图像中显示在三维图像中显示的内窥镜和手术器具的位置。

第7发明涉及的手术辅助装置是在第1至第6发明的任一个发明涉及的手术辅助装置中，导航部设定由体绘制运算部生成并由内窥镜获取的第1显示区域、和在实际手术中因手术器具而导致显示受限的第2显示区域，并显示该第1显示区域和第2显示区域。

在此，在手术中显示于监视器画面等的三维图像中，执行将因插入了内窥镜的手术器具而被限制的视野部分也进行反映的显示。

由此，以针对由于牵引器等筒状手术器具而被限制的部分不会被看到的方式，例如通过在遮蔽的状态下进行显示，从而能够以与实际的内窥镜图像相近似的状态下显示三维图像。

第8发明涉及的手术辅助装置是在第1至第7发明的任一个发明涉及的手术辅助装置中，还具备显示三维图像、表示手术器具的前端的图像以及距离的显示部。

在此，作为手术辅助装置，具备监视器等显示部。

由此，在使用了内窥镜的手术中，能够使显示部显示与实际的内窥镜的影像相近似的状态的三维图像的同时，进行手术辅助。

第9发明涉及的手术辅助程序，在观察内窥镜图像的同时使用切削用手术器具进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助程序使计算机执行具备以下步骤的手术辅助方法，该手术辅助方法具备：获取患者的断层图像信息的步骤；保存断层图像信息的体素信息的步骤；基于体素信息在与视线垂直的方向上对体素信息进行采样的步骤；依次检测内窥镜以及手术器具的三维位置的步骤；对三维图像的坐标和内窥镜以及手术器具的坐标进行坐标合并的步骤；计算出包含在由内窥镜获取的影像中的切削部位与手术器具的前端之间的距离的步骤；以及在三维图像中使表示手术器具的前端的图像、和手术器具的前端与切削部位之间的距离合成后被显示的同时，进行手术中的导航的步骤。

在此，例如，在使用利用多个X射线CT图像生成的三维图像来显示了特定的骨骼或血管、脏器等的周围的状态下实施切削模拟后，在进行使用了内窥镜的手术时，依次检测实际在手术中使用的内窥镜和手术器具的三维位置，将由多个X射线CT图像形成的三维图像的坐标与内窥镜和手术器具的实际的三维位置的坐标相合并。并且，通过在使用三维图像进行的切削模拟中计算出实际手术器具的前端的相对于被切削的部位的距离，并将该距离与三维图像一起进行显示，告知手术者，由此通过切削模拟的实施而无缝地进行手术导航。

在此，上述断层图像包括例如使用X射线CT或MRI、PET等医用设备获取到的二维图像。此外，上述手术器具包括对内脏或骨骼等进行切削的切削器具等。

由此，例如，在使用内窥镜来对特定的脏器进行切削的手术中，手术者能够正确地把握手术器具的前端到作为切削对象的部位还剩多少距离的同时，使切削器具等手术器具逐渐靠近切削部位。由此，手术者在插入手术器具时，不会由于不知道手术器具前端到切削部位为止的距离而感到不安，能够实施适当的导航。

第10发明涉及的手术辅助装置在观察内窥镜图像的同时使用切削用手术器具进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装置具备模拟部和导航部。模拟部在与视线垂直的方向上对患者的断层图像信息的体素信息进行采样而生成的三维图像上，将预定被虚拟地切削的手术的切削部分相关联到体素信息上来进行存储。导航部计算出三维图像上的手术器具的处理部、与存储器所保存的表示切削部分的体素信息之间的距离，使用手术器具在手术中的坐标来显示三维图像上的手术器具的处理部，并与手术中显示的内窥镜图像一起显示处理部与表示切削部分的体素信息之间的距离。

附图说明

图1是表示本发明的一实施方式涉及的包含个人计算机(手术辅助装置)的手术辅助系统的结构的图。

图2是表示包含在图1的手术辅助系统中的个人计算机的立体图。

图3是图2的个人计算机的控制框图。

图4是表示包含在图3的控制模块中的存储器内的内窥镜参数保存部的结构的框图。

图5是表示图3的控制模块所包含的存储器内的手术器具参数保存部的结构的框图。

图6(a)、(b)是表示图1的手术辅助系统所包含的斜视内窥镜以及安装于该斜视内窥镜的三维传感器的侧视图和俯视图。

图7中，(a)是图2的个人计算机的动作流程图，(b)是表示(a)的S6内的流程的动作流程图，(c)是表示(a)的S8内的流程的动作流程图。

图8是表示图1的手术辅助系统的显示器所显示的导航画面的图。

图9是表示图1的手术辅助系统的显示器所显示的导航画面的图。

图10是表示图1的手术辅助系统的显示器所显示的导航画面的图。

图11是表示图1的手术辅助系统的显示器所显示的导航画面的图。

图12是表示图1的手术辅助系统的显示器所显示的导航画面的图。

图13(a)、(b)是说明在使用筒状手术器具(牵引器)时从基于鼠标操作的二维输入向内窥镜三维操作的映射的图。

图14是说明从基于鼠标操作的二维输入向内窥镜的三维操作的映射的图。

图15是说明反映斜视内窥镜的任意斜视角的体绘制像的显示的图。

图16(a)～(c)是表示使斜视内窥镜的前端位置以及视线向量反映至3面图上时的显示的图。

图17是表示由图2的个人计算机显示的斜视内窥镜图像的图。

图18中，(a)是表示本实施方式涉及的斜视内窥镜图像的图，(b)是表示取代斜视内窥镜而使用直视内窥镜时的内窥镜图像的图。

图19是表示反映内窥镜图像的显示限制区域的监视器画面的图。

图20(a)～(c)是表示显示了以切削对象部位C为中心的内窥镜图像、从与该部分相对应的三维图像中提取出的内窥镜视图、使内窥镜图像与内窥镜视图重叠后的图像的监视器画面的图。

图21(a)～(c)是表示显示了内窥镜图像、与该部分相对应的三维图像(VR像)、使内窥镜图像与VR像重叠后的图像的监视器画面的图。

图22是表示显示了进行特征点设定的配准(registration)用界面画面的监视器画面的图。

图23是说明配准中的坐标变换的图。

图24(a)、(b)是表示配准中的校正值设定界面以及体绘制像上的特征点和坐标轴的显示例的图。

图25中，(a)是表示图1的手术辅助系统所包含的手术器具以及安装于该手术器具的三维传感器的侧视图，(b)是利用多点模型以(a)的传感器为基准对虚拟空间上的手术器具的前端进行了建模的侧视图。

图26是表示在虚拟空间中计算并显示从图25(b)的手术器具的前端至切削部位的距离的步骤的说明图。

图27是表示示出了虚拟空间中的从切削部位起等距离的区域的显示例的图。

图28是说明在切削模拟中实施了在制约切削的阈值的更新方法中导入了阈值相加有效点的概念后的切削控制的情况的图。

图29是说明在切削模拟中实施了在制约切削的阈值的更新方法中未导入阈值相加有效点的概念的切削控制的情况的图。

图30是表示在本发明的其他的实施方式涉及的手术辅助系统中所使用的内窥镜以及传感器的侧视图和俯视图。

图31是表示在本发明的另一实施方式涉及的手术辅助系统中所使用的内窥镜以及传感器的侧视图和俯视图。

具体实施方式

如以下，使用图1～图29来说明本发明的一实施方式涉及的个人计算机(手术辅助装置)。

另外，在本实施方式中，说明使用内窥镜以及切削工具等手术器具来实施针对腰椎管狭窄症的手术导航的情况，但本发明并不限于此。

如图1所示，本实施方式涉及的个人计算机1与显示器(显示部)2、位置/角度检测装置29、斜视内窥镜(内窥镜)32、定位用发射器(磁场产生装置)34一起构成手术辅助系统100。

个人计算机1读入使计算机执行本实施方式的手术辅助方法的手术辅助程序而起到手术辅助装置的作用。另外，后面详述个人计算机1的构成。

显示器(显示部)2显示后面详述的进行手术中的导航和切削模拟的三维图像，并且显示手术导航和切削模拟的设定画面等。

另外，作为显示手术中的导航的显示部，由于需要以手术中的手术者易于理解的方式显示导航画面，所以除了个人计算机1的显示器2以外，还同时使用图1的手术辅助系统100所包含的大型的液晶显示器102。

位置/角度检测装置29与个人计算机1、定位用发射器34以及斜视内窥镜32相连接，基于安装于斜视内窥镜32、手术器具33等的三维传感器32a(参照图6(a)等)、三维传感器33b(参照图25(a))的探测结果，检测实际手术中的斜视内窥镜32、手术器具33的位置和姿势。

从进行手术的部分附近的体表部沿着后述的筒状牵引器31内而插入斜视内窥镜(内窥镜)32，该斜视内窥镜(内窥镜)32获取手术部位的影像。此外，在斜视内窥镜32中安装有三维传感器32a。

定位用发射器(磁场产生装置)34配置在患者横卧的手术台的附近，其产生磁场。由此，由安装于斜视内窥镜32和手术器具33的三维传感器32a和三维传感器33b检测量位用发射器34所产生的磁场，从而能够检测斜视内窥镜32和手术器具33的位置和姿势。

(个人计算机1)

如图2所示，个人计算机1具备显示器(显示部)2、各种输入部(键盘3、鼠标4以及平板5(参照图2))。

显示器2显示由X射线CT图像等多个断层图像形成的骨骼或脏器(在图2的例子中，显示内窥镜图像)等三维图像，并且显示切削模拟的结果和手术导航的内容。

此外，如图3所示，个人计算机1在内部形成断层图像信息获取部6等控制模块。

在断层图像信息获取部6上经由体素(voxel)信息提取部7而连接断层图像信息部8。即，在断层图像信息部8中，从拍摄CT或者MRI、PET等断层图像的设备提供断层图像信息，该断层图像信息是由体素信息提取部7作为体素信息来提取的。

存储器9设置于个人计算机1内，具有体素信息保存部10、体素标签保存部11、颜色信息保存部12、内窥镜参数保存部22和手术器具参数保存部24。此外，与存储器9连接体绘制运算部(距离计算部、显示控制部)13。

体素信息保存部10保存从体素信息提取部7经由断层图像信息获取部6接收的体素信息。

体素标签保存部11具有第1体素标签保存部、第2体素标签保存部、第3体素标签保存部。分别与后述的预先设定的CT值的范围、即成为显示对象的脏器相对应地设置这些第1～第3体素标签保存部。例如，第1体素标签保存部与显示肝脏的CT值的范围相对应，第2体素标签保存部与显示血管的CT值的范围相对应，第3体素标签保存部与显示骨骼的CT值的范围相对应。

颜色信息保存部12在内部具有多个保存部。分别与预先设定的CT值的范围、即成为显示对象的骨骼、血管、神经、脏器等相对应地设置各保存部。例如，可列举与显示肝脏的CT值的范围相对应的保存部、与显示血管的CT值的范围相对应的保存部、与显示骨骼的CT值的范围相对应的保存部等。此时，在各保存部中按照成为显示对象的每一个骨骼、血管、神经、脏器而设定分别不同的颜色信息。例如，在与骨骼相对应的CT值的范围内保存白色的颜色信息，在与血管相对应的CT值的范围内保存红色的颜色信息。

另外，所谓按照成为显示对象的每一个骨骼、血管、神经、脏器而设定的CT值是指，对人体中的X射线吸收的程度进行数值化而得到的值，表示为将水设为0的相对值(单位：HU)。例如，显示骨骼的CT值的范围为500～1000HU，显示血液的CT值的范围为30～50HU，显示肝脏的CT值的范围为60～70HU，显示肾脏的CT值的范围为30～40HU。

如图4所示，内窥镜参数保存部22具有第1内窥镜参数保存部22a、第2内窥镜参数保存部22b、第3内窥镜参数保存部22c。在第1～第3内窥镜参数保存部22a～22c中，例如分别保存有内窥镜的斜视角、视野角、位置、姿势等信息。此外，如图3所示，内窥镜参数保存部22与内窥镜参数设定部23相连接。

内窥镜参数设定部23经由键盘3或鼠标4进行内窥镜参数的设定，并将参数发送给内窥镜参数保存部22。

如图5所示，手术器具参数保存部24具有第1手术器具参数保存部24a、第2手术器具参数保存部24b、第3手术器具参数保存部24c。例如，在将手术器具设为切削用的电钻时，在第1～第3手术器具参数保存部24a～24c中分别保存电钻的长度、前端形状、位置、姿势等信息。或者，在将手术器具设为筒状的牵引器31时，分别保存筒状的牵引器31的筒形、筒长度、位置、姿势等信息。此外，如图2所示，手术器具参数保存部24与手术器具参数设定部25相连接。

手术器具参数设定部25经由键盘3或鼠标4进行牵引器31或电钻等手术器具参数的设定，并将参数发送给手术器具参数保存部24。

内窥镜和手术器具位置/姿势获取部(内窥镜/手术器具位置检测部)26经由总线16接收对内窥镜和手术器具的位置和角度进行检测的位置/角度检测装置29中的检测结果，并将检测结果发送给体绘制运算部13、配准运算部27。

体绘制运算部13基于体素信息保存部10所保存的体素信息、体素标签保存部11所保存的体素标签、颜色信息保存部12所保存的颜色信息，获取与视线垂直且Z方向上的间隔固定的多个切片信息。并且，体绘制运算部13使该运算结果作为三维图像而显示于显示器2中。

此外，体绘制运算部13基于内窥镜参数保存部22所保存的内窥镜信息、手术器具参数保存部24所保存的手术器具信息、内窥镜和手术器具位置/姿势获取部26中的检测结果，进行将实际的内窥镜和手术器具的运动与三维图像相结合的实时显示。

进一步，体绘制运算部13基于上述内窥镜信息以及手术器具信息，在相对于由内窥镜得到的图像信息反映了视野被牵引器31限制的图像信息的遮蔽状态下，使虚拟内窥镜图像显示于显示器2。具体地，体绘制运算部13基于内窥镜参数保存部22所保存的与内窥镜相关的信息(斜视角、视野角、位置等)、手术器具参数保存部24所保存的与手术器具相关的信息(直径、长度等)，设定由内窥镜获取的内窥镜图像显示区域(第1显示区域)A1(参照图10等)和显示限制区域(第2显示区域)A2(参照图10等)。

在此，所谓虚拟内窥镜图像显示区域A1指的是，在实际的内窥镜手术中在显示器2的监视器画面上显示的显示区域。所谓显示限制区域A2指的是，因筒状牵引器31等手术器具的内壁部分等，通过内窥镜获取的显示被限制的显示区域，意味着在内窥镜手术模拟上被遮蔽显示的区域(参照图10等)。

进一步，在体绘制运算部13上经由总线16而连接深度检测部15。

深度检测部15测量光线投射扫描距离，并且将深度控制部17和体素标签设定部18相连接。

体素标签设定部18将体素标签保存部11和被切削体素标签计算显示部19相连接。

与总线16连接上述的体绘制运算部13以及深度检测部15以外，还连接存储器9内的颜色信息保存部12等、窗口坐标获取部20、内窥镜和手术器具位置/姿势获取部26，并基于从键盘3、鼠标4、平板5、位置/角度检测装置29、内窥镜影像获取部30等输入的内容，将三维图像等显示于显示器2。

与窗口坐标获取部20连接颜色信息设定部21和配准运算部27。

颜色信息设定部21与存储器9内的颜色信息保存部12相连接。

如上所述，内窥镜和手术器具位置/姿势获取部26通过在安装于斜视内窥镜32和手术器具33的三维传感器32a和三维传感器33b中对由定位用发射器34产生的磁场进行检测，从而获取与斜视内窥镜32和手术器具33的位置和姿势相关的信息。

另外，如图6(a)以及图6(b)所示，用于检测斜视内窥镜32的三维的位置和姿势的三维传感器32a被设置在不会妨碍斜视内窥镜32的把持部的操作的位置上。此外，如图25(a)所示，用于检测手术器具33的三维的位置和姿势的三维传感器33b被设置在不会妨碍手术器具33的把持部的操作的位置上。

配准运算部27进行用于使在体绘制运算部13中生成的三维图像、和实际手术中的患者的基准位置、内窥镜32以及手术器具33的三维位置及旋转角度一致的运算。另外，针对该配准运算部27的配准处理(坐标变换处理)，将在后面详细叙述。

变换矩阵保持部28与配准运算部27及体绘制运算部13相连接，保持多个在实施配准处理(坐标变换处理)时使用的变换矩阵。

如上所述，位置/角度检测装置29与个人计算机1、定位用发射器34以及斜视内窥镜32相连接，并基于安装于斜视内窥镜32和手术器具33等的三维传感器32a(参照图6(a)等)和三维传感器33b中的探测结果，检测实际手术中的斜视内窥镜32和手术器具33的位置和姿势。

内窥镜影像获取部30获取在斜视内窥镜32中获取到的影像。在内窥镜影像获取部30中获取到的内窥镜的影像经由总线16而被显示于显示器2、102。

如上所述，牵引器31是将斜视内窥镜32或电钻等手术器具33插入到内部的筒状构件，在实际手术中，从手术部位附近的体表面向患者的体内插入并固定该牵引器。

沿着上述的筒状牵引器31的内周面而插入斜视内窥镜(内窥镜)32，该斜视内窥镜(内窥镜)32获取手术部位的影像。此外，为了在手术中实时地检测斜视内窥镜32的三维位置和姿势，在斜视内窥镜32中安装有三维传感器32a。

如图6(a)以及图6(b)所示，在斜视内窥镜32的后端部侧的侧面设置了1个三维传感器32a。由此，基于上述的内窥镜参数保存部22所保存的斜视内窥镜32的长度、形状，通过计算，计算出斜视内窥镜32的前端位置。另外，在本实施方式中，作为三维传感器32a，使用1个6轴传感器。因此，能够通过1个三维传感器32a对(x，y，z)、y(偏航)、p(俯仰)、r(旋转)这6个参数进行定位。

在本实施方式中，手术器具33使用对手术部位进行切削的电钻。针对该手术器具(电钻)33，与斜视内窥镜32同样地，在后端部附近安装有三维传感器33b。由此，针对进行切削的手术器具(电钻)33的前端(处理部)的位置，也能够基于手术器具参数保存部24所保存的电钻的长度和形状来进行计算。

更具体来说，如图25(a)所示，通过在实际空间中，将三维传感器33b安装于不会妨碍实际在手术中使用的手术器具33的把持部的位置处，由此，如图25(b)所示，在虚拟空间中，利用多点模型对手术器具图像33a的前端位置进行建模。

并且，如图26所示，与实际的手术器具33的操作一致地，基于实时对手术器具33的位置和姿势等进行探测的结果，在虚拟空间上，计算并显示从手术器具33的前端的多个点到计划手术的切削部位的距离。

此外，从手术器具33的前端的多个点至计划手术的切削部位的距离，在靠近的方向上进行采样，根据多个点靠近的速度、加速度以及方向，变更显示模式(参照图9以及图10)。

由此，手术者能够观察表示导航用的虚拟空间的图像的同时更准确地把握手术器具前端相对于切削部位的位置。

<与本手术辅助方法相关的控制流程>

在此，针对表示本实施方式的基于个人计算机1的手术辅助方法的流程的控制流程，使用图7(a)至图7(c)进行说明，如下。

如图7(a)所示，在本实施方式的个人计算机1中，首先，在S1中，如上所述，输入来自断层图像信息部8的断层图像信息，并将该信息提供给体素信息提取部7。

接着，在S2中，在体素信息提取部7中，从断层图像信息中提取体素信息。提取到的体素信息经由断层图像信息获取部6而被保存到存储器9的体素信息保存部10中。体素信息保存部10所保存的体素信息是例如由I(x，y，z，α)构成的点的信息。此时，I为该点的亮度信息，x、y、z表示坐标点，α是透明度信息。

接着，在S3中，体绘制运算部13基于体素信息保存部10所保存的体素信息，计算出与视线垂直且间隔固定的多个切片信息，并获取切片信息组。并且，切片信息组至少暂时被保存在体绘制运算部13内。

另外，所谓上述与视线垂直的切片信息是指与视线正交的面。例如，在使显示器2沿着铅垂方向竖立的状态下，在将显示器设为与脸部面平行的状态下进行观察时，切片信息成为与视线垂直的面。

如上所述，这样得到的多个切片信息保有由I(x，y，z，α)构成的点的信息。由此，关于切片信息，例如在Z方向上配置多个体素标签14。另外，体素标签14的集合体容纳在体素标签保存部11中。

接着，在S4中，在显示器2中显示绘制像。此时，在显示器2中，通过使用鼠标4等来指定CT值的范围，从而选择成为切削对象物的骨骼或血管等来进行显示。

接着，在S5中，判定是否从用户接受了实施配准的指示。在此，在接受到配准指示的情况下，为了实施配准，进入A(S6)。另一方面，在未接受到配准指示的情况下，转移至确认是否接受到实施导航的指示的S7。

在S5中接受到配准指示的情况下，按照图7(b)所示的流程，实施配准。

即，首先，在S61中，指示成为配准的特征点的位置。具体来说，将容易从体表面确认位置的骨骼的部分，例如，第五棘突、左右髂骨等作为特征点。

接着，在S62中，设为在手术者或者护士等把持传感器的状态下从横卧于手术台上的患者的体表面向这些特征点靠近的位置推压的状态，观察显示器102的同时对传感器的位置进行微调整来获取传感器位置信息。

接着，在S63中，计算出用于将获取到的表示传感器位置的实际空间坐标系变换为虚拟空间坐标系的变换矩阵。

如图23所示，根据由在虚拟空间内指定的3个特征点(P_v1，P_v2，P_v3)、(P_v1，P_v2，P_v3)形成的三角形的重心为原点的P_v0、和相对于从传感器获取到的实际空间内的对象以由对应的特征点坐标(P_r1，P_r2，P_r3)、(P_r1，P_r2，P_r3)形成的三角形的重心为原点的P_r0，求出坐标变换矩阵。

首先，P_v0是在虚拟空间内指定的特征点三角形的重心。

【数学式1】

$P_{v0}=\frac{(P_{v1}+P_{v2}+P_{v3})}{3}---\left(1\right)$

根据该虚拟空间的原点向量P_v0和3个特征点P_v1、P_v2、P_v3按照下述步骤来求取虚拟空间内的标准正交向量。

将1轴向量V_v1定义为

【数学式2】

$V_{v1}=\frac{1}{|P_{v2}-P_{v0}|}(P_{v2}-P_{v0})---\left(2\right),$

将用于以与包含特征点P_v2、P_v3的平面正交的向量设为第3轴而求取的临时2轴向量V_{v2_Tmp}定义为

【数学式3】

$V_{v2\_\mathrm{Tmp}}=\frac{1}{|P_{v3}-P_{v0}|}(P_{v3}-P_{v0})---\left(3\right),$

取V_v1、V_{v2_Tmp}的向量积来求取3轴向量V_v3，

【数学式4】

V_v3＝V_v1×V_{v2_Tmp}   (4)，

取V_v3、V_v1的向量积来求取2轴向量V_v2，

【数学式5】

V_v2＝V_v3×V_v1   (5)。

按照同样的步骤，P_r0根据实际空间的特征点三角形的重心而成为

【数学式6】

$P_{r0}=\frac{(P_{r1}+P_{r2}+P_{r3})}{3}---\left(6\right),$

根据P_r0和3个特征点P_r1、P_r2、P_r3如下述求取实际空间的标准正交向量V_r1、V_r2、V_r3。

【数学式7】

$V_{r1}=\frac{1}{|P_{r2}-P_{r0}|}(P_{r2}-P_{r0})---\left(7\right)$

【数学式8】

$V_{r2\_\mathrm{Tmp}}=\frac{1}{|P_{r3}-P_{r0}|}(P_{r3}-P_{r0})---\left(8\right)$

【数学式9】

V_r3＝V_r1×V_{r2_Tmp}   (9)

【数学式10】

V_r2＝V_r3×V_r1   (10)

接着，根据虚拟空间、实际空间的标准正交向量来求取向各空间坐标的旋转矩阵。首先，虚拟空间上的旋转矩阵M_v为，

【数学式11】

M_v＝[V_v1 V_v2 V_v3]^T   (11)，

实际空间的旋转矩阵M_r为，

【数学式12】

M_r＝[V_r1 V_r2 V_r3]^T   (12)。

为了求取从实际空间坐标系到虚拟空间坐标系的旋转矩阵，需要从实际空间坐标系到实际空间坐标系的旋转矩阵。这是实际空间坐标系的基于旋转矩阵的变换的逆变换，所以是逆矩阵。通过对利用该逆矩阵而变换的实际空间坐标系进行虚拟空间坐标系的基于旋转矩阵的变换，从而求取从实际空间坐标系到虚拟空间坐标系的旋转矩阵M_rotate。

用数学式表示的话如下述(13)式。

【数学式13】

M_rotate＝M_vM_r ^-1   (13)

由于认为DICOM数据与实际空间相同，所以标度矩阵(scalingmatrix)H_scale在虚拟空间中也是相同的。由此，定义为单位矩阵。

利用求取出的旋转矩阵M_rotate、标度矩阵和作为平行移动量的虚拟空间的原点P_v0，从实际空间坐标系到虚拟空间坐标系的变换矩阵H_t如下。

【数学式14】

$H_t=\left(\begin{array}{cc}{H}_{\mathrm{scale}}{M}_{\mathrm{rotate}}& P_{v0}\\ 0& 1\end{array}\right)---\left(14\right)$

在本实施方式中，利用该变换矩阵，将从三维传感器32a获取到的实际空间坐标变换为虚拟空间坐标。

另外，在变换矩阵保持部28内保存多个该变换矩阵H。

接着，在S64中，判定配准的精度是否足够。在此，直至能够确认配准的精度处于规定的范围内为止，重复进行S61～S64。然后，在能够确认精度在规定范围内的阶段结束处理。

即，在S64中，在知道了配准的精度未处于规定范围内的情况下，再次实施配准的处理并对最初的结果进行校正。由此，能够提高配准处理的精度。

另外，针对配准的校正处理，将在后面详细叙述。

如以上所述，在S5中接受了配准的实施指示的情况下，实施配准，或者在未接受到配准的实施指示的情况下，直接转移至S7。

接着，在S7中，在接受了实施手术中的导航的指示的情况下，进入B(S8)。另一方面，在未接受导航的实施指示的情况下，返回S3的处理。

即，在S81中，内窥镜和手术器具位置/姿势获取部26基于位置/角度检测装置29的检测结果，获取与斜视内窥镜32以及手术器具33的三维位置以及姿势相关的信息。

接着，在S82中，基于斜视内窥镜32以及手术器具33的三维位置，使用上述的变换矩阵H，从实际空间坐标系变换到虚拟空间坐标系。

接着，在S83中，体绘制运算部13从内窥镜参数保存部22获取内窥镜参数。

接着，在S84中，体绘制运算部13从手术器具参数保存部24获取手术器具的参数。

接着，在S85中，从内窥镜影像获取部30获取内窥镜影像。

接着，在S86中，在成为切削对象的部位存在多个情况下，确认是否完成了从手术器具33的前端至全部切削对象的距离的运算。在此，如果完成了距离运算，则进入S87。

接着，在S87中，体绘制运算部13使三维图像(绘制像)与内窥镜影像一起重叠地显示于显示器2、102。

此时，通过由三维传感器33b探测实际手术器具33的运动并在三维图像上实时地显示手术器具33的运动，手术者能够确认显示器102显示的距离信息的同时操作手术器具33。由此，能够执行对手术者来说有效的手术导航。

在此，在S87中，使用图8至图12来说明显示器2、102显示的三维图像的话，如下。

另外，在图8至图12所示的例子中，有3个切削部位Z1～Z3，说明使手术器具33靠近切削部位Z1来进行切削的情况。

即，如图8所示，在显示器2、102的监视器画面M中，作为导航画面，包含信息显示区域M1、导航图像区域M2、距离显示区域M3。

具体来说，在信息显示区域M1中显示“正在靠近切削部位”的文字信息。在导航图像区域M2中，显示在切削部位周围的三维图像上重叠了手术器具图像33a、牵引器图像31a、切削部位Z1～Z3的图像。并且，在距离显示区域M3中显示从电钻(手术器具33)前端的多个点至各切削部位Z1～Z3为止的距离。

另外，针对导航图像区域M2中的各图像的重叠，按每个图像设定透过率，能够变更成显示对手术者来说必要的信息。

在此，为了对切削部位Z1进行切削，在手术者加速了使手术器具33逐渐靠近切削部位Z1的速度的情况下，如图9所示，在信息显示区域M1中，进行“正在靠近切削部位Z1。靠近速度正在逐渐变快。”的显示。此时，为了向手术者发出警告，信息显示区域M1例如显示黄色的背景颜色。

此外，在手术者加速使手术器具33靠近切削部位Z1的速度的情况下，有可能因使手术器具33靠近的速度过快而穿透应切削部分。因此，如图10所示，在本实施方式中，在信息显示区域M1中，进行“正在靠近切削部位Z1。靠近速度过快。”的显示。此时，为了进一步向手术者发出重度警告，信息显示区域M1例如显示红色的背景颜色。

接着，如果为了对切削部位Z1进行切削而手术者使手术器具33逐渐靠近切削部位Z1，则图11所示，在导航图像区域M2中，在手术器具图像33a的前端部分接触了切削部位Z1的状态下进行显示。此时，在距离显示区域M3中，显示为从电钻前端至切削部位Z1的距离：0mm。

接着，如果使用手术器具33来对切削部位Z1进行切削，则如图12所示，在导航图像区域M2中，显示为手术器具图像33a的前端部分进入到切削部位Z1。此时，例如，在通过手术器具33在深度方向上进行了5mm的切削时，在距离显示区域M3中，显示为从电钻前端至切削部位Z1的距离：-5mm。并且，在信息显示区域M1中，显示为“切削部位Z1的切削完成”。

如以上所述，本实施方式的手术辅助系统100的个人计算机1在将斜视内窥镜32和手术器具33的实际的三维位置(实际空间坐标)变换为在体绘制运算部13中生成的三维图像上的坐标(虚拟空间坐标)的基础上，将表示手术器具33的前端的图像(手术器具图像33a)和手术器具前端至切削部位的距离合成显示于三维图像中的同时，进行手术中的导航。

由此，手术者能够观察显示器102的画面的同时，识别从手术器具33的前端至切削部位Z1的距离的同时操作手术器具33。

<在导航图像区域中显示的牵引器图像的显示方法>

接着，使用图13(a)以及图13(b)，说明从基于鼠标4操作的二维输入到内窥镜三维操作的映射。

在此，基于通过设置于牵引器中的传感器对位置和姿势进行了测量的结果、和牵引器的直径、长度、移动方向(插入方向)等参数，在三维图像上进行显示。

通常，插入至牵引器31内的斜视内窥镜32(参照图13(a)等)被固定于与牵引器31一体化的未图示的配件上，从而在牵引器31内的圆周方向上的移动受到限制。

在此，如图13(a)所示，假设使斜视内窥镜32与配件一同旋转，如图13(b)所示，计算出相对于从牵引器31的中心至斜视内窥镜32的中心为止的距离Ro的进深方向的轴Rz旋转了角度Θ时的旋转矩阵RΘ。

接着，能够根据向量RoEo’＝RΘ×RoEo，使用内窥镜的插入深度de，通过内窥镜前端位置Ec＝Eo’+Rz*de来计算出内窥镜前端位置。

由此，能够通过二维的鼠标操作，计算出三维的内窥镜前端位置。

接着，使用图14，说明与从基于鼠标4的操作的二维输入到内窥镜三维操作的映射相关联的其他例子。

通常，在内窥镜中，保存了未图示的CCD照相机的照相机头部与后端部侧相连接。在此，说明使该照相机头部旋转时的显示的旋转。

即，在实际的内窥镜手术中，在显示器2、102的显示画面上显示的图像已经纵向显示的情况下，为了使实际的患者朝向和显示器2、102的显示朝向一致，通过使照相机头部旋转，从而无需改变视野，仅仅使图像旋转即可。

为了通过使用了鼠标4的二维输入来实现上述旋转，首先，根据显示器高度和鼠标拖动距离来计算出Θ＝360*Hd/H。

接着，计算出相对于显示器2、102的画面中心坐标的进深方向的轴Ry旋转了角度Θ时的旋转矩阵R2Θ。

并且，通过相对于视野的上方向量U，将U’＝R2Θ*U设为新的上方向量，从而不改变视野，就能够使显示于显示器2、102中的图像旋转例如90度。

由此，能够通过使用了鼠标4的二维输入，容易地将显示器2、102所显示的图像调整为与实际的内窥镜手术中的监视器画面相同的朝向(角度)。

接着，使用图15说明用于生成反映了斜视内窥镜32的任意斜视角的体绘制像。

即，在本实施方式中，根据按每个斜视内窥镜32设定的斜视角，将旋转矩阵应用于视野向量中。

具体来说，首先，计算出与牵引器31的轴方向相对应的镜轴向量Vs和与斜视内窥镜32的斜視方向相对应的垂直向量Vu的向量积Vc。

接着，计算出绕Vc旋转Θ的旋转矩阵Rs。

并且，反映了斜视角的视野向量Ve能够求取为Ve＝Rs*Vs。

由此，即使在随着每个斜视内窥镜32而斜视角度不同的情况下，通过基于内窥镜参数保存部22所保存的信息等来计算出视野向量Ve，能够设定手术中使用的每个斜视内窥镜32的视野范围。

另外，在图16(a)～图16(c)中示出了使用镜轴向量Vs和视野向量Ve，将斜视内窥镜32的前端位置以及视线向量反映到3面图上的状态。

由此，如图16(a)～图16(c)所示，在使用了斜视内窥镜32的关于腰椎管狭窄症的手术模拟中，使用正面图(从患者侧面观察的图)、俯视图(从患者背后观察的图)、侧视图(从患者的脊柱方向观察的图)，能够容易掌握斜视内窥镜32的插入方向。

在本实施方式的个人计算机1中，通过以上的构成，基于牵引器31的形状、斜视内窥镜32的斜视角和视野角等，在进行内窥镜手术模拟时，如图17所示，反映了被牵引器31遮挡的显示限制区域A2的内窥镜图像(内窥镜显示区域A1)得到了显示。

由此，通过设为将在实际内窥镜手术中因牵引器31的内壁而看不到的显示限制区域A2反映的显示形式，能够在实际的内窥镜手术中进行与显示画面所显示的图像近似的显示。由此，能够实施更有效果的手术辅助。

另外，例如，在斜视内窥镜32的斜视角为25度的情况下，如图18(a)所示，通过反映由牵引器31引起的显示限制区域A2，从而在内窥镜显示区域A1内可显示手术对象部位。

进一步地，作为本实施方式的个人计算机1的显示器2、102实际所显示的画面，如图19所示，例如，也可以与切削对象部位C的显示等相结合，反映显示限制区域A2的同时在内窥镜显示区域A1内显示切削对象部位C。

进一步地，为了显示手术者易于理解的导航画面，如图20(a)～图20(c)所示，可以将以切削对象部位C为中心的内窥镜图像、从与该部分相对应的三维图像中取出的内窥镜视图、将内窥镜图像与内窥镜视图重叠而得到的图像分别显示于监视器画面M中。

另外，在图20(c)的重叠图像中，表示了将内窥镜视图的透过率设为30％时的图像。内窥镜视图的透过率可自由设定为0～100％。

此外，作为与内窥镜图像相结合的三维图像，并不限于内窥镜视图。例如，如图21(a)～图21(c)所示，也可以将以切削对象部位C为中心的内窥镜图像、表示与该部分相对应的三维图像的VR像、将内窥镜图像与内窥镜视图重叠而得到的图像分别显示于监视器画面M中。

另外，在图21(c)的重叠图像中，示出了将VR像的透过率设为50％时的图像。VR像的透过率可自由设定为0～100％。

<配准处理>

如上所述，在本实施方式的手术辅助系统100中，在执行手术导航之前，实施进行使实际空间坐标与虚拟空间坐标对位的配准。关于该配准，更详细的说明如下。

在本实施方式中，如以下方式实施实际空间坐标和虚拟空间坐标(三维图像坐标)的配准。

在此，所谓配准功能是指，为了对手术中的内窥镜32和关心区域的位置关系进行定位，在表示安装于内窥镜32侧的三维传感器32a的位置信息的实际空间坐标、和三维图像所具备的虚拟空间坐标之间，进行对位的功能。通过该配准功能，能够使用在该配准的处理过程中生成的坐标变换矩阵，获取虚拟空间内的内窥镜32的位置，交互地进行反映了最终的鱼眼透镜特性的体绘制。

在各坐标的对位中，分别各定义3点实际空间内的特征点以及与虚拟空间内相对应的特征点，根据这些坐标，计算出标量、并行移动量以及旋转量，并对最终的坐标变换矩阵进行合成。

在图22中，示出了显示有进行特征点(图中的点P)的设定的配准用界面画面的监视器画面M。

接着，说明配准的流程。

首先，对于在视图窗口中显示的三维图像，用鼠标指示来定义3点虚拟空间内的特征点坐标(x_v，y_v，z_v)(变换为与传感器获得坐标相同的mm单位后的坐标值)。

接着，对于实际空间内的对象，用磁性传感器指示对应的特征点坐标(x_r，y_r，z_r)，并依次进行登记。通过使用在2个空间内分别定义的特征点的位置信息，计算出各自的原点，由此计算出平行移动的向量。

接着，计算出标度矩阵以及旋转矩阵，对最终的坐标变换矩阵进行合成并存储。

此外，在斜视内窥镜中，不仅仅需要检测内窥镜前端的位置，还需要检测内窥镜轴的朝向，由于在虚拟空间内的视野的计算中，要使用在上述计算时生成的旋转矩阵，所以也单独存储旋转矩阵。

<配准校正>

在本实施方式中，如图7(b)所示，在实施配准时，在S64中确认配准的精度。

在此，在实施配准后，在与虚拟空间的特征点相对应的实际空间的特征点位置指定中产生了规定量以上的偏差的情况下，为了校正该偏差，实施以下处理。

即，本实施方式的个人计算机1具有用于确认在虚拟空间内的体绘制像上显示的特征点的偏差和坐标轴的同时在界面中校正偏差的校正功能。

在图24(a)以及图24(b)中示出了校正值设定界面以及体绘制像上的特征点和坐标轴的显示例。

下面示出使用该校正功能来进行配准校正时的流程。

若用户在图24(a)所示的界面内设定特征点的校正值，则对已登记的实际空间的特征点，进行基于向量相加运算的坐标修正，并进行再配准处理。

在再配准中，与配准功能相同地，使用在2个空间内定义的特征点坐标，进行坐标变换矩阵以及旋转矩阵的再次计算。

再次计算结束后，立即对特征点以及坐标轴的描绘位置进行再次计算，如图24(b)所示，更新体绘制像。

<以切削部位为中心的等距离显示控制>

在本实施方式中，作为表示在个人计算机1的显示器2、102中实际显示的虚拟空间的画面，例如，如图28所示，也可以设定以切削对象部位为中心的距离1₁的区域、距离1₂的区域，改变颜色来显示各个区域。

由此，能够以对手术者来说更容易理解的方式来显示手术器具33的前端至切削部位的距离。

<切削模拟中的切削限制>

在本实施方式中，在实施手术前的切削模拟时，深度控制部17基于在深度检测部15中检测到的切削部位的深度位置，运算切削部位周围的不连续性或者深度的变化程度。

并且，在上述变化程度超过了规定阈值的情况下，体素标签设定部18以及被切削体素标签计算显示部19中止模拟用虚拟空间内的切削，或者进行控制以使不再更新切削数据。

具体来说，如图29所示，在使用阈值相加有效点这样的概念，实施从某切削点开始依次向右方向进行切削的切削模拟时，当深度的变化量(深度变化量)ΔD大于规定阈值的情况下，在虚拟空间的体绘制图像中的该切削点处不进行切削。

即，在导入了阈值相加有效点这样的概念的情况下，在对于切削点i-1，与紧之前的阈值相加有效点之间的深度变化在固定值以下时，不作为新的阈值相加有效点，即使继续进行了平坦的面中的切削，也能够施加使Ti不收缩为0的制约。

【数学式15】

ΔD_k：与阈值相加有效点k的紧之前的阈值相加有效点的深度变化

m：可切削的点评价系数(1.0以上)

k：阈值相加有效点评价系数(0.0以上且小于1.0)

另外，在上述数学式中，在ΔD_i-1＜kT_i-1成立的情况下，不把切削点i-1作为新的阈值相加有效点，而是T_i＝T_i-1。否则，如现有方法那样，作为阈值的相加对象。

由此，在切削点移动了深度变化量ΔD_i-1小于固定值(ΔD_i-1＜kTi)的比较平坦的部分的情况下，以不更新Ti的方式实施切削模拟。

由此，针对深度位置有较大变化的部分，通过不更新切削数据或者中止切削，能够更适当地显示切削模拟图像。

另一方面，在不进行上述的阈值相加有效点的控制的情况下，如图29所示，在实施从某切削点依次向右方向进行切削的切削模拟时，在深度的变化量(深度变化量)ΔD大于规定阈值的情况下，与图28的情况相同，在虚拟空间的体绘制图像中的该切削点处不进行切削。

但是，在不实施上述的阈值相加有效点的控制的情况下，在比较平坦的部分，由于ΔD_i-1＝0，Ti≈0，所以会产生即使是微小的深度变化也取消切削的问题。

由此，在本实施方式中，通过使用上述的阈值相加有效点这样的概念来实施切削模拟，能够进行与期望的切削模拟图像相近的显示。

[其他实施方式]

以上，说明了本发明的一个实施方式，但是本发明不不限于上述实施方式，在不脱离发明宗旨的范围内能够进行各种变更。

(A)

在上述实施方式中，作为手术辅助装置列举实现本发明的例子进行了说明。但是，本发明并不限于此。

例如，也可以作为使计算机执行图7(a)～图7(c)所示的控制方法的手术辅助程序来实现本发明。

(B)

在上述实施方式中，为了检测斜视内窥镜32和手术器具33的三维位置以及姿势，列举了在斜视内窥镜32中安装1个作为6轴传感器的三维传感器32a的例子进行了说明。但是，本发明并不限于此。

例如，如图30(a)以及图30(b)所示，在内窥镜132中也可以安装2个作为5轴传感器的三维传感器132a、132b。

进一步地，例如，如图31(a)以及图31(b)所示，在内窥镜232中，也可以安装3个作为3轴传感器的三维传感器232a、232b、232c。

(C)

在上述实施方式中，为了检测斜视内窥镜32和手术器具33的三维位置以及姿势，列举在斜视内窥镜32的后端部附近安装6轴传感器32a的例子进行了说明。但是，本发明并不限于此。

例如，作为安装了三维传感器的位置，并不限于内窥镜或手术器具的后端部附近，也可以是前端侧或中央部附近。

工业可利用性

本发明的手术辅助装置由于起到能够观察使用手术器具进行切削的切削部位的同时实施手术中的适当的导航这样的效果，所以能够作为实施各种手术时的手术辅助装置而广泛应用。

符号说明

1      个人计算机(手术辅助装置)

2      显示器(显示部)

2a     内窥镜图像显示用监视器

2b     三维图像显示用监视器

3      键盘(输入部)

4      鼠标(输入部)

5      平板(输入部)

6      断层图像信息获取部

7      体素信息提取部

8      断层图像信息部

9      存储器

10     体素信息保存部

11     体素标签保存部

12     颜色信息保存部

13     体绘制运算部(距离计算部，模拟部，导航部)

15     深度检测部(模拟部)

16     总线

17     深度控制部(模拟部)

18     体素标签设定部(模拟部)

19     被切削体素标签计算显示部(模拟部)

20     窗口坐标获取部

21     颜色信息设定部

22     内窥镜参数保存部

23     内窥镜参数设定部

24     手术器具参数保存部

25     手术器具参数设定部

26     内窥镜和手术器具位置/姿势获取部(内窥镜/手术器具位置检测部)

27     配准运算部

28     变换矩阵保持部

29     位置/角度检测装置

30     内窥镜影像获取部

31     牵引器

31a    牵引器图像

31b    碰撞部位

32     斜视内窥镜(内窥镜)

32a    6轴传感器

33     手术器具

33a    手术器具图像

33b    三维传感器

34     BOX型发射器(磁场产生装置)

100    手术辅助系统

102    液晶显示器(显示部)

132    内窥镜

132a，132b 5轴传感器

232    内窥镜

232a，232b，232c 3轴传感器

A1     内窥镜图像显示区域(第1显示区域)

A2     显示限制区域(第2显示区域)

C      切削对象部位

M      监视器画面

M1     信息显示区域

M2     导航图像区域

M3     距离显示区域

Z1～Z3 切削部位

Claims (10)

1.一种手术辅助装置，在观察内窥镜图像的同时使用切削用手术器具来进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装置具备：

断层图像信息获取部，获取患者的断层图像信息；

存储器，与所述断层图像信息获取部相连接，保存所述断层图像信息的体素信息；

体绘制运算部，与所述存储器相连接，基于所述体素信息，在与视线垂直的方向上对体素信息进行采样；

内窥镜/手术器具位置检测部，依次检测所述内窥镜以及所述手术器具的三维位置；

配准运算部，对由所述体绘制运算部生成的三维图像的坐标、和在所述内窥镜/手术器具位置检测部中检测的所述内窥镜及所述手术器具的坐标进行坐标合并；

模拟部，在由所述体绘制运算部生成的三维图像上将预定被虚拟地切削的手术的切削部分相关联到所述体素信息上后存储于所述存储器中；

距离计算部，计算出所述三维图像上的所述手术器具的处理部与所述存储器所保存的表示所述切削部分的所述体素信息之间的距离；以及

导航部，使用所述手术器具在手术中的坐标来显示所述三维图像上的所述手术器具的所述处理部，与手术中显示的内窥镜图像一起显示所述处理部与所述存储器所保存的表示所述切削部分的所述体素信息之间的距离。

2.根据权利要求1所述的手术辅助装置，其中，

所述模拟部在进行手术前的切削时，检测对象部位的深度并运算出不连续性或者深度的变化程度，在变化程度超过了规定阈值的情况下，中止切削或者不更新切削数据。

3.根据权利要求1或2所述的手术辅助装置，其中，

所述导航部利用多点模型，对所述三维图像上的所述手术器具的处理部进行建模。

4.根据权利要求1～3中任一项所述的手术辅助装置，其中，

所述导航部使用设为对所述手术中的手术器具进行了切削的部分进行表示的体素信息的方向分量的向量，作为所述距离的向量。

5.根据权利要求1～4中任一项所述的手术辅助装置，其中，

所述导航部从所述切削部分开始按等距离来变更体素的颜色后进行显示。

6.根据权利要求1～5中任一项所述的手术辅助装置，其中，

所述配准运算部将所述内窥镜以及所述手术器具的坐标和所述三维图像的坐标进行坐标合并后，确认坐标合并的精度，在该精度超过了规定范围的情况下，对坐标合并的偏差进行校正。

7.根据权利要求1～6中任一项所述的手术辅助装置，其中，

所述导航部设定由所述体绘制运算部生成且由所述内窥镜所获取的第1显示区域、和在实际的手术中因所述手术器具而导致显示受限的第2显示区域，并显示该第1显示区域和该第2显示区域。

8.根据权利要求1～7中任一项所述的手术辅助装置，其中，

该手术辅助装置还具备显示所述三维图像、表示所述手术器具的前端的图像以及所述距离的显示部。

9.一种手术辅助程序，在观察内窥镜图像的同时使用切削用手术器具进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助程序使计算机执行具备以下步骤的手术辅助方法，该手术辅助方法具备：

获取患者的断层图像信息的步骤；

保存所述断层图像信息的体素信息的步骤；

基于所述体素信息，在与视线垂直的方向上对体素信息进行采样的步骤；

依次检测所述内窥镜以及手术器具的三维位置的步骤；

对所述三维图像的坐标与所述内窥镜及所述手术器具的坐标进行坐标合并的步骤；

在所述三维图像上将预定被虚拟地切削的手术的切削部分相关联到所述体素信息上后存储在存储器中的步骤；

计算出所述三维图像上的所述手术器具的处理部与所述存储器所保存的表示所述切削部分的所述体素信息之间的距离的步骤；以及

使用所述手术器具在手术中的坐标来显示所述三维图像上的所述手术器具的所述处理部，与手术中显示的内窥镜图像一起显示所述处理部与所述存储器所保存的表示所述切削部分的所述体素信息之间的距离。

10.一种手术辅助装置，在观察内窥镜图像的同时使用切削用手术器具进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装置具备：

模拟部，在与视线垂直的方向上对患者的断层图像信息的体素信息进行采样而生成的三维图像上，将预定被虚拟地切削的手术的切削部分相关联到所述体素信息上后进行存储；以及

导航部，计算出所述三维图像上的所述手术器具的处理部与存储器所保存的表示所述切削部分的所述体素信息之间的距离，使用所述手术器具在手术中的坐标来显示所述三维图像上的所述手术器具的所述处理部，并与手术中显示的内窥镜图像一起显示所述处理部与表示所述切削部分的所述体素信息之间的距离。