CN102821670A

CN102821670A - 内窥镜观察辅助系统、方法、装置和程序

Info

Publication number: CN102821670A
Application number: CN2011800163198A
Authority: CN
Inventors: 北村嘉郎; 中村佳儿
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-31
Filing date: 2011-03-30
Publication date: 2012-12-12
Anticipated expiration: 2031-03-30
Also published as: CN102821670B; US9220468B2; JP2011212245A; US20130018255A1; JP5535725B2; EP2554104A1; EP2554104B1; WO2011122037A1; EP2554104A4

Abstract

当用已经插入到进行观察的体腔中的内窥镜观察体腔内部时，本公开的发明可以更加可靠地识别需要注意的位置诸如经历外科手术的部位和治疗装置之间的接近度和位置关系。用由三维医用图像形成装置(5)形成的三维医用图像作为输入，虚拟内窥镜图像生成装置(24)在三维医用图像中生成显示如从一定位置观察的体腔内部的虚拟内窥镜图像，所述位置对应于用治疗装置位置检测装置(11)实时检测的治疗装置的位置。生成的虚拟内窥镜图像显示在WS显示器(10)上。

Description

内窥镜观察辅助系统、方法、装置和程序

发明背景

发明领域

本发明涉及使用插入到待检查的受试者体腔中的内窥镜辅助内窥镜外科手术、内窥镜检查等中的内窥镜观察技术。特别地，本发明涉及通过使用表示待检查的受试者体腔的虚拟内窥镜图像辅助内窥镜观察的技术。

相关技术描述

近年来，内窥镜外科手术，诸如腹腔镜检查外科手术和胸腔镜检查外科手术，引起关注。内窥镜外科手术不需要剖腹术、开胸术等。内窥镜外科手术仅需要切口以形成两或三个直径约为数厘米的孔用于引入内窥镜和治疗工具。因此，内窥镜外科手术具有对于患者的负担非常低的优点。然而，内窥镜的窄视野中的外科手术在技术上是困难的，并且需要由熟练医生进行操作。如果患者的血管或器官被误伤，并且发生出血，则必须将内窥镜外科手术切换到常规外科手术，包括剖腹术、开胸术等。

同时，用于从通过用CT等成像获得的三维体数据生成与内窥镜图像类似的图像的虚拟内窥镜技术是已知的。该技术广泛地用于北美特别用于仅通过用CT成像而不执行内窥镜检查而检测大肠中的肿瘤。

另外，已经提出了通过使用虚拟内窥镜图像用于辅助内窥镜外科手术的技术。

例如，日本未审查专利公布号2002-263053(专利文献1)公开了用于以相互叠加在其上的这样一种方式显示通过用内窥镜成像而获得的真实内窥镜图像和虚拟内窥镜图像的装置。在专利文献1中，用传感器检测内窥镜的位置，并且将检测位置用作视点以生成具有比所述内窥镜的视角更宽的视角的虚拟内窥镜图像。

另外，日本未审查专利公布号2005-021353(专利文献2)公开了用于显示合成图像和真实内窥镜图像的装置。在专利文献2中，实时检测内窥镜的位置，并且生成具有与内窥镜的视野相同视野的虚拟内窥镜图像，其将视野中血管的排列可视化。另外，实时检测内窥镜外科手术中使用的治疗工具的位置，并且生成虚拟内窥镜图像中的表示治疗工具的位置处的治疗工具的合成图像。

在这些文献中公开的技术中，可以用虚拟内窥镜图像弥补内窥镜的窄视野。然而，虚拟内窥镜图像的视点与真实内窥镜图像的视点相同，并且虚拟内窥镜图像的观察方向与真实内窥镜图像的观察方向相同。因此，关注区域，诸如将在其上进行外科手术的区域，和治疗工具可能不显示在虚拟内窥镜图像和真实内窥镜图像中，取决于关注区域、治疗工具和内窥镜之间的位置关系，并且可能不能识别这样一种位置关系。

另外，难以立体地识别内窥镜图像。因此，在通过使用这些文献中公开的技术而显示的虚拟内窥镜图像和真实内窥镜图像中，可能难以识别其中治疗工具变得接近于关注区域的状态。

发明概述

鉴于上述情况，本发明的目的是提供系统、方法、装置和程序，其能够可以更加明确地识别关注区域，诸如将在其上进行外科手术的区域，和治疗工具之间的位置关系，和其中在待用插入到体腔中的内窥镜检查的受试者体腔的内窥镜观察期间治疗工具变得接近于关注区域的状态。

本发明的内窥镜观察辅助系统包括：

三维医用图像形成装置，所述三维医用图像形成装置形成表示待检查受试者体腔的三维医用图像；

治疗工具位置检测装置，所述治疗工具位置检测装置实时检测插入到体腔中的治疗工具的位置；

虚拟内窥镜图像生成装置，所述虚拟内窥镜图像生成装置接收三维医用图像作为输入，并且生成表示从对应治疗工具位置观察的体腔的虚拟内窥镜图像，所述对应治疗工具位置是三维医用图像中对应于检测到的所述治疗工具位置的位置；和

显示装置，所述显示装置显示所述虚拟内窥镜图像。

本发明的内窥镜观察辅助方法包括下列步骤：

形成表示待检查的受试者体腔的三维医用图像；

实时检测插入到所述体腔中的治疗工具的位置；

接收所述三维医用图像作为输入，并且生成表示从对应治疗工具位置观察的体腔的虚拟内窥镜图像，所述对应治疗工具位置是所述三维医用图像中对应于检测到的所述治疗工具位置的位置；和

显示所述虚拟内窥镜图像。

本发明的内窥镜观察辅助装置包括：

三维医用图像获得装置，所述三维医用图像获得装置获得表示待检查的受试者体腔的三维医用图像；

治疗工具位置获得装置，所述治疗工具位置获得装置获得插入到所述体腔中的治疗工具位置，并且已经通过位置检测装置实时检测到所述位置；

虚拟内窥镜图像生成装置，其接收所述三维医用图像作为输入，并且生成表示从对应治疗工具位置观察的所述体腔的虚拟内窥镜图像，所述对应治疗工具位置是所述三维医用图像中对应于所获得的治疗工具位置的位置；和

显示控制装置，所述显示控制装置使显示装置显示所述虚拟内窥镜图像。

本发明的内窥镜观察辅助程序使计算机执行下列步骤：

获得表示待检查的受试者体腔的三维医用图像；

获得插入到所述体腔中的治疗工具的位置，并且已经通过位置检测装置实时检测到所述位置；

接收所述三维医用图像作为输入，并且生成表示从对应治疗工具位置观察的体腔的虚拟内窥镜图像，所述对应治疗工具位置是所述三维医用图像中对应于所获得的所述治疗工具位置的位置；和

使显示装置显示所述虚拟内窥镜图像。

将详细地描述本发明。

在本发明中，可以在检测治疗的工具位置的同时检测其中治疗工具向前直线移动的方向。另外，可以生成其中将对应治疗工具位置的视线上的图像信息(治疗工具视线)投影的虚拟内窥镜图像，并且治疗工具视线在三维医用图像中具有与检测到的其中治疗工具向前直线移动的方向对应的方向。这样一种虚拟内窥镜图像的具体实例是其中治疗工具视线是在虚拟内窥镜图像的视野中心处的视线(中心视线)的虚拟内窥镜图像。另外，虚拟内窥镜图像可以可识别地表示虚拟内窥镜图像中的位置，治疗工具视线上的图像信息已经投影在所述位置。

另外，在本发明中，可以将体腔中的(第一)关注结构在三维医用图像中的位置指定为(第一)关注位置。另外，可以生成虚拟内窥镜图像，其视野包括指定的(第一)关注位置。这样一种虚拟内窥镜图像的具体实例是这样的虚拟内窥镜图像，其中从对应治疗工具位置至指定的(第一)关注位置的视线是虚拟内窥镜图像的中心视线。另外，虚拟内窥镜图像可以至少可识别地表示(第一)关注结构中的(第一)关注位置。

这里，“(第一)关注结构”的具体实例是将在其上进行内窥镜外科手术的区域，在外科手术中需要注意的解剖结构等。具体而言，“(第一)关注结构”是血管、器官、肿瘤等。用于指定(第一)关注结构的位置的具体方法可以是使用已知图像识别技术的自动方法，通过使用者人工操作的方法，或可以组合使用这些方法。

另外，在本发明中，当相应治疗工具位置和(第一)关注结构相互接近到满足预定标准的这样一种程度时，可以是提供报警。可以在虚拟内窥镜图像等中可视地提示报警。备选地，可以通过使用吸引另一种感官的方法提示报警。

另外，在本发明中，可以检测三维医用图像中的体腔中的第二关注结构。另外，可以生成可识别地表示所检测到的第二关注结构的虚拟内窥镜图像。这里，“第二关注结构”的具体实例类似于第一关注结构的实例。因此，例如，第一结构可以是将在其上进行内窥镜外科手术的区域，并且第二关注结构可以是在外科手术中需要注意的解剖结构，或反之亦然。

在本发明中，可以检测插入到体腔中的内窥镜的位置。另外，可以生成虚拟内窥镜图像，其视野包括三维医用图像中的对应于检测到的内窥镜位置的位置(对应内窥镜位置)，并且虚拟内窥镜图像可以可识别地表示对应内窥镜位置。

这里，当在内窥镜观察以前获得三维医用图像时，在三维医用图像的成像或获得期间不将内窥镜插入到待检查的受试者体腔中。因此，当生成虚拟内窥镜图像时，应当在虚拟内窥镜图像中对应于用位置检测装置检测到的位置的位置处合成表示内窥镜的标记等。相反，当在内窥镜观察期间实时获得三维医用图像并且在三维医用图像中表示内窥镜时，应当以也将内窥镜呈现在虚拟内窥镜图像中的这样一种方式生成虚拟内窥镜图像。

另外，在本发明中，可以用内窥镜实时成像而形成表示体腔的真实内窥镜图像。另外，在基本上与检测生成虚拟内窥镜图像时使用的治疗工具的位置相同的时刻形成的真实内窥镜图像可以与虚拟内窥镜图像一起显示。因此，显示通过用内窥镜成像而实时形成的真实内窥镜图像，和从已经在基本上与形成真实内窥镜图像相同的时刻用位置检测装置实时检测到的治疗工具位置观察的虚拟内窥镜图像。

另外，当基于治疗工具位置的检测而重复虚拟内窥镜图像的生成时，真实内窥镜图像和虚拟内窥镜图像基于治疗工具的移动而实时更新。

这里，真实内窥镜图像和虚拟内窥镜图像可以显示在显示装置上。备选地，真实内窥镜图像和虚拟内窥镜图像可以单独显示在多个显示装置上。多个显示装置可以相互紧接地设置在相同的物理场所处以便两个图像是同时可观察的。备选地，多个显示装置可以设置成相互物理上远离以便单独观察两个图像。

另外，表述“虚拟内窥镜图像，其视野包括(第一)关注位置”，和表述“虚拟内窥镜图像，其视野包括对应内窥镜位置”指的是从视点(对应治疗工具位置)至(第一)关注位置或至对应内窥镜位置的视线上的图像信息应当反映在虚拟内窥镜图像中。例如，当结构，诸如器官、血管和褶皱存在于治疗工具和(第一)关注结构或内窥镜之间时，在虚拟内窥镜图像中表示内窥镜或(第一)关注结构并不总是必需的。

当生成“虚拟内窥镜图像”时，对应治疗工具位置到体腔中结构表面的距离可以用作确定虚拟内窥镜图像的像素值的决定要素。另外，可以使用颜色模板，颜色模板被定义为使得虚拟内窥镜图像中表示的体腔中的每个部分的外视图基本上与真实内窥镜图像中表示的体腔中的每个部分的外视图相同。这里，例如，颜色模板可以以这样一种方式定义，即，虚拟内窥镜图像中体腔中的每个部分的颜色基本上与真实内窥镜图像中体腔中每个部分的颜色相同。另外，颜色模板可以以这样一种方式定义，即，虚拟内窥镜图像中体腔中的每个部分表示为半透明的，如果必要，以便识别在真实内窥镜图像中由于被存在于后方结构的前侧上的物体等遮挡而观察不到的后方结构。

在本实施方案中，当在内窥镜观察期间进行三维医用图像的形成和获得时，可以实时获得三维医用图像。在所述情况下，可以通过在三维医用图像上进行图像识别处理而检测内窥镜或治疗工具的位置。

在本发明中，接收表示待检查的受试者体腔的三维医用图像作为输入，并且生成表示从三维医用图像中对应位置观察到的体腔的虚拟内窥镜图像，其对应于插入到体腔中的治疗工具的位置，并且所述位置已经被实时检测到。另外，显示虚拟内窥镜图像。这里，生成所显示的虚拟内窥镜图像，如同所述治疗工具是内窥镜那样。因此，可以从治疗工具的视点观察体腔。当虚拟内窥镜图像与真实内窥镜图像组合使用时，可以从多个角度观察体腔。因此，更加明确地识别关注区域和治疗工具之间的位置关系变得可能。另外，更加明确地识别其中治疗变得接近于关注区域的状态变得可能。因此，可以防止在外科手术、检查等期间的手术操作等中的错误。

在这时，基于实时检测治疗工具的位置的结果反馈而实时改变虚拟内窥镜的视点，并且连续显示来自改变的视点的虚拟内窥镜图像。因此，可以动态地并且更适当地识别其中治疗工具变得接近于关注结构的状态。

另外，可以通过用内窥镜实时成像而形成表示体腔的真实内窥镜图像，并且在基本上与检测生成虚拟内窥镜图像时使用的内窥镜的位置和姿态相同的时刻形成的真实内窥镜图像可以与虚拟内窥镜图像一起显示。在这样一种情况下，显示的真实内窥镜图像和虚拟内窥镜图像表示基本上在相同时间点时的体腔状态。另外，以这样一种方式连续显示真实内窥镜图像和虚拟内窥镜图像，以致它们在时间上相互同步。在这时，如果基于对治疗工具位置的检测而重复虚拟内窥镜图像的生成，则实时更新真实内窥镜图像和虚拟内窥镜图像。具体而言，以这样一种方式改变真实内窥镜图像的视野以便与操作诸如内窥镜的移动和旋转关联。另外，可以以这样一种方式改变虚拟内窥镜图像的视野以与操作诸如治疗工具的移动关联。如上所述，可以通过使用真实内窥镜图像和虚拟内窥镜图像以它们相互补充的方式观察体腔。

附图简述

图1是说明根据本发明的第一至第九实施方案的内窥镜观察辅助系统的硬件配置的示意图；

图2是说明根据本发明的第一实施方案的内窥镜观察辅助系统的功能框图；

图3是说明本发明的第一实施方案中的内窥镜观察辅助处理流程的流程图；

图4A是说明本发明的第一实施方案中的治疗工具位置以及虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图4B是说明本发明的第一实施方案中的虚拟内窥镜图像的实施例的示意图；

图5是说明根据本发明的第二实施方案的内窥镜观察辅助系统的功能框图；

图6是说明本发明的第二实施方案中的内窥镜观察辅助处理流程的流程图；

图7A是说明本发明的第二实施方案中的治疗工具位置，关注结构位置，虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图7B是说明本发明的第二实施方案中的虚拟内窥镜图像的实施例的示意图；

图8是说明根据本发明的第三至第七实施方案的内窥镜观察辅助系统的功能框图；

图9是说明本发明的第三至第七实施方案中的内窥镜观察辅助处理流程的流程图；

图10A是说明本发明的第三实施方案中的治疗工具位置，关注结构位置，虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图10B是说明本发明的第三实施方案中的虚拟内窥镜图像的实施例的示意图；

图11A是说明本发明的第四实施方案中的治疗工具位置，关注结构位置，虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图11B是说明本发明的第四实施方案中的虚拟内窥镜图像的实施例的示意图；

图12A是说明本发明的第五实施方案中的治疗工具位置，关注结构位置，虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图12B是说明本发明的第五实施方案中的虚拟内窥镜图像的实施例的示意图；

图13A是说明当另一种结构存在于关注结构和治疗工具之间时，本发明的第六实施方案中的虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图13B是说明本发明的第六实施方案中的虚拟内窥镜图像的实施例的示意图；

图14A是说明本发明的第七实施方案中用于基于从视点到腹腔中的解剖结构表面的距离而改变虚拟内窥镜图像的显示颜色的颜色模板的实施例的示意图；

图14B是说明本发明的第七实施方案中的虚拟内窥镜图像的实施例的示意图，该虚拟内窥镜图像的显示颜色已经基于距视点的距离而改变；

图15是说明根据本发明的第八实施方案的内窥镜观察辅助系统的功能框图；

图16是说明本发明的第八实施方案中的内窥镜观察辅助处理流程的流程图；

图17是说明本发明的第八实施方案中显示的报警的实施例的示意图；

图18是说明根据本发明的第九实施方案的内窥镜观察辅助系统的功能框图；

图19是说明本发明的第九实施方案中的内窥镜观察辅助处理流程的流程图；

图20A是说明本发明的第九实施方案中的关注结构、需要注意的结构和治疗工具之间位置关系，和虚拟内窥镜的视野的实施例的示意图；

图20B是说明本发明的第九实施方案中的虚拟内窥镜图像的实施例的示意图；

图21是说明根据本发明的第十实施方案的内窥镜观察辅助系统的硬件配置的图；

图22是说明根据本发明的第十实施方案的内窥镜观察辅助系统的功能框图；

图23是说明本发明的第十实施方案中的内窥镜观察辅助处理流程的流程图；

图24A是说明本发明的第十实施方案中的治疗工具、内窥镜和关注结构之间的位置关系和虚拟内窥镜的视点位置、中心视线和视角的实施例的示意图；

图24B是说明本发明的第十实施方案中的虚拟内窥镜图像的实施例的示意图；

图25是说明根据本发明的第十一实施方案的内窥镜观察辅助系统的功能框图；和

图26是说明本发明的第十一实施方案中的内窥镜观察辅助处理流程的流程图。

具体实施方式

在下文中，将描述根据本发明实施方案的内窥镜观察辅助系统。

图1是说明根据本发明的第一实施方案的内窥镜观察辅助系统的硬件配置的示意图。如表1中说明，该系统包括内窥镜1、数字处理器2、光源装置3、用于真实内窥镜图像的显示器4、模态5、治疗工具6、用于治疗工具的标记器7a、位置传感器8、图像处理工作站9和用于图像处理工作站的显示器10(在下文中，WS显示器)。

在本实施方案中，内窥镜1是用于腹腔的刚性内窥镜，并且将内窥镜1插入到待检查的受试者的腹腔中。通过光纤从光源装置3引导的光从内窥镜1的前端输出，并且用内窥镜1的成像光学系统获得待检查的受试者的腹腔内部的图像。数字处理器2将由内窥镜1获得的成像信号转换成数字图像信号。在数字处理器2通过执行数字信号处理诸如白平衡调整和黑点校正进行图像质量校正以后，数字处理器2附加由DICOM(医学数字成像和通信)标准规定的补充信息，并且输出真实内窥镜图像数据(I_RE)。根据基于DICOM标准的通信协议将输出的真实内窥镜图像数据(I_RE)经由LAN传送到图像处理工作站9。另外，数字处理器2将真实内窥镜图像数据(I_RE)转换成模拟信号，并将模拟信号输出到真实内窥镜图像显示器4。因此，真实内窥镜图像显示器4显示真实内窥镜图像(I_RE)。因为用内窥镜1获得成像信号是以预定帧率获得的，因此真实内窥镜显示器4显示真实内窥镜图像(I_RE)，作为表示腹腔内部的运动图像。另外，内窥镜1还可以基于使用者的操作进行静止成像。

模态5是通过将待检查区域成像而生成表示待检查的受试者的待检查区域的三维医用图像的图像数据(V)的设备。这里，模态5是CT设备。还已经将DICOM标准规定的补充信息附加到三维医用图像数据(V)。另外，还根据基于DICOM标准的通信协议将三维医用图像数据(V)经由LAN传送到图像处理工作站9。

治疗工具的标记器7a和位置传感器8构成已知的三维位置测量设备。将治疗工具的标记器7a设置在治疗工具6的手柄部件附近，并且光学位置传感器8以预定时间间隔检测标记器7a的三维位置。治疗工具的标记器7a由多片标记器组成。因此，位置传感器8还可以基于多片标记器之间的位置关系检测治疗工具6的姿态。这里，治疗工具6的姿态是表示其中插入治疗工具的方向的向量，并且姿态与其中治疗工具向前直线移动的方向相同。另外，可以通过偏移量计算操作计算治疗工具6的前端部分的三维位置PS_T。位置传感器8将治疗工具6的经计算的三维位置数据PS_T和三维姿态数据DS_T经由USB接口传送到图像处理工作站9。

图像处理工作站9是包括已知硬件配置诸如CPU、主存储装置、辅助存储装置、输入输出接口、通信接口和数据总线的计算机。将输入装置(点击装置、键盘等)和WS显示器10连接到图像处理工作站9。另外，经由LAN将图像处理工作站9连接到数字处理器2和模态5。通过USB将图像处理工作站9连接到位置传感器8。另外，已经将已知的操作系统、多种应用软件等安装在图像处理工作站9中。另外，本发明的用于执行内窥镜观察辅助处理的应用程序已经安装在图像处理工作站9中。可以从记录介质诸如CD-ROM安装这些种类的软件。备选地，可以从经由网络诸如互联网连接的服务器的存储装置下载软件并且安装。

图2是说明根据本发明的第一实施方案的内窥镜观察辅助系统的框图，并且以功能水平划分所述系统。如图2中说明，根据本发明的第一实施方案的内窥镜观察辅助系统包括内窥镜1、真实内窥镜图像形成装置2、用于真实内窥镜图像的显示器4、三维医用图像形成装置5、WS显示器10、治疗工具位置检测装置11、真实内窥镜图像获得装置21、治疗工具位置获得装置22、三维医用图像获得装置23、虚拟内窥镜图像生成装置24和显示控制装置25。当图1中说明的硬件装置和图2中说明的功能框基本上具有一一对应关系时，为它们指定相同的标记。具体而言，真实内窥镜图像形成装置2的功能是通过图1中说明的数字处理器实现的。三维医用图像形成装置5的功能是通过图1中说明的模态实现的。同时，治疗工具位置检测装置11的功能是通过治疗工具的标记器7a和位置传感器8实现的。另外，图像处理工作站9是由虚线框表示的，并且虚线框中的每个处理装置的功能是通过在图像处理工作站9处执行预定程序实现的。另外，真实内窥镜图像I_RE、治疗工具检测位置PS_T、治疗工具检测姿态DS_T、治疗工具位置P_T、治疗工具姿态D_T、三维医用图像V和虚拟内窥镜图像I_VE分别是通过虚线框中的处理装置从图像处理工作站9的预定存储区读取或写入的数据。

接着，将通过使用图3中说明的流程图示意性描述根据本发明的第一实施方案的内窥镜观察辅助系统中由使用者进行的操作，和在上述处理装置的每一个中进行的处理流程。

首先，在用内窥镜1观察待检查的受试者腹腔以前，将待检查的受试者腹腔的内部用三维医用图像形成装置5成像，并且形成三维医用图像V。在图像处理工作站9中，三维医用图像获得装置23获得由三维医用图像形成装置5形成的三维医用图像V(#2)。

接着，如图3中说明的流程图的右侧上所写，在关注结构上进行的内窥镜外科手术期间，换言之，在用内窥镜1观察待检查的受试者腹腔直到观察结束期间(#12；是(YES))，真实内窥镜图像形成装置2用插入到体腔中的内窥镜1以预定帧率重复真实内窥镜图像I_RE的形成，并且将形成的真实内窥镜图像I_RE实时显示在用于真实内窥镜图像的显示器4上作为完全动态图像。另外，治疗工具位置检测装置11以预定时间间隔实时重复被插入到体腔中的治疗工具6的位置PS_T和姿态DS_T的检测。

在图像处理工作站9中，真实内窥镜图像获得装置21获得由真实内窥镜图像形成装置2形成的真实内窥镜图像I_RE(#4)。在基本上与此相同的时刻，治疗工具位置获得装置22获得由治疗工具位置检测装置11检测的治疗工具检测位置PS_T和治疗工具检测姿态DS_T。另外，治疗工具位置获得装置22将获得的治疗工具检测位置PS_T和治疗工具检测姿态DS_T转换为三维医用图像V的坐标系中的位置和姿态，并且输出获得的治疗工具位置P_T和姿态D_T(#6)。

另外，内窥镜视角获得装置25从图像处理工作站9中的预定存储区获得内窥镜1的视角A_E(#5)。

虚拟内窥镜图像生成装置24接收由三维医用图像获得装置23获得的三维医用图像V作为输入，并且生成虚拟内窥镜图像I_VE，该虚拟内窥镜图像的视点是由治疗工具位置获得装置22获得的治疗工具位置P_T。另外，治疗工具姿态D_T，换言之，其中治疗工具向前直线移动的方向是在虚拟内窥镜的视野中心处的视线(#8)。

另外，显示控制装置25使WS显示器10显示由真实内窥镜图像获得装置21获得的真实内窥镜图像I_RE和由虚拟内窥镜图像生成装置24生成的虚拟内窥镜图像I_VE(#10)。

在图像处理工作站9中，除非进行用于结束观察的指示操作(#12；否(NO))，重复新的真实内窥镜图像I_RE的获得(#4)、在那时的治疗工具位置P_T和治疗工具姿态D_T的获得(#6)、虚拟内窥镜图像I_VE的生成(#8)、真实内窥镜图像I_RE和虚拟内窥镜图像I_VE的显示更新(#10)。因此，将真实内窥镜图像I_RE和虚拟内窥镜图像I_VE以它们在时间上相互同步的这样一种方式连续显示在WS显示器10上。同时，当进行用于结束观察的指示操作时(#12；是(YES))，图像处理工作站9结束步骤#4至#10的重复处理。

接着，将详细地描述在图像处理工作站9的每个处理装置处进行的处理。

真实内窥镜图像获得装置21是通过与真实内窥镜图像形成装置(数字处理器)2通信而接收真实内窥镜图像I_RE的通信接口。真实内窥镜图像获得装置21将真实内窥镜图像I_RE存储在图像处理工作站9的预定存储区中。基于来自真实内窥镜图像获得装置21的请求从真实内窥镜图像形成装置2传输真实内窥镜图像I_RE。

治疗工具位置获得装置22具有作为用于通过与治疗工具位置检测装置11通信而获得治疗工具检测位置PS_T和治疗工具检测姿态DS_T的通信接口的功能。另外，治疗工具位置获得装置22具有将位置传感器8的三维坐标系中获得的治疗工具检测位置PS_T和治疗工具检测姿态DS_T转换成由三维医用图像V的三维坐标系中的坐标值表示的治疗工具位置P_T和治疗工具姿态D_T的功能。另外，治疗工具位置获得装置22将治疗工具位置P_T和治疗工具姿态D_T存储在图像处理工作站9的预定存储区中。在前者通信接口功能中，基于来自治疗工具位置获得装置22的请求从治疗工具位置检测装置11获得治疗工具检测位置PS_T和治疗工具检测姿态DS_T。在后者坐标转换功能中，应当预先基于位置传感器的三维坐标系中每个坐标轴的方向和三维医用图像V的三维坐标系中每个坐标轴的方向之间的对应关系获得坐标轴的旋转量。另外，应当预先测量位置传感器8的三维坐标系中待检查的受试者中位置的坐标值，所述位置对应于三维医用图像V的原点。另外，应当基于所述原点的坐标值获得两个坐标系的坐标轴的平行移动量。然后，可以通过使用用于执行所述旋转量的旋转和平行移动量的平行移动的矩阵将位置传感器8的三维坐标系中表示的治疗工具检测位置PS_T和治疗工具检测姿态DS_T转换为由三维医用图像V的三维坐标系中的坐标值表示的治疗工具位置P_T和治疗工具姿态D_T。

三维医用图像获得装置23具有用于从三维医用图像形成装置5接收三维医用图像V的通信接口功能。另外，三维医用图像获得装置23将三维医用图像V存储在图像处理工作站9中的预定存储区中。

虚拟内窥镜图像生成装置24接收三维医用图像V作为输入，并且使用治疗工具6的位置P_T作为虚拟内窥镜的视点位置VP_VE，如图4A中说明。另外，虚拟内窥镜图像生成装置24使用治疗工具6的姿态向量D_T作为视线向量(在下文中，称为中心视线向量)VL_VE，其经过虚拟内窥镜图像的视野中心。另外，虚拟内窥镜图像生成装置24使用由程序的处理参数和设置文件提供的虚拟内窥镜视角的初始值A_VE0作为视角A_VE。另外，将从虚拟内窥镜的视点位置VP_VE放射状延伸的多条视线设置在视角A_VE的范围内，并且通过用中心投影使用已知的体绘制方法将体素值投影在每一条视线上而生成虚拟内窥镜图像I_VE。图4B是说明生成的虚拟内窥镜图像I_VE的示意图。这里，当进行体绘制时，使用颜色模板，在所述颜色模板中预先定义颜色和透明度以便获得表示与真实内窥镜图像I_RE中表示的腹腔中每个部分的外视图基本上相同的外视图的图像。

显示控制装置28生成显示屏，在所述显示屏中将真实内窥镜图像I_RE和虚拟内窥镜图像I_VE设置成相互紧接，并且将显示屏输出到WS显示器10。因此，WS显示器10显示所述显示屏，在所述显示屏中将真实内窥镜图像I_RE和虚拟内窥镜图像I_VE设置为相互紧接。

如上所述，在本发明的第一实施方案中，虚拟内窥镜图像生成装置24接收三维医用图像V作为输入，并且使用治疗工具6的位置P_T作为虚拟内窥镜的视点位置VP_VE，并且使用治疗工具6的姿态向量D_T作为虚拟内窥镜的中心视线向量VL_VE，并且生成虚拟内窥镜图像I_RE。另外，显示控制装置28在WS显示器10上显示真实内窥镜图像I_RE和虚拟内窥镜图像I_VE。这里，显示的虚拟内窥镜图像I_VE表示通过在其中治疗工具6从治疗工具6的位置P_T向前直线移动的方向上观察体腔获得的状态。换言之，显示的虚拟内窥镜图像I_VE表示体腔，如同治疗工具6是内窥镜一样。因此，可以从治疗工具6的视点观察体腔。如果将虚拟内窥镜图像I_VE与真实内窥镜图像I_RE组合使用，则可以从许多方面观察体腔内部。

在这时，虚拟内窥镜的视野基于用治疗工具位置检测装置11实时检测治疗工具6的位置的结果反馈而实时改变，并且连续显示虚拟内窥镜图像I_VE。因此，可以动态地并且更精确地识别治疗工具6在体腔中的移动状况。

另外，通过用内窥镜1实时成像，真实内窥镜图像形成装置2形成表示体腔的真实内窥镜图像I_RE，并且显示真实内窥镜图像I_RE，所述真实内窥镜图像I_RE是在基本上与检测在生成虚拟内窥镜图像I_VE时使用的治疗工具6的位置相同的时刻形成的。因此，真实内窥镜图像I_RE和虚拟内窥镜图像I_VE表示基本上同一时刻的体腔内部的状况，并且将真实内窥镜图像I_RE和虚拟内窥镜图像I_VE以它们在时间上相互同步的这样一种方式连续显示。在这时，将真实内窥镜图像I_RE的视野以这样一种方式改变以便与操作诸如内窥镜1的移动和旋转关联。另外，将虚拟内窥镜图像I_VE的视野以这样一种方式改变以便与操作诸如治疗工具6的移动和旋转关联。如上所述，在本发明的第一实施方案中，可以用真实内窥镜图像I_RE和虚拟内窥镜图像I_VE以它们相互补充的这样一种方式实时观察体腔内部。

另外，虚拟内窥镜图像生成装置24通过使用颜色模板生成虚拟内窥镜图像I_VE，在所述颜色模板中，预先定义颜色和透明度以便获得具有基本上与真实内窥镜图像I_RE中表示的腹腔中每个部分的外视图相同的外视图的图像。因此，当显示控制装置25在WS显示器10上相互紧接地显示真实内窥镜图像I_RE和虚拟内窥镜图像I_VE时，可以观察两个图像，而不经历任何不协调的感觉。

在上述实施方案中，合意地是，通过将虚拟内窥镜的视角的初始值A_VE0设置以比内窥镜1的视角更宽的角度而用更宽的视角范围补充内窥镜1的视野。

在上述实施方案中，仅基于治疗工具6的位置P_T和姿态D_T确定虚拟内窥镜的视野。因此，虚拟内窥镜图像I_VE不总是包括体腔中的关注结构。在一些情况下，必需移动治疗工具6以检验治疗工具6和关注结构之间的位置关系和其中治疗工具6变得接近于关注结构的状态。

因此，在本发明的第二实施方案中，基于治疗工具6的位置和关注结构的位置确定虚拟内窥镜的视野。图5是本发明的第二实施方案中的内窥镜观察辅助系统的功能框图。如图5中说明，除了第一实施方案的元件以外，还提供关注位置指定装置26。

图6是说明本发明的第二实施方案中的内窥镜观察辅助处理流程的流程图。如图6中说明，在第一实施方案的步骤#2中获得三维医用图像V以后，关注位置指定装置26呈现用于接收指定用三维医用图像获得装置23获得的三维医用图像V中表示的体腔中的关注结构(例如，将在其上进行外科手术的区域)的操作的用户界面。另外，关注位置指定装置26基于获得的三维医用图像V指定三维医用图像V中指定的关注结构的位置P_I(#3)。其后，以类似于第一实施方案的方式获得真实内窥镜图像I_RE(#4)。这里，如流程图的右侧上所写，治疗工具位置检测装置11不输出治疗工具检测姿态DS_T，并且仅输出治疗工具检测位置PS_T。因此，在步骤#6中，治疗工具位置获得装置22仅获得治疗工具位置P_T。在这以后，处理类似于第一实施方案。

接着，将详细地描述本发明的第二实施方案中的每个处理装置的处理内容，并且将主要描述不同于第一实施方案的特征。

关注位置指定装置26以表示用已知MPR方法从三维医用图像V生成的预定横截面的切片图像形式呈现用户界面。用户界面通过使用图像处理工作站9的点击装置或键盘接收用于指定关注结构的操作。例如，当切片图像中的关注结构被点击装置点击时，关注位置指定装置26确定已经在三维医用图像V中通过点击指定的关注结构的位置P_I，并且将位置P_I存储在图像处理工作站9的预定存储区中。这里，作为关注结构，根据使用者所需指定在其上将进行外科手术的区域，在外科手术中需要注意的区域等。

如上所述，治疗工具位置检测装置11不输出治疗工具检测姿态DS_T。另外，治疗工具位置获得装置22也不输出治疗工具姿态D_T。

虚拟内窥镜图像生成装置24接收三维医用图像V作为输入。另外，如图7A中说明，虚拟内窥镜图像生成装置24使用治疗工具6的位置P_T作为虚拟内窥镜的视点位置VP_VE。虚拟内窥镜图像生成装置24通过使用从治疗工具6的位置P_T对着关注结构位置P_I定向的视线作为中心视线向量VL_VE，并且通过使用视角的初始值A_VE0作为视角A_VE，生成虚拟内窥镜图像I_VE。

如上所述，在本发明的第二实施方案中，由虚拟内窥镜图像生成装置24生成的虚拟内窥镜图像I_VE是以关注结构的位置P_I处于视野中心的这样一种方式表示的，如图7B中所说明。因此，关注结构总是包括在虚拟内窥镜图像I_VE中。因此，可以更加明确地识别治疗工具6和关注结构之间的位置关系和其中治疗工具6变得接近于关注结构而不用操作治疗工具6的状态。

然而，在第二实施方案中生成的虚拟内窥镜图像I_VE中，难以识别其中治疗工具6向前直线移动的方向。

因此，将描述其中治疗工具6和关注结构之间的位置关系或紧密接近度和其中治疗工具6向前直线移动的方向两者都容易被识别的实施方案。

图8是说明根据本发明的第三至第五实施方案的内窥镜观察辅助系统的功能框图。如图8中所说明，这些实施方案不同于第二实施方案之处在于，治疗工具位置检测装置11检测治疗工具检测姿态DS_T，和治疗工具位置获得装置22获得治疗工具姿态D_T。类似地，在图9中说明的流程图中，这些实施方案不同于第二实施方案之处在于，在步骤#6中与治疗工具的位置P_T一起获得治疗工具的姿态D_T，和在重复步骤#4至#10时不仅检测治疗工具的位置PS_T而且检测治疗工具的姿态DS_T。

在本实施方案中，虚拟内窥镜图像生成装置24接收三维医用图像V作为输入。另外，如图10A中所说明，治疗工具6的位置P_T用作虚拟内窥镜的视点位置VP_VE，并且治疗工具6的姿态向量D_T用作中心视线向量VL_VE。另外，以关注结构的位置P_I包括在虚拟内窥镜的视野中的这样一种方式生成具有视角A_VE的虚拟内窥镜图像I_VE。这里，例如，当连接虚拟内窥镜的视点位置VP_VE和关注结构的位置P_I的向量和虚拟内窥镜的中心视线向量VL_VE之间形成的角度是α时，通过对2α增加常数或通过将2α乘以大于1的预定系数而获得虚拟内窥镜的视角A_VE。

如上所述，在本发明的第三实施方案中，在用虚拟内窥镜图像生成装置24生成的虚拟内窥镜图像I_VE中，视野中心的方向表示其中治疗工具6向前直线移动的方向，并且关注结构包括在视野中，如图10B中所说明。

本发明的第四实施方案是用于设置虚拟内窥镜视野的方法的修改实施例。在本实施方案中，虚拟内窥镜图像生成装置24接收三维医用图像V作为输入。另外，如图11A中所说明，虚拟内窥镜图像生成装置24使用治疗工具6的位置P_T作为虚拟内窥镜的视点位置VP_VE。虚拟内窥镜图像生成装置24通过使用从治疗工具6的位置P_T对着关注结构的位置P_I定向的视线作为中心视线向量VL_VE而生成虚拟内窥镜图像I_VE。虚拟内窥镜图像生成装置24以治疗工具6的姿态向量D_T包括在虚拟内窥镜的视野中的这样一种方式生成具有视角A_VE的虚拟内窥镜图像I_VE。这里，例如，当虚拟内窥镜的姿态向量D_T和中心视线向量VL_VE之间形成的角度是β时，通过对2β增加常数或通过将2β乘以大于1的预定系数而获得虚拟内窥镜的视角A_VE。

在本实施方案中，虚拟内窥镜图像生成装置24进一步计算姿态向量D_T上的图像信息所投影的虚拟内窥镜图像I_VE中的位置，并且增加标记器AP_T(图11B中的星形标记)，其表示其中治疗工具6在经计算的位置处向前直线移动的方向。

如上所述，在本发明的第四实施方案中，在用虚拟内窥镜图像生成装置24生成的虚拟内窥镜图像I_VE中，关注结构P_I总是呈现在视野中心，并且在图像中指示其中治疗工具6向前直线移动的方向，如图11B中所说明。

本发明的第五实施方案也是用于设置虚拟内窥镜视野的方法的修改实施例。在本实施方案中，虚拟内窥镜图像生成装置24接收三维医用图像V作为输入。另外，如图12A中所说明，虚拟内窥镜图像生成装置24使用治疗工具6的位置P_T作为虚拟内窥镜的视点位置VP_VE。虚拟内窥镜图像生成装置24通过使用视线作为中心视线向量VL_VE而生成虚拟内窥镜图像I_VE，所述视线划分姿态向量D_T和从治疗工具6的位置P_T至关注结构的位置P_I定向的向量之间形成的角度θ。虚拟内窥镜图像生成装置24以将姿态向量D_T和关注结构包括在虚拟内窥镜的视野中的这样一种方式生成具有视角A_VE的虚拟内窥镜图像I_VE。这里，例如，可以通过对θ增加常数或通过将θ乘以大于1的预定系数而获得虚拟内窥镜的视角A_VE。

同样在本实施方案中，虚拟内窥镜图像生成装置24进一步计算姿态向量D_T上的图像信息所投影的虚拟内窥镜图像I_VE中的位置，并且增加标记器AP_T(图12B中的星形标记)，其表示其中治疗工具6在经计算的位置处向前直线移动的方向。

如上所述，在本发明的第五实施方案中，在用虚拟内窥镜图像生成装置24生成的虚拟内窥镜图像I_VE中，关注结构P_I总是呈现在视野中心，并且在图像中指示其中治疗工具6向前直线移动的方向，如图11B中所说明。

如上所述，在本发明的第三至第五实施方案中，虚拟内窥镜图像生成装置24生成表示其中治疗工具6向前直线移动的方向和关注结构两者的虚拟内窥镜图像I_VE。因此，可以更容易地并且更明确地确定治疗工具6和关注结构之间的位置关系或紧密接近度和其中治疗工具6向前直线移动的方向两者。因此，可以在外科手术或检查期间防止人工操作中的失误。

在第三至第五实施方案的每一个中，当测定虚拟内窥镜的视角时，可以预先设置比内窥镜1的视角更宽的视角的初始值A_VE0。当上述处理中获得的视角值小于初始值A_VE0时，初始值A_VE0可以用作视角A_VE以使虚拟内窥镜的视角A_VE比内窥镜1的视角更宽。相反，当获得的视角A_VE大于或等于预定阈值时，可以在设置视角时将它判断为误差，并且可以进行预定的误差处理(显示报警信息以催促使用者停止处理，改变治疗工具6的姿态，校正关注结构的位置P_I等)。另外，视角的初始值A_VE0可以是不比必需的值大的值，并且可以确定基于上述角度α、β和θ的角度A_VE。然后，例如，当关注结构接近于虚拟内窥镜的视野中心定位时，可以通过收窄视角A_VE而设置大的放大倍数。因而，将虚拟内窥镜的视野中的图像放大，并且观察变得容易。

另外，还可以在虚拟内窥镜图像I_VE中将关注结构的位置P_I投影的位置处添加标记器等。备选地，关注位置指定装置24可以基于由使用者指定的关注结构的位置P_I提取表示全部关注结构的区域。另外，通过使用不同于用于其它结构的模板的颜色模板，虚拟内窥镜图像生成装置27应当在表示全部关注结构的区域上执行体绘制。然后，可以以高度可区别方式表示图10B等中说明的虚拟内窥镜图像I_VE中关注结构的区域。因此，虚拟内窥镜图像I_VE变得更容易观察。这里，在上述关注结构区域的提取中，例如可以使用由本申请的申请人提出的日本未审查专利公布号2008-245719。具体而言，接收关注结构区域中任意点P_I的设定(在下文中，该点将被称为使用者设定点)。另外，通过使用关于已经预先定义的病变区域的类似尺寸的信息确定其中可能存在病变区域的三维存在范围。另外，通过使用区域划分方法等诸如图分割方法，可以基于设定点和确定的存在范围以外的点提取病变区域。

本发明的第六实施方案是虚拟内窥镜图像生成装置24中的体绘制的修改的实施例。没有在该修改的实施例中描述的内窥镜观察辅助系统的硬件配置和功能块，全部处理流程等类似于第三实施方案的那些。

图13A是说明关注结构和治疗工具6之间的位置关系的实施例的示意图。如图13A中说明，当另一个解剖结构遮挡作为虚拟内窥镜图像I_VE的视点的治疗工具6的位置P_T至关注结构的路径时，如果已经以对于解剖结构设置高不透明性水平的这样一种方式定义颜色模板，则定位在解剖结构后方的关注结构不绘制在虚拟内窥镜图像I_VE中。因此，在第六实施方案中，通过使用其中已经以体腔的每个部分都是半透明显示的这样一种方式定义不透明度水平的颜色模板，虚拟内窥镜图像生成装置24生成虚拟内窥镜图像I_VE。因此，在生成的虚拟内窥镜图像I_VE中，将关注结构的位置P_I和治疗工具位置P_T之间存在的解剖结构半透明地显示，如图13B中示意性地说明。因而，存在于解剖结构后方的关注结构的位置P_I变成可识别的。特别地，当已经提取了关注结构的区域，并且不同于用于其它区域的颜色模板的颜色模板用于关注结构的区域时，如第三至第五实施方案的修改实施例中所描述，即使解剖结构存在于关注结构位置P_I和治疗工具位置P_T之间，也可以以高度可识别方式表示关注结构的全部区域。真实内窥镜图像形成装置2不能形成如上所述的其中半透明显示腹腔中的解剖结构的图像。因此，使用其中半透明显示解剖结构的虚拟内窥镜图像I_VE以补充真实内窥镜图像I_VE在实际使用中是非常有价值的。

本发明的第七实施方案是虚拟内窥镜图像生成装置24中的体绘制的修改的实施例。没有在该修改的实施例中描述的内窥镜观察辅助系统的硬件配置和功能块，全部处理流程等类似于第三实施方案的那些。

图14A是说明本发明的第七实施方案中使用的颜色模板的实施例的示意图。如图14A中所说明，以基于治疗工具6的位置P_T(与虚拟内窥镜的视点位置P_VE相同)至腹腔中结构表面的距离改变虚拟内窥镜图像I_VE的颜色的这样一种方式定义该颜色模板。例如，虚拟内窥镜图像生成装置24检测体素值急剧改变预定阈值以上的位置，或当进行中心投影时体素值在每条视线上变成预定阈值以上的位置，作为腹腔中结构的表面。另外，虚拟内窥镜图像生成装置24计算从治疗工具6的位置P_T至腹腔中结构表面的距离，并且通过使用该颜色模板确定虚拟内窥镜图像I_VE中检测到的结构表面的像素值。然后，如图14B中示意性地说明，在生成的虚拟内窥镜图像I_VE中，当距治疗工具6的位置P_T的距离较短时结构表面的颜色较浅，并且当距治疗工具6的位置P_T的距离较长时结构表面的颜色较深。当以这样一种方式生成虚拟内窥镜图像I_VE时，可以用透视感来补充趋于不提供透视的虚拟内窥镜图像I_VE。因此，更容易地识别其中治疗工具6变得接近于腹腔中结构(包括关注结构)的状态变得可能。

在本发明的第八实施方案中，将报警判断装置27添加到第三实施方案中，如图15的功能框图中所说明。内窥镜观察辅助系统的硬件配置类似于第三实施方案。

报警判断装置27是图像处理工作站9中装备的处理装置。报警判断装置27计算治疗工具6的位置P_T和关注结构的位置P_I之间的距离。当计算的距离小于预定阈值时，换言之，当治疗工具6不可忍受地接近于关注结构时，报警判断装置27输出报警信息WM。

图16是说明本发明的第八实施方案中内窥镜观察辅助处理流程的流程图。如图16中所说明，在第三实施方案的步骤#10中显示真实内窥镜图像I_RE和虚拟内窥镜图像I_VE以后，报警判断装置27将距离和阈值相互比较(#11.1)。当距离小于阈值时(#11.1；是(YES))，报警判断装置27输出报警信息WM。另外，如图17的实施例中说明，显示控制装置25将具有“接近警告”备注的箭头标记叠加在关注结构的位置P_I附近。因此，容易确定其中治疗工具6异常接近于关注结构的状态变得可能。因此，可以防止治疗工具6的错误操作。当可以在外科手术期间由于被损伤而导致严重出血的血管等已经被关注位置指定装置26指定为关注结构时，这种报警显示是特别有效的。

用于将报警信息输出到外部的方法可以是将报警信息叠加在虚拟内窥镜图像I_VE上的上述方法。备选地，可以输出报警声或报警音，或可以进行报警信息的叠加和报警声的输出两者等。另外，可以预先准备基于距离以逐步方式限定风险水平的风险水平判断表，并且报警判断装置27可以参考风险水平判断表基于经计算的距离确定风险水平。另外，报警判断装置27可以输出风险水平值作为报警信息WM。另外，显示控制装置25可以使WS显示器10基于风险水平显示图标等。

在本发明的第九实施方案中，将需要注意的结构检测装置28添加到第一实施方案，如图18的功能框图中所说明。内窥镜观察辅助系统的硬件配置类似于第三实施方案。

需要注意的结构检测装置28是安装在图像处理工作站9中的处理装置。需要注意的结构检测装置28接收三维医用图像V作为输入，并且通过使用已知的图像识别方法检测需要注意的结构区域RA。图20A是说明治疗工具6、关注结构和需要注意的结构之间的位置关系的实施例的示意图。在该实施例中，需要注意的结构检测装置28通过执行已知的血管提取处理而检测存在于腹部壁后方的需要注意的血管区域RZ。

图19是说明本发明的第九实施方案中内窥镜观察辅助处理流程的流程图。如图19中所说明，在第三实施方案的步骤#3中指定关注位置P_I以后，需要注意的结构检测装置28检测需要注意的结构区域RA(#3.1)。另外，在步骤#8中，虚拟内窥镜图像生成装置24通过使用以需要注意的结构区域RA是视觉可识别的这样一种方式定义的颜色模板生成虚拟内窥镜图像I_VE。图20B是说明生成的虚拟内窥镜图像I_VE的实施例的示意图。通过使用颜色模板生成图20B中说明的虚拟内窥镜图像I_VE，在所述颜色模板中，以表示腹部壁的像素是半透明的并且表示血管的像素的识别特征是更高的这样一种方式定义颜色和不透明度。因此，需要注意的结构的识别特征变得更高。因此，可以防止内窥镜1和治疗工具6的错误操作。

另外，需要注意的结构检测装置28可以通过使用者的人工操作检测需要注意的结构区域RA。另外，对于需要注意的结构区域RA，需要注意的结构检测装置28可以叠加标记诸如箭头，和注解诸如文本备注。

本发明的第十实施方案以关注结构、内窥镜1和治疗工具6的姿态向量的全部都包括在虚拟内窥镜图像的视野中的这样一种方式生成虚拟内窥镜图像。如图21的硬件配置图中所说明，将用于内窥镜的标记器7b添加到图1中说明的第一实施方案。

内窥镜的标记器7b和位置传感器8以类似于治疗工具的标记器7a的方式构成三维位置测量设备。将内窥镜的标记器7b设置在内窥镜1的柄部附近。位置传感器8以预置时间间隔检测标记器7b的三维位置。另外，可以通过偏移量计算来计算内窥镜1的前端的三维位置PS_E。

图22是本发明的第十实施方案的功能框图。将内窥镜位置检测装置12和内窥镜位置获得装置29添加到图8中说明的第三实施方案的配置。这里，内窥镜位置检测装置12的功能是通过图21中说明的内窥镜的标记器7b和位置传感器8实现的。另外，内窥镜位置P_E是用虚线框中每个处理装置从图像处理工作站8的预定存储区写入或读出的数据。

图23是说明本发明的第十实施方案中内窥镜观察辅助处理流程的流程图。如图23的右侧上所表述，在通过使用内窥镜1观察待检查的受试者的异常腔内部直到观察结束期间(#12；是(YES))，真实内窥镜图像形成装置2重复真实内窥镜图像I_RE的形成。治疗工具位置检测装置11检测治疗工具6的位置PS_T和姿态DS_T，并且内窥镜位置检测装置12还以预定时间间隔实时重复检测插入到体腔中的内窥镜1的位置PS_E。在步骤#6中已经获得了治疗工具6的位置和姿态以后，内窥镜位置获得装置29获得检测到的内窥镜的位置PS_E，该位置已经被内窥镜位置检测装置12检测到。另外，内窥镜位置获得装置29将获得的内窥镜位置PS_E转换成三维医用图像V的坐标系中的位置，并且输出所获得的内窥镜位置P_E(#7)。

当虚拟内窥镜图像生成装置24生成虚拟内窥镜图像I_VE时，基于由内窥镜位置获得装置29获得的内窥镜位置P_E，虚拟内窥镜图像生成装置24生成以在对应于虚拟内窥镜图像I_VE中内窥镜位置P_E的位置处可识别内窥镜1的存在这样一种方式表示的虚拟内窥镜图像I_VE(#7)。在此以后的处理(#10至#12)类似于第三实施方案。

接着，将详细地描述对于该实施方案是独特的每个处理装置的特征。

内窥镜位置获得装置29具有作为通过以治疗工具位置获得装置22的类似方式与内窥镜位置检测装置12通信而获得内窥镜检测位置PS_E的通信接口的功能。内窥镜位置获得装置29还具有将位置传感器8的三维坐标系中获得的内窥镜检测位置PS_E转换成由三维医用图像V的三维坐标系中的坐标值表示的内窥镜位置P_E，并且将内窥镜位置P_E存储在图像处理工作站9的预定存储区中的功能。

首先，虚拟内窥镜图像生成装置24接收三维医用图像V作为输入。如图24A中示意性图解，将治疗工具6的位置P_T用作虚拟内窥镜的视点位置VP_VE，并且将治疗工具6的姿态向量D_T用作虚拟内窥镜的中心视线向量VL_VE。虚拟内窥镜图像生成装置24以将关注结构的位置P_I和内窥镜1的位置P_E包括在虚拟内窥镜的视野中这样一种方式生成具有视角A_VE的虚拟内窥镜预图像。这里，当连接虚拟内窥镜的视点位置VP_VE和关注结构的位置P_I的向量和虚拟内窥镜的中心视线向量VL_VE之间形成的角度是α₁，并且连接虚拟内窥镜的视点位置VP_VE和内窥镜位置P_E的向量和虚拟内窥镜的中心视线向量VL_VE之间形成的角度是α₂时，虚拟内窥镜图像生成装置24可以通过对值2α₁和2α₂的较大值增加常数，或通过将值2α₁和2α₂的较大值乘以大于1的预定系数，获得虚拟内窥镜的视角A_VE。在图24A中，内窥镜位置P_E和视野中心之间的距离比关注结构的位置P_I和视野中心之间的距离长。因此，基于2α₂确定视角A_VE。

接着，虚拟内窥镜图像生成装置24生成表示其中内窥镜1存在于内窥镜位置P_E处的状态的内窥镜形状图像M_E。具体而言，如专利文献2中所描述，基于存储在数据库中的表示内窥镜1的形状的图像和内窥镜位置P_E生成内窥镜形状图像M_E。虚拟内窥镜图像生成装置24通过使用已知方法诸如α掺合将虚拟内窥镜预图像和内窥镜形状图像M_E组合生成虚拟内窥镜图像I_VE。代替如上所述生成内窥镜形状图像M_E，可以通过在对应于虚拟内窥镜预图像中的内窥镜位置P_E的位置处叠加表示内窥镜1的标记诸如箭头和图标或注释诸如文本备注而生成虚拟内窥镜图像I_VE。

图24B是说明本实施方案中生成的虚拟内窥镜图像I_VE的实施例的示意图。如图24B中说明，将内窥镜形状图像M_E叠加在对应于虚拟内窥镜图像M_E中内窥镜位置P_E的位置处。

如上所述，在本发明的第十实施方案中，以不仅关注结构的位置P_I而且内窥镜1的位置P_E都包括在虚拟内窥镜图像I_VE的视野中的这样一种方式生成虚拟内窥镜图像I_VE。因此，可以明确地识别不仅治疗工具6和关注结构之间而且在治疗工具6、关注结构和内窥镜1之间的位置关系和紧密接近度。

在这时，其中虚拟内窥镜的视野和图像内容基于用内窥镜位置检测装置12实时检测内窥镜1的位置的结果的反馈而实时改变的虚拟内窥镜图像I_VE是连续显示的。因此，可以动态地并且精确地识别不仅治疗工具6和关注结构之间而且在治疗工具6、关注结构和内窥镜1之间的位置关系和紧密接近性。

另外，真实内窥镜图像形成装置2通过用内窥镜1实时成像形成表示体腔内部的真实内窥镜图像I_RE，并且显示在基本上与生成虚拟内窥镜图像时检测内窥镜1和治疗工具6的位置相同的时刻形成的真实内窥镜图像I_RE。因此，真实内窥镜图像I_RE和虚拟内窥镜图像I_VE表示基本上在相同时间点的体腔中的状态。将真实内窥镜图像I_RE和虚拟内窥镜图像I_VE以时间上相互同步的这样一种方式连续显示。在这时，以与操作诸如内窥镜1的移动或旋转关联的这样一种方式改变真实内窥镜图像I_RE的视野。另外，以不仅与治疗工具6的操作而且与内窥镜1的操作关联的方式改变虚拟内窥镜图像I_VE的视野和图像内容。如上所述，在本发明的第十实施方案中，可以以真实内窥镜图像I_RE和虚拟内窥镜图像I_VE互补的这样一种方式实时观察体腔内部。

在本发明的第十一实施方案中，在内窥镜观察期间实时形成并获得三维医用图像V。在该情况下，不需要治疗工具的标记器7a、内窥镜的标记器7b和位置传感器8，这些设置在第十实施方案的硬件配置中(请参见图21)。

图25是本发明的第十一实施方案的内窥镜观察辅助系统的功能框图。如图25中说明，设置内窥镜/治疗工具位置识别装置30代替第十实施方案的治疗工具位置检测装置11、内窥镜位置检测装置12、治疗工具位置获得装置22和内窥镜位置获得装置29。具体而言，内窥镜/治疗工具位置识别装置30对应于本发明的位置检测装置。

内窥镜/治疗工具位置识别装置30是安装在图像处理工作站9中的处理装置。内窥镜/治疗工具位置识别装置30接收三维医用图像V作为输入，并且用已知的图案识别处理提取三维医用图像V中表示内窥镜1或治疗工具6的区域。另外，内窥镜/治疗工具位置识别装置30识别内窥镜位置P_E，治疗工具位置P_T和治疗工具姿态D_T。

图26是说明本发明的第十一实施方案中内窥镜观察辅助处理流程的流程图。如图26中所说明，在步骤#4中获得真实内窥镜图像I_RE以后，三维医用图像获得装置24获得三维医用图像V(#6.1)。内窥镜/治疗工具位置识别装置30基于用三维医用图像获得装置24获得的三维医用图像V识别内窥镜位置P_E、治疗工具位置P_T和治疗工具姿态D_T(#6.2)。在步骤#8中，虚拟内窥镜图像生成装置24通过使用以用内窥镜/治疗工具位置识别装置30提取的表示内窥镜1的区域是以预定颜色显示的这样一种方式定义的颜色模板生成虚拟内窥镜图像I_VE。因此，生成如第十实施方案中的内窥镜1的形状图像不是必需的。如上所述，如果在内窥镜观察期间实时形成并获得三维医用图像V，则获得的三维医用图像V表示在与真实内窥镜图像I_RE基本上同时的腹腔内部的状态。因此，生成了虚拟内窥镜图像I_VE，其中比使用内窥镜观察以前获得的三维医用图像V的情况更加精确地实时再生成了腹腔内部的真实状况。然而，在该实施方案中，当三维医用图像V在步骤#2和步骤#6.1中成像时，必需对患者身体的姿态加以注意以便对应于坐标轴原点和坐标轴方向的待检查的受试者的位置不改变。

在第十一实施方案中，合意的是，将超声波诊断设备用作模态5以减少辐照待检查的受试者的辐射剂量。

仅将上述实施方案描述为实施例。因此，任何说明都不应当用于狭义地解释本发明的技术范围。

另外，可以在不偏离本发明要点的情况下以多种方式修改系统配置、硬件配置、方法流程、模块配置、用户界面、具体处理内容等。这样的修改仍然在本发明的技术范围中。

例如，关于系统配置，在上述实施方案中，在图1和21中说明的硬件配置中将模态5和图像处理工作站9直接相互连接。备选地，可以将图像存储服务器连接到LAN，并且模态5中形成的三维医用图像V可以暂时存储在图像存储服务器中的数据库中。另外，可以基于来自图像处理工作站9的请求将三维医用图像V从图像存储服务器传送到图像处理工作站9。

另外，内窥镜1是刚性内窥镜不是必需的。备选地，可以使用柔性或胶囊型内窥镜。

作为模态5，除如上所述的CT设备和超声波诊断设备以外还可以使用MRI设备等。

WS显示器10可以是与已知的立体显示器适应的显示器。WS显示器10可以将虚拟内窥镜图像I_VE显示为用于立体显示的图像。例如，当WS显示器10采用通过使用对于左眼和右眼的两个视差图像而实现立体显示的方法时，虚拟内窥镜图像生成装置24应当分别设置每只眼从视点位置VP_VE移动左眼和右眼的视差量的位置。另外，虚拟内窥镜图像生成装置24应当使用每只眼的位置作为视点执行中心投影，并且对于左眼和右眼的每一只都生成虚拟内窥镜视差图像。另外，显示控制装置25应当以这样一种方式控制以便通过使用WS显示器10中左眼的显示像素而显示左眼的虚拟内窥镜视差图像，并且通过使用WS显示器10中右眼的显示像素显示右眼的虚拟内窥镜视差图像。

治疗工具位置检测装置11和内窥镜工具位置检测装置12可以是磁性型装置。备选地，可以使用如专利文献2中所描述的陀螺仪、旋转编码器等。

另外，观察区域在腹腔内部不是必需的。观察区域可以是适于内窥镜观察的待检查的受试者的不同区域，诸如胸腔。

在图像处理工作站9中，用真实内窥镜图像形成装置2形成真实内窥镜图像I_RE的周期比用上述实施方案中的虚拟内窥镜图像生成装置24的生成虚拟内窥镜图像I_VE的周期短。另外，基于来自真实内窥镜图像获得装置21的请求，认定通信负载，并且接收图像。备选地，可以用真实内窥镜图像获得装置21接收由真实内窥镜图像形成装置2相继形成的全部真实内窥镜图像I_E。在该情况下，每当以与用虚拟内窥镜图像生成装置24生成虚拟内窥镜图像I_VE的时刻不同步的这样一种方式接收真实内窥镜图像I_RE时，显示控制装置25可以每次都更新WS显示器10上的真实内窥镜图像I_RE的显示。

治疗工具位置获得装置22可以接收由治疗工具位置检测装置11以预定时间间隔检测到的治疗工具的全部位置PS_T和姿态DS_T。另外，治疗工具位置获得装置22可以仅将已经在图3等中说明的步骤#4的呼叫处理的时刻接收到的治疗工具的位置PS_T和姿态DS_T通过后一坐标转换功能转换成治疗工具位置P_E和姿态D_T，并且输出治疗工具位置P_E和姿态D_T。另外，内窥镜位置获得装置29可以以类似方式执行处理。

可以用虚拟内窥镜图像生成装置24进行用治疗工具位置获得装置22和内窥镜位置获得装置29进行的坐标转换。

关注位置指定装置26可以通过使用已知的图像识别技术(用于提取血管或器官的方法，异常阴影检测方法等)自动指定关注位置。

另外，虚拟内窥镜图像生成装置24可以使用多个关注位置例如诸如将在其上进行外科手术的区域、需要注意的血管、需要注意的器官和治疗工具作为视点进一步生成虚拟内窥镜图像。

Claims

1.一种内窥镜观察辅助系统，所述内窥镜观察辅助系统包括：

显示装置，所述显示装置显示所述虚拟内窥镜图像。

2.如权利要求1中所述的内窥镜观察辅助系统，其中所述治疗工具位置检测装置检测其中在检测所述治疗工具的位置的同时所述治疗工具向前直线移动的方向，并且

其中所述虚拟内窥镜图像生成装置生成虚拟内窥镜图像，在所述虚拟内窥镜图像中来自所述对应治疗工具位置的治疗工具视线上的图像信息被投影，并且所述治疗工具视线在所述三维医用图像中具有与其中所述治疗工具向前直线移动的所述方向对应的方向。

3.如权利要求2中所述的内窥镜观察辅助系统，其中所述虚拟内窥镜图像生成装置生成虚拟内窥镜图像，所述虚拟内窥镜图像可识别地表示所述虚拟内窥镜图像中的已经投影了所述治疗工具视线上的图像信息的位置。

4.如权利要求2或3中所述的内窥镜观察辅助系统，其中所述虚拟内窥镜图像生成装置生成其中所述治疗工具视线是中心视线的虚拟内窥镜图像，所述中心视线是在所述虚拟内窥镜图像的视野的中心处的视线。

5.如权利要求1至4中任一项所述的内窥镜观察辅助系统，所述系统还包括：

关注位置指定装置，所述关注位置指定装置将所述体腔中的关注结构在所述三维医用图像中的位置指定为关注位置，

其中所述虚拟内窥镜图像生成装置生成虚拟内窥镜图像，所述虚拟内窥镜图像的视野包括所述指定的关注位置。

6.如权利要求1至3中任一项所述的内窥镜观察辅助系统，所述系统还包括：

其中所述虚拟内窥镜图像生成装置生成虚拟内窥镜图像，在所述虚拟内窥镜图像中从所述对应治疗工具位置至所述指定的关注位置的视线是所述虚拟内窥镜图像的中心视线。

7.如权利要求5或6中所述的内窥镜观察辅助系统，其中所述虚拟内窥镜图像生成装置生成至少可识别地表示所述关注结构中的关注位置的虚拟内窥镜图像。

8.如权利要求5至7中任一项所述的内窥镜观察辅助系统，所述系统还包括：

报警装置，所述报警装置在所述对应治疗工具位置和所述关注结构相互接近到满足预定标准的程度时提示警报。

9.如权利要求5至8中任一项所述的内窥镜观察辅助系统，所述系统还包括：

第二关注结构检测装置，所述第二关注结构检测装置在所述三维医用图像中检测所述体腔中的第二关注结构，

其中所述虚拟内窥镜图像生成装置生成可识别地表示所述第二关注结构的虚拟内窥镜图像。

10.如权利要求5至9中任一项所述的内窥镜观察辅助系统，其中所述关注结构是将在其上进行内窥镜外科手术的区域。

11.如权利要求5至9中任一项所述的内窥镜观察辅助系统，其中所述关注结构是在内窥镜外科手术中需要注意的解剖结构。

12.如权利要求9所述的内窥镜观察辅助系统，其中所述关注结构和所述第二关注结构中的一个是将在其上进行内窥镜外科手术的区域，并且所述关注结构和所述第二关注结构中的另一个是在所述内窥镜外科手术中需要注意的解剖结构。

13.如权利要求1至12中任一项所述的内窥镜观察辅助系统，其中所述虚拟内窥镜图像生成装置基于从所述对应治疗工具位置到所述体腔中结构表面的距离确定所述虚拟内窥镜图像的像素值。

14.如权利要求1至13中任一项所述的内窥镜观察辅助系统，其中所述虚拟内窥镜图像生成装置通过使用颜色模板确定所述虚拟内窥镜图像的像素值，所述颜色模板被定义为使得所述虚拟内窥镜图像中表示的所述体腔中的每个部分的外视图基本上与通过用内窥镜成像而获得的真实内窥镜图像中表示的所述体腔中的每个部分的外视图相同。

15.如权利要求1至14中任一项所述的内窥镜观察辅助系统，所述系统还包括：

内窥镜位置检测装置，所述内窥镜位置检测装置检测插入到所述体腔中的所述内窥镜的位置，

其中所述虚拟内窥镜图像生成装置生成所述虚拟内窥镜图像，所述虚拟内窥镜图像的视野包括对应内窥镜位置，和可识别地表示所述对应内窥镜位置的虚拟内窥镜图像，所述对应内窥镜位置是在所述三维医用图像中对应于检测到的所述内窥镜位置的位置。

16.如权利要求1至15中任一项所述的内窥镜观察辅助系统，所述系统还包括：

真实内窥镜图像形成装置，所述真实内窥镜图像形成装置通过所述内窥镜实时成像而形成表示所述体腔的真实内窥镜图像，

其中所述显示装置还显示在基本上与检测生成所述虚拟内窥镜图像时使用的所述治疗工具的位置相同的时刻形成的所述真实内窥镜图像。

17.一种内窥镜观察辅助方法，所述方法包括下列步骤：

形成表示待检查的受试者体腔的三维医用图像；

实时检测插入到所述体腔中的治疗工具的位置；

显示所述虚拟内窥镜图像。

18.一种内窥镜观察辅助装置，所述装置包括：

19.一种内窥镜观察辅助程序，所述内窥镜观察辅助程序用于使计算机执行下列步骤：

获得表示待检查的受试者体腔的三维医用图像；

使显示装置显示所述虚拟内窥镜图像。