CN103561628B - 内窥镜系统 - Google Patents

Abstract

内窥镜系统(1)具有存储术前多层图像数据(16a～16n)的存储器部(21)、根据术前多层图像数据(16a～16n)构筑三维数据(31)并提取规定的管腔脏器的图像处理部(22)、取得摄像部的位置信息的位置检测装置(4)、将摄像部的位置信息与三维数据(31)的坐标中的位置对准的对准部(23)、以及判定摄像部有无通过规定的管腔脏器的三维数据(31)的管路的判定部(26)。而且，图像处理部(22)生成在规定的管腔脏器的三维数据(31)上重叠了由判定部(26)判定出的判定信息(52)的图像。

Description

内窥镜系统

技术领域

本发明涉及内窥镜系统，特别涉及在三维图像信息上重叠显示有无基于摄像部的观察的内窥镜系统。

背景技术

以往，内窥镜装置被广泛用作进行体腔内脏器的观察、根据需要使用处置器械进行治疗处置的医疗用内窥镜。在利用这种内窥镜装置进行观察和治疗处置的情况下，需要将内窥镜的插入部插入管腔内，使插入部的前端部尽快准确地到达病变部等目的地。

作为这种使内窥镜的插入部到达目的地的导航技术，例如，在日本特开2002-200030公报中公开了对将内窥镜的插入部插入支气管等管路的情况进行支援的内窥镜位置检测装置。

另一方面，在肾脏结石中，利用内窥镜对肾盂、肾盏内进行观察，通过从内窥镜的前端突出的处置器械进行取出结石的处置。在该肾盂、肾盏的使用内窥镜的处置中，在处置过程中进行X射线摄影，掌握肾盂、肾盏路径内的内窥镜的位置。

但是，由于X射线图像是二维图像，所以，无法准确掌握三维的肾盂、肾盏形状中的内窥镜的位置。因此，考虑将上述支气管的导航技术应用于肾盂、肾盏内的处置。

但是，只是直接将现有的支气管的导航技术应用于肾盂、肾盏的导航，不能充分解决以下课题。首先，在使内窥镜的插入部到达目的地的导航中，无法没有遗漏地对全部肾盏进行观察并确认没有残石等。并且，仅得知内窥镜的插入部的当前位置，无法掌握是否对全部肾盏进行了观察。

因此，本发明的目的在于，提供用户能够容易地判别是否利用内窥镜进行了观察的内窥镜系统。

发明内容

用于解决课题的手段

本发明的一个方式的内窥镜系统具有：存储部，其存储预先取得的用于构筑与被检体有关的三维图像信息的图像信息；管腔脏器提取部，其通过根据所述图像信息构筑所述三维图像信息，来提取规定的管腔脏器；摄像部，其对所述被检体内进行摄像；位置信息取得部，其取得所述摄像部的位置信息；位置对准部，其将所述位置信息取得部所取得的位置信息与所述规定的管腔脏器的三维图像坐标的位置信息进行对准；判定部，其根据所述位置对准部的结果，判定所述摄像部有无通过所述规定的管腔脏器内的管路；以及图像处理部，其生成在所述规定的管腔脏器的三维图像信息上重叠了由所述判定部判定出的判定信息的图像。

附图说明

图1是示出第1实施方式的内窥镜系统的结构的结构图。

图2是用于说明图像处理装置7的详细结构的结构图。

图3是示出前端位置存储部中存储的位置数据的例子的图。

图4是用于说明显示装置8中显示的图像的例子的说明图。

图5是用于说明显示装置8中显示的图像的其他例子的说明图。

图6是用于说明显示装置8中显示的图像的其他例子的说明图。

图7是用于说明显示装置8中显示的图像的其他例子的说明图。

图8是用于说明显示装置8中显示的图像的其他例子的说明图。

图9是用于说明提高视觉辨认性的图像处理部22的处理的例子的说明图。

图10是用于说明提高视觉辨认性的图像处理部22的处理的其他例子的说明图。

图11是示出术前图像处理的流程的例子的流程图。

图12是示出位置对准处理的流程的例子的流程图。

图13是示出规定的构造物的解析处理的流程的例子的流程图。

图14是示出导航处理的流程的例子的流程图。

图15是示出复位处理的流程的例子的流程图。

图16是示出第2实施方式的内窥镜系统的结构的结构图。

图17是用于说明图像处理装置7a的详细结构的结构图。

具体实施方式

下面，参照附图对本发明的实施方式进行详细说明。

（第1实施方式）

首先，根据图1对本发明的第1实施方式的内窥镜系统的结构进行说明。图1是示出第1实施方式的内窥镜系统的结构的结构图。

如图1所示，内窥镜系统1构成为具有内窥镜2、内窥镜装置3、位置检测装置4、X射线C臂装置5、服务器6、图像处理装置7、显示装置8。

内窥镜2构成为具有被插入被检体内的具有挠性的细长的插入部11、在该插入部11的基端部连续设置的操作部12、从该操作部12的侧面延伸设置的缆线13。在缆线13的基端部设有未图示的连接器，经由该连接器而与内窥镜装置3连接。

并且，从位置检测装置4延伸设置有缆线14和缆线15。位置检测装置4经由设于缆线14的基端部的未图示的连接器而与内窥镜2的操作部12连接，经由设于缆线15的基端部的未图示的连接器而与X射线C臂装置5连接。

在插入部11的前端部设有构成摄像部的CCD等摄像元件10，对被检体内进行摄像。由摄像元件10进行摄像而得到的摄像信号经由操作部12和缆线13发送到内窥镜装置3。

内窥镜装置3对所发送的摄像信号实施规定的图像处理，生成内窥镜图像数据。所生成的内窥镜图像数据由图像处理装置7取入。

并且，在插入部11中，从前端部到基端部以规定的间隔设有未图示的多个接收线圈。多个接收线圈分别根据位置检测装置4产生的磁场而输出电信号。输出的各电信号经由操作部12和缆线14发送到位置检测装置4。

作为位置信息取得部的位置检测装置4根据来自多个接收线圈的电信号中的来自设于前端部的接收线圈的电信号，进行用于检测插入部11的前端的位置和方向的运算，检测插入部11的前端的更具体而言为摄像部的位置和方向数据。并且，位置检测装置4根据来自多个接收线圈的电信号，进行用于检测插入部11的插入形状的运算，检测插入部11的插入形状数据。检测到的插入部11的前端的位置和方向数据以及插入部11的插入形状数据由图像处理装置7取入。

X射线C臂装置5通过使由X射线产生部和X射线检测部构成的X射线C臂旋 转任意角度，从多个方向得到术中的X射线图像数据。这些术中的X射线图像数据由图像处理装置7取入。

并且，在X射线C臂上设有未图示的接收线圈，根据来自位置检测装置4的磁场而输出电信号。输出的电信号经由缆线15发送到位置检测装置4。位置检测装置4根据所发送的电信号，检测X射线C臂的位置等，由此生成X射线摄影位置数据。所生成的X射线摄影位置数据由图像处理装置7取入。

在服务器6中例如存储有CT或MRI等术前多层图像数据16a～16n。这些术前多层图像数据16a～16n例如经由医院内的LAN而由图像处理装置7取入。另外，术前多层图像数据16a～16n例如也可以存储在CD-ROM等移动介质中，经由该移动介质取入到图像处理装置7中。

图像处理装置7对来自内窥镜装置3的内窥镜图像数据、来自位置检测装置4的插入部11的前端的位置和方向数据、插入部11的插入形状数据、X射线摄影位置数据、来自X射线C臂装置5的X射线图像数据、以及从服务器6取入的术前多层图像数据16a～16n实施后述的规定的图像处理，将所得到的图像数据显示在显示装置8中。

接着，对图像处理装置7的详细结构和显示装置8中显示的图像进行说明。

图2是用于说明图像处理装置7的详细结构的结构图，图3是示出前端位置存储部中存储的位置数据的例子的图，图4是用于说明显示装置8中显示的图像的例子的说明图。并且，图5～图8是用于说明显示装置8中显示的图像的其他例子的说明图。

另外，图4的显示装置8中显示的图像是在图像处理部22中进行图像处理并最终显示在显示装置8中的二维数据，但是，在以下的说明中，使用图4的二维数据的标号进行说明。

如图2所示，图像处理装置7构成为具有存储器部21、图像处理部22、位置对准部23、前端位置存储部24、坐标转换部25、判定部26、X射线图像取得部27、石坐标计算部28、石坐标转换部29。

作为存储部的存储器部21存储预先从服务器6取得的用于构筑与被检体有关的三维图像信息的图像信息即术前多层图像数据16a～16n。这些术前多层图像数据16a～16n由图像处理部22读出。

构成管腔脏器提取部的图像处理部22根据从存储器部21读出的术前多层图像数 据16a～16n构筑三维数据31（参照图4），提取包含尿管40、肾盂41、肾盏42～49的规定的管腔脏器，将其位置坐标输出到位置对准部23。另外，图像处理部22也可以构筑不仅包含尿管40、肾盂41、肾盏42～49、还包含膀胱和尿道的三维数据。图像处理部22生成将所构筑的三维数据31旋转任意角度后的三维数据32，使得能够从2个方向观察三维数据。

构成虚拟内窥镜图像生成部的图像处理部22根据三维数据31或32生成从规定的视点以内窥镜的方式观察规定的管腔脏器而得到的虚拟内窥镜图像33。进而，图像处理部22对从内窥镜装置3取入的内窥镜图像数据实施规定的图像处理，生成内窥镜图像34。然后，图像处理部22针对三维数据31、32、虚拟内窥镜图像33和内窥镜图像34重叠后述插入部11的前端的插入轨迹等，生成显示装置8中显示的图像。

进而，图像处理部22提取所构筑的三维数据31上的管腔的芯线数据，并且提取芯线数据的终点的三维数据上的坐标值。然后，图像处理部22将芯线数据的三维数据上的坐标值输出到位置对准部23，将芯线数据的终点的三维数据上的坐标值作为肾盏42～49的肾盏坐标数据输出到判定部26。

在前端位置存储部24中，如图3所示，与时间戳TS一起存储有从位置检测装置4输出的插入部11的前端的实际空间上的位置和方向数据。在图3的例子中，仅记载了位置数据，在时间戳TS1中，作为位置数据，对应存储有A1、B1、C1。

当用户进行位置对准的指示时，位置对准部23对前端位置存储部24中存储的位置数据和来自图像处理部22的芯线数据进行比较，计算将实际空间坐标转换为三维数据坐标的转换式。

坐标转换部25根据由位置对准部23计算出的转换式，将前端位置存储部24中存储的位置和方向数据转换为三维数据坐标上的值。然后，坐标转换部25将转换后的插入部11的前端的位置和方向数据与转换前的位置和方向数据、时间戳TS一起存储在前端位置存储部24中。例如，在图3的例子中，坐标转换部25根据由位置对准部23计算出的转换式，分别将时间戳TS1中的实际空间上的位置数据的坐标值A1、B1、C1转换为三维数据上的坐标值D1、E1、F1。

这样，通过位置对准部23和坐标转换部25构成位置对准部，该位置对准部将位置检测装置4所取得的插入部11的前端的位置信息与规定的管腔脏器的三维图像坐标的位置信息进行对准。

另外，关于位置对准的方法，不仅是使用上述转换式的位置对准方法，也可以从由X射线C臂装置5取入的X射线图像中提取肾盂、肾盏形状，根据来自位置检测装置的X射线摄影位置数据计算所提取出的肾盂、肾盏的位置坐标，与三维数据上的肾盂、肾盏的位置坐标进行位置对准。并且，也可以如日本特开2005-312770号公报所公开的那样，通过患者体表的特征点的位置检测以及三维数据上的特征点指定来进行位置对准，或者如日本特开2009-279251号公报所公开的那样，通过内窥镜图像和虚拟内窥镜图像的匹配来进行位置对准。

判定部26对这样转换后的三维数据31上的坐标值和由图像处理部22提取出的肾盏坐标数据进行比较，判定插入部11的前端是否到达肾盏42～49。然后，判定部26将判定结果输出到图像处理部22。进而，不仅是肾盏42～49，判定部26也可以判定摄像部有无通过规定的管腔脏器内的管路。

图像处理部22通过用实线连接前端位置存储部24中存储的三维数据31上的坐标值，生成插入部11的前端的插入轨迹50，将该插入轨迹50重叠在三维数据31和32上。

并且，图像处理部22在插入部11的前端的当前位置（插入轨迹50的前端）生成前端位置信息51，将其重叠在三维数据31和32上。

进而，图像处理部22根据来自判定部26的判定结果，生成用于判定是否观察了肾盏42～49的判定信息52，将其重叠在三维数据31和32上。关于判定信息52，例如，如图4所示，利用黑点表示插入部11的前端到达的肾盏42～46，利用白圈表示未到达的肾盏47～49。

图像处理部22将在三维数据31和32上重叠了插入轨迹50、前端位置信息51和判定信息52的三维数据31和32转换为二维数据使得能够显示在显示装置8中，并将其输出到显示装置8。并且，图像处理部22还在虚拟内窥镜图像33和内窥镜图像34上重叠插入轨迹50、前端位置信息51和判定信息52，并将其输出到显示装置8。另外，在图4的例子中，只有插入轨迹50重叠显示在虚拟内窥镜图像33和内窥镜图像34上。

另外，判定信息52不限于图4的黑点和白圈。例如，如图5所示，图像处理部22也可以对插入部11的前端到达的部位的颜色进行变更（在图5中，利用斜线表示改变了颜色的部位）。在图5的例子中，将插入部11的前端到达的尿管40、肾盂41、 肾盏42～46的颜色变更为与插入部11的前端未到达的肾盏47～49不同的颜色。这样，图像处理部22根据判定信息52对三维数据31、32、虚拟内窥镜图像33和内窥镜图像34的显示方式进行变更。

并且，图像处理部22根据前端位置存储部24中存储的位置和方向数据，生成表示插入部11的前端的朝向（在直视型内窥镜的情况下为内窥镜图像的视线方向）的箭头53、以及表示内窥镜图像的上方向的箭头54，并将其重叠显示在三维数据31上。由此，用户容易识别插入部11的插拔方向和在内窥镜图像中观察的方向。

接着，使用图6对显示规定的构造物的处理进行说明。

X射线图像取得部27从X射线C臂装置5取得术中的X射线图像数据，将其输出到图像处理部22和石坐标计算部28。图像处理部22进行如下控制：对来自X射线图像取得部27的X射线图像数据实施规定的图像处理而生成X射线图像35，将所生成的X射线图像35显示在显示装置8中。例如，在图6的例子中，代替图4的三维数据32，而将X射线图像35显示在显示装置8中。

对石坐标计算部28输入来自X射线图像取得部27的X射线图像数据和来自位置检测装置4的X射线摄影位置数据。石坐标计算部28进行X射线图像数据的解析，计算X射线图像35上的规定的构造物（在图6的例子中为石55和56）的位置。然后，石坐标计算部28根据X射线图像35上的石55和56的位置以及X射线摄影位置数据，计算实际空间坐标上的石55和56的存在范围。并且，在存在从多个方向、例如2个方向进行摄影而得到的X射线图像数据的情况下，石坐标计算部28根据各个石55和56的存在范围来缩小石55和56的存在范围，计算三维的石55和56的位置和形状。计算出的石55和56的存在范围被输出到石坐标转换部29。这样，石坐标计算部28构成提取部，从X射线图像数据中提取规定的构造物。

石坐标转换部29根据位置对准部23计算出的转换式，将实际空间坐标上的石55和56的存在范围转换为三维数据坐标上的石55和56的存在范围。石坐标转换部29将转换后的石55和56的存在范围的坐标作为石坐标数据输出到判定部26。另外，也可以构成为，不设置石坐标转换部29，而由坐标转换部25将实际空间坐标上的石55和56的存在范围转换为三维数据坐标上的石55和56的存在范围。

判定部26对前端位置存储部24中存储的转换后的位置和方向数据中的未建立复位标志的位置和方向数据以及来自石坐标转换部29的石坐标数据进行比较，判定插 入部11的前端是否到达各石55和56。判定部26将该判定结果输出到图像处理部22。

图像处理部22根据转换后的位置和方向数据，重叠表示插入部11的前端是否到达石55和56的判定信息。作为判定信息，例如，图像处理部22针对判定为插入部11的前端到达的石55，标注与判定为前端未到达的石56不同的颜色。另外，图像处理部22也可以根据判定结果，从三维数据31上消除判定为插入部11的前端到达的石55。

并且，图像处理部22将插入部11的插入形状57重叠在三维数据31上。关于插入形状57，根据来自以规定的间隔设置在插入部11上的多个接收线圈的电信号计算实际空间坐标上的位置，利用转换式将这些位置数据转换为三维数据上的坐标数据。然后，图像处理部22通过利用实线连接这些坐标数据而生成插入形状57，将其重叠在三维数据31上。

图像处理部22根据用户的指示，对重叠显示有石55、56和插入形状57的三维数据31进行图像处理，生成用于显示在显示装置8中的二维图像，将其输出到显示装置8。

另外，图像处理部22在三维数据31上不仅重叠石55、56和插入形状57，也可以重叠上述插入部11的前端的插入轨迹50、前端位置信息51和判定信息52。作为判定信息52的重叠方法的一例，可以是如下方法等：在三维数据31上以半透明的方式显示判定为前端到达或通过的石55。并且，如图7所示，图像处理部22也可以将插入形状57重叠在X射线图像35上，并将其显示在显示装置8中。

接着，使用图3和图8对复位处理进行说明。

当用户使用设于操作部12中的未图示的开关进行复位时，复位信号被输入到图像处理装置7。当输入复位信号时，对前端位置存储部24中存储的全部数据建立复位标志。例如，当在时间戳TS4的时刻输入复位信号时，在时间戳TS1～TS4建立复位标志。在图3的例子中，利用“○”表示建立了复位标志的数据，利用“—”表示未建立复位标志的数据。未建立复位标志的时间戳ST5及以后的数据是输入复位信号后新存储在前端位置存储部24中的插入部11的前端的位置数据。

图像处理部22对前端位置存储部24中存储的数据中的建立了复位标志的数据的显示进行复位。例如，如图8所示，图像处理部22将复位前显示的插入轨迹50的显示从实线变更为虚线（插入轨迹50a），将判定信息52从黑点变更为白圈。然后，图 像处理部22利用实线（插入轨迹50b）显示复位后（时间戳ST5及以后）的插入部11的前端的轨迹，将复位后插入部11的前端到达的肾盏47的判定信息52从白圈变更为黑点。另外，图像处理部22也可以在复位前后对插入轨迹50a和插入轨迹50b的颜色进行变更，或者不进行复位前的插入轨迹50a的显示。

在这种肾盂41和肾盏42～49的处置中，在石55和56的尺寸较大的情况下，使用未图示的处置器械细细打碎石55和56后取出。该情况下，由于细细打碎的石可能进入了已经进行过一次检查的肾盏（例如图4的肾盏42～46）中的任意一方，所以，需要再次对进行过一次检查的肾盏42～46进行检查。因此，通过进行复位处理对插入轨迹50和判定信息52进行复位，再次进行肾盏42～46的检查，使得没有遗漏检查。

并且，为了提高视觉辨认性，图像处理部22也可以在尿管40、肾盂41和肾盏42～49中，在插入部11已经通过一次的场所不进行插入轨迹50的显示。

图9是用于说明提高视觉辨认性的图像处理部22的处理的例子的说明图。

如图9所示，在将插入部11插入肾盏43时进行了插入轨迹50的显示的情况下，图像处理部22在从肾盏43中拔出插入部11时不进行插入轨迹50的显示。另外，在图9的例子中，利用虚线表示不进行显示的插入轨迹50。更具体而言，判定部26判定插入部11的前端的当前位置是否是已经通过一次的场所，在判定为是已经通过一次的场所的情况下，在图像处理部22中不进行插入轨迹50的显示。

判定部26使用三维数据31上的管腔的芯线数据判定是否是已经通过一次的场所。具体而言，如下所述。首先，分别针对前端位置存储部24中存储的插入部11的前端的位置坐标，设最近的芯线数据上的点为轨迹点。接着，在芯线数据中的轨迹点所处的范围的芯线数据上显示插入轨迹。由此，与在管腔内镜体实际通过哪个位置无关，无论通过哪个位置均在芯线上显示插入轨迹，由此，在插入部11的前端再次通过已经通过一次的管腔的情况下不会双重显示插入轨迹50，能够提高视觉辨认性。

记载了在判定为是已经通过一次的场所的情况下不进行插入轨迹50的显示的其他方法。这是不使用芯线信息的方法。首先，判定部26计算前端位置存储部24中存储的插入部11的前端的过去位置与插入部11的前端的当前位置之间的距离，判定计算出的距离中的最近的距离的值是否大于规定的阈值。然后，在判定为计算出的最近的距离的值大于规定的阈值的情况下，判定为不是已经通过一次的场所，在图像处理 部22中显示插入轨迹50。另一方面，在判定为计算出的最近的距离的值为规定的阈值以下的情况下，判定为是已经通过一次的场所，在图像处理部22中不显示插入轨迹50。通过这种图像处理部22的处理，由于不会在相同场所进行多次轨迹显示，所以，能够提高视觉辨认性。

并且，图像处理部22也可以进行图10所示的处理，提高插入部11的视觉辨认性。图10是用于说明提高视觉辨认性的图像处理部22的处理的其他例子的说明图。

在图10和以下的说明中，为了防止混乱，将“插入轨迹50”区分为“过去插入轨迹50k”和“当前插入轨迹50g”进行说明。如图10的箭头A所示，在三维数据31中，在将插入部11插入与插入轨迹50平行且朝向图10位于里侧的其他路径的情况下，在过去插入轨迹50k的背面侧显示当前插入轨迹50g和前端位置信息51（或插入形状57）。这种情况下，用户无法确认插入部11的当前位置，视觉辨认性变差。另外，在图10的箭头A的例子中，利用虚线表示被过去插入轨迹50k遮挡的当前插入轨迹50g和前端位置信息51。

因此，如图10的箭头B所示，图像处理部22在比过去插入轨迹50k靠近前侧显示当前插入轨迹50g和前端位置信息51（用实线显示），由此提高当前路径的视觉辨认性。

并且，如图10的箭头C所示，在过去插入轨迹50k和当前插入轨迹50g的长度相同的情况下，图像处理部22在比过去插入轨迹50k靠近前侧显示前端位置信息51，透射显示当前插入轨迹50g（用虚线显示）。进而，如图10的箭头D所示，在插入部11的前端的位置未被过去插入轨迹50k遮挡的情况下，图像处理部22在过去插入轨迹50k的背面侧显示当前插入轨迹50g和前端位置信息51。

图像处理部22进行这种显示控制，以能够识别的方式生成过去插入轨迹50k和当前插入轨迹50g。通过这种图像处理部22的处理，能够防止当前描绘路径（插入轨迹50g）被已经生成的过去插入轨迹50k遮挡而无法进行显示，能够提高视觉辨认性。不限于这种显示控制，也可以是以半透明的方式显示位于当前插入轨迹50g的近前的部分的过去插入轨迹50k的显示控制。

并且，还在图像处理装置7中设置未图示的存储部，在未图示的存储部中存储插入部11的前端的插入轨迹50、即前端位置存储部24中存储的插入部11的前端的位置数据。然后，图像处理部22在再次进行检查的情况下，读出该存储部中存储的以 前检查的位置数据，显示以前检查的插入轨迹50。

该情况下，图像处理部22将以前检查的插入轨迹50变更为与当前检查的插入轨迹50不同的显示方式。例如，图像处理部22利用虚线显示以前检查的插入轨迹50，或者利用与当前检查的插入轨迹50不同的颜色显示以前检查的插入轨迹50的颜色。进而，图像处理部22也可以进行上述图10的处理，以防止当前检查的插入轨迹50被以前检查的插入轨迹50遮挡而无法进行显示。

并且，作为提高插入部11的视觉辨认性的方法，图像处理部22也可以如下所述。也可以在三维数据31上较细地显示近前侧路径的插入轨迹50，较粗地显示里侧路径的插入轨迹50。例如，在图4的三维数据31中，由于肾盏48存在于比肾盏47靠里侧的路径，所以，图像处理部22较粗地显示朝向肾盏48的插入轨迹50，较细地显示朝向肾盏47的插入轨迹50。

进而，图像处理部22也可以针对前端位置信息51进行同样的处理。例如，在插入部11的当前位置存在于近前侧路径的情况下，图像处理部22以线较细或直径较小的方式显示前端位置信息51，在插入部11的当前位置存在于里侧路径的情况下，图像处理部22以线较粗或直径较大的方式显示前端位置信息51。由此，位于里侧的当前位置或插入轨迹因位于近前侧的插入轨迹等障碍物而看不到的情况减少，用户的视觉辨认性提高。

接着，对这样构成的内窥镜系统1的动作进行说明。

首先，对术前图像处理进行说明。图11是示出术前图像处理的流程的例子的流程图。

首先，图像处理装置7将术前多层图像数据16a～16n取入存储器部21（步骤S1）。接着，图像处理部22将存储器部21的术前多层图像数据16a～16n再次构筑为三维数据31（步骤S2）。图像处理部22生成三维数据31上的管腔的芯线数据（步骤S3），将芯线数据的三维数据31上的坐标值输出到位置对准部23（步骤S4）。最后，图像处理部22将芯线数据的终点的三维数据31上的坐标值作为肾盏坐标数据输出到判定部26（步骤S5），结束处理。

接着，对位置对准处理进行说明。图12是示出位置对准处理的流程的例子的流程图。

首先，位置检测装置4利用实际空间上的坐标值计算内窥镜2的插入部11的前 端的位置和方向（步骤S11）。图像处理装置7将从位置检测装置4取得的内窥镜2的插入部11的前端的位置和方向数据与时间戳ST一起存储在前端位置存储部24中（步骤S12）。

接着，判定是否存在位置对准的指示（步骤S13）。在判定为没有位置对准的指示的情况下为“否”，返回步骤S11，反复进行同样的处理。另一方面，在判定为存在位置对准的指示的情况下为“是”，位置对准部23对前端位置存储部24中存储的位置数据中的未建立复位标志的位置数据和芯线数据进行比较，计算将实际空间坐标转换为三维数据坐标的转换式（步骤S14），结束处理。

接着，对规定的构造物（石55和56）的解析处理进行说明。图13是示出规定的构造物的解析处理的流程的例子的流程图。

首先，图像处理装置7从X射线C臂装置5取得X射线图像数据，并且从位置检测装置4取得X射线摄影位置数据（步骤S21）。石坐标计算部28进行X射线图像数据的解析，计算X射线图像35上的石55和56的位置（步骤S22）。接着，石坐标计算部28根据X射线图像35上的石55和56的位置以及X射线摄影位置数据，计算实际空间坐标上的石55和56的存在范围（步骤S23）。

接着，判定是否存在从其他方向进行摄影而得到的X射线图像（步骤S24）。在没有从其他方向进行摄影而得到的X射线图像的情况下为“否”，进入步骤S26。另一方面，在存在从其他方向进行摄影而得到的X射线图像的情况下为“是”，根据各个石55和56的存在范围来缩小石55和56的存在范围（步骤S25）。石坐标转换部29通过位置对准部23计算出的转换式，将实际空间坐标上的石55和56的存在范围转换为三维数据坐标上的石的存在范围（步骤S26）。最后，石坐标转换部29将转换后的坐标（石的存在范围）作为石坐标数据输出到判定部26（步骤S27），结束处理。

接着，对导航处理进行说明。图14是示出导航处理的流程的例子的流程图。

首先，图像处理装置7从位置检测装置4取得内窥镜2的插入部11的前端的位置和方向数据（以下也称为转换前位置方向数据），将其存储在前端位置存储部24中（步骤S31）。坐标转换部25根据转换式将前端位置存储部24中存储的转换前位置方向数据转换为三维数据坐标上的值（步骤S32）。坐标转换部25将转换后的值作为转换后位置方向数据，与转换前位置方向数据和时间戳TS一起存储在前端位置存储部24中（步骤S33）。

判定部26对前端位置存储部24中存储的转换后位置方向数据中的未建立复位标志的位置和方向数据、肾盏坐标数据、石坐标数据进行比较，判定插入部11的前端是否到达了各肾盏42～49和各石55和56（步骤S34）。图像处理部22根据转换后位置方向数据，在三维数据31上重叠显示插入部11的前端的插入轨迹50、前端位置信息51（插入部11的前端的当前位置）和步骤S34中判定出的判定信息52（步骤S35）。图像处理部22根据用户的指示对三维数据进行处理，生成用于进行显示的二维图像，将其输出到显示装置8（步骤S36），结束处理。

接着，对输入复位信号时的复位处理进行说明。图15是示出复位处理的流程的例子的流程图。

首先，判定是否输入了复位信号（步骤S41）。在判定为未输入复位信号的情况下为“否”，返回步骤S41，反复进行同样的处理。另一方面，在判定为输入了复位信号的情况下为“是”，对前端位置存储部24中存储的全部数据建立复位标志，返回步骤S41，反复进行同样的处理（步骤S42）。

如上所述，内窥镜系统1构筑由尿管40、肾盂41、肾盏42～49构成的规定的管腔脏器的三维数据31，并且，在三维数据31上重叠插入部11的前端的插入轨迹50、插入部11的前端的前端位置信息51和表示插入部11的前端是否到达的判定信息52，将其显示在显示装置8中。其结果，用户能够容易地识别是否使用内窥镜2对全部规定的管腔脏器内进行了检查。

由此，根据本实施方式的内窥镜系统，用户能够容易地判别是否利用内窥镜进行了观察。

（第2实施方式）

接着，对第2实施方式进行说明。

在第2实施方式中，对在没有三维数据且不知道插入路径的情况下生成插入轨迹的内窥镜系统进行说明。图16是示出第2实施方式的内窥镜系统的结构的结构图。

如图16所示，内窥镜系统1a构成为从图1的内窥镜系统1中删除X射线C臂装置5、服务器6、缆线15和术前多层图像数据16a～16n。并且，内窥镜系统1a构成为代替图1的图像处理装置7而使用图像处理装置7a。

图17是用于说明图像处理装置7a的详细结构的结构图。

图像处理装置7a构成为具有图像处理部22a、前端位置存储部24a、阈值判定部 60、轨迹图像存储部61。

在前端位置存储部24a中，与时间戳TS一起存储有从位置检测装置4输出的插入部11的前端在实际空间上的位置数据。并且，在将插入部11的前端的方向和插入部11的插入形状显示在显示装置8中的情况下，还将由位置检测装置4检测到的方向数据和插入形状数据存储在前端位置存储部24a中。

图像处理部22a直接使用前端位置存储部24a中存储的位置数据在三维数据上映射坐标值，生成插入轨迹。此时，图像处理部22a根据阈值判定部60的判定结果，在已经通过一次的场所不显示插入轨迹。

阈值判定部60计算前端位置存储部24a中存储的插入部11的前端的过去位置与插入部11的前端的当前位置之间的距离，判定计算出的距离中的最近的距离的值是否大于规定的阈值。即，阈值判定部60判定插入部11的前端的当前位置是否比规定的阈值还远离过去已经通过的位置。阈值判定部60将该判定结果输出到图像处理部22a。

在阈值判定部60判定为最近的距离的值大于规定的阈值的情况下，判定为不是已经通过一次的场所，图像处理部22a显示插入轨迹。另一方面，在阈值判定部60判定为最近的距离的值为规定的阈值以下的情况下，判定为是已经通过一次的场所，图像处理部22a不显示插入轨迹。

并且，图像处理部22a将插入轨迹的图像、更具体而言为判定为不是已经通过一次的场所的位置数据（坐标值）存储在轨迹图像存储部61中。在再次进行检查时，图像处理部22a读出轨迹图像存储部61中存储的位置数据，将以前检查时存储的插入轨迹显示在显示装置8中。

由此，在没有三维数据的情况下，用户也能够对以前检查时存储的插入轨迹和当前检查时显示的插入轨迹进行比较，能够对管腔脏器内进行观察，而不会遗漏检查。

另外，本说明书中的各流程图中的各步骤只要不违反其性质即可，可以变更执行顺序，同时执行多个，或者每次执行时以不同顺序来执行。

本发明不限于上述实施方式，能够在不改变本发明主旨的范围内进行各种变更、改变等。

本申请以2012年3月6日在日本申请的日本特愿2012-49467号公报为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书、权利要求书和附图中。

Claims (9)

1.一种内窥镜系统，其特征在于，该内窥镜系统具有：

存储部，其存储与被检体有关的图像信息；

管腔脏器提取部，其根据所述图像信息生成所述被检体的规定的管腔脏器的三维图像信息；

摄像部，其对所述被检体内进行摄像；

位置信息取得部，其取得所述摄像部的位置信息；

位置对准部，其将所述位置信息取得部所取得的位置信息与所述规定的管腔脏器的三维图像坐标的位置信息进行对准；以及

图像处理部，其根据所述摄像部的位置信息生成轨迹信息，并且根据所述位置对准部的结果，生成以能够识别的方式在所述规定的管腔脏器的三维图像信息上重叠了如下信息的图像：所述轨迹信息、所述摄像部的当前前端位置信息、和判定所述摄像部有无通过所述规定的管腔脏器内的管路的判定信息，

所述轨迹信息中的过去轨迹信息和当前轨迹信息以能够相互识别的方式重叠。

2.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有判定部，该判定部根据所述位置对准部的结果，判定所述摄像部有无通过所述规定的管腔脏器内的管路。

3.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有虚拟内窥镜图像生成部，该虚拟内窥镜图像生成部生成从规定的视点以内窥镜的方式观察所述规定的管腔脏器而得的虚拟内窥镜图像，

所述图像处理部根据所述摄像部的位置信息生成轨迹信息，并且在所述规定的管腔脏器的三维图像信息、所述虚拟内窥镜图像或由所述摄像部进行摄像而得到的图像上重叠显示所述轨迹信息。

4.根据权利要求1所述的内窥镜系统，其特征在于，

所述图像处理部根据所述判定信息对所述规定的管腔脏器的三维图像信息或由所述摄像部进行摄像而得到的图像的显示方式进行变更。

5.根据权利要求4所述的内窥镜系统，其特征在于，

所述图像处理部生成利用与在所述规定的管腔脏器内所述摄像部的前端未到达的部位的判定信息不同的颜色重叠了该摄像部的前端到达了的部位的判定信息的图像。

6.根据权利要求2所述的内窥镜系统，其特征在于，

所述判定部针对所述摄像部的前端的各个位置坐标，将所述三维图像信息中的与规定的管腔脏器的芯线数据最近的点判定为轨迹点，

所述图像处理部在所述轨迹点所存在的范围的芯线数据上重叠插入轨迹。

7.根据权利要求2所述的内窥镜系统，其特征在于，

所述判定部根据所述摄像部的前端的过去位置与当前位置的距离信息判定有无通过。

8.根据权利要求1所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有：

X射线图像取得部，其取得向所述被检体照射的X射线信息；以及

提取部，其从所述X射线信息中提取规定的构造物，

所述位置对准部将所述规定的构造物与所述规定的管腔脏器的三维图像信息进行对准，

所述图像处理部在所述规定的管腔脏器的三维图像信息上重叠显示所述规定的构造物。

9.根据权利要求8所述的内窥镜系统，其特征在于，

所述内窥镜系统还具有判定部，该判定部根据所述位置对准部的结果，判定所述摄像部有无通过所述规定的构造物，

在所述判定部判定为所述摄像部通过了所述规定的构造物的情况下，所述图像处理部生成在所述三维图像信息上变更了所述规定的构造物的显示方式后的图像。