CN1694643A

CN1694643A - 内窥镜信息的处理装置及处理方法

Info

Publication number: CN1694643A
Application number: CN 200380100759
Authority: CN
Inventors: 平川克己
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-10-29
Filing date: 2003-10-29
Publication date: 2005-11-09
Anticipated expiration: 2023-10-29
Also published as: CN100396227C; JP4025621B2; JP2004147778A

Abstract

本发明的内窥镜信息的处理装置，包括：对通过检测具有用于插入体腔内的插入部的内窥镜的插入部的形状而得到的插入形状进行解析的形状解析部；和对应所述形状解析部的解析结果，提供内窥镜操作状况信息的信息提供部。

Description

内窥镜信息的处理装置及处理方法

技术领域

本发明涉及一种通过解析内窥镜插入部在体腔内的插入形状，并将该插入形状信息进行图像显示来提高内窥镜的插入操作性的内窥镜插入形状解析装置。

背景技术

一般来讲，电子内窥镜在前端上具有设置了电子摄像元件的细长且可弯曲的插入部，从外部将该插入部插入成为体腔内的管腔的被检测体内，根据由插入部前端的电子摄像元件拍摄生成的图像信号，在监视器画面上显示图像，在该图像中对被检测体进行观察，及通过从设置在插入部的钳子通道所插入的处置用钳子来进行活体组织的采取及治疗处置。

体腔内的管腔例如大肠及小肠那样，是弯曲的，在将内窥镜插入这样弯曲的管腔内进行观察时，如果了解内窥镜插入部插入到管腔的哪个位置，或内窥镜插入部成为什么样的形状，可以提高内窥镜的观察处置的操作性。

为此，提出有一种内窥镜形状检测装置，其可检测出内窥镜插入部插入管腔内的位置，及插入形状等，并且对作为被检测体的人体为无害，而且可以在任何管腔内使用。

例如有一种内窥镜形状检测装置，其将内装了探头源线圈的探头插入到内窥镜的插入部的通道内，将磁场发生驱动信号提供给该探头源线圈，通过设置在承载被检测体的床的规定的位置上的多个3轴感应线圈来检测该探头源线圈所发生的磁场，根据该感应线圈的检测信号，计算出探头源线圈的位置。根据该计算出的位置，生成插入部的形状图像信息，根据该形状图像信息在显示器上显示插入部的形状图像，并且还生成与该形状图像相互正交的两个视点方向的形状图像，在监视器上可以将两个画面同时进行显示〔例如，特开平8-107875号公报(0017行至0178行，图1至图13)〕。

另外，在具有由多个第1线圈构成的源线圈；由检测来自该源线圈的多个第1线圈的磁场的多个第2线圈构成的感应线圈；和将所述源线圈或感应线圈中的任何一侧配置到插入体腔内的内窥镜的插入部，根据所述感应线圈所检测出的源线圈的磁场来推断内窥镜插入部的形状的形状推断单元的这一类内窥镜形状检测装置中，有一种从所述形状推断单元推断出的插入部形状中检测出特定的形状，当该特定形状被检测出时便发出警告的内窥镜形状检测装置〔例如，特开2000-175861号公报(0011行至0049行，图1至图10)〕。

一般来讲，以往，对被检测体进行内窥镜检查的医务人员的注意力主要集中在拍摄管腔的观察部位所生成的内窥镜图像上，根据需要才看由内窥镜插入部的形状检测装置生成并显示的插入部形状图像。

在上述特开平8-107875号公报中提出的内窥镜形状检测装置，具有在进行内窥镜检查中，在插入部的形状形成了环形时便检测出形成了该环形的情况，并发出警告，提醒医务人员注意的内窥镜插入支援功能。

并且，为了提高插入性，希望可以提供适合实际插入的内窥镜插入部的动作的信息，提供表示内窥镜的插入方法及操作指示等的信息。

发明内容

本发明是鉴于这样的愿望而产生的，其目的在于提供一种可以解析内窥镜插入部的形状，提供与提高内窥镜的插入性有关的信息的内窥镜插入形状解析装置。

另外，在以往，多数情况是对被检测体进行内窥镜的观察的医务人员的注意力，主要集中在拍摄管腔的观察部位所生成的内窥镜图像上，而不是集中在由内窥镜插入部的形状检测装置所生成显示的插入部形状图像上，只有在内窥镜插入部的插入过程中发生障碍时，才去注意插入部形状图像，因此导致在内窥镜观察的推进过程中产生障碍，及使被检测体产生不舒适感。

为了使此种内窥镜观察的推进过程迅速化，和消除给与被检测体的不舒适感，在所述特开平8-107875号公报中发表的内窥镜形状装置通过在监视器画面上同时显示观察部位的内窥镜图像和插入部形状图像，使医务人员同时注意到这两个图像，由此可以加速内窥镜观察的推进过程和消除被检测体的不舒适感。

另外，在特开2000-175861号公报中所发表的内窥镜形状检测装置是一种可预防被检测体的不舒适感的装置，其鉴于在内窥镜插入部向管腔内的插入过程中，如果形成了环形则会造成对被检测体不舒适感，因而插入部在管腔内形成了环形形状时，通过检测出该环形并发出警告，提醒医务人员注意。

这些内窥镜形状检测装置并未涉及到关于记录被检测体的内窥镜图像和插入部形状图像的方面。一般来讲，在内窥镜观察中，将内窥镜图像进行录像记录，在以后的观察部位的确认及内窥镜操作的心得训练时使用。

该内窥镜图像和插入部形状图像的录像记录，一般来讲多采用摄像机，由于将内窥镜图像和插入部形状图像分别记录到不同的摄像机内，因而在再现显示时，内窥镜图像和插入部形状图像的再现显示会不一致，还有，要想将内窥镜图像和插入部形状图像同时录像记录到一个摄像机内，需要特殊的摄像机。

在专利申请2001-347909号中提出了一种内窥镜图像整理汇集系统，将由这种内窥镜形状检测装置检测出的插入部的形状图像和内窥镜图像一同进行记录，并且在该记录时，将插入部形状图像与内窥镜图像建立关联。

但是，该专利申请2001-347909号所提出的内窥镜图像的整理汇集系统是在静态图像的状态下来记录操作了设置在内窥镜的释放按钮时的内窥镜图像和插入状态的。因此，不适合从内窥镜观察开始到结束的整体观察行为的确认及操作训练。

而且，未涉及到根据需要，对内窥镜图像及插入形状图像的任意的帧附加信息，在同步再现两个图像时显示所附加的信息的功能，因此希望一种能够记录保存从内窥镜检查开始到结束的内窥镜图像及插入形状图像，和对该所记录保存的图像输入附加信息的内窥镜图像处理装置。

本发明也是鉴于这样的愿望而产生的，其目的在于提供一种将内窥镜插入形状数据和内窥镜图像数据一同保存，可以同步再现两个图像的内窥镜图像处理装置。

另外，作为其他的目的，提供一种可以对内窥镜图像数据及插入形状数据附加关联信息，在同步再现所保存的插入形状数据和内窥镜图像时也可以同时显示关联信息的内窥镜图像处理装置。

本发明的内窥镜信息处理装置包括：解析通过检测具有插入体腔内的插入部的内窥镜的插入部的形状所得到的插入形状的形状解析部；和对应所述形状解析部的解析的结果，提供内窥镜操作状况的信息的信息提供部。

附图说明

图1是表示本发明第1实施例的电子内窥镜系统的整体结构的方框图。

图2是说明上述第1实施例的电子内窥镜系统的插入位置坐标系的说明图。

图3是说明上述第1实施例的电子内窥镜系统的内窥镜插入形状观测装置所生成的插入位置检测数据的数据结构的说明图。

图4是说明上述第1实施例的电子内窥镜系统的处理作用的流程图。

图5是说明上述第1实施例的电子内窥镜系统的被检测体的伸展检测作用的流程图。

图6是说明在上述第1实施例的电子内窥镜系统中，在内窥镜检查时显示到显示器上的显示画面的说明图。

图7是说明本发明第2实施例的电子内窥镜系统的内窥镜前端部的角度检测作用的流程图。

图8是说明上述第2实施例的电子内窥镜系统的内窥镜插入部的方向和插入部移动方向所形成的角度的说明图。

图9是说明本发明的第3实施例的电子内窥镜系统的内窥镜前端部的角度检测及警告作用的流程图。

图10是说明上述第3实施例的电子内窥镜系统的内窥镜前端部的角度检测的说明图。

图11是说明本发明第4实施例的电子内窥镜系统的内窥镜前端部的角度检测及警告作用的流程图。

图12是说明本发明第5实施例的电子内窥镜系统的内窥镜插入部的环形检测及环形解除方法显示作用的流程图。

图13是说明上述第5实施例的电子内窥镜系统的内窥镜插入部的环形的状态的说明图。

图14是说明上述第5实施例的电子内窥镜系统的内窥镜插入部的环形的状态的说明图。

图15是说明上述第5实施例的电子内窥镜系统的内窥镜插入部的环形解除方法的说明图。

图16是说明上述第5实施例的电子内窥镜系统的内窥镜插入部的环形解除方法的说明图。

图17是说明上述第5实施例的电子内窥镜系统的内窥镜插入部的环形解除方法的说明图。

图18是说明上述第5实施例的电子内窥镜系统的内窥镜插入部的环形解除方法的说明图。

图19是表示本发明的第6实施例的电子内窥镜系统的结构的方框图。

图20是说明在上述第6实施例的电子内窥镜系统中，记录保存内窥镜图像和内窥镜插入形状数据的处理动作的流程图。

图21是说明在上述第6实施例的电子内窥镜系统中，同步再现内窥镜图像和内窥镜插入形状图像的处理动作的流程图。

图22是说明在上述第6实施例的电子内窥镜系统中，同步再现内窥镜图像和内窥镜插入形状图像的再现计时处理动作的流程图。

图23是表示了在上述第6实施例的电子内窥镜系统中，记录保存内窥镜图像和内窥镜插入形状数据时的显示画面的图。

图24是表示了在上述第6实施例的电子内窥镜系统中，和内窥镜插入形状图像同步再现的处理动作的显示画面的图。

图25是说明在本发明第7实施例的电子内窥镜系统中，对内窥镜图像和内窥镜插入形状图像输入附加信息的处理动作的流程图。

图26是说明在上述第7实施例的电子内窥镜系统中，同步再现内窥镜图像，内窥镜插入形状图像及附加信息的再现计时处理动作的流程图。

图27是表示在上述第7实施例的电子内窥镜系统中，同步再现内窥镜图像，内窥镜插入形状图像，附加信息的处理动作的显示画面的图。

图28是说明在本发明第8实施例的电子内窥镜系统中，检索内窥镜图像及内窥镜插入形状图像的特征项目，和对该特征项目显示相关信息的处理动作的流程图。

图29是表示在上述第8实施例的电子内窥镜系统中，检索内窥镜图像及内窥镜插入形状图像的特征项目的处理动作的显示画面的图。

具体实施方式

下面，结合附图对本发明的实施方式进行说明。

首先，结合图1～图6对本发明的第1实施例进行说明。

图1是表示本发明第1实施例的电子内窥镜系统的整体结构的方框图，图2是说明上述第1实施例的电子内窥镜系统的插入位置坐标系的说明图，图3是说明上述第1实施例的电子内窥镜系统的内窥镜插入形状观测装置所生成的插入位置检测数据的数据结构的说明图，图4是说明上述第1实施例的电子内窥镜系统的处理作用的流程图，图5是说明上述第1实施例的电子内窥镜系统的被检测体的伸展检测作用的流程图，图6是说明在上述第1实施例的电子内窥镜系统中，在内窥镜检查时显示到显示器上的显示画面的说明图。

首先，结合图1对采用了本发明的第1实施例的解析内窥镜插入形状的图像处理装置的电子内窥镜系统1进行说明。

电子内窥镜系统1具有：内窥镜装置2、内窥镜插入形状观测装置3和图像处理装置4。

内窥镜装置2具有：电子内窥镜12、视频处理器10、光源装置11及观察监视器14。

电子内窥镜12在插入被检测体的体腔的管腔内的细长的插入部前端上设置有电子摄像元件(未图示)，驱动控制该电子摄像元件，生成并输出管腔内的观察部位的拍摄影像信号，并且通过设置在插入部内的导光路来照射照明管腔内的观察部位的观察光。

并且，在电子内窥镜12的插入部的前端部分上设置有弯曲部，可以通过设置在插入部根端上的操作部进行弯曲操作。

另外还有，在电子内窥镜12的操作部内设置有释放开关12a，并且在与视频处理器10之间设置有用于驱动控制电子摄像元件或将拍摄生成的拍摄影像信号进行收发的电缆，和将来自光源装置11的观察光引导至导光路的导光光缆等。

另外，电子内窥镜12设置有检测在管腔内的插入部的插入位置及形状的检测功能(未图示)。检测该插入的位置及形状的检测功能具有：具有在未图示的，在内窥镜的插入部内以规定的间隔设置的多个源线圈和设置在内窥镜插入形状观测装置3中的多个感应线圈的感应线圈单元19。

视频处理器10在驱动控制所述电子内窥镜12的电子摄像元件的同时，对由电子摄像元件通过光电转换而拍摄生成的动态影像信号进行规定的信号处理，生成由辉度信号及颜色信号所构成的Y/C信号或RGB信号。

该视频处理器10所生成的由辉度信号及颜色信号所构成的Y/C信号或RGB信号被直接输出到观察监视器14和图像处理装置15。

另外，当操作所述释放开关12a时，可以指示输出拍摄图像的静态图像。

另外，视频处理器10具有输入与内窥镜检查有关的检查信息的功能(未图示)。

光源装置11由作为照明光源的灯和该灯的点灯电路等构成，将电灯点灯时所投射的照明光导入所述电子内窥镜1的导光路，从插入部前端投射到管腔的观察部位。

观察监视器14根据所述视频处理器10所生成的Y/C信号或RGB信号等显示内窥镜图像。

内窥镜插入形状观察装置3是内窥镜装置2的周边装置，其包括：检测来自设置在电子内窥镜12的源线圈的磁场的感应线圈单元19；根据该感应线圈单元19检测出的磁场来推断内窥镜插入部的形状的形状处理装置13；和显示由该形状处理装置13推断出的内窥镜插入部形状的监视器(显示器)13b。

形状处理装置13向电子内窥镜12输出用于驱动源线圈的驱动信号，使源线圈产生磁场，根据来自检测该磁场的感应线圈单元19的检测信号，计算出各源线圈的位置坐标数据，根据该计算出的位置坐标数据来推断内窥镜插入部的形状。而且，生成用于将推断出的内窥镜插入部的形状显示在监视器13b上的插入部形状图像信号，并且生成向图像处理装置4输出的表示内窥镜插入部的形状的3维坐标信息，及形状显示属性等插入形状数据。

另外，该内窥镜插入形状观测装置3根据来自未图示的操作盘的输入指示，可以变更由形状处理装置13的处理所生成的，显示在监视器13b的插入部形状图像的旋转角，放大缩小率等的形状显示属性。

所述形状处理装置13所生成的插入形状数据可以输出到图像处理装置4。

另外，该内窥镜插入形状观测装置3在内窥镜检查中，可连续地将插入形状数据输出到图像处理装置4，并且也可以只输出操作设置在所述电子内窥镜12的释放开关12a的时的插入形状数据。

图像处理装置4具有：个人计算机(以下称为PC)15、用于将各种指示输入到该PC15的鼠标16和键盘17、以及将PC15所处理的各种信息数据及图像信息进行再现显示的显示器18。

并且，在PC15内具有：取得从所述内窥镜插入形状观察装置3的形状处理装置13的通信口13a输出的插入形状数据的通信口15a；取得从所述内窥镜装置2的视频处理器10的通信口10a输出的内窥镜检查信息的通信口15b；及将所述内窥镜2的视频处理器10生成的动态影像信号转换为规定的压缩图像数据的动态图像输入口15c。

即，将所述视频处理器10所生成的动态图像的影像信号输入到图像处理装置4的动态图像输入口15c，将该动态图像的影像信号转换为规定的压缩动态图像影像信号数据，如MJPEG格式的压缩图像数据，并保存到PC15的未图示的记录装置内。

另外，一般来讲，在内窥镜检查开始前，能够从视频处理器10输入与内窥镜检查相关的检查信息，根据该输入的检查信息，观察监视器14上以文字及数字的形式进行显示，并且也能够从通信口10a通过通信口15b将该检查信息数据发送并记录到图像处理装置4内。

另外，所谓检查信息，例如为：患者的姓名，出生年月日，性别，年龄，患者编号及检查日期时间等。

即，图像处理装置4根据需要与视频处理器10相连接，接收并保存来自视频处理器10的各种信息数据。

结合图2和图3对这种结构的电子内窥镜系统1的内窥镜插入形状观测装置3的插入形状数据的生成进行说明。

内窥镜插入形状观测装置3在所述电子内窥镜12的电子摄像元件拍摄生成的拍摄影像信号的每一帧生成包含内置于电子内窥镜12的插入部内的M个源线圈的3维坐标的插入形状数据。根据该插入形状数据生成插入部形状图像，将其显示在显示器13b上，并且将插入形状数据输出给图像处理装置4。

该内窥镜插入形状观测装置3所检测的源线圈的坐标系如图2所示，在电子内窥镜12的插入部中内置有插入形状推断用的M个源线圈，从第j帧的插入部前端开始数，表示第i个(i＝0，1，…，M-1)源线圈的3维坐标(X^j _i，Y^j _i，Z^j _i)。

表示该内窥镜插入形状观测装置3所检测出的源线圈的坐标系的插入形状数据的结构如图3所示，将与一帧有关的数据作为一个信息包来发送。在一个信息包内，具有：插入形状数据的取得作成时刻，显示属性信息，附属信息，源线圈坐标等的数据。将该源线圈坐标系数据，在电子内窥镜12的插入部中内置的源线圈的3维坐标从插入部前端朝向插入部的根端的操作部的方向上，按顺序排列配置。另外，将内窥镜插入形状观测装置3的检测范围以外的源线圈的坐标设定为规定的常数。

下面，结合图4至图6对来自所述图像处理装置4的所述内窥镜装置2的视频处理器10的检查信息和内窥镜图像，及来自所述内窥镜插入形状观测装置3的形状处理装置13的插入形状数据的取得记录处理作用，及作为被检测体的大肠的伸展检测进行说明。

该处理动作是通过使PC15执行驱动被设置在图像处理装置4中的检查应用程序来实现的。

在开始内窥镜检查时，由视频处理器10输入检查信息，在图像处理装置4的PC15中启动检查应用程序。当该检查应用程序被启动时，在显示器18上会显示图6所示的检查窗口100和内窥镜图像窗口105。

当该图像处理装置4的PC15执行驱动检查应用程序，在所述显示器18上显示了检查窗口100时，在步骤S1，PC15设定为接收并保存来自视频处理器10的检查信息及内窥镜图像数据、和来自内窥镜插入形状观测装置3的形状处理装置13的插入形状数据的模式。

接下来，在步骤S2，PC15判断医务人员是否通过操作鼠标16或键盘17，点击了所述检查窗口100所显示的检查开始按钮(图中表示为Start Exam)101。在检查开始按钮没有被点击之前处于待机状态，当被点击时，实施步骤S3以后的处理。

在步骤S3，PC15打开通信口15a，开始和内窥镜插入形状观测装置3的形状处理装置13进行通信，在步骤S4，打开通信口15b，开始和视频处理器10进行通信。

在步骤S5，PC15对于视频处理器10，通过通信口15b将取得检查信息的指令发送到视频处理器10的通信口10a，接收到该检查信息取得指令的视频处理器10将检查信息发送到PC15。

在步骤S6，PC15将在该步骤S5中由视频处理器10发送来的检查信息记录保存到未图示的记录装置内。

接下来，在步骤S7，PC15通过通信口15a，将取得插入形状数据的指令发送到形状处理装置13的通信口13a，接收了该插入形状数据取得指令的形状处理装置13便开始发送输出插入形状数据。该发送一直持续到PC15和形状处理装置13之间的通信结束，关闭通信口15a为止。

在步骤S8，PC15接收在上述步骤S7由形状处理装置13发送来的插入形状数据，将其与在上述步骤S6中所记录保存的检查信息建立关联，以文件的形式保存到设置在PC15内的，未图示的硬盘中(以下称为插入形状文件)。

接下来，在步骤S9，PC15将从所述视频处理器10输入到动态图像输入口15c的动态图像影像信号转换为MJPEG格式的压缩图像数据，将其与在上述步骤S6中所记录保存的检查信息建立关联，并以文件的形式保存到PC15的未图示的硬盘中(以下称为图像文件)，同时将输入到所述动态图像输入口15c的动态图像显示在图6所示的内窥镜图像窗口105的内窥镜图像区域106内。

接下来，在步骤S10，PC15实施图5所示的步骤S21以后的警告处理，当该警告处理完成时，PC15在步骤S11判断是否操作了检查窗口100的检查结束按钮(图中表示为End Exam)102，当判断为没有操作检查结束按钮102时，返回到上述步骤S8，当判断为操作了检查结束按钮102时，在步骤S12关闭通信口15a，15b，结束形状处理装置13和视频处理器10的信息数据的通信。

结合图5对上述步骤S10的警告处理进行说明。该步骤S10的警告处理是作为被检测体的大肠的伸展检测处理。在所述电子内窥镜12的插入部前端几乎处于停止推进的状态下，由于考虑到在大肠内的内窥镜插入部的插入长度如果延伸的话大肠会伸展，因而通过检测内窥镜插入部的插入长度来检测大肠的伸展情况。

在步骤S21，所述PC15判断是否取得了在上述步骤S8中取得记录时的帧的插入形状数据的前一帧的插入形状数据，当判断为没有取得前一帧的插入形状数据时，进入到步骤S11以后的处理。

在上述步骤S21，当判断为取得了前一帧的插入形状数据时，PC15在步骤S22根据所述帧和当前帧的插入形状数据，通过算式1计算出电子内窥镜12的插入部前端的移动量dif。

【算式1】

dif＝|X^j _o-X^j-1 _o|+|X^j _l-X^j-1 _l|+…+|X^j _m-1-X^j-1 _m-1|

+|Y^j _o-Y^j-1 _o|+|Y^j ₁-Y^j-1 ₁|+…+|Y^j _m-1-Y^j-1 _m-1|

+|Z^j _o-Z^j-1 _o|+|Z^j _l-Z^j-1 _l|+…+|Z^j _m-1-Z^j-1 _m-1|

通过该算式1所计算出的移动量dif只从插入部的前端使用m个数据。该移动量dif的计算，并不限于算式1，例如也可以采用欧几里德距离。

在步骤S23中，将在上述步骤S22中通过算式1计算出的，作为移动量dif的插入部前端的移动距离与规定的阈值相比较，当移动量dif的移动距离大于规定的阈值时，判断为插入部前端正在插入移动中，进入到步骤S11以后的处理，当小于阈值时，判断为插入部前端处于停止状态，实施步骤S24以后的处理。

在步骤S24，PC15求得插入形状观测装置3的形状处理装置13所检测时的帧的电子内窥镜12的插入部的长度。该电子内窥镜12的插入部的长度，例如根据形状处理装置13所生成的插入形状数据的有效的源线圈坐标数据数，来计算内窥镜插入部的长度。

接下来，在步骤S25，PC15将在上述步骤S24所计算出时的帧的插入部的长度和该时的帧的前一帧的内窥镜插入部的长度相比较。当该步骤S25的比较结果为当前帧的内窥镜插入部的长度长于前一帧的内窥镜插入部的长度时，判断为插入部在插入移动中，进入到步骤S11以后的处理，当当前帧的内窥镜插入部的长度短于前一帧的内窥镜插入部的长度时，判断插入部处于停止或提取状态，实施步骤S26以后的处理。

在上述步骤S25中，当前帧的插入部的长度短于前一帧时插入部的长度的情况下，PC15判断为没有产生大肠的伸展，在步骤S26中停止内窥镜的插入部前端的推进，并根据当前帧的内窥镜插入部的长度来判断前一帧时的长度是否连续了的规定的帧数。

在该步骤S26中，当在所述电子内窥镜的插入部前端处于停止状态，前一帧的插入部的长度的增加状态没有连续规定的帧数时，判断为没有产生大肠的伸展，执行上述步骤S11以后的处理，当在所述电子内窥镜的插入部前端处于停止状态，前一帧的插入部的长度的增加状态连续了规定的帧数时，判断为产生了大肠的伸展，实施步骤S27的处理。

在步骤S27，PC15生成警告产生了大肠的伸展的警告信号，作为提供与内窥镜插入部的形状有关的信息发出警告声，并将警告信息显示到图6的检查窗口100的警告显示部110内。另外，警告显示不仅可用文字，也可以对警告图形显示部111进行图标等的图形显示，或以闪烁方式来显示警告显示。

如上所述，本发明的图像处理装置通过当前帧和前一帧的多个插入形状数据，可以根据实际所插入的内窥镜插入部的动作来提供与内窥镜插入部的形状有关的信息，也可以很容易地，快速地检测并判断观察部位的大肠的伸展，使医务人员迅速得知警告。

另外，在该图像处理装置4中，只对以来自插入形状观测装置3的插入形状数据为基准检测并警告大肠的伸展进行了说明，但也可以准备可阅览内窥镜图像和插入形状数据的阅览器，对于所指定的插入形状数据进行大肠伸展的检测。

下面，结合图7及图8对本发明第2实施例进行说明。

该第2实施例的电子内窥镜系统1的结构和上述的第1实施例相同，且对来自图像处理装置4的内窥镜装置2和内窥镜插入形状观察装置3的内窥镜图像及插入形状数据的处理方法也基本相同。

在该第2实施例中和上述的第1实施例不同之处为图像处理装置4的步骤S10的警告处理的处理方法不同，该步骤S10的第2实施例的警告处理，实施图7所示的步骤S41以后的处理。

在步骤S41，所述PC15判断是否取得了在上述步骤S8中取得记录时的帧的插入形状数据的前一帧的插入形状数据，当判断为没有取得前一帧的插入形状数据时，进入到步骤S11以后的处理。

在上述步骤S41中，当判断为取得了前一帧的插入形状数据时，PC15在步骤S42，根据前一帧和当前帧的插入形状数据，通过算式2计算出电子内窥镜12的插入部前端的移动量difl。

【算式2】

dif1＝|X^j _o-X^j-1 _o|+|X^j _l-X^j-1 _l|+…+|X^j _m1-1-X^j-1 _m1-1|

+|Y^j _o-Y^j-1 _o|+|Y^j _l-Y^j-1 _l|+…+|Y^j _m1-1-Y^j-1 _m1-1|

+|Z^j _o-Z^j-1 _o|+|Z^j _l-Z^j-1 _l|+…+|Z^j _m1-1-Z^j-1 _m1-1|

通过该算式2所计算出的移动量dif1只从插入部的前端使用ml个数据。该移动量dif1的计算并不限于算式2，例如也可以采用欧几里德距离。

在步骤S43，将在上述步骤S42中通过算式2所计算出的，作为移动量dif1的插入部前端的移动距离与规定的阈值相比较，当移动量dif1的移动距离大于规定的阈值时，判断为插入部前端正在插入移动中，进入到步骤S11以后的处理，当小于阈值时，判断为插入部前端处于停止状态，实施步骤S44以后的处理。

在步骤S44，PC15和上述步骤S42同样，根据前一帧和当前帧的插入形状数据，通过算式3计算出来自电子内窥镜12的插入部的操作部方面的移动量dif2。

【算式3】

+…+|X^j _m-m2-X^j-1 _m-m2|

在步骤S45，将在该步骤S44中通过算式3所计算出的，作为移动量dif2的插入部的操作部方面的移动距离与规定的阈值相比较，当移动量dif2的移动距离小于规定的阈值时，判断为插入部的操作部方面正处于停止中，进入到步骤S11以后的处理，当大于阈值时，判断为插入部的操作部方面正处于移动中，实施步骤S46以后的处理。

接下来，在步骤S46，PC15通过算式4，如图8所示那样采用为当前帧的第j帧和为前一帧的第j-1帧的第i个线圈坐标，求得插入部前端的移动的方向，和根据为前一帧的第j-1帧的第i个和第i-1个线圈坐标所形成的插入部的方向的角度Ang^j1。

【算式4】

Vec1＝(X^j _i-X^j-1 _i，Y^j _i-Y^j-1 _i，Z^j _i-Z^j-1 _i)

＝(VX1，VY1，VZ1)

Vec2＝(X^j _i-1-X^j-1 _i，Y^j _i-1-Y^j-1 _i，Z^j _i-1-Z^j-1 _i)

＝(VX2，VY2，VZ2)

dn1＝√VX1²+VY1²+VZ1²

dn2＝√VX2²+VY2²+VZ2²

Ang^ji＝cos^-1(VX1 VX2+VY1 VY2+VZ1 VZ2)/(dn1 dn2)

即，在图8中表示，由(X^j-1 _i，Y^j-1 _i，Z^j-1 _i)和(X^j-1 _i-1，Y^j-1 _{i -1}，Z^j-1 _i-1)形成的矢量Vec2的方向表示插入部的方向，由(X^j _i-1，Y^{j -1} _i，Z^j-1 _i)和(X^j _i，Y^j _i，Z^j _i)所形成的矢量Vec1的方向表示插入部前端的移动方向。其中，i采用预先赋予的线圈编号。

接下来，在步骤S47，PC15将在上述步骤S46中求得的角度Ang^j ₁与规定的阈值相比较，判断是否将电子内窥镜12的插入部插入到插入部的方向。在该插入部的前端的移动方向与插入部前端的方向所形成的角度Ang^j ₁小于规定的阈值的情况下，判断为医务人员正在进行电子内窥镜12的插入操作，进入步骤S48以后的处理，在大于规定的阈值的情况下，判断为没有在进行电子内窥镜12的插入操作，进入到步骤S11以后的处理。

在步骤S48，当判断为在上述步骤S47中正在进行电子内窥镜12的插入操作时，PC15判断正在进行电子内窥镜12的插入操作的状态是否连续了规定的帧数，当判断为没有连续规定的帧数时，进入到上述步骤S11以后的处理，当判断为连续了规定的帧数时，即判断为产生了大肠的伸展，在步骤S49中，作为提供与内窥镜插入部的形状有关的信息而发出警告。警告方法例如可以考虑通过PC15发出警告声，或将警告信息显示到图6所示的检查窗口的警告显示部110内等的方法。另外，警告显示不仅用文字，也可以用图标等的图形，或以闪烁这些文字图形方式来进行显示。

这样，可以很容易地检测出有可能成为被检测体的患者的不舒适感原因的大肠的伸展。

另外，在图像处理装置4中，只对接收来自插入形状观测装置3的插入形状数据时检测并警告大肠的伸展的情况进行了说明，但也可以准备可阅览内窥镜图像和插入形状数据的阅览器，对所指定的插入形状数据进行大肠伸展的检测。

下面，结合图9及图10对本发明第3实施例进行说明。

该第3实施例的电子内窥镜系统1的结构和上述的第1实施例相同，且对来自图像处理装置4的内窥镜装置2和内窥镜插入形状观测装置3的内窥镜图像及插入形状数据的处理方法也基本相同。

该第3实施例与上述第1实施例不同之处为；在电子内窥镜12的插入部前端形成了角度(ANGLE)的状态下进行插入操作的情况下的检测处理。当内窥镜插入部前端形成了角度的状态下，不观察内窥镜插入部的插入方向而进行内窥镜的插入操作时，会给被检测体的患者带来不舒适感。因而对该内窥镜插入前端形成了角度的状态下的插入操作进行警告。

和上述的第1实施例同样，作为在图像处理装置4中所设置的检查应用程序来实现该内窥镜插入部前端形成了角度的状态下的插入操作的检测，。当PC15启动该检查应用程序时，图6所示的检查窗口100被显示到显示器18中，该检查应用程序的动作和上述步骤S1～S12的动作相同。但在步骤S10所实施的警告处理则变为图9所示的步骤S61以后的处理。

在步骤S61，所述PC15判断是否取得了在上述步骤S8中取得记录时的帧的插入形状数据的前一帧的插入形状数据，当判断为没有取得前一帧的插入形状数据时，进入到步骤S11以后的处理。

在上述步骤S61中，当判断为取得了前一帧的插入形状数据时，在步骤S62，PC15根据前一帧和当前帧的插入形状数据，求得电子内窥镜12的插入部前端的角度Ang^j ₁。通过算式5，如图10所示那样，从内窥镜插入部前端，在m个源线圈的坐标当中按顺序选择连续的3个点来求得角度Ang^j ₁。另外，Vec3和Vec4的始点一致所形成的角度大，则插入部前端的弯曲大。

【算式5】

Vec3＝(X^j _i-X^j-1 _i+1，Y^j _i-Y^j-1 _i+1，Z^j _i-Z^j-1 _i+1)

＝(VX3，VY3，VZ3)

Vec4＝(X^j _i+2-X^j _i+1，Y^j _i+2-Y^j _i+2，Z^j _i+2-Z^j _i+1)

＝(VX4，VY4，VZ4)

dn3＝√VX3²+VY3²+VZ3²

dn4＝√VX4²+VY4²+VZ4²

Ang^j _i＝cos^-1(VX3 VX4+VY3 VY4+VZ3 VZ4)/(dn3 dn4)

接下来，在步骤S63，PC15将在上述步骤S62中所求得的多个角度Ang^j ₁与规定的阈值相比较，如果在该角度Ang^j ₁当中有大于规定的阈值的值，则判断为内窥镜插入部前端形成了角度，进入步骤S64以后的处理，当判断为没有表示大于规定的阈值的角度Ang^j ₁的值时，进入到步骤S11以后的处理。

当在上述步骤S63中存在有表示大于规定的阈值的值的角度Ang^j ₁，判断为内窥镜插入部前端形成了角度时，在步骤S64，PC15求得插入形状观测装置3的形状处理装置13所探测时的帧的电子内窥镜12的插入部的长度。该电子内窥镜12的插入部的长度，例如是以形状处理装置13所生成的插入形状数据的有效的源线圈坐标数据数为基准来计算出内窥镜插入部的长度的。

接下来，在步骤S65，PC15将在上述步骤S64中所计算出时的帧的插入部的长度和该时的帧的前一帧的内窥镜插入部的长度相比较。在该步骤S65的比较结果为当前帧的内窥镜插入部的长度长于前一帧的内窥镜插入部的长度时，判断为插入部正在向器官的内部插入移动中，进入到步骤S66以后的处理，当当前帧的内窥镜插入部的长度短于前一帧的内窥镜插入部的长度时，判断为插入部处于停止或提取状态，实施步骤S11以后的处理。

在上述步骤S66，PC15判断内窥镜插入部的长度增加是否连续了规定的帧数。

在该步骤S66中，当判断为插入部的长度增加的状态没有连续规定的帧数时，进入到步骤S11以后的处理，当判断为连续了规定的帧数时，在步骤S67中生成警告内窥镜插入部前端形成了角度的状态下进行插入的警告信息，提供与内窥镜插入部的形状有关的信息，发出警告声，并将警告信息显示到图6的检查窗口100的警告显示部110中。另外，警告显示不仅用文字，也可以采用图标等的图形显示，或进行闪烁显示。

这样，根据当前帧和前一帧的多个插入形状数据，可以根据实际所插入的内窥镜插入部的动向来提供与内窥镜插入部的形状有关的信息，可以检测并警告成为患者不舒适感的原因的，在内窥镜插入部前端形成了角度的状态下的插入操作。另外，在形成了角度的状态下的插入操作的警告，也可以准备可阅览图像和形状数据的阅览器，对所指定的插入形状数据发出同样的警告。

下面，结合图11及图12对本发明的第4实施例进行说明。

该第4实施例的电子内窥镜系统1的结构和上述的第1实施例相同，且对来自图像处理装置4的内窥镜装置2和内窥镜插入形状观测装置3的内窥镜图像及插入形状数据的处理方法也基本相同。

该第4实施例和上述的第3实施例不同之处为：在电子内窥镜12的插入部前端形成了不同的角度的状态下进行插入操作的情况下的检测处理。

和上述的第3实施例同样，是作为在图像处理装置4中所设置的检查应用程序来实现该内窥镜插入部前端形成了角度的状态下的插入操作的检测的。当PC15启动该检查应用程序时，图6所示的检查窗口100被显示到显示器18中，该检查应用程序的动作和上述步骤S1～S12的动作相同。但在步骤S10所实施的处理则变为图11所示的步骤S81以后的处理。

在步骤S81，所述PC15判断是否取得了在上述步骤S8中取得记录时的帧的插入形状数据的前一帧的插入形状数据，当判断为没有取得前一帧的插入形状数据时，进入到步骤S11以后的处理。

在上述步骤S81中，当判断为取得了前一帧的插入形状数据时，在步骤S82，PC15根据前一帧和当前帧的插入形状数据，求得电子内窥镜12的插入部前端的角度Ang^j ₁，通过算式5，如图10所示那样，从内窥镜插入部前端的m个源线圈的坐标当中按顺序选择连续的3个点来求得角度Ang^j ₁。

接下来，在步骤S83，PC15将在上述步骤S82中所求得的多个角度Ang^j ₁与规定的阈值相比较，如果在该角度Ang^j ₁当中有大于规定的阈值的值，则判断为内窥镜插入部前端形成了角度，实施步骤S84以后的处理，当判断为没有表示大于规定的阈值的角度Ang^j ₁的值时，进入到上述步骤S11以后的处理。

当在上述步骤S83中存在有表示大于规定的阈值的值的角度Ang^j ₁，判断内窥镜插入部前端形成了角度时，在步骤S84，PC15通过算式4，如图8所示那样，根据前一帧和当前帧的插入形状数据，求得电子内窥镜12的插入部的操作部的移动的方向和插入部操作部方面的方向所形成的角度，采用当前帧的第j帧和前一帧的第j-1帧的第i个线圈坐标，根据插入部操作部的移动的方向和前一帧的第j-1帧的第i和第i+1第1个线圈坐标，求得插入部操作部的方向所形成的角度Ang^j ₁。

即，在图8中，(X^j-1 _i，Y^j-1 _i，Z^j-1 _i)和(X^j-1 _i-1，Y^j-1 _i-1，Z^{j- 1} _i-1)所形成的矢量Vec2的方向表示插入部的方向，(X^j-1 _i，Y^j-1 _i，Z^{j -1} _i)和(X^j _i，Y^j _i，Z^j _i)所形成的矢量Vec1的方向表示插入部前端的移动方向。在这里，i采用预先赋予的线圈编号。

接下来，在步骤S85，PC15根据在上述步骤S84中所求得的角度Ang^j ₁，判断电子内窥镜12的插入部的操作部是否正在插入，并与规定的阈值相比较。在该插入部操作部的移动方向和与插入部操作部的移动方向所形成的角度Ang^j ₁小于规定的阈值的情况下，判断为医务人员正在进行电子内窥镜12的插入部的操作部的插入操作，实施步骤S86以后的处理，在大于规定的阈值的情况下，判断为没有进行电子内窥镜12的插入部操作部的插入操作，进入到上述步骤S11以后的处理。

在上述步骤S85，当判断为电子内窥镜12的插入部操作部正在进行插入操作时，在步骤S86，PC15通过算式4，如图8所示那样采用作为当前帧的第j帧和为前一帧的第j-1帧的第i个线圈坐标，求得插入部前端的移动的方向，和根据前一帧的第j-1帧的第i个和第i+1个线圈坐标插入部的方向所形成的角度Ang^j ₁。

即，在图8中表示，由(X^j-1 _i，Y^j-1 _i，Z^j-1 _i)和(X^j-1 _i-1，Y^j-1 _{i -1}，Z^j-1 _i-1)所形成的矢量Vec2的方向表示插入部的方向，由(X^j-1 _i，Y^j-1 _i，Z^j-1 _i)和(X^j _i，Y^j _i，Z^j _i)所形成的矢量Vec1的方向表示插入部前端的移动的方向。在这里，i采用预先赋予的线圈编号。

接下来，在步骤S87，PC15根据在上述步骤S86中所求得的角度Ang^j ₁，判断电子内窥镜12的插入部前端是否插入到与观察方向不同的别的方向。该插入部前端的移动方向的判断为：在和插入部前端的方向所形成的角度Ang^j ₁大于规定的阈值的情况下，判断为内窥镜的插入部前端插入到与观察方向不同的别的方向。在该步骤S87中，当判断为内窥镜的插入部前端插入到与观察方向不同的别的方向时，实施步骤S88以后的处理，当判断为内窥镜的插入部前端插入到观察方向时，进入到上述步骤S11以后的处理。

在步骤S87，当判断为内窥镜12的插入部前端插入到与观察方向不同的别的方向时，在步骤S88，PC15判断插入到与观察方向不同的别的方向的操作是否连续了规定的帧数，当判断为没有连续规定的帧数时，进入到上述步骤S11以后的处理，当判断为连续了规定的帧数时，判断为在形成了角度的内窥镜的操作部所进行的插入操作的插入部前端的状态下正在实施插入操作，在步骤S89发出警告。警告方法例如可以考虑通过PC15发出警告声，或将警告信息显示到图6所示的检查窗口100的警告显示部110中等。另外，警告显示不仅用文字，也可以采用图标等的图形显示，并且也可以将这些文字图像进行闪烁显示。

这样，可以很容易地检测出造成使作为被检测体的患者产生不舒适感的原因的在形成了角度的状态下的插入。

另外，在图像处理装置4中，只对接收来自插入形状观测装置3的插入形状数据时检测并警告插入部前端形成了角度的状态下的插入进行了说明，但也可以准备可阅览内窥镜图像和插入形状数据的阅览器，对所指定的插入形状数据发出同样的警告。

下面，结合图12～图18对本发明的第5实施例进行说明。

该第5实施例的电子内窥镜系统1的结构和上述的第1实施例相同，且对来自图像处理装置4的内窥镜装置2和内窥镜插入形状观测装置3的内窥镜图像及插入形状数据的处理方法也基本相同。

该第5实施例例如在大肠内窥镜中，在将内窥镜的插入部插入到大肠内的过程中有形成环形的情况。该环形根据其形状被称为α环，N环，γ环等。

为了减轻该环形所给与被检测体的患者的不舒适感，提高插入部的插入性，要解除内窥镜插入部的环形，进行直线化的操作。

在此种内窥镜插入部的插入操作时，在形成了环形时，通过识别显示该环形的状态，并且显示内窥镜插入部的直线化操作方法，可以达到提高内窥镜插入部的插入性和缩短内窥镜检查的时间，及减轻患者的不舒适感的效果。

和上述的第1实施例同样，作为在图像处理装置4中所设置的检查应用程序来实现在该内窥镜插入部前端所形成的环形的检测。在PC15启动该检查应用程序后，显示器18上显示图6所示的检查窗口100，该检查应用程序的动作和上述步骤S1～S12的动作相同。但在步骤S10所实施的处理则变为图12所示的步骤S101以后的处理。

在这里，作为在该第5实施例中所进行的识别内窥镜插入部的环形的状态，并使其直线化的内窥镜操作的例子，采用了两个例子。(1)判断环形是顺时针还是逆时针旋转，把环形旋转方向设定为从内窥镜插入部的前端沿着操作部侧旋转的方向。(2)判断内窥镜插入部的环形形成部分的前端侧和操作部侧哪个位于视点一侧。

另外，由于内窥镜插入形状可以考虑为曲线，因而在识别环形，判断旋转方向时可以使用曲线的特征提取技术。

因此，在该实施例的说明中，为了简化说明，使用将插入形状投影到X，Y轴的2维曲线来进行参考，例如使用P形傅里叶描述符。关于P形傅里叶描述符，在电子信息通信学会论文志Vol.j 67-A No.3中进行了详细叙述。

该方法为：首先将曲线段割成Vn个(Vn是分割数、为正数)线段，对该线段的端点进行复数表示，定义在各点的全曲率函数，将通过对全曲率函数进行傅里叶变换而得到的功率谱作为曲线的特征。

另外，可以事先将顺时针旋转及逆时针旋转的圆状的环形形状的P形傅里叶描述符的特征进行存储，将各个形状的功率谱设为Cq(k)，(k＝0，…，Vn-1)。将q＝0定为顺时针，q＝1定为逆时针。

在步骤S101，PC15决定环形状形成候补。在形成圆形的环形的情况下，由于源线圈和源线圈相接近，因而将两个源线圈的距离小于规定的阈值的部分作为环形形成候补。

接下来，在步骤S102，PC15将环形形成候补的曲线段割为Vn个线段，根据P形傅里叶描述符，求得功率谱C(k)，(k＝0，…，Vn-1)。从插入部前端侧将Vn个线段的端点设定为(Px0，Py0，Pz0)，…，(PxVn，PyVn，PzVn)。在P形傅里叶描述符中，只使用xy成分。

接下来，在步骤S103，PC15求得功率谱Cq(k)和功率谱C(k)的欧几里德距离。在步骤S104，将在该步骤S103中所求得的欧几里德距离与规定的阈值相比较，在所求得的欧几里德距离小于阈值的情况下，判断为形成了环形。在该环形的判断中，如果C0(k)和C1(k)双方均小于阈值，则判断为向小的一侧进行旋转的方向。在没有环形的情况下，进入到上述步骤S11以后的处理。

在上述步骤S104，当判断为形成了环形时，PC15在步骤S105中采用(PxVn，PyVn，PzVn)，(PxVn-1，PyVn-1，PzVn-1)，(PxVn-2，PyVn-2，PzVn-2)，决定形成环形的平面S。然后，在步骤S106，求得所述平面S的法线矢量，求得和表示观察内窥镜插入部的方向的视线矢量所形成的角度θ。然后，在步骤S107，将插入部前端的(Px0，Py0，Pz0)的坐标代入到平面S的算式中，来决定是位于平面S的视点一侧，还是位于与视点相反的一侧。

关于是位于平面S的视点一侧，还是位于与视点相反的一侧的判断方法为：(1)如果角度θ大于90度，代入结果为正，则位于视点一侧(参照图13)；(2)如果角度θ大于90度，代入结果为负，则位于和视点相反的一侧(参照图13)；(3)如果角度θ小于等于90度，代入结果为正，则位于和视点相反的一侧(参照图14)；(4)如果角度θ小于等于90度，代入结果为负，则位于视点一侧(参照图14)。

在步骤S108，根据上述步骤S107的环形的方向和插入部前端，平面S的关系，决定内窥镜的操作方法，即环形解除方法。该环形解除方法的判断基准的例子，如下所述。

(1)因逆时针旋转，前端部位于和视点相反的一侧的情况下，按顺时针旋转来旋转操作内窥镜(参照图15)；(2)在因顺时针旋转，前端部位于视点一侧的情况下，按顺时针旋转来旋转操作内窥镜(参照图16)；(3)在因顺时针旋转，前端部位于和视点相反的一侧的情况下，按逆时针旋转来旋转操作内窥镜(参照图17)；(4)在因逆时针旋转，前端部位于视点一侧的情况下，按逆时针旋转来旋转操作内窥镜(参照图18)。

接下来，在步骤S109，PC15作为提供内窥镜操作的信息(督促操作的信息)，将在上述步骤S108中所设定的环形解除方法显示到所述检查窗口100的操作方法显示部111内。

另外，该操作方法显示部111的显示，如图6所示，也可以用以箭头等来表示的顺时针旋转及逆时针旋转来进行内窥镜旋转操作的图形及图标，或操作说明语言来进行显示，或采用声音的指示。

另外，在图像处理装置4中表示了接收来自插入形状观测装置3的插入形状数据时的解除操作显示，但也可以准备可阅览内窥镜图像和插入形状数据的阅览器，对所指定的插入形状数据进行同样的显示。

这样，通过识别插入形状，识别显示环形的状态，提示该插入操作，可以提高内窥镜的插入性和缩短内窥镜检查的时间，及减轻给与患者的痛苦。

另外，实现上述的第1至第5实施例的图像处理装置4也可以作为构成电子内窥镜系统1的一个功能，或装载到内窥镜插入形状观察装置3上。另外，也可以作为构成所述插入形状观察装置3及电子内窥镜系统1的综合的功能。

还有，在上述的第1至第5实施例中，作为推断内窥镜插入部的形状的结构，是采用在产生磁场的源线圈群和检测磁场的感应线圈群中，将其中任何一侧装载到内窥镜插入部上，通过由感应线圈群检测出的磁场来推断形状的例子来进行说明的，但例如也可以采用：利用通过弯曲产生传输损耗的光纤维，将该光纤维设置在内窥镜插入部内，根据透射光纤维的光量的变化来检测插入部的弯曲的方法，及将特殊的油墨涂在挠性基片上，，利用电阻值与基片的弯曲成比例变化的特性等的其他的检测方法。

下面，结合图19～图24对本发明的第6实施例进行说明。

图19是表示本发明的第6实施例的电子内窥镜系统的结构的方框图，图20是说明在上述第6实施例的电子内窥镜系统中，记录保存内窥镜图像和内窥镜插入形状数据的处理动作的流程图，图21是说明在上述第6实施例的电子内窥镜系统中，同步再现内窥镜图像和内窥镜插入形状图像的处理动作的流程图，图22是说明在上述第6实施例的电子内窥镜系统中，同步再现内窥镜图像和内窥镜插入形状图像的再现定时处理动作的流程图，图23是表示了在上述第6实施例的电子内窥镜系统中，记录保存内窥镜图像和内窥镜插入形状数据时的显示画面的图，图24是表示了在上述第6实施例的电子内窥镜系统中，和内窥镜插入形状图像同步再现的处理动作的显示画面的图。

首先，结合图19对采用了本发明的内窥镜图像处理装置的电子内窥镜系统201进行说明。

电子内窥镜系统201具有：内窥镜装置202、内窥镜插入形状观测装置203及图像处理装置204。

内窥镜装置202具有：电子内窥镜212、视频处理器210、光源装置211及观察监视器214。

电子内窥镜212在插入体腔内的管腔的细长的插入部前端上设置有电子摄像元件(未图示)，通过驱动控制该电子摄像元件而生成输出管腔的观察部位的拍摄影像信号，并且通过设置在插入部内的导光路对管腔的观察部位进行照明。

并且，在电子内窥镜212的插入部的前端部分上设置有弯曲部，可以通过设置在插入部根端上的操作部来进行弯曲操作。

另外，在电子内窥镜212的操作部中还设置有：释放开关212a；在与视频处理器210之间用于驱动控制摄像元件，传送拍摄所生成的拍摄影像信号的电缆；将来自光源装置211的照明光引导到导光路的导光缆等。当操作该释放开关212a时，实行后面所述的静止图像的记录。

另外，在电子内窥镜212内设置有检测在管腔的插入部的插入位置及形状的检测功能。该插入部形状检测功能和上述的以往一样，具有设置在内窥镜的插入部的多个源线圈和设置在内窥镜插入形状观测装置203的未图示的多个感应线圈。

视频处理器210在驱动控制所述电子内窥镜212的电子摄像元件的同时，对由电子摄像元件通过光电转换而生成的拍摄影像信号进行规定的信号处理，生成具有颜色信号及辉度信号的Y/C信号，或RGB信号。

由该视频处理器210生成的包括辉度信号和颜色信号的Y/C信号或RGB信号被直接输出到观察监视器214和图像处理装置215。

另外，当操作释放开关212a时，可以进行输出拍摄图像的静止图像的指示。

另外，在视频处理器210内，具有将与内窥镜检查有关的检查信息进行输入的功能(未图示)。

光源装置211是由照明光源的灯泡和该灯泡的点灯电路等构成，将灯泡点灯时所照射的照明光导入所述电子内窥镜212的导光路，从插入部前端照射到管腔的观察部位。

观察监视器214根据所述视频处理器210所生成的Y/C信号或RGB信号来显示内窥镜图像。

内窥镜插入形状观察装置203为内窥镜装置202的周边装置，包括：形状处理装置213，根据设置在内窥镜插入形状观察装置203中的未图示的感应线圈所检测出的设置在所述电子内窥镜212的源线圈的磁场，计算出各源线圈的位置坐标数据，或根据该计算出的位置坐标数据来推断形成插入部的形状，生成插入部形状图像信号；和根据该形状处理装置213生成的插入部形状图像信号来显示插入形状图像的监视器213b。

另外，该内窥镜插入形状观察装置203通过由未图示的操作盘输入指示，可以变更由形状处理装置213处理生成的显示在监视器213b中的插入部形状图像的旋转角度，放大缩小率等的形状显示属性。

在形状处理装置213内设置有通信口213a，可以将表示内窥镜插入形状的3维坐标信息，及形状显示属性等的插入形状数据输出到图像处理装置204。

另外，也可以只输出设置在电子内窥镜212的释放开关212a的操作时的插入形状数据。

图像处理装置204具有：个人计算机215(以下称为PC215)、对该PC215进行各种指示的输入的鼠标216，键盘217，及再现显示经PC215处理后的各种信息数据及图像信息的显示器218。

并且，在PC215内，具有：取得从所述内窥镜插入形状观测装置203的形状处理装置213的通信口213a输出的插入形状数据的通信口215a；取得从所述内窥镜2的视频处理器210的通信口210a输出的内窥镜检查信息的通信口215b；及将所述内窥镜2的视频处理器210生成的动态图像信号转换为规定的压缩图像数据的动态图像输入口215c。

即，将所述视频处理器210所生成的动态图像的影像信号输入到图像处理装置204的动态图像输入口215c，将该动态图像的影像信号转换为规定的压缩动态图像影像信号数据，如MJPEG格式的压缩图像数据，并保存到PC215的未图示的存储装置内。

另外，一般来讲，在内窥镜检查开始之前，从视频处理器210输入与内窥镜检查相关的检查信息，根据该输入的检查信息数据，将其以文字及数字的形式显示在观察监视器214上，并且可以从通信口210a通过通信口215b，将该检查信息数据发送记录到图像处理装置204。

另外，所谓检查信息，例如为患者的姓名，出生年月日，性别，年龄，患者编号及检查日期，时间等。

即，图像处理装置204根据需要，与视频处理器210相连接，用来接收保存来自视频处理器210的各种信息数据。

对此种结构的电子内窥镜系统201的图像处理装置204的动作进行说明。首先，结合图20和图23对取得保存来自内窥镜插入形状观察装置203的形状处理装置213的内窥镜插入形状数据，来自所述视频处理器210的检查信息和内窥镜图像的处理动作进行说明。

该处理动作是通过驱动设置在图像处理装置204的内窥镜检查应用程序来实现的。当内窥镜检查开始时，视频处理器210输入检查信息，图像处理装置204启动内窥镜检查应用程序。当该内窥镜检查应用程序被启动后，图23(a)所示的检查窗口300及图23(b)所示的内窥镜图像窗口305被显示到显示器218上。

当该图像处理装置204的PC215驱动内窥镜检查应用程序，并将检查窗口300显示到显示器218上时，在步骤S201，由PC215设定成接收保存来自视频处理器210的检查信息及内窥镜图像数据的模式。

接下来，在步骤S202，PC215判断医务人员是否通过操作鼠标216或键盘217来点击了所述检查窗口300所显示的检查开始按钮(图中表示为Start Exam)301。在检查开始按钮301没有被点击之前处于待机状态，当被点击后，实施步骤S203以后的处理。

在步骤S203，PC215打开通信口215a，开始和内窥镜插入形状观测装置203的形状处理装置213进行通信，在步骤S204，打开通信口215b，开始和视频处理器210进行通信。

在步骤S215，PC215对于视频处理器210，通过通信口215b将取得检查信息的指令发送到视频处理器210的通信口210a，接收到该检查信息取得指令的视频处理器210，将检查信息发送到PC215。

在步骤S206，PC215将在该步骤S205中由视频处理器210发送来的检查信息记录保存到未图示的记录装置内。

接下来，在步骤S207，PC215通过通信口215a，将取得插入形状数据的指令发送到形状处理装置213的通信口213a，接收到该插入形状数据取得指令的形状处理装置213开始发送输出插入形状数据。该发送一直持续到PC215和形状处理装置213之间的通信结束，关闭通信口215a为止。

在步骤S208，PC215接收在上述步骤S207由形状处理装置213发送来的插入形状数据，并将其与在上述步骤S206中所记录保存的检查信息建立关联，并以文件的形式保存在设置在PC215的未图示的硬盘中(以下称为插入形状文件)。

接下来，在步骤S209，PC215对从所述视频处理器210输入到动态图像输入口215c的动态图像影像信号转换为MJPEG格式的压缩图像数据，并将其与在上述步骤S206中记录保存的检查信息建立关联，并且以文件的形式记录保存在PC215的未图示的硬盘中(以下称为图像文件)，同时将输入到所述动态图像输入口215c的动态图像显示到图23(b)所示的内窥镜图像窗口305的内窥镜图像区域306内。

接下来，在步骤S210，PC215判断是否操作了检查窗口300的检查结束按钮(图中表示为End Exam)302，当判断为没有操作检查结束按钮302时，返回到上述步骤S208，当判断为操作了检查结束按钮302时，在步骤S211关闭通信口215a，215b，结束形状处理装置213和视频处理器210的信息数据的通信。

这样，图像处理装置204取得由内窥镜202的视频处理器210所输入的检查信息数据；将电子内窥镜212所拍摄的影像信号转换为规定的压缩图像数据的内窥镜图像数据；及内窥镜插入形状观测装置203观测生成的插入形状数据，并将其与所述检查信息建立关联，记录保存到规定的记录装置内。

下面，结合图21和图24对根据所述图像处理装置204所记录保存的检查信息数据，内窥镜图像数据及插入形状数据，进行内窥镜图像与插入形状图像的同步再现的处理动作进行说明。

另外，在对该处理动作的内窥镜图像和插入形状的同步再现进行说明的同时，还对暂时停止再现，结束再现，直接指定显示帧的功能，及显示属性的变更进行说明。

另外，作为显示属性，根据内窥镜插入形状的X轴旋转的旋转和Y轴旋转的旋转，将插入形状显示的坐标系表示在图24(b)所示的插入形状显示画面330内。这些功能是通过在图像处理装置204中进行动作的浏览器程序(以下简称浏览器)来实现的。当启动该浏览器时，图24(a)所示的再现控制窗口310，图24(b)所示的插入形状显示窗口330，图24(c)所示的内窥镜图像窗口335被显示到显示器218中。

由于决定了内窥镜图像及插入形状图像的帧速率，并对插入形状图像的每一帧均记录了记录时间，因而对于内窥镜图像和插入形状图像的同步再现，只要根据图像文件及插入形状文件作成时间，作成对应调整再现开始时间的帧对应表，即可以进行两者的同步再现。

例如，当将图像文件的作成时间定为10点00分00秒，将插入形状文件的作成时间定为10点00分01秒，将内窥镜图像的帧速率定为每秒30帧，将插入形状的帧速率定为每秒15帧时，如表1所示，可以形成图像文件的内窥镜图像帧编号和插入形状文件的帧编号的关系表，根据该关系表，通过显示对应的帧，可以进行同步再现。

另外，在只再现内窥镜图像或内窥镜插入形状的情况下，也可以不使用表1的关系，根据帧速率来决定后面所述的再现定时的处理间隔，进行再现显示。

表1

内窥镜图像帧编号	内窥镜图像帧编号
内窥镜图像帧编号	内窥镜图像帧编号	0	无对应
1	无对应	0	无对应
1	无对应	…	…
29	无对应	…	…
29	无对应	30	1
31	1	30	1
31	1	32	2
33	2	32	2
33	2	…	…

首先，为了进行内窥镜图像和插入形状图像的同步再现处理，医务人员启动所述PC215的浏览器，将图24(a)所示的再现控制窗口310，图24(b)所示的插入形状显示窗口330，图24(c)所示的内窥镜图像窗口335显示到显示器218中。

当该再现控制窗口310被显示时，PC215在步骤S221中指定进行内窥镜图像和插入形状图像的同步再现的图像文件。进行该同步再现的图像文件的指定为：例如，当采用鼠标216或键盘217来操作再现控制窗口310的再现按钮(图中表示为Play)311时，文件选择用的窗口被显示到显示器218中，当从该文件选择用的窗口指定图像文件时，由该图像文件的检查信息附加关联的插入形状文件成为同步再现的对象。将图像文件所包含的帧数设为Nf。

这样，当医务人员从显示器218所显示的文件选择用窗口中选择出图像文件和与该图像文件相关的插入形状文件时，在步骤S222，PC215初始化再现控制窗口310的滑动控制器314的范围，使其最小值为0，最大值为Nf-1。

接下来，在步骤S223，PC215进行各种变量的初始化。在该各种变量的初期，将表示当前动作状态的状态设为：再现St＝Playback、显示帧编号Frm＝0、X轴旋转的旋转角度θx＝0、Y轴旋转的旋转角度θy＝0。

另外，再现帧编号Frm是指内窥镜图像的帧编号，在显示插入形状时，从表1所示的关系表中查找与所述内窥镜图像的帧编号Frm相对应的插入形状帧。

在上述步骤S223的各种变量的初始化结束后，在步骤S224，PC215设定再现定时。该定时为在软件的多任务处理等中所采用的软件定时。

该再现定时根据一定时间间隔来执行后面所述的内窥镜图像和插入形状的显示处理，当将定时处理的间隔定为内窥镜图像的帧速率f(fps)时，将再现定时定为1/f(sec)。

当在上述步骤S224的定时设定处理结束时，在步骤S225，PC215判断是否操作了再现控制窗口310的再现结束按钮(图中表示为Stop)313，当判断为操作了再现结束按钮313时，在步骤S236结束再现定时的驱动，结束该内窥镜图像和插入形状图像的同步再现显示的处理动作，当判断为没有操作再现结束按钮313时，在步骤S226判断是否操作移动了再现控制窗口310的滑动控制器314的滑块314a。

该步骤S226的滑动控制器314用于由医务人员直接指定再现的内窥镜图像的帧，可以显示与该所指定的内窥镜图像相关的插入形状图像。

另外，在移动了滑动控制器314的滑块314a，指定了再现的内窥镜图像的帧时，同步再现处于暂时停止状态，在移动了滑块314a的情况下，实施步骤S227以后的处理，在没有移动滑块314a的情况下，实施步骤S230以后的处理。

当在上述步骤S226判断为移动了滑动控制器314的滑块314a，指定了进行再现显示的内窥镜图像的帧时，在步骤S227，PC215为了暂时停止根据再现定时的对内窥镜图像和插入形状图像的更新，将状态设定为暂时停止(St＝Pause)。

接下来，在步骤S228，PC215求得通过移动滑动控制器314的滑块314a所设定的帧的位置，并将该位置设定为内窥镜图像文件的显示帧编号Frm，在步骤S229，在将与上述步骤S228中的内窥镜图像文件的显示帧编号Frm相对应的内窥镜图像帧显示到图24(c)的图像显示画面335的同时，从插入形状文件中取得与Frm相对应的插入形状数据及显示属性，将通过所述显示属性，及X轴旋转的旋转角度θx，Y轴旋转的旋转角度θy的插入形状的旋转所再构成的插入形状图像显示到图24(b)的插入形状显示画面330中，返回到上述步骤S225。

另外，也可以将该内窥镜图像窗口335及插入形状窗口330适当地重叠显示到显示器218中，或根据事先做出的设定，根据适当的缩尺将内窥镜图像，插入形状缩小，不使两个窗口重叠显示。两个窗口的大小，也可由用户变更。

当在上述步骤S226判断为没有移动滑动控制器314的滑块314a时，在步骤S230，PC215判断是否操作了再现控制窗口310的再现按钮(图中表示为Play)311，当判断为没有操作该再现按钮311时，实施步骤S232以后的处理，当判断为操作了再现按钮311时，在步骤S231，PC215将状态设置为再现(St＝Playback)，再次打开根据再现定时的对内窥镜图像和插入形状图像的更新，返回到所示步骤S225。

当在上述步骤S230判断为没有操作再现按钮311时，在步骤S232，PC215判断是否操作了再现控制窗口310的暂时停止按钮(图中表示为Pause)312，当判断为没有操作暂时停止按钮312时，实施步骤S234以后的处理，当判断为操作了暂时停止按钮312时，在步骤S233，PC215将状态设定为暂时停止(St＝Pause)，暂时停止根据再现定时的对内窥镜图像和插入形状图像的更新，返回到上述步骤S225。

当在上述步骤S232判断为没有操作暂时停止按钮312时，在步骤S234，PC215判断是否操作了插入形状旋转按钮315(图中表示为上下和左右方向的箭头的键)，当判断为没有操作时，返回到上述步骤S225，当判断为操作了插入形状旋转按钮315时，在步骤S235中进行操作了插入形状旋转按钮315的插入形状图像的旋转角度的增减处理，返回到上述步骤S225。

在该步骤S235实施的旋转角度的增减处置为：例如当操作插入形状旋转按钮315的向右方向的箭头(→)时，使Y轴旋转的旋转角度θy增加Cy，当操作向左方向的箭头(←)时，使Y轴旋转的旋转角度θy减少Cy，当操作向上方向的箭头(↑)时，使X轴旋转的旋转角度θx减少Cx，当操作向下方向的箭头(↓)时，使X轴旋转的旋转角度θx增加Cx。

另外，Cx和Cy为事先给定的插入形状的旋转角度的增减量的常数，单位是表示角度的弧度。通过变更该Cx和Cy的大小，每当操作插入形状旋转按钮315时可以改变插入形状的旋转的程度。

下面，结合图22对上述步骤S224的再现定时进行说明。该再现定时具有显示内窥镜图像，插入形状的功能，及更新滑动控制器314的滑块314a的位置的功能。根据该滑块314a的位置更新功能，医务人员可以简单地识别在内窥镜图像的全部的帧中现在显示了哪一帧。

另外，通过软件定时所实现的软件的多任务处理，也可以通过多线程方法来进行。

当在每个1/f(sec)请求再现定时处理时，在步骤S241，PC215判断状态是否为再现状态(St＝Playback)，当判断为不是再现时，结束再现定时的处理。当判断为再现时，进入到步骤S242。

在步骤S242，PC215从内窥镜图像文件中对显示所指定的帧的内窥镜图像数据进行解码，并显示到内窥镜图像显示画面335的内窥镜图像显示区域336内。

接下来，在步骤S242，PC215从插入形状文件中读取与在上述步骤S242中显示到内窥镜图像显示区域336的内窥镜图像的帧相对应的插入形状数据及显示属性，根据所述显示属性、及按照围绕X轴旋转的旋转角度θX和围绕Y轴旋转的旋转角度θy的旋转，再次构成插入形状图像，并显示到插入形状显示窗口330的插入形状图像显示区域331内。另外，通过对插入形状的3维坐标进行公知的坐标转换，可实现插入形状在X轴和Y轴上的旋转。

接下来，在步骤S244，PC215在显示帧编号Frm上加上1(Frm+1)，在步骤S245，判断Frm是否＝Nf-1。即，判断是否一直到最终的帧进行了再现显示。

在该步骤S245当判断为一直到最终的帧完成了再现显示时，在步骤S247，PC215使滑动控制器314的滑块314a的位置位于在所述S244中在显示帧编号Frm上加上了1的帧的位置上来移动滑动控制器314的滑块314a，结束再现定时的处理。

这样，采用所述图像处理装置204所记录存储的内窥镜图像及插入形状数据，可以同步再现显示到显示器218中。

另外，显而易见，也可以使视频处理器210或内窥镜插入形状观测装置203具备图像处理装置204的功能。

另外，内窥镜图像的保存形式并不限于动态图像，只要记录时间明确，静止图像的连续保存也可以得到同样的效果。

这样，通过记录保存内窥镜图像和插入形状数据，进行同步再现，可以将内窥镜图像和该时的内窥镜插入部的形状自由地进行对比，可以有效地应用于内窥镜插入操作的教学。

另外，在内窥镜检查后，通过一边改变内窥镜插入部的形状的显示属性，一边进行同步再现，可以在查找内窥镜插入困难的原因、和造成患者不舒适感的原因等时有效地发挥功能。

下面，结合图25至图27对本发明的图像处理装置的第7实施例进行说明。该第7实施例具有从在内窥镜检查时所记录保存的内窥镜检查信息、内窥镜图像及插入形状数据等的数据中检索所希望的内窥镜图像及内窥镜插入形状图像、和将信息附加到这些所检索的内窥镜图像及内窥镜插入形状图像中的功能。

为了执行该第7实施例的检索和信息附加功能，在PC215中要启动具有检索和信息附加功能的阅览器。阅览器将图27(a)所示的检索和信息附加用的再现控制窗口410和图27(b)所示的插入形状窗口430，图27(c)所示的内窥镜图像窗口435显示到显示器218上。

在该检索和信息附加功能中，例如采用内窥镜插入部的环形形状的检索例子来进行说明。另外，由于作为可识别的环形，预先设定了α环，N环，γ环，插入部形状可以考虑为曲线，因而使用曲线的特征提取技术。在这里，为了简化说明，以2维曲线来考虑插入部形状，例如，使用P形傅里叶描述符。关于该P形傅里叶描述符，在电子信息通信学会论文志vol.j 67-A No.3中进行了说明。

该方法为：首先用n个(n为分割数，是正数)线段将曲线进行分割，将该线段的端点进行复数显示，定义各点的全曲率函数，将通过对全曲率函数进行傅里叶变换而得到的功率谱作为曲线的特征。事先存储各环形的P形傅里叶描述符的特征，将各个环形的功率谱设为Cri(k)，(k＝0，…，n-1)，设i＝0时α环，i＝2时为N环，i＝3时为γ环。

结合图25对该检索和信息附加功能的处理动作进行说明。在步骤S251，所述PC215判断在显示器218所显示的再现控制窗口410中是否选择了再现显示对象或检索对象的检查信息。

该再现显示对象或检索对象的检查信息被显示在所述再现控制窗口410的检查信息显示区域419内，通过鼠标216或键盘217从该检查信息的目录中进行选择。

在该步骤S251，当判断为指示了从内窥镜检查信息目录中选择再现显示或检索对象的检查信息时，在步骤S252，PC215将从再现控制窗口410的检查信息显示区域419所显示的检查信息目录所选择的检查信息进行转动显示来变更显示。

在上述步骤S251中，在没有从内窥镜检查信息目录中进行选择的情况下，视为选择了被列在该检查信息目录的最前面的检查信息。将与所选择的检查信息建立关联的图像文件所包含的帧数定为Nf。

接下来，在步骤S253，PC215判断是否操作了再现控制窗口410的检索按钮(图中表示为Retrieval)416，当判断为没有操作检索按钮416时，实施步骤S260以后的处理，当判断为操作了检索按钮416时，在步骤S254将状态设定为检索(St＝Retrieval)，设定为显示帧编号Frm＝0，X轴旋转的旋转角度θx＝0，Y轴旋转的旋转角度θy＝0。另外，轴旋转的旋转处理和上述的第6实施例相同。

接下来，在步骤S255，PC215将未图示的检索信息窗口显示到显示器218上，采用该检索信息窗口来输入所检索的环形形状等的检索信息。在这里，是输入检索α环的信息。

在该步骤S255中，当输入所检索的环形的α环信息时，在步骤S256根据插入形状数据对每1帧计算出特征数据，将该所计算出的功率谱定为Cj(k)，(k＝0，…，n-1)，(j＝0，…，Nf-1)。

接下来，在步骤S257，PC215求得事先存储的有代表性的环形的功率谱Cri(k)和在上述步骤S256所计算出的功率谱Cj(k)的距离。例如，在α环和功率谱的距离小于阈值的情况下，判断Cj(k)为α环。使用该两个功率谱的距离，例如使用欧几里德距离，对所有的帧进行类似判断。

在步骤S258，PC215在滑动控制器414的范围内将最小值0，最大值初始化为Nf-1，在步骤S259，将表示在上述步骤S256和S257中判断为类似的帧的位置的图形218显示到滑动控制器414的旁边。另外，将帧位置图形418显示到图27(a)的再现控制窗口410的滑动控制器414的图中的上方。该帧位置图形418根据环形的种类也可以按颜色划分。

接下来，在步骤S260，PC215判断是否移动了滑动控制器414的滑块414a，当判断为没有移动时，实施步骤S263以后的处理，当判断为移动了滑块414a时，进入到步骤S261，检测所移动的滑块414a的位置，将再现帧的编号Frm设置到滑块位置上，在步骤S262，显示该所设置的帧的内窥镜静止图像和内窥镜插入形状图像。显示方法和步骤S229相同。

在步骤S262的内窥镜静止图像和内窥镜插入图像的显示和第6实施例相同。即，将该内窥镜图像窗口435及插入形状窗口430适当地重叠显示到显示器218上，或根据事先给定的设定，根据适当的缩尺将内窥镜图像，插入形状缩小，不使两个窗口重叠显示。

接下来，在步骤S263，PC215判断是否操作了所述再现控制窗口410的信息输入按钮(图中表示为Information)417，当判断为没有操作时，实施步骤S265以后的处理，当判断为操作了信息输入按钮417时，在步骤S264，使用未图示的信息输入窗口，输入想附加到显示器218所显示的内窥镜静止图像和内窥镜插入形状图像内的信息。将该所输入的附加信息与所述内窥镜检查信息及再现祯编号(Frm)建立关联来进行记录保存。

另外，也可以将该附加信息作为独立于内窥镜图像和内窥镜插入形状图像的信息进行存储。

接下来，在步骤S265，PC215判断是否操作了再现按钮(Play)411，当判断为操作了时，进入到上述步骤S222(参照图21)以后的同步再现的处理动作。第7实施例的步骤S222～S236的同步再现处理是将再现结束按钮，再现按钮，暂时停止按钮，旋转按钮，滑动控制器从图24中置换到图27中来实施处理。在执行了步骤S236后，返回到步骤S251。

当判断为没有操作再现按钮411时，在步骤S266判断是否操作了结束按钮(Close)420，当判断为没有操作时，返回到步骤S251，当判断为操作了结束按钮420时，在步骤S267关闭进行该检索和信息附加的阅览器。

如上所述，在内窥镜检查后，可以将附加信息追加输入到根据检索条件的基本原则所检索的内窥镜图像和内窥镜插入部形状图像中。

利用这样的检索和信息附加功能被追加输入了附加信息的内窥镜图像和内窥镜插入形状图像的同步再现动作，基本上和上述的图21的步骤S222～S236的处理相同，但由于步骤S224的再现定时的处理动作不同，因而结合图26对该检索和信息附加功能的再现定时处理动作进行说明。

该检索和信息附加功能的再现定时处理，可实现内窥镜图像帧和内窥镜插入形状的显示功能、附加信息显示功能、及滑动控制器的滑块位置的更新功能。

在步骤S271，PC215判断状态是否为再现(St＝Playback)，当判断为不是再现(Playback)时，结束该再现定时处理。当判断为再现时，在步骤S272，将由内窥镜图像文件所指定的帧的内窥镜图像进行解码，并将该被解码的帧的内窥镜图像显示到显示器218的，图27(c)所示的内窥镜图像窗口435的内窥镜图像区域436内。

接下来，在步骤S273，PC215取得与在上述步骤S272所解码的内窥镜图像的帧相对应的内窥镜插入形状数据及显示属性，将根据所述显示属性、及按照X轴旋转的旋转角度θX、Y轴旋转的旋转角度θy的旋转而再次构成的形状图像显示到显示器218上的图27(b)所示的插入形状显示窗口430的插入部形状显示区域431内。

并且，在步骤S274，PC215根据和上述步骤S273同样所解码的内窥镜图像的帧相对应的内窥镜插入形状数据，通过和上述步骤S256和S257(参照图25)相同的方法来识别插入形状，并将该结果显示到插入形状显示画面430的识别结果显示区域432内。可以识别的形状例如为：α环，N环，γ环等。

接下来，在步骤S275，PC215检索与所述被解码的内窥镜图像的帧相对应的附加信息，并显示到插入形状显示窗口430的信息显示区域433内。

这样，当将所指定的帧的内窥镜图像和与该帧相对应的内窥镜插入形状图像、插入形状识别结果、及附加信息显示到显示器218上时，在步骤S276，PC215在表示显示器218所显示的帧的再现帧编号Frm上加上1(Frm+1)，在步骤S277，判断是否一直再现显示到最终的帧，当判断为一直再现显示到最终的帧时，在步骤S278结束定时驱动。

在该步骤S277当判断为没有再现显示到最终的帧时，在步骤S279，将滑动控制器414的滑块414a的位置移动到与帧相对应的位置上，结束该再现定时的处理。

如上所述，该第7实施例可以根据从在内窥镜检查过程中拍摄生成的内窥镜图像及内窥镜插入形状图像输入的检索事项来检索再现显示所希望的图像，并且，可以将附加信息追加输入到该所检索再现显示的图像中。

在该第7实施例中，对根据内窥镜插入形状进行检索，将附加信息输入到该所检索的内窥镜插入形状内的例子进行了说明，但可以根据内窥镜检查信息进行检索，将附加信息输入到该内窥镜检查信息内，通过内窥镜图像检索来检索内窥镜图像，并将附加信息输入到该所检索的内窥镜图像内是不言而喻的。

另外，第7实施例的图像处理装置204的功能也可以内置保存于视频处理器210、或内窥镜插入形状观测装置203内也是不言而喻的。

另外，内窥镜图像的保存形式并不限于动态图像，只要记录时间明确，则连续保存静止图像也可以得到相同的效果。

这样，保存所输入记录的与内窥镜图像和插入形状图像相关的附加信息，通过进行同步再现，可以自由地将内窥镜图像和该时的内窥镜插入部的形状，相关信息进行对比，可以有效地应用于内窥镜插入操作的教学。特别是通过输入相关的信息，可以作为内窥镜插入的自学用的应用程序来使用。

另外，在内窥镜检查后，通过一边改变内窥镜插入部的形状的显示属性，一边进行同步再现，可以在研究内窥镜插入困难的原因，造成患者的不舒适感的原因等时有效地附加相关的信息，并将研究结果进行记录保存。

下面，结合图28和图29对本发明的图像处理装置的第8实施例进行说明。

该第8实施例的图像处理装置例如在用大肠内窥镜进行内窥镜检查的情况，在将内窥镜的插入部插入到大肠内的过程中，插入部有形成环形的情况。该环形根据其形状被称为α环，N环，γ环等。

当形成此种环形时，由于会给被检测体的患者带来不舒适感，因而要解除内窥镜插入部的环形，使其直线化，消除给患者的不舒适感。

该内窥镜插入部的直线化的操作，依赖于环形的状态。因此，通过识别，显示插入部的环形的状态，并显示内窥镜插入部的操作方法，可以缩短内窥镜检查的时间和减轻患者的不舒适感。

该第8实施例在上述的第6实施例的基础上，还包括插入形状的识别功能和将该识别结果及相关信息进行显示的功能。这些功能在图像处理装置204中是作为所动作的检查应用程序来实现的。

在开始内窥镜检查时，在视频处理器中输入检查信息，在图像处理装置204中启动检查应用程序。

当启动该检查应用程序时，图29(a)所示的检查窗口500及图29(b)所示的内窥镜图像窗口505被显示到显示器218中。

采用在该检查应用程序中，识别内窥镜插入部的环形的种类，将该识别结果进行显示，并根据该识别结果来检索为相关信息的内窥镜插入部的操作方法并进行显示的例子来进行说明。

另外，在以下的说明中，作为所识别的环形，考虑α，N，γ，和上述的第7实施例一样，事先存储P形傅里叶描述符的特征，作为各个环形的功率谱Cri(k)，(k＝0，…，n-1)，将i＝0设为α，将i＝2设为N，将i＝3设为γ。

另外，将与各环的状态相对应的内窥镜插入部的操作方法事先登录到数据库内，将识别结果作为检索键，可以检索该内窥镜插入部的操作方法。

如上所述，当检查应用程序被启动后，在步骤S291，PC215将图29(a)所示的检查窗口500及图29(b)所示的内窥镜图像窗口505显示到显示器218上，并设定为接收保存来自视频处理器210和形状处理装置213的内窥镜图像和内窥镜插入形状图像的模式，在步骤S292，在通过鼠标216或键盘217操作检查窗口500的检查开始按钮(图中表示为Sart Exam)501之前，处于待机状态。

当操作了所述检查开始按钮501时，在步骤S293，PC215打开通信口215a，开始和内窥镜插入形状观察装置203的形状处理装置213进行通信。

接下来，在步骤S294，PC215打开通信口215b，开始和视频处理器210进行通信。在步骤S295，将取得检查信息的指令通过通信口215b发送到视频处理器210的通信口210a，通过通信口210a接收了该检查信息取得指令的视频处理器210，通过和上述的检查信息取得指令的发送路径相反的路径，将内窥镜检查信息发送到所述PC215。

在步骤S296，PC215接收在上述步骤S295由视频处理器210发送来的内窥镜检查信息，并记录保存到未图示的记录存储器内。

接下来，在步骤S297，PC215通过通信口215a，将取得内窥镜插入形状数据的指令发送到形状处理装置213的通信口213a，通过通信口213a接收了该插入形状数据取得指令的形状处理装置213，通过和上述的内窥镜插入形状数据取得指令的发送路径相反的路径，开始将内窥镜插入形状数据发送到所述PC215。

在步骤S298，PC215接收在上述步骤S297由形状处理装置213发送来的内窥镜插入形状数据，并与在上述步骤S296中所记录保存的内窥镜检查信息建立关联，进行未图示的硬盘的文件记录保存。

接下来，在步骤S299，PC215从所接收的插入形状数据中提取插入形状的特征。使用上述的P形傅里叶描述符(参照上述的第7实施例的图25的步骤S256的处理)来提取该插入形状的特征。将傅里叶描述符的功率谱定为C(k)(k＝0，…，n＝1；n为正数，为曲线的分割数)。

在步骤S299中，当提取插入形状的特征时，在步骤S300，PC215计算出C(k)和Cri(k)的距离。该距离例如使用欧几里德距离。

在步骤S301，将在上述步骤S300中计算出的距离与事先设定的阈值相比较。

根据该步骤S301的比较的结果，当判断为在上述步骤S300中所计算出的距离值大于阈值时，实施步骤S306以后的处理，当判断为小于阈值时，实施步骤S302以后的处理。

当判断为在上述步骤S301中所计算出的距离值小于阈值时，在步骤S302，PC215将内窥镜插入部的环形的识别结果显示到显示器218上。在检查窗口500的识别结果显示部503中进行该环形的识别结果的显示(环形名称等)。

接下来，在步骤S303，PC215判断插入部的环形形状和以前相比是否发生了变化，当判断为发生了变化时，在步骤S304发出警告声。通过发出该警告声，督促医务人员查看内窥镜插入形状观测装置203的监视器213所显示的内窥镜插入形状图像。

在上述步骤S303，当判断为插入部的环形形状没有发生变化，或发出上述步骤S304的警告声时，在步骤S305，PC215以内窥镜插入部的环形形状的识别结果为基准来检索相关信息，并将该所检索的相关信息显示到显示器218所显示的检查窗口500的相关信息显示部504内。

即，将与适合事先所作成的数据库所记录保存的环形的状态的内窥镜插入部的操作方法相关的信息显示到相关信息显示部504内。医务人员可以以该显示为参考来进行内窥镜操作。

接下来，在步骤S306，PC215将从视频处理器210输入到动态图像输入口215c的动态图像影像信号转换为MJPEG格式的压缩图像数据，并将其与所述内窥镜检查信息建立关联，以文件形式记录保存到未图示的硬盘中。另外，将来自该视频处理器210的输入图像显示到显示器218的内窥镜图像505的图像显示区域506内。

接下来，在步骤S307，PC215判断是否操作了检查窗口500的检查结束按钮(图中表示为End Exam)502，当判断为没有操作时，返回到上述步骤S298，当判断为操作了检查结束按钮502时，在步骤S308，PC215关闭所述视频处理器210和形状处理装置213进行通信的通信口215a，215b，结束该检查应用程序。

该第8实施例是以内窥镜插入形状为主体来进行说明的，但也可以适用于内窥镜检查信息及内窥镜动态图像。

另外，该第8实施例是作为图像处理装置204的功能来进行说明的，但也可以具有和视频处理器210及内窥镜插入形状观测装置203相同的功能。

还有，内窥镜图像的保存形式并不限于动态图像，只要记录时间明确，连续地保存静止图像也可以得到相同的效果。

这样，通过识别内窥镜插入部的环形形状，将该所识别的环形的状态进行识别显示，并将内窥镜操作方法等的相关信息进行显示，医务人员可以正确地把握内窥镜的插入形状，通过督促了解该相关信息，可以缩短内窥镜检查的时间和减轻患者的不舒适感。

另外，本发明并不限于上述的实施例，在不脱离本发明的技术构思的范围内，当然可以进行各种变形及应用。

如上所述，根据本发明，在解析了内窥镜插入部的插入形状时，可以提供与提高内窥镜的插入性有关的信息，可以缩短内窥镜检查的时间和减轻给与患者的不舒适感。

另外，根据本发明，根据记录保存的内窥镜图像和内窥镜插入形状数据，同步再现内窥镜图像和内窥镜插入形状图像，可以自由地将内窥镜图像和该内窥镜图像中的内窥镜插入形状图像进行对比。

另外，在内窥镜检查后，通过一边改变内窥镜插入形状的显示属性，一边进行同步再现，可以一边再现实际的内窥镜检查，一边进行内窥镜插入操作的教学，并可以查明在内窥镜检查时的内窥镜插入困难的原因及造成患者的不舒适感的原因等，并且可用于内窥镜装置的使用培训。

Claims

1.一种内窥镜信息的处理装置，包括：

对通过检测具有用于插入体腔内的插入部的内窥镜的插入部的形状而得到的插入形状进行解析的形状解析部；和

对应所述形状解析部的解析结果，提供内窥镜操作状况信息的信息提供部。

2.根据权利要求1所述的内窥镜信息的处理装置，

还包括：存储多个通过检测具有用于插入体腔内的插入部的内窥镜的插入部的形状而得到的插入形状的形状存储部，

所述形状解析部根据所述形状存储部所存储的多个内窥镜插入部的形状，解析内窥镜插入部的形状。

3.根据权利要求1所述的内窥镜信息的处理装置，

所述信息提供部对应所述形状解析部的解析结果，提供与内窥镜插入部的形状有关的信息。

4.根据权利要求1所述的内窥镜信息的处理装置，

所述信息提供部对应所述形状解析部的解析结果，提供内窥镜操作的信息。

5.根据权利要求4所述的内窥镜信息的处理装置，

所述信息提供部对应所述形状解析部的结果，提供解除环形的方法的信息。

6.根据权利要求4所述的内窥镜信息的处理装置，

所述信息提供部对应所述形状解析部的结果，将内窥镜操作的信息显示在显示装置上。

7.根据权利要求4所述的内窥镜信息的处理装置，

所述信息提供部对应所述形状解析部的结果，通过声音或语音提示内窥镜操作的信息。

8.根据权利要求1所述的内窥镜信息的处理装置，还包括：

具有产生磁场的多个磁场产生部和检测所述磁场产生部的磁场的多个磁场检测部，将所述磁场产生部或所述磁场检测部中的任意一个配置在插入部中所构成的形状检测部；和

根据所述磁场检测部的检测结果，推断所述插入部的形状的形状推断部。

9.根据权利要求1所述的内窥镜信息的处理装置，还包括：

在该插入部中配置多个用于检测插入部的特定部分的物理量的检测部，根据所述被检测出的物理量的结果和配置位置，推断所述插入部的形状的形状推断部。

10.根据权利要求9所述的内窥镜信息的处理装置，

检测所述插入部的特定部分的物理量的检测部是用于检测变形的多个传感器。

11.根据权利要求9所述的内窥镜信息的处理装置，

检测所述插入部的特定部分的物理量的检测部是用于检测压力的多个传感器。

12.根据权利要求9所述的内窥镜信息的处理装置，

检测所述插入部的特定部分的物理量的检测部是用于检测变位的多个传感器。

13.根据权利要求1所述的内窥镜信息的处理装置，

所述形状解析部具有：

计算所述插入部的特定部分的移动量的计算部；和

根据所述插入部的特定部分的移动量推断插入部的状态的推断部。

14.根据权利要求1所述的内窥镜信息的处理装置，

所述形状解析部用于检测插入部的环形形状。

15.根据权利要求1所述的内窥镜信息的处理装置，

所述信息提供部将所述形状解析部的结果信息显示在显示装置上。

16.根据权利要求15所述的内窥镜信息的处理装置，

显示在所述显示装置上的信息是文字和/或图形。

17.根据权利要求1所述的内窥镜信息的处理装置，

所述信息提供部通过声音或语音来提示所述形状解析部的结果信息。

18.根据权利要求1所述的内窥镜信息的处理装置，还包括：

保存作为从所述信息提供部输出的内窥镜操作状况信息的第1数据的第1数据保存部；

从内窥镜装置接收包含内窥镜图像的检查信息数据，将其与所述第1数据建立关联并保存的第2数据保存部；和

将在所述第1及第2数据保存部中所保存的数据以同步的状态或以单独的形式显示在监视器上的再现部。

19.根据权利要求18所述的内窥镜信息的处理装置，还包括：

根据所述第1数据和第2数据的特征执行检索的检索执行部；和

具有将相关信息附加到由所述检索执行部检索出的数据上的功能的检索结果信息附加部，

所述再现部在再现所述第1数据及第2数据时，在监视器上显示由所述检索结果信息附加部所附加的信息。

20.根据权利要求18所述的内窥镜信息的处理装置，还包括：

解析在所述第1数据保存部和/或所述第2数据保存部中所保存的所述第1数据和/或所述第2数据的数据解析部；和

根据所述数据解析部的解析结果，决定并执行处理的处理部。

21.根据权利要求18所述的内窥镜信息的处理装置，

所述再现部从所述第1数据保存部中读出内窥镜操作状况信息，从所述第2数据保存部中读出内窥镜图像数据，根据在取得所述内窥镜操作状况信息时的取得时间信息和在取得所述内窥镜图像数据时的取得时间信息，使根据所述读出的内窥镜图像数据的内窥镜图像与对应该内窥镜图像数据的内窥镜操作状况信息相对应，并显示在所述监视器上。

22.根据权利要求21所述的内窥镜信息的处理装置，

所述内窥镜操作状况信息是内窥镜插入部的插入形状数据。

23.根据权利要求22所述的内窥镜信息的处理装置，还包括：

输入与由所述再现部显示在所述监视器上的所述内窥镜图像或所述插入形状相关的附加信息的相关信息输入部；和

将通过所述相关信息输入部输入的附加信息与该内窥镜图像或该插入形状建立关联并进行存储的附加信息存储部。

24.一种内窥镜信息的处理方法，包括：

解析通过检测具有用于插入体腔内的插入部的内窥镜的插入部的形状而得到的插入形状的形状解析步骤；和

对应所述形状解析步骤的解析结果，提供内窥镜操作状况信息的信息提供步骤。

25.根据权利要求24所述的内窥镜信息的处理方法，还包括：

存储多个通过检测具有用于插入体腔内的插入部的内窥镜的插入部的形状而得到的插入形状的形状存储步骤，

所述形状解析步骤根据在所述形状存储步骤所存储的多个内窥镜插入部的形状，解析内窥镜插入部的形状。

26.根据权利要求24所述的内窥镜信息的处理方法，

所述信息提供步骤对应所述形状解析步骤的解析结果，提供与内窥镜插入部的形状相关的信息。

27.根据权利要求24所述的内窥镜信息的处理方法，

所述信息提供步骤对应所述形状解析步骤的解析结果，提供内窥镜操作的信息。

28.根据权利要求24所述的内窥镜信息的处理方法，还包括：

保存作为由所述信息提供步骤提供的内窥镜操作状况的信息的第1数据的第1数据保存步骤；

将从内窥镜装置取得的包含内窥镜图像的检查信息数据与所述第1数据建立关联并进行保存的第2数据保存步骤；和

将在所述第1及第2数据保存步骤保存的数据以同步的状态或单独的形式显示在监视器上的再现步骤。