CN114126474A - 内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作方法、及内窥镜形状显示控制装置的操作程序 - Google Patents

Abstract

本发明的内窥镜形状显示控制装置具备至少1个处理器，处理器进行如下处理：获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息，并在根据所获取到的信息而生成显示插入部的形状的形状显示图像时，在形状显示图像中，在表面附加图案来显示插入部。

Description

内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作 方法、及内窥镜形状显示控制装置的操作程序

技术领域

本发明涉及一种内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作方法、及内窥镜形状显示控制装置的操作程序。

背景技术

已知有一种用于观察大肠等下部消化管的内窥镜。不同于相对直线延伸的食道等上部消化管，下部消化管复杂地弯曲着。因此，插入作为患者等受检体内的下部消化管内的内窥镜的插入部也复杂地弯曲。为了掌握这种插入到受检体内的内窥镜的插入部的形状，已知有一种检测受检体内的内窥镜的插入部的形状的内窥镜形状检测装置(例如，参考日本特开2004-551号公报)。

关于日本特开2004-551号公报中所记载的内窥镜形状检测装置，其具备：利用磁性来获取用于将受检体内的插入部的形状图像化的信息，并根据所获取到的信息将插入部的形状图像化的功能。例如，在内窥镜的插入部内，多个磁场产生元件隔开间隔而配置。内窥镜形状检测装置用配置于受检体外侧的磁场检测元件来检测由插入部内的各磁场产生元件产生的磁场。所检测到的各磁场产生元件的磁场的强度显示相对于受检体的外侧的磁场检测元件的插入部的各部的位置，因此日本特开2004-551号公报中所记载的内窥镜形状检测装置使用将插入部的形状图像化的信息作为各磁场产生元件的磁场的强度的信息，生成表示插入部的形状的图像。然后，在显示器显示所生成的图像，并提示给执刀医生(例如，医生)等用户。

关于日本特开2004-551号公报的内窥镜形状检测装置中的图像化的顺序，例如如下进行。首先，日本特开2004-551号公报的内窥镜形状检测装置根据用于将插入部的形状图像化的信息(例如，上述磁场的强度信息)，确定插入部的各部的位置，由此生成插入部的三维模型。接着，对插入部的三维模型进行绘制处理，生成用于显示于显示器的二维图像。该二维图像是从能够任意设定插入部的三维模型的1个视点观察到的插入部的形状的图像，在以下中，称为形状显示图像。

当内窥镜的插入部在受检体内弯曲成环状的情况下，通过所设定的视点，在形状显示图像内，插入部的不同部分彼此交叉。在日本特开2004-551号公报中，记载有为了表现所交叉的部分的彼此的前后，在绘制处理时，实施阴影线处理或者隐藏面处理。

然而，有时存在如下的问题：根据形状显示图像的显示倍率，有时内窥镜的插入部在形状显示图像中呈细线状显示，因此即使对交差部分实施阴影线处理或者隐藏面处理，用户也难以瞬间判断交差部分的前后。

发明内容

发明要解决的技术课题

本发明的技术的目的在于，提供一种在显示插入到受检体内的状态的内窥镜的插入部的形状的形状显示图像中，能够显示不易视觉辨认插入部的重叠状况的形状显示图像的内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作方法、及内窥镜形状显示控制装置的操作程序。

用于解决技术课题的手段

本发明的一方式所涉及的内窥镜形状显示控制装置具备至少1个处理器，处理器进行如下处理：获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息，并在根据所获取到的信息而生成显示插入部的形状的形状显示图像时，在形状显示图像中，在表面附加图案来显示插入部。

在上述方式的内窥镜形状显示控制装置中，图案可以对显示于形状显示图像的插入部的整个区域进行附加。

并且，在上述方式的内窥镜形状显示控制装置中，图案可以为从插入部的前端侧及基端侧的一者到另一者颜色连续地或阶段性地变化的色彩层次。这种情况下，色彩层次可以由绿色变为蓝色。

并且，在上述方式的内窥镜形状显示控制装置中，图案可以为条纹图案。

并且，在上述方式的内窥镜形状显示控制装置中，图案也可以为线框图案。

并且，在上述方式的内窥镜形状显示控制装置中，处理器除了图案之外，还可以对插入部实施阴影处理。

并且，在上述方式的内窥镜形状显示控制装置中，用于将插入部的形状图像化的信息为基于利用设置于所述插入部内的多个磁场产生元件或多个磁场检测元件而得到的磁场测定数据的信息。

关于本发明的一方式所涉及的内窥镜形状显示控制装置的操作方法，其具备：信息获取步骤，获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息；及图像生成步骤，根据所获取到的信息而生成表示插入部的形状的形状显示图像，并且在形状显示图像中，在表面附加图案来显示插入部。

关于本发明的一方式所涉及的内窥镜形状显示控制装置的操作程序，其使计算机作为如下两个部分发挥功能：信息获取部，获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息；及图像生成部，根据所获取到的信息，生成表示插入部的形状的形状显示图像，并且在形状显示图像中，在表面附加图案来显示插入部。

发明效果

根据本发明的技术，能够提供一种在显示插入到受检体内的状态的内窥镜的插入部的形状的形状显示图像中，能够显示轻易视觉辨认插入部的重叠状况的形状显示图像的内窥镜形状显示控制装置、内窥镜形状显示控制装置的操作方法、及内窥镜形状显示控制装置的操作程序。

附图说明

图1是表示使用了内窥镜系统的内窥镜检查的状态的说明图。

图2是表示内窥镜系统的整体结构的示意图。

图3是表示内窥镜系统的电结构的框图。

图4是表示多个检测线圈检测多个产生线圈所产生的磁场的状态的说明图。

图5是表示磁场测定数据的一例的说明图。

图6是用于说明基于判别部的判别处理和基于位置检测部的各检测线圈的位置检测处理的说明图。

图7是表示插入部的形状检测处理的一例的说明图。

图8是图像生成部的功能框图。

图9是用于说明基于显示控制部的形状显示图像的生成处理的流程的流程图。

图10是表示插入部的3D模型生成处理的一例的说明图。

图11是表示色相环的一例的图。

图12是表示形状显示图像的一例的图。

图13是表示形状显示图像的一例的图。

图14是表示形状显示图像的一例的图。

图15是表示形状显示图像的一例的图。

图16是表示形状显示图像的一例的图。

具体实施方式

[内窥镜系统的整体结构]

图1是表示具备本发明的技术所涉及的内窥镜形状显示控制装置的内窥镜系统9的整体结构的示意图。如图1所示，内窥镜系统9具备内窥镜10、光源装置11、导航装置12、磁场产生器13、处理器装置14及显示器15。内窥镜系统9用于患者等受检者H的体内内窥镜检查。受检者H为受检体的一例。该内窥镜10例如是插入到大肠等消化道内的内窥镜，且是具有挠性的软性内窥镜。内窥镜10具有插入到消化道内的插入部17、与插入部17的基端侧连接设置且供执刀医生把持而进行各种操作的操作部18及与操作部18连接设置的通用塞绳19。

内窥镜检查例如在使受检者H躺在床16的顶面16A上的状态下进行。当大肠检查的情况下，由作为医生的执刀医生OP将内窥镜10的插入部17从肛门插入到下消化道内。光源装置11向内窥镜10提供照亮作为观察部位的大肠内的照明光。处理器装置14通过处理由内窥镜10拍摄到的图像来生成观察图像41。观察图像41显示于监视器15上。执刀医生OP一边确认观察图像41，一边进行内窥镜检查。显示于监视器15的观察图像41基本上是动态图像，但作为观察图像41，根据需要也能够显示静止图像。

并且，内窥镜系统9具备导航功能，导航由执刀医生OP进行的内窥镜10的插入操作等的手动操作。在此，导航是指通过向执刀医生OP提示包含受检者H的体内的内窥镜10的插入部17的位置及形状的插入状态，从而辅助执刀医生OP的内窥镜10的手动操作。导航功能利用磁场MF来检测插入部17的插入状态，从而提示所检测到的插入状态。

导航功能通过导航装置12、磁场产生器13及后述的内窥镜10内的磁场测定装置来实现。磁场产生器13产生磁场MF。磁场产生器13例如安装于支架，并配置于受检者H躺卧的床16的旁边。并且，磁场产生器13配置于所产生的磁场MF到达受检者H的体内的范围内。

内窥镜10内的磁场测定装置检测由磁场产生器13产生的磁场MF，并测定所检测到的磁场MF的强度。导航装置12通过根据基于磁场测定装置的磁场测定结果导出磁场产生器13与插入部17的相对位置来检测插入部17的插入状态。处理器装置14生成显示导航装置12所检测到的插入状态的形状显示图像42。

显示器15显示观察图像41和形状显示图像42。另外，显示观察图像41和形状显示图像42的显示器15可以分别单独设置。

如图2所示，插入部17为细径且长条的管状部分，由软性部21、弯曲部22及前端部23从基端侧朝向前端侧依次连接而构成。软性部21具有挠性。弯曲部22为能够通过操作部18的操作而弯曲的部位。前端部23配置有撮像装置48(参考图3)等。并且，在图2中虽未图示，但在前端部23的前端面上设置有：照明窗46，向观察部位照亮照明光(参考图3)；观察窗47，入射照明光被被摄体反射的被摄体光(参考图3)；处置器具出口，用于使处置器具突出(未图示)；及清洗喷嘴，用于通过对观察窗47喷射气体及水来清洗观察窗47(未图示)。

在插入部17内设置有光导件33、信号电缆32、操作线(未图示)、处置器具插入贯穿用的管路(未图示)。导光件33从通用塞绳19延伸设置，将从光源装置11供给的照明光引导到前端部23的照明窗46。信号电缆32除了用于来自摄像装置48的图像信号及控制摄像装置48的控制信号的通信以外，还用于对摄像装置48的电力供给。信号电缆32与导光件33同样地，也从通用塞绳19延伸设置，并配设至前端部23。

操作线是用于操作弯曲部22的线，配设于从操作部18至弯曲部22之间。处置器具插入贯穿用的管路是用于插入贯穿钳子等处置器具(未图示)的管路，配设于从操作部18至前端部23。除此以外，在插入部17内设置有送气送水用流体软管。流体软管向前端部23供给观察窗47的清洗用气体及水。

并且，在插入部17内，从软性部21到前端部23为止以预先设定的间隔设置有多个检测线圈25。各检测线圈25相当于检测磁场MF的磁场检测元件。各检测线圈25分别通过受到从磁场产生器13产生的磁场MF的影响而在电磁感应的作用下产生感应电动势，并通过感应电动势产生感应电流。从各检测线圈25产生的感应电流的值显示由各检测线圈25分别检测到的磁场MF的强度，这成为磁场测定结果。即，磁场测定结果是指与显示磁场MF的强度的感应电流的大小相对应的值。

在操作部18上设置有由执刀医生操作的各种操作部件。具体而言，在操作部18上设置有两种弯曲操作旋钮27、送气送水按钮28及抽吸按钮29。两种弯曲操作旋钮27分别连结于操作线，用于弯曲部22的左右弯曲操作及上下弯曲操作。并且，在操作部18上设置有作为处置器具插入贯穿用管路的入口的处置器具导入口31。

通用塞绳19是用于将内窥镜10连接于光源装置11的连接塞绳。通用塞绳19内包括信号电缆32、导光件33及流体软管(未图示)。并且，在通用塞绳19的端部设置有连接于光源装置11的连接器34。

通过将连接器34连接于光源装置11，从光源装置11向内窥镜10供给内窥镜10的运用中所需要的电力、控制信号、照明光、气体及水。并且，通过前端部23的摄像装置48(参考图2)获取到的观察部位的图像信号和基于各检测线圈25的检测信号的磁场测定结果从内窥镜10发送到光源装置11。

在连接器34与光源装置11之间未进行使用了金属制信号线等的有线电连接，取而代之，连接器34与光源装置11通过光通信(例如，非接触式通信)可通信地连接。连接器34通过光通信来进行在内窥镜10与光源装置11之间交换的控制信号的收发和从内窥镜10向光源装置11的图像信号及磁场测定结果的发送。在连接器34上设置有连接于信号电缆32的激光二极管(Laser Diode：以下称为LD)36。

LD36用于从内窥镜10向光源装置11发送大容量数据，具体而言，用于发送图像信号及磁场测定结果。LD36将原本为电信号形式的图像信号及磁场测定结果以光信号的形式发送到设置于光源装置11的光电二极管(Photodiode：以下称为PD)37。

另外，虽然省略图示，但与LD36及PD37单独地，在连接器34及光源装置11这两者中均设置有光收发部，其将在内窥镜10与光源装置11之间交换的小容量的控制信号进行光信号化而进行收发。另外，在连接器34上设置有从光源装置11的供电部(未图示)通过无线供电接受供电的受电部(未图示)。

连接器34内的导光件33被插入到光源装置11内。并且，连接器34内的流体软管(未图示)经由光源装置11连接于送气送水装置(未图示)。由此，从光源装置11及送气送水装置向内窥镜10分别供给照明光和气体及水。

光源装置11经由连接器34向内窥镜10的导光件33供给照明光，并且向内窥镜10的流体软管(未图示)供给从送气送水装置(未图示)供给的气体及水。并且，光源装置11用PD37接收从LD36发送的光信号，将所接收到的光信号转换为作为电信号的原来的图像信号及磁场测定结果之后，输出到导航装置12。

导航装置12将从光源装置11输入的用于生成观察图像41的图像信号输出到处理器装置14。并且，导航装置12控制后述的磁场产生器13的驱动，并且检测受检者H的体内的插入部17的形状等，并将该检测结果作为用于生成形状显示图像42的信息输出到处理器装置14。

如此，本例中的内窥镜10为具有与光源装置11连接的一个连接器34的单连接器类型。内窥镜10经由连接有连接器34的光源装置11分别与处理器装置14及导航装置12可通信地连接。

磁场产生器13具有相当于多个磁场产生元件的多个产生线圈39。各产生线圈39例如包括通过施加驱动电流，从而在与直交坐标系XYZ的XYZ坐标轴分别对应的方向产生交流磁场(换言之，交流磁场)的X轴线圈、Y轴线圈及Z轴线圈。各产生线圈39产生相同频率的磁场MF。各产生线圈39在导航装置12的控制下，以彼此不同的时刻产生磁场MF，详细内容将后述。

<内窥镜>

图3是表示内窥镜系统9的电结构的框图。如图3所示，内窥镜10具有光导件33、照射透镜45、照明窗46、观察窗47、撮像装置48、磁场检测电路49、总括控制电路50、信号电缆32、LD36、未图示的流体软管及清洗喷嘴。

光导件33为大口径光纤或束状光纤等。光导件33的入射端经由连接器34而嵌入在光源装置11内。光导件33插入贯穿于连接器34内、通用塞绳19内和操作部18内，且出射端向设置于插入部17的前端部23内的照射透镜45凸出。由此，从光源装置11向光导件33的入射端供给的照明光从照射透镜45通过前端部23的前端面的照明窗46照射于观察部位。然后，在观察部位所反射的照明光作为观察部位的像光，通过设置于前端部23的前端面的观察窗47而入射于撮像装置48的撮像面。

另外，前述的流体软管(未图示)的一端侧通过连接器34及光源装置11与送气送水装置(未图示)连接，并且流体软管(未图示)的另一端侧通过插入部17内等而与设置于前端部23的前端面的送气送水喷嘴(未图示)连接。由此，从送气送水装置(未图示)供给的气体或水从送气送水喷嘴(未图示)向观察窗47喷射，从而清洗观察窗47。

撮像装置48具有聚光透镜52和成像元件53。聚光透镜52将从观察窗47入射的观察部位的像光进行聚光，且将所聚光的观察部位的像光成像于成像元件53的撮像面。成像元件53为CMOS(complementary metal oxide semiconductor：互补金属氧化物半导体)型或CCD(Charge Coupled Device：电荷耦合器件)型的成像元件。成像元件53例如为向各像素分配了R(Red)、G(Green)、B(Blue)中任一种微型滤波器的彩色成像元件。成像元件53拍摄作为观察对象的观察部位。更具体而言，成像元件53拍摄成像于撮像面的观察部位的像光(即，转换为电信号)，并将观察部位的图像信号输出到总括控制电路50。

并且，在成像元件53中例如设置有输出水晶振子等基准信号(例如，时钟信号)的振荡部53a，以从该振荡部53a振荡的基准信号为基准，成像元件53输出构成动态图像的图像信号。基准信号的间隔规定帧速率。帧速率例如为30fps(frames per second：每秒帧数)。

磁场检测电路49与插入部17内的各检测线圈25电连接。磁场检测电路49将磁场测定数据55输出到总括控制电路50，所述磁场测定数据55包括与由磁场产生器13的产生线圈39产生的磁场MF对应的各检测线圈25的各个磁场测定结果。

总括控制电路50包含包括CPU(Central Processing Unit：中央处单元)的各种运算电路和各种存储器而构成，总括控制内窥镜10的各部的动作。该总括控制电路50通过执行存储于未图示的存储器的控制用的程序而发挥信号处理部57、磁场测定控制部58、图像信号输出部59的功能。组合磁场检测电路49额磁场测定控制部58来构成磁场测定部。磁场测定部根据检测线圈25输出的检测信号，测定以相当于多个磁场产生元件的产生线圈39的每一个作为产生源的多个磁场MF，由此输出每个磁场MF的磁场测定结果。组合磁场测定部和检测线圈25来构成磁场测定装置。

信号处理部57对依次从成像元件53输出的图像信号实施各种信号处理。作为信号处理，例如，包含相关双采样处理及信号扩增处理等模拟信号处理、在模拟信号处理后将模拟信号转换为数字信号的A/D(Analog/Digital)转换处理等。将实施了信号处理之后的图像信号称为帧图像信号61。信号处理部57按照帧速率将帧图像信号61输出到图像信号输出部59。帧图像信号61用作观察部位的动态图像数据。如此，多个帧图像信号61通过成像元件53执行动态图像撮影来获取，且为以预先设定的时间间隔输出的图像信号。

磁场测定控制部58经由磁场检测电路49获取包含各检测线圈25的多个磁场测定结果的磁场测定数据55，并将所获取到的磁场测定数据55输出到图像信号输出部59。

如图4所示，关于各检测线圈25的磁场测定结果，即使各产生线圈39所产生的磁场的强度相同，例如，也根据产生磁场MF的各产生线圈39与各检测线圈25的每一个之间的距离及朝向进行变化。例如，图4所示的第1产生线圈39中，如以实线表示那样，与第1～第3的各检测线圈25的距离及朝向不同。因此，关于1个第1产生线圈39所产生的磁场MF，第1～第3的各检测线圈25的每一个磁场测定结果不同。第2产生线圈39及第3产生线圈39的每一个与第1～第3的各检测线圈25的关系也是一样的。

并且，相反地，即使第1～第3的各产生线圈39所产生的磁场MF的强度相同，关于各产生线圈39的每一个磁场MF的1个第1检测线圈25的磁场测定结果不同。在此，例如，考虑第1～第3的各产生线圈39分别为X轴线圈、Y轴线圈及Z轴线圈的情况。在这种情况下，根据关于X轴、Y轴及Z轴的各线圈的每一个磁场MF的1个第1检测线圈25的磁场测定结果，能够检测与XYZ坐标轴对应的第1检测线圈25的三维坐标位置。关于第2检测线圈25及第3检测线圈25也是同样的。只要能够检测以预先设定于插入部17的间隔设置的各检测线圈25的三维坐标位置，在能够检测插入部17的形状。

另外，实际上，根据磁场测定结果，除了各检测线圈25的三维坐标位置之外，还可以检测各检测线圈25的角度。根据三维坐标位置与角度的信息检测插入部17的形状。以下，为了避免复杂化，省略角度，并仅对三维坐标位置进行说明。

图5是用于说明磁场测定控制部58所获取到的磁场测定数据55的一例的说明图。磁场测定控制部58获取磁场测定数据55，其包含由多个各检测线圈25分别检测多个产生线圈39所产生的多个磁场MF的每一个，并从各检测线圈25分别输出的多个磁场测定结果。

在图5中，(1)～(4)为关于每1个产生线圈39所产生的磁场MF的多个检测线圈25的每一个磁场测定结果的数据列。例如，“D11”为通过第1检测线圈25检测第一个产生线圈39中所产生的磁场MF而得到的磁场测定结果。“D12”为通过“第2检测线圈”检测第一个产生线圈39中所产生的磁场MF而得到之磁场测定结果。同样地，“D42”为通过第2检测线圈25检测第4番目的产生线圈39中所产生的磁场MF而得到的磁场测定结果。“D43”为通过第3检测线圈25检测第4番目的产生线圈39中所产生的磁场MF而得到的磁场测定结果。

磁场测定控制部58一边与磁场产生器13中的各产生线圈39的各自的磁场产生时刻同步，一边依次获取各检测线圈25的磁场测定结果。磁场测定控制部58例如在以后述同步信号规定的1次磁场测定期间中，对所有的产生线圈39的各自的磁场MF获取所有的检测线圈25的各自的磁场测定结果。由此，磁场测定控制部58在1次磁场测定期间中，获取包含各产生线圈39与各检测线圈25的所有组合所涉及的多个磁场测定结果的磁场测定数据55。

例如，当在磁场产生器13内设置有9个产生线圈39，且在插入部17内设置有17个检测线圈25的情况下，关于各产生线圈39，获取17个磁场测定结果。因此，磁场测定控制部58在1次磁场测定期间内，合计获得9x17＝153个包含磁场测定结果的磁场测定数据55。将包含所有这些的组合所涉及的多个磁场测定结果的磁场测定数据55称为全磁场测定数据。在本例中，只要没有特别限制，在磁场测定数据55中包含全磁场测定数据。

如图6所示，图像信号输出部59对从信号处理部57依次输入的多个帧图像信号61的每一个附加帧开始信号VD，从而输出到帧图像信号61。在图6中，为了便于理解，“帧1”、“帧2”、“帧3”...，为表示多个帧图像信号61的输出顺序的帧编号。帧开始信号VD例如为垂直同步信号。

此外，图像信号输出部59对帧图像信号61附加磁场测定数据55，从而输出帧图像信号61。即，图像信号输出部59输出的所有的帧图像信号61中包含帧开始信号VD及磁场测定数据55。如图6所示，磁场测定数据55附加于与成像元件53的消隐时段对应的各帧图像信号61之间的信号无效区域ND。消隐时段例如为垂直消隐期间。如上所述，帧开始信号VD也为多个帧图像信号61的垂直消隐期间中所包含的信号。

在图3中，图像信号输出部59经由信号电缆32将帧图像信号61输出到已叙述的LD36。LD36将对帧图像信号61进行光信号化的光信号发送到光源装置11的PD37。

如此，图像信号输出部59从成像元件53经由信号处理部57，将所获取到的帧图像信号61输出到内窥镜10的外部。并且，通过将帧图像信号61中所包含的帧开始信号VD作为同步信号进行利用，图像信号输出部59发挥同步信号生成部的功能。

<光源装置>

光源装置11具有照明光源63、PD37、光源控制部64、信号中继部62、通信接口65。照明光源63例如包含LD(Laser Diode：激光二极管)或发光二极管(Light Emitting Diode：LED)等半导体光源而构成，波长为将从红色区域至蓝色区域的白色光作为照明光射出的白色光源。另外，作为照明光源63，除了白色光源之外，还可以使用射出紫色光及红外光等特殊光的特殊光光源。从照明光源63射出的照明光入射于前述的光导件33的入射端。

光源控制部64包含包括CPU的各种运算电路和各种存储器而构成，且控制照明光源63等光源装置11的各部的动作。

PD37接收从LD36发送的光信号。PD37将以光信号的形式接收到的帧图像信号61转换为原来的电信号的形式，并将转换后的帧图像信号61输入到信号中继部62。信号中继部62例如由FPGA(Field Programmable Gate Array：现场可编程门阵列)构成。FPGA为在制造后能够改变电路结构的处理器，电路结构中包含各种运算电路及各种存储器电路等。

<导航装置>

导航装置12具有图像信号获取部68、插入状态检测部70、磁场产生控制部71、显示输出部74、图像生成部77。导航装置12的各部由包含1个或多个CPU的各种运算电路(未图示)构成，并通过执行存储于未图示的存储器的控制用的程序进行动作。

图像信号获取部68经由通信接口65从信号中继部62获取帧图像信号61。然后，图像信号获取部68将所获取到的帧图像信号61输出到显示输出部74。

并且，图像信号获取部68提取帧图像信号61中所包含的帧开始信号VD及磁场测定数据55，并将所提取到的帧开始信号VD及磁场测定数据55输出到插入状态检测部70。并且，图像信号获取部68从帧图像信号61提取帧开始信号VD，并将所提取到的帧开始信号VD输出到磁场产生控制部71。

插入状态检测部70根据从图像信号获取部68获取到的帧开始信号VD及磁场测定数据55，检测嵌入于受检者H的体内的内窥镜10的插入部17的插入状态。插入状态检测部70具有位置检测部72、插入部形状检测部73。

位置检测部72根据帧开始信号VD及磁场测定数据55，检测各检测线圈25的位置。在位置检测部72中设置有判别部72A。

如图6所示，判别部72A参考对应关系75来判别磁场测定数据55中所包含的多个磁场测定结果。对应关系75是显示磁场测定数据55中所包含的与各产生线圈39和各检测线圈25的多个组合对应的多个磁场测定结果的存储顺序的信息。判别部72A根据对应关系75，判别磁场测定数据55中所包含的各磁场测定结果是与各产生线圈39和各检测线圈25的哪个组合对应的数据。

具体而言，如后面叙述，在磁场测定中，以帧开始信号VD为基准，决定有各产生线圈39产生磁场MF的产生顺序以及针对1个产生线圈39的磁场MF，决定有各检测线圈25的磁场测定结果的获取顺序。与各产生线圈39和各检测线圈25的组合相应的多个磁场测定结果根据产生顺序和获取顺序存储于磁场测定数据55内。因此，判别部72A通过以帧开始信号VD为基准，并参考规定存储顺序对应关系75能够判别磁场测定数据55中所包含的多个磁场测定结果与哪个组合(例如，“D11”、“D12”、“D13”...)对应。

位置检测部72根据判别部72A判别出的多个磁场测定结果，将各检测线圈25的位置、具体而言将三维坐标位置检测为线圈位置数据。线圈位置数据未以磁场产生器13为基准的相对位置。在图6中，例如，P1表示第1检测线圈25的三维坐标位置(这里为x1，y1，z1)。对于P2、P3、P4等也是同样的。

在图3中，位置检测部72将线圈位置数据76输出到插入部形状检测部73。插入部形状检测部73根据从位置检测部72输入的线圈位置数据76，检测受检者H的体内的插入部17的形状。

图7是用于说明基于插入部形状检测部73的插入部17的形状检测处理的一例的说明图。如图7所示，插入部形状检测部73根据线圈位置数据76所表示的各检测线圈25的位置(这里为P1、P2、...)，进行将各位置以曲线进行内插的内插处理，导出插入部17的中心轴C，生成表示插入部17的形状的插入部形状数据78。以曲线进行内插的内插处理例如为贝兹曲线内插。插入部形状数据78中包含插入部17的前端部23的前端位置PT。

在图3中，插入部形状检测部73将插入部形状数据78输出到图像生成部77。每当图像信号获取部68获取新的帧图像信号61时，插入状态检测部70反复进行基于判别部72A的判别处理、检测各检测线圈25的线圈位置数据76的位置检测处理、插入部17的形状检测处理及插入部形状数据78的输出。

图像生成部77根据插入部形状数据78生成形状显示图像42。如图8所示，在图像生成部77中设置有建模部77A及绘制部77B。详细内容将后述，在图像生成部77中，建模部77A根据插入部形状数据78生成插入部17的3D(Dimension：维)模型，绘制部77B对插入部17的3D模型进行绘制处理，由此生成表示插入部17的形状的2D(Dimension：维)的形状显示图像42。图像生成部77将所生成的形状显示图像42的数据输出到处理器装置14。

每输入新的插入部形状数据78时，图像生成部77更新形状显示图像42。然后，图像生成部77每更新形状显示图像42时，将所更新的形状显示图像42的数据输出到处理器装置14。

导航装置12是本发明的技术所涉及的进行与形状显示图像42相关的显示控制的内窥镜形状显示控制装置的一例。如上所述，磁场测定数据55是本发明的技术所涉及的、利用作为设置于内窥镜10的插入部17内的多个磁场检测元件的一例的多个检测线圈25而得到的数据。插入部形状数据78是基于磁场测定数据55的信息，且是本发明的技术所涉及的、用于将嵌入于作为受检体的一例的受检者H内的内窥镜10的插入部17的形状图像化的信息的一例。图像生成部77根据插入部形状数据78生成将插入部17的形状图像化的形状显示图像42。即，图像生成部77是本发明的技术所涉及的图像生成部的一例，且也是获取用于将插入部的形状图像化的信息的信息获取部的一例。

显示输出部74将从前述的图像信号获取部68先输入的帧图像信号61和从图像生成部77输入的形状显示图像42的数据，经由通信接口80A、80B输出到处理器装置14。此时，显示输出部74将帧图像信号61和与该帧图像信号61时间上对应的形状显示图像42的数据建立对应关系，输出到处理器装置14。

<处理器装置>

处理器装置14具有显示输入部82和显示控制部83。显示输入部82将从显示输出部74经由通信接口80A、80B依次输入的帧图像信号61及形状显示图像42的数据依次输出到显示控制部83。

显示控制部83从显示输入部82接收帧图像信号61的输入，并将基于帧图像信号61的观察图像41(例如，动态图像)显示于显示器15(参考图1及图2)。并且，显示控制部83从显示输入部82接收形状显示图像42的数据的输入，并将形状显示图像42(例如，动态图像)显示于显示器15(参考图1及图2)。

[形状显示图像生成处理的流程]

图9是用于说明基于图像生成部77的形状显示图像42的生成处理的流程的流程图。

图像生成部77获取插入部形状数据(步骤S1)。在图像生成部77中，建模部77A根据插入部形状数据78进行生成插入部17的3D模型的建模处理(步骤S2)。

如图10所示，建模处理生成以插入部形状数据78中的插入部17的中心轴C为中心轴的与插入部17的显示比例对应的直径的圆筒形状的3D模型M。

接着，绘制部77B执行光源位置设定处理，该处理设定对插入部17的3D模型M进行绘制时的光源位置(步骤S3)。光源位置在生成3D模型M的虚拟空间内，设定于从上方对床16的顶面16A照射光的位置。具体而言，在现实空间中，当将磁场产生器13和床16设置在同一地板面的情况下，磁场产生器13的水平方向与床16的顶面16A成为平行关系。因此，在虚拟空间内，将与床16的顶面16A平行的面设为X-Y平面，设定相对于X-Y平面正交的Z轴。然后，在虚拟空间内，以从所设定的Z轴的上方朝向下方照射光的方式，设定光源位置。

接着，绘制部77B执行相机位置设定处理，该处理设定对插入部17的3D模型M进行绘制时的相机位置(也称为视点位置)(步骤S4)。相机位置与光源位置同样地，在虚拟空间内，设定于相对于床16的顶面16A从Z轴的上方观察插入部17的3D模型M的位置。

接着，绘制部77B执行纹理设定处理，该处理进行对插入部17的3D模型M进行绘制时的3D模型M的表面的精加工(步骤S5)。在纹理设定处理中，在插入部17的表面进行附加作为纹理的内容的图案的处理。在此，图案是指除单色的纯色以外的显示方式。本例的图案为从插入部17的前端侧到基端侧，由绿色连续地变为蓝色的色彩层次。

关于颜色的定义，使用图11所示的蒙赛尔色卡显示系统的色相环进行说明。色相环表示彩色的色调分类。例如，为分为20色的蒙赛尔色卡色相环。在图11中，各记号分别是指R(红)、YR(黄红)、Y(黄)、GY(黄绿)、G(绿)、BG(青绿)、B(青)、PB(紫青)、P(紫)、R(红紫)。在图11所示的色相环中，显示有将这些10种各色相进一步分为2个色相(例如，关于R，分为5R和10R)。

绿色在色相环中，包含以G(绿)为中心且与左右相邻的GY(黄绿)及BG(青绿)的。在图11的色相环中，5GY～10BG为止的颜色属于绿色。蓝色在色相环中，包括以B(青)为中心且与左右相邻的BG(青绿)及PB(紫青)。在图11的色相环中，5BG～10PB为止的颜色属于蓝色。如此，在色相环中，绿色是指添加有G要素的色调，蓝色是指添加有B要素的色调。关于红色及黄色等其他颜色的定义也是同样的。

最后，绘制部77B根据所设定的光源位置、相机位置，在3D模型M的表面附加色彩层次的图案。此外，实施阴影处理，该处理在附加了图案的3D模型M的表面附加与光源对应的阴影。绘制部77B如此进行生成表示插入部17的形状的2D的形状显示图像42的绘制处理(步骤S6)。

由此，如图12所示，生成形状显示图像42。形状显示图像42包含表示插入部17的图像和成为其背景的图像而构成。在以下中，为了简化而将形状显示图像42内的插入部17，更准确地将形状显示图像42中的插入部17的图像简称为插入部，为了与实际的插入部17进行区分，标注符号17G并称为插入部17G。在形状显示图像42中，在插入部17G的表面，从插入部17G的前端侧到基端侧，以附加由绿色连续地变为蓝色的色彩层次的显示方式进行显示。

在每更新插入部形状数据78时重复形状显示图像42的生成处理。

[作用效果]

在大肠检查中，大肠的路径非常复杂，因此有时内窥镜10的插入部17在受检者H的体内弯曲成环状。这种情况下，在绘制处理中，通过所设定的相机位置，在形状显示图像42内，插入部17G的不同部分彼此交叉。

并且，根据形状显示图像42的显示倍率，插入部17G可能在形状显示图像42中显示为细线状。因此，存在以下问题：若将插入部17G整体用纯色的单色(例如，黑色)显示，则即使对图12所示的交差部分17GX实施阴影线处理或者隐藏面处理，用户也难以瞬间判断交差部分17GX的前后。

相对于此，在本发明的内窥镜系统9中，如以上所说明的那样，在形状显示图像42中，对插入部17G附加色彩层次的图案进行显示，所述色彩层次的图案从插入部17G的前端侧到基端侧，由绿色连续地变为蓝色。由此，在交差部分17GX的前后，插入部17G的颜色不同，因此能够轻易判断交差部分17GX的前后。如此，根据本发明的技术，在形状显示图像42中，容易视觉辨认插入部17G的重叠状况。

在本例中，对形状显示图像42中所显示的插入部17G的整个区域附加色彩层次的图案。因此，无论所显示的插入部17G的整个区域的哪个部分成为交差部分17GX，都能够轻易地判断交差部分17GX的前后。

另外，在本例中，对所显示的插入部17G的整个区域附加色彩层次的图案，但并不是一定要对整个区域附加色彩层次的图案。当在前端侧及基端侧中几乎不产生交差部分17GX的情况下，可以不对前端侧及基端侧的一部分的区域附加色彩层次的图案。例如，在形状显示图像42中所显示的插入部17G的整个区域中，可以将自前端20％长度的区域及自基端20％长度的区域设为不附加色彩层次的图案区域。

并且，通过将附加于插入部17G的图案设为从插入部17G的前端侧到基端侧连续地发生颜色变化的色彩层次的图案，与阶段性地使颜色变化的情况相比，能够形成更自然的图像。

并且，通过将插入部17G用作为冷色的组合的由绿色连续地变为蓝色的色彩层次的显示方式进行显示，与用红、橙及黄色等暖色系的颜色进行显示的情况相比，能够期待抑制对眼睛的刺激。

[变形例]

上述实施方式作为一例，如以下所示，能够进行各种变形。

在上述实施方式中，作为色彩层次的例子，以由绿色变为蓝色的色彩层次为例进行了说明，但变化的多个颜色的组合可以是除上述例子的颜色之外的组合。例如，可以是由红色变为橙色的色彩层次。并且，也可以根据用户的设定来改变色彩层次的颜色。

在上述实施方式中，在形状显示图像42中，作为附加于插入部17G的表面的图案，以颜色连续地发生变化的色彩层次的图案为例进行了说明，但图案可以为除色彩层次之外的图案。

只要对插入部17G的表面附加图案进行显示，则与将插入部17G的表面用单色纯色进行显示的情况相比，能够轻易地判断交差部分17GX的前后。

例如，如图13所示，作为色彩层次的图案，可以不是颜色连续地发生变化的方式，也可以是阶段性地发生变化的方式。

在图13所示的形状显示图像42A中，在插入部17G的表面附加从前端侧到基端侧，以不同颜色阶段性地发生变化的色彩层次的图案。即使颜色没有连续地发生变化，在交差部分17GX的前后，插入部17G的颜色也会成为不同的配色，因此能够轻易地判断交差部分17GX的前后。当然，颜色连续地发生变化的色彩层次才是自然的颜色变化，因此视觉效果好，从而优选。

并且，图案可以为除色彩层次之外的图案，也可以为组合了多个颜色的图案。在此，多个颜色例如是指明度、彩度及色相的至少一个彼此不同颜色的组合。

并且，如图14所示的形状显示图像42B所示，图案可以为沿插入部17G的长度方向延伸的多种颜色的纵条纹图案。即使在这种情况下，在交差部分17GX的前后纵条纹彼此交叉，因此能够轻易地判断交差部分17GX的前后。

并且，如图15所示的形状显示图像42C所示，图案可以为绕插入部17G的轴并以环状附加的横条纹图案。即使在这种情况下，在交差部分17GX的前后横条纹彼此交叉，因此能够轻易地判断交差部分17GX的前后。

这种纵条纹图案及横条纹图案可以由细条纹构成，也可以是由具有宽度的带状的多个条纹构成且这些多个条纹以不同颜色进行颜色划分的方式。

并且，如图16所示的形状显示图像42D所示，可以为线框图案。另外，线框通过将具有三维坐标的多个点按照规定的规则而连接来表现立体物。线框图案是将上述线框作为图案而显示于插入部17G的表面的显示方式。这种图案可以获得与上述例相同的效果。

在上述实施方式中，对以下情况进行了说明：关于进行绘制处理时的光源位置及相机位置，将与床16的顶面16A平行的面设为X-Y平面时，光的照射方向及视点方向设定成从Z轴上方朝向下方的状态。然而，关于光源位置及相机位置并不限定于上述，可以根据用户的命令输入设定在任意的方向。视点方向从床16的Z轴上方朝向下方的方向中例如包括以下2个方向。其中一个方向是从床16的正上方，即，相对于X-Y平面的法线方向观察床16的顶面16A的视点。另一方向为从床16的倾斜方向俯视床16的顶面16A的视点。并且，除了这些，还可以为床16的侧面，即，与X-Y平面平行的观察视点。并且，也能够切换多个视点或设定平行视点。

并且，在上述实施方式中，以各产生线圈39产生相同频率的磁场MF的例子进行了说明，但各产生线圈39所产生的磁场MF的频率也可以不同。

并且，在上述各实施方式中，以在内窥镜10中配置包含磁场测定控制部58的磁场测定部，在导航装置12中配置磁场产生控制部71的例子进行了说明，但相反地，也可以在内窥镜10中配置磁场产生控制部71，而在导航装置12中配置磁场测定部。

上述实施方式中，例如，作为执行作为信息获取部及图像生成部的一例的图像生成部77等各种处理的处理部(Processing Unit)的硬件结构，能够使用接下来所示的各种处理器(Processor)。各种处理器中包括执行软件来发挥各种处理部的功能的常用的处理器即CPU(Central Processing Unit：中央处单元，中央处理器)，除此以外，还包括FPGA(Field Programmable Gate Array，现场可编程门阵列)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、和/或具有ASIC(Application Specific Integrated Circuit，专用集成电路)等为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器的组合(例如，多个FPGA的组合和/或CPU与FPGA的组合)构成。如此，各种处理部作为硬件结构使用上述各种处理器中的一个以上而构成。

另外，作为这些各种处理器的硬件结构，更具体而言，能够使用将半导体元件等电路元件组合而成的电路(Circuitry)。

可以通过处理器由CPU构成的计算机来实现具有信息获取部及图像生成部的内窥镜显示控制装置。用于使CPU发挥信息获取部及图像生成部的功能的程序为内窥镜显示控制装置的操作程序。本发明的技术除了内窥镜显示控制装置的操作程序之外，还涉及非临时存储该操作程序的计算机能够读取的存储媒体。

根据上述的记载，能够掌握以下的附记项中所记载的发明。

“附记项1”

一种内窥镜形状显示控制装置，其具备：

信息获取处理器，获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息；及

图像生成处理器，根据所获取到的信息，生成表示插入部的形状的形状显示图像，并且在形状显示图像中，在表面附加图案来显示插入部。

在本说明书中，“A和/或B”的含义与“A及B中的至少1个”相同。即，“A和/或B”的含义是可以仅为A，也可以仅为B，也可以为A与B的组合。并且，在本说明书中，将3个以上的事项用“和/或”连结而表现的情况也适用与“A和/或B”相同的思路。

以上所示的记载内容及图示内容为关于本发明的技术所涉及的部分的详细说明，只不过是本发明的技术的一例。例如，与上述结构、功能、作用及效果有关的说明为与本发明的技术所涉及的部分的结构、功能、作用及效果的一例有关的说明。因此，在不脱离本发明的技术的宗旨的范围内，当然可以对以上所示的记载内容及图示内容删除不必要的部分，或者追加或替换新的要件。并且，为了避免错综复杂的情况，并且容易理解本发明的技术所涉及的部分，在以上所示的记载内容及图示内容中省略了与在使得能够实施本发明的技术的方面不特别需要说明的技术常识等有关的说明。

关于2019年7月22日申请的日本申请专利2019-134865的揭示，将其整体通过参考并入本明细书中。本说明书中所记载的所有文献、专利申请及技术标准与具体地且分别地记载通过参考而被并入的各个文献、专利申请及技术标准的情况相同程度地，通过参考并入本说明书中。

Claims (10)

1.一种内窥镜形状显示控制装置，其具备至少1个处理器，

所述处理器进行如下处理：

获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息，

并在根据所获取到的所述信息而生成显示所述插入部的形状的形状显示图像时，在所述形状显示图像中，在表面附加图案来显示所述插入部。

2.根据权利要求1所述的内窥镜形状显示控制装置，其中，

所述图案对显示于所述形状显示图像的所述插入部的整个区域进行附加。

3.根据权利要求1或2所述的内窥镜形状显示控制装置，其中，

所述图案为从所述插入部的前端侧及基端侧的一者到另一者颜色连续地或阶段性地变化的色彩层次。

4.根据权利要求3所述的内窥镜形状显示控制装置，其中，

所述色彩层次由绿色变为蓝色。

5.根据权利要求1至4中任一项所述的内窥镜形状显示控制装置，其中，

所述图案为条纹图案。

6.根据权利要求1至4中任一项所述的内窥镜形状显示控制装置，其中，

所述图案为线框图案。

7.根据权利要求1至6中任一项所述的内窥镜形状显示控制装置，其中，

所述处理器除了所述图案之外，还对所述插入部实施阴影处理。

8.根据权利要求1至7中任一项所述的内窥镜形状显示控制装置，其中，

用于将所述插入部的形状图像化的信息为基于利用设置于所述插入部内的多个磁场产生元件或多个磁场检测元件而得到的磁场测定数据的信息。

9.一种内窥镜形状显示控制装置的操作方法，该方法具备：

信息获取步骤，获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息；及

图像生成步骤，根据所获取到的所述信息，生成表示所述插入部的形状的形状显示图像，并且在所述形状显示图像中，在表面附加图案来显示所述插入部。

10.一种内窥镜形状显示控制装置的操作程序，其使计算机作为如下两个部分发挥功能：

信息获取部，获取用于将插入到受检体内的内窥镜的插入部的形状图像化的信息；及

图像生成部，根据所获取到的所述信息，生成表示所述插入部的形状的形状显示图像，并且在所述形状显示图像中，在表面附加图案来显示所述插入部。

Images