CN113677251A - 监视系统和内窥镜的插入操作的评价方法 - Google Patents

Abstract

监视系统具有：内窥镜形状检测装置(3)，其检测内窥镜(6)的插入部(6a)的形状；以及运动检测装置，其检测对内窥镜(6)进行操作的手的运动。

Description

监视系统和内窥镜的插入操作的评价方法

技术领域

本发明涉及监视系统和内窥镜的插入操作的评价方法。

背景技术

内窥镜在医疗领域等中被广泛利用，但内窥镜的插入部向被检体内的插入并不容易。例如大肠等具有复杂的形状(行驶路径)。为了在将内窥镜的插入部插入大肠内时不给患者带来痛苦，需要医生对于内窥镜的操作有较高的技术。

另外，利用实时显示内窥镜的插入部在被检体内的插入形状的内窥镜形状获取装置，医生也能够一边确认插入到被检体内的插入部的形状，一边将插入部向被检体内插入，但是，仅通过插入形状无法判断医生的插入操作的好坏。

在国际公开WO2015/070866号公报中提出了一种内窥镜检查用装置，其针对插入部中的所选择的点的行进速度、行进方向以及不动时间，提示与熟练者比较的规定的得分，来监视内窥镜检查的质量。

但是，即使在上述的提案所涉及的装置中显示得分，也无法提示只要具体地使把持插入部的手如何运动来操作插入部，就能够高效地在不对插入对象施加不合理的力的情况下插入内窥镜。

因此，本发明的目的在于提供一种能够对能够提示只要使把持插入部的手如何运动即可的内窥镜的插入操作方法进行提示的监视系统和内窥镜的插入操作的评价方法。

发明内容

用于解决课题的手段

本发明的一个方式为监视系统，其具有：形状检测装置，其检测内窥镜的插入部的形状；以及运动检测装置，其检测对所述内窥镜进行操作的手的运动。

本发明的一个方式为内窥镜的插入操作的评价方法，其中，通过形状检测装置来检测插入到被检体内的内窥镜插入部在所述被检体内的形状，通过动作检测装置来检测对所述内窥镜进行操作的操作者把持所述插入部的手在三维空间内的位置和姿势中的至少一项，由处理器根据从所述动作检测装置输出的与所述手在所述三维空间内的所述位置和所述姿势中的所述至少一项相关的信息，计算所述手的移动量、移动速度、旋转角度、旋转速度中的至少一项参数，并将所述至少一项参数与来自所述形状检测装置的与所述插入部的所述插入形状相关的信息在时间上相关联地输出。

附图说明

图1是示出本发明的实施方式的内窥镜插入训练系统的结构的结构图。

图2是示出本发明的实施方式的根据来自形状运算装置的插入形状信息而显示的插入形状图像的例子的图。

图3是本发明的实施方式的佩戴在用户的右手的手腕上的标记装置的立体图。

图4是用于说明本发明的实施方式的将标记装置向手腕佩戴时的4个标记的配置的图。

图5是用于说明本发明的实施方式的、用户站在模型的肛门侧并将插入部插入模型内的情形的图。

图6是用于说明本发明的实施方式的由第2摄像装置拍摄的插入部的图。

图7是用于说明本发明的实施方式的设置在插入部的外周面的多个标识的图。

图8是示出本发明的实施方式的内窥镜插入操作评价装置和多个摄像装置的说明的框图。

图9是示出本发明的实施方式的内窥镜插入操作评价装置的结构的框图。

图10是示出本发明的实施方式的内窥镜插入操作评价装置的插入方法记录程序的处理流程的例子的流程图。

图11是示出本发明的实施方式的评价用数据的数据结构的例子的图。

图12是示出本发明的实施方式的内窥镜插入操作评价装置的插入方法显示程序的处理流程的例子的流程图。

图13是示出本发明的实施方式的表示所指定的两位医生的右手的动作范围的图像的例子的图。

图14是示出本发明的实施方式的表示所指定的两位医生的右手的动作范围的图像的另一例的图。

图15是示出本发明的实施方式的表示将插入部的进退量和扭转量的变化示出的曲线图的图像的例子的图。

图16是示出本发明的实施方式的表示手的运动和插入形状的变化的图像的例子的图。

图17是用于说明本发明的实施方式的在2个窗口中显示的插入形状的变化和动画的手的变化的图。

图18是示出本发明的实施方式的在窗口中显示的、在模型的图像上叠加了插入形状而得的图像的例子的图。

图19是用于说明本发明的实施方式的作为力量传感器的测力计的配置的图。

图20是示出本发明的实施方式的表示将对模型施加的力量的变化示出的曲线图的图像的例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是示出本实施方式的监视系统的结构的结构图。监视主要具有内窥镜插入训练系统(以下，简称为训练系统)1而构成，训练系统1包含内窥镜装置2、内窥镜形状获取装置3以及内窥镜插入操作评价装置4。内窥镜装置2、内窥镜形状获取装置3以及内窥镜插入操作评价装置4配设于固定在工作台101上的人体的一部分模型(以下称为模型)102的附近。这里，模型102是结肠模型。模型102具有模仿人体形状的主体部102a、在主体部102a内模仿大肠的肠管部102b、以及模仿肛门的肛门部102c。肠管部102b的内部与肛门部102c连通。

内窥镜装置2构成为包含内窥镜6、光源装置7、图像处理装置8以及显示装置9。光源装置7、图像处理装置8以及显示装置9载置于推车101a上、或者固定在推车101a上。

内窥镜6包含插入部6a、操作部6b以及通用线缆6c。插入部6a从前端朝向基端依次具有前端部11、能够弯曲的弯曲部12以及挠性管部13。前端部11是插入部6a的前端部即内窥镜6的前端部，是前端硬质部(前端结构部)。在前端部11内置有物镜光学系统和摄像元件。因此，内窥镜6具有插入到被检体(这里为模型102)内的插入部6a。

弯曲部12包含多个弯曲块，能够根据对操作部6b的2个弯曲操作旋钮14的操作而在上下左右方向上弯曲。挠性管部13根据外力而挠曲。2个弯曲操作旋钮14贯穿插入到插入部6a内，使操作线牵引及松弛，以使弯曲部12弯曲。挠性管部13具有挠性，是根据外力而弯曲的管状部件。

在插入部6a内，以规定的间隔配置有用于内窥镜形状获取装置3的多个磁传感器6d。另外，在本实施方式中，多个磁传感器沿着插入部6a的中心轴等间隔地配置，但也可以根据想要评价插入方法的部位以不同的间隔配置。例如，如果想要评价的部位是大肠的S状结肠，则也可以在插入部6a的前端侧部分使多个磁传感器的数量比基端侧部分多，并且使相邻的磁传感器的间隔变窄。

在通用线缆6c的前端设置有连接器，内窥镜6通过该连接器以能够装卸的方式与光源装置7和图像处理装置8连接。这里，内窥镜6是能够向大肠内插入的内窥镜。并且，虽然未图示，但在通用线缆6c内贯穿插入有光导，内窥镜6构成为使来自光源装置7的照明光通过光导而从插入部6a的前端射出。并且，在通用线缆6c内还贯穿插入有用于多个磁传感器6d的多个信号线。

想要进行内窥镜的插入操作的评价的医生(以下称为用户)使用训练系统。用户使把持着插入部6a的右手RH向各种方向运动。在用右手RH把持插入部6a的状态下，用户将插入部6a沿着插入部6a的轴向压入模型102的大肠内、或者从大肠内抽出。并且，在用右手RH把持插入部6a的状态下，用户使插入部6a绕插入部6a的轴转动。

图像处理装置8接收来自配设于插入部6a的前端部11的摄像元件的摄像信号，对摄像信号实施规定的图像处理而生成内窥镜图像。图像处理装置8通过未图示的信号线与显示装置9连接。内窥镜图像的图像信号被向显示装置9输出，在显示装置9的显示画面上显示内窥镜图像。

内窥镜形状获取装置3包含形状运算装置21和磁场产生装置22。形状运算装置21载置在推车101a上，磁场产生装置22载置在工作台101上。形状运算装置21通过未图示的信号线与图像处理装置8连接。形状运算装置21经由图像处理装置8接收内置于内窥镜6的多个磁传感器6d的信号。形状运算装置21通过信号线23与磁场产生装置22连接。

磁场产生装置22根据来自形状运算装置21的驱动信号而产生规定的磁场，各磁传感器6d检测磁场产生装置22产生的磁场。来自多个磁传感器6d的磁场的检测信号被向形状运算装置21提供。另外，也可以代替多个磁传感器6d而在插入部6a设置多个磁场产生元件，代替磁场产生装置22而设为在模型102的外部设置磁传感器，来检测各磁场产生元件的位置和姿势。

形状运算装置21根据来自各磁传感器6d的信号而实时地计算插入部6a的形状。形状运算装置21通过信号线21a与后述的内窥镜插入操作评价处理器33连接。由形状运算装置21计算出的关于插入部6a的插入形状的信息被向内窥镜插入操作评价处理器33输出。内窥镜插入操作评价处理器33能够根据接收到的关于插入形状的信息，生成从所指定的视点方向观察到的插入形状图像，并显示在显示装置34上。因此，形状运算装置21构成检测插入部6a的插入形状的形状检测装置。

图2是示出根据来自形状运算装置21的插入形状信息显示的插入形状图像的例子的图。图2示出了在显示装置34的显示画面34a上的1个窗口W内显示的插入部6a的插入形状IPF，但通过内窥镜插入操作评价处理器33内的软件程序，插入形状IPF也能够与其他图像叠加显示。

返回到图1，内窥镜插入操作评价装置4包含第1摄像装置31、第2摄像装置32、内窥镜插入操作评价处理器33、显示装置34、输入装置35以及俯瞰照相机36。输入装置35包含键盘35a和鼠标35b。

第1摄像装置31固定于固定在工作台101b上的框架101c。第2摄像装置32固定在工作台101上。内窥镜插入操作评价处理器33载置于工作台101b上。

第1摄像装置31包含多个照相机31a。多个照相机31a从用户的斜右上的方向拍摄用户操作内窥镜6的插入部6a而将其插入到模型102的操作状况。因此，多个照相机31a能够拍摄用户的右手RH。

在本实施方式中，用户的右手RH的运动通过红外线式的动作捕捉来检测。具体而言，动作捕捉用的标记装置51佩戴在用户的右手的手腕上，作为红外线照相机的各照相机31a拍摄标记装置51。根据由各照相机31a拍摄而得到的图像中的各标记54的运动，检测用户的右手的运动。这里，检测右手的位置和姿势。即，经时地获取标记装置51的三维位置和姿势，检测用户的右手RH的举动。

图3是佩戴在用户的右手RH的手腕上的标记装置51的立体图。标记装置51具有固定带52、主体53、球体状的多个标记54以及多个轴部件55。固定带52具有用于佩戴并固定在手腕上的伸缩性。固定带52为带状，具有未图示的固定单元、例如面紧固件，以能够装卸的方式佩戴在手腕上。主体53通过粘接剂、螺钉等固定在固定带52的表面上。多个(这里为4根)轴部件55以从主体53突出的方式固定在主体53上。即，标记装置51具有多个标记54，构成为安装在作为操作插入部6a的操作者的用户的手的手腕上。

图4是用于说明将标记装置51向手腕佩戴时的4个标记54的配置的图。图5是用于说明用户DU站在模型102的肛门部102c侧并将插入部6a插入到模型102内的情形的图。如图5所示，用户DU在将标记装置51佩戴在右手RH的手腕上的状态下，用右手RH把持插入部6a，进行插入部6a的推拉和扭转操作。

在用户用右手RH把持插入部6a的状态下，右手RH绕右臂RA的长度轴CO在大致+90度至大致-90度的范围内转动。第1摄像装置31从大致上方拍摄用户的右手RH。因此，标记装置51以在从第1摄像装置31的摄像方向观察时主体53位于从右手RH的拇指经由第1掌骨MB朝向桡骨RB延长的位置的方式佩戴在右手RH的手腕上。

各标记54安装于从主体53延伸出的轴部件55的前端。在标记装置51安装在右手RH的手腕的状态下，4个标记54位于与面PL垂直的方向上，该面PL由第1摄像装置31的摄像方向和右手RH的右臂RA的长度轴CO形成。在摄像装置31拍摄右手RH的手腕未转动的状态时，以使一对标记54位于长度轴CO的两侧的方式配设4个标记54。这里，在从拇指侧拍摄手腕时，以4个标记54中的2个标记54相对于右臂RA的长度轴CO位于一侧且其他2个标记54相对于右臂RA的长度轴CO位于另一侧的方式配设4个标记54。

并且，在右手RH绕右臂RA的长度轴CO转动时，如果4个标记54立即成为右臂RA的阴影，则各标记54无法通过摄像装置31进行拍摄。因此，如图4所示，隔着长度轴CO配置的2个标记54的中心点间的距离Lm比右臂RA的最大外径Wm(图3)大。以使4个标记54中的至少3个标记54无论臂如何转动均能由摄像装置31进行拍摄的方式配设4个标记54。这里，多个标记54中的至少2个标记54的组合的2个以上隔开80mm以上地配置，使得能够通过多个照相机31a中的任意照相机而检测多个标记54从手腕突出的状态。作为一例，2个标记54的组合的2个以上按照隔开80mm以上且100mm以下的方式配置。

第1摄像装置31包含在三维空间内从多个方向对多个标记54进行拍摄的多个照相机31a。这里，第1摄像装置31位于用户的右手RH的位置的上方且位于用户的右侧或前方。摄像装置31的6台照相机31a从不同的方向拍摄用户的右手RH。标记装置51根据右手RH的运动而运动，但摄像装置31被设置为对通常的插入操作时移动的范围内进行拍摄。

如后所述，通过这样的4个标记54的配置，用户的插入部6a的插入操作、具体而言为将右手RH的扭转操作也包含在内的各种操作通过由摄像装置31进行拍摄而被检测。

第2摄像装置32是从模型102的旁边对肛门部102c的附近进行拍摄的照相机。在插入到肛门的插入部6a的表面通过印刷等而设置有用于检测插入量的字符和图形。插入部6a不仅由右手RH进行操作，有时由左手通过使操作部6b转动来进行操作。第2摄像装置32是也考虑到不仅使用右手RH还使用左手来操作插入部6a的情况，为了检测插入部6a的运动而设置的。因此，第2摄像装置32对插入到作为被检体的模型102内的插入部6a进行拍摄。

图6是用于说明由第2摄像装置32拍摄的插入部6a的图。图7是用于说明设置在插入部6a的外周面的多个标识的图。

如图6所示，第2摄像装置32以能够拍摄插入至模型102的肛门部102c的插入部6a的方式固定于工作台101。如图6的单点划线所示那样，在由摄像装置32拍摄的范围内包含插入到肛门部102c的插入部6a。

如图6和图7所示，在插入部6a的外表面通过印刷等而设置有多个标识。在插入部6a的外表面，隔开规定的间隔地配设有沿着插入部6a的周向呈环状设置的多个虚线61。并且，作为1个标识，第1字符串62沿着插入部6a的周向呈环状配设。作为另1个标识，第2字符串63也沿着插入部6a的周向呈环状配设。

第1字符串62的字符与第2字符串63的字符不同。这里，第1字符串62的字符是数字或小写字符的字母，第2字符串63的字符是大写字符的字母。这里，第1字符串62和第2字符串63的字符是按照以插入部6a的前端方向DD为上、以基端方向PD为下而观察插入部6a时被正确读取的方式进行印刷的。第1字符串62和第2字符串63设置于在插入部6a的周向上配置的两根虚线之间。

在第1字符串62和第2字符串63之间，还设置有在插入部6a的周向上描绘的环状的线64和设置在插入部6a的外周面的螺旋状的线65，作为其他标识。在从与长度轴垂直的方向观察插入部6a时，螺旋状的线65相对于插入部6a的长度轴倾斜规定的角度，绕长度轴以360度描绘在插入部6a的外周面。即，设置在插入部6a的外表面的规定的标识66具有：作为第1带的线64，其在与插入部6a的长度轴垂直的方向上呈环状包围插入部6a的外周；以及作为第2带的线65，其相对于线64倾斜地设置且呈螺旋状包围插入部6a的外周。

关于由摄像装置32拍摄到的线64，即使插入部6a绕长度轴转动，在由摄像装置32得到的图像内也不会改变线64的位置。另一方面，关于由摄像装置32拍摄到的线65，当插入部6a绕长度轴转动时，在由摄像装置32得到的图像内线65的位置发生变化。

并且，如图7所示，多个螺旋状的线65以相同的相位描绘。换言之，多个规定的标识66中的螺旋状的线65的开始点的位置和结束点的位置分别位于与长度轴平行的插入部6a的外周面的假想线上。

第1和第2字符串62、63及线64、65包含在1个规定的标识66中，在两根虚线61之间配置在规定的位置。多个规定的标识66相互隔开规定的距离地描绘于插入部6a。规定的距离例如为10cm。因此，相邻的两根线64之间也与规定的距离相同。在由摄像装置32拍摄的范围内，必须以包含1个规定的标识66的方式设置摄像装置32。

第1和第2字符串62、63在由摄像装置32得到的图像中通过字符识别处理来识别。基于识别出的字符和字符的位置，计算插入部6a向大肠内的插入量。另外，这里，使用2个字符串62、63是为了即使一方的字符被手遮挡，也能够读取另一方的字符。

如后所述，在由摄像装置32得到的图像中，根据各规定的标识66内的两根线64、65间的距离，计算插入部6a的扭转量即扭转角。具体而言，扭转量是根据由摄像装置32得到的图像中的线64的长度L1和线64与线65之间的长度L2之比来计算的。在图6中，长度L2是插入部6a的线64的端部与线65的端部之间的距离(这里为较长一方的距离)。另外，在图6中，线64的端部与线65的端部之间的距离为2个，这里为较长一方的距离L2，但也可以使用较短一方的距离L3。根据线64的长度L1和线64与线65之间的长度L2之比来计算扭转量是为了即使插入部6a与摄像装置32之间的距离发生变化，也能够准确地计算扭转量。

俯瞰照相机36配设在模型102的上方，是拍摄模型102的肠管部102b的第3摄像装置。俯瞰照相机36的摄像信号被输出到内窥镜插入操作评价处理器33。

图8是示出内窥镜插入操作评价处理器33和多个摄像装置的说明的框图。图9是示出内窥镜插入操作评价处理器33的结构的框图。

内窥镜插入操作评价处理器33与第1摄像装置31、第2摄像装置32、作为俯瞰照相机36的形状运算装置21连接，其中，该俯瞰照相机36是对模型102进行拍摄的第3摄像装置。内窥镜插入操作评价处理器33进行后述的运算，在显示装置34上生成显示数据。

如图9所示，内窥镜插入操作评价处理器33是具有中央处理装置(以下，称为CPU)71、ROM 72、RAM 73、硬盘装置(以下，称为HDD)74、以及各种接口电路(以下，简称为I/F)75、76、77、78、79、80的处理器。CPU 71、ROM 72、RAM 73、HDD 74以及各种I/F 75、76、77、78、79、80通过总线81而相互连接。

I/F 75是第1摄像装置31的各照相机31a与总线81之间的接口。I/F 76是第2摄像装置32与总线81之间的接口。I/F 77是俯瞰照相机36与总线81之间的接口。I/F 78是形状运算装置21与总线81之间的接口。I/F 79是显示装置34与总线81之间的接口。I/F 80是输入装置35与总线81之间的接口。

HDD 74具有存储插入操作评价程序EP的存储区域74a、存储评价用数据ED的存储区域74b、存储动作捕捉程序MC的存储区域74c、存储动画生成程序AP的存储区域74d。插入操作评价程序EP包含插入操作记录程序EP 1和插入操作显示程序EP 2。

动作捕捉程序MC是检测在多个照相机31a中得到的多个图像中的多个标记54的位置，并计算安装有标记装置51的右手RH的三维空间内的位置和姿势的软件。因此，执行动作捕捉程序MC的CPU 71构成如下的运动检测装置，该运动检测装置检测操作内窥镜6的用户的对插入部6a进行把持的手的包含三维空间内的位置和姿势的运动。特别是，该运动检测装置是具有对安装于用户的手的标记装置51进行拍摄的第1摄像装置31，而根据由第1摄像装置31拍摄到的标记装置51的运动来检测手的运动的动作捕捉装置。

动画生成程序AP是根据由动作捕捉程序MC计算出的右手RH的位置和姿势的信息而生成右手RH的运动的动画图像的软件。关于插入操作评价程序EP的处理和评价用数据ED的数据结构在后面说明。

CPU 71能够经由I/F 75获取来自各照相机31a的摄像信号。同样地，CPU 71能够经由I/F 76和77获取来自第2摄像装置32和俯瞰照相机36的摄像信号。另外，CPU 71能够将生成的显示数据经由I/F 79输出到显示装置34。

然后，CPU 71通过从HDD 74读出并执行插入操作评价程序EP，生成用户的手的运动等的数据并记录评价用数据ED。并且，CPU 71能够使用评价用数据ED来生成评价用的显示数据。

(作用)

接着，对内窥镜插入操作评价处理器33的动作进行说明。

内窥镜插入操作评价处理器33中的、对右手RH的运动信息、插入形状IPF的形状信息、插入部6a的运动信息以及图像信息进行计算、记录以及输出的处理通过上述的插入操作评价程序EP、动作捕捉程序MC、动画生成程序AP来进行。如上所述，这些程序被记录在ROM72或HDD 74中，通过CPU 71读出并在RAM 73中展开并执行，实现检测等功能。

(1)记录

图10是示出内窥镜插入操作评价处理器33的插入操作记录程序EP 1的处理的流程的例子的流程图。CPU 71从HDD 74读出插入操作记录程序EP 1并在RAM 73中展开并执行。

CPU 71从第1摄像装置31的各照相机31a获取摄像信号，计算右手RH的三维空间内的位置、姿势以及扭转量(步骤(以下，简称为S)1)。具体而言，CPU 71根据标记装置51的各标记54在图像中的位置，通过动作捕捉程序MC，计算作为刚体的右手RH在三维空间内的位置(x，y，z)和姿势(vx，vy，vz)。vx、vy、vz分别表示作为刚体的右手RH的x、y、z轴相对于三维空间的x、y、z轴的基准矢量的方向。CPU 71还根据计算出的位置和姿势来计算右手RH的扭转量(r)。扭转量(r)是表示右臂RA绕长度轴CO的转动角的信息。这样，CPU 71生成右手RH的三维空间内的位置、姿势以及扭转量的信息。

CPU 71根据在S1中计算出的右手RH的位置、姿势以及扭转量的信息，计算右手RH的移动量(AM)、移动速度(SM)、转动角度(AR)以及转动速度(SR)(S2)。具体而言，CPU 71根据在S1中计算出的右手RH的位置和姿势的信息，计算右手RH在插入部6a的插入方向上的移动量(AM)。移动量(AM)是右手RH在插入部6a的插入方向上的推拉量。CPU 71根据在S1中计算出的右手RH的位置和姿势的信息，计算右手RH在插入部6a的插入方向上的移动速度(SM)。移动速度(SM)是右手RH的插入部6a的推拉的速度。CPU 71根据在S1中计算出的右手RH的扭转量(r)的信息，计算右手RH的转动角度(AR)。转动角度(AR)是作为刚体的右手RH绕插入部6a的长度轴的角度。CPU 71根据在S1中计算出的右手RH的扭转量(r)的信息，计算右手RH的转动速度(SR)。转动速度(SR)是作为刚体的右手RH绕插入部6a的长度轴转动的角速度。

CPU 71从第2摄像装置32获取摄像信号，计算插入部6a的插入量(L)和转动量(R)的信息(S3)。具体而言，CPU 71根据摄像装置32的摄像信号而生成图像。然后，CPU 71根据所生成的摄像图像，根据字符或线的位置和运动而计算插入部6a的插入量(L)和转动量(R)。

因此，如后所述，CPU 71根据第2摄像装置32的摄像图像，来计算基于由第2摄像装置32拍摄到的设置在插入部6a的外表面的规定的标识的规定的参数，并与有关插入部6a的插入形状的信息在时间上相关联地输出。

CPU 71从内窥镜形状获取装置3获取插入形状信息(SH)(S4)。并且，CPU 71从俯瞰照相机36获取摄像信号并生成图像(S5)。CPU 71将从S1至S5得到的信息与同一时刻的时刻信息关联起来并作为HDD 74的评价用数据ED而输出(S6)。评价用数据ED被记录在HDD 74中。

通过以规定的周期反复进行S1至S6的处理，输出评价用数据。在S1至S5中得到的各信息与时刻信息相关联。即，内窥镜插入操作评价处理器33构成为：根据与手的三维空间内的位置和姿势相关的信息，计算手的移动量、移动速度、旋转角度、旋转速度的参数，将参数与有关插入形状的信息在时间上相关联地输出。

图11是示出评价用数据ED的数据结构的例子的图。评价用数据ED是包含位置、姿势以及扭转量等信息作为与右手RH的运动相关的信息的表数据TBL。如上所述，右手RH的位置(x，y，z)、姿势(vx，vy，vz)以及扭转量(r)的信息通过动作捕捉程序MC来计算。

并且，评价用数据ED包含插入量(L)和转动量(R)的信息作为与插入部6a的运动相关的信息。插入量(L)是通过摄像装置32的图像中的插入部6a的外表面上的第1字符串62和第2字符串63的字符识别而计算出的信息。转动量(R)是根据摄像装置32的图像中的插入部6a的外表面上的两根线64、65间的距离而计算出的信息。

评价用数据ED包含插入部6a的形状信息(SH)。形状信息(SH)是来自形状运算装置21的关于插入形状的信息。

并且，评价用数据ED包含俯瞰照相机36的图像信息(I)。图像信息(I)是根据来自俯瞰照相机36的摄像信号而生成的图像的信息。

另外，这里，评价用数据ED是图11所示那样的1个表数据TBL，但也可以由多个表数据构成。

另外，评价用数据ED也可以不包含图11所示的全部信息，只要包含至少一个与手的运动相关的信息即可。(2)显示

图12是示出内窥镜插入操作评价处理器33的插入操作显示程序EP 2的处理的流程的例子的流程图。CPU 71从HDD 74读出插入操作显示程序EP 2并在RAM 73中展开并执行。内窥镜插入操作评价处理器33能够生成用于评价插入操作的多个显示画面。用户能够对输入装置35进行操作而将所期望的显示命令提供给CPU 71。CPU71进行与接收到的显示命令相对应的处理。

CPU 71判定是否由用户从输入装置35指示了显示命令(S11)。在未指示显示命令时(S11：否)，不进行任何处理。在指示了显示命令时(S11：是)，CPU 71生成与显示命令相对应的显示数据(S12)。然后，CPU 71将生成的显示数据输出到显示装置34(S13)。

接着，示出所生成的显示数据的例子。

1)手的动作范围

例如，用户有时希望针对将插入部6a插入到大肠内时的右手的动作范围与其他用户进行比较。在该情况下，当用户输入规定的命令时，图13那样的图像被显示在显示装置34上。

图13是表示将用户和所指定的其他用户的右手RH的动作范围示出的图像的例子的图。用户在想要观察绘制了所比较的两位用户(医生)的右手RH的位置的变化的曲线图时，确定两位医生的评价用数据ED，当输入规定的命令时，显示图13所示那样的显示画面34a中的窗口DP1。图13是选择了作为培训医生(住院医生)的用户和专家作为两位医生时的显示例。

窗口DP1显示将从上方观察用户的右手RH时的右手RH的位置的变化示出的曲线图。实线表示作为培训医生的用户的右手RH的轨迹，虚线表示专家的右手RH的轨迹。因此，用实线和虚线表示两位医生的插入操作中的从插入开始到拔出为止的右手RH的位置的轨迹。可知与专家的右手RH的运动相比，在培训医生的右手RH的运动中，无用的动作多。

图14是示出与图13同样地表示所指定的两位医生的右手RH的动作范围的图像的另一例的图。图14的画面根据与图13不同的命令来显示。

图14的窗口DP2显示将从肛门部102c侧观察模型102时的右手RH的位置的变化示出的曲线图。在图14中也可知，与用虚线表示的专家的右手RH的运动相比，在用实线表示的培训医生的右手RH的运动中，无用的动作多。

图13和图14的各曲线图是基于图11的表数据TBL中的手的运动的位置(x、y、z)的信息而描绘的。

另外，图13和图14的曲线图也可以显示为随着时间经过而逐渐描绘。例如，描绘从时刻t0的点开始，以曲线图的线随着时间经过而伸长的方式进行曲线图描绘时，随着时间经过的用户的手的运动容易理解。即，内窥镜插入操作评价处理器33也可以根据手的位置的信息，输出随着时间经过而以曲线图描绘手的位置的显示数据。

2)插入部的进退量和扭转量

例如，用户有时想要观察将插入部6a插入到大肠内时的插入部6a的进退量(即推拉)的变化和插入部6a的扭转量的变化。在该情况下，当用户输入规定的命令时，在图15所示那样的显示画面34a上显示有窗口DP3、DP4。图15是示出表示将插入部的进退量和扭转量的变化示出的曲线图的图像的例子的图。

窗口DP3显示将插入部6a的进退量(即推拉)的变化示出的曲线图。窗口DP4显示将表示插入部6a的扭转量的变化的图像的例子示出的曲线图。当用户输入规定的命令时，显示图15的图像。即，内窥镜插入操作评价处理器33输出第1显示数据和第2显示数据，该第1显示数据显示与第1时间内的手的移动量、移动速度、旋转角度及旋转速度中的第1参数相关的信息，该第2显示数据显示与第2时间内的手的移动量、移动速度、旋转角度及旋转速度中的第2参数相关的信息。

在图15中，窗口DP3中的曲线图和窗口DP4中的曲线图的横轴的时间轴一致，即同步。大致20秒至70秒之间是插入部6a的前端部11通过S状结肠的时间。大致70秒至90秒之间是插入部6a的前端部11通过脾弯曲部的时间。大致90秒至100秒之间是插入部6a的前端部11通过横结肠的时间。因此，用户能够观察这些曲线图而得知插入部6a的推拉量及插入部6a的扭转量。

例如，在图15的情况下，示出了在60秒至80秒之间，插入部6a一边被拉拽一边扭转。因此，在用户是培训医生(住院医生)时，只要显示专家的插入部6a的推拉量及插入部6a的扭转量，就能够与自己的进行比较，来改善自己的插入操作。

图15的各曲线图是基于图11的表数据TBL中的插入部6a的插入量(L)和转动量(R)的信息而描绘的。

3)手的运动和插入形状

例如，用户有时想要观察插入部6a的插入形状SH如何根据右手RH的运动来变化。在该情况下，当用户输入规定的命令时，显示图16所示那样的显示画面34a中的窗口DP5、DP6。图16是表示将手的运动和插入形状的变化示出的图像的例子的图。

窗口DP5显示插入部6a的插入形状IPF。窗口DP6以动画显示右手RH的运动。当用户输入规定的命令时，显示图16的图像。

在窗口DP5显示插入部6a的插入形状，在窗口DP6显示右手的动画图像。动画生成程序AP根据右手RH的位置(x，y，z)和姿势(vx，vy，vz)的信息，生成右手RH的运动的动画图像。即，内窥镜插入操作评价处理器33输出使插入形状与根据手的位置和姿势的信息而生成的手的动画图像同步显示的显示数据。

图17是用于说明窗口DP5中显示的插入形状的变化和窗口DP6中显示的动画的手的变化的图。图17示出2个窗口DP5、DP6的伴随着时间经过的图像的变化。窗口DP5t和DP6t示出了相同时刻t下的图像，窗口DP5(t+m)和DP6(t+m)示出了从时刻t起经过的相同时刻(t+m)下的图像，窗口DP5(t+n)和DP6(t+n)示出了从时刻(t+m)起经过的相同时刻(t+n)下的图像。

如图17所示，插入部6a的插入形状IPF与动画的右手RHa同步地显示在图16的2个窗口DP5、DP6中。因此，用户能够得知插入部6a的插入形状IPF如何根据右手RH的运动而变化。

大肠内窥镜等软性内窥镜与硬性器具不同，内窥镜6的插入部6a相对于医生的操作不是一对一地动作。例如在医生将内窥镜6压入到被检体内的情况下，有时内窥镜6在肠管内挠曲，内窥镜6的前端部11相对于肠管不会向里前进。在这种情况下，一般来说，培训医生(住院医生)大多无法识别插入到体内的插入部6a如何与自身的内窥镜操作对应地运动。因此，对于培训医生(住院医生)而言，得知插入部6a的插入形状IPF如何与右手RH的运动对应地变化，在掌握插入操作方面是非常重要的。

图16的窗口DP5的图像是基于图11的表数据TBL中的形状信息而描绘的，窗口DP6的图像是基于图11的表数据TBL中的手的运动中的位置、姿势以及扭转量的信息而由动画生成程序AP生成并描绘的。特别是，由于以动画显示手的运动，并且同步显示插入部的插入形状，因此容易理解。

另外，在图16中，在窗口DP5中仅显示有插入形状IPF，但也可以在由俯瞰照相机36拍摄到的模型102的图像上显示叠加了插入形状IPF的图像。

图18是示出在窗口DP5中显示的、在模型102的图像上叠加了插入形状IPF而得的图像的例子的图。根据图18那样的图像，用户容易理解插入部6a在肠管部102b内的状态。

另外，如果使用上述的表数据TBL，则除了上述的显示例以外，还能够进行各种显示。

另外，内窥镜插入操作评价处理器33也可以从内窥镜装置2获取各种信息，生成还包含用户对内窥镜装置2的操作信息的显示数据并输出。例如，在对插入部6a进行了硬度可变操作时，如果生成包含表示进行了该硬度可变操作的信息的显示数据，则用户能够将插入操作与对内窥镜装置2的操作信息相关联地进行评价。

进而，也可以根据内窥镜形状获取装置3的形状信息来估计插入部6a的前端部11的位置，将该估计出的位置信息也包含在内而生成显示数据并输出。根据前端部11的位置信息，在显示装置34所显示的曲线图上还能够显示“通过S状结肠”等消息。

另外，也可以将能够检测基于用户的操作的力量的力量传感器设置在模型102上。图19是用于说明作为力量传感器的测力计的配置的图。测力计91测定按压或拉伸的力。测力计91以测力计91的力量检测用的传感器部91a与肛门部102c的相反侧的模型102的表面接触的方式设置在工作台101上。从测力计91延伸出输出测定信号的线缆92。

模型102固定在2根直线导轨93上，该2根直线导轨93固定在工作台101上。即，作为被检体的模型102搭载于作为架台的2根直线导轨93上，该架台在沿着将插入部6a插入的方向的长度方向上平滑地在规定的范围内移动。模型102以在直线导轨93上在规定的范围内运动的方式固定在直线导轨93上。测力计91以测力计91的传感器部91a与模型102抵接的方式固定在工作台101上。另外，该直线导轨93可以为1根，也可以通过用辊使模型102滚动或磁悬浮等方法使模型102在长度方向上移动。

如图19所示，测力计91的输出通过线缆92而被输出到内窥镜插入操作评价处理器33。内窥镜插入操作评价处理器33接收测力计91的测定信号。因此，测力计91构成对施加在作为被检体的模型102或插入部6a的力进行检测的力量检测部。

使用这样设置的测力计91，能够检测用户对插入部6a的操作的力量、即推拉的力。即，测力计91检测沿着将插入部6a插入的方向的长度方向及与该长度方向不同的方向(这里为相反方向)上的施加在被检体或插入部6a的力。另外，测力计91也可以仅检测沿着将插入部6a插入的方向的长度方向及与该长度方向不同的方向(这里为相反方向)中的一方的力。

图20是示出将表示对模型施加的力量的变化的曲线图示出的图像的例子的图。内窥镜插入操作评价处理器33将与该力相关的信息与有关插入形状IPF的信息在时间上相关联地输出。其结果为，在窗口DP7中显示与时间经过相对应的插入力量的变化的曲线图。如果像图15那样排列2个图20的曲线图，则用户能够容易地得知两位医生的插入力量的差异。

如上所述，根据上述实施方式，能够提供能够提示使把持插入部的手如何运动即可的能够提示内窥镜的插入操作方法的监视系统和内窥镜的插入操作的评价方法。

另外，作为能够通过用户的操作来检测向模型102插入插入部6a的力量的部件，除了测力计91以外，例如还可以追加计测用户的近前侧的旋转力(用户以何种程度的扭矩来扭转插入部6a)的未图示的扭矩传感器，并将来自该扭矩传感器的信息追加到检测结果中。

用户能够使用评价用数据而以期望的显示数据进行显示，因此能够进行插入操作的评价。特别是，由于时间上相关联地记录了手的运动信息和内窥镜形状获取装置3的插入形状信息，因此能够将手的运动和插入部6a的插入形状相关联地进行确认。

另外，作为用于进行内窥镜的插入操作的训练的内窥镜插入训练系统，对上述的实施方式进行了说明，但上述的实施方式也能够应用于不是用于训练而是用于单纯评价插入操作的系统。

另外，上述的实施方式是以内窥镜向模型的插入操作为例的方式，但也可以作为向患者等的插入操作的评价装置来使用。

此外，在本实施方式中，内窥镜插入操作评价处理器33的记录功能、显示功能等由软件来执行，但各功能也可以构成为各个电子电路，或者也可以构成为FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等集成电路中的电路块。另外，在本实施方式中，例如也可以构成为内窥镜插入操作评价处理器33具有1个以上的CPU。

本发明并不限定于上述的实施方式，在不改变本发明的主旨的范围内，能够进行各种变更、改变等。

本申请是将2019年5月30日在日本申请的日本特愿2019-101321号作为优先权主张的基础进行申请的，上述的公开内容被引用于本申请说明书、权利要求书。

Claims (13)

1.一种监视系统，其具有：

形状检测装置，其检测内窥镜的插入部的形状；以及

运动检测装置，其检测对所述内窥镜进行操作的手的运动。

2.根据权利要求1所述的监视系统，其中，

所述形状检测装置构成为，检测插入到被检体内的所述内窥镜的所述插入部的插入形状，

所述运动检测装置构成为，检测对所述内窥镜进行操作的操作者的把持所述插入部的手的包含三维空间内的位置和姿势中的至少一项的运动，

该监视系统具有内窥镜操作评价装置，该内窥镜操作评价装置还具有处理器，该处理器构成为，根据从所述运动检测装置输出的与所述手在所述三维空间内的所述位置和所述姿势中的所述至少一项相关的信息，计算所述手的移动量、移动速度、旋转角度、旋转速度中的至少一项参数，并将所述至少一项参数与来自所述形状检测装置的与所述插入部的所述插入形状相关的信息在时间上相关联地输出。

3.根据权利要求2所述的监视系统，其中，

所述运动检测装置是如下的动作捕捉装置：具有对安装于所述操作者的所述手的标记装置进行拍摄的第1摄像装置，根据由所述第1摄像装置拍摄的所述标记装置的运动来检测所述手的运动。

4.根据权利要求3所述的监视系统，其中，

所述标记装置构成为具有多个标记，并安装于所述操作者的所述手的手腕，

所述第1摄像装置包含在所述三维空间内从多个方向拍摄所述多个标记的多个照相机。

5.根据权利要求4所述的监视系统，其中，

所述多个标记中的至少两个标记以80mm以上的间隔配置，以便能够通过所述多个照相机中的任意照相机检测所述多个标记从所述手腕突出的状态。

6.根据权利要求3所述的监视系统，其中，

该监视系统具有第2摄像装置，该第2摄像装置拍摄插入到所述被检体内的所述插入部，

所述处理器根据所述第2摄像装置的摄像图像来计算基于规定的标识的规定的参数，并将该规定的参数与有关所述插入部的所述插入形状的信息在时间上相关联地输出，该规定的标识设置在由所述第2摄像装置拍摄的所述插入部的外表面。

7.根据权利要求6所述的监视系统，其中，

所述规定的标识具有：

第1带，其在与所述插入部的长度轴垂直的方向上呈环状包围所述插入部的外周；以及

第2带，其相对于所述第1带倾斜地设置，呈螺旋状包围所述插入部的所述外周。

8.根据权利要求2所述的监视系统，其中，

该监视系统还具有对施加在所述被检体或所述插入部上的力进行检测的力量检测部，

所述处理器将有关所述力的信息与有关所述插入形状的信息在时间上相关联地输出。

9.根据权利要求8所述的监视系统，其中，

所述被检体搭载于架台，该架台在沿着将所述插入部插入的方向的长度方向上在规定的范围内移动，

所述力量检测部检测所述长度方向和与所述长度方向不同的方向中的至少一方的、施加在所述被检体或所述插入部上的力。

10.根据权利要求2所述的监视系统，其中，

所述处理器输出第1显示数据和第2显示数据，

该第1显示数据显示与第1时间内的所述手的所述移动量、所述移动速度、所述旋转角度以及所述旋转速度中的第1参数相关的信息，

该第2显示数据显示与第2时间内的所述手的所述移动量、所述移动速度、所述旋转角度以及所述旋转速度中的第2参数相关的信息。

11.根据权利要求2所述的监视系统，其中，

所述处理器输出使所述插入形状与根据所述位置和所述姿势的信息而生成的所述手的动画图像同步地显示的显示数据。

12.根据权利要求2所述的监视系统，其中，

所述处理器根据所述手在所述三维空间内的所述位置的信息，输出随着时间经过用曲线图描绘所述手的所述位置的显示数据。

13.一种内窥镜的插入操作的评价方法，其中，

通过形状检测装置来检测插入到被检体内的内窥镜插入部在所述被检体内的插入形状，

通过运动检测装置来检测对所述内窥镜进行操作的操作者把持所述插入部的手在三维空间内的位置和姿势中的至少一项，

由处理器根据从所述运动检测装置输出的与所述手在所述三维空间内的所述位置和所述姿势中的所述至少一项相关的信息，计算所述手的移动量、移动速度、旋转角度、旋转速度中的至少一项参数，并将所述至少一项参数与来自所述形状检测装置的与所述插入部的所述插入形状相关的信息在时间上相关联地输出。

Images