CN116419705A - 信息处理装置、信息处理方法及程序 - Google Patents

Abstract

提供一种对由图像获取用导管获取到的图像的理解进行支援的信息处理装置等。信息处理装置具备：图像获取部，其获取由图像获取用导管得到的包含内腔的导管图像(518)；位置信息获取部，其获取与上述导管图像(518)中所含的插入于上述内腔的医疗器具的位置相关的位置信息；第1数据输出部，其向第1学习完毕模型(631)输入所获取到的上述导管图像(518)和所获取到的上述位置信息并输出第1数据(561)，该第1学习完毕模型在输入了上述导管图像(518)和上述位置信息的情况下，输出将上述导管图像(518)的各个区域分类为生物体组织区域、上述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的上述第1数据(561)。

Description

信息处理装置、信息处理方法及程序

技术领域

本发明涉及信息处理装置、信息处理方法及程序。

背景技术

向血管等管腔器官插入图像获取用导管来获取图像的导管系统已被使用(专利文献1)。

现有技术文献

专利文献

专利文献1：国际公开第2017/164071号

发明内容

发明所要解决的课题

在例如心腔内区域那样构造复杂的场所，存在难以快速理解利用图像获取用导管获取到的图像的情况。

在一个方面，目的在于提供一种对利用图像获取用导管获取到的图像的理解进行支援的信息处理装置等。

用于解决课题的方案

信息处理装置具备：图像获取部，其获取由图像获取用导管得到的包含内腔的导管图像；位置信息获取部，其获取与上述导管图像中所含的插入于上述内腔的医疗器具的位置相关的位置信息；和第1数据输出部，其向第1学习完毕模型输入所获取到的上述导管图像和所获取到的上述位置信息并输出第1数据，其中该第1学习完毕模型在输入了上述导管图像和上述位置信息的情况下，输出将上述导管图像的各个区域分类为生物体组织区域、上述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的上述第1数据。

发明效果

在一个方面，能够提供一种可对利用图像获取用导管获取到的图像的理解进行支援的信息处理装置等。

附图说明

图1是说明导管系统的概要的说明图。

图2是说明图像获取用导管的概要的说明图。

图3是说明导管系统的结构的说明图。

图4是说明导管系统的动作的概要的说明图。

图5A是示意地表示图像获取用导管的动作的说明图。

图5B是示意地表示利用图像获取用导管拍摄到的导管图像的说明图。

图5C是示意地说明基于导管图像生成的分类数据的说明图。

图6是说明医疗器具学习完毕模型的结构的说明图。

图7是说明分类模型的结构的说明图。

图8是说明与位置信息相关的处理的概要的说明图。

图9是说明医疗器具位置训练数据DB的记录布局的说明图。

图10是医疗器具位置训练数据DB的创建中使用的画面的例子。

图11是说明创建医疗器具位置训练数据DB的程序的处理流程的流程图。

图12是说明医疗器具学习完毕模型生成程序的处理流程的流程图。

图13是说明在医疗器具位置训练数据DB中追加数据的程序的处理流程的流程图。

图14是说明医疗器具的描绘的说明图。

图15是说明角度学习完毕模型的结构的说明图。

图16是说明位置信息模型的说明图。

图17是说明实施方式3的程序的处理流程的流程图。

图18是说明分类模型的结构的说明图。

图19是说明第1训练数据的说明图。

图20是说明实施方式4的程序的处理流程的流程图。

图21是说明实施方式5的分类模型的结构的说明图。

图22是说明第2训练数据的说明图。

图23是说明实施方式5的程序的处理流程的流程图。

图24是说明分类合成的子程序的处理流程的流程图。

图25是说明有提示学习完毕模型631的结构说明图。

图26是说明有提示模型训练数据DB的记录布局的说明图。

图27是说明实施方式6的程序的处理流程的流程图。

图28是说明变形例的程序的处理流程的流程图。

图29是说明实施方式7的分类模型的结构的说明图。

图30是说明变形例的分类模型的结构的说明图。

图31是说明实施方式8的处理的概要的说明图。

图32A是说明位置信息的修正过程的概要的说明图。

图32B是说明位置信息的修正过程的概要的说明图。

图32C是说明位置信息的修正过程的概要的说明图。

图32D是说明位置信息的修正过程的概要的说明图。

图33是说明实施方式8的程序的处理流程的流程图。

图34是说明三维显示的子程序的处理流程的流程图。

图35是说明实施方式9的填充处理的说明图。

图36是说明变形例的极性填充处理的说明图。

图37是说明实施方式10的导管系统的结构的说明图。

图38是实施方式11的信息处理装置的功能框图。

具体实施方式

[实施方式1]

图1是说明导管系统10的概要的说明图。本实施方式的导管系统10使用于一边利用X线透视装置等图像诊断装置进行透视一边进行各种脏器治疗的IVR(InterventionalRadiology)。通过参照利用治疗对象部位附近配置的导管系统10获取到的图像，能够正确地操作治疗用的医疗器具。

导管系统10具备图像获取用导管40、MDU(Motor Driving Unit)33和信息处理装置20。图像获取用导管40经由MDU33与信息处理装置20连接。在信息处理装置20上连接有显示装置31及输入装置32。输入装置32是例如键盘、鼠标、跟踪球或麦克风等输入设备。显示装置31和输入装置32也可以一体地层叠而构成为触摸面板。输入装置32和信息处理装置20也可以一体地构成。

图2是说明图像获取用导管40的概要的说明图。图像获取用导管40具有探头部41和配置于探头部41的端部的连接器部45。探头部41经由连接器部45与MDU33连接。在以下的说明中将距图像获取用导管40的连接器部45远的一侧记载为前端侧。

在探头部41的内部穿插有轴43。在轴43的前端侧连接有传感器42。在探头部41的前端设有导丝腔管46。使用者在将导丝插入直至超过目的部位的位置后，将该导丝穿插到导丝腔管46，由此将传感器42诱导到目的部位。在探头部41的前端部附近固定有环状的前端标识部44。

传感器42是例如进行超声波的收发的超声波换能器或进行近红外光的照射和反射光的接收的OCT(Optical Coherence Tomography)用的收发部。在以下的说明中，以图像获取用导管40是在从循环器官的内侧拍摄超声波断层像时使用的IVUS(IntravascularUltrasound)用导管的情况为例进行说明。

图3是说明导管系统10的结构的说明图。如前所述导管系统10具有信息处理装置20、MDU33及图像获取用导管40。信息处理装置20具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示部25、输入部26、导管控制部271及总线。

控制部21是执行本实施方式的程序的运算控制装置。在控制部21中，使用一个或多个CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、TPU(TensorProcessing Unit)或多核CPU等。控制部21经由总线与构成信息处理装置20的硬件各部分连接。

主存储装置22是SRAM(Static Random Access Memory)、DRAM(Dynamic RandomAccess Memory)、闪存等存储装置。在主存储装置22中，暂时保存有控制部21进行的处理的中途所需要的信息以及控制部21执行过程中的程序。

辅助存储装置23是SRAM、闪存、硬盘或磁带等存储装置。在辅助存储装置23中，保存有医疗器具学习完毕模型611、分类模型62、使控制部21执行的程序、以及程序执行所需要的各种数据。通信部24是进行信息处理装置20与网络之间的通信的接口。

显示部25是连接显示装置31与总线的接口。输入部26是连接输入装置32与总线的接口。导管控制部271进行MDU33的控制、传感器42的控制、以及基于从传感器42接收到的信号的图像生成等。

MDU33在探头部41的内部使传感器42及轴43旋转。导管控制部271在传感器42每旋转一圈生成一张导管图像51(参照图4)。生成的导管图像51是以探头部41为中心与探头部41大致垂直的横断层像。

MDU33也能够进一步一边在探头部41的内部使传感器42及轴43旋转，一边使传感器42进退。通过一边牵引或推入传感器42一边使其旋转的操作，导管控制部271连续地生成与探头部41大致垂直的多张导管图像51。连续地生成的导管图像51能够使用于三维图像的构筑。因此，图像获取用导管40实现沿着长度方向依次获取多个导管图像51的三维扫描用导管的功能。

在传感器42的进退操作中，包含使探头部41整体进退的操作和在探头部41的内部使传感器42进退的操作这两方。进退操作可以由MDU33以规定速度自动进行，也可以由使用者手动进行。

此外，图像获取用导管40不限定于机械性地进行旋转及进退的机械扫描方式。也可以是使用将多个超声波换能器配置成环状的传感器42的、电子径向扫描型的图像获取用导管40。

使用图像获取用导管40，除了能够拍摄构成心脏壁、血管壁等循环器官的生物体组织以外，还能够拍摄包含例如红血球等存在于循环器官内侧的反射体、以及例如呼吸器官、消化器官等存在于循环器官外侧的脏器的导管图像51。

在本实施方式中，以将图像获取用导管40用于房间隔穿刺的情况为例进行说明。在房间隔穿刺中，在将图像获取用导管40插入到右心房后，在超声波引导下将房间隔穿刺针穿刺到作为房间隔的薄壁部的卵圆窝。房间隔穿刺针的前端到达左心房的内部。

在进行房间隔穿刺的情况下，在导管图像51中，除了房间隔、右心房、左心房、大动脉等构成循环器官的生物体组织、以及在循环器官内部流动的血液中包含的红血球等反射体以外，还描绘出房间隔穿刺针。医生等使用者通过使用导管图像51确认卵圆窝与房间隔穿刺针的前端之间的位置关系，能够安全地进行房间隔穿刺。房间隔穿刺针是本实施方式的医疗器具的例示。

此外，导管系统10的用途不限定于房间隔穿刺。也能够将导管系统10使用于例如经导管心肌烧灼术、经导管瓣膜置换术及向冠状动脉等的支架留置等手术。使用导管系统10进行治疗的部位不限定于心脏周边。例如，能够将导管系统10使用于胰管、胆管及下肢血管等各种各样的部位的治疗。

导管控制部271的功能及结构与以往使用的超声波诊断装置相同，因此省略详细说明。此外，控制部21也可以实现导管控制部271的功能。

信息处理装置20经由HIS(Hospital Information System)等与X线血管拍摄装置、X线CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置或超声波诊断装置等各种各样的图像诊断装置37连接。

本实施方式的信息处理装置20是专用的超声波诊断装置或者具有超声波诊断装置的功能的个人电脑，平板电脑或智能手机等。此外，在以下的说明中以医疗器具学习完毕模型611等学习完毕模型的学习及训练数据的创建中也使用信息处理装置20的情况为例进行说明。在学习完毕模型的学习及训练数据的创建中，也可以使用与信息处理装置20不同的计算机或服务器等。

此外，在以后的说明中，主要以控制部21进行软件性的处理的情况为例进行说明。使用流程图的说明的处理以及各种学习完毕模型可以分别通过专用的硬件而安装。

图4是说明导管系统10的动作的概要的说明图。在图4中，列举一边以规定速度牵引传感器42一边拍摄多个导管图像51并实时显示图像的情况为例进行说明。

控制部21拍摄一张导管图像51(步骤S501)。控制部21获取导管图像51中描绘出的医疗器具的位置信息(步骤S502)。在图4则，以“×”标记表示导管图像51中的医疗器具的位置。

控制部21将导管图像51、导管图像51在图像获取用导管40的长度方向上的位置与医疗器具的位置信息建立关联地记录到辅助存储装置23或与HIS连接的大容量存储装置(步骤S503)。

控制部21对于构成导管图像51的各部分，生成按描绘出的每个被摄体进行分类的分类数据52(步骤S504)。在图4中，通过基于分类结果对导管图像51以不同形式涂色的示意图，示出分类数据52。

控制部21判断使用者指定了二维显示还是指定了三维显示(步骤S505)。在判断成使用者指定了二维显示的情况下(在步骤S505中为2D)，控制部21将导管图像51及分类数据52利用二维显示而显示于显示装置31(步骤S506)。

此外，在图4的步骤S505中，如“2D/3D”那样，记载为是对“二维显示”和“三维显示”中的哪一方的选择。但是，也可以是，在使用者选择了“3D”的情况下，控制部21显示“二维显示”和“三维显示”这两方。

在判断成使用者指定了三维显示的情况下(在步骤S505中为3D)，控制部21判断步骤S503中逐次记录的医疗器具的位置信息是否正常(步骤S511)。在判断成不正常的情况下(步骤S511中为否)，控制部21进行位置信息的修正(步骤S512)。关于步骤S511及步骤S512中进行的处理详情将后述。

在判断成正常的情况下(步骤S511中为是)或步骤S512结束后，控制部21进行图示出观察中的部位的构造和医疗器具的位置的三维显示(步骤S513)。如前所述控制部21也可以使三维显示和二维显示这两方显示于一个画面。

在步骤S506或步骤S513结束后，控制部21判断导管图像51的获取是否结束(步骤S507)。例如，在受理了使用者的结束指示的情况下，控制部21判断成结束处理。

在判断成不结束处理的情况下(步骤S507中为否)，控制部21返回步骤S501。在判断成结束处理的情况下(步骤S507中为是)，控制部21使处理结束。

在图4中，说明了在拍摄一系列的导管图像51的过程中，实时地进行二维显示(步骤S506)或三维显示(步骤S513)的情况下的处理流程。控制部21也可以基于步骤S503中记录的数据，非实时地进行二维显示或三维显示。

图5A是示意地表示图像获取用导管40的动作的说明图。图5B是示意地说明由图像获取用导管40拍摄到的导管图像51的说明图。图5C是示意地说明基于导管图像51生成的分类数据52的说明图。使用图5A至图5C，说明RT(Radius-Theta)形式和XY形式。

如前所述，传感器42一边在图像获取用导管40的内部旋转一边收发超声波。导管控制部271如图5A中的8条箭头示意性所示，以图像获取用导管40为中心获取放射状的扫描线数据。

导管控制部271能够基于扫描线数据以RT形式导管图像518和XY形式导管图像519这两种形式，生成图5B所示的导管图像51。RT形式导管图像518是使各个扫描线数据相互平行排列而生成的图像。RT形式导管图像518的横向示出距图像获取用导管40的距离。

RT形式导管图像518的纵向示出扫描角度。一张RT形式导管图像518通过将传感器42旋转360度而获取的扫描线数据按扫描角度顺序平行排列而形成。

在图5B中，RT形式导管图像518的左侧示出距图像获取用导管40近的场所，RT形式导管图像518的右侧示出距图像获取用导管40远的场所。

XY形式导管图像519是通过对各个扫描线数据以放射状排列并进行插补而生成的图像。XY形式导管图像519示出以传感器42的位置将被摄体相对于图像获取用导管40垂直地切断得到的断层像。

在图5C中，对于构成导管图像51的各部分，示意地示出按所描绘出的每个被摄体进行分类的分类数据52。分类数据52也能够以RT形式分类数据528和XY形式分类数据529这两种形式显示。RT形式与XY形式之间的图像转换方法是公知，因此省略说明。

在图5C中，粗的右下的阴影线示出心房壁及心室壁等、形成供图像获取用导管40插入的腔的生物体组织区域。细的左下的阴影线示出供图像获取用导管40的前端部分插入的作为血液流动区域的第1腔的内部。细的右下的阴影线示出作为第1腔以外的血液流动区域的第2腔的内部。

在进行从右心房向左心房的房间隔穿刺的情况下，第1腔为右心房，第2腔为左心房、右心室、左心室、大动脉及冠状动脉等。在以下的说明中，将第1腔的内部记载为第1内腔区域，将第2腔的内部记载为第2内腔区域。

粗的左下的阴影线示出非生物体组织区域中的既不是第1内腔区域也不是第2内腔区域的非内腔区域。在非内腔区域中，包含心腔外区域及比心脏构造靠外部的区域等。在图像获取用导管40的可描绘范围小而无法充分描绘出左心房的远位侧的壁的情况下，左心房的内部也包含于非内腔区域。同样地，左心室、肺动脉、肺静脉及大动脉弓等的内腔也是，在无法充分描绘出远位侧的壁的情况下，包含于非内腔区域。

涂黑区域示出描绘出房间隔穿刺针等医疗器具的医疗器具区域。在以下的说明中，存在将生物体组织区域和非生物体组织区域合在一起记载为生物体组织关联区域的情况。

此外，医疗器具不限于插入于与图像获取用导管40相同的第1腔。根据手术的不同，也存在医疗器具插入于第2腔的情况。

图5C所示的阴影线及涂黑区域是能够区分各个区域的样态的例示。各个区域例如使用不同颜色而显示于显示装置31。控制部21实现以能够分别区分的样态输出第1内腔区域、第2内腔区域及生物体组织区域的第1样态输出部的功能。控制部21也实现以能够分别区分的样态输出第1内腔区域、第2内腔区域、非内腔区域及生物体组织区域的第2样态输出部的功能。

例如在为了进行房间隔穿刺而确认房间隔穿刺针的位置的情况等下，在IVR的手术中，适于基于XY形式的显示。然而，在XY显示中图像获取用导管40附近的信息被压缩而数据量减少，在从图像获取用导管40离开的位置利用插补追加了原本不存在的数据。因此，在进行导管图像51的解析的情况下，使用RT形式图像的情况下，比使用XY形式图像得到更高精度的结果。

在以下的说明中，控制部21基于RT形式导管图像518生成RT形式分类数据528。控制部21对XY形式导管图像519进行转换而生成RT形式导管图像518，对RT形式分类数据528进行转换而生成XY形式分类数据529。

关于分类数据52，列举具体例进行说明。在被分类为“生物体组织区域”的像素中记录“生物体组织区域标签”，在被分类为“第1内腔区域”的像素中记录“第1内腔区域标签”，在被分类为“第2内腔区域”的像素中记录“第2内腔区域标签”，在被分类为“非内腔区域”的像素中记录“非内腔区域标签”，在被分类为“医疗器具区域”的像素中记录“医疗器具区域标签”，在被分类为“非生物体组织区域”的像素中记录“非生物体组织区域标签”。各标签例如以整数示出。

此外，控制部21也可以基于XY形式导管图像519生成XY形式分类数据529。控制部21也可以基于XY形式分类数据529生成RT形式分类数据528。

图6是说明医疗器具学习完毕模型611的结构的说明图。医疗器具学习完毕模型611是受理导管图像51并输出与描绘出医疗器具的位置相关的第1位置信息的模型。医疗器具学习完毕模型611实现使用图4说明的步骤S502。医疗器具学习完毕模型611的输出层起到输出第1位置信息的第1位置信息输出部的功能。

在图6中，医疗器具学习完毕模型611的输入为RT形式导管图像518。第1位置信息是关于RT形式导管图像518上的各部分描绘出医疗器具的概率。在图6中，以深阴影线示出描绘出医疗器具的概率高的场所，无阴影线地示出描绘出医疗器具的概率低的场所。

医疗器具学习完毕模型611使用例如CNN(Convolutional Neural Network)的神经网络构造，通过机器学习而生成。作为能够在医疗器具学习完毕模型611的生成中使用的CNN的例子，可列举R-CNN(Region Based Convolutional Neural Network)、YOLO(Youonly look once)、U-Net及GAN(Generative Adversarial Network)等。医疗器具学习完毕模型611也可以使用CNN以外的神经网络构造而生成。

医疗器具学习完毕模型611可以是受理时序性获取到的多个导管图像51并输出相对于最新的导管图像51的第1位置信息的模型。能够将RNN(Recurrent Neural Network)等受理时序性输入的模型与前述的神经网络构造组合来生成医疗器具学习完毕模型611。

RNN是例如LSTM(Long short-term memory)。在使用LSTM的情况下，医疗器具学习完毕模型611具备保持与过去输入的导管图像51相关的信息的存储器部。医疗器具学习完毕模型611基于存储器部中保持的信息和最新的导管图像51，输出第1位置信息。

在使用时序性获取到的多个导管图像51的情况下，医疗器具学习完毕模型611也可以具备将基于过去输入的导管图像51的输出与下一个导管图像51一起输入的递归输入部。医疗器具学习完毕模型611基于最新的导管图像51和来自递归输入部的输入，输出第1位置信息。通过使用时序性获取到的导管图像51，能够实现难以受到图像噪声等影响而高精度地输出第1位置信息的医疗器具学习完毕模型611。

医疗器具学习完毕模型611也可以使用受理了输入的导管图像51上的一个像素的位置，输出描绘出医疗器具的概率高的场所。例如医疗器具学习完毕模型611也可以是在如图6所示那样对导管图像51上的各部位计算出描绘医疗器具的概率后，输出概率最高的像素的位置的模型。医疗器具学习完毕模型611也可以输出描绘出医疗器具的概率超过规定阈值的区域的重心位置。医疗器具学习完毕模型611也可以输出描绘出医疗器具的概率超过规定阈值的区域。

此外，存在多个医疗器具被同时使用的情况。在导管图像51上描绘出多个医疗器具的情况下，期望医疗器具学习完毕模型611是输出多个医疗器具各自的第1位置信息的模型。

医疗器具学习完毕模型611也可以是仅输出一条医疗器具的第1位置信息的模型。控制部21能够将对从医疗器具学习完毕模型611输出的第1位置信息的周边进行了屏蔽的RT形式导管图像518输入到医疗器具学习完毕模型611，获取第二条医疗器具的第1位置信息。通过重复同样的处理，控制部21也能够第三条及其以后的医疗器具的第1位置信息。

图7是说明分类模型62的结构的说明图。分类模型62是受理导管图像51，针对构成导管图像51的各部分，输出按描绘出的每个被摄体进行分类的分类数据52的模型。分类模型62实现使用图4说明的步骤S504。

列举具体例进行说明。分类模型62将构成所输入的RT形式导管图像518的各个像素分类为例如“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”，输出将像素的位置与表示分类结果的标签建立了关联的RT形式分类数据528。

分类模型62也可以将导管图像51划分为例如纵3像素、横3像素的合计9像素等任意大小的区域，输出对各个区域进行分类的分类数据52。分类模型62是例如对导管图像51进行语义分割的学习完毕模型。关于分类模型62的具体例将后述。

图8是说明与位置信息相关的处理的概要的说明图。一边使传感器42在图像获取用导管40的长度方向上移动，一边拍摄多个导管图像51。在图8中大致圆台状的线条画示意地示出基于多个导管图像51三维构筑成的生物体组织区域。大致圆台的内部表示第1内腔区域。

白圆及黑圆示出从各个导管图像51获取到的医疗器具的位置。其中黑圆是相对于白圆大幅离开的位置，因此判断成是错误检测。通过将白圆圆滑地连接的粗线，能够再现医疗器具的形状。×标记是对没有检测出的医疗器具的位置信息进行补充的补充信息。

关于使用图8说明的处理的详情，在实施方式8中进行说明。通过使用图8说明的处理，实现了使用图4说明的步骤S511及步骤S512的处理。

例如，在医疗器具与生物体组织区域接触的情况下，已知存在即使熟练的医生或检查师等使用者以静态画面的状态阅读一张导管图像51也难以识别何处描绘出医疗器具的情况。然而，在利用动态画面观察导管图像51的情况下，使用者能够比较容易地判断医疗器具的位置。这是因为使用者能够一边期待医疗器具存在于与前帧相同的位置一边阅读。

在使用图8说明的处理中，使用从多个导管图像51分别获取到的医疗器具的位置信息，以不产生矛盾的方式重新构筑医疗器具。通过进行这样的处理，使用者与观察动态画面的情况同样地正确地判断医疗器具的位置，能够实现在三维图像中显示医疗器具的形状的导管系统10。

根据本实施方式，通过步骤S506及步骤S513的显示，能够提供对使用图像获取用导管40获取到的导管图像51的理解进行支援的导管系统10。通过使用本实施方式的导管系统10，使用者能够正确地掌握医疗器具的位置，能够安全地进行IVR。

[实施方式2]

本实施方式涉及医疗器具学习完毕模型611的生成方法。对于与实施方式1共同的部分，省略说明。此外，在本实施方式中以使用利用图3说明的信息处理装置20生成医疗器具学习完毕模型611的情况为例进行说明。

医疗器具学习完毕模型611也可以使用与信息处理装置20不同的计算机等创建。机器学习完成的医疗器具学习完毕模型611可以经由网络复制到辅助存储装置23。能够在多个信息处理装置20中使用以一个硬件学习的医疗器具学习完毕模型611。

图9是说明医疗器具位置训练数据DB(Database)71的记录布局的说明图。医疗器具位置训练数据DB71是将导管图像51与医疗器具的位置信息建立关联而记录的数据库，在基于机器学习的医疗器具学习完毕模型611的训练中使用。

医疗器具位置训练数据DB71具有导管图像字段及位置信息字段。在导管图像字段中记录有RT形式导管图像518等的导管图像51。也可以在导管图像字段中，记录有表示传感器42所接收到的超声波信号的所谓声线数据。也可以在导管图像字段中记录有基于声线数据生成的扫描线数据。

在位置信息字段中，记录有导管图像51上描绘出的医疗器具的位置信息。位置信息例如如后述那样是表示在导管图像51上由标注者(labeler)标记的一个像素的位置的信息。位置信息也可以是表示在导管图像51上以标注者所标记的点附近为中心的圆的区域的信息。圆是不超过导管图像51上描绘出的医疗器具的大小的程度的尺寸。圆例如为与纵横50像素以下的正方形内切的大小。

图10是表示医疗器具位置训练数据DB71的创建中使用的画面的例子。在图10的画面上，显示有RT形式导管图像518与XY形式导管图像519的一组导管图像51。RT形式导管图像518和XY形式导管图像519是基于同一声线数据创建出的图像。

在导管图像51的下方，显示有控制按钮区域782。在控制按钮区域782的上部，配置有显示中的导管图像51的帧编号以及供使用者输入任意帧编号而使显示跳过时使用的跳过按钮。

在帧编号等的下侧，配置有供使用者进行快进、倒退、逐帧播放等操作时使用的各种按钮。这些按钮由于与各种图像播放装置等通常使用的按钮相同，因此省略说明。

本实施方式的使用者是通过观察预先记录的导管图像51并在医疗器具的位置标注标签来创建训练数据的负责人。在以下的说明中，将创建训练数据的负责人称为标注者。标注者是习熟导管图像51的阅读的医生、检查师或受过训练而能够进行正确的标签标注的人员。而且在以下的说明中，存在将为了标注标签而由标注者对导管图像51标注标识等的作业称为标记的情况。

标注者观察所显示的导管图像51，判断描绘出医疗器具的位置。一般，相对于导管图像51整体的面积而言，描绘出医疗器具的区域非常小。标注者通过将光标781移动到描绘出医疗器具的区域的大致中央，通过点击(click)操作等进行标记。在显示装置31为触摸面板的情况下，标注者也可以通过使用手指或触控笔等的轻点(tap)操作进行标记。标注者也可以通过所谓滑动(flick)操作进行标记。

此外，标注者可以对RT形式导管图像518和XY形式导管图像519中的任一方的导管图像51进行标记。控制部21可以在另一方的导管图像51的对应位置显示标识。

控制部21在医疗器具位置训练数据DB71中创建新的记录，将导管图像51与标注者所标记的位置建立关联地记录。控制部21将下一个导管图像51显示于显示装置31。通过多次重复以上处理，创建出医疗器具位置训练数据DB71。

即，标注者不对控制按钮区域782的各按钮进行操作，仅在导管图像51上进行点击操作等就能够对多个导管图像51依次进行标记。标注者对描绘出一条医疗器具的一张导管图像51进行的操作仅为一次点击操作等。

如前所述，也存在在导管图像51中描绘出多个医疗器具的情况。标注者能够对各个医疗器具通过一次点击操作等进行标记。此外在以下的说明中，以在一张导管图像51上描绘出一条医疗器具的情况为例进行说明。

图11是说明创建医疗器具位置训练数据DB71的程序的处理流程的流程图。以使用信息处理装置20创建医疗器具位置训练数据DB71的情况为例进行说明。图11的程序也可以以与信息处理装置20不同的硬件执行。

在执行图11的程序之前，在辅助存储装置23或外部的大容量存储装置中记录有大量的导管图像51。在以下的说明中，列举导管图像51以包含时序性拍摄到的多个RT形式导管图像518的动态画面数据的形式记录于辅助存储装置23的情况为例进行说明。

控制部21从辅助存储装置23获取1帧的RT形式导管图像518(步骤S671)。控制部21对RT形式导管图像518进行转换而生成XY形式导管图像519(步骤S672)。控制部21将使用图10说明的画面显示于显示装置31(步骤S673)。

控制部21经由输入装置32受理基于标注者对位置信息的输入操作(步骤S674)。输入操作具体是对RT形式导管图像518或XY形式导管图像519的点击操作或轻点操作等。

控制部21在受理了输入操作的位置显示小圆等标识(步骤S675)。经由输入装置32进行的、对显示于显示装置31的图像的输入操作的受理、以及标识向显示装置31的显示由于是以往就使用的用户界面，所以省略详细说明。

控制部21判断步骤S674中受理了输入操作的图像是否是RT形式导管图像518(步骤S676)。在判断成是RT形式导管图像518的情况下(步骤S676中为是)，控制部21也在与XY形式导管图像519的对应的位置显示标识(步骤S677)。在判断成不是RT形式导管图像518的情况下(步骤S676中为否)，控制部21也在RT形式导管图像518的对应的位置显示标识(步骤S678)。

控制部21在医疗器具位置训练数据DB71中创建新的记录。控制部21将导管图像51与标注者所输入的位置信息建立关联地记录到医疗器具位置训练数据DB71(步骤S679)。

步骤S679中记录的导管图像51可以仅为步骤S671中获取到的RT形式导管图像518，也可以为RT形式导管图像518和步骤S672中生成的XY形式导管图像519这两方。步骤S679中记录的导管图像51可以是传感器42接收到的一圈旋转量的声线数据或对声线数据进行信号处理而生成的扫描线数据。

步骤S679中记录的位置信息是表示例如与标注者使用输入装置32进行点击操作等的位置对应的、RT形式导管图像518上的一个像素的位置的信息。位置信息也可以是表示标注者进行了点击操作等的位置与其周边范围的信息。

控制部21判断是否要结束处理(步骤S680)。例如，在结束了辅助存储装置23中记录的导管图像51的处理的情况下，控制部21判断成结束处理。在判断成结束的情况下(步骤S680中为是)，控制部21使处理结束。

在判断成不结束处理的情况下(步骤S680中为否)，控制部21返回步骤S671。控制部21在步骤S671中获取下一个RT形式导管图像518，执行步骤S672及其以后的处理。即控制部21不等待对显示于控制按钮区域782的按钮的操作，自动获取下一个RT形式导管图像518。

通过步骤S671到步骤S680的循环，控制部21将基于辅助存储装置23中记录的大量RT形式导管图像518得到的训练数据记录到医疗器具位置训练数据DB71。

此外，控制部21也可以在使用图10说明的画面上显示例如“保存按钮”，在受理了对“保存按钮”的选择的情况下执行步骤S679。而且控制部21也可以在使用图10说明的画面上显示例如“AUTO按钮”，在受理对“AUTO按钮”的选择的期间不等待“保存按钮”的选择而自动执行步骤S679。

在以下的说明中，以步骤S679中记录于医疗器具位置训练数据DB71的导管图像51是RT形式导管图像518、位置信息是RT形式导管图像518上的一个像素的位置的情况为例进行说明。

图12是说明医疗器具学习完毕模型611生成程序的处理流程的流程图。在执行图12的程序之前，准备例如将卷积层、池化层及全连接层组合得到的未学习模型。如前所述，未学习模型是例如CNN的模型。作为能够在医疗器具学习完毕模型611的生成中使用的CNN的例子，可列举R-CNN、YOLO、U-Net及GAN等。医疗器具学习完毕模型611也可以使用CNN以外的神经网络构造而生成。

控制部21从医疗器具位置训练数据DB71获取在1个回合(epoch)的训练中使用的训练记录(步骤S571)。如前所述，医疗器具位置训练数据DB71中记录的训练记录是RT形式导管图像518与表示RT形式导管图像518上描绘出的医疗器具的位置的坐标的组合。

控制部21调整模型的参数，使得在模型的输入层中输入了RT形式导管图像518的情况下，从输出层输出与位置信息对应的像素的位置(步骤S572)。在训练记录的获取以及模型的参数调整中，程序也可以适当具有使控制部21执行对基于使用者的修正的受理、判断依据的提示、追加学习等的功能。

控制部21判断是否要结束处理(步骤S573)。例如，在结束了规定的回合数的学习的情况下，控制部21判断成结束处理。控制部21也可以从医疗器具位置训练数据DB71获取测试数据并输入到机器学习中的模型，在得到了规定精度的输出的情况下判断成结束处理。

在判断成不结束处理的情况下(步骤S573中为否)，控制部21返回步骤S571。在判断成要结束处理的情况下(步骤S573中为是)，控制部21将学习完毕的医疗器具位置训练数据DB71的参数记录到辅助存储装置23(步骤S574)。然后，控制部21结束处理。通过以上的处理，生成了受理导管图像51并输出第1位置信息的医疗器具学习完毕模型611。

也可以在执行图12的程序之前，准备受理RNN等时序性输入的模型。RNN是例如LSTM。在步骤S572中控制部21调整模型的参数，使得在模型的输入层中输入了时序性拍摄到的多个RT形式导管图像518的情况下，从输出层时序性输出与最后的RT形式导管图像518建立了关联的位置信息所对应的像素的位置。

图13是说明在医疗器具位置训练数据DB71中追加数据的程序的处理流程的流程图。图13的程序是在创建了医疗器具学习完毕模型611之后在医疗器具位置训练数据DB71中追加训练数据的程序。所追加的训练数据在医疗器具学习完毕模型611的追加学习中使用。

在执行图13的程序之前，在辅助存储装置23或外部的大容量存储装置中记录有在医疗器具位置训练数据DB71的创建中尚未使用的大量的导管图像51。在以下的说明中，列举以包含时序性拍摄到的多个RT形式导管图像518的动态画面数据的形式将导管图像51记录于辅助存储装置23的情况为例进行说明。

控制部21从辅助存储装置23获取1帧的RT形式导管图像518(步骤S701)。控制部21将RT形式导管图像518输入到医疗器具学习完毕模型611，获取第1位置信息(步骤S702)。

控制部21对RT形式导管图像518进行转换而生成XY形式导管图像519(步骤S703)。控制部21在表示使步骤S702中获取到的第1位置信息的标识分别重叠于RT形式导管图像518及XY形式导管图像519的状态下，将使用图10说明的画面显示于显示装置31(步骤S704)。

标注者在判断成自动显示的标识的位置不恰当的情况下，进行一次点击操作等而输入医疗器具的正确位置。即标注者输入对自动显示的标识的订正指示。

控制部21判断是否在规定时间内受理了基于标注者经由输入装置32进行的输入操作(步骤S705)。规定时间期望能够由标注者适当设定。输入操作具体是对RT形式导管图像518或XY形式导管图像519的点击操作或轻点操作等。

在判断成受理了输入操作的情况下(步骤S705中为是)，控制部21在受理了输入操作的位置，显示小圆等的标识(步骤S706)。期望步骤S706中显示的标识是与表示步骤S702中获取到的位置信息的标识不同的颜色或不同的形状等。此外，控制部21也可以删掉表示步骤S702中获取到的位置信息的标识。

控制部21判断步骤S705中受理了输入操作的图像是否是RT形式导管图像518(步骤S707)。在判断成是RT形式导管图像518的情况下(步骤S707中为是)，控制部21在XY形式导管图像519的对应的位置也显示标识(步骤S708)。在判断成不是RT形式导管图像518的情况下(步骤S707中为否)，控制部21在RT形式导管图像518的对应的位置也显示标识(步骤S709)。

控制部21在医疗器具位置训练数据DB71中创建新的记录。控制部21将使导管图像51与标注者所输入的位置信息建立了关联的订正数据记录到医疗器具位置训练数据DB71(步骤S710)。

在判断成未受理输入操作的情况下(步骤S705中为否)，控制部21在医疗器具位置训练数据DB71中创建新的记录。控制部21将使导管图像51与步骤S532中获取到的第1位置信息建立了关联的非订正数据记录到医疗器具位置训练数据DB71(步骤S711)。

在步骤S710或步骤S711结束后，控制部21判断是否要结束处理(步骤S712)。例如，在结束了辅助存储装置23中记录的导管图像51的处理的情况下，控制部21判断成结束处理。在判断成结束的情况下(步骤S712中为是)，控制部21使处理结束。

在判断成不结束处理的情况下(步骤S712中为否)，控制部21返回步骤S701。控制部21在步骤S701中获取下一个RT形式导管图像518，执行步骤S702及其以后的处理。通过步骤S701到步骤S712的循环，控制部21将基于辅助存储装置23中记录的大量的RT形式导管图像518得到的训练数据追加到医疗器具位置训练数据DB71。

此外，控制部21也可以在使用图10说明的画面上显示例如同意医疗器具学习完毕模型611的输出的“OK按钮”。在受理了对“OK按钮”的选择的情况下，控制部21判断成步骤S705中受理了为“否”这一主旨的指示，执行步骤S711。

根据本实施方式，标注者仅进行一次点击操作或一次轻点操作等一次操作就能够对导管图像51上描绘出的一条医疗器具进行标记。控制部21也可以通过所谓双击操作(double click)或双点操作(double tap)来受理对一条医疗器具进行标记的操作。与标记医疗器具的边界线的情况相比，能够将标记作业大幅省力化，因此能够减轻标注者的负担。根据本实施方式，能够以短时间创建大量的训练数据。

根据本实施方式，在导管图像51上描绘出多个医疗器具的情况下，标注者能够对各个医疗器具以一次点击操作等进行标记。

此外，控制部21也可以在使用图10说明的画面上显示例如“OK按钮”，在受理了对“OK按钮”的选择的情况下执行步骤S679。

根据本实施方式，通过使使用医疗器具学习完毕模型611获取到的位置信息重叠显示于导管图像51，能够减轻标注者的负担，同时快速创建追加的训练数据。

[变形例2-1]

医疗器具位置训练数据DB71也可以具有记录医疗器具的种类的字段。在这样设置的情况下，在使用图10说明的画面中，控制部21受理“房间隔穿刺针”、“导丝”、“球囊导管”等医疗器具的种类的输入。

通过使用这样创建的医疗器具位置训练数据DB71进行机器学习，生成除了医疗器具的位置以外也输出医疗器具的种类的医疗器具学习完毕模型611。

[实施方式3]

本实施方式涉及使用两个学习完毕模型、从导管图像51获取与医疗器具的位置相关的第2位置信息的导管系统10。对于与实施方式2共同的部分，省略说明。

图14是说明医疗器具的描绘的说明图。在图14中，对RT形式导管图像518及XY形式导管图像519上描绘的医疗器具强调示出。

通常，医疗器具与生物体组织相比将超声波更强反射。从传感器42放射的超声波难以到达比医疗器具更远的位置。因此医疗器具通过表示距图像获取用导管40近的那一侧的高回波区域和接续在其后方的低回波区域而描绘。将接续在医疗器具的后方的低回波区域记载为声影。在图14中，以纵线的阴影线示出声影的部分。

在RT形式导管图像518中，声影被描绘成水平方向的直线状。在XY形式导管图像519中，声影被描绘成扇形。在任意情况下均是，在与声影相比距图像获取用导管40近的部位描绘出高亮度区域。此外，也存在高亮度区域沿着扫描线方向有规则地重复、以所谓多重回波的样态描绘的情况。

基于RT形式导管图像518的扫描角度方向、即图14中的横向特征，能够判断描绘出医疗器具的扫描角度。

图15是说明角度学习完毕模型612的结构的说明图。角度学习完毕模型612是受理导管图像51并输出与描绘出医疗器具的扫描角度相关的扫描角度信息的模型。

在图15中，示意地示出受理RT形式导管图像518并输出示出在各个扫描角度、即在RT形式导管图像518的纵向上描绘出医疗器具的概率的扫描角度信息的角度学习完毕模型612。此外，医疗器具在多个扫描角度范围内被描绘出，因此扫描角度信息输出的概率的合计超过100％。角度学习完毕模型612也可以提取并输出描绘出医疗器具的概率高的角度。

角度学习完毕模型612通过机器学习而生成。通过从使用图9说明的医疗器具位置训练数据DB71的位置信息字段提取位置信息中的扫描角度，能够在生成角度学习完毕模型612的训练数据中使用。

使用图12的流程图，说明生成角度学习完毕模型612的处理的概要。在执行图12的程序之前，准备例如将卷积层、池化层及全连接层组合得到的CNN等未学习模型。通过图12的程序，调整所准备的模型的各参数，进行机器学习。

控制部21从医疗器具位置训练数据DB71获取1个回合的训练中使用的训练记录(步骤S571)。如前所述，医疗器具位置训练数据DB71中记录的训练记录是RT形式导管图像518与表示RT形式导管图像518上描绘出的医疗器具的位置的坐标的组合。

控制部21调整模型的参数，使得在模型的输入层中输入了RT形式导管图像518的情况下，从输出层输出与位置信息对应的扫描角度(步骤S572)。在训练记录的获取以及模型的参数调整中，程序也可以适当具有使控制部21执行对基于使用者的修正的受理、判断依据的提示、追加学习等的功能。

控制部21判断是否要结束处理(步骤S573)。例如，在结束了规定的回合数的学习的情况下，控制部21判断成要结束处理。控制部21也可以从医疗器具位置训练数据DB71获取测试数据并输入到机器学习中的模型，在得到了规定精度的输出的情况下判断成要结束处理。

在判断成不结束处理的情况下(步骤S573中为否)，控制部21返回步骤S571。在判断成要结束处理的情况下(步骤S573中为是)，控制部21将学习完毕的医疗器具位置训练数据DB71的参数记录到辅助存储装置23(步骤S574)。然后，控制部21使处理结束。通过以上的处理，生成了受理导管图像51并输出与扫描角度相关的信息的角度学习完毕模型612。

也可以在执行图12的程序之前，准备RNN等受理时序性输入的模型。RNN是例如LSTM。在步骤S572中控制部21调整模型的参数，使得在模型的输入层中输入了时序性拍摄到的多个RT形式导管图像518的情况下，从输出层时序性输出与最后的RT形式导管图像518建立了关联的扫描角度所相关的信息。

也可以取代使用角度学习完毕模型612，控制部21通过模式匹配(patternmatching)来判断描绘出医疗器具的扫描角度。

图16是说明位置信息模型619的说明图。位置信息模型619是受理RT形式导管图像518、并输出表示描绘出的医疗器具的位置的第2位置信息的模型。位置信息模型619包括医疗器具学习完毕模型611、角度学习完毕模型612及位置信息合成部615。

在医疗器具学习完毕模型611和角度学习完毕模型612这两方中输入相同的RT形式导管图像518。从医疗器具学习完毕模型611输出第1位置信息。如使用图6说明那样，第1位置信息是在RT形式导管图像518上的各部位上描绘出医疗器具的概率。在以下的说明中，将距图像获取用导管40的中心的距离以r示出，将在扫描角度为θ的位置描绘出医疗器具的概率以P1(r，θ)表示。

从角度学习完毕模型612输出扫描角度信息。扫描角度信息是在各个扫描角度下描绘出医疗器具的概率。在以下的说明中，将在扫描角度θ的方向上描绘出医疗器具的概率以Pt(θ)表示。

第1位置信息和扫描角度信息在位置信息合成部615中合成，生成第2位置信息。第2位置信息与第1位置信息同样地，是在RT形式导管图像518上的各部位处描绘出医疗器具的概率。位置信息合成部615的输入端起到第1位置信息获取部的功能以及扫描角度信息获取部的功能。

此外，由于医疗器具以某种程度的广度描绘于RT形式导管图像518，所以存在P1的总和及Pt的总和均大于1的情况。距图像获取用导管40的中心的距离为r、扫描角度为θ的位置处的第2位置信息P2(r，θ)通过例如(1-1)式计算出。

P2(r，θ)＝P1(r，θ)+kPt(θ) ‥‥‥ (1-1)

K是与第1位置信息和扫描角度信息之间的权重相关的系数。

第2位置信息P2(r，θ)也可以通过(1-2)式计算出。

P2(r，θ)＝P1(r，θ)×Pt(θ) ‥‥‥ (1-2)

第2位置信息P2(r，θ)也可以通过(1-3)式计算出。(1-3)式是计算第1位置信息与扫描角度信息的平均值的式子。

P2(r，θ)＝(P1(r，θ)+Pt(θ))/2 ‥‥‥ (1-3)

此外，(1-1)式至(1-3)式中的第2位置信息P2(r，θ)均不是概率而是相对地表示描绘出医疗器具的可能性大小的数值。通过将第1位置信息与扫描角度信息合成，与扫描角度方向相关的精度提高。此外，第2位置信息也可以是与P2(r，θ)的值为最大的位置相关的信息。第2位置信息也可以通过(1-1)式至(1-3)式中例示的式子以外的函数确定。

第2位置信息是使用图4说明的步骤S502中获取的医疗器具的位置信息的例示。医疗器具学习完毕模型611、角度学习完毕模型612及位置信息合成部615协作实现使用图4说明的步骤S502。位置信息合成部615的输出端起到基于第1位置信息和扫描角度信息输出第2位置信息的第2位置信息输出部的功能。

图17是说明实施方式3的程序的处理流程的流程图。使用图17说明的流程图示出使用图4说明的步骤S502的处理详情。

控制部21获取1帧的RT形式导管图像518(步骤S541)。控制部21将RT形式导管图像518输入到医疗器具学习完毕模型611，获取第1位置信息(步骤S542)。控制部21将RT形式导管图像518输入到角度学习完毕模型612，获取扫描角度信息(步骤S543)。

控制部21基于例如(1-1)式或(1-2)式，计算出第2位置信息(步骤S544)。然后，控制部21结束处理。以后，控制部21将步骤S544中计算出的第2位置信息使用为步骤S502中的位置信息。

根据本实施方式，能够提供高精度地计算出导管图像51上描绘出的医疗器具的位置信息的导管系统10。

[实施方式4]

本实施方式涉及使用图7说明的分类模型62的具体例。图18是说明分类模型62的结构的说明图。分类模型62包括第1分类学习完毕模型621及分类数据转换部629。

第1分类学习完毕模型621受理RT形式导管图像518，输出针对构成RT形式导管图像518的各部分而分类为“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”的第1分类数据521。第1分类学习完毕模型621进一步针对各个部分输出分类结果的可靠度，即分类结果正确的概率。第1分类学习完毕模型621的输出层起到输出第1分类数据521的第1分类数据输出部的功能。

图18的右上图以RT形式示意地示出第1分类数据521。粗的右下的阴影线示出心房壁及心室壁等的生物体组织区域。涂黑区域示出描绘出房间隔穿刺针等医疗器具的医疗器具区域。格子状的阴影线示出既不是医疗器具区域也不是生物体组织区域的非生物体组织区域。

第1分类数据521通过分类数据转换部629而转换成分类数据52。图18的右下图示意地示出RT形式分类数据528。非生物体组织区域被分类为第1内腔区域、第2内腔区域及非内腔区域这三个种类。与图5C同样地，细的左下的阴影线示出第1内腔区域。细的右下的阴影线示出第2内腔区域。粗的左下的阴影线示出非内腔区域。

说明分类数据转换部629所进行的处理的概要。非生物体组织区域中的与图像获取用导管40接触的区域，即在第1分类数据521中最右侧的区域被分类为第1内腔区域。非生物体组织区域中的由生物体组织区域包围的区域被分类为第2内腔区域。此外，第2内腔区域的分类期望在将RT形式导管图像518的上端和下端连接而设为圆筒形状的状态下进行判断。非生物体组织区域中的既不是第1内腔区域也不是第2内腔区域的区域被分类为非内腔区域。

图19是说明第1训练数据的说明图。第1训练数据在利用机器学习生成第1分类学习完毕模型621时使用。在以下的说明中，以利用使用图3说明的信息处理装置20来创建第1训练数据的情况为例进行说明。第1训练数据也可以使用与信息处理装置20不同的计算机等创建。

控制部21将RT形式导管图像518和XY形式导管图像519这两个种类的导管图像51显示于显示装置31。标注者观察所显示的导管图像51，标记“第1内腔区域与生物体组织区域的边界线”、“第2内腔区域与生物体组织区域的边界线”、“非内腔区域与生物体组织区域的边界线”以及“医疗器具区域的外形线”这四个种类的边界线数据。

此外，标注者可以对RT形式导管图像518和XY形式导管图像519的任一个导管图像51进行标记。控制部21在另一方的导管图像51的对应的位置显示与标记对应的边界线。通过以上，标注者能够确认RT形式导管图像518和XY形式导管图像519双方并进行适当的标记。

标注者输入以所标记的四个种类的边界线数据划分的各个区域是“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”中的哪一个。此外，也可以是，控制部21自动判断区域，根据需要由标注者进行修正指示。通过以上的处理，创建出明示了导管图像51的各区域被分类为“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”中的哪一个的第1分类数据521。

关于第1分类数据521，列举具体例进行说明。在被分类为“生物体组织区域”的像素中记录“生物体组织区域标签”，在被分类为“第1内腔区域”的像素中记录“第1内腔区域标签”，在被分类为“第2内腔区域”的像素中记录“第2内腔区域标签”，在被分类为“非内腔区域”的像素中记录“非内腔区域标签”，在被分类为“医疗器具区域”的像素中记录“医疗器具区域标签”，在被分类为“非生物体组织区域”的像素中记录“非生物体组织区域标签”。各标签例如以整数示出。第1分类数据521是将像素的位置与标签建立了关联的标签数据的例示。

控制部21将导管图像51和第1分类数据521建立关联而记录。通过重复以上处理而记录多组数据，从而创建出第1训练数据DB。在以下的说明中，以在第1训练数据DB中将RT形式导管图像518和RT形式的第1分类数据521建立关联而记录的第1训练数据DB为例进行说明。

此外，控制部21也可以基于XY形式导管图像519而生成XY形式分类数据529。控制部21也可以基于XY形式分类数据529而生成RT形式分类数据528。

使用图12的流程图，说明生成第1分类学习完毕模型621的处理的概要。在执行图12的程序之前，准备例如实现语义分割的U-Net构造等未学习模型。

U-Net构造包括多层的编码器层、连接在其后的多层的解码器层。各个编码器层包括池化层和卷积层。通过语义分割，对构成所输入的图像的各个像素赋予标签。此外，未学习模型也可以是Mask R-CNN模型、其他任意的实现图像的分割的模型。

控制部21从第1训练数据DB获取1个回合的训练中使用的训练记录(步骤S571)。控制部21调整模型的参数，使得在模型的输入层中输入了RT形式导管图像518的情况下，从输出层输出RT形式的第1分类数据521(步骤S572)。在训练记录的获取以及模型的参数调整中，程序也可以适当具有使控制部21执行对基于使用者的修正的受理、判断依据的提示、追加学习等的功能。

控制部21判断是否要结束处理(步骤S573)。例如，控制部21在结束了规定的回合数的学习的情况下，判断成要结束处理。控制部21也可以从第1训练数据DB获取测试数据并输入到机器学习中的模型，在得到规定精度的输出的情况下判断成要结束处理。

在判断成不结束处理的情况下(步骤S573中为否)，控制部21返回步骤S571。在判断成要结束处理的情况下(步骤S573中为是)，控制部21将学习完毕的第1分类学习完毕模型621的参数记录到辅助存储装置23(步骤S574)。然后，控制部21使处理结束。通过以上的处理，生成受理导管图像51并输出第1分类数据521的第1分类学习完毕模型621。

也可以在执行图12的程序之前，准备受理时序性输入的模型。受理时序性输入的模型具备保持例如与过去输入的RT形式导管图像518相关的信息的存储器部。受理时序性输入的模型也可以具备将针对过去输入的RT形式导管图像518的输出与下一个RT形式导管图像518一起输入的递归输入部。

通过使用时序性获取到的导管图像51，能够实现难以受到图像噪声等影响而高精度地输出第1分类数据521的第1分类学习完毕模型621。

第1分类学习完毕模型621也可以使用与信息处理装置20不同的计算机等创建。机器学习完成的第1分类学习完毕模型621可以经由网络复制到辅助存储装置23。能够在多个信息处理装置20中使用以一个硬件学习的第1分类学习完毕模型621。

图20是说明实施方式4的程序的处理流程的流程图。使用图20说明的流程图示出使用图7说明的分类模型62所进行的处理的详情。

控制部21获取1帧的RT形式导管图像518(步骤S551)。控制部21将RT形式导管图像518输入到第1分类学习完毕模型621，获取第1分类数据521(步骤S552)。控制部21从第1分类数据521提取出连续的1个非生物体组织区域(步骤S553)。此外，非生物体组织区域的提取以后的处理期望以将RT形式导管图像518的上端和下端连接而设为圆筒形状的状态进行。

控制部21判断步骤S552中提取出的非生物体组织区域是否为与图像获取用导管40接触的那一侧，即与RT形式导管图像518的左端接触的部分(步骤S554)。在判断成是与图像获取用导管40接触的那一侧的情况下(步骤S554中为是)，控制部21判断步骤S553中提取出的非生物体组织区域是否为第1内腔区域(步骤S555)。

在判断成不是与图像获取用导管40接触的部分的情况下(步骤S554中为否)，控制部21判断步骤S552中提取出的非生物体组织区域是否被生物体组织区域包围(步骤S556)。在判断成被生物体组织区域包围的情况下(步骤S556中为是)，控制部21判断成步骤S553中提取出的非生物体组织区域是第2内腔区域(步骤S557)。通过步骤S555及步骤S557，控制部21实现内腔区域提取部的功能。

在判断成不被生物体组织区域包围的情况下(步骤S556中为否)，控制部21判断成步骤S553中提取出的非生物体组织区域是非内腔区域(步骤S558)。

在步骤S555、步骤S557或步骤S558结束后，控制部21判断是否结束了全部非生物体组织区域的处理(步骤S559)。在判断成未结束的情况下(步骤S559中为否)，控制部21返回步骤S553。在判断成已结束的情况下(步骤S559中为是)，控制部21使处理结束。

控制部21通过步骤S553至步骤S559的处理，实现分类数据转换部629的功能。

此外，第1分类学习完毕模型621也可以是将XY形式导管图像519分类为生物体组织区域、非生物体组织区域和医疗器具区域的模型。第1分类学习完毕模型621也可以是将RT形式导管图像518分类为生物体组织区域和非生物体组织区域的模型。在这样设置的情况下，标注者也可以不进行与医疗器具区域相关的标记。

根据本实施方式，能够生成将导管图像51分类为生物体组织区域、非生物体组织区域和医疗器具区域的第1分类学习完毕模型621。根据本实施方式，能够提供使用所生成的第1分类学习完毕模型621生成分类数据52的导管系统10。

[变形例4-1]

标注者也可以输入以标记出的四个种类的边界线数据划分的各个区域是“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”中的哪一个。通过使用这样创建出的第1训练数据DB进行机器学习，能够生成将导管图像51分类为“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”的第1分类学习完毕模型621。

通过以上，能够实现不使用分类数据转换部629而将导管图像51分类为“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”的分类模型62。

[实施方式5]

本实施方式涉及使用将从两个分类学习完毕模型分别输出的分类数据52合成的合成分类模型626的导管系统10。对于与实施方式4共同的部分，省略说明。

图21是说明实施方式5的分类模型62的结构的说明图。分类模型62包括合成分类模型626及分类数据转换部629。合成分类模型626包括第1分类学习完毕模型621、第2分类学习完毕模型622及分类数据合成部628。第1分类学习完毕模型621由于与实施方式4相同，所以省略说明。

第2分类学习完毕模型622是受理RT形式导管图像518并输出对构成RT形式导管图像518的各部分分类为“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”的第2分类数据522的模型。第2分类学习完毕模型622进一步针对各个部分输出分类结果的可靠度，即分类结果正确的概率。关于第2分类学习完毕模型622的详情将后述。

分类数据合成部628将第1分类数据521和第2分类数据522合成，生成合成分类数据526。即，分类数据合成部628的输入端实现第1分类数据获取部及第2分类数据获取部的功能。分类数据合成部628的输出端实现合成分类数据输出部的功能。

关于合成分类数据526的详情将后述。合成分类数据526通过分类数据转换部629转换成分类数据52。分类数据转换部629所进行的处理由于与实施方式4相同，所以省略说明。

图22是说明第2训练数据的说明图。第2训练数据在利用机器学习生成第2分类学习完毕模型622时使用。在以下的说明中，以利用使用图3说明的信息处理装置20来创建第2训练数据的情况为例进行说明。第2训练数据也可以使用与信息处理装置20不同的计算机等创建。

控制部21将RT形式导管图像518和XY形式导管图像519这两个种类的导管图像51显示于显示装置31。标注者观察所显示的导管图像51，标记“第1内腔区域与生物体组织区域的边界线”以及“医疗器具区域的外形线”这两个种类的边界线数据。

此外，标注者可以对RT形式导管图像518和XY形式导管图像519的任一个导管图像51进行标记。控制部21在另一方的导管图像51的对应的位置，显示与标记对应的边界线。通过以上，标注者能够确认RT形式导管图像518和XY形式导管图像519双方并进行恰当的标记。

标注者输入以所标记的两个种类的边界线数据划分的各个区域是“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”中的哪一个。此外，也可以是，控制部21自动判断区域，根据需要由标注者进行修正指示。通过以上的处理，创建出明示了导管图像51的各部分被分类为“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”中的哪一个区域的第2分类数据522。

关于第2分类数据522，列举具体例进行说明。在被分类为“生物体组织区域”的像素中记录“生物体组织区域标签”，在被分类为“非生物体组织区域”的像素中记录“非生物体组织区域标签”，在被分类为“医疗器具区域”的像素中记录“医疗器具区域标签”。各标签例如以整数示出。第2分类数据522是将像素的位置与标签建立了关联的标签数据的例示。

控制部21将导管图像51和第2分类数据522建立关联而记录。重复以上的处理而记录多组数据，从而创建出第2训练数据DB。通过使用第2训练数据DB进行与实施方式4中说明的机器学习相同的处理，能够生成第2分类学习完毕模型622。

此外，第2分类学习完毕模型622也可以是将XY形式导管图像519分类为生物体组织区域、非生物体组织区域和医疗器具区域的模型。第2分类学习完毕模型622也可以是将RT形式导管图像518分类为生物体组织区域和非生物体组织区域的模型。在这样设置的情况下，标注者可以不进行与医疗器具区域相关的标记。

第2分类数据522的创建与第1分类数据521的创建相比能够在短时间内进行。创建第2分类数据522的标注者的培训与创建第1分类数据521的标注者的培训相比能够在短时间内进行。通过以上，能够在第2训练数据DB中录入比第1训练DB大量的训练数据。

由于能够使用大量的训练数据，所以可生成能够以比第1分类学习完毕模型621高的精度识别第1内腔区域与生物体组织区域的边界以及医疗器具区域的外形的第2分类学习完毕模型622。然而，第2分类学习完毕模型622由于不学习第1内腔区域以外的非生物体组织区域，所以不能够进行相对于生物体组织区域的识别。

说明分类数据合成部628所进行的处理。对第1分类学习完毕模型621和第2分类学习完毕模型622双方输入相同的RT形式导管图像518。从医疗器具学习完毕模型611输出第1分类数据521。从第2分类学习完毕模型622输出第2分类数据522。

在以下的说明中，以第1分类学习完毕模型621、第2分类学习完毕模型622均对于RT形式导管图像518的各个像素输出所分类出的标签和该标签的可靠度的情况为例进行说明。此外，第1分类学习完毕模型621及第2分类学习完毕模型622也可以输出例如按RT形式导管图像518的纵3像素、横3像素的合计9像素等范围分类出的标签和概率。

对于距图像获取用导管40的中心的距离为r、扫描角度为θ的像素，第1分类学习完毕模型621将为生物体组织区域的可靠度以Q1t(r，θ)示出。此外，对于第1分类学习完毕模型621分类为生物体组织区域以外的区域的像素，为Q1t(r，θ)＝0。

同样地，对于距图像获取用导管40的中心的距离为r、扫描角度为θ的像素，第2分类学习完毕模型622将为生物体组织区域的可靠度以Q2t(r，θ)表示。此外，对于第2分类学习完毕模型622分类为生物体组织区域以外的区域的像素，为Q2t(r，θ)＝0。

分类数据合成部628基于例如(5-1)式计算出合成值Qt(r，θ)。此外，Qt(r，θ)不是为生物体组织区域这一分类正确的概率，而是相对地表示为生物体组织区域的可靠度的大小的数值。

Qt(r，θ)＝Q1t(r，θ)×Q2t(r，θ)‥‥‥(5-1)

分类数据合成部628将Qt(r，θ)为0.5以上的像素分类为生物体组织区域。

同样地，第1分类学习完毕模型621将为医疗器具区域的可靠度以Q1c(r，θ)表示，第2分类学习完毕模型622将为医疗器具区域的可靠度以Q2c(r，θ)表示。

分类数据合成部628基于例如(5-2)式计算出合成值Qc(r，θ)。此外，Qc(r，θ)也不是为医疗器具区域这一分类正确的概率，而是相对地表示为医疗器具区域的可靠性的大小的数值。

Qc(r，θ)＝Q1c(r，θ)×Q2c(r，θ)‥‥‥(5-2)

分类数据合成部628将Qc(r，θ)为0.5以上的像素分类为医疗器具区域。分类数据合成部628将既没被分类为医疗器具区域也没被分类为生物体组织区域的像素分类为非生物体组织区域。通过以上，分类数据合成部628生成将第1分类数据521和第2分类数据522合成得到的合成分类数据526。合成分类数据526通过分类数据转换部629转换成RT形式分类数据528。

此外，(5-1)式及(5-2)式为例示。分类数据合成部628进行分类时的阈值也为例示。分类数据合成部628也可以是受理第1分类数据521和第2分类数据522并输出合成分类数据526的学习完毕模型。

第1分类数据521也可以在通过实施方式4中说明的分类数据转换部629分类为“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”后，输入到分类数据合成部628。

第1分类学习完毕模型621也可以是将变形例4-1中说明的导管图像51分类为“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”的模型。

在将非生物体组织区域分类为“第1内腔区域”、“第2内腔区域”及“非内腔区域”完毕的数据被输入到分类数据合成部628的情况下，分类数据合成部628能够输出分类为“生物体组织区域”、“第1内腔区域”、“第2内腔区域”、“非内腔区域”及“医疗器具区域”完毕的合成分类数据526。在这样设置的情况下，无需将合成分类数据526输入到分类数据转换部629并转换为RT形式分类数据528。

图23是说明实施方式5的程序的处理流程的流程图。使用图23说明的流程图示出使用图7说明的分类模型62所进行的处理的详情。

控制部21获取1帧的RT形式导管图像518(步骤S581)。通过步骤S581，控制部21实现图像获取部的功能。控制部21将RT形式导管图像518输入到第1分类学习完毕模型621，获取第1分类数据521(步骤S582)。控制部21将RT形式导管图像518输入到第2分类学习完毕模型622，获取第2分类数据522(步骤S583)。

控制部21起动分类合成的子程序(步骤S584)。分类合成的子程序是将第1分类数据521和第2分类数据522合成并生成合成分类数据526的子程序。分类合成的子程序的处理流程将后述。

控制部21从合成分类数据526提取出连续的1个非生物体组织区域(步骤S585)。此外，非生物体组织区域的提取以后的处理期望以将RT形式导管图像518的上端和下端连接而设为圆筒形状的状态进行。

控制部21判断步骤S585中提取出的非生物体组织区域是否为与图像获取用导管40接触的那一侧(步骤S554)。以后，至步骤S559为止的处理与使用图20说明的实施方式4的程序的处理流程相同，因此省略说明。

控制部21判断是否结束了全部非生物体组织区域的处理(步骤S559)。在判断成未结束的情况下(步骤S559中为否)，控制部21返回步骤S585。在判断成结束了的情况下(步骤S559中为是)，控制部21使处理结束。

图24是说明分类合成的子程序的处理流程的流程图。分类合成的子程序是将第1分类数据521和第2分类数据522合成并生成合成分类数据526的子程序。

控制部21选择进行处理的像素(步骤S601)。控制部21从第1分类数据521获取处理中的像素是生物体组织区域的可靠度Q1t(r，θ)(步骤S602)。控制部21从第2分类数据522获取处理中的像素是生物体组织区域的可靠度Q2t(r，θ)(步骤S603)。

控制部21基于例如(5-1)式计算出合成值Qt(r，θ)(步骤S604)。控制部21判断合成值Qt(r，θ)是否为规定阈值以上(步骤S605)。规定阈值为例如0.5。

在判断成为规定阈值以上的情况下(步骤S605中为是)，控制部21将处理中的像素分类为“生物体组织区域”(步骤S606)。在判断成小于规定阈值的情况下(步骤S605中为否)，控制部21从第1分类数据521获取处理中的像素为医疗器具区域的可靠度Q1c(r，θ)(步骤S611)。控制部21从第2分类数据522获取处理中的像素为医疗器具区域的可靠度Q2c(r，θ)(步骤S612)。

控制部21基于例如(5-2)式计算出合成值Qc(r，θ)(步骤S613)。控制部21判断合成值Qc(r，θ)是否为规定阈值以上(步骤S614)。规定阈值为例如0.5。

在判断成为规定阈值以上的情况下(步骤S614中为是)，控制部21将处理中的像素分类为“医疗器具区域”(步骤S615)。在判断成小于规定阈值的情况下(步骤S614中为否)，控制部21将处理中的像素分类为“非生物体组织区域”(步骤S616)。

在步骤S606、步骤S615或步骤S616结束后，控制部21判断是否结束了全部像素的处理(步骤S607)。在判断成未结束的情况下(步骤S607中为否)，控制部21返回步骤S601。在判断成结束了的情况下(步骤S607中为是)，控制部21使处理结束。控制部21通过分类合成的子程序，实现分类数据合成部628的功能。

根据本实施方式，能够提供使用将从两个分类学习完毕模型分别输出的分类数据52合成的合成分类数据526来生成RT形式分类数据528的导管系统10。通过将比较容易收集大量训练数据并提高分类精度的第2分类学习完毕模型622和训练数据的收集费工夫的第1分类学习完毕模型621组合使用，能够提供学习完毕模型的生成成本与分类精度的平衡好的导管系统10。

[实施方式6]

本实施方式涉及将医疗器具的位置信息用于提示、对构成导管图像51的各部分进行分类的导管系统10。对于与实施方式1共同的部分，省略说明。

图25是说明有提示学习完毕模型631的结构的说明图。取代使用图7说明的分类模型62，在使用图4说明的步骤S604中使用的有提示学习完毕模型631。

有提示学习完毕模型631是受理RT形式导管图像518和RT形式导管图像518中描绘出的医疗器具的位置信息、并输出对构成RT形式导管图像518的各部分分类为“生物体组织区域”、“非生物体组织区域”及“医疗器具区域”的有提示分类数据561的模型。第1分类学习完毕模型621进一步针对各个部分输出分类结果的可靠度、即分类结果正确的概率。

图26是说明有提示模型训练数据DB72的记录布局的说明图。有提示训练数据DB72是将导管图像51、导管图像51中描绘出的医疗器具的位置信息、对构成导管图像51的各部分按描绘出的每个被摄体进行分类的分类数据52建立关联而记录的数据库。

分类数据52是例如基于使用图19说明的顺序由标注者创建的数据。通过使用有提示训练数据DB72进行与实施方式4中说明的机器学习相同的处理，能够生成有提示学习完毕模型631。

图27是说明实施方式6的程序的处理流程的流程图。使用图27说明的流程图示出使用图4说明的步骤S504中进行的处理的详情。

控制部21获取1帧的RT形式导管图像518(步骤S621)。控制部21将RT形式导管图像518输入到例如使用图6说明的医疗器具学习完毕模型611，获取医疗器具的位置信息(步骤S622)。控制部21将RT形式导管图像518和位置信息输入到有提示学习完毕模型631，获取有提示分类数据561(步骤S623)。

控制部21从有提示分类数据561提取出连续的1个非生物体组织区域(步骤S624)。此外，非生物体组织区域的提取以后的处理期望以将RT形式导管图像518的上端和下端连接而设为圆筒形状的状态进行。

控制部21判断步骤S624中提取出的非生物体组织区域是否为与图像获取用导管40接触的那一侧(步骤S554)。以后，至步骤S559为止的处理与使用图20说明的实施方式4的程序的处理流程相同，因此省略说明。

控制部21判断是否结束了全部非生物体组织区域的处理(步骤S559)。在判断成未结束的情况下(步骤S559中为否)，控制部21返回步骤S624。在判断成结束了的情况下(步骤S559中为是)，控制部21使处理结束。

根据本实施方式，通过将医疗器具的位置信息作为提示而输入，能够提供高精度地生成分类数据52的导管系统10。

[变形例6-1]

图28是说明变形例的程序的处理流程的流程图。使用图28说明的处理取代使用图27说明的处理而执行。

控制部21获取1帧的RT形式导管图像518(步骤S621)。控制部21获取医疗器具的位置信息(步骤S622)。控制部21判断医疗器具的位置信息的获取是否成功(步骤S631)。例如，在从医疗器具学习完毕模型611输出的可靠度高于阈值的情况下，控制部21判断成位置信息的获取成功。

此外，步骤S631的“成功”表示在RT形式导管图像518中描绘出医疗器具，控制部21以比阈值高的可靠度获取到了该医疗器具的位置信息。在不“成功”的情况中，例如，包括在RT形式导管图像518的拍摄范围不存在医疗器具的情况、以及医疗器具与生物体组织区域的表面密接而未被清楚描绘的情况。

在判断成位置信息的获取成功的情况下(步骤S631中为是)，控制部21将RT形式导管图像518和位置信息输入到有提示学习完毕模型631，获取有提示分类数据561(步骤S623)。在判断成位置信息的获取不成功的情况下(步骤S631中为否)，控制部21将RT形式导管图像518输入到无提示学习完毕模型632并获取无提示分类数据(步骤S632)。

无提示学习完毕模型632是例如使用图7、图18或图21说明的分类模型62。同样地无提示分类数据是从分类模型62输出的分类数据52。

在步骤S623或步骤S632结束后，控制部21从有提示分类数据561或分类模型62提取出连续的1个非生物体组织区域(步骤S624)。以后的处理与使用图27说明的处理流程相同，因此省略说明。

有提示分类数据561是第1数据的例示。有提示学习完毕模型631是在输入了导管图像51和医疗器具的位置信息的情况下输出第1数据的第1学习完毕模型的例示。有提示学习完毕模型631的输出层是输出第1数据的第1数据输出部的例示。

无提示分类数据是第2数据的例示。无提示学习完毕模型632是在输入了导管图像51的情况下输出第2数据的第2学习完毕模型及第2模型的例示。无提示学习完毕模型632的输出层是第2数据输出部的例示。

根据本变形例，在位置信息的获取不成功的情况下，使用无需输入位置信息的分类模型62。因此，能够提供防止因将错误提示输入到有提示学习完毕模型631导致的错误动作的导管系统10。

[实施方式7]

本实施方式涉及将有提示学习完毕模型631的输出和无提示学习完毕模型632的输出合成而生成合成数据536的导管系统10。对于与实施方式6共同的部分省略说明。此外，合成数据536是取代使用图4说明的步骤S504的输出即分类数据52而使用的数据。

图29是说明实施方式7的分类模型62的结构的说明图。分类模型62包括位置分类解析部66及第3合成部543。位置分类解析部66包括位置信息获取部65、有提示学习完毕模型631、无提示学习完毕模型632、第1合成部541及第2合成部542。

位置信息获取部65从例如使用图6说明的医疗器具学习完毕模型611或使用图16说明的位置信息模型619获取表示描绘出医疗器具的位置的位置信息。有提示学习完毕模型631由于与实施方式6相同，所以省略说明。无提示学习完毕模型632是例如使用图7、图18或图21说明的分类模型62。

说明第1合成部541的动作。第1合成部541将从有提示学习完毕模型631输出的有提示分类数据561和从无提示学习完毕模型632输出的无提示分类数据合成，创建分类信息。第1合成部541的输入端起到获取有提示分类数据561的第1数据获取部、以及获取无提示分类数据的第2数据获取部的功能。第1合成部541的输出端起到输出将有提示分类数据561和无提示分类数据合成得到的第1合成数据的第1合成数据输出部的功能。

在输入了非生物体组织区域未被分类为第1内腔区域、第2内腔区域及非内腔区域的数据的情况下，第1合成部541起到分类数据转换部629的功能并进行非生物体组织区域的分类。

例如第1合成部541在位置信息获取部65成功获取到位置信息的情况下，将有提示学习完毕模型631的权重设为比无提示学习完毕模型632的权重大，将两者合成。进行图像的加权合成的方法是公知的，因此省略说明。

第1合成部541也可以基于位置信息获取部65获取到的位置信息的可靠度，确定有提示分类数据561与无提示分类数据的权重来进行合成。

第1合成部541也可以基于有提示分类数据561及无提示分类数据的各个区域的可靠度将有提示分类数据561和无提示分类数据合成。基于分类数据52的可靠度进行的合成能够通过例如与实施方式5中说明的分类数据合成部628相同的处理来执行。

此外，第1合成部541将从有提示学习完毕模型631及无提示学习完毕模型632输出的医疗器具区域与相邻的非生物体组织区域同样地处理。例如，在第1内腔区域中存在医疗器具区域的情况下，第1合成部541将医疗器具区域与第1内腔区域同样地处理。同样地在第2内腔区域中存在医疗器具区域的情况下，第1合成部541将医疗器具区域与第2内腔区域同样地处理。

也可以在有提示学习完毕模型631和无提示学习完毕模型632中的某一方，使用不输出医疗器具区域的学习完毕模型。因此，如图29的中央部所示，从第1合成部541输出的分类信息不包含与医疗器具区域相关的信息。

第1合成部541也可以起到基于位置信息获取部65是否成功获取到位置信息，切换有提示分类数据561和无提示分类数据的开关的功能。第1合成部541也可以进一步起到分类数据转换部629的功能。

具体地说，在位置信息获取部65成功获取到位置信息的情况下，第1合成部541基于从有提示学习完毕模型631输出的有提示分类数据561而输出分类信息。在位置信息获取部65没有成功获取到位置信息的情况下，第1合成部541基于从无提示学习完毕模型632输出的无提示分类数据而输出分类信息。

说明第2合成部542的动作。在位置信息获取部65成功获取到位置信息的情况下，第2合成部542输出从有提示学习完毕模型631输出的医疗器具区域。在位置信息获取部65没有成功获取到位置信息的情况下，第2合成部542输出无提示分类数据中所含的医疗器具区域。

此外，对于无提示学习完毕模型632期望使用利用图21说明的第2分类学习完毕模型622。如前所述，由于在第2分类学习完毕模型622的学习中能够使用大量的训练数据，所以能够高精度地提取出医疗器具区域。

在位置信息获取部65没有成功获取到位置信息的情况下，第2合成部542也可以将有提示分类数据561中所含的医疗器具区域和无提示分类数据中所含的医疗器具区域合成并输出。有提示分类数据561与无提示分类数据的合成例如能够通过与实施方式5中说明的分类数据合成部628相同的处理而执行。

第2合成部542的输出端起到输出将有提示分类数据561的医疗器具区域和无提示分类数据的医疗器具区域合成得到的第2合成数据的第2合成数据输出部的功能。

说明第3合成部543的动作。第3合成部543输出在从第1合成部541输出的分类信息上重叠了从第2合成部542输出的医疗器具区域得到的合成数据536。在图29中以涂黑区域示出重叠的医疗器具区域。

也可以取代第1合成部541，由第3合成部543起到将非生物体组织区域分类为第1内腔区域、第2内腔区域及非内腔区域的分类数据转换部629的功能。

也可以是，构成位置分类解析部66的多个学习完毕模型中的一部分或全部是受理时序性获取到的多个导管图像51并输出针对最新的导管图像51的信息的模型。

根据本实施方式，能够提供高精度地获取医疗器具的位置信息并与分类信息组合输出的导管系统10。控制部21也可以在基于沿着图像获取用导管40的长度方向连续拍摄到的多个导管图像51分别生成合成数据536之后，通过层叠该合成数据536来构筑并显示生物体组织及医疗器具的三维数据。

[变形例7-1]

图30是说明变形例的分类模型62的结构的说明图。在位置分类解析部66追加有X％提示学习完毕模型639。X％提示学习完毕模型639是在使用有提示训练数据DB72进行学习时，在以训练数据中的X百分比输入位置信息、以(100-X)百分比不输入位置信息的条件下进行了学习的模型。在以下的说明中，将从X％提示学习完毕模型639输出的数据记载为X％提示分类数据。

X％提示学习完毕模型639在X为“100”的情况下与有提示学习完毕模型631相同，在X为“0”的情况下与无提示学习完毕模型632相同。X例如为“50”。

第1合成部541输出将从有提示学习完毕模型631、无提示学习完毕模型632和X％提示学习完毕模型639各自获取到的分类数据52基于规定权重合成得到的数据。权重根据位置信息获取部65是否成功获取到位置信息而变化。

例如，在位置信息获取部65成功获取到位置信息的情况下，将有提示学习完毕模型631的输出和X％提示学习完毕模型639的输出合成。在位置信息获取部65获取位置信息失败的情况下，将无提示学习完毕模型632的输出和X％提示学习完毕模型639的输出合成。合成时的权重可以基于位置信息获取部65获取到的位置信息的可靠度而变化。

也可以在位置分类解析部66中包含多个X％提示学习完毕模型639。例如，能够将X为“20”的X％提示学习完毕模型639和X为“50”的X％提示学习完毕模型639组合而使用。

在临床现场中，存在无法从导管图像51提取出医疗器具区域的情况。例如，为医疗器具未插入于第1腔的情况、以及医疗器具与生物体组织的表面密接的情况等。根据本变形例，能够实现在这样的临床现场下的符合实际状况的分类模型62。因此，能够提供可高精度地进行位置信息的检测及分类的导管系统10。

[实施方式8]

本实施方式涉及导管图像51的三维显示。对于与实施方式7共同的部分，省略说明。图31是说明实施方式8的处理的概要的说明图。

在本实施方式中，使用沿着图像获取用导管40的长度方向连续拍摄到的多个RT形式导管图像518。控制部21将多个RT形式导管图像518分别输入到实施方式7中说明的位置分类解析部66。从位置分类解析部66输出与各个RT形式导管图像518对应的分类信息和医疗器具区域。控制部21将分类信息和医疗器具信息输入到第3合成部543并对合成数据536进行合成。

控制部21基于多个合成数据536创建表示生物体组织的三维构造的生物体三维数据551。生物体三维数据551是例如按三维空间中的每个体积格子记录了表示生物体组织标签、第1内腔区域标签、第2内腔区域标签、非内腔区域标签等的值的体素数据。生物体三维数据551可以是由表示各个区域的边界的多个多边形构成的多边形数据。由于基于多张RT形式的数据创建三维数据55的方法是公知的，所以省略说明。

控制部21从位置分类解析部66中所含的位置信息获取部65获取表示在各个RT形式导管图像518中描绘出的医疗器具的位置的位置信息。控制部21基于多个位置信息，创建表示医疗器具的三维形状的医疗器具三维数据552。关于医疗器具三维数据552的详情将后述。

控制部21将生物体三维数据551和医疗器具三维数据552合成而生成三维数据55。三维数据55使用于利用图4说明的步骤S513的“3D显示”。此外，在合成三维数据55时，控制部21在将合成数据536中所含的医疗器具区域置换为空白区域或非生物体区域后，合成医疗器具三维数据552。控制部21也可以使用从位置分类解析部66中所含的第1合成部541输出的分类信息来生成生物体三维数据551。

图32A至图32D是说明位置信息的修正过程的概要的说明图。图32A至图32D是以时序顺序表示一边将图像获取用导管40向图右方牵引一边拍摄导管图像51的状态的示意图。粗圆筒示意地示出第1腔的内表面。

在图32A中，三张导管图像51拍摄完毕。将从各个导管图像51提取出的医疗器具的位置信息以白圆示出。图32B示出拍摄了第四张导管图像51的状态。将从第四张导管图像51提取出的医疗器具的位置信息以黑圆示出。

在与先拍摄到的三张导管图像51明显不同的场所检测出医疗器具。一般，IVR中使用的医疗器具具有某种程度的刚性而难以认为会急剧弯曲。因此，以黑圆示出的位置信息是错误检测的可能性高。

在图32C中，进一步拍摄两张导管图像51完毕。将从各个导管图像51提取出的医疗器具的位置信息以白圆示出。五个白圆沿着图像获取用导管40的长度方向大致排成一列，但黑圆大幅离开，明显为错误检测。

在图32D中，将基于五个白圆进行补充的位置信息以×标记示出。通过取代以黑圆示出的位置信息而使用以×标记示出的位置信息，能够将第1腔内的医疗器具的形状正确地显示为三维图像。

此外，在位置信息获取部65没有成功获取到位置信息的情况下，控制部21也可以将从位置分类解析部66中所含的第2合成部542获取到的医疗器具区域的代表点使用为位置信息。例如能够将医疗器具区域的重心使用为代表点。

图33是说明实施方式8的程序的处理流程的流程图。使用图33说明的程序是在使用图4说明的步骤S505中判断成使用者指定了三维显示的情况(步骤S505中为3D)下执行的程序。

图33的程序能够在沿着图像获取用导管40的长度方向拍摄多个导管图像51的中途执行。以在执行图33的程序之前，对于拍摄完毕的导管图像51分别已生成分类信息及位置信息且存储于辅助存储装置23或外部的大容量存储装置的情况为例进行说明。

控制部21获取与一张导管图像51对应的位置信息，并记录到主存储装置22或辅助存储装置23(步骤S641)。此外，控制部21从一系列的导管图像51中的先存储的导管图像51起按顺序进行处理。在步骤S641中，控制部21也可以从一系列的导管图像51中的最先的数张导管图像51获取位置信息并记录。

控制部21获取与下一张导管图像51对应的位置信息(步骤S642)。在以下的说明中，将处理中的位置信息记载为第1位置信息。控制部21从步骤S641及过去的步骤S641中获取到的位置信息中，提取出与第1位置信息最接近的位置信息(步骤S643)。在以下的说明中，将步骤S643中提取出的位置信息记载为第2位置信息。

此外，在步骤S642中，在将多个导管图像51投影到与图像获取用导管40正交的一个平面的状态下，对位置信息间的距离进行比较。即，在提取第2位置信息时，不考虑图像获取用导管40的长度方向的距离。

控制部21判断第1位置信息与第2位置信息之间的距离是否为规定阈值以下(步骤S644)。阈值是例如3毫米。在判断成为阈值以下的情况下(步骤S644中为是)，控制部21将第2位置信息记录到主存储装置22或辅助存储装置23(步骤S645)。

在判断成超过阈值的情况下(步骤S644中为否)或步骤S645结束后，控制部21判断是否结束了所记录的位置信息的处理(步骤S646)。在判断成未结束的情况下(步骤S646中为否)，控制部21返回步骤S642。

在图32中以黑圆示出的位置信息是步骤S644中判断成超过阈值的位置信息的例示。控制部21在步骤S645中不记录而无视这样的位置信息。控制部21通过步骤S644中判断成否的情况下的处理，实现将不满足规定条件的位置信息排除在外的排除部的功能。此外控制部21也可以对在步骤S644中判断成超过阈值的位置信息附加表示“错误”的旗标并记录。

在判断成结束了的情况下(步骤S646中为是)，控制部21判断是否能够基于步骤S641及步骤S645中记录的位置信息进行位置信息的补充(步骤S647)。在判断成能够的情况下(步骤S647中为是)，控制部21补充位置信息(步骤S648)。

在步骤S648中控制部21补充例如将步骤S644中判断成超过阈值的位置信息替代掉的位置信息。控制部21也可以对导管图像51彼此之间的位置信息进行补充。补充能够使用例如线形插补、样条插补、拉格朗日插补或牛顿插补等任意手法进行。控制部21实现通过步骤S648对位置信息加入补充信息的补充部的功能。

在判断成不能够进行位置信息的补充的情况下(步骤S647中为否)或步骤S648结束后，控制部21起动三维显示的子程序(步骤S649)。三维显示的子程序是基于一系列的导管图像51进行三维显示的子程序。三维显示的子程序的处理流程将后述。

控制部21判断是否要结束处理(步骤S650)。例如，在通过MDU33开始了新的拉回操作、即三维图像的生成中使用的导管图像51的拍摄的情况下，控制部21判断成要结束处理。

在判断成不结束处理的情况下(步骤S650中为否)，控制部21返回步骤S642。在判断成要结束处理的情况下(步骤S650中为是)，控制部21使处理结束。

此外，控制部21与图33的程序的执行并行地，基于新拍摄到的导管图像51，生成分类信息及位置信息并记录。即，在步骤S646中判断成结束了的情况下，执行步骤S647及其以后的步骤，但在执行步骤S647到步骤S650的期间，存在生成新的位置信息及分类信息的可能性。

图34是说明三维显示的子程序的处理流程的流程图。三维显示的子程序是基于一系列的导管图像51进行三维显示的子程序。通过三维显示的子程序，控制部21实现三维输出部的功能。

控制部21获取与一系列的导管图像51对应的合成数据536(步骤S661)。控制部21基于一系列的合成数据536创建表示生物体组织的三维构造的生物体三维数据551(步骤S662)。

此外，如前所述在合成三维数据55时，控制部21在将合成数据536中所含的医疗器具区域置换为空白区域或非生物体区域后，合成医疗器具三维数据552。控制部21也可以使用从位置分类解析部66中所含的第1合成部541输出的分类信息而生成生物体三维数据551。控制部21也可以基于使用图18说明的第1分类数据521而生成生物体三维数据551。即控制部21能够直接基于多个第1分类数据521生成生物体三维数据551。

控制部21也可以间接基于多个第1分类数据521生成生物体三维数据551。“间接基于”表示，例如如使用图31说明那样，基于使用多个第1分类数据521生成的多个合成数据536而生成生物体三维数据551。控制部21也可以基于与使用多个第1分类数据521生成的合成数据536不同的多个数据而生成生物体三维数据551。

控制部21对通过使用图33说明的程序的步骤S641及步骤S645中记录的一系列的位置信息以及步骤S648中补充的补充信息而确定的曲线赋予粗细信息(步骤S663)。粗细信息期望是在IVR的手术中通常使用的医疗器具的粗细。控制部21也可以受理与使用中的医疗器具相关的信息，并赋予与该医疗器具对应的粗细信息。通过赋予粗细信息，再现了医疗器具的三维形状。

控制部21在步骤S662中生成的生物体三维数据551中，合成步骤S662中生成的医疗器具的三维形状(步骤S664)。控制部21将合成后的三维数据55显示于显示装置31(步骤S665)。

控制部21从使用者受理对三维显示的图像的旋转、截面的变更、放大、缩小等的指示，从而变更显示。对三维显示的图像的指示的受理及显示的变更从以往就进行，因此省略说明。控制部21使处理结束。

根据本实施方式，能够提供除去基于位置信息的错误检测的影响并显示恰当形状的医疗器具的导管系统10。使用者能够容易掌握例如房间隔穿刺针与卵圆窝的位置关系，从而能够进行IVR的手术。

此外，也可以取代进行步骤S643到步骤S645的处理，通过对多个位置信息进行聚类处理，除去从其他位置信息大幅离开的异常位置信息。

[变形例8-1]

本变形例涉及在未错误检测医疗器具的情况下，基于从导管图像51检测出的医疗器具区域进行三维显示的导管系统10。对于与实施方式8共同的部分，省略说明。

控制部21在使用图34说明的子程序的步骤S663中，例如基于从有提示学习完毕模型631或无提示学习完毕模型632输出的医疗器具区域来确定医疗器具的粗细。但是，对于被判断成位置信息错误的导管图像51，基于前后的导管图像51的医疗器具区域来补充粗细信息。

根据本变形例，能够提供将例如使针从引鞘突出的状态下的医疗器具等、中途粗细发生变化的医疗器具恰当地显示在三维图像中的导管系统10。

[实施方式9]

本实施方式涉及适用于对使用径向扫描型的图像获取用导管40获取到的RT形式导管图像518进行处理的学习完毕模型的填充(padding)处理。对于与实施方式1共同的部分，省略说明。

填充处理是在进行卷积处理前在输入数据的周围附加数据的处理。在紧接受理图像输入的输入层之后的卷积处理中，输入数据是被输入的图像。在紧接输入层之后以外的卷积处理中，输入数据是在前一阶段提取到的特征图。在处理图像数据的学习完毕模型中，通常进行对输入到卷积层的输入数据的周围赋予“0”的数据的、所谓零填充处理。

图35是说明实施方式9的填充处理的说明图。图35的右端是输入到卷积层的输入数据的示意图。卷积层是例如医疗器具学习完毕模型611中所含的第1卷积层以及角度学习完毕模型612中所含的第2卷积层的例示。卷积层也可以是使用径向扫描型的图像获取用导管40拍摄到的导管图像51的处理中使用的任意的学习完毕模型所含的卷积层。

输入数据为RT形式，横向与距传感器42的距离对应，纵向与扫描角度对应。在图35的中央示出将输入数据的右上端部及左下端部放大的示意图。各个框与像素对应，框内的数值与像素值对应。

图35的右端是进行了本实施方式的填充处理后的数据的示意图。以斜体示出的数值表示通过填充处理附加的数据。在输入数据的左右端附加有“0”的数据。在输入数据的上端，在进行填充处理前复制了数据的下端的“A”所示的数据。在输入数据的下端，在进行填充处理前复制了数据的上端的“B”所示的数据。

即在图35的右端，对扫描角度小的那一侧的外侧附加与扫描角度大的那一侧相同的数据，对扫描角度大的那一侧的外侧附加与扫描角度小的那一侧相同的数据。在以下的说明中，将使用图35说明的填充处理记载为极性填充(polar padding)处理。

在径向扫描型的图像获取用导管40中RT形式导管图像518的上端和下端大致相同。例如存在一个医疗器具或病变部等在RT形式导管图像518的上下分离的情况。极性填充处理是利用这样的特征的处理。

根据本实施方式，能够生成充分反映RT形式的图像的上下信息的学习完毕模型。

可以在学习完毕模型所含的全部卷积层中进行极性填充处理，也可以在一部分的卷积层中进行极性填充处理。

图35示出进行对输入数据的四方分别附加一个数据的填充处理的例子，但填充处理也可以是附加多个数据的处理。根据卷积处理中使用的滤波器的尺寸及步长量，选择在极性填充处理中附加的数据的数量。

[变形例9-1]

图36是说明变形例的极性填充处理的说明图。本变形例的极性填充处理在最先处理RT形式导管图像518的阶段的卷积层中有效。

图36的上侧示意地示出一边将传感器42向右牵引一边进行径向扫描的状态。基于在传感器42旋转一圈的期间获取到的扫描线数据，生成图36的左下示意地示出的一张RT形式导管图像518。RT形式导管图像518随着传感器42的旋转从上侧朝向下侧形成。

图36的右下示意地示出对RT形式导管图像518进行了填充处理的状态。在RT形式导管图像518的上侧附加有以左下阴影线所示的旋转一圈前的RT形式导管图像518的末端部的数据。在RT形式导管图像518的下侧附加有以右下阴影线所示的旋转一圈后的RT形式导管图像518的开始部的数据。在RT形式导管图像518的左右附加有“0”的数据。

根据本变形例，由于基于实际的扫描线数据进行填充处理，所以能够进一步正确地生成充分反映RT形式的图像的上下信息的学习完毕模型。

[实施方式10]

图37是说明实施方式10的导管系统10的结构的说明图。本实施方式涉及通过使导管控制装置27、MDU33、图像获取用导管40、通用的计算机90和程序97组合而工作来实现本实施方式的导管系统10的方式。对于与实施方式1共同的部分，省略说明。

导管控制装置27是进行MDU33的控制、传感器42的控制、以及基于从传感器42接收到的信号进行的横断层像及纵断层像的生成等的、IVUS用的超声波诊断装置。导管控制装置27的功能及结构与以往就使用的超声波诊断装置相同，因此省略说明。

本实施方式的导管系统10包括计算机90。计算机90具备控制部21、主存储装置22、辅助存储装置23、通信部24、显示部25、输入部26、读取部29及总线。计算机90是通用的个人计算机、平板电脑、智能手机或服务器计算机等信息设备。

程序97记录于可移动型记录介质96。控制部21经由读取部29读入程序97，并保存到辅助存储装置23。另外控制部21也可以读出安装于计算机90内的闪存等半导体存储器98中存储的程序97。而且，控制部21也可以从经由通信部24及未图示的网络连接的未图示的其他服务器计算机下载程序97并保存到辅助存储装置23。

程序97作为计算机90的控制程序而安装，加载于主存储装置22而执行。由此，计算机90作为上述的信息处理装置20而发挥功能。

计算机90是通用的个人电脑、平板电脑、智能手机、大型计算机、大型计算机上工作的虚拟机、云计算系统或量子计算机。计算机90也可以是进行分布处理的多个个人电脑等。

[实施方式11]

图38是实施方式11的信息处理装置20的功能框图。信息处理装置20具备图像获取部81、位置信息获取部84和第1数据输出部85。图像获取部81获取由图像获取用导管40得到的包含内腔的导管图像51。位置信息获取部84获取与导管图像51中所含的插入于内腔的医疗器具的位置相关的位置信息。

第1数据输出部85向第1学习完毕模型631输入所获取到的导管图像51和所获取到的位置信息并输出第1数据561，第1学习完毕模型631在输入了导管图像51和位置信息的情况下，输出将导管图像51的各个区域分类为生物体组织区域、医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的第1数据561。

(附记A1)

一种信息处理装置，具备：

图像获取部，其获取由插入于第1腔的图像获取用导管得到的导管图像；和

第1分类数据输出部，其向第1分类学习完毕模型输入所获取到的上述导管图像并输出第1分类数据，其中，该第1分类学习完毕模型在输入了上述导管图像的情况下，输出将生物体组织区域和包含上述第1腔的内侧即第1内腔区域以及没有插入上述图像获取用导管的第2腔的内侧即第2内腔区域的非生物体组织区域分类为不同区域的上述第1分类数据，

上述第1分类学习完毕模型使用至少明示了上述生物体组织区域和包含上述第1内腔区域及上述第2内腔区域的上述非生物体组织区域的第1训练数据而生成。

(附记A2)

在附记A1所记载的信息处理装置中，在上述第1分类数据中，具备：内腔区域提取部，其分别从上述非生物体组织区域提取出上述第1内腔区域和上述第2内腔区域；和

第1样态输出部，其将上述第1分类数据变更为能够分别区分上述第1内腔区域、上述第2内腔区域和上述生物体组织区域的样态并输出。

(附记A3)

在附记A1或附记A2所记载的信息处理装置中，在上述第1分类数据中，从上述非生物体组织区域提取出既不是上述第1内腔区域也不是上述第2内腔区域的非内腔区域，

具备第2样态输出部，其将上述第1分类数据变更为能够分别区分上述第1内腔区域、上述第2内腔区域、上述非内腔区域和上述生物体组织区域的样态并输出。

(附记A4)

在附记A3所记载的信息处理装置中，上述第1分类学习完毕模型在输入了上述导管图像的情况下，输出将上述生物体组织区域、上述第1内腔区域、上述第2内腔区域和上述非内腔区域分类为各自不同的区域的上述第1分类数据。

(附记A5)

在附记A1至附记A4中任一项所记载的信息处理装置中，上述图像获取用导管是径向扫描型的断层像获取用导管，

上述导管图像是将从上述图像获取用导管获取到的多个扫描线数据按扫描角度顺序平行排列的RT形式图像，

上述第1分类数据是上述RT形式图像中的各像素的分类结果。

(附记A6)

在附记A5所记载的信息处理装置中，上述第1分类学习完毕模型包括多个卷积层，

多个上述卷积层中的至少一个进行对扫描角度小的那一侧的外侧附加与扫描角度大的那一侧相同的数据、并对扫描角度大的那一侧的外侧附加与扫描角度小的那一侧相同的数据的填充处理进行而学习。

(附记A7)

在附记A1至附记A6中任一项所记载的信息处理装置中，上述第1分类学习完毕模型在输入了时序性获取到的多个上述导管图像的情况下，输出关于多个上述导管图像中的最新的上述导管图像对上述非生物体组织区域和上述生物体组织区域进行分类的上述第1分类数据。

(附记A8)

在附记A7所记载的信息处理装置中，上述第1分类学习完毕模型具备存储器部，其保持与过去输入的上述导管图像相关的信息，

基于上述存储器部中保持的信息和多个上述导管图像中的最新的上述导管图像，输出上述第1分类数据。

(附记A9)

在附记A1至附记A8中任一项所记载的信息处理装置中，上述第1分类学习完毕模型在输入了上述导管图像的情况下，输出将上述生物体组织区域、上述非生物体组织区域、和表示插入于上述第1腔或上述第2腔的医疗器具的医疗器具区域分类为各自不同的区域的上述第1分类数据。

(附记A10)

在附记A1至附记A9中任一项所记载的信息处理装置中，具备：第2分类数据获取部，其向第2分类学习完毕模型输入所获取到的上述导管图像并获取所输出的第2分类数据，其中，上述第2分类学习完毕模型在输入了上述导管图像的情况下，输出将上述生物体组织区域和包含上述第1内腔区域的上述非生物体组织区域分类为不同区域的第2分类数据；和

合成分类数据输出部，其输出在上述第1分类数据中合成了上述第2分类数据得到的合成分类数据，

上述第2分类学习完毕模型使用仅明示了上述非生物体组织区域中的上述第1内腔区域的第2训练数据而生成。

(附记A11)

在附记A10所记载的信息处理装置中，上述第2分类学习完毕模型在输入了上述导管图像的情况下，输出将上述生物体组织区域、上述非生物体组织区域、表示插入于上述第1腔或上述第2腔的医疗器具的医疗器具区域分类为各自不同的区域的上述第2分类数据。

(附记A12)

在附记A10或附记A11所记载的信息处理装置中，上述第1分类学习完毕模型进一步输出对于上述导管图像的各个部分是上述生物体组织区域的概率或是上述非生物体组织区域的概率，

上述第2分类学习完毕模型进一步输出对于上述导管图像的各个部分是上述生物体组织区域的概率或是上述非生物体组织区域的概率，

上述合成分类数据输出部输出基于对于上述导管图像的各个部分运算是上述生物体组织区域的概率或是上述非生物体组织区域的概率的结果而在上述第1分类数据中合成上述第2分类数据得到的合成分类数据。

(附记A13)

在附记A1至附记A12中任一项所记载的信息处理装置中，上述图像获取用导管是沿着上述图像获取用导管的长度方向依次获取多个上述导管图像的三维扫描用导管。

(附记A14)

在附记A13所记载的信息处理装置中，具备三维输出部，其输出基于从所获取到多个上述导管图像分别生成的多个上述第1分类数据而生成的三维图像。

(附记A15)

一种信息处理方法，使计算机执行以下处理：

获取由插入于第1腔的图像获取用导管得到的导管图像，

向第1分类学习完毕模型输入所获取到的上述导管图像，并输出第1分类数据，其中，该第1分类学习完毕模型使用至少明示了生物体组织区域和包含上述第1腔的内侧即第1内腔区域以及没有插入上述图像获取用导管的第2腔的内侧即第2内腔区域的非生物体组织区域的第1训练数据而生成，在输入了上述导管图像的情况下，输出将上述非生物体组织区域和上述生物体组织区域分类为不同区域的上述第1分类数据。

(附记A16)

一种程序，使计算机执行以下处理：

获取由插入于第1腔的图像获取用导管得到的导管图像，

向第1分类学习完毕模型输入所获取到的上述导管图像，并输出第1分类数据，其中，该第1分类学习完毕模型使用至少明示了生物体组织区域和包含上述第1腔的内侧即第1内腔区域以及没有插入上述图像获取用导管的第2腔的内侧即第2内腔区域的非生物体组织区域的第1训练数据而生成，在输入了上述导管图像的情况下，输出将上述非生物体组织区域和上述生物体组织区域分类为不同区域的上述第1分类数据。

(附记A17)

一种学习完毕模型的生成方法，获取将由插入于第1腔的图像获取用导管得到的导管图像与对于上述导管图像的各部分赋予了多个标签的标签数据建立管理而记录的多组训练数据，其中，多个标签具有表示是生物体组织区域的生物体组织区域标签、包含表示是上述第1腔的内侧的第1内腔区域、表示是没有插入上述图像获取用导管的第2腔的内侧的第2内腔区域、以及既不是上述第1内腔区域也不是上述第2内腔区域的非内腔区域的非生物体组织区域标签，

使用上述多组训练数据，生成学习完毕模型，该学习完毕模型将上述导管图像设为输入，将上述标签数据设为输出，在输入了上述导管图像的情况下，对于上述导管图像的各部分输出上述生物体组织区域标签和上述非生物体组织区域标签。

(附记A18)

在附记A17所记载的学习完毕模型的生成方法中，上述多组的训练数据的上述非生物体组织区域标签具有表示上述第1内腔区域的第1内腔区域标签、表示上述第2内腔区域的第2内腔区域标签以及表示上述非内腔区域的非内腔区域标签，

使用上述多组训练数据，生成学习完毕模型，该学习完毕模型将上述导管图像设为输入，将上述标签数据设为输出，在输入了上述导管图像的情况下，对于上述导管图像的各部分输出上述生物体组织区域标签、上述第1内腔区域标签、上述第2内腔区域标签及上述非内腔区域标签。

(附记A19)

一种学习完毕模型的生成方法，获取将由插入于第1腔的图像获取用导管得到的导管图像与赋予了多个标签的标签数据建立关联而记录的多组训练数据，其中，多个标签具有基于表示上述导管图像中的上述第1腔的内侧的边界线的边界线数据而生成的表示是生物体组织区域的生物体组织区域标签、和包含表示是上述第1腔的内侧的第1内腔区域的非生物体组织区域标签，

使用上述多组的训练数据，生成学习完毕模型，该学习完毕模型将上述导管图像设为输入，将上述标签数据设为输出，在输入了上述导管图像的情况下，对于上述导管图像的各部分输出上述生物体组织区域标签和上述非生物体组织区域标签。

(附记A20)

在附记A17至附记A19中任一项所记载的学习完毕模型的生成方法中，上述导管图像是将由径向扫描型的上述图像获取用导管得到的、旋转一圈的量的扫描线数据按扫描角度顺序平行排列的RT形式图像，

上述学习完毕模型包括多个卷积层，

上述卷积层的至少一个进行对扫描角度小的那一侧的外侧附加与扫描角度大的那一侧相同的数据、且对扫描角度大的那一侧的外侧附加与扫描角度小的那一侧相同的数据的填充处理而进行学习。

(附记B1)

一种信息处理装置，具备：

图像获取部，其获取由径向扫描型的图像获取用导管得到的导管图像；和

第1位置信息输出部，其向医疗器具学习完毕模型输入所获取到的上述导管图像并输出第1位置信息，其中，该医疗器具学习完毕模型在输入了上述导管图像的情况下，输出与上述导管图像中所含的医疗器具的位置相关的上述第1位置信息。

(附记B2)

在附记B1所记载的信息处理装置中，上述第1位置信息输出部使用上述导管图像中所含的一个像素的位置输出上述第1位置信息。

(附记B3)

在附记B1或附记B2所记载的信息处理装置中，上述第1位置信息输出部具备：

第1位置信息获取部，其获取与时序性得到的多个上述导管图像分别对应的时序性的上述第1位置信息；

排除部，其将不满足规定条件的上述第1位置信息从时序性的上述第1位置信息排除在外；和

补充部，其对时序性的上述第1位置信息加入满足规定条件的补充信息。

(附记B4)

在附记B1至附记B3中任一项所记载的信息处理装置中，上述医疗器具学习完毕模型在输入了时序性获取到的多个上述导管图像的情况下，关于多个上述导管图像中的最新的上述导管图像输出上述第1位置信息。

(附记B5)

在附记B4所记载的信息处理装置中，上述医疗器具学习完毕模型具备存储器部，其保持与过去输入的上述导管图像相关的信息，

基于上述存储器部中保持的信息和多个上述导管图像中的最新的上述导管图像，输出上述第1位置信息。

(附记B6)

在附记B1至附记B5中任一项所记载的信息处理装置中，上述医疗器具学习完毕模型以将从上述图像获取用导管获取到的多个扫描线数据按扫描角度顺序平行排列的RT形式图像，受理上述导管图像的输入，

包括多个第1卷积层，

多个上述第1卷积层中的至少一个进行对扫描角度小的那一侧的外侧附加与扫描角度大的那一侧相同的数据、且对扫描角度大的那一侧的外侧附加与扫描角度小的那一侧相同的数据的填充处理而进行学习。

(附记B7)

在附记B1至附记B6中任一项所记载的信息处理装置中，具备：

扫描角度信息获取部，其向角度学习完毕模型输入所获取到的上述导管图像，并获取所输出的扫描角度信息，其中，该角度学习完毕模型在输入了上述导管图像的情况下，输出与上述导管图像中所含的医疗器具的位置相关的上述扫描角度信息；和

第2位置信息输出部，其基于从上述医疗器具学习完毕模型输出的上述第1位置信息和从上述角度学习完毕模型输出的上述扫描角度信息，输出与上述导管图像中所含的医疗器具的位置相关的第2位置信息。

(附记B8)

在附记B7所记载的信息处理装置中，上述角度学习完毕模型以将从上述图像获取用导管获取到的多个扫描线数据按扫描角度顺序平行排列的RT形式图像，受理上述导管图像的输入，

包括多个第2卷积层，

多个上述第2卷积层中的至少一个进行对扫描角度小的那一侧的外侧附加与扫描角度大的那一侧相同的数据、且对扫描角度大的那一侧的外侧附加与扫描角度小的那一侧相同的数据的填充处理而进行学习。

(附记B9)

在附记B1至附记B8中任一项所记载的信息处理装置中，上述医疗器具学习完毕模型使用将上述导管图像与上述导管图像中所含的医疗器具的位置建立关联而记录的多组训练数据而生成。

(附记B10)

在附记B9所记载的信息处理装置中，上述训练数据通过以下的处理而生成：

显示由上述图像获取用导管得到的上述导管图像，

通过对上述导管图像的一次点击操作或一次轻点操作，受理上述导管图像中所含的医疗器具的位置，

将上述导管图像和医疗器具的位置建立关联而存储。

(附记B11)

在附记B9所记载的信息处理装置中，上述训练数据通过以下处理而生成：

向上述医疗器具学习完毕模型输入上述导管图像，

将从上述医疗器具学习完毕模型输出的上述第1位置信息重叠于所输入的上述导管图像而显示，

在未受理与上述导管图像中所含的医疗器具的位置相关的订正指示的情况下，使将上述导管图像和上述第1位置信息建立了关联的非订正数据作为上述训练数据而存储，

在受理了与上述导管图像中所含的医疗器具的位置相关的订正指示的情况下，使将上述导管图像和与基于上述订正指示的医疗器具的位置相关的信息建立了关联的订正数据作为上述训练数据而存储。

(附记B12)

一种学习完毕模型的生成方法，获取将由图像获取用导管得到的导管图像和与上述导管图像中所含的医疗器具的位置相关的第1位置信息建立关联而记录的多组训练数据，

基于多组上述训练数据，生成在输入了上述导管图像的情况下输出与上述导管图像中所含的医疗器具的位置相关的第1位置信息的学习完毕模型。

(附记B13)

在附记B12所记载的学习完毕模型的生成方法中，上述第1位置信息是与上述导管图像中所含的一个像素的位置相关的信息。

(附记B14)

一种训练数据生成方法，使计算机执行以下处理：

显示由图像获取用导管得到的包含内腔的导管图像，

通过对上述导管图像的一次点击操作或一次轻点操作，受理与上述导管图像中所含的插入于上述内腔的医疗器具的位置相关的第1位置信息，

存储将上述导管图像和上述第1位置信息建立了关联的训练数据。

(附记B15)

在附记B14所记载的训练数据生成方法中，上述第1位置信息是与上述导管图像中所含的一个像素的位置相关的信息。

(附记B16)

在附记B14或附记B15所记载的训练数据生成方法中，在对于上述导管图像受理了上述第1位置信息的情况下，显示时序性连续得到的其他导管图像。

(附记B17)

在附记B14至附记B16中任一项所记载的训练数据生成方法中，上述图像获取用导管是径向扫描型的断层像获取用导管，

关于上述导管图像的显示，使将从上述图像获取用导管获取到的多个扫描线数据按扫描角度顺序平行排列的RT形式图像、和将基于上述扫描线数据得到的数据呈放射状配置在上述图像获取用导管的周围的XY形式图像这两张图像并排显示，

上述第1位置信息从上述RT形式图像和上述XY形式图像中的任一方图像受理。

(附记B18)

一种训练数据生成方法，使计算机执行以下处理：

向医疗器具学习完毕模型输入导管图像，该医疗器具学习完毕模型在输入了由图像获取用导管得到的上述导管图像的情况下，输出与上述导管图像中所含的医疗器具的位置相关的第1位置信息，

将从上述医疗器具学习完毕模型输出的上述第1位置信息重叠于所输入的上述导管图像而显示，

在未受理与上述导管图像中所含的医疗器具的位置相关的订正指示的情况下，使将上述导管图像和上述第1位置信息建立了关联的非订正数据作为训练数据而存储，

在受理了与上述导管图像中所含的医疗器具的位置相关的订正指示的情况下，使将上述导管图像和与所受理的医疗器具的位置相关的信息建立了关联的订正数据作为上述训练数据而存储。

(附记B19)

在附记B18所记载的训练数据生成方法中，上述非订正数据及上述订正数据是与上述导管图像中所含的一个像素的位置相关的数据。

(附记B20)

在附记B18或附记B19所记载的训练数据生成方法中，将时序性得到的多个上述导管图像按顺序输入到上述医疗器具学习完毕模型，

将输出的各个位置重叠在所输入的上述导管图像上并按顺序显示。

(附记B21)

在附记B18至附记B20中任一项所记载的训练数据生成方法中，上述医疗器具的位置通过一次点击操作或一次轻点操作而被受理。

(附记B22)

在附记B18至附记B21中任一项所记载的训练数据生成方法中，上述图像获取用导管是径向扫描型的断层像获取用导管，

关于上述导管图像的显示，使将从上述图像获取用导管获取到的多个扫描线数据按扫描角度顺序平行排列的RT形式图像、和将基于上述扫描线数据得到的数据呈放射状配置在上述图像获取用导管的周围的XY形式图像这两张图像并排显示，

上述医疗器具的位置从上述RT形式图像和上述XY形式图像中的任一方图像受理。

(附记C1)

一种信息处理装置，具备：

图像获取部，其获取由图像获取用导管得到的包含内腔的导管图像；

位置信息获取部，其获取与上述导管图像中所含的插入于上述内腔的医疗器具的位置相关的位置信息；和

第1数据输出部，其向第1学习完毕模型输入所获取到的上述导管图像和所获取到的上述位置信息并输出第1数据，其中，该第1学习完毕模型在输入了上述导管图像和上述位置信息的情况下，输出将上述导管图像的各个区域分类为生物体组织区域、上述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的上述第1数据。

(附记C2)

在附记C1所记载的信息处理装置中，上述位置信息获取部向医疗器具学习完毕模型输入所获取到的上述导管图像，并从上述医疗器具学习完毕模型获取上述位置信息，该医疗器具学习完毕模型在输入了上述导管图像的情况下，输出上述导管图像中所含的上述位置信息。

(附记C3)

在附记C2所记载的信息处理装置中，具备：

第2数据获取部，其向第2模型输入所获取到的上述导管图像并获取第2数据，其中，该第2模型在不输入上述位置信息而输入了上述导管图像的情况下，输出将上述导管图像的各个区域分类为生物体组织区域、上述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的上述第2数据；和

合成数据输出部，其输出将上述第1数据和上述第2数据合成得到的合成数据。

(附记C4)

在附记C3所记载的信息处理装置中，上述合成数据输出部具备：

第1合成数据输出部，其输出将与被分类为上述第1数据及上述第2数据中的上述生物体组织区域及上述非生物体组织区域的生物体组织关联区域相关的数据合成得到的第1合成数据；和

第2合成数据输出部，其输出将与上述第1数据及上述第2数据中的上述医疗器具区域相关的数据合成得到的第2合成数据。

(附记C5)

在附记C4所记载的信息处理装置中，上述第2合成数据输出部在从上述医疗器具学习完毕模型获取到了上述位置信息的情况下，使用与上述第1数据中所含的上述医疗器具区域相关的数据输出上述第2合成数据，

在未能从上述医疗器具学习完毕模型获取到上述位置信息的情况下，使用与上述第2数据中所含的上述医疗器具区域相关的数据输出上述第2合成数据。

(附记C6)

在附记C4所记载的信息处理装置中，上述合成数据输出部输出基于与上述第1数据的可靠度及上述第2数据的可靠度相应的权重而将与上述医疗器具区域相关的数据合成得到的上述第2合成数据。

(附记C7)

在附记C6所记载的信息处理装置中，上述可靠度基于是否从上述医疗器具学习完毕模型获取到了上述位置信息而确定。

(附记C8)

在附记C6所记载的信息处理装置中，上述合成数据输出部在从上述医疗器具学习完毕模型获取到了上述位置信息的情况下，将上述第1数据的可靠度设定得比上述第2数据的可靠度高，

在未能从上述医疗器具学习完毕模型获取到上述位置信息的情况下，将上述第1数据的可靠度设定得比上述第2数据的可靠度低。

(附记C9)

在附记C1至附记C8中任一项所记载的信息处理装置中，上述图像获取用导管是沿着上述图像获取用导管的长度方向依次获取多个上述导管图像的三维扫描用导管。

(附记C10)

一种信息处理方法，使计算机执行以下处理：

获取由图像获取用导管得到的包含内腔的导管图像，

获取与上述导管图像中包含的插入于上述内腔的医疗器具的位置相关的位置信息，

向第1学习完毕模型输入所获取到的上述导管图像和所获取到的位置信息并输出第1数据，其中，该第1学习完毕模型在输入了上述导管图像和与上述导管图像中所含的上述医疗器具的位置相关的位置信息的情况下，输出将上述导管图像的各个区域分类为生物体组织区域、上述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的上述第1数据。

(附记C11)

一种程序，使计算机执行以下处理：

获取由图像获取用导管得到的包含内腔的导管图像，

获取与上述导管图像中所含的插入于上述内腔的医疗器具的位置相关的位置信息，

向第1学习完毕模型输入所获取到的上述导管图像和所获取到的位置信息并输出第1数据，其中，该第1学习完毕模型在输入了上述导管图像和与上述导管图像中所含的上述医疗器具的位置相关的位置信息的情况下，输出将上述导管图像的各个区域分类为生物体组织区域、上述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的上述第1数据。

各实施例中记载的技术特征(结构要件)能够相互组合，通过组合，能够形成新的技术特征。

本次公开的实施方式在所有方面为例示，应认为不是限制性的。本发明的范围不是上述的意义，意图包含由权利要求书示出、且与权利要求书均等的意味以及范围内的全部变更。

附图标记说明

10 导管系统

20 信息处理装置

21 控制部

22 主存储装置

23 辅助存储装置

24 通信部

25 显示部

26 输入部

27 导管控制装置

271 导管控制部

29 读取部

31 显示装置

32 输入装置

33 MDU

37 图像诊断装置

40 图像获取用导管

41 探头部

42 传感器

43 轴

44 前端标识部

45 连接器部

46 导丝腔管

51 导管图像

518RT形式导管图像(导管图像)

519XY形式导管图像

52分类数据(无提示分类数据、第2数据)

521第1分类数据(标签数据)

522第2分类数据(标签数据)

526 合成分类数据

528 RT形式分类数据

529 XY形式分类数据

536 合成数据

541第1合成部

542第2合成部

543第3合成部

55三维数据

551 生物体三维数据

552 医疗器具三维数据

561有提示分类数据(第1数据)

611 医疗器具学习完毕模型

612 角度学习完毕模型

615 位置信息合成部

619 位置信息模型

62分类模型(第2模型)

621第1分类学习完毕模型

622第2分类学习完毕模型

626 合成分类模型

628 分类数据合成部

629 分类数据转换部

631有提示学习完毕模型(第1学习完毕模型)

632无提示学习完毕模型(第2学习完毕模型)

639X％提示学习完毕模型

65 位置信息获取部

66 位置分类解析部

71 医疗器具位置训练数据DB

72 有提示训练数据DB

781 光标

782 控制按钮区域

81 图像获取部

82 第1分类数据输出部

90 计算机

96 可移动型记录介质

97 程序

98 半导体存储器。

Claims (11)

1.一种信息处理装置，具备：

图像获取部，其获取由图像获取用导管得到的包含内腔的导管图像；

位置信息获取部，其获取与所述导管图像中所含的插入于所述内腔的医疗器具的位置相关的位置信息；和

第1数据输出部，其向第1学习完毕模型输入所获取到的所述导管图像和所获取到的所述位置信息并输出第1数据，其中，该第1学习完毕模型在输入了所述导管图像和所述位置信息的情况下，输出将所述导管图像的各个区域分类为生物体组织区域、所述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的所述第1数据。

2.如权利要求1所述的信息处理装置，其中，

所述位置信息获取部向医疗器具学习完毕模型输入所获取到的所述导管图像，并从所述医疗器具学习完毕模型获取所述位置信息，其中，该医疗器具学习完毕模型在输入了所述导管图像的情况下，输出所述导管图像中所含的所述位置信息。

3.如权利要求2所述的信息处理装置，其中，具备：

第2数据获取部，其向第2模型输入所获取到的所述导管图像并获取第2数据，其中，该第2模型在不输入所述位置信息而输入了所述导管图像的情况下，输出将所述导管图像的各个区域分类为生物体组织区域、所述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的所述第2数据；和

合成数据输出部，其输出将所述第1数据和所述第2数据合成得到的合成数据。

4.如权利要求3所述的信息处理装置，其中，

所述合成数据输出部具备：

第1合成数据输出部，其输出将与被分类为所述第1数据及所述第2数据中的所述生物体组织区域及所述非生物体组织区域的生物体组织关联区域相关的数据合成得到的第1合成数据；和

第2合成数据输出部，其输出将与所述第1数据及所述第2数据中的所述医疗器具区域相关的数据合成得到的第2合成数据。

5.如权利要求4所述的信息处理装置，其中，

所述第2合成数据输出部在从所述医疗器具学习完毕模型获取到了所述位置信息的情况下，使用与所述第1数据中所含的所述医疗器具区域相关的数据输出所述第2合成数据，

在未能从所述医疗器具学习完毕模型获取到所述位置信息的情况下，使用与所述第2数据中所含的所述医疗器具区域相关的数据输出所述第2合成数据。

6.如权利要求4所述的信息处理装置，其中，

所述合成数据输出部输出基于与所述第1数据的可靠度及所述第2数据的可靠度相应的权重而将与所述医疗器具区域相关的数据合成得到的所述第2合成数据。

7.如权利要求6所述的信息处理装置，其中，

所述可靠度根据是否从所述医疗器具学习完毕模型获取到了所述位置信息而确定。

8.如权利要求6所述的信息处理装置，其中，

所述合成数据输出部在从所述医疗器具学习完毕模型获取到了所述位置信息的情况下，将所述第1数据的可靠度设定得比所述第2数据的可靠度高，

在未能从所述医疗器具学习完毕模型获取到所述位置信息的情况下，将所述第1数据的可靠度设定得比所述第2数据的可靠度低。

9.如权利要求1至8中任一项所记载的信息处理装置，其中，

所述图像获取用导管是沿着所述图像获取用导管的长度方向依次获取多个所述导管图像的三维扫描用导管。

10.一种信息处理方法，使计算机执行以下处理：

获取由图像获取用导管得到的包含内腔的导管图像，

获取与所述导管图像中所含的插入于所述内腔的医疗器具的位置相关的位置信息，

向第1学习完毕模型输入所获取到的所述导管图像和所获取到的位置信息，并输出第1数据，其中，该第1学习完毕模型在输入了所述导管图像和与所述导管图像中所含的所述医疗器具的位置相关的位置信息的情况下，输出将所述导管图像的各个区域分类为生物体组织区域、所述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的所述第1数据。

11.一种程序，使计算机执行以下处理：

获取由图像获取用导管得到的包含内腔的导管图像，

获取与所述导管图像中所含的插入于所述内腔的医疗器具的位置相关的位置信息，

向第1学习完毕模型输入所获取到的所述导管图像和所获取到的位置信息，并输出第1数据，其中，该第1学习完毕模型在输入了所述导管图像和与所述导管图像中所含的所述医疗器具的位置相关的位置信息的情况下，输出将所述导管图像的各个区域分类为生物体组织区域、所述医疗器具所存在的医疗器具区域及非生物体组织区域这至少三个区域的所述第1数据。

Images