CN111816285A - 医用信息处理装置及医用信息处理方法 - Google Patents

Abstract

实施方式关于医用信息处理装置及医用信息处理方法。提供一种能够使诊断辅助的有用性提高的医用信息处理装置及医用信息处理方法。实施方式的医用信息处理装置具备取得部、提取部和显示控制部。取得部取得从作为输入数据而被输入了医用图像数据的多个解析处理分别输出的多个输出数据。提取部基于提取条件，从上述多个输出数据中有选择地提取多个输出数据。显示控制部进行控制，以显示与由上述提取部提取出的多个输出数据对应的多个信息、和与上述多个信息的某个关联并根据上述医用图像数据生成的医用图像。

Description

医用信息处理装置及医用信息处理方法

本申请主张2019年4月10日提出申请的日本专利申请第2019－75111号的优先权，这里引用其全部内容。

技术领域

实施方式涉及医用信息处理装置及医用信息处理方法。

背景技术

以往，利用对医用图像数据施以解析处理、将解析结果用于诊断辅助的技术。例如近年来，在由医用图像诊断装置收集到的医用图像数据的诊断辅助中利用AI(ArtificialIntelligence，人工智能)。举一个例子，利用通过使用学习数据的机器学习生成的已学习模型，实施医用图像数据中包含的病变候选的检测处理。医生能够将该检测处理的结果在防止漏过病变候选的方面发挥作用。

发明内容

本发明要解决的课题是提供一种能够使诊断辅助中的有用性提高的医用信息处理装置及医用信息处理方法。

实施方式的医用信息处理装置具备取得部、提取部和显示控制部。取得部取得从作为输入数据被输入了医用图像数据的多个解析处理分别输出的多个输出数据。提取部基于提取条件，从上述多个输出数据中有选择地提取多个输出数据。显示控制部进行控制，以显示与由上述提取部提取出的多个输出数据对应的多个信息、和与上述多个信息的某个关联并根据上述医用图像数据生成的医用图像。

根据技术方案的用信息处理装置及医用信息处理方法，能够使诊断辅助中的有用性提高。

附图说明

图1是表示有关本实施方式的医用信息处理装置的结构的一例的图。

图2是表示有关第1实施方式的工作列表的一例的图。

图3是表示有关第1实施方式的由显示控制功能进行的显示的一例的图。

图4A是表示有关第1实施方式的解析结果的组的一例的图。

图4B是表示有关第1实施方式的解析结果的组的一例的图。

图5A是表示由有关第1实施方式的显示控制功能进行的并列显示的一例的图。

图5B是表示由有关第1实施方式的显示控制功能进行的并列显示的一例的图。

图6是表示由有关第1实施方式的显示控制功能显示的医用图像的一例的图。

图7是表示由有关第1实施方式的显示控制功能进行的显示的一例的图。

图8是用来说明有关第1实施方式的控制功能的处理的图。

图9是表示由有关第1实施方式的医用信息处理装置100进行的处理的步骤的流程图。

具体实施方式

以下，参照附图对医用信息处理装置及医用信息处理方法的实施方式详细地进行说明。另外，有关本申请的医用信息处理装置及医用信息处理方法并不由以下所示的实施方式限定。此外，实施方式在处理内容中不发生矛盾的范围中能够与其他实施方式或以往技术的组合。

(第1实施方式)

以下，对本申请的第1实施方式进行说明。另外，在第1实施方式中，对作为在诊断辅助中利用的解析处理而使用由AI进行的处理的情况进行说明。图1是表示有关本实施方式的医用信息处理装置100的结构的一例的图。如图1所示，有关本实施方式的医用信息处理装置100包含在医用信息处理系统1中，例如与AI(Artificial Intelligence)服务服务器200经由网络2可通信地连接。

AI服务服务器200是提供机器学习及深度学习用的算法的API(ApplicationProgramming Interface，应用程序接口)的服务器装置。具体而言，AI服务服务器200经由网络2接收包括输入数据和基于输入数据的教师数据的学习用数据，通过使用接收到的学习用数据的机器学习，生成已学习模型。并且，AI服务服务器200通过将输入数据对所生成的已学习模型输入，输出基于已学习模型的输出数据。

这里，有关本实施方式的AI服务服务器200具有各种已学习模型，提供各种图像处理的算法的API。例如，AI服务服务器200提供以脑、肺、心脏、肝脏等的各种脏器为对象的各种算法、以及按照每个脏器输出各种结果的算法的API。举一个例子，AI服务服务器200提供以脑为对象、根据医用图像数据中的亮度值的差来检测特征性的区域的算法，根据灌注(perfusion)图像检测表示特征性的灌流状态的区域的算法，或在血管的形状中检测表示特征性的形状的区域的算法等的API。

此外，AI服务服务器200能够提供以由X射线诊断装置、X射线CT(ComputedTomography，计算机断层显像)装置、MRI(Magnetic Resonance Imaging，磁共振成像)装置、超声波诊断装置、SPECT(Single Photon Emission Computed Tomography，单光子发射计算机断层显像)装置、PET(Positron Emission computed Tomography，正电子发射计算机断层显像)装置等的各种模态(modality)收集到的医用图像数据为对象的各种图像处理的算法的API。即，AI服务服务器200可以具备以由上述的各种模态收集到的各医用图像数据为输入数据的多个已学习模型。

此外，AI服务服务器200具备以相同的医用图像数据为输入数据的多个已学习模型。即，AI服务服务器200也能够使相同的医用图像数据输入到不同的已学习模型中并分别输出不同的输出数据。

例如，AI服务服务器200参照DB而取得多个学习用数据(原图像、教师数据)。并且，AI服务服务器200通过将所取得的原图像及教师数据输入到本装置的机器学习引擎中而进行机器学习。AI服务服务器200通过以各种学习用数据为对象进行机器学习，生成各种已学习模型。

这里，机器学习引擎例如通过将被输入的原图像的图像特征量与教师数据中的图像特征量比较，决定最优的参数。例如，机器学习引擎使用深度学习(Deep Learning)、神经网络(Neural Network)、逻辑(Logistic)回归分析、非线性判别分析、支持向量机(SupportVector Machine：SVM)、随机森林(Random Forest)、朴素贝叶斯(Naive Bayes)等的各种算法，决定最优的参数。

作为这样的机器学习的结果，AI服务服务器200生成基于原图像输出各种图像处理的结果的多个已学习模型。并且，AI服务服务器200使本装置的存储电路将所生成的已学习模型存储。另外，此时，AI服务服务器200在以前制作出的已学习模型已经存储在存储电路中的情况下，能够用新制作出的已学习模型将所存储的已学习模型替换。

此外，例如在运用时，AI服务服务器200从医用信息处理装置100受理医用图像数据，通过将所受理的医用图像数据向可应用的已学习模型输入，输出各种图像处理的结果。并且，AI服务服务器200将所输出的各种图像处理的结果向医用信息处理装置100发送。

医用信息处理装置100取得由医用图像诊断装置收集到的医用图像数据，将所取得的医用图像数据向AI服务服务器200发送。此外，医用信息处理装置100从AI服务服务器200取得已学习模型的输出信息。例如，医用信息处理装置100由服务器或工作站、个人计算机、平板电脑终端等的计算机设备实现。

另外，在图1中，表示了医用信息处理装置100在与AI服务服务器200之间直接收发医用图像数据和输出信息的情况，但实施方式并不限定于此，例如也可以是在中间包括中继数据的装置的情况。在此情况下，例如将存储医用图像数据的服务器装置连接到医用信息处理装置100与AI服务服务器200之间，服务器装置执行与医用信息处理装置100之间及与AI服务服务器200之间的医用图像数据及输出信息的收发。

如图1所示，医用信息处理装置100具有通信接口110、存储电路120、输入接口130、显示器140和处理电路150，由进行医用图像的阅片的放射线科的医生或负责医生操作。

通信接口110连接在处理电路150上，控制在医用信息处理装置100与AI服务服务器200之间进行的通信。具体而言，通信接口110从AI服务服务器200接收各种输出信息，将接收到的信息向处理电路150输出。例如，通信接口110由网卡或网络适配器、NIC(NetworkInterface Controller，网络接口控制器)等实现。

存储电路120连接在处理电路150上，存储各种数据。例如，存储电路120存储由医用图像诊断装置收集到的医用图像数据、以及从AI服务服务器200取得的输出信息等。此外，存储电路120存储通过处理电路150读出并执行而用来实现各种功能的各种程序。例如，存储电路120由RAM(Random Access Memory)、闪存存储器等的半导体存储器元件、硬盘或光盘等实现。

输入接口130连接在处理电路150上，从操作者受理各种指示及信息的输入操作。具体而言，输入接口130将从操作者受理的输入操作变换为电信号，向处理电路150输出。例如，输入接口130由跟踪球、开关按钮、鼠标、键盘、通过向操作面接触而进行输入操作的触摸板、显示画面和触摸板一体化的触摸屏、使用光学传感器的非接触输入电路、以及声音输入电路等实现。另外，在本说明书中，输入接口130并不仅限于鼠标、键盘等的物理性的操作零件。例如，从与装置分体地设置的外部的输入设备接受与输入操作对应的电信号，将该电信号向控制电路输出的电信号的处理电路也包含在输入接口130的例子中。这里，输入接口130是受理部的一例。

显示器140连接在处理电路150上，显示各种信息及图像。具体而言，显示器140将从处理电路150送来的信息及图像的数据变换为显示用的电信号并输出。例如，显示器140由液晶监视器或CRT(Cathode Ray Tube)监视器、触摸面板等实现。

处理电路150根据经由输入接口130从操作者受理的输入操作，对医用信息处理装置100的动作进行控制。例如，处理电路150由处理器实现。

以上，对有关本实施方式的医用信息处理装置100的结构进行了说明。基于这样的结构，医用信息处理装置100能够使诊断辅助中的有用性提高。

如上述那样，近年来，在医用图像数据的诊断辅助中利用AI。此外，近年来，由AI进行的图像处理的种类增加，能够对医用图像数据应用各种算法而得到各种解析结果。由这样的AI进行的诊断辅助例如通过在由放射线科医生进行的阅片前得到各种解析结果，能够在防止病变候选的看漏的方面发挥作用。

但是，随着由AI得到的解析结果增加，放射线科医生等的医生确认的解析结果增加，医生的负担增大。所以，在本实施方式中，通过使由AI得到的解析结果以更容易确认的形式显示，使AI的诊断辅助中的有用性提高。具体而言，医用信息处理装置100在显示从AI服务服务器200接收到的解析结果时，通过基于提取条件将结果分组而显示，提供解析结果的更容易确认的显示形态。

以下，对有关本实施方式的医用信息处理装置100的详细情况进行说明。如图1所示，医用信息处理装置100的处理电路150执行控制功能151、生成功能152、提取功能153及显示控制功能154。这里，控制功能151是取得部、控制部的一例。此外，提取功能153是提取部的一例。此外，显示控制功能154是显示控制部的一例。

控制功能151进行控制，以执行与经由输入接口130输入的各种要求对应的处理。例如，控制功能151对经由通信接口110的医用图像数据等的收发、医用图像数据向存储电路120的保存进行控制。此外，例如，控制功能151对经由通信接口110的AI服务服务器200的输出信息的接收、输出信息向存储电路120的保存进行控制。

例如，控制功能151根据经由输入接口130输入的医用图像数据的取得请求，从医用图像诊断装置及医用图像保管装置等取得医用图像数据，向存储电路120保存。并且，控制功能151根据经由输入接口130输入的医用图像数据的发送请求，将存储在存储电路120中的医用图像数据向AI服务服务器200发送。进而，控制功能151从AI服务服务器200接收输出信息，向存储电路120保存。这里，将上述的医用图像数据的收发及输出信息的接收按照每个被检体(患者ID)实施，将各信息与患者ID建立对应而向存储电路120存储。此外，例如控制功能151根据操作者对于AI服务服务器200的输出信息的操作而执行各种处理。另外，关于该处理在后面详细叙述。

生成功能152通过对医用图像数据施以各种图像处理，生成各种显示用的医用图像。具体而言，生成功能152通过对医用图像数据施以图像处理，生成表示部位的形态信息的各种形态图像及包括部位的功能信息的各种功能图像。例如，生成功能152生成体绘制图像、表面绘制图像、CPR(Curved Multi Planer Reconstruction，弯曲多平面重建)图像、MPR(Multi Planer Reconstruction，多平面重建)图像、SPR(Stretched Multi PlanerReconstruction，拉伸多平面重建)图像、Slab MIP(Maximum Intensity Projection，最大密度投影)图像、虚拟内视镜图像、展开图像等的形态图像、灌注图像、PET图像、SPECT图像、其他的包含各部位的功能解析的结果的医用图像等的功能图像。另外，上述的例子只不过是一例，生成功能152可以根据收集到的医用图像数据来生成其他各种形态图像及功能图像。

例如，生成功能152生成与AI服务服务器200的解析结果关联的医用图像。例如，生成功能152生成表示解析结果的位置的医用图像。举出一例，生成功能152生成表示由AI服务服务器200检测到的病变候选区域的医用图像。

提取功能153基于提取条件，从多个输出数据中有选择地提取多个输出数据。具体而言，提取功能153将由多个解析处理输出的解析结果基于提取条件进行分类。例如，提取功能153将从AI服务服务器200的多个已学习模型输出的多个输出数据基于提取条件进行分组。另外，关于提取功能153的处理，在后面详细叙述。

显示控制功能154进行控制，以显示与由提取功能153提取出的多个输出数据对应的多个信息、以及与多个信息的某个关联并根据医用图像数据生成的医用图像。具体而言，显示控制功能154使与由提取功能153分组的多个输出数据对应的解析结果与对应的医用图像一起并列显示。另外，关于显示控制功能154的处理在后面详细叙述。

如上述那样，在医用信息处理装置100中，关于各被检体存储有输出信息。操作医用信息处理装置100的操作者(放射线科医生、负责医生等)观察各被检体的医用图像数据而进行诊断。即，操作者操作输入接口130，使显示器140显示各被检体的医用图像并观察这些医用图像。

这里，在医用信息处理装置100中，例如在进行诊断的被检体的选择中可以使用图2所示那样的工作列表。图2是表示有关第1实施方式的工作列表的一例的图。例如，显示控制功能154在执行了用来开始诊断(阅片)的操作的情况下，使显示器140显示图2所示的工作列表。例如，工作列表如图2所示，包括“No.”、“状态”、“受理时间”、“受理号码”和“患者ID”。

这里，图2中的“No.”，表示进行诊断(阅片)的顺序，例如根据受理顺序及紧急度顺序等而赋予。此外，图2中的“状态”，表示各被检体的图像诊断中的当前的状态。另外，在图2中，仅表示了表示图像诊断完成的状态的“完成”和表示图像诊断没有完成的状态的“未”，但也可以包含表示等待来自AI服务服务器200的结果的状态的状态。此外，状态中的“完成”的旁边所示的括弧内的数字表示操作者对于AI服务服务器200的解析结果认可的数量，关于这一点在后面详细叙述。

此外，图2中的“受理时间”表示图像诊断被命令时的日期时间。此外，图2中的“受理号码”是在图像诊断被命令时被赋予的号码，是用来在被命令了图像诊断的多个被检体中确定各被检体的号码。此外，图2中的“患者ID”是用来在医院内唯一地确定各被检体的识别码。

例如，操作者参照图2所示的工作列表，选择接着进行诊断(阅片)的被检体。举出一例，操作者参照图2所示的工作列表，经由输入接口130选择状态为“未”的“No.4”的被检体。对应于该操作，显示控制功能154使显示器140显示作为阅片的对象的医用图像。

这里，在有关本实施方式的医用信息处理装置100中，显示控制功能154使从AI服务服务器200接收到的解析结果与被检体的医用图像一起并列显示。如上述那样，在医用信息处理装置100中，当显示从AI服务服务器200接收到的解析结果时，基于提取条件将结果分组而显示。

例如，提取功能153作为提取条件而使用解析处理的类别，提取多个解析处理的每个类别的输出数据。举出一例，提取功能153作为提取条件而使用已学习模型(算法)的类别，按照多个已学习模型的每个类别提取输出数据。显示控制功能154进行控制，以使与多个输出数据对应的多个信息按照已学习模型的每个类别进行显示。即，显示控制功能154将AI服务服务器200的解析结果按照每个算法汇总，与对应的医用图像建立对应而显示。

图3是表示由有关第1实施方式的显示控制功能154进行的显示的一例的图。例如，显示控制功能154如图3所示，使具有显示医用图像的显示区域R1和显示从AI服务服务器200接收到的解析结果的显示区域R2的显示画面同时显示医用图像和解析结果。这里，显示控制功能154如图3的显示区域R2所示，例如使其显示算法A～C的解析结果。即，显示控制功能154使显示区域R2显示由提取功能153提取的算法A～C的解析结果。

这里，解析结果例如分别包括反映了解析处理的输出结果的缩略图像和关于该输出结果的解析信息。例如，解析结果包括表示在解析处理中检测到的检测结果的位置的缩略图像和解析信息。举出一例，解析结果如图3所示，包括表示由已学习模型检测到的病变候选区域的位置的缩略图像和病变候选区域的尺寸等的解析信息。例如，在算法A的解析信息中，表示了显示有由算法A检测到的7个病变候选区域的位置(缩略图像上的四角的位置)的缩略图像。另外，在图3中表示了通过算法检测到的区域，但在通过算法检测到点的情况下，在缩略图像上的检测到的位置处表示点。此外，在图3中，作为表示位置的标记而表示了四方形，但实施方式并不限定于此，也可以用其他形状或实际检测到的形状表示。

这里，操作者能够经由输入接口130指定多个解析结果(例如，各病变候选区域)。例如，如果由操作者指定病变候选区域，则显示控制功能154如图3中的缩略图像所示，将被指定的病变候选区域的位置的四边形的内部涂黑而使其强调显示。并且，显示控制功能154使被指定的病变候选区域的体积、长轴的长度及短轴的长度等的解析信息显示在缩略图的旁边。进而，显示控制功能154使显示区域R1显示与被指定的病变候选区域关联的医用图像。

显示控制功能154关于由提取功能153提取出的算法B、C也同样，显示包括表示了由已学习模型检测到的病变候选区域的位置的缩略图像和病变候选区域的尺寸等的解析信息的解析结果。例如，如图3所示，显示控制功能154使显示画面显示算法B的2个解析结果和算法C的解析结果。

这样，通过将解析结果分组而显示，操作者容易掌握有怎样的解析结果，能够效率良好地进行解析结果的确认作业。例如，操作者指定包含在各算法的解析结果中的病变候选区域的位置，一边观察图像一边判断是否认可解析结果。这里，操作者例如在认可解析结果的情况下，经由输入接口130按下“Accepted”(接受)按钮，在不认可的情况下，经由输入接口130按下“Ignore”(忽略)按钮。

举出一例，操作者指定算法B的第2个缩略图中的病变候选区域R3。随之，显示控制功能154使显示区域内显示包括病变候选区域R3的体积等的解析信息。同时，显示控制功能154使显示区域R1内显示与由生成功能152生成的病变候选区域R3对应的医用图像。这里，在图3中，例如显示控制功能154使显示区域R1内显示包括病变候选区域R3的轴向截面(左上)、矢状截面(右上)及冠状截面(左下)的MPR图像、和体绘制图像(右下)。此外，显示控制功能154在轴向截面、矢状截面、冠状截面的MPR图像及体绘制图像中的与病变候选区域R3对应的位置处显示标记(例如四边形)。

操作者观察显示在显示区域R2中的病变候选区域R3的解析信息及显示在显示区域R1内的各医用图像，判定病变候选区域R3是否是病变，按下“Accepted”按钮或“Ignore”按钮。这里，控制功能151将是否由操作者认可(是“Accepted”按钮被按下、还是“Ignore”按钮被按下)与病变候选区域R3建立对应而存储。即，控制功能151将保存在存储电路120中的算法B的第2个解析结果中的病变候选区域R3与是否被认可的信息建立对应而存储。

另外，操作者也可以指定多个病变候选区域。例如，操作者指定在算法B的第2个解析结果的缩略图像中表示的2个病变候选区域。在此情况下，显示控制功能154在显示区域R1中的医用图像中描绘有被指定的病变候选区域的情况下，显示表示该位置的标记。例如，在被指定的2个病变候选区域处于同一轴向截面上的情况下，显示控制功能154使四边形等的标记显示在图的左上的轴向截面的MPR图像的对应的位置处。此外，显示控制功能154在体绘制图像中，使标记显示在被指定的2个病变候选区域的位置处。另外，在Slab MIP图像的情况下，生成功能152也可以改变Slab厚度而重新生成Slab MIP图像以包含2个病变候选区域，显示控制功能154使标记显示在被指定的2个病变候选区域的位置处。

如上述那样，在医用信息处理装置100中，将分组后的AI的解析结果和其对应的医用图像显示在相同的显示画面中。这里，在医用信息处理装置100中，通过受理提取条件的变更，能够变更将解析结果汇总的组。例如，显示控制功能154如图3所示，显示下拉菜单21。输入接口130通过受理下拉菜单21的操作，受理提取条件的变更。

在有关本实施方式的医用信息处理装置100中，除了上述的已学习模型的类别以外，还可以按照每个疾病、每个置信度进行分组。例如，提取功能153提取与每个疾病关联的输出数据。如上述那样，AI服务服务器200具备多个已学习模型，提供各种图像处理的算法的API。由这些多个已学习模型输出的多个解析结果与各种疾病关联，放射线科医生及负责医生通过参照这些多个解析结果，能够有助于诊断。

例如，在脑梗塞的诊断中，在判断脑内的局部缺血的情况下，参照以脑的医用图像数据为对象的、根据亮度值的差来检测特征性的区域的算法的解析结果、根据灌注图像检测表示特征性的灌流状态的区域的算法的解析结果、在血管的形状中检测表示特征性的形状的区域的算法的解析结果等是有用的。

此外，例如在心筋梗塞的诊断中，参照以心脏的医用图像数据为对象的、检测钙化评分(calcium score)的算法的解析结果及检测血流的算法的解析结果等是有用的。此外，在心脏的瓣膜症的诊断中，参照以心脏的医用图像数据为对象的、检测钙化评分的算法的解析结果及检测瓣的运动的算法的解析结果等是有用的。

这样，在对各疾病进行诊断的情况下，放射线科医生或负责医生通过复合性地参照多个解析结果，能够进一步提高诊断的精度。所以，有关本实施方式的提取功能153在从AI服务服务器200接收到的多个解析结果之中，提取与被指定的疾病关联的算法的解析结果。显示控制功能154进行控制，以使多个解析结果按照每个疾病显示。

图4A是表示有关第1实施方式的解析结果的组的一例的图。例如，提取功能153如图4A所示，提取与“疾病：XXXX”关联的已学习模型的“算法A”、“算法B”和“算法D”。显示控制功能154如图4A所示，对于提取出的“算法A”、“算法B”及“算法D”，使显示区域R2显示包括缩略图像和病变候选区域的解析信息的解析结果。

另外，在提取与被指定的疾病关联的解析结果的情况下，例如，如“算法D”的解析结果所示，并不一定检测到病变候选区域。放射线科医生或负责医生参照这些结果，进行关于“疾病：XXXX”的诊断。

此外，例如提取功能153基于多个解析结果推断关联的疾病，按照推断的每个疾病，提取关联的解析结果。即，提取功能153参照从AI服务服务器200接收到的多个解析结果，推断可能性较高的疾病，提取与推断的疾病关联的解析结果。

图4B是表示有关第1实施方式的解析结果的分组的一例的图。例如，提取功能153如图4B所示，在“算法A”、“算法C”及“算法E”中检测到病变候选区域的情况下，将与“算法A”、“算法C”及“算法E”关联的“病变：XXXX”推断为“候选疾病”。并且，提取功能153提取与“候选病变：XXXX”关联的解析结果。显示控制功能154进行控制，以使提取出的多个解析结果按照每个疾病显示。另外，在图4B中，表示了仅“算法A”、“算法C”及“算法E”的解析结果，但在与“候选病变：XXXX”关联的算法还有其他的情况下，也提取该算法的解析结果并使显示区域R2显示。

对上述的解析结果的提取举出一例，在以心脏的医用图像数据为对象的解析结果中，在检测钙化评分的算法的解析结果中包含检测钙化评分较高的区域的检测结果，在检测瓣的运动的算法的解析结果中包含检测表示异常的运动的区域的检测结果，在检测血流的算法的解析结果中没有检测到异常区域的情况下，提取功能153判定为心脏的瓣膜症的可能性较高，提取与瓣膜症关联的算法的解析结果。

如上述那样，提取功能153能够基于各种提取条件提取解析结果。并且，显示控制功能154使由提取功能153提取出的解析结果与医用图像一起显示。这里，显示控制功能154在提取了多个组的情况下能够以任意的顺序进行显示。例如，如图3所示，在对多个算法提取了解析结果的情况、或对多个疾病提取了解析结果的组的情况下，显示控制功能154例如可以以解析结果的置信度由高到低的顺序从上起进行显示。

此外，显示控制功能154在有与当前的解析结果同样的过去的解析结果的情况下，也可以取得过去的解析结果，使其与当前的解析结果并列而显示。即，显示控制功能154进行控制，以取得来自将以与医用图像数据中的部位相同的部位为对象而收集到的过去医用图像数据作为输入数据的多个已学习模型的多个解析结果，并使与基于医用图像数据的解析结果对应的基于过去医用图像数据的解析显示在相同的画面中。

图5A是表示有关第1实施方式的显示控制功能154的并列显示的一例的图。例如，显示控制功能154如图5A所示，能够使此次提取出的解析结果“算法A(2019/3/20)”与相同算法的过去的解析结果“算法A(2018/9/20)”并列显示。这里，在显示过去图像的情况下，显示控制功能154在进行当前的解析结果的显示图像与过去的解析结果的显示图像的对位的基础上进行并列显示。即，显示控制功能154显示表示被检体的相同位置的当前的图像和过去的图像。

这里，作为对象的过去的解析结果是对相同被检体的相同部位的相同图像数据施以了相同算法的全部的解析结果，但也可以是设定作为对象的期间的情况。例如，也可以将1年以内取得的解析结果设定为对象。

此外，例如作为对象的过去的解析结果也可以只是被放射线科医生或负责医生认可的解析结果。即，显示控制功能154在当前的解析结果和同样的过去的解析结果中仅取得被认可的解析结果，使所取得的过去的解析结果与当前的解析结果并列而显示。

此外，例如作为对象的过去的解析结果并不限于相同的算法，也可以是类似的解析结果。例如，在检测肺的结节的算法有2个的情况下，显示控制功能154也可以是作为一方的算法的解析结果的过去的解析结果而取得另一方的算法的解析结果的情况。

此外，显示控制功能154在使过去的解析结果并列显示的情况下，也可以提取差异点而显示。即，显示控制功能154进行控制，以提取基于医用图像数据的解析结果与基于过去医用图像数据的解析结果的差异点并显示。图5B是表示有关第1实施方式的由显示控制功能进行的并列显示的一例的图。例如，显示控制功能154如图5B所示，在过去的解析结果中被检测到的病变候选区域R4在当前的解析结果中没有被检测到的情况下，使表示在过去的解析结果中被检测到病变候选区域的标记R4’显示在与当前的解析结果的缩略图像上的对应的位置处。

放射线科医生或负责医生通过观察标记R4’的区域，能够验证在过去的解析结果中被检测到的病变候选区域R4在此次的解析结果中没有被检测到的理由是已学习模型的检测差错、还是病变已治好。

此外，显示控制功能154能够显示与医用图像数据的类别、医用图像数据的部位及解析结果的类别中的至少1个对应的医用图像。例如，显示控制功能154在医用图像数据是三维数据的情况下，如图3的右下所示，显示体绘制图像等的三维的医用图像。此外，例如显示控制功能154可以根据医用图像数据中的部位来显示容易观察的医用图像。

图6是表示由有关第1实施方式的显示控制功能154显示的医用图像的一例的图。在图6中，表示在医用图像的部位是大肠的情况下显示的医用图像。此外，在图6中，在上段表示展开前的大肠，在下段表示将大肠展开后的展开图像。例如，在部位是大肠的情况下，生成功能152如图6所示，将大肠30用切断线31切断，生成以展开轴32为中心展开的展开图像。显示控制功能154使由生成功能152生成的展开图像显示在显示区域R1中。

此外，例如显示控制功能154可以根据基于解析结果的疾病来显示容易观察的医用图像。例如，在与瓣膜症关联的解析结果中检测到异常的情况下，生成功能152生成从与作为对象的瓣的面平行的方向描绘瓣的医用图像。显示控制功能154使显示区域R1显示由生成功能152生成的医用图像。

此外，显示控制功能154在关于遍及被检体的大范围的医用图像数据取得了解析结果的情况下，也能够进行控制以显示表示多个解析结果的人体图。图7是表示由有关第1实施方式的显示控制功能154进行的显示的一例的图。例如，显示控制功能154如图7所示，在关于遍及被检体的大范围的医用图像数据取得了解析结果的情况下，显示在检测到异常的位置(图中的肺的位置)显示有标记的全身图。由此，放射线科医生及负责医生能够一眼掌握更关注而观察的位置，能够使医用图像的确认的效率提高。

如上述那样，在医用信息处理装置100中，通过将AI的解析结果分组并在显示区域中显示，使对应的医用图像显示在同一画面中，能够使由放射线科医生及负责医生花费的负荷减轻，使诊断效率提高，由此能够使AI的诊断辅助的有用性提高。

这里，在医用信息处理装置100中，能够使放射线科医生及负责医生认可的结果反映到外部信息中。具体而言，控制功能151能够使受理了认可操作的信息反映到外部信息中。例如，控制功能151能够使受理了认可操作的信息反映为医用报告、工作列表、向医生的通知及已学习模型的学习用数据中的至少1个。

图8是用来说明有关第1实施方式的控制功能151的处理的图。例如，在使认可的结果反映到工作列表中的情况下，控制功能151如图8的“No.4”所示，将“状态”更新为“完成(3)”。这里，“状态”内的括弧内的“3”表示被认可的数量。即，控制功能151对于“No.4”的被检体的医用图像数据的确认完成，更新为表示其中3个解析结果被认可的状态。

此外，例如控制功能151进行控制，以将受理了认可操作的解析结果向对应的被检体的医用报告转记。举出一例，控制功能151将包括表示受理了认可操作的病变候选区域的医用图像及病变候选区域的尺寸等的解析信息自动向医用报告转记。

此外，例如如果输入接口130受理了认可操作，则控制功能151通过向负责医生发送邮件等，通知发现了病变候选区域、其被认可。由此，例如在紧急时也能够将诊断结果迅速地向负责医生通知。

此外，例如控制功能151将受理了认可操作的解析结果作为算法的学习用数据向AI服务服务器200发送。由此，能够自动地收集学习用数据。此外，例如通过与过去的解析结果的比较而新检测到病变候选区域，并使用被认可的解析结果作为学习用数据，由此能够构建用来检测早期的病变的已学习模型。

以上，对医用信息处理装置100的处理电路150具有的各处理功能进行了说明。这里，在处理电路150由处理器实现的情况下，处理电路150具有的各处理功能以可由计算机执行的程序的形态被存储在存储电路120中。并且，处理电路150通过从存储电路120将各程序读出并执行，实现与各程序对应的功能。换言之，将各程序读出后的状态的处理电路150具有图1的处理电路150所示的各功能。另外，在图1中，假设由单一的处理器实现各处理功能而进行了说明，但也可以将多个独立的处理器组合而构成处理电路，通过各处理器执行程序来实现功能。此外，处理电路150具有的处理功能也可以由单一或多个处理电路适当地分散或合并来实现。此外，在图1所示的例子中，假设单一的存储电路120存储与各处理功能对应的程序而进行了说明，但也可以做成将多个存储电路分散地配置、处理电路从各自的存储电路中将对应的程序读出的结构。

接着，说明由医用信息处理装置100进行的处理的步骤。图9是表示由有关第1实施方式的医用信息处理装置100进行的处理的步骤的流程图。这里，图9中的步骤S101、S102、S109是通过处理电路150从存储电路120将与控制功能151对应的程序调出并执行而实现的步骤。此外，图9中的步骤S103是通过处理电路150从存储电路120将与提取功能153及显示控制功能154对应的程序调出并执行而实现的步骤。此外，图9中的步骤S104、S106是由输入接口130实现的步骤。此外，图9中的步骤S105是通过处理电路150从存储电路120将与生成功能152、显示控制功能154对应的程序调出并执行而实现的步骤。此外，图9中的步骤S107是通过处理电路150从存储电路120将与提取功能153对应的程序调出并执行而实现的步骤。此外，图9中的步骤S108是通过处理电路150从存储电路120将与显示控制功能154对应的程序调出并执行而实现的步骤。

如图9所示，在医用信息处理装置100中，处理电路150首先从AI服务服务器200接受处理结果(步骤S101)，判定是否开始了阅片(步骤S102)。这里，如果阅片被开始(步骤S102，肯定)，则处理电路150将多个处理结果以默认的显示形态进行分组显示(步骤S102)。例如，处理电路150按照算法提取解析结果，按照每个算法显示解析结果。

并且，在输入接口130受理了对于处理结果的操作的情况下(步骤S104)，处理电路150执行与所受理的操作对应的处理(步骤S105)。例如，处理电路150如果被指定病变候选区域，则生成并显示对应的医用图像。此外，例如处理电路150如果病变候选区域被认可，则使其反映到外部信息中。

另一方面，在输入接口130没有受理对于处理结果的操作的情况下(步骤S104)，输入接口130还判定组是否被变更(步骤S106)。这里，输入接口130在组被变更的情况下(步骤S106，肯定)，处理电路150按照变更后的每个组提取处理结果(步骤S107)，以被变更后的显示形态将处理结果进行分组显示(步骤S108)。

在步骤S105之后以及在步骤S106的判定中为否定的情况下，处理电路150判定是否结束阅片(步骤S109)。这里，在没有受理结束的情况下(步骤S109，否定)，继续步骤S104的判定处理。另一方面，在受理了结束的情况下(步骤S109，肯定)，医用信息处理装置100结束处理。

如上述那样，根据第1实施方式，控制功能151取得从作为输入数据而被输入了医用图像数据的多个解析处理分别输出的多个输出数据。提取功能153基于提取条件，从多个输出数据中有选择地提取多个输出数据。显示控制功能154进行控制，以显示与由提取功能153提取出的多个输出数据对应的多个信息、和关联于多个信息的某个并根据医用图像数据生成的医用图像。因而，有关本实施方式的医用信息处理装置100能够使AI的解析结果以容易观察的形态显示，能够使解析结果的确认效率提高，使诊断辅助的有用性提高。

此外，根据第1实施方式，多个解析结果分别包括反映了解析处理的解析结果的缩略图像和关于该解析结果的解析信息。显示控制功能154进行控制，以使与多个解析结果中的被选择的解析结果关联的医用图像和多个解析并列显示。因而，有关本实施方式的医用信息处理装置100能够在同一个显示画面内确认与解析结果关联的医用图像，能够使解析结果的确认效率提高。

此外，根据第1实施方式，多个解析结果分别包括表示由解析处理检测到的解析结果的位置的缩略图像和该解析结果的位置的解析信息。显示控制功能154进行控制，以使与多个解析结果中的被选择的信息的解析结果的位置对应的医用图像和多个解析结果并列显示。因而，有关第1实施方式的医用信息处理装置100能够显示容易确认的解析结果。

此外，根据第1实施方式，提取功能153按照多个解析处理的每个类别提取输出数据。显示控制功能154进行控制，以使与多个输出数据对应的多个解析结果按照解析处理的每个类别显示。因而，有关第1实施方式的医用信息处理装置100能够容易地确认各个解析处理的结果。

此外，根据第1实施方式，提取功能153提取与每个疾病关联的输出数据。显示控制功能154进行控制，以使多个输出数据按照每个疾病显示。因而，有关第1实施方式的医用信息处理装置100对于关注的疾病能够容易地进行综合性的解析结果的确认。

此外，根据第1实施方式，提取功能153基于多个输出数据的结果来推断关联的疾病，按照所推断的每个疾病提取关联的输出数据。显示控制功能154进行控制，以使多个输出数据按照每个疾病显示。因而，有关第1实施方式的医用信息处理装置100能够使与可能性较高的疾病关联的解析结果自动地显示，能够使确认效率进一步提高。

此外，根据第1实施方式，输入接口130受理变更提取条件的操作。因而，有关第1实施方式的医用信息处理装置100能够容易地进行希望的分组。

此外，根据第1实施方式，显示控制功能154进行控制，以取得来自将与医用图像数据中的部位相同的部位为对象而收集到的过去医用图像数据作为输入数据的多个解析处理的多个输出数据，并使与基于医用图像数据的解析结果对应的基于过去医用图像数据的解析结果并列显示。因而，有关第1实施方式的医用信息处理装置100能够容易地进行与过去的信息的比较。

此外，根据第1实施方式，显示控制功能154进行控制，以提取并显示基于医用图像数据的解析结果与基于过去医用图像数据的解析结果的差异点。因而，有关第1实施方式的医用信息处理装置100能够容易地掌握与过去的结果的差异。

此外，根据第1实施方式，输入接口130受理对于与由提取功能153提取出的多个输出数据对应的多个解析结果的认可操作。控制功能151使受理了认可操作的信息反映到外部信息中。因而，有关第1实施方式的医用信息处理装置100能够有效地利用被认可的信息。

此外，根据第1实施方式，控制功能151使受理了认可操作的信息反映为医用报告、工作列表、向医生的通知以及用来制作已学习模型的学习用数据中的至少1个。因而，有关第1实施方式的医用信息处理装置100能够将被认可的信息作为各种信息有效地利用。

此外，根据第1实施方式，显示控制功能154显示与医用图像数据的类别、医用图像数据的部位及解析结果的类别中的至少1个对应的医用图像。因而，有关第1实施方式的医用信息处理装置100能够使在观察中需要的医用图像及容易观察的医用图像自动地显示。

此外，根据第1实施方式，显示控制功能154进行控制，以使表示与由控制功能151取得的多个输出数据对应的多个解析结果的人体图显示。因而，有关第1实施方式的医用信息处理装置100能够直观地掌握应关注的区域。

(第2实施方式)

以上对第1实施方式进行了说明，但在上述的第1实施方式以外，可以以各种不同的形态实施。

在上述的实施方式中表示的显示例只不过是一例，也可以以其他各种形态显示。例如，显示图像的数量并不限于4个，也可以是3个以下或5个以上。

此外，在上述的实施方式中，举作为在诊断辅助中利用的解析处理而使用通过机器学习生成的已学习模型的情况为例进行了说明。但是，实施方式并不限定于此，例如也可以是使用CAD(Computer－Aided Diagnosis，计算机辅助诊断)等的其他解析处理的情况。在此情况下，例如控制功能151取得多个应用的解析处理的结果。并且，提取功能153将由控制功能151取得的多个解析处理的结果分组。显示控制功能154进行控制，以使分组后的解析处理的结果和与该结果关联的医用图像并列显示。另外，由多个应用进行的解析处理既可以是由与医用信息处理装置100不同的装置执行的情况，或者也可以是由医用信息处理装置100执行的情况。

此外，在上述的实施方式中，对AI服务服务器200具备多个已学习模型、根据医用图像数据(输入数据)的输入而将输出数据输出的情况进行了说明。但是，实施方式并不限定于此，例如，也可以是医用信息处理装置100具备多个已学习模型、根据医用图像数据(输入数据)的输入而将输出数据输出的情况。在此情况下，提取功能153将由本装置输出的多个解析处理的结果分组。

此外，在上述的实施方式中，对用同一个画面显示医用图像和解析处理的结果(缩略图像及解析信息等)的情况进行了说明。但是，实施方式并不限定于此，只要使医用图像与解析处理的结果并列显示，怎样的显示形态都可以。例如，也可以是显示器140由多个显示器构成、使并列配置的两个显示器的一方显示医用图像、使另一方的显示器显示解析处理的结果的情况。

此外，在上述的实施方式中，对用同一个画面显示当前时刻的缩略图像和过去的缩略图像的情况进行了说明。但是，实施方式并不限定于此，只要是使当前时刻的缩略图像与过去的缩略图像并列显示，怎样的显示形态都可以。例如，显示器140也可以是显示器140由多个显示器构成、使并列配置的两个显示器的一方显示当前时刻的缩略图像、使另一方的显示器显示过去的缩略图像的情况。

此外，在上述的实施方式中，对通过受理下拉菜单21的操作来变更显示的组的情况进行了说明。但是，实施方式并不限定于此，也可以是设置各个提取条件的标签(tag)、通过选择标签来变更显示的组的情况。在此情况下，显示控制功能154使显示器140显示包括显示有用来识别提取条件(组)的标示(label)的标签的显示画面。并且，显示控制功能154根据经由输入接口130的标签的选择操作，使显示画面显示与所选择的标签对应的组的解析结果及医用图像。例如，显示控制功能154使显示器140显示包括显示有用来识别算法、疾病或置信度等的组的标示的标签的显示画面，使与标签的选择对应的解析结果及医用图像显示在显示画面中。

此外，在上述的实施方式中，对在接着进行诊断的被检体的选择中使用工作列表的情况进行了说明。但是，实施方式并不限定于此，也可以是在显示的组的选择中使用工作列表的情况。在此情况下，显示控制功能154使显示器140除了被检体的信息以外还显示包括用来识别组的识别信息的工作列表。并且，显示控制功能154根据对于工作列表中包含的识别信息的选择操作，使显示画面显示与所选择的标签对应的组的解析结果及医用图像。

例如，显示控制功能154将用来识别算法、疾病或置信度等的组的识别信息与被检体的信息进一步建立对应而显示。并且，显示控制功能154根据被检体及识别信息的选择，使对应的组的解析结果及医用图像显示在显示画面中。例如，在图3所示的显示画面的情况下，显示控制功能154将由工作列表选择的组看作是由下拉菜单21选择的，使对应的解析结果及医用图像分别显示在显示区域中。此外，例如在包括显示有用来识别组的标示的标签的显示画面的情况下，显示控制功能154通过在由工作列表选择的组的标签被选择的状态下使显示画面显示，显示对应的解析结果及医用图像。

此外，在上述的实施方式中，对将受理了认可操作的解析结果向对应的被检体的医用报告转记的情况进行了说明。但是，实施方式并不限定于此，例如也可以是设置报告转记按钮(GUI)、对应于报告转记按钮的按下而将解析结果向对应的被检体的医用报告转记的情况。

在此情况下，显示控制功能154使报告转记按钮显示在显示画面中。控制功能151使在报告转记按钮被按下的定时受理了认可操作的解析结果反映到医用报告中。例如，如果每当认可操作被执行就按下报告转记按钮，则控制功能151将被执行了认可操作的解析结果一个个地向医用报告转记。另一方面，如果在多个认可操作被执行后按下报告转记按钮，则控制功能151将与到报告转记按钮被按下为止所受理的多个认可操作对应的多个解析结果一起向医用报告转记。

在上述说明中使用的“处理器”的词语，例如是指CPU(Central Processing Unit，中央处理单元)、GPU(Graphics Processing Unit，图形处理单元)、或者面向特定用途的集成电路(Application Specific Integrated Circuit：ASIC，专用集成电路)、可编程逻辑器件(例如、单纯可编程逻辑器件(Simple Programmable Logic Device：SPLD)、复合可编程逻辑器件(Complex Programmable Logic Device：CPLD)、及现场可编程门阵列(FieldProgrammable Gate Array：FPGA))等的电路。处理器通过将保存在存储电路142中的程序读出并执行而实现功能。另外，也可以代替向存储电路142保存程序而构成为向处理器的电路内直接装入程序。在此情况下，处理器通过将装入在电路内的程序读出并执行而实现功能。另外，本实施方式的处理器并不限于构成为单一的电路的情况，也可以将多个独立的电路组合而构成为1个处理器，实现其功能。

这里，由处理器执行的程序(医用信息处理程序)被预先装入到ROM(Read OnlyMemory)或存储电路等中而提供。另外，也可以将该程序以能够安装到这些装置中的形式或可执行的形式的文件记录到CD(Compact Disk)－ROM、FD(Flexible Disk)、CD－R(Recordable)、DVD(Digital Versatile Disk)等的能够由计算机读取的存储介质中而提供。此外，也可以将该程序保存到连接于因特网等的网络上的计算机上，通过经由网络下载来提供或分发。例如，该程序由包括上述各功能部的模块构成。作为实际的硬件，通过CPU从ROM等的存储介质将程序读出并执行，将各模块装载到主存储装置上，在主存储装置上生成。

根据以上说明的至少1个实施方式，能够使诊断辅助的有用性提高。

说明了本发明的几个实施方式，但这些实施方式是作为例子提示的，不是要限定发明的范围。这些实施方式能够以其他的各种各样的形态实施，在不脱离发明的主旨的范围内能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，同样包含在权利要求书所记载的发明和其等价的范围中。

Claims (14)

1.一种医用信息处理装置，其特征在于，

具备：

取得部，取得从作为输入数据而被输入了医用图像数据的多个解析处理分别输出的多个输出数据；

提取部，基于提取条件，从上述多个输出数据中有选择地提取多个输出数据；以及

显示控制部，进行控制，以显示与由上述提取部提取出的多个输出数据对应的多个信息、和与上述多个信息的某个关联并根据上述医用图像数据而生成的医用图像。

2.如权利要求1所述的医用信息处理装置，其特征在于，

上述多个信息分别包括反映了上述解析处理的解析结果的缩略图像和关于该解析结果的解析信息；

上述显示控制部进行控制，以将与多个信息中的被选择的信息关联的医用图像与上述多个信息并列显示。

3.如权利要求2所述的医用信息处理装置，其特征在于，

上述多个信息分别包括表示由上述解析处理检测到的解析结果的位置的缩略图像和该解析结果的位置的解析信息；

上述显示控制部进行控制，以将与多个信息中的被选择的信息中的上述解析结果的位置对应的医用图像与上述多个信息并列显示。

4.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

上述提取部按照上述多个解析处理的每个类别提取上述输出数据；

上述显示控制部进行控制，以使与上述多个输出数据对应的多个信息按照上述解析处理的每个类别显示。

5.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

上述提取部提取与每个疾病关联的输出数据；

上述显示控制部进行控制，以使上述多个输出数据按照上述每个疾病显示。

6.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

上述提取部基于上述多个输出数据的结果推断关联的疾病，按照所推断的每个疾病提取关联的输出数据；

上述显示控制部进行控制，以使上述多个输出数据按照上述每个疾病显示。

7.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，还具备用来变更上述提取条件的受理部。

8.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

上述显示控制部进行控制，以取得来自将以与上述医用图像数据中的部位相同的部位为对象而收集到的过去医用图像数据作为输入数据的上述多个解析处理的多个输出数据，并将与基于上述医用图像数据的上述信息对应的基于上述过去医用图像数据的信息并列显示。

9.如权利要求8所述的医用信息处理装置，其特征在于，

上述显示控制部进行控制，以提取并显示基于上述医用图像数据的上述信息与基于上述过去医用图像数据的信息的差异点。

10.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

还具备：

受理部，受理对于与由上述提取部提取的多个输出数据对应的多个信息的认可操作；以及

控制部，使受理了上述认可操作的信息反映到外部信息中。

11.如权利要求10所述的医用信息处理装置，其特征在于，

上述控制部使受理了上述认可操作的信息反映为医用报告、工作列表、向医生的通知及用来制作已学习模型的学习用数据中的至少1个。

12.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

上述显示控制部使与上述医用图像数据的类别、上述医用图像数据的部位及上述信息的类别中的至少1个对应的医用图像显示。

13.如权利要求1～3中任一项所述的医用信息处理装置，其特征在于，

上述显示控制部进行控制，以使表示与由上述取得部取得的多个输出数据对应的多个信息的人体图显示。

14.一种医用信息处理方法，其特征在于，

包括：

取得从作为输入数据而被输入了医用图像数据的多个解析处理分别输出的多个输出数据；

基于提取条件，从上述多个输出数据中有选择地提取多个输出数据；

进行控制，以显示与所提取出的多个输出数据对应的多个信息、和与上述多个信息的某个关联并根据上述医用图像数据生成的医用图像。

Images