CN116762143A - 信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序 - Google Patents

信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序 Download PDF

Info

Publication number
CN116762143A
CN116762143A CN202180086135.2A CN202180086135A CN116762143A CN 116762143 A CN116762143 A CN 116762143A CN 202180086135 A CN202180086135 A CN 202180086135A CN 116762143 A CN116762143 A CN 116762143A
Authority
CN
China
Prior art keywords
input data
feature quantity
dementia
learning
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086135.2A
Other languages
English (en)
Inventor
李元中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116762143A publication Critical patent/CN116762143A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供一种信息处理装置，其具备：处理器；及存储器，连接或内置于处理器，处理器进行如下处理：关于输入多种输入数据并输出与输入数据相对应的输出数据的机器学习模型，在将根据多种输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向机器学习模型输入了输入数据的多个样品的标记的散布图；将散布图、输入数据及输出数据的类别显示于显示器。

Description

信息处理装置、信息处理装置的工作方法、信息处理装置的工 作程序
技术领域
本发明的技术涉及一种信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序。
背景技术
在机器学习的领域中，最近将多种数据作为机器学习模型的输入数据的、所谓的多模式学习受到关注。例如，在日本特表2019-530116号公报中记载了除了MRI(MagneticResonance Imaging：磁共振成像)图像等医用图像以外，还将患者的基因数据等输入到机器学习模型的多模式医用图像处理的技术。
发明内容
发明要解决的技术课题
在机器学习的领域中，存在欲根据输入数据来验证从机器学习模型输出的输出数据的有效性，在获得认可感之后采用输出数据的要求。作为验证输出数据的有效性的方法，可考虑参考与验证输出数据的有效性的对象的样品类似的其他样品的方法。然而，在多模式学习的情况下输入数据为多种且样品彼此的类似性难以理解，因此难以验证输出数据的有效性。
本发明的技术所涉及的一种实施方式提供一种在多模式学习中能够容易地验证从机器学习模型输出的输出数据的有效性的信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序。
用于解决技术课题的手段
本发明的信息处理装置具备：处理器；及存储器，连接或内置于处理器，处理器进行如下处理：关于输入多种输入数据并输出与输入数据相对应的输出数据的机器学习模型，在将根据多种输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向机器学习模型输入了输入数据的多个样品的标记的散布图；将散布图、输入数据及输出数据的类别显示于显示器。
优选，处理器进行如下处理：将标记以能够选择的方式显示于散布图；在选择了标记的情况下，至少显示与所选择的标记相对应的样品的输入数据。
优选，处理器能够比较地显示至少2个样品的输入数据及输出数据的类别。
优选，标记表示输出数据的类别。
优选，标记表示输出数据与实际结果的一致或不一致。
优选，处理器将与多种输入数据中的预先设定的2个相关的参数作为横轴及纵轴。
优选，机器学习模型通过能够导出多种输入数据各自对输出数据的贡献度的方法来构建，处理器将与多种输入数据中的贡献度为第一和第二的输入数据相关的参数作为横轴及纵轴。
优选，机器学习模型通过线性判别分析及提升中的任一方法来构建。
优选，处理器将与多种输入数据中的由用户指定的2个相关的参数作为横轴及纵轴。
优选，处理器使用t分布随机邻域嵌入法来生成散布图。
优选，多种输入数据包含特征量数据，上述特征量数据通过将从图像中提取的多个对象区域的对象区域图像输入到与多个对象区域各自相对应地准备的特征量导出模型来获得。
优选，特征量导出模型包括自动编码器、单任务的类别判别用卷积神经网络及多任务的类别判别用卷积神经网络中的至少任一个。
优选，图像为医用图像，对象区域为器官的解剖区域，机器学习模型输出疾病的诊断意见作为输出数据。
优选，多种输入数据包含与疾病相关的疾病相关信息。
优选，器官为脑，疾病为痴呆症。此时优选，解剖区域包括海马体及前颞叶中的至少任一个。
本发明的信息处理装置的工作方法包括如下步骤：关于输入多种输入数据并输出与输入数据相对应的输出数据的机器学习模型，在将根据多种输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向机器学习模型输入了输入数据的多个样品的标记的散布图；及将散布图、输入数据及输出数据的类别显示于显示器。
本发明的信息处理装置的工作程序使计算机执行包括如下步骤的处理：关于输入多种输入数据并输出与输入数据相对应的输出数据的机器学习模型，在将根据多种输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向机器学习模型输入了输入数据的多个样品的标记的散布图；及将散布图、输入数据及输出数据的类别显示于显示器。
发明效果
根据本发明的技术，能够提供一种在多模式学习中能够容易地验证从机器学习模型输出的输出数据的有效性的信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序。
附图说明
图1是表示包括诊断辅助装置的医疗系统的图。
图2是表示痴呆症相关信息的图。
图3是表示构成诊断辅助装置的计算机的框图。
图4是表示诊断辅助装置的CPU的处理部的框图。
图5是表示标准化部的处理的图。
图6是表示提取部的处理的图。
图7是表示特征量导出部的处理的图。
图8是表示痴呆症诊断意见导出部的处理的图。
图9是表示自动编码器和单任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。
图10是卷积处理的说明图。
图11是表示运算数据的结构的图。
图12是表示池化处理的说明图。
图13是表示输出部的详细结构的图。
图14是表示自动编码器及单任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。
图15是表示提供给自动编码器的损失的权重的变化的曲线图。
图16是表示痴呆症诊断意见导出模型的学习阶段中的处理的概要的图。
图17是表示样品信息的图。
图18是表示贡献度信息及轴设定信息的图。
图19是表示生成散布图的状态的图。
图20是表示第1显示画面的图。
图21是表示第2显示画面的图。
图22是表示验证画面的图。
图23是表示验证画面的图。
图24是表示诊断辅助装置的处理步骤的流程图。
图25是表示痴呆症诊断意见导出模型的另一例的图。
图26是表示将与由用户指定的2个输入数据相关的参数作为横轴及纵轴的方式的图。
图27是表示使用t分布随机邻域嵌入法来生成散布图的方式的图。
图28是表示自动编码器的结构及特征量导出模型的成立的图。
图29是表示自动编码器的学习阶段中的处理的概要的图。
图30是表示第2实施方式的痴呆症诊断意见导出部的处理的图。
图31是表示单任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。
图32是表示单任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。
图33是表示多任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。
图34是表示多任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。
图35是表示第5实施方式的特征量导出部的处理的图。
图36是表示痴呆症诊断意见信息的另一例的图。
图37是表示痴呆症诊断意见信息的另一例的图。
图38是表示痴呆症诊断意见信息的又一例的图。
具体实施方式
[第1实施方式]
作为一例，如图1所示，医疗系统2具备MRI装置10、PACS(图片存档和通信系统，Picture Archiving and Communication System)服务器11、电子病历服务器12及诊断辅助装置13。这些MRI装置10、PACS服务器11、电子病历服务器12及诊断辅助装置13与铺设于医疗设施内的LAN(局域网，Local Area Network)14连接，能够经由LAN14彼此通信。
MRI装置10拍摄患者P的头部并输出头部MRI图像15。头部MRI图像15是表示患者P的头部的三维形状的体素数据。在图1中，示出了弧矢截面的头部MRI图像15S。MRI装置10将头部MRI图像15发送到PACS服务器11。PACS服务器11存储并管理来自MRI装置10的头部MRI图像15。电子病历服务器12存储并管理患者P的电子病历。在电子病历中存储有与患者P的痴呆症相关的痴呆症相关信息16。另外，头部MRI图像15为本发明的技术所涉及的“图像”及“医用图像”的一例。并且，痴呆症为本发明的技术所涉及的“疾病”的一例，痴呆症相关信息16为本发明的技术所涉及的“疾病相关信息”的一例。
诊断辅助装置13例如为台式个人电脑，具备显示器17及输入设备18。输入设备18为键盘、鼠标、触摸面板、麦克风等。医师对输入设备18进行操作，对PACS服务器11发送患者P的头部MRI图像15的传送请求。PACS服务器11搜索被请求传送的患者P的头部MRI图像15并传送至诊断辅助装置13。并且，医师对电子病历服务器12发送患者P的痴呆症相关信息16的传送请求。电子病历服务器12搜索被请求传送的患者P的痴呆症相关信息16并传送至诊断辅助装置13。诊断辅助装置13将从PACS服务器11传送的头部MRI图像15及从电子病历服务器12传送的痴呆症相关信息16显示于显示器17。医师观察拍摄于头部MRI图像15的患者P的脑，参考痴呆症相关信息16的同时，进行患者P的痴呆症诊断。诊断辅助装置13为本发明的技术所涉及的“信息处理装置”的一例。并且，脑为本发明的技术所涉及的“器官”的一例。而且，医师为本发明的技术所涉及的“用户”的一例。另外，图1中，MRI装置10及诊断辅助装置13分别仅描绘了1台，但MRI装置10及诊断辅助装置13分别可以是多台。
作为一例，如图2所示，痴呆症相关信息16包含简易精神状况检查(以下，简称为MMSE(Mini-Mental State Examination))的分数、FAQ(Functi onal activitiesquestionnaire：功能活动问卷)、临床痴呆症评定量表(以下，简称为CDR(ClinicalDementia Rating))及阿尔茨海默病的评价量表(以下，简称为ADAS-Cog(Alzheimer’sDisease Assessment Scale-co gnitive subscale))等痴呆症测试的分数。
并且，痴呆症相关信息16包含患者P的年龄及ApoE基因的基因型。ApoE基因的基因型为ε2、ε3、ε4这3种ApoE基因中的2种的组合(ε2和ε3、ε3和ε4等)。相对于完全没有ε4的基因型(ε2和ε3、ε3和ε3等)，具有1个或2个ε4的基因型(ε2和ε4、ε4和ε4等)的阿尔茨海默病的发病风险成为约3倍～12倍。
另外，除了这些以外，还可以在痴呆症相关信息16中包含长谷川式痴呆症量表的分数、里弗米德行为记忆检查(RBMT；Rivermead Behavioural Memory Test)的分数、日常生活活动能力(ADL；Activities of Daily Living)等痴呆症测试的分数。并且，可以在痴呆症相关信息16中包含淀粉样β测定值及tau蛋白测定值等脑脊髓液检查的检查结果。而且，可以在痴呆症相关信息16中包含载脂蛋白测定值、补体蛋白测定值及甲状腺素运载蛋白测定值等血液检查的检查结果。并且，可以将患者P的性别、病历、或者患者P是否有出现了痴呆症的亲戚等包含在痴呆症相关信息16中。
作为一例，如图3所示，构成诊断辅助装置13的计算机除了前述显示器17及输入设备18以外，还具备存储装置(storage)20、存储器(memory)21、CPU(中央处理器，CentralProcessing Unit)22及通信部23。它们经由总线24彼此连接。另外，CPU22为本发明的技术所涉及的“处理器”的一例。
存储装置20为内置于构成诊断辅助装置13的计算机或通过电缆、网络与构成诊断辅助装置13的计算机连接的硬盘驱动器。或者，存储装置20为联装多台硬盘驱动器而成的磁盘阵列。在存储装置20存储有操作系统等控制程序、各种应用程序及这些程序附带的各种数据等。另外，也可以代替硬盘驱动器使用固态驱动器。
存储器21是用于CPU22执行处理的工作存储器。CPU22将存储于存储装置20的程序加载至存储器21，并执行按照程序的处理。由此，CPU22集中控制计算机的各部。通信部23进行与PACS服务器11等外部装置的各种信息的传输控制。另外，存储器21可以内置于CPU22。
作为一例，如图4所示，在诊断辅助装置13的存储装置20存储有工作程序30。工作程序30为用于使计算机作为本发明的技术所涉及的信息处理装置发挥作用的应用程序。即，工作程序30是本发明的技术所涉及的“信息处理装置的工作程序”的一例。在存储装置20中还存储有头部MRI图像15、痴呆症相关信息16、标准头部MRI图像35、分割模型36。并且，在存储装置20中还存储有由多个特征量导出模型37构成的特征量导出模型组38、痴呆症诊断意见导出模型39、由多个样品信息40构成的样品信息组41及轴设定信息42。
若工作程序30被启动，则构成诊断辅助装置13的计算机的CPU22与存储器21等协同而作为读写(以下，简称为RW(Read Write))控制部45、标准化部46、提取部47、特征量导出部48、痴呆症诊断意见导出部49及显示控制部50发挥作用。
RW控制部45控制各种数据向存储装置20的存储及存储装置20内的各种数据的读出。例如，RW控制部45接收来自PACS服务器11的头部MRI图像15，并将所接收的头部MRI图像15存储于存储装置20。并且，RW控制部45接收来自电子病历服务器12的痴呆症相关信息16，并将所接收的痴呆症相关信息16存储于存储装置20。另外，在图4中，头部MRI图像15及痴呆症相关信息16在存储装置20中仅存储有1个，但是头部MRI图像15及痴呆症相关信息16也可以在存储装置20中存储有多个。
RW控制部45从存储装置20读出为了诊断痴呆症而由医师指定的患者P的头部MRI图像15及痴呆症相关信息16。RW控制部45将所读出的头部MRI图像15输出到标准化部46及显示控制部50。并且，RW控制部45将所读出的痴呆症相关信息16输出到痴呆症诊断意见导出部49及显示控制部50。
RW控制部45从存储装置20读出标准头部MRI图像35，并将所读出的标准头部MRI图像35输出到标准化部46。RW控制部45从存储装置20读出分割模型36，并将所读出的分割模型36输出到提取部47。RW控制部45从存储装置20读出特征量导出模型组38，并将所读出的特征量导出模型组38输出到特征量导出部48。RW控制部45从存储装置20读出痴呆症诊断意见导出模型39，并将所读出的痴呆症诊断意见导出模型39输出至痴呆症诊断意见导出部49。RW控制部45从存储装置20读出样品信息组41，并将所读出的样品信息组41输出到显示控制部50。而且，RW控制部45从存储装置20读出轴设定信息42，并将所读出的轴设定信息42输出到显示控制部50。
标准化部46进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理，将头部MRI图像15作为标准化头部MRI图像55。标准化部46将标准化头部MRI图像55输出至提取部47。
标准头部MRI图像35是标准的形状、大小及浓度(像素值)的拍摄了脑的头部MRI图像。标准头部MRI图像35例如为通过对多个健康者的头部MRI图像15进行平均来生成的图像或者通过计算机绘图来生成的图像。
提取部47将标准化头部MRI图像55输入到分割模型36。分割模型36为按拍摄于标准化头部MRI图像55的脑的每个像素赋予表示左海马体、右海马体、左前颞叶、右前颞叶等脑的各解剖区域的标签的、进行所谓的语义分割的机器学习模型。提取部47根据分割模型36所赋予的标签，从标准化头部MRI图像55提取脑的多个解剖区域的图像(以下，称为解剖区域图像)56。提取部47将由多个解剖区域的每一个的多个解剖区域图像56构成的解剖区域图像组57输出到特征量导出部48。另外，解剖区域为本发明的技术所涉及的“对象区域”的一例。并且，解剖区域图像56为本发明的技术所涉及的“对象区域图像”的一例。
特征量导出模型37按每一个解剖区域图像56逐一准备(参考图7)。特征量导出部48将解剖区域图像56输入到相对应的特征量导出模型37。然后，从特征量导出模型37输出汇总特征量ZA。特征量导出部48将由与多个解剖区域图像56相对应的多个汇总特征量ZA构成的汇总特征量组ZAG输出到痴呆症诊断意见导出部49。另外，汇总特征量ZA为本发明的技术所涉及的“特征量数据”的一例。
痴呆症诊断意见导出部49将痴呆症相关信息16及汇总特征量组ZAG输入到痴呆症诊断意见导出模型39。然后，从痴呆症诊断意见导出模型39输出表示痴呆症诊断意见的痴呆症诊断意见信息58。痴呆症诊断意见导出部49将痴呆症诊断意见信息58输出到显示控制部50。另外，痴呆症诊断意见导出模型39为本发明的技术所涉及的“机器学习模型”的一例。并且，构成痴呆症相关信息16的MMSE的分数、CDR及年龄等以及构成汇总特征量组ZAG的多个汇总特征量ZA为本发明的技术所涉及的“输入数据”的一例。而且，痴呆症诊断意见信息58为本发明的技术所涉及的“输出数据”的一例。
显示控制部50控制各种画面向显示器17的显示。在各种画面中包括用于指示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的第1显示画面150(参考图20)、显示痴呆症诊断意见信息58的第2显示画面155(参考图21)、用于验证痴呆症诊断意见信息58的有效性的验证画面160(参考图22及图23)等。
作为一例，如图5所示，标准化部46对头部MRI图像15进行形状标准化处理65及浓度标准化处理66作为标准化处理。形状标准化处理65例如为如下处理，即，从头部MRI图像15及标准头部MRI图像35提取成为对位基准的界标，以使头部MRI图像15的界标与标准头部MRI图像35的界标的相关成为最大的方式，按照标准头部MRI图像35对头部MRI图像15进行平移、旋转和/或放大缩小。浓度标准化处理66例如为按照标准头部MRI图像35的浓度直方图对头部MRI图像15的浓度直方图进行校正的处理。
作为一例，如图6所示，提取部47提取左海马体的解剖区域图像56_1、右海马体的解剖区域图像56_2、左前颞叶的解剖区域图像56_3及右前颞叶的解剖区域图像56_4作为解剖区域图像56。如上所述，解剖区域优选包括海马体及前颞叶中的至少任一个，更优选包括海马体及前颞叶全部。前颞叶是指颞叶的前部。另外，除了这些以外，提取部47还可以提取额叶、枕叶、丘脑、丘脑下部、扁桃体、脑下垂体、乳头体、胼胝体、穹窿、侧脑室等各解剖区域的解剖区域图像56。由提取部47进行的使用了分割模型36的解剖区域的提取例如使用下述文献中所记载的方法。
＜Patrick McClure，etc.，Knowing What You Know in Brain Segmenta tionUsing Bayesian Deep Neural Networks，Front.Neuroinform.，17Oct ober 2019.＞
作为一例，如图7所示，特征量导出部48将左海马体的解剖区域图像56_1输入到左海马体的特征量导出模型37_1，并从左海马体的特征量导出模型37_1输出左海马体的汇总特征量ZA_1。
同样地，特征量导出部48将右海马体的解剖区域图像56_2输入到右海马体的特征量导出模型37_2，将左前颞叶的解剖区域图像56_3输入到左前颞叶的特征量导出模型37_3。并且，将右前颞叶的解剖区域图像56_4输入到右前颞叶的特征量导出模型37_4。然后，从右海马体的特征量导出模型37_2输出右海马体的汇总特征量ZA_2，从左前颞叶的特征量导出模型37_3输出左前颞叶的汇总特征量ZA_3。并且，从右前颞叶的特征量导出模型37_4输出右前颞叶的汇总特征量ZA_4。如上所述，多个解剖区域图像56分别输入到相对应的特征量导出模型37，由此从各特征量导出模型37输出每一个解剖区域图像56的多个汇总特征量ZA。
作为一例，如图8所示，痴呆症诊断意见导出部49将痴呆症相关信息16及汇总特征量组ZAG输入到痴呆症诊断意见导出模型39。然后，从痴呆症诊断意见导出模型39，输出当前轻度认知障碍(MCI；Mild Cognitive Impairmen t)的患者P在2年后也仍为轻度认知障碍、或者在2年后进展为阿尔茨海默病(AD；Alzheimer’s Disease)中的任一者，作为痴呆症诊断意见信息58。另外，以下，将“当前轻度认知障碍的患者P在2年后也仍为轻度认知障碍”标记为sMCI(Stable MCI：稳定型MCI)。并且，将“当前轻度认知障碍的患者P在2年后进展为阿尔茨海默病”标记为cMCI(convert MCI：转化型MCI)。
痴呆症诊断意见导出模型39具有分位标准化部70及线性判别分析部71。对分位标准化部70输入痴呆症相关信息16及汇总特征量组ZAG。分位标准化部70进行如下分位标准化(Quantile Normalization)：为了将痴呆症相关信息16的MMSE的分数等和构成汇总特征量组ZAG的多个汇总特征量ZA处理为相同列，将这些转换为按照标准分布的数据。线性判别分析部71对分位标准化处理后的痴呆症相关信息16及汇总特征量组ZAG进行线性判别分析(Linear Dis criminant Analysis)，其结果，输出痴呆症诊断意见信息58。即，痴呆症诊断意见导出模型39通过线性判别分析的方法来构建。
作为一例，如图9所示，在特征量导出模型37中使用组合了自动编码器(以下，简称为AE(Auto Encoder))80和单任务的类别判别用卷积神经网络(以下，简称为单任务CNN(Convolutional Neural Network))81的模型。AE80具有压缩部82和复原部83。对压缩部82输入解剖区域图像56。压缩部82将解剖区域图像56转换为特征量集84。特征量集84由多个特征量Z1、Z2、……、ZN构成。另外，N为特征量的个数，例如为数十个～数十万个。压缩部82将特征量集84传递到复原部83。复原部83根据特征量集84生成解剖区域图像56的复原图像85。
单任务CNN81具有压缩部82和输出部86。即，压缩部82在AE80和单任务CNN81中被共用。压缩部82将特征量集84传递到输出部86。输出部86根据特征量集84输出1个类别87。在图9中，输出部86输出sMCI及cMCI中的任一个判别结果作为类别87。并且，输出部86输出汇总了构成特征量集84的多个特征量Z的汇总特征量ZA。
作为一例，压缩部82通过进行如图10所示的卷积运算，将解剖区域图像56转换为特征量集84。具体而言，压缩部82具有由“conv(卷积(convoluti on)的缩写)”表示的卷积层90。卷积层90将例如3×3的滤波器93应用于具有二维排列的多个要件91的对象数据92。然后，对要件91中的1个注目要件91I的要件值e和与注目要件91I相邻的8个要件91S的要件值a、b、c、d、f、g、h、i进行卷积。卷积层90使注目要件91I每次偏移1个要件的同时，对对象数据92的各要件91依次进行卷积运算，输出运算数据95的要件94的要件值。由此，与对象数据92同样地，可获得具有二维排列的多个要件94的运算数据95。另外，首先输入到卷积层90的对象数据92为解剖区域图像56，然后将后述的缩小运算数据95S(参考图12)作为对象数据92而输入到卷积层90。
在将滤波器93的系数设为r、s、t、u、v、w、x、y、z的情况下，作为对注目要件91I的卷积运算的结果的、与运算数据95的注目要件91I相对应的要件94I的要件值k例如通过计算下述式(1)来获得。
k＝az+by+cx+dw+ev+fu+gt+hs+ir……(1)
关于运算数据95，对1个滤波器93输出1个。在对1个对象数据92应用了多种滤波器93的情况下，按每一个滤波器93输出运算数据95。即，作为一例，如图11所示，运算数据95生成与应用于对象数据92的滤波器93的个数相对应的量。并且，运算数据95具有二维排列的多个要件94，因此具有宽度和高度。运算数据95的数量被称为通道数。在图11中，例示了将4个滤波器93应用于对象数据92而输出的4个通道的运算数据95。
作为一例，如图12所示，压缩部82除了卷积层90以外，还具有由“pool(池化(pooling)的缩写)”表示的池化层100。池化层100求出运算数据95的要件94的要件值的局部统计量，并生成将所求出的统计量作为要件值的缩小运算数据95S。在此，池化层100进行了求出2×2的要件的块101内的要件值的最大值作为局部统计量的最大值池化处理。若使块101在宽度方向及高度方向上各偏移1个要件的同时进行处理，则缩小运算数据95S缩小为原始的运算数据95的1/2的尺寸。在图12中，例示了块101A内的要件值a、b、e、f中的b、块101B内的要件值b、c、f、g中的b、块101C内的要件值c、d、g、h中的h分别为最大值的情况。另外，也可以进行求出平均值(而不是最大值)作为局部统计量的、平均值池化处理。
压缩部82通过反复进行多次由卷积层90进行的卷积处理和由池化层100进行的池化处理，输出最终运算数据95。该最终运算数据95也就是特征量集84，最终运算数据95的各要件94的要件值也就是特征量Z。这样获得的特征量Z表示海马体的萎缩程度、有无前颞叶的血流代谢降低等、解剖区域的形状及纹理的特征。另外，在此，为了简化说明而设为二维，但是实际以三维进行各处理。
作为一例，如图13所示，输出部86具有自我注意(以下，简称为SA(Se lf-Attention))机构层110、全局平均池化(以下，简称为GAP(Global Av erage Pooling))层111、完全连接(以下，简称为FC(Fully Connected))层112、柔性最大值传输函数(以下，简称为SMF(SoftMax Function)层113及主成分分析(以下，简称为PCA(Principal ComponentAnalysis))层114。
SA机构层110根据注目要件91I的要件值变更滤波器93的系数的同时，对特征量集84进行图10所示的卷积处理。以下，将在该SA机构层110中进行的卷积处理称为SA卷积处理。SA机构层110将SA卷积处理后的特征量集84输出到GAP层111。
GAP层111对SA卷积处理后的特征量集84实施全局平均池化处理。全局平均池化处理为按特征量集84的每一个通道(参考图11)求出特征量Z的平均值的处理。例如在特征量集84的通道数为512个的情况下，通过全局平均池化处理求出512个特征量Z的平均值。GAP层111将所求出的特征量Z的平均值输出到FC层112及PCA层114。
FC层112将特征量Z的平均值转换为由SMF层113的SMF处理的变量。FC层112具备具有与特征量Z的平均值的个数相对应的量(即，与特征量集84的通道数相对应的量)的单元的输入层和具有与由SMF处理的变量的个数相对应的量的单元的输出层。输入层的各单元和输出层的各单元相互完全结合，并分别设定了权重。对输入层的各单元输入特征量Z的平均值。特征量Z的平均值与在各单元之间设定的权重之积和成为输出层的各单元的输出值。该输出值为由SMF处理的变量。FC层112将由SMF处理的变量输出到SMF层113。SMF层113通过将变量应用于SMF来输出类别87。
PCA层114对特征量Z的平均值进行PCA，将多个特征量Z的平均值设为比其少的个数的汇总特征量ZA。例如，PCA层114将512个特征量Z的平均值汇总为1个汇总特征量ZA。
作为一例，如图14所示，AE80在学习阶段中，被输入学习用解剖区域图像56L并进行学习。AE80对学习用解剖区域图像56L输出学习用复原图像85L。根据这些学习用解剖区域图像56L及学习用复原图像85L，进行使用了损失函数的AE80的损失运算。然后，根据损失运算的结果(以下，标记为损失L1)进行AE80的各种系数(滤波器93的系数等)的更新设定，按照更新设定更新AE80。
在AE80的学习阶段中，更换学习用解剖区域图像56L的同时反复进行学习用解剖区域图像56L向AE80的输入、从AE80的学习用复原图像85L的输出、损失运算、更新设定及AE80的更新的上述一连串处理。
单任务CNN81在学习阶段中，被提供学习数据120并进行学习。学习数据120为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确类别87CA的组。正确类别87CA表示学习用解剖区域图像56L的患者P实际上是sMCI还是cMCI。
在学习阶段中，对单任务CNN81输入学习用解剖区域图像56L。单任务CNN 81对学习用解剖区域图像56L输出学习用类别87L。根据该学习用类别87L及正确类别87CA，进行使用了交叉熵函数等的单任务CNN81的损失运算。然后，根据损失运算的结果(以下，标记为损失L2)进行单任务CNN81的各种系数的更新设定，按照更新设定更新单任务CNN81。
在单任务CNN81的学习阶段中，更换学习数据120的同时反复进行学习用解剖区域图像56L向单任务CNN81的输入、从单任务CNN81的学习用类别87L的输出、损失运算、更新设定及单任务CNN81的更新的上述一连串处理。
AE80的更新设定及单任务CNN81的更新设定根据下述式(2)所示的总损失L进行。另外，α为权重。
L＝L1×α+L2×(1-α)……(2)
即，总损失L为AE80的损失L1和单任务CNN81的损失L2的加权之和。
作为一例，如图15所示，在学习阶段的初始阶段中，对权重α设定1。在将权重α设为1的情况下，成为总损失L＝L1。因此，此时仅进行AE80的学习，不进行单任务CNN81的学习。
权重α随着进行学习而从1递减，最终成为固定值(在图15中为0.8)。此时，AE80的学习和单任务CNN81的学习以与权重α相应的强度同时进行。如上所述，提供给损失L1的权重大于提供给损失L2的权重。并且，提供给损失L1的权重从最高值1递减，并且提供给损失L2的权重从最低值0递增，而且两者成为固定值。
AE80及单任务CNN81的学习在基于AE80的从学习用解剖区域图像56L到学习用复原图像85L的复原精度达到预先设定的设定水平，并且基于单任务CN N81的学习用类别87L相对于正确类别87CA的预测精度达到预先设定的设定水平的情况下结束。这样复原精度及预测精度达到设定水平的AE80及单任务CNN 81存储于存储装置20并作为特征量导出模型37使用。
作为一例，如图16所示，在学习阶段中，痴呆症诊断意见导出模型39被提供学习数据125并进行学习。学习数据125为学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL和与学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL相对应的正确痴呆症诊断意见信息58CA的组。学习用汇总特征量组ZA GL是将某个头部MRI图像15的解剖区域图像56输入到特征量导出模型37而获得。学习用痴呆症相关信息16L为获得了学习用汇总特征量组ZAGL的头部MRI图像15的摄影对象的患者P的信息。正确痴呆症诊断意见信息58CA是由医师实际诊断出对获得了学习用汇总特征量组ZAGL的头部MRI图像15的痴呆症的诊断意见的结果。
在学习阶段中，对痴呆症诊断意见导出模型39输入学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL。痴呆症诊断意见导出模型39对学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL输出学习用痴呆症诊断意见信息58L。根据该学习用痴呆症诊断意见信息58L及正确痴呆症诊断意见信息58CA，进行使用损失函数的痴呆症诊断意见导出模型39的损失运算。然后，根据损失运算的结果进行痴呆症诊断意见导出模型39的各种系数的更新设定，按照更新设定更新痴呆症诊断意见导出模型39。
在痴呆症诊断意见导出模型39的学习阶段中，更换学习数据125的同时反复进行学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL向痴呆症诊断意见导出模型39的输入、从痴呆症诊断意见导出模型39的学习用痴呆症诊断意见信息58L的输出、损失运算、更新设定及痴呆症诊断意见导出模型39的更新的上述一连串处理。在学习用痴呆症诊断意见信息58L相对于正确痴呆症诊断意见信息58CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的痴呆症诊断意见导出模型39存储于存储装置20而在痴呆症诊断意见导出部49中使用。
作为一例，如图17所示，样品信息40为与在学习阶段中向特征量导出模型37及痴呆症诊断意见导出模型39输入了输入数据的样品相关的信息。如图14所示，学习阶段中的特征量导出模型37的输入数据为学习用解剖区域图像56L。并且，如图16所示，学习阶段中的痴呆症诊断意见导出模型39的输入数据为学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL。样品信息40包含这些各输入数据、即作为学习用解剖区域图像56L的集合的学习用解剖区域图像组57L、学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL。
并且，样品信息40包括学习用痴呆症诊断意见信息58L及对错信息130。对错信息130为表示基于痴呆症诊断意见导出模型39的痴呆症的诊断意见的预测的对错的信息。具体而言，对错信息130为表示学习用痴呆症诊断意见信息58L与作为实际结果的正确痴呆症诊断意见信息58CA的一致或不一致的信息。
作为一例，如图18所示，痴呆症诊断意见导出模型39通过线性判别分析的方法来构建，因此能够导出贡献度信息135。贡献度信息135为登录了学习用痴呆症相关信息16L及学习用汇总特征量组ZAGL的各项目对学习用痴呆症诊断意见信息58L的贡献度的信息。关于贡献度，对学习用痴呆症诊断意见信息58L的导出贡献越大则成为越大的值。
轴设定信息42为设定后述的散布图140(参考图19等)的横轴及纵轴的信息。轴设定信息42根据贡献度信息135来生成。即，将左海马体的汇总特征量ZA_1、右前颞叶的汇总特征量ZA_4、MMSE的分数、年龄等与对痴呆症诊断意见导出模型39的多个输入数据中的贡献度为第一和第二的输入数据相关的参数作为横轴及纵轴。
在图18中，例示了右海马体的汇总特征量ZA_2的贡献度为0.38且第一、CDR的贡献度为0.21且第二的情况。此时，在横轴上设定右海马体的汇总特征量ZA_2，在纵轴上设定CDR。右海马体的汇总特征量ZA_2及CDR为本发明的技术所涉及的“参数”的一例。
作为一例，如图19所示，显示控制部50参考样品信息40及轴设定信息42生成散布图140。散布图140为在将根据对痴呆症诊断意见导出模型39的多种输入数据设定的2个参数作为横轴及纵轴的二维空间中绘制了表示多个样品的标记141的图。在图19中，与图18的情况同样地，例示了在横轴上设定右海马体的汇总特征量ZA_2，在纵轴上设定CDR的情况。
标记141具有标记141A、141B、141C及141D这4种。如图例142所示，标记141A例如为填满为蓝色的圆圈标记。标记141A附加在学习用痴呆症诊断意见信息58L为sMCI且对错信息130一致的样品。标记141B例如为填满为红色的圆圈标记。标记141B附加在学习用痴呆症诊断意见信息58L为cMCI且对错信息130一致的样品。
标记141C例如为填满为蓝色的叉号标记。标记141C附加在学习用痴呆症诊断意见信息58L为sMCI且对错信息130不一致的样品。标记141D例如为填满为红色的叉号标记。标记141D附加在学习用痴呆症诊断意见信息58L为cMC I且对错信息130不一致的样品。如上所述，标记141表示学习用痴呆症诊断意见信息58L是sMCI还是cMCI，即，表示输出数据的类别。并且，标记141表示学习用痴呆症诊断意见信息58L与正确痴呆症诊断意见信息58CA的一致或不一致、即输出数据与实际结果的一致或不一致。
在图19中，关于学习用痴呆症相关信息16L的CDR为4、学习用汇总特征量组ZAGL的右海马体的汇总特征量ZA_2为100、学习用痴呆症诊断意见信息58L为cMCI、对错信息130一致的样品，例示了附加填满为红色的圆圈标记即标记141B的状态。并且，关于学习用痴呆症相关信息16L的CDR为0.5、学习用汇总特征量组ZAGL的右海马体的汇总特征量ZA_2为1000、学习用痴呆症诊断意见信息58L为sMCI、对错信息130不一致的样品，例示了附加填满为蓝色的叉号标记即标记141C的状态。
图20中示出用于指示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的第1显示画面150的一例。在第1显示画面150显示诊断痴呆症的患者P的头部MRI图像15。头部MRI图像15是弧矢截面的头部MRI图像15S、轴向截面的头部MRI图像15A及冠状截面的头部MRI图像15C。在这些各头部MRI图像15S、15A及15C的下部设置有用于切换显示的按钮组151。
在第1显示画面150设置有分析按钮152。医师在欲进行基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的情况下，选择分析按钮152。由此，由CPU22接受基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的指示。
图21中示出显示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的结果获得的痴呆症诊断意见信息58的第2显示画面155的一例。在第2显示画面155显示与痴呆症诊断意见信息58相应的消息156。在图21中示出了，痴呆症诊断意见信息58为cMCI的内容，且显示了“有可能在2年后进展为阿尔茨海默病。”作为消息156的例子。
在第2显示画面155的下部设置有确认按钮157及验证按钮158。在选择了确认按钮157的情况下，显示控制部50取消消息156的显示，使第2显示画面155返回到第1显示画面150。并且，在选择了验证按钮158的情况下，显示控制部50将图22所示的验证画面160显示于显示器17。
作为一例，如图22所示，在验证画面160显示贡献度信息135、散布图140及图例142。在散布图140中显示表示对象样品的标记161。标记161例如为用黑色填满的棱形标记。对象样品为基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的对象的样品，并且为在图21所示的第2显示画面155中显示了痴呆症诊断意见信息58的样品。
在散布图140的左侧显示对象样品信息显示区域162，该对象样品信息显示区域162中显示对象样品的各种信息。对象样品信息显示区域162被分为解剖区域图像显示区域163、痴呆症相关信息显示区域164及痴呆症诊断意见信息显示区域165。在解剖区域图像显示区域163中显示对象样品的左海马体的解剖区域图像56_1、右海马体的解剖区域图像56_2、左前颞叶的解剖区域图像56_3及右前颞叶的解剖区域图像56_4。在痴呆症相关信息显示区域164中显示对象样品的痴呆症相关信息16。在痴呆症诊断意见信息显示区域165中显示对象样品的痴呆症诊断意见信息58。在对象样品信息显示区域162中显示包围在散布图140的横轴及纵轴上设定的输入数据(在本例中，右海马体的汇总特征量ZA_2的原始的右海马体的解剖区域图像56_2及CDR)的框166。另外，在选择了关闭按钮167的情况下，显示控制部50取消验证画面160的显示。
散布图140的标记141能够通过经由输入设备18操作的光标168来选择。医师将光标168对准于欲与对象样品进行比较的样品(以下，称为比较样品)的标记141来选择。
作为一例，如图23所示，在选择了标记141的情况下，将显示与所选择的标记141相对应的比较样品的各种信息的比较样品信息显示区域170显示于散布图140的右侧。比较样品信息显示区域170被分为学习用解剖区域图像显示区域171、学习用痴呆症相关信息显示区域172、学习用痴呆症诊断意见信息显示区域173及对错信息显示区域174。在学习用解剖区域图像显示区域171中显示比较样品的左海马体的学习用解剖区域图像56_1L、右海马体的学习用解剖区域图像56_2L、左前颞叶的学习用解剖区域图像56_3L及右前颞叶的学习用解剖区域图像56_4L。在学习用痴呆症相关信息显示区域172中显示比较样品的学习用痴呆症相关信息16L。在学习用痴呆症诊断意见信息显示区域173中显示比较样品的学习用痴呆症诊断意见信息58L。在对错信息显示区域174中显示比较样品的对错信息130。每次选择其他标记141时，比较样品信息显示区域170的显示内容切换为与所选择的标记141相对应的比较样品的信息。另外，与对象样品信息显示区域162同样地，在比较样品信息显示区域170中也显示框166。
接着，参考图24的流程图，对基于上述结构的作用进行说明。首先，若在诊断辅助装置13中工作程序30被启动，则如图4所示，诊断辅助装置13的CPU22作为RW控制部45、标准化部46、提取部47、特征量导出部48、痴呆症诊断意见导出部49及显示控制部50发挥作用。
在图20所示的第1显示画面150中，选择了分析按钮152的情况下，通过RW控制部45，从存储装置20读出相对应的头部MRI图像15和痴呆症相关信息16及标准头部MRI图像35(步骤ST100)。头部MRI图像15及标准头部MRI图像35从RW控制部45输出到标准化部46。痴呆症相关信息16从RW控制部45输出到痴呆症诊断意见导出部49。
如图5所示，在标准化部46中，进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理(形状标准化处理65及浓度标准化处理66)(步骤ST110)。由此，头部MRI图像15成为标准化头部MRI图像55。标准化头部MR I图像55从标准化部46输出到提取部47。
如图6所示，在提取部47中，使用分割模型36，从标准化头部MRI图像55提取脑的多个解剖区域图像56(步骤ST120)。由多个解剖区域图像56构成的解剖区域图像组57从提取部47输出到特征量导出部48。
如图7所示，在特征量导出部48中，解剖区域图像56输入到相对应的特征量导出模型37。由此，从特征量导出模型37输出汇总特征量ZA(步骤ST130)。由多个汇总特征量ZA构成的汇总特征量组ZAG从特征量导出部48输出到痴呆症诊断意见导出部49。
如图8所示，在痴呆症诊断意见导出部49中，痴呆症相关信息16及汇总特征量组ZAG输入到痴呆症诊断意见导出模型39。由此，从痴呆症诊断意见导出模型39输出痴呆症诊断意见信息58(步骤ST140)。痴呆症诊断意见信息58从痴呆症诊断意见导出部49输出至显示控制部50。
在显示控制部50的控制下，图21所示的第2显示画面155显示于显示器17(步骤ST150)。医师通过第2显示画面155的消息156确认痴呆症诊断意见信息58。
在欲验证痴呆症诊断意见信息58的有效性的情况下，医师选择第2显示画面155的验证按钮158。由此，通过CPU22接受痴呆症诊断意见信息58的验证的指示(在步骤ST160中为“是”)。此时，如图19所示，通过显示控制部50生成包括图22及图23所示的散布图140的验证画面160(步骤ST170)。然后，在显示控制部50的控制下，将验证画面160显示于显示器17(步骤ST180)。医师通过验证画面160的对象样品信息显示区域162及比较样品信息显示区域170，验证对象样品的痴呆症诊断意见信息58的有效性。
如以上说明那样，诊断辅助装置13的CPU22具备显示控制部50。关于输入痴呆症相关信息16及汇总特征量组ZAG等多种输入数据并输出作为与输入数据相对应的输出数据的痴呆症诊断意见信息58的痴呆症诊断意见导出模型39，显示控制部50生成散布图140。散布图140为在将根据多种输入数据设定的2个参数作为横轴及纵轴的二维空间中绘制了表示向痴呆症诊断意见导出模型39输入了输入数据的多个样品的标记141的图。显示控制部50将散布图140、输入数据及输出数据的类别显示于显示器17。因此，即使在将多种数据作为输入数据的多模式学习中，也能够容易地验证痴呆症诊断意见信息58的有效性。
显示控制部50进行如下：将标记141以能够选择的方式显示于散布图140，在选择了标记141的情况下，至少显示与所选择的标记141相对应的样品的输入数据。因此，能够通过选择标记141的简单的操作，显示输入数据。并且，由与对象样品的标记161的距离相对近的标记141表示的样品为与对象样品类似的样品。因此，若选择与对象样品的标记161的距离相对近的标记141，则能够比较对象样品和与其类似的比较样品，能够更容易地验证痴呆症诊断意见信息58的有效性。
如图23所示，显示控制部50能够比较地显示2个样品的输入数据及输出数据的类别。因此，容易进行对象样品与比较样品的比较，顺利进行痴呆症诊断意见信息58的有效性的验证。另外，可以能够比较地显示3个以上的样品的输入数据及输出数据的类别。
如图19等所示，标记141表示输出数据的类别。因此，仅通过看一眼散布图140，就能够掌握输出数据相对于在横轴及纵轴上设定的2个输入数据的类别的倾向。例如，在图19等所示的散布图140中看到，海马体的汇总特征量ZA_2越低且CDR越高，则痴呆症诊断意见信息58越趋于cMCI。并且看到，相反，海马体的汇总特征量ZA_2越高且CDR越低，则痴呆症诊断意见信息58越趋于sMCI。
并且，标记141表示输出数据与实际结果的一致或不一致。因此，仅通过看一眼散布图140，就能够掌握各样品的输出数据与实际结果的一致或不一致。
显示控制部50将与多种输入数据中的在轴设定信息42中预先设定的2个相关的参数作为散布图140的横轴及纵轴。因此，医师不用花费设定横轴及纵轴的功夫。
如图8所示，痴呆症诊断意见导出模型39通过能够导出多种输入数据各自对输出数据的贡献度的方法、即线性判别分析来构建。如图18及图19所示，显示控制部50将与多种输入数据中的贡献度为第一和第二的输入数据相关的参数作为散布图140的横轴及纵轴。因此，能够生成更容易掌握输出数据的类别的倾向的散布图140。
如图7及图8所示，多种输入数据包含汇总特征量ZA，该汇总特征量ZA通过将从头部MRI图像15(标准化头部MRI图像55)提取的多个解剖区域的解剖区域图像56输入到与多个解剖区域各自相对应地准备的特征量导出模型37来获得。汇总特征量ZA表示脑的限定性特征。并且，汇总特征量ZA是将解剖区域图像56输入到特征量导出模型37而获得。因此，能够提高基于痴呆症诊断意见导出模型39的痴呆症的诊断意见的预测精度。
痴呆症与癌等其他疾病相比，如通过肉眼也能够识别的特异的病变不易出现在图像上。并且，痴呆症影响整个脑，而不是局部。由于有这样的背景，因此以往难以根据头部MRI图像15等医用图像使用机器学习模型获得准确的痴呆症的诊断意见。但是，根据本发明的技术，将脑细分为多个解剖区域，进一步从多个解剖区域生成多个解剖区域图像56，对于多个解剖区域图像56分别导出了汇总特征量ZA。然后，将所导出的多个汇总特征量ZA输入到1个痴呆症诊断意见导出模型39。因此，能够实现以往困难的、获得更准确的痴呆症的诊断意见的目的。
并且，如图8所示，多种输入数据包含与痴呆症相关的痴呆症相关信息16。由于加入痴呆症相关信息16这样的对痴呆症的诊断意见的预测有用的强有力的信息，因此与仅通过汇总特征量组ZAG预测痴呆症的诊断意见的情况相比，能够大幅提高痴呆症的诊断意见的预测精度。另外，作为输入数据也可以不包含痴呆症相关信息16。
如图9所示，特征量导出模型37转用了组合了AE80及单任务CNN81的模型。AE80及单任务CNN81是在机器学习的领域中频繁使用的神经网络模型之一，并且是众所周知的。因此，能够相对容易地转用于特征量导出模型37。
将进行类别87的输出等主任务的单任务CNN81和与单任务CNN81一部分共同且进行比复原图像85的生成等主任务通用的子任务的AE80用作特征量导出模型37。然后，使AE80和单任务CNN81同时学习。因此，与AE80和单任务CN N81独立进行的情况相比，能够输出更适当的特征量集84及汇总特征量ZA，其结果，能够提高痴呆症诊断意见信息58的预测精度。
在学习阶段中，根据AE80的损失L1和单任务CNN81的损失L2的加权之和即总损失L进行更新设定。因此，通过将权重α设定为适值，能够使AE80重点学习，或者能够使单任务CNN81重点学习，或者能够使AE80及单任务CNN81均衡地学习。
提供给损失L1的权重大于提供给损失L2的权重。因此，能够始终使AE80重点学习。若始终使AE80重点学习，则能够从压缩部82输出进一步表示了解剖区域的形状及纹理的特征的特征量集84，其结果，能够从输出部86输出更似然的汇总特征量ZA。
并且，若将提供给损失L1的权重从最高值递减，并且将提供给损失L2的权重从最低值递增，进行规定次数的学习，则将两者设为固定值。因此，能够在学习的初始阶段中使AE80更重点学习。AE80承担生成复原图像85的相对简单的子任务。因此，若在学习的初始阶段中使AE80更重点学习，则能够在学习的初始阶段中从压缩部82输出进一步表示了解剖区域的形状及纹理的特征的特征量集84。
近年来随着老龄化社会的到来，痴呆症已成为社会问题。因此，将器官设为脑，将疾病设为痴呆症，输出痴呆症诊断意见信息58的本实施方式可以说是与当前的社会问题匹配的方式。
海马体及前颞叶为与以阿尔茨海默病为首的痴呆症的相关特别高的解剖区域。因此，若在多个解剖区域中包括海马体及前颞叶中的至少任一个，则能够获得进一步更准确的痴呆症的诊断意见。
另外，在由标记141表示输出数据的类别的情况下，可以在对象样品信息显示区域162及比较样品信息显示区域170不设置痴呆症诊断意见信息显示区域165及学习用痴呆症诊断意见信息显示区域173。同样地，在由标记141表示输出数据与实际结果的一致或不一致的情况下，可以在比较样品信息显示区域170不设置对错信息显示区域174。
作为痴呆症诊断意见信息58的提示方式，不限于第2显示画面155。可以将痴呆症诊断意见信息58印刷输出到纸介质，或者可以将痴呆症诊断意见信息58作为电子邮件的附件发送到医师的移动终端。
作为一例，如图25所示，可以使用代替线性判别分析而通过XGBoost等提升方法来构建的痴呆症诊断意见导出模型180。与痴呆症诊断意见导出模型39同样地，痴呆症诊断意见导出模型180能够导出贡献度信息181。另外，虽然省略图示，但是也可以使用通过神经网络或支持向量机的方法来构建的痴呆症诊断意见导出模型。
散布图140的横轴及纵轴不限于与例示的贡献度为第一和第二的输入数据相关的参数。可以是与任意设定的2个输入数据相关的参数。或者，作为一例，如图26所示，可以将与由医师指定的2个相关的参数作为散布图140的横轴及纵轴。
在图26中，例如，在选择了第2显示画面155的验证按钮158的情况下，显示控制部50将轴指定画面185显示于显示器17。轴指定画面185具有横轴指定区域186及纵轴指定区域187。在横轴指定区域186中设置有用于选择左海马体的汇总特征量ZA_1、MMSE的分数、FAQ、年龄等多种输入数据之一的单选按钮188。同样地，在纵轴指定区域187中也设置有用于选择多种输入数据之一的单选按钮189。
医师在选择欲指定为散布图140的横轴及纵轴的输入数据的单选按钮188及189之后，选择确认按钮190。在选择了确认按钮190的情况下，由CPU22接受散布图140的横轴及纵轴的指定的指示。显示控制部50利用在该轴指定画面185中指定的横轴及纵轴生成散布图140。在图26中，例示了在横轴上指定了右前颞叶的汇总特征量ZA_4且在纵轴上指定了年龄的情况。此时，右前颞叶的汇总特征量ZA_4及年龄为本发明的技术所涉及的“参数”的一例。另外，在选择了取消按钮191的情况下，显示控制部50取消轴指定画面185的显示。
如上所述，显示控制部50可以将与多种输入数据中的由医师指定的2个相关的参数作为散布图140的横轴及纵轴。能够生成反映了医师的意图的散布图140。
或者，作为一例，如图27所示，可以使用t分布随机邻域嵌入法(T-dist ributedStochastic Neighbor Embedding；t-SNE)来生成散布图140。t分布随机邻域嵌入法例如为在基因分析中常用的方法，极端而言，为将高纬的数据降维为二维或三维的数据来进行可见化的方法。t分布随机邻域嵌入法例如记载于下述文献中。
＜Laurens van der Maaten，etc.，Viualizing data using t-SNE，Jou rnal ofMachine Learning Research，November 2008.＞
在图27中，在本方式中，通过t分布随机邻域嵌入法对所有样品的MMSE的分数等所有样品的痴呆症相关信息16及所有样品的左海马体的汇总特征量ZA_1等所有样品的汇总特征量组ZAG进行分析。然后，生成将t-SNE1作为横轴且将t-SNE2作为纵轴的散布图140。t-SNE1及t-SNE2为本发明的技术所涉及的“参数”的一例。通过这样的方法，也能够不麻烦医师的手而生成散布图140。
可以以医师能够选择的方式构成将与预先设定的2个输入数据相关的参数作为散布图140的横轴及纵轴的方式、将与由用户指定的2个输入数据相关的参数作为横轴及纵轴的方式及使用t分布随机邻域嵌入法来生成散布图的方式。
[第2实施方式]
在图28～图30所示的第2实施方式中，将AE200的压缩部201用作特征量导出模型205。
作为一例，如图28所示，AE200与上述第1实施方式的AE80同样地，具有压缩部201和复原部202。对压缩部201输入解剖区域图像56。压缩部201将解剖区域图像56转换为特征量集203。压缩部201将特征量集203传递到复原部202。复原部202根据特征量集203生成解剖区域图像56的复原图像204。
作为一例，如图29所示，AE200在将压缩部201转用于特征量导出模型205之前的学习阶段中，被输入学习用解剖区域图像56L并进行学习。AE200对学习用解剖区域图像56L输出学习用复原图像204L。根据这些学习用解剖区域图像56L及学习用复原图像204L，进行使用了损失函数的AE200的损失运算。然后，根据损失运算的结果进行AE200的各种系数的更新设定，按照更新设定更新AE200。
在AE200的学习阶段中，更换学习用解剖区域图像56L的同时反复进行学习用解剖区域图像56L向AE200的输入、从AE200的学习用复原图像204L的输出、损失运算、更新设定及AE200的更新的上述一连串处理。在从学习用解剖区域图像56L到学习用复原图像204L的复原精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样复原精度达到设定水平的AE200的压缩部201存储于存储装置20并作为特征量导出模型205使用。因此，在本实施方式中，从压缩部201输出的特征量集203被处理为本发明的技术所涉及的“特征量数据”(参考图30)。
作为一例，如图30所示，本实施方式的痴呆症诊断意见导出部210将特征量集组211输入到痴呆症诊断意见导出模型212。然后，从痴呆症诊断意见导出模型212输出痴呆症诊断意见信息213。特征量集组211由按多个解剖区域图像56中的每一个从特征量导出模型205输出的多个特征量集203构成。痴呆症诊断意见信息213为与上述第1实施方式的痴呆症诊断意见信息58相同的内容。
如上所述，在第2实施方式中，AE200的压缩部201用作特征量导出模型205。如前所述，AE200为在机器学习的领域中频繁使用的神经网络模型之一，因此能够相对容易地转用于特征量导出模型205。
[第3实施方式]
在图31及图32所示的第3实施方式中，将单任务CNN220的压缩部221用作特征量导出模型225。
作为一例，如图31所示，单任务CNN220与上述第1实施方式的单任务CN N81同样地，具有压缩部221和输出部222。对压缩部221输入解剖区域图像56。压缩部221将解剖区域图像56转换为特征量集223。压缩部221将特征量集223传递到输出部222。输出部222根据特征量集223输出1个类别224。在图27中，输出部222将出现了痴呆症或未出现痴呆症的判别结果作为类别224输出。
作为一例，如图32所示，单任务CNN220在将压缩部221转用于特征量导出模型225之前的学习阶段中，被提供学习数据230并进行学习。学习数据230为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确类别224CA的组。正确类别224CA为医师对学习用解剖区域图像56L实际判别是否出现了痴呆症的结果。
在学习阶段中，对单任务CNN220输入学习用解剖区域图像56L。单任务CN N220对学习用解剖区域图像56L输出学习用类别224L。根据该学习用类别224L及正确类别224CA进行单任务CNN220的损失运算。然后，根据损失运算的结果进行单任务CNN220的各种系数的更新设定，按照更新设定更新单任务CNN220。
在单任务CNN220的学习阶段中，更换学习数据230的同时反复进行学习用解剖区域图像56L向单任务CNN220的输入、从单任务CNN220的学习用类别224L的输出、损失运算、更新设定及单任务CNN220的更新的上述一连串处理。在学习用类别224L相对于正确类别224CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的单任务CNN220的压缩部221被存储于存储装置20并作为特征量导出模型225来使用。另外，与上述第2实施方式同样地，在本实施方式中，从压缩部221输出的特征量集223也被处理为本发明的技术所涉及的“特征量数据”。
如上所述，在第3实施方式中，该单任务CNN220的压缩部221用作特征量导出模型225。如前所述，单任务CNN220也为在机器学习的领域中频繁使用的神经网络模型之一，因此能够相对容易地转用于特征量导出模型225。
另外，作为类别224，例如，可以是患者P的年龄小于75岁或75岁以上的内容，也可以是60多岁、70多岁等患者P的年龄。
[第4实施方式]
在图33及图34所示的第4实施方式中，将多任务的类别判别用CNN(以下，简称为多任务CNN)240的压缩部241用作特征量导出模型246。
作为一例，如图33所示，多任务CNN240具有压缩部241和输出部242。对压缩部241输入解剖区域图像56。压缩部241将解剖区域图像56转换为特征量集243。压缩部241将特征量集243传递到输出部242。输出部242根据特征量集243输出第1类别244及第2类别245这2个类别。在图33中，输出部242将出现了痴呆症或未出现痴呆症的判别结果作为第1类别244输出。并且，在图33中，输出部242将患者P的年龄作为第2类别245输出。
作为一例，如图34所示，多任务CNN240在将压缩部241转用于特征量导出模型246之前的学习阶段中，被提供学习数据250并进行学习。学习数据250为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确第1类别244CA及正确第2类别245CA的组。正确第1类别244CA为医师对学习用解剖区域图像56L实际判别是否出现了痴呆症的结果。并且，正确第2类别245CA为获得了学习用解剖区域图像56L的头部MRI图像15的摄影对象的患者P的实际年龄。
在学习阶段中，对多任务CNN240输入学习用解剖区域图像56L。多任务CN N240对学习用解剖区域图像56L输出学习用第1类别244L及学习用第2类别245L。根据该学习用第1类别244L及学习用第2类别245L、以及正确第1类别244CA及正确第2类别245CA，进行多任务CNN240的损失运算。然后，根据损失运算的结果进行多任务CNN240的各种系数的更新设定，按照更新设定更新多任务CNN240。
在多任务CNN240的学习阶段中，更换学习数据250的同时反复进行学习用解剖区域图像56L向多任务CNN240的输入、从多任务CNN240的学习用第1类别244L及学习用第2类别245L的输出、损失运算、更新设定及多任务CNN240的更新的上述一连串处理。在学习用第1类别244L及学习用第2类别245L相对于正确第1类别244CA及正确第2类别245CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的多任务CNN240的压缩部241被存储于存储装置20并作为特征量导出模型246来使用。另外，与上述第2实施方式及上述第3实施方式同样地，在本实施方式中，从压缩部241输出的特征量集243也被处理为本发明的技术所涉及的“特征量数据”。
如上所述，在第4实施方式中，多任务CNN240的压缩部241用作特征量导出模型246。多任务CNN240与AE80及200、或者单任务CNN81及220相比，进行输出多个类别(第1类别244及第2类别245)的、更复杂的处理。因此，从压缩部241输出的特征量集243更详尽地表示了解剖区域图像56的特征的可能性高。因此，其结果，能够进一步提高痴呆症的诊断意见的预测精度。
另外，作为第1类别244，例如可以是5级水平的痴呆症的进展程度。并且，作为第2类别245，可以是患者P的年龄的判别结果。多任务CNN240可以输出3个以上的类别。
在上述第1实施方式中，可以使用本实施方式的多任务CNN240来代替单任务CNN81。
[第5实施方式]
在图35所示的第5实施方式中，将1个解剖区域图像56输入到不同的多个特征量导出模型261～264。
作为一例，如图35所示，本实施方式的特征量导出部260将1个解剖区域图像56输入到第1特征量导出模型261，输入到第2特征量导出模型262，输入到第3特征量导出模型263，输入到第4特征量导出模型264。由此，特征量导出部260从第1特征量导出模型261输出第1特征量数据265，从第2特征量导出模型262输出第2特征量数据266，从第3特征量导出模型263输出第3特征量数据267，从第4特征量导出模型264输出第4特征量数据268。
第1特征量导出模型261为组合了上述第1实施方式的AE80及单任务CNN 81的模型。因此，第1特征量数据265为汇总特征量ZA。第2特征量导出模型262转用了上述第2实施方式的AE200的压缩部201。因此，第2特征量数据266为特征量集203。第3特征量导出模型263转用了上述第3实施方式的单任务CNN220的压缩部221。因此，第3特征量数据267为特征量集223。第4特征量导出模型264转用了上述第4实施方式的多任务CNN240的压缩部241。因此，第4特征量数据268为特征量集243。
如上所述，在第5实施方式中，特征量导出部260将1个解剖区域图像56输入到第1特征量导出模型261、第2特征量导出模型262、第3特征量导出模型263及第4特征量导出模型264。然后，从各模型261～264输出第1特征量数据265、第2特征量数据266、第3特征量数据267及第4特征量数据268。因此，与使用1种特征量导出模型的情况相比，能够获得多种多样的特征量数据。其结果，能够进一步提高痴呆症的诊断意见的预测精度。
不同的多个特征量导出模型例如可以是转用了AE200的压缩部201的第2特征量导出模型262和转用了单任务CNN220的压缩部221的第3特征量导出模型263的组合。或者，也可以是转用了单任务CNN220的压缩部221的第3特征量导出模型263和转用了多任务CNN240的压缩部241的第4特征量导出模型264的组合。而且，可以是转用了将是否出现了痴呆症作为类别224输出的单任务CNN220的压缩部221的第3特征量导出模型263和转用了将患者P的年龄作为类别224输出的单任务CNN220的压缩部221的第3特征量导出模型263的组合。
另外，痴呆症诊断意见信息不限于图8等中例示的内容。例如，如图36所示的痴呆症诊断意见信息275那样，可以是正常(NC；Normal Control)、轻度认知障碍(MCI)及阿尔茨海默病(AD)中的任一个。并且，例如，如图37所示的痴呆症诊断意见信息277，可以是患者P的1年后的痴呆症的进展程度是快还是慢。或者，如图38所示的痴呆症诊断意见信息280，也可以是阿尔茨海默病、路易体型痴呆症及血管性痴呆症中的任一个的痴呆症的种类。
图14所示的AE80及单任务CNN81的学习、图16所示的痴呆症诊断意见导出模型39的学习、图29所示的AE200的学习、图32所示的单任务CNN220的学习及图34所示的多任务CNN240的学习等可以在诊断辅助装置13中进行，也可以在除了诊断辅助装置13以外的装置中进行。并且，这些学习也可以在诊断辅助装置13的存储装置20存储各模型之后继续进行。
PACS服务器11可以作为诊断辅助装置13发挥作用。
医用图像并不限于例示的头部MRI图像15。也可以是PET(正电子发射断层扫描，Positron Emission Tomography)图像、SPECT(单光子发射计算机断层扫描，SinglePhoton Emission Computed Tomography)图像、CT(计算机断层扫描，ComputedTomography)图像、内窥镜图像、超声波图像等。
器官不限于例示的脑，可以是心脏、肺、肝脏等。在肺的情况下，提取右肺S1、S2、左肺S1、S2等作为解剖区域。在肝脏的情况下，提取右叶、左叶、胆囊等作为解剖区域。并且，疾病也不限于例示的痴呆症，也可以是心脏病、间质性肺炎等弥漫性肺疾病、肝硬化等肝功能障碍等。
图像不限于医用图像。并且，对象区域不限于器官的解剖区域。而且，机器学习模型不限于输出痴呆症等疾病的诊断意见。总之，本发明的技术能够广泛应用于将多种数据作为机器学习模型的输入数据的多模式学习。
在上述各实施方式中，例如，RW控制部45、标准化部46、提取部47、特征量导出部48及260、痴呆症诊断意见导出部49及210、以及显示控制部50等执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下示出的各种处理器(Processor)。如上所述，各种处理器除了包括执行软件(工作程序30)来作为各种处理部发挥功能的通用的处理器即CPU22以外，还包括FPGA(现场可编程门阵列，Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑设备(Programmable Logic Dev ice：PLD)、具有ASIC(专用集成电路，Application Specific Integrated Circuit)等为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合和/或CPU和FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。第2，有如系统芯片(System On Chip：SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。
而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合半导体元件等电路元件而成的电路(circuitry)。
本发明的技术还能够适当地组合上述各种实施方式和/或各种变形例。并且，不限于上述各实施方式，只要不脱离主旨，则可采用各种结构是理所当然的。而且，本发明的技术除了程序以外，还涉及非临时性地存储程序的存储介质。
以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，不过是本发明的技术的一例。例如，与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，可以在不脱离本发明的技术的宗旨的范围内，对以上示出的记载内容及图示内容，删除不需要的部分或追加新的要素或替换是毋庸置疑的。并且，为了避免复杂化并且便于理解本发明的技术所涉及的部分，在以上示出的记载内容及图示内容中，省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。
在本说明书中，“A和/或B”的含义与“A及B中的至少1个”相同。即，“A和/或B”意味着可以只是A，也可以只是B，还可以是A及B的组合。并且，在本说明书中，在利用“和/或”结合三个以上的事项来表述的情况下，也应用与“A和/或B”相同的概念。
就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参考而引入的各个文献、专利申请以及技术规格的情况相同地，通过参考而编入本说明书。

Claims (18)

1.一种信息处理装置，其具备：
处理器；及
存储器，连接或内置于所述处理器，
所述处理器进行如下处理：
关于输入多种输入数据并输出与所述输入数据相对应的输出数据的机器学习模型，在将根据多种所述输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向所述机器学习模型输入了所述输入数据的多个样品的标记的散布图；
将所述散布图、所述输入数据及所述输出数据的类别显示于显示器。
2.根据权利要求1所述的信息处理装置，其中，
所述处理器进行如下处理：
将所述标记以能够选择的方式显示于所述散布图；
在选择了所述标记的情况下，至少显示与所选择的所述标记相对应的所述样品的所述输入数据。
3.根据权利要求1或2所述的信息处理装置，其中，
所述处理器能够比较地显示至少2个所述样品的所述输入数据及所述输出数据的类别。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述标记表示所述输出数据的类别。
5.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述标记表示所述输出数据与实际结果的一致或不一致。
6.根据权利要求1至5中任一项所述的信息处理装置，其中，
所述处理器将与多种所述输入数据中的预先设定的2个相关的所述参数作为所述横轴及所述纵轴。
7.根据权利要求6所述的信息处理装置，其中，
所述机器学习模型通过能够导出多种所述输入数据各自对所述输出数据的贡献度的方法来构建，
所述处理器将与多种所述输入数据中的所述贡献度为第一和第二的输入数据相关的所述参数作为所述横轴及所述纵轴。
8.根据权利要求7所述的信息处理装置，其中，
所述机器学习模型通过线性判别分析及提升中的任一方法来构建。
9.根据权利要求1至8中任一项所述的信息处理装置，其中，
所述处理器将与多种所述输入数据中的由用户指定的2个相关的所述参数作为所述横轴及所述纵轴。
10.根据权利要求1至9中任一项所述的信息处理装置，其中，
所述处理器使用t分布随机邻域嵌入法来生成所述散布图。
11.根据权利要求1至10中任一项所述的信息处理装置，其中，
多种所述输入数据包含特征量数据，所述特征量数据通过将从图像中提取的多个对象区域的对象区域图像输入到与多个对象区域各自相对应地准备的特征量导出模型来获得。
12.根据权利要求11所述的信息处理装置，其中，
所述特征量导出模型包括自动编码器、单任务的类别判别用卷积神经网络及多任务的类别判别用卷积神经网络中的至少任一个。
13.根据权利要求11或12所述的信息处理装置，其中，
所述图像为医用图像，
所述对象区域为器官的解剖区域，
所述机器学习模型输出疾病的诊断意见作为所述输出数据。
14.根据权利要求13所述的信息处理装置，其中，
多种所述输入数据包含与所述疾病相关的疾病相关信息。
15.根据权利要求13或14所述的信息处理装置，其中，
所述器官为脑，
所述疾病为痴呆症。
16.根据权利要求15所述的信息处理装置，其中，
所述解剖区域包括海马体及前颞叶中的至少任一个。
17.一种信息处理装置的工作方法，其包括如下步骤：
关于输入多种输入数据并输出与所述输入数据相对应的输出数据的机器学习模型，在将根据多种所述输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向所述机器学习模型输入了所述输入数据的多个样品的标记的散布图；及
将所述散布图、所述输入数据及所述输出数据的类别显示于显示器。
18.一种信息处理装置的工作程序，其用于使计算机执行包括如下步骤的处理：
关于输入多种输入数据并输出与所述输入数据相对应的输出数据的机器学习模型，在将根据多种所述输入数据设定的2个参数作为横轴及纵轴的二维空间中，生成绘制了表示向所述机器学习模型输入了所述输入数据的多个样品的标记的散布图；及
将所述散布图、所述输入数据及所述输出数据的类别显示于显示器。
CN202180086135.2A 2020-12-25 2021-12-24 信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序 Pending CN116762143A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020217839 2020-12-25
JP2020-217839 2020-12-25
PCT/JP2021/048387 WO2022138961A1 (ja) 2020-12-25 2021-12-24 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム

Publications (1)

Publication Number Publication Date
CN116762143A true CN116762143A (zh) 2023-09-15

Family

ID=82158255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086135.2A Pending CN116762143A (zh) 2020-12-25 2021-12-24 信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序

Country Status (5)

Country Link
US (1) US20230335283A1 (zh)
EP (1) EP4270307A1 (zh)
JP (1) JPWO2022138961A1 (zh)
CN (1) CN116762143A (zh)
WO (1) WO2022138961A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004188026A (ja) * 2002-12-12 2004-07-08 Olympus Corp 情報処理装置
JP2014140521A (ja) * 2013-01-24 2014-08-07 Panasonic Healthcare Co Ltd 評価画面生成システム
KR102251242B1 (ko) * 2014-11-26 2021-05-12 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
GB201615051D0 (en) 2016-09-05 2016-10-19 Kheiron Medical Tech Ltd Multi-modal medical image procesing
US20190347567A1 (en) * 2018-03-13 2019-11-14 Genetic Intelligence, Inc. Methods for data segmentation and identification
JP7332338B2 (ja) * 2019-05-28 2023-08-23 富士フイルムヘルスケア株式会社 画像診断支援装置、画像診断支援プログラム、および、医用画像取得装置

Also Published As

Publication number Publication date
WO2022138961A1 (ja) 2022-06-30
JPWO2022138961A1 (zh) 2022-06-30
US20230335283A1 (en) 2023-10-19
EP4270307A1 (en) 2023-11-01

Similar Documents

Publication Publication Date Title
CN111563523B (zh) 利用机器训练的异常检测的copd分类
CN102855618B (zh) 用于图像产生和图像分析的方法
US9280815B2 (en) Comparison workflow automation by registration
US9053213B2 (en) Interactive optimization of scan databases for statistical testing
CN105074708A (zh) 放射学发现的背景驱动的概要视图
WO2010115885A1 (en) Predictive classifier score for cancer patient outcome
US10390726B2 (en) System and method for next-generation MRI spine evaluation
CN101019152A (zh) 用于载入时点以分析疾病进展或治疗反应的系统和方法
US10489905B2 (en) Method and apparatus for presentation of medical images
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
US20230260629A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, dementia diagnosis support method, and trained dementia opinion derivation model
Huber et al. AI MSK clinical applications: spine imaging
US20230260630A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, and dementia diagnosis support method
CN113361689A (zh) 超分辨率重建网络模型的训练方法和扫描图像处理方法
WO2022138960A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
CN116762143A (zh) 信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
CN116490132A (zh) 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型
WO2022071160A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法
US11923072B2 (en) Image diagnosis supporting device and image processing method
CN116261428A (zh) 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序
Almansi et al. A novel radiological software prototype for automatically detecting the inner ear and classifying normal from malformed anatomy
EP4367638A1 (en) Systems and methods to process electronic images for synthetic image generation
CN116250005A (zh) 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序以及学习完毕模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination