CN116322523A - 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法 - Google Patents

诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法 Download PDF

Info

Publication number
CN116322523A
CN116322523A CN202180067506.2A CN202180067506A CN116322523A CN 116322523 A CN116322523 A CN 116322523A CN 202180067506 A CN202180067506 A CN 202180067506A CN 116322523 A CN116322523 A CN 116322523A
Authority
CN
China
Prior art keywords
feature quantity
dementia
diagnosis
derivation
opinion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180067506.2A
Other languages
English (en)
Inventor
李元中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN116322523A publication Critical patent/CN116322523A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种诊断辅助装置，其具备：处理器；及存储器，连接或内置于处理器，处理器进行如下：获取医用图像，从医用图像提取器官的多个解剖区域，将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型，并从特征量导出模型输出多个解剖区域的每一个的多个特征量，将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型，并从疾病诊断意见导出模型输出疾病的诊断意见，按每一个解剖区域导出表示对诊断意见的输出的贡献程度的第1贡献度，提示诊断意见和每一个解剖区域的第1贡献度的导出结果。

Description

诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工 作程序、以及痴呆症诊断辅助方法
技术领域
本发明的技术涉及一种诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法。
背景技术
在疾病、例如以阿尔茨海默病为代表的痴呆症的诊断中，医师参考头部MR I(磁共振成像，Magnetic Resonance Imaging)图像等医用图像。医师例如观察海马体、海马旁回、扁桃体等的萎缩程度、白质血管障碍程度、有无额叶、颞叶、枕叶的血流代谢降低等，获得痴呆症的诊断意见。
在日本专利第6483890号中记载了一种诊断辅助装置，其通过机器学习模型导出对头部MRI图像的痴呆症的诊断意见并提供给医师。日本专利第6483890号中所记载的诊断辅助装置从头部MRI图像提取与布罗德曼的脑地图等相应的多个解剖区域，计算表示各解剖区域的萎缩程度的Z值。然后，将所计算出的各解剖区域的Z值输入到机器学习模型，并从机器学习模型输出痴呆症的诊断意见。
发明内容
发明要解决的技术课题
如前所述，为了获得痴呆症等疾病的诊断意见，需要在各种视点无遗漏地细查脑等器官的各解剖区域。然而，在日本专利第6483890号中，仅使用在统计上获得的仅1个称为Z值的指标值。因此，仅通过这样的限定性信息获得的疾病的诊断意见的预测精度是有限的。
并且，即使获得了预测精度高的疾病的诊断意见，若不知道各解剖区域对该诊断意见的输出贡献了何种程度，则医师也无法判断诊断意见的可能性。
本发明的技术所涉及的一种实施方式提供一种能够获得更准确的疾病的诊断意见，并且能够知道器官的各解剖区域对诊断意见的输出贡献了何种程度的诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法。
用于解决技术课题的手段
本发明的诊断辅助装置具备：处理器；及存储器，连接或内置于处理器，处理器进行如下：获取医用图像，从医用图像提取器官的多个解剖区域，将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型，并从特征量导出模型输出多个解剖区域的每一个的多个特征量，将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型，并从疾病诊断意见导出模型输出疾病的诊断意见，按每一个解剖区域导出表示对诊断意见的输出的贡献程度的第1贡献度，提示诊断意见和每一个解剖区域的第1贡献度的导出结果。
优选，处理器按第1贡献度大到小的顺序提示导出结果。
优选，处理器除了多个特征量以外，还将与疾病有关的疾病相关信息输入到疾病诊断意见导出模型。
优选，疾病相关信息具有多个项目，处理器进行如下：按每一个项目导出表示对诊断意见的输出的贡献程度的第2贡献度，提示每一个项目的第2贡献度的导出结果。
优选，特征量导出模型包括自动编码器、单任务的类别判别用卷积神经网络及多任务的类别判别用卷积神经网络中的至少任一个。
优选，处理器将1个解剖区域的图像输入到不同的多个特征量导出模型，并从多个特征量导出模型分别输出特征量。
优选，疾病诊断意见导出模型通过神经网络、支持向量机及提升方法中的任一方法构建。
优选，处理器在提取解剖区域之前，进行使所获取的医用图像与标准医用图像匹配的标准化处理。
优选，器官为脑，疾病为痴呆症。此时优选，多个解剖区域包括海马体及前颞叶中的至少任一个。并且优选，疾病相关信息包括解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果中的至少任一个。
本发明的诊断辅助装置的工作方法包括如下步骤：获取医用图像；从医用图像提取器官的多个解剖区域；将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型，并从特征量导出模型输出多个解剖区域的每一个的多个特征量；将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型，并从疾病诊断意见导出模型输出疾病的诊断意见；按每一个解剖区域导出表示对诊断意见的输出的贡献程度的第1贡献度；及提示诊断意见和每一个解剖区域的第1贡献度的导出结果。
本发明的诊断辅助装置的工作程序用于使计算机执行包括如下步骤的处理：获取医用图像；从医用图像提取器官的多个解剖区域；将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型，并从特征量导出模型输出多个解剖区域的每一个的多个特征量；将按多个解剖区域的每一个输出的多个特征量输入到疾病诊断意见导出模型，并从疾病诊断意见导出模型输出疾病的诊断意见；按每一个解剖区域导出表示对诊断意见的输出的贡献程度的第1贡献度；及提示诊断意见和每一个解剖区域的第1贡献度的导出结果。
本发明的痴呆症诊断辅助方法是由具备处理器及连接或内置于处理器的存储器的计算机进行如下步骤：获取拍摄了脑的医用图像；从医用图像提取脑的多个解剖区域；将多个解剖区域的图像输入到按多个解剖区域的每一个准备的多个特征量导出模型，并从特征量导出模型输出多个解剖区域的每一个的多个特征量；将按多个解剖区域的每一个输出的多个特征量输入到痴呆症诊断意见导出模型，并从痴呆症诊断意见导出模型输出痴呆症的诊断意见；按每一个解剖区域导出表示对诊断意见的输出的贡献程度的第1贡献度；及提示诊断意见和每一个解剖区域的第1贡献度的导出结果。
发明效果
根据本发明的技术，能够提供一种能够获得更准确的疾病的诊断意见，并且能够知道器官的各解剖区域对诊断意见的输出贡献了何种程度的诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法。
附图说明
图1是表示包括诊断辅助装置的医疗系统的图。
图2是表示构成诊断辅助装置的计算机的框图。
图3是表示诊断辅助装置的CPU的处理部的框图。
图4是表示标准化部的处理的图。
图5是表示提取部的处理的图。
图6是表示特征量导出部的处理的图。
图7是表示痴呆症诊断意见导出部的处理的图。
图8是表示第1贡献度信息的图。
图9是表示第1显示画面的图。
图10是表示第2显示画面的图。
图11是表示第3显示画面的图。
图12是表示第1贡献度信息的显示的切换的图。
图13是表示自动编码器的结构及特征量导出模型的成立的图。
图14是卷积处理的说明图。
图15是表示运算数据的结构的图。
图16是表示池化处理的说明图。
图17是表示自动编码器的学习阶段中的处理的概要的图。
图18是表示痴呆症诊断意见导出模型的学习阶段中的处理的概要的图。
图19是表示诊断辅助装置的处理步骤的流程图。
图20是表示诊断辅助装置的处理步骤的流程图。
图21是表示痴呆症诊断意见信息的另一例的图。
图22是表示痴呆症诊断意见信息的又一例的图。
图23是表示第2实施方式的痴呆症诊断意见导出部的处理的图。
图24是表示第2实施方式的痴呆症诊断意见导出模型的学习阶段中的处理的概要的图。
图25是表示第2实施方式的贡献度导出部的处理及第2贡献度信息的图。
图26是表示第2实施方式的第3显示画面的图。
图27是表示单任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。
图28是表示单任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。
图29是表示多任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。
图30是表示多任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。
图31是表示第5实施方式的特征量导出部的处理的图。
图32是表示自动编码器和单任务的类别判别用卷积神经网络的结构及特征量导出模型的成立的图。
图33是表示输出部的详细结构的图。
图34是表示自动编码器及单任务的类别判别用卷积神经网络的学习阶段中的处理的概要的图。
图35是表示提供给自动编码器的损失的权重的变化的曲线图。
图36是表示第6实施方式的痴呆症诊断意见导出部的处理的图。
图37是表示以往的文献中所记载的痴呆症的进展预测方法与第6实施方式的痴呆症的进展预测方法的性能比较的表。
具体实施方式
[第1实施方式]
作为一例，如图1所示，医疗系统2具备MRI装置10、PACS(图片存档和通信系统，Picture Archiving and Communication System)服务器11及诊断辅助装置12。这些MRI装置10、PACS服务器11及诊断辅助装置12与铺设于医疗设施内的LAN(局域网，Local AreaNetwork)13连接，能够经由LAN13彼此通信。
MRI装置10拍摄患者P的头部并输出头部MRI图像15。头部MRI图像15是表示患者P的头部的三维形状的体素数据。在图1中，示出了弧矢截面的头部MRI图像15S。MRI装置10将头部MRI图像15发送到PACS服务器11。PACS服务器11存储并管理来自MRI装置10的头部MRI图像15。另外，头部MRI图像15为本发明的技术所涉及的“医用图像”的一例。
诊断辅助装置12例如为台式个人电脑，具备显示器17及输入设备18。输入设备18为键盘、鼠标、触摸面板、麦克风等。医师对输入设备18进行操作，对PACS服务器11发送患者P的头部MRI图像15的传送请求。PACS服务器11搜索被请求传送的患者P的头部MRI图像15并传送至诊断辅助装置12。诊断辅助装置12将从PACS服务器11传送的头部MRI图像15显示于显示器17。医师观察拍摄于头部MRI图像15的患者P的脑，进行患者P的痴呆症诊断。另外，脑为本发明的技术所涉及的“器官”的一例，痴呆症为本发明的技术所涉及的“疾病”的一例。并且，图1中，MRI装置10及诊断辅助装置12分别仅描绘了1台，但MRI装置10及诊断辅助装置12分别可以是多台。
作为一例，如图2所示，构成诊断辅助装置12的计算机除了前述显示器17及输入设备18以外，还具备存储装置(storage)20、存储器(memory)21、CPU(中央处理器，CentralProcessing Unit)22及通信部23。它们经由总线24彼此连接。另外，CPU22为本发明的技术所涉及的“处理器”的一例。
存储装置20为内置于构成诊断辅助装置12的计算机或通过电缆、网络与构成诊断辅助装置12的计算机连接的硬盘驱动器。或者，存储装置20为联装多台硬盘驱动器而成的硬盘阵列。在存储装置20存储有操作系统等控制程序、各种应用程序及这些程序附带的各种数据等。另外，也可以代替硬盘驱动器使用固态驱动器。
存储器21是用于CPU22执行处理的工作存储器。CPU22将存储于存储装置20的程序加载至存储器21，并执行按照程序的处理。由此，CPU22集中控制计算机的各部。通信部23进行与PACS服务器11等外部装置的各种信息的传输控制。另外，存储器21可以内置于CPU22。
作为一例，如图3所示，在诊断辅助装置12的存储装置20存储有工作程序30。工作程序30是用于使计算机作为诊断辅助装置12发挥作用的应用程序。即，工作程序30是本发明的技术所涉及的“诊断辅助装置的工作程序”的一例。在存储装置20中还存储有头部MRI图像15、标准头部MRI图像35、由分割模型36、多个特征量导出模型37构成的特征量导出模型组38及痴呆症诊断意见导出模型39。
若工作程序30被启动，则构成诊断辅助装置12的计算机的CPU22与存储器21等协同而作为读写(以下，简称为RW(Read Write))控制部45、标准化部46、提取部47、特征量导出部48、痴呆症诊断意见导出部49、贡献度导出部50及显示控制部51发挥作用。
RW控制部45控制各种数据向存储装置20的存储及存储装置20内的各种数据的读出。例如，RW控制部45接收来自PACS服务器11的头部MRI图像15，并将所接收的头部MRI图像15存储于存储装置20。另外，在图3中，头部MR I图像15在存储装置20中存储有仅1个，但是头部MRI图像15也可以在存储装置20中存储有多个。
RW控制部45从存储装置20读出为了诊断痴呆症而由医师指定的患者P的头部MRI图像15，并将所读出的头部MRI图像15输出到标准化部46及显示控制部51。RW控制部45通过从存储装置20读出头部MRI图像15，获取了头部MRI图像15。
并且，RW控制部45从存储装置20读出标准头部MRI图像35，并将所读出的标准头部MRI图像35输出到标准化部46。RW控制部45从存储装置20读出分割模型36，并将所读出的分割模型36输出到提取部47。RW控制部45从存储装置20读出特征量导出模型组38，并将所读出的特征量导出模型组38输出到特征量导出部48。而且，RW控制部45从存储装置20读出痴呆症诊断意见导出模型39，并将所读出的痴呆症诊断意见导出模型39输出至痴呆症诊断意见导出部49。
标准化部46进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理，将头部MRI图像15作为标准化头部MRI图像55。标准化部46将标准化头部MRI图像55输出至提取部47。
标准头部MRI图像35是标准的形状、大小及浓度(像素值)的拍摄了脑的头部MRI图像。标准头部MRI图像35例如为通过对多个健康者的头部MRI图像15进行平均来生成的图像或者通过计算机绘图来生成的图像。另外，标准头部MRI图像35为本发明的技术所涉及的“标准医用图像”的一例。
提取部47将标准化头部MRI图像55输入到分割模型36。分割模型36为按拍摄于标准化头部MRI图像55的脑的每个像素赋予表示海马体、扁桃体、额叶等脑的各解剖区域的标签的、进行所谓的语义分割的机器学习模型。提取部47根据分割模型36所赋予的标签，从标准化头部MRI图像55提取脑的多个解剖区域的图像(以下，称为解剖区域图像)56。提取部47将由多个解剖区域的每一个的多个解剖区域图像56构成的解剖区域图像组57输出到特征量导出部48、贡献度导出部50及显示控制部51。
特征量导出模型37按脑的多个解剖区域的每一个逐一准备(参考图6)。特征量导出部48将解剖区域图像56输入到相对应的特征量导出模型37。然后，从特征量导出模型37输出由多种特征量Z(参考图6)构成的特征量集58。特征量导出部48将由与多个解剖区域相对应的多个特征量集58构成的特征量集组59输出到痴呆症诊断意见导出部49及贡献度导出部50。
痴呆症诊断意见导出部49将特征量集组59输入到痴呆症诊断意见导出模型39。然后，从痴呆症诊断意见导出模型39输出表示痴呆症诊断意见的痴呆症诊断意见信息60。痴呆症诊断意见导出部49将痴呆症诊断意见信息60输出到贡献度导出部50及显示控制部51。另外，痴呆症诊断意见导出模型39为本发明的技术所涉及的“疾病诊断意见导出模型”的一例。
贡献度导出部50根据来自提取部47的解剖区域图像组57、来自特征量导出部48的特征量集组59及来自痴呆症诊断意见导出部49的痴呆症诊断意见信息60，按每一个解剖区域导出表示对痴呆症诊断意见信息60的输出的贡献程度的第1贡献度。由贡献度导出部50进行的第1贡献度的导出例如使用基于下述文献中所记载的Grad-CAM(梯度加权类激活映射，Gradient-weighted Class Activation Mapping)++的方法。
＜Daniel Omeiza，etc.，Smooth Grad-CAM++：An Enhanced Inference LevelVisualization Technique for Deep Convolutional Neural Network Models，arXiv：1908.01224，Aug 2019.＞
贡献度导出部50根据所导出的第1贡献度生成第1贡献度信息61。第1贡献度信息61为本发明的技术所涉及的“第1贡献度的导出结果”的一例。贡献度导出部50将第1贡献度信息61输出到显示控制部51。
显示控制部51控制各种画面向显示器17的显示。在各种画面中包括用于指示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的第1显示画面75(参考图9)、显示痴呆症诊断意见信息60的第2显示画面80(参考图10)以及显示第1贡献度信息61的第3显示画面85(参考图11)等。
作为一例，如图4所示，标准化部46对头部MRI图像15进行形状标准化处理65及浓度标准化处理66作为标准化处理。形状标准化处理65例如为如下处理，即，从头部MRI图像15及标准头部MRI图像35提取成为对位基准的标志，以使头部MRI图像15的标志与标准头部MRI图像35的标志的相关成为最大的方式，按照标准头部MRI图像35对头部MRI图像15进行平移、旋转和/或放大缩小。浓度标准化处理66例如为按照标准头部MRI图像35的浓度直方图对头部MRI图像15的浓度直方图进行校正的处理。
作为一例，如图5所示，提取部47提取海马体的解剖区域图像56_1、海马旁回的解剖区域图像56_2、额叶的解剖区域图像56_3、前颞叶的解剖区域图像56_4、枕叶的解剖区域图像56_5、丘脑的解剖区域图像56_6、丘脑下部的解剖区域图像56_7、扁桃体的解剖区域图像56_8、脑下垂体的解剖区域图像56_9、……等，作为解剖区域图像56。除此以外，提取部47还提取乳头体、胼胝体、穹窿、侧脑室等各解剖区域的解剖区域图像56。海马体、额叶、前颞叶、扁桃体等解剖区域为左右一对。虽然在图中未表述，但是对于这样的左右一对解剖区域，提取左右各解剖区域的解剖区域图像56。例如，对于海马体，提取左海马体的解剖区域图像56_1和右海马体的解剖区域图像56_1。另外，优选包括这些解剖区域中的海马体及前颞叶中的至少任一个，更优选包括海马体及前颞叶全部。前颞叶是指颞叶的前部。由提取部47进行的使用了分割模型36的解剖区域的提取例如使用下述文献中所记载的方法。
＜Patrick McClure，etc.，Knowing What You Know in Brain Segmenta tionUsing Bayesian Deep Neural Networks，Front.Neuroinform.，17Oct ober 2019.＞
作为一例，如图6所示，特征量导出部48将海马体的解剖区域图像56_1输入到海马体的特征量导出模型37_1，并从海马体的特征量导出模型37_1输出海马体的特征量集58_1。海马体的特征量集58_1由多个特征量Z1_1、Z2_1、……、ZN_1构成。另外，N为特征量的个数，例如为数十个～数十万个。
同样地，特征量导出部48将海马旁回的解剖区域图像56_2输入到海马旁回的特征量导出模型37_2，将额叶的解剖区域图像56_3输入到额叶的特征量导出模型37_3，将前颞叶的解剖区域图像56_4输入到前颞叶的特征量导出模型37_4。然后，从海马旁回的特征量导出模型37_2输出海马旁回的特征量集58_2，从额叶的特征量导出模型37_3输出额叶的特征量集58_3，从前颞叶的特征量导出模型37_4输出前颞叶的特征量集58_4。海马旁回的特征量集58_2由多个特征量Z1_2、Z2_2、……、ZN_2构成，额叶的特征量集58_3由多个特征量Z1_3、Z2_3、……、ZN_3构成，前颞叶的特征量集58_4由多个特征量Z1_4、Z2_4、……、ZN_4构成。
并且，特征量导出部48将枕叶的解剖区域图像56_5输入到枕叶的特征量导出模型37_5，将丘脑的解剖区域图像56_6输入到丘脑的特征量导出模型37_6。然后，从枕叶的特征量导出模型37_5输出枕叶的特征量集58_5，从丘脑的特征量导出模型37_6输出丘脑的特征量集58_6。枕叶的特征量集58_5由多个特征量Z1_5、Z2_5、……、ZN_5构成，丘脑的特征量集58_6由多个特征量Z1_6、Z2_6、……、ZN_6构成。如上所述，多个解剖区域图像56分别输入到相对应的特征量导出模型37，由此从各特征量导出模型37输出每一个解剖区域图像56的多个特征量集58。另外，关于特征量Z的个数，可以如例示的N个那样在各解剖区域相同，也可以在各解剖区域不同。
作为一例，如图7所示，痴呆症诊断意见导出部49将特征量集组59输入到痴呆症诊断意见导出模型39。然后，从痴呆症诊断意见导出模型39，输出正常(NC；Normal Control)、轻度认知障碍(MCI；Mild Cognitive Impair ment)及阿尔茨海默病(AD；Alzheimer’sDisease)中的任一个，作为痴呆症诊断意见信息60。
作为一例，如图8所示，第1贡献度信息61具有由多个解剖区域的每一个的多个第1贡献度图70构成的第1贡献度图组71和位次表72。在第1贡献度图70中有海马体的第1贡献度图70_1、额叶的第1贡献度图70_3、枕叶的第1贡献度图70_5等。第1贡献度图70为对解剖区域图像56的各像素分配了与第1贡献度的高低相应的颜色的、所谓的第1贡献度的热图。具体而言，对第1贡献度相对高的像素分配了红色、橙色等暖色，对第1贡献度相对低的像素分配了紫色、蓝色等冷色。
位次表72为按第1贡献度高到低的顺序排列了解剖区域的表。在图8中，例示了海马体为第1位、海马旁回为第2位、额叶为第3位、前颞叶为第4位、……的情况。
图9中示出用于指示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的第1显示画面75的一例。在第1显示画面75显示诊断痴呆症的患者P的头部MRI图像15。头部MRI图像15是弧矢截面的头部MRI图像15S、轴向截面的头部MRI图像15A及冠状截面的头部MRI图像15C。在这些各头部MRI图像15S、15A及15C的下部设置有用于切换显示的按钮组76。
在第1显示画面75设置有分析按钮77。医师在欲进行基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的情况下，选择分析按钮77。由此，由CPU22接受基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的指示。
图10中示出显示基于分割模型36、特征量导出模型37及痴呆症诊断意见导出模型39的分析的结果获得的痴呆症诊断意见信息60的第2显示画面80的一例。在第2显示画面80显示与痴呆症诊断意见信息60相应的消息81。在图10中，示出了痴呆症诊断意见信息60为轻度认知障碍(MCI)，作为消息81显示有“疑似轻度认知障碍”的例子。
在第2显示画面80设置有贡献度导出按钮82。医师在欲知道各解剖区域对痴呆症诊断意见信息60的输出贡献了何种程度的情况下，选择贡献度导出按钮82。由此，由CPU22接受第1贡献度信息61的导出的指示。另外，在选择了确认按钮83的情况下，显示控制部51取消消息81的显示，使第2显示画面80返回到第1显示画面75。
图11中示出显示贡献度导出部50所输出的第1贡献度信息61的第3显示画面85的一例。在第3显示画面85中，除了头部MRI图像15及与痴呆症诊断意见信息60相应的消息81以外，还显示表示第1贡献度的位次和该位次的解剖区域的消息86、解剖区域图像56、以及第1贡献度图70。解剖区域图像56和第1贡献度图70并排显示。在解剖区域图像56和第1贡献度图70的下部设置有用于切换显示的按钮组87。另外，在选择了确认按钮88的情况下，显示控制部51取消消息86、解剖区域图像56、以及第1贡献度图70的显示，使第3显示画面85返回到第2显示画面80。
作为一例，如图12所示，在按钮组87被操作的情况下，显示控制部51切换消息86、解剖区域图像56、以及第1贡献度图70的显示。显示控制部51按第1贡献度大到小的顺序进行这些消息86、解剖区域图像56、以及第1贡献度图70的显示的切换。在图12中，示出了按照图8所示的位次表72来切换显示的例子。具体而言，如下依次切换显示：首先为第1位的海马体的解剖区域图像56_1及第1贡献度图70_1、接着为第2位的海马旁回的解剖区域图像56_2及第1贡献度图70_2、接着为第3位的额叶的解剖区域图像56_3及第1贡献度图70_3、……。
作为一例，如图13所示，在特征量导出模型37中使用自动编码器(以下，简称为AE(自动编码器，Auto Encoder))90的压缩部91。AE90具有压缩部91和复原部92。对压缩部91输入解剖区域图像56。压缩部91将解剖区域图像56转换为特征量集58。压缩部91将特征量集58传递到复原部92。复原部92根据特征量集58生成解剖区域图像56的复原图像93。
作为一例，压缩部91通过进行如图14所示的卷积运算，将解剖区域图像56转换为特征量集58。具体而言，压缩部91具有由“conv(卷积(convolut ion)的缩写)”表示的卷积层200。卷积层200将例如3×3的滤波器203应用于具有二维排列的多个要件201的对象数据202。然后，对要件201中的1个注目要件201I的要件值e和与注目要件201I相邻的8个要件201S的要件值a、b、c、d、f、g、h、i进行卷积。卷积层200使注目要件201I每次偏移1个要件的同时，对对象数据202的各要件201依次进行卷积运算，输出运算数据205的要件204的要件值。由此，与对象数据202同样地，可获得具有二维排列的多个要件204的运算数据205。另外，首先输入到卷积层200的对象数据202为解剖区域图像56，然后将后述的缩小运算数据205S(参考图16)作为对象数据202而输入到卷积层200。
在将滤波器203的系数设为r、s、t、u、v、w、x、y、z的情况下，作为对注目要件201I的卷积运算的结果的、与运算数据205的注目要件201I相对应的要件204I的要件值k例如通过计算下述式(1)来获得。
k＝az+by+cx+dw+ev+fu+gt+hs+ir……(1)
关于运算数据205，对1个滤波器203输出1个。在对1个对象数据202应用了多种滤波器203的情况下，按每一个滤波器203输出运算数据205。即，作为一例，如图15所示，运算数据205生成与应用于对象数据202的滤波器203的个数相对应的量。并且，运算数据205具有二维排列的多个要件204，因此具有宽度和高度。运算数据205的数量被称为通道数。在图15中，例示了将4个滤波器203应用于对象数据202而输出的4个通道的运算数据205。
作为一例，如图16所示，压缩部91除了卷积层200以外，还具有由“po ol(池化(pooling)的缩写)”表示的池化层210。池化层210求出运算数据205的要件204的要件值的局部统计量，并生成将所求出的统计量作为要件值的缩小运算数据205S。在此，池化层210进行了求出2×2的要件的块211内的要件值的最大值作为局部统计量的最大值池化处理。若使块211在宽度方向及高度方向上各偏移1个要件的同时进行处理，则缩小运算数据205S缩小为原始的运算数据205的1/2的尺寸。在图16中，例示了块211A内的要件值a、b、e、f中的b、块211B内的要件值b、c、f、g中的b、块211C内的要件值c、d、g、h中的h分别为最大值的情况。另外，也可以进行求出平均值(而不是最大值)作为局部统计量的、平均值池化处理。
压缩部91通过反复进行多次由卷积层200进行的卷积处理和由池化层210进行的池化处理，输出最终运算数据205。该最终运算数据205也就是特征量集58，最终运算数据205的各要件204的要件值也就是特征量Z。这样获得的特征量Z表示海马体的萎缩程度、白质血管障碍程度、有无额叶、前颞叶、枕叶的血流代谢降低等、解剖区域的形状及纹理的特征。另外，在此，为了简化说明而设为二维，但是实际以三维进行各处理。
作为一例，如图17所示，AE90在将压缩部91转用于特征量导出模型37之前的学习阶段中，被输入学习用解剖区域图像56L并进行学习。AE90对学习用解剖区域图像56L输入学习用复原图像93L。根据这些学习用解剖区域图像56L及学习用复原图像93L，进行使用了损失函数的AE90的损失运算。然后，根据损失运算的结果进行AE90的各种系数(滤波器203的系数等)的更新设定，按照更新设定更新AE90。
在AE90的学习阶段中，更换学习用解剖区域图像56L的同时反复进行学习用解剖区域图像56L向AE90的输入、从AE90的学习用复原图像93L的输出、损失运算、更新设定及AE90的更新的上述一连串处理。在从学习用解剖区域图像56L到学习用复原图像93L的复原精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样复原精度达到设定水平的AE90的压缩部91存储于存储装置20并作为学习完毕的特征量导出模型37使用。
在表示痴呆症诊断意见导出模型39的学习阶段中的处理的概要的一例的图18中，痴呆症诊断意见导出模型39通过神经网络、支持向量机、提升方法构建。在学习阶段中，痴呆症诊断意见导出模型39被提供学习数据100并进行学习。学习数据100为学习用特征量集组59L和与学习用特征量集组59L相对应的正确痴呆症诊断意见信息60CA的组。学习用特征量集组59L是将某个头部MRI图像15的解剖区域图像56输入到特征量导出模型37而获得。正确痴呆症诊断意见信息60CA是由医师实际诊断出对获得了学习用特征量集组59L的头部MRI图像15的痴呆症的诊断意见的结果。
在学习阶段中，对痴呆症诊断意见导出模型39输入学习用特征量集组59L。痴呆症诊断意见导出模型39对学习用特征量集组59L输出学习用痴呆症诊断意见信息60L。根据该学习用痴呆症诊断意见信息60L及正确痴呆症诊断意见信息60CA，进行使用损失函数的痴呆症诊断意见导出模型39的损失运算。然后，根据损失运算的结果进行痴呆症诊断意见导出模型39的各种系数的更新设定，按照更新设定更新痴呆症诊断意见导出模型39。
在痴呆症诊断意见导出模型39的学习阶段中，更换学习数据100的同时反复进行学习用特征量集组59L向痴呆症诊断意见导出模型39的输入、从痴呆症诊断意见导出模型39的学习用痴呆症诊断意见信息60L的输出、损失运算、更新设定及痴呆症诊断意见导出模型39的更新的上述一连串处理。在学习用痴呆症诊断意见信息60L相对于正确痴呆症诊断意见信息60CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的痴呆症诊断意见导出模型39存储于存储装置20而作为学习完毕痴呆症诊断意见导出模型在痴呆症诊断意见导出部49中使用。
接着，参考图19及图20的流程图对基于上述结构的作用进行说明。首先，若在诊断辅助装置12中工作程序30被启动，则如图3所示，诊断辅助装置12的CPU22作为RW控制部45、标准化部46、提取部47、特征量导出部48、痴呆症诊断意见导出部49、贡献度导出部50及显示控制部51发挥作用。
作为一例，如图19所示，在图9所示的第1显示画面75中，选择了分析按钮77的情况下，通过RW控制部45，从存储装置20读出相对应的头部MRI图像15及标准头部MRI图像35(步骤ST100)。头部MRI图像15及标准头部MRI图像35从RW控制部45输出到标准化部46。
如图4所示，在标准化部46中，进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理(形状标准化处理65及浓度标准化处理66)(步骤ST110)。由此，头部MRI图像15成为标准化头部MRI图像55。标准化头部MRI图像55从标准化部46输出到提取部47。
如图5所示，在提取部47中，使用分割模型36，从标准化头部MRI图像55提取多个解剖区域图像56(步骤ST120)。由多个解剖区域图像56构成的解剖区域图像组57从提取部47输出到特征量导出部48、贡献度导出部50及显示控制部51。
如图6所示，在特征量导出部48中，解剖区域图像56输入到相对应的特征量导出模型37。由此，从特征量导出模型37输出特征量集58(步骤ST130)。由多个特征量集58构成的特征量集组59从特征量导出部48输出到痴呆症诊断意见导出部49及贡献度导出部50。
如图7所示，在痴呆症诊断意见导出部49中，特征量集组59输入到痴呆症诊断意见导出模型39。由此，从痴呆症诊断意见导出模型39输出痴呆症诊断意见信息60(步骤ST140)。痴呆症诊断意见信息60从痴呆症诊断意见导出部49输出到贡献度导出部50及显示控制部51。
在显示控制部51的控制下，图10所示的第2显示画面80显示于显示器17(步骤ST150)。医师通过第2显示画面80的消息81确认痴呆症诊断意见信息60。
作为一例，如图20所示，在第2显示画面80中选择贡献度导出按钮82，由CPU22接受到第1贡献度信息61的导出的指示的情况下(在步骤ST200中为“是”)，在贡献度导出部50中，根据解剖区域图像组57、特征量集组59及痴呆症诊断意见信息60，导出每一个解剖区域的第1贡献度，根据第1贡献度生成图8所示的第1贡献度信息61(步骤ST210)。第1贡献度信息61从贡献度导出部50输出到显示控制部51。
在显示控制部51的控制下，图11所示的第3显示画面85显示于显示器17(步骤ST220)。医师通过第3显示画面85，确认第1贡献度信息61。
如以上说明那样，诊断辅助装置12的CPU22具备RW控制部45、提取部47、特征量导出部48、痴呆症诊断意见导出部49、贡献度导出部50及显示控制部51。RW控制部45通过从存储装置20读出进行痴呆症的诊断的患者P的头部MRI图像15，获取头部MRI图像15。提取部47从标准化头部MRI图像55提取脑的多个解剖区域的解剖区域图像56。特征量导出部48将多个解剖区域图像56输入到按多个解剖区域的每一个准备的多个特征量导出模型37，并从特征量导出模型37输出多个解剖区域的每一个的多个特征量集58。痴呆症诊断意见导出部49将由多个特征量集58构成的特征量集组59输入到痴呆症诊断意见导出模型39，并从痴呆症诊断意见导出模型39输出痴呆症诊断意见信息60。贡献度导出部50按每一个解剖区域导出表示对痴呆症诊断意见信息60的输出的贡献程度的第1贡献度。显示控制部51通过第3显示画面85将痴呆症诊断意见信息60和第1贡献度信息61提示给医师。
特征量Z的个数非常多至例如数十个～数十万个。因此，特征量Z不是如日本专利第6483890号中所记载的Z值那样表示解剖区域的限定性特征，而是表示解剖区域的详尽的(exhaustive)特征。并且，特征量Z不是如日本专利第6483890号中所记载的Z值那样在统计上获得的仅1个值，而是对特征量导出模型37输入解剖区域图像56而获得的值。因此，基于特征量Z(由多个特征量集58构成的特征量集组59)导出痴呆症诊断意见信息60的本发明的方法与日本专利第6483890号中所记载的方法相比，能够提高痴呆症的诊断意见的预测精度，能够获得更准确的痴呆症的诊断意见。
痴呆症与癌等其他疾病相比，如通过肉眼也能够识别的特异的病变不易出现在图像上。并且，痴呆症影响整个脑，而不是局部。由于有这样的背景，因此以往难以根据头部MRI图像15等医用图像使用机器学习模型获得准确的痴呆症的诊断意见。但是，根据本发明的技术，将脑细分为多个解剖区域，对于多个解剖区域分别导出特征量，并将所导出的特征量输入到1个痴呆症诊断意见导出模型39。因此，能够实现以往困难的、获得更准确的痴呆症的诊断意见的目的。
并且，医师能够通过第3显示画面85知道脑的各解剖区域对痴呆症诊断意见信息60的输出贡献了何种程度。由此，医师能够判断痴呆症诊断意见信息60的可能性。
另外，也可以存储有各解剖区域的第1贡献度的位次的履历，并将其反映于痴呆症诊断意见导出模型39的学习中。具体而言，可以将位次相对低的解剖区域的特征量集58从提供给痴呆症诊断意见导出模型39的学习用特征量集组59L中排除。
如图12所示，显示控制部51按第1贡献度大到小的顺序提示导出结果。医师一眼便知道哪一个解剖区域作出了贡献。另外，作为按第1贡献度大到小的顺序提示导出结果的方式，不限于根据按钮组87的操作切换消息86、解剖区域图像56及第1贡献度图70的显示的图12所示的方式。也可以是将各位次的消息86、解剖区域图像56及第1贡献度图70例如上下并排显示，位次越靠上位则越靠上部显示的方式。
如图13所示，特征量导出模型37转用了AE90的压缩部91。AE90是在机器学习的领域中频繁使用的神经网络模型之一，并且是众所周知的。因此，能够相对容易地转用于特征量导出模型37。
如图18所示，痴呆症诊断意见导出模型39通过神经网络、支持向量机及提升方法中的任一方法构建。这些神经网络、支持向量机及提升方法中的任一方法均是众所周知的。因此，能够相对容易地构建痴呆症诊断意见导出模型39。
如图4所示，标准化部46在提取解剖区域之前，进行使头部MRI图像15与标准头部MRI图像35匹配的标准化处理。因此，能够在大致消除患者P的个人差及MRI装置10的装置差的基础上进行之后的处理，其结果，能够提高痴呆症诊断意见信息60的可靠性。
近年来随着老龄化社会的到来，痴呆症已成为社会问题。因此，将器官设为脑，将疾病设为痴呆症，输出痴呆症诊断意见信息60的本实施方式可以说是与当前的社会问题匹配的形态。
海马体及前颞叶为与以阿尔茨海默病为首的痴呆症的相关特别高的解剖区域。因此，如本例那样，若在多个解剖区域中包括海马体及前颞叶中的至少任一个，则能够获得进一步更准确的痴呆症的诊断意见。
作为痴呆症诊断意见信息60和第1贡献度信息61的提示方式，不限于第3显示画面85。可以将痴呆症诊断意见信息60和第1贡献度信息61印刷输出到纸介质，或者可以将痴呆症诊断意见信息60和第1贡献度信息61作为电子邮件的附件发送到医师的移动终端。
另外，痴呆症诊断意见信息并不限于图7中例示的内容(正常/轻度认知障碍/阿尔茨海默病)。例如，如图21所示的痴呆症诊断意见信息105，可以是患者P的1年后的痴呆症的进展程度是快还是慢。或者，如图22所示的痴呆症诊断意见信息108，也可以是阿尔茨海默病、路易体型痴呆症及血管性痴呆症中的任一个的痴呆症的种类。
[第2实施方式]
在图23～图26所示的第2实施方式中，除了多个特征量Z以外，还将与痴呆症有关的痴呆症相关信息111输入到痴呆症诊断意见导出模型112。
作为一例，如图23所示，本实施方式的痴呆症诊断意见导出部110除了特征量集组59以外，还将与痴呆症有关的痴呆症相关信息111输入到痴呆症诊断意见导出模型112。然后，从痴呆症诊断意见导出模型112输出痴呆症诊断意见信息113。另外，痴呆症相关信息111为本发明的技术所涉及的“疾病相关信息”的一例。
痴呆症相关信息111为进行痴呆症的诊断的患者P的信息。痴呆症相关信息111具有多个项目。项目例如包括海马体的体积。并且，项目包括长谷川式痴呆症量表(HDS-R；Revised Hasegawa’s Dementia Scale)的分数、简易精神状况检查(MMSE；Mini-MentalState Examination)的分数、Rivermead行为记忆检查(RBMT；Rivermead BehaviouralMemory Test)的分数、临床痴呆症评定量表(CDR；Clinical Dementia Rating)、日常生活活动能力(ADL；Activities of Daily Living)及阿尔茨海默病的评价量表(ADAS-Cog；Alzh eimer’s Disease Assessment Scale-cognitive subscale)。并且，项目包括ApoE基因的基因型、淀粉样β测定值、tau蛋白测定值、载脂蛋白测定值、补体蛋白测定值及甲状腺素运载蛋白测定值。而且，项目包括患者P的性别、年龄等。HDS-R的分数、MMSE的分数、RBMT的分数、CDR、ADL、ADAS-Cog、Ap oE基因的基因型、淀粉样β测定值、tau蛋白测定值、载脂蛋白测定值、补体蛋白测定值、甲状腺素运载蛋白测定值、患者P的性别、年龄等从省略了图示的电子病历系统中引用。
海马体的体积例如为海马体的解剖区域图像56_1的总像素数。海马体的体积为本发明的技术所涉及的“解剖区域的体积”的一例。另外，也可以除了海马体的体积以外或代替其，在痴呆症相关信息111中包括扁桃体等其他解剖区域的体积。
HDS-R的分数、MMSE的分数、RBMT的分数、CDR、ADL及ADAS-Cog为本发明的技术所涉及的“痴呆症测试的分数”的一例。
ApoE基因的基因型为ε2、ε3、ε4这3种ApoE基因中的2种的组合(ε2和ε3、ε3和ε4等)。相对于完全没有ε4的基因型(ε2和ε3、ε3和ε3等)，具有1个或2个ε4的基因型(ε2和ε4、ε4和ε4等)的阿尔茨海默病的发病风险成为约3倍～12倍。关于ApoE基因的基因型，ε2和ε3的组合为1、ε3和ε3的组合为2等、分别转换为数值并输入到痴呆症诊断意见导出模型142。ApoE基因的基因型为本发明的技术所涉及的“基因检查的检查结果”的一例。
淀粉样β测定值及tau蛋白测定值为本发明的技术所涉及的“脑脊髓液检查的检查结果”的一例。并且，载脂蛋白测定值、补体蛋白测定值及甲状腺素运载蛋白测定值为本发明的技术所涉及的“血液检查的检查结果”的一例。
在表示痴呆症诊断意见导出模型112的学习阶段中的处理的概要的一例的图24中，痴呆症诊断意见导出模型112被提供学习数据118并进行学习。学习数据118为学习用特征量集组59L及学习用痴呆症相关信息111L和与学习用特征量集组59L及学习用痴呆症相关信息111L相对应的正确痴呆症诊断意见信息113CA的组。学习用特征量集组59L是将某个头部MRI图像15的解剖区域图像56输入到特征量导出模型37而获得。学习用痴呆症相关信息111L为获得了学习用特征量集组59L的头部MRI图像15的摄影对象的患者P的信息。正确痴呆症诊断意见信息113CA是还考虑学习用痴呆症相关信息111L由医师实际诊断出对获得了学习用特征量集组59L的头部MRI图像15的痴呆症的诊断意见的结果。
在学习阶段中，对痴呆症诊断意见导出模型112输入学习用特征量集组59L及学习用痴呆症相关信息111L。痴呆症诊断意见导出模型112对学习用特征量集组59L及学习用痴呆症相关信息111L输出学习用痴呆症诊断意见信息113L。根据该学习用痴呆症诊断意见信息113L及正确痴呆症诊断意见信息113CA，进行使用损失函数的痴呆症诊断意见导出模型112的损失运算。然后，根据损失运算的结果进行痴呆症诊断意见导出模型112的各种系数的更新设定，按照更新设定更新痴呆症诊断意见导出模型112。
在痴呆症诊断意见导出模型112的学习阶段中，更换学习数据118的同时反复进行学习用特征量集组59L及学习用痴呆症相关信息111L向痴呆症诊断意见导出模型112的输入、从痴呆症诊断意见导出模型112的学习用痴呆症诊断意见信息113L的输出、损失运算、更新设定及痴呆症诊断意见导出模型112的更新的上述一连串处理。在学习用痴呆症诊断意见信息113L相对于正确痴呆症诊断意见信息113CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的痴呆症诊断意见导出模型112存储于存储装置20而在学习完毕痴呆症诊断意见导出模型痴呆症诊断意见导出部110中使用。
作为一例，如图25所示，本实施方式的贡献度导出部120与上述第1实施方式的第1贡献度信息61同样地，根据解剖区域图像组57、特征量集组59及痴呆症诊断意见信息113生成第1贡献度信息121，并将所生成的第1贡献度信息121输出到显示控制部123。并且，贡献度导出部120根据痴呆症相关信息111及痴呆症诊断意见信息113，按痴呆症相关信息111的每一个项目导出表示对痴呆症诊断意见信息113的输出的贡献程度的第2贡献度。贡献度导出部120导出例如1～10的10级的数值作为第2贡献度。贡献度导出部120将汇总了所导出的第2贡献度的第2贡献度信息122输出到显示控制部123。第2贡献度信息122中登录了与痴呆症相关信息111的各项目相对应的第2贡献度。第2贡献度信息122为本发明的技术所涉及的“第2贡献度的导出结果”的一例。另外，由贡献度导出部120进行的第2贡献度的导出例如使用下述文献中所记载的方法。
＜Scott M.Lundberg，etc.，Explainable machine-learning predictio ns forthe prevention of hypoxaemia during surgery，Nature Biomedica l Engineeringvolume 2，pages749-760(2018)＞
作为一例，如图26所示，在本实施方式的第3显示画面130中，除了头部MRI图像15、与痴呆症诊断意见信息60相应的消息81、表示第1贡献度的位次和该位次的解剖区域的消息86、解剖区域图像56、以及第1贡献度图70以外，还显示痴呆症相关信息111的各项目的罗列131。罗列131的各项目如阴影线的浓淡所示，进行与第2贡献度的高低相应的显示。与第2贡献度的高低相应的显示例如为第2贡献度越高的项目则由越深的颜色显示，第2贡献度越低的项目则由越浅的颜色显示等。在图26中，例示了海马体的体积、HDS-R的分数及ApoE基因的基因型等的第2贡献度相对高，MMSE的分数、CDR、ADL、ADAS-Cog等的第2贡献度相对低的情况。另外，在选择了确认按钮132的情况下，显示控制部123取消消息86、解剖区域图像56、第1贡献度图70、以及罗列131的显示，使第3显示画面130返回到第2显示画面80。
如上所述，在第2实施方式中，将痴呆症相关信息111输入到痴呆症诊断意见导出模型112。痴呆症相关信息111包括海马体的体积、HDS-R的分数、MMSE的分数、CDR、ADL、ADAS-Cog、ApoE基因的基因型、淀粉样β测定值、tau蛋白测定值、载脂蛋白测定值、补体蛋白测定值、甲状腺素运载蛋白测定值、患者P的性别、年龄等。由于加入与痴呆症有关的各种痴呆症相关信息111这样的对预测有用的强有力的信息，因此与仅通过特征量集组59预测痴呆症的诊断意见的情况相比，能够大幅提高痴呆症的诊断意见的预测精度。
并且，如图25所示，贡献度导出部120按痴呆症相关信息111的每一个项目导出表示对痴呆症诊断意见信息113的输出的贡献程度的第2贡献度。然后，如图26所示，显示控制部123通过第3显示画面130，提示每一个项目的第2贡献度的导出结果。因此，医师能够知道痴呆症相关信息111的各项目对痴呆症诊断意见信息60的输出贡献了何种程度。由此，医师能够更确信地判断痴呆症诊断意见信息60的可能性。
另外，痴呆症相关信息111只要包括解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果中的至少任一个即可。可以将患者P的病历、或者患者P是否有出现了痴呆症的亲戚等包含在痴呆症相关信息111中。并且，与第1贡献度的情况同样地，也可以存储各项目的第2贡献度的的履历，并将其反映于痴呆症诊断意见导出模型112的学习中。具体而言，可以将第2贡献度相对低的项目从提供给痴呆症诊断意见导出模型112的学习用痴呆症相关信息111L中排除。
[第3实施方式]
在图27及图28所示的第3实施方式中，代替AE90的压缩部91，将单任务的类别判别用卷积神经网络(以下，简称为单任务CNN(Convolutional Neu ral Network：卷积神经网络))140的压缩部141用作特征量导出模型145。
作为一例，如图27所示，单任务CNN140具有压缩部141和输出部142。对压缩部141输入解剖区域图像56。压缩部141与压缩部91同样地，将解剖区域图像56转换为特征量集143。压缩部141将特征量集143传递到输出部142。输出部142根据特征量集143输出1个类别144。在图27中，输出部142将出现了痴呆症或未出现痴呆症的判别结果作为类别144输出。该单任务CNN140的压缩部141用作特征量导出模型145。
作为一例，如图28所示，单任务CNN140在将压缩部141转用于特征量导出模型145之前的学习阶段中，被提供学习数据148并进行学习。学习数据148为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确类别144CA的组。正确类别144CA为医师对获得了学习用解剖区域图像56L的头部MRI图像15实际判别是否出现了痴呆症的结果。
在学习阶段中，对单任务CNN140输入学习用解剖区域图像56L。单任务CNN140对学习用解剖区域图像56L输出学习用类别144L。根据该学习用类别144L及正确类别144CA进行单任务CNN140的损失运算。然后，根据损失运算的结果进行单任务CNN140的各种系数的更新设定，按照更新设定更新单任务CNN 140。
在单任务CNN140的学习阶段中，更换学习数据148的同时反复进行学习用解剖区域图像56L向单任务CNN140的输入、从单任务CNN140的学习用类别144L的输出、损失运算、更新设定及单任务CNN140的更新的上述一连串处理。在学习用类别144L相对于正确类别144CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的单任务CNN140的压缩部141作为学习完毕的特征量导出模型145存储于存储装置20并在特征量导出部48中使用。
如上所述，在第3实施方式中，该单任务CNN140的压缩部141用作特征量导出模型145。单任务CNN140也是在机器学习的领域中频繁使用的神经网络模型之一，并且是众所周知的。因此，能够相对容易地转用于特征量导出模型145。
另外，作为类别144，例如，可以是患者P的年龄小于75岁或75岁以上的内容，也可以是60多岁、70多岁等患者P的年龄。
[第4实施方式]
在图29及图30所示的第4实施方式中，代替AE90的压缩部91及单任务CNN140的压缩部141，将多任务的类别判别用CNN(以下，简称为多任务CNN)150的压缩部151用作特征量导出模型156。
作为一例，如图29所示，多任务CNN150具有压缩部151和输出部152。对压缩部151输入解剖区域图像56。压缩部151与压缩部91及压缩部141同样地，将解剖区域图像56转换为特征量集153。压缩部151将特征量集153传递到输出部152。输出部152根据特征量集153输出第1类别154及第2类别155这2个类别。在图29中，输出部152将出现了痴呆症或未出现痴呆症的判别结果作为第1类别154输出。并且，在图29中，输出部152将输出患者P的年龄作为第2类别155输出。该多任务CNN150的压缩部151用作特征量导出模型156。
作为一例，如图30所示，多任务CNN150在将压缩部151转用于特征量导出模型156之前的学习阶段中，被提供学习数据158并进行学习。学习数据158为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确第1类别154CA及正确第2类别155CA的组。正确第1类别154CA为医师对获得了学习用解剖区域图像56L的头部MRI图像15实际判别是否出现了痴呆症的结果。并且，正确第2类别155CA为获得了学习用解剖区域图像56L的头部MRI图像15的摄影对象的患者P的实际年龄。
在学习阶段中，对多任务CNN150输入学习用解剖区域图像56L。多任务CNN150对学习用解剖区域图像56L输出学习用第1类别154L及学习用第2类别155L。根据该学习用第1类别154L及学习用第2类别155L、以及正确第1类别154CA及正确第2类别155CA，进行多任务CNN150的损失运算。然后，根据损失运算的结果进行多任务CNN150的各种系数的更新设定，按照更新设定更新多任务CNN150。
在多任务CNN150的学习阶段中，更换学习数据158的同时反复进行学习用解剖区域图像56L向多任务CNN150的输入、从多任务CNN150的学习用第1类别154L及学习用第2类别155L的输出、损失运算、更新设定及多任务CNN150的更新的上述一连串处理。在学习用第1类别154L及学习用第2类别155L相对于正确第1类别154CA及正确第2类别155CA的预测精度达到预先设定的设定水平的情况下，结束上述一连串处理的反复。这样预测精度达到设定水平的多任务CNN150的压缩部151作为学习完毕的特征量导出模型156存储于存储装置20并在特征量导出部48中使用。
如上所述，在第4实施方式中，多任务CNN150的压缩部151用作特征量导出模型156。多任务CNN150与AE90及单任务CNN140相比，进行输出多个类别(第1类别154及第2类别155)的、更复杂的处理。因此，从压缩部151输出的特征量集153更详尽地表示了解剖区域图像56的特征的可能性高。因此，其结果，能够进一步提高基于痴呆症诊断意见导出模型39的痴呆症的诊断意见的预测精度。
另外，作为第1类别154，例如可以是5级水平的痴呆症的进展程度。并且，作为第2类别155，可以是患者P的年龄的判别结果。多任务CNN150可以输出3个以上的类别。
[第5实施方式]
在图31所示的第5实施方式中，将1个解剖区域的解剖区域图像56输入到不同的多个特征量导出模型。
在图31中，本实施方式的特征量导出部160将1个解剖区域的解剖区域图像56输入到第1特征量导出模型161，输入到第2特征量导出模型162，输入到第3特征量导出模型163。由此，特征量导出部160从第1特征量导出模型161输出第1特征量集164，从第2特征量导出模型162输出第2特征量集165，从第3特征量导出模型163输出第3特征量集166。第1特征量导出模型161转用了上述第1实施方式的AE90的压缩部91。第2特征量导出模型162转用了上述第3实施方式的单任务CNN140的压缩部141。第3特征量导出模型163转用了上述第4实施方式的多任务CNN150的压缩部151。
如上所述，在第5实施方式中，特征量导出部160将1个解剖区域的解剖区域图像56输入到第1特征量导出模型161、第2特征量导出模型162及第3特征量导出模型163。然后，从各模型161～163输出第1特征量集164、第2特征量集165及第3特征量集166。因此，与使用1种特征量导出模型37的情况相比，能够获得多种多样的特征量Z。其结果，能够进一步提高基于痴呆症诊断意见导出模型39的痴呆症的诊断意见的预测精度。
不同的多个特征量导出模型例如可以是转用了AE90的压缩部91的第1特征量导出模型161和转用了单任务CNN140的压缩部141的第2特征量导出模型162的组合。或者，也可以是转用了单任务CNN140的压缩部141的第2特征量导出模型162和转用了多任务CNN150的压缩部151的第3特征量导出模型163的组合。而且，可以是转用了将是否出现了痴呆症作为类别144输出的单任务CNN140的压缩部141的第2特征量导出模型162和转用了将患者P的年龄作为类别144输出的单任务CNN140的压缩部141的第2特征量导出模型162的组合。
[第6实施方式]
在图32～图37所示的第6实施方式中，将组合了AE250和单任务CNN251的模型用作特征量导出模型252。
作为一例，如图32所示，AE250与上述第1实施方式的AE90同样地，具有压缩部253和复原部254。对压缩部253输入解剖区域图像56。压缩部253将解剖区域图像56转换为特征量集255。压缩部253将特征量集255传递到复原部254。复原部254根据特征量集255生成解剖区域图像56的复原图像256。
单任务CNN251与上述第3实施方式的单任务CNN140同样地，具有压缩部253和输出部257。即，压缩部253在AE250和单任务CNN251中被共用。压缩部253将特征量集255传递到输出部257。输出部257根据特征量集255输出1个类别258。在图32中，输出部257将当前轻度认知障碍的患者P在2年后也仍为轻度认知障碍、或者在2年后进展为阿尔茨海默病的判别结果作为类别258输出。并且，输出部257输出汇总了构成特征量集255的多个特征量Z的汇总特征量ZA。汇总特征量ZA输出到各解剖区域。在本实施方式中，汇总特征量ZA输入到痴呆症诊断意见导出模型282来代替特征量集255(参考图36)。
作为一例，如图33所示，输出部257具有自我注意(以下，简称为SA(Self-Attention))机构层265、全局平均池化(以下，简称为GAP(Global Average Pooling))层266、完全连接(以下，简称为FC(Fully Connecte d))层267、柔性最大值传输函数(以下，简称为SMF(SoftMax Function)层268及主成分分析(以下，简称为PCA(Principal ComponentAnalysis))层269。
SA机构层265根据注目要件201I的要件值变更滤波器203的系数的同时，对特征量集255进行图14所示的卷积处理。以下，将在该SA机构层265中进行的卷积处理称为SA卷积处理。SA机构层265将SA卷积处理后的特征量集255输出到GAP层266。
GAP层266对SA卷积处理后的特征量集255实施全局平均池化处理。全局平均池化处理为按特征量集255的每一个通道(参考图15)求出特征量Z的平均值的处理。例如在特征量集255的通道数为512个的情况下，通过全局平均池化处理求出512个特征量Z的平均值。GAP层266将所求出的特征量Z的平均值输出到FC层267及PCA层269。
FC层267将特征量Z的平均值转换为由SMF层268的SMF处理的变量。FC层267具备具有与特征量Z的平均值的个数相对应的量(即，与特征量集255的通道数相对应的量)的单元的输入层和具有与由SMF处理的变量的个数相对应的量的单元的输出层。输入层的各单元和输出层的各单元相互完全结合，并分别设定了权重。对输入层的各单元输入特征量Z的平均值。特征量Z的平均值与在各单元之间设定的权重之积和成为输出层的各单元的输出值。该输出值为由SMF处理的变量。FC层267将由SMF处理的变量输出到SMF层268。SMF层268通过将变量应用于SMF来输出类别258。
PCA层269对特征量Z的平均值进行PCA，将多个特征量Z的平均值设为比其少的个数的汇总特征量ZA。例如，PCA层269将512个特征量Z的平均值汇总为1个汇总特征量ZA。
作为一例，如图34所示，AE250在学习阶段中，被输入学习用解剖区域图像56L并进行学习。AE250对学习用解剖区域图像56L输入学习用复原图像256L。根据这些学习用解剖区域图像56L及学习用复原图像256L，进行使用了损失函数的AE250的损失运算。然后，根据损失运算的结果(以下，标记为损失L1)进行AE250的各种系数的更新设定，按照更新设定更新AE250。
在AE250的学习阶段中，更换学习用解剖区域图像56L的同时反复进行学习用解剖区域图像56L向AE250的输入、从AE250的学习用复原图像256L的输出、损失运算、更新设定及AE250的更新的上述一连串处理。
单任务CNN251在学习阶段中，被提供学习数据275并进行学习。学习数据275为学习用解剖区域图像56L和与学习用解剖区域图像56L相对应的正确类别258CA的组。正确类别258CA表示获得了学习用解剖区域图像56L的头部MRI图像15的摄影对象的患者P是实际在2年后也仍为轻度认知障碍还是在2年后进展为阿尔茨海默病。
在学习阶段中，对单任务CNN251输入学习用解剖区域图像56L。单任务CNN251对学习用解剖区域图像56L输出学习用类别258L。根据该学习用类别258L及正确类别258CA，进行使用了交叉熵函数等的单任务CNN251的损失运算。然后，根据损失运算的结果(以下，标记为损失L2)进行单任务CNN251的各种系数的更新设定，按照更新设定更新单任务CNN251。
在单任务CNN251的学习阶段中，更换学习数据275的同时反复进行学习用解剖区域图像56L向单任务CNN251的输入、从单任务CNN251的学习用类别258L的输出、损失运算、更新设定及单任务CNN251的更新的上述一连串处理。
AE250的更新设定及单任务CNN251的更新设定根据下述式(2)所示的总损失L进行。另外，α为权重。
L＝L1×α+L2×(1-α)……(2)
即，总损失L为AE250的损失L1和单任务CNN251的损失L2的加权之和。
作为一例，如图35所示，在学习阶段的初始阶段中，对权重α设定1。在将权重α设为1的情况下，成为总损失L＝L1。因此，此时仅进行AE250的学习，不进行单任务CNN251的学习。
权重α随着进行学习而从1递减，最终成为固定值(在图35中为0.8)。此时，AE250的学习和单任务CNN251的学习以与权重α相应的强度同时进行。如上所述，提供给损失L1的权重大于提供给损失L2的权重。并且，提供给损失L1的权重从最高值1递减，并且提供给损失L2的权重从最低值0递增，而且两者成为固定值。
AE250及单任务CNN251的学习在基于AE250的从学习用解剖区域图像56L到学习用复原图像256L的复原精度达到预先确定的设定水平，并且基于单任务CNN251的学习用类别258L相对于正确类别258CA的预测精度达到预先设定的设定水平的情况下结束。这样复原精度及预测精度达到设定水平的AE250及单任务CNN251存储于存储装置20并作为学习完毕的特征量导出模型252使用。
作为一例，如图36所示，本实施方式的痴呆症诊断意见导出部280将汇总特征量组ZAG及痴呆症相关信息281输入到痴呆症诊断意见导出模型282。汇总特征量组ZAG由按每一个解剖区域输出的多个汇总特征量ZA构成。痴呆症相关信息281与上述第2实施方式的痴呆症相关信息111同样地，包括进行痴呆症的诊断的患者P的性别、年龄、解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果等。
痴呆症诊断意见导出模型282具有分位标准化部283及线性判别分析部284。对分位标准化部283输入汇总特征量组ZAG和痴呆症相关信息281。分位标准化部283进行如下分位标准化(Quantile Normalization)：为了将构成汇总特征量组ZAG的多个汇总特征量ZA和痴呆症相关信息281的各参数处理为相同列，将这些转换为按照标准分布的数据。线性判别分析部284对分位标准化处理后的汇总特征量ZA及痴呆症相关信息281的各参数进行线性判别分析(Linear Discriminant Analysis)，其结果，输出痴呆症诊断意见信息285。痴呆症诊断意见信息285是当前轻度认知障碍的患者P在2年后也仍为轻度认知障碍、或者在2年后进展为阿尔茨海默病中的任一者。另外，痴呆症诊断意见导出模型282的学习中，学习用特征量集组59L改变为学习用汇总特征量组ZAG，除此以外，与图24所示的痴呆症诊断意见导出模型112的学习相同，因此省略图示及说明。
如上所述，在第6实施方式中，将进行类别258的输出等主任务的单任务CNN251和与单任务CNN251一部分共同且进行比复原图像256的生成等主任务通用的子任务的AE250用作特征量导出模型252。然后，使AE250和单任务CN N251同时学习。因此，与AE250和单任务CNN251独立进行的情况相比，能够输出更适当的特征量集255及汇总特征量ZA，其结果，能够提高痴呆症诊断意见信息285的预测精度。
在学习阶段中，根据AE250的损失L1和单任务CNN251的损失L2的加权之和即总损失L进行更新设定。因此，通过将权重α设定为适值，能够使AE250重点学习，或者能够使单任务CNN251重点学习，或者能够使AE250及单任务CNN251均衡地学习。
提供给损失L1的权重大于提供给损失L2的权重。因此，能够始终使AE250重点学习。若始终使AE250重点学习，则能够从压缩部253输出进一步表示了解剖区域的形状及纹理的特征的特征量集255，其结果，能够从输出部257输出更正确的汇总特征量ZA。
并且，若将提供给损失L1的权重从最高值递减，并且将提供给损失L2的权重从最低值递增，进行规定次数的学习，则将两者设为固定值。因此，能够在学习的初始阶段中使AE250更重点学习。AE250承担生成复原图像256的相对简单的子任务。因此，若在学习的初始阶段中使AE250更重点学习，则能够在学习的初始阶段中从压缩部253输出进一步表示了解剖区域的形状及纹理的特征的特征量集255。
作为一例，图37所示的表300表示下述文献A、B、C、D、E、F及G中所记载的与痴呆症的进展预测方法相关的No.1～7和本实施方式的与痴呆症的进展预测方法相关的No.8及9的性能比较。本实施方式的痴呆症的进展预测方法中的No.8表示如下情况：对痴呆症诊断意见导出模型282仅输入汇总特征量组ZAG，未输入痴呆症相关信息281。对此，No.9表示如下情况：对痴呆症诊断意见导出模型282输入汇总特征量组ZAG及痴呆症相关信息281。
文献A＜Tam，A.，Dansereau，C.，Iturria-Medina，Y.，Urchs，S.，Or ban，P.，Sharmarke，H.，Breitner，J.，&Alzheimer’s Disease Neuroima ging Initiative.，“Ahighly predictive signature of cognition and brain atrophy for progression toAlzheimer’s dementia.”，GigaScienc e，8(5)，giz055(2019).＞
文献B＜Ledig，C.，Schuh，A.，Guerrero，R.，Heckemann，R.A.，&Rue ckert，D.，“Structural brain imaging in Alzheimer’s disease and mi ld cognitiveimpairment：biomarker analysis and shared morphometry database.”，Scientificreports，8(1)，11258(2018).＞
文献C＜Lu，D.，Popuri，K.，Ding，G.W.，Balachandar，R.，&Beg，M.F.，“Multimodaland multiscale deep neural networks for the early diagnosis of Alzheimer’sdisease using structural MR and FDG-PET ima ges.”，Scientific reports，8(1)，5697(2018).＞
文献D＜Basaia，S.，Agosta，F.，Wagner，L.，Canu，E.，Magnani，G.，Santangelo，R.，Filippi，M.，Automated classification of Alzheimer’s disease and mildcognitive impairment using a single MRI and deep neural networks，NeuroImage：Clinical 21，101645(2019).＞
文献E＜Nakagawa，T.，Ishida，M.，Naito，J.，Nagai，A.，Yamaguchi，S.，Onoda，K.，“Prediction of conversion to Alzheimer’s disease us ing deep survivalanalysis of MRI images”，Brain Communications，Vo l.2(1)(2020).＞
文献F＜Lee，G.，Nho，K.，Kang，B.，Sohn，K.A.，&Kim，D.，“Predi ctingAlzheimer’s disease progression using multi-modal deep learni ng approach.”，Scientific reports，9(1)，1952(2019).＞
文献G＜Goto，T.，Wang，C.，Li，Y.，Tsuboshita，Y.，Multi-modal deep learningfor predicting progression of Alzheimer’s disease usin g bi-linear shakefusion，Proc.SPIE 11314，Medical Imaging(2020).＞
No.8及9的准确率(Accuracy)为0.84及0.90。尤其，No.9的准确率0.90高于No.1～7中的任一个的准确率。No.8及9的AUC(曲线下面积，Area Under the Curve)为0.93及0.97。这些值大于文献E中所记载的与痴呆症的进展预测方法相关的No.5。因此，可以说本实施方式的痴呆症的进展预测方法与文献A～G中所记载的以往的痴呆症的进展预测方法相比，能够进行准确度更高的痴呆症的进展预测。
No.8及9的灵敏度(Sensitivity)为0.85及0.91。这些值高于No.1～7中的任一个的灵敏度。尤其，No.9的灵敏度0.91为其中的最高值。因此，可以说本实施方式的痴呆症的进展预测方法与文献A～G中所记载的以往的痴呆症的进展预测方法相比，能够毫不遗漏地预测当前轻度认知障碍的患者P在预测期间之后进展为阿尔茨海默病。
No.8及9的特异度(Specificity)为0.84及0.90。这些值虽然比文献A中所记载的与痴呆症的进展预测方法相关的No.1的0.97等小，但是比其他文献B、C、D及F大。因此，可以说本实施方式的痴呆症的进展预测方法与其他许多以往的痴呆症的进展预测方法相比，若当前轻度认知障碍的患者P在预测期间之后也仍为轻度认知障碍，则能够更准确地预测。
另外，在表300中，学习用图像的项目的ADNI为“阿尔茨海默病神经影像学倡议，Alzheimer’s Disease Neuroimaging Initiative”的缩写。AIBL为“澳大利亚成像生物标志物和老龄化生活方式旗舰研究，Australian Imagi ng Biomarkers and LifestyleStudy of Ageing”的缩写。J-ADNI为“日本阿尔茨海默病神经影像学倡议，JapaneseAlzheimer’s Disease Neuroimagi ng Intiative”的缩写。均表示存储有与阿尔茨海默病相关的患者P的头部MR I图像15等的数据库。
可以使用上述第4实施方式的多任务CNN150来代替单任务CNN251。
图17所示的AE90的学习、图18所示的痴呆症诊断意见导出模型39的学习、图24所示的痴呆症诊断意见导出模型112的学习、图28所示的单任务CN N140的学习、图30所示的多任务CNN150的学习、以及图34所示的AE250及单任务CNN251的学习等可以在诊断辅助装置12中进行，也可以在除了诊断辅助装置12以外的装置中进行。并且，这些学习也可以在诊断辅助装置12的存储装置20存储各模型之后继续进行。
PACS服务器11可以作为诊断辅助装置12发挥作用。
医用图像并不限于例示的头部MRI图像15。也可以是PET(正电子发射断层扫描，Positron Emission Tomography)图像、SPECT(单光子发射计算机断层扫描，SinglePhoton Emission Computed Tomography)图像、CT(计算机断层扫描，ComputedTomography)图像、内窥镜图像、超声波图像等。
器官不限于例示的脑，可以是心脏、肺、肝脏等。在肺的情况下，提取右肺S1、S2、左肺S1、S2等作为解剖区域。在肝脏的情况下，提取右叶、左叶、胆囊等作为解剖区域。并且，疾病也不限于例示的痴呆症，也可以是心脏病、肺炎、肝功能障碍等。
在上述各实施方式中，例如，RW控制部45、标准化部46、提取部47、特征量导出部48及160、痴呆症诊断意见导出部49、110及280、贡献度导出部50及120、以及显示控制部51及123等执行各种处理的处理部(Processing Unit)的硬件结构，能够使用以下示出的各种处理器(Processor)。如上所述，各种处理器除了包括执行软件(工作程序30)来作为各种处理部发挥功能的通用的处理器即CPU22以外，还包括FPGA(现场可编程门阵列，Field Programmable Gate Array)等能够在制造之后变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device:PLD)、具有ASIC(专用集成电路，App lication SpecificIntegrated Circuit)等为了执行特定处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合和/或CPU和FPGA的组合)构成。并且，也可以由1个处理器构成多个处理部。
作为由1个处理器构成多个处理部的例子，第1，有如客户机及服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，该处理器作为多个处理部发挥作用的方式。第2，有如系统芯片(System On Chip:SoC)等为代表，使用通过1个IC(集成电路，Integrated Circuit)芯片实现包括多个处理部的整个系统的功能的处理器的方式。如此，各种处理部作为硬件结构利用1个以上的上述各种处理器来构成。
而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合了半导体元件等电路元件的电路(circuitry)。
本发明的技术还能够适当地组合上述各种实施方式和/或各种变形例。并且，不限于上述各实施方式，只要不脱离主旨，则可采用各种结构是理所当然的。而且，本公开的技术除了程序以外，还涉及非临时性地存储程序的存储介质。
以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，仅仅是本发明的技术的一例。例如，与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，可以在不脱离本发明的技术的宗旨的范围内，对以上示出的记载内容及图示内容，删除不需要的部分或追加新的要素或替换是毋庸置疑的。并且，为了避免复杂化并且便于理解本发明的技术所涉及的部分，在以上示出的记载内容及图示内容中，省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。
在本说明书中，“A和/或B”的含义与“A及B中的至少1个”相同。即，“A和/或B”意味着可以只是A，也可以只是B，还可以是A及B的组合。并且，在本说明书中，在利用“和/或”结合三个以上的事项来表述的情况下，也应用与“A和/或B”相同的概念。
就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参考而引入的各个文献、专利申请以及技术规格的情况相同地，通过参考而编入本说明书。

Claims (14)

1.一种诊断辅助装置，其具备：
处理器；及
存储器，连接或内置于所述处理器，
所述处理器进行如下处理：
获取医用图像，
从所述医用图像提取器官的多个解剖区域，
将所述多个解剖区域的图像输入到按所述多个解剖区域的每一个准备的多个特征量导出模型，并从所述特征量导出模型输出所述多个解剖区域的每一个的多个特征量，
将按所述多个解剖区域的每一个输出的所述多个特征量输入到疾病诊断意见导出模型，并从所述疾病诊断意见导出模型输出疾病的诊断意见，
按每一个所述解剖区域导出表示对所述诊断意见的输出的贡献程度的第1贡献度，以及
提示所述诊断意见和每一个所述解剖区域的所述第1贡献度的导出结果。
2.根据权利要求1所述的诊断辅助装置，其中，
所述处理器按所述第1贡献度从大到小的顺序提示所述导出结果。
3.根据权利要求1或2所述的诊断辅助装置，其中，
所述处理器除了所述多个特征量以外，还将与所述疾病有关的疾病相关信息输入到所述疾病诊断意见导出模型。
4.根据权利要求3所述的诊断辅助装置，其中，
所述疾病相关信息具有多个项目，
所述处理器进行如下处理：
按每一个所述项目导出表示对所述诊断意见的输出的贡献程度的第2贡献度，
提示每一个所述项目的所述第2贡献度的导出结果。
5.根据权利要求1至4中任一项所述的诊断辅助装置，其中，
所述特征量导出模型包括自动编码器、单任务的类别判别用卷积神经网络及多任务的类别判别用卷积神经网络中的至少任一个。
6.根据权利要求1至5中任一项所述的诊断辅助装置，其中，
所述处理器将1个所述解剖区域的图像输入到不同的多个所述特征量导出模型，并从多个所述特征量导出模型分别输出所述特征量。
7.根据权利要求1至6中任一项所述的诊断辅助装置，其中，
所述疾病诊断意见导出模型通过神经网络、支持向量机及提升方法中的任一方法构建。
8.根据权利要求1至7中任一项所述的诊断辅助装置，其中，
所述处理器在提取所述解剖区域之前，进行使所获取的所述医用图像与标准医用图像匹配的标准化处理。
9.根据权利要求1至8中任一项所述的诊断辅助装置，其中，
所述器官为脑，所述疾病为痴呆症。
10.根据权利要求9所述的诊断辅助装置，其中，
所述多个解剖区域包括海马体及前颞叶中的至少任一个。
11.一种诊断辅助装置，其为引用权利要求3或4的权利要求9或10所述的诊断辅助装置，其中，
所述疾病相关信息包括所述解剖区域的体积、痴呆症测试的分数、基因检查的检查结果、脑脊髓液检查的检查结果及血液检查的检查结果中的至少任一个。
12.一种诊断辅助装置的工作方法，其包括如下步骤：
获取医用图像；
从所述医用图像提取器官的多个解剖区域；
将所述多个解剖区域的图像输入到按所述多个解剖区域的每一个准备的多个特征量导出模型，并从所述特征量导出模型输出所述多个解剖区域的每一个的多个特征量；
将按所述多个解剖区域的每一个输出的所述多个特征量输入到疾病诊断意见导出模型，并从所述疾病诊断意见导出模型输出疾病的诊断意见；
按每一个所述解剖区域导出表示对所述诊断意见的输出的贡献程度的第1贡献度；及
提示所述诊断意见和每一个所述解剖区域的所述第1贡献度的导出结果。
13.一种诊断辅助装置的工作程序，其用于使计算机执行包括如下步骤的处理：
获取医用图像；
从所述医用图像提取器官的多个解剖区域；
将所述多个解剖区域的图像输入到按所述多个解剖区域的每一个准备的多个特征量导出模型，并从所述特征量导出模型输出所述多个解剖区域的每一个的多个特征量；
将按所述多个解剖区域的每一个输出的所述多个特征量输入到疾病诊断意见导出模型，并从所述疾病诊断意见导出模型输出疾病的诊断意见；
按每一个所述解剖区域导出表示对所述诊断意见的输出的贡献程度的第1贡献度；及
提示所述诊断意见和每一个所述解剖区域的所述第1贡献度的导出结果。
14.一种痴呆症诊断辅助方法，其是由具备处理器及连接或内置于所述处理器的存储器的计算机进行如下步骤：
获取拍摄了脑的医用图像；
从所述医用图像提取所述脑的多个解剖区域；
将所述多个解剖区域的图像输入到按所述多个解剖区域的每一个准备的多个特征量导出模型，并从所述特征量导出模型输出所述多个解剖区域的每一个的多个特征量；
将按所述多个解剖区域的每一个输出的所述多个特征量输入到痴呆症诊断意见导出模型，并从所述痴呆症诊断意见导出模型输出痴呆症的诊断意见；
按每一个所述解剖区域导出表示对所述诊断意见的输出的贡献程度的第1贡献度；及
提示所述诊断意见和每一个所述解剖区域的所述第1贡献度的导出结果。
CN202180067506.2A 2020-10-01 2021-09-24 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法 Pending CN116322523A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020-167011 2020-10-01
JP2020167011 2020-10-01
JP2020217834 2020-12-25
JP2020-217834 2020-12-25
PCT/JP2021/035195 WO2022071159A1 (ja) 2020-10-01 2021-09-24 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法

Publications (1)

Publication Number Publication Date
CN116322523A true CN116322523A (zh) 2023-06-23

Family

ID=80949125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180067506.2A Pending CN116322523A (zh) 2020-10-01 2021-09-24 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法

Country Status (5)

Country Link
US (1) US20230260630A1 (zh)
EP (1) EP4223219A4 (zh)
JP (1) JPWO2022071159A1 (zh)
CN (1) CN116322523A (zh)
WO (1) WO2022071159A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669673A (zh) * 2023-12-13 2024-03-08 湖南师范大学 一种基于生物情景记忆产生机理的忆阻器自识别电路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5243865B2 (ja) * 2008-07-07 2013-07-24 浜松ホトニクス株式会社 脳疾患診断システム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム
CN103096787B (zh) * 2010-09-07 2014-12-31 株式会社日立医疗器械 痴呆症诊断支援装置
JP6220310B2 (ja) * 2014-04-24 2017-10-25 株式会社日立製作所 医用画像情報システム、医用画像情報処理方法及びプログラム
US20160306936A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Diagnosis support system, information processing method, and program
US20170357753A1 (en) * 2016-05-23 2017-12-14 The Johns Hopkins University Direct estimation of patient attributes based on mri brain atlases
JP6483890B1 (ja) 2018-04-27 2019-03-13 国立大学法人滋賀医科大学 診断支援装置、機械学習装置、診断支援方法、機械学習方法および機械学習プログラム
JP7086759B2 (ja) * 2018-07-09 2022-06-20 キヤノンメディカルシステムズ株式会社 診断支援装置、診断支援方法、及び診断支援プログラム
CN110934606B (zh) * 2019-10-31 2021-02-12 上海杏脉信息科技有限公司 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669673A (zh) * 2023-12-13 2024-03-08 湖南师范大学 一种基于生物情景记忆产生机理的忆阻器自识别电路

Also Published As

Publication number Publication date
JPWO2022071159A1 (zh) 2022-04-07
US20230260630A1 (en) 2023-08-17
EP4223219A4 (en) 2024-04-10
EP4223219A1 (en) 2023-08-09
WO2022071159A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
US11182894B2 (en) Method and means of CAD system personalization to reduce intraoperator and interoperator variation
JP7170145B2 (ja) 情報処理装置、プログラム、学習済みモデル、診断支援装置、学習装置及び予測モデルの生成方法
JP7357927B2 (ja) 診断支援システムおよび方法
US8099299B2 (en) System and method for mapping structural and functional deviations in an anatomical region
US8010381B2 (en) System and method for disease diagnosis from patient structural deviation data
CN111210401B (zh) 根据医学图像的主动脉自动检测和量化
CN111563523A (zh) 利用机器训练的异常检测的copd分类
JP2008521468A (ja) デジタル医療画像分析
CN103460213A (zh) 图像采集和/或图像相关参数推荐器
EP2812828A1 (en) Interactive optimization of scan databases for statistical testing
US10489905B2 (en) Method and apparatus for presentation of medical images
US20190228857A1 (en) Methods, systems, and computer readable media for smart image protocoling
Platten et al. Deep learning corpus callosum segmentation as a neurodegenerative marker in multiple sclerosis
US20230260629A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, dementia diagnosis support method, and trained dementia opinion derivation model
JP2020098488A (ja) 医用情報処理装置及び医用情報処理システム
WO2022138960A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム
CN116322523A (zh) 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、以及痴呆症诊断辅助方法
CN116490132A (zh) 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序、痴呆症诊断辅助方法、以及学习完毕痴呆症诊断意见导出模型
CN116762143A (zh) 信息处理装置、信息处理装置的工作方法、信息处理装置的工作程序
WO2022071160A1 (ja) 診断支援装置、診断支援装置の作動方法、診断支援装置の作動プログラム、並びに認知症診断支援方法
CN116261428A (zh) 诊断辅助装置、诊断辅助装置的工作方法、诊断辅助装置的工作程序
US20240233945A1 (en) Multi-modality neural network for alzheimer's disease classifcation
Chen NOVEL COMPUTATIONAL PATHOLOGY-BASED PROGNOSTIC BIOMARKERS FOR GLOMERULAR DISEASES THROUGH DEEP PHOENOTYPING
Abinaya et al. Accurate Liver Fibrosis Detection Through Hybrid MRMR-BiLSTM-CNN Architecture with Histogram Equalization and Optimization
Vadhera et al. Optimizing Pulmonary Embolism detection through diverse UNET architectural variations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination