CN112219138A - 断层图像预测装置及断层图像预测方法 - Google Patents

断层图像预测装置及断层图像预测方法 Download PDF

Info

Publication number
CN112219138A
CN112219138A CN201980037277.2A CN201980037277A CN112219138A CN 112219138 A CN112219138 A CN 112219138A CN 201980037277 A CN201980037277 A CN 201980037277A CN 112219138 A CN112219138 A CN 112219138A
Authority
CN
China
Prior art keywords
brain
tomographic image
prediction
tomogram
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980037277.2A
Other languages
English (en)
Inventor
古森政作
木村祐一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of CN112219138A publication Critical patent/CN112219138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Dentistry (AREA)

Abstract

断层图像预测装置(1)具备输入部(11)、预测部(12)、输出部(13)以及学习部(14)。断层图像预测装置(1)将受试者的脑的断层图像作为输入图像(I1)输入，且通过预测部(12)的深度神经网络预测较该断层图像取得时更后的该受试者的脑的断层图像，并将该预测的断层图像作为输出图像(I2)输出。断层图像预测装置(1)可使用断层图像数据库(15)使深度神经网络学习。由此，实现了有助于制订受试者将来的治疗等方针的断层图像预测装置及断层图像预测方法。

Description

断层图像预测装置及断层图像预测方法
技术领域
本发明涉及一种预测断层图像的装置及方法。
背景技术
随着高龄化进展且失智症患者的数量增加，谋求一种诊断受试者的失智症程度的技术。受试者的失智症程度除可根据该受试者的言行诊断外，也可由医师观察脑的断层图像而诊断。在专利文献1中公开有使用神经网络，根据受试者的脑的断层图像诊断该受试者的脑的状态的技术。
现有技术文献
专利文献
专利文献1：国际公开第2008/056638号
发明内容
发明所要解决的问题
专利文献1所公开的技术根据受试者当前的脑的断层图像，诊断当前的失智症程度。若可诊断受试者的当前的失智症程度，则有助于该受试者的照护或治疗。然而，仅得知受试者当前的失智症程度，不足以制订该受试者当前乃至将来的照护、治疗或预防的方针。
本发明的目的在于提供一种有助于受试者的将来的治疗等方针的确立的断层图像预测装置及断层图像预测方法。
解决问题的技术手段
本发明的实施方式是断层图像预测装置。断层图像预测装置具备：(1)输入部，其输入受试者的脑的断层图像；(2)预测部，其基于输入至输入部的脑的断层图像，通过深度神经网络，预测较该断层图像的取得时更后的受试者的脑的断层图像；及(3)输出部，其输出预测部的预测结果。
本发明的实施方式是断层图像预测方法。断层图像预测方法具备：(1)输入步骤，其输入受试者的脑的断层图像；(2)预测步骤，其基于在输入步骤中输入的脑的断层图像，通过深度神经网络，预测较该断层图像的取得时更后的受试者的脑的断层图像；及(3)输出步骤，其输出预测步骤中的预测结果。
发明的效果
根据本发明的实施方式，通过预测受试者将来的脑的断层图像，可对该受试者当前乃至将来的照护、治疗或预防，制订更有效的方针。
附图说明
图1是显示断层图像预测装置1的结构的图。
图2是显示深度神经网络学习完毕的断层图像预测装置1的结构的图。
图3是显示断层图像预测装置1A的结构的图。
图4是显示输入至输入部11的断层图像(输入图像I1)、自输出部13输出的输出图像I2a～I2d、及自输出部13输出的差分图像的例子的图。
图5是对比显示实际的断层图像与预测的断层图像的图。
图6是对比显示按最坏方案及最佳方案分别预测的断层图像的图。
图7是显示断层图像预测装置1B的结构的图。
图8是显示断层图像预测装置1C的结构的图。
具体实施方式
以下，参照附图，详细地说明用于实施本发明的方式。另外，附图的说明中，对相同要件附加相同的符号，并省略重复的说明。本发明并非限定于这些例示。
图1是显示断层图像预测装置1的结构的图。断层图像预测装置1将受试者的脑的断层图像作为输入图像I1输入，且通过深度神经网络预测较该断层图像取得时更后的该受试者的脑的断层图像，并将该预测的断层图像作为输出图像I2输出。另外，断层图像预测装置1可使用断层图像数据库15使深度神经网络学习。断层图像预测装置1例如被构成为使用计算机，具备输入部11、预测部(处理部)12、输出部13及学习部14。
输入部11将受试者的脑的断层图像作为输入图像I1输入。断层图像例如也可为通过PET(Positron Emission Tomography(正电子发射断层成像术))装置取得的PET图像、通过SPECT(Single Photon Emission Computed Tomography(单光子发射计算机断层成像术))装置取得的SPECT图像、及通过MRI(Magnetic Resonance Imaging(磁共振成像))装置取得的MRI图像的任一者。另外，断层图像也可为1片或多片二维断层图像，也可为三维断层图像。
预测部12基于输入至输入部11的脑的断层图像(输入图像I1)，通过深度神经网络(Deep Neural Network)，预测较该断层图像的取得时更后的受试者的脑的断层图像等。另外，预测部12也可构成为基于该预测的受试者的脑的断层图像预测该受试者的脑的健康状态。脑的健康状态为例如失智症程度，可以数值化的Z得分表示，或可以危险度等级(需精密检查、需注意、需经过观察等)表示。
该深度神经网络也可为卷积神经网络(Convolutional Neural Network)。卷积神经网络中，交替地设置有抽出特征量的卷积层和压缩特征量的池化层。预测部12也可通过CPU(Central Processing Unit(中央处理单元))进行深度神经网络中的处理，但优选通过可进行更高速的处理的DSP(Digital Signal Processor(数字信号处理器))或GPU(Graphics Processing Unit(图形处理单元))进行。
输出部13输出预测部12的预测结果。输出部13将预测部12预测的受试者的脑的断层图像作为输出图像12输出。此外，在预测部12也预测受试者的脑的健康状态的情况下，输出部13也输出预测部12预测的受试者的脑的健康状态。输出部13也可为包含显示图像的显示器的结构。
学习部14使用断层图像数据库15使预测部12的深度神经网络学习。断层图像数据库15储存针对多个受试者在多个时点分别取得的脑的断层图像数据。断层图像数据库15例如储存有每隔大致1年取得的各受试者的脑的断层图像数据。学习部14将各受试者的某年取得的断层图像作为输入图像I1，且基于相对于该输入图像I1的输出图像I2及该受试者的在次年(或经过一定年数后的年)取得的断层图像，使预测部12的深度神经网络学习。这样的深度神经网络的学习称为深度学习(Deep Learning)。
使用这样的断层图像预测装置1的断层图像预测方法具备输入部11所进行的输入步骤、预测部12所进行的预测步骤、输出部13所进行的输出步骤、及学习部14所进行的学习步骤。
即，在输入步骤中，将受试者的脑的断层图像作为输入图像I1输入。在预测步骤中，基于在输入步骤中输入的脑的断层图像(输入图像I1)，通过深度神经网络，预测较该断层图像的取得时更后的受试者的脑的断层图像等。另外，在预测步骤中，也可构成为基于该预测的受试者的脑的断层图像预测该受试者的脑的健康状态。在输出步骤中，将在预测步骤中预测的受试者的脑的断层图像作为输出图像I2输出，此外，也输出在预测步骤中预测的受试者的脑的健康状态。在学习步骤中，使用断层图像数据库15使深度神经网络学习。
若在学习步骤中进行一次深度神经网络的学习，则以后可重复进行输入、预测及输出的一连串的步骤，因而不需要在每次进行输入、预测及输出的一连串的步骤时进行学习步骤。基于同样的理由，若深度神经网络学习完毕，则不需要学习部14。但是，即使深度神经网络学习完毕，在为了可进行更高精度的预测而再次进行学习的情况下，也可具备学习步骤及学习部14。
图2是显示深度神经网络学习完毕的断层图像预测装置1的结构的图。断层图像预测装置1可将受试者的脑的断层图像作为输入图像I1输入，且通过深度神经网络预测较该断层图像的取得时更后(例如，一年后，经过一定年数后等)的该受试者的脑的断层图像并作为输出图像I2输出，另外，可基于该预测的受试者的脑的断层图像预测该受试者的脑的健康状态。因为可预测受试者将来的脑的断层图像(及脑的健康状态)，因而可对该受试者当前乃至将来的照护、治疗或预防，制订更有效的方针。
通过预测受试者的将来的脑的断层图像(及脑的健康状态)，例如可进行如下处理。根据预测的断层图像，判断为有正常压脑积水、脑瘤、慢性硬膜下血肿等怀疑的情况下，可通过脑外科的处置而改善症状。另外，甲状腺荷尔蒙的异常判断为是原因的情况下，可通过内科的处置而改善症状。在根据预测的断层图像判断为有阿尔茨海默型怀疑时，可通过投予药物而延缓症状的加深。因为在早期发现，因而可提前应对将来有可能发生的生活障碍等麻烦，且可尽早决定今后的治疗、临终医疗、照护等方针。
断层图像预测装置1及断层图像预测方法并未限定于输入1个输入图像I1且输出1个输出图像I2的方式，也可为各种方式。以下，对断层图像预测装置的其他方式进行说明。
图3是显示断层图像预测装置1A的结构的图。在断层图像预测装置1A中，预测部12A对较输入至输入部11的脑的断层图像(输入图像I1)的取得时更后的多个时点各自的脑的断层图像进行预测。输出部13也可分别显示由预测部12A预测的多个时点各自的脑的断层图像(输出图像I2a～I2e)，优选也可通过按顺序显示这些多个时点各自的脑的断层图像而进行动画显示。
例如，输出图像I2a为较输入图像I1的取得时经过1年后的预测图像。输出图像I2b为较输入图像I1的取得时经过2年后的预测图像。输出图像I2c为较输入图像I1的取得时经过3年后的预测图像。输出图像I2d为较输入图像I1的取得时经过4年后的预测图像。另外，输出图像I2e为较输入图像I1的取得时经过5年后的预测图像。通过这样预测将来的多个时点各自中的脑的断层图像，而容易掌握脑的健康状态的变化。
预测部12A也可根据输入图像I1预测输出图像I2a，根据该输出图像I2a预测输出图像I2b，根据该输出图像I2b预测输出图像I2c，根据该输出图像I2c预测输出图像I2d，根据该输出图像I2d预测输出图像I2e。或者，也可以可根据输入图像I1预测输出图像I2a～I2e的方式，使深度神经网络学习。
图4是显示输入至输入部11的断层图像(输入图像I1)、自输出部13输出的输出图像I2a～I2d、及自输出部13输出的差分图像的例子的图。如该图所示，输出部13也可构成为，求出表示由预测部12A预测的脑的断层图像(输出图像I2a～I2d等)与输入至输入部11的脑的断层图像(输入图像I1)之间的差分的差分图像(I2a－I1、I2b－I1、I2c－I1、I2d－I1等)并输出该差分图像。通过这样显示将来多个时点各自的脑的差分图像，更容易掌握脑的健康状态的变化(例如，掌握正恶化的部位及情况)。
图5是对比显示实际的断层图像与预测的断层图像的图。此处，使用将某时点的PET图像与1年后的PET图像作为1组，且储存470组的PET图像数据的断层图像数据库，使深度神经网络学习。该图显示某特定受试者的脑的实际的第1年至第5年的PET图像，并且也显示该特定的受试者的脑的预测的第1年至第5年的PET图像。另外，该图显示表示实际的第5年的PET图像与第1年的PET图像的差分的差分图像，并且也显示表示预测的第5年的PET图像与第1年的PET图像的差分的差分图像。
若对比实际与预测，则在实际的某年的PET图像、与预测的同年的PET图像之间，活性降低的部位共通。另外，该活性降低的部位根据受试者而不同。该情况显示可基于某时点的脑的断层图像对每个受试者预测将来的脑的断层图像。这样的结果以现有的统计性处理难以获得。
图6是对比显示按最坏方案及最佳方案分别预测的断层图像的图。如该图所示，预测部12A也可构成为，对最坏方案及最佳方案的各个，预测较输入至输入部11的脑的断层图像的取得时更后的脑的断层图像。此时，深度神经网络使用断层图像数据库中经时变化的速度彼此不同的断层图像的数据库进行学习。
若使用经时变化较快的断层图像(例如，疑似阿尔茨海默型失智症的受试者的断层图像)的数据库使深度神经网络学习，则可以最坏方案预测将来的脑的断层图像。若使用经时变化较慢的断层图像(例如，健康者的断层图像)的数据库使深度神经网络学习，则可以最佳方案预测将来的脑的断层图像。通过这样以最坏方案及最佳方案分别预测受试者将来的脑的断层图像，可对该受试者的当前乃至将来的照护、治疗或预防，制订多种方针。
图7是显示断层图像预测装置1B的结构的图。在断层图像预测装置1B中，输入部11B输入受试者的脑的多个断层图像(输入图像I1a、I1b)。预测部12B基于输入至输入部11B的受试者的脑的多个断层图像，预测较这些断层图像的取得时更后的脑的断层图像。以可根据受试者的脑的多个断层图像(输入图像I1a、I1b)预测输出图像I2a～I2e的方式，预先使深度神经网络学习。
受试者的脑的多个断层图像是指在多个时点分别取得的受试者的脑的断层图像(例如，某年取得的断层图像、与次年取得的断层图像)。或者，受试者的脑的多个断层图像是指通过多种断层图像取得装置分别取得的受试者的脑的断层图像(例如，PET图像、SPECT图像、MRI图像)。这样，通过基于受试者的脑的多个断层图像预测将来的脑的断层图像，可提高预测的精度。
图8是显示断层图像预测装置1C的结构的图。在断层图像预测装置1C中，输入部11C不仅输入受试者的脑的断层图像(输入图像I1)，也输入与该受试者相关的其他信息。预测部12C基于输入至输入部11C的受试者的脑的断层图像及与该受试者相关的其他信息，预测较该断层图像的取得时更后的脑的断层图像。以可根据受试者的脑的断层图像及与该受试者相关的其他信息预测输出图像I2a～I2e的方式，预先使深度神经网络学习。
与受试者相关的其他信息，是指可能与脑的健康状态有关的信息，例如，年龄、性别、遗传基因信息、已往经历、生活习惯等信息。这样，通过基于受试者的脑的断层图像及与该受试者相关的其他信息预测将来的脑的断层图像，可提高预测的精度。
本发明并非限定于上述实施方式及构成例，可进行各种变形。例如，也可组合截至目前说明的多种方式中的任意方式。
具备断层图像取得装置(PET装置、SPECT装置、MRI装置)且取得受试者的脑的断层图像的医疗机构、与具备断层图像预测装置且预测受试者的将来的脑的断层图像的机构(以下称为“预测机构”)也可不同。
该情况下，通过医疗机构与预测机构之间的通信线路，向预测机构发送医疗机构中取得的受试者的脑的断层图像，且向医疗机构发送预测机构预测的将来的脑的断层图像。于是，在医疗机构中，医师等可基于自预测机构发送的将来的脑的断层图像，对受试者的当前乃至将来的照护、治疗或预防制订有效的方针。
上述实施方式的断层图像预测装置构成为具备：(1)输入部，其输入受试者的脑的断层图像；(2)预测部，其基于输入至输入部的脑的断层图像，通过深度神经网络，预测较该断层图像的取得时更后的受试者的脑的断层图像；及(3)输出部，其输出预测部的预测结果。
上述断层图像预测装置也可构成为还具备：学习部，其使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库使深度神经网络学习。
在上述断层图像预测装置中，预测部也可构成为基于预测的受试者的脑的断层图像预测受试者的脑的健康状态。
在上述断层图像预测装置中，预测部也可构成为对较输入至输入部的脑的断层图像的取得时更后的多个时点各自的脑的断层图像进行预测。另外，该情况下，输出部也可构成为将由预测部预测的多个时点各自的脑的断层图像作为动画显示。
在上述的断层图像预测装置中，输出部也可构成为求出表示由预测部预测的脑的断层图像、与输入至输入部的脑的断层图像之间的差分的差分图像，并输出该差分图像。
在上述断层图像预测装置中，预测部也可构成为，通过使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库中经时变化的速度彼此不同的断层图像的数据库而学习的深度神经网络，预测较输入至输入部的脑的断层图像的取得时更后的脑的断层图像。
在上述的断层图像预测装置中，预测部也可构成为，基于在多个时点分别取得的受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。另外，预测部也可构成为，基于由多种断层图像取得装置分别取得的受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。另外，预测部也可构成为，基于输入至输入部的脑的断层图像及与受试者相关的其他信息，预测较该断层图像的取得时更后的脑的断层图像。
上述实施方式的断层图像预测方法构成为具备：(1)输入步骤，其输入受试者的脑的断层图像；(2)预测步骤，其基于在输入步骤中输入的脑的断层图像，通过深度神经网络，预测较该断层图像的取得时更后的受试者的脑的断层图像；及(3)输出步骤，其输出预测步骤中的预测结果。
上述断层图像预测方法也可构成为还具备：学习步骤，其使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库使深度神经网络学习。
在上述断层图像预测方法中，预测步骤也可构成为基于预测的受试者的脑的断层图像预测受试者的脑的健康状态。
在上述断层图像预测方法中，预测步骤也可构成为对较在输入步骤中输入的脑的断层图像的取得时更后的多个时点各自的脑的断层图像进行预测。另外，该情况下，输出步骤也可构成为将在预测步骤中预测的多个时点各自的脑的断层图像作为动画显示。
在上述的断层图像预测方法中，输出步骤也可构成为求出表示在预测步骤中预测的脑的断层图像、与在输入步骤中输入的脑的断层图像之间的差分的差分图像，并输出该差分图像。
在上述断层图像预测方法中，预测步骤也可构成为，通过使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库中经时变化的速度彼此不同的断层图像的数据库而学习的深度神经网络，预测较在输入步骤中输入的脑的断层图像的取得时更后的脑的断层图像。
在上述的断层图像预测方法中，预测步骤也可构成为，基于在多个时点分别取得的受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。另外，预测步骤也可构成为，基于由多种断层图像取得装置分别取得的受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。另外，预测步骤也可构成为，基于在输入步骤中输入的脑的断层图像及与受试者相关的其他信息，预测较该断层图像的取得时更后的脑的断层图像。
产业上的可利用性
本发明可作为有助于制订受试者将来的治疗等方针的断层图像预测装置及断层图像预测方法而加以利用。
符号的说明
1、1A～1C…断层图像预测装置、11、11B、11C…输入部、12、12A～12C…预测部、13…输出部、14…学习部、15…断层图像数据库。

Claims (20)

1.一种断层图像预测装置，其中，
具备：
输入部，其输入受试者的脑的断层图像；
预测部，其基于输入至所述输入部的脑的断层图像，通过深度神经网络，预测较该断层图像的取得时更后的所述受试者的脑的断层图像；及
输出部，其输出所述预测部的预测结果。
2.如权利要求1所述的断层图像预测装置，其中，
还具备：学习部，其使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库来使所述深度神经网络学习。
3.如权利要求1或2所述的断层图像预测装置，其中，
所述预测部基于预测的所述受试者的脑的断层图像，预测所述受试者的脑的健康状态。
4.如权利要求1～3中任一项所述的断层图像预测装置，其中，
所述预测部对较输入至所述输入部的脑的断层图像的取得时更后的多个时点各自的脑的断层图像进行预测。
5.如权利要求4所述的断层图像预测装置，其中，
所述输出部将由所述预测部预测的多个时点各自的脑的断层图像作为动画显示。
6.如权利要求1～5中任一项所述的断层图像预测装置，其中，
所述输出部求出表示由所述预测部预测的脑的断层图像与输入至所述输入部的脑的断层图像之间的差分的差分图像，并输出该差分图像。
7.如权利要求1～6中任一项所述的断层图像预测装置，其中，
所述预测部通过使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库中经时变化的速度彼此不同的断层图像的数据库而学习的所述深度神经网络，预测较输入至所述输入部的脑的断层图像的取得时更后的脑的断层图像。
8.如权利要求1～7中任一项所述的断层图像预测装置，其中，
所述预测部基于在多个时点分别取得的所述受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。
9.如权利要求1～8中任一项所述的断层图像预测装置，其中，
所述预测部基于由多种断层图像取得装置分别取得的所述受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。
10.如权利要求1～9中任一项所述的断层图像预测装置，其中，
所述预测部基于输入至所述输入部的脑的断层图像及与所述受试者相关的其他信息，预测较该断层图像的取得时更后的脑的断层图像。
11.一种断层图像预测方法，其中，
具备：
输入步骤，其输入受试者的脑的断层图像；
预测步骤，其基于在所述输入步骤中输入的脑的断层图像，通过深度神经网络，预测较该断层图像的取得时更后的所述受试者的脑的断层图像；及
输出步骤，其输出所述预测步骤中的预测结果。
12.如权利要求11所述的断层图像预测方法，其中，
还具备：学习步骤，其使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库使所述深度神经网络学习。
13.如权利要求11或12所述的断层图像预测方法，其中，
所述预测步骤基于预测的所述受试者的脑的断层图像，预测所述受试者的脑的健康状态。
14.如权利要求11～13中任一项所述的断层图像预测方法，其中，
所述预测步骤对较在所述输入步骤中输入的脑的断层图像的取得时更后的多个时点各自的脑的断层图像进行预测。
15.如权利要求14所述的断层图像预测方法，其中，
所述输出步骤将在所述预测步骤中预测的多个时点各自的脑的断层图像作为动画显示。
16.如权利要求11～15中任一项所述的断层图像预测方法，其中，
所述输出步骤求出表示在所述预测步骤中预测的脑的断层图像与在所述输入步骤中输入的脑的断层图像之间的差分的差分图像，并输出该差分图像。
17.如权利要求11～16中任一项所述的断层图像预测方法，其中，
所述预测步骤通过使用针对多个受试者在多个时点分别取得的脑的断层图像的数据库中经时变化的速度彼此不同的断层图像的数据库而学习的所述深度神经网络，预测较在所述输入步骤中输入的脑的断层图像的取得时更后的脑的断层图像。
18.如权利要求11～17中任一项所述的断层图像预测方法，其中，
所述预测步骤基于在多个时点分别取得的所述受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。
19.如权利要求11～18中任一项所述的断层图像预测方法，其中，
所述预测步骤基于由多种断层图像取得装置分别取得的所述受试者的脑的断层图像，预测较这些断层图像的取得时更后的脑的断层图像。
20.如权利要求11～19中任一项所述的断层图像预测方法，其中，
所述预测步骤基于在所述输入步骤中输入的脑的断层图像及与所述受试者相关的其他信息，预测较该断层图像的取得时更后的脑的断层图像。
CN201980037277.2A 2018-06-04 2019-05-30 断层图像预测装置及断层图像预测方法 Pending CN112219138A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-106908 2018-06-04
JP2018106908A JP7114347B2 (ja) 2018-06-04 2018-06-04 断層画像予測装置および断層画像予測方法
PCT/JP2019/021637 WO2019235367A1 (ja) 2018-06-04 2019-05-30 断層画像予測装置および断層画像予測方法

Publications (1)

Publication Number Publication Date
CN112219138A true CN112219138A (zh) 2021-01-12

Family

ID=68769302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980037277.2A Pending CN112219138A (zh) 2018-06-04 2019-05-30 断层图像预测装置及断层图像预测方法

Country Status (7)

Country Link
US (1) US20210196125A1 (zh)
EP (1) EP3805807A4 (zh)
JP (1) JP7114347B2 (zh)
KR (1) KR20210018214A (zh)
CN (1) CN112219138A (zh)
TW (1) TWI827610B (zh)
WO (1) WO2019235367A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582293B1 (ko) * 2020-09-09 2023-09-25 사회복지법인 삼성생명공익재단 내이기관의 내림프수종 비율 측정 방법 및 그 장치
JP7116445B1 (ja) * 2021-10-01 2022-08-10 株式会社CogSmart 認知症予防支援装置、認知症予防支援プログラムおよび認知症予防支援方法
CN115661152B (zh) * 2022-12-27 2023-04-07 四川大学华西医院 基于模型预测的目标发展情况分析方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
JP2008157640A (ja) * 2006-12-20 2008-07-10 Fujifilm Ri Pharma Co Ltd 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
US20130116540A1 (en) * 2010-03-15 2013-05-09 Shi-Jiang Li Systems and methods for detection and prediction of brain disorders based on neural network interaction
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
US20160300352A1 (en) * 2013-03-20 2016-10-13 Cornell University Methods and tools for analyzing brain images
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
CN107451609A (zh) * 2017-07-24 2017-12-08 上海交通大学 基于深度卷积神经网络的肺结节图像识别系统
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN107530043A (zh) * 2015-07-08 2018-01-02 株式会社日立制作所 图像运算装置、图像运算方法及断层图像拍摄装置
CN107616796A (zh) * 2017-08-31 2018-01-23 北京医拍智能科技有限公司 基于深度神经网络的肺结节良恶性检测方法及装置
CN107636659A (zh) * 2015-05-11 2018-01-26 西门子保健有限责任公司 使用深度神经网络检测医学图像中的地标的方法和系统
US20180144466A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image acquisition

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9492114B2 (en) * 2004-06-18 2016-11-15 Banner Health Systems, Inc. Accelerated evaluation of treatments to prevent clinical onset of alzheimer's disease
US7929737B2 (en) * 2005-09-29 2011-04-19 General Electric Company Method and system for automatically generating a disease severity index
WO2007062135A2 (en) * 2005-11-23 2007-05-31 Junji Shiraishi Computer-aided method for detection of interval changes in successive whole-body bone scans and related computer program product and system
WO2008056638A1 (en) 2006-11-06 2008-05-15 Fujifilm Ri Pharma Co., Ltd. Brain image diagnosis supporting method, program, and recording method
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US10546233B1 (en) * 2014-07-23 2020-01-28 Hrl Laboratories, Llc Method and system to predict and interpret conceptual knowledge in the brain
CN109690554B (zh) * 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US11918333B2 (en) * 2017-12-29 2024-03-05 Analytics For Life Inc. Method and system to assess disease using phase space tomography and machine learning
WO2019245597A1 (en) * 2018-06-18 2019-12-26 Google Llc Method and system for improving cancer detection using deep learning

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
JP2008157640A (ja) * 2006-12-20 2008-07-10 Fujifilm Ri Pharma Co Ltd 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
US20130116540A1 (en) * 2010-03-15 2013-05-09 Shi-Jiang Li Systems and methods for detection and prediction of brain disorders based on neural network interaction
US20160300352A1 (en) * 2013-03-20 2016-10-13 Cornell University Methods and tools for analyzing brain images
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
CN107636659A (zh) * 2015-05-11 2018-01-26 西门子保健有限责任公司 使用深度神经网络检测医学图像中的地标的方法和系统
CN107530043A (zh) * 2015-07-08 2018-01-02 株式会社日立制作所 图像运算装置、图像运算方法及断层图像拍摄装置
WO2017106645A1 (en) * 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
CN105718952A (zh) * 2016-01-22 2016-06-29 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的方法
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20180144466A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for image acquisition
CN107451609A (zh) * 2017-07-24 2017-12-08 上海交通大学 基于深度卷积神经网络的肺结节图像识别系统
CN107616796A (zh) * 2017-08-31 2018-01-23 北京医拍智能科技有限公司 基于深度神经网络的肺结节良恶性检测方法及装置

Also Published As

Publication number Publication date
TWI827610B (zh) 2024-01-01
EP3805807A1 (en) 2021-04-14
JP2019211307A (ja) 2019-12-12
JP7114347B2 (ja) 2022-08-08
KR20210018214A (ko) 2021-02-17
WO2019235367A1 (ja) 2019-12-12
TW202011895A (zh) 2020-04-01
EP3805807A4 (en) 2022-02-23
US20210196125A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US20130070998A1 (en) Medical image processing apparatus
CN114080646A (zh) 信息处理装置、程序、学习完毕模型、诊断支援装置、学习装置及预测模型的生成方法
US11257211B2 (en) Medical image processing apparatus, medical image processing system, and medical image processing method
CN112219138A (zh) 断层图像预测装置及断层图像预测方法
US11244455B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
JP2022527571A (ja) 病状によって影響を受ける可能性がある被験者を識別するための方法およびシステム
US11978208B2 (en) Trained model, learning method, learning program, medical information acquisition device, medical information acquisition method, and medical information acquisition program
EP3389479A1 (en) Systems and methods for quantitatively characterizing alzheimer's disease risk events based on multimodal biomarker data
US11915414B2 (en) Medical image processing apparatus, method, and program
US11551351B2 (en) Priority judgement device, method, and program
Tariq et al. Opportunistic screening for low bone density using abdominopelvic computed tomography scans
WO2018123791A1 (en) Method, system and storage medium for recommending resource allocation to target subject
JP2019149094A (ja) 診断支援システム、診断支援方法、及びプログラム
Çelebi et al. Leveraging Deep Learning for Enhanced Detection of Alzheimer's Disease Through Morphometric Analysis of Brain Images.
US20230260630A1 (en) Diagnosis support device, operation method of diagnosis support device, operation program of diagnosis support device, and dementia diagnosis support method
US11328414B2 (en) Priority judgement device, method, and program
US11176413B2 (en) Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program
WO2021245733A1 (ja) 脳画像解析装置、制御方法、及びコンピュータ可読媒体
JP2013063324A (ja) 画像診断支援システム
US10929990B2 (en) Registration apparatus, method, and program
US20230121783A1 (en) Medical image processing apparatus, method, and program
WO2023190880A1 (ja) 脳画像データ解析装置、脳画像データ解析方法および脳画像データ解析プログラム
Kim et al. Parallel UNet Architecture with Late Fusion Residual Network for Segmentation of Brain Tissues
JP2023174411A (ja) 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム
Ishrat et al. Computer Simulation and the Practice of Oral Medicine and Radiology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination