CN113298752A - 用于自动表征患者的肝脏组织的方法、系统、程序和介质 - Google Patents

用于自动表征患者的肝脏组织的方法、系统、程序和介质 Download PDF

Info

Publication number
CN113298752A
CN113298752A CN202110154221.4A CN202110154221A CN113298752A CN 113298752 A CN113298752 A CN 113298752A CN 202110154221 A CN202110154221 A CN 202110154221A CN 113298752 A CN113298752 A CN 113298752A
Authority
CN
China
Prior art keywords
magnetic resonance
neural network
information
patient
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110154221.4A
Other languages
English (en)
Inventor
斯特凡·坎嫩吉塞尔
贝特霍尔德·基弗
托马索·曼西
马塞尔·多米尼克·尼克尔
托马斯·法伊弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN113298752A publication Critical patent/CN113298752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4244—Evaluating particular parts, e.g. particular organs liver
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4828—Resolving the MR signals of different chemical species, e.g. water-fat imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Endocrinology (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)

Abstract

本公开涉及用于自动表征患者的肝脏组织的方法、系统、程序和介质。特别地，一种用于自动表征患者的肝脏组织的计算机实现的方法，包括：‑经由第一接口(54)接收至少部分地包括患者的肝脏的成像区域的至少一个形态学磁共振图像数据集(34)和至少一个磁共振参数图(35)，每个形态学磁共振图像数据集(34)和磁共振参数图(35)通过磁共振成像设备(59)来获取；‑在计算单元(55)中，将包括神经网络(42)的受训练函数(57)应用于输入数据(43)，输入数据(43)至少包括图像数据集(34)和参数图(35)，其中，生成描述肝脏组织的至少一个组织评分(39)作为输出数据(38)；‑使用第二接口(56)提供输出数据(38)。

Description

用于自动表征患者的肝脏组织的方法、系统、程序和介质
技术领域
本发明涉及用于自动表征患者的肝脏组织的计算机实现方法和表征系统、计算机程序和电子可读存储介质。
背景技术
磁共振成像(MRI)允许许多不同的成像技术收集关于成像对象的不同的形态学、结构、功能和参数相关信息。随着定量MRI的建立，甚至可以确定对象的感兴趣区域的定量参数图。这使得MRI成为医学诊断中的重要工具。
然而，为了处理从磁共振检查产生的大量信息，医务人员通常采用计算机实现的分析工具。这样的计算机程序自动评估磁共振数据并且提供可用于改善医师的诊断的评估结果。这样的实践因此可以被称为计算机辅助诊断或计算机协助诊断(CAD)。通常，患者中某些组织类型的表征是令人感兴趣的，例如关于炎症过程、损伤等。计算机辅助分析工具例如可以估计组织表征评分，其然后可以由临床医生用于诊断和指导治疗。
例如，在患有非酒精性脂肪肝疾病(NAFLD)的患者中，脂肪在肝脏中累积。这可以导致更严重形式的NAFLD，被称为非酒精性脂肪性肝炎(NASH)，其中肝脏中发生炎症和细胞损伤。一些患者进展成肝纤维化、肝硬化和癌症，并且该过程在某一点变得不可逆。通常，确诊NASH的唯一方法是利用肝活检，这是侵入性的并且通常是痛苦的程序。因此，开发可以准确表征和分期NASH以及预测进展和指导治疗的非侵入性测试是有价值的。
存在多种可以检测与NASH和肝脏疾病相关联的生物标志物的MR成像技术。这些技术包括用于确定脂肪分数、与肝脏疾病相关联的铁累积、弛豫时间的磁共振序列，以及可以检测与肝脏损伤相关联的肝脏变硬(例如纤维化)的磁共振弹性成像(MRE)。
在现有技术中，已经提出了关于肝脏组织并且特别是NASH的一些方法，其中评估多参数定量磁共振数据。在US 2014/0330106 A1和WO 2015/144916 A1中，分别公开了用于肝脏疾病的多参数磁共振诊断和分期以及内脏器官炎症的非侵入性检测的方法和系统。获得并且通过阈值处理来评估例如胞外液、铁含量、脂质含量和弛豫测量数据的定量参数。US2017/0350952 A1公开了用于患者肝脏的感兴趣区域中的肝脏组织的自动表征(分类)的方法和设备，其中，获取肝脏的感兴趣区域的至少一个值元组，该值元组包括根据感兴趣区域的磁共振图像确定的至少一个T1值或其倒数值，以及T2或T2＊值或其倒数值。将值元组转移至多维参数空间中，并且然后基于值元组在参数空间中的位置执行肝脏组织的表征，使得相应的多参数空间中的某些区域与某些评估结果相关联。
这些方法使用利用磁共振设备测量的或从磁共振图像得到的少量定量值。然而，在这些方法中难以提高参数的数量，特别是由于这些参数的相关性和相互影响并不总是明显和清楚的。另外，磁共振数据及其信息的较大部分被丢弃并且不用于评估。
发明内容
本发明的目的是提供在非介入性方法中(特别是关于NASH的评估)确定肝脏组织特征(特别是至少一个评分)的更鲁棒且准确的方法。
该目的通过提供根据独立权利要求的方法、表征系统、计算机程序和电子可读存储介质来实现。有利的实施方式由从属权利要求描述。
在下文中，相对于所要求保护的表征系统以及所要求保护的方法、计算机程序和电子可读存储介质来描述根据本发明的解决方案。本文中的特征、优点或替选实施方式可以被指定给其他要求保护的对象并且反之亦然。换言之，用于提供系统、计算机程序和电子可读存储介质的权利要求可以利用在方法的上下文中描述或要求保护的特征来改进。在该系统的情况下，该方法的功能特征由表征系统的目标单元来体现。
根据本发明的一种用于自动表征患者的肝脏组织的方法包括：
-经由第一接口接收至少部分地包括患者的肝脏的成像区域的至少一个形态学磁共振图像数据集和至少一个磁共振参数图，每个形态学磁共振图像数据集和磁共振参数图均通过磁共振成像设备来获取，
-在计算单元中，将包括神经网络的受训练函数应用于输入数据，输入数据至少包括图像数据集和参数图，其中，生成描述肝脏组织(特别是关于炎症和/或纤维化和/或NASH的存在来描述肝脏组织)的至少一个组织评分作为输出数据，
-使用第二接口提供输出数据。
类似地，根据本发明的一种用于自动表征患者的肝脏组织的表征系统包括：
-第一接口，用于接收至少部分地包括患者的肝脏的成像区域的至少一个形态学磁共振图像数据集和至少一个磁共振参数图，每个形态学磁共振图像数据集和磁共振参数图均通过磁共振成像设备来获取，
-计算单元，用于将包括神经网络的受训练函数应用于输入数据，输入数据至少包括图像数据集和参数图，其中，生成描述肝脏组织的至少一个组织评分作为输出数据，
-第二接口，用于提供输出数据。
认识到的是，不仅描述肝脏的相关组织(即，实质组织)的定量参数与其表征(特别是关于NASH)有关，而且由磁共振图像数据集描述的形态(特别是解剖形态)也与其表征有关。因此，形态学图像数据集是解剖磁共振图像数据集，示出了解剖的形态和/或结构，特别是图案和/或纹理。已经发现人工智能是进行以下操作的理想的工具：不仅从参数图和图像数据集整体上提取相关特征，而且优选地还描述这些特征(特别是关于定量参数特征和结构解剖特征)的相关性和/或相互影响。如将在下面详细描述的，因此采用的神经网络优选地包括至少一个卷积层(用于特征提取)和至少一个密集层(即，全连接层)，以从这些特征得出的至少一个组织评分，特别是来自文献的已知的、定义明确的评分。
通常，受训练函数(其也可以被称为通过机器学习算法或经训练的代理训练的函数)模仿人类与其他人类心智相关联的认知功能。特别地，通过基于训练数据的训练，受训练函数能够适于新环境并且能够检测并外推模式。
通常，可以借助于训练来调整受训练函数的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习(替选术语为“特征学习”)。特别地，受训练函数的参数可以通过若干训练步骤来迭代地调整。
根据本发明的受训练函数包括神经网络，但可以另外地包括支持向量机、决策树和/或贝叶斯网络。受训练函数可以基于k均值聚类、Q学习、遗传算法和/或关联规则。优选地，神经网络是通过深度学习方法训练的深度神经网络。进一步优选地，它可以是或包括卷积神经网络或卷积深度神经网络。此外，神经网络可以是或包括对抗网络、深度对抗网络和/或生成式对抗网络。
可以使用相同或不同的磁共振成像设备来获取图像数据集和参数图。至少一个图像数据集和至少一个参数图的成像区域可以相同或不同。特别地，图像数据集的至少一个第一成像区域可以与参数图的至少一个第二成像区域不同，而多个第一成像区域和第二成像区域也可以不同。然而，所有成像区域至少部分地包含要被表征的肝脏组织，特别是实质组织。在优选实施方式中，如现有技术中已知的，优选自动地，将要通过受训练函数分析的感兴趣区域(ROI)在所有图像数据集和所有参数图中进行分割。特别地，可以通过分割要被表征的组织来确定感兴趣区域。然后，受训练函数仅对感兴趣区域内的输入数据进行评估。可以在预处理步骤中确定感兴趣区域。
总之，本发明允许对肝脏组织的磁共振数据进行更准确的分析，从而形成医务人员(特别是医师)在稍后时间使用受训练函数的输出数据执行的诊断的改进基础。该方法可推广到更广泛的患者人群。可以有利地省略或至少在数目上减少肝脏活检或其他介入。
在文献中，可以获得若干定义明确的(特别是关于活检的)组织评分，其可以用作关于本发明的输出数据。例如，由David E.Kleiner等人在《肝病学》(Hepatology)1(2005)，第1313-1321页的题为“Design and Validation of a Histological Scoring Systemfor Nonalcoholic Fatty Liver Disease”的文章中定义了若干评分，包括著名的NAS(NAFLD活动性评分)。优选地，输出数据的至少一个组织评分选自NAFLD活动性评分、脂肪变性评分、小叶炎症评分、肝细胞膨胀(ballooning)评分和纤维化评分(特别是纤维化分期)。特别地，至少确定炎症评分(优选是NAS)以及纤维化评分(特别是纤维化分期)，原因是纤维化分期向NAS添加最多的信息。这些类型的信息也可以被认为是正交的。
这里应当注意的是，来自对形态学、解剖学磁共振图像数据集的人工(在该情况下是视觉)分析的许多观察结果指示纤维化信息可以从非常精细的结构/纹理中得出，而临床医师可能仅在有大量经验的情况下才能够可靠地检测到这些非常精细的结构/纹理。然而，这些特征可以由人工智能(在这种情况下是受训练函数)鲁棒地检测到。对于与纤维化或NAS有关的其他形态学特征也是如此。
预期的磁共振技术优选地包括主要被设计用于评估肝脏疾病的那些技术，但是本发明能够被扩展到这里没有描述的其他技术。至少一个图像数据集可能已经使用T1加权获取(可能具有脂肪抑制或分离)或另一加权获取来获得。优选地，该至少一个图像数据集包括通过使用脂水分离技术(特别是Dixon技术)获得的至少一个图像数据集。进一步优选地，至少一个参数图的至少一个参数选自弛豫时间、弛豫时间倒数(特别是R2＊)、细胞外液量度和脂肪分数的组。
因此，磁共振技术可以包括解剖扫描、T1和T2图获取、基于R2＊(或其他倒数弛豫时间)弛豫测量的铁过载测量、以及质子密度脂肪分数成像。然而，也可以采用功能成像，并且通过受训练函数来评估结果。例如，输入数据可以另外包括至少部分地包括患者肝脏的成像区域的磁共振扩散加权数据集和/或磁共振弹性成像数据集。扩散加权数据集可以是例如表观扩散系数(ADC)图。为了考虑可能例如受纤维化影响的肝脏硬度，还可以获取肝脏硬度的弹性成像图并且将其用作输入数据。这样的弹性成像图使用磁共振弹性成像(MRE)来获取，并且有时较不优选，因为需要附加的测量设备。
在特别优选的实施方式中，输入数据还包括与患者和/或患者的肝脏有关的至少一个附加的标量信息和/或向量信息。这样的附加信息可以例如选自人口统计信息、医疗历史信息和实验室结果的组。最优选地，可以从患者的电子健康记录接收附加的标量信息和/或向量信息。以这种方式，人口统计信息、医疗历史、实验室值和可能与肝脏疾病相关的类似变量也可以被受训练函数考虑在内。
在特别有利的实施方式中，神经网络包括：至少一个卷积部分神经网络中的至少一个卷积层，卷积部分神经网络特别用于从图像数据集和/或参数图提取特征；以及/或密集部分神经网络中的至少一个全连接层，特别地密集部分神经网络用以从至少所提取的特征得出输出数据。神经网络的这种结构允许处理输入数据中的多维图像数据集和参数图，并且在密集部分神经网络中考虑提取的特征的互相关。它还允许方便地使用如上所述的附加标量信息和/或向量信息。优选地，如果输入数据包括附加标量信息和/或向量信息，则将附加标量信息和/或向量信息或从其得出的中间数据添加至由至少一个卷积部分神经网络生成的特征向量。换言之，至少一个卷积层的结果通常被展平(flatten)以形成可以由至少一个全连接层进一步评估的特征向量。可以将附加数据方便地添加至这样的特征向量的末端，使得产生针对密集部分神经网络的较长的输入向量。
在实施方式中，中间数据由具有至少一个全连接层的附加的密集部分神经网络生成。在其中可获得附加信息(特别是临床数据)作为输入的变型中，可以通过添加与至少一个卷积层平行的附加的系列全连接层来修改由神经网络定义的模型。然后在连结步骤中将所得到的包含相关提取特征的中间数据附加地添加至特征向量。这允许受训练函数首先对仅与附加标量信息和/或向量信息相关的相关性进行建模，并提取相应的相关特征，优选地将附加标量信息和/或向量信息压缩为较少的相关中间数据。
在使用至少一个卷积部分神经网络从至少一个图像数据集和至少一个参数图(在下文中称为输入数据集)提取特征时，可以设想本发明的一些变型。在一个变型中，各个磁共振输入数据集可以各自经受独立的单个卷积部分网络。也就是说，它们形成神经网络的多个输入，每个输入经历一系列卷积层以在每个磁共振技术中从肝脏的外观提取抽象特征。然后，将这些抽象特征连结在一起以形成特征向量并且(可选地在附加信息/中间数据被添加之后)被向前馈送至密集部分神经网络中，从而经历一系列全连接层并且到达输出层，然后该输出层给出至少一个组织评分。在另一变型中，还可以至少部分地将输入数据集进行堆叠，其中，将每个堆叠输入到共同的卷积部分神经网络中。
通常注意到，特别是考虑到输入数据的高维数，卷积部分网络以及(如果使用的话)附加的密集部分神经网络可以被理解为特征提取器，从而降低待分析数据的维数以聚焦于与肝脏组织的表征相关的特征。在实施方式中，可以采用自动编码器或自动编码器构思。对于可选的附加的密集部分神经网络也是如此。换言之，在如上所说明的第一变型中，卷积部分神经网络和可选地附加的密集部分神经网络从高维数据提取表达特征。这些表达特征作为特征向量形成密集部分网络的输入，从而产生输出数据。
在本发明的有利扩展中，输出数据可以被确定为另外包括至少一个预测结果信息，特别是与肝脏组织相关的事件的风险评分。在这样的实施方式中，受训练函数(特别是其人工神经网络)受到(优选地是经审查的(匿名的)结果数据的训练，以提供治疗效应和疾病进展的风险评估。在这种情况下，输入数据(特别是磁共振实质形态学和定量特征以及可选地附加标量信息和/或向量信息(特别是临床数据)的组合)，被识别为包含可以预测患者的治疗功效和总体状态的潜在信息。使用作为或用于得出输出训练数据的结果数据来训练神经网络以预测非线性风险函数，该非线性风险函数用于分配患者经历各种未来事件(例如，肝硬化的发展、肝衰竭等)的概率。特别地，在还确定预测结果信息(例如风险评分)时，通过卷积部分神经网络以及可选地附加的密集部分神经网络进行的特征提取对于降低要由至少一个密集部分神经网络解决的问题的维数变得重要。注意，关于风险评分，可以采用第二密集部分神经网络(除了给出至少一个组织评分的第一密集部分神经网络之外)，其特别地可以使用修改的特征向量和/或另外包含组织评分的特征向量。
进一步优选地，受训练函数另外包括不确定性估计子函数，该不确定性估计子函数确定关于输出数据的至少一个不确定性信息，该不确定性信息是使用第二接口与输出数据相关联地提供的。在解释输出数据(特别是关于诊断)时，这样的不确定性信息通常对于临床医师或医务人员是有用的。因此，受训练函数可以包括估计其确定的不确定性的模块，即不确定性估计子函数。由于本发明旨在减少对弥漫性肝病进行分期所需的活检的需要，因此对于用户而言，知道受训练函数的预测的不确定程度也是重要的。例如，如果超过了不确定性信息的不确定性值的某个阈值，或者如果研究输出数据的人员判定超过了阈值，则可以触发传统的组织病理学分期活检。
在具体实施方式中，不确定性估计子函数可以包括贝叶斯深度学习模型。例如，第31届神经信息系统会议(NIPS 2017)，第5574-5584页，Alex Kendall和Yarin Gal的文章“What Uncertainties Do We Need in Bayesian Deep Learning for ComputerVision？”中提出了这样的方法。当然，也可以使用用于估计神经网络预测不确定性的其他标准方法。
根据本发明的方法还可以包括至少一个预处理步骤。预处理可以包括关于输入数据集的标准图像处理措施，例如强度归一化、平滑、降噪等。如上面已经解释的，可以将要由受训练函数分析的感兴趣区域确定为预处理步骤，例如通过分割和/或检测。
在优选的实施方式中，在计算单元上的预处理步骤中，将所有图像数据集和所有参数图彼此配准。这考虑了以下事实：本发明所需的磁共振成像通常在获取不同图像对比度与参数图之间使用一定量时间来执行。另外，通常还存在可能使成对图像数据集/参数图之间空间不对准的患者运动。另一方面，不同输入数据集(即，磁共振技术)中的特征的空间相关性，可能与肝脏组织(特别是与NASH状态)的表征有关。因此，根据本发明的方法可以包括将每个输入数据集配准到其他输入数据集的预处理步骤。该预处理步骤可以采用任意数量的周知图像配准算法，例如基于界标的仿射配准或基于强度的可变形配准。
根据本发明，为了对函数进行训练，可以使用已知的方法。特别地，根据本发明的方法或训练方法可以包括以下操作以提供受训练函数：
-使用第一训练接口接收包括用于训练患者群组的每个训练患者的训练数据集的训练数据，每个训练数据集包括：输入训练数据，其具有至少部分地包括相应训练患者的肝脏的成像区域的至少一个形态学磁共振图像数据集和至少一个磁共振参数图，每个形态学磁共振图像数据集和磁共振参数图均通过磁共振成像设备获取；以及输出训练数据，输出训练数据包括相应训练患者的至少一个组织评分，
-利用训练计算单元基于输入训练数据和输出训练数据来训练函数，
-使用第二训练接口提供受训练函数。
在优选的实施方式中，使用相应患者的肝脏组织的组织病理学活检的结果来确定输出训练数据。进一步优选地，提供匿名的训练数据。在预测结果信息(特别是风险评分)也将被确定为输出数据的情况下，可以使用结果数据(特别是经审查的即匿名的结果数据)来确定训练输出数据的预测结果信息。
该训练方法可以由相应的训练系统来执行，该训练系统具有该第一训练接口和第二训练接口以及训练计算单元，并且该训练方法可以被实现为可以被存储在电子可读训练存储介质上的训练计算机程序。
根据本发明的计算机程序可以例如直接加载到表征系统的存储装置中，并且包括如果计算机程序在表征系统上被执行则执行根据本发明的表征方法的步骤的程序装置。注意，还可以包括表征系统作为磁共振成像设备的控制设备的一部分，使得可以在现场关于肝脏组织(特别是关于NASH)评估使用磁共振成像设备获取的患者的图像数据集和参数图。
根据本发明的计算机程序可以存储在根据本发明的电子可读存储介质上，因此，该电子可读存储介质包括存储在其上的电子可读控制信息，该控制信息至少包括根据本发明的计算机程序并且被配置成使得在电子可读存储介质用于表征系统中时，表征系统执行根据本发明的表征方法。存储介质可以优选地是非暂态存储介质，例如CD-ROM。
注意，原则上还可以设想使用来自其他成像形态(例如CT或超声)的数据集作为附加输入数据，尽管这是次优选的。本发明的目的在于从仅仅使用多种磁共振技术的磁共振检查提供关于肝脏组织的可靠结果，使得优选地一个非介入性检查过程(可选地使用来自电子健康记录的附加信息)足以相对于NASH来表征肝脏组织。
附图说明
根据以下结合附图考虑的详细描述，本发明的其他目的和特征将变得明显。然而，附图仅仅是为了说明的目的而设计的原理示意图，并且不限制本发明。附图示出：
图1是一般神经网络的原理图，
图2是一般卷积神经网络的原理图，
图3是根据本发明的表征方法的实施方式的流程图，
图4是根据本发明的实施方式的训练函数的神经网络的示例性结构，
图5是本发明的表征系统的实施方式，以及
图6是磁共振成像设备的示意图。
具体实施方式
图1示出了人工神经网络1的实施方式。“人工神经网络”的替选术语是“神经网络”、“人工神经网络”或“神经网络”。
人工神经网络1包括节点6至节点18和边19至边21，其中每个边19至边21是从第一节点6至18到第二节点6至18的有向连接。通常，第一节点6至18和第二节点6至18是不同的节点6至18，第一节点6至18和第二节点6至18也可以是相同的。例如，在图1中，边19是从节点6到节点9的有向连接，并且边20是从节点7到节点9的有向连接。从第一节点6至18到第二节点6至18的边19至21也被表示为第二节点6至18的“传入边”以及第一节点6至18的“传出边”。
在该实施方式中，人工神经网络1的节点6至节点18可以被布置在层2至层5中，其中层2至层5可以包括由节点6至节点18之间的边19至边21引入的固有顺序。特别地，边19至边21可以仅存在于节点6至节点18的相邻层之间。在示出的实施方式中，存在仅包括节点6至节点8而没有传入边的输入层2，仅包括节点17、节点18而没有传出边的输出层5，以及在输入层2和输出层5之间的隐藏层3、隐藏层4。通常，可以任意地选择隐藏层3、隐藏层4的数量。输入层2内的节点6至节点8的数量通常与神经网络的输入值的数量有关，并且输出层5内的节点17、节点18的数量通常与神经网络的输出值的数量有关。
特别地，可以将(实)数作为值分配为神经网络1的每个节点6至节点18。这里，x(n) i表示第n层2至5的第i节点6至18的值。输入层2的节点6至节点8的值相当于神经网络1的输入值，输出层5的节点17、节点18的值相当于神经网络1的输出值。此外，每个边19至边21可以包括为实数的权重，特别地，权重是在区间[-1，1]内或区间[0，1]内的实数。此处，w(m,n) i,j表示第m层2至5的第i节点6至18与第n层2至5的第j节点6至18之间的边的权重。此外，为权重w(n,n+1) i,j定义缩写w(n) i,j。
特别地，为了计算神经网络1的输出值，使输入值传播通过神经网络1。特别地，可以基于第n层2至5的节点6至18的值通过以下来计算第n+1层2至5的节点6至18的值
Figure BDA0002933924140000101
这里，函数f是传递函数(另一术语是“激活函数”)。已知的传递函数是阶跃函数、S型函数(例如逻辑函数、广义逻辑函数、双曲正切、反正切函数、误差函数、平滑阶跃函数)或整流器函数。传递函数主要用于归一化目的。
特别地，值逐层传播通过神经网络1，其中输入层2的值由神经网络1的输入给出，其中第一隐藏层3的值可以基于神经网络1的输入层2的值来计算，其中，第二隐藏层4的值可以基于第一隐藏层3的值来计算，等等。
为了设置边19至边21的值w(m,n) i,j，必须使用训练数据来训练神经网络1。特别地，训练数据包括训练输入数据和训练输出数据(表示为ti)。对于训练步骤，将神经网络1应用于训练输入数据以生成计算的输出数据。特别地，训练数据和计算的输出数据包括一定数目的值，所述数目与输出层5的节点17、节点18的数目相等。
特别地，使用计算的输出数据与训练数据之间的比较来递归地调整神经网络1内的权重(反向传播算法)。特别地，根据下式来改变权重：
Figure BDA0002933924140000111
其中，γ是学习速率，并且数字δ(n) j可以如下式被递归地计算：
Figure BDA0002933924140000112
基于δ(n+1) j，如果第(n+1)层不是输出层5，并且
Figure BDA0002933924140000113
如果第(n+1)层是输出层5，其中f｀是激活函数的一阶导数，并且y(n+1) j是用于输出层5的第j节点的比较训练值。
下面，关于图2，将描述卷积神经网络(CNN)22的示例。注意以下事实，在文献中对于经典神经网络和卷积神经网络以稍微不同的方式使用术语“层”。对于经典神经网络，术语“层”仅指形成层的节点集合(节点的某“代”)。对于卷积神经网络，术语“层”通常(并且在本说明书中)用作主动变换数据的对象，换言之，用作同“代”的节点集合以及传入节点集合或传出节点集合。
图2示出了卷积神经网络22的实施方式。在示出的实施方式中，卷积神经网络22包括输入层23、卷积层24、池化层25、全连接层26(也称为密集层)和输出层27。替选地，卷积神经网络22可以包括若干卷积层24、若干池化层25和若干全连接层26以及其他类型的层。层的顺序可以任意选择。通常，全连接层26用作输出层27之前的最后层。
特别地，在卷积神经网络22内，可以将一个层23至27的节点28至32认为被布置为d维矩阵或d维图像。特别地，在二维情况下，可以将第n层23至27中的编索引为i和j的节点28至32的值表示为x(n)[i,j]。然而，一个层23至27的节点28至32的布置严格说对在卷积神经网络22内执行的计算没有影响，因为这些仅由边的结构和权重给出。
特别地，卷积层24通过基于一定数量的核形成卷积运算的传入边的结构和权重表征。特别地，选择传入边的结构和权重，使得基于先前层23的节点28的值x(n-1)将卷积层24的节点29的值x(n) k计算为卷积x(n) k＝Kk＊x(n-1)，其中卷积＊在二维情况下定义为：
Figure BDA0002933924140000121
这里，第k个核Kk是d维矩阵(在本实施方式中是二维矩阵)，其通常比节点28至节点32的数量小(例如，3x3矩阵，或5x5矩阵)。特别地，这意味着传入边的权重不是独立的，而是被选择为使得它们产生所述卷积方程。特别地，对于3x3矩阵的核，只有9个独立的权重(核矩阵的每个条目对应于一个独立的权重，而与相应的层23至27中的节点28至32的数量无关。特别地，对于卷积层24，卷积层24中的节点29的数量相等先前层23中的节点28的数量乘以核的数量。
如果先前层23的节点28被布置为d维矩阵，则使用多个核可以被解释为添加另外的维(表示为“深度”维)，使得卷积层24的节点29被布置为(d+1)维矩阵。如果先前层23的节点28已经被布置为包括深度维的(d+1)维矩阵，则使用多个核可以被解释为沿深度维扩展，使得卷积层24的节点29也被布置为(d+1)维矩阵，其中，该(d+1)维矩阵相对于深度维的大小是先前层23中的大小的核的数量倍大。
使用卷积层24的优点在于，可以通过在相邻层的节点之间实施局部连接模式，特别是通过每个节点仅连接至先前层的节点的小区域，来利用输入数据的空间局部相关。
在示出的实施方式中，输入层23包括36个节点28，其被布置为二维6x6矩阵。卷积层24包括72个节点29，其被布置为两个二维6x6矩阵，这两个矩阵中的每一个是输入层23的值与核卷积的结果。等效地，卷积层24的节点29可以被解释为被布置在三维6x6x2矩阵中，其中，最后的维度是深度维。
池化层25可以由传入边的结构和权重以及基于非线性池化函数f形成池化运算的池化层25的节点30的激活函数来表征。例如，在二维情况下，可以基于先前层24的节点29的值x(n-1)将池化层25的节点30的值x(n)计算为：
x(n)[i，j]＝f(x(n-1)[id1，jd2]，...，x(n-1)[id1+d1-1，jd2+d2-1])
换言之，通过使用池化层25，可以通过用单个节点30替换先前层24中的数量d1·d2个相邻节点29来减少节点29、30的数量，其中单个节点30是根据先前层24中的所述数量的相邻节点29的值来计算的。特别地，池化函数f可以是最大函数、平均值或L2范数。特别地，对于池化层25，传入边的权重是固定的并且不通过训练被修改。
使用池化层25的优点是减少了节点29、节点30的数量和参数的数量。这使网络22中的计算量减少并且对过拟合进行控制。
在示出的实施方式中，池化层25是最大池化层，用仅一个节点30替换四个相邻节点29，值是四个相邻节点29的值中的最大值。将最大池化层应用于先前层24的每个d维矩阵；在该实施方式中，将最大池化层应用于两个二维矩阵中的每一个，从而将节点29、节点30的数量从72减少至18。
全连接层26可以由以下事实表征：存在先前层25的节点30与全连接层36的节点31之间的大多数(特别地，所有)边，并且其中，可以单独地调整每个边的权重。
在该实施方式中，全连接层26的先前层25的节点30既被示为二维矩阵，又被示为非相关节点30(指示为成行的节点30，其中，为了更好的呈现，减少了节点30的数量)。在该实施方式中，全连接层26中的节点31的数量与先前层25中的节点30的数量相等。替选地，节点30、节31的数量可以不同。
此外，在该实施方式中，通过将归一化指数(Softmax)函数应用于先前层26的节点31的值来确定输出层27的节点32的值。通过应用Softmax函数，输出层27的所有节点32的值之和为1，并且输出层27的所有节点32的所有值均为0与1之间的实数。特别地，如果使用卷积神经网络22对输入数据进行分类，则输出层27的值可以被解释为输入数据落入不同类别之一的概率。
卷积神经网络22还可以包括ReLU(“修正线性单元”(“rectified linear unit”)的缩写)层。特别地，RelU层中包含的节点的数量和节点的结构与先前层中包含的节点的数量和节点的结构等同。特别地，通过将修正函数应用于先前层的相应节点的值来计算ReLU层中每个节点的值。修正函数的示例有f(x)＝max(0,x)、正切双曲函数或S型函数。
特别地，可以基于反向传播算法来训练卷积神经网络22。为了防止过拟合，可以使用正则化方法，例如，节点28至节点32的退出、随机池化、人工数据的使用、基于L1范数或L2范数的权重衰减，或最大范数约束。
图3是根据本发明的方法的流程图。该计算机实现的方法使用患者肝脏的磁共振数据来确定表征组织的至少一个组织评分，该组织评分可以在稍后阶段由例如医师用于诊断和/或治疗。
使用两种输入数据集33作为输入数据，即至少一个磁共振图像数据集34(其为示出解剖形态的解剖图像数据集34)和至少一个磁共振参数图35(其包含特定参数(特别是来自定量MRI)的空间解析定量值)。至少一个图像数据集34可以优选地使用用于水脂分离的Dixon技术来获取和/或可以是质子密度或弛豫时间加权的。注意，在实施方式中，至少一个图像数据集34中的至少一个可以用于确定至少一个参数图35中的至少一个。至少一个参数图35可以优选地是或者包括T1图、T2图、弛豫时间的倒数值图(特别是作为铁过载的量度的R2＊)、描述脂肪分数的质子密度图等。可选的另外输入数据集33(图3中未示出)可以包括功能磁共振数据集，例如表观扩散系数图(ADC图)和/或肝脏硬度的弹性成像图。
在至少一个预处理步骤S1中，可以将输入数据集33彼此配准，以考虑不同成像区域和/或患者的移动和/或在应用不同磁共振成像技术之间的停顿。配准可以基于界标和/或基于强度和/或仿射和/或弹性来执行。在另外的预处理步骤S1中，对感兴趣区域(特别是包含感兴趣的实质肝脏组织的感兴趣区域)进行分割和/或检测。可以采用已知的(特别是计算机实现的)分割和/或检测算法。
预处理还可以包括标准图像处理，如强度归一化、降噪和/或平滑。
在步骤S2中，将输入数据集33用作包括神经网络(特别是深度卷积神经网络)的受训练函数的输入数据。另外的输入数据可以包括附加的标量信息和/或向量信息36，在该实施方式中，附加的标量信息和/或向量信息36设置于患者的电子健康记录37中，其能够由执行预处理和执行受训练函数的计算单元访问。附加信息36可以例如包括人口统计信息、医学历史信息和实验室结果。
受训练函数使用关于约束到感兴趣区域的输入数据集33的输入数据来确定输出数据38，在这种情况下输出数据38包括至少一个组织评分39以及可选地预测结果信息40和不确定性信息41。在该优选的实施方式中，组织评分39至少包括NAS和纤维化分期，但也可以包括另外的评分。预测结果信息40可以包括至少一个风险评分，例如特定治疗的成功或特定事件的概率。通过不确定性估计子函数使用用于不确定性估计的标准方法(例如贝叶斯深度学习模型)来确定不确定性信息41。
通过使用来自训练患者群组的训练数据集来对受训练函数的神经网络进行训练，每个训练数据集包括输入训练数据(特别是输入数据集33和附加信息36)，以及用于相应训练患者的输出训练数据，其中，输出训练数据的组织评分39优选地从相应训练患者的组织病理学肝脏活检结果中取得，并且(可选的)预测结果信息40从匿名的结果数据中得出。
图4示出了受训练函数的神经网络42的示例性拓扑。这里应注意，示出的拓扑仅是示例性的；也可以使用各种其他拓扑。
在图4的左边，指示包括输入数据集33(特别是图像数据集34和参数图35)和附加信息36的输入数据43。在该实施方式中每个输入数据集33被输入至专用的卷积部分神经网络44中，每个卷积部分神经网络44包括至少一个卷积层45。卷积部分神经网络44从相应的输入数据集33中独立地提取相关特征46。这些特征例如在展平层(flattening layer)中被连结至特征向量47。当然，卷积部分神经网络44还可以包括另外的层，例如池化层。
对于附加的标量信息和/或向量信息36，还使用具有至少一个全连接层49的密集部分神经网络48来分析这些附加的标量信息和/或向量信息36以提取相关特征。结果为中间数据50，其也通过连结被添加至特征向量47。注意，密集部分神经网络48是可选的；还可以设想将附加信息36直接添加至特征向量47。
卷积部分神经网络44和密集部分神经网络48可以被理解为特征提取器。
然后，将特征向量47馈送通过另外的密集部分神经网络52的多个全连接层51，该另外的密集部分神经网络52然后给出输出数据38。注意，如果要确定至少一个组织评分和预测结果信息，则可以为至少一个组织评分和预测结果信息提供分开的密集部分神经网络52。
图5示出了根据本发明实施方式的表征系统53的原理图。该表征系统53被配置成执行根据本发明的表征方法，并且因此包括用于接收输入数据43的第一接口54、用于分析输入数据43的计算单元55、以及用于提供输出数据38的第二接口56。计算单元55可以包括至少一个处理器和/或至少一个存储装置，计算单元55包括如上所述的用于执行步骤S2的受训练函数57，并且可以另外包括用于执行步骤S1的预处理子单元58。
图6是磁共振成像设备59的示意图。如已知的，该磁共振成像设备59包括主磁体单元60，该主磁体单元容纳主要场磁体并且具有孔60，可以例如使用患者台将患者放置在该孔中以进行获取。为了简单起见，未示出患者台以及磁共振成像设备59的其他典型部件，如梯度线圈和高频线圈。
使用控制设备61来控制磁共振成像设备59。在该实施方式中，根据本发明的表征系统53被集成到控制设备61中，使得可以在现场关于肝脏组织的表征来分析磁共振输入数据集33。为了从电子健康记录37检索附加信息36，控制设备61可以例如经由本地网络或因特网连接而连接至数据库62。
虽然已经参考优选的实施方式详细地描述了本发明，但本发明不限于所公开的示例，本领域技术人员能够在不脱离本发明的范围的情况下从所公开的示例得出其他变型。

Claims (15)

1.一种用于自动表征患者的肝脏组织的计算机实现的方法，包括
-经由第一接口(54)接收至少部分地包括所述患者的肝脏的成像区域的至少一个形态学磁共振图像数据集(34)和至少一个磁共振参数图(35)，每个所述形态学磁共振图像数据集(34)和所述磁共振参数图(35)通过磁共振成像设备(59)来获取，
-在计算单元(55)中，将包括神经网络(42)的受训练函数(57)应用于输入数据(43)，所述输入数据(43)至少包括所述图像数据集(34)和所述参数图(35)，其中，生成描述所述肝脏组织的至少一个组织评分(39)作为输出数据(38)，
-使用第二接口(56)提供所述输出数据(38)。
2.根据权利要求1所述的方法，其特征在于，所述至少一个组织评分(39)是选自以下各项的组：NAFLD活动性评分，脂肪变性评分，小叶炎症评分，肝细胞膨胀评分，以及纤维化评分，特别是纤维化分期。
3.根据权利要求1或2所述的方法，其特征在于，所述至少一个图像数据集(34)包括通过使用脂水分离技术特别是Dixon技术获得的至少一个图像数据集，并且/或者所述至少一个参数图(35)的至少一个参数选自弛豫时间、弛豫时间倒数特别是R2＊、细胞外液量度和脂肪分数的组。
4.根据前述权利要求中的一项所述的方法，其特征在于，所述输入数据(43)另外包括至少部分地包括所述患者的肝脏的成像区域的磁共振弹性成像数据集和/或磁共振扩散加权数据集。
5.根据前述权利要求中的一项所述的方法，其特征在于，所述输入数据(43)还包括与所述患者和/或所述患者的肝脏有关的至少一个附加的标量信息和/或向量信息(36)。
6.根据权利要求5所述的方法，其特征在于，所述附加的标量信息和/或向量信息(36)选自人口统计信息、医疗历史信息和实验室结果的组，并且/或者所述附加的标量信息和/或向量信息(36)是从所述患者的电子健康记录(37)接收的。
7.根据前述权利要求中的一项所述的方法，其特征在于，所述神经网络(42)包括：至少一个卷积部分神经网络(44)中的至少一个卷积层(45)，卷积部分神经网络特别地用于从所述图像数据集(34)和/或所述参数图(35)提取特征；以及/或者，密集部分神经网络(52)中的至少一个全连接层(51)，密集部分神经网络特别地用以从至少所提取的特征(46)得出所述输出数据(38)。
8.根据权利要求7所述的方法，其特征在于，如果所述输入数据(43)包括附加的标量信息和/或向量信息(36)，则将所述附加的标量信息和/或向量信息(36)或者从所述附加的标量信息和/或向量信息(36)得出的中间数据(50)添加至由所述至少一个卷积部分神经网络(44)生成的特征向量(47)。
9.根据权利要求8所述的方法，其特征在于，所述中间数据(50)由具有至少一个全连接层(49)的附加的密集部分神经网络(48)生成。
10.根据前述权利要求中的一项所述的方法，其特征在于，所述输出数据(38)被确定为另外包括至少一个预测结果信息(40)，特别是与肝脏组织有关的事件的风险评分。
11.根据前述权利要求中的一项所述的方法，其特征在于，所述受训练函数(57)另外包括不确定性估计子函数，所述不确定性估计子函数确定关于所述输出数据(38)的至少一个不确定性信息(41)，所述不确定性信息(41)是使用所述第二接口(56)与所述输出数据(38)相关联地提供的。
12.根据前述权利要求中的一项所述的方法，其特征在于，在所述计算单元(55)上的预处理步骤中，将所有图像数据集(34)和所有参数图(35)彼此配准，并且/或者将要由所述受训练函数(57)分析的感兴趣区域在所有图像数据集(34)和所有参数图(35)中进行分割。
13.一种用于自动表征患者的肝脏组织的表征系统(53)，包括
-第一接口(54)，用于接收至少部分地包括所述患者的肝脏的成像区域的至少一个形态学磁共振图像数据集(34)和至少一个磁共振参数图(35)，每个所述形态学磁共振图像数据集(34)和所述磁共振参数图(35)通过磁共振成像设备(59)来获取，
-计算单元(55)，用于将包括神经网络(42)的受训练函数(57)应用于输入数据(43)，所述输入数据(43)至少包括所述图像数据集(34)和所述参数图(35)，其中，生成描述所述肝脏组织的至少一个组织评分(39)作为输出数据(38)，
-第二接口(56)，用于提供输出数据(38)。
14.一种包括指令的计算机程序，当所述计算机程序由表征系统(53)执行时，所述指令使所述表征系统(53)执行根据权利要求1至12中的一项所述的方法。
15.一种包括指令的计算机可读介质，所述指令在由表征系统(53)执行时使所述表征系统(53)执行根据权利要求1至12中的一项所述的方法。
CN202110154221.4A 2020-02-06 2021-02-04 用于自动表征患者的肝脏组织的方法、系统、程序和介质 Pending CN113298752A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20155782.4A EP3863022A1 (en) 2020-02-06 2020-02-06 Method and system for automatically characterizing liver tissue of a patient, computer program and electronically readable storage medium
EP20155782.4 2020-02-06

Publications (1)

Publication Number Publication Date
CN113298752A true CN113298752A (zh) 2021-08-24

Family

ID=69500682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110154221.4A Pending CN113298752A (zh) 2020-02-06 2021-02-04 用于自动表征患者的肝脏组织的方法、系统、程序和介质

Country Status (3)

Country Link
US (1) US11861827B2 (zh)
EP (1) EP3863022A1 (zh)
CN (1) CN113298752A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682109A (zh) * 2023-08-02 2023-09-01 深圳金质科技有限公司 一种病理显微图像的分析方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022076775A1 (en) * 2020-10-09 2022-04-14 Massachusetts Institute Of Technology Methods and systems for assessment of liver fibrosis and steatosis
US11651496B2 (en) * 2021-03-11 2023-05-16 Ping An Technology (Shenzhen) Co., Ltd. Liver fibrosis recognition method based on medical images and computing device using thereof
US20230178200A1 (en) * 2021-12-03 2023-06-08 Digital Diagnostics Inc. Direct medical treatment predictions using artificial intelligence
EP4207061A1 (en) * 2021-12-29 2023-07-05 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for feature information determination

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110257505A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation
US20130144160A1 (en) * 2010-08-11 2013-06-06 Fujifilm Corporation Image-based diagnosis assistance apparatus, method and program
WO2013082677A1 (en) * 2011-12-08 2013-06-13 Resonance Health Analysis Services Pty Ltd Method and apparatus for estimating fat
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
US20170032090A1 (en) * 2015-07-30 2017-02-02 Siemens Medical Solutions Usa, Inc. Virtual biopsy techniques for analyzing diseases
US20170061620A1 (en) * 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing magnetic resonance image
WO2017202994A1 (en) * 2016-05-25 2017-11-30 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method for predicting obesity related disease using images of the subcutaneous adipose tissue or the epididymal adipose tissue
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN109859841A (zh) * 2019-03-01 2019-06-07 中国科学院上海高等研究院 基于神经网络的肝癌辅助诊断系统、方法、设备和介质
US20190183429A1 (en) * 2016-03-24 2019-06-20 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
WO2019191059A1 (en) * 2018-03-26 2019-10-03 The General Hospital Corporation Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography
WO2019241266A1 (en) * 2018-06-11 2019-12-19 University Of Southern California Black-box assessment of disease and response-to-therapy by t1 or t2* weighted dce-mri
US20200000362A1 (en) * 2018-06-29 2020-01-02 Mayo Foundation For Medical Education And Research Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201121404D0 (en) 2011-12-13 2012-01-25 Isis Innovation Diagnosis
GB2524587A (en) 2014-03-28 2015-09-30 Perspectum Diagnostics Ltd Method and apparatus for non-invasive detection of inflammation of a visceral organ
DE102016209885B4 (de) 2016-06-06 2022-03-10 Siemens Healthcare Gmbh Automatische Charakterisierung von Lebergewebe
EP3559907A1 (en) * 2016-12-23 2019-10-30 HeartFlow, Inc. Systems and methods for probabilistic segmentation in anatomical image processing
EP3351956B1 (de) * 2017-01-19 2022-03-16 Siemens Healthcare GmbH Verfahren zur klassifikation von mittels einer magnetresonanz- fingerprinting methode von einem untersuchungsobjekt erfassten magnetresonanz-messdaten
US11227683B2 (en) * 2020-01-23 2022-01-18 GE Precision Healthcare LLC Methods and systems for characterizing anatomical features in medical images

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110257505A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation
US20130144160A1 (en) * 2010-08-11 2013-06-06 Fujifilm Corporation Image-based diagnosis assistance apparatus, method and program
WO2013082677A1 (en) * 2011-12-08 2013-06-13 Resonance Health Analysis Services Pty Ltd Method and apparatus for estimating fat
US20170032090A1 (en) * 2015-07-30 2017-02-02 Siemens Medical Solutions Usa, Inc. Virtual biopsy techniques for analyzing diseases
US20170061620A1 (en) * 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing magnetic resonance image
US20190183429A1 (en) * 2016-03-24 2019-06-20 The Regents Of The University Of California Deep-learning-based cancer classification using a hierarchical classification framework
WO2017202994A1 (en) * 2016-05-25 2017-11-30 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method for predicting obesity related disease using images of the subcutaneous adipose tissue or the epididymal adipose tissue
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
WO2019191059A1 (en) * 2018-03-26 2019-10-03 The General Hospital Corporation Method for objective, noninvasive staging of diffuse liver disease from ultrasound shear-wave elastography
CN108806793A (zh) * 2018-04-17 2018-11-13 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
WO2019241266A1 (en) * 2018-06-11 2019-12-19 University Of Southern California Black-box assessment of disease and response-to-therapy by t1 or t2* weighted dce-mri
US20200000362A1 (en) * 2018-06-29 2020-01-02 Mayo Foundation For Medical Education And Research Systems, methods, and media for automatically diagnosing intraductal papillary mucinous neosplasms using multi-modal magnetic resonance imaging data
CN109859841A (zh) * 2019-03-01 2019-06-07 中国科学院上海高等研究院 基于神经网络的肝癌辅助诊断系统、方法、设备和介质
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何兰;吴倩;: "基于3D卷积神经网络的肝脏自动分割方法", 中国医学物理学杂志, no. 06 *
王岩;: "卷积神经网络在肝穿刺图像分类中的应用", 电脑知识与技术, no. 25 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682109A (zh) * 2023-08-02 2023-09-01 深圳金质科技有限公司 一种病理显微图像的分析方法、装置、设备及存储介质
CN116682109B (zh) * 2023-08-02 2023-11-17 深圳金质科技有限公司 一种病理显微图像的分析方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3863022A1 (en) 2021-08-11
US20210248741A1 (en) 2021-08-12
US11861827B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
CN113298752A (zh) 用于自动表征患者的肝脏组织的方法、系统、程序和介质
CN108288070B (zh) 一种神经指纹提取分类方法及系统
US8224640B2 (en) Method and system for computational modeling of the aorta and heart
Turečková et al. Improving CT image tumor segmentation through deep supervision and attentional gates
Balasooriya et al. Intelligent brain hemorrhage diagnosis using artificial neural networks
Wang et al. Test-time augmentation with uncertainty estimation for deep learning-based medical image segmentation
Taherdangkoo et al. Segmentation of MR brain images using FCM improved by artificial bee colony (ABC) algorithm
Mehta et al. Propagating uncertainty across cascaded medical imaging tasks for improved deep learning inference
CN105023023A (zh) 一种用于计算机辅助诊断的乳腺b超图像特征自学习提取方法
da Silva et al. A cascade approach for automatic segmentation of cardiac structures in short-axis cine-MR images using deep neural networks
DK2406745T3 (en) Method of developing a predictor device, its use and associated storage medium and device
CN116051545B (zh) 一种双模态影像的脑龄预测方法
Anand Kumar et al. 3D deep learning for automatic brain MR tumor segmentation with T-spline intensity inhomogeneity correction
Rao et al. A comprehensive study of features used for brian tumor detection and segmentation from Mr images
Jlassi et al. Unsupervised Method based on Probabilistic Neural Network for the Segmentation of Corpus Callosum in MRI Scans.
Joseph et al. Development of segmentation and classification algorithms for computed tomography images of human kidney stone
Yan et al. A new brain magnetic resonance imaging segmentation algorithm based on subtractive clustering and fuzzy C-means clustering
Miranda Teixeira et al. Automatic segmentation of cardiac MRI using snakes and genetic algorithms
Ahmed et al. Intracranial Hemorrhage Detection using CNN-LSTM Fusion Model
Larsen Exploring generative adversarial networks to improve prostate segmentation on mri
Zhao et al. Intracranial vascular structure extraction: a machine learning approach
Dachraoui et al. Predictive Approach of multiple sclerosis MR-Lesions evolution based on chaotic attributes
Gilani Mohamed Development of hippocampus MRI image segmentation algorithm for progression detection of alzheimer’s disease (AD)
Sathya et al. Quantitative comparison of artificial honey bee colony clustering and enhanced SOM based K-means clustering algorithms for extraction of roi from breast dce-mr images
Rajangam et al. Cerebral Cortex Segmentation from MR Brain Images based on Contouring Technique to Detect Alzheimer’s Disease

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination