CN116645316A - 数据生成、算法训练、疾病信息检测方法以及系统和程序 - Google Patents

数据生成、算法训练、疾病信息检测方法以及系统和程序 Download PDF

Info

Publication number
CN116645316A
CN116645316A CN202310152629.7A CN202310152629A CN116645316A CN 116645316 A CN116645316 A CN 116645316A CN 202310152629 A CN202310152629 A CN 202310152629A CN 116645316 A CN116645316 A CN 116645316A
Authority
CN
China
Prior art keywords
data
medical imaging
data set
channel
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310152629.7A
Other languages
English (en)
Inventor
弗洛里安·塔姆
马库斯·于尔根斯
奥利弗·陶布曼
亨德里克·迪特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN116645316A publication Critical patent/CN116645316A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了数据生成、算法训练、疾病信息检测方法以及系统和程序。一种用于生成用于训练深度学习算法(6)的训练数据(1)的方法，包括：接收(RT1)患者的检查区域的医学成像数据(2)，患者的检查区域包括对称器官的第一部分和第二部分；将医学成像数据(2)沿对称平面或对称轴分割成第一数据集(3a)和第二数据集(3b)，其中，第一数据集(3a)包括器官的第一部分的医学成像数据(2)，并且第二数据集(3b)包括器官的第二部分的医学成像数据(2)；沿着对称平面或对称轴对第二数据集(3b)进行镜像(MD1)；通过叠加第一数据集(3a)和镜像的第二数据集(3b*)生成(GT1)训练数据(1)；提供(PT1)训练数据(1)。

Description

数据生成、算法训练、疾病信息检测方法以及系统和程序
技术领域
本发明的实施方式总体上涉及用于检测疾病信息(尤其是针对疾病信息的分类、定位和/或表征)的深度学习算法的训练数据的生成。该疾病信息是例如脑部疾病(例如，大血管闭塞)的脑部疾病信息。本发明的实施方式总体上还涉及用于使用训练数据来训练用于检测疾病信息的深度学习算法的方法、检测疾病信息的方法以及计算机程序。
本发明总体上涉及医学成像和医学图像分析领域。可以使用诸如本领域已知的X射线、超声波、磁共振成像(MRI)、计算医学(CT)、PET、SPECT等各种成像模态执行医学成像。通过相应的成像设备(也被称为扫描仪)来执行成像。特别地，本发明属于通过医学成像检测脑血管疾病的领域。本发明尤其适用于检测和/或提供诸如中风和/或大血管闭塞的脑血管疾病的信息。
背景技术
中风仍然是发达国家的主要死亡原因之一。十次中风中几乎有九次是缺血性的，即，中风是由血栓(血块)堵塞血管从而使大脑的一部分无法被提供含氧血液而引起的。机械血栓切除术(Mechanical thrombectomy，MT)，即物理清除血栓，成为由大血管闭塞(large vessel occlusions，LVO)引起的急性脑缺血的中风患者的关键疗法之一。
通常情况下，中风患者首先接受非对比计算机断层扫描(computed tomography，CT)头部扫描以进行初步评估。在缺血性中风的情况下，必须迅速识别大脑的哪些部分受到影响，以便选择最有希望的疗法。然而，这是一项具有挑战性的任务，因为在非对比扫描中缺血的早期迹象往往是微妙的。通常要进行CT血管成像(CT angiography，CTA)扫描，以可靠地确定受影响的区域，评估侧枝状态和定位血栓。通过基于软件的自动检测和定位来支持专家的诊断可以节省时间以帮助较早再通。
特别地，疾病信息的分类和定位、尤其是脑血管疾病和/或LVO的分类和定位之间是有区别的。分类和定位通常被概括为检测。特别地，疾病信息的检测、分类和/或定位是指疾病的检测、分类和/或定位，其中，疾病信息是例如由疾病引起的解剖异常、物理异常和/或组织异常。换言之，疾病信息被配置，产生和/或包括放射学发现。分类是确定患者是否患有疾病、尤其是脑部疾病的工作。这导致两类问题(例如，LVO阳性，LVO阴性)。这可以扩展为三类问题，其中，侧面也被预测(左LVO、右LVO、无LVO)。分类的发展是定位。这里的工作是确定疾病信息和/或LVO在患者坐标系统中的坐标。定位是回归工作。定位是更理想的，因为这导致了对患者进行治疗的最后信息。此外，在定位之后，放射医师可以很容易地确认分类结果。
疾病信息、尤其是LVO的自动检测和定位正面临着几个挑战。器官、尤其是脑血管树的解剖结构是高度个性化的。因此，对于基于可训练方法(例如基于深度学习的技术)的方法需要大量的数据来实现可接受的概括水平。尤其是，注射不同量的造影剂是扫描中的另一个自由度。此外，比较左半球、右半球在检测脑部疾病信息、尤其是LVO方面具有至关重要的意义。然而，在检测脑部疾病信息的可训练架构中，难以整合先前的知识。
发明内容
本发明的基本技术问题是改进基于深度学习算法对疾病信息的自动检测、分类和/或定位。此外，本发明的技术问题是提供经训练的深度学习算法，尤其是提供用于训练的训练数据。这些问题通过独立权利要求的主题得到了解决。从属权利要求与本发明的另外的方面有关。
下面，相对于所要求保护的方法以及相对于所要求保护的计算机程序和系统描述了根据本发明的解决方案。本文中的特征、优点或替选实施方式可以被分配给其他要求保护的对象，反之亦然。换言之，可以利用在计算机程序和系统的情况下描述或要求保护的特征来改进方法权利要求。在该情况下，方法的功能特征由系统的目标单元来实现。此外，不同方法(生成训练数据、深度学习算法的训练和脑部疾病信息的检测)的特征可以基于任何一个方法的特征和描述来解释。尤其是，任何一个不同的方法都可以用其中任何其他方法的特征来改进。
在一个方面，本发明涉及一种用于生成用于训练深度学习算法的训练数据的方法，包括：
-接收患者的检查区域的医学成像数据，患者的检查区域包括对称器官的第一部分和第二部分；
-将医学成像数据沿对称平面或对称轴分割成第一数据集和第二数据集，其中，第一数据集包括器官的第一部分的医学成像数据，并且第二数据集包括器官的第二部分的医学成像数据；
-沿着对称平面或对称轴对第二数据集进行镜像；
-通过叠加第一数据集和镜像的第二数据集生成训练数据；
-提供训练数据。
医学成像数据是例如断层扫描成像数据。医学成像数据可以包括计算机断层扫描成像数据和/或磁共振成像数据。优选地，医学成像数据包括至少一个非对比计算机断层成像数据和/或计算机断层扫描血管造影(computed tomography angiography，CTA)数据、特别是数字减影计算机断层扫描血管造影数据。CTA数据可以与单个阶段或多个阶段有关。医学成像数据还可以包括计算机断层成像灌注数据和/或光谱计算机断层成像数据。光谱计算机断层成像数据可以基于例如双能量，特别是双源、计算机断层成像和/或光子计数计算机断层成像。
检查区域包括至少一个包括对称器官的身体部位。对称器官例如是大脑、肾脏、肺部、女性乳房或男性乳房。对称器官包括第一部分和第二部分，其中，第一部分和第二部分优选地是器官的两半。特别地，器官的第一部分和第二部分相对于对称平面对称。对称器官例如是大脑，其中，第一部分和第二部分是大脑的两个半球。对称器官可以是人的两个肾脏，其中，第一部分是一个肾脏，而第二部分是另一个肾脏。对于作为对称器官的肺，两部分中的每一部分是肺叶。对称平面尤其是矢状平面。对称平面可以是超平面，例如弯曲或位移平面。对称平面可以基于器官的图谱进行选择。替选地，对称平面可以自由选择或独立于图谱来选择。特别地，第一部分是左部和/或左脑半球，而第二部分是右部和/或右脑半球。替选地，第一部分是右部，而第二部分是左部。第二部分的数据、图像和/或模型可以例如通过应用转换、尤其是应用基于几何学的转换被转变成呈现为(光学上看起来像)第一部分和/或对第一部分建模的数据、图像和/或模型。优选地，转换基于镜像、翻转、旋转、弹性变形、增强和/或测试时间增强。例如，第二脑半球(例如，右脑半球)的数据或图像可以在矢状平面上被镜像，由此镜像的数据和/或图像看起来像第一(左)脑半球的数据。
对称器官和这样的对称器官的三维图像数据相对于某个平面(对称平面)具有高度的对称性。对称器官的某些二维图像或切片相对于对称轴具有高度的对称性。对称器官的不同二维图像或切片的对称度可能不同。对称平面可以由产生对称器官的两个部分或这样的对称器官的三维图像数据的最高对称度的平面来限定。对称轴可以由产生对称器官的两个部分或这样的对称器官的二维图像或切片的最高对称度的轴来限定。尤其是，成对的器官被理解为对称器官。对称器官例如是腮腺、扁桃体、鼻腔、肺、胸膜、四肢骨骼、肋骨和锁骨、尾骨和耻骨、盆骨、眼睑皮肤，包括眼角、耳朵和外耳道的皮肤，包括肩和臀部、乳房、卵巢、输卵管、睾丸、附睾、肾脏、肾盂、输尿管、眼睛、肾上腺。
优选地，该方法包括接收器官图谱数据。该器官图谱数据例如是脑图谱数据。该方法还可以包括基于医学成像数据和器官图谱数据生成配准成像数据。器官图谱数据被用于配准。器官图谱数据可以是概率脑图谱数据。配准成像数据的生成可以包括基于医学成像数据对多个器官区域(尤其是脑区域)进行分割，从而对于多个区域中的每个区域生成该区域的表示。配准成像数据的生成可以包括医学成像数据的缩放和/或医学成像数据的刚性预配准。对于包括接收至少一个通道(例如不同的扫描原理)和/或包括基于医学成像数据计算通道的实施方式，由通道包括的通道数据优选地也基于脑图谱数据被配准。配准尤其用于将医学成像数据和/或通道数据配准到参考坐标系中，并将成像数据标准化为规范姿势。
将医学成像数据分割成第一数据集和第二数据集。在优选实施方式中，对于医学成像数据的分割，使用配准成像数据。医学成像数据可以包括三维图像和/或模型，其中，三维图像和/或模型优选地被分割成两个三维图像和/或模型。尤其是，医学成像(特别是配准成像数据)根据矢状平面和/或对称平面被分割和/或分开。优选地，医学成像(特别是配准成像数据)被分割成配准医学成像数据(特别是配准成像数据)、器官的第一部分和第二部分的数据(例如，第一脑半球和第二脑半球的数据)。第一数据集包括器官的第一部分的医学成像数据(特别是配准成像数据)和/或基于器官的第一部分的医学成像数据(特别是配准成像数据)生成的信息，其中，第二数据集包括器官的第二部分的医学成像数据(特别是配准成像数据)和/或基于器官的第二部分的医学成像数据(特别是配准成像数据)生成的信息。
将第二数据集镜像成镜像的第二数据集。镜像尤其是左-右镜像。第二数据集基于器官的第二部分以及/或者表示器官的第二部分。第二数据集优选地以如下方式被镜像：镜像的第二数据集表示和/或呈现为器官的第一部分的数据集。表示和/或呈现为器官的第一部分尤其意味着在光学上和/或几何上看起来像器官的第一部分。例如，第二数据集包括和/或描述第二脑半球的三维模型和/或图像，其中，镜像的第二数据集通过在矢状平面上镜像三维模型和/或图像而生成，其中，镜像的三维模型和/或图像表示和/或呈现为第一脑半球的三维模型和/或图像。第二数据集的镜像可以包括类似翻转、旋转、弹性变形、增强和/或测试时间增强的变换。
通过将第一数据集和镜像的数据集叠加在一起而生成训练数据。优选地，训练数据被配置为包括第一数据集和镜像的第二数据集的数据包。训练数据可以具有固定的和/或标准化的结构、布局和/或设置，例如具有叠加方向。叠加方向例如是训练数据的读出方向。优选地，训练数据被配置为集合、向量或张量。训练数据尤其被配置为张量D，其形式为D＝{X1,X2*}，包括第一数据集X1和镜像的第二数据集X2*。换言之，训练数据被配置为呈现为和/或表示器官的仅仅第一部分(例如，第一脑半球)的数据集。训练数据是用于训练和/或学习深度学习算法的示例。特别地，在训练数据的生成中，镜像的第二数据集可以用作训练数据中的第一数据集以及/或者第一数据集可以用作训练数据中的镜像的第二数据集。例如，训练数据可以被生成为张量D＝(X2*,X1)。
关于深度学习算法，优选地是或包括深度卷积神经网络(DCNN)。根据本发明，术语深度学习算法也可以理解为任何机器学习算法、训练的算法和/或基于迁移学习的算法。深度学习算法通常使用输入数据，尤其是受试患者图像来检测疾病信息，尤其是确定包括疾病信息的确定和/或检测的输出信息。输出信息可以包括疾病和/或疾病信息的分类信息、定位信息和/或附加信息。附加信息可以包括尺寸、形状、疾病类型、解剖、组织和/或物理特性。例如，在LVO的情况下，输出信息可以包括LVO的位置(例如，左、右)和/或尺寸。深度学习算法可以是用于计算机辅助诊断(computer aided/assisted diagnosis，CAD)的算法。因此，输出信息可以仅作为决策支持，而不是诊断本身。
提供训练数据。提供例如被实现为经由专用接口、显示器、打印机、存储器、网络或以适合用户检查、存储或进一步处理的任何其他方式输出数据。
总之，本发明提供基于医学成像数据的训练数据。因此，本发明允许为用于检测疾病信息的深度学习算法提供训练数据。换言之，本发明提供基于对称器官的两个部分(尤其是两个脑半球)的医学成像数据的训练数据，其中，在训练数据中，所有的数据和/或数据集都呈现为(光学上看起来像)和/或描述器官的部分，尤其是一种(侧面)脑半球。这允许第二半球的医学成像数据可以被镜像成镜像的第二数据集，其中，这样的镜像的第二数据集可以在训练数据中用作第一数据集或用作实际的镜像的第二数据集。因此，本发明允许混合和/或组合不同样本和/或患者的对称器官的第一部分和第二部分(尤其是两个脑半球)的数据集。这允许基于给定的医学成像数据集生成更多的训练数据。
特别地，至少一个包括通道数据的通道被接收和/或至少一个包括通道数据的通道基于医学成像数据被计算。作为通道，可以接收不同的扫描，例如多谱段CT扫描、CTA扫描或MRI扫描。此外，基于医学成像数据，可以计算结构的分割或有关解剖、器官和/或物理特征的信息作为通道。特别地，至少一个通道基于窗口化，尤其是应用和/或基于医学成像数据的窗口化。特别地，对于通道，通道数据基于器官图谱数据被配准。在多个通道的情况下，通道的通道数据优选地按通道顺序被配准。未配准的通道数据或已配准的通道数据被分割成第一通道数据集和第二通道数据集。在多个通道的情况下，生成多个第一通道数据集和多个第二通道数据集。通道数据的分割尤其是沿对称平面(尤其是矢状平面或对称轴)的分割，例如分开和/或分化。因此，未配准或已配准的通道数据是根据对称器官的各部分(尤其是脑半球)来划分的。第一通道数据集包括器官的第一部分的未配准的或已配准的通道数据，其中，第二通道数据集包括器官的第二部分的未配准的或已配准的通道数据。第二通道数据集沿对称平面(例如矢状平面)或沿对称轴被镜像。镜像尤其被适配和/或配置为针对第二数据集的镜像描述的镜像。镜像的第二通道数据集呈现为(光学上看起来像)和/或描述器官的第一部分的通道数据。第一数据集、第一通道数据集、镜像的第二数据集和镜像的第二通道数据集被叠加在一起作为训练数据。因此，训练数据包括第一数据集、第一通道数据集、镜像的第二数据集和镜像的第二通道数据集。该实施方式生成包括至少一个附加通道的数据集的训练数据，其中，所有的数据集都呈现为器官的第一部分的数据集。
特别地，计算或接收包括血管数据的血管通道，其中，血管数据基于医学成像数据中脑血管树的分割。例如，使用以下描述的方法计算血管通道：Thamm等人，VirtualDSA++:Automated Segmentation,Vessel Labeling,Occlusion Detection and Graph Searchon CT-Angiography Data(CT-血管造影数据的自动分割、血管标记、阻塞检测和图像搜索)(Tn VCBM(第151至155页))。附加地和/或替选地，计算或接收包括骨骼数据的骨骼通道，其中，骨骼数据例如使用以下描述的方法来计算：Chen等人，Deep learning based boneremoval in computed tomography angiography(计算机断层血管造影中基于深度学习的骨移除)(US2018116620A1)。可选地，也可以使用其他通道，如非对比CT扫描。
训练数据优选地被配置为有序集合。有序集合可以被实现为包、向量或张量。该有序集合例如具有有序方向，例如数据集将由深度学习算法读出的顺序。在训练数据中，数据集被排序和/或布置成使得第一数据集在第一通道数据集之前，尤其是使得第一通道数据集在镜像的第二数据集之前，并且使得镜像的第二数据集在镜像的第二通道数据集之前。当描述训练数据的结构和/或数据集在训练数据中的位置时，短语第一(通道)数据集和/或镜像的第二(通道)数据集不一定暗示它们的器官部分的起源，例如半球的起源。例如，在训练数据中，第一(通道)数据集的排序位置或张量条目可以包括实际的镜像的第二(通道)数据集作为第一(通道)数据集。
在数据集包括截面图像集合的情况下，优选的是训练数据中的布置是逐截面平面的，例如{E1(z0),Ec 1(z0),E2*(z0),Ec 2*(z0),E1(z1),Ec 1(z1),E2*(z1),Ec 2*(z1),...}，其中，Ea b(z)表示数据集b的深度z处的截面图像，其中，a表示通道，并且*表示镜像。
特别地，第一数据集、第一通道数据集、镜像的第二数据集和/或镜像的第二通道数据集包括器官(例如，脑半球)的相关部分的三维成像数据集。在数据集包括三维图像数据集的情况下，优选的是训练数据中的布置是逐数据集的，例如{V1,Vc 1,V2*,Vc 2*}，其中，Vab表示三维图像数据集b，其中，a表示通道，*表示镜像。
为了基于有限数目的医学成像数据增加可实现的训练数据的数目，优选地将不同医学成像数据(尤其是不同患者的不同医学成像数据)的第一数据集和镜像的第二数据集叠加。替选地或附加地，训练数据可以是相同医学成像数据(尤其是同一患者的医学成像数据)的第一数据集和镜像的数据集的叠加。由于所有的数据集都呈现为器官的第一部分的数据集，所以数据集可以被混合并且重新组合。为了增加可实现的训练数据的数目，想法是将来自不同患者的器官的第一部分和第二部分混合。因此，对于N个医学成像数据，第一部分和第二部分的N×N个组合就可用于训练。例如，为了生成训练数据，将半球随机地叠加在一起，优选地考虑其是否具有脑部疾病、脑部疾病信息、尤其是LVO。通过重新组合，可以构建大量的数据集。
例如，接收到三个患者的医学成像数据。患者A是健康的。患者B具有右LVO。患者C具有左LVO。分别地，“左”简写为“L.”，“右”简写为“R.”。就半球而言，这意味着：
·患者A(无LVO)：L.半球健康；R.半球健康
·患者B(R.LVO)：L.半球健康；R.半球LVO
·患者C(L.LVO)：L.半球LVO；R.半球健康
现在可以将这六个半球重新组合成训练数据。两个半球的叠加用“+”号表示。在“+”号左边的半球表示叠加中的左半球。
·A的L.半球(健康)+B的L.半球(健康)→无LVO
·A的R.半球(健康)+B的R.半球(LVO)→右LVO
·B的R.半球(LVO)+C的R.半球(健康)→左LVO
通过重新组合，可以构建所有理想的LVO病例。即使在假设中，给定的医学成像数据仅包括右LVO，通过重新组合的方法，也可以构建仅左LVO，没有LVO，或者作为优选，所有三种的平衡分布。必须提及的是，两个LVO阳性分类的半球的组合并不能导致有意义的重新组合。
为了证明重新组合出现的数目，假设有100个患者的医学成像数据，并假设其中50个患者患有LVO。这意味着有150个健康(LVO阴性)半球和50个患病(LVO阳性)半球。通过重新组合，可以将50个LVO阳性半球与150个LVO阴性半球重新组合(50×150＝7500)，而且是两次(7500×2＝15000)，因为左右可以互换。LVO阴性半球可以重新组合，总共有22350(150×149＝22350)个组合。总而言之，给定100个患者，通过重新组合技巧可以构建37350个数据集。这意味着数据增加了37250％。
特别地，基于边界条件选择用于叠加为训练数据的第一数据集和镜像的第二数据集。特别地，来自同一患者、扫描和/或脑半球的第一通道数据集和第一数据集和/或镜像的第二通道数据集和镜像的第二数据集。特别地，对于作为第一数据集和/或作为第一通道数据集的训练数据的生成，可以选择实际的镜像的第二数据集和/或镜像的第二通道数据集。对于作为镜像的第二数据集和/或作为镜像的第二通道数据集的训练数据的生成，可以选择实际的第一数据集和/或第一通道数据集。该选择可以由计算机、处理单元或优选地机器学习算法来实现。例如，选择边界条件以生成具有优选特征的训练数据。特别地，边界条件基于造影剂的可比量、患者信息数据(例如，年龄、性别、人口和/或脑部疾病的特征)选择数据集。
在第二方面，本发明还涉及一种用于训练深度学习算法以检测疾病信息(特别地检测脑部疾病信息、脑血管疾病或LVO)的方法。该方法包括使用包括第一数据集和镜像的第二数据集的训练数据来训练深度学习算法的步骤。训练数据是特别生成的以及/或者将用于生成用于训练深度学习算法的训练数据的方法应用于医学成像数据的产物。通过这种方式，以获得的图像数据形式的少量可用训练数据可以生成大量的训练数据，从而获得更好的训练和更高质量的输出信息。所有关于训练数据的方法的特点和评论也适用于此。为了训练深度学习算法，接收输出训练数据。输出训练数据属于训练数据和/或与训练数据有关。输出训练数据包括例如关于疾病的信息，例如是/否有疾病或没有LVO、第一半球患有LVO或第二半球患有LVO(镜像的第二数据集)。训练数据{V1,Vc 1,V2*,Vc 2*}可以与输出训练数据k组合成训练数据集，例如训练数据集{{V1,Vc 1,V2*,Vc 2*},k}。
用于检测疾病信息的深度学习算法可以基于以下架构中的一种或更多种：卷积神经网络、深度信念网络、随机森林、深度残差学习、深度强化学习、递归神经网络、连体网络、生成式对抗网络或自动编码器。深度学习算法基于训练数据和输出训练数据(特别地基于训练数据集)进行训练。训练可以基于联合学习完成，其中，医学成像数据或训练数据由第一装置例如扫描仪提供，并且其中，深度学习算法的训练在第二装置例如云处执行。经训练的深度学习算法被提供、尤其被提供用于计算机实现或用于存储在存储介质上。
特别地，深度学习算法的训练利用了训练数据和相关输出训练数据的对称性，其中，对称性描述了训练数据中的第一数据集和镜像的第二数据集的切换对相关输出训练数据的影响。特别地，一个或更多个患者的两个半球的叠加利用预测的对称性实现新的正则化方法。为了描述所设计的正则化方法，引入了一些符号。是否存在第一(左)半球或第二(右)半球的脑部疾病信息，在本示例中，LVO或无LVO用y∈{-1,0,1}指示，而-1代表左LVO，1代表右LVO，0代表无LVO。-1和1是指LVO阳性，0是指LVO阴性。患者的两个半球分别用hl＝h1表示左半球，hr＝h2表示右半球。因此，数据集d＝{s,y}包括半球s＝{hl,hr}及其标签y的叠加。对于每个数据集，都存在镜像表示d*＝{s*,-y}，其具有替换的半球s*＝{hr,hl}和标签。在上面定义的标签中，不将标签翻转到左边或右边，但如果没有LVO存在，则没有任何影响。分类器f(s)＝y接收s并返回预测值y^。在理想情况下，如果相反给出s*，其将预测翻转(在有LVO的情况下，如果没有LVO，则保持在0)。这种对称行为可以被强化并整合到训练中。例如，神经网络内部的潜在空间特征表示f(g(s))＝y被定义为g(s)＝k必须根据其标签将其镜像为对应的g(s*)＝k*。三类的对比性损失例如利用余弦相似性将为所需特征空间的强化提供良好的基础。
本发明的另一个方面涉及一种用于检测疾病信息、尤其是检测脑部疾病信息的方法。特别地，该疾病表现为组织中的异常，其中，异常可以被检测为疾病信息。用于基于医学成像数据的检测的疾病信息的表现也被称为放射学发现。该方法适用于检测在检查区域有不对称表现的疾病、特别地在器官的两个部分中的一个(例如，在两个半球中的一个)表现出来的疾病。该方法尤其适用于检测大血管闭塞、梗塞核、半影和/或死亡与完整组织之间的过渡。
从扫描仪、数据存储器或云接收患者的检查区域的医学成像数据。患者的检查区域包括对称器官的第一部分和第二部分，例如第一脑半球和第二脑半球。接收脑图谱数据。基于脑图谱数据将医学成像数据配准为配准成像数据。对于医学成像数据可以计算和/或提供一个或更多个通道的通道数据。在提供或计算通道数据的情况下，优选地将基于脑图谱数据的通道数据配准为配准通道数据。未配准或配准的成像数据、特别地未配准或配准的通道数据沿对称平面或对称轴被分割成第一数据集和第二数据集、特别地第一通道数据集和第二通道数据集。第一数据集、特别地第一通道数据集包括器官的第一部分的未配准或配准的成像数据、特别地未配准或配准的第一通道数据。第二数据集、特别地第二通道数据集包括器官的第二部分的未配准或配准的成像数据、特别地未配准或配准的通道数据。第二数据集、特别地第二通道数据集沿对称平面或对称轴被镜像。第一数据集和镜像的第二数据集被叠加在一起，以生成受试患者图像数据。受试患者图像数据包括第一数据集和镜像的第二数据集的叠加。尤其是，为了生成受试患者图像数据，将第一数据集、第一通道数据集、镜像的第二数据集和镜像的第二通道数据集叠加。受试患者图像数据优选地根据上述方法构建、结构化和/或组装为训练数据。特别地，医学成像数据、配准、分割和镜像被实现和/或配置为针对该方法进行概括以生成训练数据。
使用经训练的深度学习算法对受试患者图像数据进行分析。受试患者图像数据是经训练的深度学习算法的输入数据。深度学习算法被配置成检测、尤其是对疾病、尤其是疾病信息进行分类和/或定位。
优选地，该方法包括确定优选视图信息，其中，优选视图信息与放射学发现有关。优选视图信息包括和/或定义投影和/或优选投影角度，以示出和/或显示放射学发现、尤其是基于医学成像数据的放射学发现的区域。为了简要，在下文中，术语优选视图被用来作为最佳投影和/或最佳投影角度的同义词。优选视图尤其是指能够向医生或个人显示或示出放射学发现例如用于设置医疗诊断的视图、图像、投影和/或投影角度。放射学发现优选地基于医学成像数据中的脑部疾病信息或疾病表现。该放射学发现被接收。例如，放射学发现由医生或通过将计算机实现的方法应用于医学成像数据而得出。放射性发现可以由用户或系统(例如，计算机实现的方法)提供。基于对计算的医学图像数据或受试患者图像数据应用视图确定算法来对优选视图信息进行检测。
注意的是，该实施方式也是独立于使用受试患者图像数据和/或使用经训练的深度学习算法而具有优势的。因此，用于检测脑部疾病信息和确定优选视图信息的方法和系统是可设想的。该方法将包括以下步骤：
-接收受试患者的检查区域的医学成像数据；
-接收该医学成像数据的放射学发现；
-使用视图确定算法分析医学成像数据；
-通过对医学成像数据应用视图确定算法来确定优选视图信息，其中，优选视图信息包括优选投影和/或优选投影角度，以显示基于医学成像数据的放射学发现的区域。
该实施方式可以整合到系统的可视化软件中、尤其是作为推荐或自动选择体积(三维)分割和原始数据的理想二维视图的工具的断层扫描，使得在所述视图中，所关注的病变尽可能地被看到。这将简化诊断并缩短诊断时间。主要的挑战在于如何获得合适的标签来说明什么是好的视图，以便建立可训练的推荐系统。如果需要可训练的系统用于疾病信息的定位，这些三维位置通常也需要被标记，这是一个繁琐的过程。该方法尤其被配置为在脑血管疾病的诊断中使用血管树的分割来实现，其中提供适当的标签是很繁琐的。该方法特别地被配置为解决寻找空间中最能显示识别某种疾病的关键指标的相机位置，以及负责该疾病的所述关键特征位置的问题。
确定优选视图信息的方法基于在二维视图上对疾病进行分类分割的多视图投影法。优选地，该方法使用显著图(saliency map)来评估每个视图的重要性。
与此问题相关的是三维网格上的显著图的计算。Song和Liu[Mesh Saliency viaWeekly Supervised Classification-for-Saliency CNN(通过每周监督分类对显著性CNN进行的网格显著性)",IEEE Transactions on Visualization and Computer Graphics(IEEE可视化和计算机图形学汇刊),2019]提出了一种可以计算3D网格上的显著图的方法。他们的方法使用了多视图的方法，并将这些视图的显著图映射到原始3D表面，以可视化关注的图形的每个顶点的重要性。然而，他们的方法只限于网格本身。如果关注的病理标志是分割结构的部分缺失，如LVO等各种血管疾病的情况，则表明结构本身的显著性是不够的，因此建议采用不同的方法。
本实施方式的目标是预测优选的视图信息T*，尤其是可能的最佳视图，以基本上定义针对疾病的可视化而选择的外在“相机”参数。根据本发明的实施方式，应用这里由神经网络驱动的推荐系统，该推荐系统接收三维表示并返回T*。为了实现这一点，需要几个步骤，因为T*的标签很难评估，尤其是对于病例，可能存在几个理想的视图。相反，这里提出的可训练方法是弱监督的，其中，标签被用于疾病的案例级分类，以检测例如患者是否患有AVM。
优选地，确定优选视图信息的方法包括两个阶段，然后是可选的第三阶段：
第一阶段是多视图分类，其中，网络对手头的分类任务进行训练，其中网络对患者是否患有某种疾病进行分类。这是视图建议所要求的，因为网络必须首先学习区分阳性和阴性病例。这也是需要的，因为网络需要学习提取所需的描述性特征来识别所提到的疾病。然而，网络并不接收作为普通三维表示的体积，而是接收由一组变换T＝{T1,T2,...,TN}定义的体积的任意多个投影N，其中每个变换都有不同的欧拉角(空间的方向)和/或平移向量(空间的位置)。在所有情况下，各种投影都是固定的，所以网络会学习哪些是相关的，哪些不是。网络例如以输入通道的形式接收所有这些投影。多视图分类可以基于Su等人发表的方法["Multi-view Convolutional Neural Networks for 3D Shape Recognition(用于三维形状识别的多视图卷积神经网络)",Proceedings of ICCV(ICCV会报)2015.http://arxiv.org/abs/1505.00880]。然而，对多视图的分类可以先于用于确定优选视图信息的方法，并且仅需要三个步骤中的一个步骤就可以提供经训练的最佳优选算法。
第二阶段是用于确定优选视图信息。给定经训练的多视图分类器，第二阶段的目标是通过分析每个视图的净显著性或相关性来确定最相关的投影。为此，可以选择几种方法，其将每个输入通道的相关性可视化并加以量化。著名的方法包括GradCam、显著图和LRP，仅举几例。一旦找到了最相关的通道，确定隐含的优选视图信息作为T＝{T1,T2,...,TN}集合中的最佳转换。使用该方法，仅需要弱标签。这里的弱标签是指仅需要第一阶段的标签来训练手头的分类任务的网络。因此，准备这样的方法来确定优选视图信息的努力是可控的。重要的是，什么是最佳视图的定义直接来自于(经训练的第一阶段模型)对该视图进行病理分类的客观能力，也就是说，对于具体的临床决策来说，其是固有的最佳视图。相比之下，人工标注视图，除了繁琐之外，可能会更加主观。
可选的第三阶段涉及粗略的定位。在第三阶段，还可以使用投影来以三维方式确定关注的区域，以基本上可以产生仅基于全局弱标签的粗略定位。
为此，投影被用于反投影，累积的注意力值在交叠的位置形成峰值。这是用三维形式的所有投影来完成。替选地，峰值可以被识别为投影视图中的二维点，这些二维点在三维中定义了线(投影射线)，与所有这些线的总距离最小的三维点可以被标记为原始体积中的关注位置。
在用于确定优选视图信息的方法的使用中，其好处是多方面的。特征视图可以作为系列视图中的缩略图，让读者快速掌握患者的病理情况，也可以在加载患者时与其他标准视图一起进行可视化。此外，由于已经找到并确定了特征图像，所以更容易发现。所有这些方面都可以帮助加速诊断。另外的好处是在第三步骤、尤其是在反投影中，反投影是在图像坐标方面空间上执行的，并且允许识别不是网格的部分的区域。这例如对于LVO的诊断至关重要，因为LVO的关键指标是栓塞和随之而来的血管树中重要分支(例如大脑介质)的缺失。
在一个方面，本发明涉及一种用于确定疾病信息的系统，包括用于接收受试患者的图像数据的接口。还包括用于使用经训练的深度学习算法分析所接收到的受试患者图像数据以确定疾病信息的分析单元，其中，经训练的深度学习算法已经使用用于检测疾病信息的训练数据进行了训练。该系统包括确定单元，其用于检测疾病信息、尤其是基于分析单元确定有关疾病信息的输出信息。还包括用于输出检测到的疾病信息、尤其是输出确定的输出信息的接口。
在另一个方面，本发明涉及一种计算机程序产品，其包括程序元素，当程序元素被加载到数据处理系统的存储器中时，该程序元素使数据处理系统执行根据公开方面中的一个或更多个的方法的步骤。
在另一个方面，本发明涉及一种计算机可读介质，其上存储有可以被系统读取和执行的程序元素，以便在程序元素被系统执行时执行根据公开方面中的一个或更多个的方法的步骤。
本文提到的系统的任何部件或系统的部件之间的任何接口可以以硬件和/或软件的形式体现。特别地，接口可以以PCI-Bus、USB或固件中的至少一种形式体现。特别地，单元可以包括硬件元素和/或软件元素，例如，微处理器、现场可编程门阵列(缩写为“FPGA”)或专用集成电路(缩写为“ASIC”)。
该系统例如可以包括云计算系统、分布式计算系统、计算机网络、计算机、平板计算机、智能手机等中的至少一种。该系统可以包括硬件和/或软件。硬件可以是例如处理器系统、存储器系统及其组合。硬件可以由软件进行配置和/或由软件进行操作。用于执行方法步骤和/或用于训练机器学习模型的计算可以在处理器中进行。
数据、特别地医学成像数据、脑图谱数据和多个数据集可以例如通过接收携带数据的信号和/或通过从计算机可读介质中读取数据来接收。数据、特别地脑部疾病信息可以通过传输携带数据的信号和/或通过将数据写入计算机可读介质和/或通过在显示器上显示数据来提供。
该计算机程序例如是计算机程序产品，包括除计算机程序之外的其他元素。这个其他元素可以是硬件，例如其上存储计算机程序的存储设备、用于使用计算机程序的硬件密钥等和/或软件(例如，用于使用计算机程序的文件或软件密钥)。计算机可读介质可以体现为非永久性的主存储器(如随机存取存储器)或永久性的大容量存储(如硬盘、U盘、SD卡、固态盘)。
在没有明确描述的地方，各个实施方式或其各个方面和特征可以彼此组合或交换，而不会限制或扩大所描述的发明的范围，只要这样的组合或交换从本发明的意义上说是富有意义的即可。在适用的情况下，关于本发明的一个实施方式描述的优点也是本发明的其他实施方式的优点。
在本发明的上下文中，“基于”这一表述特别地可以理解为“尤其使用”。特别地，根据第一特征基于第二特征计算(或生成、确定等)的措辞并不排除第一特征基于第三特征计算(或生成、确定等)的可能性。
参考以下事实：所描述的方法和所描述的单元仅是本发明的优选示例实施方式，并且本领域的技术人员可以在不脱离本发明的范围的情况下对本发明进行改变，只要本发明的范围由权利要求指定即可。
附图说明
下面将参照附图使用示例实施方式说明本发明。附图中的图示是示意性的和高度简化的，并且不一定按比例绘制。
图1示出了说明用于生成训练数据的方法、用于训练深度学习算法的方法和用于检测疾病信息的方法的图；
图2示出了说明配准成像数据的分割的图；
图3示出了说明将深度学习算法应用于叠加数据的图；
图4示出了说明用于检测疾病信息的系统的图。
具体实施方式
图1示出了说明三种方法I、II和III的组合的图，其中，方法I用于生成用于训练深度学习算法的训练数据。方法II基于训练数据训练深度学习算法。方法III用于基于经训练的深度学习算法确定疾病信息，其中，根据本示例的疾病信息是脑部疾病信息。此外，该示例基于作为对称器官的大脑，其中，该器官的第一部分是大脑的第一半球，并且第二部分是大脑的第二半球。
方法I被配置成用于生成训练数据，并且包括：
-接收RT1患者的检查区域的医学成像数据，患者的检查区域包括第一脑半球和第二脑半球；
-接收RA1脑图谱数据；
-基于医学成像数据和脑图谱数据生成GR1配准成像数据；
-将配准成像数据沿对称平面或对称轴分割SP1成第一数据集和第二数据集，其中，第一数据集包括第一脑半球的配准成像数据，并且第二数据集包括第二脑半球的配准成像数据；
-沿着对称平面或对称轴对第二数据集进行镜像MD1；
-通过叠加第一数据集和镜像的第二数据集生成GT1训练数据；
-提供PT训练数据。
方法二训练深度学习算法，并且包括：
-接收RT2训练数据，其中，训练数据通过执行方法I来提供；
-接收RO输出训练数据，其中，输出训练数据与训练数据相关；
-基于训练数据和输出训练数据训练TD深度学习算法；
-提供PD深度学习算法。
方法三利用经训练的深度学习算法来检测脑部疾病信息，并且包括：
-接收RT3患者的检查区域的医学成像数据，患者的检查区域包括第一脑半球和第二脑半球；
-接收RA2脑图谱数据；
-基于医学成像数据和脑图谱数据生成GR2配准成像数据；
-将配准成像数据沿对称平面或对称轴分割SP2成第一数据集和第二数据集，其中，第一数据集包括第一脑半球的配准成像数据，并且第二数据集包括第二脑半球的配准成像数据；
-沿着对称平面或对称轴对第二数据集进行镜像MD2；
-通过叠加第一数据集和镜像的第二数据集生成GP受试患者图像数据；
-使用经训练的深度学习算法分析AS受试患者图像数据；
-检测DO脑部疾病信息，其中，经训练的深度学习算法已经使用训练数据进行了训练。
图2示出了根据本发明的实施方式的用于生成训练数据1的示例。给出的是断层扫描2，其包括患者的CTA数据集作为医学成像数据3。医学成像数据3包括作为第一脑半球的左脑半球的成像数据和作为第二脑半球的右脑半球的成像数据。在第一步骤中，计算在原始CTA扫描旁边的附加的通道4、5。通道4、5包括左脑半球的通道数据和右脑半球的通道数据。作为通道4，基于对脑血管树的分割对血管通道进行计算。作为通道5，基于骨骼掩模对骨骼通道进行计算。可选地，其他通道也可能是有益的，如非对比CT扫描。
在第二步骤中，通过将体积配准到大脑的概率图谱中来将医学成像数据3和通道4、5的通道数据配准到参考坐标系中。这使医学成像数据3和通道4、5标准化为规范姿势，并为第三步骤准备数据集。
在第三步骤中，将医学成像数据3和通道数据4、5矢状分割，从而使两个半球彼此分开。一面被翻转到其对面，包括其所有的通道4、5。换言之，第二脑半球的配准和分割的医学成像数据在镜像的第一数据集3b*中被镜像，这在视觉上看起来像第一脑半球的医学成像数据。对通道4、5也是如此，这产生镜像的第二通道数据集4b*、5b*。因此，我们在视觉上要么只有左边，要么只有右边。第一数据集3a、第一通道数据集4a、5a、镜像的第一数据集3b*和镜像的第二数据集4b*、4b*按通道叠加，形成6通道体积，而前三个通道代表左半球，后三个通道代表右半球。数据的叠加导致训练数据1被配置为4D张量(3D+6通道)。根据这种方法，基于患者的医学成像数据生成受试患者图像数据。
图3示出了将用于确定脑部疾病信息7的深度学习算法6应用于训练数据1的示例。深度学习算法6被配置为CNN，并接收6通道训练数据1，并检测8LVO的存在和/或例如通过确定LVO的坐标对其进行定位9。
图4示出了用于检测脑部疾病信息的系统U的示例，包括：接口I1-U，其用于接收受试患者图像数据；分析单元A-U，其用于使用所提供PD的经训练的深度学习算法来分析所接收的受试患者图像数据，其中，该经训练的深度学习算法已经使用所提供PT的经训练的数据进行了训练以检测脑部疾病信息；确定单元D-U，其用于基于分析单元A-U的分析来确定关于脑部疾病信息的输出信息。此外，系统U包括用于输出所检测到的脑部疾病信息的第二接口I2-U。

Claims (15)

1.一种用于生成用于训练深度学习算法(6)的训练数据(1)的方法，包括：
-接收(RT1)患者的检查区域的医学成像数据(2)，所述患者的检查区域包括对称器官的第一部分和第二部分；
-将所述医学成像数据(2)沿对称平面或对称轴分割成第一数据集(3a)和第二数据集(3b)，其中，所述第一数据集(3a)包括所述器官的第一部分的医学成像数据(2)，并且所述第二数据集(3b)包括所述器官的第二部分的医学成像数据(2)；
-沿着所述对称平面或对称轴对所述第二数据集(3b)进行镜像(MD1)；
-通过叠加所述第一数据集(3a)和镜像的第二数据集(3b*)生成(GT1)训练数据(1)；以及
-提供(PT1)所述训练数据(1)。
2.根据权利要求1所述的方法，还包括：
-接收(RA1)器官图谱数据；
-基于所述医学成像数据(2)和所述器官图谱数据生成(GR1)配准成像数据；
-使用所述配准成像数据将所述医学成像数据分割成所述第一数据集(3a)和所述第二数据集(3b)，其中，所述第一数据集(3a)包括所述器官的第一部分的配准成像数据(2)，并且所述第二数据集(3b)包括所述器官的第二部分的配准成像数据(2)。
3.根据权利要求2所述的方法，其中，所述器官图谱数据是脑图谱数据，并且所述对称器官是大脑，其中，所述器官的第一部分是第一脑半球，并且所述器官的第二部分是第二脑半球。
4.根据前述权利要求中之一所述的方法，还包括：
-接收至少一个通道(4，5)或基于所述医学成像数据(2)计算至少一个通道(4，5)，其中，所述通道(4，5)包括通道数据；
-基于所述通道数据和所述器官图谱数据生成配准通道数据；
-将所述配准通道数据沿所述对称平面或对称轴分割成至少第一通道数据集(4a，5a)和至少第二通道数据集(4b，5b)，其中，所述第一通道数据集(4a，5a)包括所述器官的第一部分的配准通道数据，并且所述第二通道数据集(4b，5b)包括所述器官的第二部分的配准通道数据；
-沿着所述对称平面或对称轴对所述第二通道数据集(4b，5b)进行镜像；以及
-通过叠加所述第一数据集(3a)、所述第一通道数据集(4a，5a)、镜像的第二数据集(3b*)和镜像的第二通道数据集(4b*，5b*)生成所述训练数据(1)。
5.根据权利要求4所述的方法，其中，至少一个通道(4，5)是包括血管数据(4a，4b)的血管通道(4)以及/或者至少一个通道(4，5)是包括骨骼数据(5a，5b)的骨骼通道(5)，其中，所述血管数据(4a，4b)基于所述医学成像数据(2)中的脑血管树的分割，其中，所述骨骼数据(5a，5b)基于所述医学成像数据(2)中的骨骼掩模和/或骨骼分割。
6.根据权利要求4或5中之一所述的方法，其中，所述训练数据(1)被配置为有序集合，其中，所述第一数据集(3a)在所述第一通道数据集(4a，4b)之前，所述第一通道数据集(4a，4b)在所述镜像的第二数据集(3b*)之前，并且所述镜像的第二数据集(3b*)在所述镜像的第二通道数据集(4b*，5b*)之前。
7.根据权利要求1至6中之一所述的方法，还包括：
-通过叠加基于不同患者的医学成像数据(2)的第一数据集(3a)和镜像的第二数据集(3b*)来生成(GT1)所述训练数据(1)。
8.根据权利要求7所述的方法，还包括：
-基于边界条件选择所述第一数据集(3a)和所述镜像的第二数据集(3b*)以生成所述训练数据(1)，其中，所述边界条件涉及患者信息数据。
9.一种用于训练用于检测患者的检查区域的医学成像数据(2)中的疾病信息的深度学习算法(6)的方法，包括：
-接收(RT2)训练数据(1)，其中，所述训练数据(1)基于根据权利要求1至8中之一所述的方法而生成；
-接收(RO)输出训练数据，其中，所述输出训练数据包括所述训练数据(1)的疾病信息；
-基于所述训练数据(1)和所述输出训练数据来训练(TD)所述深度学习算法(6)；以及
-提供(PD)经训练的深度学习算法(6)。
10.根据权利要求9所述的方法，其中，所述深度学习算法(6)的训练利用了所述训练数据(1)和所述输出训练数据的对称性，其中，所述对称性描述了所述训练数据(1)中的所述第一数据集(3a)和所述镜像的第二数据集(3b*)的切换对所述输出训练数据中的疾病信息的影响。
11.一种用于检测疾病信息的方法，包括：
-接收(RT3)患者的检查区域的医学成像数据(2)，所述患者的检查区域包括对称器官的第一部分和第二部分；
-将所述医学成像数据(2)沿对称平面或对称轴分割成第一数据集(3a)和第二数据集(3b)，其中，所述第一数据集(3a)包括所述器官的第一部分的医学成像数据，并且所述第二数据集(3b)包括所述器官的第二部分的医学成像数据；
-沿着所述对称平面或对称轴对所述第二数据集(3b)进行镜像(MD2)；
-通过叠加所述第一数据集(3a)和所述镜像的第二数据集(3b*)生成(GP)受试患者图像数据；
-通过将经训练的深度学习算法(6)应用于所述受试患者图像数据来分析(AS)所述受试患者图像数据；以及
-基于所述分析(AS)步骤来检测(DO)所述疾病信息，其中，所述经训练的深度学习算法(6)已经使用训练数据(1)，优选地根据权利要求1至8中之一所述的训练数据(1)进行了训练。
12.根据权利要求11所述的方法，还包括：
-接收基于所述医学成像数据(2)或所述受试患者图像数据的放射学发现；
-通过对所述医学成像数据(2)或所述受试患者图像数据应用视图确定算法来确定优选视图信息，其中，所述优选视图信息包括优选投影和/或优选投影角度，以显示基于所述医学成像数据(2)或基于所述受试患者图像数据的放射学发现的区域。
13.根据权利要求12所述的方法，其中，所述医学成像数据(2)包括来自不同视图在所述放射学发现的区域的二维投影，还包括：
-通过在所述投影上应用反投影来确定所述放射学发现的区域的粗略位置。
14.一种用于检测疾病信息的系统(U)，包括第一接口(I1-U)、处理单元(P-U)、分析单元(A-U)、确定单元(D-U)和第二接口(I2-U)，其中：
-所述第一接口(I1-U)被配置成接收患者的检查区域的医学成像数据(2)，其中，所述患者的检查区域包括对称器官的第一部分和第二部分；
-其中，所述处理单元(P-U)被配置成将所述医学成像数据(2)沿所述对称平面或对称轴分割成第一数据集(3a)和第二数据集(3b)，其中，所述第一数据集(3a)包括所述器官的第一部分的医学成像数据，并且所述第二数据集(3b)包括所述器官的第二部分的医学成像数据，以沿着所述对称平面或对称轴对所述第二数据集(3b)进行镜像，并通过叠加所述第一数据集(3a)和镜像的第二数据集(3b*)生成受试患者图像数据；
-其中，所述分析单元(A-U)被配置成使用经训练的深度学习算法(6)分析所述受试患者图像数据，以确定所述疾病信息；
-其中，所述确定单元(D-U)被配置成基于所述分析单元(A-U)的分析来确定关于所述疾病信息的输出信息；
-其中，所述第二接口(I2-U)被配置成输出所述输出信息。
15.一种包括指令的计算机程序，当所述计算机程序由计算机执行时，所述指令使所述计算机执行根据权利要求1至13中之一所述的方法中的至少一个。
CN202310152629.7A 2022-02-23 2023-02-21 数据生成、算法训练、疾病信息检测方法以及系统和程序 Pending CN116645316A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP22158204.2A EP4235685A1 (en) 2022-02-23 2022-02-23 Method, system and computer program for detection of a disease information
EP22158204.2 2022-02-23

Publications (1)

Publication Number Publication Date
CN116645316A true CN116645316A (zh) 2023-08-25

Family

ID=80447638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310152629.7A Pending CN116645316A (zh) 2022-02-23 2023-02-21 数据生成、算法训练、疾病信息检测方法以及系统和程序

Country Status (3)

Country Link
US (1) US20230267714A1 (zh)
EP (1) EP4235685A1 (zh)
CN (1) CN116645316A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582907B2 (en) 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography
CN110390351B (zh) * 2019-06-24 2020-07-24 浙江大学 一种基于深度学习的致痫灶三维自动定位系统
EP3798971A1 (en) * 2019-09-30 2021-03-31 Siemens Healthcare GmbH Method and data processing system for providing a stroke information

Also Published As

Publication number Publication date
US20230267714A1 (en) 2023-08-24
EP4235685A1 (en) 2023-08-30

Similar Documents

Publication Publication Date Title
Jiang et al. COVID-19 CT image synthesis with a conditional generative adversarial network
Parvaiz et al. Vision transformers in medical computer vision—A contemplative retrospection
Looney et al. Automatic 3D ultrasound segmentation of the first trimester placenta using deep learning
Qiu et al. Automatic segmentation approach to extracting neonatal cerebral ventricles from 3D ultrasound images
Kuang et al. Segmenting hemorrhagic and ischemic infarct simultaneously from follow-up non-contrast CT images in patients with acute ischemic stroke
Mbarki et al. Lumbar spine discs classification based on deep convolutional neural networks using axial view MRI
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
CN115004223A (zh) 用于在医学图像中自动检测解剖结构的方法和系统
EP4004867B1 (en) Method and data processing system for providing a calculated onset time of stroke
Zuluaga et al. Stability, structure and scale: improvements in multi-modal vessel extraction for SEEG trajectory planning
JP2021140769A (ja) 医用情報処理装置、医用情報処理方法及び医用情報処理プログラム
Zhou et al. Interpreting medical images
Feng et al. Identification of Alzheimer's disease based on wavelet transformation energy feature of the structural MRI image and NN classifier
Le Van et al. Detecting lumbar implant and diagnosing scoliosis from vietnamese X-ray imaging using the pre-trained api models and transfer learning
Hess et al. Deep learning for multi-tissue segmentation and fully automatic personalized biomechanical models from BACPAC clinical lumbar spine MRI
Varçin et al. Diagnosis of lumbar spondylolisthesis via convolutional neural networks
Vupputuri et al. MCA-DN: Multi-path convolution leveraged attention deep network for salvageable tissue detection in ischemic stroke from multi-parametric MRI
Dai et al. A one-stage deep learning method for fully automated mesiodens localization on panoramic radiographs
EP4235685A1 (en) Method, system and computer program for detection of a disease information
JP7098498B2 (ja) 疾患領域を判別する判別器の学習装置、方法及びプログラム、疾患領域を判別する判別器、並びに疾患領域判別装置及びプログラム
Płotka et al. BabyNet++: Fetal birth weight prediction using biometry multimodal data acquired less than 24 hours before delivery
Musatian et al. Medical images segmentation operations
Oliveira et al. Automatic segmentation of posterior fossa structures in pediatric brain mris
Kawathekar et al. A Novel Deep Learning Pipeline for Vertebra Labelling and Segmentation of Spinal Computed Tomography Images
Ramos Analysis of medical images to support decision-making in the musculoskeletal field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination