CN114026656A - 针对用于自动病理检测的神经网络的多任务深度学习方法 - Google Patents

针对用于自动病理检测的神经网络的多任务深度学习方法 Download PDF

Info

Publication number
CN114026656A
CN114026656A CN202080047136.1A CN202080047136A CN114026656A CN 114026656 A CN114026656 A CN 114026656A CN 202080047136 A CN202080047136 A CN 202080047136A CN 114026656 A CN114026656 A CN 114026656A
Authority
CN
China
Prior art keywords
image data
data
annotated
image
recognition task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080047136.1A
Other languages
English (en)
Inventor
A·格罗特
A·扎尔巴赫
I·M·巴尔特鲁沙特
J·冯贝格
M·格拉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114026656A publication Critical patent/CN114026656A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10124—Digitally reconstructed radiograph [DRR]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种针对用于自动病理检测的神经网络的多任务深度学习方法，包括以下步骤：接收(S1)用于第一图像识别任务的第一图像数据(I)；接收(S2)用于第二图像识别任务的第二图像数据(V)；其中，所述第一图像数据(I)为第一数据类型，所述第二影像数据(V)为第二数据类型，所述第二数据类型不同于所述第一数据类型；通过对所述第一图像数据(I)进行标注来确定(S3)第一经标注图像数据(IL)，通过对所述第二图像数据(V)进行合成和标注来确定第二合成经标注图像数据(ISL)；基于接收到的第一图像数据(I)、接收到的第二图像数据(V)、所确定的第一经标注图像数据(IL)和所确定的第二经标注合成图像数据(ISL)来训练(S4)所述神经网络；其中，所述第一图像识别任务和所述第二图像识别任务与以下的相同的解剖区域有关，其中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同解剖病理有关。

Description

针对用于自动病理检测的神经网络的多任务深度学习方法
技术领域
本发明涉及一种针对用于病理自动检测的神经网络的多任务深度学习方法、设备、计算机程序和计算机可读介质。
背景技术
在当前的临床实践中，对自动化的需求变得越来越重要，以具有成本效益或让放射科医师从繁琐的日常任务中解脱出来。这些任务中的一项是评估X射线采集。在X射线合成上检测特定疾病可以被认为是一项合理解释任务。目前，基于深度学习方法的神经网络等机器学习算法在不同的应用领域越来越多地用于此类目的。神经网络的训练需要大量带注释的训练数据。他们的成功很大程度上基于该广泛的训练数据库。因此，大多数传统的深度学习方法成功地使用了来自计算机视觉领域的预训练网络。
发明内容
因此可能需要一种针对用于自动病理检测的神经网络的改进的学习方法。
本发明的目标通过独立权利要求的主题得以解决，其中，在从属权利要求中并入了另外的实施例。应当注意，以下描述的本发明的方面同样地应用多任务深度学习方法、设备、计算机程序以及计算机可读介质。
根据一方面，提供了一种针对用于自动病理检测的神经网络的多任务深度学习方法。所述方法包括以下步骤：针对第一图像识别任务接收第一图像数据，针对第二图像识别任务接收第二图像数据，其中，所述第一图像数据为第一数据类型并且所述第二图像数据为第二数据类型，所述第二数据类型不同于所述第一数据类型，通过对所述第一图像数据进行标注来确定第一经标注图像数据，通过对所述第二图像数据进行合成和标注来确定第二经标注合成图像数据，并且基于接收到的第一图像数据、接收到的第二图像数据、所确定的第一经标注图像数据和所确定的第二经标注合成图像数据来训练神经网络，其中，所述第一图像识别任务和所述第二图像识别任务与以下的相同的解剖区域有关，其中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同解剖病理有关。
优选地，所述第一图像数据和所述第二图像数据均从患者的相同区域、尤其是从患者的胸部区域确定。
优选地，所述神经网络通过多任务深度学习算法进行训练。
如本文中所使用的术语“合成”包括用于数据选择、几何变换(包括前向投影)、用于数据的转换的物理模拟和/或深度学习方法与用于调整尺寸和配准的图像处理技术相组合的应用的方法。经由前向投影确定合成图像数据(即用于从CT图像生成数字重建射线照片)，优选地包括射线投射和抛雪球算法技术。具体而言，使用射线投射(RayCasting)沿着从假想X射线源到探测器的路径对CT图像的衰减系数进行积分，以近似X射线图像形成的原理。换言之，将第二数据类型的第二图像数据转换为第一图像数据的第一数据类型，或至少类似的数据类型，其中，第一图像数据和第二图像数据可以相互、特别是同时处理。优选地，各图像数据类型在像素分辨率和/或合成几何形状方面是相似的。
如本文中所使用的术语“多任务深度学习方法”包括允许在该方法的应用期间使用除最终使用的输入数据之外的所有不同类型的输入数据的深度学习方法。通过在相关任务之间共享表示，可以在原始任务上改进模型。多任务深度学习优选地包括硬参数共享或软参数共享。硬参数共享包括在所有任务之间共享中间层，同时保留几个特定于任务的输出层。软参数共享包括调节模型参数之间的距离以收敛参数，其中，对于每个任务，都存在具有自己的参数的自己的模型。
优选地，基于接收到的第一图像数据、接收到的第二图像数据、所确定的第一经标注图像数据和所确定的第二经标注合成图像数据来训练神经网络包括同时在接收到的第一图像数据、接收到的第二图像数据、所确定的第一经标注图像数据和所确定的第二经标注合成图像数据上训练神经网络。
因此，通过合成(特别是前向投影)第二图像数据，合成具有与所述第一图像数据相似的数据类型的图像数据，所述多任务深度学习方法可以同时处理所述第一图像数据和所述第二图像数据。
术语“经标注图像数据”和“标注”也可以称为“注释数据”和“注释”。
用于训练神经网络的标签信息可以从放射科医师根据识别的疾病和临床测量结果获得，例如使用放射学报告和/或分割，特别是半自动分割。因此，标注信息由放射科医师基于提供的第一图像数据和/或第二图像数据手动确定。或者，标注信息是从放射学报告中自动导出的，例如通过使用自然语言处理算法或图像分割算法。在替代实施例中，所述第二图像数据被自动标注。基于那些自动确定的标注，导出经标注合成图像数据的标注信息。换言之，在合成第二图像数据时，将自动确定的第二图像数据的标注信息合成为经标注合成图像数据的标注信息。
如本文中所使用的术语“数据类型”涉及成像模态，例如计算机断层摄影成像和/或磁共振成像，和/或不同的采集协议。
第二图像识别任务也可以描述为辅助图像识别任务，其中，用于生成训练数据的第一图像识别任务与后面应用的图像识别任务相同，并且用于生成训练数据的第二图像识别任务仅类似于后面应用的想象任务。
优选地，第一图像识别任务和第二图像识别任务可以几乎相同，例如胸部病变的检测，然而辅助图像识别任务也可以是特定于模态的，例如在合成图像中不直接可见的界标的精确定位。
例如，如果应该在肺中检测到肺气肿，在X射线图像中，这样的肺气肿是几乎不可检测的。然而，在计算机断层扫描图像中，肺气肿相对容易检测。因此，在计算机断层扫描图像中，可以容易地标注肺气肿。因此，前向投影到X射线图像的图像类型的计算机断层扫描图像可以为机器学习算法提供图像数据中肺气肿的高质量真实情况。
因此，除了必须解决的医学问题的数据的类型之外，模型训练还考虑了不同数据的任务。
因此，可以确定在训练过程中具有更高质量的经标注图像数据。
因此，不仅可以采用不同的数据源，而且还可以针对不同但相关的图像识别任务优化神经网络。
因此，可以改进神经网络的训练数据，并且从而改进用于自动病理检测的神经网络的学习方法。
在一个优选实施例中，所述方法包括以下步骤：通过将第二图像数据合成为第一数据类型和/或第一维度来确定合成的第二图像数据，并通过对合成的第二图像数据进行标注来确定第二经标注合成图像数据。优选地，向前投影包括。
优选地，合成，特别是前向投影，包括选择数据的子集、用于数据的转换的物理模拟和/或深度学习方法的应用，例如循环GAN与用于调整尺寸和配准的图像处理技术相组合。
确定合成图像数据优选地包括从3D图像数据中，尤其是3D计算机断层扫描图像的3D图像数据中，选择单个切片，并通过插值和/或通过人工正向合成来针对2D图像(尤其是2D X射线图像)以正确的尺寸调整它们的尺寸。
对于分类任务，可以直接使用经标注的图像数据，其中，例如，对于检测任务，包括分割，必须合成标注的图像数据。
因此，可以通过不同的模态来确定针对神经网络的训练数据，从而可以改进用于自动病理检测的神经网络的学习方法。
优选地，3D图像数据被前向合成为与2D图像数据的几何配置密切相关的2D合成几何配置，特别是考虑到像素分辨率和/或像素几何结构。
另外，如果第一图像数据的数据的尺寸和第二图像数据的尺寸不相同，则必须在训练之前执行尺寸合成，特别是通过将第二图像数据合成为相同的数据尺寸。
此外，如果第一图像数据在视场、尺寸或分辨率方面的属性与第二图像数据不具有可比性，则必须采用额外的后处理方法，例如重新采样。
因此，可以通过不同的模态来确定针对神经网络的训练数据，从而可以改进用于自动病理检测的神经网络的学习方法。
在一个优选实施例中，所述方法包括以下步骤：通过标注第二图像数据来确定第二经标注图像数据并且通过将第二经标注图像数据合成为第一图像数据的第一数据类型和/或维度来确定第二经标注合成图像数据。
优选地，合成包括选择数据的子集、用于数据的转换的物理模拟和/或深度学习方法的应用，例如循环GAN与用于调整尺寸和配准的图像处理技术相组合。
合成所述第二图像数据包括从3D图像数据中选择单个切片并通过内插和/或通过人工前向合成来将它们调整尺寸为具有正确尺寸的2D图像。
对于分类任务，可以直接使用经标注的图像数据，其中，例如，对于检测任务，包括分割，必须合成标注的图像数据。
因此，可以通过不同的模态来确定针对神经网络的训练数据，从而可以改进用于自动病理检测的神经网络的学习方法。
优选地，3D图像数据被前向合成为与2D图像数据的几何配置密切相关的2D合成几何配置，特别是考虑到像素分辨率和/或像素几何结构。
另外，如果第一图像数据的数据的尺寸和第二图像数据的尺寸不相同，则必须在训练之前执行尺寸合成，特别是通过将第二图像数据合成为相同的数据尺寸。
此外，如果第一图像数据在视场、尺寸或分辨率方面的属性与第二图像数据不具有可比性，则必须采用额外的后处理方法，例如重新采样。
因此，可以通过不同的模态来确定针对神经网络的训练数据，从而可以改进用于自动病理检测的神经网络的学习方法。
在优选的实施例中，第一图像识别任务和/或第二图像识别任务包括分类、定位和/或分割。
优选地，第一图像识别任务和/或第二图像识别任务包括分类、定位、对象检测、语义分割和/或实例分割。术语“分类”涉及给定具有对象的图像，找出对象是什么。换句话说，从一组预定义的类别中将其归类为一个类别。术语“定位”涉及找到对象的位置并在其周围绘制边界框。术语“对象检测”涉及对图像中的所有对象进行分类和检测，以及为每个对象分配类别并在其周围绘制一个边界框。术语“语义分割”涉及根据其上下文将图像中的每个像素归类为一个类，以便将每个像素分配给一个对象。术语“实例分割”涉及将图像中的每个像素分类为一个类，以便将每个像素分配给对象的不同实例。
在优选的实施例中，分类、定位、对象检测和/或分割涉及病理、外来对象和/或解剖区域。
在优选的实施例中，第一数据类型包括2D图像数据并且第二数据类型包括3D图像数据。
优选地，2D图像数据通过X射线方法确定并且3D图像数据通过计算机断层摄影方法生成。
替代地，第一数据类型包括2D X射线成像数据，而第二数据类型包括2D X射线暗场成像数据。再替代地，第一数据类型包括4D动态对比增强磁共振图像MRI数据并且第二数据类型包括3D MRI数据。
因此，可以通过不同的模态来确定针对神经网络的训练数据，从而可以改进用于自动病理检测的神经网络的学习方法。
在优选的实施例中，所述第一图像数据具有第一维度并且所述第二图像数据具有不同于所述第一维度的第二维度。
如本文中所使用术语“维度”涉及图像元素的自由度的数量，例如包括一维、1D、二维、2D、三维、3D、四维、4D等。
在优选的实施例中，所述第一经标注图像数据和所述第二经标注合成图像数据包括病理、异物和/或解剖区域的标识和/或位置。
在优选的实施例中，所述第一图像数据包括X射线图像数据并且所述第二图像数据包括计算机断层摄影图像数据。
优选地，应该在2D图像上，特别是X射线合成上，执行任务，由此神经网络在2D图像上，特别是X射线合成上，以及3D数据上，特别是计算机断层摄影图像数据上，被训练。
在护理周期中，通常使用不同的图像模式。例如，在筛查或紧急情况下，经常使用X射线成像，因为它快速有效并且导致患者的小剂量暴露。相反，计算机断层扫描等图像技术可提供定量的3D信息，可以进行更详细和准确的诊断，但代价是更高的对患者的剂量和成本。同时，它们通常允许更简单的真实情况生成，特别是在正常胸部的情况下，其可以使用亨氏单位值轻松识别。
优选地，X射线图像经受实质变换，特别是下采样到例如224x224像素和/或启发式强度变换。
因此，在使用来自不同来源(例如X射线和计算机断层扫描)的数据进行组合训练时，可以受益于不同图像数据类型的不同数据特征，尤其是具有明确诊断的大体积X射线图像和/或3D定量计算机断层扫描数据，并允许开发更好的诊断解决方案。
因此，计算机断层摄影图像数据被合成为类似X射线的图像数据。
在优选的实施例中，计算机断层摄影图像数据被合成为数字重建射线照片形式的2D图像数据。
在优选的实施例中，病理包括心脏肥大、肺气肿、水肿、疝气、气胸、积液、肿块、纤维化、肺不张、实变、胸膜增厚、结节和肺炎中的一种。
根据另一方面，提供了一种设备，其被配置用于执行如本文中所描述的方法。
根据另一方面，提供了一种计算机程序，其包括使计算机执行如本文中所描述的方法的指令。
根据另一方面，提供了一种其上存储有如本文中所描述的计算机程序的计算机可读介质。
附图说明
现在将参考以下附图来描述本发明的示例性实施例，附图不是按比例的，其中：
图1示出了运行多任务深度学习方法的设备的示意框图；
图2示出了经训练的深度学习模型的应用的示意性框图；并且
图3示出了针对用于病理自动检测的神经网络的多任务深度学习方法流程图。
附图标记列表：
10 设备
20 合成单元
30 标注单元
40 模型训练单元
50 模型应用单元
V 3D体积数据
I 2D图像数据
IS 合成2D图像数据
IL 经标注2D图像数据(第一标注的图像数据)
ISL 经标注合成2D图像数据(第二经标注合成图像数据)
M 模型
S1 接收第一图像数据
S2 接收第二图像数据
S3 确定第一经标注图像数据
S4 训练神经网络
具体实施方式
图1中描述的设备10包括合成单元20、标注单元30和模型训练单元40。向设备10提供2D图像数据I形式的第一图像数据和3D体数据V形式的第二图像数据。3D体数据V是第一图像识别任务的结果，在这种情况下来自对X射线成像中的气胸的检测。2D图像数据I是第二图像识别任务的结果，在这种情况下来自对计算机断层扫描成像中的气胸的检测。第一图像识别任务和第二图像识别任务彼此相关，特别是考虑到现相同解剖区域有关，在所述解剖区域中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同病理有关。
在这种情况下，3D体数据V和2D图像数据I不是相同的图像数据类型。为了相互处理，3D体数据V和2D图像数据I的图像数据类型必须是相同的图像数据类型，或者至少是相似的图像数据类型。优选地，各图像数据类型在像素分辨率和/或合成几何形状方面是相似的。因此，3D体数据V必须被合成为与2D图像数据I的图像数据类型相似的图像数据类型。因此，3D体数据V被提供给合成单元20。合成单元20通过将3D体数据V合成为多个2D图像数据，考虑到像素分辨率和合成几何结构，将3D体数据V合成为与2D图像数据I的图像数据类型接近的图像数据类型。换言之，3D体积数据V的3D体积被切片成2D图像数据的堆叠。在这种情况下，从计算机断层扫描图像合成3D体积数据V称为数字重建射线照片，DDR。因此，3D体数据V被合成为合成2D图像数据IS。合成2D图像数据IPS然后被提供给标注单元30。
在图像识别中，基本上执行两个图像识别任务，即分割和/或分类。分割涉及到对像素的标注的注释，其中，分类涉及对图像的标注的注释。因此，在任何情况下都必须标注所提供的图像数据。因此，标注单元30不仅被提供以合成的2D图像数据IS，而且被提供以2D图像数据I。然后标注单元30标注所提供的图像数据，特别是通过在2D图像数据I上执行第一图像识别任务并且通过对合成图像数据IS执行第二图像识别任务，确定标注二维图像数据IL和标注合成二维图像数据ISL。因此，不同的架构是可能的。第一种架构包括用于X射线分类和计算机断层扫描分类的多任务学习。第二种架构包括用于X射线分割和计算机断层扫描分割的多任务学习。第三种架构包括用于X射线分割和计算机断层扫描分类的多任务学习。第四种架构包括用于X射线分类和计算机断层扫描分割的多任务学习。
然后向模型训练单元40提供所确定的标注二维图像数据IL、标注合成二维图像数据ISL、二维图像数据I和合成二维图像数据IS。模型训练单元40然后基于所提供的确定的标注二维图像数据IL、标注合成二维图像数据ISL、二维图像数据I以及合成的二维图像数据IS，特别通过多任务深度学习方法用神经网络来训练模型M。因此，X射线图像和合成的计算机断层扫描图像用于训练具有共享层的网络架构。在这种情况下，这种方法极大地增加了神经网络的可用训练数据。由于在这种情况下基于提供的3D体数据V和提供的2D图像数据I的训练数据是在相关的图像识别任务中生成的，在这种情况下，考虑到解剖区域和检测同样的病理而相关，增加了训练数据量，其也提高了图像数据注释的准确性。
一般来说，为了利用计算机断层扫描数据和X射线数据联合训练的多任务学习的优势，可以采用硬参数剪切的方法，其中，神经网络的第一层被重用于多个任务。对于此类应用，必须调整计算机断层扫描数据。这可以通过从计算机断层扫描体积中选择单个切片并通过插值调整它们的尺寸或通过人工正向合成为具有正确尺寸的2D图像来实现。替代地，使用软共享方法，每个网络都有自己的参数，这也允许不同的数据类型，同时采用正则化方法以鼓励联合学习。
如图2中所示，经训练的模型M然后可以用于进一步的应用。因此，模型应用单元50具有经训练的模型M。例如，模型应用单元50应该执行的图像识别任务包括在从X射线成像生成的2D图像数据I中检测气胸。因此，2D图像数据I被提供给模型应用单元50。经训练的模型M是在相对较多的训练数据上训练的，因为模型不仅在2D X射线成像中的病理检测训练数据上训练，而且在3D计算机断层扫描成像中身体的相似区域的病理检测的训练数据上训练，这也提高了准确性。因此，模型应用单元50能够通过以改进的方式注释所提供的2D图像数据I来确定标注的2D图像数据IL。
图3示出了针对用于病理自动检测的神经网络的多任务深度学习方法流程图。在第一步骤S1中，接收用于第一图像识别任务的第一图像数据I。在第二步骤S2中，接收用于第二图像识别任务的第二图像数据V，其中，所述第一图像数据I为第一数据类型，所述第二影像数据V为第二数据类型，所述第二数据类型不同于所述第一数据类型。所述第一图像识别任务和所述第二图像识别任务与相同的解剖区域有关，其中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同解剖病理有关。在第三步骤S3中，通过对第一图像数据I进行标注来确定第一经标注图像数据IL，并且通过对第二图像数据V进行合成和标注来确定第二经标注合成图像数据ISL。在第四步骤S4中，基于接收到的第一图像数据I、接收到的第二图像数据V、所确定的第一经标注图像数据IL和所确定的第二经标注合成图像数据ISL来对神经网络进行训练。

Claims (14)

1.一种针对用于自动病理检测的神经网络的多任务深度学习方法，包括以下步骤：
接收(S1)用于第一图像识别任务的第一图像数据(I)；
接收(S2)用于第二图像识别任务的第二图像数据(V)；
其中，所述第一图像数据(I)为第一数据类型，并且所述第二图像数据(V)为第二数据类型，所述第二数据类型不同于所述第一数据类型；
通过对所述第一图像数据(I)进行标注来确定(S3)第一经标注图像数据(IL)，并且通过对所述第二图像数据(V)进行合成和标注来确定第二经标注合成图像数据(ISL)；
基于接收到的第一图像数据(I)、接收到的第二图像数据(V)、所确定的第一经标注图像数据(IL)和所确定的第二经标注合成图像数据(ISL)来训练(S4)所述神经网络；
其中，所述第一图像识别任务和所述第二图像识别任务与相同的解剖区域有关，在所述解剖区域中，相应的图像数据取自要在相应的图像数据中识别的相同病理和/或与要在相应的图像数据中识别的相同病理有关。
2.根据权利要求1中的任一项所述的方法，其中，所述方法包括以下步骤：
通过将所述第二图像数据(V)合成为所述第一数据类型和/或第一维度来确定合成第二图像数据(IS)；并且
通过对所述合成第二图像数据(IS)进行标注来确定所述第二经标注合成图像数据(ISL)。
3.根据权利要求1中的任一项所述的方法，其中，所述方法包括以下步骤：
通过对所述第二图像数据(V)进行标注来确定第二经标注图像数据；并且
通过将所述第二经标注图像数据合成为所述第一图像数据(I)的所述第一数据类型和/或维度来确定所述第二经标注合成图像数据(ISL)。
4.根据权利要求1-3中的任一项所述的方法，其中，
所述第一图像识别任务和/或所述第二图像识别任务包括分类、定位、对象检测和/或分割。
5.根据权利要求4所述的方法，其中，
分类、定位、对象检测和/或分割涉及病理、异物和/或解剖区域。
6.根据前述权利要求中的任一项所述的方法，其中，
所述第一数据类型包括2D图像数据；并且
其中，所述第二数据类型包括3D图像数据。
7.根据前述权利要求中的任一项所述的方法，其中，
所述第一图像数据(I)具有第一维度，并且所述第二图像数据(V)具有第二维度，所述第二维度不同于所述第一维度。
8.根据前述权利要求中的任一项所述的方法，其中，
所述第一经标注图像数据(IL)和所述第二经标注合成图像数据(ISL)包括病理、异物和/或解剖区域的识别和/或位置。
9.根据前述权利要求中的任一项所述的方法，其中，
所述第一图像数据(I)包括X射线图像数据；并且
其中，所述第二图像数据(V)包括计算机断层摄影图像数据。
10.根据权利要求9所述的方法，其中，
所述计算机断层摄影图像数据被合成为数字重建射线照片形式的2D图像数据。
11.根据前述权利要求中的任一项所述的方法，其中，
所述病理包括心脏肥大、肺气肿、水肿、疝气、气胸、积液、肿块、纤维化、肺不张、实变、胸膜增厚、结节和肺炎中的一种。
12.一种被配置用于执行根据权利要求1至11中的任一项所述的方法的设备(10)。
13.一种包括使计算机执行根据权利要求1至11中的任一项所述的方法的指令的计算机程序。
14.一种具有存储于其上的根据权利要求13所述的计算机程序的计算机可读介质。
CN202080047136.1A 2019-06-27 2020-06-25 针对用于自动病理检测的神经网络的多任务深度学习方法 Pending CN114026656A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19183052.0 2019-06-27
EP19183052.0A EP3757888A1 (en) 2019-06-27 2019-06-27 Multi-task deep learning method for a neural network for automatic pathology detection
PCT/EP2020/067821 WO2020260459A1 (en) 2019-06-27 2020-06-25 Multi-task deep learning method for a neural network for automatic pathology detection

Publications (1)

Publication Number Publication Date
CN114026656A true CN114026656A (zh) 2022-02-08

Family

ID=67137538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080047136.1A Pending CN114026656A (zh) 2019-06-27 2020-06-25 针对用于自动病理检测的神经网络的多任务深度学习方法

Country Status (4)

Country Link
US (1) US20220319160A1 (zh)
EP (2) EP3757888A1 (zh)
CN (1) CN114026656A (zh)
WO (1) WO2020260459A1 (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579160A1 (en) * 2017-02-03 2019-12-11 Panasonic Intellectual Property Management Co., Ltd. Learned model generating method, learned model generating device, and learned model use device
WO2018142765A1 (ja) * 2017-02-03 2018-08-09 パナソニックＩｐマネジメント株式会社 学習済みモデル提供方法および学習済みモデル提供装置
US10867217B1 (en) * 2017-09-01 2020-12-15 Objectvideo Labs, Llc Fusion of visual and non-visual information for training deep learning models
US11676006B2 (en) * 2019-04-16 2023-06-13 Microsoft Technology Licensing, Llc Universal acoustic modeling using neural mixture models
US10691980B1 (en) * 2019-04-18 2020-06-23 Siemens Healthcare Gmbh Multi-task learning for chest X-ray abnormality classification
WO2021006404A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 인공지능 서버
KR20210009596A (ko) * 2019-07-17 2021-01-27 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스
KR20190104488A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 인공 지능을 이용하여, 오브젝트의 이동을 관리하는 인공 지능 로봇 및 그의 동작 방법
KR20190106874A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 인공 지능을 통해 구속 상황을 인식하는 로봇 청소기 및 그의 동작 방법
TWI738131B (zh) * 2019-11-28 2021-09-01 財團法人資訊工業策進會 影像系統及檢測方法
US11423228B2 (en) * 2020-04-09 2022-08-23 Robert Bosch Gmbh Weakly supervised semantic entity recognition using general and target domain knowledge
US11514605B2 (en) * 2020-09-29 2022-11-29 International Business Machines Corporation Computer automated interactive activity recognition based on keypoint detection

Also Published As

Publication number Publication date
US20220319160A1 (en) 2022-10-06
EP3991093A1 (en) 2022-05-04
WO2020260459A1 (en) 2020-12-30
EP3757888A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
CN110047056B (zh) 用深度图像到图像网络和对抗网络的跨域图像分析和合成
US10489907B2 (en) Artifact identification and/or correction for medical imaging
JP6145178B2 (ja) 医療画像の位置合わせ
CN104346821B (zh) 用于医学成像的自动规划
EP3355273B1 (en) Coarse orientation detection in image data
US9684961B2 (en) Scan region determining apparatus
JP6007102B2 (ja) 画像情報に基づいた構造の輪郭の決定
US9741131B2 (en) Anatomy aware articulated registration for image segmentation
US20120256920A1 (en) System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment
US10803354B2 (en) Cross-modality image synthesis
JP7467348B2 (ja) 医用画像データの表示
CN110400617A (zh) 医学成像中的成像和报告的结合
US20180064409A1 (en) Simultaneously displaying medical images
KR102537214B1 (ko) 자기 공명 이미지들에서 정중시상 평면을 결정하기 위한 방법 및 장치
EP3424017A1 (en) Automatic detection of an artifact in patient image data
Bendtsen et al. X‐Ray Computed Tomography: Semiautomated Volumetric Analysis of Late‐Stage Lung Tumors as a Basis for Response Assessments
CN114972729A (zh) 用于医学图像分析的标注高效学习的方法和系统
US11423554B2 (en) Registering a two-dimensional image with a three-dimensional image
JP2023516651A (ja) 訓練データにおける欠落したアノテーションに対処するためのクラス別損失関数
Lee et al. Automatic left and right lung separation using free-formed surface fitting on volumetric CT
CN114026656A (zh) 针对用于自动病理检测的神经网络的多任务深度学习方法
WO2021150889A1 (en) Weakly supervised lesion segmentation
US11776154B2 (en) Method and device for medical imaging for representing a 3D volume containing at least one introduced foreign object
EP4336452A1 (en) Computer-implemented method for processing spectral computed tomography (spectral ct) data, computer program and spectral ct system
Amor Bone segmentation and extrapolation in Cone-Beam Computed Tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination