CN106339571B - 用于分类医学图像数据组的人工神经网络 - Google Patents

用于分类医学图像数据组的人工神经网络 Download PDF

Info

Publication number
CN106339571B
CN106339571B CN201610506686.0A CN201610506686A CN106339571B CN 106339571 B CN106339571 B CN 106339571B CN 201610506686 A CN201610506686 A CN 201610506686A CN 106339571 B CN106339571 B CN 106339571B
Authority
CN
China
Prior art keywords
image data
medical
medical image
neural network
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610506686.0A
Other languages
English (en)
Other versions
CN106339571A (zh
Inventor
B.施魏策尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN106339571A publication Critical patent/CN106339571A/zh
Application granted granted Critical
Publication of CN106339571B publication Critical patent/CN106339571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于给医学图像数据组分配元数据条目的方法、一种用于执行用于给医学图像数据组分配元数据条目的方法的第一计算单元、一种用于提供训练后的人工神经网络的方法和用于执行用于提供训练后的人工神经网络的方法的第二计算单元。

Description

用于分类医学图像数据组的人工神经网络
技术领域
本发明涉及一种用于给医学图像数据组分配元数据条目的方法、一种用于执行用于给医学图像数据组分配元数据条目的方法的第一计算单元、一种用于提供训练后的人工神经网络的方法和用于执行用于提供训练后的人工神经网络的方法的第二计算单元。
背景技术
医学成像设备，例如磁共振设备、单光子发射断层成像设备(SPECT设备)、正电子发射断层成像设备(PET设备)、计算机断层成像设备、超声波设备、X射线设备、C形臂设备；或包括由多个提到的成像模态组成的任意组合的、组合的医学成像设备适用于产生医学图像数据组。
医学成像设备在此典型地产生大量医学图像数据组。例如在诊所中，该医学图像数据组的有效管理和/或有效处理提出对于识别和/或分类该医学图像数据组的要求。
用于分类医学图像数据组的已知的可能性包括分析分配给医学图像数据组的元信息。分配给医学图像数据组的元信息典型地包括至少一个元数据类别，其中给至少一个元数据类别的每个元数据类别分配表征医学图像数据的特征的多个元数据条目。
一方面，已经给医学图像数据组分配元信息并且将其存储在DICOM头文件中和/或以医学图像数据组的系列名称的部分字符串的形式存储。但是根据在DICOM头文件中和/或在系列名称中存在的元信息进行的医学图像数据组的分类在许多实际情况中具有限制。例如按照医学图像数据组的系列名称查找解剖信息典型地取决于诊所的命名习惯和/或方言和/或所使用的扫描器类型并且因此通常是不可靠的。同样，在一些情况下从医学图像数据组的DICOM头文件中读出元信息可能是不可靠的，因为例如一些条目没有填入DICOM头文件和/或使用取决于制造商和/或版本的、所谓的私人DICOM标签。
发明内容
因此，本发明要解决的技术问题是，实现改善地给医学图像数据组分配元数据条目或人工神经网络的改善的训练。上述技术问题通过独立权利要求的特征来解决。优选的实施在从属权利要求中描述。
按照本发明的用于给医学图像数据组分配元数据条目的方法包括以下方法步骤:
-规定元数据类别，该元数据类别包括表征医学图像数据的特征的多个元数据条目，
-提供训练后的人工神经网络，
-采集待分类的医学图像数据组，和
-在根据医学图像数据组的图像内容应用训练后的人工神经网络的条件下对医学图像数据组进行分类，其中医学图像数据组的分类包括，关于元数据类别给医学图像数据组分配多个元数据条目中的一个元数据条目。
编组为元数据类别的多个元数据条目尤其构成元信息，也称为元数据，其包含关于医学图像数据组的特征的信息。元数据类别相应地构成上级设置的结构，给其分配多个元数据条目。虽然典型地可以始终关于元数据类别来分类医学图像数据组，但是通常是多个元数据条目的仅一个元数据条目，有时是多个元数据条目的多于一个元数据条目合适地表征医学图像数据组的特征。关于元数据类别这样分类医学图像数据组，使得给医学图像数据组分配属于元数据类别的多个元数据条目中的至少一个元数据条目。相应地，元数据条目尤其表示医学图像数据组能够被归类于其的类型。例如按照以下段落中的一个提供具有所属的元数据条目的可能的元数据类别。
为了解释，仅提到一个可能的示例：示例性地选择取向作为元数据类别，在该取向上关于检查对象拍摄医学图像数据组。元数据类别“取向”在此具有三个元数据条目：轴向、冠状和径向。医学图像数据组关于元数据类别“取向”的分类于是得到三个元数据条目(也就是轴向、冠状和径向)中的一个分配给医学图像数据组。该考虑基于如下事实，即，典型地利用三个可能的取向中的仅一个单独的取向来拍摄医学图像数据组。
人工神经网络(KNN，英文artificial neural network–ANN)特别地是在计算程序中模拟的、由人工神经元组成的网络。人工神经网络在此典型地基于多个人工神经元的连网。人工神经元在此典型地布置在不同的层(layers)上。通常地，人工神经网络包括输入层和输出层(output layer)，其神经元输出是人工神经网络中唯一可见的。处于输入层和输出层之间的层典型地被称为隐藏层(hidden layer)。典型地，首先初始化人工神经网络的架构和/或拓扑结构并且然后在训练阶段对于特殊的任务或在训练阶段对于多个任务进行训练。人工神经网络的训练在此典型地包括改变人工神经网络的两个人工神经元之间的连接的权重。人工神经网络的训练还可以包括发展人工神经元之间的新的连接；删除人工神经元之间的存在的连接；调整人工神经元的阈值和/或添加或删除人工神经元。两个不同的训练后的人工神经网络由此可以执行不同的任务，尽管它们例如具有相同的架构和/或拓扑结构。
对于人工神经网络的一个示例是浅人工神经网络(shallow neural network)，其通常包括在输入层和输出层之间的仅一个隐藏层并且由此能够相对简单地训练。另外的示例是深度人工神经网络(deep neural network)，其在输入层和输出层之间包括人工神经元的多个(例如直至十个)嵌套的隐藏层。深度人工神经网络在此能够实现模式和复杂关系的改善的识别。此外，可以对于分类任务选择卷积深度人工神经网络(convolutional deepneural network)，其附加地使用卷积滤波器，例如边缘滤波器。
现在提出，对于医学图像数据组的分类选择这样的训练后的人工神经网络，使得能够实现关于元数据类别给医学图像数据组分配元数据条目。训练后的人工神经网络在此可以针于特殊的训练任务来训练，例如仅适用于医学图像数据组关于单个的元数据类别的分类。由此在实践中典型地并排使用不同的人工神经网络，其进行按照不同的元数据类别的分类。但是训练后的人工神经网络可能地也可以同时进行关于不同的元数据类别的分类。在本方法中，特别地对于医学图像数据组的分类提供已经训练后的人工神经网络。在此可以借助多个医学训练图像数据组进行人工神经网络的训练。用于训练人工神经网络的不同的可能性在以下段落中描述。优选地，可以借助在以下段落中描述的按照本发明的用于提供训练后的人工神经网络的方法来训练人工神经网络。
待分类的医学图像数据组的采集可以包括借助医学成像设备拍摄待分类的医学图像数据组或从数据库中加载待分类的医学图像数据组。还没有特别地关于元数据类别给待分类的医学图像数据组分配任何元数据条目和/或分配可能错误的元数据条目。待分类的医学图像数据组具有图像内容，其尤其包括强度值的二维的、三维的或四维的(在时间序列检查的情况下)矩阵，所述强度值例如表示检查对象的解剖结构。最后可以特别地提供在分类的情况下给医学图像数据组分配的元数据条目，也就是在输出单元上输出和/或存储在数据库中，特别是作为用于医学图像数据组的元信息，例如在医学图像数据组的DICOM头文件中。
特别地仅基于医学图像数据组的图像内容进行医学图像数据组的分类。由此，医学图像数据组的分类可以优选地独立于可能已经分配给医学图像数据组的元信息进行。医学图像数据组的图像内容由此可以作为输入信息被存储到训练后的人工神经网络中。人工神经网络然后可以将分派给元数据类别的多个元数据条目中的至少一个元数据条目分配给医学图像数据组，作为输出，特别是作为输出层的人工神经元的输出。该过程基于如下考虑，即，通常可以从医学图像数据组的图像内容中读出关于医学图像数据组的元信息。由此对于人的观察者仅根据医学图像数据组的图像内容就可以确定，利用哪个成像模态和/或在哪个取向上拍摄了医学图像数据组、对哪个身体区域成像医学图像数据组或医学图像数据组的图像内容是否具有伪影，从而相应训练后的人工神经网络同样可以仅基于医学图像数据组的图像内容提取这些信息。
借助所提出的方法可以在使用训练后的人工神经网络的条件下以相对一般性的方案进行医学图像数据组的分类。在此可以最优地利用人工神经网络的能力来提取医学图像数据组的图像内容。特别地，不需要使用特定针对应用情况的算法，例如适用于关于元数据类别的分类而设计的特征探测器。而是仅需对于分类提供特别是具有合适的图像示例的、训练后的人工神经网络。借助所提出的过程可以特别简单地借助训练后的人工神经网络自动地给该医学图像数据组或给多个医学图像数据组建立元信息的词典。
医学图像数据组的分类可以被用于各种各样的应用情况，在以下段落中的一个中对其进行更详细地介绍。这样的应用情况的示例是：
-依据医学图像数据组的图像类型和/或受检的身体区域开始自动的预处理步骤，
-在医学图像数据组的后处理中自动地布置图像系列，
-识别医学图像数据组中的伪影，
-建立使用统计，可能地全面地关于医学成像设备的不同模型建立使用统计，
-给服务人员输出提示，可能地触发远程服务动作，等。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，从以下列表中选择元数据类别：在医学图像数据组中被成像的身体区域、医学图像数据组的取向、用以拍摄医学图像数据组的成像模态、用以拍摄医学图像数据组的协议类型、在医学图像数据组中出现的图像干扰的类型。元数据类别“身体区域”在此可以包括检查对象的不同的身体区域作为示例性的元数据条目。由此，对于元数据类别“身体区域”的可考虑的元数据条目是头部区域、胸部区域、腹部区域、腿部区域等。元数据类别“取向”特别地包括元数据条目“轴向”、“冠状”和“径向”。元数据类别“成像模态”可以包括不同的医学成像模态作为元数据条目，例如磁共振成像、计算机断层成像、PET成像等。元数据类别“协议类型”可以包括可以用以拍摄医学图像数据组的、不同的可能的协议。在此，可能的协议(特别是在磁共振成像的范围内)是自旋回波协议、梯度回波协议等。由此可以在磁共振成像的情况下关于用于拍摄医学图像数据组的序列类型进行分类。元数据类别“图像干扰”在此作为第一元数据条目可以包括，在医学图像数据组中不存在图像干扰。元数据类别“图像干扰”的可考虑的第二元数据条目在此是，在医学图像数据组中存在图像干扰。还可以考虑，具体地在医学图像数据组中出现的图像干扰(例如金属伪影、剪臂等)形成单独的元数据条目。包括提到的元数据条目的提到的元数据类别表示怎样能够特别有说服力地分类医学图像数据组的有利的可能性。当然还可以考虑其它元数据类别，关于其能够借助人工神经网络进行医学图像数据组的分类。还可以考虑，提到的元数据类别还包括另外的可能的元数据条目。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，根据分配给医学图像数据组的元数据条目在显示单元的显示界面上显示医学图像数据组。由此可以自动地进行医学图像数据组的在分配给医学图像数据组的元数据条目上最优的显示。例如可以借助人工神经网络来识别医学图像数据组的取向并且根据所识别的取向进行医学图像数据组的显示。恰好在其中对于一个单个的检查对象存在大数量的拍摄的医学图像数据组的磁共振成像的情况下，借助人工神经网络的自动分类可以实现医学图像数据组的最优的显示。人工神经网络在磁共振成像的情况下例如可以自动地识别医学图像数据组的取向和/或在成像时的造影剂的存在，并且然后与此一致地在显示单元上显示医学图像数据组。在此主要提供在多个显示片段中的显示，其在以下段落中被更详细的描述。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，显示界面包括多个显示片段，其中根据分配给医学图像数据组的元数据条目选择多个显示片段中的一个显示片段，并且在所选择的显示片段中显示医学图像数据组。当应当在显示界面上显示给其分配了不同元数据条目的多个医学图像数据组时，该过程尤其是具有优势的。显示片段在此可以表示显示界面中的窗口。对于显示片段可以规定元数据条目，从而在显示片段中仅显示给其分配了各自的元数据条目的这样的医学图像数据组。由此，显示界面的配置是可能的，所述配置特别是对于不同的检查对象能够实现医学图像数据组的标准化的显示。通过这种方式，相同的显示片段总是能够以相同的图像信息来填充。以合适的医学图像数据组填充显示片段可以借助提出的过程优选独立于系列名称和/或医学图像数据组的DICOM头文件中的元信息进行。为此，在显示界面上显示之前借助训练后的人工神经网络仅根据其图像信息来分析和分类医学图像数据组并且然后根据分配的元数据条目在合适的显示片段中将其显示。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，显示界面包括用于使用者的输入区，其中根据使用者在输入区中的用户输入和用户输入与分配给医学图像数据组的元数据条目的比较，在显示界面上显示医学图像数据组。用户输入例如可以是文本输入并且输入区可以构造为文本输入区。由此可以将使用者的文本输入与给元数据条目分派的文本字符串相比较。替换地，用户输入还可以包括从选择菜单中选择元数据条目。由此，使用者可以特别简单地借助其输入来选择用于在显示界面上显示的医学图像数据组。特别地，还可以按照使用者的期望主观地以合适的医学图像数据组填充在上一段中描述的显示片段。使用者由此可以特别简单地规定，在显示界面的哪个显示片段中应当显示特定类型的医学图像数据组。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，借助训练后的人工神经网络对多个医学图像数据组进行分类，其中给多个医学图像数据组分别分配多个元数据条目中的至少一个元数据条目，其中根据分配给医学图像数据组的元数据条目进行多个医学图像数据组的统计分析。在此特别有利的是分析多个元数据条目的特定元数据条目的分配频度，如在以下段落上还要详细描述的那样。例如可以借助提出的过程对于不同的问题自动地仅根据其图像内容分析多个医学图像数据组。借助人工神经网络可以特别简单和/或稳健地进行能够实现元数据条目的统计分析的这样的分类。由此可以特别简单地向放射科医生和/或诊所管理者给出关于医学成像设备的被使用情况的有价值的提示和/或达到的质量标准。对于分析所需的新的分类问题也可以在特定诊所中通过以足够图像材料的训练来解决。特别有利地可以取消对于每个新的分类问题的专用算法的开发。在诊所当前的技术架构中实施人工神经网络可以提供对于新的分类要求的灵活的解决方案。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，在对多个医学图像数据组进行分类的情况下给多个医学图像数据组的具有第一数量的第一医学图像数据组的第一集合分配第一元数据条目并且给多个医学图像数据组的具有第二数量的第二医学图像数据组的第二集合分配第二元数据条目，其中统计分析包括比较第一数量与第二数量。由此可以借助所进行的分类特别简单地进行医学图像数据组的两个不同类别的比较。作为可能的示例性的分析可以考虑，将成年患者的拍摄频度与儿童患者的拍摄频度相比较。为此将从成人患者采集的第一数量的第一医学图像数据组与从儿童患者采集的第二数量的第二医学图像数据组相比较。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，元数据类别包括出现特定类型的图像干扰，其中第一元数据条目表示在医学图像数据组中出现特定类型的图像干扰并且第二元数据条目表示在医学图像数据组中缺少特定类型的图像干扰，其中根据第一数量与第二数量的比较产生对于使用者的输出信息。由此可以产生特别有说服力的信息，在医学图像数据组中多频繁地出现特定类型的图像干扰，也称为伪影。例如可以由此确定拍摄的频度，在该拍摄上检查对象以剪臂出现。作为另外的可能的示例，可以确定医学图像数据组的频度，该医学图像数据组具有不均匀的信号强度，特别是不均匀的磁共振信号强度。还可以特别有利地分析在医学图像数据组中出现运动伪影、金属伪影的频度。当然还可以考虑能够利用这种方式分析的、另外的类型的图像干扰。应用人工神经网络以识别图像干扰在此是特别具有优势的，因为关于图像干扰的信息通常不是通过已经分配给医学图像数据组的元信息，例如不是在DICOM头文件中和/或在系列名称中，被编码。当第一数量与第二数量的比较值超过特定阈值时，则特别地产生对于使用者的输出信息。因为提高地出现伪影可以表明医学成像设备的次优的操作和/或表明医学成像设备的组件的技术上的变差或缺陷，以下列出的给使用者的输出信息是特别具有优势的：提示使用者使用另外的拍摄协议；提示应用专家在客户方面训练是有意义的；提示销售在客户方面通过可选的附加包可以避免伪影；提示服务必要时利用自动转换最杰出的图像示例来调整图像质量的变差。可以根据图像干扰的频度、原因和消除可能性来选择合适的输出信息。当然还可以考虑另外的输出信息。
用于给医学图像数据组分配元数据条目的方法的一种实施方式在于，根据按照本发明的、用于提供训练后的人工神经网络的方法提供训练后的人工神经网络。由此可以特别有利地对于分类任务提供训练后的人工神经网络。
按照本发明的、用于给医学图像数据组分配元数据条目的第一计算单元包括规定单元、提供单元、采集单元和分类单元，其中第一计算单元被构造为用于执行按照本发明的用于给医学图像数据组分配元数据条目的方法。
在此，规定单元被构造为用于规定元数据类别，其包括表征医学图像数据的特征的多个元数据条目。提供单元被构造为用于提供训练后的人工神经网络。采集单元被构造为用于采集待分类的医学图像数据组。分类单元被构造为用于在根据医学图像数据组的图像内容应用训练后的人工神经网络条件下对医学图像数据组进行分类，其中医学图像数据组的分类包括，关于元数据类别给医学图像数据组分配多个元数据条目中的一个元数据条目。
按照本发明的第一计算单元的优点基本上相应于之前详细描述的、按照本发明的用于给医学图像数据组分配元数据条目的方法的优点。在此提到的特征、优点或替换的实施方式同样也可以转用到其它要求保护的主题并且反之亦然。换言之，具体的权利要求还可以以结合方法描述或要求保护的特征来扩展。方法的相应的功能性特征在此通过相应的具体的模块，特别是通过硬件模块来构造。
按照本发明的用于提供训练后的人工神经网络的方法包括以下方法步骤：
-规定元数据类别，其包括表征医学图像数据的特征的多个元数据条目，
-提供多个医学训练图像数据组，
-关于元数据类别给多个医学训练图像数据组分配元数据条目，
-在使用多个医学训练图像数据组的图像内容和分配给多个医学训练图像数据组的元数据条目的条件下训练人工神经网络，其中训练后的人工神经网络能够实现给医学图像数据组分配元数据条目，
-对于医学图像数据组的分类提供训练后的人工神经网络。
也就是，分别关于元数据类别分配了所属的元数据条目的多个医学训练图像数据组的图像内容对于人工神经网络的训练是关键的。医学训练图像数据组在此可以由已经借助(可能来自于不同制造商的)医学成像设备拍摄的医学图像数据组构成。特别地，给多个医学训练图像数据组分配元数据条目手动地或半自动地进行，优选地如在以下段落中描述的那样。给多个医学训练图像数据组分配元数据条目在此例如可以由医学成像设备和/或分类软件的制造商或由诊所中的人员进行。
在给多个医学训练图像数据组分配元数据条目之后多个医学训练图像数据组表示所谓的有标签的医学训练图像数据组。有标签在此意味着，给每个医学训练图像数据组提供预计的分类，也就是关于元数据类别属于医学训练图像数据组的元数据条目，作为标签。
优选地借助反向传播算法(Backpropagation)进行人工神经网络的训练。这尤其意味着，将多个医学训练图像数据组的图像内容作为输入数据馈入到待训练的人工神经网络中。然后在训练期间将待训练的人工神经网络的输出与分配给多个医学图像数据组的元数据条目(标签)相比较。由此特别地，人工神经网络的训练包括这样改变待训练的人工神经网络的网络参数，使得待训练的人工神经网络的输出更接近分配给多个医学图像数据组的元数据条目。由此优选地这样训练人工神经网络，使得给多个医学图像数据组的图像内容分配合适的标签。虽然反向传播算法是用于训练人工神经网络的最重要的训练算法，但是也可以使用另外的、专业人员公知的算法来训练人工神经网络。例如另外的可能的算法是进化算法、“模拟退火法”、“期望最大化”算法(EM-Algorithmen)、非参数算法(non-parametric methods)、粒子群算法(PSO)等。
人工神经网络的训练可以完全在医学成像设备和/或分类软件的制造商处进行。替换地还可以考虑，在医学成像设备和/或分类软件的制造商处提供预训练(Vor-Training)和一次性地或多次地在诊所中提供后训练(Nach-Training)，以便特定于诊所的要求地更稳健地制定相应的图像分类。同样可以考虑，已经训练后的人工神经网络可以通过输送新的加权矩阵而重新设计用于另外的分类任务。还可以考虑，按照多个迭代进行人工神经网络的训练。由此可以在多个步骤中交替地进行给多个医学训练图像数据组分配元数据条目和训练人工神经网络。由此例如可以在对医学图像数据组进行分类的情况下借助训练后的人工神经网络改善选择性。
然后可以在在上述段落中描述的、按照本发明的给医学图像数据组分配元数据条目的方法中采用这样训练后的人工神经网络。由此人工神经网络的所描述的训练能够实现医学图像数据组的随后特别有利的分类，在该医学图像数据组中所属的元数据条目还没有预先已知。
用于提供训练后的人工神经网络的方法的一种实施在于，人工神经网络的训练包括人工神经网络的网络参数的这样的变化，即，在根据多个医学训练图像数据组的图像内容应用训练后的人工神经网络的情况下，人工神经网络将分配给多个医学训练图像数据组的元数据条目分派给多个医学训练图像数据组。在此描述的反向传播算法的过程在此提供了对于人工神经网络的训练的特别有利的可能性。由此也可以灵活地对于不同的分类任务依据所提供的医学训练图像数据组和所分配的元数据条目来训练人工神经网络。
用于提供训练后的人工神经网络的方法的一种实施在于，在提供训练后的人工神经网络之前检查训练后的人工神经网络的有效性，其中对于人工神经网络的有效性的检查，对于一部分医学训练图像数据组借助训练后的人工神经网络确定元数据条目并且将由此确定的元数据条目与分配给该部分医学训练图像数据组的元数据条目相比较。通过该检查可以确保，训练后的人工神经网络适用于医学图像数据组的分类，在该医学图像数据组中实际的元数据条目是提前未知的。
用于提供训练后的人工神经网络的方法的一种实施在于，在对人工神经网络进行训练时排除该部分医学图像数据组。借助该过程可以实现对有效性的检查的改善，因为用于训练的医学训练图像数据组本身不被用于检查。由此可以特别有利地避免有效性的检查的错误。
用于提供训练后的人工神经网络的方法的一种实施在于，人工神经网络的训练包括第一训练步骤和第二训练步骤，其中在第一训练步骤期间仅基于多个医学训练图像数据组的图像内容借助无监督学习来训练人工神经网络并且在第二训练步骤期间在使用分配给多个医学训练图像数据组的元数据条目的条件下对在第一训练步骤中执行的人工神经网络的训练进行微调。无监督学习(unsupervised learning)特别地是机器学习的特定形式，其中(通常在没有从外部另外预先给定的情况下)计算系统试图确定在非结构化的数据中的结构。借助无监督学习尤其可以在不使用分配给多个医学训练图像数据组的元数据条目的条件下在第一训练步骤中训练人工神经网络。人工神经网络可以在该第一训练步骤中从其本身中(无需外部过程地)识别在多个医学训练图像数据组中的结构。在第二训练步骤中然后可以以相应的元数据条目填充在第一训练步骤中确定的结构。因为在训练步骤中借助无监督学习进行预训练，所以对于第二训练步骤可以尽可能小地选择医学训练图像数据组的数据库。两步过程由此可以表示用于训练人工神经网络的高效可能性。
因为在使用分配给多个医学训练图像数据组的元数据条目的条件下进行人工神经网络的训练，所以必须给医学训练图像数据组分配元数据条目。在此例如可以访问已经存在的医学训练图像数据组的数据库。但是对于许多分类任务来说需要构建训练数据库，该训练数据库包括医学训练图像数据组和所分配的元数据条目。还可以借助用户输入来给多个医学训练图像数据组分配元数据条目。但是恰好在大数量的医学训练图像数据组的情况下，该过程可以是极其花费时间的。替换地，可以借助从医学训练图像数据组的DICOM头文件中提取元数据条目来给多个医学训练图像数据组分配元数据条目。该过程对于训练后的人工神经网络的测试是特别具有优势的。在以下段落中现在应当描述不同的特别有利的、特别是半自动的、用于给医学训练图像数据组分配合适的元数据条目的可能性。在此可以彼此独立地或组合地采用该可能性。当然还可以考虑另外的对于专业人员来说合理的、用于构建训练数据库的措施。
用于提供训练后的人工神经网络的方法的一种实施在于，给多个医学训练图像数据组分配元数据条目包括预处理步骤，在该预处理步骤中借助无监督学习处理多个医学训练图像数据组。借助无监督学习应当在预处理步骤中识别在多个医学训练图像数据组中、特别是在多个医学训练图像数据组的图像内容中的典型的结构。在预处理步骤中无监督学习可以作为数据挖掘技术(Data-Mining Technologie)对给多个医学训练图像数据组分配元数据条目进行特别有效的辅助。特别地，预处理步骤可以作为通过使用者手动地分配元数据条目的准备，如在以下段落中更详细描述的那样。由此借助采用无监督学习在给多个医学训练图像数据组分配元数据条目时可以特别有利地辅助使用者。
用于提供训练后的人工神经网络的方法的一种实施在于，无监督学习包括采用自组织映射(SOM)方法和/或t随机近邻嵌入(t-SNE)方法。自组织映射方法特别地是用于在低维度中以图(Map)的形式示出数据特性。图由此表示输入数据的(特别是矩形的)抽象示图并且可以提供关于输入数据中的结构的概况。自组织映射方法在此可以作为无监督学习法对较大的未分类的数据集合工作。t随机近邻嵌入方法同样表示现代聚类法，其将高维度的数据集合转换为低维度的集群图像(Karten)。t随机近邻嵌入方法也可以根据数据集合中的结构进行数据集合的聚类。自组织映射方法和t随机近邻嵌入方法在此对于专业人员是公知的，从而在此不详细介绍其功能。自组织映射方法和t随机近邻嵌入方法在此表示特别优选的数据挖掘技术，其在预处理步骤中可以处理大量医学训练图像数据组。在t随机近邻嵌入方法的情况下可以采用另外的投影方向，例如在2D之后的3D图，以便提高该方法的选择性。特别地，提供的方法可以特别有利地对于由使用者手动地分配元数据条目而准备多个医学训练图像数据组，如在以下段落中的一个还要详细描述的那样。
用于提供训练后的人工神经网络的方法的一种实施在于，以图的形式向使用者显示在预处理步骤中预处理的医学训练图像数据组，其中使用者借助与图的交互来给多个医学训练图像数据组分配元数据条目。图尤其包括多个医学训练图像数据组的绘画的和/或抽象的显示。在图上优选地按照在预处理步骤中借助无监督学习进行的预处理成组地显示多个医学训练图像数据组。在此，图可以构造为二维或三维。优选地在图形的用户界面上向使用者示出图。使用者优选地可以借助辅助工具仔细考察所显示的图，例如以便获得各个医学训练图像数据组的放大显示。由此例如可以考虑数据光标，从而使用者可以借助点击图上的点来在单独的窗口中观察相关的医学训练图像数据组。在图上由此可以特别清楚地向使用者显示借助无监督学习识别的、在多个医学训练图像数据组的图像内容中的结构。然后在图上，如在以下段落中详细描述的那样，使用者可以特别有效地给多个医学训练图像数据组分派元数据条目。在此特别有利的，在上述段落中描述的方法被用于预处理多个医学训练图像数据组用于按照图的形式显示。也就是，自组织映射方法和t随机近邻嵌入方法可以包括上述的图作为结果。
用于提供训练后的人工神经网络的方法的一种实施在于，使用者借助图形的分割工具在所显示的图上给多个医学训练图像数据组分配元数据条目。特别有利的过程在此是，使用者借助图形的分割工具在图上标出具有尤其应当给其分配相同的元数据条目的、相关联的医学训练图像数据组的区域。在此，对于用户交互可以考虑不同类型的分割工具，例如Lasso工具。然后可以给所有处于所选择的区域中的医学训练图像数据组分配期望的元数据条目。由此可以对于人工神经网络的训练同时特别有效地预处理多个医学训练图像数据组。
还可以考虑，通过对方法进行检查，自组织映射方法直接进行给多个医学训练图像数据组分配元数据条目。为此可以给自组织映射的输入层施加医学训练图像数据组并且在输出层中确定具有最高激活的节点，也就是计算，医学训练图像数据组在图中的哪处分类。如果该节点处于图的、分派了特定的元数据条目的区域内，则可以自动地给医学训练图像数据组分配相应的元数据条目。
按照本发明的用于提供训练后的人工神经网络的第二计算单元包括规定单元、第一提供单元、分配单元、训练单元和第二提供单元，其中第二计算单元被构造为用于执行按照本发明的用于提供训练后的人工神经网络的方法。
在此，规定单元被构造为用于规定元数据类别，其包括表征医学图像数据的特征的多个元数据条目。第一提供单元被构造为用于提供多个医学训练图像数据组。分配单元被构造为关于元数据类别给多个医学训练图像数据组分配元数据条目。训练单元被构造为用于在使用多个医学训练图像数据组的图像内容和分配给医学训练图像数据组的元数据条目的条件下训练人工神经网络，其中训练后的人工神经网络能够实现给医学图像数据组分配元数据条目。第二提供单元被构造为用于对于医学图像数据组的分类提供训练后的人工神经网络。
按照本发明的第二计算单元的优点基本上相应于之前详细描述的、按照本发明的用于提供训练后的人工神经网络的方法的优点。在此提到的特征、优点或替换的实施方式同样也可以转用到其它要求保护的主题并且反之亦然。换言之，具体的权利要求还可以以结合方法描述或要求保护的特征来扩展。方法的相应的功能性特征在此通过相应的具体的模块，特别是通过硬件模块来构造。
用于提供训练后的人工神经网络和随后在使用提供的训练后的人工神经网络的条件下用于给医学图像数据组分配元数据条目的组合的方法同样是本发明的内容。这样的组合的方法可以包括以下步骤：
-规定元数据类别，其包括表征医学图像数据的特征的多个元数据条目，
-提供多个医学训练图像数据组，
-关于元数据类别给多个医学训练图像数据组分配元数据条目
-在使用多个医学训练图像数据组的图像内容和分配给多个医学训练图像数据组的元数据条目的条件下训练人工神经网络，其中训练后的人工神经网络能够实现给医学图像数据组分配元数据条目，
-对于医学图像数据组的分类提供训练后的人工神经网络。
-采集待分类的医学图像数据组，和
-在根据医学图像数据组的图像内容应用训练后的人工神经网络的条件下对医学图像数据组进行分类，其中医学图像数据组的分类包括，关于元数据类别给医学图像数据组分配多个元数据条目中的一个元数据条目。
按照本发明的用于给医学图像数据组分配元数据条目的方法和/或按照本发明的用于提供训练后的人工神经网络的方法的其它特征、优点或替换的实施方式同样也可以转用到组合的方法的要求保护的主题并且反之亦然。
附图说明
下面对照附图所示的一种实施例对本发明作进一步的说明和解释。
附图中：
图1示出了按照本发明的第一计算单元，
图2示出了按照本发明的用于给医学图像数据组分配元数据条目的方法的第一实施方式，
图3示出了按照本发明的用于给医学图像数据组分配元数据条目的方法的第二实施方式，
图4示出了按照本发明的第二计算单元，
图5示出了按照本发明的用于提供训练后的人工神经网络的方法的第一实施方式，
图6示出了按照本发明的用于提供训练后的人工神经网络的方法的第二实施方式，
图7示出了借助自组织映射方法(Self-Organizing Maps Methode)生成的示例性的图，
图8示出了借助t随机近邻嵌入方法(t-Stochastic Neighbourhood EmbeddingMethode)生成的示例性的图。
具体实施方式
图1示出了按照本发明的第一计算单元1。第一计算单元1包括规定单元2、提供单元3、采集单元4和分类单元5。规定单元2、提供单元3、采集单元4和分类单元5在此可以被构造为处理器单元和/或计算模块并且可以分别具有至输入或输出模块(例如键盘或显示器)的接口。
提供单元3尤其与第一数据库NEU连接，在该第一数据库上存储训练后的人工神经网络，从而可以由提供单元3调用该训练后的人工神经网络。采集单元4尤其与图像输入接口IM，特别是第二数据库和/或成像系统连接，从采集单元4可以从图像输入接口IM采集待分类的医学图像数据组。分类单元5尤其与输出接口OUT1(例如数据库和/或显示器)连接，从而可以提供给医学图像数据组分配元数据条目，也就是可以存储在数据库中和/或可以在显示器上向使用者输出。
由此，第一计算单元1与规定单元2、提供单元3、采集单元4和分类单元5一起构造为用于执行用于给医学图像数据组分配元数据条目的方法，如其例如在图2或图3中示出的那样。
图2示出了按照本发明的用于给医学图像数据组分配元数据条目的方法的第一实施方式。
在第一方法步骤10中借助规定单元2来规定元数据类别，该元数据类别包括表征医学图像数据的特征的多个元数据条目。在另外的方法步骤11中借助提供单元3提供训练后的人工神经网络。在另外的方法步骤12中借助采集单元4采集待分类的医学图像数据组。在另外的方法步骤13中，在根据医学图像数据组的图像内容应用训练后的人工神经网络的条件下借助分类单元5进行医学图像数据组的分类，其中医学图像数据组的分类包括，关于元数据类别给医学图像数据组分配多个元数据条目中的一个元数据条目。
图3示出了按照本发明的用于给医学图像数据组分配元数据条目的方法的第二实施方式。
随后的描述基本上限于与图2中的实施例的区别，其中关于相同的方法步骤参见图2中的实施例的描述。基本上相同的方法步骤原则上以相同的附图标记标示。
图3中示出的按照本发明的方法的第二实施方式基本上包括按照图2的按照本发明的方法的第一实施方式的方法步骤10、11、12、13。附加地，图3中示出的按照本发明的方法的第二实施方式包括附加的方法步骤和/或子步骤。还可以考虑作为图3的替换的方法流程，其仅具有图3中示出的附加的方法步骤和/或子步骤的一部分。当然，还可以具有作为图3的替换的附加的方法步骤和/或子步骤。
在另外的方法步骤10中规定元数据类别在图3所示的情况下包括选择元数据类别。在另外的方法步骤10的第一可选步骤10a中，元数据类别在此例如可以被选择为在医学图像数据组中成像的身体区域。在另外的方法步骤10的另外的可选步骤10b中，元数据类别例如还可以选择医学图像数据组的取向。此外，在另外的方法步骤10的另外的可选步骤10c中，元数据类别可以被选择为用以拍摄医学图像数据组的成像模态。在另外的方法步骤10的另外的可选步骤10d中，元数据类别还可以被选择为用以拍摄医学图像数据组的协议类型。在另外的方法步骤10的另外的可选步骤10e中，还可以考虑，元数据类别被选择为在医学图像数据组中出现的图像干扰的种类。在另外的方法步骤11中，提供训练后的人工神经网络可以包括多个步骤11a，由此如其在按照本发明的用于提供训练后的人工神经网络的方法中描述的那样(参见图5-图6)。
在另外的方法步骤13中，分类医学图像数据组可以具有不同的应用，在图3中示例性示出了其中两个。在此可以彼此分开地或组合地使用这两个应用。当然，还可以考虑对医学图像数据组进行分类的另外的应用可能性。
第一示例应用包括，在另外的方法步骤16中根据分配给医学图像数据组的元数据条目在显示单元的显示界面上显示医学图像数据组。显示界面在此可以包括多个显示片段，其中在另外的方法步骤16的第二子步骤16b中根据分配给医学图像数据组的元数据条目选择多个显示片段的一个显示片段，并且在所选择的显示片段中显示医学图像数据组。
显示界面在此可以包括对于使用者的输入区，其中在另外的方法步骤16的第一子步骤16a中根据使用者在输入区中的用户输入以及用户输入与分配给医学图像数据组的元数据条目的比较进行医学图像数据组在显示界面上的显示。由此例如可以依据用户输入来选择医学图像数据组的合适的显示片段。
第二示例应用包括，借助训练后的人工神经网络来分类多个医学图像数据组，其中给多个医学图像数据组分别分配多个元数据条目中的至少一个元数据条目，其中在另外的方法步骤14中根据分配给多个医学图像数据组的元数据条目进行多个医学图像数据组的统计学分析。
为此在分类多个医学图像数据组的情况下可以在另外的方法步骤13a中给多个医学图像数据组的具有第一数量的第一医学图像数据组的第一集合分配第一元数据条目，并且在另外的方法步骤13b中给多个医学图像数据组的具有第二数量的第二医学图像数据组的第二集合分配第二元数据条目。在另外的方法步骤14中的多个医学图像数据组的统计学分析由此可以包括在另外的方法步骤14的子步骤14a中的第一数量与第二数量的比较。
元数据类别例如包括出现特定类型的图像干扰，其中第一元数据条目代表在医学图像数据组中出现特定类型的图像干扰并且第二元数据条目代表在医学图像数据组中缺少特定类型的图像干扰。然后特别有利地在另外的方法步骤15可以根据第一数量与第二数量的比较产生对于使用者的输出信息。
由第一计算单元1执行图2-图3中示出的方法步骤。为此，第一计算单元1包括所需的软件和/或计算机程序，该计算机程序存储在第一计算单元1的存储单元中。软件和/或计算机程序包括程序装置，其被设计为，当计算机程序和/或软件在第一计算单元1中借助计算单元1的处理器单元运行时执行按照本发明的方法。
图4示出了按照本发明的第二计算单元40。第二计算单元40包括规定单元41、第一提供单元42、分配单元43、训练单元44和第二提供单元45。规定单元41、第一提供单元42、分配单元43、训练单元44和第二提供单元45在此可以被构造为处理器单元和/或计算模块并且可以具有至输入模块或输出模块(例如键盘或显示器)的各个接口。
特别地，第一提供单元42包括用于训练图像数据库DB的接口，第一提供单元42可以从该训练图像数据中调用多个医学训练图像数据组，用于训练人工神经网络。第二提供单元45尤其包括与输出接口OUT2的连接，从而可以提供训练后的人工神经网络。特别地，由此可以将训练后的人工神经网络存储在数据库中，从而可以被提供用于对医学图像数据组进行分类。
由此，第二计算单元2与规定单元41、第一提供单元42、分配单元43、训练单元44和第二提供单元45一起构造为用于执行用于提供训练后的人工神经网络的方法，如其例如在图5或图6中所示的那样。
图5示出了按照本发明的用于提供训练后的人工神经网络的方法的第一实施方式。
在第一方法步骤50中借助规定单元41来规定元数据类别，该元数据类别包括表征医学图像数据的特征的多个元数据条目。在另外的方法步骤51中借助第一提供单元42提供多个医学训练图像数据组。在另外的方法步骤52中借助分配单元43关于元数据类别给多个医学训练图像数据组分配元数据条目。
在另外的方法步骤53中在使用多个医学训练图像数据组的图像内容和分配给多个医学训练图像数据组的元数据条目的条件下借助训练单元44来训练人工神经网络，其中训练后的人工神经网络能够实现给医学图像数据组分配元数据条目。人工神经网络的训练在此可以包括这样改变人工神经网络的网络参数，使得在根据多个医学训练图像数据组的图像内容应用训练后的人工神经网络的情况下，人工神经网络将分配给多个医学训练图像数据组的元数据条目分派给多个医学训练图像数据组。
在另外的方法步骤54中借助第二提供单元45对于医学图像数据组的分类提供训练后的人工神经网络。
图6示出了按照本发明的用于提供训练后的人工神经网络的方法的第二实施方式。
随后的描述基本上限于与图5中的实施例的区别，其中关于相同的方法步骤参见图5中的实施例的描述。基本上相同的方法步骤原则上以相同的附图标记标示。
图6中示出的按照本发明的方法的第二实施方式基本上包括按照图5的按照本发明的方法的第一实施方式的方法步骤50、51、52、53、54。附加地，图6中示出的按照本发明的方法的第二实施方式包括附加的方法步骤和/或子步骤。还可以考虑作为图6的替换的方法流程，其仅具有图6中示出的附加的方法步骤和/或子步骤的一部分。当然，还可以具有作为图6的替换的附加的方法步骤和/或子步骤。
在另外的方法步骤53中人工神经网络的训练在所示的情况下包括第一训练步骤53a和第二训练步骤53b，其中在第一训练步骤53a期间仅基于多个医学训练图像数据组的图像内容借助无监督学习来训练人工神经网络并且在第二训练步骤53b期间在使用分配给多个医学训练图像数据组的元数据条目的条件下对在第一训练步骤53a中执行的人工神经网络的训练进行微调。
在提供训练后的人工神经网络之前在图6中所示的情况下在另外的方法步骤55中检查训练后的人工神经网络的有效性，其中对于检查用于一部分医学训练图像数据组的人工神经网络的有效性借助训练后的人工神经网络确定元数据条目并且将由此确定的元数据条目与分配给该部分医学训练图像数据组的元数据条目相比较。在此可以在训练人工神经网络的情况下排除该部分医学图像数据组。
此外在图6中示出了在另外的方法步骤52中用于给多个医学训练图像数据组分配元数据条目的特别有利的方法。对于该过程的阐述在图7-图8中找到。在此示例性地看出在图6中示出的另外的方法步骤52的实施。可以考虑用于分配元数据条目的另外的措施。对于人工神经网络的训练还可以访问数据库，在该数据库中存储了已经分配了所属的元数据条目的医学训练图像数据组。
在图6中所示的情况下，给多个医学训练图像数据组分配元数据条目包括预处理步骤52a，其中借助无监督学习处理多个医学训练图像数据组。无监督学习例如可以包括使用自组织映射(SOM)方法和/或t随机近邻嵌入(t-SNE)方法。
在另外的方法步骤52的另外的子步骤52b中，可以以图的形式向使用者显示在预处理步骤中预处理的医学训练图像数据组。然后在另外的方法步骤52的另外的子步骤52c中，使用者可以借助与图的交互来给多个医学训练图像数据组分配元数据条目。在此，使用者例如可以借助图形的分割工具S在图上执行分配。
由第二计算单元40执行在图5-图6中示出的方法步骤。为此，第二计算单元40包括所需的软件和/或计算机程序，该计算机程序存储在第二计算单元10的存储单元中。软件和/或计算机程序包括程序装置，其被设计为，当计算机程序和/或软件在第二计算单元40中借助第二计算单元40的处理器单元运行时执行按照本发明的方法。
图7示出了借助自组织映射方法生成的示例性的图。自组织映射方法在此自动地关于两个元数据类别布置训练图像数据组，其包括非衰减校正的PET图像、MR图像和CT图像。
自组织映射方法在编组医学训练图像数据组时所关于的第一元数据类别在此在所示的情况下是用以拍摄了医学训练图像数据组的成像模态。自组织映射方法编组医学训练图像数据组时所关于的第二元数据类别在此在所示的情况下是医学训练图像数据组所成像的身体区域。
由此在在示例的情况下包括10×10的输出节点的所示的图中示出了关于成像模态以及关于身体区域的多个医学训练图像数据组的布置。由此，例如在所示的图中左上布置非衰减校正的PET图像。头部区域的示图处于所示的图中左下。在所示的图中间布置借助CT成像拍摄的肺层。
使用者现在可以借助合适的工具，例如借助图形的分割工具来处理图。优选地，使用者选择给其分配相同的元数据条目的医学训练图像数据组位于其中的区域。为此，使用者可以使用Lasso工具作为示例性的图形的分割工具。由此，使用者在图7中示出的情况下例如在第一分割100中选择头部示图。然后可以给自组织映射方法在第一分割100中布置的医学训练图像数据组分配关于元数据类别“医学训练图像数据组成像的身体区域”的元数据条目“头部区域”。此外，使用者在图8所示的情况下在第二分割101中选择成像肺部的MR图像。然后可以同时给自组织映射方法在第二分割101中布置的医学训练图像数据组分配关于元数据类别“医学训练图像数据组成像的身体区域”的元数据条目“胸部”和关于元数据类别“借助其拍摄了医学训练图像数据组的成像模态”的元数据条目“磁共振成像”。
图8示出了借助t随机近邻嵌入方法生成的示例性的图。
在示例性的情况下借助t随机近邻嵌入方法处理借助CT成像、PET成像或MR成像拍摄的医学训练图像数据组的多个图像层。所示的弯曲的结构在此描绘图像体积的相继的图像层。
现在可以考虑，使用者可以借助数据光标检查处于点后面的图像数据，以便找出哪个结构属于哪个成像模态。然后使用者可以例如又借助Lasso工具分配关于元数据类别“用以拍摄了医学训练图像数据组的成像模态”的特别有效的元数据条目。
在所示的情况下，使用者例如在两个分割111、112中选择在所示的图中的PET图像数据。由此可以给处于这两个分割111、112中的所有医学训练图像数据组分配关于元数据类别“用以拍摄了医学训练图像数据组的成像模态”的元数据条目“PET成像”。
虽然本发明在细节上通过优选的实施例详细阐述和描述，但是本发明不受所公开的示例的限制并且可以由专业人员从中导出其它方案，而不脱离本发明的保护范围。

Claims (19)

1.一种用于提供训练后的人工神经网络的方法，包括以下方法步骤：
-规定元数据类别，该元数据类别包括表征医学图像数据的特征的多个元数据条目，
-提供多个医学训练图像数据组，
-关于元数据类别给多个医学训练图像数据组分配元数据条目，
-在使用多个医学训练图像数据组的图像内容和分配给多个医学训练图像数据组的元数据条目的条件下训练人工神经网络，其中训练后的人工神经网络能够实现给医学图像数据组分配元数据条目，
-对于医学图像数据组的分类提供训练后的人工神经网络。
2.根据权利要求1所述的方法，其中，人工神经网络的训练包括改变人工神经网络的网络参数，使得在根据多个医学训练图像数据组的图像内容应用训练后的人工神经网络的情况下，人工神经网络将分配给多个医学训练图像数据组的元数据条目分派给多个医学训练图像数据组。
3.根据权利要求1所述的方法，其中，在提供训练后的人工神经网络之前检查训练后的人工神经网络的有效性，其中对于人工神经网络的有效性的检查，对于一部分医学训练图像数据组借助训练后的人工神经网络确定元数据条目并且将由此确定的元数据条目与分配给该部分医学训练图像数据组的元数据条目相比较。
4.根据权利要求3所述的方法，其中，在对人工神经网络进行训练时排除该部分医学训练图像数据组。
5.根据权利要求1至4中任一项所述的方法，其中，人工神经网络的训练包括第一训练步骤和第二训练步骤，其中在第一训练步骤期间仅基于多个医学训练图像数据组的图像内容借助无监督学习来训练人工神经网络并且在第二训练步骤期间在使用分配给多个医学训练图像数据组的元数据条目的条件下对在第一训练步骤中执行的人工神经网络的训练进行微调。
6.根据权利要求1至4中任一项所述的方法，其中，给多个医学训练图像数据组分配元数据条目包括预处理步骤，在该预处理步骤中借助无监督学习处理多个医学训练图像数据组。
7.根据权利要求6所述的方法，其中，所述无监督学习包括采用自组织映射(SOM)方法和/或t随机近邻嵌入(t-SNE)方法。
8.根据权利要求6所述的方法，其中，以图的形式向使用者显示在预处理步骤中预处理的医学训练图像数据组，其中使用者借助与图的交互来给多个医学训练图像数据组分配元数据条目。
9.根据权利要求8所述的方法，其中，使用者借助图形的分割工具在所显示的图上给多个医学训练图像数据组分配元数据条目。
10.一种用于提供训练后的人工神经网络的第二计算单元，包括规定单元、第一提供单元、分配单元、训练单元和第二提供单元，其中第二计算单元被构造为用于执行根据权利要求1至9中任一项所述的方法。
11.一种用于给医学图像数据组分配元数据条目的方法，包括以下方法步骤:
-规定元数据类别，该元数据类别包括表征医学图像数据的特征的多个元数据条目，
-提供训练后的人工神经网络，
-采集待分类的医学图像数据组，和
-在根据医学图像数据组的图像内容应用训练后的人工神经网络的条件下对医学图像数据组进行分类，其中医学图像数据组的分类包括，关于元数据类别给医学图像数据组分配多个元数据条目中的一个元数据条目，
其中，根据权利要求1-9所述提供训练后的人工神经网络。
12.根据权利要求11所述的方法，其中，从以下列表中选择元数据类别：
-在医学图像数据组中被成像的身体区域，
-医学图像数据组的取向，
-用以拍摄医学图像数据组的成像模态，
-用以拍摄医学图像数据组的协议类型，
-在医学图像数据组中出现的图像干扰的类型。
13.根据权利要求11所述的方法，其中，根据分配给医学图像数据组的元数据条目在显示单元的显示界面上显示医学图像数据组。
14.根据权利要求13所述的方法，其中，所述显示界面包括多个显示片段，其中根据分配给医学图像数据组的元数据条目选择多个显示片段中的一个显示片段，并且在所选择的显示片段中显示医学图像数据组。
15.根据权利要求13或14所述的方法，其中，所述显示界面包括用于使用者的输入区，其中根据使用者在输入区中的用户输入和用户输入与分配给医学图像数据组的元数据条目的比较，在显示界面上显示医学图像数据组。
16.根据权利要求11至14中任一项所述的方法，其中，借助训练后的人工神经网络对多个医学图像数据组进行分类，其中给多个医学图像数据组分别分配多个元数据条目中的至少一个元数据条目，其中根据分配给医学图像数据组的元数据条目进行多个医学图像数据组的统计分析。
17.根据权利要求16所述的方法，其中，在对多个医学图像数据组进行分类的情况下给多个医学图像数据组的具有第一数量的第一医学图像数据组的第一集合分配第一元数据条目并且给多个医学图像数据组的具有第二数量的第二医学图像数据组的第二集合分配第二元数据条目，其中统计分析包括比较第一数量与第二数量。
18.根据权利要求17所述的方法，其中，元数据类别包括出现特定类型的图像干扰，其中第一元数据条目表示在医学图像数据组中出现特定类型的图像干扰并且第二元数据条目表示在医学图像数据组中缺少特定类型的图像干扰，其中根据第一数量与第二数量的比较产生对于使用者的输出信息。
19.一种用于给医学图像数据组分配元数据条目的第一计算单元，包括规定单元、提供单元、采集单元和分类单元，其中第一计算单元被构造为用于执行根据权利要求11-18中任一项所述的方法。
CN201610506686.0A 2015-07-10 2016-06-30 用于分类医学图像数据组的人工神经网络 Active CN106339571B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015212953.5 2015-07-10
DE102015212953.5A DE102015212953A1 (de) 2015-07-10 2015-07-10 Künstliche neuronale Netze zur Klassifizierung von medizinischen Bilddatensätzen

Publications (2)

Publication Number Publication Date
CN106339571A CN106339571A (zh) 2017-01-18
CN106339571B true CN106339571B (zh) 2020-09-18

Family

ID=57584111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610506686.0A Active CN106339571B (zh) 2015-07-10 2016-06-30 用于分类医学图像数据组的人工神经网络

Country Status (3)

Country Link
US (1) US20170011185A1 (zh)
CN (1) CN106339571B (zh)
DE (1) DE102015212953A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017203315A1 (de) * 2017-03-01 2018-09-06 Siemens Healthcare Gmbh Verfahren und Datenverarbeitungseinheit zur Auswahl eines Protokolls für eine medizinische Bildgebungsuntersuchung
EP3379487B1 (de) * 2017-03-21 2023-10-04 Siemens Healthcare GmbH Kontrastverstärkte wiedergabe von spektralen ct-bilddaten
CN108733967A (zh) * 2017-04-24 2018-11-02 太豪生医股份有限公司 云端医疗图像分析系统与方法
US11276163B2 (en) * 2017-05-02 2022-03-15 Alvitae LLC System and method for facilitating autonomous control of an imaging system
EP3409230B1 (de) 2017-05-31 2019-05-22 Siemens Healthcare GmbH Bewegen eines roboterarms
EP4181085A1 (en) * 2017-06-30 2023-05-17 Axis AB Method and system for training a neural network to classify objects or events
EP3451286B1 (de) * 2017-08-30 2019-08-28 Siemens Healthcare GmbH Verfahren zum segmentieren einer organstruktur eines untersuchungsobjekts in medizinischen bilddaten
EP3477583A1 (en) 2017-10-31 2019-05-01 Koninklijke Philips N.V. Deep-learning based processing of motion artifacts in magnetic resonance imaging data
DE102017221830A1 (de) * 2017-12-04 2019-06-06 Siemens Healthcare Gmbh Charakterisierung eines Störkörpers innerhalb eines Untersuchungsobjektes anhand eines medizinischen Bilddatensatzes
CN111542268B (zh) * 2017-12-05 2023-08-04 美国西门子医疗系统股份有限公司 改进的基于多焦点非平行准直器的成像
US10930392B2 (en) * 2018-02-19 2021-02-23 General Electric Company System and method for processing ECG recordings from multiple patients for clinician overreading
EP3557274A1 (en) * 2018-04-19 2019-10-23 Koninklijke Philips N.V. Automatic artifact detection and pulse sequence modification in magnetic resonance imaging
EP3564906A1 (de) * 2018-05-04 2019-11-06 Siemens Healthcare GmbH Verfahren zur erzeugung von bilddaten bei einem computertomographiegerät, bilderzeugungsrechner, computertomographiegerät, computerprogrammprodukt und computerlesbarer datenträger
EP3586748B1 (de) * 2018-06-26 2020-06-24 Siemens Healthcare GmbH Verfahren zum betreiben eines medizinischen bildgebungsgeräts sowie bildgebungsgerät
US10902588B2 (en) 2018-08-13 2021-01-26 International Business Machines Corporation Anatomical segmentation identifying modes and viewpoints with deep learning across modalities
US10726950B2 (en) * 2018-11-25 2020-07-28 Aivitae LLC Methods and systems for autonomous control of imaging devices
US11449755B2 (en) * 2019-04-29 2022-09-20 Microsoft Technology Licensing, Llc Sensitivity classification neural network
US11288806B2 (en) 2019-09-30 2022-03-29 Siemens Healthcare Gmbh Protocol-aware tissue segmentation in medical imaging
CN110866880B (zh) * 2019-11-14 2023-04-28 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
US11682135B2 (en) * 2019-11-29 2023-06-20 GE Precision Healthcare LLC Systems and methods for detecting and correcting orientation of a medical image
CN111126502B (zh) * 2019-12-26 2020-11-10 北京安德医智科技有限公司 一种面向人工智能辅助诊断的dicom医疗影像序列分类方法
US11564651B2 (en) 2020-01-14 2023-01-31 GE Precision Healthcare LLC Method and systems for anatomy/view classification in x-ray imaging
US11455713B2 (en) * 2020-05-08 2022-09-27 Paypal, Inc. Automatic document processing
EP3996102A1 (en) * 2020-11-06 2022-05-11 Paul Yannick Windisch Method for detection of neurological abnormalities
DE102021210281A1 (de) 2021-09-16 2023-03-16 Siemens Healthcare Gmbh Computerimplementiertes Verfahren zur Zuordnung wenigstens eines Kontrastes zu wenigstens einem Magnetresonanzbilddatensatz, Zuordnungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065762A (zh) * 2004-11-23 2007-10-31 伊斯曼柯达公司 使用组织信息的自动放射线照片分类
CN101084511A (zh) * 2004-12-17 2007-12-05 皇家飞利浦电子股份有限公司 自动开发在医学诊断成像中产生医学有意义的描述符的高性能分类器的方法和装置
US20100042434A1 (en) * 2008-08-13 2010-02-18 Carestream Health, Inc. System and method for discovering information in medical image database
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
CN104462738A (zh) * 2013-09-24 2015-03-25 西门子公司 一种标注医学图像的方法、装置和系统
CN104484682A (zh) * 2014-12-31 2015-04-01 中国科学院遥感与数字地球研究所 一种基于主动深度学习的遥感图像分类方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085755B2 (en) * 2002-11-07 2006-08-01 Thomson Global Resources Ag Electronic document repository management and access system
WO2006034366A1 (en) * 2004-09-21 2006-03-30 Siemens Medical Solutions Usa, Inc. Hierarchical medical image view determination
US7648460B2 (en) * 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
JP5059545B2 (ja) * 2007-10-23 2012-10-24 株式会社リコー 画像処理装置及び画像処理方法
US20100056947A1 (en) * 2008-08-27 2010-03-04 Lifeline Biotechnologies, Inc. Placeholder for collecting and analyzing thermal data based on breast surface temperature to determine suspect conditions
US8504726B2 (en) * 2009-07-27 2013-08-06 Corista LLC User targeted medical imaging and information packaging, compression and distribution system
US9466012B2 (en) * 2013-07-11 2016-10-11 Radiological Imaging Technology, Inc. Phantom image classification
US10002427B2 (en) * 2013-10-11 2018-06-19 Mauna Kea Technologies Method for characterizing images acquired through a video medical device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065762A (zh) * 2004-11-23 2007-10-31 伊斯曼柯达公司 使用组织信息的自动放射线照片分类
CN101084511A (zh) * 2004-12-17 2007-12-05 皇家飞利浦电子股份有限公司 自动开发在医学诊断成像中产生医学有意义的描述符的高性能分类器的方法和装置
US20100042434A1 (en) * 2008-08-13 2010-02-18 Carestream Health, Inc. System and method for discovering information in medical image database
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
CN104462738A (zh) * 2013-09-24 2015-03-25 西门子公司 一种标注医学图像的方法、装置和系统
CN104484682A (zh) * 2014-12-31 2015-04-01 中国科学院遥感与数字地球研究所 一种基于主动深度学习的遥感图像分类方法

Also Published As

Publication number Publication date
US20170011185A1 (en) 2017-01-12
DE102015212953A1 (de) 2017-01-12
CN106339571A (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
CN106339571B (zh) 用于分类医学图像数据组的人工神经网络
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
US10573000B2 (en) System and method for medical image management
US11069056B2 (en) Multi-modal computer-aided diagnosis systems and methods for prostate cancer
US10984894B2 (en) Automated image quality control apparatus and methods
EP3648016A1 (en) Scalable artificial intelligence model generation systems and methods for healthcare
EP3612981A1 (en) Target detection in latent space
Mansour et al. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
JP6885517B1 (ja) 診断支援装置及びモデル生成装置
CN113284149B (zh) Covid-19胸部ct图像识别方法、装置及电子设备
WO2020154562A1 (en) Method and system for automatic multiple lesion annotation of medical images
Ogiela et al. Natural user interfaces in medical image analysis
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
Huellebrand et al. A collaborative approach for the development and application of machine learning solutions for CMR-based cardiac disease classification
WO2023104464A1 (en) Selecting training data for annotation
US20220172370A1 (en) Method for detecting white matter lesions based on medical image
CN115482936A (zh) 用于评估医学图像数据的方法和设备
WO2020110520A1 (ja) 類似度決定装置、方法およびプログラム
US20230342928A1 (en) Detecting ischemic stroke mimic using deep learning-based analysis of medical images
WO2022138277A1 (ja) 学習装置、方法及びプログラム並びに医用画像処理装置
Bala et al. Significance and usage of deep learning in health care systems: diagnosis of lung cancer
US20220108451A1 (en) Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator
US20230306608A1 (en) Image processing apparatus, method and program, and learning apparatus, method and program
EP4339961A1 (en) Methods and systems for providing a template data structure for a medical report

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant