CN106529116A - 诊断系统和诊断方法 - Google Patents

诊断系统和诊断方法 Download PDF

Info

Publication number
CN106529116A
CN106529116A CN201610812655.8A CN201610812655A CN106529116A CN 106529116 A CN106529116 A CN 106529116A CN 201610812655 A CN201610812655 A CN 201610812655A CN 106529116 A CN106529116 A CN 106529116A
Authority
CN
China
Prior art keywords
key concept
patient
pattern
reference picture
data encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610812655.8A
Other languages
English (en)
Other versions
CN106529116B (zh
Inventor
O.保利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Siemens Healthcare GmbH
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN106529116A publication Critical patent/CN106529116A/zh
Application granted granted Critical
Publication of CN106529116B publication Critical patent/CN106529116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种计算机支持的诊断系统和一种用于支持医学诊断的诊断方法。根据本发明的诊断系统具有：第一接口，用于读入医学患者照相。此外，设有编码模块，用于借助于未监控的深度学习来机械学习数据编码，以及用于确定包含在患者照相中的患者图像图案的深度学习减少的数据编码。此外设有比较模块，用于将所确定的数据编码与在数据库中存储的参考图像图案的参考编码进行比较，以及用于选择具有与确定的数据编码相似的参考编码的参考图像图案。分配模块用于确定分配给所选择的参考图像图案的关键概念，以及用于将所确定的关键概念分配给患者图像图案。设有第二接口，用于以分配给患者图像图案的方式输出确定的关键概念。

Description

诊断系统和诊断方法
技术领域
本发明涉及一种计算机支持的诊断系统和一种用于支持医学诊断的诊断方法。
背景技术
现代医学诊断在大程度上由医学成像来支持，所述医学成像例如基于对患者的放射学的、血管造影学的、超声波学的和/或X光断层扫描的照相。通过放射学的这种医学照相的评估然而通常证实为是耗费的。因此，用于识别脊椎肿瘤的放射学通常必须检查每个单独的在脊椎的照片中绘制的椎骨。因此，为了支持这种诊断，越来越多地力求，在医学照相中通过使用图像分析方法自动识别、检测和/或评估解剖学的特征。
已知的是，为了所述目的使用图像分析方法，所述图像分析方法基于机械学习。所述图像分析方法通常具有机械分类器，例如所谓的随机森林分类器，所述随机森林分类器对于要识别的损伤是专用的。然而，这种分类器通常需要具有关于要识别的损伤的手动标注的边界范围的大的训练组。提供这种手动标注的训练组然而是非常耗费的。此外，在这样的分类器的情况下，例如在整个椎骨或整个脊椎的平面上通常不考虑关于相应的要识别的损伤的较大的可视环境。这种基于机械分类器的图像分析方法例如从M. Wels，B.M Kelm，A.Tsymbal等在2012年的SPIE Med Imaging Proc 8315 中的文章“Multi-stageosteolytic spinal bone lesion detection from CT data with internalsensitivity control”中已知。
发明内容
本发明的任务是，说明一种诊断系统和诊断方法，所述诊断系统和诊断方法避免上述缺点。
所述任务通过具有权利要求1的特征的计算机支持的诊断系统、通过具有权利要求12的特征的计算机支持的诊断方法、通过具有权利要求13的特征的计算机程序产品以及通过具有权利要求14的特征的计算机可读的存储介质来解决。
在根据本发明的用于支持医学诊断的诊断系统中，设有第一接口，用于读入医学的患者照相。患者照相尤其能够是X光、超声波和/或磁共振照片，所述X光、超声波和/或磁共振照片示出器官的或其他身体结构的平面的或立体的图像。诊断系统此外具有编码模块，用于借助于未监控的深度学习来机械学习图像图案（Bildmuster）的数据编码或者用于确定包含在患者照相中的患者图像图案的深度学习减少的数据编码。数据库用于存储多个医学参考图像图案连同所属的诊断相关的关键概念。此外，设有比较模块，用于根据相似度将确定的数据编码与在数据库中存储的参考图像图案的参考编码进行比较，以及用于选择具有与确定的数据编码在相似度方面相似的参考编码的参考图像图案。分配模块用于确定分配给所选择的参考图像图案的关键概念以及用于将确定的关键概念分配给患者图像图案。此外，设有第二接口，用于输出确定的分配给患者图像图案的关键概念。
要通过根据本发明的诊断系统实施的方法步骤是根据本发明的诊断方法的主题。
本发明的重要优点在于，基于未监控的深度学习的编码模块也能够借助未分类的训练图像图案来训练。尤其是在多种情况下，能够放弃对要识别的特征的手动分类。在该上下文中，通常能够取消借助于器官模型的耗费的器官识别。
通过将关键概念分配给患者图像图案，可以以直观的方式象征地描述后者，由此能够有效地支持医学诊断。尤其是，能够以可视地分配给患者图像图案的方式输出确定的关键概念。
本发明的有利的实施方式和改进方案在从属权利要求中说明。
根据本发明的一个有利的实施方式，编码模块能够包括神经自动编码器，用于确定减少的数据编码。这种神经自动编码器是仿造的神经网络，所述网络能够学习输入数据的尤其有效的数据编码。
尤其是，神经自动编码器能够包括输入层，用于输入原始图像数据、低等级图像特征和/或通过卷积的神经网络学习的图像特征。卷积的神经网络通常也称作为卷积神经网络。
此外，用于编码模块的基于深度学习的训练的训练组能够包括多个医学参考图像图案。
有利地，诊断相关的关键概念能够说明所分配的参考图像图案的局部特性和/或关于患者的对图像图案有决定性意义的信息。
根据本发明的一个有利的实施方式，相似度能够是机械学习的相似度。优选地，相似度能够根据与编码模块相同的训练组来训练。
根据本发明的一个有利的改进方案，能够设有分段模块，用于确定器官的、器官部分的和/或器官区域的位置、定向和/或尺寸，以及用于将患者照相分成对器官、器官部分和/或器官区域特定的患者图像段。患者图像段在此能够理解成要编码的患者图像图案。分段尤其能够根据监控地和/或未监控地学习的图像图案来进行。以所述方式，能够将患者照相分成患者图像段，所述患者图像段例如分别示出脊椎的各个椎骨或其他解剖学的单独结构。器官的、器官部分的和/或器官区域的患者图像段于是能够关于位置、定向和/或尺寸以区段特定的方式标准化。由此，识别和/或比较相关的解剖学的结构能够明显简化。
有利地，编码模块能够被设立用于，优选基于深度学习来确定患者图像段的区段特定的数据编码。
此外，具有分配的诊断相关的关键概念的多个医学参考图像图案能够包括具有分配的区段特定的关键概念的多个参考图像段。以所述方式，也能够根据参考图像图案来确定区段特定的关键概念。确定的区段特定的关键概念能够通过第二接口优选以可视地分配给相关的患者图像段的方式输出。
此外，分配模块能够被设立用于，根据确定的数据编码和与此相似的参考编码之间的相似度和/或根据确定所述关键概念的频率，为确定的关键概念分配重要值。重要值能够通过第二接口以优选可视地分配给所分配的关键概念的方式输出。尤其是，重要值能够通过所分配的关键词本身可视化，例如通过与重要值相关的粗体印刷或字母大小。
此外，能够设有组合模块，用于将针对不同的患者图像段确定的关键概念根据这些确定的关键概念的重要值组合成组合的关键概念。尤其是，用于器官的或器官部分的不同区段的区段特定的关键概念能够组合成用于整个器官或整个器官部分的组合的关键概念并且以优选可视地分配给所述器官或器官部分的方式输出。于是，组合的关键概念能够构成对于所述器官或所述器官部分的象征的描述。此外，对于不同的器官、器官部分和/或其他患者图像段组合的关键概念在其方面能够组合成用于患者的一个或多个更高一级的关键概念。输出更高一级的关键概念能够以分配给患者作为患者报告或检验结果的方式进行。于是，更高一级的关键概念能够形成象征的、涉及患者的诊断的描述。
附图说明
下面根据附图详细阐述本发明的实施例。在此，分别以示意图示出：
图1示出根据本发明的诊断系统，并且
图2示出神经自动编码器的层结构。
具体实施方式
图1图解说明根据本发明的用于根据患者的医学照相来支持医学诊断的诊断系统DS。诊断系统DS具有与医学照相装置XT、例如X光断层扫描仪、磁共振断层扫描仪、超声波设备或其他拍照装置的第一接口I1，所述医学拍照装置提供患者的身体结构的照相。第一接口I1用于读入照相装置XT的医学患者照相。患者照相尤其能够是空间分辨的立体图像，所述图像以图像数据的形式、例如作为体素值的阵列传递。在下文中，将患者照相PIM视作为代表全部患者照相。
患者照相PIM、例如脊椎的X光断层扫描的照片通常包括多个诊断相关的图像图案，所述图像图案示出解剖学的结构。下面，将包含在患者照相PIM中的图像图案称作为患者图像图案。出于概览原因，在此通常将患者图像图案PM视作为代表全部患者图像图案。
诊断系统DS具有带有深度学习结构的编码模块CM，用于借助于未监控的深度学习来机械学习患者图像图案的深度学习减少的数据编码DK。在该实施例中，编码模块CM包括自动编码器AENC，例如受限的玻尔兹曼机。这种受限的玻尔兹曼机通常也称作为局限型玻尔兹曼机。自动编码器、在此为AENC用于学习输入数据的减少的数据编码，以便以所述方式识别输入数据中的主要图案和特征并且从中提取。自动编码器AENC根据具有未分类的输入图像数据的预给定的训练组来训练。尤其是不需要手动分类的训练数据。经过训练的自动编码器AENC因此能够确定包含在患者照相PIM中的患者图像图案PM的深度学习减少的数据编码DK（PM）。
诊断系统DS此外具有与编码模块CM耦合的分段模块SEGM，用于确定器官的、器官部分的和/或器官区域的位置、定向和/或尺寸，以及用于将患者照相PIM分成对器官、器官部分或器官区域特定的患者图像段PS。分段优选根据监控地和/或未监控地学习的图像图案来进行。以所述方式，例如能够将脊椎的患者照相分成患者图像段，所述患者图像段分别示出各个椎骨。
各个患者图像段PS能够通过分段模块SEGM在确定的位置、定向和/或尺寸方面区段特定地标准化。优选地，借助于分类器能够识别器官、器官部分和/或器官区域。
在本实施例中，将患者照相PIM从编码模块CM传递给分段模块SEGM，在那里分成患者图像段PS并且将后者传递给编码模块CM。
对于接收的患者图像段PS，通过自动编码器AENC来区段独立地确定深度学习减少的数据编码，并且将其与患者图像图案PM的深度学习减少的数据编码DK（PM）一起从编码模块CM传递至比较模块VM。
诊断系统DS此外包括具有多个存储的医学参考图像图案RM1、RM2……的数据库DB，所述医学参考图像图案分别分配有一个或多个诊断相关的关键概念K1、K2……。此外，在数据库DB中存储有多个参考图像段RS1、RS2……，所述参考图像段分别分配有一个或多个区段特定的关键概念KS1、KS2……。参考图像图案RM1、RM2……和参考图像段RS1、RS2……尤其能够示出器官、器官区域和/或器官区段。
参考图像图案RM1、RM2……与所分配的关键概念K1、K2……和参考图像段RS1、RS2……与所分配的区段特定的关键概念KS1、KS2……尤其包括用于自动编码器AENC的训练组并且在数据库DB中分别通过深度学习减少的参考编码RK示出。因此，参考图像图案RM1通过其参考编码RK（RM1）、参考图像图案RM2通过其参考编码RK（RM2）、参考图像段RS1通过其参考编码RK（RS1）、参考图像段RS2通过其参考编码RK（RS2）等示出。在此，在数据库DB中，参考编码RK（RM1）分配有关键概念K1，参考编码RK（RM2）分配有关键概念K2，参考编码RK（RS1）分配有区段特定的关键概念KS1并且参考编码RK（RS2）分配有区段特定的关键概念KS2。
与编码模块CM和数据库DB耦合的比较模块VM用于将通过编码模块CM确定的数据编码DK（PM）和DK（PS）与参考图像图案和/或参考图像段的存储在数据库DB中的参考编码进行比较。为了所述目的，将参考编码RK从数据库DB调用并且根据相似度SM与患者图像图案PM的和患者图像段PS的确定的数据编码DK进行比较。
相似度SM例如能够作为所谓的汉明间距实现和/或借助于监控的和/或未监控的学习训练。相似度SM的训练能够优选根据与自动编码器AENC的训练相同的训练组进行。基于数据编码DK与参考编码RK的比较，选择下述参考图像图案或参考图像段，所述参考图像图案或参考图像段具有与确定的数据编码DK在相似度SM方面相似的参考编码。优选地，选择下述参考图像图案或参考图像段，所述参考图像图案或参考图像段与相应的数据编码DK关于相似度SM是最相似的，例如通过所谓的近邻查找。为本实施例假设，将参考图像段RS1和RS2选择为与患者图像段PS最相似的参考图像段。所选择的参考图像段RS1和RS2分别分配有重要值REL1或REL2。重要值REL1和REL2分别根据参考图像图案RS1或RS2与患者图像段PS的基于相似度SM的相似值和/或根据确定所述参考图像段RS1或RS2的频率来确定。
将所选择的参考图像段RS1和RS2以其深度学习减少的参考编码RK（RS1）和RK（RS2）的形式以分别分配给确定的重要值REL1或REL2的方式从比较模块VM传递给与其耦合的分配模块ZM。
分配模块ZM用于确定分配给所选择的参考图像图案或参考图像段的关键概念或区段特定的关键概念，以及用于将所确定的关键概念或区段特定的关键概念分配给相应的患者图像图案或患者图像段。在本实施例中，将所选择的参考图像段RS1和RS2的参考编码RK（RS1）和RK（RS2）从分配模块ZM传递给与其耦合的数据库DB，以便以所述方式调用所分配的区段特定的关键概念KS1和KS2。与此相应地，为用于参考图像段RS1的区段特定的关键概念KS1分配重要值REL1并且为用于参考图像段RS2的区段特定的关键概念KS2分配重要值REL2。
分配模块ZM具有组合模块AGM，用于将为不同的患者图像段PS确定的区段特定的关键概念、在此为KS1和KS2组合成组合的关键概念KA。所述组合根据所确定的区段特定的关键概念、在此为KS1和KS2的重要值、在此为REL1和REL2来进行。通过组合模块AGM，为组合的关键概念KA根据重要值REL1和REL2确定组合的重要值REL并且分配给组合的关键概念KA。
为了图形输出，诊断系统DS具有第二接口I2，用于连接屏幕终端T。经由第二接口I2，将组合的关键概念KA以分配给组合的重要值REL的方式传递给屏幕终端T以及将患者图像段PS传递给屏幕终端T。在屏幕终端T上图形输出患者照相PIM，其中组合的关键概念KA以及必要时多个其他的组合的和/或未组合的关键概念以可视分配给相关的患者图像段PS的方式输出。可视分配所述关键概念在此能够进行成，使得所述分配以所谓的标签的形式或作为患者照相PIM中的自由文本被安放到相关的患者图像段、患者图像图案或其他相应的图像部位上。优选地，相应的重要值、在此为REL也能够被输出和/或可视化，例如通过将分别所属的关键概念以取决于重要值的字母大小或以取决于重要值的粗体印刷输出。
图2示出基于深度学习的自动编码器AENC的层结构。自动编码器AENC在本实施例中包括人造神经元的三个层L1、L2和L3，所述人造神经元在图2中作为层L1、L2和L3之内的矩形示出。
层L1用作为自动编码器AENC的输入层，用于输入数据、在此为具有一个或多个要识别的患者图像图案的患者照相PIM的输入。自动编码器的这种输入层通常也称作为可视层或可见层。患者照相PIM能够以体素原始数据、低等级图像特征的形式和/或以通过卷积的神经网络学习的图像特征的形式输入到输入层L1中。卷积的神经网络通常也称作为卷积神经网络或CNN。层L1优选包括多个人造神经元，使得所述人造神经元能够几乎在没有重要的信息丢失的情况下示出输入的患者照相PIM。
可视层L1如在图2中通过平面的双箭头表示的那样与用作为遮盖的中间层的层L2耦合。这种遮盖的中间层通常也称作为中间隐藏层。遮盖的中间层L2包括——如通过相对于L1较少数量的矩形示出的那样——比可视层L1少的人造神经元。因此，遮盖的中间层L2的学习的结构示出输入数据、在此患者照相PIM或患者图像特征PM的相应减少的编码。
遮盖的中间层L2如通过平面的双箭头示出的那样与层L3耦合。层L3在本实施例中形成自动编码器AENC的最上面的遮盖的层。这种最上面的遮盖的层通常也称作为顶部隐藏层。层L3包括与遮盖的中间层L2相比更少的人造神经元，这在图2中通过层L3之内的更少数量的矩形示出。层L3将由层L2学习的减少的编码用作为输入数据并且由此形成更大程度减少的或压缩的编码。层L3的学习的结构相应地示出输入数据、在此患者照相或患者图像图案PM的明显减少的进而压缩的数据编码DK。由层L3形成的压缩的数据编码DK由自动编码器AENC输出。
为了进一步的数据减少，自动编码器完全还能够具有另外的遮盖的层。
自动编码器AENC通过监控的深度学习来训练。这例如能够通过下述方式进行，即尝试，从层L3的结构中重建层L1的输入数据。自动编码器AENC于是如下训练，重建结果尽可能少地偏离输入数据。
下面，在脊椎诊断的范围中描述本发明的典型的使用环境。例如脊椎的计算机X光断层扫描的照片用作为患者照相。脊椎照片借助于机械学习方法自动保存并且从中生成患者报告或检查结果，具有通过一组诊断相关的关键概念对每个椎骨或其部分的象征描述。关键概念能够包括相应的椎骨的局部特性，例如特定的损伤的可见现象、其大小和其在椎骨之内的位置以及所分配的诊断信息，如损伤的类型、严重程度和/或危险性。此外，关键词也能够包括对椎骨具有决定意义的信息，所述信息表明脊椎和/或患者的特征，例如关于健康阶段的说明或对选择疗法的说明。此外，关键词能够根据特定方面例如划分成涉及诊断的关键词、涉及位置的关键词和/或涉及可视症状的关键词。一组根据本发明确定的关键词必要时能够与所分配的重要值一起形成对患者照相的象征描述。所述象征描述能够用于自动生成患者报告，以便因此对放射科医生在其诊断时进行支持。
为了实现本发明，设有用于每个椎骨类型的紧凑的数据编码、用于比较数据编码的相关联的相似度以及具有各个椎骨和/或各个椎骨区域的参考编码的数据库。为参考编码分配诊断相关的关键词。因为基于深度学习的编码模块不需要事先分类的训练数据，所以也能够以简单的方式提供具有多个椎骨区域和对应的关键概念的大的训练组，例如通过参考存在的具有所属的检查结果的患者照相。以所述方式提供的训练组于是能够用于，学习椎骨区域的低维的数据编码，必要时学习相似度以及用椎骨区域的参考编码填充数据库。
为了执行方法，在第一步骤中存储脊椎的患者照相，以便探测全部包含的椎骨体。针对所探测的椎骨检测其位置、定向和尺寸。所述探测或检测能够借助于机械学习方法执行，例如借助于所谓的边缘空间学习。
针对相应的探测的椎骨和/或椎骨区域优选定义边界范围，所述边界范围相对于其他的图像图案限定相关的椎骨或椎骨区域。具有相应的椎骨和/或椎骨范围的图像段随后被转换，使得椎骨的或椎骨范围的位置、定向和/或尺寸标准化。作为所述预处理步骤的结果，为相应的椎骨或椎骨区域输出特定的患者图像段，例如计算机X光断层扫描的部分体积。
在另一个可选的步骤中，将每个椎骨和/或椎骨区域分成一组重叠的子区域，所述子区域形成另一组患者图像段。
椎骨的、椎骨区域的和/或椎骨子区域的患者图像段借助于自动编码器AENC编码成学习的低维的编码。编码例如能够基于计算机X光断层扫描的照片的体积的强度值。为了编码，将椎骨的患者图像段输送给自动编码器AENC的输入层L1。输入层L1的由此引起的神经元激活穿过自动编码器AENC的神经网络经由层L2直至最上部的遮盖的层L3。层L3的神经元的由此引起的状态提供用于相应的输入的患者图像段的二元码。所述二元码能够用作为用于在患者图像段中识别的图像图案的减少的低维的编码。自动编码器AENC能够借助于具有未分类的计算机X光断层扫描的数据的大的训练组预训练，而不使用关键概念的内容。随后，能够将尤其重要的诊断相关的关键概念根据其内容划分进而实施监控的反向传播方法，以便精细调节自动编码器AENC的神经网络。
借助于患者图像段的通过自动编码器AENC确定的数据编码，能够由数据查询系统查询以下参考图像段，所述参考图像段与患者图像段在相似度方面尽可能相似。对此，优选地可以执行所谓的近邻查询。分配给最相似的参考图像段的区段特定的关键概念于是能够分配给相关的患者图像段。
基于为椎骨的不同子区域生成的区段特定的关键概念，以及基于其重要值和/或频率，能够生成一组将涉及的椎骨作为整体描述的椎骨特定的关键概念。
此外，为椎骨子区域和/或椎骨作为整体生成的关键概念能够被生成用于将脊椎作为整体描述或描述患者，以便因此提供用于当前检查的患者检查报告。例如，对此输出椎骨连带所分配的诊断相关的关键概念的短的列表、椎骨连同例如三个最重要的和/或最频繁的关键概念的完整列表、用于每个椎骨的关键词直方图和/或用于每个椎骨的关键词云。

Claims (14)

1.用于支持医疗诊断的计算机支持的诊断系统（DS），具有：
a）第一接口（I1），用于读入医学患者照相（PIM）；
b）编码模块（CM），用于借助于未监控的深度学习来机械学习数据编码，并且用于确定包含在所述患者照相（PIM）中的患者图像图案（PM，PS）的深度学习减少的数据编码（DK）；
c）数据库（DB），用于存储多个医学参考图像图案（RM1，RM2，RS1，RS2，……）连同所分配的诊断相关的关键概念（K1，K2，KS1，KS2，……）；
d）比较模块（VM），用于根据相似度（SM）将所确定的数据编码（DK）与在所述数据库（DB）中存储的参考图像图案（RM1，RM2，RS1，RS2，……）的参考编码（RK）进行比较，并且用于选择具有与确定的数据编码（DK）在所述相似度（SM）方面相似的参考编码（RK）的参考图像图案（RS1，RS2）；
e）分配模块（ZM），用于确定分配给所选择的参考图像图案（RS1，RS2）的关键概念（KS1，KS2），并且用于将所确定的关键概念（KS1，KS2）分配给所述患者图像图案（PS），和
f）第二接口（I2），用于以分配给所述患者图像图案（PS）的方式输出确定的关键概念（KS1，KS2）。
2.根据权利要求1所述的诊断系统，其特征在于，所述编码模块（CM）包括神经自动编码器（AENC），用于确定减少的数据编码（DK）。
3.根据权利要求2所述的诊断系统，其特征在于，所述神经自动编码器（AENC）包括输入层（L1），用于输入原始图像数据、低等级图像特征和/或通过卷积神经网络学习的图像特征。
4.根据上述权利要求中任一项所述的诊断系统，其特征在于，用于所述编码模块（CM）的基于深度学习的训练的训练组包括多个医学参考图像图案（RM1，RM2，RS1，RS2，……）。
5.根据上述权利要求中任一项所述的诊断系统，其特征在于，诊断相关的关键概念（K1，K2，KS1，KS2，……）说明分配的参考图像图案的局部特性和/或关于患者的对图像图案具有决定性意义的信息。
6.根据上述权利要求中任一项所述的诊断系统，其特征在于，所述相似度（SM）是机械学习的相似度。
7.根据上述权利要求中任一项所述的诊断系统，其特征在于分段模块，用于确定器官的、器官部分的和/或器官区域的位置、定向和/或尺寸，以及用于将所述患者照相（PIM）分成对器官、器官部分和/或器官区域特定的患者图像段（PS）。
8.根据权利要求7所述的诊断系统，其特征在于，所述编码模块（CM）被设立用于，确定患者图像段（PS）的区段独立的数据编码（DK）。
9.根据权利要求7或8所述的诊断系统，其特征在于，多个具有所分配的诊断相关的关键概念（K1，K2，KS1，KS2，……）的医学参考图像图案（RM1，RM2，RS1，RS2，……）包括多个具有所分配的区段特定的关键概念（KS1，KS2，……）的参考图像段（RS1，RS2，……）。
10.根据上述权利要求中任一项所述的诊断系统，其特征在于，所述分配模块被设立用于，根据确定的数据编码（DK）和与此相似的参考编码（RK）之间的相似度（SM）和/或根据确定所述关键概念的频率来为确定的关键概念（KS1，KS2）分配重要值（REL1，REL2）。
11. 根据权利要求10所述的诊断系统，其特征在于组合模块（AGM），用于根据所确定的关键概念（KS1，KS2）的重要值，将针对不同的患者图像段（PS）确定的关键概念（KS1，KS2）组合成组合的关键概念（KA）。
12.用于支持医学诊断的计算机支持的诊断方法，其中
a）读入医学患者照相（PIM）；
b）借助于未监控的深度学习机械地学习图像图案的数据编码，并且确定包含在所述患者照相（PIM）中的患者图像图案（PM，PS）的深度学习减少的数据编码（DK）；
c）根据相似度（SM）将确定的数据编码（DK）与存储的医学参考图像图案（RM1，RM2，RS1，RS2，……）的参考编码（RK）进行比较，其中为所述参考图像图案（RM1，RM2，RS1，RS2，……）分配诊断相关的关键概念（K1，K2，KS1，KS2，……）；
d）选择具有与确定的数据编码（DK）在相似度（SM）方面相似的参考编码（RK）的参考图像图案（RS1，RS2）；
e）确定分配给所选择的参考图像图案（RS1，RS2）的关键概念（KS1，KS2）并且分配给所述患者图像图案（PS），和
f）将所确定的关键概念（KS1，KS2）以分配给所述患者图像图案（PS）的方式输出。
13.一种计算机程序产品，被设立用于执行根据权利要求12所述的诊断方法，或者用于实现根据权利要求1至11中任一项所述的诊断系统（DS）。
14.一种计算机可读的存储介质，具有存储的根据权利要求13所述的计算机程序产品。
CN201610812655.8A 2015-09-11 2016-09-09 诊断系统 Active CN106529116B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015217429.8 2015-09-11
DE102015217429.8A DE102015217429A1 (de) 2015-09-11 2015-09-11 Diagnosesystem und Diagnoseverfahren

Publications (2)

Publication Number Publication Date
CN106529116A true CN106529116A (zh) 2017-03-22
CN106529116B CN106529116B (zh) 2020-02-11

Family

ID=58160822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610812655.8A Active CN106529116B (zh) 2015-09-11 2016-09-09 诊断系统

Country Status (3)

Country Link
US (1) US10176580B2 (zh)
CN (1) CN106529116B (zh)
DE (1) DE102015217429A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003659A (zh) * 2017-06-07 2018-12-14 万香波 胃幽门螺旋杆菌感染病理诊断支持系统和方法
CN109087701A (zh) * 2017-06-14 2018-12-25 西门子保健有限责任公司 提供次要参数的方法、决策支持系统、介质、计算机程序
CN112236832A (zh) * 2018-06-05 2021-01-15 住友化学株式会社 诊断辅助系统、诊断辅助方法以及诊断辅助程序
CN113056793A (zh) * 2018-11-16 2021-06-29 第一百欧有限公司 基于监督学习的一致性诊断方法及其系统
WO2022017238A1 (en) * 2020-07-20 2022-01-27 International Business Machines Corporation Automatic detection of vertebral dislocations

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
EP3273387B1 (en) * 2016-07-19 2024-05-15 Siemens Healthineers AG Medical image segmentation with a multi-task neural network system
US10282843B2 (en) 2016-10-27 2019-05-07 International Business Machines Corporation System and method for lesion analysis and recommendation of screening checkpoints for reduced risk of skin cancer
US10283221B2 (en) * 2016-10-27 2019-05-07 International Business Machines Corporation Risk assessment based on patient similarity determined using image analysis
US10242442B2 (en) 2016-10-27 2019-03-26 International Business Machines Corporation Detection of outlier lesions based on extracted features from skin images
DE102017100956B4 (de) * 2017-01-18 2022-08-25 Samson Aktiengesellschaft Diagnosesystem und Verfahren zum Kontrollieren der Funktionsfähigkeit eines Stellgeräts zum Beeinflussen einer Prozessmediumströmung einer prozesstechnischen Anlage sowie Stellgerät
KR102475826B1 (ko) 2017-04-21 2022-12-09 삼성메디슨 주식회사 영상 분할 방법 및 그 전자 장치
US10705796B1 (en) 2017-04-27 2020-07-07 Intuit Inc. Methods, systems, and computer program product for implementing real-time or near real-time classification of digital data
US10528329B1 (en) 2017-04-27 2020-01-07 Intuit Inc. Methods, systems, and computer program product for automatic generation of software application code
US10467122B1 (en) 2017-04-27 2019-11-05 Intuit Inc. Methods, systems, and computer program product for capturing and classification of real-time data and performing post-classification tasks
US10467261B1 (en) * 2017-04-27 2019-11-05 Intuit Inc. Methods, systems, and computer program product for implementing real-time classification and recommendations
EP3489861A1 (en) * 2017-11-24 2019-05-29 Siemens Healthcare GmbH Computer-based diagnostic system
US20200311702A1 (en) * 2017-12-05 2020-10-01 Dsi Corporation Dental technical fee automatic calculation system, dental technical fee automatic calculation method, and program
KR102246318B1 (ko) * 2018-10-05 2021-04-30 주식회사 딥바이오 병리 이미지 검색을 위한 시스템 및 방법
US10957442B2 (en) * 2018-12-31 2021-03-23 GE Precision Healthcare, LLC Facilitating artificial intelligence integration into systems using a distributed learning platform
CN110070935B (zh) * 2019-03-20 2021-04-30 中国科学院自动化研究所 基于对抗神经网络的医学图像合成方法、分类方法及装置
CN114663512B (zh) * 2022-04-02 2023-04-07 广西科学院 一种基于器官编码的医学影像精确定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) * 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
CN101231745A (zh) * 2007-01-24 2008-07-30 中国科学院自动化研究所 一种对图像初始分割边界进行优化的自动分割方法
CN101520893A (zh) * 2009-02-23 2009-09-02 暨南大学 一种婴幼儿脑医学计算机扫描图像的分析方法及实现系统
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026145A1 (ja) * 2010-08-27 2012-03-01 コニカミノルタエムジー株式会社 診断支援システム及びプログラム
KR20140055152A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 병변 진단 보조 장치 및 방법
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
EP4057215A1 (en) * 2013-10-22 2022-09-14 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US10949975B2 (en) * 2015-04-13 2021-03-16 Siemens Healthcare Gmbh Patient management based on anatomic measurements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030194124A1 (en) * 2002-04-12 2003-10-16 The University Of Chicago Massive training artificial neural network (MTANN) for detecting abnormalities in medical images
CN101231745A (zh) * 2007-01-24 2008-07-30 中国科学院自动化研究所 一种对图像初始分割边界进行优化的自动分割方法
CN101520893A (zh) * 2009-02-23 2009-09-02 暨南大学 一种婴幼儿脑医学计算机扫描图像的分析方法及实现系统
CN102332162A (zh) * 2011-09-19 2012-01-25 西安百利信息科技有限公司 基于人工神经网络的医学图像兴趣区自动识别和分级压缩方法
CN104700118A (zh) * 2015-03-18 2015-06-10 中国科学院自动化研究所 基于卷积神经网络的肺结节良恶性预测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109003659A (zh) * 2017-06-07 2018-12-14 万香波 胃幽门螺旋杆菌感染病理诊断支持系统和方法
CN109087701A (zh) * 2017-06-14 2018-12-25 西门子保健有限责任公司 提供次要参数的方法、决策支持系统、介质、计算机程序
CN109087701B (zh) * 2017-06-14 2022-05-13 西门子保健有限责任公司 提供次要参数的方法、决策支持系统、介质、计算机程序
US11948683B2 (en) 2017-06-14 2024-04-02 Siemens Healthineers Ag Method for providing a secondary parameter, decision support system, computer-readable medium and computer program product
CN112236832A (zh) * 2018-06-05 2021-01-15 住友化学株式会社 诊断辅助系统、诊断辅助方法以及诊断辅助程序
CN113056793A (zh) * 2018-11-16 2021-06-29 第一百欧有限公司 基于监督学习的一致性诊断方法及其系统
WO2022017238A1 (en) * 2020-07-20 2022-01-27 International Business Machines Corporation Automatic detection of vertebral dislocations

Also Published As

Publication number Publication date
DE102015217429A1 (de) 2017-03-16
CN106529116B (zh) 2020-02-11
US10176580B2 (en) 2019-01-08
US20170076451A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN106529116A (zh) 诊断系统和诊断方法
Geras et al. Artificial intelligence for mammography and digital breast tomosynthesis: current concepts and future perspectives
Abdelrahman et al. Convolutional neural networks for breast cancer detection in mammography: A survey
US11106950B2 (en) Multi-modal medical image processing
Islam et al. Abnormality detection and localization in chest x-rays using deep convolutional neural networks
Gao et al. Classification of CT brain images based on deep learning networks
Liu et al. Hierarchical fusion of features and classifier decisions for Alzheimer's disease diagnosis
Tan et al. Detecting outliers with foreign patch interpolation
US11195273B2 (en) Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory
Azad et al. Advances in medical image analysis with vision transformers: a comprehensive review
CN110114834A (zh) 用于医疗程序的深度学习医疗系统和方法
US20220254023A1 (en) System and Method for Interpretation of Multiple Medical Images Using Deep Learning
Korfiatis et al. Texture classification‐based segmentation of lung affected by interstitial pneumonia in high‐resolution CT
Ashtari-Majlan et al. A multi-stream convolutional neural network for classification of progressive MCI in Alzheimer’s disease using structural MRI images
KR20200095504A (ko) 추골 골절을 식별하기 위한 3차원 의료 이미지 분석 방법 및 시스템
Sander et al. Automatic segmentation with detection of local segmentation failures in cardiac MRI
Moses Deep learning applied to automatic disease detection using chest x‐rays
CN114467146A (zh) 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置
WO2020136119A1 (en) Automated image quality control apparatus and methods
CN112712493A (zh) 使用多参数磁共振成像减少恶性病变的假阳性检测
US11417424B2 (en) Disease detection from weakly annotated volumetric medical images using convolutional long short-term memory and multiple instance learning
US11996184B2 (en) Method and system for detecting pneumothorax
Abdullah et al. Multi-sectional views textural based SVM for MS lesion segmentation in multi-channels MRIs
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
Amini et al. Single and combined neuroimaging techniques for Alzheimer's disease detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant