CN116580819A - 用于自动化地确定图像序列中的检查结果的方法和系统 - Google Patents

用于自动化地确定图像序列中的检查结果的方法和系统 Download PDF

Info

Publication number
CN116580819A
CN116580819A CN202310072989.6A CN202310072989A CN116580819A CN 116580819 A CN116580819 A CN 116580819A CN 202310072989 A CN202310072989 A CN 202310072989A CN 116580819 A CN116580819 A CN 116580819A
Authority
CN
China
Prior art keywords
diagnostic
candidate
frame
community
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310072989.6A
Other languages
English (en)
Inventor
多米尼克·纽曼
穆罕默德·阿基夫·居尔辛
蒂齐亚诺·帕塞里尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN116580819A publication Critical patent/CN116580819A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种用于自动化地确定由多个在时间上相继的帧构成的图像序列中的检查结果的方法，所述方法包括如下步骤：‑对于预设的诊断在各个帧中求取呈关联的图像区域的形式的诊断候选，对于多个诊断候选：‑对于一个帧中的诊断候选求取，另外的帧中的哪些候选图像区域对应于该诊断候选；‑求取诊断候选在另外的帧中的候选图像区域是否与另外的诊断候选重叠；‑产生图形，所述图形具有帧的所求取的诊断候选作为节点和所求取的重叠作为边；‑从借助于边连接的节点中产生社区，其中节点组合成社区。此外，本发明涉及一种对应的系统和一种医学技术系统。

Description

用于自动化地确定图像序列中的检查结果的方法和系统
技术领域
本发明涉及用于自动化地确定图像序列、尤其医学领域中的图像序列中、特别优选地血管造影序列中的检查结果的方法和系统。本发明优选地涉及(冠状)血管造影中的诊断对于时间一致性和尤其也对于多视角的基于图形的聚合。
背景技术
在医学中、但也在其他领域中，自动化地检测动态进程是有利的。下面这以血管造影为例详细阐述。
血管造影是在医学中流行的检查方法，其中脉管、通常血管的放射学的显示借助于诊断成像方法、例如X射线或磁共振断层扫描来执行。在血管造影中，血管清晰地呈现在身体区域的记录(“帧”)上。所述记录是单个图像或投影图像。
对冠状X射线血管造影的范围内的检查自动地评估以跨多个图像和多个视图(帧)一致地识别、定位和精确地量化临床重要的诊断(例如狭窄)需要鲁棒的数据处理和先进的算法。例如，提供用于从血管造影检查中自动地推导和告知诊断的功能的系统(此外)会需要以下能力：
-识别重要的或最佳的诊断视图，
-在诊断视图中的由多个心动周期构成的典型的序列中识别用于估计对于每个病变的一个/多个最佳的帧(良好的对比度等)的最佳的心动周期。
-对血管腔分区，
-标记分支，
-在每帧中对狭窄进行识别和分级，
-在多个帧(和多个视图)中对识别出的狭窄(和评估结果)进行聚合，
-对于人类可读的报告，包括诊断的列表、关键图像，可能的简化的图表等。
典型地，血管造影由医学专家手动地评定。在此，所述医学专家凭借其经验以及在整个心动周期期间的多个视图中的信息来以高的可靠性跟踪诊断(病变、狭窄、完全闭塞和其他异常)以及选择一个最佳的帧或多个最佳的帧用于精确的分析(识别、分级、定位、定性比较分析(QCA)、其他评估)。
近年，一些出版物专注于所述方面中的一些方面的自动化。然而，在那里没有描述用于在整个X射线血管造影检查层面上分析结果的一般性的、可扩展的机制，其中跨多个时间范围和多个视图对由所有可用数据构成的“名单”的应用最大化，并且不需要用户的动作。例如，V.Danilov等人(“Real-time coronary artery stenosis detection based onmodern neural networks,”Nature Scientific Reports,卷11:7582,2021)专注于利用常见的神经网络架构在帧层面探测狭窄。C.Cong等人(“Automated stenosis detection andclassification in X-ray angiography using deep neural network”，IEEEInternational Conference on Bioinformatics and Biomedicine,第1301-1308页,2019)描述了用于基于激活地图和基本分级步骤的视图选择、帧选择和狭窄分类/识别的多级框架，所述基本分级步骤尝试将帧分类成两个类别：所述帧是否显示明显的狭窄。然而这在图像层面、而不在狭窄层面发生，并且没有描述QCA或分级在狭窄层的符合规定的集成。
尽管存在所述方案，但是现今，这种检查、尤其在医学领域中的这种检查的自动化尚未贯彻，并且所述检查仍“手动地”由专业人员执行。这在于，尽管可以自动化地检查单个图像、例如通过对应地训练的机器学习算法(通常深度学习模型)自动化地检查单个图像，然而由于缺少关联关系，对整个图像序列的评估是不可行的。
发明内容
本发明的目的是提出一种用于自动化地确定图像序列中的检查结果的方法和一种对应的系统，借助所述方法和所述系统可以避免上述缺点并且尤其可以自动化地检查医学图像序列。在此，目标不是预估专业人员的诊断，而是可以为专业人员提供最优的准备工作。
所述目的通过根据本发明的方法、根据本发明的系统以及通过根据本发明的医学技术系统来实现。
根据本发明的方法用于自动化地确定由多个在时间上相继的帧构成的图像序列中的检查结果。在本发明的范围内，用原始的英文术语“帧”(Frames)表示图像序列的单个图像，因为所述术语在德语中也经常用于这种单个图像。图像序列优选地是医学图像序列、尤其血管造影序列并且始终显示相同的主题。尽管记录单元的运动完全有可能(如果所述运动是已知的并且能够以计算的方式检测)，然而优选的是，每个帧精确地显示相同的场景(其中所记录的对象本身完全可以运动，如例如跳动的心脏)。尽管单个图像(帧)优选地是2D图像(尤其投影图像、例如X射线图像或超声图像)，然而所述方法也完全可以借助3D图像作为帧来执行(例如借助重建的CT或MRT记录)。
所述方法包括以下步骤：
-对于预设的诊断在各个帧中求取呈关联的图像区域的形式的诊断候选，
对于多个诊断候选(尤其对于所有诊断候选)：
-对于一个帧中的诊断候选求取：另外的帧中的哪些候选图像区域对应于该诊断候选，
-求取重叠，所述重叠说明：诊断候选在另外的帧中的候选图像区域是否与另外的诊断候选重叠，
-产生图形，所述图形具有帧的所求取的诊断候选作为节点和所求取的重叠作为边，
-从借助于边连接的节点中产生社区，其中节点组合成社区。
社区现在可以输出或用于进一步的检查、例如用于跨帧的检查。优选地，所述方法在X射线血管造影检查的范围中使用，尤其用于自动化的狭窄识别或狭窄评估、定量冠状血管造影(QCA)或管腔分区。
在所述方法中预设诊断。这可以手动地执行、在预先设定中进行或通过选择和训练诊断实例来规定。在血管造影的情况下，诊断例如可以是狭窄。因为借助帧的时间序列工作，所以所述方法对于涉及动态现象的诊断是特别有利的，亦即：所述动态现象的诊断可以从时间进程中推导出。帧中的自动诊断可以通过经训练的机器学习模型来执行，如在下文中还更详细地阐述。理论上，诊断也可以通过专业人员进行。
所求取的诊断候选是各个帧中的关联的图像区域。在数字图像中，所述图像区域优选地是像素区域(由此也包括各个像素)。原则上，未设置在像素矩阵中的其他类型的数据也可以用于图像区域：例如点云、表面“网格”或有限的矢量化区域。然而，借助像素区域作为图像区域可以非常好地对随后的过程进行可视化。
对多个诊断候选执行所述方法的其他步骤。如果对所有诊断候选执行步骤，则方法是特别有效的，其中在计算密集的评估中可以完全忽略个别的诊断候选，例如当所述个别的诊断候选基于明显的错误判断时。然而，对诊断候选的错误判断也可以恰好借助以下步骤的执行来识别。
以下步骤基于图论(Graphentheorie)。所述图论涉及由节点和边(即在节点之间的“连接”)的集合构成的图形、尤其节点的特性和节点相对于彼此的关系。在图论中，在此检查以所述方式由节点和边产生的网络的抽象结构，所述网络称为“图形结构”或简称为“图形”。
本发明将图论用于求取社区(英文：“Communities”；或社区结构，英文：“Community structure”)。在图论的范围中，当网络的节点可以分组成节点集，使得每个节点集在内部经由其边紧密地连接时，提及社区。这优选地意味着，社区具有在内部具有紧密的连接和与其他节点(其他社区)的较少连接的节点的组。
为了形成图形以及求取社区，首先对于一个帧中的相应的诊断候选求取：另外的帧中的哪些图形区域对应于该诊断候选。因为帧示出时间进程并且分别显示相同的主题，所以检查诊断候选的图像区域随着时间如何改变以及诊断候选在另外的帧中如何映射。为了更好地理解，将代表诊断候选的所述图像区域称为“候选图像区域”。例如，在冠状血管造影序列的帧中识别一系列可能的狭窄并且标记所述狭窄(各个诊断候选)。因为心脏在记录的时间中运动，所以心脏在每帧中略微不同地映射。然而因为所述运动是已知的，所以可以求取：潜在的狭窄的位置(候选图像区域)应处于哪个帧中。
各个诊断候选随后在图形中成为节点。借助在时间上的传播、即所求取的诊断图像区域，现在求取用于诊断候选的边。这通过检查诊断候选在另外的帧中的候选图像区域是否与另外的诊断候选重叠来进行。这能够以图像的方式设想，在帧中绘制诊断候选和诊断候选中的一个诊断候选的候选图像区域，并且然后观察是否存在重叠。当然，重叠能够以纯计算的方式来求取。
借助作为节点的诊断候选和作为边的重叠，现在可以创建图形。应注意，所述图形首先仅代表另外的诊断候选与正好考虑的这个诊断候选的关系。在考虑多个诊断候选之后形成图形时，所述图形可以具有由节点构成的极其复杂的网络。
所述图形可以非常简单地构成，其方式为，仅以二进制的方式描绘：另一诊断候选与候选图像区域在帧中存在重叠(在所考虑的诊断候选与另一诊断候选之间的边)还是不存在(没有边)。但是边的由重叠的程度构成的强度也可以考虑到图形中(在强重叠的情况下为“强”边，在弱重叠的情况下为“弱”边)。
现在基于图形产生社区，所述社区也可以称为“诊断候选社区”。在此，在简单的情况下(二进制)，借助于边连接的节点可以简单地组合成社区。如果边具有不同的强度，则可以将强度与阈值进行比较，并且仅将从特定的强度起的边视为是对于社区形成重要的，并且忽略其他的过弱的边。
即使当可以对于每个图形(上述各个图形)单独地执行形成社区的步骤时，特别优选的是，首先对于多个所考虑的诊断候选执行在上文中阐述的步骤。为此应注意，在求取诊断候选之后的方法步骤并非仅应对一个诊断候选执行，而是应对于多个诊断候选、尤其所有诊断候选执行。由此可以产生多个图形，其中边分别基于一个节点(即当前考虑的诊断候选)，或者可以产生包括所有边(所述边那么从所有考虑的诊断候选起始)的唯一的图形。可以在形成图形之后直接根据社区来检查所述图形，然而有利的是，首先形成所有图形，或在得出的图形中创建所有边，并且随后才搜索社区。
为了形成社区，现在可以共同地检查所有图形或具有共同的边的单个图形。所述组合的方法具有特别的优点：在一个帧中的两个诊断候选在社区中进行组合并且还可以揭示在这两个诊断候选之间的其他关联关系，这两个诊断候选都与与另一帧中的诊断候选相关联。
因此，本发明专注于在图像序列、尤其X射线血管造影序列中跨多个帧对诊断进行聚合，并且也可以跨多个视图进行，如在更下文中更精确地描述的那样，例如同一患者在不同的记录角度的情况下或在不同的时刻的多个血管造影序列。
根据本发明的用于自动化地确定由多个在时间上相继的帧构成的图像序列、尤其血管造影序列中的检查结果的系统包括以下部件：
-诊断单元，其设计用于对于预设的诊断在各个帧中求取呈关联的图像区域的形式的诊断候选，
-传播单元，其设计用于对于一个帧中的诊断候选求取：另外的帧中的哪些候选图像区域对应于该诊断候选，
-关系单元，其设计用于求取重叠，所述重叠说明：诊断候选在另外的帧中的候选图像区域是否与另外的诊断候选重叠，
-图形单元，其设计用于产生图形，所述图形具有帧的所求取的诊断候选作为节点和所求取的重叠作为边，
-社区单元，其设计用于从借助于边连接的节点中产生社区，其中节点组合成社区。
所述系统也可以包括用于输出社区的输出单元或用于社区的进一步检查的诊断单元。
借此，所述系统可以跨多个帧(和必要时多个视图)跟踪相同的诊断并且尤其设计用于，在输入(多重视图)X射线血管造影检查之后产生跨多个帧(和多个视图)的具有对应性的狭窄诊断的列表。优选地，所述系统设计用于执行根据本发明的方法。
借此，本发明可以有助于避免在患者层面报告双重诊断以及改进诊断和相关的测量的可靠性。此外，本发明尤其可以进一步改进自动的狭窄识别和评估以及用于自动化分级或QCA或管腔分区的算法，因为结果可以由多个单帧组合，以便生成更好的估计、过滤噪声或识别错误。
根据本发明的医学技术系统尤其是诊断系统或血管造影系统，但是例如也可以是CT系统或MRT系统。所述医学技术系统包括根据本发明的系统和/或设计用于执行根据本发明的方法。
所述系统的上述部件的大部分可以完全地或部分地以软件模块的形式在对应的计算系统的处理器中实现。在很大程度上以软件方式的实现方案具有如下优点：也能够以简单的方式通过软件升级来改装至今就已经使用的计算系统，以便以根据本发明的方式工作。就此而言，所述目的也通过具有计算机程序的对应的计算机程序产品来实现，所述计算机程序可以直接加载到计算系统中，所述计算机程序产品具有程序段，以便当在计算系统中执行程序时，执行根据本发明的方法的步骤。除了计算机程序之外，这种计算机程序产品必要时可以包括附加的组成部分、如例如文档和/或附加的部件，也可以包括硬件部件、如例如用于使用软件的硬件密钥(软件狗等)。
计算机可读介质，例如记忆棒、硬盘或其他便携式的或固定安装的数据载体能够用于运输至计算系统或控制装置和/或用于存储在计算系统或控制装置处或存储在计算系统或控制装置中，在所述计算机可读介质上存储有计算机程序的由计算系统可读取且可执行的程序段。为此，计算系统例如可以具有一个或多个协作的微处理器等。
本发明的其他的、特别有利的设计方案和改进方案从下面的描述中得出，其中一个实施例类别的实施例也可以与另一实施例类别的实施例和描述部分类似地改进，并且不同的实施例或变型方案的各个特征尤其也可以组合成新的实施例或变型方案。
根据优选的方法，诊断候选是医学诊断的代表。所述诊断尤其是病理学的诊断，然而，其中这不是强制性的。这原则上也可以是关于另外的解剖学特征的任意诊断，例如脉管的分叉。然而所述方法在血管造影的领域中是特别有利的。因此，诊断候选特别有利地是所述领域中的诊断。优选的诊断候选代表脉管壁不规律性、尤其狭窄的诊断。应注意，诊断候选在此仅是图像中的区域、例如关联的像素组。因此，在此使用术语“代表”，因为所述区域(以图形的方式)描绘诊断。
优选的方法涉及有利地求取诊断候选。所述方法包括如下步骤：
-在所检查的帧中产生特征地图，在所述特征地图中分别用至少一个用于诊断候选的概率值来标记区域、尤其像素，尤其利用借助具有手动标记的诊断候选的真实的帧训练的图像到图像(Bild-zu-Bild)卷积网络，
-优选地借助于将概率值与极限值进行比较，基于特征地图形成关联的图像区域(Bildbereichen)，并且尤其借助于连通分量分析(Connected-Componenten-Analyse(CCA))，形成关联的图像区域，在该关联的图像区域中，概率值超出极限值，
-输出所述区域作为诊断候选。
因此，在产生的特征地图(英文：“Activation Map”或“Feature Map”)中，在所检查的帧中不存在纯图形的图像信息，而是其中具有用于诊断候选的不同的概率值的区域。例如，特征地图具有与原始帧相同的分辨率，其中特征地图的每个像素对应于帧的一个像素，并且特征地图的每个像素现在具有说明如下内容的值：图像中的对应的像素以何种概率示出诊断或是诊断的一部分。
特征地图的产生借助对此训练的机器学习模型、尤其所述图像到图像卷积网络(例如U-Net)进行。这种模型的训练可以借助真实的帧进行，在所述真实的帧中，诊断候选已经被手动标记。
除了输出特征地图之外，这种算法也可以优选地产生不确定性地图(英文：“Uncertainty Map”)以用于比较或作为输出的狭窄概率的置信度。这种不确定性或置信度量度可以用于，在所述阶段中或在随后的步骤中的一个步骤的范围内过滤或改进狭窄候选的结果。
现在可以基于所述特征地图形成关联的图像区域，例如简单地通过将特征地图的相似区域进行组合和图像区域的对应的组合。
为此，优选地，将所获得的特征地图(其概率值)与极限值进行比较。在此可以容易地看出：特征地图的哪些概率值高于预设的极限值。特征地图的从中得出的部分(所述部分超出(jenseits)极限值)现在被组合并且与此对应地在图像中组合关联的图像区域。组合成关联的图像区域在此是现有技术，例如利用连通分量分析(CCA)的优选的方法。
那么，所求取的关联的图像区域是诊断候选。优选地，所述诊断候选被编号或设有地址或标识，借此在随后的方法步骤的范围内可以更好地处理所述诊断候选。
优选的方法研究对于在帧的一个帧中的诊断候选求取在另外的帧中的对应的候选图像区域。所述方法包括以下步骤：
-估计变形场，所述变形场对在帧中映射的图像区域在第一帧与第二帧之间的运动进行建模，其中两个帧优选地在时间上相邻，
-借助于变形场将第一帧的诊断候选的图像区域配准于第二帧的候选图像区域。
因此考虑，所考虑的诊断候选的图像区域在所考虑的两个帧的记录之间的时间中如何改变。在此，变形场描绘所述改变或包含关于所述改变的数据。这种变形场在现有技术中是已知的并且包含先前已知的运动信息。例如，人类心脏的运动充分已知，从而在心脏处和在心脏中的脉管的运动也充分已知。在冠状血管造影中已知的是，心脏在帧中精确地处于何处(所述心脏当然在帧中映射)从而在了解帧在时间上在心动周期中处于何处的情况下，可以预测心脏对于下一帧的改变，从而也可以预测哪个图像区域在下一帧中如何映射。
但是也可行的是，仅根据所考虑的两个帧的图像信息来计算变形场。为此，将第一帧配准于第二帧(图像信息通过几何改变、如例如压缩和伸长相协调)。那么，为此所需的几何改变是变形场。
如果求取了变形场，则所述变形场可以用于将第一帧的图像区域、即诊断候选配准于第二帧中的对应的图像区域。为了更好的区分，第一帧的运动的图像区域在第二帧中被称为“候选图像区域”。在所记录的主题中，图像区域和候选图像区域始终示出同一区域。
简言之，看出第一帧的诊断候选在第二帧中将处于哪里，以及所述第一帧的诊断候选在那里看起来如何。例如，变形场可以说明脉管在两帧之间的改变。
可以分别基于作为第一帧的诊断候选的帧对于分别作为第二帧的所有另外的帧来执行所述优选的方法。然而优选的是，第一帧和第二帧在时间上是相邻的、即直接彼此跟随。这具有如下优点：变形场仅必须映射小的时间段。因此，优选地计算图像区域到分别在时间上相邻的帧的候选图像区域上的传播。这优选地通过如下方式进行：对于分别在时间上相邻的帧计算或提供变形场，并且在将第一帧的诊断候选的图像区域配准于第二帧的候选图像区域之后，将第二帧中的(在候选图像区域上)配准的诊断候选视为新的诊断候选。然后，在重新经历优选的方法时，第二帧成为第一帧并且在时间上相邻的下一帧成为第二帧。因此，上述方法步骤又应用到先前经历的方法的结果上(必要时借助分别不同的变形场)。也可以计算在相邻的帧之间的变形场并且然后顺序地应用所述变形场，以便例如将帧1中的诊断候选映射到帧4上，其方式为，将顺序的过渡T1-2、T2-3、T3-4应用到诊断候选上。替选地，也可以直接计算从帧1至帧4的变形场，然而这可能伴随着提高的不精确性。
因为可能出现诊断候选仅部分地与候选图像区域重叠的情况，所以这可以在图形的边中识别。
为此，根据优选的方法将权重与边相关联。所述权重优选地基于重叠的程度，特别优选地利用用于诊断候选的对应的图像区域的相似性分析或距离分析、尤其Dice系数。相似性和距离量度、尤其Dice系数的求取在现有技术中是已知的。在一个简单的示例中，可以求取归一化的量度，所述归一化的量度说明：诊断候选与候选图像区域的重叠有多大，例如诊断候选的图像区域的何种百分比与候选图像区域重叠。
替选地或附加地，重叠的程度或边的权重可以基于进一步的检查来确定。在此，优选的是考虑帧的时间间距，因为较大的时间间距意味着是否正确地求取候选图像区域的较大的不确定性。也可以简单地求取说明候选图像区域和诊断候选多强地彼此重叠的概率或不确定性值。在此，多个方案是可行的。例如，可以使用U-Net模型中的不确定性地图。例如当仅存在部分的重叠并且重叠的区域处于增加的“不确定性”的环境中时，可以减小边权重。然而，重叠的计算不必强制性地利用变形场来进行，而是基于机器学习的方案也是可行的，所述方案直接确定一种“重叠量度”。这例如可以通过如下方式实现：借助重叠的诊断候选的对来训练机器学习模型。那么，这种方案除了“重叠概率”之外，必要时也可以输出不确定性量度。
根据优选的方法，将图论中的算法应用于产生社区。图论和用于产生社区的一般算法在现有技术中是已知的。在此优选的是，借助于根据预设的标准对边和/或节点进行修剪来产生社区，然后执行在图像上连接的节点的分析，以用于求取社区，并且从连接的节点中产生社区。因此，在此在形成社区时首先不考虑一些边或节点，例如明显不可能是社区的一部分的节点(例如因为所述节点的诊断候选是错误)或明显不贡献于社区的边(例如因为所述边是过于不确定的)。所述修剪尤其基于边的上述权重，其中特别优选地，将边的权重(或“强度”)与预设的极限值进行比较，并且其权重低于极限值的所有边在形成社区时不考虑(“裁剪”)。替选地，优选的是，借助于社区算法产生社区，尤其基于最小交会法(Minimum-Schnitt Methoden)、分级聚类、Girvan–Newman算法、模块性最大化、统计干扰或基于集团的方法(Cliquenbasierten Methoden)。所述最小交会法是现有技术。
根据优选的方法，将同一帧中的多个诊断与相同的社区相关联。借此意味着，同一帧中的相同的诊断的多个诊断候选与相同的社区相关联和/或(该帧中的)不同的诊断的诊断候选与相同的社区相关联。就第一替选方案而言，应注意，在考虑多个诊断候选时证实，一个帧的两个诊断候选与(另一帧中的)另一诊断候选的(在所述帧中的)候选区域重叠。那么，所述两个实际上分开的诊断候选与相同的社区相关联。就第二替选方案而言，所述方法也可以同时应用于多个诊断。由此产生用于不同诊断的诊断候选。所述诊断候选在产生社区时可以分开地处理或在社区中也可以将诊断候选组合成不同的诊断。
根据优选的方法，评估社区的结构并且基于此选择图像序列的一个帧作为关键帧(英文：“Key-Frame”)。在此优选的是，用于识别出的诊断的关键帧通过如下方式来选择：求取在社区内获得最大支持的节点(所述节点代表诊断候选)。那么尤其地，其中映射所述节点的帧简单地被选择为关键帧。但是，所述帧也可以叠加另外的帧的诊断候选的投影和/或另外的帧中的所求取的节点的候选区域的投影。优选地，所述节点的求取基于用于支持的定量量度。用于支持的量度优选地是另外的节点的边的数量和/或权重。替选地，用于支持的量度优选地由图论推导出，尤其从将重要性指数与图形内的每个节点相关联的图形中心性算法(现有技术)中推导出。这得出用于自动地提取用于每个诊断的关键帧的机制，所述机制对于自动地创建(人类)可读的视觉报告是有利的。
为此，优选的系统包括关键帧单元，所述关键帧单元设计用于如在上文中描述的那样求取关键帧。优选地，在此利用图形社区结构的特性来求取帧。
但是在存在多个图像序列的情况下，所述方法也是有利的，所述图像序列从不同的记录位置中或在不同的检查中被记录。所述多重视图聚合能够以不同的方式实现。
优选地，对于分别由多个在时间上相继的帧构成的多个图像序列执行所述方法，所述图像序列从不同的记录位置中或在不同的检查中被记录。在此，图像序列中的诊断候选在(尤其共同的)图形中组合。
在此，在第一替选方案的范围内优选的是，在多重视图聚合的范围内，在不同的图像序列中的诊断候选的节点之间产生边，尤其利用3D重建和/或多视图匹配算法。在此，优选地形成具有所有发现的诊断候选作为节点的图形，其中不同的图像序列中的诊断候选可以设置在不同的区域中(例如在附加的高度维度中)，并且然后在节点之间形成边，其中对于多个的诊断候选(尤其所有诊断候选)附加地根据原始的方法执行以下步骤：
-对于第一图像序列的一个帧中的诊断候选求取：第二图像序列的另外的帧中的哪些候选图像区域对应于该诊断候选，
-求取诊断候选在第二图像序列的帧中的候选图像区域是否在那里与另外的诊断候选重叠。
对于诊断候选，优选地借助于以下步骤求取另外的帧中的对应的候选图像区域：
-估计变化场，所述变化场对两个图像序列之间的记录位置或检查参数的区别进行建模，
-借助于变化场将第一图像序列中的诊断候选的图像区域配准于第二图像序列的帧的候选图像区域。
在记录位置的改变方面可简单地估计变化场，因为记录位置的改变是已知的。因为主题基本上保持不变并且仅记录仪器运动，所以可以简单地通过在空间中的位移和旋转(必要时附加地通过旋转点的位移来限定)代表变化场。确定变化场的另一可行性是对极几何学。例如，在血管造影序列中，记录几何学是已知的。因此已知的是，辐射源和探测器分别距患者何种角度和何种间距。因此，在两个不同的记录(图像序列)中，可以借助于在现有技术中已知的对极几何学来求取：在第一图像序列中的帧中的哪个区域中映射第二图像序列中的帧中的点。但是，对极几何学在此通常仅限定涉及的点必须处于的线。点在线上精确地处于何处在此是未知的。然而，所述信息也可以用于形成边：如果第一图像序列的帧A中的诊断候选处于第二图像序列的图像B中的诊断候选的外极线上，则在对应的节点之间添加边。所述边可以优选地反映在诊断候选之间的重叠的程度。在此优选的是，随后进一步过滤所述结果或将附加的信息包含到边创建中，例如脉管区段是否相同。为此可以事先将脉管区段相关联。替选地，相似性量度也可以应用于将诊断候选相关联。
在不同的检查(所述检查完全可以彼此隔开数小时、数天、数月或数年)方面，变化场可以对应于变形场，如在上文中描述的那样，尤其当在检查时身体状态未显著改变时。例如，在患者的心跳处没有明显改变。然而，记录角度可以改变。因此，变化场也可以是(时间上的)变形场和(空间上的)变化场的混合，如在上文中描述的那样。如果检查参数几乎相同，则变化场也可以简单地是相同的。
优选的是，第二图像序列中的帧在时间上对应于第一图像序列中的诊断候选的帧。借此意味着，在限定的运动(例如心动周期)中，所考虑的两个帧描绘运动的相同的相对时刻(或至少一个对应的时刻)。但也可行的是，借助变化场以及附加地变形场(参见上文)来工作。
以所述方式得出相当复杂的图形，然而所述图形能够以简单的方式评估以用于以图形技术的方式产生社区，因为仅边和节点的数量比在应用到图像序列中的唯一的图像序列上的情况下更大。
替选地或附加地，在第二替选方案的范围内优选的是，多个视图的聚合逐步地或分级地实现，尤其地，其中首先对于每个图像序列单独地计算社区，并且然后形成具有图形的所述社区作为节点的社区图形，并且所述社区图形的节点又在社区中组合。
因此，在社区图形中，各个诊断候选不再作为节点存在，而是首先对于每个图像序列求取各个图形并且从中求取社区。所述社区可以在各个图像序列的帧中标记或在代表图像序列的单个帧中示出。现在，又与在第一替选方案中一样，将变化场(基本上是相同的，因为涉及记录位置的相同的改变)应用于所述帧并且求取社区的重叠。那么，所述重叠得出社区图形的边。借助于所述边，图形的节点可以(如在上文中对于诊断候选那样)组合成“超(Supra)”社区。
对应的系统设计用于处理分别由多个在时间上相继的帧构成的多个图像序列，所述图像序列从不同的记录位置中或在不同的检查中记录。所述系统设计用于将图像序列中的诊断候选在图形中组合。优选地，图形单元设计用于：
-在多重视图聚合的范围内，在不同的图像序列中的诊断候选的节点之间产生边，或者
-多个视图的聚合逐步地或分级地实现，尤其地，其中首先对于每个图像序列单独地计算社区，并且然后形成具有图形的所述社区作为节点的社区图形，并且所述社区图形的节点又在社区中组合。
优选地，对于根据本发明的方法使用基于KI的方法(KI：“人工智能(KünstlicheIntelligenz)”)。人工智能以基于机器的学习的原理为基础，并且通常借助对应地训练的学习算法来执行。通常，英文表达“Machine Learning”用于基于机器的学习，其中在此也包括“深度学习(Deep Learning)”的原理。
优选地，本发明的部件作为“云服务(Cloud-Dienst)”存在。这种云服务用于数据的处理，尤其借助于人工智能，但是也可以是基于传统算法的服务或是其中通过人在后台进行评估的服务。通常，云服务(下面也简称为“云”)是IT基础设施，其中例如存储空间或计算能力和/或应用软件经由网络提供。在使用者与云之间的通信在此借助于数据接口和/或数据传输协议来进行。在当前存在的情况下特别优选的是，云服务不仅提供计算能力而且提供应用软件。
在优选的方法的范围内，将数据经由网络提供给云服务。所述云服务包括计算系统、例如计算机集群，所述计算系统通常不包括用户的本地计算机。所述云尤其可以通过医学装置提供，所述医学装置也提供医学技术系统。例如，图像记录的数据经由RIS(放射学信息系统)或PACS发送给(远程)计算系统(云)。优选地，云的计算系统、网络以及医学技术系统是数据技术的意义上的结合。所述方法在此可以借助于网络中的指令状况来实现。在云中计算的数据(“结果数据”)随后又经由网络发送至使用者的本地计算机。
附图说明
下面参照附图根据实施例再次详细阐述本发明。在此，在不同的附图中，相同的部件设有相同的附图标记。附图通常不是合乎比例的。附图示出：
图1示出关于示例性的方法的流程的方框图，
图2示出优选的医学技术系统，
图3示出在实践中的示例性的方法的流程，
图4示出具有不同的记录位置中的多个图像序列的方法。
具体实施方式
图1示出关于用于自动化地确定由多个在时间上相继的帧F构成的图像序列S中的检查结果的示例性的方法的流程的方框图(为此也见图3和图4)。所述方法例如可以在血管造影的领域中执行以用于求取狭窄。
在步骤I中，对于预设的诊断在各个帧F中求取呈关联的图像区域的形式的诊断候选K。如在从上向下的方框中所表明，为此首先在所检查的帧F中产生特征地图M，在所述特征地图中，分别用至少一个用于诊断候选K的概率值来标记区域、在此为像素。不同的阴影线在此应表明不同的概率。阴影线越紧密，概率就越高。这可以优选地利用已经借助真实的且手动标记的记录训练的图像到图像卷积网络来实现。在创建特征地图M之后，将概率值与极限值进行比较并且形成关联的图像区域P，尤其借助于连通分量分析。在所述示例中，仅在中部的用紧密阴影线表示的、实线包围的区域高于极限值。那么将所述区域P定义为诊断候选K。在此，诊断候选K可以完全直接通过图像区域P、即在此通过像素组来描绘。但是，所述诊断候选K也可以通过与这种图像区域P的关联来描绘。
如借助向后的箭头所表明的，对于多个、尤其对于所有诊断候选K执行下面的步骤。如在此所表明的，造成的图形G在此可以包含所有结果并且随后的步骤仅执行一次(如在此所示出的)，或可以形成各个图形G并且对于各个图形G执行步骤(然而这总体上可能更繁琐)。
在步骤II中，对于第一帧F中的诊断候选K求取：第二帧F1中的哪些候选图像区域B对应于所述诊断候选K。为此，在此首先估计变形场D，所述变形场D对在第一帧F中映射的诊断候选K在第一帧F与第二帧F1之间的运动进行建模。在所述示例中，两个帧F、F1在时间上相邻，即在记录时彼此跟随。在此，借助于变形场D执行将第一帧F的诊断候选K的图像区域P配准于第二帧F1的候选图像区域B。
在步骤III中求取：在第二帧F1(和另外的帧)中的诊断候选K的候选图像区域B是否与另外的诊断候选K重叠。在此，不仅能够以二进制的方式决定是否存在重叠，而且也可以确定重叠的程度，尤其利用用于诊断候选K的对应的图像区域的Dice系数。然后可以从中求取用于随后产生的边E的权重，尤其附加地在考虑帧F、F1的时间间距和/或第二帧F1中的诊断候选K与所述第二帧F1中的候选区域B的相似性的情况下。
在步骤IV中，产生具有所求取的诊断候选K作为节点N和所求取的重叠作为边E的图形G。如通过线的不同粗度所表明的那样进行加权。向后的箭头源自所述方框，这应表明图形G在方法的进程中用边E来填充。如果仅考虑唯一的诊断候选K，则边E仅源自所述诊断候选K的节点N。如果考虑所有诊断候选K，则边E源自所有节点N并且形成复杂的网络。
如在上文中所表明的，也可以为诊断候选K的每个检查创建单个图形G。然而，为了经由社区C获得更精确的结果，那么必须将各个图形G再次彼此联系，这需要附加的耗费。
在步骤V中，从借助于边E连接的节点N中产生社区C，其中节点N组合成社区C。如在此可看出，与步骤IV相比，在评估诊断候选K期间还得出另一实线的边E，因此社区C包括三个节点N或诊断候选K。
通常，在所述步骤中形成多个社区C。在此，单独的节点N也可以被视为独立的社区C。这与预设定相关。例如可以规定：单独的节点N不视为社区C(如在此所表明的)。
图论中的算法可以应用于产生社区C。例如可以借助于尤其基于在上文中提及的权重根据预设的标准对边E和/或节点N进行修剪来产生社区C，然后可以对图形G上的连接的节点N执行分析以求取社区C，并且从连接的节点N中产生社区C。替选地，可以借助于社区算法来产生社区C。
在这里示出的流程中，附加地评估社区C的结构并且基于此选择图像序列S的帧F、F1作为关键帧KF。例如可以通过如下方式选择关键帧KF：求取在社区C内获得最大支持的节点N。
就关键帧KF而言，所述关键帧KF可以是有利的，以便将社区C中的多个帧减少到唯一的“屏幕截图(Screenshot)”，所述屏幕截图在最佳地适合于此的图像上快速地示出识别出的诊断(例如没有与另外的脉管重叠)。这种具有附加的叠加(QCA，……)的关键帧KF通常在打印的报告或PDF报告中使用或用于患者通信。
在所述根据本发明的基于图形的框架(Frameworks)内，图形社区结构的特性可以用于推导出最佳适合的帧F作为关键帧KF。例如可以对于识别出的诊断选择所述关键帧KF，其方式为：求取在社区C内获得最大“支持”的诊断候选K(节点N)。支持例如可以定义为具有另外的节点N的最多边E的节点N。替选地或补充地，用于每个节点N的详细的边E的权重可以相加。从图论的角度来看，可以使用将重要性指数与图形内的每个节点相关联的图形中心性算法。
图2示出优选的医学技术系统1、例如血管造影系统。医学技术系统1是C型臂X射线设备1，在所述C型臂X射线设备1的C型臂2处设置有X射线源3和面状的X射线探测器4。C型臂2构成为，使得所述C型臂2可以围绕检查对象执行旋转运动并且在此期间从不同的投影方向(箭头)记录一系列投影图像。这种具有随后的重建的记录方式例如被称为所谓的锥形射线CT或也被称为DynaCT。C型臂X射线设备1借助于系统控制单元5操控，所述系统控制单元5具有呈根据本发明的系统6的形式的计算单元6。为了显示结果，显示单元7以计算机终端7的形式设置，所述计算机终端7也完全可以处于另一空间中。
根据本发明的用于自动化地确定在由多个在时间上相继的帧F、F1构成的图像序列S中的检查结果(例如图1、图3和图4)的系统6设计用于执行根据本发明的方法(例如参见图1)并且包括如下部件：
诊断单元10，其设计用于对于预设的诊断在各个帧F、F1中求取呈关联的图像区域的形式的诊断候选K。
传播单元11，其设计用于对于一个帧F中的诊断候选K求取：另外的帧F1中的哪些候选图像区域B对应于该诊断候选K。
关系单元12，其设计用于求取重叠，所述重叠说明：诊断候选K在另外的帧F1中的候选图像区域B是否与另外的诊断候选K重叠。
图形单元13，其设计用于产生具有所求取的诊断候选K作为节点N和所求取的重叠作为边E的图形G。
社区单元14，其设计用于从借助于边E连接的节点N中产生社区C，其中节点N组合成社区C。
以及关键帧单元15，其设计用于求取关键帧KF。
图3示出示例性的方法的流程，如所述方法在实践中可以在图像序列S(在此血管造影序列)中实现以用于诊断狭窄。图像序列在此总计包括代表原则上任意多个单个记录的五个帧F0、F、F1、F2、F3(附图的第一行)。
首先求取狭窄诊断候选K。在此，在单图层面上工作的算法识别可能属于狭窄的图像区域，所述算法在此以放大镜的形式表明。为此，在实际的实现方案中可以使用借助对应的手动狭窄注释对真实数据训练的图像到图像卷积神经网络(例如U-Net)。在此例如输出特征地图M(参见图1)，其中具有高狭窄概率的像素具有较大的值。将所述特征地图M与极限值进行比较并且开始连通分量(CC)分析，以便将所述特征地图M减少到狭窄候选。所述狭窄候选、即由算法识别的区在此作为在附图的第二行中的设有小写字母的椭圆示出并且代表诊断候选K。所述诊断候选K原则上可以具有每个任意的形状。
重要地应注意，在该处还未知的是，特定的帧F中的哪个诊断候选K对应于另外的帧F0、F1、F2、F3中的诊断。每个诊断候选K作为独立的元素存在。因此，用另一字母跨不同的帧F0、F、F1、F2、F3标记每个诊断候选。除了概率输出之外，这种算法也可以产生不确定性地图作为输出的狭窄概率的置信度。这种不确定性或置信度量度在所述阶段中或在随后在下面的段落中描述的步骤中的一个步骤中可以用于过滤或改进诊断候选K的结果。
接下来，每个诊断候选K通过所有帧F0、F1、F2、F3传播，如在附图的第三行中对于示例性的狭窄候选所示出的(在从左边起的第二帧F中具有字母“d”的椭圆)。“传播”在此意味着：模拟诊断候选K的像素在另外的帧F0、F1、F2、F3中看起来会如何，即诊断候选K本身在另外的帧F0、F1、F2、F3中看起来会如何。为此应注意，帧F0、F、F1、F2、F3全部显示根据已知的模式运动的同一主题(在此为脉管、例如心脏的脉管)。由于运动，狭窄的区域也运动并且可能其形状也改变。在第三行中，借助阴影线的候选图像区域B显示：具有字母“d”的诊断候选K在另外的帧F0、F1、F2、F3中看起来会如何。目标在于理解：在不同的帧中的两个或更多个候选之间基于其相对位置是否存在可能的一致性。
为了所述目的，首先估计变形场D0、D1、D2、D3。变形场D0、D1、D2、D3都可以基于刚刚考虑的诊断候选K的帧F(在此“d”)，然而在所述示例中涉及从相应的相邻帧开始的传播。这可以借助标准配准方法或借助基于KI的配准或匹配算法来进行，如其在现有技术中已经已知的那样。所述变形场D0、D1、D2、D3在此依次应用到所考虑的诊断候选K的像素或相邻帧的候选图像区域上，以便计算狭窄候选在任何其他帧F0、F1、F2、F3中可能会处于哪个区域中。
当前，求取帧F0、F1、F2、F3中的候选图像区域B与所述帧F0、F1、F2、F3中的诊断候选K的重叠的程度(也在第3行中)。
这对于所有帧F0、F、F1、F2、F3中的所有诊断候选K执行。
接下来构造可以定向或非定向的图形G，其中节点N是所有帧F0、F、F1、F2、F3中的诊断候选K。所述节点N在此在附图的第四排中作为圆形可视化。基于先前步骤中的结果添加在节点N之间的边E。在此仅示出始于具有字母“d”的诊断候选K的边E。在考虑另外的诊断候选K时添加其他边E，使得得出网络。此外，在此基于重叠的程度添加边权重，这通过不同的线条粗细以图形的方式表明。重叠的程度越强，边E就越粗。例如，可以利用两个区域之间的DICE分数(DICE-Scores)从重叠量中求取边权重。
只要创建了图形G，就可以分析其结构，以便辨识节点N的紧密连接的子集，所述子集在图论中作为“社区”C、C’(或英文作为：“Communities”)是已知的。相同的社区C、C’中的节点N涉及诊断候选K的子集，这些诊断候选以高概率全都表示跨多个帧F0、F、F1、F2、F3的相同的狭窄诊断。
这在附图的第五排中示出，其中应注意，具有字母“b”和“e”的节点N不是由于检查具有字母“d”的节点N的边E而添加至社区C，而是由于其他边E而添加至社区C，出于更好的概览的原因，在图形G中未绘制所述其他边E(图形当然仅示出唯一的诊断候选K的评估)。但是如可以良好地看出的，具有字母“b”和“e”的节点N与具有字母“g”的节点N重叠从而间接地与“d”连接。具有字母“c”和“h”的节点N属于另一社区C’。
为了形成社区C、C’，可以应用在现有技术中已知的图形算法。例如，首先根据预定义的标准(例如基于最小边权重)对特定的边E或节点N进行修剪，并且然后对图形上的连接的节点进行分析，以便找出社区C、C’。
具有字母“l”的节点N在此被删除，因为所述节点N不与另外的诊断候选K中的任何诊断候选或其候选区域B重叠。在所述示例中涉及错误地归类为诊断候选K。在评估时规定：在形成社区C、C’时将没有边E的单个节点N忽略。
每个社区C、C’将一系列诊断候选K分组成在总序列层面上的唯一的诊断。
图4示出具有不同的记录位置中的多个图像序列S、S’的方法。为了在多重视图聚合的应用情况下构造图形，能够以不同的方式制造跨多个视图的狭窄一致性，包括但不限于3D重建和多视图匹配算法。多个视图的聚合可以与在上文中描述的在序列层面的时间聚合一起执行，其方式为：创建更大的图形G，所述更大的图形G覆盖所有记录位置中的所有诊断候选K并且也允许不同的记录位置中的节点N之间的边E(例如基于3D重建一致性)。替选地，多个视图的聚合可以逐步地或分级地实现。在一种情况下，可以首先如在上文中描述的那样在序列层面对于所有记录位置单独地计算社区C，并且然后将第一步骤中的社区C跨多个视图与单独的图表进一步聚合。
在此示出用于分别由从不同的记录位置记录的多个在时间上相继的帧F构成的多个图像序列S、S’的方法。图像序列S、S’中的诊断候选K在此在唯一的图形G中组合。在此，在多重视图聚合的范围内，在不同的图像序列S、S’中的诊断候选K的节点N之间产生边E。然后可以如在上文中阐述的那样从所述图形中又求取社区C。因为记录位置是已知的，所以为了规定诊断候选K与不同的图像序列S、S’的候选区域B的重叠，可以简单地计算变化场，所述变化场将一个图像序列S的帧F中的诊断候选K映射到另一图像序列S’的帧F中的候选区域B中。
最后再次指出，在上文中详细描述的示图仅涉及实施例，所述实施例可以由本领域技术人员以不同的方式修改，而不脱离本发明的范围。此外，不定冠词“一个”或“一”的使用不排除：涉及的特征也可以多次存在。同样地，术语“单元”和“模块”不排除：涉及的部件由多个共同作用的子部件构成，所述子部件必要时也可以在空间上分布。术语“多个”应理解为“至少一个”。

Claims (17)

1.一种用于自动化地确定由多个在时间上相继的帧(F0，F，F1，F2，F3)构成的图像序列(S，S’)中的检查结果的方法，所述方法包括如下步骤：
-对于预设的诊断在各个帧(F0，F，F1，F2，F3)中求取呈关联的图像区域的形式的诊断候选(K)，
对于多个诊断候选(K)：
-对于一个帧(F)中的诊断候选(K)求取：另外的帧(F0，F1，F2，F3)中的哪些候选图像区域(B)对应于所述诊断候选(K)，
-求取所述诊断候选(K)在所述另外的帧(F0，F1，F2，F3)中的候选图像区域(B)是否与另外的诊断候选(K)重叠，
-产生图形(G)，所述图形(G)具有所述帧(F0，F，F1，F2，F3)的所求取的诊断候选(K)作为节点(N)和所求取的重叠作为边(E)，
-从借助于边(E)连接的节点(N)中产生社区(C，C’)，其中节点(N)组合成社区(C，C’)。
2.根据权利要求1所述的方法，
其中输出所述社区(C，C’)或将所述社区(C，C’)用于进一步检查，优选地在X射线血管造影检查的范围内使用，尤其用于自动的狭窄识别或狭窄评估、定量冠状血管造影或管腔分区。
3.根据上述权利要求中任一项所述的方法，
其中所述诊断候选(K)是优选地在血管造影的领域中的医学诊断、尤其病理学的代表，其中在所述情况下，诊断候选(K)特别优选地代表脉管壁不规律性的诊断、尤其狭窄的诊断，或分叉的诊断。
4.根据上述权利要求中任一项所述的方法，
其中求取诊断候选(K)包括如下步骤：
-在所检查的帧(F0，F，F1，F2，F3)中产生特征地图(M)，在所述特征地图中，分别借助用于诊断候选(K)的至少一个概率值标记区域、尤其像素，优选地利用借助具有手动标记的诊断候选(K)的真实的帧(F0，F，F1，F2，F3)训练的图像到图像卷积网络，
-基于所述特征地图(M)形成关联的图像区域(P)，
-输出所述区域(P)作为诊断候选(K)。
5.根据权利要求4所述的方法，
其中关联的图像区域(P)的形成借助于所述特征地图(M)的概率值与极限值的比较、尤其基于连通分量分析进行，优选地，其中将如下图像区域(P)用于形成所述关联的图像区域(P)：在所述图像区域(P)中，所述概率值超出所述极限值。
6.根据上述权利要求中任一项所述的方法，
其中对于诊断候选(K)求取另外的帧(F0，F1，F2，F3)中的对应的候选图像区域(B)包括：
-估计变形场(D)，所述变形场(D)对在所述帧(F0，F，F1，F2，F3)中映射的图像区域在第一帧(F)与第二帧(F0，F1，F2，F3)之间的运动进行建模，其中这两个帧(F0，F，F1，F2，F3)优选地在时间上相邻，
-借助于所述变形场(D)执行将所述第一帧(F)的诊断候选(K)的图像区域配准于所述第二帧(F0，F1，F2，F3)的候选图像区域(B)。
7.根据上述权利要求中任一项所述的方法，
其中所述边与权重相关联，所述权重优选地：
-基于重叠的程度，尤其利用用于所述诊断候选(K)的对应的图像区域的Dice系数，
和/或
-基于所述帧(F0，F，F1，F2，F3)的时间间距，和/或
-基于相似性，和/或
-基于概率，和/或
-基于不确定性值。
8.根据上述权利要求中任一项所述的方法，
其中将图论中的算法应用于产生所述社区(C，C’)，其中社区(C，C’)优选地：
-借助于根据预设的标准、尤其基于根据权利要求5所述的权重对边(E)和/或节点(N)进行修剪来产生，然后为了求取社区(C，C’)对在所述图形(G)上的连接的节点(N)进行分析，并且从连接的节点(N)中产生社区(C，C’)，或者
-借助于社区算法来产生，尤其基于最小交会法、分级聚类、Girvan–Newman算法、模块性最大化、统计干扰或基于集团的方法。
9.根据上述权利要求中任一项所述的方法，
其中同一帧(F0，F，F1，F2，F3)中的多个诊断与相同的社区(C，C’)相关联，尤其同一帧(F0，F，F1，F2，F3)中的相同的诊断的多个诊断候选(K)和/或不同的诊断的诊断候选(K)与相同的社区(C，C’)相关联。
10.根据上述权利要求中任一项所述的方法，
其中评估社区(C，C’)的结构，并且基于此选择所述图像序列(S，S’)的一个帧(F0，F，F1，F2，F3)作为关键帧(KF)，其中用于识别出的诊断的关键帧(KF)优选地通过如下方式来选择：求取在所述社区(C，C’)内获得最大支持的节点(N)，
优选地，其中用于支持的量度是另外的节点(N)的边(E)的数量和/或权重，或者由所述图论推导出用于支持的量度，尤其从将重要性指数与图形(G)内的每个节点相关联的图形中心性算法中推导出。
11.根据上述权利要求中任一项所述的方法，
其中对于分别由多个在时间上相继的帧(F0，F，F1，F2，F3)构成的多个图像序列(S，S’)执行所述方法，所述图像序列(S，S’)从不同的记录位置中或在不同的检查中记录，并且将所述图像序列(S，S’)中的诊断候选(K)在图形(G)中组合，
-优选地，其中在多重视图聚合的范围内在不同的图像序列(S，S’)中的诊断候选(K)的节点(N)之间产生边(E)，尤其利用3D重建和/或多视图匹配算法，或者
-优选地，其中多个视图的聚合逐步地或分级地实现，尤其地，其中首先对于每个图像序列(S，S’)单独地计算所述社区(C，C’)，并且然后形成具有所述图形(G)的所述社区(C，C’)作为节点(N)的社区图形，并且所述社区图形的节点(N)又在社区(C，C’)中组合。
12.一种用于自动化地确定由多个在时间上相继的帧(F0，F，F1，F2，F3)构成的图像序列(S，S’)、尤其血管造影序列中的检查结果的系统(6)，尤其借助根据上述权利要求中任一项所述的方法，所述系统(6)包括：
-诊断单元(10)，所述诊断单元(10)设计用于对于预设的诊断在各个帧(F0，F，F1，F2，F3)中求取呈关联的图像区域的形式的诊断候选(K)，
-传播单元(11)，所述传播单元(11)设计用于对于一个帧(F)中的诊断候选(K)求取：另外的帧(F0，F1，F2，F3)中的哪些候选图像区域(B)对应于所述诊断候选(K)，
-关系单元(12)，所述关系单元(12)设计用于求取重叠，所述重叠说明：所述诊断候选(K)在所述另外的帧(F0，F1，F2，F3)中的候选图像区域(B)是否与另外的诊断候选(K)重叠，
-图形单元(13)，所述图形单元(13)设计用于产生图形(G)，所述图形(G)具有所述帧(F0，F，F1，F2，F3)的所求取的诊断候选(K)作为节点(N)和所求取的重叠作为边(E)，
-社区单元(14)，所述社区单元(14)设计用于从借助于边(E)连接的节点(N)中产生社区(C，C’)，其中节点(N)组合成社区(C，C’)，
-用于输出所述社区的输出单元或用于所述社区的进一步检查的诊断单元。
13.根据权利要求12所述的系统，其中所述系统设计用于处理分别由多个在时间上相继的帧(F0，F，F1，F2，F3)构成的多个图像序列(S，S’)，所述图像序列(S，S’)从不同的记录位置中或在不同的检查中记录，并且所述图像序列(S，S’)中的所述诊断候选(K)在图形(G)中组合，
优选地，其中所述图形单元(13)设计用于：
-在多重视图聚合的范围内，在不同的图像序列(S，S’)中的诊断候选(K)的节点(N)之间产生边，或者
-逐步地或分级地实现多个视图的聚合，尤其地，其中首先对于每个图像序列(S，S’)单独地计算所述社区(C，C’)，并且然后形成具有所述图形(G)的所述社区(C，C’)作为节点(N)的社区图形，并且将所述社区图形的节点又在社区(C，C’)中组合。
14.根据权利要求12或13所述的系统，
所述系统附加地包括设计用于求取关键帧(KF)的关键帧单元(15)，优选地，其中利用所述图形社区结构的特性来求取帧(F0，F，F1，F2，F3)。
15.一种医学技术系统(1)、尤其诊断系统或血管造影系统，
所述医学技术系统(1)包括根据权利要求12至14中任一项所述的系统(6)和/或设计用于执行根据权利要求1至11中任一项所述的方法。
16.一种计算机程序产品，
所述计算机程序产品包括指令，在通过计算机执行所述程序时，所述指令推动所述计算机执行根据权利要求1至11中任一项所述的方法/所述方法的步骤。
17.一种计算机可读介质，
所述计算机可读介质包括指令，在通过计算机执行时，所述指令推动所述计算机执行根据权利要求1至11中任一项所述的方法/所述方法的步骤。
CN202310072989.6A 2022-02-09 2023-02-07 用于自动化地确定图像序列中的检查结果的方法和系统 Pending CN116580819A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022201347.6A DE102022201347A1 (de) 2022-02-09 2022-02-09 Verfahren und System zur automatisierten Bestimmung von Untersuchungsergebnissen in einer Bildsequenz
DE102022201347.6 2022-02-09

Publications (1)

Publication Number Publication Date
CN116580819A true CN116580819A (zh) 2023-08-11

Family

ID=87312747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310072989.6A Pending CN116580819A (zh) 2022-02-09 2023-02-07 用于自动化地确定图像序列中的检查结果的方法和系统

Country Status (2)

Country Link
CN (1) CN116580819A (zh)
DE (1) DE102022201347A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301618A1 (en) * 2011-10-26 2014-10-09 Koninklijke Philips N.V. Endoscopic registration of vessel tree images
US20160235388A1 (en) * 2015-02-17 2016-08-18 Siemens Aktiengesellschaft Vessel tree tracking in angiography videos
CN109978915A (zh) * 2019-03-11 2019-07-05 北京理工大学 X光造影图像序列中管状结构的跟踪方法及装置
CN111739064A (zh) * 2020-06-24 2020-10-02 中国科学院自动化研究所 用于视频中目标跟踪的方法及存储设备和控制设备
CN113302649A (zh) * 2018-10-16 2021-08-24 香港中文大学 用于自动诊断的方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140301618A1 (en) * 2011-10-26 2014-10-09 Koninklijke Philips N.V. Endoscopic registration of vessel tree images
US20160235388A1 (en) * 2015-02-17 2016-08-18 Siemens Aktiengesellschaft Vessel tree tracking in angiography videos
CN113302649A (zh) * 2018-10-16 2021-08-24 香港中文大学 用于自动诊断的方法、装置和系统
CN109978915A (zh) * 2019-03-11 2019-07-05 北京理工大学 X光造影图像序列中管状结构的跟踪方法及装置
CN111739064A (zh) * 2020-06-24 2020-10-02 中国科学院自动化研究所 用于视频中目标跟踪的方法及存储设备和控制设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANA CHARBI 等: "Key frame extraction for video summarization using local description and repeatability grah clustering", SIGNAL，IMAGE AND VIDEO PROCESSING, vol. 13, pages 507 - 515, XP036752088, DOI: 10.1007/s11760-018-1376-8 *

Also Published As

Publication number Publication date
DE102022201347A1 (de) 2023-08-10
US20230252636A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
US7672491B2 (en) Systems and methods providing automated decision support and medical imaging
CN111563523B (zh) 利用机器训练的异常检测的copd分类
El-Baz et al. Appearance analysis for diagnosing malignant lung nodules
El-Baz et al. A novel shape-based diagnostic approach for early diagnosis of lung nodules
US20170004619A1 (en) System and method for automatic pulmonary embolism detection
EP4002269A1 (en) Systems and methods for image-based object modeling using multiple image acquisitions or reconstructions
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
EP1636757A2 (en) Systems and methods for providing automated regional myocardial assessment for cardiac imaging
WO2005081168A2 (en) Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN113272869A (zh) 医学成像中从定位片进行三维形状重构
Tajbakhsh et al. Guest editorial annotation-efficient deep learning: the holy grail of medical imaging
CN112508884A (zh) 一种癌变区域综合检测装置及方法
da Cruz et al. Enabling autonomous medical image data annotation: A human-in-the-loop reinforcement learning approach
WO2022056297A1 (en) Method and apparatus for analyzing medical image data in a latent space representation
CN115210755A (zh) 解决训练数据中遗漏注释的类别不同损失函数
Dai et al. More reliable AI solution: Breast ultrasound diagnosis using multi-AI combination
Dandıl et al. A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN116580819A (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
JP7155274B2 (ja) 加速化された臨床ワークフローのためのシステムおよび方法
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
US11995834B2 (en) Method and system for the automated determination of examination results in an image sequence
Lacerda et al. A parallel method for anatomical structure segmentation based on 3d seeded region growing
Liu et al. A locating model for pulmonary tuberculosis diagnosis in radiographs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination