CN114041167A - 自动化冠状动脉血管造影分析 - Google Patents
自动化冠状动脉血管造影分析 Download PDFInfo
- Publication number
- CN114041167A CN114041167A CN202080047583.7A CN202080047583A CN114041167A CN 114041167 A CN114041167 A CN 114041167A CN 202080047583 A CN202080047583 A CN 202080047583A CN 114041167 A CN114041167 A CN 114041167A
- Authority
- CN
- China
- Prior art keywords
- image data
- vessel
- training
- acquisition
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title description 9
- 238000002586 coronary angiography Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims description 141
- 210000005166 vasculature Anatomy 0.000 claims description 34
- 239000002872 contrast media Substances 0.000 claims description 32
- 239000012530 fluid Substances 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 12
- 230000003902 lesion Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000002347 injection Methods 0.000 claims description 10
- 239000007924 injection Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 210000004165 myocardium Anatomy 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000002059 diagnostic imaging Methods 0.000 description 25
- 238000004364 calculation method Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 16
- 238000004088 simulation Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000005855 radiation Effects 0.000 description 8
- 208000029078 coronary artery disease Diseases 0.000 description 7
- 238000002583 angiography Methods 0.000 description 6
- 210000001367 artery Anatomy 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000014616 translation Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000004351 coronary vessel Anatomy 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000002792 vascular Effects 0.000 description 4
- 230000000747 cardiac effect Effects 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000002107 myocardial effect Effects 0.000 description 2
- 238000013186 photoplethysmography Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000007363 regulatory process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/545—Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
- A61M5/007—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests for contrast media
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/541—Control of apparatus or devices for radiation diagnosis involving acquisition triggered by a physiological signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Vascular Medicine (AREA)
- Quality & Reliability (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Physiology (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
Abstract
提供了用于分析诊断图像数据的方法和装置,其中,已经利用预定义采集方法采集的感兴趣血管的多幅采集图像在经训练的分类设备处接收,并且由所述分类设备分类,以从所述多幅采集图像中的至少一幅采集图像提取所述感兴趣血管的至少一个定量特征。然后输出与所述至少一幅采集图像相关联的至少一个定量特征,同时所述诊断图像数据的采集仍然在进行中,并且基于所述至少一个定量特征调节一个或多个可调节图像采集设置以优化对所述诊断图像数据的采集。
Description
技术领域
本发明涉及用于分析诊断图像数据(特别是X射线血管造影图像数据)的方法、对应的装置和相应的计算机程序。特别地,本发明涉及改进的方法和装置,其允许从已经使用预定义采集设置采集的诊断图像数据自动导出定量特征信息并使用因此导出的定量特征信息来相应地调节预定义采集设置从而改进采集过程的质量。
背景技术
现今,冠状动脉疾病在许多社会中是广泛传播的疾病。各种冠状动脉疾病是已知的。为了为每种相应的冠状动脉疾病开发适当的处置计划,非常重要的是正确评估疾病,即可以根据其评价冠状动脉疾病的医学数据具有高质量和高可靠性。
在临床实践中用于评估冠状动脉疾病的一种公认方法是冠状动脉X射线血管造影。冠状动脉血管造影通常通过将造影剂注射到血管中并且随后用X射线辐射辐照造影剂填充的冠状动脉血管以采集这些血管并且因此冠状脉管系统清楚可见的血管造影图像的序列来执行。因此,这些血管造影图像序列的数量和取向、造影剂剂量和图像数据的相应分析可能因患者而异,使对于不同患者可比较的客观分析非常困难。
为了克服这些问题,已经开发了经改进的采集方法,其中,使用预定义采集设置来采集血管造影图像序列。使用这些预定义采集设置减少了所采集的数据的可变性,因为某些采集设置对于每个患者是已知的。
一种这样的采集方法是Xper Swing采集,其中,用预定义剂量的造影剂沿着预定义可重复轨迹以不同的取向采集血管造影图像数据。Xper Swing采集由此作为单个图像序列提供要分析的血管造影图像数据以用于评价特定冠状动脉。然而,使用Xper Swing采集的血管造影图像数据的质量仍然由于某些采集设置的优化是患者相关的、由于解剖结构的患者间可变性以及由于采集设置的(其余)可变性而改变。
作为结果,数据分析的自动化是具有挑战性的。也就是说,分析的自动化将需要考虑在不同患者的数据中可能出现的所有可变性的复杂计算。
到目前为止,尚未开发出允许诊断图像数据(诸如血管造影图像数据,特别是已经使用某些预定义采集设置采集的诊断图像数据)的可靠的、可重复的、客观的且有效的采集和分析的方法。
发明内容
因此,本发明的一个目的是提供一种使得能够以可靠、可重复、客观且有效的方式采集和分析诊断图像数据的方法和装置。
更具体地,一个目的是提供用于使用医学成像模态(诸如X射线血管造影)以预定采集设置有效地采集诊断图像数据以便获得允许冠状动脉疾病的客观且独立于患者的评估的可靠结果的方法和装置。甚至更具体地,本发明的目的是提供允许减少在基于图像的冠状动脉疾病评估期间递送给患者的辐射剂量和造影剂剂量的方法和装置。
该目的通过一种用于分析诊断图像数据的方法来实现,所述方法包括以下步骤:在经训练的分类设备处接收包括感兴趣血管的多幅采集图像的诊断图像数据,所述诊断图像数据已经使用预定义采集方法采集;对所述诊断图像数据进行分类,以从所述多幅采集图像中的至少一幅采集图像提取所述感兴趣血管的至少一个定量特征;在所述诊断图像数据的采集仍然在进行中时输出与所述至少一幅采集图像相关联的所述感兴趣血管的所述至少一个定量特征;并且基于所述至少一个定量特征调节一个或多个可调节图像采集设置,以优化所述诊断图像数据的所述采集。
也就是说,该目的通过以下方法来解决:采用经训练的分类设备(诸如卷积神经网络)来在所述诊断图像数据的采集期间已经自动分析诊断图像数据以便在所述正进行的采集期间调节一组可调节采集设置(诸如某些采集参数)以优化针对特定血管性质(即针对特定患者)的数据采集。
术语诊断图像数据因此可以是指表示患者的脉管系统的一组采集图像。因此,术语脉管系统可以是指血管树或单个血管。术语脉管系统可以特别地是指一个或多个感兴趣血管和/或其分段。术语感兴趣血管因此可以是指应当-关于潜在病变和/或其他疾病-使用诊断图像数据来评估的患者的血管。在一些实施例中,诊断图像数据的采集图像均可以表示冠状动脉脉管系统的感兴趣血管。
诊断图像数据可以特别地包括所述一个或多个感兴趣血管的一幅或多幅采集图像。因此,术语采集图像通常可以被理解为是指针对感兴趣血管采集的单幅图像,由此多幅采集图像可以被包括在诊断图像数据中。
多幅采集图像可以特别地通过医学成像模态(诸如计算机断层摄影(CT)、超声(US)成像或磁共振(MR)成像)来采集。在一些实施例中,医学成像模态可以特别地对应于X射线血管造影,甚至更特别地对应于以一组预定义采集设置(诸如预定义成像轨迹和要使用的造影剂的预定义剂量)执行的X射线血管造影。
在一些实施例中,医学成像模态可以被门控。因此,门控的医学成像模态通常可以采用门控重建,其中,采集图像的采集与提供心动周期内的信息的数据(诸如心电图(ECG)或光体积描记(PPG)数据)的采集并行执行。因此,该数据可以用于借助于心动周期的相应选择的相位点来对图像采集和重建进行门控。
在经训练的分类设备处接收诊断图像数据。术语分类设备可以特别地是指集成到用于分析诊断图像数据的相应装置中的分类器或分类单元。在一些实施例中,术语分类设备还可以是指与装置分开提供的分类器。在一些实施方式中,分类设备可以特别地被实施为卷积神经网络(CNN)。
分类设备是经训练的分类设备。也就是说,分类设备先前已经使用训练数据集进行训练,所述训练数据指示诊断图像数据与一个或多个定量特征(诸如血管长度、血管位置、病变严重性等)之间的相关性。具体地,使用包括可与要分类的诊断图像数据进行比较的注释有相应定量特征的诊断图像数据的训练数据集来执行训练。由此,注释可以已经通过由临床专家手动注释诊断图像数据来获得,或在使用模拟的训练数据集的情况下可以是固有已知的标准数据。
分类设备(特别是卷积神经网络)的权重和参数然后在训练过程中被优化为使得对于训练数据集的输入,所得到的神经网络输出在数值上接近于对应的注释特征值。也就是说,神经网络的优化在所有训练数据集上最小化神经网络输出和注释特征值之间的差异。因此,神经网络输出和注释特征值的比较可以通过各种类型的合适度量来实现,例如通过L2范数或广义骰子损失。在一些示例中,优化可以使用Adam优化器。
在分类设备的训练期间,可以使用通常已知形式的数据增强,如图像缩放、平移或对比度改变。用于这样的任务的示例性网络结构可以是编码器-解码器神经网络架构。
分类设备用于对诊断图像数据进行分类,以便从诊断图像数据提取至少一个定量特征。也就是说,基于训练,使分类设备能够针对诊断图像数据中的采集图像中的一幅或多幅采集图像导出感兴趣血管的至少一个定量特征的值。在一些实施例中,可以针对每幅采集图像导出一个特定定量特征的对应值。因此,可以针对多幅采集图像导出特定定量特征的多个值。
在一些实施例中,定量特征因此可以特别地对应于诸如血管长度、血管位置、血管直径、病变严重性、心肌显影值、针对个体采集图像中的病变和/或血管的可见性评分值的特征,即对应于可以在每图像基础上导出的特征。
在一些实施例中,定量特征可以备选地或额外地包括指示通过感兴趣血管的流体动力学的值,诸如血流储备分数(FFR)值、瞬时无波比(iFR)值或冠状动脉血流储备(CFR)值。通常,这些参数可以从能够对通过感兴趣血管的流体动力学进行建模的流体动力学模型导出,如例如在国际申请WO2016/087396、WO2020/053099A1和WO2019/101630A1中所描述的。在本实施例中,直接从分类设备导出这些参数的值可以是可能的。也就是说,通过使用训练数据集的训练,可以使分数类设备能够隐式地学习(一个或多个)感兴趣血管的流体性质并且因此与其相关的流体参数,而不必模拟或建模通过(一个或多个)感兴趣血管的流体流动。这允许避免使用流体动力学模型,而是直接从经训练的分类设备获得流体参数。
另一方面,定量特征还可以对应于与整体诊断图像数据相关的特征,诸如指示感兴趣血管的足够角度信息是否可用于获得可靠分析的完整性评分、指示可见脉管系统是否类似于患者平均参考的参考偏差指数、或指示如果当前轨迹继续则未来断层摄影重建是否将可能示出强伪影的妨碍分数等。因此,妨碍分数可以特别地在特定外部设备的植入物在视场中的情况下使用。也就是说,在特定轨迹导致设备在规划轨迹的未来投影中妨碍视场的情况下,可以有益的是改变轨迹以避免这样的妨碍。
然后输出与一幅采集图像相关联的定量特征。也就是说,已经基于对应采集图像导出的定量特征的值与所述采集图像相关联,并且然后输出以用于进一步评价和/或进一步处理。特别地在通过医学成像模态的图像采集仍然在进行中时,执行该输出。
基于该输出,计算单元或其他处理设备然后评价与相应采集图像相关联的至少一个定量特征、相应地其值,以便确定所使用的当前采集设置是否致使足够的图像质量。在一些实施例中,计算单元因此可以特别地使用定量特征,诸如可见性评分、完整性评分等。如果评价示出当前采集设置没有产生足够的采集图像,则调节可调节采集设置中的一个或多个。因此,可以特别地基于先前的分类自动执行调节。
术语可调节采集设置因此可以特别地是指由于所使用的医学成像模态而未预定义的所使用的采集设置。因此,在当前背景下,区分不应当被改变(即保持相同以便减少可变性)的预定义采集设置和可以根据每个患者的个体要求而改变的可调节采集设置。
通过保持某些采集设置恒定和预定义同时基于对先前采集的诊断图像数据的自动分析来调节其他采集设置,以可靠的、有效的且可再现的方式获得诊断图像数据同时减少针对不同患者在不同测量时间采集的不同数据集的可变性是可能的。
更具体地,通过在诊断图像数据采集期间分析诊断图像数据的已经采集的子集,执行采集设置的“实况”调节是可能的,这允许针对每个人个体地优化这些采集设置,从而以最有效的方式获得诊断图像数据。这减少了要递送给患者的辐射剂量和造影剂剂量的量,因为对于一些患者比对于其他患者可以更快地实现足够的完整性。
在一些实施例中,该方法可以被实施为执行分布外检测。也就是说,该方法可以被实施为确定输入到计算单元或其他处理设备中的诊断图像数据是否在基于分类设备的训练将预期的分布内。这可以允许检测诊断图像数据是否被输入到计算单元或其他处理设备中,所述诊断图像数据不能被置于与分类设备已经用利其训练的诊断数据的种类有关。
如果是这种情况,则可以向用户输出所采集的诊断图像数据不能被适当评价的指示,因为其与预期要评价的诊断图像数据的种类无关。该指示可以是诊断图像数据不能被评价或只能被不正确地评价的简单警告。备选地或额外地,指示可以包括执行新的或额外的诊断图像数据采集的建议。在一些实施例中,备选地或额外地,该方法可以被实施为执行诊断图像数据的评价,由此评价的输出可以分别用大的误差条来完成。
在一些实施例中,调节所述一个或多个可调节图像采集设置包括如果确定所述诊断图像数据的已经采集的部分满足至少一个预定义可靠性准则,则提前地终止所述诊断图像数据的所述采集。
在一些实施例中,可调节采集设置的调节可以特别地包括:如果确定已经获得足够的诊断信息,则在其规划结束之前终止采集。也就是说,所采集的诊断图像数据被区分成诊断图像数据的两个或更多个子集,由此在当前采集第二子集时评价第一子集。每个子集的大小可以在很大程度上取决于给定的医学成像模态和采集质量。单幅采集图像可以形成子集。在其他实施例中,更多的采集图像可以形成诊断图像数据的子集。
评价第一子集诸如以确定从其导出的诊断信息是否满足预定义可靠性准则,即是否存在已经提供感兴趣血管的可靠评估的足够的角度信息。在一些实施例中,可靠性准则可以特别地根据完整性评分来量化。也就是说,可以确定完整性评分的阈值,并且只要完整性评分高于阈值,就确定足够的角度信息可用于可靠的诊断。备选地或额外地,可靠性准则可以包括另外的评分和/或准则。
如果确定足够的信息可用,则要调节的采集设置可以特别地是采集结束时间。甚至更具体地,可以例如借助于终止信号来设置采集结束时间,使得立即终止采集。通过只要足够的信息可用就终止采集,可能保持患者经受的辐射剂量尽可能低。另一方面,如果确定不满足可靠性准则,即,没有足够的信息可用,则测量可以继续,即,不执行可调节采集设置的调节。可以频繁地重复允许采集时间的调节的该反馈环路,直到由于足够的信息可用而停止采集。
在一些实施例中,调节所述一个或多个可调节采集设置包括调节图像采集轨迹以改进所述诊断图像数据中的所述感兴趣血管的可见性。在一些修改中,调节所述一个或多个可调节采集设置包括调节在图像采集期间到所述感兴趣血管中的造影剂注射速率。
在一些实施例中,可调节图像采集设置的调节可以额外地或备选地包括用于图像采集的成像轨迹的调节。在这种情况下,针对诊断图像数据的第一子集确定感兴趣血管和/或其中的病变的可见性评分。为此目的,考虑整个诊断图像数据,而不仅是个体采集图像。可以将可见性评分与预设参考值或阈值进行比较,由此在评分高于所述值(或低于所述值)的情况下,可见性被认为是足够的,并且在评分低于所述值(或高于所述值)的情况下,可见性被认为是差的:如果可见性评分示出可见性不是足够的,即给出了差的可见性,则可调成像设置的调节可以特别地包括被用于采集所述采集图像的图像采集轨迹的调节。这允许改进图像质量,这意味着需要更少的采集图像来获得足够的诊断信息。这有效地减少了被递送给患者的辐射剂量。经调节的轨迹还避免了必须对具有非理想可见性的图像进行诊断。
在一些实施例中,一个或多个可调节采集设置的调节还可以涵盖到感兴趣血管中的造影剂注射速率的调节。也就是说,可以使用分类设备针对诊断图像数据的第一子集确定感兴趣血管的对比度。通过查看对比度,可以确定是否已经将足够的造影剂注射到感兴趣血管中。因此,造影剂的量可以因患者而异,因为具有更窄血管的患者能够需要比具有宽血管的患者更少的造影剂,以便实现类似的可见性。因此,基于感兴趣血管的对比度,可以评价感兴趣血管中是否存在足够的造影剂,并且这样一来,造影剂注射速率是否是足够的,或者其是否由于当前被注射到感兴趣血管中的造影剂太少或太多而应当被调节。
在这种情况下,可调节采集设置的调节因此包括基于感兴趣血管的性质来调节造影剂注射速率。借助于这种调节,可以优化递送给每个患者的造影剂剂量。
这些示例还可以在反馈环路中使用,由此可以在采集期间频繁地评价诊断图像数据的个体子集,以便执行采集设置的实况调整。
在一些实施例中,所述方法还包括根据所述预定义采集方法获得所述感兴趣血管的训练图像数据;并且从所述训练图像数据提取所述至少一个定量特征;生成用于所述分类设备的至少一个训练数据集,所述训练数据集包括与所述至少一个定量特征相关联的所述训练图像数据;并且使用所述至少一个训练数据集来训练所述分类设备。
可以使用相应的训练数据集来训练分类设备。在一些实施例中,可以基于训练图像数据导出这些训练数据集。术语训练图像数据因此可以特别地是指已经在临床环境中采集的多幅训练图像数据(即测量数据)、或已经通过模拟生成的多幅训练图像。
随后,可以从个体训练图像以及整体训练图像数据提取一个或多个定量特征。因此,是使用个体图像还是整体数据取决于相应的定量值。因此,特征提取可以由一个或多个用户手动地,通过相应的算法自动地执行,或可以对应于从数据的模拟容易可用的定量特征。
使用所提取的定量特征和训练图像数据,然后生成相应的训练数据集。也就是说,定量特征值与相应的训练图像和/或训练图像数据相关联,以便导出定量特征值与相应的图像数据之间的相关性。因此生成的训练数据集然后可以用于训练分类设备。
在另外的实施例中,所述训练图像数据包括通过根据所述预定义采集方法模拟图像采集而生成的模拟的训练图像数据,其中,所述模拟包括以下步骤:获得所述感兴趣血管的至少一个三维几何模型;获得所述感兴趣血管的至少一幅二维背景图像;并且基于至少一个造影剂流体参数模拟通过所述患者的脉管系统的造影剂流体动力学。在一些修改中,所述模拟还包括获得变形平移和旋转数据,并且基于所述平移和旋转数据来增强模拟的训练图像数据。在一些修改中,生成所述至少一个训练数据集还包括以下步骤:接收额外患者数据,并且根据所述额外患者数据调节所述至少一个训练数据集。
在一些实施例中,借助于模拟来生成训练图像数据。为此目的,获得包括感兴趣血管的患者的脉管系统的至少一个三维几何模型。因此,可以从医学图像获得几何模型,所述医学图像可以已经由允许采集三维医学图像的任何医学成像模态采集。
在一些实施例中,医学成像模态可以对应于应当执行实况调整的医学成像模态。在一些实施例中,医学成像模态可以是不同的成像模态。几何模型也可以是纯虚拟的,并且由常见解剖知识定义。此外,采集包括感兴趣血管的患者的脉管系统的至少一幅二维背景图像。借助于背景图像,区分医学图像中的背景和脉管系统以便适当地执行脉管系统中的血管的血管识别是可能的。
背景图像还可以为模拟的数据提供逼真的外观。二维背景图像因此可以已经从实际临床采集获得,和/或其可以已经从三维医学图像的前向投影构建,和/或其可以是被设计为模仿在要模拟的诊断数据中看到的典型背景的虚拟图像。
此外,三维医学图像和/或二维背景图像可以被用于生成表示通过患者的脉管系统的流体动力学的流体动力学模型。在一些实施例中,流体动力学模型可以特别地包括集总参数模型。
术语集总参数模型可以特别地是指其中血管的流体动力学由离散实体的拓扑近似的模型。作为示例,诸如血管树的脉管系统可以由均具有特定电阻的电阻器元件的拓扑表示。因此,血管远端处的出口也由特定的电阻器元件表示。然后将该电阻器元件连接到地,诸如以表示血管的终端。类似地,相应的电阻器元件可以连接到表示感兴趣血管的一系列电阻器元件,诸如以表示在某些分叉处来自感兴趣血管的流出。这些电阻器元件通常也可以连接到地。
与诸如Navier-Stokes等的其他方法相比,这些集总参数模型减少了维度的数量。因此,使用集总参数模型可以允许血管内部的流体动力学的简化计算,并且可以最终导致减少的处理时间。例如在国际申请WO2016/087396中描述了这样的集总参数模型的采用。
然后可以采用因此生成的流体动力学模型来模拟通过患者的脉管系统并且特别是通过一个或多个感兴趣血管的造影剂流体流。这允许生成表示脉管系统和通过其的对应流体动力学的训练图像数据。在一些实施例中,为了增强训练图像数据,可以将变形平移和旋转数据作为额外信息添加到模拟。然后可以将因此生成的训练图像数据提供给分类设备以用于训练。
在一些实施例中,至少一个定量特征包括以下中的一个或多个:所述患者的脉管系统中的血管的血管标签和/或所述患者的脉管系统中的血管的血管长度和/或所述患者的脉管系统中的血管中的病变的严重性和/或所述患者的脉管系统中的血管的血管直径和/或所述患者的脉管系统中的病变和/或血管的可见性评分和/或所述多幅采集图像中的至少一幅的完整性评分和/或心肌显影值。
在一些实施例中,还可以将额外的患者信息(诸如特定患者的ECG数据、主动脉压值或历史数据)添加到训练数据集和/或分类。这可以具有可以检测额外患者异常(诸如强烈升高的主动脉压)的进一步益处,因为在那些情况下也可能必须调节造影剂的注射。
根据一些实施例,输出所述至少一个定量特征以用于进一步评价包括以下步骤:向用户显示所述至少一个定量特征,和/或以用于自动报告给报告实体的预定义格式输出所述至少一个定量特征。在一些实施例中,用户可以响应于输出而输入额外数据,由此额外数据还可以用于训练分类设备和/或评价诊断图像数据。
根据又一方面,提供了一种用于分析诊断图像数据的装置,所述装置包括经训练的分类设备和计算单元,所述经训练的分类设备被配置为接收包括感兴趣血管的多幅采集图像的诊断图像数据,所述诊断图像数据已经使用预定义采集方法采集;对所述诊断图像数据进行分类,以从所述多幅采集图像中的至少一幅采集图像提取所述感兴趣血管的至少一个定量特征;并且输出与所述至少一幅采集图像相关联的所述感兴趣血管的所述至少一个定量特征,同时所述诊断图像数据的采集仍然在进行中,所述计算单元被配置为基于所述至少一个定量特征调节一个或多个可调节图像采集设置,以优化所述诊断图像数据的所述采集。
在一些实施例中,所述装置还包括输入单元、训练数据集生成单元,所述输入单元被配置为根据所述预定义采集方法获得所述感兴趣血管的训练图像数据,所述训练数据集生成单元被配置为:从所述训练图像数据提取所述感兴趣血管的所述至少一个定量特征;并且生成用于所述分类设备的至少一个训练数据集,所述训练数据集包括与所述至少一个定量特征相关联的所述训练图像数据;并且将所述至少一个训练数据集提供给所述分类设备以用于进行训练。在一些实施例中,所述装置还可以包括显示单元和用户接口,所述显示单元被配置为生成所述多幅采集图像中的至少一幅采集图像和/或所述至少一个定量特征的图形表示,所述用户接口被配置为响应于所述图形表示而接收用户输入。
在又一方面中,提供了一种用于控制根据本发明的装置的计算机程序,所述计算机程序在被处理单元执行时适于执行根据本发明的方法步骤。在甚至又一方面中,提供了一种计算机可读介质,在其上存储有上述计算机程序。
应当理解,根据权利要求1所述的方法、根据权利要求11所述的装置、根据权利要求14所述的计算机程序和根据权利要求15所述的计算机可读介质具有相似和/或相同的优选实施例,特别是如从属权利要求中所限定的。
应当理解,本发明的优选实施例也能够是独立权利要求或以上实施例与相应从属权利要求的任何组合。
参考下文描述的实施例,本发明的这些方面和其他方面将显而易见并且得到阐述。
附图说明
在以下附图中:
图1示意性地图示了根据实施例的用于分析诊断图像数据血管的装置。
图2示出了根据实施例的用于分析诊断图像数据的方法的流程图。
图3示出了根据实施例的用于生成训练数据的方法的流程图。
具体实施方式
附图中的图示是示意性的。在不同的附图中,类似的或完全相同的元件被提供有相同的附图标记。
图1示意性地表示用于分析诊断图像数据的装置1的示例性实施例。装置1包括输入单元100、训练数据集生成单元200、分类单元300、计算单元400和显示单元500。此外,分类单元300和通信单元400在反馈环路600中通信地耦合到医学成像模态2。
输入单元100被配置为接收患者的脉管系统的训练图像数据10。训练图像数据10可以特别地对应于或包括先前已经使用预定义采集方法(即,利用一个或多个预定义(已知的)采集设置(诸如已知的造影剂剂量和采集轨迹)执行的采集方法)采集的图像数据。在根据图1的具体实施例中,训练图像数据10可以特别地对应于已经借助于使用C型臂的X射线血管造影采集的临床数据。也就是说,在图1的具体实施例中,训练图像数据10已经从实际测量数据导出。
但是,应当理解,备选地或额外地,训练图像数据10也可以已经使用模拟等来生成。对于模拟训练图像数据10,通常使用CT和/或MR成像模态采集的三维医学图像可以被采集,以用于生成感兴趣血管的三维模型并且与示出没有动脉的任何造影剂填充的心脏图像的二维背景数据组合。基于用于预定义采集方法的造影剂注射参数和对应的流体动力学模型,生成训练图像数据和对应的训练数据集。由此,可以将变形平移和旋转添加到感兴趣血管的三维表示和二维背景投影以实现数据增强。采集轨迹的整个范围然后通常由心脏运动模型覆盖。
输入单元100将训练图像数据10提供给训练数据集生成单元200。训练数据集生成单元200被配置为从训练图像数据10提取患者的脉管系统并且特别是感兴趣血管的一个或多个定量特征。在一些实施例中,这些定量特征可以特别地涉及脉管系统中的血管的血管标签、血管编号、血管位置和/或血管长度、一个或多个感兴趣血管中的一个或多个病变的严重性、心肌显影值、感兴趣血管的血管直径、针对训练图像数据的每幅个体训练图像的感兴趣血管中的病变的可见性评分、指示给定血管的足够角度信息是否可用于允许可靠分析的完整性评分、指示可见脉管系统类似于参考的参考偏差指数等。
使用所提取的定量特征,训练数据集生成单元200被配置为生成包括训练图像数据10和与训练图像数据10中的训练图像中的一幅或多幅相关联的相应预定义特征的至少一个训练数据集。因此,训练数据集生成单元200获得训练图像数据10与所提取的预定义特征之间的相关性,并且生成包括相关信息的对应数据集。然后将该对应数据集作为训练数据集20提供给分类单元-或分类设备-300。
分类单元300包括被配置为从训练数据集生成单元200接收训练数据集的输入端口301。分类设备300使用训练数据集20-或任选地多个训练数据集20-来训练量化特征与训练图像数据10中的训练图像之间的关系。在根据图1的示例性实施例中,分类单元包括或对应于卷积神经网络,在一些实施例中,深度卷积神经网络。也就是说,分类单元400实施与池化层组合的多个卷积层。
输入到根据图1的具体实施例的分类单元300中的训练数据集20对应于已经使用X射线血管造影采集的多个训练图像。特别地,在图1的具体实施例中,使用10000个个体血管造影图像作为相应的训练图像。这些训练图像被提供有根据为每个个体血管造影图像提供的像素掩模的相应特征数据,由此每个像素被分类为属于左前降支动脉(LAD)、左回旋支动脉(LCX)、钝缘支(OM)、右冠状动脉等动脉,或被分类为属于背景。备选地或额外地,训练图像可以被提供有特征数据,所述特征数据包括针对每个血管造影图像的指示动脉的最小直径和/或指示动脉(的部分)不可见的单个值。
在训练期间,分类设备300(在根据图1的具体实施例中,神经网络)的权重和参数被优化为使得对于输入训练数据集20,所得到的神经网络输出在数值上接近对应的注释特征值。也就是说,神经网络的优化在所有训练数据集上最小化神经网络输出和注释特征值之间的差异。因此,神经网络输出和注释特征值的比较可以通过各种类型的合适度量来实现,诸如例如L2范数或广义骰子损失。在根据图1的具体实施例中,优化可以特别地使用Adam优化器。
在训练期间,可以使用典型的已知形式的数据增强,如图像缩放、平移或对比度改变。用于这样的任务的示例性网络结构可以是编码器-解码器神经网络架构。
在使用训练数据集20完成训练时,分类单元300被配置为经由输入端口302从医学成像模态2接收针对特定患者获得的诊断图像数据30的第一子集。诊断图像数据30的第一子集可以特别地包括已经使用预定义的采集方法采集的多个采集图像31,由此预定义采集方法对应于用于训练图像数据的预定义采集方法,以便确保分类单元300已经用适当的训练数据集训练为准确地对诊断图像数据30进行分类。
在图1的具体实施例中,到分类设备的输入对应于诊断图像数据30中的多幅采集图像31,每幅采集图像31对应于单幅二维X射线血管造影图像。备选地,多幅采集图像31还可以对应于多幅二维血管造影图像的按时间顺序的堆叠,诸如相应的C型臂角度。也就是说,到分类设备的输入对应于呈现给用户(诸如医师)以供视觉查看的相同诊断图像数据30。
在诊断图像数据的分类后,从诊断图像数据30提取适于分析诊断图像数据30的至少一个定量特征。
然后将所提取的定量特征值和包括一幅或多幅采集图像31的诊断图像数据30的第一子集提供给计算单元400以用于进一步处理。应当理解,诊断图像数据30的第一子集被提供给计算单元400以用于进一步处理,同时诊断图像数据30的第二子集的采集仍然在进行中。这允许使用通过计算单元400的评价来在可能和/或必要的情况下调节图像采集。
换句话说,计算单元400基于诊断图像数据的第一子集和所提取的定量特征来确定用于图像采集的采集参数的调节是否可能是有益的。在图1的具体示例中,计算单元400为此目的导出用于要从诊断图像数据30和定量特征导出的诊断信息的可靠性准则。
此外,计算单元400处理诊断图像数据30的第一子集和从其导出的定量特征,并确定是否满足可靠性准则。在具体实施例中,这通过将可以从诊断图像数据30的第一子集和定量特征导出的诊断信息与指示诊断信息的足够性的阈值值进行比较来实现。
如果可以导出足够的诊断信息,则认为满足可靠性准则。在这种情况下,计算单元400然后被配置为通过向医学成像模态2输出对应的终止信号来调节可调节图像采集设置,即通过调节采集设置使得采集提前地终止,即在其原始设置的终止点之前结束。也就是说,响应于所述终止信号,医学成像模态2终止进一步的图像采集,从而避免将不必要的辐射和造影剂剂量递送给患者。
另一方面,如果计算单元400确定不满足可靠性准则,即还没有足够的信息可用,则计算单元400将不向医学成像模态2输出任何终止信号,并且医学成像模态2将继续采集诊断图像数据的第二子集。
应当理解,可以针对诊断图像数据30的第二子集(和任何后续子集)重复上述评价过程,直到满足可靠性准则。由此,只要确定足够的诊断信息可用,计算单元400就可以终止采集过程。
在一些实施例中,可调节图像采集设置的调节可以额外地或备选地包括调节用于图像采集的成像轨迹。在这种情况下,评价诊断图像数据30的第一子集可以包括确定个体采集图像中的感兴趣血管的可见性评分。如果计算单元400记录差的可见性,则计算单元400可以被配置为自动调节成像轨迹以改进感兴趣血管的可见性。通过调节成像轨迹以便改进可见性,需要更少的采集图像31来获得足够的诊断信息,从而优化递送给患者的辐射剂量。
在其他实施例中,计算单元400还可以评价诊断图像数据30的第一子集以及所提取的定量特征,以便确定感兴趣血管的对比度。这允许确定是否已经将足够的造影剂注射到感兴趣血管中。提供(一个或多个)感兴趣血管的足够可见性所需的造影剂的量可能因患者而异。由此,具有更窄血管的患者可能需要更少的造影剂,由此具有宽血管的患者可能需要更多的造影剂以便实现类似的可见性。因此,计算单元400可以被配置为基于感兴趣血管的性质来调节造影剂注射速率作为另外的可调节采集设置,由此更低的速率被用于具有窄血管(即,需要更少的造影剂)的患者,而更高的速率被用于具有更宽血管(即,需要较多的造影剂)的患者。借助于这种调节,可以优化递送给每个患者的造影剂剂量。
应当理解,对于这些示例,也可以针对诊断图像数据30的第二子集(和任何后续子集)重复上述评价过程,直到满足可靠性准则,即直到足够的诊断信息可用。
还应当理解,不同的调节流程也可以彼此组合。这样一来,计算单元400可以被配置为根据患者的相应血管性质来调节造影剂注射速率,并且只要确定足够的诊断信息可用,就还终止采集程序。
借助于这种布置,实施了允许采集参数的实况调整以便优化诊断图像数据采集的反馈环路。
在图1的示例性实施例中,诊断图像数据30以及所提取的特征还被提供给显示单元500。显示单元500可以特别地包括用于以图形方式显示信息的屏幕501和被配置为允许用户提供输入并且通常操作设备的用户接口502,诸如键盘、触摸板、鼠标、触摸屏等。
显示单元500被配置为生成图像数据30和所提取的定量特征的图形表示并且在屏幕501上向用户呈现该信息。然后,用户可以查看所呈现的信息并经由用户接口502在其上提供相应的输入。然后,用户输入可以用于数据的进一步评价。在一些实施例中,用户输入还可以被用于返回到经训练的分类单元300,并且被分类单元用于进一步的训练。
图2示出了使用根据图1的装置1分析诊断图像数据的方法1000的流程图。在步骤S101处,输入单元100接收可能已经如关于图3所解释的那样生成的训练图像数据10。备选地或额外地,训练图像数据也可以已经通过不同的手段生成。
在步骤S102处,输入单元100将训练图像数据10提供给训练数据集生成单元200。在步骤S201处,训练数据集生成单元200接收训练图像数据10,并且在步骤S202中从训练图像数据10提取患者的脉管系统的一个或多个定量特征,特别是患者的脉管系统中的一个或多个感兴趣血管的一个或多个定量特征。任选地,在步骤S203中,训练数据集生成单元200将一个或多个定量特征与训练图像数据10相关。
在步骤S204中,训练数据集生成单元200生成至少一个训练数据集。该至少一个训练数据集20在步骤S205中被提供给分类单元300。
在步骤S301中,分类单元300从训练数据集生成单元200接收训练数据集20。在步骤S302中,分类单元300然后使用训练数据集20进行如关于图1所描述的那样进行训练。
随后,在步骤S303中,分类单元300接收由医学成像模态2采集的诊断图像数据30的第一子集。在步骤S304中,分类单元300对诊断图像数据30的第一子集中的多幅采集图像进行分类以从诊断图像数据30的至少一幅采集图像31提取至少一个定量特征,特别是至少一个定量特征的至少一个值。
因此,基于使用训练数据集20的先前训练来执行分类。在步骤S305中,分类单元300将诊断图像数据30以及所提取的特征提供给计算单元400以用于进一步处理。因此,再次应当理解,诊断图像数据30的第一子集被提供给计算单元400以用于进一步处理,同时诊断图像数据30的第二子集的采集仍然在进行中,从而允许使用通过计算单元400的评价来调节图像采集。
为此目的,计算单元400在步骤S401中接收诊断图像数据30的第一子集以及所提取的定量特征,并且在步骤S402中评价接收到的数据,以便确定一个或多个可调节采集设置的调节是否可能是必要的。在图2的具体实施例中,这意味着计算单元400基于诊断图像数据30的第一子集来确定诊断图像30中的个体采集图像31中的每幅中的感兴趣血管的可见性评分。在步骤S403中,计算单元400然后将可见性评分与参考值进行比较,以便确定感兴趣血管的可见性是否是足够的或它是否需要被改进。
在前一种情况(“Y”)下,即在可见性足够的情况下,该方法前进到步骤S404。如果在步骤S403中是后一种情况(“N”),即需要改进可见性,则该方法前进到步骤S404’。在步骤S404’中,计算单元400确定优化的成像轨迹以便改进可见性,并且在步骤S407中生成对应的调节信号,并将所述调节信号提供给医学成像模态2以自动调节成像轨迹。响应于调节信号,医学成像模态调节用于采集诊断图像数据30的第二子集的成像轨迹。然后,从步骤S303开始,用诊断图像数据30的第二子集在环路中重复该方法。
如上文所指示的,如果在步骤S403中确定可见性是足够的(“Y”),则该方法前进到步骤S404。在步骤S404中,计算单元400评价诊断图像数据30的第一子集,以便确定是否可以从诊断图像数据30的第一子集中的采集图像31的累积导出足够的诊断信息。如果是这种情况(“Y”),则计算单元400在步骤S545中生成终止信号并将所述终止信号提供给医学成像模态2。这在步骤S406中导致图像采集的终止。
如果不是这种情况(“N”),即如果在步骤S404中确定可以从诊断图像数据30的第一子集中的采集图像31的累积导出的诊断信息不是足够的,则该方法前进到步骤S405’。在步骤S405’中,不生成终止信号,并且该方法前进到继续在步骤S303至S404中接收和处理诊断图像数据30的第二子集(或后续子集)。借助于这种布置,实施了反馈环路,其允许采集参数的实况调整以便优化诊断图像数据采集。
图3示出了根据实施例的用于生成训练图像数据的方法2000的流程图。在步骤S2001中,模拟单元获得患者的至少一幅医学图像,并从其生成所述患者的脉管系统的三维几何模型。医学图像可以特别地已经通过医学成像模态获得。医学成像模态可以对应于医学成像模态2,或可以是不同的成像模态。
在步骤S2002中,模拟单元还获得患者的脉管系统的至少一幅二维背景图像,以便准确地将背景与脉管系统区分开。
在步骤S2003中,模拟单元然后执行血管识别并识别脉管系统中的血管。此外,在步骤S2004中,模拟单元使用三维医学图像和/或二维背景图像来生成通过患者的脉管系统的血流的流体动力学模型。在根据图3的特定实施例中,流体动力学模型可以包括或对应于集总参数模型,即其中血管的流体动力学由离散实体的拓扑近似的模型。
在步骤S2005中,使用该模型来模拟通过患者的脉管系统的造影剂流体流。在步骤S2006中,模拟单元可以任选地还接收变形平移和旋转数据作为额外信息。在步骤S2007中,模拟单元然后可以使用额外信息以便增强训练图像数据。在步骤S2008中,输出训练图像数据以提供给分类单元400。
尽管在上述实施例中已经基于使用流体动力学模型的模拟生成训练数据,但是应当理解,训练数据也可以从一个或多个患者的历史临床数据导出。
尽管在以上实施例中可调节采集参数的调节涉及成像轨迹的改变和采集过程的终止,但是应当理解,可以基于已经接收到的诊断图像数据的分类来自动做出其他种类的调节,诸如要递送到目标区域的辐射剂量的调节和/或到感兴趣血管中的注射速率的调节等。
本领域技术人员通过研究附图、公开内容以及权利要求,在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。
在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。
单个单元或设备可以实现在权利要求中记载的若干项的功能。尽管某些措施被记载在互不相同的从属权利要求中,但是这并不指示不能有利地使用这些措施的组合。
可能已经被解释为由单个单元执行的如训练数据集的生成、分类设备的训练、图像数据的分类、为了生成训练图像数据的训练图像数据的模拟等的程序也可以由多个单元执行。而且,某些流程可以由相同的单元而不是单独的单元执行。
计算机程序可以被存储/分布在合适的介质上,例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是计算机程序也可以被以其他形式分布,例如经由因特网或其他有线或无线电信系统分布。
权利要求中的任何附图标记都不应被解释为对范围的限制。
本发明涉及一种用于分析诊断图像数据的方法,包括以下步骤:在经训练的分类设备处接收包括感兴趣血管的多幅采集图像的诊断图像数据,所述诊断图像数据已经使用预定义采集方法采集;对所述诊断图像数据进行分类以从所述多幅采集图像中的至少一幅采集图像提取所述感兴趣血管的至少一个定量特征;输出与所述至少一幅采集图像相关联的所述感兴趣血管的所述至少一个定量特征,同时所述诊断图像数据的采集仍然在进行中;并且基于所述至少一个定量特征调节一个或多个可调节图像采集设置以优化所述诊断图像数据的采集。
Claims (15)
1.一种用于分析诊断图像数据的方法,包括:
在经训练的分类设备处接收包括感兴趣血管的多幅采集图像的诊断图像数据,所述诊断图像数据已经使用预定义采集方法被采集,
对所述诊断图像数据进行分类,以从所述多幅采集图像中的至少一幅采集图像提取所述感兴趣血管的至少一个定量特征,
在对所述诊断图像数据的所述采集仍然在进行时输出与所述至少一幅采集图像相关联的所述感兴趣血管的所述至少一个定量特征,并且
基于所述至少一个定量特征来调节一个或多个可调节图像采集设置,以优化对所述诊断图像数据的所述采集。
2.根据权利要求1所述的方法,其中,调节所述一个或多个可调节图像采集设置包括:
如果确定所述诊断图像数据的已经采集的部分满足至少一个预定义可靠性准则,则提前地终止对所述诊断图像数据的所述采集。
3.根据权利要求1所述的方法,其中,调节所述一个或多个可调节采集设置包括:
调节图像采集轨迹以改进所述诊断图像数据中的所述感兴趣血管的可见性。
4.根据权利要求1所述的方法,其中,调节所述一个或多个可调节采集设置包括:
在图像采集期间到所述感兴趣血管中的造影剂注射速率。
5.根据权利要求1所述的方法,还包括:
根据所述预定义采集方法来获得所述感兴趣血管的训练图像数据,并且从所述训练图像数据提取所述至少一个定量特征,
生成用于所述分类设备的至少一个训练数据集,所述训练数据集包括与所述至少一个定量特征相关联的所述训练图像数据,并且
使用所述至少一个训练数据集来训练所述分类设备。
6.根据权利要求5所述的方法,其中,所述训练图像数据包括通过根据所述预定义采集方法模拟图像采集而生成的模拟的训练图像数据,其中,所述模拟包括:
获得所述感兴趣血管的至少一个三维几何模型;
获得所述感兴趣血管的至少一幅二维背景图像;并且
基于至少一个造影剂流体参数来模拟通过所述患者的脉管系统的造影剂流体动力学。
7.根据权利要求6所述的方法,其中,所述模拟还包括:
获得变形平移和旋转数据,
基于所述平移和旋转数据来增强所述模拟的训练图像数据。
8.根据权利要求5所述的方法,其中,生成所述至少一个训练数据集还包括:
接收额外患者数据,并且
根据所述额外患者数据来调节所述至少一个训练数据集。
9.根据权利要求1所述的方法,其中,所述至少一个定量特征包括以下中的一项或多项:所述患者的脉管系统中的血管的血管标签、和/或所述患者的脉管系统中的血管的血管长度、和/或所述患者的脉管系统中的血管中的病变的严重性、和/或所述患者的脉管系统中的血管的血管直径、和/或所述患者的脉管系统中的病变和/或血管的可见性评分、和/或针对所述多幅采集图像中的所述至少一幅采集图像的完整性评分、和/或心肌显影值。
10.根据权利要求1所述的方法,其中,输出所述至少一个定量特征以用于进一步评价包括:
向用户显示所述至少一个定量特征,和/或
以用于自动报告给报告实体的预定义格式来输出所述至少一个定量特征。
11.一种用于分析诊断图像数据的装置,包括:
经训练的分类设备,所述经训练的分类设备被配置为:
接收包括感兴趣血管的多幅采集图像的诊断图像数据,所述诊断图像数据已经使用预定义采集方法被采集,
对所述诊断图像数据进行分类,以从所述多幅采集图像中的至少一幅采集图像提取所述感兴趣血管的至少一个定量特征,并且
在对所述诊断图像数据的所述采集仍然在进行时输出与所述至少一幅采集图像相关联的所述感兴趣血管的所述至少一个定量特征,以及
计算单元,其被配置为基于所述至少一个定量特征来调节一个或多个可调节图像采集设置,以优化对所述诊断图像数据的所述采集。
12.根据权利要求11所述的装置,还包括:
输入单元,其被配置为根据所述预定义采集方法来获得所述感兴趣血管的训练图像数据;
训练数据集生成单元,其被配置为:从所述训练图像数据提取所述感兴趣血管的所述至少一个定量特征;并且生成用于所述分类设备的至少一个训练数据集,所述训练数据集包括与所述至少一个定量特征相关联的所述训练图像数据;并且将所述至少一个训练数据集提供给所述分类设备以用于训练。
13.根据权利要求11所述的装置,还包括:
显示单元,其被配置为生成所述多幅采集图像中的至少一幅采集图像和/或所述至少一个定量特征的图形表示,以及
用户接口,其被配置为响应于所述图形表示而接收用户输入。
14.一种用于控制根据权利要求1至10中的任一项所述的装置的计算机程序,所述计算机程序当被处理单元执行时适于执行根据权利要求11至13所述的方法。
15.一种在其上存储有根据权利要求14所述的计算机程序的计算机可读介质。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19183278.1 | 2019-06-28 | ||
EP19183278.1A EP3756547A1 (en) | 2019-06-28 | 2019-06-28 | Automated coronary angiography analysis |
PCT/EP2020/068273 WO2020260701A1 (en) | 2019-06-28 | 2020-06-29 | Automated coronary angiography analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114041167A true CN114041167A (zh) | 2022-02-11 |
Family
ID=67184780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080047583.7A Pending CN114041167A (zh) | 2019-06-28 | 2020-06-29 | 自动化冠状动脉血管造影分析 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220351369A1 (zh) |
EP (2) | EP3756547A1 (zh) |
JP (2) | JP7200406B2 (zh) |
CN (1) | CN114041167A (zh) |
WO (1) | WO2020260701A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020185758A1 (en) | 2019-03-12 | 2020-09-17 | Bayer Healthcare Llc | Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof |
CN117582208A (zh) * | 2019-09-18 | 2024-02-23 | 拜耳公司 | 用于确定组织体素的特征的方法、系统和计算机可读介质 |
US11727571B2 (en) | 2019-09-18 | 2023-08-15 | Bayer Aktiengesellschaft | Forecast of MRI images by means of a forecast model trained by supervised learning |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7627386B2 (en) * | 2004-10-07 | 2009-12-01 | Zonaire Medical Systems, Inc. | Ultrasound imaging system parameter optimization via fuzzy logic |
US8081811B2 (en) * | 2007-04-12 | 2011-12-20 | Fujifilm Corporation | Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein |
WO2011042834A1 (en) * | 2009-10-06 | 2011-04-14 | Koninklijke Philips Electronics N.V. | Automatic c-arm viewing angles for structural heart disease treatment. |
JP5695140B2 (ja) * | 2013-07-29 | 2015-04-01 | 株式会社東芝 | 医用画像診断装置 |
KR102233319B1 (ko) * | 2014-01-20 | 2021-03-29 | 삼성전자주식회사 | 관심 영역 추적 방법, 방사선 촬영 장치, 방사선 촬영 장치의 제어 방법 및 방사선 촬영 방법 |
JP2015217170A (ja) * | 2014-05-19 | 2015-12-07 | 株式会社東芝 | X線診断装置 |
WO2016087396A1 (en) | 2014-12-02 | 2016-06-09 | Koninklijke Philips N.V. | Fractional flow reserve determination |
DE102016207367A1 (de) * | 2016-04-29 | 2017-11-02 | Siemens Healthcare Gmbh | Festlegen von Scanparametern einer CT-Bildaufnahme mit Hilfe einer Außenbildaufnahme |
US10667776B2 (en) * | 2016-08-11 | 2020-06-02 | Siemens Healthcare Gmbh | Classifying views of an angiographic medical imaging system |
JP6903495B2 (ja) * | 2017-06-12 | 2021-07-14 | 株式会社日立製作所 | X線ct装置、処理方法、及びプログラム |
EP3488774A1 (en) | 2017-11-23 | 2019-05-29 | Koninklijke Philips N.V. | Measurement guidance for coronary flow estimation from bernoulli´s principle |
EP3624132A1 (en) | 2018-09-13 | 2020-03-18 | Koninklijke Philips N.V. | Calculating boundary conditions for virtual ffr and ifr calculation based on myocardial blush characteristics |
-
2019
- 2019-06-28 EP EP19183278.1A patent/EP3756547A1/en not_active Withdrawn
-
2020
- 2020-06-29 CN CN202080047583.7A patent/CN114041167A/zh active Pending
- 2020-06-29 EP EP20734240.3A patent/EP3989828B1/en active Active
- 2020-06-29 US US17/618,445 patent/US20220351369A1/en active Pending
- 2020-06-29 WO PCT/EP2020/068273 patent/WO2020260701A1/en active Application Filing
- 2020-06-29 JP JP2021575931A patent/JP7200406B2/ja active Active
-
2022
- 2022-12-21 JP JP2022203861A patent/JP2023033308A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3989828B1 (en) | 2022-11-30 |
EP3756547A1 (en) | 2020-12-30 |
JP7200406B2 (ja) | 2023-01-06 |
JP2023033308A (ja) | 2023-03-10 |
US20220351369A1 (en) | 2022-11-03 |
WO2020260701A1 (en) | 2020-12-30 |
EP3989828A1 (en) | 2022-05-04 |
JP2022531989A (ja) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11869669B2 (en) | Method and system for image processing to model vasculasture | |
EP3989828B1 (en) | Automated coronary angiography analysis | |
US20240078676A1 (en) | Interactive coronary labeling using interventional x-ray images and deep learning | |
EP3624132A1 (en) | Calculating boundary conditions for virtual ffr and ifr calculation based on myocardial blush characteristics | |
CN110494893B (zh) | 基于ffr的对非侵入性成像的交互监测 | |
US20190076105A1 (en) | Hemodynamic parameters for co-registration | |
US11657519B2 (en) | Method for deformation correction | |
JP7479364B2 (ja) | 血管造影ffrのための2d血管セグメント化の方位検出 | |
EP3989832B1 (en) | Vessel registration using functional information | |
US20230252628A1 (en) | Estimating flow to vessel bifurcations for simulated hemodynamics | |
EP4197442A1 (en) | Peripheral perfusion analysis | |
JP2023044939A (ja) | 医用画像処理装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |