CN112292086A - 超声病变评估及相关联的设备、系统和方法 - Google Patents

超声病变评估及相关联的设备、系统和方法 Download PDF

Info

Publication number
CN112292086A
CN112292086A CN201980041991.9A CN201980041991A CN112292086A CN 112292086 A CN112292086 A CN 112292086A CN 201980041991 A CN201980041991 A CN 201980041991A CN 112292086 A CN112292086 A CN 112292086A
Authority
CN
China
Prior art keywords
tissue
image frames
sequence
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980041991.9A
Other languages
English (en)
Other versions
CN112292086B (zh
Inventor
C·埃里克
C·M·斯威舍
谢华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112292086A publication Critical patent/CN112292086A/zh
Application granted granted Critical
Publication of CN112292086B publication Critical patent/CN112292086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/481—Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Hematology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了临床评估设备、系统和方法。一种临床评估系统，包括：与成像设备通信的处理器，其中，处理器被配置为从成像设备接收表示在时间段内的造影剂灌注的对象的组织的图像帧的序列；通过将预测网络应用于图像帧的序列以产生针对多个第一组织类别和多个第二组织类别的概率分布基于图像帧的序列中间的时空相关性将图像帧的序列分类为多个第一组织类别和多个第二组织类别；并且将针对多个第一组织类别和多个第二组织类别的概率分布输出到与处理器通信的显示器。

Description

超声病变评估及相关联的设备、系统和方法
技术领域
本公开总体上涉及超声成像，并且尤其涉及提供用于评估病变的自动化系统和方法。
背景技术
医学超声成像由于其可访问性、便宜、安全和易于使用并且更重要地由于其实时反馈而是常常优于造影增强计算机断层摄影(CT)或磁共振成像(MRI)的医学成像模态。例如，B模式成像、彩色多普勒成像和/或功率多普勒成像通常用于表征软组织，检索脉管系统信息并量化血流。然而，在诸如局灶性肝病变(FLL)表征和分类的一些特定应用中，上述超声成像模态可能缺乏特异性和敏感性。在这种情况下，造影增强超声(CEUS)成像可能是优选超声成像模式，因为其提供了形态学和血管增强信息。
在CEUS成像中，稳定充气微泡被用作造影剂，以增加超声成像下血流的可检测性。例如，可以经由肘前静脉向患者注射微泡团。微泡可能流过患者的身体，包括肝动脉和门静脉，其向肝脏供血。肝动脉和门静脉的微泡的动力学(例如，填入和洗出)可以用于区分病变是良性(即实性或囊性肿块)还是恶性(多高血管性病变)。另外，不同性质的FLL在成像下可能具有不同的血管增强模式。与微泡动力学组合的血管增强模式的时空性质可以用于分类和表征肝脏病变的性质。然而，分析、分类和表征可能很复杂，并且不同类型或不同类别的肝脏病变之间的差异能够是细微的，并且因此可能需要专业知识。
发明内容
尽管已经证明现有超声成像有用于临床评估和诊断，但是临床上仍然需要用于提供自动病变评估工具的改进的系统和技术。本公开的实施例提供了深度学习框架，以经由CEUS成像帮助和指导用户对病变(例如，肝病变)进行分类和表征。所公开的实施例可以在向患者注射造影剂(例如，微泡)之后的一段时间内将三维(3D)深度学习预测网络应用于从患者捕获的CEUS图像的序列。深度学习预测网络可以将图像帧的序列分为恶性与良性，并且还分类为恶性或良性病变的子类。可以训练深度学习预测网络以针对不同病变类型和/或状态学习病变中的微泡动力学(填入/洗出)和/或血流增强模式(例如，在动脉期、门静脉期和/或延迟期期间)的时空特性。此外，所公开的实施例可以从深度学习预测网络中提取高水平诊断信息，并且可以以文本报告的形式呈现CEUS图像的解释。此外，所公开的实施例可以从包括贡献于分类输出的最显著特征(例如，时空签名)的序列中识别图像帧(例如，决定性帧)。分类、文本报告和/或决定性帧可以指导用户进行病变评估。
在一个实施例中，一种临床病变评估系统包括与成像设备通信的处理器，其中，处理器被配置为从成像设备接收表示在时间段内的灌注有造影剂的对象的组织的图像帧的序列；将图像帧的序列分类为多个第一组织类别和不同于第一组织类别的多个第二组织类别，通过将预测网络应用于图像帧的序列以产生多个第一组织类别和多个第二组织类别的概率分布基于图像帧的序列中间的时空相关性进行分类；并将多个第一组织类别和多个第二组织类别的概率分布输出到与处理器通信的显示器。
在一些实施例中，处理器还被配置为将多个第一组织类别中的每个的概率输出到显示器；并将多个第二组织类别中的每个的概率输出到显示器。在一些实施例中，预测网络识别最代表概率分布的图像帧的序列的子集，并且其中，处理器还被配置为向显示器输出该子集中的图像帧。在一些实施例中，时空相关性是在表示造影剂通过对象的组织的灌注的图像帧的序列中的像素中间的。在一些实施例中，预测网络基于时空相关性产生文本报告，该文本报告包括与在时间段内的不同子时段期间造影剂通过对象的组织的灌注相关联的信息，并且其中，处理器还被配置为将文本报告输出到显示器。在一些实施例中，预测网络包括第一预测子网络和第二预测子网络，其中，第一预测子网络产生概率分布，并且其中，第二预测子网络产生文本报告。在一些实施例中，子时段包括灌注的动脉期(AP)、灌注的门静脉期(PVP)或灌注的延迟期中的至少一项。在一些实施例中，对象的组织包括肝脏的至少部分。在一些实施例中，多个第一组织类别包括肝细胞癌(HCC)、胆管癌或转移中的至少一项，并且其中，多个第二组织类别包括血管瘤、局灶性结节性增生(FNH)或腺瘤中的至少一项。在一些实施例中，处理器被配置为将表示对象的组织的亮度模式(B模式)图像输出到显示器。在一些实施例中，处理器被配置为基于图像帧的序列将对象的组织的造影增强图像输出到显示器。在一些实施例中，处理器还被配置为从与处理器通信的用户输入设备接收对象的组织的选定的感兴趣区域(ROI)的指示；并且基于选定的ROI将预测网络应用于图像帧的序列。在一些实施例中，处理器被配置为基于图像帧的序列从对象的组织中识别感兴趣区域(ROI)；并基于所识别的ROI将预测网络应用于图像帧的序列。在一些实施例中，通过提供表示在时间段内的造影剂灌注的测试对象的组织的测试图像帧的序列来训练预测网络；基于造影剂通过测试对象的组织的灌注的动脉期(AP)、灌注的门静脉期(PVP)和灌注的延迟期对测试图像帧的序列进行排序；并且基于与所述多个第一组织类别和所述多个第二组织类别相关联的血流的时空特性将评分分配给测试图像帧的序列。
在一个实施例中，一种临床病变评估的方法包括：从成像设备接收表示在时间段内的灌注有造影剂的对象的组织的图像帧的序列；将图像帧的序列分类为多个第一组织类别和不同于第一组织类别的多个第二组织类别，通过将预测网络应用于图像帧的序列以产生多个第一组织类别和多个第二组织类别的概率分布基于图像帧的序列中间的时空相关性进行分类；并且由显示器显示多个第一组织类别和多个第二组织类别的概率分布。
在一些实施例中，显示包括：显示多个第一组织类别中的每个的概率；并且显示多个第二组织类别中的每个的概率。在一些实施例中，该方法还包括由预测网络识别最代表概率分布的图像帧的序列的子集；并由所述显示器显示所述子集中的图像帧。在一些实施例中，该方法还包括：基于时空相关性由预测网络生成文本报告，该文本报告包括与在时间段的不同子时段期间造影剂通过对象的组织的灌注相关联的信息；并且由显示器显示文本报告。在一些实施例中，该方法还包括基于图像帧的序列从对象的组织中识别感兴趣区域(ROI)；并基于所识别的ROI应用预测网络。在一些实施例中，对象的组织包括肝脏的至少部分，其中，多个第一组织类别包括肝细胞癌(HCC)、胆管癌或转移中的至少一项，并且其中，多个第二组织类别包括血管瘤、局灶性结节性增生(FNH)或腺瘤中的至少一项。
根据以下详细描述，本公开的额外的方面、特征和优点将变得显而易见。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开的方面的超声成像系统的示意图。
图2A是根据本公开的方面的从造影增强超声(CEUS)成像捕获的患者的肝脏病变的超声图像。
图2B是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像。
图3A是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像。
图3B是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像。
图3C是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像。
图4是图示根据本公开的方面的基于深度学习的病变评估方法的流程图。
图5是图示根据本公开的方面的用于病变评估的深度学习网络的配置的示意图。
图6是图示根据本公开的方面的用于病变评估的感兴趣区域(ROI)检测方案的示意图。
图7是图示根据本公开的方面的用于病变评估的决定性帧选择方案700的示意图。
图8是图示根据本公开的方面的肝脏病变评估的显示视图的示意图。
图9是根据本公开的方面的自动病变评估方法的流程图。
具体实施方式
为了促进对本公开原理的理解的目的，现在将参考附图中图示的实施例，并且将使用特定语言来描述其。然而应理解，不旨在限制本公开的范围。如本公开涉及领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开的原理的任何进一步应用被充分地预期并包括在本公开内。特别地，完全预期，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。然而，为了简洁起见，将不单独描述这些组合的许多迭代。
图1是根据本公开的方面的超声成像系统100的示意图。系统100用于扫描患者身体的区或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器阵列112、波束形成器114、处理部件116和通信接口118。主机130包括显示器132、处理部件134和通信接口136。
换能器阵列112朝向解剖物体105发射超声信号，并接收从物体105反射返回到换能器阵列112的回波信号。超声换能器阵列112可以包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器阵列112包括单个声学元件。在一些实例中，换能器阵列112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列。例如，换能器阵列112可以包括在1个声学元件和1000个声学元件之间的，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件和/或更大值和更小两者的其他值。在一些实例中，换能器阵列112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如1.5D阵列)或二维(2D)阵列。可以一致或独立地控制和激活的声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。换能器阵列112可以被配置为获得患者解剖结构的一维图像、二维图像和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
波束形成器114耦合到换能器阵列112。波束形成器114控制换能器阵列112以例如用于超声信号的发送和超声回波信号的接收。波束形成器114基于响应或接收到的超声回波信号将图像信号提供给处理部件116。波束形成器114可以包括波束形成的多个阶段。波束形成可以减少用于耦合到处理部件116的信号线的数量。在一些实施例中，与波束形成器114组合的换能器阵列112可以被称为超声成像部件。
在一些实施例中，物体105可包括患者的肝脏的至少部分以用于肝脏病变评估。在其他实施例中，物体105可以包括适合超声成像检查的患者的任何解剖结构(例如，肺、血管、心脏、肾脏和/或肝脏)。
处理部件116耦合到波束形成器114。处理部件116可以包括中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一个硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理部件116被配置为处理波束形成图像信号。例如，处理部件116可以执行滤波和/或正交解调以调节图像信号。处理部件116和/或134可以被配置为控制阵列112以获得与物体105相关联的超声数据。
通信接口118耦合到处理部件116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发机和/或用于发送和/或接收通信信号的电路。通信接口118可以包括硬件部件和/或软件部件，其实现适于通过通信链路120将信号传输到主机130的特定通信协议。通信接口118可以被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。
处理部件134耦合到通信接口136。处理部件134可以被实现为软件部件和硬件部件的组合。处理部件134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器，或任何其他此类配置。处理部件134可以被配置为根据从探头110接收的图像信号生成图像数据。处理部件134可以将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理部件134可以根据图像数据形成三维(3D)体积图像。在一些实施例中，处理部件134可以对图像数据执行实时处理，以提供物体105的超声图像的流视频。
在一些实施例中，处理部件134可以对图像数据或图像帧执行图像分析以用于病变评估，诸如局灶性肝病变(FLL)评估。处理部件134可以应用基于深度学习的技术，以基于图像数据或图像帧来确定病变是恶性还是良性和/或恶性/良性病变的类型，如本文中更详细描述的。
显示器132耦合到处理部件134。显示器132可以是监测器或任何合适的显示器。显示器132被配置为显示由处理部件134处理的超声图像、图像视频和/或病变评估结果，如本文中更详细描述的。
系统100可以被配置用于使用在基于CEUS成像的病变评估的各个阶段中。在实施例中，系统100可以用于收集超声图像以形成用于深度学习网络训练的训练数据集。例如，主机130可以包括存储器138，其可以是任何合适的存储设备，诸如高速缓冲存储器(例如，处理部件134的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器器件、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。存储器138可以被配置为存储CEUS图像数据集140以用于基于深度学习的训练。
在一些实施例中，系统100可以用于训练深度学习网络以用于病变评估。例如，对于FLL评估，可以使用二维(2D)造影增强图像帧的序列来训练深度学习网络。可以训练深度学习网络以分析在造影增强帧中的相邻造影增强像素(例如，对应于微泡)中间的时空相关性。可以训练深度学习网络以将图像分类为恶性类别和良性类别，并且还分类为恶性子类和良性子类。
在一些实施例中，系统100可以在临床环境中用于实况CEUS成像检查，其中，经训练的深度学习网络可以应用于病变表征和分类。本文更详细地描述了在基于深度学习的技术的基础上从CEUS图像自动并且系统地评估病变的机制。
尽管在使用超声成像探头110进行超声成像的背景下描述了系统100，但是在一些实施例中，系统100可以备选地配置为包括用于执行CT、MRI或X射线的成像设备。在这样的实施例中，处理部件134可以生成CT图像、MRI图像或X射线图像以显示在显示器132上。
图2A-2B示出了在施用微泡之后的两个不同时刻处的恶性肝病变的微泡动力学。图3A-3C图示了良性肝病变的微泡动力学。为了使用CEUS成像执行FLL评估，临床医师可以向患者体内注入一小团微泡。微泡是血管内微米级磷脂球。团块注射的量可以根据使用中的造影剂而变化。在一些实施例中，团块注射可在约1毫升(ml)至约5ml之间。微泡可以增强超声成像下血流的可检测性。当微泡被声波声穿透时，由于传播波与其气体含量之间的高阻抗失配，它们生成高的反向散射回波。当微泡以低机械指数成像时，它们允许对肝脏病变和病变脉管系统两者进行连续成像。
微泡通过肝动脉和门静脉的灌注可以包括动脉期(AP)、门静脉期(PVP)和延迟期。AP可能在注射后约10秒到约20秒开始，并可能持续直到约40秒。PVP在大约40秒开始，并且可能在注射后持续大约2分钟。取决于用于注射的微泡的类型，注射后延迟期可能持续直到约4分钟至约6分钟。由于每种情况下微泡增强脉管系统的动力学不同，因此良性相对于恶性病变的区分可能基于填充/洗出定时相对于过度/欠度增强的区别。
图2A是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像210。图2B是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像220。可以使用类似于系统100的系统来捕获图像210和220。可以在向患者注射微泡团之后约24秒捕获图像210。图像220可以在微泡注射之后约169秒被捕获。如从图2A-2B可以观察到的微泡的延迟期洗出可以指示恶性肿瘤。
图3A是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像310。图3B是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像320。图3C是根据本公开的方面的从CEUS成像捕获的患者的肝脏病变的超声图像330。可以使用类似于系统100的系统来捕获图像310、320和330。可以在向患者注射微泡团之后约6秒捕获图像310。可以在微泡注射后约7秒捕获图像320。可以在微泡注射之后约8秒捕获图像330。如从图3A-3C观察到的持久回声性可以指示良性肿瘤。
CEUS通过可视化病变血管形态学特性和特定时间增强特征来实现肝病变表征。通常，AP可以包括关于病变内的血管化程度的信息，PVP和延迟期可以提供用于定义病变内的洗出相对于周围组织的动力学的信息。洗出定义为与邻近的肝实质相比，过度增强或同等增强向欠度增强的过渡。延迟期的增强可进一步帮助对恶性相对于良性肿块进行分类。
良性FLL可以分类为血管瘤、局灶性结节性增生(FNH)或肝细胞腺瘤，其中，每个可以包括不同特性。例如，血管瘤可能在AP期间在外周区示出球状增强并且在PVP期间示出向心填入，而FHN可能在AP期间示出辐条轮状增强，并且在PVP和延迟期中示出过度增强中央瘢痕。腺瘤可能在AP期间呈现弥漫性增强，并可能在早期PVP中变为高回声。
恶性FLL可以分类为肝细胞癌(HCC)、肝内胆管癌(ICC)和转移。在一些实例中，恶性FLL分类可以基于其浸润血管或低回声晕的B型和多普勒血流图像。HCC能够由AP期间的外周弥漫性过度增强和PVP期间的延迟的欠度增强性洗出表征。在一些情况下，当组织坏死时，患处可能没有示出增强。HCC洗出定时可能是将HCC与其他恶性病变区分开的关键特征。胆管癌在PVP期间可能示出与HCC相似的欠度增强洗出，但可能更快。在AP期间ICC可能示出外周边缘状增强。在AP期间转移可能主要是血管不足的，具有边缘增生或弥漫性过度增强，以及在PVP和延迟期的迅速洗出。
图4-7图示了使用基于深度学习的技术来自动和系统地分析和解释CEUS图像中的时空变化以评估肝病变。图4是图示根据本公开的方面的使用CEUS成像的基于深度学习的病变评估方法400的工作流程图。可以使用系统100来执行方法400的步骤。如所图示，方法400包括多个列举的步骤，但是方法400的实施例可以在列举的步骤之前、之后以及之间包括额外步骤。在一些实施例中，列举的步骤中的一个或多个可以被省略或以不同的顺序执行。将在下面参考图5、6和7对方法400进行描述。
在步骤405处，临床医师可以使用系统100执行B模式成像以在肝脏病变评估下捕获患者(例如，物体105)的图像402。B模式图像402可以至少包括患者的肝脏、肝动脉和门静脉的部分。B模式图像402可以显示在显示器132上。
在步骤410处，临床医师可以向患者施用超声造影剂。例如，临床医师可以将微泡团(例如约1ml至约5ml)注射到患者体内。
在步骤415处，临床医师可以初始化用于CEUS成像的系统100。在初始化期间，系统100可以确定或优化换能器阵列112的发送功率、发送焦距、动态范围、信号增益和/或发送频率。
在步骤420处，临床医师可以任选地例如经由显示器132上的交互式接口或系统100的用户输入设备从B模式图像402中选择感兴趣区域(ROI)404以进行评估。备选地，处理部件134可以被配置为自动检测ROI 404并在显示器132上显示ROI 404。ROI 404的选择可以在应用深度学习网络时的之后步骤中使用。ROI 404可以限制深度学习网络以分析ROI404内的图像部分。换句话说，ROI 404可以限制深度学习网络的输入数据的维度，并且因此可以降低处理复杂度。
在步骤425处，系统100可以在微泡注射之后的一段时间内采集患者的CEUS图像序列。例如，时段可以包括如上所述的AP、PVP和延迟期。CEUS图像可以存储在存储器138中。
在步骤430处，处理部件134可以将运动补偿算法应用于CEUS图像序列，以补偿在患者呼气和吸气时可能出现的运动。运动补偿可以对准CEUS图像中的解剖特征以改进后续分析的准确性。
在步骤435处，处理部件134可以将深度学习网络应用于运动补偿CEUS图像以用于病变评估。例如，深度学习网络可以跨CEUS图像执行时空分析。时空分析可以将CEUS图像内的增强图案中的每个像素的信息与微泡的时间动力学(例如填充/洗出)结合。为了减少深度学习网络的处理的计算复杂度和/或时间，可以将ROI 404信息传输到预测网络以将时空分析限制在ROI 404之内。在图5中描述了深度学习网络的架构。
图5是图示根据本公开的方面的深度学习网络510的配置500的示意图。可以由方法400将深度学习网络510用于病变评估。深度学习网络510可以包括CNN 530和文本生成递归神经网络(RNN)560。
CNN 530是三维(3D)网络。CNN 530可以在时间段内对CEUS图像504的序列502进行操作。例如，CEUS图像504可以对应于在方法400的步骤430处产生的运动补偿图像。CNN 530可以包括一组N个卷积层532，之后是一组K个全连接层536，其中，N和K可以是任何正整数。值N和K可以根据实施例而变化。在一些实例中，值N和K可以取决于训练和/或验证数据集(例如，图像数据集140)的大小。每个卷积层532可以包括一组滤波器520，其被配置为从输入图像中提取特征。特征可以包括相邻像素中间的时空相关性(例如，表示微泡签名)。时空相关性可以指图像504中的相邻像素的组或簇中间在时间和空间上的相关性。全连接层536可以是非线性的，并且可以将最后卷积层532(N)的高维输出逐渐缩小到对应于输出538的分类数的长度。
在输出538处的分类可以包括在恶性病变类别540和良性病变类别550之间的二进制分类。恶性病变类别540还可以将恶性病变分类为L1多个恶性病变子类542(例如，示出为542M(0)至542M(L1)，其中，L1为正整数)。良性病变类别550还可将良性病变分类为L2良性病变子类552(例如，示出为552B(0)至552B(L2)，其中，L2为正整数)。在实施例中，恶性病变子类542可包括HCC、ICC、转移，而良性病变子类552可以包括血管瘤、FNH和肝细胞腺瘤。换句话说，概率分布输出538可以指示患者具有恶性病变或良性病变的可能性以及患者具有特定类型的恶性病变或特定类型的良性病变的可能性。
尽管未在图5中示出，在一些实施例中，卷积层532可以与池化层交错，每个池化层包括可以降低提取的成像特征的维度的一组下采样操作。另外，卷积层512可以包括被配置为提取校正后的特征图的非线性函数(例如，包括校正后的非线性(ReLU)操作)。
图像504被示为504t(1)至504t(N)，其中，t(1)至t(N)可以对应于包括微泡注射后的AP、PVP和延迟期的时间段。图像504是在时间段t内的2D图像(例如，在x-y维度上)。图像504可以被时间戳记。因此，图像504可以由I(x，y，t)表示。图像504可以连续地穿过每个层532和536以用于特征提取、分析和/或分类。每个层532或536可以包括被施加到输入图像504或先前层532或536的输出的加权(例如，卷积层532中的滤波器520的滤波器系数和全连接层536的非线性加权)。
在实施例中，图像504可以被分成对应于AP、PVP和延迟期的三个子序列。例如，可以在AP内捕获图像504t(N0)至504t(N1)，可以在PVP内捕获图像504t(N1+1)至504t(N2)，并且可以在延迟期内捕获图像504t(N2+1)至504t(N3)，其中，1≤N0＜N1＜N2＜N3≤N。CNN 530可以应用于每个子序列以分析在AP、PVP和延迟期中的每个期间以及跨AP、PVP和延迟期血流动力学和增强模式在空间和时间上的行为如何。CNN 530可以基于分析确定恶性病变子类542和良性病变子类552的概率分布。
在训练期间，CNN 530可以例如使用前向传播应用于训练数据集140中的图像，以获得每个恶性病变子类542和每个良性病变子类552的图像的输出或评分。卷积层532中的滤波器520的系数和全连接层536中的加权可以例如通过使用向后传播来调节以最小化输出误差。例如，包括HCC的图像可以用于训练CNN 530，使得CNN 530可以针对与HCC对应的子类542输出高概率(例如，大于约90％)。在实施例中，CNN 530可以应用于与AP、PVP和延迟期相对应的图像，以学习在AP、PVP和延迟期期间血流动力学和增强模式在空间和时间上的行为如何。
可以将最后卷积层532(N)上的输出534(例如，特征图或特征向量)输入到文本生成RNN 560中。文本生成RNN 560是基于学习的预测网络。可以利用深度加强学习框架来实现文本生成，该框架根据临床报告来融入临床诊断以产生自由文本。例如，当真实数据可用时，可以学习临床诊断，并且深度学习模型可以生成文本报告，具有候选诊断和与输出534相关联的有意义的特征。
例如，文本生成RNN 560可以包括一系列分类器和/或长短期记忆单元(LSTM)。训练文本生成RNN 560以基于特征图(例如，输出534)生成文本报告562。文本生成RNN 560可以从特征图输出534提取高水平诊断信息。文本生成RNN 560可以基于对图像504的语义理解来构建文本报告562。例如，文本报告562可以提供诊断信息的描述，突出显示AP、PVP和延迟期扫描期间的增强模式，以及微泡动力学的时间描述，如本文更详细描述。文本报告562可以显示在显示器132上。文本报告562可以帮助和支持用户对CNN 530的分类输出(例如，恶性病变子类542和良性病变子类552的概率分布)的解释。
在实施例中，恶性病变类别540和良性病变类别550之间的粗略二元分类可以基于填充和洗出的定时。CNN 530可以基于在图像504中的相邻像素的簇(例如，图6中所示的簇632)中检索到的微泡之间的时空相关性执行到恶性病变子类542和良性病变子类552中的精细分类。
图6是图示根据本公开的方面的用于病变评估的ROI检测方案600的示意图。方案600可以被应用在方法400的ROI选择步骤420中。在方案600中，图像序列502可以被输入到循环CNN(R-CNN)610中。R-CNN 610可以具有基本与CNN 530类似的结构。R-CNN 610可以确定序列502的图像504中的ROI 620(例如ROI 404)。R-CNN 610可以识别包括跨图像504的微泡签名的相邻像素的簇632。表示微泡的相邻像素的簇632可以被输入到CNN530。CNN530可以从簇632识别时空签名(例如，跨时间的增强图案的变化)，并在输出538处输出概率分布。时空签名能够具有比人类可能识别和/或分析的时空维度更复杂的时空维度。例如，医师或临床医师当前可以基于在某些时间点和/或某些空间点的分析来识别某些类型的恶性病变或某些类型的良性病变。CNN 530可以跨时间和/或空间上的各个点和/或在任何合适的时间和/或空间的粒度处执行时空相关性。
返回到图4，在步骤440处，处理部件134还可以从采集的CEUS图像(例如，图像504)中选择一组决定性图像帧。例如，处理部件134可以从所采集的CEUS图像中选择图像的子集，其包括最代表概率分布输出538的时空特征，如图7所示。
图7是图示根据本公开的方面的用于病变评估的决定性帧选择方案700的示意图。方案700可以由系统100实现，并且可以与方法400结合使用。方案700包括决定性帧选择单元710，其可以由处理部件134实现。例如，在向图像504应用CNN 530以获得概率分布输出538之后，决定性帧选择单元710可以基于CNN特征图输出534来选择最代表输出538处的概率分布的图像504的子集。换句话说，图像504的子集和与该子集相关联的时间戳记可以包括导致CNN 530产生概率分布输出538的最显著的特征。该子集可以被称为决定性帧716。决定性帧选择单元710可以输出决定性帧716。作为示例，决定性帧选择单元710选择与图像504t(D1)、504t(D2)和504t(D3)相对应的三个决定性帧716，其中，1≤D1、D2、D3≤N。应注意，决定性帧选择单元710可以选择任何合适数量的决定性帧(例如，大约2个、4个、5个或更多)。决定性帧716可以帮助用户理解预测网络(例如，深度学习网络510)的结果。
决定性帧选择单元710可以使用各种方法来实现。例如，决定性帧选择单元710可以在序列502中搜索包括与CNN 530的特征图输出534相对应的时空特征的图像504。备选地，决定性帧选择单元710可以生成作为图像504的重要性的函数的正确类别概率的时间图。例如，时间图可以是2D图，其被指代为M(x，y，t＝帧)，其中，x和y表示空间坐标，并且t表示时间。局部分类器值可以与每个空间协调器(xi，yi)相关联。决定性帧选择单元710可以从CNN输出534确定在哪个空间和时间(哪个帧)中做出决定。换句话说，决定性帧选择单元710可以从CNN输出534中为每个帧检索具有最高局部概率的空间特征。该决定还可以取决于不同期(例如，AP、PVP和延迟期)。具有图像504的最高密度的图中的时间区域可以确定决定性帧716(例如，图像504t(D1)、504t(D2)和504t(D3))。
返回到图4，在步骤445处，处理部件134可以传送来自预测网络的输出和决定性帧，以在显示器132上显示，如图8所示。
图8是图示根据本公开的方面的肝脏病变评估的示例显示视图800的示意图。视图800可以对应于系统100中的显示器132上的显示视图。视图800可以包括包含ROI 404的B模式图像402，CEUS图像810(例如，图像504之一)，概率分布输出538，决定性帧716和文本报告562。
在示例视图800中，概率分布输出538以树结构显示，例如，恶性类别的根节点(例如，恶性病变类别540)和良性类别的根节点(例如，良性病变类别550)。每个根节点可分支为不同类型的恶性病变(例如，恶性子类542)或良性病变(例如，良性子类552)。输出538指示血管瘤类型的良性病变的95％(％)的可能性，以及转移类型的恶性病变的5％的可能性。换句话说，在检查中的患者可能患有血管瘤。在一些实施例中，输出538还可以包括非肿瘤病变类别的根节点。
决定性帧716示出了最代表输出538的采集的帧或图像。换句话说，决定性帧716可以产生与输出538大致相同的概率分布。作为示例，三个决定性帧716可能示出血管瘤的约为95％、80％和60％的概率。
文本报告562可以描述由CNN 530做出的决定的基础。如图所示，文本报告562指示在AP期间检测到向心填充，并且在PVP和延迟期期间未检测到洗出。文本报告562还可以指示AP的大约1分钟的到峰时间(TTP)值和PVP的大约5分钟的TTP值。TTP值可以指代从微泡注射达到峰值增强的时间量。在AP期间的向心填充、在PVP和延迟期的没有洗出、AP的大约1分钟的TTP以及PVP和延迟期的大约5分钟的TTP已经导致CNN530确定病变是血管瘤。
图9是根据本公开的方面的自动病变评估方法900的流程图。方法900的步骤可以由诸如探头110的超声成像探头或诸如主机130的主机的计算设备(例如，处理器、处理电路和/或其他合适的部件)执行。方法900可以采用与分别关于图4、图5、图6和图7描述的方法400、配置500以及方案600和700中类似的机制。如所图示，方法900包括多个列举的步骤，但是方法900的实施例可以在列举的步骤之前、之后以及之间包括额外的步骤。在一些实施例中，列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤910处，方法900包括从成像设备(例如，换能器阵列112)接收表示在时间段内的灌注有造影剂的对象的组织(例如，物体105)的图像帧(例如，CEUS图像504)的序列(例如，序列502)。
在步骤920处，方法900包括将图像帧的序列分类为多个第一组织类别(例如，恶性病变类别542)和多个第二组织类别(例如，良性病变子类552)。该分类可以基于图像帧的序列中间的时空相关性。分类可以包括将预测网络应用于图像帧的序列以产生针对多个第一组织类别和多个第二组织类别的概率分布(例如，输出538)。例如，预测网络可以包括类似于执行分类的CNN 530的CNN。
在步骤930处，方法900包括通过显示器(例如，显示器132)显示多个第一组织类别和多个第二组织类别的概率分布。
在实施例中，显示器可以例如在视图800中所示的树状结构中显示多个第一组织类别中的每个的概率和多个第二组织类别中的每个的概率。
在实施例中，方法900可以包括：由预测网络识别最代表概率分布的图像帧的序列(例如，决定性帧716)的子集。方法900可以包括由显示器显示子集中的图像帧。
在实施例中，方法900可以包括：由预测网络基于时空相关性生成文本报告(例如，文本报告562)，该文本报告包括与在时间段的不同子时段(例如，AP、PVP和/或延迟期)期间造影剂通过对象的组织的灌注相关联的信息。方法900可以包括由显示器显示文本报告。例如，预测网络可以包括类似于生成文本报告的RNN 560的RNN。
在实施例中，方法900可以包括基于图像帧的序列从对象的组织中识别ROI(例如，ROI 404)。方法900可以包括基于所识别的ROI来应用预测网络。例如，预测网络可以包括类似于识别ROI的R-CNN 610的R-CNN。
在实施例中，对象的组织可以包括肝脏的至少部分。多个第一组织类别可以包括肝细胞癌(HCC)、胆管癌或转移中的至少一项。多个第二组织类别可以包括血管瘤、局灶性结节性增生(FNH)或腺瘤中的至少一项。
在实施例中，可以通过提供表示在时间段内的造影剂灌注的测试对象的组织的测试图像帧的序列来训练预测网络。训练可以包括基于造影剂通过测试对象的组织的灌注的AP、灌注的PVP和灌注的延迟期对测试图像帧的序列进行排序。训练可以包括基于与多个第一组织类别和多个第二组织类别相关联的血流的时空特性将评分分配给测试图像帧的序列。
本公开的方面可以提供若干益处。例如，深度学习网络的使用可以使病变评估(分类和表征)自动化，从而提供帮助以指导临床医师区分不同类型的恶性病变和良性病变。此外，自动化可以提供更一致的病变评估结果，消除能够由跨临床医师的不同解释而引起的差异，并允许非专业用户进行诊断。此外，深度学习网络可以以时空维度学习和识别时空标签，其比人类可能识别和/或分析的事物更为复杂。分类输出(例如，概率分布)以及文本报告和决定性帧的显示可以进一步指导和支持用户解释CEUS图像以进行病变评估。所公开的实施例还可以结合病变评估中的当前的临床实践和扫描协议用于增加临床医师的诊断或评估的置信水平。因此，所公开的实施例还可以为病变评估中的当前临床实践增加价值。尽管在应用基于深度学习的技术以根据CEUS图像对组织进行分类的背景下描述了所公开的实施例，但是所公开的实施例可被用于根据诸如MRI、CT和/或X射线的其他模式的图像对组织进行分类。例如，图像504可以是MRI图像、CT图像或X射线图像。
本领域技术人员将认识到，上述装置、系统和方法可以以各种方式修改。因此，本领域普通技术人员将意识到，由本公开涵盖的实施例不限于上述特定示例性实施例。就这一点而言，尽管已经示出和描述了说明性实施例，但是在前述公开中预期各种各样的修改、改变和替换。应理解，在不脱离本公开的范围的情况下，可以对前述内容做出这样的变化。因此，适当的是，以与本公开一致的方式广义地解释所附权利要求。

Claims (20)

1.一种临床评估系统，包括：
处理器，其与成像设备通信，其中，所述处理器被配置为：
从所述成像设备接收表示在时间段内的灌注有造影剂的对象的组织的图像帧的序列；
将所述图像帧的序列分为多个第一组织类别和不同于所述第一组织类别的多个第二组织类别，通过将预测网络应用到所述图像帧的序列以产生针对所述多个第一组织类别和所述多个第二组织类别的概率分布基于所述图像帧的序列中间的时空相关性进行所述分类；并且
将针对所述多个第一组织类别和所述多个第二组织类别的所述概率分布输出到与所述处理器通信的显示器。
2.根据权利要求1所述的系统，其中，所述处理器还被配置为：
将针对所述多个第一组织类别中的每个第一组织类别的概率输出到所述显示器；并且
将针对所述多个第二组织类别中的每个第二组织类别的概率输出到所述显示器。
3.根据权利要求1所述的系统，其中，所述预测网络识别所述图像帧的序列的最代表所述概率分布的子集，并且其中，所述处理器还被配置为：
将所述子集中的图像帧输出到所述显示器。
4.根据权利要求1所述的系统，其中，所述时空相关性是在所述图像帧的序列中表示所述造影剂通过所述对象的组织的灌注的像素中间的。
5.根据权利要求4所述的系统，其中，所述预测网络基于所述时空相关性来生成文本报告，所述文本报告包括与在所述时间段内的不同子时段期间所述造影剂通过所述对象的组织的所述灌注相关联的信息，并且其中，所述处理器还被配置为：
将所述文本报告输出到所述显示器。
6.根据权利要求5所述的系统，其中，所述预测网络包括第一预测子网络和第二预测子网络，其中，所述第一预测子网络产生所述概率分布，并且其中，所述第二预测子网络产生所述文本报告。
7.根据权利要求5所述的系统，其中，所述子时段包括以下中的至少一项：所述灌注的动脉期(AP)、所述灌注的门静脉期(PVP)或所述灌注的延迟期。
8.根据权利要求1所述的系统，其中，所述对象的组织包括肝脏的至少部分。
9.根据权利要求8所述的系统，其中，所述多个第一组织类别包括以下中的至少一项：肝细胞癌(HCC)、胆管癌或转移，并且其中，所述多个第二组织类别包括以下中的至少一项：血管瘤、局灶性结节性增生(FNH)或腺瘤。
10.根据权利要求1所述的系统，其中，所述处理器被配置为：
将表示所述对象的组织的亮度模式(B模式)图像输出到所述显示器。
11.根据权利要求1所述的系统，其中，所述处理器被配置为：
基于所述图像帧的序列将所述对象的组织的造影增强图像输出到所述显示器。
12.根据权利要求1所述的系统，其中，所述处理器还被配置为：
从与所述处理器通信的用户输入设备接收所述对象的组织的选定的感兴趣区域(ROI)的指示；并且
基于所述选定的ROI将所述预测网络应用于所述图像帧的序列。
13.根据权利要求1所述的系统，其中，所述处理器被配置为：
基于所述图像帧的序列从所述对象的组织识别感兴趣区域(ROI)；并且
基于所识别的ROI将所述预测网络应用于所述图像帧的序列。
14.根据权利要求1所述的系统，其中，通过以下操作来训练所述预测网络：
提供表示在时间段内的造影剂灌注的测试对象的组织的测试图像帧的序列；
基于所述造影剂通过所述测试对象的组织的灌注的动脉期(AP)、所述灌注的门静脉期(PVP)和所述灌注的延迟期将所述测试图像帧的序列进行排序；并且
基于与所述多个第一组织类别和所述多个第二组织类别相关联的血流的时空特性将评分分配给所述测试图像帧的序列。
15.一种临床评估的方法，包括：
从成像设备接收表示在时间段内的灌注有造影剂的对象的组织的图像帧的序列；
将所述图像帧的序列分为多个第一组织类别和不同于所述第一组织类别的多个第二组织类别，通过将预测网络应用到所述图像帧的序列以产生针对所述多个第一组织类别和所述多个第二组织类别的概率分布基于所述图像帧的序列中间的时空相关性进行所述分类；并且
由显示器显示针对所述多个第一组织类别和所述多个第二组织类别的所述概率分布。
16.根据权利要求15所述的方法，其中，所述显示包括：
显示针对所述多个第一组织类别中的每个第一组织类别的概率；并且
显示针对所述多个第二组织类别中的每个第二组织类别的概率。
17.根据权利要求15所述的方法，还包括：
由所述预测网络识别所述图像帧的序列的最代表所述概率分布的子集；并且
由所述显示器显示所述子集中的图像帧。
18.根据权利要求15所述的方法，还包括：
由所述预测网络基于所述时空相关性来生成文本报告，所述文本报告包括与在所述时间段的不同子时段期间所述造影剂通过所述对象的组织的所述灌注相关联的信息；并且
由所述显示器显示所述文本报告。
19.根据权利要求15所述的方法，还包括：
基于所述图像帧的序列从所述对象的组织识别感兴趣区域(ROI)；并且
基于所识别的ROI来应用所述预测网络。
20.根据权利要求15所述的方法，其中，所述对象的组织包括肝脏的至少部分，其中，所述多个第一组织类别包括以下中的至少一项：肝细胞癌(HCC)、胆管癌或转移，并且其中，所述多个第二组织类别包括以下中的至少一项：血管瘤、局灶性结节性增生(FNH)或腺瘤。
CN201980041991.9A 2018-06-22 2019-06-18 超声病变评估及相关联的设备、系统和方法 Active CN112292086B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862688505P 2018-06-22 2018-06-22
US62/688,505 2018-06-22
PCT/EP2019/066044 WO2019243344A1 (en) 2018-06-22 2019-06-18 Ultrasound lesion assessment and associated devices, systems, and methods

Publications (2)

Publication Number Publication Date
CN112292086A true CN112292086A (zh) 2021-01-29
CN112292086B CN112292086B (zh) 2024-05-07

Family

ID=66998417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980041991.9A Active CN112292086B (zh) 2018-06-22 2019-06-18 超声病变评估及相关联的设备、系统和方法

Country Status (3)

Country Link
US (1) US11826201B2 (zh)
CN (1) CN112292086B (zh)
WO (1) WO2019243344A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3067824A1 (en) 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
CN112927179A (zh) * 2019-11-21 2021-06-08 粘晓菁 肝肿瘤智慧分析方法
US20210153838A1 (en) * 2019-11-21 2021-05-27 Hsiao-Ching Nien Method and Apparatus of Intelligent Analysis for Liver Tumor
US11704803B2 (en) * 2020-03-30 2023-07-18 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems using video-based machine learning for beat-to-beat assessment of cardiac function
US20220051402A1 (en) * 2020-08-13 2022-02-17 Ohio State Innovation Foundation Systems for automated lesion detection and related methods

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110208061A1 (en) * 2008-11-11 2011-08-25 Koninklijke Philips Electronics N.V. Ultrasonic lesion identification using temporal parametric contrast images
RO128001A0 (ro) * 2012-06-01 2012-12-28 Costin Teodor Streba Sistem automat mobil pe bază de reţele neuronale pentru clasificarea formaţiunilor hepatice focale
US20150297172A1 (en) * 2012-10-19 2015-10-22 Konica Minolta, Inc. Ultrasonic diagnostic apparatus and ultrasonic diagnostic method
US20160106347A1 (en) * 2014-10-17 2016-04-21 General Electric Company System and method for assessing bowel health
US20160314246A1 (en) * 2015-04-22 2016-10-27 Cyberpulse L.L.C. System and methods for medical reporting
CN106803247A (zh) * 2016-12-13 2017-06-06 上海交通大学 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5776063A (en) * 1996-09-30 1998-07-07 Molecular Biosystems, Inc. Analysis of ultrasound images in the presence of contrast agent
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
US10890641B2 (en) * 2017-04-07 2021-01-12 Cornell University System and method of robust quantitative susceptibility mapping
EP3401918A1 (en) * 2017-05-12 2018-11-14 Samsung Electronics Co., Ltd. Method of providing scan protocol information to medical devices and electronic devices
CA3067824A1 (en) * 2017-06-26 2019-01-03 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for virtual pancreatography
US10580137B2 (en) * 2018-01-30 2020-03-03 International Business Machines Corporation Systems and methods for detecting an indication of malignancy in a sequence of anatomical images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110208061A1 (en) * 2008-11-11 2011-08-25 Koninklijke Philips Electronics N.V. Ultrasonic lesion identification using temporal parametric contrast images
RO128001A0 (ro) * 2012-06-01 2012-12-28 Costin Teodor Streba Sistem automat mobil pe bază de reţele neuronale pentru clasificarea formaţiunilor hepatice focale
US20150297172A1 (en) * 2012-10-19 2015-10-22 Konica Minolta, Inc. Ultrasonic diagnostic apparatus and ultrasonic diagnostic method
US20160106347A1 (en) * 2014-10-17 2016-04-21 General Electric Company System and method for assessing bowel health
US20160314246A1 (en) * 2015-04-22 2016-10-27 Cyberpulse L.L.C. System and methods for medical reporting
CN106803247A (zh) * 2016-12-13 2017-06-06 上海交通大学 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MACIAK, A, ET AL: "Automatic Detection of Perfusion Deficits with Bolus Harmonic Imaging", ULTRASCHALL IN DER MEDIZIN, vol. 29, no. 6, pages 618 - 626 *
QUATREHOMME, A, ET AL: "Assessing the classification of liver focal lesions by using multi-phase computer tomography scans", MEDICAL CONTENT-BASED RETRIEVAL FOR CLINICAL DECISION SUPPORT., pages 80 - 91 *

Also Published As

Publication number Publication date
US20210113190A1 (en) 2021-04-22
CN112292086B (zh) 2024-05-07
WO2019243344A1 (en) 2019-12-26
US11826201B2 (en) 2023-11-28

Similar Documents

Publication Publication Date Title
CN112292086B (zh) 超声病变评估及相关联的设备、系统和方法
US20220225967A1 (en) Ultrasound imaging system with a neural network for deriving imaging data and tissue information
US11837354B2 (en) Contrast-agent-free medical diagnostic imaging
US11364013B2 (en) Ultrasound imaging system with a neural network for image formation and tissue characterization
CN111000590B (zh) 超声心脏多普勒研究自动化
CN109758178B (zh) 超声成像中的机器辅助工作流
Zhou et al. Image quality improvement of hand-held ultrasound devices with a two-stage generative adversarial network
US20160331345A1 (en) Method of displaying elastography image and ultrasound diagnosis apparatus performing the method
US10922874B2 (en) Medical imaging apparatus and method of displaying medical image
Yi et al. Technology trends and applications of deep learning in ultrasonography: image quality enhancement, diagnostic support, and improving workflow efficiency
US20140288425A1 (en) Apparatus and method for providing elasticity information
US10349918B2 (en) Method and apparatus for displaying ultrasound images
JP7437192B2 (ja) 医用画像処理装置
JP7325411B2 (ja) 心エコー図を分析する方法及び装置
CN115813434A (zh) 用于由胎儿超声扫描自动评估分数肢体体积和脂肪瘦体块的方法和系统
JP2022158712A (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
CN113349819A (zh) 用于检测医学图像中的异常的方法和系统
US20220101518A1 (en) System and method for stylizing a medical image
US20240070817A1 (en) Improving color doppler image quality using deep learning techniques
US20210219958A1 (en) Ultrasound diagnostic apparatus and method of controlling the same, and computer program product
US20230380812A1 (en) Medical imaging method, apparatus, and system
Arunachalam Applications of Machine Learning and Deep Learning in Ultrasound Imaging
JP2022172565A (ja) 超音波画像診断装置、識別器変更方法および識別器変更プログラム
WO2024042044A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
US20210128113A1 (en) Method and apparatus for displaying ultrasound image of target object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant