CN112470028A - 通过深度学习进行的超声成像及关联的设备、系统和方法 - Google Patents

通过深度学习进行的超声成像及关联的设备、系统和方法 Download PDF

Info

Publication number
CN112470028A
CN112470028A CN201980048503.7A CN201980048503A CN112470028A CN 112470028 A CN112470028 A CN 112470028A CN 201980048503 A CN201980048503 A CN 201980048503A CN 112470028 A CN112470028 A CN 112470028A
Authority
CN
China
Prior art keywords
ultrasound
image
subject
channel data
anatomy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980048503.7A
Other languages
English (en)
Inventor
S·金
J·S·沈
F·G·G·M·维尼翁
J-L·F-M·罗伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112470028A publication Critical patent/CN112470028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52025—Details of receivers for pulse systems
    • G01S7/52026—Extracting wanted echo signals
    • G01S7/52028—Extracting wanted echo signals using digital techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52036—Details of receivers using analysis of echo signal for target characterisation
    • G01S7/52042—Details of receivers using analysis of echo signal for target characterisation determining elastic properties of the propagation medium or of the reflective target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52044—Scan converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了超声成像设备、系统和方法。在一个实施例中，一种超声成像系统，包括处理器，所述处理器被配置为：接收从超声换能器生成的表示对象的解剖结构的超声通道数据；将预测网络应用于所述超声通道数据以生成所述对象的解剖结构的图像；并且将所述对象的解剖结构的所述图像输出到与所述处理器通信的显示器。在一个实施例中，一种用于生成图像的系统，所述系统包括：存储器，其存储至少一个机器学习网络；与所述存储器通信的处理器，所述处理器被配置为接收从超声换能器生成的原始通道数据；将所述机器学习网络应用于所述原始通道数据以替换一个或多个图像处理步骤，从而生成经修改的数据；并且使用所述经修改的数据来生成图像。

Description

通过深度学习进行的超声成像及关联的设备、系统和方法
技术领域
本公开总体上涉及超声成像，并且尤其涉及使用预测模型根据采集的超声回波响应重建超声图像。
背景技术
超声成像系统被广泛用于医学成像。常规医学超声系统需要复杂的硬件和软件来根据采集的原始数据重建图像。例如，常规医学超声系统可以包括耦合到处理系统和一个或多个显示设备的超声换能器探头。超声换能器探头可以包括超声换能器元件的阵列，所述超声换能器元件将声波发送到物体(例如，患者的身体)中并记录从物体反射的声波。声波的发送和/或反射声波或回波响应的接收可以由相同的超声换能器元件组或不同的超声换能器元件组执行。处理系统通过应用波束形成、信号处理和/或图像处理技术根据回波响应来重建或创建物体的图像和/或确定某些测量结果。波束形成、信号处理和/或图像处理是复杂的，并且可能需要各种电子器件、专用硬件和复杂的软件来进行处理。因此，常规医学超声系统的系统复杂度能够是高的，并且新系统架构或应用的开发时间能够很长且昂贵，从而限制超声成像的应用。
发明内容
尽管已证明现有的超声成像有用于临床指导和诊断，但仍需要改进的系统和技术以降低当前超声成像应用的系统成本和系统大小，并减少新超声成像应用的开发时间和精力。本公开的实施例提供了深度学习框架以根据采集的超声回波数据重建超声图像。例如，包括换能器阵列的成像探头可以用于超声成像。换能器阵列可以包括声学元件的阵列，该声学元件将超声波脉冲发射到物体(例如，患者的解剖结构)中并接收超声波回波响应(例如，从物体反射的超声波)。可以训练预测网络(例如，卷积神经网络(CNN))以根据所采集的超声回波响应来重建超声图像。例如，可以训练预测网络以近似和优化常规波束形成和超声信号和/或图像处理功能。可以以各种格式将超声回波响应提供给预测网络，例如以每通道原始射频(RF)数据或每通道基带同相正交相(IQ)数据的形式。备选地，可以训练预测网络以根据波束形成数据而不是原始采集的超声回波数据重建超声图像。在实施例中，可以训练预测网络以产生高分辨率、无斑点超声图像，其具有比常规构造的超声图像高的质量。
在实施例中，一种超声成像系统，包括处理器，所述处理器被配置为接收从超声换能器生成的表示对象的解剖结构的超声通道数据；并且将预测网络应用于超声通道数据以生成对象的解剖结构的图像；并且将对象的解剖结构的图像输出到与处理器通信的显示器。
在一些实施例中，其中，超声换能器包括声学元件的阵列，其中，超声通道数据包括多个超声回波通道数据流，并且其中，多个超声回波通道数据流中的每个从声学元件的阵列中的一个声学元件生成。在一些实施例中，其中，多个超声回波通道数据流包括表示所述对象的解剖结构的射频(RF)数据。在一些实施例中，其中，处理器还被配置为在应用预测网络之前将RF数据转换为同相正交相(IQ)数据。在一些实施例中，其中，处理器还被配置为在应用预测网络之前对超声回波通道数据流执行波束形成。在一些实施例中，其中，图像包括对象的解剖结构的形态信息、对象的解剖结构的功能信息或对象的解剖结构的定量测量结果中的至少一项。在一些实施例中，其中，图像包括对象的解剖结构的B模式信息、对象的解剖结构的应力信息、对象的解剖结构的弹性信息、对象的解剖结构的组织多普勒信息或对象的解剖结构的血流多普勒信息中的至少一项。在一些实施例中，其中，通过以下来训练预测网络：提供测试超声通道数据和表示测试对象的对应的测试图像；并且训练预测网络以根据测试超声通道数据产生测试图像。在一些实施例中，其中，通过对测试超声通道数据执行波束形成、B模式处理、多普勒处理或扫描转换处理中的至少一项根据测试超声通道数据生成测试图像。在一些实施例中，其中，基于超声换能器配置参数根据测试图像生成测试超声通道数据。在一些实施例中，其中，测试超声通道数据包括射频(RF)数据、同相正交相(IQ)数据或波束形成数据中的至少一项。在一些实施例中，所述系统包括超声成像探头，所述超声成像探头包括超声换能器，并且其中，所述处理器与超声换能器通信并且被配置为从超声换能器接收超声通道数据。在一些实施例中，其中，超声成像探头包括处理器。
在一个实施例中，一种超声成像的方法，包括：接收从超声换能器生成的表示对象的解剖结构的超声通道数据；将预测网络应用于超声通道数据以生成对象的解剖结构的图像；并且由显示器显示对象的解剖结构的图像。
在一些实施例中，其中，超声换能器包括声学元件的阵列，其中，超声通道数据包括多个超声回波通道数据流，并且其中，多个超声回波通道数据流中的每个从声学元件的阵列中的一个声学元件生成。在一些实施例中，其中，多个超声回波通道数据流包括表示对象的解剖结构的射频(RF)数据。在一些实施例中，所述方法还包括在应用预测网络之前将RF数据转换为同相正交相(IQ)数据。在一些实施例中，所述方法还包括在应用预测网络之前对超声回波通道数据流执行波束形成。在一些实施例中，其中，图像包括对象的解剖结构的形态信息、对象的解剖结构的功能信息或对象的解剖结构的定量测量结果中的至少一项。在一些实施例中，其中，图像包括对象的解剖结构的B模式信息、对象的解剖结构的应力信息、对象的解剖结构的弹性信息、对象的解剖结构的组织多普勒信息或对象的解剖结构的血流多普勒信息中的至少一项。
在一个实施例中，一种用于生成图像的系统，所述系统包括：存储至少一个机器学习网络的存储器；以及与存储器通信的处理器，所述处理器被配置为接收从超声换能器生成的原始通道数据；将机器学习网络应用于原始通道数据以替换一个或多个图像处理步骤，从而生成经修改的数据，其中，使用一幅或多幅目标图像的多幅超声图像来训练机器学习网络；并且使用经修改的数据生成图像，其中，所生成的图像包括目标图像的特征。
在一些实施例中，其中，模拟多幅超声图像。在一些实施例中，其中，图像处理步骤包括波束形成、滤波、动态范围应用和压缩。在一些实施例中，其中，目标图像包括照片图像。在一些实施方案中，其中，特征包括约1波长或以下的分辨率。在一些实施例中，其中，特征包括斑点的量。
根据以下详细描述，本公开的额外方面、特征和优点将变得显而易见。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开的方面的超声成像系统的示意图。
图2是根据本公开的方面的基于深度学习的超声成像系统的示意图。
图3是图示根据本公开的方面的深度学习网络的配置的示意图。
图4是图示根据本公开的方面的深度学习网络训练数据生成方案的示意图。
图5是图示根据本公开的方面的用于生成超声图像的深度学习网络训练方案的示意图。
图6是图示根据本公开的方面的用于生成超声图像的深度学习网络训练方案的示意图。
图7图示了根据本公开的方面的与目标图像相比的根据常规成像和基于深度学习的成像生成的图像。
图8是根据本公开的方面的基于深度学习的超声成像方法的流程图。
具体实施方式
为了促进对本公开原理的理解的目的，现在将参考附图中图示的实施例，并且将使用特定语言来描述其。然而应理解，不旨在限制本公开的范围。如本公开涉及领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开的原理的任何进一步应用被充分地预期并包括在本公开内。特别地，完全预期，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。然而，为了简洁起见，将不单独描述这些组合的许多迭代。
图1是根据本公开的方面的超声成像系统100的示意图。系统100用于扫描患者身体的区域或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器112、模拟前端(AFE)113、波束形成器114、处理部件116和通信接口118。主机130包括显示器132、处理部件134、通信接口136和存储器138。
探头110可以采取任何合适的形式以用于在被定位于患者身体内部或外部时对患者的各个身体部分成像。在实施例中，探头110是包括被配置用于由用户手持操作的壳体的外部超声成像设备。换能器112可以被配置成在用户抓握探头110的壳体时获得超声数据，使得换能器112被定位成邻近患者的皮肤和/或与患者的皮肤接触。探头110被配置为在探头110被定位于患者身体外部时获得患者身体内的解剖结构的超声数据。在一些其他实施例中，探头110可以采取导管、血管内超声(IVUS)导管、心内超声心动图(ICE)导管、经食道超声心动图(TEE)探头、经胸超声心动图(TTE)探头、腔内探头、手持式超声扫描器或基于片块的超声设备的形式。
换能器112朝向解剖物体105发射超声信号并且接收从物体105反射回换能器112的回波信号。物体105可以包括适合于超声成像检查的患者的任何解剖结构(例如，肺、血管、组织、心脏、肾脏和/或肝脏)。超声换能器112可以包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器112包括单个声学元件。在一些实例中，换能器112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列。例如，换能器112可以包括在1个声学元件和1000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件的值和/或更大和更小两者的其他值。在一些实例中，换能器112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如1.5D阵列)或二维(2D)阵列。可以一致或独立地控制和激活的声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。换能器112可以被配置为获得患者解剖结构的一维图像、二维图像和/或三维图像。声学元件还可以被称为换能器元件或成像元件。在一些实施例中，换能器112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
AFE 113耦合到换能器112。AFE 113可以包括控制在换能器112处的超声波的发送和/或在换能器112处的回波响应的接收的部件。例如，在发送路径中，AFE 113可以包括数模转换器(DAC)、滤波器、增益控制和/或高压(HV)发射器，其驱动或触发在换能器112的声学元件或换能器元件处的超声脉冲发射。在接收路径中，AFE 113可以包括增益控制、滤波器和模数转换(ADC)，其从换能器112的换能器元件接收回波响应。AFE 113还可以包括多个发送/接收(T/R)开关，其控制换能器元件处的发送和接收之间的切换，并防止高压脉冲损坏换能器112的换能器元件。
在实施例中，换能器112包括M多个换能器元件。在一些实施例中，M可以为大约2、16、64、128、192或大于192。在接收路径中，每个换能器元件可以将从反射的超声脉冲接收的超声能量转换为电信号，从而形成单个接收通道。换句话说，换能器112可以生成M个模拟超声回波通道信号160。AFE 113可以经由M条信号线耦合到换能器112。AFE 113中的ADC可以产生M个数字超声回波通道信号162，每个对应于在换能器112中的换能器元件之一处接收到的模拟超声回波通道信号160。数字超声回波通道信号162也可以称为作为超声回波数据流。
波束形成器114耦合到AFE 113。波束形成器114可以包括延迟元件和求和元件，其被配置为控制在换能器112处的发送和/或接收波束形成。波束形成器114可以将适当的时延应用于至少数字超声回波通道信号162的子组并组合时延的数字超声回波通道信号以形成波束形成信号164(例如，聚焦波束)。例如，波束形成器114可以产生L多个波束形成信号164，其中，L是小于M的正整数。在一些实施例中，波束形成器114可以包括波束形成的多个阶段。例如，波束形成器114可以执行部分波束形成以组合数字超声回波通道信号162的子组以形成部分波束形成信号，并且随后对部分波束形成信号进行波束形成以产生完全波束形成信号。尽管在数字波束形成的背景下描述了波束形成器114，但是在一些实施例中，AFE113可以包括用于模拟部分波束形成的电子器件和/或专用硬件。
处理部件116耦合到波束形成器114。处理部件116可以包括中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一个硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理部件116被配置为处理波束形成信号164。例如，处理部件116可以对波束形成信号164执行一系列相干和/或不相干信号处理，诸如复合，包络检测、对数压缩和/或非线性图像滤波，以产生图像信号166。
通信接口118耦合到处理部件116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发机和/或用于发送和/或接收通信信号的电路。通信接口118可以包括硬件部件和/或软件部件，其实施适于通过通信链路120将信号传输到主机130的特定通信协议。通信接口118可以被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号166。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。
处理部件134耦合到通信接口136。处理部件134可以被实施为软件部件和硬件部件的组合。处理部件134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。
处理部件134可以被配置为根据从探头110接收的图像信号166生成或重建物体105的图像168。处理部件134还可以将图像处理技术应用于图像信号166。在一些实施例中，处理部件134可以执行扫描转换以根据图像数据形成2D或三维(3D)体积图像。在一些实施例中，处理部件134可以对图像信号166执行实时处理以提供物体105的超声图像168的流视频。图像168可以包括物体105的形态信息、功能信息和/或定量测量结果，这取决于探头110处使用的采集方式。形态信息可以包括物体105的解剖结构信息(例如，B模式信息)。功能信息的示例可以包括与物体105相关联的组织应变、弹性、多普勒流、组织多普勒流和/或血流信息。定量测量结果的示例可以包括血流速度、血流量、管腔直径、管腔面积、狭窄长度、斑块负担和/或组织弹性。在一些实施例中，处理部件134可以对图像信号166执行图像分析以确定与物体105相关联的临床状况。
显示器132耦合到处理部件134。显示器132可以是监测器或任何合适的显示器。显示器132被配置为显示超声图像、图像视频和/或与在检查中的物体105相关联的信息。
尽管系统100被图示为具有分别由波束形成器114和处理部件116在探头110处执行的波束形成和信号处理功能，但是在一些实施例中，波束形成和/或信号处理功能中的至少一些可以在主机130处执行。换句话说，探头110可以将数字超声回波通道信号162或波束形成信号164传输到主机130以进行处理。在一些其他实施例中，探头110可以例如以一些增益控制和/或滤波将模拟超声回波通道信号160传输到主机130以进行处理。另外，探头110处的通信接口118可以是工业标准物理连接器和/或专有物理连接器，并且通信链路120可以包括任何工业标准线缆、同轴线缆和/或专有线缆。通常，系统100可以表示任何类型的超声成像系统，其中，超声成像功能可以以任何合适的方式跨探头(例如，包括换能器112)、主机和/或在探头与主机之间的任何中间处理子系统划分。
系统100可以被配置用于在超声成像的各个阶段中使用。在实施例中，系统100可以用于收集超声图像以形成用于训练深度学习网络以进行超声成像的训练数据集，如本文中更详细地描述的。例如，主机130可以包括存储器138，其可以是任何合适的存储设备，诸如高速缓冲存储器(例如，处理部件134的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器器件、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。存储器138可以被配置为存储图像数据集140和机器学习网络142。例如，图像数据集140可以与对应的图像168相关联地存储数字超声回波通道信号162。如本文中更详细描述的，图像数据集140可以用于训练用于超声成像的机器学习网络142，所述机器学习网络可以是深度学习网络。
如在系统100中可以看到的，根据原始采集的数据(例如，模拟超声回波通道信号160和/或数字超声回波通道信号162)生成或重建超声图像需要波束形成和一系列的信号处理和/或图像处理块(例如，波束形成器114、探头110处的处理部件116和/或主机130处的处理部件134)。根据原始数据的图像重建所需的硬件和/或软件能够是复杂且昂贵的。此外，由于系统复杂性，部署新的超声成像应用的开发时间能够很长。
本公开提供了使用机器学习网络而不是常规超声图像重建技术(例如，波束形成、信号处理和/或图像处理)根据原始通道数据重建或生成超声图像的技术。
图2是根据本公开的方面的基于深度学习的超声成像系统200的示意图。系统200包括超声成像探头210、深度学习引擎220和显示器230。探头210和显示器230分别基本上类似于探头110和显示器132。例如，探头210包括至少类似于换能器112的换能器元件212的阵列214。换能器元件212可以朝向物体205(例如，物体105)发射超声信号并且接收从物体205反射的超声回波响应。根据实施例，探头210可以包括或可以不包括波束形成器(例如，波束形成器114)和/或处理部件(例如，处理部件116)。在高水平处，深度学习引擎220接收超声回波响应并且输出物体205的超声图像(例如图像168)以显示在显示器230上。
深度学习引擎220可以包括硬件和/或软件部件，其被配置为将深度学习网络222(例如，机器学习网络142)应用于超声回波响应以替代常规超声图像重建操作而产生超声图像。常规超声图像重建操作可以包括接收波束形成操作240和后端处理操作242。深度学习网络222通过函数逼近和参数优化来代替常规超声图像重建操作。
作为示例，从探头210采集的超声回波响应可以由入(c,t)表示，其中，c表示通道索引并且t表示时间。所采集的数据入(c,t)可以类似于系统100中的数字超声回波通道信号162。所采集的数据入(c,t)可以被称为RF数据，其中，每个通道对应于一个换能器元件212。
接收波束形成操作240可以基本上类似于由以上关于图1描述的系统100的波束形成器114所应用的操作。例如，波束形成操作240根据原始RF数据入(c,t)生成或重建波束形成RF数据。波束形成操作240可以表达为如下所示：
bf(x，z)＝fBF(入(c，t)，parA), (1)
其中，bf表示波束形成RF数据，x和z是空间坐标，fBF是波束形成传递函数，并且parA包括与声音速度、切趾函数、线密度和/或与波束形成有关的任何参数相关联的一个或多个波束形成优化参数。
后端处理操作242可以基本上类似于由以上参考图1描述的系统100的处理部件116和/或处理部件134所应用的操作。例如，后端处理操作242根据波束形成RF数据bf(x，z)生成或重建输出图像。后端处理操作242可以表达为如下所示：
出(x，z)＝fBE(bf(x，z)，parB)， (2)
其中，出表示输出图像，fBE是表示相干和/或不相干信号处理函数的超声成像后端处理传递函数，包括复合、包络检测、对数压缩、非线性图像滤波、B模式处理、多普勒处理、扫描转换和/或图像后处理，并且parB包括与非线性压缩曲线、动态范围、增益滤波器系数和/或与超声图像重建有关的任何参数相关联的一个或多个后端处理优化参数。
从接收到的原始通道数据入(c,t)到最终优化超声图像出(x，z)的整体超声成像重建传递函数(被指代为f)可以表达为如下所示：
Figure BDA0002906857380000101
深度学习网络222被训练以利用优化参数parA和parB来近似函数f。本文更详细描述深度学习网络222的架构和深度学习网络222的训练。
在实施例中，从探头210采集的原始通道数据入(c,t))可以被发送到并存储于云存储网络250中，如图像数据252所示。深度学习引擎220可以位于类似于主机130的远程处理系统中。该远程处理系统可以定位为远离患者和探头210，例如位于从其中采集原始通道数据的不同房间或建筑物中。例如，原始通道数据可以由探头210在诸如医院的房间或其他临床设施的护理点设置中采集。远程处理系统可以位于设施的不同房间或不同的设施中。远程处理系统可以访问云存储网络250中的图像数据252，并且深度学习引擎220可以应用于图像数据252以产生输出超声图像出(x，z)。输出超声图像可以被发送到患者和/或临床医师被定位以查看输出超声图像的不同位置。例如，输出超声图像可以被发送到护理点位置，诸如采集原始通道数据的房间或患者/临床医师将在其中查看超声图像的不同房间。以这种方式，深度学习引擎220被应用于图像数据252并且在远离采集原始通道数据和/或患者/临床医师查看输出超声图像之处的位置中生成输出超声图像。
尽管图2图示了深度学习引擎220作为探头210的外部部件，在一些实施例中，深度学习引擎220可以作为内部部件(例如，被实施为ASIC或FPGA设备)集成到探头210。
通常，本公开的方面描述了使用机器学习网络来替换生成常规超声图像所需的一个或多个常规超声图像处理步骤。机器学习网络被应用于由超声换能器获得的原始通道数据，而不是对原始通道数据执行常规图像处理步骤中的一个或多个(例如，波束形成、滤波、动态范围应用和/或压缩)。使用一幅或多幅目标图像中的多幅超声图像训练机器学习网络。将机器学习网络应用于原始通道数据导致经修改的数据。处理器使用经修改的数据来生成超声图像，该经修改的数据包括目标图像的特征(例如，解剖结构、斑点等)。
图3是图示根据本公开的方面的深度学习网络222的配置300的示意图。深度学习网络222可以包括一个或多个卷积神经网络(CNN)310。CNN 310可以对超声通道数据302进行操作。例如，超声通道数据302可以对应于系统100的数字超声回波通道信号162或系统200的原始RF通道数据入(c,t)。
CNN 310可以包括一组N个卷积层320，之后是一组K个全连接层330，其中，N和K可以是任何正整数。值N和K可以根据实施例而变化。在一些实例中，N可以是大约12并且K可以是大约2。每个卷积层320可以包括一组滤波器322，其被配置为从超声通道数据302中提取特征。尽管图3中未示出，但在一些实施例中，卷积层320可以与空间池化层交错，每个空间池化层包括可以降低提取的成像特征的维数的一组下采样操作。另外，每个卷积层320可以包括被配置为提取矫正后的特征图的非线性函数(例如，包括矫正后的非线性(ReLU)操作)。此外，每个卷积层320可以包括批处理归一化函数，以加快CNN 310的训练。全连接层330可以是非线性的，并且可以逐渐缩小最后卷积层320(N)的高维输出以产生输出超声图像304。例如，超声图像304可以对应于系统200的输出图像出(x,z)或系统100的图像168。
如可以观察到的，CNN 310的实施或应用主要需要滤波和/或加权操作，其是乘加操作。这样一来，与常规接收波束形成操作240和后端处理操作242相比，CNN 310的实施或应用可能需要显著较少的计算，和/或较不复杂硬件。这样一来，与常规波束形成器(例如，波束形成器114)和后端处理部件(例如，处理部件116和134)相比，深度学习引擎(例如深度学习引擎220)的大小或占用空间可以相对是小的。因此，本公开可以使能将深度学习引擎集成在换能器探头(例如，探头210)内。
在提供用于超声成像应用的良好开发的深度学习框架中的一个挑战是具有包括用于训练的大量输入-输出对(例如，入(c,t)和出(x,z)对)的大数据集。如上所述，系统100可以被用于提供用于训练的输入-输出对(例如，数字超声回波通道信号162和对应的图像168)。然而，收集足够大以提供良好训练的深度学习网络的数据集能够耗时且复杂。
本公开还提供了可以基于模拟而不是从临床设置收集数据来的技术，该技术可以训练用于超声成像应用的深度学习网络。因此，本公开可以简化生成或收集训练数据的过程，并且可以减少收集训练数据所需的时间和精力，并且因此允许快速且容易地部署新的超声应用。另外，基于模拟的训练可以训练深度学习网络以输出比常规重建超声图像具有更高质量的高分辨率(例如，无斑点)超声图像。
图4是图示根据本公开的方面的深度学习网络训练数据生成方案400的示意图。方案400可以由诸如主机130的计算机系统实施。方案400可以被用于生成用于训练诸如深度学习网络222的深度学习网络或用于超声图像重建的CNN 310的输入-输出数据对。
在方案400中，输入图像410、散射图420和换能器阵列参数430被提供用于生成数据集(例如，数据集140)。输入图像410可以是模仿在超声检查下的物体(例如，物体105和205)的任何图像(例如，数字体模图像、照片图像、模拟图像或超声图像)。输入图像410可以包括在x-z平面中的回波图。z轴表示超声换能器阵列412(例如，换能器112和214)的轴向方向上的深度，并且x轴表示超声换能器阵列412的横向方向上的宽度。散射图420可以包括随机散射体位置，其模拟来自超声成像下的组织的超声波的反向散射。换能器阵列参数430可以包括超声脉冲发射的中心频率和带宽、换能器元件(例如，元件212)的数量、换能器元件的布置和/或与超声换能器阵列有关的任何参数。
输入图像410、散射图420和换能器阵列参数430被输入到超声通道数据生成单元440。超声通道数据生成单元440可以是任何合适的超声成像系统模拟器。超声通道数据生成单元440基于换能器阵列参数430模拟朝向输入图像410的超声波发射。超声通道数据生成单元440基于换能器阵列参数430和散射图420模拟从图像410反射回的超声波(例如，回波响应)。超声通道数据生成单元440将超声回波响应提供为超声通道数据450。超声通道数据450可以类似于系统100的数字超声回波通道信号162、系统200的超声回波响应入(c,t)或超声通道数据302。
超声通道数据450可以采取任何合适的格式。在一些实施例中，超声通道数据生成单元440可以输出原始RF数据450a(例如，数字RF样本)。输出原始RF数据450a可以对应于数字超声回波通道数据流或信号162。在一些实施例中，超声通道数据生成单元440可以输出基带IQ数据450b。IQ数据450b可以对应于下变频到基带之后的原始RF数据450a。IQ数据450b可以以笛卡尔形式表示。例如，RF数据450a可以具有大约50兆赫兹(MHz)的采样率，而IQ数据450b可以具有大约20MHz的较低采样率，其数据带宽是RF数据带宽的两倍。在一些实施例中，IQ数据450b可以被转换成称为IQ极性数据450c的极性形式。
超声通道数据450可以包括如曲线图452所示的每通道数据样本，其中，x轴表示超声换能器元件索引(例如，对应于通道)，并且z轴表示随着时间从每个元件接收的数据样本。在原始RF数据450a中，每通道数据样本是原始RF数据450a中的每通道RF数据样本(实际值)。在IQ数据450b中，每通道数据样本是包括实和虚分量值的IQ样本。在IQ极性数据450c中，每通道数据样本是包括包络和相位分量的IQ样本。
超声通道数据450以RF、IQ或IQ极性形式中的任一种被提供给图像重建单元460。图像重建单元460将常规超声图像重建处理技术(例如，波束形成、信号处理和/或图像处理)应用于超声通道数据450以重建输入图像410的超声图像470(例如，图像168)(例如，表示超声成像下的物体)。
可以针对多幅图像410重复方案400以生成训练数据集，所述训练数据集包括用于训练深度学习网络的超声通道数据450和对应的重建超声图像470的输入-输出对。训练数据集的大小可以取决于换能器元件的数量或用于模拟的通道的数量以及每通道数据大小。例如，由于IQ数据采样率低于RF数据采样率，因此IQ数据450b或IQ极性数据450c可以提供比原始RF数据450a具有更小的大小的训练数据集。
在一些实施例中，图像重建单元460还可以在将波束形成应用于超声通道数据450之后输出波束形成数据480。波束形成数据480可以包括波束形成通道(即，时间对齐通道数据)或波束求和数据(即，所有时间对齐通道数据的总和)。波束形成数据480和对应的重建和优化超声图像470可以形成用于训练的输入-输出对。波束形成数据480具有小于超声通道数据450的维度。因此，根据波束形成数据480形成的训练数据集可以具有小于根据超声通道数据450形成的训练数据集的大小。
图5是图示根据本公开的方面的用于生成超声图像的深度学习网络训练方案500的示意图。方案500可以由诸如主机130的计算机系统实施。方案500可以用于训练诸如深度学习网络222或CNN 310的深度学习网络，以用于进行超声图像重建。
方案500使用由方案400生成的输入-输出对来训练深度学习网络222。例如，输入-输出对可以对应于超声通道数据450和重建超声图像470。超声通道数据450可以是深度学习网络222的输入(由被标记1的圆圈标记)，并且重建超声图像470可以是用于训练的目标输出520。
在训练期间，可以使用前向传播将深度学习网络222应用于超声通道数据450以产生输出510(例如，超声图像304)。卷积层320中的滤波器322的系数和全连接层330中的加权可以使用向后传播来调节以最小化输出510和目标输出520之间的误差。换句话说，方案500训练深度学习网络222以近似方程(3)中的图像重建函数f。训练使方程(3)中的波束形成参数parA和后端处理参数parB优化。训练可以同时或在多个阶段中优化参数parA和parB。
在另一实施例中，输入-输出对可以对应于波束形成数据480和重建超声图像470。波束形成数据480可以是深度学习网络222的输入(由被标记2的圆圈标记)，并且重建超声图像470可以是用于训练的目标输出520。训练机制可以基本上类似于上述步骤。例如，卷积层320中的滤波器322的系数和全连接层330中的加权被调节以最小化输出510和目标输出520之间的误差。换句话说，方案500训练深度学习网络222以近似方程(2)中的后端处理函数fBE。训练优化方程(2)中的后端处理参数parB。
图6是图示根据本公开的方面的用于生成超声图像的深度学习网络训练方案600的示意图。方案600可以由诸如主机130的计算机系统实施。方案600可以被用于训练诸如深度学习网络222或CNN 310的深度学习网络以进行超声图像重建。方案600基本上类似于方案500，但是用于训练的目标输出620对应于原始输入图像410，而不是常规重建超声图像470。换句话说，目标对应于完美图像重建(例如，超分辨率和无伪影)下的物体的图像。
如图所示，输入-输出对可以对应于超声通道数据450和输入图像410。在训练期间，可以使用前向传播将深度学习网络222应用于超声通道数据450以产生输出610。可以使用向后传播来调节卷积层320中的滤波器322的系数和全连接层330中的加权，以最小化输出610和目标输出620(其是原始输入图像410)之间的误差。
将原始输入图像410用作目标输出620可以允许训练以优化深度学习网络222以产生比常规重建超声图像(例如，重建超声图像470)具有更高质量的超分辨率、无斑点图像。换句话说，方案600训练深度学习网络222以近似方程(3)中的函数f，从而针对超分辨率和/或无斑点图像重建优化参数parA和parB。
与方案500相似，方案600可以代替超声通道数据450使用波束形成数据480作为深度学习网络222的输入(由被标记2的圆圈标记)来训练深度学习网络222。
在使用方案500或600训练深度学习网络222之后，可以在系统200中使用深度学习网络222以生成超声图像以在显示器230上显示。例如，当使用超声通道数据450训练深度学习网络222时，探头210可以采集表示在检查下的物体(例如，物体105和205)的原始RF或IQ数据(例如，超声通道数据450)，并且深度学习网络222可以应用于采集的RF或IQ数据以生成物体的超声图像。
备选地，当使用波束形成数据480训练深度学习网络222时，探头210可以包括将波束形成应用于原始RF或IQ数据的波束形成器，并且深度学习网络222可以被应用于波束形成信号以产生物体的超声图像。
应该注意，由深度学习网络222生成的超声图像可以包括与用于训练目标的图像相似的特性或特征(例如，分辨率)。例如，使用方案500训练的深度学习网络222可以生成包括与图像470相似的特性或特征的超声图像(例如，目标输出520)。当图像470包括斑点时，生成的超声图像还可包括特定量的斑点。类似地，使用方案500训练的深度学习网络222可以生成包括与原始高分辨率图像410相似的特性或特征的超声图像(例如，目标输出620)。当图像410包括大约1波长或更小的分辨率时，生成的超声图像也可以包括类似的分辨率。作为示例，当目标图像包括5mm范围内的256个像素时，分辨率为约0.00195mm。
图7图示了根据本公开的方面的与目标图像相比的根据常规成像和基于深度学习的成像生成的图像。图7示出了目标图像730、常规重建图像710和基于深度学习的重建图像720。例如，目标图像730可以表示超声成像下的物体(例如，物体105和205)。目标图像730可以对应于输入图像410。使用与方案400中描述的类似的机制根据目标图像740生成常规重建图像710，其中，可以根据目标图像730模拟超声回波响应，之后进行常规波束形成、信号处理和/或图像处理。通过应用使用方案600训练的深度学习网络(例如，深度学习网络222)根据目标图像730生成基于深度学习的重建图像720。如可以观察到的，基于深度学习的重建图像720具有比常规重建图像710更高的分辨率和更高的质量。
图8是根据本公开的方面的基于深度学习的超声成像方法800的流程图。方法800的步骤可以由系统200执行，例如，由处理器、处理电路和/或其他合适的部件(例如探头210、深度学习引擎220和/或显示器230)执行。如图示的，方法800包括多个枚举步骤，但是方法800的实施例可以在枚举步骤之前、之后以及之间包括额外步骤。在一些实施例中，枚举步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤810处，该方法包括接收表示对象的解剖结构(例如，物体105和205)的超声通道数据(例如，超声通道数据302和450和图像数据252)。超声通道数据是从超声换能器(例如，换能器112或214)生成的。可以从超声换能器接收超声通道数据，或者从网络(例如，云存储网络250)检索超声通道数据。
在步骤820处，方法800包括将预测网络(例如，深度学习网络222和CNN 310)应用于超声通道数据以生成对象的解剖结构的图像(例如，图像304、470和720)。
在步骤830处，方法800包括在显示器(例如，显示器132和230)上显示对象的解剖结构的图像。
在实施例中，超声换能器可以包括声学元件(例如，元件212)的阵列。超声通道数据可包括多个超声回波通道数据流，其中，多个超声回波通道数据流中的每个是从声学元件的阵列中的一个声学元件接收的。
在实施例中，多个超声回波通道数据流包括表示对象的解剖结构的RF数据(例如，RF数据450a)。在实施例中，方法800包括在应用预测网络之前将RF数据转换为IQ数据(例如，IQ数据450b和IQ极性数据450c)。在实施例中，方法800包括在应用预测网络之前对超声回波通道数据流执行波束形成(例如，波束形成操作240)。
在实施例中，图像包括对象的解剖结构的形态信息、对象的解剖结构的功能信息或对象的解剖结构的定量测量结果中的至少一项。在实施例中，图像包括对象的解剖结构的B模式信息、对象的解剖结构的应力信息、对象的解剖结构的弹性信息、对象的解剖结构的组织多普勒信息或对象的解剖结构的血流多普勒信息中的至少一项。
本公开的方面可以提供若干益处。例如，与使用波束形成器、信号处理引擎和/或图像处理引擎的常规超声图像重建相比，使用深度学习根据从探头(例如，探头110和210)采集的原始RF数据(例如，RF数据450a)、IQ数据(例如，IQ数据450b和IQ极性数据450c)和/或波束形成数据(例如，波束形成数据480)可以降低计算复杂度和系统复杂度。例如，可以使用简单的硬件和/或软件(例如，ASIC和/或FPGA)来实现深度学习网络的应用。因此，本公开可以允许小型化的换能器内超声成像引擎(例如，集成在探头210或IVUS内的深度学习引擎220)。另外，使用高分辨率图像(例如，原始输入图像410)作为用于训练的目标输出可以优化深度学习网络，以生成具有比常规生成的超声图像质量高的高分辨率和/或无斑点图像。此外，基于模拟的深度学习训练数据生成的使用可以在短时间量内提供足够大的训练数据集。因此，本公开可以减少用于新超声应用的开发时间和成本，从而允许快速部署新超声应用。
本领域技术人员将认识到，可以以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到，由本公开涵盖的实施例不限于上述特定示例性实施例。就这一点而言，尽管已经示出和描述了说明性实施例，但是在前述公开中预期各种各样的修改、改变和替换。应该理解，在不脱离本公开的范围的情况下，可以对前述内容做出这样的变化。因此，适当的是，以与本公开一致的方式广义地解释所附权利要求。

Claims (26)

1.一种超声成像系统，包括：
处理器，其被配置为：
接收从超声换能器生成的表示对象的解剖结构的超声通道数据；
将预测网络应用于所述超声通道数据以生成所述对象的解剖结构的图像；并且
将所述对象的解剖结构的所述图像输出到与所述处理器通信的显示器。
2.根据权利要求1所述的超声成像系统，其中，所述超声换能器包括声学元件的阵列，其中，所述超声通道数据包括多个超声回波通道数据流，并且其中，所述多个超声回波通道数据流中的每个超声回波通道数据流是从所述声学元件的阵列中的一个声学元件生成的。
3.根据权利要求2所述的超声成像系统，其中，所述多个超声回波通道数据流包括表示所述对象的解剖结构的射频(RF)数据。
4.根据权利要求3所述的超声成像系统，其中，所述处理器还被配置为：
在应用所述预测网络之前将所述RF数据转换为同相正交相(IQ)数据。
5.根据权利要求2所述的超声成像系统，其中，所述处理器还被配置为：
在应用所述预测网络之前对所述超声回波通道数据流执行波束形成。
6.根据权利要求1所述的超声成像系统，其中，所述图像包括以下各项中的至少一项：所述对象的解剖结构的形态信息、所述对象的解剖结构的功能信息、或者所述对象的解剖结构的定量测量结果。
7.根据权利要求1所述的超声成像系统，其中，所述图像包括以下各项中的至少一项：所述对象的解剖结构的B模式信息、所述对象的解剖结构的应力信息、所述对象的解剖结构的弹性信息、所述对象的解剖结构的组织多普勒信息、或者所述对象的解剖结构的血流多普勒信息。
8.根据权利要求1所述的超声成像系统，其中，所述预测网络是通过以下操作来训练的：
提供测试超声通道数据和表示测试对象的对应的测试图像；并且
训练所述预测网络以根据所述测试超声通道数据来产生所述测试图像。
9.根据权利要求8所述的超声成像系统，其中，通过对所述测试超声通道数据执行波束形成、B模式处理、多普勒处理或扫描转换处理中的至少一项，根据所述测试超声通道数据来生成所述测试图像。
10.根据权利要求8所述的超声成像系统，其中，所述测试超声通道数据是基于超声换能器配置参数根据所述测试图像来生成的。
11.根据权利要求8所述的超声成像系统，其中，所述测试超声通道数据包括以下各项中的至少一项：射频(RF)数据、同相正交相(IQ)数据、或者波束形成数据。
12.根据权利要求1所述的超声成像系统，还包括超声成像探头，所述超声成像探头包括所述超声换能器，并且其中，所述处理器与所述超声换能器通信并且被配置为从所述超声换能器接收所述超声通道数据。
13.根据权利要求12所述的超声成像系统，其中，所述超声成像探头包括所述处理器。
14.一种超声成像的方法，包括：
接收从超声换能器生成的表示对象的解剖结构的超声通道数据；
将预测网络应用于所述超声通道数据以生成所述对象的解剖结构的图像；并且
由显示器显示所述对象的解剖结构的所述图像。
15.根据权利要求14所述的方法，其中，所述超声换能器包括声学元件的阵列，其中，所述超声通道数据包括多个超声回波通道数据流，并且其中，所述多个超声回波通道数据流中的每个超声回波通道数据流是从所述声学元件的阵列中的一个声学元件生成的。
16.根据权利要求15所述的方法，其中，所述多个超声回波通道数据流包括表示所述对象的解剖结构的射频(RF)数据。
17.根据权利要求16所述的方法，还包括：
在应用所述预测网络之前将所述RF数据转换为同相正交相(IQ)数据。
18.根据权利要求15所述的方法，还包括：
在应用所述预测网络之前对所述超声回波通道数据流执行波束形成。
19.根据权利要求14所述的方法，其中，所述图像包括以下各项中的至少一项：所述对象的解剖结构的形态信息、所述对象的解剖结构的功能信息、或者所述对象的解剖结构的定量测量结果。
20.根据权利要求14所述的方法，其中，所述图像包括以下各项中的至少一项：所述对象的解剖结构的B模式信息、所述对象的解剖结构的应力信息、所述对象的解剖结构的弹性信息、所述对象的解剖结构的组织多普勒信息、或者所述对象的解剖结构的血流多普勒信息。
21.一种用于生成图像的系统，所述系统包括：
存储器，其存储至少一个机器学习网络；以及
与所述存储器通信的处理器，所述处理器被配置为：
接收从超声换能器生成的原始通道数据；
将所述机器学习网络应用于所述原始通道数据以替换一个或多个图像处理步骤，从而生成经修改的数据，其中，所述机器学习网络是使用一幅或多幅目标图像的多幅超声图像来训练的；并且
使用所述经修改的数据来生成图像，其中，所生成的图像包括所述目标图像的特征。
22.根据权利要求21所述的系统，其中，所述多幅超声图像被模拟。
23.根据权利要求21所述的系统，其中，所述图像处理步骤包括波束形成、滤波、动态范围应用和压缩。
24.根据权利要求21所述的系统，其中，所述目标图像包括照片图像。
25.根据权利要求21所述的系统，其中，所述特征包括约1波长或以下的分辨率。
26.根据权利要求21所述的系统，其中，所述特征包括斑点的量。
CN201980048503.7A 2018-07-20 2019-07-19 通过深度学习进行的超声成像及关联的设备、系统和方法 Pending CN112470028A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862700960P 2018-07-20 2018-07-20
US62/700,960 2018-07-20
US201862730623P 2018-09-13 2018-09-13
US62/730,623 2018-09-13
PCT/EP2019/069602 WO2020016449A1 (en) 2018-07-20 2019-07-19 Ultrasound imaging by deep learning and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN112470028A true CN112470028A (zh) 2021-03-09

Family

ID=67390082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980048503.7A Pending CN112470028A (zh) 2018-07-20 2019-07-19 通过深度学习进行的超声成像及关联的设备、系统和方法

Country Status (5)

Country Link
US (1) US20210265042A1 (zh)
EP (1) EP3824313A1 (zh)
JP (1) JP2021530303A (zh)
CN (1) CN112470028A (zh)
WO (1) WO2020016449A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113499096A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种超声跨尺度和多参量检测的成像平台及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022536733A (ja) * 2019-06-12 2022-08-18 カーネギー メロン ユニバーシティ 超音波データにラベル付けするためのシステム及び方法
CN110874828B (zh) * 2020-01-20 2020-04-21 上海尽星生物科技有限责任公司 神经网络模型及基于神经网络模型的超声波束形成方法
US11657504B1 (en) 2022-06-28 2023-05-23 King Abdulaziz University System and method for computationally efficient artificial intelligence based point-of-care ultrasound imaging healthcare support

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084981A (en) * 1994-11-29 2000-07-04 Hitachi Medical Corporation Image processing apparatus for performing image converting process by neural network
US20160174937A1 (en) * 2014-12-23 2016-06-23 General Electric Company Wireless ultrasound probe
US20170143312A1 (en) * 2014-09-03 2017-05-25 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
US20170360402A1 (en) * 2016-06-20 2017-12-21 Matthew de Jonge Augmented reality interface for assisting a user to operate an ultrasound device
US20180103912A1 (en) * 2016-10-19 2018-04-19 Koninklijke Philips N.V. Ultrasound system with deep learning network providing real time image identification
US20180177461A1 (en) * 2016-12-22 2018-06-28 The Johns Hopkins University Machine learning approach to beamforming
WO2018127498A1 (en) * 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization
WO2018130370A1 (en) * 2017-01-11 2018-07-19 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779800B2 (en) * 2016-12-01 2020-09-22 B-K Medical Aps Ultrasound imaging transducer electrical noise compensation
EP3621525A1 (en) * 2017-05-11 2020-03-18 Verathon, Inc. Probability map-based ultrasound scanning
US11382601B2 (en) * 2018-03-01 2022-07-12 Fujifilm Sonosite, Inc. Method and apparatus for annotating ultrasound examinations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084981A (en) * 1994-11-29 2000-07-04 Hitachi Medical Corporation Image processing apparatus for performing image converting process by neural network
US20170143312A1 (en) * 2014-09-03 2017-05-25 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects
US20160174937A1 (en) * 2014-12-23 2016-06-23 General Electric Company Wireless ultrasound probe
US20170360402A1 (en) * 2016-06-20 2017-12-21 Matthew de Jonge Augmented reality interface for assisting a user to operate an ultrasound device
US20180103912A1 (en) * 2016-10-19 2018-04-19 Koninklijke Philips N.V. Ultrasound system with deep learning network providing real time image identification
US20180177461A1 (en) * 2016-12-22 2018-06-28 The Johns Hopkins University Machine learning approach to beamforming
WO2018127498A1 (en) * 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization
WO2018130370A1 (en) * 2017-01-11 2018-07-19 Contextvision Ab Methods and systems for automatic control of subjective image quality in imaging of objects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113499096A (zh) * 2021-06-21 2021-10-15 西安交通大学 一种超声跨尺度和多参量检测的成像平台及方法
CN113499096B (zh) * 2021-06-21 2022-10-25 西安交通大学 一种超声跨尺度和多参量检测的成像平台及方法

Also Published As

Publication number Publication date
EP3824313A1 (en) 2021-05-26
JP2021530303A (ja) 2021-11-11
US20210265042A1 (en) 2021-08-26
WO2020016449A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
Van Sloun et al. Deep learning in ultrasound imaging
US20200275910A1 (en) Ultrasound imaging using apparent point-source transmit transducer
US20240125927A1 (en) Network-based ultrasound imaging system
CN112470028A (zh) 通过深度学习进行的超声成像及关联的设备、系统和方法
US20210333379A1 (en) Ultrasound system for high-speed and high resolution imaging applications
JP2019535448A (ja) 超音波画像クラッタをフィルタリングする方法及びシステム
KR101649273B1 (ko) 곡면 프로브를 이용하여 탄성 영상을 생성하는 방법 및 그 의료 영상 장치
US11950960B2 (en) Ultrasound imaging with deep learning-based beamforming and associated devices, systems, and methods
KR20170042936A (ko) 초음파 장치 및 초음파 신호 처리 방법
US20160089113A1 (en) Method and medical imaging apparatus for generating elastic image by using curved array probe
Assef et al. Initial experiments of a 128-channel FPGA and PC-based ultrasound imaging system for teaching and research activities
KR20160098010A (ko) 초음파 진단 장치, 초음파 프로브 및 그 제어 방법
US20240111045A1 (en) Method and apparatus for deep learning-based ultrasound beamforming
Zhang et al. Dual-domain compressed beamforming for medical ultrasound imaging
Chatar et al. Analysis of existing designs for fpga-based ultrasound imaging systems
Ibrahim et al. Single-FPGA complete 3D and 2D medical ultrasound imager
KR102605151B1 (ko) 빔포밍을 수행하는 방법 및 빔포머.
Foroozan et al. Wave atom based Compressive Sensing and adaptive beamforming in ultrasound imaging
KR101456923B1 (ko) 애퍼처 컴파운딩을 이용한 초음파 촬영 방법과 그를 위한 초음파 진단 장치
Ren From RF signals to b-mode images using deep learning
Kim et al. Hybrid beamformation for volumetric ultrasound imaging scanners using 2-D array transducers
Tasinkevych 3D Ultrasonography in Real Time: Image Reconstruction Methods
Chen et al. Real-time rectilinear volumetric acquisition with a 7.5 MHz dual-layer array transducer-Data acquisition and signal processing
KR20230011856A (ko) 의료 초음파의 정량적 이미징 방법 및 장치
Rasmussen Advanced 3-D Ultrasound Imaging.: 3-D Synthetic Aperture Imaging and Row-column Addressing of 2-D Transducer Arrays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination