CN110381845B - 具有用于导出成像数据和组织信息的神经网络的超声成像系统 - Google Patents

具有用于导出成像数据和组织信息的神经网络的超声成像系统 Download PDF

Info

Publication number
CN110381845B
CN110381845B CN201880015836.5A CN201880015836A CN110381845B CN 110381845 B CN110381845 B CN 110381845B CN 201880015836 A CN201880015836 A CN 201880015836A CN 110381845 B CN110381845 B CN 110381845B
Authority
CN
China
Prior art keywords
data
neural network
ultrasound
signals
ultrasound imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880015836.5A
Other languages
English (en)
Other versions
CN110381845A (zh
Inventor
D·霍普辛普森
E·M·坎菲尔德
R·G·特拉姆斯
V·T·沙姆达莎尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN110381845A publication Critical patent/CN110381845A/zh
Application granted granted Critical
Publication of CN110381845B publication Critical patent/CN110381845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52036—Details of receivers using analysis of echo signal for target characterisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023—Details of receivers
    • G01S7/52036—Details of receivers using analysis of echo signal for target characterisation
    • G01S7/52042—Details of receivers using analysis of echo signal for target characterisation determining elastic properties of the propagation medium or of the reflective target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52071—Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features
    • G01S7/5208—Constructional features with integration of processing functions inside probe or scanhead
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Vascular Medicine (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

根据一些实施例的超声系统可以包括：超声换能器，其被配置为向组织发射超声脉冲并响应于超声脉冲而生成回波信号；信道存储器，其被配置为存储回波信号；波束形成器，其被配置为响应于回波信号而生成波束形成信号；神经网络，其被配置为接收回波信号或波束形成信号的一个或多个样本并产生第一类型的超声成像数据；以及处理器，其被配置为生成第二类型的超声成像数据，其中，一个或多个处理器还可以被配置为基于第一类型的超声成像数据和第二类型的超声成像数据生成超声图像，并且使与其通信地耦合的显示器显示超声图像。

Description

具有用于导出成像数据和组织信息的神经网络的超声成像 系统
技术领域
本公开涉及超声系统和方法，其利用神经网络根据原始超声回波导出成像数据、组织信息和诊断信息。
背景技术
超声是医学成像中广泛使用的成像模态，因为其可以提供器官和组织的实时非侵入性成像，以用于诊断、术前护理和规划以及术后患者监测。在常规超声成像系统中，换能器探头向要成像的组织发射超声并检测响应于超声的回波。采集的回波信号（也称为射频或RF信号）穿过一系列信号处理部件，包括例如将原始信道数据（例如，来自多个换能器元件的RF信号）或换能器元件的片块的部分波束形成信号组合成完全波束形成信号的波束形成器、从波束形成信号中提取正交信号的解调器，以及一个或多个滤波器，以产生图像数据（例如，可以用于产生2D或3D超声图像的像素信息）。除了提供解剖结构的超声图像之外，现有的超声系统可以被配置为执行各种其他类型的处理以从回波信号中提取额外的信息。例如，许多超声系统被配置为处理波束形成信号，通常与用于解剖图像形成的处理并行进行，以用于提取多普勒数据以便提供流信息。为此，常规系统可以利用特别配置的信号处理器根据回波信号的多个时间间隔的样本导出多普勒频率。其他系统可以被配置为执行弹性成像、向量流成像和其他类型的成像，如能够是各种临床应用所期望的。出于这些目的，常规系统可以包括特定化的硬件部件（例如，预编程的处理器），其被设计为执行信号和图像处理步骤的特定序列。
这样一来，尽管在医学成像中提供了显着的进步，但常规超声系统仍可受益于进一步的改进。例如，常规信号处理部件依赖于并实施基于模型的算法，其中一些算法可能是不完美的，并且因此仅提供近似。预编程算法的限制以及硬件限制能够在常规系统的输出中引入图像伪影或其他缺点。将特定模型或信号处理路径硬连线或预编程到系统中能够使其对于将来的改进和对用户的需要的适应较不灵活。因此，能够期望该领域的改进。而且，当前超声系统通常要求用户仔细观看超声系统显示器，协调换能器移动，并且操纵用户控件以精确地记录期望的解剖结构或感兴趣病理。在捕获期望的图像之后，用户通常将查看图像并手动注释特定的解剖结构或病理学。因此，也能够期望用于简化超声成像系统的操作而不牺牲图像和/或诊断信息质量的技术。
发明内容
本公开涉及超声系统和方法，其利用神经网络（例如，机器训练的算法或硬件实施的人工神经元或节点网络）来导出成像数据和/或各种其他组织信息，例如组织类型表征信息、定性或定量诊断信息以及来自原始超声回波信号或来自完全或部分波束形成RF信号的其他类型的临床相关信息。在一些实施例中，神经网络可以是能够使用多维（2维或更多维）数据集来分析模式的深度神经网络，所述多维数据集也可以被认为是定位的数据集，并且其中，数据集内的数据位置和数据值两者可能对分析结果有贡献。
根据一些实施例的超声系统可以包括：超声换能器，其被配置为向组织发射超声脉冲并响应于超声脉冲而生成回波信号；信道存储器，其被配置为存储回波信号；波束形成器，其被配置为响应于回波信号而生成波束形成信号；神经网络，其被配置为接收回波信号或波束形成信号的一个或多个样本并产生第一类型的超声成像数据；以及处理器，其被配置为生成第二类型的超声成像数据，其中，一个或多个处理器还可以被配置为基于第一类型的超声成像数据和第二类型的超声成像数据生成超声图像，并且使得与其通信地耦合的显示器显示超声图像。
在一些实施例中，超声成像系统可以被配置为产生B模式成像数据作为第二类型的成像数据，并且产生多普勒成像数据、向量流成像数据、弹性成像数据、组织类型表征数据、在其中包含流体的解剖结构的壁剪切应力、组织成分数据、超声造影剂信息、斑块表征数据、与B模式成像数据相关联的一个或多个诊断指示或其任何组合作为第一类型的成像数据。
在一些实施例中，神经网络可以包括深度神经网络（DNN）或卷积神经网络（CNN）。在一些实施例中，神经网络可以以硬件、软件或其组合来实施。例如，神经网络可以至少部分地在包括可执行指令的计算机可读介质中实施，所述可执行指令在由耦合到信道存储器、波束形成器或两者的神经网络处理器执行时使神经网络处理器执行机器训练算法以响应于回波信号或波束形成信号的一个或多个样本而产生第一类型的超声成像数据。
在一些实施例中，神经网络可以包括数据选择器，其被配置为选择存储的回波信号或波束形成信号的样本作为神经网络的输入。在一些实施例中，数据选择器可以被配置为响应于由数据选择器接收的控制信号而选择性地将回波信号的样本或波束形成信号的样本耦合到神经网络。在一些实施例中，可以响应于用户输入而生成控制信号以便使用户能够选择所提供的输入类型和神经网络的对应操作模式。在一些实施例中，神经网络可以被配置为额外接收辅助数据作为输入，并且辅助数据可以包括超声换能器配置信息、波束形成器配置信息、关于介质的信息或其组合。在这样的实施例中，第一类型的成像数据还可以由神经网络基于辅助数据来估计。
在一些实施例中，神经网络可以与训练算法操作性相关联，所述训练算法被配置为接收训练输入的阵列和已知输出，其中，训练输入包括与被成像的组织的区域相关联的回波信号、波束形成信号或其组合，并且已知输出包括被成像的组织的区域的已知性质。在一些实施例中，训练算法可以被配置为与包括超声数据的训练输入一起利用使用除超声外的成像模态获得的已知输出。在一些实施例中，神经网络可以被配置为根据多个操作模式中的一个操作模式来处理输入数据，所述操作模式可以在采集回波信号期间响应于用户输入而选择或者由超声系统基于超声系统的成像模式自动设置。在一些实施例中，神经网络可以被配置为基于输入数据预测组织的脂肪含量，而不使用第二类型的成像数据。在一些实施例中，神经网络可以被配置为基于输入数据的时间上连续的样本来预测包含在组织的解剖结构中的流体的流性质，而不使用由图像处理电路产生的正交信号。在一些实施例中，神经网络可以被配置为基于回波信号的样本产生预测的波束形成信号，并且使用预测的波束形成信号来生成第一类型的成像数据。
根据一些实施例的超声成像方法可以包括：响应于由操作性地耦合到超声系统的换能器发射的超声而生成回波信号；将回波信号存储在信道存储器中；对来自信道存储器的多个回波信号进行波束形成以产生波束形成信号；将回波信号、波束形成信号的样本或其组合耦合到神经网络，所述神经网络被训练为响应于回波信号或波束形成信号的样本而输出第一类型的成像数据；将波束形成信号耦合到处理器，所述处理器被配置为响应于波束形成信号而生成第二类型的成像数据；并基于第一类型的成像数据和第二类型的成像数据来生成超声图像。响应于第一类型和第二类型的成像数据而生成的超声图像的一帧或多帧可以被提供给显示器、存储设备（例如，持久存储设备或影像回放存储设备），或者用于实时使用或后续使用（例如，在神经网络的后续训练中）的另一类型的输出设备。在一些实施例中，第二类型的成像数据可以是B模式成像数据，并且第一类型的成像数据可以包括流成像数据、组织硬度成像数据、在其中包含流体的解剖结构的壁切应力、组织成分数据、超声造影剂信息、斑块表征数据、与B模式成像数据相关联的一个或多个诊断指示或其组合。
在一些实施例中，将回波信号、波束形成信号或其组合的样本耦合到神经网络可以包括将包括对应于被成像的组织的区域内的位置的回波信号的样本或波束形成信号的样本的输入（例如，阵列）耦合到神经网络，并通过神经网络传播输入，以估计与被成像的组织的区域内的位置相关的像素数据。在一些实施例中，将回波信号、波束形成信号或其组合的样本耦合到神经网络可以包括将包括从被成像的组织的区域内的位置接收的来自时间上连续的发射和接收周期的回波信号的样本或者波束形成信号的样本的输入耦合到神经网络，并通过神经网络传播输入，以估计该位置处的流的速度。在一些实施例中，该方法可以包括响应于用户输入而选择性地将回波信号的样本或波束形成信号的样本作为输入数据耦合到神经网络，并基于输入数据来选择神经网络的对应的操作模式。在一些实施例中，该方法还可以包括训练神经网络。例如，该方法可以包括在神经网络的训练模式期间向神经网络提供至少一些第二类型的成像数据。在一些实施例中，该方法还可以包括使用由除超声之外的成像模态获得的成像数据训练神经网络。
本文描述的任何方法或其步骤可以实现在包括可执行指令的非瞬态计算机可读介质中，所述可执行指令在被执行时可以使医学成像系统的处理器执行其中实现的方法或步骤。
附图说明
图1示出了根据本发明的原理的超声系统的框图。
图2示出了延迟和求和波束形成技术。
图3示出了根据本发明的原理的神经网络的输入数据选择的各方面。
图4示出了根据本发明的原理的输入数据选择器的框图。
图5示出了根据本发明的另外的原理的输入数据选择器的另一框图。
图6是根据本发明的原理的产生超声图像的过程的流程图。
具体实施方式
特定示范性实施例的以下描述本质上仅是示范性的，并且决不旨在限制本发明或其应用或用途。在本系统和方法的实施例的以下详细描述中，参考形成其一部分的附图，并且其中，通过图示的方式示出了特定实施例，其中，可以实践所描述的系统和方法。足够详细地描述这些实施例以使得本领域技术人员能够实践当前公开的系统和方法，并且应当理解，可以利用其他实施例，并且可以在不脱离本系统的精神和范围的情况下进行结构和逻辑上的改变。此外，为了清楚起见，当其对于本领域技术人员而言是显而易见时，某些特征的详细描述将不被讨论，以免模糊对本系统的描述。因此，以下详细描述不应被视为具有限制意义，并且本系统的范围仅由所附权利要求限定。
根据本公开的超声系统可以利用神经网络，例如深度神经网络（DNN）、卷积神经网络（CNN）等，来绕过传统超声成像中的某些处理步骤。在一些范例中，可以使用各种当前已知或以后开发的机器学习技术中的任何来训练神经网络，以获得能够根据原始信道数据（即，采集的射频（RF）回波信号）或者或在一些情况下根据部分或完全波束形成信号导出计算用于显示的图像的特性的神经网络（例如，机器训练的算法或基于硬件的节点系统）。神经网络可以提供优于常规形式的计算机编程算法的优点，其中，其可以被概括和训练以通过分析数据集样本而不是依赖于专用计算机代码来识别数据集特征。通过将适当的输入和输出数据呈现给神经网络训练算法，可以训练根据本公开的超声系统的神经网络以产生图像数据（例如，流成像数据）并导出其他类型的组织信息（例如，成像区域内的组织内容或类型、应变/应力数据、特定解剖结构的识别等），而不需要物理衍生的模型来引导系统操作。
图1示出了根据本发明的原理的范例超声系统。系统100可以包括或操作性地耦合到超声换能器113，超声换能器113被配置成向介质发射超声脉冲并响应于超声脉冲而生成回波信号。超声系统100可以包括：信道存储器121，其被配置为存储所采集的回波信号（原始RF信号）；以及波束形成器122，其可以被配置为执行发送和/或接收波束形成，并且可以包括波束形成器存储器123，波束形成器存储器123被配置为存储响应于所采集的回波信号而生成的波束形成信号。在一些实施例中，系统100可以包括或通信地耦合到显示器138，以显示由超声系统100生成的超声图像。
超声换能器113可以包括超声换能器阵列114，超声换能器阵列114可以被提供在探头112中，例如手持式探头或被配置为至少部分地由计算机控制的探头（例如，机器致动探头）。在一些范例中，阵列114可以使用多个片块来实施，每个片块包括换能器元件的子阵列，并且阵列114可以被配置为顺应地放置为抵靠要成像的对象。阵列114可操作以向感兴趣区域发射超声并接收回波以用于对感兴趣区域（ROI）进行成像。可以使用各种换能器阵列，例如，线性阵列、弯曲阵列或相控阵列。阵列114可以包括，例如，能够在高度和方位维度两者上扫描以进行2D和/或3D成像的换能器元件的二维阵列。
阵列114可以耦合到微波束形成器116，微波束形成器116可以被定位于探头112中或超声系统基座中（例如，在基于推车的系统中，例如飞利浦提供的SPARQ或EPIQ超声系统中）。微波束形成器116可以控制由阵列114对信号的发黑色和接收。阵列114可以经由微波束形成器116耦合到超声系统基座，微波束形成器116可以（经由有线或无线连接）耦合到通常被定位于基座中的发射/接收（T/R）开关118。T/R开关118可以被配置为在发射和接收之间切换，例如，以保护主波束形成器122免受高能发射信号的影响。在一些实施例中，T/R开关118和系统中的其他元件的功能可以并入在探头内，例如可操作以耦合到便携式系统的探头，例如由PHILIPS提供的LUMIFY系统。探头112可以使用有线或无线连接通信地耦合到基座。探头412可以使用有线或无线连接通信地耦合到基座。在一些实施例中，换能器、信道存储器和存储神经网络的硬件可以被定位于探头中，并且用于显示由神经网络创建的图像的显示器可以通信地耦合到探头。例如，显示器可以经由线缆耦合到探头或经由无线通信，其中，探头可以包括无线发射器以将图像数据发送到显示器。在某些实施例中，系统可以包括图形处理单元（GPU）以完全或部分地训练系统中的神经网络。例如，GPU可以被定位于具有换能器、信道存储器和存储神经网络的硬件的探头中。备选地，GPU可以与探头分开定位，例如被定位于平板电脑或其他计算设备（例如智能电话）中。
超声换能器113可以被配置为响应于朝向要成像的介质（例如，组织）发射的超声信号而采集回波信号。如所描述的，换能器113可以包括在发射/接收控制器120的控制下能够向介质发射超声脉冲并且检测响应于发射脉冲的回波的元件的阵列。发射/接收控制器120控制由换能器113对超声信号的发射以及阵列的个体元件或元件组对超声回波信号的接收（例如，在包括微波束形成器（μBF）116的换能器的情况下）。发射/接收控制器120在控制信号的发射和接收时可以从用户对用户接口124的操作来接收输入。用户接口124可以包括一个或多个输入设备，例如控制面板142，其可以包括一个或多个机械控件（例如，按钮、编码器等）、触敏控件（例如，触控板、触摸屏等）和其他输入设备。可以由发射/接收控制器120控制的另一个功能是波束被转向的方向。可以从阵列114的发射侧向前转向波束（正交于其），或者以不同的角度转向波束以用于更宽的视场。由超声换能器113接收的回波信号可以耦合到信道存储器110，信道存储器110接收并存储所采集的回波信号。信道存储器110可以被配置为存储每元件或组（在微波束形成信号的情况下）回波信号（也称为原始RF信号或简称RF信号，或每信道数据）。可以在多个发射/接收周期内将预信道数据累积在存储器中。
系统100还可以包括波束形成器122，波束形成器122被配置为接收所采集的回波信号并产生波束形成RF信号。波束形成器122可以将来自换能器组的个体回波信号或部分波束形成信号（例如，在与微波束形成器相关联的换能器的情况下）组合成完全波束形成信号。例如，波束形成器122可以执行延迟和求和波束形成，如图2所示。如图2所示，波束形成器（例如，波束形成器122）可以接收每信道RF信号206，其对应于来自反射器210的回波211，如由阵列的元件205所检测到的。原始RF信号206被延迟适当的时间量207以在时间上对准它们（如209处所示），并且然后组合（如215处所示）成波束形成信号217，其也可以称为波束形成RF信号或加和RF信号。在一些情况下，在对它们求和之前，可以将时间对准的信号乘以因子（如208处所示）。在一些情况下，可以包括微波束形成器，例如在换能器探头中包括微波束形成器，其对由元件的片块（例如，在任何给定的发射/接收周期中检测回波的元件的子集）接收的信号执行部分波束形成，并且从而减少进入主波束形成器的信道输入的数量。在这种情况下，主波束形成器（例如，波束形成器122）可以根据部分波束形成信号产生对应于视场内的扫描线的完全波束形成信号。在一些实施例中，波束形成器（和/或微波束形成器，如果包括的话）可以被配置为备选地或额外地使用其他技术，包括但不限于具有互相关的双切趾、相位相干成像，capon波束形成和最小方差波束形成，全部对每信道数据进行操作，以组合来自回波信号的信息，并形成来自组织的反向散射超声能量的图像线。
返回参考图1，由波束形成器产生的波束形成信号可以耦合到另外的下游信号处理部件（例如，处理器150），以用于生成一种或多种类型的超声成像数据，例如用于产生扫描的解剖结构的灰度图像（例如， B模式图像）的成像数据。处理器150可以在包括一个或多个CPU、GPU和/或ASIC的软件和硬件部件中实施，所述CPU、GPU和/或ASIC被专门配置为执行本文描述的功能以生成超声图像并提供用于显示超声图像的用户接口。在一些实施例中，备选地或额外地，波束形成信号的样本可以耦合到神经网络160，神经网络160可以被训练以产生一种或多种其他类型的成像数据，例如流成像数据、组织弹性成像数据等。由处理器150产生的成像数据可以用于生成超声图像，所述超声图像还包括从神经网络160输出的成像数据，例如，如下面进一步描述的。在一些实施例中，波束形成信号可以在一个或多个发射/接收周期中存储在波束形成器存储器123中，直到它们用于图像生成（例如，通过神经网络和/或通过一个或多个图像处理器）或组织表征。
如图1中的范例所示，系统100可以包括一个或多个处理部件，统称为处理器150，其被配置为接收波束形成信号并生成用于产生超声图像（例如，B模式图像）的一种或多种类型的成像数据。例如，波束形成信号可以耦合到信号处理器126，信号处理器126被配置为以各种方式处理波束形成信号，例如通过带通滤波、抽取、I和Q分量分离以及谐波信号分离。信号处理器126还可以执行额外的信号增强，例如散斑减少、信号复合和噪声消除。经处理的信号可以耦合到B模式处理器128，以产生B模式成像数据。B模式处理器128可以采用幅度检测来对身体中的结构进行成像。由B模式处理器128产生的信号可以耦合到扫描转换器130和多平面重新格式化器132。扫描转换器130可以被配置为将信号布置在以期望的图像格式从其接收它们的空间关系中。例如，扫描转换器130可以将信号布置成二维（2D）扇形格式，或金字塔形或其他形状的三维（3D）格式。多平面重新格式化器132可以将从身体的体积区域中的公共平面中的点接收的回波转换成该平面的超声图像（例如，B模式图像），例如如美国专利US 6443896（Detmer）中描述的。时，体积绘制器134可以生成如从给定参考点观察的3D数据集的图像，例如，如美国专利US 6530885（Entrekin等人）中描述的。
额外地且任选地，来自信号处理器126的信号可以耦合到多普勒处理器144，多普勒处理器144可以被配置为估计多普勒频移并生成多普勒图像数据。多普勒图像数据可以包括彩色流数据，其可以与B模式（或灰度）图像数据叠加，以用于显示常规双工B模式/多普勒图像。在一些范例中，多普勒处理器144可以包括多普勒估计器，例如自相关器，其中，速度（多普勒频率）估计基于滞后一自相关函数的自变量，并且多普勒功率估计基于滞后零自相关函数的大小。还可以通过已知的相域（例如，诸如MUSIC、ESPRIT等的参数频率估计器）或时域（例如，互相关）信号处理技术来估计运动。代替于速度估计器或者除了速度估计器之外，可以使用与速度的时间或空间分布有关的其他估计器（诸如加速度或时间和/或空间速度导数估计器）。在一些范例中，速度和功率估计可以经历阈值检测以减少噪声，以及分割和后处理（诸如填充和平滑）。然后可以根据颜色图将速度和功率估计映射到期望的显示颜色范围。然后，颜色数据（也称为多普勒图像数据）可以耦合到扫描转换器130，其中，多普勒图像数据被转换成期望的图像格式并且叠加在包含血流的组织结构的B模式图像上以形成彩色多普勒图像。
额外地并且任选地，系统100可以包括向量流处理器146，向量流处理器146可以被配置为从响应于检测到的回波而生成的信号中提取与波束角度无关的速度信息。例如，向量流处理器146可以被配置为使用横向振荡方法或合成孔径方法或任何其他目前已知或以后开发的向量流估计和成像技术估计被成像的身体结构（例如，血管）内的流的与波束角度无关的速度分量（例如，如由Jensen等在“Recent advances in blood flow vector velocity imaging”，2011 IEEE International Ultrasonics Symposium，pp.262-271中所描述的，出于任何目的通过引用将其公开内容整体并入本文）。
与来自B模式处理器的成像数据类似，由这些额外的任选图像数据处理器中的任何产生的成像数据可以耦合到扫描转换器130，以用于以它们以期望的图像格式（例如，二维（2D）扇形格式，或金字塔形或其他形状的三维（3D）格式）被接收的空间关系布置信号，并且耦合到多平面重新格式化器132，以用于将从身体的体积区域中的公共平面中的点接收的一组信号提取到该平面的超声图像中。在3D成像的情况下，信号可以额外地或备选地耦合到体积绘制器134，可以生成如从给定参考点观察的3D数据集的图像。因此，将理解，处理器150可以包括一个或多个信号处理路径、电路或特定编程的软件部件，以根据期望产生B模式成像数据、多普勒成像数据、向量流成像（VFI）数据等，其可以以期望的显示格式布置，包括组合用于双工（例如，多普勒和B模式数据的叠加或B模式和应力/应变数据的叠加）或三工显示（与第二图像窗口同时显示的一个图像窗口中的多普勒和B模式的叠加，所述第二图像窗口示出诸如M模式图像或频谱多普勒图像的图形显示）的数据。
根据本发明的原理，系统100可以包括神经网络160。神经网络160可以被配置为接收回波信号的一个或多个样本、波束形成信号的一个或多个样本或者其组合作为输入并响应于输入而产生另一种类型的超声成像数据。神经网络160可以以硬件（例如，使用用于网络的人工节点的硬连线电路）和/或软件部件（例如，使用对一个或多个处理器编程以实施机器训练算法的可执行指令）来实施。可以训练神经网络160以通过节点的网络传播输入（例如，原始回波信号的样本和/或波束形成信号的样本）以获得预测或估计的成像数据，其随后可以进一步处理以用于显示。在一些情况下，网络可以被训练为以多种操作模式中的任何一种操作，并且可以响应于相同的输入而产生不同类型的成像数据或者根据网络的操作模式来输出其他组织信息。模式可以是选择性的（例如，响应于用户输入，或由系统自动选择）。
如所描述的，神经网络160可以基于硬件（例如，神经元由物理部件表示）或基于软件（例如，在软件应用中实施的神经元和路径），并且可以使用用于训练神经网络以产生期望输出的各种拓扑和学习算法。例如，可以使用被配置为执行指令的处理器（例如，单核或多核CPU、单个GPU或GPU集群，或者被布置用于并行处理的多个处理器）来实施基于软件的神经网络，所述指令可以存储在计算机可读介质中，并且其在执行时使处理器执行机器训练的算法，以用于产生超声图像和/或从上面识别的输入中的一个或多个输出组织信息。超声系统可以包括显示器或图形处理器，其可操作以在显示窗口中布置超声图像和/或额外的图形信息（其可以包括注释、组织信息（其也可以由神经网络输出）以及其他图形部件），以用于在超声系统的显示器上显示。在一些实施例中，超声图像和组织信息可额外地被提供给存储设备，例如影像归档和通信系统（PACS）或另一本地或远程/联网存储设备，以用于报告目的或未来的机器训练（例如，继续增强神经网络的性能）。在另外的范例中，从可以存储在PACS中的各种不同成像模态（例如，磁共振成像（MRI）、计算机断层摄影（CT）或其他）获得的成像数据可以备选地或额外地用于训练神经网络。如将意识到的，根据本公开的系统可以包括双向通信链路，其将系统耦合，更具体地，将神经网络与（一个或多个）训练数据源（例如，存储设备）和/或其他机器训练系统耦合以用于持续反馈和训练。
在一些实施例中，神经网络160可以被具体配置为产生除B模式成像数据之外的成像数据和/或任何期望的组织信息。例如，可以训练神经网络以直接从回波信号和/或波束形成信号提供流动成像数据（例如，依赖于波束角度或者与波束角度无关的速度信息），同时系统使用处理器150中的预编程的或基于模型的处理部件来产生用于与其叠加的解剖图像。然后，可以将B模式成像数据与流成像数据组合（在这种情况下，叠加），以产生到灰度解剖图像上的类似于常规多普勒图像的超声图像，其示出彩色编码流图（或在VFI的情况下，示出向量场）。在其他实施例中，可以训练神经网络以直接从回波信号和/或波束形成信号提供弹性成像数据（例如，组织硬度信息），同时系统使用处理器150中的预编程或基于模型的处理部件来产生用于与其叠加的解剖图像。在常规弹性成像中，组织硬度信息被颜色编码类似于如何对流信息进行颜色编码以进行显示。在当前范例中，弹性成像数据（例如，组织硬度信息）可以耦合到处理器150（例如，耦合到扫描转换器和多平面重新格式化器或体积绘制器）以将组织硬度信息布置成期望的格式以与基于由B模式处理器输出的B模式数据产生的解剖图像一起显示。其他类型的成像数据和/或组织信息可以由神经网络直接从回波信号和/或波束形成信号估计，从而绕过标准图像形成技术和对下游信号处理的依赖。以这种方式，由神经网络输出的成像数据和/或组织信息可能不会由图像伪影负面影响，并且因此可能更准确，尤其是随着时间对神经网络的进一步训练。可以根据本文的范例实施使用神经网络在各种临床应用中生成成像数据和组织信息，其中一些在下面进一步描述。
为了训练根据本公开的神经网络160，可以将包括输入阵列和输出分类{Xi，Yn}的多个实例的训练集呈现给神经网络160的（一个或多个）训练算法（例如，AlexNet训练算法，如Krizhevsky，A.，Sutskever，I.和Hinton，G.E.“ImageNet Classification with DeepConvolutional Neural Networks”，NIPS 2012或其后代所描述的）。在训练数据集中，输入数据[Xi]可以包括每信道回波信号，例如，如图3图示的，任选地与下面进一步描述的辅助数据一起，并且输出数据[Yi]可以包括与回波信号样本相对应的组织的任何已知性质（例如，在血流或其他组织运动成像的情况下的已知速度、已知应变/应力值或用于产生解剖结构成像信息的回波强度数据等）。训练数据集的输入[Xi]和输出[Yi]数据可以由超声成像系统采集，所述超声成像系统具有用于常规超声成像的部件或配置用于另一类型的成像模态的成像系统（例如，MRI扫描器、CT扫描器等）。在一些实施例中，系统100还可以包括常规波束形成、信号和图像处理部件，以采集输入和输出数据集，用于产生组合图像或用于向与神经网络160相关联的训练算法提供额外的训练集。例如，可以使用与空间定位系统（例如，EM或超声跟踪的探头）操作性地相关联的换能器扫描（例如，超声扫描）不同组织类型，所述空间定位系统可以在空间上将被扫描的组织的感兴趣点或区域与输出数据（例如，要用作训练集中的输出的成像数据和/或组织表征信息）相关。在另外的范例中，神经网络160可以使用合适的超声模拟来训练，例如Field II程序（如由J.A. Jensen: A Model for the Propagation and Scattering of Ultrasound in Tissue, J. Acoust. Soc. Am. 89,pp. 182-191, 1991所描述的），其将表示图像场中散射体的点的空间分布与关于超声换能器的几何结构和发射脉冲的数据一起采用为输入，并输出表示每元件回波信号（也称为模拟回波）的计算的超声数据。系统100可以将这种类型的数据用于训练目的，例如，通过使用模拟回波和关于换能器的辅助数据以及用于空间中的一个或多个给定点的发射脉冲，并将它们作为输入训练数据[Xi ]呈现给神经网络，对应的输出数据[Yi]是来自模拟的散射体密度。其他算法或技术可以额外地或备选地用于训练神经网络160。而且，如所指出的，在一些情况下，可以使用不同于超声的成像模态获得输出数据（例如，成像数据和/或组织的已知性质），例如MRI、CT或其他或其任何组合。因此，可以训练神经网络160以产生成像数据，并且在一些情况下，比能够在其他情况下通过直接从RF信号进行常规超声图像处理可能的更高质量（例如，更高分辨率）的图像。
可以与数千甚至数百万个训练数据集一起呈现相关联的神经网络训练算法，以便训练神经网络160以基于原始测量数据（即，原始回波或波束形成RF信号）直接估计或输出成像数据或各种组织性质，而不依赖于输入/输出关系的显式模型（例如，通常在现有超声系统的常规波束形成器、信号处理器或成像数据处理器中实施的预编程的基于物理的模型）。也就是说，可以向机器学习算法呈现数百、数千或数百万个训练数据集，以开发根据各种拓扑图或模型中的任何一个布置的人工神经元或节点的网络。神经网络的神经元通常在层中连接，并且信号从第一（输入）层行进到最后（输出）层。随着现代神经网络和训练算法的进步，可以开发包括数十万到数百万个神经元或节点以及它们之间的连接的神经网络。神经网络160中的人工神经元的信号和状态通常可以是实数，通常在0和1之间，并且阈值函数或限制函数可以与每个连接和/或节点本身相关联，使得信号在传播前必须等于或超过阈值/限值。
训练过程的输出可以是一组权重（也称为连接或节点权重），其可以在操作期间由神经网络160使用（例如，以调节控制传播通过神经网的各层的阈值或限制函数）。一旦经过训练，神经网络160可以被配置为在任何输入阵列Xk上操作，以产生一个或多个输出值，其可以松散地解释为Xk是输出集Yn的成员的概率或置信估计（例如，回波信号的样本对应于一组像素图像数据）。输出集Yn也可以表示数值范围。以这种方式，可以提供一组RF信号作为神经网络160的输入，该组RF信号对应于介质内的给定空间位置的子集（例如，被成像的组织中的感兴趣区域），并且神经网络可以提供一组对应的像素数据作为输出，以用于产生给定的空间位置处的图像的一部分。在一些范例中，通过改变神经网络的权重，可以动态地重新配置该系统以产生各种各样不同特性的图像。在一些实施例中，神经网络160可以是深度学习神经网络或简单地深度神经网络（DNN）和/或自适应神经网络。在一些实施例中，深度神经网络（DNN），例如深度卷积神经网络（深度CNN），也称为完全卷积网络（FCN），可用于逐个像素地定位图像内的对象。在范例中，输入训练阵列Xi可以由围绕图像中感兴趣区域中的点的任何期望类型的图像数据（例如，流图像数据、弹性成像图像数据）形成。可以基于所讨论的输出点或像素的集成员资格将每个训练阵列分类为一个或多个输出集或值。这样一来，超声系统100可以被配置为至少部分地绕过某些常规信号处理以输出用于产生超声图像的成像数据，在一些情况下，结合通过常规信号处理导出的回波强度信息。相反，形成由神经网络输出的成像数据的值的估计或预测将在神经网络内隐含地完成。
在血流和/或对比成像的范例中，可以在神经网络的训练中考虑时间方面。如果选择超声回波ei（如图3所示）以包括在多个超声发射接收周期上采集的数据，则可以使用如本文所述的训练过程来基于来自多个发射事件的回波的空间和时间特征来区分不同的组织类型。以这种方式，可以训练神经网络以产生与移动组织（例如，血流）和/或造影剂相关联的成像数据。此外，在血管内超声（IVUS）成像的范例中，例如当神经网络对从成像导管上支撑的阵列采集的回波进行操作时，可以训练神经网络以通过利用来自多个帧的每信道回波数据作为训练输入（xi）并且利用对应的分割（在某些情况下手动）图像数据（组织/血液）作为训练输出（yi）训练神经网络来从2D回波图像数据识别和定位流动泛洪。在多个发射/接收周期内采集的回波信号和/或波束形成信号可以用于其他血流或其他移动组织检测和成像应用。
如所描述的，神经网络160的输出可以耦合到处理器150，以与由常规信号处理技术产生的成像数据组合。例如，神经网络160的输出可以耦合到扫描转换器130和多平面重新格式化器132和/或体积绘制器134，以用于基于它们的空间属性来布置从神经网络接收的像素数据的子集，并且以期望的格式（例如，2D或3D超声图像）呈现成像数据。在一些范例中，可以缓冲由神经网络提供的成像数据（例如，像素数据）或组织信息，直到已由神经网络输出足够量的像素数据，例如足以构建彩色流、向量流或者弹性成像图像的全帧。在一些范例中，在将输出数据传递到处理器150之前，神经网络的输出可以穿过数据调节器164，数据调节器164可以被配置为在空间上和时间上处理输出数据以突出显示其某些空间和/或时间特性。在一些范例中，数据调节器164可以被配置为执行多分辨率图像处理。
一旦组合，由神经网络产生的成像数据已经与处理器150产生的成像数据组合，可以以常规方式额外地处理数据以增强最终图像和/或添加注释，如前所述。（一幅或多幅）超声图像可以实时显示，例如，显示在用户接口124的显示单元上，缓冲到用于显示图像的时间序列的影像回放存储器中，和/或导出到存储设备或打印系统。可以检索存储的超声图像（或预格式化/预注释的成像数据）以用于后续分析和诊断，包括在报告中和/或用作训练数据。还可以使用常规技术处理超声成像数据，以提取关于被扫描的组织的解剖结构或特征的额外的定量和/或定性信息。
在一些实施例中，RF信号（例如，来自信道存储器110或波束形成器存储器）可以经由输入数据选择器162耦合到神经网络160。输入数据选择器162可以被配置为针对成像视场中的每个感兴趣点或感兴趣区域（ROI）选择来自换能器阵列的每个元件或元件子集的m个RF信号样本（例如，回波信号样本）的对应的阵列。在一些范例中，输入数据选择器162可以被配置为选择样本，使得RF信号的样本的中心大致对应于往返时间延迟并且因此对应于感兴趣的深度（参见例如图3）。如图3中的范例所示，示出了基于使其中心对应于感兴趣深度已经选择的回波信号ei的m个样本（即，由e1、e2、e3、… en表示的每信道数据）。在一些范例中，只要数据段长度足够长以包括来自围绕感兴趣深度的每个回波的信息，可能不必严格地将回波段内的感兴趣深度居中。在一些实施例中，数据选择器162因此可以被配置为从所采集的回波信号中选择回波信号的子集，其与被成像的组织的区域内的相邻点相关联。在选择适当的输入数据集之后，成像和其他组织数据提取将由神经网络160隐式地执行，而不依赖于常规波束形成。
在一些范例中，可以训练神经网络160以至少部分地基于输入数据类型（例如，每信道数据、波束形成信号、正交数据、成像数据或其组合）进行操作。以多种模式进行操作。例如，当使用波束形成RF信号时，波束形成RF信号的选定样本（在单个或多个发射/接收周期内）可以例如经由输入数据选择器162耦合到神经网络160，输入数据选择器162被配置为选择对应于ROI的波束形成RF信号的适当样本。在这样的范例中，代替于每信道信号或除此之外，样本选择器将选择与来自感兴趣区域的扫描线以及相邻视线相对应的RF信号的样本，或者其可以表示对应于根据连续发射事件生成的扫描线的波束形成RF信号。因此，可以由神经网络直接根据波束形成RF信号隐含地估计对应于波束形成RF信号的输入阵列的扫描线的超声成像数据。
输入数据选择器162还可以被配置为激活神经网络160的适当操作模式，其可以响应于用户输入或者可以是在采集回波信号期间基于成像模式（例如，流成像、弹性成像等）默认预编程的。图4和5示出了输入数据选择器462和562的范例，其可以与神经网络160操作性地相关联以选择输入数据的类型和样本和/或激活神经网络的适当模式。输入数据选择器462或562可以用于实施图1中的范例系统的数据选择器162。
例如，参考图4，输入数据选择器462可以包括输入类型选择器，所述输入类型选择器可以响应于控制信号而选择性地将数据（例如，回波信号或波束形成信号）的类型耦合到神经网络。可以基于用户输入生成控制信号。输入数据选择器462可以包括样本选择器，所述样本选择器选择并耦合如前所述的选定的类型的信号的适当样本。为此，并且如图5中的范例所示，输入类型选择器564可以包括模式选择器565和开关567。模式选择器565可以接收控制信号并向开关发送选择（Sel）信号以选择性地将适当类型的输入数据的样本耦合到神经网络160。此外，输入数据选择器562可以被配置为激活神经网络的适当模式，例如通过将模式控制信号（例如，从模式选择器565）传送到神经网络160。
在一些实施例中，还可以基于可能期望获得的成像数据或组织信息的类型来训练神经网络160以在一个或多个不同模式下操作。如所描述的，神经网络160可以被配置为响应于相同的输入而输出不同类型的成像数据。对于这些不同类型的成像数据或组织信息中的每一个，网络可以被训练并且因此包括不同的传播路径（例如，通过适当的训练开发的节点层和连接），并且传播路径或模式可以由用户选择或者根据成像模式或应用（例如，血流成像、胎儿超声成像等）由系统自动调用。
在一些实施例中，根据本公开的超声系统的神经网络可以被配置为执行超声组织表征，例如以表征脂肪含量、斑块或用于超声对比成像，例如通过在训练阶段期间向神经网络呈现输入和已知输出的适当的训练数据集，例如通过常规超声成像或通过使用不同模态的成像获得的。
例如，在超声肝脏成像中，超声衰减和反向散射（即，组织回波性）与脂肪含量成比例地增加，而超声波的速度对应地降低。通过量化来自波束形成RF回波的超声衰减、回波性和/或速度并将该衰减与脂肪含量相关，可以利用超声来执行肝脏（或其他组织或器官，在其他应用中）的脂肪含量的估计。这种系统的面向客户的输出可以是定量的（例如，表示被成像的组织内的脂肪分数的单个值），其可以显示到解剖结构的图像上（例如，对于特定的感兴趣点或区域），或者其可以图形地表示，每个定量值被颜色编码并叠加在肝脏（或其他器官或组织）的2D图像或3D体积绘制上，其类似于常规血流或弹性成像信息叠加。
为了训练神经网络以提取与组织内容（例如，脂肪含量）有关的组织信息，可以向神经网络呈现训练数据集，所述训练数据集包括局部原始RF信号和/或波束形成RF信号作为输入，以及可以经由上述超声定量方法或通过能够确定被成像的组织的组织含量的其他成像或非成像过程获得的对应的量化组织参数（例如，脂肪含量或其他类型的组织内容）作为已知输出。一旦被适当地训练，神经网络可以是可操作的，以直接从原始RF信号和/或波束形成RF信号隐式地提取该信息，而不依赖于用于初始获得训练数据的超声量化方法。
在另一个实例中，斑块表征可以通过经过适当训练的神经网络来增强，以替换在常规超声系统中预编程的现有血管组织分类模型，例如可以由血管内超声（IVUS）导管使用以提供斑块组成与管腔和血管测量结果的彩色组织图。例如，Philips Volcano提供的VH算法可以说通常利用来自IVUS导管的波束形成超声RF信号，并分析这些回波信号的短时窗口RF谱特性，以将组织分类为若干不同类别中的一种，例如纤维组织、坏死核心、致密钙和纤维脂肪组织。然后可以提供图像，其示出这些组织类型在血管壁内的分布。因此，为了训练根据本公开的系统的神经网络以提供相关的血管组织分类信息，可以提供包括IVUS获得的RF信号的训练数据集作为具有对应的已知组织分类（例如，纤维状、坏死核心、致密钙等）的输入，如神经网络的训练阶段期间的已知输出。通常，使用现有IVUS系统获得的原始RF信号和/或波束形成RF信号和对应的血管病理学数据可以用于训练具有神经网络的超声成像系统，以直接从检测到的回波和/或波束形成信号估计血管组织成分，而不需要由常规IVUS系统当前能够采用的傅里叶变换和启发式技术。
在又一范例中，可以训练神经网络以相对于超声造影剂的存在来表征组织。在超声对比成像中，来自多脉冲序列（例如，功率调制）的每信道数据通常被波束形成，并且然后组合以形成表示跨成像视场的微泡造影剂的体积密度的图像。这同样可以隐含地（没有波束形成和/或明确地计算体积密度）通过神经网络实现，所述神经网络以每信道数据和/或至少部分波束形成数据和对应的已知微泡造影剂体积密度的形式的输入训练数据来训练。
在另一范例中，可以使用1D或2D阵列换能器扫描来自多个测试对象的人类心脏，并且可以将得到的图像和/或3D体积分割（手动或自动）分割成a）心腔内的区域；或b）包括心肌组织的区域。这些图像可以用于训练神经网络160以执行心腔识别。在范例中，输入数据[xi]可以是如本文所述的每信道数据和任选地辅助数据，而输出数据可以是分类（即，a）或b）。在范例中，神经网络可以包括用于执行这种类型的分类的经适当训练的语义分类器。然后可以使用如此训练的神经网络直接从原始或波束形成数据分割和识别心腔，而不必首先重建解剖结构的图像并且不依赖于图像处理技术。该分割信息可以用于抑制成像伪影，或者其可以直接馈送到算法中以量化射血分数或其他临床参数。可以类似地训练系统以识别其他类型的组织或解剖结构（例如，血管壁、肺/胸膜界面）并量化与其相关联的相关临床参数（例如，获得颈部半透明度测量结果）。
如图1和图4中的范例所示，神经网络可以被配置为接收辅助数据，例如关于波束形成器122的编程的信息，换能器113的性质（例如，阵列的元件的数量、布置和/或间隔、阵列类型等），关于被成像的解剖结构的已知信息，和/或感兴趣点或区域的空间位置（例如，如可以通过换能器跟踪系统获得的）。例如在来自不同成像模态的训练集的情况下，其他类型的信息也可以作为辅助信息提供给训练算法。在一些实施例中，神经网络可以接收辅助数据，可以在训练过程期间使用以补充训练数据集。任选地，还可以在成像会话期间将辅助数据提供给神经网络。
图6示出了根据本公开的一些范例的过程的流程图。过程600可以通过将采集的回波RF信号存储在信道存储器中来开始，如框602所示。存储在信道存储器中的RF信号对应于从组织检测到的回波，其是由操作性地耦合到超声系统（例如，系统100）的换能器（例如，换能器113）发射的超声的图像响应。在一些实施例中，该方法可以包括基于回波信号生成波束形成RF信号，如框604所示。波束形成信号可以通过常规波束形成技术生成，例如使用系统100的波束形成器122。在一些实施例中，来自一个或多个时间上连续的发射/接收周期的波束形成RF信号可以存储在波束形成器存储器中。波束形成信号可以耦合到一个或多个信号和图像处理器（例如，处理器150）。例如，如框606所示，波束形成信号可以耦合到信号处理器，以用于提取正交数据（即，信号的I/Q分量），如框608所示所述正交数据可以耦合到B模式处理器以用于生成解剖结构图像（参见框610）。
回波RF信号和/或波束形成RF信号的样本可以耦合到神经网络（例如，神经网160），如框612所示，并且然后可以传播通过网络的层以产生成像数据，或者任何类型的组织信息，这取决于网络的训练和/或操作模式。也就是说，在一些实施例中，可以通过常规信号处理（例如，信号处理路径601）获得一种类型的成像数据，并且可以通过对直接来自原始RF信号或波束形成RF信号的输入数据的隐式或预测分析来获得另一种类型的成像数据（例如，沿着神经网络路径613），如框612所示。在一些范例中，神经网络可以是深度神经网络（DNN）或卷积神经网络（CNN），其可以以硬件（例如，对应于硬件部件的节点）或软件（例如，其中节点使用计算机代码表示）来实施。在一些实施例中，原始或波束形成RF信号的样本的耦合可以是选择性的，例如响应于用户输入或者基于成像模式或临床应用由系统自动控制。可以训练神经网络以在多种不同模式下操作，每种模式与一种类型的输入数据（例如，原始信道数据或波束形成数据）相关联，并且因此可以基于神经网络的输入数据的类型选择神经网络的对应的操作模式（自动或响应于用户输入）。由神经网络输出的成像数据和/或组织信息可包括B模式成像数据、多普勒成像数据、向量流成像数据、应变成像数据、壁。如框616所示，超声图像（其包括第一类型成像数据和第二类成像数据）可以产生并显示在操作性地与超声系统相关联的显示单元上。
在一些实施例中，神经网络还可以接收用于产生成像数据的辅助数据。在操作模式期间，可以与训练算法相关联的神经网络可以接收训练数据集，例如由系统自身产生（例如，通过沿路径601处理回波信号获得）或来自可以使用或不使用超声作为成像模态的其他成像系统的图像数据或其他已知信息。
在使用诸如基于计算机的系统或可编程逻辑的可编程器件来实现部件、系统和/或方法的各种实施例中，应该意识到，上述系统和方法可以使用诸如“C”、“C ++”、“FORTRAN”、“Pascal”，“VHDL”等的各种已知或以后开发的编程语言来实现。相应地，可以准备各种存储介质，诸如磁性计算机盘、光盘、电子存储器等，其可以包含可以引导诸如计算机的设备以实现上述系统和/或方法的信息。一旦适当的设备访问存储介质上包含的信息和程序，存储介质就可以向设备提供信息和程序，从而使设备能够执行本文所述的系统和/或方法的功能。例如，如果向计算机提供包含适当材料（例如源文件、目标文件、可执行文件等）的计算机磁盘，则计算机可以接收该信息，适当地配置其自身并执行在上面的图表和流程图中概述的各种系统和方法的功能以实现各种功能。也就是说，计算机可以从磁盘接收涉及上述系统和/或方法的不同元件的信息的各个部分，实现个体系统和/或方法并协调以上所描述的个体系统和/或方法的功能。
鉴于本公开，要注意的是，本文描述的各种方法和设备可以以硬件、软件和固件来实现。此外，各种方法和参数仅通过范例而不是以任何限制意义被包括。鉴于本公开，本领域的普通技术人员可以实现本教导以确定它们自己的技术和实现这些技术需要的设备，同时保持在本发明的范围内。本文描述的处理器中的一个或多个的功能可以并入到更少数量或单个处理单元（例如，CPU）中，并且可以使用专用集成电路（ASIC）或响应于执行本文描述的功能的可执行指令而被编程的通用处理电路来实施。
尽管本系统可能已经特别参考超声成像系统进行了描述，但也可以设想，本系统可以扩展到其中以系统性方式获得一幅或多幅图像的其他医学成像系统。因此，本系统可用于获得和/或记录与肾脏、睾丸、乳房、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾脏、心脏、动脉和血管系统有关（但不限于此）的图像信息，以及与超声引导的介入有关的其他成像应用。此外，本系统还可以包括可以与常规成像系统一起使用的一个或多个程序，使得它们可以提供本系统的特征和优点。在研究本公开内容后，本公开的某些额外优点和特征对本领域技术人员而言显而易见，或者可以由采用本公开的新颖系统和方法的人员体验。本系统和方法的另一优点可以是常规医学图像系统可以容易地升级以并入本系统、设备和方法的特征和优点。
当然，要意识到，本文描述的范例、实施例或过程中的任何一个可以与一个或多个其他范例、实施例和/或过程组合，或者在根据本系统、设备和方法的单独设备或设备部分之间分离和/或执行。
最后，上述讨论仅旨在说明本系统，而不应被解释为将权利要求限制为任何特定实施例或实施例组。因此，尽管已经参考示范性实施例具体详细地描述了本系统，但是应意识到，本领域普通技术人员可以设计出许多修改和备选实施例，而不偏离如在权利要求中阐述的本系统的更广泛和预期的精神和范围。因此，说明书和附图要以说明性的方式来看待，而不是旨在限制权利要求书的范围。

Claims (15)

1.一种超声成像系统，包括：
超声换能器，其被配置为向组织发射超声脉冲并响应于所述超声脉冲而生成回波信号；
信道存储器，其被配置为存储回波信号；
波束形成器，其被配置为响应于所述回波信号而生成波束形成RF信号；
神经网络，其被配置为接收所述回波信号或所述波束形成RF信号的一个或多个样本并且产生第一类型的超声成像数据；以及
处理器，其被配置为基于所述波束形成RF信号来生成第二类型的超声成像数据，其中，所述处理器还被配置为基于所述第一类型的超声成像数据和所述第二类型的超声成像数据来生成超声图像。
2.根据权利要求1所述的超声成像系统，其中，所述第二类型的超声成像数据包括B模式成像数据，并且其中，所述第一类型的超声成像数据包括以下项中的一项：多普勒成像数据、向量流成像数据、弹性成像数据、组织类型表征数据、在其中包含流体的解剖结构的壁剪切应力、组织成分数据、超声造影剂信息、斑块表征数据、与所述B模式成像数据相关联的一个或多个诊断指示、或其组合。
3.根据权利要求1所述的超声成像系统，其中，所述神经网络包括深度神经网络（DNN）或卷积神经网络（CNN）。
4.根据权利要求1所述的超声成像系统，其中，所述神经网络至少部分地实施在包括可执行指令的计算机可读介质中，所述可执行指令在由耦合到所述信道存储器、所述波束形成器或两者的神经网络处理器执行时，使所述神经网络处理器执行机器训练的算法，以响应于所述回波信号或所述波束形成RF信号的所述一个或多个样本而产生所述第一类型的超声成像数据。
5.根据权利要求1所述的超声成像系统，还包括数据选择器，所述数据选择器被配置为选择所存储的回波信号或所述波束形成RF信号的子集作为用于输入到所述神经网络的样本。
6.根据权利要求5所述的超声成像系统，其中，所述数据选择器被配置为响应于由所述数据选择器接收的控制信号而选择性地将回波信号的所述样本或所述波束形成RF信号的所述样本耦合到所述神经网络。
7.根据权利要求1所述的超声成像系统，其中，所述处理器还被配置为使显示器显示所述超声图像。
8.根据权利要求1所述的超声成像系统，其中，所述神经网络还被配置为接收辅助数据作为输入，所述辅助数据包括超声换能器配置信息、波束形成器配置信息、关于介质的信息或其组合，并且其中，由所述神经网络提供的所述成像数据还基于所述辅助数据。
9.根据权利要求1所述的超声成像系统，其中，所述神经网络操作性地与训练算法相关联，所述训练算法被配置为接收训练输入的阵列和已知输出，其中，所述训练输入包括与被成像的组织的区域相关联的回波信号、波束形成信号或其组合，并且所述已知输出包括所述被成像的组织的已知性质。
10.根据权利要求9所述的超声成像系统，其中，所述已知性质是使用除超声之外的成像模态获得的。
11.根据权利要求1所述的超声成像系统，其中，所述神经网络被配置为根据多个操作模式中的一个操作模式来处理输入数据，所述一个操作模式是在对所述回波信号的采集期间响应于用户输入而选择的或者由所述超声成像系统基于所述超声成像系统的成像模式自动设置的。
12.根据权利要求11所述的超声成像系统，其中，所述神经网络被配置为基于所述输入数据来预测所述组织的脂肪含量，而不使用所述第二类型的成像数据。
13.根据权利要求11所述的超声成像系统，其中，神经网络被配置为基于所述输入数据的时间连续的样本来预测包含在所述组织的解剖结构中的流体的流性质，而不使用由图像处理电路产生的正交信号。
14.根据权利要求1所述的超声成像系统，其中，所述神经网络被配置为基于所述回波信号的样本来产生预测的波束形成信号，并且使用所述预测的波束形成信号来生成所述第一类型的成像数据。
15.根据权利要求7所述的超声成像系统，其中，所述显示器电耦合到或无线耦合到所述超声成像系统。
CN201880015836.5A 2017-01-05 2018-01-03 具有用于导出成像数据和组织信息的神经网络的超声成像系统 Active CN110381845B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762442691P 2017-01-05 2017-01-05
US62/442,691 2017-01-05
US201762522134P 2017-06-20 2017-06-20
US62/522,134 2017-06-20
PCT/EP2018/050086 WO2018127497A1 (en) 2017-01-05 2018-01-03 Ultrasound imaging system with a neural network for deriving imaging data and tissue information

Publications (2)

Publication Number Publication Date
CN110381845A CN110381845A (zh) 2019-10-25
CN110381845B true CN110381845B (zh) 2022-08-12

Family

ID=61163655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015836.5A Active CN110381845B (zh) 2017-01-05 2018-01-03 具有用于导出成像数据和组织信息的神经网络的超声成像系统

Country Status (5)

Country Link
US (2) US11324485B2 (zh)
EP (1) EP3565479A1 (zh)
JP (1) JP7132925B2 (zh)
CN (1) CN110381845B (zh)
WO (1) WO2018127497A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11986341B1 (en) 2016-05-26 2024-05-21 Tissue Differentiation Intelligence, Llc Methods for accessing spinal column using B-mode imaging to determine a trajectory without penetrating the the patient's anatomy
US11701086B1 (en) 2016-06-21 2023-07-18 Tissue Differentiation Intelligence, Llc Methods and systems for improved nerve detection
EP3513730A1 (en) * 2018-01-18 2019-07-24 Koninklijke Philips N.V. System and method for image decomposition of a projection image
US11638569B2 (en) 2018-06-08 2023-05-02 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound
US10694285B2 (en) * 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US11426142B2 (en) * 2018-08-13 2022-08-30 Rutgers, The State University Of New Jersey Computer vision systems and methods for real-time localization of needles in ultrasound images
JP7358457B2 (ja) * 2018-09-05 2023-10-10 コーニンクレッカ フィリップス エヌ ヴェ 超音波画像による脂肪層の識別
EP3633944B1 (en) * 2018-10-04 2021-07-28 Nokia Solutions and Networks Oy Method and apparatus for signal processing with neural networks
KR102158177B1 (ko) * 2018-11-15 2020-09-22 서강대학교산학협력단 2D 샘플볼륨 기반의 스펙트럴 도플러 영상에서 Neural Network를 이용하여 움직임을 추적하는 기법 및 이를 이용한 초음파 의료 영상 장치
SG11202105378QA (en) * 2018-12-11 2021-06-29 Eko Ai Pte Ltd Automatic clinical workflow that recognizes and analyzes 2d and doppler modality echocardiogram images for automatic cardiac measurements and the diagnosis, prediction and prognosis of heart disease
JP7273519B2 (ja) * 2019-01-17 2023-05-15 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び学習プログラム
JP7273518B2 (ja) * 2019-01-17 2023-05-15 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び学習プログラム
US11995838B2 (en) 2019-03-18 2024-05-28 Medtronic Navigation, Inc. System and method for imaging
US20200297424A1 (en) * 2019-03-18 2020-09-24 Medtronic Navigation, Inc. System and Method for Imaging
EP3716150A1 (en) * 2019-03-27 2020-09-30 Nvidia Corporation Improved image segmentation using a neural network translation model
JP7269778B2 (ja) 2019-04-04 2023-05-09 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
EP3754558A1 (en) * 2019-06-20 2020-12-23 Koninklijke Philips N.V. Method and system for generating a synthetic elastrography image
US11779312B2 (en) * 2019-06-28 2023-10-10 Siemens Medical Solutions Usa, Inc. Ultrasound medical imaging with optimized speed of sound based on fat fraction
CN110554393B (zh) * 2019-07-12 2023-05-23 华南理工大学 基于深度学习的高对比度最小方差成像方法
US11602331B2 (en) * 2019-09-11 2023-03-14 GE Precision Healthcare LLC Delivery of therapeutic neuromodulation
WO2021058288A1 (en) * 2019-09-26 2021-04-01 Koninklijke Philips N.V. Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
US20210100524A1 (en) * 2019-10-07 2021-04-08 The Board Of Trustees Of The Leland Stanford Junior University Vector flow estimation in medical ultrasound using deep learning neural networks
CN111091616B (zh) * 2019-11-25 2024-01-05 艾瑞迈迪医疗科技（北京）有限公司 一种三维超声图像的重建方法及装置
JP7379120B2 (ja) * 2019-11-28 2023-11-14 キヤノン株式会社 超音波診断装置、医用画像撮影装置、学習装置、超音波画像表示方法及びプログラム
EP3835803B1 (en) * 2019-12-13 2024-03-27 Siemens Healthineers AG System and method for estimating a relative substance composition of a portion of a body of a patient
CN110874828B (zh) * 2020-01-20 2020-04-21 上海尽星生物科技有限责任公司 神经网络模型及基于神经网络模型的超声波束形成方法
US20210228187A1 (en) * 2020-01-29 2021-07-29 GE Precision Healthcare LLC System and methods for contrast-enhanced ultrasound imaging
KR102617857B1 (ko) * 2020-03-12 2023-12-22 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 의료 이미징을 사용한 간 질환 활성도 추정
CN111803128A (zh) * 2020-07-15 2020-10-23 深圳大学 一种乳腺组织弹性成像方法、装置、设备和介质
US11457891B2 (en) 2020-08-17 2022-10-04 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation
KR20220031819A (ko) 2020-09-04 2022-03-14 재단법인대구경북과학기술원 체성분 분석을 위한 초음파 영상 시스템 및 초음파 영상 시스템의 동작 방법
CN112230171B (zh) * 2020-09-08 2022-11-25 上海联影医疗科技股份有限公司 磁共振接收机、磁共振系统和信号接收方法
EP4222716A1 (en) * 2020-09-29 2023-08-09 Koninklijke Philips N.V. Rendering of b-mode images based on tissue differentiation
US20220142614A1 (en) * 2020-11-09 2022-05-12 Siemens Medical Solutions Usa, Inc. Ultrasound-derived proxy for physical quantity
KR102670008B1 (ko) * 2021-12-28 2024-05-29 전주대학교 산학협력단 초음파 영상에서 초음파 주사 주파수별 지방간 정량화를 진단하는 장치 및 사용방법
CN116051429B (zh) * 2023-03-31 2023-07-18 深圳时识科技有限公司 数据增强方法、脉冲神经网络训练方法、存储介质和芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2434454A2 (en) * 2010-09-27 2012-03-28 Siemens Corporation Computerized characterization of cardiac motion in medical diagnostic ultrasound
CN103479398A (zh) * 2013-09-16 2014-01-01 华南理工大学 一种基于超声射频流分析的肝组织微结构的检测方法
CN105760825A (zh) * 2016-02-02 2016-07-13 深圳市广懋创新科技有限公司 一种基于切比雪夫前向神经网络的手势识别系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6238342B1 (en) * 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US20090270731A1 (en) * 2008-04-24 2009-10-29 Boston Scientific Scimed, Inc Methods, systems, and devices for tissue characterization by spectral similarity of intravascular ultrasound signals
WO2009140690A2 (en) * 2008-05-16 2009-11-19 Eric William Brader Ultrasound device and system including same
US9844359B2 (en) * 2013-09-13 2017-12-19 Decision Sciences Medical Company, LLC Coherent spread-spectrum coded waveforms in synthetic aperture image formation
US10835210B2 (en) * 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
US10430688B2 (en) 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US20180125446A1 (en) * 2015-06-04 2018-05-10 Koninklijke Philips N.V. System and method for precision diagnosis and therapy augmented by cancer grade maps
US10748277B2 (en) * 2016-09-09 2020-08-18 Siemens Healthcare Gmbh Tissue characterization based on machine learning in medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2434454A2 (en) * 2010-09-27 2012-03-28 Siemens Corporation Computerized characterization of cardiac motion in medical diagnostic ultrasound
CN103479398A (zh) * 2013-09-16 2014-01-01 华南理工大学 一种基于超声射频流分析的肝组织微结构的检测方法
CN105760825A (zh) * 2016-02-02 2016-07-13 深圳市广懋创新科技有限公司 一种基于切比雪夫前向神经网络的手势识别系统和方法

Also Published As

Publication number Publication date
JP2020503142A (ja) 2020-01-30
US20190336108A1 (en) 2019-11-07
CN110381845A (zh) 2019-10-25
JP7132925B2 (ja) 2022-09-07
EP3565479A1 (en) 2019-11-13
US11324485B2 (en) 2022-05-10
WO2018127497A1 (en) 2018-07-12
US20220225967A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
CN110381845B (zh) 具有用于导出成像数据和组织信息的神经网络的超声成像系统
US11364013B2 (en) Ultrasound imaging system with a neural network for image formation and tissue characterization
US11635514B2 (en) Imaging methods and apparatuses for performing shear wave elastography imaging
KR102006035B1 (ko) 초음파 촬영을 이용한 관 특성기술
RU2667617C2 (ru) Система и способ эластографических измерений
US11100665B2 (en) Anatomical measurements from ultrasound data
US11304678B2 (en) Systems, methods, and apparatuses for confidence mapping of shear wave imaging
US20220071596A1 (en) Systems and methods for contrast enhanced imaging
KR20210075831A (ko) 단일 초음파 프로브를 이용한 정량적 이미징 방법 및 장치
US20230134503A1 (en) Systems and methods for non-invasive pressure measurements
CN113382685B (zh) 用于研究血管特性的方法和系统
WO2019192970A1 (en) Ultrasonic shear wave imaging with improved accuracy and reliability
CN113015490B (zh) 用于同时呈现多门多普勒信号的对应于不同解剖结构的多普勒信号的方法和系统
JP2022543540A (ja) 画像データを使用する超音波システム音響出力制御
KR101956460B1 (ko) 초음파 의료영상 장치를 이용한 미세석회화 조직 검출 방법 및 그 초음파 의료영상 장치
WO2024013114A1 (en) Systems and methods for imaging screening

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant