CN114119362A - 利用神经网络提高超声图像分辨率的系统和方法 - Google Patents

利用神经网络提高超声图像分辨率的系统和方法 Download PDF

Info

Publication number
CN114119362A
CN114119362A CN202111016680.2A CN202111016680A CN114119362A CN 114119362 A CN114119362 A CN 114119362A CN 202111016680 A CN202111016680 A CN 202111016680A CN 114119362 A CN114119362 A CN 114119362A
Authority
CN
China
Prior art keywords
image
resolution
ultrasound
probe
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111016680.2A
Other languages
English (en)
Inventor
李东佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN114119362A publication Critical patent/CN114119362A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4494Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer characterised by the arrangement of the transducer elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本公开提供了一种方法,该方法用于使用生成神经网络将超声图像映射到分辨率映射超声图像,同时保持该分辨率映射超声图像的临床质量,从而使得临床医生能够评估处于优选分辨率而不损失临床相关内容的超声图像。在一个实施方案中,本公开提供了一种方法,该方法包括:采集对象的解剖区域的超声图像,其中该超声图像处于第一分辨率;选择目标分辨率,其中该目标分辨率不同于该第一分辨率;选择临床质量度量;基于该目标分辨率和该临床质量度量选择经训练的分辨率映射网络;使用该经训练的分辨率映射网络将该超声图像映射到分辨率映射超声图像,其中该分辨率映射超声图像处于该目标分辨率;以及经由显示设备显示该分辨率映射超声图像。

Description

利用神经网络提高超声图像分辨率的系统和方法
技术领域
本文所公开的主题的实施方案涉及超声成像,并且更具体地涉及用于使用生成神经网络来提高超声图像中的高度分辨率的系统和方法。
背景技术
临床超声是采用超声波来探测患者身体的内部结构并产生对应图像的成像模态。包括多个换能器元件的超声探头发射超声脉冲,这些超声脉冲会被身体中的结构反射或回传、折射或者吸收。然后超声探头接收所反射的回波,这些所反射的回波被处理成图像。例如,医学成像设备诸如超声成像设备可用于获得患者的心脏、子宫、肝脏、肺和各种其他解剖区域的图像。由单行阵列的换能器元件(例如,一维(1D)超声探头或多行阵列中的单行阵列)产生的超声波束由镜片聚焦,使得波束的厚度在对应于镜片焦点的第一深度处最小。在第一深度处,由探头采集的图像的高度分辨率被最大化,由此与在低于或高于第一深度的第二深度处可见的解剖特征相比,在第一深度处可见的解剖特征以更高分辨率示出。因此,由1D探头采集的超声图像具有第一分辨率分布,该第一分辨率分布由以下项表征:具有高分辨率的窄区域,以及近场和远场中以随着距高分辨率区域的距离而逐渐降低的分辨率示出的区域。
已经通过使用具有附加行的换能器元件的探头(例如,1.5维/1.5D或2维/2D探头)解决了高度分辨率的不一致。多行探头相对于单行探头的优点在于,多行探头可通过以下方式在扩展的深度范围内以高分辨率显示超声图像:调整探头的镜片,使得每行换能器聚焦在不同的深度处,以及组合由每行探头采集的超声图像。因此,可采集具有积极有益效果的更高分辨率图像,这些积极有益效果可包括更好的患者体验、更准确的诊断和/或改善的临床结果。
然而,多行阵列探头诸如1.5和2D探头依赖于更多的元件,并且因此可能比1D(单行阵列)探头更昂贵。此外,1.5D或2D探头的附加元件可使对象经受比1D探头更高水平的能量,在一些情况下这可能是不期望的(例如,当采集胎儿图像时等)。超声操作者还可能在使用1.5D或2D探头方面具有较少的经验,这可导致图像质量降低、检查时间更长和/或训练的时间和成本增加。
发明内容
本公开通过一种方法至少部分地解决了上述所识别的问题中的一个或多个问题,该方法包括:采集具有第一分辨率分布的第一超声图像;将第一超声图像输入到经训练的神经网络算法;以及生成具有第二更高分辨率分布的第二超声图像作为经训练的神经网络算法的输出。
在单独或与附图联系时,本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解,提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征,该主题的范围由具体实施方式后的权利要求书唯一地限定。此外,所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过阅读以下详细描述并且参考附图,可以更好地理解本公开的各个方面,其中:
图1示出了超声系统的示例性实施方案的框图;
图2示出了图像处理系统的示例性实施方案的框图,该图像处理系统被配置为使用经训练的生成网络来将超声图像从原始分辨率分布映射到目标分辨率分布;
图3示出了分辨率映射网络训练系统的示例性实施方案的框图;
图4A是根据示例性实施方案的可在图3的系统中使用的示例性生成神经网络的架构图;
图4B示出了经训练的分辨率映射网络的示例性输入图像和示例性输出图像;
图5示出了用于准备用于图3的分辨率映射网络训练系统的训练/测试数据集的示例性方法的流程图;
图6示出了用于使用图3的分辨率映射网络训练系统来训练分辨率映射网络的示例性方法的流程图;
图7示出了用于应用经训练的分辨率映射网络来将具有第一分辨率分布的超声图像映射到具有第二分辨率分布的超声图像的示例性方法的流程图。
附图示出了用于使用生成神经网络将处于第一分辨率的一个或多个超声图像映射到处于目标分辨率的一个或多个对应超声图像的所描述的系统和方法的特定方面。连同以下描述,附图示出并且解释了本文描述的结构、方法和原理。在附图中,为了清楚起见,部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。
具体实施方式
临床超声成像通常包括在目标解剖特征(例如,腹部、胸部等)的位置处将包括一个或多个换能器元件的超声探头放置到成像对象(诸如患者)上。图像由超声探头获取并且实时或接近实时地显示在显示设备上(例如,一旦生成图像就显示图像且没有有意延迟)。超声探头的操作者可查看图像并且调整超声探头的各种采集参数和/或位置、压力和/或取向,以便获得目标解剖特征(例如,心脏、肝脏、肾或另一个解剖特征)的高质量图像。可调整的获取参数包括发射频率、发射深度、增益(例如,总增益和/或时间增益补偿)、交叉波束、波束转向角度、波束形成策略、帧平均和/或其他参数。
超声探头可包括单行阵列的换能器元件(本文中为线性阵列探头或1D探头),该单行阵列的换能器元件生成具有在三维中限定的分辨率的超声波束。波束的轴向分辨率描述了平行于该波束的路径的两点之间的分辨能力。波束的横向分辨率描述了垂直于该波束的路径并且平行于探头的换能器阵列的两点之间的分辨能力。波束的高度分辨率描述了在距探头的固定轴向距离处垂直于探头的换能器阵列的两个点之间的分辨能力。
超声波束通常由镜片聚焦,由此该波束的厚度随着距探头的距离而变化,使得该波束在离开探头时的初始厚度减小,直到在镜片的焦点处达到最小厚度,之后该波束的厚度随着该波束距探头的距离而增大。镜片的焦点与探头相距固定距离(例如,进入对象体内的固定深度)。在固定距离处,实现波束的最大高度分辨率。虽然单行阵列的1D探头在镜片的焦点处显示出良好的高度分辨率,但在近场和远场中的高度分辨率较差。例如,在高度平面中图像的靠近在一起的两个点在波束的焦点处可以是可识别的,但在波束的焦点上方或下方的深度处不可识别。
可通过使用多行阵列的换能器元件(本文中为1.5D探头或2D探头)来解决差的近场高度分辨率和远场高度分辨率,其中每行换能器元件聚焦在不同焦点(例如,距探头的不同距离或深度)处。由每行换能器产生的图像可被组合以创建在比1D探头的相对窄的范围更宽的深度范围内具有高高度分辨率的单个超声图像。因此,多行阵列的1.5D或2D探头在扩展的成像范围内提供均匀的切片厚度和优异的对比度分辨率。
因此,可经由具有多行阵列的换能器的2D探头采集图像,其中在更宽的高度范围内以高分辨率示出解剖特征。这可产生更高质量的超声图像,其中可更清楚地识别并查看解剖特征,这可导致更好的患者体验、更准确的诊断和/或改善的临床结果。
例如,在使用具有单行换能器的1D探头执行的对孕妇子宫的超声检查中,可采集以高分辨率示出在由单行换能器产生的波束所聚焦的第一深度处胎儿的解剖特征(例如,耳朵、鼻子等),而可能以更低分辨率示出第二深度处(例如,在远场或近场中)胎儿的其他解剖特征(例如,足部、生殖器等)的超声图像。相比之下,在使用具有多行换能器的2D探头对孕妇的子宫进行的超声检查中,可采集以高分辨率示出在一定深度范围处胎儿的解剖特征的超声图像。使用1D探头生成在一定深度范围内的感兴趣的解剖特征的高分辨率视图可涉及随时间推移调整探头的位置以扫过在感兴趣的解剖特征可见的深度范围内1D探头的焦点,这可不利地影响诊断或患者体验。
然而,虽然多行阵列(例如,2D)探头可产生比单行阵列(例如,1D)探头更高分辨率的图像,但是由于与更多数量的换能器和控制元件相关联的更高成本、更高的能量输出和/或操作者体验不佳,多行阵列探头可能不像单行阵列探头那样被临床医生广泛地采用。
因此,本公开提供了用于将具有原始分辨率分布的原始图像转换为具有目标分辨率分布的输出超声图像的系统和方法,其中该目标分辨率分布可包括在比该原始分辨率分布更宽的深度范围内的高分辨率。例如,原始分辨率分布可被表征为窄的,在第一深度处提供高分辨率,但在近场或远场中在第二深度处提供差分辨率,而目标分辨率分布可被表征为宽的,其包括在近场和远场中在宽深度范围内的高分辨率。在一个实施方案中,可使用经训练的分辨率映射网络将原始图像转换为目标图像。本公开还提供了使得分辨率映射网络能够被训练学习从第一分辨率分布到目标分辨率分布的映射的训练系统和方法。
在一个实施方案中,经由超声成像系统(诸如,图1的超声成像系统100)的1D超声探头采集一个或多个超声图像。超声成像系统可通信地耦接到图像处理系统,诸如图2的图像处理系统202。图像处理系统可包括存储在非暂态存储器中的一个或多个神经网络模型,诸如生成神经网络模型和生成对抗网络模型。示例性生成神经网络模型(下文称为生成神经网络)在图4A中示意性地示出,其可被训练和部署以使用经由1D超声探头采集的超声图像作为输入来输出具有更宽分辨率分布的图像(例如,类似于由2D超声探头产生的图像),如图4B所示。可使用图3所示的分辨率映射网络训练系统300通过执行图5的方法500和/或图6的方法600的一个或多个操作来训练生成神经网络算法,方法500包括准备用于分辨率映射网络训练系统300的训练数据集,方法600包括训练生成神经网络算法学习从第一分辨率分布到目标分辨率分布的映射,其中使用包括1D探头图像和对应的基准真值2D探头图像的训练图像对根据反向传播算法来调整生成神经网络的参数。可通过利用1D和2D超声探头设备两者扫描患者的解剖特征来生成训练图像对,如下文参考图5的方法500所述。经训练的神经网络模型可由图像处理系统(诸如图2的图像处理系统202)部署,以通过执行图7的方法700的一个或多个操作来将一个或多个超声图像从第一分辨率分布映射到具有目标分辨率分布的对应分辨率映射超声图像。
现在参见图1,其示出了根据本公开的实施方案的超声成像系统100的示意图。超声成像系统100包括发射波束形成器101和发射器102,该发射器驱动换能器阵列(本文中称为探头106)内的元件(例如,换能器元件)104,以将脉冲超声信号(本文中称为发射脉冲)发射到身体(未示出)中。根据一个实施方案,探头106可以是一维换能器阵列探头。然而,在一些实施方案中,探头106可以是二维矩阵换能器阵列探头。如以下进一步解释的,换能器元件104可以由压电材料构成。当向压电晶体施加电压时,晶体物理地膨胀和收缩,从而发射超声球波。这样,换能器元件104可将电子发射信号转换为声学发射波束。
在探头106的元件104将脉冲超声信号发射到(患者的)身体中之后,脉冲超声信号从身体内部的结构(如血细胞或肌肉组织)向后散射,以产生返回到元件104的回波。回波被元件104转换成电信号或超声数据,并且电信号被接收器108接收。表示所接收的回波的电信号穿过输出超声数据的接收波束形成器110。另外,换能器元件104可根据所接收的回波产生一个或多个超声脉冲以形成一个或多个发射波束。
根据一些实施方案,探头106可包含电子电路来执行发射波束形成和/或接收波束形成的全部或部分。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110的全部或一部分可位于探头106内。在本公开中,术语“扫描”或“扫描中”可也用于指通过传输和接收超声信号的过程来采集数据。本公开中,术语“数据”可以用于指称用超声成像系统来采集的一个或多个数据集。在一个实施方案中,可使用经由超声系统100获取的数据来训练机器学习模型。用户界面115可用于控制超声成像系统100的操作,包括用于控制患者数据(例如,患者病史)的输入、用于改变扫描或显示参数、用于启动探头复极化序列等。用户界面115可包括以下项中的一者或多者:旋转元件、鼠标、键盘、轨迹球、链接到特定动作的硬键、可被配置为控制不同功能的软键,和/或显示在显示设备118上的图形用户界面。
超声成像系统100还包括处理器116,该处理器用以控制发射波束形成器101、发射器102、接收器108和接收波束形成器110。处理器116与探头106进行电子通信(例如,通信地连接)。出于本公开的目的,术语“电子通信”可被定义为包括有线通信和无线通信两者。处理器116可以根据存储在处理器的存储器、和/或存储器120上的指令来控制探头106以采集数据。处理器116控制元件104中的哪些是活动的以及从探头106发射的波束的形状。处理器116还与显示设备118进行电子通信,并且处理器116可将数据(例如,超声数据)处理成图像以用于在显示设备118上显示。处理器116可以包括根据一个实施方案的中央处理器(CPU)。根据其他实施方案,处理器116可包括能够执行处理功能的其他电子部件,诸如数字信号处理器、现场可编程门阵列(FPGA)或图形板。根据其他实施方案,处理器116可包括能够执行处理功能的多个电子部件。例如,处理器116可包括从电子部件的列表中选择的两个或更多个电子部件,这些电子部件包括:中央处理器、数字信号处理器、现场可编程门阵列和图形板。根据另一个实施方案,处理器116还可包括解调RF数据并且生成原始数据的复合解调器(未示出)。在另一个实施方案中,解调可以在处理链中较早地执行。处理器116适于根据数据上的多个可选超声模态来执行一个或多个处理操作。在一个示例中,可在扫描会话期间实时处理数据,因为回波信号被接收器108接收并且被传输至处理器116。出于本公开的目的,术语“实时”被定义为包括在没有任何有意延迟的情况下执行的过程。例如,实施方案可以7至20帧/秒的实时速率获取图像。超声成像系统100能够以显著更快的速率获取一个或多个平面的2D数据。然而,应当理解,实时帧速率可取决于采集用于显示的每帧数据所花费的时间长度。因此,当采集相对大量的数据时,实时帧速率可能较慢。因此,一些实施方案可具有显著快于20帧/秒的实时帧速率,而其他实施方案可具有低于7帧/秒的实时帧速率。数据可在扫描会话期间临时存储在缓冲器(未示出)中,并且在实时或离线操作中以不太实时的方式处理。本发明的一些实施方案可包括多个处理器(未示出),以处理根据上文所述的示例性实施方案的由处理器116处理的处理任务。例如,在显示图像之前,可利用第一处理器来解调和抽取RF信号,同时可使用第二处理器来进一步处理数据(例如,通过如本文进一步描述的那样扩充数据)。应当理解,其他实施方案可使用不同的处理器布置方式。
超声成像系统100可以例如10Hz至30Hz的帧速率(例如,每秒10帧至30帧)连续采集数据。根据数据生成的图像可以在显示设备118上以相似的帧速率刷新。其他实施方案能够以不同速率获取并且显示数据。例如,根据帧的大小和预期的应用,一些实施方案可以小于10Hz或大于30Hz的帧速率采集数据。包括存储器120,用于存储经处理的采集数据的帧。在示例性实施方案中,存储器120具有足够的容量来存储至少几秒钟的超声数据帧。数据帧的存储方式便于根据其采集顺序或时间进行检索。存储器120可包括任何已知的数据存储介质。
在本发明的各种实施方案中,处理器116可通过不同的模式相关模块(例如,B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率等)来处理数据,以形成2D或3D数据。例如,一个或多个模块可生成B模式、彩色多普勒、M模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变、应变速率以及它们的组合,等等。作为一个示例,一个或多个模块可处理彩色多普勒数据,其可包括传统彩色血流多普勒、功率多普勒、HD流,等等。图像线和/或帧存储在存储器中,并且可包括指示图像线和/或帧存储在存储器中的时间的定时信息。这些模块可包括例如扫描转换模块,用于执行扫描转换操作,以将所采集的图像从波束空间坐标转换为显示空间坐标。可以提供视频处理器模块,该视频处理器模块从存储器读取所采集的图像并且在对患者执行规程(例如,超声成像)时实时显示图像。视频处理器模块可包括单独的图像存储器,并且超声图像可被写入图像存储器以便由显示设备118读取和显示。
在本公开的各种实施方案中,超声成像系统100的一个或多个部件可以包括在便携手持式超声成像设备中。例如,显示设备118和用户界面115可以集成到手持式超声成像设备的外部表面中,该手持式超声成像设备可还包括处理器116和存储器120。探头106可以包括与手持式超声成像设备进行电子通信以收集原始超声数据的手持式探头。发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在超声成像系统100的相同或不同部分中。例如,发射波束形成器101、发射器102、接收器108和接收波束形成器110可以包括在手持式超声成像设备、探头以及它们的组合中。
超声扫描可使用1D超声探头或2D超声探头来执行。如上所述,1D超声探头包括单行换能器,其提供对应于1D探头的深度的焦点区域,其中解剖结构在焦点深度的窄高度范围内的部分以高分辨率(例如,高逐高度分辨率,或高度方向上的高分辨率,与横向和/或轴向方向上的分辨率不同),而解剖结构在逐渐远离焦点高度的高度处的部分以逐渐降低的分辨率(例如,低逐高度分辨率)示出。相比之下,2D超声探头包括n行换能器的阵列,从而提供n个焦点区域,每个焦点区域对应于2D超声探头的不同深度,其中解剖结构在距每个焦点区域的窄深度范围内的部分以高分辨率示出。因此,经由具有多行阵列的换能器的2D探头采集的图像在较宽探头高度范围内以高分辨率示出解剖特征。
在执行超声扫描之后,针对超声探头所包括的每行换能器生成包括扫描线及其样本的二维数据块(例如,针对1D探头的一个数据块,或针对具有n行换能器的2D探头的n个数据块)。在应用后端滤波器之后,执行称为扫描转换的过程,以将二维数据块变换为具有附加扫描信息(诸如深度、每条扫描线的角度等)的可显示的位图图像。在扫描转换期间,应用内插技术来填充所得图像中的丢失的孔(即,像素)。出现这些丢失的像素是因为二维块的每个元素通常应该覆盖所得图像中的许多像素。例如,在当前超声成像系统中,应用了双三次插值,其利用了二维块的相邻元素。因此,如果与位图图像的尺寸相比,二维块相对较小,则扫描转换后的图像将包括分辨率差或分辨率低的区域,特别是对于深度较大的区域。
如果使用具有n行换能器的2D探头来执行超声扫描,则将生成n个经扫描转换的图像,其中n个图像中的每个图像将示出该图像具有高分辨率的不同区域,使得n个经扫描转换的图像可被组合成单个经扫描转换的图像,其中与1D探头相比,在图像的较宽区域内以高分辨率示出解剖特征。
可进一步处理由超声成像系统100获取的超声图像。在一些实施方案中,如下文更详细描述的,可将超声成像系统100所产生的超声图像传输到图像处理系统,其中在一些实施方案中,可通过使用超声图像和对应的基准真值图像训练的一个或多个机器学习模型来分析这些超声图像,以便评估这些超声图像的图像质量问题。如本文所用,地面实况输出是指基于到机器学习模型中的给定输入的预期或“正确”输出。例如,如果正在训练机器学习模型提高超声图像的相关部分的分辨率,则在被馈送输入图像时,模型的基准真值输出是其中相关部分以高分辨率示出的超声图像。
尽管在本文被描述为单独的系统,但应当理解,在一些实施方案中,超声成像系统100包括图像处理系统。在其他实施方案中,超声成像系统100和图像处理系统可包括单独的设备。在一些实施方案中,超声成像系统100所产生的图像可用作用于训练一个或多个机器学习模型的训练数据集,其中如下所述,可使用机器学习模型来执行超声图像处理的一个或多个步骤。
参见图2,其示出了根据实施方案的图像处理系统202。在一些实施方案中,图像处理系统202结合到超声成像系统100中。例如,图像处理系统202可作为处理器116和存储器120设置在超声成像系统100中。在一些实施方案中,图像处理系统202的至少一部分设置在经由有线连接和/或无线连接通信地耦接到超声成像系统的设备(例如,边缘设备、服务器等)处。在一些实施方案中,图像处理系统202的至少一部分设置在单独的设备(例如,工作站)处,该单独的设备可从超声成像系统或从存储由超声成像系统所生成的图像/数据的存储设备接收图像。图像处理系统202可以可操作地/通信地耦接到用户输入设备232和显示设备234。至少在一些示例中,用户输入设备232可包括超声成像系统100的用户界面115,而显示设备234可包括超声成像系统100的显示设备118。图像处理系统202还可以可操作地/通信地耦接到超声探头236。如下面进一步详细讨论的,超声探头236可以是1D探头,或者超声探头236可以是2D探头。
图像处理系统202包括处理器204,该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的,并且在其上执行的程序可以被配置为用于进行并行或分布式处理。在一些实施方案中,处理器204可以任选地包括分布在两个或更多个设备中的单独组件,其可以被远程定位和/或配置用于协调处理。在一些实施方案中,处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的能够远程访问的联网计算设备执行。
非暂态存储器206可存储神经网络模块208、网络训练模块210、推断模块212和超声图像数据214。神经网络模块208可至少包括深度学习模型(例如,生成神经网络或生成对抗网络),以及用于实现深度学习模型以将经由1D探头采集的超声图像重建为在2D探头典型的更宽高度范围内具有更高分辨率的图像的指令,如下文更详细描述的。神经网络模块208可包括经训练和/或未经训练的神经网络,并且还可包括与存储在其中的该一个或多个神经网络有关的各种数据或元数据。
非暂态存储器206还可存储训练模块210,该训练模块包括用于训练存储在神经网络模块208中的神经网络中的一个或多个神经网络的指令。训练模块210可包括当由处理器204执行时使得图像处理系统202执行以下步骤中的一个或多个步骤的指令:方法500的用于生成训练数据集的步骤,方法600的用于使用训练数据集训练神经网络模型的步骤,如下文参考图5和图6更详细讨论的。在一些实施方案中,训练模块210包括用于实现一个或多个梯度下降算法、应用一个或多个损失函数和/或训练例程以用于调整神经网络模块208的一个或多个神经网络的指令。
非暂态存储器206还存储推断模块212,该推断模块包括用于利用经训练的深度学习模型测试新数据的指令。利用经训练的深度学习模型进行的超声图像的重建和增强可利用推断模块212来执行,如图7所述。具体地,推断模块212可包括当由处理器204执行时使得图像处理系统202执行方法700的步骤中的一个或多个步骤的指令,如在下文进一步详细讨论的。
非暂态存储器206还存储超声图像数据214。超声图像数据214可包括例如经由1D超声探头采集的超声图像和经由2D超声探头采集的图像。例如,超声图像数据214可存储经由1D探头采集的图像和经由2D探头采集的同一患者的同一解剖特征的图像。在一些实施方案中,超声图像数据214可包括如在方法500处所讨论的那样生成的多个训练集。
在一些实施方案中,非暂态存储器206可以包括设置在两个或更多个设备上的组件,这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中,非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的能够远程访问的联网存储设备。
用户输入设备232可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统202内的数据交互并操纵该数据的其他设备中的一者或多者。在一个示例中,用户输入设备232可使得用户能够选择超声图像以用于训练机器学习模型,以在超声图像数据214中指示或标记介入设备的位置,或者用于使用经训练的机器学习模型进行进一步处理。
显示设备234可包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中,显示设备234可以包括计算机监视器,并且可以显示超声图像。显示设备234可以与处理器204、非暂态存储器206和/或用户输入设备232组合在共享的壳体中,或者可以是外围显示设备,并且可以包括监视器、触摸屏、投影仪或本领域中已知的其他显示设备,该其他显示设备可使得用户能够查看由超声成像系统产生的超声图像并且/或者与存储在非暂态存储器206中的各种数据进行交互。
应当理解,图2所示的图像处理系统202是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
参见图3,其示出了分辨率映射网络训练系统300的示例。分辨率映射网络训练系统300可由一个或多个计算系统(诸如图2的图像处理系统202)实现,以训练分辨率映射网络学习从第一分辨率分布到目标分辨率分布的映射。在一个实施方案中,分辨率映射网络训练系统300包括待训练的分辨率映射网络302和训练模块304,该训练模块包括训练数据集,该训练数据集包括被分成训练图像对306和测试图像对308的多个图像对。训练模块304可与图2的图像处理系统200的训练模块210相同或类似。
可选择多个训练集和多个测试集来确保有足够的训练数据可用于防止过度拟合,由此分辨率映射网络302学习映射不存在于测试集中的训练集的样本所特有的特征。作为非限制性示例,所使用的训练集的数量为10,000,并且所使用的测试集的数量为1000。
训练图像对306和测试图像对308中的每个图像对包括一个输入图像和一个目标图像,其中该输入图像是经由超声成像系统(例如,图1的超声成像系统100)的1D超声探头312在患者的一个或多个解剖结构的第一检查期间采集的,并且该目标图像是经由超声成像系统的2D超声探头314在患者的一个或多个解剖结构的第二检查期间采集的。在一个实施方案中,超声操作者可一完成患者的第一检查就执行患者的第二检查,使得第一检查和第二检查之间的持续时间最小化,从而确保在第一检查和第二检查之间被检查的解剖结构没有变化。此外,在第一检查期间,可调整1D超声探头312的位置以便经由机械化、可重复的自动过程采集输入图像,从而在第二检查期间,可调整2D超声探头314的位置以便经由相同的机械化、可重复的自动过程采集对应的目标图像。例如,在第一检查期间,1D超声探头可机械地耦接到设备诸如机械臂,该机械臂在一个或多个方向上调整1D探头的位置,使得当2D探头在第二检查期间机械地耦接到设备时,同等地在该一个或多个方向上调整2D探头的对应位置。因此,相对于被检查的解剖结构的位置,可在经由1D探头在第一检查期间(在第一检查开始之后的固定时间间隔之后)采集的输入图像和经由2D探头在第二检查期间(在第二检查开始之后的相同固定时间间隔之后)采集的对应目标图像之间建立高度相关性。在一个示例中,可在利用1D探头进行的第一扫描和利用2D探头进行的第二扫描之间保持一组超声扫描参数。例如,可调整1D探头以利用第一组采集参数(例如,焦点、深度、频率、扫描平面、孔径尺寸等)扫描解剖区域的第一体积,并且随后可调整2D探头以利用相同的第一组采集参数扫描相同的第一体积,或反之亦然。此外,为了生成大型训练数据集,可利用1D探头和2D探头扫描多个解剖区域。这样,对于训练图像对,可在经由1D探头采集的图像和经由2D探头采集的图像之间获得高相关性。
此外,在一些实施方案中,输入图像和目标图像可以加时间戳,由此在第一检查开始时采集的第一输入图像被分配时间0,并且在第二检查开始时采集的第一目标图像被分配时间0,使得在第一检查中采集的任何后续输入图像将与在第二检查中采集的具有相同时间戳的后续目标图像相关联。因此,可经由自动化过程有效地获得包括同一患者的同一解剖特征的1D探头输入图像和2D探头目标图像的图像对。下文参考图5更详细描述了用于生成训练数据的过程的示例性方法。
在一个实施方案中,在生成要包括在训练图像对306或测试图像对308中的图像对之前,可由图像处理器320预处理输入图像和目标图像。例如,输入图像可在一个方向上移位,以便将被检查的解剖结构相对于经由1D探头采集的图像的参考系的位置调整到与目标图像中被检查的解剖结构相对于经由2D探头采集的图像的参考系的位置匹配的位置。
因此,生成了包括输入图像(例如,由1D超声探头312生成的1D探头图像316中的一个图像)和对应目标图像(例如,由2D超声探头314生成的2D探头图像318中的一个图像)的图像对,其中目标图像和输入图像具有相同的时间戳。一旦生成图像对,就可将图像对分配给训练图像对306数据集或测试图像对308数据集。在一个实施方案中,可将图像对以预先建立的比例随机分配给训练图像对306数据集或测试图像对308数据集。例如,可将图像对随机分配给训练图像对306数据集或测试图像对308数据集,使得90%的所生成的图像对被分配给训练图像对306数据集,并且10%的所生成的图像对被分配给测试图像对308数据集。另选地,可将图像对随机分配给训练图像对306数据集或测试图像对308数据集,使得85%的所生成的图像对被分配给训练图像对306数据集,并且15%的所生成的图像对被分配给测试图像对308数据集。应当理解,本文所提供的示例是为了进行示意性的说明,并且在不脱离本公开的范围的情况下,可经由不同的过程和/或以不同的比例将图像对分配给训练图像对306数据集或测试图像对308数据集。
分辨率映射网络训练系统300可根据图6的方法600的一个或多个操作来实现,以训练分辨率映射网络302学习从由超声图像316表征的分辨率分布到由目标超声图像318表征的分辨率分布的映射。分辨率映射网络302被配置为从训练模块304接收训练图像对306,并且迭代地调整分辨率映射网络302的一个或多个参数,以便基于对训练图像对306的每个图像对所包括的输入图像和目标图像之间的差值的评估,使误差函数最小化。在一个实施方案中,误差函数可以是每像素损失函数,其中输入图像和目标图像之间的差值在逐像素的基础上进行比较并求和。在另一个实施方案中,误差函数可以是感知损失函数,其中将从图像提取的特征进行比较(例如,其中损失由所有像素之间的平方误差的平均值限定)。在其他实施方案中,损失函数可以是最小损失函数或Wasserstein损失函数。应当理解,本文所提供的示例是为了进行示意性的说明,并且在不脱离本公开的范围的情况下,可使用其他类型的损失函数。
在一些实施方案中,分辨率映射网络302可包括生成神经网络。在一些实施方案中,分辨率映射网络302可包括生成对抗网络。在一些实施方案中,分辨率映射网络302可包括具有U-net架构的生成神经网络。在一些实施方案中,分辨率映射网络302可包括具有变分自动编码器架构的生成神经网络,该变分自动编码器架构包括第一编码部分和解码器部分,该第一编码部分将超声图像102的信息压缩成压缩表示/编码,该解码器部分将该压缩表示/编码解压成超声图像102的变型。在一些实施方案中,编码部分包括一个或多个卷积层,其继而包括一个或多个卷积滤波器(例如,卷积神经网络架构)。卷积滤波器可包括多个权重,其中这些权重的值是在训练过程诸如图6的训练方法期间学习的。卷积滤波器可对应于一个或多个视觉特征/图案,从而使得分辨率映射网络302能够从超声图像316识别和提取特征。编码部分还可包括一个或多个下采样操作和/或一个或多个激活函数。解码部分可包括一个或多个上采样和/或去卷积操作,该上采样和/或去卷积操作使得超声图像316的压缩表示能够被重构为具有与超声图像316的尺寸相同尺寸的图像。
分辨率映射网络训练系统300可包括验证器310,该验证器根据测试图像对308验证分辨率映射网络302的性能。验证器310可将经训练的或经部分训练的分辨率映射网络302和测试图像对308的数据集作为输入,并且可输出基于测试图像对308的数据集对该经训练的或经部分训练的分辨率映射网络302的性能的评估。在一个实施方案中,可基于在测试图像对308的每个图像对上实现的最小误差率的平均值来确定对经训练的或经部分训练的分辨率映射网络302的性能的评估,其中该最小误差率是在由经训练或经部分训练的分辨率映射网络302输出作为图像对中的输入图像的图像和图像对中的目标超声图像之间的一个或多个差值的函数。在另一个实施方案中,对经训练或经部分训练的分辨率映射网络302的性能的评估可包括对由经训练或经部分训练的分辨率映射网络302输出的超声图像的质量评估,其中该质量评估通过一个或多个预先建立的目标变量诸如输出图像与目标图像相比的横向、轴向和/或高度分辨率来确定。在其他实施方案中,对经训练或经部分训练的分辨率映射网络302的性能的评估可包括平均最小误差率和质量评估的组合,或者在测试图像对308的每个图像对上实现的最小误差率的不同函数和/或一个或多个质量评估,或者用于评估经训练或经部分训练的分辨率映射网络302的性能的另一个因素。应当理解,本文所提供的示例是为了进行示意性的说明,并且在不脱离本公开的范围的情况下,可包括其他误差函数、误差率、质量评估或性能评估。
例如,可利用50个图像对308的测试数据集验证经部分训练的分辨率映射网络302,其中50个图像对308中的每一对包括经由1D超声探头采集的对象的脾脏的输入图像,以及经由2D超声探头采集的该脾脏的目标图像,该2D超声探头被调整到对象上与1D超声探头相同的位置。经由1D超声探头采集的输入图像可具有由窄高分辨率区域表征的第一高度分辨率分布,并且经由2D超声探头采集的目标图像可具有由宽高分辨率区域表征的第二高度分辨率分布。验证器310可将输入图像馈送到经部分训练的分辨率映射网络302中并接收输出图像,该输出图像包括具有扩展的分辨率分布(例如,高度分辨率分布,其中输出图像具有比输入图像的高分辨率区域更大的高分辨率区域)的输入图像的重建。验证器310然后可将由经部分训练的分辨率映射网络302生成的脾脏的输出图像与该脾脏的来自相关图像对的目标图像进行比较,并且输出指示输出图像和目标图像之间的相似性程度的值。相似性程度可通过在两个图像中识别的解剖特征之间的一个或多个测量结果的比较,或图像或图像的部分之间的对比度差值或另一种类似度量来确定。在一个实施方案中,相似性程度可表示为百分比(例如,90%相似性评分),并且验证器310可返回二进制结果1,指示相似性程度超过阈值相似性百分比(例如,85%),并且经部分训练的分辨率映射网络302已成功地将具有第一分辨率分布的输入图像映射到具有第二分辨率分布的图像(例如,输出图像)。另选地,验证器310可返回二进制结果0,指示相似性程度没有超过阈值相似性百分比(例如,95%),并且经部分训练的分辨率映射网络302未能成功地将具有第一分辨率分布的输入图像映射到具有第二分辨率分布的图像(例如,输出图像)。验证器310可基于测试图像对308的每个图像对来验证经部分训练的分辨率映射网络302,并对测试图像对308的每个图像对执行的相似性评估的结果求取平均值,以确定总体验证得分。如果总体验证得分超过阈值(例如,0.8),则从而经部分训练的分辨率映射网络302通过验证,由此分辨率映射网络302已被完全训练并且可用于将由1D探头采集的新超声图像映射到具有扩展的高度分辨率分布的分辨率映射图像。另选地,如果总体验证得分没有超过阈值(例如,0.8),则经部分训练的分辨率映射网络302未通过验证,指示分辨率映射网络302可能无法用于将由1D探头采集的新超声图像映射到具有扩展的高度分辨率分布的分辨率映射图像。在其他实施方案中,验证器310可以输出相似性评分或百分比而不是二进制值,并且可对每个图像对的相似性评分或百分比求取平均值,以确定总体验证评分。应当理解,本文所提供的示例是为了进行示意性的说明,并且在不脱离本公开的范围的情况下,可使用其他过程和/或函数来验证经部分训练的分辨率映射网络302的性能。
分辨率映射网络训练系统300可包括推断模块322,该推断模块包括如上所述已由验证器310验证的经验证的分辨率映射网络324。推断模块322还可包括用于部署经验证的分辨率映射网络324以根据一组新1D探头图像326生成一组分辨率映射图像328的指令。分辨率映射超声图像328可包括与新1D探头图像326相同数量的图像,其中针对新1D探头图像326中的每个图像,产生对应的分辨率映射超声图像328,使得新1D探头图像326和分辨率映射超声图像328之间存在一对一的对应关系。这样,分辨率映射网络训练系统300使得分辨率映射网络302能够学习从第一分辨率分布到目标分辨率分布的映射。
转到图4A,其示出了CNN 400的架构图。CNN 400可将经由1D超声探头采集的二维超声图像作为输入,并且生成具有更宽分辨率分布的二维超声图像作为输出,其类似于经由2D超声探头采集的图像。CNN 400代表U-net架构,该U-net架构可分为编码部分(下降部分,元件402b-430)和解码部分(上升部分,元件432-456a)。CNN架构400包括从可由输入层接收的输入图像402b的像素表示通过多个特征映射图最后到可由输出层456a产生的输出图像456b的像素表示的一系列映射。
图例458中标记了包括CNN架构400的各种元件。如图例458所指示,CNN架构400包括多个特征映射图(和/或复制的特征映射图),其中每个特征映射图可从先前的特征映射图接收输入,并且可将所接收的输入转换/映射成输出以产生下一个特征映射图。每个特征标测图都可包括多个神经元,其中在一些实施方案中,每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入,并且可基于所接收的输入来计算单个输出,其中输出可传播到下一层/特征标测图中的神经元的子集。特征映射图可使用空间维度诸如长度和宽度(其可对应于输入图像的每个像素的特征)来描述,其中维度是指包括特征映射图的神经元数量(例如,沿指定特征映射图的长度的神经元数量和沿宽度的神经元数量)。
在一些实施方案中,特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出,其中每个所接收的输入具有唯一的对应的学习权重,其中该学习权重是在CNN的训练期间学习的。
由每个特征映射图执行的转换/映射由箭头指示,其中每种类型的箭头对应于不同的变换,如图例458所指示的。向右指向的实心黑色箭头指示步幅为1的3×3卷积,其中来自紧接着先前的特征标测图的特征通道的3×3网格的输出被映射到当前特征标测图的单个特征通道。每个3×3卷积都可跟随有激活函数,其中在一个实施方案中,激活函数包括整流线性单元(ReLU)。
向下指向的中空箭头指示2×2最大池化,其中来自特征通道的2×2网格的最大值从紧接着先前特征映射图传播到当前特征映射图的单个特征通道,从而导致紧接着先前特征映射图的空间分辨率降低8倍。在一些示例中,该池化独立地针对每个特征发生。
向上指向的中空箭头指示2×2上卷积,其包括将来自紧接着先前的特征映射图的单个特征通道的输出映射到当前特征映射图中的特征通道的2×2网格,从而将紧接着先前的特征映射图的空间分辨率提高8倍。
向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标测图级联。裁剪使复制的特征标测图的维度能够与待与复制的特征标测图级联的特征通道的维度匹配。应当理解,当正复制的第一特征标测图的大小和待与第一特征标测图级联的第二特征标测图的大小相等时,可不执行裁剪。
具有中空细长三角形头部的向右指向的箭头指示1×1卷积,其中紧接着先前的特征标测图中的每个特征通道被映射到当前特征标测图的单个特征通道,或者换句话讲,其中在紧接着先前的特征标测图与当前特征标测图之间发生了特征通道的1对1映射。
具有V形头部的向右指向的箭头指示将高斯噪声结合到所接收的输入特征标测图中。
具有弓形中空头部的向右指向的箭头指示批归一化操作,其中对输入特征标测图的激活的分布进行归一化。
具有短中空三角形头部的向右指向的箭头指示丢弃操作,其中在训练期间发生输入神经元(以及它们的输入和输出)的随机或伪随机丢弃。
除了图例458内的箭头所指示的操作之外,CNN架构400还包括对应于特征映射图的实心填充矩形,其中特征映射图包括高度(如图4A所示的从上到下的长度,对应于x-y平面中的y空间维度)、宽度(图4A中未示出,假设量值与高度相等,对应于x-y平面中的x空间维度)和深度(如图4A所示的从左到右的长度,对应于每个特征通道内的特征的数量)。同样,CNN架构400包括对应于复制和裁剪的特征映射图的中空(未填充)矩形,其中复制的特征映射图包括高度(如图4A所示的从上到下的长度,对应于x-y平面中的y空间维度)、宽度(图4A中未示出,假设量值与高度相等,对应于x-y平面中的x空间维度)和深度(如图4A所示的从左到右的长度,对应于每个特征通道内的特征的数量)。
从输入图像体积402b(在本文也称为输入层)开始,可输入对应于来自1D超声探头的图像的数据(诸如输入图像402a所示),并将该数据映射到第一特征集。在一些实施方案中,根据图5的方法500,通过利用1D超声探头扫描患者的目标解剖特征来采集输入数据。
输出层456a可包括神经元的输出层,其中每个神经元都可对应于超声图像的像素,并且其中每个神经元的输出都可对应于在输入的超声图像内在给定位置中的预测解剖特征(或缺少解剖特征)。例如,神经元的输出可指示输出超声图像的对应像素是脾脏的一部分还是不是脾脏的一部分。如图4A所示,输出图像456b可示出输入图像402a中包括的一个或多个特征。
以这种方式,CNN架构400可使得输入超声图像能够映射到具有更宽范围的高分辨率区域的预测的超声图像。CNN架构400示出了在输入图像图体积通过卷积神经网络的神经元层传播时发生的特征映射图转换,以产生预测的输出图像。
CNN 400中的卷积层的权重(和偏差)是在训练期间学习的,这将在下文参考图6进行详细讨论。简而言之,损失函数被定义为反映由CNN 400预测的输出图像和经由2D超声探头采集的对应的基准真值超声图像之间的差值。例如,损失函数可以是感知损失函数,其中感知损失的全面引入可用于控制伪影的外观。可通过神经网络的层将损失反向传播以更新卷积层的权重(和偏差)。可使用多个训练图像对来训练神经网络400,这些训练图像对包括从使用a1D探头对患者进行的检查中采集的超声图像和从使用2D探头对患者进行的检查中采集的对应的基准真值图像。
应当理解,本公开包含神经网络架构,这些神经网络架构包括一个或多个正则化层,该一个或多个正则化层包括批归一化层、丢弃层、高斯噪声层和机器学习领域中已知的其他正则化层,它们可在训练期间使用以减轻过度拟合并提高训练效率,同时减少训练时间。在CNN训练期间使用正则化层,并且在CNN的训练后实施方式期间将其停用或移除。这些层可散布在图4A示的层/特征映射图之间,或者可替换所示层/特征映射图中的一者或多者。
应当理解,图4A所示的CNN 400的架构和配置用于说明而非限制,并且本文可使用其他适当的神经网络(诸如ResNet、递归神经网络、广义回归神经网络(GRNN)等)来根据具有更有限范围的高分辨率区域的超声图像预测具有扩展范围的高分辨率区域的超声图像。
参见图4B,其示出了通过经训练的分辨率映射网络486将具有第一分辨率分布的输入图像482映射到具有第二分辨率分布的分辨率映射超声图像484的示例。经训练的分辨率映射网络486可与图3的经验证的分辨率映射网络324相同或类似。输入图像482可包括由超声成像系统诸如图1的超声成像系统100采集的超声图像。由超声成像系统采集的图像可能不满足临床医生的图像外观偏好,并且作为响应,临床医生可采用方法诸如方法700将输入超声图像482映射到分辨率映射超声图像484,其中分辨率映射超声图像484满足临床医生关于近场和远场中图像的分辨率的偏好。(例如,分辨率映射超声图像484的分辨率分布与限定临床医生所偏好的图像外观的目标分辨率分布匹配)。因此,输入超声图像482和分辨率映射超声图像484两者包括基本上相同的解剖内容,并且为同一患者的同一解剖区域,然而,输入超声图像482和分辨率映射超声图像484包括不同的外观特征(即,不同的分辨率分布)。经训练的分辨率映射网络486包括从第一分辨率域到目标分辨率域的学习映射。
参见图5,其示出了根据示例性实施方案的用于生成训练数据的方法500的流程图,该训练数据用于训练分辨率映射网络(诸如图3的分辨率映射网络训练系统300的分辨率映射网络302和/或图4的CNN 400),其中该训练数据包括一组图像对。该组图像对中的每个图像对可包括经由1D超声探头在探头位置处采集的对象的一个或多个解剖特征的超声图像(例如,输入图像),以及经由2D超声探头在探头位置处采集的对象的一个或多个解剖特征的对应超声图像(例如,基准真值图像)。使用由图1的超声成像系统100采集的超声图像,方法500可被实现为图3的分辨率映射网络训练系统300和/或图2的图像处理系统202的一部分。在一个实施方案中,方法500的一些操作可存储在非暂态存储器中并由处理器206(诸如,图2的图像处理系统202的非暂态存储器206和处理器204)执行。在一些实施方案中,一个或多个训练图像对可存储在图2的图像处理系统202的训练模块210中的超声图像数据集中。
训练数据可包括从可能患有一种或多种病症的对象采集的异常的样本超声图像,以及健康组织的样本超声图像和/或从健康对象采集的样本超声图像。例如,被采集用于训练的超声图像可包括增大、浮肿和/或另外畸形的器官的图像,或者健康对象体内不存在的解剖特征(诸如,肿瘤、增生、疤痕组织等)的图像。在一个实施方案中,在训练数据的准备期间可遵循一定过程,以从具有不同特征(例如,年龄、性别等)和/或不同健康程度和/或不同正常/异常程度的解剖结构的大量受试者采集图像。在其他实施方案中,在训练数据的准备期间可遵循不同过程,以从选定的一组对象采集图像,其中该选定的一组对象有相同的一个或多个特征。例如,可从女性(例如,孕妇的子宫)而不是男性采集图像,或者可从高于或低于阈值年龄的一组对象(例如,儿童或婴儿)采集图像。应当理解,本文所提供的示例是为了进行示意性的说明,并且可使用其他标准来生成训练数据。
方法500从502开始,其中方法500包括利用1D超声探头(例如,图3的分辨率映射网络训练系统300的1D超声探头312)扫描对象。可基于每个解剖特征或每组解剖特征的第一组扫描参数来执行利用1D探头采集图像,该第一组扫描参数包括例如扫描平面、扫描频率、探头位置、焦点、孔径尺寸和扫描深度。
在一个示例中,方法500可包括扫描孕妇的子宫,由此可通过调整1D超声探头在孕妇的腹部上的位置来采集超声图像。超声图像可示出子宫在不同深度处的特征,其中在对应于1D超声探头的镜片的焦点的深度处示出的子宫的特征可以高分辨率显示,而在近场和/或远场中示出的子宫的特征可以更低分辨率显示。扫描子宫可涉及采集目标数量的超声图像(例如,对应于超声检查的持续时间),其中超声图像的数量对应于训练数据中图像对的总数量。在一些实施方案中,在502处,可通过多个超声检查来采集超声图像,可例如对多个对象和/或对象的解剖特征执行该多个超声检查,以便在训练数据中生成足够数量的图像对。
在504处,方法500包括,对于经由1D超声探头采集的多个图像,以预先确定的时间间隔选择图像,并且将其存储在数据库中,其中可基于图像的时间戳来访问图像。例如,可以一秒间隔从经由1D超声探头采集的超声图像流中选择图像(例如,帧),使得从一分钟检查中选择60个图像帧。另选地,可以10秒间隔从经由1D超声探头采集的超声图像流中选择图像(例如,如果期望超声图像之间存在比每秒采集的超声图像之间的差值更大的差值),或者可选择来自经由1D超声探头采集的超声图像流的所有图像帧(例如,如果期望最大化数据集的大小)。
时间戳可与每个选定的图像相关联,该时间戳对应于相对于检查的开始采集每个选定的图像的时间。作为非限制性示例,在检查开始之后10.27秒采集的图像可接收时间戳10.27。在一个实施方案中,时间戳可在由超声成像系统进行采集期间自动与图像相关联。在其他实施方案中,时间戳可与在504处选择的图像相关联作为图像处理阶段的一部分(例如,通过图2的图像处理系统202的处理器204,以及/或者通过图3的分辨率映射网络训练系统300的图像处理器320)。可将选定的图像存储在数据库中,在方法500的稍后操作期间可在该数据库中访问该选定的图像。例如,选定的图像可存储在关系数据库表中,其中该选定的图像的时间戳存储在关系数据库表的一行的字段中,并且该选定的图像存储在关系数据库表的该行的另一个字段中,使得可在训练图像对的组对期间由处理器(例如,图2的图像处理系统202的处理器204)基于该选定的图像的时间戳从数据库中识别和检索该选定的图像。
在506处,方法500包括利用2D超声探头扫描在502处被扫描的对象。用于利用2D探头采集图像的第二组扫描参数可对应于用于1D探头的第一组扫描参数。具体地,对于利用1D探头扫描的每个解剖特征或每组解剖特征,可利用2D探头采集对应图像。经由2D探头采集的对应图像可利用第二组扫描参数来采集,该第二组扫描参数的值与用于采集经由1D探头采集的图像的第一组扫描参数的值高度相关。例如,在用2D探头扫描期间,对于每个解剖特征,可调整包括探头位置、扫描频率、扫描深度和扫描平面的第二组扫描参数,以与用于利用1D探头进行的采集的第一组扫描参数匹配。
例如,如果在502处扫描孕妇的子宫,则方法500可包括在506处利用2D超声探头扫描孕妇的子宫,由此可通过调整2D超声探头在孕妇的腹部上的位置来采集超声图像。此外,2D超声探头在孕妇的腹部的位置可与在502处用于扫描对象的1D超声探头在孕妇的腹部上的位置相同或基本上类似。在一个实施方案中,如上文参考图3所述,可调整1D超声探头在第一检查期间的位置,以便经由机械化、可重复的自动过程采集超声图像,该自动过程可在利用2D超声探头在孕妇的腹部上进行的第二检查期间再现。例如,1D超声探头在502处扫描对象期间的位置和2D超声探头在506处扫描对象期间的位置可经由可包括机械臂的设备来调整,由此可将2D超声探头在506处扫描对象期间的位置调整到1D超声探头在502处扫描对象期间的位置。
经由2D探头采集的超声图像可示出子宫在不同深度处的特征,其中与由1D超声探头采集的图像相比,出于上文所述的原因,可以类似的高分辨率显示在不同深度处示出的子宫的特征。在506处扫描子宫可涉及采集目标数量的超声图像(例如,对应于超声检查的持续时间),其中超声图像的目标数量对应于在502处采集的超声图像的目标数量(例如,训练数据中图像对的总数量)。
如上文结合502所述,在506处可通过对多个对象和/或对象的解剖特征执行的多个超声检查来采集超声图像,其中所执行的超声检查的数量、对象的数量和/或对象的解剖特征的数量以一对一的方式对应于在502处采集1D超声图像期间所执行的超声检查的数量、对象的数量和/或对象的解剖特征的数量。因此,相对于被检查的解剖结构的位置,在经由1D探头在第一检查期间(在第一检查开始之后的固定时间间隔之后)采集的输入图像(例如,要用于训练分辨率映射网络的输入图像)和经由2D探头在第二检查期间(在第二检查开始之后的相同固定时间间隔之后)采集的对应目标图像(例如,要用于训练分辨率映射网络的目标图像)之间建立高度相关性。然后可将输入图像和目标图像配对成训练图像对并将其添加到训练数据集中。
在508处,方法500包括,对于经由2D超声探头采集的多个图像,以所建立的并在504处用于选择1D探头图像(例如,输入图像)的预先确定的时间间隔选择图像,并将它们存储在用于存储选定的1D探头图像的数据库中,其中可如上所述基于图像的时间戳来访问图像。
在510处,方法500包括构建训练数据集。在一个实施方案中,构建训练数据集包括,在512处,通过参考时间戳来从数据库中访问1D探头图像和对应的2D探头图像。例如,图像处理器(例如,图2的图像处理系统202的处理器204和/或图3的分辨率映射网络训练系统300的图像处理器320)可迭代地检索数据库中的多个1D探头图像。对于所检索到的每个1D探头图像(例如,输入图像),处理器可选择该1D探头图像的时间戳并使用该时间戳来从数据库中检索2D探头图像(例如,基准真值图像),该2D探头图像对应于与1D探头图像相同的对象和解剖特征。在514处,方法500包括将1D探头图像和对应的基准真值2D探头图像配对作为训练图像对。在516处,方法500包括将训练图像对存储到训练数据集或测试数据集。如上文结合图3所述,当生成图像对时,可将该图像对分配给训练集(例如,图3的分辨率映射网络训练系统300的训练图像对306)或测试集(例如,图3的分辨率映射网络训练系统300的测试图像对308)。在一个实施方案中,可将图像对以预先建立的比例随机分配给训练数据集或测试数据集。
如上所述,生成训练数据集和/或测试数据集包括:针对每个对象,采集经由1D探头采集的多个扫描图像,以及随后采集经由2D探头采集的多个对应的扫描图像,并且基于时间戳将每个1D探头图像与其对应的2D探头图像相关联。在一些实施方案中,可另选地执行1D扫描和对应的2D扫描。例如,可基于1D扫描参数利用1D探头扫描身体的第一部分以获得第一1D探头图像,并且在前进至身体的下一个部分之前,可基于对应于1D探头扫描参数的2D扫描参数(探头位置、深度、平面、孔径、焦点和频率)利用2D探头扫描身体的第一部分,以获得对应于第一1D探头图像的第一2D探头图像。第一1D探头图像和第一2D探头图像包括可用于训练或验证的第一图像对。这样,可生成多个图像对(用于训练或验证)。例如,机器人臂可装配有1D探头并且可发起1D扫描以获得1D探头图像,该1D扫描从身体上的第一位置开始并且在第二位置处结束,以扫描解剖特征或一组特征或解剖特征的一部分。在利用1D探头采集图像时,机器人臂可复位到第一位置并且重新装配有2D探头。在一些示例中,可将用于1D扫描的探头改变为2D模式。例如,超声探头(或者在本文中称为超声换能器或换能器)可以是2D矩阵阵列探头,并且1D探头图像可通过使用线性阵列或第一数量行的2D矩阵阵列探头来获得,并且2D探头图像可通过使用第二数量行的2D矩阵阵列来获得,其中第一数量行少于第二数量行。可基于与用于1D扫描的扫描参数相同的扫描参数(探头位置、深度、平面、孔径、焦点和频率)执行2D扫描以获得从第一位置到第二位置的图像。可将如此获得的1D探头图像和2D探头图像用作训练对或验证对。
参见图6,其示出了根据示例性实施方案的用于训练分辨率映射网络(诸如图3的分辨率映射网络训练系统300的分辨率映射网络302和/或图4的CNN 400)的方法600的流程图。在一个实施方案中,分辨率映射网络可以是具有多个隐藏层的深度神经网络。在一个实施方案中,分辨率映射网络可以是卷积神经网络,诸如卷积自动编码器网络(CAE)。应当理解,本文所提供的示例是为了进行示意性的说明,并且在不脱离本公开的范围的情况下,方法600可使用任何类型的神经网络。
方法600中使用的训练数据可包括根据上文参考图5的方法500所述的过程选择和存储的一组图像对,该组图像对包括在探头位置处采集的对象的一个或多个解剖特征的1D超声图像(例如,输入图像),以及在探头位置处采集的对象的该一个或多个解剖特征结构的对应2D超声图像(例如,基准真值图像)。方法600可被实现为图3的分辨率映射网络训练系统300和/或图2的图像处理系统202的一部分。在一个实施方案中,方法600的一个或多个操作可存储在非暂态存储器中并由处理器(诸如,图2的图像处理系统202的非暂态存储器206和处理器204)执行。
方法600从操作602开始,其中方法600包括从训练集接收训练图像对(例如,包括经由1D超声探头采集的输入图像和经由2D超声探头采集的基准真值图像)。在一个实施方案中,训练集可存储在图像处理系统的训练模块中,诸如图2的图像处理系统202的训练模块210。在其他实施方案中,可经由图像处理系统和外部存储设备之间的通信耦接(诸如经由与远程服务器的互联网连接)来采集训练图像对。
在604处,方法600包括将训练图像对中经由1D超声探头采集的输入图像输入到分辨率映射网络的输入层中。在一些实施方案中,将输入图像输入到CNN(诸如图4的CNN 400)的输入层中。在一些实施方案中,可将输入图像的每个像素强度值输入到分辨率映射网络的输入层的不同神经元中。
在606处,方法600包括从分辨率映射网络接收输出图像。例如,分辨率映射网络可通过以下方式将输入图像映射到输出图像:将该输入图像从输入层传播,通过一个或多个隐藏层,直至到达分辨率映射网络的输出层。在一些实施方案中,分辨率映射网络的输出包括2D矩阵的值,其中每个值对应于输入图像的像素的不同强度,并且其中输出图像的每个像素的不同强度生成该输入图像的重建,其中该输出图像的一个或多个区域的分辨率超过该输入图像的该一个或多个区域的分辨率。
在操作608处,方法600包括计算分辨率映射网络的输出图像和训练图像对中的目标图像之间的差值。例如,分辨率映射网络的输出图像和训练图像对(例如,训练图像对)中的目标图像(基准真值图像)之间的差值可通过以下方式进行计算:确定该输出图像的每个像素的强度和该目标图像中的每个对应像素的强度之间的差值,并对该输出图像和该目标图像的所有像素的差值进行求和。
在操作610处,基于来自相关数据对的输出图像和基准真值图像之间的差值来调整分辨率映射网络的权重和偏差。如由损失函数所确定的差值(或损失)可反向传播穿过神经学习网络,以更新卷积层的权重(和偏差)。在一些实施方案中,根据梯度下降算法可发生损失的反向传播,其中针对深度神经网络的每个权重和偏差确定损失函数的梯度(一阶导数或一阶导数的近似)。然后,通过将针对权重(或偏差)确定(或近似)的梯度乘积的负数与预先确定的步长大小相加来更新分辨率映射网络的每个权重(和偏差)。然后方法600可结束。应当注意,方法600可重复进行,直到分辨率映射网络的权重和偏差收敛,或者对于方法600的每次迭代,深度神经网络的权重和/或偏差的变化率都在阈值以下。
虽然未在方法600中描述,但应当理解,为了避免过度拟合,可周期性地中断对分辨率映射网络的训练,以基于包括测试图像对的测试集来验证该分辨率映射网络的性能。测试图像对可如图5的方法500所述的那样生成,并且可从较大的训练数据集中随机提取。在一个实施方案中,当分辨率映射网络相对于图像对的测试集的性能收敛时(例如,当测试集上的误差率收敛至最小值时),可结束对分辨率映射网络的训练。以这种方式,方法600使得分辨率映射网络能够被训练以生成输入图像的重建,其中该输入图像的重建在整个重建图像中包括具有高分辨率和/或一致高分辨率的更多区域。
现在参考图7,其示出了用于使用超声成像系统(诸如图1的超声系统)生成超声图像的方法700的流程图。超声成像系统可包括处理器,诸如图2处的图像处理系统202。在超声成像系统的操作模式期间,可部署分辨率映射网络(诸如图3的分辨率映射网络训练系统300的分辨率映射网络302和/或图4的CNN 400)以生成超声图像,其中该超声图像具有更高分辨率分布,如下所述。在一个实施方案中,分辨率映射网络可以是具有多个隐藏层的深度神经网络诸如卷积神经网络,该深度神经网络根据图6的方法600所述的过程基于训练数据集(相对于图5描述了训练数据集的生成)来进行训练。方法700可被实现为图3的分辨率映射网络训练系统300和/或图2的图像处理系统202的一部分。在一个实施方案中,方法700的一个或多个操作可作为可执行指令存储在非暂态存储器(例如,图2中的非暂态存储器206)中并由处理器执行。此外,方法700可被部署为推断模块的一部分,诸如图2的图像处理系统202的推断模块212和/或图3的分辨率映射网络训练系统300的推断模块322。
方法700在操作702处开始,其中方法700包括确定在利用超声系统进行的扫描操作期间使用的换能器的操作模式、处理模式和类型。该操作模式可以是B模式、M模式、多普勒模式、彩色M模式、频谱多普勒、弹性成像、TVI、应变或应变速率等。该处理模式可以是基于人工智能的图像处理模式,其部署神经网络算法,诸如图4B处的经训练的分辨率映射算法486。换能器的类型可以是1D换能器(其可以是线性阵列或弯曲阵列换能器或相控阵列换能器中的任一者)、1.25D换能器、1.5D换能器或2D换能器。在一个示例中,处理器可基于经由耦接到超声系统的显示器的显示器部分上的超声成像界面进行的用户输入来确定换能器的操作模式、处理模式和类型。
接下来,方法700前进至704。在704处,方法700包括利用从1D换能器采集的扫描数据来确定超声扫描是否在基于AI的图像处理模式下操作。如果704处的答案为是,则方法700前进至706。
在706处,方法700包括利用1D换能器采集第一扫描数据,其中通过扫描给定感兴趣体积的第一体积来获得第一扫描数据。作为非限制性示例,操作者可利用1D探头扫描第一数量的平行图像平面,以便获得第一体积的第一扫描数据。在一个实施方案中,图像平面的数量可以是一个。在另一个实施方案中,当未实施基于AI的分辨率映射模式时,图像平面的数量可多于一个但少于图像平面的数量。具体地,第一体积小于当未部署基于AI的分辨率映射模式时可被扫描的第二体积。因此,当利用基于AI的分辨率映射模式时获得的第一扫描数据的量小于当未利用基于AI的分辨率映射模式时获得的第二扫描数据的量。例如,当未部署基于AI的分辨率映射模式时,操作者可扫描更大的体积并处理更大的扫描数据(即,第二扫描数据),以便生成具有更高高度分辨率分布的2D图像。换句话讲,1D换能器阵列可通过在高度方向上扫过感兴趣体积来采集多个2D横截面图像。根据渲染模式(2D或3D,其可基于用户选择),可根据该多个2D横截面图像重建具有更高高度分辨率的2D图像或3D图像。然而,利用1D换能器进行此类体积扫描以在高度方向上实现期望的分辨率需要更高的技能和更丰富的经验,这对于相对无经验的操作者而言可能是具有挑战性的,并且即使在由经验丰富的操作者操作时,也可能无法准确再现。此外,体积扫描数据由用于生成更高分辨率2D图像的图像处理算法(例如,延时乘累加(DMAS)图像重建算法、图像帧相关或去相关算法等)处理,该图像处理算法具有其自身的缺点,诸如图像伪影、失真、尺寸精度不足等。此外,增加机械控制以调整探头的高度移动增加了处理的庞大性和复杂性,而徒手扫描缺乏再现性(在具有或不具有经验和技能的情况下)。在一些示例中,重建算法可以是基于神经网络的算法,其可能仍然需要更大体积被扫描,并且可能需要更多数量的平行图像平面被利用1D探头扫描以获得期望的高度分辨率。因此,此类基于神经网络的算法仍然存在以下问题:尺寸精度不足、可再现性、生成扫描图像的复杂性,以及换能器的庞大性和成本(当加上机械控制时)。
为了利用从1D换能器获得的扫描数据并在扫描复杂性降低并且没有庞大的附加机械控件的情况下提高2D图像的分辨率(诸如在高度方向上的更高分辨率),可部署经训练的分辨率映射算法,如下所述。简而言之,在基于AI的分辨率映射模式下,可利用1D换能器扫描给定感兴趣体积的第一体积,其中第一体积小于如上所述在重建多个2D横截面图像时所需的第二体积。然后使用扫描数据生成具有更低分辨率分布的第一超声图像。将第一超声声音图像馈送到经训练的分辨率映射神经网络算法中,以获得具有更高分辨率分布的第二超声图像。以这种方式,对于给定感兴趣体积,为了获得期望的分辨率分布,与当未采用基于AI的分辨率时利用1D探头扫描的第二体积(以及因此第二扫描数据的第二量)相比,当部署了基于AI的分辨率映射时利用1D换能器扫描的第一体积(以及因此第一扫描数据的第一量)更小。
返回706,在利用1D探头扫描第一体积以获得第一扫描数据后,方法700前进至708。在708处,方法700包括使用第一扫描数据生成第一超声图像。第一超声图像具有更低分辨率分布。该更低分辨率分布可在横向方向、轴向方向和高度方向中的一者或多者上具有更低分辨率。
接下来,方法700前进至710,在710处,该方法包括提供具有更低分辨率分布的第一超声图像作为对经训练的分辨率映射算法的输入。即,该方法包括将通过利用1D超声探头扫描获得的第一更低分辨率图像馈送到经训练的分辨率映射网络的输入层中。
接下来,在712处,方法700包括生成具有在经训练的分辨率映射网络的一个或多个编码器中学习的特征的第二超声图像。第二超声图像具有比用作对经训练的分辨率映射算法的输入的第一超声图像更高的分辨率分布。该更高分辨率分布可包括在横向方向、轴向方向和高度方向中的一者或多者上的更高分辨率。
在获得第二更高分辨率图像后,在714处,方法700包括经由显示设备的显示部分(例如,图2的图像处理系统202的显示设备234)显示第二更高分辨率图像。
在一个实施方案中,在715处,第二更高分辨率图像(即,所生成的图像)可包括所生成的图像上的一个或多个注释以指示由神经网络修改以提高分辨率的区域。作为非限制性示例,可提供一个或多个图形指示(诸如所生成的图像上的一个或多个区域的轮廓),以便使得用户能够识别被修改的区域。然后,用户可决定是否需要利用2D探头进行附加扫描,或者经由1D探头采集的图像和/或所生成的图像是否可具有用于诊断的期望分辨率/清晰度。注释(即,图形指示)可例如基于用户输入请求而打开或关闭。
在一些实施方案中,所生成的图像可包括注释,这些注释包括其分辨率在所生成的图像中得到提高的一个或多个特征的置信水平指示。作为非限制性示例,如果解剖结构的一部分在经由1D探头采集的图像中在第一更低分辨率下可见,并且在将该图像传递通过经训练的神经网络算法之后,获得所生成的图像,其中解剖结构的该部分具有第二更高分辨率,并且解剖结构的另外部分在所生成的图像中被指示,则可在所生成的图像上指示该另外部分的置信水平,该置信水平指示当利用实际2D探头扫描时该另外部分可为可见的。
返回704,如果答案为否,则方法700前进至716。在716处,方法700包括通过利用1D探头扫描感兴趣体积的第二体积来采集第二扫描数据。在采集第二扫描数据时,1D探头可在高度方向上扫描第二数量的平行图像平面以扫描感兴趣的第二体积。第二扫描数据大于当部署了基于AI的分辨率映射模式时采集的第一扫描数据。在未部署基于AI的分辨率映射模式的情况下进行操作时,操作者可扫描大于第一体积的第二体积,以便获得比第一量的扫描数据大的第二量的扫描数据。此外,为了覆盖更大的第二体积而扫描的图像平面的第二数量大于当实施了基于AI的分辨率映射模式时扫描的图像的第一数量。因此,为了获得期望的高度分辨率,在未部署基于AI的分辨率映射网络的情况下进行操作时,需要更大量的扫描数据并且可利用1D探头扫描更大的体积。
在采集第二扫描数据后,方法700前进至718。在718处,方法700包括使用第二扫描数据生成第三超声图像,其中基于图像重建算法来重建第三超声图像。示例性图像重建算法包括延时累加(DAS)波束形成算法、延时乘累加(DMAS)图像重建算法、图像帧相关或去相关算法、像素最近邻(PNN)、体素最近邻(VNN)等。应当理解,可使用其他图像重建算法;然而,当未部署基于AI的分辨率映射时采集以用于图像重建的扫描数据可大于在部署了基于AI的分辨率映射的情况下进行操作期间采集的扫描数据。
以下项的技术效果是减少了采集来实现更高分辨率分布的扫描数据:生成具有图像对的数据集(每个图像对包括更低分辨率图像和对应的更高分辨率图像),利用该数据集训练、验证和测试基于神经网络的算法以用于分辨率映射,以及在超声扫描期间部署经训练的分辨率映射算法。训练和部署分辨率映射算法的另一个技术效果是分辨率分布得以改善,特别是在高度方向上。训练和部署分辨率映射算法的另一个技术效果是在不使用用于2D探头的高度复杂的控制部件的情况下改善图像质量。此外,通过启用1D探头逐高度高分辨率,用户可利用1D换能器获得有意义的图像质量改善,而无需任何附加的硬件升级。此外,因为扫描的复杂性和探头的庞大性随分辨率映射算法的部署而降低,所以无经验用户可生成高质量、高分辨率的图像。
方法的实施方案包括:采集具有第一分辨率分布的第一超声图像;将第一超声图像输入到经训练的神经网络算法;生成具有第二更高分辨率分布的第二超声图像作为经训练的神经网络算法的输出;以及显示所生成的第二超声图像。在该方法的第一示例中,与第一超声图像相比,第二更高分辨率分布在轴向方向、横向方向和高度方向中的一者或多者上具有更高分辨率。在该方法的第二示例(其任选地包括第一示例)中,第一超声图像利用线性阵列超声探头或多行阵列探头中的单行阵列来采集。在该方法的第三示例(其任选地包括第一示例和第二示例中的一项或多项)中,经训练的神经网络算法利用包括多个图像对的训练数据集来训练,其中该多个图像对中的每一对包括第一训练图像和第二训练图像,与第二训练图像相比,第一训练图像在轴向方向、横向方向和高度方向中的一者或多者上具有更低分辨率。在该方法的第四示例(其任选地包括第一示例至第三示例中的一项或多项或每一项)中,第一训练图像经由线性阵列超声探头来获得,并且第二训练图像经由二维阵列超声探头来获得。在该方法的第五示例(其任选地包括第一示例至第四示例中的一项或多项或每一项)中,第一训练图像经由第一数量行的多阵列探头来采集,并且第二训练图像经由第二数量行的多阵列探头来采集,第一数量行少于第二数量行。在该方法的第六示例(其任选地包括第一示例至第五示例中的一项或多项或每一项)中,第一训练图像和第二训练图像是利用同一组扫描参数获得的,这些扫描参数包括扫描深度、探头位置、扫描频率、扫描孔径、焦点和扫描平面。在该方法的第七示例(其任选地包括第一示例至第六示例中的一项或多项或每一项)中,经训练的神经网络算法被训练为从第二训练图像将在横向方向、轴向方向和高度方向中的一者或多者上的一个或多个高分辨率特征提取到第一训练图像中的对应低分辨率特征。在该方法的第八示例(其任选地包括第一示例至第七示例中的一项或多项或每一项)中,经训练的神经网络算法具有自动编码器架构。在该方法的第九示例(其任选地包括第一示例至第八示例中的一项或多项或每一项)中,经训练的神经网络算法具有U-Net架构。
方法的实施方案包括训练深度学习模型使用从医学成像设备获得的所采集的更低分辨率医学图像作为输入来输出更高分辨率医学图像,其中深度学习模型利用训练数据集来训练,该训练数据集包括针对多个解剖区域中的每个解剖区域的多个医学图像对;并且其中该多个医学图像对中的每个图像对包括选定的解剖区域的第一更低分辨率图像和该选定的解剖区域的第二更高分辨率图像;并且其中第一更低分辨率图像和第二更高分辨率图像是使用同一组扫描参数获得的,该同一组扫描参数包括扫描平面、扫描频率、探头相对于参考标记的位置、扫描孔径、焦点和扫描深度。在该方法的第一示例中,第一更低分辨率图像经由一维超声探头来采集,并且第二更高分辨率图像经由二维超声探头来获得。在该方法的第二示例(其任选地包括第一示例)中,第一更低分辨率图像经由第一数量行的多阵列探头来采集,并且第二更高分辨率图像经由第二数量行的多阵列探头来采集,第一数量行少于第二数量行。在该方法的第三示例(其任选地包括第一示例和第二示例中的一项或多项)中,第一数量行等于一行,并且第二数量行多于一行。在该方法的第四示例(其任选地包括第一示例至第三示例中的一项或多项)中,深度学习模型具有自动编码器架构或U-Net架构。在该方法的第五示例(其任选地包括第一示例至第四示例中的一项或多项)中,深度学习模型被建模为生成对抗网络。在该方法的第六示例(其任选地包括第一示例至第五示例中的一项或多项)中,训练深度学习模型包括从第二更高分辨率图像提取对应于逐高度分辨率的一个或多个特征,并且将该一个或多个所提取的特征应用于更低分辨率图像以生成重构的更高分辨率图像。
系统的实施方案包括图像处理系统,该图像处理系统包括显示设备、用户输入设备、经训练的分辨率映射网络和可通信地耦接到该显示设备、该用户输入设备和非暂态存储器的处理器,该非暂态存储器存储该经训练的分辨率映射网络并且包括指令,这些指令在被执行时使得该处理器:接收对象的解剖区域的超声图像,该超声图像具有第一分辨率;使用经训练的分辨率映射网络生成分辨率映射超声图像,该分辨率映射超声图像具有大于第一分辨率的第二分辨率;以及经由显示设备显示该分辨率映射超声图像;并且其中经训练的分辨率映射网络具有卷积神经网络架构。在该系统的第一示例中,超声图像利用通信地耦接到图像处理系统的超声成像设备的线性阵列的超声探头来采集,并且其中分辨率映射超声图像是基于所采集的超声图像生成的。在系统的第二示例(其任选地包括第一示例)中,经训练的分辨率映射网络利用第一训练集和/或第二训练集来训练,其中第一训练集包括针对人体的多个解剖部分中的每个解剖部分的多个超声图像对,该多个超声图像对中的每一对包括从线性阵列超声探头获得的解剖区域的第一图像,以及从多阵列超声探头获得的该解剖区域的第二图像;并且其中第二训练集包括针对该多个解剖部分中的每个解剖部分的另外多个超声图像对,该另外多个超声图像对中的每一对包括从第一数量行的多阵列超声探头获得的该解剖区域的第三图像,以及从第二数量行的多阵列超声探头获得的该解剖区域的第四图像,第一数量行少于第二数量行。
当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包括”、“包含”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接到或联接到另一个对象,而无论该一个对象是否直接连接或联接到另一个对象,或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
除了任何先前指示的修改之外,本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置,并且所附权利要求书旨在覆盖此类修改和布置。因此,尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述,但对于本领域的普通技术人员将显而易见的是,在不脱离本文阐述的原理和概念的情况下,可以进行许多修改,包括但不限于形式、功能、操作方式和使用。同样,如本文所使用的,在所有方面,示例和实施方案仅意图是说明性的,并且不应以任何方式解释为限制性的。

Claims (20)

1.一种方法,包括:
采集具有第一分辨率分布的第一超声图像;
将所述第一超声图像输入到经训练的神经网络算法;
生成具有第二更高分辨率分布的第二超声图像作为所述经训练的神经网络算法的输出;以及
显示所生成的第二超声图像。
2.根据权利要求1所述的方法,其中与所述第一超声图像相比,所述第二更高分辨率分布在轴向方向、横向方向和高度方向中的一者或多者上具有更高分辨率。
3.根据权利要求1所述的方法,其中所述第一超声图像利用线性阵列超声探头或多行阵列探头中的单行阵列来采集。
4.根据权利要求1所述的方法,其中所述经训练的神经网络算法利用包括多个图像对的训练数据集来训练,其中所述多个图像对中的每一对包括第一训练图像和第二训练图像,与所述第二训练图像相比,所述第一训练图像在轴向方向、横向方向和高度方向中的一者或多者上具有更低分辨率。
5.根据权利要求4所述的方法,其中所述第一训练图像经由线性阵列超声探头来获得,并且所述第二训练图像经由二维阵列超声探头来获得。
6.根据权利要求4所述的方法,其中所述第一训练图像经由第一数量行的多阵列探头来采集,并且所述第二训练图像经由第二数量行的所述多阵列探头来采集,所述第一数量行少于所述第二数量行。
7.根据权利要求4所述的方法,其中所述第一训练图像和所述第二训练图像是利用同一组扫描参数获得的,所述扫描参数包括扫描深度、探头位置、扫描频率、扫描孔径、焦点和扫描平面。
8.根据权利要求4所述的方法,其中所述经训练的神经网络算法被训练为从所述第二训练图像将在所述横向方向、所述轴向方向和所述高度方向中的一者或多者上的一个或多个高分辨率特征提取到所述第一训练图像中的对应低分辨率特征。
9.根据权利要求1所述的方法,其中所述经训练的神经网络算法具有自动编码器架构。
10.根据权利要求1所述的方法,其中所述经训练的神经网络算法具有U-Net架构。
11.一种方法,包括:
训练深度学习模型使用从医学成像设备获得的所采集的更低分辨率医学图像作为输入来输出更高分辨率医学图像;
其中所述深度学习模型利用训练数据集来训练,所述训练数据集包括针对多个解剖区域中的每个解剖区域的多个医学图像对;
其中所述多个医学图像对中的每个图像对包括选定的解剖区域的第一更低分辨率图像和所述选定的解剖区域的第二更高分辨率图像;并且
其中所述第一更低分辨率图像和所述第二更高分辨率图像是使用同一组扫描参数获得的,所述同一组扫描参数包括扫描平面、扫描频率、探头相对于参考标记的位置、孔径尺寸、焦点和扫描深度。
12.根据权利要求11所述的方法,其中所述第一更低分辨率图像经由一维超声探头来采集,并且所述第二更高分辨率图像经由二维超声探头来获得。
13.根据权利要求11所述的方法,其中所述第一更低分辨率图像经由第一数量行的多阵列探头来采集,并且所述第二更高分辨率图像经由第二数量行的所述多阵列探头来采集,所述第一数量行少于所述第二数量行。
14.根据权利要求13所述的方法,其中所述第一数量行等于一行,并且所述第二数量行多于一行。
15.根据权利要求11所述的方法,其中所述深度学习模型具有自动编码器架构或U-Net架构。
16.根据权利要求11所述的方法,其中所述深度学习模型被建模为生成对抗网络。
17.根据权利要求11所述的方法,其中训练所述深度学习模型包括从所述第二更高分辨率图像提取对应于逐高度分辨率的一个或多个特征,以及将所述一个或多个所提取的特征应用于所述更低分辨率图像以生成重构的更高分辨率图像。
18.一种图像处理系统,包括:
显示设备;
用户输入设备;
经训练的分辨率映射网络;
处理器,所述处理器可通信地耦接到所述显示设备、所述用户输入设备和非暂态存储器,所述非暂态存储器存储所述经训练的分辨率映射网络并且包括指令,所述指令在被执行时使得所述处理器:
接收对象的解剖区域的超声图像,所述超声图像具有第一分辨率;
使用所述经训练的分辨率映射网络生成分辨率映射超声图像,所述分辨率映射超声图像具有大于所述第一分辨率的第二分辨率;以及
经由所述显示设备显示所述分辨率映射超声图像;并且其中所述经训练的分辨率映射网络具有卷积神经网络架构。
19.根据权利要求18所述的图像处理系统,其中所述超声图像利用通信地耦接到所述图像处理系统的超声成像设备的线性阵列的超声探头来采集,并且其中所述分辨率映射超声图像是基于所采集的超声图像生成的。
20.根据权利要求18所述的图像处理系统,其中所述经训练的分辨率映射网络利用第一训练集和/或第二训练集来训练;其中所述第一训练集包括针对人体的多个解剖部分中的每个解剖部分的多个超声图像对,所述多个超声图像对中的每一对包括从线性阵列超声探头获得的解剖区域的第一图像,以及从多阵列超声探头获得的所述解剖区域的第二图像;并且其中所述第二训练集包括针对所述多个解剖部分中的每个解剖部分的另外多个超声图像对,所述另外多个超声图像对中的每一对包括从第一数量行的多阵列超声探头获得的所述解剖区域的第三图像,以及从第二数量行的所述多阵列超声探头获得的所述解剖区域的第四图像,所述第一数量行少于所述第二数量行。
CN202111016680.2A 2020-09-01 2021-08-31 利用神经网络提高超声图像分辨率的系统和方法 Pending CN114119362A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/009,653 2020-09-01
US17/009,653 US11819363B2 (en) 2020-09-01 2020-09-01 Systems and methods to improve resolution of ultrasound images with a neural network

Publications (1)

Publication Number Publication Date
CN114119362A true CN114119362A (zh) 2022-03-01

Family

ID=80355993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016680.2A Pending CN114119362A (zh) 2020-09-01 2021-08-31 利用神经网络提高超声图像分辨率的系统和方法

Country Status (2)

Country Link
US (1) US11819363B2 (zh)
CN (1) CN114119362A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
WO2022205685A1 (zh) * 2021-03-29 2022-10-06 泉州装备制造研究所 一种基于轻量化网络的交通标志识别方法
US11928660B2 (en) * 2022-03-18 2024-03-12 Toshiba Global Commerce Solutions Holdings Corporation Scanner swipe guidance system
CN114419044B (zh) * 2022-03-30 2022-06-17 广东恒腾科技有限公司 一种基于人工智能的医用超声图像分析系统及方法
CN117420209B (zh) * 2023-12-18 2024-05-07 中国机械总院集团沈阳铸造研究所有限公司 基于深度学习的全聚焦相控阵超声快速高分辨率成像方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9844359B2 (en) * 2013-09-13 2017-12-19 Decision Sciences Medical Company, LLC Coherent spread-spectrum coded waveforms in synthetic aperture image formation
CA3075334C (en) * 2017-09-07 2021-08-31 Piur Imaging Gmbh Apparatus and method for determining motion of an ultrasound probe
US11957515B2 (en) * 2018-02-27 2024-04-16 Koninklijke Philips N.V. Ultrasound system with a neural network for producing images from undersampled ultrasound data
EP3536245A1 (en) * 2018-03-08 2019-09-11 Koninklijke Philips N.V. A system and method of identifying characteristics of ultrasound images
EP3639751A1 (en) * 2018-10-15 2020-04-22 Koninklijke Philips N.V. Systems and methods for guiding the acquisition of an ultrasound image
US20210251610A1 (en) * 2018-12-10 2021-08-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Automated diagnostics in 3d ultrasound system and method
US20220120928A1 (en) * 2019-01-23 2022-04-21 Schlumberger Technology Corporation Ultrasonic pulse-echo and caliper formation characterization
DE112020002256T5 (de) * 2019-05-06 2022-01-20 Koninklijke Philips N.V. Systeme und verfahren zur steuerung des volumendurchsatzes
US20220383500A1 (en) * 2019-09-24 2022-12-01 Carnegie Mellon University System and method for analyzing medical images based on spatio-temporal data

Also Published As

Publication number Publication date
US11819363B2 (en) 2023-11-21
US20220061816A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
US11819363B2 (en) Systems and methods to improve resolution of ultrasound images with a neural network
US11200456B2 (en) Systems and methods for generating augmented training data for machine learning models
US11488298B2 (en) System and methods for ultrasound image quality determination
US20210077060A1 (en) System and methods for interventional ultrasound imaging
US11593933B2 (en) Systems and methods for ultrasound image quality determination
US11308609B2 (en) System and methods for sequential scan parameter selection
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
US20220361848A1 (en) Method and system for generating a synthetic elastrography image
US20220233171A1 (en) Systems and methods for controlling volume rate
CN109875606B (zh) 基于先验反射成像的超声ct声速成像的方法
CN112890853A (zh) 用于联合扫描参数选择的系统和方法
CN111345847A (zh) 基于组织密度管理波束成形参数的方法和系统
US11684344B2 (en) Systems and methods for quantitative abdominal aortic aneurysm analysis using 3D ultrasound imaging
Noda et al. Ultrasound imaging with a flexible probe based on element array geometry estimation using deep neural network
US11890142B2 (en) System and methods for automatic lesion characterization
US20230054610A1 (en) Contextual multiplanar reconstruction of three-dimensional ultrasound imaging data and associated devices, systems, and methods
US11506771B2 (en) System and methods for flash suppression in ultrasound imaging
US20230267618A1 (en) Systems and methods for automated ultrasound examination
US20230186477A1 (en) System and methods for segmenting images
LU500526B1 (en) Image Optimization Method for Neonatal Lung Ultrasonography
EP3848892A1 (en) Generating a plurality of image segmentation results for each node of an anatomical structure model to provide a segmentation confidence value for each node
US20230200778A1 (en) Medical imaging method
US11766239B2 (en) Ultrasound imaging system and method for low-resolution background volume acquisition
US20230025182A1 (en) System and methods for ultrasound acquisition with adaptive transmits
Goudarzi Inverse Problem Formulation and Deep Learning Methods for Ultrasound Beamforming and Image Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination