CN111771138A - 具有用于根据欠采样超声数据产生图像的神经网络的超声系统 - Google Patents
具有用于根据欠采样超声数据产生图像的神经网络的超声系统 Download PDFInfo
- Publication number
- CN111771138A CN111771138A CN201980015424.6A CN201980015424A CN111771138A CN 111771138 A CN111771138 A CN 111771138A CN 201980015424 A CN201980015424 A CN 201980015424A CN 111771138 A CN111771138 A CN 111771138A
- Authority
- CN
- China
- Prior art keywords
- ultrasound
- ultrasound data
- data
- undersampled
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 210
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012285 ultrasound imaging Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 17
- 239000000523 sample Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 5
- 238000002059 diagnostic imaging Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 7
- 230000000747 cardiac effect Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- QZHBYNSSDLTCRG-LREBCSMRSA-N 5-bromo-n-(4,5-dihydro-1h-imidazol-2-yl)quinoxalin-6-amine;(2r,3r)-2,3-dihydroxybutanedioic acid Chemical compound OC(=O)[C@H](O)[C@@H](O)C(O)=O.C1=CC2=NC=CN=C2C(Br)=C1NC1=NCCN1 QZHBYNSSDLTCRG-LREBCSMRSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 210000001550 testis Anatomy 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52023—Details of receivers
- G01S7/52034—Data rate converters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
- A61B8/4494—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer characterised by the arrangement of the transducer elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52046—Techniques for image enhancement involving transmitter or receiver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52085—Details related to the ultrasound signal acquisition, e.g. scan sequences
- G01S7/52087—Details related to the ultrasound signal acquisition, e.g. scan sequences using synchronization techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Gynecology & Obstetrics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本公开描述了被配置为基于欠采样超声数据来生成超声图像的超声成像系统和方法。所述超声图像可以通过应用利用已知完全采样数据的样本和根据所述已知完全采样数据推导的欠采样数据训练的神经网络来生成。所述神经网络的训练可以涉及训练包括生成器和鉴别器的对抗生成网络。所述生成器利用已知欠采样数据的集合进行训练，直到所述生成器能够生成估计的图像数据，所述分类器不能够区分真或假，并且训练的生成器接着可以被应用到未知欠采样数据。
Description
相关申请
本申请要求享有2018年2月27日递交的美国临时申请No.62/635,775的权益和优先权，这里引用其全部内容作为参考。
技术领域
本公开涉及用于使用欠采样超声数据来生成超声图像的超声系统和方法。特定实现涉及实现并且应用神经网络以根据欠采样超声数据来产生超声图像的系统。
背景技术
在诸如超声成像的许多成像模态中，存在采集速度与图像质量之间的折中。可能牺牲分辨率和/或视场大小，以便采集实时图像或者近实时图像。例如，心脏成像可能要求高帧速率，以便将心脏瓣膜或者肌肉的运动可视化。然而，如果分辨率不充分，则采集到的图像/影像循环的诊断值会受限。
已经开发用于根据欠采样(也被称为稀疏采样或者简单稀疏)超声数据重建超声图像的计算技术，以尝试在维持分辨率的同时增加帧速率和/或视场。然而，这些技术中的许多技术会过多地使图像平滑，减少斑纹信息和/或引入伪影。用于重建图像的一些技术会是如何计算密集，以至于它们不能够实时或者近实时地根据欠采样数据提供重建图像，降低了它们的实用性。
发明内容
本公开描述用于使用欠采样超声数据来生成超声图像的系统和方法。欠采样可能发生在下列情形中但不限于下列情形，例如：1)其中信号数据点被稀疏采样的快时采集时间，2)其中仅元素的子集用于图像重建的空间域，和/或3)其中低帧速率采集应用于快速移动对象的慢时域。例如使用以压缩感测为例的技术重建欠采样数据会导致不可接受的慢重建时间和伪影，诸如斑纹伪影，而在未知的欠稀疏数据上实现深度生成网络会导致假性病变和/或病变的假归一化。
本发明涉及可以解决上面提到的传统压缩感测重建技术的不可用重建时间以及现有生成网络引入伪影和假数据的问题中的一个或者多个的系统和方法。在一些实施例中，这些问题可以通过获得已知的欠采样数据并且使用已知的欠采样数据来训练神经网络(例如，生成对抗网络)得到解决。这可以实施数据一致性，因为生成网络会学习根据欠采样的不均匀性修正真实数据的噪声或者混淆伪影(这与填充缺失数据相反)。因而，由神经网络学习的知识接着可以被应用于未知的欠采样数据。
如本文描述的，根据本文示例训练的神经网络可以仿真和/或重建来自信号的欠采样的数据缺失或者退化，从而能够使用欠采样超声数据来生成质量图像(例如，比数据本身允许更高的质量图像)和/或缩短采集时间。在一些示例中，神经网络可以是深度生成网络的至少一部分(或者子网络)。例如，神经网络可以实现对抗生成网络的一个或多个神经网络模型。在根据本文示例的系统中实现的一个或多个神经网络可以被应用于在时间和/或空间上欠采样的超声传感器数据，以便以较高的帧速率和/或改善的图像质量输出超声图像。例如，可以以相对低的帧速率(例如，对于2D成像20-40Hz并且对于3D成像2-10Hz)采集图像数据，并且本文描述的系统和技术可以以比采集速率快两倍或者三倍的帧速率来生成并显示图像数据。即，被生成用于显示的图像可以具有时间分辨率，并且表现为好像它们以比实际使用的低帧速率更快的帧速率被捕获。
如本文描述的，在根据本文示例的系统中实现的一个或多个神经网络可以使用生成对抗方案进行训练。被训练的网络可以包括被同时训练的生成器和鉴别器。生成器可以实现生成分类模型，而鉴别器可以实现鉴别分类模型。生成器可以被训练以使用已知的欠采样超声图像数据(例如，通过移除全采样图像的一些样本而根据全采样图像故意欠采样的图像)来生成(仿真或者估计)全采样超声图像。鉴别器可以被训练以将由生成器产生的数据分类为真数据或者假数据。一旦生成器能够产生能够欺骗鉴别器的估计的全采样图像，该生成器就可以被实现在用于生成超声图像的场可部署系统(例如，成像系统或者分析工作站)中以根据未知的欠采样数据产生超声图像。
在一些实施例中，用于生成超声图像的系统可以包括至少一个存储设备和被耦合到所述存储设备的至少一个处理器。所述系统可以例如使用被存储在耦合到处理器的至少一个非瞬态计算机可读介质上的可执行指令被编程以接收欠采样超声数据，使用至少一个神经网络来修改所述欠采样超声数据以表示充分采样超声数据，并且基于经修改的超声数据来生成超声图像。神经网络可以通过以下步骤进行训练：提供包括充分采样超声数据的第一超声数据集，降低第一超声数据集的采样以产生具有缺失数据的第二超声数据集，由包括所述神经网络的一个或多个神经网络生成被估计为表示缺失数据的新数据，通过修改所述第二超声数据集以包括所述新数据来产生第三超声数据集，由一个或多个神经网络将所述第三超声数据集分类为真或假，并且基于分类的精确性调节针对一个或多个神经网络的一个或多个节点的激活规则。
在一些实施例中，所述神经网络可以包括生成对抗网络的至少一部分，诸如生成模型，并且可以根据本文示例中的任意一个被训练。例如，训练生成对抗模型可以包括接收多个先前采集的超声图像，每一个先前采集的超声图像包括采集的充分采样超声数据集并且降低充分采样超声数据集中的每一个的采样以产生相应生成的稀疏超声数据集。利用包括成对的采集的充分采样超声数据集和对应生成的稀疏超声数据集的训练集训练神经网络可以进一步包括将每个对中的生成的稀疏超声数据集耦合到生成模型以产生生成的充分采样超声数据集，将每个对中的采集的充分采样超声数据集和生成的充分采样超声数据集耦合到鉴别模型以将生成的充分采样超声数据集分类为真或假并且计算表示分类的精确度的误差信号，并且调节针对鉴别模型和生成模型的相应一个或多个节点的一个或多个激活函数，其中，所述调节被配置为降低误差信号。
本文描述的任意方法或者其步骤可以被体现在包括可执行指令的非瞬态计算机可读介质中，所述指令在被运行时可以使得医学成像系统的处理器执行本文体现的方法或者步骤。
附图说明
图1示出了由规则采样数据和欠采样数据构成的示例脑部图像。
图2是根据本公开原理的系统的方框图。
图3是根据本文示例的生成对抗网络的方框图。
图4是根据本公开原理的超声成像系统的方框图。
图5说明了根据本公开的用于训练神经网络的训练过程的示例。
图6说明了根据本公开原理的包括可操作为在心脏成像中增加图像帧速率的神经网络的系统的示例。
图7说明了应用根据本文示例的神经网络来改善分辨率的示例。
图8说明了根据本公开原理使用神经网络来降低超声成像系统中的通道数量的示例。
具体实施方式
下面对某些实施例的描述在本质上只是示例性的并且决不意在限制本发明或者其应用或用途。在下面对当前系统和方法实施例的详细描述中，参照形成本申请一部分并通过说明可以实践所描述的系统和方法的特定实施例的方式示出的附图。足够详细地描述了这些实施例以使本领域普通技术人员能够实现当前公开的系统和方法，并且应该理解，可以利用其它实施例并且可以在不偏离当前系统的精神和范围的情况下做出结构和逻辑改变。而且，为了清晰起见，当某些特征的详细描述对于本领域普通技术人员显而易见时，为了不混淆对前系统的描述，将不讨论这些特征的详细描述。下面的详细描述因此并不在限制的意义上做出，并且当前系统的范围仅由所附权利要求书限定。
在超声成像中，典型地在采集速度和图像质量之间存在折中。图像质量因子可以包括但不局限于：分辨率、对比度、不存在伪影以及扫描区域/体积。针对高采集速度改善图像质量的可能方式是在被成像介质上应用先验信息。在过去几年中，已经研究了压缩感测技术(CS)。通过强制实施稀疏性来实现先验信息。然而，强制实施稀疏性会产生移除超声信号中的真实图像特性的伪影，使得难于同时获得非常高的帧速率、对比度和分辨率提高。而且，CS重建算法很慢，使得它们难以用于临床使用，并且通常不可能被实时部署。另外，CS对于所使用的模型敏感，并且模型和实际数据之间的不匹配会降低性能。除了CS的欠采样和重建技术会受到类似缺陷影响。
图1示出了由常规采样数据和欠采样数据构成的示例脑部图像。图像A示出了具有重叠的常规采样图案的原始数据。图像B示出了具有重叠的欠采样图案的与图像A相同的原始数据。图像B中示出的示例中的欠采样图案是以因子十压缩数据的非均匀欠采样图案。图像C示出了由通过图像A中的常规采样图案采样的数据构成的高分辨率脑部图像。图像D示出了由通过图像B中的欠采样图案采样的数据构成的脑部图像。在图像D中示出的示例中，使用了压缩感测(CS)重建算法。CS重建的图像基于真实的潜在信息。然而，图像D相较于图像C被平滑，这在一些应用中会是不期望的。而且，CS重建过程可能太慢而不能够被实现在用于实时成像的超声成像系统上。
已经示出了神经网络家族中的深度生成网络(DGN)来模拟通过人类观察者不能够与真实数据区分开的高质量数据。DGN可以能够实时或者近实时地生成图像。然而，仅使用DGN创建的真实呈现的数据会由于创建诸如假病变(例如，假阳性)或者恶性病变的正常化(例如，假阴性)而产生不正确的医学诊断。用于实现深度生成网络的已知方案包括变分自编码器(VAE)和生成对抗网络(GAN)。VAE通常目标在于使数据日志-可能性的下边界最大化，而GAN目标在于在生成器和鉴别器之间实现均衡。在本文的一些实施例中，GAN建模框架可以用于实现应用于欠采样数据的神经网络，用于与欠采样数据否则将允许产生的图像相比较产生更好质量的图像。可以实现适合于当前应用的GAN，例如在Goodfellow，Ian，JeanPouget-Abadie等人在Advances In Neural Information Processing Systems 27(NIPS2014)第2672-2680页的“Generative Adversarial Nets”中描述的，这里以引用的方式并入其全部内容作为参考以用于任意目的。
如下面进一步描述的，用于使用神经网络由欠采样数据重建医学图像的系统和方法可以用于产生与否则利用现有技术(例如，使用CS重建或者现有的GAN方案)可能产生的图像相比较具有较高质量的图像。本文描述的技术可以用于根据(通过机器训练的算法)经修改的图像数据集产生图像，所述经修改的图像数据集比开始数据集中的信息包含更多的信息，开始数据集在本文通常被称为欠采样数据。欠采样可以在时间域或者空间域中。即，由神经网络实现的上采样可以是时间的(例如，以增加帧频率)或是空间的(例如，以产生较高分辨率的图像)。诸如实现GAN算法或者模型的DGN可以被训练以避免在使用CS重建时可能发生的慢重建的问题和/或避免将假数据引入到图像中。应用深度学习(例如，生成模型)来根据欠采样数据重建高分辨率图像的超声成像系统可以允许该超声成像系统实现性能方面的一个或多个改善。例如，超声成像系统可以利用具有较少换能器元件的超声探头和/或利用来自换能器阵列的较少通道。这可以允许超声成像系统包括较低成本的超声探头、降低硬件成本和/或减少超声成像系统中的硬件的量。实现本文描述的系统和方法，超声成像系统可以增加帧速率、减少传输事件、降低采样速率、减少来自一个或多个源的伪影(例如，波瓣、吉布斯振铃、离轴噪声、假数据)、改善横向和/或轴向分辨率和/或提高重建速度。这可以允许超声成像系统提供具有诊断值的高质量图像用于实时或者近实时成像应用。
图2示出了根据本公开原理的用于生成超声图像的系统的方框图。系统200包括存储设备210和被耦合到存储设备的处理器220。存储设备210可以包括一个或多个硬盘驱动、固态驱动或者任何其它类型的非易失性存储器并且可以与处理器220共置(例如，在相同的机器内，例如当系统200是超声扫描器的一部分时)或者位于远程位置(例如，在图片归档和通信系统(PACS)服务器中)，处理器220可以经由有线或者无线连接来连接到存储设备。处理器220可以包括单核或者多核CPU、单个GPU或者GPU集群，或者被布置用于并行处理的多个处理器。处理器220可以由存储在被耦合到处理器的至少一个非瞬态计算机可读存储介质230上的处理器可执行指令232编程，以接收欠采样超声数据202、使用神经网络240修改欠采样超声数据以表示充分采样超声数据204并且基于经修改的超声数据来生成超声图像206。在一些实施例中，系统200可以可选地包括用于显示超声图像206的显示器250和/或用于操作系统200的用户接口。在一些实施例中，系统200的一些或者所有部件可以与超声成像设备集成。例如，处理器220可以被结合在超声成像系统中，参照图4描述了这样的示例。在一些示例中，处理器220可以被结合到操作为根据超声数据产生图像的非成像系统(例如，分析工作站)中。在一些实施例中，神经网络240可以实现根据本文示例训练的生成对抗网络(GAN)的至少一部分。例如，神经网络240可以实现根据本文示例训练的GAN的经训练的生成分类模型(或者可互换地，生成模型或生成分类器)。
图3示出了根据本发明原理实现的GAN 300的示例。GAN 300包括生成器310和鉴别器320。为了训练网络，GAN 300接收充分采样数据集302和稀疏(或者欠采样)数据集304作为输入。术语稀疏数据或者稀疏采样数据可以暗含该数据集包含比用于产生连续信号的精确重建的必要样本更少的样本。相反，充分采样数据集是包含足够数量的样本以降低重建中的误差的数据集，例如，以奈奎斯特频率或者高于奈奎斯特频率进行采样以便去除重建信号中诸如混淆的误差。在操作中，对连续信号进行稀疏采样可以提供优点(减少多个换能器元件和/或通道测量连续信号所需要的时间)。因而，期望用于使用稀疏采样数据来产生采样数据的精确重建的新的和改善的技术。
返回到图3，充分采样数据集302是真实数据集。即，充分采样数据集302是来自先前采集的医学图像数据的数据集，并且因此也被称为采集的充分采样数据集302。如下面进一步描述的，生成器310基于稀疏数据集304产生修改数据集306(也被称为生成的充分采样数据集)，例如使用稀疏数据集304作为生成修改数据集306的种子。在一些示例中，采集的充分采样数据集302可以至少包括从以等于或者大于超声信号的最高频率两倍的频率采样的超声信号获得的超声数据。在一些示例中，采集的充分采样数据集302可以包括从大于40Hz帧速率获得的超声数据。在一些示例中，采集的充分采样数据集302可以包括被打包到从超声探头到超声系统的多个通道中的超声数据，其中，通道的数量等于或者大于换能器元件的数量。在本文中，术语充分采样和完全采样可以互换使用。而且，术语采集意味着暗含真实数据或者经过成像采集的数据，而术语生成意味着暗含由神经网络模拟或者生成的数据。出于训练目的，根据采集的充分采样数据集302推导稀疏数据集304，例如通过从完全采样数据集302去除样本。这样，采集的充分采样数据集302表示响应于对应的稀疏数据集304由生成器310输出的任何生成的充分采样数据集306的基础事实。
生成器310包括被训练为生成从减少的样本数据集304缺失的数据的人工神经节点的多层网络，所述缺失的数据与减少的样本数据集304组合以产生经修改的数据集306。经修改的数据集306包括在下采样之后从充分采样数据集保持的真实图像数据(例如，来自图像空间或者k-空间的数据)，以及由生成器产生以表示由下采样去除的缺失数据的图像数据。生成器310可以实现生成分类模型，针对被分类为标签y的一组输入数据，所述生成分类模型学习联合概率分布p(x，y)，其可以用于生成针对任意一组未知输入数据x的可能对(x，y)。鉴别器302包括被训练为在真实(实际或者正确估计的)图像数据和假(例如，不正确估计的)图像数据之间进行区分或者鉴别的人工神经节点的另一个多层网络。生成器和鉴别器可以包括任意数量和类型的层，包括但不局限于，卷积层和充分连接层(例如，快速傅里叶变化层、数学表示层)。
鉴别器302学习条件概率分布p(y|x)，即，给定输入x的标签y(例如，真或假)的概率。生成器310和鉴别器320的生成和鉴别分布函数分别被同时更新，例如，通过反向传播或者其它优化算法以使(在框340中示出的)成本函数或者在框330处计算的误差最小化。分布函数被更新直到收敛，即，直到生成器310和鉴别器320不再改善，因为鉴别器不再能够在两个分布之间进行区分。一旦被充分训练，生成器310可以被实现为被集成在超声成像系统(例如，超声扫描仪)或者另一超声图像数据源中或者被通信地耦合到所述超声成像系统(例如，超声扫描仪)或者另一超声图像数据源，用于根据未知(例如，新采集)的欠采样超声数据来生成图像。
图4示出了根据本发明原理的向欠采样超声数据应用神经网络的超声成像系统的方框图。在图4的超声成像系统400中，超声探头412包括用于发射超声波并且接收回波信息的换能器阵列414。换能器阵列414可以被实现为线性阵列、凸阵列、相位阵列和/或其组合。例如，换能器阵列414可以包括能够针对2D和/或3D成像在高度和方位维度二者上进行扫描的换能器元件的二维阵列(如图所示)。换能器阵列414可以被耦合到探头412中的微波束成形器416，其控制阵列中的换能器元件对信号的发射和接收。在这一示例中，微波束成形器416通过探头线缆被耦合到发射/接收(T/R)开关418，其在发射和接收之间切换并且保护主波束成形器422免受高能量发射信号影响。在一些实施例中，T/R开关418和系统中的其它元件可以被包括在超声探头412中而非单独的超声系统基座中。在一些实施例中，超声探头412可以经由无线连接(例如，WiFi、蓝牙)被耦合到超声成像系统。
在微波束成形器416的控制下从换能器阵列414发射超声波束由被耦合到T/R开关418和波束成形器422的发射控制器420引导，其接收来自用户接口(例如，控制面板、触摸屏、控制台)424的用户操作的输入。用户接口可以包括软和/或硬控件。由发射控制器420控制的一个功能是波束被转向的方向。波束可以被直接转向从换能器阵列(垂直)向前，或者以针对较宽视场的不同角度。由微波束成形器416产生的部分波束成形信号经由通道415被耦合到主波束成形器422，其中来自个体换能器元件片块的部分波束成形信号被组合为充分波束成形信号。在一些实施例中，微波束成形器416被省去，并且换能器阵列414经由通道415被耦合到波束成形器322。在一些实施例中，系统400可以被配置(例如，包括足够数量的通道415并且具有被编程为驱动阵列414的发射/接收控制器)为响应于平面波或者朝向主体发射的超声的分支波束来采集超声数据。在一些实施例中，来自超声探头的通道415的数量可以少于阵列414的换能器元件的数量，并且系统可以操作为采集被包装在比换能器元件数量小的通道数量中的超声数据。
波束成形信号被耦合到信号处理器426。信号处理器426可以按照各种方式处理接收到的回波信号，例如带通滤波、数据抽取、I和Q分量分离以及谐波信号分离。信号处理器426还可以执行附加的信号增强，例如斑纹减少、信号合成和噪声消除。处理的信号被耦合到B模式处理器428，其能够采用幅度检测用于身体中的结构的成像。由B模式处理器产生的信号被耦合到扫描转换器430和多平面重新格式化器432。扫描转换器430将回波信号布置在其中它们按照期望的图像格式被接收的空间关系中。例如，扫描转换器430可以将回波信号布置在二维(2D)分区形状格式或者多边形三维(3D)图像中。多平面重新格式化器432可以将从身体的体积区域中的共平面中的点接收的回波转换为该平面的超声图像，如在美国专利No.6,443,896(Detmer)中描述的。
体积绘制器434将3D数据集的回波信号转换为从给定参考点观看的投影的3D图像，例如如在美国专利No.6,530,885(Entrkin等人)中描述的。2D或者3D图像可以从扫描转换器430、多平面重新格式化器432和体积绘制器434被耦合到至少一个处理器437，用于进一步的图像处理操作。例如，至少一个处理器437可以包括图像处理器436，其被配置为执行进一步增强和/或缓冲以及临时存储图像数据用于在图像显示器438上显示。显示器438可以包括使用各种已知的显示技术实现的显示设备，例如LCD、LED、OLED或者等离子体显示技术。至少一个处理器437可以包括图形处理器440，其能够生成图形叠层用于与超声图像一起显示。这些图形叠层可以例如包含诸如患者姓名、图像日期和时间、成像参数等的标准识别信息。出于这些目的，图形处理器440从用户接口424接收输入，例如键入的患者姓名。用户接口424也可以被耦合到多平面重新格式化器432用于选择和控制多个多平面重新格式化(MPR)的图像的显示。用户接口424可以包括一个或多个机械控制，例如按钮、转盘、轨迹球、物理键盘等，在本文也可以被称为硬控制。可选地或额外地，用户接口424可以包括一个或多个软控制，例如按钮、菜单、软键盘和例如使用触敏技术(例如，电阻、电容或者光学触摸屏)实现的其它用户接口控制元件。用户控制中的一个或多个可以被共置在控制面板上。例如，机械控制中的一个或多个可以被提供在控制台上和/或一个或多个软控制可以被共置在触摸屏上，该触摸屏可以被附接到控制台或者与控制台一体。
至少一个处理器427也可以执行与根据欠采样数据产生图像相关联的功能，如本文描述的。例如，处理器427可以包括神经网络42或者可操作地被耦合到神经网络442。神经网络442可以实现人工神经节点的至少一个多层网络，所述人工神经节点被训练为根据欠采样超声数据来生成表示完全采样图像的超声图像。例如，神经网络442可以包括实现根据本文示例被训练的生成机器学习模型的人工神经节点的多层网络，例如，如参照图3描述的。尽管被描述为单独处理器，但是将理解，本文描述的任意处理器的功能(例如，处理器436、440、442)可以被实现在单个处理器(例如，实现处理器427的功能的CPU或GPU)或者比在这一示例中描述的数量更少的处理器中。在再一示例中，神经网络442可以是基于硬件的(例如，包括实现为硬件的互连节点的多层)并且可通信地连接到处理器427以向处理器427输出生成超声图像所需要的图像数据。尽管在所说明的实施例中，神经网络被并行实现和/或与图像处理器436共同实现，但是在一些实施例中，神经网络442可以被实现在其它处理阶段，例如在由图像处理器436、体积绘制器434、多平面重新格式化器432和/或扫描转换器430执行的处理之前。在一些实施例中，神经网络442可以被实现为在通道域、波束空间域(例如，在波束成形器422之前或者之后)、IQ域(例如，在信号处理器426之前、之后或者与其结合)和/或k-空间域中处理超声数据。如所描述的，在一些实施例中，处理部件(例如，波束成形器422、信号处理器426、B-模式处理器428、扫描转换器430、多平面重新格式化器432、体积绘制器434、处理器447、图像处理器436、图形处理器440等)中的两个或者更多个的功能可以被组合到单个处理单元中或者被划分在多个处理单元之间。处理单元可以被实现为软件、硬件或者其组合。例如，神经网络342可以包括一个或多个图形处理单元(GPU)。在另一示例中，波束成形器322可以包括专用集成电路(ASIC)。向稀疏采样数据应用正确训练的神经网络(例如，GAN)用于产生表示充分采样数据的图像可以按照本文描述的实现，这是因为神经网络在训练过程期间可以学习要在图像生成期间使用的字典/变换和/或针对与深度学习模型的偏差、结构的先前预期或者图像特征受到惩罚。
进一步参照图5来描述示例训练环境和过程。如图5所示，诸如GAN的深度生成网络(DGN)可以使用真实临床图像来实现(例如，在软件中)和训练。随着存储的医学成像数据的增加的体积(例如，在PACS中或者在云存储中)，高质量临床图像数据的可用性在增加，这可以被利用(leverage)以训练神经网络用于各种目的，包括用于根据采集的较低分辨率数据集产生较高分辨率(空间或者时间)图像和/或比现有/传统技术更加有效率。如图5所示，GAN可以包括实现生成模型或者生成器504的第一神经网络以及实现鉴别模型或者鉴别器502的第二神经网络。在示例训练过程500中，该过程可以开始于检索多个先前采集的超声图像(例如，示例图像506)。先前采集的图像506包含充分采样超声数据。如在框516中示出的，先前采集的超声图像数据被下采样。即，先前采集的超声图像的采样被降低以产生多个相对应的稀疏采样图像(例如，稀疏采样图像508)。如本文描述的，用于训练神经网络504的稀疏采样图像基于实际采集的图像数据而非随机稀疏数据(例如，使用随机变量作为图像数据生成的种子)进行推导(现有GAN中是这种情况)。除了从当前示例获得的其它优点，所描述的训练过程的这一方面可以降低通常与现有GAN相关联的不一致混淆。
成对的相对应的充分采样图像和欠采样图像被提供给神经网络用于训练，如在图5的框B中示出的。训练过程500训练生成器504以产生将与真实/采集的图像不可区分的充分采样图像(例如，图像510)，并且同时训练鉴别器502以在生成的充分采样图像510和采集的充分采样图像506之间进行区分或者区别。这也在框B中示出，其示出了根据采集的充分采样图像506推导的稀疏采样图像508，其被耦合到生成器504以产生生成的充分采样图像510。框B还示出了与采集的充分采样图像相关联的样本512以及与生成的充分采样图像510相关联的样本514被提供给鉴别器502作为输入，该鉴别器502将样本分类为真(例如，表示真实/采集的图像数据)或者假(不与真实图像数据相对应)，如在框518中示出。基于鉴于真实样本512关于样本514确定的精确度来计算误差信号(例如，成本函数519的损失)。接着以减少误差信号为目的的方式更新鉴别器和生成器的一个或多个节点的激活规则。例如，向后传播或者其它优化算法用于更新神经网络502和504的至少一个节点的激活或者传递函数，以便在框518处使成本函数最小化。训练过程的目标在于连续且同时改善生成器和鉴别的性能朝向收敛，以使得鉴别器在将数据分类为真或假时变得越来越好，并且生成器在生成图像数据时变得越来越好，直到收敛，即，直到鉴别器不再能够将输入区分为真或假。训练过程因而可以继续，直到生成器能够欺骗鉴别器，即，直到鉴别器不能够在真数据和假数据之间进行区别，在该点处，生成器504的经训练的生成模型可以被实现(例如，在可执行指令中)为真实超声成像或者可视化系统中的神经网络(例如，442)。在一些实施例中，训练的生成器和鉴别器二者可以被实现在真实系统中，以使得该系统的对抗生成网络可以在该领域中被进一步训练(例如，使用由其中部署有对抗网络用于训练数据的成像系统采集的图像数据)。
如本文描述的，神经网络(例如，生成模型)可以根据本文示例被训练，以便根据欠采样(例如，稀疏)超声数据来生成较高质量(例如，较高分辨率、较高对比度、较高帧速率)超声图像。在一些实施例中，由根据本文示例的超声系统训练和应用的神经网络可以用于帧速率改善。例如，与采集时的帧速率相比较，神经网络可以用于增加由超声系统产生的图像的帧速率，这是有利的，因为它能够减少生成图像所要求的发射事件的数量，并且因而增强图像的实时采集和显示。神经网络在其上操作以填充有生成的样本的信号可以来自采集的信号的任意域或者在信号处理的任意阶段，例如射频(RF)域或空间、时间傅里叶空间、k空间或者图像空间。
在与帧速率改善相关的一个实施例中，根据本文示例的神经网络可以用于增加心脏成像中的帧速率。例如，如图6所示，欠采样数据602(例如，在第一帧采集的超声图像)被提供到系统600的神经网络604。系统600可以是超声成像系统，并且因此包括用于采集和处理超声信号的部件(例如，系统600的部件中的一些或者全部)。系统600还可以被配置(例如，利用合适的心电图(EKG)导联，其可以包括被连接到一个或多个电极的一个或多个EKG输入通道)为接收心电图(EKG)信号608，并且基于该EKG信号608以帧速率来采集图像602。例如，心电图信号608可以用于触发系统600在心脏周期中的某些点处的发射，例如，如由箭头610示出的。这样，欠采样图像数据602的单独帧可以与心脏周期中的特定点相关联，这可以允许系统600在该周期期间的期望时刻采集真实数据。该系统接着可以使用神经网络604填充周期中其它点处的帧(即，一个或多个采集的帧之间的一个或多个帧)以按照比采集帧速率更高的速率来产生超声图像帧606。如果期望不均匀采样方案，则EKG门控也可以提供对数据进行非均匀采样的方法。例如，可以在QRS复合波而非P波和T波期间采集更多超声图像。在另一示例中，超声图像采集和/或采样可以被定时以避免每次在心脏周期中的相同点处进行采样。
在一些实施例中，应用根据本文示例的神经网络的超声系统可以被配置为改善利用较低成本成像系统采集的图像数据的图像分辨率，或者可以用于在减少硬件要求同时仍然产生高质量图像，例如通过使系统与标准较高质量系统相比较能够构建有较小数量的换能器元件和/或通道。图8说明了使用应用根据本公开原理的神经网络的系统实现的图像质量改善的示例。图像702是由较低成本超声成像系统(例如，PHILIPS ULTRASOUND的LUMIFY系统)采集的超声图像。图像702被耦合到神经网络704用于生成图像706，这可以在质量上等同于由较高成本超声成像系统(例如，PHILIPS ULTRASOUND提供的EPIQ系统)本地采集的图像。
图8说明了应用根据本公开原理训练的神经网络的另一示例。如图8所示，原始信号802(例如，响应于超声脉冲而生成的时间连续回波信号)可以通过对信号802进行稀疏采样来测量，以产生相对应的稀疏信号804。例如由换能器阵列(例如，阵列414)采集的稀疏信号804可以被打包为数据的单个流806并且通过线缆或者无线地经由信号通道808进行传输。在所说明的示例中，来自不同换能器元件的信号804经由单个通道808被串行传输而非经由分离的通道被并行传输，每个通道可以将每个换能器元件耦合到信号处理系统。可选地，稀疏信号804可以被打包到多于一个数据流中并且经由相对应数量的通道被传输到系统用于处理，数据流和通道的数量可以少于采集阵列的元件的数据。当由信号处理系统接收时，稀疏信号806可以被耦合到训练的神经网络(例如，GAN的经训练的生成分类模型)，如由箭头810说明的。训练的神经网络可以接着“解打包”或者填充从稀疏数据集缺失的数据以输出类似地等同于原始信号802的充分采样数据集812。
尽管本文参照超声图像数据描述了根据稀疏采样数据产生医学图像的示例，但是将理解，本文的示例同样适用于训练神经网络以根据任意成像模态的稀疏数据集产生图像，例如磁共振成像(MRI)、计算机断层扫描(CT)、正电子发射型断层扫描(PET)以及实际上任何其他成像模态。
在其中使用可编程设备实现部件、系统和/或方法的各种实施例中，例如基于计算机的系统或者可编程逻辑，将意识到上面描述的系统和方法可以使用任何各种已知的或者随后开发的编程语言来实现，例如，“C”、“C++”、“FORTRAN”、“Pascal”、“VHDL”等。因此，诸如计算机磁盘、光盘、电子存储器等的各种存储介质可以被制备，其包含能够指导诸如计算机的设备实现上面描述的系统和/或方法的信息。一旦合适的设备访问了包含在存储介质上的信息和程序，该存储介质就能够向设备提供信息和程序，因而使得设备能够执行本文描述的系统和/或方法的功能。例如，如果包含诸如源文件、目标文件、可执行文件等的合适物质的计算机磁盘被提供给计算机，则该计算机可以接收该信息，对其自己进行适当的编程并且执行在上面的附图和流程图中展现的各种系统和方法的功能以实现各种功能。即，计算机可以从磁盘接收与上面描述的系统和/或方法的不同元素相关的信息的各种部分，实现单独系统和/或方法并且实现上面描述的单独系统和/或方法的功能。
鉴于本公开，应该注意到，本文描述的各种方法和设备可以被实现在硬件、软件和固件中。进而，仅通过示例的方式而非在任何限制意义上包括各种方法和参数。鉴于本公开，本领域普通技术人员能够在确定他们自己技术时实现当前技术并且需要仪器来实现这些技术，同时保持在本发明的范围内。本文描述的一个或多个处理器的功能可以被结合到较少数量或者单个处理单元(例如，CPU)中并且可以使用专用集成电路(ASIC)或者通用处理电路实现，该通用处理电路对可执行指令做出响应而被编程以执行本文描述的功能。
尽管具体地参照超声成像系统描述了当前系统，但是也可以设想可以将当前系统扩展到按照系统的方式获得一个或多个图像的其它医学成像系统。因此，当前系统可以用于获得和/或记录图像信息，该图像信息与下列相关但是又不局限于：肾脏、睾丸、胸部、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾、心脏、动脉和静脉系统以及与超声导向干预相关的其它成像应用。进而，当前系统也可以包括可以与传统成像系统一起使用的一个或多个程序以使得它们可以提供当前系统的特征和优点。在研究本公开时，本公开的某些附加优点和特征对于本领域普通技术人员来说将变得明显，或者可以由采用当前公开的新颖性系统和方法的人们进行试验。当前系统和方法的另一优点可以是传统的医学图像系统可以被容易地升级以集合当前系统、设备和方法的特征和优点。
当然，将意识到，本文描述的任意一个示例、实施例或者过程可以与一个或多个其它示例、实施例和/或过程组合，或者可以在根据当前系统、设备和方法的单独设备或者设备部分当中分离和/或执行。
最后，上面的讨论意在仅说明当前系统而不应该被解读为将所附权利要求书限定到特定的实施例或者实施例组。因而，尽管参照示例性实施例具体详细地描述了当前系统，但是也应该意识到，在不偏离如在下面的权利要求书中阐释的当前系统的更宽广和期望的精神和范围的情况下由本领域普通技术人员设计各种修改和替代实施例。因此，说明书和附图被认为以说明性方式而非意在限制所附权利要求书的范围。
Claims (20)
1.一种用于生成超声图像的系统，所述系统包括：
至少一个存储设备；以及
至少一个处理器，其操作地被耦合到所述存储设备；以及
至少一个非瞬态计算机可读存储介质，其上存储有指令，所述指令在由所述至少一个处理器运行时使得所述处理器：
接收欠采样超声数据；
通过使用神经网络修改所述欠采样超声数据以表示充分采样超声数据来产生经修改的超声数据，所述神经网络通过以下操作而被训练：
提供包括充分采样超声数据的第一超声数据集；
降低所述第一超声数据集的采样以产生具有缺失数据的第二超声数据集；
将所述第二超声数据集耦合到包括所述神经网络的一个或多个神经网络以生成被估计为表示所述缺失数据的新数据；
通过修改所述第二超声数据集以包括所述新数据来生成第三超声数据集；
由所述一个或多个神经网络将所述第三超声数据集分类为真或假；并且
基于分类的精确度来调节针对所述一个或多个神经网络的一个或多个节点的激活规则；并且
基于所述经修改的超声数据来生成超声图像。
2.根据权利要求1所述的系统，其中，所述欠采样超声数据包括从以小于超声信号的最高频率两倍的速率采样的所述超声信号获得的超声数据。
3.根据权利要求1所述的系统，其中，所述欠采样超声数据包括从平面波或者从分支波束获得的超声数据。
4.根据权利要求1所述的系统，其中，所述欠采样超声数据包括从40Hz或者更小的帧速率获得的超声数据。
5.根据权利要求1所述的系统，其中，所述欠采样超声数据包括被打包到从超声探头到超声系统的多个通道中的超声数据，其中，所述通道的数量小于换能器元件的数量。
6.根据权利要求1所述的系统，其中，所述充分采样超声数据包括从包括以下项的组中选择的超声数据：
从至少以等于或大于超声信号的最高频率两倍的速率采样的所述超声信号获得的超声数据；
从大于40Hz的帧速率获得的超声数据；以及
被打包到从超声探头到超声系统的若干通道中的超声数据，其中，所述通道的数量等于或大于换能器元件的数量。
7.根据权利要求1所述的系统，其中，所述欠采样超声数据，所述经修改的数据，或者所述第一超声数据集、所述第二超声数据集或所述第三超声数据集中的任意一个包括来自图像空间或k-空间的超声数据。
8.根据权利要求1所述的超声成像系统，其中，所述神经网络包括生成对抗网络的至少部分。
9.根据权利要求8所述的超声成像系统，其中，所述神经网络包括生成对抗神经网络的经训练的生成模型。
10.根据权利要求9所述的超声成像系统，其中，所述生成对抗神经网络还包括鉴别模型，并且其中，所述生成模型和所述鉴别模型通过以下操作而被同时训练：
接收多个先前采集的超声图像，每个先前采集的超声图像包括采集的充分采样超声数据集；
降低所述充分采样超声数据集中的每个的采样以产生相应生成的稀疏超声数据集；
使用包括成对的采集的充分采样超声数据集和相对应的生成的稀疏超声数据集的训练数据来训练所述神经网络，其中，所述训练包括：
将每个对中的所述生成的稀疏超声数据集耦合到所述生成模型以产生生成的充分采样超声数据；
将每个对中的采集的充分采样超声数据集和所述生成的充分采样超声数据集耦合到所述鉴别模型以将所述生成的充分采样超声数据集分类为真或假，并且计算表示分类的精确度的误差信号；以及
调节针对所述鉴别模型和所述生成模型的相应的一个或多个节点的一个或多个激活函数，其中，所述调节被配置为减少所述误差信号。
11.一种根据稀疏采样超声数据来生成超声图像的方法，所述方法包括：
接收欠采样超声数据；
将所述欠采样超声数据耦合到神经网络以产生表示充分采样超声数据的经修改的超声数据，所述神经网络通过以下进行训练：
提供包括充分采样超声数据的第一超声数据集；
降低所述第一超声数据集的采样以产生具有缺失数据的第二超声数据集；
将所述第二超声数据集耦合到包括所述神经网络的一个或多个神经网络以生成被估计为表示所述缺失数据的新数据；
通过修改所述第二超声数据集以包括所述新数据来生成第三超声数据集；
由所述一个或多个神经网络将所述第三超声数据集分类为真或假；并且
基于分类的精确度调节针对所述一个或多个神经网络的一个或多个节点的激活规则；并且
基于所述经修改的超声数据来生成一幅或多幅超声图像。
12.根据权利要求11所述的方法，其中，接收欠采样超声数据包括通过以小于回波信号的最高频率两倍的速率对所述回波信号进行采样来采集超声信号。
13.根据权利要求11所述的方法，其中，接收欠采样超声数据包括响应于朝向介质的超声的平面波或分支波束而从所述介质采集超声信号。
14.根据权利要求11所述的方法，其中，接收欠采样超声数据包括以40Hz或者更小的帧速率采集超声信号。
15.根据权利要求11所述的方法，其中，接收欠采样超声数据包括从超声探头接收被打包到比所述探头的换能器元件的数量少的多个通道中的超声数据。
16.根据权利要求11所述的方法，其中，所述充分采样超声数据包括从包括以下项的组中选择的超声数据：
从至少以等于或大于超声信号的最高频率两倍的速率采样的所述超声信号获得的超声数据；
从大于40Hz的帧速率获得的超声数据；以及
被打包到从超声探头到超声系统的多个通道中的超声数据，其中，所述通道的数量等于或大于换能器元件的数量。
17.根据权利要求11所述的方法，其中，将所述欠采样超声数据耦合到神经网络包括将所述欠采样超声数据耦合到包括生成模型和鉴别模型的生成对抗神经网络的经训练的生成模型，并且其中，所述生成模型通过以下操作而被训练：
检索多幅先前采集的超声图像，每幅超声图像包括采集的充分采样超声数据集；
降低所述充分采样超声数据集中的每个的采样以产生相应的生成的稀疏超声数据集；
使用包括成对的采集的充分采样超声数据和相对应的生成的稀疏超声数据集的训练数据来训练所述神经网络，其中，所述训练包括：
将每个对中的所述生成的稀疏超声数据集耦合到所述生成模型以产生生成的充分采样超声数据集；
将每个对中的所述采集的充分采样的超声数据集和所述生成的充分采样超声数据集耦合到所述鉴别模型以将所述生成的充分采样超声数据集分类为真或假，并且计算表示分类的精确度的误差信号；并且
调节针对所述鉴别模型和所述生成模型的相应的一个或多个节点的一个或多个激活函数，其中，调节被配置为减少所述误差信号。
18.根据权利要求12所述的方法，其中，当所述鉴别器不能够在所述采集的充分采样数据集和所述生成的充分采样超声数据集之间进行区分时，所述生成对抗神经网络的所述生成模型被认为是经训练的生成模型。
19.根据权利要求11所述的方法，还包括：接收EKG信号，基于所述EKG信号来以帧速率采集所述欠采样超声数据集，其中，生成一幅或多幅超声图像包括以比所述帧速率更高的速率生成超声图像帧。
20.一种非瞬态计算机可读介质，包括可执行指令，所述可执行指令在被运行时使得医学成像系统的处理器执行权利要求11-19中的任意一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862635775P | 2018-02-27 | 2018-02-27 | |
| US62/635,775 | 2018-02-27 | ||
| PCT/EP2019/054402 WO2019166332A1 (en) | 2018-02-27 | 2019-02-22 | Ultrasound system with a neural network for producing images from undersampled ultrasound data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111771138A true CN111771138A (zh) | 2020-10-13 |
| CN111771138B CN111771138B (zh) | 2024-10-18 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888471A (zh) * | 2021-09-06 | 2022-01-04 | 国营芜湖机械厂 | 一种基于卷积神经网络的高效高分辨力缺陷无损检测方法 |
| WO2022133806A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 胎儿颜面部容积图像修复方法和超声成像系统 |
| CN117064446A (zh) * | 2023-10-13 | 2023-11-17 | 山东大学 | 基于血管内超声的血管动态三维重建系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050033168A1 (en) * | 2003-08-04 | 2005-02-10 | Shifrin Lazar A. | Ultrasound transmit beamformer integrated circuit and method |
| CN1663276A (zh) * | 2002-06-24 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 用于信号验证的稳健签名 |
| CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
| WO2016145379A1 (en) * | 2015-03-12 | 2016-09-15 | William Marsh Rice University | Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification |
| US20160341814A1 (en) * | 2012-03-09 | 2016-11-24 | U.S. Army Research Laboratory Attn: Rdrl-Loc-I | Method and system for jointly separating noise from signals |
| US20170206434A1 (en) * | 2016-01-14 | 2017-07-20 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
| CN107182216A (zh) * | 2015-12-30 | 2017-09-19 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
| US20180018539A1 (en) * | 2016-07-12 | 2018-01-18 | Beihang University | Ranking convolutional neural network constructing method and image processing method and apparatus thereof |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1663276A (zh) * | 2002-06-24 | 2005-08-31 | 皇家飞利浦电子股份有限公司 | 用于信号验证的稳健签名 |
| US20050033168A1 (en) * | 2003-08-04 | 2005-02-10 | Shifrin Lazar A. | Ultrasound transmit beamformer integrated circuit and method |
| US20160341814A1 (en) * | 2012-03-09 | 2016-11-24 | U.S. Army Research Laboratory Attn: Rdrl-Loc-I | Method and system for jointly separating noise from signals |
| CN103049885A (zh) * | 2012-12-08 | 2013-04-17 | 新疆公众信息产业股份有限公司 | 一种利用分析性稀疏表示的超分辨率图像重建方法 |
| WO2016145379A1 (en) * | 2015-03-12 | 2016-09-15 | William Marsh Rice University | Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification |
| CN107182216A (zh) * | 2015-12-30 | 2017-09-19 | 中国科学院深圳先进技术研究院 | 一种基于深度卷积神经网络的快速磁共振成像方法及装置 |
| US20170206434A1 (en) * | 2016-01-14 | 2017-07-20 | Ford Global Technologies, Llc | Low- and high-fidelity classifiers applied to road-scene images |
| US20180018539A1 (en) * | 2016-07-12 | 2018-01-18 | Beihang University | Ranking convolutional neural network constructing method and image processing method and apparatus thereof |
| US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
Non-Patent Citations (4)
| Title |
|---|
| DIMITRIS PERDIOS: "A Deep Learning Approach to Ultrasound Image Recovery", 《IEEE XPLORE》, pages 1 - 4 * |
| 肖韬辉;郭建;赵涛;王珊珊;梁栋;: "深度学习的快速磁共振成像及欠采样轨迹设计", 中国图象图形学报, no. 02, pages 44 - 58 * |
| 陈德华;周东阳;乐嘉锦;: "基于深度学习的甲状腺结节良恶性预测方法研究", 微型机与应用, no. 12, pages 17 - 19 * |
| 陈诗慧;刘维湘;秦;陈亮亮;宾果;周煜翔;汪天富;黄炳升;: "基于深度学习和医学图像的癌症计算机辅助诊断研究进展", 生物医学工程学杂志, no. 02, pages 160 - 165 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022133806A1 (zh) * | 2020-12-23 | 2022-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 胎儿颜面部容积图像修复方法和超声成像系统 |
| CN116157821A (zh) * | 2020-12-23 | 2023-05-23 | 深圳迈瑞生物医疗电子股份有限公司 | 胎儿颜面部容积图像修复方法和超声成像系统 |
| CN113888471A (zh) * | 2021-09-06 | 2022-01-04 | 国营芜湖机械厂 | 一种基于卷积神经网络的高效高分辨力缺陷无损检测方法 |
| CN113888471B (zh) * | 2021-09-06 | 2022-07-12 | 国营芜湖机械厂 | 一种基于卷积神经网络的高效高分辨力缺陷无损检测方法 |
| CN117064446A (zh) * | 2023-10-13 | 2023-11-17 | 山东大学 | 基于血管内超声的血管动态三维重建系统 |
| CN117064446B (zh) * | 2023-10-13 | 2024-01-12 | 山东大学 | 基于血管内超声的血管动态三维重建系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3759514A1 (en) | 2021-01-06 |
| US11957515B2 (en) | 2024-04-16 |
| US20240225607A1 (en) | 2024-07-11 |
| EP3759514B1 (en) | 2023-08-16 |
| US20200405269A1 (en) | 2020-12-31 |
| WO2019166332A1 (en) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240225607A1 (en) | Ultrasound system with a neural network for producing images from undersampled ultrasound data | |
| US11100638B2 (en) | Medical imaging device and medical image processing method using a neutral network | |
| US11354791B2 (en) | Methods and system for transforming medical images into different styled images with deep neural networks | |
| KR101659578B1 (ko) | 자기 공명 영상 처리 방법 및 장치 | |
| CN113436290A (zh) | 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统 | |
| US20110125016A1 (en) | Fetal rendering in medical diagnostic ultrasound | |
| US11615530B2 (en) | Medical data processing apparatus for reconstructing a medical image using a neural network | |
| CN111540025A (zh) | 预测用于图像处理的图像 | |
| JP2022506134A (ja) | 医用画像内でのインターベンションデバイスの識別 | |
| JP7437192B2 (ja) | 医用画像処理装置 | |
| US20170032702A1 (en) | Method and Apparatus For Generating an Ultrasound Scatterer Representation | |
| EP3108456B1 (en) | Motion adaptive visualization in medical 4d imaging | |
| EP3987445A1 (en) | Method and system for generating a synthetic elastrography image | |
| WO2019034546A1 (en) | ULTRASONIC SYSTEM CAPABLE OF EXTRACTING IMAGE PLANS FROM IMAGE INTERACTION VOLUME DATA WITH AN IMAGE | |
| WO2020225240A1 (en) | Systems and methods for controlling volume rate | |
| US20230377246A1 (en) | Rendering of b-mode images based on tissue differentiation | |
| CN111771138B (zh) | 具有用于根据欠采样超声数据产生图像的神经网络的超声系统 | |
| CN116090561A (zh) | 推理装置及方法、医用图像诊断装置及学习完成神经网络生成方法 | |
| CN112955934B (zh) | 识别医学图像中的介入设备 | |
| US20230228873A1 (en) | Systems and methods for generating color doppler images from short and undersampled ensembles | |
| CN114098795B (zh) | 用于生成超声探头引导指令的系统和方法 | |
| US12089997B2 (en) | System and methods for image fusion | |
| US20240221153A1 (en) | Super resolution for electronic 4d (e4d) cardiovascular ultrasound (cvus) probes | |
| CN117795560A (zh) | 视觉数据传输系统、显示系统及其操作方法 | |
| CN118805094A (zh) | 利用神经网络检测磁共振图像中的虚假结构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |