CN114897689A - 一种基于生成对抗网络的快速超声定位显微成像方法 - Google Patents
一种基于生成对抗网络的快速超声定位显微成像方法 Download PDFInfo
- Publication number
- CN114897689A CN114897689A CN202210460857.6A CN202210460857A CN114897689A CN 114897689 A CN114897689 A CN 114897689A CN 202210460857 A CN202210460857 A CN 202210460857A CN 114897689 A CN114897689 A CN 114897689A
- Authority
- CN
- China
- Prior art keywords
- ultrasonic
- image
- network
- positioning
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000002604 ultrasonography Methods 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 28
- 238000005457 optimization Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 239000002961 echo contrast media Substances 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 4
- 238000001000 micrograph Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 abstract description 4
- 210000005036 nerve Anatomy 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012285 ultrasound imaging Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/481—Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Hematology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于生成对抗网络的快速超声定位显微成像方法,包括以下步骤:基于Pix2pix框架的生成对抗网络构建初始成像模型,在生成对抗网络中,采用残差卷积神经作为生成器,采用PatchGAN结构作为判别器;获取低分辨原始超声图像作为网络输入,并获取对应的高分辨超声定位显微图像作为训练标签,以此分别构建训练集和测试集;将训练集输入至初始成像模型,采用损失函数和训练标签进行训练生成快速超分辨成像模型;基于快速超分辨成像模型获取与待测原始超声图像对应的超高分辨超声图像。该方法无需额外运算或人工调参,减小了成像重建过程中计算的复杂性,避免了参数依赖性,极大地改善了现有超声定位显微成像技术的性能,更适用于快速超声定位显微成像。
Description
技术领域
本发明属于超声定位显微成像技术领域,具体涉及一种基于生成对抗网络(Generative Adversarial Networks,GAN)的快速超声定位显微成像方法。
背景技术
超声定位显微成像(Ultrasound Localization Microscopy,ULM)技术已被提出并得以应用。对比传统超声成像,通过将单分子定位技术与超声造影剂相结合,ULM突破了声学衍射极限,可在亚波长尺度观察生物体内结构信息。
然而,使用ULM进行活体超高分辨超声成像时仍极具挑战。其主要原因是,ULM为基于单分子定位策略,实现超分辨成像。基于单分子定位方法,虽然能够大幅度改善超声成像的空间分辨率,但同时也极大增加了成像所需时间。为了克服该限制,一种可行的方法是增加单帧中微泡的数量,从而减少超高分辨重建所需的帧数,以提高成像速度。但是该方法一定程度上增加了微泡重叠的概率,降低了单分子定位的准确度。虽然能够提高成像速度,但也牺牲了图像分辨率。
深度学习是一种新兴的技术,其在超分辨图像重建任务上具有良好的性能。简而言之,深度学习方法以低分辨图像作为网络输入,以高分辨图像作为训练标签,迭代训练网络学习低分辨图像与高分辨图像之间的映射关系。目前,传统深度卷积网络已被用于超声图像的超分辨重建。但该方法依然通过单帧定位策略实现超高分辨成像,成像质量仍依赖于定位帧的数目。
相较于传统卷积网络,生成对抗网络的训练过程不仅以像素级差异最小化为优化目标,同时考虑深度评价网络指标,通过网络间的对抗训练使得生成图像更逼近真实。简而言之,生成对抗网络由生成器与判别器组成,生成器以低分辨图像为输入得到输出图像,将输出图像作为判别器输入得到判别器评分。生成器根据判别器评分迭代训练。因此,本发明提出一种基于生成对抗网络的超声定位成像技术。
发明内容
为解决上述问题,提供一种通过生成对抗网络实现超声图像的超高分辨重建的成像方法,本发明采用了如下技术方案:
本发明提供了一种基于生成对抗网络的快速超声定位显微成像方法,用于对原始超声图像进行快速超声定位得到超分辨超声图像,其特征在于,包括:步骤S1,基于生成对抗网络构建初始成像模型;步骤S2,获取低分辨原始超声图像作为网络输入,并获取对应的高分辨超声定位显微图像作为训练标签,以此分别构建训练集和测试集;步骤S3,将训练集输入至初始成像模型,采用损失函数和训练标签训练并优化该模型直至完成训练,得到快速超分辨成像模型;步骤S4,将待测原始超声图像输入至快速超分辨成像模型进行快速超声定位,从而得到对应的超高分辨超声图像,其中,生成对抗网络采用Pix2pix作为基础框架,采用残差卷积神经网络作为生成器网络,采用PatchGAN结构作为判别器网络。
本发明提供的一种基于生成对抗网络的快速超声定位显微成像方法,还可以具有这样的技术特征,其中,判别器网络用于为模型的训练提供生成对抗损失,生成器网络包括用于残差学习的6个残差模块和用于实现上采样操作的2个上采样模块,每个残差模块包含2个卷积层以及对应的批标准化层与激活函数,每个上采样模块由转置卷积层、批标准化层与激活函数组成。
本发明提供的一种基于生成对抗网络的快速超声定位显微成像方法,还可以具有这样的技术特征,其中,原始超声图像的获取过程为:基于超声造影剂对成像对象进行超声成像,获取一组超声原始图像序列,其中每帧超声原始图像中包含多个稀疏分布的微泡,随机分布在成像区域;从这一组超声原始图像序列中随机选择连续20帧进行叠加后,经归一化得到低分辨的原始超声图像,该原始超声图像为512*512像素。
本发明提供的一种基于生成对抗网络的快速超声定位显微成像方法,还可以具有这样的技术特征,其中,训练标签的构建过程为:对每一帧超声原始图像进行单分子定位,即对每一帧图像中的独立微泡通过高斯拟合法与重心法进行中心定位获取微泡对应的定位帧,取所有定位帧中95%的定位帧进行叠加,经过归一化并进行预定倍数的上采样从而得到超声定位显微图像作为训练标签,该超声定位显微图像为2048*2048像素。
本发明提供的一种基于生成对抗网络的快速超声定位显微成像方法,还可以具有这样的技术特征,其中,在初始成像模型的训练中,生成器网络训练的损失函数由多尺度结构相似性损失、L1正则损失和生成对抗损失组成:
LG=α×L1(G(LRl),HRL)+β×[1-LSSIM(G(LRl),HRL)]+-logD(G(LRl),LRl)
式中,L1(·)表示L1损失,G(·)表示生成器网络,LRl表示由1帧图像叠加得到的原始超声图像,HRL表示由L帧定位帧叠加得到的超声定位显微图像,LSSIM(·)表示多尺度结构相似性损失,D(·)表示判别器网络,α与β表示L1正则损失与多尺度结构相似性损失的系数,判别器的损失函数采用生成对抗损失:
LD=-logD(HRL,LRl)-log(1-D(G(LRl),LRl))。
本发明提供的一种基于生成对抗网络的快速超声定位显微成像方法,还可以具有这样的技术特征,其中,优化为采用Adam优化梯度下降算法,对原始超声图像和相应的超声定位显微图像进行50个周期的训练,即遍历训练集50次,每个周期遍历数据批次大小N为4,初始学习率为1×10。
本发明提供的一种基于生成对抗网络的快速超声定位显微成像方法,还可以具有这样的技术特征,其中,在优化过程中,采用学习率衰减策略使得学习率逐渐减小至0,从而快速逼近最优参数,使损失函数以最快速度收敛致最小。
发明作用与效果
根据本发明的一种基于生成对抗网络的快速超声定位显微成像方法,由于采用Pix2pix作为生成对抗网络的基础框架,从而构建得到相较于现有深度学习网络具有像素级优势的快速超分辨超声成像模型。通过将低分辨的原始超声图像输入至该快速超分辨超声成像模型进行重建,即可得到对应的成像质量堪比充分定位的超高分辨超声图像。还由于在生成对抗网络中,生成器网络采用残差卷积神经网络来代替原始Pix2pix框架的U-Net网络,通过跳跃链接在同尺度上实现浅层与深层特征的融合,在使得训练误差大大减小的同时,还克服了因U-Net网络多次池化提取高维信息导致的散点特征丢失的缺陷。
本发明的基于生成对抗网络的快速超声定位显微成像方法无需任何额外的运算或者人工调参,减小了成像重建过程中计算的复杂性,避免了参数的依赖性,极大地改善了现有超声定位显微成像技术的性能,更适用于快速超声定位显微成像。
附图说明
图1是本发明实施例中基于生成对抗网络的快速超声定位显微成像方法的流程图;
图2是本发明实施例中的生成对抗网络的结构示意图;
图3是本发明实施例中的生成器网络的结构示意图;
图4是本发明实施例中仿真实验使用的超声图像模型示意图;
图5是本发明实施例中超声定位显微图像的示意图;
图6是本发明实施例中少量原始超声图像帧叠加生成的均值图像和基于快速超分辨成像模型得到的超声定位显微成像结果示意图。
具体实施方式
受到基于单分子定位的超声定位显微成像技术启发,本发明提出采用生成对抗网络,结合基于残差模块的端到端生成器网络,应用于超分辨超声图像重建,即通过少量原始超声图像重建得到成像质量堪比充分定位的超高分辨超声图像,从而实现快速超声定位显微成像。
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的一种基于生成对抗网络的快速超声定位显微成像方法作具体阐述。
<实施例>
图1是本发明实施例中基于生成对抗网络的快速超声定位显微成像方法的流程图。
如图1所示,本实施例的基于生成对抗网络的快速超声定位显微成像方法包括以下步骤:
步骤S1,基于生成对抗网络构建初始成像模型,该生成对抗网络由生成器网络和判别器网络组成。
图2是本发明实施例中的生成对抗网络的结构示意图。
考虑到,在生成对抗网络中,Pix2pix框架在端到端监督学习任务中具有像素级优势,因此本实施例采用Pix2pix作为生成对抗网络的基础框架(如图2所示)。
由于原始超声图像中的微泡具有散点特性,而原始Pix2pix框架选取U-Net作为生成器网络来提取多尺度信息,该生成器通过多次池化提取高维信息,易导致散点特征丢失。为了克服这个限制,如图2及图3所示,本实施例采用残差卷积神经网络作为生成器网络,通过跳跃链接在同尺度上实现浅层与深层特征的融合,使得训练误差大大减小并收敛致一个较小的值附近。同时,由于采集到的原始超声图像还存在分辨率较低的问题,因此本实施例还在生成器网络中加入了上采样模块,实现大尺寸重建图像输出。具体地,
图3是本发明实施例中的生成器网络的结构示意图。
如图3所示,本实施例的生成器网络主要由6个残差模块与2个上采样模块组成,每个残差模块包含2个卷积层以及其对应的批标准化层与激活函数,用于残差学习。而两个上采样模块由转置卷积层、批标准化层与激活函数组成,用于实现上采样操作。
判别器网络采用PatchGAN结构,为网络训练提供对抗损失。
步骤S2,获取低分辨原始超声图像作为网络输入,并获取对应的高分辨超声定位显微图像作为训练标签,以此分别构建训练集和测试集。
图4是本发明实施例中仿真实验使用的超声图像模型示意图。
本实施例中,基于图4所示的超声图像模型,结合超声点扩散函数模拟超声成像。该过程如下:
步骤S2-1,基于超声造影剂对图4所示的超声图像模型,在结构模型内随机选择30个位置作为微泡真实位置,将微泡的真实位置处的冲激函数与超声系统对应的点扩散函数进行卷积操作来模拟超声成像过程,将该过程重复500次从而获得500帧超声原始图像序列。
步骤S2-2,从500帧超声原始图像序列中随机选择连续20帧进行叠加后,经归一化得到低分辨的原始超声图像,该原始超声图像大小为512*512像素。
图5是本发明实施例中超声定位显微图像的示意图。
步骤S2-3,对每一帧原始超声图像进行单分子定位,即对每一帧图像中的独立微泡通过高斯拟合法与重心法进行中心定位获取微泡对应的定位帧,取该定位帧中的95%的定位帧进行叠加,经过归一化后,进行四倍上采样从而得到超声定位显微图像作为训练标签。
本实施例中,将所有原始超声图像通过高斯拟合法进行单分子定位后,得到500帧单分子定位帧,随机选取其中475帧叠加得到密集定位的超分辨的超声定位显微图像(如图5所示),其图像大小为2048*2048像素。
步骤S3,将训练集输入至初始成像模型,采用损失函数和训练标签训练并优化该模型直至完成训练得到快速超分辨成像模型,并采用测试集进行测试。
本实施例中,为模拟实际实验中噪声的影响,为训练集中的原始超声图像逐一添加了背景噪声。
在迭代优化的训练过程中,损失函数对网络训练有很大影响,其最小化方向即模型性能最优化方法。在图像处理任务中L2损失被广泛运用,但这类仅以提高峰值信噪比(PSNR)为目的的像素级损失往往使得输出图像过于模糊、平滑,在超分辨重建任务中表现不足。
为了提高输出图像质量,本实施例结合多尺度结构相似性损失(MS-SSIM)、L1正则损失和生成对抗损失这三种损失函数来共同训练生成器网络,即:
LG=α×L1(G(LRl),HRL)+β×[1-LSSIM(G(LRl),HRL)]+-logD(G(LRl),LRl)
式中,L1(·)表示L1损失,G(·)表示生成器网络,LRl表示由1帧图像叠加得到的原始超声图像,HRL表示由L帧定位帧叠加得到的超声定位显微图像,LSSIM(·)表示多尺度结构相似性损失,D(·)表示判别器网络,α与β表示L1损失与结构相似性损失的系数,本实施例中,设置α和β分别为16和84,用以权衡各损失函数比重。
判别器网络的损失函数选用生成对抗损失函数:
LD=-logD(HRL,LRl)-log(1-D(G(LRl),LRl))。
本实施例中,采用Adam优化梯度下降算法对1500原始超声图像和相应的超声定位显微图像进行共500个周期的训练,即遍历训练集50次,其中每个周期遍历数据的批次大小N为4,初始学习率为1×10-5。为了使损失函数以最快的速度收敛到最小,本发明使用学习率衰减策略来逐渐减小学习率至0,从而逐渐逼近最优参数。
步骤S4,将待测原始超声图像输入至快速超分辨成像模型进行快速超声定位,从而得到对应的超高分辨超声图像。
图6是本发明实施例中少量原始超声图像帧叠加生成的均值图像和基于快速超分辨成像模型得到的超声定位显微成像结果示意图。
由图6的超高分辨超声图像可以看出,本实施例提出的方法可以有效提高超声成像的空间分辨率,实现超声定位显微成像;同时,该方法能大幅度降低超声定位显微成像所需的原始图像帧数,降低图像采集所需时间,避免单分子定位带来的计算冗余。因此,基于该方法,还可有效提高成像的时间分辨率,实现快速成像,使得超声成像技术在活体实验中的运用成为可能。
实施例作用与效果
根据本实施例提供的基于生成对抗网络的快速超声定位显微成像方法,基于生成对抗网络构建并训练得到快速超分辨超声成像模型,通过将低分辨的原始超声图像输入至该快速超分辨超声成像模型进行重建,得到对应的成像质量堪比充分定位的超高分辨超声图像,从而实现快速超声定位显微成像。
实施例中,由于生成对抗网络采用Pix2pix作为基础框架,因此使得本实施例的端到端监督学习任务相较于现有深度学习网络具有像素级优势。还由于本实施例的生成器网络采用残差卷积神经网络来代替原始Pix2pix框架的U-Net网络,通过跳跃链接在同尺度上实现浅层与深层特征的融合,在使得训练误差大大减小的同时,还克服了因U-Net网络多次池化提取高维信息导致的散点特征丢失的缺陷。同时,考虑到采集的原始超声图像分辨率较低,实施例中还在生成器网络中加入了上采样模块,以此实现大尺寸重建图像的输出。
另外,区别于现有模型训练中所采用的L2正则损失函数,实施例中采用结合L1正则损失函数、多尺度结构相似性函数和生成对抗损失共同训练模型,从而避免了L2正则损失函数导致的重建图像过于平滑与模糊且无法很好地保留图像细节信息的问题,以此使得训练得到的成像模型更适用于超声定位显微成像任务。
综上,本实施例的基于生成对抗网络的快速超声定位显微成像方法无需任何额外的运算或者人工调参,减小了成像过程中计算的复杂性,避免了参数的依赖性,极大地改善了现有超声定位显微成像技术的性能。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。
Claims (7)
1.一种基于生成对抗网络的快速超声定位显微成像方法,用于对原始超声图像进行快速超声定位得到超分辨超声图像,其特征在于,包括:
步骤S1,基于生成对抗网络构建初始成像模型;
步骤S2,获取低分辨原始超声图像作为网络输入,并获取对应的高分辨超声定位显微图像作为训练标签,以此分别构建训练集和测试集;
步骤S3,将所述训练集输入至所述初始成像模型,采用损失函数和所述训练标签训练并优化该模型直至完成训练,得到快速超分辨成像模型;
步骤S4,将待测原始超声图像输入至所述快速超分辨成像模型进行快速超声定位,从而得到对应的超分辨超声图像,
其中,所述生成对抗网络采用Pix2pix作为基础框架,采用残差卷积神经网络作为生成器网络,采用PatchGAN结构作为判别器网络。
2.根据权利要求1所述的一种基于生成对抗网络的快速超声定位显微成像方法,其特征在于:
其中,所述判别器网络用于为模型的训练提供生成对抗损失,
所述生成器网络包括用于残差学习的6个残差模块和用于实现上采样操作的2个上采样模块,
每个所述残差模块包含2个卷积层以及对应的批标准化层与激活函数,每个所述上采样模块由转置卷积层、批标准化层与激活函数组成。
3.根据权利要求1所述的一种基于生成对抗网络的快速超声定位显微成像方法,其特征在于:
其中,所述原始超声图像的获取过程为:
基于超声造影剂对成像对象进行超声成像,获取一组超声原始图像序列,其中每帧超声原始图像中包含多个稀疏分布的微泡,随机分布在成像区域;
从这一组所述超声原始图像序列中随机选择连续20帧进行叠加后,经归一化得到低分辨的原始超声图像,该原始超声图像为512*512像素。
4.根据权利要求3所述的一种基于生成对抗网络的快速超声定位显微成像方法,其特征在于:
其中,所述训练标签的构建过程为:
对每一帧所述超声原始图像进行单分子定位,即对每一帧图像中的独立微泡通过高斯拟合法与重心法进行中心定位获取微泡对应的定位帧,取所有定位帧中95%的定位帧进行叠加,经过归一化并进行预定倍数的上采样从而得到超声定位显微图像作为所述训练标签,
所述超声定位显微图像为2048*2048像素。
5.根据权利要求4所述的一种基于生成对抗网络的快速超声定位显微成像方法,其特征在于:
其中,在所述初始成像模型的训练中,所述生成器网络训练的损失函数由多尺度结构相似性损失、L1正则损失和生成对抗损失组成:
LG=α×L1(G(LRl),HRL)+β×[1-LSSIM(G(LRl),HRL)]+-logD(G(LRl),LRl)
式中,L1(·)表示L1损失,G(·)表示生成器网络,LRl表示由1帧图像叠加得到的原始超声图像,HRL表示由L帧定位帧叠加得到的超声定位显微图像,LSSIM(·)表示多尺度结构相似性损失,D(·)表示判别器网络,α与β表示L1正则损失与多尺度结构相似性损失的系数,
所述判别器的损失函数采用生成对抗损失:
LD=-logD(HRL,LRl)-log(1-D(G(LRl),LRl))。
6.根据权利要求5所述的一种基于生成对抗网络的快速超声定位显微成像方法,其特征在于:
其中,所述优化为采用Adam优化梯度下降算法,对所述原始超声图像和相应的超声定位显微图像进行50个周期的训练,即遍历所述训练集50次,
每个周期遍历数据批次大小N为4,初始学习率为1×10。
7.根据权利要求6所述的一种基于生成对抗网络的快速超声定位显微成像方法,其特征在于:
其中,在所述优化过程中,采用学习率衰减策略使得学习率逐渐减小至0,从而快速逼近最优参数,使损失函数以最快速度收敛致最小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210460857.6A CN114897689A (zh) | 2022-04-28 | 2022-04-28 | 一种基于生成对抗网络的快速超声定位显微成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210460857.6A CN114897689A (zh) | 2022-04-28 | 2022-04-28 | 一种基于生成对抗网络的快速超声定位显微成像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114897689A true CN114897689A (zh) | 2022-08-12 |
Family
ID=82719824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210460857.6A Pending CN114897689A (zh) | 2022-04-28 | 2022-04-28 | 一种基于生成对抗网络的快速超声定位显微成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114897689A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
-
2022
- 2022-04-28 CN CN202210460857.6A patent/CN114897689A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681790A (zh) * | 2023-07-18 | 2023-09-01 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
CN116681790B (zh) * | 2023-07-18 | 2024-03-22 | 脉得智能科技(无锡)有限公司 | 一种超声造影图像生成模型的训练方法及图像的生成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
CN109829855B (zh) | 一种基于融合多层次特征图的超分辨率重建方法 | |
CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
CN110276736B (zh) | 一种基于权值预测网络的磁共振图像融合方法 | |
CN107977932A (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
CN108022213A (zh) | 基于生成对抗网络的视频超分辨率重建算法 | |
CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN109727195B (zh) | 一种图像超分辨率重构方法 | |
CN107464216A (zh) | 一种基于多层卷积神经网络的医学图像超分辨率重构方法 | |
CN107633486A (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
Bhagat et al. | Data augmentation using generative adversarial networks for pneumonia classification in chest xrays | |
CN111275171B (zh) | 一种基于参数共享的多尺度超分重建的小目标检测方法 | |
CN110728729A (zh) | 一种基于注意机制的无监督ct投影域数据恢复方法 | |
CN110363704B (zh) | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 | |
CN111242865A (zh) | 基于生成式对抗网络的眼底图像增强方法 | |
CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
CN114092329B (zh) | 一种基于亚像素神经网络的超分辨荧光显微成像方法 | |
CN112435305A (zh) | 一种基于深度学习的超高分辨超声成像方法 | |
CN114897689A (zh) | 一种基于生成对抗网络的快速超声定位显微成像方法 | |
CN113506222A (zh) | 一种基于卷积神经网络的多模态图像超分辨方法 | |
CN114549318A (zh) | 基于亚体素卷积神经网络的超高分辨荧光显微成像方法 | |
CN112967185A (zh) | 基于频率域损失函数的图像超分辨率算法 | |
CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
CN115512182A (zh) | 一种基于聚焦学习的ct血管造影智能成像方法 | |
CN113313728B (zh) | 一种颅内动脉分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |