CN117094897A - 一种相衬光学相干弹性成像的超分辨相位梯度估计方法 - Google Patents
一种相衬光学相干弹性成像的超分辨相位梯度估计方法 Download PDFInfo
- Publication number
- CN117094897A CN117094897A CN202311363317.7A CN202311363317A CN117094897A CN 117094897 A CN117094897 A CN 117094897A CN 202311363317 A CN202311363317 A CN 202311363317A CN 117094897 A CN117094897 A CN 117094897A
- Authority
- CN
- China
- Prior art keywords
- network
- phase
- resolution
- experimental data
- phase gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003287 optical effect Effects 0.000 title claims abstract description 40
- 238000002091 elastography Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000004088 simulation Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 19
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010587 phase diagram Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012014 optical coherence tomography Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种相衬光学相干弹性成像的超分辨相位梯度估计方法，包括：构建前置网络和后置网络；使用仿真数据集训练前置网络；获取实验数据集，对其中的实验数据进行波长截断获取其低分辨版本，并进行图像增强；将增强后的实验数据通过训练完成的前置网络进行预测得到其相位梯度；将低分辨率版本的实验数据作为输入，所述相位梯度作为标准输出，训练后置网络；使用训练好的后置网络对低分辨率待预测数据进行预测得到相位梯度。本方法在使用低分辨率相位图像时，能预测得到高分辨率的相位梯度图像，该方法计算所得结果相比矢量方法更清晰，更适合用于低分辨率的相位计算。
Description
技术领域
本发明涉及相位梯度计算领域，具体涉及一种相衬光学相干弹性成像的超分辨相位梯度估计方法。
背景技术
相衬光学相干弹性成像是由光学相干层析方法发展而来的功能成像技术。它可以实现样品在复杂力学载荷环境下的体块形变高精度全场测量，形变测量灵敏度高达微应变级。由于相衬光学相干弹性成像具有无损非侵入式、成像灵敏度高、全场测量等优点，成为未来最具前景的力学性能表征手段之一。
为实现相衬光学相干弹性成像的力学性能表征功能，须对其差分相位测量结果沿深度方向作梯度运算，然而，测量系统光源带宽有限使得层析分辨率降低，导致相位梯度计算误差大。为克服该问题，通常方法会采用扩展光源带宽的硬件解决方案，但该方法导致测量系统复杂，且光源宽带宽引起的非线性波数误差难以消除，导致相位梯度分辨率改善有限。为此，人们又提出了基于参数谱估计的层析分辨率提升算法，其中较为先进的方法为迭代自适应干涉谱估计算法(Iterative Adaptive Approach, IAA)。IAA特点进行傅里叶变换前会先进行频谱归一化并使用更光滑的窗口对频谱进行重塑，同时引入加权矩阵，有效抑制了窗函数卷积运算，解决了层析分辨率问题。但IAA因涉及矩阵逆运算，在实际应用时容易受到噪声干扰、外界振动干扰等影响，矩阵逆运算会出现病态计算问题，导致算法改善相位梯度分辨率的鲁棒性较差。
综上所述，现有硬件和算法的解决方案在改善相位梯度计算分辨率方面均存在一定的局限性，因此须进一步探索超分辨相位梯度成像新技术。
发明内容
本发明的目的是提供一种相衬光学相干弹性成像的超分辨相位梯度估计方法，用以克服现有硬件和算法在探索超分辨相位梯度成像方面存在的局限性。
为了实现上述任务，本发明采用以下技术方案：
一种相衬光学相干弹性成像的超分辨相位梯度估计方法，包括：
构建前置网络和后置网络；
使用仿真数据集训练前置网络；
获取实验数据集，对其中的实验数据进行波长截断获取其低分辨版本，并进行图像增强；将增强后的实验数据通过训练完成的前置网络进行预测得到其相位梯度；
将低分辨率版本的实验数据作为输入，所述相位梯度作为标准输出，训练后置网络；
使用训练好的后置网络对低分辨率待预测数据进行预测得到相位梯度。
进一步地，所述前置网络和后置网络的结构、参数配置一致，前置网络、后置网络以U-Net++网络为基础框架，并在U-Net++网络的基础上进行以下调整：
第一点，对网络中卷积块的处理过程进行调整，即：
每个卷积块的输入依次经过三次卷积层、组归一化处理、激活函数处理后，与卷积块的输入相加后再经过一次组归一化处理，最终得到卷积块的输出；
第二点，将网络中的上采样从上采样层改为反卷积层；
第三点，直接获取最后网络的最后一个卷积块输出结果作为网络的输出结果。
进一步地，所述前置网络和后置网络的损失函数表示为：，
其中，表示样本数量也即网络训练时使用的数据量，x、y表示矩阵坐标，，、分别表示矩阵的高与宽；O(x,y)表示网络预测，G
(x,y)表示标准输出；P(x,y)表示对网络的输入WP进行噪点检测的输出值，w表示权重值。
进一步地，所述前置网络的仿真数据集构建过程包括：
(1)随机生成高斯矩阵W作为位移矩阵；
(2)由设置的光源波长和光源带宽计算波数，并设置光程差矩阵L1；
(3)光程差矩阵L1与位移矩阵W叠加得到位移后光程差矩阵L2；
(4)根据光程差矩阵L1、L2分别计算B-scan，得到B1、B2；
(5)将B1、B2分别加窗、波数插值、傅里叶变换求得对应的相位P1、P2；
(6)P1与P2进行差分，得到差分相位WP；
(7)依据位移矩阵W求梯度，得到相位梯度矩阵S；
(8)WP作为网络输入，S作为网络输出，组成前置网络仿真数据集。
进一步地，加窗采用余弦窗Hann，B-scan的尺寸为由多个连续的A-scan拼接而成，加窗相当于对每个A-scan信号乘上一个窗函数，得到加窗后的结果记为Bw；
所述波数插值指的是将光源的波数转换为等差，并依据转换后的波数调整B-scan信号Bw，调整后的信号表示为Bw'。
采用CZT变换计算Bw'的傅里叶变换，得到信号Bc(k)，对Bc(k)求相位即可得到相位。
进一步地，所述后置网络的实验数据集的构建过程包括：
(1)选取实验数据集中的两张B-scan图像B1、B2；其中B1、B2为针对于被测件采集的前后连续或间隔多帧的两张图像；
(2)将B1、B2分别波长截断实现使用窄带宽光源获取B-scan的效果，得到Bn1、Bn2；
(3)B1、B2、Bn1、Bn2分别加窗、波数插值、傅里叶变换得到对应相位P1、P2、Pn1、Pn2；
(4)P1与P2、Pn1与Pn2进行相位差分，得到差分相位WP，WPn；
(5)将差分相位WP、WPn进行裁剪、拉伸、旋转，得到图像增强后的相位WPA、WPnA；
(6)WPA通过训练好的前置网络进行预测，得到的预测结果相位梯度S；
(7)S作为网络输出，WPnA作为网络输入，组成后置网络的实验数据集。
一种终端设备，包括处理器、存储器以及存储在所述存储器中的计算机程序；处理器执行计算机程序时，实现所述相衬光学相干弹性成像的超分辨相位梯度估计方法的步骤。
一种计算机可读存储介质，所述介质中存储有计算机程序；计算机程序被处理器执行时，实现所述相衬光学相干弹性成像的超分辨相位梯度估计方法的步骤。
与现有技术相比，本发明具有以下技术特点：
本方法在使用低分辨率相位图像时，能预测得到高分辨率的相位梯度图像，该方法计算所得结果相比矢量方法更清晰，更适合用于低分辨率的相位计算。
附图说明
图1为前置网络数据准备过程的示意图；
图2为前置网络结构示意图；
图3为为后置网络数据生成过程的示意图；
图4为波长截断示意图；
图5为前置网络、后置网络的应用关系图；
图6为本发明一个实施例中第一组实验结果示意图；
图7为本发明一个实施例中第二组实验结果示意图。
具体实施方式
硬件方法增加光源带宽会使测量系统复杂化且使用宽带宽光源本身也存在误差；现有的软件方法也无法避开病态问题的影响；再者两种解决方案都在相位梯度的超分辨方面存在局限性。而采用神经网络的端到端特点可减少算法模型的误差，且训练后的网络无需额外参数即可对数据进行计算，减少了人为参数设定的干扰，具有鲁棒性强特点。基于该特点，本发明提出了一种基于复合神经网络的相位梯度超分辨重构方法。
由于样品形变的先验信息未知，采用神经网络预测超分辨相位梯度时会面临训练集难以获取的问题。针对该问题，本发明构建了复合网络架构的相位梯度预测模型，其中前置网络使用高分辨率的仿真数据进行网络训练，将实验数据预测为对应的相位梯度图，其主要目的是为了后置网络解决数据集中缺少真值的问题；后置网络中将实验数据对应的低分辨率图像与前置网络得到的预测共同组成训练集，实现低分辨率数据到高分辨率相位梯度的映射。通过两层网络相结合的方式解决实验数据缺少真值的问题，并采用实验数据作为网络的训练集解决仿真数据和实验数据存在差距的问题，以此得到泛化能力强的超分辨相位梯度预测。
此外设计了一种基于噪点检测的正则化项为损失函数，由于层析内部噪声分布的不均匀，不同区域有着明显的差异性，使用噪点检测能够提供一种统一的指标衡量图像的分辨率；通过噪声等级对网络参数权重进行约束，防止网络过拟合提高模型泛化能力。
对下文中会出现的词汇做出解释：
样本：泛指被测量的对象、被使用的数据；
A-scan(图像) ：A扫描，在样本上沿深度方向的一个点进行测量获得；
B-scan(图像) ：B扫描，多个连续的A扫描沿竖直方向拼接；本文方案中虽没出现但为方便理解，C扫描为多个连续的B扫描沿水平方向的拼接。
光学相干弹性成像是指，对于一个内部有若干层的样本，通过中心波长与波长带宽确定的扫频光源照射样品，光会在分光器处被分为两束光，一束射向反射镜直接返回一束射向样本后返回(两条路径分别被称为反射臂与样本臂)，在光源穿透范围内样品不同层皆会对光源产生反射(光到不同层的距离与反射臂的长度差为光程差， 一定光程差范围内的两束光才能发生衍射并进行后续分析)，根据从样品返回的光信号，对光信号进行傅里叶变换等分析处理得到样本的相位信息，结合相衬技术通过样本的相位计算出相位梯度，相位梯度表征样本的力学性能。本发明通过深度神经网络对样品的相位信息进行计算，从而得到上述过程中的相位梯度。
与针对对象特征的传统人为设计算法相比，深度神经网络特别是卷积神经网络能通过多层卷积自动提取图像中的特征信息，获取图像与图像之间的关联性，无需人为的设计特征，即可实现端到端的图像映射。
参见附图，本发明提供的一种相衬光学相干弹性成像的超分辨相位梯度估计方法，以U-Net++深度神经网络为基础，分别训练两个网络，详细实现步骤如下：
1.前置网络数据准备。
前置网络的仿真数据集通过仿真程序生成的仿真数据组成，步骤如下：
(1)随机生成高斯矩阵W作为位移矩阵；
(2)由设置的光源波长和光源带宽计算波数，并设置光程差矩阵L1；
其中，光程差矩阵表示的是样本中不同层的光程差，矩阵中相同行的每一列数值相同，不同行数值不同，从起始行到结尾行数值等差增大；该数值范围人为设定。
(3)光程差矩阵L1与位移矩阵W叠加得到位移后光程差矩阵L2，L1与L2分别受到噪声N1和N2的干扰；
其中，位移矩阵W使用高斯随机矩阵生成一个n*n的矩阵，人为设置n的取值，取值范围根据系数决定，通常在区间[2,7]。本方案的前置网络数据来源以及多样性依靠该矩阵。
(4)根据光程差矩阵L1、L2分别计算B-scan，得到B1、B2；
(5)将B1、B2分别加窗、波数插值、傅里叶变换求得对应的相位P1、P2；
其中，加窗采用余弦窗(Hann)，B-scan的尺寸为1024*960，由960个连续的A-scan拼接而成，加窗相当于对每个A-scan信号乘上一个窗函数，可以由公式表示为，
Bw=Bscan·Hann (公式1)
波数插值指的是，原本的直接由光源参数计算的波数间隔是非均匀的，波数需要转换为等差，并依据转换后的波数调整B-scan信号，调整后的信号表示为Bw'。
采用CZT变换计算DFT，其公式为:
(公式2)
CZT变换是一种细化频段的技术，式中、表示的是仿真光信号的频段起始点
与频段终点，为采样频率，M为细化后信号Bc(k)的频点数(直观表现为矩阵的行数)，N表
示细化前信号Bw'(n)的频点数，j为虚数1j的简写(-j为-1j的简写)，n表示信号Bw'(n)中第
n个位置，k表示细化后信号Bc(k)中第k个位置，e表示自然常数；对Bc(k)求相位即可得到相
位P。
(6)P1与P2进行差分，得到差分相位WP；
差分相位的计算公式为，
(公式3)
(7)依据位移矩阵W求梯度，得到相位梯度矩阵S；
(8)WP作为网络输入，S作为网络输出，组成前置网络仿真数据集。
前置网络的训练集总共使用30000组仿真数据(此处的及后续出现的仿真数据指代图1中由仿真程序生成的数据，一张WP和其对应的一张S称为一组)，优化器选择adam，学习率为0.0001 ，batchsize(批量大小，表示同时导入并训练数据的数量)为4，epochs(轮次，一个轮次将训练完所有数据；每一轮次的计算次数为(数据总量/batchsize)次)为60左右时收敛。
2.前置网络结构与训练。
前置网络以U-Net++网络为基础框架，修改了每层下采样与上采样的计算步骤，具体如图2所示。
图中网络由5次下采样与15次上采样、35次残差连接以及21次卷积块计算组成；下
采样操作由2*2最大池化层完成，上采样操作由3*3反卷积完成；中i表示第i层，j表
示该层的第j个卷积块；其中卷积块包括了三次3*3的卷积层，每次卷积过后接组归一化并
通过激活函数，其结果与输入相加后进行组归一化得到输出。
与U-Net++相比，本方案中对于网络的改动在于：
第一点，将网络中的卷积块从原本的输入经过两次顺序为批量归一化(与组归一化不同)、卷积层、激活函数的操作得到输出更改为图2中最左端黑框中的结构，即：
每个卷积块的输入依次经过三次卷积层、组归一化处理、激活函数处理后，与卷积块的输入相加后再经过一次组归一化处理，最终得到卷积块的输出。
第二点，将网络中的上采样从上采样层改为反卷积层(简言之，反卷积层可以样本训练参数不断优化上采样结果；上采样层根据人为给定策略上采样，运算速度更快)。
第三点，获取网络输出不同，由从网络的第一个卷积块(第一行的最左侧卷积块)之外第一行其余全部卷积块输出的加权结果改为直接获取最后一个卷积块(第一行最右侧卷积块)输出结果。
将1中准备好的数据导入网络进行训练，网络以基于噪点检测的正则化项为损失函数，平均方差(Mean Square Error，MSE)为评价指标；网络在迭代60轮左右达到收敛，每轮耗时50分钟左右。
其中，深度神经网络中的损失函数是用来评估网络输出结果与标准结果间的差距的指标，通常在网络完成一个batch(批量，而批量大小(batchsize)表示一个批量导入并训练数据的张数)的训练后由程序自行调用。本方案中的基于噪点检测的正则化项为损失函数也是如此，噪点检测在调用该代价函数时进行计算是代价函数整个计算过程的一部分。此处以及下文提到的标准结果只在网络训练时使用，标准结果通常被称为GroundTruth(真值)。
基于噪点检测的正则化项的公式可以表示为：
(公式4)
其中，J表示代价函数计算的误差值，表示样本数量也即网络训练时使用的数
据量，比如使用上文中提到的30000组数据则样本数量=30000；x、y表示矩阵坐标（，、分别表示矩阵的高与宽）；O(x,y)表示网络预测，G
(x,y)表示标准输出；即前文的S；P(x,y)表示对网络的输入WP进行噪点检测的输出值；w表
示权重值由网络训练获得的参数决定并在训练中不断优化。
以上文中提到的WP、S为例，S与公式4中的G都表示网络训练中的标准输出，而公式4中的O表示网络对WP进行计算的结果。噪点检测是对网络中的输入进行计算，即WP。若网络输入的噪点值较大，表示该输入分辨率较低，此情况下的网络输出更容易偏离其真实值，需要对该结果进行惩罚即让代价函数输出误差值J增加，这个过程中权重w将根据网络参数不断自行调整达到最优。
噪点检测的公式由下式表示：
(公式5)
(公式6)
上式中NINT表示四舍五入运算，表示相位图。P的输出值为0或1，将相位图各个
点的噪声输出进行累加得到噪声等级，数值越高则相位整体偏离其真实值越多，在公式4中
表现为对参数的惩罚更大。
当公式5中取(表示变化量)时并结合公式6
即可计算出；根据公式5、公式6，当时的值由决定，也即点的噪声值由
其右方，下方，右下方三个点的相位值决定。其他位置也可根据公式5、公式6计算。计算中某
一位置噪点值由于取决于邻近点的相位值导致会被计算多次有不同结果(噪点值P的输出
值只有0或1)，则该点的噪点值最终结果取值为1。
3.后置网络数据准备。
后置网络的训练将使用真实的实验数据构成的实验数据集作为训练集以提高相位梯度计算结果的准确性。
(1)选取实验数据集中的两张B-scan图像，B1、B2。
其中，实验数据指的是由实验设备产生的数据；上文中前置网络使用由仿真程序生成的仿真数据训练网络，而此处的后置网络将使用实验数据(与上文的仿真数据无关)训练网络。
实验中，被测件(样本)被施加应力(受外部因素如温度、受力而形变导致物体内部各部分产生相互作用的内力，单位面积的内力称作应力)后其内部不断形变，该过程被摄像机以一定的时间间隔拍摄若干张，每一张被称为一帧，实验数据将选取前后或连续或间隔多帧的两张图像用于后置网络的数据准备即图3中的B1、B2。
(2)将B1、B2分别波长截断实现使用窄带宽光源获取B-scan的效果，得到Bn1、Bn2(低分辨率版本)；
(3)B1、B2、Bn1、Bn2分别加窗、波数插值、傅里叶变换得到对应相位P1、P2、Pn1、Pn2；
(4)P1与P2、Pn1与Pn2进行相位差分，得到差分相位WP，WPn；
(5)将差分相位WP、WPn进行裁剪、拉伸、旋转，得到图像增强后的相位WPA、WPnA；
(6)WPA通过训练好的前置网络进行预测，得到的预测结果相位梯度S；
(7)S作为网络输出，WPnA作为网络输入，组成后置网络的实验数据集。
图4中间的一条直线表示中心波长，上下两条线表示带宽原本宽度，其被中心波长均分，进行波长截断后带宽将变窄如黄线所示，依旧是被中心波长等分。对于实际图像处理时，波长截断将对原B-scan图像矩阵从中间行往起始行和末尾行取相同的行数，波长截断后的矩阵行数会减少而列数不变(保持原行数表示光源带宽不变)。截断后的图像尺寸会变化即行数减少，通过CZT变换进行尺寸的统一即上文中提到的细化后行数等同频点数M。
4.后置网络结构与训练。
后置网络的网络结构与前置网络完全相同，且超参数(网络训练开始前人为设定的参数，与网络开始训练后通过训练集得到的参数数据不同)设置也一致，训练集使用数据同样是30000组，不同之处只在于使用的数据集不同。后置网络的训练轮数与前置网络相近，都为60轮左右达到收敛。
注意，前置网络与后置网络是只有结构与超参数一致，但使用不同数据训练的两个独立的网络，前置网络将辅助生成后置网络所需要的训练集(如图3步骤(6)所示)。
5.网络关系与网络预测。
该部分具体细节与上文中前置网络数据准备、后置网络数据准备一致，该部分将描述两个网络在整体上的关系。对待预测数据进行预测只使用训练完成的后置网络，前置网络的工作只在训练阶段为后置网络处理并提供数据。
两个网络的关系与整个方法的实现过程为：
(1)使用仿真数据集训练前置网络；该数据获取如图1所示；
(2)获取实验数据进行波长截断获取其低分辨版本，并进行图像增强；此处提到的波长截断获取低分辨版本对应图3中的步骤(2)~(5)；
(3)将增强后的实验数据通过训练完成的前置网络进行预测得到其相位梯度；对应图3步骤(6)；
(4)低分辨率的实验数据作为输入，第(3)步获取的相位梯度作为标准输出，训练后置网络；
(5)使用训练好的后置网络对低分辨率待预测数据进行预测得到相位梯度。此处提到的低分辨率待预测数据，实际应用中通过使用窄带宽光源的光学相干层析仪器获取。
通过这个过程训练完成的后置网络可以将低分辨率的实验数据预测为高分辨率的相位梯度，且预测只需要一张实验数据的相位图即可，后续也不需要对网络进行额外的参数调整。
本方法在使用低分辨率相位图像时，能预测得到高分辨率的相位梯度图像，该方法计算所得结果相比矢量方法更清晰，更适合用于低分辨率的相位计算。
图3、图4中，a表示实验数据，a-1作为高分辨率对照带宽为75nm，a-2、a-3、a-4分别为10nm、7.5nm、5nm作为低分辨率进行实验；b代表矢量方法计算结果；c代表复合网络中的前置网络的计算结果；d代表复合网络中的后置网络的计算结果。
能够看出随着带宽的不断减小也即分辨率不断降低，矢量方法的计算结果将不可见；前置网络能一定程度进行低分辨率相位的梯度计算，但仍然会在5nm时计算错误；后置网络则可以在分辨率不断降低的情况下保持较好的预测结果。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (8)
1.一种相衬光学相干弹性成像的超分辨相位梯度估计方法，其特征在于，包括：
构建前置网络和后置网络；
使用仿真数据集训练前置网络；
获取实验数据集，对其中的实验数据进行波长截断获取其低分辨版本，并进行图像增强；将增强后的实验数据通过训练完成的前置网络进行预测得到其相位梯度；
将低分辨率版本的实验数据作为输入，所述相位梯度作为标准输出，训练后置网络；
使用训练好的后置网络对低分辨率待预测数据进行预测得到相位梯度。
2.根据权利要求1所述的相衬光学相干弹性成像的超分辨相位梯度估计方法，其特征在于，所述前置网络和后置网络的结构、参数配置一致，前置网络、后置网络以U-Net++网络为基础框架，并在U-Net++网络的基础上进行以下调整：
对网络中卷积块的处理过程进行调整，即：
每个卷积块的输入依次经过三次卷积层、组归一化处理、激活函数处理后，与卷积块的输入相加后再经过一次组归一化处理，最终得到卷积块的输出；
第二点，将网络中的上采样从上采样层改为反卷积层；
第三点，直接获取最后网络的最后一个卷积块输出结果作为网络的输出结果。
3.根据权利要求1所述的相衬光学相干弹性成像的超分辨相位梯度估计方法，其特征在于，所述前置网络和后置网络的损失函数表示为：
，
其中，表示样本数量也即网络训练时使用的数据量，x、y表示矩阵坐标，，/>、/>分别表示矩阵的高与宽；O(x,y)表示网络预测，G(x,y)表示标准输出；P(x,y)表示对网络的输入WP进行噪点检测的输出值，w表示权重值。
4.根据权利要求1所述的相衬光学相干弹性成像的超分辨相位梯度估计方法，其特征在于，所述前置网络的仿真数据集构建过程包括：
(1)随机生成高斯矩阵W作为位移矩阵；
(2)由设置的光源波长和光源带宽计算波数，并设置光程差矩阵L1；
(3)光程差矩阵L1与位移矩阵W叠加得到位移后光程差矩阵L2；
(4)根据光程差矩阵L1、L2分别计算B-scan，得到B1、B2；
(5)将B1、B2分别加窗、波数插值、傅里叶变换求得对应的相位P1、P2；
(6)P1与P2进行差分，得到差分相位WP；
(7)依据位移矩阵W求梯度，得到相位梯度矩阵S；
(8)WP作为网络输入，S作为网络输出，组成前置网络仿真数据集。
5.根据权利要求4所述的相衬光学相干弹性成像的超分辨相位梯度估计方法，其特征在于，加窗采用余弦窗Hann，B-scan的尺寸为由多个连续的A-scan拼接而成，加窗相当于对每个A-scan信号乘上一个窗函数，得到加窗后的结果记为Bw；
所述波数插值指的是将光源的波数转换为等差，并依据转换后的波数调整B-scan信号Bw，调整后的信号表示为Bw'；
采用CZT变换计算Bw'的傅里叶变换，得到信号Bc(k)，对Bc(k)求相位即可得到相位。
6.根据权利要求1所述的相衬光学相干弹性成像的超分辨相位梯度估计方法，其特征在于，所述后置网络的实验数据集的构建过程包括：
(1)选取实验数据集中的两张B-scan图像B1、B2；其中B1、B2为针对于被测件采集的前后连续或间隔多帧的两张图像；
(2)将B1、B2分别波长截断实现使用窄带宽光源获取B-scan的效果，得到Bn1、Bn2；
(3)B1、B2、Bn1、Bn2分别加窗、波数插值、傅里叶变换得到对应相位P1、P2、Pn1、Pn2；
(4)P1与P2、Pn1与Pn2进行相位差分，得到差分相位WP，WPn；
(5)将差分相位WP、WPn进行裁剪、拉伸、旋转，得到图像增强后的相位WPA、WPnA；
(6)WPA通过训练好的前置网络进行预测，得到的预测结果相位梯度S；
(7)S作为网络输出，WPnA作为网络输入，组成后置网络的实验数据集。
7.一种终端设备，包括处理器、存储器以及存储在所述存储器中的计算机程序；处理器执行计算机程序时，实现根据权利要求1-6中任一所述相衬光学相干弹性成像的超分辨相位梯度估计方法的步骤。
8.一种计算机可读存储介质，所述介质中存储有计算机程序；其特征在于，计算机程序被处理器执行时，实现根据权利要求1-6中任一所述相衬光学相干弹性成像的超分辨相位梯度估计方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311363317.7A CN117094897B (zh) | 2023-10-20 | 2023-10-20 | 一种相衬光学相干弹性成像的超分辨相位梯度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311363317.7A CN117094897B (zh) | 2023-10-20 | 2023-10-20 | 一种相衬光学相干弹性成像的超分辨相位梯度估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117094897A true CN117094897A (zh) | 2023-11-21 |
| CN117094897B CN117094897B (zh) | 2024-02-02 |
Family
ID=88772241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311363317.7A Active CN117094897B (zh) | 2023-10-20 | 2023-10-20 | 一种相衬光学相干弹性成像的超分辨相位梯度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117094897B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574789A (zh) * | 2024-01-17 | 2024-02-20 | 广东工业大学 | 一种提高相衬光学相干层析的深度测量量程的方法 |
| CN117574789B (zh) * | 2024-01-17 | 2024-05-10 | 广东工业大学 | 一种提高相衬光学相干层析的深度测量量程的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112862792A (zh) * | 2021-02-21 | 2021-05-28 | 北京工业大学 | 一种用于小样本图像数据集的小麦白粉病孢子分割方法 |
| US20220361848A1 (en) * | 2019-06-20 | 2022-11-17 | Koninklijke Philips N.V. | Method and system for generating a synthetic elastrography image |
| CN115877478A (zh) * | 2023-02-24 | 2023-03-31 | 山东全波石油技术开发有限公司 | 一种基于DualGAN的地震资料高分辨率处理方法 |
| CN116895349A (zh) * | 2023-07-19 | 2023-10-17 | 广东工业大学 | 基于贝叶斯神经网络的应变评估方法、装置及存储介质 |
-
2023
- 2023-10-20 CN CN202311363317.7A patent/CN117094897B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220361848A1 (en) * | 2019-06-20 | 2022-11-17 | Koninklijke Philips N.V. | Method and system for generating a synthetic elastrography image |
| CN112862792A (zh) * | 2021-02-21 | 2021-05-28 | 北京工业大学 | 一种用于小样本图像数据集的小麦白粉病孢子分割方法 |
| CN115877478A (zh) * | 2023-02-24 | 2023-03-31 | 山东全波石油技术开发有限公司 | 一种基于DualGAN的地震资料高分辨率处理方法 |
| CN116895349A (zh) * | 2023-07-19 | 2023-10-17 | 广东工业大学 | 基于贝叶斯神经网络的应变评估方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| XING WEI 等: "Deep Learning with Automatic Data Augmentation for Segmenting Schisis Cavities in the Optical Coherence Tomography Images of X-Linked Juvenile Retinoschisis Patients", DIAGNOSTICS, pages 1 - 19 * |
| YULEI BAI 等: "High-resolution optical coherence tomography using gapped spectrum and realvalued iterative adaptive approach", OPTICS EXPRESS, pages 3 - 13 * |
| 李浪宇 等: "图像超分辨率重建中的细节互补卷积模型", 中国图象图形学报, no. 04, pages 572 - 582 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117574789A (zh) * | 2024-01-17 | 2024-02-20 | 广东工业大学 | 一种提高相衬光学相干层析的深度测量量程的方法 |
| CN117574789B (zh) * | 2024-01-17 | 2024-05-10 | 广东工业大学 | 一种提高相衬光学相干层析的深度测量量程的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117094897B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7345208B2 (ja) | 学習非線形マッピングに基づく画像再構成方法 | |
| WO2020134826A1 (zh) | 磁共振并行成像方法及相关设备 | |
| Wang et al. | TPSSI-Net: Fast and enhanced two-path iterative network for 3D SAR sparse imaging | |
| CN110726992B (zh) | 基于结构稀疏和熵联合约束的sa-isar自聚焦法 | |
| US9316734B2 (en) | Free-hand scanning and imaging | |
| JP7359850B2 (ja) | 超音波信号の適応ビームフォーミングの方法及びシステム | |
| CN111956180B (zh) | 一种重建光声内窥层析图像的方法 | |
| CN111383741A (zh) | 医学成像模型的建立方法、装置、设备及存储介质 | |
| CN109875606B (zh) | 基于先验反射成像的超声ct声速成像的方法 | |
| CN109343060A (zh) | 基于深度学习时频分析的isar成像方法及系统 | |
| Mor et al. | A unified deep network for beamforming and speckle reduction in plane wave imaging: A simulation study | |
| Mamistvalov et al. | Deep unfolded recovery of sub-nyquist sampled ultrasound images | |
| Luijten et al. | Ultrasound signal processing: from models to deep learning | |
| CN117094897B (zh) | 一种相衬光学相干弹性成像的超分辨相位梯度估计方法 | |
| Laroche et al. | Fast non-stationary deconvolution of ultrasonic beamformed images for nondestructive testing | |
| FR2983999A1 (fr) | Procede de reconstruction d'un signal en imagerie medicale a partir de mesures experimentales perturbees, et dispositif d'imagerie medicale mettant en oeuvre ce procede | |
| CN116895349A (zh) | 基于贝叶斯神经网络的应变评估方法、装置及存储介质 | |
| CN116758120A (zh) | 一种基于深度学习的3t mra到7t mra的预测方法 | |
| CN108646242B (zh) | 一种针对复杂目标的多子波段雷达数据融合成像方法 | |
| Liu et al. | A multiscale residual U-net architecture for super-resolution ultrasonic phased array imaging from full matrix capture data | |
| Tang et al. | Learning spatially variant degradation for unsupervised blind photoacoustic tomography image restoration | |
| Wang et al. | USCT image reconstruction: acceleration using Gauss-Newton preconditioned conjugate gradient | |
| Hopp et al. | Experimental analysis of ray-based sound speed reconstruction algorithms for phase aberration corrected USCT SAFT imaging | |
| Sebastianelli et al. | A speckle filter for SAR Sentinel-1 GRD data based on Residual Convolutional Neural Networks | |
| Dou et al. | Deep Learning Imaging for 1-D Aperture Synthesis Radiometers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |