CN116563116A - 一种基于复值神经网络的oct轴向超分辨方法及系统 - Google Patents
一种基于复值神经网络的oct轴向超分辨方法及系统 Download PDFInfo
- Publication number
- CN116563116A CN116563116A CN202310835841.3A CN202310835841A CN116563116A CN 116563116 A CN116563116 A CN 116563116A CN 202310835841 A CN202310835841 A CN 202310835841A CN 116563116 A CN116563116 A CN 116563116A
- Authority
- CN
- China
- Prior art keywords
- complex
- oct
- resolution
- axial
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000001228 spectrum Methods 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000003062 neural network model Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 9
- 238000006731 degradation reaction Methods 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000012014 optical coherence tomography Methods 0.000 description 131
- 230000009286 beneficial effect Effects 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于复值神经网络的OCT轴向超分辨方法及系统，涉及图像处理和成像技术领域，方法包括：用OCT采集样品的干涉信号，利用光谱截取的方式生成人为退化的OCT低轴向分辨率复数B‑scan图像，制作数据集设计用于超分辨的复值神经网络和损失函数；用数据集对所述模型进行训练，学习OCT低轴向分辨率复数B‑scan图像和OCT高轴向分辨率复数B‑scan图像的映射关系，实现轴向超分辨；利用深度学习对OCT复数信号进行处理；本发明考虑到了OCT信号的复数特征，通过数字信号处理技术实现OCT的轴向超分辨，具有实际物理意义；无需对现有设备进行硬件改进，成本低。
Description
技术领域
本发明涉及图像处理和成像技术领域，尤其涉及一种基于复值神经网络的OCT轴向超分辨方法及系统。
背景技术
光学相干断层扫描（Optical coherence tomography，OCT）是一种新型的非侵入性的光学成像技术。它通过检测样品在不同深度的背向反射或多次散射的光信号实现结构成像。OCT的高分辨率断层成像和高对比度成像的能力让它在心脏病学、胃肠病学、皮肤病学和眼科领域获得较大应用。相较于超声成像、X-射线计算机断层扫描、磁共振成像等医学成像技术相比，OCT具有更高的分辨率。和共聚焦显微、单光子显微、双光子显微等显微成像技术相比，OCT具有更强的层析能力。因此，它填补了两类成像技术的空白。
为了进一步提升OCT高分辨率的优势，许多研究人员利用基于硬件的方法实现分辨率的提升。如利用宽带钛宝石激光器实现2.5 μm的轴向分辨率；利用可见光波段实现小于2μm的轴向分辨率。然而，这些基于硬件的方法会提升OCT的复杂度与成本，不利于它的商业化。OCT成像系统中的色散会导致轴向分辨率的下降，因此一些基于信号处理的OCT色散矫正方法也被用来提高轴向分辨率。但OCT的轴向分辨率受OCT光源中心波长和带宽的限制，这种色散矫正方法无法大幅提高OCT的分辨率。近年来，一些深度学习方法也被用在OCT的轴向和横向分辨率提升上，但是这些基于实值神经网络的方法并没有考虑到OCT信号固有的复数特性，因此在进行深度学习的时候这些神经网络会抛弃OCT信号的相位，只使用OCT信号的幅度。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述存在的问题，提出了本发明。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种基于复值神经网络的OCT轴向超分辨方法，包括：
用OCT系统采集样品的原始数据，对原始数据进行预处理得到OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像，最终得到数据集；
基于复值神经网络构建用于OCT轴向超分辨的复值神经网络模型；
构建用于所述复值神经网络模型训练的损失函数；
利用所述数据集对所述复值神经网络进行训练，验证和测试，将训练好的复值神经网络用于实现OCT的轴向超分辨。
作为基于复值神经网络的OCT轴向超分辨方法的一种优选方案，其中：
所述用OCT系统采集样品的原始数据，对原始数据进行预处理得到OCT高轴向分辨率复数B-scan图像包括：首先使用OCT系统采集样品得到原始数据，将原始B-scan数据的每列A-scan减去参考光谱；然后将每列A-scan乘上与A-scan相同长度的汉宁窗；接着对每列A-scan进行色散矫正和光谱仪的非线性矫正；最后对B-scan中的每列A-scan进行快速傅里叶变换得到OCT高轴向分辨率复数B-scan图像。
作为基于复值神经网络的OCT轴向超分辨方法的一种优选方案，其中：
所述利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像包括：首先使用OCT系统采集样品得到原始数据，将原始B-scan数据的每列A-scan减去参考光谱；然后截取每列A-scan中间位置的部分光谱数据，并对截取后的A-scan乘上与A-scan相同长度的汉宁窗；用0对每列A-scan中未被截取到的位置进行填充使A-scan恢复到截取前的长度；接着对每列A-scan进行色散矫正和光谱仪的非线性矫正；最后对B-scan中的每列A-scan进行快速傅里叶变换得到OCT低轴向分辨率复数B-scan图像。
作为基于复值神经网络的OCT轴向超分辨方法的一种优选方案，其中：
所述最终得到用于网络训练、验证和测试的数据集包括：将复数B-scan图像保存；将对应的低轴向分辨率图像和高轴向分辨率图像构建数据集。
作为基于复值神经网络的OCT轴向超分辨方法的一种优选方案，其中：
所述基于复值神经网络构建用于OCT轴向超分辨的复值神经网络模型包括：采用复值神经网络作为深度学习的超分辨模型，所述复值神经网络由浅层特征提取、深层特征提取和图像重建三个模块组成；输入OCT低轴向分辨率复数B-scan图像到复值神经网络，输出OCT轴向超分辨复数B-scan图像；将OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度计算损失函数并进行反向传播，从而更新网络参数，反复训练直到复值神经网络收敛。
作为基于复值神经网络的OCT轴向超分辨方法的一种优选方案，其中：
所述构建用于所述复值神经网络模型训练的损失函数包括：所述损失函数作为OCT轴向超分辨的复值神经网络在训练阶段的优化目标；
所述损失函数的计算是基于实数域的，在损失函数计算前，需要分别计算OCT高轴向分辨率复数B-scan图像和所述复值神经网络输出的OCT轴向超分辨复数B-scan图像的幅度。
作为基于复值神经网络的OCT轴向超分辨方法的一种优选方案，其中：
所述构建用于所述复值神经网络模型训练的损失函数还包括：所述损失函数的表达式为：
；
；
；
其中，代表Charbonnier损失函数，/>代表多尺度结构相似性指数MS-SSIM损失函数，/>代表OCT轴向超分辨复数B-scan图像的幅度的第i行第j列的像素值，/>代表OCT高轴向分辨率复数B-scan图像的幅度的第i行第j列的像素值，h和w分别代表图像的高度和宽度，常数/>设为0.003；/>代表MS-SSIM计算时采用的最大的图像缩小尺度，图像的宽和高以2M-1为因子进行缩小，若M=2，则图像的宽和高缩小至原来的一半，常数/>；/>代表OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度在图像缩小尺度M下的亮度相似性因子，/>和/>代表OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度在图像缩小尺度j下的对比度相似性因子和结构相似性因子；系数/>和/>分别设为0.16和0.84，/>代表用于所述复值神经网络模型训练的损失函数。
第二方面，本发明实施例提供了一种基于复值神经网络的OCT轴向超分辨系统，其特征在于，包括：
数据集构建模块，用OCT系统采集样品的原始数据，进行预处理得到OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像，最终得到用于网络训练的数据集；
模型构建模块，基于复值神经网络用于构建用于OCT轴向超分辨的复值神经网络模型；
损失函数构建模块，用于构建用于所述复值神经网络模型训练的损失函数；
训练验证测试模块，用于利用所述数据集对所述复值神经网络进行训练，验证和测试。
第三方面，本发明实施例提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的基于复值神经网络的OCT轴向超分辨方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现所述的基于复值神经网络的OCT轴向超分辨方法。
本发明的有益效果：本发明考虑到了OCT信号的复数特征，通过数字信号处理技术实现OCT的轴向超分辨，具有实际物理意义；利用复值神经网络对OCT进行轴向超分辨，无需对现有设备进行硬件改进，成本低；利用OCT信号的幅度和相位进行深度学习，有利于神经网络模型学习OCT低轴向分辨率图像和OCT高轴向分辨率图像的映射关系；本发明对OCT的设备要求低，适用性强，泛化性强。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1 是本发明第一个实施例所述的基于复值神经网络的OCT轴向超分辨方法的整体流程图；
图2 是本发明第一个实施例所述的基于复值神经网络的OCT轴向超分辨方法的复值神经网络结构图；
图3 是本发明第一个实施例所述的基于复值神经网络的OCT轴向超分辨方法的复值神经网络中的CVSR Block结构示意图；
图4 是本发明第二个实施例所述的基于复值神经网络的OCT轴向超分辨方法的仿真实例中进行测试的离体猪食管的OCT低轴向分辨率B-scan图像；
图5 是本发明第二个实施例所述的基于复值神经网络的OCT轴向超分辨方法的仿真实例中对进行离体猪食管的OCT低轴向分辨率B-scan图像进行轴向超分辨的结果。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1，为本发明的第一个实施例，该实施例提供了一种基于复值神经网络的OCT轴向超分辨方法，包括：
S1：用OCT系统采集样品的原始数据，对原始数据进行预处理得到OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像，最终得到用于网络训练、验证和测试的数据集。
具体的，所述用OCT系统采集样品的原始数据，对原始数据进行预处理得到OCT高轴向分辨率复数B-scan图像包括：首先使用OCT系统采集样品得到原始数据，将原始B-scan数据的每列A-scan减去参考光谱；然后将每列A-scan乘上与A-scan相同长度的汉宁窗；接着对每列A-scan进行色散矫正和光谱仪的非线性矫正；最后对B-scan中的每列A-scan进行快速傅里叶变换得到OCT高轴向分辨率复数B-scan图像。
更进一步的，所述利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像包括：首先使用OCT系统采集样品得到原始数据，将原始B-scan数据的每列A-scan减去参考光谱；然后截取每列A-scan中间位置的部分光谱数据，并对截取后的A-scan乘上与A-scan相同长度的汉宁窗；用0对每列A-scan中未被截取到的位置进行填充使A-scan恢复到截取前的长度；接着对每列A-scan进行色散矫正和光谱仪的非线性矫正；最后对B-scan中的每列A-scan进行快速傅里叶变换得到OCT低轴向分辨率复数B-scan图像。
更进一步的，所述最终得到用于网络训练、验证和测试的数据集包括：将复数B-scan图像以txt文件形式保存；将对应的低轴向分辨率图像和高轴向分辨率图像构建数据集。
S2：基于复值神经网络构建用于OCT轴向超分辨的复值神经网络模型；
具体的，所述基于复值神经网络构建用于OCT轴向超分辨的复值神经网络模型包括：采用复值神经网络作为深度学习的超分辨模型，所述复值神经网络由浅层特征提取、深层特征提取和图像重建三个模块组成；输入OCT低轴向分辨率复数B-scan图像到复值神经网络，输出OCT轴向超分辨复数B-scan图像；将OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度计算损失函数并进行反向传播，从而更新网络参数，反复训练直到复值神经网络收敛。
应说明的是，本发明实施例复值神经网络结构如图2所示，包含浅层特征提取、深层特征提取和图像重建三个模块：
实施例中复值卷积层对任意一个复值输入图像/>和任意一个复值卷积核/>进行复值卷积操作，它可以表示为：/>；
实施例中所用复值激活层为复值ReLU层，它可以表示为：
；
其中ReLU(·)代表实值激活层：
。
实施例中Multi层代表将输入图像乘系数k并输出；
实施例中框线箭头与加号代表残差连接；曲线箭头代表通道堆叠，即稠密连接。
S3：构建用于所述复值神经网络模型训练的损失函数；
具体的，所述构建用于所述复值神经网络模型训练的损失函数包括：所述损失函数作为OCT轴向超分辨的复值神经网络在训练阶段的优化目标；
所述损失函数的计算是基于实数域的，在损失函数计算前，需要分别计算OCT高轴向分辨率复数B-scan图像和所述复值神经网络输出的OCT轴向超分辨复数B-scan图像的幅度。
更进一步的，所述损失函数的表达式为：
；
；
；
其中，代表Charbonnier损失函数，/>代表多尺度结构相似性指数MS-SSIM损失函数，/>代表OCT轴向超分辨复数B-scan图像的幅度的第i行第j列的像素值，/>代表OCT高轴向分辨率复数B-scan图像的幅度的第i行第j列的像素值，h和w分别代表图像的高度和宽度，常数/>设为0.003；/>代表MS-SSIM计算时采用的最大的图像缩小尺度，图像的宽和高以2M-1为因子进行缩小，若M=2，则图像的宽和高缩小至原来的一半，常数/>；/>代表OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度在图像缩小尺度M下的亮度相似性因子，/>和/>代表OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度在图像缩小尺度j下的对比度相似性因子和结构相似性因子；系数/>和/>分别设为0.16和0.84，/>代表用于所述复值神经网络模型训练的损失函数。
S4：利用所述数据集对所述复值神经网络进行训练，验证和测试，将训练好的复值神经网络用于实现OCT的轴向超分辨。
应说明的是，本发明实施时，首先使用OCT系统采集样品的干涉信号，利用光谱截取的方式得到OCT低轴向分辨率B-scan图像，与OCT高轴向分辨率B-scan图像构建用于所述模型训练、验证和测试的数据集；然后让所述复值神经网络在所述损失函数的优化下，学习OCT低轴向分辨率B-scan图像和OCT高轴向分辨率B-scan图像的映射关系得到最优模型；最后利用数据集对最优模型进行测试，得到OCT轴向超分辨B-scan图像。
上述为本实施例的一种基于复值神经网络的OCT轴向超分辨方法的示意性方案。需要说明的是，基于复值神经网络的OCT轴向超分辨系统的技术方案与上述的基于复值神经网络的OCT轴向超分辨方法的技术方案属于同一构思，本实施例中基于复值神经网络的OCT轴向超分辨系统的技术方案未详细描述的细节内容，均可以参见上述基于复值神经网络的OCT轴向超分辨方法的技术方案的描述。
本实施例中基于复值神经网络的OCT轴向超分辨系统，包括：
数据集构建模块，用OCT系统采集样品的原始数据，进行预处理得到OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像，最终得到用于网络训练的数据集；
模型构建模块，基于复值神经网络用于构建用于OCT轴向超分辨的复值神经网络模型；
损失函数构建模块，用于构建用于所述复值神经网络模型训练的损失函数；
训练验证测试模块，用于利用所述数据集对所述复值神经网络进行训练，验证和测试。
本实施例还提供一种计算设备，适用于基于复值神经网络的OCT轴向超分辨方法的情况，包括：
存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的基于复值神经网络的OCT轴向超分辨方法。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现基于复值神经网络的OCT轴向超分辨方法。
本实施例提出的存储介质与上述实施例提出的实现基于复值神经网络的OCT轴向超分辨方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
实施例2
参照图2-图5，为本发明的一个实施例，提供了一种基于复值神经网络的OCT轴向超分辨方法，为了验证本发明的有益效果，通过仿真实验进行科学论证。
首先获得轴向分辨率约为1.5微米的OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式获得OCT低轴向分辨率复数B-scan图像，构成低分辨率和高分辨率图像对。将图像对进行裁剪，去除信号较弱的图像和特征不明显的图像，一共得到图像大小为256像素×256像素的1100对图像。最后，将其中800对作为训练集，150对作为验证集，150对作为测试集。
浅层特征提取模块包含2个通道数为64，卷积核为3×3，步长为1的层。
深层特征提取模块包含4个CVSR Block，1个通道堆叠层（Concatenate）和1个通道数为64，卷积核为1×1，步长为1的层。CVSR Block的结构如图3所示，它由2个残差块（Residual Block），1个通道堆叠层，1个通道数为64，卷积核为1×1，步长为1的/>层组成和1个Multi层组成。残差块包含2个通道数为64，卷积核为3×3，步长为1的/>层，1个ℂReLU层和1个Multi层；
图像重建模块包含1个通道数为64，卷积核为3×3，步长为1的层和1个通道数为64，卷积核为3×3，步长为1的/>层。
本实施例中采用Charbonnier损失函数和多尺度结构相似度（Multiscale SSIM，MS-SSIM）进行线性组合的损失函数；该损失函数的表达式为：
；
；
；
其中，h和w分别代表图像的高度和宽度，被设为0.003以此提升Charbonnier损失函数遇到异常值的鲁棒性。/>代表MS-SSIM计算时采用的最大尺度，/>。系数/>和/>分别设为0.16和0.84。
将得到的训练集用于对复值神经网络的训练；所述模型采用Adam算法精选优化，该优化器的超参数设置为和/>；所述模型的所有层的初始学习率都设置为0.001，每进行30 epochs将学习率降低一半；训练时的batch设置为2；所述模型将被训练100 epochs（42500 iterations）以此确保模型收敛；
在训练的过程中，记录验证集每个epoch下的损失函数值的大小，训练完毕后取验证损失函数值最小的作为复值神经网络最优模型。
加载复值神经网络最优模型，对所述网络模型输入OCT低轴向分辨率复数B-scan图像，得到OCT轴向超分辨复数B-scan图像。
利用计算幅度的方式对B-scan复数图像进行可视化。
本实施例均在深度学习Pytorch下完成。
如图4和图5所示，给了本发明的OCT轴向超分辨结果。图4 为离体猪食管的OCT低轴向分辨率B-scan图像，图5为离体猪食管的OCT轴向超分辨B-scan图像。从图4和图5中可以看出，轴向超分辨图像比轴向低分辨率图像更加清晰，本发明提高了OCT低轴向分辨率B-scan图像的分辨率。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于复值神经网络的OCT轴向超分辨方法，其特征在于，包括：
用OCT系统采集样品的原始数据，对原始数据进行预处理得到OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像，最终得到数据集；
基于复值神经网络构建用于OCT轴向超分辨的复值神经网络模型；
构建用于所述复值神经网络模型训练的损失函数；
利用所述数据集对所述复值神经网络进行训练，验证和测试，将训练好的复值神经网络用于实现OCT的轴向超分辨。
2.如权利要求1所述的基于复值神经网络的OCT轴向超分辨方法，其特征在于，所述用OCT系统采集样品的原始数据，对原始数据进行预处理得到OCT高轴向分辨率复数B-scan图像包括：首先使用OCT系统采集样品得到原始数据，将原始B-scan数据的每列A-scan减去参考光谱；然后将每列A-scan乘上与A-scan相同长度的汉宁窗；接着对每列A-scan进行色散矫正和光谱仪的非线性矫正；最后对B-scan中的每列A-scan进行快速傅里叶变换得到OCT高轴向分辨率复数B-scan图像。
3.如权利要求1或2所述的基于复值神经网络的OCT轴向超分辨方法，其特征在于，所述利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像包括：首先使用OCT系统采集样品得到原始数据，将原始B-scan数据的每列A-scan减去参考光谱；然后截取每列A-scan中间位置的部分光谱数据，并对截取后的A-scan乘上与A-scan相同长度的汉宁窗；用0对每列A-scan中未被截取到的位置进行填充使A-scan恢复到截取前的长度；接着对每列A-scan进行色散矫正和光谱仪的非线性矫正；最后对B-scan中的每列A-scan进行快速傅里叶变换得到OCT低轴向分辨率复数B-scan图像。
4.如权利要求3所述的基于复值神经网络的OCT轴向超分辨方法，其特征在于，所述最终得到用于网络训练、验证和测试的数据集包括：将复数B-scan图像保存；将对应的低轴向分辨率图像和高轴向分辨率图像构建数据集。
5.如权利要求4所述的基于复值神经网络的OCT轴向超分辨方法，其特征在于，所述基于复值神经网络构建用于OCT轴向超分辨的复值神经网络模型包括：采用复值神经网络作为深度学习的超分辨模型，所述复值神经网络由浅层特征提取、深层特征提取和图像重建三个模块组成；输入OCT低轴向分辨率复数B-scan图像到复值神经网络，输出OCT轴向超分辨复数B-scan图像；将OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度计算损失函数并进行反向传播，从而更新网络参数，反复训练直到复值神经网络收敛。
6.如权利要求5所述的基于复值神经网络的OCT轴向超分辨方法，其特征在于，所述构建用于所述复值神经网络模型训练的损失函数包括：所述损失函数作为OCT轴向超分辨的复值神经网络在训练阶段的优化目标；
所述损失函数的计算是基于实数域的，在损失函数计算前，需要分别计算OCT高轴向分辨率复数B-scan图像和所述复值神经网络输出的OCT轴向超分辨复数B-scan图像的幅度。
7.如权利要求6所述的基于复值神经网络的OCT轴向超分辨方法，其特征在于，所述构建用于所述复值神经网络模型训练的损失函数还包括：所述损失函数的表达式为：
；
；
；
其中，代表Charbonnier损失函数，/>代表多尺度结构相似性指数MS-SSIM损失函数，/>代表OCT轴向超分辨复数B-scan图像的幅度的第i行第j列的像素值，/>代表OCT高轴向分辨率复数B-scan图像的幅度的第i行第j列的像素值，h和w分别代表图像的高度和宽度，常数/>设为0.003；/>代表MS-SSIM计算时采用的最大的图像缩小尺度，图像的宽和高以2M-1为因子进行缩小，若M=2，则图像的宽和高缩小至原来的一半，常数/>；/>代表OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度在图像缩小尺度M下的亮度相似性因子，/>和/>代表OCT轴向超分辨复数B-scan图像的幅度和OCT高轴向分辨率复数B-scan图像的幅度在图像缩小尺度j下的对比度相似性因子和结构相似性因子；系数/>和/>分别设为0.16和0.84，/>代表用于所述复值神经网络模型训练的损失函数。
8.一种采用如权利要求1~7任一所述的基于复值神经网络的OCT轴向超分辨方法的OCT轴向超分辨系统，其特征在于，包括：
数据集构建模块，用OCT系统采集样品的原始数据，进行预处理得到OCT高轴向分辨率复数B-scan图像，利用光谱截取的方式对原始数据进行轴向分辨率退化，得到OCT低轴向分辨率复数B-scan图像，最终得到用于网络训练的数据集；
模型构建模块，基于复值神经网络用于构建用于OCT轴向超分辨的复值神经网络模型；
损失函数构建模块，用于构建用于所述复值神经网络模型训练的损失函数；
训练验证测试模块，用于利用所述数据集对所述复值神经网络进行训练，验证和测试。
9.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述基于复值神经网络的OCT轴向超分辨方法的步骤。
10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述基于复值神经网络的OCT轴向超分辨方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310835841.3A CN116563116B (zh) | 2023-07-10 | 2023-07-10 | 一种基于复值神经网络的oct轴向超分辨方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310835841.3A CN116563116B (zh) | 2023-07-10 | 2023-07-10 | 一种基于复值神经网络的oct轴向超分辨方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563116A true CN116563116A (zh) | 2023-08-08 |
| CN116563116B CN116563116B (zh) | 2023-12-05 |
Family
ID=87488370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310835841.3A Active CN116563116B (zh) | 2023-07-10 | 2023-07-10 | 一种基于复值神经网络的oct轴向超分辨方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563116B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220058803A1 (en) * | 2019-02-14 | 2022-02-24 | Carl Zeiss Meditec Ag | System for oct image translation, ophthalmic image denoising, and neural network therefor |
| CN114332278A (zh) * | 2021-12-30 | 2022-04-12 | 上海理工大学 | 一种基于深度学习的octa图像运动矫正方法 |
| US20220240879A1 (en) * | 2021-02-01 | 2022-08-04 | Medtronic Navigation, Inc. | Systems and methods for low-dose ai-based imaging |
| CN114972033A (zh) * | 2022-06-07 | 2022-08-30 | 南开大学 | 一种提高光学相干层析图像纵向分辨率的自监督方法 |
| CN115965701A (zh) * | 2022-12-05 | 2023-04-14 | 佛山科学技术学院 | 一种提高oct成像速度的方法及系统 |
-
2023
- 2023-07-10 CN CN202310835841.3A patent/CN116563116B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220058803A1 (en) * | 2019-02-14 | 2022-02-24 | Carl Zeiss Meditec Ag | System for oct image translation, ophthalmic image denoising, and neural network therefor |
| US20220240879A1 (en) * | 2021-02-01 | 2022-08-04 | Medtronic Navigation, Inc. | Systems and methods for low-dose ai-based imaging |
| CN114332278A (zh) * | 2021-12-30 | 2022-04-12 | 上海理工大学 | 一种基于深度学习的octa图像运动矫正方法 |
| CN114972033A (zh) * | 2022-06-07 | 2022-08-30 | 南开大学 | 一种提高光学相干层析图像纵向分辨率的自监督方法 |
| CN115965701A (zh) * | 2022-12-05 | 2023-04-14 | 佛山科学技术学院 | 一种提高oct成像速度的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 胡志恒, 李春光, 王炎滨, 虞厥邦: "一种复值函数型连接神经网络", 信号处理, no. 02 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563116B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Artifact removal using improved GoogLeNet for sparse-view CT reconstruction | |
| Jin et al. | Deep convolutional neural network for inverse problems in imaging | |
| Kuanar et al. | Low dose abdominal CT image reconstruction: an unsupervised learning based approach | |
| US20200126190A1 (en) | Systems and methods for denoising medical images with deep learning network | |
| CN111951344B (zh) | 一种基于级联并行卷积网络的磁共振图像重建方法 | |
| Vedula et al. | Towards CT-quality ultrasound imaging using deep learning | |
| Liu et al. | Fusing multi-scale information in convolution network for MR image super-resolution reconstruction | |
| CN115953494B (zh) | 基于低剂量和超分辨率的多任务高质量ct图像重建方法 | |
| CN111178499B (zh) | 一种基于生成对抗网络改进的医学图像超分辨率方法 | |
| CN111999731B (zh) | 一种基于感知生成对抗网络的电磁逆散射成像方法 | |
| WO2022246677A1 (zh) | 一种增强ct图像的重建方法 | |
| CN115760586A (zh) | 一种基于多尺度注意力生成对抗网络的医学图像增强方法 | |
| Zhang et al. | CNN and multi-feature extraction based denoising of CT images | |
| Ghosh et al. | SDCA: a novel stack deep convolutional autoencoder–an application on retinal image denoising | |
| Li et al. | An adaptive self-guided wavelet convolutional neural network with compound loss for low-dose CT denoising | |
| Zhao et al. | Medical images super resolution reconstruction based on residual network | |
| Yu et al. | Self-supervised blind2unblind deep learning scheme for oct speckle reductions | |
| Sahu et al. | An application of deep dual convolutional neural network for enhanced medical image denoising | |
| Wang et al. | MHAN: Multi-Stage Hybrid Attention Network for MRI reconstruction and super-resolution | |
| CN116563116B (zh) | 一种基于复值神经网络的oct轴向超分辨方法及系统 | |
| CN116071239B (zh) | 一种基于混合注意力模型的ct图像超分辨方法和装置 | |
| Fu et al. | ADGAN: An asymmetric despeckling generative adversarial network for unpaired OCT image speckle noise reduction | |
| Xie et al. | Joint reconstruction and calibration using regularization by denoising with application to computed tomography | |
| Haq et al. | Block-based compressed sensing of MR images using multi-rate deep learning approach | |
| CN115311135A (zh) | 一种基于3dcnn的各向同性mri分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |