CN117315068A - 基于三维卷积神经网络的无散斑光学相干层析成像方法 - Google Patents

基于三维卷积神经网络的无散斑光学相干层析成像方法 Download PDF

Info

Publication number
CN117315068A
CN117315068A CN202311293845.XA CN202311293845A CN117315068A CN 117315068 A CN117315068 A CN 117315068A CN 202311293845 A CN202311293845 A CN 202311293845A CN 117315068 A CN117315068 A CN 117315068A
Authority
CN
China
Prior art keywords
dimensional
image
convolutional neural
neural network
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311293845.XA
Other languages
English (en)
Inventor
倪光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Muguang Ren Technology Co ltd
Original Assignee
Chengdu Muguang Ren Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Muguang Ren Technology Co ltd filed Critical Chengdu Muguang Ren Technology Co ltd
Priority to CN202311293845.XA priority Critical patent/CN117315068A/zh
Publication of CN117315068A publication Critical patent/CN117315068A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请提供了基于三维卷积神经网络的无散斑光学相干层析成像方法，该方法包括步骤：OCT图像采集，三维图像配对，三维卷积神经网络去噪，二维网络去噪，OCT集成去噪；由OCT图像采集步骤采集各类样本的噪声三维数据，之后三维数据被三维图像配对步骤处理获得目标内容相似但噪声不相关的两个噪声三维图像，分别作为三维输入图像和基准图像输入三维卷积神经网络去噪步骤，再根据蒸馏学习策略训练二维网络去噪步骤，最后，训练好的三维卷积神经网络和二维网络在OCT集成去噪步骤被集合。通过利用本发明，实现了对任意采集的三维、二维图像种散斑噪声的提取并去除，解析了被散斑噪声所掩盖的微小的细节生物结构信息，大大提升了OCT成像质量。

Description

基于三维卷积神经网络的无散斑光学相干层析成像方法
技术领域
本发明涉及OCT技术领域，尤其是涉及基于三维卷积神经网络的无散斑光学相干层析成像技术。
背景技术
光学相干断层扫描(Optical Coherence Tomography,OCT)是一项在生物医学领域具有重要意义的高科技成像技术，其非侵入性特点使其在医学影像学中得以广泛应用。OCT的核心原理是利用光的干涉效应，通过测量光线在不同深度处反射或散射的程度，从而生成生物组织的高分辨率三维图像，这种技术不需要手术或注射对患者产生不适，因此在临床医学中具有巨大的潜力。OCT在眼底成像和视网膜病变检测方面表现出色，尤其是在早期疾病诊断和治疗跟踪中，它可以帮助医生非常详细地观察到视网膜的结构，从而更好地了解和治疗眼部疾病，例如黄斑变性、青光眼和视网膜脱离等。在心血管领域，通过OCT技术，医生可以实时观察血管内部的情况，检测血管壁的异常，发现和研究动脉粥样硬化等心血管疾病。这种高分辨率的成像技术使医生能够更精确地进行介入性手术和决策，减少了手术风险。此外，OCT还在皮肤病学和其他医学领域有着广泛的应用，在皮肤病学中，它可以用来观察皮肤层次结构，帮助诊断和治疗皮肤疾病，例如皮肤癌和湿疹。在口腔医学、神经科学和内科学中，OCT也有着各种潜在应用，为医学研究和临床实践提供了新的视角。
但是，由于其光学相干的特性，不可避免地会接收到其他物质后向散射产生散斑噪声，散斑噪声会干扰样本结构，导致样本结构细节丢失、成像质量下降，进而对医生的精确诊断带来困扰。常见的解决办法是使用散斑调制光学相干层析(Speckle-modulating-OCT,SM-OCT)成像装置，在样本的同一个位置重复扫描多帧，获得大量不相关的散斑噪声，再利用多帧平均法去除散斑噪声，但是这种技术由于要重复扫描导致消耗大量的采集时间，并且该装置会降低OCT成像灵敏度，大大降低成像深度。
已有的基于有监督的深度学习的方法，需要使用干净图像作为训练基准图像，而干净图像难以获取是公认的，在实际应用中实现难度大。已有基于无监督的深度学习方法，利用单张OCT横截面图像实现去噪，虽然解决了需要干净图像的问题，但是单张图像丢失了OCT三维扫描的空间结构特性，导致生成的去噪图像难以恢复样本细节结构信息。
发明内容
有鉴于此，针对现有技术的不足，本申请的目的在于提出一种基于三维卷积神经网络的无散斑光学相干层析成像方法，能够不需要提供无散斑图像，利用OCT完整的三维空间信息，实现对OCT噪声图像的去噪，本发明兼顾了三维OCT图像、二维OCT截面图像的去噪，能显著去除散斑噪声，解析被散斑遮挡的微小细节结构，提升OCT成像质量。
本发明的目的是通过以下技术方案实现的：
本发明提供了一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，包括以下步骤：OCT图像采集，采集样本的三维OCT图像；三维图像配对，将采集到的有噪声的三维图像采样为配对的具有空间结构相似、但空间散斑噪声不相关的特征的一对三维图像；三维卷积神经网络去噪，对采集到的三维图像进行处理，去除三维体积中的散斑噪声；二维网络去噪，低计算量消耗地去除OCT截面扫描图像的散斑噪声；OCT集成去噪，用于集成三维去噪网络、二维去噪网络，多模态去除OCT数据的散斑噪声。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的OCT图像采集步骤包括使用光学层析成像装置和存储装置采集三维图像，原始三维OCT图像为沿y轴方向堆叠的截面图像，x轴和y轴方向的扫描间距为与光束体积相当的合适距离。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的三维图像配对步骤包括子步骤：奇偶采样，随机抽取和随机裁剪；
所述的奇偶采样用于分别采样三维图像的奇数帧和偶数帧，将原三维图像分解为两个新三维图像；
所述的随机抽取用于对所述的两个新生成的三维图像的部分帧进行随机抽取并丢弃；
所述的随机裁剪用于对所述的被抽取后的三维图像进行随机区域的裁剪，得到体积变小的配对三维图像。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的三维卷积神经网络去噪步骤是训练三维卷积神经网络模型，用于提取并去除空间中的散斑噪声，获得三维去噪图像。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的二维网络去噪步骤是搭建一个生成对抗网络(GenerateAdversarial Network,GAN)，包括生成器模块和判别器模块，对所述训练好的三维卷积神经网络进行蒸馏学习，在消耗低计算量地、快速地去除OCT截面图像中的散斑噪声；
所述生成器模块用于将输入的二维噪声图像进行处理，生成接近无噪声图像的去噪图像；
所述的判别器模块将生成器模块生成的去噪图像与无噪声图像对比，判断所输入的图像是去噪图像还是无噪声图像。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的训练包括以下子步骤：
S1、采集各种种类的样本的OCT三维图像，经过所述的三维图像配对步骤生成配对的三维图像，作为训练数据集；
S2、将所述训练数据集中的配对图像，其一输入所述三维卷积神经网络并获得输出，计算输出与所述配对图像的其二的损失值，然后对所述三维卷积神经网络进行优化；
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的蒸馏学习包括以下子步骤：
S1、从采集到的三维图像中抽取二维噪声截面图像，从所述三维卷积神经网络输出的三维去噪图像中对应抽取二维去噪截面图像作为基准图像，制作蒸馏学习的数据集；
S2、将所述蒸馏学习数据集中的噪声图像输入所述二维网络的生成器模块，计算输出与所述基准图像的第一损失值；
S3、将所述生成器模块的输出与基准图像分别输入所述二维网络的判别器模块，判别所输入是去噪图像还是基准图像，计算第二损失值；
S4、综合所述第一损失值和第二损失值，优化所述生成器模块和判别器模块；
S5、迭代S2，S3，S4步骤，直至第一损失值和第二损失值减小并变化趋于平缓。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的三维卷积神经网络表示使用了三维卷积的各种深度学习网络模型及其变体，包括但不限于ResNet-3D、UNet-3D、DenseNet-3D及其优化网络结构。
本发明提供的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，还可以具有这样的技术特征，所述的OCT集成去噪步骤将训练好的三维卷积神经网络和二维网络集合在一起，多模态地实现OCT三维图像和截面图像的散斑噪声去除。
采用上述方案后，本发明的有益效果在于：
根据本发明的基于三维卷积神经网络的无散斑光学相干层析成像方法，首先无侵入地采集到了包括各类肉类、人体组织的三维OCT图像；其次，实现了三维图像中散斑噪声的提取并去除，解析了被散斑噪声所掩盖的微小的细节生物结构信息，提升了OCT成像质量；然后，实现了低计算量消耗地、快速地针对二维OCT截面图像去噪，达到了与三维网络效果接近的去噪成像。
本发明的基于三维卷积神经网络的无散斑光学相干层析成像方法，由于去除了散斑噪声，解析了微小细节，展示了原本看不到的病灶信息、血管信息，因此提高了医生诊断的便捷性和准确性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的流程图；
图2为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法中三维图像配对步骤的工作过程示意图；
图3为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法中三维数据训练集示意图；
图4为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法中仅利用配对三维噪声数据去噪的原理示意图；
图5为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法中三维卷积神经网络去噪步骤的网络训练过程示意图；
图6为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法中二维网络去噪步骤的网络训练过程示意图；
图7为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的视网膜去噪结果示意图；
图8为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的人体皮肤去噪结果示意图；
图9为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的人体胎盘去噪结果示意图；
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中的附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，本申请基于三维处理方法，所描述的对三维图像进行散斑去除的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于OCT技术领域。
光学相干断层扫描(Optical Coherence Tomography,OCT)是一项在生物医学领域具有重要意义的高科技成像技术，其非侵入性特点使其在医学影像学中得以广泛应用。但是，由于其光学相干的特性，不可避免地会接收到其他物质后向散射产生散斑噪声，散斑噪声会干扰样本结构，导致样本结构细节丢失、成像质量下降，进而对医生的精确诊断带来困扰。所以，如何生成分辨率高的OCT图像成为了不容小觑的技术问题。
基于此，本申请实施例提供了一种三维卷积神经网络的无散斑光学相干层析成像方法，通过利用OCT扫描获取的三维图像中的空间结构信息，不需要提供无散斑图像，使用三维卷积神经网络处理，获得了能够去除散斑噪声、保留细节、解析微小的生物结构信息的OCT成像，大大提高了OCT的成像质量，方便医生在实际应用中的临床诊断准确率。
请参阅图1，图1为本申请实施例所提供的一种卷积神经网络的无散斑光学相干层析成像方法的流程图。如图1中所示，本申请实施例提供的成像方法，包括以下步骤：OCT图像采集，三维图像配对，三维卷积神经网络去噪，二维网络去噪，OCT集成去噪，其中：
OCT图像采集步骤用于采集三维OCT图像，本实施例中的三维OCT图像的采集具有特定的x，y方向的横向位移，该横向位移取决于光束的体积大小，本申请控制横向位移略小于光束体积大小以获得包含大量不相关散斑噪声和相似样本信息的OCT三维图像。其中，三维图像的存储方式是沿x方向堆叠的多张截面图像。
这里，根据以下公式决定采集OCT图像时要求的x，y方向的横向位移大小，使得采集到的三维图像具有空间散斑噪声不相关特性：
其中，d表示可控制的横向位移大小，ω表示光源光束的高斯束腰直径，ρ表示OCT图像中一次横向位移采集到的相邻A-line的散斑互相关系数(Cross-correlation-coefficient,XCC)。
控制d的大小使其略大于ω即可保证采集到的OCT三维图像达到本发明所要求的空间散斑噪声不相关条件。应当注意到，由于OCT光源光束直径ω是有限的，XCC不可能为0但只要求XCC为较小值即可。
三维图像配对步骤用于将采集到的有噪声的三维图像采样为配对的具有空间结构相似但保持空间散斑噪声不相关的一对三维图像；
三维卷积神经网络去噪步骤用于对采集到的三维图像进行处理，去除三维体积中的散斑噪声；
二维网络去噪步骤用于低计算量消耗地去除OCT截面扫描图像的散斑噪声；
OCT集成去噪步骤用于集成三维去噪网络、二维去噪网络，多模态去除OCT数据的散斑噪声。
请参阅图2，图2为本申请实施例所提供的三维图像配对步骤的流程图，包括奇偶采样200、随机抽取201和随机裁剪202。
所述奇偶采样200对OCT图像采集步骤采集到的三维OCT数据进行相邻奇偶截面的重采样，所述三维OCT数据中的第奇数张截面被重新组合为新的三维图像，所述三维OCT数据中的第偶数张截面被重新组合为另一新的三维图像，所述的两个新的三维图像均经过了随机抽取201，被随机抽取了所有截面数量的一半，本实施例中使用相邻四张抽取两张的方式，也可采取其余抽取方式，例如相邻两张抽取一张等；所述抽取后的两个三维图像被进一步地由随机裁剪模块进行y-z截面上地裁剪，将大尺寸图裁剪为较小尺寸图，得到两两配对的小体积OCT数据。
请参阅图3，图3为本申请实施例所提供的经过所述三维图像配对步骤获得的配对三维噪声图构建的用于训练下述三维卷积神经网络的三维OCT数据集。左侧是经过奇数采样、抽取、裁剪后得到的三维图像，用作训练的输入图像，右侧是经过偶数采样、抽取、裁剪后得到的三维图像，用作训练的基准图像。应当看到，左侧输入图像与对应的右侧基准图像具有十分相似的三维结构，但是内部的散斑噪声是不相关的。
所述三维卷积神经网络去噪接受三维OCT数据的输入，提取并去除空间中的散斑噪声，获得三维去噪图像。具体原理为：
假设两个三维噪声OCT图像表示为横截面的序列y＝[y0，y1，…，yn-1]和z＝[z0，z1，…，zn_1]，其中n表示第n张横截面图像，它们与假定的无噪声三维图像x＝[x0，x1，…，xn-1]具有相互独立、不相关的噪声，用fθ表示由具有最优参数θ的三维网络，该三维网络接受y为输入，z为基准，并利用以下目标函数优化网络参数：
再次假设，fθ(y)＝x和fθ(z)＝x+ε，即噪声图像y经过三维网络后可以得到无噪声图像x，噪声图像z经过三维网络后可以得到与无噪声图像x只相差一个很小的ε差值，那么所述上式可以重新表达为：
其中表示只用两个三维噪声图像的去噪网络训练方式，表示需要三维干净图像的去噪网络训练方式，/>是一个常数，应当注意到，一旦ε趋于0，那么就有/>也即如果三维噪声图像y和噪声图像z之间的结构信息足够相似且噪声不相关，那么只用两个三维噪声图像的去噪网络训练方式等同于利用干净图像的去噪网络训练方式。
请参阅图4，图4是所述原理的原理示意图，以助于理解该原理，图(a)和图(b)表示配对的噪声三维图像，图(c)表示无噪声的三维图像，由于图(a)和图(b)中的噪声是不相关的，但样本结构信息是高度相似的，那么下述三维卷积神经网络便可将噪声去除，恢复样本结构的细节信息。
本实施例中，三维卷积神经网络去噪步骤的模型训练流程请参阅图5，训练的三维卷积神经网络模型采用三维残差网络(ResNet-3D)或三维U-Net网络(U-Net-3D)。将本申请的三维图像配对步骤获得大量两两配对的小体积三维图像分为输入图像和基准图像，将输入图像输入三维卷积神经网络，经过多层三维卷积模块和残差模块，输出网络预测图，预测图为与输入图形状相同的三维数据，计算预测图和基准图的损失值，根据损失值更新所述三维卷积神经网络模型的参数，多次迭代上述过程，直至所计算的损失值减小且变化趋势趋于平缓。
这里，根据以下公式确定计算三维卷积神经网络预测图像和基准图像的损失值：
其中，Lunsuper为计算出来的损失值，vi，j，k为预测图像的像素值，pi，j，k为基准图像的像素值，i，j，k分别代表三维图像中像素的三维坐标，H，W，F分别表示图像三个维度的形状。
所述二维网络去噪步骤是利用所述三维卷积神经网络经过蒸馏学习，能够在消耗低计算量地、快速地去除OCT截面图像中的散斑噪声。本实施例中，蒸馏学习采用了生成对抗网络，训练流程请参阅图6，包括以下步骤：
步骤一、从OCT采集到的三维图像中抽取二维噪声截面图像作为输入图像，从所述三维卷积神经网络输出的三维去噪图像中对应抽取二维去噪截面图像作为基准图像，制作蒸馏学习的数据集；
步骤二：将所述蒸馏学习数据集中的输入图像输入所述二维网络的生成器模块600，计算生成器输出与所述基准图像的第一损失值；
这里，生成器输出与所述基准图像的第一损失值根据如下公式计算：
其中，G和D分别表示生成器和判别器网络，i，j分别代表二维图像中像素的二维坐标，H，W分别表示图像两个维度的形状；
步骤三、将所述生成器模块600输出的生成图像与基准图像分别输入所述二维网络的判别器模块601，判别所输入的是生成图像还是基准图像，计算第二损失值；
这里，所述第二损失值根据如下公式计算：
其中，G和D分别表示生成器和判别器网络，i，j分别代表二维图像中像素的二维坐标，H，W分别表示图像两个维度的形状；
步骤四、综合所述第一损失值和第二损失值，优化所述生成器模块和判别器模块；
步骤五、迭代步骤二、步骤三、步骤四，直至第一损失值和第二损失值均减小且变化趋于平缓。
所述OCT集成去噪步骤集合了训练好的三维卷积神经网络、二维网络，由OCT图像采集步骤采集任意的三维图像或二维截面图像，所述OCT集成去噪步骤均能够实现散斑噪声去除，并且能够保留图像细节，解析微小的生物结构信息，极大提升OCT成像质量。
请参阅图7、图8、图9，图7为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的视网膜去噪结果示意图，图8为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的人体皮肤去噪结果示意图，图9为本申请实施例所提供的一种三维卷积神经网络的无散斑光学相干层析成像方法的人体胎盘结果示意图之三。如图7所示，在集成去噪步骤应用了不同横向扫描范围(6毫米和20毫米)的人类视网膜数据，不论三维网络和二维网络均具有出色的斑点噪声抑制和细节保留能力，以及它们在不同扫描范围和病理情况下的有效性，并且三维网络在进一步解析微观结构方面优于二维网络；如图8所示，在集成去噪步骤应用了人类指尖和小臂内测的皮肤数据，三维网络输出图像的对比度更高，血管细节更清晰。如图9所示，在集成去噪步骤应用了人体胎盘的数据，在放大区域可以清楚地看到胎盘绒毛的形状和绒毛末端的毛细血管。

Claims (9)

1.一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，包括：
步骤一、OCT图像采集，采集样本的三维OCT图像；
步骤二、三维图像配对，将采集到的有噪声的三维图像采样为配对的具有空间结构相似、但空间散斑噪声不相关的特征的一对三维图像；
步骤三、三维卷积神经网络去噪，对采集到的三维图像进行处理，去除三维体积中的散斑噪声；
步骤四、二维卷积神经网络去噪，低计算量消耗地去除OCT截面扫描图像的散斑噪声；
步骤五、OCT集成去噪，集成三维去噪网络、二维去噪网络，多模态去除OCT数据的散斑噪声。
2.根据权利要求1所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的OCT图像采集步骤包括使用光学层析成像装置和存储装置采集样本三维图像。
3.根据权利要求1所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的三维图像配对步骤包括子步骤：奇偶采样，随机抽取和随机裁剪；
所述的奇偶采样用于分别采样三维图像的奇数帧和偶数帧，将原三维图像分解为两个新三维图像；
所述的随机抽取用于对所述的两个新生成的三维图像的部分帧进行随机抽取并丢弃；
所述的随机裁剪用于对所述的被抽取后的三维图像进行随机区域的裁剪，得到体积变小的配对三维图像。
4.根据权利要求1所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的三维卷积神经网络去噪步骤是训练三维卷积神经网络模型，用于提取并去除空间中的散斑噪声，获得三维去噪图像。
5.根据权利要求1所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的二维网络去噪步骤是搭建一个GAN网络，包括生成器模块和判别器模块，对三维卷积神经网络去噪进行蒸馏学习，在消耗低计算量地、快速地去除OCT截面图像中的散斑噪声；
所述生成器模块用于将输入的二维噪声图像进行处理，生成接近无噪声图像的去噪图像；
所述的判别器模块将生成器模块生成的去噪图像与无噪声图像对比，判断所输入的图像是去噪图像还是无噪声图像。
6.根据权利要求4所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的训练具体有以下子步骤：
S1、采集各种种类的样本的OCT三维图像，经过所述的三维图像配对步骤生成配对的三维图像，作为训练数据集；
S2、将所述训练数据集中的配对图像，其一输入所述三维卷积神经网络并获得输出，计算输出与所述配对图像的其二的损失值，然后对所述三维卷积神经网络进行优化；
S3、迭代S2，直至损失值降低且变化趋于平缓。
7.根据权利要求5所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的蒸馏学习包括以下子步骤：
S1、从采集到的三维图像中抽取二维噪声截面图像，经过所述三维卷积神经网络输出的三维去噪图像中对应抽取二维去噪截面图像作为基准图像，制作蒸馏学习的数据集；
S2、将所述蒸馏学习数据集中的噪声图像输入所述二维GAN网络的生成器模块，计算输出与所述基准图像的第一损失值；
S3、将所述生成器模块的输出与基准图像分别输入所述二维GAN网络的判别器模块，判别所输入是去噪图像还是基准图像，计算第二损失值；
S4、综合所述第一损失值和第二损失值，优化所述生成器模块和判别器模块；
S5、迭代S2，S3，S4步骤，直至第一损失值和第二损失值减小并变化区域平缓。
8.根据权利要求4所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的三维卷积神经网络表示选自三维卷积的各种深度学习网络模型及其变体中的一种，包括但不限于ResNet-3D、UNet-3D、DenseNet-3D及其优化网络结构。
9.根据权利要求1所述的一种基于三维卷积神经网络的无散斑光学相干层析成像方法，其特征在于，所述的OCT集成去噪步骤将训练好的三维卷积神经网络和二维网络集合在一起，多模态地实现OCT三维图像和二维截面图像的散斑噪声去除。
CN202311293845.XA 2023-10-07 2023-10-07 基于三维卷积神经网络的无散斑光学相干层析成像方法 Pending CN117315068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311293845.XA CN117315068A (zh) 2023-10-07 2023-10-07 基于三维卷积神经网络的无散斑光学相干层析成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311293845.XA CN117315068A (zh) 2023-10-07 2023-10-07 基于三维卷积神经网络的无散斑光学相干层析成像方法

Publications (1)

Publication Number Publication Date
CN117315068A true CN117315068A (zh) 2023-12-29

Family

ID=89288026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311293845.XA Pending CN117315068A (zh) 2023-10-07 2023-10-07 基于三维卷积神经网络的无散斑光学相干层析成像方法

Country Status (1)

Country Link
CN (1) CN117315068A (zh)

Similar Documents

Publication Publication Date Title
US11170258B2 (en) Reducing noise in an image
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
Girish et al. Segmentation of intra-retinal cysts from optical coherence tomography images using a fully convolutional neural network model
US20210304363A1 (en) Image processing apparatus, image processing method and computer-readable medium
CN110097968B (zh) 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
CN108618749B (zh) 基于便携式数字化眼底照相机的视网膜血管三维重建方法
JP2008510585A (ja) 試料の機械的歪み及び弾性的性質を測定するプロセス、システム及びソフトウェア
JP2011056069A (ja) テンプレート画像の評価方法及び生体運動検出装置
JP2022549669A (ja) 時空間データに基づき医用画像を解析するシステム及び方法
Shahadi et al. Eulerian video magnification: a review
CN114209278B (zh) 一种基于光学相干层析成像的深度学习皮肤病诊断系统
CN109171670B (zh) 一种基于逆向主成分分析法的3d血管成像算法
CN113543695A (zh) 图像处理装置和图像处理方法
WO2021100694A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20230267610A1 (en) Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium
CN111712851B (zh) 图像处理装置、图像处理方法及图像处理程序
CN117315068A (zh) 基于三维卷积神经网络的无散斑光学相干层析成像方法
Han et al. Retinal blood vessel caliber estimation for optical coherence tomography angiography images based on 3D superellipsoid modeling
Lee et al. Lateral image reconstruction of optical coherence tomography using one‐dimensional deep deconvolution network
Ding et al. Context-aware attention u-net for the segmentation of pores in lamina cribrosa using partial points annotation
Morales-Vargas et al. Exposure Time and Depth Effect in Laser Speckle Contrast Images under an Adaptive Processing
CN110610147A (zh) 血管图像提取方法、相关装置及存储设备
Zhang et al. Development of a multi-scene universal multiple wavelet-FFT algorithm (MW-FFTA) for denoising motion artifacts in OCT-angiography in vivo imaging
Sumitra A comparative study algorithm for noisy image restoration in the field of medical imaging
Bai Computational Methods for Image Acquisition and Analysis with Applications in Optical Coherence Tomography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication