CN113191960A - 光学相干层析图像去噪模型训练方法、去噪方法及装置 - Google Patents

光学相干层析图像去噪模型训练方法、去噪方法及装置 Download PDF

Info

Publication number
CN113191960A
CN113191960A CN202110292061.XA CN202110292061A CN113191960A CN 113191960 A CN113191960 A CN 113191960A CN 202110292061 A CN202110292061 A CN 202110292061A CN 113191960 A CN113191960 A CN 113191960A
Authority
CN
China
Prior art keywords
optical coherence
coherence tomography
image
sample
tomography image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110292061.XA
Other languages
English (en)
Inventor
黄勇
郑仕诚
张楠
郝群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110292061.XA priority Critical patent/CN113191960A/zh
Publication of CN113191960A publication Critical patent/CN113191960A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提供一种光学相干层析图像去噪模型训练方法、去噪方法及装置，其方法包括：对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签；基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；其中，训练集中的各样本光学相干层析图像，为同一样本区域的光学相干层析图像。本发明提供的光学相干层析图像去噪模型训练方法、去噪方法及装置，在无需获取无噪声的真实图像的前提下，能对光学相干层析图像去噪模型进行训练，能提高光学相干层析图像去噪模型的训练效率。

Description

光学相干层析图像去噪模型训练方法、去噪方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种光学相干层析图像去噪模型训练方法、去噪方法及装置。
背景技术
光学相干层析成像(optical coherence tomography，OCT)可以利用弱相干光干涉，通过弱相干光照射样品组织，探测和处理不同深度的反射光和参考光干涉的光谱数据得到断层图像。光学相干层析成像因为其非侵入性、高灵敏度以及高分辨率的优势，近年来在医学成像领域得到广泛的应用。但是，在低相干光的信号探测和处理过程中，容易受到各种噪声的干扰。噪声的出现，会降低图像的对比度与分辨率，从而造成成像质量的下降。
近年来，深度学习方法在光学相干层析图像去噪领域得到广泛应用，相较于传统方法，基于深度学习方法可以取得更好的去噪效果。但是，在训练模型时需要获取无噪声的真实图像作为标签集。而在光学相干层析成像领域，无噪声的真实图像通常是通过对同一位置图像多幅图配准取平均来获取的，这个过程需要耗费大量的时间与精力，基于深度学习方法对光学相干层析图像去噪时，训练光学相干层析图像去噪模型的效率较低。
发明内容
本发明提供一种光学相干层析图像去噪模型训练方法、去噪方法及装置，用以解决现有技术中基于深度学习方法对光学相干层析图像去噪时，光学相干层析图像去噪模型的训练效率较低的缺陷，实现更高效率的训练光学相干层析图像去噪模型。
本发明提供一种光学相干层析图像去噪模型训练方法，包括：
对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签；
基于各所述样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；
其中，所述训练集中的各所述样本光学相干层析图像，为同一样本区域的光学相干层析图像。
根据本发明提供的一种光学相干层析图像去噪模型训练方法，所述对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签之前，还包括：
对于每一样本区域，获取目标数量的所述样本区域的样本光学相干层析图像，作为所述训练集。
根据本发明提供的一种光学相干层析图像去噪模型训练方法，所述对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签之前，还包括：
对于每一目标区域，获取目标数量的所述目标区域的原始光学相干层析图像；
对于所述每一目标区域中的每一样本区域，获取各所述原始光学相干层析图像中所述样本区域对应的局部图像，将所述样本区域对应的各所述局部图像作为各样本光学相干层析图像，所述各样本光学相干层析图像构成一个所述训练集；
其中，所述样本区域为所述目标区域的一部分。
根据本发明提供的一种光学相干层析图像去噪模型训练方法，其特征在于，所述光学相干层析图像去噪模型，包括：残差单元；
所述残差单元包括一个非对称残差块，或者，所述残差单元包括顺次连接的多个非对称残差块；
所述非对称残差块包括并行的多个卷积核；
其中，至少一个所述卷积核的高度与宽度不同。
根据本发明提供的一种光学相干层析图像去噪模型训练方法，所述光学相干层析图像去噪模型，还包括：第一卷积单元、第二卷积单元和第三卷积单元；
所述第一卷积单元的输出端与所述残差单元的输入端连接；
所述残差单元的输出端与所述第二卷积单元的输入端连接；
所述第二卷积单元的输出端和所述第一卷积单元的输出端与所述第三卷积单元的输入端连接。
本发明提供一种光学相干层析图像去噪方法，包括：
获取待去噪的光学相干层析图像；
将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；
其中，所述光学相干层析图像去噪模型是通过如上述任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
本发明还提供一种光学相干层析图像去噪模型训练装置，包括：
选取图像模块，用于对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签；
训练模块，用于基于各所述样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；
其中，所述训练集的数量为一个或多个；所述训练集中的各所述样本光学相干层析图像，为同一样本区域的光学相干层析图像。
本发明还提供一种光学相干层析图像去噪装置，包括：
图像获取模块，用于获取待去噪的光学相干层析图像；
去噪模块，用于将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；
其中，所述光学相干层析图像去噪模型是通过如上述任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述光学相干层析图像去噪模型训练方法或去噪方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述光学相干层析图像去噪模型训练方法或去噪方法的步骤。
本发明提供的光学相干层析图像去噪模型训练方法、去噪方法及装置，通过分别在每一训练集中获取多个样本图像对，将每一样本图像对中的任意一张作为样本图像，另一张作为样本图像对应的标签，并基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型，在无需获取无噪声的真实图像的前提下，能对光学相干层析图像去噪模型进行训练，能提高光学相干层析图像去噪模型的训练效率，能基于训练好的光学相干层析图像去噪模型有效去除光学相干层析图像中的噪声。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的光学相干层析图像去噪模型训练方法的流程示意图；
图2是本发明提供的光学相干层析图像去噪模型的结构示意图；
图3是本发明提供的光学相干层析图像去噪模型中残差单元的结构示意图；
图4是本发明提供的光学相干层析图像去噪方法的流程示意图；
图5是本发明提供的光学相干层析图像去噪模型训练装置的结构示意图；
图6是本发明提供的光学相干层析图像去噪装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
图1是本发明提供的光学相干层析图像去噪模型训练方法的流程示意图。下面结合图1描述本发明的光学相干层析图像去噪模型训练方法。如图1所示，该方法包括：步骤101、对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签。
其中，训练集中的各样本光学相干层析图像，为同一样本区域的光学相干层析图像。
训练集中可以包括一定数量的样本光学相干层析图像。同一训练集中的各样本光学相干层析图像为同一样本区域的光学相干层析图像，可以确保同一训练集中各样本光学相干层析图像中目标样本的信息相同。
目标样本可以为物体或活体等。
本发明实施例中，可以基于一个或多个训练集对光学相干层析图像去噪模型进行训练。训练集的数量越多，训练好的光学相干层析图像去噪模型的去噪效果越好。
样本光学相干层析图像为样本区域的光学相干层析B扫描图像。
样本区域中可以包括目标样本的整体，样本区域还可以包括目标样本的局部。
本发明实施例中，训练集可以通过多种方式获取。例如：可以通过连续采集或区域裁剪等方式获取同一样本区域目标数量的样本光学相干层析图像作为训练集。
对于任一训练集，可以在该训练集中任选两张样本光学相干层析图像作为一个样本图像对。通过多次选取，可以在该训练集中获得多个样本图像对。
对于任一样本图像对，可以将该样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为上述样本图像对应的标签。
需要说明的是，任一样本光学相干层析图像可以作为样本图像，也可以作为样本图像对应的标签。
步骤102、基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型。
具体地，将任一样本图像对中的样本图像输入光学相干层析图像去噪模型，得到该样本图像对应的输出图像。通过将该输出图像与该样本图像对应的标签进行对比，对光学相干层析图像去噪模型进行修正。
基于各样本图像对，可以对光学相干层析图像去噪模型进行多次修正，获得训练好的光学相干层析图像去噪模型。将有噪声的光学相干层析图像输入训练好的光学相干层析图像去噪模型，可以得到去噪后的光学相干层析图像。
本发明实施例中，光学相干层析图像去噪模型可以对光学相干层析图像去噪的具体原理如下：
将输入光学相干层析图像去噪模型的有噪声的光学相干层析图像设为x，将光学相干层析图像去噪模型输出的光学相干层析图像设为y，光学相干层析图像去噪模型训练的过程视为参数优化问题，具体公式如下：
Figure BDA0002982591670000071
其中，L代表损失函数；E代表期望值；fθ(x)为网络函数；θ为网络参数。
若将光学相干层析图像去噪模型的训练过程分解为多个训练步骤，则根据贝叶斯定理可将上述公式变形为：
Figure BDA0002982591670000081
若训练过程中，光学相干层析图像去噪模型输出的光学相干图像和标签中都有噪声，则目标函数可以变形为：
Figure BDA0002982591670000082
其中，
Figure BDA0002982591670000083
表示第i个有噪声的光学相干层析图像，
Figure BDA0002982591670000084
Figure BDA0002982591670000085
表示第i个输出的光学相干层析图像，
Figure BDA0002982591670000086
σ＇和σ″分别表示不同的噪声分布。
各样本光学相干层析图像为同一样本区域的样本光学相干层析图像，因此，上述各样本光学相干层析图像中目标样本的信息是相同的，但每一样本光学相干层析图像中噪声的信息是随机的。根据上述各样本光学相干层析图像获取多个样本图像对，并将各样本图像对中的各样本图像输入光学相干层析图像去噪模型中提取特征。若上述样本图像对的数量足够多，则该光学相干层析图像将只会提取到目标样本的图像特征，而提取不到各样本光学相干层析图像中噪声的信息。
具体地，从统计学角度而言，每一样本光学相干层析图像中噪声的出现与样本区域无关，噪声的数学期望为0，例如：在抛硬币时，为正面的数学期望为1/n，为反面的数学期望也为1/n，其中，n代表抛掷次数，则只要n足够大，就可以将抛掷硬币得到正面或反面的数学期望无限趋近于0。因此，从统计学角度而言，训练得到的光学相干层析图像去噪模型可以满足
Figure BDA0002982591670000087
只要输入光学相干层析图像去噪模型进行训练的样本图像和对应的标签的数量足够大，在样本图像和对应的标签都有噪声的情况下，基于训练好的光学相干层析图像模型，可以得到去噪后的光学相干层析图像。
需要说明的是，还可以获取预设数量的测试光学相干层析图像，用于测试训练好的光学相干层析图像去噪模型。测试光学相干层析图像中可以是目标样本其他位置的光学相干层析图像，还可以是其他样本的整体或局部的光学相干层析图像
本发明实施例通过分别在每一训练集中获取多个样本图像对，将每一样本图像对中的任意一张作为样本图像，另一张作为样本图像对应的标签，并基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型，在无需获取无噪声的真实图像的前提下，能对光学相干层析图像去噪模型进行训练，能提高光学相干层析图像去噪模型的训练效率，能基于训练好的光学相干层析图像去噪模型有效去除光学相干层析图像中的噪声。
基于上述各实施例的内容，对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签之前，还包括：对于每一样本区域，获取目标数量的样本区域的样本光学相干层析图像，作为训练集。
具体地，对于任一样本区域，通过光学相干层析成像技术可以采集目标数量的该样本区域的样本光学相干层析图像。将上述各样本光学相干层析图像作为一个训练集。
样本区域的数量可以为一个或多个。样本区域的数量为一个，可以获得一个训练集。样本区域的数量为多个，相应可以获得多个训练集。
为了提高光学相干层析去噪模型的训练速度以及考虑到显卡性能的性质，获取上述各样本光学相干层析图像后，可以对上述各样本光学相干层析图像的尺寸进行调整，将上述各样本光学相干层析图像的尺寸调整为相同大小，并将经过尺寸调整后的各样本光学相干层析图像作为一个训练集。
需要说明的是，目标数量可以根据实际情况确定。目标数量的具体取值在本发明实施例中不作具体限定。
以下通过一个实例说明本发明实施例中获取训练集的过程。
已预先确定样本区域为目标样本的上半部分。确定目标数量为 250张。通过多普勒光学相干层析成像系统可以采集250张样本区域的样本光学相干层析B扫描图像，上述各样本光学相干层析B扫描图像的大小均为1000×1024像素。通过图像处理将上述各样本光学相干层析B扫描图像的尺寸调整为256×256像素。将经过尺寸调整后的样本光学相干层析B扫描图像作为一个训练集。
本发明实施例通过分别获取目标数量的每一样本区域的样本光学相干层析图像，构建一个或多个训练集，能简单、快速的构建训练集，进而能提高训练光学相干层析图像去噪模型的效率。
基于上述各实施例的内容，对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签之前，还包括：对于每一目标区域，获取目标数量的目标区域的原始光学相干层析图像；其中，目标区域的数量为一个或多个。
具体地，目标区域中可以包括目标样本的整体，目标区域还可以包括目标样本的局部。
原始光学相干层析图像为目标区域的光学相干层析B扫描图像。
对于任一目标区域，通过光学相干层析成像技术可以采集目标数量的该目标区域的原始光学相干层析图像。
对于每一目标区域中的每一样本区域，获取各原始光学相干层析图像中样本区域对应的局部图像，将样本区域对应的各局部图像作为各样本光学相干层析图像，各样本光学相干层析图像构成一个训练集。
其中，样本区域为目标区域的一部分。
具体地，对于任一目标区域，可以在该目标区域中随机选取一个或多个局部区域作为样本区域。任意两个样本区域可以有部分重叠。
对于该目标区域中的任一样本区域，裁剪出每一原始样本光学相干层析图像中该样本区域对应的局部图像，将上述各局部图像作为各样本光学相干层析图像，构成一个训练集。
需要说明的是，本发明实施例中，还可以将任一目标区域的各原始光学相干层析图像可以作为各样本光学相干层析图像，构成一个训练集。
以下通过一个实例说明本发明实施例中获取训练集的过程。
已预先确定目标区域分别为目标样本的上半部分和下半部分。确定目标数量为250张。通过多普勒光学相干层析成像系统分别采集 250张目标样本的上半部分的原始光学相干层析B扫描图像和250张目标样本的下半部分的原始光学相干层析B扫描图像。上述各原始光学相干层析B扫描图像的大小均为1000×1024像素。可以将上述各原始光学相干层析B扫描图像的尺寸调整为256×256像素后，将经过尺寸调整的各原始光学相干层析B扫描图像作为各样本光学相干层析B扫描图像，并根据目标区域的不同分别构成两个训练集。
分别在每一目标区域中随机选取12个样本区域。对于任一目标区域的任一样本区域，分别裁剪该目标区域的每一原始样本光学相干层析图像中该样本区域对应的局部图像，获得该样本区域对应的各局部图像。将上述各局部图像作为各样本光学相干层析图像。通过图像处理将上述各样本光学相干层析B扫描图像的尺寸调整为256×256 像素。将经过尺寸调整后的上述各样本光学相干图像层析图像构成一个训练集。
基于两个目标区域随机选取的24个样本区域，可以获取24个训练集，以及基于目标区域构建的2个训练集，可以获得26个训练集。每一训练集中包括250张样本光学相干层析图像。
本发明实施例通过分别获取目标数量的每一目标区域中的每一样本区域对应的各局部图像，构建一个或多个训练集，能基于已获取的目标区域的原始光学相干层析图像获取更多的训练集，能通过简单、快速的方式扩充训练光学相干层析图像去噪模型的样本数量，进而能提高训练得到的光学相干层析图像去噪模型的去噪效果。
图2是本发明提供的光学相干层析图像去噪模型的结构示意图。下面结合图2描述本发明的光学相干层析图像去噪模型。如图2所示，光学相干层析图像去噪模型，包括：残差单元201。
具体地，残差单元201可以作为特征提取器。
残差单元201可以采用传统的卷积残差网络，还可以采用非对称卷积超分辨残差网络(Asymmetric Convolution Super Resolution Residual Network，AC-SRResNet)。
可选地，本发明实施例中残差单元201采用非对称卷积超分辨残差网络。
非对称卷积超分辨残差网络相较于传统的卷积残差网络，在输出相同的前提下，可以明显提升模型的性能。非对称卷积超分辨残差网络还具有以下优势：一、不会引入额外超参数；二、实现简单；三、相较于传统的卷积残差网络，非对称卷积超分辨残差网络无需额外推理耗时；四、基于非对称卷积超分辨残差网络可以提取到更多的图像特征，从而可以提高输出图像的质量。
残差单元201包括一个非对称残差块202，或者，残差单元201 包括顺次连接的多个非对称残差块202。
本发明实施例中，非对称残差块202可以为非对称卷积残差块 (AsymmetricConvolution Block，ACBlock)。
残差单元201中可以包括一个非对称残差块202。残差单元201 中还可以包括顺次连接的多个非对称残差块202。
若残差单元201中包括顺次连接的多个非对称残差块202，将上一个非对称残差块202的输出作为下一个非对称残差块202的输入。
需要说明的是，残差单元201中的非对称残差块202的数量越多，可以提取到的图像细节越多。但是，基于训练过程中运算所需占用的内存、计算所需时间和训练效率，残差单元201中的非对称残差块202的数量不能过多。本发明实施例中残差单元201可以包括5至15 个顺次连接的非对称残差块，优选地，残差单元201中包括8个顺次连接的非对称残差块202。
非对称残差块202包括并行的多个卷积核；其中，至少一个卷积核的高度与宽度不同。
本发明实施例中，将高度与宽度不同的卷积核称为非对称卷积核，将高度与宽度相同的卷积核称为对称卷积核。
非对称残差块202可以将对称卷积核，替换为并行的若干个对称卷积核和若干个非对称卷积核。输入非对称残差块202的图像，分别输入并行的若干个对称卷积核和若干个非对称卷积核进行卷积计算，得到多个卷积计算结果后，将上述多个卷积计算结果进行特征叠加后输出。
图3是本发明提供的光学相干层析图像去噪模型中残差单元的结构示意图。如图3所示，非对称残差块202包括三个并行的卷积块 301。上述三个并行的卷积核的尺寸分别为3×3、3×1和1×3。输入非对称残差块202的图像，分别输入上述三个卷积核进行卷积计算，得到三个卷积计算结果后，将上述三个卷积计算结果进行特征叠加后输出。
需要说明的是，本发明实施例中通过特征叠加后输出的图像，可以经过批再归一化(Batch Renormalization，BR)计算后，输入下一个非对称残差块202。
需要说明的是，批再归一化是对批归一化(Batch normalization， BN)的优化，相较于批归一化，在光学相干层析图像去噪模型训练过程中进行批再归一化计算，获得光学相干层析图像去噪模型的去噪效果更好。
本发明实施例中光学相干层析图像去噪模型包括由若干个非对称残差块构成的残差单元，任一非对称残差块中包括多个并行的若干个对称卷积核和若干个非对称卷积核，能通过非对称残差块提取到更多的图像特征，能基于训练好的光学相干层析图像去噪模型的获得更好的去噪效果。
基于上述各实施例的内容，光学相干层析图像去噪模型，还包括：第一卷积单元203、第二卷积单元204和第三卷积单元205。
第一卷积单元203的输出端与残差单元201的输入端连接。
具体地，对于任一样本图像，将该样本图像通过第一卷积单元 203的输入端输入第一卷积单元203后，可以进行卷积计算和ReLU 激活函数计算，得到第一计算结果。第一卷积单元203可以将第一计算结果通过第一卷积单元203的输出端和残差单元201的输入端，输入残差单元201。
本发明实施例中，任一样本图像在第一卷积单元203中可以进行卷积核尺寸为3×3的卷积计算，获取卷积计算结果后，进行ReLU 激活函数计算，获得第一计算结果。
残差单元201的输出端与第二卷积单元204的输入端连接。
具体地，第一卷积单元203输出的第一计算结果输入残差单元201后，进行卷积计算可以得到第二计算结果。残差单元201可以将第二计算结果通过残差单元201的输出端和第二卷积单元204的输入端，将第二计算结果输入第二卷积单元204。
第二卷积单元204的输出端和第一卷积单元203的输出端与第三卷积单元205的输入端连接。
具体地，残差单元201输出的第二计算结果输入第二卷积单元 204后，可以进行卷积计算和批再归一化计算，得到第三计算结果。第二卷积单元204可以将第三计算结果通过第二卷积单元204的输出端和第三卷积单元205的输入端，输入第三卷积单元205。
本发明实施例中，第二计算结果输入第二卷积单元204后，可以进行卷积核尺寸为3×3的卷积计算，获取卷积计算结果后，进行批再归一化计算，获得第三计算结果。
第一卷积单元203输出的第一计算结果，还可以通过第一卷积单元203的输出端和第三卷积单元205的输入端，输入第三卷积单元 205。
第一计算结果和第三计算结果，可以在第三卷积单元205中特征融合后，进行卷积计算结果，得到输出图像。
本发明实施例中，第一计算结果和第三计算结果，可以在第三卷积单元205中特征融合后，在第三卷积单元205中可以进行卷积核尺寸为1×1的卷积计算。
输出图像可以与样本图像对应的标签进行比对，并根据比对结果对光学相干层析图像去噪模型进行修正。通过将各样本图像输入光学相干层析图像去噪模型，可以对光学相干层析图像去噪模型进行多次修正，进而可以获得所述训练好的光学相干层析图像去噪模型。
本发明实施例中，在光学相干层析图像去噪模型训练过程中，可以选取Adam优化器，动量可以设为0.9，学习率可以设为0.005，迭代次数可以设为300次，学习衰减率可以设置为0.005/300。本发明实施例中光学相干层析图像去噪模型的训练过程可以通过损失函数 L2表示，公式如下：
Figure BDA0002982591670000151
其中，m和n代表光学相干层析图像的尺寸，例如：若光学相干层析图像的尺寸为256×256像素，则m和n均为256；In(i,j)为将样本图像输入光学相干层析图像去噪模型后输出的光学相干层析图像；Id(i,j)为该样本图像对应的标签。
本发明实施例中光学相干层析图像去噪模型包括顺次连接的第一卷积单元、残差单元、第二卷积单元和第三卷积单元，光学相干层析图像去噪模型的结构较简单，训练和运行过程中所需占用的内存较小，可以基于训练好的光学相干层析图像去噪模型快速、准确的对光学相干层析图像去噪。
图4是本发明提供的光学相干层析图像去噪方法的流程示意图。下面结合图4描述本发明的光学相干层析图像去噪方法。如图4所示，该方法包括：步骤401、获取待去噪的光学相干层析图像。
具体地，通过光学相干层析成像系统可以实时获取待去噪的光学相干层析图像。
步骤402、将待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像。
其中，光学相干层析图像去噪模型是通过如上述任一实施例中的光学相干层析图像去噪模型训练方法进行训练得到的。
具体地，将待去噪的光学相干层析图像输入训练好的光学相干层析图像去噪模型，可以获得去噪后的光学相干层析图像。
本发明实施例中，对于尺寸为256×256像素的待去噪光学相干层析图像去噪模型，可以达到15帧每秒的实时去噪速度。
本发明实施例通过将获取到的待去噪的光学相干层析图像输入训练好的光学相干层析图像去噪模型，能获得去噪后的光学相干层析图像，去噪过程较简单、快速，去噪效果较好。
图5是本发明提供的光学相干层析图像去噪模型训练装置的结构示意图。下面结合图5对本发明提供的光学相干层析图像去噪模型训练装置进行描述，下文描述的光学相干层析图像去噪模型训练装置与上文描述的光学相干层析图像去噪模型训练方法可相互对应参照。如图5所示，该装置包括：选取图像模块501和训练模块502。
选取图像模块501，用于对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签。
训练模块502，用于基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型。
其中，训练集的数量为一个或多个；训练集中的各样本光学相干层析图像，为同一样本区域的光学相干层析图像。
具体地，选取图像模块501和训练模块502电连接。
对于任一训练集，选取图像模块501可以在该训练集中任选两张样本光学相干层析图像作为一个样本图像对。通过多次选取，可以在该训练集中获得多个样本图像对。
对于任一样本图像对，选取图像模块501可以将该样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为上述样本图像对应的标签。
训练模块502可以将任一样本图像对中的样本图像输入光学相干层析图像去噪模型，得到该样本图像对应的输出图像。通过将该输出图像与该样本图像对应的标签进行对比，对光学相干层析图像去噪模型进行修正。
训练模块502可以基于各样本图像对，可以对光学相干层析图像去噪模型进行多次修正，获得训练好的光学相干层析图像去噪模型。将有噪声的光学相干层析图像输入训练好的光学相干层析图像去噪模型，可以得到去噪后的光学相干层析图像。
本发明实施例通过分别在每一训练集中获取多个样本图像对，将每一样本图像对中的任意一张作为样本图像，另一张作为样本图像对应的标签，并基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型，在无需获取无噪声的真实图像的前提下，能对光学相干层析图像去噪模型进行训练，能提高光学相干层析图像去噪模型的训练效率，能基于训练好的光学相干层析图像去噪模型有效去除光学相干层析图像中的噪声。
图6是本发明提供的光学相干层析图像去噪装置的结构示意图。下面结合图6对本发明提供的光学相干层析图像去噪装置进行描述，下文描述的光学相干层析图像去噪装置与上文描述的光学相干层析图像去噪方法可相互对应参照。如图6所示，该装置包括：图像获取模块601和去噪模块602。
图像获取模块601，用于获取待去噪的光学相干层析图像。
去噪模块602，用于将待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像。
其中，光学相干层析图像去噪模型是通过如上述任一实施例中的光学相干层析图像去噪模型训练方法进行训练得到的。
具体地，图像获取模块601和去噪模块602电连接。
通过图像获取模块601实时获取待去噪的光学相干层析图像。
去噪模块602可以将待去噪的光学相干层析图像输入训练好的光学相干层析图像去噪模型，获得去噪后的光学相干层析图像。
以下通过一个实例说明本发明实施例的光学相干层析图像去噪装置。
光学相干层析图像去噪装置可以包括集成Python图像降噪线程的GPU加速光学相干层析成像软件平台的体系结构。上述体系结构可以使用Visual Studio 2015开发，可以包括Qt搭建可视化操作界面，并可以包括四个独立线程。上述四个独立线程分别为：获取线程、 CUDA处理线程、图像绘制线程与图像去噪线程。各线程之间可以通过Qt特有的信号与槽机制实现通信。
图像去噪线程可以使用Python开发，并可以与光学相干层析成像系统进行交互，传递图像数据。
包括集成Python图像降噪线程的GPU加速光学相干层析成像软件平台的体系结构的光学相干层析图像去噪装置，对于尺寸为256×256像素的光学相干层析图像，实时去噪速度可以达到15帧每秒。
本发明实施例通过将获取到的待去噪的光学相干层析图像输入训练好的光学相干层析图像去噪模型，能获得去噪后的光学相干层析图像，去噪过程较简单、快速，去噪效果较好。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行光学相干层析图像去噪模型训练方法或光学相干层析图像去噪方法。光学相干层析图像去噪模型训练方法，包括：对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签；基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；其中，训练集的数量为一个或多个；训练集中的各样本光学相干层析图像，为同一样本区域的光学相干层析图像。光学相干层析图像去噪方法，包括：获取待去噪的光学相干层析图像；将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；其中，所述光学相干层析图像去噪模型是通过如上述任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的光学相干层析图像去噪模型训练方法或光学相干层析图像去噪方法。光学相干层析图像去噪模型训练方法，包括：对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签；基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；其中，训练集的数量为一个或多个；训练集中的各样本光学相干层析图像，为同一样本区域的光学相干层析图像。光学相干层析图像去噪方法，包括：获取待去噪的光学相干层析图像；将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；其中，所述光学相干层析图像去噪模型是通过如上述任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的光学相干层析图像去噪模型训练方法或光学相干层析图像去噪方法。光学相干层析图像去噪模型训练方法，包括：对于每一训练集，分别在每一训练集中获取多个样本图像对，将样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为样本图像对应的标签；基于各样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；其中，训练集的数量为一个或多个；训练集中的各样本光学相干层析图像，为同一样本区域的光学相干层析图像。光学相干层析图像去噪方法，包括：获取待去噪的光学相干层析图像；将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；其中，所述光学相干层析图像去噪模型是通过如上述任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种光学相干层析图像去噪模型训练方法，其特征在于，包括：
对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签；
基于各所述样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；
其中，所述训练集中的各所述样本光学相干层析图像，为同一样本区域的光学相干层析图像。
2.根据权利要求1所述的光学相干层析图像去噪模型训练方法，其特征在于，所述对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签之前，还包括：
对于每一样本区域，获取目标数量的所述样本区域的样本光学相干层析图像，作为所述训练集。
3.根据权利要求1所述的光学相干层析图像去噪模型训练方法，其特征在于，所述对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签之前，还包括：
对于每一目标区域，获取目标数量的所述目标区域的原始光学相干层析图像；
对于所述每一目标区域中的每一样本区域，获取各所述原始光学相干层析图像中所述样本区域对应的局部图像，将所述样本区域对应的各所述局部图像作为各样本光学相干层析图像，所述各样本光学相干层析图像构成一个所述训练集；
其中，所述样本区域为所述目标区域的一部分。
4.根据权利要求1至3任一所述的光学相干层析图像去噪模型训练方法，其特征在于，所述光学相干层析图像去噪模型，包括：残差单元；
所述残差单元包括一个非对称残差块，或者，所述残差单元包括顺次连接的多个非对称残差块；
所述非对称残差块包括并行的多个卷积核；
其中，至少一个所述卷积核的高度与宽度不同。
5.根据权利要求4所述的光学相干层析图像去噪模型训练方法，其特征在于，所述光学相干层析图像去噪模型，还包括：第一卷积单元、第二卷积单元和第三卷积单元；
所述第一卷积单元的输出端与所述残差单元的输入端连接；
所述残差单元的输出端与所述第二卷积单元的输入端连接；
所述第二卷积单元的输出端和所述第一卷积单元的输出端与所述第三卷积单元的输入端连接。
6.一种光学相干层析图像去噪方法，其特征在于，包括：
获取待去噪的光学相干层析图像；
将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；
其中，所述光学相干层析图像去噪模型是通过如权利要求1至5任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
7.一种光学相干层析图像去噪模型训练装置，其特征在于，包括：
选取图像模块，用于对于每一训练集，分别在所述每一训练集中获取多个样本图像对，将所述样本图像对中的任意一张样本光学相干层析图像作为样本图像，另一张样本光学相干层析图像作为所述样本图像对应的标签；
训练模块，用于基于各所述样本图像对，对光学相干层析图像去噪模型进行训练，获得训练好的光学相干层析图像去噪模型；
其中，所述训练集的数量为一个或多个；所述训练集中的各所述样本光学相干层析图像，为同一样本区域的光学相干层析图像。
8.一种光学相干层析图像去噪装置，其特征在于，包括：
图像获取模块，用于获取待去噪的光学相干层析图像；
去噪模块，用于将所述待去噪的光学相干层析图像输入光学相干层析图像去噪模型，获得去噪后的光学相干层析图像；
其中，所述光学相干层析图像去噪模型是通过如权利要求1至5任一所述的光学相干层析图像去噪模型训练方法进行训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述光学相干层析图像去噪模型训练方法或如权利要求6所述光学相干层析图像去噪方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述光学相干层析图像去噪模型训练方法或如权利要求6所述光学相干层析图像去噪方法的步骤。
CN202110292061.XA 2021-03-18 2021-03-18 光学相干层析图像去噪模型训练方法、去噪方法及装置 Pending CN113191960A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110292061.XA CN113191960A (zh) 2021-03-18 2021-03-18 光学相干层析图像去噪模型训练方法、去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110292061.XA CN113191960A (zh) 2021-03-18 2021-03-18 光学相干层析图像去噪模型训练方法、去噪方法及装置

Publications (1)

Publication Number Publication Date
CN113191960A true CN113191960A (zh) 2021-07-30

Family

ID=76973412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110292061.XA Pending CN113191960A (zh) 2021-03-18 2021-03-18 光学相干层析图像去噪模型训练方法、去噪方法及装置

Country Status (1)

Country Link
CN (1) CN113191960A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355856A1 (en) * 2013-05-31 2014-12-04 General Photonics Corporation Reconstruction of optical coherent tomography (oct) images of morphological features
CN110390650A (zh) * 2019-07-23 2019-10-29 中南大学 基于密集连接和生成对抗网络的oct图像去噪方法
CN110390647A (zh) * 2019-06-14 2019-10-29 平安科技（深圳）有限公司 基于环形对抗生成网络的oct图像去噪方法及装置
CN111402174A (zh) * 2020-04-03 2020-07-10 北京图湃影像科技有限公司 一种单张OCT B-scan图像去噪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355856A1 (en) * 2013-05-31 2014-12-04 General Photonics Corporation Reconstruction of optical coherent tomography (oct) images of morphological features
CN110390647A (zh) * 2019-06-14 2019-10-29 平安科技（深圳）有限公司 基于环形对抗生成网络的oct图像去噪方法及装置
CN110390650A (zh) * 2019-07-23 2019-10-29 中南大学 基于密集连接和生成对抗网络的oct图像去噪方法
CN111402174A (zh) * 2020-04-03 2020-07-10 北京图湃影像科技有限公司 一种单张OCT B-scan图像去噪方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONG HUANG等: "Real-time noise reduction based on ground truth free deep learning for optical coherence tomography", 《HTTPS://OPG.OPTICA.ORG/BOE/FULLTEXT.CFM?URI=BOE-12-4-2027&ID=449154》 *
邓菊香等: "光学相干层析图像的小波去噪方法研究", 《光学学报》 *
高乃等: "基于双域滤波算法的OCT图像去噪", 《光学技术》 *

Similar Documents

Publication Publication Date Title
Loizou et al. Comparative evaluation of despeckle filtering in ultrasound imaging of the carotid artery
Gridach PyDiNet: Pyramid dilated network for medical image segmentation
CN104574413B (zh) 一种肺部ct图像的血管分叉点提取方法及系统
CN110956632B (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN114240797B (zh) 一种oct图像去噪方法、装置、设备及介质
US11475562B2 (en) Fissurenet: a deep learning approach for pulmonary fissure detection in CT images
Li et al. Low-dose CT image denoising with improving WGAN and hybrid loss function
CN108537785B (zh) 一种子宫超声微蠕动视频处理方法
CN111080531A (zh) 一种水下鱼类图像的超分辨率重建方法、系统及装置
CN111369574A (zh) 一种胸腔器官的分割方法及装置
Zhang et al. CNN and multi-feature extraction based denoising of CT images
CN114820600B (zh) 基于oct图像的冠脉血管内支架检测方法及检测系统
CN116630762A (zh) 一种基于深度学习的多模态医学图像融合方法
CN114841878A (zh) 光学相干层析图像散斑去噪方法、装置及电子设备
Ayub et al. LSTM-based RNN framework to remove motion artifacts in dynamic multicontrast MR images with registration model
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
CN111815692B (zh) 无伪影数据及有伪影数据的生成方法、系统及存储介质
Hou et al. Super-resolution reconstruction algorithm for terahertz images
CN113191960A (zh) 光学相干层析图像去噪模型训练方法、去噪方法及装置
Klinder et al. Lobar fissure detection using line enhancing filters
CN115969400A (zh) 眼球突出截面积测量装置
CN115439423A (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN114663424A (zh) 基于边云协同的内窥镜视频辅助诊断的方法、系统、设备及介质
Kipele et al. Poisson noise reduction with nonlocal-pca hybrid model in medical x-ray images
CN112949585A (zh) 一种眼底图像血管的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210730

WD01 Invention patent application deemed withdrawn after publication