CN105976321A - 一种光学相干断层图像超分辨率重建方法和装置 - Google Patents

Abstract

本发明提供了一种光学相干断层图像超分辨率重建方法和装置，其中，该方法包括：获取三维低分辨率OCT图像；将三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个相似帧组中的每帧OCT图像分别划分为多个膜层；将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块；根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块；通过预先构建的高‑低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个图像块的平均图像块进行处理，得到三维低分辨率OCT图像的高分辨率图像。

Description

一种光学相干断层图像超分辨率重建方法和装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种光学相干断层(Optical Coherence Tomography，OCT)图像超分辨率重建方法和装置。

背景技术

目前，光学相干断层成像是一种重要的医学成像技术，在眼科临床中有着广泛的应用。眼科OCT图像中主要包含复杂的膜层结构(如：视网膜有视神经纤维层、色素上皮层、内外节层等多个膜层，且每个膜层内包含玻璃膜疣、神经血管等不同结构)。眼科医生通过分析不同膜层的厚度和形变来对疾病进行诊断。临床诊断通常需要高分辨率的OCT图像，以准确反映复杂的膜层病理结构。但高分辨率图像的获取需采用很高的空间-时间采样频率，从而延长成像时间，并造成病患成像过程中的痛楚。降低图像采样频率，并用超分辨率技术来重建是快速获取高分辨率图像的一种有效途径。

相关技术中，基于稀疏表示进行超分辨率图像重建的过程中，假设高-低分辨率图像在对应字典的表示下具有相同的稀疏表示系数，通过联合字典学习方式得到高-低分辨率图像字典对，然后将低分辨率测试图像在低分辨率字典上进行稀疏表示，结合低分辨率图像的稀疏表示系数和高分辨率字典来重建高分辨率图像。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

上述基于稀疏表示进行超分辨率图像重建方法仅利用二维图像中单一图像块中的局部信息，并未考虑光学相干断层图像膜层结构中的非局部相似性和三维相邻图像间的相关性，因而重建过程中易受噪声干扰，重构效果较差。

发明内容

有鉴于此，本发明实施例的目的在于提供一种光学相干断层图像超分辨率重建方法和装置，可以提升OCT图像重建效率和质量。

第一方面，本发明实施例提供了一种光学相干断层OCT图像超分辨率重建方法，包括：

获取三维低分辨率OCT图像；

将所述三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个所述相似帧组中的每帧OCT图像分别划分为多个膜层；

将所述每帧OCT图像划分为多个重叠的图像块，并在每个所述图像块对应的膜层内确定每个所述图像块的多个相似图像块；

根据确定的每个所述图像块的多个相似图像块，得到每个所述图像块的平均图像块；

通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个所述图像块的平均图像块进行处理，得到所述三维低分辨率OCT图像的高分辨率图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中：所述方法还包括：

构建多组相互匹配的高-低分辨率OCT图像作为训练样本；

将所述多组高-低分辨率训练图像中的每个训练图像划分为多个膜层；

从划分后的所述多个膜层中的每个膜层中抽取图像块，并根据抽取的所述图像块构建所述每个膜层的高-低训练子集；

在所述每个膜层的所述高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中：在所述每个膜层的所述高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程，包括：

通过对偶超分辨率字典训练算法求解以下公式，从而构建高-低分辨率字典对以及相应的稀疏系数的映射方程：

$\begin{array}{c}\[D_r^H,D_r^L,M_r\]=\arg \underset{D_r^H,D_r^L,M_r}{\min }{||H_r^H-D_r^H{A}_r^H||}_F^2+{||H_r^L-D_r^L{A}_r^L||}_F^2+{||A_r^H-M_r{A}_r^L||}_F^2\\ +{\mathrm{\λ}}_1{||A_r^H||}_0+{\mathrm{\λ}}_2{||A_r^L||}_0,r=1,\mathrm{...},R.\end{array}$

其中，表示高分辨率字典，表示低分辨率字典，和分别表示高-低分辨率稀疏系数矩阵，M_r表示稀疏系数的映射方程，表示矩阵的Frobenius范数，||·||₀表示0范数，λ₁和λ₂分别表示约束条件的权重因子。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中：所述在每个所述图像块对应的膜层内确定每个所述图像块的多个相似图像块，包括：

通过以下公式确定每个所述图像块与所述膜层的预设区域内的图像块的欧氏距离d(x_i,r,x_j,r)：

$d(x_{i,r},x_{j,r})={||x_{i,r}-x_{j,r}||}_2^2,j\⋐\mathrm{\Λ}$

其中，x_i,r表示划分后得到的多个重叠的图像块中的一个图像块，x_j,r表示预设区域内所搜寻到的第j个图像块，Λ表示预设区域内所有图像块的子集，||·||₂表示2范数；

根据得到的所述多个重叠的图像块中的每个图像块与所述预设区域内各图像块的欧氏距离，确定每个所述图像块的多个相似图像块。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中：所述根据确定的每个所述图像块的多个相似图像块，得到每个所述图像块的平均图像块，包括：

对确定的每个所述图像块的多个相似图像块进行加权平均去噪处理，得到每个所述图像块的平均图像块。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中：所述通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个所述图像块的平均图像块进行处理，得到所述三维低分辨率OCT图像的高分辨率图像，包括：

通过对以下公式进行计算，得到稀疏系数

${\left\{{\mathrm{\α}}_{i,k,t}^{Ave}\right\}}_{t=1}^T=\underset{{\left\{{\mathrm{\α}}_{i,k,t}^{Ave}\right\}}_{t=1}^T}{\min }\underset{t=1}{\overset{T}{\Σ}}{||x_{i,r,t}^{Ave}-D_r^L{\mathrm{\α}}_{i,r,t}^{Ave}||}_F^{2}sunjectto{||{\mathrm{\α}}_{i,r,t}^{Ave}||}_0\≤J,t=1,\mathrm{...},T,$

其中，是指第t帧第r膜层中的第i空间位置所抽取的图像块，表示所对应的稀疏表示系数，J表示稀疏系数中非零元素的个数；

根据得到的所述稀疏系数、映射方程M_r和高分辨率字典对每个所述图像块的平均图像块进行处理，得到高分辨率图像块；

根据得到的高分辨率图像块对所述三维低分辨率OCT图像进行重建，得到所述三维低分辨率OCT图像的高分辨率图像。

第二方面，本发明实施例提供了一种光学相干断层OCT图像超分辨率重建装置，包括：

图像获取模块，用于三维低分辨率OCT图像；

划分模块，用于将所述三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个所述相似帧组中的每帧OCT图像分别划分为多个膜层；

相似图像处理模块，用于将所述每帧OCT图像划分为多个重叠的图像块，并在每个所述图像块对应的膜层内确定每个所述图像块的多个相似图像块；

平均图像处理模块，用于根据确定的每个所述图像块的多个相似图像块，得到每个所述图像块的平均图像块；

图像重建模块，用于通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个所述图像块的平均图像块进行处理，得到所述三维低分辨率OCT图像的高分辨率图像。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中：所述装置还包括：

训练样本构建模块，用于构建多组相互匹配的高-低分辨率OCT图像作为训练样本；

处理模块，用于将所述多组高-低分辨率训练图像中的每个训练图像划分为多个膜层；

训练子集构建模块，用于从划分后的所述多个膜层中的每个膜层中抽取图像块，并根据抽取的所述图像块构建所述每个膜层的高-低训练子集；

字典构建模块，用于在所述每个膜层的所述高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中：所述字典构建模块，包括：

计算单元，用于通过对偶超分辨率字典训练算法求解以下公式，从而构建高-低分辨率字典对以及相应的稀疏系数的映射方程：

$\begin{array}{c}\[D_r^H,D_r^L,M_r\]=\arg \underset{D_r^H,D_r^L,M_r}{\min }{||H_r^H-D_r^H{A}_r^H||}_F^2+{||H_r^L-D_r^L{A}_r^L||}_F^2+{||A_r^H-M_r{A}_r^L||}_F^2\\ +{\mathrm{\λ}}_1{||A_r^H||}_0+{\mathrm{\λ}}_2{||A_r^L||}_0,r=1,\mathrm{...},R.\end{array}$

其中，表示高分辨率字典，表示低分辨率字典，和分别表示高-低分辨率稀疏系数矩阵，M_r表示稀疏系数的映射方程，表示矩阵的Frobenius范数，||·||₀表示0范数，λ₁和λ₂分别表示约束条件的权重因子。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中：所述相似图像处理模块，包括：

处理单元，用于通过以下公式确定每个所述图像块与所述膜层的预设区域内的图像块的欧氏距离d(x_i,_r,x_j,_r)：

$d(x_{i,r},x_{j,r})={||x_{i,r}-x_{j,r}||}_2^2,j\⋐\mathrm{\Λ}$

其中，x_i,r表示划分后得到的多个重叠的图像块中的一个图像块，x_j,r表示预设区域内所搜寻到的第j个图像块，Λ表示预设区域内所有图像块的子集，||·||₂表示2范数；

相似图像确定单元，用于根据得到的所述多个重叠的图像块中的每个图像块与所述预设区域内各图像块的欧氏距离，确定每个所述图像块的多个相似图像块。

本发明实施例提供的光学相干断层图像超分辨率重建方法和装置，将三维低分辨率OCT图像在时间维度划分的每帧OCT图像分别划分为多个膜层，将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块，然后根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块，最后对得到的每个图像块的平均图像块进行处理，完成对光学相干断层图像的重建，与现有技术中的仅利用二维图像中单一图像块中的局部信息对图像进行重建的过程相比，充分利用分割膜层内结构的非局部相似性，能快速寻找相似图像块，并通过加权平均处理来减少噪声对超分重构的影响，而且，利用三维光学相干断层图像时间维度的相关性，将相邻多个图像块同时分解和超分辨率重构，从而提高图像重构的效率和精度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例1所提供的一种光学相干断层图像超分辨率重建方法的流程图；

图2示出了本发明实施例3所提供的一种光学相干断层图像超分辨率重建装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，基于稀疏表示进行超分辨率图像重建方法仅训练一对高-低分辨率字典，难以有效重建OCT图像中复杂的层状结构信息；而且，仅利用二维图像中单一图像块中的局部信息，并未考虑光学相干断层图像膜层结构中的非局部相似性和三维相邻图像间的相关性，因而重建过程中易受噪声干扰，重构效果较差。基于此，本申请提供的一种光学相干断层图像超分辨率重建方法和装置。

实施例1

为便于对本实施例进行理解，首先对本发明实施例所公开的一种光学相干断层图像超分辨率重建方法进行详细介绍。

本实施例提出的光学相干断层图像超分辨率重建方法，执行主体是服务器，将三维低分辨率OCT图像在时间维度划分的每帧OCT图像分别划分为多个膜层，将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块，然后根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块，最后对得到的每个图像块的平均图像块进行处理，完成对光学相干断层图像的重建。

服务器，可以采用任何可以进行OCT图像重建的计算设备，这里不再一一赘述。

参见图1，本实施例提出一种OCT图像超分辨率重建方法，包括以下步骤：

步骤100、获取三维低分辨率OCT图像。

其中，服务器所获取到的三维低分辨率图像是OCT成像设备通过仅在空间维度减少采样频率得到的。

步骤102、将三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个相似帧组中的每帧OCT图像分别划分为多个膜层。

在上述步骤102中，采用基于图论的膜层分割和K均值分类技术将每帧OCT图像划分为多个膜层。

优选地，每个相似帧组中包括5个相邻帧，将每帧OCT图像分别划分为9个膜层。

步骤104、将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块。

其中，上述步骤104包括以下步骤(1)至步骤(2)：

(1)通过以下公式确定每个图像块与膜层的预设区域内的图像块的欧氏距离d(x_i,r,x_j,r)：

$d(x_{i,r},x_{j,r})={||x_{i,r}-x_{j,r}||}_2^2,j\⋐\mathrm{\Λ}$

其中，x_i,r表示划分后得到的多个重叠的图像块中的一个图像块，x_j,r表示预设区域内所搜寻到的第j个图像块，Λ表示预设区域内所有图像块的子集，||·||₂表示2范数；

(2)根据得到的多个重叠的图像块中的每个图像块与预设区域内各图像块的欧氏距离，确定每个图像块的多个相似图像块。

步骤106、根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块。

其中，上述步骤106包括以下步骤：

对确定的每个图像块的多个相似图像块进行加权平均去噪处理，得到每个图像块的平均图像块。

具体地，对确定的每个图像块的多个相似图像块进行加权平均去噪处理，得到每个图像块的平均图像块，具体包括以下步骤：

通过以下公式，将搜索到的多个相似图像块进行加权平均处理：

$x_{i,r}^{Ave}=\underset{l=1}{\overset{L}{\Σ}}{\mathrm{\ω}}_{i,r}^l{x}_{i,r}^l$

其中，表示所找到的相似图像块，是图像块的权值，它可通过如下方程计算：

${\mathrm{\ω}}_{i,r}^l=\frac{\exp (-{||x_{i,r}^l-x_{i,r}||}_2^2/q)}{\underset{l=1}{\overset{L}{\Σ}}\exp (-{||x_{i,r}^l-x_{i,r}||}_2^2/q)}$

其中，q为预设常数，exp(·)表示指数函数。

优选地，q为80。

步骤108、通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个图像块的平均图像块进行处理，得到三维低分辨率OCT图像的高分辨率图像。

具体地，步骤108包括以下步骤(1)至步骤(3)：

(1)通过对以下公式进行计算，得到稀疏系数

${\left\{{\mathrm{\α}}_{i,k,t}^{Ave}\right\}}_{t=1}^T=\underset{{\left\{{\mathrm{\α}}_{i,k,t}^{Ave}\right\}}_{t=1}^T}{\min }\underset{t=1}{\overset{T}{\Σ}}{||x_{i,r,t}^{Ave}-D_r^L{\mathrm{\α}}_{i,r,t}^{Ave}||}_F^{2}sunjectto{||{\mathrm{\α}}_{i,r,t}^{Ave}||}_0\≤J,t=1,\mathrm{...},T,$

其中，是指第t帧第r膜层中的第i空间位置所抽取的图像块，表示所对应的稀疏表示系数，J表示稀疏系数中非零元素的个数；

(2)根据得到的稀疏系数、映射方程M_r和高分辨率字典对每个图像块的平均图像块进行处理，得到高分辨率图像块；

(3)根据得到的高分辨率图像块对三维低分辨率OCT图像进行重建，得到三维低分辨率OCT图像的高分辨率图像。

其中，高分辨率图像，是指OCT成像设备获得的高空间分辨率图像。

综上所述，本发明实施例提供的光学相干断层图像超分辨率重建方法，将三维低分辨率OCT图像在时间维度划分的每帧OCT图像分别划分为多个膜层，将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块，然后根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块，最后对得到的每个图像块的平均图像块进行处理，完成对光学相干断层图像的重建，与现有技术中的仅利用二维图像中单一图像块中的局部信息对图像进行重建的过程相比，充分利用分割膜层内结构的非局部相似性，能快速寻找相似图像块，并通过加权平均处理来减少噪声对超分重构的影响，而且，利用三维光学相干断层图像时间维度的相关性，将相邻多个图像块同时分解和超分辨率重构，从而提高图像重构的效率和精度。

相关技术中，在对图像进行重建的过程中，仅训练一对高-低分辨率字典，难以有效重建OCT图像中复杂的层状结构信息，所以，为了有效重建OCT图像中复杂的层状结构信息，本实施例提供的光学相干断层图像超分辨率重建方法，还包括以下步骤(1)至步骤(4)：

(1)构建多组相互匹配的高-低分辨率OCT图像作为训练样本；

(2)将多组高-低分辨率训练图像中的每个训练图像划分为多个膜层；

(3)从划分后的多个膜层中的每个膜层中抽取图像块，并根据抽取的图像块构建每个膜层的高-低训练子集；

(4)在每个膜层的高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程。

在上述步骤1中，构建多组相互匹配的高-低分辨率OCT图像作为训练样本的过程包括：

采用OCT成像设备对成像体同一位置重复采集40幅大小为500×1000低信噪比-高分辨率图像，并对它们进行平均处理，以生成1幅大小为500×1000高信噪比-高分辨率的训练图像；从重复采集图像中抽取1幅低信噪比-高分辨率图像中，并对其进行预设倍数下采样以生成对应的低信噪比-低分辨率图像；对不同成像体的相同位置重复以上采样并处理N次以构建多组相互匹配的高-低分辨率OCT图像作为训练样本。

在上述步骤2中，采用基于图论的膜层分割和K均值分类技术将每帧OCT图像划分为多个膜层。

其中，对于眼球图像来说，眼球视网膜的膜层信息主要集中在视神经纤维层和色素上皮细胞层之间，采用基于图论的膜层分割方可自动判别视神经纤维层和色素上皮细胞层，并将其两层中间区域分割为R-2层。对于其它区域(如：脉络膜层)含有较少结构信息，采用K均值聚类方法将它们划分为2层。

在上述步骤3中，从低分辨率图像中的第r个膜层区域依次抽取大小为4×4的低分辨率图像块，并从对应高分辨率图像的相同区域抽取大小为4×(4×S)的高分辨率图像块。将抽取出来的图像块矢量化后构建相应的高-低分辨率训练子集和

在上述步骤4中，在每个膜层的高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程，包括以下步骤：

通过对偶超分辨率字典训练算法求解以下公式，从而构建高-低分辨率字典对以及相应的稀疏系数的映射方程：

$\begin{array}{c}\[D_r^H,D_r^L,M_r\]=\arg \underset{D_r^H,D_r^L,M_r}{\min }{||H_r^H-D_r^H{A}_r^H||}_F^2+{||H_r^L-D_r^L{A}_r^L||}_F^2+{||A_r^H-M_r{A}_r^L||}_F^2\\ +{\mathrm{\λ}}_1{||A_r^H||}_0+{\mathrm{\λ}}_2{||A_r^L||}_0,r=1,\mathrm{...},R.\end{array}$

其中，表示高分辨率字典，它是用于高分辨率图像块集合的稀疏求解；表示低分辨率字典，它是用于低分辨率图像块集合的稀疏求解；和分别表示高-低分辨率稀疏系数矩阵；M_r表示稀疏系数的映射方程，它能反应稀疏系数和之间的映射关系；表示矩阵的Frobenius范数，||·||₀表示0范数。λ₁和λ₂是约束条件的权重因子，它们可控制约束的权重。

具体地，为了求解上述公式，可先求解如下公式1：

$\[D_r^H,D_r^L\]=\arg \underset{D_r^H,D_r^H}{\min }{||H_r^H-D_r^H{A}_r^H||}_F^2+{||H_r^L-D_r^L{A}_r^L||}_F^2+{\mathrm{\λ}}_1{||A_r^H||}_0+{\mathrm{\λ}}_2{||A_r^L||}_0,r=1,\mathrm{...},R---\left(1\right)$

来获得高-低分辨率字典对和

其中，表示矩阵的Frobenius范数，||·||₀表示0范数，以计算矩阵中非零元素个数，和分别表示高-低分辨率稀疏系数矩阵。此外，映射方程的获取是求解如下公式2：

$M_r=\arg \underset{M_r}{min}{||A_r^H-M_r{A}_r^L||}_F^2+\mathrm{\β}{||M_r||}_F^2---\left(2\right)$

其中，β是调节约束条件权重的参数，选取为0.001。

方程(2)可转化为如下公式3：

$M_r=\left(A_r^H\right){\left(A_r^L\right)}^T\×{\left(\right(A_r^H){\left(A_r^L\right)}^T+\mathrm{\β}\·I)}^{-1}---\left(3\right)$

其中，I是单位矩阵，(·)^T表示矩阵的转置。

综上所述，通过构建多组相互匹配的高-低分辨率OCT图像作为训练样本，并将多组高-低分辨率训练图像中的每个训练图像划分为多个膜层，然后对划分后的多个膜层构建每个膜层的高-低训练子集，并以此构建高-低分辨率字典对以及相应的稀疏系数的映射方程，来对图像进行重构，从而有效的重建OCT图像中复杂的层状结构信息。

实施例2

参见图2，本实施例提供一种OCT图像超分辨率重建装置，包括：

图像获取模块200，用于三维低分辨率OCT图像；

划分模块202，用于将三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个相似帧组中的每帧OCT图像分别划分为多个膜层；

相似图像处理模块204，用于将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块；

平均图像处理模块206，用于根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块；

图像重建模块208，用于通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个图像块的平均图像块进行处理，得到三维低分辨率OCT图像的高分辨率图像。

相关技术中，在对图像进行重建的过程中，仅训练一对高-低分辨率字典，难以有效重建OCT图像中复杂的层状结构信息，所以，为了有效重建OCT图像中复杂的层状结构信息，本实施例提供的光学相干断层图像超分辨率重建装置，还包括：

训练样本构建模块，用于构建多组相互匹配的高-低分辨率OCT图像作为训练样本；

处理模块，用于将多组高-低分辨率训练图像中的每个训练图像划分为多个膜层；

训练子集构建模块，用于从划分后的多个膜层中的每个膜层中抽取图像块，并根据抽取的图像块构建每个膜层的高-低训练子集；

字典构建模块，用于在每个膜层的高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程。

具体地，字典构建模块，包括：

计算单元，用于通过对偶超分辨率字典训练算法求解以下公式，从而构建高-低分辨率字典对以及相应的稀疏系数的映射方程：

$\begin{array}{c}\[D_r^H,D_r^L,M_r\]=\arg \underset{D_r^H,D_r^L,M_r}{\min }{||H_r^H-D_r^H{A}_r^H||}_F^2+{||H_r^L-D_r^L{A}_r^L||}_F^2+{||A_r^H-M_r{A}_r^L||}_F^2\\ +{\mathrm{\λ}}_1{||A_r^H||}_0+{\mathrm{\λ}}_2{||A_r^L||}_0,r=1,\mathrm{...},R.\end{array}$

其中，表示高分辨率字典，表示低分辨率字典，和分别表示高-低分辨率稀疏系数矩阵，M_r表示稀疏系数的映射方程，表示矩阵的Frobenius范数，||·||₀表示0范数，λ₁和λ₂分别表示约束条件的权重因子。

综上所述，通过构建多组相互匹配的高-低分辨率OCT图像作为训练样本，并将多组高-低分辨率训练图像中的每个训练图像划分为多个膜层，然后对划分后的多个膜层构建每个膜层的高-低训练子集，并以此构建高-低分辨率字典对以及相应的稀疏系数的映射方程，来对图像进行重构，从而有效的重建OCT图像中复杂的层状结构信息。

具体地，上述相似图像处理模块204，包括：

处理单元，用于通过以下公式确定每个图像块与膜层的预设区域内的图像块的欧氏距离d(x_i,r,x_j,r)：

$d(x_{i,r},x_{j,r})={||x_{i,r}-x_{j,r}||}_2^2,j\⋐\mathrm{\Λ}$

其中，x_i,r表示划分后得到的多个重叠的图像块中的一个图像块，x_j,r表示预设区域内所搜寻到的第j个图像块，Λ表示预设区域内所有图像块的子集，||·||₂表示2范数；

相似图像确定单元，用于根据得到的多个重叠的图像块中的每个图像块与预设区域内各图像块的欧氏距离，确定每个图像块的多个相似图像块。

综上所述，本发明实施例提供的光学相干断层图像超分辨率重建装置，将三维低分辨率OCT图像在时间维度划分的每帧OCT图像分别划分为多个膜层，将每帧OCT图像划分为多个重叠的图像块，并在每个图像块对应的膜层内确定每个图像块的多个相似图像块，然后根据确定的每个图像块的多个相似图像块，得到每个图像块的平均图像块，最后对得到的每个图像块的平均图像块进行处理，完成对光学相干断层图像的重建，与现有技术中的仅利用二维图像中单一图像块中的局部信息对图像进行重建的过程相比，充分利用分割膜层内结构的非局部相似性，能快速寻找相似图像块，并通过加权平均处理来减少噪声对超分重构的影响，而且，利用三维光学相干断层图像时间维度的相关性，将相邻多个图像块同时分解和超分辨率重构，从而提高图像重构的效率和精度。

本发明实施例所提供的进行光学相干断层图像超分辨率重建方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种光学相干断层OCT图像超分辨率重建方法，其特征在于，包括：

获取三维低分辨率OCT图像；

将所述三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个所述相似帧组中的每帧OCT图像分别划分为多个膜层；

将所述每帧OCT图像划分为多个重叠的图像块，并在每个所述图像块对应的膜层内确定每个所述图像块的多个相似图像块；

根据确定的每个所述图像块的多个相似图像块，得到每个所述图像块的平均图像块；

通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个所述图像块的平均图像块进行处理，得到所述三维低分辨率OCT图像的高分辨率图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

构建多组相互匹配的高-低分辨率OCT图像作为训练样本；

将所述多组高-低分辨率训练图像中的每个训练图像划分为多个膜层；

从划分后的所述多个膜层中的每个膜层中抽取图像块，并根据抽取的所述图像块构建所述每个膜层的高-低训练子集；

在所述每个膜层的所述高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程。

3.根据权利要求2所述的方法，其特征在于，在所述每个膜层的所述高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程，包括：

通过对偶超分辨率字典训练算法求解以下公式，从而构建高-低分辨率字典对以及相应的稀疏系数的映射方程：

$\begin{array}{c}\[D_r^H,D_r^L,M_r\]=\arg \underset{D_r^H,D_r^L,M_r}{\min }\left|\right|H_r^H-D_r^H{A}_r^H|{|}_F^2+||H_r^L-D_r^L{A}_r^L|{|}_F^2+\left|\right|A_r^H-M_r{A}_r^L|{|}_F^2\\ +{\mathrm{\λ}}_1\left|\right|A_r^H|{|}_0+{\mathrm{\λ}}_2|\left|A_r^L\right|{|}_0,r=1,\mathrm{...},R.\end{array}$

其中，表示高分辨率字典，表示低分辨率字典，和分别表示高-低分辨率稀疏系数矩阵，M_r表示稀疏系数的映射方程，表示矩阵的Frobenius范数，||·||₀表示0范数，λ₁和λ₂分别表示约束条件的权重因子。

4.根据权利要求1所述的方法，其特征在于，所述在每个所述图像块对应的膜层内确定每个所述图像块的多个相似图像块，包括：

通过以下公式确定每个所述图像块与所述膜层的预设区域内的图像块的欧氏距离d(x_i,r,x_j,r)：

$d(x_{i,r},x_{j,r})=\left|\right|x_{i,r}-x_{j,r}|{|}_2^2,j\⋐\mathrm{\Λ}$

其中，x_i,r表示划分后得到的多个重叠的图像块中的一个图像块，x_j,r表示预设区域内所搜寻到的第j个图像块，Λ表示预设区域内所有图像块的子集，||·||₂表示2范数；

根据得到的所述多个重叠的图像块中的每个图像块与所述预设区域内各图像块的欧氏距离，确定每个所述图像块的多个相似图像块。

5.根据权利要求4所述的方法，其特征在于，所述根据确定的每个所述图像块的多个相似图像块，得到每个所述图像块的平均图像块，包括：

对确定的每个所述图像块的多个相似图像块进行加权平均去噪处理，得到每个所述图像块的平均图像块。

6.根据权利要求1所述的方法，其特征在于，所述通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个所述图像块的平均图像块进行处理，得到所述三维低分辨率OCT图像的高分辨率图像，包括：

通过对以下公式进行计算，得到稀疏系数

${\left\{{\mathrm{\α}}_{i,k,t}^{Ave}\right\}}_{t=1}^T=\underset{{\left\{{\mathrm{\α}}_{i,k,t}^{Ave}\right\}}_{t=1}^T}{\min }\underset{t=1}{\overset{T}{\Σ}}\left|\right|x_{i,r,t}^{Ave}-D_r^L{\mathrm{\α}}_{i,r,t}^{Ave}\left|{|}_F^{2}subjectto\right|\left|{\mathrm{\α}}_{i,r,t}^{Ave}\right|{|}_0\≤J,t=1,\mathrm{...},T,$

其中，是指第t帧第r膜层中的第i空间位置所抽取的图像块，表示所对应的稀疏表示系数，J表示稀疏系数中非零元素的个数；

根据得到的所述稀疏系数、映射方程M_r和高分辨率字典对每个所述图像块的平均图像块进行处理，得到高分辨率图像块；

根据得到的高分辨率图像块对所述三维低分辨率OCT图像进行重建，得到所述三维低分辨率OCT图像的高分辨率图像。

7.一种光学相干断层OCT图像超分辨率重建装置，其特征在于，包括：

图像获取模块，用于三维低分辨率OCT图像；

划分模块，用于将所述三维低分辨率OCT图像在时间维度划分为多个相似帧组，并将多个所述相似帧组中的每帧OCT图像分别划分为多个膜层；

相似图像处理模块，用于将所述每帧OCT图像划分为多个重叠的图像块，并在每个所述图像块对应的膜层内确定每个所述图像块的多个相似图像块；

平均图像处理模块，用于根据确定的每个所述图像块的多个相似图像块，得到每个所述图像块的平均图像块；

图像重建模块，用于通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程，对得到的每个所述图像块的平均图像块进行处理，得到所述三维低分辨率OCT图像的高分辨率图像。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

训练样本构建模块，用于构建多组相互匹配的高-低分辨率OCT图像作为训练样本；

处理模块，用于将所述多组高-低分辨率训练图像中的每个训练图像划分为多个膜层；

训练子集构建模块，用于从划分后的所述多个膜层中的每个膜层中抽取图像块，并根据抽取的所述图像块构建所述每个膜层的高-低训练子集；

字典构建模块，用于在所述每个膜层的所述高-低训练子集构建高-低分辨率字典对以及相应的稀疏系数的映射方程。

9.根据权利要求8所述的装置，其特征在于，所述字典构建模块，包括：

计算单元，用于通过对偶超分辨率字典训练算法求解以下公式，从而构建高-低分辨率字典对以及相应的稀疏系数的映射方程：

$\begin{array}{c}\[D_r^H,D_r^L,M_r\]=\arg \underset{D_r^H,D_r^L,M_r}{\min }\left|\right|H_r^H-D_r^H{A}_r^H|{|}_F^2+||H_r^L-D_r^L{A}_r^L|{|}_F^2+\left|\right|A_r^H-M_r{A}_r^L|{|}_F^2\\ +{\mathrm{\λ}}_1\left|\right|A_r^H|{|}_0+{\mathrm{\λ}}_2|\left|A_r^L\right|{|}_0,r=1,\mathrm{...},R.\end{array}$

其中，表示高分辨率字典，表示低分辨率字典，和分别表示高-低分辨率稀疏系数矩阵，M_r表示稀疏系数的映射方程，表示矩阵的Frobenius范数，||·||₀表示0范数，λ₁和λ₂分别表示约束条件的权重因子。

10.根据权利要求7所述的装置，其特征在于，所述相似图像处理模块，包括：

处理单元，用于通过以下公式确定每个所述图像块与所述膜层的预设区域内的图像块的欧氏距离d(x_i,r,x_j,r)：

$d(x_{i,r},x_{j,r})=\left|\right|x_{i,r}-x_{j,r}|{|}_2^2,j\⋐\mathrm{\Λ}$

其中，x_i,r表示划分后得到的多个重叠的图像块中的一个图像块，x_j,r表示预设区域内所搜寻到的第j个图像块，Λ表示预设区域内所有图像块的子集，||·||₂表示2范数；

相似图像确定单元，用于根据得到的所述多个重叠的图像块中的每个图像块与所述预设区域内各图像块的欧氏距离，确定每个所述图像块的多个相似图像块。