CN113658047A - 一种结晶图像超分辨率重建方法 - Google Patents

Abstract

本发明提供一种结晶图像超分辨率重建方法，包括：根据晶体图像退化模型构建训练集，包括低分辨率图像及其对应的原始分辨率图像；提取训练集中的低分辨率图像的浅层特征信息，对浅层特征信息通过三个不同分辨率的卷积通道并行提取多尺度特征；通过空间和通道注意力机制结合特征融合模块获取深层次的特征；将深层次的特征通过卷积核上采样，重建出高分辨率的图像；通过模型训练，对晶体图像超分辨率模型进行优化；输入待重建的结晶图像至晶体图像超分辨率重建模型，获取结晶图像超分辨率重建图像。本发明提出的结晶图像超分辨率重建方法，通过学习多尺度的特征，结合多个尺度上下文信息，在对图像进行超分辨重建的同时，保留高分辨的空间细节。

Description

一种结晶图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种结晶图像超分辨率重建方法。

背景技术

结晶是将物质以晶体状态从溶液分离出来的操作，能够处理许多单元精馏、萃取、吸附等操作所不能解决的问题，在分离新产品的过程中得到广泛应用。在结晶过程中测量晶体形态和尺寸分布是控制优化获得所需产品质量和生产效率的重要手段，图像信号代表了一种直观的信息来源，被认为是测量晶体尺寸和形态最有前途的技术之一。然而，晶体形成初期的阶段，生成微晶体的体积过小，很难通过原位图像进行精确描述和分析。

超分辨率技术是从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。近年来，深度学习的兴起让图像处理领域绽放了新的研究方向，而基于深度学习的超分辨率技术，主要是基于单张低分辨率的重建方法。对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的超分辨率技术通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

基于深度学习的图像超分辨率重建方法，一般认为模型的层数越多，其能够提取的特征越抽象，越具有语义信息。然而在实际的算法模型中，经过多层体征提取之后，图像的边缘纹理等细节会丢失，造成模型网络的退化。

为此，本发明提出了一种新的结晶图像超分辨率重建方法。

发明内容

为解决上述问题，本发明的目的在于提供一种结晶图像超分辨率重建方法。本发明提出的结晶图像超分辨率重建方法，通过引入多尺度特征聚合和注意力机制有效解决网络退化问题。本发明提出的模型的体系结构，可通过整个网络空间精确的高分辨率表示，从低分辨率表示中获取足够多的上下文信息。

为实现上述目的，本发明提供了如下的技术方案。

一种结晶图像超分辨率重建方法，包括以下步骤：

获取结晶图像的低分辨率图像；

将低分辨率图像输入至晶体图像超分辨率重建模型中，获得重建的高分辨率的结晶图像，其具体步骤包括：

提取低分辨率图像的浅层特征信息，并将浅层特征信息分别通过三个不同分辨率的卷积通道，并行提取三个通道的多尺度特征；

根据空间注意力机制和通道注意力机制分别提取三个通道的多尺度特征的上下文信息特征，并将三个通道的上下文信息特征进行融合，获得融合特征；

将融合特征通过卷积核上采样，重建出高分辨率的结晶图像。

优选地，还包括：

通过空间注意力机制和通道注意力机制多次提取三个通道的多尺度特征的上下文信息特征，并多次融合获取深层次的特征；

将深层次的特征通过卷积核上采样，重建出高分辨率的结晶图像。

优选地，所述通过空间注意力机制和通道注意力机制分别提取三个通道的多尺度特征的上下文信息特征包括以下步骤：

获取通道注意力机制下的通道维度信息，以及空间注意力机制下的空间维度信息；

将通道维度信息特征和空间维度信息特征进行融合获得上下文信息特征。

优选地，所述通道注意力机制下的通道维度信息特征的获取包括以下步骤：

利用卷积特征映射通道间关系，给定一个特征量M∈R^H×W×C；

应用全局平均池化来编码全局上下文，产生特征描述符d∈R^1×1×C；描述符d通过多个卷积层和sigmoid函数，生成描述符

将缩放后的特征量M作为通道维度信息的特征数据进行输出。

优选地，所述空间注意力机制下的空间维度信息特征的获取包括以下步骤：

给定一个特征量M∈R^H×W×C；

应用全局平均池化和最大池化操作生成特征描述符f∈R^H×W×2，描述符通过一个卷积层和sigmoid函数，生成描述符

将缩放后的特征量M作为空间维度信息的特征数据进行输出。

优选地，所述融合特征的获取方法包括：

接收三个卷积通道的特征，用元素和进行组合：L＝L₁+L₂+L₃；

在空间维度上应用全局平均池化L∈R^H×W×C计算空间相关的统计信息s∈R^1×1×C；应用信道降尺度卷积层生成特征表示z∈R^1×1×r；

特征向量z经过三个并行的通道升级卷积层，提供三个特征描述符v1、v2和v3，尺度为1×1×C；

将softmax函数应用于v1、v2和v3，产生s1、s2和s3分别用于自适应重新校准多尺度特征映射L1、L2和L3；特征重新校准和聚合的整体过程为：U＝s₁·L₁+s₂·L₂+s₃·L₃。

优选地，还包括：

构建训练集；所述训练集包括根据晶体图像退化模型获取的低分辨率图像及其对应的原始分辨率图像；

根据训练集并通过损失函数训练晶体图像超分辨率重建模型，所述损失函数为以下表示式：

其中，i表示每个像素点，H_high(X_i)为重建的高分辨率图像，F_high(X_i)为原始分辨率图像。

本发明有益效果：

本发明提出的一种结晶图像超分辨率重建方法，可对单幅的结晶图像进行超分辨率重建。本发明通过在整个网络维护空间精确的高分辨率表示，并从低分辨率表示中接收强大的上下文信息。本发明所述的多尺度特征提取模块进行多分辨率卷积流并行提取，用于提取语义丰富和空间精确的特征表示；所述的注意力模块，包括空间和通道注意力机制来获取上下文信息，并将注意力模块处理后的特征进行融合。通过学习多尺度的特征，结合来自多个尺度的上下文信息，在对图像进行超分辨重建的同时，保留了高分辨的空间细节。

附图说明

图1是本发明实施例的基于多尺度特征聚合和注意力机制的结晶图像超分辨率结构框图；

图2是本发明实施例的多尺度特征聚合和注意力机制模块的结构框图；

图3是本发明实施例的特征融合模块的结构示意图；

图4是本发明实施例的注意力机制模块的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

一种结晶图像超分辨率重建方法，如图1所示，包括以下步骤：根据晶体图像退化模型构建训练集，包括低分辨率图像及其对应的原始分辨率图像。

提取训练集中的低分辨率图像的浅层特征信息，对浅层特征信息通过三个不同分辨率的卷积通道并行提取多尺度特征。

分别通过空间和通道注意力机制提取多尺度特征的上下文信息的特征，并将三个通道的特征通过特征融合模块进行融合，获得三个通道的融合特征；通过注意力模块和特征融合模块多次提取并融合获取深层次的特征。

其中，多尺度特征聚合和注意力机制模块的结构如图2所示，将输入的浅层图像特征，分别送到三个不同分辨率尺度的通道中进行数据处理。三个并行的不同分辨率的卷积通道，并行连接而成，用于提取语义丰富和空间精确的特征表示。三个并行的通道可以进行信息交换，通过低分辨率的特征增强高分辨率特征，也可通过高分辨率的特征增强低分辨率特征。通过注意力模块和特征融合模块多次提取并融合获取深层次的特征。

进一步的，根据注意力机制提取上下文信息的特征数据包括空间维度和通道维度信息。注意力机制模块的结构如图4所示，具体的：

通道维度信息的获取包括：利用卷积特征映射通道间关系，给定一个特征量M∈R^{H ×W×C}；应用全局平均池化来编码全局上下文，产生特征描述符d∈R^1×1×C；描述符d通过多个卷积层和sigmoid函数，生成描述符

将缩放后的特征量M作为通道维度信息的特征数据进行输出。

空间维度信息的获取包括：给定一个特征量M∈R^H×W×C；应用全局平均池化和最大池化操作生成特征描述符f∈R^H×W×2，描述符通过一个卷积层和sigmoid函数，生成描述符

将缩放后的特征量M作为空间维度信息的特征数据进行输出。

进一步的，特征融合模块用于在注意力机制处理完成后，将三个通道的特征数据进行融合，如图3所示，具体的：

接收三个卷积通道的特征，用元素和进行组合：L＝L₁+L₂+L₃；

在空间维度上应用全局平均池化L∈R^H×W×C计算空间相关的统计信息s∈R^1×1×C；应用信道降尺度卷积层生成特征表示z∈R^1×1×r；

特征向量z经过三个并行的通道升级卷积层，提供三个特征描述符v1、v2和v3，尺度为1×1×C；

将softmax函数应用于v1、v2和v3，产生s1、s2和s3分别用于自适应重新校准多尺度特征映射L1、L2和L3；特征重新校准和聚合的整体过程为：U＝s₁·L₁+s₂·L₂+s₃·L₃。

将深层次的特征通过卷积核上采样，重建出高分辨率的图像；通过损失函数，对晶体图像超分辨率模型进行优化；损失函数的表达式为：

其中，i表示每个像素点，H_high(X_i)为重建的高分辨率图像，F_high(X_i)为原始分辨率图像。

输入待重建的结晶图像至晶体图像超分辨率重建模型，获取结晶图像超分辨率重建图像。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种结晶图像超分辨率重建方法，其特征在于，包括以下步骤：

获取结晶图像的低分辨率图像；

将低分辨率图像输入至晶体图像超分辨率重建模型中，获得重建的高分辨率的结晶图像，其具体步骤包括：

提取低分辨率图像的浅层特征信息，并将浅层特征信息分别通过三个不同分辨率的卷积通道，并行提取三个通道的多尺度特征；

根据空间注意力机制和通道注意力机制分别提取三个通道的多尺度特征的上下文信息特征，并将三个通道的上下文信息特征进行融合，获得融合特征；

将融合特征通过卷积核上采样，重建出高分辨率的结晶图像。

2.根据权利要求1所述的结晶图像超分辨率重建方法，其特征在于，还包括：

通过空间注意力机制和通道注意力机制多次提取三个通道的多尺度特征的上下文信息特征，并多次融合获取深层次的特征；

将深层次的特征通过卷积核上采样，重建出高分辨率的结晶图像。

3.根据权利要求1所述的结晶图像超分辨率重建方法，其特征在于，所述通过空间注意力机制和通道注意力机制分别提取三个通道的多尺度特征的上下文信息特征包括以下步骤：

获取通道注意力机制下的通道维度信息，以及空间注意力机制下的空间维度信息；

将通道维度信息特征和空间维度信息特征进行融合获得上下文信息特征。

4.根据权利要求3所述的结晶图像超分辨率重建方法，其特征在于，所述通道注意力机制下的通道维度信息特征的获取包括以下步骤：

利用卷积特征映射通道间关系，给定一个特征量M∈R^H×W×C；

应用全局平均池化来编码全局上下文，产生特征描述符d∈R^1×1×C；描述符d通过多个卷积层和sigmoid函数，生成描述符

将缩放后的特征量M作为通道维度信息的特征数据进行输出。

5.根据权利要求3所述的结晶图像超分辨率重建方法，其特征在于，所述空间注意力机制下的空间维度信息特征的获取包括以下步骤：

给定一个特征量M∈R^H×W×C；

应用全局平均池化和最大池化操作生成特征描述符f∈R^H×W×2，描述符通过一个卷积层和sigmoid函数，生成描述符

将缩放后的特征量M作为空间维度信息的特征数据进行输出。

6.根据权利要求1所述的结晶图像超分辨率重建方法，其特征在于，所述融合特征的获取方法包括：

接收三个卷积通道的特征，用元素和进行组合：L＝L₁+L₂+L₃；

在空间维度上应用全局平均池化L∈R^H×W×C计算空间相关的统计信息s∈R^1×1×C；应用信道降尺度卷积层生成特征表示z∈R^1×1×r；

特征向量z经过三个并行的通道升级卷积层，提供三个特征描述符v1、v2和v3，尺度为1×1×C；

将softmax函数应用于v1、v2和v3，产生s1、s2和s3分别用于自适应重新校准多尺度特征映射L1、L2和L3；特征重新校准和聚合的整体过程为：U＝s₁·L₁+s₂·L₂+s₃·L₃。

7.根据权利要求6所述的结晶图像超分辨率重建方法，其特征在于，还包括：

构建训练集；所述训练集包括根据晶体图像退化模型获取的低分辨率图像及其对应的原始分辨率图像；

根据训练集并通过损失函数训练晶体图像超分辨率重建模型，所述损失函数为以下表示式：

其中，i表示每个像素点，H_high(X_i)为重建的高分辨率图像，F_high(X_i)为原始分辨率图像。

Images