CN113706376A - 一种图像超分辨率重建方法和系统 - Google Patents

一种图像超分辨率重建方法和系统 Download PDF

Info

Publication number
CN113706376A
CN113706376A CN202011022480.3A CN202011022480A CN113706376A CN 113706376 A CN113706376 A CN 113706376A CN 202011022480 A CN202011022480 A CN 202011022480A CN 113706376 A CN113706376 A CN 113706376A
Authority
CN
China
Prior art keywords
resolution
image
sample
training
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011022480.3A
Other languages
English (en)
Inventor
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Shilian Technology Co ltd
Original Assignee
Tianyi Smart Family Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Smart Family Technology Co Ltd filed Critical Tianyi Smart Family Technology Co Ltd
Priority to CN202011022480.3A priority Critical patent/CN113706376A/zh
Publication of CN113706376A publication Critical patent/CN113706376A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像超分辨重建方法和系统。该方法利用学生t分布混合模型对训练样本进行聚类，然后采用岭回归离线构建出每一类训练样本的重建投影矩阵，最后使用最合适的投影矩阵进行超分辨率重建，能够在保证重建效率的前提下提高图像超分辨重建的质量。

Description

一种图像超分辨率重建方法和系统
技术领域
本发明涉及图像处理，尤其涉及图像超分辨率重建的方法和系统。
背景技术
图像可以准确而且直观地反映自然界中的信息。图像质量很大程度上取决于图像的分辨率。高分辨率的图像细节更为丰富，蕴含的信息更多，不仅视觉效果好，而且有利于图像处理程序的后续处理。
例如，视频安防领域往往需要保存较长时间的监控录像，受存储容量限制，监控摄像头拍摄的录像的分辨率通常比较低。当出现异常情况时，低分辨率图像往往提供不了有效的信息，利用超分辨技术可以提升图像分辨率，方便相关人员对异常情况进行处理。又例如，医学图像领域中医学影像的质量很大程度上影响医生对病人病情判断与给出相关的治疗方案，通过CT等医学仪器得到的医学图像的质量往往受仪器精度、成像技术的限制和患者能承受的放射剂量的限制，无法得到满足要求的高分辨影像，通过超分辨技术重建出高分辨的医学影像，能使得医生能够更好的了解病情。
虽然，如上所述，能够利用高分辨率的图像进行处理是较为理想的。但是，高分辨率的数字影像在网络传输和存储的过程中，往往会占用大量带宽与存储容量。因此，利用超分辨技术将低分辨率图像重建为高分辨率图像，在减小网络传输带宽压力的情况下不降低人们的观看体验是非常合乎需要的。
一般而言，提高图像的分辨率可以通过硬件升级和/或软件计算来实现。通过升级成像设备的硬件来提高图像的分辨率的方法往往比较昂贵且很难实现。图像超分辨重建技术可以在不改变成像设备的硬件的条件下以低价的软件途径来提高图像的分辨率，因此图像超分辨率重建方法越来越受到人们的青睐，应用也越来越广泛。主流的图像超分辨重建方法主要可以分为基于插值的图像超分辨率重建算法和基于学习的图像超分辨率重建算法。
基于插值的图像超分辨率重建算法是比较早期的超分辨率重建算法，其特点是算法比较简单，运行效率高，但是重建的质量欠佳。宋刚等人提出了一种纹理细节保持的图像插值算法，该算法将待重建的图像划分为纹理区域和平滑区域，然后对纹理区域采用有理模型插值，平滑区域则使用多项式模型插值。(1.宋刚,杜宏伟,王平,刘新新,韩慧健.纹理细节保持的图像插值算法[J].计算机科学,2019,46(S1):169-176.)该算法相比常用的双三次插值方法而言重建效果更好，细节纹理保持优异，然而只使用图像本身所蕴含的信息，没有使用额外的外部信息，导致重建能力相对有限。
基于学习的图像超分辨重建算法通过学习的外部数据之间的映射关系来进行超分辨率重建，主要可以分为传统的稀疏表示的图像超分辨重建方法和基于卷积神经网络的图像超分辨重建方法。Yang等人提出了基于稀疏表示的图像超分辨重建算法，将高、低分辨率图像有相同的稀疏表示系数作为约束条件，对样本库进行联合训练，获得高低分辨率字典对，最后求解待重建低分辨率图像的稀疏表示系数，与高分辨率字典共同重建出高分辨率图像。(2.Yang J,Wright J,Huang T S,et al.Image super-resolution via sparserepresentation(基于稀疏表示的图像超分辨率)[J].IEEE transactions on imageprocessing,2010,19(11):2861-2873.)基于稀疏表示的图像超分辨重建算法相比插值的算法而言，重建结果得到了极大的提升，但是在重建过程中需要进行稀疏分解，影响了运行效率，而且只训练了单一全局字典对，限制了模型对不同结构的图像重建能力。近些年来，计算机的计算能力得到了极大的提高，Dong等人率先将卷积神经网络用于图像超分辨重建中，提出了SRCNN(Super-Resolution Deep Convolutional Network(超分辨率深卷积网络))，通过简单的三层卷积层，但实现了图像超分辨率重建操作，且重建效果优于其他传统方法。(3.Dong C,Loy C C,He K,et al.Learning a deep convolutional network forimage super-resolution(图像超分辨率的深卷积网络学习)[C].Proceedings of theEuropean Conference on Computer Vision.2014:184-199.)由于基于卷积神经网络的图像超分辨重建算法的重建结果很大程度上取决于网络的深度，此外需要精心设计网络的结构才能获得更好的训练效果，Zhang等人采用残差与注意力机制将超分辨重建出的图像质量推到了一个顶峰。(4.Zhang Y,Li K,Li K,et al.Image super-resolution using verydeep residual channel attention networks(使用甚深残差信道注意网络的图像超分辨率研究)[C].Proceedings of the European Conference on Computer Vision.2018:286-301.)虽然基于卷积神经网络的图像超分辨重建算法的重建结果十分优异，但是动则上百万的参数的网络规模太为庞大，重建需要大量的计算资源，限制了其实际应用。
因此，如何在图像重建效率以及重建效果之间获得较好的平衡，是值得进一步优化解决的问题。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
本发明在不改变成像设备的硬件的基础上，使用软件的方法提高图像的分辨率。利用学生t分布混合模型将训练样本分类为不同结构的子空间，避免单一全局样本的表示能力有限问题，并使用全局锚点领域回归来快速重建，因此本发明的重建效果与重建效率获得了较好的均衡，在较快的运行效率上拥有较高的重建质量。
本发明主要涉及两个阶段，训练阶段和重建阶段。训练阶段主要包括：1.数据增强：对于待训练的外部训练样本进行水平与垂直方向的翻转；2.训练样本获取：使用一阶梯度算子跟拉普拉斯高斯算子提取低分辨率样本特征，对高分辨率样本提取残差特征；对提取特征后的样本进行重叠取块，然后向量化作为训练对，为了提高效率，对低分辨率样本向量进行主成分分析法进行降维；3.样本聚类：使用学生t分布混合模型进行样本聚类，记录聚类参数；4.投影矩阵计算：使用领域嵌入的思想求解出每一类的投影矩阵。重建阶段主要包括：1.重建样本获取：与训练阶段対低分辨率样本使用的操作一样；2.构建重建图像：利用训练阶段的聚类参数，计算重建样本块在每一类上的后验概率，选择最大的一类作为所属类别，然后使用对应的投影矩阵快速重建，最后将图像块组合为最终的重建图像。
根据本发明的一个实施例，提供了一种用于图像超分辨重建的方法，该方法包括训练阶段和重建阶段。在训练阶段中，该方法包括获取训练样本，该训练样本包括多个经向量化的图像对，每个经向量化的图像对包括经向量化的低分辨率训练样本和对应的经向量化的高分辨率训练样本；对所获取的训练样本进行聚类；以及计算针对每一类别的训练样本的重建投影矩阵。在重建阶段中，该方法包括：从输入的低分辨率图像中获取待重建样本；以及基于该待重建样本，从重建投影矩阵中选择与该待重建样本的类别对应的重建投影矩阵来构建高分辨率重建图像。
根据本发明的另一实施例，提供了一种用于图像超分辨重建的系统，该系统包括：处理器；存储器，该存储器存储有指令，该指令在被处理器执行时能执行上述方法。
通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
图1示出了根据本发明的一个实施例的用于图像超分辨率重建方法100的流程图；
图2示出了根据本发明的一实施例的将训练样本进行翻转的示意图200；
图3示出了根据本发明的一实施例的可应用于本发明的各方面的硬件设备的计算设备300的框图。
具体实施方式
下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。
本发明公开了一种图像超分辨率重建方法。该方法首先使用一阶梯度算子和拉普拉斯高斯算子提取低分辨率图像的特征，对高分辨率图像提取其残差特征，然后重叠取块获得训练样本对；利用学生t分布混合模型来聚类，将样本划分为不同结构的子空间，基于邻域嵌入的思想来离线计算出每一类样本对应的投影矩阵；重建阶段使用与待重建本最相关的类别的投影矩阵进行重建，可以在不影响重建效率的基础上提高图像超分辨率重建的质量。
图1示出了根据本发明的一个实施例的用于图像超分辨率重建方法100的流程图。该重建方法100主要包括训练阶段101和重建阶段102。在训练阶段101，利用学生t分布混合模型对训练样本进行聚类，然后采用岭回归离线构建出每一类训练样本的重建投影矩阵。在重建阶段102，使用在训练阶段101中得到的最合适的投影矩阵进行超分辨率重建，由此能够在保证重建效率的前提下提高图像超分辨重建的质量。
以下继续参考图1来描述训练阶段101。训练阶段101主要涉及数据增强、训练样本获取、样本聚类和投影矩阵计算。在步骤103，对训练数据进行增强。训练数据包括多个图像对，每个图像对包括高分辨率图像和对应的低分辨率图像。在每个图像对中，低分辨率的图像尺寸跟高分辨率的图像一样，但是细节比该图像对中高分辨率的图像少。根据本发明的一个实施例，可从外部获得待训练的训练样本，并对待训练的外部训练样本进行水平与垂直方向的翻转，使得待训练的训练样本的数量从而变为原来的三倍。举例而言，参考图2，图2示出了在将待训练的训练样本进行水平和垂直方向翻转之后的示意图200。从图2中可见，在水平和垂直翻转后，待训练的训练样本的数量变为原来的三倍，即原始的训练样本201、经水平翻转的训练样本202以及经垂直翻转的训练样本203。
在步骤104，从经增强的训练数据中获取训练样本，该获取的训练样本包括多个经向量化的图像对，每个经向量化的图像对包括经向量化的低分辨率训练样本和对应的经向量化的高分辨率训练样本。
根据本发明的一个实施例，使用两个一阶梯度算子和一个拉普拉斯高斯算子来对低分辨率图像进行特征提取，获取三个特征图作为低分辨率图像的特征，然后在三幅特征图上按照对应位置进行重叠取块，将三个特征块进行向量化后串联为最终的低分辨率训练样本，为了提高计算速率采用主成分分析进行降维。对高分辨率图像，使用高分辨率图像与对应的低分辨率图像之间的残差作为高分辨率图像的特征，同样的对其进行重叠取块，将特征块进行向量化处理作为最终的高分辨率训练样本。
根据本发明的一个实施例，图像块大小可为6x6，重叠区域可为2像素。然后将三个特征块进行向量化后串联为最终的低分辨率训练样本1x108，为了提高计算效率采用主成分分析进行降维，保留99.9％能量。
在步骤105，对步骤104获取的训练样本进行聚类。使用学生t分布混合模型对训练样本向量进行聚类，并保留每一类的聚类参数。
根据本发明的一个实施例，采用学生t分布混合模型将低分辨率样本分成K类，在放大倍数为2的时候将训练样本分类为14类。然而，本领域的技术人员可以理解，不同的训练样本集分类的数目不一样，需要根据实际情况通过实验获得。
学生t分布混合模型的概率密度函数定义如下，
Figure BDA0002701120330000061
其中ωk代表着不同成分的权重，而fk(x)是待分类样本x在第k组上对应的多变量学生t分布的概率密度函数，定义如下:
Figure BDA0002701120330000062
其中Γ代表着gamma函数，需要求解的参数为
Figure BDA0002701120330000063
νk，μk，Σk分别为第k个多变量学生t分布函数的自由度、均值与协方差。
一般采用期望最大算法求解待定参数，首先使用K-Means聚类初始化除了自由度以外的所有参数，自由度选择随机初始化，然后通过期望最大算法进行迭代，最终可以获得的K组参数
Figure BDA0002701120330000064
接下来计算待分类样本在学生t分布混合模型的概率值，选择概率值最大的作为该样本所属的类别，最终将N个训练样本分成K类。
在步骤106，计算针对每一类的重建投影矩阵。根据本发明的一个实施例，针对步骤105分类后的训练样本，使用K-SVD算法训练出每一类对应的高低分辨率字典对，然后使用岭回归的闭式解来获得每一类的重建投影矩阵。
根据本发明的一个实施例，针对上一步分类后的训练样本，首先使用K-SVD算法训练出每一类的低分辨率字典Dl和稀疏表示系数Q，使用如下公式快速计算出对应的高分辨率字典Dh：
Dh＝PhQT(QQT)-1
其中Ph由高分辨率训练样本组成。
在邻域嵌入的思想中，图像块可以由周围的图像块线性组合而成，问题可以定义为：
Figure BDA0002701120330000071
其中Nl是图像块y的邻域，λ是正则项，β是系数向量。
该问题可以使用岭回归来求得其闭式解
Figure BDA0002701120330000072
根据流形学习中，低维空间和高维空间的局部空间结构是相似的，高分辨率图像就可以用如下的公式求解
x＝Nhβ
在这里将低分辨率字典的全部原子当成低分辨率图像块的邻域，高分辨率字典的全部原子当成高分辨率图像块的邻域，则高分辨率的图像块可以由下面的闭式解求得，
x＝Py
Figure BDA0002701120330000073
对于针对每一类样本，都通过其学习到的字典计算出其投影矩阵
Figure BDA0002701120330000074
接下来描述重建阶段102中的步骤。重建阶段102主要涉及对待重建图像选择合适的投影矩阵进行快速重建。在步骤107，从低分辨率图像中获取待重建样本。根据本发明的一个实施例，与训练阶段对低分辨率样本使用的操作一样，对于输入的待超分辨重建的低分辨率图像进行重叠取块，以得到待重建图像训练样本。并且，在步骤108，基于待重建样本来构建重建图像。根据本发明的一个实施例，对于每一个待重建样本使用最合适类别的投影矩阵进行超分辨重建，最终将重建出的样本块进行组合，重叠区域则求平均来获得最终的高分辨率图像。
根据本发明的一个实施例，对于输入的待超分辨重建的低分辨率图像，首先放大到指定的倍数，本实施例中设置为2倍，然后进行重叠取块，得到待重建图像训练样本
Figure BDA0002701120330000081
计算其在学生t分布混合模型下的后验概率，
Figure BDA0002701120330000082
选择后验概率最大的一类作为待重建样本所属的类别，将待重建样本块与该类别的投影矩阵进行相乘获得重建后的高分辨率图像块。最后将所有重建后的图像块进行组合取平均值作为最终的像素值。因为高分辨率样本使用的是残差特征，因此还需要将重建出的图像叠加到待重建图像上，来获得最后的重建图像。
通过上述描述可知，本方法使用了学生t分布混合模型进行聚类，对图像块的分类更为准确，且能处理异常样本，在重建阶段只需将重建块与对应的投影矩阵相乘，重建速率获得极大提升，而且重建质量优异。
图3示出了根据本发明的一个实施例的示例性计算设备的框图300，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。
参考图3，现在将描述一种计算设备300，该计算设备是可应用于本发明的各方面的硬件设备的一个示例。计算设备300可以是可被配置成用于实现处理和/或计算的任何机器，可以是但并不局限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字处理、智能手机、车载计算机或者它们的任何组合。前述的各种方法/装置/服务器/客户端设备可全部或者至少部分地由计算设备300或者类似设备或系统来实现。
计算设备300可包括可经由一个或多个接口和总线302连接或通信的组件。例如，计算设备300可包括总线302、一个或多个处理器304、一个或多个输入设备306以及一个或多个输出设备308。该一个或多个处理器304可以是任何类型的处理器并且可包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如，专门的处理芯片)。输入设备306可以是任何类型的能够向计算设备输入信息的设备并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备308可以是任何类型的能够呈现信息的设备并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备300也可以包括非瞬态存储设备310或者与所述非瞬态存储设备相连接，所述非瞬态存储设备可以是非瞬态的并且能够实现数据存储的任何存储设备，并且所述非瞬态存储设备可以包括但不限于磁盘驱动器、光存储设备、固态存储器、软盘、软磁盘、硬盘、磁带或任何其它磁介质、光盘或任何其它光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何存储芯片或盒式磁带、和/或计算机可从其读取数据、指令和/或代码的任何其它介质。非瞬态存储设备310可从接口分离。非瞬态存储设备310可具有用于实施上述方法和步骤的数据/指令/代码。计算设备300也可包括通信设备312。通信设备312可以是任何类型的能够实现与内部装置通信和/或与网络通信的设备或系统并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，例如蓝牙设备、IEEE 1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似设备。
总线302可以包括但不限于工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线和外部设备互连(PCI)总线。
计算设备300还可包括工作存储器314，该工作存储器314可以是任何类型的能够存储有利于处理器304的工作的指令和/或数据的工作存储器并且可以包括但不限于随机存取存储器和/或只读存储设备。
软件组件可位于工作存储器314中，这些软件组件包括但不限于操作系统316、一个或多个应用程序318、驱动程序和/或其它数据和代码。用于实现本发明上述方法和步骤的指令可包含在所述一个或多个应用程序318中，并且可通过处理器304读取和执行所述一个或多个应用程序318的指令来实现本发明的上述方法100。
也应该认识到可根据具体需求而做出变化。例如，也可使用定制硬件、和/或特定组件可在硬件、软件、固件、中间件、微代码、硬件描述语音或其任何组合中实现。此外，可采用与其它计算设备、例如网络输入/输出设备等的连接。例如，可通过具有汇编语言或硬件编程语言(例如，VERILOG、VHDL、C++)的编程硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路)利用根据本发明的逻辑和算法来实现所公开的方法和设备的部分或全部。
综上，本发明使用的学生t分布混合模型相比常见的K-Means等聚类方法，是根据图像块协方差特征的马氏距离来度量相似性，比欧式距离更适合用于衡量图像的结构相似度。此外，学生t分布式属于重尾分布，可以更好地处理数据的异常值，模型的鲁棒性强。进一步，在本发明中，超分辨重建阶段会自主选择结构最相似的投影矩阵来超分辨重建，避免了传统字典学习方法的效率低下问题，在较高的重建效率的前提下，能够对结构不同的重建块进行完美地重建，极大的提升了超分辨率重建图像的质量。
尽管目前为止已经参考附图描述了本发明的各方面，但是上述方法、系统和设备仅是示例，并且本发明的范围不限于这些方面，而是仅由所附权利要求及其等同物来限定。各种组件可被省略或者也可被等同组件替代。另外，也可以在与本发明中描述的顺序不同的顺序实现所述步骤。此外，可以按各种方式组合各种组件。也重要的是，随着技术的发展，所描述的组件中的许多组件可被之后出现的等同组件所替代。

Claims (10)

1.一种用于图像超分辨重建的方法，包括：
训练阶段：
获取训练样本，所述训练样本包括多个经向量化的图像对，每个经向量化的图像对包括经向量化的低分辨率训练样本和对应的经向量化的高分辨率训练样本；
对所获取的训练样本进行聚类；以及
计算针对每一类别的训练样本的重建投影矩阵；
重建阶段：
从输入的低分辨率图像中获取待重建样本；以及
基于所述待重建样本，从所述重建投影矩阵中选择与所述待重建样本的类别对应的重建投影矩阵来构建高分辨率重建图像。
2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：
对训练数据进行增强，所述训练数据包括多个图像对，每个图像对包括高分辨率图像和对应的低分辨率图像。
3.如权利要求2所述的方法，其特征在于，对训练数据进行增强进一步包括：
对于所述训练数据进行水平方向和/或垂直方向的翻转，以扩充训练样本数量。
4.如权利要求2所述的方法，其特征在于，获取训练样本进一步包括：
对于所述图像对中每个图像对的低分辨率图像：
使用两个一阶梯度算子和一个拉普拉斯高斯算子来对所述低分辨率图像进行特征提取；
获取三个特征图作为所述低分辨率图像的特征；
在所述三个特征图上按照对应位置进行重叠取块；以及
将三个特征块进行向量化后串联为最终的低分辨率训练样本，以及对于所述图像对中每个图像对的高分辨率图像：
使用所述高分辨率图像与对应的低分辨率图像之间的残差作为所述高分辨率图像的特征图；
在所述高分辨率图像的特征图上进行重叠取块；以及
将特征块进行向量化后作为最终的高分辨率训练样本。
5.如权利要求4所述的方法，其特征在于，获取训练样本进一步包括：对所述低分辨率样本的向量使用主成分分析法进行降维。
6.如权利要求4所述的方法，其特征在于，对所获取的训练样本进行聚类进一步包括：
使用学生t分布混合模型对所获取的低分辨率训练样本进行聚类；以及
保留每一类别的聚类参数。
7.如权利要求1所述的方法，其特征在于，计算针对每一类别的训练样本的重建投影矩阵进一步包括：
使用K-SVD算法训练出每一类训练样本对应的高低分辨率字典对；以及
使用岭回归获得每一类训练样本的重建投影矩阵。
8.如权利要求1所述的方法，其特征在于，从输入的低分辨率图像中获取待重建样本进一步包括：
将所述输入的低分辨率图像放大到指定倍数，以及
对经放大的图像进行重叠取块，得到所述待重建样本。
9.如权利要求8所述的方法，其特征在于，从所述重建投影矩阵中选择与所述待重建样本的类别对应的重建投影矩阵来构建高分辨率重建图像进一步包括：
利用所述训练阶段的所述聚类参数，计算所述待重建样本在每一类别上的后验概率，选择最大的一类别作为所属类别；以及
使用与所述所属类别对应的重建投影矩阵来对所述待重建样本进行重建。
10.一种用于图像超分辨重建的系统，包括：
处理器；
存储器，所述存储器存储有指令，所述指令在被所述处理器执行时能执行如权利要求1-9所述的方法。
CN202011022480.3A 2020-09-25 2020-09-25 一种图像超分辨率重建方法和系统 Pending CN113706376A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011022480.3A CN113706376A (zh) 2020-09-25 2020-09-25 一种图像超分辨率重建方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011022480.3A CN113706376A (zh) 2020-09-25 2020-09-25 一种图像超分辨率重建方法和系统

Publications (1)

Publication Number Publication Date
CN113706376A true CN113706376A (zh) 2021-11-26

Family

ID=78646643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011022480.3A Pending CN113706376A (zh) 2020-09-25 2020-09-25 一种图像超分辨率重建方法和系统

Country Status (1)

Country Link
CN (1) CN113706376A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268431A (zh) * 2013-05-21 2013-08-28 中山大学 一种基于学生t分布的癌症亚型生物标志物检测系统
CN105023240A (zh) * 2015-07-08 2015-11-04 北京大学深圳研究生院 基于迭代投影重建的字典类图像超分辨率系统及方法
CN108846797A (zh) * 2018-05-09 2018-11-20 浙江师范大学 基于两种训练集合的图像超分辨率方法
CN111640059A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于高斯混合模型的多字典图像超分辨方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268431A (zh) * 2013-05-21 2013-08-28 中山大学 一种基于学生t分布的癌症亚型生物标志物检测系统
CN105023240A (zh) * 2015-07-08 2015-11-04 北京大学深圳研究生院 基于迭代投影重建的字典类图像超分辨率系统及方法
CN108846797A (zh) * 2018-05-09 2018-11-20 浙江师范大学 基于两种训练集合的图像超分辨率方法
CN111640059A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于高斯混合模型的多字典图像超分辨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
端木春江;左德遥;: "锚点领域回归与稀疏表示的图像超分辨率方法", 计算机工程, no. 05 *
詹曙;方琪;杨福猛;常乐乐;闫婷;: "基于耦合特征空间下改进字典学习的图像超分辨率重建", 电子学报, no. 05 *

Similar Documents

Publication Publication Date Title
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
Li et al. s-lwsr: Super lightweight super-resolution network
CN112132959A (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
Dharejo et al. TWIST-GAN: Towards wavelet transform and transferred GAN for spatio-temporal single image super resolution
WO2020248898A1 (zh) 图像处理方法、装置、设备和存储介质
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
WO2021102644A1 (zh) 图像增强方法、装置及终端设备
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Xiang et al. Dsnet: A dual-stream framework for weakly-supervised gigapixel pathology image analysis
Zhou et al. Single-image super-resolution based on compact KPCA coding and kernel regression
CN108876716A (zh) 超分辨率重建方法及装置
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
WO2017070841A1 (zh) 图像处理方法和装置
CN116797607A (zh) 图像分割方法和装置
CN110097499B (zh) 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
Li et al. Information-growth attention network for image super-resolution
Liu et al. Image super-resolution via hierarchical and collaborative sparse representation
CN116630152A (zh) 图像分辨率重建方法、装置、存储介质及电子设备
CN115035988B (zh) 基于云计算的医学影像处理方法、系统、设备及介质
CN116597033A (zh) 图像重建方法、装置、设备和介质
CN113706376A (zh) 一种图像超分辨率重建方法和系统
CN114820576A (zh) 乳腺特征提取、检测模型的训练方法、装置
CN115147606A (zh) 医学图像的分割方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220211

Address after: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200072

Applicant after: Tianyi Digital Life Technology Co.,Ltd.

Address before: 201702 3rd floor, 158 Shuanglian Road, Qingpu District, Shanghai

Applicant before: Tianyi Smart Family Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240325

Address after: Unit 1, Building 1, China Telecom Zhejiang Innovation Park, No. 8 Xiqin Street, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100

Applicant after: Tianyi Shilian Technology Co.,Ltd.

Country or region after: China

Address before: Room 1423, No. 1256 and 1258, Wanrong Road, Jing'an District, Shanghai 200072

Applicant before: Tianyi Digital Life Technology Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right