CN110264404B - 一种超分辨图像纹理优化的方法和装置 - Google Patents

一种超分辨图像纹理优化的方法和装置 Download PDF

Info

Publication number
CN110264404B
CN110264404B CN201910519719.9A CN201910519719A CN110264404B CN 110264404 B CN110264404 B CN 110264404B CN 201910519719 A CN201910519719 A CN 201910519719A CN 110264404 B CN110264404 B CN 110264404B
Authority
CN
China
Prior art keywords
texture
resolution
super
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910519719.9A
Other languages
English (en)
Other versions
CN110264404A (zh
Inventor
段沛奇
康学净
张雪松
吕远
郑林誉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910519719.9A priority Critical patent/CN110264404B/zh
Publication of CN110264404A publication Critical patent/CN110264404A/zh
Application granted granted Critical
Publication of CN110264404B publication Critical patent/CN110264404B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种超分辨图像纹理优化的方法及装置，基于时频特征提取和映射核学习的方式实现，其方法包括：1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；3)对待优化的图片进行纹理优化。本发明的方法及装置可以使得超分辨图像的纹理更加清晰自然。

Description

一种超分辨图像纹理优化的方法和装置
技术领域
本发明涉及图像超分辨技术领域，特别是涉及一种基于时域和分数阶频域特征筛选和映射核学习的超分辨图像纹理优化的方法和装置。
背景技术
图像作为重要的信息载体，无论在日常生活应用中，还是科学研究应用中，都起着重要的作用。一幅图像中，更高的分辨率意味着图像中会包含更丰富的信息和更详实的细节，然而由于图像在成像过程或网络传输中受到干扰和压缩等影响，我们得到的图片往往是模糊的小尺寸的低分辨率图像。图像超分辨技术希望从降质后的低分辨图像重建出清晰的大尺寸高分辨图，实现图像降质过程的逆过程，还原更丰富的图像信息。
现有的图像超分辨方法主要分为基于插值，基于重构和基于学习三种。基于插值的方法复杂度极低，但其对高频细节区域的重建较差，且会出现明显的混叠现象。基于重构的方法通过优化图像梯度来实现图像超分辨，但由于先验信息有限，梯度重构效果并不令人满意。基于学习的方法利用外部实例作为先验信息来训练稀疏字典，映射核或神经网络来重建高分辨图像，但此类方法仍然很难重建精细的图像边缘和纹理信息。
由于人眼对纹理区域更加敏感，因此优化图像纹理对提高图像超分辨的质量至关重要。基于马尔科夫随机场的纹理合成方法使用外部纹理实例来合成纹理场，并且通过边缘引导方法和纹理场的结果来合成期望的图像纹理。基于局部分形分析的方法根据分形维数的尺度不变性来估计高分辨图像的梯度，从而进一步优化图像纹理。此类方法仅使用有限的纹理实例或内部信息作为先验信息来执行图像纹理的重构，且没有对纹理块进行适当的分类，因此对纹理的优化效果并不理想。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于时频特征提取和映射核学习的超分辨图像纹理优化的方法及装置，使得超分辨图像的纹理更加清晰自然。
本发明提供了一种超分辨图像纹理优化的方法，包括如下步骤：
1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；
2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；
3)对待优化的图片进行纹理优化。
其中，所述步骤1)具体为：
使用bicubic下采样算法和高斯模糊核，对筛选器外部样本的训练图像集中的每一张原始的高分辨图进行模糊下采样处理，生成对应的低分辨图；
使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到重建后的超分辨图，提取ycbcr格式中的y通道，即灰度通道，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；
对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；
对每一个低分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨纹理像素点，形成高分辨点集；
将超分辨纹理图块集和高分辨纹理像素点集一一对应，形成纹理样本图块对，作为训练纹理图块样本筛选器所需的训练样本集{(li,hi)}。
其中，所述步骤1)还包括：
按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度矩阵G：
Figure BDA0002096226110000021
式中hi是高分辨纹理像素点，式中gx和gy表示每个像素的水平和垂直梯度。
其中，所述步骤1)还包括：
按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度角度θ，纹理相干性μ和纹理强度δ的时域特征：
Figure BDA0002096226110000022
式中λ1和λ2表示方阵GGT的最大和较小特征值，
Figure BDA0002096226110000031
是对应于λ1的特征向量。
其中，所述步骤1)还包括：
按照下式对每一个超分辨纹理图块li进行处理，计算li的协方差矩阵来表示超分辨纹理图块li在不同方向上的波动性：
Figure BDA0002096226110000032
式中σ(x，x)和σ(y，y)表示超分辨纹理图块li的水平和垂直方向的方差，σ(x，y)和σ(y，x)表示协方差。
其中，所述步骤1)还包括：将特征向量Fspa＝[θ,μ,δ,σ(x，x),σ(x，y),σ(y，x),σ(y，y)]作为超分辨纹理图块li的时域特征。
其中，所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的不同阶数的分数傅立叶频谱图：
Figure BDA0002096226110000033
式中u和v是分数傅里叶图谱中的横坐标，式中x和y表示超分辨纹理图块li中像素点的坐标位置，式中的核函数K按照下式计算：
Figure BDA0002096226110000034
Figure BDA0002096226110000035
式中j是指复数的虚部，t是冲激函数的时域自变量，δ为冲激函数，n为整数，α表示分数傅立叶变换的分数阶，u表示频率。
其中，所述步骤1)还包括：将不同阶数的分数傅里叶频谱Ffre＝[{F(αi,αj)}]作为超分辨纹理图块li的分数阶频域特征。
其中，所述步骤1)还包括：从训练样本中选取一定数目的纹理样本图块对，并依据超分辨纹理图块li，通过直观的视觉判断，按照人工标注的方式，对每一个纹理样本图块对进行标记1或-1，并记录标签为{ci}；
将
Figure BDA0002096226110000036
和{ci}作为输入，按照如下公式训练一个基于时域特征的SVM分类器S1：
Figure BDA0002096226110000037
式中
Figure BDA0002096226110000041
是样本的空域特征集，w和b为所求分类平面的权重和偏置值；
类似的，将
Figure BDA0002096226110000042
和{ci}作为输入，按照如下公式训练一个基于分数阶频域特征的SVM分类器S2：
Figure BDA0002096226110000043
式中wfre和bfre为所求分类平面的权重和偏置值；
将两个SVM分类器通过加权结合，形成同时基于时域和分数阶频域特征的纹理图块样本筛选器，选出纹理特征明显的样本来作为训练样本，加权结合后的二分类筛选器公式如下：
L＝sign(q1sign(wfreFfre-bfre)+q2sign(wspaFspa-bspa))
式中L是最终的判别标记，sign(.)为sign函数，权重系数q1和q2是通过实验来确定的。
其中，所述步骤3)具体为：
使用bicubic下采样算法和高斯模糊核，对外部训练图像集中的每一张高分辨图进行模糊下采样处理，生成对应的低分辨图；
使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到超分辨重建后的图像，提取ycbcr中的y通道，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；
对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；
对每一个超分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨像素点，形成高分辨点集；
将超分辨纹理图块集和高分辨点集一一对应，形成样本图块对，作为训练超分辨纹理图块优化映射核所需的训练样本集{(pli,phi)}；其中phi是筛选后的高分辨纹理像素点；
按照下式对每一个超分辨纹理图块pli进行处理，得到pli的梯度矩阵G：
Figure BDA0002096226110000044
式中gx和gy表示每个像素的水平和垂直梯度。
其中，所述步骤3)还包括：
按照下式对每一个超分辨纹理图块pli进行处理，得到pli的角度θ：
Figure BDA0002096226110000051
式中
Figure BDA0002096226110000052
是对应于方阵GGT的最大特征值λ1的特征向量；
根据角度值θ的大小，将训练样本集{(pli,phi)}划分到四个不同的类别，θ范围分别为[0，45°)，[45°，90°)，[90°，135°)，[135°，180°]。
其中，所述步骤3)还包括：
使用步骤1)中训练所得的加权SVM纹理图块样本筛选器，分别对每个类内的样本进行筛选，将纹理特征不明显的样本剔除出去，形成筛选后的训练样本集{(pli,phi)}。
其中，所述步骤3)还包括：
针对每个类j，将训练样本集向量化，并按照如下公式求解该类的映射核Mj：
Figure BDA0002096226110000053
式中M是待求的映射核，ph是筛选后的高分辨纹理像素点，pl是筛选后的低分辨纹理图块，Mj表示类j的映射核，F是Frobenius范数,用来抑制过拟合，λ是惩罚因子；
按照如下公式解出每个类的样本映射核：
Figure BDA0002096226110000054
式中I是单位矩阵，
Figure BDA0002096226110000055
其中，利用训练得到的纹理图块样本筛选器和纹理图块优化映射核，对输入的测试图像进行纹理优化，具体的：
使用预设的超分辨算法，对低分辨测试图进行超分辨处理，提取ycbcr中的y通道，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对待优化的超分辨图进行高通滤波，得到超分辨纹理图；
对待优化的超分辨纹理图，以逐步扫描的方式提取局部纹理图块，形成超分辨纹理图块集{tli}；
对每一个超分辨纹理图块tli进行处理，得到tli的梯度矩阵G；
进一步的，对每一个超分辨纹理图块tli进行处理，得到tli的角度θ；
根据角度值θ的大小，为每一个超分辨纹理图块tli标记相应的类别z，θ范围分别为[0，45°)，[45°，90°)，[90°，135°)，[135°，180°]；
利用求得的纹理优化映射核，按照下式对每一个超分辨纹理图块tli进行纹理优化：
thi＝Mztli
式中Mz表示类别z对应的纹理优化映射核，thi表示优化后的纹理图块。
其中，将优化后的纹理图块贴回到测试图片对应的位置，并与cb，cr通道结合，完成对测试图的纹理优化处理。
本发明还提供了一种超分辨图像纹理优化的装置，其特征在于，所述装置包括：
第一生成单元，用于训练纹理图块样本筛选器，生成基于时域和分数阶频域特征的加权SVM二分类器，将纹理图块样本集中存在的纹理特征不明显的样本予以剔除；
第二生成单元，用于训练超分辨图块纹理优化映射核，生成不同类别的超分辨纹理图块所对应的纹理优化映射核；
测试单元，用于实现对输入的待优化超分辨图的纹理优化处理。
本发明还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其特征在于：
处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述超分辨图像纹理优化方法的算法。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述超分辨图像纹理优化方法。
本发明的超分辨图像纹理优化的方法及装置，可以实现：
通过从外部纹理图块样本中学习相应的纹理优化映射核来实现，为了提高映射核的有效性，可以通过从外部样本中训练一种同时考虑图块的时域和分数阶频域信息的加权SVM分类器，来实现对外部纹理图块样本的筛选，剔除纹理图块样本中存在的纹理特征不明显的样本。输入的测试图可以通过将其局部纹理图块与相应的映射核相乘来实现超分辨图块的纹理优化，进而实现对测试图的纹理优化，提高低质量图像超分辨的效果。
附图说明
图1为本发明实施例的实现超分辨图像纹理优化的方法的一种流程图；
图2为本发明实施例的实现超分辨图像纹理优化的方法的又一种流程图；
图3为本发明实施例中的纹理样本筛选器的训练模块的示意图；
图4a为本发明实施例中的基于时域特征的分类器S1的示意图；
图4b为本发明实施例中的基于分数阶频域特征的分类器S2的示意图；
图5为本发明实施例中的映射核学习模块的一种示意图；
图6为本发明实施例中的测试模块的一种示意图；
具体实施方式
下面详细说明本发明的具体实施，有必要在此指出的是，以下实施只是用于本发明的进一步说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出的一些非本质的改进和调整，仍然属于本发明的保护范围。
本发明提供了一种基于时域和分数阶频域特征筛选和映射核学习的超分辨图像纹理优化的方法和装置。
本发明实施例提供了一种基于映射核学习的超分辨图像纹理优化的方法。参见图1，图1为本发明实施例的超分辨图像纹理优化的方法的一种流程图，包括如下步骤：
步骤101，输入外部图像样本训练集。可选的，外部训练集为超分辨算法通用的91张高清自然图像。可选的，为了提高训练样本的多样性，对每张图进行90°、180°、270°旋转，再进行水平镜像翻转，从而形成包含728张的高清自然图像；
将rgb格式的图像转化为ycbcr格式，抽取灰度通道y通道；
使用bicubic下采样算法和高斯模糊核，对纹理图块样本筛选器训练集中的每一张图进行模糊下采样处理，生成对应的低分辨图；高斯模糊核可以任意设置，比如模板大小为5*5，高斯半径为0.7；
使用预设的超分辨算法，比如SRCNN，对每一张低分辨图进行超分辨处理，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对待优化重建图分别进行高通滤波，得到待优化的超分辨纹理图；巴特沃斯滤波器的滤波半径设定为30。
以逐点扫描的形式，抽取每一张待优化的超分辨纹理图中以每个像素点为中心的11*11的局部图块作为超分辨纹理图块训练集；
从超分辨纹理图块训练集中随机抽取200个样本{li}；
步骤102，人工纹理标注。按照人眼视觉对纹理的判断，来为每个样本确定一个标签-1或1，-1代表不具有明显的纹理特征，1代表具有明显的纹理特征，标签集为{ci}；
步骤103，提取待优化的超分辨纹理图块的时域特征。
按照下式对每一个11*11的待优化纹理图块li进行处理，得到li的梯度矩阵G：
Figure BDA0002096226110000081
式中gx和gy表示每个像素的水平和垂直梯度；
进一步的，按照下式对每一个待优化超分辨纹理图块li进行处理，得到li的梯度角度θ，纹理相干性μ和纹理强度δ等时域特征：
Figure BDA0002096226110000082
式中λ1和λ2表示方阵GGT的最大和较小特征值，
Figure BDA0002096226110000083
是对应于λ1的特征向量；
进一步的，按照下式对每一个待优化超分辨纹理图块li进行处理，计算li的协方差矩阵来表示超分辨纹理图块在不同方向上的波动性：
Figure BDA0002096226110000084
式中σ(x，x)和σ(y，y)表示待优化超分辨纹理图块li的水平和垂直方向的方差，σ(x，y)和σ(y，x)表示协方差；
进一步的，将特征向量Fspa＝[θ,μ,δ,σ(x，x),σ(x，y),σ(y，x),σ(y，y)]作为超分辨纹理图块li的时域特征；
步骤104，提取待优化的超分辨纹理图块的分数阶频域特征。
按照下式对每一个待优化超分辨纹理图块li进行处理，得到li的不同阶数的二维分数傅立叶频谱图：
Figure BDA0002096226110000085
式中x和y表示超分辨纹理图块li中像素点的坐标位置，式中的核函数K按照下式计算：
Figure BDA0002096226110000091
Figure BDA0002096226110000092
式中δ为冲激函数，n为整数，α表示分数傅立叶变换的分数阶，u表示频率；
行方向和列方向的分数阶αx和αy分别依次取(0.6,0.7,0.8,0.9,1)，分数阶组合(αx，αy)共有25种，分别对应25个不同的分数傅里叶频谱；
进一步的，将不同阶数组合的分数傅里叶频谱Ffre＝[{F(αx,αy)}]作为li的分数阶频域特征；
步骤105，训练纹理图块样本筛选器。
将时域特征
Figure BDA0002096226110000093
和标签{ci}作为输入，按照如下公式训练一个基于时域特征的SVM分类器S1：
Figure BDA0002096226110000094
式中wspa和bspa为所求分类平面的权重和偏置值；
类似的，将
Figure BDA0002096226110000095
和{ci}作为输入，按照如下公式训练一个基于分数阶频域特征的SVM分类器S2：
Figure BDA0002096226110000096
式中wfre和bfre为所求分类平面的权重和偏置值；
将两个SVM分类器通过加权结合，形成同时基于时域和分数阶频域特征的纹理图块样本筛选器，为纹理优化映射核训练模块筛选出纹理特征明显的样本作为训练样本，加权结合后的二分类筛选器公式如下：
L＝sign(q1sign(wfreFfre-bfre)+q2sign(wspaFspa-bspa))
式中L是最终的判别标记，sign(.)为sign函数。权重系数q1和q2分别设定为0.9和0.1。
步骤106，输入外部训练图像集。可选的，外部训练集为超分辨算法通用的91张高清自然图像。可选的，为了提高训练样本的多样性，对每张图进行90°、180°、270°旋转，再进行水平镜像翻转，从而形成包含728张的高清自然图像；
步骤107，图像降质过程。
将rgb格式的图像转化为ycbcr格式，抽取灰度通道y通道；
使用bicubic下采样算法和高斯模糊核，对筛选器训练集中的每一张图进行模糊下采样处理，生成对应的低分辨图；高斯模糊核可以任意设置，比如模板大小为5*5，高斯半径为0.7。
步骤108，超分辨及高通滤波处理。
使用预设的超分辨算法，比如SRCNN，对每一张低分辨图进行超分辨处理，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到待优化的超分辨纹理图；巴特沃斯滤波器的滤波半径设定为30.
步骤109，局部超分辨纹理图块对的提取和分类。
以逐点扫描的形式，抽取每一张待优化超分辨纹理图中以每个像素点为中心的11*11的局部图块作为超分辨纹理图块样本训练集{pli}；
对每一个待优化超分辨纹理图块pli，从原始高分辨训练图的纹理图中提取对应的高分辨像素点，形成高分辨点集{phi}；
将待优化超分辨纹理图块集和高分辨纹理点集一一对应，形成样本图块对，作为训练超分辨图块纹理优化映射核所需的训练样本集{(pli,phi)}；
按照下式对每一个待优化超分辨纹理图块pli进行处理，得到pli的梯度矩阵G：
Figure BDA0002096226110000101
式中gx和gy表示每个像素的水平和垂直梯度；
进一步的，按照下式对每一个超分辨纹理图块pli进行处理，得到pli的角度θ：
Figure BDA0002096226110000102
式中
Figure BDA0002096226110000103
是对应于方阵GGT的最大特征值λ1的特征向量；
根据角度值θ的大小，将训练样本集{(pli,phi)}划分到四个不同的类别，θ范围分别为[0，45°)，[45°，90°)，[90°，135°)，[135°，180°]；
步骤110，用步骤105训练得到的超分辨纹理图块筛选器进行样本筛选。
使用训练所得的加权SVM纹理筛选器，分别对每个类内的样本进行筛选。如果输出标签为-1，表示该样本不具有明显的纹理特征，予以剔除。如果输出标签为1，表示该样本具有明显的纹理特征，予以保留并形成筛选后的训练样本集{(pli’,phi’)}；
步骤111，用多元线性回归求纹理优化映射核。
针对每个类j，将训练样本集向量化，并按照如下公式求解该类的映射核Mj：
Figure BDA0002096226110000111
式中Mj表示类j的纹理优化映射核，F是Frobenius范数,用来抑制过拟合，λ是惩罚因子，设定为0.1；
按照如下公式，解出每个类的样本映射核：
式中I是单位矩阵，
Figure BDA0002096226110000113
步骤112，输入测试图进行纹理优化。
超分辨图像纹理优化模块，利用步骤105训练得到的纹理图块样本筛选器和步骤111训练得到的超分辨图块纹理优化映射核，对输入的测试图像进行纹理优化，具体的：
对于低分辨测试图T，使用与训练过程一致的超分辨算法，比如SRCNN，对T超分辨处理，得到待优化的超分辨图T’；
将rgb格式的图像T’转化为ycbcr格式，抽取灰度通道y通道；
使用二阶巴特沃斯高通滤波器对待优化的超分辨图T’进行高通滤波，得到待优化的超分辨纹理图；巴特沃斯滤波器的滤波半径设定为30.
以逐点扫描的形式，抽取每一张待优化的超分辨纹理图中以每个像素点为中心的11*11的局部图块作为纹理图块样本训练集{tli}；
对每一个超分辨纹理图块tli进行处理，得到tli的梯度矩阵G；
进一步的，对每一个超分辨纹理图块tli进行处理，得到tli的角度θ；
根据角度值θ的大小，为每一个超分辨纹理图块tli标记相应的类别z，θ范围分别为[0，45°)，[45°，90°)，[90°，135°)，[135°，180°]；
进一步的，利用求得的纹理优化映射核，按照下式对每一个低超分辨纹理图块tli进行纹理优化：
thi＝Mztli
式中Mz表示类别z对应的纹理优化映射核，thi表示优化后的超分辨纹理图块；
进一步的，将优化后的超分辨纹理图块贴回到测试图片对应的位置，并与T’中的cb，cr通道结合，完成对测试图的纹理优化处理；
本发明实施例提供了又一种基于映射核学习的超分辨图像纹理优化的方法。参见图2，图2为本发明实施例的超分辨图像纹理优化的方法的一种流程图，此方法相较于前述方法，省去了纹理图块筛选器的训练过程，以及纹理优化映射核训练过程中的样本筛选过程。
图3为本发明实施例中的纹理图块样本筛选器的训练模块的一种示意图，其细化了步骤101到步骤105的过程；
图4a为本发明实施例中的基于时域特征的分类器S1的一种示意图，其细化了步骤307，步骤308的过程；
图4b为本发明实施例中的基于分数阶频域特征的分类器S2的一种示意图，其细化了步骤309，步骤310的过程；
图5为本发明实施例中的纹理优化映射核学习模块的一种示意图，其细化了步骤307，步骤106到步骤111的过程；
图6为本发明实施例中的测试模块的一种示意图，其细化了步骤112的过程；
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的计算单目图像的深度次序的方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的计算单目图像的深度次序的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
尽管为了说明的目的，已描述了本发明的示例性实施方式，但是本领域的技术人员将理解，不脱离所附权利要求中公开的发明的范围和精神的情况下，可以在形式和细节上进行各种修改、添加和替换等的改变，而所有这些改变都应属于本发明所附权利要求的保护范围，并且本发明要求保护的产品各个部门和方法中的各个步骤，可以以任意组合的形式组合在一起。因此，对本发明中所公开的实施方式的描述并非为了限制本发明的范围，而是用于描述本发明。相应地，本发明的范围不受以上实施方式的限制，而是由权利要求或其等同物进行限定。

Claims (6)

1.一种超分辨图像纹理优化的方法，其特征在于，包括如下步骤：
1)基于时域和分数阶频域特征的局部纹理图块，训练局部纹理图块样本筛选器，从外部样本中筛选出纹理特征明显的样本，作为映射核训练模块的训练样本；
2)基于外部样本学习的局部纹理图块，学习纹理图块优化映射核；
3)对待优化的图片进行纹理优化；
所述步骤1)具体为：
使用bicubic下采样算法和高斯模糊核，对筛选器外部样本的训练图像集中的每一张原始的高分辨图进行模糊下采样处理，生成对应的低分辨图；
使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到重建后的超分辨图，提取ycbcr格式中的y通道，即灰度通道，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；
对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；
对每一个低分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨纹理像素点，形成高分辨点集；
将超分辨纹理图块集和高分辨纹理像素点集一一对应，形成纹理样本图块对，作为训练纹理图块样本筛选器所需的训练样本集{(li,hi)}，按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度矩阵G：
Figure FDA0002735228930000011
式中hi是高分辨纹理像素点，gx和gy表示每个像素的水平和垂直梯度；
所述步骤1)还包括：
按照下式对每一个超分辨纹理图块li进行处理，得到li的梯度角度θ，纹理相干性μ和纹理强度δ的时域特征：
Figure FDA0002735228930000012
式中λ1和λ2表示方阵GGT的最大和较小特征值，
Figure FDA0002735228930000021
是对应于λ1的特征向量；
所述步骤1)还包括：
按照下式对每一个超分辨纹理图块li进行处理，计算li的协方差矩阵来表示超分辨纹理图块li在不同方向上的波动性：
Figure FDA0002735228930000022
式中σ(x，x)和σ(y，y)表示超分辨纹理图块li的水平和垂直方向的方差，σ(x，y)和σ(y，x)表示协方差；
所述步骤1)还包括：将特征向量Fspa＝[θ,μ,δ,σ(x，x),σ(x，y),σ(y，x),σ(y，y)]作为超分辨纹理图块li的时域特征。
2.如权利要求1所述的方法，其特征在于：所述步骤1)还包括：按照下式对每一个超分辨纹理图块li进行处理，得到li的不同阶数的分数傅立叶频谱图：
Figure FDA0002735228930000023
式中u和v是分数傅里叶图谱中的横坐标，是x和y表示超分辨纹理图块li中像素点的坐标位置，式中的核函数K按照下式计算：
Figure FDA0002735228930000024
Figure FDA0002735228930000025
式中j是指复数的虚部，t是冲激函数的时域自变量，δ为冲激函数，n为整数，α表示分数傅立叶变换的分数阶，u表示频率；将不同阶数的分数傅里叶频谱Ffre＝[{F(αi,αj)}]作为超分辨纹理图块li的分数阶频域特征。
3.如权利要求2所述的方法，其特征在于：所述步骤1)还包括：从训练样本中选取一定数目的纹理样本图块对，并依据超分辨纹理图块li，通过直观的视觉判断，按照人工标注的方式，对每一个纹理样本图块对进行标记1或-1，并记录标签为{ci}；
将
Figure FDA0002735228930000026
和{ci}作为输入，按照如下公式训练一个基于时域特征的SVM分类器S1：
Figure FDA0002735228930000027
式中
Figure FDA0002735228930000028
是样本的空域特征集，w和b为所求分类平面的权重和偏置值；
类似的，将
Figure FDA0002735228930000029
和{ci}作为输入，按照如下公式训练一个基于分数阶频域特征的SVM分类器S2：
Figure FDA0002735228930000031
式中wfre和bfre为所求分类平面的权重和偏置值；
将两个SVM分类器通过加权结合，形成同时基于时域和分数阶频域特征的纹理图块样本筛选器，选出纹理特征明显的样本来作为训练样本，加权结合后的二分类筛选器公式如下：
L＝sign(q1sign(wfreFfre-bfre)+q2sign(wspaFspa-bspa))
式中L是最终的判别标记，sign(.)为sign函数，权重系数q1和q2是通过实验来确定的。
4.如权利要求3所述的方法，其特征在于：所述步骤3)具体为：
使用bicubic下采样算法和高斯模糊核，对外部训练图像集中的每一张高分辨图进行模糊下采样处理，生成对应的低分辨图；
使用预设的超分辨算法，对每一张低分辨图进行超分辨处理，得到超分辨重建后的图像，提取ycbcr中的y通道，得到待优化的超分辨图；
使用二阶巴特沃斯高通滤波器对训练图和对应的待优化的超分辨图分别进行高通滤波，得到纹理图；
对每一待优化的超分辨图的纹理图，以逐步扫描的方式提取局部图块，形成超分辨纹理图块集；
对每一个超分辨纹理图块，从原始训练图的纹理图中提取对应的高分辨像素点，形成高分辨点集；
将超分辨纹理图块集和高分辨点集一一对应，形成样本图块对，作为训练超分辨纹理图块优化映射核所需的训练样本集{(pli,phi)}，其中phi是筛选后的高分辨纹理像素点；
按照下式对每一个超分辨纹理图块pli进行处理，得到pli的梯度矩阵G：
Figure FDA0002735228930000032
式中gx和gy表示每个像素的水平和垂直梯度；
所述步骤3)还包括：
按照下式对每一个超分辨纹理图块pli进行处理，得到pli的角度θ：
Figure FDA0002735228930000041
式中
Figure FDA0002735228930000042
是对应于方阵GGT的最大特征值λ1的特征向量；
根据角度值θ的大小，将训练样本集{(pli,phi)}划分到四个不同的类别，θ范围分别为[0，45°)，[45°，90°)，[90°，135°)，[135°，180°]；使用步骤1)中训练所得的加权SVM纹理图块样本筛选器，分别对每个类内的样本进行筛选，将纹理特征不明显的样本剔除出去，形成筛选后的训练样本集{(pli,phi)}。
5.如权利要求4所述的方法，其特征在于：所述步骤3)还包括：
针对每个类j，将训练样本集向量化，并按照如下公式求解该类的映射核Mj：
Figure FDA0002735228930000043
M是待求的映射核，ph是筛选后的高分辨纹理像素点，pl是筛选后的低分辨纹理图块，Mj表示类j的映射核，F是Frobenius范数，用来抑制过拟合，λ是惩罚因子；按照如下公式解出每个类的样本映射核：
Figure FDA0002735228930000044
式中I是单位矩阵，
Figure FDA0002735228930000045
6.一种电子设备，包括处理器、通信接口、存储器和通信总线，其特征在于：
处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述权利要求1-5任一所述方法的算法。
CN201910519719.9A 2019-06-17 2019-06-17 一种超分辨图像纹理优化的方法和装置 Expired - Fee Related CN110264404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910519719.9A CN110264404B (zh) 2019-06-17 2019-06-17 一种超分辨图像纹理优化的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910519719.9A CN110264404B (zh) 2019-06-17 2019-06-17 一种超分辨图像纹理优化的方法和装置

Publications (2)

Publication Number Publication Date
CN110264404A CN110264404A (zh) 2019-09-20
CN110264404B true CN110264404B (zh) 2020-12-08

Family

ID=67918554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910519719.9A Expired - Fee Related CN110264404B (zh) 2019-06-17 2019-06-17 一种超分辨图像纹理优化的方法和装置

Country Status (1)

Country Link
CN (1) CN110264404B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215761A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 图像处理方法、装置及设备
CN110889888B (zh) * 2019-10-29 2020-10-09 桂林理工大学 纹理精简和分形压缩集成的三维模型可视化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778275B (zh) * 2009-01-09 2012-05-02 深圳市融创天下科技股份有限公司 一种自适应时间域和空间域分辨率框架的图像处理方法
CN101814147B (zh) * 2010-04-12 2012-04-25 中国科学院自动化研究所 一种实现场景图像的分类方法
CN102231204A (zh) * 2011-06-20 2011-11-02 南京航空航天大学 一种序列图像自适应正则超分辨率重建方法
KR101932543B1 (ko) * 2013-07-23 2018-12-28 한화테크윈 주식회사 화재검출 방법 및 장치
CN103854268B (zh) * 2014-03-26 2016-08-24 西安电子科技大学 基于多核高斯过程回归的图像超分辨重建方法
US20170316552A1 (en) * 2016-04-27 2017-11-02 Ramot At Tel-Aviv University Ltd. Blind image deblurring via progressive removal of blur residual
CN109871855B (zh) * 2019-02-26 2022-09-20 中南大学 一种自适应的深度多核学习方法

Also Published As

Publication number Publication date
CN110264404A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
Li et al. Hyperspectral image super-resolution by band attention through adversarial learning
Liu et al. Image restoration using total variation with overlapping group sparsity
Gu et al. A brief review of image denoising algorithms and beyond
Ren et al. Single image super-resolution via adaptive high-dimensional non-local total variation and adaptive geometric feature
CN108830818B (zh) 一种快速多聚焦图像融合方法
EP2950267B1 (en) Image denoising method and image denoising apparatus
US10198801B2 (en) Image enhancement using self-examples and external examples
Li et al. Single image superresolution via directional group sparsity and directional features
CN110264404B (zh) 一种超分辨图像纹理优化的方法和装置
Dharejo et al. A deep hybrid neural network for single image dehazing via wavelet transform
Zhang et al. Image denoising via structure-constrained low-rank approximation
Huang et al. Comparison of different image denoising algorithms for Chinese calligraphy images
Sun et al. Compressive superresolution imaging based on local and nonlocal regularizations
Rahman et al. Diverse image enhancer for complex underexposed image
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Chudasama et al. RSRGAN: computationally efficient real-world single image super-resolution using generative adversarial network
Zhou et al. MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution
Dey Python image processing cookbook: over 60 recipes to help you perform complex image processing and computer vision tasks with ease
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
Li et al. A mixed noise removal algorithm based on multi-fidelity modeling with nonsmooth and nonconvex regularization
CN116468083A (zh) 一种基于Transformer的生成对抗网络方法
Yang et al. Two-branch crisscross network for realistic and accurate image super-resolution
Cao et al. Blind image super-resolution based on prior correction network
Wei et al. Multi-focus image fusion based on nonsubsampled compactly supported shearlet transform
WO2022194344A1 (en) Learnable augmentation space for dense generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201208

Termination date: 20210617

CF01 Termination of patent right due to non-payment of annual fee