CN102663715A - 超分辨率方法和装置 - Google Patents

超分辨率方法和装置 Download PDF

Info

Publication number
CN102663715A
CN102663715A CN2012100531779A CN201210053177A CN102663715A CN 102663715 A CN102663715 A CN 102663715A CN 2012100531779 A CN2012100531779 A CN 2012100531779A CN 201210053177 A CN201210053177 A CN 201210053177A CN 102663715 A CN102663715 A CN 102663715A
Authority
CN
China
Prior art keywords
patch
image
high frequency
coefficient
dct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100531779A
Other languages
English (en)
Inventor
干宗良
朱秀昌
石腾
张园园
夏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Huawei Software Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2012100531779A priority Critical patent/CN102663715A/zh
Publication of CN102663715A publication Critical patent/CN102663715A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种超分辨率方法和装置，方法包括：根据待处理LR图像生成对应的LR高频图像以及HR图像；将上述三个图像分别切割成内容对应的多个patch；若LR高频图像切割成的高频LR patch含有高频分量，则计算对应的LR图像切割成的图像块的DCT交流系数；并根据DCT交流系数，得到训练集中的对应类，在类中获取对应的HR patch；将HR patch叠加在与初始HR patch上作为最终HR patch；将分别与每个高频LR patch对应的多个最终HR patch组合构成最终HR图像。本发明仅在对应类中搜索对应的HR patch，大大缩小了搜索范围，有效减少了搜索时间，提高了超分辨率的效率。

Description

超分辨率方法和装置
技术领域
本发明涉及图像处理技术，尤其涉及一种超分辨率方法和装置。
背景技术
随着多媒体技术和计算机网络技术的发展，图像信息在人们工作、学习和生活中发挥越来越重要的作用。图像分辨率是图像质量的关键指标，分辨率越高意味着提供的信息也越丰富。然而，由于成像仪器本身性能的限制以及外界环境条件的干扰，图像分辨率往往不能满足某些应用的要求，需要采用超分辨率(Super-Resolution，简称：SR)还原图像高频信息，该SR指的是通过信息处理方法提高原有图像的分辨率，例如，视频通话时使用的摄像头分辨率不高时，可以使用超分辨率方法将低清图像转换成高清图像。
其中一种SR是基于学习的超分辨率方法，其包括训练集生成步骤和超分辨率重建步骤；训练集生成步骤是根据高分辨率(High Resolution，简称：HR)训练图像构造训练集，该训练集中存放低分辨率(Low Resolution，简称：LR)的图像块(patch)及其对应的HR patch的对应关系信息。而超分辨率重建步骤则是将待处理的LR图像分割成多个patch，每个LR patch在训练集中搜索与该LR patch相似的patch(通常不会具有完全相同的patch)，再根据该相似的LR patch得到对应的HR patch，然后，再将各HR patch组合成LR图像对应的HR图像，即完成了从LR图像到HR图像的转换，实现了分辨率的提高。
但是，在上述的SR过程中，对于LR图像分割得到的每个LR patch，均会在整个训练集中进行对应的HR patch的搜索，这需要花费大量的时间，效率很低，无法满足在某些情况下例如视频播放时快速进行超分辨率的要求。
发明内容
本发明提供一种超分辨率方法和装置，以提高超分辨率的效率。
本发明提供一种超分辨率方法，包括：
根据待处理的低分辨率LR图像，分别生成对应的LR高频图像以及初始高分辨率HR图像；
将所述待处理的LR图像、LR高频图像和所述初始HR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述待处理的LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述初始HR图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
检测所述LR高频图像切割成的每个图像块高频LR patch是否含有高频分量；
若否，则将与所述高频LR patch内容对应的所述初始HR图像切割成的图像块初始HR patch作为最终HR patch；
若是，则计算与所述高频LR patch内容对应的所述LR图像切割成的图像块LR patch的离散余弦变换DCT交流系数；并根据所述DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HR patch；将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HRpatch；
将分别与每个高频LR patch对应的多个最终HR patch组合，构成与所述待处理的LR图像对应的最终HR图像。
本发明还提供一种超分辨率方法，包括：
根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数，并在所述训练集中建立(N2-1)M个类；
根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
本发明提供一种超分辨率装置，包括超分辨率重建模块；所述超分辨率重建模块包括：
图像转换单元，用于根据待处理的低分辨率LR图像，分别生成对应的LR高频图像以及初始高分辨率HR图像；
图像切割单元，用于将所述待处理的LR图像、LR高频图像和所述初始HR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述待处理的LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述初始HR图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像检测单元，用于检测所述LR高频图像切割成的每个图像块高频LRpatch是否含有高频分量；
图像处理单元，用于在所述图像检测单元的检测结果为否时，则将与所述高频LR patch内容对应的所述初始HR图像切割成的图像块初始HR patch作为最终HR patch；以及，用于在所述图像检测单元的检测结果为是时，则计算与所述高频LR patch内容对应的所述LR图像切割成的图像块LR patch的离散余弦变换DCT交流系数；
图像搜索单元，用于根据所述DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HR patch；将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch；
图像合成单元，用于将分别与每个高频LR patch对应的多个最终HRpatch组合，构成与所述待处理的LR图像对应的最终HR图像。
本发明还提供一种超分辨率装置，包括训练集生成模块；所述训练集生成模块包括：
图像转换单元，用于根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
图像切割单元，用于将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像处理单元，用于对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数；
训练集管理单元，用于在所述训练集中建立(N2-1)M个类，所述类用于存储HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch以及所述HR patch和高频LR patch的对应关系信息；
训练集生成单元，用于根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
本发明提供的超分辨率方法和装置，通过根据LR图像切割成的patch做DCT变换得到的DCT交流系数将训练集中的各patch进行分类，使得在超分辨重建时，可以根据该DCT交流系数，在训练集中找到待处理的LR图像的高频LR patch对应的HR patch所在的分类，并仅在该类中搜索对应的HRpatch，相对于现有技术中的在整个训练集中搜索的方式，大大缩小了搜索范围，因此有效减少了搜索时间，提高了超分辨率的效率。
附图说明
图1为本发明超分辨率方法一实施例的流程示意图；
图2为本发明超分辨率方法另一实施例的流程示意图；
图3为本发明超分辨率方法实施例的一应用示意图；
图4为本发明超分辨率方法实施例的另一应用示意图；
图5为本发明超分辨率方法实施例的又一应用示意图；
图6为本发明超分辨率方法实施例的再一应用示意图；
图7为本发明超分辨率装置一实施例的结构示意图；
图8为本发明超分辨率装置另一实施例的结构示意图；
图9为本发明超分辨率装置又一实施例的结构示意图。
具体实施方式
本发明实施例的超分辨率方法包括训练集生成、以及超分辨率重建两个部分；其中，训练集生成部分主要是根据待训练的HR图像构造训练集，该训练集中存储高频LR patch、HR patch及其对应关系；超分辨率重建部分主要是将待处理的LR图像切割为多个patch，并根据上述的训练集生成部分中构造的训练集，获取到对应的HR patch，然后再将HR patch组合成HR图像。具体实施中，上述的训练集生成、以及超分辨率重建可以是独立的两个部分，例如，某功能模块只负责训练集生成，另一个功能模块只负责超分辨率重建，只是在重建时根据训练集进行重建。
下面的实施例中，为了对超分辨率方法的说明更清楚，将训练集生成和超分辨率重建两个部分合在一个实施例中进行描述，以清楚表明两者之间的关系及如何实施；在另一个实施例中再详细描述训练集生成和超分辨率重建两个部分在具体实施中是如何部署的。
实施例一
本实施例将首先说明训练集生成的流程，在此基础上，接着说明是如何根据训练集生成流程中构造的训练集进行超分辨率重建的。
图1为本发明超分辨率方法一实施例的流程示意图，如图1所示，本实施例主要说明的是训练集生成的流程，包括：
101、根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；
其中，所述的待训练的HR图像指的是，用于构造训练集的HR图像。可以对HR图像进行降质和下采样处理后，获得对应的LR图像。
102、将HR图像和LR图像分别转换为对应的HR高频图像和LR高频图像；
可选的，采用如下方法生成对应的高频图像：根据LR图像生成对应的HR结果图像，例如，可以对LR图像进行双立方差值算法处理后得到HR结果图像，再由101中的待训练的HR图像减去所述HR结果图像得到差值图像，该差值图像即为HR高频图像。
对所述LR图像进行滤波处理例如高斯滤波处理后得到LR结果图像，再由所述LR图像减去LR结果图像得到差值图像，即为所述LR高频图像；
103、将HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch；
其中，所述的内容对应的多个图像块patch指的是，在切割上述的HR高频图像、LR高频图像和所述LR图像时，要使得这三种图像所切割到的图像内容对应；例如，HR高频图像的某个图像块a1、LR高频图像的某个图像块a2、LR图像的某个图像块a3对应的图像内容都是该图像中的内容A。
所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目，例如，图像块都是正方形的，边长为3个像素。HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数。
104、对所述LR图像切割得到的每个图像块进行离散余弦变换(DiscreteCosine Transform，简称：DCT)得到DCT交流系数；
其中，LR图像切割后可以得到多个图像块即patch，对于每一个patch都要进行DCT变换，DCT变换后可以得到N2-1个DCT交流系数；并将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M，M为预设值，例如，可以设定M为N2的1％～50％，优选可以为20％，该20％的设定值可以使得后续的根据patch的DCT系数分类效果更好，即相似的高频LR patch能够尽可能分到同一个类中，使得后续超分辨率搜索时准确度更高，并且搜索速度也较快。
105、在训练集中建立(N2-1)M个类，所述类用于存储HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息；
该105和上述的104执行的先后顺序不做限制。
其中，所述的类是一个抽象的划分，相当于一个类别的概念。例如，具体实施中，可以把不同类的图像块放入不同的存储实体(该存储实体例如是文件)，也可以放入同一个存储实体，即图像块的放置不严格限制，可以任意存储，只要通过索引文件记录下存储实体中的图像块属于哪个类就可以了。举例说明，可以将所有的高频LR patch放入一个文件L，所有的HR patch放入一个文件H，然后通过索引文件记录上述的高频LR patch和HR patch所属的类就可以，例如，文件L中的某个高频LR patch和文件H中的某个HR patch对应，且两者属于类F1。
106、根据104中生成的DCT交流系数，将103中切割生成的HR高频图像的图像块HR patch、以及LR高频图像的图像块高频LR patch进行分类，并对应存入105中在训练集建立的类中；
本步骤中，是根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
可选的，具体可以按照如下方式根据DCT交流系数进行分类：
若在104中按照DCT交流系数的数值从大到小排序之后，其中的前M个DCT交流系数均不为0，则将与LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LR patch的对应关系信息存储至训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中。
若所述前M个DCT交流系数均为0，则不再将与LR图像的图像块内容对应的高频LR patch、以及HR patch存储至训练集。
若所述前M个DCT交流系数中有T个不为0，该T小于M，则将与LR图像的图像块内容对应的高频LR patch、以及HR patch、以及所述HR patch和高频LR patch的对应关系信息存储至训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中。
对于103中切割得到的所有的HR高频图像的图像块HR patch、以及LR高频图像的图像块高频LR patch，均按照与该HR patch和高频LR patch内容对应的LR图像的图像块的DCT交流系数进行分类，分类方法即上述的106中的方法。例如，HR patch(编号b1)、高频LR patch(编号b2)和LR图像的图像块(编号b3)是内容对应的一组，HR patch(编号c1)、高频LR patch(编号c2)和LR图像的图像块(编号c3)是内容对应的另一组，则根据b3的DCT交流系数可以将b1、b2及其对应关系存储至训练集中的类B中，根据c3的DCT交流系数可以将c1、c2及其对应关系存储至训练集中的类C中；直至将所有的图像块都存储至训练集中对应的类。
通过上述的训练集生成的流程可以得到，在训练集的生成过程中，不是像现有技术那样将所有的HR patch、高频LR patch混合放在一起，而是在训练集中建立了多个类，上述的HR patch、高频LR patch是按照一定的规则分别存储至不同的类中的，这样就使得在对待处理的LR图像进行超分辨率时，也能够按照所述的一定的规则找到HR patch、高频LR patch是存储在哪个类中的，所以就可以仅在该类中搜索对应的HR patch，而不用如现有技术那样需要在整个训练集中搜索，减少了搜索时间，提高了超分辨率的效率。
下面描述如何根据上面生成的训练集进行超分辨率的流程：图2为本发明超分辨率方法另一实施例的流程示意图，如图2所示，本实施例主要说明的是超分辨率重建的流程，包括：
201、根据待处理的低分辨率LR图像，生成对应的LR高频图像以及初始高分辨率HR图像；
其中，所述的待处理的LR图像指的是，需要转换为高分辨率HR图像的LR图像。可选的，根据LR图像生成LR高频图像的方法可以采用与102中相同的方法；而初始HR图像可以由待处理的LR图像采用双立方差值算法生成。
202、将所述待处理的LR图像、LR高频图像和所述初始HR图像分别切割成内容对应的多个图像块patch；
其中，LR高频图像和所述待处理的LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述初始HR图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数。
203、判断LR高频图像切割成图像块高频LR patch是否全部已经检测完毕，若是，则继续执行207；否则，则在该步骤中检测某个高频LR patch是否含有高频分量；若是，则继续执行205～206；若否，则继续执行204。
204、将与所述高频LR patch内容对应的所述初始HR图像切割成的图像块初始HR patch作为最终HR patch；返回203，检测下一个图像块LR patch是否含有高频分量；
205、计算与所述高频LR patch内容对应的所述LR图像切割成的图像块的离散余弦变换DCT交流系数；
206、根据DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HR patch；返回203；
具体的，所述DCT交流系数的个数为N2-1；并将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Iii＝1，2，...，M。M为预设值，例如可以选择M为N2的20％。
若DCT交流系数中的前M个DCT交流系数均不为0，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中，获取与高频LR patch对应的HR patch，并将所述HR patch叠加在与该高频LR patch内容对应的所述初始HR patch上，将叠加后的初始HR patch作为高频LR patch的最终HR patch；
若DCT交流系数中的前M个DCT交流系数中有T个不为0，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与该高频LR patch内容对应的所述初始HR patch上，将叠加后的初始HRpatch作为该高频LR patch的最终HR patch。可选的，上述的在类中获取与高频LR patch对应的HR patch的具体步骤为：根据所述LR高频图像切割成图像块高频LR patch，在所述的对应类中搜索与所述的高频LR patch较为相似的K个图像块(通常不会有完全相同的，所以就搜索最相似的图像块)，该图像块指的是类中包括的高频LR patch，所述的K是超分辨率的放大倍数。然后，可以按照临近嵌入算法求出对应的HR patch，即对每个相似图像块对应的HR patch做加权平均后得到的HR patch作为所述与高频LR patch对应的HR patch；或者，从所述K个图像块中找出一个最相似的图像块，以该图像块对应的HR patch作为所述与高频LR patch对应的HR patch。最后，将各HR patch分别叠加在对应的初始HR图像切割成的图像块上作为最终HRpatch。
207、将分别与每个高频LR patch对应的多个最终HR patch组合，构成与所述待处理的LR图像对应的最终HR图像。
在对LR高频图像切割成图像块高频LR patch全部找到训练集中对应的HR patch，并形成最终HR patch之后，本步骤将各最终HR patch组合，即构成最终HR图像，该最终HR图像是与待处理的LR图像对应的，是将LR图像经过超分辨率重建后形成的分辨率提高了的HR图像。
本实施例的超分辨率方法，通过根据LR图像切割成的patch做DCT变换得到的DCT交流系数将训练集中的各patch进行分类，使得在超分辨重建时，可以根据该DCT交流系数，在训练集中找到待处理的LR图像的高频LRpatch对应的HR patch所在的分类，并仅在该类中搜索对应的HR patch，相对于现有技术中的在整个训练集中搜索的方式，大大缩小了搜索范围，因此有效减少了搜索时间，提高了超分辨率的效率。
实施例二
本实施例将描述训练集生成和超分辨率重建两个部分在具体实施中是如何部署的。这两个部分可以采取分开部署的方式或者合并部署的方式。其中，分开部署是将训练集生成部分和超分辨率重建部分分开部署在两个设备上，例如，训练集生成部分部署在服务器端，将超分辨率重建部分部署在终端，服务器端将生成的训练集传递给终端，由终端进行超分辨率重建；合并部署是将训练集生成部分和超分辨率重建部分合并部署在一个设备上，例如，将两者都部署在服务器端，由服务器端完成训练集生成和超分辨率重建。
下面以四个应用示例说明上述的部署方式以及数据的交互流程：
图3为本发明超分辨率方法实施例的一应用示意图，如图3所示，本实施例是采用分开部署的方式，训练集生成部分部署在服务器，超分辨率重建部署在终端；并且是由终端获取待处理的LR图像。
具体的，例如，服务器按照实施例一所述的方法生成训练集；终端可以为手机或者电脑等，且终端可以与服务器交互，检查训练集是否更新，当服务器的训练集更新时，终端可以从服务器下载最新的训练集。终端可以获取待处理的LR图像，该LR图像例如可以为存储在手机或电脑中的摄像头文件、视频文件等。终端在获取到图像后，将按照实施例一所述的方法根据训练集对图像进行超分辨率处理，并将处理后的图像在终端显示、或者存储、或者将处理结果返回给需要的设备。
图4为本发明超分辨率方法实施例的另一应用示意图，如图4所示，本实施例是采用分开部署的方式，训练集生成部分部署在服务器，超分辨率重建部署在终端；并且是由服务器获取待处理的LR图像。
具体的，例如，服务器按照实施例一所述的方法生成训练集；终端可以为机顶盒，且终端可以与服务器交互，检查训练集是否更新，当服务器的训练集更新时，终端可以从服务器下载最新的训练集。服务器可以获取待处理的LR图像例如低清电视信号，并将该低清电视信号传送到终端，由终端按照实施例一所述的方法根据训练集对图像进行超分辨率处理，将其转换为高清电视信号，并将处理结果返回给服务器。
图5为本发明超分辨率方法实施例的又一应用示意图，如图5所示，本实施例是采用合并部署的方式，训练集生成部分和超分辨率重建部分均部署在服务器；并且是由终端获取待处理的LR图像。
具体的，例如，服务器是一个超分辨率平台，其既可以按照实施例一所述的方法执行训练集生成，也可以执行超分辨率重建。终端在获取到待处理的LR图像后，将图像传送到该服务器，由服务器进行超分辨率处理，服务器会将处理结果返回给终端。
图6为本发明超分辨率方法实施例的再一应用示意图，如图6所示，本实施例是采用合并部署的方式，训练集生成部分和超分辨率重建部分均部署在服务器；并且是由服务器获取待处理的LR图像。
具体的，例如，服务器按照实施例一所述的方法生成训练集；服务器是一个视频网站，其可以获取待处理的LR图像，该图像例如为普通视频，或者该普通视频可以是存储在服务器中的。当客户需要看高清视频时，服务器可以使用超分辨率方法进行处理，将其转换为高清视频，并将转换后的结果传送给终端进行显示。
实施例三
图7为本发明超分辨率装置一实施例的结构示意图，该装置可以执行本发明任意实施例的超分辨率方法，本实施例只对该装置的结构做简单说明，其具体的工作原理可以结合参见方法实施例所述。
如图7所示，本实施例的超分辨率装置可以包括：超分辨率重建模块78；所述超分辨率重建模块78包括：图像转换单元71、图像切割单元72、图像检测单元73、图像处理单元74、图像搜索单元75和图像合成单元76；其中，
图像转换单元71，用于根据待处理的低分辨率LR图像，分别生成对应的LR高频图像以及初始高分辨率HR图像；
图像切割单元72，用于将所述待处理的LR图像、LR高频图像和所述初始HR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述待处理的LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述初始HR图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像检测单元73，用于检测所述LR高频图像切割成的每个图像块高频LR patch是否含有高频分量；
图像处理单元74，用于在所述图像检测单元的检测结果为否时，则将与所述高频LR patch内容对应的所述初始HR图像切割成的图像块初始HRpatch作为最终HR patch；以及，用于在所述图像检测单元的检测结果为是时，则计算与所述高频LR patch内容对应的所述LR图像切割成的图像块LRpatch的离散余弦变换DCT交流系数；
图像搜索单元75，用于根据所述DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HRpatch；将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HRpatch上，将所述叠加后的初始HR patch作为最终HR patch；
图像合成单元76，用于将分别与每个高频LR patch对应的多个最终HRpatch组合，构成与所述待处理的LR图像对应的最终HR图像。
进一步的，所述DCT交流系数的个数为N2-1；所述图像处理单元74，还用于将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；
相应的，图像搜索单元75，具体用于：在所述前M个DCT交流系数均不为0时，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与所述高频LR patch内容对应的所述HR图像切割成的图像块初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch；或者，在所述前M个DCT交流系数中有T个不为0时，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与所述高频LR patch内容对应的所述HR图像切割成的图像块初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch。
上述结构的超分辨率装置例如相当于图3和图4中采用分开部署方式时的终端，该终端上可以只包括超分辨率重建模块，负责图像的超分辨率处理。
可选的，所述超分辨率重建模块还包括：训练集获取单元77，用于在所述根据待处理的LR图像，生成对应的LR高频图像以及HR图像之前，获取所述训练集；所述训练集中包括(N2-1)M个类，所述类中包括HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息。
该结构的超分辨率装置例如相当于图3和图4中采用分开部署方式时的终端，该终端上可以通过训练集获取单元77从服务器获取更新的训练集。
进一步的，图8为本发明超分辨率装置另一实施例的结构示意图，如图8所示，可选的，本实施例的超分辨率装置在图7所示结构的基础上还可以包括：训练集生成模块79，用于在所述根据待处理的LR图像，生成对应的LR高频图像和HR图像之前，生成所述训练集。所述训练集生成模块的具体结构详细参见图9中的训练集生成模块的结构，在此不再赘述。
该结构的超分辨率装置例如相当于图5和图6中采用合并部署方式时的服务器，该服务器可以既执行训练集生成，也可以执行超分辨率重建处理。
图9为本发明超分辨率装置又一实施例的结构示意图，如图9所示，该装置包括训练集生成模块79，可选的，可以是只包括该训练集生成模块79，即不包括超分辨率重建模块；则此时的超分辨率装置相当于图3和图4中采用分开部署方式时的服务器，该服务器只负责生成训练集，而由终端执行超分辨率重建。
所述训练集生成模块79包括：图像转换单元81、图像切割单元82、图像处理单元83、训练集管理单元84和训练集生成单元85；其中，
图像转换单元81，用于根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
图像切割单元82，用于将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像处理单元83，用于对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数，所述DCT交流系数的个数为N2-1；并将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；
训练集管理单元84，用于在所述训练集中建立(N2-1)M个类，所述类用于存储HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息；
训练集生成单元85，用于根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
进一步的，所述的训练集生成单元85，具体用于：
若所述前M个DCT交流系数均不为0，则将与所述LR图像的图像块内容对应的高频LR patch、HR patch以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中；
若所述前M个DCT交流系数均为0，则不再将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch存储至所述训练集；
若所述前M个DCT交流系数中有T个不为0，则将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LRpatch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中。
本实施例的超分辨率装置，通过根据LR图像切割成的patch做DCT变换得到的DCT交流系数将训练集中的各patch进行分类，使得在超分辨重建时，可以根据该DCT交流系数，在训练集中找到待处理的LR图像的高频LRpatch对应的HR patch所在的分类，并仅在该类中搜索对应的HR patch，相对于现有技术中的在整个训练集中搜索的方式，大大缩小了搜索范围，因此有效减少了搜索时间，提高了超分辨率的效率。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关硬件来完成。前述程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种超分辨率方法，其特征在于，包括：
根据待处理的低分辨率LR图像，分别生成对应的LR高频图像以及初始高分辨率HR图像；
将所述待处理的LR图像、LR高频图像和所述初始HR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述待处理的LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述初始HR图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
检测所述LR高频图像切割成的每个图像块高频LR patch是否含有高频分量；
若否，则将与所述高频LR patch内容对应的所述初始HR图像切割成的图像块初始HR patch作为最终HR patch；
若是，则计算与所述高频LR patch内容对应的所述LR图像切割成的图像块LR patch的离散余弦变换DCT交流系数；并根据所述DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HR patch；将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HRpatch；
将分别与每个高频LR patch对应的多个最终HR patch组合，构成与所述待处理的LR图像对应的最终HR图像。
2.根据权利要求1所述的超分辨率方法，其特征在于，所述根据所述DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HR patch，包括：
所述DCT交流系数的个数为N2-1；并将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；
若所述前M个DCT交流系数均不为0，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch；
若所述前M个DCT交流系数中有T个不为0，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch。
3.根据权利要求1所述的超分辨率方法，其特征在于，在所述根据待处理的LR图像，分别生成对应的LR高频图像以及初始HR图像之前，还包括：
获取所述训练集；
所述训练集中包括(N2-1)M个类，所述类中包括HR高频图像的图像块HRpatch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LRpatch的对应关系信息。
4.根据权利要求1所述的超分辨率方法，其特征在于，在所述根据待处理的LR图像，分别生成对应的LR高频图像和初始HR图像之前，还包括：
根据待训练的高分辨率HR图像，生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数，所述DCT交流系数的个数为N2-1；将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；并在所述训练集中建立(N2-1)M个类；
根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
5.根据权利要求4所述的超分辨率方法，其特征在于，所述根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中，包括：
若所述前M个DCT交流系数均不为0，则将与所述LR图像的图像块内容对应的高频LR patch、HR patch以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中；
若所述前M个DCT交流系数均为0，则不再将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch存储至所述训练集；
若所述前M个DCT交流系数中有T个不为0，则将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LRpatch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中。
6.一种超分辨率方法，其特征在于，包括：
根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数，所述DCT交流系数的个数为N2-1；将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；并在所述训练集中建立(N2-1)M个类；
根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
7.根据权利要求6所述的超分辨率方法，其特征在于，所述根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中，包括：
若所述前M个DCT交流系数均不为0，则将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中，以使得在确定待处理的LR图像切割成的图像块的离散余弦变换DCT交流系数中，所述前M个DCT交流系数均不为0时，从所述第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中获取与待处理的LR图像对应的LR高频图像的图像块高频LR patch对应的HR patch；
若所述前M个DCT交流系数均为0，则不再将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch存储至所述训练集；
若所述前M个DCT交流系数中有T个不为0，则将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LRpatch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中，以使得在确定待处理的LR图像切割成的图像块的离散余弦变换DCT交流系数中，所述前M个DCT交流系数中有T个不为0时，从所述第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中获取与待处理的LR图像对应的LR高频图像的图像块高频LR patch对应的HRpatch。
8.根据权利要求6所述的超分辨率方法，其特征在于，所述将所述HR图像和所述LR图像均分别转换为对应的HR高频图像和LR高频图像，包括：
根据所述LR图像生成对应的HR结果图像，确定由所述HR图像减去所述HR结果图像得到的差值图像为所述HR高频图像；
对所述LR图像进行滤波处理后得到LR结果图像，确定由所述LR图像减去所述LR结果图像得到的差值图像为所述LR高频图像。
9.一种超分辨率装置，其特征在于，包括：超分辨率重建模块；所述超分辨率重建模块包括：
图像转换单元，用于根据待处理的低分辨率LR图像，分别生成对应的LR高频图像以及初始高分辨率HR图像；
图像切割单元，用于将所述待处理的LR图像、LR高频图像和所述初始HR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述待处理的LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述初始HR图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像检测单元，用于检测所述LR高频图像切割成的每个图像块高频LRpatch是否含有高频分量；
图像处理单元，用于在所述图像检测单元的检测结果为否时，则将与所述高频LR patch内容对应的所述初始HR图像切割成的图像块初始HR patch作为最终HR patch；以及，用于在所述图像检测单元的检测结果为是时，则计算与所述高频LR patch内容对应的所述LR图像切割成的图像块LR patch的离散余弦变换DCT交流系数；
图像搜索单元，用于根据所述DCT交流系数，得到训练集中的与所述高频LR patch对应的类，在所述类中获取与所述高频LR patch对应的HR patch；将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch；
图像合成单元，用于将分别与每个高频LR patch对应的多个最终HRpatch组合，构成与所述待处理的LR图像对应的最终HR图像。
10.根据权利要求9所述的超分辨率装置，其特征在于，所述DCT交流系数的个数为N2-1；
所述图像处理单元，还用于将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；
所述图像搜索单元，具体用于：
若所述前M个DCT交流系数均不为0，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch；
若所述前M个DCT交流系数中有T个不为0，则在训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中，获取与所述高频LR patch对应的HR patch，并将所述HR patch叠加在与所述高频LR patch内容对应的所述初始HR patch上，将所述叠加后的初始HR patch作为最终HR patch。
11.根据权利要求9所述的超分辨率装置，其特征在于，所述超分辨率重建模块还包括：
训练集获取单元，用于在所述根据待处理的LR图像，生成对应的LR高频图像以及HR图像之前，获取所述训练集；所述训练集中包括(N2-1)M个类，所述类中包括HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息。
12.根据权利要求9所述的超分辨率装置，其特征在于，还包括：训练集生成模块，用于在所述根据待处理的LR图像，生成对应的LR高频图像和HR图像之前，生成所述训练集；
所述训练集生成模块包括：
图像转换单元，用于根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
图像切割单元，用于将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像处理单元，用于对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数，所述DCT交流系数的个数为N2-1；并将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；
训练集管理单元，用于在所述训练集中建立(N2-1)M个类，所述类用于存储HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch以及所述HR patch和高频LR patch的对应关系信息；
训练集生成单元，用于根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
13.根据权利要求12所述的超分辨率装置，其特征在于，所述训练集生成单元，具体用于：
若所述前M个DCT交流系数均不为0，则将与所述LR图像的图像块内容对应的高频LR patch、HR patch以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中；
若所述前M个DCT交流系数均为0，则不再将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch存储至所述训练集；
若所述前M个DCT交流系数中有T个不为0，则将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LRpatch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中。
14.一种超分辨率装置，其特征在于，包括训练集生成模块；所述训练集生成模块包括：
图像转换单元，用于根据待训练的高分辨率HR图像生成对应的低分辨率LR图像；并将所述HR图像和所述LR图像分别转换为对应的HR高频图像和LR高频图像；
图像切割单元，用于将所述HR高频图像、LR高频图像和所述LR图像分别切割成内容对应的多个图像块patch，所述LR高频图像和所述LR图像切割的图像块的尺寸为N2，N为所述图像块的边长的像素单元数目；所述HR高频图像切割的图像块的尺寸为(K×N)2，K为超分辨率放大倍数；
图像处理单元，用于对所述LR图像切割得到的每个图像块进行离散余弦变换DCT得到DCT交流系数，所述DCT交流系数的个数为N2-1；并将所述DCT交流系数按数值从大到小排序，将前M个DCT交流系数对应的系数编号设定为Ii i＝1，2，...，M；M为预设值；
训练集管理单元，用于在所述训练集中建立(N2-1)M个类，所述类用于存储HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch以及所述HR patch和高频LR patch的对应关系信息；
训练集生成单元，用于根据所述DCT交流系数，将与所述LR图像的图像块内容对应的HR高频图像的图像块HR patch、LR高频图像的图像块高频LR patch、以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的对应的类中。
15.根据权利要求14所述的超分辨率装置，其特征在于，所述训练集生成单元，具体用于：
若所述前M个DCT交流系数均不为0，则将与所述LR图像的图像块内容对应的高频LR patch、HR patch以及所述HR patch和高频LR patch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+IM个类中；
若所述前M个DCT交流系数均为0，则不再将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch存储至所述训练集；
若所述前M个DCT交流系数中有T个不为0，则将与所述LR图像的图像块内容对应的高频LR patch、以及HR patch以及所述HR patch和高频LRpatch的对应关系信息存储至所述训练集中的第(I1-1)×(N-1)M-1+(I2-1)×(N-1)M-2+...+(IT-1)×(N-1)M-T+(IT-1)×(N-1)M-T-1+...+IT个类中。
CN2012100531779A 2012-03-02 2012-03-02 超分辨率方法和装置 Pending CN102663715A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100531779A CN102663715A (zh) 2012-03-02 2012-03-02 超分辨率方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100531779A CN102663715A (zh) 2012-03-02 2012-03-02 超分辨率方法和装置

Publications (1)

Publication Number Publication Date
CN102663715A true CN102663715A (zh) 2012-09-12

Family

ID=46773194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100531779A Pending CN102663715A (zh) 2012-03-02 2012-03-02 超分辨率方法和装置

Country Status (1)

Country Link
CN (1) CN102663715A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780863A (zh) * 2014-01-17 2014-05-07 Tcl集团股份有限公司 一种高分辨率图像生成方法及装置
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN105678697A (zh) * 2015-12-30 2016-06-15 北京工业大学 一种基于dct域本征变换的人脸图像超分辨率重建方法
CN108600681A (zh) * 2018-04-12 2018-09-28 宇龙计算机通信科技(深圳)有限公司 一种视频信息发送、接收方法、装置及移动终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578449A (zh) * 2003-06-27 2005-02-09 成津C&C株式会社 从低分辨率压缩图像恢复并重构超分辨率图像的方法
US20100124383A1 (en) * 2008-11-19 2010-05-20 Nec Laboratories America, Inc. Systems and methods for resolution-invariant image representation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578449A (zh) * 2003-06-27 2005-02-09 成津C&C株式会社 从低分辨率压缩图像恢复并重构超分辨率图像的方法
US20100124383A1 (en) * 2008-11-19 2010-05-20 Nec Laboratories America, Inc. Systems and methods for resolution-invariant image representation

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WILLIAN T.FREEMAN ET AL: "《Example-based super-resolution》", 《COMPUTER GRAPHICS AND APPLICATIONS,IEEE》 *
徐忠强等: "《超分辨率图像重建方法研究》", 《自动化仪表》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144313A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN104144313B (zh) * 2013-05-10 2018-01-23 中国电信股份有限公司 视频通信方法、系统与云端图像服务器
CN103780863A (zh) * 2014-01-17 2014-05-07 Tcl集团股份有限公司 一种高分辨率图像生成方法及装置
CN103780863B (zh) * 2014-01-17 2017-08-25 Tcl集团股份有限公司 一种高分辨率图像生成方法及装置
CN105678697A (zh) * 2015-12-30 2016-06-15 北京工业大学 一种基于dct域本征变换的人脸图像超分辨率重建方法
CN105678697B (zh) * 2015-12-30 2018-10-12 北京工业大学 一种基于dct域本征变换的人脸图像超分辨率重建方法
CN108600681A (zh) * 2018-04-12 2018-09-28 宇龙计算机通信科技(深圳)有限公司 一种视频信息发送、接收方法、装置及移动终端

Similar Documents

Publication Publication Date Title
EP3518145A1 (en) Cognitive indexing of images in digital video content
JP4932903B2 (ja) 多重解像度、複数のフレームレートの空間及び時間域特徴に基づきデジタルビデオオブジェクトのフィンガープリンティング方法と装置
CN100501742C (zh) 表示图像组的方法和装置
CN101884221A (zh) 用于对视频进行编码的系统和方法
CN101711392A (zh) 视频检测系统和方法
Hu et al. A bilevel scale-sets model for hierarchical representation of large remote sensing images
JP2007206919A (ja) 表示制御装置および方法、プログラム、並びに記録媒体
JP4462922B2 (ja) 動画像検索情報生成装置、動画像要約情報生成装置、および要約情報生成方法
JP2007206918A (ja) 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
CN102084361A (zh) 媒体资产管理
JP2007206920A (ja) 画像処理装置および方法、検索装置および方法、プログラム、並びに記録媒体
CN107480203A (zh) 一种针对相同及相似图片去重的图像数据清洗方法
CN102156751A (zh) 一种提取视频指纹的方法及装置
CN110139169B (zh) 视频流的质量评估方法及其装置、视频拍摄系统
CN116188821B (zh) 版权检测方法、系统、电子设备和存储介质
CN102236714A (zh) 一种基于xml的交互应用多媒体信息检索方法
CN101470730B (zh) 基于频谱特征分析的图像重复检测方法
CN102663715A (zh) 超分辨率方法和装置
CN116071309B (zh) 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN112906614A (zh) 基于注意力指导的行人重识别方法、装置及存储介质
Alipour et al. Semantic segmentation of JPEG blocks using a deep CNN for non-aligned JPEG forgery detection and localization
CN115115855A (zh) 图像编码器的训练方法、装置、设备及介质
US8620971B2 (en) Image processing apparatus, image processing method, and program
Zhang et al. Just recognizable distortion for machine vision oriented image and video coding
Yang et al. Xception-based general forensic method on small-size images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120912