CN110136055B - 图像的超分辨率方法和装置、存储介质、电子装置 - Google Patents
图像的超分辨率方法和装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN110136055B CN110136055B CN201810107278.7A CN201810107278A CN110136055B CN 110136055 B CN110136055 B CN 110136055B CN 201810107278 A CN201810107278 A CN 201810107278A CN 110136055 B CN110136055 B CN 110136055B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- model
- super
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 116
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 238000003062 neural network model Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims description 62
- 230000003321 amplification Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 36
- 230000000694 effects Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G06T5/70—
Abstract
本发明公开了一种图像的超分辨率方法和装置、存储介质、电子装置。其中，该方法包括：获取待进行超分辨率处理的第一图像，其中，第一图像中携带有第一干扰信息；通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息。本发明解决了相关技术中超分辨率得到的图像的清晰度较低的技术问题。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像的超分辨率方法和装置、存储介质、电子装置。
背景技术
图像作为感知世界的重要信息形式，其内容的丰富和细节，直接决定感受到内容的详细程度。当图像单位尺度上的像素密度越高，则图像越清晰，其表达的细节能力越强，感知到的信息越丰富，这也就是高分辨率图像。图像的超分辨率重建己经在很多方面有了相应的研究如遥感图像，卫星成像领域，医学图像领域，和一些高清晰显示领域等等。
提高图像的分辨率的方法主要靠改进传感器制造工艺来减小像元尺寸，或者增加单位面积内的像元数量。但是减少像素元会减少像元能够接受的电磁能量，从而会造成容易受噪声干扰，导致图像质量不高。而增加集成电路板的尺寸会导致电容增加。这易造成电容难以转移电荷，使得其应用领域减少。另一类方法是采用信号处理技术对单帧或多帧低分辨率图像进行重建，得到高分辨率图像，也就是图像处理领域的超分辨率重建。
图像的超分辨率重建是指利用信号处理和计算机软件的方法得到高分辨率的清晰图像，但是在相关技术中，受限于原始图像的种种缺陷，造成了超分辨率得到的高分图像的清晰度较低。
针对相关技术中超分辨率得到的图像的清晰度较低的技术问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像的超分辨率方法和装置、存储介质、电子装置，以至少解决相关技术中超分辨率得到的图像的清晰度较低的技术问题。
根据本发明实施例的一个方面，提供了一种图像的超分辨率方法，包括：获取待进行超分辨率处理的第一图像，其中，第一图像中携带有第一干扰信息；通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息。
根据本发明实施例的另一方面，还提供了一种图像的超分辨率装置，包括：第一获取单元，用于获取待进行超分辨率处理的第一图像，其中，第一图像中携带有第一干扰信息；处理单元，用于通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
在本发明实施例中，获取待进行超分辨率处理的第一图像，第一图像中携带有第一干扰信息；通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息，由于在超分辨率处理的同时进行了去干扰处理，可以防止将干扰信息传递给第二图像，其相当于去除了第二图像中的干扰信息，可以解决相关技术中超分辨率得到的图像的清晰度较低的技术问题，进而达到提高超分辨率得到的图像的清晰度的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的图像的超分辨率方法的硬件环境的示意图；
图2是根据本发明实施例的图像的超分辨率方法的硬件环境的示意图；
图3是根据本发明实施例的一种可选的图像的超分辨率方法的流程图；
图4是根据本发明实施例的一种可选的高斯分布的示意图；
图5是根据本发明实施例的一种可选的高斯分布的示意图；
图6是根据本发明实施例的一种可选的图像的超分辨率方法的流程图；
图7是根据本发明实施例的一种可选的神经网络模型的结构示意图；
图8是根据本发明实施例的一种可选的图像的超分辨率方法的流程图；
图9是根据本发明实施例的一种可选的图像的超分辨率装置的示意图；以及
图10是根据本发明实施例的一种终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本发明实施例进行描述的过程中出现的部分名词或者术语适用于如下解释：
FSRCNN：Fast Supeer Resolution Convolutional Network，快速区域卷积网络。
pReLU激活函数：全称为Parametric Rectified Linear Unit，顾名思义，即带参数的激活函数ReLU。
PSNR：Peak Signal to Noise Ratio的缩写，即峰值信噪比，是一种评价图像的客观标准，它具有局限性，一般是用于最大值信号和背景噪音之间的一个工程项目。
上采样(upsampling)，也称图像插值(interpolating)，即放大图像，主要目的是放大原图像，从而可以显示在更高分辨率的显示设备上。
下采样(subsampled)，也称降采样(downsampled)，即缩小图像，主要目的是使得图像符合显示区域的大小，生成对应图像的缩略图。
根据本发明实施例的一方面，提供了一种可选的图像的超分辨率方法的方法实施例。
在一种可选的超分辨率实施方案中，可通过模拟的方法，构造出一组组一一对应的低分辨率与高分辨率图像，然后通过机器学习的方法学习低分辨率图像到高分辨率图像映射关系，模拟的过程如下：获取一组高分辨率图像、对每个图像进行差值处理，把图像的分辨率降低，这样就得到了一组组一一对应的低分辨率与高分辨率图像
以FSRCNN超分辨率方法为例，其使用上述的方法构造数据集，然后采用深度神网络的模型学习低分辨率图像到高分辨率图像之间的映射关系，其具体的网络结构为N层神经网络，前N-1卷积层的步长stride为1，在不放大图像的同时不断对低分辨率图像的特征进行抽取，最后在第N层通过解卷积(或称反卷积)，实现高分辨率图像的生成，这样的结构好处在于，前N-1层并没有对图像的尺寸进行放大。
在真实图像中经常存在的模糊与噪声，上述方案主要存在以下问题：没有考虑真实图像中经常存在的模糊与噪声，其训练用的图像是直接放缩得到没有模糊与噪声的低分辨率图像，导致后续机器学习模型学到的映射与实际情况不同，实际生成原生图像的超分效果有限。
为了克服上述缺陷，根据本发明实施例的一方面，还提供了一种图像的超分辨率方法的方法实施例。
可选地，在本实施例中，上述图像的超分辨率方法可以应用于如图1所示的由服务器101和终端103所构成的硬件环境中。如图1所示，服务器101通过网络与终端103进行连接，还可包括为服务器提供数据存储服务器的数据库105，上述网络包括但不限于：广域网、城域网或局域网，终端103并不限定于PC、手机、平板电脑等。本发明实施例的图像的超分辨率方法可以由服务器101来执行，也可以由终端103来执行，还可以是由服务器101和终端103共同执行。其中，终端103执行本发明实施例的图像的超分辨率方法也可以是由安装在其上的客户端来执行。
例如，当本发明实施例的图像的超分辨率方法由终端103或其上的客户端来执行，具体步骤如图1所示：
步骤S102，服务器101从数据库中获取低分辨率的目标视频，并发送目标视频给用户终端103。
步骤S104，用户终端对目标视频中的视频帧进行超分辨率处理。
步骤S106，用户终端播放超分辨率处理后的视频帧。
可选地，若终端103是播放本地保存的视频，上述系统可仅包括用户终端103。
再如，当本发明实施例的图像的超分辨率方法由服务器101来执行，具体步骤如图2所示：
步骤S202，服务器101从数据库中获取低分辨率的目标视频。
步骤S204，服务器对目标视频中的视频帧进行超分辨率处理。
步骤S206，在用户终端请求目标视频时，向用户终端103传输超分辨率处理后的视频流。
步骤S208，用户终端播放超分辨率处理后的视频流。
需要说明的是，上述服务器101除了可以是媒体服务器外，还可以是媒体服务器与用户终端之间的任意分发节点；如果是在媒体服务器上做超分处理，那么可以是预先提前做好，也可以在用户请求某个目标视频时对目标视频做超分处理，并缓存处理结果，以便于其他终端请求该视频时使用；如果是分发节点做超分处理，可以在用户请求某个目标视频时对目标视频做超分处理，并缓存处理结果(缓存的方式包括但不局限于保存在分发节点本地、返回给媒体服务器的数据库105保存)，以便于其他终端请求该视频时使用。
本申请的方法除了可以运行在上述示意性示出的用户终端、终端上的客户端、媒体服务器、内容分发节点外，还可根据需求配置在相应的设备或客户单上运行，例如，当处理的图像为医学图像时，可以运行在医用设备或服务器上；当处理的图像为遥感图像、卫星成像图像等图像时，也可运行在遥感图像或卫星成像图像的处理设备上，本申请对运行本申请的方法的设备不做限定。
图3是根据本发明实施例的一种可选的图像的超分辨率方法的流程图，如图3所示，该方法可以包括以下步骤：
步骤S302，获取待进行超分辨率处理的第一图像，第一图像中携带有第一干扰信息。
如前述，本申请的第一图像为携带有干扰信息的图像，干扰信息包括但不局限于模糊、噪声等，本申请的干扰信息具体可以包括这其中的一项或者几项。
申请人经过分析，模糊主要包括以下两个方面：
1)视频压缩造成的模糊，在视频中往往会在频域对图像进行压缩，具体的操作的方法是去除一部分高频的信号分量，这也就会导致信号的有效部分的采样率低于实际采样率，从而导致模糊。
2)衍射模糊是另一种常见的模糊，在摄影的过程中，光圈往往与景深的范围紧密相关，在拍摄时，为了远处与近处的景都能够清晰成像，就得使用小光圈，使得小孔成像的现象更加明显，所有焦距的景物都足够清楚，然而，小光圈就会导致出现衍射的现象，具体的表现是，如果一束平行光射入小光圈、且光圈半径与光的波长相近时，成像面上不会只出现理想情况下的一个光斑，还会在光斑外围出现类似一圈圈的波纹，这也就是泊松衍射，在实际成像过程中，传感器每个像素点受到多束光线的衍射效果叠加，故而呈现出模糊的效果。
噪声主要包括以下两个方面：
1)第一种噪声类型为抖动噪声，在视频和图像中，尤其是在视频中，时常使用图像“抖动”的技术，该技术的主要功能是利用低动态图像来模拟高动态图像，在视频中，通过抖动的方法，能够使用16位二进制数据来记录RGB颜色，且与原生24位RGB无明显视觉差异；而在GIF动态图像中，也存着类似的技术。对图像进行“抖动”最常用的方法，就是现在图像上加上一些高斯噪声，然后再对图像进行离散化处理，得到“抖动”后的结果，这也会导致，实际大部分视频中存在这种人为添加的噪声。
2)第二种噪声类型为曝光不足导致的噪声，光具有波粒二象性(前文所述的“衍射”即为光波动性的体现)，而对于光的粒子性而言，当光的强度不够时(即光子是数量不够时)，光子就会体现出粒子随机分布的特性，在成像介质上形成服从正态分布的点云，以夜间场景为例，如果要拍摄具有运动的物体，其曝光长度得短，这也就导致往往夜间拍摄的图像曝光不足，存在曝光不足导致的噪声。
步骤S304，通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像。
上述的第一模型是预先用携带有第二干扰信息的训练图像训练好的神经网络模型，训练图像的张数为多张，神经网络模型具体可以为具有多层卷积层的深度神经网络模型，第二图像(即超分后得到的图像)的分辨率高于第一图像、且未携带第一图像中的第一干扰信息，此处的未携带第一图像中的第一干扰信息可理解为未携带等比例(即第二图像相对于第一图像的放大比例)放大后的第一干扰信息。
上述的干扰过滤处理和超分辨率处理可以干扰过滤处理在前、超分辨率处理在后，也可干扰过滤处理在后、超分辨率处理在前。干扰过滤处理即过滤前述提及的模糊、噪声等干扰；超分辨率处理即通过硬件或软件的方法提高原有图像(即第一图像)的分辨率，通过一张或多张低分辨率的图像来得到一幅高分辨率的图像过程可称为超分辨率重建。
在第一图像是连续的图像帧的情况下，上述的步骤S302至步骤S304可以是连续执行的步骤。
在上述的第一种超分辨率实施方案中，在模拟的过程“获取一组高分辨率图像、对每个图像进行差值处理，把图像的分辨率降低”中，需要使用到图像压缩，压缩过程中造成的模糊会影响到超分辨率，上述超分辨率方法，其训练模型用的低分辨率图像经过缩小，模糊已经消失了，每个边缘都会很锐利，因此模型学会的是在超分的过程中保留锐利的边缘，当把经过压缩的图片或者原生分辨率图像(没有经过放缩过的图像)输入这种超分模型时，图片存在模糊，没有那么锐利的边缘，因此超分效果会很差。
且，在上述使用的超分辨率算法中，其在构造低分辨率图像时采用的是差值、平均或高斯滤波等方法，会减少图像的噪声强度，这也就导致，后续机器学习模型会学习弱噪声到强噪声的映射，超分辨率的过程会强化低分辨率图像中的噪声，这也就导致，这类“只考虑了理想情况”的超分辨率算法，无法在实际原始分辨率图像上取得有效超分辨率效果。
而在本申请的步骤S304中，构造了一种在训练图像中添加模糊与噪声的方法，用于模拟实际成像过程中的模糊，与处理过程中导致的噪声，使得模型能够学习到模糊低分图像到高分清晰图像之间的映射关系，能够在实际原生分辨率图像与视频上取得有效的超分效果，并增加了模型的稳定性，不会在低分辨率的强边缘处造成失真，得到提高超分的清晰度的效果。
通过上述步骤S302至步骤S304，获取待进行超分辨率处理的第一图像，第一图像中携带有第一干扰信息；通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息，由于在超分辨率处理的同时进行了去干扰处理，可以防止将干扰信息传递给第二图像，其相当于去除了第二图像中的干扰信息，可以解决相关技术中超分辨率得到的图像的清晰度较低的技术问题，进而达到提高超分辨率得到的图像的清晰度的技术效果。
为了便于了解本申请的技术方案，下面结合图3所示的步骤进一步详述本申请的技术方案：
在步骤S302提供的技术方案中，获取待进行超分辨率处理的第一图像包括但不局限于：
1)终端、服务器等获取视频中的视频帧；
2)医用设备或服务器获取医学图像；
3)图像处理设备获取遥感图像或卫星成像图像。
在步骤S304提供的技术方案中，通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像。
可选地，可以按照如下步骤(包括步骤S11-步骤S12)完成对深度神经网络模型的训练：
步骤S11，获取用于训练第二模型的训练集，其中，训练集中包括多对训练图像，每对训练图像包括第三图像和第四图像，第三图像的分辨率高于第四图像、且第三图像中未携带第四图像中的第二干扰信息。
可选地，获取用于训练第二模型的训练集的步骤(包括步骤S111-步骤S112)可包括：
步骤S111，按照如下方式确定每对训练图像的第四图像：
步骤1，将原始图像转换为灰度图，并将灰度图缩放为第五图像；
步骤2，使用高斯模糊模型在第五图像中添加高斯模糊，得到第六图像，其中，高斯模糊模型的SIGMA参数的取值为第一阈值；
步骤3，在第六图像中添加高斯白噪声，得到第四图像，添加的高斯白噪声可根据经验值确定。
可选地，步骤S111中的确定每对训练图像的第四图像还可包括如下确定SIGMA参数的取值的步骤：
步骤4，使用高斯模糊模型在第五图像中添加高斯模糊，并获取添加高斯模糊后的第五图像的第一相关性向量和灰度图的第二相关性向量，其中，第一相关性向量用于表示第五图像中像素点之间的相关性，第二相关性向量用于表示灰度图中像素点之间的相关性。
一种可选的高斯模糊模型的数据表达式如下：
步骤5，在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值的情况下，将高斯模糊模型中的SIGMA参数的取值作为第一阈值。
如图4所示，横轴表示σ值，纵轴表示权重分布，可以看出，正态分布是一种较优的权重分布方式；计算平均值的时候，可将中心点作为原点，其他点按照其在正态曲线上的位置，分配权重，就可以得到一个加权平均值，如图5所示，当σ有取不同值(如σ1、σ2等)时的曲线图像中，当σ越小时，曲线越高越尖，当σ越大时，曲线就越低越平缓，对应的结果就是图像越模糊。为了保证训练的效果，不至于在训练的过程中增强模糊，上述的第二阈值为接近于0的取值，换言之，第五图像的第一相关性向量和灰度图的第二相关性向量之间相似时，那么其σ的取值记为第一阈值。
一种可选的计算相关性向量的方式如下，以计算第五图像的第一相关性向量为例：
获取第五图像中多个图像块的每个图像块的灰度相关性系数，灰度相关性系数用于描述图像块上的像素点与图像块的中心像素点之间的相关性，例如，两个像素的灰度值之间的关系，如中心像素点的灰度值为100，任意一个像素点的灰度值为50，那么其灰度值之间的关系可以为二者的比值关系，如100/50，图像块可以从第五图像中随机获取多个(具体数量以能够计算出相关性向量为准)，图像块的大小与高斯模糊模型匹配，如均为4*4、6*6等，本申请对此不做限定；
根据多个图像块的灰度相关性系数确定第五图像的第一相关性向量，具体的方法可以采用拟合的方式确定出一个矩阵，得出各像素点与中心像素点的灰度值之间的关系：
yi＝ki*x+mi，其中，x表示中心像素点的灰度值，ki表示第i个像素点的比例系数，mi表示第i个像素点的参数，yi表示第i个像素点的灰度值，i的取值为1至n，n表示图像块中像素点的数量。
上述的第一相关性向量可以是由k1-kn和m1-mn组成的矩阵。
可选地，对于灰度图中的第二相关性向量，可以采用类似地方式确定。
步骤6，在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离不小于第二阈值的情况下，调整高斯模糊模型中的SIGMA参数的取值，直至调整后的第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值。
需要说明的是，上述的原始图像为多张，可以在预先确定好上述的第一阈值，换言之，利用任意一张原始图像确定第一阈值之后，其余原始图像沿用得到的第一阈值，也即在获取训练集针对第一张原始图像运行一次步骤4-步骤6即可；为了提高训练的准确性，也可为每张原始图像求取上述的第一阈值，即步骤4-步骤6可以包括在步骤2中执行，具体包括在“使用高斯模糊模型在第五图像中添加高斯模糊”中。
对于非整数放大，在上述第一种采用的深度学习超分辨率方法中，可以按照输入图像的大小分为两类：
第一类，输入经过经典方法放大的图像(比如双立方、双线性)到超分辨率网络中，这样的网络虽然可以通过学习传统方法放大图像到高分辨率图像的映射关系，实现非整数放大，但是相比于同样参数大小的网络，其精度相对较低，速度慢；
第二类，输入未经过放大的低分辨率图像，网络通过解卷积层实现图像的放大，这样在网络参数不增加的前提下，精度更高，速度更快，但是由于解卷积层的限制，只能实现非整数倍的放大，如果基于整数倍放大的结果，采用传统缩小图像的方法，得到非整数倍大小图像，图像的信噪比反而会比经典方法直接放大到目标分辨率的差。
可见，第一种基于深度学习的超分辨率在非整数放大问题上，都存在局限性。采用下述步骤S112所示的方案可以解决上述问题：
步骤S112(可与步骤S111同时执行，也可在步骤S111之前或者之后执行)，确定每对训练图像的第三图像：
在第一模型进行超分辨率处理的放大倍数N为整数的情况下，将灰度图作为第三图像，其中，将灰度图缩放为第五图像的缩小系数为放大倍数N的倒数；在第一模型进行超分辨率处理的放大倍数N不为整数的情况下，将灰度图按照放大系数M/N放大为第三图像，其中，M为对放大倍数向上取整得到的参数。
步骤S12，通过训练集对第二模型中的参数进行训练初始化，并将参数初始化后的第二模型作为第一模型。
在第一种方案的深度学习方法中，其激活层往往采用pReLU激活函数，在实际图像上的效果有限，此外，由于该激活层需要优化，这也导致网络的运行速度变慢，可选地，在本申请的第二种技术方案中，可以进行深度学习模型优化，采用ReLU函数作为激活函数，获得了在实际原始分辨率图像上更好的视觉效果，且运行速度更快。
需要说明的是，训练步骤和如下的用模型来完成超分处理的步骤可以是分开的或者一起的，如果是分开的，那么终端或服务器所使用的第一模型可以是从其余设备或厂家获取的。
步骤S304的通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像可以进一步通过如下步骤(步骤S13)实现：
步骤S13，通过第一模型过滤掉第一图像中的第一干扰信息、并至少对第一图像的Y通道上的数据进行超分辨率处理，得到第二图像，换言之，干扰过滤处理和超分辨率处理是以一个步骤的形式完成的，因为对于用户而言，前述第一模型相当于黑盒子，仅需输入低分的第一图像即可得到所需的第二图像。
可选地，通过第一模型过滤掉第一图像中的第一干扰信息，主要是指通过第一模型对第一图像的Y通道上的数据进行干扰过滤处理；通过第一模型至少对第一图像的Y通道上的数据进行超分辨率处理可以是：通过第一模型对第一图像的Y通道上的数据按照目标分辨率进行超分辨率处理，并对第一图像的U通道上的数据和V通道上的数据按照目标分辨率进行上采样。
YUV主要用于优化彩色视频信号的传输，其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
在本申请的实施例中，提供了一种能够抵抗实际原生分辨率图像、视频存在模糊、噪声等问题，且能够进行非整数倍放大的超分辨率处理的方法。
具体地来说，主要包括以下两个方面：构造了一种添加模糊与噪声的方法，用于模拟实际成像过程中的模糊，与处理过程中导致的噪声，使得能够在在实际原生分辨率图像与视频上取得有效的超分效果，并增加了模型的稳定性，不会在低分辨率的强边缘处造成失真；提出了一种处理训练集中高分辨率图像的方法，解决了上述基于深度学习的算法无法很好地非整数倍超分辨率的问题。
作为一种可选的实施例，下面结合具体的实施方式详述本申请的实施例：
传统模型首先没有考虑在视频、图像(即第一图像)中经常存在的模糊的问题，使得模型学到的是降采样的逆，当降采样的过程中存在干扰时(干扰、噪声)，其效果往往不如经典方法。
此外，现有的基于深度学习的超分辨率方法，其无法实现很好的非整数倍放大。基于现有的2倍或者3倍的模型放大后，再降采样到720P的结果，往往在PSNR(Peak Signal toNoise Ratio的缩写，即峰值信噪比)等指标上，低于传统方法，使得深度学习方法耗费的计算资源毫无意义。因此，必须找到行之有效的训练整数倍超分辨率的模型的方法。
基于以上问题，本文提出了一种新的训练超分辨率模型以及使用的方法，具体的流程如下所示：
1)构造低分辨率图像，如图6所示：
步骤S602，采集一组原始分辨率(即高分辨率)、未经过缩放的图像(即原始图像)，转换为灰度图。
步骤S604，记放大倍数为N，采用放缩方法(如lanczos方法)，对原始分辨率灰度图像进行缩放，得到未经处理的低分辨率灰度图像(即第五图像)。
步骤S606，随机抽取多个(如1万个)原始灰度图像上的5x5的图像块，统计25个位置像素灰度值与中心像素灰度相关性系数，构成原始灰度图像像素相关性向量(即第二相关性向量)。
步骤S608，随机抽取1万个低分辨率图像上的5x5的图像块，统计25个位置像素灰度值与中心像素灰度相关性系数，构成低分辨率图像像素相关性向量(即第一相关性向量)。
步骤S610，对低分辨率图像进行高斯模糊处理，得到第六图像，其中高斯模糊的核大小、方差使用如下方法确定：
选用高斯模糊的核大小为5x5，初始化方差值sigma为0.5，采用数值二分法，探测sigma的值，使得步骤S606与步骤S608计算出的像素相关性向量的误差最小。
步骤S612，在低分辨率图像(即得到第六图像)上添加方差为5(也可为其他值)的高斯随机白噪声，得到第四图像。
2)构造高分辨率图像
步骤S614，根据放大倍数确定高分辨率图像，判断放大倍数是否为整数，如果为整数，则采用原始分辨率灰度图像，作为高分辨率图像(即第三图像)；如果不是整数，则对放大倍数向上取整，记取整后的值为M，使用lanczos放缩方法，将原始分辨率灰度图像放大M/N倍，得到高分辨率图像。
步骤S616，训练用于超分辨率的深度学习模型：采用如图7所示的网络结构，网络结构中各层的特征如1所示，训练超分辨率模型，其中激活层采用reLU函数。
表1
| 层数 | 类型 | 卷积核大小 | 通道数 | 步长 | 补全(Pad) |
| 1 | 卷积 | 3x3 | 16 | 1 | 1 |
| 2 | 卷积 | 3x3 | 32 | 1 | 1 |
| 3 | 卷积 | 3x3 | 32 | 1 | 1 |
| 4 | 卷积 | 3x3 | 32 | 1 | 1 |
| 5 | 解卷积 | 6x6 | 1 | 2 | 2 |
3)采用如下方法使用训练好的超分辨率模型，如图8所示：
步骤S802，将图像或视频转到yuv域上，采用差值方法(双立方、双线性orlanczos)对UV通道上的图像进行缩放，缩放到目标大小。
步骤S804，对Y通道图像，采用前述训练好的模型进行超分。
步骤S806，目标分辨率与输入分辨率不是分整数关系，采用lanczos法将神经网络输出的超分图片放缩到目标分辨率。
步骤S808，组合超分得到的Y通道、Lanczos插值得到的UV通道，得到结果图像。
本申请提供了一种适用于图像、视频的超分辨率方法，其考虑了实际图像、视频中存在的模糊、噪声，使得模型能够在实际数据上取得明显的超分辨率效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的超分辨率方法的图像的超分辨率装置。图9是根据本发明实施例的一种可选的图像的超分辨率装置的示意图，如图9所示，该装置可以包括：第一获取单元901和处理单元903。
第一获取单元901，用于获取待进行超分辨率处理的第一图像，其中，第一图像中携带有第一干扰信息。
如前述，本申请的第一图像为携带有干扰信息的图像，干扰信息包括但不局限于模糊、噪声等，本申请的干扰信息具体可以包括这其中的一项或者几项。
处理单元903，用于通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息。
上述的第一模型是预先用携带有第二干扰信息的训练图像训练好的神经网络模型，训练图像的张数为多张，神经网络模型具体可以为具有多层卷积层的深度神经网络模型，第二图像(即超分后得到的图像)的分辨率高于第一图像、且未携带第一图像中的第一干扰信息，此处的未携带第一图像中的第一干扰信息可理解为未携带等比例(即第二图像相对于第一图像的放大比例)放大后的第一干扰信息。
上述的干扰过滤处理和超分辨率处理可以干扰过滤处理在前、超分辨率处理在后，也可干扰过滤处理在后、超分辨率处理在前。干扰过滤处理即过滤前述提及的模糊、噪声等干扰；超分辨率处理即通过硬件或软件的方法提高原有图像(即第一图像)的分辨率，通过一张或多张低分辨率的图像来得到一幅高分辨率的图像过程可称为超分辨率重建。
处理单元构造了一种在训练图像中添加模糊与噪声的方式，用于模拟实际成像过程中的模糊，与处理过程中导致的噪声，使得模型能够学习到模糊低分图像到高分清晰图像之间的映射关系，能够在实际原生分辨率图像与视频上取得有效的超分效果，并增加了模型的稳定性，不会在低分辨率的强边缘处造成失真，得到提高超分的清晰度的效果。
需要说明的是，该实施例中的第一获取单元901可以用于执行本申请实施例中的步骤S302，该实施例中的处理单元903可以用于执行本申请实施例中的步骤S304。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1或2所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
通过上述模块，获取待进行超分辨率处理的第一图像，第一图像中携带有第一干扰信息；通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息，由于在超分辨率处理的同时进行了去干扰处理，可以防止将干扰信息传递给第二图像，其相当于去除了第二图像中的干扰信息，可以解决相关技术中超分辨率得到的图像的清晰度较低的技术问题，进而达到提高超分辨率得到的图像的清晰度的技术效果。
上述的处理单元还可用于：通过第一模型过滤掉第一图像中的第一干扰信息、并至少对第一图像的Y通道上的数据进行超分辨率处理，得到第二图像。
可选地，处理单元还可用于：通过第一模型对第一图像的Y通道上的数据按照目标分辨率进行超分辨率处理和干扰过滤处理、并对第一图像的U通道上的数据和V通道上的数据按照目标分辨率进行上采样，得到第二图像，其中，目标分辨率为第二图像的分辨率。
可选地，本申请的装置还可包括：第二获取单元，用于获取用于训练第二模型的训练集，其中，训练集中包括多对训练图像，每对训练图像包括第三图像和第四图像，第三图像的分辨率高于第四图像、且第三图像中未携带第四图像中的第二干扰信息；训练单元，用于通过训练集对第二模型中的参数进行训练初始化，并将参数初始化后的第二模型作为第一模型。
可选地，上述第二获取单元可包括：第一确定模块，用于按照如下方式确定每对训练图像的第四图像：将原始图像转换为灰度图，并将灰度图缩放为第五图像；使用高斯模糊模型在第五图像中添加高斯模糊，得到第六图像，其中，高斯模糊模型的SIGMA参数的取值为第一阈值；在第六图像中添加高斯白噪声，得到第四图像；第二确定模块，用于按照如下方式确定每对训练图像的第三图像：在第一模型进行超分辨率处理的放大倍数N为整数的情况下，将灰度图作为第三图像，其中，将灰度图缩放为第五图像的缩小系数为放大倍数N的倒数；在第一模型进行超分辨率处理的放大倍数N不为整数的情况下，将灰度图按照放大系数M/N放大为第三图像，其中，M为对放大倍数向上取整得到的参数。
可选地，上述第二获取单元还可包括：
第一获取模块，用于使用高斯模糊模型在第五图像中添加高斯模糊，并获取添加高斯模糊后的第五图像的第一相关性向量和灰度图的第二相关性向量，其中，第一相关性向量用于表示第五图像中像素点之间的相关性，第二相关性向量用于表示灰度图中像素点之间的相关性；
第二获取模块，用于在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值的情况下，将高斯模糊模型中的SIGMA参数的当前取值作为第一阈值；
调整模块，用于在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离不小于第二阈值的情况下，调整高斯模糊模型中的SIGMA参数的取值，直至调整后的第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值。
可选地，第一获取模块还可用于：获取第五图像中多个图像块的每个图像块的灰度相关性系数，其中，灰度相关性系数用于描述图像块上的像素点与图像块的中心像素点之间的相关性；根据多个图像块的灰度相关性系数确定第五图像的第一相关性向量。
可选地，第一获取单元还可用于获取目标视频中待播放的视频帧为第一图像。
在本申请的实施例中，提供了一种能够抵抗实际原生分辨率图像、视频存在模糊、噪声等问题，且能够进行非整数倍放大的超分辨率处理的方案。
具体地来说，主要包括以下两个方面：构造了一种添加模糊与噪声的方法，用于模拟实际成像过程中的模糊，与处理过程中导致的噪声，使得能够在在实际原生分辨率图像与视频上取得有效的超分效果，并增加了模型的稳定性，不会在低分辨率的强边缘处造成失真；提出了一种处理训练集中高分辨率图像的方法，解决了上述基于深度学习的算法无法很好地非整数倍超分辨率的问题。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1或2所示的硬件环境中，可以通过软件实现，也可以通过硬件实现，其中，硬件环境包括网络环境。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的超分辨率方法的服务器或终端。
图10是根据本发明实施例的一种终端的结构框图，如图10所示，该终端可以包括：一个或多个(图10中仅示出一个)处理器1001、存储器1003、以及传输装置1005(如上述实施例中的发送装置)，如图10所示，该终端还可以包括输入输出设备1007。
其中，存储器1003可用于存储软件程序以及模块，如本发明实施例中的图像的超分辨率方法和装置对应的程序指令/模块，处理器1001通过运行存储在存储器1003内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像的超分辨率方法。存储器1003可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1003可进一步包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1005用于经由一个网络接收或者发送数据，还可以用于处理器与存储器之间的数据传输。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1005包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1005为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
其中，具体地，存储器1003用于存储应用程序。
处理器1001可以通过传输装置1005调用存储器1003存储的应用程序，以执行下述步骤：
获取待进行超分辨率处理的第一图像，其中，第一图像中携带有第一干扰信息；
通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息。
处理器1001还用于执行下述步骤：
使用高斯模糊模型在第五图像中添加高斯模糊，并获取添加高斯模糊后的第五图像的第一相关性向量和灰度图的第二相关性向量，其中，第一相关性向量用于表示第五图像中像素点之间的相关性，第二相关性向量用于表示灰度图中像素点之间的相关性；
在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值的情况下，将高斯模糊模型中的SIGMA参数的当前取值作为第一阈值；
在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离不小于第二阈值的情况下，调整高斯模糊模型中的SIGMA参数的取值，直至调整后的第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值。
采用本发明实施例，获取待进行超分辨率处理的第一图像，第一图像中携带有第一干扰信息；通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息，由于在超分辨率处理的同时进行了去干扰处理，可以防止将干扰信息传递给第二图像，其相当于去除了第二图像中的干扰信息，可以解决相关技术中超分辨率得到的图像的清晰度较低的技术问题，进而达到提高超分辨率得到的图像的清晰度的技术效果。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本领域普通技术人员可以理解，图10所示的结构仅为示意，终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile InternetDevices，MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，终端还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图10所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于执行图像的超分辨率方法的程序代码。
可选地，在本实施例中，上述存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：
S21，获取待进行超分辨率处理的第一图像，其中，第一图像中携带有第一干扰信息；
S22，通过第一模型对第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，第二图像的分辨率高于第一图像、且未携带第一图像中的第一干扰信息。
可选地，存储介质还被设置为存储用于执行以下步骤的程序代码：
S31，使用高斯模糊模型在第五图像中添加高斯模糊，并获取添加高斯模糊后的第五图像的第一相关性向量和灰度图的第二相关性向量，其中，第一相关性向量用于表示第五图像中像素点之间的相关性，第二相关性向量用于表示灰度图中像素点之间的相关性；
S32，在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值的情况下，将高斯模糊模型中的SIGMA参数的当前取值作为第一阈值；
S33，在第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离不小于第二阈值的情况下，调整高斯模糊模型中的SIGMA参数的取值，直至调整后的第五图像的第一相关性向量和灰度图的第二相关性向量之间的欧氏距离小于第二阈值。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种图像的超分辨率方法，其特征在于，包括：
获取用于训练第二模型的训练集，其中，所述训练集中包括多对训练图像，每对训练图像包括第三图像和第四图像，所述第三图像的分辨率高于所述第四图像、且所述第三图像中未携带所述第四图像中的第二干扰信息，获取用于训练所述第二模型的训练集包括：确定每对训练图像的所述第四图像：将原始图像转换为灰度图，并将所述灰度图缩放为第五图像；使用高斯模糊模型在所述第五图像中添加高斯模糊，得到第六图像，其中，所述高斯模糊模型的SIGMA参数的取值为第一阈值；在所述第六图像中添加高斯白噪声，得到所述第四图像；确定每对训练图像的所述第三图像：在第一模型进行超分辨率处理的放大倍数N为整数的情况下，将所述灰度图作为所述第三图像，其中，将所述灰度图缩放为所述第五图像的缩小系数为所述放大倍数N的倒数；在所述第一模型进行超分辨率处理的放大倍数N不为整数的情况下，将所述灰度图按照放大系数M/N放大为所述第三图像，其中，M为对放大倍数向上取整得到的参数；
通过所述训练集对所述第二模型中的参数进行训练初始化，并将参数初始化后的所述第二模型作为所述第一模型；
获取待进行超分辨率处理的第一图像，其中，所述第一图像中携带有第一干扰信息；
通过所述第一模型对所述第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，所述第一模型是预先用携带有第二干扰信息的图像训练好的神经网络模型，所述第二图像的分辨率高于所述第一图像、且未携带所述第一图像中的第一干扰信息。
2.根据权利要求1所述的方法，其特征在于，通过所述第一模型对所述第一图像进行干扰过滤处理和超分辨率处理，得到所述第二图像包括：
通过所述第一模型过滤掉所述第一图像中的第一干扰信息、并至少对所述第一图像的Y通道上的数据进行超分辨率处理，得到所述第二图像。
3.根据权利要求2所述的方法，其特征在于，通过所述第一模型过滤掉所述第一图像中的第一干扰信息、并至少对所述第一图像的Y通道上的数据进行超分辨率处理，得到所述第二图像包括：
通过所述第一模型对所述第一图像的Y通道上的数据按照目标分辨率进行超分辨率处理和干扰过滤处理、并对所述第一图像的U通道上的数据和V通道上的数据按照所述目标分辨率进行上采样，得到所述第二图像，其中，所述目标分辨率为所述第二图像的分辨率。
4.根据权利要求1所述的方法，其特征在于，确定每对训练图像的第四图像还包括：
使用高斯模糊模型在所述第五图像中添加高斯模糊，并获取添加高斯模糊后的所述第五图像的第一相关性向量和所述灰度图的第二相关性向量，其中，所述第一相关性向量用于表示所述第五图像中像素点之间的相关性，所述第二相关性向量用于表示所述灰度图中像素点之间的相关性；
在所述第五图像的第一相关性向量和所述灰度图的第二相关性向量之间的欧氏距离小于第二阈值的情况下，将所述高斯模糊模型中的SIGMA参数的当前取值作为所述第一阈值；
在所述第五图像的第一相关性向量和所述灰度图的第二相关性向量之间的欧氏距离不小于所述第二阈值的情况下，调整所述高斯模糊模型中的SIGMA参数的取值，直至调整后的所述第五图像的第一相关性向量和所述灰度图的第二相关性向量之间的欧氏距离小于所述第二阈值。
5.根据权利要求4所述的方法，其特征在于，获取添加高斯模糊后的所述第五图像的第一相关性向量包括：
获取所述第五图像中多个图像块的每个图像块的灰度相关性系数，其中，所述灰度相关性系数用于描述所述图像块上的像素点与所述图像块的中心像素点之间的相关性；
根据多个所述图像块的灰度相关性系数确定所述第五图像的所述第一相关性向量。
6.根据权利要求1所述的方法，其特征在于，获取待进行超分辨率处理的第一图像包括：
获取目标视频中待播放的视频帧为所述第一图像。
7.一种图像的超分辨率装置，其特征在于，包括：第一获取单元，用于获取待进行超分辨率处理的第一图像，其中，所述第一图像中携带有第一干扰信息；
第二获取单元，包括：第一确定模块，用于按照如下方式确定每对训练图像的第四图像：将原始图像转换为灰度图，并将所述灰度图缩放为第五图像；使用高斯模糊模型在所述第五图像中添加高斯模糊，得到第六图像，其中，所述高斯模糊模型的SIGMA参数的取值为第一阈值；在所述第六图像中添加高斯白噪声，得到所述第四图像；第二确定模块，用于按照如下方式确定每对训练图像的第三图像：在第一模型进行超分辨率处理的放大倍数N为整数的情况下，将所述灰度图作为所述第三图像，其中，将所述灰度图缩放为所述第五图像的缩小系数为所述放大倍数N的倒数；在所述第一模型进行超分辨率处理的放大倍数N不为整数的情况下，将所述灰度图按照放大系数M/N放大为所述第三图像，其中，M为对放大倍数向上取整得到的参数；用于获取用于训练第二模型的训练集，其中，所述训练集中包括多对训练图像，每对训练图像包括所述第三图像和所述第四图像，所述第三图像的分辨率高于所述第四图像、且所述第三图像中未携带所述第四图像中的第二干扰信息；
训练单元，用于通过所述训练集对所述第二模型中的参数进行训练初始化，并将参数初始化后的所述第二模型作为第一模型；
处理单元，用于通过所述第一模型对所述第一图像进行干扰过滤处理和超分辨率处理，得到第二图像，其中，所述第一模型是预先用携带有所述第二干扰信息的图像训练好的神经网络模型，所述第二图像的分辨率高于所述第一图像、且未携带所述第一图像中的所述第一干扰信息。
8.根据权利要求7所述的装置，其特征在于，所述处理单元还用于：
通过所述第一模型过滤掉所述第一图像中的第一干扰信息、并至少对所述第一图像的Y通道上的数据进行超分辨率处理，得到所述第二图像。
9.根据权利要求8所述的装置，其特征在于，所述处理单元还用于：
通过所述第一模型对所述第一图像的Y通道上的数据按照目标分辨率进行超分辨率处理和干扰过滤处理、并对所述第一图像的U通道上的数据和V通道上的数据按照所述目标分辨率进行上采样，得到所述第二图像，其中，所述目标分辨率为所述第二图像的分辨率。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的方法。
11.一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器通过所述计算机程序执行上述权利要求1至6任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810107278.7A CN110136055B (zh) | 2018-02-02 | 2018-02-02 | 图像的超分辨率方法和装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810107278.7A CN110136055B (zh) | 2018-02-02 | 2018-02-02 | 图像的超分辨率方法和装置、存储介质、电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136055A CN110136055A (zh) | 2019-08-16 |
| CN110136055B true CN110136055B (zh) | 2023-07-14 |
Family
ID=67567385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810107278.7A Active CN110136055B (zh) | 2018-02-02 | 2018-02-02 | 图像的超分辨率方法和装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136055B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110868625A (zh) * | 2019-11-22 | 2020-03-06 | 北京金山云网络技术有限公司 | 一种视频播放方法、装置、电子设备及存储介质 |
| CN110958722B (zh) * | 2019-11-29 | 2023-05-09 | 洛阳理工学院 | 云辅助下基于超分辨技术的无线图像传感器网络节能方法 |
| CN111667410B (zh) * | 2020-06-10 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 图像分辨率提升方法、装置及电子设备 |
| WO2022011571A1 (zh) * | 2020-07-14 | 2022-01-20 | Oppo广东移动通信有限公司 | 视频处理方法、装置、设备、解码器、系统及存储介质 |
| CN112184575A (zh) * | 2020-09-16 | 2021-01-05 | 华为技术有限公司 | 图像渲染的方法和装置 |
| CN112488947A (zh) * | 2020-12-04 | 2021-03-12 | 北京字跳网络技术有限公司 | 模型训练和图像处理方法、装置、设备和计算机可读介质 |
| CN113538250A (zh) * | 2021-09-14 | 2021-10-22 | 苏州微清医疗器械有限公司 | 一种具有快速处理图像功能的眼底拍摄系统 |
| CN116416134A (zh) * | 2023-04-04 | 2023-07-11 | 阿里巴巴（中国）有限公司 | 图像超分处理方法、系统、设备、存储介质和程序产品 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102354397A (zh) * | 2011-09-19 | 2012-02-15 | 大连理工大学 | 基于面部特征器官相似性的人脸图像超分辨率重建方法 |
| CN102842115A (zh) * | 2012-05-31 | 2012-12-26 | 哈尔滨工业大学（威海） | 基于双重字典学习的压缩感知图像超分辨率重建方法 |
| JP2016025447A (ja) * | 2014-07-18 | 2016-02-08 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
-
2018
- 2018-02-02 CN CN201810107278.7A patent/CN110136055B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102354397A (zh) * | 2011-09-19 | 2012-02-15 | 大连理工大学 | 基于面部特征器官相似性的人脸图像超分辨率重建方法 |
| CN102842115A (zh) * | 2012-05-31 | 2012-12-26 | 哈尔滨工业大学（威海） | 基于双重字典学习的压缩感知图像超分辨率重建方法 |
| JP2016025447A (ja) * | 2014-07-18 | 2016-02-08 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
Non-Patent Citations (3)
| Title |
|---|
| 利用双通道卷积神经网络的图像超分辨率算法;徐冉;张俊格;黄凯奇;;中国图象图形学报(第05期);全文 * |
| 基于图像超分辨极限学习机的极低分辨率人脸识别;卢涛;杨威;万永静;;计算机应用(第02期);正文第2-4节 * |
| 基于多字典L1/2正则化的超分辨率重建算法;徐志刚;李文文;;吉林大学学报(信息科学版)(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136055A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136055B (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
| Zhang et al. | Deep image deblurring: A survey | |
| Claus et al. | Videnn: Deep blind video denoising | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
| Rao et al. | A Survey of Video Enhancement Techniques. | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| US20190294931A1 (en) | Systems and Methods for Generative Ensemble Networks | |
| CN110222758B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| US8908989B2 (en) | Recursive conditional means image denoising | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、系统和计算机可读介质 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
| Fu et al. | Learning an adaptive model for extreme low‐light raw image processing | |
| Syed et al. | Addressing image and Poisson noise deconvolution problem using deep learning approaches | |
| CN111882565A (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN111429371A (zh) | 图像处理方法、装置及终端设备 | |
| CN110717864A (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
| Banerjee et al. | Bacterial foraging-fuzzy synergism based image Dehazing | |
| Oh et al. | Fpanet: Frequency-based video demoireing using frame-level post alignment | |
| CN110766153A (zh) | 神经网络模型训练方法、装置及终端设备 | |
| Kokkinos et al. | Pixel adaptive filtering units | |
| CN113160056A (zh) | 一种基于深度学习的带噪图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |