CN111340694A - 图像处理方法、装置、计算机可读存储介质和计算机设备 - Google Patents
图像处理方法、装置、计算机可读存储介质和计算机设备 Download PDFInfo
- Publication number
- CN111340694A CN111340694A CN202010082474.0A CN202010082474A CN111340694A CN 111340694 A CN111340694 A CN 111340694A CN 202010082474 A CN202010082474 A CN 202010082474A CN 111340694 A CN111340694 A CN 111340694A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- processing unit
- size
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 title claims description 474
- 238000010586 diagram Methods 0.000 claims abstract description 286
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000007499 fusion processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003475 lamination Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 16
- 230000002829 reductive effect Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 11
- 230000004927 fusion Effects 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 10
- 230000001066 destructive effect Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
Abstract
本申请涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。本申请提供的方案可以将低清晰度图像快速准确地重建为高清晰度图像。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和计算机设备。
背景技术
图像恢复是一种在日常生活中很常见的问题，其目标是恢复在成像过程中遇到不可逆并且复杂破坏的图片。当用户处于光线较暗或者动态的场景中，图片通常会出现不同程度的噪声或者模糊。图片恢复算法便可以用来重建由于模糊或者噪声而损失的细节信息。
然而，传统的图像恢复方式都只能针对某一类特定问题。例如，对于图像去模糊来说，传统的图像恢复方式只能去除平移或旋转中的某一种运动过程中产生的图像模糊的问题。图像去噪也存在同样的问题，传统的图像恢复方式都是针对某类特定噪声，例如通过去除高斯噪声，泊松噪声等来实现图像的特征重建。但真实的破坏图像成像场景十分复杂，还包括相机的运动、场景中物体的运动和不同程度的噪声所导致的图像不清晰等问题，而传统的图像恢复方式对这些存在噪声和模糊点的低清晰度图像的处理效果较差。
发明内容
基于此，有必要针对图像不清晰的技术问题，提供一种图像处理方法、装置、计算机可读存储介质和计算机设备。
一种图像处理方法，包括：
获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；
通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；
将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；
通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。
一种图像处理装置，所述装置包括：
获取模块，用于获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；
第一重建模块，用于通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；
拼接模块，用于将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；
目标重建模块，用于通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；
通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；
将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；
通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；
通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；
将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；
通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。
上述图像处理方法、装置、计算机可读存储介质和计算机设备，获取待处理图像，将待处理图像从第一尺寸缩放到第二尺寸，通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；将第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标图像的清晰度高于待处理图像的清晰度，该目标编解码器中包含第一预设数量的成对编解码器，该第一编解码器为该第一预设数量的成对编解码器中的至少一对，从而能够将模糊的、存在噪点的待处理图像重建为清晰图像。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中重建待处理图像的中间尺度特征的步骤的流程示意图；
图4为一个实施例中编码器和解码器的内部结构图；
图5为另一个实施例中编码器和解码器的内部结构图；
图6为一个实施例中第一编解码器的处理单元输出特征图的步骤的流程示意图；
图7为一个实施例处理单元的内部结构图；
图8为一个实施例中第二编解码器的处理单元输出特征图的步骤的流程示意图；
图9(a)为一个实施例中图像处理方法的网络结构图；
图9(b)为另一个实施例中图像处理方法的网络结构图；
图10(a)为一个实施例中本方案的图像处理方法和传统的多种图像处理方法在去模糊方面的处理结果；
图10(b)为一个实施例中本方案的图像处理方法和传统的多种图像处理方法在去噪声方面的处理结果；
图11为一个实施例中图像处理方法应用于视频处理的流程示意图；
图12为另一个实施例中图像处理装置的结构框图；
图13为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法的应用环境图。参照图1，该图像处理方法应用于图像处理系统。该图像处理系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，终端110可独立实现该图像处理方法。该终端110也可通过与服务器120的交互配合实现该图像处理方法。
终端110可获取待处理图像，将该待处理图像发送给服务器120。服务器120接收该待处理图像，将该待处理图像从第一尺寸缩放到第二尺寸。服务器120通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图。服务器120将该第一特征图放大到第一尺寸，将该第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理。服务器120通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标图像的清晰度高于该待处理图像的清晰度；该目标编解码器中包含第一预设数量的成对编解码器，该第一编解码器为该第一预设数量的成对编解码器中的至少一对。服务器120将该目标图像返回给终端110。通过本实施里中的种图像处理方法，能够将模糊的、存在噪点的待处理图像重建为清晰图像。
在一个实施例中，终端获取到一张尺寸为300*400的人脸图像，该人脸图像中的人脸区域模糊，则终端通过该处理方法对该人脸图像进行特征提取和特征重建，以得到人脸区域清晰的人脸图像。
具体地，终端将该300*400的人脸图像缩放1/4尺寸，得到75*100的人脸图像。75*100的人脸图像中显示人脸区域的粗尺度特征。终端通过一对编解码器对该75*100的人脸图像特征重建，得到75*100的特征图，从而重建了人脸图像中人脸区域的粗尺度特征。
接着，终端将75*100的特征图放大两倍尺寸，得到150*200的特征图。并将300*400的人脸图像缩放1/2尺寸，得到150*200的人脸图像。150*200的人脸图像和150*200的特征图中显示人脸区域的中间尺度特征。接着，终端将150*200的特征图和150*200的人脸图像进行拼接。并通过两对编解码器对拼接后的特征图进行特征重建，得到重建后的150*200的特征图，从而重建了人脸图像中人脸区域的中间尺度特征。该两对编码器中有一对编码器与粗尺度特征重建中所使用的编解码器相同。
接着，尺寸为300*400的人脸图像中显示人脸区域的细尺度特征。终端将150*200的特征图放大两倍尺寸，得到300*400的特征图。该尺寸为300*400的特征图中同样显示人脸区域的细尺度特征。终端将300*400的特征图和300*400的人脸图像进行拼接。通过三对编解码器对拼接后的特征图进行特征重建，得到300*400的目标图像，从而重建了人脸图像中人脸区域的细尺度特征。该三对编码器中有两对编码器与中间尺度特征重建中所使用的两对编解码器相同。
通过依次重建人脸图像中的人脸区域的粗尺度特征、中间尺度特征和细尺度特征，能够将模糊的人脸区域逐步变清晰。并且通过在增加编解码器的数量处理越来越细化的特征尺度，以降低细化的特征尺度的恢复难度，保证特征重建的准确性，从而得到清晰的人脸图像。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该图像处理方法具体包括如下步骤：
步骤202，获取待处理图像，将待处理图像从第一尺寸缩放到第二尺寸。
其中，待处理图像是指清晰度低的图像，例如模糊图像或存在噪点的图像。第一尺寸为获取的待处理图像的原始尺寸，第二尺寸为缩放后的待处理图像的尺寸，第二尺寸可以是待处理图像的第一尺寸的1/4、1/5、1/6等。
具体地，图像越小，图像的粗尺度特征越明显；图像越大，图像的细节特征越明显，即细尺度特征越明显。把模糊图像缩放到较小尺寸时，图像显示的细节特征较少，更多的是显示粗尺度的特征，则图像的模糊程度会明显减小。在这种情况下，对小尺寸的模糊图像的特征重建的难度会比原始尺寸的难度低。则终端可获取待处理图像，将该待处理图像缩放到第二尺寸，使得图像显示出粗尺度特征，以先对粗尺度特征中存在的模糊区域进行重建。
在本实施例中，终端获取待处理图像，并确定所获取的待处理图像的原始尺寸，将该原始尺寸作为第一尺寸。例如，终端所获取的待处理图像的尺寸为330*400，则将330*400作为待处理图像的第一尺寸。终端所获取的待处理图像的尺寸为450*600，则将450*600作为该待处理图像的第一尺寸。接着，终端将第一尺寸的待处理图像缩放到第二尺寸，得到第二尺寸的待处理图像。
步骤204，通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图。
其中，第一编解码器是指成对的编码器和解码器。即第一编码器中包括编码器和该编码器对应的解码器。第一编解码器中包含成对编解码器，该成对编解码器的数量可根据需求设置，例如1对、2对等。
具体地，终端可将该第二尺寸的待处理图像输入第一网络，该第一网络为重建图像的粗尺度特征的网络。该第一网络中包含第一编解码器，第一编解码器的数量可根据需求设置。第一网络中的第一编解码器中的编码器对该第二尺寸的待处理图像进行特征提取，编码器将所提取的特征图输入该编码器对应的解码器进行解码，得到该解码器输出的特征图。该解码器输出的特征图即为第一特征图。
在本实施例中，当该第一编解码器中存在至少两对编解码器时，通过第一个编码器对第二尺寸的待处理图像进行编码，并通过下一个编码器对上一个编码器输出的特征图进行编码，直到得到第一编解码器中的最后一个编码器输出的特征图。接着，最后一个编码器输出的特征图输入对应的解码器中，通过解码器对特征图进行解码，得到最后一个解码器输出的特征图。该最后一个解码器输出的特征图即为第一特征图。
在本实施例中，第二尺寸可为第一尺寸的1/4，则第一编解码器对该1/4尺寸的待处理图像进行特征重建后，得到中间特征图。该中间特征图的尺寸同样为第一尺寸的1/4。接着，终端将该1/4尺寸的中间特征图放大两倍，得到第一特征图，该第一特征图的尺寸为第一尺寸的1/2。
步骤206，将第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理。
其中，拼接处理是指图像的矩阵拼接或者特征图在通道维度上的并联。
具体地，得到第一特征图之后，终端可将该第一特征图放大到与所获取的待处理图像相同的尺寸，即第一尺寸，以先对细尺度特征中存在的模糊区域进行重建。接着，终端将该第一尺寸的待处理图像和该第一尺寸的第一特征图进行拼接处理。
在本实施例中，终端可确定第一尺寸的待处理图像对应的矩阵，以及第一尺寸的第一特征图对应的矩阵，将该两个矩阵进行拼接。终端可确定第一尺寸的待处理图像的通道维度和第一尺寸的第一特征图的通道维度，按照通道维度将第一尺寸的待处理图像和第一尺寸的第一特征图进行并联。
例如，第一尺寸的待处理图像和第一尺寸的第一特征图均为RGB彩色图像，RGB彩色图像的通道数为3，则终端将该第一尺寸的待处理图像的R、G、B通道和该第一尺寸的第一特征图的R、G、B通道进行并联，得到通道数为6的特征图。
步骤208，通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标图像的清晰度高于待处理图像的清晰度；该目标编解码器中包含第一预设数量的成对编解码器，该第一编解码器为该第一预设数量的成对编解码器中的至少一对。
其中，目标编解码器是指成对的编码器和解码器，该第一编解码器作为目标编解码器中的成对编解码器，是目标编解码器中的组成部分。目标编解码器中包含第一预设数量的成对编解码器，当第一编解码器中包含一对编解码器时，该第一编解码器作为第一预设数量的成对编解码器中的一对。当第一编解码器中包含两对编解码器时，该第一编解码器作为第一预设数量的成对编解码器中的两对，以此类推。
具体地，终端可将该拼接后的特征图输入目标网络，该目标网络为重建图像的细尺度特征的网络。该目标网络中包含目标编解码器，该目标编解码器中包含成对编解码器，该目标编解码器中的成对编解码器的数量为第一预设数量。并且第一编解码器作为目标编解码器中的一部分。目标网络中的目标编解码器中的第一个编码器对该拼接后的特征图进行特征提取，并将上一编码器输出的特征图作为下一编码器的输入，直到得到目标编解码器中的最后一个编码器输出的特征图。接着，最后一个编码器输出的特征图输入对应的解码器中，通过解码器对特征图进行解码。将上一解码器输出的特征图作为下一解码器的输入，得到目标编解码器中的最后一个解码器输出的目标图像。
上述图像处理方法，获取待处理图像，将待处理图像从第一尺寸缩放到第二尺寸，通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，从而可以完成待处理图像的粗尺度特征的重建。将第一特征图放大到与待处理图像相同的第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，以对待处理图像的细尺度特征进行重建。通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标编解码器中包含第一预设数量的成对编解码器，该第一编解码器为该第一预设数量的成对编解码器中的至少一对，从而将低清晰度的待处理图像重建为高清晰度的目标图像。通过对待处理图像的粗尺度特征和细尺度特征进行重建，能够将模糊的、存在噪点的待处理图像重建为清晰图像。
在一个实施例中，如图3所示，在该将该第一特征图放大到第一尺寸，将该第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理之前，还包括：
步骤302，将第一尺寸的待处理图像缩放到与该第一特征图相同的尺寸，将第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图。
具体地，第一特征图为重建了待处理图像的粗尺度特征的特征图，则终端可进一步重建该待处理图像的中间尺度的特征。该中间尺度的特征为粗尺度特征和细尺度特征之间的特征。终端可确定该第一特征图的尺寸，并将该第一尺寸的待处理图像缩放到与该第一特征图相同的尺寸。进一步地，该第一特征图的尺度为该待处理图像的第一尺寸的1/2，则终端将第一尺寸的待处理图像缩放为第一尺寸的1/2，得到与第一特征图相同尺寸的待处理图像。接着，终端可将第一特征图和缩放后的相同尺寸的待处理图像进行矩阵拼接，得到第二特征图。或者，终端将第一特征图和缩放后的相同尺寸的待处理图像在通道维度上进行并联处理，得到第二特征图。
步骤304，通过第二编解码器对第二特征图进行特征重建，得到重建后的第一特征图；该第二编解码器中包含第二预设数量的成对编解码器，该第一编解码器为该第二预设数量的成对编解码器中的至少一对；该第一预设数量的成对编解码器中包含该第二预设数量的成对编解码器。
其中，第二编解码器是指成对的编码器和解码器。第一编解码器作为第二编解码中的成对编解码器，是第二编解码器的组成部分。第二编解码器中包含第二预设数量的成对编解码器，当第一编解码器中包含一对编解码器时，该第一编解码器作为第二预设数量的成对编解码器中的一对。当第一编解码器中包含两对编解码器时，该第一编解码器作为第二预设数量的成对编解码器中的两对，以此类推。该目标编解码器中包含第一预设数量的成对编解码器，该第一预设数量的成对编解码器中包含了第二预设数量的成对编解码器。
具体地，终端可将该第二特征图输入第二网络，该第二网络为重建图像的中间尺度特征的网络。该第二网络中包含第二编解码器，该第二编解码器中包含第二预设数量的成对编解码器，该第二预设数量可根据需求设置。并且，在第二网络中，第一编解码器作为第二编解码器的一部分。该第二编解码器中的第一个编码器对该第二特征图进行特征提取，并将上一编码器输出的特征图作为下一编码器的输入，直到得到第二编解码器中的最后一个编码器输出的特征图。
接着，最后一个编码器输出的特征图输入对应的解码器中，第二编解码器中编码器和解码器的数量相同。并将上一解码器输出的特征图作为下一解码器的输入，通过解码器对特征图进行解码，得到第二编解码器中的最后一个解码器输出的特征图。该第二编解码器中的最后一个解码器输出的特征图即为重建后的第一特征图。
该将第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，包括：
步骤306，将重建后的第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行拼接处理。
具体地，重建后的第一特征图为重建了待处理图像的中间尺度特征的特征图，则终端可进一步重建该待处理图像的细尺度的特征。该细尺度的特征为比中间尺度特征更细节更具体的特征。终端可确定所获取的待处理图像的尺寸，即第一尺寸，并将重建后的第一特征图放大到与待处理图像相同的第一尺寸。进一步地，该重建后的第一特征图的尺寸为第一尺寸的1/2，则终端将重建后的第一特征图放大两倍，得到第一尺寸的重建后的第一特征图。接着，终端可将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行矩阵拼接，得到拼接后的特征图。或者，终端将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图在通道维度上进行并联处理，得到拼接后的特征图。
接着，终端可将该拼接后的特征图输入目标网络，通过目标网络中的目标编码器对该拼接后的特征图进行特征重建，以重建待处理图像的细尺度特征，从而得到高清晰度的目标图像。该目标图像的尺寸为第一尺寸。
本实施例中，将第一尺寸的待处理图像缩放到与第一特征图相同的尺寸，将第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图，通过第二编解码器对第二特征图进行特征重建，以对待处理图像的中间尺度特征进行重建，得到重建后的第一特征图；该第二编解码器中包含第二预设数量的成对编解码器，该第一编解码器为该第二预设数量的成对编解码器中的至少一对；该第一预设数量的成对编解码器中包含该第二预设数量的成对编解码器。将重建后的第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行拼接处理，以对待处理图像的细尺度特征进行重建，从而将低清晰度图像重建为高清晰度图像。
在一个实施例中，该将该第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图，包括：将第一特征图和相同尺寸的待处理图像在通道维度上进行并联处理，得到第二特征图。
其中，通道维度是指图像的通道数。例如RGB图像的通道数为3，黑白图像的通道数为1。
具体地，终端确定第一特征图的通道维度，并确定与第一特征图相同尺寸的待处理图像中的相同通道维度。接着，终端可将第一特征图和相同尺寸的待处理图像在相同的通道维度上进行拼接，得到第二特征图。
例如，第一特征图和相同尺寸的待处理图像均为RGB图像。RGB彩色图像的通道数为3，终端将第一特征图的R、G、B通道和相同尺寸的待处理图像的R、G、B通道进行并联，得到通道数为6的第二特征图。
本实施例中，将第一特征图和相同尺寸的待处理图像在通道维度上进行并联处理，能够将第一特征图的特征和待处理图像的特征关联起来，使得得到的第二特征图具备更多的特征信息，从而对待处理图像特征的重建更准确。
在一个实施例中，该通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，包括：
将第二尺寸的待处理图像输入第一编解码器的处理单元，得到输出特征图；将第一编解码器中的上一处理单元的输出特征图和该第二尺寸的待处理图像进行拼接处理，将拼接后的特征图作为下一处理单元的输入，直到该第一编解码器的最后一处理单元输出第一特征图。
具体地，一个编码器中包含至少两个处理单元，一个解码器中也包含至少两个处理单元。每个处理单元的内部结构相同。终端将第二尺寸的待处理图像输入第一编解码器，由第一编解码器中的第一处理单元对该第二尺寸的待处理图像进行特征提取，得到第一处理单元输出的输出特征图。该第一处理单元为第一编解码器中的第一个处理单元。接着，终端将该第一处理单元的输出特征图和该第一处理单元的输入特征图进行拼接处理，将拼接后的特征图输入第二处理单元，得到第二处理单元的输出特征图。
类似地，终端将第一编解码器中的上一处理单元的输出特征图和第一单元的输入特征图(即第二尺寸的待处理图像)进行拼接处理，将拼接后的特征图作为下一处理单元的输入，直到得到第一编解码器的最后一处理单元的输出特征图。该第一编解码器的最后一处理单元的输出特征图即为第一编解码器输出的第一特征图。
如图4所示，为一个实施例中编码器和解码器的内部结构。每个编码器和解码器中均包含多个处理单元，如M1，M2，M3和M4。从第二处理单元开始，将上一处理单元的输出特征图和第一单元的输入特征进行拼接处理，将拼接后的特征图作为下一处理单元的输入。例如，M1为第一编解码器中的编码器的第一处理单元，终端将第二尺寸的待处理图像输入第一处理单元，得到输出特征图。接着，从M2开始，将M1的输出特征图和M1的输入特征进行拼接处理，将拼接后的特征图作为M2的输入。将M2的输出特征图和M1的输入特征进行拼接处理，将拼接后的特征图作为M3的输入。将M3的输出特征图和M1的输入特征进行拼接处理，将拼接后的特征图作为M4的输入，得到M4输出的特征图。
本实施例中，将第二尺寸的待处理图像输入第一编解码器的处理单元，并将第一编解码器中的上一处理单元的输出特征图和该第二尺寸的待处理图像进行拼接处理，将拼接后的特征图作为下一处理单元的输入，使得能够将上一处理单元恢复的部分特征和原始图像的信息进行关联，使得下一处理单元更迅速地进行特征重建。并且在增加每个处理单元的有效特征信息的同时，减少了特征重建过程中计算量，避免了融合难度高的问题。
在一个实施例中，该通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，包括：
将该第二尺寸的待处理图像输入该第一编解码器的处理单元，得到输出特征图；将该第一编解码器中的上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合处理，将融合后的特征图作为下一处理单元的输入，直到该第一编解码器的最后一处理单元输出第一特征图。
其中，融合处理是指将两个特征图相加，例如，将两个特征图对应的权重矩阵相加。
具体地，终端将第二尺寸的待处理图像输入第一编解码器，由第一编解码器中的第一处理单元对该第二尺寸的待处理图像进行特征提取，得到第一处理单元输出的输出特征图。接着，终端将该第一处理单元的输出特征图和该第一处理单元的输入特征图进行融合处理，即将该第一处理单元的输出特征图和该第二尺寸的待处理图像进行融合处理，融合后的特征图输入第二处理单元，得到第二处理单元的输出特征图。
接着，终端将该第二处理单元的输出特征图和该第二处理单元的输入特征图进行融合处理，将融合处理后的特征图作为第二处理单元的下一处理单元的输入。
类似地，从该第一编解码器中的第二处理单元开始，终端将上一处理单元的输出特征图和上一处理单元的输入特征图进行融合处理，将融合后的特征图作为下一处理单元的输入，直到得到第一编解码器的最后一处理单元的输出特征图。该第一编解码器的最后一处理单元的输出特征图即为第一编解码器输出的第一特征图。
如图5所示，为一个实施例中编码器和解码器的内部连接结构。每个编码器和解码器中均包含多个处理单元，如M1，M2，M3和M4。从第二处理单元开始，将上一处理单元的输出特征图和该上一单元的输入特征进行拼接处理，将拼接后的特征图作为下一处理单元的输入。例如，M1为第一编解码器中的编码器的第一处理单元，终端将第二尺寸的待处理图像输入第一处理单元，得到输出特征图。接着，从M2开始，将M1的输出特征图和M1的输入特征进行拼接处理，将拼接后的特征图作为M2的输入。将M2的输出特征图和M2的输入特征进行拼接处理，将拼接后的特征图作为M3的输入。将M3的输出特征图和M3的输入特征进行拼接处理，将拼接后的特征图作为M4的输入，得到M4输出的特征图。将M4输出的特征图和M4的输入特征进行拼接处理。
本实施例中，将该第二尺寸的待处理图像输入该第一编解码器的处理单元，将该第一编解码器中的上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合处理，能够将上一处理单元恢复的部分特征和该处理单元未恢复的特征信息进行融合。将融合后的特征图作为下一处理单元的输入，使得下一处理单元能够根据更多的特征信息进行特征重建，直到该第一编解码器的最后一处理单元输出第一特征图。在增加每个处理单元的有效特征信息的同时，减少了特征重建过程中计算量，避免了融合难度高的问题。
本实施例中编解码器的各个处理单元之间采用引导连接的方式，该引导连接提供了两种跳跃连接方式，如图4和图5所示。第一种是将输入的第二尺寸的待处理图像连接到每一个中间处理单元中作为输入的一部分。第二种将每个处理单元的输入和输出连接起来。按照这两种处理方式，每个处理单元都能够保持基本相同的输入特征，并不会增加后面处理单元的特征提取难度。并且保持每个处理单元是逐步优化特征，而不会导致处理单元之间的特征偏离太多。
引导连接的公式可以表示为
其中，Li代表第i个处理单元；而
和mi和分别是第i个处理单元的输入和输出。其中，输入
在第一种方式中是指并联了前一个处理单元的输出和第二尺寸的待处理图像特征而得到的特征图。输入
在第二种方式中是指并联了前一个处理单元的输出和前一个处理单元的输入而得到的特征图。
在一个实施例中，如图6所示，该将第二尺寸的待处理图像输入该第一编解码器的处理单元，得到输出特征图，包括：
步骤602，将第二尺寸的待处理图像输入该第一编解码器中的处理单元的卷积层。
具体地，一个处理单元中包含至少两个卷积层。每个卷积层的尺寸可相同也可不相同。终端将第二尺寸的待处理图像输入第一编解码器中的第一处理单元，由第一编解码器中的第一处理单元中的第一卷积层对该第二尺寸的待处理图像进行特征提取，得到第一卷积层输出的输出特征图。该第一卷积层为第一编解码器中的第一处理单元的第一个卷积层。该第一处理单元的输入特征图即为第二尺寸的待处理图像。
接着，终端将该第一处理单元的第一卷积层的输出特征图和该第一卷积层所在的处理单元的输入特征图作为第二卷积层的输入；即将该第一处理单元中的第一卷积层的输出特征图和该第一处理单元的输入特征图(即第二尺寸的待处理图像)输入第二卷积层，得到第二卷积层的输出特征图。
类似地，从第一处理单元中的第二卷积层开始，终端将第一单元中的上一卷积层的输出特征图和第一单元的输入特征图(即第二尺寸的待处理图像)作为下一卷积层的输入，直到得到第一单元的最后一卷积层的输出特征图。
接着，终端得到第一编解码器中第一处理单元中的各个卷积层的输出特征图后，将第一处理单元中的各个卷积层的输出特征图进行拼接处理，得到该第一处理单元的输出特征图。
步骤604，将该第一编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图。
具体地，从第二处理单元开始，将上一处理单元的输出特征图和该第一处理单元的输入特征图进行拼接，作为下一处理单元的输入特征。或者，将上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合，作为下一处理单元的输入特征。
接着，对于第一编解码器中的第二处理单元中的各个卷积层，将上一卷积层的输出特征图和第二处理单元的输入特征图作为下一卷积层的输入。
类似地，从第一编解码器中的第二处理单元开始，对于各个处理单元中的各个卷积层，将处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为该处理单元中的下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图。
步骤606，将该处理单元的输入特征图和该处理单元中各卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图。
具体地，终端得到第一编解码器中的处理单元中的各个卷积层的输出特征图后，将该处理单元中的各个卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图。
本实施例中，将第二尺寸的待处理图像输入该第一编解码器中的处理单元的卷积层，将该第一编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图，将该处理单元的输入特征图和该处理单元中各卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图，使得能够通过多级的特征融合更好地区分图像细节内容和图像中的破坏特征，然后更进一步地重建图像的粗尺度的真实结构信息和纹理。
一个处理单元的内部结构如图7所示，多级的特征融合可以使神经网络更好地学习区分图像内容和图像被破坏的特征，然后更好地用来重建图像的真实结构信息和纹理。多级特征融合的公式如下：
其中fn-1和fn分别是上一个单元的输出和当前单元的输出，σ是指非线性激活函数；
是指第一个卷积层的偏移项；
是指第一个卷积层的权重项。
通过一个跳跃连接使得中间的卷积层来学习特征残差。第一层卷积处理上一个单元的输出得到
即通过3×3的第一层卷积对fn-1进行卷积处理，得到输出特征图，并通过激活层对输出特征图进行修正，得到
第二层卷积将第一层的的输出特征图
和上一个单元的输出特征图fn-1并联作为输入然后得到
第三层卷积将第二层的的输出特征图
和上一个单元的输出特征图fn-1并联作为输入然后得到
前三层经过3×3的卷积处理，并在每个卷积层之后通过激活层对输出特征图进行修正，得到各层的输出特征图。第四层卷积对前三层的输出特征图进行了特征融合，得到
将
和上一个单元的输出特征图fn-1进行融合处理，得到当前处理单元的输出特征图fn。
在一个实施例中，该通过第二编解码器对该第二特征图进行特征重建，得到重建后的第一特征图，包括：
将该第二特征图输入该第二编解码器的处理单元，得到输出特征图；将该第二编解码器中的上一处理单元的输出特征图和该第二特征图进行拼接处理，得到下一处理单元的输入，直到该第二编解码器的最后一处理单元输出重建后的第一特征图。
具体地，第二编解码器中一个编码器中包含至少两个处理单元，一个解码器中也包含至少两个处理单元。每个处理单元的内部结构相同。终端将第二特征图输入第二编解码器，由第二编解码器中的第一处理单元对该第二特征图进行特征提取，得到第一处理单元输出的输出特征图。该第一处理单元为第二编解码器中的第一个处理单元。接着，终端将该第一处理单元的输出特征图和该第一处理单元的输入特征图进行拼接处理，将拼接后的特征图输入第二处理单元，得到第二处理单元的输出特征图。
类似地，终端将第二编解码器中的上一处理单元的输出特征图和第一单元的输入特征图(即第二特征图)进行拼接处理，将拼接后的特征图作为下一处理单元的输入，直到得到第二编解码器的最后一处理单元的输出特征图。该第二编解码器的最后一处理单元的输出特征图即为第二编解码器输出的第一特征图。
本实施例中，将该第二特征图输入该第二编解码器的处理单元，得到输出特征图，将该第二编解码器中的上一处理单元的输出特征图和该第二特征图进行拼接处理，能够将上一处理单元恢复的部分特征和上一处理单元重建的特征图进行关联，使得下一处理单元更迅速地进行特征重建。将拼接后的特征图作为下一处理单元的输入，直到该第二编解码器的最后一处理单元输出重建后的第一特征图，从而重建了待处理图像的中间尺度的特征信息。
在一个实施例中，该通过第二编解码器对该第二特征图进行特征重建，得到重建后的第一特征图，包括：
将该第二特征图输入该第二编解码器的处理单元，得到输出特征图；将该第二编解码器中的上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合处理，得到下一处理单元的输入，直到该第二编解码器的最后一处理单元输出重建后的第一特征图。
具体地，终端将第二特征图输入第二编解码器，由第二编解码器中的第一处理单元对该第二特征图进行特征提取，得到第一处理单元输出的输出特征图。接着，终端将该第一处理单元的输出特征图和该第一处理单元的输入特征图进行融合处理，即将该第一处理单元的输出特征图和该第二特征图进行融合处理，融合后的特征图输入第二处理单元，得到第二处理单元的输出特征图。
接着，终端将该第二处理单元的输出特征图和该第二处理单元的输入特征图进行融合处理，将融合处理后的特征图作为第二处理单元的下一处理单元的输入。
类似地，从该第二编解码器中的第二处理单元开始，终端将上一处理单元的输出特征图和上一处理单元的输入特征图进行融合处理，将融合后的特征图作为下一处理单元的输入，直到得到第二编解码器的最后一处理单元的输出特征图。该第二编解码器的最后一处理单元的输出特征图即为第二编解码器输出的第一特征图。
本实施例中，将该第二特征图输入该第二编解码器的处理单元，并将同一个处理单元的输出特征和输入特征进行融合，能够减少计算量并且保证了特征之间的相关性，使得特征图中的各特征之间的差异更明显，以更好地对中间尺度的特征进行重建。
在一个实施例中，如图8所示，该将该第二特征图输入该第二编解码器的处理单元，得到输出特征图，包括：
步骤802，将该第二特征图输入该第二编解码器中的处理单元的卷积层，得到输出特征图。
具体地，终端将第二特征图输入第二编解码器中的第一处理单元，由第二编解码器中的第一处理单元中的第一卷积层对该第二尺寸的待处理图像进行特征提取，得到第一卷积层输出的输出特征图。该第一卷积层为第二编解码器中的第一处理单元的第一个卷积层。该第一处理单元的输入特征图即为第二尺寸的待处理图像。
接着，终端将该第一处理单元的第一卷积层的输出特征图和该第一卷积层所在的处理单元的输入特征图作为第二卷积层的输入；即将该第一处理单元中的第一卷积层的输出特征图和该第一处理单元的输入特征图(即第二尺寸的待处理图像)输入第二卷积层，得到第二编解码器中的第一处理单元的第二卷积层的输出特征图。
类似地，从第一处理单元中的第二卷积层开始，终端将第一单元中的上一卷积层的输出特征图和第一单元的输入特征图(即第二特征图)作为下一卷积层的输入，直到得到第一单元的最后一卷积层的输出特征图。
接着，终端得到第二编解码器中第一处理单元中的各个卷积层的输出特征图后，将第一处理单元中的各个卷积层的输出特征图进行拼接处理，得到该第一处理单元的输出特征图。
步骤804，将该第二编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该第二编解码器的该处理单元中的最后一卷积层的输出特征图。
具体地，从第二编解码器中的第二处理单元开始，将上一处理单元的输出特征图和该第一处理单元的输入特征图进行拼接，作为下一处理单元的输入特征。或者，将上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合，作为下一处理单元的输入特征。
接着，对于第二编解码器中的第二处理单元中的各个卷积层，将上一卷积层的输出特征图和第二处理单元的输入特征图作为下一卷积层的输入。
类似地，从第二编解码器中的第二处理单元开始，对于各个处理单元中的各个卷积层，将处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为该处理单元中的下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图。
步骤806，将该处理单元的输入特征图和第二编解码器的该处理单元中的各卷积层的输出特征图进行拼接处理，得到第二编解码器中的该处理单元的输出特征图。
具体地，终端得到第二编解码器中的处理单元中的各个卷积层的输出特征图后，将该处理单元中的各个卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图。
本实施例中，将第二特征图输入第二编解码器中的处理单元的卷积层，将第二编解码器的处理单元中的上一卷积层的输出特征图和处理单元的输入特征图作为下一卷积层的输入，直到得到第二编解码器的处理单元中的最后一卷积层的输出特征图，将处理单元的输入特征图和处理单元中的各卷积层的输出特征图进行拼接处理，得到第二编解码器中的处理单元的输出特征图，使得能够通过多级特征融合更好地区分图像细节内容和图像中的破坏特征，然后更进一步地重建图像的中间尺度的真实结构信息和纹理。
在一个实施例中，该将该处理单元的输入特征图和该处理单元中的各卷积层的输出特征图进行拼接处理，得到第二编解码器中的该处理单元的输出特征图，包括：
将该处理单元中的各卷积层的输出特征图进行拼接处理；将各卷积层的输出特征图拼接处理后的特征图和该处理单元的输入特征图进行融合处理，得到第二编解码器中的该处理单元的输出特征图。
具体地，终端得到第二编解码器中的处理单元中的各卷积层的输出特征图之后，可将各卷积层的输出特征图进行拼接处理。进一步地，终端可确定各卷积层的输出特征图对应的权重矩阵，将各卷积层的输出特征图对应的权重矩阵相加，得到拼接后的特征图。接着，终端将拼接后的特征图和该处理单元的输入特征图进行融合处理。该融合处理可以是将拼接后的特征图和该处理单元的输出特征图在通道维度上进行并联，从而得到该处理单元的输出特征图。
例如，终端得到第二编解码器中第一处理单元中的各卷积层的输出特征图之后，可将各卷积层的输出特征图进行拼接处理。接着，终端将拼接后的特征图和该第一处理单元的输入特征图进行融合处理，该第二编解码器中第一处理单元的输入为第二特征图，即将拼接后的特征图和该第二特征图进行融合处理，得到该第一处理单元的输出特征图。
对于第二编解码器中的第二处理单元，将第二处理单元中的各卷积层的输出特征图进行拼接处理。将拼接后的特征图和该第二处理单元的输入特征图进行融合处理，得到该第二处理单元的输出特征图。
本实施例中，将该处理单元中的各卷积层的输出特征图进行拼接处理，将各卷积层的输出特征图拼接处理后的特征图和该处理单元的输入特征图进行融合处理，得到第二编解码器中的该处理单元的输出特征图，从而能够对多级特征进行融合，使得能够根据更多的特征信息重建中间尺度的特征，也能够对细尺度特征的重建提供更多参考信息，减少细尺度特征重建的难度。
在一个实施例中，该第二预设数量的成对编解码器中包含第一编解码器和第三编解码器，该第三编解码器处于第一编解码器中的编码器和解码器之间；该第一预设数量的成对编解码器中包含第二编解码器和第四编解码器，该第四编解码器处于第二编解码器中的编码器和解码器之间。
具体地，第一网络中包含第一编解码器，第二网络中包含第二编解码器。第二编解码器中包含第二预设数量的成对编解码器，该第二预设数量的成对编解码器中除该第一编解码器以外的其余成对编解码器称为第三编解码器。第三编解码器处于该第一编解码器中的编码器和解码器之间，当第一网络输出的特征图和待处理图像拼接输入第二网络后，第二编码器中所包含的第一编码器的编码器对拼接图进行处理，然后将该编码器的输出作为下一个编码器的输出，直到第一编码器的最后一个编码器输出特征图。接着，第一编码器的最后一个编码器输出特征图作为第三编解码器中的第一个编码器的输入，得到第三编解码器中的最后一个编码器的输出。该第三编解码器中的最后一个编码器的输出作为第三编解码器中的对应的解码器的输入，得到第三编解码器中的最后一个解码器的输出。第三编解码器中的最后一个解码器的输出作为第一编解码器中的对应的解码器的输入，从而得到第一编解码器中的最后一个解码器的输出特征图，即得到第二网络重建后的第一特征图。
接着，第三网络中包含目标编解码器，该目标编解码器中包含第一预设数量的成对编解码器。该第一预设数量的成对编解码器中除该第二编解码器以外的其余成对编解码器称为第四编解码器。第四编解码器处于该第二编解码器的编码器和解码器之间。将第二网络输出的特征图放大到第一尺寸，并和第一尺寸的待处理图像拼接输入第三网络后，第三网络中的处理方式与第二网络中的处理方式原理相同，从而得到第三网络输出的目标图像。
本实施例中，通过三个网络中依次增加编解码器的数量以分别对待处理图像的粗尺度特征、中间尺度特征和细尺度特征进行重建，能够从明显特征的重建一步步深入到细节特征的重建，使得重建的特征更准确，从而得到清晰的图像，实现图像的去模糊去噪处理。
如图9(a)所示，为一个实施例中图像处理方法的网络结构图。图9(a)中的图像处理方法存在三个网络，第一网络为粗尺度特征重建网络，第二网络为中间尺度特征重建网络，第三网络为细尺度特征重建网咯。每个尺度的网络都是一个编解码网络，但是每个网络中由不同数量的成对编码器/解码器组成。对于粗尺度来说，待处理图像的原始尺寸被缩小到1/4尺寸来处理，而粗尺度的网络由一对编码器E1/解码器D1构成。
其中x1和y1分别是第一网络的输入图像(即1/4尺寸待处理图像)和第一网络的输出特征图。接下来第一网络的输出特征图y1被放大两倍，得到待处理图像的原始尺寸的1/2尺寸的特征图(即第一特征图)，再将待处理图像缩小到原始尺寸的1/2，将1/2尺寸的x2和1/2尺寸的特征图在通道维度上并联之后作为第二网络的输入
(即第二特征图)。
对于第二网络，因为恢复难度的增加，第二网络设计了两对编码器/解码器来进行中间尺度的恢复。其中，编码器E2/解码器D2被放入编码器E1/解码器D1中间，目的是处理中间尺度更复杂的特征提取和重建。中间尺度处理之后得到结果y2(即重建后的第一特征图)。
同理，在第三网络中，编码器E3/解码器D3被放入编码器E2/解码器D2中间，从而得到细尺度的网络结构。细尺度的输入
是由中间尺度的结果y2被放大两倍再与原始尺寸的待处理图像x3在通道维度上并联之后得到。细尺度处理之后得到目标图像y3。
该图像处理的整个结构由三个网络组成，分别处理粗、中、细尺度的图像。通过N个配对的破坏/清晰图像组来训练该整个网络。可通过以下目标函数进行训练：
其中
和
分别是在尺度i下破坏图像和清晰图像；θi是尺度i的子网络参数。Ti是尺度i下图像的像素个数，这里是用来归一化。L是优化的目标函数；N是图像配对的数量；S是图像的尺度数量；k是指图像的编号。
如图9(b)所示，为一个实施例中图像处理方法的网络结构图。图9(b)中的图像处理方法存在三个网络，第一网络为粗尺度特征重建网络，包含成对的编码器E1和解码器D1。第二网络为中间尺度特征重建网络，包含成对的编码器E1和解码器D1，成对的编码器E2和解码器D2。第三网络为细尺度特征重建网络，包含成对的编码器E1和解码器D1、成对的编码器E2和解码器D2，以及成对的编码器E3和解码器D3。
如图9(b)所示，编码器E1、编码器E2和编码器E3的内部结构相同，均包含处理单元M1、M2、M3和M4。解码器D1、解码器D2和解码器D3的内部结构相同，均包含处理单元M1、M2、M3和M4。
第一网络中，待处理图像x1输入编码器E1中的处理单元M1，得到M1的输出特征图。接着，从M2开始，将M1的输出特征图和M1的输入特征进行拼接处理，将拼接后的特征图作为M2的输入。将M2的输出特征图和M2的输入特征进行拼接处理，将拼接后的特征图作为M3的输入。将M3的输出特征图和M3的输入特征进行拼接处理，将拼接后的特征图作为M4的输入，得到M4输出的特征图。将M4输出的特征图和M4的输入特征进行拼接处理，得到编码器E1输出的特征图。
接着，将编码器E1输出的特征图输入解码器D1中的处理单元M1，得到M1的输出特征图。接着，从解码器D1中的处理单元M2开始，将M1的输出特征图和M1的输入特征进行拼接处理，将拼接后的特征图作为M2的输入。将M2的输出特征图和M2的输入特征进行拼接处理，将拼接后的特征图作为M3的输入。将M3的输出特征图和M3的输入特征进行拼接处理，将拼接后的特征图作为M4的输入，得到M4输出的特征图。将M4输出的特征图和M4的输入特征进行拼接处理，得到解码器D1输出的特征图y1。
编码器中的各处理单元和解码器中的各处理单元的内部结构相同，均如图9(b)中所示的处理单元M1的结构。
fn-1是上一个单元的输出特征图。对于第一网络中的编码器E1的第一个处理单元M1而言，fn-1为即为待处理图像x1。待处理图像x1输入编码器E1的第一个处理单元M1中，处理单元M1中通过3×3的第一层卷积对fn-1进行卷积处理，得到输出特征图，并通过激活层对输出特征图进行修正，得到
该处理过程与上述图4中的处理过程相同，在此不再赘述。
本实施例中通过三个网络，分别重建待处理图像的粗、中、细尺度特征，从而得到清晰的目标图像，如图9(b)中所示的目标图像y3。
如图10(a)所示，为本实施例中的图像处理方法和传统的多种图像处理方法在去模糊方面的处理结果。图中的第一列为待处理图像，第二列、第三列和第四列为传统的图像处理方法对待处理图像进行特征重建后得到的目标图像。最后一列为本实施例中的图像处理方法对待处理图像进行特征重建后得到的目标图像。从图10(a)中可看出，最后一列的目标图像相对于第二列、第三列和第四列的目标图像更为清晰。也就是说，本实施例中的图像处理方法在图像去模糊方面的效果比传统的处理方式的效果更好。
如图10(b)所示，为本实施例中的图像处理方法和传统的多种图像处理方法在去噪声方面的处理结果。图中的第一列为待处理图像，第二列、第三列和第四列为传统的图像处理方法对待处理图像进行特征重建后得到的目标图像。最后一列为本实施例中的图像处理方法对待处理图像进行特征重建后得到的目标图像。从图10(b)中可看出，最后一列的目标图像相对于第二列、第三列和第四列的目标图像更为清晰。也就是说，本实施例中的图像处理方法在图像去噪声方面的效果比传统的处理方式的效果更好。
在一个实施例中，如图11所示，该图像处理方法应用于视频处理；该待处理图像为待处理视频中的每帧待处理图像；
该获取待处理图像，将该待处理图像从第一尺寸缩放到第二尺寸，包括：
步骤1102，获取待处理视频中的每帧待处理图像，将该每帧待处理图像从第一尺寸缩放到第二尺寸。
其中，待处理视频为清晰度低的视频，例如存在模糊的视频或存在噪点的视频。
具体地，图像越小，图像的粗尺度特征越明显；图像越大，图像的细节特征越明显，即细尺度特征越明显。把待处理视频中的每帧模糊图像缩放到较小尺寸时，图像显示的细节特征较少，更多的是显示粗尺度的特征，则图像的模糊程度会明显减小。在这种情况下，对小尺寸的模糊图像的特征重建的难度会比原始尺寸的难度低。则终端可获取待处理视频中的各帧待处理图像，将所获取的各帧待处理图像的尺寸作为第一尺寸。接着，终端将该各帧待处理图像从第一尺寸缩放到第二尺寸，使得图像显示出粗尺度特征，以先对待处理视频中粗尺度特征中存在的模糊区域进行重建。
该通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，包括：
步骤1104，通过第一编解码器对每帧第二尺寸的待处理图像进行特征重建，得到该每帧待处理图像对应的第一特征图。
具体地，终端可将各帧第二尺寸的待处理图像输入第一网络，该第一网络为重建图像的粗尺度特征的网络。该第一网络中包含第一编解码器，第一编解码器的数量可根据需求设置。第一网络中的第一编解码器中的编码器对各帧第二尺寸的待处理图像进行特征提取，编码器将所提取的各帧特征图输入该编码器对应的解码器进行解码，得到该解码器输出的各帧特征图。该解码器输出的各帧特征图即为各帧待处理图像对应的第一特征图。
在本实施例中，当该第一编解码器中存在至少两对编解码器时，通过第一个编码器对各帧第二尺寸的待处理图像进行编码，并通过下一个编码器对上一个编码器输出的各帧特征图进行编码，直到得到第一编解码器中的最后一个编码器输出的各帧特征图。接着，最后一个编码器输出的各帧特征图输入解码器中，通过解码器对各帧特征图进行解码，得到最后一个解码器输出的各帧特征图。该最后一个解码器输出的各帧特征图即为各帧待处理图像对应的第一特征图。
该将该第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，包括：
步骤1106，将各第一特征图放大第一尺寸，将该每帧第一尺寸的待处理图像和对应的第一尺寸的第一特征图进行拼接处理，得到该每帧待处理图像对应的拼接特征图。
具体地，得到各帧第一特征图之后，终端可将该各帧第一特征图放大到与各自对应的待处理图像相同的第一尺寸，以先对细尺度特征中存在的模糊区域进行重建。接着，终端将各帧第一尺寸的待处理图像和对应的第一尺寸的各帧第一特征图进行拼接处理。
在本实施例中，终端可确定各帧第一尺寸的待处理图像分别对应的矩阵，以及各帧第一尺寸的第一特征图分别对应的矩阵，将第一尺寸的待处理图像的矩阵和对应的第一尺寸的第一特征图对应的矩阵进行拼接，得到该每帧待处理图像对应的拼接特征图。
在本实施例中，终端可确定各帧第一尺寸的待处理图像的通道维度和各自对应的第一尺寸的第一特征图的通道维度，按照通道维度将各帧第一尺寸的待处理图像和各自对应的第一尺寸的第一特征图进行并联，得到该每帧待处理图像对应的拼接特征图。
该通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标图像的清晰度高于该待处理图像的清晰度，包括：
步骤1108，通过目标编解码器对该每帧待处理图像对应的拼接特征图进行特征重建，得到该每帧待处理图像对应的目标图像。
具体地，终端可将该每帧待处理图像对应的拼接特征图输入目标网络，该目标网络为重建图像的细尺度特征的网络。该目标网络中包含目标编解码器，该目标编解码器中包含了第一编解码器，该目标编解码器的数量可根据需求设置。目标网络中的目标编解码器中的第一个编码器对该每帧待处理图像对应的拼接特征图进行特征提取，并将上一编码器输出的各帧特征图作为下一编码器的输入，直到得到目标编解码器中的最后一个编码器输出的各帧特征图。接着，最后一个编码器输出的各帧特征图输入对应的解码器中，通过解码器对各帧特征图进行解码。将上一解码器输出的各帧特征图作为下一解码器的输入，得到目标编解码器中的最后一个解码器输出每帧待处理图像对应的各帧目标图像。该各帧目标图像的尺寸为第一尺寸。
步骤1110，根据每帧目标图像生成目标视频，该目标视频的清晰度高于该待处理视频的清晰度。
具体地，终端可按照各帧待处理图像在该待处理视频中的时间点将每帧目标图像生成目标视频，得到的目标视频的清晰度高于该待处理视频的清晰度。
本实施例中，将图像处理方法应用于视频处理，待处理图像为待处理视频中的每帧待处理图像。通过获取待处理视频中的每帧待处理图像，将每帧待处理图像从第一尺寸缩放到第二尺寸；通过第一编解码器对每帧第二尺寸的待处理图像进行特征重建，得到每帧待处理图像对应的第一特征图；将各第一特征图放大到与对应的待处理图像相同的第一尺寸，将每帧第一尺寸的待处理图像和对应的第一尺寸的第一特征图进行拼接处理，得到每帧待处理图像对应的拼接特征图；通过目标编解码器对每帧待处理图像对应的拼接特征图进行特征重建，得到每帧待处理图像对应的目标图像，将该图像处理方法应用于视频处理，可实现同时对多张模糊或存在噪点的图像进行特征重建，能够提高图像特征重建的效率。根据每帧目标图像生成目标视频，从而能够将低清晰度的视频重建为高清晰度的视频。
在一个实施例中，提供了一种图像处理方法，包括：
终端获取待处理图像，将待处理图像从第一尺寸缩放到第二尺寸。
接着，终端将第二尺寸的待处理图像输入第一编解码器中的处理单元的卷积层。
接着，终端将第一编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图。
进一步地，终端将该处理单元的输入特征图和该处理单元中各卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图。
接着，终端将第一编解码器中的上一处理单元的输出特征图和第二尺寸的待处理图像进行拼接处理，将拼接后的特征图作为下一处理单元的输入，直到第一编解码器的最后一处理单元输出第一特征图。
接着，终端将第一尺寸的待处理图像缩放到与第一特征图相同的尺寸，将第一特征图和相同尺寸的待处理图像在通道维度上进行并联处理，得到第二特征图。
进一步地，终端将第二特征图输入第二编解码器中的处理单元的卷积层，得到输出特征图；该第二编解码器中包含第二预设数量的成对编解码器，该第一编解码器为该第二预设数量的成对编解码器中的至少一对。
接着，终端将第二编解码器的处理单元中的上一卷积层的输出特征图和处理单元的输入特征图作为下一卷积层的输入，直到得到第二编解码器的处理单元中的最后一卷积层的输出特征图。
进一步地，终端将处理单元中的各卷积层的输出特征图进行拼接处理；将各卷积层的输出特征图拼接处理后的特征图和处理单元的输入特征图进行融合处理，得到第二编解码器中的处理单元的输出特征图。将第二编解码器中的上一处理单元的输出特征图和第二特征图进行拼接处理，得到下一处理单元的输入，直到第二编解码器的最后一处理单元输出重建后的第一特征图。
接着，终端将重建后的第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行拼接处理。
进一步地，终端通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，目标图像的清晰度高于待处理图像的清晰度，该目标编解码器中包含第一预设数量的成对编解码器，该第一预设数量的成对编解码器中包含该第二预设数量的成对编解码器。
本实施中，通过对待处理图像的粗尺度特征的重建、中间尺度特征的重建以及细尺度特征的重建，并结合多级的特征融合更好地区分图像细节内容和图像中的破坏特征，然后更进一步地重建图像的真实结构信息和纹理，从而能够将低清晰度的待处理图像重建为高清晰度的目标图像。
图2-图11为一个实施例中图像处理方法的流程示意图。应该理解的是，虽然图2-图11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图11中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种图像处理装置，该装置包括：获取模块1202、第一重建模块1204、拼接模块1206和目标重建模块1208。其中，
获取模块1202，用于获取待处理图像，将该待处理图像从第一尺寸缩放到第二尺寸。
第一重建模块1204，用于通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图。
拼接模块1206，用于将该第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理。
目标重建模块1208，用于通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标图像的清晰度高于该待处理图像的清晰度；该目标编解码器中包含第一预设数量的成对编解码器，该第一编解码器为该第一预设数量的成对编解码器中的至少一对。
上述图像处理装置，获取待处理图像，将待处理图像从第一尺寸缩放到第二尺寸，通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，从而可以完成待处理图像的粗尺度特征的重建。将第一特征图放大到与待处理图像相同的第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，以对待处理图像的细尺度特征进行重建。通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标编解码器中包含第一预设数量的成对编解码器，该第一编解码器为该第一预设数量的成对编解码器中的至少一对，从而将低清晰度的待处理图像重建为高清晰度的目标图像。通过对待处理图像的粗尺度特征和细尺度特征进行重建，能够将模糊的、存在噪点的待处理图像重建为清晰图像。
在一个实施例中，该装置还包括：第二重建模块。该第二重建模块包括：将第一尺寸的待处理图像缩放到与该第一特征图相同的尺寸，将该第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图；通过第二编解码器对该第二特征图进行特征重建，得到重建后的第一特征图；该第二编解码器中包含第二预设数量的成对编解码器，该第一编解码器为该第二预设数量的成对编解码器中的至少一对；该第一预设数量的成对编解码器中包含该第二预设数量的成对编解码器。将该重建后的第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行拼接处理。
本实施例中，将第一尺寸的待处理图像缩放到与第一特征图相同的尺寸，将第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图，通过第二编解码器对第二特征图进行特征重建，以对待处理图像的中间尺度特征进行重建，得到重建后的第一特征图。将重建后的第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行拼接处理，以对待处理图像的细尺度特征进行重建，从而将低清晰度图像重建为高清晰度图像。
在一个实施例中，该第二重建模块还用于：将该第一特征图和相同尺寸的待处理图像在通道维度上进行并联处理，得到第二特征图。
本实施例中，将第一特征图和相同尺寸的待处理图像在通道维度上进行并联处理，能够将第一特征图的特征和待处理图像的特征关联起来，使得得到的第二特征图具备更多的特征信息，从而对待处理图像特征的重建更准确。
在一个实施例中，该第一重建模块1204还用于：将第二尺寸的待处理图像输入该第一编解码器的处理单元，得到输出特征图；将该第一编解码器中的上一处理单元的输出特征图和该第二尺寸的待处理图像进行拼接处理，将拼接后的特征图作为下一处理单元的输入，直到该第一编解码器的最后一处理单元输出第一特征图。
本实施例中，将第二尺寸的待处理图像输入第一编解码器的处理单元，并将第一编解码器中的上一处理单元的输出特征图和该第二尺寸的待处理图像进行拼接处理，将拼接后的特征图作为下一处理单元的输入，使得能够将上一处理单元恢复的部分特征和原始图像的信息进行关联，使得下一处理单元更迅速地进行特征重建。并且在增加每个处理单元的有效特征信息的同时，减少了特征重建过程中计算量，避免了融合难度高的问题。
在一个实施例中，该第一重建模块1204还用于：将该第二尺寸的待处理图像输入该第一编解码器的处理单元，得到输出特征图；将该第一编解码器中的上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合处理，将融合后的特征图作为下一处理单元的输入，直到该第一编解码器的最后一处理单元输出第一特征图。
本实施例中，将该第二尺寸的待处理图像输入该第一编解码器的处理单元，将该第一编解码器中的上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合处理，能够将上一处理单元恢复的部分特征和该处理单元未恢复的特征信息进行融合。将融合后的特征图作为下一处理单元的输入，使得下一处理单元能够根据更多的特征信息进行特征重建，直到该第一编解码器的最后一处理单元输出第一特征图。在增加每个处理单元的有效特征信息的同时，减少了特征重建过程中计算量，避免了融合难度高的问题。
在一个实施例中，该第一重建模块1204还用于：将该第二尺寸的待处理图像输入该第一编解码器中的处理单元的卷积层；将该第一编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图；将该处理单元的输入特征图和该处理单元中各卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图。
本实施例中，将第二尺寸的待处理图像输入该第一编解码器中的处理单元的卷积层，将该第一编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该处理单元中的最后一卷积层的输出特征图，将该处理单元的输入特征图和该处理单元中各卷积层的输出特征图进行拼接处理，得到该处理单元的输出特征图，使得能够通过多级的特征融合更好地区分图像细节内容和图像中的破坏特征，然后更进一步地重建图像的粗尺度的真实结构信息和纹理。
在一个实施例中，该第二重建模块还用于：将该第二特征图输入该第二编解码器的处理单元，得到输出特征图；将该第二编解码器中的上一处理单元的输出特征图和该第二特征图进行拼接处理，得到下一处理单元的输入，直到该第二编解码器的最后一处理单元输出重建后的第一特征图。
本实施例中，将该第二特征图输入该第二编解码器的处理单元，得到输出特征图，将该第二编解码器中的上一处理单元的输出特征图和该第二特征图进行拼接处理，能够将上一处理单元恢复的部分特征和上一处理单元重建的特征图进行关联，使得下一处理单元更迅速地进行特征重建。将拼接后的特征图作为下一处理单元的输入，直到该第二编解码器的最后一处理单元输出重建后的第一特征图，从而重建了待处理图像的中间尺度的特征信息。
在一个实施例中，该第二重建模块还用于：将该第二特征图输入该第二编解码器的处理单元，得到输出特征图；将该第二编解码器中的上一处理单元的输出特征图和该上一处理单元的输入特征图进行融合处理，得到下一处理单元的输入，直到该第二编解码器的最后一处理单元输出重建后的第一特征图。
本实施例中，将该第二特征图输入该第二编解码器的处理单元，并将同一个处理单元的输出特征和输入特征进行融合，能够减少计算量并且保证了特征之间的相关性，使得特征图中的各特征之间的差异更明显，以更好地对中间尺度的特征进行重建。
在一个实施例中，该第二重建模块还用于：将该第二特征图输入该第二编解码器中的处理单元的卷积层，得到输出特征图；将该第二编解码器的处理单元中的上一卷积层的输出特征图和该处理单元的输入特征图作为下一卷积层的输入，直到得到该第二编解码器的该处理单元中的最后一卷积层的输出特征图；将该处理单元的输入特征图和该处理单元中的各卷积层的输出特征图进行拼接处理，得到该第二编解码器中的该处理单元的输出特征图。
本实施例中，将第二特征图输入第二编解码器中的处理单元的卷积层，将第二编解码器的处理单元中的上一卷积层的输出特征图和处理单元的输入特征图作为下一卷积层的输入，直到得到第二编解码器的处理单元中的最后一卷积层的输出特征图，将处理单元的输入特征图和处理单元中的各卷积层的输出特征图进行拼接处理，得到第二编解码器中的处理单元的输出特征图，使得能够通过多级特征融合更好地区分图像细节内容和图像中的破坏特征，然后更进一步地重建图像的中间尺度的真实结构信息和纹理。
在一个实施例中，该第二重建模块还用于：将该第二编解码器的处理单元中的各卷积层的输出特征图进行拼接处理；将该各卷积层的输出特征图拼接处理后的特征图和该第二特征图进行融合处理，得到该第二编解码器中的处理单元的输出特征图。
本实施例中，将该处理单元中的各卷积层的输出特征图进行拼接处理，将各卷积层的输出特征图拼接处理后的特征图和该处理单元的输入特征图进行融合处理，得到第二编解码器中的该处理单元的输出特征图，从而能够对多级特征进行融合，使得能够根据更多的特征信息重建中间尺度的特征，也能够对细尺度特征的重建提供更多参考信息，减少细尺度特征重建的难度。
在一个实施例中，该该装置中的第二预设数量的成对编解码器中包含该第一编解码器和第三编解码器，第三编解码器处于第一编解码器中的编码器和解码器之间；该第一预设数量的成对编解码器中包含第二编解码器和第四编解码器，该第四编解码器处于第二编解码器中的编码器和解码器之间。
本实施例中，通过依次增加编解码器的数量以分别对待处理图像的粗尺度特征、中间尺度特征和细尺度特征进行重建，能够从明显特征的重建一步步深入到细节特征的重建，使得重建的特征更准确，从而得到清晰的图像，实现图像的去模糊去噪处理。
在一个实施例中，该获取模块1202还用于：获取待处理视频中的每帧待处理图像，将该每帧待处理图像从第一尺寸缩放到第二尺寸。
第一重建模块1204还用于：通过第一编解码器对每帧第二尺寸的待处理图像进行特征重建，得到该每帧待处理图像对应的第一特征图；
该拼接模块1206还用于：将各第一特征图放大到第一尺寸，将每帧第一尺寸的待处理图像和对应的第一尺寸的第一特征图进行拼接处理，得到该每帧待处理图像对应的拼接特征图；
该目标重建模块1208还用于：通过目标编解码器对该每帧待处理图像对应的拼接特征图进行特征重建，得到该每帧待处理图像对应的目标图像；根据每帧目标图像生成目标视频，该目标视频的清晰度高于该待处理视频的清晰度。
本实施例中，将图像处理方法应用于视频处理，待处理图像为待处理视频中的每帧待处理图像。通过获取待处理视频中的每帧待处理图像，将每帧待处理图像从第一尺寸缩放到第二尺寸；通过第一编解码器对每帧第二尺寸的待处理图像进行特征重建，得到每帧待处理图像对应的第一特征图；将各第一特征图放大到与对应的待处理图像相同的第一尺寸，将每帧第一尺寸的待处理图像和对应的第一尺寸的第一特征图进行拼接处理，得到每帧待处理图像对应的拼接特征图；通过目标编解码器对每帧待处理图像对应的拼接特征图进行特征重建，得到每帧待处理图像对应的目标图像，将该图像处理方法应用于视频处理，可实现同时对多张模糊或存在噪点的图像进行特征重建，能够提高图像特征重建的效率。根据每帧目标图像生成目标视频，从而能够将低清晰度的视频重建为高清晰度的视频。
图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图13所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图12所示的获取模块1202、第一重建模块1204、拼接模块1206和目标重建模块1208。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图13所示的计算机设备可以通过如图12所示的图像处理装置中的获取模块1202执行获取待处理图像，将该待处理图像从第一尺寸缩放到第二尺寸的步骤。计算机设备可通过第一重建模块1204执行通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图的步骤。计算机设备可通过拼接模块1206执行将该第一特征图放大到第一尺寸，将该第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理的步骤。计算机设备可通过目标重建模块1208执行通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，该目标图像的清晰度高于该待处理图像的清晰度；目标编解码器中包含第一预设数量的成对编解码器，第一编解码器为该第一预设数量的成对编解码器中的至少一对的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像处理方法，包括：
获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；
通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；
将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；
通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。
2.根据权利要求1所述的方法，其特征在于，在所述将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理之前，还包括：
将第一尺寸的待处理图像缩放到与所述第一特征图相同的尺寸，将所述第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图；
通过第二编解码器对所述第二特征图进行特征重建，得到重建后的第一特征图；所述第二编解码器中包含第二预设数量的成对编解码器，所述第一编解码器为所述第二预设数量的成对编解码器中的至少一对；所述第一预设数量的成对编解码器中包含所述第二预设数量的成对编解码器；
所述将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，包括：
将所述重建后的第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的重建后的第一特征图进行拼接处理。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一特征图和相同尺寸的待处理图像进行拼接处理，得到第二特征图，包括：
将所述第一特征图和相同尺寸的待处理图像在通道维度上进行并联处理，得到第二特征图。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，包括：
将第二尺寸的待处理图像输入所述第一编解码器的处理单元，得到输出特征图；
将所述第一编解码器中的上一处理单元的输出特征图和所述第二尺寸的待处理图像进行拼接处理，将拼接后的特征图作为下一处理单元的输入，直到所述第一编解码器的最后一处理单元输出第一特征图。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，包括：
将第二尺寸的待处理图像输入所述第一编解码器的处理单元，得到输出特征图；
将所述第一编解码器中的上一处理单元的输出特征图和所述上一处理单元的输入特征图进行融合处理，将融合后的特征图作为下一处理单元的输入，直到所述第一编解码器的最后一处理单元输出第一特征图。
6.根据权利要求5所述的方法，其特征在于，所述将第二尺寸的待处理图像输入所述第一编解码器的处理单元，得到输出特征图，包括：
将第二尺寸的待处理图像输入所述第一编解码器中的处理单元的卷积层；
将所述第一编解码器的处理单元中的上一卷积层的输出特征图和所述处理单元的输入特征图作为下一卷积层的输入，直到得到所述处理单元中的最后一卷积层的输出特征图；
将所述处理单元的输入特征图和所述处理单元中各卷积层的输出特征图进行拼接处理，得到所述处理单元的输出特征图。
7.根据权利要求2所述的方法，其特征在于，所述通过第二编解码器对所述第二特征图进行特征重建，得到重建后的第一特征图，包括：
将所述第二特征图输入所述第二编解码器的处理单元，得到输出特征图；
将所述第二编解码器中的上一处理单元的输出特征图和所述第二特征图进行拼接处理，得到下一处理单元的输入，直到所述第二编解码器的最后一处理单元输出重建后的第一特征图。
8.根据权利要求2所述的方法，其特征在于，所述通过第二编解码器对所述第二特征图进行特征重建，得到重建后的第一特征图，包括：
将所述第二特征图输入所述第二编解码器的处理单元，得到输出特征图；
将所述第二编解码器中的上一处理单元的输出特征图和所述上一处理单元的输入特征图进行融合处理，得到下一处理单元的输入，直到所述第二编解码器的最后一处理单元输出重建后的第一特征图。
9.根据权利要求7或8所述的方法，其特征在于，所述将所述第二特征图输入所述第二编解码器的处理单元，得到输出特征图，包括：
将所述第二特征图输入所述第二编解码器中的处理单元的卷积层，得到输出特征图；
将所述第二编解码器的处理单元中的上一卷积层的输出特征图和所述处理单元的输入特征图作为下一卷积层的输入，直到得到所述第二编解码器的所述处理单元中的最后一卷积层的输出特征图；
将所述处理单元的输入特征图和所述处理单元中的各卷积层的输出特征图进行拼接处理，得到所述第二编解码器中的所述处理单元的输出特征图。
10.根据权利要求9所述的方法，其特征在于，所述将所述处理单元的输入特征图和所述处理单元中的各卷积层的输出特征图进行拼接处理，得到所述第二编解码器中的所述处理单元的输出特征图，包括：
将所述处理单元中的各卷积层的输出特征图进行拼接处理；
将所述各卷积层的输出特征图拼接处理后的特征图和所述处理单元的输入特征图进行融合处理，得到所述第二编解码器中的所述处理单元的输出特征图。
11.根据权利要求2所述的方法，其特征在于，所述第二预设数量的成对编解码器中包含所述第一编解码器和第三编解码器，所述第三编解码器处于所述第一编解码器中的编码器和解码器之间；所述第一预设数量的成对编解码器中包含所述第二编解码器和第四编解码器，所述第四编解码器处于所述第二编解码器中的编码器和解码器之间。
12.根据权利要求1所述的方法，其特征在于，所述图像处理方法应用于视频处理；所述待处理图像为待处理视频中的每帧待处理图像；
所述获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸，包括：
获取待处理视频中的每帧待处理图像，将所述每帧待处理图像从第一尺寸缩放到第二尺寸；
所述通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图，包括：
通过第一编解码器对每帧第二尺寸的待处理图像进行特征重建，得到所述每帧待处理图像对应的第一特征图；
所述将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理，包括：
将各第一特征图放大到第一尺寸，将每帧第一尺寸的待处理图像和对应的第一尺寸的第一特征图进行拼接处理，得到所述每帧待处理图像对应的拼接特征图；
所述通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度，包括：
通过目标编解码器对所述每帧待处理图像对应的拼接特征图进行特征重建，得到所述每帧待处理图像对应的目标图像；
根据每帧目标图像生成目标视频，所述目标视频的清晰度高于所述待处理视频的清晰度。
13.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像，将所述待处理图像从第一尺寸缩放到第二尺寸；
第一重建模块，用于通过第一编解码器对第二尺寸的待处理图像进行特征重建，得到第一特征图；
拼接模块，用于将所述第一特征图放大到第一尺寸，将第一尺寸的待处理图像和第一尺寸的第一特征图进行拼接处理；
目标重建模块，用于通过目标编解码器对拼接后的特征图进行特征重建，得到目标图像，所述目标图像的清晰度高于所述待处理图像的清晰度；所述目标编解码器中包含第一预设数量的成对编解码器，所述第一编解码器为所述第一预设数量的成对编解码器中的至少一对。
14.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010082474.0A CN111340694B (zh) | 2020-02-07 | 2020-02-07 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| PCT/CN2020/122160 WO2021155675A1 (zh) | 2020-02-07 | 2020-10-20 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| US17/727,042 US20220253974A1 (en) | 2020-02-07 | 2022-04-22 | Image processing method and apparatus, computer readable storage medium, and computer device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010082474.0A CN111340694B (zh) | 2020-02-07 | 2020-02-07 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340694A true CN111340694A (zh) | 2020-06-26 |
| CN111340694B CN111340694B (zh) | 2023-10-27 |
Family
ID=71183447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010082474.0A Active CN111340694B (zh) | 2020-02-07 | 2020-02-07 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220253974A1 (zh) |
| CN (1) | CN111340694B (zh) |
| WO (1) | WO2021155675A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286353A (zh) * | 2020-10-28 | 2021-01-29 | 上海盈赞通信科技有限公司 | 一种vr眼镜的通用型图像处理方法及装置 |
| CN112990171A (zh) * | 2021-05-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| WO2021155675A1 (zh) * | 2020-02-07 | 2021-08-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111294512A (zh) * | 2020-02-10 | 2020-06-16 | 深圳市铂岩科技有限公司 | 图像处理方法、装置、存储介质及摄像装置 |
| CN116468812A (zh) * | 2023-05-16 | 2023-07-21 | 山东省计算中心（国家超级计算济南中心） | 一种基于多分支和多尺度的图像压缩感知重构方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108510560A (zh) * | 2018-04-11 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| CN108629743A (zh) * | 2018-04-04 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| CN109254766A (zh) * | 2018-07-25 | 2019-01-22 | 中建八局第建设有限公司 | 基于移动端的可视化编程平台及二维图纸三维可视化方法 |
| CN110276267A (zh) * | 2019-05-28 | 2019-09-24 | 江苏金海星导航科技有限公司 | 基于Spatial-LargeFOV深度学习网络的车道线检测方法 |
| US20190304113A1 (en) * | 2018-03-29 | 2019-10-03 | Beijing Kuangshi Technology Co., Ltd. | Image processing method, image processing apparatus and computer readable storage medium |
| CN110544213A (zh) * | 2019-08-06 | 2019-12-06 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| CN110580704A (zh) * | 2019-07-24 | 2019-12-17 | 中国科学院计算技术研究所 | 基于卷积神经网络的et细胞图像自动分割方法及系统 |
| WO2020010979A1 (zh) * | 2018-07-10 | 2020-01-16 | 腾讯科技（深圳）有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN110738605A (zh) * | 2019-08-30 | 2020-01-31 | 山东大学 | 基于迁移学习的图像去噪方法、系统、设备及介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011237997A (ja) * | 2010-05-10 | 2011-11-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| CN102915527A (zh) * | 2012-10-15 | 2013-02-06 | 中山大学 | 基于形态学成分分析的人脸图像超分辨率重建方法 |
| US9779491B2 (en) * | 2014-08-15 | 2017-10-03 | Nikon Corporation | Algorithm and device for image processing |
| CN111724292B (zh) * | 2019-03-19 | 2024-04-05 | 京东方科技集团股份有限公司 | 图像处理方法、装置、设备以及计算机可读介质 |
| CN111340694B (zh) * | 2020-02-07 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
-
2020
- 2020-02-07 CN CN202010082474.0A patent/CN111340694B/zh active Active
- 2020-10-20 WO PCT/CN2020/122160 patent/WO2021155675A1/zh active Application Filing
-
2022
- 2022-04-22 US US17/727,042 patent/US20220253974A1/en active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190304113A1 (en) * | 2018-03-29 | 2019-10-03 | Beijing Kuangshi Technology Co., Ltd. | Image processing method, image processing apparatus and computer readable storage medium |
| CN108629743A (zh) * | 2018-04-04 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| CN108510560A (zh) * | 2018-04-11 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、存储介质和计算机设备 |
| WO2020010979A1 (zh) * | 2018-07-10 | 2020-01-16 | 腾讯科技（深圳）有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
| WO2020015167A1 (zh) * | 2018-07-17 | 2020-01-23 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109254766A (zh) * | 2018-07-25 | 2019-01-22 | 中建八局第建设有限公司 | 基于移动端的可视化编程平台及二维图纸三维可视化方法 |
| CN110276267A (zh) * | 2019-05-28 | 2019-09-24 | 江苏金海星导航科技有限公司 | 基于Spatial-LargeFOV深度学习网络的车道线检测方法 |
| CN110580704A (zh) * | 2019-07-24 | 2019-12-17 | 中国科学院计算技术研究所 | 基于卷积神经网络的et细胞图像自动分割方法及系统 |
| CN110544213A (zh) * | 2019-08-06 | 2019-12-06 | 天津大学 | 一种基于全局和局部特征融合的图像去雾方法 |
| CN110738605A (zh) * | 2019-08-30 | 2020-01-31 | 山东大学 | 基于迁移学习的图像去噪方法、系统、设备及介质 |
Non-Patent Citations (3)
| Title |
|---|
| PATRICK WIESCHOLLEK ET AL.: "Learning Blind Motion Deblurring", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 231 - 240 * |
| 时文华;张雄伟;邹霞;孙蒙;: "利用深度全卷积编解码网络的单通道语音增强", 信号处理, no. 04, pages 113 - 122 * |
| 王敏茜: "单帧运动模糊图像检测分割与复原研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021155675A1 (zh) * | 2020-02-07 | 2021-08-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
| CN112286353A (zh) * | 2020-10-28 | 2021-01-29 | 上海盈赞通信科技有限公司 | 一种vr眼镜的通用型图像处理方法及装置 |
| CN112990171A (zh) * | 2021-05-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| CN112990171B (zh) * | 2021-05-20 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340694B (zh) | 2023-10-27 |
| US20220253974A1 (en) | 2022-08-11 |
| WO2021155675A1 (zh) | 2021-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340694A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| US11354785B2 (en) | Image processing method and device, storage medium and electronic device | |
| Wang et al. | Deep video super-resolution using HR optical flow estimation | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| US20220261965A1 (en) | Training method of image processing model, image processing method, apparatus, and device | |
| CN112001914A (zh) | 深度图像补全的方法和装置 | |
| JP7112595B2 (ja) | 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム | |
| CN111951167A (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN111951165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN113724136A (zh) | 一种视频修复方法、设备及介质 | |
| Zhang et al. | Joint image deblurring and super-resolution with attention dual supervised network | |
| CN113160079A (zh) | 人像修复模型的训练方法、人像修复方法和装置 | |
| CN111401477B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN112801912B (zh) | 一种人脸图像复原方法、系统、装置及存储介质 | |
| WO2021057464A1 (zh) | 视频处理方法和装置、存储介质和电子装置 | |
| CN115439397A (zh) | 用于无卷积图像处理的方法和装置 | |
| CN116659520B (zh) | 基于仿生偏振视觉增强的匹配定位方法、装置和设备 | |
| CN114782256B (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN111882004B (zh) | 模型训练方法、判题方法及装置、设备、存储介质 | |
| US20230205926A1 (en) | System and method for preserving privacy for a set of data packets | |
| CN115375780A (zh) | 色差计算方法、装置、电子设备和存储介质、产品 | |
| CN113298705A (zh) | 一种图像超分辨率处理方法及装置 | |
| CN116542873A (zh) | 一种基于Transformer的多阶段渐进图像复原方法 | |
| CN116563408A (zh) | 图像重建方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40024854 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |