CN114782256A - 图像重建方法、装置、计算机设备和存储介质 - Google Patents
图像重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114782256A CN114782256A CN202210701465.4A CN202210701465A CN114782256A CN 114782256 A CN114782256 A CN 114782256A CN 202210701465 A CN202210701465 A CN 202210701465A CN 114782256 A CN114782256 A CN 114782256A
- Authority
- CN
- China
- Prior art keywords
- distillation
- feature
- residual
- initial
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000004821 distillation Methods 0.000 claims abstract description 853
- 238000004590 computer program Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 191
- 230000004927 fusion Effects 0.000 claims description 112
- 238000000605 extraction Methods 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 26
- 239000000284 extract Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像重建方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：获取待重建图像对应的初始图像特征；对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。采用本方法能够提高图像重建效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像重建方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着人工智能技术的发展，出现了超分辨率图像重建技术，超分辨率图像重建是指通过低分辨率图像重建出相应的高分辨率图像的过程。目前，通常是使用复杂的基于深度学习的超分算法来进行超分辨率图像重建，该复杂的基于深度学习的超分算法通常使用复杂的运算来进行图像重建，以便由原始图像再生出具有更高分辨率的图像。
然而，使用复杂的基于深度学习的超分算法来进行图像重建使得计算的复杂度高，从而导致图像重建的效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够图像重建效率的图像重建方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像重建方法。所述方法包括：
获取待重建图像对应的初始图像特征；
对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；
将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
第二方面，本申请还提供了一种图像重建装置。所述装置包括：
特征获取模块，用于获取待重建图像对应的初始图像特征；
初始蒸馏模块，用于对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
中间蒸馏模块，用于提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
特征融合模块，用于将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；
图像重建模块，用于将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待重建图像对应的初始图像特征；
对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；
将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待重建图像对应的初始图像特征；
对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；
将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待重建图像对应的初始图像特征；
对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；
将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
上述图像重建方法、装置、计算机设备、存储介质和计算机程序产品，通过获取待重建图像对应的初始图像特征；对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像，通过残差特征蒸馏，充分挖掘出特征信息，极大的提升了得到目标图像的效率，从而提高了图像重建效率。并通过注意力特征提取，抑制冗余信息的传播，使得到的目标图像具备更多的细节纹理。
附图说明
图1为一个实施例中图像重建方法的应用环境图；
图2为一个实施例中图像重建方法的流程示意图；
图3为一个具体实施例中图像对比示意图；
图4为一个实施例中得到目标图像的流程示意图；
图5为另一个实施例中得到目标图像的流程示意图；
图6为又一个实施例中得到目标图像的流程示意图；
图7为一个实施例中得到融合特征的流程示意图；
图8为一个具体实施例中超分辨率图像重建模型的结构示意图；
图9为一个具体实施例中残差特征蒸馏网络的结构示意图；
图10为一个具体实施例中浅层残差网络的结构示意图；
图11为一个具体实施例中增强空间注意力网络的结构示意图；
图12为一个实施例中超分辨率图像重建模型训练的流程示意图；
图13为一个具体实施例中超分辨率图像重建模型的训练框架示意图；
图14为一个具体实施例中超分辨率图像重建模型的训练流程示意图；
图15为一个具体实施例中图像重建方法的应用场景示意图；
图16为一个具体实施例中超分效果对比示意图；
图17为一个实施例中图像重建装置的结构框图；
图18为一个实施例中计算机设备的内部结构图；
图19为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理等技术，具体通过如下实施例进行说明:
本申请实施例提供的图像重建方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。服务器104获取待重建图像对应的初始图像特征；服务器104对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；服务器104提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；服务器104将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；服务器104将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像，服务器104可以从终端102中获取到待重建图像，然后将目标图像返回终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像重建方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤202，获取待重建图像对应的初始图像特征。
其中，待重建图像是指需要进行超分辨率重建的低分辨率图像，该待重建图像可以是实时采集的图像，也可以是历史图像。该待重建图像需要进行超分辨率，以提升画质和清晰度。初始图像特征是指通过浅层特征提取得到的图像特征。
具体地，服务器可以直接从数据库中获取到待重建图像对应的初始图像特征。服务器也可以从数据库中获取到待重建图像，然后提取待重建图像的浅层特征，得到初始图像特征。该初始图像特征和输入比较接近，蕴含更多的像素点的信息。服务器也可以获取到终端上传的待重建图像，然后提取待重建图像的浅层特征，得到初始图像特征。服务器也可以从业务方获取到待重建图像，然后提取待重建图像的浅层特征，得到初始图像特征，业务方是指图像重建业务的对象。服务器也可以从服务方获取到待重建图像，然后提取待重建图像的浅层特征，得到初始图像特征。该服务方是指需要图像重建服务的对象，服务器向该服务方提供图像重建服务。
步骤204，对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征。
其中，特征蒸馏是指将多通道初始低阶特征提取为少通道的高阶细节特征。初始蒸馏特征是指初步进行特征蒸馏后得到的特征。残差特征是指通过浅层残差块提取得到的特征。初始残差特征是指初步提取得到的残差特征。残差蒸馏特征是指对初始残差特征进行特征蒸馏后得到的特征。该残差蒸馏特征和初始蒸馏特征的通道数相同。残差蒸馏特征和初始蒸馏特征的通道数少于初始图像特征的通道数。
具体地，服务器通过卷积运算对初始图像特征进行特征蒸馏，得到初始蒸馏特征，然后使用浅层残差块提取初始图像特征对应的残差特征，得到初始残差特征，并通过卷积运算对初始残差特征进行特征蒸馏，得到残差蒸馏特征。服务器也可以并行对初始图像特征进行初始蒸馏特征提取和残差蒸馏特征提取，即提取初始蒸馏特征的同时提取残差蒸馏特征。
步骤206，提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征。
其中，中间残差特征是进一步对残差蒸馏特征进行残差特征提取得到的。中间蒸馏特征是对中间残差特征进行特征蒸馏得到的。
具体地，服务器继续进行特征蒸馏，在特征蒸馏时先对要蒸馏的特征进行残差特征提取，即通过浅层残差块提取残差蒸馏特征对应的残差特征，得到中间残差特征，然后再通过卷积运算对中间残差特征进行特征蒸馏，得到中间蒸馏特征。其中，中间蒸馏特征的通道数少于初始蒸馏特征的通道数。
步骤208，将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征。
其中，融合特征是指将每次蒸馏得到的特征进行融合后得到的特征。注意力特征是指对融合特征进行注意力加权后得到的特征。
具体地，服务器可以将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，然后对融合特征进行注意力特征提取，得到注意力特征。其中，可以使用空间注意力对融合特征进行加权，得到空间注意特征。通过空间注意力进行加权，能够抑制冗余信息的传播，生成精细的画质细节，并使得计算更轻量化。
步骤210，将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
其中，目标蒸馏特征是指特征蒸馏后输出的特征与初始图像特征进行叠加后得到的特征。目标图像是指通过超分辨率图像重建后得到的图像。
具体地，服务器计算注意力特征与初始图像特征的和，得到目标蒸馏特征，然后对目标蒸馏特征进行上采样图像重建，得到目标图像。
上述图像重建方法，通过获取待重建图像对应的初始图像特征；对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像，通过残差特征蒸馏，充分挖掘出特征信息，极大的提升了得到目标图像的效率，从而提高了图像重建效率。并通过注意力特征提取，抑制冗余信息的传播，使得到的目标图像具备更多的细节纹理。
在一个实施例中，在步骤206之后，即在所述提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征之后，还包括步骤：
将中间蒸馏特征作为残差蒸馏特征，并返回提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征的步骤执行，直到达到残差蒸馏完成条件时，得到各个中间蒸馏特征。
其中，残差蒸馏完成条件是指特征蒸馏完成的条件，包括但不限于蒸馏特征的通道数达到预先设置好的通道数或者特征蒸馏次数达到预先设置好的特征蒸馏次数。
具体地，服务器可以进行多次特征蒸馏，每次特征蒸馏都使用上次特征蒸馏得到的特征，每次特征蒸馏后的特征通道数都少于上次特征蒸馏的特征通道数。每次特征蒸馏时都将输出的中间蒸馏特征作为残差蒸馏特征，先使用浅层残差快对残差蒸馏特征进一步提取对应的残差特征，得到中间残差特征，然后使用卷积运算对中间残差特征进行特征蒸馏，得到中间蒸馏特征。其中，浅层残差快是通过卷积层、残差连接和激活单元组成的。每次在进行特征蒸馏时使用的特征蒸馏参数可以是相同的，也可以是不同的。
步骤208，将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，包括步骤：
将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征。
具体地，服务器可以将所有的蒸馏特征进行融合，即可以将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征依次进行拼接，比如，可以按照得到蒸馏特征的顺序依次首尾连接，得到融合特征。
在上述实施例中，通过不断进行特征蒸馏，直到达到残差蒸馏完成条件时，得到各个中间蒸馏特征，然后再将所有蒸馏得到的特征进行复用，即将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征，从而使得到的融合特征能够具有更精确的细节特征，无需引入额外参数量，保持足够轻量的同时提高图像重建的准确性。
在一个实施例中，在步骤208之后，即在将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征之后，还包括步骤：
将目标蒸馏特征作为初始图像特征，并返回对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征的步骤执行，直到达到特征提取完成条件时，得到各个目标蒸馏特征；将各个目标蒸馏特征进行特征融合，得到目标融合特征，将目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征。
其中，特征提取完成条件是指多级蒸馏特征提取完成的条件，包括达到预先设置好的提取层级或者提取得到的蒸馏特征达到预先设置好的条件。最终蒸馏特征是指通过全局的残差连接得到的特征，全局的残差连接即是指将初始图像特征跨过主体部分，叠加到特征融合后的输出特征中。该最终蒸馏特征是最终得到的经过特征蒸馏后的特征。
具体地，服务器可以继续对目标蒸馏特征进行特征提取，即可以将目标蒸馏特征作为初始图像特征，继续对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征，提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，然后再将目标蒸馏特征作为初始图像特征，不断持续进行特征提取，直到达到特征提取完成条件时，得到各个目标蒸馏特征。其中，每次在进行特征提取时，使用的特征提取参数可以是不同的，也可以是相同的。然后，服务器将各个目标蒸馏特征进行特征融合，得到目标融合特征，从使得到的目标融合特征具有更多的细节信息，然后再将目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征。
步骤210，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像，包括：
基于最终蒸馏特征进行上采样重建，得到目标图像。
具体地，服务器可以使用最终蒸馏特征进行上采样重建，得到目标图像，通过使用最终蒸馏特征进行上采样重建，能够使得到的目标图像的效果更好以及生成精细的画质细节。在一个具体的实施例中，如图3所示，为图像重建得到的图像对比示意图。其中，左图是使用现有技术方法进行图像重建得到的图像，右图为使用本申请进行图像重建得到的图像。明显的，本申请得到的图像细节边缘更加锐利清晰，图像更高清，画质更细腻细节丰富。
在一个实施例中，如图4所示，提供一种图像重建方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括：
步骤402，将待重建图像输入到超分辨率图像重建模型中，通过超分辨率图像重建模型提取待重建图像对应的初始图像特征；
其中，该初始图像特征和输入比较接近，蕴含更多的像素点的信息。像素点的信息主要为细粒度的信息，比如颜色、纹理、边缘、棱角信息等。超分辨率图像重建模型是预先训练好的用于通过低分辨率图像重建出相应的高分辨率图像的神经网络模型。该超分辨率图像重建模型轻量级的模型，推理速度快，能够应用于实际场景中，快速得到高质量的超分图像。
具体的，服务器预先使用训练数据通过神经网络算法训练得到的超分辨率图像重建模型，然后将超分辨率图像重建模型进行部署并使用。当需要使用时，即当获取到待重建图像时将待重建图像输入到超分辨率图像重建模型中，通过超分辨率图像重建模型中的初始图像特征提取参数先提取待重建图像对应的初始图像特征。其中，初始图像特征提取参数可以是训练好的卷积运算参数。
步骤404，通过超分辨率图像重建模型对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征。
具体地，服务器通过超分辨率图像重建模型中的初始特征蒸馏参数对初始图像特征进行特征蒸馏，得到初始蒸馏特征，该初始特征蒸馏参数可以是训练好的卷积运算参数。然后可以通过训练好的残差参数提取初始图像特征对应的残差特征，得到初始残差特征，然后再使用中间特征蒸馏参数对初始残差特征进行特征蒸馏，得到残差蒸馏特征。该初始特征蒸馏参数与中间特征蒸馏参数可以是相同的，也可以是不同的。
步骤406，通过超分辨率图像重建模型提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征。
具体地，服务器通过超分辨率图像重建模型继续使用训练好的残差参数提取残差蒸馏特征对应的残差特征，得到中间残差特征，然后再使用特征蒸馏参数对中间残差特征进行特征蒸馏，得到中间蒸馏特征。每次进行残差特征提取时使用的残差参数可以是相同的，也可以是不同的。每次进行特征蒸馏时使用的特征蒸馏参数可以是相同的，也可以是不同的。
步骤408，通过超分辨率图像重建模型将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征。
具体地，服务器通过超分辨率图像重建模型可以直接将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行拼接，得到融合特征。然后使用增强空间注意力权重对融合特征进行注意力加权，得到注意力特征。其中，增强空间注意力权重是预先训练好的。
步骤410，通过超分辨率图像重建模型将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
具体地，服务器通过超分辨率图像重建模型计算注意力特征与初始图像特征的和，得到目标蒸馏特征，然后使用训练好的图像上采样参数对目标蒸馏特征进行上采样，得到目标图像。
在上述实施例中，通过使用通过超分辨率图像重建模型进行图像重建，能够提高得到目标图像的效率的同时使得到的目标图像具有更丰富的细节。
在一个实施例中，步骤408，即对融合特征进行注意力特征提取，得到注意力特征，包括步骤：
基于融合特征进行跨步卷积运算，得到跨步卷积特征；将跨步卷积特征进行最大池化运算，得到池化特征，将池化特征作为注意力特征。
其中，跨步卷积是指在卷积时并不是简单的逐步卷积，而是根据跨步的步幅进行卷积运算，其中，可以预先设置好跨步卷积的步幅长度，比如，步幅可以为1或者2。最大池化是指取局部接受域中值最大的点。
具体地，服务器可以对融合特征进行跨步卷积运算，得到跨步卷积特征，然后对跨步卷积特征进行最大池化，得到池化特征。即服务器可以使用跨步卷积和最大池化来对融合特征进行加权处理，得到池化特征，然后将池化特征作为注意力特征来进行后续的使用。
步骤410，即将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，包括步骤：
将池化特征与初始图像特征进行叠加，得到目标蒸馏特征。
具体地，服务器计算池化特征与初始图像特征的和，得到目标蒸馏特征。
在上述实施例中，服务器可以使用跨步卷积和最大池化对融合特征进行加权，从而可以扩大模型感受野，使得到的目标蒸馏特征能够具有更多的细节特征，进而使得到的目标图像具有更丰富的细节信息。
在一个实施例中，步骤408，即对融合特征进行注意力特征提取，得到注意力特征，包括步骤：
基于融合特征进行空洞卷积运算，得到空洞卷积特征，将空洞卷积特征作为注意力特征。
步骤410，即将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，包括步骤：
将空洞卷积特征与初始图像特征进行叠加，得到目标蒸馏特征。
其中，空洞卷积就是在标准的卷积核里注入空洞，以此来增加感受野。
具体地，服务器对融合特征进行空洞卷积运算，得到空洞卷积特征，将空洞卷积特征作为注意力特征，然后计算空洞卷积特征与初始图像特征的和，得到目标蒸馏特征。
在上述实施例中，通过使用空洞卷积对融合特征进行加权处理，得到空洞卷积特征，然后再与初始图像特征进行叠加，得到目标蒸馏特征，然后使用目标蒸馏特征进行图像重建，从而能够使得到目标图像在保证图像分辨率的基础上获得较大感受野。
在一个实施例中，超分辨率图像重建模型包括初始特征提取网络、残差特征蒸馏网络和图像重建网络，如图5所示，提供一种图像重建方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，包括：
步骤502，通过初始特征提取网络提取待重建图像对应的初始图像特征。
其中，初始特征提取网络是用于提取初始图像特征的神经网络，该初始特征提取网络可以是使用卷积神经网络得到的，比如，可以使用3x3卷积神经网络作为初始特征提取网络。
具体地，服务器将待重建图像输入到超分辨率图像重建模型中的初始特征提取网络中，该初始特征提取网络将待重建图像即RGB图（R代表Red（红色），G代表Green（绿色），B代表Blue（蓝色），光学三原色）转换为初始特征图。
步骤504，通过残差特征蒸馏网络对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
步骤506，通过残差特征蒸馏网络提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
步骤508，通过残差特征蒸馏网络将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行合并，得到合并特征，对合并特征进行空间注意力特征提取，得到空间注意力特征；
步骤510，通过残差特征蒸馏网络将空间注意力特征与初始图像特征进行叠加，得到目标蒸馏特征。
其中，残差特征蒸馏网络是指用于进行残差特征蒸馏的神经网络，该残差特征蒸馏网络可以是使用卷积神经网络建立的，该残差特征蒸馏网络可以包括残差特征提取部分和特征蒸馏部分，该残差特征提取部分可以是浅层残差块。
具体地，服务器将初始图像特征输入到残差特征蒸馏网络中，残差特征蒸馏网络对初始图像特征进行特征蒸馏，得到初始蒸馏特征，同时提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征，然后再提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征，初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行合并，得到合并特征，对合并特征进行空间注意力特征提取，得到空间注意力特征，最后将空间注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，该目标蒸馏特征为残差特征蒸馏网络的输出。
步骤512，通过图像重建网络将目标蒸馏特征进行超分辨率图像重建，得到目标图像。
其中，图像重建网络是指进行图像上采样重建的神经网络，该图像重建网络可以是通过卷积神经网络建立的。
具体地，服务器将目标蒸馏特征输入到图像重建网络中，图像重建网络可以先通过卷积运算部分进行卷积运算，然后再对卷积运算结构进行上采样，得到目标图像，该目标图像的分辨率明显高于待重建图像的分辨率。
在上述实施例中，通过使用残差特征蒸馏网络进行特征蒸馏，能够有效降低模型的参数量和计算复杂度，从而提高图像重建的效率。
在一个实施例中，超分辨率图像重建模型包括级联的残差特征蒸馏网络，如图6所示，图像重建方法，还包括：
步骤602，将初始图像特征输入到级联的残差特征蒸馏网络中，通过级联的残差特征蒸馏网络中当前残差特征蒸馏网络对初始图像特征进行特征蒸馏，得到当前目标蒸馏特征。
其中，级联的残差特征蒸馏网络是通过多个残差特征蒸馏网络依次连接得到的，不同的残差特征蒸馏网络有不同的网络参数。该级联的残差特征蒸馏网络通过链式方式逐渐更新提取多级特征信息。当前残差特征蒸馏网络是指当前使用的残差特征蒸馏网络。当前目标蒸馏特征是指当前残差特征蒸馏网络输出的目标蒸馏特征。
具体地，将初始图像特征输入到级联的残差特征蒸馏网络中，通过级联的残差特征蒸馏网络中当前残差特征蒸馏网络对初始图像特征进行特征蒸馏，得到输出的当前目标蒸馏特征。其中，每个残差特征蒸馏网络都先对输入的特征进行特征蒸馏，得到初始蒸馏特征，同时对输入的特征进行残差特征提取，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征，然后再提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征，初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行合并，得到合并特征，对合并特征进行空间注意力特征提取，得到空间注意力特征，最后将空间注意力特征与初始图像特征进行叠加，得到输出的目标蒸馏特征。
步骤604，将当前目标蒸馏特征输入到与当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征。
其中，级联目标蒸馏特征是指与当前残差特征蒸馏网络连接的残差特征蒸馏网络输出的目标蒸馏特征。
具体地，服务器得到当前目标蒸馏特征，将该当前目标蒸馏特征作为下一个残差特征蒸馏网络的输入，将该当前目标蒸馏特征输入到与当前残差特征蒸馏网络级联的残差特征蒸馏网络中继续进行特征蒸馏，得到输出的级联目标蒸馏特征
步骤606，将级联的残差特征蒸馏网络作为当前残差特征蒸馏网络，并将级联目标蒸馏特征作为当前目标蒸馏特征，返回将当前目标蒸馏特征输入到与当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征的步骤执行，直到级联的残差特征蒸馏网络遍历完成时，得到各个目标蒸馏特征。
其中，级联的残差特征蒸馏网络遍历完成是指所有依次连接的残差特征蒸馏网络都进行特征蒸馏完成，得到输出的目标蒸馏特征。
具体地，服务器将级联的残差特征蒸馏网络作为当前残差特征蒸馏网络，并将级联目标蒸馏特征作为当前目标蒸馏特征，返回将当前目标蒸馏特征输入到与当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征的步骤执行，直到级联的残差特征蒸馏网络遍历完成时，得到各个残差特征蒸馏网络输出的目标蒸馏特征。
步骤608，将各个目标蒸馏特征进行特征融合，得到目标融合特征，将目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征，基于最终蒸馏特征进行上采样重建，得到目标图像。
具体地，服务器可以通过特征融合网络来将各个目标蒸馏特征进行特征融合，得到目标融合特征，特征融合网络可以是将蒸馏特征进行融合的卷积神经网络，比如，该特征融合网络可以包括1X1的卷积和3X3的卷积。然后计算目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征，最后通过图像重建网络使用最终蒸馏特征进行上采样重建，得到输出的目标图像。
在上述实施例中，使用级联的残差特征蒸馏网络提取得到的各个目标蒸馏特征，然后将各个目标蒸馏特征进行特征融合，得到目标融合特征，即通过蒸馏特征复用，加强特征传播，使得到的目标融合特征具有更多的细节信息，减少了参数量和计算量，然后将目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征，基于最终蒸馏特征进行上采样重建，得到目标图像，从而提高了得到目标图像的效率并使得到目标图像具有更多细节纹理信息，提高了超分效果。
在一个实施例中，残差特征蒸馏网络包括初始特征蒸馏子网络和级联的蒸馏特征复用子网络，如图7所示，图像重建方法，还包括：
步骤702，将初始图像特征输入到初始特征蒸馏子网络中进行特征蒸馏，得到初始蒸馏特征。
其中，初始特征蒸馏子网络是用于进行初始特征蒸馏的神经网络，该初始特征蒸馏子网络可以是使用卷积神经网络建立的，比如，可以使用1X1的卷积神经网络建立。
具体地，服务器将初始图像特征输入到初始特征蒸馏子网络中进行特征蒸馏，得到初始蒸馏特征。
步骤704，将初始图像特征输入到级联的蒸馏特征复用子网络中，通过级联的蒸馏特征复用子网络中当前蒸馏特征复用子网络提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征。
其中，级联的蒸馏特征复用子网络是指依次连接的蒸馏特征复用子网络，用于进行蒸馏特征的提取。该蒸馏特征复用子网络包括残差特征提取部分和特征蒸馏部分，蒸馏特征复用是指蒸馏特征复用子网络输出的蒸馏特征在继续进行蒸馏的同时进行保留，并且在得到所有蒸馏特征时，将所有保留的蒸馏特征进行融合拼接。当前蒸馏特征复用子网络是指当前进行蒸馏特征的提取的蒸馏特征复用子网络。
具体地，服务器同时将初始图像特征输入到级联的蒸馏特征复用子网络中，通过级联的蒸馏特征复用子网络中当前蒸馏特征复用子网络提取初始图像特征对应的残差特征，得到初始残差特征，并对初始残差特征进行特征蒸馏，得到残差蒸馏特征。
步骤706，将残差蒸馏特征输入到与当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中，通过级联的蒸馏特征复用子网络提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征。
具体地，服务器继续进行特征蒸馏，即将残差蒸馏特征输入到与当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中，通过级联的蒸馏特征复用子网络提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征。
步骤708，将中间蒸馏特征作为残差蒸馏特征，并将级联的蒸馏特征复用子网络作为当前蒸馏特征复用子网络，并返回将残差蒸馏特征输入到与当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中的步骤执行，直到级联的蒸馏特征复用子网络遍历完成时，得到各个中间蒸馏特征。
其中，级联的蒸馏特征复用子网络遍历完成是指所有的蒸馏特征复用子网络都对输入的特征进行了特征蒸馏。每个蒸馏特征复用子网络的网络参数不同，每个蒸馏特征复用子网络都会得到对应的蒸馏特征。
具体地，服务器将中间蒸馏特征保留的同时对中间蒸馏特征继续进行特征蒸馏。即将中间蒸馏特征作为残差蒸馏特征，并将级联的蒸馏特征复用子网络作为当前蒸馏特征复用子网络，并返回将残差蒸馏特征输入到与当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中的步骤执行，直到级联的蒸馏特征复用子网络遍历完成时，获取到保留的每个蒸馏特征复用子网络输出的蒸馏特征，即得到各个中间蒸馏特征。
步骤710，将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征。
具体地，服务器将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征。
在上述实施例中，通过使用级联的蒸馏特征复用子网络对输入的特征进行特征蒸馏，得到输出的特征，然后将输出的特征进行复用，即保留输出特征的同时继续对输出的特征进行特征蒸馏，最后将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征，从而可以使得到的融合特征具有更加的细节纹理信息，并且从残差学习中受益而无需引入额外参数量，保持足够轻量的同时也能提升超分性能。
在一个具体的实施例中，如图8所示，提供一种超分辨率图像重建模型的结构示意图，该超分辨率图像重建模型包括浅层特征提取网络、多级特征提取网络、特征融合网络和重建上采样网络。具体来说：服务器将低分辨率图像（LR）输入到超分辨率图像重建模型中，经过3x3卷积提取特征，将RGB图片转换为初始特征图
，其中，
表示初始特征图，x是指低分辨率图像，h表示浅层特征提取网络。然后将初始特征图送入级联的快速残差特征蒸馏网络中，以链式方式逐渐更新提取多级特征信息
，其中，
是指第k个目标蒸馏特征，
是指第k个残差特征蒸馏网络，
是指第k-1个目标蒸馏特征。然后将所有的目标蒸馏特征通过特征融合网络进行融合，即通过1x1和3x3卷积进行融合得到融合特征
，其中，
是指融合特征，
是指将所有的目标蒸馏特征进行拼接，
表示特征融合网络。然后将融合特征经过图像重建网络进行图像重建，即将融合特征经过一个3x3卷积后进行上采样，重建生成超分辨率的目标图像
，R为图像重建网络，
表示融合特征和初始特征进行叠加，y表示目标图像。
在一个具体的实施例中，如图9所示，为残差特征蒸馏网络的结构示意图，具体来说，服务器获取到输入特征H*W*C，其中，H表示高，W表示宽，C表示通道数。然后将输入特征通过1*1的卷积滤波器进行特征蒸馏，该输入特征为64通道数的特征，然后得到初始蒸馏特征
并保留，该初始蒸馏特征为32通道数的蒸馏特征。然后同时将输入特征通过第一个浅层残差网络进行残差特征提取，得到残差特征
。
，其中，
表示输入特征，该输入特征可以使初始图像特征，也可以是上一个残差特征蒸馏网络输出的目标蒸馏特征，DL（distilllayer蒸馏层），RL（remain layer保留层）。
通过1*1的卷积滤波器进行特征蒸馏，得到输出的残差蒸馏特征
，该残差蒸馏特征为32通道数的蒸馏特征，将32通道数的蒸馏特征保留，
。然后继续进行特征蒸馏，即将残差蒸馏特征输入到第二个浅层残差网络进行残差特征提取，得到残差特征
，并通过1*1的卷积滤波器进行特征蒸馏，得到输出的中间蒸馏特征并保留，该中间蒸馏特征为16通道数的蒸馏特征，
。
然后再将中间蒸馏特征输入到第三个浅层残差网络进行残差特征提取，得到残差特征
，并通过3x3卷积滤波器进行特征蒸馏，得到输出的蒸馏特征，该蒸馏特征为16通道数的蒸馏特征
。然后将得到的4个蒸馏特征进行拼接，得到融合特征，将融合特征使用增强空间注意力进行加权学习，得到注意力特征，即得到加权的蒸馏特征。
，其中，
表示加权的蒸馏特征，
表示增强空间注意力。最后，将加权的蒸馏特征叠加输入特征，得到最终的输出特征
。
在一个具体的实施例中，如图10所示，为浅层残差网络的结构示意图，该浅层残差网络包括一个3x3卷积滤波器、一个残差连接和一个激活单元relu组成。具体来说：输入的特征通过3x3卷积滤波器进行卷积，得到卷积特征，将该卷积特征与输入的特征进行叠加后再通过激活单元relu进行激活后得到输出的残差特征。其中，输入的特征可以是初始图像特征，也可以是蒸馏特征。
在一个具体的实施例中，如图11所示，为增强空间注意力网络的结构示意图。具体来说：输入的特征通过增强空间注意力网络进行加权后，得到输出的特征，即输入的特征先通过1X1的卷积层进行运算，得到1X1的卷积运算结果，然后将卷积运算结果经过3X3的卷积层进行卷积、再将3X3的卷积运算结果经过最大池化层进行池化，将池化结果经过3X3的卷积层进行卷积，再将3X3的卷积运算结果通过1X1的卷积层进行运算，得到1X1的卷积运算结果，然后将1X1的卷积运算结果进行上采样，得到上采样结果，将上采样结果和第一次1X1的卷积运算结果拼接后通过1X1的卷积层进行运算，得到1X1的卷积运算结果，然后将1X1的卷积运算结果通过S型激活函数进行激活，最后将激活结果与输入的特征进行合并，得到输出的特征。即通过对提取的特征进行加权，使得网络关注重点特征，抑制冗余信息。
在一个实施例中，如图12所示，超分辨率图像重建模型的训练步骤可以应用于图1中的服务器为例进行说明，可以理解的是，该训练步骤也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。超分辨率图像重建模型的训练包括以下步骤：
步骤1202，获取训练样本对，训练样本对包括训练图像和标签图像。
其中，训练图像是指训练时使用的低分辨率图像，标签图像是训练图像对应的标签图像，即是训练图像对应的高分辨率图像。
具体地，服务器可以直接从数据库中获取到训练图像和标签图像。服务器也可以从提高数据服务的服务方获取到训练图像和标签图像。服务器还可以获取到终端上传的训练图像和标签图像。在一个实施例中，服务器还可以获取到高分辨图像，基于高分辨率图像进行降低分辨率处理，得到训练图像，并将高分辨率图像作为标签图像。其中，可以对高分辨率图像进行下采样相应的超分倍数以及降质处理，得到训练所需的低分辨率图像。
步骤1204，将训练图像输入到初始超分辨率图像重建模型中，通过超分辨率图像重建模型提取训练图像对应的训练初始图像特征。
步骤1206，通过初始超分辨率图像重建模型对训练初始图像特征进行特征蒸馏，得到训练初始蒸馏特征，并提取训练初始图像特征对应的残差特征，得到训练初始残差特征，对训练初始残差特征进行特征蒸馏，得到训练残差蒸馏特征；
步骤1208，通过初始超分辨率图像重建模型提取训练残差蒸馏特征对应的残差特征，得到训练中间残差特征，对训练中间残差特征进行特征蒸馏，得到训练中间蒸馏特征；
步骤1210，通过初始超分辨率图像重建模型将训练初始蒸馏特征、训练残差蒸馏特征和训练中间蒸馏特征进行融合，得到训练融合特征，对训练融合特征进行注意力特征提取，得到训练注意力特征；
步骤1212，通过初始超分辨率图像重建模型将训练注意力特征与训练初始图像特征进行叠加，得到训练目标蒸馏特征，基于训练目标蒸馏特征进行超分辨率图像重建，得到训练目标图像。
其中，初始超分辨率图像重建模型是指模型参数初始化的超分辨率图像重建模型。训练初始图像特征是指训练时的得到的初始图像特征。训练初始蒸馏特征是指训练时的得到的初始蒸馏特征。训练初始残差特征是指训练时的得到的初始残差特征。训练残差蒸馏特征是指训练时的得到的残差蒸馏特征。训练中间残差特征是指训练时的得到的中间残差特征。训练中间蒸馏特征是指训练时的得到的中间蒸馏特征。训练融合特征是指训练时的得到的融合特征。训练注意力特征是指训练时的得到的意力特征。训练目标蒸馏特征是指训练时的得到的目标蒸馏特征。训练目标图像是指训练时得到的目标图像。
具体地，服务器使用训练样本对对初始超分辨率图像重建模型进行训练，即将训练样本对中的训练图像输入到初始超分辨率图像中进行前向传播，得到输出的训练目标图像，该训练目标图像时使用初始模型参数得到的目标图像。
步骤1214，基于训练目标图像与标签图像进行损失计算，得到训练损失信息，基于训练损失信息更新初始超分辨率图像重建模型，得到更新超分辨率图像重建模型。
其中，训练损失信息是指训练得到的训练目标图像与标签图像之间的误差。
具体地，服务器使用损失函数计算训练目标图像与标签图像之间的误差，得到训练损失信息，其中，可以使用L1（平均绝对误差）损失函数来计算，如下公式所示。
其中，
表示第i次输入的训练目标图像。
是指第i次输入的训练目标图像对应的标签图像。
是指初始超分辨率图像重建模型。N表示一个批次的样本对数量。
然后使用训练损失信息通过模型优化算法反向更新初始超分辨率图像重建模型中的参数，得到更新超分辨率图像重建模型。其中，模型优化算法可以使用梯度下降算法或者Adam（自适应运动估计算法）优化算法等。
在一个实施例中，步骤1214，基于训练目标图像与标签图像进行损失计算，得到训练损失信息，包括步骤：
计算训练目标图像与标签图像之间的像素误差，得到像素损失信息；计算训练目标图像与标签图像之间的结构相似性误差，得到结构损失信息；基于像素损失信息和结构损失信息得到训练损失信息。
其中，像素损失信息用于表征图像像素之间的误差。结构相似性误差用于表征图像之间的误差。结构相似性（structual similarity, SSIM）是一种衡量两幅图像相似度的指标。
具体地，服务器可以使用损失函数计算训练目标图像与标签图像之间的像素误差，得到像素损失信息。然后计算训练目标图像与标签图像之间的结构相似性，根据结构相似性确定结构损失信息，然后可以计算像素损失信息和结构损失信息的和，得到训练损失信息。在一个实施例中，服务器可以获取到像素损失权重和结构损失权重，计算像素损失信息和结构损失信息使用像素损失权重和结构损失权重进行加权后的和，得到训练损失信息。在一个实施例中，服务器还可以计算梯度损失信息，然后计算像素损失信息和梯度损失信息的和，得到训练损失信息。即通过计算像素损失信息和结构损失信息，然后使用像素损失信息和结构损失信息得到训练损失信息，提高了得到的训练损失信息的准确性。
步骤1216，将更新超分辨率图像重建模型作为初始超分辨率图像重建模型，并返回获取训练样本对的步骤迭代执行，直到达到训练完成条件时，得到超分辨率图像重建模型。
其中，训练完成条件是指训练得到超分辨率图像重建模型的条件，包括但不限于训练损失信息达到预设损失阈值、模型的参数不再发生变化和迭代次数达到最大迭代次数。
具体地，服务器判断是否达到训练完成条件，比如，当训练损失信息未达到预设损失阈值时，说明此时未达到训练完成条件。则将更新超分辨率图像重建模型作为初始超分辨率图像重建模型，并返回获取训练样本对的步骤迭代执行，直到训练达到训练完成条件时，将达到训练完成条件的初始超分辨率图像重建模型作为最终得到的超分辨率图像重建模型。
在上述实施例中，通过使用训练样本对对初始超分辨率图像重建模型进行训练，当达到训练完成条件时，得到超分辨率图像重建模型，能够使得到的超分辨率图像重建模型提高图像重建效率，并且使得到的重建图像具有更丰富的细节信息。
在一个具体的实施例中，如图13所示，为超分辨率图像重建模型的训练框架示意图，具体来说：服务器获取到LR-HR（LR表示低分辨率图像，HR表示高分辨率图像）图像对数据集。将图像对中的高分辨率图像作为标签图像，将低分辨率图像作为训练图像。然后进行有监督训练，即将低分辨率图像输入到经过初始化的超分辨率图像重建模型中进行前向传播，得到输出的超分图像，然后使用模型优化目标L1损失函数计算输出的超分图像与标签图之间的损失，当损失信息未达到预设损失阈值时，反向传播更新初始超分辨率图像重建模型，并不断进行训练迭代，直到损失信息达到预设损失阈值，将达到预设损失阈值的初始超分辨率图像重建模型作为最终训练得到的超分辨率图像重建模型。
在一个具体的实施例中，如图14所示，为超分辨率图像重建模型的训练流程示意图，具体来说：步骤1402：服务器采集高清图像数据，将高清图像数据切割成256x256的图像块。步骤1404：将每个图像块以缩放比例下采样的方式生成对应的低分辨率训练图像，同时进行数据增强，即通过随机旋转，垂直翻转，镜像翻转等方式构建训练图像对数据集。步骤1406：将每幅低分辨率图像输入到初始超分辨率图像重建模型中分别执行浅层特征提取、多级特征提取、特征融合以及重建上采样获得重建的超分辨率图像。步骤1408:利用重建的超分辨率图像与训练图的对应的标签图像进行比较，计算像素损失信息。步骤1410:使用像素损失信息反向传播不断更新并优化获得最佳的模型参数，该模型参数包括卷积权重和偏置参数，从而得到超分辨率图像重建模型。步骤1412:采用验证集对超分辨率图像重建模型进行验证，当验证通过时，保存超分辨率图像重建模型。
在一个实施例中，图像重建方法，还包括步骤：
获取待超分视频，将待超分视频进行分帧，得到各个待超分图像；依次将各个待超分图像输入到超分辨率图像重建模型中进行图像重建，得到输出的各个目标图像；将各个目标图像进行合帧，得到超分辨率视频。
其中，待超分视频是指需要进行视频重建的视频，将该待超分视频重建为高分辨率的视频。待超分图像是指待超分视频中的视频帧。超分辨率视频是指进行视频重建后得到的高分辨率的视频。
具体地，服务器可以从数据库中获取到待超分视频，然后将待超分视频进行分帧，得到各个视频帧，将各个视频帧作为各个待超分图像。然后服务器依次将各个待超分图像输入到超分辨率图像重建模型中进行图像重建，得到输出的各个目标图像。最后将各个目标图像进行合成，得到超分辨率视频，从而能够调得到超分辨率视频的效率，并提高了得到的超分辨率视频的画质和清晰度。
在一个具体的实施例中，如图15所示，为图像重建方法的应用场景示意图，具体来说：服务器可以使用超分辨率图像重建模型对老旧电影、电视剧等进行修、超分辨率以进行视频增强，提升画质和清晰度。服务器获取到老旧电影、电视剧的低分辨率视频，从低分辨率视频中抽帧，得到各个低分辨率图像帧，将各个低分辨率图像帧依次输入到轻量的超分辨率图像重建模型中进行前向传播，得到输出的各个超分辨率图像，然后将各个超分辨率图像合成超分视频。
在一个具体的实施例中，该图像重建方法还可以应用到直播平台中，具体来说：直播平台从直播端获取到直播视频时，从直播视频中抽帧得到各个直播图像，然后将各个直播图像次输入到轻量的超分辨率图像重建模型中进行前向传播，得到输出的各个超分辨率直播图像，然后将各个超分辨率直播图像合成，得到超分辨率的直播视频，然后将超分辨率的直播视频发送到观看端进行播放，能够提升直播视频的画质和清晰度，从而能够提示直播观看体验。
在一个具体的实施例中，该图像重建方法还可以应用到短视频平台中，具体来说：短视频平台从视频上传方获取到短视频时，从短视频中抽帧得到各个图像，然后将各个图像次输入到轻量的超分辨率图像重建模型中进行前向传播，得到输出的各个超分辨率图像，然后将各个超分辨率图像合成，得到超分辨率的短视频，然后将超分辨率的短视频保存。然后当观看端流程该超分辨率的短视频时，将该超分辨率的短视频发送到观看端进行播放，能够提升短视频的画质和清晰度，从而能够提示短视频观看体验。
在一个具体的实施例中，可以对超分辨率图像重建模型进行测试，获取到开源的超分数据测试集Set5超分数据集、Set14超分数据集、B100超分数据集、Urban100超分数据集进行对比测试，得到的测试指标如下表1所示。
表1对比测试结果示意表
其中，使用峰值信噪比（PSNR：Peak Signal to Noise Ratio）和结构相似性（SSIM：Structural Similarity Index）来衡量图像的超分性能，参数量（params）和浮点运算数量（FLOPS：Floating Point Operations Per Second）衡量模型的计算复杂度。明显的，本申请的超分辨率图像重建模型在更少的参数量和计算复杂度下取得了更优的超分性能。超分效果对比如图16所示，其中，现有的超分辨率算法即相关技术1、相关技术2、相关技术3、相关技术4、相关技术5和相关技术6与本申请相比，明显的本申请的超分效果更好。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像重建方法的图像重建装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重建装置实施例中的具体限定可以参见上文中对于图像重建方法的限定，在此不再赘述。
在一个实施例中，如图17所示，提供了一种图像重建装置1700，包括：特征获取模块1702、初始蒸馏模块1704、中间蒸馏模块1706、特征融合模块1708和图像重建模块1710，其中：
特征获取模块1702，用于获取待重建图像对应的初始图像特征；
初始蒸馏模块1704，用于对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；
中间蒸馏模块1706，用于提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；
特征融合模块1708，用于将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；
图像重建模块1710，用于将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
在一个实施例中，图像重建装置1700，还包括：
多级中间蒸馏模块，用于将中间蒸馏特征作为残差蒸馏特征，并返回提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征的步骤执行，直到达到残差蒸馏完成条件时，得到各个中间蒸馏特征；
特征融合模块1708还用于将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征。
在一个实施例中，图像重建装置1700，还包括：
多级目标蒸馏模块，用于将目标蒸馏特征作为初始图像特征，并返回对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征的步骤执行，直到达到特征提取完成条件时，得到各个目标蒸馏特征；
最终蒸馏得到模块，用于将各个目标蒸馏特征进行特征融合，得到目标融合特征，将目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征；
图像重建模块1710还用于基于最终蒸馏特征进行上采样重建，得到目标图像。
在一个实施例中，图像重建装置1700，还包括：
模型处理模块，用于将待重建图像输入到超分辨率图像重建模型中，通过超分辨率图像重建模型提取待重建图像对应的初始图像特征；通过超分辨率图像重建模型对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；通过超分辨率图像重建模型提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；通过超分辨率图像重建模型将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行融合，得到融合特征，对融合特征进行注意力特征提取，得到注意力特征；通过超分辨率图像重建模型将注意力特征与初始图像特征进行叠加，得到目标蒸馏特征，基于目标蒸馏特征进行超分辨率图像重建，得到目标图像。
在一个实施例中，模型处理模块还用于基于融合特征进行跨步卷积运算，得到跨步卷积特征；将跨步卷积特征进行最大池化运算，得到池化特征，将池化特征作为注意力特征；
模型处理模块还用于将池化特征与初始图像特征进行叠加，得到目标蒸馏特征。
在一个实施例中，模型处理模块还用于基于融合特征进行空洞卷积运算，得到空洞卷积特征，将空洞卷积特征作为注意力特征；模型处理模块还用于将空洞卷积特征与初始图像特征进行叠加，得到目标蒸馏特征。
在一个实施例中，超分辨率图像重建模型包括初始特征提取网络、残差特征蒸馏网络和图像重建网络，图像重建装置1700，还包括：
初始网络提取模块，用于通过初始特征提取网络提取待重建图像对应的初始图像特征；
特征蒸馏网络提取模块，用于通过残差特征蒸馏网络对初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；通过残差特征蒸馏网络提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；通过残差特征蒸馏网络将初始蒸馏特征、残差蒸馏特征和中间蒸馏特征进行合并，得到合并特征，对合并特征进行空间注意力特征提取，得到空间注意力特征；通过残差特征蒸馏网络将空间注意力特征与初始图像特征进行叠加，得到目标蒸馏特征；
重建网络重建模块，用于通过图像重建网络将目标蒸馏特征进行超分辨率图像重建，得到目标图像。
在一个实施例中，超分辨率图像重建模型包括级联的残差特征蒸馏网络，图像重建装置1700，还包括：
级联网络模块，用于将初始图像特征输入到级联的残差特征蒸馏网络中，通过级联的残差特征蒸馏网络中当前残差特征蒸馏网络对初始图像特征进行特征蒸馏，得到当前目标蒸馏特征；将当前目标蒸馏特征输入到与当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征；将级联的残差特征蒸馏网络作为当前残差特征蒸馏网络，并将级联目标蒸馏特征作为当前目标蒸馏特征，返回将当前目标蒸馏特征输入到与当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征的步骤执行，直到级联的残差特征蒸馏网络遍历完成时，得到各个目标蒸馏特征；将各个目标蒸馏特征进行特征融合，得到目标融合特征，将目标融合特征与初始图像特征进行叠加，得到最终蒸馏特征，基于最终蒸馏特征进行上采样重建，得到目标图像。
在一个实施例中，残差特征蒸馏网络包括初始特征蒸馏子网络和级联的蒸馏特征复用子网络，图像重建装置1700，还包括：
级联子网络模块，用于将初始图像特征输入到初始特征蒸馏子网络中进行特征蒸馏，得到初始蒸馏特征；将初始图像特征输入到级联的蒸馏特征复用子网络中，通过级联的蒸馏特征复用子网络中当前蒸馏特征复用子网络提取初始图像特征对应的残差特征，得到初始残差特征，对初始残差特征进行特征蒸馏，得到残差蒸馏特征；将残差蒸馏特征输入到与当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中，通过级联的蒸馏特征复用子网络提取残差蒸馏特征对应的残差特征，得到中间残差特征，对中间残差特征进行特征蒸馏，得到中间蒸馏特征；将中间蒸馏特征作为残差蒸馏特征，并将级联的蒸馏特征复用子网络作为当前蒸馏特征复用子网络，并返回将残差蒸馏特征输入到与当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中的步骤执行，直到级联的蒸馏特征复用子网络遍历完成时，得到各个中间蒸馏特征；将初始蒸馏特征、残差蒸馏特征和各个中间蒸馏特征进行拼接，得到融合特征。
在一个实施例中，图像重建装置1700，还包括：
训练模块，用于获取训练样本对，训练样本对包括训练图像和标签图像；将训练图像输入到初始超分辨率图像重建模型中，通过超分辨率图像重建模型提取训练图像对应的训练初始图像特征；通过初始超分辨率图像重建模型对训练初始图像特征进行特征蒸馏，得到训练初始蒸馏特征，并提取训练初始图像特征对应的残差特征，得到训练初始残差特征，对训练初始残差特征进行特征蒸馏，得到训练残差蒸馏特征；通过初始超分辨率图像重建模型提取训练残差蒸馏特征对应的残差特征，得到训练中间残差特征，对训练中间残差特征进行特征蒸馏，得到训练中间蒸馏特征；通过初始超分辨率图像重建模型将训练初始蒸馏特征、训练残差蒸馏特征和训练中间蒸馏特征进行融合，得到训练融合特征，对训练融合特征进行注意力特征提取，得到训练注意力特征；通过初始超分辨率图像重建模型将训练注意力特征与训练初始图像特征进行叠加，得到训练目标蒸馏特征，基于训练目标蒸馏特征进行超分辨率图像重建，得到训练目标图像；基于训练目标图像与标签图像进行损失计算，得到训练损失信息，基于训练损失信息更新初始超分辨率图像重建模型，得到更新超分辨率图像重建模型；将更新超分辨率图像重建模型作为初始超分辨率图像重建模型，并返回获取训练样本对的步骤迭代执行，直到达到训练完成条件时，得到超分辨率图像重建模型。
在一个实施例中，训练模块还用于计算训练目标图像与标签图像之间的像素误差，得到像素损失信息；计算训练目标图像与标签图像之间的结构相似性误差，得到结构损失信息；基于像素损失信息和结构损失信息得到训练损失信息。
在一个实施例中，图像重建装置1700，还包括：
视频重建模块，用于获取待超分视频，将待超分视频进行分帧，得到各个待超分图像；依次将各个待超分图像输入到超分辨率图像重建模型中进行图像重建，得到输出的各个目标图像；将各个目标图像进行合帧，得到超分辨率视频。
上述图像重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图18所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待重建图像数据以及训练样本对数据等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像重建方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图19所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像重建方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图18或者图19中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像重建方法，其特征在于，所述方法包括：
获取待重建图像对应的初始图像特征；
对所述初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取所述初始图像特征对应的残差特征，得到初始残差特征，对所述初始残差特征进行特征蒸馏，得到残差蒸馏特征；
提取所述残差蒸馏特征对应的残差特征，得到中间残差特征，对所述中间残差特征进行特征蒸馏，得到中间蒸馏特征；
将所述初始蒸馏特征、所述残差蒸馏特征和所述中间蒸馏特征进行融合，得到融合特征，对所述融合特征进行注意力特征提取，得到注意力特征；
将所述注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征，基于所述目标蒸馏特征进行超分辨率图像重建，得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述提取所述残差蒸馏特征对应的残差特征，得到中间残差特征，对所述中间残差特征进行特征蒸馏，得到中间蒸馏特征之后，还包括：
将所述中间蒸馏特征作为所述残差蒸馏特征，并返回提取所述残差蒸馏特征对应的残差特征，得到中间残差特征，对所述中间残差特征进行特征蒸馏，得到中间蒸馏特征的步骤执行，直到达到残差蒸馏完成条件时，得到各个中间蒸馏特征；
将所述初始蒸馏特征、所述残差蒸馏特征和所述中间蒸馏特征进行融合，得到融合特征，包括：
将所述初始蒸馏特征、所述残差蒸馏特征和所述各个中间蒸馏特征进行拼接，得到所述融合特征。
3.根据权利要求1所述的方法，其特征在于，在所述将所述注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征之后，还包括：
将所述目标蒸馏特征作为初始图像特征，并返回对所述初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取所述初始图像特征对应的残差特征，得到初始残差特征，对所述初始残差特征进行特征蒸馏，得到残差蒸馏特征的步骤执行，直到达到特征提取完成条件时，得到各个目标蒸馏特征；
将所述各个目标蒸馏特征进行特征融合，得到目标融合特征，将所述目标融合特征与所述初始图像特征进行叠加，得到最终蒸馏特征；
所述基于所述目标蒸馏特征进行超分辨率图像重建，得到目标图像，包括：
基于所述最终蒸馏特征进行上采样重建，得到所述目标图像。
4.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
将所述待重建图像输入到超分辨率图像重建模型中，通过所述超分辨率图像重建模型提取所述待重建图像对应的初始图像特征；
通过所述超分辨率图像重建模型对所述初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取所述初始图像特征对应的残差特征，得到初始残差特征，对所述初始残差特征进行特征蒸馏，得到残差蒸馏特征；
通过所述超分辨率图像重建模型提取所述残差蒸馏特征对应的残差特征，得到中间残差特征，对所述中间残差特征进行特征蒸馏，得到中间蒸馏特征；
通过所述超分辨率图像重建模型将所述初始蒸馏特征、所述残差蒸馏特征和所述中间蒸馏特征进行融合，得到融合特征，对所述融合特征进行注意力特征提取，得到注意力特征；
通过所述超分辨率图像重建模型将所述注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征，基于所述目标蒸馏特征进行超分辨率图像重建，得到目标图像。
5.根据权利要求4所述的方法，其特征在于，所述对所述融合特征进行注意力特征提取，得到注意力特征，包括：
基于所述融合特征进行跨步卷积运算，得到跨步卷积特征；
将所述跨步卷积特征进行最大池化运算，得到池化特征，将所述池化特征作为所述注意力特征；
所述将所述注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征，包括：
将所述池化特征与所述初始图像特征进行叠加，得到所述目标蒸馏特征。
6.根据权利要求4所述的方法，其特征在于，所述对所述融合特征进行注意力特征提取，得到注意力特征，包括：
基于所述融合特征进行空洞卷积运算，得到空洞卷积特征，将所述空洞卷积特征作为所述注意力特征；
所述将所述注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征，包括：
将所述空洞卷积特征与所述初始图像特征进行叠加，得到所述目标蒸馏特征。
7.根据权利要求4所述的方法，其特征在于，所述超分辨率图像重建模型包括初始特征提取网络、残差特征蒸馏网络和图像重建网络，所述方法，还包括：
通过所述初始特征提取网络提取所述待重建图像对应的初始图像特征；
通过所述残差特征蒸馏网络对所述初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取所述初始图像特征对应的残差特征，得到初始残差特征，对所述初始残差特征进行特征蒸馏，得到残差蒸馏特征；
通过所述残差特征蒸馏网络提取所述残差蒸馏特征对应的残差特征，得到中间残差特征，对所述中间残差特征进行特征蒸馏，得到中间蒸馏特征；
通过所述残差特征蒸馏网络将所述初始蒸馏特征、所述残差蒸馏特征和中间蒸馏特征进行合并，得到合并特征，对所述合并特征进行空间注意力特征提取，得到空间注意力特征；
通过所述残差特征蒸馏网络将所述空间注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征；
通过所述图像重建网络将所述目标蒸馏特征进行超分辨率图像重建，得到目标图像。
8.根据权利要求4所述的方法，其特征在于，所述超分辨率图像重建模型包括级联的残差特征蒸馏网络，所述方法，还包括：
将所述初始图像特征输入到级联的残差特征蒸馏网络中，通过所述级联的残差特征蒸馏网络中当前残差特征蒸馏网络对所述初始图像特征进行特征蒸馏，得到当前目标蒸馏特征；
将所述当前目标蒸馏特征输入到与所述当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征；
将所述级联的残差特征蒸馏网络作为当前残差特征蒸馏网络，并将所述级联目标蒸馏特征作为当前目标蒸馏特征，返回将所述当前目标蒸馏特征输入到与所述当前残差特征蒸馏网络级联的残差特征蒸馏网络中进行特征蒸馏，得到级联目标蒸馏特征的步骤执行，直到所述级联的残差特征蒸馏网络遍历完成时，得到各个目标蒸馏特征；
将所述各个目标蒸馏特征进行特征融合，得到目标融合特征，将所述目标融合特征与所述初始图像特征进行叠加，得到最终蒸馏特征，基于所述最终蒸馏特征进行上采样重建，得到所述目标图像。
9.根据权利要求4所述的方法，其特征在于，所述残差特征蒸馏网络包括初始特征蒸馏子网络和级联的蒸馏特征复用子网络，所述方法，还包括：
将所述初始图像特征输入到初始特征蒸馏子网络中进行特征蒸馏，得到初始蒸馏特征；
将所述初始图像特征输入到所述级联的蒸馏特征复用子网络中，通过所述级联的蒸馏特征复用子网络中当前蒸馏特征复用子网络提取所述初始图像特征对应的残差特征，得到初始残差特征，对所述初始残差特征进行特征蒸馏，得到所述残差蒸馏特征；
将所述残差蒸馏特征输入到与所述当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中，通过所述级联的蒸馏特征复用子网络提取所述残差蒸馏特征对应的残差特征，得到所述中间残差特征，对所述中间残差特征进行特征蒸馏，得到所述中间蒸馏特征；
将所述中间蒸馏特征作为残差蒸馏特征，并将所述级联的蒸馏特征复用子网络作为当前蒸馏特征复用子网络，并返回将所述残差蒸馏特征输入到与所述当前蒸馏特征复用子网络级联的蒸馏特征复用子网络中的步骤执行，直到所述级联的蒸馏特征复用子网络遍历完成时，得到各个中间蒸馏特征；
将所述初始蒸馏特征、所述残差蒸馏特征和所述各个中间蒸馏特征进行拼接，得到所述融合特征。
10.根据权利要求4所述的方法，其特征在于，所述超分辨率图像重建模型的训练包括以下步骤：
获取训练样本对，所述训练样本对包括训练图像和标签图像；
将所述训练图像输入到初始超分辨率图像重建模型中，通过所述超分辨率图像重建模型提取所述训练图像对应的训练初始图像特征；
通过所述初始超分辨率图像重建模型对所述训练初始图像特征进行特征蒸馏，得到训练初始蒸馏特征，并提取所述训练初始图像特征对应的残差特征，得到训练初始残差特征，对所述训练初始残差特征进行特征蒸馏，得到训练残差蒸馏特征；
通过所述初始超分辨率图像重建模型提取所述训练残差蒸馏特征对应的残差特征，得到训练中间残差特征，对所述训练中间残差特征进行特征蒸馏，得到训练中间蒸馏特征；
通过所述初始超分辨率图像重建模型将所述训练初始蒸馏特征、所述训练残差蒸馏特征和所述训练中间蒸馏特征进行融合，得到训练融合特征，对所述训练融合特征进行注意力特征提取，得到训练注意力特征；
通过所述初始超分辨率图像重建模型将所述训练注意力特征与所述训练初始图像特征进行叠加，得到训练目标蒸馏特征，基于所述训练目标蒸馏特征进行超分辨率图像重建，得到训练目标图像；
基于所述训练目标图像与所述标签图像进行损失计算，得到训练损失信息，基于所述训练损失信息更新所述初始超分辨率图像重建模型，得到更新超分辨率图像重建模型；
将所述更新超分辨率图像重建模型作为初始超分辨率图像重建模型，并返回获取训练样本对的步骤迭代执行，直到达到训练完成条件时，得到所述超分辨率图像重建模型。
11.根据权利要求10所述的方法，其特征在于，所述基于所述训练目标图像与所述标签图像进行损失计算，得到训练损失信息，包括：
计算所述训练目标图像与所述标签图像之间的像素误差，得到像素损失信息；
计算所述训练目标图像与所述标签图像之间的结构相似性误差，得到结构损失信息；
基于所述像素损失信息和所述结构损失信息得到所述训练损失信息。
12.根据权利要求4所述的方法，其特征在于，所述方法，还包括：
获取待超分视频，将所述待超分视频进行分帧，得到各个待超分图像；
依次将所述各个待超分图像输入到所述超分辨率图像重建模型中进行图像重建，得到输出的各个目标图像；
将所述各个目标图像进行合帧，得到超分辨率视频。
13.一种图像重建装置，其特征在于，所述装置包括：
特征获取模块，用于获取待重建图像对应的初始图像特征；
初始蒸馏模块，用于对所述初始图像特征进行特征蒸馏，得到初始蒸馏特征，并提取所述初始图像特征对应的残差特征，得到初始残差特征，对所述初始残差特征进行特征蒸馏，得到残差蒸馏特征；
中间蒸馏模块，用于提取所述残差蒸馏特征对应的残差特征，得到中间残差特征，对所述中间残差特征进行特征蒸馏，得到中间蒸馏特征；
特征融合模块，用于将所述初始蒸馏特征、所述残差蒸馏特征和所述中间蒸馏特征进行融合，得到融合特征，对所述融合特征进行注意力特征提取，得到注意力特征；
图像重建模块，用于将所述注意力特征与所述初始图像特征进行叠加，得到目标蒸馏特征，基于所述目标蒸馏特征进行超分辨率图像重建，得到目标图像。
14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701465.4A CN114782256B (zh) | 2022-06-21 | 2022-06-21 | 图像重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701465.4A CN114782256B (zh) | 2022-06-21 | 2022-06-21 | 图像重建方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782256A true CN114782256A (zh) | 2022-07-22 |
| CN114782256B CN114782256B (zh) | 2022-09-02 |
Family
ID=82421377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210701465.4A Active CN114782256B (zh) | 2022-06-21 | 2022-06-21 | 图像重建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782256B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
| CN110111256A (zh) * | 2019-04-28 | 2019-08-09 | 西安电子科技大学 | 基于残差蒸馏网络的图像超分辨重建方法 |
| WO2020097710A1 (pt) * | 2018-11-14 | 2020-05-22 | JÚNIOR, Edmar Maciel Lima | Processo de obtenção de pele de animal liofilizada, pele de animal liofilizada, uso da mesma e kit |
| CN113205456A (zh) * | 2021-04-30 | 2021-08-03 | 东北大学 | 一种面向实时视频会话业务的超分辨率重建方法 |
| CN113240580A (zh) * | 2021-04-09 | 2021-08-10 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| CN113837946A (zh) * | 2021-10-13 | 2021-12-24 | 中国电子技术标准化研究院 | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 |
| CN113837941A (zh) * | 2021-09-24 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
-
2022
- 2022-06-21 CN CN202210701465.4A patent/CN114782256B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020097710A1 (pt) * | 2018-11-14 | 2020-05-22 | JÚNIOR, Edmar Maciel Lima | Processo de obtenção de pele de animal liofilizada, pele de animal liofilizada, uso da mesma e kit |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
| CN110111256A (zh) * | 2019-04-28 | 2019-08-09 | 西安电子科技大学 | 基于残差蒸馏网络的图像超分辨重建方法 |
| CN113240580A (zh) * | 2021-04-09 | 2021-08-10 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| CN113205456A (zh) * | 2021-04-30 | 2021-08-03 | 东北大学 | 一种面向实时视频会话业务的超分辨率重建方法 |
| CN113837941A (zh) * | 2021-09-24 | 2021-12-24 | 北京奇艺世纪科技有限公司 | 图像超分模型的训练方法、装置及计算机可读存储介质 |
| CN113837946A (zh) * | 2021-10-13 | 2021-12-24 | 中国电子技术标准化研究院 | 一种基于递进蒸馏网络的轻量化图像超分辨率重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 孙晓鹏: ""面向真实场景的图像超分辨率重建算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 李明鸿: ""基于卷积神经网的单图像超分辨率技术研究"", 《中国优秀博硕士学位论文全文数据库(硕士)信 息科技辑》 * |
| 王素玉 等: ""基于双注意力机制信息蒸馏网络的图像超分辨率复原算法"", 《计算机应用》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782256B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Cheng et al. | Zero-shot image super-resolution with depth guided internal degradation learning | |
| CN111127331B (zh) | 基于像素级全局噪声估计编解码网络的图像去噪方法 | |
| CN114418853B (zh) | 基于相似图像检索的图像超分辨率优化方法、介质及设备 | |
| CN110874575A (zh) | 一种脸部图像处理方法及相关设备 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
| Chen et al. | Deep light field spatial super-resolution using heterogeneous imaging | |
| CN112785502A (zh) | 一种基于纹理迁移的混合相机的光场图像超分辨率方法 | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN116912148A (zh) | 图像增强方法、装置、计算机设备及计算机可读存储介质 | |
| CN116977200A (zh) | 视频去噪模型的处理方法、装置、计算机设备和存储介质 | |
| CN114782256B (zh) | 图像重建方法、装置、计算机设备和存储介质 | |
| CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
| CN116630152A (zh) | 图像分辨率重建方法、装置、存储介质及电子设备 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 | |
| CN115272667A (zh) | 农田图像分割模型训练方法、装置、电子设备和介质 | |
| CN114627293A (zh) | 基于多任务学习的人像抠图方法 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Xu et al. | Color Guided Depth Map Super-Resolution with Nonlocla Autoregres-Sive Modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40070800 Country of ref document: HK |