CN111932464A - 超分辨率模型使用和训练方法、装置、设备及介质 - Google Patents

超分辨率模型使用和训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN111932464A
CN111932464A CN202010986264.4A CN202010986264A CN111932464A CN 111932464 A CN111932464 A CN 111932464A CN 202010986264 A CN202010986264 A CN 202010986264A CN 111932464 A CN111932464 A CN 111932464A
Authority
CN
China
Prior art keywords
feature
super
depth image
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010986264.4A
Other languages
English (en)
Other versions
CN111932464B (zh
Inventor
宋希彬
张良俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010986264.4A priority Critical patent/CN111932464B/zh
Publication of CN111932464A publication Critical patent/CN111932464A/zh
Application granted granted Critical
Publication of CN111932464B publication Critical patent/CN111932464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种超分辨率模型使用和训练方法、装置、设备及介质，涉及计算机视觉技术领域。具体实现方案为：获取待处理深度图像；根据预先训练好的超分辨率模型，对待处理深度图像进行处理，得到目标深度图像；其中，超分辨率模型包括至少两个级联的基本处理单元；基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为待处理深度图像。本申请实施例提高了目标深度图像素所包含的高频信息的全面性和丰富度，进而提高了深度图像的复原精度。

Description

超分辨率模型使用和训练方法、装置、设备及介质
技术领域
本申请涉及图像处理技术领域，尤其涉及计算机视觉领域，具体涉及一种超分辨率模型使用和训练方法、装置、设备及介质。
背景技术
深度图像超分辨率是指从一张或多张低分辨率(Low Resolution，LR)图像中重建高分辨率(High Resolution，HR)深度图像，被广泛应用于图像分割、物体检测和场景三维重建等领域。
在深度图像中，像素值代表了物体与深度图像采集装置之间的距离，因此深度图像中的纹理信息在距离识别中扮演着重要角色。然而，受限于现有的深度图像采集装置的分辨率，深度图像的分辨率和图像质量远远低于彩色图像。造成彩色图像和深度图像信息不对等，使得在实际使用过程中很多有效的彩色信息直接被丢弃，无法实现数据的充分利用。
发明内容
本申请公开了一种复原精度更高的超分辨率模型使用和训练方法、装置、设备及介质。
根据本申请的一方面，提供了一种超分辨率模型使用方法，包括：
获取待处理深度图像；
根据预先训练好的超分辨率模型，对所述待处理深度图像进行处理，得到目标深度图像；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述待处理深度图像。
根据本申请的另一方面，提供了一种超分辨率模型训练方法，包括：
获取训练样本深度图像和与所述训练样本深度图像关联的训练标准深度图像；
将所述训练样本深度图像和所述训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述训练样本深度图像。
根据本申请的另一方面，提供了一种超分辨率模型使用装置，包括：
待处理深度图像获取模块，用于获取待处理深度图像；
目标深度图像得到模块，用于根据预先训练好的超分辨率模型，对所述待处理深度图像进行处理，得到目标深度图像；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述待处理深度图像。
根据本申请的另一方面，提供了一种超分辨率模型训练装置，包括：
深度图像获取模块，用于获取训练样本深度图像和与所述训练样本深度图像关联的训练标准深度图像；
超分辨率模型训练模块，用于将所述训练样本深度图像和所述训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述训练样本深度图像。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例所提供的任意一种超分辨率模型使用方法；和/或，执行本申请实施例所提供的任意一种超分辨率模型训练方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例所提供的任意一种超分辨率模型使用方法；和/或，执行本申请实施例所提供的任意一种超分辨率模型训练方法。
本申请实施例提高了超分辨率模型的深度图像复原精度。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种超分辨率模型使用方法的流程图；
图2是本申请实施例提供的一种超分辨率模型的结构示意图；
图3是本申请实施例提供的另一种超分辨率模型的结构示意图；
图4是本申请实施例提供的一种基本处理单元的结构示意图；
图5是本申请实施例提供的另一种基本处理单元的结构示意图；
图6是本申请实施例提供的另一种基本处理单元的结构示意图；
图7是本申请实施例提供的通道级特征增强模块的增强过程示意图；
图8是本申请实施例提供的像素级特征增强模块的增强过程示意图；
图9是本申请实施例提供的一种超分辨率模型训练方法的流程图；
图10是本申请实施例提供的一种超分辨率模型的结构示意图；
图11是本申请实施例提供的另一种超分辨率模型的结构示意图；
图12是本申请实施例提供的一种超分辨率模型使用装置的结构图；
图13是本申请实施例提供的一种超分辨率模型训练装置的结构图；
图14是用来实现本申请实施例的超分辨率模型使用或训练方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请实施例提供的各超分辨率模型使用方法，适用于在计算机视觉领域使用训练好的超分辨率模型对深度图像进行超分辨率重建的情况，该方法由超分辨率模型使用装置执行，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
图1是本申请实施例提供的一种超分辨率模型使用方法的流程图，该方法包括：
S101、获取待处理深度图像。
其中，深度图像也被称为距离影像，是指将图像采集装置到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。由于深度图像的图像采集装置的分辨率有限，因此需要对深度图像采集装置所获取的深度图像进行超分辨率重建。
示例性地，获取待处理深度图像，可以是直接从电子设备本地或与电子设备关联的其他存储设备中进行待处理深度图像的获取。当然，为了保证对所采集的深度图像的实时处理，还可以直接从深度图像采集装置中进行待处理深度图像的实时或定时获取。
需要说明的是，所获取的待处理深度图像需要与期望得到的超分辨率后的目标深度图像，两者的数据大小相等，也即对应的深度图像的数据矩阵的矩阵大小相等。当所获取的待处理深度图像与期望得到的超分辨率后的目标深度图像，两者的数据大小不等时，还需要对待处理深度图像进行上采样处理，以得到与期望得到的超分辨率后的目标深度图像大小相同的深度图像，将该深度图像作为新的待处理深度图像，进行后续超分辨率重建处理。
其中，上采样处理可以通过非线性插值的方式加以实现，例如可以采用最近邻插值(Nearest Neighbor Interpolation)、双三次插值(Bicubic Interpolation)或双线性插值(Bilinear Interpolation)等。
S102、根据预先训练好的超分辨率模型，对待处理深度图像进行处理，得到目标深度图像。
其中，超分辨率模型包括至少两个级联的基本处理单元；基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为待处理深度图像。
图2是本申请实施例提供的一种超分辨率模型的结构示意图，其中，该超分辨模型中包括至少基本处理单元，各基本处理单元首位连接，其中相邻的两个基本处理单元，在前基本处理单元的单元输出数据作为在后基本处理单元的单元输入数据。其中，在首的基本处理单元的单元输入数据为待处理深度图像，在末尾的基本处理单元的单元输出数据待处理深度图像的超分辨率结果。由于超分辨率模型中各基本处理单元均对单元输入数据进行了高频信息复原，因此，超分辨率模型最终输出的目标深度图像包含有丰富全面的高频信息，所以目标深度图像较待处理深度图像而言，具备更高的分辨率。其中，高频信息包括深度图像中的边缘信息，用于反映深度图像所对应物体的边缘轮廓的连接情况。
本申请实施例通过包括至少两个级联的基本处理单元的超分辨率模型，对待处理深度图像依次进行超分辨率重建，逐步实现对基本处理单元的单元输入数据的高频信息的迭代式渐进复原，从而使最终得到的目标深度图像所包含的高频信息更加全面、丰富，进而提高了深度图像的复原精度。
为了充分利用超分辨率重建过程中的中间信息，在本申请实施例的另一可选实施方式中，超分辨率模型还可以采用层级网络结构。参见图3所示的另一种超分辨率模型的结构示意图。其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
其中，图3中的(a)图，示意性给出了超分辨率模型包括两个网络层级的情况。其中，虚线以上部分为高层级，虚线以下部分为低层级，较高层级的基础处理单元，根据较低层级的至少两个基础处理单元的单元输出数据，进行单元输入数据的确定。
图3中的(b)图，示意性给出了超分辨率模型包括三个网络层级的情况，其中，通过虚线将超分辨率模型分为三个网络层级，其中最下面部分为低层级。最上面部分为高层级，中间部分为中间层级。较高层级的基础训练单元根据较低层级的至少两个基础处理单元的单元输出数据，进行单元输入数据的确定。
需要说明的是，图3中的(a)图和(b)图仅示例性给出了两种超分辨率模型的层级结构和各基础处理单元的连接关系，本申请实施例不对超分辨率模型的具体结构进行限定。
可选的，至少一个层级中包括的基本处理单元的单元输入数据，可以通过对其他层级的至少两个基本处理单元的单元输出数据，进行数据融合得到。其中，数据融合处理可以是像素级加法处理或拼接处理等。当然，为了保证不同基本处理单元的单元输出数据的大小一致性，典型是采用像素级加法的方式进行数据融合处理。
可以理解的是，通过至少一个基本处理单元将至少两个处理单元的单元输出数据进行融合，能够充分利用至少部分基本处理单元的单元输出数据，并通过新的基本处理单元对这些单元输出数据进行超分辨率重建，能够避免高频信息的遗漏，从而保证了使用超分辨率模型最终得到的目标深度图像所恢复的高频信息的全面性，进而提高了目标深度图像的复原精度。
为了清楚的获知基本处理单元对单元输入数据的超分辨重建过程，以下将对各基本处理单元的结构组成进行解释说明。
如图4所示的一种基本处理单元的结构示意图可知，基本处理单元包括特征提取模块和图像重建模块；特征提取模块和图像重建模块顺次连接。
其中，特征提取模块，用于对单元输入数据进行特征提取，得到初始特征数据；
图像重建模块，用于根据初始特征数据和单元输入数据进行图像重建，得到单元输出数据。
具体的，特征提取模块通过对单元输入数据中的高频信息进行特征提取，得到初始特征数据，用于表征深度图像中隐含的或不太明显的高频信息对应的特征数据。图像重建模块对初始特征数据进行图像重建，能够得到深度图像中隐含的或不太明显的高频信息；将得到的高频信息与单元输入数据进行像素叠加，得到单元输出数据。由于单元输出数据在单元输入数据的基础上，叠加有高频信息，从而实现了对单元输入数据的高频复原，提高了单元输出数据的分辨率。
针对每个基本处理单元，为了达到进一步提高单元输出数据的分辨率的效果，从而提高最终得到的目标深度图像的复原精度，本申请实施例还提供了另一种基本处理单元，通过在基本处理单元中引入特征增强模块，实现了对所提取的高频信息的特征数据的特征增强，从而强化了图像重建过程中的高频信息。
参见图5所示的另一种基本处理单元的结构示意图，该基本处理单元包括特征提取模块、特征增强模块和图像重建模块；特征提取模块、特征增强模块和图像重建模块顺次连接。
其中，特征提取模块，用于对单元输入数据进行特征提取，得到初始特征数据；
特征增强模块，用于对初始特征数据在预设维度进行特征增强，得到目标特征数据；
图像重建模块，用于根据目标特征数据和单元输入数据进行图像重建，得到单元输出数据。
具体的，特征提取模块通过对单元输入数据中的高频信息进行特征提取，得到初始特征数据，用于表征深度图像中隐含的或不太明显的高频信息对应的初始特征数据。特征增强模块，用于从预设维度对初始特征数据进行特征增强，得到目标特征数据，从而达到对初始特征数据中的高频信息进行强化的目的。图像重建模块对目标特征数据进行图像重建，能够得到强化后的深度图像中隐含的或不太明显的高频信息，使得重建所得到的高频信息准确度更高。同时，还通过图像重建模块将得到的高频信息与单元输入数据进行像素叠加，得到单元输出数据，实现了对单元输入数据的高频复原，提高了单元输出数据的分辨率。
需要说明的是，特征增强模块可以从一个维度对初始特征数据进行特征增强。为了进一步提高所重建的单元输出数据所包含的高频信息的全面性和准确度，还可以从至少两个特征维度，对初始特征数据进行特征增强。
参见图6所示的另一种基本处理单元的结构示意图，示例性地，在该基本处理单元中，特征增强模块的数量为至少两个，相应的，基本处理单元还包括特征融合模块；各特征增强模块并联在特征提取模块和特征融合模块之间；特征融合模块与图像重建模块顺次连接。其中，特征融合模块，用于将各特征增强模块的目标特征数据进行特征融合。其中，特征融合可以是像素叠加融合，还可以是矩阵拼接融合。
当采用至少两个特征维度对初始特征数据进行特征增强时，所选用的至少两个特征维度可以存在至少部分交叉，特征维度的涵盖，以达到协同增强的目的。
在一种可选实施方式下，特征增强模块包括局部特征增强模块和全局特征增强模块；其中，局部特征增强模块，用于对初始特征数据在第一特征维度进行局部特征增强，得到第一特征维度下的目标特征数据；全局特征增强模块，用于对初始特征数据在第二特征维度进行全局特征增强，得到第二特征维度下的目标特征数据；其中第二特征维度涵盖第一特征维度。
可以理解的是，分别对初始特征数据进行局部特征增强和全局特征增强，使得从局部对应的第一特征维度，以及从全局对应的第二特征维度，进行高频特征的分别增强，提高了最终得到的目标特征数据中所涵盖高频特征的全面性；通过设置第二特征维度涵盖第一特征维度，实现了对高频特征的协同增强，从而提高了最终得到的目标特征数据中所涵盖高频特征的准确度。
可选的，第一特征维度可以是像素级维度，第二特征维度可以是通道级维度，从而分别在像素级维度和通道级维度下进行高频特征的同步增强和协同增强，提高了最终得到的目标特征数据中高频特征的全面性和准确度。
需要说明的是，由于基本处理单元中包含有特征增强模块，对所提取的高频特征进行特征增强，从而提高了基本处理单元的超分辨能力。因此，后续将对特征增强模块的特征增强原理，进行详细说明。
可选的，对初始特征数据在预设维度进行特征增强，得到目标特征数据，可以是：对初始特征数据进行卷积处理，得到待增强特征数据；根据待增强特征数据和初始特征数据，确定预设维度下的增益矩阵；根据增益矩阵更新待增强特征数据，得到目标特征数据。
其中，待增强特征数据用于表征所提取的高频特征；增益矩阵用于表征对待增强特征数据进行特征增强时的数据增量。
示例性地，通过对初始特征数据进行卷及处理，得到待增强特征数据，用于表征初始特征数据中的高频特征；根据待增强特征数据和初始特征数据，进行预设维度下的增益矩阵的确定，并根据增益矩阵中各像素点对应的增量值，对待增强特征数据相应像素点中的像素值进行叠加，得到目标特征数据，从而实现了对待增强特征中高频特征的增强处理，完善了特征增强机制，进而为后续进行图像重建提供了数据支撑，为提高基础处理单元的单元输出结果中高频特征的准确度奠定基础。
可选的，根据待增强特征数据和初始特征数据，确定预设维度下的增益矩阵，可以是：在预设维度下，对初始特征数据进行特征变换，得到初始权重矩阵；对初始权重矩阵进行归一化处理，得到目标权重矩阵；对待增强特征数据和目标权重矩阵进行矩阵乘法，得到增益矩阵。
具体的，对初始特征数据进行卷积处理，得到中间特征数据；对中间特征数据进行结构调整，中间特征数据调整为预设特征维度下的初始权重矩阵，用于表征对待增强特征数据中不同像素点的增强程度。为了突出对高频特征的增强效果，提高高频特征与非高频特征之间的差异度，还需要通过设定激活函数，对初始权重矩阵进行归一化处理，得到目标权重矩阵；确定待增强特征数据和目标权重矩阵的矩阵乘法，并将乘积结果作为增益矩阵，从而通过将增益矩阵通过像素累加的方式，叠加至待增强特征数据中，实现对待增强特征数据的增强处理。
以全局特征增强模块为通道级特征增强模块为例，对在通道级维度下的特征增强过程进行详细说明。参见图7所示的通道级特征增强模块的增强过程示意图。其中，初始特征数据为F(c×h×w)，c表示通道，h表示高度，w表示宽度。
首先，对初始特征数据为F(c×h×w)依次经过卷积处理(conv)和结构调整处理(reshape)，分别得到通道级维度下的两种中间特征数据Qc(c×(h*w))和Hc((h*w)×c)，实现了对所提取的高频特征的形式变换，为后续进行通道级权重的确定，奠定基础。然后，将中间特征数据Qc(c×(h*w))和Hc((h*w)×c)进行矩阵乘法，得到初始权重矩阵Mc(c×c)，用于作为后续增益矩阵的确定依据。另外，通过归一化函数(例如softmax函数)对初始权重矩阵Mc(c×c)进行归一化处理，得到目标权重矩阵Mc'(c×c)。再者，对初始特征数据为F(c×h×w)进行卷积处理(conv)，得到待增强特征数据Fc'(c×h×w)，用于表征初始特征数据中的高频特征。然后，通过目标权重矩阵Mc'(c×c)和待增强特征数据Fc'(c×h×w)进行矩阵乘法，实现对待增强特征数据F'(c×h×w)的加权处理，从而得到增益矩阵Fhc(c×h×w)，用于表征对待增强特征数据中不同像素点对应的高频特征的增益增量。最后，通过将增益矩阵Fhc(c×h×w)和待增强特征数据Fc'(c×h×w)进行像素级加法，得到最终进行通道级增强后的特征Fc(c×h×w)。
以局部特征增强模块为像素级特征增强模块为例，对在像素级维度下的特征增强过程进行详细说明。参见图8所示的像素级特征增强模块的增强过程示意图。其中，初始特征数据为F(c×h×w)，c表示通道，h表示高度，w表示宽度。
首先，对初始特征数据为F(c×h×w)依次经过卷积处理(conv)和结构调整处理(reshape)，分别得到像素级维度下的两种中间特征数据Qp(c×(h*w))和Hp((h*w)×c)，实现了对所提取的高频特征的形式变化，为后续进行像素级权重的确定，奠定基础。然后，将中间特征数据Qc(c×(h*w))和Hc((h*w)×c)进行矩阵乘法，得到初始权重矩阵Mp((h*w)×(h*w))，用于作为后续增益矩阵的确定依据。另外，通过归一化函数(例如softmax函数)对初始权重矩阵Mp((h*w)×(h*w))进行归一化处理，得到目标权重矩阵Mp'((h*w)×(h*w))。再者，对初始特征数据为F(c×h×w)进行卷积处理(conv)，得到待增强特征数据Fp'(c×h×w)，用于表征初始特征数据中的高频特征。然后，通过目标权重矩阵Mp'((h*w)×(h*w))和待增强特征数据Fp'(c×h×w)进行矩阵乘法，实现对待增强特征数据Fp'(c×h×w)的加权处理，从而得到增益矩阵Fhp(c×h×w)，用于表征待增强特征数据中不同像素点对应的高频特征的增益增量。最后，通过将增益矩阵Fhp(c×h×w)和待增强特征数据Fp'(c×h×w)进行像素级加法，得到最终进行像素级增强后的特征Fp(c×h×w)。
需要说明的是，在对初始特征数据进行通道级增强和像素级过程中，在进行中间特征数据生成时，采用的卷积层数量、每层卷积核参数、或卷积核大小的大小可以相同或不同；在进行待增强特征数据生成时，采用的卷积层数量、每层卷积核参数、或卷积核大小的大小可以相同或不同。
相应的，通过将通道级增强后的特征Fc(c×h×w)和像素级增强后的特征Fp(c×h×w)进行数据融合，为后续图像重建模块提供了数据支撑。
示例性地，若通过像素叠加的方式进行数据融合，为了进一步提高高频信息重建结果的准确度，还可以在进行数据融合式，分别针对通道级特征增强后的特征和像素级增强后的特征设置不同的融合权重，对通过加权和的方式进行像素加法运算，得到融合后的目标特征数据。
需要说明的是，由于在视觉感知、增强现实(Augmented Reality，AR)、三维场景重建、虚拟现实(Virtual Reality，VR)等场景下均会涉及深度图像采集，因此，可以采用本申请实施例中的超分辨率模型使用方法，将所采集的深度图像作为待处理深度图像，进行高频信息复原，从而得到分辨率更高的深度图像，以便进行后续处理。本申请实施例还提供了超分辨率模型训练方法，适用于具备对计算机视觉领域的深度图像进行超分辨率重建功能的超分辨率模型的训练情况，该方法由超分辨率模型训练装置执行，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
需要说明的是，进行超分辨率模型使用的电子设备和进行超分辨率模型训练的电子设备可以是相同或不同的设备。
图9是本申请实施例提供的一种超分辨率模型训练方法的流程图，该方法包括：
S201、获取训练样本深度图像和与训练样本深度图像关联的训练标准深度图像。
可选的，可以从训练样本数据集中选取部分已有的包含高分辨率深度图像的深度图像，作为训练样本深度图像；获取相应的高分辨率深度图像作为训练样本深度图像关联的训练标准深度图像；将各训练样本深度图像和对应的训练标准深度图像作为训练样本对构建训练样本集。
可选的，对于高分辨率深度图像，采用非线性处理方式，对高分辨率深度图像进行降采样处理，得到低分辨率图像；将得到的低分辨率图像作为训练样本深度图像，将相应的高分辨率深度图像作为训练标准深度图像，构建训练样本集。
示例性地，可以采用最大值采样、平均值采样、求和区域采样或随机区域采样等方法，对高分辨率深度图像进行降采样处理。
S202、将训练样本深度图像和训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练。
其中，超分辨率模型包括至少两个级联的基本处理单元；基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为训练样本深度图像。
具体的，从上述构建的训练样本集中获取多个训练样本对，对预先构建的超分辨率模型进行训练，以优化超分辨率模型中各基本处理单元中的网络参数。
参见图10所示的一种超分辨率模型的结构示意图，其中，该超分辨率模型包括至少两个基本处理单元，各基本处理单元首位连接，其中相邻的两个基本处理单元，在前基本处理单元的单元输出数据作为在后基本处理单元的单元输入数据。其中，在首的基本处理单元的单元输入数据为训练样本深度图像，在末尾的基本处理单元的单元输出数据训练样本深度图像的训练样本预测结果。由于期望的超分辨率模型中各基本处理单元均对单元输入数据进行了高频信息复原，因此，超分辨率模型最终输出的训练样本预测结果理论上应包含有丰富全面的高频信息，所以理想情况下，训练样本预测结果较训练样本深度图像而言，具备更高的分辨率。其中，高频信息包括深度图像中的边缘信息，用于反映深度图像所对应物体的边缘轮廓的连接情况。
本申请实施例通过对包含有至少两个级联的基本处理单元的超分辨率模型进行训练，每个基本处理单元用于对单元输入数据进行超分辨率处理，从而初步实现对基本处理单元的单元输入数据的高频信息的迭代式渐进复原，使得所训练的超分辨率模型所复原的高频信息更加全面、丰富，进而提高了超分辨率模型的深度图像的复原精度，提高了超分辨率模型的模型性能。
为了充分利用超分辨率重建过程中的中间信息，从而提高所训练的超分辨率模型的超分辨能力，在本申请实施例的另一可选实施方式中，超分辨率模型还可以采用层级网络结构。参见图11所示的另一种超分辨率模型的结构示意图。其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
其中，图11中的(a)图，示意性给出了超分辨率模型包括两个网络层级的情况。其中，虚线以上部分为高层级，虚线以下部分为低层级，较高层级的基础处理单元，根据较低层级的至少两个基础处理单元的单元输出数据，进行单元输入数据的确定。
图11中的(b)图，示意性给出了超分辨率模型包括三个网络层级的情况，其中，通过虚线将超分辨率模型分为三个网络层级，其中最下面部分为低层级。最上面部分为高层级，中间部分为中间层级。较高层级的基础训练单元根据较低层级的至少两个基础处理单元的单元输出数据，进行单元输入数据的确定。
需要说明的是，图11中的(a)图和(b)图仅示例性给出了两种超分辨率模型的层级结构和各基础处理单元的连接关系，本申请实施例不对超分辨率模型的具体结构进行限定。
可选的，至少一个层级中包括的基本处理单元的单元输入数据，可以对其他层级的至少两个基本处理单元的单元输出数据进行数据融合得到。其中，数据融合处理可以是像素级加法处理或拼接处理等。当然，为了保证不同基本处理单元的单元输出数据的大小一致性，典型是采用像素级加法的方式进行数据融合处理。
可以理解的是，通过至少一个基本处理单元将至少两个处理单元的单元输出数据进行融合，能够充分利用至少部分基本处理单元的单元输出数据，并通过新的基本处理单元对这些单元输出数据进行超分辨率重建，能够避免高频信息的遗漏，从而保证了使用超分辨率模型最终得到的目标深度图像所恢复的高频信息的全面性，进而提高了目标深度图像的复原精度。
在本申请实施例的一个可选实施方式中，将训练样本深度图像和训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练，可以是：将训练样本深度图像输入至预先构建的超分辨率模型中，得到训练样本预测深度图像；确定训练样本预测深度图像与训练标准深度图像之间的残差；根据所确定的残差对超分辨率模型中各基本处理单元中的网络参数进行调整，直至满足训练终止条件。其中，训练终止条件可以是最终确定的残差满足设定残差阈值、训练样本数达到设定数量阈值、和训练次数满足设定次数阈值等中的至少一种。其中，设定残差阈值、设定数量阈值和设定次数阈值可以由技术人员根据需要或经验值进行确定，或通过大量试验反复确定。
为了提高超分辨率模型的模型训练效率，在本申请实施例的另一可选实施方式中，将训练样本深度图像和训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练，还可以是：根据各基本处理单元的单元输出数据和训练标准深度图像之间的残差，对超分辨率模型中各基本处理单元的网络参数进行调整。
具体的，针对每个基本处理单元，分别确定对应的单元输出数据与训练标准深度图像之间的单元残差；计算各基本处理单元的单元残差的和值，并根据所计算的和值，对超分辨率模型中各基本处理单元的网络参数进行对应调整。
可以理解的是，在进行超分辨率模型训练过程中，通过引入各基本处理单元的单元残差，能够兼顾不同基本处理单元的超分辨能力，避免了由于单一基本处理单元的超分辨能力不足，避免了模型训练过程中所调整的基本处理单元与超分辨能力较差的基本处理单元不一致，对模型训练周期的影响，从而提高了超分辨率模型的模型训练效率。
通常情况下，对模型进行训练时，需要进行多次阶段性训练，才能得到性能较好的训练模型。并在每一阶段进行模型训练时，对所训练好的模型进行模型评价，根据评价结果反向指导模型的训练情况，以缩短模型训练周期，提高模型训练效率。示例性地，方向指导模型的训练情况，可以是通过进行特定训练样本对的选取、训练次数的调整和模型结构的调整等中的至少一种方式，进行超分辨率模型的再训练。
在申请实施例的一个可选实施方式中，在上述各实施例的技术方案的基础上，在对预先构建的超分辨率模型进行训练之后，还包括：将测试样本深度图像输入至训练好的超分辨率模型中，得到预测深度图像；根据预测深度图像和测试标准深度图像之间的残差，调整超分辨率模型的模型结构；对调整后的超分辨率模型进行再训练。
可以理解的是，通过引入预测深度图像和测试标准深度图像之间的残差，对训练好的超分辨率模型进行模型评价，能够有效获知当前训练好的超分辨率模型的模型性能，从而对超分辨率模型的模型结果的可行性提供参照。当模型因为过拟合或欠拟合情况导致上述残差较大时，可以通过调整超分辨率模型的模型结构的方式，实现对超分辨率模型的网络构成的更新，从而避免了因为模型结构不合理，导致的模型性能不佳的情况。
可选的，可以从测试样本数据集中选取部分已有的包含高分辨率深度图像的深度图像，作为测试样本深度图像；获取相应的高分辨率深度图像作为测试样本深度图像关联的测试标准深度图像；将各测试样本深度图像和对应的测试标准深度图像作为测试样本对构建测试样本集。
可选的，对于高分辨率深度图像，采用非线性处理方式，对高分辨率深度图像进行降采样处理，得到低分辨率图像；将得到的低分辨率图像作为测试样本深度图像，将相应的高分辨率深度图像作为测试标准深度图像，构建测试样本集。
示例性地，可以采用最大值采样、平均值采样、求和区域采样或随机区域采样等方法，对高分辨率深度图像进行降采样处理。
可选的，调整超分辨率模型的模型结构，可以是：调整超分辨率模型中的基础处理单元的数量和/或连接关系，从而及时矫正超分辨率模型出现的过拟合或欠拟合情况，在提高模型超分辨率精度同时，缩短超分辨率模型的训练周期，提高超分辨率模型的训练效率。
示例性地，当超分辨率模型出现过拟合情况时，可以减少超分辨率模型中基础处理单元的数量，和/或，减少超分辨率模型中的网络层级；当超分辨率模型出现欠拟合情况时，可以增加超分辨率模型中基础处理单元的数量，和/或，增加超分辨率模型中的网络层级。
可以理解的是，对超分辨率模型中的网络层级的调整，可以理解为对基本处理单元的连接关系的调整，通过增加根据至少两个基本处理单元的单元输出数据确定单元输入数据的基本处理单元的数量，即可实现网络层级的增加；通过减少根据至少两个基本处理单元的单元数据确定单元输入数据的基本处理单元的数量，即可实现网络层级的减少。
本申请实施例提供的各超分辨率模型使用装置，适用于在计算机视觉领域使用训练好的超分辨率模型对深度图像进行超分辨率重建的情况，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
如图12所示的超分辨率模型使用装置300，包括：待处理深度图像获取模块301和目标深度图像得到模块302。其中，
待处理深度图像获取模块301，用于获取待处理深度图像；
目标深度图像得到模块302，用于根据预先训练好的超分辨率模型，对待处理深度图像进行处理，得到目标深度图像；
其中，超分辨率模型包括至少两个级联的基本处理单元；基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为待处理深度图像。
本申请实施例通过包括至少两个级联的基本处理单元的超分辨率模型，对待处理深度图像依次进行超分辨率重建，逐步实现对基本处理单元的单元输入数据的高频信息的迭代式渐进复原，从而使最终得到的目标深度图像所包含的高频信息更加全面、丰富，进而提高了深度图像的复原精度。
进一步地，超分辨率模型为层级网络结构；其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
进一步地，基本处理单元包括特征提取模块、特征增强模块和图像重建模块；特征提取模块、特征增强模块和图像重建模块顺次连接；
其中，特征提取模块，用于对单元输入数据进行特征提取，得到初始特征数据；
特征增强模块，用于对初始特征数据在预设维度进行特征增强，得到目标特征数据；
图像重建模块，用于根据目标特征数据和单元输入数据进行图像重建，得到单元输出数据。
进一步地，特征增强模块的数量为至少两个；基本处理单元还包括特征融合模块；
各特征增强模块并联在特征提取模块和特征融合模块之间；特征融合模块与图像重建模块顺次连接；
特征融合模块，用于将各特征增强模块的目标特征数据进行特征融合。
进一步地，特征增强模块包括局部特征增强模块和全局特征增强模块；
局部特征增强模块，用于对初始特征数据在第一特征维度进行局部特征增强，得到第一特征维度下的目标特征数据；
全局特征增强模块，用于对初始特征数据在第二特征维度进行全局特征增强，得到第二特征维度下的目标特征数据；
其中，第二特征维度涵盖第一特征维度。
进一步地，第一特征维度为像素级维度；第二特征维度为通道级维度。
进一步地，特征增强模块，包括：
卷积处理子模块，用于对初始特征数据进行卷积处理，得到待增强特征数据；
增益确定子模块，用于根据待增强特征数据和初始特征数据，确定预设维度下的增益矩阵；
特征增强子模块，用于根据增益矩阵更新待增强特征数据，得到目标特征数据。
进一步地，增益确定子模块，包括：
权重确定从模块，用于在预设维度下，对初始特征数据进行特征变换，得到初始权重矩阵；
归一化处理从模块，用于对初始权重矩阵进行归一化处理，得到目标权重矩阵；
增益确定从模块，用于对待增强特征数据和目标权重矩阵进行矩阵乘法，得到增益矩阵。
上述超分辨率模型使用装置，可执行本发明任意实施例所提供的超分辨率模型使用方法，具备执行超分辨率模型使用方法相应的功能模块和有益效果。
本申请实施例提供的各超分辨率模型训练装置，适用于具备对计算机视觉领域的深度图像进行超分辨率重建功能的超分辨率模型的训练情况，该装置采用软件和/或硬件实现，并具体配置于电子设备中。
需要说明的是，进行超分辨率模型使用的电子设备和进行超分辨率模型训练的电子设备可以是相同或不同的设备。
如图13所示的一种超分辨率模型训练装置400，包括：深度图像获取模块401和超分辨率模型训练模块402。其中，
深度图像获取模块401，用于获取训练样本深度图像和与训练样本深度图像关联的训练标准深度图像；
超分辨率模型训练模块402，用于将训练样本深度图像和训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练；
其中，超分辨率模型包括至少两个级联的基本处理单元；基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为训练样本深度图像。
本申请实施例通过对包含有至少两个级联的基本处理单元的超分辨率模型进行训练，每个基本处理单元用于对单元输入数据进行超分辨率处理，从而初步实现对基本处理单元的单元输入数据的高频信息的迭代式渐进复原，使得所训练的超分辨率模型所复原的高频信息更加全面、丰富，进而提高了超分辨率模型的深度图像的复原精度，提高了超分辨率模型的模型性能。
进一步地，超分辨率模型为层级网络结构；其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
进一步地，超分辨率模型训练模块402，包括：
网络参数调整子模块，用于根据各基本处理单元的单元输出数据和训练标准深度图像之间的残差，对超分辨率模型中各基本处理单元的网络参数进行调整。
进一步地，装置还包括：
深度图像预测模块，用于在对预先构建的超分辨率模型进行训练之后，将测试样本深度图像输入至训练好的超分辨率模型中，得到预测深度图像；
模型结构调整模块，用于根据预测深度图像和测试标准深度图像之间的残差，调整超分辨率模型的模型结构；
超分辨率模型再训练模块，用于对调整后的超分辨率模型进行再训练。
进一步地，模型结构调整模块，包括：
模型结构调整子模块，用于调整超分辨率模型中的基础处理单元的数量和/或连接关系。
上述超分辨率训练装置，可执行本发明任意实施例所提供的超分辨率模型训练方法，具备执行超分辨率模型训练方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图14所示，是实现本申请实施例的超分辨率模型使用或训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图14所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图14中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的超分辨率模型使用或训练方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的超分辨率模型使用或训练方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的超分辨率模型使用或训练方法对应的程序指令/模块(例如，附图12所示的待处理深度图像获取模块301和目标深度图像得到模块302，或者，附图13所示的深度图像获取模块401和超分辨率模型训练模块402)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的超分辨率模型使用或训练方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现超分辨率模型使用或训练方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至实现超分辨率模型使用或训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现超分辨率模型使用或训练方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图14中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与实现超分辨率模型使用或训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，通过包括至少两个级联的基本处理单元的超分辨率模型，对待处理深度图像依次进行超分辨率重建，逐步实现对基本处理单元的单元输入数据的高频信息的迭代式渐进复原，从而使最终得到的目标深度图像所包含的高频信息更加全面、丰富，进而提高了深度图像的复原精度。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (28)

1.一种超分辨率模型使用方法，包括：
获取待处理深度图像；
根据预先训练好的超分辨率模型，对所述待处理深度图像进行处理，得到目标深度图像；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述待处理深度图像。
2.根据权利要求1所述的方法，其中，所述超分辨率模型为层级网络结构；其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
3.根据权利要求1或2所述的方法，其中，所述基本处理单元包括特征提取模块、特征增强模块和图像重建模块；所述特征提取模块、所述特征增强模块和所述图像重建模块顺次连接；
其中，所述特征提取模块，用于对单元输入数据进行特征提取，得到初始特征数据；
所述特征增强模块，用于对所述初始特征数据在预设维度进行特征增强，得到目标特征数据；
所述图像重建模块，用于根据所述目标特征数据和所述单元输入数据进行图像重建，得到单元输出数据。
4.根据权利要求3所述的方法，其中，所述特征增强模块的数量为至少两个；所述基本处理单元还包括特征融合模块；
各所述特征增强模块并联在所述特征提取模块和所述特征融合模块之间；所述特征融合模块与所述图像重建模块顺次连接；
所述特征融合模块，用于将各所述特征增强模块的目标特征数据进行特征融合。
5.根据权利要求4所述的方法，其中，所述特征增强模块包括局部特征增强模块和全局特征增强模块；
所述局部特征增强模块，用于对所述初始特征数据在第一特征维度进行局部特征增强，得到第一特征维度下的目标特征数据；
所述全局特征增强模块，用于对所述初始特征数据在第二特征维度进行全局特征增强，得到第二特征维度下的目标特征数据；
其中，所述第二特征维度涵盖所述第一特征维度。
6.根据权利要求5所述的方法，其中，所述第一特征维度为像素级维度；所述第二特征维度为通道级维度。
7.根据权利要求3所述的方法，其中，所述对所述初始特征数据在预设维度进行特征增强，得到目标特征数据，包括：
对所述初始特征数据进行卷积处理，得到待增强特征数据；
根据所述待增强特征数据和所述初始特征数据，确定所述预设维度下的增益矩阵；
根据所述增益矩阵更新所述待增强特征数据，得到所述目标特征数据。
8.根据权利要求7所述的方法，其中，所述根据所述待增强特征矩阵和所述初始特征数据，确定所述预设维度下的增益矩阵，包括：
在所述预设维度下，对所述初始特征数据进行特征变换，得到初始权重矩阵；
对所述初始权重矩阵进行归一化处理，得到目标权重矩阵；
对所述待增强特征数据和所述目标权重矩阵进行矩阵乘法，得到所述增益矩阵。
9.一种超分辨率模型训练方法，包括：
获取训练样本深度图像和与所述训练样本深度图像关联的训练标准深度图像；
将所述训练样本深度图像和所述训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述训练样本深度图像。
10.根据权利要求9所述的方法，其中，所述超分辨率模型为层级网络结构；其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
11.根据权利要求9或10所述的方法，所述将所述训练样本深度图像和所述训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练，包括：
根据各所述基本处理单元的单元输出数据和所述训练标准深度图像之间的残差，对所述超分辨率模型中各所述基本处理单元的网络参数进行调整。
12.根据权利要求9或10所述的方法，在所述对预先构建的超分辨率模型进行训练之后，所述方法还包括：
将测试样本深度图像输入至训练好的超分辨率模型中，得到预测深度图像；
根据所述预测深度图像和测试标准深度图像之间的残差，调整所述超分辨率模型的模型结构；
对调整后的超分辨率模型进行再训练。
13.根据权利要求12所述的方法，其中，所述调整所述超分辨率模型的模型结构，包括：
调整所述超分辨率模型中的基础处理单元的数量和/或连接关系。
14.一种超分辨率模型使用装置，包括：
待处理深度图像获取模块，用于获取待处理深度图像；
目标深度图像得到模块，用于根据预先训练好的超分辨率模型，对所述待处理深度图像进行处理，得到目标深度图像；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述待处理深度图像。
15.根据权利要求14所述的装置，其中，所述超分辨率模型为层级网络结构；其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
16.根据权利要求14或15所述的装置，其中，所述基本处理单元包括特征提取模块、特征增强模块和图像重建模块；所述特征提取模块、所述特征增强模块和所述图像重建模块顺次连接；
其中，所述特征提取模块，用于对单元输入数据进行特征提取，得到初始特征数据；
所述特征增强模块，用于对所述初始特征数据在预设维度进行特征增强，得到目标特征数据；
所述图像重建模块，用于根据所述目标特征数据和所述单元输入数据进行图像重建，得到单元输出数据。
17.根据权利要求16所述的装置，其中，所述特征增强模块的数量为至少两个；所述基本处理单元还包括特征融合模块；
各所述特征增强模块并联在所述特征提取模块和所述特征融合模块之间；所述特征融合模块与所述图像重建模块顺次连接；
所述特征融合模块，用于将各所述特征增强模块的目标特征数据进行特征融合。
18.根据权利要求17所述的装置，其中，所述特征增强模块包括局部特征增强模块和全局特征增强模块；
所述局部特征增强模块，用于对所述初始特征数据在第一特征维度进行局部特征增强，得到第一特征维度下的目标特征数据；
所述全局特征增强模块，用于对所述初始特征数据在第二特征维度进行全局特征增强，得到第二特征维度下的目标特征数据；
其中，所述第二特征维度涵盖所述第一特征维度。
19.根据权利要求18所述的装置，其中，所述第一特征维度为像素级维度；所述第二特征维度为通道级维度。
20.根据权利要求16所述的装置，其中，所述特征增强模块，包括：
卷积处理子模块，用于对所述初始特征数据进行卷积处理，得到待增强特征数据；
增益确定子模块，用于根据所述待增强特征数据和所述初始特征数据，确定所述预设维度下的增益矩阵；
特征增强子模块，用于根据所述增益矩阵更新所述待增强特征数据，得到所述目标特征数据。
21.根据权利要求20所述的装置，其中，所述增益确定子模块，包括：
权重确定从模块，用于在所述预设维度下，对所述初始特征数据进行特征变换，得到初始权重矩阵；
归一化处理从模块，用于对所述初始权重矩阵进行归一化处理，得到目标权重矩阵；
增益确定从模块，用于对所述待增强特征数据和所述目标权重矩阵进行矩阵乘法，得到所述增益矩阵。
22.一种超分辨率模型训练装置，包括：
深度图像获取模块，用于获取训练样本深度图像和与所述训练样本深度图像关联的训练标准深度图像；
超分辨率模型训练模块，用于将所述训练样本深度图像和所述训练标准深度图像作为训练样本对，对预先构建的超分辨率模型进行训练；
其中，所述超分辨率模型包括至少两个级联的基本处理单元；所述基本处理单元用于对自身的单元输入数据进行超分辨率重建；在首的基本处理单元的单元输入数据为所述训练样本深度图像。
23.根据权利要求22所述的装置，其中，所述超分辨率模型为层级网络结构；其中，至少一个层级中包括的基本处理单元的单元输入数据，根据其他层级中的至少两个基本处理单元的单元输出数据确定。
24.根据权利要求22或23所述的装置，所述超分辨率模型训练模块，包括：
网络参数调整子模块，用于根据各所述基本处理单元的单元输出数据和所述训练标准深度图像之间的残差，对所述超分辨率模型中各所述基本处理单元的网络参数进行调整。
25.根据权利要求22或23所述的装置，所述装置还包括：
深度图像预测模块，用于在所述对预先构建的超分辨率模型进行训练之后，将测试样本深度图像输入至训练好的超分辨率模型中，得到预测深度图像；
模型结构调整模块，用于根据所述预测深度图像和测试标准深度图像之间的残差，调整所述超分辨率模型的模型结构；
超分辨率模型再训练模块，用于对调整后的超分辨率模型进行再训练。
26.根据权利要求25所述的装置，其中，所述模型结构调整模块，包括：
模型结构调整子模块，用于调整所述超分辨率模型中的基础处理单元的数量和/或连接关系。
27.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的一种超分辨率模型使用方法；和/或，执行权利要求9-13中任一项所述的一种超分辨率模型训练方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的一种超分辨率模型使用方法；和/或，执行权利要求9-13中任一项所述的一种超分辨率模型训练方法。
CN202010986264.4A 2020-09-18 2020-09-18 超分辨率模型使用和训练方法、装置、设备及介质 Active CN111932464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010986264.4A CN111932464B (zh) 2020-09-18 2020-09-18 超分辨率模型使用和训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010986264.4A CN111932464B (zh) 2020-09-18 2020-09-18 超分辨率模型使用和训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111932464A true CN111932464A (zh) 2020-11-13
CN111932464B CN111932464B (zh) 2024-03-29

Family

ID=73333484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010986264.4A Active CN111932464B (zh) 2020-09-18 2020-09-18 超分辨率模型使用和训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111932464B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112560875A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112669220A (zh) * 2021-01-29 2021-04-16 百度时代网络技术（北京）有限公司 深度图像插值方法、装置、设备和介质
CN113222814A (zh) * 2021-04-22 2021-08-06 平安国际智慧城市科技股份有限公司 图像的分辨率处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093015A1 (en) * 2013-09-26 2015-04-02 Hong Kong Applied Science & Technology Research Institute Company Limited Visual-Experience-Optimized Super-Resolution Frame Generator
CN107657585A (zh) * 2017-08-30 2018-02-02 天津大学 基于双变换域的高倍率超分辨率方法
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
WO2020010183A2 (en) * 2018-07-03 2020-01-09 Raxium, Inc. Display processing circuitry

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150093015A1 (en) * 2013-09-26 2015-04-02 Hong Kong Applied Science & Technology Research Institute Company Limited Visual-Experience-Optimized Super-Resolution Frame Generator
CN107657585A (zh) * 2017-08-30 2018-02-02 天津大学 基于双变换域的高倍率超分辨率方法
WO2020010183A2 (en) * 2018-07-03 2020-01-09 Raxium, Inc. Display processing circuitry
CN109523470A (zh) * 2018-11-21 2019-03-26 四川长虹电器股份有限公司 一种深度图像超分辨率重建方法及系统
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YANG WEN: "Deep Color Guided Coarse-to-Fine Convolutional Network Cascade for Depth Image Super-Resolution", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, 7 October 2018 (2018-10-07) *
付绪文: "基于频域分离的深度图像超分辨率重建", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 1, 15 January 2020 (2020-01-15) *
刘永信;段添添;: "基于深度学习的图像超分辨率重建技术的研究", 科技与创新, no. 23, 5 December 2018 (2018-12-05) *
孙跃文;李立涛;丛鹏;向新程;郭肖静;: "基于深度学习的辐射图像超分辨率重建方法", 原子能科学技术, no. 05, 20 May 2017 (2017-05-20) *
赵丽玲;孙权森;张泽林;: "基于深度学习特征字典的单帧图像超分辨率重建", 数据采集与处理, no. 04, 15 July 2018 (2018-07-15) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541482A (zh) * 2020-12-25 2021-03-23 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112560875A (zh) * 2020-12-25 2021-03-26 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112560875B (zh) * 2020-12-25 2023-07-28 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112541482B (zh) * 2020-12-25 2024-04-02 北京百度网讯科技有限公司 深度信息补全模型训练方法、装置、设备以及存储介质
CN112669220A (zh) * 2021-01-29 2021-04-16 百度时代网络技术（北京）有限公司 深度图像插值方法、装置、设备和介质
CN112669220B (zh) * 2021-01-29 2024-04-16 百度时代网络技术（北京）有限公司 深度图像插值方法、装置、设备和介质
CN113222814A (zh) * 2021-04-22 2021-08-06 平安国际智慧城市科技股份有限公司 图像的分辨率处理方法、装置、设备及存储介质
CN113222814B (zh) * 2021-04-22 2023-08-04 深圳赛安特技术服务有限公司 图像的分辨率处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111932464B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN111932464B (zh) 超分辨率模型使用和训练方法、装置、设备及介质
US11416967B2 (en) Video processing method, apparatus, device and storage medium
CN111753961B (zh) 模型训练方法和装置、预测方法和装置
CN111709878B (zh) 人脸超分辨率实现方法、装置、电子设备及存储介质
CN111327926B (zh) 视频插帧方法、装置、电子设备及存储介质
CN110443230A (zh) 人脸融合方法、装置以及电子设备
CN111507914A (zh) 人脸修复模型的训练方法、修复方法、装置、设备和介质
CN111598131B (zh) 图像处理方法、装置、电子设备及存储介质
CN111967297B (zh) 图像的语义分割方法、装置、电子设备及介质
CN111340905B (zh) 图像风格化方法、装置、设备和介质
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN111553840B (zh) 图像超分辨的模型训练和处理方法、装置、设备和介质
CN112967381B (zh) 三维重建方法、设备和介质
EP3958207A2 (en) Method and apparatus for video frame interpolation, and electronic device
CN112529058B (zh) 图像生成模型训练方法和装置、图像生成方法和装置
CN111539897A (zh) 用于生成图像转换模型的方法和装置
CN111768466B (zh) 图像填充方法、装置、设备及存储介质
CN114972380A (zh) 边缘分割方法和装置
CN111696134A (zh) 一种目标检测方法、装置以及电子设备
CN113160045B (zh) 模型训练方法、超分辨率方法、装置、电子设备及介质
JP7220754B2 (ja) レーザレーダマップに基づくループバック検出方法、ループバック検出装置、電子デバイス、記憶媒体及びプログラム
CN113160044B (zh) 深度图像超分辨率方法、训练方法及装置、设备、介质
CN116862762A (zh) 一种视频超分方法、装置、设备及存储介质
US11526971B2 (en) Method for translating image and method for training image translation model
CN115082624A (zh) 一种人体模型构建方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant