CN115082322A

CN115082322A - 图像处理方法和装置、图像重建模型的训练方法和装置

Info

Publication number: CN115082322A
Application number: CN202210886954.1A
Authority: CN
Inventors: 李艾瑾; 李�根; 孙磊
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2022-07-26
Filing date: 2022-07-26
Publication date: 2022-09-20
Anticipated expiration: 2042-07-26
Also published as: CN115082322B

Abstract

本申请涉及一种人工智能的图像处理方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。采用本方法能够提高超分辨率重建的准确性。

Description

图像处理方法和装置、图像重建模型的训练方法和装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品，以及图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着图像处理技术的发展，出现了图像重建技术，通过图像重建技术可以对图像进行超分辨率重建，以得到更清晰的图像。例如对全景拍摄得到的全向图像进行超分辨率重建，以获得更清晰的全向图像。

传统技术中，通过生成对抗网络来生成全向图像的超分辨率图像，并进一步通过球形内容损失来优化网络学习。然而，传统的图像重建方法没有考虑到配全向图像和普通二维图像的区别，使用传统的图像重建方法对全向图像进行超分辨率重建时，存在对全向图像的像素采样密度不均的问题，从而导致超分辨率重建的不够准确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高重建准确性的图像处理方法和装置、图像重建模型的训练方法和装置、计算机设备、计算机可读存储介质和计算机程序产品。

一种图像处理方法，所述方法包括：

获取原始全向图像中多个像素点分别对应的位置信息；

基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；

将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；

对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；

根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。

一种图像处理装置，所述装置包括：

获取模块，用于获取原始全向图像中多个像素点分别对应的位置信息；

确定模块，用于基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；

融合模块，用于将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；

上采样模块，用于对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；

重建模块，用于根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。

在一个实施例中，所述位置信息包括像素点在图像坐标系中的坐标信息；所述确定模块，还用于基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息。

在一个实施例中，所述确定模块，还用于确定所述原始全向图像的高度和宽度；获取第一坐标转换系数，根据所述原始全向图像的高度和宽度、多个所述像素点各自对应的坐标信息和所述第一坐标转换系数，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；基于第二坐标转换系数和多个所述像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息；根据每个所述像素点的角坐标信息，形成所述原始全向图像对应的全局角坐标信息。

在一个实施例中，所述上采样模块，还用于基于所述融合特征进行不同层次的特征提取，得到不同层次的特征；将所述不同层次的特征进行逐像素融合，得到残差融合特征；基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征。

在一个实施例中，所述上采样模块，还用于将所述残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；对所述全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征。

在一个实施例中，所述上采样模块，还用于获取偏移参数和尺度变换参数，基于所述偏移参数对所述全局尺度信息进行坐标偏移计算，得到所述全局角坐标信息对应的坐标偏移信息；基于所述尺度变换参数对所述全局尺度信息进行尺度变换处理，得到所述全局角坐标信息对应的尺度变换权重信息。

在一个实施例中，所述上采样模块，还用于根据所述坐标偏移信息和所述空间维度变换后的特征中各所述像素点的坐标信息，确定每个所述像素点偏移后的坐标信息；基于所述尺度变换权重信息对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征；将所述空间维度变换后的特征和所述通道变换后的特征进行逐像素融合，得到上采样特征。

在一个实施例中，所述装置由图像重建模型执行，所述图像重建模型包括初始化的通道压缩卷积核和初始化的通道膨胀卷积核；所述上采样模块，还用于将所述尺度变换权重信息分别与所述初始化的通道压缩卷积核、所述初始化的通道膨胀卷积核进行点乘处理，得到目标通道压缩卷积核和目标通道膨胀卷积核；通过所述目标通道压缩卷积核和目标通道膨胀卷积核，对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。

在一个实施例中，所述装置由图像重建模型执行，所述装置还包括：

样本获取模块，用于获取样本全向图像和所述样本全向图像对应的重建标签；

样本确定模块，用于通过待训练的图像重建模型基于所述样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个所述样本像素点的样本角坐标信息，以得到所述样本全向图像对应的样本全局角坐标信息；

样本融合模块，用于将所述样本全局角坐标信息和所述样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征；

样本上采样模块，用于对所述样本融合特征进行特征提取，并基于所述样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征；

样本重建模块，用于根据所述样本上采样特征重建得到预测全向图像，所述预测全向图像的分辨率大于所述样本全向图像的分辨率；

训练模块，用于基于所述预测全向图像和对应的重建标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始全向图像进行图像重建处理。

本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取原始全向图像中多个像素点分别对应的位置信息；基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息；将所述全局角坐标信息和所述原始全向图像在通道维度上进行融合处理，得到对应的融合特征；对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征；根据所述上采样特征重建得到目标全向图像，所述目标全向图像的分辨率大于所述原始全向图像的分辨率。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

本申请还提供了一种计算机程序产品，所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取原始全向图像中多个像素点分别对应的位置信息，基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息，从而能够通过角坐标表征像素点在三维空间中的位置。将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，能够将原始全向图像的各像素点在三维空间中的角坐标作为对图像空间中的像素采样的参考信息，使得对空间维度的像素采样更均匀。根据像素均匀采样所得到的上采样特征更精准地进行重建，从而得到分辨率大于原始全向图像分辨率的目标全向图像。

一种图像重建模型的训练方法，包括：

获取样本全向图像和所述样本全向图像对应的重建标签；

通过待训练的图像重建模型基于所述样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个所述样本像素点的样本角坐标信息，以得到所述样本全向图像对应的样本全局角坐标信息；

将所述样本全局角坐标信息和所述样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征；

对所述样本融合特征进行特征提取，并基于所述样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征；

根据所述样本上采样特征重建得到预测全向图像，所述预测全向图像的分辨率大于所述样本全向图像的分辨率；

基于所述预测全向图像和对应的重建标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始全向图像进行图像重建处理。

一种图像重建模型的训练装置，所述装置包括：

在一个实施例中，所述样本获取模块，还用于获取第一全向图像，并对所述第一全向图像进行降采样处理，得到第二全向图像；所述第二全向图像的分辨率小于所述第一全向图像的分辨率；对所述第一全向图像和所述第二全向图像进行划分，得到所述第一全向图像对应的多个第一图像块，以及所述第二全向图像对应的多个第二图像块；将多个所述第二图像块作为样本全向图像，并将每个所述第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签。

在一个实施例中，所述训练模块，还用于通过所述待训练的图像重建模型中的判别器对所述预测全向图像进行判别处理，得到对应的判别结果；确定所述预测全向图像和对应的重建标签之间的重构损失，以及确定所述判别结果和所述重建标签之间的对抗损失；根据所述重构损失和所述对抗损失构建目标损失函数，并基于所述目标损失函数对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

获取样本全向图像和所述样本全向图像对应的重建标签；通过待训练的图像重建模型基于所述样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个所述样本像素点的样本角坐标信息，以得到所述样本全向图像对应的样本全局角坐标信息；将所述样本全局角坐标信息和所述样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征；对所述样本融合特征进行特征提取，并基于所述样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征；根据所述样本上采样特征重建得到预测全向图像，所述预测全向图像的分辨率大于所述样本全向图像的分辨率；基于所述预测全向图像和对应的重建标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；所述训练完成的图像重建模型用于对原始全向图像进行图像重建处理。

上述图像重建模型的训练方法、装置、计算机设备、存储介质和计算机程序产品，通过待训练的图像重建模型基于所述样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个所述样本像素点的样本角坐标信息，以得到所述样本全向图像对应的样本全局角坐标信息，从而能够通过样本角坐标表征样本像素点在三维空间中的位置。将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，使得样本上采样特征在通道维度和空间维度上均融合了样本全向图像的全局角坐标信息，使得对像素的采样更均匀。根据像素均匀采样所得到的样本上采样特征能够更精准地进行重建，从而得到分辨率大于样本全向图像分辨率的预测全向图像。基于所述预测全向图像和对应的重建标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，使得训练完成的图像重建模型能够在对全向图像的超分辨率重建过程中引入图像的全局角坐标信息，并根据全局角坐标信息在空间维度和通道维度对特征进行调整，使得在重建过程中能够对全向图像的像素进行均匀采样，从而获得更精确的超分辨率重建结果。

附图说明

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程示意图；

图3A为一个实施例中球面坐标系的示意图；

图3B为一个实施例中根据坐标偏移信息和尺度变换权重信息，对空间维度变换后的特征进行通道变换处理，得到上采样特征步骤的流程示意图；

图4为一个实施例中图像重建模型的训练方法的流程示意图；

图5为另一个实施例中图像重建模型的训练方法的流程示意图；

图6为一个实施例中图像重建模型的处理流程示意图；

图7为一个实施例中上采样单元的架构示意图；

图8为一个实施例中不同重建方式得到的超分辨率全向图像的对比示意图；

图9为另一个实施例中不同重建方式所得到的超分辨率全向图像的对比示意图；

图10为一个实施例中图像处理装置的结构框图；

图11为一个实施例中图像重建模型的训练装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶、数据挖掘等。例如，应用于人工智能(Artificial Intelligence，AI)技术领域，其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请实施例提供的方案涉及人工智能的图像处理方法，具体通过如下各实施例进行说明。

本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102和服务器104均可单独执行本申请实施例中提供的图像处理方法。终端102和服务器104也可协同用于执行本申请实施例中提供的图像处理方法。当终端102和服务器104协同用于执行本申请实施例中提供的图像处理方法时，终端102获取原始全向图像，并将原始全向图像发送至服务器104。服务器104基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息。服务器104将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征。服务器104对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征。服务器104根据上采样特征重建得到目标全向图像，目标全向图像的分辨率大于原始全向图像的分辨率。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、智能语音交互设备、智能家电、车载终端、飞行器、便携式可穿戴设备等。该终端102上可运行应用程序或安装应用程序的客户端，该应用程序可以是通信应用、邮件应用、视频应用、音乐应用和图像处理应用等。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一个实施例中，图像重建模型的训练方法也可以应用于如图1所示的应用环境中。

需要说明的是，本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量。

在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于计算机设备（计算机设备可以是图1中的终端或服务器）为例进行说明，包括以下步骤：

步骤S202，获取原始全向图像中多个像素点分别对应的位置信息。

其中，全向图像即全景图像，是由全向相机拍摄的图像，其范围基本覆盖整个球体或水平面中至少一个完整圆圈的视野。全向相机也称为360 度相机，全向相机拍摄的图像称为360虚拟现实（Virtual Reality，简称VR）全向图像。

原始全向图像指的是需要进行超分辨率重建的低分辨率全向图像。超分辨率重建是指通过低分辨率图像或低分辨率图像序列重建得到高分辨率图像的过程。

原始全向图像可以是RGB（Red、Green、Blue）图像、灰度图像、YUV图像中的Y分量所对应的图像等其中的任意一种，但不限于此。其中，YUV图像中的“Y”表示明亮度（Luminance或Luma），也就是灰阶值，“U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。

原始全向图像可以是对任意场景采集得到的图像，例如人物图像、风景图像等，但不限于此。原始全向图像可以是完整的全向图像，也可以是完整全向图像中的部分图像区域。

像素点的位置信息表征像素点在图像坐标系中的位置，具体可以是像素点在图像坐标系中的坐标信息。

具体地，计算机设备可从本地或其他设备或网络上获取原始全向图像，或者通过终端的全向相机对任意场景进行拍摄以得到原始全向图像。

原始全向图像还可以是从本地或其他设备或网络上获取的全向视频中任意的视频帧，或者通过终端的全向相机进行视频采集，得到对应的全向视频，将全向视频中的任意视频帧作为原始全向图像。

计算机设备可基于该原始全向图像构建二维坐标系，并确定原始全向图像中的多个像素点在该二维坐标系中各自对应的位置信息。

该二维坐标系可以是图像坐标系或像素坐标系。例如，计算机设备可基于该原始全向图像构建图像坐标系，并确定原始全向图像中的多个像素点在该图像坐标系中各自对应的位置信息。

计算机设备还可以基于图像坐标系和像素坐标系之间的转换关系，根据多个像素点在该图像坐标系中各自对应的位置信息，将多个像素点映射至像素坐标系，得到多个像素点在像素坐标系中各自对应的位置信息。

步骤S204，基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息。

其中，像素点的角坐标信息指的是像素点在三维空间的球面上所对应的位置信息，即在三维空间的球面所对应的球面坐标系中的坐标信息。像素点在该球面上的角坐标通过经度和纬度表示。该球面坐标系为三维坐标系。

在一个实施例中，角坐标信息指的是像素点的二维位置信息映射至三维空间的球面所对应的坐标信息。角坐标信息具体可以是像素点在图像坐标系或像素坐标系中的二维位置信息映射至三维空间的球面时，在该球面上所对应的坐标信息。

全局角坐标信息表示原始全向图像中各像素点的角坐标信息的集合。

角坐标信息可通过球面投影的逆处理所得到。球面投影具体可以是等距柱状投影（Equirectangular Projection，简称ERP），则角坐标信息可通过等距柱状投影的逆处理得到。

等距柱状投影是一种球面投影方式，指的是将在球面上的像素点映射到二维平面，角坐标

表示像素点在球面上的位置。

和

分别指的是在球面上的经度和纬度。等距柱状投影的逆处理指的是将二维平面（即UV平面）上的像素点映射至球面所得到的在球面上的坐标。

具体地，计算机设备可基于多个像素点对应的位置信息，将每个像素点从二维坐标系映射至三维坐标系，得到每个像素点在三维坐标系中各自对应的角坐标信息。每个像素点各自对应的角坐标信息构成全局角坐标信息。

进一步地，可基于多个像素点对应的位置信息，对多个像素点进行球面投影的逆处理，以将每个像素点从二维平面映射至三维空间的球面，得到每个像素点在球面上各自对应的角坐标信息。

在一个实施例中，对每个尺度提取处理像素点的角坐标信息进行归一化处理，并根据归一化处理后的角坐标信息构成尺度提取处理原始全向图像对应的全局角坐标信息。

步骤S206，将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征。

具体地，计算机设备可确定全局角坐标信息所对应的通道维度，以及原始全向图像的通道维度。计算机设备可将全局角坐标信息和原始全向图像的通道维度进行拼接融合，以将全局角坐标信息和原始全向图像进行融合，得到对应的融合特征。

在一个实施例中，计算机设备将全局角坐标信息和原始全向图像在通道维度上进行拼接融合，得到对应的融合特征。具体地，全局角坐标信息中每个角坐标信息由两个角度构成，则全局角坐标信息有2个通道维度。原始全向图像可以由r、g、b这3个通道构成，即有3个通道维度，则计算机设备将全局角坐标信息的通道和原始全向图像的通道进行拼接融合，得到对应的融合特征。例如，全局角坐标信息

的通道为

和

，原始全向图像

的通道为r、g、b，将全局角坐标信息

和原始全向图像

按照通道维度进行拼接融合，得到融合后特征

。

步骤S208，对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征。

其中，上采样指的是放大特征。对特征提取所得到的特征也称为特征图，特征图是指对融合特征进行特征提取所得到的、包含原始全向图像关键信息的特征。

可通过最近邻插值或线性插值模式等实现上采样处理，还可以通过转置卷积、上池化等，但不限于此。线性插值模式可以是线性、双线性、双三次和三线性插值方式。

空间维度指的是图像的宽度和高度两个维度所形成的图像空间。在空间维度进行上采样处理，就是对图像空间的像素进行上采样。

具体地，计算机设备可对融合特征进行特征提取，得到对应的特征图。计算机设备基于全局角坐标信息对特征图在空间维度上进行上采样处理，得到对应的上采样特征。

在一个实施例中，对融合特征进行浅层特征提取或深层特征提取中的至少一种，得到对应的特征图。基于全局角坐标信息对特征图在空间维度进行上采样处理，得到上采样特征。当对融合特征分别进行浅层特征提取和深层特征提取时，将浅层特征提取所得到的特征图和深层特征提取所得到的特征图进行融合处理。基于全局角坐标信息对融合处理后的特征图在空间维度进行上采样处理，得到上采样特征。

步骤S210，根据上采样特征重建得到目标全向图像，该目标全向图像的分辨率大于原始全向图像的分辨率。

具体地，计算机设备可根据上采样特征进行图像重建，得到重建生成的目标全向图像。该目标全向图像即为对原始全向图像进行超分辨率重建所得到的图像。该目标全向图像的分辨率大于原始全向图像的分辨率。

本实施例中，计算机设备可对上采样特征进行卷积处理，以重建形成目标全向图像。

上述图像处理方法中，获取原始全向图像中多个像素点分别对应的位置信息，基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息，从而能够通过角坐标表征像素点在三维空间中的位置。将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，能够将原始全向图像的各像素点在三维空间中的角坐标作为对图像空间中的像素采样的参考信息，使得对空间维度的像素采样更均匀。根据像素均匀采样所得到的上采样特征更精准地进行重建，从而得到分辨率大于原始全向图像分辨率的目标全向图像。

本实施例中，通过引入图像的全局角坐标信息，并根据全局角坐标信息在空间维度和通道维度对特征进行调整，使得在重建过程中能够对360VR全向图像中像素进行均匀采样，从而获得更精确的超分辨率重建结果。

在一个实施例中，该位置信息包括像素点在图像坐标系中的坐标信息；基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息，包括：

基于多个像素点各自对应的坐标信息，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；对多个像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到原始全向图像对应的全局角坐标信息。

其中，尺度因子指的是像素点在像素坐标系中的坐标，包括在横轴方向的坐标和纵轴方向上的坐标。横轴即为像素坐标系中的x轴，纵轴即为像素坐标系中的y轴。

具体地，计算机设备可基于该原始全向图像构建图像坐标系，并确定原始全向图像中的多个像素点在该图像坐标系中各自对应的坐标信息。计算机设备可根据图像坐标系和像素坐标系之间的转换关系，将原始全向图像中的多个像素点在该图像坐标系中各自对应的坐标信息，转换为在像素坐标系中各自对应的坐标信息。像素点在像素坐标系中对应的坐标信息即包括在像素坐标系的横轴方向对应的尺度因子和纵轴方向上对应的尺度因子。

对于多个像素点中的每个像素点，计算机设备将像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，以将像素点从像素坐标系映射至球面坐标系，得到该像素点在球面坐标系中对应的角坐标信息。按照相同的处理方式，可到每个像素点分别对应的角坐标信息。

本实施例中，角坐标信息包括第一角度和第二角度。计算机设备将像素点在横轴方向上对应的尺度因子进行等距柱状投影的逆处理，以将像素点在像素坐标系中的横坐标映射至球面坐标系，得到该像素点在球面坐标系中对应的第一角度。将像素点在纵轴方向上对应的尺度因子进行等距柱状投影的逆处理，以将像素点在像素坐标系中的纵坐标映射至球面坐标系，得到该像素点在球面坐标系中对应的第二角度。将该经度和纬度作为该像素点对应的角坐标信息。其他实施例中，第一角度为经度，第二角度为纬度。其中，第一角度定义为沿横轴（即X轴）逆时针旋转的角度，第二角度定义为从赤道开始向纵轴（即Y轴）旋转的角度。

计算机设备可将多个像素点各自对应的角坐标信息形成原始全向图像对应的全局角坐标信息。

在一个实施例中，图像坐标系和像素坐标系之间的转换关系可通过坐标转换系数表征。

在一个实施例中，球面坐标系可如图3A所示，原始全向图像可通过如图3A中的球体表示，可形成一个三维 XYZ坐标系，坐标原点在球心，X轴指向球的前面，Y轴指向球的上面，Z轴指向球的右面。像素点P在球面上的位置可以用经度

和纬度

表示，即像素点P的角坐标，经度

取值范围为

，纬度

取值范围为

。其中，经度

定义为沿X轴逆时针旋转的角度，纬度

定义为从赤道开始向Y轴旋转的角度。

本实施例中，基于多个像素点各自对应的坐标信息，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，从而能够将原始全向图像的像素点从图像坐标系准确映射至像素坐标系，获得在像素坐标系中对应的像素坐标。对多个像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，而等距柱状投影的逆处理能够将像素坐标系的坐标转换为在球面坐标系中的角坐标，从而能够准确得到每个像素点在球面坐标系中对应的角坐标信息，使得可以通过角坐标更准确地表示原始全向图像中各像素点的位置，以获得原始全向图像对应的全局角坐标信息。在原始全向图像的超分辨率重建中引入该全局角坐标信息，能够在重建过程中对原始全向图像的像素进行均匀采样，有效避免像素采样密度不均匀导致图像边缘被压缩、细节纹理不清楚等问题。

在一个实施例中，基于多个像素点各自对应的坐标信息，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，包括：

确定原始全向图像的高度和宽度；获取第一坐标转换系数，根据原始全向图像的高度和宽度、多个像素点各自对应的坐标信息和第一坐标转换系数，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；

尺度提取处理对多个尺度提取处理像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个尺度提取处理像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到尺度提取处理原始全向图像对应的全局角坐标信息，包括：

基于第二坐标转换系数和多个尺度提取处理像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个尺度提取处理像素点中的每个像素点在球面坐标系中对应的角坐标信息；根据每个尺度提取处理像素点的角坐标信息，形成尺度提取处理原始全向图像对应的全局角坐标信息。

其中，第一坐标转换系数表征图像坐标系和像素坐标系之间的转换关系。第二坐标转换系数表征像素坐标系和等距柱状投影中的球面坐标系之间的转换关系。

具体地，计算机设备可基于该原始全向图像构建图像坐标系，并确定原始全向图像中的多个像素点在该图像坐标系中各自对应的坐标信息。计算机设备可确定原始全向图像的高度和宽度，并获取图像坐标系和像素坐标系之间的坐标转换关系，即第一坐标转换系数。计算机设备可根据原始全向图像的宽度、单个像素点对应的坐标信息中的横坐标和第一坐标转换系数，确定该像素点在像素坐标系的横轴方向上对应的尺度因子。计算机设备可根据原始全向图像的高度、单个像素点对应的坐标信息中的纵坐标和第一坐标转换系数，确定该像素点在像素坐标系的纵轴方向上对应的尺度因子。按照相同的处理方式，可得到每个像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子。

计算机设备可获取像素坐标系和等距柱状投影中的球面坐标系之间的转换关系，即第二坐标转换系数。计算机设备可根据第二坐标转换系数和多个尺度提取处理像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，以将多个尺度提取处理像素点分别映射至球面坐标系，得到每个像素点在该球面坐标系中各自对应的角坐标信息。计算机设备根据每个尺度提取处理像素点的角坐标信息，形成尺度提取处理原始全向图像对应的全局角坐标信息。

本实施例中，计算机设备根据第二坐标转换系数对像素点在横轴方向上的尺度因子进行等距柱状投影的逆处理，以将该像素点在像素坐标系中的横坐标映射至球面坐标系，得到该像素点在该球面坐标系中对应的第一角度。计算机设备根据第二坐标转换系数对像素点在纵轴方向上的尺度因子进行等距柱状投影的逆处理，以将该像素点在像素坐标系中的纵坐标映射至球面坐标系，得到该像素点在该球面坐标系中对应的第二角度。该像素点的第一角度和第二角度构成该像素点的角坐标信息。

本实施例中，第一角度为经度，第二角度为纬度，则像素点的角坐标信息包括像素点在该球面坐标系中的经度和纬度。

在一个实施例中，根据原始全向图像的高度和宽度、多个像素点各自对应的坐标信息和第一坐标转换系数，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，包括：

对于多个尺度提取处理像素点，将相应像素点的横坐标与第一坐标转换系数之和与宽度的比值，作为相应像素点下在横轴方向上对应的尺度因子；将相应像素点的纵坐标与第一坐标转换系数之和与高度的比值，作为相应像素点下在横轴方向上对应的尺度因子；

基于第二坐标转换系数和多个尺度提取处理像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个尺度提取处理像素点中的每个像素点在球面坐标系中对应的角坐标信息，包括：

获取像素坐标系和等距柱状投影中的球面坐标系之间的第二坐标转换系数；对于多个像素点，将相应像素点在横轴方向上的尺度因子和第二坐标转换系数之差，与360度的乘积，作为相应像素点的第一角度；

将相应像素点在纵轴方向上的尺度因子和第二坐标转换系数之差，与180度的乘积，作为相应像素点的第二角度；其中，同一像素点的第一角度和第二角度，构成尺度提取处理同一像素点的角坐标信息。

例如，通过如下公式计算像素点的尺度因子

：

其中，（x，y）为像素点在图像坐标系中的坐标，

为原始全向图像

的高度，

为原始全向图像

的宽度。第一坐标转换系数为0.5。

通过以下公式计算像素点对应的角坐标

：

其中，第二坐标转换系数为0.5。

在一个实施例中，对每个尺度提取处理像素点的角坐标信息进行归一化处理，并根据归一化处理后的角坐标信息形成尺度提取处理原始全向图像对应的全局角坐标信息。

本实施例中，确定原始全向图像的高度和宽度，获取第一坐标转换系数，根据原始全向图像的高度和宽度、多个像素点各自对应的坐标信息和第一坐标转换系数，将原始全向图像的像素点从图像坐标系准确映射至像素坐标系，以获得各像素点在像素坐标系中对应的像素坐标，即尺度因子。基于第二坐标转换系数和多个尺度提取处理像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，将像素点在像素坐标系中的像素坐标准确映射至球面坐标系，准确得到每个像素点在球面坐标系中对应的角坐标信息，使得可以通过角坐标更准确地表示原始全向图像中各像素点的位置，以获得原始全向图像对应的全局角坐标信息。

在一个实施例中，对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征，包括：

基于融合特征进行不同层次的特征提取，得到不同层次的特征；将不同层次的特征进行逐像素融合，得到残差融合特征；基于全局角坐标信息，对残差融合特征在空间维度进行上采样处理，得到上采样特征。

具体地，计算机设备可对融合特征进行不同层次的特征提取，得到不同层次的特征。不同层次的特征提取可包括浅层次的特征提取和深层次的特征提取。进一步地，计算机设备可对融合特征进行特征提取，并对所提取的特征进行进一步特征提取，以获得不同层次的特征。

计算机设备将不同层次的特征进行逐像素相加，以将不同层次的特征进行逐像素融合，得到残差融合特征。计算机设备可基于全局坐标信息对残差融合特征在图像空间中进行像素的上采样处理，得到上采样特征。

本实施例中，基于尺度提取处理融合特征进行不同层次的特征提取，得到不同层次的特征，包括：对融合特征进行浅层特征提取，得到对应的浅层特征；对尺度提取处理浅层特征进行深层特征提取，得到对应的深层特征；

将不同层次的特征进行逐像素融合，得到残差融合特征，包括：将浅层特征和深层特征进行逐像素融合，得到残差融合特征。

其中，浅层特征是通过浅层次特征提取所得到、与输入比较近的特征。浅层特征包含更多的像素点的细粒度信息，细粒度的信息指的是图像的的颜色、纹理、边缘、棱角等信息。浅层次特征提取的感受野较小、感受野重叠区域也较小，从而能够捕获更多图像细节。

深层特征是通过深层次特征提取所得到、与输出较近的特征。深层特征蕴含更抽象的信息，即图像的语义信息，主要为一些粗粒度的信息。深层次特征提取的感受野增加，感受野之间重叠区域增加，图像信息进行压缩，获取的是图像整体性的关键信息。

本实施例中，基于融合特征进行不同层次的特征提取，浅层次特征包含更多图像的细节信息，而深层次特征包含更多图像整体的语义信息。将不同层次的特征进行逐像素融合，从而能够将浅层次特征和深层次特征进行融合，使得所得到的残差融合特征同时包含了图像的纹理细节和图像的整体语义信息。基于全局角坐标信息对残差融合特征在空间维度进行上采样处理，能够将原始全向图像的各像素在三维空间中的位置作为对图像空间中的像素采样的参考，使得对图像空间中的像素采样更均匀，从而获得均匀采样的像素所形成的上采样特征。

在一个实施例中，基于全局角坐标信息，对残差融合特征在空间维度进行上采样处理，得到上采样特征，包括：

将残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；

对全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；基于全局尺度信息，确定全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；根据坐标偏移信息和尺度变换权重信息，对空间维度变换后的特征进行通道变换处理，得到上采样特征。

具体地，计算机设备残差融合特征在空间维度上进行像素的上采样处理，以放大残差融合特征，得到空间维度变换后的特征。计算机设备对全局角坐标信息进行尺度提取处理，以获得全局角坐标信息对应的全局尺度信息。该全局尺度信息表征对特征通道进行调整时的调整尺度，该全局尺度信息用于确定像素点在通道变换中的坐标偏移信息和尺度变换权重信息。

计算机设备可对全局尺度信息进行坐标偏移计算，得到全局角坐标信息对应的坐标偏移信息。计算机设备对全局尺度信息进行尺度变换处理，得到全局角坐标信息对应的尺度变换权重信息。

通道变换处理包括坐标偏移处理和尺度变换处理。计算机设备根据坐标偏移信息对空间维度变换后的特征进行坐标偏移处理，得到坐标偏移后的特征。具体可以根据坐标偏移信息对空间维度变换后的特征中各像素点进行坐标偏移处理，得到坐标偏移后的各像素点的坐标。

计算机设备根据尺度变换权重信息对坐标偏移后的特征进行尺度变换处理，得到通道变换后的特征。将空间维度变换后的特征和通道变换后的特征融合可得到上采样特征。

本实施例中，在训练好的图像重建模型中，通过网格采样层对残差融合特征在空间维度进行上采样处理，得到空间维度变换后的卷积特征。将全局角坐标信息输入用于尺度提取的全连接层，得到对应的全局尺度信息。将全局尺度信息分别输入用于坐标偏移计算的全连接层和用于尺度变换的全连接层，得到用于坐标偏移计算的全连接层所输出的坐标偏移信息，以及用于尺度变换的全连接层输出的尺度变换权重信息。用于坐标偏移计算的全连接层中包含偏移参数，用于尺度变换的全连接层中包含尺度变换参数。

本实施例中，将残差融合特征在空间维度进行上采样处理，以对特征进行放大，得到空间维度变换后的特征。对全局角坐标信息进行尺度提取处理，得到用于对特征的通道进行调整时的调整尺度。调整尺度包括在通道变换中的坐标偏移信息和尺度变换权重信息，从而在对空间维度变换后的特征进行通道变换过程中，使用坐标偏移信息和尺度变换权重信息对特征的像素点进行均匀采样，形成采样均匀的上采样特征。

在一个实施例中，基于全局尺度信息，确定全局角坐标信息对应的坐标偏移信息和尺度变换权重信息，包括：

获取偏移参数和尺度变换参数，基于偏移参数对全局尺度信息进行坐标偏移计算，得到全局角坐标信息对应的坐标偏移信息；基于尺度变换参数对全局尺度信息进行尺度变换处理，得到全局角坐标信息对应的尺度变换权重信息。

其中，偏移参数是用于计算坐标偏移量的预设参数。尺度变换参数是用于计算尺度变换权重的预设参数。

具体地，计算机设备可获取偏移参数，根据偏移参数对全局尺度信息进行坐标偏移计算，得到全局角坐标信息对应的坐标偏移信息。计算机设备可获取尺度变换参数，根据尺度变换参数对全局尺度信息进行尺度变换处理，得到全局角坐标信息对应的尺度变换权重信息。

本实施例中，计算机设备根据偏移参数对全局尺度信息进行坐标偏移计算，得到全局角坐标信息在横轴方向、纵轴方向上分别的对应的坐标偏移量，横轴方向、纵轴方向上分别的对应的坐标偏移量形成坐标偏移信息。

计算机设备根据尺度变换参数对全局尺度信息进行尺度变换处理，得到全局角坐标信息中每个角坐标信息各自对应的尺度变换权重，每个角坐标信息各自对应的尺度变换权重构成尺度变换权重信息。

本实施例中，获取偏移参数和尺度变换参数，基于偏移参数对全局尺度信息进行坐标偏移计算，能够准确计算出全局角坐标信息对应的坐标偏移量。基于尺度变换参数对全局尺度信息进行尺度变换处理，能够准确计算出全局角坐标信息对应的尺度变换权重，使得可以通过坐标偏移量和尺度变换权重对空间维度变换后的特征进行通道变换处理，从而得到通过通道变换使得像素点采样更均匀。

在一个实施例中，如图3B所示，根据坐标偏移信息和尺度变换权重信息，对空间维度变换后的特征进行通道变换处理，得到上采样特征，包括：

步骤S302，根据坐标偏移信息和空间维度变换后的特征中各像素点的坐标信息，确定每个像素点偏移后的坐标信息。

具体地，计算机设备获取空间维度变换后的特征中各像素点的坐标信息，将坐标偏移信息中的横坐标分别与各像素点的坐标信息中的横坐标求和、将坐标偏移信息中的纵坐标分别与各像素点的坐标信息中的纵坐标求和，得到每个像素点偏移后的横坐标和纵坐标。同一像素点偏移后的横坐标和纵坐标构成该像素点偏移后的坐标信息。

步骤S304，基于尺度变换权重信息对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。

具体地，计算机设备根据尺度变换权重信息对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。进一步地，计算机设备可根据每个像素点对应的尺度变换权重对相应像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。

步骤S306，将空间维度变换后的特征和通道变换后的特征进行逐像素融合，得到上采样特征。

具体地，计算机设备将空间维度变换后的特征和通道变换后的特征进行逐像素相加，以将空间维度变换后的特征和通道变换后的特征中相应像素进行融合，得到上采样特征。

本实施例中，根据坐标偏移量对空间维度变换后的特征中各像素点的坐标进行坐标偏移处理，准确得到每个像素点在偏移后的坐标。基于尺度变换权重信息对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征，使得通过通道变换获得采样更均匀的像素。将空间维度变换后的特征和通道变换后的特征进行逐像素融合，以适配全向图像中像素分布不规则问题，从而获得更精确的超分辨率重建结果。

在一个实施例中，该方法由图像重建模型执行，该图像重建模型包括初始化的通道压缩卷积核和初始化的通道膨胀卷积核；基于尺度变换权重信息对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征，包括：

将尺度变换权重信息分别与初始化的通道压缩卷积核、初始化的通道膨胀卷积核进行点乘处理，得到目标通道压缩卷积核和目标通道膨胀卷积核；通过目标通道压缩卷积核和目标通道膨胀卷积核，对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。

其中，膨胀卷积通常用来增加卷积核的感受野而不增加卷积核的尺寸，即保持参数个数不变的情况下增大了卷积核的感受野，让每个卷积核的输出都包含较大范围的信息；同时可以保证输出的特征映射（feature map）的大小保持不变。压缩卷积用于减小卷积核的感受野，让每个卷积核的输出都包含较小范围的信息。

具体地，图像重建模型为训练完成的模型。图像重建模型计算出尺度变换权重信息后，将尺度变换权重信息与初始化的通道压缩卷积核进行点乘处理，得到融合了尺度变换权重信息的目标通道压缩卷积核。将尺度变换权重信息与初始化的通道膨胀卷积核进行点乘处理，得到融合了尺度变换权重信息的目标通道膨胀卷积核。

通过目标通道压缩卷积核对各像素点偏移后的坐标信息进行卷积处理，以通过目标通道压缩卷积核的较小的感受野将较小范围的像素信息进行融合，得到目标通道压缩卷积核的输出特征。

通过目标通道膨胀卷积核对目标通道压缩卷积核的输出特征进行卷积处理，以通过目标通道膨胀卷积核的较大的感受野从输出特征中获取较大范围的像素信息进行融合，得到通道变换后的特征。

本实施例中，给模型的通道压缩卷积核、初始化的通道膨胀卷积核的参数赋予初始值，能够让模型在训练初期赋予较稳定的权重和偏值参数，从而实现有利于获得训练的最优解。将尺度变换权重信息分别与初始化的通道压缩卷积核、初始化的通道膨胀卷积核进行点乘处理，所得到的目标通道压缩卷积核和目标通道膨胀卷积核融合了全局坐标变换信息。通过目标通道压缩卷积核实现小范围像素信息的融合，以保证图像的细节信息。通过目标通道膨胀卷积核对目标通道压缩卷积核的输出进行大范围像素信息的融合，以保证图像中的边缘轮廓信息。

在一个实施例中，该方法由图像重建模型执行，该图像重建模型通过训练步骤得到，该训练步骤包括：

获取样本全向图像和样本全向图像对应的重建标签；通过待训练的图像重建模型基于样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个样本像素点的样本角坐标信息，以得到样本全向图像对应的样本全局角坐标信息；将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征；对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征；根据样本上采样特征重建得到预测全向图像，预测全向图像的分辨率大于样本全向图像的分辨率；基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；该训练完成的图像重建模型用于对原始全向图像进行图像重建处理。

本实施例中，获取样本全向图像和样本全向图像对应的重建标签，包括：获取第一全向图像，并对第一全向图像进行降采样处理，得到第二全向图像；第二全向图像的分辨率小于第一全向图像的分辨率；对第一全向图像和第二全向图像进行划分，得到第一全向图像对应的多个第一图像块，以及第二全向图像对应的多个第二图像块；将多个第二图像块作为样本全向图像，并将每个第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签。

本实施例中，基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，包括：通过待训练的图像重建模型中的判别器对预测全向图像进行判别处理，得到对应的判别结果；确定预测全向图像和对应的重建标签之间的重构损失，以及确定判别结果和重建标签之间的对抗损失；根据重构损失和对抗损失构建目标损失函数，并基于目标损失函数对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

可以理解的是，本实施例中该图像重建模型的具体训练过程可参见图像重建模型的训练方法的各个实施例。

本实施例中，通过待训练的图像重建模型基于尺度提取处理样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个尺度提取处理样本像素点的样本角坐标信息，以得到尺度提取处理样本全向图像对应的样本全局角坐标信息，从而能够通过样本角坐标表征样本像素点在三维空间中的位置。将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，使得样本上采样特征在通道维度和空间维度上均融合了样本全向图像的全局角坐标信息，使得对像素的采样更均匀。根据像素均匀采样所得到的样本上采样特征能够更精准地进行重建，从而得到分辨率大于样本全向图像分辨率的预测全向图像。基于尺度提取处理预测全向图像和对应的重建标签之间的重构损失，对尺度提取处理待训练的图像重建模型进行训练，直至满足训练停止条件时停止，使得训练完成的图像重建模型能够在对全向图像的超分辨率重建过程中引入图像的全局角坐标信息，并根据全局角坐标信息在空间维度和通道维度对特征进行调整，使得在重建过程中能够对全向图像的像素进行均匀采样，从而获得更精确的超分辨率重建结果。并且，通过图像重建模型对低分辨率全向图像进行超分辨率重建，能够有效提高超分辨率重建的效率。

在一个实施例中，如图4所示，提供了一种图像重建模型的训练方法，以该方法应用于计算机设备（计算机设备可以是图1中的终端或服务器）为例进行说明，包括以下步骤：

步骤S402，获取样本全向图像和样本全向图像对应的重建标签。

其中，样本全向图像指的是用于对图像重建模型进行训练的训练样本。该样本全向图像可以是对任意场景采集得到的低分辨率图像，具体可以是RGB图像、灰度图像、YUV图像中的Y分量所对应的图像等其中的任意一种，但不限于此。样本全向图像可以是完整的全向图像，也可以是完整全向图像中的部分图像块，图像块即图像区域。

具体地，计算机设备可从本地或其他设备或网络上获取全向图像作为重建标签，或者通过终端的全向相机对任意场景进行拍摄所得到的全向图像作为重建标签。将全向图像进行降采样处理，将降采样处理所得到的全向图像作为样本全向图像。

重建标签还可以是从本地或其他设备或网络上获取的全向视频中任意的视频帧，或者通过终端的全向相机进行视频采集，得到对应的全向视频，将全向视频中的任意视频帧作为重建标签。将任意视频帧进行降采样处理，将降采样处理所得到的视频帧作为重建标签对应的样本全向图像。

重建标签为高分辨率图像，重建标签对应的样本全向图像为低分辨率图像。

步骤S404，通过待训练的图像重建模型基于样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个样本像素点的样本角坐标信息，以得到样本全向图像对应的样本全局角坐标信息。

其中，样本像素点的样本位置信息表征样本像素点在图像坐标系中的位置，具体可以是样本像素点在图像坐标系中的坐标信息。

样本像素点的样本角坐标信息指的是样本像素点在三维空间的球面上所对应的样本位置信息，即在三维空间的球面所对应的球面坐标系中的样本坐标信息。样本像素点在该球面上的样本角坐标通过经度和纬度表示。该球面坐标系为三维坐标系。

在一个实施例中，样本角坐标信息指的是样本像素点的二维位置信息映射至三维空间的球面所对应的坐标信息。样本角坐标信息具体可以是样本像素点在图像坐标系或像素坐标系中的二维位置信息映射至三维空间的球面时，在该球面上所对应的样本坐标信息。

样本全局角坐标信息表示样本全向图像中各样本像素点的角坐标信息的集合。样本角坐标信息可通过球面投影的逆处理所得到。

具体地，计算机设备可基于该样本全向图像构建二维坐标系，并确定样本全向图像中的多个样本像素点在该二维坐标系中各自对应的样本位置信息。该二维坐标系可以是图像坐标系或像素坐标系。

计算机设备还可以基于图像坐标系和像素坐标系之间的转换关系，根据多个样本像素点在该图像坐标系中各自对应的样本位置信息，将多个样本像素点映射至像素坐标系，得到多个样本像素点在像素坐标系中各自对应的样本位置信息。

计算机设备可基于多个样本像素点对应的样本位置信息，将每个样本像素点从二维坐标系映射至三维坐标系，得到每个样本像素点在三维坐标系中各自对应的样本角坐标信息。每个样本像素点各自对应的样本角坐标信息构成样本全局角坐标信息。

进一步地，可基于多个样本像素点对应的样本位置信息，对多个样本像素点进行球面投影的逆处理，以将每个样本像素点从二维平面映射至三维空间的球面，得到每个样本像素点在球面上各自对应的样本角坐标信息。

在一个实施例中，对每个尺度提取处理样本像素点的样本角坐标信息进行归一化处理，并根据归一化处理后的样本角坐标信息构成尺度提取处理样本全向图像对应的样本全局角坐标信息。

步骤S406，将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征。

具体地，计算机设备可确定样本全局角坐标信息所对应的通道维度，以及样本全向图像的通道维度。计算机设备可将样本全局角坐标信息和样本全向图像的通道维度进行拼接融合，以将样本全局角坐标信息和样本全向图像进行融合，得到对应的样本融合特征。

在一个实施例中，计算机设备将样本全局角坐标信息和样本全向图像在通道维度上进行拼接融合，得到对应的样本融合特征。

步骤S408，对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征。

具体地，计算机设备可对样本融合特征进行特征提取，得到对应的样本特征图。计算机设备基于样本全局角坐标信息对样本特征图在空间维度上进行上采样处理，得到对应的样本上采样特征。

在一个实施例中，基于样本融合特征进行不同层次的特征提取，得到不同层次的样本特征；将尺度提取处理不同层次的样本特征进行逐像素融合，得到样本残差融合特征；基于样本全局角坐标信息，对样本残差融合特征在空间维度进行上采样处理，得到样本上采样特征。

步骤S410，根据样本上采样特征重建得到预测全向图像，预测全向图像的分辨率大于样本全向图像的分辨率。

具体地，计算机设备可根据样本上采样特征进行图像重建，得到重建生成的预测全向图像。该预测全向图像即为对样本全向图像进行超分辨率重建所得到的图像。该预测全向图像的分辨率大于样本全向图像的分辨率。

本实施例中，计算机设备可对样本上采样特征进行卷积处理，以重建形成预测全向图像。

步骤S412，基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对样本全向图像进行图像重建处理。

其中，满足训练停止条件可以是达到预设训练次数、预设迭代次数、损失值小于或等于损失阈值等。损失值可以是重构损失或者目标损失函数所计算出的目标损失。重构损失是指预测的预测全向图像和真实标签之间的损失。

具体地，计算机设备可计算预测全向图像和对应的重建标签之间的差异，该差异即为重构损失。根据重构损失调整待训练的图像重建模型的参数并继续训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。该训练完成的图像重建模型用于对原始全向图像进行图像重建处理。例如，当重构损失大于损失阈值时，调整图像重建模型的参数并继续训练，直至训练过程中的重构损失小于或等于损失阈值时停止训练，得到训练完成的图像重建模型。或者，根据重构损失调整待训练的图像重建模型的参数并继续训练，直至训练次数达到预设训练次数、或者训练过程中的图像重建模型的迭代次数达到预设迭代次数时停止，得到训练完成的图像重建模型。

上述图像重建模型的训练方法中，通过待训练的图像重建模型基于尺度提取处理样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个尺度提取处理样本像素点的样本角坐标信息，以得到尺度提取处理样本全向图像对应的样本全局角坐标信息，从而能够通过样本角坐标表征样本像素点在三维空间中的位置。将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，使得样本上采样特征在通道维度和空间维度上均融合了样本全向图像的全局角坐标信息，使得对像素的采样更均匀。根据像素均匀采样所得到的样本上采样特征能够更精准地进行重建，从而得到分辨率大于样本全向图像分辨率的预测全向图像。基于尺度提取处理预测全向图像和对应的重建标签之间的重构损失，对尺度提取处理待训练的图像重建模型进行训练，直至满足训练停止条件时停止，使得训练完成的图像重建模型能够在对全向图像的超分辨率重建过程中引入图像的全局角坐标信息，并根据全局角坐标信息在空间维度和通道维度对特征进行调整，使得在重建过程中能够对全向图像的像素进行均匀采样，从而获得更精确的超分辨率重建结果。并且，通过图像重建模型对低分辨率全向图像进行超分辨率重建，能够有效提高超分辨率重建的效率。

在一个实施例中，获取样本全向图像和样本全向图像对应的重建标签，包括：

获取第一全向图像，并对第一全向图像进行降采样处理，得到第二全向图像；第二全向图像的分辨率小于第一全向图像的分辨率；对第一全向图像和第二全向图像进行划分，得到第一全向图像对应的多个第一图像块，以及第二全向图像对应的多个第二图像块；将多个第二图像块作为样本全向图像，并将每个第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签。

其中，第一全向图像为高分辨率图像，第二全向图像为低分辨率图像。

具体地，计算机设备可获取多张第一全向图像，并对每张第一全向图像进行降采样处理，得到每张第一全向图像分别对应的第二全向图像。本实施例中，计算机设备可通过双三次插值算法对每张第一全向图像分别进行降采样，得到每张第一全向图像分别对应的第二全向图像。

计算机设备对每张第一全向图像和每张第二全向图像进行随机划分，得到每张第一全向图像各自对应的多个第一图像块，以及每张第二全向图像各自对应的多个第二图像块。

本实施例中，计算机设备对每张第一全向图像和每张第二全向图像进行随机裁剪，得到每张第一全向图像各自对应的多个第一图像块，以及每张第二全向图像各自对应的多个第二图像块。

可以理解的是，不同的第一全向图像的划分方式可不相同，也可以存在至少两张第一全向图像的划分方式相同。对第二全向图像进行裁剪的裁剪方式，与对该第二全向图像所对应的第一全向图像进行裁剪的裁剪方式相同。

本实施例中，获取高分辨率的第一全向图像，并对第一全向图像进行降采样处理，得到低分辨率的第二全向图像。对第一全向图像和第二全向图像进行划分，得到第一全向图像对应的多个第一图像块，以及第二全向图像对应的多个第二图像块，以将多个第二图像块作为样本全向图像，并将每个第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签，从而能够获得大量的训练样本，以对图像重建模型进行训练。并且，将图像块作为训练样本，能够将图像的各个区域用于模型训练，使得图像重建模型对图像各个区域的像素采样更均匀，从而使得对各个区域的超分辨率重建效果更精准。

在一个实施例中，基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，包括：

通过待训练的图像重建模型中的判别器对预测全向图像进行判别处理，得到对应的判别结果；确定预测全向图像和对应的重建标签之间的重构损失，以及确定判别结果和重建标签之间的对抗损失；根据重构损失和对抗损失构建目标损失函数，并基于目标损失函数对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

其中，对抗损失对预测的预测全向图像进行真假判别时，判别结果和真实结果（即重建标签）之间的差异。

具体地，待训练的图像重建模型包括生成器和判别器。计算机设备将样本全向图像和样本全向图像对应的重建标签输入生成器。通过生成器基于样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个样本像素点的样本角坐标信息，以得到样本全向图像对应的样本全局角坐标信息。通过生成器将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征。通过生成器对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征。通过生成器根据样本上采样特征重建得到预测全向图像。计算机设备可计算预测全向图像和对应的重建标签之间的差异，即计算预测全向图像和对应的重建标签之间的重构损失。

将生成器生成的预测全向图像输入判别器，通过判别器对预测全向图像进行判别，得到对应的判别结果。计算机设备可计算判别结果和重建标签之间的差异，即可得到对抗损失，根据重构损失和对抗损失，构建目标损失函数。进一步地，计算机设备可将重构损失和对抗损失求和，得到目标损失函数。或者，计算机设备获取重构损失和对抗损失各自对应的权重，将重构损失、对抗损失和各自对应的权重进行加权求和处理，得到目标损失函数。

计算机设备根据目标损失函数所计算出的在训练中的目标损失值调整图像重建模型的参数，并在调整参数后继续训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

本实施例中，判别器只用于图像重建模型的训练过程中，训练完成的图像重建模型不包括判别器。通过判别器对预测全向图像进行真假判别，得到对应的判别结果。该判别结果为真或假。例如，判别器输出1表示预测全向图像为真，输出0表示预测全向图像为假，也可以根据需求设置。

本实施例中，对抗损失能够体现模型重建的预测全向图像和期望重建的图像之间的差异。通过判别器对预测全向图像进行判别，得到对应的判别结果，并确定判别结果和重建标签之间的对抗损失，以确定模型重建得到的图像是否符合真实情况，是否符合预期。结合重构损失和对抗损失构建目标损失函数，能够考虑到图像整体损失、模型生成的预测全向图像和期望重建的图像之间的损失等多个因素对模型产生的影响，从而结合多方面的损失对图像重建模型进行训练，能够进一步提高在像素密度采样上的均匀性，以及在边缘纹理预测上准确性，从而提高对全向图像重建的准确性。

在一个实施例中，提供了一种图像处理方法，通过图像重建模型执行，该图像重建模型可部署在终端或服务器上，该图像处理方法包括：

图像重建模型的训练：

获取第一全向图像，并对尺度提取处理第一全向图像进行降采样处理，得到第二全向图像；尺度提取处理第二全向图像的分辨率小于尺度提取处理第一全向图像的分辨率。

对尺度提取处理第一全向图像和尺度提取处理第二全向图像进行划分，得到尺度提取处理第一全向图像对应的多个第一图像块，以及尺度提取处理第二全向图像对应的多个第二图像块。

将多个尺度提取处理第二图像块作为样本全向图像，并将每个尺度提取处理第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签。

将样本全向图像和重建标签输入待训练的图像重建模型，待训练的图像重建模型包括生成器和判别器。

通过生成器确定尺度提取处理样本全向图像中多个样本像素点分别对应的样本位置信息，并基于多个样本像素点分别对应的样本位置信息确定每个尺度提取处理样本像素点的样本角坐标信息，以得到尺度提取处理样本全向图像对应的样本全局角坐标信息。

通过生成器将尺度提取处理样本全局角坐标信息和尺度提取处理样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征。

通过生成器对尺度提取处理样本融合特征进行特征提取，并基于尺度提取处理样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征。

通过生成器根据尺度提取处理样本上采样特征重建得到预测全向图像，尺度提取处理预测全向图像的分辨率大于尺度提取处理样本全向图像的分辨率。

通过判别器对尺度提取处理预测全向图像进行判别处理，得到对应的判别结果。

确定尺度提取处理预测全向图像和对应的重建标签之间的重构损失，以及确定尺度提取处理判别结果和尺度提取处理重建标签之间的对抗损失。

根据尺度提取处理重构损失和尺度提取处理对抗损失构建目标损失函数，并基于尺度提取处理目标损失函数对尺度提取处理待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

图像重建模型的应用：

图像重建模型包括生成器，将原始全向图像输入图像重建模型的生成器。

通过生成器获取原始全向图像中多个像素点分别对应的位置信息，以及确定尺度提取处理原始全向图像的高度和宽度。

通过生成器获取第一坐标转换系数，根据尺度提取处理原始全向图像的高度和宽度、多个尺度提取处理像素点各自对应的坐标信息和尺度提取处理第一坐标转换系数，确定各尺度提取处理像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子。

通过生成器基于第二坐标转换系数和多个尺度提取处理像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个尺度提取处理像素点中的每个像素点在球面坐标系中对应的角坐标信息。

通过生成器根据每个尺度提取处理像素点的角坐标信息，形成尺度提取处理原始全向图像对应的全局角坐标信息。

通过生成器将尺度提取处理全局角坐标信息和尺度提取处理原始全向图像在通道维度上进行融合处理，得到对应的融合特征。

通过生成器对融合特征进行不同层次的特征提取，得到不同层次的特征；将尺度提取处理不同层次的特征进行逐像素融合，得到残差融合特征。

通过生成器对将尺度提取处理残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征。

通过生成器对尺度提取处理全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；获取偏移参数和尺度变换参数，基于尺度提取处理偏移参数对尺度提取处理全局尺度信息进行坐标偏移计算，得到尺度提取处理全局角坐标信息对应的坐标偏移信息；基于尺度提取处理尺度变换参数对尺度提取处理全局尺度信息进行尺度变换处理，得到尺度提取处理全局角坐标信息对应的尺度变换权重信息。

通过生成器根据尺度提取处理坐标偏移信息和尺度提取处理空间维度变换后的特征中各尺度提取处理像素点的坐标信息，确定每个尺度提取处理像素点偏移后的坐标信息；基于尺度提取处理尺度变换权重信息对各尺度提取处理像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征；将尺度提取处理空间维度变换后的特征和尺度提取处理通道变换后的特征进行逐像素融合，得到上采样特征。

通过生成器根据尺度提取处理上采样特征重建得到目标全向图像，尺度提取处理目标全向图像的分辨率大于尺度提取处理原始全向图像的分辨率。

本实施例中，获取高分辨率的第一全向图像，并对第一全向图像进行降采样处理，得到低分辨率的第二全向图像。以第二全向图像的图像块作为训练样本，以第一全向图像的图像块作为真值样本，能够将图像的各个区域用于模型训练，使得图像重建模型对图像各个区域的像素采样更均匀，从而使得对各个区域的超分辨率重建效果更精准。并且，在训练过程中，结合重构损失和对抗损失构建目标损失函数，能够考虑到图像整体损失、模型生成的预测全向图像和期望重建的图像之间的损失等多个因素对模型产生的影响，从而结合多方面的损失对图像重建模型进行训练，能够进一步提高在像素密度采样上的均匀性，以及在边缘纹理预测上准确性。

在图像重建模型的应用过程中，基于多个像素点各自对应的坐标，能够将原始全向图像的像素点从图像坐标系准确映射至像素坐标系，获得在像素坐标系中对应的像素坐标。对多个像素点在横轴方向和纵轴方向上分别对应的像素坐标进行等距柱状投影的逆处理，而等距柱状投影的逆处理能够将像素坐标系的坐标转换为在球面坐标系中的角坐标，从而能够准确得到每个像素点在球面坐标系中对应的角坐标信息，使得可以通过角坐标更准确地表示原始全向图像中各像素点的位置，以获得原始全向图像对应的全局角坐标信息。

将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。基于融合特征进行不同层次的特征提取，浅层次特征包含更多图像的细节信息，而深层次特征包含更多图像整体的语义信息。将不同层次的特征进行逐像素融合，从而能够将浅层次特征和深层次特征进行融合，使得所得到的残差融合特征同时包含了图像的纹理细节和图像的整体语义信息。

将残差融合特征在空间维度进行上采样处理，以对特征进行放大，得到空间维度变换后的特征。对全局角坐标信息进行尺度提取处理，得到用于对特征的通道进行调整时的调整尺度。调整尺度包括在通道变换中的坐标偏移信息和尺度变换权重信息，从而在对空间维度变换后的特征进行通道变换过程中，使用坐标偏移信息和尺度变换权重信息对特征的像素点进行均匀采样，形成采样均匀的上采样特征。根据像素均匀采样所得到的上采样特征能够更精准地进行重建，从而得到分辨率大于原始全向图像分辨率的目标全向图像。

本实施例中，在原始全向图像的超分辨率重建中引入该全局角坐标信息，并根据全局角坐标信息在空间维度和通道维度对特征进行调整，能够在重建过程中对原始全向图像的像素进行均匀采样，有效避免像素采样密度不均匀导致全向图像以ERP投影方式形成二维图像时图像上下边缘或边缘周围部分区域被压缩、细节纹理不清楚等问题。

在一个实施例中，提供了一种图像处理方法的应用场景。在该应用场景中，通过如图5所示的流程进行模型训练，以得到图像重建模型。首先，获取大量的高分辨全向图像。利用双三次插值算法对高分辨全向图像进行降采样，得到低分辨率全向图像。随机在低分辨率图像和对应的高分辨率图像进行裁剪图像块，将裁剪得到的低分辨率全向图像块作为训练样本，即样本全向图像。将裁剪得到的低分辨率全向图像块的对应的高分辨率图像块作为其真值样本，即样本全向图像对应的重建标签。

将低分辨率全向图像输入构建好的图像重建模型进行迭代训练，直至损失函数值小于一定程度或达到最大迭代次数后停止训练，得到训练好的图像重建模型。具体地，将低分辨率全向图像作为训练样本输入待训练的图像重建模型的生成器，生成器根据神经网络前向传播算法，得到预测的高分辨全向图像。将预测的高分辨全向图像与真值样本送入重建损失函数，计算重建损失。将预测的高分辨全向图像与真值样本送入判别器，通过判别器对预测的高分辨全向图像进行判别，得到判别结果，通过对抗损失函数计算判别结果和真值样本之间的对抗损失。根据重建损失和对抗损失计算得到目标损失值，基于目标损失值调整模型参数并继续训练，直到目标损失值小于损失阈值或者达到最大迭代次数后停止训练，得到训练好的图像重建模型。

在该应用场景中，原始全向图像为低分辨率全向图像

，目标全向图像为高分辨率全向图像

。如图6所示，为图像重建模型的处理流程示意图，具体处理如下：

用户输入图像重建模型的低分辨率全向图像

的长宽分别为

和

，经过图像重建模型进行s倍的超分辨率，输出的高分辨率全向图像

的长宽分别为

和

。

1、计算全局角坐标。通过ERP投影的逆运算，计算低分辨率全向图像

上每个像素点的角坐标，得到全局角坐标信息

，具体包括1.1-1.3：

1.1、计算二维坐标的尺度因子。确定低分辨率全向图像

的像素点在图像坐标系的二维坐标（x，y），并转换为在像素坐标系的x和y方向上的尺度因子

。计算过程如下公式所示：

1.2、计算角坐标。根据计算得到的二维坐标尺度因子

，计算其对应的角坐标

。计算过程如下公式所示：

1.3、角坐标归一化。对每个像素点的角坐标

进行归一化计算，得到归一化后的全局角坐标信息

。

2、图像层融合。将得到的全局角坐标信息

和低分辨率全向图像

按照通道维度进行拼接融合，得到融合后特征

。这种图像层的早期融合可提供输入层的多维度信息。

3、浅层特征提取。将融合特征

送入卷积层Conv_1进行浅层特征提取，得到浅层特征

。

4、深层特征提取。将浅层特征

依次送入串行连接的特征提取单元进行特征提取，得到深层特征

。特征提取单元可由超分辨率模型的骨干网络组成，比如可以是残差密集单元或有效长距离注意力单元等。

5、特征残差融合。为了进一步加强特征融合效果，将深层特征

和浅层特征

进行逐像素加计算，得到残差融合后的特征

。

6、特征上采样。将残差融合特征

送入上采样单元，进行特征上采样。上采样单元如图7所示，包括6.1-6.4：

6.1、计算全局坐标尺度向量

。将全局角坐标信息

输入两个全连接层，以从全局角坐标信息中提取尺度信息，得到全局坐标尺度向量

。将全局坐标尺度向量

输入一个用于尺度变换的全连接层，并将该全连接层的输出接着输入一个归一化层softmax，得到尺度变换权重

。同时，将全局坐标尺度向量

输入另一个用于坐标偏移计算的全连接层，得到坐标偏移量

和

。

6.2、使用参数初始化方法来初始化通道压缩卷积核和通道膨胀卷积核。将尺度变化权重

分别与初始化后的初始通道压缩卷积核、初始通道膨胀卷积核做逐点乘，得到带有全局坐标变换信息的目标通道压缩卷积核、目标通道膨胀卷积核。

6.3、在空间维度进行上采样。将残差融合特征

输入网格采样层，进行空间维度（即在图像的H、W维度上）的上采样操作，得到空间维度变换后的卷积特征

。将空间维度变换后的卷积特征

的坐标

逐点地与坐标偏移量

和

相加，计算各像素点偏移后的坐标

。

6.4、将各像素点偏移后的的坐标

目标通道压缩卷积核相乘（即进行卷积操作），并将相乘所得到的坐标与目标通道膨胀卷积核相乘（即进行卷积操作），得到通道变换后的特征

。将通道变换后的特征

与空间维度变换后的卷积特征

进行逐像素相加，得到空间和通道维度变化的特征

。特征

即为空间和通道维度变化后的上采样特征。

7、生成高分辨率全向图像。将特征

送入卷积层Conv_2，得到超分辨率的全向图像

。

本实施例中，通过引入全局角坐标信息，在图像层进行早期融合，以提供输入层的多维度信息。根据全局角坐标信息对特征进行空间维度和通道维度的调整，以解决360VR全向图像中像素采样密度不均匀的问题。

通过本实施例的图像处理方法重建得到的超分辨率全向图像相较于其他方法，能够在纹理细节和边缘轮廓等多个方面提供更精准的重建，有效提升超分辨率重建的清晰度和准确性。如图8所示，输入的低分辨率全向图像为帽子图像，分别使用双三次插值上采样、图像恢复算法SwinIR和本申请的图像处理方法得到高分辨率全向图像。从图中可看出本申请重建得到的高分辨率帽子图像中花朵的纹理和帽子的边缘轮廓更清晰。

如图9所示，输入的低分辨率全向图像分别使用双三次插值上采样、图像恢复算法SwinIR和本申请的图像处理方法得到高分辨率全向图像。从图9中可看出，本申请的图像处理方法所得到高分辨率全向图像清晰度最高，且对图像中的字符重建更加清晰。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。

在一个实施例中，如图10所示，提供了一种图像处理装置1000，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

获取模块1002，用于获取原始全向图像中多个像素点分别对应的位置信息。

确定模块1004，用于基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息。

融合模块1006，用于将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征。

上采样模块1008，用于对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征。

重建模块1010，用于根据上采样特征重建得到目标全向图像，目标全向图像的分辨率大于原始全向图像的分辨率。

本实施例中，获取原始全向图像中多个像素点分别对应的位置信息，基于多个像素点对应的位置信息，确定每个像素点的角坐标信息，以得到原始全向图像对应的全局角坐标信息，从而能够通过角坐标表征像素点在三维空间中的位置。将全局角坐标信息和原始全向图像在通道维度上进行融合处理，得到对应的融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对融合特征进行特征提取，并基于全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，使得上采样特征在通道维度和空间维度上均融合了原始全向图像的全局角坐标信息，使得对像素的采样更均匀。根据像素均匀采样所得到的上采样特征更精准地进行重建，从而得到分辨率大于原始全向图像分辨率的目标全向图像。

在一个实施例中，位置信息包括像素点在图像坐标系中的坐标信息；确定模块1004，还用于基于多个像素点各自对应的坐标信息，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；对多个像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到原始全向图像对应的全局角坐标信息。

在一个实施例中，确定模块1004，还用于确定原始全向图像的高度和宽度；获取第一坐标转换系数，根据原始全向图像的高度和宽度、多个像素点各自对应的坐标信息和第一坐标转换系数，确定各像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；基于第二坐标转换系数和多个像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个像素点中的每个像素点在球面坐标系中对应的角坐标信息；根据每个像素点的角坐标信息，形成原始全向图像对应的全局角坐标信息。

本实施例中，确定原始全向图像的高度和宽度，获取第一坐标转换系数，根据原始全向图像的高度和宽度、多个像素点各自对应的坐标信息和第一坐标转换系数，将原始全向图像的像素点从图像坐标系准确映射至像素坐标系，以获得各像素点在像素坐标系中对应的像素坐标，即尺度因子。基于第二坐标转换系数和多个像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，将像素点在像素坐标系中的像素坐标准确映射至球面坐标系，

准确得到每个像素点在球面坐标系中对应的角坐标信息，使得可以通过角坐标更准确地表示原始全向图像中各像素点的位置，以获得原始全向图像对应的全局角坐标信息。

在一个实施例中，上采样模块1008，还用于基于融合特征进行不同层次的特征提取，得到不同层次的特征；将不同层次的特征进行逐像素融合，得到残差融合特征；基于全局角坐标信息，对残差融合特征在空间维度进行上采样处理，得到上采样特征。

在一个实施例中，上采样模块1008，还用于将残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；对全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；基于全局尺度信息，确定全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；根据坐标偏移信息和尺度变换权重信息，对空间维度变换后的特征进行通道变换处理，得到上采样特征。

在一个实施例中，上采样模块1008，还用于获取偏移参数和尺度变换参数，基于偏移参数对全局尺度信息进行坐标偏移计算，得到全局角坐标信息对应的坐标偏移信息；基于尺度变换参数对全局尺度信息进行尺度变换处理，得到全局角坐标信息对应的尺度变换权重信息。

在一个实施例中，上采样模块1008，还用于根据坐标偏移信息和空间维度变换后的特征中各像素点的坐标信息，确定每个像素点偏移后的坐标信息；基于尺度变换权重信息对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征；将空间维度变换后的特征和通道变换后的特征进行逐像素融合，得到上采样特征。

在一个实施例中，该装置由图像重建模型执行，图像重建模型包括初始化的通道压缩卷积核和初始化的通道膨胀卷积核；上采样模块1008，还用于将尺度变换权重信息分别与初始化的通道压缩卷积核、初始化的通道膨胀卷积核进行点乘处理，得到目标通道压缩卷积核和目标通道膨胀卷积核；通过目标通道压缩卷积核和目标通道膨胀卷积核，对各像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。

本实施例中，将尺度变换权重信息分别与初始化的通道压缩卷积核、初始化的通道膨胀卷积核进行点乘处理，所得到的目标通道压缩卷积核和目标通道膨胀卷积核融合了全局坐标变换信息。通过目标通道压缩卷积核实现小范围像素信息的融合，以保证图像的细节信息。通过目标通道膨胀卷积核对目标通道压缩卷积核的输出进行大范围像素信息的融合，以保证图像中的边缘轮廓信息。

在一个实施例中，该装置由图像重建模型执行，该装置还包括：

样本获取模块，用于获取样本全向图像和样本全向图像对应的重建标签；

样本确定模块，用于通过待训练的图像重建模型基于样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个样本像素点的样本角坐标信息，以得到样本全向图像对应的样本全局角坐标信息；

样本融合模块，用于将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征；

样本上采样模块，用于对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征；

样本重建模块，用于根据样本上采样特征重建得到预测全向图像，预测全向图像的分辨率大于样本全向图像的分辨率；

训练模块，用于基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对原始全向图像进行图像重建处理。

本实施例中，通过待训练的图像重建模型基于样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个样本像素点的样本角坐标信息，以得到样本全向图像对应的样本全局角坐标信息，从而能够通过样本角坐标表征样本像素点在三维空间中的位置。将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征，能够在图像层进行早期融合，使得通过图像层的早期融合为后续处理提供更多维度的信息。对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，使得样本上采样特征在通道维度和空间维度上均融合了样本全向图像的全局角坐标信息，使得对像素的采样更均匀。根据像素均匀采样所得到的样本上采样特征能够更精准地进行重建，从而得到分辨率大于样本全向图像分辨率的预测全向图像。基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，使得训练完成的图像重建模型能够在对全向图像的超分辨率重建过程中引入图像的全局角坐标信息，并根据全局角坐标信息在空间维度和通道维度对特征进行调整，使得在重建过程中能够对全向图像的像素进行均匀采样，从而获得更精确的超分辨率重建结果。并且，通过图像重建模型对低分辨率全向图像进行超分辨率重建，能够有效提高超分辨率重建的效率。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像重建模型的训练方法的图像重建模型的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像重建模型的训练装置实施例中的具体限定可以参见上文中对于图像重建模型的训练方法的限定，在此不再赘述。

在一个实施例中，如图11所示，提供了一种图像重建模型的训练装置1100，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：包括：

样本获取模块1102，用于获取样本全向图像和样本全向图像对应的重建标签。

样本确定模块1104，用于通过待训练的图像重建模型基于样本全向图像中多个样本像素点分别对应的样本位置信息，确定每个样本像素点的样本角坐标信息，以得到样本全向图像对应的样本全局角坐标信息。

样本融合模块1106，用于将样本全局角坐标信息和样本全向图像在通道维度上进行融合处理，得到对应的样本融合特征。

样本上采样模块1108，用于对样本融合特征进行特征提取，并基于样本全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到样本上采样特征。

样本重建模块1110，用于根据样本上采样特征重建得到预测全向图像，预测全向图像的分辨率大于样本全向图像的分辨率。

训练模块1112，用于基于预测全向图像和对应的重建标签之间的重构损失，对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型；训练完成的图像重建模型用于对原始全向图像进行图像重建处理。

在一个实施例中，样本获取模块1102，还用于获取第一全向图像，并对第一全向图像进行降采样处理，得到第二全向图像；第二全向图像的分辨率小于第一全向图像的分辨率；对第一全向图像和第二全向图像进行划分，得到第一全向图像对应的多个第一图像块，以及第二全向图像对应的多个第二图像块；将多个第二图像块作为样本全向图像，并将每个第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签。

在一个实施例中，训练模块1112，还用于通过待训练的图像重建模型中的判别器对预测全向图像进行判别处理，得到对应的判别结果；确定预测全向图像和对应的重建标签之间的重构损失，以及确定判别结果和重建标签之间的对抗损失；根据重构损失和对抗损失构建目标损失函数，并基于目标损失函数对待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

上述图像处理装置、图像重建模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端或服务器。以终端为例，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法或一种图像重建模型的训练方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始全向图像中多个像素点分别对应的位置信息；

2.根据权利要求1所述的方法，其特征在于，所述位置信息包括像素点在图像坐标系中的坐标信息；所述基于多个所述像素点对应的位置信息，确定每个所述像素点的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：

基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；

对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息。

3.根据权利要求2所述的方法，其特征在于，所述基于多个所述像素点各自对应的坐标信息，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子，包括：

确定所述原始全向图像的高度和宽度；

获取第一坐标转换系数，根据所述原始全向图像的高度和宽度、多个所述像素点各自对应的坐标信息和所述第一坐标转换系数，确定各所述像素点在像素坐标系的横轴方向和纵轴方向上分别对应的尺度因子；

所述对多个所述像素点在横轴方向和纵轴方向上分别对应的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息，以得到所述原始全向图像对应的全局角坐标信息，包括：

基于第二坐标转换系数和多个所述像素点分别在横轴方向、纵轴方向上的尺度因子进行等距柱状投影的逆处理，得到多个所述像素点中的每个像素点在球面坐标系中对应的角坐标信息；

根据每个所述像素点的角坐标信息，形成所述原始全向图像对应的全局角坐标信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行特征提取，并基于所述全局角坐标信息对特征提取所得到的特征在空间维度进行上采样处理，得到上采样特征，包括：

基于所述融合特征进行不同层次的特征提取，得到不同层次的特征；

将所述不同层次的特征进行逐像素融合，得到残差融合特征；

基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征。

5.根据权利要求4所述的方法，其特征在于，所述基于所述全局角坐标信息，对所述残差融合特征在空间维度进行上采样处理，得到上采样特征，包括：

将所述残差融合特征在空间维度进行上采样处理，得到空间维度变换后的特征；

对所述全局角坐标信息进行尺度提取处理，得到对应的全局尺度信息；

基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息；

根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征。

6.根据权利要求5所述的方法，其特征在于，所述基于所述全局尺度信息，确定所述全局角坐标信息对应的坐标偏移信息和尺度变换权重信息，包括：

获取偏移参数和尺度变换参数，基于所述偏移参数对所述全局尺度信息进行坐标偏移计算，得到所述全局角坐标信息对应的坐标偏移信息；

基于所述尺度变换参数对所述全局尺度信息进行尺度变换处理，得到所述全局角坐标信息对应的尺度变换权重信息。

7.根据权利要求5所述的方法，其特征在于，所述根据所述坐标偏移信息和尺度变换权重信息，对所述空间维度变换后的特征进行通道变换处理，得到上采样特征，包括：

根据所述坐标偏移信息和所述空间维度变换后的特征中各所述像素点的坐标信息，确定每个所述像素点偏移后的坐标信息；

基于所述尺度变换权重信息对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征；

将所述空间维度变换后的特征和所述通道变换后的特征进行逐像素融合，得到上采样特征。

8.根据权利要求7所述的方法，其特征在于，所述方法由图像重建模型执行，所述图像重建模型包括初始化的通道压缩卷积核和初始化的通道膨胀卷积核；所述基于所述尺度变换权重信息对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征，包括：

将所述尺度变换权重信息分别与所述初始化的通道压缩卷积核、所述初始化的通道膨胀卷积核进行点乘处理，得到目标通道压缩卷积核和目标通道膨胀卷积核；

通过所述目标通道压缩卷积核和目标通道膨胀卷积核，对各所述像素点偏移后的坐标信息进行卷积处理，得到通道变换后的特征。

9.根据权利要求1至8任意一项所述的方法，其特征在于，所述方法由图像重建模型执行，所述图像重建模型通过训练步骤得到，所述训练步骤包括：

获取样本全向图像和所述样本全向图像对应的重建标签；

10.一种图像重建模型的训练方法，包括：

获取样本全向图像和所述样本全向图像对应的重建标签；

11.根据权利要求10所述的方法，其特征在于，所述获取样本全向图像和所述样本全向图像对应的重建标签，包括：

获取第一全向图像，并对所述第一全向图像进行降采样处理，得到第二全向图像；所述第二全向图像的分辨率小于所述第一全向图像的分辨率；

对所述第一全向图像和所述第二全向图像进行划分，得到所述第一全向图像对应的多个第一图像块，以及所述第二全向图像对应的多个第二图像块；

将多个所述第二图像块作为样本全向图像，并将每个所述第二图像块所对应的第一图像块，作为相应样本全向图像对应的重建标签。

12.根据权利要求10所述的方法，其特征在于，所述基于所述预测全向图像和对应的重建标签之间的重构损失，对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型，包括：

通过所述待训练的图像重建模型中的判别器对所述预测全向图像进行判别处理，得到对应的判别结果；

确定所述预测全向图像和对应的重建标签之间的重构损失，以及确定所述判别结果和所述重建标签之间的对抗损失；

根据所述重构损失和所述对抗损失构建目标损失函数，并基于所述目标损失函数对所述待训练的图像重建模型进行训练，直至满足训练停止条件时停止，得到训练完成的图像重建模型。

13.一种图像处理装置，其特征在于，所述装置包括：

14.一种图像重建模型的训练装置，其特征在于，所述装置包括：

15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。