CN112241934B - 一种图像处理方法以及相关设备 - Google Patents

Abstract

本申请实施例公开一种图像处理方法以及相关设备，该方法可用于人工智能领域中，在获取到第一阵列图像之后，通过第一卷积神经网络对第一阵列图像执行卷积操作，得到该第一阵列图像的至少一个第一特征平面，并对每个第一特征平面进行上采样，根据执行过上采样操作的第二特征平面重构出拍摄对象的第二阵列图像，通过上采样的方式提高了光场图像的分辨率，而且是对第一阵列图像的特征平面进行上采样，而不是直接对第一阵列图像进行上采样，节省了大量的计算机资源；且将第一阵列图像作为一个整体进行卷积操作，保留了原始阵列图像的几何特征。

Description

一种图像处理方法以及相关设备

技术领域

本申请涉及人工智能领域，尤其涉及一种图像处理方法以及相关设备。

背景技术

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。利用人工智能进行图像处理是人工智能常见的一个应用方式。

阵列相机是近年来图像处理领域中进行图像采集过程中的一个新兴技术，阵列相机可以同时记录各个像素点光线的强度信息、光线的色彩信息以及光线的角度信息，因此光场图像可以提供更加丰富的场景信息。

但由于阵列相机直接采集到的光场图像的分辨率往往较低，因此，一种提升光场图像的分辨率的方法亟待推出。

发明内容

本申请实施例提供了一种图像处理方法以及相关设备，用于通过高维卷积神经网络获取阵列图像的特征平面，并对特征平面进行上采样，相比起直接对第一阵列图像进行上采样，节省了大量的计算机资源。

为解决上述技术问题，本申请实施例提供以下技术方案：

第一方面，本申请实施例提供一种图像处理方法，可用于人工智能领域中，方法包括：执行设备可以获取第一阵列图像，第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第一图像，至少两个第一图像呈阵列分布，第一阵列图像为一个泛指的概念，指的是需要通过执行设备提高角度分辨率和/或空间分辨率的阵列图像，具体的，第一阵列图像可以为通过阵列相机采集到的阵列图像，也可以为通过配置有阵列相机的监控拍摄到的视频中的某一个视频帧，还可以为多个普通相机从不同拍摄角度同时拍摄同一个拍摄对象，进而得到同一拍摄对象的多个不同的角度图像，并根据所述多个不同的角度图像生成所述拍摄对象的阵列图像，还可以为多个雷达从不同的采集角度同时向同一拍摄对象发射雷达波，以通过多个雷达得到同一拍摄对象的多个不同的角度图像，并根据所述多个不同的角度图像生成所述拍摄对象的阵列图像等等；之后执行设备可以将第一阵列图像视为一个整体，通过第一卷积神经网络对第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带第一阵列图像的一种特征信息，进而执行设备通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面，并通过第一卷积神经网络对至少一个第二特征平面进行图像重构，输出拍摄对象的第二阵列图像。本实现方式中在获取第一阵列图像之后，可以先将第一阵列图像视为一个整体，通过第一卷积神经网络对第一阵列图像执行卷积操作，得到该第一阵列图像的至少一个第一特征平面，并对每个第一特征平面进行上采样，根据执行过上采样操作的第二特征平面重构出拍摄对象的第二阵列图像，通过上采样的方式提高了光场图像的分辨率，而且是对第一阵列图像的特征平面进行上采样，而不是直接对第一阵列图像进行上采样，节省了大量的计算机资源；且执行设备将阵列图像视为一个整体进行卷积操作，很好的保留了第一阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

在第一方面的一种可能实现方式中，由于每个第一图像中都携带有特定的角度信息，则第一图像也可以称为第一角度图像，第一阵列图像的至少两个第一图像可以包括至少四个第一图像，则可以按照不同第一图像中携带的角度信息对至少四个第一图像进行角度维度的排列，进而至少四个第一图像在角度维度上分为在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像，第一卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核，执行设备通过第一卷积神经网络对第一阵列图像执行卷积操作，具体可以包括：执行设备通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像指的是。本实现方式中公开了高维卷积神经网络对阵列图像进行卷积操作的具体实现方式，提高了本方案的可执行性；且每个卷积模块对水平方向上的至少两个第一图像和竖直方向上的至少两个第一图像进行滤波，使得每个卷积模块可以学习到不同角度图像之间的关联关系，从而卷积模块生成的每个特征平面均携带有阵列图像的几何特征。

在第一方面的一种可能实现方式中，第一特征平面中包括呈阵列分布的至少两个子特征平面，每个子特征平面与每个第一图像一一对应，则对应的，第一特征平面中也存在角度维度和空间维度，其中，空间维度指的是每个第四特征平面中每个子特征平面所在的维度，执行设备通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面，包括：执行设备通过第一卷积神经网络对每个第一特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第二特征平面，其中，第一特征平面和第二特征平面均为泛指的概念，第一特征平面指的是第一卷积神经网络对第一阵列图像进行卷积操作得到的特征平面，第二特征平面指的是对第一特征平面进行上采样得到的特征平面。本实现方式中可以对特征平面在角度维度和空间维度上同时进行上采样，从而实现了同时增强阵列图像在空间维度和角度维度的分辨率。

在第一方面的一种可能实现方式中，通过第一卷积神经网络对每个第一特征平面在角度维度和空间维度上进行上采样，包括：通过第一卷积神经网络对第一特征平面在角度维度上进行线性插值操作；通过第一卷积神经网络对第一特征平面在空间维度上进行子像素卷积操作。本实现方式中可以将对第一特征平面在角度维度上进行上采样确定为线性插值操作，将对第一特征平面在空间维度上进行上采样确定为子像素卷积操作，通过前述方式，从多种可实现方式中选择了一种实现方式，提高了本方案的可执行性。

在第一方面的一种可能实现方式中，方法还包括：通过第二卷积神经网络对第二阵列图像执行卷积操作，得到至少一个第三特征平面，每个第三特征平面中包括第二阵列图像中所有图像的一种特征信息，至少一个第三特征平面中携带有第二阵列图像中每个图像的高频纹理信息；通过第二卷积神经网络对至少一个第三特征平面进行图像重构，输出拍摄对象的第三阵列图像，其中，第三特征平面为一个泛指的概念，第三特征平面指的是第二卷积神经网络对第二阵列图像进行卷积操作之后得到的特征平面。本实现方式中执行设备不仅通过第一卷积神经网络提高第一阵列图像的角度分辨率和/或空间分辨率的，还通过第二卷积神经网络提高第二阵列图像的高频纹理信息，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

在第一方面的一种可能实现方式中，第一阵列图像为灰度图像，对应的，第二阵列图像和第三阵列图像也可以为灰度图像。本实现方式中在增加阵列图像的角度分辨率和/或空间分辨率，执行设备先扩展阵列图像的纹理信息，再扩展阵列图像的颜色信息，从而使得阵列图像的角度分辨率和/或空间分辨率提高过程更为精细化，有利于获得更为高清的阵列图像。

第二方面，本申请实施例提供了另一种图像处理方法，可用于人工智能领域中，方法包括：训练设备上需要预先存储有低质量阵列图像和高清阵列图像，则在对第三卷积神经网络进行训练之前，先获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，低质量阵列图像和高清阵列图像中包括的为同一对象，一个低质量阵列图像中可以包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第二图像，一个高清阵列图像中可以包括从多个拍摄角度采集的同一拍摄对象的多个第三图像；之后训练设备可以通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带低质量阵列图像的一种特征信息，通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面，并通过第三卷积神经网络对至少一个第五特征平面进行图像重构，输出拍摄对象的第四阵列图像；在训练设备得到第四阵列图像之后，可以将第四阵列图像也高清阵列图像进行对比，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度，也即满足第一损失函数的收敛条件时，训练设备输出第一卷积神经网络，进而可以将第一卷积神经网络发送给执行设备，其中，第一卷积神经网络为第三卷积神经网络执行过迭代训练后得到的网络。

本实现方式中在获取低质量阵列图像之后，可以先将低质量阵列图像视为一个整体，通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到低质量阵列图像的至少一个第四特征平面，并对每个第四特征平面进行上采样，根据执行过上采样操作的第五特征平面重构出第四阵列图像，将第四阵列图像与高清阵列图像进行对比，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像与高清阵列图像之间的相似度达到第一预设程度，输出第一卷积神经网络，通过上述方式，提供了第一卷积神经网络在训练设备中的训练过程，提高了本方案的全面性，通过上采样的方式提高了光场图像的分辨率，而且是对低质量阵列图像的特征平面进行上采样，而不是直接对低质量阵列图像进行上采样，节省了大量的计算机资源；且训练设备将阵列图像视为一个整体进行卷积操作，很好的保留了低质量阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

在第二方面的一种可能实现方式中，低质量阵列图像包括至少四个第二图像，至少四个第二图像在角度维度上分为在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像，第三卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核，通过第三卷积神经网络对第一阵列图像执行卷积操作，包括：通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像。对于执行设备执行本实现方式的具体实现步骤，可以参考第一方面以及第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

在第二方面的一种可能实现方式中，通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面，包括：通过第三卷积神经网络对每个第四特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第五特征平面。对于执行设备执行本实现方式的具体实现步骤，可以参考第一方面以及第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

在第二方面的一种可能实现方式中，通过第三卷积神经网络对每个第四特征平面在角度维度和空间维度上进行上采样，包括：通过第三卷积神经网络对第四特征平面在角度维度上进行线性插值操作；通过第三卷积神经网络对第四特征平面在空间维度上进行子像素卷积操作。对于执行设备执行本实现方式的具体实现步骤，可以参考第一方面以及第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

在第二方面的一种可能实现方式中，方法还可以包括：通过第四卷积神经网络对第四阵列图像执行卷积操作，得到至少一个第六特征平面，其中，第四卷积神经网络为未执行过迭代训练的网络，每个第六特征平面中携带第四阵列图像的一种特征信息；通过第四卷积神经网络对至少一个第六特征平面进行图像重构，输出拍摄对象的第五阵列图像；根据第五阵列图像和高清阵列图像，利用第二损失函数对第四卷积神经网络进行迭代训练，直至第五阵列图像和高清阵列图像的相似度达到第二预设程度，第二预设程度高于第一预设程度；输出第二卷积神经网络，第二卷积神经网络为第四卷积神经网络执行过迭代训练后得到的网络。

在第二方面的一种可能实现方式中，第一损失函数为逐像素对比损失函数，第二损失函数为感知损失函数，其中，逐像素对比损失函数指的是在像素纬度对比第四阵列图像和高清阵列图像，也即满足第一损失函数的收敛条件也即逐个对比第四阵列图像和高清阵列图像的像素，直至第四阵列图像和高清阵列图像的每个像素值之间的差值低于预设阈值，感知损失函数指的是在特征维度对比第五阵列图像和高清阵列图像，也即满足第二损失函数的收敛条件可以为逐个对比第五阵列图像和高清阵列图像中对应位置图像之间的图像特征的差异，直至第五阵列图像和高清阵列图像的每个图像之间的差异值低于第二阈值。本实现方式中训练设备将第一损失函数确定为逐像素对比损失函数，将第二损失函数确定为感知损失函数，当逐像素对比损失函数和感知损失函数均满足收敛条件时，第二卷积神经网络比第一卷积神经网络输出的阵列图像与高清阵列图像的相似度更高，也即在对高维卷积神经网络进行训练的过程中，采用递进式的网络结构，在不同阶段配合不同的损失函数，分布逐级对阵列图像进行优化，使得提升阵列图像的分辨率的过程更为精细化，也即降低了每个阶段的工作任务，有利于提高本方案的可执行性，从而保证最后输出的重构阵列图像与高清阵列图像的差异尽可能小。

在第二方面的一种可能实现方式中，训练设备利用第一损失函数对第三卷积神经网络进行迭代训练，和，利用第二损失函数对第四卷积神经网络进行迭代训练，包括：训练设备利用第三损失函数对第三卷积神经网络和第四卷积神经网络进行迭代训练，第三损失函数包括第一损失函数和第二损失函数，具体的，训练设备可以为第一损失函数分配第一权重，为第二损失函数分配第二权重，第三损失函数为第一损失函数与第一权重的乘积和第二损失函数与第二权重的乘积之间的和；可选的，第一权重的取值小于第二权重的取值。本实现方式中由于第一损失函数是用来对第三卷积神经网络进行训练的，第二损失函数是用来对第四卷积神经网络进行训练的，而第四卷积神经网络的输入正是第三卷积神经网络的输出，也即在训练过程中，第三卷积神经网络和第四卷积神经网络之间的联系紧密，训练设备采用同时训练第三卷积神经网络和第四卷积神经网络的方式，不仅有利于节省计算机资源，还有利于缩短训练时间，提高训练过程的效率。

在第二方面的一种可能实现方式中，低质量阵列图像可以为灰度图像，对应的，第四阵列图像、第五阵列图像和高清阵列图像也为灰度图像。

第三方面，本申请实施例提供了一种执行设备，可用于人工智能领域的图像处理领域中，执行设备包括：获取模块、第一特征提取模块、上采样模块和第一重构模块，其中，获取模块，用于获取第一阵列图像，第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄拍摄对象的至少两个第一图像，至少两个第一图像呈阵列分布；第一特征提取模块，用于通过第一卷积神经网络对第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带第一阵列图像的一种特征信息；上采样模块，用于通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面；第一重构模块，用于通过第一卷积神经网络对至少一个第二特征平面进行图像重构，输出拍摄对象的第二阵列图像。

本实现方式中，在获取模块获取第一阵列图像之后，第一特征提取模块可以先将第一阵列图像视为一个整体，通过第一卷积神经网络对第一阵列图像执行卷积操作，得到该第一阵列图像的至少一个第一特征平面，并由上采样模块对每个第一特征平面进行上采样，第一重构模块根据执行过上采样操作的第二特征平面重构出拍摄对象的第二阵列图像，通过上采样的方式提高了光场图像的分辨率，而且是对第一阵列图像的特征平面进行上采样，而不是直接对第一阵列图像进行上采样，节省了大量的计算机资源。且执行设备将阵列图像视为一个整体进行卷积操作，很好的保留了第一阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

在一种可能的实现方式中，至少两个第一图像包括至少四个第一图像，至少四个第一图像在角度维度上分为在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像，第一卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；第一特征提取模块具体用于：通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像。

本实现方式中，公开了高维卷积神经网络对阵列图像进行卷积操作的具体实现方式，提高了本方案的可执行性；且第一特征提取模块通过每个卷积模块对水平方向上的至少两个第一图像和竖直方向上的至少两个第一图像进行滤波，使得每个卷积模块可以学习到不同角度图像之间的关联关系，从而卷积模块生成的每个特征平面均携带有阵列图像的几何特征。

在一种可能的实现方式中，上采样模块具体用于：通过第一卷积神经网络对每个第一特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第二特征平面。

本实现方式中，上采样模块可以对特征平面在角度维度和空间维度上同时进行上采样，从而实现了同时增强阵列图像在空间维度和角度维度的分辨率。

在一种可能的实现方式中，上采样模块具体用于：通过第一卷积神经网络对第一特征平面在角度维度上进行线性插值操作，以及，通过第一卷积神经网络对第一特征平面在空间维度上进行子像素卷积操作。

在一种可能的实现方式中，执行设备还包括：第二特征提取模块和第二重构模块，其中，第二特征提取模块，用于通过第二卷积神经网络对第二阵列图像执行卷积操作，得到至少一个第三特征平面，每个第三特征平面中包括第二阵列图像中所有图像的一种特征信息，至少一个第三特征平面中携带有第二阵列图像中每个图像的高频纹理信息；第二重构模块，用于通过第二卷积神经网络对至少一个第三特征平面进行图像重构，输出拍摄对象的第三阵列图像。

本实现方式中，执行设备不仅通过第一卷积神经网络提高第一阵列图像的角度分辨率和/或空间分辨率的，还由第二特征提取模块通过第二卷积神经网络提高第二阵列图像的高频纹理信息，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

在一种可能的实现方式中，第一阵列图像为灰度图像。

对于本申请第三方面提供的执行设备的组成模块执行第三方面以及第三方面的各种可能实现方式的具体实现步骤，均可以参考第一方面以及第一方面中各种可能的实现方式中的描述，此处不再一一赘述。

第四方面，本申请实施例提供了一种训练设备，训练设备包括：获取模块、第一特征提取模块、上采样模块、第一重构模块、迭代训练模块和输出模块，其中，获取模块，用于获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，低质量阵列图像和高清阵列图像中包括的为同一对象；第一特征提取模块，用于通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带低质量阵列图像的一种特征信息；上采样模块，用于通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面；第一重构模块，用于通过第三卷积神经网络对至少一个第五特征平面进行图像重构，输出拍摄对象的第四阵列图像；迭代训练模块，用于根据第四阵列图像和高清阵列图像，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度；输出模块，用于输出第一卷积神经网络，第一卷积神经网络为第三卷积神经网络执行过迭代训练后得到的网络。

本实现方式中，获取模块在获取低质量阵列图像之后，第一特征提取模块可以先将低质量阵列图像视为一个整体，通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到低质量阵列图像的至少一个第四特征平面，上采样模块对每个第四特征平面进行上采样，第一重构模块根据执行过上采样操作的第五特征平面重构出第四阵列图像，迭代训练模块将第四阵列图像与高清阵列图像进行对比，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像与高清阵列图像之间的相似度达到第一预设程度，输出模块输出第一卷积神经网络，通过上述方式，提供了第一卷积神经网络在训练设备中的训练过程，提高了本方案的全面性，通过上采样的方式提高了光场图像的分辨率，而且是对低质量阵列图像的特征平面进行上采样，而不是直接对低质量阵列图像进行上采样，节省了大量的计算机资源；且训练设备将阵列图像视为一个整体进行卷积操作，很好的保留了低质量阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

在一种可能的实现方式中，低质量阵列图像包括至少四个第二图像，至少四个第二图像在角度维度上分为在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像，第三卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；第一特征提取模块具体用于：通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像。

在一种可能的实现方式中，上采样模块具体用于：通过第三卷积神经网络对每个第四特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第五特征平面。

在一种可能的实现方式中，上采样模块具体用于：通过第三卷积神经网络对第四特征平面在角度维度上进行线性插值操作，以及，通过第三卷积神经网络对第四特征平面在空间维度上进行子像素卷积操作。

在一种可能的实现方式中，训练设备还包括：第二特征提取模块和第二重构模块，其中，第二特征提取模块，用于通过第四卷积神经网络对第四阵列图像执行卷积操作，得到至少一个第六特征平面，其中，第四卷积神经网络为未执行过迭代训练的网络，每个第六特征平面中携带第四阵列图像的一种特征信息；第二重构模块，用于通过第四卷积神经网络对至少一个第六特征平面进行图像重构，输出拍摄对象的第五阵列图像；迭代训练模块，还用于根据第五阵列图像和高清阵列图像，利用第二损失函数对第四卷积神经网络进行迭代训练，直至第五阵列图像和高清阵列图像的相似度达到第二预设程度，第二预设程度高于第一预设程度；输出模块，还用于输出第二卷积神经网络，第二卷积神经网络为第四卷积神经网络执行过迭代训练后得到的网络。

本实现方式中，迭代训练模块不仅通过训练第三卷积神经网络，以输出用于提高阵列图像的角度分辨率和/或空间分辨率的第一卷积神经网络，还通过训练第四卷积神经网络，输出用于提高阵列图像的高频纹理信息的第二卷积神经网络，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

在一种可能的实现方式中，第一损失函数为逐像素对比损失函数，第二损失函数为感知损失函数。

本实现方式中，迭代训练模块将第一损失函数确定为逐像素对比损失函数，将第二损失函数确定为感知损失函数，当逐像素对比损失函数和感知损失函数均满足收敛条件时，第二卷积神经网络比第一卷积神经网络输出的阵列图像与高清阵列图像的相似度更高，也即在对高维卷积神经网络进行训练的过程中，采用递进式的网络结构，在不同阶段配合不同的损失函数，分布逐级对阵列图像进行优化，使得提升阵列图像的分辨率的过程更为精细化，也即降低了每个阶段的工作任务，有利于提高本方案的可执行性，从而保证最后输出的重构阵列图像与高清阵列图像的差异尽可能小。

在一种可能的实现方式中，迭代训练模块具体用于：利用第三损失函数对第三卷积神经网络和第四卷积神经网络进行迭代训练，第三损失函数包括第一损失函数和第二损失函数。

本实现方式中，由于第一损失函数是用来对第三卷积神经网络进行训练的，第二损失函数是用来对第四卷积神经网络进行训练的，而第四卷积神经网络的输入正是第三卷积神经网络的输出，也即在训练过程中，第三卷积神经网络和第四卷积神经网络之间的联系紧密，迭代训练模块采用同时训练第三卷积神经网络和第四卷积神经网络的方式，不仅有利于节省计算机资源，还有利于缩短训练时间，提高训练过程的效率。

在一种可能的实现方式中，低质量阵列图像和高清阵列图像均为灰度图像。

对于本申请第三方面提供的训练设备的组成模块执行第四方面以及第四方面的各种可能实现方式的具体实现步骤，均可以参考第二方面以及第二方面中各种可能的实现方式中的描述，此处不再一一赘述。

第五方面，本申请实施例提供了一种执行设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：获取第一阵列图像，第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第一图像，至少两个第一图像呈阵列分布；通过第一卷积神经网络对第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带第一阵列图像的一种特征信息；通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面；通过第一卷积神经网络对至少一个第二特征平面进行图像重构，输出拍摄对象的第二阵列图像，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

一种可能的实现方式中，执行设备为虚拟现实VR设备、手机、平板、笔记本电脑或者智能穿戴设备。

一种可能的实现方式中，执行设备为监控数据处理设备或者雷达数据处理设备。

本申请第五方面中，处理器还可以用于执行第一方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅第一方面，此处不再赘述。

第六方面，本申请实施例提供了一种执行设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，低质量阵列图像和高清阵列图像中包括的为同一对象；通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带低质量阵列图像的一种特征信息；通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面；通过第三卷积神经网络对至少一个第五特征平面进行图像重构，输出拍摄对象的第四阵列图像；根据第四阵列图像和高清阵列图像，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度；输出第一卷积神经网络，第一卷积神经网络为第三卷积神经网络执行过迭代训练后得到的网络，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请第六方面中，处理器还可以用于执行第二方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅第二方面，此处不再赘述。

第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的图像处理方法。

第八方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面或第二方面所述的图像处理方法。

第九方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持执行设备或训练设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

第十方面，本申请实施例提供一种图像处理方法，方法可以应用于人工智能领域的终端设备，终端设备上配置有阵列相机，方法包括：当用户直接打开拍照客户端或者通过其他类型的客户端打开拍照客户端时，终端设备控制阵列相机处于开启状态，并展示第一拍摄模式和第二拍摄模式，进而可以通过第一拍摄模式和第二拍摄模式的展示界面接收拍摄模式选择指令，其中，拍摄模式选择指令可以表现为对第一拍摄模式或第二拍摄模式的选择指令，也可以表现为第二拍摄模式开启或关闭指令，还可以表现为第一拍摄模式和第二拍摄模式之间的切换指令等；在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，可以通过阵列相机采集并展示拍摄对象的第六阵列图像；在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，可以在采集到第六阵列图像之后，对对第六阵列图像进行空间分辨率和/或角度分辨率增强操作，以生成第七阵列图像，进而展示拍摄对象的第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

一种可能的实现方式中，终端设备接收拍摄模式选择指令具体可以包括：终端设备接收拍摄模式切换指令，拍摄模式切换指令用于指示终端设备将阵列相机的拍摄模式由第一拍摄模式切换至第二拍摄模式。

本申请第十方面中，终端设备还可以用于执行第一方面以及第一方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅第一方面，此处不再赘述。

第十一方面，本申请实施例提供一种图像处理方法，方法可以应用于人工智能领域的通信设备，方法包括：在用户通过通信设备的阵列相机采集到拍摄对象的第六阵列图像时，或者通信设备接收到其他通信设备发送的第六阵列图像时，可以展示第六阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；在通信设备通过第六阵列图像的展示界面接收图像增强指令的情况下，通信设备可以响应于图像增强指令，对第六阵列图像进行空间分辨率和/或角度分辨率增强操作，以生成第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

本申请第十一方面中，通信设备还可以用于执行第一方面以及第一方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅第一方面，此处不再赘述。

第十二方面，本申请实施例提供了一种终端设备，终端设备上配置有阵列相机，终端设备包括：展示模块，用于在阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式；接收模块，用于通过展示界面接收拍摄模式选择指令；生成模块，用于在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，生成并展示拍摄对象的第六阵列图像；生成模块，还用于在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，生成并展示拍摄对象的第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

第十三方面，本申请实施例提供了一种通信设备，所述通信设备包括：展示模块，用于展示第六阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；接收模块，用于通过所述第六阵列图像的展示界面接收图像增强指令；生成模块，用于响应于所述图像增强指令，对所述第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，所述第七阵列图像的清晰度高于所述第六阵列图像和/或所述第七阵列图像在角度维度的播放连贯性高于所述第六阵列图像。

第十四方面，本申请实施例提供了一种终端设备，终端设备上配置有阵列相机，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：在阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式；通过展示界面接收拍摄模式选择指令；在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，生成并展示拍摄对象的第六阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，生成并展示拍摄对象的第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

第十五方面，本申请实施例提供了一种终端设备，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：展示第六阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；通过所述第六阵列图像的展示界面接收图像增强指令；响应于所述图像增强指令，对所述第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，所述第七阵列图像的清晰度高于所述第六阵列图像和/或所述第七阵列图像在角度维度的播放连贯性高于所述第六阵列图像，总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请第十二方面至第十五方面中，终端设备或通信设备还可以用于执行第一方面以及第一方面的各个可能实现方式中执行设备执行的步骤，具体均可以参阅第一方面，此处不再赘述。

第十六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第十方面或第十一方面所述的图像处理方法。

第十七方面，本申请实施例提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第十方面或第十一方面所述的图像处理方法。

第十八方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持终端设备或通信设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存终端设备或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

附图说明

图1为本申请实施例提供的人工智能主体框架的一种结构示意图；

图2为本申请实施例提供的图像处理方法的应用产品的几种产品示意图；

图3为本申请实施例提供的图像处理方法的一种流程示意图；

图4为本申请实施例提供的图像处理系统的一种系统架构图；

图5为本申请实施例提供的卷积核对阵列图像执行卷积操作的一种示意图；

图6为本申请实施例提供的卷积核对阵列图像执行卷积操作的另一种示意图；

图7为本申请实施例提供的第一卷积神经网络的一种结构示意图；

图8为本申请实施例提供的第二卷积神经网络的一种结构示意图；

图9为本申请实施例提供的图像处理方法的另一种流程示意图；

图10为本申请实施例提供的图像处理方法中上采样操作的一种流程示意图；

图11为本申请实施例提供的第四特征平面与第五特征平面的一种对比示意图；

图12为本申请实施例提供的图像处理方法的又一种流程示意图；

图13a为本申请实施例提供的图像处理方法的再一种流程示意图；

图13b为本申请实施例提供的图像处理方法的又一种流程示意图；

图14为本申请实施例提供的一种有益效果展示示意图；

图15a为本申请实施例提供的执行设备的一种结构示意图；

图15b为本申请实施例提供的执行设备的另一种结构示意图；

图16a为本申请实施例提供的训练设备的一种结构示意图；

图16b为本申请实施例提供的训练设备的另一种结构示意图；

图17a为本申请实施例提供的终端设备的一种结构示意图；

图17b为本申请实施例提供的通信设备的一种结构示意图；

图18为本申请实施例提供的执行设备的又一种结构示意图；

图19为本申请实施例提供的训练设备的又一种结构示意图；

图20为本申请实施例提供的芯片的一种结构示意图。

具体实施方式

本申请实施例提供了一种图像处理方法以及相关设备，用于通过高维卷积神经网络获取阵列图像的特征平面，并对特征平面进行上采样，相比起直接对第一阵列图像进行上采样，节省了大量的计算机资源。

下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。

(1)基础设施

基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。

(2)数据

基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。

(3)数据处理

数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。

其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。

推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。

决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。

(4)通用能力

对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。

(5)智能产品及行业应用

智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、平安城市等。

本申请可以应用于人工智能领域的图像处理领域中，具体的，结合图1来讲，本申请实施例中基础设施获取的数据是阵列图像，并利用高维卷积神经网络对所述阵列图像进行卷积操作，得到阵列图像的特征平面后，对特征平面进行上采样，以实现增强阵列图像的分辨率的通用能力。由于智能安防、平安城市、智能终端等领域中都可以用到本申请实施例中的图像处理方法，下面将对多个落地到产品的多个应用场景进行介绍。

作为一种示例，所述智能终端可以为配置有阵列相机(也可以称为“光场摄像机”)的手机、平板、笔记本电脑、智能穿戴设备等，请参阅图2，图2示出了本方案的几个落地产品的示意图，图2的(a)子示意图和(b)子示意图分别示出了当智能终端为智能手机时，阵列相机的具体表现形态，阵列相机可以通过多个镜头从不同的拍摄角度同时采集同一个拍摄对象的图像，从而得到阵列图像，但由于智能终端设备上的传感器资源有限，为了支持多个镜头获取更多角度维度的信息，就意味着每个镜头获取的空间维度的信息会有所损失，也即通过阵列相机采集的阵列图像的空间分辨率和/或角度分辨率会较低，从而需要提高阵列图像的分辨率。

作为另一示例，所述智能终端可以为虚拟现实(virtual reality，VR)设备，请参阅图2，图2的(c)子示意图示出的了当智能终端为VR设备时，阵列相机的具体表现形态，VR设备可以利用阵列相机获取拍摄对象的光场图像，也即不同拍摄角度下的拍摄对象的至少两个图像组成的阵列图像，为了增强用户体验，VR设备也需要提高阵列图像的空间分辨率和/或角度分辨率。

作为另一示例，本申请实施例也可以应用于智能安防领域中的智能监控中，可以在所述智能监控中配置阵列相机，则智能监控可以通过阵列相机获取同一拍摄对象的多个拍摄角度下的多个视频，进而从配置有阵列相机的智能监控输出的视频中获取包含拍摄对象的视频帧，所述视频帧中就包括所述拍摄对象的阵列图像信息，而在安防监控领域有提高视频帧的分辨率的需求。

作为再一示例，本申请实施例也可以应用于处理阵列雷达采集的图像数据，具体的，阵列雷达中包括分布于不同角度的至少两个雷达，所述至少两个雷达同时向同一对象发射雷达波，并分别根据回波生成同一对象的至少两个图像，进而形成同一对象的阵列图像，而在对通过雷达获取的阵列图像的处理过程中，也存在对阵列图像提高分辨率的需求等等，应当理解，本申请实施例还可以应用于其他需要提高阵列图像的分辨率的场景中，此处不再对其他应用场景进行一一列举。

结合上述说明，本申请实施例提供了一种图像处理方法，请参阅图3，图3为本申请实施例提供的图像处理方法的一种流程示意图，本方案可以分为初级图像重构阶段和最终图像重构阶段，在初级图像重构阶段中，在获取到第一阵列图像之后，对第一阵列图像进行卷积操作，其中，第一阵列图像为空间分辨率和/或角度分辨率较低的低质量阵列图像，从而得到第一阵列图像的至少一个第一特征平面(feature map)，图3中以3个第一特征平面为例，之后分别对每个第一特征平面进行上采样，得到3个执行过上采样操作的第二特征平面，进而可以利用3个第二特征平面进行图像重构，输出第二阵列图像；在最终图像重构阶段，对第二阵列图像进行卷积操作，得到第二阵列图像的至少一个第三特征平面，图3中以3个第三特征平面为例，与第一特征平面不同的是，至少一个第三特征平面中携带有高频纹理信息，进而可以利用3个第三特征平面进行图像重构，输出第三阵列图像，也即通过初级图像重构阶段增强了第一阵列图像的空间分辨率和/或角度分辨率，通过最终图像重构阶段进一步提取高频纹理信息，使得最后得到的第三阵列图像不仅分辨率得到了提升，而且纹理清晰。

其中，在初级重构阶段，是通过第一卷积神经网络(Convolutional NeuralNetwork，CNN)实现特征平面提取、上采样以及图像重构操作的；在最终图像重构阶段，是通过第二卷积神经网络实现特征平面提取以及图像重构操作的。而在将第一卷积神经网络和第二卷积神经网络应用于执行设备之前，需要通过训练设备对第一卷积神经网络和第二卷积神经网络进行训练，在训练过程中，请继续参阅图3，对于第一卷积神经网络采用逐像素对比损失函数进行训练，对于第二卷积神经网络采用感知损失函数进行训练，本方案中采用递进式的训练方法，保证了重构出的第三阵列图像与高清阵列图像之间的差异尽可能小，同时使得第三阵列图像具有更好的保真度。

通过前述描述可知，本申请实施例中所采用的卷积神经网络是用于处理阵列图像的高维卷积网络，且本申请中对高维卷积神经网络的训练和应用两个阶段均作出了改进，而所述高维卷积神经网络的训练和应用的流程又有所不同，因此，以下先对卷积神经网络的训练设备和应用所述卷积神经网络的执行设备组成的图像处理系统架构进行描述，再对本申请实施例中所采用的高维卷积神经网络的具体表现形式以及卷积过程进行介绍，进而分别对本申请实施例提供的卷积神经网络的训练过程和应用过程进行描述。

请先参阅图4，图4为本申请实施例提供的图像处理系统的一种系统架构图，在图4中，图像处理系统200包括执行设备210、训练设备220、数据库230、客户设备240和数据存储系统250，执行设备210中包括计算模块211。

其中，数据库230中存储有低质量阵列图像集合和高清阵列图像集合，训练设备220生成用于处理阵列图像的目标模型/规则201，并利用数据库中的低质量阵列图像集合和高清阵列图像集合对目标模型/规则201进行迭代训练，得到成熟的目标模型/规则201。本申请实施例中以目标模型/规则201为第一卷积神经网络和第二卷积神经网络为例进行说明。

训练设备220得到的第一卷积神经网络和第二卷积神经网络可以应用不同的系统或设备中，例如手机、平板、笔记本电脑、VR设备、监控系统、雷达的数据处理系统等等。其中，执行设备210可以调用数据存储系统250中的数据、代码等，也可以将数据、指令等存入数据存储系统250中。数据存储系统250可以置于执行设备210中，也可以为数据存储系统250相对执行设备210是外部存储器。

计算模块211可以通过第一卷积神经网络对客户设备240接收的第一阵列图像(也即低质量阵列图像)进行卷积操作，在提取到低质量阵列图像的至少一个特征平面之后，对每个特征平面进行上采样，并对执行过上采样操作的至少一个特征平面进行图像重构，得到第二阵列图像；计算模块211还可以通过第二卷积神经网络对第二阵列图像进行卷积操作，再对得到的至少一个特征平面进行图像重构，使得客户设备240可以输出第三阵列图像，其中第三阵列图像相对于第二阵列图像携带有更多的高频纹理信息。

本申请的一些实施例中，请参阅图4，执行设备210和客户设备240可以为分别独立的设备，执行设备210配置有I/O接口212，与客户设备240进行数据交互，“用户”可以通过客户设备240向I/O接口212输入第一阵列图像，执行设备210通过I/O接口212将第三阵列图像返回给客户设备240，提供给用户。作为示例，例如客户设备240为监控系统中的监控视频处理设备，客户设备240可以为配置有阵列相机的监控，将采集到的视频据存入数据库230，执行设备210根据从视频选取出一个视频帧(也即第一阵列图像的一个示例)，并对所述一个视频帧进行数据处理，执行设备210可以具体表现为本地设备，也可以为远端设备；作为另一示例，例如客户设备240为雷达系统中的多个雷达，执行设备210可以在获取到多个雷达返回的同一对象的多个角度的图像数据之后，生成第一阵列图像，进而进行数据处理，执行设备210可以具体表现为本地设备，也可以为远端设备；作为再一示例，例如客户设备240为VR设备或智能穿戴设备，VR设备或智能穿戴设备上的阵列相机拍摄到拍摄对象的一个阵列图像，可以通过I/O接口212发送给执行设备210，执行设备210可以具体表现为本地设备等，当然，也可以在VR设备或智能穿戴设备中配置有芯片，用于执行本申请实施例中的图像处理方法，具体此处不做限定。

值得注意的，图4仅是本发明实施例提供的两种图像处理系统的架构示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。例如，在本申请的另一些实施例中，执行设备210可以配置于客户设备240中，作为示例，例如当客户设备为手机或平板时，执行设备210可以为手机或平板的主处理器(Host CPU)中用于进行阵列图像处理的模块，执行设备210也可以为手机或平板中的图形处理器(graphics processing unit，GPU)或者神经网络处理器(NPU)，GPU或NPU作为协处理器挂载到主处理器上，由主处理器分配任务。

接下来介绍本申请实施例所采用的高维卷积神经网络，本申请中提到的第一卷积神经网络、第二卷积神经网络、第三卷积神经网络以及第四卷积神经网络均为高维卷积神经网络，与处理二维数据的普通卷积神经网络类似，高维卷积神经网络也是一种带有卷积结构的深度神经网络，是一种深度学习(deep learning)架构，深度学习架构是指通过机器学习的算法，在不同的抽象层级上进行多个层次的学习。作为一种深度学习架构，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元对输入其中的图像中的重叠区域作出响应。其中，高维卷积神经网络在逻辑上可以包括输入层，卷积层以及神经网络层，但由于输入层和输出层的作用主要是为了方便数据的导入和导出，随着卷积神经网络的不断发展，在实际应用中，输入层和输出层的概念逐渐被淡化，而是通过卷积层来实现输入层和输出层的功能，当然，高维卷积神经网络中还可以包括其他类型的层，具体此处不做限定。

卷积层：

卷积层的输出可以作为随后的池化层的输入，也可以作为另一个卷积层的输入以继续进行卷积操作。卷积层可以包括很多个卷积核，卷积核也可以称为滤波器(filter)或者卷积算子，用于从输入的阵列矩阵(也即数字化的阵列图像)中提取特定信息。一个卷积核本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，每个权重矩阵的大小应该与一个阵列图像中每个角度图像的大小相关，在对阵列图像进行卷积操作的过程中，权重矩阵通常在阵列图像的每个角度图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……这取决于步长stride的取值)的进行处理，从而完成从图像中提取特定特征的工作。这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以从输入的角度图像中提取信息，从而帮助高维卷积神经网络进行正确的预测。

需要注意的是，权重矩阵的纵深维度(depth dimension)和输入的阵列图像的纵深维度是相同的，在进行卷积运算的过程中，权重矩阵会延伸到输入图像的整个深度。因此，和单一纵深维度的权重矩阵进行卷积会产生单一纵深维度的卷积化输出，但是大多数情况下不使用单一纵深维度权重矩阵，而是采用不同纵深维度的权重矩阵提取图像中不同的特征，例如一个纵深维度的权重矩阵用来提取图像边缘信息，另一个纵深维度的权重矩阵用来提取图像的特定颜色，又一个纵深维度的权重矩阵用来对图像中不需要的噪点进行模糊化……该多个权重矩阵维度相同，经过该多个维度相同的权重矩阵提取后的特征平面维度也相同，再将提取到的多个维度相同的特征图合并形成卷积运算的输出。为进一步理解本方案，请参阅图5，图5为本申请实施例提供的卷积核对阵列图像执行卷积操作的一个示意图，其中U指的就是阵列图像的纵深维度，V指的就是卷积核的纵深维度。

由于本申请实施例的卷积神经网络是处理阵列图像的高维卷积神经网络，而一个阵列图像中包括从至少两个采集角度采集的同一对象的至少两个图像，也即一个阵列图像在角度维度上包括至少两个角度图像，所述至少两个角度图像呈阵列分布，由于普通图像一般表现为单个矩阵的形式，阵列图像可以具体表现为阵列矩阵的形式。为进一步理解本概念，请参阅图3，图3中的第一阵列图像就是3×3的阵列图像，则第一阵列图像中包括的9个图像就是角度维度上的9个角度图像，对应的，第一阵列图像可以表现为3×3的阵列矩阵；图3中的第二阵列图像为5×5的阵列图像，则第二阵列图像中包括的25个图像就是角度维度上的25个角度图像，对应的，第二阵列图像和第三阵列图像均可以表现为5×5的阵列矩阵等。每个阵列图像包括的多个角度图像之间存在关联关系，具体表现为不同角度图像之间存在视角差，多个角度图像之间的关联关系也可以称为阵列图像的几何特征。

为了使得高维卷积神经网络能够学习到阵列图像的几何特征，可以将一个阵列图像(例如第一阵列图像)包括的多个角度图像(例如第一图像)分为角度维度和空间维度，对应的，可以将同一纵深维度的卷积核分为角度维度和空间维度，并在角度维度上将多个卷积核分为至少两个卷积模块，其中，每个卷积模块执行卷积操作的单位为一个第一图像，则执行设备通过第一卷积神经网络对第一阵列图像执行卷积操作可以包括：执行设备可以为每个卷积模块分配权重，并通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像。本申请实施例中，公开了高维卷积神经网络对阵列图像进行卷积操作的具体实现方式，提高了本方案的可执行性；且每个卷积模块对水平方向上的至少两个第一图像和竖直方向上的至少两个第一图像进行滤波，使得每个卷积模块可以学习到不同角度图像之间的关联关系，从而卷积模块生成的每个特征平面均携带有阵列图像的几何特征。

具体的，作为一个示例，请参阅图5，图5为本申请实施例提供的卷积核对阵列图像执行卷积操作的一种示意图，图5中以6×6的第一阵列图像、2×2的卷积模块为例进行说明，也即图5中由36个第一图像，其中，s指的是阵列图像在角度维度的水平方向上的坐标，t指的是阵列图像在角度维度的竖直方向上的坐标，x指的是在一个第一图像中的水平方向上的坐标，y指的是在一个第一图像中的竖直方向上的坐标，通过(x，y，s，t)可以确定阵列图像上的一个像素点，m指的是多个卷积模块在角度维度上的水平方向上的坐标，n指的是多个卷积模块在角度维度上的竖直方向上的坐标，D指的是在一个卷积模块中的水平方向上的坐标，q指的是在一个卷积模块中的竖直方向上的坐标，通过(m，n，p，q)可以从多个卷积模块中确定一个卷积核。如图5所示，第一卷积神经网络中的每个卷积模块对9个第一图像进行滤波，所述9个第一图像归属于6×6的第一阵列图像，为3×3小阵列图像。作为另一示例，请参阅图6，图6为本申请实施例提供的卷积核对阵列图像执行卷积操作的另一种示意图，图6中以5×5的第一阵列图像为例进行说明，也即图6中有25个第一图像，如图6所示，第一卷积神经网络中的每个卷积模块对9个第一图像进行滤波，所述9个第一图像归属于5×5的第一阵列图像，为3×3小阵列图像。应当理解，每个卷积模块也可以对3个、4个、5个图像进行滤波等等，图5和图6中的举例仅为方便理解本方案，不用于限定本方案。

更具体的，本申请实施例还提供了第一卷积神经网络的公式，具体如下：

H^(k)＝δ(W^(k)*H^(k-1))

其中，H^(k)代表第k个卷积层的输出，W^(k)代表第k个卷积层的权重，大小为s₁×s₂×a₁×a₂×V，s₁指的是一个卷积模块在水平方向上的卷积核数量，s₂指的是一个卷积模块在竖直方向上的卷积核数量，a₁指的是在角度维度的水平方向上的卷积模块的数量，a₂指的是在角度维度的竖直方向上的卷积模块的数量，V指的是第k个卷积层的卷积核的纵深维度值，H^(k-1)代表第k-1个卷积层的输出，操作符*表示高维卷积操作，δ(·)指的是激活函数，具体可以为泄露修正线性单元(leaky rectifi edlinear unit，LReLU)、修正线性单元(rectifi edlinear unit，ReLU)或其他类型的损失函数等，具体此处不做限定。

进一步的，第一特征平面中包括呈阵列分布的至少两个子特征平面，每个子特征平面与每个第一图像一一对应，本申请实施例还提供了第k个卷积层输出的第j个第一特征平面中坐标为(x，y，s，t)的数值的获得方式，具体如下：

其中，代表第k个卷积层输出的第j个特征平面中坐标为(x，y，s，t)的数值，/>指的是采用第k个卷积层坐标为(m，n，p，q)的卷积核对第k-1个卷积层输出的第i个特征平面进行卷积操作，/>指的是第k-1个卷积层输出的第i个特征平面中需要与坐标为(m，n，p，q)的卷积核进行卷积操作的部分子特征平面。应当理解，上述公式中的举例仅为方便理解本方案，不用于限定本方案。

当卷积神经网络有多个卷积层的时候，初始的卷积层往往提取较多的一般特征，该一般特征也可以称之为低级别的特征；随着卷积神经网络深度的加深，越往后的卷积层提取到的特征越来越复杂，比如高级别的语义之类的特征，语义越高的特征越适用于待解决的问题。

神经网络层：

在经过卷积层/池化层的处理后，高维卷积神经网络还不足以输出所需要的输出信息。因为如前所述，卷积层/池化层只会提取特征，并减少输入图像带来的参数。然而为了生成最终的输出信息(所需要的类信息或别的相关信息)，卷积神经网络需要利用神经网络层来生成一个或者一组所需要的类的数量的输出。因此，在神经网络层中可以包括多层隐含层，该多层隐含层中所包含的参数可以根据具体的任务类型的相关训练数据进行预先训练得到，例如该任务类型可以包括图像识别，图像分类，图像超分辨率重建等等……

为进一步理解本方案，请参阅图7和图8，图7和图8分别示出了本申请实施例中的第一卷积神经网络和第二卷积神经网络的一种架构示意图，请先参阅图7，图7中的初级重构网络即本申请中的第一卷积神经网络，第一卷积神经网络包括高维卷积层、泄露修正线性单元(LReLU)激活层、4维几何特征提取模块和上采样模块，其中，高维卷积层和泄露修正线性单元激活层用于实现输入层的功能，4维几何特征提取模块用于生成第一阵列图像的至少一个第一特征平面，上采样模块用于对每个第一特征平面进行上采样，图7中高维残差模块的意思是每个高维残差模块中的多个神经网络层以残差网络的方式连接。具体的，第一卷积神经网络的的4维几何特征提取模块包括多个高维卷积层、多个泄露修正线性单元激活层、多个批量归一化层和多个像素级求和层，上采样模块包括高维卷积层、批量归一化层、像素级求和层、上采样层和泄露修正线性单元激活层。

其中，高维卷积层用于实现上述卷积层的功能，批量归一化层用于批量归一化层用于将高维卷积层学习到的权重进行一次数值上的归一化，从而加速卷积神经网络在训练阶段的收敛速度，避免过拟合等；像素级求和层用于将输入数据和高维残差模块学习到的残差数据进行求和，从而得到最终的真实结果，上采样层(也即神经网络层的一种示例)用于对每个第一特征平面进行上采样，泄露修正线性单元激活层用于实现激活函数的功能。

请继续参阅图8，图8中最终重构网络即本申请中的第二卷积神经网络，第二卷积神经网络包括高维卷积层、泄露修正线性单元激活层、4维几何特征提取模块、高维卷积层、批量归一化层和高维卷积层，其中，高维卷积层和泄露修正线性单元激活层用于实现输入层的功能，图8中的4维几何特征提取模块用于生成第二阵列图像的至少一个第三特征平面，至少一个第三特征平面中携带有第二阵列图像的高频纹理特征，高维卷积层、批量归一化层和高维卷积层用于对多个第三特征平面进行图像重构，具体的，第二卷积神经网络的的4维几何特征提取模块包括多个高维卷积层、多个批量归一化层、多个泄露修正线性单元激活层和多个像素级求和层，每个神经网络层的功能参见上述描述，此处不再一一赘述。

应当理解，图7和图8中对于第一卷积神经网络和第二卷积神经网络的结构的展示仅为一种示例，用于证明本方案的可实现性，而不用于限定本方案，在实际产品中，例如泄露修正线性单元激活层和高维卷积层可以合并为同一层，泄露修正线性单元激活层和像素级求和层的位置可以互换等，具体可以结合实际产品灵活设定，此处不做限定。

结合上述描述，下面开始对本申请实施例提供的图像处理方法的训练阶段和应用阶段的具体实现流程进行描述。

一、训练阶段

本申请实施例中，训练阶段描述的是训练设备220如何利用数据库230中维护的阵列图像数据得到高维卷积神经网络的过程，具体的，请参阅图9，图9为本申请实施例提供的图像处理方法的一种流程示意图，本申请实施例提供的图像处理方法可以包括：

901、训练设备获取低质量阵列图像和高清阵列图像。

本申请的一些实施例中，训练设备上需要预先存储有低质量阵列图像和高清阵列图像，则在对第三卷积神经网络进行训练之前，先获取多个低质量阵列图像和多个高清阵列图像，所述多个低质量阵列图像和多个高清阵列图像用于供训练设备对第三卷积神经网络和第四卷积神经网络进行训练。

具体的，所述阵列图像具体可以表现为通过阵列相机采集到的阵列图像；也可以表现为通过配置有阵列相机的监控拍摄到的视频中的某一个视频帧；还可以表现为多个普通相机从不同拍摄角度同时拍摄同一个拍摄对象，以得到同一拍摄对象的多个不同的角度图像，根据所述多个不同的角度图像生成所述拍摄对象的阵列图像；还可以为多个雷达从不同的采集角度同时向同一拍摄对象发射雷达波，以通过多个雷达得到同一拍摄对象的多个不同的角度图像，并根据所述多个不同的角度图像生成所述拍摄对象的阵列图像等等，还可以通过其他方式采集到阵列图像，此处不再一一列举。

其中，一个低质量阵列图像中可以包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第二图像，一个高清阵列图像中可以包括从多个拍摄角度采集的同一拍摄对象的多个第三图像。低质量阵列图像指的是空间分辨率和/或角度分辨率较低的阵列图像，高清阵列图像指的是空间分辨率和角度分辨率均较高的阵列图像。具体的，空间分辨率指的是阵列图像中每个图像的单位面积中的像素个数，空间分辨率越高的图像携带有越多的图像细节；角度分辨率指的是一个阵列图像中包括的不同拍摄角度的图像的个数，一个阵列图像中包括的不同拍摄角度的图像个数越多，所述阵列图像的角度分辨率越大，为进一步理解本方案，请继续参与图3，图3中的第一阵列图像中包括拍摄对象九个不同拍摄角度的第二图像，图3中的第二阵列图像中包括拍摄对象二十五个不同拍摄角度的图像，则图3中的第二阵列图像的角度分辨率大于图3中的第一阵列图像的角度分辨率，应当理解，上述举例均仅为方便理解本方案，不用于限定本方案。

902、训练设备通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到至少一个第四特征平面。

本申请的一些实施例中，训练设备在对第三卷积神经网络进行训练之前，需要初始化一个第三卷积神经网络，也即第三卷积神经网络为未执行过迭代训练的高维卷积神经网络，进而可以将低质量阵列图像输入到第三卷积神经网络中，以通过第三卷积神经网络的卷积层对低质量阵列图像执行卷积操作，从而得到至少一个第四特征平面，其中，每个第四特征平面中携带低质量阵列图像的一种特征信息，每个第四特征平面中携带的可以为低质量阵列图像的纹理特征、形状特征或颜色特征等等，每个第四特征平面中均包括与至少两个第二图像一一对应的至少两个子特征平面，每个第四特征平面中均保留有低质量阵列图像中多个第二图像之间的相对关系。

进一步的，纹理特征和颜色特征均为全局特征，颜色特征描述了图像或图像区域所对应的景物的表面性质；一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征；纹理特征也描述了图像或图像区域所对应景物的表面性质；但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的；与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域，应当理解，第四特征平面中可以还携带有其他类型的特征信息等，此处举例仅为方便理解本方案，不用于限定本方案。

可选的，训练设备可以采用灰度图像形式的低质量阵列图像和高清阵列图像对第三卷积神经网络进行训练，则卷积层输出的至少一个第四特征平面中可以不存在颜色特征。

903、训练设备通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面。

本申请的一些实施例中，训练设备在获得至少一个第四特征平面之后，可以通过第三卷积神经网络对每个第四特征平面进行上采样，从而得到至少一个执行过上采样操作的第五特征平面。其中，第四特征平面为一个泛指的概念，指的是在对第三卷积神经网络进行训练的过程中，通过第三卷积神经网络的卷积层提取到的特征平面。

在一种情况下，对每个第四特征平面执行上采样操作可以包括：对每个第四特征平面在角度维度上进行上采样，例如低质量阵列图像为一个3×3的阵列图像，则第四特征平面包括3×3个子特征平面，每个子特征平面与低质量阵列图像中的一个第二图像对应，在角度维度上对第四特征平面进行上采样，也即将3×3个子特征平面扩展为4×4个子特征平面或者5×5个子特征平面，也即生成了新视角下的特征平面。

在另一种情况下，对每个第四特征平面执行上采样操作还可以包括：对每个第四特征平面在空间维度上进行上采样，其中，空间维度指的是每个第四特征平面中每个子特征平面所在的维度，例如低质量阵列图像为一个3×3的阵列图像，则第四特征平面包括3×3个子特征平面，在空间维度上对第四特征平面进行上采样之后，第四特征平面还是包括3×3个子特征平面，每个子特征平面中的单位面积内的像素点数量得到了增加。

在另一种情况下，对每个第四特征平面执行上采样操作还可以包括：对每个第四特征平面在角度维度和空间维度上进行上采样，具体的，由于对第四特征平面在空间维度上进行上采样可以通过至少两个步骤实现，则可以为对每个第四特征平面在角度维度和空间维度上交叉进行上采样；也可以为先对每个第四特征平面在角度维度上进行上采样，再对每个第四特征平面在空间维度上进行上采样；还可以为先对每个第四特征平面在空间维度上进行上采样，再对每个第四特征平面在角度维度上进行上采样。本申请实施例中，可以对特征平面在角度维度和空间维度上同时进行上采样，从而实现了同时增强阵列图像在空间维度和角度维度的分辨率。

具体的，通过第三卷积神经网络对每个第四特征平面在角度维度上进行上采样可以包括：通过第三卷积神经网络对第四特征平面在角度维度上进行线性插值操作、双线性插值操作或非线性插值操作等等；通过第三卷积神经网络对每个第四特征平面在空间维度上进行上采样可以包括：通过第三卷积神经网络对第四特征平面在空间维度上进行子像素卷积(pixel shuffle)操作、双线性插值或双三次插值等等，具体此处不做限定。进一步的，可以将对第四特征平面在角度维度上进行上采样确定为线性插值操作，将对第四特征平面在空间维度上进行上采样确定为子像素卷积操作，通过前述方式，从多种可实现方式中选择了一种实现方式，提高了本方案的可执行性。

为进一步理解本方案，请参阅图10，图10为对第四特征平面进行上采样的一种流程示意图，图10中以对一个第四特征平面在角度维度和空间维度上进行上采样为例，结合一个特征平面进行说明，图10包括(a)、(b)、(c)和(d)四个子示意图，其中，图10的(a)子示意图中示出的为一个第四特征平面的示意图，训练设备通过步骤1卷积层将一个第四特征平面扩展为四个第四特征平面，得到图10的(b)子示意图，然后再通过步骤2分别对每个第四特征平面进行角度维度上的上采样，得到图10的(c)子示意图，然后再通过步骤3将四个第四特征平面叠加在一起，得到图10的(d)子示意图，其中，训练设备通过步骤1和步骤3实现了对每个第四特征平面进行空间维度上的上采样，也即对每个第四特征平面在角度维度和空间维度上交叉进行上采样，应当理解，图10中的举例仅为方便理解本方案，不用于限定本方案。

904、训练设备通过第三卷积神经网络对至少一个第五特征平面进行图像重构，输出拍摄对象的第四阵列图像。

本申请的一些实施例中，训练设备在获取到至少一个第五特征平面之后，可以通过第三卷积神经网络对至少一个第五特征平面进行图像重构，从而输出拍摄对象的第四阵列图像。其中，第五特征平面和第四阵列图像均为泛指的概念，第五特征平面指的是第三卷积神经网络对第四特征平面进行上采样之后得到的特征平面，第四阵列图像指的在对第三卷积神经网络训练阶段，将低质量阵列图像输入到第三卷积神经网络中，由第三卷积神经网络输出的阵列图像。

905、训练设备根据第四阵列图像和高清阵列图像，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度。

本申请的一些实施例中，训练设备在获取到第四阵列图像之后，可以将第四阵列图像和高清阵列图像进行对比，并通过第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度，也即直到满足第一损失函数的收敛条件。

其中，第一损失函数可以为逐像素对比损失函数，满足第一损失函数的收敛条件也即逐个对比第四阵列图像和高清阵列图像的像素，直至第四阵列图像和高清阵列图像的每个像素值之间的差值低于预设阈值，第一损失函数具体可以表现为：

l_R＝∑_x∑_y∑_s∑_t(I^H(x，y，s，t)-I^S(x，y，s，t))²

其中，l_R指的是第一损失函数，也即高清阵列图像和第四阵列图像中每个像素点之间的均方误差值的总和，I^H(x，y，s，t)指的是高清阵列图像中的一个像素点的像素值，I^S(x，y，s，t)指的是第四阵列图像中对应位置的一个像素点的像素值，由于一个阵列图像包括呈阵列分布的至少两个图像，不同图像是从不同拍摄角度获取的拍摄对象的图像，请参阅图6，图6为本申请实施例提供的阵列图像的一种示意图，图6中以该阵列图像为5×5的阵列图像为例，则该阵列图像在角度维度上为5×5，其中，(s，t)用于确定像素点在角度维度的坐标，(x，y)用于确定像素点在空间维度的坐标，(x，y，s，t)用于唯一确定像素点在整个阵列图像中的坐标。

应当理解，上述公式仅为一个示例，第一损失函数也可以采用高清阵列图像和第四阵列图像中每个像素点之间的误差值的绝对值总和，还可以采用高清阵列图像和第四阵列图像中每个像素点之间的立方误差值的总和等等，只要第一损失函数是在像素纬度上对高清阵列图像和第四阵列图像对比即可，对于第一损失函数的具体表现形式，此处不做限定。

906、训练设备通过第四卷积神经网络对第四阵列图像执行卷积操作，得到至少一个第六特征平面。

本申请的一些实施例中，训练设备在通过步骤904获得到第四卷积神经网络之后，可以通过第四卷积神经网络对第四阵列图像执行卷积操作，从而得到至少一个第六特征平面。其中，第四卷积神经网络和第六特征平面也均为一个泛指的概念，与第三卷积神经网络类似，第四卷积神经网络也是未执行过迭代训练的高维卷积神经网络，但与第三卷积神经网络不同的是第三卷积神经网络处理的是低质量阵列图像，第三卷积神经网络的功能主要在于提高低质量阵列图像的角度分辨率和空间分辨率，以及保留阵列图像中各个图像之间的几何特征信息；第四卷积神经网络处理的是第四阵列图像，而第四阵列图像相对于低质量阵列图像而言角度分辨率和空间分辨率都更高，第四卷积神经网络的主要功能是提高第四阵列图像的高频细节信息。

对应的，第六特征平面与第四特征平面类似，每个第六特征平面中携带第四阵列图像的一种特征信息，但与第四特征平面不同的是，通过第四卷积神经网络得到的至少一个第六特征平面中携带有第四阵列图像中每个图像的高频纹理特征。为进一步理解本方案，请参阅图11，图11为本申请实施例提供的第四特征平面和第六特征平面的一种示意图，左侧的两个图分别为第四特征平面和第五特征平面的整体示意图，中间的分别为阵列图像中的一个角度图像的特征平面，右边为一个角度图像的特征平面中纹理细节，不难看出，第四特征平面中的线条较为模糊，第五特征平面中的线条清晰，也即第五特征平面中的高频细节信息更多。

对应的，若训练设备采用灰度图像形式的低质量阵列图像和高清阵列图像对第三卷积神经网络进行训练，则第四阵列图像也体现为灰度图像的形式，从而至少一个第六特征平面中不携带颜色特征。

907、训练设备通过第四卷积神经网络对至少一个第六特征平面进行图像重构，输出拍摄对象的第五阵列图像。

本申请实施例中，步骤907与步骤904类似，训练设备在获取到至少一个第六特征平面之后，可以通过第四卷积神经网络对至少一个第六特征平面进行图像重构，从而输出拍摄对象的第五阵列图像。其中，第六特征平面和第五阵列图像均为泛指的概念，第六特征平面指的是第四卷积神经网络对第四阵列图像进行卷积操作之后得到的特征平面，第五阵列图像指的在对第四卷积神经网络训练阶段，将第五阵列图像输入到第四卷积神经网络中，由第四卷积神经网络输出的阵列图像，每个第五阵列图像中包括多个第四图像。

908、训练设备根据第五阵列图像和高清阵列图像，利用第二损失函数对第三卷积神经网络进行迭代训练，直至第五阵列图像和高清阵列图像的相似度达到第二预设程度。

本申请的一些实施例中，与步骤905类似，训练设备在获取到第五阵列图像之后，可以将第五阵列图像和高清阵列图像进行对比，并通过第二损失函数对第三卷积神经网络进行迭代训练，直至第五阵列图像和高清阵列图像的相似度达到第二预设程度，也即直到满足第二损失函数的收敛条件，其中，第二预设程度高于第一预设程度，也即在第一损失函数和第二损失函数均满足收敛条件时，第四卷积神经网络输出的阵列图像与高清阵列图像的相似度，比第三卷积神经网络输出的阵列图像与高清阵列图像之间的相似度要高。

其中，第二损失函数可以为感知损失函数，与逐像素对比损失函数不同的是，感知损失函数对比的是两个图像之间的图像特征，由于第五阵列图像和高清阵列图像均为阵列图像，则满足第二损失函数的收敛条件可以为逐个对比第五阵列图像和高清阵列图像中对应位置图像之间的图像特征的差异，直至第五阵列图像和高清阵列图像的每个图像之间的差异值低于第二阈值，第二损失函数具体可以表现为：

其中，l_P指的是第二损失函数，也即高清阵列图像与第五阵列图像中每个图像之间的特征差异值的均方总和，指的是高清阵列图像中的一个第三图像的特征值，指的是第五阵列图像中的一个第四图像的特征值，(s，t)代表一个第三图像或第四图像在角度维度的坐标，用于从一个阵列图像包括的多个图像中确定某一个图像，S代表一个阵列图像在角度维度的水平方向上的图像个数，T代表一个阵列图像在角度维度的竖直方向上的图像个数。为进一步理解本方案，请参阅图6，图6中的S和T的取值均为5，应当理解，此处举例仅为方便理解本方案，不用于限定本方案。

可选的，可以将高清阵列图像中每个第三图像输入超分辨率测试序列(visualgeometry group，VGG)神经网络，指的是VGG神经网络对第三图像进行处理后，VGG神经网络的激活层的输出，对应的，可以将第五阵列图像中每个第四图像输入VGG神经网络，指的是VGG神经网络对第四图像进行处理后，VGG神经网络的激活层的输出。当然，也可以不通过VGG神经网络执行图像的特征提取操作，还可以为通过其他神经网络，例如卷积神经网络、生成对抗神经网络中的生成神经网络等来执行图像的特征提取操作，具体此处不做限定。

需要说明的是，上述公式仅为一个示例，第二损失函数也可以采用高清阵列图像和第四阵列图像中每个图像之间的特征差异值的绝对值总和，还可以采用高清阵列图像和第四阵列图像中每个图像之间的特征差异值的立方总和等等，只要第二损失函数是在阵列图像的每个图像的特征维度上对高清阵列图像和第四阵列图像对比即可，对于第二损失函数的具体表现形式，此处不做限定。

应当理解，本申请不限定步骤905和步骤908的执行顺序，可以为先执行步骤905，再执行步骤908；也可以同时执行步骤905和步骤908。当同时执行步骤905和步骤908时，步骤905和步骤908可以包括：训练设备利用第三损失函数对第三卷积神经网络和第四卷积神经网络进行迭代训练，第三损失函数包括第一损失函数和第二损失函数。

具体的，可以为第一损失函数分配第一权重，为第二损失函数分配第二权重，第三损失函数为第一损失函数与第一权重的乘积和第二损失函数与第二权重的乘积之间的和，更具体的，第三损失可以表现为：

l＝α·l_R+β·l_P

其中，l指的是第三损失函数，l_R指的是第一损失函数，α指的是为第一损失函数分配的第一权重，l_P指的是第二损失函数，β指的是为第二损失函数分配的第二权重。

本申请实施例中，由于第一损失函数是用来对第三卷积神经网络进行训练的，第二损失函数是用来对第四卷积神经网络进行训练的，而第四卷积神经网络的输入正是第三卷积神经网络的输出，也即在训练过程中，第三卷积神经网络和第四卷积神经网络之间的联系紧密，训练设备采用同时训练第三卷积神经网络和第四卷积神经网络的方式，不仅有利于节省计算机资源，还有利于缩短训练时间，提高训练过程的效率。

可选的，第一权重的取值小于第二权重的取值，作为示例，例如α的取值为0.1，β的取值为0.9；作为另一示例，例如α的取值为0.2，β的取值为0.8等，具体此处不做限定。

909、训练设备输出第一卷积神经网络，第一卷积神经网络为第三卷积神经网络执行过迭代训练后得到的网络。

本申请的一些实施例中，训练设备在对第三卷积神经网络执行多次迭代操作之后，可以输出第一卷积神经网络，其中，第一卷积神经网络是一个泛指的概念，指的是第三卷积神经网络执行过迭代训练后得到的高维卷积神经网络。

910、训练设备输出第二卷积神经网络，第二卷积神经网络为第四卷积神经网络执行过迭代训练后得到的网络。

对应的，训练设备在对第四卷积神经网络执行多次迭代操作之后，可以输出第二卷积神经网络，其中，第二卷积神经网络也是一个泛指的概念，指的是第四卷积神经网络执行过迭代训练后得到的高维卷积神经网络。

本申请的一些实施例中，训练设备在输出第一卷积神经网络和第二卷积神经网络之后，可以向执行设备发送第一卷积神经网络和第二卷积神经网络，

应当理解，本申请实施例不限定步骤909和步骤910的执行顺序，可以为先执行步骤909，再执行步骤910；也可以先执行步骤910，再执行步骤909；还可以为同时执行步骤909和步骤910。

本申请实施例中，训练设备不仅通过训练第三卷积神经网络，以输出用于提高阵列图像的角度分辨率和/或空间分辨率的第一卷积神经网络，还通过训练第四卷积神经网络，输出用于提高阵列图像的高频纹理信息的第二卷积神经网络，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

本申请实施例中，训练设备将第一损失函数确定为逐像素对比损失函数，将第二损失函数确定为感知损失函数，当逐像素对比损失函数和感知损失函数均满足收敛条件时，第二卷积神经网络比第一卷积神经网络输出的阵列图像与高清阵列图像的相似度更高，也即在对高维卷积神经网络进行训练的过程中，采用递进式的网络结构，在不同阶段配合不同的损失函数，分布逐级对阵列图像进行优化，使得提升阵列图像的分辨率的过程更为精细化，也即降低了每个阶段的工作任务，有利于提高本方案的可执行性，从而保证最后输出的重构阵列图像与高清阵列图像的差异尽可能小。

应当理解，步骤906至908以及步骤910为可选步骤，若不执行步骤906至908以及步骤910，则训练设备可以只输出第一卷积神经网络，并将输出的第一卷积神经网络发送给执行设备；若执行步骤906至908以及步骤910，则可以将训练设备输出的第一卷积神经网络以及第二卷积神经网络发送给执行设备。

本申请实施例中，在获取低质量阵列图像之后，可以先将低质量阵列图像视为一个整体，通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到低质量阵列图像的至少一个第四特征平面，并对每个第四特征平面进行上采样，根据执行过上采样操作的第五特征平面重构出第四阵列图像，将第四阵列图像与高清阵列图像进行对比，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像与高清阵列图像之间的相似度达到第一预设程度，输出第一卷积神经网络，通过上述方式，提供了第一卷积神经网络在训练设备中的训练过程，提高了本方案的全面性，通过上采样的方式提高了光场图像的分辨率，而且是对低质量阵列图像的特征平面进行上采样，而不是直接对低质量阵列图像进行上采样，节省了大量的计算机资源；且训练设备将阵列图像视为一个整体进行卷积操作，很好的保留了低质量阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

二、应用阶段

本申请实施例中，应用阶段描述的是执行设备210如何利用成熟的高维卷积神经网络提升低质量阵列图像的角度分辨率和/或空间分辨率的过程，具体的，请参阅图12，图12为本申请实施例提供的图像处理方法的另一种流程示意图，本申请实施例提供的图像处理方法可以包括：

1201、执行设备获取第一阵列图像。

本申请的一些实施例中，执行设备可以通过用户设备获取第一阵列图像，其中，第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第一图像，至少两个第一图像呈阵列分布。其中，第一阵列图像为一个泛指的概念，指的是需要通过执行设备提高角度分辨率和/或空间分辨率的阵列图像。

具体的，第一阵列图像可以为通过阵列相机采集到的阵列图像；也可以为通过配置有阵列相机的监控拍摄到的视频中的某一个视频帧；还可以为多个普通相机从不同拍摄角度同时拍摄同一个拍摄对象，进而得到同一拍摄对象的多个不同的角度图像，并根据所述多个不同的角度图像生成所述拍摄对象的阵列图像；还可以为多个雷达从不同的采集角度同时向同一拍摄对象发射雷达波，以通过多个雷达得到同一拍摄对象的多个不同的角度图像，并根据所述多个不同的角度图像生成所述拍摄对象的阵列图像等等，还可以通过其他方式采集到第一阵列图像，此处不再一一列举。

1202、执行设备通过第一卷积神经网络对第一阵列图像执行卷积操作，得到至少一个第一特征平面。

本申请的一些实施例中，每个第一特征平面中携带第一阵列图像的一种特征信息。

1203、执行设备通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面。

1204、执行设备通过第一卷积神经网络对至少一个第二特征平面进行图像重构，输出拍摄对象的第二阵列图像。

本申请实施例中，步骤1202至步骤1204分别与步骤902至步骤904类似，区别仅在于：第一，步骤902至步骤904中训练设备是通过未完成迭代训练的第三卷积网络执行的卷积操作，步骤1202至步骤1204中执行设备是通过完成了迭代训练操作的第一卷积神经网络执行的卷积操作；第二，步骤1202至步骤1204中的执行客体和步骤902至步骤904中的执行客体不同，步骤902至步骤904中训练设备是对低质量阵列图像进行卷积操作、对每个第四特征平面进行上采样、对至少一个第五特征平面进行图像重构，步骤1202至步骤1204中执行设备是对第一阵列图像进行卷积操作、对每个第一特征平面进行上采样、对至少一个第二特征平面进行图像重构，对于步骤1202至步骤1204的具体实现形式可以参见图9对应实施例中对步骤902至步骤904的描述，此处不再赘述。

1205、执行设备通过第二卷积神经网络对第二阵列图像执行卷积操作，得到至少一个第三特征平面。

本申请的一些实施例中，至少一个第三特征平面的每个第三特征平面中包括第二阵列图像中所有图像的一种特征信息，至少一个第三特征平面中携带有第二阵列图像中每个图像的高频纹理信息。

1206、执行设备通过第二卷积神经网络对至少一个第三特征平面进行图像重构，输出拍摄对象的第三阵列图像。

本申请实施例中，步骤1202至步骤1204分别与步骤902至步骤904类似，区别仅在于：第一，步骤902至步骤904中训练设备是通过未完成迭代训练的第三卷积网络执行的卷积操作，步骤1202至步骤1204中执行设备是通过完成了迭代训练操作的第一卷积神经网络执行的卷积操作；第二，步骤1202至步骤1204中的执行客体和步骤902至步骤904中的执行客体不同，步骤902至步骤904中训练设备是对低质量阵列图像进行卷积操作、对每个第四特征平面进行上采样、对至少一个第五特征平面进行图像重构，步骤1202至步骤1204中执行设备是对第一阵列图像进行卷积操作、对每个第一特征平面进行上采样、对至少一个第二特征平面进行图像重构，对于步骤1202至步骤1204的具体实现形式可以参见图9对应实施例中对步骤902至步骤904的描述，此处不再赘述。

本申请实施例中，执行设备不仅通过第一卷积神经网络提高第一阵列图像的角度分辨率和/或空间分辨率的，还通过第二卷积神经网络提高第二阵列图像的高频纹理信息，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

可选的，执行设备可以获取灰度图像形式的第一阵列图像，对应的，至少一个第一特征平面和至少一个第二特征平面中均不携带颜色特征，第二阵列图像也是灰度图像形式的阵列图像，至少一个第三特征平面中也不携带颜色特征，也即在增加阵列图像的角度分辨率和/或空间分辨率，执行设备先扩展阵列图像的纹理信息，再扩展阵列图像的颜色信息，从而使得阵列图像的角度分辨率和/或空间分辨率提高过程更为精细化，有利于获得更为高清的阵列图像。

本申请实施例中，在获取第一阵列图像之后，可以先将第一阵列图像视为一个整体，通过第一卷积神经网络对第一阵列图像执行卷积操作，得到该第一阵列图像的至少一个第一特征平面，并对每个第一特征平面进行上采样，根据执行过上采样操作的第二特征平面重构出拍摄对象的第二阵列图像，通过上采样的方式提高了光场图像的分辨率，而且是对第一阵列图像的特征平面进行上采样，而不是直接对第一阵列图像进行上采样，节省了大量的计算机资源。且执行设备将阵列图像视为一个整体进行卷积操作，很好的保留了第一阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

本申请实施例还提供了一种图像处理方法，请参阅图13a，图13a为本申请实施例提供的图像处理方法的一种流程示意图，本申请实施例提供的图像处理方法可以包括：

A1、终端设备在阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式。

本申请的一些实施例中，终端设备在阵列相机处于开启状态的情况下，也即在用户想要通过阵列相机对拍摄对象进行拍照时，终端设备可以在阵列相机的拍照界面上展示第一拍摄模式和第二拍摄模式。

具体的，终端设备上可以配置有拍照功能，在一种情况下，终端设备的界面上可以展示有与拍照客户端的图标，当终端设备接收到用户对所述图标的按压操作时，可以打开阵列相机，则阵列相机处于开启状态；在另一种情况下，也可以通过其他客户端打开拍照客户端，作为示例，例如可以通过即时通讯客户端打开拍照客户端，进而使得阵列相机处于开启状态等，此处不再对其他应用场景进行一一举例。

A2、终端设备通过展示界面接收拍摄模式选择指令。

本申请的一些实施例中，终端设备在通过阵列相机的拍照界面展示第一拍摄模式和第二拍摄模式之后，可以通过展示界面接收拍摄模式选择指令，其中，所述拍摄模式选择指令用于供终端设备从第一拍摄模式和第二拍摄模式中选择一种拍摄模式。具体的，可以为终端设备在界面上分别展示与第一拍摄模式对应的第一选择按钮，以及与第二拍摄模式对应的第二选择按钮；也可以为终端设备在界面上展示一个接收拍摄模式切换指令的切换按钮，从而可以通过所述切换按钮接收拍摄模式切换指令，进而在第一拍摄模式和第二拍摄模式之间互换；还可以为终端设备在界面上展示一个接收第二拍摄模式开关指令的开关按钮，在未开启第二拍摄模式时，采用第一拍摄模式执行拍摄操作等等，具体第一拍摄模式和第二拍摄模式的展示方式，此处不做限定。

A3、在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，终端设备生成并展示拍摄对象的第六阵列图像。

本申请的一些实施例中，在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，终端设备生成并展示拍摄对象的第六阵列图像，也即通过阵列相机对拍摄对象进行拍照之后，直接生成第六阵列图像，进而可以展示第六阵列图像，其中，第六阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像。

具体的，终端设备展示光场图像时，不是展示一个静态的图像，而是一个动态的图像，该一个动态的图像中包括至少两个拍摄角度采集的拍摄对象的至少两个图像，作为示例，例如拍摄对象为一辆车，则动态图像中可以展示从45度角到50度角拍摄这辆车的全部画面，应当理解，此处举例仅为方便理解本方案，不用于限定本方案。

A4、在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，终端设备生成并展示拍摄对象的第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

本申请实施例中，在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，终端设备在通过阵列相机对拍摄对象进行拍照之后，可以生成第六阵列图像，进而对第六阵列图像进行空间分辨率和/或角度分辨率增强操作，以生成第七阵列图像，进而可以展示第七阵列图像。具体的，若只对第六阵列图像进行了空间分辨率的增强，则第七阵列图像的清晰度高于第六阵列图像的清晰度；若只对第六阵列图像进行了角度分辨率的增强，则第七阵列图像的在角度维度的播放连贯性高于第六阵列图像在角度维度的播放连贯性，作为示例，例如拍摄对象为一辆车，同样是展示从45度角到50度角拍摄这辆车的全部画面，第六阵列图像在角度转换过程中可能会出现衔接不流畅的情况，而第七阵列图像在角度转换过程中播放连贯性会较好；若同时对第六阵列图像进行了空间分辨率和角度分辨率的增强，则第七阵列图像的清晰度高于第六阵列图像的清晰度，且第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

更具体的，终端设备可以通过步骤1201至步骤1206实现对第六阵列图像进行空间分辨率和/或角度分辨率增强操作，以生成第七阵列图像，具体可以参阅图12对应的各个实施例中的描述，此处不再一一介绍。

本申请实施例中，当本申请实施例提供的图像处理方法应用于手机、平板、笔记本电脑以及智能穿戴设备等智能终端设备上时，在前述终端设备的阵列相机中配置少量镜头的情况下，也可以获得高清的阵列图像，有利于降低手机、平板、笔记本电脑以及智能穿戴设备等智能终端设备的制造成本，且有利于降低前述智能终端设备的处理资源，还能得到高清的阵列图像，有利于提高前述智能终端设备的用户粘度；此外，终端设备可以根据用户的拍摄模式选择指令确定是采用第一拍摄模式还是第二拍摄模式进行拍照，保证了本方案的使用便捷性。

本申请实施例还提供了另一种图像处理方法，请参阅图13b，图13b为本申请实施例提供的图像处理方法的一种流程示意图，本申请实施例提供的图像处理方法可以包括：

B1、通信设备展示第六阵列图像。

本申请的一些实施例中，通信设备可以在获取第六阵列图像之后展示第六阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像。

具体的，在一种情况下，通信设备为配置有阵列相机的手机、平板或笔记本电脑等智能终端设备，则通信设备可以直接通过配置的阵列相机对拍摄对象进行拍照，生成第六阵列图像；在另一种情况下，通信设备为对VR设备、终端设备或监控数据采集的图像数据或进行数据处理的设备，则通信设备可以通过有线网络或无线网络接收VR设备采集的第六阵列图像；在另一种情况下，通信设备为雷达数据处理设备，则通信设备可以通无线网络接收阵列雷达采集的第六阵列图像等等，具体此处不做限定。

B2、通信设备通过第六阵列图像的展示界面接收图像增强指令。

本申请的一些实施例中，通信设备在第六阵列图像的展示界面上，可以设置有接收图像增强指令的图标，当用户通过鼠标点击该图标或者通过屏幕按压该图标时，通信设备可以接收到图像增强指令，该图像增强指令用于指示通信设备对第六阵列图像进行图像分辨率增强操作。

B3、通信设备响应于图像增强指令，对第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

本申请的一些实施例中，通信设备在接收到图像增强指令之后，对第六阵列图像进行空间分辨率和/或角度分辨率增强操作，以生成第七阵列图像，进而可以展示第七阵列图像，也可以展示第七阵列图像的存储位置等，具体此处不做限定。

具体的，通信设备可以通过步骤1201至步骤1206实现对第六阵列图像进行空间分辨率和/或角度分辨率增强操作，以生成第七阵列图像，具体可以参阅图12对应的各个实施例中的描述，此处不再一一介绍。

本申请实施例中，当通信设备为手机、平板、笔记本电脑以及智能穿戴设备等智能终端设备上时，在前述终端设备的阵列相机中配置少量镜头的情况下，也可以获得高清的第七阵列图像，有利于降低手机、平板、笔记本电脑以及智能穿戴设备等智能终端设备的制造成本，且有利于降低前述智能终端设备的处理资源，还能得到高清的阵列图像，有利于提高前述智能终端设备的用户粘度；此外，由于是在拍照结束之后，根据用户输入的图像增强指令来生成高清的第七阵列图像，从而避免了拍照过程中的延时，提高了本方案的灵活性。

当通信设备为对VR设备采集的图像数据进行数据处理的设备中时，由于节省了对阵列图像的分辨率过程中所使用的计算机资源，又有利于提高阵列图像的分辨率的处理效率，有利于向用户提供流畅的高清画面，从而增强VR设备的用户粘度。

当通信设备为监控数据处理设备时，不仅可以提升监控系统获得的图像数据的空间分辨率，而且可以根据已有视角下的角度图像，生成新视角下的角度图像，例如可以根据多个侧面图像，生成拍摄对象的正面图像，有利于对嫌疑人进行定位，提高监控系统的可靠性，且在特征平面维度进行上采样，节省了计算机资源，有利于提高阵列图像的图像处理过程的效率，进而有利于缩短案件侦查的时间，以提高用户的生活环境的安全性。

当通信设备为雷达数据处理设备时，通过少量的角度图像可以生成新视角下的角度图像，有利于减少雷达的数量，以缩减成本，且本申请实施例中输出的阵列图像保留有原阵列图像的几何特征，有利于提高后续对雷达系统的阵列图像进行二次处理过程的准确性。

为了对本申请带来的有益效果有进一步地理解，以下结合实验数据对本方案的有益效果做进一步展示，请参阅图14，图14为本申请实施例提供的一种有益效果展示示意图，图14中示出了通过多种算法对低质量阵列图像进行分辨率提升之后的得到的阵列图像的效果，其中，真实高清光场图像和真实图像均指的是通过多镜头且传感器多的高造价光场相机真实拍摄的拍摄对象，得到的高清阵列图像，如图14所示，分别为低质量阵列图像，通过双三次差值算法(Bicubic)、光场卷积神经网络(Yool et al.)、光场神经网络(LFNet)、超深卷积神经网络(VDSR)、深度拉普拉斯神经网络(MSLapSRN)、残差密度连接神经网络(RND)、亚像素卷积神经网络(ESPCN)、本申请提供的高维卷积神经网络对低质量图像处理后，以及高清阵列图像中的一小块图像的展示效果，通过图14中的对比，不能看出，虽然通过本申请实施例提供的高维卷积神经网络获得的图像的最终效果不如高清阵列图像，但比通过其他各种算法获得的图像的展示效果好很多，而且本申请实施例提供的高维卷积神经网络是通过后期算法进行分辨率提升，节省了硬件成本。

接下来还通过表1展示多种算法分别对低质量阵列图像进行角度分辨率提升之后的合成阵列图像与高清阵列图像之间的对比测试结果的对比情况，具体请参阅如下表1。

表1

表1中的多个行可以分为三大模块，分别为将低质量阵列图像的空间分辨率提高到2倍、3倍和4倍，表1中的多个列又可以分为两大模块，分别为峰值信噪比和结构相似度指数，其中，峰值信噪比的数值越大表示失真越小；结构相似度指的是通过多种算法输出的阵列图像与高清阵列图像之间的相似度，结构相似度的数值越大，两个阵列图像的相似度越高，具体的，其中，Occlusions指的是根据斯坦福光场档案数据集中的有遮挡类别下的阵列图像获得的测试结果，Reflective指的是根据斯坦福光场档案数据集中的有反射面类别下的阵列图像获得的测试结果，HCI new指的是根据海德堡图像处理合作实验室中的阵列图像获得的测试结果，Stanford指的是根据斯坦福机架式乐高光场数据集中的阵列图像获得的测试结果，EPFL指的是根据洛桑理工学院光场数据集中的阵列图像获得的测试结果。通过表1中示出的数据不难看出，无论是将将低质量阵列图像的空间分辨率提高到2倍、3倍或4倍，本申请实施例提供的高维卷积神经网络的表现都是最好的。

接下来再通过表2展示多种算法分别对低质量阵列图像进行空间分辨率提升之后的合成阵列图像与高清阵列图像的峰值信噪比进行对比的对比情况，具体请参阅如下表2。

表2

表2中示出的分别为通过光场视角生成神经网络(Kalantari et al)、快速光场重构神经网络(Yeung et al)以及本申请提供的高维卷积神经网络提升低质量阵列图像的空间分辨率，其中，Micro指的是根据斯坦福光场显微数据集中的阵列图像获得的测试结果，由于峰值信噪比的数值越大表示失真越小，则通过表2示出的数据不难看出，本申请实施例提供的高维卷积神经网络的表现最好。

在图1至图14所对应的实施例的基础上，为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图15a，图15a为本申请实施例提供的执行设备的一种结构示意图，执行设备1500包括：获取模块1501、第一特征提取模块1502、上采样模块1503和第一重构模块1504，其中，获取模块1501，用于获取第一阵列图像，第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄拍摄对象的至少两个第一图像，至少两个第一图像呈阵列分布；第一特征提取模块1502，用于通过第一卷积神经网络对第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带第一阵列图像的一种特征信息；上采样模块1503，用于通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面；第一重构模块1504，用于通过第一卷积神经网络对至少一个第二特征平面进行图像重构，输出拍摄对象的第二阵列图像。

本申请实施例中，在获取模块1501获取第一阵列图像之后，第一特征提取模块1502可以先将第一阵列图像视为一个整体，通过第一卷积神经网络对第一阵列图像执行卷积操作，得到该第一阵列图像的至少一个第一特征平面，并由上采样模块1503对每个第一特征平面进行上采样，第一重构模块1504根据执行过上采样操作的第二特征平面重构出拍摄对象的第二阵列图像，通过上采样的方式提高了光场图像的分辨率，而且是对第一阵列图像的特征平面进行上采样，而不是直接对第一阵列图像进行上采样，节省了大量的计算机资源。且执行设备将阵列图像视为一个整体进行卷积操作，很好的保留了第一阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

在一种可能的设计中，至少两个第一图像包括至少四个第一图像，至少四个第一图像在角度维度上分为在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像，第一卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；第一特征提取模块1502具体用于：通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像。

本申请实施例中，公开了高维卷积神经网络对阵列图像进行卷积操作的具体实现方式，提高了本方案的可执行性；且第一特征提取模块1502通过每个卷积模块对水平方向上的至少两个第一图像和竖直方向上的至少两个第一图像进行滤波，使得每个卷积模块可以学习到不同角度图像之间的关联关系，从而卷积模块生成的每个特征平面均携带有阵列图像的几何特征。

在一种可能的设计中，上采样模块1503具体用于：通过第一卷积神经网络对每个第一特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第二特征平面。

本申请实施例中，上采样模块1503可以对特征平面在角度维度和空间维度上同时进行上采样，从而实现了同时增强阵列图像在空间维度和角度维度的分辨率。

在一种可能的设计中，上采样模块1503具体用于：通过第一卷积神经网络对第一特征平面在角度维度上进行线性插值操作，以及，通过第一卷积神经网络对第一特征平面在空间维度上进行子像素卷积操作。

在一种可能的设计中，请参阅图15b，图15b为本申请实施例提供的执行设备的另一结构示意图，执行设备1500还包括：第二特征提取模块1505和第二重构模块1506，其中，第二特征提取模块1505，用于通过第二卷积神经网络对第二阵列图像执行卷积操作，得到至少一个第三特征平面，每个第三特征平面中包括第二阵列图像中所有图像的一种特征信息，至少一个第三特征平面中携带有第二阵列图像中每个图像的高频纹理信息；第二重构模块1506，用于通过第二卷积神经网络对至少一个第三特征平面进行图像重构，输出拍摄对象的第三阵列图像。

本申请实施例中，执行设备不仅通过第一卷积神经网络提高第一阵列图像的角度分辨率和/或空间分辨率的，还由第二特征提取模块1505通过第二卷积神经网络提高第二阵列图像的高频纹理信息，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

在一种可能的设计中，第一阵列图像为灰度图像。本申请实施例中，在增加阵列图像的角度分辨率和/或空间分辨率，执行设备先扩展阵列图像的纹理信息，再扩展阵列图像的颜色信息，从而使得阵列图像的角度分辨率和/或空间分辨率提高过程更为精细化，有利于获得更为高清的阵列图像。

需要说明的是，执行设备1500中各模块/单元之间的信息交互、执行过程等内容，与本申请中图9至图11对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种训练设备，请参阅图16a，图16a为本申请实施例提供的训练设备的一种结构示意图，训练设备1600包括：获取模块1601、第一特征提取模块1602、上采样模块1603、第一重构模块1604、迭代训练模块1605和输出模块1606，其中，获取模块1601，用于获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，低质量阵列图像和高清阵列图像中包括的为同一对象；第一特征提取模块1602，用于通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带低质量阵列图像的一种特征信息；上采样模块1603，用于通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面；第一重构模块1604，用于通过第三卷积神经网络对至少一个第五特征平面进行图像重构，输出拍摄对象的第四阵列图像；迭代训练模块1605，用于根据第四阵列图像和高清阵列图像，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度；输出模块1606，用于输出第一卷积神经网络，第一卷积神经网络为第三卷积神经网络执行过迭代训练后得到的网络。

本申请实施例中，获取模块1601在获取低质量阵列图像之后，第一特征提取模块1602可以先将低质量阵列图像视为一个整体，通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到低质量阵列图像的至少一个第四特征平面，上采样模块1603对每个第四特征平面进行上采样，第一重构模块1604根据执行过上采样操作的第五特征平面重构出第四阵列图像，迭代训练模块1605将第四阵列图像与高清阵列图像进行对比，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像与高清阵列图像之间的相似度达到第一预设程度，输出模块1606输出第一卷积神经网络，通过上述方式，提供了第一卷积神经网络在训练设备中的训练过程，提高了本方案的全面性，通过上采样的方式提高了光场图像的分辨率，而且是对低质量阵列图像的特征平面进行上采样，而不是直接对低质量阵列图像进行上采样，节省了大量的计算机资源；且训练设备将阵列图像视为一个整体进行卷积操作，很好的保留了低质量阵列图像在角度维度上各个图像之间的关联关系，也即保留了原始阵列图像的几何特征。

在一种可能的设计中，低质量阵列图像包括至少四个第二图像，至少四个第二图像在角度维度上分为在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像，第三卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；第一特征提取模块1602具体用于：通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像。

在一种可能的设计中，上采样模块1603具体用于：通过第三卷积神经网络对每个第四特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第五特征平面。

在一种可能的设计中，上采样模块1603具体用于：通过第三卷积神经网络对第四特征平面在角度维度上进行线性插值操作，以及，通过第三卷积神经网络对第四特征平面在空间维度上进行子像素卷积操作。

在一种可能的设计中，请参阅图16b，图16b为本申请实施例提供的训练设备的一种结构示意图，训练设备1600还包括：第二特征提取模块1607和第二重构模块1608，其中，第二特征提取模块1607，用于通过第四卷积神经网络对第四阵列图像执行卷积操作，得到至少一个第六特征平面，其中，第四卷积神经网络为未执行过迭代训练的网络，每个第六特征平面中携带第四阵列图像的一种特征信息；第二重构模块1608，用于通过第四卷积神经网络对至少一个第六特征平面进行图像重构，输出拍摄对象的第五阵列图像；迭代训练模块1605，还用于根据第五阵列图像和高清阵列图像，利用第二损失函数对第四卷积神经网络进行迭代训练，直至第五阵列图像和高清阵列图像的相似度达到第二预设程度，第二预设程度高于第一预设程度；输出模块1606，还用于输出第二卷积神经网络，第二卷积神经网络为第四卷积神经网络执行过迭代训练后得到的网络。

本申请实施例中，迭代训练模块1605不仅通过训练第三卷积神经网络，以输出用于提高阵列图像的角度分辨率和/或空间分辨率的第一卷积神经网络，还通过训练第四卷积神经网络，输出用于提高阵列图像的高频纹理信息的第二卷积神经网络，从而保证重构的阵列图像与高清阵列图像的差异尽可能小，同时也使得重构的阵列图像有更好的保真度。

在一种可能的设计中，第一损失函数为逐像素对比损失函数，第二损失函数为感知损失函数。

本申请实施例中，迭代训练模块1605将第一损失函数确定为逐像素对比损失函数，将第二损失函数确定为感知损失函数，当逐像素对比损失函数和感知损失函数均满足收敛条件时，第二卷积神经网络比第一卷积神经网络输出的阵列图像与高清阵列图像的相似度更高，也即在对高维卷积神经网络进行训练的过程中，采用递进式的网络结构，在不同阶段配合不同的损失函数，分布逐级对阵列图像进行优化，使得提升阵列图像的分辨率的过程更为精细化，也即降低了每个阶段的工作任务，有利于提高本方案的可执行性，从而保证最后输出的重构阵列图像与高清阵列图像的差异尽可能小。

在一种可能的设计中，迭代训练模块1605具体用于：利用第三损失函数对第三卷积神经网络和第四卷积神经网络进行迭代训练，第三损失函数包括第一损失函数和第二损失函数。

本申请实施例中，由于第一损失函数是用来对第三卷积神经网络进行训练的，第二损失函数是用来对第四卷积神经网络进行训练的，而第四卷积神经网络的输入正是第三卷积神经网络的输出，也即在训练过程中，第三卷积神经网络和第四卷积神经网络之间的联系紧密，迭代训练模块1605采用同时训练第三卷积神经网络和第四卷积神经网络的方式，不仅有利于节省计算机资源，还有利于缩短训练时间，提高训练过程的效率。

在一种可能的设计中，低质量阵列图像和高清阵列图像均为灰度图像。

需要说明的是，训练设备1600中各模块/单元之间的信息交互、执行过程等内容，与本申请中图12对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种终端设备，请参阅图17a，图17a为本申请实施例提供的终端设备的一种结构示意图，终端设备1700a包括：展示模块1701a、接收模块1702a和生成模块1703a，其中，展示模块1701a，用于在阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式；接收模块1702a，用于通过展示界面接收拍摄模式选择指令；生成模块1703a，用于在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，生成并展示拍摄对象的第六阵列图像；在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，生成并展示拍摄对象的第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

在一种可能的设计中，接收模块1702a具体用于：接收拍摄模式切换指令，拍摄模式切换指令用于指示终端设备将阵列相机的拍摄模式由第一拍摄模式切换至第二拍摄模式。

需要说明的是，终端设备1700a中各模块/单元之间的信息交互、执行过程等内容，与本申请中图13a对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供一种通信设备，请参阅图17b，图17b为本申请实施例提供的通信设备的一种结构示意图，通信设备1700b包括：展示模块1701b、接收模块1702b和生成模块1703b，其中，展示模块1701b，用于展示第六阵列图像；接收模块1702b，用于通过第六阵列图像的展示界面接收图像增强指令；生成模块1703b，用于响应于图像增强指令，对第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

需要说明的是，通信设备1700b中各模块/单元之间的信息交互、执行过程等内容，与本申请中图13b对应的各个方法实施例基于同一构思，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

接下来介绍本申请实施例提供的一种执行设备，请参阅图18，图18为本申请实施例提供的执行设备的一种结构示意图，执行设备1800具体可以表现为虚拟现实VR设备、手机、平板、笔记本电脑、智能穿戴设备、监控数据处理设备或者雷达数据处理设备等，此处不做限定。其中，执行设备1800上可以部署有图15a和图15b对应实施例中所描述的执行设备1500，用于实现图15a和图15b对应实施例中执行设备1500的功能；或者，执行设备1800上可以部署有图17a对应实施例中所描述的终端设备，用于实现图17a对应实施例中终端设备1700a的功能；或者，执行设备1800上可以部署有图17b对应实施例中所描述的终端设备，用于实现图17b对应实施例中终端设备1700b的功能。具体的，执行设备1800包括：接收器1801、发射器1802、处理器1803和存储器1804(其中执行设备1800中的处理器1803的数量可以一个或多个，图18中以一个处理器为例)，其中，处理器1803可以包括应用处理器18031和通信处理器18032。在本申请的一些实施例中，接收器1801、发射器1802、处理器1803和存储器1804可通过总线或其它方式连接。

存储器1804可以包括只读存储器和随机存取存储器，并向处理器1803提供指令和数据。存储器1804的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器1804存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器1803控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器1803中，或者由处理器1803实现。处理器1803可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1803中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1803可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1803可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1804，处理器1803读取存储器1804中的信息，结合其硬件完成上述方法的步骤。

接收器1801可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器1802可用于通过第一接口输出数字或字符信息；发射器1802还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1802还可以包括显示屏等显示设备。

本申请实施例中，在一种情况下，处理器1803，用于执行图9至图11对应实施例中的执行设备执行的图像处理方法。具体的，应用处理器18031，用于获取第一阵列图像，第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第一图像，至少两个第一图像呈阵列分布；通过第一卷积神经网络对第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带第一阵列图像的一种特征信息；通过第一卷积神经网络对至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过上采样操作的第二特征平面；通过第一卷积神经网络对至少一个第二特征平面进行图像重构，输出拍摄对象的第二阵列图像

在一种可能的设计中，至少两个第一图像包括至少四个第一图像，至少四个第一图像在角度维度上分为在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像，第一卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；应用处理器18031，具体用于通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像。

在一种可能的设计中，应用处理器18031，具体用于通过所述第一卷积神经网络对所述每个第一特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过所述上采样操作的第二特征平面。

在一种可能的设计中，应用处理器18031，具体用于通过所述第一卷积神经网络对所述第一特征平面在角度维度上进行线性插值操作，以及，通过所述第一卷积神经网络对所述第一特征平面在空间维度上进行子像素卷积操作。

在一种可能的设计中，应用处理器18031，还用于通过第二卷积神经网络对所述第二阵列图像执行卷积操作，得到至少一个第三特征平面，每个第三特征平面中包括所述第二阵列图像中所有图像的一种特征信息，所述至少一个第三特征平面中携带有所述第二阵列图像中每个图像的高频纹理信息；通过所述第二卷积神经网络对所述至少一个第三特征平面进行图像重构，输出所述拍摄对象的第三阵列图像。

在一种可能的设计中，应用处理器18031，所述第一阵列图像为灰度图像。

需要说明的是，应用处理器18031执行上述各个步骤的具体方式，与本申请中图9至图11对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图9至图11对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

在另一种情况下，处理器1803，用于执行图13a对应实施例中的终端设备执行的图像处理方法。具体的，应用处理器18031，用于在阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式；通过展示界面接收拍摄模式选择指令；在拍摄模式选择指令为第一拍摄模式的选择指令的情况下，生成并展示拍摄对象的第六阵列图像，其中，光场图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；在拍摄模式选择指令为第二拍摄模式的选择指令的情况下，生成并展示拍摄对象的第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

在一种可能的设计中，应用处理器18031，具体用于接收拍摄模式切换指令，拍摄模式切换指令用于指示终端设备将阵列相机的拍摄模式由第一拍摄模式切换至第二拍摄模式。

需要说明的是，应用处理器18031执行上述各个步骤的具体方式，与本申请中图13a对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图13a对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

在另一种情况下，处理器1803，用于执行图13b对应实施例中的通信设备执行的图像处理方法。具体的，应用处理器18031，用于展示第六阵列图像；通过第六阵列图像的展示界面接收图像增强指令；响应于图像增强指令，对第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，第七阵列图像的清晰度高于第六阵列图像和/或第七阵列图像在角度维度的播放连贯性高于第六阵列图像。

需要说明的是，应用处理器18031执行上述各个步骤的具体方式，与本申请中图13b对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图13b对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供了一种训练设备，请参阅图19，图19是本申请实施例提供的训练设备一种结构示意图，训练设备1900上可以部署有图16a和图16b对应实施例中所描述的训练设备1600，用于实现图16a和图16b对应实施例中训练设备1600的功能，具体的，训练设备1900由一个或多个服务器实现，训练设备1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对训练设备中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在训练设备1900上执行存储介质1930中的一系列指令操作。

训练设备1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本申请实施例中，中央处理器1922，用于执行图12对应实施例中的训练设备执行的图像处理方法。具体的，中央处理器1922，用于获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，低质量阵列图像和高清阵列图像中包括的为同一对象；通过第三卷积神经网络对低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带低质量阵列图像的一种特征信息；通过第三卷积神经网络对至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过上采样操作的第五特征平面；通过第三卷积神经网络对至少一个第五特征平面进行图像重构，输出拍摄对象的第四阵列图像；根据第四阵列图像和高清阵列图像，利用第一损失函数对第三卷积神经网络进行迭代训练，直至第四阵列图像和高清阵列图像的相似度达到第一预设程度；输出第一卷积神经网络，第一卷积神经网络为第三卷积神经网络执行过迭代训练后得到的网络。

在一种可能的设计中，低质量阵列图像包括至少四个第二图像，至少四个第二图像在角度维度上分为在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像，第三卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；中央处理器1922，具体用于通过至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，待滤波图像集合中包括在水平方向上分布的至少两个第二图像和在竖直方向上分布的至少两个第二图像。

在一种可能的设计中，中央处理器1922，具体用于通过第三卷积神经网络对每个第四特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过上采样操作的第五特征平面。

在一种可能的设计中，中央处理器1922，具体用于通过第三卷积神经网络对第四特征平面在角度维度上进行线性插值操作，以及，通过第三卷积神经网络对第四特征平面在空间维度上进行子像素卷积操作。

在一种可能的设计中，中央处理器1922，还用于通过第四卷积神经网络对第四阵列图像执行卷积操作，得到至少一个第六特征平面，其中，第四卷积神经网络为未执行过迭代训练的网络，每个第六特征平面中携带第四阵列图像的一种特征信息；通过第四卷积神经网络对至少一个第六特征平面进行图像重构，输出拍摄对象的第五阵列图像；根据第五阵列图像和高清阵列图像，利用第二损失函数对第四卷积神经网络进行迭代训练，直至第五阵列图像和高清阵列图像的相似度达到第二预设程度，第二预设程度高于第一预设程度；输出第二卷积神经网络，第二卷积神经网络为第四卷积神经网络执行过迭代训练后得到的网络。

在一种可能的设计中，第一损失函数为逐像素对比损失函数，第二损失函数为感知损失函数。

在一种可能的设计中，中央处理器1922，具体用于利用第三损失函数对第三卷积神经网络和第四卷积神经网络进行迭代训练，第三损失函数包括第一损失函数和第二损失函数。

在一种可能的设计中，低质量阵列图像和高清阵列图像均为灰度图像。

需要说明的是，中央处理器1922执行上述各个步骤的具体方式，与本申请中图12对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图12对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图9至图11所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图12所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图13a所示实施例描述的方法中终端设备所执行的步骤，或者，使得计算机执行如前述图13b所示实施例描述的方法中通信设备所执行的步骤。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于进行信号处理的程序，当其在计算机上运行时，使得计算机执行如前述图9至图11所示实施例描述的方法中执行设备所执行的步骤，或者，使得计算机执行如前述图12所示实施例描述的方法中训练设备所执行的步骤，或者，使得计算机执行如前述图13a所示实施例描述的方法中终端设备所执行的步骤，或者，使得计算机执行如前述图13b所示实施例描述的方法中通信设备所执行的步骤。

本申请实施例提供的执行设备、训练设备、终端设备或通信设备具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使执行设备内的芯片执行上述图9至图11所示实施例描述的图像处理方法，或者，以使训练设备内的芯片执行上述图12所示实施例描述的图像处理方法，或者，以使终端设备内的芯片执行上述图13a所示实施例描述的图像处理方法，或者，以使通信设备内的芯片执行上述图13b所示实施例描述的图像处理方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

具体的，请参阅图20，图20为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 200，NPU 200作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路200，通过控制器2004控制运算电路2003提取存储器中的矩阵数据并进行乘法运算。

在一些实现中，运算电路2003内部包括多个处理单元(Process Engine,PE)。在一些实现中，运算电路2003是二维脉动阵列。运算电路2003还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路2003是通用的矩阵处理器。

举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器2002中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器2001中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)2008中。

统一存储器2006用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller，DMAC)2005，DMAC被搬运到权重存储器2002中。输入数据也通过DMAC被搬运到统一存储器2006中。

BIU为Bus Interface Unit即，总线接口单元2010，用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer，IFB)2009的交互。

总线接口单元2010(Bus Interface Unit，简称BIU)，用于取指存储器2009从外部存储器获取指令，还用于存储单元访问控制器2005从外部存储器获取输入矩阵A或者权重矩阵B的原数据。

DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器2006或将权重数据搬运到权重存储器2002中或将输入数据数据搬运到输入存储器2001中。

向量计算单元2007包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如Batch Normalization(批归一化)，像素级求和，对特征平面进行上采样等。

在一些实现中，向量计算单元2007能将经处理的输出的向量存储到统一存储器2006。例如，向量计算单元2007可以将线性函数和/或非线性函数应用到运算电路2003的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元2007生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路2003的激活输入，例如用于在神经网络中的后续层中的使用。

控制器2004连接的取指存储器(instruction fetch buffer)2009，用于存储控制器2004使用的指令；

统一存储器2006，输入存储器2001，权重存储器2002以及取指存储器2009均为On-Chip存储器。外部存储器私有于该NPU硬件架构。

其中，图7和图8所示的高维卷积神经网络中各层的运算可以由运算电路2003或向量计算单元2007执行。

其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

Claims (28)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一阵列图像，所述第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第一图像，所述至少两个第一图像呈阵列分布，所述第一阵列图像为灰度图像；

通过第一卷积神经网络对所述第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带所述第一阵列图像的一种特征信息；

通过所述第一卷积神经网络对所述至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过所述上采样操作的第二特征平面，所述第二特征平面中不携带颜色特征；

通过所述第一卷积神经网络对所述至少一个第二特征平面进行图像重构，然后对重构后的阵列图像进行颜色信息扩展，输出所述拍摄对象的第二阵列图像。

2.根据权利要求1所述的方法，其特征在于，所述至少两个第一图像包括至少四个第一图像，所述至少四个第一图像在角度维度上分为在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像，所述第一卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核，所述通过第一卷积神经网络对所述第一阵列图像执行卷积操作，包括：

通过所述至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，所述待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像。

3.根据权利要求1所述的方法，其特征在于，所述通过所述第一卷积神经网络对所述至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过所述上采样操作的第二特征平面，包括：

通过所述第一卷积神经网络对所述每个第一特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过所述上采样操作的第二特征平面。

4.根据权利要求3所述的方法，其特征在于，所述通过所述第一卷积神经网络对所述每个第一特征平面在角度维度和空间维度上进行上采样，包括：

通过所述第一卷积神经网络对所述第一特征平面在角度维度上进行线性插值操作；

通过所述第一卷积神经网络对所述第一特征平面在空间维度上进行子像素卷积操作。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

通过第二卷积神经网络对所述第二阵列图像执行卷积操作，得到至少一个第三特征平面，每个第三特征平面中包括所述第二阵列图像中所有图像的一种特征信息，所述至少一个第三特征平面中携带有所述第二阵列图像中每个图像的高频纹理信息；

通过所述第二卷积神经网络对所述至少一个第三特征平面进行图像重构，输出所述拍摄对象的第三阵列图像。

6.一种图像处理方法，其特征在于，所述方法包括：

获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，所述低质量阵列图像和所述高清阵列图像中包括的为同一对象，所述低质量阵列图像和所述高清阵列图像均为灰度图像；

通过第三卷积神经网络对所述低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，所述第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带所述低质量阵列图像的一种特征信息；

通过所述第三卷积神经网络对所述至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过所述上采样操作的第五特征平面，所述第五特征平面中不携带颜色特征；

通过所述第三卷积神经网络对所述至少一个第五特征平面进行图像重构，然后对重构后的阵列图像进行颜色信息扩展，输出所述拍摄对象的第四阵列图像；

根据所述第四阵列图像和所述高清阵列图像，利用第一损失函数对所述第三卷积神经网络进行迭代训练，直至所述第四阵列图像和所述高清阵列图像的相似度达到第一预设程度；

输出第一卷积神经网络，所述第一卷积神经网络为所述第三卷积神经网络执行过迭代训练后得到的网络。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

通过第四卷积神经网络对所述第四阵列图像执行卷积操作，得到至少一个第六特征平面，其中，所述第四卷积神经网络为未执行过迭代训练的网络，每个第六特征平面中携带所述第四阵列图像的一种特征信息；

通过所述第四卷积神经网络对所述至少一个第六特征平面进行图像重构，输出所述拍摄对象的第五阵列图像；

根据所述第五阵列图像和所述高清阵列图像，利用第二损失函数对所述第四卷积神经网络进行迭代训练，直至所述第五阵列图像和所述高清阵列图像的相似度达到第二预设程度，所述第二预设程度高于所述第一预设程度；

输出第二卷积神经网络，所述第二卷积神经网络为所述第四卷积神经网络执行过迭代训练后得到的网络。

8.根据权利要求7所述的方法，其特征在于，所述第一损失函数为逐像素对比损失函数，所述第二损失函数为感知损失函数。

9.根据权利要求7或8所述的方法，其特征在于，所述利用第一损失函数对所述第三卷积神经网络进行迭代训练，和，所述利用第二损失函数对所述第四卷积神经网络进行迭代训练，包括：

利用第三损失函数对所述第三卷积神经网络和所述第四卷积神经网络进行迭代训练，所述第三损失函数包括所述第一损失函数和所述第二损失函数。

10.一种执行设备，其特征在于，所述设备包括：

获取模块，用于获取第一阵列图像，所述第一阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个第一图像，所述至少两个第一图像呈阵列分布，所述第一阵列图像为灰度图像；

第一特征提取模块，用于通过第一卷积神经网络对所述第一阵列图像执行卷积操作，得到至少一个第一特征平面，其中，每个第一特征平面中携带所述第一阵列图像的一种特征信息；

上采样模块，用于通过所述第一卷积神经网络对所述至少一个第一特征平面中的每个第一特征平面进行上采样，得到至少一个执行过所述上采样操作的第二特征平面，所述第二特征平面中不携带颜色特征；

第一重构模块，用于通过所述第一卷积神经网络对所述至少一个第二特征平面进行图像重构，然后对重构后的阵列图像进行颜色信息扩展，输出所述拍摄对象的第二阵列图像。

11.根据权利要求10所述的设备，其特征在于，所述至少两个第一图像包括至少四个第一图像，所述至少四个第一图像在角度维度上分为在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像，所述第一卷积神经网络在角度维度上包括至少两个卷积模块，每个卷积模块包括至少一个卷积核；

所述第一特征提取模块具体用于：通过所述至少两个卷积模块中的每个卷积模块对待滤波图像集合进行滤波，其中，所述待滤波图像集合中包括在水平方向上分布的至少两个第一图像和在竖直方向上分布的至少两个第一图像。

12.根据权利要求10所述的设备，其特征在于，

所述上采样模块具体用于：通过所述第一卷积神经网络对所述每个第一特征平面在角度维度和空间维度上进行上采样，得到至少一个执行过所述上采样操作的第二特征平面。

13.根据权利要求12所述的设备，其特征在于，所述上采样模块具体用于：

通过所述第一卷积神经网络对所述第一特征平面在角度维度上进行线性插值操作；

通过所述第一卷积神经网络对所述第一特征平面在空间维度上进行子像素卷积操作。

14.根据权利要求10至13任一项所述的设备，其特征在于，所述设备还包括：

第二特征提取模块，用于通过第二卷积神经网络对所述第二阵列图像执行卷积操作，得到至少一个第三特征平面，每个第三特征平面中包括所述第二阵列图像中所有图像的一种特征信息，所述至少一个第三特征平面中携带有所述第二阵列图像中每个图像的高频纹理信息；

第二重构模块，用于通过所述第二卷积神经网络对所述至少一个第三特征平面进行图像重构，输出所述拍摄对象的第三阵列图像。

15.一种训练设备，其特征在于，所述设备包括：

获取模块，用于获取低质量阵列图像和高清阵列图像，其中，阵列图像中包括从至少两个拍摄角度采集的同一拍摄对象的至少两个图像，所述低质量阵列图像和所述高清阵列图像中包括的为同一对象，所述低质量阵列图像和所述高清阵列图像均为灰度图像；

第一特征提取模块，用于通过第三卷积神经网络对所述低质量阵列图像执行卷积操作，得到至少一个第四特征平面，其中，所述第三卷积神经网络为未执行过迭代训练的网络，每个第四特征平面中携带所述低质量阵列图像的一种特征信息；

上采样模块，用于通过所述第三卷积神经网络对所述至少一个第四特征平面中的每个第四特征平面进行上采样，得到至少一个执行过所述上采样操作的第五特征平面，所述第五特征平面中不携带颜色特征；

第一重构模块，用于通过所述第三卷积神经网络对所述至少一个第五特征平面进行图像重构，然后对重构后的阵列图像进行颜色信息扩展，输出所述拍摄对象的第四阵列图像；

迭代训练模块，用于根据所述第四阵列图像和所述高清阵列图像，利用第一损失函数对所述第三卷积神经网络进行迭代训练，直至所述第四阵列图像和所述高清阵列图像的相似度达到第一预设程度；

输出模块，用于输出第一卷积神经网络，所述第一卷积神经网络为所述第三卷积神经网络执行过迭代训练后得到的网络。

16.根据权利要求15所述的设备，其特征在于，所述设备还包括：

第二特征提取模块，用于通过第四卷积神经网络对所述第四阵列图像执行卷积操作，得到至少一个第六特征平面，其中，所述第四卷积神经网络为未执行过迭代训练的网络，每个第六特征平面中携带所述第四阵列图像的一种特征信息；

第二重构模块，用于通过所述第四卷积神经网络对所述至少一个第六特征平面进行图像重构，输出所述拍摄对象的第五阵列图像；

所述迭代训练模块，还用于根据所述第五阵列图像和所述高清阵列图像，利用第二损失函数对所述第四卷积神经网络进行迭代训练，直至所述第五阵列图像和所述高清阵列图像的相似度达到第二预设程度，所述第二预设程度高于所述第一预设程度；

所述输出模块，还用于输出第二卷积神经网络，所述第二卷积神经网络为所述第四卷积神经网络执行过迭代训练后得到的网络。

17.根据权利要求16所述的设备，其特征在于，所述第一损失函数为逐像素对比损失函数，所述第二损失函数为感知损失函数。

18.根据权利要求16或17所述的设备，其特征在于，

所述迭代训练模块具体用于：利用第三损失函数对所述第三卷积神经网络和所述第四卷积神经网络进行迭代训练，所述第三损失函数包括所述第一损失函数和所述第二损失函数。

19.一种通信设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，所述通信设备为终端设备或者训练设备；

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述通信设备执行如权利要求6至9中任一项所述的方法。

20.一种图像处理方法，其特征在于，所述方法应用于终端设备，所述终端设备上配置有阵列相机，所述方法包括：

在所述阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式；

通过展示界面接收拍摄模式选择指令；

在所述拍摄模式选择指令为所述第一拍摄模式的选择指令的情况下，生成并展示拍摄对象的第六阵列图像，其中，所述第六阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；

在所述拍摄模式选择指令为所述第二拍摄模式的选择指令的情况下，生成并展示拍摄对象的第七阵列图像，其中，所述第七阵列图像的清晰度高于所述第六阵列图像和/或所述第七阵列图像在角度维度的播放连贯性高于所述第六阵列图像，其中，所述第七阵列图像用于通过权利要求1至5中任一项所述的方法对所述第六阵列图像进行图像处理得到。

21.根据权利要求20所述的方法，其特征在于，所述接收拍摄模式选择指令包括：

接收拍摄模式切换指令，所述拍摄模式切换指令用于指示所述终端设备将所述阵列相机的拍摄模式由所述第一拍摄模式切换至所述第二拍摄模式。

22.一种图像处理方法，其特征在于，所述方法包括：

通信设备展示第六阵列图像，其中，所述第六阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；

通信设备通过所述第六阵列图像的展示界面接收图像增强指令；

通信设备响应于所述图像增强指令，对所述第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，所述第七阵列图像的清晰度高于所述第六阵列图像和/或所述第七阵列图像在角度维度的播放连贯性高于所述第六阵列图像，其中，所述第七阵列图像用于通过权利要求1至5中任一项所述的方法对所述第六阵列图像进行图像处理得到。

23.一种终端设备，其特征在于，所述终端设备上配置有阵列相机，所述终端设备包括：

展示模块，用于在所述阵列相机处于开启状态的情况下，展示第一拍摄模式和第二拍摄模式；

接收模块，用于通过展示界面接收拍摄模式选择指令；

生成模块，用于在所述拍摄模式选择指令为所述第一拍摄模式的选择指令的情况下，生成并展示拍摄对象的第六阵列图像，其中，所述第六阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；

所述生成模块，还用于在所述拍摄模式选择指令为所述第二拍摄模式的选择指令的情况下，生成并展示拍摄对象的第七阵列图像，其中，所述第七阵列图像的清晰度高于所述第六阵列图像和/或所述第七阵列图像在角度维度的播放连贯性高于所述第六阵列图像，其中，所述第七阵列图像用于通过权利要求1至5中任一项所述的方法对所述第六阵列图像进行图像处理得到。

24.根据权利要求23所述的设备，其特征在于，所述接收模块具体用于：

接收拍摄模式切换指令，所述拍摄模式切换指令用于指示所述终端设备将所述阵列相机的拍摄模式由所述第一拍摄模式切换至所述第二拍摄模式。

25.一种通信设备，其特征在于，所述通信设备包括：

展示模块，用于展示第六阵列图像，其中，所述第六阵列图像中包括从至少两个拍摄角度采集的拍摄对象的至少两个图像；

接收模块，用于通过所述第六阵列图像的展示界面接收图像增强指令；

生成模块，用于响应于所述图像增强指令，对所述第六阵列图像进行图像分辨率增强操作，以生成第七阵列图像，其中，所述第七阵列图像的清晰度高于所述第六阵列图像和/或所述第七阵列图像在角度维度的播放连贯性高于所述第六阵列图像，其中，所述第七阵列图像用于通过权利要求1至5中任一项所述的方法对所述第六阵列图像进行图像处理得到。

26.一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法，或者，使得计算机执行如权利要求6至9中任一项所述的方法，或者，使得计算机执行如权利要求20或21所述的方法，或者，使得计算机执行如权利要求22所述的方法。

27.一种执行设备，包括处理器和存储器，所述处理器与所述存储器耦合，其特征在于，

所述存储器，用于存储程序；

所述处理器，用于执行所述存储器中的程序，使得所述执行设备执行如权利要求1至5中任一项所述的方法，或者，使得所述执行设备执行如权利要求20或21所述的方法，或者，使得所述执行设备执行如权利要求22所述的方法。

28.根据权利要求27所述的设备，其特征在于，所述执行设备为虚拟现实VR设备、手机、平板、笔记本电脑或者智能穿戴设备、监控数据处理设备或者雷达数据处理设备。