CN114637391A - 基于光场的vr内容处理方法及设备 - Google Patents

Abstract

本申请公开了一种基于光场的VR内容处理方法及装置，该方法包括：获取M张第一图像，该M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到；根据M张第一图像重建场景的光场；根据用户的反馈信息从场景的光场确定两个目标子光场；反馈信息为用户根据历史双目立体图像产生的；对两个目标子光场进行渲染，得到双目立体图像。采用本申请实施例既可以基于用户的需求缓解视觉疲劳又可以基于用户的需求调节VR内容的立体效果。

Description

基于光场的VR内容处理方法及设备

技术领域

本发明涉及虚拟现实(virtual reality，VR)领域，尤其涉及一种基于光场的VR内容处理方法及设备。

背景技术

现有视觉心理学研究表明，视差与离焦模糊是人眼感知三维世界深度信息的最重要的两种线索。视差线索即为场景在不同人眼中的成像存在偏移，距离人眼近的物体视差较大，而距离人眼较远的物体视差较小。如图1a所示，场景中近点P₁与远点P₂在双眼中的成像分别p_1l,p_1r和p_2l,p_2r，P₁和P₂的视差分别d(P₁)＝p_1r-p_1l和d(P₂)＝p_2r-p_2l，d(P₁)>d(P₂)。图1b给出了场景深度与视差的几何关系，据相似三角形定理可知，d＝D/(f*B)，其中B为双眼的瞳距，f为瞳孔至视网膜的距离，场景点的视差d与深度D成反比，与双眼的瞳距成正比。依据不同3D点在双眼中成像的视差，人眼可感知深度。

人眼的成像可被近似认为是薄透镜成像模型，根据薄透镜成像定理，当薄透镜聚焦时，物体到薄透镜的距离a，成像面到薄透镜的距离b，以及薄透镜的焦距f满足如下约束：

不满足上述约束条件的物体在成像面上呈现模糊的像，该模糊称为离焦模糊，离焦模糊区域的半径与物体所在深度至聚焦深度a的距离成正相关。如图2所示，P₁，P₂，P₃深度分别为D₁,D₂,D₃，薄透镜的聚焦深度为D₁，此时，P₂，P₃点均在成像面上出现离焦模糊。由于D₃>D₂，故P₃点离焦模糊的半径大于P₂点离焦模糊的半径。人眼根据不同点的模糊程度，获取场景点的深度信息。

依据视差线索，研究人员设计了基于双目立体视觉系统的VR眼镜，通过双目相机拍摄场景，给左右眼提供具有视差的图像，使用户获得沉浸式的三维感受。然而，长时间观看双目立体内容易导致用户眼疲劳，降低用户的观看体验。

发明内容

本发明实施例提供一种VR内容处理方法及设备，实现了基于有限图像构建场景的完整光场；并通过基于用户的反馈信息调节子光场的中心视点的视差、子光场的聚焦深度及子光场的大小，既可以基于用户的需求缓解视觉疲劳又可以基于用户的需求调节VR内容的立体效果。

第一方面，本申请实施例提供一种VR内容处理方法，包括：

获取M张第一图像，该M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，M为大于1的整数；根据M张第一图像和M个第一视点的内参矩阵重建场景的光场；根据用户的反馈信息从场景的光场确定两个目标子光场；反馈信息为用户根据历史双目立体图像产生的；对两个目标子光场进行渲染，得到双目立体图像。

其中，M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到可以理解成：相机阵列对同一场景进行拍摄，得到M张第一图像。

通过M张第一图像构建场景的光场，实现了基于有限图像构建场景的完整光场；用户在观看历史双目立体图像后，根据自己的观看感受，比如眼睛是否疲劳、双目立体图像的立体效果得到反馈信息；通过用户的反馈信息调节子光场，并基于调节后的子光场得到双目立体图像，从而达到调节双目立体图像，以满足用户的需求。

在一个可行的实施例中，根据M张第一图像重建场景的光场，包括：

根据M张第一图像获取M-1个图像对，M-1个图像对中每个图像对包括参考图像和第二图像，参考图像为M张第一图像中的任一图像，M-1个图像对中的第二图像分别为M张第一图像中除了参考图像之外的M-1张第一图像；根据M-1个图像对及M个第一视点的内参矩阵、及M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI，其中，M个第一视点与M个摄像头一一对应，M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，参考视点为M个第一视点中任一视点，M-1个第一视点为M个第一视点中除了参考视点之外的视点；参考视点为拍摄参考图像的摄像头对应的视点；根据参考视点的MPI构建场景的光场。

通过参考视点的MPI可以得到场景的光场中任一视点的图像，从而得到场景的光场，实现了基于有限视点的图像得到场景的光场，为后续调节子光场的中心视点的视差、子光场的聚焦深度及子光场的大小提供可能性。

在一个可行的实施例中，根据M-1个图像对及M个第一视点的内参矩阵、及M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的MPI，包括：

根据M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点的内参矩阵得到该图像对的平面扫描体PSV；每个图像对的PSV的尺寸为H*W*N，H和W分别为第二图像的高和宽，N为场景的深度分辨率；第二视点为拍摄得到参考图像的摄像头对应的视点，第三视点为拍摄得到第二图像的摄像头对应的视点；根据M-1个图像对的PSV和参考图像得到参考视点的PSV，参考视点的PSV的尺寸为H*W*((M-1)*N+1)；根据参考视点的PSV得到第一三维体和第二三维体，第一三维体用于记录RGB信息，第二三维体用于记录透明度信息，参考视点的MPI包括第一三维体和第二三维体。

在一个可行的实施例中，根据参考视点的MPI构建场景的光场，包括：

获取多个第四视点中每个视点的内参矩阵，及该视点的图像相对于参考图像的旋转矩阵和平移矩阵；根据参考视点的MPI、参考视点的内参矩阵、多个第四视点中每个第四视点的内参矩阵，及该视点的图像相对于参考图像的旋转矩阵和平移矩阵得到该第四视点的图像；其中，场景的光场包括M张第一图像和多个第四视点的图像。

通过参考视点的MPI和场景中任一视点的内参矩阵、该视点的图像相对于参考图像的旋转矩阵和平移矩阵可以得到场景的光场中任一视点的图像，从而得到场景的光场，为后续调节子光场的中心视点的视差、子光场的聚焦深度及子光场的大小提供可能性。

在一个可行的实施例中，反馈信息包括第一指示信息，第一指示信息用于指示调节两个目标子光场的视差，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；根据两个目标子光场的视差从场景的光场确定两个目标子光场。

通过改变两个目标子光场的视差，从而改变双目立体图像的立体效果。

在一个可行的实施例中，反馈信息包括第二指示信息，第二指示信息用于指示调节子光场的尺寸，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第二指示信息从场景的光场中确定两个目标子光场；

其中，当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。通过调节光场的尺寸从而改变双目立体图像的模糊程度，从而达到缓解用户的视觉疲劳的目的。

在一个可行的实施例中，反馈信息包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；从调节后的光场中确定两个目标子光场。

通过调节光场的聚焦深度，从而达到缓解用户的视觉疲劳的目的。

在一个可行的实施例中，反馈信息包括第一指示信息和第二指示信息，第一指示信息用于指示调节两个目标子光场的视差，第二指示信息用于指示调节子光场的尺寸，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据两个目标子光场的视差和第二指示信息从场景的光场确定两个目标子光场；当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。

通过调节两个目标子光场的中心视点的视差和大小，从而调节双目立体图像的立体效果和缓解用户的视觉疲劳。

在一个可行的实施例中，反馈信息还包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，根据第二指示信息和两个目标子光场的视差从场景的光场中确定两个目标子光场，包括：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据第二指示信息和两个目标子光场的视差从调节后的光场中确定出两个目标子光场。

通过调节两个目标子光场大小、视差和聚焦深度，从而可根据用户的需求你缓解用户的视觉疲劳和改变双目立体图像的立体效果。

在一个可行的实施例中，反馈信息包括第二指示信息和第三指示信息，第二指示信息用于指示调节子光场的大小，第三指示信息用于指示调节光场的聚焦深度，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；

根据第二指示信息和两个目标子光场的中心视点从调节后的光场中确定出两个目标子光场；当第二指示信息用于指示增大子光场时，两个目标子光场大于两个历史子光场；当第二指示信息用于指示减小子光场时，两个目标子光场小于两个历史子光场；其中，两个目标子光场的视差与两个历史子光场的视差相同。

通过调节两个目标子光场的中心视点大小和聚焦深度，从而调节双目立体图像的立体效果和缓解用户的视觉疲劳。

在一个可行的实施例中，反馈信息包括第一指示信息和第三指示信息，第一指示信息用于指示调节两个目标子光场的视差，第三指示信息用于指示调节光场的聚焦深度，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据两个目标子光场的视差和调节后的光场确定两个目标子光场。

通过调节两个目标子光场的中心视点的视差和聚焦深度，从而调节双目立体图像的立体效果和缓解用户的视觉疲劳。

在一个可行的实施例中，对两个目标子光场进行渲染，得到双目立体图像，包括：

对两个目标子光场进行角度维积分，得到双目立体图像。

第二方面，本申请实施例提供一种VR内容处理装置，包括：

获取单元，用于获取M张第一图像，该M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，M为大于1的整数；

重建单元，用于根据M张第一图像重建场景的光场；

确定单元，用于根据用户的反馈信息从场景的光场确定两个目标子光场；反馈信息为用户根据历史双目立体图像产生的；

渲染单元，用于对两个目标子光场进行渲染，得到双目立体图像。

在一个可行的实施例中，重建单元具体用于：

根据M张第一图像获取M-1个图像对，M-1个图像对中每个图像对包括参考图像和第二图像，参考图像为M张第一图像中的任一图像，M-1个图像对中的第二图像分别为所M张第一图像中除了参考图像之外的M-1张第一图像；根据M-1个图像对及M个第一视点的内参矩阵、及M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI，其中，M个第一视点与所述M个摄像头一一对应，M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，参考视点为M个第一视点中任一视点，M-1个第一视点为M个第一视点中除了参考视点之外的视点；参考视点为拍摄参考图像的摄像头对应的视点；根据参考视点的MPI构建场景的光场。

在一个可行的实施例中，在根据M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的MPI的方面，重建单元具体用于：

根据M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点的内参矩阵得到该图像对的平面扫描体PSV；每个图像对的PSV的尺寸为H*W*N，H和W分别为第二图像的高和宽，N为场景的深度分辨率；第二视点为拍摄得到参考图像的摄像头对应的视点，第三视点为拍摄得到第二图像的摄像头对应的视点；根据M-1个图像对的PSV和参考图像得到参考视点的PSV，参考视点的PSV的尺寸为H*W*((M-1)*N+1)；根据参考视点的PSV得到第一三维体和第二三维体，第一三维体用于记录RGB信息，第二三维体用于记录透明度信息，参考视点的MPI包括第一三维体和第二三维体。

在一个可行的实施例中，在根据参考视点的MPI构建场景的光场的方面，重建单元具体用于：

获取多个第四视点中每个视点的内参矩阵，及该视点的图像相对于参考图像的旋转矩阵和平移矩阵；根据参考视点的MPI、参考视点的内参矩阵、多个第四视点中每个第四视点的内参矩阵，及该视点的图像相对于参考图像的旋转矩阵和平移矩阵得到该第四视点的图像；其中，场景的光场包括M张第一图像和多个第四视点的图像。

在一个可行的实施例中，反馈信息包括第一指示信息，第一指示信息用于指示调节两个目标子光场的视差，确定单元具体用于：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；根据两个目标子光场的视差从场景的光场确定两个目标子光场。

通过改变两个目标子光场的视差，从而改变双目立体图像的立体效果。

在一个可行的实施例中，反馈信息包括第二指示信息，第二指示信息用于指示调节子光场的尺寸，确定单元具体用于：

根据第二指示信息从场景的光场中确定两个目标子光场；

其中，当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。

在一个可行的实施例中，反馈信息包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，确定单元具体用于：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；从调节后的光场中确定两个目标子光场。

在一个可行的实施例中，反馈信息包括第一指示信息和第二指示信息，第一指示信息用于指示调节两个目标子光场的视差，第二指示信息用于指示调节子光场的尺寸，确定单元具体用于：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据两个目标子光场的视差和第二指示信息从场景的光场确定两个目标子光场；当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。

在一个可行的实施例中，反馈信息还包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，在根据第二指示信息和两个目标子光场的视差从场景的光场中确定两个目标子光场的方面，确定单元具体用于：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据第二指示信息和两个目标子光场的视差从调节后的光场中确定出两个目标子光场。

在一个可行的实施例中，反馈信息包括第二指示信息和第三指示信息，第二指示信息用于指示调节子光场的大小，第三指示信息用于指示调节光场的聚焦深度，确定单元具体用于：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；

根据第二指示信息和两个目标子光场的中心视点从调节后的光场中确定出两个目标子光场；当第二指示信息用于指示增大子光场时，两个目标子光场大于两个历史子光场；当第二指示信息用于指示减小子光场时，两个目标子光场小于两个历史子光场；其中，两个目标子光场的视差与两个历史子光场的视差相同。

在一个可行的实施例中，反馈信息包括第一指示信息和第三指示信息，第一指示信息用于指示调节两个目标子光场的视差，第三指示信息用于指示调节光场的聚焦深度，确定单元具体用于：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据两个目标子光场的视差和调节后的光场确定两个目标子光场。

在一个可行的实施例中，渲染单元具体用于：

对两个目标子光场进行角度维积分，得到双目立体图像。

第三方面，本申请实施例还提供一种VR内容处理装置，包括：

存储器和与该存储器耦合的处理器，其中，存储器中存储有指令，当处理器执行该指令时，执行如第一方面中的部分或者全部。

第四方面，本申请实施例提供一种芯片系统，该芯片系统应用于电子设备；芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面所述方法的部分或全部。

第五方面，本申请实施例提供一种计算机可读存储介质，该计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述方法的部分或全部。

第六方面，本申请实施例提供一种计算机程序产品，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如第一方面所述方法的部分或全部。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为视差产生原理示意图；

图1b示意出了场景深度与视差的几何关系；

图2示意出了深度与模糊核半径之间的关系；

图3示意出了用户观看双目立体内容的舒适度与场景视差和场景频率的关系；

图4a为本申请实施例提供的一种应用场景示意图；

图4b为本申请实施例提供的另一种应用场景示意图；

图4c为本申请实施例提供的另一种应用场景示意图；

图5为本申请实施例提供的一种VR内容处理方法的流程示意图；

图6a为本申请实施例提供的一种对极平面图；

图6b示意出了不同视差下的双目显示效果；

图7a示意出了目标子光场和历史子光场；

图7b示意出了目标子光场对应的双目图像和历史子光场对应的双目图像；

图8示意出了聚焦深度调节前后的光场的对极平面图；

图9示意出了在不同视差、不同聚焦深度和不同大小的光场下双目立体图像；

图10为本申请实施例提供的一种产品示意图；

图11为本申请实施例提供的另一种VR内容处理装置的结构示意图；

图12为本申请实施例提供的另一种VR内容处理装置的结构示意图；

图13为本申请实施例提供的一种VR内容处理装置的结构示意图。

具体实施方式

下面结合附图对本申请的实施例进行描述。

首先介绍与本申请相关的技术原理。

视觉心理学研究表明，用户观看双目立体内容的舒适度与场景视差和场景频率相关，如图3所示，具体而言，视差越大、场景频率越高，用户观看的舒适度越低。信号处理领域的研究表明，针对相同场景，若双目图像中的模糊区域越少，模糊半径越小，则其场景频率越高。

光场成像原理：光场是三维空间中光线的集合，研究人员最早使用全光函数L(x,y,z,θ,φ,λ,t)对光场进行描述，其中(x,y,z)表示光源的空间位置，(θ,φ)为光线的传播方向，λ为光线的波长，t为时间。在假设光线强度不随时间衰减的前提下，Levoy等人提出使用双平面模型对光场进行表示，并使用四维函数LF(u,v,x,y)对七维函数进行简化，其中(u,v)与(x,y)分别为光线穿过视点与图像平面的交点。

给定四维光场，其图像平面的成像强度I为光场在角度维的积分，即：

可通过对四维光场进行剪切(shearing)操作，改变薄透镜模型中的传感器到薄透镜的距离，实现数字重聚焦(digital refocus)，即

LF_d(u,v,x,y)＝LF₀(u,v,x+du,y+dv)

其中，d为聚焦深度对应的视差。

下面本申请涉及的系统架构进行介绍。

参见图4a，图4a为本申请实施例提供的一种系统架构示意图。如图4a所示，该系统架构包括VR拍摄设备401、服务器402和VR显示设备403；

其中，上述VR拍摄设备401为带有至少两个摄像头的VR设备，可以针对同一拍摄场景拍摄得到至少两张图像；上述VR拍摄识别401可以为双目摄像头、三目摄像头或者其他多目摄像头；

服务器402用来接收、处理和存储数据；

VR显示设备403为用于显示VR内容的终端设备，包括头戴式VR设备，比如VR眼镜等。

VR拍摄设备401采集得到至少两张图像后，将至少两张图像发送至服务器402，服务器402根据用户的反馈信息按照本申请的方式对至少两张图像进行处理，得到双目立体图像，上述用户的反馈信息是针对历史双目立体图像反馈的；服务器402将双目立体图像发送至VR显示设备403，VR显示设备403显示双目立体图像；VR显示设备403同时获取用户针对当前显示的双目立体图像的反馈信息。

在一个可选的实施例中，参见图4b，图4b示意出了另一种系统架构。如图4b所示，该系统架构包括第一VR终端设备405和服务器402；其中第一VR终端设备405具有图4a所示的架构中VR拍摄设备401和VR显示设备403的功能；第一VR终端设备405具有至少两个摄像头，或者可以是第一VR终端设备405包括多目摄像头，比如双目摄像头、三目摄像头等；

第一VR终端设备405采集得到至少两张图像后，将至少两张图像及用户的反馈信息发送至服务器402，服务器402根据用户的反馈信息按照本申请的方式对至少两张图像进行处理，得到双目立体图像，上述用户的反馈信息是针对历史双目立体图像反馈的；服务器402将处理后的VR内容发送至第一VR终端设备403，VR显示设备403显示双目立体图像；第一VR终端设备403同时获取用户针对当前显示的双目立体图像的反馈信息。

在一个可选的实施例中，参见图4c，图4c示意出了另一系统架构。如图4c所示，该系统架构包括VR拍摄设备401及第二VR终端设备406；

VR拍摄设备401采集得到至少两张图像后，将至少两张图像发送至第二VR终端设备406，第二VR终端设备406根据用户的反馈信息按照本申请的方式对至少两张图像进行处理，得到双目立体图像，上述用户的反馈信息是针对历史双目立体图像反馈的，并用于指示第二VR终端设备406对视差和/或聚焦深度进行调节；第二VR终端设备406显示双目立体图像；第二VR终端设备406同时获取用户针对当前显示的双目立体图像的反馈信息；换言之，图4c所示的系统架构与图4a所示系统架构相比，第二VR终端设备406具有服务器402和VR显示设备403的功能，或者第二VR终端设备406是将服务器402和VR显示设备403集成在一起得到的。

下面介绍上述服务器402和第二VR终端设备406如何基于用户的反馈信息对至少两张图像进行处理，得到双目立体图像。

参见图5，图5为本申请实施例提供的一种VR内容显示方法的流程示意图。如图5所示，该方法包括：

S501、获取M张第一图像，该M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到的，M为大于1的整数。

S502、根据M张第一图像重建场景的光场。

在一个可行的实施例中，根据M张第一图像及M个第一视点的内参矩阵构建场景的光场，包括：

根据M张第一图像获取M-1个图像对，该M-1个图像对中每个图像对中包括参考图像和第二图像，该参考图像为M张第一图像中的任一图像，M-1个图像对中的第二图像分别为M张第一图像中除了参考图像之外的M-1张第一图像；根据M-1个图像对及M个第一视点的内参矩阵、及M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多平面图像(multiplane images，MPI)，该参考视点为拍摄参考图像的摄像头对应的视点；，其中，M个第一视点与所述M个摄像头一一对应，M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，参考视点为M个第一视点中任一视点，M-1个第一视点为M个第一视点中除了参考视点之外的视点；根据参考视点的MPI构建场景的光场，该场景的光场包括M张第一图像。

其中，M个第一视点与M个摄像头一一对应，M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵。

在此需要指出的是，在拍摄场景中，M个摄像头所处的位置不一样，M个摄像头可以看成M个不同的视点，因此M个摄像头中每个摄像头的内参矩阵可以看成与该摄像头对应视点的内参矩阵。

可选地，上述第一视点的内参矩阵为3*3的矩阵。

可选地，根据M-1个图像对及M个第一视点的内参矩阵、及M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的MPI，包括：

根据M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点内参矩阵得到该图像对的平面扫描图像体(planesweep volume，PSV)，该图像对的PSV的尺寸为H*W*N，H和W分别为第二图像的高和宽，N为场景的深度分辨率；第二视点为拍摄得到参考图像的摄像头对应的视点，第三视点为拍摄得到第二图像的摄像头对应的视点；根据M-1个图像对的PSV和参考图像得到参考视点的PSV，参考视点的PSV的尺寸为H*W*((M-1)*N+1)；根据参考视点的PSV得到第一三维体和第二三维体，第一三维体用于记录RGB信息，第二三维体用于记录透明度信息，参考视点的MPI包括第一三维体和第二三维体。

可选地，根据参考视点的MPI构建场景的光场，包括：

获取多个第四视点中每个第四视点的内参矩阵及该视点的图像相对于参考图像的旋转矩阵和平移矩阵；根据参考视点的MPI、参考视点的内参矩阵和多个第四视点中每个第四视点的内参矩阵及该视点的图像相对于参考图像的旋转矩阵和平移矩阵得到该第四视点的图像，其中，场景的光场包括M张第一图像和多个第四视点的图像。

具体地，从M张第一图像中选择任一张图像作为参考图像，根据该参考图像及M-1张第一图像构建M-1个图像对，M-1个图像对中每个图像对包括参考图像和第二图像，其中，M-1个图像对中的第二图像分别为上述M-1张图像；对于M-1个图像对中的每个图像对，获取该图像对中的参考图像到第二图像的外参旋转矩阵和平移矩阵，可选地，该旋转矩阵的尺寸为3*3，平移矩阵的尺寸为3*1；根据M个图像对中每个图像对中的参考图像到第二图像的旋转矩阵及平面矩阵、拍摄参考图像的摄像头的参矩阵和拍摄该第二图像的摄像头的内参矩阵构建该图像对的PSV，该图像对的PSV是一个三维体，其尺寸为H*W*N，其中，H和W分别为第二图像的高和宽，N为场景的深度分辨率；可选地，N可以为32、64、128或者其他值。PSV中的每个元素均为三通道的RGB值；假设该图像对中的参考图像和第二图像分别表示为I₁和I₂，则该图像对的PSV的构建可以用如下公式描述：

PSV(x,y,i)＝I₂(x′,y′),i∈[1,N]

其中，PSV(x,y,i)为PSV中第i层图像中坐标为(x,y)的像素点的像素值，I₂(x′,y′)为上述图像对中的第二图像中坐标为(x′,y′)的像素点的像素值，K₁和K₂分别为拍摄上述图像对中参考图像和第二图像的摄像头的内参矩阵；

为K₁的逆矩阵，R和t为上述旋转矩阵和平移矩阵，d_i为PSV中第i层的场景深度值；Z_x′y′为缩放系数。

按照上述方法，对于M-1个图像对，可以获取M-1个PSV，并且该M-1个PSV中每个PSV的尺寸均为H*W*N，根据该M-1个PSV及参考图像得到参考视点的PSV，该参考视点的PSV的尺寸为H*W*((M-1)*N+1)，参考图像为该参考视点的PSV的第(M-1)*N+1层；

根据参考视点的PSV得到参考视点的MPI，参考视点的MPI包括尺寸均为H*W*N的第一三维体和第二三维体，其中第一三维体和第二三维体分别记录3通道的RGB信息和1通道的透明度信息；可选地，通过调用U型神经网络，将参考视点的PSV输入到U型神经网络进行处理，得到上述第一三维体和第二三维体；其中，U型神经网络执行的卷积操作是3D卷积操作；其中，第一三维体和第二三维体的尺寸分别为H*W*(M-1)*N；

在得到参考视点的MPI的基础上，给定任意视点的内参矩阵K_s及该视点相对于参考视点的外参旋转矩阵R_s和平移矩阵t_s，可以合成上述给定任意视角的图像I_s。

其中，I_s(x,y)为图像I_s中坐标为(x,y)的像素点的像素值，C(x′,y′,j)为上述第二三维体的第j层图像中坐标为(x′,y′)的像素点的像素值；α(x′,y′,j)为上述第二三维体的第j层图像中坐标为(x′,y′)的像素点的像素值，α(x′,y′,k)为上述第二三维体的第k层图像中坐标为(x′,y′)的像素点的像素值，d_j为第j层的场景深度值。

针对上述场景中的不同视点，均可以按照上述方法得到这些视点的图像，进而构建场景的光场，实现了基于有限视点的图像构建场景的光场。

S503、根据反馈信息从场景的光场中确定出两个目标子光场。

其中，该反馈信息是用户根据历史双目立体图像产生的，具体是指用户在观看历史双目立体图像时，发现历史双目立体图像立体感较差，或者感觉眼睛很疲劳，用户想后续观看的到的双目立体图像立体感较好，或者不会使眼睛疲劳，用户就会向VR内容处理装置反馈信息，该反馈信息用于指示VR内容处理装置对后续VR内容进行适应的处理，从而得到用户想观看的双目立体图像。

在一个可行的实施例中，反馈信息包括第一指示信息，第一指示信息用于指示调节两个目标子光场的视差，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；根据两个目标子光场的视差从场景的光场确定两个目标子光场。

具体地，获取两个历史子光场的中心视点(u0,v)和(u1,v)；根据第一指示信息和中心视点(u0,v)和(u1,v)得到两个目标子光场的中心视点(u0’,v)和(u1’,v)；当第一指示信息用于指示增大视差时，|u0-u1|小于|u0’-u1’|；当第一指示信息用于指示减小视差时，|u0-u1|大于|u0’-u1’|；然后根据预设的聚焦深度对场景的光场的聚焦深度进行调节，得到调节后的光场；最后根据两个目标子光场的中心视点(u0’,v)和(u1’,v)和子光场的预设尺寸从调节后的光场中确定出两个目标子光场，两个目标子光场的尺寸为预设尺寸。

在一个可行的实施例中，反馈信息包括第二指示信息，第二指示信息用于指示调节子光场的尺寸，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第二指示信息从场景的光场中确定两个目标子光场；

其中，当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。通过调节光场的尺寸从而改变双目立体图像的模糊程度，从而达到缓解用户的视觉疲劳的目的。

具体地，按照预设视差确定两个目标子光场的中心视点，然后基于根据预设的聚焦深度对场景的光场的聚焦深度进行调节，得到调节后的光场；最后根据两个目标子光场的中心视点和第二指示信息从调节后的光场中确定出两个目标子光场。

在一个可行的实施例中，反馈信息包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；从调节后的光场中确定两个目标子光场。

具体地，按照预设视差确定两个目标子光场的中心视点，然后基于第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；最后根据两个目标子光场的中心视点和子光场的预设尺寸从调节后的光场中确定出两个目标子光场。

在一个可行的实施例中，反馈信息包括第一指示信息和第二指示信息，第一指示信息用于指示调节两个目标子光场的视差，第二指示信息用于指示调节子光场的尺寸，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据两个目标子光场的视差和第二指示信息从场景的光场确定两个目标子光场；当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。

具体地，获取两个历史子光场的中心视点(u0,v)和(u1,v)；根据第一指示信息和中心视点(u0,v)和(u1,v)得到两个目标子光场的中心视点(u0’,v)和(u1’,v)；当第一指示信息用于指示增大视差时，|u0-u1|小于|u0’-u1’|；当第一指示信息用于指示减小视差时，|u0-u1|大于|u0’-u1’|；然后根据预设的聚焦深度对场景的光场的聚焦深度进行调节，得到调节后的光场；最后根据两个目标子光场的中心视点(u0’,v)和(u1’,v)和第二指示信息从调节后的光场中确定出两个目标子光场。

在一个可行的实施例中，反馈信息还包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，根据第二指示信息和两个目标子光场的视差从场景的光场中确定两个目标子光场，包括：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据第二指示信息和两个目标子光场的视差从调节后的光场中确定出两个目标子光场。

通过调节两个目标子光场大小、视差和聚焦深度，从而可根据用户的需求你缓解用户的视觉疲劳和改变双目立体图像的立体效果。

在一个可行的实施例中，反馈信息包括第二指示信息和第三指示信息，第二指示信息用于指示调节子光场的大小，第三指示信息用于指示调节光场的聚焦深度，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；

根据第二指示信息和两个目标子光场的中心视点从调节后的光场中确定出两个目标子光场；当第二指示信息用于指示增大子光场时，两个目标子光场大于两个历史子光场；当第二指示信息用于指示减小子光场时，两个目标子光场小于两个历史子光场。

具体地，按照预设视差确定两个目标子光场的中心视点，然后基于第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；最后根据两个目标子光场的中心视点和第二指示信息从调节后的光场中确定出两个目标子光场。

在一个可行的实施例中，反馈信息包括第一指示信息和第三指示信息，第一指示信息用于指示调节两个目标子光场的视差，第三指示信息用于指示调节光场的聚焦深度，根据用户的反馈信息从场景的光场确定两个目标子光场，包括：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据两个目标子光场的视差和调节后的光场确定两个目标子光场。

具体地，获取两个历史子光场的中心视点(u0,v)和(u1,v)；根据第一指示信息和中心视点(u0,v)和(u1,v)得到两个目标子光场的中心视点(u0’,v)和(u1’,v)；当第一指示信息用于指示增大视差时，|u0-u1|小于|u0’-u1’|；当第一指示信息用于指示减小视差时，|u0-u1|大于|u0’-u1’|；然后根据第三知识信息对场景的光场的聚焦深度进行调节，得到调节后的光场；最后根据两个目标子光场的中心视点(u0’,v)和(u1’,v)和子光场的预设尺寸从调节后的光场中确定出两个目标子光场，两个目标子光场的尺寸为预设尺寸。

通过调节两个目标子光场的中心视点的视差和聚焦深度，从而调节双目立体图像的立体效果和缓解用户的视觉疲劳。

在此需要指出的是，预设的视差可以为历史双目立体图像的视差，也可以是认为设定的；子光场的预设尺寸可以为历史双目立体图像对应子光场的尺寸，也可以是人为设定的；预设的聚焦深度可以为历史双目立体图像对应子光场的尺寸，也可以是人为设定的。

下面对视差、聚焦深度及尺寸调节进行综合说明。当然，对视差、聚焦深度及尺寸调节每一部分的具体实现过程都可以参见对应部分的描述。

具体地，获取两个历史子光场的中心视点(u0,v)和(u1,v)；根据第一指示信息和中心视点(u0,v)和(u1,v)得到两个目标子光场的中心视点(u0’,v)和(u1’,v)；当第一指示信息用于指示增大视差时，|u0-u1|小于|u0’-u1’|；当第一指示信息用于指示减小视差时，|u0-u1|大于|u0’-u1’|；根据第二指示信息和两个目标子光场的中心视点从场景的光场中确定两个目标子光场；当第二指示信息用于指示增大子光场时，两个目标子光场大于两个历史子光场；当第二指示信息用于指示减小子光场时，两个目标子光场小于两个历史子光场。

具体地，为了使用户在使用VR设备时获得沉浸式的立体感受，会给用户的左右眼提供具有视差的图像；其中，视差越大，立体感受越深刻，但是视差越大，场景的频率也越高，从而导致用户的观看舒适度降低，因此用户为了提高观看舒适度，可控制VR设备调节提供给左右眼图像的视差，由于提供给左右眼的图像的视差与本实施中子光场的中心视点之间的视差相关，因此可以根据用户的第一指示信息对场景的光场进行两次切片操作，得到两个目标子光场的中心视点；其中，切片公式为：

I_u′,v′＝LF₀(u′,v′,x,y)

其中，将光场的角度维(u,v)确定为(u’,v’)后，得到切片后的图像I_u’v’，LF0(u’,v’,x,y)为原始光场索引编号为(u,v,x,y)处光线的强度。

根据用户的第一指示信息对场景的光场进行两次切片操作，得到两个目标子光场的中心视点，包括：获取两个历史子光场的中心视点(u0,v)和(u1,v)，根据第一指示信息和两个历史子光场的中心视点(u0,v)和(u1,v)得到两个目标子光场的中心视点(u0’,v)和(u1’,v)；其中，当用户感觉观看舒适度降低时，用户的第一指示信息用于指示减小两个目标子光场的中心视点之间的视差，|u0-u1|大于|u0’-u1’|；当用户想提高立体感受时，用户的第一指示信息用于指示增大两个目标子光场的中心视点之间的视差，|u0-u1|小于|u0’-u1’|；如图6a所示的对极平面图(epipolarplane image,EPI)，其中的灰色线为历史子光场的中心视点，黑色线为目标子光场的中心视点。双目相机拍摄得到的双目图片等价于对场景的光场进行两次切片得到两个中心视点的图像，图6b中的左右图分别为不同视差下的双目显示效果，左图为原始双目图像的立体效果图，可以看到前景莲花的视差较小，右图为视差增强后的立体效果图，可以看到前景莲花的视差增大。

可选地，|u0+u1|与|u0’+u1’|可以相等，也可以不相等；|u0-u0’|与|u1-u1’|可以相等，也可以不相等。

由于针对相同场景，若双目图像中模糊区域越少，模糊核半径越小，则场景频率越高，并且改变模糊核半径本质是改变子光场的大小，模糊核半径越大，子光场越大，因此用户为了得到较高的观看舒适度，用户可以控制VR设备调节子光场的大小；在得到上述目标子光场的中心视点后，根据第二指示信息和两个目标子光场的中心视点从场景的光场中确定两个目标子光场；当第二指示信息用于增大子光场时，两个目标子光场大于两个历史子光场，如图7a所示，在EPI中，历史子光场小于目标子光场；如图7b所示，双目图像均聚焦于背景，由于历史子光场小于目标子光场，因此目标子光场对应的双目图像中的莲花比历史子光场对应的双目图像中的莲花模糊；当第二指示信息用于减小子光场时，两个目标子光场小于两个历史子光场。

在一个可选的实施例中，为了进一步提高用户的观看舒适度，反馈信息还包括第三指示信息，该第三指示信息用于指示调节场景的光场的聚焦深度，在确定两个目标子光场的中心视点后，根据用户的第三指示信息调节场景的光场的聚焦深度，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于调节前的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于调节前的光场的聚焦深度；

具体通过以下剪切公式来调节光场的聚焦深度：

LF_d(u,v,x,y)＝LF₀(u,v,x+du,y+dv)

其中，d为所需要聚焦深度对应的视差，可以为用户预先设置的视差，也可为默认视差，u,v与x,y分别为光场中光线的角度与空间索引，LF0(u,v,x,y)为调节前的光场索引编号为(u,v,x,y)处光线的强度，LFd为聚焦深度调节后的光场。在进行聚焦深度调节后，聚焦深度为调节前的光场中视差为d的深度。利用该公式对光场进行剪切，可以使得聚焦深度对应的视差为0，位于聚焦深度前方的点为正视差，位于聚焦深度后方的点为负视差。聚焦深度调节前后的光场的对极平面图如图8所示，图8中的a图中的三张图从上到下分别为聚焦于无穷远、背景以及前景时光场的EPI表示，图8中的b图为基于调节前的光场的渲染结果图，此时聚焦于无穷远深度，故场景中所有像素均存在离焦模糊。通过聚焦深度调节，使光场聚焦于背景所在深度，如图8中的c图所示，此时背景清晰，而前景仍然存在离焦模糊。还可以通过聚焦深度调节将光场聚焦于前景所在深度，如图8中的d图所示，此时前景清晰，而背景出现离焦模糊。

在对上述场景的光场进行聚焦深度调节得到调节后的光场后，根据第二指示信息和两个目标子光场的中心视点从调节后的光场中确定出两个目标子光场，具体过程参见上述相关描述，在此不再叙述。

S504、对两个目标子光场进行渲染，得到双目立体图像

可选地，对两个目标子光场进行渲染，得到双目立体图像，包括：

对两个目标子光场进行角度维积分，得到双目立体图像。

其中，积分公式为：

在此需要说明的是，调节光场的大小和对光场进行角度维积分可以统称为离焦模糊渲染。

如图9所示，第一行为聚焦于不同深度时光场在EPI上的图示，第一列为不同孔径下的子光场在EPI上的图示，两条横向线条附近的阴影区域分别为大/小光圈(对应大孔径/小孔径)的子光场，第二行和第三行的第二列和第三列分别为光场聚焦于不同深度时的离焦渲染得到的双目立体图像。如图9中第二行第一列的子图所示，横向线条表示目标子光场的中心视点，横向线条附件的阴影区域为中心视点的邻域，也就是子光场，此时根据第三指示信息对两个子光场分别进行剪切操作，进而调节子光场的聚焦深度。随用利用上述积分公式实现离焦模糊的渲染。图9第中第二行第二列的和中第二行第三列的子图分别为聚焦背景与前景时的双目立体图像。图9第三行为小孔径对应的离焦模糊渲染结果。

对比第二列和第三列可以看到，由于子光场的聚焦深度发生了改变，第二行第二列的聚焦深度为背景，此时椅子处清晰而莲花处模糊，而第二行第三列的聚焦深度为前景的莲花，此时椅子模糊而莲花清晰。对比第二行和第三行可以看到，由于光圈的孔径发生了改变，子光场的大小发生了变化，第二列的第二、三行虽然都聚焦于背景区域，但由于孔径不同，导致前景的模糊范围不同，第二列第二行的孔径大，子光场大，因此前景莲花的模糊更大，而第二列第三行的孔径小，子光场小，因此前景莲花的模糊范围更小。

对于如何产生反馈信息，参见图10，图10为本申请实施例提供的一种VR显示设备示意图。如图10所示，该显示设备的右侧设置有一调节旋钮，该调节旋钮可向外拔3层，不同层的旋钮对应不同的反馈信息，具体反馈信息如下：

向外拔一层，对应产生第一指示信息：此时旋转对应的是改变双目相机基线的距离，也就是两个子光场的中心视点之间的视差，通过顺时针或者逆时针旋转旋钮可实现增强或者减弱双目图像的立体效果，进而改变用户的观看舒适度；

向外拔两层，对应产生第三指示信息：此时旋转对应的是改变场景的聚焦深度，对应的效果是双眼看到的物体模糊度发生改变，即聚焦的区域没有模糊，离焦的区域出现模糊；

向外拔三层，对应产生第二指示信息：此时旋转对应的是改变光圈孔径的大小，通过顺时针或者逆时针旋转该旋钮改变光圈孔径的大小，进而增大或者减小子光场的大小，对应的效果是离焦区域模糊半径的改变。

在此需要指出的是，通过旋钮的方式产生反馈信息只是一个示例，当然还可以采用其他方式，比如滑动条、触控或虚拟界面等交互方式。

比如在VR显示设备的显示界面上显示多个虚拟按键图标，该多个虚拟按键图标对应的控制指令分别用于调节光场的视差、聚焦深度及大小；通过用户的手虚拟触控按键图标，从而指定该按键图标对应的控制指令，实现了基于虚拟界面的交互；再比如识用户不同的手势对应不同的控制指令(该控制指令可用于调节光场的视差、聚焦深度及大小)，在VR显示设备在识别到用户的手势时，VR显示设备执行该手势对应的控制指令。

可以看出，在本申请的实施例中，通过基于用户的反馈信息调节子光场之间的视差，从而实现不受双目采集设备基线距离的影响，用户可以基于自己的需求调整双目图像的立体效果，通过调节光场的聚焦深度，进而提高用户的观看舒适度；通过离焦模糊渲染技术能改变光圈孔径，从而缓解用户的视觉疲劳。如前所述，场景频率高是造成用户观看VR内容疲劳的最主要原因之一，在本申请中通过调节光圈孔径能降低用户不感兴趣深度区域的高频信息，只保留用户感兴趣深度区域的高频信息，故能降低用户的观看疲劳，同时能使VR体验更加真实。

在此需要指出的是，本申请的方案还可应用于自由视点视频及未来的光场电视/电影拍摄中。

参见图11，图11为本发明实施例提供的一种VR内容处理装置的结构示意图。如图11所示，该装置1100包括：

获取单元1101，用于获取M张第一图像，该M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，M为大于1的整数；

重建单元1102，用于根据M张第一图像重建场景的光场；

确定单元1103，用于根据用户的反馈信息从场景的光场确定两个目标子光场；反馈信息为用户根据历史双目立体图像产生的；

渲染单元1104，用于对两个目标子光场进行渲染，得到双目立体图像。

在一个可行的实施例中，重建单元1102具体用于：

根据M张第一图像获取M-1个图像对，M-1个图像对中每个图像对包括参考图像和第二图像，参考图像为M张第一图像中的任一图像，M-1个图像对中的第二图像分别为所M张第一图像中除了参考图像之外的M-1张第一图像；根据M-1个图像对及M个第一视点的内参矩阵、及M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI，其中，M个第一视点与所述M个摄像头一一对应，M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，参考视点为M个第一视点中任一视点，M-1个第一视点为M个第一视点中除了参考视点之外的视点；参考视点为拍摄参考图像的摄像头对应的视点；根据参考视点的MPI构建场景的光场。

在一个可行的实施例中，在根据M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的MPI的方面，重建单元1102具体用于：

根据M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点的内参矩阵得到该图像对的平面扫描体PSV；每个图像对的PSV的尺寸为H*W*N，H和W分别为第二图像的高和宽，N为场景的深度分辨率；第二视点为拍摄得到参考图像的摄像头对应的视点，第三视点为拍摄得到第二图像的摄像头对应的视点；根据M-1个图像对的PSV和参考图像得到参考视点的PSV，参考视点的PSV的尺寸为H*W*((M-1)*N+1)；根据参考视点的PSV得到第一三维体和第二三维体，第一三维体用于记录RGB信息，第二三维体用于记录透明度信息，参考视点的MPI包括第一三维体和第二三维体。

在一个可行的实施例中，在根据参考视点的MPI构建场景的光场的方面，重建单元1102具体用于：

获取多个第四视点中每个视点的内参矩阵，及该视点的图像相对于参考图像的旋转矩阵和平移矩阵；根据参考视点的MPI、参考视点的内参矩阵、多个第四视点中每个第四视点的内参矩阵，及该视点的图像相对于参考图像的旋转矩阵和平移矩阵得到该第四视点的图像；其中，场景的光场包括M张第一图像和多个第四视点的图像。

在一个可行的实施例中，反馈信息包括第一指示信息，第一指示信息用于指示调节两个目标子光场的视差，确定单元1103具体用于：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；根据两个目标子光场的视差从场景的光场确定两个目标子光场。

通过改变两个目标子光场的视差，从而改变双目立体图像的立体效果。

在一个可行的实施例中，反馈信息包括第二指示信息，第二指示信息用于指示调节子光场的尺寸，确定单元1103具体用于：

根据第二指示信息从场景的光场中确定两个目标子光场；

其中，当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。

在一个可行的实施例中，反馈信息包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，确定单元1103具体用于：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；从调节后的光场中确定两个目标子光场。

在一个可行的实施例中，反馈信息包括第一指示信息和第二指示信息，第一指示信息用于指示调节两个目标子光场的视差，第二指示信息用于指示调节子光场的尺寸，确定单元1103具体用于：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；根据两个目标子光场的视差和第二指示信息从场景的光场确定两个目标子光场；当第二指示信息用于指示增大子光场的尺寸时，两个目标子光场的尺寸均大于两个历史子光场的尺寸；当第二指示信息用于指示减小子光场的尺寸时，两个目标子光场的尺寸均小于两个历史子光场的尺寸。

在一个可行的实施例中，反馈信息还包括第三指示信息，第三指示信息用于指示调节光场的聚焦深度，在根据第二指示信息和两个目标子光场的视差从场景的光场中确定两个目标子光场的方面，确定单元1103具体用于：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据第二指示信息和两个目标子光场的视差从调节后的光场中确定出两个目标子光场。

在一个可行的实施例中，反馈信息包括第二指示信息和第三指示信息，第二指示信息用于指示调节子光场的大小，第三指示信息用于指示调节光场的聚焦深度，确定单元1103具体用于：

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；

根据第二指示信息和两个目标子光场的中心视点从调节后的光场中确定出两个目标子光场；当第二指示信息用于指示增大子光场时，两个目标子光场大于两个历史子光场；当第二指示信息用于指示减小子光场时，两个目标子光场小于两个历史子光场；其中，两个目标子光场的视差与两个历史子光场的视差相同。

在一个可行的实施例中，反馈信息包括第一指示信息和第三指示信息，第一指示信息用于指示调节两个目标子光场的视差，第三指示信息用于指示调节光场的聚焦深度，确定单元1103具体用于：

根据第一指示信息从场景的光场确定两个目标子光场的视差；当第一指示信息用于指示增大视差时，两个目标子光场的视差大于两个历史子光场的视差；当第一指示信息用于指示减小视差时，两个目标子光场的视差小于两个历史子光场的视差；

根据第三指示信息对场景的光场的聚焦深度进行调节，得到调节后的光场；当第三指示信息用于指示增大光场的聚焦深度时，调节后的光场的聚焦深度大于场景的光场的聚焦深度；当第三指示信息用于指示减小光场的聚焦深度时，调节后的光场的聚焦深度小于场景的光场的聚焦深度；根据两个目标子光场的视差和调节后的光场确定两个目标子光场。

在一个可行的实施例中，渲染单元1104具体用于：

对两个目标子光场进行角度维积分，得到双目立体图像。

需要说明的是，上述各单元(获取单元1101、重建单元1102、确定单元1103和渲染单元1104)用于执行上述方法的相关步骤。比如获取单元1101用于执行S501的相关内容，重建单元1102用于执行S502的相关内容，确定单元1103用于执行S1103的相关内容，渲染单元1104用于执行S504的相关内容。

在本实施例中，VR内容处理装置1100是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上获取单元1101、重建单元1102、确定单元1103和渲染单元1104可通过图11所示的VR内容处理装置的处理器1101来实现。

在此需要指出的是，VR内容处理装置1100可以为上述服务器402，还可以为上述第二VR终端设备406；当VR内容处理装置为上述第二VR终端设备406，VR内容处理装置还包括用于显示双目立体图像的显示单元。

如图12所示VR内容处理装置1200可以以图12中的结构来实现，该VR内容处理装置1200包括至少一个处理器1201，至少一个存储器1202、至少一个通信接口1204以及至少一个显示屏1203。所述处理器1201、所述存储器1202、显示屏1203及所述通信接口1204通过所述通信总线连接并完成相互间的通信。

处理器1201可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。

显示屏1203可以是LCD显示屏、LED显示屏、OLED显示屏、3D显示屏或者其他显示屏。

通信接口1204，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。

存储器1202可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，所述存储器1202用于存储执行以上方案的应用程序代码，并由处理器1201来控制执行，并将处理结果在显示屏1203上显示。所述处理器1201用于执行所述存储器1202中存储的应用程序代码。

存储器1202存储的代码在被处理器1201执行时，处理器1201可执行以上提供的任一种VR内容处理方法，比如：获取M张第一图像，该M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，M为大于1的整数；并获取M个第一视点的内参矩阵，M个第一视点与M个摄像头一一对应，M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵；根据M张第一图像和M个第一视点的内参矩阵重建场景的光场；根据用户的反馈信息从场景的光场确定两个目标子光场；反馈信息为用户根据历史双目立体图像产生的；对两个目标子光场进行渲染，得到双目立体图像。

可选地，该VR内容处理装置1200还包括调节旋钮1205，处理器1201根据用户的反馈信息从场景的光场确定两个目标子光场之前，获取用户针对历史双目图像而旋转调节旋钮1025的操作信息，并根据该操作信息生成用户的反馈信息；其中，该调节旋钮1205包括三级旋钮挡，上述用户反馈信息包括第一指示信息、第二指示信息和第三指示信息，其中，第一指示信息用于指示调节两个目标子光场的视差，第二指示信息用于指示调节目标子光场的聚焦深度，第三指示信息用于指示调节目标子光场的大小；两个目标子光场用于生成双目立体图像；

在处理器1201根据操作信息生成用户的反馈信息的方面，处理器1201具体执行如下步骤：当操作信息指示用户在第一级旋转档旋调节旋钮1205时，处理器1201根据操作信息生成第一指示信息；当操作信息指示用户在第二级旋转档旋调节旋钮1205时，处理器1201根据操作信息生成第二指示信息；当操作信息指示用户在第三级旋转档旋调节旋钮1205时，处理器1201根据操作信息生成第三指示信息。

如图10所示，该VR内容处理装置1200的右侧设置有一调节旋钮1205，该调节旋钮1205可向外拔3层，不同层的旋钮对应不同的反馈信息，具体反馈信息如下：

向外拔一层，对应产生第一指示信息：此时旋转对应的是改变双目相机基线的距离，也就是两个子光场的中心视点之间的视差，通过顺时针或者逆时针旋转旋钮可实现增强或者减弱双目图像的立体效果，进而改变用户的观看舒适度；

向外拔两层，对应产生第三指示信息：此时旋转对应的是改变场景的聚焦深度，对应的效果是双眼看到的物体模糊度发生改变，即聚焦的区域没有模糊，离焦的区域出现模糊；

向外拔三层，对应产生第二指示信息：此时旋转对应的是改变光圈孔径的大小，通过顺时针或者逆时针旋转该旋钮改变光圈孔径的大小，进而增大或者减小子光场的大小，对应的效果是离焦区域模糊半径的改变。

当然，VR内容处理装置1200的调节旋钮1305可以替换成三个相互独立的旋钮，用户对该三个旋钮进行操作时，可分别产生上述三个指示信息(包括第一指示信息、第二指示信息和第三指示信息)。

在此需要指出的是，通过旋钮的方式产生反馈信息只是一个示例，当然还可以采用其他方式，比如滑动条、触控或虚拟界面等交互方式。

在此需要说明的是，上述VR内容处理装置1200可以看成图4c中的第二VR终端设备406。

参见图13，图13为本申请实施例提供的一种VR显示终端的结构示意图。如图13所示，该VR显示终端1300包括至少一个处理器1301，至少一个存储器1302、至少一个通信接口1304、至少一个显示屏1303和至少一个调节旋钮1305。处理器1301、存储器1302、显示屏1303、调节旋钮1305及通信接口1303通过通信总线连接并完成相互间的通信。

处理器1301可以是CPU，微处理器，ASIC，或一个或多个用于控制以上方案程序执行的集成电路。

显示屏1303可以是LCD显示屏、LED显示屏、OLED显示屏、3D显示屏或者其他显示屏。

通信接口1304，用于与其他设备或通信网络通信，如以太网，RAN，WLAN等。

存储器1302可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，显示屏1303用于显示历史双目立体图像，存储器1302用于存储执行以上方案的应用程序代码，并由处理器1301来控制执行，以实现如下方法，比如：获取用户针对历史双目立体图像而旋转调节旋钮的操作信息，根据操作信息生成用户的反馈信息。

其中，该调节旋钮1305包括三级旋钮挡，上述用户反馈信息包括第一指示信息、第二指示信息和第三指示信息，其中，第一指示信息用于指示调节两个目标子光场的视差，第二指示信息用于指示调节目标子光场的聚焦深度，第三指示信息用于指示调节目标子光场的大小；两个目标子光场用于生成双目立体图像；

在处理器1301根据操作信息生成用户的反馈信息的方面，处理器1301具体执行如下步骤：当操作信息指示用户在第一级旋转档旋调节旋钮1305时，处理器1301根据操作信息生成第一指示信息；当操作信息指示用户在第二级旋转档旋调节旋钮1305时，处理器1301根据操作信息生成第二指示信息；当操作信息指示用户在第三级旋转档旋调节旋钮1305时，处理器1301根据操作信息生成第三指示信息。

当然，VR显示终端1300的调节旋钮1305可以替换成三个相互独立的旋钮，用户对该三个旋钮进行操作时，可分别产生上述三个指示信息(包括第一指示信息、第二指示信息和第三指示信息)。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种VR内容处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、ROM、RAM、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (40)

1.一种基于光场的虚拟现实VR内容处理方法，其特征在于，包括：

获取M张第一图像，所述M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，所述M为大于1的整数；

根据所述M张第一图像重建所述场景的光场；

根据用户的反馈信息从所述场景的光场确定两个目标子光场；所述反馈信息为用户根据历史双目立体图像产生的；

对所述两个目标子光场进行渲染，得到双目立体图像。

2.根据权利要求1所述的方法，其特征在于，所述反馈信息包括第一指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述根据用户的反馈信息从所述场景的光场确定两个目标子光场，包括：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述两个目标子光场的视差从所述场景的光场确定所述两个目标子光场。

3.根据权利要求1所述的方法，其特征在于，所述反馈信息包括第二指示信息，所述第二指示信息用于指示调节子光场的尺寸，所述根据用户的反馈信息从所述场景的光场确定两个目标子光场，包括：

根据所述第二指示信息从所述场景的光场中确定所述两个目标子光场；

其中，当所述第二指示信息用于指示增大子光场的尺寸时，所述两个目标子光场的尺寸均大于所述两个历史子光场的尺寸；当所述第二指示信息用于指示减小子光场的尺寸时，所述两个目标子光场的尺寸均小于所述两个历史子光场的尺寸。

4.根据权利要求1所述的方法，其特征在于，所述反馈信息包括第三指示信息，所述第三指示信息用于指示调节光场的聚焦深度，所述根据用户的反馈信息从所述场景的光场确定两个目标子光场，包括：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述调节后的光场中确定所述两个目标子光场。

5.根据权利要求1所述的方法，其特征在于，所述反馈信息包括第一指示信息和第二指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述第二指示信息用于指示调节子光场的尺寸，所述根据用户的反馈信息从所述场景的光场确定两个目标子光场，包括：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述两个目标子光场的视差和所述第二指示信息从所述场景的光场确定所述两个目标子光场；当所述第二指示信息用于指示增大子光场的尺寸时，所述两个目标子光场的尺寸均大于所述两个历史子光场的尺寸；当所述第二指示信息用于指示减小子光场的尺寸时，所述两个目标子光场的尺寸均小于所述两个历史子光场的尺寸。

6.根据权利要求5所述的方法，其特征在于，所述反馈信息还包括第三指示信息，所述第三指示信息用于指示调节光场的聚焦深度，所述根据所述第二指示信息和所述两个目标子光场的视差从所述场景的光场中确定所述两个目标子光场，包括：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述第二指示信息和所述两个目标子光场的视差从所述调节后的光场中确定出所述两个目标子光场。

7.根据权利要求1所述的方法，其特征在于，所述反馈信息包括第二指示信息和第三指示信息，所述第二指示信息用于指示调节子光场的大小，所述第三指示信息用于指示调节光场的聚焦深度，所述根据用户的反馈信息从所述场景的光场确定两个目标子光场，包括：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述第二指示信息和所述两个目标子光场的中心视点从所述调节后的光场中确定出所述两个目标子光场；当所述第二指示信息用于指示增大子光场时，所述两个目标子光场大于所述两个历史子光场；当所述第二指示信息用于指示减小子光场时，所述两个目标子光场小于所述两个历史子光场；

其中，所述两个目标子光场的视差与所述两个历史子光场的视差相同。

8.根据权利要求1所述的方法，其特征在于，所述反馈信息包括第一指示信息和第三指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述第三指示信息用于指示调节光场的聚焦深度，所述根据用户的反馈信息从所述场景的光场确定两个目标子光场，包括：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述两个目标子光场的视差和所述调节后的光场确定所述两个目标子光场。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述根据所述M张第一图像重建所述场景的光场，包括：

根据所述M张第一图像获取M-1个图像对，所述M-1个图像对中每个图像对包括参考图像和第二图像，所述参考图像为所述M张第一图像中的任一图像，所述M-1个图像对中的第二图像分别为所述M张第一图像中除了所述参考图像之外的M-1张第一图像；

根据所述M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI；所述参考视点为拍摄所述参考图像的摄像头对应的视点；其中，所述M个第一视点与所述M个摄像头一一对应，所述M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，所述参考视点为所述M个第一视点中任一视点，所述M-1个第一视点为所述M个第一视点中除了所述参考视点之外的视点；

根据参考视点的MPI构建所述场景的光场。

10.根据权利要求9所述的方法，其特征在于，所述根据所述M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI，包括：

根据所述M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点的内参矩阵得到该图像对的平面扫描体PSV；所述每个图像对的PSV的尺寸为H*W*N，所述H和W分别为所述第二图像的高和宽，所述N为所述场景的深度分辨率；所述第二视点为拍摄得到所述参考图像的摄像头对应的视点，所述第三视点为拍摄得到所述第二图像的摄像头对应的视点；

根据所述M-1个图像对的PSV和所述参考图像得到所述参考视点的PSV，所述参考视点的PSV的尺寸为H*W*((M-1)*N+1)；

根据所述参考视点的PSV得到第一三维体和第二三维体，所述第一三维体用于记录RGB信息，所述第二三维体用于记录透明度信息，所述参考视点的MPI包括所述第一三维体和所述第二三维体。

11.根据权利要求9或10所述的方法，其特征在于，所述根据参考视点的MPI构建所述场景的光场，包括：

获取多个第四视点中每个视点的内参矩阵，及该视点的图像相对于所述参考图像的旋转矩阵和平移矩阵；

根据所述参考视点的MPI、所述参考视点的内参矩阵、多个第四视点中每个第四视点的内参矩阵，及该视点的图像相对于所述参考图像的旋转矩阵和平移矩阵得到该第四视点的图像；

其中，所述场景的光场包括所述M张第一图像和所述多个第四视点的图像。

12.一种VR内容处理装置，其特征在于，包括：

获取单元，用于获取M张第一图像，所述M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，所述M为大于1的整数；

重建单元，用于根据所述M张第一图像重建所述场景的光场；

确定单元，用于根据用户的反馈信息从所述场景的光场确定两个目标子光场；所述反馈信息为用户根据历史双目立体图像产生的；

渲染单元，用于对所述两个目标子光场进行渲染，得到双目立体图像。

13.根据权利要求12所述的装置，其特征在于，所述反馈信息包括第一指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述确定单元具体用于：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述两个目标子光场的视差从所述场景的光场确定所述两个目标子光场。

14.根据权利要求12所述的装置，其特征在于，所述反馈信息包括第二指示信息，所述第二指示信息用于指示调节子光场的尺寸，所述确定单元具体用于：

根据所述第二指示信息从所述场景的光场中确定所述两个目标子光场；

其中，当所述第二指示信息用于指示增大子光场的尺寸时，所述两个目标子光场的尺寸均大于所述两个历史子光场的尺寸；当所述第二指示信息用于指示减小子光场的尺寸时，所述两个目标子光场的尺寸均小于所述两个历史子光场的尺寸。

15.根据权利要求12所述的装置，其特征在于，所述反馈信息包括第三指示信息，所述第三指示信息用于指示调节光场的聚焦深度，所述确定单元具体用于：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述调节后的光场中确定所述两个目标子光场。

16.根据权利要求12所述的装置，其特征在于，所述反馈信息包括第一指示信息和第二指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述第二指示信息用于指示调节子光场的尺寸，所述确定单元具体用于：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述两个目标子光场的视差和所述第二指示信息从所述场景的光场确定所述两个目标子光场；当所述第二指示信息用于指示增大子光场的尺寸时，所述两个目标子光场的尺寸均大于所述两个历史子光场的尺寸；当所述第二指示信息用于指示减小子光场的尺寸时，所述两个目标子光场的尺寸均小于所述两个历史子光场的尺寸。

17.根据权利要求16所述的装置，其特征在于，所述反馈信息还包括第三指示信息，所述第三指示信息用于指示调节光场的聚焦深度，在所述根据所述第二指示信息和所述两个目标子光场的视差从所述场景的光场中确定所述两个目标子光场的方面，所述确定单元具体用于：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述第二指示信息和所述两个目标子光场的视差从所述调节后的光场中确定出所述两个目标子光场。

18.根据权利要求12所述的装置，其特征在于，所述反馈信息包括第二指示信息和第三指示信息，所述第二指示信息用于指示调节子光场的大小，所述第三指示信息用于指示调节光场的聚焦深度，所述确定单元具体用于：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述第二指示信息和所述两个目标子光场的中心视点从所述调节后的光场中确定出所述两个目标子光场；当所述第二指示信息用于指示增大子光场时，所述两个目标子光场大于所述两个历史子光场；当所述第二指示信息用于指示减小子光场时，所述两个目标子光场小于所述两个历史子光场；

其中，所述两个目标子光场的视差与所述两个历史子光场的视差相同。

19.根据权利要求12所述的装置，其特征在于，所述反馈信息包括第一指示信息和第三指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述第三指示信息用于指示调节光场的聚焦深度，所述确定单元具体用于：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述两个目标子光场的视差和所述调节后的光场确定所述两个目标子光场。

20.根据权利要求12-19任一项所述的装置，其特征在于，所述重建单元具体用于：

根据所述M张第一图像获取M-1个图像对，所述M-1个图像对中每个图像对包括参考图像和第二图像，所述参考图像为所述M张第一图像中的任一图像，所述M-1个图像对中的第二图像分别为所述M张第一图像中除了所述参考图像之外的M-1张第一图像；

根据所述M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI；所述参考视点为拍摄所述参考图像的摄像头对应的视点；其中，所述M个第一视点与所述M个摄像头一一对应，所述M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，所述参考视点为所述M个第一视点中任一视点，所述M-1个第一视点为所述M个第一视点中除了所述参考视点之外的视点；

根据参考视点的MPI构建所述场景的光场。

21.根据权利要求20所述的装置，其特征在于，在所述根据所述M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI的方面，所述重建单元具体用于：

根据所述M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点的内参矩阵得到该图像对的平面扫描体PSV；所述每个图像对的PSV的尺寸为H*W*N，所述H和W分别为所述第二图像的高和宽，所述N为所述场景的深度分辨率；所述第二视点为拍摄得到所述参考图像的摄像头对应的视点，所述第三视点为拍摄得到所述第二图像的摄像头对应的视点；

根据所述M-1个图像对的PSV和所述参考图像得到所述参考视点的PSV，所述参考视点的PSV的尺寸为H*W*((M-1)*N+1)；

根据所述参考视点的PSV得到第一三维体和第二三维体，所述第一三维体用于记录RGB信息，所述第二三维体用于记录透明度信息，所述参考视点的MPI包括所述第一三维体和所述第二三维体。

22.根据权利要求20或21所述的装置，其特征在于，在所述根据参考视点的MPI构建所述场景的光场的方面，所述重建单元具体用于：

获取多个第四视点中每个视点的内参矩阵，及该视点的图像相对于所述参考图像的旋转矩阵和平移矩阵；

根据所述参考视点的MPI、所述参考视点的内参矩阵、多个第四视点中每个第四视点的内参矩阵，及该视点的图像相对于所述参考图像的旋转矩阵和平移矩阵得到该第四视点的图像；

其中，所述场景的光场包括所述M张第一图像和所述多个第四视点的图像。

23.一种VR内容处理装置，其特征在于，包括：

存储器，用于存储指令；以及

处理器，与所述存储器耦合；

其中，当所述处理器执行所述指令时，执行如权利要求1-11任一项所述的方法。

24.一种芯片系统，其特征在于，所述芯片系统应用于电子设备；所述芯片系统包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1-11中任意一项所述方法。

25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-11任一项所述的方法。

26.一种计算机程序产品，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-11任一项所述的方法。

27.一种VR显示终端，其特征在于，所述VR显示终端设备包括显示屏、调节旋钮、存储器和处理器，所述存储器与所述处理器连接，所述处理器与所述调节旋钮和所述显示屏连接：所述存储器存储有程序；

所述显示屏，用于显示双目立体图像；

所述处理器，用于运行所述存储器中的程序，以执行如下方法：

获取用户针对所述双目立体图像而旋转所述调节旋钮的操作信息，根据所述操作信息生成所述用户的反馈信息。

28.根据权利要求27所述的终端，其特征在于，所述调节旋钮包括三级旋转档，所述反馈信息包括第一指示信息、第二指示信息和第三指示信息，其中，所述第一指示信息用于指示调节两个目标子光场的视差，所述第二指示信息用于指示调节所述目标子光场的聚焦深度，所述第三指示信息用于指示调节目标子光场的大小；所述两个目标子光场用于生成下一双目立体图像；

在所述处理器根据所述操作信息生成用户的反馈信息的方面，所述处理器具体执行如下步骤：

当所述操作信息指示所述用户在第一级旋转档旋所述调节旋钮时，所述处理器根据所述操作信息生成所述第一指示信息；

当所述操作信息指示所述用户在第二级旋转档旋所述调节旋钮时，所述处理器根据所述操作信息生成所述第二指示信息；

当所述操作信息指示所述用户在第三级旋转档旋所述调节旋钮时，所述处理器根据所述操作信息生成所述第三指示信息。

29.一种VR终端设备，其特征在于，包括：

包括显示屏、调节旋钮、存储器和处理器，所述存储器与所述处理器连接，所述处理器与所述调节旋钮和所述显示屏连接：所述存储器存储有程序；

所述显示屏，用于显示第一双目立体图像；

所述处理器，用于运行所述存储器中的程序，以执行如下方法：

获取M张第一图像，所述M张第一图像分别为位于不同位置的M个摄像头针对同一场景拍摄得到，所述M为大于1的整数；并获取用户针对所述第一双目立体图像而旋转所述调节旋钮的操作信息，根据所述操作信息生成所述用户的反馈信息；

根据所述M张第一图像重建所述场景的光场；

根据所述用户的反馈信息从所述场景的光场确定两个目标子光场；

对所述两个目标子光场进行渲染，得到第二双目立体图像。

30.根据权利要求29所述的终端设备，其特征在于，所述反馈信息包括第一指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，在所述根据用户的反馈信息从所述场景的光场确定两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述两个目标子光场的视差从所述场景的光场确定所述两个目标子光场。

31.根据权利要求29所述的终端设备，其特征在于，所述反馈信息包括第二指示信息，所述第二指示信息用于指示调节子光场的尺寸，在所述根据用户的反馈信息从所述场景的光场确定两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第二指示信息从所述场景的光场中确定所述两个目标子光场；

其中，当所述第二指示信息用于指示增大子光场的尺寸时，所述两个目标子光场的尺寸均大于所述两个历史子光场的尺寸；当所述第二指示信息用于指示减小子光场的尺寸时，所述两个目标子光场的尺寸均小于所述两个历史子光场的尺寸。

32.根据权利要求29所述的终端设备，其特征在于，所述反馈信息包括第三指示信息，所述第三指示信息用于指示调节光场的聚焦深度，在所述根据用户的反馈信息从所述场景的光场确定两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述调节后的光场中确定所述两个目标子光场。

33.根据权利要求29所述的终端设备，其特征在于，所述反馈信息包括第一指示信息和第二指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述第二指示信息用于指示调节子光场的尺寸，在所述根据用户的反馈信息从所述场景的光场确定两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述两个目标子光场的视差和所述第二指示信息从所述场景的光场确定所述两个目标子光场；当所述第二指示信息用于指示增大子光场的尺寸时，所述两个目标子光场的尺寸均大于所述两个历史子光场的尺寸；当所述第二指示信息用于指示减小子光场的尺寸时，所述两个目标子光场的尺寸均小于所述两个历史子光场的尺寸。

34.根据权利要求33所述的终端设备，其特征在于，所述反馈信息还包括第三指示信息，所述第三指示信息用于指示调节光场的聚焦深度，在所述根据所述第二指示信息和所述两个目标子光场的视差从所述场景的光场中确定所述两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述第二指示信息和所述两个目标子光场的视差从所述调节后的光场中确定出所述两个目标子光场。

35.根据权利要求29所述的终端设备，其特征在于，所述反馈信息包括第二指示信息和第三指示信息，所述第二指示信息用于指示调节子光场的大小，所述第三指示信息用于指示调节光场的聚焦深度，在所述根据用户的反馈信息从所述场景的光场确定两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述第二指示信息和所述两个目标子光场的中心视点从所述调节后的光场中确定出所述两个目标子光场；当所述第二指示信息用于指示增大子光场时，所述两个目标子光场大于所述两个历史子光场；当所述第二指示信息用于指示减小子光场时，所述两个目标子光场小于所述两个历史子光场；

其中，所述两个目标子光场的视差与所述两个历史子光场的视差相同。

36.根据权利要求29所述的终端设备，其特征在于，所述反馈信息包括第一指示信息和第三指示信息，所述第一指示信息用于指示调节所述两个目标子光场的视差，所述第三指示信息用于指示调节光场的聚焦深度，在所述根据用户的反馈信息从所述场景的光场确定两个目标子光场的方面，所述处理器具体用于执行方法：

根据所述第一指示信息从所述场景的光场确定所述两个目标子光场的视差；当所述第一指示信息用于指示增大所述视差时，所述两个目标子光场的视差大于两个历史子光场的视差；当所述第一指示信息用于指示减小所述视差时，所述两个目标子光场的视差小于所述两个历史子光场的视差；

根据所述第三指示信息对所述场景的光场的聚焦深度进行调节，得到调节后的光场；当所述第三指示信息用于指示增大光场的聚焦深度时，所述调节后的光场的聚焦深度大于所述场景的光场的聚焦深度；当所述第三指示信息用于指示减小光场的聚焦深度时，所述调节后的光场的聚焦深度小于所述场景的光场的聚焦深度；

根据所述两个目标子光场的视差和所述调节后的光场确定所述两个目标子光场。

37.根据权利要求21-25任一项所述的终端设备，其特征在于，所述调节旋钮包括三级旋转档，所述反馈信息包括第一指示信息、第二指示信息和第三指示信息，其中，所述第一指示信息用于指示调节两个目标子光场的视差，所述第二指示信息用于指示调节所述目标子光场的聚焦深度，所述第三指示信息用于指示调节目标子光场的大小；所述两个目标子光场用于生成下一双目立体图像；

在所述处理器根据所述操作信息生成用户的反馈信息的方面，所述处理器具体执行如下步骤：

当所述操作信息指示所述用户在第一级旋转档旋所述调节旋钮时，所述处理器根据所述操作信息生成所述第一指示信息；

当所述操作信息指示所述用户在第二级旋转档旋所述调节旋钮时，所述处理器根据所述操作信息生成所述第二指示信息；

当所述操作信息指示所述用户在第三级旋转档旋所述调节旋钮时，所述处理器根据所述操作信息生成所述第三指示信息。

38.根据权利要求29-37任一项所述的终端设备，其特征在于，在所述根据所述M张第一图像重建所述场景的光场的方面，所述处理器具体执行以下方法：

根据所述M张第一图像获取M-1个图像对，所述M-1个图像对中每个图像对包括参考图像和第二图像，所述参考图像为所述M张第一图像中的任一图像，所述M-1个图像对中的第二图像分别为所述M张第一图像中除了所述参考图像之外的M-1张第一图像；

根据所述M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI；所述参考视点为拍摄所述参考图像的摄像头对应的视点；其中，所述M个第一视点与所述M个摄像头一一对应，所述M个第一视点中每个第一视点的内参矩阵为与该第一视点对应的摄像头的内参矩阵，所述参考视点为所述M个第一视点中任一视点，所述M-1个第一视点为所述M个第一视点中除了所述参考视点之外的视点；

根据参考视点的MPI构建所述场景的光场。

39.根据权利要求28所述的终端设备，其特征在于，在所述根据所述M-1个图像对及M个第一视点的内参矩阵、及所述M-1个第一视点相对于参考视点的旋转矩阵和平移矩阵确定参考视点的多层平面图像MPI的方面，所述处理器具体执行以下方法：

根据所述M-1个图像对中每个图像对的旋转矩阵和平移矩阵、该图像对中的第二图像及第二视点的内参矩阵和第三视点的内参矩阵得到该图像对的平面扫描体PSV；所述每个图像对的PSV的尺寸为H*W*N，所述H和W分别为所述第二图像的高和宽，所述N为所述场景的深度分辨率；所述第二视点为拍摄得到所述参考图像的摄像头对应的视点，所述第三视点为拍摄得到所述第二图像的摄像头对应的视点；

根据所述M-1个图像对的PSV和所述参考图像得到所述参考视点的PSV，所述参考视点的PSV的尺寸为H*W*((M-1)*N+1)；

根据所述参考视点的PSV得到第一三维体和第二三维体，所述第一三维体用于记录RGB信息，所述第二三维体用于记录透明度信息，所述参考视点的MPI包括所述第一三维体和所述第二三维体。

40.根据权利要求38或39所述的终端设备，其特征在于，在所述根据参考视点的MPI构建所述场景的光场的方面，所述处理器具体执行以下方法：

获取多个第四视点中每个视点的内参矩阵，及该视点的图像相对于所述参考图像的旋转矩阵和平移矩阵；

根据所述参考视点的MPI、所述参考视点的内参矩阵、多个第四视点中每个第四视点的内参矩阵，及该视点的图像相对于所述参考图像的旋转矩阵和平移矩阵得到该第四视点的图像；

其中，所述场景的光场包括所述M张第一图像和所述多个第四视点的图像。

Images