CN114627134A - 场景图像生成方法 - Google Patents

Abstract

本申请公开了一种场景图像生成方法，应用于客户端，方法包括：获取第一相机参数、第一场景图像及多个第一像素点的第一空间信息，第一场景图像为虚拟相机根据第一相机参数拍摄获得；向服务器输出交互指令以使服务器生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像；获取服务器根据第二场景图像生成的场景图像编码并提取出目标单元编码；解析目标单元编码获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令确定参考像素点；根据第一场景图像与参考像素点确定第二像素点的像素信息；根据多个第二像素点的像素信息生成目标场景图像，从而节约码流并提升目标场景图像画质。

Description

场景图像生成方法

技术领域

本申请涉及图像处理技术领域，尤其涉及一种场景图像生成方法。

背景技术

目前，在云游戏等互动场景中，云端服务器的渲染引擎在云端渲染出视频帧图像，然后通过视频编码器对视频帧图像进行编码压缩得到图像编码，然后将图像编码以码流的形式传输到客户终端，由客户终端对图像编码进行解码得到与视频帧图像对应的图像并显示该图像，以实现视频的生成。

但现有的图像编码解码方法会造成编译出来的图像编码数据量较大，码流需求较大，且解码获得的图像画质较低。

因此，如何节约码流并且提升客户端解码获得的目标场景图像画质，是本领域技术人员正在研究的热门课题。

发明内容

本申请提供一种场景图像生成方法，旨在减少图像编码的数据量以节约码流并且提升客户端解码获得的目标场景图像画质。

第一方面，本申请提供了一种场景图像生成方法，应用于客户端，其特征在于，方法包括：

获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，其中，第一场景图像为虚拟相机根据第一相机参数拍摄目标场景获得；

根据第一场景图像向服务器输出交互指令，以使服务器根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像；

获取服务器根据第二场景图像生成的场景图像编码，并从场景图像编码中提取目标单元编码；

解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点；

根据第一场景图像与参考像素点确定第二像素点的像素信息；

根据多个第二像素点的像素信息确定目标单元的目标子图像，并根据多个目标子图像生成目标场景图像。

在一些实施方式中，第一空间信息包括第一像素点映射在目标场景的第一映射点在预设方向轴上的第一投影距离，第二空间信息包括第二像素点映射在目标场景的第二映射点在预设方向轴上的第二投影距离；

根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点，包括：

根据第一相机参数及交互指令确定第二相机参数；

根据第一相机参数、第二相机参数、第一投影距离、及第二投影距离在多个第一像素点中确定第二像素点对应的参考像素点。

在一些实施方式中，获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，包括：

获取服务器输出的初始图像编码；

解析初始图像编码，获取第一相机参数、第一场景图像、及多个第一像素点对应的第一投影距离；

解析目标单元编码以获取目标单元的第二空间信息，包括：

解析目标单元编码，获取目标单元中多个第二像素点对应的第二投影距离。

在一些实施方式中，根据第一相机参数、第二相机参数、第一投影距离、及第二投影距离在多个第一像素点中确定第二像素点对应的参考像素点，包括：

获取第一像素点在第一场景图像中的第一图像坐标以及第二像素点在第二场景图像中的第二图像坐标；

根据第一投影距离、第一图像坐标、及第一相机参数确定第一映射点在目标场景中的第一坐标；

根据第二投影距离、第二图像坐标、及第二相机参数确定第二映射点在目标场景中的第二坐标；

根据第一坐标与第二坐标确定第二像素点对应的参考像素点。

在一些实施方式中，同一目标单元中的第二像素点的第二投影距离均为同一近似距离值；

根据第二投影距离、第二图像坐标、及第二相机参数确定第二映射点在目标场景中的第二坐标，包括：

根据近似距离值、第二图像坐标、及第二相机参数确定第二映射点在目标场景中的第二坐标。

在一些实施方式中，根据第一坐标与第二坐标确定第二像素点对应的参考像素点，包括：

根据第二坐标在多个第一坐标中确定近似坐标，其中，近似坐标与第二坐标的空间距离小于预设距离值；

以近似坐标对应的第一像素点作为第二像素点对应的参考像素点。

在一些实施方式中，第二像素点对应多个参考像素点，根据第一场景图像与参考像素点确定第二像素点的像素信息，包括：

获取第一场景图像中多个参考像素点分别对应的参考像素信息；

根据多个参考像素信息确定第二像素点的像素信息。

在一些实施方式中，方法还包括：

获取在拍摄第一场景图像时目标场景的第一环境参数；

获取在拍摄第二场景图像时目标场景的第二环境参数；

根据多个参考像素信息确定第二像素点的像素信息，包括：

根据多个参考像素信息获取融合像素信息；

根据融合像素信息、第一环境参数及第二环境参数计算出第二像素点对应的像素信息。

在一些实施方式中，从场景图像编码中提取目标单元编码，包括：

解析场景图像编码获取多个子图像单元对应的子图像单元编码，其中，第二场景图像包括多个子图像单元；

提取子图像单元编码的类型标志编码；

当确定类型标志编码为预设的目标标志编码时，提取对应的子图像单元编码作为目标单元编码。

第二方面，本申请实施例还提供了一种场景图像生成方法，应用于服务器，方法包括：

控制虚拟相机根据第一相机参数拍摄目标场景以获得第一场景图像，向客户端输出第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息；

获取客户端根据第一场景图像输出的交互指令，根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像；

根据第二场景图像生成多个目标单元，并获取目标单元在目标场景中对应的第二空间信息；

编码第二空间信息以获取目标单元对应的目标单元编码；

根据目标单元编码生成第二场景图像对应的场景图像编码；

向客户端输出场景图像编码，以使客户端根据场景图像编码生成目标场景图像。

本申请实施例提供了一种应用于客户端的场景图像生成方法、以及一种应用于服务器的场景图像生成方法，应用于客户端的场景图像生成方法包括：获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，其中，第一场景图像为虚拟相机根据第一相机参数拍摄目标场景获得；根据第一场景图像向服务器输出交互指令，以使服务器根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像；获取服务器根据第二场景图像生成的场景图像编码，并从场景图像编码中提取目标单元编码；解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点；根据第一场景图像与参考像素点确定第二像素点的像素信息；根据多个第二像素点的像素信息确定目标单元的目标子图像，并根据多个目标子图像生成目标场景图像。通过借助虚拟相机的相机参数进行场景图像的编码与解码，减少了图像编码的数据量以节约码流，并且提升了客户端解码获得的目标场景图像画质。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的应用于客户端的场景图像生成方法、以及应用于服务器的场景图像生成方法的场景示意图；

图2是本发明实施例提供的应用于服务器的场景图像生成方法的流程示意图；

图3是本发明实施例提供的应用于客户端的场景图像生成方法的流程示意图；

图4是本发明实施例提供的场景图像生成方法中的参考像素点确定方法流程示意图；

图5是本发明实施例提供的场景图像生成方法中根据第一坐标与第二坐标确定参考像素点的方法流程示意图；

图6是本发明实施例提供的场景图像生成方法中的像素信息确定方法流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

目前，在云游戏等互动场景中，云端服务器的渲染引擎在云端渲染出视频帧图像，然后通过视频编码器对视频帧图像进行编码压缩得到图像编码，然后将图像编码以码流的形式传输到客户终端，由客户终端对图像编码进行解码得到与视频帧图像对应的图像并显示该图像，以实现视频的生成。但现有的图像编码解码方法会造成编译出来的图像编码数据量较大，码流需求较大，且解码获得的图像画质较低。

基于此，本申请的实施例提供了一种应用于客户端的场景图像生成方法、以及一种应用于客户端的场景图像生成方法，旨在减少图像编码的数据量以节约码流，并且提升客户端解码获得的目标场景图像画质。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1为本发明实施例提供的场景图像生成方法的场景示意图。

如图1所示，客户端与服务器之间相互通信连接，示例性地，服务器可以为云端服务器，客户端可以是与云端服务器通信连接的智能手机、平板电脑和笔记本电脑或个人计算机等，客户端与服务器之间的通信连接可以通过有线网络连接、无线网络连接、或蓝牙连接实现。具体地，云端服务器设置有虚拟相机作为渲染引擎，服务器用于控制虚拟相机对目标场景进行拍摄，然后将拍摄得到的图像进行编码成图像编码，并以码流的形式将图像编码传输至对应的客户端，客户端将服务器传输过来的图像编码进行解码得到目标场景图像并将目标场景图像向用户展示，客户端还用于根据用户的动作输入向服务器传输交互指令以对虚拟相机的拍摄进行控制。

譬如在云游戏的场景中，云端服务器可以控制虚拟相机拍摄服务器中的3D游戏场景，将拍摄得到的图像转化为图像编码并传输给客户端，客户端将图像编码进行解码得到与虚拟相机的拍摄动作对应的目标场景图像，客户端还可以通过交互指令对服务器中运行的游戏进行操作，以控制虚拟相机的拍摄动作。

请参阅图1，图1为本申请实施例提供的一种应用于服务器的场景图像生成方法的流程示意图。

如图1所示，本申请实施例提供的一种应用于服务器的场景图像生成方法，包括步骤S11-S16：

步骤S11：控制虚拟相机根据第一相机参数拍摄目标场景以获得第一场景图像，向客户端输出第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息。

具体地，执行本方法的服务器中设置有虚拟的目标场景，并设置有虚拟相机作为渲染引擎。服务器控制虚拟相机根据第一相机参数拍摄目标场景以获得第一场景图像，然后向客户端输出第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息。其中，第一场景图像中包括间隔排布的多个第一像素点，第一像素点的第一空间信息包括第一像素点在目标场景中的相对位置。

在一些实施方式中，第一空间信息包括第一像素点映射在目标场景的第一映射点在预设方向轴上的第一投影距离。具体地，第一空间信息包括第一映射点在目标场景对应的三维坐标轴中任一方向轴上的第一投影距离。

例如，对应目标场景中相互正交的x轴、y轴、及z轴，第一空间信息可以仅包括第一映射点在x轴、y轴、及z轴中任一者上的第一投影距离，以减少服务器后续对图像进行编码的工作量以及服务器向客户端传输的编码量。

又例如，当虚拟相机为可获取虚拟相机与第一映射点之间的距离值的深度相机，第一空间信息可以仅包括虚拟相机与第一映射点的距离值。

在另一些实施方式中，第一空间信息还可以仅包括第一映射点在成预设角度的至少两个坐标轴上的投影距离的关系。

应理解的是，在获悉第一像素点映射在目标场景的第一映射点在预设方向轴上的第一投影距离、虚拟相机与第一映射点的距离值、及第一映射点在成预设角度的至少两个坐标轴上的投影距离的关系三者中的至少一者时，根据第一相机参数以及第一像素点在第一场景图像中的相对位置，可唯一确定第一映射点在目标场景中的第一坐标。

具体地，第一相机参数包括虚拟相机的第一相机外参及第一相机内参，第一相机外参包括虚拟相机的第一拍摄位置与第一拍摄姿态，服务器控制虚拟相机以第一拍摄位置、第一拍摄姿态、及第一相机内参对目标场景进行拍摄，以获得第一场景图像。

在一些实施方式中，服务器控制虚拟相机根据第一相机参数拍摄目标场景时还包括：调用预先配置的与目标场景对应的目标场景空间模型，根据目标场景空间模型确定第一像素点映射在目标场景中的第一映射点，并根据目标场景空间模型确定第一映射点在预设方向轴上的第一投影距离。

示例性地，客户端与服务器配合进行云游戏的场景中，服务器可直接调用服务器端的游戏场景对应的目标场景空间模型，并根据目标场景空间模型读取出第一映射点在预设方向轴上的第一投影距离。

执行本方法的服务器在控制虚拟相机根据第一相机参数拍摄目标场景以获得第一场景图像以后，向客户端输出第一相机参数、第一场景图像及多个第一像素点的第一空间信息。具体地，服务器将第一相机参数、第一场景图像及多个第一像素点的第一空间信息进行编码，得到与虚拟相机根据第一相机参数进行拍摄的第一时刻对应的初始图像编码。

步骤S12：获取客户端根据第一场景图像输出的交互指令，根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像。

服务器向客户端输出第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息后，客户端通过预设的显示装置将第一场景图像向用户进行展示，用户根据第一场景图像在客户端进行操作，客户端根据用户的操作生成交互指令，并将此交互指令传输至服务器。服务器接收客户端输出的交互指令，根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像。

示例性地，在云游戏的情境中，客户端根据第一场景图像输出的交互指令可以是控制目标场景中的目标角色移动、转向、或是控制视角缩放的指令，服务器获取交互指令，并根据交互指令对游戏进行操作，应理解的是，当服务器根据交互指令控制目标角色移动、转向、或是控制视角缩放时，虚拟相机的相机参数，比如虚拟相机的的拍摄位置、拍摄姿态、及相机内参中的至少一种会随之改变，即虚拟相机的相机参数由第一相机参数变化为第二相机参数。

步骤S13：根据第二场景图像生成多个目标单元，并获取目标单元在目标场景中对应的第二空间信息。

服务器将第二场景图像输入预设的图像分割模型，得到多个子图像单元，然后在多个子图像单元中确定若干个目标单元，并获取目标单元在目标场景中对应的第二空间信息以及目标单元在第二场景图像中的相对位置，其中，目标单元的第二空间信息包括第二像素点在目标场景中的相对位置。具体地，可以将得到的所有子图像单元都作为目标单元，还可以将多个所述子图像单元中的部分作为目标单元。

在一些实施方式中，第二空间信息包括目标单元映射在目标场景的第二映射点在预设方向轴上的第二投影距离。具体地，第二映射点可以是目标单元内的任一像素点，譬如目标单元的中点，则第二空间信息包括在目标场景对应的三维坐标轴中任一方向轴上的第二投影距离，例如，对应目标场景中相互正交的x轴、y轴、及z轴，通过以目标单元内的任一像素点在x轴、y轴、及z轴中任一者上的第二投影距离表征目标单元的空间位置，减少服务器后续对图像进行编码的工作量以及服务器向客户端传输的编码量。

又例如，当虚拟相机为可获取虚拟相机与目标单元之间的距离值的深度相机，第二空间信息可以仅包括虚拟相机与目标单元的距离值。

在另一些实施方式中，第二空间信息还可以仅包括第二映射点在成预设角度的至少两个坐标轴上的投影距离的关系。

应理解的是，在获悉目标单元映射在目标场景的第二映射点在预设方向轴上的第二投影距离、虚拟相机与第二映射点的距离值、及第二映射点在成预设角度的至少两个坐标轴上的投影距离的关系三者中的至少一者时，根据第二相机参数以及目标单元在第二场景图像中的相对位置，可唯一确定第二映射点在目标场景中的第二坐标。

在一些实施方式中，在多个子图像单元中确定若干个目标单元包括：根据交互指令确定子图像单元中与第一场景图像中的第一像素点对应的匹配点；当子图像单元中的匹配点的数量大于预设的数量阈值，确定对应子图像单元为目标单元。

应理解的是，子图像单元中的匹配点在目标场景中对应的相对位置与第一场景图像中的第一像素点在目标场景中对应的相对位置相同，服务器根据交互指令可确定虚拟相机拍摄第一场景图像与第二场景图像时相机参数的变化，并进一步根据相机参数的变化确定子图像单元中的匹配点。

步骤S14：编码第二空间信息以获取目标单元对应的目标单元编码。

将第二空间信息进行编码得到与目标单元对应的目标单元编码。

应理解的是，本实施例在对目标单元进行对应的编码时，仅需对目标单元内的任一像素点在预设方向轴上的第二投影距离进行编码，减少服务器后续对图像进行编码的工作量以及服务器向客户端传输的编码量。

步骤S15：根据目标单元编码生成第二场景图像对应的场景图像编码。

在一些实施方式中，当第二场景图像对应的子图像单元仅包含目标单元时，服务器获取每一目标单元在第二场景图像中的相对位置，然后将目标单元编码与其相对位置进行编码，得到与第二场景图像对应的场景图像编码。

在另一些实施方式中，当第二场景图像对应的子图像单元包含目标单元与非目标单元时，在获取目标单元对应的目标单元编码之后，服务器还需获取非目标单元对应的非目标单元编码，并获取每一目标单元与非目标单元在第二场景图像中的相对位置，然后将目标单元编码与其相对位置、非目标单元编码与其相对位置进行编码，得到与第二场景图像对应的场景图像编码。

示例性地，以本实施例应用于HEVC（High Efficiency Video Coding，高效视频编码）的框架为例进行说明：服务器根据HEVC对应的图像分割模型将第二场景图像分割得到多个PU（Prediction Unit，预测单元），PU即为本申请实施例中的子图像单元，将分割得到的所有或部分PU作为目标单元，并在PU中将目标单元对应的单元标志编码为目标标志编码，以使客户端在解码时根据对应的单元标志确定该PU是否为目标单元，服务器将目标单元的第二空间信息编码为目标编码，然后将目标单元编码与其相对位置进行编码，得到与第二场景图像对应的场景图像编码。

进一步地，服务器以第二场景图像中除了目标单元以外的PU作为非目标单元，可通过现有的HEVC框架下的帧间预测与帧内预测编码方法对非目标单元进行编码，得到非目标编码，并在PU中将非目标单元对应的单元标志编码为非目标标志编码，然后根据每一目标单元编码与其相对位置、非目标单元编码与其相对位置进行编码，得到与第二场景图像对应的场景图像编码。从而使得本实施例可以在通过借助相机参数对应目标单元进行编码的同时与现有的HEVC编码方法兼容。

步骤S16：向客户端输出场景图像编码，以使客户端根据场景图像编码生成目标场景图像。

服务器向客户端输出场景图像编码，客户端对场景图像编码进行解码，获取与目标单元对应的目标单元编码、非目标单元对应的非目标单元编码以及目标单元与非目标单元在第二场景图像中的相对位置，并根据目标单元编码、非目标单元编码与对应的相对位置预测生成目标场景图像，从而减少图像编码的数据量以节约码流，并且提升客户端解码获得的目标场景图像画质。

下面结合附图，对本申请实施例提供的一种应用于客户端的场景图像生成方法进行说明。请参阅图3，图3为本申请实施例提供的一种应用于服务器的场景图像生成方法的流程示意图。

如图3所示，本申请实施例提供的一种应用于服务器的场景图像生成方法，包括步骤S21-S26：

步骤S21：获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，其中，第一场景图像为虚拟相机根据第一相机参数拍摄目标场景获得。

执行本方法的的客户端获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，其中，第一场景图像为虚拟相机根据第一相机参数拍摄目标场景获得。

具体地，与本客户端通信连接的服务器中设置有虚拟的目标场景，并设置有虚拟相机作为渲染引擎。服务器控制虚拟相机根据第一相机参数拍摄目标场景以获得第一场景图像，然后向客户端输出第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息。其中，第一场景图像中包括间隔排布的多个第一像素点，第一像素点的第一空间信息包括第一像素点在目标场景中的相对位置。

在一些实施方式中，第一空间信息包括第一像素点映射在目标场景的第一映射点在预设方向轴上的第一投影距离。具体地，第一空间信息包括第一映射点在目标场景对应的三维坐标轴中任一方向轴上的第一投影距离。

例如，对应目标场景中相互正交的x轴、y轴、及z轴，第一空间信息可以仅包括第一映射点在x轴、y轴、及z轴中任一者上的第一投影距离。

又例如，当虚拟相机为可获取虚拟相机与第一映射点之间的距离值的深度相机，第一空间信息可以仅包括虚拟相机与第一映射点的距离值。

在另一些实施方式中，第一空间信息还可以仅包括第一映射点在成预设角度的至少两个坐标轴上的投影距离的关系。

应理解的是，在获悉第一像素点映射在目标场景的第一映射点在预设方向轴上的第一投影距离、虚拟相机与第一映射点的距离值、及第一映射点在成预设角度的至少两个坐标轴上的投影距离的关系三者中的至少一者时，根据第一相机参数以及第一像素点在第一场景图像中的相对位置，可唯一确定第一映射点在目标场景中的第一坐标。

在一些实施方式中，服务器将第一相机参数、第一场景图像及多个第一像素点的第一空间信息进行编码，得到与虚拟相机根据第一相机参数进行拍摄的第一时刻对应的初始图像编码，客户端获取获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，包括：

获取服务器输出的初始图像编码；

解析初始图像编码，获取第一相机参数、第一场景图像、及多个第一像素点对应的第一投影距离。

在另一些实施方式中，客户端获取第一场景图像中多个第一像素点的第一空间信息包括：调用预先配置的与目标场景对应的目标场景空间模型，根据目标场景空间模型确定第一像素点映射在目标场景中的第一映射点，并根据目标场景空间模型确定第一映射点在预设方向轴上的第一投影距离。应理解的是，在本实施方式中，目标场景空间模型预先配置在客户端，则服务器无需将第一空间信息发送至客户端，减少了服务器进行编码的工作量以及服务器向客户端传输的编码量。

步骤S22：根据第一场景图像向服务器输出交互指令，以使服务器根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像。

客户端通过预设的显示装置将第一场景图像向用户进行展示，用户根据第一场景图像在客户端进行操作，客户端根据用户的操作生成交互指令，并将此交互指令传输至服务器。服务器接收客户端输出的交互指令，根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像。

示例性地，在云游戏的情境中，客户端根据第一场景图像输出的交互指令可以是控制目标场景中的目标角色移动、转向、或是控制视角缩放的指令，服务器获取交互指令，并根据交互指令对游戏进行操作，应理解的是，当服务器根据交互指令控制目标角色移动、转向、或是控制视角缩放时，虚拟相机的相机参数，比如虚拟相机的的拍摄位置、拍摄姿态、及相机内参中的至少一种会随之改变，即虚拟相机的相机参数由第一相机参数变化为第二相机参数。

步骤S23：获取服务器根据第二场景图像生成的场景图像编码，并从场景图像编码中提取目标单元编码。

服务器根据第二场景图像生成场景图像编码，执行本方法的客户端获取场景图像编码并从场景图像编码中提取目标单元编码。

在一些实施方式中，从场景图像编码中提取目标单元编码，包括：

解析场景图像编码获取多个子图像单元对应的子图像单元编码，其中，第二场景图像包括多个子图像单元；

提取子图像单元编码的类型标志编码；

当确定类型标志编码为预设的目标标志编码时，提取对应的子图像单元编码作为目标单元编码。

具体地，第二场景图像包括多个子图像单元，子图像单元至少包括目标单元，执行本方法的客户端解析场景图像编码获取多个子图像单元对应的子图像单元编码，并提取子图像单元编码的类型标志编码，当确定类型标志编码为预设的目标标志编码时，提取对应的子图像单元编码作为目标单元编码；当确定类型标志编码非预设的目标标志编码时，提取对应的子图像单元编码作为非目标单元编码。

步骤S24：解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点。

客户端解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点。

在一些实施方式中，第二空间信息包括目标单元映射在目标场景的第二映射点在预设方向轴上的第二投影距离。具体地，第二映射点可以是目标单元内的任一像素点，譬如目标单元的中点，则第二空间信息包括在目标场景对应的三维坐标轴中任一方向轴上的第二投影距离，例如，对应目标场景中相互正交的x轴、y轴、及z轴，通过以目标单元内的任一像素点在x轴、y轴、及z轴中任一者上的第二投影距离表征目标单元的空间位置，减少服务器后续对图像进行编码的工作量以及服务器向客户端传输的编码量。

又例如，当虚拟相机为可获取虚拟相机与目标单元之间的距离值的深度相机，第二空间信息可以仅包括虚拟相机与目标单元的距离值。

在另一些实施方式中，第二空间信息还可以仅包括第二映射点在成预设角度的至少两个坐标轴上的投影距离的关系。

应理解的是，在获悉目标单元映射在目标场景的第二映射点在预设方向轴上的第二投影距离、虚拟相机与第二映射点的距离值、及第二映射点在成预设角度的至少两个坐标轴上的投影距离的关系三者中的至少一者时，根据第二相机参数以及目标单元在第二场景图像中的相对位置，可唯一确定第二映射点在目标场景中的第二坐标。

在一些实施方式中，解析目标单元编码以获取目标单元的第二空间信息，包括：解析目标单元编码，获取目标单元中多个第二像素点对应的第二投影距离。

如图4所示，在一些实施方式中，第一空间信息包括第一像素点映射在目标场景的第一映射点在预设方向轴上的第一投影距离，第二空间信息包括第二像素点映射在目标场景的第二映射点在预设方向轴上的第二投影距离，步骤S24中，根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点，具体包括步骤S241-步骤S242：

步骤S241：根据第一相机参数及交互指令确定第二相机参数。

示例性地，在云游戏的情境中，客户端根据第一场景图像输出的交互指令可以是控制目标场景中的目标角色移动、转向、或是控制视角缩放的指令，服务器获取交互指令，并根据交互指令对游戏进行操作，应理解的是，当服务器根据交互指令控制目标角色移动、转向、或是控制视角缩放时，虚拟相机的相机参数，比如虚拟相机的的拍摄位置、拍摄姿态、及相机内参中的至少一种会随之改变，即虚拟相机的相机参数由第一相机参数变化为第二相机参数。

步骤S242：根据第一相机参数、第二相机参数、第一投影距离、及第二投影距离在多个第一像素点中确定第二像素点对应的参考像素点。

具体地，第一空间信息包括第一映射点在目标场景对应的三维坐标轴中任一方向轴上的第一投影距离。第二映射点可以是目标单元内的任一像素点，譬如目标单元的中点，则第二空间信息包括第二映射点在目标场景对应的三维坐标轴中任一方向轴上的第二投影距离，例如，对应目标场景中相互正交的x轴、y轴、及z轴，第一空间信息可以仅包括第一映射点在x轴、y轴、及z轴中任一者上的第一投影距离，第二空间信息可以仅包括第二映射点在x轴、y轴、及z轴中任一者上的第二投影距离。

客户端根据第一相机参数及交互指令确定第二相机参数，然后根据第一相机参数、第二相机参数、第一投影距离、及第二投影距离在多个第一像素点中确定第二像素点对应的参考像素点。

如图5所示，在一些实施方式中，步骤S242具体包括步骤S2421-步骤S2424：

步骤S2421：获取第一像素点在第一场景图像中的第一图像坐标以及第二像素点在第二场景图像中的第二图像坐标；

步骤S2422：根据第一投影距离、第一图像坐标、及第一相机参数确定第一映射点在目标场景中的第一坐标；

步骤S2423：根据第二投影距离、第二图像坐标、及第二相机参数确定第二映射点在目标场景中的第二坐标；

步骤S2424：根据第一坐标与第二坐标确定第二像素点对应的参考像素点。

具体地，客户端获取第一像素点在第一场景图像中的第一图像坐标以及第二像素点在第二场景图像中的第二图像坐标，并根据第一投影距离、第一图像坐标、及第一相机参数确定第一映射点在目标场景对应的坐标系中的第一坐标，根据第二投影距离、第二图像坐标、及第二相机参数确定第二映射点在目标场景对应的坐标系中的第二坐标，然后根据对应坐标系中的第一坐标与第二坐标可确定第二像素点对应的参考像素点。

在一些实施方式中，投影距离、图像坐标、及相机参数与对应映射点在目标场景对应的坐标系中的坐标关系如下式所示：

其中，S为归一化系数，M为虚拟相机的相机参数，u与v为像素点在场景图像对应的坐标系中的正交坐标值，x、y、z为映射点在目标场景对应的坐标系中的正交坐标值。

应理解的是，第一投影距离与第二投影距离即为上式x、y、z中的任意一者。通过上式可根据第一投影距离、第一图像坐标、及第一相机参数唯一确定第一映射点在目标场景中的第一坐标，并根据第二投影距离、第二图像坐标、及第二相机参数唯一确定第二映射点在目标场景中的第二坐标。

在另一些实施方式中，通过上式可根据虚拟相机与第一映射点的距离值唯一确定第一映射点在目标场景中的第一坐标，并根据虚拟相机与第二映射点的距离值唯一确定第二映射点在目标场景中的第二坐标。

在还有一些的实施方式中，通过上式可根据第一映射点在成预设角度的至少两个坐标轴上的投影距离的关系唯一确定第一映射点在目标场景中的第一坐标，并根据第二映射点在成预设角度的至少两个坐标轴上的投影距离的关系唯一确定第二映射点在目标场景中的第二坐标。

通过仅对目标单元内的任一像素点进行编码、传输以及解码的操作，减少了编码解码的工作量以及服务器向客户端传输的编码量。

在一些实施方式中，同一目标单元中的第二像素点的第二投影距离均为同一近似距离值，步骤S2423包括：

根据近似距离值、第二图像坐标、及第二相机参数确定第二映射点在目标场景中的第二坐标。

应理解的是，以目标单元中内的任一像素点，譬如目标单元的中点在预设方向轴上的近似投影距离的作为目标单元中每一第二像素点的第二投影距离，则同一目标单元中的第二像素点的第二投影距离均为同一近似距离值，由此减少了编码解码的工作量以及服务器向客户端传输的编码量。

在一些实施方式中，步骤S2424包括：

根据第二坐标在多个第一坐标中确定近似坐标，其中，近似坐标与第二坐标的空间距离小于预设距离值；

以近似坐标对应的第一像素点作为第二像素点对应的参考像素点。

应理解的是，每一个第一映射点对应一个第一坐标，第一坐标包括近似坐标，客户端根据第二坐标在多个第一坐标中确定近似坐标，其中，近似坐标与第二坐标的空间距离小于预设距离值，以近似坐标对应的第一像素点作为第二像素点对应的参考像素点，即多个第一坐标中存在着一个或多个与第二坐标的空间距离小于预设距离值的近似坐标，第二像素点对应的参考像素点的数量也可能为一个或多个。

步骤S25：根据第一场景图像与参考像素点确定第二像素点的像素信息。

在确定第二像素点对应的参考像素点之后，客户端根据第一场景图像与参考像素点确定第二像素点的像素信息。

如图6所示，在一些实施方式中，当第二像素点对应的参考像素点数量为多个时，步骤S25包括：

步骤S251：获取第一场景图像中多个参考像素点分别对应的参考像素信息；

步骤S252：根据多个参考像素信息确定第二像素点的像素信息。

具体地，客户端获取第一场景图像中多个参考像素点分别对应的参考像素信息，然后根据多个参考像素信息确定第二像素点的像素信息。

在一些实施方式中，本实施例提供的场景图像生成方法还包括：

获取在拍摄第一场景图像时目标场景的第一环境参数；

获取在拍摄第二场景图像时目标场景的第二环境参数。

具体地，客户端接收服务器输出的虚拟相机在拍摄第一场景图像时目标场景的第一环境参数、以及虚拟相机在拍摄第二场景图像时目标场景的第二环境参数，对应地，步骤S252包括：

根据多个参考像素信息获取融合像素信息；

根据融合像素信息、第一环境参数及第二环境参数计算出第二像素点对应的像素信息。

具体地，客户端根据多个参考像素点以及预设的加权算法分别对应的参考像素信息获取融合像素信息，根据融合像素信息、第一环境参数及第二环境参数计算出第二像素点对应的像素信息。

在一些实施方式中，第一环境参数与第二环境参数包括游戏场景中的光照强度，客户端可根据第一环境参数与第二环境参数分别对应的光照强度对融合像素信息进行调节，计算出第二像素点对应的像素信息。

步骤S26：根据多个第二像素点的像素信息确定目标单元的目标子图像，并根据多个目标子图像生成目标场景图像。

客户端根据多个第二像素点的像素信息确定目标单元的目标子图像，并根据多个目标子图像以及目标单元在第二场景图像中的相对位置生成目标场景图像，应理解，客户端解码得到的目标场景图像与服务器拍摄获得第二场景图像对应。

示例性地，以本实施例应用于HEVC（High Efficiency Video Coding，高效视频编码）的框架为例对步骤S23-步骤S26进行说明：客户端获取服务器根据第二场景图像生成的场景图像编码，并从场景图像编码中提取得到多个子图像单元在第二图像中的相对位置、以及每一子图像单元对应的单元标志编码，根据单元标志编码确定对应的子图像单元为目标单元或非目标单元，当确定子图像单元为目标单元时，解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点，根据第一场景图像与参考像素点确定第二像素点的像素信息，根据多个第二像素点的像素信息确定目标单元对应的目标子图像；当确定子图像单元为非目标单元时，根据类型标志编码在现有的HEVC框架下确定对应的帧间预测或帧内预测解码方法对非目标单元进行解码。

进一步地，本实施例还可应用于其它的现有视频编码解码框架，在其它视频编码框架下，对非目标单元采取现有的帧间预测或帧内预测解码方法进行解码得到非目标子图像，而对目标单元可以解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点，根据第一场景图像与参考像素点确定第二像素点的像素信息，根据多个第二像素点的像素信息确定目标单元对应的目标子图像，然后根据目标子图像、非目标子图像、以及其在第二场景图像中的相对位置生成目标场景图像。从而使得本实施例可以在通过借助相机参数对应目标单元进行编码解码的同时与现有的视频编码解码方法兼容。

综上，本申请实施例提供了一种应用于客户端的场景图像生成方法、以及一种应用于服务器的场景图像生成方法，应用于客户端的场景图像生成方法包括：获取第一相机参数、第一场景图像、及第一场景图像中多个第一像素点的第一空间信息，其中，第一场景图像为虚拟相机根据第一相机参数拍摄目标场景获得；根据第一场景图像向服务器输出交互指令，以使服务器根据交互指令生成第二相机参数，并控制虚拟相机根据第二相机参数拍摄目标场景获得第二场景图像；获取服务器根据第二场景图像生成的场景图像编码，并从场景图像编码中提取目标单元编码；解析目标单元编码以获取目标单元的第二空间信息，并根据第一空间信息、第二空间信息、第一相机参数及交互指令在多个第一像素点中确定第二像素点对应的参考像素点；根据第一场景图像与参考像素点确定第二像素点的像素信息；根据多个第二像素点的像素信息确定目标单元的目标子图像，并根据多个目标子图像生成目标场景图像。通过借助虚拟相机的相机参数进行场景图像的编码与解码，减少了图像编码的数据量以节约码流，并且提升了客户端解码获得的目标场景图像画质。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅是本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种场景图像生成方法，应用于客户端，其特征在于，所述方法包括：

获取第一相机参数、第一场景图像、及所述第一场景图像中多个第一像素点的第一空间信息，其中，所述第一场景图像为虚拟相机根据所述第一相机参数拍摄目标场景获得；

根据所述第一场景图像向服务器输出交互指令，以使所述服务器根据所述交互指令生成第二相机参数，并控制所述虚拟相机根据所述第二相机参数拍摄所述目标场景获得第二场景图像；

获取所述服务器根据所述第二场景图像生成的场景图像编码，并从所述场景图像编码中提取目标单元编码；

解析所述目标单元编码以获取目标单元的第二空间信息，并根据所述第一空间信息、第二空间信息、第一相机参数及交互指令在多个所述第一像素点中确定所述第二像素点对应的参考像素点；

根据所述第一场景图像与所述参考像素点确定所述第二像素点的像素信息；

根据多个所述第二像素点的所述像素信息确定所述目标单元的目标子图像，并根据多个所述目标子图像生成目标场景图像。

2.根据权利要求1所述的方法，其特征在于，所述第一空间信息包括所述第一像素点映射在所述目标场景的第一映射点在预设方向轴上的第一投影距离，所述第二空间信息包括所述第二像素点映射在所述目标场景的第二映射点在预设方向轴上的第二投影距离；

所述根据所述第一空间信息、第二空间信息、第一相机参数及交互指令在多个所述第一像素点中确定所述第二像素点对应的参考像素点，包括：

根据所述第一相机参数及所述交互指令确定所述第二相机参数；

根据所述第一相机参数、第二相机参数、第一投影距离、及第二投影距离在多个所述第一像素点中确定所述第二像素点对应的参考像素点。

3.根据权利要求2所述的方法，其特征在于，所述获取第一相机参数、第一场景图像、及所述第一场景图像中多个第一像素点的第一空间信息，包括：

获取所述服务器输出的初始图像编码；

解析所述初始图像编码，获取所述第一相机参数、所述第一场景图像、及多个所述第一像素点对应的所述第一投影距离；

所述解析所述目标单元编码以获取目标单元的第二空间信息，包括：

解析所述目标单元编码，获取所述目标单元中多个所述第二像素点对应的所述第二投影距离。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一相机参数、第二相机参数、第一投影距离、及第二投影距离在多个所述第一像素点中确定所述第二像素点对应的参考像素点，包括：

获取所述第一像素点在所述第一场景图像中的第一图像坐标以及所述第二像素点在所述第二场景图像中的第二图像坐标；

根据所述第一投影距离、所述第一图像坐标、及所述第一相机参数确定所述第一映射点在所述目标场景中的第一坐标；

根据所述第二投影距离、所述第二图像坐标、及所述第二相机参数确定所述第二映射点在所述目标场景中的第二坐标；

根据所述第一坐标与所述第二坐标确定所述第二像素点对应的参考像素点。

5.根据权利要求4所述的方法，其特征在于，同一所述目标单元中的所述第二像素点的所述第二投影距离均为同一近似距离值；

所述根据所述第二投影距离、所述第二图像坐标、及所述第二相机参数确定所述第二映射点在所述目标场景中的第二坐标，包括：

根据所述近似距离值、所述第二图像坐标、及所述第二相机参数确定所述第二映射点在所述目标场景中的第二坐标。

6.根据权利要求4所述的方法，其特征在于，所述根据所述第一坐标与所述第二坐标确定所述第二像素点对应的参考像素点，包括：

根据所述第二坐标在多个所述第一坐标中确定近似坐标，其中，所述近似坐标与所述第二坐标的空间距离小于预设距离值；

以所述近似坐标对应的所述第一像素点作为所述第二像素点对应的所述参考像素点。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述第二像素点对应多个所述参考像素点，所述根据所述第一场景图像与所述参考像素点确定所述第二像素点的像素信息，包括：

获取所述第一场景图像中多个所述参考像素点分别对应的参考像素信息；

根据多个所述参考像素信息确定所述第二像素点的所述像素信息。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取在拍摄所述第一场景图像时所述目标场景的第一环境参数；

获取在拍摄所述第二场景图像时所述目标场景的第二环境参数；

所述根据多个所述参考像素信息确定所述第二像素点的所述像素信息，包括：

根据多个所述参考像素信息获取融合像素信息；

根据所述融合像素信息、所述第一环境参数及所述第二环境参数计算出所述第二像素点对应的所述像素信息。

9.根据权利要求1-6任一项所述的方法，其特征在于，所述从所述场景图像编码中提取目标单元编码，包括：

解析所述场景图像编码获取多个子图像单元对应的子图像单元编码，其中，所述第二场景图像包括多个所述子图像单元；

提取所述子图像单元编码的类型标志编码；

当确定所述类型标志编码为预设的目标标志编码时，提取对应的所述子图像单元编码作为所述目标单元编码。

10.一种场景图像生成方法，应用于服务器，其特征在于，所述方法包括：

控制虚拟相机根据第一相机参数拍摄目标场景以获得第一场景图像，向客户端输出所述第一相机参数、第一场景图像、及所述第一场景图像中多个第一像素点的第一空间信息；

获取所述客户端根据所述第一场景图像输出的交互指令，根据所述交互指令生成第二相机参数，并控制所述虚拟相机根据所述第二相机参数拍摄所述目标场景获得第二场景图像；

根据所述第二场景图像生成多个目标单元，并获取所述目标单元在所述目标场景中对应的第二空间信息；

编码所述第二空间信息以获取所述目标单元对应的目标单元编码；

根据所述目标单元编码生成所述第二场景图像对应的场景图像编码；

向所述客户端输出所述场景图像编码，以使所述客户端根据所述场景图像编码生成目标场景图像。

Images