CN114092315A

CN114092315A - 重建图像的方法、装置、计算机可读存储介质和处理器

Info

Publication number: CN114092315A
Application number: CN202010857911.1A
Authority: CN
Inventors: 盛骁杰
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2020-08-24
Filing date: 2020-08-24
Publication date: 2022-02-25
Also published as: WO2022042413A1

Abstract

本发明公开了一种重建图像的方法、装置、计算机可读存储介质和处理器。其中，该方法包括：检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。本发明解决了在虚拟视点重建图像时的时效性差的技术问题。

Description

重建图像的方法、装置、计算机可读存储介质和处理器

技术领域

本发明涉及计算机领域，具体而言，涉及一种重建图像的方法、装置、计算机可读存储介质和处理器。

背景技术

目前，用户使用手势交互来确定终端上观看视频图像的虚拟视点位置。在观看过程中，由于终端的计算资源少或视频质量差，使得用户在长时间停留在虚拟视点上进行观看时，导致视频的卡顿，从而在虚拟视点重建图像时的时效性差。

针对上述的在虚拟视点重建图像时的时效性差的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种重建图像的方法、装置、计算机可读存储介质和处理器，以至少解决在虚拟视点重建图像时的时效性差的技术问题。

根据本发明实施例的一个方面，提供了一种重建图像的方法。该方法可以包括：检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的方法。该方法可以包括：检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作；控制虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；读取位于第三位置的相机的图像；使用基于平面的图像变形模型处理图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的方法。该方法可以包括：感应到操作对象在操作界面上的交互操作；响应交互操作，显示虚拟视点基于交互操作在操作界面上发生的位移，其中，位移为从第一位置移动到第二位置；显示虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；显示使用基于平面的图像变形模型处理目标图像而生成的重建图像，其中，目标图像为位于第三位置的相机捕获的图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的方法。该方法可以包括：感应操作对象在操作界面上的移动操作；如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的方法。该方法可以包括：感应操作对象在操作界面上的移动操作；如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为部署有相机的真实视点的位置；读取位于预定位置的相机的图像；使用基于平面的图像变形模型处理图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的方法。该方法可以包括：在直播过程中，检测到直播画面上接收到移动操作；获取虚拟视点在直播画面上发生位移后的目标位置；控制虚拟视点从目标位置移动到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

根据本发明实施例的另一方面，还提供了一种重建图像的装置。该装置可以包括：第一获取模块，用于检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；第一控制模块，用于控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；第二处理模块，用于使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的装置。该装置可以包括：检测模块，用于检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作；第二控制模块，用于控制虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；第一读取模块，用于读取位于第三位置的相机的图像；第二处理模块，用于使用基于平面的图像变形模型处理图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的装置。该装置可以包括：第一感应模块，用于感应操作对象在操作界面上的移动操作；第二获取模块，用于如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；第三控制模块，用于控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；第三处理模块，用于使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

根据本发明实施例的另一方面，还提供了另一种重建图像的装置。该装置可以包括：第二感应模块，用于感应操作对象在操作界面上的移动操作；第三获取模块，用于如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；第四控制模块，用于控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为部署有相机的真实视点的位置；第二读取模块，用于读取位于预定位置的相机的图像；第四处理模块，用于使用基于平面的图像变形模型处理图像，获取重建图像。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质。该计算机可读存储介质包括存储的程序，其中，在程序被处理器运行时控制计算机可读存储介质所在设备执行本发明实施例的重建图像的方法。

根据本发明实施例的另一方面，还提供了一种处理器。该处理器用于运行程序，其中，程序运行时执行本发明实施例的重建图像的方法。

根据本发明实施例的另一方面，还提供了一种重建图像的系统。该系统可以包括：处理器；存储器，与处理器相连接，用于为处理器提供处理以下处理步骤的指令：检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

在本发明实施例中，采用检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。也就是说，本申请获取虚拟视点在操作界面上发生位移后的目标位置，在虚拟视点从目标位置过渡到预定位置的情况下，可以使用图像变形模型处理虚拟视点位于预定位置上的图像，达到了获取重建图像的目的，由于图像变形模型的计算过程简单，计算速度块，且适应低端机的计算资源，从而解决了在虚拟视点重建图像时的时效性差的技术问题，达到了提高在虚拟视点重建图像时的时效性的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1A是根据本发明实施例的一种用于实现重建图像的方法的计算机终端(或移动设备)的硬件结构框图；

图1B是根据本发明实施例的一种具体应用场景中的重建图像的结构示意图；

图2是根据本发明实施例的一种重建图像的方法的流程图；

图3是根据本发明实施例的另一种重建图像的方法的流程图；

图4是根据本发明实施例的另一种重建图像的方法的流程图；

图5是根据本发明实施例的另一种重建图像的方法的流程图；

图6是根据本发明实施例的另一种重建图像的方法的流程图；

图7是根据相关技术中的一种DIBR虚拟视点差值的示意图；

图8是根据本发明实施例的一种基于Warping和DIBR的虚拟视点插值的示意图；

图9是根据本发明实施例的一种基于Warping和DIBR的虚拟视点插值的方法的流程图；

图10是根据本发明实施例的一种重建图像的装置的示意图；

图11是根据本发明实施例的另一种重建图像的装置的示意图；

图12是根据本发明实施例的另一种重建图像的装置的示意图；

图13是根据本发明实施例的另一种重建图像的装置的示意图；以及

图14是根据本发明实施例的一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

基于深度图的虚拟视点重建(Depth Image Based Rendering，简称为DIBR)，先利用深度信息将参考图像投影到三维欧式空间，再将三维空间点投影到虚拟摄像机的成像平面上；

形变操作(Warping)，为根据空间的三维信息对二维图像进行形变的操作；

图像变形模型，为用于对二维图像采用图像变形技术进行处理的模型，其中，图像形变技术包括上述形变操作；

自由视点视频，为了提供高自由度观看体验，用户可以在观看中通过交互手段，来调整观看的视角，从其想要观看的自由视点角度进行观看；

6DoF参数，指6个方向自由度，具体是指，沿三个方向的平动以及绕三个轴的转动参数。

实施例1

根据本发明实施例，还提供了一种重建图像的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1A是根据本发明实施例的一种用于实现重建图像的方法的计算机终端(或移动设备)的硬件结构框图。如图1A所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1A所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1A中所示更多或者更少的组件，或者具有与图1A所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的重建图像的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的重建图像的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1A所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1A仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。

图1B是根据本发明实施例的一种具体应用场景中的重建图像的结构示意图，其中示出了一种重建图像的系统20的布置场景，重建图像的系统20可以包括由多个采集设备组成的采集阵列21、数据处理设备22、云端的服务器集群23(可以包括：服务器231、服务器232、服务器233、服务器234)、播放控制设备24，播放终端25和交互终端26。该重建图像的系统20，可以获取虚拟视点在操作界面上发生位移后的目标位置，在虚拟视点从目标位置过渡到预定位置的情况下，可以使用图像变形模型处理虚拟视点位于预定位置上的图像，从而达到获取重建图像的目的。

具体而言，参照图1B，所述采集阵列21可以包括多个相机，可以根据预设的多角度自由视角范围，成扇形置于现场采集区域的不同位置。

所述数据处理设备22可以通过无线局域网向所述采集阵列21中各相机分别发送指令，所述采集阵列21中各采集设备基于所述数据处理设备22发送的指令，将获得的相机的位置传输至所述数据处理设备22。

该实施例的交互终端26基于交互操作，确定虚拟视点在操作界面上发生位移后的目标位置，当所述数据处理设备22检测到交互终端26的操作界面上发生交互操作时，可以获取交互终端26发送的虚拟视点在操作界面上发生位移后的目标位置，控制虚拟视点从目标位置过渡到预定位置，该预定位置可以为与虚拟视点的空间自由度位置重合的相机位置，然后使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像，并可以将获得的所述重建图像上传至云端的服务器集群23，服务器集群23可以将重建图像发送至交互终端26上进行显示。

作为另一种可选的实施方式，当所述数据处理设备22检测到交互终端26的操作界面上发生交互操作，获取交互终端26发送的虚拟视点在操作界面上发生位移后的目标位置，将目标位置上传至云端的服务器集群23，通过服务器集群23控制虚拟视点从目标位置过渡到预定位置，然后使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像，并可以将获得的所述重建图像发送至交互终端26上进行显示。

然后，播放控制设备24可以接收到服务器集群23发送的重建图像，播放终端25接收来自所述播放控制设备24的重建图像并进行实时播放。其中，播放控制设备24可以为人工播放控制设备，也可以为虚拟播放控制设备。在具体实施中，导播控制设备如导播台可以作为本发明实施例中的一种播放控制设备。

在该实施例中，重建图像可以为在视频中重建图像，通常而言，视频中的实体不会是完全静止的，例如采用上述重建图像的系统，重建图像也会随着时间变化而不断地变动。

该实施例采用上述重建图像的系统，一方面，用户通过播放终端25可以直接观看重建图像；另一方面，用户通过交互终端26观看图像的过程中，通过交互操作，可以获取虚拟视点在操作界面上发生位移后的目标位置，以控制虚拟视点从目标位置过渡到预定位置，使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。可以理解的是，以上重建图像的系统20中也可以仅包含播放终端25或仅包含交互终端26，或者通过同一终端设备作为所述播放终端25和交互终端26。

本领域技术人员可以理解的是，用户使用手势交互来确定终端上观看视频图像的虚拟视点位置。在观看过程中，由于终端的计算资源少或视频质量差，使得用户在长时间停留在虚拟视点上进行观看时，导致视频的卡顿，从而在虚拟视点重建图像时的时效性差。因此如何在使用虚拟视点重建图像时，保证其时效性成为一个难以解决的问题。

有鉴于此，本说明书实施例提供一种方案，在图1A或图1B所示的运行环境下，本申请提供了如图2所示的重建图像的方法。需要说明的是，该实施例的重建图像的方法可以由图1A所示实施例的移动终端或图1B所示的重建图像的系统来执行。

图2是根据本发明实施例的一种重建图像的方法的流程图。如图2所示，该方法可以包括以下步骤：

步骤S202，检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置。

在本发明上述步骤S202提供的技术方案中，交互操作可以是终端用户所进行的针对虚拟视点的交互，也可以称为用户自由视点交互(DIBR)，其中，在操作界面上发生交互操作的过程中，虚拟视点在操作界面上会发生位移，因而，上述交互操作可以是针对虚拟视点的移动操作，比如，从操作界面上的A点开始的移动操作。

该实施例可以检测操作界面上发生交互操作，然后获取虚拟视点在操作界面上发生位移后所停留的目标位置，比如，目标位置为操作界面上的B点，交互操作在B点停住，可以是用户的手指在达到B点刹那间抬起的操作，则虚拟视点在操作界面上发生的位移为A点与B点之间的位移。

步骤S204，控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置。

在本发明上述步骤S204提供的技术方案中，在获取虚拟视点在操作界面上发生位移后的目标位置之后，该目标位置不一定对应真实相机位置，从而在该目标位置是无法直接进行图像重建的。该实施例可以控制虚拟视点从目标位置过渡到预定位置，可以是将虚拟视点沿着交互惯性按照一定路径从所停留的目标位置进行过渡，直至过渡到的位置与虚拟视点的空间自由度位置重合，该与虚拟视点的空间自由度位置重合的位置为预定位置。需要说明的是，该实施例的上述预定位置，可以为部署有相机的位置，其中，相机可以为真实相机，也即，该实施例的预定位置可以为真实相机位置，也可以称为真实视点位置。可选地，该实施例的上述预定位置为距离上述目标位置最近的真实视点位置。

在该实施例中，由于在获取虚拟视点在操作界面上发生位移后的目标位置之后，虚拟视点不再受交互操作的控制了，因而该实施例控制虚拟视点从目标位置过渡到预定位置，所涉及的交互惯性可以理解为对虚拟视点进行过渡的一种规则，也可以称为惯性过渡，符合用户的交互习惯和体验，比如，控制虚拟视点从目标位置按照一定速度滑到预定位置再停下，该预定位置可以为在操作界面上控制目标位置过渡到的优选位置，或者符合用户的交互习惯和体验的位置。

结合图7和图8所示的一种可选实施例中，对上述实施例进行一定的说明，黑色实心的点(例如A1和A2)可以表示虚拟视点，白色空心位置的点(例如B1、B2、B3等)可以表示真实相机所在的真实视点的位置。在操作界面上发生移动操作后，使得虚拟视点从A1点移动到A2点之后，处于A2位置的虚拟视点会基于预定控制模式选择一个真实相机所在的真实视点，并移动到这个真实视点，此时的控制模式可以包括如下任意一种：选择距离该虚拟视点A2的真实视点；选择计算资源空闲的且与该虚拟视点最近的一个真实视点；在发生选中的真实视点所在的相机损坏、等待处理时长超过预定时长中任意一种或多种情况发生的情况下，选择预设的权重值最高的真实视点。

可选地，该实施例的上述一定路径可以为预先规定好的平滑路径。上述空间自由度位置可以为空间三自由度位置(x，y，z)。

步骤S206，使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

在本发明上述步骤S206提供的技术方案中，图像变形模型也可以称为Warping模型，其可以用于对二维图像采用图像变形技术进行处理，也即，根据空间的三维信息对二维图像进行形变操作。在该实施例中，在虚拟视点过渡到预定位置上之后，则具有虚拟视点位于预定位置上的图像，该实施例可以在图像重建场景中，使用上述图像变形模型处理虚拟视点位于上述预定位置上的图像，进而得到重建图像。

在该实施例中，上述图像变形模型的计算过程简单，因而该实施例比采用基于深度图的虚拟视点重建(DIBR)的插值方法要快速，适应了低端机的计算资源，确保了虚拟视点重建图像时的时效性(实时性)，以及复杂的图像重建场景下的图像质量。

通过本申请上述步骤S204至步骤S206，检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。也就是说，该实施例获取虚拟视点在操作界面上发生位移后的目标位置，在虚拟视点从目标位置过渡到预定位置的情况下，可以使用图像变形模型处理虚拟视点位于预定位置上的图像，达到了获取重建图像的目的，由于图像变形模型的计算过程简单，计算速度块，且适应低端机的计算资源，从而解决了在虚拟视点重建图像时的时效性差的技术问题，达到了提高在虚拟视点重建图像时的时效性的技术效果。

下面对该实施例的上述方法进行进一步介绍。

作为一种可选的实施方式，如果检测到目标位置处的交互操作中断，则启动执行虚拟视点从目标位置过渡到预定位置的过渡操作。

在该实施例中，在操作界面上发生的交互操作可以是连续的操作过程。在虚拟视点在操作界面上发生位移的过程中，检测操作界面上发生了交互操作，如果检测到虚拟视点在移动至目标位置处时，交互操作出现了中断，比如，交互操作停留在了目标位置处，此时开始启动执行虚拟视点从目标位置过渡到预定位置的过渡操作，也即，一旦检测到目标位置处的交互操作中断，则触发执行上述过渡操作。

作为一种可选的实施方式，在步骤S204，控制虚拟视点从目标位置过渡到预定位置的过程中，该方法还包括：使用DIBR虚拟视点插值算法，生成过渡图像帧的插值；基于过渡图像帧的插值，来重建过渡过程中的图像。

在该实施例中，在控制虚拟视点从目标位置过渡到预定位置的中间过程中，可以使用DIBR虚拟视点插值算法生成过渡图像帧的插值，直至虚拟视点从目标位置过渡到预定位置，比如，直至虚拟视点的空间三自由度位置(x，y，z)与真实相机位置重合。其中，在虚拟视点的空间三自由度位置(x，y，z)与真实相机位置重合之后，则插值的规划6DoF位置与真实相机位置之间的差别仅仅在于剩余的三个旋转自由度(分别为绕x，y，z三个轴旋转的自由度)。

在生成过渡图像帧的插值之后，可以基于过渡图像帧的插值，来重建虚拟视点从目标位置过渡到预定位置的过程中的图像。

作为一种可选的实施方式，在步骤S204，控制虚拟视点从目标位置过渡到预定位置之后，调用Warping图像变形算法，切换为使用图像变形模型来进行图像重建。

在该实施例中，图像变形算法可以为Warping图像变形算法，其也可以称为Warping的操作，由于其计算简单，只需要进行一次投影，并没有其它的前后处理操作，因而，其比DIBR的插值要快速。该实施例在控制虚拟视点从目标位置过渡到预定位置之后，可以调用Warping图像变形算法，也即，将DIBR虚拟视点插值算法切换为Warping图像变形算法，从而使用图像变形模型来进行图像重建，正是因为Warping的操作的上述特性，从而确保了虚拟视点重建图像时的时效性，以及复杂的图像重建场景下的图像质量。

该实施例提供了结合Warping功能的DIBR方法，可以支持更丰富的终端交互设计，并可以结合实际的终端和场景情况，去灵活地配置不同的交互方法，从而给用户创造良好体验。

作为一种可选的实施方式，使用图像变形模型处理虚拟视点位于预定位置上的图像，包括：基于虚拟视点所处的预定位置，从相机上读取到对应的图像；根据虚拟视点所在的空间坐标系上的旋转自由度，使用图像变形模型来处理读取到的图像。

在该实施中，在实现使用图像变形模型处理虚拟视点位于预定位置上的图像时，可以是基于虚拟视点所处的预定位置，从相机上读取到对应的图像，该从相机上读取到的图像也即虚拟视点位于预定位置上的图像，也可以称为原始相机图像，然后确定虚拟视点所在的空间坐标系，确定该空间坐标系上的旋转自由度，比如，为三个旋转自由度，根据虚拟视点所在的空间坐标系上的旋转自由度，使用图像变形模型来处理读取到的图像，进而更新接下来的视点重建功能，这样就可以同时解决终端重建DIBR的时效性问题，以及在复杂重建场景下的图像质量问题。同时，该实施例通过从用户交互的虚拟视点位置到真实相机位置的惯性的DIBR插值过渡，可以解决用户在自由视点切换时的平滑性问题。

作为一种可选的实施方式，空间自由度为虚拟视点位于空间坐标系上的坐标值，旋转自由度为围绕空间坐标系的坐标轴旋转的自由度。

在该实施例的上述方案中，空间自由度为虚拟视点位于空间坐标系上的坐标值，比如，为(x，y，z)，旋转自由度为围绕空间坐标系的坐标轴旋转的自由度，比如，该自由度有3个，可以分别为绕x，y，z三个轴旋转的自由度。

作为一种可选的实施方式，在步骤S204，控制虚拟视点从目标位置过渡到预定位置之前，该方法还包括：获取虚拟视点当前所在的目标位置与预定位置之间的间距；如果间距超过阈值，则控制虚拟视点按照预设的相机优先级，从目标位置移动到优先级最高的相机所在的视点位置；如果间距未超过阈值，则执行虚拟视点从目标位置过渡到预定位置的步骤。

在该实施例中，在控制虚拟视点从目标位置过渡到预定位置之前，还可以先获取虚拟视点在操作界面上发生位移后的当前所在的目标位置与预定位置之间的间距，该预定位置为部署有相机的位置。然后判断上述目标位置与预定位置之间的间距是否超过阈值，如果判断出目标位置与预定位置之间的间距超过阈值，则不执行虚拟视点从目标位置过渡到预定位置，而是先获取预设的相机优先级，控制虚拟视点按照上述预设的相机优先级，从目标位置移动到优先级最高的相机所在的视点位置；可选地，该实施例如果判断出目标位置与预定位置之间的间距未超过阈值，则可以继续执行虚拟视点从目标位置过渡到预定位置，可以是将虚拟视点沿着交互惯性按照一定路径从所停留的目标位置进行过渡，直至过渡到的位置与虚拟视点的空间自由度位置重合，该与虚拟视点的空间自由度位置重合的位置也即预定位置，从而该实施例达到了根据虚拟视点当前所在的目标位置与预定位置之间的间距，来控制虚拟视点从目标位置所过渡到的位置的目的。

作为一种可选的实施方式，在步骤S202，检测到操作界面上发生交互操作之后，该方法还包括：弹出用于指示至少一个选择控件的提示信息；通过触发任意一个选择控件，选择重建图像的显示分辨率。

在该实施例中，交互操作可以是终端用户所进行的针对虚拟视点的交互，为了使用户更方便地对待获取到的重建图像进行设置，以满足需求，比如，为了使用户更方便地对待获取到的重建图像的显示分辨率进行设置，以满足用于对待获取到的重建图像的分辨率的需求，该实施例可以在检测到操作界面上发生交互操作之后，弹出用于指示至少一个选择控件的提示信息，其中，选择控件可以为用于选择待获取的重建图像的分辨率的功能控件，提示信息也即交互指示信息，以提示用户进行选择操作。

在弹出用于指示至少一个选择控件的提示信息之后，可以接收用户对任意一个选择控件的选择操作，进而响应用于对任意一个选择控件的选择操作，选择重建图像的显示分辨率，其中，每个选择控件可以对应一个重建图像的显示分辨率，多个选择控件可以分别对应不同的重建图像的显示分辨率，以满足待获取到的重建图像的显示分辨率具有多样化设置的需求，比如，在用户观看电影的场景下，会有重建图像的低显示分辨率的提醒。这样在使用图像变形模型处理虚拟视点位于预定位置上的图像时，获取到的重建图像为用户触发的选择控件所对应的显示分辨率。

本发明实施例还提供了另一种重建图像的方法。

图3是根据本发明实施例的另一种重建图像的方法的流程图。如图3所示，该方法可以包括以下步骤：

步骤S302，检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作。

在本发明上述步骤S302提供的技术方案中，交互操作可以是用户所进行的针对虚拟视点的交互，其中，在操作界面上发生交互操作的过程中，虚拟视点在操作界面上会发生位移，可以控制虚拟视点从第一位置移动到第二位置，该第二位置可以为虚拟视点在操作界面上发生位移后所停留的位置，比如，为用户的手指在操作界面上抬起的位置。

步骤S304，控制虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置。

在本发明上述步骤S304提供的技术方案中，在检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作之后，可以控制虚拟视点从第二位置过渡到第三位置，可以是将虚拟视点沿着交互惯性按照一定路径从所停留的第二位置进行过渡，直至过渡到第三位置，该第三位置可以部署有相机的真实视点，其与虚拟视点的空间自由度位置重合。

可选地，该实施例的上述一定路径可以为预先规定好的平滑路径。空间自由度位置可以为空间三自由度位置(x，y，z)。

步骤S306，读取位于第三位置的相机的图像。

在本发明上述步骤S306提供的技术方案中，在控制虚拟视点从第二位置过渡到第三位置之后，可以读取位于第三位置的相机的图像。

在该实施例中，在虚拟视点过渡到第三位置上之后，则具有虚拟视点位于第三位置上的相机的图像，读取该位于第三位置的相机的图像。

步骤S308，使用基于平面的图像变形模型处理图像，获取重建图像。

在本发明上述步骤S308提供的技术方案中，在读取位于第三位置的相机的图像之后，可以使用基于平面的图像变形模型处理图像，获取重建图像。

在该实施例中，在虚拟视点过渡到第三位置，且读取位于第三位置的相机的图像之后，则可以在图像重建场景中，使用基于平面的图像变形模型处理虚拟视点第三位置的相机的图像，进而得到重建图像，平面的图像变形模型为二维图像变形模型。

在该实施例中，上述基于平面的图像变形模型的计算过程简单，因而该实施例相比采用基于深度图的DIBR的插值方法而言，更要快速，从而适应了低端机的计算资源，确保了虚拟视点重建图像时的时效性，以及复杂的图像重建场景下的图像质量。

作为一种可选的实施方式，选择距离第二位置最近的真实视点位置作为第三位置。

在该实施例中，在控制虚拟视点从第二位置过渡到第三位置之前，可以获取至少一个真实视点位置，然后从至少一个真实视点位置中，确定出距离第二位置最近的真实视点位置，并将其作为需要控制虚拟视点从第二位置过渡到的第三位置。

本发明实施例还提供了另一种重建图像的方法。

图4是根据本发明实施例的另一种重建图像的方法的流程图。如图4所示，该方法可以包括以下步骤：

步骤S402，感应到操作对象在操作界面上的交互操作。

在本发明上述步骤S402提供的技术方案中，交互操作可以是由操作对象所进行的针对虚拟视点的交互，在操作界面上发生交互操作的过程中，虚拟视点在操作界面上会发生位移，其中，操作对象可以为用户。该实施例感应操作对象在操作界面上的上述交互操作。

步骤S404，响应交互操作，显示虚拟视点基于交互操作在操作界面上发生的位移，其中，位移为从第一位置移动到第二位置。

在本发明上述步骤S404提供的技术方案中，虚拟视点可以基于交互操作在操作界面上发生位移，该实施例可以在感应到操作对象在操作界面上的交互操作之后，响应交互操作，显示虚拟视点基于交互操作在操作界面上发生的位移，其中，位移为从第一位置移动到第二位置之间的位移。

在该实施例中，响应上述交互操作，可以获取虚拟视点在操作界面上从第一位置发生位移后所停留的第二位置，确定第一位置与第二位置之间的位移，其也是交互操作在操作界面上所发生的位移，进而显示交互操作在操作界面上所发生的位移。

步骤S406，显示虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置。

在本发明上述步骤S406提供的技术方案中，在显示交互操作在操作界面上发生的位移之后，显示虚拟视点从第二位置过渡到第三位置。

在该实施例中，可以控制虚拟视点从上述第二位置过渡到第三位置，可以是将虚拟视点沿着交互惯性按照一定路径从所停留的第二位置进行过渡，直至过渡到第三位置，该第三位置可以部署有相机的真实视点，其与虚拟视点的空间自由度位置重合，进而显示虚拟视点从第二位置过渡到第三位置的结果。

步骤S408，显示使用基于平面的图像变形模型处理目标图像而生成的重建图像，其中，目标图像为位于第三位置的相机捕获的图像。

在本发明上述步骤S408提供的技术方案中，在显示虚拟视点从第二位置过渡到第三位置之后，显示使用基于平面的图像变形模型处理目标图像而生成的重建图像。

在该实施例中，在虚拟视点过渡到第三位置上之后，则具有虚拟视点位于第三位置上的相机的图像，读取由位于第三位置的相机捕获的目标图像，进而使用基于平面的图像变形模型处理上述目标图像，获取并显示该重建图像。

在该实施例中，上述基于平面的图像变形模型的计算过程简单，因而该实施例比采用基于深度图的DIBR的插值方法要快速，从而适应了低端机的计算资源，确保了虚拟视点重建图像时的时效性，以及复杂的图像重建场景下的图像质量。

本发明实施例还提供了另一种重建图像的方法。

图5是根据本发明实施例的另一种重建图像的方法的流程图。如图5所示，该方法可以包括以下步骤：

步骤S502，感应操作对象在操作界面上的移动操作。

在本发明上述步骤S502提供的技术方案中，移动操作可以是由操作对象所进行的针对虚拟视点的移动操作，在操作界面上发生移动操作的过程中，虚拟视点在操作界面上会发生与移动操作的轨迹相对应的位移，其中，操作对象可以为用户的手指，从而移动操作可以为用户的手指的滑动操作。该实施例感应操作对象在操作界面上的上述移动操作。

步骤S504，如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置。

在本发明上述步骤S504提供的技术方案中，在感应操作对象在操作界面上的移动操作之后，如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置。

在该实施例中，在操作界面上发生的移动操作为连续的操作过程，如果感应到移动操作中止，则可以获取移动操作中止时操作对象在操作界面所停留的停留位置，也即，移动操作在上述停留位置出现了中断。

步骤S506，控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置。

在本发明上述步骤S506提供的技术方案中，在获取移动操作中止时操作对象在操作界面停留的停留位置之后，可以控制位于停留位置的虚拟视点过渡到预定位置。

在该实施例中，虚拟视点随着移动操作进行移动，在获取移动操作中止时操作对象在操作界面停留的停留位置之后，则可以触发控制位于停留位置的虚拟视点过渡到预定位置，该预定位置为与虚拟视点的空间自由度位置重合的相机位置，可以是真实相机位置，也可以称为真实视点位置。

步骤S508，使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

在本发明上述步骤S508提供的技术方案中，在控制位于停留位置的虚拟视点过渡到预定位置之后，可以使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

在该实施例中，在虚拟视点过渡到预定位置上之后，则具有虚拟视点位于预定位置上的相机的图像，读取由位于第三位置的相机捕获的图像，进而使用基于平面的图像变形模型处理该图像，获取重建图像。

本发明实施例还提供了另一种重建图像的方法。

图6是根据本发明实施例的另一种重建图像的方法的流程图。如图6所示，该方法可以包括以下步骤：

步骤S602，感应操作对象在操作界面上的移动操作。

在本发明上述步骤S602提供的技术方案中，移动操作可以是由操作对象所进行的针对虚拟视点的移动操作，在操作界面上发生移动操作的过程中，虚拟视点在操作界面上会发生与移动操作的轨迹相对应的位移，其中，操作对象可以为用户的手指，移动操作可以为用户的滑动操作。该实施例感应操作对象在操作界面上的上述移动操作。

步骤S604，如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置。

在本发明上述步骤S604提供的技术方案中，在感应操作对象在操作界面上的移动操作之后，如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置。

步骤S606，控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为部署有相机的真实视点的位置。

在本发明上述步骤S606提供的技术方案中，在获取移动操作中止时操作对象在操作界面停留的停留位置之后，控制位于停留位置的虚拟视点过渡到预定位置。

在该实施例中，虚拟视点随着移动操作进行移动，在获取移动操作中止时操作对象在操作界面停留的停留位置之后，则可以触发控制位于停留位置的虚拟视点过渡到预定位置，该预定位置为部署有相机的真实视点的位置，可以与虚拟视点的空间自由度位置重合的相机位置。

步骤S608，读取位于预定位置的相机的图像。

在本发明上述步骤S608提供的技术方案中，在控制位于停留位置的虚拟视点过渡到预定位置之后，读取位于预定位置的相机的图像。

在该实施例中，在虚拟视点过渡到预定位置上之后，则具有虚拟视点位于预定位置上的相机的图像，读取该位于预定位置的相机的图像。

步骤S610，使用基于平面的图像变形模型处理图像，获取重建图像。

在本发明上述步骤S610提供的技术方案中，在读取位于预定位置的相机的图像之后，使用基于平面的图像变形模型处理图像，获取重建图像。

在该实施例中，在虚拟视点过渡到预定位置，且读取位于预定位置的相机的图像之后，则可以在图像重建场景中，使用基于平面的图像变形模型处理虚拟视点预定位置的相机的图像，进而得到重建图像。

本发明实施例还提供了另一种重建图像的方法，该方法可以包括：在直播过程中，检测到直播画面上接收到移动操作；获取虚拟视点在直播画面上发生位移后的目标位置；控制虚拟视点从目标位置移动到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

该实施例的重建图像的方法可以应用在直播场景中，比如，该直播场景可以为交易类型的直播场景，此处不做具体限制。该实施例的移动操作可以是终端用户在直播场景中针对直播画面所进行的对虚拟视点的移动操作，也可以称为用户自由视点交互，其中，在直播画面上发生移动操作的过程中，虚拟视点在直播画面上会发生位移，比如，从直播画面上的A点开始的移动操作所对应的位移。

该实施例可以检测直播画面上发生交互操作，然后获取虚拟视点在直播画面上发生位移后所停留的目标位置，比如，目标位置为直播画面上的B点，移动操作在B点停住，可以是用户的手指在达到B点刹那间抬起的操作，则虚拟视点在直播画面上发生的位移为A点与B点之间的位移。

在获取虚拟视点在直播画面上发生位移后的目标位置之后，该目标位置不一定对应真实相机位置，从而在该目标位置是无法直接进行图像重建的。该实施例可以控制虚拟视点从目标位置过渡到预定位置，可以是将虚拟视点沿着交互惯性按照一定路径从所停留的目标位置进行过渡，直至过渡到的位置与虚拟视点的空间自由度位置重合，该与虚拟视点的空间自由度位置重合的位置为预定位置。可选地，该实施例的上述预定位置为距离上述目标位置最近的真实视点位置。

在该实施例中，由于在获取虚拟视点在直播画面上发生位移后的目标位置之后，虚拟视点不再受交互操作的控制了，因而该实施例控制虚拟视点从目标位置过渡到预定位置，所涉及的交互惯性可以理解为对虚拟视点进行过渡的一种规则。

可选地，该实施例的上述一定路径可以为在直播画面上预先规定好的平滑路径。上述空间自由度位置可以为空间三自由度位置(x，y，z)。

在该实施例中，在虚拟视点过渡到预定位置上之后，则具有虚拟视点位于预定位置上的图像，该实施例可以使用图像变形模型处理虚拟视点位于上述预定位置上的图像，进而得到重建图像。

在该实施例中，上述图像变形模型的计算过程简单，因而该实施例比采用基于深度图的虚拟视点重建的插值方法要快速，适应了低端机的计算资源，确保了虚拟视点重建图像时的时效性(实时性)，以及复杂的图像重建场景下的图像质量。

该实施例通过惯性DIBR过渡和真实视点位置Warping的组合方案，来避免停留在虚拟视点位置后的低端机的计算的时效性低的问题，以及相关的复杂场景下的图像质量低的问题，可以同时适应中低端机的计算资源以及提高复杂场景下的图像质量，从而使得自由视点视频体验具有更好的普适性。

实施例2

下面对该实施例的上述方法的优选实施方式进行进一步举例介绍。

图7是根据相关技术中的一种DIBR虚拟视点差值的示意图。如图7所示，如图8所示，黑色细实线箭头用于表示原始相机真实的朝向，空心圆圈用于表示原始相机，黑色实心圆圈用于表示虚拟相机。该实施例通过稀疏视点的相机阵列拍摄，来获取一个较大范围的自由视点，其中，黑色实心圆圈用于表示在进行虚拟视点交互时，虚拟视点所停留的位置，空心圆圈用于表示通过DIBR的方法进行插值，所确定的真实相机的位置。在相关技术中，主要的交互方法是通过终端用户的手势交互来确定用户希望停留的虚拟视点的位置，并且根据虚拟视点的6DoF参数，通过DIBR的方法进行插值，以获得用户在虚拟视点位置的观看图像。

但是，单一的DIBR功能还无法满足用户多样化的需求，这主要有以下两方面的原因：由于在一些中低端机型上，终端的计算资源并不丰富，从而会导致DIBR高复杂度的计算无法达到实时的目的，因而，用户如果长时间停留在虚拟视点上进行观看，就会导致视频出现卡顿现象；另外，如果场景非常复杂，或者自由视点视频的压缩码率比较低，则会导致深度图的质量无法保障，从而进一步导致了用户持续停留在虚拟视点位置，并且插值的图像质量和原始视点相比较，主观体验下降也较为严重。

基于以上的两个原因，该实施例提出了需要在DIBR的参考软件中增加基于简化版Warping的方法，以满足多样化和普适性的交互需求。

图8是根据本发明实施例的一种基于Warping和DIBR的虚拟视点插值的示意图。如图8所示，黑色细实线箭头用于表示原始相机真实的朝向，黑色粗实线箭头用于表示在规划好路径后，虚拟相机的朝向(用户看到的都是黑色粗实线箭头)。空心圆圈用于表示原始相机，黑色实心圆圈用于表示虚拟相机。图9是根据本发明实施例的一种基于Warping和DIBR的虚拟视点插值的方法的流程图。结合图8和图9可知，在基于Warping的虚拟视点插值中，当执行步骤S901，用户进行虚拟视点交互(DIBR)，并停留在黑色实心圆圈位置时，可以通过规划路径，将虚拟视点沿着交互惯性通过平滑的路径，进行过渡插值，直至虚拟视点的空间三自由度位置(x，y，z)与真实相机位置进行重合，比如，虚拟视点从第二个黑色实现圆圈移动至与其相邻的左侧空心圆圈所在的位置上，相邻的左侧空心圆圈所在的位置对应的是真实相机的位置，从而实现了步骤S902，将虚拟视点惯性过渡到真实视点，进而执行步骤S903，通过Warping确定真实视点位置。在虚拟视点的空间三自由度位置(x，y，z)与真实相机位置进行重合之后，则插值的规划6DoF位置和真实相机位置之间的差别，仅仅在于剩余的三个旋转自由度(分别为绕x，y，z三个轴旋转的自由度)，在执行步骤S903之后，重新执行S901。其中，在图8中，与空心圆圈对应的实线细箭头，与黑色实心圆圈对应的是实线粗箭头，实线虚箭头对应的是路径。

在虚拟视点的空间三自由度位置(x，y，z)与真实相机位置进行重合之后，则可以通过原始相机图像根据三个旋转自由度的Warping操作，来更新接下来的视点重建功能，这样就可以同时解决上述两个问题：终端重建DIBR的时效性问题，以及复杂重建场景下的图像质量问题。同时，该实施例通过从用户交互的虚拟视点位置到真实相机位置进行惯性的DIBR插值过渡，从而可以解决用户在自由视点切换时候的平滑性问题。

结合图7和图8可知，黑色实心的点(例如A1和A2)可以表示虚拟视点，白色空心位置的点(例如B1、B2、B3等)可以表示真实相机所在的真实视点的位置。在操作界面上发生移动操作后，使得虚拟视点从A1点移动到A2点之后，处于A2位置的虚拟视点会基于预定控制模式选择一个真实相机所在的真实视点，并移动到这个真实视点，此时的控制模式可以包括如下任意一种：选择距离该虚拟视点A2的真实视点；选择计算资源空闲的且与该虚拟视点最近的一个真实视点；在发生选中的真实视点所在的相机损坏、等待处理时长超过预定时长中任意一种或多种情况发生的情况下，选择预设的权重值最高的真实视点。

在该实施例中，上述Warping的操作由于计算简单，只需要进行一次投影，没有其它前后处理操作，因而比DIBR的插值要快速。考虑到标准在不同场景和机型中应用的普遍性，该实施例提供了结合Warping功能的DIBR方法，可以支持更丰富的终端交互设计，并且可以结合实际的终端和场景情况，去灵活地配置不同的交互方法，以提升用户体验。

在该实施例中，通过惯性DIBR过渡和真实视点位置Warping的组合方案，来避免停留在虚拟视点位置后的低端机的计算实时性的问题，以及相关复杂场景下的图像质量问题。

该实施例提供了一种具有计算复杂度较低的Warping功能支持的DIBR合成方法，通过该方法，可以同时适应中低端机的计算资源以及复杂场景下的图像质量问题，从而使得自由视点视频体验具有更好的普适性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例3

根据本发明实施例，还提供了一种用于实施上述重建图像的方法的装置。需要说明的是，该实施例的重建图像的装置可以用于执行本发明实施例图2所示的重建图像的方法。

图10是根据本发明实施例的一种重建图像的装置的示意图。如图10所示，该重建图像的装置100可以包括：第一获取模块101、第一控制模块102和第二处理模块103。

第一获取模块101，用于检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置。

第一控制模块102，用于控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置。

第二处理模块103，用于使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

此处需要说明的是，上述第一获取模块101、第一控制模块102和第二处理模块103对应于实施例1中的步骤S202至步骤S206，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

根据本发明实施例，还提供了另一种用于实施上述重建图像的方法的装置。需要说明的是，该实施例的重建图像的装置可以用于执行本发明实施例图3所示的重建图像的方法。

根据本发明实施例，还提供了另一种用于实施上述重建图像的方法的装置。需要说明的是，该实施例的重建图像的装置可以用于执行本发明实施例图4所示的重建图像的方法。

图11是根据本发明实施例的另一种重建图像的装置的示意图。如图11所示，该重建图像的装置110可以包括：检测模块111、第二控制模块112、第一读取模块113和第二处理模块114。

检测模块111，用于检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作。

第二控制模块112，用于控制虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置。

第一读取模块113，用于读取位于第三位置的相机的图像。

第二处理模块114，用于使用基于平面的图像变形模型处理图像，获取重建图像。

此处需要说明的是，上述检测模块111、第二控制模块112、第一读取模块113和第二处理模块114对应于实施例1中的步骤S302至步骤S308，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

根据本发明实施例，还提供了另一种用于实施上述重建图像的方法的装置。需要说明的是，该实施例的重建图像的装置可以用于执行本发明实施例图5所示的重建图像的方法。

图12是根据本发明实施例的另一种重建图像的装置的示意图。如图12所示，该重建图像的装置120可以包括：第一感应模块121、第二获取模块122、第三控制模块123和第三处理模块124。

第一感应模块121，用于感应操作对象在操作界面上的移动操作。

第二获取模块122，用于如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置。

第三控制模块123，用于控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置。

第三处理模块124，用于使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

此处需要说明的是，上述第一感应模块121、第二获取模块122、第三控制模块123和第三处理模块124对应于实施例1中的步骤S502至步骤S508，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

根据本发明实施例，还提供了另一种用于实施上述重建图像的方法的装置。需要说明的是，该实施例的重建图像的装置可以用于执行本发明实施例图6所示的重建图像的方法。

图13是根据本发明实施例的另一种重建图像的装置的示意图。如图13所示，该重建图像的装置130可以包括：第二感应模块131、第三获取模块132、第四控制模块133、第二读取模块134和第四处理模块135。

第二感应模块131，用于感应操作对象在操作界面上的移动操作。

第三获取模块132，用于如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置。

第四控制模块133，用于控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为部署有相机的真实视点的位置。

第二读取模块134，用于读取位于预定位置的相机的图像。

第四处理模块135，用于使用基于平面的图像变形模型处理图像，获取重建图像。

此处需要说明的是，上述第二感应模块131、第三获取模块132、第四控制模块133、第二读取模块134和第四处理模块135对应于实施例1中的步骤S602至步骤S610，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

在该实施例的重建图像的装置中，获取虚拟视点在操作界面上发生位移后的目标位置，在虚拟视点从目标位置过渡到预定位置的情况下，可以使用图像变形模型处理虚拟视点位于预定位置上的图像，达到了获取重建图像的目的，由于图像变形模型的计算过程简单，计算速度块，且适应低端机的计算资源，从而解决了在虚拟视点重建图像时的时效性差的技术问题，达到了提高在虚拟视点重建图像时的时效性的技术效果。

实施例4

本发明的实施例可以提供一种重建图像的系统，该重建图像的系统可以包括计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行重建图像的方法中以下步骤的程序代码：检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

可选地，图14是根据本发明实施例的一种计算机终端的结构框图。如图14所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器142、存储器144、以及传输装置146。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的重建图像的方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的重建图像的方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

可选地，上述处理器还可以执行如下步骤的程序代码：如果检测到目标位置处的交互操作中断，则启动执行虚拟视点从目标位置过渡到预定位置的过渡操作。

可选地，上述处理器还可以执行如下步骤的程序代码：在控制虚拟视点从目标位置过渡到预定位置的过程中，使用DIBR虚拟视点插值算法，生成过渡图像帧的插值；基于过渡图像帧的插值，来重建过渡过程中的图像。

可选地，上述处理器还可以执行如下步骤的程序代码：在控制虚拟视点从目标位置过渡到预定位置之后，调用Warping图像变形算法，切换为使用图像变形模型来进行图像重建。

可选地，上述处理器还可以执行如下步骤的程序代码：基于虚拟视点所处的预定位置，从相机上读取到对应的图像；根据虚拟视点所在的空间坐标系上的旋转自由度，使用图像变形模型来处理读取到的图像。

可选地，上述处理器还可以执行如下步骤的程序代码：在控制虚拟视点从目标位置过渡到预定位置之前，获取虚拟视点当前所在的目标位置与预定位置之间的间距；如果间距超过阈值，则控制虚拟视点按照预设的相机优先级，从目标位置移动到优先级最高的相机所在的视点位置；如果间距未超过阈值，则执行虚拟视点从目标位置过渡到预定位置的步骤。

可选地，上述处理器还可以执行如下步骤的程序代码：在检测到操作界面上发生交互操作之后，弹出用于指示至少一个选择控件的提示信息；通过触发任意一个选择控件，选择重建图像的显示分辨率。

作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作；控制虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；读取位于第三位置的相机的图像；使用基于平面的图像变形模型处理图像，获取重建图像。

可选地，上述处理器还可以执行如下步骤的程序代码：选择距离第二位置最近的真实视点位置作为第三位置。

作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：感应到操作对象在操作界面上的交互操作；响应交互操作，显示虚拟视点基于交互操作在操作界面上发生的位移，其中，位移为从第一位置移动到第二位置；显示虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；显示使用基于平面的图像变形模型处理目标图像而生成的重建图像，其中，目标图像为位于第三位置的相机捕获的图像。

作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：感应操作对象在操作界面上的移动操作；如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：感应操作对象在操作界面上的移动操作；如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为部署有相机的真实视点的位置；读取位于预定位置的相机的图像；使用基于平面的图像变形模型处理图像，获取重建图像。

作为一种可选的示例，处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：在直播过程中，检测到直播画面上接收到移动操作；获取虚拟视点在直播画面上发生位移后的目标位置；控制虚拟视点从目标位置移动到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

采用本发明实施例，提供了一种重建图像的方法。通过检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。也就是说，获取虚拟视点在操作界面上发生位移后的目标位置，在虚拟视点从目标位置过渡到预定位置的情况下，可以使用图像变形模型处理虚拟视点位于预定位置上的图像，达到了获取重建图像的目的，由于图像变形模型的计算过程简单，计算速度块，且适应低端机的计算资源，从而解决了在虚拟视点重建图像时的时效性差的技术问题，达到了提高在虚拟视点重建图像时的时效性的技术效果。

本领域普通技术人员可以理解，图14所示的结构仅为示意，计算机终端A也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图14其并不对上述计算机终端的结构造成限定。例如，计算机终端A还可包括比图14中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图14所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

实施例5

本发明的实施例还提供了一种计算机可读存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的重建图像的方法所执行的程序代码。

可选地，在本实施例中，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：检测到操作界面上发生交互操作，获取虚拟视点在操作界面上发生位移后的目标位置；控制虚拟视点从目标位置过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：如果检测到目标位置处的交互操作中断，则启动执行虚拟视点从目标位置过渡到预定位置的过渡操作。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在控制虚拟视点从目标位置过渡到预定位置的过程中，使用DIBR虚拟视点插值算法，生成过渡图像帧的插值；基于过渡图像帧的插值，来重建过渡过程中的图像。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在控制虚拟视点从目标位置过渡到预定位置之后，调用Warping图像变形算法，切换为使用图像变形模型来进行图像重建。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：基于虚拟视点所处的预定位置，从相机上读取到对应的图像；根据虚拟视点所在的空间坐标系上的旋转自由度，使用图像变形模型来处理读取到的图像。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在控制虚拟视点从目标位置过渡到预定位置之前，获取虚拟视点当前所在的目标位置与预定位置之间的间距；如果间距超过阈值，则控制虚拟视点按照预设的相机优先级，从目标位置移动到优先级最高的相机所在的视点位置；如果间距未超过阈值，则执行虚拟视点从目标位置过渡到预定位置的步骤。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：在检测到操作界面上发生交互操作之后，弹出用于指示至少一个选择控件的提示信息；通过触发任意一个选择控件，选择重建图像的显示分辨率。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作；控制虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；读取位于第三位置的相机的图像；使用基于平面的图像变形模型处理图像，获取重建图像。

可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的程序代码：选择距离第二位置最近的真实视点位置作为第三位置。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：感应到操作对象在操作界面上的交互操作；响应交互操作，显示虚拟视点基于交互操作在操作界面上发生的位移，其中，位移为从第一位置移动到第二位置；显示虚拟视点从第二位置过渡到第三位置，其中，第三位置为部署有相机的真实视点的位置；显示使用基于平面的图像变形模型处理目标图像而生成的重建图像，其中，目标图像为位于第三位置的相机捕获的图像。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：感应操作对象在操作界面上的移动操作；如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用基于平面的图像变形模型处理相机在预定位置的图像，获取重建图像。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：感应操作对象在操作界面上的移动操作；如果感应到移动操作中止，获取移动操作中止时操作对象在操作界面停留的停留位置；控制位于停留位置的虚拟视点过渡到预定位置，其中，预定位置为部署有相机的真实视点的位置；读取位于预定位置的相机的图像；使用基于平面的图像变形模型处理图像，获取重建图像。

作为一种可选的示例，计算机可读存储介质被设置为存储用于执行以下步骤的程序代码：在直播过程中，检测到直播画面上接收到移动操作；获取虚拟视点在直播画面上发生位移后的目标位置；控制虚拟视点从目标位置移动到预定位置，其中，预定位置为与虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理虚拟视点位于预定位置上的图像，获取重建图像。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种重建图像的方法，包括：

检测到操作界面上发生交互操作，获取虚拟视点在所述操作界面上发生位移后的目标位置；

控制所述虚拟视点从所述目标位置过渡到预定位置，其中，所述预定位置为与所述虚拟视点的空间自由度位置重合的相机位置；

使用图像变形模型处理所述虚拟视点位于所述预定位置上的图像，获取重建图像。

2.根据权利要求1所述的方法，其中，如果检测到所述目标位置处的交互操作中断，则启动执行所述虚拟视点从所述目标位置过渡到所述预定位置的过渡操作。

3.根据权利要求1所述的方法，其中，在控制所述虚拟视点从所述目标位置过渡到预定位置的过程中，所述方法还包括：

使用DIBR虚拟视点插值算法，生成过渡图像帧的插值；

基于所述过渡图像帧的插值，来重建过渡过程中的图像。

4.根据权利要求3所述的方法，其中，在控制所述虚拟视点从所述目标位置过渡到预定位置之后，调用Warping图像变形算法，切换为使用所述图像变形模型来进行图像重建。

5.根据权利要求1至4中任意一项所述的方法，其中，使用图像变形模型处理虚拟视点位于所述预定位置上的图像，包括：

基于所述虚拟视点所处的预定位置，从所述相机上读取到对应的图像；

根据所述虚拟视点所在的空间坐标系上的旋转自由度，使用所述图像变形模型来处理所述读取到的图像。

6.根据权利要求5所述的方法，其中，所述空间自由度为所述虚拟视点位于所述空间坐标系上的坐标值，所述旋转自由度为围绕所述空间坐标系的坐标轴旋转的自由度。

7.根据权利要求1所述的方法，其中，在控制所述虚拟视点从所述目标位置过渡到预定位置之前，所述方法还包括：

获取所述虚拟视点当前所在的所述目标位置与所述预定位置之间的间距；

如果所述间距超过阈值，则控制所述虚拟视点按照预设的相机优先级，从所述目标位置移动到优先级最高的相机所在的视点位置；

如果所述间距未超过所述阈值，则执行所述虚拟视点从所述目标位置过渡到预定位置的步骤。

8.根据权利要求1所述的方法，其中，在检测到操作界面上发生交互操作之后，所述方法还包括：

弹出用于指示至少一个选择控件的提示信息；

通过触发任意一个选择控件，选择所述重建图像的显示分辨率。

9.一种重建图像的方法，包括：

在直播过程中，检测到直播画面上接收到移动操作；

获取虚拟视点在所述直播画面上发生位移后的目标位置；

控制所述虚拟视点从所述目标位置移动到预定位置，其中，所述预定位置为与所述虚拟视点的空间自由度位置重合的相机位置；

10.一种重建图像的方法，其中，包括：

检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作；

控制所述虚拟视点从所述第二位置过渡到第三位置，其中，所述第三位置为部署有相机的真实视点的位置；

读取位于所述第三位置的相机的图像；

使用基于平面的图像变形模型处理所述图像，获取重建图像。

11.根据权利要求10所述的方法，其中，选择距离所述第二位置最近的真实视点位置作为所述第三位置。

12.一种重建图像的方法，其中，包括：

感应到操作对象在操作界面上的交互操作；

响应所述交互操作，显示虚拟视点基于所述交互操作在所述操作界面上发生的位移，其中，所述位移为从第一位置移动到第二位置；

显示所述虚拟视点从所述第二位置过渡到第三位置，其中，所述第三位置为部署有相机的真实视点的位置；

显示使用基于平面的图像变形模型处理目标图像而生成的重建图像，其中，所述目标图像为位于所述第三位置的相机捕获的图像。

13.一种重建图像的方法，其中，包括：

感应操作对象在操作界面上的移动操作；

如果感应到所述移动操作中止，获取所述移动操作中止时所述操作对象在所述操作界面停留的停留位置；

控制位于所述停留位置的虚拟视点过渡到预定位置，其中，所述预定位置为与所述虚拟视点的空间自由度位置重合的相机位置；

使用基于平面的图像变形模型处理所述相机在所述预定位置的图像，获取重建图像。

14.一种重建图像的方法，其中，包括：

感应操作对象在操作界面上的移动操作；

控制位于所述停留位置的虚拟视点过渡到预定位置，其中，所述预定位置为部署有相机的真实视点的位置；

读取位于所述预定位置的相机的图像；

15.一种重建图像的装置，其中，包括：

第一获取模块，用于检测到操作界面上发生交互操作，获取虚拟视点在所述操作界面上发生位移后的目标位置；

第一控制模块，用于控制所述虚拟视点从所述目标位置过渡到预定位置，其中，所述预定位置为与所述虚拟视点的空间自由度位置重合的相机位置；

第二处理模块，用于使用图像变形模型处理所述虚拟视点位于所述预定位置上的图像，获取重建图像。

16.一种重建图像的装置，其中，包括：

检测模块，用于检测到操作界面上发生控制虚拟视点从第一位置移动到第二位置的交互操作；

第二控制模块，用于控制所述虚拟视点从所述第二位置过渡到第三位置，其中，所述第三位置为部署有相机的真实视点的位置；

第一读取模块，用于读取位于所述第三位置的相机的图像；

第二处理模块，用于使用基于平面的图像变形模型处理所述图像，获取重建图像。

17.一种重建图像的装置，其中，包括：

第一感应模块，用于感应操作对象在操作界面上的移动操作；

第二获取模块，用于如果感应到所述移动操作中止，获取所述移动操作中止时所述操作对象在所述操作界面停留的停留位置；

第三控制模块，用于控制位于所述停留位置的虚拟视点过渡到预定位置，其中，所述预定位置为与所述虚拟视点的空间自由度位置重合的相机位置；

第三处理模块，用于使用基于平面的图像变形模型处理所述相机在所述预定位置的图像，获取重建图像。

18.一种重建图像的装置，其中，包括：

第二感应模块，用于感应操作对象在操作界面上的移动操作；

第三获取模块，用于如果感应到所述移动操作中止，获取所述移动操作中止时所述操作对象在所述操作界面停留的停留位置；

第四控制模块，用于控制位于所述停留位置的虚拟视点过渡到预定位置，其中，所述预定位置为部署有相机的真实视点的位置；

第二读取模块，用于读取位于所述预定位置的相机的图像；

第四处理模块，用于使用基于平面的图像变形模型处理所述图像，获取重建图像。

19.一种计算机可读存储介质，其中，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器运行时控制所述计算机可读存储介质所在设备执行权利要求1至14中任意一项所述的方法。

20.一种处理器，其中，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至14中任意一项所述的方法。

21.一种重建图像的系统，其中，包括：

处理器；

存储器，与所述处理器相连接，用于为所述处理器提供处理以下处理步骤的指令：

检测到操作界面上发生交互操作，获取虚拟视点在所述操作界面上发生位移后的目标位置；控制所述虚拟视点从所述目标位置过渡到预定位置，其中，所述预定位置为与所述虚拟视点的空间自由度位置重合的相机位置；使用图像变形模型处理所述虚拟视点位于所述预定位置上的图像，获取重建图像。