CN117478809A - 虚拟拍摄的延迟优化方法及装置、系统和存储介质 - Google Patents

Abstract

本公开涉及虚拟拍摄的延迟优化方法及装置、系统和存储介质，该方法包括：在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过虚拟拍摄系统的延迟时间后的位置数据；向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。由此，能够降低虚拟拍摄系统的延迟。

Description

虚拟拍摄的延迟优化方法及装置、系统和存储介质

技术领域

本公开涉及虚拟拍摄技术领域，尤其涉及一种虚拟拍摄的延迟优化方法及装置、系统和存储介质。

背景技术

虚拟拍摄，又称数字背景拍摄，其是通过在屏幕比如LED屏幕上投射视频或实时渲染的图像作为数字背景来进行影视拍摄。

运动捕捉系统，简称动捕系统，其用于捕捉物体运动状态变化，最常见的是捕捉物体的位置和方向。在虚拟拍摄方案中常用的动捕系统包括OptiTrack和Mosys等。

虚拟拍摄较传统的绿幕抠像方案有非常明显的技术优势，其通过在LED屏幕上投影实时渲染的三维场景，能够将演员置身于虚拟场景中，实现在影棚内拍摄外景或科幻背景。

现有的虚拟拍摄方案中，从图像采集设备(比如相机)移动到位置A，到屏幕上呈现相机在位置A时应该看到的画面，需要经过一定的时间，称之为虚拟拍摄系统的延迟。由于这个延迟的存在，当相机移动过快时，相机采集画面时的位置与屏幕上虚拟场景渲染时使用的相机位置差异就会过大，虚拟场景内物体的透视关系会出现偏差，因此有些需要快速移动机位的镜头就无法使用虚拟拍摄，从而限制了虚拟拍摄的应用场景。

发明内容

有鉴于此，本公开提出了一种虚拟拍摄的延迟优化方法及装置、系统和存储介质，以降低虚拟拍摄系统的延迟。

根据本公开的一方面，提供了一种虚拟拍摄的延迟优化方法，包括：在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过虚拟拍摄系统的延迟时间后的位置数据；向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。

在一种可能的实现方式中，在使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据之前，还包括：收集步骤，收集所述图像采集设备的多个位置数据作为训练位置数据；输入步骤，将所述训练位置数据中的在第一采样时间采集的第一部分数据输入至待训练的预测模型；比较步骤，将所述待训练的预测模型输出的预测位置数据与所述训练位置数据中的第一真实位置数据进行比较，如果所述预测位置数据与所述第一真实位置数据之间的差不低于设定阈值，则执行处理步骤，其中，所述第一真实位置数据是所述图像采集设备自所述第一采样时间起经过所述延迟时间后的真实位置数据；处理步骤，纠正所述待训练的预测模型的参数，并使用所述训练位置数据中的在第二采样时间采集的第二部分数据和自所述第二采样时间起经过所述延迟时间后的第二真实位置数据，再次顺次执行所述输入步骤和所述比较步骤，直至纠正了参数的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值为止，其中，训练好的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值。

在一种可能的实现方式中，在所述输入步骤之前，还包括：确定所述图像采集设备的运动模式；根据所述运动模式确定待训练的预测模型；针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

在一种可能的实现方式中，在所述输入步骤之前，还包括：在用户对所述图像采集设备进行操作的过程中采集所述用户的操作习惯和/或操作信息；根据所述操作习惯和/或所述操作信息确定待训练的预测模型；针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

在一种可能的实现方式中，在所述输入步骤之前，还包括：计算所述图像采集设备的轴线与屏幕的交汇点，其中所述图像采集设备与所述屏幕是对准的；使用高速图像采集设备拍摄所述图像采集设备和所述屏幕，以获取所述图像采集设备从静止到开始移动的第一时刻、以及所述屏幕上的所述交汇点从静止到开始移动的第二时刻；计算所述第二时刻与所述第一时刻之间的时间差，作为所述延迟时间。

根据本公开的另一方面，提供了一种虚拟拍摄的延迟优化装置，包括：预测模块，用于在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过所述虚拟拍摄系统的延迟时间后的位置数据；发送模块，用于向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。

在一种可能的实现方式中，所述预测模块被配置为执行以下处理：收集步骤，收集所述图像采集设备的多个位置数据作为训练位置数据；输入步骤，将所述训练位置数据中的在第一采样时间采集的第一部分数据输入至待训练的预测模型；比较步骤，将所述待训练的预测模型输出的预测位置数据与所述训练位置数据中的第一真实位置数据进行比较，如果所述预测位置数据与所述第一真实位置数据之间的差不低于设定阈值，则执行处理步骤，其中，所述第一真实位置数据是所述图像采集设备自所述第一采样时间起经过所述延迟时间后的真实位置数据；处理步骤，纠正所述待训练的预测模型的参数，并使用所述训练位置数据中的在第二采样时间采集的第二部分数据和自所述第二采样时间起经过所述延迟时间后的第二真实位置数据，再次顺次执行所述输入步骤和所述比较步骤，直至纠正了参数的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值为止，其中，训练好的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值。

根据本公开的第三方面，提供了一种虚拟拍摄的延迟优化装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述延迟优化方法。

根据本公开的第四方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述延迟优化方法。

根据本公开的虚拟拍摄的延迟优化方法及装置、系统和存储介质，在接收到图像采集设备的第一位置数据时，使用预先训练好的预测模型来预测图像采集设备自接收到该第一位置数据起经过虚拟拍摄系统的延迟时间后的第二位置数据，然后将预测到的第二位置数据发送给渲染引擎，渲染引擎可以使用预测到的第二位置数据进行虚拟拍摄的渲染，由此，改进了现有的虚拟拍摄方案，通过预测图像采集设备的位置并使用所预测的图像采集设备的位置提前进行虚拟场景的渲染，来弥补现有的虚拟拍摄方案中的延迟问题，从而能够降低虚拟拍摄系统的延迟时间。

这样，能够提高图像采集设备的位置与屏幕的画面匹配度，能够实现接近零延迟的拍摄效果。比如，在诸如滑轨、摇臂等图像采集设备运动非常规律的场景下，能够实现零延迟的效果；在手持等图像采集设备运动规律性稍差的场景下，本公开的预测位置(预测的图像采集设备的位置数据)也比现有的虚拟拍摄方案中的非预测位置更接近经过一定延迟后图像采集设备的真实位置。由此，能够增加虚拟拍摄的应用场景。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开的示例性实施例的虚拟拍摄系统的延迟的示意图。

图2示出根据本公开的示例性实施例的虚拟拍摄的延迟优化方法的流程图。

图3示出根据本公开的示例性实施例的虚拟拍摄的延迟优化方法的系统架构图。

图4示出根据本公开的示例性实施例的虚拟拍摄的延迟优化装置的框图。

图5示出根据本公开的示例性实施例的虚拟拍摄系统的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

以LED作为背景画面显示屏幕，并以相机作为图像采集设备的虚拟拍摄场景为例。在虚拟拍摄过程中，渲染引擎基于当前相机的位置，将虚拟场景渲染到LED屏幕上。在相机移动时，LED屏幕上的画面基于相机位置进行实时的调整，以保证在相机拍摄到的画面中，虚拟场景中物体的透视关系是正确的。例如，可基于相机位置调整虚拟相机位置，利用虚拟相机拍摄构建好的虚拟场景3D模型，拍摄得到的数据用于渲染得到屏幕上显示的画面。从相机移动到新的位置、到渲染引擎使用该新的位置完成虚拟场景的渲染和上屏，需要一定的时间T，T＝相机移动到动捕系统捕捉到此移动的时间+动捕数据传输到渲染引擎的时间+渲染引擎渲染完一帧画面的时间+渲染完成的画面从渲染引擎传输到显卡的时间+画面从显卡传输到LED屏幕的时间+LED屏幕完成图像刷新的时间。在大部分虚拟拍摄系统中，这个时间一般是200ms左右，可以称时间T为虚拟拍摄系统的延迟。

如图1所示，虚拟拍摄系统的延迟时间＝T2-T1＝T1-T0，其中，在T0时刻，相机位于位置A；在T1时刻，相机从位置A移动到位置B，LED屏幕呈现渲染引擎使用位置A渲染的画面；在T2时刻，相机从位置B移动到位置C，LED屏幕呈现渲染引擎使用位置B渲染的画面。

由于存在上述虚拟拍摄系统的延迟时间，因此，在使用虚拟拍摄方案时，相机的移动速度是不能太快的，这是因为，如果相机移动太快，则相机采集画面时的位置B与LED屏幕上内容渲染使用的位置A差异过大，从而可能导致虚拟场景内物体的透视关系出现偏差。

现有的虚拟拍摄方案可能都接受了虚拟拍摄系统的延迟时间的存在，并采用限制相机移动速度的方式尽量规避延迟时间对虚拟拍摄的拍摄效果的影响。然而，有些需要快速移动机位的镜头就无法使用虚拟拍摄，比如武打动作的拍摄等，这限制了虚拟拍摄的应用场景。

本公开提出，分析图像采集设备的运动趋势，预测图像采集设备的位置，并使用预测的图像采集设备的位置提前进行场景渲染和上屏，从而能够弥补现有的虚拟拍摄方案中的延迟问题，进而能够降低虚拟拍摄系统的延迟时间。

以下结合图2～图4来详细阐述根据本公开的示例性实施例的虚拟拍摄的延迟优化方法、装置及虚拟拍摄系统。

图2示出根据本公开的示例性实施例的虚拟拍摄的延迟优化方法的流程图。该延迟优化方法由虚拟拍摄系统的预测系统来执行，如图2所示，该延迟优化方法包括：

步骤S220，在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过所述虚拟拍摄系统的延迟时间后的位置数据。

图像采集设备比如相机的运动是惯性的，无论是从静止到开始运动，还是从运动到静止，亦或是进行转向，都能从动捕系统返回的采样数据中分析出图像采集设备的运动趋势，进而通过运动趋势预测出特定时间(比如虚拟拍摄系统的延迟时间)后图像采集设备的位置和方向。换言之，应可以预测图像采集设备在特定时间之后的位置数据。

本实施例中，可以根据拍摄现场的采样数据快速训练出用于预测图像采集设备的位置数据的预测模型。图像采集设备的位置数据包括图像采集设备的位置坐标和图像采集设备的朝向。其中，该预测模型的输入为动捕系统返回的图像采集设备在当前时刻的位置数据，该预测模型的输出为图像采集设备自该当前时刻起经过虚拟拍摄系统的延迟时间后的位置数据。稍后将详细描述预测模型的训练。

在正式拍摄的过程中，动捕系统采集图像采集设备在当前时刻的位置数据(比如位置A)，并将所采集的位置数据发送至预测系统。预测系统接收到该位置数据之后，将该位置数据输入至已经训练好的预测模型中，该预测模型能够预测出图像采集设备自该当前时刻起经过延迟时间后的位置数据，预测系统将该预测模型的输出数据作为第二位置数据(比如位置B)。

在预测到图像采集设备的第二位置数据之后，预测系统继续执行步骤S240。

步骤S240，向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。

本实施例中，将预测到的第二位置数据发送给渲染引擎。渲染引擎使用第二位置数据进行渲染。也就是说，在正式拍摄过程中，使用训练好的预测模型对图像采集设备的位置进行预测，然后将预测的图像采集设备的位置发送到渲染引擎进行虚拟场景的渲染和上屏。在一个示例中，渲染引擎可以将虚拟相机位置调整为与第二位置数据一致，通过虚拟相机“拍摄”构建好的虚拟场景3D模型，得到待渲染的画面的数据，并基于该数据渲染和上屏。

示例性的，假设图像采集设备在当前时刻T0的位置数据为位置A、预测到的第二位置数据为位置B，自当前时刻T0起经过延迟时间T(T＝T1-T0)之后，图像采集设备移动到位置B’(也就是说，在时刻T1，图像采集设备移动到位置B’)，此时屏幕上呈现的画面是使用预测位置B渲染的画面。如果预测位置B与图像采集设备移动到的位置B’一致，则可以认为屏幕呈现的画面与图像采集设备的位置完成匹配，虚拟拍摄系统的延迟时间为0。

根据本实施例的虚拟拍摄的延迟优化方法，在接收到图像采集设备的第一位置数据时，使用预先训练好的预测模型来预测图像采集设备自接收到该第一位置数据起经过虚拟拍摄系统的延迟时间后的第二位置数据，然后将预测到的第二位置数据发送给渲染引擎，渲染引擎可以使用预测到的第二位置数据进行虚拟拍摄的渲染，由此，改进了现有的虚拟拍摄方案，通过预测图像采集设备的位置并使用所预测的图像采集设备的位置提前进行虚拟场景的渲染，来弥补现有的虚拟拍摄方案中的延迟问题，从而能够降低虚拟拍摄系统的延迟时间。

这样，能够提高图像采集设备的位置与屏幕的画面匹配度，能够实现接近零延迟的拍摄效果。比如，在诸如滑轨、摇臂等图像采集设备运动非常规律的场景下，能够实现零延迟的效果；在手持等图像采集设备运动规律性稍差的场景下，本公开的预测位置(预测的图像采集设备的位置数据)也比现有的虚拟拍摄方案中的非预测位置更接近经过一定延迟后图像采集设备的真实位置。由此，能够增加虚拟拍摄的应用场景。

在一种可能的实现方式中，在使用预先训练好的预测模型来预测图像采集设备的第二位置数据之前，上述延迟优化方法还包括：收集步骤，收集图像采集设备的多个位置数据作为训练位置数据；输入步骤，将所述训练位置数据中的在第一采样时间采集的第一部分数据输入至待训练的预测模型；比较步骤，将所述待训练的预测模型输出的预测位置数据与所述训练位置数据中的第一真实位置数据进行比较，如果所述预测位置数据与所述第一真实位置数据之间的差不低于设定阈值，则执行处理步骤，其中，所述第一真实位置数据是图像采集设备自所述第一采样时间起经过所述延迟时间后的真实位置数据；处理步骤，纠正所述待训练的预测模型的参数，并使用所述训练位置数据中的在第二采样时间采集的第二部分数据和自所述第二采样时间起经过所述延迟时间后的第二真实位置数据，再次顺次执行所述输入步骤和所述比较步骤，直至纠正了参数的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于设定阈值为止，其中，训练好的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值。

本实施例中，可以使用收集到的位置数据按照上述处理对预测模型进行训练。示例性的，以动捕系统的采样频率为50Hz、虚拟拍摄系统的延迟时间为200ms为例，每秒可以从动捕系统获取图像采集设备的50个位置数据，依次编号为1～50，先将1～20号位置数据作为待训练的预测模型的输入，该待训练的预测模型的输出为该模型预测的200ms后的图像采集设备的位置数据A1；将位置数据A1与第30号位置数据进行比较(30号数据为200ms后图像采集设备真实的位置数据)；如果两者之间的差不低于设定阈值，则表示该待训练的预测模型的准确度较低，需要纠正该待训练的预测模型的参数，反之，则表示该待训练的预测模型的准确度较高，应无需纠正该待训练的预测模型的参数，该预测模型的训练结束。在纠正了参数之后，将2～21号位置数据作为纠正了参数的预测模型的输入，该纠正了参数的预测模型的输出为该模型预测的200ms后的图像采集设备的位置数据A2；将位置数据A2与第31号位置数据进行比较，依次类推，经过反复的预测、比较、参数纠正，直到预测位置与真实位置的误差低于设定阈值。

由此，使用预先训练好的预测模型预测到的位置数据与真实位置数据之间的误差低于设定阈值，从而可以提高图像采集设备的位置与屏幕的画面匹配度。

在一种可能的实现方式中，在所述输入步骤之前，上述延迟优化方法还可以包括：确定图像采集设备的运动模式；根据所述运动模式确定待训练的预测模型；针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

考虑到图像采集设备可以运行在不同的运动模式下，该运动模式可以包括但不限于摇臂、云台、手持、滑轨等，不同的运动模式下，图像采集设备的运动规律存在一定差异，因此，本实施例中，选择图像采集设备的运动模式并采用前文所述的训练方法来训练与所选择的运动模式相对应的预测模型，由此，可以针对每一种运动模式训练与该运动模式相对应的预测模型，从而能够提高预测的准确性。

在一种可能的实现方式中，在所述输入步骤之前，上述延迟优化方法还可以包括：在用户对图像采集设备进行操作的过程中采集所述用户的操作习惯和/或操作信息；根据所述操作习惯和/或所述操作信息确定待训练的预测模型；针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

考虑到每位用户(比如摄影师)的操作习惯会有差异，在正式拍摄之前，用户先基于自己的拍摄习惯对图像采集设备进行操作，因此，本实施例中，采集在该操作的过程中用户的操作习惯和/或操作信息，采用前文所述的训练方法来训练与采集到的用户的操作习惯和/或操作信息相对应的预测模型，由此，可以针对每一名用户训练与该用户相对应的预测模型，该预测模型可能为该用户的专属的预测模型，从而能够进一步提高预测的准确性。

在一种可能的实现方式中，在所述输入步骤之前，上述延迟优化方法还可以包括：计算所述图像采集设备的轴线与所述屏幕的交汇点，其中所述图像采集设备与所述屏幕是对准的；使用高速图像采集设备拍摄所述图像采集设备和所述屏幕，以获取所述图像采集设备从静止到开始移动的第一时刻、以及所述屏幕上的所述交汇点从静止到开始移动的第二时刻；计算所述第二时刻与所述第一时刻之间的时间差，作为所述延迟时间。

本实施例中，可以采用如下方式来测算虚拟拍摄系统的延迟时间：将图像采集设备对准屏幕(例如使得图像采集设备透镜的轴线方向与屏幕垂直)；计算图像采集设备的轴线与屏幕的交汇点p，在p点显示一个定位图像，如白色的实心点或圆圈，定位图像随着图像采集设备的转动在屏幕上移动。

考虑到高速图像采集设备比如高速摄像机能够以很高的频率记录一个动态的图像，因此本实施例选用高速图像采集设备进行采样。一个动态的图像是需要数个静止的连贯的图片按一定时间速度播放出来的，而高速图像采集设备一般可以每秒1000～10000帧的速度记录，也就是说高速图像采集设备可以在很短的时间内完成对高速目标的快速、多次采样，当以常规速度放映时，所记录目标的变化过程就清晰、缓慢地呈现在眼前。

因此，本实施例使用与图像采集设备不同的高速图像采集设备拍摄图像采集设备和屏幕，记录图像采集设备从静止到开始移动，图像采集设备和屏幕上p点的变化过程。分析高速图像采集设备记录的视频以获取图像采集设备开始移动的时刻t0(第一时刻)、以及屏幕上p点从静止到开始移动的时刻t1(第二时刻)，则虚拟拍摄系统的延迟时间t＝t1-t0。

应能够理解，测算出的虚拟拍摄系统的延迟时间可用于预测模型的训练。

由此，本实施例可以先通过使用高速图像采集设备记录图像采集设备和屏幕的变化时间差来测算出虚拟拍摄系统的延迟时间，然后根据拍摄现场的图像采集设备的运动模式、用户对图像采集设备的操作习惯快速训练出对应的预测模型，通过使用预测模型预测到的位置数据进行场景渲染和上屏，可以实现接近零延迟的拍摄效果。

图3示出根据本公开的示例性实施例的虚拟拍摄的延迟优化方法的系统架构图。如图3所示，该系统主要包括：摄像机301、动捕系统302、相机位置预测系统303、渲染引擎304、LED屏幕305。

动捕系统302追踪摄像机301并采集相机位置数据；相机位置预测系统303从动捕系统302获取该相机位置数据，执行本实施例的延迟优化方法；渲染引擎304接收相机位置预测系统303所预测的相机位置数据，并使用该相机位置数据进行虚拟拍摄的渲染；LED屏幕305呈现实时渲染图像，其中渲染引擎304进行包括渲染的处理后获得该实时渲染图像；摄像机301进行拍摄，以取景到演员的图像和LED屏幕所呈现的实时渲染图像，并将所取景到的图像存储到存储卡中。应理解，以上系统可分开设置，或集成在一起，例如相机位置预测系统303和动捕系统302也可以集成在同一设备上实现。

图4示出根据本公开的示例性实施例的虚拟拍摄的延迟优化装置的框图。该延迟优化装置可以应用于虚拟拍摄系统的预测系统，如图4所示，该延迟优化装置400包括预测模块410和发送模块420。预测模块410用于在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过所述虚拟拍摄系统的延迟时间后的位置数据。发送模块420与预测模块410连接，用于向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。

在一种可能的实现方式中，所述预测模块410被配置为执行以下处理：收集步骤，收集图像采集设备的多个位置数据作为训练位置数据；输入步骤，将所述训练位置数据中的在第一采样时间采集的第一部分数据输入至待训练的预测模型；比较步骤，将所述待训练的预测模型输出的预测位置数据与所述训练位置数据中的第一真实位置数据进行比较，如果所述预测位置数据与所述第一真实位置数据之间的差不低于设定阈值，则执行处理步骤，其中，所述第一真实位置数据是所述图像采集设备自所述第一采样时间起经过所述延迟时间后的真实位置数据；处理步骤，纠正所述待训练的预测模型的参数，并使用所述训练位置数据中的在第二采样时间采集的第二部分数据和自所述第二采样时间起经过所述延迟时间后的第二真实位置数据，再次顺次执行所述输入步骤和所述比较步骤，直至纠正了参数的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值为止，其中，训练好的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值。

在一种可能的实现方式中，所述预测模块410被配置为执行以下处理：确定所述图像采集设备的运动模式；根据所述运动模式确定待训练的预测模型；针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

在一种可能的实现方式中，所述预测模块410被配置为执行以下处理：在采集用户对所述图像采集设备进行操作的过程中采集所述用户的操作习惯和/或操作信息；根据所述操作习惯和/或所述操作信息确定待训练的预测模型；针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

在一种可能的实现方式中，所述预测模块410被配置为执行以下处理：计算所述图像采集设备的轴线与屏幕的交汇点，其中所述图像采集设备与所述屏幕是对准的；使用高速图像采集设备拍摄所述图像采集设备和所述屏幕，以获取所述图像采集设备从静止到开始移动的第一时刻、以及所述屏幕上的所述交汇点从静止到开始移动的第二时刻；计算所述第二时刻与所述第一时刻之间的时间差，作为所述延迟时间。

图5示出根据本公开的示例性实施例的虚拟拍摄系统的框图。如图5所示，虚拟拍摄系统500可以包括彼此能够通信的延迟优化装置400和渲染引擎520。渲染引擎520从延迟优化装置400接收预测的图像采集设备的位置数据(第二位置数据)，并使用该位置数据进行虚拟拍摄的渲染。

本实施例中，结合图3-4，在现有的虚拟拍摄方案的基础上，增加了相机位置预测系统303，其包括延迟优化装置400。关于延迟优化装置400可以参见前文描述。由此，改进了现有的虚拟拍摄方案，通过相机位置预测系统303预测图像采集设备位置、并且渲染引擎520使用预测的图像采集设备位置提前进行虚拟场景的渲染，来弥补现有的虚拟拍摄方案中的延迟问题，从而能够降低虚拟拍摄系统的延迟时间。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。

本公开实施例还提出一种虚拟拍摄的延迟优化装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现上述方法。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种虚拟拍摄的延迟优化方法，其特征在于，包括：

在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过虚拟拍摄系统的延迟时间后的位置数据；

向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。

2.根据权利要求1所述的延迟优化方法，其特征在于，在使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据之前，还包括：

收集步骤，收集所述图像采集设备的多个位置数据作为训练位置数据；

输入步骤，将所述训练位置数据中的在第一采样时间采集的第一部分数据输入至待训练的预测模型；

比较步骤，将所述待训练的预测模型输出的预测位置数据与所述训练位置数据中的第一真实位置数据进行比较，如果所述预测位置数据与所述第一真实位置数据之间的差不低于设定阈值，则执行处理步骤，其中，所述第一真实位置数据是所述图像采集设备自所述第一采样时间起经过所述延迟时间后的真实位置数据；

处理步骤，纠正所述待训练的预测模型的参数，并使用所述训练位置数据中的在第二采样时间采集的第二部分数据和自所述第二采样时间起经过所述延迟时间后的第二真实位置数据，再次顺次执行所述输入步骤和所述比较步骤，直至纠正了参数的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值为止，

其中，训练好的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值。

3.根据权利要求2所述的延迟优化方法，其特征在于，在所述输入步骤之前，还包括：

确定所述图像采集设备的运动模式；

根据所述运动模式确定待训练的预测模型；

针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

4.根据权利要求2所述的延迟优化方法，其特征在于，在所述输入步骤之前，还包括：

在用户对所述图像采集设备进行操作的过程中采集所述用户的操作习惯和/或操作信息；

根据所述操作习惯和/或所述操作信息确定待训练的预测模型；

针对所确定的预测模式，顺次执行所述输入步骤、所述比较步骤和所述处理步骤。

5.根据权利要求2所述的延迟优化方法，其特征在于，在所述输入步骤之前，还包括：

计算所述图像采集设备的轴线与屏幕的交汇点，其中所述图像采集设备与所述屏幕是对准的；

使用高速图像采集设备拍摄所述图像采集设备和所述屏幕，以获取所述图像采集设备从静止到开始移动的第一时刻、以及所述屏幕上的所述交汇点从静止到开始移动的第二时刻；

计算所述第二时刻与所述第一时刻之间的时间差，作为所述延迟时间。

6.一种虚拟拍摄的延迟优化装置，其特征在于，包括：

预测模块，用于在接收到图像采集设备在当前时刻的第一位置数据时，使用预先训练好的预测模型来预测所述图像采集设备的第二位置数据，其中所述第二位置数据是所述图像采集设备自所述当前时刻起经过所述虚拟拍摄系统的延迟时间后的位置数据；

发送模块，用于向渲染引擎发送所述第二位置数据，其中所述渲染引擎响应于接收到所述第二位置数据而使用所述第二位置数据进行所述虚拟拍摄的渲染。

7.根据权利要求6所述的延迟优化装置，其特征在于，所述预测模块被配置为执行以下处理：

收集步骤，收集所述图像采集设备的多个位置数据作为训练位置数据；

输入步骤，将所述训练位置数据中的在第一采样时间采集的第一部分数据输入至待训练的预测模型；

比较步骤，将所述待训练的预测模型输出的预测位置数据与所述训练位置数据中的第一真实位置数据进行比较，如果所述预测位置数据与所述第一真实位置数据之间的差不低于设定阈值，则执行处理步骤，其中，所述第一真实位置数据是所述图像采集设备自所述第一采样时间起经过所述延迟时间后的真实位置数据；

处理步骤，纠正所述待训练的预测模型的参数，并使用所述训练位置数据中的在第二采样时间采集的第二部分数据和自所述第二采样时间起经过所述延迟时间后的第二真实位置数据，再次顺次执行所述输入步骤和所述比较步骤，直至纠正了参数的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值为止，

其中，训练好的预测模型输出的预测位置数据与对应的真实位置数据之间的差低于所述设定阈值。

8.一种虚拟拍摄的延迟优化装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为在执行所述存储器存储的指令时，实现权利要求1至5中任意一项所述的延迟优化方法。

9.一种虚拟拍摄系统，其特征在于，包括：

根据权利要求6至8中任意一项所述的延迟优化装置；以及

渲染引擎，用于从所述延迟优化装置接收所述第二位置数据，并使用所述第二位置数据进行所述虚拟拍摄的渲染。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的延迟优化方法。