CN114125301B - 一种虚拟现实技术拍摄延迟处理方法及装置 - Google Patents

Abstract

本发明公开涉及一种虚拟现实技术拍摄延迟处理方法及装置，该方法包括：通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；确定每台摄像机在该拍摄延迟时间后能够拍摄到的目标区域；实时对每个目标区域在与该目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到对应的目标显示画面。能够根据摄像机的移动来提前预测出要显示的图像，同时对多台摄像机将要拍摄到的图像分别提前渲染，降低整个拍摄系统中所出现的延迟问题，进而避免显示在广播用户的显示终端的图像出现脱节和分裂的问题。

Description

一种虚拟现实技术拍摄延迟处理方法及装置

技术领域

本发明公开涉及虚拟现实技术领域，具体地，涉及一种虚拟现实技术拍摄延迟处理方法及装置。

背景技术

随着LED的广泛运用，LED显示屏也被搭建成以三面组成的LED舞台显示屏(表现出三维的坐标系)，LED舞台显示屏可被作为广播电视内容播放所在的演播厅；在演播厅中，人站在LED舞台显示屏中进行播放主持等(也存在没人的情况，人也可以通过视频渲染服务器进行渲染)，LED舞台显示屏中的每个面的LED显示屏播放画面内容，至少2台摄像机对人和画面内容进行拍摄，摄像机将拍摄的广播电视内容传输至视频渲染服务器中，最后视频渲染服务器将广播电视内容传输至广播电视用户的显示终端中。但在上述的过程中，由于视频主控服务器是实时渲染画面内容，在将画面内容通过LED控制系统下发至LED显示屏的过程中，此时摄像机拍摄到的画面内容为前一帧的画面内容，同时各个摄像机之间也存在拍摄延迟。存在上述拍摄延迟的原因为：1、摄像机是模拟人的双眼进行拍摄，的过程中，会出现先拍和后拍的问题(一个屏幕只能显示一个左眼图像或一个右眼图像)；2、摄像机所在的终端的本地时间不一致(对于没有同步器来说)；3、摄像机与视频渲染服务器之间的传输速度也不同；4、摄像机型号不一致。可见，当前延迟问题的存在，将导致最后广播电视用户的显示终端收到的画面内容并不为所需的广播播放内容(脱节)或者广告播放内容出现分裂，同时摄像机之间的延迟将导致广告播放内容会有不好的用户体验效果(摄像机是基于广播电视用户双目的感受进行拍摄)。因此本领域技术人员亟需寻找一种新的技术方案来解决上述问题。

发明内容

为克服相关技术中存在的问题，本发明公开提供一种虚拟现实技术拍摄延迟处理方法及装置。

根据本发明公开实施例的第一方面，提供一种虚拟现实技术拍摄延迟处理方法，所述方法包括：

在通过摄像机对LED舞台显示屏进行拍摄的过程中，通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；

根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后能够拍摄到的目标区域，所述目标区域为所述LED舞台显示屏上的区域；

通过视频主控服务器实时对每个目标区域在与所述目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；

通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到与所述摄像机对应的目标显示画面。

可选的，在所述通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示之后，所述方法还包括：

通过视频渲染服务器将每台摄像机拍摄到的目标显示画面发送至显示终端进行播放。

可选的，所述根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后能够拍摄到的目标区域，包括：

根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后的目标移动距离；

根据每台摄像机的目标移动距离确定所述摄像机在拍摄延迟时间后移动到的目标位置；

根据每台摄像机的目标位置确定所述摄像机在对应的目标延迟时间后能够拍摄到的目标区域。

可选的，所述通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，包括：

确定每个目标显示画面对应的时间戳信息，所述时间戳信息表示所述目标显示画面在LED舞台显示屏上进行显示的时间；

将时间戳信息相同的目标显示画面进行合成，获取合成后的图像帧；

将每个目标显示画面以图像帧的形式按照对应的时间戳信息在所述LED舞台显示屏上进行显示。

可选的，在所述通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的画面之间的拍摄延迟时间之前，所述方法还包括：

通过LED控制系统获取视频主控服务器下发的待显示画面；

通过LED舞台显示屏对所述待显示画面进行播放。

根据本发明公开实施例的第二方面，提供一种虚拟现实技术拍摄延迟处理装置，所述装置包括：

延迟时间确定模块，在通过摄像机对LED舞台显示屏进行拍摄的过程中，通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；

目标区域确定模块，与所述延迟时间确定模块相连，根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后能够拍摄到的目标区域，所述目标区域为所述LED舞台显示屏上的区域；

画面渲染模块，与所述目标区域确定模块相连，通过视频主控服务器实时对每个目标区域在与所述目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；

画面显示模块，与所述画面渲染模块相连，通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到与所述摄像机对应的目标显示画面。

可选的，所述装置还包括：

播放模块，与所述画面显示模块相连，通过视频渲染服务器将每台摄像机拍摄到的目标显示画面发送至显示终端进行播放。

可选的，所述目标区域确定模块，包括：

移动距离确定单元，根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后的目标移动距离；

目标位置确定单元，与所述移动距离确定单元相连，根据每台摄像机的目标移动距离确定所述摄像机在拍摄延迟时间后移动到的目标位置；

目标区域确定单元，与所述目标位置确定单元相连，根据每台摄像机的目标位置确定所述摄像机在对应的目标延迟时间后能够拍摄到的目标区域。

可选的，所述画面显示模块，包括：

时间戳确定单元，确定每个目标显示画面对应的时间戳信息，所述时间戳信息表示所述目标显示画面在LED舞台显示屏上进行显示的时间；

图像帧合成单元，与所述时间戳确定单元相连，将时间戳信息相同的目标显示画面进行合成，获取合成后的图像帧；

画面显示单元，与所述图像帧合成单元相连，将每个目标显示画面以图像帧的形式按照对应的时间戳信息在所述LED舞台显示屏上进行显示。

可选的，所述装置还包括：

待显示画面获取模块，通过LED控制系统获取视频主控服务器下发的待显示画面；

待显示画面播放模块，与所述待显示画面获取模块和延迟时间确定模块相连，通过LED舞台显示屏对所述待显示画面进行播放。

综上所述，本发明公开涉及一种虚拟现实技术拍摄延迟处理方法及装置，该方法包括：通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；确定每台摄像机在该拍摄延迟时间后能够拍摄到的目标区域；实时对每个目标区域在与该目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到对应的目标显示画面。能够根据摄像机的移动来提前预测出要显示的图像，同时对多台摄像机将要拍摄到的图像分别提前渲染，降低整个拍摄系统中所出现的延迟问题，进而避免显示在广播用户的显示终端的图像出现脱节和分裂的问题。

本发明公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种虚拟现实技术拍摄延迟处理方法的流程图；

图2是根据图1示出的另一种虚拟现实技术拍摄延迟处理方法的流程图；

图3是根据图1示出的一种目标区域确定方法的流程图；

图4是根据图1示出的一种画面显示方法的流程图；

图5是根据一示例性实施例示出的一种虚拟现实技术拍摄延迟处理系统的结构示意图；

图6是根据一示例性实施例示出的一种虚拟现实技术拍摄延迟处理装置的结构框图；

图7是根据图6示出的另一种虚拟现实技术拍摄延迟处理装置的结构框图；

图8是根据图6示出的一种目标区域确定模块的结构框图；

图9是根据图6示出的一种画面显示模块的结构框图。

具体实施方式

以下结合附图对本发明公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

图1是根据一示例性实施例示出的一种虚拟现实技术拍摄延迟处理方法的流程图，如图1所示，该方法包括：

在步骤101中，在通过摄像机对LED舞台显示屏进行拍摄的过程中，通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间。

示例地，扩展现实(简称Extended Reality XR)是虚拟虚拟现实技术中的一个分支，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感，用户通过穿戴设备产生一个真实和虚拟交接的环境。在本发明公开实施例中，涉及到构建虚拟现实技术中显示终端播放的真实与虚拟组合的画面时对LED舞台显示屏(即演播厅)中表演者与显示屏上画面的拍摄延迟处理方法。在LED舞台播显示屏放待显示画面的过程中，通过至少一台摄像机(通常情况下为两台，一台摄像机代表人的左眼视角，一台摄像机代表人的右眼视角)对LED舞台显示屏进行拍摄，最终将拍摄到的画面发送至用户的显示终端播放，以使用户能够实时接收到LED舞台显示屏上显示的内容。为了减少摄像机拍摄LED舞台显示屏上待显示画面的延迟时间，首先确定每台摄像机拍摄到的画面与LED舞台显示屏上待显示画面之间的拍摄延迟时间，以通过以下步骤102-步骤104在拍摄延迟时间内提前对LED舞台显示屏上待播放的画面进行渲染和显示。通过在LED舞台显示屏上预先显示一个待播放画面并通过每台摄像机进行拍摄，拍摄结束后将画面反馈至视频主控服务器，进而通过视频主控服务器分别确定出两台摄像机的延迟时间，该拍摄延迟时间是由于两台摄像机分别模拟人的左眼和右眼进行拍摄所导致的。例如，模拟左眼的摄像机和模拟右眼的摄像机之间一直存在一个固定的拍摄延迟时间，该拍摄延迟时间可以通过毫秒进行表示，也可以通过图像帧进行表示。当模拟左眼的摄像机和模拟右眼的摄像机之间的拍摄延迟时间为1帧图像时(也即左右眼被摄像机拍摄到的间隔，本实施例主要解决于上述背景问题提到的先拍和后拍的问题，原先上述先拍和后拍的问题的拍摄延迟时间为1帧图像，对于观看者来说，双眼是同时观察，此时会明显感觉到不同步)，通过以下步骤102-104提前对拍摄延时时间较长的摄像机拍摄到的画面进行提前渲染，可将上述拍摄延迟时间缩短至0到1/2帧图像。

另外，可以理解的是，LED舞台显示屏与LED控制系统连接，LED控制系统与视频主控服务器连接，在通过LED舞台显示屏对待显示画面进行播放之前，需要先通过视频主控服务器将渲染成功且编号数字的待显示画面下发至LED控制系统，并通过LED控制系统对待显示画面进行显示。

在步骤102中，根据每台摄像机的移动方向、移动速度和该拍摄延迟时间确定每台摄像机在该拍摄延迟时间后能够拍摄到的目标区域。

其中，该目标区域为该LED舞台显示屏上的区域。

示例地，每台摄像在拍摄LED舞台显示屏上播放的待显示画面时，通过摇臂带动摄像机实时进行移动。确定该拍摄延迟时间后，根据摄像机的移动方向和移动速度计算出摄像机在该拍摄延迟时间后能够拍摄到的LED舞台显示屏上的目标区域，从而提前对该目标区域在拍摄延迟时间后待显示的目标显示画面进行渲染。

需要说明的是，本发明公开实施例中相当于根据拍摄延迟时间提前预测出LED舞台显示屏在拍摄延迟时间后所显示的目标显示画面，并提前对拍摄延迟时间后待显示的目标显示画面进行渲染。但是，在实际应用过程中，通常还包括表演者LED舞台显示屏上进行表演的情况，此时，摄像机对LED舞台显示屏上播放的待显示画面和表演者同时进行拍摄并传输至用户的显示终端进行播放。当表演者在LED舞台显示上进行表演时，同样需要确定表演者的表演动作与摄像机拍摄到的画面之间的拍摄延迟时间。具体包括：通过预设的数学模型(例如，时间序列预测模型或者通过三次样条插值得到的模型)预测出用户下一个动作的位置，并将与用户下一个动作相匹配的画面内容显示至LED舞台显示屏中的特定区域。例如，当表演者在LED舞台中进行移动时，提前预测出表演者在LED舞台显示屏中的影子位置避免视频主控服务器没有提前进行渲染图像而造成摄像机拍摄出的广告播放内容出现延迟的问题，并提前通过视频主控服务器渲染出图像。

可以理解的是，通过上述数学模型对表演者的表演动作进行预测的参考依据为表演者在按照一定速度进行运动的过程中，该速度一般被认为不会瞬间进行急剧变化，也可以规定表演者在LED舞台上呈现静止状态或者规定表演者按照预设的轨迹进行移动。

在本发明公开实施例中，摄像机的机位、表演者的位置和LED舞台显示屏可形成一条在三维坐标系中的直线，该直线决定LED舞台显示屏中渲染图像内容的显示位置(通过三者之间的映射关系)。例如，根据表演者的表演动作确定出表演者手上的火球位置(该火球显示在LED舞台显示屏中的特定区域)。另外在实际应用过程中，摄像机的机位、表演者的位置和LED舞台显示屏三者之间的关系也可以以曲线的形式进行体现(是以上述数学模型实现，例如时间序列预测模型、三次样条插值得到的模型等)。

在步骤103中，通过视频主控服务器对每个目标区域在与该目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染。

示例地，每台摄像机在拍摄延迟时间后能够拍摄到的目标区域不同，每个目标区域在拍摄延迟时间后待显示的目标画面也不同，因此需要提前将每台摄像机在拍摄延迟时间后拍摄到的目标区域上的目标画面进行渲染。例如，两台摄像机的拍摄延迟时间分别为300ms和500ms，则提前300ms对拍摄延迟时间为300ms的摄像机的目标显示画面进行渲染，提前500ms对拍摄延迟时间为500ms的摄像机的目标显示画面进行渲染。也就是说，对于拍摄延迟时间较大的摄像机拍摄到的目标显示画面，需要提前进行渲染。

在步骤104中，通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到与该摄像机对应的目标显示画面。

示例地，通过上述步骤104对目标显示画面进行渲染后，在LED舞台显示屏上将渲染后的目标显示画面在对应的目标区域进行交错显示。在这一过程中，摄像机仍通过摇臂进行移动并拍摄该LED舞台显示屏，并且由于提前对每段拍摄延迟时间后目标区域上的目标显示画面进行显示，使存在拍摄延迟的摄像机刚好能够拍摄到去除拍摄延迟的目标显示画面。由于摄像机是模拟人的双眼对LED舞台显示屏进行拍摄，LED舞台显示屏可以先显示左眼的画面，随后显示右眼的画面，因此两台摄像机中模拟左眼的摄像机先对与该摄像机对应的目标显示画面进行拍摄，模拟右眼的摄像机后对与该摄像机对应的目标显示画面进行拍摄，另外需要说明的是，上述的LED显示屏也可以先显示右眼的画面，随后显示左眼的画面，此时，摄像机的拍摄目标显示画面的顺序将会发生颠倒，本实施例只以第一种显示情况进行举例说明。由于两台摄像机之间存在一台摄像机先拍摄LED舞台显示屏，另一台摄像机后拍摄LED舞台显示屏的问题，因此每台摄像机拍摄到的画面之间也无法实现同步。本发明公开实施例中根据拍摄延迟时间提前对每台摄像机在拍摄延迟时间后的目标显示画面进行渲染，从一定程度上去除了两台摄像机之间的拍摄延迟。但是由于LED舞台显示屏中两台摄像机分别模拟人的左右眼进行拍摄的特点，此时两台摄像机之间仍存在一定的拍摄延迟，例如，两台摄像机之间的延迟时间为100ms，模拟左眼拍摄的摄像机与LED舞台显示屏左侧的目标显示画面对应，该摄像机先对该位于左侧的目标显示画面进行显示，100ms后模拟右眼的摄像机对LED舞台显示屏右侧的目标显示画面进行拍摄。

图2是根据图1示出的另一种虚拟现实技术拍摄延迟处理方法的流程图，如图2所示，该方法还包括：

在步骤105中，通过视频渲染服务器将每台摄像机拍摄到的目标显示画面发送至显示终端进行播放。

示例地，每台摄像机将拍摄到的目标显示画面发送至视频渲染服务器进行渲染，视频渲染服务器将每台摄像机拍摄到的目标显示交错显示后发送至用户的显示终端进行播放，以使显示终端接收到的摄像机实时拍摄到的目标显示画面，减少用户观看到的电视节目与LED舞台显示屏中播放的待播放画面之间的延迟。

另外，本发明公开实施例中的视屏渲染服务器同时对每台摄像机拍摄到的目标显示画面进行传输，能够解决多台摄像机所在的终端本地时间不一致以及摄像机与视频渲染服务器之间的传输速度不同的问题。并且，目标显示画面最终以3D的形式在显示终端进行播放(由于两台摄像机分别模拟左右眼进行拍摄)，用户在显示终端需要佩戴3D眼镜或其他3D观看设备进行观看。本实施例在将上述拍摄延迟时间缩短至0到1/2帧图像后，对于观看者来说，人的左右眼看到的左右眼画面在人脑合成后，并不会受到拍摄延迟时间的影响而导致观看效果不佳(也即不同步时间较短，人脑可认为并未存在延迟)。

图3是根据图1示出的一种目标区域确定方法的流程图，如图3所示，该步骤102包括：

在步骤1021中，根据每台摄像机的移动方向、移动速度和该拍摄延迟时间确定每台摄像机在该拍摄延迟时间后的目标移动距离。

在步骤1022中，根据每台摄像机的目标移动距离确定该摄像机在拍摄延迟时间后移动到的目标位置。

在步骤1023中，根据每台摄像机的目标位置确定该摄像机在对应的目标延迟时间后能够拍摄到的目标区域。

示例地，根据摄像机的移动方向和移动速度可以确定每台摄像机在对应的拍摄延迟时间后移动的目标距离，从而确定每台摄像机能够移动到的目标位置。该目标位置即摄像机在拍摄延迟时间后所在的位置，此时，根据每台摄像机的拍摄范围确定该摄像机在目标位置能够拍摄到的目标区域。

图4是根据图1示出的一种画面显示方法的流程图，如图4所示，该步骤104包括：

在步骤1041中，确定每个目标显示画面对应的时间戳信息，该时间戳信息表示该目标显示画面在LED舞台显示屏上进行显示的时间。

在步骤1042中，将时间戳信息相同的目标显示画面进行合成，获取合成后的图像帧。

在步骤1043中，将每个目标显示画面以图像帧的形式按照对应的时间戳信息在该LED舞台显示屏上进行显示。

示例地，可以理解的是，每个目标显示画面表示拍摄延迟时间后LED舞台显示屏上部分区域所显示的内容，为了使LED舞台显示屏上显示出完整的图像，还需要将同一时间戳对应的每个目标区域上显示的目标显示画面进行合成一个图像帧。视频主控服务器对每一图像帧下发至LED控控制系统，并通过LED控制系统在LED舞台显示屏上实现对图像帧的显示。例如，两台摄像机的拍摄延迟时间分别为300ms和500ms，渲染出与300ms对应的第一目标显示画面和与500ms对应的第二目标显示画面后，上述第一目标显示画面对应的时间戳信息为0.2s后进行显示，第二目标显示画面对应的时间戳信息为0.1s后进行显示。由于第一目标显示画面和第二目标显示画面均为对应的目标区域中待显示的画面(即第一目标显示画面和第二目标显示画面为LED舞台显示屏上部分区域内的图像)，确定时间戳信息为0.2s后进行显示的所有目标显示画面，将上述时间戳信息相同(0.2s后进行显示)的目标显示画面进行合成获取第一图像帧，确定时间戳信息为0.1s后进行显示的所有目标显示画面，并将上述时间戳信息相同(0.1s后进行显示)的目标显示画面进行合成获取第二图像帧。如此，0.1s后在LED舞台显示屏上对第二图像帧进行显示，0.2s后在LED舞台显示屏上对第一图像帧进行显示。

图5是根据一示例性实施例示出的一种虚拟现实技术拍摄延迟处理系统的结构示意图，如图5所示，该系统包括：LED舞台显示屏501、LED控制系统502、视频主控服务器503、同步器504、运动追踪服务器505、摄像机506、定位追踪器507、运动追踪器508、视频渲染服务器509和显示终端510。其中，同步器504用于实现每台摄像机506之间的数据同步以及实现摄像机506、视频主控服务器503、运动追踪服务器508和视频渲染服务器509之间的数据同步，定位追踪器507用于确定每台摄像机506的位置。运动追踪器508用于追踪表演者的实时位置，并通过运动追踪服务器505对表演者的实时位置进行处理，以确定表演者的动作与摄像机506之间的延迟时间。

图6是根据一示例性实施例示出的一种虚拟现实技术拍摄延迟处理装置的结构框图，如图6所示，该装置600包括：

延迟时间确定模块610，在通过摄像机对LED舞台显示屏进行拍摄的过程中，通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；

目标区域确定模块620，与该延迟时间确定模块610相连，根据每台摄像机的移动方向、移动速度和该拍摄延迟时间确定每台摄像机在该拍摄延迟时间后能够拍摄到的目标区域，该目标区域为该LED舞台显示屏上的区域；

画面渲染模块630，与该目标区域确定模块620相连，通过视频主控服务器实时对每个目标区域在与该目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；

画面显示模块640，与该画面渲染模块630相连，通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到与该摄像机对应的目标显示画面。

图7是根据图6示出的另一种虚拟现实技术拍摄延迟处理装置的结构框图，如图7所示，该装置600还包括：

播放模块650，与该画面显示模块640相连，通过视频渲染服务器将每台摄像机拍摄到的目标显示画面发送至显示终端进行播放。

图8是根据图6示出的一种目标区域确定模块的结构框图，如图8所示，该目标区域确定模块620，包括：

移动距离确定单元621，根据每台摄像机的移动方向、移动速度和该拍摄延迟时间确定每台摄像机在该拍摄延迟时间后的目标移动距离；

目标位置确定单元622，与该移动距离确定单元621相连，根据每台摄像机的目标移动距离确定该摄像机在拍摄延迟时间后移动到的目标位置；

目标区域确定单元623，与该目标位置确定单元622相连，根据每台摄像机的目标位置确定该摄像机在对应的目标延迟时间后能够拍摄到的目标区域。

图9是根据图6示出的一种画面显示模块的结构框图，如图9所示，该画面显示模块640，包括：

时间戳确定单元641，确定每个目标显示画面对应的时间戳信息，该时间戳信息表示该目标显示画面在LED舞台显示屏上进行显示的时间；

图像帧合成单元642，与该时间戳确定单元641相连，将时间戳信息相同的目标显示画面进行合成，获取合成后的图像帧；

画面显示单元643，与该图像帧合成单元642相连，将每个目标显示画面以图像帧的形式按照对应的时间戳信息在该LED舞台显示屏上进行显示。

可选的，该装置还包括：

待显示画面获取模块，通过LED控制系统获取视频主控服务器下发的待显示画面；

待显示画面播放模块，与该待显示画面获取模块和延迟时间确定模块相连，通过LED舞台显示屏对该待显示画面进行播放。

综上所述，本发明公开涉及一种虚拟现实技术拍摄延迟处理方法及装置，该方法包括：通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；确定每台摄像机在该拍摄延迟时间后能够拍摄到的目标区域；实时对每个目标区域在与该目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到对应的目标显示画面。能够根据摄像机的移动来提前预测出要显示的图像，同时对多台摄像机将要拍摄到的图像分别提前渲染，降低整个拍摄系统中所出现的延迟问题，进而避免显示在广播用户的显示终端的图像出现脱节和分裂的问题。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种虚拟现实技术拍摄延迟处理方法，其特征在于，所述方法包括：

在通过摄像机对LED舞台显示屏进行拍摄的过程中，通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；

根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后能够拍摄到的目标区域，所述目标区域为所述LED舞台显示屏上的区域；

通过视频主控服务器实时对每个目标区域在与所述目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；

通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到与所述摄像机对应的目标显示画面。

2.根据权利要求1所述的虚拟现实技术拍摄延迟处理方法，其特征在于，在所述通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示之后，所述方法还包括：

通过视频渲染服务器将每台摄像机拍摄到的目标显示画面发送至显示终端进行播放。

3.根据权利要求1所述的虚拟现实技术拍摄延迟处理方法，其特征在于，所述根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后能够拍摄到的目标区域，包括：

根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后的目标移动距离；

根据每台摄像机的目标移动距离确定所述摄像机在拍摄延迟时间后移动到的目标位置；

根据每台摄像机的目标位置确定所述摄像机在对应的目标延迟时间后能够拍摄到的目标区域。

4.根据权利要求1所述的虚拟现实技术拍摄延迟处理方法，其特征在于，所述通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，包括：

确定每个目标显示画面对应的时间戳信息，所述时间戳信息表示所述目标显示画面在LED舞台显示屏上进行显示的时间；

将时间戳信息相同的目标显示画面进行合成，获取合成后的图像帧；

将每个目标显示画面以图像帧的形式按照对应的时间戳信息在所述LED舞台显示屏上进行显示。

5.根据权利要求1所述的虚拟现实技术拍摄延迟处理方法，其特征在于，在所述通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的画面之间的拍摄延迟时间之前，所述方法还包括：

通过LED控制系统获取视频主控服务器下发的待显示画面；

通过LED舞台显示屏对所述待显示画面进行播放。

6.一种虚拟现实技术拍摄延迟处理装置，其特征在于，所述装置包括：

延迟时间确定模块，在通过摄像机对LED舞台显示屏进行拍摄的过程中，通过视频主控服务器确定每台摄像机拍摄到的画面与LED舞台显示屏上播放的待显示画面之间的拍摄延迟时间；

目标区域确定模块，与所述延迟时间确定模块相连，根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后能够拍摄到的目标区域，所述目标区域为所述LED舞台显示屏上的区域；

画面渲染模块，与所述目标区域确定模块相连，通过视频主控服务器实时对每个目标区域在与所述目标区域对应的拍摄延迟时间后待显示的目标显示画面进行渲染；

画面显示模块，与所述画面渲染模块相连，通过LED控制系统将每个目标显示画面在对应的目标区域中进行显示，以使每台摄像机在对应的拍摄延迟时间后拍摄到与所述摄像机对应的目标显示画面。

7.根据权利要求6所述的虚拟现实技术拍摄延迟处理装置，其特征在于，所述装置还包括：

播放模块，与所述画面显示模块相连，通过视频渲染服务器将每台摄像机拍摄到的目标显示画面发送至显示终端进行播放。

8.根据权利要求6所述的虚拟现实技术拍摄延迟处理装置，其特征在于，所述目标区域确定模块，包括：

移动距离确定单元，根据每台摄像机的移动方向、移动速度和所述拍摄延迟时间确定每台摄像机在所述拍摄延迟时间后的目标移动距离；

目标位置确定单元，与所述移动距离确定单元相连，根据每台摄像机的目标移动距离确定所述摄像机在拍摄延迟时间后移动到的目标位置；

目标区域确定单元，与所述目标位置确定单元相连，根据每台摄像机的目标位置确定所述摄像机在对应的目标延迟时间后能够拍摄到的目标区域。

9.根据权利要求6所述的虚拟现实技术拍摄延迟处理装置，其特征在于，所述画面显示模块，包括：

时间戳确定单元，确定每个目标显示画面对应的时间戳信息，所述时间戳信息表示所述目标显示画面在LED舞台显示屏上进行显示的时间；

图像帧合成单元，与所述时间戳确定单元相连，将时间戳信息相同的目标显示画面进行合成，获取合成后的图像帧；

画面显示单元，与所述图像帧合成单元相连，将每个目标显示画面以图像帧的形式按照对应的时间戳信息在所述LED舞台显示屏上进行显示。

10.根据权利要求6所述的虚拟现实技术拍摄延迟处理装置，其特征在于，所述装置还包括：

待显示画面获取模块，通过LED控制系统获取视频主控服务器下发的待显示画面；

待显示画面播放模块，与所述待显示画面获取模块和延迟时间确定模块相连，通过LED舞台显示屏对所述待显示画面进行播放。