CN113676731A - 压缩vr视频数据的方法 - Google Patents

Abstract

本公开属于视频数据处理技术领域，具体涉及压缩VR视频数据的方法，所述压缩方法包括：将VR视野的部分或全部区域在时间线上抽样记录为单个帧图片、覆盖一段时间线的短视频和降低帧率的视频中的任一一种或多种的组合，用于发送到客户端，以持续播放、循环播放和慢速播放中的任一一种或多种组合的方式填充时间线；将VR视野中的部分区域采样为3D视频，用于发送到客户端，并播放。利用该压缩方法，能够实现高效数据压缩的同时保持较高的清晰度，避免降低观看效果。

Description

压缩VR视频数据的方法

技术领域

本公开属于视频数据处理技术领域，具体涉及压缩VR视频数据的方法。

背景技术

公开该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不必然被视为承认或以任何形式暗示该信息构成已经成为本领域一般技术人员所公知的现有技术。

虚拟现实(VR)视频，是指可以在VR头戴式显示器中观看的3D全景视频。VR视频兼具立体感和环绕感，可给观影者带来身临其境的体验，已广泛应用于休闲娱乐、产品展示和在线教学等领域。

按VR视频的产生方式和数据结构可以分为实景拍摄的VR视频和3D建模的VR视频。3D建模可以是全新的艺术创造，也可以是对某一实景的模拟。3D建模的VR视频多用于互动游戏，数据体积很小，强调观众的虚拟体验。实景拍摄的VR视频则用于记录或转播某一现实场景，数据体积较大，强调对现实场景的清晰反映。

VR视频需要很宽的视场角以带来环绕感，并需要同时为左右眼展示图像以带来立体感。在同等清晰度的要求下，VR视频的数据量是普通视频的十倍以上，存储和传输困难。

为了压缩VR视频的数据量，已有的技术通过降低图像中次要部分的清晰度来降低文件大小，但是，发明人发现，这种压缩方式只能有限地降低数据量，并且实际上降低了观看效果。已有的另一种技术是对拍摄结果进行3D建模以降低数据量，但建模后的结果观看时有明显的痕迹，并且对立体结构复杂的场景3D建模非常困难，对运动的复杂物体比如人物建模需要单独对其进行多角度扫描和动作分析，耗时长，运算复杂。

发明内容

为了解决现有技术中存在的上述问题，实现高效数据压缩的同时避免降低观看效果，保持较高的清晰度，本公开提供了压缩VR视频数据的方法。

具体地，本公开的技术方案如下所述：

在本公开的第一方面，压缩VR视频数据的方法，包括：将VR视野的部分或全部区域在时间线上抽样记录为单个帧图片、覆盖一段时间线的短视频和降低帧率的视频中的任一一种或多种的组合，用于发送到客户端，以持续播放、循环播放和慢速播放中的任一一种或多种组合的方式填充时间线；将VR视野中的部分区域采样为3D视频，用于发送到客户端，并播放。

在本公开的第二方面，VR视频传输方法，所述方法包括任一所述的压缩VR视频数据的方法。

在本公开的第三方面，一种服务器，所述服务器的处理器用于执行任一所述的压缩VR视频数据的方法和/或执行所述的VR视频传输方法的步骤。

在本公开的第四方面，一种VR播放终端，所述VR播放终端用于接收上述所述的压缩VR视频数据的方法产生的视频数据，并将各区域按照相对位置重新组合复原成VR图像。

在本公开的第五方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现任一所述的压缩VR视频数据的方法的步骤和/或执行所述的VR视频传输方法的步骤。

在本公开的第六方面，所述的压缩VR视频数据的方法和/或所述的VR视频传输方法在VR视频直播中的应用。

在本公开的第七方面，所述的压缩VR视频数据的方法和/或所述的VR视频传输方法在VR在线会议或VR视频聊天中的应用。

本公开中的一个或多个技术方案具有如下有益效果：

(1)、通过对VR场景中的低运动复杂度的区域在时间线上采用低采样率，压缩为静止的单个帧图片、重复运动的短视频或低速物体的低帧率视频，大幅压缩了数据量；通过在时间线上的低采样率，而不是画面本身的低采样率，保证了画面的清晰度。

(2)、通过对VR场景中不同目标采用不同的压缩程度和复原方式，保证了观看时可以准确重现所拍摄的VR场景并保证了视频的流畅性。

(3)、通过在同一机位的一个或多个拍摄装置拍摄各不同目标，保证了各目标的图像具有相同的观看视角点，因此可以准确地合并成完整的VR图像。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

以下，结合附图来详细说明本公开的实施方案，其中：

图1：是实施例中将已拍摄好的VR视频文件的VR视野划分为不同区域的示意图；

图2：是实施例中将要拍摄的VR场景的VR视野划分为不同区域的示意图；

图3：是实施例中将一个区域的信息在时间线上抽样为短视频的方法的示意图；

图4：是实施例中将一个区域的信息在时间线上抽样为降低帧率的视频的方法的示意图；

图5：是实施例中将一个区域的信息在时间线上抽样为单个帧图片的方法的示意图；

图6：是实施例中某目标区域在VR图像中的相对位置的表示和记录方法的平面示意图；

图7：是实施例中某目标区域在VR图像中的相对位置的表示和记录方法的立体示意图；

其中，1.已拍摄好的VR图像，2.有复杂运动或变化的目标区域，3.做简单或重复运动的目标区域，4.慢速运动的目标区域，5.静止的目标区域，6.3D摄像机，7.VR摄像机，8.做短视频(即做简单或重复运动的目标)的原始视频信息，9.覆盖一段时间线的短视频，10.做降低帧率的视频(即做慢速运动的目标)的原始视频信息，11.降低帧率的视频，12.单个帧图片(即静止的目标)的原始视频信息，13.单个帧图片，14.目标区域在VR图像中的水平坐标，15.目标区域在VR图像中的垂直坐标，16.目标区域的视场角。

具体实施方式

下面结合具体实施例，进一步阐述本公开。应理解，这些实施例仅用于说明本公开而不用于限制本公开的范围。下列实施例中未注明具体条件的实验方法，通常按照常规条件或按照制造厂商所建议的条件。

除非另行定义，文中所使用的所有专业与科学用语与本领域熟练人员所熟悉的意义相同。本公开所使用的设备，例如3D摄像机，VR摄像机等均可通过常规途径购买获得，如无特殊说明，本公开所使用的设备、装置等均按照本领域常规方式使用或者按照产品说明书使用。此外，任何与所记载内容相似或均等的方法及设备皆可应用于本公开方法中。文中所述的较佳实施方法仅作示范之用。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作和/或它们的组合。

目前，现有的技术通过降低图像中次要部分的清晰度来降低文件大小，但是，这种压缩方法只能有限的降低数据量，降低了观看效果。为了大幅压缩数据量，获得高清晰度的压缩的VR视频数据，本公开提供了一种压缩VR视频数据的方法。

在本公开的一种实施方式中，压缩VR视频数据的方法，包括：将VR视野的部分或全部区域在时间线上抽样记录为单个帧图片、覆盖一段时间线的短视频和降低帧率的视频中的任一一种或多种的组合，用于发送到客户端，以持续播放、循环播放和慢速播放中的任一一种或多种组合的方式填充时间线；将VR视野中的部分区域采样为3D视频，用于发送到客户端，并播放。

这种压缩VR数据的方法能够在降低数据量的同时，保持较高的清晰度，为了便于理解本公开，举例如下：

一个VR现场教学场景中，如果观看的要求为30帧每秒，像素为16K，一段10分钟视频的总像素量为16K乘30乘6000个像素，如果视频为常用的MP4格式，文件大小约为216GB。假设教师所占区域视场角为90度乘90度，教师周围完全静止的物体所占的两个区域视场角为180度乘90度和90度乘90度，重复运动物体所占区域视场角为180度乘90度且重复周期为一分钟，慢速运动物体所占区域视场角为180度乘90度且每五分之一秒内的运动人眼不易察觉，本公开将会把整个VR场景压缩为2K乘30乘6000+6K乘1+4K乘30+4K乘5乘6000个像素，相应的MP4视频文件为36GB。因此，上述方法能够极大的降低数据量，但是，由于通过对VR场景中的低运动复杂度的区域在时间线上采用低采样率，而不是对图像本身进行低采样率，不会造成清晰度的损失，能够保持较高的清晰度。

优选的，所述压缩VR视频数据的方法，具体为：将VR视野的部分或全部区域在时间线上抽样记录为单个帧图片、覆盖一段时间线的短视频和降低帧率的视频，用于发送到客户端，分别以持续播放、循环播放和慢速播放的方式填充时间线；将VR视野中的部分区域采样为3D视频，用于发送到客户端，并播放。

所述持续播放指的是将图片或视频在显示器上播放，播放的时间内没有人眼可察觉的播放间断。

所述慢速播放指的是与所述3D视频相比，所述低帧率视频中的单个帧图像的播放的时间更长。例如一个VR教学场景中，覆盖人物的区域的3D视频播放时每帧画面播放的时间为三十分之一秒，而覆盖慢速目标的区域的低帧率视频的每一帧画面的播放时间为五分之一秒。

其中，单个帧图片、短视频、3D视频和降低帧率的视频为在视频时间线上的不同采样目标。例如，该3D视频可以理解为做高复杂度、有复杂运动或变化的目标，属于观看者需要重点关注和观看的目标，比如一个VR舞蹈场景中，观看者需要重点观看的是具有高复杂度运动的舞者。单个帧图片可以理解为静止的目标。观看时将这一图片持续展示、循环播放以填充时间线。依据观看时的需要，认为即使一个物体有一定程度的运动和变化，如果观看时不需要体现这些运动和变化，则这些目标将被视为静止的目标，比如房屋。

再比如，覆盖一段时间线的短视频可以理解为做低复杂度、做简单或重复运动的目标；观看时将这一短视频循环播放以填充时间线；所谓的简单或重复运动的划定的标准是依据观看时的需要来确定的，比如树木的晃动或海浪的波动尽管每次之间会有细微不同，但如果观看时不需要这些不同，则这些不同将被忽略不计。

降低帧率的视频可以理解为做低复杂度、做慢速运动的目标；观看时将这一视频慢速播放以填充时间线；所谓的慢速运动的划定的标准是依据观看时的需要来确定的，无论一个物体的实际运动的绝对数值是多少，如果观看时不需要体现其运动的细节，则这些目标将被视为慢速运动目标，比如太阳。

基于上述举例能够便于理解本公开的发明构思。

在具体实施方式中，降低帧率的视频所述的帧率小于5帧每秒，这种帧率下的视频具有低复杂度、慢速运动的特点。

在具体实施方式中，短视频时长小于VR视频时间线总长的20％，其中，该VR视频时间线总长指的是观众所看到的VR视频的总时长。

在具体实施方式中，3D视频帧率高于10帧每秒，时长大于VR视频时间线总长的30％。

在具体实施方式中，3D视频发送到客户端后，进行实时播放。

本公开的创新之处在于，采用独特的压缩方式实现VR视频数据的压缩处理。对VR场景进行不同目标区域的分别采样，将做低复杂度、做简单或重复运动的目标的信息、低复杂度、做慢速运动的目标的信息和静止的目标的信息分别记录为覆盖一段时间线的短视频、降低帧率的视频和单个帧图片，并在播放时将这些低复杂度运动的区域以持续播放、循环播放和慢速播放的方式填充时间线，实现在时间线上的低采样率，而不是画面本身的低采样率。此时，对于3D视频，可以实现无损播放。

与现有的VR视频压缩技术的区别在于：传统的技术中，对于VR数据的压缩方式采用的是将画面中次要部分的分辨率降低以减小数据量，这显然与本公开具有明显的区别。

与现有的视频和图像相组合的技术的区别在于：传统的技术中，视频和图像的组合是为表现新的信息和效果，比如电视视频中插入字幕图片或一个网页页面的图片中插入动态视频。本公开的实施例中视频和图像相组合是为了压缩静态目标的数据量，和准确的再现拍摄的VR场景，本公开提供了视频和图像之间的组合可以准确反映拍摄的VR场景的具体步骤，包括以固定的同一机位拍摄视频和图像，使两者有相同的观看者视角点，同时记录两者在VR场景中的相对位置，组合时按照所记录的相对位置组合视频和图像，从而无缝的复原最初拍摄的VR场景。

压缩VR视频数据的方法中所述的VR视野包括被拍摄的VR场景或已拍摄好的VR图像；或，所述VR视野的拍摄装置的机位在场景中的相对位置是固定的。

进一步地，拍摄一个场景中的各目标所用的摄像装置的拍摄视角点在场景中的相对位置相重合；

进一步的，拍摄各目标所用的摄像装置的机位在同一相对位置。

其次，实现所述压缩VR视频数据的方法的装置也属于本公开要求保护的范围。本领域技术人员能够基于本公开的发明构思，将上述压缩VR视频数据的方法应用于不同的装置，从而获得流畅的、高清晰度的VR体验。

该压缩方法能够保证观看时的画面清晰度。其中，应理解，本公开中的目标并不一一对应于现实中的物体，一个目标可以对应一个或多个实际物体，也可以对应一个物体的全部或一部分。

其中，产生各目标区域的信息数据时，同时记录各目标区域在VR视野中的相对位置；所述相对位置由水平坐标和垂直坐标组成或者由水平坐标、垂直坐标和视场角组成。存储或传输各目标的所述图片或视频数据，观看时重新合并成完整的VR视频。

在一些实施例中，先用固定机位的VR摄像机拍摄场景的VR视频，作为被压缩对象，然后从这一VR视频中划分各目标区域并提取各目标的图像信息；在另一些实施例中，选定好拍摄场景后，在同一机位用一个或多个摄像装置分别拍摄不同目标区域，以获得各目标区域的图像信息。本公开中机位是指摄像装置的底座、支架、旋转云台等支持结构被放置的大体位置，只要观众不能感觉到两次拍摄的观看视角点的不同，则称之为两个机位相同。

在一些实施例中，各目标区域的划分可以由人工完成或用软件完成；用于划分各目标的软件可以是人物识别软件、运动物体识别软件、特定物体识别软件或抠图软件。

在一些实施例中，各目标区域的相对位置是固定的；在另一些实施例中，各目标区域的相对位置是随时间变化而变化的，并被随时记录的。

在一些实施例中，对象的信息数据由3D摄像机拍摄产生或由VR摄相机的两个镜头拍摄产生，或由两部并排的摄像装置拍摄产生，或由VR摄相机多个镜头同时拍摄产生，或由摄像机或相机全景扫描方式拍摄产生，或由鱼眼摄像机拍摄产生，或由摄像机或相机延时摄影方式拍摄产生或由软件对拍摄或扫描结果3D建模产生，或由人工绘制产生，或由以上多种方式混合产生；所述全景扫描是指通过转动摄像机来逐次拍摄不同方向的信息。

在一些实施例中，目标的图像信息是从VR摄像机实时拍摄的结果中提取的或从VR摄像机拍摄完成的一段视频中提取的。全部或部分区域的图像信息是通过8目或24目VR摄像机拍摄生成的。

在一些实施例中，部分目标的图像信息是拍摄的图像经软件处理转化生成的3D模型；所用软件为Matterpor，Dot3D Pro或类似软件；或，部分目标的图像信息是光学扫描设备产生的数据经软件处理转化生成的3D模型；所用光学扫描设备为三维激光扫描仪、深度相机或类似设备；或，部分目标的图像信息是软件生成的3D模型；所用软件为3D studioMAX或类似软件；或，部分目标的图像信息是人工绘制产生的；全部或部分目标的图像信息是3D的，用于展示近处物体的立体感，比如室内场景中的物体；部分目标的图像信息是2D的，用于展示远处物体，或缺乏立体细节的物体，因为人眼无法看到这两类物体的立体视差，比如月亮和白墙；目标区域的边缘由直线构成；目标区域的边缘是不规则曲线，比如抠图软件产生的抠图结果；各目标区域之间有重叠；或，各目标区域之间相邻；或，部分目标的图像信息是拍摄的原始视频经进一步的编辑和调整产生的。

在本公开的一种实施方式中，VR视频传输方法，所述方法包括任一所述的压缩VR视频数据的方法。进一步地，观看时将各目标区域按照所述的相对位置重新组合复原成VR图像；进一步地，所述VR图像的水平视场角大于人类单个眼球的视场角，为大于110度一个值。

在本公开的一种实施方式中，一种服务器，所述服务器的处理器用于执行任一所述的压缩VR视频数据的方法和/或执行所述的VR视频传输方法的步骤。

在本公开的一种实施方式中，一种VR播放终端，所述VR播放终端用于接收上述所述的压缩VR视频数据的方法产生的视频数据，并将各区域按照相对位置重新组合复原成VR图像。

在本公开的一种实施方式中，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现任一所述的压缩VR视频数据的方法的步骤和/或执行所述的VR视频传输方法的步骤。

在本公开的一种实施方式中，所述的压缩VR视频数据的方法和/或所述的VR视频传输方法在VR视频直播中的应用。

在本公开的一种实施方式中，所述的压缩VR视频数据的方法和/或所述的VR视频传输方法在VR在线会议或VR视频聊天中的应用；

进一步地，所述应用包括：观看者在观看VR视频的同时也作为被拍摄的目标，实现VR在线会议或VR视频聊天；

进一步地，所述VR视频为360度全景VR视频或180度全景VR视频；或，同时进行VR视频信息和音频信息的记录和压缩。

为了使得本领域技术人员能够更加清楚地了解本公开的技术方案，以下将结合具体的实施例详细说明本公开的技术方案。

实施例1

如图1、图3、图4、图5和图6所示，一种压缩VR视频数据的方法，包括：

用机位固定在场景中心的VR摄像机拍摄生成VR视频1；将1的VR画面按照在时间线上的变化的复杂程度划分为不同目标区域，以进行不同密度的记录采样；

将有复杂运动或变化的目标区域2记录为动态的3D视频；

将做简单或重复运动的目标区域3的原始视频信息8在时间线上抽样记录为覆盖一段时间线的短视频9，观看时将这一短视频循环播放以填充时间线；

将做慢速运动的目标区域4的原始视频信息10在时间线上抽样记录为降低帧率的视频11，观看时将这一视频慢速播放以填充时间线；

将静止的目标区域5的原始视频信息12在时间线上抽样记录为单个帧图片13，观看时将这一图片持续展示以填充时间线；

记录各目标区域在场景中的相对位置，相对位置由目标区域在VR图像中的水平坐标14和目标区域在VR图像中的垂直坐标15组成；以上获得的信息分别传输和存储，用于观看时重新合并成完整的VR视频。

实施例2

如图2、图3、图4、图5和图7所示，一种压缩VR视频数据的方法，包括：

选定要拍摄的场景，确定场景的中心作为摄像装置的机位；将场景对应的VR画面按照在时间线上的变化的复杂程度划分为不同目标区域，以进行不同密度的记录采样；

用八目VR摄像机7拍摄做简单或重复运动的目标区域3的覆盖一段时间线的短视频9，观看时将这一短视频循环播放以填充时间线；

用八目VR摄像机7拍摄静止的目标区域5的单个帧图片13，观看时将这一图片持续展示以填充时间线；

用3D摄像机6拍摄有复杂运动或变化的目标区域2记录为动态的3D视频；

用3D摄像机6以延时摄影方式拍摄慢速运动的目标区域4为降低帧率的视频11，观看时将这一视频慢速播放以填充时间线；

记录各目标区域在场景中的包含目标区域在VR图像中的水平坐标14、目标区域在VR图像中的垂直坐标15和目标区域的视场角16的相对位置；以上信息分别传输和存储；用于观看时重新合并成完整的VR视频。

实施例3

选定要拍摄的场景，确定场景的中心作为摄像装置的机位；提前拍摄并发送所述静止的目标区域5的单个帧图片13，或所述做简单或重复运动的目标区域3的覆盖一个运动循环的短视频9到观看者的用户端，之后实时拍摄并发送所述有复杂运动或变化的目标区域2的3D视频或所述慢速运动的目标区域4的降低帧率的视频11到用户端，实现VR视频的直播；

实施例4

用户用VR显示器观看对方的同时也作为被拍摄的目标，实现VR在线会议，和VR视频聊天。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.压缩VR视频数据的方法，其特征是，包括：将VR视野的部分或全部区域在时间线上抽样记录为单个帧图片、覆盖一段时间线的短视频和降低帧率的视频中的任一一种或多种的组合，用于发送到客户端，以持续播放、循环播放和慢速播放中的任一一种或多种组合的方式填充时间线；将VR视野中的部分区域采样为3D视频，用于发送到客户端，并播放。

2.如权利要求1所述的压缩VR视频数据的方法，其特征是，降低帧率的视频所述的帧率小于5帧每秒；

或，短视频时长小于VR视频时间线总长的20％；

或，3D视频帧率高于10帧每秒，时长大于VR视频时间线总长的30％；

或，3D视频发送到客户端后，进行实时播放；

或，所述VR视野包括被拍摄的VR场景或已拍摄好的VR图像；

或，所述VR视野的拍摄装置的机位在场景中的相对位置是固定的。

3.如权利要求1所述的压缩VR视频数据的方法，其特征是，VR视野的信息数据由3D摄像机拍摄产生，或由VR摄相机的两个镜头拍摄产生，或由两部并排的摄像装置拍摄产生，或由VR摄相机多个镜头同时拍摄产生，或由摄像机或相机全景扫描方式拍摄产生，或由鱼眼摄像机拍摄产生，或由摄像机或相机延时摄影方式拍摄产生或由软件对拍摄或扫描结果3D建模产生，或由人工绘制产生，或由以上多种方式混合产生；

进一步地，产生各区域的信息数据时，同时记录各区域在VR视野中的相对位置；所述相对位置由水平坐标和垂直坐标组成或者由水平坐标、垂直坐标和视场角组成；

进一步地，拍摄一个场景中的各区域所用的摄像装置的视角点在VR场景中的相对位置相重合；

进一步的，拍摄各区域所用的摄像装置的机位在同一相对位置。

4.VR视频传输方法，其特征是，所述方法包括权利要求1-3任一所述的压缩VR视频数据的方法。

5.如权利要求4所述的VR视频传输方法，其特征是，观看时将各区域的图像信息按照所述的相对位置重新组合复原成VR图像；进一步地，所述VR图像的水平视场角大于人类单个眼球的视场角，为大于110度一个值。

6.一种服务器，其特征是，所述服务器的处理器用于执行权利要求1-3任一所述的压缩VR视频数据的方法和/或执行权利要求4或5所述的VR视频传输方法的步骤。

7.一种VR播放终端，其特征是，所述VR播放终端用于接收上述所述的压缩VR视频数据的方法产生的视频数据，并将各区域按照相对位置重新组合复原成VR图像。

8.一种计算机可读存储介质，其特征是，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-3任一所述的压缩VR视频数据的方法的步骤和/或执行权利要求4或5所述的VR视频传输方法的步骤。

9.权利要求1-3任一所述的压缩VR视频数据的方法和/或权利要求4或5所述的VR视频传输方法在VR视频直播中的应用。

10.权利要求1-3任一所述的压缩VR视频数据的方法和/或权利要求4或5所述的VR视频传输方法在VR在线会议或VR视频聊天中的应用；

进一步地，所述应用包括：观看者在观看VR视频的同时也作为被拍摄的目标，实现VR在线会议或VR视频聊天；

进一步地，所述VR视频为360度全景VR视频或180度全景VR视频；或，同时进行VR视频信息和音频信息的记录和压缩。

Images