CN108650460B - 服务器、全景视频的存储和传输方法和计算机存储介质 - Google Patents
服务器、全景视频的存储和传输方法和计算机存储介质 Download PDFInfo
- Publication number
- CN108650460B CN108650460B CN201810440711.9A CN201810440711A CN108650460B CN 108650460 B CN108650460 B CN 108650460B CN 201810440711 A CN201810440711 A CN 201810440711A CN 108650460 B CN108650460 B CN 108650460B
- Authority
- CN
- China
- Prior art keywords
- panoramic
- video
- panoramic video
- resolution
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000012634 fragment Substances 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000006835 compression Effects 0.000 claims description 26
- 238000007906 compression Methods 0.000 claims description 26
- 230000009467 reduction Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开一种服务器、全景视频的存储和传输方法和计算机可读存储介质。本发明首先通过对全景视频的每帧全景图像进行处理，生成n组压缩编码数据，然后将每帧全景图像的n组压缩编码数据保存在一个数据帧，将全景视频产生的所有数据帧依次写入一个全景视频文件，最后从全景视频文件中选择视频分片编号对应的压缩编码数据组装成新的数据帧发送给客户端。相较于现有技术，本发明通过以上所述的存储和传输方式，可以实现在不降低全景视频播放质量的情况下，减少全景视频的传输带宽。
Description
技术领域
本发明涉及通讯技术领域，特别涉及一种服务器、全景视频的存储和传输方法和计算机可读存储介质。
背景技术
现有的全景视频数据的存储、传输方式，有的在传输中需要占用较大的带宽、传输效率较低，有的对全景视频数据进行压缩或分解等处理后进行存储。但在客户端请求播放时需视频服务器进行一系列相应的数据处理，对视频服务器带来的数据处理负荷较大，同时又可能会造成客户端不能及时得到响应，交互响应能力较差。
发明内容
本发明的主要目的是提供一种服务器、全景视频的存储和传输方法和计算机可读存储介质，旨在解决现有的全景视频数据存储、传输方式对视频服务器带来的数据处理负荷大，及交互响应能力差的问题。
为实现上述目的，本发明提出一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有全景视频的存储和传输程序，所述全景视频的存储和传输程序被所述处理器执行时实现如下步骤：
第一处理步骤：对全景视频解码后的每帧全景图像的分辨率进行处理，形成n种分辨率的全景图像，n为正整数；
第二处理步骤：将每种分辨率的每帧全景图像切分为N×M个图像分片，利用视频压缩算法对每个图像分片进行压缩编码处理，每帧全景图像产生n组压缩编码数据，N、M为正整数；
第一存储步骤：将每帧全景图像的n组压缩编码数据按照图像分片的编号顺序及分辨率的排序顺序保存为一个数据帧；
第二存储步骤：将全景视频产生的所有数据帧依次写入一个全景视频文件；
传输步骤：接收客户端播放全景视频的请求，响应客户端实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端。
优选地，所述第一处理步骤包括：
解码步骤：接收数据端传送的全景视频，利用视频压缩算法对全景视频的每帧全景图像进行解码处理；
分辨率调整步骤：将解码得到的每帧全景图像按照预设比例进行缩小处理，形成所述n种分辨率的全景图像。
优选地，所述传输步骤中客户端实时发送的视频分片编号请求包括请求的各视频分片的分辨率信息，客户端播放全景视频时处于显示设备中心区域的视频分片的分辨率高于处于显示设备边缘区域的视频分片的分辨率。
优选地，所述传输步骤包括：
根据客户端用户观看全景视频的当前角度，确定客户端请求的视频分片中的中心区域分片及边缘区域分片，从全景视频文件中选择具有第一分辨率的中心区域分片的压缩编码数据，并选择具有第二分辨率的边缘区域分片的压缩编码数据组装成所述新的数据帧，其中，第一分辨率高于第二分辨率。
优选地，所述第二存储步骤还包括：
在全景视频文件的头部写入全景视频的元数据，包括全景视频的格式、切分方法、切片个数及数据帧的存放格式。
此外，为实现上述目的，本发明还提供一种全景视频的存储和传输方法，应用于服务器，该方法包括步骤：
第一处理步骤：对全景视频解码后的每帧全景图像的分辨率进行处理，形成n种分辨率的全景图像，n为正整数；
第二处理步骤：将每种分辨率的每帧全景图像切分为N×M个图像分片，利用视频压缩算法对每个图像分片进行压缩编码处理，每帧全景图像产生n组压缩编码数据，N、M为正整数；
第一存储步骤：将每帧全景图像的n组压缩编码数据按照图像分片的编号顺序及分辨率的排序顺序保存为一个数据帧；
第二存储步骤：将全景视频产生的所有数据帧依次写入一个全景视频文件；
传输步骤：接收客户端播放全景视频的请求，响应客户端实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端。
优选地，所述第一处理步骤包括：
解码步骤：接收数据端传送的全景视频，利用视频压缩算法对全景视频的每帧全景图像进行解码处理；
分辨率调整步骤：将解码得到的每帧全景图像按照预设比例进行缩小处理，形成所述n种分辨率的全景图像。
优选地，所述传输步骤中客户端实时发送的视频分片编号请求包括请求的各视频分片的分辨率信息，客户端播放全景视频时处于显示设备中心区域的视频分片的分辨率高于处于显示设备边缘区域的视频分片的分辨率。
优选地，所述传输步骤包括：
根据客户端用户观看全景视频的当前角度，确定客户端请求的视频分片中的中心区域分片及边缘区域分片，从全景视频文件中选择具有第一分辨率的中心区域分片的压缩编码数据，并选择具有第二分辨率的边缘区域分片的压缩编码数据组装成所述新的数据帧，其中，第一分辨率高于第二分辨率。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有全景视频的存储和传输程序，所述全景视频的存储和传输程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述任一项所述的全景视频的存储和传输方法。
本发明首先通过对全景视频的每帧全景图像进行处理，生成n组压缩编码数据，然后将每帧全景图像的n组压缩编码数据保存在一个数据帧，将全景视频产生的所有数据帧依次写入一个全景视频文件，最后从全景视频文件中选择视频分片编号对应的压缩编码数据组装成新的数据帧发送给客户端。相较于现有技术，本发明通过以上所述的存储和传输方式，可以实现在不降低全景视频播放质量的情况下，减少全景视频的传输带宽。此外，服务器端将每个图像分片视为一个完整图像进行编码(encode)，使得每个图像分片的数据都可以不依赖于其他的图像分片而被单独进行解码(decode)，从而能够实现即使是针对不同的客户端需求，服务器在全景视频数据的处理过程中也只需要一次解码和编码，无需重复编码和解码。而根据客户端用户观看全景视频的角度变化从全景视频文件中选择相应的压缩编码数据组装新的数据帧发送给客户端，减轻了服务器读取全景视频数据的压力、同时提升了对客户端请求的响应速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明服务器的运行环境示意图；
图2为本发明全景视频的存储和传输程序第一实施例的运行环境示意图；
图3为本发明全景视频的存储和传输程序第一实施例的程序模块图；
图4为压缩编码数据形成过程示意图；
图5为一帧全景图像的n组压缩编码数据保存为一个数据帧的示意图；
图6为每个数据帧添加时间戳及序号的示意图；
图7为全景视频文件格式示意图；
图8为新的数据帧生成过程示意图；
图9为本发明全景视频的存储和传输方法第一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
请参阅图1，图1为本发明服务器1的运行环境示意图。
图1中的数据端3可以为全景拍摄相机或其他可以与服务器1连接、通讯的设备，例如可以连接至服务器1的存储装置，如硬盘、U盘等。服务器1还与一个或多个客户端2通信连接。所述客户端2可以是手机、平板电脑、计算机、视频播放器等设备。
本发明提出一种全景视频的存储和传输程序。
请参阅图2，是本发明全景视频的存储和传输程序10第一实施例的运行环境示意图。
在本实施例中，全景视频的存储和传输程序10安装并运行于服务器1中。服务器1可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该服务器1可包括，但不仅限于，存储器11、处理器12及显示器13。图2仅示出了具有组件11-13的服务器1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘或内存。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括服务器1的内部存储单元也包括外部存储设备。存储器11用于存储安装于服务器1的应用软件及各类数据，例如全景视频的存储和传输程序10的程序代码等。存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行全景视频的存储和传输程序10等。
显示器13在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器13用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。服务器1的部件11-13通过系统总线相互通信。
请参阅图3，是本发明全景视频的存储和传输程序10第一实施例的程序模块图。在本实施例中，全景视频的存储和传输程序10可以被分割成一个或多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行，以完成本发明。例如，在图3中，全景视频的存储和传输程序10可以被分割成第一处理模块101、第二处理模块102、第一存储模块103、第二存储模块104及传输模块105。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述全景视频的存储和传输程序10在服务器1中的执行过程，其中：
第一处理模块101，用于对全景视频解码后的每帧全景图像的分辨率进行处理，形成n种分辨率的全景图像，n为正整数。
请同时参照图1，服务器1接收数据端3传送的一段全景视频数据。一段全景视频是指由一段连续的全景图像序列，经过视频压缩编码算法(比如：H264，H265，VP9等)进行压缩后的数据。全景图像通常有多种格式，比如球面投影，正六面体投影等。在本实施例中，我们以球面投影为例，但方案也适用于其他投影方式。
接收全景视频数据后，第一处理模块101利用视频压缩编码算法对全景视频数据进行解码，得到全景视频包含的所有帧全景图像，对每帧全景图像按照预设比例进行处理，形成n种分辨率(n为大于或等于2的正整数)的全景图像。在本实施例中，对全景图像是进行缩小处理，例如，对每帧全景图像按照3/4、1/2的比例进行缩小，则每帧全景图像分别得到1/1(原始比例)、3/4、1/2三种分辨率的全景图像。
第二处理模块102，用于将每种分辨率的每帧全景图像切分为N×M个图像分片，利用视频压缩算法对每个图像分片进行压缩编码处理，每帧全景图像产生n组压缩编码数据，N、M为正整数。
第二处理模块102将每种分辨率的图像按照水平和垂直方向，切分为N×M个图像分片(N、M为正整数)。在其他应用场景下，也有可能是对全景图像按照预设比例进行放大处理。
第二处理模块102将全景图像的每个图像分片都当成一个完整图像，使用视频压缩编码(比如：H264，H265)进行编码(encode)，使得每个图像分片的数据都可以不依赖于其他的图像分片而被单独进行解压缩编码(decode)。每帧全景图像产生n组压缩编码数据。
例如，如图4所示，假设N＝4，M＝8，对全景图像的每一个分片使用H264进行压缩编码，就会形成8×4个H264的图像压缩数据，因此，三种分辨率分别形成三组压缩数据。
第一存储模块103，用于将每帧全景图像的n组压缩编码数据按照图像分片的编号顺序及分辨率的排序顺序保存为一个数据帧。
第一存储模块103将每帧全景图像的n组压缩编码数据按照切片的编号顺序及分辨率的排序顺序保存为一个数据帧。具体可参照图5，图5为一帧全景图像的n组压缩编码数据保存为一个数据帧的示意图。
然后，第一存储模块103还对每个数据帧添加时间戳及序号(如图6所示)。
第二存储模块104，用于将全景视频产生的所有数据帧依次写入一个全景视频文件。
第二存储模块104得到全景视频所有全景图像的数据帧后，将所有数据帧依次写入一个全景视频文件，并在全景视频文件的头部写入全景视频的元数据，元数据包括全景视频的格式、切分方法、切片个数、数据帧的存放格式。第二存储模块104将该全景视频文件保存至本地的存储器。
上述全景视频文件的格式可参照图7。
传输模块105，用于接收客户端2播放全景视频的请求，响应客户端2实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端2。
当传输模块105接收到客户端2播放全景视频的请求后，响应客户端2实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端2。例如，如图8所示，客户端2请求的视频分片编号(X，Y，C)为(3，2，2)，(4，2，1)，(5，2，2)，(3，3，2)，(4，3，1)，(5，3，2)。其中X、Y分别表示分片的水平、垂直编号，c表示分辨率的排序顺序，例如，在本实施例中，C有1、2、3三种排序，1代表原始分辨率，2代表原始分辨率×3/4，3代表原始分辨率×1/2。即(4，2，1)、(4，3，1)为视频播放的中心区域，采用第一分辨率(即原始分辨率)，其余分片为视频播放的边缘区域，采用第二分辨率(原始分辨率×3/4)。则服务器1根据客户端2的请求，从全景视频文件中选择具有相应分辨率的各帧全景图像中的相应分片的压缩编码数据，组装成新的数据帧发送给客户端2。
优选地，本实施例中，客户端2根据用户观看全景视频的当前角度实时调整请求传输模块105发送的视频分片编号。用户观看全景视频的角度可以由客户端2的传感器侦测得到。用户观看全景视频的当前角度反映了用户双眼(或左、右眼)与客户端2显示屏幕之间的相对位置关系。例如，当客户端2为手机时，手机上的陀螺仪可以侦测到手机屏幕的当前倾斜角度从而得到用户观看全景视频的当前角度，当客户端2为头戴式3D全景播放终端时，用户观看全景视频的当前角度可以通过该头戴式3D全景播放终端上的运动传感器获得。
客户端2接收到数据帧后，解码数据帧中的分片压缩编码数据，并进行拼接，渲染和显示。在传输模块105传送数据帧的过程中，如果客户端2没有重新选择请求服务器1发送的视频分片，则传输模块105按照客户端2之前的请求发送对应的数据。如果客户端2应用户观看全景视频的角度变化更新了发送视频分片的请求，则传输模块105从全景视频文件中重新选择相应的压缩编码数据组装新的数据帧发送给客户端2。
在另一个实施例中，客户端2实时发送的视频分片编号请求可以不包括请求的各视频分片的分辨率信息，传输模块105根据客户端2用户观看全景视频的当前角度，确定客户端2请求的视频分片中的中心区域分片及边缘区域分片，从全景视频文件中选择具有第一分辨率的中心区域分片的压缩编码数据，并选择具有第二分辨率的边缘区域分片的压缩编码数据组装成所述新的数据帧，其中，第一分辨率高于第二分辨率(例如，第一分辨率为原始分辨率，第二分辨率为原始分辨率×3/4)。
与现有技术相比，本实施例通过以上所述的存储和传输方式，可以实现在不降低全景视频播放质量的情况下，减少全景视频的传输带宽。此外，服务器1将每个图像分片视为一个完整图像进行编码(encode)，使得每个图像分片的数据都可以不依赖于其他的图像分片而被单独进行解码(decode)，从而能够实现即使是针对不同的客户端2需求，服务器1在全景视频数据的处理过程中也只需要一次解码和编码，无需重复编码和解码。而根据客户端2用户观看全景视频的角度变化从全景视频文件中选择相应的压缩编码数据组装新的数据帧发送给客户端2，减轻了服务器1读取全景视频数据的压力、同时提升了对客户端2请求的响应速度。
本发明还提出一种全景视频的存储和传输方法，该方法适用于服务器。
本实施例以服务器为实施主体对本发明全景视频的存储和传输方法的具体实施方式进行说明，但需要注意的是，本发明不对全景视频的存储和传输方法的实施主体进行限定。
如图9所示，图9为本发明全景视频的存储和传输方法第一实施例的流程示意图。
本实施例中，该方法包括：
步骤S10，对全景视频解码后的每帧全景图像的分辨率进行处理，形成n种分辨率的全景图像，n为正整数。
请同时参照图1，服务器1接收数据端3传送的一段全景视频数据。一段全景视频是指由一段连续的全景图像序列，经过视频压缩编码算法(比如：H264，H265，VP9等)进行压缩后的数据。全景图像通常有多种格式，比如球面投影，正六面体投影等。在本实施例中，我们以球面投影为例，但方案也适用于其他投影方式。
接收全景视频数据后，服务器1利用视频压缩编码算法对全景视频数据进行解码，得到全景视频包含的所有帧全景图像，对每帧全景图像按照预设比例进行处理，形成n种分辨率(n为大于或等于2的正整数)的全景图像。在本实施例中，对全景图像是进行缩小处理，例如，对每帧全景图像按照3/4、1/2的比例进行缩小，则每帧全景图像分别得到1/1(原始比例)、3/4、1/2三种分辨率的全景图像。
步骤S20，将每种分辨率的每帧全景图像切分为N×M个图像分片，利用视频压缩算法对每个图像分片进行压缩编码处理，每帧全景图像产生n组压缩编码数据，N、M为正整数。
将每种分辨率的图像按照水平和垂直方向，切分为N×M个图像分片(N、M为正整数)。在其他应用场景下，也有可能是对全景图像按照预设比例进行放大处理。
服务器1将全景图像的每个图像分片都当成一个完整图像，使用视频压缩编码(比如：H264，H265)进行编码(encode)，使得每个图像分片的数据都可以不依赖于其他的图像分片而被单独进行解压缩编码(decode)。每帧全景图像产生n组压缩编码数据。
步骤S30，将每帧全景图像的n组压缩编码数据按照图像分片的编号顺序及分辨率的排序顺序保存为一个数据帧。
例如，如图4所示假设N＝4，M＝8，对全景图像的每一个分片使用H264进行压缩编码，就会形成8×4个H264的图像压缩数据，因此，三种分辨率分别形成三组压缩数据。
然后，服务器1将每帧全景图像的n组压缩编码数据按照切片的编号顺序及分辨率的排序顺序保存为一个数据帧。具体可参照图5，图5为一帧全景图像的n组压缩编码数据保存为一个数据帧的示意图。
接着，服务器1对每个数据帧添加时间戳及序号(如图6所示)。
步骤S40，将全景视频产生的所有数据帧依次写入一个全景视频文件。
服务器1得到全景视频所有全景图像的数据帧后，将所有数据帧依次写入一个全景视频文件，并在全景视频文件的头部写入全景视频的元数据，元数据包括全景视频的格式、切分方法、切片个数、数据帧的存放格式。服务器1将该全景视频文件保存至本地的存储器。
上述全景视频文件的格式可参照图7。
步骤S50，接收客户端2播放全景视频的请求，响应客户端2实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端2。
当服务器1接收到客户端2播放全景视频的请求后，响应客户端2实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端2。例如，如图8所示，客户端2请求的视频分片编号(X，Y，C)为(3，2，2)，(4，2，1)，(5，2，2)，(3，3，2)，(4，3，1)，(5，3，2)。其中X、Y分别表示分片的水平、垂直编号，c表示分辨率的排序顺序，例如，在本实施例中，C有1、2、3三种排序，1代表原始分辨率，2代表原始分辨率×3/4，3代表原始分辨率×1/2。即(4，2，1)、(4，3，1)为视频播放的中心区域，采用第一分辨率(即原始分辨率)，其余分片为视频播放的边缘区域，采用第二分辨率(原始分辨率×3/4)。则服务器1根据客户端2的请求，从全景视频文件中选择具有相应分辨率的各帧全景图像中的相应分片的压缩编码数据，组装成新的数据帧发送给客户端2。
优选地，本实施例中，客户端2根据用户观看全景视频的当前角度实时调整请求服务器1发送的视频分片编号。用户观看全景视频的角度可以由客户端2的传感器侦测得到。用户观看全景视频的当前角度反映了用户双眼(或左、右眼)与客户端2显示屏幕之间的相对位置关系。例如，当客户端2为手机时，手机上的陀螺仪可以侦测到手机屏幕的当前倾斜角度从而得到用户观看全景视频的当前角度，当客户端2为头戴式3D全景播放终端时，用户观看全景视频的当前角度可以通过该头戴式3D全景播放终端上的运动传感器获得。
客户端2接收到数据帧后，解码数据帧中的分片压缩编码数据，并进行拼接，渲染和显示。在服务器1传送数据帧的过程中，如果客户端2没有重新选择请求服务器1发送的视频分片，则服务端按照客户端2之前的请求发送对应的数据。如果客户端2应用户观看全景视频的角度变化更新了发送视频分片的请求，则服务器1从全景视频文件中重新选择相应的压缩编码数据组装新的数据帧发送给客户端2。
在另一个实施例中，客户端2实时发送的视频分片编号请求可以不包括请求的各视频分片的分辨率信息，服务器1端根据客户端2用户观看全景视频的当前角度，确定客户端2请求的视频分片中的中心区域分片及边缘区域分片，从全景视频文件中选择具有第一分辨率的中心区域分片的压缩编码数据，并选择具有第二分辨率的边缘区域分片的压缩编码数据组装成所述新的数据帧，其中，第一分辨率高于第二分辨率(例如，第一分辨率为原始分辨率，第二分辨率为原始分辨率×3/4)。
与现有技术相比，本实施例通过以上所述的存储和传输方式，可以实现在不降低全景视频播放质量的情况下，减少全景视频的传输带宽。此外，服务器1端将每个图像分片视为一个完整图像进行编码(encode)，使得每个图像分片的数据都可以不依赖于其他的图像分片而被单独进行解码(decode)，从而能够实现即使是针对不同的客户端2需求，服务器1在全景视频数据的处理过程中也只需要一次解码和编码，无需重复编码和解码。而根据客户端2用户观看全景视频的角度变化从全景视频文件中选择相应的压缩编码数据组装新的数据帧发送给客户端2，减轻了服务器1读取全景视频数据的压力、同时提升了对客户端2请求的响应速度。
进一步地，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有全景视频的存储和传输程序，所述全景视频的存储和传输程序可被至少一个处理器执行，以使所述至少一个处理器执行上述任一实施例中的全景视频的存储和传输方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (8)
1.一种服务器，所述服务器包括存储器和处理器，其特征在于，所述存储器上存储有全景视频的存储和传输程序，所述全景视频的存储和传输程序被所述处理器执行时实现如下步骤：
第一处理步骤：对全景视频解码后的每帧全景图像的分辨率进行处理，形成n种分辨率的全景图像，n为正整数；
第二处理步骤：将每种分辨率的每帧全景图像切分为N×M个图像分片，利用视频压缩算法对每个图像分片进行压缩编码处理，每帧全景图像产生n组压缩编码数据，N、M为正整数；
第一存储步骤：将每帧全景图像的n组压缩编码数据按照图像分片的编号顺序及分辨率的排序顺序保存为一个数据帧；
第二存储步骤：将全景视频产生的所有数据帧依次写入一个全景视频文件；
传输步骤：接收客户端播放全景视频的请求，响应客户端实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端；
其中，所述第一处理步骤包括：
解码步骤：接收数据端传送的全景视频，利用视频压缩算法对全景视频的每帧全景图像进行解码处理；
分辨率调整步骤：将解码得到的每帧全景图像按照预设比例进行缩小处理，形成所述n种分辨率的全景图像。
2.如权利要求1所述的服务器，其特征在于，所述传输步骤中客户端实时发送的视频分片编号请求包括请求的各视频分片的分辨率信息，客户端播放全景视频时处于显示设备中心区域的视频分片的分辨率高于处于显示设备边缘区域的视频分片的分辨率。
3.如权利要求1所述的服务器，其特征在于，所述传输步骤包括：
根据客户端用户观看全景视频的当前角度，确定客户端请求的视频分片中的中心区域分片及边缘区域分片，从全景视频文件中选择具有第一分辨率的中心区域分片的压缩编码数据，并选择具有第二分辨率的边缘区域分片的压缩编码数据组装成所述新的数据帧，其中，第一分辨率高于第二分辨率。
4.如权利要求1所述的服务器，其特征在于，所述第二存储步骤还包括：
在全景视频文件的头部写入全景视频的元数据，包括全景视频的格式、切分方法、切片个数及数据帧的存放格式。
5.一种全景视频的存储和传输方法，应用于服务器，其特征在于，该方法包括步骤：
第一处理步骤：对全景视频解码后的每帧全景图像的分辨率进行处理，形成n种分辨率的全景图像，n为正整数；
第二处理步骤：将每种分辨率的每帧全景图像切分为N×M个图像分片，利用视频压缩算法对每个图像分片进行压缩编码处理，每帧全景图像产生n组压缩编码数据，N、M为正整数；
第一存储步骤：将每帧全景图像的n组压缩编码数据按照图像分片的编号顺序及分辨率的排序顺序保存为一个数据帧；
第二存储步骤：将全景视频产生的所有数据帧依次写入一个全景视频文件；
传输步骤：接收客户端播放全景视频的请求，响应客户端实时发送的视频分片编号请求，从全景视频文件中选择所述视频分片编号对应的压缩编码数据组装成新的数据帧，发送给客户端；
其中，所述第一处理步骤包括：
解码步骤：接收数据端传送的全景视频，利用视频压缩算法对全景视频的每帧全景图像进行解码处理；
分辨率调整步骤：将解码得到的每帧全景图像按照预设比例进行缩小处理，形成所述n种分辨率的全景图像。
6.如权利要求5所述的全景视频的存储和传输方法，其特征在于，所述传输步骤中客户端实时发送的视频分片编号请求包括请求的各视频分片的分辨率信息，客户端播放全景视频时处于显示设备中心区域的视频分片的分辨率高于处于显示设备边缘区域的视频分片的分辨率。
7.如权利要求5所述的全景视频的存储和传输方法，其特征在于，所述传输步骤包括：
根据客户端用户观看全景视频的当前角度，确定客户端请求的视频分片中的中心区域分片及边缘区域分片，从全景视频文件中选择具有第一分辨率的中心区域分片的压缩编码数据，并选择具有第二分辨率的边缘区域分片的压缩编码数据组装成所述新的数据帧，其中，第一分辨率高于第二分辨率。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有全景视频的存储和传输程序，所述全景视频的存储和传输程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求5-7中的任一项所述的全景视频的存储和传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810440711.9A CN108650460B (zh) | 2018-05-10 | 2018-05-10 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810440711.9A CN108650460B (zh) | 2018-05-10 | 2018-05-10 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108650460A CN108650460A (zh) | 2018-10-12 |
| CN108650460B true CN108650460B (zh) | 2021-03-30 |
Family
ID=63753933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810440711.9A Active CN108650460B (zh) | 2018-05-10 | 2018-05-10 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108650460B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111263191B (zh) * | 2018-11-30 | 2023-06-27 | 中兴通讯股份有限公司 | 视频数据的处理方法、装置、相关设备及存储介质 |
| CN110446062B (zh) * | 2019-07-18 | 2022-11-25 | 平安科技（深圳）有限公司 | 大数据文件传输的接收处理方法、电子装置及存储介质 |
| CN110677692B (zh) * | 2019-09-27 | 2022-12-06 | 腾讯科技（深圳）有限公司 | 视频解码方法及装置、视频编码方法及装置 |
| CN111263164A (zh) * | 2020-02-28 | 2020-06-09 | 中国电子科技集团公司第五十八研究所 | 一种高帧频视频并行编码及重组方法 |
| CN113766235B (zh) * | 2021-08-30 | 2023-10-17 | 聚好看科技股份有限公司 | 一种全景视频传输方法及设备 |
| CN115118882B (zh) * | 2022-06-27 | 2024-05-03 | 润博全景文旅科技有限公司 | 一种全景相机图像传输方法、装置及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791882A (zh) * | 2016-03-22 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| CN106060570A (zh) * | 2016-06-30 | 2016-10-26 | 北京奇艺世纪科技有限公司 | 一种全景视频图像播放、编码方法及装置 |
| CN106060515A (zh) * | 2016-07-14 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 全景媒体文件推送方法及装置 |
| CN106104651A (zh) * | 2014-01-15 | 2016-11-09 | 威智伦公司 | 来自视频源装置的流式数据的存储管理 |
| CN107040794A (zh) * | 2017-04-26 | 2017-08-11 | 盯盯拍（深圳）技术股份有限公司 | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 |
| CN107317809A (zh) * | 2017-06-23 | 2017-11-03 | 上海交通大学 | 一种信息中心网络多层次视频媒体系统及其使用方法 |
| WO2017210444A1 (en) * | 2016-06-02 | 2017-12-07 | Comet Technologies, Llc | Method and apparatus for streaming panoramic video |
| CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072694A (ja) * | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
| US9883011B2 (en) * | 2012-10-12 | 2018-01-30 | Canon Kabushiki Kaisha | Method and corresponding device for streaming video data |
| WO2015123861A1 (zh) * | 2014-02-21 | 2015-08-27 | 华为技术有限公司 | 处理视频的方法、终端和服务器 |
| CN104735464A (zh) * | 2015-03-31 | 2015-06-24 | 华为技术有限公司 | 一种全景视频交互传输方法、服务器和客户端 |
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
-
2018
- 2018-05-10 CN CN201810440711.9A patent/CN108650460B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106104651A (zh) * | 2014-01-15 | 2016-11-09 | 威智伦公司 | 来自视频源装置的流式数据的存储管理 |
| CN105791882A (zh) * | 2016-03-22 | 2016-07-20 | 腾讯科技（深圳）有限公司 | 视频编码方法及装置 |
| WO2017210444A1 (en) * | 2016-06-02 | 2017-12-07 | Comet Technologies, Llc | Method and apparatus for streaming panoramic video |
| CN106060570A (zh) * | 2016-06-30 | 2016-10-26 | 北京奇艺世纪科技有限公司 | 一种全景视频图像播放、编码方法及装置 |
| CN106060515A (zh) * | 2016-07-14 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 全景媒体文件推送方法及装置 |
| CN107040794A (zh) * | 2017-04-26 | 2017-08-11 | 盯盯拍（深圳）技术股份有限公司 | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 |
| CN107317809A (zh) * | 2017-06-23 | 2017-11-03 | 上海交通大学 | 一种信息中心网络多层次视频媒体系统及其使用方法 |
| CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108650460A (zh) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108650460B (zh) | 服务器、全景视频的存储和传输方法和计算机存储介质 | |
| US20180270496A1 (en) | Composite video streaming using stateless compression | |
| US10672102B2 (en) | Conversion and pre-processing of spherical video for streaming and rendering | |
| CN101350929B (zh) | 表示图像帧的非帧边缘区块时的增强的压缩方法 | |
| US8620096B2 (en) | Virtualization server for presentation virtualization and image data encoding method | |
| CN107945101B (zh) | 图像处理方法和装置 | |
| CN108566553B (zh) | 视频墙媒体播放系统、方法及控制服务器 | |
| US20180276873A1 (en) | Providing output surface data to a display in data processing systems | |
| US11949853B2 (en) | Data decoding method and apparatus, and data coding method and apparatus | |
| CN112422868A (zh) | 数据处理方法及终端设备、服务器 | |
| CN111669577A (zh) | 一种硬件解码检测方法、装置、电子设备及存储介质 | |
| CN115225937A (zh) | 沉浸式媒体提供方法、获取方法、装置、设备及存储介质 | |
| CN114938408B (zh) | 一种云手机的数据传输方法、系统、设备及介质 | |
| US7580041B1 (en) | Direct storage of compressed scan converted data | |
| CN116450149B (zh) | 一种硬件解码方法、设备及存储介质 | |
| CN113228665A (zh) | 用于处理配置数据的方法、设备、计算机程序和计算机可读介质 | |
| CN116248889A (zh) | 图像编码及解码方法、装置和电子设备 | |
| CN113992951A (zh) | 投屏方法、投影仪及终端设备 | |
| CN113596583A (zh) | 视频流子弹时间数据处理方法及装置 | |
| CN101065760A (zh) | 处理图像数据的系统和方法 | |
| CN110572676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
| CN110022480B (zh) | 一种基于amd显卡的h265硬件编码方法及直播平台 | |
| CN117412064A (zh) | 视频解码方法、装置、电子设备及计算机存储介质 | |
| CN118138784A (zh) | 视频分割压缩方法、装置、设备以及介质 | |
| CN118283295A (zh) | 一种图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: Building 13, Building 4, Building A, Block A1, Lehui Science and Technology Innovation Center, No. 489 Jihua Road, Bantian Community, Bantian Street, Longgang District, Shenzhen City, Guangdong Province, 518000 Patentee after: SHENZHEN VIEWPT TECHNOLOGY Co.,Ltd. Address before: 518000 room 3a42, building 19, Dayun software Town, Longgang Avenue, Henggang street, Longgang District, Shenzhen City, Guangdong Province Patentee before: SHENZHEN VIEWPT TECHNOLOGY Co.,Ltd. |