CN107529064A - 一种基于vr终端反馈的自适应编码方法 - Google Patents
一种基于vr终端反馈的自适应编码方法 Download PDFInfo
- Publication number
- CN107529064A CN107529064A CN201710784133.6A CN201710784133A CN107529064A CN 107529064 A CN107529064 A CN 107529064A CN 201710784133 A CN201710784133 A CN 201710784133A CN 107529064 A CN107529064 A CN 107529064A
- Authority
- CN
- China
- Prior art keywords
- user
- video
- terminal
- transmission
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000005540 biological transmission Effects 0.000 claims abstract description 57
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 230000006872 improvement Effects 0.000 claims abstract description 4
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 239000000872 buffer Substances 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 230000008713 feedback mechanism Effects 0.000 abstract 2
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种基于VR终端反馈的自适应编码方法，属于多媒体传输技术领域。本方法核心思想是：通过在传输机制上做出改进，即通过对全景视频分割成多个视角视频，各视角视频信息独立编码传输，再根据终端视角跟踪技术实时传输用户需要的视角视频信息，其他视角低码率传输，在终端将各视角视频拼接成全景视频，再通过终端打分反馈机制使用户得到合适的视角信息，用户的打分指令传输到服务器，服务器根据用户打分映射不同的码率反馈到终端。本发明的优势在于在现有的传输信道容量下，依然可以实现全景视频的传输，使得VR技术可以在多种平台上实现，适应于更加广泛的群体，无须对信道本身做出过大的改进，终端打分反馈机制让用户选择合适主观观看体验。
Description
技术领域
本发明涉及一种基于VR终端反馈的自适应编码方法，属于多媒体传输技术领域。
背景技术
随着VR技术的发展与应用，我们的观看视频的方式变得更加有亲临感。目前市场上出现的各种各样的头显VR设备，然而光有设备是不够的，视频源的提供才是VR发展的关键。全景视频是提供给VR设备的内容。在我们的日常生活中，不论是观看电视还是手机，我们看的视角都只是一个视角，这个视角被认为一个平面。但实际上我们的位置是三维空间的一个点，我们所能接受的视频信息可以是三维的，可以接受空间中各个方向的视角信息。全景视频正是这样一个产品，用户可以根据自己想要看的东西来选择“转头”观看。VR全景视频整体方案包括了采集、拼接、编码及传输和播放几个部分。
对于视频内容的生产而言，第一步就是视频采集。与普通视频生产不同，全景视频的采集需要多台摄像机同时完成。目前采用的采集设备有Google Jump、GoPro、NOKIA OZO等。全景设备的取景范围水平360°，垂直180°。拍摄使用的全景拍摄都是经过相机参数标定的。而在拍摄过程中，我们还需要解决采集同步的问题。常见的同步方式有：闪光同步，即检测所有相机视频帧内的“闪光”，如明亮帧，白色帧，利用这个信号进行同步；运动同步，即检测所有相机视频帧内的运动信息，通过匹配运动量进行同步；声音同步，即分析所有相机采集到的声音频谱进行同步；以及手动同步，即根据某一个时刻的所有的相机采集的视频帧手动进行微调。
完成同步采集后，需要将相机采集的视频帧进行拼接，而在拼接之前，考虑到各帧是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏景物的视觉的一致性。所以要先对图像进行投影变换，在进行拼接。一般有平面投影、柱面投影、球面投影和鱼眼投影等。
完成投影变换后，之后步骤就是拼接，拼接过程主要特征提取-特征匹配-配准-融合等步骤。
特征点匹配可以采用SIFT的作者lowe提出比较最近邻距离与次紧邻距离的SIFT匹配方式，或者KD-Tree算法等。而在匹配过程中，通常使用RANSAC算法对特征点进行筛选。
配准的目的是根据几何运动模型将图像注册到一个坐标系中，在多幅图像配准过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿摄型模型和透视模型等。
图像配准之后，便可以进行图像融合操作，图像融合技术一般可以分为非多分辨率和多分辨率技术俩类。
通过以上操作基本完成拼接工作。但是，由于不同角度的画面是通过不同的相机采集得到，最终全景图像会遇到各个区域的曝光不一致的情况，通过曝光补偿的技术可以使得拼接后的全景图像曝光一致。再则当场景中有物体移动时会出现鬼影现象，我们则会通过ROD算法去除这种现象，之后便得到全景视频信息。
全景视频信息需要专门的传输编码来满足庞大的信息量传输，但是目前还没有针对全景视频的编码标准。例如乐视云构建的VR视频云平台，包含以上采集、拼接、编码传输和播放等几个环节。采用多个普通镜头进行多角度无死角的拍摄，使用特征提取、特征匹配、校准、融合和曝光补偿等技术拼接成完整的全景图像；再经H264、H265等视频压缩技术进行编码处理，之后通过RTSP、RTMP、HLS等传输协议进行传输，最后通过相应解码器完成解码播放工作，在不同终端上实现VR、全景等播出形式。
现在基于互联网传输到移动终端或者CP上的流媒体传输协议普遍是HAS，即HTTP自适应传输协议，该协议是在HTTP基础上改进而来，HTTP协议即超文本传输协议最大的功能就是高速缓冲。是指服务器可以把最近的一些请求、相应暂时缓存在本地，当有新的请求到达时，若是代理服务器发现其与之前暂存的请求相同，怎返回咱村的响应，而无需按照URL地址重新访问网络。这样大大减少了网络上的通信量从而优化了网络状况。
HTTP Adaptive Streaming指的是HTTP自适应码流传输协议,其主要服务器实现媒体文件的分片，然后把每个媒体文件分片通过HTTP协议传输媒体流，可以实现媒体播放过程中的码率变化。结合网络带宽资源，为用户提供更好的体验。同时在带宽资源充分的情况下，可以为用户提供高码率的视频体验，在带宽资源不足时可以为用户提供低码率的视频体验，在带宽资源变化的情况下，可以为用户提供可变的码率的视频服务，即网速好时可以选择高清视频，当网速不好时候，可以选择标清视频。
发明内容
本发明的目的是优化全景视频的传输效率，增强VR终端显示，在网络传输中，使得全景视频信号传输效率更高，减小冗余度，提出了一种基于VR终端反馈的自适应编码方法。
本发明的思想是结合数理统计和概率论，主要传输机制上作出改善:首先，传输过程中让用户看到的信息得以优先输出，其他视角信息根据缓冲长度达到一定阈值来传输，在一定程度上解决了因为信号信息量太大而无法第一时间全部传输到终端的问题，在传输的内容所需要的带宽和时延上达到合理分配；其次，通过终端打分和后台反馈处理，让VR用户端，即VR终端在带宽与时延利用利用率更高，用户与虚拟环境的交互感受得到有效提升，用户更能根据主观感受来适当地选择合适地客观虚拟场景。在VR用户接受视频信息的时候，后台会提供全视角信息，后台会将360°全景视频划分为若干个视角，后台根据用户体验过程中对视角的选择做统计，最后预测用户的视角选择，每一个视角会单独生成一个视频信息，后台会自动将该视角信息作为优先传输，我们预先设定阈值，当优先传输的视角信息缓冲一定的信息量时，后台再传输其它视角的信息，这样便可以在现有的有限带宽里满足用户视角信息量的需求，一定程度上可以减少对带宽的苛求，这种方案对时延要求比较高，满足用户享受属于自己不同信道下合适的体验要求，相当于时延换带宽的方案；第三：在用户实现VR实时播放后，用户可以在终端对观看到的视频信息做出评分，评分结果会反馈到后台，后台通过对评分结果映射不同的处理方式，系统会根据用户所评的分数选择合适的信息量传输，让用户能在不同环境下满足自己的主观要求。
本发明是一种基于VR终端反馈的自适应编码方法，可以通过MPEG-DASH、HAS、HLS为主的视频传输技术实现，具体步骤如下：
步骤一：服务器端采集全景视频、并将采集到的全景视频拼接成未编码的全景视频信息；
步骤二：用户端向服务器断发送指令，申请观看步骤一生成的全景视频信息；
其中发送的指令中包括用户的视角选择；
步骤三：服务器端接收步骤二终端向服务器端发送的指令；
步骤四：服务器端响应步骤三的指令，将步骤一中生成的全景视频信息基于视角进行分割，输出若干个视角视频信息，再对视角视频信息进行编码传输，再根据步骤二发送的指令中的用户视角选择，将对应视角的全景视频信息传输给发送端；具体说来：步骤四将步骤一的未编码的全景视频信息进行图像分割，转换成若干个视角视频信息，进行独立编码传输；
步骤四又可以再分为以下三个步骤：
步骤4.1服务器端对步骤一输出的全景视频信息进行分割，针对不同用户视角需求，全景视频信息被分割成多个独立的用视频信息，在该用户视角视频信息中其他视角内容被“模糊”，这样就节省了传输量；
其中，用户视角视频信息的数量不限定。
步骤4.2对步骤4.1输出的用户视角视频信息进行编码再传输；
其中，本步骤中每一个视角视频信息都独立进行编码并传输，这会大大增加传输效率，实现VR用户的高效观看；
步骤4.3终端根据用户体验要求，对步骤4.2将传输的独立的视角视频信息进行相应的解码、拼接和播放；
其中，我们观看的视频信息其视角视频信息码率很高，但是其他视角并不是没有视频信息，而是码率低“模糊”的视频，所以需要一定的视频拼接；
步骤五：终端检测用户并将监测信息反馈给用户端；
其中，终端就是VR终端和VR用户含义相同；具体是：
终端监测用户，终端反馈给服务器端参数；具体应用到眼球跟踪技术，跟踪用户眼球重点关注区域，反馈到服务器端，由服务器端对应下载眼球所关注的区域；用户打分M，上一片段下载速率RdMbps，播放缓存T(单位为秒s)；
步骤六：服务器端视频质量评价；
服务器端：编码传输视频以3.5分对应的Rc码率行视频分段为D(单位为秒s)，将视频的类型对应的QoE到Rate映射，以0.5分为间隔的映射，当前码率是Rc；
步骤七：VR用户进行打分；
其中，终端VR用户的打分分为俩种情况；
一、若是用户打分为M低于预设值(M<3.5分)，M在服务器端映射到Rate(Rq)Rq<Rc；
a.Rd>Rc且T>D提高Rc到4.0分等级；
b.Rd>Rc且T<D提高用户关注区域Rc到4.0等级，其他区域码率不变；
c.Rd>Rc提高用户关注区域Rc到4.0等级，其他区域降低到3.0等级码率；
二、若是用户打分M高于或者等于预设值(M≥3.5)或者用户没有打分；
M在服务器端映射到Rate(Rq)Rq>Rc，保持当前编码继续传输；
至此，从步骤一到步骤七，完成了一种基于VR终端反馈的自适应编码方法。
有益效果
本发明一种基于VR终端反馈的自适应编码方法，与现有的基于VR终端反馈的视频传输方法相比，具有如下的有益效果：
1.本发明是针对现有的传输机制无法满足VR终端对全景视频传输要求，开发一种涉及到视频编码传输机制的新的针对全景视频传输方法，针对全景视频在现有的传输信道上不能够有效传输，同时涉及到终端用户对视频质量的评价方法及相应的反馈方法；
本发明所描述方法改进了传输机制，在现有的快递基础上通过减少时延实现用户点对视频信号的需求，满足终端上对全景视频信号的体验；
2.终端用户通过对视频感受评分，及时将评分映射到服务器端；
3.服务器端通过对映射数据对应的码率及时反馈到终端，使得终端得到主观想要的视频质量。
附图说明
图1是本发明一种基于VR终端反馈的自适应编码方法及实施例1中的流程图；
图2是本发明一种基于VR终端反馈的自适应编码方法实施例1步骤三中根据视频分片等级确定的视频报文的重传机制示意图；
图3是本发明一种基于VR终端反馈的自适应编码方法实施例1中步骤四的视频传输控制协议MCP的头文件格式示意图。
具体实施方式
下面实施案例对本发明进行详细说明，旨在加深对本发明的理解，同时了解该发明在实践应用上的有益效果。我们所描述的案例对该发明的内容没有任何限定作用。
下面对结合附图及实施例本发明进行举例说明。
实施例1
本实施例具体阐述了本发明一种基于VR终端反馈的自适应编码方法的流程及相应实施。
图1为本发明一种基于VR终端反馈的自适应编码方法的流程图。从图1可以看出该编码方法的传输方式和流程。虽然现在VR直播平台刚刚建立起来，虽然很多技术应用不够成熟，但是从现在市场需求看出VR直播技术具有很大的活力，在未来发展趋势也是相当乐观。图1的实例步骤具体如下：
步骤一：VR摄像机采集
首先我们第一步解决的是全景视频的采集，这是实现VR直播的首要前提。通过对景物的360°拍摄，采集不同方向上的图像信息。该过程摄像机需要多个摄像镜头、多个传感器共同协作。需要多颗镜头去覆盖想要覆盖的角度，360度或者是180度，需要做到多个传感器的同步，同时开始拍摄，才能后续进行比较好的拼接。
步骤二：视频处理
如图1中流媒体服务器，将采集到的个摄像头上的图像进行拼接，完成一幅完整的全景图像，接着进行全景视频的投影，目的为了便于对视频监看方便后期处理，将视频流拼接好做好投影之后，全景视频进行图像分割，我们这里假设分割成为四个方向上的图像，分别为图像a、图像b、图像c。还将分割的图像独立编码传输。
步骤三：终端请求
眼球跟踪技术将会捕捉用户的视角，将请求命令上交到服务器，现假设用户观看视角是a方向上的视频信息，且传输码率是3.5Mbps，服务器将编辑好的a视频传输到用户端，同时服务器自动将b、c方向的视频以低码率进行传输,分别为1.1Mbps、1.0Mbps，当用户改变转头，看向b方向，服务器传输b方向的视频,码率提升到3.6Mbps，其他a、c方向码率分别下降为1.3Mbps和1.0Mbps，为b方向的视频“腾出”带宽。该传输机制如附图2所示，尤其在信息量大而繁杂，通过对视频文件进行转码和分片，对不同码率视频定义不同的等级，根据用户信道状态调度不同等级视频分片，对于网络中误码导致视频报文重传时候，对于不同等级分片进行如图对应处理。
步骤四：终端设备对传输来视频进行拼接
终端观看设备将独立传输来的视频进行无缝全景拼接。保证用户360度都能欣赏到视频相应视频信息。各个独立视频传输的控制协议例如附图3，MCP主机接收到网络TCP/IP指令后，若是判断并非底层指令直接将此指令转发给中控PGM去执行，这种控制方式的灵活性强，因为一条指令可以让中控做一系列指令操作。
步骤五：终端视频质量评价及反馈
用户1对传输视频打分3.7分，该信息传输到服务器，通过映射表对应，服务器提高该用户传输码率到4.2级别,传输码率提升到5.45Mbps。用户1不满足当前码率，继续打分为3.8，则服务器根据用户所传输的信道再次相应提高到4.5分等级,传输码率提高到8.67Mbps。用户观赏该传输码率下的视频。
用户2对传输视频打分4.1分，则服务器默认当前传输码率为最适码率，该用户观看的视频传输码率为3.6Mbps。
表1后台评分与传输码率映射表
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例如附图所公布的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入发明保护的范围。
Claims (7)
1.一种基于VR终端反馈的自适应编码方法，其特征在于:思想是结合数理统计和概率论，主要传输机制上作出改善:首先，传输过程中让用户看到的信息得以优先输出，其他视角信息根据缓冲长度达到一定阈值来传输，在一定程度上解决了因为信号信息量太大而无法第一时间全部传输到终端的问题，在传输的内容所需要的带宽和时延上达到合理分配；其次，通过终端打分和后台反馈处理，让VR用户端在带宽与时延利用利用率更高，用户与虚拟环境的交互感受得到有效提升，用户更能根据主观感受来适当地选择合适地客观虚拟场景；在VR用户接受视频信息的时候，后台会提供全视角信息，后台会将360°全景视频划分为若干个视角，后台根据用户体验过程中对视角的选择做统计，最后预测用户的视角选择，每一个视角会单独生成一个视频信息，后台会自动将该视角信息作为优先传输，我们预先设定阈值，当优先传输的视角信息缓冲一定的信息量时，后台再传输其它视角的信息，这样便可以在现有的有限带宽里满足用户视角信息量的需求，一定程度上可以减少对带宽的苛求，这种方案对时延要求比较高，满足用户享受属于自己不同信道下合适的体验要求，相当于时延换带宽的方案；第三：在用户实现VR实时播放后，用户可以在终端对观看到的视频信息做出评分，评分结果会反馈到后台，后台通过对评分结果映射不同的处理方式，系统会根据用户所评的分数选择合适的信息量传输，让用户能在不同环境下满足自己的主观要求。
2.根据权利要求1所述的一种基于VR终端反馈的自适应编码方法，其特征在于:可通过MPEG-DASH、HAS、HLS为主的视频传输技术实现，具体步骤如下：
步骤一：服务器端采集全景视频、并将采集到的全景视频拼接成未编码的全景视频信息；
步骤二：用户端向服务器断发送指令，申请观看步骤一生成的全景视频信息；
步骤三：服务器端接收步骤二终端向服务器端发送的指令；
步骤四：服务器端响应步骤三的指令，将步骤一中生成的全景视频信息基于视角进行分割，输出若干个视角视频信息，再对视角视频信息进行编码传输，再根据步骤二发送的指令中的用户视角选择，将对应视角的全景视频信息传输给发送端；具体说来：步骤四将步骤一的未编码的全景视频信息进行图像分割，转换成若干个视角视频信息，进行独立编码传输；
步骤五：终端检测用户并将监测信息反馈给用户端；
步骤六：服务器端视频质量评价；
步骤七：VR用户进行打分；
至此，从步骤一到步骤七，完成了一种基于VR终端反馈的自适应编码方法。
3.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤二中发送的指令中包括用户的视角选择。
4.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤四又可以再分为以下三个步骤：
步骤4.1服务器端对步骤一输出的全景视频信息进行分割，针对不同用户视角需求，全景视频信息被分割成多个独立的用视频信息，在该用户视角视频信息中其他视角内容被“模糊”，这样就节省了传输量；
其中，用户视角视频信息的数量不限定；
步骤4.2对步骤4.1输出的用户视角视频信息进行编码再传输；
其中，本步骤中每一个视角视频信息都独立进行编码并传输，这会大大增加传输效率，实现VR用户的高效观看；
步骤4.3终端根据用户体验要求，对步骤4.2将传输的独立的视角视频信息进行相应的解码、拼接和播放；
其中，我们观看的视频信息其视角视频信息码率很高，但是其他视角并不是没有视频信息，而是码率低“模糊”的视频，所以需要一定的视频拼接。
5.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤五中，终端就是VR终端，和VR用户含义相同；步骤五，具体为：终端监测用户，终端反馈给服务器端参数；具体应用到眼球跟踪技术，跟踪用户眼球重点关注区域，反馈到服务器端，由服务器端对应下载眼球所关注的区域；用户打分M，上一片段下载速率RdMbps，播放缓存T，其中T的单位为秒s。
6.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤六中服务器端：编码传输视频以3.5分对应的Rc码率行视频分段为D(单位为秒s)，将视频的类型对应的QoE到Rate映射，以0.5分为间隔的映射，当前码率是Rc。
7.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤七中，终端VR用户的打分分为俩种情况；
一、若是用户打分为M低于预设值(M<3.5分)，M在服务器端映射到Rate(Rq)Rq<Rc；
a.Rd>Rc且T>D提高Rc到4.0分等级；
b.Rd>Rc且T<D提高用户关注区域Rc到4.0等级，其他区域码率不变；
c.Rd>Rc提高用户关注区域Rc到4.0等级，其他区域降低到3.0等级码率；
二、若是用户打分M高于或者等于预设值(M≥3.5)或者用户没有打分；
M在服务器端映射到Rate(Rq)Rq>Rc，保持当前编码继续传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710784133.6A CN107529064A (zh) | 2017-09-04 | 2017-09-04 | 一种基于vr终端反馈的自适应编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710784133.6A CN107529064A (zh) | 2017-09-04 | 2017-09-04 | 一种基于vr终端反馈的自适应编码方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107529064A true CN107529064A (zh) | 2017-12-29 |
Family
ID=60683351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710784133.6A Pending CN107529064A (zh) | 2017-09-04 | 2017-09-04 | 一种基于vr终端反馈的自适应编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107529064A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108650460A (zh) * | 2018-05-10 | 2018-10-12 | 深圳视点创新科技有限公司 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
| CN109040601A (zh) * | 2018-09-05 | 2018-12-18 | 清华-伯克利深圳学院筹备办公室 | 一种多尺度非结构化的十亿像素vr全景摄影系统 |
| CN109089137A (zh) * | 2018-09-27 | 2018-12-25 | 广州酷狗计算机科技有限公司 | 卡顿检测方法及装置 |
| CN110072121A (zh) * | 2018-01-23 | 2019-07-30 | 南京大学 | 一种适应人眼感知情况的沉浸式媒体数据传输方法 |
| WO2019157803A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 传输控制方法 |
| CN110519652A (zh) * | 2018-05-22 | 2019-11-29 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
| WO2020001610A1 (zh) * | 2018-06-29 | 2020-01-02 | 华为技术有限公司 | 一种视频拼接方法及装置 |
| CN111246237A (zh) * | 2020-01-22 | 2020-06-05 | 视联动力信息技术股份有限公司 | 一种全景视频直播方法和装置 |
| CN111343475A (zh) * | 2020-03-04 | 2020-06-26 | 广州虎牙科技有限公司 | 数据处理方法和装置、直播服务器及存储介质 |
| CN111372035A (zh) * | 2018-12-25 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 多媒体数据处理方法、装置、电子设备及可读存储介质 |
| CN111416989A (zh) * | 2020-04-28 | 2020-07-14 | 北京金山云网络技术有限公司 | 视频直播方法、系统及电子设备 |
| GB2580667A (en) * | 2019-01-22 | 2020-07-29 | Sony Corp | A method, device and computer program |
| CN111711859A (zh) * | 2020-06-28 | 2020-09-25 | 北京奇艺世纪科技有限公司 | 一种视频图像处理方法、系统及终端设备 |
| CN111818336A (zh) * | 2019-04-12 | 2020-10-23 | 华为技术有限公司 | 视频处理方法、装置、存储介质以及通信装置 |
| CN111869221A (zh) * | 2018-04-05 | 2020-10-30 | 华为技术有限公司 | Dash对象之间的有效关联 |
| CN112752032A (zh) * | 2019-10-31 | 2021-05-04 | 华为技术有限公司 | 一种全景视频生成方法、视频采集方法与相关装置 |
| CN112995596A (zh) * | 2021-02-18 | 2021-06-18 | 咪咕文化科技有限公司 | 全景视频传输方法、装置、电子设备和存储介质 |
| CN115022546A (zh) * | 2022-05-31 | 2022-09-06 | 咪咕视讯科技有限公司 | 全景视频传输方法、装置、终端设备以及存储介质 |
| CN115103023A (zh) * | 2022-06-14 | 2022-09-23 | 北京字节跳动网络技术有限公司 | 视频缓存方法、装置、设备及存储介质 |
| CN116506665A (zh) * | 2023-06-27 | 2023-07-28 | 北京蔚领时代科技有限公司 | 自适应码率控制的vr串流方法、系统、装置及存储介质 |
| CN116996661A (zh) * | 2023-09-27 | 2023-11-03 | 中国科学技术大学 | 三维视频展示方法、装置、设备及介质 |
| US11831883B2 (en) | 2019-06-28 | 2023-11-28 | Hefei University Of Technology | QoE-based adaptive acquisition and transmission method for VR video |
| WO2024060719A1 (zh) * | 2022-09-19 | 2024-03-28 | 腾讯科技（深圳）有限公司 | 一种数据传输的方法、装置、电子设备及存储介质 |
| WO2024060720A1 (zh) * | 2022-09-19 | 2024-03-28 | 腾讯科技（深圳）有限公司 | 视频流传输控制方法及装置、系统、电子设备、存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102438144A (zh) * | 2011-11-22 | 2012-05-02 | 苏州科雷芯电子科技有限公司 | 视频传输方法 |
| CN103475951A (zh) * | 2013-08-20 | 2013-12-25 | 南京邮电大学 | 一种基于用户体验的实时视频传输速率自适应方法 |
| CN104410860A (zh) * | 2014-11-28 | 2015-03-11 | 北京航空航天大学 | 一种高清roi视频实时质量调节的方法 |
| CN105828069A (zh) * | 2016-04-06 | 2016-08-03 | 上海交通大学 | 一种基于主观质量评估的编码器自适应调整方法 |
| CN106060513A (zh) * | 2016-06-29 | 2016-10-26 | 深圳市优象计算技术有限公司 | 一种用于柱面立体全景视频网络播放的码流缓存机制 |
| CN106454321A (zh) * | 2016-10-26 | 2017-02-22 | 深圳市道通智能航空技术有限公司 | 全景视频的处理方法、装置及系统 |
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
| CN106919248A (zh) * | 2015-12-26 | 2017-07-04 | 华为技术有限公司 | 应用于虚拟现实的内容传输方法以及设备 |
| CN106937118A (zh) * | 2017-03-13 | 2017-07-07 | 西安电子科技大学 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
| CN107040794A (zh) * | 2017-04-26 | 2017-08-11 | 盯盯拍（深圳）技术股份有限公司 | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 |
-
2017
- 2017-09-04 CN CN201710784133.6A patent/CN107529064A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102438144A (zh) * | 2011-11-22 | 2012-05-02 | 苏州科雷芯电子科技有限公司 | 视频传输方法 |
| CN103475951A (zh) * | 2013-08-20 | 2013-12-25 | 南京邮电大学 | 一种基于用户体验的实时视频传输速率自适应方法 |
| CN104410860A (zh) * | 2014-11-28 | 2015-03-11 | 北京航空航天大学 | 一种高清roi视频实时质量调节的方法 |
| CN106919248A (zh) * | 2015-12-26 | 2017-07-04 | 华为技术有限公司 | 应用于虚拟现实的内容传输方法以及设备 |
| CN105828069A (zh) * | 2016-04-06 | 2016-08-03 | 上海交通大学 | 一种基于主观质量评估的编码器自适应调整方法 |
| CN106060513A (zh) * | 2016-06-29 | 2016-10-26 | 深圳市优象计算技术有限公司 | 一种用于柱面立体全景视频网络播放的码流缓存机制 |
| CN106454321A (zh) * | 2016-10-26 | 2017-02-22 | 深圳市道通智能航空技术有限公司 | 全景视频的处理方法、装置及系统 |
| CN106658011A (zh) * | 2016-12-09 | 2017-05-10 | 深圳市云宙多媒体技术有限公司 | 全景视频的编解码方法和装置 |
| CN106937118A (zh) * | 2017-03-13 | 2017-07-07 | 西安电子科技大学 | 一种基于主观感兴趣区域和时空域相结合的码率控制方法 |
| CN107040794A (zh) * | 2017-04-26 | 2017-08-11 | 盯盯拍（深圳）技术股份有限公司 | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110072121A (zh) * | 2018-01-23 | 2019-07-30 | 南京大学 | 一种适应人眼感知情况的沉浸式媒体数据传输方法 |
| WO2019157803A1 (zh) * | 2018-02-13 | 2019-08-22 | 华为技术有限公司 | 传输控制方法 |
| CN111869221A (zh) * | 2018-04-05 | 2020-10-30 | 华为技术有限公司 | Dash对象之间的有效关联 |
| CN111869221B (zh) * | 2018-04-05 | 2021-07-20 | 华为技术有限公司 | Dash对象之间的有效关联 |
| CN108650460A (zh) * | 2018-05-10 | 2018-10-12 | 深圳视点创新科技有限公司 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
| CN108650460B (zh) * | 2018-05-10 | 2021-03-30 | 深圳视点创新科技有限公司 | 服务器、全景视频的存储和传输方法和计算机存储介质 |
| CN110519652A (zh) * | 2018-05-22 | 2019-11-29 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
| CN110519652B (zh) * | 2018-05-22 | 2021-05-18 | 华为软件技术有限公司 | Vr视频播放方法、终端及服务器 |
| US11765427B2 (en) | 2018-05-22 | 2023-09-19 | Huawei Technologies Co., Ltd. | Virtual reality video playing method, terminal, and server |
| WO2020001610A1 (zh) * | 2018-06-29 | 2020-01-02 | 华为技术有限公司 | 一种视频拼接方法及装置 |
| CN110662119A (zh) * | 2018-06-29 | 2020-01-07 | 华为技术有限公司 | 一种视频拼接方法及装置 |
| CN109040601A (zh) * | 2018-09-05 | 2018-12-18 | 清华-伯克利深圳学院筹备办公室 | 一种多尺度非结构化的十亿像素vr全景摄影系统 |
| CN109089137A (zh) * | 2018-09-27 | 2018-12-25 | 广州酷狗计算机科技有限公司 | 卡顿检测方法及装置 |
| CN109089137B (zh) * | 2018-09-27 | 2021-01-01 | 广州酷狗计算机科技有限公司 | 卡顿检测方法及装置 |
| CN111372035A (zh) * | 2018-12-25 | 2020-07-03 | 杭州海康威视数字技术股份有限公司 | 多媒体数据处理方法、装置、电子设备及可读存储介质 |
| GB2580667A (en) * | 2019-01-22 | 2020-07-29 | Sony Corp | A method, device and computer program |
| US11227443B2 (en) | 2019-01-22 | 2022-01-18 | Sony Corporation | Method, device, and computer program for using two network parts to deliver virtual reality content |
| CN111818336A (zh) * | 2019-04-12 | 2020-10-23 | 华为技术有限公司 | 视频处理方法、装置、存储介质以及通信装置 |
| CN111818336B (zh) * | 2019-04-12 | 2022-08-26 | 华为技术有限公司 | 视频处理方法、装置、存储介质以及通信装置 |
| US11831883B2 (en) | 2019-06-28 | 2023-11-28 | Hefei University Of Technology | QoE-based adaptive acquisition and transmission method for VR video |
| CN112752032A (zh) * | 2019-10-31 | 2021-05-04 | 华为技术有限公司 | 一种全景视频生成方法、视频采集方法与相关装置 |
| WO2021083293A1 (zh) * | 2019-10-31 | 2021-05-06 | 华为技术有限公司 | 一种全景视频生成方法、视频采集方法与相关装置 |
| CN112752032B (zh) * | 2019-10-31 | 2023-01-06 | 华为技术有限公司 | 一种全景视频生成方法、视频采集方法与相关装置 |
| CN111246237A (zh) * | 2020-01-22 | 2020-06-05 | 视联动力信息技术股份有限公司 | 一种全景视频直播方法和装置 |
| CN111343475A (zh) * | 2020-03-04 | 2020-06-26 | 广州虎牙科技有限公司 | 数据处理方法和装置、直播服务器及存储介质 |
| CN111343475B (zh) * | 2020-03-04 | 2022-04-15 | 广州虎牙科技有限公司 | 数据处理方法和装置、直播服务器及存储介质 |
| CN111416989A (zh) * | 2020-04-28 | 2020-07-14 | 北京金山云网络技术有限公司 | 视频直播方法、系统及电子设备 |
| CN111711859A (zh) * | 2020-06-28 | 2020-09-25 | 北京奇艺世纪科技有限公司 | 一种视频图像处理方法、系统及终端设备 |
| CN112995596A (zh) * | 2021-02-18 | 2021-06-18 | 咪咕文化科技有限公司 | 全景视频传输方法、装置、电子设备和存储介质 |
| CN112995596B (zh) * | 2021-02-18 | 2023-08-15 | 咪咕文化科技有限公司 | 全景视频传输方法、装置、电子设备和存储介质 |
| CN115022546B (zh) * | 2022-05-31 | 2023-11-14 | 咪咕视讯科技有限公司 | 全景视频传输方法、装置、终端设备以及存储介质 |
| CN115022546A (zh) * | 2022-05-31 | 2022-09-06 | 咪咕视讯科技有限公司 | 全景视频传输方法、装置、终端设备以及存储介质 |
| CN115103023A (zh) * | 2022-06-14 | 2022-09-23 | 北京字节跳动网络技术有限公司 | 视频缓存方法、装置、设备及存储介质 |
| CN115103023B (zh) * | 2022-06-14 | 2024-04-05 | 北京字节跳动网络技术有限公司 | 视频缓存方法、装置、设备及存储介质 |
| WO2024060719A1 (zh) * | 2022-09-19 | 2024-03-28 | 腾讯科技（深圳）有限公司 | 一种数据传输的方法、装置、电子设备及存储介质 |
| WO2024060720A1 (zh) * | 2022-09-19 | 2024-03-28 | 腾讯科技（深圳）有限公司 | 视频流传输控制方法及装置、系统、电子设备、存储介质 |
| CN116506665A (zh) * | 2023-06-27 | 2023-07-28 | 北京蔚领时代科技有限公司 | 自适应码率控制的vr串流方法、系统、装置及存储介质 |
| CN116996661A (zh) * | 2023-09-27 | 2023-11-03 | 中国科学技术大学 | 三维视频展示方法、装置、设备及介质 |
| CN116996661B (zh) * | 2023-09-27 | 2024-01-05 | 中国科学技术大学 | 三维视频展示方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107529064A (zh) | 一种基于vr终端反馈的自适应编码方法 | |
| Yaqoob et al. | A survey on adaptive 360 video streaming: Solutions, challenges and opportunities | |
| Afzal et al. | Characterization of 360-degree videos | |
| US11711588B2 (en) | Video delivery | |
| CN103843301B (zh) | 经译码多媒体数据的网络串流期间的表示之间的切换 | |
| US20200351449A1 (en) | Method and device for transmitting/receiving metadata of image in wireless communication system | |
| CN103813213B (zh) | 基于移动云计算的实时视频分享平台和方法 | |
| US20190313081A1 (en) | Multiple-viewpoints related metadata transmission and reception method and apparatus | |
| CN106068495B (zh) | 将使用不同编码参数编码的多个编码成流 | |
| CN1217530C (zh) | 传输具有数据单元序列的数据信号的服务器、系统和方法 | |
| CN109218734A (zh) | 用于视频编码和解码的方法、装置和计算机程序产品 | |
| Yuan et al. | Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos | |
| CN109792548A (zh) | 用于处理360度视频数据的方法和系统 | |
| CN109155865A (zh) | 在图像中的最感兴趣的区域的先进信号传送 | |
| US20100238264A1 (en) | Three dimensional video communication terminal, system, and method | |
| CN104081785A (zh) | 来自多个源的多媒体数据的流式传输 | |
| de la Fuente et al. | Delay impact on MPEG OMAF’s tile-based viewport-dependent 360 video streaming | |
| Bilal et al. | Crowdsourced multi-view live video streaming using cloud computing | |
| CN106878764A (zh) | 一种虚拟现实的直播方法、系统及其用途 | |
| CN103595965B (zh) | 基于视频流量控制的移动视频监控方法 | |
| CN106791860B (zh) | 一种自适应视频编码控制系统及方法 | |
| US20170142029A1 (en) | Method for data rate adaption in online media services, electronic device, and non-transitory computer-readable storage medium | |
| CN106210525A (zh) | 用于实现视频直播的相机及方法 | |
| Gürler et al. | Peer-to-peer system design for adaptive 3D video streaming | |
| US20210352347A1 (en) | Adaptive video streaming systems and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171229 |