CN117478857A - 一种vr数据传输方法及系统 - Google Patents

一种vr数据传输方法及系统 Download PDF

Info

Publication number
CN117478857A
CN117478857A CN202311804678.0A CN202311804678A CN117478857A CN 117478857 A CN117478857 A CN 117478857A CN 202311804678 A CN202311804678 A CN 202311804678A CN 117478857 A CN117478857 A CN 117478857A
Authority
CN
China
Prior art keywords
field
image blocks
temporary storage
view
transmission control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311804678.0A
Other languages
English (en)
Other versions
CN117478857B (zh
Inventor
何小云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Industrial And Trade Vocational And Technical College Jiangxi Provincial Grain Cadre School Jiangxi Provincial Grain Workers Secondary Vocational School
Original Assignee
Jiangxi Industrial And Trade Vocational And Technical College Jiangxi Provincial Grain Cadre School Jiangxi Provincial Grain Workers Secondary Vocational School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Industrial And Trade Vocational And Technical College Jiangxi Provincial Grain Cadre School Jiangxi Provincial Grain Workers Secondary Vocational School filed Critical Jiangxi Industrial And Trade Vocational And Technical College Jiangxi Provincial Grain Cadre School Jiangxi Provincial Grain Workers Secondary Vocational School
Priority to CN202311804678.0A priority Critical patent/CN117478857B/zh
Publication of CN117478857A publication Critical patent/CN117478857A/zh
Application granted granted Critical
Publication of CN117478857B publication Critical patent/CN117478857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种VR数据传输方法及系统。一种VR数据传输系统，包括：视场区域获取模块，用于获取视场区域；视场区域扩展模块，用于将视场区域进行扩展，得到整体视场区域，并将位于整体视场区域内部且不位于视场区域的区域记为扩展视场区域；VR数据传输模块，用于根据第一传输策略、第二传输策略和第三传输策略对位于视场区域和扩展视场区域内部的VR数据进行传输。本发明通过针对视场区域和扩展视场区域进行不同视频比特率的传输，其中视场区域按照最高的视频比特率进行传输可以保证用户的观看体验，无需将VR数据全部按照最高视频比特率进行传输，可以减少进行传输的数据量，加快传输速度，避免在观看VR视频时发生卡顿等情况。

Description

一种VR数据传输方法及系统
技术领域
本发明涉及数据传输领域，更具体的说，它涉及一种VR数据传输方法及系统。
背景技术
随着VR技术的不断进步，目前越来越多的领都使用了VR技术，例如飞行模拟训练和手术操作模拟训练等。VR视频都是360°球状分布的，因此对于网络带宽的消耗非常大，传输90帧的4K超高清VR视频至少需要50-200Mbps的传输速率，若是网络带宽不够，或者网络发生波动，会导致观看VR视频时出现卡顿的情况，影响用户的使用体验。
发明内容
本发明提供一种VR数据传输方法及系统，通过对VR设备决定的视场区域进行扩展，并且针对视场区域和扩展视场区域进行不同视频比特率的传输，其中视场区域按照最高的视频比特率进行传输可以保证用户的观看体验，无需将VR数据全部按照最高视频比特率进行传输，可以减少进行传输的数据量，加快传输速度，避免在观看VR视频时发生卡顿等情况。
一种VR数据传输方法，包括：
S1：获取当前VR设备所对应的视场区域Fn，n初始为1，将此视场区域的大小记为W×H，其中W为视场区域的长度，H为视场区域的宽度；
S2：根据视场区域Fn进行扩展，得到整体视场区域Kn，将整体视场区域Kn的大小记为（W+g）×（H+g），其中（W+g）为整体视场区域的长度，（H+g）为整体视场区域的宽度，g为扩展范围，将位于整体视场区域Kn内部且不位于视场区域Fn的区域记为扩展视场区域Ln；
S3：判断视场区域Fn-1是否存在，若是视场区域Fn-1不存在，则按照第一传输策略对之后的VR数据进行传输，第一传输策略为：控制位于视场区域Fn内部的VR数据按照Pmax的视频比特率进行传输，控制位于扩展视场区域Ln的VR数据按照Pmin的视频比特率进行传输，其中Pmax为最大视频比特率，Pmin为最小视频比特率；若是视场区域Fn-1存在，则按照第二传输策略对之后的VR数据进行传输，第二传输策略为：控制位于扩展视场区域Ln-1且不位于整体视场区域Kn内部的VR数据停止进行传输；控制位于视场区域Fn内部的VR数据按照Pmax的视频比特率进行传输；控制位于扩展视场区域Ln内部的VR数据按照Pmin的视频比特率进行传输；
步骤S3中的所有传输过程都是将VR数据分成图像块进行传输；
S4：间隔预设时间，将n+1赋值给n，回到S1。
进一步地，还包括对第二传输策略进行调整，具体步骤如下：
将视场区域Fn-1包括的图像块存入第一视场区域图像块集合δn-1，将扩展视场区域Ln-1包括的图像块存入第一扩展视场区域图像块集合εn-1，将视场区域Fn包括的图像块存入第二视场区域图像块集合ζn，将扩展视场区域Ln包括的图像块存入第二扩展视场区域图像块集合ηn；将第一视场区域图像块集合δn-1和第一扩展视场区域图像块集合εn-1组合形成第一整体视场区域集合ψn-1；将第二视场区域图像块集合ζn和第二扩展视场区域图像块集合ηn组合形成第二整体视场区域集合ψn；
将第一整体视场区域集合ψn-1中不与第二整体视场区域集合ψn重复的图像块存入第一传输控制策略暂存集合，控制第一传输控制策略暂存集合中的图像块停止进行传输；
将第二视场区域图像块集合ζn中不与第一整体视场区域集合ψn-1重复的图像块存入第二传输控制策略暂存集合，将第二扩展视场区域图像块集合ηn中不与第一整体视场区域集合ψn-1重复的图像块存入第三传输控制策略暂存集合，并将第二传输控制策略暂存集合内部所有的图像块赋值为Pmax，控制第二传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据；并将第三传输控制策略暂存集合内部所有的图像块赋值为Pmin，控制第三传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据；
将第一扩展视场区域图像块集合εn-1和第二扩展视场区域图像块集合ηn中重复的图像块存入第四传输控制策略暂存集合，并将第四传输控制策略暂存集合内部所有的图像块赋值为Pmin，控制第四传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据；
将第一视场区域图像块集合δn-1和第二视场区域图像块集合ζn中重复的图像块存入第五传输控制策略暂存集合，并将第五传输控制策略暂存集合内部所有的图像块赋值为Pmax，控制第五传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据；
将第二视场区域图像块集合ζn和第一扩展视场区域图像块集合εn-1中重复的图像块存入第六传输控制策略暂存集合，将第六传输控制策略暂存集合内部的图像块逐个赋值为Rn，j，Rn，j=Rn-1，j*（1+β），j=1，2，3，······，J，J为第六传输控制策略暂存集合内部的图像块的总个数，其中Rn，j为第六传输控制策略暂存集合中第j个图像块的视频比特率赋值，Rn-1，j为第六传输控制策略暂存集合中第j个图像块上一次的视频比特率赋值，β为视频比特率变化系数，控制第六传输控制策略暂存集合内部的图像块按照对应的视频比特率赋值Rn，j传输VR数据；
将第二扩展视场区域图像块集合ηn和第一视场区域图像块集合δn-1中重复的图像块存入第七传输控制策略暂存集合，将第七传输控制策略暂存集合内部的图像块逐个赋值为Hn，i，Hn，i=Hn-1，i*（1-β），i=1，2，3，······，I，I为第七传输控制策略暂存集合内部的图像块的总个数；Hn，i为第七传输控制策略暂存集合中第i个图像块的视频比特率赋值，Hn-1，i为第七传输控制策略暂存集合中第i个图像块上一次的视频比特率赋值，控制第七传输控制策略暂存集合内部的图像块按照对应的视频比特率赋值Hn，i传输VR数据。
进一步地，还包括第三传输策略，具体为：
在执行步骤S3之前，逐个选择整体视场区域Kn内部的VR数据对应的图像块，针对选择的图像块，判断选择的图像块是否属于VR重点区域图像块集合，VR重点区域图像块集合中存储VR重点区域图像块，VR重点区域图像块为所有VR数据对应的图像块中被标注好的图像块，若是选择的图像块属于VR重点区域图像块集合，则将选择的图像块存入第八传输控制策略暂存集合；直至整体视场区域Kn内部的VR数据对应的图像块全部被选择；
控制第八传输控制策略暂存集合中的图像块按照Pmax的视频比特率进行传输；
在后续执行步骤S3期间，在控制第一传输控制策略暂存集合中的图像块停止进行传输之前、在控制第二传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据之前、在控制第三传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据之前、在控制第四传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据之前、在控制第五传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据之前、在对第六传输控制策略暂存集合内部的图像块逐个赋值之前和在对第七传输控制策略暂存集合内部的图像块逐个赋值之前，将第一传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第二传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第三传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第四传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第五传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第六传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第七传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，以避免第八传输控制策略暂存集合中的图像块的视频比特率再次被更改。
进一步地，VR数据的传输方式采用WIFI。
进一步地，图像块的划分具体包括如下步骤：将由VR视频进行等距柱状投影后的二维数据按照预设大小进行网格划分，每一个网格即为一个图像块。
一种VR数据传输系统，包括：
视场区域获取模块，用于获取视场区域；
视场区域扩展模块，用于将视场区域进行扩展，得到整体视场区域，并将位于整体视场区域内部且不位于视场区域的区域记为扩展视场区域；
VR数据传输模块，用于根据第一传输策略、第二传输策略和第三传输策略对位于视场区域和扩展视场区域内部的VR数据进行传输。
本发明具有以下优点：
1、本发明通过对VR设备决定的视场区域进行扩展，并且针对视场区域和扩展视场区域进行不同视频比特率的传输，其中视场区域按照最高的视频比特率进行传输可以保证用户的观看体验，无需将VR数据全部按照最高视频比特率进行传输，可以减少进行传输的数据量，加快传输速度，避免在观看VR视频时发生卡顿等情况。
2、本发明通过对第二传输策略进行调整，使得前后两次分属于扩展视场区域和视场区域的图像块的视频比特率按照视频比特率变化系数进行衰减或者增加，与传统的直接将视场区域内部按照高视频比特率传输，其余区域按照低视频比特率传输的方案相比，能够结合用户观看VR视频的视场区域变化，对图像块的视频比特率进行适应性调整，优化用户观看VR视频的体验。
3、本发明通过将整体视场区域内部的图像块与VR重点区域图像块集合进行匹配，输出整体视场区域内部需要重点关注的区域对应的图像块，从而实现将VR视频中需要重点关注的区域按照高视频比特率进行传输，进一步优化用户观看VR视频的体验。
附图说明
图1为本发明实施例采用的VR数据传输系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
一种VR数据传输方法，包括：
S1：获取当前VR设备所对应的视场区域Fn，n初始为1，将此视场区域的大小记为W×H，其中W为视场区域的长度，H为视场区域的宽度，此视场区域由用户头戴VR设备时的姿态决定，由于人眼只能在水平上观察到110°至120°之间的区域，在纵向上只能观察到小于90°的区域，所以，根据VR设备内部的位置传感器获取到用户当前的眼部朝向时，可以确定视场区域，也可以通过基于深度学习的视区预测算法来确定视场区域Fn；
还要进行说明的是，VR视频是呈现360°球状分布的，但是为了方便在传输过程中进行编码和解码，一般都会将VR视频进行等距柱状投影，形成二维数据；上述中的视场区域便是存在于进行等距柱状投影后的二维数据中；并且确定视场区域时，由于是经过等距柱状投影，生成的视场区域可能是分为两块的，视场区域的大小是将两块合在一起进行计算；
S2：根据视场区域Fn进行扩展，得到整体视场区域Kn，将整体视场区域Kn的大小记为（W+g）×（H+g），其中（W+g）为整体视场区域的长度，（H+g）为整体视场区域的宽度，g为扩展范围，将位于整体视场区域Kn内部且不位于视场区域Fn的区域记为扩展视场区域Ln，显然可以得知扩展视场区域Ln为“回”字形，由用户在预设时间内视线焦点移动的距离决定，扩展视场区域是为了当视场区域预测失误时起到缓冲作用，避免用户在使用VR设备时直接黑屏，即当用户使用VR设备时，下一次视场区域与用户眼部位置不对应，此时用户还可以通过扩展区域进行观看；
S3：判断视场区域Fn-1是否存在，即判断当前的视场区域Fn是否为第一个视场区域，若是视场区域Fn-1不存在，则按照第一传输策略对之后的VR数据进行传输，传输方式采用WIFI，第一传输策略为：控制位于视场区域Fn内部的VR数据按照Pmax的视频比特率进行传输，控制位于扩展视场区域Ln的VR数据按照Pmin的视频比特率进行传输，其中Pmax为当前使用的VR设备最大带宽能够支持的最大视频比特率，Pmin为最小视频比特率，由人为进行设定；若是视场区域Fn-1存在，则按照第二传输策略对之后的VR数据进行传输，第二传输策略为：控制位于扩展视场区域Ln-1且不位于整体视场区域Kn内部的VR数据停止进行传输；控制位于视场区域Fn内部的VR数据按照Pmax的视频比特率进行传输；控制位于扩展视场区域Ln内部的VR数据按照Pmin的视频比特率进行传输；
步骤S3中的所有传输过程都是将VR数据分成图像块进行传输，即将由VR视频进行等距柱状投影后的二维数据按照预设大小进行网格划分，每一个网格即为一个图像块；
初始状态下，全部VR数据以最高的视频比特率进行传输，保证用户一开始使用VR设备具备良好的体验；
S4：间隔预设时间，预设时间由用户进行设定，在本申请中，预设时间为1s，在这1s时间内VR数据可以传输24帧图片，将n+1赋值给n，回到S1。
本申请通过对VR设备决定的视场区域进行扩展，并且针对视场区域和扩展视场区域进行不同视频比特率的传输，其中视场区域按照最高的视频比特率进行传输可以保证用户的观看体验，无需将VR数据全部按照最高视频比特率进行传输，可以减少进行传输的数据量，加快传输速度，避免在观看VR视频时发生卡顿等情况。
为了进一步对VR数据传输进行优化，还包括对第二传输策略进行调整，具体步骤如下：
将视场区域Fn-1包括的图像块存入第一视场区域图像块集合δn-1，将扩展视场区域Ln-1包括的图像块存入第一扩展视场区域图像块集合εn-1，将视场区域Fn包括的图像块存入第二视场区域图像块集合ζn，将扩展视场区域Ln包括的图像块存入第二扩展视场区域图像块集合ηn；将第一视场区域图像块集合δn-1和第一扩展视场区域图像块集合εn-1组合形成第一整体视场区域集合ψn-1；将第二视场区域图像块集合ζn和第二扩展视场区域图像块集合ηn组合形成第二整体视场区域集合ψn；需要说明的是，图像块存入对应集合的形式可以是图像块对应的编码，例如从由VR视频进行等距柱状投影后的二维数据的左上角出发，从左至右，从上至下，将每一个网格按次序进行编码；
将第一整体视场区域集合ψn-1中不与第二整体视场区域集合ψn重复的图像块存入第一传输控制策略暂存集合，这部分图像块在视场区域移动之后已经不再具有缓冲作用，对应具备缓冲作用的图像块为第二扩展视场区域图像块集合ηn中图像块，控制第一传输控制策略暂存集合中的图像块停止进行传输；
将第二视场区域图像块集合ζn中不与第一整体视场区域集合ψn-1重复的图像块存入第二传输控制策略暂存集合，将第二扩展视场区域图像块集合ηn中不与第一整体视场区域集合ψn-1重复的图像块存入第三传输控制策略暂存集合，第二传输控制策略暂存集合和第三传输控制策略暂存集合中的图像块为视场区域移动后重新划分出来的图像块，并将第二传输控制策略暂存集合内部所有的图像块赋值为Pmax，控制第二传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据；并将第三传输控制策略暂存集合内部所有的图像块赋值为Pmin，控制第三传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据；
将第一扩展视场区域图像块集合εn-1和第二扩展视场区域图像块集合ηn中重复的图像块存入第四传输控制策略暂存集合，这部分图像块前后两次都是扩展视场区域，便不对这些图像块的视频比特率进行修改，并将第四传输控制策略暂存集合内部所有的图像块赋值为Pmin，控制第四传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据；
将第一视场区域图像块集合δn-1和第二视场区域图像块集合ζn中重复的图像块存入第五传输控制策略暂存集合，这部分图像块前后两次都是视场区域，也不对这些图像块的视频比特率进行修改，并将第五传输控制策略暂存集合内部所有的图像块赋值为Pmax，控制第五传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据；
将第二视场区域图像块集合ζn和第一扩展视场区域图像块集合εn-1中重复的图像块存入第六传输控制策略暂存集合，这部分图像块之前为扩展视场区域，视场区域移动后变化为视场区域，即用户使用的VR设备是朝着这些图像块移动的，也就是说这部分图像块在观看VR视频时是具备较高质量要求，将第六传输控制策略暂存集合内部的图像块逐个赋值为Rn，j，Rn，j=Rn-1，j*（1+β），j=1，2，3，······，J，J为第六传输控制策略暂存集合内部的图像块的总个数，其中Rn，j为第六传输控制策略暂存集合中第j个图像块的视频比特率赋值，Rn-1，j为第六传输控制策略暂存集合中第j个图像块上一次的视频比特率赋值，β为视频比特率变化系数，可以由用户进行预实验进行模拟计算获取，以QoE性能作为约束条件，控制第六传输控制策略暂存集合内部的图像块按照对应的视频比特率赋值Rn，j传输VR数据；
将第二扩展视场区域图像块集合ηn和第一视场区域图像块集合δn-1中重复的图像块存入第七传输控制策略暂存集合，这部分图像块之前为视场区域，即这部分图像块在观看VR视频也是具备较高质量要求的，将第七传输控制策略暂存集合内部的图像块逐个赋值为Hn，i，Hn，i=Hn-1，i*（1-β），i=1，2，3，······，I，I为第七传输控制策略暂存集合内部的图像块的总个数；Hn，i为第七传输控制策略暂存集合中第i个图像块的视频比特率赋值，Hn-1，i为第七传输控制策略暂存集合中第i个图像块上一次的视频比特率赋值，控制第七传输控制策略暂存集合内部的图像块按照对应的视频比特率赋值Hn，i传输VR数据；
本申请通过对第二传输策略进行调整，使得前后两次分属于扩展视场区域和视场区域的图像块的视频比特率按照视频比特率变化系数进行衰减或者增加，与传统的直接将视场区域内部按照高视频比特率传输，其余区域按照低视频比特率传输的方案相比，能够结合用户观看VR视频的视场区域变化，对图像块的视频比特率进行适应性调整，优化用户观看VR视频的体验。
现有的VR视频观看一般是用于各种模拟训练，例如飞行训练，实验模拟训练等，针对于此等情况，本申请考虑到这些模拟训练过程中，都会包括一些关键步骤，例如飞行训练中，一些特定地点是必须要经过的，那么这些特定地点对应的区域必须要保证高视频比特率的传输，因此本申请还包括第三传输策略，具体为：
在执行步骤S3之前，逐个选择整体视场区域Kn内部的VR数据对应的图像块，针对选择的图像块，判断选择的图像块是否属于VR重点区域图像块集合，VR重点区域图像块集合中存储VR重点区域图像块，VR重点区域图像块为所有VR数据对应的图像块中被标注好的图像块，工作人员提前确定好VR视频中必须要保证高视频比特率的传输的区域，并对必须要保证高视频比特率的传输的区域对应的图像块进行标注，这些必须要保证高视频比特率的传输的区域可以根据历史数据进行统计获取，也可以直接由用户进行设定，若是选择的图像块属于VR重点区域图像块集合，则将选择的图像块存入第八传输控制策略暂存集合；直至整体视场区域Kn内部的VR数据对应的图像块全部被选择；
控制第八传输控制策略暂存集合中的图像块按照Pmax的视频比特率进行传输；
在后续执行步骤S3期间，在控制第一传输控制策略暂存集合中的图像块停止进行传输之前、在控制第二传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据之前、在控制第三传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据之前、在控制第四传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据之前、在控制第五传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据之前、在对第六传输控制策略暂存集合内部的图像块逐个赋值之前和在对第七传输控制策略暂存集合内部的图像块逐个赋值之前，将第一传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第二传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第三传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第四传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第五传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第六传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第七传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，以避免第八传输控制策略暂存集合中的图像块的视频比特率再次被更改。
本申请通过将整体视场区域内部的图像块与VR重点区域图像块集合进行匹配，输出整体视场区域内部需要重点关注的区域对应的图像块，从而实现将VR视频中需要重点关注的区域按照高视频比特率进行传输，进一步优化用户观看VR视频的体验。
实施例2
一种VR数据传输系统，如图1所示，包括：
视场区域获取模块，用于获取视场区域；
视场区域扩展模块，用于将视场区域进行扩展，得到整体视场区域，并将位于整体视场区域内部且不位于视场区域的区域记为扩展视场区域；
VR数据传输模块，用于根据第一传输策略、第二传输策略和第三传输策略对位于视场区域和扩展视场区域内部的VR数据进行传输。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。

Claims (6)

1.一种VR数据传输方法，其特征在于，包括：
S1：获取当前VR设备所对应的视场区域Fn，n初始为1，将此视场区域的大小记为W×H，其中W为视场区域的长度，H为视场区域的宽度；
S2：根据视场区域Fn进行扩展，得到整体视场区域Kn，将整体视场区域Kn的大小记为（W+g）×（H+g），其中（W+g）为整体视场区域的长度，（H+g）为整体视场区域的宽度，g为扩展范围，将位于整体视场区域Kn内部且不位于视场区域Fn的区域记为扩展视场区域Ln；
S3：判断视场区域Fn-1是否存在，若是视场区域Fn-1不存在，则按照第一传输策略对之后的VR数据进行传输，第一传输策略为：控制位于视场区域Fn内部的VR数据按照Pmax的视频比特率进行传输，控制位于扩展视场区域Ln的VR数据按照Pmin的视频比特率进行传输，其中Pmax为当前使用的VR设备最大带宽能够支持的最大视频比特率，Pmin为最小视频比特率；若是视场区域Fn-1存在，则按照第二传输策略对之后的VR数据进行传输，第二传输策略为：控制位于扩展视场区域Ln-1且不位于整体视场区域Kn内部的VR数据停止进行传输；控制位于视场区域Fn内部的VR数据按照Pmax的视频比特率进行传输；控制位于扩展视场区域Ln内部的VR数据按照Pmin的视频比特率进行传输；
步骤S3中的所有传输过程都是将VR数据分成图像块进行传输；
S4：间隔预设时间，将n+1赋值给n，回到S1。
2.根据权利要求1所述的一种VR数据传输方法，其特征在于，还包括对第二传输策略进行调整，具体步骤如下：
将视场区域Fn-1包括的图像块存入第一视场区域图像块集合δn-1，将扩展视场区域Ln-1包括的图像块存入第一扩展视场区域图像块集合εn-1，将视场区域Fn包括的图像块存入第二视场区域图像块集合ζn，将扩展视场区域Ln包括的图像块存入第二扩展视场区域图像块集合ηn；将第一视场区域图像块集合δn-1和第一扩展视场区域图像块集合εn-1组合形成第一整体视场区域集合ψn-1；将第二视场区域图像块集合ζn和第二扩展视场区域图像块集合ηn组合形成第二整体视场区域集合ψn；
将第一整体视场区域集合ψn-1中不与第二整体视场区域集合ψn重复的图像块存入第一传输控制策略暂存集合，控制第一传输控制策略暂存集合中的图像块停止进行传输；
将第二视场区域图像块集合ζn中不与第一整体视场区域集合ψn-1重复的图像块存入第二传输控制策略暂存集合，将第二扩展视场区域图像块集合ηn中不与第一整体视场区域集合ψn-1重复的图像块存入第三传输控制策略暂存集合，并将第二传输控制策略暂存集合内部所有的图像块赋值为Pmax，控制第二传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据；并将第三传输控制策略暂存集合内部所有的图像块赋值为Pmin，控制第三传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据；
将第一扩展视场区域图像块集合εn-1和第二扩展视场区域图像块集合ηn中重复的图像块存入第四传输控制策略暂存集合，并将第四传输控制策略暂存集合内部所有的图像块赋值为Pmin，控制第四传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据；
将第一视场区域图像块集合δn-1和第二视场区域图像块集合ζn中重复的图像块存入第五传输控制策略暂存集合，并将第五传输控制策略暂存集合内部所有的图像块赋值为Pmax，控制第五传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据；
将第二视场区域图像块集合ζn和第一扩展视场区域图像块集合εn-1中重复的图像块存入第六传输控制策略暂存集合，将第六传输控制策略暂存集合内部的图像块逐个赋值为Rn，j，Rn，j=Rn-1，j*（1+β），j=1，2，3，······，J，J为第六传输控制策略暂存集合内部的图像块的总个数，其中Rn，j为第六传输控制策略暂存集合中第j个图像块的视频比特率赋值，Rn-1，j为第六传输控制策略暂存集合中第j个图像块上一次的视频比特率赋值，β为视频比特率变化系数，控制第六传输控制策略暂存集合内部的图像块按照对应的视频比特率赋值Rn，j传输VR数据；
将第二扩展视场区域图像块集合ηn和第一视场区域图像块集合δn-1中重复的图像块存入第七传输控制策略暂存集合，将第七传输控制策略暂存集合内部的图像块逐个赋值为Hn，i，Hn，i=Hn-1，i*（1-β），i=1，2，3，······，I，I为第七传输控制策略暂存集合内部的图像块的总个数；Hn，i为第七传输控制策略暂存集合中第i个图像块的视频比特率赋值，Hn-1，i为第七传输控制策略暂存集合中第i个图像块上一次的视频比特率赋值，控制第七传输控制策略暂存集合内部的图像块按照对应的视频比特率赋值Hn，i传输VR数据。
3.根据权利要求2所述的一种VR数据传输方法，其特征在于，还包括第三传输策略，具体为：
在执行步骤S3之前，逐个选择整体视场区域Kn内部的VR数据对应的图像块，针对选择的图像块，判断选择的图像块是否属于VR重点区域图像块集合，VR重点区域图像块集合中存储VR重点区域图像块，VR重点区域图像块为所有VR数据对应的图像块中被标注好的图像块，若是选择的图像块属于VR重点区域图像块集合，则将选择的图像块存入第八传输控制策略暂存集合；直至整体视场区域Kn内部的VR数据对应的图像块全部被选择；
控制第八传输控制策略暂存集合中的图像块按照Pmax的视频比特率进行传输；
在后续执行步骤S3期间，在控制第一传输控制策略暂存集合中的图像块停止进行传输之前、在控制第二传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据之前、在控制第三传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据之前、在控制第四传输控制策略暂存集合中的图像块按照Pmin的视频比特率传输VR数据之前、在控制第五传输控制策略暂存集合中的图像块按照Pmax的视频比特率传输VR数据之前、在对第六传输控制策略暂存集合内部的图像块逐个赋值之前和在对第七传输控制策略暂存集合内部的图像块逐个赋值之前，将第一传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第二传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第三传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第四传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第五传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第六传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除，将第七传输控制策略暂存集合中与第八传输控制策略暂存集合重复的图像块进删除。
4.根据权利要求3所述的一种VR数据传输方法，其特征在于，VR数据的传输方式采用WIFI。
5.根据权利要求4所述的一种VR数据传输方法，其特征在于，图像块的划分具体包括如下步骤：将由VR视频进行等距柱状投影后的二维数据按照预设大小进行网格划分，每一个网格即为一个图像块。
6.一种VR数据传输系统，使用如权利要求1-5任一项所述的一种VR数据传输方法，其特征在于，包括：
视场区域获取模块，用于获取视场区域；
视场区域扩展模块，用于将视场区域进行扩展，得到整体视场区域，并将位于整体视场区域内部且不位于视场区域的区域记为扩展视场区域；
VR数据传输模块，用于根据第一传输策略、第二传输策略和第三传输策略对位于视场区域和扩展视场区域内部的VR数据进行传输。
CN202311804678.0A 2023-12-26 2023-12-26 一种vr数据传输方法及系统 Active CN117478857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311804678.0A CN117478857B (zh) 2023-12-26 2023-12-26 一种vr数据传输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311804678.0A CN117478857B (zh) 2023-12-26 2023-12-26 一种vr数据传输方法及系统

Publications (2)

Publication Number Publication Date
CN117478857A true CN117478857A (zh) 2024-01-30
CN117478857B CN117478857B (zh) 2024-03-08

Family

ID=89639983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311804678.0A Active CN117478857B (zh) 2023-12-26 2023-12-26 一种vr数据传输方法及系统

Country Status (1)

Country Link
CN (1) CN117478857B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9781356B1 (en) * 2013-12-16 2017-10-03 Amazon Technologies, Inc. Panoramic video viewer
WO2018004317A1 (ko) * 2016-07-01 2018-01-04 에스케이텔레콤 주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US20180192001A1 (en) * 2017-01-04 2018-07-05 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
CN110072121A (zh) * 2018-01-23 2019-07-30 南京大学 一种适应人眼感知情况的沉浸式媒体数据传输方法
CN111355954A (zh) * 2018-12-20 2020-06-30 皇家Kpn公司 为视频播放器装置处理视频数据
CN111406406A (zh) * 2017-09-27 2020-07-10 交互数字Vc控股公司 虚拟现实场景中的动态范围扩展的设备和方法
EP4125275A1 (en) * 2021-07-27 2023-02-01 Nokia Technologies Oy A method, an apparatus and a computer program product for video conferencing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9781356B1 (en) * 2013-12-16 2017-10-03 Amazon Technologies, Inc. Panoramic video viewer
WO2018004317A1 (ko) * 2016-07-01 2018-01-04 에스케이텔레콤 주식회사 고해상도 영상 스트리밍을 위한 영상 비트스트림 생성방법 및 장치
US20180192001A1 (en) * 2017-01-04 2018-07-05 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
CN111406406A (zh) * 2017-09-27 2020-07-10 交互数字Vc控股公司 虚拟现实场景中的动态范围扩展的设备和方法
CN110072121A (zh) * 2018-01-23 2019-07-30 南京大学 一种适应人眼感知情况的沉浸式媒体数据传输方法
KR101965746B1 (ko) * 2018-10-02 2019-04-05 주식회사 이노벤터 Vr 콘텐츠 스트리밍 서버 및 방법
CN111355954A (zh) * 2018-12-20 2020-06-30 皇家Kpn公司 为视频播放器装置处理视频数据
EP4125275A1 (en) * 2021-07-27 2023-02-01 Nokia Technologies Oy A method, an apparatus and a computer program product for video conferencing

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOYUN HE: "Reachability_Analysis_in_Privacy-Preserving_Perturbed_Graphs", IEEE, 1 November 2010 (2010-11-01) *
许宇彤;: "基于人眼视觉系统的虚拟现实视频传输策略研究", 科技与创新, no. 14, 23 July 2020 (2020-07-23) *
邓瑞: "虚拟现实视频无线传输研究现状及发展动态分析", 研究与探讨, 31 December 2019 (2019-12-31) *

Also Published As

Publication number Publication date
CN117478857B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
CN111052750B (zh) 用于点云流传输的方法和装置
CN107211193B (zh) 感知体验质量估计驱动的智能适应视频流传输方法和系统
US6910079B2 (en) Multi-threshold smoothing
CN105992023B (zh) 视频图像数据的处理方法及装置
CN112995636B (zh) 基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法
CN103533365B (zh) 比特率控制方法与比特率控制系统
CN103281538A (zh) 基于滚动哈希和块级别帧内预测的帧内编码方法
CN108200431B (zh) 一种视频编码码率控制帧层比特分配方法
CN103294438A (zh) 虚拟桌面图像的控制传输方法及系统
CN103747077A (zh) 一种传输机制调整方法和服务端、客户端
CN108737827A (zh) 用于控制视频编码器的输出比特率的方法和比特率控制器
JP7449941B2 (ja) 異なる圧縮レベルでのビデオコーディングのためのサイド情報
CN101931800B (zh) 利用有限可变比特率控制的感兴趣区域编码方法与系统
CN102413382A (zh) 一种提高实时视频平滑性的方法
CN117478857B (zh) 一种vr数据传输方法及系统
US20130094571A1 (en) Low latency video compression
US10951892B2 (en) Block level rate control
US11164545B2 (en) Compression of display data
CN110708548B (zh) 一种全景视频帧内比特分配的方法
EP4270969A1 (en) Rebuffering reduction in adaptive bit-rate video streaming
US20230395041A1 (en) Content Display Process
CN117676155A (zh) 一种视频传输方法、装置、设备及存储介质
GB2540204A (en) Rate control of streaming modules sharing a communication channel
CN117014621A (zh) 视频转码方法、装置、计算机设备和存储介质
CN111954085A (zh) Vr视频显示方法、装置、网络设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant