CN116506665A - 自适应码率控制的vr串流方法、系统、装置及存储介质 - Google Patents
自适应码率控制的vr串流方法、系统、装置及存储介质 Download PDFInfo
- Publication number
- CN116506665A CN116506665A CN202310763993.7A CN202310763993A CN116506665A CN 116506665 A CN116506665 A CN 116506665A CN 202310763993 A CN202310763993 A CN 202310763993A CN 116506665 A CN116506665 A CN 116506665A
- Authority
- CN
- China
- Prior art keywords
- code rate
- streaming
- network
- image data
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004458 analytical method Methods 0.000 claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 230000003044 adaptive effect Effects 0.000 claims description 49
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000003012 network analysis Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请提供了一种自适应码率控制的VR串流方法、系统、装置及存储介质，通过获取VR初始投射的图像数据；根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；根据调整后的码率进行串流传输VR数据。本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整码率，大大提高了画面质量和用户体验。解决了目前VR串流图像模糊、断层、延迟等现象，从而影响用户体验的问题。
Description
技术领域
本申请属于网络数据传输技术领域，具体涉及VR串流技术，尤其涉及一种自适应码率控制的VR串流方法、系统、装置及存储介质。
背景技术
由于科技的进步，网络生活的高速发展，虚拟现实系统在生活、工作中越来越普遍，如电脑游戏、健康和培训、VR视频。虚拟现实系统正在被越来越多的整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室各个角落。其中比较重要的串流技术，是在 WIFI 或移动网络环境下，可以将电脑上的主机视频、游戏投射到其他设备上，如安卓手机、iPhone、TV、笔记本等，实现在设备上观看视频、远程游戏的效果。
目前的VR串流大多存在由于网络带宽不足，VR串流图像会出现模糊、断层、延迟等现象，从而影响用户体验的问题。
发明内容
本发明提出的自适应码率控制的VR串流方法、系统、装置及存储介质，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整串流，大大提高了画面质量和用户体验。
根据本申请实施例的第一个方面，提供了一种自适应码率控制的VR串流方法，包括：获取VR初始投射的图像数据；根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；根据调整后的码率进行串流传输VR数据。
在本申请一些实施方式中，根据图像数据的状态和/或网络状态以及码率要求，自适应调整码率，包括：
对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率。
在本申请一些实施方式中，对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率，包括：
根据图像数据进行画面视觉划分，确认不同的视觉区域；视觉区域包括视觉盲区和视觉中心；
根据不同的视觉区域的码率要求，调整视觉区域对应的码率。
在本申请一些实施方式中，对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率，包括：
根据图像数据进行场景区分，确认不同的画面场景；场景区分根据画面场景的画面属性、元素大小、元素数量、元素动态属性或者元素静态属性进行区分；
根据不同的画面场景的码率要求，调整不同的画面场景对应的码率。
在本申请一些实施方式中，根据图像数据的状态和/或网络状态以及码率要求，自适应调整码率，包括：
对网络状态进行网络分析，根据不同的网络分析结果调整对应的码率。
在本申请一些实施方式中，对网络状态进行网络分析，根据不同的网络分析结果调整对应的码率，包括：
根据网络状态进行网络分析，确认不同的网络状态；网络状态根据网速、网络带宽、信号强度或网络时段进行确认；
根据不同的网络状态的码率要求，调整对应的码率。
在本申请一些实施方式中，根据图像数据的状态和/或实时的网络状态以及码率要求，自适应调整码率，包括：
周期性检测网络状态、当前码率下串流的延迟信息以及丢包率；
根据网络状态、延迟信息以及丢包率，确定是否进行串流或者调整串流的码率。
根据本申请实施例的第二个方面，提供了一种自适应码率控制的VR串流方法，包括：获取不同码率的VR视频样本，标记视频特征；视频特征包括视频时长、分辨率、帧率、编码参数、网络状态和设备性能中的一种或多种；将VR视频样本输入码率预测网络进行训练，按照第一个方面中任一项的VR串流方法进行自适应调整码率，得到码率预测模型；将当前串流码率输入码率预测模型进行预测，得到预测码率；根据预测码率进行码率平滑调整，根据调整后的码率进行串流传输VR数据。
根据本申请实施例的第三个方面，提供了一种自适应码率控制的VR串流系统，包括：数据获取模块：用于获取VR初始投射的图像数据；码率调整模块：用于根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；VR串流模块：用于根据调整后的码率进行串流传输VR数据。
根据本申请实施例的第四个方面，提供了一种VR串流设备，包括：存储器，用于存储可执行指令；以及处理器，用于与存储器连接以执行可执行指令从而完成VR串流方法。
根据本申请实施例的第五个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现自适应码率控制的VR串流方法。
采用本申请的自适应码率控制的VR串流方法、系统、装置及存储介质，通过获取VR初始投射的图像数据；根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；根据调整后的码率进行串流传输VR数据。本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整码率，大大提高了画面质量和用户体验。解决了目前VR串流图像模糊、断层、延迟等现象，从而影响用户体验的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1中示出了根据本申请实施例的自适应码率控制的VR串流方法的步骤示意图；
图2中示出了根据本申请实施例的根据不同的画面分析结果调整对应的码率的步骤示意图一；
图3中示出了根据本申请实施例的根据不同的画面分析结果调整对应的码率的步骤示意图二；
图4中示出了根据本申请实施例的根据不同的画面分析结果调整对应的码率的步骤示意图三；
图5中示出了根据本申请另一实施例的自适应码率控制的VR串流方法的步骤示意图；
图6中示出了根据本申请实施例的自适应码率控制的VR串流系统的结构示意图；
图7中示出了根据本申请实施例的自适应码率控制的VR串流设备的结构示意图。
具体实施方式
关于本申请，随着VR虚拟现实系统在生活、工作中越来越普遍，使用者对其使用体验和要求越来越多。在VR实现时其中比较重要的串流技术，大多存在由于网络带宽不足，VR串流图像会出现模糊、断层、延迟等现象，从而影响用户体验的问题。
为此，目前常用传统的码率控制技术，采用根据网络状况调整码率，从而提高VR串流的画质和稳定性。然而，这些技术对于网络带宽的变化反应不够灵敏；或者码率调整时考虑因素不全面，最后调整码率并不是最佳的码率，从而导致串流画面质量不能及时调整、画面质量不高的问题。
其中，码流(Data Rate)是指视频文件在单位时间内使用的数据流量，也叫码率或码流率。
本申请应用的VR虚拟现实系统优选的，包括多个VR应用设备端、VR云端，其中，VR应用设备端包括VR头盔、VR眼镜、VR显示设备等等，VR应用设备一般内置VR应用程序、数据采集装置、视频解码单元等；VR云端一般包括VR服务端程序、视频编码单元、数据处理、数据存储模块。
VR应用程序用于在用户端接收VR串流数据，并进行解码和渲染，通过VR应用设备为使用者提供虚拟现实体验。
VR服务端程序在服务器上渲染VR画面和计算逻辑。视频编码器：用于在VR串流过程中进行编码，并实现低延迟传输。
VR应用设备端、VR云端之间采用的传输协议，用于在网络中传输VR串流数据，可选用TCP、UDP等协议。
本申请的自适应码率控制的VR串流方法、系统、装置及存储介质，可以应用于VR应用设备的VR应用程序，也可以应用于VR云端的VR服务端程序，本申请以应用于VR云端的VR服务端程序为例，可以进一步提升串流的效率和快速控制调节能力。
采用本申请的自适应码率控制的VR串流方法、系统、装置及存储介质，通过获取VR初始投射的图像数据；根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；根据调整后的码率进行串流传输VR数据。本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整，大大提高了画面质量和用户体验。
从而解决了目前VR串流图像模糊、断层、延迟等现象，影响用户体验的问题。
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1
图1中示出了根据本申请实施例的自适应码率控制的VR串流方法的步骤示意图。
如图1所示，本申请实施例的自适应码率控制的VR串流方法，包括以下步骤：
S1：获取VR初始投射的图像数据。
在VR投射时，首先获取需要VR的视频数据以及图像数据。
S2：根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率。S3：最后，根据调整后的码率进行串流传输VR数据。
从而，实现了快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整串流，大大提高了画面质量和用户体验。
具体实现时，S2中根据图像数据的状态和/或网络状态以及码率要求，自适应调整码率，包括：对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率。
图2中示出了根据本申请实施例的根据不同的画面分析结果调整对应的码率的步骤示意图一。
如图2所示，S2中对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率，包括：
S21：根据图像数据进行画面视觉划分，确认不同的视觉区域；视觉区域包括视觉盲区和视觉中心。S22：根据不同的视觉区域的码率要求，调整视觉区域对应的码率。
优选实施的，采用差异码率控制算法对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率。在码率调整过程中，优先降低视觉盲区或视觉边缘区域画面帧率，优先提高画面中心和视觉范围内画面码率，以达到最优串流效果。
图3中示出了根据本申请实施例的根据不同的画面分析结果调整对应的码率的步骤示意图二。
如图3所示，S2中对图像数据进行画面分析，根据不同的画面分析结果调整对应的码率，还可以包括：
S23：根据图像数据进行场景区分，确认不同的画面场景；场景区分根据画面场景的画面属性、元素大小、元素数量、元素动态属性或者元素静态属性进行区分；S24：根据不同的画面场景的码率要求，调整不同的画面场景对应的码率。
优选实施的，采用场景码率控制算法根据VR内容的不同画面场景控制码率范围，复杂场景来保证画面质量，简单场景减少带宽消耗。不同的画面属性例如：纯展示画面、交互画面、动态画面或者静态画面等等，而画面中包含的元素数量越多使其场景也越复杂，相反则属于简单场景。
其中步骤S21、S22与步骤S23-S24可以选择其中一种方式的步骤进行根据不同的画面分析结果调整对应的码率，也可以选择两种方式的全部步骤实现。
其它的体实现时，S2中根据图像数据的状态和/或网络状态以及码率要求，自适应调整码率，包括：对网络状态进行网络分析，根据不同的网络分析结果调整对应的码率。
图4中示出了根据本申请实施例的根据不同的画面分析结果调整对应的码率的步骤示意图三。
如图4所示，S2中对网络状态进行网络分析，根据不同的网络分析结果调整对应的码率，包括：S25：根据网络状态进行网络分析，确认不同的网络状态；网络状态根据网速、网络带宽、信号强度或网络时段进行确认；S26：根据不同的网络状态的码率要求，调整对应的码率。
具体的，采用码率控制算法根据当前网络状况自适应地调整码率，以提高VR串流的画质和稳定性。
其中步骤S21、S22与步骤S23-S24以及步骤S25-S26可以选择其中一种方式的步骤自适应调整码率，也可以选择两种、三种其中的方式实现自适应调整码率。而本申请优选采用同时实施S21-S26中的三种方式进行自适应调整码率，同时采用基于VR投射的图像数据以及当时的网络状态自适应调整串流码率，进一步提高了快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整码率的效果，大大提高了画面质量和用户体验。
其它实施例中，在根据图像数据的状态和/或实时的网络状态以及码率要求，自适应调整码率，包括：
周期性检测网络状态、当前码率下串流的延迟信息以及丢包率；根据网络状态、延迟信息以及丢包率，确定是否进行串流或者调整串流的码率。
具体的，周期性环境检测时，收集关于网络状况的信息，例如带宽、延迟和丢包率。这可以通过周期性的网络测速和ping测试来完成。基于VR串流的特殊性，过低的带宽、过高的延迟和丢包率的网络环境会提示或禁止用户使用VR串流。避免用户在使用过程中产生不适。
具体的，周期性设备性能检测，例如计算芯片的使用情况、温度和电池状况等。这些信息可以通过设备的传感器和系统接口获取。
本申请实施例的串流方法，从而将自适应调整码率形成一个具有反馈、及时调整的闭环调整过程，在之前串流效果上加入了串流的延迟信息以及丢包率的反馈调整因子，进一步提高了码率调整的合理性、准确性，大大提高了画面质量和用户体验。
其它的，本申请实施例还可包括其他辅助模块，如网络状况监测模块、质量反馈模块等，以提高VR串流的画质和稳定性。
码率控制算法应根据网络状况动态地调整码率，可采用比特率控制、视频质量控制等算法，也可根据具体情况设计新的算法。
画面质量变化会造成用户观看的晕眩，自适应调整码率时采用阶梯度尽量小的码率自适应过程，保证码率尽量平稳过渡，变化较小，画面也更加流畅。
以下通过具体实施过程说明本申请实施例的自适应码率控制的VR串流方法。
首先，设置初始码率：在开始串流之前，选择一个初始的码率作为基准，一般是针对VR应用的内容设定的，保证使用体验的标准码率。
监测码率：开始串流后，应用程序需要监测码率在当前网络条件下的表现。这可以通过收集视频帧的延迟和丢包情况来评估。
然后，动态调整码率：根据网络和设备信息以及码率表现，应用程序可以根据以下策略动态调整码率。
如果网络带宽较高且稳定，可以逐步增加码率以提供更高质量的视频。如果网络带宽较低或不稳定，可以降低码率以避免视频卡顿和缓冲。如果设备性能较低，可以降低码率以减轻设备的负载并节省电量。如果网络丢包较多，可以降低码率以减少视频的卡顿和质量损失。
码率调整策略：针对VR应用的内容设定标准梯度码率，设定多个码率标准。定义各梯度的阈值范围（最低和最高码率限制）如果网络或设备条件超出这些阈值，则进行码率调整。如果表现良好，逐步增加码率；如果表现差，逐步降低码率。
具体的，采用场景码率控制时：针对VR应用的渲染场景进行加权，部分场景不需要较高的码率，比如主菜单界面，纯色界面等；部分场景比较精细，需要较高的码率保证清晰度。此时由VR服务器渲染端控制加权数，并传给客户端。客户端控制帧率时根据加权数作为调整依据之一。
具体的，采用多码率预测控制时：基于深度学习实现，首先要基于VR应用训练出一个码率控制模型，使得VR串流可以提前预测码率变化并提前调整，使码率变化更平滑，提升用户体验减少眩晕感。此实施例将在实施例2中进一步展开说明。
本申请实施例的自适应码率控制的VR串流方法，基于网络状况自适应地调整码率，提高VR串流的画质和稳定性；针对网络带宽变化反应不够灵敏的问题，引入多码率预测模型，对未来网络带宽进行预测，提前调整码率。
综上，采用本申请的自适应码率控制的VR串流方法，通过获取VR初始投射的图像数据；根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；根据调整后的码率进行串流传输VR数据。本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整码率，大大提高了画面质量和用户体验。解决了目前VR串流图像模糊、断层、延迟等现象，从而影响用户体验的问题。
实施例2
本实施例提供了另一种自适应码率控制的VR串流方法，对于本实施例的VR串流方法中未披露的细节，请参照实施例1中的VR串流方法的具体实施内容。
图5中示出了根据本申请另一实施例的自适应码率控制的VR串流方法的步骤示意图。
如图5所示，自适应码率控制的VR串流方法包括：
S11：获取不同码率的VR视频样本，标记视频特征。
其中，视频特征包括视频时长、分辨率、帧率、编码参数、网络状态和设备性能中的一种或多种。
S12：将VR视频样本输入码率预测网络进行训练，按照实施例1中任一实施例的VR串流方法进行自适应调整码率，得到码率预测模型。
S13：将当前串流码率输入码率预测模型进行预测，得到预测码率。
S14：根据预测码率进行码率平滑调整，根据调整后的码率进行串流传输VR数据。
这个过程中，首先需要训练码率预测模型。训练模型过程包括：
数据收集：收集包含不同码率的视频样本，并记录与每个样本相关的特征。这些特征可以包括视频的时长、分辨率、帧率、编码参数等，以及与网络条件和设备性能相关的特征，如带宽、延迟、丢包率、设备CPU/GPU使用率等。
模型选择和训练：选择线性回归学习模型或其他模型进行深度学习训练，将收集到的特征和对应的码率作为模型的输入数据，使用测试集对训练好的模型进行评估。计算预测码率与实际码率之间的误差指标，如均方误差（MSE）、平均绝对误差（MAE）等，来评估模型的性能。
本申请实施例的自适应码率控制的VR串流方法，基于网络状况自适应地调整码率，提高VR串流的画质和稳定性；针对网络带宽变化反应不够灵敏的问题，引入多码率预测模型，对未来网络带宽进行预测，提前调整码率。
综上，采用本申请的自适应码率控制的VR串流方法，通过获取不同码率的VR视频样本，标记视频特征。将VR视频样本输入码率预测网络进行训练，按照实施例1中任一实施例的VR串流方法进行自适应调整码率，得到码率预测模型。将当前串流码率输入码率预测模型进行预测，得到预测码率。根据预测码率进行码率平滑调整，根据调整后的码率进行串流传输VR数据。本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整码率，大大提高了画面质量和用户体验。解决了目前VR串流图像模糊、断层、延迟等现象，从而影响用户体验的问题。
实施例3
本实施例提供了一种自适应码率控制的VR串流系统，对于本实施例的自适应码率控制的VR串流系统中未披露的细节，请参照其它实施例中的自适应码率控制的VR串流方法的具体实施内容。
图6中示出了根据本申请实施例的自适应码率控制的VR串流系统的结构示意图。
如图6所示，本申请实施例的自适应码率控制的VR串流系统，具体包括数据获取模块10、码率调整模块20以及VR串流模块30。
具体的，
数据获取模块10：用于获取VR初始投射的图像数据。
码率调整模块20：用于根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率。码率调整模块20中包括码率预测模型。
VR串流模块30：用于根据调整后的码率进行串流传输VR数据。
优选的，码率调整模块20用于自适应码率控制模块，包括码率控制算法、差异码率控制算法、场景码率控制系统和码率预测模型。
采用本申请的自适应码率控制的VR串流系统，通过数据获取模块10获取VR初始投射的图像数据；码率调整模块20根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；VR串流模块30根据调整后的码率进行串流传输VR数据。
本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整码率，大大提高了画面质量和用户体验。解决了目前VR串流图像模糊、断层、延迟等现象，从而影响用户体验的问题。
实施例4
本实施例提供了一种自适应码率控制的VR串流设备，对于本实施例的自适应码率控制的VR串流设备中未披露的细节，请参照其它实施例中的自适应码率控制的VR串流方法或系统具体的实施内容。
图7中示出了根据本申请实施例的自适应码率控制的VR串流设备400或图像识别设备的结构示意图。
如图7所示，自适应码率控制的VR串流设备400或图像识别设备，包括：
存储器402：用于存储可执行指令；以及
处理器401:用于与存储器402连接以执行可执行指令从而完成自适应码率控制的VR串流方法或者图像识别方法。
本领域技术人员可以理解，示意图6仅仅是自适应码率控制的VR串流设备400或图像识别设备的示例，并不构成对自适应码率控制的VR串流设备400或图像识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如自适应码率控制的VR串流设备400还可以包括输入输出设备、网络接入设备、总线等。
所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是自适应码率控制的VR串流设备400的控制中心，利用各种接口和线路连接整个自适应码率控制的VR串流设备400的各个部分。
存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现自适应码率控制的VR串流设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据自适应码率控制的VR串流设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）或其他非易失性/易失性存储器件。
自适应码率控制的VR串流设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
实施例5
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的自适应码率控制的VR串流方法。
本申请实施例的自适应码率控制的VR串流设备及存储介质，通过获取VR初始投射的图像数据；根据图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；根据调整后的码率进行串流传输VR数据。本申请可以基于VR投射的图像数据以及当时的网络状态，自适应调整串流码率，通过自适应调整视频传输码率，快速、灵敏的对VR数据内容以及网络状态做出反应并对应调整，大大提高了画面质量和用户体验。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种自适应码率控制的VR串流方法，其特征在于，包括：
获取VR初始投射的图像数据；
根据所述图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；
根据调整后的码率进行串流传输VR数据。
2.根据权利要求1所述的VR串流方法，其特征在于，所述根据所述图像数据的状态和/或网络状态以及码率要求，自适应调整码率，包括：
对所述图像数据进行画面分析，根据不同的画面分析结果调整对应的码率。
3.根据权利要求2所述的VR串流方法，其特征在于，所述对所述图像数据进行画面分析，根据不同的画面分析结果调整对应的码率，包括：
根据所述图像数据进行画面视觉划分，确认不同的视觉区域；所述视觉区域包括视觉盲区和视觉中心；
根据不同的视觉区域的码率要求，调整所述视觉区域对应的码率。
4.根据权利要求2所述的VR串流方法，其特征在于，所述对所述图像数据进行画面分析，根据不同的画面分析结果调整对应的码率，包括：
根据所述图像数据进行场景区分，确认不同的画面场景；所述场景区分根据画面场景的画面属性、元素大小、元素数量、元素动态属性或者元素静态属性进行区分；
根据所述不同的画面场景的码率要求，调整所述不同的画面场景对应的码率。
5.根据权利要求1所述的VR串流方法，其特征在于，所述根据所述图像数据的状态和/或网络状态以及码率要求，自适应调整码率，包括：
对所述网络状态进行网络分析，根据不同的网络分析结果调整对应的码率。
6.根据权利要求5所述的VR串流方法，其特征在于，所述对所述网络状态进行网络分析，根据不同的网络分析结果调整对应的码率，包括：
根据所述网络状态进行网络分析，确认不同的网络状态；所述网络状态根据网速、网络带宽、信号强度或网络时段进行确认；
根据不同的网络状态的码率要求，调整对应的码率。
7.根据权利要求1-6任一项所述的VR串流方法，其特征在于，所述根据所述图像数据的状态和/或实时的网络状态以及码率要求，自适应调整码率，包括：
周期性检测网络状态、当前码率下串流的延迟信息以及丢包率；
根据所述网络状态、延迟信息以及丢包率，确定是否进行串流或者调整串流的码率。
8.一种自适应码率控制的VR串流方法，其特征在于，包括：
获取不同码率的VR视频样本，标记视频特征；所述视频特征包括视频时长、分辨率、帧率、编码参数、网络状态和设备性能中的一种或多种；
将所述VR视频样本输入码率预测网络进行训练，按照权利要求1-7任一项所述的自适应码率控制的VR串流方法进行自适应调整码率，得到码率预测模型；
将当前串流码率输入所述码率预测模型进行预测，得到预测码率；
根据预测码率进行码率平滑调整，根据调整后的码率进行串流传输VR数据。
9.一种自适应码率控制的VR串流系统，其特征在于，包括：
数据获取模块：用于获取VR初始投射的图像数据；
码率调整模块：用于根据所述图像数据的分析和/或网络状态，以及对应的码率要求，自适应调整码率；
VR串流模块：用于根据调整后的码率进行串流传输VR数据。
10.一种VR串流设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于与存储器连接以执行可执行指令从而完成如权利要求1-8任一项所述的VR串流方法。
11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；计算机程序被处理器执行以实现如权利要求1-8任一项所述的自适应码率控制的VR串流方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763993.7A CN116506665A (zh) | 2023-06-27 | 2023-06-27 | 自适应码率控制的vr串流方法、系统、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310763993.7A CN116506665A (zh) | 2023-06-27 | 2023-06-27 | 自适应码率控制的vr串流方法、系统、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116506665A true CN116506665A (zh) | 2023-07-28 |
Family
ID=87323485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310763993.7A Pending CN116506665A (zh) | 2023-06-27 | 2023-06-27 | 自适应码率控制的vr串流方法、系统、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116506665A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116896577A (zh) * | 2023-09-08 | 2023-10-17 | 深圳云天畅想信息科技有限公司 | 串流自动降级控制方法、推荐分辨率及帧率获取方法 |
| CN117294851A (zh) * | 2023-11-23 | 2023-12-26 | 此芯科技(上海)有限公司 | 一种视频串流处理装置及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130322526A1 (en) * | 2011-03-09 | 2013-12-05 | Nec Corporation | Video encoding device, video decoding device, video encoding method, and video decoding method |
| CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
| US20180376153A1 (en) * | 2017-06-21 | 2018-12-27 | Intel Corporation | Content, psychovisual, region of interest, and persistence based adaptive quantization for video coding |
| CN110324626A (zh) * | 2019-07-10 | 2019-10-11 | 武汉大学苏州研究院 | 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法 |
| CN110602506A (zh) * | 2019-09-25 | 2019-12-20 | 咪咕视讯科技有限公司 | 视频处理方法、网络设备及计算机可读存储介质 |
| CN110996125A (zh) * | 2019-11-18 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 一种视频流的生成方法、装置、电子设备及存储介质 |
| CN115499657A (zh) * | 2022-06-30 | 2022-12-20 | 深圳市腾讯计算机系统有限公司 | 视频码率自适应网络的训练方法、应用方法、装置及设备 |
-
2023
- 2023-06-27 CN CN202310763993.7A patent/CN116506665A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130322526A1 (en) * | 2011-03-09 | 2013-12-05 | Nec Corporation | Video encoding device, video decoding device, video encoding method, and video decoding method |
| US20180376153A1 (en) * | 2017-06-21 | 2018-12-27 | Intel Corporation | Content, psychovisual, region of interest, and persistence based adaptive quantization for video coding |
| CN107529064A (zh) * | 2017-09-04 | 2017-12-29 | 北京理工大学 | 一种基于vr终端反馈的自适应编码方法 |
| CN110324626A (zh) * | 2019-07-10 | 2019-10-11 | 武汉大学苏州研究院 | 一种面向物联网监控的双码流人脸分辨率保真的视频编解码方法 |
| CN110602506A (zh) * | 2019-09-25 | 2019-12-20 | 咪咕视讯科技有限公司 | 视频处理方法、网络设备及计算机可读存储介质 |
| CN110996125A (zh) * | 2019-11-18 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 一种视频流的生成方法、装置、电子设备及存储介质 |
| CN115499657A (zh) * | 2022-06-30 | 2022-12-20 | 深圳市腾讯计算机系统有限公司 | 视频码率自适应网络的训练方法、应用方法、装置及设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116896577A (zh) * | 2023-09-08 | 2023-10-17 | 深圳云天畅想信息科技有限公司 | 串流自动降级控制方法、推荐分辨率及帧率获取方法 |
| CN116896577B (zh) * | 2023-09-08 | 2023-11-17 | 深圳云天畅想信息科技有限公司 | 串流自动降级控制方法、推荐分辨率及帧率获取方法 |
| CN117294851A (zh) * | 2023-11-23 | 2023-12-26 | 此芯科技(上海)有限公司 | 一种视频串流处理装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116506665A (zh) | 自适应码率控制的vr串流方法、系统、装置及存储介质 | |
| US9544346B1 (en) | Systems and methods for selecting a node for media streaming | |
| Sengupta et al. | HotDASH: Hotspot aware adaptive video streaming using deep reinforcement learning | |
| CN106249508B (zh) | 自动对焦方法和系统、拍摄装置 | |
| JP7267368B2 (ja) | Ｖｒマルチメディアの経験品質を決定するための方法および装置 | |
| CN104125429A (zh) | 视频数据传输的调节方法及装置 | |
| US9326161B2 (en) | Application-driven control of wireless networking settings | |
| US11653057B2 (en) | Systems and methods for reducing latency of a video transmission system | |
| CN114554211A (zh) | 内容自适应视频编码方法、装置、设备和存储介质 | |
| CN116440501B (zh) | 自适应云游戏视频画面渲染方法和系统 | |
| CN105208388B (zh) | 视频通讯中动态调整编码帧率的方法和系统 | |
| CN113286146B (zh) | 媒体数据处理方法、装置、设备以及存储介质 | |
| JP6544188B2 (ja) | バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム | |
| WO2024041365A1 (zh) | 一种视频决策码率确定方法、装置、存储介质及电子装置 | |
| CN113315999A (zh) | 虚拟现实优化方法、装置、设备及存储介质 | |
| JP6437663B2 (ja) | 視聴体験とシステム制約に基づくコーディングパラメタの適合化 | |
| CN113573142B (zh) | 分辨率调整方法与装置 | |
| CN116962844A (zh) | 视频数据的传输控制方法、装置、设备及存储介质 | |
| CN107211018A (zh) | 调整媒体流化的质量等级 | |
| CN115475382A (zh) | 画面补偿方法、终端设备、云服务器及存储介质 | |
| US10129551B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US10764578B2 (en) | Bit rate optimization system and method | |
| CN112019918B (zh) | 一种视频播放方法及设备 | |
| KR101932130B1 (ko) | 원격 디스플레이의 체감 품질을 향상하는 영상 처리 장치 및 방법 | |
| US11412283B1 (en) | System and method for adaptively streaming video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230728 |