CN114827638A - 一种vr视频云直播方法、装置及设备 - Google Patents

一种vr视频云直播方法、装置及设备 Download PDF

Info

Publication number
CN114827638A
CN114827638A CN202110081331.2A CN202110081331A CN114827638A CN 114827638 A CN114827638 A CN 114827638A CN 202110081331 A CN202110081331 A CN 202110081331A CN 114827638 A CN114827638 A CN 114827638A
Authority
CN
China
Prior art keywords
data
frame
measurement unit
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110081331.2A
Other languages
English (en)
Inventor
李雅茹
李可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110081331.2A priority Critical patent/CN114827638A/zh
Publication of CN114827638A publication Critical patent/CN114827638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本发明提供一种VR视频云直播方法、装置及设备，涉及通信技术领域。该方法包括：获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；根据所述插帧图像数据，生成传输至所述用户终端的直播数据。本发明的VR视频云直播方法，对真实动作的帧图像的预测，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。

Description

一种VR视频云直播方法、装置及设备
技术领域
本发明涉及通信技术领域，特别是指一种VR视频云直播方法、装置及设备。
背景技术
目前，网络直播行业如火如荼，5G网络的低延时、大带宽特性推动了VR产业的发展。与此同时，云VR游戏云直播将作为新型的游戏直播形式给我们带来丰富的视觉体验。
在现有的游戏云直播系统中，游戏用户端将两路视频数据推流到云平台上，分别是现场采集游戏用户操作的音视频和终端录制的游戏音视频；云平台通过视频内容制作、转码、存储、以及CDN分发给不同的用户端。VR游戏用户对内容需求高分辨率，传输需求低时延。把高分辨率的游戏视频传输到云端给传输带宽带来了巨大的挑战。为了满足低延时，游戏终端通常采取异步时间扭曲(Asynchronous Time warp，ATW)和异步空间扭曲(Asynchronous Space warp，ASW)把低帧成视频(例如30fbps)处理成高帧率(例如60fbps)视频，并实时响应姿态变化刷新屏幕。云端缺少对真实动作的帧图像的预测，生成的游戏视频流畅性低，且服务器资源有限，难以处理超高分辨率、帧率的视频，不能满足用户实时性交互的需求。
发明内容
本发明的目的是提供一种VR视频云直播方法、装置及设备，通过引入预设时长，并计算惯性测量单元数据，以此为输入变量进行插帧的方法，解决现有技术中云端缺少对真实动作的帧图像的预测，且服务器资源有限，不能满足用户实时性交互的需求的问题。
为达到上述目的，本发明的实施例提供一种VR视频云直播方法，应用于边缘云，所述方法包括：
获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
进一步地，在所述获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据之前，还包括：
接收用户终端侧发送的连接建立请求，建立与用户终端侧的连接；
获取数据在所述边缘云与用户终端之间传输的往返时间时延。
进一步地，所述预设时长之后所输出图像的参考帧数据，包括：
对所述第一惯性测量单元数据进行信源编码后的第一帧数据；或者
对所述第二惯性测量单元数据进行信源编码后的第二帧数据。
进一步地，所述根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据，包括：
若所述边缘云的CPU大于或者等于第一门限和/或GPU大于或者等于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲，获得插帧图像数据；
若所述边缘云的CPU小于第一门限且GPU小于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲和异步空间扭曲，获得插帧图像数据。
进一步地，所述VR视频云直播方法，还包括：
将所述插帧图像数据与所述参考帧数据进行比较，判断所述插帧图像数据是否失真；
在所述插帧图像数据失真的情况下，计算预设时长之后所输出图像的第n惯性测量单元数据，对所述第n惯性测量单元数据进行插帧处理，得到第n-1插帧图像数据，不失真的所述第n-1插帧图像数据为所述直播数据；
其中，n为大于或者等于3的整数。
进一步地，所述将所述插帧图像数据与所述参考帧数据进行比较，判断所述插帧图像数据是否失真，包括：
在所述插帧图像相对于参考帧的偏移角度中，若水平方向的偏移角度大于或者等于第一预设角度和/或垂直方向的偏移角度大于或者等于第二预设角度，则所述插帧图像数据失真；或者
若所述插帧图像的第一感兴趣区域小于所述参考帧的第二感兴趣区域，则所述插帧图像数据失真。
为达到上述目的，本发明的实施例提供一种VR视频云直播装置，包括：
获取模块，用于获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
确定模块，用于根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
插帧模块，用于根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
生成模块，用于根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
为达到上述目的，本发明的实施例提供一种VR视频云直播设备，包括：收发器和处理器；
所述收发器，用于获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
所述处理器，用于根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
为达到上述目的，本发明的实施例提供一种VR视频云直播系统，包括：
用户终端，所述用户终端包括游戏主播用户终端和游戏观众用户终端；
边缘云，所述边缘云包括游戏系统、直播系统以及插帧模块；
中心云，所述中心云包括账户管理模块、内容管理模块、内容存储模块。
为达到上述目的，本发明的实施例提供一种VR视频云直播终端，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所程序或指令时实现如上所述的VR视频云直播方法。
为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的VR视频云直播方法中的步骤。
本发明的上述技术方案的有益效果如下：
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，对真实动作的帧图像的预测，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
附图说明
图1为本发明实施例的VR视频云直播方法的流程示意图；
图2为本发明实施例的VR视频云直播方法的示意图；
图3为本发明实施例的VR视频云直播装置的示意图；
图4为本发明实施例的VR视频云直播设备的示意图；
图5为本发明实施例的VR视频云直播系统的示意图；
图6为本发明实施例的VR视频云直播终端结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
在进行本发明实施例的说明时，首先对下面描述中所用到的一些概念进行解释说明。
感兴趣区域(Region of Interest，ROI)：是指在图像处理中，从被处理的图像中以框选的方式选中的需要处理的区域，可选地，框选方式可以是通过方框、圆形框、椭圆形框或者不规则形状框勾勒选中的方式。可选地，ROI属于智能视频编码技术(IntelligentVideo Encoding，IVE)中的一种，IVE技术能够根据要求对视频进行智能编码，在ROI功能下，对于视频图像帧中被框选的区域将会进行高质量编码，而对于未被框选的区域则降低其码率和图像质量。不同的区域采用不同的编码量化参数，从而对重要区域进行码率较高的编码，并对非重要区域进行码率较低的编码，降低了整合视频的编码视频所占用的带宽，提高了编码效率。
惯性测量单元(Inertial Measurement Unit，IMU)，包括6轴IMU(6DOF)和9轴IMU(9DOF)，IMU包括三轴加速度、计轴陀螺仪，9DOF还包括三轴磁力计。
如图1所示，本发明实施例的一种VR视频云直播方法，应用于边缘云，所述方法包括：
步骤101，获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
步骤102，根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
步骤103，根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
步骤104，根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
本发明的一实施例中，所述边缘云与用户终端之间传输的往返时间时延根据网络状态变化而变化；根据网络的拥堵状态，可以适当地增加或减小往返时间时延。
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，对真实动作的帧图像的预测，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
可选地，在所述获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据之前，还包括：
接收用户终端侧发送的连接建立请求，建立与用户终端侧的连接；
获取数据在所述边缘云与用户终端之间传输的往返时间时延。
这里，游戏主播用户终端发送连接建立请求，边缘云端接收到连接建立请求后，与游戏主播用户端建立连接，并接收游戏用户端发送的用户数据；
其中，所述用户数据包括第一惯性测量单元数据和数据在所述边缘云与游戏主播用户终端之间传输的往返时间时延；
边缘云对所述第一惯性测量单元数据进行渲染，得到第一帧数据；
对所述第一帧数据进行信源编码，得到游戏视频流文件，并发送给游戏用户端。
本发明实施例的VR视频云直播方法，根据游戏主播用户终端发送的用户数据，引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，对真实动作的帧图像的预测，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
可选地，所述预设时长之后所输出图像的参考帧数据，包括：
对所述第一惯性测量单元数据进行信源编码后的第一帧数据；或者
对所述第二惯性测量单元数据进行信源编码后的第二帧数据。
可选地，在当插帧第n帧时，在游戏系统有原始帧传下来，所述原始帧为所述参考帧，当没有原始帧传下来时，计算得的第n+1惯性测量单元数据进行信源编码后的第n+1帧数据为所述参考帧。
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量，以预测帧或原始帧为参考帧进行插帧，对真实动作的帧图像的预测，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
可选地，所述根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据，包括：
若所述边缘云的CPU大于或者等于第一门限和/或GPU大于或者等于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲，获得插帧图像数据；
若所述边缘云的CPU小于第一门限且GPU小于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲和异步空间扭曲，获得插帧图像数据。
可选地，所述插帧根据所述服务器资源，选择异步时间扭曲和/或异步空间扭曲；
其中，在进行插帧之前，获取服务器资源占用率以及任务排队状态，在所述服务器资源占用率超过预设阈值时，或者排队任务数量超过预设数量时，只进行异步时间扭曲和异步空间扭曲中的一种。同时考虑到插帧过程异步时间扭曲对提高视频帧率效果更好，本发明一实施例中，优选异步时间扭曲对所述参考帧进行插帧。
需要说明的是，除了上述的异步时间扭曲和/或异步空间扭曲的插帧方法，也可以通过传统的运动补偿(MEMC)技术进行。
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量，以预测帧或原始帧为参考帧进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。同时，根据服务器的资源占用率选择插帧方式，简化了插帧操作，避免排队拥堵，减小端到端的时间延迟。对真实动作的帧图像的预测，提高了生成的游戏视频流畅性，且降低了服务器资源占用率，满足了用户实时性交互的需求。
可选地，所述VR视频云直播方法，还包括：
将所述插帧图像数据与所述参考帧数据进行比较，判断所述插帧图像数据是否失真；
在所述插帧图像数据失真的情况下，计算预设时长之后所输出图像的第n惯性测量单元数据，对所述第n惯性测量单元数据进行插帧处理，得到第n-1插帧图像数据，不失真的所述第n-1插帧图像数据为所述直播数据；
其中，n为大于或者等于3的整数。
本发明的一实施例中，在进行插帧操作后，通过对比所述插帧图像数据与所述参考帧数据，对所述插帧图像数据进行质量决策；可以通过角度和感兴趣区域两种中的至少一种进行质量决策。
在所述插帧图像数据失真时，重新计算预设时长之后的所输出图像的第三惯性测量单元数据；根据所述第三惯性测量单元数据和所述参考帧再次进行插帧操作，得到第二插帧图像数据；在对所述第二插帧图像数据进行质量决策，若所述第二插帧图像数据不失真，则所述第二插帧图像数据为第二插帧图像数据；若所述插帧图像数据失真，则继续计算预设时长之后的所输出图像的第四惯性测量单元数据；进行第三次插帧操作，直至得到所述第n-1插帧图像数据为所述直播数据。
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。同时对插帧操作的结果进行质量决策，保证了插帧操作的正确性。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
可选地，所述将所述插帧图像数据与所述参考帧数据进行比较，判断所述插帧图像数据是否失真，包括：
在所述插帧图像相对于参考帧的偏移角度中，若水平方向的偏移角度大于或者等于第一预设角度和/或垂直方向的偏移角度大于或者等于第二预设角度，则所述插帧图像数据失真；或者
若所述插帧图像的第一感兴趣区域小于所述参考帧的第二感兴趣区域，则所述插帧图像数据失真。
本发明一实施例中，判断所述插帧图像数据是否失真包括：偏移角度判断和感兴趣区域判断；
偏移角度判断：分别取水平和垂直两个方向偏移角度的最大值A和B，当角度A大于或者等于第一预设角度和/或角度B大于或者等于第二预设角度，则判断所述插帧图像数据失真。其中，所述第一预设角度可以等于第二预设角度，例如等于10度。
感兴趣区域判断：定义图像的前景区域为感兴趣区域，前景和背景的分割可以采用传统的分割方法，例如二值分割法。当所述插帧图像数据中感兴趣区域不完整，则判断为失真。
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。同时对插帧操作的结果进行质量决策，保证了插帧操作的正确性。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
本发明实施例的VR视频云直播方法的逻辑示意图如图2所示：
游戏直播用户终端向边缘云发起建立连接请求，边缘云接受连接建立请求后，游戏直播用户终端在t1时刻将用户数据(IMU)和拍摄数据发送给边缘云；边缘云在t2时刻接收游戏直播用户终端发送的用户数据(IMU)和拍摄数据，边缘云对IMU进行渲染，得到第一帧数据；边缘云对第一帧数据进行信源编码，得到游戏视频流文件，并在t3时刻将该文件发送给游戏直播用户终端；
边缘云接受游戏观众用户终端的连接建立请求，并接收游戏观众用户终端视角选择数据：
若所述视角选择数据为游戏用户视角，则边缘云预测t3’，并计算在t3’时刻的IMU；确定参考帧后，根据参考帧和t3’时刻的IMU，进行插帧操作，得到插帧图像数据；
对插帧图像数据进行质量决策，若插帧图像数据正确，则将插帧图像数据作为游戏观众用户终端的第一直播数据；若插帧图像数据失真，则再次进行插帧操作，直至插帧图像数据正确；
若所述视角选择数据为任意用户视角，则可进行同样的插帧操作，或者将接收到的IMU输入VR游戏系统重新渲染数据，得到第二直播数据；
边缘云将第一直播数据、第二直播数据以及接收到的拍摄数据进行转码整合，得到输出视频数据，并通过内容分发网络(Content Delivery Network，CDN)将输出视频数据分发给不同的游戏观众用户终端。
本发明实施例的VR视频云直播方法，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。同时对插帧操作的结果进行质量决策，保证了插帧操作的正确性。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。如图3所示，本发明实施例还提供了一种VR视频云直播装置300，包括：
获取模块301，用于获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
确定模块302，用于根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
插帧模块303，用于根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
生成模块304，用于根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
本发明实施例的VR视频云直播装置，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。同时对插帧操作的结果进行质量决策，保证了插帧操作的正确性。提高了生成的游戏视频流畅性，满足了用户实时性交互的需求。
如图4所示，本发明实施例还提供一种VR视频云直播设备400，包括处理器410和收发器420，其中：
所述收发器420，用于获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
所述处理器410，用于根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
本发明实施例还提供VR视频云直播系统，包括：
用户终端，所述用户终端包括游戏主播用户终端和游戏观众用户终端；
边缘云，所述边缘云包括游戏系统、直播系统以及插帧模块；
中心云，所述中心云包括账户管理模块、内容管理模块、内容存储模块。
如图5所示，用户终端侧面向游戏主播用户终端和游戏观众用户终端，游戏观众用户终端具有ATW和ASW的能力，游戏观众用户终端还可以具有拍摄系统；
边缘云：包括VR游戏系统、直播系统和插帧模块；直播系统实现基于IMU插帧生成新的游戏视频，与实拍视频整合后转码分发给用户；
中心云具有账户管理、内容管理、内容存储的功能。
本发明实施例的VR视频云直播系统，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量，以预测帧或原始帧为参考帧进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。对真实动作的帧图像的预测，提高了生成的游戏视频流畅性，且可不占用服务器资源，满足了用户实时性交互的需求。
本发明另一实施例的一种VR视频云直播终端，如图6所示，包括收发器610、处理器600、存储器620及存储在所述存储器620上并可在所述处理器600上运行的程序或指令；所述处理器600执行所述程序或指令时实现上述应用于VR视频云直播方法。
所述收发器610，用于在处理器600的控制下接收和发送数据。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口630还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
本发明实施例的VR视频云直播终端，通过引入预设时长，预测预设时长之后的惯性测量单元数据，以此为输入变量，以预测帧或原始帧为参考帧进行插帧，避免了数据在边缘云与用户终端之间传输时的时间时延而导致的直播画面出现延时、卡顿等问题。对真实动作的帧图像的预测，提高了生成的游戏视频流畅性，且可不占用服务器资源，满足了用户实时性交互的需求。
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的VR视频云直播方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的VR视频云直播终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
进一步需要说明的是，此说明书中所描述的终端包括但不限于智能手机、平板电脑等，且所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种VR视频云直播方法，其特征在于，应用于边缘云，所述方法包括：
获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在所述边缘云与用户终端之间传输的往返时间时延的一半；
根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
2.根据权利要求1所述的VR视频云直播方法，其特征在于，在所述获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据之前，还包括：
接收用户终端侧发送的连接建立请求，建立与用户终端侧的连接；
获取数据在所述边缘云与用户终端之间传输的往返时间时延。
3.根据权利要求1所述的VR视频云直播方法，其特征在于，所述预设时长之后所输出图像的参考帧数据，包括：
对所述第一惯性测量单元数据进行信源编码后的第一帧数据；或者
对所述第二惯性测量单元数据进行信源编码后的第二帧数据。
4.根据权利要求1所述的VR视频云直播方法，其特征在于，所述根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据，包括：
若所述边缘云的CPU大于或者等于第一门限和/或GPU大于或者等于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲，获得插帧图像数据；
若所述边缘云的CPU小于第一门限且GPU小于第二门限，则根据所述参考帧数据和所述第二惯性测量单元数据，对所述参考帧数据进行异步时间扭曲和异步空间扭曲，获得插帧图像数据。
5.根据权利要求1所述的VR视频云直播方法，其特征在于，所述方法还包括：
将所述插帧图像数据与所述参考帧数据进行比较，判断所述插帧图像数据是否失真；
在所述插帧图像数据失真的情况下，计算预设时长之后所输出图像的第n惯性测量单元数据，对所述第n惯性测量单元数据进行插帧处理，得到第n-1插帧图像数据，不失真的所述第n-1插帧图像数据为所述直播数据；
其中，n为大于或者等于3的整数。
6.根据权利要求5所述的VR视频云直播方法，其特征在于，所述将所述插帧图像数据与所述参考帧数据进行比较，判断所述插帧图像数据是否失真，包括：
在所述插帧图像相对于参考帧的偏移角度中，若水平方向的偏移角度大于或者等于第一预设角度和/或垂直方向的偏移角度大于或者等于第二预设角度，则所述插帧图像数据失真；或者
若所述插帧图像的第一感兴趣区域小于所述参考帧的第二感兴趣区域，则所述插帧图像数据失真。
7.一种VR视频云直播装置，其特征在于，包括
获取模块，用于获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
确定模块，用于根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在边缘云与用户终端之间传输的往返时间时延的一半；
插帧模块，用于根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
生成模块，用于根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
8.一种VR视频云直播设备，其特征在于，包括：收发器和处理器；
所述收发器，用于获取视频直播数据的当前输出图像所标记的第一惯性测量单元数据；
所述处理器，用于根据所述第一惯性测量单元数据，确定预设时长之后所输出图像的第二惯性测量单元数据；
其中，所述预设时长等于数据在边缘云与用户终端之间传输的往返时间时延的一半；
根据所述预设时长之后所输出图像的参考帧数据和所述第二惯性测量单元数据，进行插帧处理，获得插帧图像数据；
根据所述插帧图像数据，生成传输至所述用户终端的直播数据。
9.一种VR视频云直播系统，其特征在于，包括：
用户终端，所述用户终端包括游戏主播用户终端和游戏观众用户终端；
边缘云，所述边缘云包括游戏系统、直播系统以及插帧模块；
中心云，所述中心云包括账户管理模块、内容管理模块、内容存储模块。
10.一种VR视频云直播终端，包括：收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；其特征在于，所述处理器执行所述程序或指令时实现如权利要求1-6任一项所述的VR视频云直播方法。
11.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1-6任一项所述的VR视频云直播方法中的步骤。
CN202110081331.2A 2021-01-21 2021-01-21 一种vr视频云直播方法、装置及设备 Pending CN114827638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110081331.2A CN114827638A (zh) 2021-01-21 2021-01-21 一种vr视频云直播方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110081331.2A CN114827638A (zh) 2021-01-21 2021-01-21 一种vr视频云直播方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114827638A true CN114827638A (zh) 2022-07-29

Family

ID=82524111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110081331.2A Pending CN114827638A (zh) 2021-01-21 2021-01-21 一种vr视频云直播方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114827638A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN109743626A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN110213601A (zh) * 2019-04-30 2019-09-06 大鱼互联科技(深圳)有限公司 一种基于云游戏的直播系统及直播方法、直播互动方法
CN110266664A (zh) * 2019-06-05 2019-09-20 中国联合网络通信有限公司广州市分公司 一种基于5G与MEC的Cloud VR视频直播系统
CN111083519A (zh) * 2019-11-06 2020-04-28 石家庄微泽科技有限公司 基于云和边缘计算的vr内容分发系统及方法
US20200275134A1 (en) * 2016-07-19 2020-08-27 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200275134A1 (en) * 2016-07-19 2020-08-27 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
CN107943287A (zh) * 2017-11-16 2018-04-20 烽火通信科技股份有限公司 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN109743626A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
CN110213601A (zh) * 2019-04-30 2019-09-06 大鱼互联科技(深圳)有限公司 一种基于云游戏的直播系统及直播方法、直播互动方法
CN110266664A (zh) * 2019-06-05 2019-09-20 中国联合网络通信有限公司广州市分公司 一种基于5G与MEC的Cloud VR视频直播系统
CN111083519A (zh) * 2019-11-06 2020-04-28 石家庄微泽科技有限公司 基于云和边缘计算的vr内容分发系统及方法

Similar Documents

Publication Publication Date Title
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
WO2019169682A1 (zh) 一种音视频的合成方法及系统
Bachhuber et al. On the minimization of glass-to-glass and glass-to-algorithm delay in video communication
CN110536176B (zh) 一种视频分辨率调整方法、电子设备及存储介质
US20200092600A1 (en) Method and apparatus for presenting video information
EP3557534A1 (en) Information processing method and apparatus
CN112235585B (zh) 一种虚拟场景的直播方法、装置及系统
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US20040001091A1 (en) Method and apparatus for video conferencing system with 360 degree view
CN111343503B (zh) 视频的转码方法、装置、电子设备及存储介质
CN111970565A (zh) 视频数据处理方法、装置、电子设备及存储介质
CN114979755A (zh) 投屏方法、装置、终端设备及计算机可读存储介质
CN113286146B (zh) 媒体数据处理方法、装置、设备以及存储介质
CN104010204B (zh) 图像信息处理方法及装置
CN110913118B (zh) 视频处理方法、装置及存储介质
CN113973224A (zh) 媒体信息的传输方法、计算设备及存储介质
CN111107387B (zh) 视频转码方法、装置及计算机存储介质
CN114827638A (zh) 一种vr视频云直播方法、装置及设备
CN115914745A (zh) 视频的解码方法、装置、电子设备及计算机可读介质
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
CN114938461A (zh) 视频处理方法、装置、设备及可读存储介质
CN111416994B (zh) 视频流和跟踪信息的同步呈现的方法、装置及电子设备
CN113996056A (zh) 云游戏的数据发送和接收方法以及相关设备
CN114025171A (zh) 一种视频处理方法、装置、终端设备和存储介质
CN115695905A (zh) 视频流恢复方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination