CN117379775A - 基于视频增强和比特率自适应算法的云游戏视频传输方法 - Google Patents
基于视频增强和比特率自适应算法的云游戏视频传输方法 Download PDFInfo
- Publication number
- CN117379775A CN117379775A CN202311312743.8A CN202311312743A CN117379775A CN 117379775 A CN117379775 A CN 117379775A CN 202311312743 A CN202311312743 A CN 202311312743A CN 117379775 A CN117379775 A CN 117379775A
- Authority
- CN
- China
- Prior art keywords
- video
- bit rate
- game
- frame
- cloud server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 59
- 230000005540 biological transmission Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000002787 reinforcement Effects 0.000 claims abstract description 22
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000003780 insertion Methods 0.000 claims abstract description 8
- 230000037431 insertion Effects 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 230000006978 adaptation Effects 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 abstract 2
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000003044 adaptive effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
- A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
- A63F2300/407—Data transfer via internet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
- A63F2300/534—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了基于视频增强和比特率自适应算法的云游戏视频传输方法，将边缘计算、基于强化学习的比特率自适应算法与视频增强技术结合。本发明将在网络波动时通过强化学习决策传输比特率，通过降低帧率和分辨率，减少传输的视频数据量，避免卡顿，然后通过超分辨率和插帧提高游戏视频质量。使用边缘计算架构将视频增强从游戏玩家的终端设备卸载到边缘云服务器中，避免终端算力不足的问题。本发明可以在网络波动的情况下保证高质量稳定的云游戏服务，提高云游戏用户的游戏体验。
Description
技术领域
本发明属于云游戏、网络优化和视频增强领域，涉及比特率自适应算法、强化学习、视频增强和边缘计算技术方法。
背景技术
近年来云游戏迅速发展，其市场份额预计将在2025年达到80亿美元。不同于传统游戏采用的集中式客户端-服务器架构，要求玩家配备较高算力的设备进行实时渲染，云游戏架构利用云服务器算力进行渲染。云游戏的服务器接收到玩家控制事件后，对游戏场景进行渲染和编码等操作，并将游戏场景通过视频流的形式传输给终端用户。通过这种方式，玩家可以不受终端设备算力和图像处理能力的限制随时访问游戏，游戏内容提供商无需兼容不同的底层硬件架构，从而降低开发成本、加快开发速度。但云游戏服务提供商需要向玩家传输高分辨率、高帧率和低时延的游戏视频流，这导致网络带宽、延迟和丢包等变化都会影响游戏体验。
云游戏需要持续稳定的带宽来负担高质量的游戏视频流，但在高度异构的现代互联网中，用户数量、移动性、网络拥塞、信道衰落等因素，都会使玩家网络发生波动。当发送端发送速率与可用带宽不匹配时，可能出现网络拥塞，导致传输时延增加或丢帧等情况，从而导致玩家的游戏体验迅速下降。另一方面，由于网络限制导致的实时游戏视频质量下降，需要进行有效的视频增强，从而为游戏玩家提供稳定的游戏服务。
针对网络波动导致的游戏体验下降，拥塞控制、自适应帧率、前向纠错编码和分流视频编码等技术给出了解决方案。例如Google团队基于速率和时延提出了一种拥塞控制算法SQP，用于低时延交互式视频流，旨在提供实时带宽估计。依赖于QUIC进行可靠的视频帧传输，并提供数据包的时间戳来估计网络带宽。通过调整每帧的速度，使用基于梯度的更新平滑地改变带宽估计和视频比特率来响应拥塞。Alhilal等人将发送端的发送速率控制和前向纠错编码相结合，提出了一种端到端的云游戏框架，为系统提供了容错能力，并实现了最佳视频质量。丢包恢复方案Prism采用分流视频编码技术来满足超低延迟视频流应用的需求。Prism进行了基于深度学习的丢包预测，在识别出潜在的丢包时，将视频流分成两个子流：低延迟不可靠的IDR帧流和高质量和可靠的P帧流。IDR帧使应用程序以较低的延迟继续显示帧,当丢失的P帧数据被重传，应用程序快速切换回更高质量的P帧流。然而简单的拥塞控制算法和分流视频编码技术虽然可以缓解网络拥塞，保证游戏视频的流畅，但是在发生网络拥塞时会降低发送的视频质量，进而影响游戏画面的分辨率或帧率，导致较差的游戏体验。自适应帧率和前向纠错编码相结合虽然可以通过冗余的编码提高网络系统的鲁棒性和可靠性，但是其计算复杂度高，并且冗余编码引入了显著的额外开销，增加了时延的同时减少了可用带宽。
对于网络限制导致的实时游戏视频质量下降问题，很多工作提出通过超分辨率和插帧的方式进行视频增强，可以在视频质量不佳的情况下，恢复出高分辨率、高帧率视频。然而现有的超分辨率和插帧方法无法在推断时间和推断效果两方面满足云游戏高帧率、高分辨率的需求。如SRResNet和VDSR超分辨率模型无法满足超分辨率推断速度需求。Bicubic和SRCNN方法可以满足推断速度需求，但其超分辨率效果却不尽如人意。EGVSR和RDN超分辨率模型虽然放大4倍时可以满足30fps的推断速度需求，但放大效果较差；放大2倍时推断效果较好，但无法满足实时推断的时间需求。IFRNet模型、基于相位的插帧方法、Sepconv-slomo模型等插帧模型的推断时间也都无法达到高帧率的推断需求，其每帧推断时间均在60ms以上。
因此提出一种增强云游戏质量的传输优化方案是本领域技术人员亟待解决的技术问题，以此保证以云游戏为代表的高帧率、高分辨率的交互式实时视频应用的高质量体验。
发明内容
本发明的目的是为了克服现有技术存在的不足，解决由于带宽、延迟和丢包等网络波动导致的云游戏视频质量不稳定的问题。本发明可以在网络波动的情况下有效保证云游戏视频的高分辨率、高帧率和低延时，避免游戏过程中出现卡顿、掉帧和画面模糊等现象，从而提高玩家的游戏体验。
本发明的技术方案
基于视频增强和比特率自适应算法的云游戏视频传输方法，所述方法如下：
S1、提出将边缘云架构、比特率自适应算法与视频增强技术相结合的方法，进行云游戏视频传输与增强。使用边缘云架构将视频增强从玩家的终端设备卸载到边缘云服务器，解决终端算力不足的问题；将比特率自适应算法与视频增强技术相结合，在网络波动时进行跳帧编码和降低分辨率，减少主干网传输数据量，并在边缘云服务器进行视频增强，提高游戏体验。
S2、构建基于强化学习的比特率自适应算法。针对云游戏高帧率、高比特率和低延时的特点，以及现代网络环境的波动性，提出了一种符合其特征的比特率自适应算法，通过强化学习、跳帧和降低分辨率的方式有效实现了比特率自适应算法决策比特率与编码速率的匹配，缓解网络拥塞问题。
S3、构建针对云游戏的超分辨率方法和插帧方法。提出了针对以云游戏为代表的高帧率、高分辨率的交互式实时视频应用的超分辨率和插帧模型，通过视频增强的方式有效提高了云游戏终端的视频质量和游戏体验。
所述边缘云架构由三层网络组成，分别为核心云服务器、边缘云服务器和游戏玩家。核心云服务器根据不同的游戏场景对超分辨率和插帧模型进行训练，同时对基于强化学习的比特率自适应算法进行训练，根据游戏玩家操作对游戏画面进行渲染。分布式边缘云服务器就近为游戏玩家转发游戏视频，对低质量的游戏视频进行实时在线增强。游戏玩家的终端设备对视频流进行解码合并后播放，并将游戏玩家的最新操作返回到核心云服务器。
所述方法的步骤包括：
1)游戏玩家向核心云服务器注册或登录，并开启游戏，在核心云的部署下就近加入相应的边缘云服务器。核心云服务器将最新的游戏超分辨率模型和插帧模型更新到边缘云服务器。之后该游戏玩家的游戏视频流均经过此边缘云服务器进行转发。
2)游戏开始后，游戏玩家将游戏操作发送到核心云服务器，核心云服务器根据玩家操作对游戏画面进行实时渲染，并根据基于强化学习的比特率自适应方法做出的帧率和分辨率决策，将游戏画面实时传输到边缘云服务器。如果核心云服务器到边缘云服务器的主干网网络条件较好，比特率自适应方法将决策向边缘云服务器发送高帧率、高比特率的游戏视频，则边缘云服务器收到游戏视频后直接转发到游戏玩家的终端设备；否则，向边缘云服务器发送较低帧率、较低比特率的游戏视频，在边缘云服务器先后进行游戏视频的超分辨率和插帧推断，将进行视频增强后的视频流编码后与原视频流一同发送到游戏玩家的终端设备。
3)游戏玩家的终端设备将收到的游戏视频流进行解码合并后播放，并将游戏玩家的下一次操作发送到核心云服务器。
所述将比特率自适应算法与视频增强技术相结合，进行云游戏视频传输与增强，通过基于强化学习的比特率自适应算法决定发送比特率，并根据发送比特率确定编码时跳帧的个数和视频分辨率，然后进行相应的游戏视频编码，从而减小传输时延，降低主干网传输压力，避免拥塞和卡顿。
实时感知网络状态是合理决策比特率的基础，公式(1)为本发明中强化学习的状态公式，losst为丢包率，通过RTCP报文中的FractionLost字段获得，rttt为延迟，通过RTCP报文中的LSR和DLSR两个字段计算获得，deltat为两个连续RTP分组在接收方的到达间隔和发送方的相应离开间隔的差，packetst为DRL算法更新间隔内接收端接收到的RTP报文数量，deviationt为t时刻真实传输比特率与DRL算法决策的比特率之间的差。
合理的奖励函数是强化学习智能体不断纠正动作决策的基础，公式(2)为比特率自适应算法的奖励公式，其中packetst为间隔时间内接收端收到的总数据报文数量，bitratet为t时刻DRL算法决策的比特率，losst为时间间隔内的丢包率，rttt为时间间隔内的往返延迟，deviationt为比特率执行偏差，a、b、c、d、e为相应指标的权重。
为保证比特率自适应算法决策的比特率及时与编码速率匹配，使编码器更好的执行算法决策，本发明提出当本时刻决策的比特率低于上一时刻时，进行跳帧编码和降低分辨率的处理。公式(3)为跳帧决策公式，rt为t时刻的比特率，当t时刻的比特率小于上一时刻时，不进行跳帧编码；当t时刻的比特率大于上一时刻时，跳帧个数为两时刻比特率之差除以上一时刻的平均每帧比特率bpft-1，公式(4)为bpf的计算公式，其中fpst为t时刻的发送帧率。
St＝{losst,rttt,deltat,packetst,deviationt} (1)
Rt＝a*packetst+b*bitratet+c*losst+d*rttt+e*deviationt (2)
为提高云游戏视频分辨率，本发明提出了一种针对高帧率、高分辨率和低延时的云游戏实时超分模型。该模型首先将输入的视频帧划分成像素为10×10的小像素块，对每个小像素块使用两个卷积层计算一个具有3个输入通道和16个输出通道的3×3卷积核，并将卷积核应用于相应小像素块，最后，重新组装被分割的视频帧，并使用3个卷积层和一个像素重组层提高视频帧的分辨率。
本发明提出的针对云游戏的实时插帧模型，游戏开始前在核心云服务器上进行训练，游戏开始后在边缘云服务器上进行推断。该模型的每个编码器由两个3×3的卷积层构成，每个卷积层都由一个PReLU层激活，对每个输入帧进行4次编码操作，共通过8个卷积层，通过逐步抽取空间大小，将特征通道逐渐增加到12、18、27和36个，分别生成输入帧I0和帧I1的特征E0j、E1j(j＝1、2、3、4)；插帧模型的每个解码器由一个3×3的卷积层、一个PReLU激活层、一个残差块和一个4×4的逆卷积组成，其中残差块由五个3×3的卷积层和四个PReLU激活层组成；在帧I0和帧I1依次经过4个编码器后获得特征E04、E14，特征E04、E14通过解码器逐步细化，并获得相应流场D0j、D1j(j＝1、2、3、4)和更高一级重构的中间特征Ti(j＝1、2、3)；流场D和对应的特征E进行反向扭曲后与原流场和中间特征一起进入下一层解码器；在最后一次经过解码器时，输出流场D01、D11、单通道掩码M和进行细节补偿的三通道图像残差R，并最终计算合成中间帧It。
所述基于视频增强和比特率自适应算法的云游戏视频传输方法符合云游戏高帧率、高比特率和低延时的特征和实际需求，能够提高玩家的游戏体验。
本发明相较现有技术具有以下有益效果：
本发明利用边缘计算架构，提出了基于强化学习的比特率自适应算法，并引入视频增强模型。与现有的其他技术相比，比特率自适应算法可以及时做出合理的传输比特率决策，跳帧编码和降低分辨率方案可以使编码速率与比特率决策快速匹配，同时有效降低主干网传输压力，视频增强技术可以在边缘云服务器恢复高质量的游戏视频，从而实现良好稳定的云游戏服务。
附图说明
图1是本发明的流程图；
图2是本发明的总体设计架构图；
图3是本发明的基于强化学习的比特率自适应模型图；
图4是本发明针对云游戏的超分辨率模型图；
图5是本发明针对云游戏的插帧模型图
具体实施方式
为了更清楚地说明本发明技术方案，下面将结合附图和实施例进行详细说明。
本发明搭建图1所示网络架构，一台NVIDIA GeForce RTX 3090作为云游戏的核心云服务器，多台NVIDIA GeForce RTX 3080作为边缘云服务器，多台Intel(R)Core(TM)i7-9700作为终端模拟云游戏玩家。整个系统在WebRTC架构中实现，首次建立连接时使用TCP协议，在交换SDP信息后断开TCP连接，并使用RTP协议进行实时视频传输，通过RTCP报文获取网络状态信息。
游戏玩家向核心云服务器注册或登录，并开启游戏，在核心云的部署下就近加入相应的边缘云服务器。核心云服务器需要根据玩家操作将渲染后的高帧率、高分辨率的游戏视频传输到边缘云服务器，因此本发明在核心云服务器和边缘云服务器之间设计了一种基于强化学习算法以进行比特率自适应决策，从而缓解主干网的拥塞问题。图2展示了比特率自适应算法的强化学习模型，包括状态、动作和奖励。强化学习的智能体持续观察瞬时网络状态，并在某一时刻决定一个传输比特率的动作，该动作预期与当前网络的可用带宽相匹配。然后根据智能体决定的比特率动作在视频编解码器上进行编码，并将编码后的游戏视频发送到边缘服务器。数据经过网络后产生一个新的状态，启动新一轮强化学习的比特率预测。
实验发现视频编码器无法快速地使用比特率自适应算法决策的比特率编码视频流，视频编码器的编码比特率从5Mbps提升到10Mbps需要大约10s，即每提升1Mbps需要2s。为使视频编码器编码比特率随比特率自适应算法决策进行变动，本发明将强化学习的决策频率设置在秒级。同时提出了跳帧编码和降低视频帧的分辨率的方案，以保证比特率自适应算法决策的比特率及时与编码速率匹配。
云游戏系统应避免由于网络波动或跳跃的传输比特率决策影响游戏视频感知质量，因此本发明在边缘云服务器加入了超分辨率和插帧两种实时视频增强模型，以减少由于强化学习智能体决策变化带来的视频质量下降。图3为超分辨率模型，图4为插帧模型。对于不同的云游戏场景，视频增强模型在核心云服务器上进行相应的训练，并且周期性的部署到边缘云服务器。当边缘云服务器收到帧率较低或分辨率较低的游戏视频时，首先进行超分辨率推断，然后进行插帧推断。为保证视频增强的效果，本发明只进行放大两倍的超分辨率推断。
为实现云游戏低延时的要求，本发明没有在边缘服务器对所有视频帧重新进行编码，而是对进行了视频增强的帧单独编码视频流，并将从核心云服务器收到的低帧率和低分辨率的原视频流一起发送到游戏玩家的终端。在玩家终端并行解码两个视频流后进行播放，并将游戏玩家的下一次操作发送到核心云服务器。
为证明本发明的比特率自适应算法的有效性，将本发明的比特率自适应算法与GCC和ONRL两种经典的实时通信拥塞控制算法进行了比较，同时将随机比特率作为基线方法。其中带宽波动使用了PiTree数据集中的FCC18中的一段300秒左右的带宽进行模拟，本发明的比特率自适应算法和ONRL算法在FCC18数据集上随机选择的30个带宽在20Mbps左右的带宽波动上进行24小时的预训练，随机比特率选取范围为[5Mbps,21Mbps]。
表1为实验结果，可以发现本文发明在各个性能方面取得了改进。在带宽利用率上，GCC算法的带宽利用率仅60％，本发明的带宽利用率高于ONRL算法。本发明的丢包率与ONRL相比减少了8.7％，本发明的时延与ONRL相比减少5.9％，与GCC算法相差不多。由于GCC算法执行保守的带宽估计，比特率执行偏差不是其显著问题，因此没有统计GCC的执行偏差情况。由于本发明的帧率自适应和分辨率自适应机制，本发明的比特率执行偏差明显下降，与ONRL算法相比降低了35％左右，使算法得到了有效的执行。
表1比特率自适应算法性能比较
| 指标 | 带宽利用率％ | 丢包率％ | 时延ms | 比特率执行偏差bps |
| GCC | 60.42 | 1.8004 | 6.3825 | / |
| 随机比特率 | 71.84 | 2.9569 | 5.2603 | 394028 |
| ONRL | 74.28 | 2.5417 | 6.7529 | 301536 |
| 本发明 | 80.57 | 2.3240 | 6.3622 | 191745 |
为证明本发明的视频增强模型的有效性，将本发明的超分辨率模型与RDN、SRCNN、EGVSR和Bicubic四种超分辨率方法进行对比，将本发明的插帧模型与IFRNet大中小三个插帧模型进行对比。所有模型对同一个游戏视频进行了200轮次的训练后进行推断。表2为超分辨率模型的性能对比，可以发现本发明的超分辨率模型的性能最佳，且推断时间小于33ms，可以满足30fps视频的推断需求。表3为插帧模型的性能对比，其中L为大模型，S为小模型。本发明的小模型和大模型比IFRNet的性能略有降低，PSNR降低约2％，SSIM降低约0.2％，MS-SSIM降低约0.8％，VMAF降低约1％。但本发明的插帧模型在推断时间上大幅下降，比IFRNet模型分别降低了62％和51％，均在33ms内，使得插帧模型可以应用到高帧率、高比特率和低延时的云游戏中。
表2超分辨率模型性能比较
| 超分模型 | 推断时间(ms) | PSNR | SSIM | VMAF | 模型参数量 |
| 本发明 | 28.9451 | 40.2455 | 0.9784 | 100 | 2.7MB |
| RDN | 71.0374 | 39.9572 | 0.9772 | 95.3107 | 4.1MB |
| SRCNN | 13.0923 | 37.0092 | 0.9702 | 84.9009 | 83KB |
| EGVSR | 69.4792 | 20.1910 | 0.8534 | 19.2685 | 10MB |
| BICUBIC | 0.2725 | 32.6132 | 0.9521 | 86.1225 | / |
表3插帧模型性能比较
| 插帧模型 | 推断时间(ms) | PSNR | SSIM | VMAF | 模型参数量 |
| IFRNet_L | 196.5254 | 34.1151 | 0.9870 | 93.4535 | 75MB |
| IFRNet | 66.0976 | 34.4065 | 0.9876 | 93.3089 | 19MB |
| IFRNet_S | 52.9963 | 34.2306 | 0.9871 | 93.1573 | 11MB |
| 本发明_L | 32.4752 | 33.7603 | 0.9863 | 92.5475 | 5MB |
| 本发明_S | 25.0486 | 33.4210 | 0.9856 | 92.3359 | 3MB |
需要明确的是，以上实施例仅仅用于对本发明技术方案做出进一步说明，并非用于对本发明保护范围的限制，对在本发明技术构思的基础上所做的显而易见的改进，均应属于本发明保护范围。
Claims (7)
1.基于视频增强和比特率自适应算法的云游戏视频传输方法，所述方法包括：
1)游戏玩家向核心云服务器注册登录，并开启游戏，在核心云的部署下就近加入相应的边缘云服务器，核心云服务器将最新的游戏超分辨率模型和实时插帧模型更新到边缘云服务器，之后该游戏玩家的游戏视频流均经过此边缘云服务器进行转发；
2)游戏开始后，游戏玩家将游戏操作发送到核心云服务器，核心云服务器根据玩家操作对游戏画面进行实时渲染，并根据基于强化学习的比特率自适应算法做出传输比特率决策，将游戏画面实时编码后传输到边缘云服务器；
2.1)如果比特率自适应算法决策的传输比特率高，则向边缘云服务器发送高帧率、高比特率的游戏视频，边缘云服务器收到游戏视频后直接转发到游戏玩家的终端设备；
2.2)如果比特率自适应算法决策的传输比特率低，则向边缘云服务器发送较低帧率、较低比特率的游戏视频，边缘云服务器对低质量视频进行视频增强，然后将增强后的视频流编码后与原视频流一同发送到游戏玩家的终端设备；
3)游戏玩家的终端设备将收到的游戏视频流进行解码合并后播放，并将游戏玩家的下一次操作发送到核心云服务器。
2.根据权利要求1所述的基于视频增强和比特率自适应算法的云游戏视频传输方法，其特征在于，所述基于强化学习的比特率自适应算法是：
核心云服务器通过基于强化学习算法，持续观察瞬时网络状态，学习不同时刻的网络状态变化，并决定一个与当前网络的可用带宽相匹配的传输比特率，若决策的传输比特率高，则直接传输高质量游戏视频，否则，执行跳帧和降低视频帧分辨率的决策，并在视频编解码器上进行相应的帧率和分辨率的编码，并将低质量游戏视频流发送到边缘服务器。
3.根据权利要求1所述的基于视频增强和比特率自适应算法的云游戏视频传输方法，其特征在于，进行云游戏视频传输与增强是将比特率自适应算法与视频增强技术相结合，通过基于强化学习的比特率自适应算法决定发送比特率，并根据发送比特率确定编码时跳帧的个数和视频分辨率，然后进行相应的游戏视频编码，从而减小传输时延，降低主干网传输压力，避免拥塞和卡顿；
公式(1)为强化学习的状态公式，
St＝{losst,rttt,deltat,packetst,deviationt} (1)
losst为丢包率，rttt为延迟，deltat为两个连续RTP分组在接收方的到达间隔和发送方的相应离开间隔的差，packetst为DRL算法更新间隔内接收端接收到的RTP报文数量，deviationt为t时刻真实传输比特率与DRL算法决策的比特率之间的差；
公式(2)为比特率自适应算法的奖励公式，
Rt＝a*packetst+b*bitratet+c*losst+d*rttt+e*deviationt (2)
其中packetst为间隔时间内接收端收到的总数据报文数量，bitratet为t时刻DRL算法决策的比特率，losst为时间间隔内的丢包率，rttt为时间间隔内的往返延迟，deviationt为比特率执行偏差，a、b、c、d、e为相应指标的权重；
公式(3)为跳帧决策公式，
rt为t时刻的比特率，当t时刻的比特率小于上一时刻时，不进行跳帧编码；当t时刻的比特率大于上一时刻时，跳帧个数为两时刻比特率之差除以上一时刻的平均每帧比特率bpft-1，公式(4)为bpf的计算公式，
其中fpst为t时刻的发送帧率。
4.根据权利要求3所述的基于视频增强和比特率自适应算法的云游戏视频传输方法，其特征在于，所述视频增强包括：
核心云服务器针对不同游戏场景进行个性化超分辨率模型和插帧模型训练，并周期性部署到边缘云服务器，边缘云服务器对接收到的低帧率、低分辨率视频，首先进行基于深度学习的实时超分辨率，获得低帧率、高分辨率视频，然后进行基于深度学习的实时插帧，最终获得高质量视频。
5.根据权利要求1所述的基于视频增强和比特率自适应算法的云游戏视频传输方法，其特征在于，所述增强后的视频流与原视频流的编解码如下：
边缘云服务器将收到的视频流直接转发至游戏玩家，并将原视频流解码后进行增强，然后将增强的视频帧进行编码后发送至游戏玩家，游戏玩家在收到原视频流和增强后的视频流后并行解码，并使用增强后的视频帧替换或插入到原视频流中进行播放。
6.根据权利要求1所述的基于视频增强和比特率自适应算法的云游戏视频传输方法，其特征在于，游戏超分辨率模型首先将输入的视频帧划分成像素为10×10的小像素块，对每个小像素块使用两个卷积层计算一个具有3个输入通道和16个输出通道的3×3卷积核，并将卷积核应用于相应小像素块，最后，重新组装被分割的视频帧，并使用3个卷积层和一个像素重组层提高视频帧的分辨率。
7.根据权利要求1所述的基于视频增强和比特率自适应算法的云游戏视频传输方法，其特征在于，实时插帧模型的每个编码器由两个3×3的卷积层构成，每个卷积层都由一个PReLU层激活，对每个输入帧进行4次编码操作，共通过8个卷积层，通过逐步抽取空间大小，将特征通道逐渐增加到12、18、27和36个，分别生成输入帧I0和帧I1的特征E0j、E1j，j＝1、2、3、4；插帧模型的每个解码器由一个3×3的卷积层、一个PReLU激活层、一个残差块和一个4×4的逆卷积组成，其中残差块由五个3×3的卷积层和四个PReLU激活层组成；在帧I0和帧I1依次经过4个编码器后获得特征E04、E14，特征E04、E14通过解码器逐步细化，并获得相应流场D0j、D1j，j＝1、2、3、4和更高一级重构的中间特征Ti，j＝1、2、3；流场D和对应的特征E进行反向扭曲后与原流场和中间特征一起进入下一层解码器；在最后一次经过解码器时，输出流场D01、D11、单通道掩码M和进行细节补偿的三通道图像残差R，并最终计算合成中间帧It。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311312743.8A CN117379775A (zh) | 2023-10-11 | 2023-10-11 | 基于视频增强和比特率自适应算法的云游戏视频传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311312743.8A CN117379775A (zh) | 2023-10-11 | 2023-10-11 | 基于视频增强和比特率自适应算法的云游戏视频传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117379775A true CN117379775A (zh) | 2024-01-12 |
Family
ID=89467664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311312743.8A Pending CN117379775A (zh) | 2023-10-11 | 2023-10-11 | 基于视频增强和比特率自适应算法的云游戏视频传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117379775A (zh) |
-
2023
- 2023-10-11 CN CN202311312743.8A patent/CN117379775A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10321138B2 (en) | Adaptive video processing of an interactive environment | |
| RU2497304C2 (ru) | Динамическая модификация свойств видео | |
| CN109729439A (zh) | 实时视频传输方法 | |
| US8243117B2 (en) | Processing aspects of a video scene | |
| WO2011016988A2 (en) | Systems and methods for transmitting and receiving data streams with feedback information over a lossy network | |
| CN111787413B (zh) | 流媒体数据传输方法、系统、发送装置及接收装置 | |
| US20140321556A1 (en) | Reducing amount of data in video encoding | |
| CN111654724B (zh) | 一种视频会议系统的低码率编码传输方法 | |
| Fitzek et al. | Video streaming in wireless internet | |
| CN117379775A (zh) | 基于视频增强和比特率自适应算法的云游戏视频传输方法 | |
| CN115396733A (zh) | 视频帧传输方法、装置、设备、存储介质及产品 | |
| CN116800371A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| US20140289369A1 (en) | Cloud-based system for flash content streaming | |
| Kang et al. | The decision scheme of frame importance factor for video streaming system | |
| Quinlan et al. | ALD: adaptive layer distribution for scalable video | |
| Sanhueza et al. | Efficient video streaming rate control based on a deadline-sensitive selection of SVC layers | |
| US11778219B2 (en) | Method and system for live video streaming with integrated encoding and transmission semantics | |
| KR20050093438A (ko) | 패킷 손실률에 따른 프레임 전송률 조절 방법 | |
| Shaout et al. | Dynamic Video Content Streaming | |
| Vilei et al. | A novel unbalanced multiple description scheme for video transmission over wlan | |
| Wu et al. | On combining temporal scaling and quality scaling for streaming MPEG | |
| CN117749776A (zh) | 流媒体数据包的传输方法及装置 | |
| CN118199797A (zh) | 5g直播场景下的网内前向纠错编码方法 | |
| Ganguly et al. | Synergized QoE-Centric Streaming for Telerobotics | |
| Xiong et al. | An error resilience scheme on an end-to-end distortion analysis for video transmission over Internet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |