CN112188305A - 一种用于三维渲染的网络调整系统及方法 - Google Patents

一种用于三维渲染的网络调整系统及方法 Download PDF

Info

Publication number
CN112188305A
CN112188305A CN202011046180.9A CN202011046180A CN112188305A CN 112188305 A CN112188305 A CN 112188305A CN 202011046180 A CN202011046180 A CN 202011046180A CN 112188305 A CN112188305 A CN 112188305A
Authority
CN
China
Prior art keywords
data
network
unit
frame
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011046180.9A
Other languages
English (en)
Inventor
刘湘泉
江梦梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202011046180.9A priority Critical patent/CN112188305A/zh
Publication of CN112188305A publication Critical patent/CN112188305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种用于三维渲染的网络调整系统及方法，该系统包括：网络统计单元，用于统计网络通信的丢包情况；网络分析单元，用于根据网络统计单元的统计数据，生成指令控制数据编码单元动态调整I帧比例；信令交互单元，用于实现客户端与服务器端的信令交互；采集单元，用于采集原始视频信号数据；数据编码单元，用于根据I帧调整指令对原始视频渲染数据进行编码压缩；帧传输单元和帧接收单元；帧渲染单元，用于将客户端接收的编码数据通过显卡渲染出来，并在终端屏幕进行显示。通过该方案解决了云渲染数据传输时网络抖动时导致的花屏、黑屏等问题，可以降低对网络带宽及稳定性的要求，快速恢复花屏、黑屏等，保障渲染画面的正常显示。

Description

一种用于三维渲染的网络调整系统及方法
技术领域
本发明涉及网络通信领域，尤其涉及一种用于三维渲染的网络调整系统及方法。
背景技术
基于云渲染的三维视频展示可以应用于许多场景下，如动画、游戏、文博等领域，通过在云服务进行视频渲染，渲染数据传递至终端设备进行展示，可以大大降低终端硬件成本，同时提升用户使用体验。然而，云端的三维视频渲染对于网络数据传输提出了一定要求，当出现网络抖动时，即网络延时变化，会带来视频数据丢包，进而导致终端解码时，解码器无法解析出完整画面，从而出现花屏、黑屏等问题。
发明内容
有鉴于此，本发明实施例提供了一种用于三维渲染的网络调整系统及方法，以解决网络抖动时，云渲染视频会出现花屏、黑屏等问题。
在本发明实施例的第一方面，提供了一种用于三维渲染的网络调整系统，包括：
网络统计单元，用于统计客户端与云渲染服务器进行网络通信的丢包情况；
网络分析单元，用于根据网络统计单元的统计数据，生成指令控制数据编码单元动态调整I帧比例；
信令交互单元，用于实现客户端与服务器端的信令交互；
采集单元，用于采集原始视频信号数据；
数据编码单元，用于根据I帧调整指令对原始视频渲染数据进行编码压缩；
帧传输单元，用于将编码后的渲染数据传输到客户端；
帧接收单元，用于接收服务器端传输的编码数据；
帧渲染单元，用于将客户端接收的编码数据通过显卡渲染出来，并在终端屏幕进行显示。
在本发明实施例的第二方面，提供了一种用于三维渲染的网络调整方法，包括：
统计客户端与云渲染服务器进行网络通信的丢包情况；
根据网络通信丢包的统计数据，生成指令控制数据编码过程动态调整I帧比例；
客户端发送I帧比例调整指令至服务器，服务器根据I帧比例调整指令对原始视频渲染数据进行编码压缩；
客户端接收编码压缩的原始视频渲染数据，并将接收的编码数据通过终端显卡渲染出来，并在终端屏幕进行显示。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第二方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第二方面提供的所述方法的步骤。
本发明实施例中，基于网络通信丢包情况的统计数据，服务器端调制数据编码过程中渲染视频的I帧比例，从而降低网络带宽需求、降低编码服务器资源消耗，并解决了对网络延时高及稳定性差，导致的渲染视频花屏、黑屏问题，可以快速恢复正常渲染画面，降低了对云渲染网络的要求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的用于三维渲染的网络调整系统的结构示意图；
图2为本发明的一个实施例提供的I帧比例调整的时序示意图；
图3为本发明的一个实施例提供的用于三维渲染的网络调整方法的流程示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。
请参阅图1，图1为本发明实施例提供的一种用于三维渲染的网络调整系统的结构示意图，包括：网络统计单元110、网络分析单元120、信令交互单元130、采集单元140、数据编码单元150、帧传输单元160、帧接收单元170和帧渲染单元180。
网络统计单元110，用于统计客户端与云渲染服务器进行网络通信的丢包情况；
网络分析单元120，用于根据网络统计单元的统计数据，生成指令控制数据编码单元动态调整I帧比例；
所述网络分析单元120通过对网络统计单元110所统计的网络情况进行分析，将分析的结果通过信令交互单元130发给服务器，通过指令动态调整I帧比例。
其中，当判定客户端网络状况良好，则降低当前视频编码中I帧所占比例；当判定客户端网络出现丢包，则提高当前视频编码中I帧所占比例。
服务器与终端连接后，若一段时间内客户端与服务器网络连接良好，逐渐降低云渲染编码数据中I帧比例，以降低网络带宽的压力。若一段时间内客户端出现丢帧(丢包)，立即提高I帧比例，消除丢帧带来的花屏，马赛克等现象。
信令交互单元130，用于实现客户端与服务器端的信令交互；
所述信令交互单元通过IP网络承载私有协议数据包，实现客户端和服务器端的信令交互。
采集单元140，用于采集原始视频信号数据；
所述采集单元通过驱动显卡设备获取需要采集的云渲染数据。
数据编码单元150，用于根据I帧调整指令对原始视频渲染数据进行编码压缩；
所述数据编码单元通过调用显卡硬件加速能力对原始渲染数据进行编码压缩。
帧传输单元160，用于将编码后的渲染数据传输到客户端；
所述帧传输单元中通过IP网络承载私有协议的数据包，实现服务器向客户端发送视频数据包。
帧接收单元170，用于接收服务器端传输的编码数据；
帧渲染单元180，用于将客户端接收的编码数据通过显卡渲染出来，并在终端屏幕进行显示。
所述帧渲染单元通过驱动显卡设备将收到的帧数据渲染至显示器。
可以理解的是，当客户端与服务器首次建立时，先以最高的I帧比例传输云渲染数据，一定时间后逐渐降低I帧比例，以降低首帧显示延迟。
在一个实施例中，如图2所示，设定I帧比例分别为1/32，1/64，1/128，1/256，1/512，1/1024，1/2048，根据客户端与服务器的网络通信状况，进行I帧占比调整。
当出现丢包时，分析单元通知服务器将I帧比例修改为1：32。
当连续10次统计都不再出现丢包时，分析单元逐级通知服务器降低I帧比例。
示例性的，当客户端连接时，增加I帧所占的比例。
当用户连接后，数据编码单元开始工作。数据编码单元内部创建一个循环，循环上限设置为180，每次循环都调整I帧比例为1：32，之后休眠33ms。
同时，数据编码单元按照1：32的I帧比例来编码，即每32个帧里有一个I帧。
当循环结束之后，再次调整I帧比例为1：2048。此后数据编码单元按照1：2048的I帧比例来编码，即每2048个帧里有一个I帧。
其中，若客户端网络情况良好时，降低I帧所占的比例。
当用户连接后，网络统计单元调用操作系统提供的接口，统计最近10次网络带宽。网络分析单元将最近10次的网络带宽计算平均值，然后将最后一次统计结果与平均值比较，如果差值小于10，则说明网络情况良好。然后通过信令交互单元向服务器发送控制信令，要求I帧比例调整为1：2048。
数据编码单元随即按照1：2048的I帧比例来编码，即每2048个帧里有一个I帧。
其中，若客户端出现丢帧，提高I帧所占的比例。
当用户已经连接后，网络统计单元调用操作系统提供的接口统计丢包情况。网络分析单元分析末次丢包情况与上次丢包的差值，如果差值大于1，则说明出现丢包情况。通过信令交互单元向服务器发送控制信令，要求I帧比例调整为1：32。数据编码单元随即按照1：32的I帧比例来编码，即每32个帧里有一个I帧。
待丢包消除后，再逐级降低I帧比例。
本实施例中，在客户端连接时，增加I帧所占的比例。若客户端网络情况良好时，降低I帧所占的比例，若客户端出现丢帧，提高I帧所占的比例。从而，可以降低首帧显示延迟，降低网络带宽需求，降低编码服务器资源消耗，快速恢复花屏、黑屏状态。
图3为本发明实施例提供的一种用于三维渲染的网络调整方法的流程示意图，该方法包括：
S301、统计客户端与云渲染服务器进行网络通信的丢包情况；
S302、根据网络通信丢包的统计数据，生成指令控制数据编码过程动态调整I帧比例；
优选的，当判定客户端网络状况良好，则降低当前视频编码中I帧所占比例；当判定客户端网络出现丢包，则提高当前视频编码中I帧所占比例。
S303、客户端发送I帧比例调整指令至服务器，服务器根据I帧比例调整指令对原始视频渲染数据进行编码压缩；
S304、客户端接收编码压缩的原始视频渲染数据，并将接收的编码数据通过终端显卡渲染出来，并在终端屏幕进行显示。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现步骤S101至S104对云渲染数据编码动态调整，保障渲染画面的正常显示。在另一实施例中，所述的计算机程序还可以存储于计算机可读取存储介质中，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种用于三维渲染的网络调整系统，其特征在于，包括：
网络统计单元，用于统计客户端与云渲染服务器进行网络通信的丢包情况；
网络分析单元，用于根据网络统计单元的统计数据，生成指令控制数据编码单元动态调整I帧比例；
信令交互单元，用于实现客户端与服务器端的信令交互；
采集单元，用于采集原始视频信号数据；
数据编码单元，用于根据I帧调整指令对原始视频渲染数据进行编码压缩；
帧传输单元，用于将编码后的渲染数据传输到客户端；
帧接收单元，用于接收服务器端传输的编码数据；
帧渲染单元，用于将客户端接收的编码数据通过显卡渲染出来，并在终端屏幕进行显示。
2.根据权利要求1所述的系统，其特征在于，所述根据网络统计单元的统计数据，生成指令控制数据编码单元动态调整I帧比例包括：
当判定客户端网络状况良好，则降低当前视频编码中I帧所占比例；
当判定客户端网络出现丢包，则提高当前视频编码中I帧所占比例。
3.一种用于三维渲染的网络调整方法，其特征在于，包括：
统计客户端与云渲染服务器进行网络通信的丢包情况；
根据网络通信丢包的统计数据，生成指令控制数据编码过程动态调整I帧比例；
客户端发送I帧比例调整指令至服务器，服务器根据I帧比例调整指令对原始视频渲染数据进行编码压缩；
客户端接收编码压缩的原始视频渲染数据，并将接收的编码数据通过终端显卡渲染出来，并在终端屏幕进行显示。
4.根据权利要求3所述的方法，其特征在于，所述根据网络统计单元的统计数据，生成指令控制数据编码过程动态调整I帧比例包括：
当判定客户端网络状况良好，则降低当前视频编码中I帧所占比例；
当判定客户端网络出现丢包，则提高当前视频编码中I帧所占比例。
CN202011046180.9A 2020-09-29 2020-09-29 一种用于三维渲染的网络调整系统及方法 Pending CN112188305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011046180.9A CN112188305A (zh) 2020-09-29 2020-09-29 一种用于三维渲染的网络调整系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011046180.9A CN112188305A (zh) 2020-09-29 2020-09-29 一种用于三维渲染的网络调整系统及方法

Publications (1)

Publication Number Publication Date
CN112188305A true CN112188305A (zh) 2021-01-05

Family

ID=73945758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011046180.9A Pending CN112188305A (zh) 2020-09-29 2020-09-29 一种用于三维渲染的网络调整系统及方法

Country Status (1)

Country Link
CN (1) CN112188305A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115196A (zh) * 2006-07-27 2008-01-30 腾讯科技（深圳）有限公司 调节视频质量的方法、系统及终端
CN101699867A (zh) * 2009-10-28 2010-04-28 武汉世纪信通通信产业有限公司 一种视频数据传输速率动态调整方法
CN101990087A (zh) * 2010-09-28 2011-03-23 深圳中兴力维技术有限公司 无线视频监控系统及根据网络状态动态调整码流的方法
CN102413307A (zh) * 2011-11-30 2012-04-11 苏州希图视鼎微电子有限公司 电视视频聊天的自适应码率调整方法及调整装置
CN102572516A (zh) * 2011-12-21 2012-07-11 北京视博云科技有限公司 一种码流传输控制方法和装置
CN104125429A (zh) * 2013-04-27 2014-10-29 杭州海康威视数字技术股份有限公司 视频数据传输的调节方法及装置
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统
US20180091791A1 (en) * 2016-09-29 2018-03-29 HypeVR Streaming volumetric video for six degrees of freedom virtual reality
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
CN110415325A (zh) * 2019-07-25 2019-11-05 杭州经纬信息技术股份有限公司 云渲染三维可视化实现方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115196A (zh) * 2006-07-27 2008-01-30 腾讯科技（深圳）有限公司 调节视频质量的方法、系统及终端
CN101699867A (zh) * 2009-10-28 2010-04-28 武汉世纪信通通信产业有限公司 一种视频数据传输速率动态调整方法
CN101990087A (zh) * 2010-09-28 2011-03-23 深圳中兴力维技术有限公司 无线视频监控系统及根据网络状态动态调整码流的方法
CN102413307A (zh) * 2011-11-30 2012-04-11 苏州希图视鼎微电子有限公司 电视视频聊天的自适应码率调整方法及调整装置
CN102572516A (zh) * 2011-12-21 2012-07-11 北京视博云科技有限公司 一种码流传输控制方法和装置
CN104125429A (zh) * 2013-04-27 2014-10-29 杭州海康威视数字技术股份有限公司 视频数据传输的调节方法及装置
US20180091791A1 (en) * 2016-09-29 2018-03-29 HypeVR Streaming volumetric video for six degrees of freedom virtual reality
CN106973066A (zh) * 2017-05-10 2017-07-21 福建星网智慧科技股份有限公司 一种实时通讯中h264编码视频数据传输方法以及系统
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
CN110415325A (zh) * 2019-07-25 2019-11-05 杭州经纬信息技术股份有限公司 云渲染三维可视化实现方法及系统

Similar Documents

Publication Publication Date Title
CN108881780B (zh) 视频通话中动态调整清晰度模式的方法、服务器
US10728594B2 (en) Method and apparatus for transmitting data of mobile terminal
EP3044956B1 (en) Controlling resolution of encoded video
CN106375841B (zh) 无线投屏数据处理、视频数据显示方法、装置及电子设备
CN102625106A (zh) 场景自适应的屏幕编码码率控制方法及其系统
CN108347580B (zh) 一种处理视频帧数据的方法及电子设备
US10834405B2 (en) Bit rate allocation method and device, and storage medium
EP2934007A1 (en) Method for switching coding mode, sending end and receiving end
CN113301342B (zh) 视频编码方法、网络直播方法、装置和终端设备
CN109168041B (zh) 一种移动终端监控方法及系统
EP3941021A1 (en) Processing method, apparatus, and system
CN103517072A (zh) 视频通信方法和设备
EP4024867A1 (en) Video image transmission method, sending device, and video call method and device
KR100548353B1 (ko) 휴대 단말기를 이용한 영상 통화 중 영상 처리 방법
CN115529300A (zh) 自动调整关键帧量化参数和帧率的系统和方法
CN112188305A (zh) 一种用于三维渲染的网络调整系统及方法
CN116962613A (zh) 数据传输方法及装置、计算机设备、存储介质
KR20010111353A (ko) 화질 열화를 줄인 데이터 레이트 감소장치 및 방법
CN112468764B (zh) 一种流媒体自适应传输的方法、系统、服务器和存储介质
WO2021057478A1 (zh) 视频编解码方法和相关装置
CN114007137A (zh) 一种基于roi的视频分级编码的方法、装置及介质
CN111901663A (zh) 视频传输系统、方法及计算机可读存储介质
CN111225238A (zh) 信息处理方法及相关设备
CN113160342B (zh) 基于反馈的编码方法及装置、存储介质、电子设备
CN118301414A (zh) 一种图像传输方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105

RJ01 Rejection of invention patent application after publication