CN110418189A - 一种可用于传输游戏的低延迟、高帧率音视频传输方法 - Google Patents
一种可用于传输游戏的低延迟、高帧率音视频传输方法 Download PDFInfo
- Publication number
- CN110418189A CN110418189A CN201910709506.2A CN201910709506A CN110418189A CN 110418189 A CN110418189 A CN 110418189A CN 201910709506 A CN201910709506 A CN 201910709506A CN 110418189 A CN110418189 A CN 110418189A
- Authority
- CN
- China
- Prior art keywords
- audio
- video
- data
- frame
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000009432 framing Methods 0.000 claims abstract description 25
- 238000005538 encapsulation Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 208000012886 Vertigo Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种可用于传输游戏的低延迟、高帧率音视频传输方法，涉及音视频传输技术领域，具体为一种可用于传输游戏的低延迟、高帧率音视频传输方法，包括以下步骤：S1、发送设备和接收设备接入可互联传输网络，并建立链接；S2、发送设备分别采集音频数据和视频数据；S3、分别对音频数据和视频数据进行编码；S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到网络；S5、接收设备通过网络接收到发送设备发送的音视频数据后，通过自定义实时游戏音视频传输协议将其解帧为独立的音、视频帧数据，并解码播放。通过该方法将本地音视频传到远端，实现音视频会议、大屏游戏、VR游戏等。
Description
技术领域
本发明涉及音视频传输技术领域，具体为一种可用于传输游戏的低延迟、高帧率音视频传输方法。
背景技术
音视频传输在游戏、视频会议、实时直播等领域应用较多，但音视频传输的实时性一直是待解决问题，严重影响用户的使用体验，玩手机游戏时，手机屏幕太小，不便于观看，且音质较差，导致总体体验较差，因此希望将手机游戏的音视频无线传输到电脑或电视的显示器和音响，通过大屏高保真音响提高游戏体验；玩PC VR游戏时，通常需使用专用VR头显设备，如HTC的VIVE，常规PC VR头显的价格几千上万，为降低游戏门槛，减少游戏设备投入，提高游戏的便捷性，可以将电脑端PC VR游戏的音视频无线投屏到手机，将手机放入手机VR头盔，作为低成本的VR头显，电脑运行游戏，手机只用于显示视频和播放音频，这样就可以使用低性能手机玩高质量的PC VR游戏。
在游戏等实时性要求高的场合，体验者对视频的分辨率要求较高，期望达到1080P以上；传输延迟要求非常高，期望达到50ms以内；对视频帧率要求非常高，期望达到每秒60帧以上，由于游戏场景变化大，帧率高，音视频数据量非常大，将电脑游戏音视频从PC传输到其他设备，超过了传统的网络如千兆网的传输带宽，无法实现音视频高清传输；类似上述使用方式的音视频传输通常包括采集、编解码、传输协议、播放四部分，采集和播放的延迟取决于特定硬件平台性能及相应平台下不同操作系统开放的不同驱动函数性能，无法明显优化延迟；编解码的延迟取决于我们的实现方式，比如采用软件编码压缩方案能减少数据量，但资源消耗高，抢占其他进程，影响其他程序运行，在游戏等需要高速响应的场合，延迟大，帧率低，数据传输进程抢占游戏进程，会导致游戏运行不流畅，游戏体验差，硬件编解码方案可以大大的降低延迟，提高编解码帧率，且已经成熟使用；传输协议延迟取决于我们采用的不同传输协议，比如流媒体传输协议和桌面共享协议都不是针对类似游戏这种低延迟音视频传输而设计的协议，协议复杂度大，CPU资源消耗高，不利于减少延迟，如现阶段音视频传输很多采用流媒体传输协议，如苹果公司的RTMP、Apple公司的HLS、w3c推荐的WebRTC，流媒体传输协议主要针对广域网的视频点播、直播等实时性和视频帧率要求不太高的场合，实时性只能达到百毫秒量级，无法满足游戏所需要的低延迟需求；视频点播、直播等帧率一般在25帧量级，无法满足游戏需要的高帧率需求，近年来WI-FI联盟推出Miracast协议，以使多媒体设备之间建立和维持一个基于WI-FI的链接，并且利用这个链接推进视频和音频在目标设备的呈现播放；苹果公司推出了Airplay协议，它可以将ipad，iphone设备的桌面画面分享到Airplay接收端，Miracast协议和Airplay协议的推出极大的方便了屏幕分享 ,但都有所限制，Miracast设备在稳定性和兼容性方面有所欠缺，各个厂商的实现也多有差异，而且当前市面上的Miracast设备不支持多路音视频传输，当前Miracast发射端主要是Android 4 .2以上的手机或者ipad，以及windows8以上的PC，网卡必须支持Wi-FiP2P；Miracast画面的发送端把画面进行编码压缩得到基本码流ES(Element Stream)，然后把ES流封装成打包的基本码流PES(Packet Element Stream)，最后把PES打包成MPEG-TS的格式，通过实时传输协议RTP(Real-time Transport Protocol)把数据发送到画面接收端，画面的接收端接收到RTP包以后，去掉RTP头信息，得到MPEG-TS(Moving Picture ExpertsGroup-Transport Stream，动态图像传输流)数据，然后送入解码器进行解码输出，由于PES特点，其本身无法直接明确区分一个视频帧的结束，只有当接收到下一个PES的头信息以后才能明确知道上一个视频帧结束，这样的直接后果是必须要接收到下一个视频帧，才能区分出上一个视频帧，再送去解码，带来了至少一个帧的视频延时，且由于需要对接收到的数据逐字节判断，需要消耗较高的CPU资源才能判断出PES的头信息。针对游戏等高实时性应用场合，50ms延迟不会给游戏体验者带来延迟感或眩晕感，但由于传输协议带来的一帧额外延迟导致的额外50ms延迟使延迟达到100ms，将严重影响游戏的流畅性，给游戏体验者带来非常大的眩晕感。另外，传输软件高CPU资源消耗会增大传输延迟，并会抢占游戏进程，使游戏运行不流畅，会间接增大整体延迟。
传统无线投屏协议主要针对电影、图片、音乐、视频、office、pdf等对延迟和帧率要求不高的场合，传输协议实时性通常只能达到百毫秒量级，图像帧率一般在25帧量级，无法满足游戏低延迟、高帧率的需求；有的实时性高的解决方案需要通过一个专用设备通过HDMI将视频或音频分享到电视显示，无法分享到不带HDMI输入接口的设备显示，如手机、平板电脑显示，且专用设备具有成本高的缺点。
发明内容
针对现有技术的不足，本发明提供了一种可用于传输游戏的低延迟、高帧率音视频传输方法，解决了上述背景技术中提出的问题，即手机游戏设备音视频体验差、PC VR专业设备贵，且传统无线投屏协议主要针对电影、图片、音乐、视频、office、pdf等对延迟和帧率要求不高的场合，传输协议实时性通常只能达到百毫秒量级，图像帧率一般在25帧量级，无法满足游戏低延迟、高帧率的需求；另外有的实时性高的解决方案需要通过一个专用设备通过HDMI将视频或音频分享到电视显示，无法分享到不带HDMI输入接口的设备显示，如手机、平板电脑显示，且专用设备具有成本高的缺点。
为解决上述问题，本发明通过以下技术方案予以实现：一种可用于传输游戏的低延迟、高帧率音视频传输方法，包括以下步骤：
S1、发送设备和接收设备通过数据传输接口接入可互联传输网络，并建立链接；
S2、发送设备分别采集音频数据和视频数据；
S3、分别对音频数据和视频数据进行编码；
S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到网络；
S5、接收设备通过网络接收到发送设备发送的音视频数据后，通过自定义实时游戏音视频传输协议封装的数据格式将其解帧为独立的音频帧数据和视频帧数据，并进行解码播放。
可选的，所述在步骤S1中发送设备和接收设备包括手机、台式电脑、笔记本电脑、平板电脑、其他类似的具有音视频功能及数据传输接口的设备或模块。
可选的，所述在步骤S1中发送设备和接收设备通过数据传输接口互联，数据传输接口可以是基于TCP/IP协议的Wi-Fi无线传输网络、4G无线传输网络、5G无线传输网络、基于蓝牙的无线传输网络、有线光传输网络、有线电传输网络等，也包括基于其他介质或协议的可互联接口，如USB接口。
可选的，所述在步骤S2中，音频数据可以是通过麦克风采集的音频数据，也可以是通过驱动函数获取的声卡输出的音频数据，也可以是音频文件中的音频数据；视频数据可以是通过摄像头采集的视频数据，也可以是通过驱动函数获取的系统桌面截屏的视频数据，也可以是视频文件中的视频数据；可以同时包含音视频数据，也可以只包含音频或视频数据。
可选的，所述在步骤S3中，视频编码可采用VP8、VP9、H.263、H.264、H.265、MPEG4编码中的一种，音频编码可采用PCM、3gpp、amr-wb、g711-A、g711-U 、AAC、FLAC编码中的一种，也可采用其他音视频编码方式，为减少编码延迟，提高帧率，推荐采用硬件音视频编码器，无硬件编码器时使用软件编码器。
可选的，所述在步骤S4中自定义实时游戏音视频传输协议需要对编码后的音视频数据进行封装，增加帧头信息，其帧头信息至少包括帧标志和帧长度两种标志；
帧标志用于标识和判断当前传输的帧数据类型或帧有效性；
帧标志用于标识和判断当前传输的帧数据类型和帧有效性；
帧长度用于标识当前传输的帧数据的长度，在多帧的场合帧头信息也可以包含帧数。
可选的，所述在步骤S5中接收设备基于自定义实时游戏音视频传输协议的帧数据封装格式对数据进行解帧，解析出相应的音频帧数据和视频帧数据。
可选的，所述在步骤S5中，接收设备需根据编码器的类型，选择与之对应的解码器，为减少解码延迟，提高帧率，推荐采用硬件音视频解码器，无硬件解码器时使用软件解码器。
本发明提供了一种可用于传输游戏的低延迟、高帧率音视频传输方法，具备以下有益效果：
本专利通过采用编解码，减少音视频数据传输量，并采用自定义游戏音视频传输协议，降低音视频传输延迟，减少CPU资源消耗，提高音视频播放帧率，降低音视频播放延迟；
定义该自定义实时游戏传输协议为RTGP（Real-time Transport Game protocol），该协议可基于不丢包的安全传输，推荐使用TCP/IP协议，也可以使用基于UDP的手动增加重传机制和帧乱序重组机制的增强型UDP协议或其他安全传输协议；
RTGP需对编码后的音视频帧数据进行封装，封装帧结构如图3所示；
视频帧头：额外增加的视频帧头信息，包括视频帧标志和视频帧长度；
视频帧标志：用于表示视频帧特性的标志，根据实际情况可设计成占用1字节或多字节，如用0x55；0x02中的0x55表示当前为视频帧，0x02表示编码格式为H.264编码，若发送设备和接收设备的编码格式是一种固定格式，可以不包括编码格式标志；
视频帧长度：表示视频帧数据的长度，根据实际帧长度范围，选择占用1字节或多字节，比如十六进制0x12345，代表视频帧包含十进制74565字节的视频帧数据；
视频帧数据：指从连续视频流中获取的一帧视频数据，即一幅完整图像编码后的视频帧数据，视频帧数据根据编码格式不同，帧数据内可能包含不同编码格式的原始帧头信息；
音频帧头：额外增加的音频帧头信息，包括音频帧标志和音频帧长度；
音频帧标志：用于表示音频帧特性的标志，根据使用情况可设计成占用1字节或多字节，如用0xaa；0x12中的0xaa表示当前为音频帧，0x12表示编码格式为AAC编码，若发送设备和接收设备的编码格式是一种固定格式，可以不包括编码格式标志；
音频帧长度：表示音频帧数据的长度，根据实际帧长度范围，选择占用1字节或多字节，比如十六进制0x1234，代表音频帧包含十进制4660字节数据，若音频帧长度为0，代表无音频帧数据；
音频帧数据：指从连续音频流中获取的一帧或多帧音频数据，即一段或多段音频编码后的一个或多个音频帧数据的集合，音频帧数据根据编码格式不同，数据包内可能包含不同编码格式的原始帧头信息；
音频子帧标志：用于表示音频子帧特性的标志，根据实际使用情况可占用1字节或多字节，如用0x11；0x03中的0x11表示当前为音频子帧，0x03表示当然有3个音频子帧；
音频子帧长度：表示音频子帧数据的长度，根据实际子帧长度范围，选择占用1字节或多字节，比如十六进制0x123，代表音频子帧包含十进制291字节数据，若音频子帧长度为0，代表无音频子帧数据；
音频子帧数据：指连续音频流中截取的一段音频编码后的音频帧数据，音频帧数据根据编码格式不同，帧数据内可能包含不同编码格式的原始帧头信息。
发送设备工作流程如下所述：
发送设备和接收设备建立网络链接；
发送设备通过系统函数或者驱动函数，以一定的频率，比如44100HZ频率采集发送设备声卡播放的系统声音，每采集一定长度数据（如500个数据）输出到输出缓存，并采用3gpp、amr-wb、g711-A、g711-U、AAC等方式编码；
发送设备通过系统函数或者驱动函数，以一定的频率，比如60HZ频率采集一帧电脑屏幕的图像，并采用vp8、VP9、H.264、H.265、MPEG4、H.263等方式编码；
将编码后的音视频数据通过RTGP协议的帧格式组帧，并发送到音视频接收网络；
通过RTGP协议对音视频数据封装组帧流程如图4所示。
通过RTGP协议对音频数据封装组帧流程如下：
在一个视频采集间隔，音频可能采集了0帧、1帧或多帧，当音频帧大于等于1帧时，需按照音频帧的帧格式组帧，即在音频帧数据前增加音频子帧标志，如0x11表示音频子帧，在音频子帧标志后增加音频子帧帧数，如0x01表示当前帧后还有1个音频子帧，在音频子帧帧数后，增加音频子帧长度，表示当前时刻该帧音频子帧数据长度，如0x123表示当前子帧数据长度为291字节，循环此操作，直到所有音频子帧已经封装完毕；
在上述音频子帧前增加音频帧头信息，如用0xaa；0x12中的0xaa表示当前为音频帧，0x12表示编码格式采用AAC编码，若发送设备和接收设备的编码格式是约定好的某种固定格式，可以不包括编码格式标志，在音频帧标志后增加音频帧长度，如十六进制0x1234，代表音频帧数据总共包含十进制4660字节数据。
通过RTGP协议对视频数据封装组帧流程如下：
当得到编码后的视频帧数据后，开始视频组帧；
在视频帧数据前增加视频帧头信息，如用0x55；0x02中的0x55表示当前为视频帧，0x02表示编码格式采用H.264编码，若发送设备和接收设备的编码格式是一种固定格式，可以不包括编码格式标志；
在视频帧标志后增加视频帧长度，其长度等于当前时刻获取的视频帧数据长度，如0x12345代表当前视频帧长度为74565。
通过RTGP协议对音视频数据封装组帧流程如下：
当完成一帧视频采集和编码后，将当前的视频帧头和帧数据放到音频帧头和帧数据的前面，同时组帧，形成完整的音视频帧数据，封装帧结构如图3所示；特殊的，若实际应用时只传输音频数据或只传输视频数据，可以按相同方式只组帧音频数据或只组帧视频数据，组帧方式类似，不再特殊说明；
组帧完成后，发送组帧数据到数据接收网络；重复上述音视频采集、编码、组帧、发送流程，直到暂停、停止或关闭软件。
接收设备工作流程如下所述：
接收设备查询接收缓存的数据，如果接收缓存内接收数据长度大于RTGP协议定义的视频帧头长度，则从接收缓存读取视频帧头相应长度的数据，并解析视频帧标志和视频帧长度；
根据视频帧标志，判断视频帧的正确性；根据视频帧标志的编码格式，选择相应的解码方式，根据视频帧长度，判断需要从接收缓存读取的数据长度；
根据解析出的视频帧长度和长度固定的音频帧头长度，从接收缓存读取视频帧长度与音频帧头长度的长度和的数据；
根据编码格式将接收到的视频帧长度指定的视频帧数据放入解码器，进行解码播放；
解析音频帧头的音频帧标志，判断音频帧的正确性；根据音频帧标志指示的编码格式，选择正确的解码方式，根据音频帧长度，判断需要从接收缓存读取的音频帧数据长度，从接收缓存读取指定长度的音频帧数据；
解析音频帧数据中的音频子帧标志，判断音频子帧的正确性，根据音频子帧长度，获取音频子帧数据，根据编码格式将该音频子帧数据放入音频解码器，进行解码播放；
判断音频子帧帧数，根据音频子帧帧数循环获取音频子帧数据并播放，直到音频子帧帧数为0，即直到播放完当前音频帧的所有音频子帧数据；
特殊的，若实际应用时只传输音频数据或只传输视频数据，可以按相同方式只解帧音频数据或只解帧视频数据，解帧方式类似，不再特殊说明；
重复上述音视频接收、解帧、解码、播放流程，直到暂停、停止或关闭软件。
通过RTGP协议对音视频数据解帧流程如图5所示；
当发送设备发送速度大于接收设备接收速度时，接收设备无法实时播放音视频数据，会产生较大的音视频传输延迟。此时需要接收设备定时检查接收缓存中的数据，当接收缓存中的音视频数据大于一定数据量，如两帧音视频数据长度时，向发送设备发送一个忙应答包，通知发送设备降速发送。发送设备收到忙应答包后，降速发送音视频数据。接收端帧率自动调节流程如图6所示。
附图说明
图1为本发明发送设备工作流程示意图；
图2为本发明接收设备工作流程示意图；
图3为本发明封装帧结构示意图；
图4为本发明RTGP协议对音视频数据封装组帧流程示意图；
图5为本发明RTGP协议对音视频数据解帧流程示意图；
图6为本发明帧率自动调节协议流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1至图6，本发明提供一种技术方案：一种可用于传输游戏的低延迟、高帧率音视频传输方法。
综上所述，该可用于传输游戏的低延迟、高帧率音视频传输方法，使用时如下：
实施例1
打开电脑VR游戏，通过音视频传输软件采集电脑VR游戏的音视频并编码、组帧后通过5G Wi-Fi网络无线传输到手机，使用手机接收、解帧、解码音视频并播放，将手机插入VR头盔，将其作为PC VR头显设备，玩VR游戏，操作流程如下：
S1、电脑和手机接入同一个5G Wi-Fi网络， PC作为服务器端，手机作为客户端，建立TCP/IP链接；
S2、电脑通过驱动软件分别采集VR游戏的音频数据和视频数据；
S3、分别对音频数据和视频数据进行AAC和H.264编码；
S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到5G Wi-Fi网络；
S5、手机通过5G Wi-Fi网络接收到组帧后的音视频数据后，通过自定义实时游戏音视频传输协议封装的数据格式将其解帧为独立的音频帧数据和视频帧数据，并进行解码播放，将手机放入VR头盔，使用手机VR头盔，配合鼠标键盘或其他游戏操控设备如游戏枪，游戏手柄，可以得到沉浸式VR音视频体验，采用无线传输，能大大提高游戏的灵活性及活动范围；
实施例2
打开手机游戏，通过音视频传输软件采集手机游戏的音视频并编码、组帧后通过5GWi-Fi网络无线传输到电脑或电视，使用电脑或电视接收音视频、解帧、解码并播放，把小屏的手机游戏分享到大屏显示，通过手机操作通过大屏观看，可以将手机转换成大屏游戏显示设备，提高游戏体验，操作流程如下：
S1、带Wi-Fi功能的电脑或电视和手机接入同一个5G Wi-Fi网络，电脑或电视作为客户端，手机作为服务器端，建立TCP/IP链接；
S2、手机通过驱动软件分别采集手机游戏的音频数据和视频数据；
S3、分别对音频数据和视频数据进行AAC和H.264硬件编码；
S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到5G Wi-Fi网络；
S5、带Wi-Fi功能的电脑或电视通过5G Wi-Fi网络接收到组帧后的音视频数据后，通过自定义实时游戏音视频传输协议封装的数据格式将其解帧为独立的音频帧数据和视频帧数据，并进行解码播放；通过电脑或电视的大屏观看游戏，通过电脑或电视的音响播放声音，通过手机的触摸屏控制游戏，能大大提高游戏体验；
实施例3
通过音视频传输软件采集手机或电脑麦克风音频数据和摄像头视频数据，通过手机4G网络或电脑互联网传输到接收端的手机或电脑，使用手机或电脑接收音视频并播放，实现远程音视频监控功能，操作流程如下：
S1、带Wi-Fi功能的电脑或手机接入同一个5G Wi-Fi网络，一端作为服务器端，另一端作为客户端，建立TCP/IP链接；
S2、发送端通过驱动软件分别采集麦克风和摄像头的音频数据和视频数据；
S3、分别对音频数据和视频数据进行AAC和H.264硬件编码；
S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到5G Wi-Fi网络；
S5、接收端手机或电脑通过网络接收到组帧后的音视频数据后，通过自定义实时游戏音视频传输协议封装的数据格式将其解帧为独立的音频帧数据和视频帧数据，并进行解码播放，实现远程监控。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种可用于传输游戏的低延迟、高帧率音视频传输方法，包括以下步骤：
S1、发送设备和接收设备通过数据传输接口接入可互联传输网络，并建立链接；
S2、发送设备分别采集音频数据和视频数据；
S3、分别对音频数据和视频数据进行编码；
S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到网络；
S5、接收设备通过网络接收到发送设备发送的音视频数据后，通过自定义实时游戏音视频传输协议封装的数据格式将其解帧为独立的音频帧数据和视频帧数据，并进行解码播放。
2.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S1中发送设备和接收设备包括手机、台式电脑、笔记本电脑、平板电脑、其他类似的具有音视频功能及数据传输接口的设备或模块。
3.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S1中发送设备和接收设备通过数据传输接口互联，数据传输接口可以是基于TCP/IP协议的Wi-Fi无线传输网络、4G无线传输网络、5G无线传输网络、基于蓝牙的无线传输网络、有线光传输网络、有线电传输网络等，也包括基于其他介质或协议的可互联接口，如USB接口。
4.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S2中，音频数据可以是通过麦克风采集的音频数据，也可以是通过驱动函数获取的声卡输出的音频数据，也可以是音频文件中的音频数据；视频数据可以是通过摄像头采集的视频数据，也可以是通过驱动函数获取的系统桌面截屏的视频数据，也可以是视频文件中的视频数据；可以同时包含音视频数据，也可以只包含音频或视频数据。
5.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S3中，视频编码可采用VP8、VP9、H.263、H.264、H.265、MPEG4编码中的一种，音频编码可采用PCM、3gpp、amr-wb、g711-A、g711-U 、AAC、FLAC编码中的一种，也可采用其他音视频编码方式，为减少编码延迟，提高帧率，推荐采用硬件音视频编码器，无硬件编码器时使用软件编码器。
6.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S4中自定义实时游戏音视频传输协议需要对编码后的音视频数据进行封装，增加帧头信息，其帧头信息至少包括帧标志和帧长度两种标志；
帧标志用于标识和判断当前传输的帧数据类型或帧有效性；
帧标志用于标识和判断当前传输的帧数据类型和帧有效性；
帧长度用于标识当前传输的帧数据的长度，在多帧的场合帧头信息也可以包含帧数。
7.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S5中接收设备基于自定义实时游戏音视频传输协议的帧数据封装格式对数据进行解帧，解析出相应的音频帧数据和视频帧数据。
8.根据权利要求1所述的一种可用于传输游戏的低延迟、高帧率音视频传输方法，其特征在于：所述在步骤S5中，接收设备需根据编码器的类型，选择与之对应的解码器，为减少解码延迟，提高帧率，推荐采用硬件音视频解码器，无硬件解码器时使用软件解码器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910709506.2A CN110418189A (zh) | 2019-08-02 | 2019-08-02 | 一种可用于传输游戏的低延迟、高帧率音视频传输方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910709506.2A CN110418189A (zh) | 2019-08-02 | 2019-08-02 | 一种可用于传输游戏的低延迟、高帧率音视频传输方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110418189A true CN110418189A (zh) | 2019-11-05 |
Family
ID=68365270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910709506.2A Pending CN110418189A (zh) | 2019-08-02 | 2019-08-02 | 一种可用于传输游戏的低延迟、高帧率音视频传输方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110418189A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111354384A (zh) * | 2020-02-27 | 2020-06-30 | 北京奇艺世纪科技有限公司 | Gif图片生成方法、播放方法、装置以及电子设备 |
| CN112562639A (zh) * | 2020-11-30 | 2021-03-26 | 努比亚技术有限公司 | 音频处理方法、终端及计算机可读存储介质 |
| CN113424487A (zh) * | 2019-12-19 | 2021-09-21 | 上海飞来信息科技有限公司 | 用于视频显示的方法、装置及计算机存储介质 |
| CN114025196A (zh) * | 2021-10-09 | 2022-02-08 | 咪咕文化科技有限公司 | 编码方法、解码方法、编解码装置及介质 |
| CN114866733A (zh) * | 2022-03-22 | 2022-08-05 | 感知信息科技(浙江)有限责任公司 | 一种低延迟视频处理方法、系统及装置 |
| CN115842919A (zh) * | 2023-02-21 | 2023-03-24 | 四川九强通信科技有限公司 | 一种基于硬件加速的视频低延迟传输方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301767A (zh) * | 2014-09-29 | 2015-01-21 | 四川长虹电器股份有限公司 | 一种在手机上实现与电视同步播放视频的方法 |
| CN107295317A (zh) * | 2017-08-25 | 2017-10-24 | 四川长虹电器股份有限公司 | 一种移动设备音视频流实时传输方法 |
-
2019
- 2019-08-02 CN CN201910709506.2A patent/CN110418189A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104301767A (zh) * | 2014-09-29 | 2015-01-21 | 四川长虹电器股份有限公司 | 一种在手机上实现与电视同步播放视频的方法 |
| CN107295317A (zh) * | 2017-08-25 | 2017-10-24 | 四川长虹电器股份有限公司 | 一种移动设备音视频流实时传输方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113424487A (zh) * | 2019-12-19 | 2021-09-21 | 上海飞来信息科技有限公司 | 用于视频显示的方法、装置及计算机存储介质 |
| CN113424487B (zh) * | 2019-12-19 | 2023-05-30 | 上海飞来信息科技有限公司 | 用于视频显示的方法、装置及计算机存储介质 |
| CN111354384A (zh) * | 2020-02-27 | 2020-06-30 | 北京奇艺世纪科技有限公司 | Gif图片生成方法、播放方法、装置以及电子设备 |
| CN112562639A (zh) * | 2020-11-30 | 2021-03-26 | 努比亚技术有限公司 | 音频处理方法、终端及计算机可读存储介质 |
| CN112562639B (zh) * | 2020-11-30 | 2023-09-19 | 努比亚技术有限公司 | 音频处理方法、终端及计算机可读存储介质 |
| CN114025196A (zh) * | 2021-10-09 | 2022-02-08 | 咪咕文化科技有限公司 | 编码方法、解码方法、编解码装置及介质 |
| CN114866733A (zh) * | 2022-03-22 | 2022-08-05 | 感知信息科技(浙江)有限责任公司 | 一种低延迟视频处理方法、系统及装置 |
| CN115842919A (zh) * | 2023-02-21 | 2023-03-24 | 四川九强通信科技有限公司 | 一种基于硬件加速的视频低延迟传输方法 |
| CN115842919B (zh) * | 2023-02-21 | 2023-05-09 | 四川九强通信科技有限公司 | 一种基于硬件加速的视频低延迟传输方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110418189A (zh) | 一种可用于传输游戏的低延迟、高帧率音视频传输方法 | |
| CN107846633A (zh) | 一种直播方法及系统 | |
| CN104038844B (zh) | 一种基于mpeg‑2标准的移动直播系统 | |
| CN110661752A (zh) | 一种无插件实时视频播放系统及方法 | |
| CN101272499B (zh) | 一种视音频同流传输的方法及系统 | |
| CN101883097A (zh) | 服务器设备共享客户端设备屏幕的实现方法及装置 | |
| CN101710997A (zh) | 基于mpeg-2系统实现视、音频同步的方法及系统 | |
| CN108494792A (zh) | 一种flash播放器播放hls视频流的转换系统及其工作方法 | |
| CN104320716A (zh) | 一种基于多终端协同的视频上行链路传输方法 | |
| US10412422B2 (en) | Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal | |
| CN101272200B (zh) | 一种多媒体流同步缓存的方法及系统 | |
| CN113938470A (zh) | 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器 | |
| CN108924502A (zh) | 一种便携式图传系统及其图传方法 | |
| CN113132686A (zh) | 一种基于国产linux系统的局域网视频监控的实现方法 | |
| CN109104635A (zh) | 即时传送屏幕图像的方法及系统 | |
| CN102638726B (zh) | 一种基于太赫兹无线通信的多媒体流传输方法及系统 | |
| CN114339146B (zh) | 音视频监控方法、装置、电子设备及计算机可读存储介质 | |
| CN201528404U (zh) | 视频编解码系统及其视频编码器、视频解码器 | |
| CN201123043Y (zh) | 家庭无线多媒体游戏系统 | |
| WO2022142481A1 (zh) | 音视频数据的处理方法、直播装置、电子设备和存储介质 | |
| CN114554277B (zh) | 多媒体的处理方法、装置、服务器及计算机可读存储介质 | |
| CN112272316B (zh) | 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统 | |
| KR101671311B1 (ko) | 클라우드 스트리밍 서비스 시스템, 이를 위한 장치 및 클라우드 스트리밍 서비스 방법 | |
| CN114339316A (zh) | 一种基于视频直播的视频流编码处理方法 | |
| WO2008043213A1 (fr) | Système de diffusion mobile multimédia destiné à augmenter l'efficacité de transmisstion au moyen d'une trame à longueur variable et procédé associé |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191105 |