CN105407361A - 一种音视频直播数据的处理方法和装置 - Google Patents

一种音视频直播数据的处理方法和装置 Download PDF

Info

Publication number
CN105407361A
CN105407361A CN201510762736.7A CN201510762736A CN105407361A CN 105407361 A CN105407361 A CN 105407361A CN 201510762736 A CN201510762736 A CN 201510762736A CN 105407361 A CN105407361 A CN 105407361A
Authority
CN
China
Prior art keywords
audio
data information
information
video
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510762736.7A
Other languages
English (en)
Inventor
罗创
徐光兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huaduo Network Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201510762736.7A priority Critical patent/CN105407361A/zh
Publication of CN105407361A publication Critical patent/CN105407361A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network

Abstract

本发明实施例公开了一种音视频直播数据的处理方法，用于解决现有直播只提供游戏视频的分享服务，无法同步解说和对画面、声音进行处理的问题。本发明实施例方法包括：所述处理服务器获取来自所述第三方直播源的信息包；所述处理服务器解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；所述处理服务器对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；所述处理服务器将处理后的所述视频数据信息、音频数据信息以及音视频同步数据信息传输至所述直播平台。本发明实施例还提供一种音视频直播数据的处理装置。

Description

一种音视频直播数据的处理方法和装置
技术领域
本发明涉及互联网技术领域，尤其涉及一种音视频直播数据的处理方法和装置。
背景技术
随着电子竞技的崛起，游戏直播成为了很多游戏传播的渠道，其直播平台也成为很多玩家们分享游戏过程的平台。很多音视频分享平台，广泛使用的接入方式是，为用户提供开放的网络连接地址(URL)，使用户可以通过公开的网络传输协议(如RTMP)将数据传输到直播平台服务器。
然而，随着直播平台的发展，越来越多的平台厂商，不再局限于只提供游戏视频的分享服务，更多地希望在实时直播游戏画面的同时进行同步解说，并对画面或者声音进行处理，目前尚没有一种系统能够将第三方提供的直播数据流融合到直播平台中。
发明内容
本发明实施例提供了一种音视频直播数据的处理方法和装置，能够解决现有直播只提供游戏视频的分享服务，无法同步解说和对画面、声音进行处理的问题。
本发明实施例提供的一种音视频直播数据的处理方法，包括：
处理服务器获取来自第三方直播源的信息包，所述信息包由所述第三方直播源根据预设网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成，所述处理服务器预先设置于第三方直播源的主机内或者所述主机所在的局域网内，与所述第三方直播源建立通信连接；
所述处理服务器解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
所述处理服务器对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
所述处理服务器将处理后的所述视频数据信息、音频数据信息以及音视频同步数据信息传输至所述直播平台。
可选地，所述处理服务器对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理具体包括：
所述处理服务器调整所述视频数据信息的结构或者对所述视频数据信息进行解码；
所述处理服务器调整所述音频数据信息的结构或者对所述音频数据信息进行解码；
所述处理服务器解析所述音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数，并根据所述视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，所述新的音视频同步数据信息为与所述直播平台相适应的预设格式。
可选地，所述处理方法还包括：
当所述直播平台接收到用户的播放请求时，所述直播平台获取用户主机的网络带宽；
所述直播平台根据所述网络带宽生成对应码率的音视频数据信息，所述音视频数据信息包括所述视频数据信息、音频数据信息以及音视频同步数据信息；
所述直播平台将所述音视频数据信息反馈至所述用户主机进行直播。
可选地，所述信息包具体通过以下步骤得到：
所述第三方直播源将采集的视频数据、音频数据以及对应的同步数据进行编码，再将编码后的视频数据、音频数据以及对应的同步数据转换成所述信息包。
可选地，所述网络传输协议为RTMP网络应用协议；
所述处理服务器解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息具体为：
所述处理服务器根据RTMP网络应用协议解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
本发明实施例提供的一种音视频直播数据的处理装置，所述处理装置设置于第三方直播源的主机内或者所述主机所在的局域网内；
所述处理装置具体包括：
网络传输模块，用于与所述第三方直播源建立连接；
信息包获取模块，用于获取来自所述第三方直播源的信息包，所述信息包由所述第三方直播源根据预设网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成；
信息包解析模块，用于解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
信息处理模块，用于对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
信息传输模块，用于将处理后的所述视频数据信息、音频数据信息以及音视频同步数据信息传输至所述直播平台。
可选地，所述信息处理模块具体包括：
视频调整单元和视频解码单元中的至少一个：
所述视频调整单元，用于调整所述视频数据信息的结构；
所述视频解码单元，用于对所述视频数据信息进行解码；
音频调整单元和音频解码单元中的至少一个：
所述音频调整单元，用于调整所述音频数据信息的结构；
所述音频解码单元，用于对所述音频数据信息进行解码；
以及包括同步数据解析单元和同步数据计算单元：
所述同步数据解析单元，用于解析所述音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数；
所述同步数据计算单元，用于根据所述视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，所述新的音视频同步数据信息为与所述直播平台相适应的预设格式。
可选地，所述直播平台包括以下模块：
网络带宽获取模块，用于当所述直播平台接收到用户的播放请求时，获取用户主机的网络带宽；
数据生成模块，用于根据所述网络带宽生成对应码率的音视频数据信息，所述音视频数据信息包括所述视频数据信息、音频数据信息以及音视频同步数据信息；
反馈模块，用于将所述音视频数据信息反馈至所述用户主机进行直播。
可选地，所述信息包由设置于所述第三方直播源的以下模块得到：
采集模块，用于将采集的视频数据、音频数据以及对应的同步数据进行编码；
转换模块，用于将编码后的视频数据、音频数据以及对应的同步数据转换成所述信息包。
可选地，所述网络传输协议为RTMP网络应用协议；
所述信息包解析模块具体用于根据RTMP网络应用协议解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
从以上技术方案可以看出，本发明实施例具有以下优点：
在本发明实施例中，在第三方直播源的主机内或者所述主机所在的局域网内设置处理服务器，该处理服务器将第三方直播源原本发送至直播平台的数据进行转换和处理后再传输至直播平台，实现了实时直播视频画面的同时可以进行同步解说，并能对画面或声音进行处理，提升了用户的使用体验，增强直播平台的竞争力。
附图说明
图1为本发明实施例中一种音视频直播数据的处理方法一个实施例流程图；
图2为本发明实施例中一种音视频直播数据的处理方法另一个实施例流程图；
图3为本发明实施例中一种音视频直播数据的处理装置一个实施例结构图；
图4为本发明实施例中一种音视频直播数据的处理装置另一个实施例结构图；
图5为本发明实施例中一种音视频直播数据的处理系统一个实施例示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种音视频直播数据的处理方法一个实施例包括：
101、该处理服务器获取来自该第三方直播源的信息包；
该处理服务器可以获取来自该第三方直播源的信息包，该信息包由该第三方直播源根据预设的网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成。
需要说明的是，处理服务器预先设置于第三方直播源的主机内或者该主机所在的局域网内，与该第三方直播源建立连接。
102、该处理服务器解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
在该处理服务器获取来自该第三方直播源的信息包之后，该处理服务器可以解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
103、该处理服务器对该视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
在该处理服务器解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息之后，该处理服务器可以对该视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理。
104、该处理服务器将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。
最后，该处理服务器可以将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。
本实施例中，前面所说的一种音视频直播数据的处理方法步骤为：
首先，该处理服务器获取来自该第三方直播源的信息包；然后，该处理服务器解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；接着，该处理服务器对该视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；最后，该处理服务器将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。在本实施例中，在第三方直播源的主机内或者该主机所在的局域网内设置处理服务器，该处理服务器将第三方直播源原本发送至直播平台的数据进行转换和处理后再传输至直播平台，实现了实时直播视频画面的同时可以进行同步解说，并能对画面或声音进行处理，提升了用户的使用体验，增强直播平台的竞争力。
为便于理解，下面对本发明实施例中的一种音视频直播数据的处理方法进行详细描述，请参阅图2，本发明实施例中一种音视频直播数据的处理方法另一个实施例包括：
201、该处理服务器获取来自该第三方直播源的信息包；
该处理服务器可以获取来自该第三方直播源的信息包，需要说明的是，该处理服务器预先设置于第三方直播源的主机内或者该主机所在的局域网内，与该第三方直播源建立连接。例如，该处理服务器可以通过RTMP服务程序与该第三方直播源通信连接。
其中，该信息包具体通过以下步骤得到：
该第三方直播源将采集的视频数据、音频数据以及对应的同步数据进行编码，再将编码后的视频数据、音频数据以及对应的同步数据转换成该信息包。
比如，第三方直播源在捕捉直播的游戏画面、声音以及游戏主播通过麦克风输入的解说声音之后，通过开放的音频和视频算法，将所捕捉到的画面和声音在进行编码。编码后，将音频数据和视频数据以及其同步数据转换成RTMP信息包，通过RTMP网络应用协议发送给该处理服务器。
202、该处理服务器解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
在该处理服务器获取来自该第三方直播源的信息包之后，该处理服务器可以解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。可以理解的是，由于处理服务器无法直接对第三方直播源采集到的视频数据、音频数据以及对应的同步数据进行处理，也无法处理该信息包，解析通过网络传输协议转换而来的信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。只有这些信息，该处理服务器才可进行相关处理。
需要说明的是，由于该信息包为RTMP信息包，其基于RTMP网络应用协议转换得到，因此，该处理服务器可以根据RTMP网络应用协议解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
203、该处理服务器调整该视频数据信息的结构或者对该视频数据信息进行解码；
在该处理服务器解析该信息包，分离出相应的视频数据信息之后，该处理服务器可以调整该视频数据信息的结构或者对该视频数据信息进行解码，使输出的视频数据信息能被直播平台处理。例如，可以按照公开的编解码方法进行解码，如H264等。
204、该处理服务器调整该音频数据信息的结构或者对该音频数据信息进行解码；
在该处理服务器解析该信息包，分离出相应的音频数据信息之后，该处理服务器可以调整该音频数据信息的结构或者对该音频数据信息进行解码，使输出的音频数据信息能被直播平台处理。例如，可以按照公开的编解码方法进行解码，如ACC、MP3等。
205、该处理服务器解析该音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数，并根据该视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，该新的音视频同步数据信息为与该直播平台相适应的预设格式；
在该处理服务器解析该信息包，分离出相应的音视频同步数据信息之后，该处理服务器可以解析该音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数，并根据该视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，该新的音视频同步数据信息为与该直播平台相适应的预设格式。
206、该处理服务器将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。
最后，该处理服务器可以将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。
需要说明的是，在直播平台一端，当该直播平台接收到用户的播放请求时，该直播平台可以获取用户主机的网络带宽，根据该网络带宽生成对应码率的音视频数据信息，该音视频数据信息包括该视频数据信息、音频数据信息以及音视频同步数据信息。然后，该直播平台将该音视频数据信息反馈至该用户主机进行直播。例如，可以将视频数据信息分为“标清”、“高清”或者“超清”，以适应不同的用户需求，避免出现低带宽的用户观看“超清”视频时出现卡顿，而高带宽的用户观看“标清”视频体验不好等情况。
上面主要描述了一种音视频直播数据的处理方法，下面将对一种音视频直播数据的处理装置进行详细的描述，请参阅图3，本发明实施例中一种音视频直播数据的处理装置一个实施例包括：
一种音视频直播数据的处理装置，该处理装置设置于第三方直播源的主机内或者该主机所在的局域网内；
该处理装置具体包括：
网络传输模块301，用于与该第三方直播源建立连接；
信息包获取模块302，用于获取来自该第三方直播源的信息包，该信息包由该第三方直播源根据预设的网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成；
信息包解析模块303，用于解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
信息处理模块304，用于对该视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
信息传输模块305，用于将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。
本实施例中，网络传输模块301与该第三方直播源建立连接；工作时，首先，信息包获取模块302获取来自该第三方直播源的信息包，该信息包由该第三方直播源根据预设网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成；然后，信息包解析模块303解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；接着，信息处理模块304对该视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；最后，信息传输模块305将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。在本实施例中，在第三方直播源的主机内或者该主机所在的局域网内设置处理服务器，该处理服务器将第三方直播源原本发送至直播平台的数据进行转换和处理后再传输至直播平台，实现了实时直播视频画面的同时可以进行同步解说，并能对画面或声音进行处理，提升了用户的使用体验，增强直播平台的竞争力。
为便于理解，下面对本发明实施例中的一种音视频直播数据的处理装置进行详细描述，请参阅图4，本发明实施例中一种音视频直播数据的处理装置另一个实施例包括：
一种音视频直播数据的处理装置，该处理装置设置于第三方直播源的主机内或者该主机所在的局域网内；
该处理装置具体包括：
网络传输模块401，用于与该第三方直播源建立连接；
信息包获取模块402，用于获取来自该第三方直播源的信息包，该信息包由该第三方直播源根据预设网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成；
信息包解析模块403，用于解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
信息处理模块404，用于对该视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
信息传输模块405，用于将处理后的该视频数据信息、音频数据信息以及音视频同步数据信息传输至该直播平台。
本实施例中该信息处理模块404具体可以包括：
视频调整单元4041和视频解码单元4042中的至少一个：
该视频调整单元4041，用于调整该视频数据信息的结构；
该视频解码单元4042，用于对该视频数据信息进行解码；
音频调整单元4043和音频解码单元4044中的至少一个：
该音频调整单元4043，用于调整该音频数据信息的结构；
该音频解码单元4044，用于对该音频数据信息进行解码；
以及包括同步数据解析单元4045和同步数据计算单元4046：
该同步数据解析单元4045，用于解析该音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数；
该同步数据计算单元4046，用于根据该视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，该新的音视频同步数据信息为与该直播平台相适应的预设格式。
本实施例中该直播平台可以包括以下模块：
网络带宽获取模块，用于当该直播平台接收到用户的播放请求时，获取用户主机的网络带宽；
数据生成模块，用于根据该网络带宽生成对应码率的音视频数据信息，该音视频数据信息包括该视频数据信息、音频数据信息以及音视频同步数据信息；
反馈模块，用于将该音视频数据信息反馈至该用户主机进行直播。
本实施例中该信息包由设置于该第三方直播源的以下模块得到：
采集模块，用于将采集的视频数据、音频数据以及对应的同步数据进行编码；
转换模块，用于将编码后的视频数据、音频数据以及对应的同步数据转换成该信息包。
需要说明的是，该网络传输协议为RTMP网络应用协议。其中，该信息包解析模块具体可以用于根据RTMP网络应用协议解析该信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
上面主要描述了一种音视频直播数据的处理装置，下面将对一种音视频直播数据的处理系统进行详细的描述，请参阅图5，本发明实施例中一种音视频直播数据的处理系统包括第三方直播源51、直播平台52以及上述图3和图4对应实施例中所描述的任一种处理装置53。
优选地，第三方直播源51包括以下模块：
采集模块511，用于将采集的视频数据、音频数据以及对应的同步数据进行编码；
转换模块512，用于将编码后的视频数据、音频数据以及对应的同步数据转换成该信息包；
优选地，该直播平台52包括以下模块：
网络带宽获取模块521，用于当该直播平台接收到用户的播放请求时，获取用户主机的网络带宽；
数据生成模块522，用于根据该网络带宽生成对应码率的音视频数据信息，该音视频数据信息包括该视频数据信息、音频数据信息以及音视频同步数据信息；
反馈模块523，用于将该音视频数据信息反馈至该用户主机进行直播。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种音视频直播数据的处理方法，其特征在于，包括：
处理服务器获取来自第三方直播源的信息包，所述信息包由所述第三方直播源根据预设网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成，所述处理服务器预先设置于第三方直播源的主机内或者所述主机所在的局域网内，与所述第三方直播源建立通信连接；
所述处理服务器解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
所述处理服务器对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
所述处理服务器将处理后的所述视频数据信息、音频数据信息以及音视频同步数据信息传输至所述直播平台。
2.根据权利要求1所述的处理方法，其特征在于，所述处理服务器对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理具体包括：
所述处理服务器调整所述视频数据信息的结构或者对所述视频数据信息进行解码；
所述处理服务器调整所述音频数据信息的结构或者对所述音频数据信息进行解码；
所述处理服务器解析所述音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数，并根据所述视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，所述新的音视频同步数据信息为与所述直播平台相适应的预设格式。
3.根据权利要求1所述的处理方法，其特征在于，所述处理方法还包括：
当所述直播平台接收到用户的播放请求时，所述直播平台获取用户主机的网络带宽；
所述直播平台根据所述网络带宽生成对应码率的音视频数据信息，所述音视频数据信息包括所述视频数据信息、音频数据信息以及音视频同步数据信息；
所述直播平台将所述音视频数据信息反馈至所述用户主机进行直播。
4.根据权利要求1所述的处理方法，其特征在于，所述信息包具体通过以下步骤得到：
所述第三方直播源将采集的视频数据、音频数据以及对应的同步数据进行编码，再将编码后的视频数据、音频数据以及对应的同步数据转换成所述信息包。
5.根据权利要求1所述的处理方法，其特征在于，所述网络传输协议为RTMP网络应用协议；
所述处理服务器解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息具体为：
所述处理服务器根据RTMP网络应用协议解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
6.一种音视频直播数据的处理装置，其特征在于，所述处理装置设置于第三方直播源的主机内或者所述主机所在的局域网内；
所述处理装置具体包括：
网络传输模块，用于与所述第三方直播源建立连接；
信息包获取模块，用于获取来自所述第三方直播源的信息包，所述信息包由所述第三方直播源根据预设网络传输协议的数据格式将采集的视频数据、音频数据以及对应的同步数据转换而成；
信息包解析模块，用于解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息；
信息处理模块，用于对所述视频数据信息、音频数据信息以及音视频同步数据信息进行处理，使输出的视频数据信息、音频数据信息以及音视频同步数据信息能被直播平台处理；
信息传输模块，用于将处理后的所述视频数据信息、音频数据信息以及音视频同步数据信息传输至所述直播平台。
7.根据权利要求6所述的处理装置，其特征在于，所述信息处理模块具体包括：
视频调整单元和视频解码单元中的至少一个：
所述视频调整单元，用于调整所述视频数据信息的结构；
所述视频解码单元，用于对所述视频数据信息进行解码；
音频调整单元和音频解码单元中的至少一个：
所述音频调整单元，用于调整所述音频数据信息的结构；
所述音频解码单元，用于对所述音频数据信息进行解码；
以及包括同步数据解析单元和同步数据计算单元：
所述同步数据解析单元，用于解析所述音视频同步数据信息，得到视频帧率、音频传输码率以及每一视频帧的时间戳参数；
所述同步数据计算单元，用于根据所述视频帧率、音频传输码率以及每一视频帧的时间戳参数计算出新的音视频同步数据信息，所述新的音视频同步数据信息为与所述直播平台相适应的预设格式。
8.根据权利要求6所述的处理装置，其特征在于，所述直播平台包括以下模块：
网络带宽获取模块，用于当所述直播平台接收到用户的播放请求时，获取用户主机的网络带宽；
数据生成模块，用于根据所述网络带宽生成对应码率的音视频数据信息，所述音视频数据信息包括所述视频数据信息、音频数据信息以及音视频同步数据信息；
反馈模块，用于将所述音视频数据信息反馈至所述用户主机进行直播。
9.根据权利要求6所述的处理装置，其特征在于，所述信息包由设置于所述第三方直播源的以下模块得到：
采集模块，用于将采集的视频数据、音频数据以及对应的同步数据进行编码；
转换模块，用于将编码后的视频数据、音频数据以及对应的同步数据转换成所述信息包。
10.根据权利要求6所述的处理装置，其特征在于，所述网络传输协议为RTMP网络应用协议；
所述信息包解析模块具体用于根据RTMP网络应用协议解析所述信息包，分离出相应的视频数据信息、音频数据信息以及音视频同步数据信息。
CN201510762736.7A 2015-11-09 2015-11-09 一种音视频直播数据的处理方法和装置 Pending CN105407361A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510762736.7A CN105407361A (zh) 2015-11-09 2015-11-09 一种音视频直播数据的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510762736.7A CN105407361A (zh) 2015-11-09 2015-11-09 一种音视频直播数据的处理方法和装置

Publications (1)

Publication Number Publication Date
CN105407361A true CN105407361A (zh) 2016-03-16

Family

ID=55472565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510762736.7A Pending CN105407361A (zh) 2015-11-09 2015-11-09 一种音视频直播数据的处理方法和装置

Country Status (1)

Country Link
CN (1) CN105407361A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106178500A (zh) * 2016-08-30 2016-12-07 竞技世界（北京）网络技术有限公司 一种基于局域网的棋牌类游戏旁观系统和转播方法
CN106507161A (zh) * 2016-11-29 2017-03-15 腾讯科技（深圳）有限公司 视频直播方法及直播装置
CN106559696A (zh) * 2016-12-01 2017-04-05 北京小米移动软件有限公司 信息发送方法及装置
CN107027046A (zh) * 2017-04-13 2017-08-08 广州华多网络科技有限公司 辅助直播的音视频处理方法及装置
CN108234479A (zh) * 2017-12-29 2018-06-29 北京百度网讯科技有限公司 用于处理信息的方法和装置
CN109213467A (zh) * 2017-07-01 2019-01-15 武汉斗鱼网络科技有限公司 获取音频设备声音的方法、存储介质、电子设备及系统
CN109309670A (zh) * 2018-09-07 2019-02-05 深圳市网心科技有限公司 数据流解码方法和系统、电子装置及计算机可读存储介质
CN110234028A (zh) * 2019-06-13 2019-09-13 北京大米科技有限公司 音视频数据同步播放方法、装置、系统、电子设备及介质
CN110784757A (zh) * 2019-11-05 2020-02-11 网易（杭州）网络有限公司 直播客户端中的游戏直播方法及装置、介质、电子设备
CN112188222A (zh) * 2020-09-25 2021-01-05 吕庆新 信息采集处理设备及其应用、信息转制方法、计算机可读介质、信息采集处理方法
CN115442638A (zh) * 2022-09-15 2022-12-06 浙江农业商贸职业学院 一种多媒体同步直播的直播系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242359A (zh) * 2008-02-27 2008-08-13 华为技术有限公司 动态码率分配方法、分组域流媒体服务器
US20100017839A1 (en) * 2008-06-09 2010-01-21 Lg Electronics Inc. Method of receiving a broadcasting signal and receiving system for receiving a broadcasting signal
CN101778104A (zh) * 2009-12-29 2010-07-14 常州中流电子科技有限公司 一种实现自适应带宽播放流媒体的系统及其方法
CN101908353A (zh) * 2009-06-04 2010-12-08 盛大计算机（上海）有限公司 基于Flash播放控件的直播方法
CN102065209A (zh) * 2010-11-15 2011-05-18 中国电信股份有限公司 一体化移动录播系统
CN102447893A (zh) * 2010-09-30 2012-05-09 北京沃安科技有限公司 手机视频实时采集和发布的方法及系统
CN104837043A (zh) * 2015-05-14 2015-08-12 腾讯科技（北京）有限公司 多媒体信息处理方法及电子设备
CN105025314A (zh) * 2015-07-15 2015-11-04 腾讯科技（深圳）有限公司 多媒体直播方法与装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242359A (zh) * 2008-02-27 2008-08-13 华为技术有限公司 动态码率分配方法、分组域流媒体服务器
US20100017839A1 (en) * 2008-06-09 2010-01-21 Lg Electronics Inc. Method of receiving a broadcasting signal and receiving system for receiving a broadcasting signal
CN101908353A (zh) * 2009-06-04 2010-12-08 盛大计算机（上海）有限公司 基于Flash播放控件的直播方法
CN101778104A (zh) * 2009-12-29 2010-07-14 常州中流电子科技有限公司 一种实现自适应带宽播放流媒体的系统及其方法
CN102447893A (zh) * 2010-09-30 2012-05-09 北京沃安科技有限公司 手机视频实时采集和发布的方法及系统
CN102065209A (zh) * 2010-11-15 2011-05-18 中国电信股份有限公司 一体化移动录播系统
CN104837043A (zh) * 2015-05-14 2015-08-12 腾讯科技（北京）有限公司 多媒体信息处理方法及电子设备
CN105025314A (zh) * 2015-07-15 2015-11-04 腾讯科技（深圳）有限公司 多媒体直播方法与装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106178500B (zh) * 2016-08-30 2019-11-05 竞技世界（北京）网络技术有限公司 一种基于局域网的棋牌类游戏旁观系统和转播方法
CN106178500A (zh) * 2016-08-30 2016-12-07 竞技世界（北京）网络技术有限公司 一种基于局域网的棋牌类游戏旁观系统和转播方法
CN106507161A (zh) * 2016-11-29 2017-03-15 腾讯科技（深圳）有限公司 视频直播方法及直播装置
US11218739B2 (en) 2016-11-29 2022-01-04 Tencent Technology (Shenzhen) Company Limited Live video broadcast method, live broadcast device and storage medium
WO2018099277A1 (zh) * 2016-11-29 2018-06-07 腾讯科技（深圳）有限公司 视频直播方法及直播装置、存储介质
CN106507161B (zh) * 2016-11-29 2019-11-15 腾讯科技（深圳）有限公司 视频直播方法及直播装置
US11943486B2 (en) 2016-11-29 2024-03-26 Tencent Technology (Shenzhen) Company Limited Live video broadcast method, live broadcast device and storage medium
US11632576B2 (en) 2016-11-29 2023-04-18 Tencent Technology (Shenzhen) Company Limited Live video broadcast method, live broadcast device and storage medium
CN106559696A (zh) * 2016-12-01 2017-04-05 北京小米移动软件有限公司 信息发送方法及装置
CN107027046A (zh) * 2017-04-13 2017-08-08 广州华多网络科技有限公司 辅助直播的音视频处理方法及装置
CN107027046B (zh) * 2017-04-13 2020-03-10 广州华多网络科技有限公司 辅助直播的音视频处理方法及装置
CN109213467A (zh) * 2017-07-01 2019-01-15 武汉斗鱼网络科技有限公司 获取音频设备声音的方法、存储介质、电子设备及系统
CN109213467B (zh) * 2017-07-01 2021-11-09 武汉斗鱼网络科技有限公司 获取音频设备声音的方法、存储介质、电子设备及系统
CN108234479A (zh) * 2017-12-29 2018-06-29 北京百度网讯科技有限公司 用于处理信息的方法和装置
CN109309670B (zh) * 2018-09-07 2021-02-12 深圳市网心科技有限公司 数据流解码方法和系统、电子装置及计算机可读存储介质
CN109309670A (zh) * 2018-09-07 2019-02-05 深圳市网心科技有限公司 数据流解码方法和系统、电子装置及计算机可读存储介质
WO2020248649A1 (zh) * 2019-06-13 2020-12-17 北京大米科技有限公司 音视频数据同步播放方法、装置、系统、电子设备及介质
CN110234028A (zh) * 2019-06-13 2019-09-13 北京大米科技有限公司 音视频数据同步播放方法、装置、系统、电子设备及介质
CN110784757A (zh) * 2019-11-05 2020-02-11 网易（杭州）网络有限公司 直播客户端中的游戏直播方法及装置、介质、电子设备
CN112188222A (zh) * 2020-09-25 2021-01-05 吕庆新 信息采集处理设备及其应用、信息转制方法、计算机可读介质、信息采集处理方法
CN115442638A (zh) * 2022-09-15 2022-12-06 浙江农业商贸职业学院 一种多媒体同步直播的直播系统

Similar Documents

Publication Publication Date Title
CN105407361A (zh) 一种音视频直播数据的处理方法和装置
CN107211200B (zh) 用于发送/接收媒体数据的方法和设备
US20140139735A1 (en) Online Media Data Conversion Method, Online Video Playing Method and Corresponding Device
KR101614862B1 (ko) 멀티미디어 비디오 데이터의 송신, 수신 방법 및 대응되는 장치
CN1969561A (zh) 使用因特网协议保持流式音频和视频的同步
US11677999B2 (en) Data processing apparatus and data processing method
CN105049931B (zh) 对移动终端中非支持格式的视频进行转换的方法及系统
CN101383959A (zh) 流媒体业务中获取关键帧的方法、系统及用户设备
CN103024491B (zh) 移动终端的视频播放方法和系统
CN105208440A (zh) 一种mp4格式视频在线播放的方法及系统
US11792254B2 (en) Use of in-band metadata as basis to access reference fingerprints to facilitate content-related action
CN103888815A (zh) 一种音视频流实时分离处理及同步的方法及其系统
CN104935952B (zh) 一种视频转码方法和系统
CN105577645A (zh) 基于代理的hls客户端装置及其实现方法
CN105142020A (zh) 对移动终端中非支持格式的视频进行转换的方法及系统
CN108494792A (zh) 一种flash播放器播放hls视频流的转换系统及其工作方法
CN104683823A (zh) 一种多屏联动音视频同步系统
CN103826084A (zh) 一种音频编码方法
CN103024441A (zh) 一种移动终端播放电视节目的方法
CN105847897A (zh) 一种提供及处理视频下载的方法及设备
CN107005745B (zh) 封装视听内容流的方法和设备
KR101480653B1 (ko) 미러링크 사운드 출력 제어방법
TW201836347A (zh) 收訊裝置、及資料處理方法
CN114079535B (zh) 转码方法、装置、介质和电子设备
US11831430B2 (en) Methods and apparatuses for encoding and decoding signal frame

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 511442 floor 28 floor B1 of Wanda Plaza, Panyu District South Village, Guangzhou City, Guangdong

Applicant after: Guangzhou Huaduo Network Technology Co., Ltd.

Address before: 510665, Guangzhou, Whampoa Avenue, No. 2, creative industrial park, building 3-08,

Applicant before: Guangzhou Huaduo Network Technology Co., Ltd.

CB02 Change of applicant information
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160316

Assignee: GUANGZHOU HUYA INFORMATION TECHNOLOGY Co.,Ltd.

Assignor: Guangzhou Huaduo Network Technology Co., Ltd.

Contract record no.: 2018990000088

Denomination of invention: Audio and video live broadcast data processing method and device

License type: Common License

Record date: 20180413

EE01 Entry into force of recordation of patent licensing contract
RJ01 Rejection of invention patent application after publication

Application publication date: 20160316

RJ01 Rejection of invention patent application after publication