CN106993238A - 基于Html5的音视频播放方法及装置、音视频直播方法及系统 - Google Patents

基于Html5的音视频播放方法及装置、音视频直播方法及系统 Download PDF

Info

Publication number
CN106993238A
CN106993238A CN201710242778.7A CN201710242778A CN106993238A CN 106993238 A CN106993238 A CN 106993238A CN 201710242778 A CN201710242778 A CN 201710242778A CN 106993238 A CN106993238 A CN 106993238A
Authority
CN
China
Prior art keywords
audio
html5
video
video data
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710242778.7A
Other languages
English (en)
Inventor
姜宇鹏
蔡龙师
刘珠清
吴韶彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201710242778.7A priority Critical patent/CN106993238A/zh
Priority to US16/060,790 priority patent/US11259096B2/en
Priority to EP17894675.2A priority patent/EP3416400A4/en
Priority to PCT/CN2017/085428 priority patent/WO2018188168A1/zh
Publication of CN106993238A publication Critical patent/CN106993238A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

本发明公开了一种基于Html5的音视频播放方法及装置、音视频直播方法及系统，属于互联网流媒体技术领域。其中，基于Html5的音视频播放方法包括如下步骤：根据播放场景，下载所述播放场景下的音视频数据；对所述音视频数据进行格式转换；将格式转换后的所述音视频数据加载至Html5播放器。本发明通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等音视频格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性；同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。

Description

基于Html5的音视频播放方法及装置、音视频直播方法及系统
技术领域
本发明涉及互联网流媒体技术领域，尤其涉及一种基于Html5的音视频播放方法及装置、音视频直播方法及系统。
背景技术
Html5(Hyper Text Markup Language，超文本标记语言)是一个基于浏览器的协作标准，可以让各种不同的素材在浏览器中流畅运行。随着Flash的没落，Html5的崛起，很多浏览器逐渐减少了对Flash的支持，很多视频网站也逐步用Html5播放器取代Flash播放器。
目前所有最新版本的主流浏览器都能够支持Html5播放器，但是Html5播放器用于音视频播放的video标签只支持mp4、webm和ogg三种格式，而对音视频行业主流的flv格式并不直接支持，进而带来以下问题：
对于音视频点播业务，如果采用Html5播放器，则需要视频提供商将大量的存量flv文件转换为mp4文件，否则无法正常兼容；
对于音视频直播业务，由于mp4格式特殊的文件结构而不适用于直播，因而目前主流的方案为采用HLS(Http Live Streaming，动态码率自适应技术)协议，实现流媒体文件在Html5播放器上的直播，但是采用HLS协议会带来时延大的问题。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种基于Html5的音视频播放方法及装置、音视频直播方法及系统。所述技术方案如下：
一方面，提供了一种基于Html5的音视频播放方法，包括如下步骤：
根据播放场景，下载所述播放场景下的音视频数据；
对所述音视频数据进行格式转换；
将格式转换后的所述音视频数据加载至Html5播放器。
进一步的，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
进一步的，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
在直播场景下，根据Websocket协议下载所述音视频数据。
进一步的，所述对所述音视频数据进行格式转换的步骤具体包括：
识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
进一步的，所述音视频数据的格式至少包括flv格式。
另一方面，提供了一种音视频直播方法，包括所述的基于Html5的音视频播放方法。
再一方面，提供了一种基于Html5的音视频播放装置，包括：
下载模块，用于根据播放场景，下载所述播放场景下的音视频数据；
格式转换模块，用于对所述音视频数据进行格式转换；
加载模块，用于将格式转换后的所述音视频数据加载至Html5播放器。
进一步的，所述下载模块包括第一下载子模块，所述第一下载子模块用于在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
进一步的，所述下载模块还包括第二下载子模块，所述第二下载子模块用于在直播场景下，根据Websocket协议下载所述音视频数据。
进一步的，所述格式转换模块包括判断子模块和转换子模块；
所述判断子模块，用于识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
所述转换子模块，用于将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
进一步的，所述音视频数据的格式至少包括flv格式。
再一方面，提供了一种音视频直播系统，包括所述的基于Html5的音视频播放装置。
本发明实施例提供的技术方案带来的有益效果是：
通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等音视频格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性。同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的基于Html5的音视频播放方法流程图；
图2是本发明实施例一提供的步骤S102的详细子步骤流程图；
图3是本发明实施例一提供的另一种基于Html5的音视频播放方法流程图；
图4是本发明实施例二提供的基于Html5的音视频播放装置示意图；
图5是本发明实施例二提供的下载模块示意图；
图6是本发明实施例二提供的格式转换模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本发明实施例提供了一种基于Html5的音视频播放方法，参见图1，包括如下步骤：
S101：根据播放场景，下载所述播放场景下的音视频数据。
现有的播放场景包括点播场景和直播场景。其中，点播场景是指在各种播放器上播放已经录制好的音视频数据，这些音视频数据存储在各类服务器上，播放器通过从各类服务器上下载这些音视频数据，进行音视频播放。直播场景是指边录边播，由于直播内在的实时性要求，因而对时延的要求很高。
在本实施例中，对于点播和直播两种不同的播放场景，需要选择不同的数据传输协议来下载音视频数据。
在点播场景下，根据http协议下载所述音视频数据，在本实施例中采用XMLHttpRequest协议下载所述音视频数据。
具体而言，XMLHttpRequest协议是一个能够在javaScript、VbScript和Jscript等脚本语言中使用的一种协议，浏览器利用它异步向服务器发送请求，获得从服务器返回的响应，并且能够在不向服务器提交整个页面的情况下，实现网页的局部更新，当页面全部加载完毕后，浏览器向服务器请求数据，服务器端接受数据请求并处理后，向浏览器反馈数据。
在直播场景下，可以根据Websocket协议下载所述音视频数据。
具体而言，WebSocket协议是HTML5下的一种新的协议，它实现了浏览器与服务器全双工通信，能够更好的节省服务器资源和带宽，并且实现实时通讯，促进直播的发展。
需要说明的是，本发明实施例可以具有单独实现点播场景或者直播场景下的音视频播放的功能，还可以同时具有实现点播场景和直播场景下的音视频播放的功能。并且，根据XMLHttpRequest协议或者WebSocket协议下载音视频数据时，能够下载的音视频数据的格式包括很多，例如flv、avi和mkv等格式，在此对其不做限定。
S102：对所述音视频数据进行格式转换。
由于现有Html5播放器支持的播放格式只有mp4、webm和ogg三种格式，并且不同的浏览器只支持这三种格式中的某几种，例如IE浏览器只支持mp4格式，Firefox浏览器支持webm和ogg格式，Chrome浏览器支持mp4、webm和ogg这三种格式，因而需要对不是这三种格式的音视频数据进行处理，达到Html5播放器能够播放其他格式的音视频的目的。
参见图2，在本实施例中，对所述音视频数据进行格式转换的步骤S102具体包括S1021-S1022两个子步骤。
S1021：识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式。
在本实施例中，首先对下载的音视频数据进行解析，以获取音视频数据的格式，例如通过解析音视频数据的数据包的包头，识别该音视频数据的格式。然后判断该音视频数据的格式是否为Html5播放器的支持格式，如果该音视频数据的格式不是mp4、webm和ogg格式，例如该音视频数据的格式为flv格式，则该音视频数据的格式不是Html5播放器的支持格式。
S1022：将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
在本实施例中，在通过步骤S1021确定所述音视频数据的格式不是Html5播放器的支持格式后，需要确定所要转换成的格式是mp4、webm和ogg中的哪一种，可以根据浏览器的类型进行确定，例如IE浏览器只支持mp4格式，此时，只能够转换为mp4格式。例如Chrome浏览器支持mp4、webm和ogg这三种格式，此时，由于mp4格式应用的广泛性，优先选用mp4格式，当然，也可以根据设定的mp4、webm和ogg三种格式中的某一种进行格式转换。
在本实施例中，所述音视频数据的格式至少包括flv格式。当然，所述音视频数据的格式还可以是avi、mkv等其他格式。下面以flv格式转换为mp4格式为例对转换过程进行具体说明。
首先对flv音视频数据进行解析，获取flv音视频的各项参数，解析过程具体包括以下步骤：
首先，解析flv的script tag，获取关键帧信息；
之后，解析flv的video tag中的AVCDecoderConfigurationRecord，获取视频的宽、高、lengthSizeMinusOne、sps、pps和codec；
之后，解析flv的video tag中的AVC NALU，获取视频帧中的视频数据，同时解析video tag，获取视频帧的时间戳，按照上述视频解析产物将视频数据和时间戳封装成特定视频结构，用于转换成mp4格式数据；
之后，解析flv的audio tag中的AudioSpecificConfig，获取音频的channelCount、samplerate和config；
最后，解析flv的audio tag中的Raw AA frame data，获取音频帧的音频数据及时间戳，并按照上述音频解析产物将音频数据及时间戳封装成特定音频结构，用于转换成mp4格式数据。
待上述各解析步骤完成后，将上述特定视频结构和特定音频结构封装成结构体，根据转换要求，将上述结构体转换为mp4格式的音视频数据。
S103：将格式转换后的所述音视频数据加载至Html5播放器。
在本实施例中，经过步骤S101和S102的音视频下载和格式转换处理，音视频数据已能够被Html5播放器播放。此时，需要将格式转换后的所述音视频数据加载至Html5播放器。
具体而言，将格式转换后的音视频数据加载至Html5播放器进行播放的加载过程具体为：
首先，创建mediaSource，并将mediaSource和video元素进行关联；
其次，为mediaSource创建audioSourceBuffer和videoSourceBuffer，用于添加音视频数据；
最后，创建audioSegments和videoSegments，分别用于存放格式转换后音视频数据中的音频数据和视频数据，并在合适的时候添加到audioSourceBuffer和videoSourceBuffer中，完成加载过程。
需要说明的是，在加载过程中，必要的时候需要进行缓存控制，避免占用太多内存，影响播放效果。同时，为了确保从关键帧开始播放，提升体验效果，还可以添加视频进度条实现拖拉控制的功能，当拖拉视频进度条到未缓存区域时，确保可以正确请求数据并继续播放。
参见图3，图3示出了Html5播放器应用本实施例提供的播放方法的具体过程：
首先，根据播放场景按照相应的协议下载音视频数据；
之后，判断下载的音视频数据的格式是否为Html5播放器的支持格式，如果是，则Html5播放器直接播放该音视频数据；如果不是，则将该音视频数据进行格式转换，转换为Html5播放器的支持格式；
最后，将转换后的音视频数据加载至Html5播放器进行播放。
本发明实施例通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性。同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。
实施例二
参见图4，本发明实施例提供了一种基于Html5的音视频播放装置，可以执行实施例一中提供的基于Html5的音视频播放方法，包括：
下载模块210，用于根据播放场景，下载所述播放场景下的音视频数据；
格式转换模块220，用于对所述音视频数据进行格式转换；
加载模块230，用于将格式转换后的所述音视频数据加载至Html5播放器。
在本实施例中，基于Html5的音视频播放装置首先将flv等Html5播放器不支持播放的音视频数据格式转换成Html5播放器的支持格式，然后将转换后的音视频数据加载至Html5播放器，完成音视频播放。
参见图5，在本实施例中，所述下载模块210包括第一下载子模块211和第二下载子模块212。
第一下载子模块211，用于在点播场景下下载所述音视频数据，本实施例中的第一下载子模块211可以为XHR下载器，可根据XMLHttpRequest协议下载所述音视频数据。
第二下载子模块212，用于在直播场景下下载所述音视频数据，本实施例中的第二下载子模块212可以为WS下载器，可根据Websocket协议下载所述音视频数据。
需要说明的是，所述下载模块210可以只包括第一下载子模块211或者第二下载子模块212，此时，基于Html5的音视频播放装置只能够实现直播场景下的音视频播放或者点播场景下的音视频播放。
参见图6，在本实施例中，所述格式转换模块220包括判断子模块221和转换子模块222。
判断子模块221，用于识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式。本实施例中，若音视频数据的格式为mp4格式，则无需启用转换子模块222进行转换工作，加载模块230直接将音视频数据加载至Html5播放器播放；若音视频数据的格式为flv格式或其它需要转换的格式，则启用转换子模块222进行格式转换。
转换子模块222，用于将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
在本实施例中，加载模块230将格式转换后的所述音视频数据加载至Html5播放器进行播放的过程具体为：
首先，加载模块230创建mediaSource，并将mediaSource和video元素进行关联；
其次，加载模块230为mediaSource创建audioSourceBuffer和videoSourceBuffer，分别用于添加音频数据和视频数据；
最后，加载模块230创建audioSegments和videoSegments，分别用于存放格式转换后的音视频数据中的音频数据和视频数据，并在合适的时候添加到audioSourceBuffer和videoSourceBuffer中，完成加载过程。
在本实施例中，所述音视频数据的格式至少包括flv格式。
具体而言，基于Html5的音视频播放装置播放flv格式的音视频数据的过程如下：
首先，下载模块210根据播放场景，调用第一下载子模块211或者第二下载子模块212，第一下载子模块211或者第二下载子模块212按照相应的协议下载音视频数据；
之后，格式转换模块220调用判断子模块221，判断子模块221判断下载模块210下载的音视频数据的格式是否为Html5播放器的支持格式；
如果下载模块210下载的音视频数据的格式是Html5播放器的支持格式，则加载模块230直接将音视频数据加载至Html5播放器播放；
如果下载模块210下载的音视频数据的格式不是Html5播放器的支持格式，则格式转换模块220调用转换子模块222，转换子模块222将该音视频数据格式转换为Html5播放器的支持格式，并将转换后的音视频数据加载至Html5播放器进行播放。
本发明实施例通过将flv等音视频格式转换为Html5播放器支持的播放格式，实现了Html5播放器播放flv等音视频格式的功能，拓宽了Html5播放器对flv等音视频格式的兼容性。同时，在直播场景中，利用Html5播放器直接播放flv等音视频格式的音视频数据，替代了HLS协议，进而解决了采用HLS协议带来的直播时延大的问题。
实施例三
本发明实施例提供了一种音视频直播方法，包括实施例一中提供的基于Html5的音视频播放方法。
实施例四
本发明实施例提供了一种音视频直播系统，包括实施例二中提供的基于Html5的音视频播放装置。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种基于Html5的音视频播放方法，其特征在于，包括如下步骤：
根据播放场景，下载所述播放场景下的音视频数据；
对所述音视频数据进行格式转换；
将格式转换后的所述音视频数据加载至Html5播放器。
2.根据权利要求1所述的基于Html5的音视频播放方法，其特征在于，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
3.根据权利要求1所述的基于Html5的音视频播放方法，其特征在于，所述根据播放场景，下载所述播放场景下的音视频数据的步骤具体为：
在直播场景下，根据Websocket协议下载所述音视频数据。
4.根据权利要求2或3所述的基于Html5的音视频播放方法，其特征在于，所述对所述音视频数据进行格式转换的步骤具体包括：
识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
5.根据权利要求4所述的基于Html5的音视频播放方法，其特征在于，所述音视频数据的格式至少包括flv格式。
6.一种音视频直播方法，其特征在于，包括权利要求1所述的基于Html5的音视频播放方法。
7.一种基于Html5的音视频播放装置，其特征在于，包括：
下载模块，用于根据播放场景，下载所述播放场景下的音视频数据；
格式转换模块，用于对所述音视频数据进行格式转换；
加载模块，用于将格式转换后的所述音视频数据加载至Html5播放器。
8.根据权利要求7所述的基于Html5的音视频播放装置，其特征在于，所述下载模块包括第一下载子模块，所述第一下载子模块用于在点播场景下，根据XMLHttpRequest协议下载所述音视频数据。
9.根据权利要求7所述的基于Html5的音视频播放装置，其特征在于，所述下载模块还包括第二下载子模块，所述第二下载子模块用于在直播场景下，根据Websocket协议下载所述音视频数据。
10.根据权利要求8或9所述的基于Html5的音视频播放装置，其特征在于，所述格式转换模块包括判断子模块和转换子模块；
所述判断子模块，用于识别所述音视频数据的格式，并判断所述音视频数据的格式是否为Html5播放器的支持格式；
所述转换子模块，用于将不是Html5播放器支持格式的所述音视频数据的格式转换为Html5播放器的支持格式。
11.根据权利要求10所述的基于Html5的音视频播放装置，其特征在于，所述音视频数据的格式至少包括flv格式。
12.一种音视频直播系统，其特征在于，包括权利要求7所述的基于Html5的音视频播放装置。
CN201710242778.7A 2017-04-14 2017-04-14 基于Html5的音视频播放方法及装置、音视频直播方法及系统 Pending CN106993238A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710242778.7A CN106993238A (zh) 2017-04-14 2017-04-14 基于Html5的音视频播放方法及装置、音视频直播方法及系统
US16/060,790 US11259096B2 (en) 2017-04-14 2017-05-23 HTML5-based audio/video playing method and apparatus, and live audio/video streaming method and system
EP17894675.2A EP3416400A4 (en) 2017-04-14 2017-05-23 HTML5 BASED AUDIO VIDEO PLAY PROCESS AND DEVICE, AUDIO AND VIDEO LIVE BROADCASTING AND SYSTEM
PCT/CN2017/085428 WO2018188168A1 (zh) 2017-04-14 2017-05-23 基于Html5的音视频播放方法及装置、音视频直播方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710242778.7A CN106993238A (zh) 2017-04-14 2017-04-14 基于Html5的音视频播放方法及装置、音视频直播方法及系统

Publications (1)

Publication Number Publication Date
CN106993238A true CN106993238A (zh) 2017-07-28

Family

ID=59416412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710242778.7A Pending CN106993238A (zh) 2017-04-14 2017-04-14 基于Html5的音视频播放方法及装置、音视频直播方法及系统

Country Status (4)

Country Link
US (1) US11259096B2 (zh)
EP (1) EP3416400A4 (zh)
CN (1) CN106993238A (zh)
WO (1) WO2018188168A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055188A (zh) * 2017-10-19 2018-05-18 福建中金在线信息科技有限公司 基于微信的h5图文直播方法和装置
CN108718416A (zh) * 2018-06-15 2018-10-30 深圳市安佳威视信息技术有限公司 Html5直播嵌入式摄像机音视频系统及其方法
CN109151570A (zh) * 2018-10-10 2019-01-04 深圳市网心科技有限公司 一种基于html5的流媒体处理方法、系统及相关组件
CN110933482A (zh) * 2019-12-06 2020-03-27 腾讯科技（深圳）有限公司 视频加载方法、装置、计算机可读存储介质和计算机设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020243533A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Systems and methods for performance data streaming, performance data file reporting, and performance threshold monitoring
CN111356023B (zh) * 2019-12-30 2021-12-24 杭州海康威视数字技术股份有限公司 播放方式确定方法及装置
CN115460183A (zh) * 2021-06-07 2022-12-09 中移物联网有限公司 基于浏览器的流媒体数据播放方法、装置及相关设备
CN114125509B (zh) * 2021-11-30 2024-01-19 深圳Tcl新技术有限公司 一种视频播放方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220577A (zh) * 2012-01-18 2013-07-24 腾讯科技（深圳）有限公司 一种视频播放方法、装置和系统
CN103338384A (zh) * 2013-05-31 2013-10-02 优视科技有限公司 一种视频播放方法及装置
CN105100824A (zh) * 2015-09-10 2015-11-25 东方网力科技股份有限公司 一种视频处理设备、系统和方法
US20150379382A1 (en) * 2014-06-30 2015-12-31 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium storing program

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873706B2 (en) * 2003-03-19 2011-01-18 Cgi Communications, Inc. System and method for seamlessly providing video content to client systems over a network
WO2007053957A1 (en) 2005-11-14 2007-05-18 Cyberdiffusion Inc. Transcoder for live streams and on demand media
US10382514B2 (en) * 2007-03-20 2019-08-13 Apple Inc. Presentation of media in an application
US9519772B2 (en) * 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
TWI435568B (zh) * 2009-02-02 2014-04-21 Wistron Corp 多媒體影音之轉換及傳輸的方法以及系統
CN102469065B (zh) 2010-11-02 2015-03-25 腾讯科技（深圳）有限公司 一种与html5浏览器互通数据的方法及系统
CN103136235B (zh) * 2011-11-25 2017-07-18 上海博泰悦臻网络技术服务有限公司 数据处理平台、数据处理系统及数据处理方法
US9565430B1 (en) * 2011-12-15 2017-02-07 KingdomSite Ministries Apparatus and method for video encoding and transcoding system
US9088559B2 (en) * 2012-09-11 2015-07-21 Tencent Technology (Shenzhen) Company Limited System and method for sharing login status between an application platform and an application
CN103873938B (zh) 2012-12-14 2018-08-10 联想(北京)有限公司 基于视频标签的网页视频全屏播放方法和移动终端浏览器
US9066153B2 (en) * 2013-03-15 2015-06-23 Time Warner Cable Enterprises Llc Apparatus and methods for multicast delivery of content in a content delivery network
US9549000B2 (en) * 2013-03-15 2017-01-17 Arris Enterprises, Inc. Streaming media from a server delivering individualized content streams to clients
US10110932B2 (en) 2013-11-18 2018-10-23 Cable Television Laboratories, Inc. Session administration
US20160119399A1 (en) 2014-10-24 2016-04-28 Kevin J. Glass Extending browser support of real time media to any available codec
US10972519B2 (en) * 2015-09-24 2021-04-06 Flir Commercial Systems, Inc. Real-time video streaming to client video element
US11019349B2 (en) * 2017-01-20 2021-05-25 Snap Inc. Content-based client side video transcoding
US10853439B2 (en) * 2017-08-08 2020-12-01 Nice Ltd. Systems and methods for fast play back of recorded data
CA3088790C (en) * 2018-02-15 2024-04-09 Vitec, Inc. Distribution and playback of media content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220577A (zh) * 2012-01-18 2013-07-24 腾讯科技（深圳）有限公司 一种视频播放方法、装置和系统
CN103338384A (zh) * 2013-05-31 2013-10-02 优视科技有限公司 一种视频播放方法及装置
US20150379382A1 (en) * 2014-06-30 2015-12-31 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium storing program
CN105100824A (zh) * 2015-09-10 2015-11-25 东方网力科技股份有限公司 一种视频处理设备、系统和方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055188A (zh) * 2017-10-19 2018-05-18 福建中金在线信息科技有限公司 基于微信的h5图文直播方法和装置
CN108718416A (zh) * 2018-06-15 2018-10-30 深圳市安佳威视信息技术有限公司 Html5直播嵌入式摄像机音视频系统及其方法
CN109151570A (zh) * 2018-10-10 2019-01-04 深圳市网心科技有限公司 一种基于html5的流媒体处理方法、系统及相关组件
CN109151570B (zh) * 2018-10-10 2022-04-01 深圳市网心科技有限公司 一种基于html5的流媒体处理方法、系统及相关组件
CN110933482A (zh) * 2019-12-06 2020-03-27 腾讯科技（深圳）有限公司 视频加载方法、装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
EP3416400A1 (en) 2018-12-19
US11259096B2 (en) 2022-02-22
EP3416400A4 (en) 2019-07-17
WO2018188168A1 (zh) 2018-10-18
US20210168464A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN106993238A (zh) 基于Html5的音视频播放方法及装置、音视频直播方法及系统
CN107454101B (zh) 用于下载和串流的内容存储和传输的系统和方法
AU2013361219B2 (en) Media distribution and management platform
CN106791933B (zh) 基于web端的在线快速编辑视频的方法和系统
CN102790925B (zh) 一种在线流媒体播放的方法及点播终端
CN102282825B (zh) 内容传送网络中流媒体请求地址映射的方法及装置、缓存节点
WO2017063399A1 (zh) 一种视频播放方法和装置
US10149020B2 (en) Method for playing a media stream in a browser application
CN104796796B (zh) 提高Android平台的HLS流播放器容错的方法
CN105516739A (zh) 一种视频直播方法、转码服务器、网页客户端及系统
CN103813185B (zh) 一种分段节目快速分发的方法、服务器及客户端
CN105228001B (zh) 一种flv格式视频在线播放的方法及系统
CN109286820A (zh) 基于分布式存储系统的流媒体点播方法及系统
CN107534793A (zh) 接收装置、传输装置以及数据处理方法
CN106358047A (zh) 一种播放流媒体视频的方法及装置
CN108833968B (zh) 一种缓存视频的方法以及相关设备
WO2017185601A1 (zh) 一种提供、下载视频的方法及设备
CN109005430A (zh) 一种音/视频内容的点播方法、系统、装置及存储介质
CN113727199A (zh) 一种hls切片快速起播方法
CN109151614B (zh) 一种降低hls直播播放延迟的方法及装置
CN105812847A (zh) Hls视频直播方法、服务器及系统
CN106254548A (zh) 一种下载流媒体数据的方法及装置
CN106303754A (zh) 一种音频数据播放方法及装置
CN108769830A (zh) 一种缓存视频的方法以及相关设备
CN108322772A (zh) 一种视频文件处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170728

RJ01 Rejection of invention patent application after publication