CN105430451B - 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统 - Google Patents

一种多机位hls的描述方法及一种基于hls的多机位视频直播系统 Download PDF

Info

Publication number
CN105430451B
CN105430451B CN201510976193.9A CN201510976193A CN105430451B CN 105430451 B CN105430451 B CN 105430451B CN 201510976193 A CN201510976193 A CN 201510976193A CN 105430451 B CN105430451 B CN 105430451B
Authority
CN
China
Prior art keywords
multimachine
hls
seat
plane
multimachine position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510976193.9A
Other languages
English (en)
Other versions
CN105430451A (zh
Inventor
陈勇
孙波
孙彦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dang Hong Polytron Technologies Inc
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201510976193.9A priority Critical patent/CN105430451B/zh
Publication of CN105430451A publication Critical patent/CN105430451A/zh
Application granted granted Critical
Publication of CN105430451B publication Critical patent/CN105430451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists

Abstract

本发明公开了一种多机位HLS的描述方法，对Master Playlist进行描述和改造，本发明还公开了一种基于HLS的多机位视频直播系统，包括多机位编码系统和多机位播放系统，多机位编码系统和多机位播放系统通过网络传输方式传输信息，这种视频直播系统，将每个角度的主画面与其它角度的复合画面组合成一个大的画面编码成一个视频帧，在解码时此视频帧完整下载解码后才可以进行多画面的分割，这样就确保了多画的一致性和完整性，同时，本方案的带宽占用并未呈现明显的增加，较好地解决了多机位/角度在有限带宽条件下的实时同播问题。

Description

一种多机位HLS的描述方法及一种基于HLS的多机位视频直播 系统
技术领域
本发明涉及视频编码及视频播放领域，特别涉及基于HLS的多机位视频直播系统。
背景技术
现阶段，直播业务正在由线性频道的被动收看方式，向以用户体验为核心的方式做变革。传统广电因为安全播出和频点资源等限制条件，多采用频道方式进行综艺和体育赛事类节目的播出。其特点是将多机位的内容进行导播后线性播出，问题是会导致其它机位的精彩画面常被遗漏。
目前业内开展的多机位直播，多采用将多路信号通过多画面合成系统合成为一个九宫格方式的单一画面，供用户在固定带宽条件下收看，但此方式需要在终端将单一画面再拆分成多个画面后，选择其中一个画面进行放大观看，导致画面清晰度下降，用户体验不好。
发明内容
基于此，有必要提供一种可支持多机位直播画面同步传输至终端、并可将任意机位进行高质量观看且同时保持其他机位画面同步、不增加宽带占用的基于HLS的多机位视频直播系统，以及一种多机位HLS的描述方法。
根据本发明的一方面，提供了一种多机位HLS的描述方法，包括如下步骤：
在Master Playlist中描述机位数目；
在Master Playlist中描述各机位的视频流；
在Master Playlist中描述各机位合成后的导航排布方式；
在Master Playlist中定义各机位各码率的画面分辨率；
各机位的M3U8中的内容采用TS封装。
根据本发明的另一方面，提供了一种基于HLS的多机位视频直播系统，包括多机位编码系统和多机位播放系统，多机位编码系统和多机位播放系统通过网络传输方式传输信息。
在其中一个实施例中，多机位编码系统包括编码模块、缓存模块和对齐校正模块，编码模块用于完成多机位的音视频编码并封装成HLS协议分发，缓存模块用于缓存各机位的内容，对齐校正模块用于将各机位的画面进行同步对齐。
在其中一个实施例中，多机位播放系统用于获取多机位源的播放地址并呈现画面。
这种多机位HLS描述方法，使系统可实现将多机位直播画面同步传输到终端收看，而终端也就可以灵活地将任意角度在屏幕主要区域高质量观看，且其它角度/机位画面保持同步状态。此外，这种基于HLS的多机位视频直播系统，将每个角度的主画面与其它角度的复合画面组合成一个大的画面编码成一个视频帧，在解码时此视频帧完整下载解码后才可以进行多画面的分割，这样就确保了多画的一致性和完整性。同时，本方案的带宽占用并未呈现明显的增加，较好地解决了多机位/角度在有限带宽条件下的实时同播问题。
附图说明
图1为本发明一实施方式的一种基于HLS的多机位视频直播系统的结构示意图；
图2为本发明一实施方式的一种基于HLS的多机位视频直播系统的编码模块的水平方式布局的编码方式示意图；
图3为本发明一实施方式的一种基于HLS的多机位视频直播系统的编码模块的垂直方式布局的编码方式示意图；
图4为本发明一实施方式的一种基于HLS的多机位视频直播系统的编码模块的编码合成原理逻辑示意图。
具体实施方式
为了便于理解本发明，下面将用具体实施例对本发明进行更全面的描述。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这实施例的目的是使对本发明的公开内容的理解更加透彻全面。
如图1所示，为本发明一实施例的一种基于HLS的多机位视频直播系统，包括多机位编码系统和多机位播放系统，多机位编码系统和多机位播放系统通过网络传输方式传输信息。
本实施例的基于HLS的多机位视频直播系统充分利用HLS流媒体协议，将多个角度/机位的画面进行高质量编码和传输。由于目前各种终端都支持HLS的硬件解码，采用HLS流媒体协议可以充分发挥终端的性能。
多机位编码系统包括编码模块、缓存模块和对齐校正模块。编码模块用于完成多机位的音视频编码并封装成HLS协议分发，缓存模块用于缓存各机位的内容，对齐校正模块用于将各机位的画面进行同步对齐。
具体地，如图2和图3所示，为编码模块的编码方式，其中图2为水平方式布局，图3为垂直方式布局。将主角度/机位与其它浏览导航子角度/机位进行多画面组合后，整合出X0，Y0至X1，Y1的矩形区域，然后对此矩形区域进行编码。按照此方式进行编码后，假设有N个角度/机位，就会产生N个角度/机位的画面组合视频流(每个视频流包含多个码率)。
由于目前在互联网上广泛使用的，各个终端均支持的协议是Apple定义的HLS流媒体协议，因此本实施例中的编码模块采用本发明一实施例的多机位HLS描述方法，并对HLS协议扩展进行改造。
具体地，多机位HLS描述方法为：
在Master Playlist中描述机位数目；
在Master Playlist中描述各机位的视频流；
在Master Playlist中描述各机位合成后的导航排布方式；
在Master Playlist中定义各机位各码率的画面分辨率；
各机位的M3U8中的内容采用TS封装。
本实施例的编码模块采用上述多机位HLS描述方法，对HLS协议扩展改造，由于标准HLS协议支持同一视频源的多码率传输和播放，利用此原理，编码模块可将HLS协议扩展改造如下：
Master Playlist的M3U8内容如下形式：
#EXTM3U
#EXT-X-ANGLE-COUNT：n //描述了角度/机位数目
#EXT-X-MULTIANGLE_LAYOUT：H/V //描述了多角度/机位合成流采用水平合成还是垂直合成
#EXT-X-PRIMARY-ANGLE：<AngleID>//描述了哪个角度/机位是主角度/机位
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_1>，ANGLEID＝″Angle1″，ANGLERESOLUTION＝″PX1x PY1″，CHILDANGLERESOLUTION＝″SX1x SY1″
Angle_1_rate_1.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_2>，ANGLEID＝″Angle1″，ANGLERESOLUTION＝″PX2x PY2″，CHILDANGLERESOLUTION＝″SX2x SY2″
Angle_1_rate_2.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_n>，ANGLEID＝″Angle1″，ANGLERESOLUTION＝″PXn x PYn″，CHILDANGLERESOLUTION＝″SXn x SYn″
Angle_1_raten_n.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_1>，ANGLEID＝″Angle2″，
ANGLERESOLUTION＝″PX1x PY1″，CHILDANGLERESOLUTION＝″SX1x SY1″
Angle_2_rate_1.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_2>，ANGLEID＝″Angle2″，
ANGLERESOLUTION＝″PX2x PY2″，CHILDANGLERESOLUTION＝″SX2x SY2″
Angle_2_rate_2.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_n>，ANGLEID＝″Angle2″，
ANGLERESOLUTION＝″PXn x PYn″，CHILDANGLERESOLUTION＝″SXn x SYn″
Angle_2_raten_n.m3u8
…
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_I>，ANGLEID＝″Anglen″，
ANGLERESOLUTION＝″PX1x PYI″，CHILDANGLERESOLUTION＝″SX1x SY1″
Angle_n_rate_1.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_2>，ANGLEID＝″Anglen″，
ANGLERESOLUTION＝″PX2x PY2″，CHILDANGLERESOLUTION＝″SX2x SY2″
Angle_n_rate_2.m3u8
#EXT-X-STREAM-INF：BANDWIDTH＝<Bitrate_n>，ANGLEID＝″Anglen″，
ANGLERESOLUTION＝″PXn x PYn″，CHILDANGLERESOLUTION＝″SXn x SYn″
Angle_n_raten_n.m3u8
上述利用本发明一实施例的多机位HLS描述方法，通过编码模块定义了多角度/机位的HLS流媒体元数据格式：
可以理解，在上述描述中，具体描述文字是可变的。
编码模块的编码合成原理如图4所示，是从Angle_1.m3u8至Angle_n.m3u8分别代表角度/机位1到角度/机位n的完整音视频编码，各角度/机位可以采用合理的分辨率、码率进行编码，如1080P、720P或者576i等，具体编码参数可以任意调节，也想让用户看到的体验的不同而做调整。Multiangle_rate_x.m3u8的内容是将各个角度/机位按照终端想要表现的小画面的大小合成为一个画面。因为通常此种画面分辨率较小，因此合成后的码流所占带宽也是很小的。
具体地，本实施例中的缓存模块，由于各角度/机位的上传延迟和地理差异，可能导致各画面内容不同步，因此此模块可以缓存各角度/机位一段时间的内容，缓存时间在实际使用中可自行配置。
具体地，本实施例中的对齐校正模块，由于各角度/机位的上传延迟和地理差异，可能导致各画面内容不同步，因此此模块的工作原理是将多个机位的画面以九宫格的形式在校正系统中同时呈现，用户可以通过帧进、帧退、时进、时退操作进行各个画面的对齐。在对齐确认后，编码模块记录各角度/机位的时间戳偏移信息，并开始编码。
具体地，本实施例中的多机位播放系统，在经过网络传输后，在终端获取多机位源的播放地址后，多机位播放系统采用下述逻辑进行呈现：
S1、从HLS M3U8文件中解析出角度/机位数目；
S2、从HLS M3U8文件中解析出哪条流是主角度/机位，假定将该流命名为X，默认为主呈现画面，播放器可以利用终端能力进行正常解码；
S3、结合排布方式、主画面分辨率、子画面分辨率，在解码后将各个画面进行分割后渲染到UI给定的播放表面(一般为UI控件，本实施例中为OpenGL Texture)；
S4、UI系统可以自由组织各角度内容在整个屏幕上的排布，可以自由应用各种动画效果；
S5、在用户进行机位的切换时，下载相应Angle的M3U8码流内容，并进行解码。
综上，本实施例的多机位HLS描述方法，使系统可实现将多机位直播画面同步传输到终端收看，而终端也就可以灵活地将任意角度在屏幕主要区域高质量观看，且其它角度/机位画面保持同步状态。
本实施例的基于HLS的多机位视频直播系统，其特点是将每个角度的主画面与其它角度的复合画面组合成一个大的画面编码成一个视频帧，在解码时此视频帧完整下载解码后才可以进行多画面的分割，这样就确保了多画的一致性和完整性。同时，本方案的带宽占用并未呈现明显的增加，较好地解决了多机位/角度在有限带宽条件下的实时同播问题。因此将每个角度的主画面与其它角度的复合画面组合成一个大的画面编码成一个视频帧，在解码时此视频帧完整下载解码后才可以进行多画面的分割，这样就确保了多画的一致性和完整性。同时，在本实施例中，带宽占用并未呈现明显的增加，较好地解决了多机位/角度在有限带宽条件下的实时同播问题。
以上实施例仅表达了本发明的个别实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种多机位HLS的描述方法，其特征在于，包括如下步骤：
在MasterPlaylist中描述机位数目；
在所述MasterPlaylist中描述各机位的视频流；
在所述MasterPlaylist中描述所述各机位合成后的导航排布方式；
在所述MasterPlaylist中定义所述各机位各码率的画面分辨率；
所述各机位的M3U8中的内容采用TS封装。
2.一种应用权利要求1所述的一种多机位HLS的描述方法的基于HLS的多机位视频直播系统，其特征在于，包括多机位编码系统和多机位播放系统，所述多机位编码系统和所述多机位播放系统通过网络传输方式传输信息。
3.根据权利要求2所述的一种基于HLS的多机位视频直播系统，其特征在于，所述多机位编码系统包括编码模块、缓存模块和对齐校正模块，所述编码模块用于对多机位画面的排布合成及对HLS协议扩展改造，所述缓存模块用于缓存各机位的内容，所述对齐校正模块用于将各机位的画面进行同步对齐。
4.根据权利要求2所述的一种基于HLS的多机位视频直播系统，其特征在于，所述多机位播放系统用于获取多机位源的播放地址并呈现画面。
CN201510976193.9A 2015-12-24 2015-12-24 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统 Active CN105430451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510976193.9A CN105430451B (zh) 2015-12-24 2015-12-24 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510976193.9A CN105430451B (zh) 2015-12-24 2015-12-24 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统

Publications (2)

Publication Number Publication Date
CN105430451A CN105430451A (zh) 2016-03-23
CN105430451B true CN105430451B (zh) 2018-08-14

Family

ID=55508335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510976193.9A Active CN105430451B (zh) 2015-12-24 2015-12-24 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统

Country Status (1)

Country Link
CN (1) CN105430451B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060610A (zh) * 2016-06-07 2016-10-26 微鲸科技有限公司 播放器同步系统和同步方法
CN105939492A (zh) * 2016-06-15 2016-09-14 乐视控股（北京）有限公司 一种基于多路节目流的视频播放方法及装置
CN107547933B (zh) * 2016-06-23 2022-04-15 中兴通讯股份有限公司 播放画面生成方法、装置及系统
CN106385614A (zh) * 2016-09-22 2017-02-08 北京小米移动软件有限公司 画面合成方法及装置
CN111432223A (zh) * 2020-04-21 2020-07-17 烽火通信科技股份有限公司 一种实现多视角视频传输和播放的方法、终端及系统
CN112004102A (zh) * 2020-08-03 2020-11-27 杭州当虹科技股份有限公司 一种基于ip直播流的多机位画面同步方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588488A (zh) * 2009-06-18 2009-11-25 北京浪弯融科科技有限责任公司 多机位流媒体发送方法、多机位流媒体播放方法及系统
CN101917568A (zh) * 2009-12-17 2010-12-15 新奥特（北京）视频技术有限公司 一种基于流媒体技术的网络视频播放器及播放系统
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253527B2 (en) * 2013-11-14 2016-02-02 Smiletime Inc Social multi-camera interactive live engagement system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588488A (zh) * 2009-06-18 2009-11-25 北京浪弯融科科技有限责任公司 多机位流媒体发送方法、多机位流媒体播放方法及系统
CN101917568A (zh) * 2009-12-17 2010-12-15 新奥特（北京）视频技术有限公司 一种基于流媒体技术的网络视频播放器及播放系统
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法

Also Published As

Publication number Publication date
CN105430451A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
CN105430451B (zh) 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
JP5964972B2 (ja) 複数のソースからのマルチメディアデータのストリーミング
US20190104326A1 (en) Content source description for immersive media data
CN104885473B (zh) 用于经由http的动态自适应流式传输(dash)的实况定时方法
CN114503599A (zh) 使用gltf2场景描述中的扩展来支持视频和音频数据
JP2019521584A (ja) Ｈｔｔｐを介した動的適応型ストリーミングにおけるバーチャルリアリティビデオのシグナリング
CN107925797A (zh) 传输编码的音频数据
CN107888993B (zh) 一种视频数据的处理方法及装置
JP2010505327A (ja) デジタル放送基盤の三次元静止映像サービス方法及び装置
CN105900445A (zh) Dash的稳健实况操作
Hu et al. Dynamic VR live streaming over MMT
TW201204007A (en) Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices
TW201909642A (zh) 用於魚眼虛擬實境視訊之增強的高階發信號
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
Tang et al. Audio and video mixing method to enhance WebRTC
EP3398346A1 (en) Video streams
CN105812961B (zh) 自适应流媒体处理方法及装置
WO2016127440A1 (zh) 基于超文本传输协议媒体流的媒体呈现导览方法和相关装置
US10637904B2 (en) Multimedia streaming service presentation method, related apparatus, and related system
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
Zeng et al. A new architecture of 8k vr fov video end-to-end technology
Sohn et al. Design of 8k broadcasting system based on MMT over heterogeneous networks
EP3776484A1 (en) Associating file format objects and dynamic adaptive streaming over hypertext transfer protocol (dash) objects
CN113395527A (zh) 一种基于vr技术的远程直播虚拟背景云合成系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 310000 A Block, 16th Floor, E Building, Paradise Software Park, No. 3 Xidoumen Road, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Dang Hong Polytron Technologies Inc

Address before: 310000 B2010, two floor, North (two), six and 368 Road, Binjiang District, Hangzhou, Zhejiang.

Patentee before: HANGZHOU DANGHONG TECHNOLOGY CO., LTD.

CP03 Change of name, title or address