CN112004102A - 一种基于ip直播流的多机位画面同步方法 - Google Patents

一种基于ip直播流的多机位画面同步方法 Download PDF

Info

Publication number
CN112004102A
CN112004102A CN202010765168.7A CN202010765168A CN112004102A CN 112004102 A CN112004102 A CN 112004102A CN 202010765168 A CN202010765168 A CN 202010765168A CN 112004102 A CN112004102 A CN 112004102A
Authority
CN
China
Prior art keywords
encoder
ntp server
live
signals
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010765168.7A
Other languages
English (en)
Inventor
叶建华
陈左乐
鲍煦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202010765168.7A priority Critical patent/CN112004102A/zh
Publication of CN112004102A publication Critical patent/CN112004102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明公开了一种基于IP直播流的多机位画面同步方法。它具体包括如下步骤：部署公共的NTP服务器，作为编码器与解码器的基准同步时钟；现场所有编码器以及中心端所有解码器，都与公共NTP服务器进行连接，确保所有设备的基准时钟同步对齐；现场编码器在编码的时候，把当前的绝对时间写入到编码层的SEI信息中；中心端解码器接收各IP直播流进行解码，提取SEI信息中的绝对时间，按时间标记同步输出SDI基带信号，进入后端制作。本发明的有益效果是：实现多机位之间的严格帧同步，实现远程同步制作的目的，实现广播级的帧同步精度，可实现低成本、多元化的远程直播制作业务，丰富制作模式，拓展更多业务场景，带来更大的增值效应。

Description

一种基于IP直播流的多机位画面同步方法
技术领域
本发明涉及多媒体音视频处理相关技术领域，尤其是指一种基于IP直播 流的多机位画面同步方法。
背景技术
传统的专业级直播制作对多机位的同步要求较高，由于往往是在现场进 行制作，可基于SDI基带技术进行传输，信号进入切换台后，每一个机位信 号可严格控制到帧一级的同步，可以说基于SDI的制作技术，既保证了质量， 又做到了同步。但是，SDI往往只应用于本地，无法远距离传输，当多个机 位的信号需要远程传输至中心端进行制作时，基于IP深压缩直播流的回传技 术往往是首选方案，在确保广播级质量的同时，既降低了部署的要求，又节 省了大量的成本。
现场多机位信号通过IP深压缩直播技术回传时，特别是跨场馆回传时， 由于各个机位是独立部署的，再经过编码器深压缩，以及IP化网络远程传输， 各个机位信号到达中心端后会有不同程度的延时，延时时间少则几十毫秒， 多则数秒，如果不采用多机位同步帧对齐技术，多机位信号之间就会有很大 的画面偏差，从而无法协同直播制作。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种实现中心端高 质量同步制作的基于IP直播流的多机位画面同步方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于IP直播流的多机位画面同步方法，具体包括如下步骤：
(1)部署公共的NTP服务器，作为编码器与解码器的基准同步时钟；
(2)现场所有编码器以及中心端所有解码器，都与公共NTP服务器进 行连接，确保所有设备的基准时钟同步对齐；
(3)现场编码器在编码的时候，把当前的绝对时间写入到编码层的SEI 信息中，由于各编码器已经实现时钟对齐，所以同一时刻所有编码器的画面 都被标记了同步信号，在以IP直播流形式传输到中心端时，该标记不会丢失， 也不会被改变；
(4)中心端解码器接收各IP直播流进行解码，提取SEI信息中的绝对 时间，按时间标记同步输出SDI基带信号，进入后端制作。
现场多机位信号经过深压缩方式以IP化传输至中心端时，需通过多机位 画面同步帧对齐技术实现多机位信号帧一级的对齐，从而在中心端实现广播 级的多机位远程同步制作目的，以支持多元化的远程直播制作业务。本发明 的创新在于，通过部署公共的NTP服务器作为多机位时间基准，现场多台编 码器与中心端多台解码器与NTP服务器实现联动，建立严格的同步机制，编 码器出来的多条IP码流带上同步标记，通过不同网络传输至中心端，中心端 设备解码时可根据此同步标记，实现多机位之间的严格帧同步，从而实现远 程同步制作的目的。本发明具备原理清晰、部署简单、安全可靠等特点，可 实现广播级的帧同步精度，再配以高质量编码、低延时传输等技术，不仅可 媲美传统的广播级现场制作技术，更可实现低成本、多元化的远程直播制作 业务，丰富制作模式，拓展更多业务场景，带来更大的增值效应。
作为优选，在步骤(1)中，具体操作方法为：在直播现场、运营商边缘 计算节点或互联网上，部署一台公共的NTP服务器，如果前期部署困难，也 可以直接利用现成的第三方公共NTP服务器，来建立公共的同步时间基准， 部署NTP服务器要求现场编码器网络以及中心端解码器网络都能连接到此 NTP服务器。
作为优选，在步骤(3)中，具体操作方法为：现场的编码器连接摄像机， 对现场信号进行IP深压缩编码，编码器加电启动后，配置编码器系统时间与 此NTP服务器同步，实行编码器设备级的同步校时，不同编码器先实现严格 的时间同步；在对现场信号进行编码时，当前帧的绝对时间需写入IP码流编 码层SEI信息中，做好同步标记，由于与协议无关，此同步标记不会丢失。
作为优选，各个机位信号的时间同步标记在编码的时候同步生成，随IP 码流一起通过不同网络传输至中心端。
作为优选，在步骤(4)中，具体操作方法为：中心端设备接收现场传回 的多机位IP直播流信号进行直播制作，基于SDI基带进行解码还原现场信号， 在解码过程中，读取编码层SEI信息，提取事先植入的当前帧绝对时间作为 同步标记备用，在解码提取当前帧绝对时间的同步标记后，按此标记来对每 一个机位信号进行缓冲等待，然后对齐输出给后端设备或系统，后端设备或 系统接收的多机位信号就做到了天然对齐。
本发明的有益效果是：实现多机位之间的严格帧同步，实现远程同步制 作的目的，实现广播级的帧同步精度，可实现低成本、多元化的远程直播制 作业务，丰富制作模式，拓展更多业务场景，带来更大的增值效应。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于IP直播流的多机位画面同步方法，具 体包括如下步骤：
(1)部署公共的NTP服务器，作为编码器与解码器的基准同步时钟； 具体操作方法为：在直播现场、运营商边缘计算节点或互联网上，部署一台 公共的NTP服务器，如果前期部署困难，也可以直接利用现成的第三方公共 NTP服务器，来建立公共的同步时间基准(目前可用的第三方公共NTP服务 器有很多，比如说大型互联网公司的NTP服务器)，部署NTP服务器要求现 场编码器网络以及中心端解码器网络都能连接到此NTP服务器。
(2)现场所有编码器以及中心端所有解码器，都与公共NTP服务器进 行连接，确保所有设备的基准时钟同步对齐；
(3)现场编码器在编码的时候，把当前的绝对时间写入到编码层的SEI 信息中，由于各编码器已经实现时钟对齐，所以同一时刻所有编码器的画面 都被标记了同步信号，在以IP直播流形式传输到中心端时，该标记不会丢失， 也不会被改变；具体操作方法为：现场的编码器连接摄像机，对现场信号进 行IP深压缩编码，由于现场编码器部署时比较独立、零散，甚至可能跨场馆 部署，故而编码器加电启动后，除了常规配置外，需要额外配置编码器系统 时间与此NTP服务器同步，实行编码器设备级的同步校时，不同编码器先实 现严格的时间同步；在对现场信号进行编码时，当前帧的绝对时间需写入IP 码流编码层SEI信息中，做好同步标记，由于与协议无关，此同步标记不会 丢失。各个机位信号的时间同步标记在编码的时候同步生成，随IP码流一起 通过不同网络传输至中心端。
时间定义：用于表示编码器启动时的UNIX时间，帧率为50的直播流， 一帧时间为20毫秒，帧率为25的直播流，一帧时间为40毫秒，所以帧级别 的同步，时间的精度需要达到毫秒，可以设置单位为秒，精确到小数点后三 位，或者直接设置单位为毫秒。
以H.264编码为例，编码层SEI信息写入设计如下：
Figure BDA0002614226290000061
Method定义表如下：
Method Method value Parameter size
XXX#0 0 Variable
XXX#1 1 2
AbsoluteTimeStamp 2 8
XXX#3 3 Variable
XXX#N N Variable
(4)中心端解码器接收各IP直播流进行解码，提取SEI信息中的绝对 时间，按时间标记同步输出SDI基带信号，进入后端制作；具体操作方法为： 中心端设备接收现场传回的多机位IP直播流信号进行直播制作，基于SDI 基带进行解码还原现场信号，因为可能涉及到多台解码器对同一场赛事进行 制作，所以各解码器也需要与公共NTP进行时钟同步，设备时钟同步设置与 现场编码器一致。在解码过程中，读取编码层SEI信息，提取事先植入的当 前帧绝对时间sample_absolute_time_stamp作为同步标记备用，由于现场编码 压缩方法、效率等不同，以及IP码流传输网络环境的不同，现场同一时刻对 应的多机位画面到达中心端的时间也会有偏差，所以在解码提取当前帧绝对 时间sample_absolute_time_stamp的同步标记后，按此标记来对每一个机位信 号进行缓冲等待，然后对齐输出给后端设备或系统，后端设备或系统接收的 多机位信号就做到了天然对齐。
该多机位画面同步方法已经集成到Arcvideo远程制作方案中的Arcvideo 编码器与Arcvideo解码器中，Arcvideo编码器主要用在现场编码，可与公共 NTP服务器同步，在编码时植入同步标记，Arcvideo解码器主要用在中心端 接收，解码时提取同步标记，按时间进行同步输出，确保解码后的每一个机 位信号是同步的，实现了中心端的多机位画面同步，最终达到多机位协同远 程同步制作的目的。
将本发明应用到Arcvideo远程制作方案中，可实现基于IP直播流的多机 位远程制作，多机位画面实现帧级别同步，与传统现场制作方案相比，在实 现广播级制作的同时，无论是设备投入成本还是人力投入成本，都至少可节 省40％以上，并可带来跨场馆的多元化制作，实现增值效应。
现场多机位信号经过深压缩方式以IP化传输至中心端时，需通过多机位 画面同步帧对齐技术实现多机位信号帧一级的对齐，从而在中心端实现广播 级的多机位远程同步制作目的，以支持多元化的远程直播制作业务。本发明 的创新在于，通过部署公共的NTP服务器作为多机位时间基准，现场多台编 码器与中心端多台解码器与NTP服务器实现联动，建立严格的同步机制，编 码器出来的多条IP码流带上同步标记，通过不同网络传输至中心端，中心端 设备解码时可根据此同步标记，实现多机位之间的严格帧同步，从而实现远 程同步制作的目的。本发明具备原理清晰、部署简单、安全可靠等特点，可 实现广播级的帧同步精度，再配以高质量编码、低延时传输等技术，不仅可 媲美传统的广播级现场制作技术，更可实现低成本、多元化的远程直播制作 业务，丰富制作模式，拓展更多业务场景，带来更大的增值效应。

Claims (5)

1.一种基于IP直播流的多机位画面同步方法，其特征是，具体包括如下步骤：
(1)部署公共的NTP服务器，作为编码器与解码器的基准同步时钟；
(2)现场所有编码器以及中心端所有解码器，都与公共NTP服务器进行连接，确保所有设备的基准时钟同步对齐；
(3)现场编码器在编码的时候，把当前的绝对时间写入到编码层的SEI信息中，由于各编码器已经实现时钟对齐，所以同一时刻所有编码器的画面都被标记了同步信号，在以IP直播流形式传输到中心端时，该标记不会丢失，也不会被改变；
(4)中心端解码器接收各IP直播流进行解码，提取SEI信息中的绝对时间，按时间标记同步输出SDI基带信号，进入后端制作。
2.根据权利要求1所述的一种基于IP直播流的多机位画面同步方法，其特征是，在步骤(1)中，具体操作方法为：在直播现场、运营商边缘计算节点或互联网上，部署一台公共的NTP服务器，如果前期部署困难，也可以直接利用现成的第三方公共NTP服务器，来建立公共的同步时间基准，部署NTP服务器要求现场编码器网络以及中心端解码器网络都能连接到此NTP服务器。
3.根据权利要求1所述的一种基于IP直播流的多机位画面同步方法，其特征是，在步骤(3)中，具体操作方法为：现场的编码器连接摄像机，对现场信号进行IP深压缩编码，编码器加电启动后，配置编码器系统时间与此NTP服务器同步，实行编码器设备级的同步校时，不同编码器先实现严格的时间同步；在对现场信号进行编码时，当前帧的绝对时间需写入IP码流编码层SEI信息中，做好同步标记，由于与协议无关，此同步标记不会丢失。
4.根据权利要求3所述的一种基于IP直播流的多机位画面同步方法，其特征是，各个机位信号的时间同步标记在编码的时候同步生成，随IP码流一起通过不同网络传输至中心端。
5.根据权利要求1所述的一种基于IP直播流的多机位画面同步方法，其特征是，在步骤(4)中，具体操作方法为：中心端设备接收现场传回的多机位IP直播流信号进行直播制作，基于SDI基带进行解码还原现场信号，在解码过程中，读取编码层SEI信息，提取事先植入的当前帧绝对时间作为同步标记备用，在解码提取当前帧绝对时间的同步标记后，按此标记来对每一个机位信号进行缓冲等待，然后对齐输出给后端设备或系统，后端设备或系统接收的多机位信号就做到了天然对齐。
CN202010765168.7A 2020-08-03 2020-08-03 一种基于ip直播流的多机位画面同步方法 Pending CN112004102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010765168.7A CN112004102A (zh) 2020-08-03 2020-08-03 一种基于ip直播流的多机位画面同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010765168.7A CN112004102A (zh) 2020-08-03 2020-08-03 一种基于ip直播流的多机位画面同步方法

Publications (1)

Publication Number Publication Date
CN112004102A true CN112004102A (zh) 2020-11-27

Family

ID=73463970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010765168.7A Pending CN112004102A (zh) 2020-08-03 2020-08-03 一种基于ip直播流的多机位画面同步方法

Country Status (1)

Country Link
CN (1) CN112004102A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411640A (zh) * 2021-04-21 2021-09-17 北京国际云转播科技有限公司 视频编码器、云转播方法、服务器、系统及存储介质
CN113411647A (zh) * 2021-04-20 2021-09-17 北京国际云转播科技有限公司 云导播方法、系统、服务器和计算器可读存储介质
CN113596497A (zh) * 2021-07-28 2021-11-02 新华智云科技有限公司 一种基于隐水印的多路直播视频同步方法和系统
CN114554242A (zh) * 2022-04-24 2022-05-27 深圳市前海日新数码科技有限公司 直播方法和可读存储介质
CN115052170A (zh) * 2022-04-26 2022-09-13 中国传媒大学 一种基于sei时码信息的云上导播方法及装置
CN115174884A (zh) * 2022-07-08 2022-10-11 首都体育学院 一种基于sei的多相机同步信息传输与存储方法
CN115695883A (zh) * 2022-09-27 2023-02-03 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050281246A1 (en) * 2004-06-22 2005-12-22 Lg Electronics Inc. Synchronizing video/audio data of mobile communication terminal
CN105430451A (zh) * 2015-12-24 2016-03-23 杭州当虹科技有限公司 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统
CN105898507A (zh) * 2016-05-30 2016-08-24 广东威创视讯科技股份有限公司 一种视频信号同步方法及装置
CN110958466A (zh) * 2019-12-17 2020-04-03 杭州当虹科技股份有限公司 一种基于rtmp传输的sdi信号同步回传方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050281246A1 (en) * 2004-06-22 2005-12-22 Lg Electronics Inc. Synchronizing video/audio data of mobile communication terminal
CN105430451A (zh) * 2015-12-24 2016-03-23 杭州当虹科技有限公司 一种多机位hls的描述方法及一种基于hls的多机位视频直播系统
CN105898507A (zh) * 2016-05-30 2016-08-24 广东威创视讯科技股份有限公司 一种视频信号同步方法及装置
CN110958466A (zh) * 2019-12-17 2020-04-03 杭州当虹科技股份有限公司 一种基于rtmp传输的sdi信号同步回传方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411647A (zh) * 2021-04-20 2021-09-17 北京国际云转播科技有限公司 云导播方法、系统、服务器和计算器可读存储介质
CN113411640A (zh) * 2021-04-21 2021-09-17 北京国际云转播科技有限公司 视频编码器、云转播方法、服务器、系统及存储介质
CN113596497A (zh) * 2021-07-28 2021-11-02 新华智云科技有限公司 一种基于隐水印的多路直播视频同步方法和系统
CN114554242A (zh) * 2022-04-24 2022-05-27 深圳市前海日新数码科技有限公司 直播方法和可读存储介质
CN114554242B (zh) * 2022-04-24 2022-08-05 深圳市前海日新数码科技有限公司 直播方法和可读存储介质
CN115052170A (zh) * 2022-04-26 2022-09-13 中国传媒大学 一种基于sei时码信息的云上导播方法及装置
CN115174884A (zh) * 2022-07-08 2022-10-11 首都体育学院 一种基于sei的多相机同步信息传输与存储方法
CN115695883A (zh) * 2022-09-27 2023-02-03 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN112004102A (zh) 一种基于ip直播流的多机位画面同步方法
EP2670157B1 (en) Fingerprint-based inter-destination media synchronization
US20130340014A1 (en) Home Theater Component For A Virtualized Home Theater System
EP1762078B1 (en) Method for transmitting packets in a transmission system
CN101202613B (zh) 一种用于时钟同步的终端
EP4033770A1 (en) Video distribution synchronization
CN109089129B (zh) 一种稳健的多视频捆绑直播系统及其方法
WO2012034442A1 (zh) 实现可伸缩视频编码业务同步发送、接收的系统和方法
CN112866733B (zh) 多直播设备的云导播同步系统及方法
CN110958466A (zh) 一种基于rtmp传输的sdi信号同步回传方法
CN100473171C (zh) 一种广播网络中时钟同步的方法
CN103119952A (zh) 处理多媒体流的方法以及相应设备
CN1960435B (zh) 一种移动多媒体广播时钟同步的方法和系统
JP7247707B2 (ja) 送信ノード、放送局システム、制御ノード及び送信制御方法
EP1855402A1 (en) Transmission, reception and synchronisation of two data streams
CN100544448C (zh) 一种移动多媒体网络的时钟同步系统
CN114422810B (zh) 一种基于移动端导播台多路直播同步校准的方法
CN112272316B (zh) 一种基于视频显示时间戳的多传输码流同步udp分发方法和系统
CN101202918B (zh) 一种终端校正时钟的方法
CN100571119C (zh) 一种利用移动网络实现时钟同步的方法
Kim et al. Overview of Cloud-Based High Quality Media Production System
CN104125479A (zh) 视频截图系统及方法
CN114285513B (zh) 一种支持无损ip信号长时间延时的延时器及方法
JP7247706B2 (ja) 送信ノード、放送局システム、制御ノード及び送信制御方法
CN117834985A (zh) 一种云上云下信号输出系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127