CN110445994B - 基于帧间切分的集群化实现大幅面多层实时编辑的方法 - Google Patents

基于帧间切分的集群化实现大幅面多层实时编辑的方法 Download PDF

Info

Publication number
CN110445994B
CN110445994B CN201910784689.4A CN201910784689A CN110445994B CN 110445994 B CN110445994 B CN 110445994B CN 201910784689 A CN201910784689 A CN 201910784689A CN 110445994 B CN110445994 B CN 110445994B
Authority
CN
China
Prior art keywords
machine
frame
machines
data
timeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910784689.4A
Other languages
English (en)
Other versions
CN110445994A (zh
Inventor
罗天
张金沙
贺益谦
吴若寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201910784689.4A priority Critical patent/CN110445994B/zh
Publication of CN110445994A publication Critical patent/CN110445994A/zh
Application granted granted Critical
Publication of CN110445994B publication Critical patent/CN110445994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于帧间切分的集群化实现大幅面多层实时编辑的方法,涉及视频编辑技术领域,本发明包括如下步骤:S1:利用多台机器组成InfiniBand网络集群,每台机器配置InfiniBand网卡;S2:设置每台机器具有相同的时间线信息,使得所有机器的时间线数据结构同步;S3:对输入的视频文件进行帧间切分,将切分后的不同视频帧按设定的分配规则分配到多台机器并行进行解码及渲染处理,得到渲染数据;S4:对各帧的渲染数据进行缓冲排序,形成正确的播放顺序,完成编辑,本发明采用多台机器组成集群,采用帧间切分的方式,将多层大幅面视频编辑繁重的计算任务拆分到不同机器去处理实现了不限幅面、不限层数、不限帧率的自由编辑。

Description

基于帧间切分的集群化实现大幅面多层实时编辑的方法
技术领域
本发明涉及视频编辑技术领域,更具体的是涉及一种基于帧间切分的集群化实现大幅面多层实时编辑的方法。
背景技术
当下,我们已经进入超高清大幅面视频时代,大幅面视频具备海量数据,以8K为例,非线性编辑系统要编辑一层8K4:2:2 10bit50P的视频,每秒需要处理超过50Gbit数据,且这些处理包括非常复杂的运算 ,比如解码和渲染。而目前单机非线性编辑系统的硬件能力对于编辑8K视频来说全面不足,具体体现在以下几个方面:
1、CPU解码能力不足,目前Intel高端的双路至强金牌处理器,解码8K视频时,只能一层实时,达不到两层实时,更不用说多层实时了;
2、GPU渲染能力不足,在有复杂特技的情况下,8K幅面的渲染很难达到实时;
3、GPU的数据上下行速度不足,目前的GPU是插在PCIE3.0×16的插槽上,受PCIE带宽限制,只能勉强同时上行一路8K数据和下行一路8K数据,无法支撑多层8K数据的上下行;
目前市面上的非编产品都是单机形态,并且单机非线性编辑系统的硬件能力,无法满足用户对于8K视频的编辑要求,因此研发能够实现不限幅面、不限层数、不限帧率的编辑方法是目前的主要任务
发明内容
本发明的目的在于:为了解决目前市面上的非编产品都是单机形态,并且单机非线性编辑系统的硬件能力,无法满足用户对于8K视频的编辑要求的问题,本发明提供一种基于帧间切分的集群化实现大幅面多层实时编辑的方法,采用多台机器组成集群,以帧间切分的方式,将多层大幅面视频编辑繁重的计算任务拆分到不同机器去处理,再使用非常高速的网络技术实现数据传递,使用户可以实现自由顺畅的多层大幅面视频实时编辑,操作感受和高清编辑没有太大差异,实现了不限幅面、不限层数、不限帧率的自由编辑。
本发明为了实现上述目的具体采用以下技术方案:
基于帧间切分的集群化实现大幅面多层实时编辑的方法,包括如下步骤:
S1:利用多台机器组成InfiniBand网络集群,每台机器配置InfiniBand网卡;
S2:设置每台机器具有相同的时间线信息,使得所有机器的时间线数据结构同步;
S3:对输入的视频文件进行帧间切分,将切分后的不同视频帧按设定的分配规则分配到多台机器并行进行解码及渲染处理,得到渲染数据;
S4:对各帧的渲染数据进行缓冲排序,形成正确的播放顺序,完成编辑。
进一步的,所述S1中组成InfiniBand网络集群的多台机器,包括:一台前端机器和多台后端机器。
进一步的,所述S1中利用100Gbps InfiniBand交换机实现多台机器的数据传输。
进一步的,所述S2中,利用非线性编辑系统将每台机器的时间线信息抽象为时间线数据结构,通过对时间线数据结构进行序列化和反序列化,实现所有机器的时间线数据结构同步。
进一步的,所述S3中输入视频文件,利用前端机器接收用户的UI操作,将UI操作转化为非线性编辑系统的数据结构和操作命令,驱动后端机器,并由前端机器根据后端机器的数量进行视频文件的帧间切分。
进一步的,所述S3中,设定的分配规则为:
设后端机器有N台,分别编号为机器1,机器2,…,机器N,则
视频文件的第0帧,第N帧,第2N帧,…以此类推,分配到机器1;
视频文件的第1帧,第N+1帧,第2N+1帧,…以此类推,分配到机器2;
视频文件的第2帧,第N+2帧,第2N+2帧,…以此类推,分配到机器3;
视频文件的第N-1帧,第N+N-1帧,第2N+N-1帧,…以此类推,分配到机器N。
进一步的,所述S3中,各后端机器接收前端机器的操作指令和指定帧号的视频帧,并行对视频帧进行读文件、解码、变换及渲染处理,得到对应视频帧的渲染数据,然后将渲染数据发送给前端机器。
进一步的,所述S4中,前端机器接收各后端机器返回的渲染数据,根据渲染数据的时间码对各帧的渲染数据进行缓冲排序,形成正确的播放顺序进行显示。
本发明的有益效果如下:
1、本发明利用多台后端机器并行对视频帧进行处理,每台后端机器都是同时在执行各自的任务,所以对整个集群来说,处理每帧的总体平均时间t缩短为一台后端机器处理时间的1/N,只要后端机器足够多,N足够大到使t小于每帧的时间间隔,便能实现实时播放,实现顺畅的编辑感受。
2、本发明采用了超算架构中常使用的InfiniBand网络,其核心技术是RDMA(Remote Direct Memory Access),可以大幅缩短延时,提升带宽,使用100GbpsInfiniBand交换机,每台机器插一张或两张InfiniBand网卡,每台机器的出入带宽可以达到100Gbps或200Gbps,能够满足对于 8K大幅面基带数据的低时延传输。
3、本发明的每台机器具有相同的时间线信息,所有机器的时间线数据结构同步,使得时间线上所有涉及数据改变的都会同步,比如:剪切\移动\Trim\删除素材、添加\删除\修改特技、添加\ 删除字幕、添加\删除轨道等,使得集群中的所有机器,持有完全相同的时间线信息,能够正确地协同工作。
4、本发明采用多台机器组成集群,以帧间切分的方式,将多层大幅面视频编辑繁重的计算任务拆分到不同机器去处理,再使用非常高速的网络技术实现数据传递,使用户可以实现自由顺畅的多层大幅面视频实时编辑,操作感受和高清编辑没有太大差异,而且本发明的架构非常灵活,易于扩展,进而可实现不限幅面、不限层数、不限帧率的自由编辑。
附图说明
图1是本发明具体实施方式的方法流程示意图。
图2是本发明具体实施方式的集群架构示意图。
具体实施方式
为了本技术领域的人员更好的理解本发明,下面结合附图和以下实施例对本发明作进一步详细描述。
实施例1
如图1所示,本实施例提供一种基于帧间切分的集群化实现大幅面多层实时编辑的方法,包括如下步骤:
S1:传统的网络组网方式,比如以太网,不管是10GE、25GE、40GE,都无法满足8K数据的传输要求,因此本实施例采用了InfiniBand网络,其核心技术是RDMA(Remote DirectMemory Access),可以大幅缩短延时,提升带宽,本实施例中利用多台机器组成InfiniBand网络集群,利用100Gbps InfiniBand交换机实现多台机器的数据传输,每台机器配置一张或两张InfiniBand网卡,因此每台机器的出入带宽可以达到100Gbps或200Gbps,能够满足对于大幅面基带数据的低时延传输,其中,组成InfiniBand网络集群的多台机器,包括:一台前端机器和多台后端机器;
S2:设置每台机器具有相同的时间线信息,使得所有机器的时间线数据结构同步,这样时间线上所有涉及数据改变的都会同步,比如:剪切\移动\Trim\删除素材、添加\删除\修改特技、添加\ 删除字幕、添加\删除轨道等,使得集群中的所有机器,持有完全相同的时间线信息,能够正确地协同工作;
具体的,利用非线性编辑系统将每台机器的时间线信息抽象为时间线数据结构,当前端机器做操作时,任何时间线信息的变动便反映为时间线数据结构中数据的变化,前端机器对时间线数据结构进行序列化,形成二进制数据,通过RDMA的Direct Write方式,前端机器将二进制数据发送到后端机器注册的内存中,因为相比4K、8K视频数据,时间线数据的数据量是很小的,所以时延很低,小于1ms,然后后端机器接收二进制数据,对其进行反序列化,形成和前端机器内容一致的时间线数据结构,便实现了所有机器的时间线数据结构同步,当后端机器做操作时,通过同样的方式能使得前端机器的时间线数据结构同步;
S3:对输入的视频文件进行帧间切分,将切分后的不同视频帧按设定的分配规则分配到多台机器并行进行解码及渲染处理,得到渲染数据,设定的分配规则为:
设后端机器有N台,分别编号为机器1,机器2,…,机器N,则
视频文件的第0帧,第N帧,第2N帧,…以此类推,分配到机器1;
视频文件的第1帧,第N+1帧,第2N+1帧,…以此类推,分配到机器2;
视频文件的第2帧,第N+2帧,第2N+2帧,…以此类推,分配到机器3;
视频文件的第N-1帧,第N+N-1帧,第2N+N-1帧,…以此类推,分配到机器N;
输入视频文件,利用前端机器接收用户的UI操作,将UI操作转化为非线性编辑系统的数据结构和操作命令,通知后端机器同步,并驱动后端机器,并由前端机器进行视频文件的帧间切分;
各后端机器和前端机器拥有相同的时间线数据结构,受前端机器的驱动,接收前端机器的操作指令和指定帧号的视频帧,并行对视频帧进行读文件、解码、变换及渲染等处理,渲染完毕后,得到对应视频帧的渲染数据,然后将渲染数据通过InfiniBand网络发送给前端机器;
S4:对各帧的渲染数据进行缓冲排序,形成正确的播放顺序,完成编辑,具体为:
前端机器接收各后端机器返回的渲染数据,根据渲染数据的时间码对各帧的渲染数据进行缓冲排序,形成正确的播放顺序进行显示,最后经由板卡输出到监视器,同时在显示器上显示出非编 MV画面。
本实施例利用多台后端机器并行对视频帧进行处理,每台后端机器都是同时在执行各自的任务,所以对整个集群来说,处理每帧的总体平均时间t缩短为一台后端机器处理时间的1/N,只要后端机器足够多,N足够大到使t小于每帧的时间间隔,便能实现实时播放;如图2所示,本实施例中我们编辑的是8K幅面,因为8K的幅面是4K幅面的4倍,8K单机处理一帧的时间近似为4K 单机处理一帧时间的4倍,因此我们用4台后端机器同时处理,对整个集群来说,这个时间基本就能抵消,总体能到达实时,实现顺畅的编辑感受。
以上所述,仅为本发明的较佳实施例,并不用以限制本发明,本发明的专利保护范围以权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。

Claims (7)

1.基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,包括如下步骤:
S1:利用多台机器组成InfiniBand网络集群,每台机器配置InfiniBand网卡;
S2:设置每台机器具有相同的时间线信息,使得所有机器的时间线数据结构同步;
S3:对输入的视频文件进行帧间切分,将切分后的不同视频帧按设定的分配规则分配到多台机器并行进行解码及渲染处理,得到渲染数据;
S4:对各帧的渲染数据进行缓冲排序,形成正确的播放顺序,完成编辑;
所述S2中,利用非线性编辑系统将每台机器的时间线信息抽象为时间线数据结构,当前端机器做操作时,任何时间线信息的变动便反映为时间线数据结构中数据的变化,前端机器对时间线数据结构进行序列化,形成二进制数据,通过RDMA的Direct Write方式,前端机器将二进制数据发送到后端机器注册的内存中然后后端机器接收二进制数据,对其进行反序列化,形成和前端机器内容一致的时间线数据结构,便实现了所有机器的时间线数据结构同步,当后端机器做操作时,通过同样的方式能使得前端机器的时间线数据结构同步。
2.根据权利要求1所述的基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,所述S1中组成InfiniBand网络集群的多台机器,包括:一台前端机器和多台后端机器。
3.根据权利要求1所述的基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,所述S1中利用100GbpsInfiniBand交换机实现多台机器的数据传输。
4.根据权利要求2所述的基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,所述S3中输入视频文件,利用前端机器接收用户的UI操作,将UI操作转化为非线性编辑系统的数据结构和操作命令,驱动后端机器,并由前端机器进行视频文件的帧间切分。
5.根据权利要求2所述的基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,所述S3中,设定的分配规则为:
设后端机器有N台,分别编号为机器1,机器2,…,机器N,则
视频文件的第0帧,第N帧,第2N帧,…以此类推,分配到机器1;
视频文件的第1帧,第N+1帧,第2N+1帧,…以此类推,分配到机器2;
视频文件的第2帧,第N+2帧,第2N+2帧,…以此类推,分配到机器3;
视频文件的第N-1帧,第N+N-1帧,第2N+N-1帧,…以此类推,分配到机器N。
6.根据权利要求5所述的基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,所述S3中,各后端机器接收前端机器的操作指令和指定帧号的视频帧,并行对视频帧进行读文件、解码、变换及渲染处理,得到对应视频帧的渲染数据,然后将渲染数据发送给前端机器。
7.根据权利要求2所述的基于帧间切分的集群化实现大幅面多层实时编辑的方法,其特征在于,所述S4中,前端机器接收各后端机器返回的渲染数据,根据渲染数据的时间码对各帧的渲染数据进行缓冲排序,形成正确的播放顺序进行显示。
CN201910784689.4A 2019-08-21 2019-08-21 基于帧间切分的集群化实现大幅面多层实时编辑的方法 Active CN110445994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910784689.4A CN110445994B (zh) 2019-08-21 2019-08-21 基于帧间切分的集群化实现大幅面多层实时编辑的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910784689.4A CN110445994B (zh) 2019-08-21 2019-08-21 基于帧间切分的集群化实现大幅面多层实时编辑的方法

Publications (2)

Publication Number Publication Date
CN110445994A CN110445994A (zh) 2019-11-12
CN110445994B true CN110445994B (zh) 2021-10-15

Family

ID=68437362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910784689.4A Active CN110445994B (zh) 2019-08-21 2019-08-21 基于帧间切分的集群化实现大幅面多层实时编辑的方法

Country Status (1)

Country Link
CN (1) CN110445994B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737015B (zh) * 2020-08-10 2020-12-25 成都索贝数码科技股份有限公司 基于多gpu提高大幅面非线性编辑实时层数的方法
CN118042243A (zh) * 2022-11-14 2024-05-14 北京字跳网络技术有限公司 多媒体资源处理方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752594A (zh) * 2012-06-21 2012-10-24 浙江大学 一种基于图像编解码与传输并行的集群渲染方法
CN102750297A (zh) * 2011-11-11 2012-10-24 新奥特(北京)视频技术有限公司 一种集群打包的渲染合成方法及系统
CN102833580A (zh) * 2012-09-19 2012-12-19 南京斯坦德通信股份有限公司 基于infiniband的高清视频应用系统及方法
CN105262960A (zh) * 2015-10-21 2016-01-20 北京中科大洋科技发展股份有限公司 一种基于集群渲染的立体电视信号编辑方法
CN105280205A (zh) * 2014-05-30 2016-01-27 深圳锐取信息技术股份有限公司 非线性编辑软件音视频同步处理方法及装置
CN109448092A (zh) * 2018-11-13 2019-03-08 天津津航计算技术研究所 一种基于动态任务粒度的负载均衡集群渲染方法
CN109600629A (zh) * 2018-12-28 2019-04-09 北京区块云科技有限公司 一种视频渲染方法、系统及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750297A (zh) * 2011-11-11 2012-10-24 新奥特(北京)视频技术有限公司 一种集群打包的渲染合成方法及系统
CN102752594A (zh) * 2012-06-21 2012-10-24 浙江大学 一种基于图像编解码与传输并行的集群渲染方法
CN102833580A (zh) * 2012-09-19 2012-12-19 南京斯坦德通信股份有限公司 基于infiniband的高清视频应用系统及方法
CN105280205A (zh) * 2014-05-30 2016-01-27 深圳锐取信息技术股份有限公司 非线性编辑软件音视频同步处理方法及装置
CN105262960A (zh) * 2015-10-21 2016-01-20 北京中科大洋科技发展股份有限公司 一种基于集群渲染的立体电视信号编辑方法
CN109448092A (zh) * 2018-11-13 2019-03-08 天津津航计算技术研究所 一种基于动态任务粒度的负载均衡集群渲染方法
CN109600629A (zh) * 2018-12-28 2019-04-09 北京区块云科技有限公司 一种视频渲染方法、系统及相关装置

Also Published As

Publication number Publication date
CN110445994A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN105872432B (zh) 快速自适应帧率变换的装置与方法
CN110445994B (zh) 基于帧间切分的集群化实现大幅面多层实时编辑的方法
US9325889B2 (en) Continuous video capture during switch between video capture devices
US9077970B2 (en) Independent layered content for hardware-accelerated media playback
CN103049926B (zh) 分布式三维渲染系统
CN101587431A (zh) 一种可以跨屏实现多屏播放视频的方法
CN103595896A (zh) 超高清分辨率图像同步显示方法和系统
CN103974209A (zh) 视频短信的发送、接收方法及其装置和手持电子设备
US20200252580A1 (en) Video data processing method and video data processing device
CN107613312B (zh) 一种直播的方法和装置
CN103929648B (zh) 一种帧率上采样中的运动估计方法和装置
WO2017185761A1 (zh) 2d视频播放方法及装置
CN104284187A (zh) 用于在压缩视频数据中包括缩略图的技术
CN104012059A (zh) 协处理器之间的直接链路同步通信
CN107357934A (zh) 一种基于Web的帧动画处理系统及帧动画处理方法
CN105554416A (zh) 一种基于fpga的高清视频淡入淡出处理系统及方法
CN112887682A (zh) 多路轨道图像同步采集存储系统及方法
CN106161995A (zh) 桌面式视频处理控台的特效切换装置及特效切换方法
CN110381267B (zh) 基于帧内切分的集群化实现大幅面多层实时编辑的方法
CN212660227U (zh) 一种多屏处理设备
DE102019122181B4 (de) Generalisierte niedriglatenzbenutzerinteraktion mit video auf verschiedenen transporteinrichtungen
CN102857534B (zh) 一种基于云计算的远程交互方法
EP2672695A2 (en) Continuous video capture during switch between video capture devices
CN104808976B (zh) 一种文件分享方法
CN104836973A (zh) 一种高清led显示屏视频数据收发装置及数据流控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant