CN111221657B - 一种高效视频分布式调度合成方法 - Google Patents

一种高效视频分布式调度合成方法 Download PDF

Info

Publication number
CN111221657B
CN111221657B CN202010037038.1A CN202010037038A CN111221657B CN 111221657 B CN111221657 B CN 111221657B CN 202010037038 A CN202010037038 A CN 202010037038A CN 111221657 B CN111221657 B CN 111221657B
Authority
CN
China
Prior art keywords
video
subtasks
processing time
task
subtask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010037038.1A
Other languages
English (en)
Other versions
CN111221657A (zh
Inventor
陈舟锋
陈康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Zhiyun Technology Co ltd
Original Assignee
Xinhua Zhiyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Zhiyun Technology Co ltd filed Critical Xinhua Zhiyun Technology Co ltd
Priority to CN202010037038.1A priority Critical patent/CN111221657B/zh
Publication of CN111221657A publication Critical patent/CN111221657A/zh
Application granted granted Critical
Publication of CN111221657B publication Critical patent/CN111221657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供一种高效视频分布式调度合成方法，包括如下步骤：S1)构建视频任务处理时长预估模型；S2)视频任务切割；S3)子任务并行处理；S4)更新视频任务处理时长预估模型。本发明的优点如下：结合分布式系统的并行能力和大数据系统的分析能力，将视频任务切割成多个子任务，并行处理多个子任务和子任务的各个组件，优化视频任务调度，大大提高了视频合成的效率。

Description

一种高效视频分布式调度合成方法
技术领域
本发明涉及视频合成技术领域，具体涉及一种高效视频分布式调度合成方法。
背景技术
视频作为信息传播媒介，正在越来越多领域发挥着重要的作用。视频合成是视频生产过程中必不可少的一个环节。通常，需要使用多种素材合成，才能产出一个最后的视频结果。
现有的方案中，基本都是在单机上通过视频编辑器来合成视频，在视频编辑器内添加需要的素材和特效，调整视频轴，再通过本台机器的计算能力来完成视频的合成。在单机上采用视频编辑器合成视频存在如下缺陷：
(1)视频合成的效率受当前机器的计算能力限制，通常一个视频合成所需的时间和合成结果视频的时长成正比，若添加的特效较多，合成耗时可能需要几倍于结果视频的时长。
(2)无法通过视频合成的历史数据，找出某些特别耗时的特效、功能，对这些特效、功能做优化。
(3)无法通过水平扩展的方法，来加速视频的合成，不能使用普通x86机器组成集群来协调处理视频合成任务。
(4)限于带有显卡的机器来做视频合成。
发明内容
本发明的目的是提供一种结合分布式系统的并行能力和大数据系统的分析能力、提高合成效率的高效视频分布式调度合成方法。
为了达到上述目的，本发明通过以下技术方案来实现：
一种高效视频分布式调度合成方法，包括如下步骤：
S1)构建视频任务处理时长预估模型
对视频合成任务拆分成多个子任务，将子任务信息和处理时长导入到大数据系统，基于大量数据的运行、比较，计算子任务中各个组件对子任务处理时长的影响，得到每个组件的处理时间加权；
通过计算每个子任务中每个组件的加权因子，得到最后每个子任务的预估时长；
S2)视频任务切割
调度服务接收到视频合成任务后，分析视频任务中包括视频元素、特效、字幕、视频轴、音频轴等信息，基于每个子任务的处理时长是X秒的假设，对视频合成任务做切割，由于子任务之间存在依赖关系，调度服务根据依赖关系画出调度的有限无环图；
以视频主轴作为基线，假设对于普通视频的处理效率是两倍速，则需要切分X*2秒的主轴视频；
根据预估模型，计算切割区间内各个组件的预估时长；如果总预估时长超过X*1.5秒，则需要减小切割区间，重新切割使得当前子任务各个组件的总预估时长接近X秒；
如果切割点在不可切割区间，将不可切割区间重新处理：若预估处理时间超过X秒，则将该不可切割区间留给下一个子任务；若预估处理时间少于X秒，则扩大切割区间，包含该不可切割区间；
S3)子任务并行处理
结合子任务的预计耗时和有限无环图计算优先级，将所有子任务存储到优先级队列中，执行器通过调度服务的http接口获取任务、执行任务，各个执行器并行处理并输出最后的视频结果；
S4)更新视频任务处理时长预估模型
不断利用子任务的历史处理数据，计算子任务中各个组件对处理时长的影响，调整优化预估模型。
进一步地，所述不可切割时间区间为需要全局计算、无法切割的视频元素。
进一步地，所述子任务为svg子任务或音频子任务或视频子任务。
进一步地，所述子任务的组件为字幕或特效。
本发明与现有技术相比，具有以下优点：
本发明一种高效视频分布式调度合成方法，结合分布式系统的并行能力和大数据系统的分析能力，将视频任务切割成多个子任务，并行处理多个子任务和子任务的各个组件，优化视频任务调度，大大提高了视频合成的效率。
附图说明
图1是本发明一种高效视频分布式调度合成方法的流程示意图；
图2是本发明一种高效视频分布式调度合成方法的子任务DAG图；
图3是本发明一种高效视频分布式调度合成方法视频任务切割流程示意图。
具体实施方式
下面结合附图，对本发明的实施例作进一步详细的描述。
如图1所示，一种高效视频分布式调度合成方法，包括如下流程：S1)构建视频任务处理时长预估模型；S2)视频任务切割；S3)子任务并行处理；S4)更新视频任务处理时长预估模型。
具体地，一种高效视频分布式调度合成方法，包括如下步骤：
S1)构建视频任务处理时长预估模型
对视频合成任务拆分成多个子任务，将子任务信息和处理时长导入到大数据系统，基于大量数据的运行、比较，计算子任务中各个组件对子任务处理时长的影响，得到每个组件的处理时间加权；例如，字幕的加权因子是0.1，那么在X秒的视频上加上字幕处理，会增加X*0.1秒的处理耗时。
所述子任务为svg子任务或音频子任务或视频子任务，所述子任务的组件为字幕或特效等。
通过计算每个子任务中每个组件的加权因子，得到最后每个子任务的预估时长。
S2)视频任务切割
调度服务接收到视频合成任务后，分析视频任务中包括视频元素、特效、字幕、视频轴、音频轴等信息，基于每个子任务的处理时长是X秒的假设，对视频合成任务做切割，由于子任务之间存在依赖关系，调度服务根据依赖关系画出调度的有限无环图，如图2所示作出的DAG图。
以视频主轴作为基线，假设对于普通视频的处理效率是两倍速，则需要切分X*2秒的主轴视频；由于没有特效的普通视频处理是2倍速，则X*2秒的视频处理耗时就为X*2/2秒，刚好是X秒，因此大于X*2秒的视频才做任务切分。
根据预估模型，计算切割区间内各个组件的预估时长；如果总预估时长超过X*1.5秒，则需要减小切割区间，重新切割使得当前子任务及各个组件的总预估时长接近X秒；总预估时长为子任务预估时间与子任务各个组件预估时间之和。
如果切割点在不可切割区间，将不可切割区间重新处理：若预估处理时间超过X秒，则将该不可切割区间留给下一个子任务；若预估处理时间少于X秒，则扩大切割区间，包含该不可切割区间。
所述不可切割时间区间为需要全局计算、无法切割的视频元素，比如淡入淡出、转场等特效。
S3)子任务并行处理
结合子任务的预计耗时和有向无环图计算优先级，将所有子任务存储到优先级队列中；在有向无环图DAG中，前置依赖的任务优先，长耗时任务优先调度。执行器通过调度服务的http接口获取任务、执行任务，各个执行器并行处理并输出最后的视频结果。
每个子任务处理的时候，会将子任务信息和处理时长记录下来，便于导入到大数据系统里进行分析。
S4)更新视频任务处理时长预估模型
不断利用子任务的历史处理数据，计算子任务中各个组件对处理时长的影响，调整优化预估模型。当出现某些组件对视频处理的加权因子特别大的情况下，可以针对性地优化这些组件的处理方式，更好地提高视频合成性能。
以上所述仅是本发明优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (4)

1.一种高效视频分布式调度合成方法，其特征在于包括如下步骤：
S1）构建视频任务处理时长预估模型
对视频合成任务拆分成多个子任务，将子任务信息和处理时长导入到大数据系统，基于大量数据的运行、比较，计算子任务中各个组件对子任务处理时长的影响，得到每个组件的处理时间加权；
通过计算每个子任务中每个组件的加权因子，得到最后每个子任务的预估时长；
S2）视频任务切割
调度服务接收到视频合成任务后，分析视频任务中包括视频元素、特效、字幕、视频轴、音频轴信息，基于每个子任务的处理时长是X秒的假设，对视频合成任务做切割，由于子任务之间存在依赖关系，调度服务根据依赖关系画出调度的有限无环图；
以视频主轴作为基线，假设对于普通视频的处理效率是两倍速，则大于X*2秒的主轴视频需要切分；
根据预估模型，计算切割区间内各个组件的预估时长；如果总预估时长超过X*1.5秒，则需要减小切割区间，重新切割使得当前子任务各个组件的总预估时长接近X秒；
如果切割点在不可切割区间，将不可切割区间重新处理：若预估处理时间超过X秒，则将该不可切割区间留给下一个子任务；若预估处理时间少于X秒，则扩大切割区间，包含该不可切割区间；
S3）子任务并行处理
结合子任务的预计耗时和有向无环图计算优先级，将所有子任务存储到优先级队列中，执行器通过调度服务的http接口获取任务、执行任务，各个执行器并行处理并输出最后的视频结果；
S4）更新视频任务处理时长预估模型
不断利用子任务的历史处理数据，计算子任务中各个组件对处理时长的影响，调整优化预估模型。
2.根据权利要求1所述的一种高效视频分布式调度合成方法，其特征在于：所述不可切割时间区间为需要全局计算、无法切割的视频元素。
3.根据权利要求1所述的一种高效视频分布式调度合成方法，其特征在于：所述子任务为svg子任务或音频子任务或视频子任务。
4.根据权利要求1所述的一种高效视频分布式调度合成方法，其特征在于：所述子任务的组件为字幕或特效。
CN202010037038.1A 2020-01-14 2020-01-14 一种高效视频分布式调度合成方法 Active CN111221657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010037038.1A CN111221657B (zh) 2020-01-14 2020-01-14 一种高效视频分布式调度合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010037038.1A CN111221657B (zh) 2020-01-14 2020-01-14 一种高效视频分布式调度合成方法

Publications (2)

Publication Number Publication Date
CN111221657A CN111221657A (zh) 2020-06-02
CN111221657B true CN111221657B (zh) 2023-04-07

Family

ID=70832302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010037038.1A Active CN111221657B (zh) 2020-01-14 2020-01-14 一种高效视频分布式调度合成方法

Country Status (1)

Country Link
CN (1) CN111221657B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866587B (zh) * 2021-01-13 2023-04-07 北京鼎事兴教育咨询有限公司 口语视频合成任务的分发方法及系统
CN117998163A (zh) * 2022-11-07 2024-05-07 北京字跳网络技术有限公司 视频编辑方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN104850576A (zh) * 2015-03-02 2015-08-19 武汉烽火众智数字技术有限责任公司 一种基于海量视频的快速特征提取系统
CN109040779A (zh) * 2018-07-16 2018-12-18 腾讯科技（深圳）有限公司 字幕内容生成方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120068540A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN104850576A (zh) * 2015-03-02 2015-08-19 武汉烽火众智数字技术有限责任公司 一种基于海量视频的快速特征提取系统
CN109040779A (zh) * 2018-07-16 2018-12-18 腾讯科技（深圳）有限公司 字幕内容生成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111221657A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111221657B (zh) 一种高效视频分布式调度合成方法
US20190034223A1 (en) Task resource scheduling method and apparatus
US7817900B2 (en) GPU timeline with render-ahead queue
CN110471754B (zh) 作业调度中的数据展示方法、装置、设备及存储介质
CN1075021A (zh) 多媒体计算机操作系统及方法
CN103502943A (zh) 一种基于消息队列的分布式任务处理的方法、装置及系统
JP6245573B2 (ja) 制御フロー・グラフ上の実行パスの実行頻度情報を得るための方法、並びに、当該情報を得るためのコンピュータ及びそのコンピュータ・プログラム
CN102461173A (zh) 解码装置、解码方法以及编辑装置
CN110716802A (zh) 一种跨集群的任务调度系统及方法
de Kruijff et al. Integer programming models for mid-term production planning for high-tech low-volume supply chains
Wang et al. Task scheduling for MapReduce in heterogeneous networks
CN110019932A (zh) 数据处理的方法及装置
Lippolt et al. Sizing of heijunka-controlled production systems with unreliable production processes
CN112751856A (zh) 一种可编排流程的媒体处理系统
CN111445562B (zh) 文字动画生成方法及装置
CN112086178A (zh) 医护自动化排班方法、装置、计算机可读存储介质及设备
CN111736967B (zh) 多分支流程管控装置、流程模板生成方法及存储介质
Moghaddam et al. Predictive-reactive rescheduling for new order arrivals with optimal dynamic pegging
Sterna Dominance relations for two-machine flow shop problem with late work criterion
Kopanos et al. Integrated operational and maintenance planning of production and utility systems
CN112468414A (zh) 一种云计算多级调度方法、系统及存储介质
CN117931458B (zh) 一种推理服务调度方法、装置、处理器及芯片
CN113254181B (zh) 一种自适应调度方法及系统
CN115827196A (zh) 数据处理任务的执行方法及装置
US20230142302A1 (en) Audio processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant