CN114339399A - 多媒体文件剪辑方法、装置及计算设备 - Google Patents

多媒体文件剪辑方法、装置及计算设备 Download PDF

Info

Publication number
CN114339399A
CN114339399A CN202111611841.2A CN202111611841A CN114339399A CN 114339399 A CN114339399 A CN 114339399A CN 202111611841 A CN202111611841 A CN 202111611841A CN 114339399 A CN114339399 A CN 114339399A
Authority
CN
China
Prior art keywords
multimedia file
target
type
content
currently played
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111611841.2A
Other languages
English (en)
Inventor
奚晓钰
陆彦良
周苏建
李东晓
移金圣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202111611841.2A priority Critical patent/CN114339399A/zh
Publication of CN114339399A publication Critical patent/CN114339399A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及视频处理技术领域,公开了一种多媒体文件剪辑方法、装置、计算设备及计算机可读存储介质,该方法包括:根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。通过上述方式,本发明实施例实现了自动生成剪辑内容,增强用户体验的效果。

Description

多媒体文件剪辑方法、装置及计算设备
技术领域
本发明实施例涉及视频处理技术领域,具体涉及一种多媒体文件剪辑方法、装置、计算设备及计算机可读存储介质。
背景技术
目前,对于多媒体文件剪辑,例如视频剪辑,无论是专业媒体还是用户内容生产,都需要实时拍摄视频或者照片,或者对线下存储视频或者照片进行编辑,而现有的多媒体文件剪辑方法社交实时性和趣味性较低,且对于高质量内容生产的要求也比较高,制作视频内容需要较高的视频处理专业度,或者依赖视频处理专业工具,对大多数普通非专业用户不友好,处理效率也不高。尽管已有内容生产应用有开发嵌入一些视频渲染技能,但因为对普通用户而言是批量制作,可扩展性和挖掘用户自生产创造能力不高。
发明内容
鉴于上述问题,本发明实施例提供了一种多媒体文件剪辑方法、装置、计算设备及计算机可读存储介质,用于解决现有技术中存在的多媒体文件剪辑的效率较低的问题。
根据本发明实施例的一个方面,提供了一种多媒体文件剪辑方法,所述方法包括:
根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;
响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标表中匹配,得到所述内容类型匹配的目标列表;所述数据库中的类型-目标列表为预先对不同类型的多媒体文件样本中的目标识别所得到的内容类型对应目标的表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述当前播放的多媒体文件对应的各个目标及所述目标的概率;根据所述目标的概率对所述目标进行排序,得到所述内容类型匹配的目标列表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表之前,包括:获取多媒体文件样本的内容类型;对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标;根据所述多媒体文件样本的内容类型及所述多媒体文件样本对应的目标,得到类型与目标关系。
在一种可选的方式中,所述对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标之后,包括:确定每个类型的多媒体文件样本中,每个目标出现的次数以及所有目标出现的总次数;根据每个目标出现的次数以及所有目标出现的总次数,确定所述类型与目标关系的概率。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容之前,包括:将所述内容类型匹配的目标列表展示给用户;接收所述用户对所述目标列表中目标的选择。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,包括:确定用户选择的目标在所述多媒体文件中的位置;根据所述位置对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
根据本发明实施例的另一方面,提供了一种多媒体文件剪辑装置,包括:
确定模块,用于根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;
剪辑模块,用于响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
根据本发明实施例的另一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行所述的多媒体文件剪辑方法的操作。
根据本发明实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令在计算设备上运行时,使得计算设备执行所述的多媒体文件剪辑方法的操作。
本发明实施例通过根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,能够实时匹配内容类型高效给用户推荐剪辑动作内容,在视频播放过程中,将预先获取的motion列表提供给用户,根据用户选取的motion进行多媒体文件剪辑,后台自动生成剪辑内容,实现内容自生产社交系统,提升用户体验,提价用户流量和粘性。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的多媒体文件剪辑方法的流程示意图;
图2示出了本发明实施例提供的多媒体文件剪辑装置的结构示意图;
图3示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
随着技术的进步,对于多媒体文件的消费,例如短视频内容消费,愈来愈商业化,需要用到的场景也越来越广泛,个人消费者观看或者制作打发时间、公司内部企业宣传、专业生产者制作专业有趣内容割流量等。
从以往的专业媒体生产,到目前面向用户的内容生产应用普及,目前使用相当广泛的。但无论是专业媒体还是用户内容生产,其使用都是有局限的,需要实时拍摄视频或者照片,或者对线下存储视频或者照片进行编辑,社交实时性和趣味性降低。并且,对于高质量内容生产的要求也比较高,看专业生产者或者比较热门的个人用户生产者,制作视频内容需要较高的视频处理专业度,或者依赖视频处理专业工具,对大多数普通非专业用户不友好,生产效率也不高。尽管已有内容生产应用有开发嵌入一些视频渲染技能,但因为对普通用户而言是批量制作,可扩展性和挖掘用户自生产创造能力不高。
目前主要分为3种方法,1、根据所述起始时间点、所述结束时间点以及对应的视频ID进行视频片段提取,返回的所述视频片段文件的视频地址。(一种在线视频直播实时剪辑方法和装置)2、通过视频处理工具对RTMP格式的直播流视频转码成m3u8格式,利用m3u8文件打点剪辑。(一种对直播流视频进行实时剪辑方法和装置)3、获取直播视频流的图片帧进行图像识别,根据所述剪辑位置从所述直播视频流中剪辑出目标视频片段。(直播多媒体文件剪辑方法、装置和电子设备)。
针对现有多媒体文件剪辑的问题以及应用场景的局限性,本申请提出一种多媒体文件剪辑方法,以应用于利用实时剪辑的内容自生产社交系统。
图1示出了本发明实施例提供的多媒体文件剪辑方法的流程图,该方法由计算设备执行。该计算设备可以是计算机设备、终端设备,如服务器、视频播放器、阅读器等。如图1所示,该方法包括以下步骤:
步骤110:根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表。
其中,该当前播放的多媒体文件可以为视频、音频或文本,本发明实施例不做具体限制。本发明实施例中的目标指的是多媒体文件的内容中存在的目标。其中,若多媒体文件为音频或文本,目标可以是人物、场景等,可以通过识别音频对应的文本内容生成对应的人物、场景等目标。若多媒体文件为视频,则目标可以是动作、人物、场景等,也可以是动作、人物、场景等的组合,本领域技术人员可依据具体场景进行相应设置,本发明实施例不做具体限制。
本发明实施例以下以多媒体文件为视频为例进行介绍。
本发明实施例中,预先设置数据库中的类型-目标列表,数据库中的类型-目标列表为预先对不同类型的多媒体文件样本中的目标识别所得到的内容类型对应目标的表。该类型-目标列表的具体生成过程包括:
设定各种内容类型对应的各种目标,具体可以人为设定,也可以通过算法对多媒体文件样本进行目标识别,获取多媒体文件样本对应的目标列表。通过算法对视频样本进行目标识别,获取视频样本对应的目标列表的过程为:获取视频样本的内容类型;对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标;根据所述多媒体文件样本的内容类型及所述多媒体文件样本对应的目标,得到类型与目标关系。
具体地,以目标为动作为例,取媒资库现有的视频资源,按预设统计抽样规则随机抽取N个视频样本,获得其中每个视频的type(内容类型)。预设统计抽样规则可以为:设定视频样本的视频信息,并将视频信息查询条件简化,为[视频ID-视频type level(视频细分级别)-视频type],其中,视频type level-视频type表示视频类别。本发明的一个实施例中,抽样统计抽样规则为:根据对应的视频type level-视频type分类,获得分层数据,然后对每一层视频type level-视频type随机抽取一定数量视频ID。其中,统计抽样规则也可以结合具体业务要求和业务指标,比如随机抽取可以换成按照视频播放量、完播率、评分等指标由高到低排序,将构建过程使用的视频样本限制在一般用户感兴趣的视频,简化性能,提高命中率。抽取一定数量视频ID是指为获得N个视频样本,每个type(内容类型)对应需抽取的视频数量,可以按照N/type总数平均分配,假如type总数为10,则每个type对应需抽取的视频数量应为N/10,但考虑每个type对应的视频总量分布不均,且未必每个type都能提取出N/10个视频,有些type视频总量都不到N/10个,因此提取数量也可以按照type对应的视频总量分布来合理计算各自抽取视频数量,即按比例提取,为N*(某一type对应的视频总量占总视频量的比例),比如某一type对应的视频总量为ntype,媒资库共有视频数量为N总,则该type对应的视频总量占总视频量的比例为ntype/N总,其对应需抽取的视频数量应为N*(ntype/N总)。此外,考虑type细分级别(视频type level)对抽样提取视频的影响,有些一级type过大,导致其所占比例过大,过度抽样提取,故以上提取视频时只按最低一级type抽取,比如type一共细分为三级,则按照三级来提取,其余级别type虽然不参与抽样提取,但信息保存在视频ID对应的信息数据中,以便后续处理。然后,通过算法对视频进行识别,获取其motion(动作)列表。其中,同一个视频的type可能不止一个,同一个一级type下也可能会有几级type,因此根据笛卡尔乘积(笛卡尔乘积是指在数学中,两个集合X和Y的笛卡尔积,表示为X×Y,第一个对象是X的成员而第二个对象是Y的所有可能有序对的其中一个成员)将其多个type(内容类型)和motion(动作)关联,对于N个视频样本中type-motion关系进行去重,再存入type-motion表。其中,去重包括视频去重以及type-motion关系去重。对于视频去重,如果一个视频只有一个独立的type,就不存在视频去重。但同一个视频的type可能不止一个,同一个一级type下也可能会有几级type,基于此,本身根据以上抽样提取视频的规则,N个视频样本中就有重复视频,对于通过算法对视频样本进行动作识别,获取其motion列表,即从视频中提取motion前,对视频去重可以降低其处理难度。对于type-motion关系去重,因为不同视频中提取出的关系会有重复,比如爱情-接吻可能会出现在很多视频中,提取出来的关系相应就会有重复。但对于关系本身存表只需要一个记录,也就是probability矩阵的下标组合去重后只剩下不含重复的一组。其中,内容类型是否细化划分几级视具体情况而定,比如type=球赛,球赛为其一级type,支持将其划分为足球、篮球、羽毛球等二级type,比如二级type足球还可以进一步划分为足球联赛、足球锦标赛、世界杯足球等三级type。
本发明实施例中,对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标之后,还确定类型与目标关系的概率。包括:确定每个类型的多媒体文件样本中,每个目标出现的次数以及所有目标出现的总次数;根据每个目标出现的次数以及所有目标出现的总次数,确定所述类型与目标关系的概率。其中,一种内容类型可能对应有多种目标,每种目标在该内容类型中均存在对应的概率。类型与目标关系的概率可通过概率值probability矩阵表示,根据提取的type-motion关系在N个多媒体文件样本中出现的概率赋值,从而得到概率值probability矩阵。具体的,根据每个type对应的motion比例确定,0.24表示特定type即爱情里出现motion拥抱的比例。如分出筛选出n个type=爱情的视频中动作motion总共有5种类型,5种类型动作出现次数为100次,根据probability[爱情,接吻]=0.31表示100个动作中接吻出现31次,probability[爱情,拥抱]=0.24表示100个动作中拥抱出现24次。其中,对于不存在的类型与目标关系其概率值为0。比如probability[爱情,进球]=0.00。这里如果目标只考虑动作,比如接吻,某一type对应probability向量和为1,如果motion除了考虑动作以外还考虑场景等,比如甜蜜,则probability向量和则有可能大于1。其中,概率值probability设置为二维矩阵,为了方便查找计算更新,矩阵设置为维度可变的等秩矩阵,维度为type数量*motion数量,即[type数量,motion数量],因为type数量和motion数量会根据训练迭代更新,所以矩阵维度可变,里面值设置为double类型,默认为0.00。
本发明实施例中,还定期对类型-目标列表进行更新和优化。例如,考虑到媒资库中多媒体文件原有内容类型未必是最细化的内容类型,关联查找出的目标列表相应就不是最合理的,因此,结合前述提到的type细分的概念,可以对目标进行再处理,即根据高级别内容类型关联低级别内容类型来匹配目标。type是否细化划分几级视具体场景而定,比如对于多媒体文件为视频时,type=球赛,球赛为其一级type,支持将其划分为足球、篮球、羽毛球等二级type,比如二级type足球还可以进一步划分为足球联赛、足球锦标赛、世界杯足球等三级type。比如原有type为球赛,其可能包含的motion如进球、黄牌、开球、摔跤等,根据阈值筛选出进球、黄牌、开球三个motion,这种场景考虑将视频中的球实体进行视频图像定位识别,判断出球实体具体属于那种类型,该判断即为根据视频细化type的正向反馈。根据不同类型球实体,会关联出低级别type对应的motion,更为精细化。比如识别出足球,其对应motion关联由高到低可能是颠球、踢球、接球、抢截球,如取高于阈值的颠球、踢球,通过低级type扩充了原有一级type匹配出的motion,降低了一级type可能存在的局限性。此外,对于一些交叉动作场景,即仅根据type对应的motion场景或者动作受限,根据场景扩充动作,或者动作扩充场景,如温情里面有很多球赛动作,或者球赛里有一些温情的拥抱场景,可以结合视频简介和字幕文字信息,提取文中关键信息,匹配扩充类型-目标表格。
通过上述方式,得到内容类型与目标的对应关系及概率,从而得到类型-目标列表。根据算法训练输出类型-目标表后,将其存储在数据库中。只要获得内容类型后,通过查询该类型-目标表,即可得到相应视频的目标列表,后面在任何视频,无论是直播、回看、缓存等,都无需全量通过算法识别motion,只需更新迭代type-motion表,并且在算法层面通过多媒体文件样本识别初始化的motion列表,比实时定位中算法需要进行视频帧/片段识别motion和motion定位视频帧/片段两步迭代效率更高,因此在效率体验方面有所提高。
因此,本发明实施例在获取当前播放的多媒体文件的内容类型后,根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标表中匹配,从而得到所述内容类型匹配的目标列表。该内容类型匹配的目标列表包括当前播放的多媒体文件对应的各个目标及所述目标的概率。具体地,根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述当前播放的多媒体文件对应的各个目标及所述目标的概率,根据所述目标的概率对所述目标进行排序,得到所述内容类型匹配的目标列表。其中,可将内容类型匹配的目标列表中的目标按照概率从大到小排列。例如,根据客户端当前播放的多媒体文件的内容类型,匹配数据库中type-motion表,取出其初始值列表,比如type=爱情,其可能包含的motion如接吻、拥抱、甜宠、撒糖等;type=球赛,其可能包含的motion如进球、黄牌、开球、摔跤等,在列表中按照概率值probability由大到小排序。
步骤120:响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
本发明实施例中,在响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容之前,还将所述内容类型匹配的目标列表展示给用户,接收所述用户对所述目标列表中目标的选择。本发明实施例中,可将内容类型匹配的目标列表中概率值大于预设阈值的目标展示给用户。用户选择想要剪辑的目标,客户端接收到用户的选择操作后,在视频观看过程中,根据用户的选择操作对当前播放的多媒体文件进行后台处理,生成剪辑内容,从而不影响用户观看进度。该剪辑内容为剪辑视频。若当前播放的多媒体文件为直播视频,用户暂停直播视频后,后台剪辑正常运行,从而不影响用户继续观看时错过的那些场景片段。
本发明实施例中,响应于用户对所述目标列表中目标的选择操作,确定用户选择的目标在所述多媒体文件中的位置,根据所述位置对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。其中,可通过预设的识别算法识别用户选择的目标在视频中的位置,如图像识别等。本发明的一个实施例中,当目标为场景时,还可以根据用户观看的表情变化,识别视频详细动作场景类型。比如用户大笑识别出视频场景为搞笑,用户哭泣识别出感人等。
其中,还可以结合用户特征,确定所要展示给用户的目标列表中目标。其中,用户特征为根据历史的用户习惯生成的,例如可以是根据用于历史对于目标的选择等,以便更好更快更精准的推荐目标给用户。
其中,当前播放的多媒体文件中可能在不同时刻存在多个目标,因此需要对当前播放的多媒体文件中的目标进行多次剪辑。在得到各个剪辑内容后,可对剪辑内容的整合处理。如,对于球赛可以根据识别出的球星分类,构成球星-动作组合分类剪辑;影视剧,根据演员表排序,识别出剧集中出现的演员,根据主角角色剪辑,构成角色-动作组合分类剪辑等。
本发明实施例中,在得到剪辑内容后,可将剪辑好的剪辑内容或剪辑内容的列表展示给用户。例如,可在用户暂停当前播放的多媒体文件或当前播放的多媒体文件播放结束时,将剪辑好的剪辑内容或剪辑内容的列表展示给用户。用户可以自主选择然后制作,例如可以加入换脸、换场景、变声等视频处理,得到用户的生产内容。接收用户的分享或发布指令,将对应的用户的生产内容分享或发布。其中,在将对应的用户的生产内容分享或发布后,还可以接收其它用户对该用户的生产内容转发、评论或点赞操作,从而增加用户互动活跃度,提高用户粘性和应用的社交属性。
其中,该方法还包括:展示线上活动给用户,以使用户将该用户处理后的视频上传,参与线上活动,从而调用用户生产积极性,提高自生产内容质量,形成良性生态圈。
本发明实施例中,还可以根据用户对视频的操作,进行剪辑,生成剪辑内容。如用户在视频观看中对当前播放的多媒体文件中感兴趣的场景或者某一图像帧进行截图,则根据所截图的视频帧进行剪辑,生成剪辑内容。因为在视频播放中,用户截图操作可能会有反应时长,用户的反应时长越长会导致实际截取帧离预想帧越远,想生成gif的场景偏移越大。为了消除反应时造成的截取帧和预想帧的区别,提高截取视频帧的准确性,可以保存实际截取帧之前的几帧待选,或者在用户触发截图时,给出前后几帧的帧选择,用户自主选取特定帧,生成gif(剪辑内容)。如果用户选择生成了gif,考虑在直播评论中可以直接发送gif分享互动;应用性能支持的情况下,也可以将上面实时剪辑的视频通过视频指纹或者视频播放缩略图或者视频二维码等分享的形式发在评论区。当然,分享功能并不局限于评论区,也可以跨app、跨社交应用分享。在增加剪辑视频和gif动态的评论区互动生态形成的基础上,可以设置支持用户在评论区(聊天室)点击头像或者用户名查看该用户信息,信息包括用户通过实时剪辑生产的所有内容,包括但不限于基于本场比赛或者本视频本身的内容。当然,也可以自定义设置内容可见度,针对关注用户或者好友或者陌生用户等,通过可见度显示部分内容。用户间互相查看剪辑内容的前提,是用户对生产内容进行了发布,并且客户端支持用户发布内容,版权许可的情况下也可以保存内容到本地。在查看的基础上还可以扩展转、评、赞功能。
本发明实施例中,还可以接收用户的评论,具体地,用户还可以通过语音启动评论入口,语音转文字,表情/语音合成生成视频或截图。具体规则为:通过语音情感和文字情感匹配+图片/gif匹配,加权匹配,图片/gif也根据过滤算法匹配数据库存储前N条没有出现的。比如语音情感识别兴奋、文字情感识别为积极,图片/gif情感匹配为兴奋积极类型的(根据加权匹配,未必精确匹配)。根据用户评论,定位当前播放的多媒体文件的视频帧,根据该视频帧进行剪辑,生成剪辑内容。其中可根据用户评论确定用户认为的精彩评论发送时间点,从而定位到视频帧。
本发明实施例中,为提高性能,还定期进行大量缓存数据自动清理,根据点评赞人数,以及视频图片相似度识别,高于阈值就直接清理本地缓存或选择性保留。
本发明实施例通过根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,能够实时匹配内容类型高效给用户推荐剪辑动作内容,在视频播放过程中,将预先获取的motion列表提供给用户,根据用户选取的motion进行多媒体文件剪辑,后台自动生成剪辑,实现内容自生产社交系统,提升用户体验,提价用户流量和粘性。
图2示出了本发明实施例提供的多媒体文件剪辑装置的结构示意图。如图2所示,该装置200包括:确定模块210和剪辑模块220。
确定模块210,用于根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表。
剪辑模块220,用于响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标表中匹配,得到所述内容类型匹配的目标列表;所述数据库中的类型-目标列表为预先对不同类型的多媒体文件样本中的目标识别所得到的内容类型对应目标的表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述当前播放的多媒体文件对应的各个目标及所述目标的概率;根据所述目标的概率对所述目标进行排序,得到所述内容类型匹配的目标列表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表之前,包括:获取多媒体文件样本的内容类型;对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标;根据所述多媒体文件样本的内容类型及所述多媒体文件样本对应的目标,得到类型与目标关系。
在一种可选的方式中,所述对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标之后,包括:确定每个类型的多媒体文件样本中,每个目标出现的次数以及所有目标出现的总次数;根据每个目标出现的次数以及所有目标出现的总次数,确定所述类型与目标关系的概率。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容之前,包括:将所述内容类型匹配的目标列表展示给用户;接收所述用户对所述目标列表中目标的选择。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,包括:确定用户选择的目标在所述多媒体文件中的位置;根据所述位置对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
本发明实施例的多媒体文件剪辑装置的工作过程与上述多媒体文件剪辑方法的方法步骤大体一致,此处不再赘述。
本发明实施例通过根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,能够实时匹配内容类型高效给用户推荐剪辑动作内容,在视频播放过程中,将预先获取的motion列表提供给用户,根据用户选取的motion进行多媒体文件剪辑,后台自动生成剪辑,实现内容自生产社交系统,提升用户消费视频体验,提价用户流量和粘性。
图3示出了本发明实施例提供的计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图3所示,该计算设备可以包括:处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中:处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304,用于与其它设备比如客户端或其它服务器等的网元通信。处理器302,用于执行程序310,具体可以执行上述用于多媒体文件剪辑方法实施例中的相关步骤。
具体地,程序310可以包括程序代码,该程序代码包括计算机可执行指令。
处理器302可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。该计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器306,用于存放程序310。存储器306可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序310具体可以被处理器302调用使计算设备执行以下操作:
根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;
响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标表中匹配,得到所述内容类型匹配的目标列表;所述数据库中的类型-目标列表为预先对不同类型的多媒体文件样本中的目标识别所得到的内容类型对应目标的表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述当前播放的多媒体文件对应的各个目标及所述目标的概率;根据所述目标的概率对所述目标进行排序,得到所述内容类型匹配的目标列表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表之前,包括:获取多媒体文件样本的内容类型;对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标;根据所述多媒体文件样本的内容类型及所述多媒体文件样本对应的目标,得到类型与目标关系。
在一种可选的方式中,所述对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标之后,包括:确定每个类型的多媒体文件样本中,每个目标出现的次数以及所有目标出现的总次数;根据每个目标出现的次数以及所有目标出现的总次数,确定所述类型与目标关系的概率。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容之前,包括:将所述内容类型匹配的目标列表展示给用户;接收所述用户对所述目标列表中目标的选择。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,包括:确定用户选择的目标在所述多媒体文件中的位置;根据所述位置对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
本发明实施例的多媒体文件剪辑装置的工作过程与上述多媒体文件剪辑方法的方法步骤大体一致,此处不再赘述。
本发明实施例通过根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,能够实时匹配内容类型高效给用户推荐剪辑动作内容,在视频播放过程中,将预先获取的motion列表提供给用户,根据用户选取的motion进行多媒体文件剪辑,后台自动生成剪辑,实现内容自生产社交系统,提升用户消费视频体验,提价用户流量和粘性。
本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在计算设备上运行时,使得所述计算设备执行上述任意方法实施例中的多媒体文件剪辑方法。
可执行指令具体可以用于使得计算设备执行以下操作:
根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;
响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标表中匹配,得到所述内容类型匹配的目标列表;所述数据库中的类型-目标列表为预先对不同类型的多媒体文件样本中的目标识别所得到的内容类型对应目标的表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述内容类型匹配的目标列表,包括:根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述当前播放的多媒体文件对应的各个目标及所述目标的概率;根据所述目标的概率对所述目标进行排序,得到所述内容类型匹配的目标列表。
在一种可选的方式中,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表之前,包括:获取多媒体文件样本的内容类型;对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标;根据所述多媒体文件样本的内容类型及所述多媒体文件样本对应的目标,得到类型与目标关系。
在一种可选的方式中,所述对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标之后,包括:确定每个类型的多媒体文件样本中,每个目标出现的次数以及所有目标出现的总次数;根据每个目标出现的次数以及所有目标出现的总次数,确定所述类型与目标关系的概率。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容之前,包括:将所述内容类型匹配的目标列表展示给用户;接收所述用户对所述目标列表中目标的选择。
在一种可选的方式中,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,包括:确定用户选择的目标在所述多媒体文件中的位置;根据所述位置对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
本发明实施例的多媒体文件剪辑装置的工作过程与上述多媒体文件剪辑方法的方法步骤大体一致,此处不再赘述。
本发明实施例通过根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,能够实时匹配内容类型高效给用户推荐剪辑动作内容,在视频播放过程中,将预先获取的motion列表提供给用户,根据用户选取的motion进行多媒体文件剪辑,后台自动生成剪辑,实现内容自生产社交系统,提升用户消费视频体验,提价用户流量和粘性。
本发明实施例提供一种多媒体文件剪辑装置,用于执行上述多媒体文件剪辑方法。
本发明实施例提供了一种计算机程序,所述计算机程序可被处理器调用使计算设备执行上述任意方法实施例中的多媒体文件剪辑方法。
本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令在计算机上运行时,使得所述计算机执行上述任意方法实施例中的多媒体文件剪辑方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。

Claims (10)

1.一种多媒体文件剪辑方法,其特征在于,所述方法包括:
根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;
响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
2.根据权利要求1所述的方法,其特征在于,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表,包括:
根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标表中匹配,得到所述内容类型匹配的目标列表;所述数据库中的类型-目标列表为预先对不同类型的多媒体文件样本中的目标识别所得到的内容类型对应目标的表。
3.根据权利要求2所述的方法,其特征在于,所述根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述内容类型匹配的目标列表,包括:
根据当前播放的多媒体文件的内容类型,在数据库中的类型-目标列表中匹配,得到所述当前播放的多媒体文件对应的各个目标及所述目标的概率;
根据所述目标的概率对所述目标进行排序,得到所述内容类型匹配的目标列表。
4.根据权利要求2所述的方法,其特征在于,所述根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表之前,包括:
获取多媒体文件样本的内容类型;
对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标;
根据所述多媒体文件样本的内容类型及所述多媒体文件样本对应的目标,得到类型与目标关系。
5.根据权利要求4所述的方法,其特征在于,所述对所述多媒体文件样本进行识别,得到所述多媒体文件样本对应的目标之后,包括:
确定每个类型的多媒体文件样本中,每个目标出现的次数以及所有目标出现的总次数;
根据每个目标出现的次数以及所有目标出现的总次数,确定所述类型与目标关系的概率。
6.根据权利要求1所述的方法,其特征在于,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容之前,包括:
将所述内容类型匹配的目标列表展示给用户;
接收所述用户对所述目标列表中目标的选择。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容,包括:
确定用户选择的目标在所述多媒体文件中的位置;
根据所述位置对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
8.一种多媒体文件剪辑装置,其特征在于,所述装置包括:
确定模块,用于根据当前播放的多媒体文件的内容类型,确定所述内容类型匹配的目标列表;
剪辑模块,用于响应于用户对所述目标列表中目标的选择操作,对所述当前播放的多媒体文件进行剪辑,得到剪辑内容。
9.一种计算设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7任意一项所述的多媒体文件剪辑方法的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在计算设备上运行时,使得计算设备执行如权利要求1-7任意一项所述的多媒体文件剪辑方法的操作。
CN202111611841.2A 2021-12-27 2021-12-27 多媒体文件剪辑方法、装置及计算设备 Pending CN114339399A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111611841.2A CN114339399A (zh) 2021-12-27 2021-12-27 多媒体文件剪辑方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111611841.2A CN114339399A (zh) 2021-12-27 2021-12-27 多媒体文件剪辑方法、装置及计算设备

Publications (1)

Publication Number Publication Date
CN114339399A true CN114339399A (zh) 2022-04-12

Family

ID=81013096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111611841.2A Pending CN114339399A (zh) 2021-12-27 2021-12-27 多媒体文件剪辑方法、装置及计算设备

Country Status (1)

Country Link
CN (1) CN114339399A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115460455A (zh) * 2022-09-06 2022-12-09 上海硬通网络科技有限公司 一种视频剪辑方法、装置、设备及存储介质
WO2023217155A1 (zh) * 2022-05-10 2023-11-16 北京字跳网络技术有限公司 视频生成方法、装置、设备、存储介质和程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823453A (zh) * 2012-10-05 2015-08-05 谷歌公司 将视频拼接成聚合视频
US9635337B1 (en) * 2015-03-27 2017-04-25 Amazon Technologies, Inc. Dynamically generated media trailers
CN107566907A (zh) * 2017-09-20 2018-01-09 广东欧珀移动通信有限公司 视频剪辑方法、装置、存储介质及终端
US20180077440A1 (en) * 2016-09-09 2018-03-15 Cayke, Inc. System and method of creating, analyzing, and categorizing media
CN110381371A (zh) * 2019-07-30 2019-10-25 维沃移动通信有限公司 一种视频剪辑方法及电子设备
CN110401878A (zh) * 2019-07-08 2019-11-01 天脉聚源(杭州)传媒科技有限公司 一种视频剪辑方法、系统及存储介质
CN111447505A (zh) * 2020-03-09 2020-07-24 咪咕文化科技有限公司 视频剪辑方法、网络设备及计算机可读存储介质
US20200402537A1 (en) * 2019-06-18 2020-12-24 Shanghai Bilibili Technology Co., Ltd. Method and device of presenting audio/video files, computing device, and readable storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823453A (zh) * 2012-10-05 2015-08-05 谷歌公司 将视频拼接成聚合视频
US9635337B1 (en) * 2015-03-27 2017-04-25 Amazon Technologies, Inc. Dynamically generated media trailers
US20180077440A1 (en) * 2016-09-09 2018-03-15 Cayke, Inc. System and method of creating, analyzing, and categorizing media
CN107566907A (zh) * 2017-09-20 2018-01-09 广东欧珀移动通信有限公司 视频剪辑方法、装置、存储介质及终端
US20200402537A1 (en) * 2019-06-18 2020-12-24 Shanghai Bilibili Technology Co., Ltd. Method and device of presenting audio/video files, computing device, and readable storage medium
CN110401878A (zh) * 2019-07-08 2019-11-01 天脉聚源(杭州)传媒科技有限公司 一种视频剪辑方法、系统及存储介质
CN110381371A (zh) * 2019-07-30 2019-10-25 维沃移动通信有限公司 一种视频剪辑方法及电子设备
CN111447505A (zh) * 2020-03-09 2020-07-24 咪咕文化科技有限公司 视频剪辑方法、网络设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023217155A1 (zh) * 2022-05-10 2023-11-16 北京字跳网络技术有限公司 视频生成方法、装置、设备、存储介质和程序产品
CN115460455A (zh) * 2022-09-06 2022-12-09 上海硬通网络科技有限公司 一种视频剪辑方法、装置、设备及存储介质
CN115460455B (zh) * 2022-09-06 2024-02-09 上海硬通网络科技有限公司 一种视频剪辑方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111683209B (zh) 混剪视频的生成方法、装置、电子设备及计算机可读存储介质
CN108184144B (zh) 一种直播方法、装置、存储介质及电子设备
EP3488618B1 (en) Live video streaming services with machine-learning based highlight replays
KR101816113B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
CN108650558B (zh) 基于交互视频的视频前情提要的生成方法及装置
US8995823B2 (en) Method and system for content relevance score determination
WO2017190639A1 (zh) 媒体信息的展示方法、客户端及服务器
WO2011126134A1 (ja) リアルタイム動画像収集・認識・分類・処理・配信サーバシステム
CN114339399A (zh) 多媒体文件剪辑方法、装置及计算设备
CN113779381B (zh) 资源推荐方法、装置、电子设备和存储介质
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
CN111586466B (zh) 一种视频数据处理方法、装置及存储介质
JP7273100B2 (ja) ゲームコミュニケーションの写しからのテキストタグの生成
CN112507163A (zh) 时长预测模型训练方法、推荐方法、装置、设备及介质
CN107547922B (zh) 信息处理方法、装置、系统及计算机可读存储介质
CN109558884A (zh) 一种直播房间分类的方法、装置、服务器及介质
Midoglu et al. MMSys' 22 Grand Challenge on AI-based Video Production for Soccer
Song Real-time video highlights for yahoo esports
CN105898426A (zh) 多媒体内容处理方法、装置及服务器
CN114339423A (zh) 短视频生成方法、装置、计算设备及计算机可读存储介质
CN108769831B (zh) 视频预告的生成方法及装置
CN110309753A (zh) 一种赛事进程判别方法、装置和计算机设备
CN114845149B (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN111949820B (zh) 视频关联兴趣点的处理方法、装置及电子设备
CN113506124A (zh) 一种智慧商圈中媒体广告投放效果的评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination