CN111836100B - 剪辑轨道数据的创建方法、设备、装置及存储介质 - Google Patents

剪辑轨道数据的创建方法、设备、装置及存储介质 Download PDF

Info

Publication number
CN111836100B
CN111836100B CN201910303133.9A CN201910303133A CN111836100B CN 111836100 B CN111836100 B CN 111836100B CN 201910303133 A CN201910303133 A CN 201910303133A CN 111836100 B CN111836100 B CN 111836100B
Authority
CN
China
Prior art keywords
dimension
sequencing
time
time interval
sorting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910303133.9A
Other languages
English (en)
Other versions
CN111836100A (zh
Inventor
邹娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910303133.9A priority Critical patent/CN111836100B/zh
Publication of CN111836100A publication Critical patent/CN111836100A/zh
Application granted granted Critical
Publication of CN111836100B publication Critical patent/CN111836100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本申请实施例提供一种剪辑轨道数据的创建方法、设备、装置及存储介质,其中,方法包括:在视频源中识别出至少一个目标人物各自出现的时间区间;根据剪辑轨道创建需求,对所述至少一个目标人物各自出现的时间区间进行排序;基于排序后的所述至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。通过对至少一个目标人物各自出现的时间区间进行排序,使得创建出的剪辑轨道数据更符合剪辑创作中的非线性剪辑手法,这可为剪辑创作提供更接近目标的创作基础,可减少人工剪辑操作,进而可有效提高剪辑创作效率。

Description

剪辑轨道数据的创建方法、设备、装置及存储介质
技术领域
本申请涉及视频处理技术领域,尤其涉及一种剪辑轨道数据的创建方法、设备、装置及存储介质。
背景技术
现有技术中,视频创作者通常需要利用视频剪辑工具实现剪辑创作。在视频剪辑工具中,用于剪辑创作的视频源被渲染在剪辑轨道中,视频创作者需基于剪辑轨道对视频源进行剪辑。
但是,这种剪辑创作方式的效率非常低,比如在视频创作者进行与人物相关的剪辑创作时,需要基于承载视频源的剪辑轨道,人工寻找目标人物相关的画面或镜头,尤其是当目标人物为多个时,寻找过程将被重复多次,这导致剪辑创作过程费时费力。
发明内容
本申请的多个方面提供一种剪辑轨道数据的创建方法、设备、装置及存储介质,用以提高与人物相关的剪辑创作效率。
本申请实施例提供一种剪辑轨道数据的创建方法,包括:
在视频源中识别出至少一个目标人物各自出现的时间区间;
根据剪辑轨道创建需求,对所述至少一个目标人物各自出现的时间区间进行排序;
基于排序后的所述至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。
本申请实施例还提供一种计算设备,包括:存储器和处理器;
所述存储器用于存储一条或多条计算机指令;
所述处理器与所述存储器耦合,用于执行所述一条或多条计算机指令,以用于:
在视频源中识别出至少一个目标人物各自出现的时间区间;
根据剪辑轨道创建需求,对所述至少一个目标人物各自出现的时间区间进行排序;
基于排序后的所述至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。
本申请实施例还提供一种电子装置,包括:
识别模块,用于在视频源中识别出至少一个目标人物各自出现的时间区间;
排序模块,用于根据剪辑轨道创建需求,对所述至少一个目标人物各自出现的时间区间进行排序;
创建模块,用于基于排序后的所述至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。
本申请实施例还提供一种存储计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行前述的剪辑轨道数据的创建方法。
在本申请实施例中,至少可从以下几个方面提高与人物相关的剪辑创作效率:
1、可在进行剪辑创作之前预先创建剪辑轨道数据,因此,剪辑轨道数据可作为剪辑创作的创作基础,这省去了剪辑创作中大量的重复操作。
2、通过对至少一个目标人物各自出现的时间区间进行排序,使得创建出的剪辑轨道数据更符合剪辑创作中的非线性剪辑手法,这可为剪辑创作提供更接近目标的创作基础,进而减少人工剪辑操作。
3、针对视频源,可灵活设定剪辑轨道创建需求,因此,可获得丰富多样的剪辑轨道数据,这为剪辑创作提供了更加丰富的创作基础,用户可在进行剪辑创作时,根据需求灵活选择所需的剪辑轨道数据,这进一步提高了剪辑创作效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请一实施例提供的一种剪辑轨道数据的创建方法的流程示意图;
图2为本申请另一实施例提供的一种计算装置的结构示意图;
图3为本申请又一实施例提供的一种计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中,在视频创作者进行与人物相关的视频创作时,剪辑效率比较低。为了解决现有技术存在的问题,在本申请的一些实施例中:在视频源中识别出至少一个目标人物各自出现的时间区间;根据剪辑轨道创建需求,对所述至少一个目标人物各自出现的时间区间进行排序;基于排序后的所述至少一个目标人物各自出现的时间区间,创建剪辑轨道数据,据此,以剪辑轨道数据作为剪辑创作的基础,可有效提高剪辑创作效率。
以下结合附图,详细说明本申请各实施例提供的技术方案。
图1为本申请一实施例提供的一种剪辑轨道数据的创建方法的流程示意图。如图1所示,该方法包括:
100、在视频源中识别出至少一个目标人物各自出现的时间区间;
101、根据剪辑轨道创建需求,对至少一个目标人物各自出现的时间区间进行排序;
102、基于排序后的至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。
本实施例中,可基于人脸识别、体态识别、动作识别等各种图像识别技术,从视频源中识别出至少一个目标人物各自出现的时间区间。本实施例中,可首先识别出至少一个目标人物各自出现在视频源中的时间帧位置,基于此,可将至少一个目标人物各自出现在视频源中的时间帧位置转换为其在视频源中出现的时间区间。在实际应用中,可采用视频采样的形式对视频源进行图像识别,采样的粒度可根据实际情况进行设定,采样粒度越大,可节省更多的计算量,采样粒度越小,则可获得更高的识别准确度。
其中,时间区间是指视频源对应的时间线上的时间段,时间区间的一种示例性参数格式可以是【In,Out】,其中,In表示时间区间在视频源对应的时间线上的起始时间,Out表示时间区间在视频源对应的时间线上的结束时间,当然,本实施例中,时间区间的参数格式并不限于此。
另外,单个目标人物在视频源中出现的时间区间可以是一个或多个,而不同目标人物各自对应的时间区间可能存在相交,这是由于,同一镜头或画面中可能同时存在多个目标人物。另外,目标人物可以是根据剪辑轨道创建需求而预先确定的,也可以是视频源中包含的任意人物,本实施例对此不作限定。
本实施例中,剪辑轨道创建需求中除了可包含上述用于确定目标人物的相关信息外,还可包含对至少一个目标人物各自出现的时间区间的排序要求。据此,可基于剪辑轨道创建需求中对至少一个目标人物各自出现的时间区间的排序要求,对至少一个目标人物各自出现的时间区间进行排序。
其中,对至少一个目标人物各自出现的时间区间进行的排序操作,包括但不限于筛选时间区间、调整时间区间之间的顺序、对单个时间区间进行内部排序、对全部时间区间进行打散重整等等,当然,这些仅是示例性的,本实施例并不限于此。
基于对至少一个目标人物各自出现的时间区间的排序,本实施例中,可获得多个具有先后顺序的时间片段,其中,时间片段的长度可能小于或等于其所属时间区间的长度。承接上文中时间区间的示例性参数格式,排序后获得的多个时间片段可分别表示为【In,Out,顺序】,其中,In表示时间片段在视频源对应的时间线上的起始时间,Out表示时间片段在视频源对应的时间线上的结束时间,顺序表示时间片段对应的排序位置。当然,本实施例依然不限于此。
据此,可根据对至少一个目标人物各自出现的时间区间进行排序而获得多个具有先后顺序的时间片段,创建剪辑轨道数据。剪辑轨道数据中可包含多个时间片段以及多个时间片段之间的顺序。由于剪辑轨道数据中的时间片段与视频源对应的时间线相关联,因此,剪辑轨道数据可作为对视频源进行剪辑创作的创作基础。
另外,本实施例中,剪辑轨道创建需求包含的对至少一个目标人物各自出现的时间区间的排序要求可以有一种或多种。本实施例中,可根据不同的排序要求,分别创建符合不同排序要求的剪辑轨道数据,因此,与排序要求的数量相对应的,当排序剪辑轨道创建需求中的排序要求有多种时,创建出的剪辑轨道数据也具有多样性,这可为剪辑创作提供更加丰富的创作基础。
进一步,本实施例中创建出的剪辑轨道数据对视频源进行剪辑创作的创作基础,对视频源进行的一个或多次剪辑创作均可基于本实施例中创建出的剪辑轨道数据而进行。本实施例中,创建出的剪辑轨道数据至少可具备以下两种输出途径。
在一种输出途径下,可基于剪辑轨道数据,从视频源中剪辑出目标视频。
在该输出途径下,基于剪辑轨道数据中的视频片段与视频源的时间线的关联关系,可基于剪辑轨道数据中各视频片段的顺序,筛选出视频源中与各时间片段对应的视频片段并按照各时间片段的顺序对筛选出的各视频片段进行排序,从而合成目标视频。
在另一种输出途径下,可接收终端设备发送的剪辑轨道数据获取请求;将剪辑轨道数据发送至终端设备,以供终端设备基于剪辑轨道数据对视频源进行剪辑。
在该输出途径下,剪辑轨道数据可被输出至终端设备,具体来说,可以是终端设备中的视频剪辑工具。
在一些实际应用中,剪辑轨道数据可在格式上符合视频剪辑工具中剪辑轨道的参数要求,以便在终端设备获取到剪辑轨道数据时,可顺利将剪辑轨道数据加载至视频剪辑工具中预先创建的剪辑轨道上,以供视频创作者在剪辑轨道上执行进一步的剪辑操作,进而完成对视频源的剪辑创作。例如,上文中提及的剪辑轨道数据包含的时间片段的示例性参数格式【In,Out,顺序】,即为符合视频剪辑工具中剪辑轨道的参数要求的格式。
基于符合视频剪辑工具中剪辑轨道的参数要求的参数格式,剪辑轨道数据可顺利加载至视频剪辑工具中的剪辑轨道上,这保证了剪辑轨道数据对视频剪辑工具的普适性。而且,剪辑轨道数据加载至视频剪辑工具中后,用户可按照既定的剪辑操作习惯在剪辑轨道上继续执行剪辑操作,无需改变剪辑操作习惯。
当然,上述两种剪辑轨道数据的输出途径仅是示例性的,本实施例并不限于此。
在本实施例中,至少可从以下几个方面提高与人物相关的剪辑创作效率:
1、通过对至少一个目标人物各自出现的时间区间进行排序,使得创建出的剪辑轨道数据更符合剪辑创作中的非线性剪辑手法,这可为剪辑创作提供更接近目标的创作基础,进而减少人工剪辑操作。
2、可在进行剪辑创作之前预先创建剪辑轨道数据,因此,剪辑轨道数据可作为剪辑创作的创作基础,这省去了剪辑创作中大量的重复操作。
3、针对视频源,可灵活设定剪辑轨道创建需求,因此,可获得丰富多样的剪辑轨道数据,这为剪辑创作提供了更加丰富的创作基础,用户可在进行剪辑创作时,根据需求灵活选择所需的剪辑轨道数据,这进一步提高了剪辑创作效率。
在上述或下述实施例中,如上文中提及的,剪辑轨道创建需求中可包含对至少一个目标人物各自出现的时间区间的排序要求。本实施例中,可根据排序要求,确定至少一个排序维度以及至少一个排序维度之间的层级关系。排序要求中可直接携带至少一个排序维度以及至少一个排序维度之间的层级关系,当然也可携带能够用来确定至少一个排序维度以及至少一个排序维度之间的层级关系的相关信息,本实施例对此不作限定。
正如上文提及的,本实施例中,排序要求的数量可能为多个,由于针对每一种排序要求的处理思路类似,为方便描述,本实施例中,将以其中一种排序要求为例进行技术方案的说明,但应当理解的是,本实施例中的技术方案可适应于任意一种排序要求。
基于根据排序要求而确定出的至少一个排序维度以及至少一个排序维度之间的层级关系,本实施例中,可按照至少一个排序维度之间的层级关系,对至少一个目标人物各自出现的时间区间进行至少一个层级的排序。
其中,排序维度可以是一个或多个。当排序维度为一个时,可按照该排序维度对至少一个目标人物各自出现的时间区间进行单层次排序。当排序维度为多个时,可按照多个排序维度之间的层级关系,对至少一个目标人物各自出现的时间区间进行多层次的排序。本实施例中以及后文中,将重点基于多层次排序的情况对技术方案进行阐述。
本实施例中,基于多个排序维度之间的层级关系,按照在后层级的排序维度对至少一个目标人物各自出现的时间区间进行排序时,可以按照其前一层级的排序维度对至少一个目标人物各自出现的时间区间进行排序而获得的排序结果为基础,从该在后层级的排序维度对排序结果进行进一步排序。
基于此,可将多个排序维度分为两类:首层排序维度和非首层排序维度。首层排序维度对应的排序基础为至少一个目标人物各自出现的时间区间的原始状态;非首层排序维度对应的排序基础则为其上一层排序维度下的排序结果。
其中,排序维度可以是人名维度、性别维度、年龄范围维度、国别维度、职业资料维度等等人物属性类维度,当然,这些仅是示例性的,本实施例中,排序维度可以是任意的人物属性类维度,在此不再穷举。排序维度还可以是景别维度、拍摄方式维度或时间维度等视频属性类维度,当然,这些也仅是示例性的,本实施例中,排序维度也可以是任意的视频属性维度,在此也不再穷举。另外,本实施例中的排序维度也并不限于上述的人物属性类维度和视频属性类维度,排序维度还可以是其它对剪辑创作有意义的维度,本实施例对此不作限定。
以上述的人名维度和景别维度为例,当以人名维度作为首层排序维度,以景别维度作为人名维度的下一层排序维度时,本实施例中。可首先按照人名维度对至少一个目标人物各自出现的时间区间进行排序,之后,在此排序结果的基础下,再按照景别维度进行进一步排序。
本实施例中,单个排序维度可包括至少一个排序类别,承接上文中对排序维度的举例,性别维度下的排序类别可包括男和女,国别维度下的排序类别则可包括中国、韩国、美国等等,景别维度下的排序类别则可包括特写、近景、中景、远景等等,拍摄方法维度下的排序类别则可包括固定拍摄的拍摄方向或拍摄角度等,还可包括运动拍摄的推、拉、摇、移或甩等等。当然,这些排序类别均是示例性的,各排序维度下的排序类别并不限于此。
本实施例中,基于排序要求对应的多个排序维度、多个排序维度之间的层级关系以及各排序维度下的排序类别,至少可采用以下两种实现方式对至少一个目标人物各自出现的时间区间进行排序。当然,本实施例并不限于此两种实现方式。
在一种实现方式中,针对首层排序维度,可首先按照首层排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以获得首层排序维度的各排序类别下的时间片段,如前文记载,此处的时间片段的长度可小于或等于其所属时间区间的长度。
针对任意一个非首层排序维度,可以其上一层排序维度的单个排序类别下的时间片段的集合为处理单元。在其上一层排序维度的单个排序类别下,可按照该非首层排序维度的各排序类别,基于图像识别操作,对其上一层排序维度的单个排序类别下的时间片段进行拆分和/或聚类,以在其上一层排序维度的单个排序类别下,确定该非首层排序维度的各排序类别下的时间片段。
通过逐层执行图像识别操作,可逐层完成时间区间的拆分和/或聚类处理,进而可在每层排序维度下的各处理单元内,确定出该层排序维度的各排序类别下的时间片段。
基于此,可在每层排序维度下的各处理单元内,按照针对该层排序维度的各排序类别的排序策略,对该层排序维度的各排序类别下的时间片段进行排序;另外,还可对单个处理单元中单个排序类别下的时间片段进行内部排序。至此,可实现对至少一个目标人物各自出现的时间区间的多层次排序。
其中,针对排序类别的排序策略可以是随机排序,当然,也可以根据排序要求而确定出各排序类别之间的先后顺序,本实施例对此不作限定,可根据实际需要预先设定针对排序类别的排序策略。另外,在每层排序维度下,可按照时间顺序对单个处理单元中单个排序类别下的时间片段进行内部排序,当然,也可按照随机顺序或者其它顺序对单个处理单元中单个排序类别下的时间片段进行内部排序,本实施例对此也不作限定。
以下以一场球赛对应的视频源为例,对本实现方式的技术细节进行说明。若以该场球赛中的5名球员A、B、C、D、E为目标人物,则可分别确定出该5名球员A、B、C、D、E各自在视频源中出现的时间区间,例如,球员A对应的时间区间为【1s,30s】、【60s,90s】、【200s,230s】、球员B对应的时间区间则为【40s,50s】、【100s,120s】、【150s,180s】,其余球员不再详述。
基于此,若根据一项排序要求确定出的人名维度为首层排序维度,下一层排序维度为景别维度,再下一层排序维度为拍摄方式维度,则可首先按照人名维度对各时间区间进行排序,以球员A和B为例,若人名维度下球员A位于球员B之前且各球员下的时间区间按照时间顺序排序,则球员A和B对应的时间区间的顺序将是:【1s,30s】、【60s,90s】、【200s,230s】、【40s,50s】、【100s,120s】、【150s,180s】。其它球员对应的时间区间的排序不再详述。
之后,可在各球员对应的各时间区间内,对视频源执行图像识别操作,以对各时间区间进行拆分,进而在各时间区间内分别确定出景别维度下中景和近景对应的时间片段。还是以球员A和B为例,基于图像识别操作,可在球员A的时间区间【1s,30s】中确定出中景下的时间片段为【1s,5s】、【10s,20s】,远景下的时间片段为【21s,30s】;可在时间区间【60s,90s】中确定出中景下的时间片段为【71s,80s】,远景下的时间片段为【60s,70s】、【81s,90s】,可在时间区间【200s,230s】中确定出中景下的时间片段为【206s,215s】、【220s,230s】,远景下的时间片段为【200s,205s】。还可在球员B的时间区间【40s,50s】中确定出中景下的时间片段为【40s,50s】,远景下的时间片段为无;可在时间区间【100s,120s】中确定出中景下的时间片段为【100s,110s】,远景下的时间片段为【111s,120s】;可在时间区间【150s,180s】中确定出中景下的时间片段为【150s,160s】、【171s,180s】,远景下的时间片段为【161s,170s】。
经过图像识别操作,可确定,球员A下与景别维度相关的时间片段包括:【1s,5s】、【10s,20s】、【21s,30s】、【71s,80s】、【60s,70s】、【81s,90s】、【206s,215s】、【220s,230s】、【200s,205s】,球员B下与景别维度相关的时间片段包括:【40s,50s】、【100s,110s】、【111s,120s】、【150s,160s】、【171s,180s】、【161s,170s】。
若景别维度下中景和近景的顺序为先中景后近景,各景别下的排序类别内部按时间顺序排序,则针对球员A和B的各时间区间,在景别维度下的排序结果将为:【1s,5s】、【10s,20s】、【71s,80s】、【206s,215s】、【220s,230s】;【21s,30s】、【60s,70s】、【81s,90s】、【200s,205s】,【40s,50s】、【100s,110s】、【150s,160s】、【171s,180s】;【111s,120s】、【161s,170s】。其中,上述顺序中,以逗号分隔不同球员,以分号分隔不同景别。其它球员对应的时间区间的排序不再详述。
最后,可从拍摄方式维度,在各球员的各景别下的各时间片段内,再次对视频源执行图像识别操作,以对各球员的各景别下的各时间片段进行进一步拆分、聚类及排序。以球员A的近景为例,可从拍摄方式维度分别对时间片段【21s,30s】、【60s,70s】、【81s,90s】、【200s,205s】进行进一步拆分,以分别在这些时间片段中确定出“推”和“摇”拍摄方式各自对应的时间片段;之后,可将对应“推”拍摄方式的时间片段聚类在一起,内部按照时间排序,并将对应“摇”拍摄方式的时间片段聚类在一起,内部按照时间排序。
至此,可完成对5名球员A、B、C、D、E各自在视频源中出现的时间区间的排序。
在另一种实现方式中,可首先根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段。
基于此,针对首层排序维度,可从首层排序维度,对首层排序维度各排序类别下的基准时间片段进行排序。对于首层排序维度,由于无需执行基准时间片段的再拆分处理,因此,其对应的基准时间片段即为其序后时间片段。
在一些实际应用中,可获取首次排序维度下各排序类别的顺序,并按照首层排序维度下各排序类别的顺序,对首层排序维度的各排序类别下的基准时间片段进行排序。其中,关于排序类别的顺序以及排序类别下的内部排序策略的确定过程可参考上一种实现方式,在本实现方式中不再赘述。
针对非首层排序维度,则可根据非首层排序维度各排序类别下的时间片段,从非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序。其中,序后时间片段是指按照每层排序维度对至少一个目标人物各自所在的时间区间进行相应层次的排序后而产出的时间片段。序后时间片段的长度将小于或等于其所属基准时间片段的长度。
在一些实际应用中,针对任意一个非首层排序维度,可根据该非首层排序维度各排序类别下的基准时间片段,对其上一层排序维度每个排序类别下的序后时间片段进行拆分和/或聚类,以在其上一层排序维度的每个排序类别下,确定该非首层排序维度各排序类别下的序后时间片段;按照该非首层排序维度下各排序类别的顺序,在其上一层排序维度的每个排序类别下,对该非首层排序维度的各排序类别下的序后时间片段进行排序。
其中,对于该非首层排序维度的上一层排序维度下的任意一个待拆分序后时间片段来说,当该非首层排序维度下存在可包含该待拆分序后时间片段的基准时间片段时,可无需对该待拆分序后时间片段执行拆分操作;而当该非首层排序维度下不存在可包含该待拆分序后时间片段的基准时间片段时,则需要对该待拆分序后时间片段执行拆分操作。对于后一种情况,可基于该待拆分序后时间片段,在该非首层排序维度下确定与该待拆分序后时间片段相关的目标基准时间片段。当存在可被该待拆分序后时间段完全包含的一类目标基准时间片段时,可从该待拆分序后时间片段中截取出与该类目标基准时间片段对应的时间片段,作为该非首层排序维度下的序后时间片段。当存在与该待拆分序后时间片段存在交集的一类目标基准时间片段时,可从该待拆分序后时间片段中截取出与交集部分对应的时间片段,作为该非首层排序维度下的序后时间片段。
据此,可确定出该非首层排序维度下的序后时间片段,之后,可根据该非首层排序维度的各排序类别下的基准时间片段,确定该非首层排序维度下各序后时间片段对应的排序类别,并在该非首层排序维度的上一层排序维度的每个排序类别下,按照排序类别对该非首层排序维度下各序后时间片段进行聚类。至此,可在该非首层排序维度的上一层排序维度的每个排序类别下,确定出该非首层排序维度各排序类别下的序后时间片段。
最后,可获取该非首层排序维度下各排序类别的顺序,并在该非首层排序维度的上一层排序维度的每个排序类别下,按此顺序调整该非首层排序维度的各排序类别下的序后时间片段进行排序,以及,还可对该非首层排序维度的单个排序类别下的序后时间片段按时间顺序或其它排序策略进行内部排序。至此,可完成该非首层排序维度对应的排序过程。
对于每个非首层排序维度,均可执行上述的排序过程,从而可实现对至少一个目标人物各自出现的时间区间的多层次排序。
在本实现方式中,通过对至少一个目标人物各自出现的时间区间进行图像识别操作,可预先确定出各排序维度的各排序类别下的基准时间片段,这样,在后续对至少一个目标人物各自出现的时间区间进行多层次排序时,无需在重复执行图像识别操作。由于对视频的图像识别操作通常需要异步处理,而多次异步处理的复杂度很高,且效率很低,因此,与上一种实现方式相比,本实现方式中提出的通过单次图像识别操作,预先确定各排序维度的各排序类别下的时间片段的方案可有效提高处理效率并降低处理复杂度。
以下,仍以一场球赛对应的视频源为例,对本实现方式的技术细节进行说明。
与上一实现方式中的场景条件相同,若以该场球赛中的5名球员A、B、C、D、E为目标人物,则可分别确定出该5名球员A、B、C、D、E各自在视频源中出现的时间区间,例如,球员A对应的时间区间为【1s,30s】、【60s,90s】、【200s,230s】、球员B对应的时间区间则为【40s,50s】、【100s,120s】、【150s,180s】,其余球员不再详述。
基于此,若根据一项排序要求确定出的人名维度为首层排序维度,下一层排序维度为景别维度,再下一层排序维度为拍摄方式维度,则可首先从景别维度及拍摄方式维度,在各球员的各时间区间内,对视频源执行图像识别操作,以确定出景别维度的中景下的基准时间片段和近景下的基准时间片段,以及拍摄方式维度的“推”下的基准时间片段和“摇”下的基准时间片段。
以球员A和B为例,通过图像识别操作,可在时间区间【1s,30s】中确定出中景下的基准时间片段为【1s,5s】、【10s,20s】,远景下的基准时间片段为【21s,30s】;可在时间区间【60s,90s】中确定出中景下的基准时间片段为【71s,80s】,远景下的基准时间片段为【60s,70s】、【81s,90s】,可在时间区间【200s,230s】中确定出中景下的基准时间片段为【206s,215s】、【220s,230s】,远景下的基准时间片段为【200s,205s】;可在时间区间【40s,50s】中确定出中景下的基准时间片段为【40s,50s】,远景下的基准时间片段为无;可在时间区间【100s,120s】中确定出中景下的基准时间片段为【100s,110s】,远景下的基准时间片段为【111s,120s】;可在时间区间【150s,180s】中确定出中景下的基准时间片段为【150s,160s】、【171s,180s】,远景下的基准时间片段为【161s,170s】。
据此,可确定出景别维度的近景下包括上述在球员A和B下识别出的基准时间片段【1s,5s】、【10s,20s】、【71s,80s】、【206s,215s】、【220s,230s】、【40s,50s】、【100s,110s】、【150s,160s】、【171s,180s】以及在其它球员下识别出的基准时间片段;景别维度的远景下包括上述在球员A和B下识别出的基准时间片段【21s,30s】、【60s,70s】、【81s,90s】、【200s,205s】、【111s,120s】、【161s,170s】以及在其它球员下识别出的基准时间片段。
与景别维度类似的,通过图像识别操作,还可在时间区间【1s,30s】中确定出“推”拍摄方式下的基准时间片段为【1s,9s】、【15s,25s】,“摇”拍摄方式下的基准时间片段为【10s,14s】、【26s,30s】;以及可在时间区间【60s,90s】、【200s,230s】、【40s,50s】、【100s,120s】、【150s,180s】中分别确定出“推”拍摄方式下的基准时间片段和“摇”拍摄方式下的基准时间片段,在此不再详述。
另外,对其它球员对应的时间区间的识别过程可参考上述对球员A和B对应的时间区间的识别过程,在此不再详述。至此,可分别确定出景别维度的中景下的基准时间片段和近景下的基准时间片段,以及拍摄方式维度的“推”下的基准时间片段和“摇”下的基准时间片段。
基于此,可首先按照人名维度对各时间区间进行排序,以球员A和B为例,若人名维度下球员A位于球员B之前且各球员下的时间区间按照时间顺序排序,则球员A和B对应的时间区间的顺序将是:【1s,30s】、【60s,90s】、【200s,230s】、【40s,50s】、【100s,120s】、【150s,180s】。其它球员对应的时间区间的排序不再详述。
之后,可按照景别维度的中景下的基准时间片段和近景下的基准时间片段,对各球员下的时间区间进行拆分和聚类。以球员A为例,可从景别维度下的各基准时间片段中选取与球员A下的时间区间【1s,30s】、【60s,90s】、【200s,230s】相关的目标基准时间片段【1s,5s】、【10s,20s】、【21s,30s】、【60s,70s】、【71s,80s】、【81s,90s】、【200s,205s】、【206s,215s】、【220s,230s】,并对球员A下的各时间区间进行拆分和聚类,以在球员A下获得:对应于中景的序后时间片段【1s,5s】、【10s,20s】、【71s,80s】、【206s,215s】、【220s,230s】,以及对应于远景的序后时间片段【21s,30s】、【60s,70s】、【81s,90s】、【200s,205s】,并按时间顺序对中景下的序后时间片段进行排序,以及按照时间顺序对远景下的序后时间片段进行排序。
若景别维度下中景和近景的顺序为先中景后近景,则针对球员A和B的各时间区间,在景别维度下的排序结果将为:【1s,5s】、【10s,20s】、【71s,80s】、【206s,215s】、【220s,230s】;【21s,30s】、【60s,70s】、【81s,90s】、【200s,205s】,【40s,50s】、【100s,110s】、【150s,160s】、【171s,180s】;【111s,120s】、【161s,170s】。其中,上述顺序中,以逗号分隔不同球员,以分号分隔不同景别。其它球员对应的时间区间的排序不再详述。
随后,可按照拍摄方式维度的“推”下的基准时间片段和“摇”下的基准时间片段,对上述景别维度下的各序后时间片段进行拆分。以球员A对应的中景下的各序后时间片段【1s,5s】、【10s,20s】、【71s,80s】、【206s,215s】、【220s,230s】为例,可从拍摄方式维度下的各基准时间片段中选取出与这些序后时间片段相关的目标基准时间片段,比如,与序后时间片段【1s,5s】相关的目标基准时间片段为【1s,9s】,与序后时间片段【10s,20s】相关的目标基准时间片段为【15s,25s】和【10s,14s】。由于序后时间片段【1s,5s】完全包含于目标基准时间片段为【1s,9s】,因此,可无需对序后时间片段【1s,5s】执行拆分。而对于序后时间片段【10s,20s】则可拆分为【10s,14s】和【15s,20s】两个时间片段。
据此,可在球员A对应的中景下,确定出拍摄方式维度下的序后时间片段。之后,可确定拍摄方式维度下的各序后时间片段对应的排序类别,如上文中的序后时间片段【1s,5s】和【15s,20s】对应“推”拍摄方式,而序后时间片段【10s,14s】对应于“摇”拍摄方式。基于拍摄方式维度下的各序后时间片段对应的排序类别,可在球员A对应的中景下,对拍摄方式维度下的各序后时间片段进行聚类,分别确定出对应于“推”拍摄方式的序后时间片段以及对应于“摇”拍摄方式的序后时间片段,并按时间顺序对“推”拍摄方式下的序后时间片段进行排序,以及按照时间顺序对“摇”拍摄方式下的序后时间片段进行排序。另外,若拍摄方式维度下“推”和“摇”的顺序为先“推”后“摇”,则可将“推”拍摄方式下的全部序后时间片段排在“摇”拍摄方式下的全部序后时间片段之前。
其它球员下时间区间的排序过程不再详述,可参考上述球员A下时间区间的排序过程。至此,可完成对5名球员A、B、C、D、E各自在视频源中出现的时间区间的排序。
值得说明的是,本实施例中,当排序维度为人物属性类维度时,由于整个排序过程是以目标人物各自出现的时间区间为基础,因此,在与该类排序维度对应的排序过程中,可无需执行对其排序基础的拆分操作。
在上述或下述实施例中,可根据至少一个排序维度及各排序维度下的至少一个排序类别,为排序后的至少一个目标人物各自出现的时间区间创建索引信息;基于排序后的至少一个目标人物各自出现的时间区间及其索引信息,创建剪辑轨道数据。
基于上述实施例中对排序过程的描述,本实施例中,在各层次的排序过程中,均可获得若干时间片段,并可确定这些时间片段对应的排序类别。因此,可根据各层次的排序过程对应的排序维度,以及各层次的排序过程所获得的若干时间片段各自对应的排序类别,建立索引信息。
另外,本实施例中,还可将至少一个目标人物的人物属性信息加入索引信息中。
基于本实施例中创建出的剪辑轨道数据,可利用其中携带的索引信息,为剪辑创作提供索引基础。例如,根据索引信息,可还原出各层次的排序过程对应的排序结果,因此,在剪辑创作中可将剪辑基础按需切换至所需层次的排序结果。又例如,根据索引信息中的人物属性信息,可对剪辑轨道数据中的各时间片段进行筛选,比如,可仅筛选出中国国籍的目标人物对应各时间片段作为剪辑基础。
本实施例中,基于剪辑轨道数据中的索引信息,在剪辑创作过程中,可灵活切换剪辑基础,这使得剪辑轨道数据能够满足剪辑创作中变化多端的剪辑需求,从而可提高剪辑创作效率。
在上述或下述实施例中,可获取视频源的媒体资源元数据信息;识别视频源中所包含的至少一个人物,并获取各人物对应的人物属性信息;从至少一个人物中,选择人物属性信息与视频源的媒体资源元数据信息相匹配的至少一个目标人物;获取至少一个目标人物各自出现的时间区间。
本实施例中,视频源的媒体资源元数据信息包括视频源的名称、内容描述以及其它能够体现视频源属性的信息。例如,对于一场球赛对应的视频源,其媒体资源元数据信息可包含球赛名称、球赛中的比赛队伍、各比赛队伍中的队员属性等等。
基于视频源的媒体资源元数据信息,可将从视频源中识别出的各人物与视频源的媒体资源元数据信息进行交叉匹配,从而降低识别错误率。
承接上例,经过交叉匹配,若确定出从视频源中识别出的一个或多个人物并不是该场球赛的任意比赛队伍中的任何一个球员,则可将这一个或多个人物相关的识别结果删除,而保留交叉匹配成功的至少一个目标人物。
为了确定出视频源中的至少一个目标人物各自出现的时间区间,本实施例中,可在视频源中识别出包含至少一个目标人物的采样视频帧;根据对应于同一目标人物,且帧连续性满足预设的帧间距要求的各采样视频帧,分布确定至少一个目标人物各自在视频源中出现的基础时间区间。
对于单个采样视频帧,可分别计算其画面中出现的人物与各目标人物的图像特征的匹配度,从而确定出该采样视频帧对应的目标人物。
基于此,针对同一目标人物,可对对应于该目标人物的各采样视频帧进行连续性分析。例如,可确定帧间距小于5帧的各采样视频帧之间具备连续性。据此,可将对应于该目标人物的各采样视频帧进行分组,单个分组内的各采样视频帧具备连续性。对于单个分组内的各采样视频帧,可基于组内这些采样视频帧在视频源中的时间帧位置,确定该分组对应的时间区间。从而,可确定出至少一个目标人物各自所在的基础时间区间。
进一步,本实施例中,根据至少一个目标人物各自对应的人物属性信息,确定至少一个目标人物各自对应的时间区间扩展范围;根据至少一个目标人物各自对应的时间区间扩展范围,对至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展,以最终获得至少一个目标人物各自出现的时间区间。
为了更合理地确定出至少一个目标人物各自出现的时间区间,本实施例中,可对至少一个目标人物各自出现的基础时间区间进行扩展,也即是,在时间轴上向两侧扩散。而对于不同的目标人物,可采用不同的时间区间扩展范围。例如,对于踢前锋的球员,可采用比守门员更大的时间区间扩展范围,以完整捕捉踢前锋的球员的精彩动作。
在上述或下述实施例中,对于非人物属性类维度,需要在排序过程中执行拆分操作。以下将以至少一个目标人物各自出现的时间区间为基础,预先执行图像识别操作,以确定出各排序维度的各排序类别下的时间片段为例,从景别维度和拍摄方式维度,分别说明这类拆分操作的示例性实现方式。当然,本实施例并不限于此。
对于景别维度,可分别计算各时间区间内各视频帧中人脸区域与视频画面的比例;按照各视频帧中人脸区域与视频画面的比例,分别确定各视频帧各自对应的景别;根据各时间区间内各视频帧各自对应的景别,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单个景别;基于各时间区间下的多个时间片段,将对应于同一景别的时间片段进行聚类,以确定景别维度各景别下的基础时间片段。
对于拍摄方式维度,则可分别计算各时间区间内各视频帧中人脸区域的画面坐标,以确定各时间区间内的人脸区域的画面坐标变化趋势;根据各时间区间内的人脸区域的画面坐标变化趋势,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单种拍摄方式;基于各时间区间下的多个时间片段,将对应于同一拍摄方式的时间片段进行聚类,以确定拍摄方式维度各拍摄方式下的基础时间片段。
当然,本实施例中,并不限于上述以至少一个目标人物各自出现的时间区间为基础,预先执行图像识别操作,以确定出各排序维度的各排序类别下的时间片段的情况,对于在各层次的排序过程中执行图像识别操作的情况,将上述方案描述中的识别基础进行相应替换即可,在此不再赘述。
图2为本申请另一实施例提供的一种电子装置的结构示意图。如图2所示,该电子装置包括:识别模块20、排序模块21和创建模块22。
识别模块20,用于在视频源中识别出至少一个目标人物各自出现的时间区间;
排序模块21,用于根据剪辑轨道创建需求,对至少一个目标人物各自出现的时间区间进行排序;
创建模块22,用于基于排序后的至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。
在一可选实施例中,排序模块21在根据剪辑轨道创建需求,对至少一个目标人物各自出现的时间区间进行排序时,用于:
根据剪辑轨道创建需求,确定至少一个排序维度以及至少一个排序维度之间的层级关系;
按照至少一个排序维度之间的层级关系,对至少一个目标人物各自出现的时间区间进行至少一个层级的排序。
在一可选实施例中,排序模块21在按照至少一个排序维度之间的层级关系,对至少一个目标人物各自出现的时间区间进行至少一个层级的排序时,用于:
根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段;
按照至少一个排序维度之间的层级关系,针对每个非首层排序维度,根据非首层排序维度各排序类别下的基准时间片段,从非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序。
在一可选实施例中,排序模块21在根据非首层排序维度各排序类别下的基准时间片段,从非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序时,用于:
根据非首层排序维度各排序类别下的基准时间片段,对其上一层排序维度每个排序类别下的序后时间片段进行拆分和/或聚类,以在其上一层排序维度的每个排序类别下,确定非首层排序维度各排序类别下的序后时间片段;
按照非首层排序维度下各排序类别的顺序,在其上一层排序维度的每个排序类别下,对非首层排序维度的各排序类别下的序后时间片段进行排序。
在一可选实施例中,排序模块21还用于:
获取至少一个排序维度中首层排序维度下各排序类别的顺序;
按照首层排序维度下的各排序类别的顺序,对首层排序维度各排序类别下的时间片段进行排序。
在一可选实施例中,排序维度为人名维度、性别维度、年龄范围维度、国别维度、职业资料维度、景别维度、拍摄方式维度或时间维度。
在一可选实施例中,景别维度下的排序类别包括特写、中景或近景中的一种或多种;拍摄方式维度下的排序类别包括:固定拍摄的拍摄方向或角度、运动拍摄的推、拉、摇、移或甩中的一种或多种。
在一可选实施例中,创建模块22在基于排序后的至少一个目标人物各自出现的时间区间,创建剪辑轨道数据时,用于:
根据至少一个排序维度及各排序维度下的至少一个排序类别,为排序后的至少一个目标人物各自出现的时间区间创建索引信息;
基于排序后的至少一个目标人物各自出现的时间区间及其索引信息,创建剪辑轨道数据。
在一可选实施例中,该计算装置还包括通信模块23,通信模块23用于:
接收终端设备发送的剪辑轨道数据获取请求;
将剪辑轨道数据发送至终端设备,以供终端设备基于剪辑轨道数据对视频源进行剪辑。
在一可选实施例中,该计算装置还包括剪辑创作模块24,剪辑创作模块24用于:
基于剪辑轨道数据,从视频源中剪辑出目标视频。
在一可选实施例中,识别模块20在在视频源中识别出至少一个目标人物各自出现的时间区间时,用于:
获取视频源的媒体资源元数据信息;
识别视频源中所包含的至少一个人物,并获取各人物对应的人物属性信息;
从至少一个人物中,选择人物属性信息与视频源的媒体资源元数据信息相匹配的至少一个目标人物;
获取至少一个目标人物各自出现的时间区间。
在一可选实施例中,识别模块20在获取至少一个目标人物各自出现的时间区间时,用于:
根据至少一个目标人物各自对应的人物属性信息,确定至少一个目标人物各自对应的时间区间扩展范围;
根据至少一个目标人物各自对应的时间区间扩展范围,对至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展。
在一可选实施例中,在对至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展之前,识别模块20还用于:
在视频源中识别出包含至少一个目标人物的采样视频帧;
根据对应于同一目标人物,且帧连续性满足预设的帧间距要求的各采样视频帧,分布确定至少一个目标人物各自在视频源中出现的基础时间区间。
在一可选实施例中,当排序维度为景别维度时,排序模块21在根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段时,用于:
分别计算各时间区间内各视频帧中人脸区域与视频画面的比例;
按照各视频帧中人脸区域与视频画面的比例,分别确定各视频帧各自对应的景别;
根据各时间区间内各视频帧各自对应的景别,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单个景别;
基于各时间区间下的多个时间片段,将对应于同一景别的时间片段进行聚类,以确定景别维度各景别下的基准时间片段。
在一可选实施例中,当排序维度为拍摄方式维度时,排序模块21在根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段时,用于:
分别计算各时间区间内各视频帧中人脸区域的画面坐标,以确定各时间区间内的人脸区域的画面坐标变化趋势;
根据各时间区间内的人脸区域的画面坐标变化趋势,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单种拍摄方式;
基于各时间区间下的多个时间片段,将对应于同一拍摄方式的时间片段进行聚类,以确定拍摄方式维度各拍摄方式下的基准时间片段。
值得说明的是,上述关于计算装置的各实施例中的技术细节,可参考上文中与剪辑轨道数据的创建方法相关的各个实施例中的描述,在此不再赘述,但这不应造成对本申请保护范围的损失。
图3为本申请又一实施例提供的一种计算设备的结构示意图。如图3所示,该计算设备包括存储器30和处理器31。
其中,存储器30,用于存储计算机程序,并可被配置为存储其它各种数据以支持在视频剪辑设备上的操作。这些数据的示例包括用于在视频剪辑设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
其中,处理器31与存储器30耦合,用于执行一条或多条计算机指令,以用于:
在视频源中识别出至少一个目标人物各自出现的时间区间;
根据剪辑轨道创建需求,对至少一个目标人物各自出现的时间区间进行排序;
基于排序后的至少一个目标人物各自出现的时间区间,创建剪辑轨道数据。
在一可选实施例中,处理器31在根据剪辑轨道创建需求,对至少一个目标人物各自出现的时间区间进行排序时,用于:
根据剪辑轨道创建需求,确定至少一个排序维度以及至少一个排序维度之间的层级关系;
按照至少一个排序维度之间的层级关系,对至少一个目标人物各自出现的时间区间进行至少一个层级的排序。
在一可选实施例中,处理器31在按照至少一个排序维度之间的层级关系,对至少一个目标人物各自出现的时间区间进行至少一个层级的排序时,用于:
根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段;
按照至少一个排序维度之间的层级关系,针对每个非首层排序维度,根据非首层排序维度各排序类别下的基准时间片段,从非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序。
在一可选实施例中,处理器31在根据非首层排序维度各排序类别下的基准时间片段,从非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序时,用于:
根据非首层排序维度各排序类别下的基准时间片段,对其上一层排序维度每个排序类别下的序后时间片段进行拆分和/或聚类,以在其上一层排序维度的每个排序类别下,确定非首层排序维度各排序类别下的序后时间片段;
按照非首层排序维度下各排序类别的顺序,在其上一层排序维度的每个排序类别下,对非首层排序维度的各排序类别下的序后时间片段进行排序。
在一可选实施例中,处理器31还用于:
获取至少一个排序维度中首层排序维度下各排序类别的顺序;
按照首层排序维度下的各排序类别的顺序,对首层排序维度各排序类别下的时间片段进行排序。
在一可选实施例中,排序维度为人名维度、性别维度、年龄范围维度、国别维度、职业资料维度、景别维度、拍摄方式维度或时间维度。
在一可选实施例中,景别维度下的排序类别包括特写、中景或近景中的一种或多种;拍摄方式维度下的排序类别包括:固定拍摄的拍摄方向或角度、运动拍摄的推、拉、摇、移或甩中的一种或多种。
在一可选实施例中,处理器31在基于排序后的至少一个目标人物各自出现的时间区间,创建剪辑轨道数据时,用于:
根据至少一个排序维度及各排序维度下的至少一个排序类别,为排序后的至少一个目标人物各自出现的时间区间创建索引信息;
基于排序后的至少一个目标人物各自出现的时间区间及其索引信息,创建剪辑轨道数据。
在一可选实施例中,处理器31还用于:
接收终端设备发送的剪辑轨道数据获取请求;
将剪辑轨道数据发送至终端设备,以供终端设备基于剪辑轨道数据对视频源进行剪辑。
在一可选实施例中,处理器31还用于:
基于剪辑轨道数据,从视频源中剪辑出目标视频。
在一可选实施例中,处理器31在在视频源中识别出至少一个目标人物各自出现的时间区间时,用于:
获取视频源的媒体资源元数据信息;
识别视频源中所包含的至少一个人物,并获取各人物对应的人物属性信息;
从至少一个人物中,选择人物属性信息与视频源的媒体资源元数据信息相匹配的至少一个目标人物;
获取至少一个目标人物各自出现的时间区间。
在一可选实施例中,处理器31在获取至少一个目标人物各自出现的时间区间时,用于:
根据至少一个目标人物各自对应的人物属性信息,确定至少一个目标人物各自对应的时间区间扩展范围;
根据至少一个目标人物各自对应的时间区间扩展范围,对至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展。
在一可选实施例中,在对至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展之前,处理器31还用于:
在视频源中识别出包含至少一个目标人物的采样视频帧;
根据对应于同一目标人物,且帧连续性满足预设的帧间距要求的各采样视频帧,分布确定至少一个目标人物各自在视频源中出现的基础时间区间。
在一可选实施例中,当排序维度为景别维度时,处理器31在根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段时,用于:
分别计算各时间区间内各视频帧中人脸区域与视频画面的比例;
按照各视频帧中人脸区域与视频画面的比例,分别确定各视频帧各自对应的景别;
根据各时间区间内各视频帧各自对应的景别,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单个景别;
基于各时间区间下的多个时间片段,将对应于同一景别的时间片段进行聚类,以确定景别维度各景别下的基准时间片段。
在一可选实施例中,当排序维度为拍摄方式维度时,处理器31在根据至少一个排序维度下的排序类别,基于图像识别操作,对至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段时,用于:
分别计算各时间区间内各视频帧中人脸区域的画面坐标,以确定各时间区间内的人脸区域的画面坐标变化趋势;
根据各时间区间内的人脸区域的画面坐标变化趋势,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单种拍摄方式;
基于各时间区间下的多个时间片段,将对应于同一拍摄方式的时间片段进行聚类,以确定拍摄方式维度各拍摄方式下的基准时间片段。
值得说明的是,上述关于计算设备的各实施例中的技术细节,可参考上文中与剪辑轨道数据的创建方法相关的各个实施例中的描述,在此不再赘述,但这不应造成对本申请保护范围的损失。
进一步,如图3所示,该计算设备还包括:通信组件32、电源组件33等其它组件。图3中仅示意性给出部分组件,并不意味着计算设备只包括图3所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。
其中,通信组件32,被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其它技术来实现,以促进短程通信。
其中,电源组件33,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (18)

1.一种剪辑轨道数据的创建方法,其特征在于,包括:
在视频源中识别出至少一个目标人物各自出现的时间区间;根据剪辑轨道创建需求,基于至少一个排序维度下的排序类别,对所述至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段;
对所述至少一个目标人物各自出现的时间区间及其它排序维度各排序类别下的基准时间片段进行排序;基于排序后的所述至少一个目标人物各自出现的时间区间及其它排序维度个排序类别下的基准时间片段,创建剪辑轨道数据,所述剪辑轨道数据中携带根据排序类别创建的索引信息。
2.根据权利要求1所述的方法,其特征在于,所述根据剪辑轨道创建需求,对所述至少一个目标人物各自出现的时间区间进行排序,包括:
根据所述剪辑轨道创建需求,确定至少一个排序维度以及至少一个排序维度之间的层级关系;
按照所述至少一个排序维度之间的层级关系,对所述至少一个目标人物各自出现的时间区间进行至少一个层级的排序。
3.根据权利要求2所述的方法,其特征在于,所述按照所述至少一个排序维度之间的层级关系,对所述至少一个目标人物各自出现的时间区间进行至少一个层级的排序,包括:
按照所述至少一个排序维度之间的层级关系,针对每个非首层排序维度,根据所述非首层排序维度各排序类别下的基准时间片段,从所述非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序。
4.根据权利要求3所述的方法,其特征在于,所述根据所述非首层排序维度各排序类别下的基准时间片段,从所述非首层排序维度对其上一层排序维度各排序类别下的序后时间片段进行排序,包括:
根据所述非首层排序维度各排序类别下的基准时间片段,对其上一层排序维度每个排序类别下的序后时间片段进行拆分和/或聚类,以在其上一层排序维度的每个排序类别下,确定所述非首层排序维度各排序类别下的序后时间片段;
按照所述非首层排序维度下各排序类别的顺序,在其上一层排序维度的每个排序类别下,对所述非首层排序维度的各排序类别下的序后时间片段进行排序。
5.根据权利要求4所述的方法,其特征在于,还包括:
获取所述至少一个排序维度中首层排序维度下各排序类别的顺序;
按照所述首层排序维度下的各排序类别的顺序,对所述首层排序维度各排序类别下的时间片段进行排序。
6.根据权利要求1~5任一项所述的方法,其特征在于,所述排序维度为人名维度、性别维度、年龄范围维度、国别维度、职业资料维度、景别维度、拍摄方式维度或时间维度。
7.根据权利要求6所述的方法,其特征在于,所述景别维度下的排序类别包括特写、中景或近景中的一种或多种;所述拍摄方式维度下的排序类别包括:固定拍摄的拍摄方向或角度、运动拍摄的推、拉、摇、移或甩中的一种或多种。
8.根据权利要求1~5任一项所述的方法,其特征在于,所述基于排序后的所述至少一个目标人物各自出现的时间区间,创建剪辑轨道数据,包括:
根据所述至少一个排序维度及各排序维度下的至少一个排序类别,为排序后的所述至少一个目标人物各自出现的时间区间创建索引信息;
基于排序后的所述至少一个目标人物各自出现的时间区间及其索引信息,创建所述剪辑轨道数据。
9.根据权利要求8所述的方法,其特征在于,还包括:
接收终端设备发送的剪辑轨道数据获取请求;
将所述剪辑轨道数据发送至所述终端设备,以供所述终端设备基于所述剪辑轨道数据对所述视频源进行剪辑。
10.根据权利要求1所述的方法,其特征在于,还包括:
基于所述剪辑轨道数据,从所述视频源中剪辑出目标视频。
11.根据权利要求1所述的方法,其特征在于,所述在视频源中识别出至少一个目标人物各自出现的时间区间,包括:
获取所述视频源的媒体资源元数据信息;
识别所述视频源中所包含的至少一个人物,并获取各人物对应的人物属性信息;
从所述至少一个人物中,选择人物属性信息与所述视频源的媒体资源元数据信息相匹配的至少一个目标人物;
获取所述至少一个目标人物各自出现的时间区间。
12.根据权利要求11所述的方法,其特征在于,所述获取所述至少一个目标人物各自出现的时间区间,包括:
根据所述至少一个目标人物各自对应的人物属性信息,确定所述至少一个目标人物各自对应的时间区间扩展范围;
根据所述至少一个目标人物各自对应的时间区间扩展范围,对所述至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展。
13.根据权利要求12所述的方法,其特征在于,在所述对所述至少一个目标人物各自在视频源中的出现的基础时间区间进行扩展之前,还包括:
在所述视频源中识别出包含至少一个目标人物的采样视频帧;
根据对应于同一目标人物,且帧连续性满足预设的帧间距要求的各采样视频帧,分布确定所述至少一个目标人物各自在所述视频源中出现的基础时间区间。
14.根据权利要求3所述的方法,其特征在于,当所述排序维度为景别维度时,所述根据所述至少一个排序维度下的排序类别,基于图像识别操作,对所述至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段,包括:
分别计算各时间区间内各视频帧中人脸区域与视频画面的比例;
按照各视频帧中人脸区域与视频画面的比例,分别确定各视频帧各自对应的景别;
根据各时间区间内各视频帧各自对应的景别,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单个景别;
基于各时间区间下的多个时间片段,将对应于同一景别的时间片段进行聚类,以确定景别维度各景别下的基准时间片段。
15.根据权利要求3所述的方法,其特征在于,当所述排序维度为拍摄方式维度时,所述根据所述至少一个排序维度下的排序类别,基于图像识别操作,对所述至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段,包括:
分别计算各时间区间内各视频帧中人脸区域的画面坐标,以确定各时间区间内的人脸区域的画面坐标变化趋势;
根据各时间区间内的人脸区域的画面坐标变化趋势,分别将各时间区间拆分为多个时间片段,其中,拆分后获得的单个时间片段对应单种拍摄方式;
基于各时间区间下的多个时间片段,将对应于同一拍摄方式的时间片段进行聚类,以确定拍摄方式维度各拍摄方式下的基准时间片段。
16.一种计算设备,其特征在于,包括:存储器和处理器;
所述存储器用于存储一条或多条计算机指令;
所述处理器与所述存储器耦合,用于执行所述一条或多条计算机指令,以用于执行权利要求1-15任一项所述的剪辑轨道数据的创建方法。
17.一种电子装置,其特征在于,包括:
识别模块,用于在视频源中识别出至少一个目标人物各自出现的时间区间;
排序模块,用于根据剪辑轨道创建需求,基于至少一个排序维度下的排序类别,对所述至少一个目标人物各自出现的时间区间进行拆分和/或聚类,以确定每个排序维度各排序类别下的基准时间片段;对所述至少一个目标人物各自出现的时间区间及其它排序维度个排序类别下的基准时间片段进行排序;
创建模块,用于基于排序后的所述至少一个目标人物各自出现的时间区间及其它排序维度个排序类别下的基准时间片段,创建剪辑轨道数据,所述剪辑轨道数据中携带根据排序类别创建的索引信息。
18.一种存储计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行权利要求1-15任一项所述的剪辑轨道数据的创建方法。
CN201910303133.9A 2019-04-16 2019-04-16 剪辑轨道数据的创建方法、设备、装置及存储介质 Active CN111836100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910303133.9A CN111836100B (zh) 2019-04-16 2019-04-16 剪辑轨道数据的创建方法、设备、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910303133.9A CN111836100B (zh) 2019-04-16 2019-04-16 剪辑轨道数据的创建方法、设备、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111836100A CN111836100A (zh) 2020-10-27
CN111836100B true CN111836100B (zh) 2023-03-31

Family

ID=72915385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910303133.9A Active CN111836100B (zh) 2019-04-16 2019-04-16 剪辑轨道数据的创建方法、设备、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111836100B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367551B (zh) * 2020-10-30 2023-06-16 维沃移动通信有限公司 视频编辑的方法及装置、电子设备和可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657537B (zh) * 2015-12-23 2018-06-19 小米科技有限责任公司 视频剪辑方法及装置
US20170220869A1 (en) * 2016-02-02 2017-08-03 Verizon Patent And Licensing Inc. Automatic supercut creation and arrangement
CN106375870B (zh) * 2016-08-31 2019-09-17 北京旷视科技有限公司 视频标注方法及装置
CN106534967B (zh) * 2016-10-25 2019-08-02 司马大大(北京)智能系统有限公司 视频剪辑方法及装置
CN106507180B (zh) * 2016-11-24 2018-10-19 腾讯科技(深圳)有限公司 一种视频处理的方法及终端
CN109326310B (zh) * 2017-07-31 2022-04-08 西梅科技(北京)有限公司 一种自动剪辑的方法、装置及电子设备
CN108900896A (zh) * 2018-05-29 2018-11-27 深圳天珑无线科技有限公司 视频剪辑方法及装置
CN109151537B (zh) * 2018-08-29 2020-05-01 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111836100A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
US8375302B2 (en) Example based video editing
US9940970B2 (en) Video remixing system
US10242007B2 (en) Automated media clipping and combination system
CN109766457B (zh) 一种媒体内容搜索方法、装置及存储介质
CN107360476B (zh) 视频摘要生成方法及装置
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
CN111835985B (zh) 视频剪辑方法、设备、装置及存储介质
CN111279709B (zh) 提供视频推荐
CN102256030A (zh) 可匹配背景音乐的相册演示系统及其背景音乐匹配方法
KR102199446B1 (ko) 영상 컨텐츠 검색을 지원하는 영상 서비스 장치 및 영상 컨텐츠 검색 지원 방법
CN111966909B (zh) 视频推荐方法、装置、电子设备及计算机可读存储介质
US20110231766A1 (en) Systems and Methods for Customizing Photo Presentations
CN111447505A (zh) 视频剪辑方法、网络设备及计算机可读存储介质
CN105760483A (zh) 多媒体文件的保存及其检索方法和系统
CN113841417A (zh) 影片生成方法、终端设备、拍摄设备及影片生成系统
CN113891017A (zh) 一种视频自动生成方法、装置、终端设备及存储装置
CN110049180A (zh) 拍摄姿势推送方法和装置、智能终端
CN111836100B (zh) 剪辑轨道数据的创建方法、设备、装置及存储介质
US10885619B2 (en) Context-based imagery selection
US20220020396A1 (en) Video recording and editing system
CN117201858A (zh) 一种视频生成方法、装置和设备
CN112784074B (zh) 一种多媒体数据处理方法、计算机及可读存储介质
CN113840099B (zh) 视频处理方法、装置、设备及计算机可读存储介质
CN114302224A (zh) 一种视频智能剪辑方法、装置、设备及存储介质
CN113645499A (zh) 一种基于云端的视频剪辑方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant