CN111050191A - 一种视频生成方法、装置、计算机设备和存储介质 - Google Patents

一种视频生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111050191A
CN111050191A CN201911402041.2A CN201911402041A CN111050191A CN 111050191 A CN111050191 A CN 111050191A CN 201911402041 A CN201911402041 A CN 201911402041A CN 111050191 A CN111050191 A CN 111050191A
Authority
CN
China
Prior art keywords
video
speech
lines
target
target video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911402041.2A
Other languages
English (en)
Other versions
CN111050191B (zh
Inventor
刘军煜
沈招益
高洵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911402041.2A priority Critical patent/CN111050191B/zh
Publication of CN111050191A publication Critical patent/CN111050191A/zh
Application granted granted Critical
Publication of CN111050191B publication Critical patent/CN111050191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data

Abstract

本发明实施例公开了一种视频生成方法、装置、计算机设备和存储介质,可以获取目标视频的台词文件;对台词文件中每一句台词进行重要程度的评估,得到台词的重要性度量值;基于台词的重要性度量值,确定台词文件中的重要台词;基于重要台词,获取目标视频中的精彩视频片段;对精彩视频片段进行组合得到精彩视频,本实施例基于对目标视频的台词内容的分析,确定精彩视频片段,得到精彩视频,无需依赖目标视频的用户反馈,所以精彩视频的提取时刻可以为目标视频生产后的任意时刻,而不仅局限于相关技术中目标视频播放后的时间,本实施例的方案也不依赖对目标视频的人工编辑,有利于可以降低对人力资源的需求,以及获取精彩视频所需的时长。

Description

一种视频生成方法、装置、计算机设备和存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种视频生成方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的快速发展,以及视频制作软件的普及,每一个用户都可以作为内容生产者制造出UGC(User Generated Content,用户创造内容)。
互联网中视频的总时长快速增长,用户可选择的视频数量大大增加,但是随着生活节奏的加快,人们越来越倾向快速获取信息,例如通过较短的时间观看长视频中的精彩片段,既满足对视频内容获取的需要,也无需长时间观看视频。
相关技术中,可以通过人工观看长视频,并对长视频编辑得到长视频对应的精彩视频片段,但是这种方式完全依赖人工,需要工作人员看完整个长视频,不仅对人力资源要求较高还需要花费较长的时间,另外,相关技术中,还可以在视频播放一定时间之后,通过积累的弹幕、评论等信息筛选视频中的精彩视频片段,但是这种方式需要基于用户反馈实现,只适合已经播放过的视频。
发明内容
本发明实施例提供一种视频生成方法、装置、计算机设备和存储介质,可以不依赖于视频的用户反馈,而是基于视频本身的内容进行精彩视频的挖掘。
本发明实施例提供一种视频生成方法,该方法包括:
获取目标视频的台词文件;
对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
基于台词的所述重要性度量值,确定台词文件中的重要台词;
基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;
对所述精彩视频片段进行组合得到精彩视频。
本实施例还提供一种视频生成装置,该装置包括:
台词获取单元,用于获取目标视频的台词文件;
度量单元,用于对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
确定单元,用于基于台词的所述重要性度量值,确定台词文件中的重要台词;
视频片段获取单元,用于基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;
组合单元,用于对所述精彩视频片段进行组合得到精彩视频。
可选的,台词获取单元,包括:
视频信息获取子单元,用于获取目标视频的视频信息;
台词信息确定子单元,用于基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段;
台词文件生成子单元,用于将每句台词与对应的展示时间段对应存储,得到目标视频的台词文件。
可选的,所述视频信息为所述目标视频的音频数据,台词信息确定子单元,用于:
将所述音频数据转换为文字信息,将所述文字信息中的每一句话作为一句台词;
基于每句台词在所述音频数据的播放时间轴上的播放时间段,确定每句台词在所述目标视频的播放时间轴上的展示时间段。
可选的,所述视频信息为所述目标视频中的图像,台词信息确定子单元,用于:
对所述目标视频中每一帧图像进行文字识别;
基于对所述目标视频的每一帧图像的文字识别结果,确定所述目标视频中的字幕,以及所述目标视频中承载有字幕的目标图像,其中,一帧图像上的字幕为一句台词;
基于每一句台词对应的目标图像在所述目标视频中的位置,确定每一句台词在所述目标视频的播放时间轴上的展示时间段。
可选的,台词信息确定子单元,用于:确定所述目标视频的图像上的字幕显示区域;
对所述目标视频中每一帧图像上的字幕显示区域进行文字识别。
可选的,视频片段获取单元,包括:
展示时间段获取子单元,用于从所述台词文件中获取所述重要台词在所述目标视频的播放时间轴上的展示时间段;
播放时间段获取子单元,用于基于所述重要台词的展示时间段,确定所述重要台词对应的精彩视频片段在所述目标视频的播放时间轴上的播放时间段;
视频片段获取子单元,用于基于所述精彩视频片段的播放时间段,从所述目标视频中获取所述精彩视频片段。
可选的,播放时间段获取子单元,用于:
确定所述台词文件中所述重要台词对应的语义补充台词,其中,所述语义补充台词用于与所述重要台词构成完整的语义;
基于所述台词文件中重要台词和语义补充台词的展示时间段,确定所述重要台词和语义补充台词的联合展示时间段;
将所述联合展示时间段,确定为所述重要台词对应的精彩视频片段在所述目标视频的播放时间轴上的播放时间段。
可选的,播放时间段获取子单元,用于:
基于所述台词文件,获取重要台词与其前一句台词的播放间隔时长,若所述播放间隔时长高于预设时长阈值,确定所述重要台词之前不存在语义补充台词;否则,将所述语义补充台词作为新的重要台词,并返回执行基于所述台词文件,获取重要台词与其前一句台词的播放间隔时长的步骤;
基于所述台词文件,获取重要台词与其后一句台词的播放间隔时长,若所述播放间隔时长高于预设时长阈值,确定所述重要台词之后不存在语义补充台词;否则,将所述语义补充台词作为新的重要台词,并返回执行基于所述台词文件,获取重要台词与其后一句台词的播放间隔时长的步骤。
可选的,度量单元,包括:
主题获取子单元,用于获取目标主题;
第一相关性获取子单元,用于获取台词文件中每一句台词与所述目标主题的相关性;
第一度量子单元,用于基于台词对应的相关性,确定用于表征台词重要程度的重要性度量值,其中,台词与目标主题的相关性越高,台词的重要性度量值越大。
可选的,度量单元,包括:
第二相关性获取子单元,用于对所述台词文件中的台词进行两两组合,得到台词组,计算各台词组中的两句台词之间的相关性;
第二度量子单元,用于基于各台词与所述台词文件中其他台词之间的相关性,确定各台词的重要性度量值。
可选的,第二度量子单元,用于:
基于每一句台词与其所在台词组的另一句台词的相关性,计算每一句台词对其所在台词组的另一句台词的重要性影响度;
获取所述台词文件中每一句台词的初始重要性度量值;
基于每一句台词所在台词组的另一句台词的初始重要性度量值和重要性影响度,确定每一句台词的实际的重要性度量值。
可选的,该装置还包括:前情提要生成单元,用于在组合单元对所述精彩视频片段进行组合得到精彩视频后,获取目标视频对应的衔接视频,其中,所述衔接视频的剧情衔接于所述目标视频的剧情;将所述精彩视频与所述衔接视频的进行拼接,得到拼接后的衔接视频。
可选的,组合单元,包括:
排序子单元,用于基于所述精彩视频片段的展示时间段,确定所述精彩视频片段在所述目标视频中的播放顺序;
拼接子单元,用于按照所述播放顺序对所述精彩视频片段进行拼接,得到精彩视频。
本实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如上所述的视频生成方法的步骤。
本实施例还提供一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如上所述的视频生成方法的步骤。
本实施例公开了一种视频生成方法、装置、计算机设备和存储介质,可以获取目标视频的台词文件;对台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;基于台词的所述重要性度量值,确定台词文件中的重要台词;基于重要台词,获取目标视频中的精彩视频片段,其中,精彩视频片段展示的台词中包含重要台词;对精彩视频片段进行组合得到精彩视频,由此可知,本实施例是通过目标视频的台词内容的分析,确定目标视频的精彩视频片段,得到精彩视频,该方案无需依赖目标视频的用户反馈,精彩视频的提取时刻可以为目标视频生产后的任意时刻,而不仅局限于相关技术中目标视频播放后的时间,本实施例的方案也不依赖对目标视频的人工编辑,有利于可以降低对人力资源的需求,以及获取精彩视频所需的时长。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的视频生成方法的场景示意图;
图1b是本发明实施例提供的视频生成方法的流程图;
图2a是基于本发明实施例中的视频生成方法的原理图;
图2b是本发明实施例中台词文件的一种可选的示意图;
图2c是本发明实施例中带广告的前情提要视频的示意图;
图3是本发明实施例提供的视频生成装置的结构示意图;
图4是本发明实施例提供的计算机设备的结构示意图;
图5是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图;
图6是本发明实施例提供的区块结构的一个可选的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视频生成方法、装置、计算机设备和存储介质。具体地,本发明实施例提供适用于计算机设备的视频生成方法。其中,计算机设备可以为终端等设备,该终端可以为手机、平板电脑、笔记本电脑等设备;其中,该计算机设备还可以为服务器等设备,该服务器可以是单台服务器,也可以是由多个服务器组成的服务器集群。
比如,视频生成装置可以集成在终端或服务器中。
本实施例中,视频生成方法可以由终端或服务器单独执行,也可以由终端和服务器共同执行完成。
本发明实施例将以计算机设备为服务器为例,来介绍视频生成方法。
参考图1a,本发明实施例提供了视频生成系统包括终端10和服务器20等;终端10与服务器20之间通过网络连接,比如,通过有线或无线网络连接等,其中,视频生成装置可以集成在服务器中。
例如,服务器20可以用于获取目标视频的台词文件;对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;基于台词的所述重要性度量值,确定台词文件中的重要台词;基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;对所述精彩视频片段进行组合得到精彩视频。
在本实施例中,服务器20可以在某些特定条件下,主动对目标视频进行精彩视频的获取,例如,服务器20可以用于在当前时刻为预设的精彩视频更新时刻时,确定数据库中属于特定视频类型、且不存在精彩视频的视频作为目标视频,然后执行上述对目标视频的精彩视频的获取步骤。其中,对精彩视频的使用需求不同,特定视频类型可以不同,例如,若精彩视频是作为目标视频的精彩片段使用,目标视频可以是任意类型的视频,若精彩视频作为目标视频的剧情衔接视频的前情提要视频使用,特定视频类型包括但不限于系列视频,如电视剧、系列电影、综艺节目以及纪录片等系列视频。
或者服务器20可以在接收到上传的视频后,确定该视频是否需要生成精彩视频,若是,则执行上述的视频生成方法的步骤,生成目标视频的精彩视频。
其中,另一个实施例中,还可以由终端10触发服务器20提取目标视频的精彩视频,可选的,终端10,可以用于显示目标视频的视频编辑页面,当检测到用户针对目标视频的精彩视频获取操作时,向服务器发送针对目标视频的精彩视频获取请求。
服务器20,可以用于在获取到精彩视频获取请求时候,获取目标视频的台词文件,对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;基于台词的所述重要性度量值,确定台词文件中的重要台词;基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;对所述精彩视频片段进行组合得到精彩视频,将该精彩视频发送给终端10。
终端10可以用于在接收到精彩视频时,存储该精彩视频;在接收到对精彩视频的播放请求时,显示精彩视频的播放页面。
在另一个实施例中,视频生成装置还可以集成在终端10中,终端10可以用于获取目标视频的台词文件;对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;基于台词的所述重要性度量值,确定台词文件中的重要台词;基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;对所述精彩视频片段进行组合得到精彩视频。
其中,目标视频以及其台词文件可以存储于终端10的存储空间中,终端10可以从本地获取目标视频的台词文件。在另一个实施例中,终端10可以实时从服务器获取目标视频的台词文件,或者从服务器中获取目标视频,再对目标视频进行分析获取台词文件。
可选的,本实施例中,终端10可以用于向服务器20发送目标视频获取请求,服务器20可以用于接收终端发送的目标视频获取请求,基于请求中携带的目标视频的标识信息,基于目标视频的标识信息获取目标视频,将目标视频发送给终端10。
终端10可以用于接收目标视频,对目标视频进行分析,获取目标视频的台词文件。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本发明实施例将从视频生成装置的角度进行描述,该视频生成装置具体可以集成在终端,也可以集成在服务器中。
本发明实施例提供的一种视频生成方法,该方法可以由服务器的处理器执行,如图1b所示,该视频生成方法的具体流程可以如下:
101、获取目标视频的台词文件;
本实施例中,视频生成方法中的步骤可以由服务器执行,可选的,对于服务器而言,若目标视频的台词文件已经存在,则从存储该台词文件的存储区域直接获取该台词文件,若该台词文件不存在,则可以获取目标视频,通过对目标视频的分析,获取目标视频的台词文件。
可以理解的是,在另一个实施例中,视频生成方法中的步骤还可以由终端执行,视频生成装置可以以客户端的形式集成在该终端中,例如以专业的视频编辑客户端的形式集成在终端中。对于终端而言,目标视频的台词文件,或者目标视频,可以从终端本地获取,也可以从服务器获取,还可以从与终端连接的其他设备获取目标视频,例如从终端连接的存储装置如U盘,获取目标视频。
对于服务器而言,目标视频的台词文件,或者目标视频,可以从服务器的数据库中获取,或者从服务器所属区块链中获取。
本实施例中,目标视频的视频格式不限,适于播放的视频播放客户端不限,内容生产方不限、播放时长不限。例如,目标视频可以是电视剧、或电影类视频。
在本实施例中,目标视频的台词文件可以是预先生成并存储的,也可以在步骤101中实时生成的,本实施例此没有限制。
可选的,在一个示例中,步骤“获取目标视频的台词文件”,可以包括:获取目标视频的视频数据,该视频数据中包含目标视频的台词文件。
其中,该台词文件可以是在目标视频的生产者制作目标视频的过程中生成的,可选的,该台词文件中可以包括目标视频的每句台词,以及每句台词在目标视频的播放时间轴上的展示时间段。
可选的,在另一个示例中,目标视频的台词文件可以通过对目标视频的实时分析得到。参考图2a所示的精彩视频生成原理图,首先需要对目标视频提取台词,然后从台词中获取重要台词,再基于重要台词确定精彩视频片段,基于精彩视频片段确定精彩视频。
可选的,在一个示例中,步骤“获取目标视频的台词文件”,可以包括:
获取目标视频的视频信息;
基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段;
将每句台词与对应的展示时间段对应存储,得到目标视频的台词文件。
本实施例中的台词文件,可以理解为目标视频的台词集合,该台词集合中的台词信息包括但不限于台词的内容以及台词的展示时间段。其中展示时间段可以以展示开始时间点和展示结束时间点的形式表示,本实施例对此没有限制。
本实施中,目标视频的视频信息是包含目标视频的台词的信息,其承载台词的形式不限,视频信息可以以音频的形式承载台词,或以文字的形式承载台词,本实施例对此没有限制。
(1):目标视频的视频信息为目标视频的音频数据,基于目标视频的音频数据获取台词文件。
可选的,步骤“基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段”,可以包括:
将目标视频的音频数据转换为文字信息,将文字信息中的每一句话作为一句台词;
基于每句台词在所述音频数据的播放时间轴上的播放时间段,确定所述每句台词在所述目标视频的播放时间轴上的展示时间段。
在相关技术中,许多的应用都提供音频数据转文字的功能,并且音频数据转文字时,还会根据音频数据中语音内容的停顿,对转换出来的文字进行断句。本实施例中,将音频数据转换为文字信息后,可以以该文字信息中的断句确定每一句台词,即将该文字信息中的每一句话确定为一句台词。可选的,本实施例中,还可以采用其他方式划分台词,例如,在将音频数据转换为文字信息后,基于文字信息每一句话的语义,确定文字信息中的每一句台词,其中,每一句台词的语义完整。
例如,从音频数据中转换的文字信息包括“父皇一见到他,就觉得跟他投缘,还说,要像儿子一样对待它,您还记得吗,今年冬天的雪很大,来年一定是个丰收年”,根据断句情况,在这一段文字信息中,存在7句话语,如“父皇一见到他”,“就觉得跟他投缘”,“还说”,“要像儿子一样对待它”,“您还记得吗”,“今年冬天的雪很大”,“来年一定是个丰收年”。这7句话语可以分别作为7句台词,或者,在一个实施例中,可以针对这7句话语,分析它们的语义,将构成完整语义的话语作为一句台词,例如将“父皇一见到他,就觉得跟他投缘,还说,要像儿子一样对待它,您还记得吗“,作为一句台词,将“今年冬天的雪很大,来年一定是个丰收年”作为一句台词。
可选的,本实施例中,对于通过音频数据实时获取台词的方案,音频数据的播放时间轴一般是等同于目标视频的播放时间轴的,所以台词在音频数据的播放时间轴上的播放时间段,与台词在目标视频的播放时间轴上的展示时间段一般是相同的。所以本实施例中,在确定每一句台词后,可以将每句台词在音频数据的播放时间轴上的播放时间段,确定为该句台词在目标视频的播放时间轴上的展示时间段。之后,在生成台词文件时,将台词与对应的展示时间段对应存储,可以得到目标视频的台词文件。
其中,台词文件中,台词和对应的展示时间段可以以键值对的形式存储,或者以元组的方式存储。
可选的,步骤“将每句台词与对应的展示时间段对应存储,得到目标视频的台词文件”,可以包括将台词的内容和对应的展示时间段作为元组元素,生成所述台词对应的元组;基于所有台词的元组生成台词文件。
可选的,在元组时,可以将展示时间段表示为台词的展示开始时间点和展示结束时间点。
例如,对于台词“父皇一见到他,就觉得跟他投缘,还说,要像儿子一样对待它,您还记得吗“,展示时间段表示为:展示开始时间点00:03:58,842,展示结束时间点00:04:11,402;对于台词“今年冬天的雪很大,来年一定是个丰收年”,展示时间段表示为:展示开始时间点00:05:01,216,展示结束时间点00:05:03,026。
可选的,可以以三元组<start_time,end_time,text>的形式存储台词和展示时间段,其中,start_time和end_time分别为台词在目标视频的播放时间轴上的展示开始时间点和展示结束时间点,text为台词的内容。
或者,还可以对每句台词按照展示时间段在播放时间轴上的先后进行排序,并设置每句台词的序号,将该序号如ID添加进三元组中组成台词对应的四元组如<id,start_time,end_time,text>,基于台词对应的四元组生成台词文件。
(2):目标视频的视频信息为目标视频的图像,基于目标视频的图像获取台词文件。
可选的,步骤“基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段”,可以包括:
对目标视频中每一帧图像进行文字识别;
基于对所述目标视频的每一帧图像的文字识别结果,确定所述目标视频中的字幕,以及所述目标视频中承载有字幕的目标图像,其中,一帧图像上的字幕为一句台词;
基于每一句台词对应的目标图像在所述目标视频中的位置,确定每一句台词在所述目标视频的播放时间轴上的展示时间段。
可选的,本实施例中,步骤“对目标视频中每一帧图像进行文字识别”,可以包括:获取目标视频,将目标视频转换为图像序列,对图像序列中的每一帧图像进行文字识别。
其中,在将目标视频转换为图像序列前,可以先对目标视频进行视频预处理,该视频预处理包括但不限于分辨率转换处理,例如将目标视频的分辨率转换为预设分辨率,该预设分辨率可以根据实际情况设置,可选的,该预设分辨率可以为480:270。
对目标视频进行分辨率转换处理之后,可以将目标视频转换为图像序列,依次提取图像序列中的图像进行文字识别。
考虑到如电影等视频中,可能存在至少两种语种的字幕,如中文字幕和英文字幕,在对目标视频中的每一帧图像进行文字识别后,可以对文字识别结果进行分析,确定图像中字幕的语种类型,若字幕通过至少两种语种表现,则获取属于目标语种的目标字幕,以一帧图像上的目标字幕作为一句台词,得到台词文件。
本实施例中,可以采用已有的文字识别技术来识别目标视频的图像中的文字。可选的,本实施例的文字识别技术包括但不限于Optical Character Recognition(OCR,光学字符识别)识别技术。
例如,假设目标视频时长为t秒,目标视频的帧率为每秒f帧图像,其中,t为大于0的整数,f大于0,本实施例中,可以先将目标视频转化为分辨率为480:270的格式,再对目标视频每帧图像进行提取,共得到计t*f帧图像,之后,可以利用OCR技术提取这t*f帧图像中包含的文字信息。
对于每张图像来说,可以得到多块的文字内容以及对应的图像显示位置。鉴于视频的台词绝大部分出现在图像的最下方,根据文字的图像显示位置,可以确定图像显示位置与字幕显示位置匹配的文字,作为图像对应的台词。
对于t*f帧图像都采用上述的方案,可以分别得到每帧图像的台词信息。其中,具有台词的图像为台词对应的目标图像。
考虑到一些台词可能存在于多张图像中,下一步需要合并相同的台词,确定台词的目标图像的展示时间段。假设从第i帧到第j帧图像得到的台词是一样的,则该句台词对应的目标图像为第i到j帧的图像。而这句台词的起止时间分别是第i帧和第j帧图像的时间,通过计算可得该句台词的起止时间分别为i/f和j/f。即该句台词在视频的播放时间轴上的展示时间段为i/f—j/f;
这样对每句台词可以算出台词在目标视频中的展示开始时间点和展示结束时间点,该示例中,对于将台词和对应的展示时间段对应存储的方案,可以参考上述示例中的相关描述。可选的,可以基于台词对应的目标图像在目标视频的图像序列中的位置,为其设置序号,将该序号与台词的展示开始时间点和展示结束时间点以及台词的内容构成一个四元组<id,start_time,end_time,text>,四元组中的元素分别表示台词的序号,台词的展示开始时间点,展示结束时间点,以及台词的内容,生成的台词文件中包含所有台词的四元组。
上述源于字幕得到的台词文件可以理解为带有时间节点的字幕文件,可选的,作为字幕文件时,字幕文件的格式不限,可以为SRT格式,TXT格式等等。
参考图2b,图2b示出了字幕文件的一个示例,图2b中,对于“父皇一见到他”的台词,其序号为46,展示开始时间点为00:03:58,842,展示结束时间点为00:03:59,962,即该台词的展示时间段为00:03:58,842-00:03:59,962。
可选的,在另一个实施例中,可以以台词对应的目标图像帧在目标视频中的位置确定精彩视频片段。
可选的,步骤“基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段”,可以包括:
基于对目标视频的每一帧图像的文字识别结果,确定目标视频中的字幕,以及目标视频中承载有字幕的目标图像,其中,一帧图像上的字幕为一句台词;
确定每一句台词的图像位置信息,图像位置信息用于表示台词对应的目标图像在目标视频中的位置;
以台词对应的图像位置信息表示台词的展示时间段,将台词和台词对应的图像位置信息对应存储,得到目标视频的台词文件。
对应地,步骤“基于重要台词,获取目标视频中的精彩视频片段”,包括:从台词文件中获取重要台词对应的图像位置信息;从目标视频中获取图像位置信息指示的目标图像所在的视频片段,作为目标视频中的精彩视频片段。
例如,还是假设目标视频时长为t秒,帧率为每秒f帧,将目标视频转为图像序列后,对图像序列中的图像按照序列顺序进行编号,图像序列的图像编号为1号至t*f号。
在利用OCR技术提取这t*f帧图像中包含的文字信息,确定图像对应的台词,以及具有台词的目标图像后。可以获取每一句台词对应的目标图像的图像编号,作为台词的图像位置信息。
例如,某句台词对应的目标图像为图像编号从i到j的图像。则这句台词的图像位置信息为图像编号i-j。将台词内容和图像位置信息对应存储,可以得到台词文件,在台词文件中,台词和对应的图像位置信息可以以元组的形式存储,例如以三元组<start_ID,end_ID,text>的形式存储,start_ID,end_ID和text分别表示台词对应的第一帧目标图像的图像编号,台词对应的最后一帧目标图像的图像编号,以及台词的内容,在一个实施例中,还可以在三元组中加入台词的序号组成四元组。
对应地,假设重要台词对应的图像位置信息为图像编号x-y,则可以将目标视频的图像中图像编号为x-y的图像对应的视频片段,确定为精彩视频片段。
对于电视剧、电影等视频,字幕的显示区域一般是固定的,例如,电影、电视剧的字幕一般显示于视频的图像的下部,本实施例中,可以基于业内通用的字幕显示规则,识别出图像中的字幕。
可选的,一个实施例中,可以通过对图像中的固定区域的文字识别,获取字幕。步骤“对目标视频中每一帧图像进行文字识别”,可以包括:确定目标视频的图像上的字幕显示区域;对目标视频中每一帧图像上的字幕显示区域进行文字识别。
其中,“确定目标视频的图像上的字幕显示区域”,可以包括:获取目标视频的字幕显示区域在图像上的坐标信息,基于该坐标信息确定字幕显示区域在图像中的位置。
可选的,另一个实施例中,还可以在对整个图像进行文字识别后,从识别结果中获取图像上位于字幕显示区域内的文字识别结果作为识别出的字幕。步骤“基于对所述目标视频的每一帧图像的文字识别结果,确定所述目标视频中的字幕,以及所述目标视频中承载有字幕的目标图像”,可以包括:确定目标视频的图像上的字幕显示区域,从对目标视频的每一帧图像的文字识别结果中获取字幕显示区域的目标文字识别结果,将目标文字识别结果中包含文字的图像作为目标图像,将目标图像上的目标文字识别结果作为该帧图像的台词。
102、对台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
本实施例中,台词文件中台词的重要性可以从多个维度进行分析,例如台词内容维度、台词展示时间维度、台词所属角色的维度、台词所属主题的维度等等。
例如,对于台词内容维度,可以基于台词文件中台词的具体内容,对每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值。
例如,对于台词展示时间维度,可以获取台词文件中各台词的展示时长,对每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值。
例如,对于台词所属角色的维度,可以获取台词文件中各台词所属角色,基于各角色的角色重要性,对每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值。
例如,对于台词所属主题的维度,可以基于台词文件中各台词的内容,分析各台词所属主题,基于各主题对对应的台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值。
可以理解的是,在一个实施例中,可以结合上述维度中的至少两个维度对台词文件中的台词进行重要程度的评估。
可选的,一个实施例中,步骤“对台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值”,可以包括:
获取目标主题;
获取台词文件中每一句台词与目标主题的相关性,基于台词对应的相关性,确定用于表征台词重要程度的重要性度量值,其中,台词与目标主题的相关性越高,台词的重要性度量值越大。
其中,目标主题可以由用户设置,用户可以设置目标主题的具体内容,例如设置目标主题为“男主角XX在海边告白”。
在获取台词文件中每一句台词与目标主题的相关性时,可以计算台词内容与目标主题内容的相关性,以该相关性作为台词与目标主题的相关性。
可选的,本实施例中,可以对台词内容和目标主题内容进行分词,确定相似词语的数量,基于相似词语的数量确定台词与目标主题的相似度。或者,本实施例中,还可以将台词内容和目标主题内容,通过神经网络模型提取文本特征向量,计算台词内容和目标主题内容的文本特征向量的相似度,作为台词与目标主题的相似度。该神经网络模型可以采用任意类型的神经网络,可选的,该神经网络模型可以为对话(Bert)模型。
可选的,一个实施例中,步骤“对台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值”,可以包括:
获取目标视频中的目标角色;
确定台词文件中台词与目标视频中各角色的关联性,将关联性作为用于表征台词重要程度的重要性度量值,其中,关联性越高,台词的重要性度量值越大。
其中,目标角色的数量可以为一个或多个,台词与角色的关联性,可以通过台词内容与各角色的关联,以及台词所属的角色确定。例如,若某句台词是目标角色所说的台词,则该台词与目标角色存在很高的关联性;若某句台词的台词内容中直接提到目标角色,该台词与目标角色存在一定的关联性。
可选的,一个实施例中,步骤“对台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值”,可以包括:
对台词文件中的台词进行两两组合,得到台词组,计算各台词组中的两句台词之间的相关性;
基于各台词与台词文件中其他台词之间的相关性,确定各台词的重要性度量值。
本实施例可以基于台词内容本身确定台词之间的相关性。
可选的,步骤“计算各台词组中的两句台词之间的相关性”,可以包括:
计算各组台词中的两句台词之间的相似度;
基于台词之间的相似度,确定台词之间的相关性。
可选的,步骤“计算各组台词中的两句台词之间的相似度”,可以包括:
对台词组中的两句台词进行分词,统计台词组的两台词中相似词语的数量;
统计台词组的两台词中词语的总数;
以台词组中相似词语的数量与词语的总数的比例,作为台词组中两句台词之间的相似度。
可选的,本实施例中,分词的方法不限,对于不同的语种,可以采用不同的分词方法,例如对于中文语种,可以基于Python中的中文分词组件jieba实现对台词的分词。
可选的,在另一个示例中,步骤“计算各台词组中的两句台词之间的相似度”,可以包括:
对各台词组中的两句台词提取文本特征向量;
计算各台词组中两句台词的文本特征向量的相似度。
其中,具体可以计算文本特征向量的欧式距离,以该欧式距离的大小表示相似度,或者计算文本特征向量之间的余弦相似度。本实施例中,可以通过神经网络提取台词的文本特征向量,该神经网络类型不限,可以是相关技术中任意可用于分析文本的神经网络。
可选的,本实施例的一个示例中,可以基于每句台词与其他台词的相关性的高低,分析台词的重要程度。
可选的,步骤“基于各台词与台词文件中其他台词之间的相关性,确定各台词的重要性度量值”,可以包括:
基于各台词与台词文件中其他台词的相关性,计算各台词对应的平均相关性,以台词的平均相关性作为台词的重要性度量值。
可选的,步骤“基于各台词与台词文件中其他台词之间的相关性,确定各台词的重要性度量值”,可以包括:
基于每一句台词与其所在台词组另一句台词的相关性,计算每一句台词对其所在台词组的另一句台词的重要性影响度;
获取台词文件中每一句台词的初始重要性度量值;
基于每一句台词所在台词组的另一句台词的初始重要性度量值和重要性影响度,确定每一句台词实际的重要性度量值。
本实施例中,可以基于自然语言处理中的算法计算台词的重要性度量值,具体的,可以通过图模型以及投票机制确定各台词的重要性度量值,例如,本实施例中,可以基于台词文件中的台词生成有向有权图G=(V,E),G=(V,E)由点集合V和边集合E组成,点集合V中的一个节点表示一句台词,边集合E是V×V的子集,为两节点之间的边,表示两节点对应的台词之间的关系。
本实施例中任意两节点之间存在两条边,两条边指向的方向相反,例如,任意两点Vi,Vj之间,存在两条边,一条由Vi指向Vj,一条由Vj指向Vi,两条边的权重相同,为两节点的相关性,两节点的相关性可以通过两节点表示的台词之间的相似度得到。
假设任意两点Vi,Vj之间的边的权重为wji,该权重可以为Vi,Vj对应的台词的相似度。
本实施例中,可以计算Vj与Vi之间的边的权重,与Vj连接的所有边的权重和的比值,以该比值作为节点Vj对于Vi的重要性影响度。如Vj对Vi的重要性影响度可以通过公式
Figure BDA0002347727200000181
计算。
本实施例中,对于给定的节点Vi,以In(Vi)为指向该节点的点集合,Out(Vi)为节点Vi指向的点集合,节点Vi的重要性度量值计算公式如下:
Figure BDA0002347727200000182
可以理解的是,若Vi与Vj对应的两句台词非常相关,则Vi与Vj之间的边的权重w比较大,反之权重比较小。
对于上述公式,WS(Vi)即表示的是节点Vi的重要性度量值。上式中d为阻尼系数,取值范围为0到1,代表从图中某一特定节点指向其他任意节点的概率,一般取值为0.85。计算图中各节点的得分时,需要给图中的节点指定任意的初值(即上述的初始重要性度量值)。
可选的,本实施例中节点的初始重要性度量值可以设置为1/n,其中n是台词语句的数目,n为大于2的整数。
本实施例中,可以遍历点集合V,计算各节点的重要性度量值,其中,每一个节点的重要性度量值计算出来之后,可以以计算出来的重要性度量值更新该节点的初始重要性度量值,继续参与其他的重要性度量值的计算。
本实施例中,在点集合V中各节点的重要性度量值的更新之后,可以继续重复上述的遍历过程,继续更新点集合V中各节点的重要性度量值。
使得点集合V中节点的重要性度量值的变化程度不断收敛,直至满足收敛条件。可选的,本实施例中,在点集合V中各节点的重要性度量值更新后,可以计算各节点的重要性度量值更新前后的误差率,若误差率均小于预设极限值,则停止各节点的重要性度量值的更新。可选的,预设的极限值可以为0.0001。
103、基于台词的重要性度量值,确定台词文件中的重要台词;
本实施例中,得到台词的重要性度量值之后,可以基于重要性度量值对台词进行重要程度的降序排列,得到台词序列;从台词序列中选择排列在前的一部分台词作为重要台词。例如选择台词序列中排列在前的10%的台词作为重要台词,或者选择台词序列中排列在前的预设数量的台词作为重要台词。预设数量可以根据需要的精彩视频的时长等设置,预设数量可以为10句,15句等等。
104、基于重要台词,获取目标视频中的精彩视频片段,其中,精彩视频片段展示的台词中包含重要台词;
可选的,本实施例中,精彩视频片段可以只包含重要台词,也可以包含重要台词前后的一部分台词,需要基于重要台词的实际情况确定。
可选的,步骤“基于重要台词,获取目标视频中的精彩视频片段”,可以包括:
从台词文件中获取重要台词在目标视频的播放时间轴上的展示时间段;
基于重要台词的展示时间段,确定重要台词对应的精彩视频片段在目标视频的播放时间轴上的播放时间段;
基于精彩视频片段的播放时间段,从目标视频中获取精彩视频片段。
本实施例中,可以直接以重要台词的展示时间段,作为重要台词对应的精彩视频片段的播放时间段。
鉴于生成的精彩视频片段最好是完整的,即说话语义完整,最好不出现话语没有说完就被截止的情况,本实施例中,确定重要台词之后,还可以基于重要台词与其他台词的语义完整性确定重要台词对应的精彩视频片段。
可选的,步骤“基于重要台词的展示时间段,确定重要台词对应的精彩视频片段在目标视频的播放时间轴上的播放时间段”,可以包括:
确定台词文件中重要台词对应的语义补充台词,其中,语义补充台词用于与重要台词构成完整的语义;
基于台词文件中重要台词和语义补充台词的展示时间段,确定重要台词和语义补充台词的联合展示时间段;
将所述联合展示时间段,确定为所述重要台词对应的精彩视频片段在所述目标视频的播放时间轴上的播放时间段。
在本实施例一个示例中,重要台词的语义补充台词,可以基于重要台词与其周围的台词的语义确定,例如,分析重要台词前后的台词与重要台词的语义完整性,将与重要台词构成完整语义的台词作为重要台词的语义补充台词。
通过对大量字幕数据分析,语义完整的台词说完之后,下开一句台词与该台词之间一般有个停顿时间,这个停顿可能是会换一个说话人,或者有一些背景声音,所以本实施例的另一个示例中,还可以根据带时间节点的台词文件找出这个停顿的时间,确定重要台词的语义补充台词。
可选的,步骤“确定台词文件中重要台词对应的语义补充台词”,包括:
基于台词文件,获取重要台词与其前一句台词的播放间隔时长,若播放间隔时长高于预设时长阈值,则确定重要台词之前不存在语义补充台词;否则,将该语义补充台词作为新的重要台词,并返回执行所述基于台词文件,获取重要台词与其前一句台词的播放间隔时长的步骤;
基于台词文件,获取重要台词与其后一句台词的播放间隔时长,若播放间隔时长高于预设时长阈值,确定重要台词之后不存在语义补充台词;否则,将语义补充台词作为新的重要台词,并返回执行所述从台词文件中获取重要台词与后一句台词的播放间隔时长的步骤。
本实施例中,预设时长阈值可以根据实际数据统计,可选的,预设时长阈值可以设置为0.5秒等时长。
即当前一句台词结束时间点与后一句台词开始时间点差距0.5秒以上可以当作是一个语义断开的停顿,例如,当重要台词的开始时间与前一句台词的结束时间差距小于0.5秒,前一句台词即为重要台词对应的语义补充台词;当重要台词的结束时间与后一句台词的开始时间差距小于0.5秒,后一句台词即为重要台词对应的语义补充台词。
105、对精彩视频片段进行组合得到精彩视频。
本实施例中,对精彩视频片段进行组合的时候,可以基于精彩视频片段在目标视频中的播放顺序进行组合,得到精彩视频。
可选的,步骤“对精彩视频片段进行组合得到精彩视频”,可以包括:
基于精彩视频片段的展示时间段,确定精彩视频片段在目标视频中的播放顺序;
按照精彩视频片段的播放顺序,对精彩视频片段进行拼接,得到精彩视频。
可选的,基于精彩视频片段的展示时间段,可以对精彩视频片段按照播放时间进行降序排列,排列在前的精彩视频片段在目标视频中最先被播放。
可选的,本实施例中,精彩视频的时长可以根据需要设置,例如设置为30秒,2分钟,4分钟等等,可选的,对于不同时长的精彩视频,步骤103中在确定重要台词时,重要台词的数量是不同的。例如,对于30秒的精彩视频,步骤103中确定出的重要台词的数量为3句,对于2分钟的精彩视频,步骤103中确定出的重要台词的数量为12句。
可选的,精彩视频的时长可以是固定的,例如设置为预设时长,若精彩视频片段构成的精彩视频的实际时长超过精彩视频的预设时长,可以对精彩视频中的精彩视频片段进行剪切,将精彩视频的实际时长变为预设时长,若精彩视频片段构成的精彩视频的实际时长低于精彩视频的预设时长,可以对其中的精彩视频片段扩容,即将精彩视频片段前和/或后的视频内容纳入精彩视频片段中,增加精彩视频的时长。
本实施例中,还可以设置精彩视频片段的时长,例如设置精彩视频片段的时长为5秒左右,在确定精彩视频片段后,若其时长超过5秒,则可以对该精彩视频片段进行处理,减少其时长。在一个示例中,精彩视频不仅包括精彩视频片段的图像还包括精彩视频片段中的台词对应的音频数据。
随着互联网技术发展,大量网络视频涌现出来,从而极大丰富我们的日常生活。由于视频(如电视剧、系列电影等)定期更新等原因,剧情有关联的视频之间往往可能具有一定的播放时间间隔。为了让观众在观看新一集视频时不至于忘记前几集的主要剧情,编辑常在新一集视频开头加入上一集视频剧情的前情提要。可以利用本实施例的视频生成方法生成视频的前情提要。
可选的,步骤“对精彩视频片段进行组合得到精彩视频”后,还可以包括:
获取目标视频对应的衔接视频,其中,衔接视频的剧情衔接于目标视频的剧情;
将精彩视频与衔接视频的进行拼接,得到拼接后的衔接视频。
其中,精彩视频拼接于衔接视频前,该衔接视频在播放时,精彩视频的内容先播放,可以帮助用户回顾衔接视频之前的剧情。
本实施例中,衔接视频可以是系列电影或电视剧或综艺节目等等类型的视频。
可选的,本实施例中,还可以在精彩视频中添加广告内容,用于商业售卖。例如,在作为前情提要的精彩视频中添加广告内容,以前情提要对用户的吸引度提升用户对广告内容的观看度。
在一个实施例中,可以在精彩视频的每一帧图像中添加广告内容,得到包含广告视频的精彩视频,其中,该广告内容可以是不变的。
可选的,步骤“对所述精彩视频片段进行组合得到精彩视频”后,还可以包括:
获取广告图像;
确定精彩视频的每一帧图像中,所述广告图像的广告显示区域;
将精彩视频中每一帧图像的广告显示区域中的内容替换为所述广告图像,得到承载有广告的精彩视频。
在一个示例中,广告内容可以为广告视频,可选的,广告视频中广告图像的数量有多帧,且广告图像的帧数不超过精彩视频中图像的帧数。
可选的,步骤“对所述精彩视频片段进行组合得到精彩视频”后,还可以包括:
获取广告视频,其中广告视频中包括多帧广告图像;
确定所述广告图像在所述精彩视频中的承载图像;
确定精彩视频的图像中用于显示广告图像的广告显示区域;
以各广告图像替换对应的承载图像中广告显示区域的内容,得到承载有广告的精彩视频。
上述承载有广告的精彩视频在播放时自带广告内容,有利于增加用户对广告的观看时长。
其中,广告显示区域的形状不限,可以是规则的形状,也可以是不规则的形状,广告显示区域在精彩视频的图像中的位置不限,可选的,广告显示区域可以设置在精彩视频的图像底部。进一步的,该广告可以承载于作为前情提要的视频中,或者,该广告可以承载于作为精彩预告的精彩视频中,有利于前情提要的商业化售卖。
可选的,本实施例中,一个精彩视频中承载的广告视频的数量可以为多个,例如一个精彩视频中承载多个广告方的广告视频。
例如,参考图2c所示的前情提要视频的图像,在图2c所示的图像中,区域A显示的是精彩视频原本的内容,区域B显示的是广告内容。该广告内容中可以具有包含广告方信息的文本,例如“XXX汽车邀请您观看前情回顾”。参图2c,广告的显示区域B占图像显示区域的比例不高,基本不影响用户对精彩视频的观看,有利于提升用户对广告的观看时长,有利于提升广告的转化率。
在另一个示例中,可以为精彩视频设置对应的广告视频,并设置广告视频的广告播放参数,以便精彩视频在终端播放时,按照广告播放参数同时播放该广告视频,可选的,步骤“对所述精彩视频片段进行组合得到精彩视频”后,还可以包括:
获取目标视频对应的广告视频;
设置广告视频的广告播放参数,所述广告播放参数包括:广告视频的广告图像在精彩视频播放区域中的广告显示区域,以及广告视频的播放形式,其中,广告视频的播放形式包括但不限于子页面播放或小窗口播放;
设置目标视频与广告视频的播放关系为同时播放关系,所述同时播放关系用于指示在目标视频播放时,以设置的广告播放参数在精彩视频的播放区域中播放广告视频。
可选的,在接收到终端发送的针对精彩视频的播放请求时,将精彩视频和与精彩视频具有同时播放关系的广告视频,以及该广告视频的广告播放参数发送给终端。
终端可以在接收精彩视频和广告视频后,在精彩视频的播放区域中以子页面或小窗口的形式播放广告视频。
其中,广告播放参数中还可以设置广告视频在子页面或小窗口中的显示效果,例如将广告视频设置为跑马灯效果的视频。在子页面或小窗口中播放广告视频时,会以跑马灯的形式播放广告视频。
可选的,本实施例中,还可以对多个目标视频分别进行精彩视频的获取,再将所有的精彩视频,按照目标视频的播放顺序拼接为视频集锦。
可选的,在生成精彩视频后,还可以对精彩视频进行采样,将采样得到的图像组合为动态图,作为目标视频的GIF(Graphics Interchange Format,图像互换格式)封面图。
本实施例中的视频生成方法还可以用于生成视频花絮等视频内容,本实施例的精彩视频还可以作为视频摘要向用户提供。从而增加视频的浏览量以及用户的使用时长,并且可以为长视频导流。
采用本实施例的视频生成方法,可以获取目标视频的台词文件;对台词文件中每一句台词进行重要程度的评估,得到台词的重要性度量值;基于台词的重要性度量值,确定台词文件中的重要台词;基于重要台词,获取目标视频中的精彩视频片段;对精彩视频片段进行组合得到精彩视频,本实施例基于对目标视频的台词内容的分析,确定目标视频的精彩视频片段,得到精彩视频,无需依赖目标视频的用户反馈,所以精彩视频的提取时刻可以为目标视频生产后的任意时刻,而不仅局限于相关技术中目标视频播放后的时间,本实施例的方案也不依赖对目标视频的人工编辑,有利于可以降低对人力资源的需求,以及获取精彩视频所需的时长。
为了更好地实施以上方法,相应的,本发明实施例还提供一种视频生成装置,该视频生成装置可以集成在服务器中,参考图3该视频生成装置包括:
台词获取单元301,用于获取目标视频的台词文件;
度量单元302,用于对台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
确定单元303,用于基于台词的重要性度量值,确定台词文件中的重要台词;
视频片段获取单元304,用于基于重要台词,获取目标视频中的精彩视频片段,其中,精彩视频片段展示的台词中包含重要台词;
组合单元305,用于对精彩视频片段进行组合得到精彩视频。
可选的,台词获取单元,包括:
视频信息获取子单元,用于获取目标视频的视频信息;
台词信息确定子单元,用于基于视频信息,确定目标视频的每句台词,以及每句台词在目标视频的播放时间轴上的展示时间段;
台词文件生成子单元,用于将每句台词与对应的展示时间段对应存储,得到目标视频的台词文件。
可选的,视频信息为目标视频的音频数据,台词信息确定子单元,用于:
将音频数据转换为文字信息,将文字信息中的每一句话作为一句台词;
基于每句台词在音频数据的播放时间轴上的播放时间段,确定每句台词在目标视频的播放时间轴上的展示时间段。
可选的,视频信息为目标视频中的图像,台词信息确定子单元,用于:
对目标视频中每一帧图像进行文字识别;
基于对目标视频的每一帧图像的文字识别结果,确定目标视频中的字幕,以及目标视频中承载有字幕的目标图像,其中,一帧图像上的字幕为一句台词;
基于每一句台词对应的目标图像在目标视频中的位置,确定每一句台词在目标视频的播放时间轴上的展示时间段。
可选的,台词信息确定子单元,用于:确定目标视频的图像上的字幕显示区域;
对目标视频中每一帧图像上的字幕显示区域进行文字识别。
可选的,视频片段获取单元,包括:
展示时间段获取子单元,用于从台词文件中获取重要台词在目标视频的播放时间轴上的展示时间段;
播放时间段获取子单元,用于基于重要台词的展示时间段,确定重要台词对应的精彩视频片段在目标视频的播放时间轴上的播放时间段;
视频片段获取子单元,用于基于精彩视频片段的播放时间段,从目标视频中获取精彩视频片段。
可选的,播放时间段获取子单元,用于:
确定台词文件中重要台词对应的语义补充台词,其中,语义补充台词用于与重要台词构成完整的语义;
基于台词文件中重要台词和语义补充台词的展示时间段,确定重要台词和语义补充台词的联合展示时间段;
将联合展示时间段,确定为重要台词对应的精彩视频片段在目标视频的播放时间轴上的播放时间段。
可选的,播放时间段获取子单元,用于:
基于台词文件,获取重要台词与其前一句台词的播放间隔时长,若播放间隔时长高于预设时长阈值,确定重要台词之前不存在语义补充台词;否则,将语义补充台词作为新的重要台词,并返回执行基于台词文件,获取重要台词与其前一句台词的播放间隔时长的步骤;
基于台词文件,获取重要台词与其后一句台词的播放间隔时长,若播放间隔时长高于预设时长阈值,确定重要台词之后不存在语义补充台词;否则,将语义补充台词作为新的重要台词,并返回执行基于台词文件,获取重要台词与其后一句台词的播放间隔时长的步骤。
可选的,度量单元,包括:
主题获取子单元,用于获取目标主题;
第一相关性获取子单元,用于获取台词文件中每一句台词与目标主题的相关性;
第一度量子单元,用于基于台词对应的相关性,确定用于表征台词重要程度的重要性度量值,其中,台词与目标主题的相关性越高,台词的重要性度量值越大。
可选的,度量单元,包括:
第二相关性获取子单元,用于对台词文件中的台词进行两两组合,得到台词组,计算各台词组中的两句台词之间的相关性;
第二度量子单元,用于基于各台词与台词文件中其他台词之间的相关性,确定各台词的重要性度量值。
可选的,第二度量子单元,用于:
基于每一句台词与其所在台词组的另一句台词的相关性,计算每一句台词对其所在台词组的另一句台词的重要性影响度;
获取台词文件中每一句台词的初始重要性度量值;
基于每一句台词所在台词组的另一句台词的初始重要性度量值和重要性影响度,确定每一句台词的实际的重要性度量值。
可选的,该装置还包括:前情提要生成单元,用于在组合单元对精彩视频片段进行组合得到精彩视频后,获取目标视频对应的衔接视频,其中,衔接视频的剧情衔接于目标视频的剧情;将精彩视频与衔接视频的进行拼接,得到拼接后的衔接视频。
可选的,组合单元,包括:
排序子单元,用于基于精彩视频片段的展示时间段,确定精彩视频片段在目标视频中的播放顺序;
拼接子单元,用于按照播放顺序对精彩视频片段进行拼接,得到精彩视频。
采用本实施例的视频生成装置,可以获取目标视频的台词文件;对台词文件中每一句台词进行重要程度的评估,得到台词的重要性度量值;基于台词的重要性度量值,确定台词文件中的重要台词;基于重要台词,获取目标视频中的精彩视频片段;对精彩视频片段进行组合得到精彩视频,本实施例基于对目标视频的台词内容的分析,确定目标视频的精彩视频片段,得到精彩视频,无需依赖目标视频的用户反馈,所以精彩视频的提取时刻可以为目标视频生产后的任意时刻,而不仅局限于相关技术中目标视频播放后的时间,本实施例的方案也不依赖对目标视频的人工编辑,有利于可以降低对人力资源的需求,以及获取精彩视频所需的时长。
此外,本发明实施例还提供一种计算机设备,该计算机设备可以为终端或者服务器,如图4所示,其示出了本发明实施例所涉及的计算机设备的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402和电源403等部件。本领域技术人员可以理解,图4中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或单元,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,在一个实施例中,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及单元,处理器401通过运行存储在存储器402的软件程序以及单元,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
当计算机设备为终端时,该计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。当然,可以理解的是,本实施例中并不排除服务器包括输入单元的方案,本实施例的服务器也可以包括上述的输入单元404。
尽管未示出,本实施例的计算机设备如终端还可以包括显示单元等,在此不再赘述。类似的,本实施例中并不排除服务器包括显示单元的方案,本实施例中的服务器也可以包括显示单元。
具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取目标视频的台词文件;
对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
基于台词的所述重要性度量值,确定台词文件中的重要台词;
基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;
对所述精彩视频片段进行组合得到精彩视频。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本实施例的计算机设备可以基于视频的字幕提取精彩视频。
本发明实施例涉及的视频生成系统可以是由客户端、多个节点(接入网络中的任意形式的计算机设备,如服务器、终端)通过网络通信的形式连接形成的分布式系统。
以分布式系统为区块链系统为例,参见图5,图5是本发明实施例提供的分布式系统100应用于区块链系统的一个可选的结构示意图,由多个节点(接入网络中的任意形式的计算设备,如服务器、用户终端)和客户端形成,节点之间形成组成的点对点(P2P,Peer ToPeer)网络,P2P协议是一个运行在传输控制协议(TCP,Transmission Control Protocol)协议之上的应用层协议。在分布式系统中,任何机器如服务器、终端都可以加入而成为节点,节点包括硬件层、中间层、操作系统层和应用层。本实施例中,目标视频、目标视频的台词文件,以及精彩视频片段和精彩视频,均可以通过分布式系统的节点被存储在区域链系统的共享账本中,计算机设备(例如终端或服务器)可以基于共享账本存储的记录数据获取目标视频以及目标视频的台词文件等数据。
参见图5示出的区块链系统中各节点的功能,涉及的功能包括:
1)路由,节点具有的基本功能,用于支持节点之间的通信。
节点除具有路由功能外,还可以具有以下功能:
2)应用,用于部署在区块链中,根据实际业务需求而实现特定业务,记录实现功能相关的数据形成记录数据,在记录数据中携带数字签名以表示任务数据的来源,将记录数据发送到区块链系统中的其他节点,供其他节点在验证记录数据来源以及完整性成功时,将记录数据添加到临时区块中。
例如,应用实现的业务包括:
2.1)钱包,用于提供进行电子货币的交易的功能,包括发起交易(即,将当前交易的交易记录发送给区块链系统中的其他节点,其他节点验证成功后,作为承认交易有效的响应,将交易的记录数据存入区块链的临时区块中;当然,钱包还支持查询电子货币地址中剩余的电子货币;
2.2)共享账本,用于提供账目数据的存储、查询和修改等操作的功能,将对账目数据的操作的记录数据发送到区块链系统中的其他节点,其他节点验证有效后,作为承认账目数据有效的响应,将记录数据存入临时区块中,还可以向发起操作的节点发送确认。
2.3)智能合约,计算机化的协议,可以执行某个合约的条款,通过部署在共享账本上的用于在满足一定条件时而执行的代码实现,根据实际的业务需求代码用于完成自动化的交易,例如查询买家所购买商品的物流状态,在买家签收货物后将买家的电子货币转移到商户的地址;当然,智能合约不仅限于执行用于交易的合约,还可以执行对接收的信息进行处理的合约。
3)区块链,包括一系列按照产生的先后时间顺序相互接续的区块(Block),新区块一旦加入到区块链中就不会再被移除,区块中记录了区块链系统中节点提交的记录数据。
参见图6,图6是本发明实施例提供的区块结构(Block Structure)一个可选的示意图,每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值,各区块通过哈希值连接形成区块链。另外,区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了相关的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例还提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种视频生成方法中的步骤。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种视频生成方法中的步骤,因此,可以实现本发明实施例所提供的任一种视频生成方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种视频生成方法、装置、计算机设备和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种视频生成方法,其特征在于,包括:
获取目标视频的台词文件;
对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
基于台词的所述重要性度量值,确定台词文件中的重要台词;
基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;
对所述精彩视频片段进行组合得到精彩视频。
2.根据权利要求1所述的视频生成方法,其特征在于,所述获取目标视频的台词文件,包括:
获取目标视频的视频信息;
基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段;
将每句台词与对应的展示时间段对应存储,得到目标视频的台词文件。
3.根据权利要求2所述的视频生成方法,其特征在于,所述视频信息为所述目标视频的音频数据,所述基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段,包括:
将所述音频数据转换为文字信息,将所述文字信息中的每一句话作为一句台词;
基于每句台词在所述音频数据的播放时间轴上的播放时间段,确定每句台词在所述目标视频的播放时间轴上的展示时间段。
4.根据权利要求2所述的视频生成方法,其特征在于,所述视频信息为所述目标视频中的图像,所述基于所述视频信息,确定所述目标视频的每句台词,以及每句台词在所述目标视频的播放时间轴上的展示时间段,包括:
对所述目标视频中每一帧图像进行文字识别;
基于对所述目标视频的每一帧图像的文字识别结果,确定所述目标视频中的字幕,以及所述目标视频中承载有字幕的目标图像,其中,一帧图像上的字幕为一句台词;
基于每一句台词对应的目标图像在所述目标视频中的位置,确定每一句台词在所述目标视频的播放时间轴上的展示时间段。
5.根据权利要求2-4任一项所述的视频生成方法,其特征在于,所述基于所述重要台词,获取所述目标视频中的精彩视频片段,包括:
从所述台词文件中获取所述重要台词在所述目标视频的播放时间轴上的展示时间段;
基于所述重要台词的展示时间段,确定所述重要台词对应的精彩视频片段在所述目标视频的播放时间轴上的播放时间段;
基于所述精彩视频片段的播放时间段,从所述目标视频中获取所述精彩视频片段。
6.根据权利要求5所述的视频生成方法,其特征在于,所述基于所述重要台词的展示时间段,确定所述重要台词对应的精彩视频片段在所述目标视频的播放时间轴上的播放时间段,包括:
确定所述台词文件中所述重要台词对应的语义补充台词,其中,所述语义补充台词用于与所述重要台词构成完整的语义;
基于所述台词文件中重要台词和语义补充台词的展示时间段,确定所述重要台词和语义补充台词的联合展示时间段;
将所述联合展示时间段,确定为所述重要台词对应的精彩视频片段在所述目标视频的播放时间轴上的播放时间段。
7.根据权利要求6所述的视频生成方法,其特征在于,所述确定所述台词文件中所述重要台词对应的语义补充台词,包括:
基于所述台词文件,获取重要台词与其前一句台词的播放间隔时长,若所述播放间隔时长高于预设时长阈值,确定所述重要台词之前不存在语义补充台词;否则,将所述语义补充台词作为新的重要台词,并返回执行所述基于所述台词文件,获取重要台词与其前一句台词的播放间隔时长的步骤;
基于所述台词文件,获取重要台词与其后一句台词的播放间隔时长,若所述播放间隔时长高于预设时长阈值,确定所述重要台词之后不存在语义补充台词;否则,将所述语义补充台词作为新的重要台词,并返回执行所述基于所述台词文件,获取重要台词与其后一句台词的播放间隔时长的步骤。
8.根据权利要求1所述的视频生成方法,其特征在于,所述对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值,包括:
获取目标主题;
获取台词文件中每一句台词与所述目标主题的相关性;
基于台词对应的相关性,确定用于表征台词重要程度的重要性度量值,其中,台词与目标主题的相关性越高,台词的重要性度量值越大。
9.根据权利要求1所述的视频生成方法,其特征在于,所述对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值,包括:
对所述台词文件中的台词进行两两组合,得到台词组,计算各台词组中的两句台词之间的相关性;
基于各台词与所述台词文件中其他台词之间的相关性,确定各台词的重要性度量值。
10.根据权利要求9所述的视频生成方法,其特征在于,所述基于各台词与所述台词文件中其他台词之间的相关性,确定各台词的重要性度量值,包括:
基于每一句台词与其所在台词组的另一句台词的相关性,计算每一句台词对其所在台词组的另一句台词的重要性影响度;
获取所述台词文件中每一句台词的初始重要性度量值;
基于每一句台词所在台词组的另一句台词的初始重要性度量值和重要性影响度,确定每一句台词的实际的重要性度量值。
11.根据权利要求1-4任一项所述的视频生成方法,其特征在于,所述对所述精彩视频片段进行组合得到精彩视频后,还包括:
获取目标视频对应的衔接视频,其中,所述衔接视频的剧情衔接于所述目标视频的剧情;
将所述精彩视频与所述衔接视频的进行拼接,得到拼接后的衔接视频。
12.根据权利要求2-4任一项所述的视频生成方法,其特征在于,所述对所述精彩视频片段进行组合得到精彩视频,包括:
基于所述精彩视频片段的展示时间段,确定所述精彩视频片段在所述目标视频中的播放顺序;
按照所述播放顺序对所述精彩视频片段进行拼接,得到精彩视频。
13.一种视频生成装置,其特征在于,包括:
台词获取单元,用于获取目标视频的台词文件;
度量单元,用于对所述台词文件中每一句台词进行重要程度的评估,得到用于表征台词重要程度的重要性度量值;
确定单元,用于基于台词的所述重要性度量值,确定台词文件中的重要台词;
视频片段获取单元,用于基于所述重要台词,获取所述目标视频中的精彩视频片段,其中,所述精彩视频片段展示的台词中包含所述重要台词;
组合单元,用于对所述精彩视频片段进行组合得到精彩视频。
14.一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-12任一项所述方法的步骤。
15.一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1-12任一项所述方法的步骤。
CN201911402041.2A 2019-12-30 2019-12-30 一种视频生成方法、装置、计算机设备和存储介质 Active CN111050191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911402041.2A CN111050191B (zh) 2019-12-30 2019-12-30 一种视频生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402041.2A CN111050191B (zh) 2019-12-30 2019-12-30 一种视频生成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111050191A true CN111050191A (zh) 2020-04-21
CN111050191B CN111050191B (zh) 2021-02-02

Family

ID=70242571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402041.2A Active CN111050191B (zh) 2019-12-30 2019-12-30 一种视频生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111050191B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935155A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 用于生成目标视频的方法、装置、服务器和介质
CN113032624A (zh) * 2021-04-21 2021-06-25 北京奇艺世纪科技有限公司 视频观影兴趣度确定方法、装置、电子设备及介质
CN113641854A (zh) * 2021-07-28 2021-11-12 上海影谱科技有限公司 一种将文字转化为视频的方法及系统
CN114827685A (zh) * 2022-04-15 2022-07-29 深圳市东信时代信息技术有限公司 视频中的广告插播方法、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650958A (zh) * 2009-07-23 2010-02-17 中国科学院声学研究所 对电影类视频进行场景片段抽取方法及其建立索引的方法
CN103646094A (zh) * 2013-12-18 2014-03-19 上海紫竹数字创意港有限公司 实现视听类产品内容摘要自动提取生成的系统及方法
CN104915433A (zh) * 2015-06-24 2015-09-16 宁波工程学院 一种影视视频检索方法
US20160007100A1 (en) * 2014-07-07 2016-01-07 Hanwha Techwin Co., Ltd. Imaging apparatus and method of providing video summary
CN105430536A (zh) * 2015-10-30 2016-03-23 北京奇艺世纪科技有限公司 一种视频推送方法和装置
CN105939494A (zh) * 2016-05-25 2016-09-14 乐视控股(北京)有限公司 音视频片段提供方法及装置
CN106888407A (zh) * 2017-03-28 2017-06-23 腾讯科技(深圳)有限公司 一种视频摘要生成方法及装置
CN109145152A (zh) * 2018-06-28 2019-01-04 中山大学 一种基于查询词的自适应智能生成图文视频缩略图方法
CN110234037A (zh) * 2019-05-16 2019-09-13 北京百度网讯科技有限公司 视频片段的生成方法及装置、计算机设备及可读介质
CN110234016A (zh) * 2019-06-19 2019-09-13 大连网高竞赛科技有限公司 一种精彩视频自动输出方法及系统
CN110287376A (zh) * 2019-06-11 2019-09-27 天津大学 一种基于剧本和字幕分析的抽取重要电影片段的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650958A (zh) * 2009-07-23 2010-02-17 中国科学院声学研究所 对电影类视频进行场景片段抽取方法及其建立索引的方法
CN103646094A (zh) * 2013-12-18 2014-03-19 上海紫竹数字创意港有限公司 实现视听类产品内容摘要自动提取生成的系统及方法
US20160007100A1 (en) * 2014-07-07 2016-01-07 Hanwha Techwin Co., Ltd. Imaging apparatus and method of providing video summary
CN104915433A (zh) * 2015-06-24 2015-09-16 宁波工程学院 一种影视视频检索方法
CN105430536A (zh) * 2015-10-30 2016-03-23 北京奇艺世纪科技有限公司 一种视频推送方法和装置
CN105939494A (zh) * 2016-05-25 2016-09-14 乐视控股(北京)有限公司 音视频片段提供方法及装置
CN106888407A (zh) * 2017-03-28 2017-06-23 腾讯科技(深圳)有限公司 一种视频摘要生成方法及装置
CN109145152A (zh) * 2018-06-28 2019-01-04 中山大学 一种基于查询词的自适应智能生成图文视频缩略图方法
CN110234037A (zh) * 2019-05-16 2019-09-13 北京百度网讯科技有限公司 视频片段的生成方法及装置、计算机设备及可读介质
CN110287376A (zh) * 2019-06-11 2019-09-27 天津大学 一种基于剧本和字幕分析的抽取重要电影片段的方法
CN110234016A (zh) * 2019-06-19 2019-09-13 大连网高竞赛科技有限公司 一种精彩视频自动输出方法及系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111935155A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 用于生成目标视频的方法、装置、服务器和介质
CN111935155B (zh) * 2020-08-12 2021-07-30 北京字节跳动网络技术有限公司 用于生成目标视频的方法、装置、服务器和介质
WO2022033534A1 (zh) * 2020-08-12 2022-02-17 北京字节跳动网络技术有限公司 用于生成目标视频的方法、装置、服务器和介质
US11750898B2 (en) 2020-08-12 2023-09-05 Beijing Bytedance Network Technology Co., Ltd. Method for generating target video, apparatus, server, and medium
CN113032624A (zh) * 2021-04-21 2021-06-25 北京奇艺世纪科技有限公司 视频观影兴趣度确定方法、装置、电子设备及介质
CN113641854A (zh) * 2021-07-28 2021-11-12 上海影谱科技有限公司 一种将文字转化为视频的方法及系统
CN113641854B (zh) * 2021-07-28 2023-09-26 上海影谱科技有限公司 一种将文字转化为视频的方法及系统
CN114827685A (zh) * 2022-04-15 2022-07-29 深圳市东信时代信息技术有限公司 视频中的广告插播方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111050191B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN111143610B (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN111050191B (zh) 一种视频生成方法、装置、计算机设备和存储介质
US11960526B2 (en) Query response using media consumption history
CN110781347B (zh) 一种视频处理方法、装置、设备以及可读存储介质
KR102394756B1 (ko) 비디오를 처리하기 위한 방법 및 장치
KR102068790B1 (ko) 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US8126220B2 (en) Annotating stimulus based on determined emotional response
US20240070187A1 (en) Content summarization leveraging systems and processes for key moment identification and extraction
CN111641514A (zh) 电子会议智能
CN111541910A (zh) 一种基于深度学习的视频弹幕评论自动生成方法及系统
CN113709384A (zh) 基于深度学习的视频剪辑方法、相关设备及存储介质
CN108509611B (zh) 用于推送信息的方法和装置
CN111506794A (zh) 一种基于机器学习的谣言管理方法和装置
CN111931073B (zh) 内容推送方法、装置、电子设备及计算机可读介质
CN113766299A (zh) 一种视频数据播放方法、装置、设备以及介质
CN111324773A (zh) 一种背景音乐构建方法、装置、电子设备和存储介质
CN113301382B (zh) 视频处理方法、设备、介质及程序产品
CN114845149B (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN113407775B (zh) 视频搜索方法、装置及电子设备
CN117009577A (zh) 一种视频数据处理方法、装置、设备及可读存储介质
CN113778717A (zh) 内容分享方法、装置、设备以及存储介质
CN114939276B (zh) 一种游戏运营数据分析方法、系统及存储介质
CN116975358A (zh) 视频识别方法、装置、电子设备及存储介质
CN115221354A (zh) 一种视频播放方法、装置、设备以及介质
CN112818171A (zh) 视频提示信息推送方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021966

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant