CN109218746B - 获取视频片段的方法、装置和存储介质 - Google Patents

获取视频片段的方法、装置和存储介质 Download PDF

Info

Publication number
CN109218746B
CN109218746B CN201811334212.8A CN201811334212A CN109218746B CN 109218746 B CN109218746 B CN 109218746B CN 201811334212 A CN201811334212 A CN 201811334212A CN 109218746 B CN109218746 B CN 109218746B
Authority
CN
China
Prior art keywords
time point
target
video data
live video
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811334212.8A
Other languages
English (en)
Other versions
CN109218746A (zh
Inventor
耿振健
张洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN201811334212.8A priority Critical patent/CN109218746B/zh
Publication of CN109218746A publication Critical patent/CN109218746A/zh
Priority to US17/257,447 priority patent/US11375295B2/en
Priority to PCT/CN2019/113321 priority patent/WO2020093883A1/zh
Application granted granted Critical
Publication of CN109218746B publication Critical patent/CN109218746B/zh
Priority to US17/830,222 priority patent/US20220303644A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本公开是关于一种获取视频片段的方法、装置和存储介质,属于音视频技术领域。所述方法包括:在演唱直播间的直播视频数据中获取视频片段时,可以使用直播视频数据中的音频数据和原表演者的音频数据,来确定直播视频数据中的目标时间点对,然后根据目标时间点对中的开始时间点和结束时间点,获取目标视频片段。采用本公开,可以使截取的视频片段比较完整。

Description

获取视频片段的方法、装置和存储介质
技术领域
本公开涉及音视频技术领域,尤其涉及一种获取视频片段的方法、装置和存储介质。
背景技术
随着计算机技术和网络技术的发展,直播类应用程序越来越多,人们可以通过登录直播类应用程序,进入感兴趣的直播间,观看主播的直播节目,人们在观看直播节目的过程中,看到精彩内容的视频片段,可以对精彩内容的视频片段进行录制,然后进行存储或分享给其他好友。
相关技术中,录制过程为:在直播界面中设置有录制按钮,终端在检测到录制按钮的操作指令时,可以使用终端操作系统提供的录屏功能,开始对当前屏幕播放的视频数据进行录制,终端再次检测到录制按钮的操作指令时,可以结束录制。这样,可以得到录制的精彩内容的视频片段。
在实现本公开的过程中,发明人发现相关技术至少存在以下问题:
由于人们看到精彩内容时,才开始操作录制按钮进行录制,这样,从看到精彩内容到开始录制有一段时间,这段时间的精彩内容录制不到,所以会导致精彩内容的视频片段不完整。
发明内容
为克服相关技术中存在的问题,本公开提供一种获取视频片段的方法、装置和存储介质。
根据本公开实施例的第一方面,提供一种获取视频片段的方法,包括:
获取演唱直播间的直播视频数据;
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
可选的,所述根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,包括:
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的第一类时间点;
以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对。
可选的,所述直播视频数据中的音频数据为主播演唱的歌曲的音频数据,所述原表演者的音频数据为原唱演唱的歌曲的音频数据;
所述根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的第一类时间点,包括:
对所述直播视频数据中的音频数据进行语音识别,得到歌曲的歌词;
根据所述歌词,获取原唱演唱的歌曲的音频数据;
对于每句歌词,将所述原表演者的音频数据的音频特征和所述直播视频数据中音频数据的音频特征进行相似度确定;
将相似度高于第一预设阈值的歌词中相似度最高的位置对应的时间点,确定为所述直播视频数据中的第一类时间点。
这样,可以提高确定出的视频片段中包含精彩内容的概率。
可选的,所述方法还包括:
根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点;
所述以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对,包括:
如果所述第一类时间点中目标时间点,属于所述第二类时间点,则保留所述目标时间点,如果所述第一类时间点中所述目标时间点,不属于所述第二类时间点,则删除所述目标时间点;
以保留下的第一类时间点为中心,根据预设的截取时长,确定所述保留下的第一类时间点对应的目标时间点对。
这样,可以提高确定出的视频片段中包含精彩内容的概率。
可选的,所述根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点,包括:
如果所述直播视频数据中第一时间段的礼物资源量超过第二预设阈值,则将所述第一时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第二时间段的评论信息的数目超过第三预设阈值,则将所述第二时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第三时间段的点赞的数目超过第四预设阈值,则将所述第三时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点。
可选的,所述方法还包括:
对所述直播视频数据中的所述第一时间段的图像进行礼物图像识别,得到识别出的各礼物图像的数目;
根据所述各礼物图像的数目,确定所述第一时间段的礼物资源量。
这样,可以准确的确定出礼物资源量。
可选的,所述方法还包括:
在所述目标时间点对中,如果存在第一开始时间点早于第二开始时间点,且所述第一开始时间点对应的结束时间点早于所述第二开始时间点对应的结束时间点,且所述第二开始时间点早于所述第一开始时间点对应的结束时间点,则在所述目标时间点对中,将所述第一开始时间点对应的结束时间点替换为所述第二开始时间点对应的结束时间点,并删除所述第二开始时间点和所述第二开始时间点对应的结束时间点,其中,所述第一开始时间点为所述目标时间点对中除所述第二开始时间点之外的任一开始时间点,所述第二开始时间点为所述目标时间点对中除所述第一开始时间点之外的任一开始时间点。
这样,可以防止视频片段包含重复内容。
可选的,所述方法还包括:
生成目标视频片段的链接信息;
向所述演唱直播间的除主播账户之外的其它各账户的登录终端发送所述目标视频片段的链接信息,以使所述各账户的登录终端在所述演唱直播间的回放界面显示所述链接信息,或者在所述演唱直播间的直播结束界面显示所述链接信息。
这样,可以为观众提供视频片段。
可选的,所述根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段之后,还包括:
如果所述目标视频片段中的礼物资源量超过第五预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的评论信息的数目超过第六预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的点赞信息的数目超过第七预设阈值,则保留所述目标视频片段。
这样,可以提高确定出的视频片段中包含精彩内容的概率。
根据本公开实施例的第二方面,提供一种获取视频片段的装置,包括:
获取单元,被配置为获取演唱直播间的直播视频数据;
确定单元,被配置为根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
所述获取单元,还被配置为根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
可选的,所述确定单元,被配置为:
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的第一类时间点;
以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对。
可选的,所述直播视频数据中的音频数据为主播演唱的歌曲的音频数据,所述原表演者的音频数据为原唱演唱的歌曲的音频数据;
所述确定单元,被配置为:
对所述直播视频数据中的音频数据进行语音识别,得到歌曲的歌词;
根据所述歌词,获取原唱演唱的歌曲的音频数据;
对于每句歌词,将所述原表演者的音频数据的音频特征和所述直播视频数据中音频数据的音频特征进行相似度确定;
将相似度高于第一预设阈值的歌词中相似度最高的位置对应的时间点,确定为所述直播视频数据中的第一类时间点。
可选的,所述确定单元,还被配置为:
根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点;
所述确定单元,被配置为:
如果所述第一类时间点中目标时间点,属于所述第二类时间点,则保留所述目标时间点,如果所述第一类时间点中所述目标时间点,不属于所述第二类时间点,则删除所述目标时间点;
以保留下的第一类时间点为中心,根据预设的截取时长,确定所述保留下的第一类时间点对应的目标时间点对。
可选的,所述确定单元,还被配置为:
如果所述直播视频数据中第一时间段的礼物资源量超过第二预设阈值,则将所述第一时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第二时间段的评论信息的数目超过第三预设阈值,则将所述第二时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第三时间段的点赞的数目超过第四预设阈值,则将所述第三时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点。
可选的,所述确定单元,还被配置为:
对所述直播视频数据中的所述第一时间段的图像进行礼物图像识别,得到识别出的各礼物图像的数目;
根据所述各礼物图像的数目,确定所述第一时间段的礼物资源量。
可选的,所述确定单元,还被配置为:
在所述目标时间点对中,如果存在第一开始时间点早于第二开始时间点,且所述第一开始时间点对应的结束时间点早于所述第二开始时间点对应的结束时间点,且所述第二开始时间点早于所述第一开始时间点对应的结束时间点,则在所述目标时间点对中,将所述第一开始时间点对应的结束时间点替换为所述第二开始时间点对应的结束时间点,并删除所述第二开始时间点和所述第二开始时间点对应的结束时间点,其中,所述第一开始时间点为所述目标时间点对中除所述第二开始时间点之外的任一开始时间点,所述第二开始时间点为所述目标时间点对中除所述第一开始时间点之外的任一开始时间点。
可选的,所述确定单元,还被配置为:
生成目标视频片段的链接信息;
所述装置还包括:
发送单元,被配置为向所述演唱直播间的除主播账户之外的其它各账户的登录终端发送所述目标视频片段的链接信息,以使所述各账户的登录终端在所述演唱直播间的回放界面显示所述链接信息,或者在所述演唱直播间的直播结束界面显示所述链接信息。
可选的,所述获取单元,还被配置为:
如果所述目标视频片段中的礼物资源量超过第五预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的评论信息的数目超过第六预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的点赞信息的数目超过第七预设阈值,则保留所述目标视频片段。
根据本公开实施例的第三方面,提供了一种获取视频片段的装置,包括:处理器和用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行下述获取视频片段的方法:
获取演唱直播间的直播视频数据;
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
根据本公开实施例的第四方面,提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行下述获取视频片段的方法:
获取演唱直播间的直播视频数据;
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
根据本公开实施例的第五方面,提供了一种应用程序,包括一条或多条指令,该一条或多条指令可以由服务器的处理器执行,以完成下述获取视频片段的方法:
获取演唱直播间的直播视频数据;
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,在演唱直播间的直播视频数据中获取视频片段时,可以使用直播视频数据中的音频数据和原表演者的音频数据,来确定直播视频数据中的目标时间点对,然后根据目标时间点对中的开始时间点和结束时间点,获取目标视频片段。这样,由于是服务器直接基于直播视频数据中的音频数据和原表演者的音频数据,进行截取,不需要人工截取,所以即使当前不是正在播放也能进行截取,从而可以使截取出的视频片段相对比较完整。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种获取视频片段的方法的流程图;
图2是根据一示例性实施例示出的一种显示视频片段的链接信息的示意图;
图3是根据一示例性实施例示出的一种第一时间段的示意图;
图4是根据一示例性实施例示出的一种获取视频片段的装置的结构框图;
图5是根据一示例性实施例示出的一种获取视频片段的装置的结构框图;
图6是根据一示例性实施例示出的一种服务器的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供了一种获取视频片段的方法,该方法的执行主体可以为服务器。服务器可以是直播应用程序的后台服务器,该服务器可以是CDN(Content DeliveryNetwork,内容分发网络)服务器。该服务器中可以设置有处理器、存储器和收发器等,处理器可以用于获取视频片段、分发视频片段等处理,存储器可以用于存储获取视频片段过程中需要的数据以及产生的数据,如视频片段的视频数据、直播视频数据等,收发器可以用于接收以及发送数据,该数据可以是直播视频数据、评论信息、视频片段的链接信息等。
在进行实施前,首先介绍一下本公开实施例的应用场景:
某个直播应用程序的演唱直播间在开播后,用户终端(主播直播所使用的终端)会获取主播的直播视频数据,向该直播应用程序的后台服务器(后续可以简称为服务器),发送直播视频数据。服务器接收到用户终端发送的直播视频数据后,可以在接收到的直播视频数据中,获取目标视频片段。
或者,某个直播应用程序的演唱直播间在开播后,用户终端会获取主播的直播视频数据,向服务器发送直播视频数据。服务器接收到直播视频数据后,可以进行存储,在该演唱直播间直播结束后,可以在存储的直播视频数据中,获取目标视频片段。
本公开实施例中提供了一种获取视频片段的方法,如图1所示,该方法的执行流程可以如下:
步骤101,获取演唱直播间的直播视频数据。
其中,演唱直播间指开播后进行音乐演奏的直播间,例如,演唱直播间为演唱歌曲的直播间、弹奏乐器的直播间等。
在实施中,在演唱直播间开播后,服务器可以接收用户终端发送的直播视频数据,并进行保存,并且可以确定该演唱直播间除主播账户之外的其它各账户,然后向该各账户的登录终端,发送接收到的直播视频数据。该各账户的登录终端接收到后,可以在演唱直播间的直播界面,播放接收到的直播视频数据。
步骤102,根据直播视频数据中的音频数据和原表演者的音频数据,确定直播视频数据中的目标时间点对。
其中,原表演者的音频数据可以是原唱演唱歌曲的音频数据,也可以是原表演者使用乐器进行演奏的音频数据。目标时间点对为一个或多个时间点对,每个时间点对包括一组时间点,即开始时间点和结束时间点。
在实施中,服务器在获取到演唱直播间的直播视频数据后,如果直播视频数据中视频数据和音频数据是分开的,则可以直接根据直播视频数据中的音频数据,来获取原表演者的音频数据。如果直播视频数据中视频数据和音频数据是混流的,可以对视频数据和音频数据进行分离,得到直播视频数据中的音频数据,然后根据直播视频数据中的音频数据,来获取原表演者的音频数据。或者,服务器在获取到演唱直播间的直播视频数据后,可以获取直播间的开播介绍信息,在该开播介绍信息中包括主播要进行直播的内容,基于要进行直播的内容,获取原表演者的音频数据。如果直播视频数据中视频数据和音频数据是混流的,可以对视频数据和音频数据进行分离,得到直播视频数据中的音频数据。
然后服务器可以使用直播视频数据中的音频数据和原表演者的音频数据进行相似匹配,基于相似匹配结果,确定直播视频数据中的目标时间点对。
可选的,可以首先确定出一个时间点,再基于该时间点,确定目标时间点对,相应的,步骤102的处理可以如下:
根据直播视频数据中的音频数据和原表演者的音频数据,确定直播视频数据中的第一类时间点。以第一类时间点为中心,根据预设的截取时长,确定第一类时间点对应的目标时间点对。
其中,预设的截取时长可以预设,并且存储至服务器中,如10秒等。
在实施中,服务器可以使用直播视频数据中的音频数据和原表演者的音频数据,在直播视频数据中,确定出第一类时间点。然后获取预先存储的预设的截取时长,将第一类时间点减少预设的截取时长的一半,得到第一类时间点对应的开始时间点,并且将第一类时间点增加预设的截取时长的一半,得到第一类时间点对应的结束时间点。这样,该开始时间点和结束时间点,就可以组成第一类时间点对应的目标时间点对。
可选的,在直播视频数据中的音频数据为主播演唱的歌曲的音频数据,原表演者的音频数据为原唱演唱的歌曲的音频数据时,确定第一类时间点的方式可以如下:
对直播视频数据中的音频数据进行语音识别,得到歌曲的歌词。根据歌词,获取原唱演唱的歌曲的音频数据。对于每句歌词,将原表演者的音频数据的音频特征和直播视频数据中音频数据的音频特征进行相似度确定。将相似度高于第一预设阈值的歌词中相似度最高的位置对应的时间点,确定为直播视频数据中的第一类时间点。
其中,第一预设阈值可以预设,并且存储至服务器中,如第一预设阈值可以为90%等。
在实施中,服务器可以获取预先存储的语音识别算法(可以是任意一种语音识别算法,如FED(Fast Endpoint Detection,快速端点检测算法)等),对主播视频数据中的音频数据进行语音识别,得到主播演唱的歌曲的歌词。然后可以使用歌词,在预设的歌词数据库(歌词数据库中包括歌词、歌词所在歌曲的原唱的音频数据)中进行查询,确定歌词所在的歌曲的原唱的音频数据。然后服务器对于任一句歌词,可以确定原唱演唱的歌曲的音频数据与主播演唱的歌曲的音频数据,按照音频特征提取算法,分别对原唱演唱的歌曲的音频数据和主播演唱的歌曲的音频数据进行音频特征的提取,然后确定在该句歌词下,原唱的音频特征与主播的音频特征的相似度。然后判断该相似度与第一预设阈值的大小,如果该相似度高于第一预设阈值,然后在该句歌词中确定相似度最高的位置,确定该最高的位置对应的时间点,将该时间点,确定为直播视频数据中的第一类时间点。如果该相似度小于或等于第一预设阈值,则不进行后续确定第一类时间点的处理。这样,对于每一句歌词,都进行上述处理,可以确定出直播视频数据中的第一类时间点。
这样,对于一句歌词,在直播视频数据中的音频数据的音频特征与原唱的音频数据的音频特征相似度高于第一预设阈值的情况下,进一步选择相似度最高的位置,确定为第一类时间点,说明第一类时间点在该句歌词中是相似度最高的时间点,可以说明主播在该时间点演唱的比较好,可以判别为精彩瞬间。
另外,在直播视频数据中的音频数据为演奏乐器的音频数据时,服务器可以对直播视频数据中的音频数据,进行识别,确定出演奏的作品的名称,然后基于该作品的名称,查找出原表演者演奏乐器的音频数据,然后首先将两段音频数据,进行对齐处理,对齐处理后,按照预设时长,对两段音频数据分别进行分段处理,直播视频数据中的音频数据依次编号为a1,a2,a3,…,ai,…,an,原表演者演奏乐器的音频数据依次编号为b1,b2,b3,…,bi,…,bn,如将两段音频数据都分别分为5秒的音频数据。然后服务器可以分别提取a1的音频特征和b1的音频特征,对a1的音频特征和b1的音频特征,计算相似度,如果相似度高于第一预设阈值,则在a1中确定相似度最高的位置对应的时间点,将该时间点,确定为第一类时间点。依此类推,即可确定出后续的音频数据中存在的第一类时间点。
另外,上述直播视频数据中的音频数据为演唱的歌曲的音频数据时,也可以按照分段处理的方式来得到第一类时间点。
需要说明的是,上述音频特征可以是基音音频特征,音高等。上述的音频特征提取算法可以是现有技术的一种算法,如现有的音乐评分系统,用于提取基音音频特征,过程大致为预加重-分帧-加窗-求短时平均能量-求自相关,经过此过程即可得到基音音频特征,主要参数为高频提升参数、帧长、帧移和清浊音阈值。
步骤103,根据目标时间点对,从直播视频数据中,获取目标视频片段。
其中,目标视频片段指直播视频数据的音频数据中与原表演者的音频数据中相似度满足一定条件的视频片段。
在实施中,服务器确定出目标时间点对后,可以根据直播视频数据的时间戳,找到目标时间点对中开始时间点对应的时间戳,并找到目标时间点对中结束时间点的时间戳,截取这两个时间戳之间的视频片段,即为目标视频片段。
可选的,本公开实施例中,在获取到目标视频片段后,还可以提供给直播间的观众,相应的处理可以如下:
生成目标视频片段的链接信息。向演唱直播间的除主播账户之外的其它各账户的登录终端发送目标视频片段的链接信息,以使各账户的登录终端在演唱直播间的回放界面显示链接信息,或者在演唱直播间的直播结束界面显示链接信息。
其中,回放界面是显示回放直播视频数据的播放链接的界面,直播结束界面指直播间结束直播时显示的界面。
在实施中,服务器在获取到目标视频片段后,可以从目标视频片段的数据中,随机获取一张图片,作为目标视频片段的封面,并为目标视频片段添加名称(如可以将演唱的歌曲的名称作为目标视频片段的名称),然后可以基于封面的图片、名称以及目标视频片段的数据的存储地址,生成链接信息,该链接信息可以是URL(Uniform Resource Locator,统一资源定位符)。
然后服务器可以确定直播间中除主播账户之外的其它各账户,然后向其它各账户的登录终端,发送目标视频片段的链接信息。其它各账户的登录终端接收到后,可以在直播间的回放界面显示目标视频片段的链接信息,或者可以在直播结束界面中显示目标视频片段的链接信息。例如,如图2所示,获取到两个视频片段,一个是《喵星人》,另一个是《喵喵喵》,可以在直播结束界面显示这两个视频片段。
如果直播间的观众想要对某个链接信息进行分享,可以选择该链接信息,然后点击对应的分享选项,观众使用的终端则会检测到分享选项的点击指令,显示分享的各种区域选项(如某个应用程序、当前直播应用程序的分享区域等),观众可以选择相应的区域选项,然后点击确定选项,观众的终端则会检测确定选项的点击指令,显示编辑框,此时编辑框中显示预设有内容(如快来看A主播的演唱的B歌曲等),观众可以直接按照编辑框中的内容进行分享,也可以重新编辑编辑框中的内容,然后分享至选择的区域。这样就完成了一次分享过程。
可选的,本公开实施例中,还提供了对第一类时间点进行筛选的过程,相应的处理可以如下:
根据直播视频数据中除主播账户之外的其它账户的互动信息,确定直播视频数据中的第二类时间点。如果第一类时间点中目标时间点,属于第二类时间点,则保留目标时间点,如果第一类时间点中目标时间点,不属于第二类时间点,则删除目标时间点。以保留下的第一类时间点为中心,根据预设的截取时长,确定保留下的第一类时间点对应的目标时间点对。
其中,互动信息可以包括评论信息、点赞信息和礼物信息中的一种或多种。
在实施中,在演唱直播间开播后,服务器可以存储接收到的评论信息、点赞信息和礼物信息,然后可以使用评论信息、点赞信息和礼物信息中的一种或多种,确定直播视频数据中的第二类时间点。
然后判断第一类时间中目标时间点(目标时间点为第一类时间点中任一时间点),是否属于第二类时间点,如果属于第二类时间点,则可以保留目标时间点,如果不属于第二类时间点,则可以删除目标时间点。
然后服务器可以以保留下的第一类时间点为中心,将保留下的第一类时间点减少预设的截取时长的一半,得到保留下的第一类时间点对应的开始时间点,并且将保留下的第一类时间点增加预设的截取时长的一半,得到保留下的第一类时间点对应的结束时间点,将开始时间点和结束时间点组成目标时间点对。这样,可以基于互动信息对第一类时间点进行筛选,使截取出的视频片段包括精彩内容的概率更高。
可选的,本公开实施例中,还提供了使用互动信息,确定目标时间点对的方式,相应的处理可以如下:
根据直播视频数据中除主播账户之外的其它账户的互动信息,确定直播视频数据中的第二类时间点。对第一类时间点和第二类时间点进行合并,将合并后的时间点进行去重处理。以去重处理后的时间点为中心,根据预设的截取时长,确定去重处理后的时间点对应的目标时间点对。
在实施中,在演唱直播间开播后,服务器可以存储接收到的评论信息、点赞信息和礼物信息,然后可以使用评论信息、点赞信息和礼物信息中的一种或多种,确定直播视频数据中的第二类时间点。
然后将第一类时间点和第二类时间点进行合并,得到合并后的时间点,将合并后的时间点中相同的时间点删除,然后服务器可以以去重后的时间点为中心,将去重后的时间点减少预设的截取时长的一半,得到去重后的时间点对应的开始时间点,并且将去重后的时间点增加预设的截取时长的一半,得到去重后的时间点对应的结束时间点。将开始时间点和结束时间点组成目标时间点对。
可选的,根据直播视频数据中的互动信息,确定第二类时间点的方式有多种,以下给出几种可行的方式::
方式一,如果直播视频数据中第一时间段的礼物资源量超过第二预设阈值,则将第一时间段的中间时间点或结束时间点,确定为直播视频数据中的第二类时间点。
其中,第一时间段的时长也可以预设,并且存储至服务器中,如2秒等。第二预设阈值也可以预设,并且存储至服务器中。
在实施中,服务器可以在直播视频数据中,依照直播视频数据的时间戳,确定出第一时间段。例如,如图3所示,直播视频数据是30分钟,0~2秒是第一个第一时间段t1,1~3秒是第二个第一时间段t2,2~4秒是第三个第一时间段t3,依此类推,选取出多个第一时间段。然后确定每个第一时间段的开始时间点和结束时间点,然后使用开始时间点和结束时间点,确定在该时间间隔内,接收到的送礼请求中携带的礼物的名称和数目,统计出该时间间隔内各礼物的数目,然后服务器可以获取携带的各礼物的资源(如“游艇”礼物50个金币),将各礼物的数目与对应的资源分别相乘,得到各礼物的资源量,然后将各礼物的资源量相加,即可得到第一时间段的礼物资源量。然后服务器可以判断礼物资源量与第二预设阈值的大小,如果礼物资源量大于第二预设阈值,则可以确定第一时间段的中间时间点,将该中间时间点确定为直播视频数据中的第二类时间点,或者可以确定一时间段的结束时间点,将该结束时间点确定为直播视频数据中的第二类时间点。
另外,还可以使用图像识别来确定礼物资源量,相应的处理可以如下:
对直播视频数据中的第一时间段的图像进行礼物图像识别,得到识别出的各礼物图像的数目。根据各礼物图像的数目,确定第一时间段的礼物资源量。
在实施中,服务器可以在直播视频数据中,获取每个第一时间段的图像,然后将图像输入到预设的礼物图像识别算法(可以预先训练得到)中,识别图像中包含的各礼物图像的数目,然后获取各礼物的资源,将各礼物图像的数目分别乘以对应资源,得到各礼物的资源量,然后将各礼物的资源量相加,即可得到第一时间段的礼物资源量。
这样,由于接收到的礼物资源量越多,反映直播的内容越精彩,所以可以使用礼物资源量确定精彩内容。
需要说明的是,上述礼物图像识别算法可以是经过训练得到的神经网络算法,在输入一张图像后,可以输出包含的礼物图像的名称(即礼物的名称)以及对应的数目。
方式二,如果直播视频数据中第二时间段的评论信息的数目超过第三预设阈值,则将第二时间段的中间时间点或结束时间点,确定为直播视频数据中的第二类时间点。
其中,第二时间段的时长也可以预设,并且存储至服务器中,如2秒等。第三预设阈值也可以预设,并且存储至服务器中。
可选的,服务器可以在直播视频数据中,依照直播视频数据的时间戳,确定出第二时间段。例如,直播视频数据是30分钟,0~2秒是第一个第二时间段,1~3秒是第二个第二时间段,2~4秒是第三个第二时间段,依此类推,选取出多个第二时间段。然后确定每个第二时间段的开始时间点和结束时间点,然后使用开始时间点和结束时间点,确定在该时间间隔内,接收到的评论信息的数目,然后判断接收到的评论信息的数目与第三预设阈值的大小,如果接收到的评论信息的数目大于第三预设阈值,则可以确定第二时间段的中间时间点,将该中间时间点确定为直播视频数据中的第二类时间点,或者可以确定第二时间段的结束时间点,将该结束时间点确定为直播视频数据中的第二类时间点。
这样,由于接收到的评论信息越多,反映直播的内容越精彩,所以可以使用评论信息的数目确定精彩内容。
方式三,如果直播视频数据中第三时间段的点赞的数目超过第四预设阈值,则将第三时间段的中间时间点或结束时间点,确定为直播视频数据中的第二类时间点。
其中,第三时间段的时长也可以预设,并且存储至服务器中,如2秒等。第四预设阈值也可以预设,并且存储至服务器中。在直播时,点赞是指点击直播界面中某个预设标记。
可选的,服务器可以在直播视频数据中,依照直播视频数据的时间戳,确定出第三时间段。例如,直播视频数据是30分钟,0~2秒是第一个第三时间段,1~3秒是第二个第三时间段,2~4秒是第三个第三时间段,依此类推,选取出多个第三时间段。然后确定每个第三时间段的开始时间点和结束时间点,然后使用开始时间点和结束时间点,确定在该时间间隔内,接收到的点赞请求的数目(也即接收到的点赞信息的数目)。然后判断接收到的点赞请求的数目与第四预设阈值的大小,如果接收到的点赞请求的数目大于第四预设阈值,则可以确定第三时间段的中间时间点,将该中间时间点确定为直播视频数据中的第二类时间点,或者可以确定第三时间段的结束时间点,将该结束时间点确定为直播视频数据中的第二类时间点。
这样,由于接收到的点赞信息越多,反映直播的内容越精彩,所以可以使用点赞信息的数目确定精彩内容。
另外,也可以同时使用上述方式一至方式三中的互动信息,确定第二类时间点,相应的处理可以如下:
在实施中,礼物资源量、评论信息和点赞信息均对应有一定权值,分别为A、B和C,对于第四时间段,服务器确定出的礼物资源量为x,评论信息的数目为y,点赞信息的数目为z,然后进行加权计算,得到加权值:A*x+B*y+C*z,判断该加权值与预设数值大小,如果该加权值大于预设数值,将第四时间段的中间时间点,确定为直播视频数据中的第二类时间点。这样,综合考虑了三种互动信息,确定出的第二类时间点更准确。
另外,还可以在上述方式一至方式三中,选取两种互动信息,进行加权计算,确定第二类时间点,与使用三种方式的互动信息的处理方式一样,此处不再赘述。
需要说明的是,上述第一时间段、第二时间段、第三时间段和第四时间段的时长可以一样,为了使确定出的出现精彩内容的位置比较准确,一般第一时间段、第二时间段、第三时间段和第四时间段的时长都比较短,一般可以小于5秒。
另外,为了使确定出的目标视频片段没有重复内容,还可以在步骤102之后,步骤103之前进行如下处理:
在目标时间点对中,如果存在第一开始时间点早于第二开始时间点,且第一开始时间点对应的结束时间点早于第二开始时间点对应的结束时间点,且第二开始时间点早于第一开始时间点对应的结束时间点,则在目标时间点对中,将第一开始时间点对应的结束时间点替换为第二开始时间点对应的结束时间点,并删除第二开始时间点和第二开始时间点对应的结束时间点。
其中,第一开始时间点和第二开始时间点不一样,第一开始时间点为目标时间点对中除第二开始时间点之外的任一开始时间点,第二开始时间点为目标时间点对中除第一开始时间点之外的任一开始时间点。
在实施中,在服务器确定出目标时间点对后,可以确定是否存在时间范围有重叠的开始时间点和结束时间点,如果存在,也即存在第一开始时间点和第二开始时间点满足:第一开始时间点早于第二开始时间点,且第一开始时间点对应的结束时间点早于第二开始时间点对应的结束时间点,且第二开始时间点早于第一开始时间点对应的结束时间点,可以在目标时间点对中,将第一开始时间点对应的结束时间点替换为第二结束时间点对应的结束时间点,并且将第二开始时间点和第二开始时间点对应的结束时间点删除。这样,第一开始时间点和第一开始时间点对应的结束时间点、第二开始时间点和第二开始时间点对应的结束时间点,变成了第一开始时间点和第二开始时间点对应的结束时间点(替换后的第一开始时间点对应的结束时间点)。这样,在后续获取视频片段时,本来有重复内容的视频片段会合并变成一个视频片段。
例如,第一开始时间点为10分钟23秒,第一开始时间点对应的结束时间点为10分钟33秒,第二开始时间点为10分钟25秒,第二开始时间点对应的结束时间点为10分钟35秒,最终变成了第一开始时间点为10分钟23秒,第一开始时间点对应的结束时间点变为10分钟35秒。
可选的,为了使确定出的目标视频片段没有重复内容,还可以在步骤103之后进行如下处理:
如果目标视频片段中第一视频片段的开始时间点早于第二视频片段的开始时间点,且第一视频片段的结束时间点早于第二视频片段的结束时间点,且第二视频片段的开始时间点早于第一视频片段的结束时间点,则将第一视频片段和第二视频片段进行合并。
其中,第一视频片段为目标视频片段中除第二视频片段之外的任一视频片段,第二视频片段为目标视频片段中除第一视频片段之外的任一视频片段。
在实施中,在服务器确定出目标视频片段后,服务器可以判断任意两个视频片段是否有重叠的部分,如果有重叠部分,也即存在第一视频片段和第二视频片段,且两个视频片段满足:第一视频片段的开始时间点早于第二视频片段的开始时间点,第一视频片段的结束时间点早于第二视频片段的结束时间点,且第二视频片段的开始时间点早于第一视频片段的结束时间点。服务器可以将第一视频片段和第二视频片段进行合并。这样,可以将有重复内容的视频片段合并成一个视频片段。
例如,第一视频片段为10分钟30秒至10分钟40秒的视频片段,第二视频片段为10分钟35秒至10分钟45秒的视频片段,合并后的视频片段为10分钟30秒至10分钟45秒的视频片段。
可选的,为了使目标视频片段是包括精彩内容的概率更大,可以基于互动信息,对目标视频片段进行筛选,在步骤103后可以进行如下处理:
如果目标视频片段中的礼物资源量超过第五预设阈值,则保留目标视频片段。或者,如果目标视频片段中的评论信息的数目超过第六预设阈值,则保留目标视频片段。或者,如果目标视频片段中的点赞信息的数目超过第七预设阈值,则保留目标视频片段。
其中,第五预设阈值、第六预设阈值和第七预设阈值均可以预设,并且存储至服务器中。
在实施中,服务器在获取到目标视频片段后,可以确定目标视频片段中的礼物资源量(与确定第一时间段的礼物资源量的方法相同,此处不再赘述),然后判断该礼物资源量是否超过第五预设阈值,如果超过第五预设阈值,则进行保留,如果未超过第五预设阈值,则说明有可能不包含精彩内容,可以进行删除。
或者,服务器在获取到目标视频片段后,可以确定目标视频片段中的评论信息的数目(与确定第二时间段的评论信息的数目的方法相同,此处不再赘述),然后判断该评论信息的数目是否超过第六预设阈值,如果超过第六预设阈值,则进行保留,如果未超过第六预设阈值,则说明有可能不包含精彩内容,可以进行删除。
或者,服务器在获取到目标视频片段后,可以确定目标视频片段中的点赞信息的数目(与确定第二时间段的点赞信息的数目的方法相同,此处不再赘述),然后判断该点赞信息的数目是否超过第七预设阈值,如果超过第七预设阈值,则进行保留,如果未超过第七预设阈值,则说明有可能不包含精彩内容,可以进行删除。
这样,通过互动信息可以进一步对获取出的视频片段进行过滤,使截取出的视频片段包含精彩内容的概率可以增大。
可选的,在步骤103中确定出的目标视频片段的数目有可能比较多,在目标视频片段数目超过预设数目时,可以进行如下过滤处理,相应的处理可以如下:
将确定出的目标视频片段按照礼物资源量从大到小顺序进行排序,获取最前面的预设数目个目标视频片段,确定为最终的视频片段。或者,将确定出的目标视频片段按照评论信息的数目从大到小顺序进行排序,获取最前面的预设数目个目标视频片段,确定为最终的视频片段。或者,将确定出的目标视频片段按照点赞信息的数目从大到小顺序进行排序,获取最前面的预设数目个目标视频片段,确定为最终的视频片段。
其中,预设数目可以为预设的用于指示最终反馈给终端的视频片段的数目。
在实施中,服务器在获取到目标视频片段后,可以确定目标视频片段中的礼物资源量(与确定第一时间段的礼物资源量的方法相同,此处不再赘述),将目标视频片段按照礼物资源量从大到小的顺序进行排序,取最前面的预设数目个目标视频片段,确定为最终的视频片段。
或者,服务器在获取到目标视频片段后,可以确定目标视频片段中的评论信息的数目(与确定第二时间段的评论信息的数目的方法相同,此处不再赘述),取最前面的预设数目个目标视频片段,确定为最终的视频片段。
或者,服务器在获取到目标视频片段后,可以确定目标视频片段中的点赞信息的数目(与确定第二时间段的点赞信息的数目的方法相同,此处不再赘述),取最前面的预设数目个目标视频片段,确定为最终的视频片段。
另外,在此过程中,也可以结合多种互动信息进行加权处理。例如,将点赞信息的数目、评论信息的数目和礼物资源量加权之后,对目标视频片段进行排序,取最前面的预设数目个目标视频片段,确定为终端的视频片段。
本公开实施例中,在演唱直播间的直播视频数据中获取视频片段时,可以使用直播视频数据中的音频数据和原表演者的音频数据,来确定直播视频数据中的目标时间点对,然后根据目标时间点对中的开始时间点和结束时间点,获取目标视频片段。这样,由于是服务器直接基于直播视频数据中的音频数据和原表演者的音频数据,进行截取,不需要人工截取,所以即使当前不是正在播放也能进行截取,从而可以使截取出的视频片段相对比较完整。
图4是根据一示例性实施例示出的一种获取视频片段的装置框图。参照图4,该装置包括获取单元411和确定单元412。
获取单元411,被配置为获取演唱直播间的直播视频数据;
确定单元412,被配置为根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
所述获取单元411,还被配置为根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
可选的,所述确定单元412,被配置为:
根据所述直播视频数据中的音频数据和原表演者的音频数据,确定所述直播视频数据中的第一类时间点;
以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对。
可选的,所述直播视频数据中的音频数据为主播演唱的歌曲的音频数据,所述原表演者的音频数据为原唱演唱的歌曲的音频数据;
所述确定单元412,被配置为:
对所述直播视频数据中的音频数据进行语音识别,得到歌曲的歌词;
根据所述歌词,获取原唱演唱的歌曲的音频数据;
对于每句歌词,将所述原表演者的音频数据的音频特征和所述直播视频数据中音频数据的音频特征进行相似度确定;
将相似度高于第一预设阈值的歌词中相似度最高的位置对应的时间点,确定为所述直播视频数据中的第一类时间点。
可选的,所述确定单元412,还被配置为:
根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点;
所述确定单元412,被配置为:
如果所述第一类时间点中目标时间点,属于所述第二类时间点,则保留所述目标时间点,如果所述第一类时间点中所述目标时间点,不属于所述第二类时间点,则删除所述目标时间点;
以保留下的第一类时间点为中心,根据预设的截取时长,确定所述保留下的第一类时间点对应的目标时间点对。
可选的,所述确定单元412,还被配置为:
如果所述直播视频数据中第一时间段的礼物资源量超过第二预设阈值,则将所述第一时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第二时间段的评论信息的数目超过第三预设阈值,则将所述第二时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第三时间段的点赞的数目超过第四预设阈值,则将所述第三时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点。
可选的,所述确定单元412,还被配置为:
对所述直播视频数据中的所述第一时间段的图像进行礼物图像识别,得到识别出的各礼物图像的数目;
根据所述各礼物图像的数目,确定所述第一时间段的礼物资源量。
可选的,所述确定单元412,还被配置为:
在所述目标时间点对中,如果存在第一开始时间点早于第二开始时间点,且所述第一开始时间点对应的结束时间点早于所述第二开始时间点对应的结束时间点,且所述第二开始时间点早于所述第一开始时间点对应的结束时间点,则在所述目标时间点对中,将所述第一开始时间点对应的结束时间点替换为所述第二开始时间点对应的结束时间点,并删除所述第二开始时间点和所述第二开始时间点对应的结束时间点,其中,所述第一开始时间点为所述目标时间点对中除所述第二开始时间点之外的任一开始时间点,所述第二开始时间点为所述目标时间点对中除所述第一开始时间点之外的任一开始时间点。
可选的,所述确定单元412,还被配置为:
生成目标视频片段的链接信息;
如图5所示,所述装置还包括:
发送单元413,被配置为向所述演唱直播间的除主播账户之外的其它各账户的登录终端发送所述目标视频片段的链接信息,以使所述各账户的登录终端在所述演唱直播间的回放界面显示所述链接信息,或者在所述演唱直播间的直播结束界面显示所述链接信息。
可选的,所述获取单元411,还被配置为:
如果所述目标视频片段中的礼物资源量超过第五预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的评论信息的数目超过第六预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的点赞信息的数目超过第七预设阈值,则保留所述目标视频片段。
本公开实施例中,在演唱直播间的直播视频数据中获取视频片段时,可以使用直播视频数据中的音频数据和原表演者的音频数据,来确定直播视频数据中的目标时间点对,然后根据目标时间点对中的开始时间点和结束时间点,获取目标视频片段。这样,由于是服务器直接基于直播视频数据中的音频数据和原表演者的音频数据,进行截取,不需要人工截取,所以即使当前不是正在播放也能进行截取,从而可以使截取出的视频片段相对比较完整。
关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是本公开实施例提供的一种服务器的结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processingunits,CPU)601和一个或一个以上的存储器602,其中,所述存储器602中存储有至少一条指令,所述至少一条指令由所述处理器601加载并执行以实现上述获取视频片段的方法的步骤。
本公开实施例中,还提供了一种获取视频片段的装置,包括:处理器和用于存储处理器可执行指令的存储器,其中,所述处理器被配置为执行以完成上述获取视频片段的方法的步骤。
本公开实施例中,还提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行以完成上述获取视频片段的方法的步骤。
本公开实施例中,还提供了一种应用程序,包括一条或多条指令,该一条或多条指令可以由服务器的处理器执行,以完成上述获取视频片段的方法的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种获取视频片段的方法,其特征在于,包括:
获取演唱直播间的直播视频数据;
根据所述直播视频数据中的音频数据的音频特征和原表演者的音频数据的音频特征的相似度,确定所述直播视频数据中的第一类时间点;
以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
2.根据权利要求1所述的方法,其特征在于,所述直播视频数据中的音频数据为主播演唱的歌曲的音频数据,所述原表演者的音频数据为原唱演唱的歌曲的音频数据;
所述根据所述直播视频数据中的音频数据的音频特征和原表演者的音频数据的音频特征的相似度,确定所述直播视频数据中的第一类时间点,包括:
对所述直播视频数据中的音频数据进行语音识别,得到歌曲的歌词;
根据所述歌词,获取原唱演唱的歌曲的音频数据;
对于每句歌词,将所述原表演者的音频数据的音频特征和所述直播视频数据中音频数据的音频特征进行相似度确定;
将相似度高于第一预设阈值的歌词中相似度最高的位置对应的时间点,确定为所述直播视频数据中的第一类时间点。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点;
所述以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对,包括:
如果所述第一类时间点中目标时间点,属于所述第二类时间点,则保留所述目标时间点,如果所述第一类时间点中所述目标时间点,不属于所述第二类时间点,则删除所述目标时间点;
以保留下的第一类时间点为中心,根据预设的截取时长,确定所述保留下的第一类时间点对应的目标时间点对。
4.根据权利要求3所述的方法,其特征在于,所述根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点,包括:
如果所述直播视频数据中第一时间段的礼物资源量超过第二预设阈值,则将所述第一时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第二时间段的评论信息的数目超过第三预设阈值,则将所述第二时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第三时间段的点赞的数目超过第四预设阈值,则将所述第三时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
对所述直播视频数据中的所述第一时间段的图像进行礼物图像识别,得到识别出的各礼物图像的数目;
根据所述各礼物图像的数目,确定所述第一时间段的礼物资源量。
6.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
在所述目标时间点对中,如果存在第一开始时间点早于第二开始时间点,且所述第一开始时间点对应的结束时间点早于所述第二开始时间点对应的结束时间点,且所述第二开始时间点早于所述第一开始时间点对应的结束时间点,则在所述目标时间点对中,将所述第一开始时间点对应的结束时间点替换为所述第二开始时间点对应的结束时间点,并删除所述第二开始时间点和所述第二开始时间点对应的结束时间点,其中,所述第一开始时间点为所述目标时间点对中除所述第二开始时间点之外的任一开始时间点,所述第二开始时间点为所述目标时间点对中除所述第一开始时间点之外的任一开始时间点。
7.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
生成目标视频片段的链接信息;
向所述演唱直播间的除主播账户之外的其它各账户的登录终端发送所述目标视频片段的链接信息,以使所述各账户的登录终端在所述演唱直播间的回放界面显示所述链接信息,或者在所述演唱直播间的直播结束界面显示所述链接信息。
8.根据权利要求1至5任一所述的方法,其特征在于,所述根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段之后,还包括:
如果所述目标视频片段中的礼物资源量超过第五预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的评论信息的数目超过第六预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的点赞信息的数目超过第七预设阈值,则保留所述目标视频片段。
9.一种获取视频片段的装置,其特征在于,包括:
获取单元,被配置为获取演唱直播间的直播视频数据;
确定单元,被配置为根据所述直播视频数据中的音频数据的音频特征和原表演者的音频数据的音频特征的相似度,确定所述直播视频数据中的第一类时间点;以所述第一类时间点为中心,根据预设的截取时长,确定所述第一类时间点对应的目标时间点对,其中,所述目标时间点对包括开始时间点和结束时间点;
所述获取单元,还被配置为根据所述目标时间点对,从所述直播视频数据中,获取目标视频片段。
10.根据权利要求9所述的装置,其特征在于,所述直播视频数据中的音频数据为主播演唱的歌曲的音频数据,所述原表演者的音频数据为原唱演唱的歌曲的音频数据;
所述确定单元,被配置为:
对所述直播视频数据中的音频数据进行语音识别,得到歌曲的歌词;
根据所述歌词,获取原唱演唱的歌曲的音频数据;
对于每句歌词,将所述原表演者的音频数据的音频特征和所述直播视频数据中音频数据的音频特征进行相似度确定;
将相似度高于第一预设阈值的歌词中相似度最高的位置对应的时间点,确定为所述直播视频数据中的第一类时间点。
11.根据权利要求9所述的装置,其特征在于,所述确定单元,还被配置为:
根据所述直播视频数据中除主播账户之外的其它账户的互动信息,确定所述直播视频数据中的第二类时间点;
所述确定单元,被配置为:
如果所述第一类时间点中目标时间点,属于所述第二类时间点,则保留所述目标时间点,如果所述第一类时间点中所述目标时间点,不属于所述第二类时间点,则删除所述目标时间点;
以保留下的第一类时间点为中心,根据预设的截取时长,确定所述保留下的第一类时间点对应的目标时间点对。
12.根据权利要求11所述的装置,其特征在于,所述确定单元,还被配置为:
如果所述直播视频数据中第一时间段的礼物资源量超过第二预设阈值,则将所述第一时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第二时间段的评论信息的数目超过第三预设阈值,则将所述第二时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点;或者,
如果所述直播视频数据中第三时间段的点赞的数目超过第四预设阈值,则将所述第三时间段的中间时间点或结束时间点,确定为所述直播视频数据中的第二类时间点。
13.根据权利要求12所述的装置,其特征在于,所述确定单元,还被配置为:
对所述直播视频数据中的所述第一时间段的图像进行礼物图像识别,得到识别出的各礼物图像的数目;
根据所述各礼物图像的数目,确定所述第一时间段的礼物资源量。
14.根据权利要求9至13任一所述的装置,其特征在于,所述确定单元,还被配置为:
在所述目标时间点对中,如果存在第一开始时间点早于第二开始时间点,且所述第一开始时间点对应的结束时间点早于所述第二开始时间点对应的结束时间点,且所述第二开始时间点早于所述第一开始时间点对应的结束时间点,则在所述目标时间点对中,将所述第一开始时间点对应的结束时间点替换为所述第二开始时间点对应的结束时间点,并删除所述第二开始时间点和所述第二开始时间点对应的结束时间点,其中,所述第一开始时间点为所述目标时间点对中除所述第二开始时间点之外的任一开始时间点,所述第二开始时间点为所述目标时间点对中除所述第一开始时间点之外的任一开始时间点。
15.根据权利要求9至13任一所述的装置,其特征在于,所述确定单元,还被配置为:
生成目标视频片段的链接信息;
所述装置还包括:
发送单元,被配置为向所述演唱直播间的除主播账户之外的其它各账户的登录终端发送所述目标视频片段的链接信息,以使所述各账户的登录终端在所述演唱直播间的回放界面显示所述链接信息,或者在所述演唱直播间的直播结束界面显示所述链接信息。
16.根据权利要求9至13任一所述的装置,其特征在于,所述获取单元,还被配置为:
如果所述目标视频片段中的礼物资源量超过第五预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的评论信息的数目超过第六预设阈值,则保留所述目标视频片段;或者,
如果所述目标视频片段中的点赞信息的数目超过第七预设阈值,则保留所述目标视频片段。
17.一种获取视频片段的装置,其特征在于,包括:处理器和用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至权利要求8任一所述的方法步骤。
18.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行权利要求1至权利要求8任一所述的方法步骤。
CN201811334212.8A 2018-11-09 2018-11-09 获取视频片段的方法、装置和存储介质 Active CN109218746B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811334212.8A CN109218746B (zh) 2018-11-09 2018-11-09 获取视频片段的方法、装置和存储介质
US17/257,447 US11375295B2 (en) 2018-11-09 2019-10-25 Method and device for obtaining video clip, server, and storage medium
PCT/CN2019/113321 WO2020093883A1 (zh) 2018-11-09 2019-10-25 获取视频片段的方法、装置、服务器和存储介质
US17/830,222 US20220303644A1 (en) 2018-11-09 2022-06-01 Method and device for obtaining video clip, server, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811334212.8A CN109218746B (zh) 2018-11-09 2018-11-09 获取视频片段的方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN109218746A CN109218746A (zh) 2019-01-15
CN109218746B true CN109218746B (zh) 2020-07-07

Family

ID=64995816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811334212.8A Active CN109218746B (zh) 2018-11-09 2018-11-09 获取视频片段的方法、装置和存储介质

Country Status (3)

Country Link
US (2) US11375295B2 (zh)
CN (1) CN109218746B (zh)
WO (1) WO2020093883A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218746B (zh) * 2018-11-09 2020-07-07 北京达佳互联信息技术有限公司 获取视频片段的方法、装置和存储介质
CN109788308B (zh) * 2019-02-01 2022-07-15 腾讯音乐娱乐科技(深圳)有限公司 音视频处理方法、装置、电子设备及存储介质
CN109862387A (zh) * 2019-03-28 2019-06-07 北京达佳互联信息技术有限公司 直播的回看视频生成方法、装置及设备
CN110312162A (zh) * 2019-06-27 2019-10-08 北京字节跳动网络技术有限公司 精选片段处理方法、装置、电子设备及可读介质
CN110267054B (zh) * 2019-06-28 2022-01-18 广州酷狗计算机科技有限公司 一种推荐直播间的方法及装置
CN110519610B (zh) * 2019-08-14 2021-08-06 咪咕文化科技有限公司 直播资源处理方法及系统、服务器和客户端设备
CN110602566B (zh) * 2019-09-06 2021-10-01 Oppo广东移动通信有限公司 匹配方法、终端和可读存储介质
CN110659614A (zh) * 2019-09-25 2020-01-07 Oppo广东移动通信有限公司 视频采样方法、装置、设备和存储介质
CN110719440B (zh) * 2019-09-26 2021-08-06 恒大智慧科技有限公司 一种视频回放方法、装置及存储介质
CN110913240B (zh) * 2019-12-02 2022-02-22 广州酷狗计算机科技有限公司 视频截取方法、装置、服务器以及计算机可读存储介质
CN111050205B (zh) * 2019-12-13 2022-03-25 广州酷狗计算机科技有限公司 视频片段获取方法、装置、设备和存储介质
CN110996167A (zh) * 2019-12-20 2020-04-10 广州酷狗计算机科技有限公司 在视频中添加字幕的方法及装置
CN111212299B (zh) * 2020-01-16 2022-02-11 广州酷狗计算机科技有限公司 直播视频教程的获取方法、装置、服务器及存储介质
CN111221452B (zh) * 2020-02-14 2022-02-25 青岛希望鸟科技有限公司 方案讲解控制方法
CN111405311B (zh) * 2020-04-17 2023-03-21 北京达佳互联信息技术有限公司 直播节目保存方法、装置、电子设备和存储介质
CN115119005A (zh) * 2022-06-17 2022-09-27 广州方硅信息技术有限公司 轮播频道直播间的录播方法、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999453A (zh) * 2011-09-18 2014-08-20 踏途音乐公司 具有卡拉ok和照相亭功能的数字点播设备及相关方法
CN106658033A (zh) * 2016-10-26 2017-05-10 广州华多网络科技有限公司 直播内容查询方法、装置和服务器
CN107507628A (zh) * 2017-08-31 2017-12-22 广州酷狗计算机科技有限公司 唱歌评分方法、装置及终端
CN108683927A (zh) * 2018-05-07 2018-10-19 广州酷狗计算机科技有限公司 主播推荐方法、装置及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7254455B2 (en) * 2001-04-13 2007-08-07 Sony Creative Software Inc. System for and method of determining the period of recurring events within a recorded signal
US20050267750A1 (en) * 2004-05-27 2005-12-01 Anonymous Media, Llc Media usage monitoring and measurement system and method
US8171030B2 (en) * 2007-06-18 2012-05-01 Zeitera, Llc Method and apparatus for multi-dimensional content search and video identification
GB2452315B (en) * 2007-08-31 2012-06-06 Sony Corp A distribution network and method
CN103871426A (zh) 2012-12-13 2014-06-18 上海八方视界网络科技有限公司 对比用户音频与原唱音频相似度的方法及其系统
US10282390B2 (en) * 2014-02-24 2019-05-07 Sony Corporation Method and device for reproducing a content item
US9848228B1 (en) * 2014-05-12 2017-12-19 Tunespotter, Inc. System, method, and program product for generating graphical video clip representations associated with video clips correlated to electronic audio files
US9852770B2 (en) * 2015-09-26 2017-12-26 Intel Corporation Technologies for dynamic generation of a media compilation
CN105939494A (zh) * 2016-05-25 2016-09-14 乐视控股(北京)有限公司 音视频片段提供方法及装置
CN106791892B (zh) * 2016-11-10 2020-05-12 广州华多网络科技有限公司 一种轮麦直播的方法、装置和系统
CN106782600B (zh) 2016-12-29 2020-04-24 广州酷狗计算机科技有限公司 音频文件的评分方法及装置
CN106804000A (zh) 2017-02-28 2017-06-06 北京小米移动软件有限公司 直播回放方法及装置
CN107018427B (zh) 2017-05-10 2020-11-06 广州华多网络科技有限公司 直播分享内容处理方法及装置
CN108540854A (zh) 2018-03-29 2018-09-14 努比亚技术有限公司 直播视频剪辑方法、终端及计算机可读存储介质
CN108600778B (zh) 2018-05-07 2020-11-03 广州酷狗计算机科技有限公司 媒体流发送方法、装置、系统及服务器、终端、存储介质
CN109218746B (zh) 2018-11-09 2020-07-07 北京达佳互联信息技术有限公司 获取视频片段的方法、装置和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999453A (zh) * 2011-09-18 2014-08-20 踏途音乐公司 具有卡拉ok和照相亭功能的数字点播设备及相关方法
CN106658033A (zh) * 2016-10-26 2017-05-10 广州华多网络科技有限公司 直播内容查询方法、装置和服务器
CN107507628A (zh) * 2017-08-31 2017-12-22 广州酷狗计算机科技有限公司 唱歌评分方法、装置及终端
CN108683927A (zh) * 2018-05-07 2018-10-19 广州酷狗计算机科技有限公司 主播推荐方法、装置及存储介质

Also Published As

Publication number Publication date
CN109218746A (zh) 2019-01-15
US20220303644A1 (en) 2022-09-22
WO2020093883A1 (zh) 2020-05-14
US11375295B2 (en) 2022-06-28
US20210258658A1 (en) 2021-08-19

Similar Documents

Publication Publication Date Title
CN109218746B (zh) 获取视频片段的方法、装置和存储介质
US10229196B1 (en) Automatic selection of representative media clips
CN111698575B (zh) 直播亮点视频剪辑方法、装置、设备及存储介质
KR101578279B1 (ko) 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템
US10832287B2 (en) Promotional content targeting based on recognized audio
JP6060155B2 (ja) 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
CN111698554B (zh) 直播视频专辑生成方法、装置、设备及存储介质
CN109788345A (zh) 直播控制方法、装置、直播设备及可读存储介质
US11971927B1 (en) System and method for contextual data selection from electronic media content
WO2019047850A1 (zh) 标识的显示方法和装置、请求的响应方法和装置
CN108920585A (zh) 音乐推荐的方法及装置、计算机可读存储介质
CN110536147B (zh) 直播处理的方法、装置及系统
CN113014477A (zh) 语音平台的礼物处理方法、装置、设备及存储介质
CN108628886B (zh) 一种音频文件推荐方法及装置
CN108415908B (zh) 一种多媒体数据的处理方法及服务器
CN107659545B (zh) 一种媒体信息处理方法及媒体信息处理系统、电子设备
CN103562909A (zh) 客户端设备识别数据流的内容的方法及系统
CN109101964B (zh) 确定多媒体文件中首尾区域的方法、设备及存储介质
JP2015207258A (ja) 情報出力装置、情報出力方法及びプログラム、情報提供装置、情報提供方法及びプログラム
US8196046B2 (en) Parallel visual radio station selection
WO2024140088A1 (zh) 一种多媒体编辑资源的推荐方法、装置、设备及存储介质
US20210334711A1 (en) System and methods for connecting content promoters and artists for content promotion transactions
CN114554297B (zh) 页面截图方法、装置、电子设备及存储介质
KR102079483B1 (ko) 지문들을 변환하여 비인가된 미디어 콘텐츠 아이템들을 검출하기 위한 방법들, 시스템들 및 매체들
JP6299531B2 (ja) 歌唱動画編集装置、歌唱動画視聴システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant