CN104394422B - 一种视频分割点获取方法及装置 - Google Patents

一种视频分割点获取方法及装置 Download PDF

Info

Publication number
CN104394422B
CN104394422B CN201410634974.5A CN201410634974A CN104394422B CN 104394422 B CN104394422 B CN 104394422B CN 201410634974 A CN201410634974 A CN 201410634974A CN 104394422 B CN104394422 B CN 104394422B
Authority
CN
China
Prior art keywords
video segmentation
segmentation point
video
scene
camera lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410634974.5A
Other languages
English (en)
Other versions
CN104394422A (zh
Inventor
郝红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410634974.5A priority Critical patent/CN104394422B/zh
Publication of CN104394422A publication Critical patent/CN104394422A/zh
Application granted granted Critical
Publication of CN104394422B publication Critical patent/CN104394422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频分割点获取方法及装置,用于解决视频分割点获取过程中存在场景割裂,以及视频分割点获取复杂度高的问题。本发明实施例中,依次对目标视频中包含的镜头片段以及对生成的场景进行合并,生成目标视频对应的故事情节,并将每相邻两个故事情节之间的点作为上述目标视频的视频分割点,使得获取的故事情节从视觉效果上更加合理;此外,仅根据目标视频本身的特性获取视频分割点,无须参考目标视频中的音频信号,从而降低了视频分割点获取的复杂度。

Description

一种视频分割点获取方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种视频分割点获得方法及装置。
背景技术
随着网络应用领域的不断发展,越来越多的用户选择通过网络收看视频节目。为了提高用户体验,一些网络服务商将视频按照内容进行分割,以便用户了解视频内容并有选择性的收看视频。
以电视剧或电影视频为例,网络服务商向用户推送电视剧或电影视频时,在用户终端的播放进度条上显示一个或多个点状图形,每个点状图形对应一个视频分割点,该视频分割点为一个故事情节的起始播放时间点。当用户鼠标指向一个点状图形时,用户终端显示对应的视频分割点的缩略图、播放时间以及故事梗概等信息。
参阅图1所示,目前通常采用如下方式自动获得目标视频的视频分割点。该方法包括:
步骤100:获取目标视频的音频文件,该音频文件中包含有该目标视频的音量数据,根据该目标视频的音量数据获得第一分割点;
步骤110:获取该目标视频的视频文件,该视频文件中包含有若干帧图片,根据该若干帧图片获得第二分割点;
步骤120:根据该第一分割点和该第二分割点获得该目标视频的视频分割点。
由此可见,目前,根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点;虽然上述技术方案,无须开发人员人工阅览整个目标视频并记录相关的播放时间点,减少开发时间,提高开发效率,但是,由于上述技术方案中,通过视频文件辅助音频文件确定目标视频的视频分割点,针对音频文件中包含的目标视频的音量数据发生巨大变化,而场景没有发生变化的情况,采用上述技术方案将有可能在该音量数据发生巨大变化的点作为一个视频分割点,从而造成场景割裂的问题;并且,在上述技术方案中,同时根据目标视频的音频文件和视频文件获取视频分割点,从而增加了视频分割点划分的复杂度。
综上所述,现有视频分割点获取过程中存在场景割裂,以及视频分割点获取复杂度高的问题。
发明内容
本发明实施例提供一种视频分割点获得方法及装置,用以解决视频分割点获取过程中存在场景割裂,以及视频分割点获取复杂度高的问题。
本发明实施例提供的具体技术方案如下:
第一方面,提供一种视频分割点获取方法,包括:对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;根据所述若干个场景,确定至少一个第一视频分割点;根据每一个场景的灰度均值,对所有场景进行场景合并,并基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点;分别对每一个第二视频分割点进行调整,生成所述目标视频的视频分割点。
结合第一方面,在第一种可能的实现方式中,对目标视频中包含的镜头片段进行镜头片段合并之前,获取目标视频包含的多个帧图片;按照预设频率对所述多个帧图片进行采样处理,获取关键帧图片;或者,随机对所述目标视频中包含的多个帧图片进行采用处理,获取关键帧图片;根据获取的关键帧图片,生成关键帧图片序列;依次对所述关键帧图片序列进行镜头切分,生成若干个镜头片段。
结合第一方面,在第二种可能的实现方式中,针对所有镜头片段中的任意一相邻两个镜头片段,分别计算所述任意一相邻两个镜头片段中每一个镜头片段的内容范围,所述内容范围用于表征镜头片段的视觉特性;计算所述任意一相邻两个镜头片段合并后的内容范围;当所述任意一相邻两个镜头片段的内容范围之和大于等于所述任意一相邻两个镜头片段合并后的内容范围时,将所述任意一相邻两个镜头片段合并;将所有合并后的镜头片段,作为生成的若干个场景。
结合第一方面第一种可能的实现方式或者第二种可能的实现方式,在第三种可能的实现方式中,分别获取每一个场景的首帧图片;将所述各个首帧图片所对应的播放时间点分别确认为所述目标视频的第一视频分割点。
结合第一方面第一种可能的实现方式、第二种可能的实现方式或者第三种可能的实现方式,在第四种可能的实现方式中,分别获取每相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;分别计算每相邻两个场景对应的所述第一个场景的灰度均值与所述第二个场景的灰度均值的差值;针对计算得到的所有差值中的任意一差值,若所述任意一差值小于第一预设阈值,则对所述任意一差值对应的相邻两个场景进行合并;若所述任意一差值大于等于第一预设阈值,则不对所述任意一差值对应的相邻两个场景进行合并。
结合第一方面第四种可能的实现方式,在第五种可能的实现方式中,当不对所述任意一差值相对应的相邻两个场景进行合并时,将所述任意一差值相对应的两个相邻场景对应的第一视频分割点作为第二视频分割点;当对所述任意一差值对应的相邻两个场景进行合并时,将进行合并的所述相邻两个场景对应的第一视频分割点删除。
结合第一方面第四种可能的实现方式,在第六种可能的实现方式中,获取任意一场景的灰度均值的方法,包括:根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;计算所述任意一场景中包含的所有关键帧图片对应的灰度均值的和值;计算所述和值与所述任意一场景中包含的关键帧图片的数量的比值,将所述比值作为所述任意一场景的灰度均值。
结合第一方面第一种可能的实现方式至第六种可能的实现方式,在第七种可能的实现方式中,针对任意一第二视频分割点,从所述任意一第二视频分割点之前的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第二预设阈值的两个相邻关键帧图片之间的第一位置;并从所述任意一第二视频分割点之后的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第三预设阈值的两个相邻关键帧图片之间的位置对应的第二位置;根据所述任意一第二视频分割点与所述第一位置之间的第一距离,以及所述任意一第二视频分割点与所述第二位置之间的第二距离,对所述任意一第二视频分割点进行移动;根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定所述目标视频的视频分割点。
结合第一方面第七种可能的实现方式,在第八种可能的实现方式中,当所述第一距离大于所述第二距离时,将所述任意一第二视频分割点向后移动所述第二距离;当所述第一距离小于所述第二距离时,将所述任意一第二视频分割点向前移动所述第一距离。
结合第一方面第七种可能的实现方式,在第九种可能的实现方式中,当移动后的所有第二视频分割点的数量大于预设数目时,从所述移动后的所有第二视频分割点中选取预设数目个移动后的第二视频分割点,并分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
结合第一方面第七种可能的实现方式,在第十种可能的实现方式中,当所述移动后的所有第二视频分割点的数量小于等于预设数目时,分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
第二方面,提供一种视频分割点获取装置,包括:场景生成单元,用于对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;第一确定单元,用于根据所述若干个场景,确定至少一个第一视频分割点;场景合并单元,用于根据每一个场景的灰度均值,对所有场景进行场景合并;第二确定单元,用于基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点;视频分割点生成单元,用于分别对每一个第二视频分割点进行调整,生成所述目标视频的视频分割点。
结合第二方面,在第一种可能的实现方式中,还包括镜头片段生成单元,用于:对目标视频中包含的镜头片段进行镜头片段合并之前,获取目标视频包含的多个帧图片;按照预设频率对所述多个帧图片进行采样处理,获取关键帧图片;或者,随机对所述目标视频中包含的多个帧图片进行采用处理,获取关键帧图片;根据获取的关键帧图片,生成关键帧图片序列;依次对所述关键帧图片序列进行镜头切分,生成若干个镜头片段。
结合第二方面,在第二种可能的实现方式中,所述场景生成单元,具体用于:针对所有镜头片段中的任意一相邻两个镜头片段,分别计算所述任意一相邻两个镜头片段中每一个镜头片段的内容范围,所述内容范围用于表征镜头片段的视觉特性;计算所述任意一相邻两个镜头片段合并后的内容范围;当所述任意一相邻两个镜头片段的内容范围之和大于等于所述任意一相邻两个镜头片段合并后的内容范围时,将所述任意一相邻两个镜头片段合并;将所有合并后的镜头片段,作为生成的若干个场景。
结合第二方面第一种可能的实现方式或者第二种可能的实现方式,在第三种可能的实现方式中,所述第一确定单元,具体用于:分别获取每一个场景的首帧图片;将所述各个首帧图片所对应的播放时间点分别确认为所述目标视频的第一视频分割点。
结合第二方面第一种可能的实现方式、第二种可能的实现方式或者第三种可能的实现方式,在第四种可能的实现方式中,所述场景合并单元,具体用于:分别获取每相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;分别计算每相邻两个场景对应的所述第一个场景的灰度均值与所述第二个场景的灰度均值的差值;针对计算得到的所有差值中的任意一差值,若所述任意一差值小于第一预设阈值,则对所述任意一差值对应的相邻两个场景进行合并;若所述任意一差值大于等于第一预设阈值,则不对所述任意一差值对应的相邻两个场景进行合并。
结合第二方面第四种可能的实现方式,在第五种可能的实现方式中,所述第二确定单元,具体用于:当不对所述任意一差值相对应的相邻两个场景进行合并时,将所述任意一差值相对应的两个相邻场景对应的第一视频分割点作为第二视频分割点;当对所述任意一差值对应的相邻两个场景进行合并时,将进行合并的所述相邻两个场景对应的第一视频分割点删除。
结合第二方面第四种可能的实现方式,在第六种可能的实现方式中,所述第二确定单元获取任意一场景的灰度均值的方法,包括:根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;计算所述任意一场景中包含的所有关键帧图片对应的灰度均值的和值;计算所述和值与所述任意一场景中包含的关键帧图片的数量的比值,将所述比值作为所述任意一场景的灰度均值。
结合第二方面第一种可能的实现方式至第六种可能的实现方式,在第七种可能的实现方式中,所述视频分割点生成单元,具体用于:针对任意一第二视频分割点,从所述任意一第二视频分割点之前的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第二预设阈值的两个相邻关键帧图片之间的第一位置;并从所述任意一第二视频分割点之后的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第三预设阈值的两个相邻关键帧图片之间的位置对应的第二位置;根据所述任意一第二视频分割点与所述第一位置之间的第一距离,以及所述任意一第二视频分割点与所述第二位置之间的第二距离,对所述任意一第二视频分割点进行移动;根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定所述目标视频的视频分割点。
结合第二方面第七种可能的实现方式,在第八种可能的实现方式中,所述视频分割点生成单元,具体用于:当所述第一距离大于所述第二距离时,将所述任意一第二视频分割点向后移动所述第二距离;当所述第一距离小于所述第二距离时,将所述任意一第二视频分割点向前移动所述第一距离。
结合第二方面第七种可能的实现方式,在第九种可能的实现方式中,所述视频分割点生成单元,具体用于:当移动后的所有第二视频分割点的数量大于预设数目时,从所述移动后的所有第二视频分割点中选取预设数目个移动后的第二视频分割点,并分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
结合第二方面第七种可能的实现方式,在第十种可能的实现方式中,所述视频分割点生成单元,具体用于:当所述移动后的所有第二视频分割点的数量小于等于预设数目时,分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
本发明实施例中,根据相邻两个镜头片段的一致性,对目标视频中包含的镜头片段进行镜头合并,生成场景,并根据该场景生成第一视频分割点;根据相邻场景的灰度均值,对场景进行合并,并从第一视频分割点中选取第二视频分割点;并对该第二视频分割点进行调整,生成视频分割点。采用本发明技术方案,依次对目标视频中包含的镜头片段以及对生成的场景进行合并,实现了对目标视频基于故事情节的划分,并将每相邻两个故事情节之间的点作为上述目标视频的视频分割点,使获取的视频分割点不存在场景割裂,从视觉效果上更加合理;此外,仅根据目标视频本身的特性获取视频分割点,无须参考目标视频中的音频信号,从而降低了视频分割点获取的复杂度。
附图说明
图1为现有技术中目标视频的视频分割点的获取流程图;
图2为本发明实施例中视频分割点获取流程图;
图3为本发明实施例中镜头片段合并示意图;
图4为本发明实施例中根据第二视频分割点确定目标视频分割点的流程图;
图5为本发明实施例中获取视频分割点的详细流程图;
图6为本发明实施例中分割点信息显示示意图一;
图7为本发明实施例中分割点信息显示示意图一;
图8为本发明实施例中视频分割点获取装置结构示意图;
图9为本发明实施例中视频分割点获取设备结构示意图。
具体实施方式
为了解决视频分割点获取过程中存在场景割裂,以及视频分割点获取复杂度高的问题。本发明实施例中,依次对目标视频中包含的镜头片段以及对生成的场景进行合并,生成目标视频对应的故事情节,并将每相邻两个故事情节之间的点作为上述目标视频的视频分割点,使得获取的故事情节从视觉效果上更加合理;此外,仅根据目标视频本身的特性获取视频分割点,无须参考目标视频中的音频信号,从而降低了视频分割点获取的复杂度。
下面将结合附图对本发明实施方式作进一步地详细描述。
参阅图2所示,本发明实施例中,获取视频分割点的流程包括:
步骤200:对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景。
本发明实施例中,该目标视频中通常包含播放该目标视频所需的若干帧图片,每帧图片都各自对应有播放时间点。
基于目标视频的中包含的帧图片,获取目标视频中包含的镜头片段的过程,包括:对目标视频中包含的所有帧图片进行采样处理,获取若干个关键帧图片;根据该若干个关键帧图片,按照每一个关键帧图片分别对应的播放时间点的先后顺序,生成关键帧图片序列;依次对该关键帧图片序列进行镜头切分,生成若干个镜头片段;其中,每一个镜头片段包含至少一个关键帧图片,不同镜头片段包含的关键帧图片的数目不一定相同。
在上述对帧图片进行采样处理的过程中,可以进行随机采样处理,以获取关键帧图片;也可以按照预设频率(每秒钟N个)进行均匀采样处理,以获取若干个关键帧图片,例如,按照每秒钟取N个帧图片在上述帧图片中进行采样处理。为了保证最终获取的视频分割点的准确度,上述N为大于等于4的值。
在上述生成若干个镜头片段的过程中,按照预设方式,对关键帧图片序列进行镜头划分,生成若干个镜头片段;其中,该预设方式可以是基于像素域的方法中的像素域法、直方图法、块匹配法或边缘变化法等,也可以是基于压缩域的方法中的离散余弦变换(Discrete Cosine Transform,DCT)系数法、小波变换法、时空分析法、矢量量化法或运动矢量法等。对于将该若干帧图片按照镜头进行切分的方法,本发明实施例不做具体限定。
在电视或电影视频中,可能出现以下两种情形:一种是连续两个以上镜头片段对应同一场景,例如,人物A和人物B正在进行交谈时,连续两个以上镜头片段都包含人物A和人物B,只是观察角度不同;又如,人物A和人物B正在进行交谈时,第一个镜头片段中只包含人物A,第二个镜头片段只包含人物B,第三个镜头片段中又只包含人物A,第四个镜头片段又只包含人物B。很显然,上述两种情形所对应的镜头片段的边界并不能作为故事情节的转折点,因此需要将上述两种情形所对应的镜头片段进行合并。而对上述两种情形所对应的镜头片段进行合并时,可以按照相邻两个镜头片段的一致性进行合并。
本发明实施例中,针对上述所有镜头片段中的任意一相邻两个镜头片段,分别计算该任意一相邻两个镜头片段中每一个镜头片段的内容范围;计算上述任意一相邻两个镜头片段合并后的内容范围;当该任意一相邻两个镜头片段的内容范围之和大于等于上述任意一相邻两个镜头片段合并后的内容范围时,将该任意一相邻两个镜头片段合并;将所有合并后的镜头片段,作为生成的若干个场景。当该任意一相邻将头片段内容范围之和小于上述任意一相邻两个镜头片段合并后的内容范围时,不对上述相邻两个镜头片段进行合并。
具体的,上述镜头片段的内容范围用于表征该镜头片段的视觉特性,根据镜头片段的一致性,进行镜头合并是指检测相邻两个镜头片段包含的内容范围是否一致,包括:参阅图3所示,假设相邻两个镜头片段覆盖的内容范围为c1和c2,合并后得到的镜头片段覆盖的内容范围为cm,如果c1+c2≥cm,则判断为这相邻两个镜头片段的内容范围一致,可以合并。换句话说,如果将相邻两个的镜头片段合并后得到的镜头片段表达的内容比合并前的该相邻两个镜头片段表达的内容更紧凑一致,则选择合并该相邻两个的镜头片段,这样得的合并结果中,每个镜头片段内容更加内聚,不同镜头片段的内容更加离散。在按照各个镜头片段的内容范围进行合并时,计算相邻两个该镜头片段各自的内容范围c1和c2,并计算该相邻两个镜头片段合并后的内容范围cm;当c1+c2≥cm时,将该相邻两个镜头片段合并。例如,对于镜头片段1,镜头片段2和镜头片段3,分别计算镜头片段1的内容范围和镜头片段2的内容范围之和(c1a+c2a),镜头片段1和镜头片段2合并后的内容范围cma,镜头片段2的内容范围和镜头片段3的内容范围之和(c1b+c2b),镜头片段2和镜头片段3合并后的内容范围cmb;假设(c1a+c2a)≥cma,则合并镜头片段1和镜头片段2;假设(c1b+c2b)≥cmb,则合并镜头片段2和镜头片段3。
可选的,可以根据如下公式计算该相邻两个镜头片段各自的内容范围c1和c2:
ci=max{d(fi,fj)},d(fi,fj)={1-∑kmin(hi k,hj k)}
其中,ci为单个镜头片段的内容范围,fi和fj为该单个镜头片段的关键帧图片,hi k为fi的颜色直方图中的第k个分量,hj k为fj的颜色直方图中的第k个分量;
进一步的,可以根据如下公式计算该相邻两个镜头片段合并后的内容范围cm:
cm=max{d(fI,fJ)},d(fI,fJ)=(1-∑kmin(hI k,hJ k)}
其中,cm为相邻两个镜头片段合并后的内容范围,fI为该相邻两个镜头片段中的一个镜头片段的关键帧图片,fJ为该相邻两个镜头片段中的另一镜头片段的关键帧图片,hI k为fI的颜色直方图中的第k个分量,hJ k为fJ的颜色直方图中的第k个分量。
采用上述技术方案,根据目标视频中包含的每相邻两个镜头片段的一致性,对镜头片段进行合并。
步骤210:根据若干个场景,确定至少一个第一视频分割点。
本发明实施例中,第一视频分割点即为每一个场景中首帧图片对应的播放时间点。具体的,分别获取每一个合并后的场景的首帧图片;将各个首帧图片所对应的播放时间点确认为上述目标视频的第一视频分割点。由此可见,上述第一视频分割点位于相邻两个场景之间。
步骤220:根据每一个场景的灰度均值,对所有场景进行场景合并,并基于场景合并结果,从至少一个第一视频分割点中确定至少一个第二视频分割点。
本发明实施例中,针对上述生成的所有场景中的任意一相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;计算该任意一相邻两个场景对应的第一个场景的灰度均值与第二个场景的灰度均值的差值。针对上述计算得到的所有差值中的任意一差值,当该任意一差值大于第一预设阈值时,则不对上述任意一差值对应的相邻两个场景进行合并;当上述任意一差值小于等于第一预设阈值时,对上述任意一差值对应的相邻两个场景进行合并。
基于上述场景合并结果,当不对任意一差值相对应的相邻两个场景进行合并时,确定该任意一差值对应的相邻两个场景对应的第一视频分割点为有效视频分割点,将未进行合并的相邻两个场景对应的第一视频分割点作为第二视频分割点;当对任意一差值对应的相邻两个场景进行合并时,确定上述合并的相邻两个场景对应的第一分割点为无效视频分割点,舍弃该无效视频分割点。
例如,假设第一预设阈值为T,对于场景1,场景2和场景3,分别计算场景1的灰度均值a和场景2的灰度均值b,场景3的灰度均值c,假设(a-b)>T,则表明场景1和场景2之间的第一视频分割点为有效视频分割点,应当保留(即将上述第一视频分割点作为第二视频分割点),并不对场景1和场景2进行合并;假设(b-c)≤T,则表明场景2和场景3之间的第一视频分割点为无效视频分割点,应当删除,并对场景2和场景3进行合并。
可选的,获取任意一场景的灰度均值的方法,包括:根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;计算该任意一场景中包含的所有关键帧图片对应的灰度均值的和值;计算该和值与上述任意一场景中包含的关键帧图片的数量的比值,将该比值作为上述任意一场景的灰度均值。
可选的,上述第一预设阈值存在一个取值范围,该取值范围为10~35;该第一预设阈值的取值从该取值范围内动态调整;第一预设阈值的取值原则为使上述得到的第二视频分割点的数目满足预设个数。例如,预设个数为10,获取的第一视频分割点的数目为300个,则将上述每相邻两个场景分别对应的灰度均值之间的差值进行排序,获取最大的10个差值,根据获取的所有差值中的最小差值,确定第一预设阈值。
采用上述技术方案,根据相邻两个场景的灰度均值,对第一视频分割点中的无效视频分割点进行删除,使得到的第二视频分割点进一步满足大粒度的要求,保证最终得到的目标视频的视频分割点的合理性。
步骤230:分别对每一个第二视频分割点进行调整,生成目标视频的视频分割点。
本发明实施例中,对上述获取的第二视频分割点进行调整,包括对第二视频分割点的移动和对第二视频分割点的滤除。
对第二视频分割点的移动过程,包括:针对上述所有第二视频分割点中的任意一第二视频分割点,从该任意一第二视频分割点开始,向前依次计算每相邻两个关键帧图片的灰度均值差,并获取与该任意一第二视频分割点距离最近、且灰度均值大于第二预设阈值的相邻两个关键帧图片之间的第一位置;并从上述任意一第二视频分割点之后的所有关键帧图片中获取与该任意一第二视频分割点距离最近、且灰度均值大于第三预设阈值的相邻两个关键帧图片之间的第二位置;根据上述任意一第二视频分割点与第一位置之间的第一距离,以及上述任意一第二视频分割点对应的播放时间点与第二位置之间的第二距离,对上述任意一第二视频分割点进行移动。其中,第二预设阈值和第三预设阈值可以相同也可以不同。
可选的,根据第一距离和第二距离,对所述任意一第二视频分割点进行移动的过程,具体包括:获取任意一第二视频分割点对应的播放时间点与第一关键帧图片对应的播放时间点之间的第一距离,以及上述任意一第二视频分割点对应的播放时间点与第二关键帧图片对应的播放时间点之间的第二距离;当第一距离大于第二距离时,将上述任意一第二视频分割点向后移动第二距离;当第一距离小于第二距离时,将上述任意一第二视频分割点向前移动第一距离;当第一距离等于第二距离时,将上述任意一第二视频分割点向前移动第一距离,或者,将上述任意一第二视频分割点向后移动第一距离。
可选的,参阅图4所示,在上述过程中,对第二视频分割点的移动和对第二视频分割点的滤除的过程,即为根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定目标视频的视频分割点,具体包括:
步骤400:获取移动后的所有第二视频分割点的数量。
步骤410:判断上述获取的第二视频分割点的数量是否大于预设数目,若是,执行步骤420;否则,执行步骤450。
步骤420:采用方差算法,从上述移动后的所有第二视频分割点中选取第二预设数目个移动后的第二视频分割点。
本发明实施例中,采用排列组合方式,依次计算每一个组合对应的方差值,从上述所有方差值中选取取值最小的预设数目个方差值,以及获取该选取得到的第二预设数目个方差值分别对应的移动后的第二视频分割点。例如,预设数目为5,移动后的第二视频分割点的数目为7,则对上述移动后的第二视频分割点进行组合,生成C7 5个组合,并分别计算该个C7 5组合中每一个组合的方差值,对上述方差值进行排序后,获取取值最小的5个方差值,以及获取该5个方差值对应的移动后的第二视频分割点。
采用上述技术方案,对移动后的视频分割点进行方差计算,能够使最终获取的视频分割点的分布更加均匀。
步骤430:分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,并滤除上述距离小于第四预设阈值的移动后的第二视频分割点。
本发明实施例中,当选取得到的每相邻两个移动后的第二视频分割点分别对应的播放时间点之间的距离小于第四预设阈值(如三分钟)时,说明该视频分割点为不符合大粒度故事情节的视频分割点,应当进行删除处理。
采用本发明技术方案,剔除不符合大粒度故事情节的视频分割点,使生成的目标视频的视频分割点更加合理。
步骤440:将滤除处理后的移动后的所有第二视频分割点作为目标视频的视频分割点。
步骤450:分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除上述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为目标视频的视频分割点。
其中,上述预设个数大于预设数目,且较佳的,上述预设个数为预设数目的1.5倍。
基于上述技术方案,参阅图5所示,本发明实施例中,获取视频分割点的详细过程为:
步骤500:获取目标视频中包含的帧图片。
步骤501:对目标视频中包含的帧图片进行采样处理,生成关键帧图片序列。
步骤502:对上述关键帧图片序列进行切分,生成若干个镜头片段。
步骤503:对上述所有镜头片段进行镜头片段合并,生成若干个场景。
步骤504:根据若干个场景,确定第一视频分割点。
步骤505:获取每一个场景的灰度均值,并判断所有场景中任意一相邻两个场景的灰度均值之差大于第一预设阈值,若是,执行步骤506;否则,执行步骤510。
步骤506:不对上述任意一差值对应的相邻两个场景进行合并,并确定该任意一差值对应的相邻两个场景的分割点为有效视频分割点,将未进行合并的相邻两个场景对应的第一视频分割点作为第二视频分割点。
步骤507:针对上述所有第二视频分割点中的任意一第二视频分割点,从该任意一第二视频分割点开始,向前依次计算每相邻两个关键帧图片的灰度均值差,并获取与该任意一第二视频分割点距离最近、且灰度均值大于第二预设阈值的相邻两个关键帧图片之间的第一位置。
步骤508:从上述任意一第二视频分割点之后的所有关键帧图片中获取与该任意一第二视频分割点距离最近、且灰度均值大于第三预设阈值的相邻两个关键帧图片之间的第二位置;根据上述任意一第二视频分割点与第一位置的第一距离,以及上述任意一第二视频分割点对应的播放时间点与第二位置的第二距离,对上述任意一第二视频分割点进行移动。
步骤509:根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定目标视频的视频分割点。
步骤510:对上述任意一差值对应的相邻两个场景进行合并,并确定上述进行合并后的相邻两个场景间的分割点为无效视频分割点,舍弃该无效视频分割点。
参阅图6所示,其示出了本发明实施例提供的一种分割点信息显示示意图,终端可以在目标视频的播放区域的某一侧,比如右侧,以列表的形式显示各个视频分割点对应的缩略图,该缩略图的下部还显示有对应视频分割点的文字描述信息。当用户选择某一缩略图时,比如,用户通过鼠标点击、触摸点击或者通过遥控器选择某一缩略图时,终端可以直接从该缩略图对应的视频分割点处开始播放该目标视频。
或者,参阅图7所示,其示出了本发明实施例提供的另一种分割点信息显示示意图,终端可以在目标视频的播放区域的下方,直接显示各个视频分割点对应的文字描述信息。当用户选择某一文字描述信息对应的显示区域时,比如,用户通过鼠标点击、触摸点击或者通过遥控器选择某一文字描述信息对应的显示区域时,终端可以直接从该文字描述信息对应的视频分割点处开始播放该目标视频。
此外,现有技术提供的视频播放方法中,视频分割点以点状图形显示在目标视频的播放进度条中,只有当鼠标光标指向该点状图形时,才会显示对应的视频分割点的缩略图和文字描述信息。这种方法只适用于带有鼠标设备的终端,比如个人电脑,但不适用于智能手机、平板电脑或者网络电视机顶盒等没有鼠标设备的终端,特别的,由于网络电视机顶盒只能通过遥控器进行控制,不方便对目标视频的播放进度条中显示的点状图形进行选择操作。而本发明实施例提供的视频播放方法,通过显示各个视频分割点对应的缩略图和/或文字描述信息,不仅适用于个人电脑,还适用于智能手机、平板电脑或者网络电视机顶盒等不包含鼠标设备的终端,达到了扩展应用范围,提高用户体验的目的。
基于上述技术方案,参阅图8所示,本发明实施例还提供一种视频分割点获取装置,包括场景生成单元80,第一确定单元81,场景合并单元82,第二确定单元83,以及视频分割点生成单元84,其中:
场景生成单元80,用于对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;
第一确定单元81,用于根据所述若干个场景,确定至少一个第一视频分割点;
场景合并单元82,用于根据每一个场景的灰度均值,对所有场景进行场景合并;
第二确定单元83,用于基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点;
视频分割点生成单元84,用于分别对每一个第二视频分割点进行调整,生成所述目标视频的视频分割点。
其中,上述装置还包括镜头片段生成单元85,用于:对目标视频中包含的镜头片段进行镜头片段合并之前,获取目标视频包含的多个帧图片;按照预设频率对所述多个帧图片进行采样处理,获取关键帧图片;或者,随机对所述目标视频中包含的多个帧图片进行采用处理,获取关键帧图片;根据获取的关键帧图片,生成关键帧图片序列;依次对所述关键帧图片序列进行镜头切分,生成若干个镜头片段。
可选的,所述场景生成单元80,具体用于:针对所有镜头片段中的任意一相邻两个镜头片段,分别计算所述任意一相邻两个镜头片段中每一个镜头片段的内容范围,所述内容范围用于表征镜头片段的视觉特性;计算所述任意一相邻两个镜头片段合并后的内容范围;当所述任意一相邻两个镜头片段的内容范围之和大于等于所述任意一相邻两个镜头片段合并后的内容范围时,将所述任意一相邻两个镜头片段合并;将所有合并后的镜头片段,作为生成的若干个场景。
可选的,所述第一确定单元81,具体用于:分别获取每一个场景的首帧图片;将所述各个首帧图片所对应的播放时间点分别确认为所述目标视频的第一视频分割点。
可选的,所述场景合并单元82,具体用于:分别获取每相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;分别计算每相邻两个场景对应的所述第一个场景的灰度均值与所述第二个场景的灰度均值的差值;针对计算得到的所有差值中的任意一差值,若所述任意一差值小于第一预设阈值,则对所述任意一差值对应的相邻两个场景进行合并;若所述任意一差值大于等于第一预设阈值,则不对所述任意一差值对应的相邻两个场景进行合并。
可选的,所述第二确定单元83,具体用于:当不对所述任意一差值相对应的相邻两个场景进行合并时,将所述任意一差值相对应的两个相邻场景对应的第一视频分割点作为第二视频分割点;当对所述任意一差值对应的相邻两个场景进行合并时,将进行合并的所述相邻两个场景对应的第一视频分割点删除。
可选的,所述第二确定单元83获取任意一场景的灰度均值的方法,包括:根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;计算所述任意一场景中包含的所有关键帧图片对应的灰度均值的和值;计算所述和值与所述任意一场景中包含的关键帧图片的数量的比值,将所述比值作为所述任意一场景的灰度均值。
可选的,所述视频分割点生成单元84,具体用于:针对任意一第二视频分割点,从所述任意一第二视频分割点之前的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第二预设阈值的两个相邻关键帧图片之间的第一位置;并从所述任意一第二视频分割点之后的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第三预设阈值的两个相邻关键帧图片之间的位置对应的第二位置;根据所述任意一第二视频分割点与所述第一位置之间的第一距离,以及所述任意一第二视频分割点与所述第二位置之间的第二距离,对所述任意一第二视频分割点进行移动;根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定所述目标视频的视频分割点。
可选的,所述视频分割点生成单元84,具体用于:当所述第一距离大于所述第二距离时,将所述任意一第二视频分割点向后移动所述第二距离;当所述第一距离小于所述第二距离时,将所述任意一第二视频分割点向前移动所述第一距离。
可选的,所述视频分割点生成单元84,具体用于:当移动后的所有第二视频分割点的数量大于预设数目时,从所述移动后的所有第二视频分割点中选取预设数目个移动后的第二视频分割点,并分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
可选的,所述视频分割点生成单元84,具体用于:当所述移动后的所有第二视频分割点的数量小于等于预设数目时,分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
基于上述技术方案,参阅图9所示,本发明实施例还提供一种视频分割点获取设备,该设备可以是个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种,上述设备包括至少一个I/O接口90、至少一个处理器91,比如CPU、存储器92和显示器93;存储器92可能包含高速Ram存储器,也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器92可选的可以包含至少一个位于远离前述处理器91的存储装置。在一些实施方式中,存储器92存储了如下的元素,模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统920,包含各种程序,用于实现各种基础业务以及处理基于硬件的任务;
应用模块921,包含一个或多个模块,所述一个或多个模块被配置由所述一个或多个处理器91执行。
其中,所述处理器91可以运行存储器92中的操作系统920和应用模块921,执行如下操作:
对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;根据所述若干个场景,确定至少一个第一视频分割点;根据每一个场景的灰度均值,对所有场景进行场景合并,并基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点;分别对每一个第二视频分割点进行调整,生成所述目标视频的视频分割点。
可选的,处理器91,还用于:对目标视频中包含的镜头片段进行镜头片段合并之前,获取目标视频包含的多个帧图片;按照预设频率对所述多个帧图片进行采样处理,获取关键帧图片;或者,随机对所述目标视频中包含的多个帧图片进行采用处理,获取关键帧图片;根据获取的关键帧图片,生成关键帧图片序列;依次对所述关键帧图片序列进行镜头切分,生成若干个镜头片段。
可选的,处理器91,具体用于:针对所有镜头片段中的任意一相邻两个镜头片段,分别计算所述任意一相邻两个镜头片段中每一个镜头片段的内容范围,所述内容范围用于表征镜头片段的视觉特性;计算所述任意一相邻两个镜头片段合并后的内容范围;当所述任意一相邻两个镜头片段的内容范围之和大于等于所述任意一相邻两个镜头片段合并后的内容范围时,将所述任意一相邻两个镜头片段合并;将所有合并后的镜头片段,作为生成的若干个场景。
可选的,处理器91,具体用于:分别获取每一个场景的首帧图片;将所述各个首帧图片所对应的播放时间点分别确认为所述目标视频的第一视频分割点。
可选的,处理器91,具体用于:分别获取每相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;分别计算每相邻两个场景对应的所述第一个场景的灰度均值与所述第二个场景的灰度均值的差值;针对计算得到的所有差值中的任意一差值,若所述任意一差值小于第一预设阈值,则对所述任意一差值对应的相邻两个场景进行合并;若所述任意一差值大于等于第一预设阈值,则不对所述任意一差值对应的相邻两个场景进行合并。
可选的,处理器91,具体用于:当不对所述任意一差值相对应的相邻两个场景进行合并时,将所述任意一差值相对应的两个相邻场景对应的第一视频分割点作为第二视频分割点;当对所述任意一差值对应的相邻两个场景进行合并时,将进行合并的所述相邻两个场景对应的第一视频分割点删除。
可选的,处理器91,具体用于:根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;计算所述任意一场景中包含的所有关键帧图片对应的灰度均值的和值;计算所述和值与所述任意一场景中包含的关键帧图片的数量的比值,将所述比值作为所述任意一场景的灰度均值。
可选的,处理器91,具体用于:针对任意一第二视频分割点,从所述任意一第二视频分割点之前的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第二预设阈值的两个相邻关键帧图片之间的第一位置;并从所述任意一第二视频分割点之后的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第三预设阈值的两个相邻关键帧图片之间的位置对应的第二位置;根据所述任意一第二视频分割点与所述第一位置之间的第一距离,以及所述任意一第二视频分割点与所述第二位置之间的第二距离,对所述任意一第二视频分割点进行移动;根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定所述目标视频的视频分割点。
可选的,处理器91,具体用于:当所述第一距离大于所述第二距离时,将所述任意一第二视频分割点向后移动所述第二距离;当所述第一距离小于所述第二距离时,将所述任意一第二视频分割点向前移动所述第一距离。
可选的,处理器91,具体用于:当移动后的所有第二视频分割点的数量大于预设数目时,从所述移动后的所有第二视频分割点中选取预设数目个移动后的第二视频分割点,并分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
可选的,处理器91,具体用于:当所述移动后的所有第二视频分割点的数量小于等于预设数目时,分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
综上所述,本发明实施例中,对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;根据若干个场景,确定至少一个第一视频分割点;根据每一个场景的灰度均值,对所有场景进行场景合并,并基于场景合并结果,从至少一个第一视频分割点中确定至少一个第二视频分割点;分别对每一个第二视频分割点进行调整,生成目标视频的视频分割点。采用本发明技术方案,依次对目标视频中包含的镜头片段以及对生成的场景进行合并,实现了对目标视频基于故事情节的划分,并将每相邻两个故事情节之间的点作为上述目标视频的视频分割点,使获取的视频分割点不存在场景割裂,从视觉效果上更加合理;此外,仅根据目标视频本身的特性获取视频分割点,无须参考目标视频中的音频信号,从而降低了视频分割点获取的复杂度。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种视频分割点获取方法,其特征在于,包括:
对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;
根据所述若干个场景,确定至少一个第一视频分割点;
根据每一个场景的灰度均值,对所有场景进行场景合并,并
基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点;
分别对每一个第二视频分割点进行调整,生成所述目标视频的视频分割点;
其中,对所述第二视频分割点进行调整,生成所述目标视频的视频分割点,具体包括:
针对任意一第二视频分割点,从所述任意一第二视频分割点之前的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第二预设阈值的两个相邻关键帧图片之间的第一位置;并
从所述任意一第二视频分割点之后的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第三预设阈值的两个相邻关键帧图片之间的位置对应的第二位置;
根据所述任意一第二视频分割点与所述第一位置之间的第一距离,以及所述任意一第二视频分割点与所述第二位置之间的第二距离,对所述任意一第二视频分割点进行移动;
根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定所述目标视频的视频分割点。
2.如权利要求1所述的方法,其特征在于,对目标视频中包含的镜头片段进行镜头片段合并之前,进一步包括:
获取目标视频包含的多个帧图片;
按照预设频率对所述多个帧图片进行采样处理,获取关键帧图片;或者,随机对所述目标视频中包含的多个帧图片进行采样处理,获取关键帧图片;
根据获取的关键帧图片,生成关键帧图片序列;
依次对所述关键帧图片序列进行镜头切分,生成若干个镜头片段。
3.如权利要求1所述的方法,其特征在于,对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景,具体包括:
针对所有镜头片段中的任意一相邻两个镜头片段,分别计算所述任意一相邻两个镜头片段中每一个镜头片段的内容范围,所述内容范围用于表征镜头片段的视觉特性;
计算所述任意一相邻两个镜头片段合并后的内容范围;
当所述任意一相邻两个镜头片段的内容范围之和大于等于所述任意一相邻两个镜头片段合并后的内容范围时,将所述任意一相邻两个镜头片段合并;
将所有合并后的镜头片段,作为生成的若干个场景。
4.如权利要求2或3所述的方法,其特征在于,根据所述若干个场景,确定至少一个第一视频分割点,具体包括:
分别获取每一个场景的首帧图片;
将所述各个首帧图片所对应的播放时间点分别确认为所述目标视频的第一视频分割点。
5.如权利要求1-3任一项所述的方法,其特征在于,根据每一个场景的灰度均值,对所有场景进行场景合并,具体包括:
分别获取每相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;
分别计算每相邻两个场景对应的所述第一个场景的灰度均值与所述第二个场景的灰度均值的差值;
针对计算得到的所有差值中的任意一差值,若所述任意一差值小于第一预设阈值,则对所述任意一差值对应的相邻两个场景进行合并;
若所述任意一差值大于等于第一预设阈值,则不对所述任意一差值对应的相邻两个场景进行合并。
6.如权利要求5所述的方法,其特征在于,基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点,具体包括:
当不对所述任意一差值相对应的相邻两个场景进行合并时,将所述任意一差值相对应的两个相邻场景对应的第一视频分割点作为第二视频分割点;
当对所述任意一差值对应的相邻两个场景进行合并时,将进行合并的所述相邻两个场景对应的第一视频分割点删除。
7.如权利要求5所述的方法,其特征在于,获取任意一场景的灰度均值的方法,包括:
根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;
计算所述任意一场景中包含的所有关键帧图片对应的灰度均值的和值;
计算所述和值与所述任意一场景中包含的关键帧图片的数量的比值,将所述比值作为所述任意一场景的灰度均值。
8.如权利要求1所述的方法,其特征在于,根据所述第一距离,以及所述第二距离,对所述任意一第二视频分割点进行移动,具体包括:
当所述第一距离大于所述第二距离时,将所述任意一第二视频分割点向后移动所述第二距离;
当所述第一距离小于所述第二距离时,将所述任意一第二视频分割点向前移动所述第一距离。
9.如权利要求1所述的方法,其特征在于,根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点的距离,确定所述目标视频的视频分割点,具体包括:
当移动后的所有第二视频分割点的数量大于预设数目时,从所述移动后的所有第二视频分割点中选取预设数目个移动后的第二视频分割点,并
分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;
将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
10.如权利要求1所述的方法,其特征在于,根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点的距离,确定所述目标视频的视频分割点,具体包括:
当所述移动后的所有第二视频分割点的数量小于等于预设数目时,分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;
将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
11.一种视频分割点获取装置,其特征在于,包括:
场景生成单元,用于对目标视频中包含的镜头片段进行镜头片段合并,生成若干个场景;
第一确定单元,用于根据所述若干个场景,确定至少一个第一视频分割点;
场景合并单元,用于根据每一个场景的灰度均值,对所有场景进行场景合并;
第二确定单元,用于基于场景合并结果,从所述至少一个第一视频分割点中确定至少一个第二视频分割点;
视频分割点生成单元,用于分别对每一个第二视频分割点进行调整,生成所述目标视频的视频分割点;
其中,所述视频分割点生成单元,具体用于:
针对任意一第二视频分割点,从所述任意一第二视频分割点之前的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第二预设阈值的两个相邻关键帧图片之间的第一位置;并从所述任意一第二视频分割点之后的所有关键帧图片中获取与所述任意一第二视频分割点距离最近、且灰度均值差大于第三预设阈值的两个相邻关键帧图片之间的位置对应的第二位置;根据所述任意一第二视频分割点与所述第一位置之间的第一距离,以及所述任意一第二视频分割点与所述第二位置之间的第二距离,对所述任意一第二视频分割点进行移动;根据移动后的所有第二视频分割点的数量和每相邻两个移动后的第二视频分割点之间的距离,确定所述目标视频的视频分割点。
12.如权利要求11所述的装置,其特征在于,还包括镜头片段生成单元,用于:
对目标视频中包含的镜头片段进行镜头片段合并之前,获取目标视频包含的多个帧图片;按照预设频率对所述多个帧图片进行采样处理,获取关键帧图片;或者,随机对所述目标视频中包含的多个帧图片进行采样处理,获取关键帧图片;根据获取的关键帧图片,生成关键帧图片序列;依次对所述关键帧图片序列进行镜头切分,生成若干个镜头片段。
13.如权利要求11所述的装置,其特征在于,所述场景生成单元,具体用于:
针对所有镜头片段中的任意一相邻两个镜头片段,分别计算所述任意一相邻两个镜头片段中每一个镜头片段的内容范围,所述内容范围用于表征镜头片段的视觉特性;计算所述任意一相邻两个镜头片段合并后的内容范围;当所述任意一相邻两个镜头片段的内容范围之和大于等于所述任意一相邻两个镜头片段合并后的内容范围时,将所述任意一相邻两个镜头片段合并;将所有合并后的镜头片段,作为生成的若干个场景。
14.如权利要求11或12所述的装置,其特征在于,所述第一确定单元,具体用于:
分别获取每一个场景的首帧图片;将所述各个首帧图片所对应的播放时间点分别确认为所述目标视频的第一视频分割点。
15.如权利要求11-13任一项所述的装置,其特征在于,所述场景合并单元,具体用于:
分别获取每相邻两个场景中包含的第一个场景的灰度均值,以及第二个场景的灰度均值;分别计算每相邻两个场景对应的所述第一个场景的灰度均值与所述第二个场景的灰度均值的差值;针对计算得到的所有差值中的任意一差值,若所述任意一差值小于第一预设阈值,则对所述任意一差值对应的相邻两个场景进行合并;若所述任意一差值大于等于第一预设阈值,则不对所述任意一差值对应的相邻两个场景进行合并。
16.如权利要求15所述的装置,其特征在于,所述第二确定单元,具体用于:
当不对所述任意一差值相对应的相邻两个场景进行合并时,将所述任意一差值相对应的两个相邻场景对应的第一视频分割点作为第二视频分割点;当对所述任意一差值对应的相邻两个场景进行合并时,将进行合并的所述相邻两个场景对应的第一视频分割点删除。
17.如权利要求16所述的装置,其特征在于,所述第二确定单元获取任意一场景的灰度均值的方法,包括:
根据任意一场景中包含的每一个关键帧图片中的每一个像素点的灰度值,获取所述任意一场景中包含的每一个关键帧图片对应的灰度均值;计算所述任意一场景中包含的所有关键帧图片对应的灰度均值的和值;计算所述和值与所述任意一场景中包含的关键帧图片的数量的比值,将所述比值作为所述任意一场景的灰度均值。
18.如权利要求11所述的装置,其特征在于,所述视频分割点生成单元,具体用于:
当所述第一距离大于所述第二距离时,将所述任意一第二视频分割点向后移动所述第二距离;当所述第一距离小于所述第二距离时,将所述任意一第二视频分割点向前移动所述第一距离。
19.如权利要求11所述的装置,其特征在于,所述视频分割点生成单元,具体用于:
当移动后的所有第二视频分割点的数量大于预设数目时,从所述移动后的所有第二视频分割点中选取预设数目个移动后的第二视频分割点,并分别获取选取得到的每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
20.如权利要求11所述的装置,其特征在于,所述视频分割点生成单元,具体用于:
当所述移动后的所有第二视频分割点的数量小于等于预设数目时,分别获取每相邻两个移动后的第二视频分割点之间的距离,以及滤除所述距离小于第四预设阈值的移动后的第二视频分割点;将滤除处理后的移动后的所有第二视频分割点作为所述目标视频的视频分割点。
CN201410634974.5A 2014-11-12 2014-11-12 一种视频分割点获取方法及装置 Active CN104394422B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410634974.5A CN104394422B (zh) 2014-11-12 2014-11-12 一种视频分割点获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410634974.5A CN104394422B (zh) 2014-11-12 2014-11-12 一种视频分割点获取方法及装置

Publications (2)

Publication Number Publication Date
CN104394422A CN104394422A (zh) 2015-03-04
CN104394422B true CN104394422B (zh) 2017-11-17

Family

ID=52612250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410634974.5A Active CN104394422B (zh) 2014-11-12 2014-11-12 一种视频分割点获取方法及装置

Country Status (1)

Country Link
CN (1) CN104394422B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791087A (zh) * 2016-02-27 2016-07-20 深圳市金立通信设备有限公司 一种媒体分割方法及终端
CN106686452B (zh) * 2016-12-29 2020-03-27 北京奇艺世纪科技有限公司 一种动态图片的生成方法及装置
CN107623860A (zh) * 2017-08-09 2018-01-23 北京奇艺世纪科技有限公司 多媒体数据分割方法和装置
CN108509917B (zh) * 2018-03-30 2020-03-03 北京影谱科技股份有限公司 基于镜头类相关性分析的视频场景分割方法和装置
CN110519655B (zh) * 2018-05-21 2022-06-10 阿里巴巴(中国)有限公司 视频剪辑方法、装置及存储介质
CN109121008B (zh) * 2018-08-03 2021-12-14 腾讯科技(深圳)有限公司 一种视频预览方法、装置、终端及存储介质
CN109344780A (zh) * 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音和视觉的多模态视频场景分割方法
CN111327945B (zh) 2018-12-14 2021-03-30 北京沃东天骏信息技术有限公司 用于分割视频的方法和装置
CN109889896B (zh) * 2019-03-27 2022-05-27 努比亚技术有限公司 动态调节cpu运行频率的方法、移动终端及存储介质
CN111787354B (zh) * 2019-04-03 2022-06-07 浙江大学 一种视频生成方法及其装置
CN110012349B (zh) * 2019-06-04 2019-09-20 成都索贝数码科技股份有限公司 一种端到端的新闻节目结构化方法
CN110430443B (zh) * 2019-07-11 2022-01-25 平安科技(深圳)有限公司 视频镜头剪切的方法、装置、计算机设备及存储介质
CN110545475B (zh) * 2019-08-26 2022-03-04 北京奇艺世纪科技有限公司 一种视频播放方法、装置及电子设备
CN111050214A (zh) * 2019-12-26 2020-04-21 维沃移动通信有限公司 一种视频播放方法及电子设备
CN111263234B (zh) * 2020-01-19 2021-06-15 腾讯科技(深圳)有限公司 一种视频剪辑的方法、相关装置、设备以及存储介质
CN112714336B (zh) * 2020-12-01 2022-12-02 万兴科技集团股份有限公司 视频分割方法和装置、电子设备、计算机可读存储介质
CN113191266B (zh) * 2021-04-30 2021-10-22 江苏航运职业技术学院 船舶动力装置远程监控管理方法及系统
CN113613065B (zh) * 2021-08-02 2022-09-09 北京百度网讯科技有限公司 视频编辑方法、装置、电子设备以及存储介质
CN115209218B (zh) * 2022-06-27 2024-06-18 联想(北京)有限公司 一种视频信息处理方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685398A (zh) * 2011-09-06 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
CN102833492A (zh) * 2012-08-01 2012-12-19 天津大学 一种基于颜色相似度的视频场景分割方法
CN102930553A (zh) * 2011-08-10 2013-02-13 中国移动通信集团上海有限公司 不良视频内容识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
US8699806B2 (en) * 2006-04-12 2014-04-15 Google Inc. Method and apparatus for automatically summarizing video
KR100804678B1 (ko) * 2007-01-04 2008-02-20 삼성전자주식회사 비디오 인물별 신 분류 방법 및 그 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102930553A (zh) * 2011-08-10 2013-02-13 中国移动通信集团上海有限公司 不良视频内容识别方法及装置
CN102685398A (zh) * 2011-09-06 2012-09-19 天脉聚源(北京)传媒科技有限公司 一种新闻视频场景生成方法
CN102833492A (zh) * 2012-08-01 2012-12-19 天津大学 一种基于颜色相似度的视频场景分割方法

Also Published As

Publication number Publication date
CN104394422A (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
CN104394422B (zh) 一种视频分割点获取方法及装置
CN104519401B (zh) 视频分割点获得方法及设备
KR102225802B1 (ko) 반응형 영상 생성방법 및 생성프로그램
US20170285922A1 (en) Systems and methods for creation and sharing of selectively animated digital photos
US10762653B2 (en) Generation apparatus of virtual viewpoint image, generation method, and storage medium
US9002175B1 (en) Automated video trailer creation
US11748870B2 (en) Video quality measurement for virtual cameras in volumetric immersive media
US20160118080A1 (en) Video playback method
Chen et al. Personalized production of basketball videos from multi-sensored data under limited display resolution
CN112822542A (zh) 视频合成方法、装置、计算机设备和存储介质
WO2020056903A1 (zh) 用于生成信息的方法和装置
US10580143B2 (en) High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models
KR20060025518A (ko) 디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치
US10546557B2 (en) Removing overlays from a screen to separately record screens and overlays in a digital medium environment
KR20050087876A (ko) 디지털 비디오 컨텐트의 대화방식의 맵-기반 분석을 위한방법 및 장치
KR20050087877A (ko) 디지털 비디오 컨텐트의 대화방식 네트워크 공유를 위한방법 및 장치
US20190364211A1 (en) System and method for editing video contents automatically technical field
CN103997687A (zh) 用于向视频增加交互特征的技术
CN110446093A (zh) 一种视频进度条显示方法、装置和存储介质
CN113301385A (zh) 视频数据处理方法、装置、电子设备和可读存储介质
CN104503570B (zh) 基于全景漫游的用户行为数据处理系统及设备
US10924637B2 (en) Playback method, playback device and computer-readable storage medium
US11558666B2 (en) Method, apparatus, and non-transitory computer readable record medium for providing content based on user reaction related to video
US11622099B2 (en) Information-processing apparatus, method of processing information, and program
CN112906553B (zh) 图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200212

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee after: HUAWEI TECHNOLOGIES Co.,Ltd.

Address before: 210012 HUAWEI Nanjing base, 101 software Avenue, Yuhuatai District, Jiangsu, Nanjing

Patentee before: Huawei Technologies Co.,Ltd.

TR01 Transfer of patent right