CN104519401A - 视频分割点获得方法及设备 - Google Patents

视频分割点获得方法及设备 Download PDF

Info

Publication number
CN104519401A
CN104519401A CN201310465688.6A CN201310465688A CN104519401A CN 104519401 A CN104519401 A CN 104519401A CN 201310465688 A CN201310465688 A CN 201310465688A CN 104519401 A CN104519401 A CN 104519401A
Authority
CN
China
Prior art keywords
point
cut
camera lens
video
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310465688.6A
Other languages
English (en)
Other versions
CN104519401B (zh
Inventor
郝红霞
刘重阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
He Jinwei
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310465688.6A priority Critical patent/CN104519401B/zh
Publication of CN104519401A publication Critical patent/CN104519401A/zh
Application granted granted Critical
Publication of CN104519401B publication Critical patent/CN104519401B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明公开了一种视频分割点获得方法及设备,属于计算机领域。所述方法包括:根据目标视频的音量数据获得第一分割点;获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片,根据所述若干帧图片获得第二分割点;根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。本发明通过根据目标视频的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的。

Description

视频分割点获得方法及设备
技术领域
本发明涉及计算机领域,特别涉及一种视频分割点获得方法及设备。
背景技术
随着网络应用领域的不断发展,越来越多的用户选择通过网络收看视频节目。为了提高用户体验,一些网络服务商将视频按照内容进行分割,以便用户了解视频内容并有选择性的收看视频。
以电视剧或电影视频为例,网络服务商向用户推送电视剧或电影视频时,在用户终端的播放进度条上显示一个或多个点状图形,每个点状图形对应一个视频分割点,该视频分割点为一个故事情节的起始播放时间点。当用户鼠标指向一个点状图形时,用户终端显示对应的视频分割点的缩略图、播放时间以及故事梗概等信息。
网络服务器若要将视频按照内容进行分割,首选需要获得相应的视频分割点。现有的视频分割点获得方法,主要通过开发人员人工阅览整个视频,将该视频中的故事情节的起始播放时间点记录为视频分割点,以便后续制作该视频分割点对应的缩略图和故事梗概。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
现有的视频分割点获得方法,需要开发人员人工阅览整个目标视频并记录相关的播放时间点,耗费大量的开发时间,开发效率低且人工成本高。
发明内容
为了解决现有技术需要开发人员人工阅览整个目标视频并记录相关的播放时间点,耗费大量的开发时间,开发效率低且人工成本高的问题,本发明实施例提供了一种视频分割点获得方法及设备。所述技术方案如下:
第一方面,提供了一种视频分割点获得方法,所述方法包括:
获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据,根据所述目标视频的音量数据获得第一分割点;
获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片,根据所述若干帧图片获得第二分割点;
根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
在第一方面的第一种可能实现方式中,所述根据所述目标视频的音量数据获得第一分割点,包括:
对所述音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号;
对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,所述音量序列中包含有0和1两种元素,每个所述元素对应一帧所述音频信号,各个所述元素按照各自对应的所述音频信号的播放时间点的先后顺序排列;
根据所述音量序列获得基础音频分割点;
对所述基础音频分割点进行过滤,将过滤后剩余的所述基础音频分割点确认为所述第一分割点。
结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,所述对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,包括:
获取二值化阈值T;
将所述若干帧音频信号各自对应的音量数据中,大于所述二值化阈值T的音量数据设置为1,小于等于所述二值化阈值T的音量数据设置为0;
根据设置结果获得所述音量序列。
结合第一方面的第二种可能实现方式,在第一方面的第三种可能实现方式中,所述获取二值化阈值T,包括:
获取预先设置的所述二值化阈值T;
或者,
计算所述若干帧音频信号各自对应的音量数据的平均值Mean;根据所述平均值Mean获取所述二值化阈值T,T=Mean*k,k为预设的比例系数。
结合第一方面的第一种可能实现方式、第二种可能实现方式或者第三种可能实现方式,在第一方面的第四种可能实现方式中,所述根据所述音量序列获得基础音频分割点,包括:
确定第一类型元素组和第二类型元素组,所述第一类型元素组包括所述音量序列中首次出现的连续两个0元素所组成的元素组以及各个在所述第二类型元素组之后首次出现的连续两个0元素所组成的元素组,所述第二类型元素组包括各个在所述第一类型元素组之后首次出现的由连续N个1元素组成的元素组,N为正整数;
将所述第一类型元素组和所述第二类型元素组的首个元素对应的所述音频信号的播放时间点确认为所述基础音频分割点。
结合第一方面的第四种可能实现方式,在第一方面的第五种可能实现方式中,所述对所述基础音频分割点进行过滤,包括:
计算所述基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2
检测所述差值是否小于差值阈值;
若检测结果为所述差值小于所述差值阈值,则删除所述基础音频分割点。
结合第一方面的第四种可能实现方式,在第一方面的第六种可能实现方式中,所述对所述基础音频分割点进行过滤,包括:
检测相邻两个所述基础音频分割点之间的时间间隔是否小于第一时长阈值;
若检测结果为所述相邻两个基础音频分割点之间的时间间隔小于所述第一时长阈值,则删除所述相邻两个基础音频分割点中的任意一个分割点。
结合第一方面的第四种可能实现方式,在第一方面的第七种可能实现方式中,所述对所述基础音频分割点进行过滤,包括:
检测相邻两个所述基础音频分割点之间的时间间隔是否不小于第二时长阈值;
若检测结果为所述相邻两个基础音频分割点之间的时间间隔不小于所述第二时长阈值,则将所述相邻两个基础音频分割点确定为初选基础音频分割点;
删除所述初选基础音频分割点之外的其它基础音频分割点;
检测相邻两个所述初选基础音频分割点之间的时间间隔是否小于第三时长阈值;
若检测结果为所述相邻两个初选基础音频分割点之间的时间间隔小于所述第三时长阈值,则删除所述相邻两个初选基础音频分割点中的任意一个分割点。
在第一方面的第八种可能实现方式中,所述若干帧图片对应有各自的播放时间点;所述根据所述若干帧图片获得第二分割点,包括:
将所述若干帧图片按照镜头进行切分,获得若干个镜头片段;
对所述若干个镜头片段进行合并;
根据合并结果获得至少一个合并后的镜头片段;
将目标图片所对应的播放时间点确认为基础画面分割点,所述目标图片为各个所述至少一个合并后的镜头片段的首帧图片;
对所述基础画面分割点进行过滤,将过滤后剩余的所述基础画面分割点确认为所述第二分割点。
结合第一方面的第八种可能实现方式,在第一方面的第九种可能实现方式中,所述对所述若干个镜头片段进行合并,包括:
计算相邻两个所述镜头片段各自的内容范围c1和c2,所述内容范围用于表征对应镜头片段的视觉特性;
计算所述相邻两个镜头片段合并后的内容范围cm
检测c1+c2≥cm是否成立;
若检测结果为c1+c2≥cm成立,则将所述相邻两个镜头片段合并。
结合第一方面的第九种可能实现方式,在第一方面的第十种可能实现方式中,所述计算相邻两个所述镜头片段各自的内容范围c1和c2,包括:
根据第一公式计算所述相邻两个镜头片段各自的内容范围c1和c2,所述第一公式为:
cx=max{d(fi,fj)},d(fi,fj)={1-∑kmin(hi k,hj k)};
其中,cx为单个镜头片段的内容范围,fi和fj为所述单个镜头片段的关键帧,d(fi,fj)为fi和fj的视觉距离,hi k为fi的颜色直方图中的第k个分量,hj k为fj的颜色直方图中的第k个分量;
所述计算所述相邻两个镜头片段合并后的内容范围cm,包括:
根据第二公式计算所述相邻两个镜头片段合并后的内容范围cm,所述第二公式为:
cy=max{d(fI,fJ)},d(fI,fJ)={1-∑kmin(hI k,hJ k)};
其中,cy为相邻两个镜头片段合并后的内容范围,fI为所述相邻两个镜头片段中的一个片段的关键帧,fJ为所述相邻两个镜头片段中的另一片段的关键帧,hI k为fI的颜色直方图中的第k个分量,hJ k为fJ的颜色直方图中的第k个分量。
结合第一方面的第八种可能实现方式,在第一方面的第十一种可能实现方式中,所述对所述若干个镜头片段进行合并,包括:
计算第一图片相似度,所述第一图片相似度为相邻两个所述镜头片段的首帧图片的相似度;
检测所述第一图片相似度是否大于第一相似度阈值;
若检测结果为所述第一图片相似度大于所述第一相似度阈值,则将所述相邻两个镜头片段合并。
结合第一方面的第八种可能实现方式,在第一方面的第十二种可能实现方式中,所述对所述若干个镜头片段进行合并,包括:
计算第二图片相似度,所述第二图片相似度为相邻三个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度;
检测所述第二图片相似度是否大于第二相似度阈值;
若检测结果为所述第二图片相似度大于所述第二相似度阈值,则将所述相邻三个镜头片段合并。
结合第一方面的第八种可能实现方式,在第一方面的第十三种可能实现方式中,所述对所述若干个镜头片段进行合并,包括:
计算第三图片相似度和第四图片相似度,所述第三图片相似度为相邻四个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度,所述第四图片相似度为所述相邻四个镜头片段中的第二个镜头片段和第四个镜头片段的首帧图片的相似度;
检测所述第三图片相似度是否大于第三相似度阈值,并检测所述第四图片相似度是否大于第四相似度阈值;
若检测结果为所述第三图片相似度大于所述第三相似度阈值,且所述第四图片相似度大于所述第四相似度阈值,则将所述相邻四个镜头片段合并。
结合第一方面的第八种可能实现方式、第九种可能实现方式、第十种可能实现方式、第十一种可能实现方式、第十二种可能实现方式或者第十三种可能实现方式,在第一方面的第十四种可能实现方式中,所述对所述基础画面分割点进行过滤,包括:
检测相邻两个所述基础画面分割点之间的时间间隔是否不小于第四时长阈值;
若检测结果为所述相邻两个基础画面分割点之间的时间间隔不小于所述第四时长阈值,则将所述相邻两个基础画面分割点确定为初选基础画面分割点;
删除所述初选基础画面分割点之外的其它基础画面分割点;
检测相邻两个所述初选基础画面分割点之间的时间间隔是否小于第五时长阈值;
若检测结果为所述相邻两个初选基础画面分割点之间的时间间隔小于所述第五时长阈值,则删除所述相邻两个初选基础画面分割点中的任意一个分割点。
结合第一方面的第十四种可能实现方式,在第一方面的第十五种可能实现方式中,所述根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点,包括:
判断所述第一分割点的个数是否小于分割点个数阈值;
若所述第一分割点的个数小于所述分割点个数阈值,则将所述第二分割点确认为所述视频分割点;
若所述第一分割点的个数不小于所述分割点个数阈值,则将所述第一分割点调整至最近的所述基础画面分割点,并将调整后的所述第一分割点确认为所述视频分割点。
结合第一方面的第十五种可能实现方式,在第一方面的第十六种可能实现方式中,所述方法还包括:
将所述视频分割点中第一个分割点和最后一个分割点之间的时间间隔平均分成N等份,获得N-1个等份点;
删除所述视频分割点中除符合预定条件的分割点之外的其它分割点,所述符合预定条件的分割点为所述视频分割点中,第一个分割点以及每个所述等份点之后的第一个分割点。
结合第一方面的第十六种可能实现方式,在第一方面的第十七种可能实现方式中,所述方法还包括:
检测相邻两个所述视频分割点之间的时间间隔是否大于第六时长阈值;
若检测结果为所述相邻两个视频分割点之间的时间间隔大于所述第六时长阈值,则将所述基础画面分割点中与所述相邻两个视频分割点之间的时间间隔处于预定范围内的随机一个分割点添加为所述视频分割点。
结合第一方面的第十七种可能实现方式,在第一方面的第十八种可能实现方式中,所述方法还包括:
获取所述目标视频最后预定时间段内的各帧图片;
计算所述最后预定时间段内的各帧图片相对于各自的前一帧图片,在预定位置处的像素变化率;
将目标图片组中的首帧图片对应的播放时间点添加为所述视频分割点,所述目标图片组为所述各帧图片中首个由连续M帧各自对应的像素变化率小于变化率阈值的图片组成的图片组,M为正整数。
结合第一方面的第十八种可能实现方式,在第一方面的第十九种可能实现方式中,所述方法还包括:
检测所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔是否小于第七时长阈值;
若检测结果为所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔小于所述第七时长阈值,则将所述最近一个视频分割点删除。
第二方面,提供了一种视频分割点获得设备,所述设备包括:
音频文件获取模块,用于获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据;
第一分割点获得模块,用于根据所述目标视频的音量数据获得第一分割点;
视频文件获取模块,用于获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片;
第二分割点获得模块,用于根据所述若干帧图片获得第二分割点;
视频分割点获得模块,用于根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
在第二方面的第一种可能实现方式中,所述第一分割点获得模块,包括:
分帧子模块,用于对所述音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号;
二值化子模块,用于对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,所述音量序列中包含有0和1两种元素,每个所述元素对应一帧所述音频信号,各个所述元素按照各自对应的所述音频信号的播放时间点的先后顺序排列;
第一获得子模块,用于根据所述音量序列获得基础音频分割点;
第一过滤子模块,用于对所述基础音频分割点进行过滤;
第一确认子模块,用于将过滤后剩余的所述基础音频分割点确认为所述第一分割点。
结合第二方面的第一种可能实现方式,在第二方面的第二种可能实现方式中,所述二值化子模块,包括:
阈值获取单元,用于获取二值化阈值T;
设置单元,用于将所述若干帧音频信号各自对应的音量数据中,大于所述二值化阈值T的音量数据设置为1,小于等于所述二值化阈值T的音量数据设置为0;
第一获得单元,用于根据设置结果获得所述音量序列。
结合第二方面的第二种可能实现方式,在第二方面的第三种可能实现方式中,所述阈值获取单元,包括:
第一获取子单元,用于获取预先设置的所述二值化阈值T;
计算子单元,用于计算所述若干帧音频信号各自对应的音量数据的平均值Mean;
第二获取子单元,用于根据所述平均值Mean获取所述二值化阈值T,T=Mean*k,k为预设的比例系数。
结合第二方面的第一种可能实现方式、第二种可能实现方式或者第三种可能实现方式,在第二方面的第四种可能实现方式中,所述第一获得子模块,包括:
第一确定单元,用于确定第一类型元素组和第二类型元素组,所述第一类型元素组包括所述音量序列中首次出现的连续两个0元素所组成的元素组以及各个在所述第二类型元素组之后首次出现的连续两个0元素所组成的元素组,所述第二类型元素组包括各个在所述第一类型元素组之后首次出现的由连续N个1元素组成的元素组,N为正整数;
第一确认单元,用于将所述第一类型元素组和所述第二类型元素组的首个元素对应的所述音频信号的播放时间点确认为所述基础音频分割点。
结合第二方面的第四种可能实现方式,在第二方面的第五种可能实现方式中,所述第一过滤子模块,包括:
差值计算单元,用于计算所述基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2
第一检测单元,用于检测所述差值是否小于差值阈值;
第一删除单元,用于若检测结果为所述差值小于所述差值阈值,则删除所述基础音频分割点。
结合第二方面的第四种可能实现方式,在第二方面的第六种可能实现方式中,所述第一过滤子模块,包括:
第二检测单元,用于检测相邻两个所述基础音频分割点之间的时间间隔是否小于第一时长阈值;
第二删除单元,用于若检测结果为所述相邻两个基础音频分割点之间的时间间隔小于所述第一时长阈值,则删除所述相邻两个基础音频分割点中的任意一个分割点。
结合第二方面的第四种可能实现方式,在第二方面的第七种可能实现方式中,所述第一过滤子模块,包括:
第三检测单元,用于检测相邻两个所述基础音频分割点之间的时间间隔是否不小于第二时长阈值;
第二确定单元,用于若检测结果为所述相邻两个基础音频分割点之间的时间间隔不小于所述第二时长阈值,则将所述相邻两个基础音频分割点确定为初选基础音频分割点;
第三删除单元,用于删除所述初选基础音频分割点之外的其它基础音频分割点;
第四检测单元,用于检测相邻两个所述初选基础音频分割点之间的时间间隔是否小于第三时长阈值;
第四删除单元,用于若检测结果为所述相邻两个初选基础音频分割点之间的时间间隔小于所述第三时长阈值,则删除所述相邻两个初选基础音频分割点中的任意一个分割点。
在第二方面的第八种可能实现方式中,所述第二分割点获得模块,包括:
镜头切分子模块,用于将所述若干帧图片按照镜头进行切分,获得若干个镜头片段;
镜头合并子模块,用于对所述若干个镜头片段进行合并;
片段获得子模块,用于根据合并结果获得至少一个合并后的镜头片段;
第二确认子模块,用于将目标图片所对应的播放时间点确认为基础画面分割点,所述目标图片为各个所述至少一个合并后的镜头片段的首帧图片;
第二过滤子模块,用于对所述基础画面分割点进行过滤;
第三确认子模块,用于将过滤后剩余的所述基础画面分割点确认为所述第二分割点;
其中,所述若干帧图片对应有各自的播放时间点。
结合第二方面的第八种可能实现方式,在第二方面的第九种可能实现方式中,所述镜头合并子模块,包括:
第一范围计算单元,用于计算相邻两个所述镜头片段各自的内容范围c1和c2,所述内容范围用于表征对应镜头片段的视觉特性;
第二范围计算单元,用于计算所述相邻两个镜头片段合并后的内容范围cm
第五检测单元,用于检测c1+c2≥cm是否成立;
第一合并单元,用于若检测结果为c1+c2≥cm成立,则将所述相邻两个镜头片段合并。
结合第二方面的第九种可能实现方式,在第二方面的第十种可能实现方式中,所述第一范围计算单元,用于根据第一公式计算所述相邻两个镜头片段各自的内容范围c1和c2,所述第一公式为:
cx=max{d(fi,fj)},d(fi,fj)={1-∑kmin(hi k,hj k)};
其中,cx为单个镜头片段的内容范围,fi和fj为所述单个镜头片段的关键帧,d(fi,fj)为fi和fj的视觉距离,hi k为fi的颜色直方图中的第k个分量,hj k为fj的颜色直方图中的第k个分量;
所述第二范围计算单元,用于根据第二公式计算所述相邻两个镜头片段合并后的内容范围cm,所述第二公式为:
cy=max{d(fI,fJ)},d(fI,fJ)={1-∑kmin(hI k,hJ k)};
其中,cy为相邻两个镜头片段合并后的内容范围,fI为所述相邻两个镜头片段中的一个片段的关键帧,fJ为所述相邻两个镜头片段中的另一片段的关键帧,hI k为fI的颜色直方图中的第k个分量,hJ k为fJ的颜色直方图中的第k个分量。
结合第二方面的第八种可能实现方式,在第二方面的第十一种可能实现方式中,所述镜头合并子模块,包括:
第一相似度计算单元,用于计算第一图片相似度,所述第一图片相似度为相邻两个所述镜头片段的首帧图片的相似度;
第六检测单元,用于检测所述第一图片相似度是否大于第一相似度阈值;
第二合并单元,用于若检测结果为所述第一图片相似度大于所述第一相似度阈值,则将所述相邻两个镜头片段合并。
结合第二方面的第八种可能实现方式,在第二方面的第十二种可能实现方式中,所述镜头合并子模块,包括:
第二相似度计算单元,用于计算第二图片相似度,所述第二图片相似度为相邻三个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度;
第七检测单元,用于检测所述第二图片相似度是否大于第二相似度阈值;
第三合并单元,用于若检测结果为所述第二图片相似度大于所述第二相似度阈值,则将所述相邻三个镜头片段合并。
结合第二方面的第八种可能实现方式,在第二方面的第十三种可能实现方式中,所述镜头合并子模块,包括:
第三相似度计算单元,用于计算第三图片相似度和第四图片相似度,所述第三图片相似度为相邻四个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度,所述第四图片相似度为所述相邻四个镜头片段中的第二个镜头片段和第四个镜头片段的首帧图片的相似度;
第八检测单元,用于检测所述第三图片相似度是否大于第三相似度阈值,并检测所述第四图片相似度是否大于第四相似度阈值;
第四合并单元,用于若检测结果为所述第三图片相似度大于所述第三相似度阈值,且所述第四图片相似度大于所述第四相似度阈值,则将所述相邻四个镜头片段合并。
结合第二方面的第八种可能实现方式、第九种可能实现方式、第十种可能实现方式、第十一种可能实现方式、第十二种可能实现方式或者第十三种可能实现方式,在第二方面的第十四种可能实现方式中,所述第二过滤子模块,包括:
第九检测单元,用于检测相邻两个所述基础画面分割点之间的时间间隔是否不小于第四时长阈值;
第三确定单元,用于若检测结果为所述相邻两个基础画面分割点之间的时间间隔不小于所述第四时长阈值,则将所述相邻两个基础画面分割点确定为初选基础画面分割点;
第五删除单元,用于删除所述初选基础画面分割点之外的其它基础画面分割点;
第十检测单元,用于检测相邻两个所述初选基础画面分割点之间的时间间隔是否小于第五时长阈值;
第六删除单元,用于若检测结果为所述相邻两个初选基础画面分割点之间的时间间隔小于所述第五时长阈值,则删除所述相邻两个初选基础画面分割点中的任意一个分割点。
结合第二方面的第十四种可能实现方式,在第二方面的第十五种可能实现方式中,所述视频分割点获得模块,包括:
判断子模块,用于判断所述第一分割点的个数是否小于分割点个数阈值;
第四确认子模块,用于若所述第一分割点的个数小于所述分割点个数阈值,则将所述第二分割点确认为所述视频分割点;
调整子模块,用于若所述第一分割点的个数不小于所述分割点个数阈值,则将所述第一分割点调整至最近的所述基础画面分割点;
第五确认子模块,用于将调整后的所述第一分割点确认为所述视频分割点。
结合第二方面的第十五种可能实现方式,在第二方面的第十六种可能实现方式中,所述设备还包括:
均分模块,用于将所述视频分割点中第一个分割点和最后一个分割点之间的时间间隔平均分成N等份,获得N-1个等份点;
第一删除模块,用于删除所述视频分割点中除符合预定条件的分割点之外的其它分割点,所述符合预定条件的分割点为所述视频分割点中,第一个分割点以及每个所述等份点之后的第一个分割点。
结合第二方面的第十六种可能实现方式,在第二方面的第十七种可能实现方式中,所述设备还包括:
第一检测模块,用于检测相邻两个所述视频分割点之间的时间间隔是否大于第六时长阈值;
第一添加模块,用于若检测结果为所述相邻两个视频分割点之间的时间间隔大于所述第六时长阈值,则将所述基础画面分割点中与所述相邻两个视频分割点之间的时间间隔处于预定范围内的随机一个分割点添加为所述视频分割点。
结合第二方面的第十七种可能实现方式,在第二方面的第十八种可能实现方式中,所述设备还包括:
图片获取模块,用于获取所述目标视频最后预定时间段内的各帧图片;
计算模块,用于计算所述最后预定时间段内的各帧图片相对于各自的前一帧图片,在预定位置处的像素变化率;
第二添加模块,用于将目标图片组中的首帧图片对应的播放时间点添加为所述视频分割点,所述目标图片组为所述各帧图片中首个由连续M帧各自对应的像素变化率小于变化率阈值的图片组成的图片组,M为正整数。
结合第二方面的第十八种可能实现方式,在第二方面的第十九种可能实现方式中,所述设备还包括:
第二检测模块,用于检测所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔是否小于第七时长阈值;
第二删除模块,用于若检测结果为所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔小于所述第七时长阈值,则将所述最近一个视频分割点删除。
第三方面,提供了一种视频播放方法,用于终端中,所述方法包括:
显示与目标视频的视频分割点相对应的分割点信息,所述分割点信息为所述目标视频在所述视频分割点处的内容的描述信息;
根据用户对所述分割点信息的操作播放所述目标视频。
在第三方面的第一种可能实现方式中,所述分割点信息包括:所述视频分割点对应的缩略图和/或所述视频分割点对应的文字描述信息;
所述显示与目标视频的视频分割点相对应的分割点信息,包括:
显示各个所述视频分割点对应的缩略图;
和/或,显示各个所述视频分割点对应的文字描述信息。
结合第三方面或者第三方面的第一种可能实现方式,在第三方面的第二种可能实现方式中,所述终端包括:个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种。
第四方面,提供了一种终端,所述终端包括:
分割点信息显示模块,用于显示与目标视频的视频分割点相对应的分割点信息,所述分割点信息为所述目标视频在所述视频分割点处的内容的描述信息;
播放模块,用于根据用户对所述分割点信息的操作播放所述目标视频。
在第四方面的第一种可能实现方式中,所述分割点信息显示模块,包括:
第一显示子模块,用于显示各个所述视频分割点对应的缩略图;
第二显示子模块,用于显示各个所述视频分割点对应的文字描述信息;
其中,所述分割点信息包括:所述视频分割点对应的缩略图和/或所述视频分割点对应的文字描述信息。
结合第四方面或者第四方面的第一种可能实现方式,在第四方面的第二种可能实现方式中,所述终端包括:个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种。
本发明实施例提供的技术方案带来的有益效果是:
通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到减少开发时间,提高开发效率,降低人工成本的目的。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的视频分割点获得方法的方法流程图;
图2是本发明另一实施例提供的视频分割点获得方法的方法流程图;
图3是本发明一个实施例提供的视频分割点获得设备的设备构成图;
图4是本发明另一实施例提供的视频分割点获得设备的设备构成图;
图5是本发明一个实施例提供的视频分割点获得设备的设备构成图;
图6是本发明另一实施例提供的视频分割点获得设备的设备构成图;
图7是本发明一个实施例提供的视频播放方法的方法流程图;
图8是本发明另一实施例提供的视频播放方法的方法流程图;
图9是本发明另一实施例提供的一种分割点信息显示示意图;
图10是本发明另一实施例提供的另一种分割点信息显示示意图;
图11是本发明一个实施例提供的终端的设备构成图;
图12是本发明另一实施例提供的终端的设备构成图;
图13是本发明一个实施例提供的终端的设备构成图;
图14是本发明另一实施例提供的终端设备构成图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参见图1,其示出了本发明一个实施例提供的视频分割点获得方法的方法流程图。该方法可以用于自动获得目标视频的视频分割点。该方法包括:
步骤102,获取目标视频的音频文件,该音频文件中包含有该目标视频的音量数据,根据该目标视频的音量数据获得第一分割点;
步骤104,获取该目标视频的视频文件,该视频文件中包含有若干帧图片,根据该若干帧图片获得第二分割点;
步骤106,根据该第一分割点和该第二分割点获得该目标视频的视频分割点。
综上所述,本发明实施例提供的视频分割点获得方法,通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的。
为了对上述图1所示的视频分割点获得方法做进一步的描述,请参见图2,其示出了本发明另一实施例提供的视频分割点获得方法的方法流程图。该方法可以用于自动获得目标视频的视频分割点。以目标视频为电视或电影视频,且该视频分割点获得方法用于获得该电视或电影视频的故事情节分割点为例,该视频分割点获得方法可以包括:
步骤202,视频分割点获得设备获取目标视频的音频文件;
其中,该目标视频包括音频文件和视频文件,该音频文件中包含有该目标视频的音量数据,该音量数据可以是该目标视频的音量值。
步骤204,视频分割点获得设备根据该音频文件获得基础音频分割点;
视频分割点获得设备可以根据该视频文件中包含的该目标视频的音量数据获得基础音频分割点。
具体的,视频分割点获得设备可以首先对该音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号,并对该若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,该音量序列中包含有0和1两种元素,每个该元素对应一帧该音频信号,各个该元素按照各自对应的该音频信号的播放时间点的先后顺序排列,视频分割点获得设备再根据该音量序列获得基础音频分割点。
其中,对该音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号时,视频分割点获得设备可以按照预定的时间间隔对该音频文件进行采样,获得若干帧音频信号。比如视频分割点获得设备每隔30ms对音频文件进行一次采样,每次采样获得一帧音频信号,每帧音频信号均对应有音量数据以及播放时间点。
另外,对该若干帧音频信号各自对应的音量数据进行二值化,获得音量序列时,视频分割点获得设备可以首先获取二值化阈值T,并将该若干帧音频信号各自对应的音量数据中,大于该二值化阈值T的音量数据设置为1,小于等于该二值化阈值T的音量数据设置为0,再根据设置结果获得该音量序列。
具体比如,视频分割点获得设备提取该若干帧音频信号各自对应的音量值,并按照对应的音频信号播放时间点的先后顺序对提取的音量值继续排序,组成一个音量向量序列V=(V1,V2,V3,……,Vn),视频分割点获得设备将该音量向量序列V中的各个元素与获取的二值化阈值T进行比较,将大于二值化阈值T的元素设置为1,小于等于二值化阈值T的元素设置为0,最终获得由0和1两种元素组成的音量序列。
获取二值化阈值T时,视频分割点获得设备可以获取预先设置的该二值化阈值T;或者,视频分割点获得设备可以计算该若干帧音频信号各自对应的音量数据的平均值Mean,根据该平均值Mean获取该二值化阈值T,T=Mean*k,k为预设的比例系数。
需要说明的是,该二值化阈值T可以是一个固定值,也可以根据目标视频的音量数据动态获取。具体的,当该二值化阈值T为固定值时,视频分割点获得设备可以直接获取预先设置并存储的二值化阈值T。当该二值化阈值T为根据目标视频的音量数据动态获取时,视频分割点获得设备可以首先计算提取到的若干帧音频信号各自对应的音量值的平均值,再将该平均值与预设的比例系数k的乘积作为该二值化阈值T。其中,该二值化阈值T或者该比例系数k可以由开发人员自行设置,比如,根据人耳能够听到的最低音量进行设置。对于该二值化阈值T或者该比例系数k的具体数值,本发明实施例不做具体限定。
视频分割点获得设备根据该音量序列获得基础音频分割点的方法如下:
视频分割点获得设备确定第一类型元素组和第二类型元素组,该第一类型元素组包括该音量序列中的首个“00”元素组以及各个该第二类型元素组之后的首个“00”元素组,该第二类型元素组包括各个该第一类型元素组之后的首个由连续N个1元素组成的元素组,N为正整数;视频分割点获得设备将该第一类型元素组和该第二类型元素组的首个元素对应的该音频信号的播放时间点确认为该基础音频分割点。
以目标视频为电视或电影视频为例,当目标视频中的某一视频片段声音不嘈杂并且没有背景音乐时,音量序列中对应于该视频片段的元素为0和1不规则交替出现,而当目标视频中某一视频片段声音不嘈杂和/或有背景音乐时,音量序列中对应于该视频片段的元素都为1元素。在电视或者电影视频中,当某一故事情节开始时,通常都会伴随着声音或者背景音乐的变化,比如,由嘈杂场景转为安静场景、由安静场景转为嘈杂场景、开始一段背景音乐或者结束一段背景音乐等。因此,本发明实施例提供的方法,可以将声音或者背景音乐发生改变的视频片段的起始点确认为基础音频分割点。其具体的获取方式可以如下:
视频分割点获得设备轮询整个音量序列,先找第一个“00”元素组,将该“00”元素组中的第一个0元素对应的音频信号的播放时间点作为第一个分割点,再从该第一个分割点之后开始找第一个由连续N个1元素组成的元素组,将该由连续N个1元素组成的元素组中的第一个1元素对应的音频信号的播放时间点作为第二个分割点,再从该第二个分割点之后开始找第一个“00”元素组,将该“00”元素组中的第一个0元素对应的音频信号的播放时间点作为第三个分割点,再从该第三个分割点之后开始找第一个由连续N个1元素组成的元素组,将该由连续N个1元素组成的元素组中的第一个1元素对应的音频信号的播放时间点作为第四个分割点,以此类推,直至整个音量序列轮询完毕,将找出的分割点作为基础音频分割点。将上述得到的基础音频分割点按播放时间先后的顺序排列,第奇数个点可以认为是一段安静场景的起始时间点,第偶数个点可以认为是一段嘈杂场景的起始时间点。
步骤206,视频分割点获得设备对该基础音频分割点进行过滤,将过滤后剩余的基础音频分割点确认为第一分割点;
其中,步骤205中得到的基础音频分割点个数可能会很多,而一个电视或电影视频中故事情节不可能太多,因此有必要对基础音频分割点进行过滤,过滤方式可以有一下几种:
1)计算该基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2,检测该差值是否小于差值阈值,若检测结果为该差值小于该差值阈值,则删除该基础音频分割点。
比如,视频分割点获得设备可以计算该基础音频分割点前后5s和前后30s内的音量平均值的差值,若检测出该差值小于差值阈值,则说明该基础音频分割点前后音量变化不是非常大,可以认为故事情节在该基础音频分割点出发生改变的可能性不大,可以将该基础音频分割点删除。
2)检测相邻两个基础音频分割点之间的时间间隔是否小于第一时长阈值,若检测结果为该相邻两个基础音频分割点之间的时间间隔小于该第一时长阈值,则删除该相邻两个基础音频分割点中的任意一个分割点。
在电视或电影视频中,两个故事情节之间的时间间隔不可能太小,因此,视频分割点获得设备可以将时间间隔小于某一阈值的两个相邻基础音频分割点中的一个删除。比如,视频分割点获得设备可以检测相邻两个基础音频分割点之间的时间间隔是否小于3分钟,若是,则将该相邻两个基础音频分割点中的前一个分割点删除。或者,实际应用中,视频分割点获得设备也可以在检测出相邻两个基础音频分割点之间的时间间隔是否小于3分钟时,删除后一个分割点,对此,本发明实施例不做具体限定。
3)检测相邻两个基础音频分割点之间的时间间隔是否不小于第二时长阈值,若检测结果为该相邻两个基础音频分割点之间的时间间隔不小于该第二时长阈值,则将该相邻两个基础音频分割点确定为初选基础音频分割点,删除该初选基础音频分割点之外的其它基础音频分割点;检测相邻两个该初选基础音频分割点之间的时间间隔是否小于第三时长阈值,若检测结果为该相邻两个初选基础音频分割点之间的时间间隔小于该第三时长阈值,则删除该相邻两个初选基础音频分割点中的任意一个分割点。
该第3点所示的方法与上述第2点所示方法的基本思路相同,都是为了使两个分割点之间的时间间隔不会太小。具体比如,视频分割点获得设备可以检测各相邻两个基础音频分割点之间的时间间隔,将所有时间间隔不小于10分钟的相邻的基础音频分割点保留,并将其余的基础音频分割点删除;之后,视频分割点获得设备再检测保留的基础音频分割点中,各相邻两个基础音频分割点之间的时间间隔,并将时间间隔小于10分钟的相邻两个基础音频分割点中的前一个或者后一个分割点删除。
需要说明的是,上述第一时长阈值、第二时长阈值以及第三时长阈值可以由开发人员根据实际情况自行设定,本发明实施例对上述各个时长阈值的具体数值以及各个时长阈值之间的大小关系不做具体限定。
在实际应用中,上述三种对基础音频分割点进行过滤的方法可以单独使用,也可以两种或者三种结合使用。以结合上述三种方式对基础音频分割点进行过滤为例,具体步骤可以如下:
视频分割点获得设备首先计算各个基础音频分割点前后5s和前后30s内的音量平均值的差值,若检测出的差值小于差值阈值,则将对应的基础音频分割点删除。此时,若剩余的基础音频分割点之间的平均时间间隔大于6分钟,则视频分割点获得设备检测剩余的基础音频分割点中相邻两个基础音频分割点之间的时间间隔是否小于3分钟,若是,则将该相邻两个基础音频分割点中的前一个分割点删除。进一步的,视频分割点获得设备检测第二次删除后剩余的基础音频分割点中各相邻两个基础音频分割点之间的时间间隔,将所有时间间隔不小于10分钟的相邻的基础音频分割点保留,并将其余的基础音频分割点删除;最后,视频分割点获得设备再检测保留的基础音频分割点中,各相邻两个基础音频分割点之间的时间间隔,并将时间间隔小于10分钟的相邻两个基础音频分割点中的前一个分割点删除。
需要说明的是,实际应用中,上述三种对基础音频分割点进行过滤的方法可以只使用一次,也可以多次迭代使用,当两种或者两种以上方法结合使用时,各方法之间的先后顺序也可以由开发人员自行设定,对于上述三种对基础音频分割点进行过滤的方法的先后顺序和迭代次数,本发明实施例不做具体限定。
在实际应用中,利用美尔频率倒谱系数(Mel Frequency CepstrumCoefficient,MFCC)特征,基于目标视频的音频文件进行频谱分析,也可以达到基于音频文件获得分割点的效果,而本发明实施例所提供的方案,只需要对音频文件进行时域音量的大尺度分析即可以获得第一分割点,不涉及频域处理,相对于上述频谱分析的方法来说,计算复杂度小,分割效率高。
步骤208,视频分割点获得设备获取该目标视频的视频文件;
其中,视频文件中通常包含有播放该目标视频所需的若干帧图片,每帧图片都各自对应有播放时间点。
步骤210,视频分割点获得设备根据该视频文件获得基础画面分割点;
具体的,视频分割点获得设备可以将该若干帧图片按照镜头进行切分,获得若干个镜头片段,对该若干个镜头片段进行合并,根据合并结果获得至少一个合并后的镜头片段;视频分割点获得设备将目标图片所对应的播放时间点确认为基础画面分割点,该目标图片为各个该至少一个合并后的镜头片段的首帧图片。
其中,将该若干帧图片按照镜头进行切分的方法有多种,比如,可以是基于像素域的方法中的像素域法、直方图法、块匹配法或边缘变化法等,也可以是基于压缩域的方法中的离散余弦变换(Discrete Cosine Transform,DCT)系数法、小波变换法、时空分析法、矢量量化法或运动矢量法等。对于视频分割点获得设备将该若干帧图片按照镜头进行切分的方法,本发明实施例不做具体限定。
其中,对该若干个镜头片段进行合并的方法可以分为两大类,一类是根据镜头片段的一致性原则进行合并,另一类是按照各个镜头片段的首帧图片相似度进行合并。
镜头片段的内容范围用于表征该镜头片段的视觉特性,而根据镜头片段的一致性原则进行合并是指检测两个相邻镜头片断包含的内容范围是否一致:假设相邻两个镜头片断覆盖的内容范围为c1和c2,合并后得到的镜头片段覆盖的内容范围为cm,如果c1+c2≥cm,则判断为这两个镜头片断的内容范围一致,可以合并。换句话说,如果将两个相邻的镜头片断合并后得到的镜头片断表达的内容比合并前的两个镜头片断表达的内容更紧凑一致,则选择合并这两个相邻的镜头片断,这样得的合并结果中,每个镜头片断内容更加内聚,不同镜头片断的内容更加离散。在按照各个镜头片段的内容范围进行合并时,视频分割点获得设备可以计算相邻两个该镜头片段各自的内容范围c1和c2,并计算该相邻两个镜头片段合并后的内容范围cm;视频分割点获得设备检测c1+c2≥cm是否成立,若检测结果为c1+c2≥cm成立,则将该相邻两个镜头片段合并。
具体的,视频分割点获得设备可以根据第一公式计算该相邻两个镜头片段各自的内容范围c1和c2,该第一公式为:
cx=max{d(fi,fj)},d(fi,fj)={1-∑kmin(hi k,hj k)};
其中,cx为单个镜头片段的内容范围,fi和fj为该单个镜头片段的关键帧,hi k为fi的颜色直方图中的第k个分量,hj k为fj的颜色直方图中的第k个分量;
视频分割点获得设备可以根据第二公式计算该相邻两个镜头片段合并后的内容范围cm,该第二公式为:
cy=max{d(fI,fJ)},d(fI,fJ)={1-∑kmin(hI k,hJ k)};
其中,cy为相邻两个镜头片段合并后的内容范围,fI为该相邻两个镜头片段中的一个片段的关键帧,fJ为该相邻两个镜头片段中的另一片段的关键帧,hI k为fI的颜色直方图中的第k个分量,hJ k为fJ的颜色直方图中的第k个分量。
在电视或电影视频中,可能出现以下两种情形:一种是连续两个以上镜头片段对应同一场景,比如,人物A和人物B正在进行交谈时,连续两个以上镜头片段都包含人物A和人物B,只是观察角度不同;另一种是连续两个以上镜头片段对应两个不同的场景,并且该两个不同的场景交替出现,比如,人物A和人物B正在进行交谈时,第一个镜头片段中只包含人物A,第二个镜头片段只包含人物B,第三个镜头片段中又只包含人物A,第四个镜头片段又只包含人物B。很显然,上述两种情形所对应的镜头片段的边界并不能作为故事情节的转折点,因此需要将上述两种情形所对应的镜头片段进行合并。而对上述两种情形所对应的镜头片段进行合并时,可以按照各个镜头片段的首帧图片相似度进行合并。
具体的,对于上述连续两个以上镜头片段对应同一场景的情形,视频分割点获得设备可以计算第一图片相似度,该第一图片相似度为相邻两个镜头片段的首帧图片的相似度;视频分割点获得设备检测该第一图片相似度是否大于第一相似度阈值,若检测结果为该第一图片相似度大于该第一相似度阈值,则将该相邻两个镜头片段合并。
比如,视频分割点获得设备可以计算相邻两个镜头片段中的首帧图片之间的相似度,若该相似度大于某一相似度阈值,比如0.75,则将该相邻两个镜头片段合并。
其中,计算相邻两个镜头片段中的首帧图片之间的相似度时,可以将两个镜头片段的首帧图片分别转化为灰度图,该两帧图片的像素值可以表示为M*N矩阵,再将M*N矩阵重新排列为(M*N)*1的向量,利用向量的相似性计算方法计算出相关系数,该相关系数即为该两个相邻镜头片段的首帧图片的相似度。
对于上述连续两个以上镜头片段对应两个不同的场景,并且该两个不同的场景交替出现的情形,视频分割点获得设备可以计算第二图片相似度,该第二图片相似度为相邻三个镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度;视频分割点获得设备检测该第二图片相似度是否大于第二相似度阈值,若检测结果为该第二图片相似度大于该第二相似度阈值,则将该相邻三个镜头片段合并。或者,视频分割点获得设备可以计算第三图片相似度和第四图片相似度,该第三图片相似度为相邻四个镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度,该第四图片相似度为该相邻四个镜头片段中的第二个镜头片段和第四个镜头片段的首帧图片的相似度;视频分割点获得设备检测该第三图片相似度是否大于第三相似度阈值,并检测该第四图片相似度是否大于第四相似度阈值,若检测结果为该第三图片相似度大于该第三相似度阈值,且该第四图片相似度大于该第四相似度阈值,则将该相邻四个镜头片段合并。
比如,视频分割点获得设备可以提取相邻四个镜头片段的首帧图片,并分别计算第一个镜头片段与第三个镜头片段的首帧图片之间的相似度以及第二个镜头片段与第四个镜头片段的首帧图片之间的相似度。若第一个镜头片段与第三个镜头片段的首帧图片之间的相似度大于0.75,则将该相邻四个镜头片段中的前三个镜头片段合并;若第二个镜头片段与第四个镜头片段的首帧图片之间的相似度大于0.75,则将该相邻四个镜头片段中的后三个镜头片段合并;若第一个镜头片段与第三个镜头片段的首帧图片之间的相似度大于0.75,且第二个镜头片段与第四个镜头片段的首帧图片之间的相似度也大于0.75,则将该相邻四个镜头片段全部合并。需要说明的是,上述仅以第一相似度阈值、第二相似度阈值和第三相似度阈值均为0.75进行举例说明,在实际应用中,该第一相似度阈值、第二相似度阈值和第三相似度阈值可以由开发人员自行设定,且可以设定为相同值,也可以设定为不同值,对于上述三个相似度阈值的具体数值,本发明实施例不做具体限定。
步骤212,视频分割点获得设备对该基础画面分割点进行过滤,将过滤后剩余的基础画面分割点确认为第二分割点;
视频分割点获得设备对该基础画面分割点进行过滤时,可以检测相邻两个基础画面分割点之间的时间间隔是否不小于第四时长阈值;若检测结果为该相邻两个基础画面分割点之间的时间间隔不小于该第四时长阈值,则将该相邻两个基础画面分割点确定为初选基础画面分割点,并删除该初选基础画面分割点之外的其它基础画面分割点;视频分割点获得设备进一步检测相邻两个该初选基础画面分割点之间的时间间隔是否小于第五时长阈值,若检测结果为该相邻两个初选基础画面分割点之间的时间间隔小于该第五时长阈值,则删除该相邻两个初选基础画面分割点中的任意一个分割点。
对基础画面分割点进行过滤方法与上述步骤206中对基础音频分割点进行过滤的方法的基本思路一致,具体的,视频分割点获得设备可以检测各相邻两个基础画面分割点之间的时间间隔,将所有时间间隔不小于10分钟的相邻的基础画面分割点保留,并将其余的基础画面分割点删除;之后,视频分割点获得设备再检测保留的基础画面分割点中,各相邻两个基础画面分割点之间的时间间隔,并将时间间隔小于10分钟的相邻两个基础画面分割点中的前一个或者后一个分割点删除。
同样的,上述第四时长阈值和第五时长阈值可以由开发人员根据实际情况自行设定,本发明实施例对此不做具体限定。
步骤214,视频分割点获得设备根据该第一分割点和该第二分割点获得该目标视频的视频分割点;
视频分割点获得设备可以判断该第一分割点的个数是否小于分割点个数阈值;若该第一分割点的个数小于该分割点个数阈值,则视频分割点获得设备将该第二分割点确认为该视频分割点;若该第一分割点的个数不小于该分割点个数阈值,则视频分割点获得设备将该第一分割点调整至最近的该基础画面分割点,并将调整后的该第一分割点确认为该视频分割点。
具体的,视频分割点获得设备可以判断该第一分割点的个数是否过少,比如,是否少于5个,若该第一分割点的个数小于5个,则直接使用第二分割点作为该目标视频的视频分割点,若该第一分割点的个数不小于5个,则将该第一分割点微调至最近的一个基础画面分割点,并将微调后的第一分割点作为该目标视频的视频分割点,该基础画面分割点为步骤210所获得的基础画面分割点。
步骤216,视频分割点获得设备对该视频分割点进行优选和补充。
进一步的,视频分割点获得设备还可以对步骤214中获得的视频分割点进行优选和补充,其具体方法可以包括两个方面:第一方面是使各个视频分割点分布尽量均匀,第二方面是将目标视频的整片结尾添加为视频分割点。
在第一方面中,视频分割点获得设备可以将该视频分割点中第一个分割点和最后一个分割点之间的时间间隔平均分成N等份,获得N-1个等份点;视频分割点获得设备删除该视频分割点中除符合预定条件的分割点之外的其它分割点,该符合预定条件的分割点为该视频分割点中,第一个分割点以及每个该等份点之后的第一个分割点。
视频分割点获得设备还可以检测相邻两个视频分割点之间的时间间隔是否大于第六时长阈值;若检测结果为该相邻两个视频分割点之间的时间间隔大于该第六时长阈值,则视频分割点获得设备将步骤210获得的基础画面分割点中,与该相邻两个视频分割点之间的时间间隔处于预定范围内的随机一个分割点添加为该视频分割点。
具体比如,视频分割点获得设备可以首先获取第一个视频分割点和最后一个视频分割点,将这两个分割点中间的时间间隔除以一个预定值,比如12,获得该第一个视频分割点和最后一个视频分割点之间的11个等份点;视频分割点获得设备保留该第一个视频分割点以及每个等份点之后的第一个视频分割点,并将其余的视频分割点删除,这样保留的各个视频分割点中,相邻两个分割点之间的时间间隔不会太短。进一步的,视频分割点获得设备检测保留的各个视频分割点中,相邻两个分割点之间的时间间隔是否大于预定的阈值,比如30分钟,若某相邻两个分割点之间的时间间隔大于30分钟,则从步骤210获得的基础画面分割点中随机选择一个满足条件的基础画面分割点添加为视频分割点,其中,满足条件的分割点可以是与该相邻两个分割点之间的时间间隔都处于预定范围内的基础画面分割点,比如,与该相邻两个分割点之间的时间间隔都处于10分钟至20分钟范围内的基础画面分割点,这样获得的各个视频分割点中,相邻两个分割点之间的时间间隔也不会太长。
在第一方面中,视频分割点获得设备可以获取该目标视频最后预定时间段内的各帧图片,计算该最后预定时间段内的各帧图片相对于各自的前一帧图片,在预定位置处的像素变化率,并将目标图片组中的首帧图片对应的播放时间点添加为该视频分割点,该目标图片组为该各帧图片中首个由连续M帧各自对应的像素变化率小于变化率阈值的图片组成的图片组,M为正整数。
对于电视或电影视频,尤其是对于电影视频而言,整片结束点的位置往往会出现演职员表,而在演职员表出现时,画面四角位置的像素变化往往非常小。基于此,视频分割点获得设备可以获取该目标视频最后预定时间段,比如最后10分钟内的各帧图片,计算这些图片相对于各自的前一帧图片,在预定位置处,比如图片右上的四分之一范围内的像素变化率,当检测到连续多帧图片相对于前一帧图片在右上四分之一范围内的像素变化率小于一个预定变化率值时,将该连续多帧图片中的第一帧图片对应的播放时间点作为目标视频的正片结束点,并添加入目标视频的视频分割点中。
进一步的,当目标视频的正片结束点与原有的视频分割点中的最后一个分割点距离太近时,还可以将原有的视频分割点中的最后一个分割点删除,具体的,视频分割点获得设备可以检测该目标图片组中的首帧图片对应的播放时间点与最近一个该视频分割点之间的时间间隔是否小于第七时长阈值,比如10分钟;若检测结果为该目标图片组中的首帧图片对应的播放时间点与最近一个该视频分割点之间的时间间隔小于该第七时长阈值,则将该最近一个视频分割点删除。
综上所述,本发明实施例提供的方法,通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,根据音频和画面相结合的方式获取视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的;另外,本发明实施例提供的方法,根据音频文件中的音量数据获取第一分割点,不涉及频域处理,计算复杂度小,分割效率高;最后,本发明实施例提供的方法,通过对视频分割点进行进一步的优选和补充,使视频分割点的分布尽量均匀,进一步提高了分割效果。
请参见图3,其示出了本发明一个实施例提供的视频分割点获得设备的设备构成图。该视频分割点获得设备可以包括:
音频文件获取模块301,用于获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据;
第一分割点获得模块302,用于根据所述目标视频的音量数据获得第一分割点;
视频文件获取模块303,用于获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片;
第二分割点获得模块304,用于根据所述若干帧图片获得第二分割点;
视频分割点获得模块305,用于根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
综上所述,本发明实施例提供的设备,通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的。
为了对上述图3所示的视频分割点获得设备做进一步的描述,请参见图4,其示出了本发明另一实施例提供的视频分割点获得设备的设备构成图。该设备可以用于自动获得目标视频的视频分割点。该目标视频可以是电视或电影视频,且该视频分割点获得设备可以用于获得该电视或电影视频的故事情节分割点。该视频分割点获得设备可以包括:
音频文件获取模块401,用于获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据;
第一分割点获得模块402,用于根据所述目标视频的音量数据获得第一分割点;
视频文件获取模块403,用于获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片;
第二分割点获得模块404,用于根据所述若干帧图片获得第二分割点;
视频分割点获得模块405,用于根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
所述第一分割点获得模块402,包括:
分帧子模块4021,用于对所述音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号;
二值化子模块4022,用于对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,所述音量序列中包含有0和1两种元素,每个所述元素对应一帧所述音频信号,各个所述元素按照各自对应的所述音频信号的播放时间点的先后顺序排列;
第一获得子模块4023,用于根据所述音量序列获得基础音频分割点;
第一过滤子模块4024,用于对所述基础音频分割点进行过滤;
第一确认子模块4025,用于将过滤后剩余的所述基础音频分割点确认为所述第一分割点。
所述二值化子模块4022,包括:
阈值获取单元4022A,用于获取二值化阈值T;
设置单元4022B,用于将所述若干帧音频信号各自对应的音量数据中,大于所述二值化阈值T的音量数据设置为1,小于等于所述二值化阈值T的音量数据设置为0;
第一获得单元4022C,用于根据设置结果获得所述音量序列。
所述阈值获取单元4022A,包括:
第一获取子单元4022Aa,用于获取预先设置的所述二值化阈值T;
计算子单元4022Ab,用于计算所述若干帧音频信号各自对应的音量数据的平均值Mean;
第二获取子单元4022Ac,用于根据所述平均值Mean获取所述二值化阈值T,T=Mean*k,k为预设的比例系数。
所述第一获得子模块4023,包括:
第一确定单元4023A,用于确定第一类型元素组和第二类型元素组,所述第一类型元素组包括所述音量序列中首次出现的连续两个0元素所组成的元素组以及各个在所述第二类型元素组之后首次出现的连续两个0元素所组成的元素组,所述第二类型元素组包括各个在所述第一类型元素组之后首次出现的由连续N个1元素组成的元素组,N为正整数;
第一确认单元4023B,用于将所述第一类型元素组和所述第二类型元素组的首个元素对应的所述音频信号的播放时间点确认为所述基础音频分割点。
所述第一过滤子模块4024,包括:
差值计算单元4024A,用于计算所述基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2
第一检测单元4024B,用于检测所述差值是否小于差值阈值;
第一删除单元4024C,用于若检测结果为所述差值小于所述差值阈值,则删除所述基础音频分割点。
所述第一过滤子模块4024,包括:
第二检测单元4024D,用于检测相邻两个所述基础音频分割点之间的时间间隔是否小于第一时长阈值;
第二删除单元4024E,用于若检测结果为所述相邻两个基础音频分割点之间的时间间隔小于所述第一时长阈值,则删除所述相邻两个基础音频分割点中的任意一个分割点。
所述第一过滤子模块4024,包括:
第三检测单元4024F,用于检测相邻两个所述基础音频分割点之间的时间间隔是否不小于第二时长阈值;
第二确定单元4024G,用于若检测结果为所述相邻两个基础音频分割点之间的时间间隔不小于所述第二时长阈值,则将所述相邻两个基础音频分割点确定为初选基础音频分割点;
第三删除单元4024H,用于删除所述初选基础音频分割点之外的其它基础音频分割点;
第四检测单元4024I,用于检测相邻两个所述初选基础音频分割点之间的时间间隔是否小于第三时长阈值;
第四删除单元4024J,用于若检测结果为所述相邻两个初选基础音频分割点之间的时间间隔小于所述第三时长阈值,则删除所述相邻两个初选基础音频分割点中的任意一个分割点。
所述第二分割点获得模块404,包括:
镜头切分子模块4041,用于将所述若干帧图片按照镜头进行切分,获得若干个镜头片段;
镜头合并子模块4042,用于对所述若干个镜头片段进行合并;
片段获得子模块4043,用于根据合并结果获得至少一个合并后的镜头片段;
第二确认子模块4044,用于将目标图片所对应的播放时间点确认为基础画面分割点,所述目标图片为各个所述至少一个合并后的镜头片段的首帧图片;
第二过滤子模块4045,用于对所述基础画面分割点进行过滤;
第三确认子模块4046,用于将过滤后剩余的所述基础画面分割点确认为所述第二分割点;
其中,所述若干帧图片对应有各自的播放时间点。
所述镜头合并子模块4042,包括:
第一范围计算单元4042A,用于计算相邻两个所述镜头片段各自的内容范围c1和c2,所述内容范围用于表征对应镜头片段的视觉特性;
第二范围计算单元4042B,用于计算所述相邻两个镜头片段合并后的内容范围cm
第五检测单元4042C,用于检测c1+c2≥cm是否成立;
第一合并单元4042D,用于若检测结果为c1+c2≥cm成立,则将所述相邻两个镜头片段合并。
所述第一范围计算单元4042A,用于根据第一公式计算所述相邻两个镜头片段各自的内容范围c1和c2,所述第一公式为:
cx=max{d(fi,fj)},d(fi,fj)={1-∑kmin(hi k,hj k)};
其中,cx为单个镜头片段的内容范围,fi和fj为所述单个镜头片段的关键帧,hi k为fi的颜色直方图中的第k个分量,hj k为fj的颜色直方图中的第k个分量;
所述第二范围计算单元4042B,用于根据第二公式计算所述相邻两个镜头片段合并后的内容范围cm,所述第二公式为:
cy=max{d(fI,fJ)},d(fI,fJ)={1-∑kmin(hI k,hJ k)};
其中,cy为相邻两个镜头片段合并后的内容范围,fI为所述相邻两个镜头片段中的一个片段的关键帧,fJ为所述相邻两个镜头片段中的另一片段的关键帧,hI k为fI的颜色直方图中的第k个分量,hJ k为fJ的颜色直方图中的第k个分量。
所述镜头合并子模块4042,包括:
第一相似度计算单元4042E,用于计算第一图片相似度,所述第一图片相似度为相邻两个所述镜头片段的首帧图片的相似度;
第六检测单元4042F,用于检测所述第一图片相似度是否大于第一相似度阈值;
第二合并单元4042G,用于若检测结果为所述第一图片相似度大于所述第一相似度阈值,则将所述相邻两个镜头片段合并。
所述镜头合并子模块4042,包括:
第二相似度计算单元4042H,用于计算第二图片相似度,所述第二图片相似度为相邻三个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度;
第七检测单元4042I,用于检测所述第二图片相似度是否大于第二相似度阈值;
第三合并单元4042J,用于若检测结果为所述第二图片相似度大于所述第二相似度阈值,则将所述相邻三个镜头片段合并。
所述镜头合并子模块4042,包括:
第三相似度计算单元4042K,用于计算第三图片相似度和第四图片相似度,所述第三图片相似度为相邻四个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度,所述第四图片相似度为所述相邻四个镜头片段中的第二个镜头片段和第四个镜头片段的首帧图片的相似度;
第八检测单元4042L,用于检测所述第三图片相似度是否大于第三相似度阈值,并检测所述第四图片相似度是否大于第四相似度阈值;
第四合并单元4042M,用于若检测结果为所述第三图片相似度大于所述第三相似度阈值,且所述第四图片相似度大于所述第四相似度阈值,则将所述相邻四个镜头片段合并。
所述第二过滤子模块4045,包括:
第九检测单元4045A,用于检测相邻两个所述基础画面分割点之间的时间间隔是否不小于第四时长阈值;
第三确定单元4045B,用于若检测结果为所述相邻两个基础画面分割点之间的时间间隔不小于所述第四时长阈值,则将所述相邻两个基础画面分割点确定为初选基础画面分割点;
第五删除单元4045C,用于删除所述初选基础画面分割点之外的其它基础画面分割点;
第十检测单元4045D,用于检测相邻两个所述初选基础画面分割点之间的时间间隔是否小于第五时长阈值;
第六删除单元4045E,用于若检测结果为所述相邻两个初选基础画面分割点之间的时间间隔小于所述第五时长阈值,则删除所述相邻两个初选基础画面分割点中的任意一个分割点。
所述视频分割点获得模块405,包括:
判断子模块4051,用于判断所述第一分割点的个数是否小于分割点个数阈值;
第四确认子模块4052,用于若所述第一分割点的个数小于所述分割点个数阈值,则将所述第二分割点确认为所述视频分割点;
调整子模块4053,用于若所述第一分割点的个数不小于所述分割点个数阈值,则将所述第一分割点调整至最近的所述基础画面分割点;
第五确认子模块4054,用于将调整后的所述第一分割点确认为所述视频分割点。
所述设备还包括:
均分模块406,用于将所述视频分割点中第一个分割点和最后一个分割点之间的时间间隔平均分成N等份,获得N-1个等份点;
第一删除模块407,用于删除所述视频分割点中除符合预定条件的分割点之外的其它分割点,所述符合预定条件的分割点为所述视频分割点中,第一个分割点以及每个所述等份点之后的第一个分割点。
所述设备还包括:
第一检测模块408,用于检测相邻两个所述视频分割点之间的时间间隔是否大于第六时长阈值;
第一添加模块409,用于若检测结果为所述相邻两个视频分割点之间的时间间隔大于所述第六时长阈值,则将所述基础画面分割点中与所述相邻两个视频分割点之间的时间间隔处于预定范围内的随机一个分割点添加为所述视频分割点。
所述设备还包括:
图片获取模块410,用于获取所述目标视频最后预定时间段内的各帧图片;
计算模块411,用于计算所述最后预定时间段内的各帧图片相对于各自的前一帧图片,在预定位置处的像素变化率;
第二添加模块412,用于将目标图片组中的首帧图片对应的播放时间点添加为所述视频分割点,所述目标图片组为所述各帧图片中首个由连续M帧各自对应的像素变化率小于变化率阈值的图片组成的图片组,M为正整数。
所述设备还包括:
第二检测模块413,用于检测所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔是否小于第七时长阈值;
第二删除模块414,用于若检测结果为所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔小于所述第七时长阈值,则将所述最近一个视频分割点删除。
综上所述,本发明实施例提供的设备,通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,根据音频和画面相结合的方式获取视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的;另外,本发明实施例提供的设备,根据音频文件中的音量数据获取第一分割点,不涉及频域处理,计算复杂度小,分割效率高;最后,本发明实施例提供的设备,通过对视频分割点进行进一步的优选和补充,使视频分割点的分布尽量均匀,进一步提高了分割效果。
请参见图5,其示出了本发明一个实施例提供的视频分割点获得设备的设备构成图。该视频分割点获得设备可以包括:
至少一个I/O接口001、至少一个处理器002,比如CPU、存储器003和显示器004;存储器003可能包含高速Ram存储器,也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器003可选的可以包含至少一个位于远离前述处理器002的存储装置。在一些实施方式中,存储器003存储了如下的元素,模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统0031,包含各种程序,用于实现各种基础业务以及处理基于硬件的任务;
应用模块0032,包含一个或多个模块,所述一个或多个模块被配置由所述一个或多个处理器002执行,所述一个或多个模块具有如下功能:
获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据,根据所述目标视频的音量数据获得第一分割点;
获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片,根据所述若干帧图片获得第二分割点;
根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
综上所述,本发明实施例提供的设备,通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,根据音频和画面相结合的方式获取视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的。
为了对上述图5所示的视频分割点获得设备做进一步的描述,请参见图6,其示出了本发明另一实施例提供的视频分割点获得设备的设备构成图。该设备可以用于自动获得目标视频的视频分割点。该目标视频可以是电视或电影视频,且该视频分割点获得设备可以用于获得该电视或电影视频的故事情节分割点。该视频分割点获得设备可以包括:
至少一个I/O接口005、至少一个处理器006,比如CPU、存储器007和显示器008;存储器007可能包含高速Ram存储器,也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器007可选的可以包含至少一个位于远离前述处理器006的存储装置。在一些实施方式中,存储器007存储了如下的元素,模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统0071,包含各种程序,用于实现各种基础业务以及处理基于硬件的任务;
应用模块0072,包含一个或多个模块,所述一个或多个模块被配置由所述一个或多个处理器006执行,所述一个或多个模块具有如下功能:
获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据,根据所述目标视频的音量数据获得第一分割点;
获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片,根据所述若干帧图片获得第二分割点;
根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
所述根据所述目标视频的音量数据获得第一分割点,包括:
对所述音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号;
对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,所述音量序列中包含有0和1两种元素,每个所述元素对应一帧所述音频信号,各个所述元素按照各自对应的所述音频信号的播放时间点的先后顺序排列;
根据所述音量序列获得基础音频分割点;
对所述基础音频分割点进行过滤,将过滤后剩余的所述基础音频分割点确认为所述第一分割点。
所述对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,包括:
获取二值化阈值T;
将所述若干帧音频信号各自对应的音量数据中,大于所述二值化阈值T的音量数据设置为1,小于等于所述二值化阈值T的音量数据设置为0;
根据设置结果获得所述音量序列。
所述获取二值化阈值T,包括:
获取预先设置的所述二值化阈值T;
或者,
计算所述若干帧音频信号各自对应的音量数据的平均值Mean;根据所述平均值Mean获取所述二值化阈值T,T=Mean*k,k为预设的比例系数。
所述根据所述音量序列获得基础音频分割点,包括:
确定第一类型元素组和第二类型元素组,所述第一类型元素组包括所述音量序列中首次出现的连续两个0元素所组成的元素组以及各个在所述第二类型元素组之后首次出现的连续两个0元素所组成的元素组,所述第二类型元素组包括各个在所述第一类型元素组之后首次出现的由连续N个1元素组成的元素组,N为正整数;
将所述第一类型元素组和所述第二类型元素组的首个元素对应的所述音频信号的播放时间点确认为所述基础音频分割点。
所述对所述基础音频分割点进行过滤,包括:
计算所述基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2
检测所述差值是否小于差值阈值;
若检测结果为所述差值小于所述差值阈值,则删除所述基础音频分割点。
所述对所述基础音频分割点进行过滤,包括:
检测相邻两个所述基础音频分割点之间的时间间隔是否小于第一时长阈值;
若检测结果为所述相邻两个基础音频分割点之间的时间间隔小于所述第一时长阈值,则删除所述相邻两个基础音频分割点中的任意一个分割点。
所述对所述基础音频分割点进行过滤,包括:
检测相邻两个所述基础音频分割点之间的时间间隔是否不小于第二时长阈值;
若检测结果为所述相邻两个基础音频分割点之间的时间间隔不小于所述第二时长阈值,则将所述相邻两个基础音频分割点确定为初选基础音频分割点;
删除所述初选基础音频分割点之外的其它基础音频分割点;
检测相邻两个所述初选基础音频分割点之间的时间间隔是否小于第三时长阈值;
若检测结果为所述相邻两个初选基础音频分割点之间的时间间隔小于所述第三时长阈值,则删除所述相邻两个初选基础音频分割点中的任意一个分割点。
所述若干帧图片对应有各自的播放时间点;所述根据所述若干帧图片获得第二分割点,包括:
将所述若干帧图片按照镜头进行切分,获得若干个镜头片段;
对所述若干个镜头片段进行合并;
根据合并结果获得至少一个合并后的镜头片段;
将目标图片所对应的播放时间点确认为基础画面分割点,所述目标图片为各个所述至少一个合并后的镜头片段的首帧图片;
对所述基础画面分割点进行过滤,将过滤后剩余的所述基础画面分割点确认为所述第二分割点。
所述对所述若干个镜头片段进行合并,包括:
计算相邻两个所述镜头片段各自的内容范围c1和c2,所述内容范围用于表征对应镜头片段的视觉特性;
计算所述相邻两个镜头片段合并后的内容范围cm
检测c1+c2≥cm是否成立;
若检测结果为c1+c2≥cm成立,则将所述相邻两个镜头片段合并。
所述计算相邻两个所述镜头片段各自的内容范围c1和c2,包括:
根据第一公式计算所述相邻两个镜头片段各自的内容范围c1和c2,所述第一公式为:
cx=max{d(fi,fj)},d(fi,fj)={1-∑kmin(hi k,hj k)};
其中,cx为单个镜头片段的内容范围,fi和fj为所述单个镜头片段的关键帧,hi k为fi的颜色直方图中的第k个分量,hj k为fj的颜色直方图中的第k个分量;
所述计算所述相邻两个镜头片段合并后的内容范围cm,包括:
根据第二公式计算所述相邻两个镜头片段合并后的内容范围cm,所述第二公式为:
cy=max{d(fI,fJ)},d(fI,fJ)={1-∑kmin(hI k,hJ k)};
其中,cy为相邻两个镜头片段合并后的内容范围,fI为所述相邻两个镜头片段中的一个片段的关键帧,fJ为所述相邻两个镜头片段中的另一片段的关键帧,hI k为fI的颜色直方图中的第k个分量,hJ k为fJ的颜色直方图中的第k个分量。
所述对所述若干个镜头片段进行合并,包括:
计算第一图片相似度,所述第一图片相似度为相邻两个所述镜头片段的首帧图片的相似度;
检测所述第一图片相似度是否大于第一相似度阈值;
若检测结果为所述第一图片相似度大于所述第一相似度阈值,则将所述相邻两个镜头片段合并。
所述对所述若干个镜头片段进行合并,包括:
计算第二图片相似度,所述第二图片相似度为相邻三个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度;
检测所述第二图片相似度是否大于第二相似度阈值;
若检测结果为所述第二图片相似度大于所述第二相似度阈值,则将所述相邻三个镜头片段合并。
所述对所述若干个镜头片段进行合并,包括:
计算第三图片相似度和第四图片相似度,所述第三图片相似度为相邻四个所述镜头片段中的第一个镜头片段和第三个镜头片段的首帧图片的相似度,所述第四图片相似度为所述相邻四个镜头片段中的第二个镜头片段和第四个镜头片段的首帧图片的相似度;
检测所述第三图片相似度是否大于第三相似度阈值,并检测所述第四图片相似度是否大于第四相似度阈值;
若检测结果为所述第三图片相似度大于所述第三相似度阈值,且所述第四图片相似度大于所述第四相似度阈值,则将所述相邻四个镜头片段合并。
其特征在于,所述对所述基础画面分割点进行过滤,包括:
检测相邻两个所述基础画面分割点之间的时间间隔是否不小于第四时长阈值;
若检测结果为所述相邻两个基础画面分割点之间的时间间隔不小于所述第四时长阈值,则将所述相邻两个基础画面分割点确定为初选基础画面分割点;
删除所述初选基础画面分割点之外的其它基础画面分割点;
检测相邻两个所述初选基础画面分割点之间的时间间隔是否小于第五时长阈值;
若检测结果为所述相邻两个初选基础画面分割点之间的时间间隔小于所述第五时长阈值,则删除所述相邻两个初选基础画面分割点中的任意一个分割点。
所述根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点,包括:
判断所述第一分割点的个数是否小于分割点个数阈值;
若所述第一分割点的个数小于所述分割点个数阈值,则将所述第二分割点确认为所述视频分割点;
若所述第一分割点的个数不小于所述分割点个数阈值,则将所述第一分割点调整至最近的所述基础画面分割点,并将调整后的所述第一分割点确认为所述视频分割点。
所述功能还包括:
将所述视频分割点中第一个分割点和最后一个分割点之间的时间间隔平均分成N等份,获得N-1个等份点;
删除所述视频分割点中除符合预定条件的分割点之外的其它分割点,所述符合预定条件的分割点为所述视频分割点中,第一个分割点以及每个所述等份点之后的第一个分割点。
所述功能还包括:
检测相邻两个所述视频分割点之间的时间间隔是否大于第六时长阈值;
若检测结果为所述相邻两个视频分割点之间的时间间隔大于所述第六时长阈值,则将所述基础画面分割点中与所述相邻两个视频分割点之间的时间间隔处于预定范围内的随机一个分割点添加为所述视频分割点。
所述功能还包括:
获取所述目标视频最后预定时间段内的各帧图片;
计算所述最后预定时间段内的各帧图片相对于各自的前一帧图片,在预定位置处的像素变化率;
将目标图片组中的首帧图片对应的播放时间点添加为所述视频分割点,所述目标图片组为所述各帧图片中首个由连续M帧各自对应的像素变化率小于变化率阈值的图片组成的图片组,M为正整数。
所述功能还包括:
检测所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔是否小于第七时长阈值;
若检测结果为所述目标图片组中的首帧图片对应的播放时间点与最近一个所述视频分割点之间的时间间隔小于所述第七时长阈值,则将所述最近一个视频分割点删除。
综上所述,本发明实施例提供的设备,通过根据目标视频的音频文件中包含的音量数据获得第一分割点,根据目标视频的视频文件中包含的若干帧图片获得第二分割点,根据该第一分割点和该第二分割点获得该目标视频的视频分割点,根据音频和画面相结合的方式获取视频分割点,解决了现有技术中需要开发人员人工阅览整个目标视频并记录相关的播放时间点的问题,达到了减少开发时间,提高开发效率,降低人工成本的目的;另外,本发明实施例提供的设备,根据音频文件中的音量数据获取第一分割点,不涉及频域处理,计算复杂度小,分割效率高;最后,本发明实施例提供的设备,通过对视频分割点进行进一步的优选和补充,使视频分割点的分布尽量均匀,进一步提高了分割效果。
请参见图7,其示出了本发明一个实施例提供的视频播放方法的方法流程图,该方法可以用于在终端中播放视频,该终端可以是个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种,该方法包括:
步骤502,显示与目标视频的视频分割点相对应的分割点信息,该分割点信息为目标视频在该视频分割点处的内容的描述信息;
步骤504,根据用户对该分割点信息的操作播放该目标视频。
综上所述,本发明实施例提供的方法,通过显示与目标视频的视频分割点相对应的分割点信息,并根据用户对该分割点信息的操作播放该目标视频,达到了方便用户了解目标视频内容并有选择性的收看目标视频的目的。
为了对上述图7所示的视频分割点获得设备做进一步的描述,请参见图8,其示出了本发明另一实施例提供的视频播放方法的方法流程图,该方法可以用于在终端中播放视频,该终端可以是个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种,该方法包括:
步骤602,终端显示与目标视频的视频分割点相对应的分割点信息;
该分割点信息为该目标视频在该视频分割点处的内容的描述信息;该视频分割点可以是视频分割点获得设备通过上述图1或图2所示的视频分割点获得方法获得的视频分割点。
另外,该视频分割点可以是目标视频中的播放时间点,该视频分割点信息中可以包括视频分割点对应的缩略图、该视频分割点对应的文字描述信息。在视频分割点获得设备通过上述图1或图2所示的视频分割点获得方法获得视频分割点之后,可以获取各个视频分割点对应的图片,并根据获得的图片制作各个视频分割点对应的缩略图。此外,开发人员还可以人工为每个视频分割点添加文字描述信息,比如每个视频分割点对应的故事情节梗概。
其中,终端中可以预先存储该目标视频的分割点信息,也可以在播放目标视频时从服务器获取该分割点信息,该分割点信息可以通过可扩展标记语言(Extensible Markup Language,XML)文件的形式保存或传输。
步骤604,终端根据用户对该分割点信息的操作播放该目标视频。
终端可以显示各个视频分割点对应的缩略图;和/或,终端可以显示各个视频分割点对应的文字描述信息。当用户对某一缩略图或者文字描述信息对应区域进行选择操作时,终端可以直接从对应的视频分割点处开始播放该目标视频。
具体的,请参见图9,其示出了本发明实施例提供的一种分割点信息显示示意图,终端可以在目标视频的播放区域的某一侧,比如右侧,以列表的形式显示各个视频分割点对应的缩略图,该缩略图的下部还显示有对应视频分割点的文字描述信息。当用户选择某一缩略图时,比如,用户通过鼠标点击、触摸点击或者通过遥控器选择某一缩略图时,终端可以直接从该缩略图对应的视频分割点处开始播放该目标视频。
或者,请参见图10,其示出了本发明实施例提供的另一种分割点信息显示示意图,终端可以在目标视频的播放区域的下方,直接显示各个视频分割点对应的文字描述信息。当用户选择某一文字描述信息对应的显示区域时,比如,用户通过鼠标点击、触摸点击或者通过遥控器选择某一文字描述信息对应的显示区域时,终端可以直接从该文字描述信息对应的视频分割点处开始播放该目标视频。
此外,现有技术提供的视频播放方法中,视频分割点以点状图形显示在目标视频的播放进度条中,只有当鼠标光标指向该点状图形时,才会显示对应的视频分割点的缩略图和文字描述信息。这种方法只适用于带有鼠标设备的终端,比如个人电脑,但不适用于智能手机、平板电脑或者网络电视机顶盒等没有鼠标设备的终端,特别的,由于网络电视机顶盒只能通过遥控器进行控制,不方便对目标视频的播放进度条中显示的点状图形进行选择操作。而本发明实施例提供的视频播放方法,通过显示各个视频分割点对应的缩略图和/或文字描述信息,不仅适用于个人电脑,还适用于智能手机、平板电脑或者网络电视机顶盒等不包含鼠标设备的终端,达到了扩展应用范围,提高用户体验的目的。
综上所述,本发明实施例提供的方法,通过显示与目标视频的视频分割点相对应的分割点信息,并根据用户对该分割点信息的操作播放该目标视频,达到了方便用户了解目标视频内容并有选择性的收看目标视频的目的;此外,本发明实施例提供的方法,通过显示各个视频分割点对应的缩略图和/或文字描述信息,解决了现有技术中将视频分割点以点状图形显示在目标视频的播放进度条上的方法不适用于智能手机、平板电脑或者网络电视机顶盒等不包含鼠标设备的终端的问题,达到了扩展应用范围,提高用户体验的目的。
请参见图11,其示出了本发明一个实施例提供的终端的设备构成图。该终端可以包括:
分割点信息显示模块701,用于显示与目标视频的视频分割点相对应的分割点信息,所述分割点信息为所述目标视频在所述视频分割点处的内容的描述信息;
播放模块702,用于根据用户对所述分割点信息的操作播放所述目标视频。
综上所述,本发明实施例提供的终端,通过显示与目标视频的视频分割点相对应的分割点信息,并根据用户对该分割点信息的操作播放该目标视频,达到了方便用户了解目标视频内容并有选择性的收看目标视频的目的。
为了对上述图11所示的终端做进一步的描述,请参见图12,其示出了本发明另一实施例提供的终端的设备构成图。该终端可以是个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种,该终端可以包括:
分割点信息显示模块801,用于显示与目标视频的视频分割点相对应的分割点信息,所述分割点信息为所述目标视频在所述视频分割点处的内容的描述信息;
播放模块802,用于根据用户对所述分割点信息的操作播放所述目标视频。
所述分割点信息显示模块801,包括:
第一显示子模块8011,用于显示各个所述视频分割点对应的缩略图;
第二显示子模块8012,用于显示各个所述视频分割点对应的文字描述信息;
其中,所述分割点信息包括:所述视频分割点对应的缩略图和/或所述视频分割点对应的文字描述信息。
综上所述,本发明实施例提供的终端,通过显示与目标视频的视频分割点相对应的分割点信息,并根据用户对该分割点信息的操作播放该目标视频,达到了方便用户了解目标视频内容并有选择性的收看目标视频的目的;此外,本发明实施例提供的终端,通过显示各个视频分割点对应的缩略图和/或文字描述信息,解决了现有技术中将视频分割点以点状图形显示在目标视频的播放进度条上的方法不适用于智能手机、平板电脑或者网络电视机顶盒等不包含鼠标设备的终端的问题,达到了扩展应用范围,提高用户体验的目的。
请参见图13,其示出了本发明一个实施例提供的终端的设备构成图。该终端可以包括:
至少一个I/O接口009、至少一个处理器010,比如CPU、存储器011和显示器012;存储器011可能包含高速Ram存储器,也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器011可选的可以包含至少一个位于远离前述处理器010的存储装置。在一些实施方式中,存储器011存储了如下的元素,模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统0111,包含各种程序,用于实现各种基础业务以及处理基于硬件的任务;
应用模块0112,包含一个或多个模块,所述一个或多个模块被配置由所述一个或多个处理器010执行,所述一个或多个模块具有如下功能:
显示与目标视频的视频分割点相对应的分割点信息,所述分割点信息为所述目标视频在所述视频分割点处的内容的描述信息;
根据用户对所述分割点信息的操作播放所述目标视频。
综上所述,本发明实施例提供的终端,通过显示与目标视频的视频分割点相对应的分割点信息,并根据用户对该分割点信息的操作播放该目标视频,达到了方便用户了解目标视频内容并有选择性的收看目标视频的目的。
为了对上述图13所示的终端做进一步的描述,请参见图14,其示出了本发明另一实施例提供的终端的设备构成图。该终端可以是个人电脑、智能手机、平板电脑、电子书阅读器或者网络电视机顶盒中的一种,该终端可以包括:
至少一个I/O接口013、至少一个处理器014,比如CPU、存储器015和显示器016;存储器015可能包含高速Ram存储器,也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器015可选的可以包含至少一个位于远离前述处理器014的存储装置。在一些实施方式中,存储器015存储了如下的元素,模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统0151,包含各种程序,用于实现各种基础业务以及处理基于硬件的任务;
应用模块0152,包含一个或多个模块,所述一个或多个模块被配置由所述一个或多个处理器014执行,所述一个或多个模块具有如下功能:
显示与目标视频的视频分割点相对应的分割点信息,所述分割点信息为所述目标视频在所述视频分割点处的内容的描述信息;
根据用户对所述分割点信息的操作播放所述目标视频。
所述分割点信息包括:所述视频分割点对应的缩略图和/或所述视频分割点对应的文字描述信息;
所述显示与目标视频的视频分割点相对应的分割点信息,包括:
显示各个所述视频分割点对应的缩略图;
和/或,显示各个所述视频分割点对应的文字描述信息。
综上所述,本发明实施例提供的终端,通过显示与目标视频的视频分割点相对应的分割点信息,并根据用户对该分割点信息的操作播放该目标视频,达到了方便用户了解目标视频内容并有选择性的收看目标视频的目的;此外,本发明实施例提供的终端,通过显示各个视频分割点对应的缩略图和/或文字描述信息,解决了现有技术中将视频分割点以点状图形显示在目标视频的播放进度条上的方法不适用于智能手机、平板电脑或者网络电视机顶盒等不包含鼠标设备的终端的问题,达到了扩展应用范围,提高用户体验的目的。
需要说明的是:上述实施例提供的视频分割点获得设备与终端在获得目标视频的视频分割点以及播放目标视频时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备或者终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频分割点获得设备与视频分割点获得的方法实施例属于同一构思,上述实施例提供的终端与视频播放的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (24)

1.一种视频分割点获得方法,其特征在于,所述方法包括:
获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据,根据所述目标视频的音量数据获得第一分割点;
获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片,根据所述若干帧图片获得第二分割点;
根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标视频的音量数据获得第一分割点,包括:
对所述音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号;
对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,所述音量序列中包含有0和1两种元素,每个所述元素对应一帧所述音频信号,各个所述元素按照各自对应的所述音频信号的播放时间点的先后顺序排列;
根据所述音量序列获得基础音频分割点;
对所述基础音频分割点进行过滤,将过滤后剩余的所述基础音频分割点确认为所述第一分割点。
3.根据权利要求2所述的方法,其特征在于,所述对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,包括:
获取二值化阈值T;
将所述若干帧音频信号各自对应的音量数据中,大于所述二值化阈值T的音量数据设置为1,小于等于所述二值化阈值T的音量数据设置为0;
根据设置结果获得所述音量序列。
4.根据权利要求3所述的方法,其特征在于,所述获取二值化阈值T,包括:
获取预先设置的所述二值化阈值T;
或者,
计算所述若干帧音频信号各自对应的音量数据的平均值Mean;根据所述平均值Mean获取所述二值化阈值T,T=Mean*k,k为预设的比例系数。
5.根据权利要求2至4任一所述的方法,其特征在于,所述根据所述音量序列获得基础音频分割点,包括:
确定第一类型元素组和第二类型元素组,所述第一类型元素组包括所述音量序列中首次出现的连续两个0元素所组成的元素组以及各个在所述第二类型元素组之后首次出现的连续两个0元素所组成的元素组,所述第二类型元素组包括各个在所述第一类型元素组之后首次出现的由连续N个1元素组成的元素组,N为正整数;
将所述第一类型元素组和所述第二类型元素组的首个元素对应的所述音频信号的播放时间点确认为所述基础音频分割点。
6.根据权利要求5所述的方法,其特征在于,所述对所述基础音频分割点进行过滤,包括:
计算所述基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2
检测所述差值是否小于差值阈值;
若检测结果为所述差值小于所述差值阈值,则删除所述基础音频分割点。
7.根据权利要求5所述的方法,其特征在于,所述对所述基础音频分割点进行过滤,包括:
检测相邻两个所述基础音频分割点之间的时间间隔是否小于第一时长阈值;
若检测结果为所述相邻两个基础音频分割点之间的时间间隔小于所述第一时长阈值,则删除所述相邻两个基础音频分割点中的任意一个分割点。
8.根据权利要求1所述的方法,其特征在于,所述若干帧图片对应有各自的播放时间点;所述根据所述若干帧图片获得第二分割点,包括:
将所述若干帧图片按照镜头进行切分,获得若干个镜头片段;
对所述若干个镜头片段进行合并;
根据合并结果获得至少一个合并后的镜头片段;
将目标图片所对应的播放时间点确认为基础画面分割点,所述目标图片为各个所述至少一个合并后的镜头片段的首帧图片;
对所述基础画面分割点进行过滤,将过滤后剩余的所述基础画面分割点确认为所述第二分割点。
9.根据权利要求8所述的方法,其特征在于,所述对所述若干个镜头片段进行合并,包括:
计算相邻两个所述镜头片段各自的内容范围c1和c2,所述内容范围用于表征对应镜头片段的视觉特性;
计算所述相邻两个镜头片段合并后的内容范围cm
检测c1+c2≥cm是否成立;
若检测结果为c1+c2≥cm成立,则将所述相邻两个镜头片段合并。
10.根据权利要求8所述的方法,其特征在于,所述对所述若干个镜头片段进行合并,包括:
计算第一图片相似度,所述第一图片相似度为相邻两个所述镜头片段的首帧图片的相似度;
检测所述第一图片相似度是否大于第一相似度阈值;
若检测结果为所述第一图片相似度大于所述第一相似度阈值,则将所述相邻两个镜头片段合并。
11.根据权利要求8至10任一所述的方法,其特征在于,所述对所述基础画面分割点进行过滤,包括:
检测相邻两个所述基础画面分割点之间的时间间隔是否不小于第四时长阈值;
若检测结果为所述相邻两个基础画面分割点之间的时间间隔不小于所述第四时长阈值,则将所述相邻两个基础画面分割点确定为初选基础画面分割点;
删除所述初选基础画面分割点之外的其它基础画面分割点;
检测相邻两个所述初选基础画面分割点之间的时间间隔是否小于第五时长阈值;
若检测结果为所述相邻两个初选基础画面分割点之间的时间间隔小于所述第五时长阈值,则删除所述相邻两个初选基础画面分割点中的任意一个分割点。
12.根据权利要求11所述的方法,其特征在于,所述根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点,包括:
判断所述第一分割点的个数是否小于分割点个数阈值;
若所述第一分割点的个数小于所述分割点个数阈值,则将所述第二分割点确认为所述视频分割点;
若所述第一分割点的个数不小于所述分割点个数阈值,则将所述第一分割点调整至最近的所述基础画面分割点,并将调整后的所述第一分割点确认为所述视频分割点。
13.一种视频分割点获得设备,其特征在于,所述设备包括:
音频文件获取模块,用于获取目标视频的音频文件,所述音频文件中包含有所述目标视频的音量数据;
第一分割点获得模块,用于根据所述目标视频的音量数据获得第一分割点;
视频文件获取模块,用于获取所述目标视频的视频文件,所述视频文件中包含有若干帧图片;
第二分割点获得模块,用于根据所述若干帧图片获得第二分割点;
视频分割点获得模块,用于根据所述第一分割点和所述第二分割点获得所述目标视频的视频分割点。
14.根据权利要求13所述的设备,其特征在于,所述第一分割点获得模块,包括:
分帧子模块,用于对所述音频文件进行分帧,获得若干帧各自对应有音量数据和播放时间点的音频信号;
二值化子模块,用于对所述若干帧音频信号各自对应的音量数据进行二值化,获得音量序列,所述音量序列中包含有0和1两种元素,每个所述元素对应一帧所述音频信号,各个所述元素按照各自对应的所述音频信号的播放时间点的先后顺序排列;
第一获得子模块,用于根据所述音量序列获得基础音频分割点;
第一过滤子模块,用于对所述基础音频分割点进行过滤;
第一确认子模块,用于将过滤后剩余的所述基础音频分割点确认为所述第一分割点。
15.根据权利要求14所述的设备,其特征在于,所述二值化子模块,包括:
阈值获取单元,用于获取二值化阈值T;
设置单元,用于将所述若干帧音频信号各自对应的音量数据中,大于所述二值化阈值T的音量数据设置为1,小于等于所述二值化阈值T的音量数据设置为0;
第一获得单元,用于根据设置结果获得所述音量序列。
16.根据权利要求15所述的设备,其特征在于,所述阈值获取单元,包括:
第一获取子单元,用于获取预先设置的所述二值化阈值T;
计算子单元,用于计算所述若干帧音频信号各自对应的音量数据的平均值Mean;
第二获取子单元,用于根据所述平均值Mean获取所述二值化阈值T,T=Mean*k,k为预设的比例系数。
17.根据权利要求14至16任一所述的设备,其特征在于,所述第一获得子模块,包括:
第一确定单元,用于确定第一类型元素组和第二类型元素组,所述第一类型元素组包括所述音量序列中首次出现的连续两个0元素所组成的元素组以及各个在所述第二类型元素组之后首次出现的连续两个0元素所组成的元素组,所述第二类型元素组包括各个在所述第一类型元素组之后首次出现的由连续N个1元素组成的元素组,N为正整数;
第一确认单元,用于将所述第一类型元素组和所述第二类型元素组的首个元素对应的所述音频信号的播放时间点确认为所述基础音频分割点。
18.根据权利要求17所述的设备,其特征在于,所述第一过滤子模块,包括:
差值计算单元,用于计算所述基础音频分割点前后t1时间段和t2时间段内的音量平均值的差值,t1≠t2
第一检测单元,用于检测所述差值是否小于差值阈值;
第一删除单元,用于若检测结果为所述差值小于所述差值阈值,则删除所述基础音频分割点。
19.根据权利要求17所述的设备,其特征在于,所述第一过滤子模块,包括:
第二检测单元,用于检测相邻两个所述基础音频分割点之间的时间间隔是否小于第一时长阈值;
第二删除单元,用于若检测结果为所述相邻两个基础音频分割点之间的时间间隔小于所述第一时长阈值,则删除所述相邻两个基础音频分割点中的任意一个分割点。
20.根据权利要求13所述的设备,其特征在于,所述第二分割点获得模块,包括:
镜头切分子模块,用于将所述若干帧图片按照镜头进行切分,获得若干个镜头片段;
镜头合并子模块,用于对所述若干个镜头片段进行合并;
片段获得子模块,用于根据合并结果获得至少一个合并后的镜头片段;
第二确认子模块,用于将目标图片所对应的播放时间点确认为基础画面分割点,所述目标图片为各个所述至少一个合并后的镜头片段的首帧图片;
第二过滤子模块,用于对所述基础画面分割点进行过滤;
第三确认子模块,用于将过滤后剩余的所述基础画面分割点确认为所述第二分割点;
其中,所述若干帧图片对应有各自的播放时间点。
21.根据权利要求20所述的设备,其特征在于,所述镜头合并子模块,包括:
第一范围计算单元,用于计算相邻两个所述镜头片段各自的内容范围c1和c2,所述内容范围用于表征对应镜头片段的视觉特性;
第二范围计算单元,用于计算所述相邻两个镜头片段合并后的内容范围cm
第五检测单元,用于检测c1+c2≥cm是否成立;
第一合并单元,用于若检测结果为c1+c2≥cm成立,则将所述相邻两个镜头片段合并。
22.根据权利要求20所述的设备,其特征在于,所述镜头合并子模块,包括:
第一相似度计算单元,用于计算第一图片相似度,所述第一图片相似度为相邻两个所述镜头片段的首帧图片的相似度;
第六检测单元,用于检测所述第一图片相似度是否大于第一相似度阈值;
第二合并单元,用于若检测结果为所述第一图片相似度大于所述第一相似度阈值,则将所述相邻两个镜头片段合并。
23.根据权利要求20至22任一所述的设备,其特征在于,所述第二过滤子模块,包括:
第九检测单元,用于检测相邻两个所述基础画面分割点之间的时间间隔是否不小于第四时长阈值;
第三确定单元,用于若检测结果为所述相邻两个基础画面分割点之间的时间间隔不小于所述第四时长阈值,则将所述相邻两个基础画面分割点确定为初选基础画面分割点;
第五删除单元,用于删除所述初选基础画面分割点之外的其它基础画面分割点;
第十检测单元,用于检测相邻两个所述初选基础画面分割点之间的时间间隔是否小于第五时长阈值;
第六删除单元,用于若检测结果为所述相邻两个初选基础画面分割点之间的时间间隔小于所述第五时长阈值,则删除所述相邻两个初选基础画面分割点中的任意一个分割点。
24.根据权利要求23所述的设备,其特征在于,所述视频分割点获得模块,包括:
判断子模块,用于判断所述第一分割点的个数是否小于分割点个数阈值;
第四确认子模块,用于若所述第一分割点的个数小于所述分割点个数阈值,则将所述第二分割点确认为所述视频分割点;
调整子模块,用于若所述第一分割点的个数不小于所述分割点个数阈值,则将所述第一分割点调整至最近的所述基础画面分割点;
第五确认子模块,用于将调整后的所述第一分割点确认为所述视频分割点。
CN201310465688.6A 2013-09-30 2013-09-30 视频分割点获得方法及设备 Expired - Fee Related CN104519401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310465688.6A CN104519401B (zh) 2013-09-30 2013-09-30 视频分割点获得方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310465688.6A CN104519401B (zh) 2013-09-30 2013-09-30 视频分割点获得方法及设备

Publications (2)

Publication Number Publication Date
CN104519401A true CN104519401A (zh) 2015-04-15
CN104519401B CN104519401B (zh) 2018-04-17

Family

ID=52794023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310465688.6A Expired - Fee Related CN104519401B (zh) 2013-09-30 2013-09-30 视频分割点获得方法及设备

Country Status (1)

Country Link
CN (1) CN104519401B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791087A (zh) * 2016-02-27 2016-07-20 深圳市金立通信设备有限公司 一种媒体分割方法及终端
CN106782506A (zh) * 2016-11-23 2017-05-31 语联网(武汉)信息技术有限公司 一种将录音音频分割成段的方法
CN106970771A (zh) * 2016-01-14 2017-07-21 腾讯科技(深圳)有限公司 音频数据处理方法和装置
CN107527072A (zh) * 2017-08-31 2017-12-29 北京小米移动软件有限公司 确定相似头像的方法及装置、电子设备
CN107547922A (zh) * 2016-10-28 2018-01-05 腾讯科技(深圳)有限公司 信息处理方法、装置及系统
CN107623860A (zh) * 2017-08-09 2018-01-23 北京奇艺世纪科技有限公司 多媒体数据分割方法和装置
CN108924644A (zh) * 2018-06-20 2018-11-30 北京优酷科技有限公司 视频片段提取方法及装置
CN109743624A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
CN109889882A (zh) * 2019-01-24 2019-06-14 北京亿幕信息技术有限公司 一种视频剪辑合成方法和系统
CN109982126A (zh) * 2017-12-27 2019-07-05 艾迪普(北京)文化科技股份有限公司 一种相关视频的叠加方法
CN110012350A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 一种视频处理方法及装置、设备、存储介质
CN110213670A (zh) * 2019-05-31 2019-09-06 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及存储介质
CN110392304A (zh) * 2019-06-24 2019-10-29 北京达佳互联信息技术有限公司 一种视频展示方法、装置、电子设备及存储介质
CN110505143A (zh) * 2019-08-07 2019-11-26 上海掌门科技有限公司 一种用于发送目标视频的方法与设备
CN110519655A (zh) * 2018-05-21 2019-11-29 优酷网络技术(北京)有限公司 视频剪辑方法及装置
CN111246244A (zh) * 2020-02-04 2020-06-05 北京贝思科技术有限公司 集群内快速分析处理音视频的方法、装置及电子设备
CN111263234A (zh) * 2020-01-19 2020-06-09 腾讯科技(深圳)有限公司 一种视频剪辑的方法、相关装置、设备以及存储介质
CN111601162A (zh) * 2020-06-08 2020-08-28 北京世纪好未来教育科技有限公司 视频切分方法、装置和计算机存储介质
WO2020224362A1 (zh) * 2019-05-07 2020-11-12 华为技术有限公司 视频分段方法和视频分段装置
CN111935501A (zh) * 2019-05-13 2020-11-13 杭州海康威视数字技术股份有限公司 一种场景识别方法及装置
CN112260982A (zh) * 2019-07-22 2021-01-22 华为技术有限公司 音频处理方法及设备
CN114222159A (zh) * 2021-12-01 2022-03-22 北京奇艺世纪科技有限公司 一种视频场景变化点确定和视频片段生成方法及系统
CN114363673A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 视频裁剪方法、模型训练方法及装置
CN115002337A (zh) * 2021-11-30 2022-09-02 荣耀终端有限公司 视频处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101354745A (zh) * 2008-09-03 2009-01-28 深圳市迅雷网络技术有限公司 一种视频文件的识别方法及装置
CN101616264A (zh) * 2008-06-27 2009-12-30 中国科学院自动化研究所 新闻视频编目方法及系统
CN102348049A (zh) * 2011-09-16 2012-02-08 央视国际网络有限公司 检测视频片断切点位置的方法及装置
CN102694966A (zh) * 2012-03-05 2012-09-26 天津理工大学 一种全自动视频编目系统的构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616264A (zh) * 2008-06-27 2009-12-30 中国科学院自动化研究所 新闻视频编目方法及系统
CN101354745A (zh) * 2008-09-03 2009-01-28 深圳市迅雷网络技术有限公司 一种视频文件的识别方法及装置
CN102348049A (zh) * 2011-09-16 2012-02-08 央视国际网络有限公司 检测视频片断切点位置的方法及装置
CN102694966A (zh) * 2012-03-05 2012-09-26 天津理工大学 一种全自动视频编目系统的构建方法

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106970771A (zh) * 2016-01-14 2017-07-21 腾讯科技(深圳)有限公司 音频数据处理方法和装置
CN106970771B (zh) * 2016-01-14 2020-01-14 腾讯科技(深圳)有限公司 音频数据处理方法和装置
CN105791087A (zh) * 2016-02-27 2016-07-20 深圳市金立通信设备有限公司 一种媒体分割方法及终端
CN107547922A (zh) * 2016-10-28 2018-01-05 腾讯科技(深圳)有限公司 信息处理方法、装置及系统
CN107547922B (zh) * 2016-10-28 2019-12-17 腾讯科技(深圳)有限公司 信息处理方法、装置、系统及计算机可读存储介质
CN106782506A (zh) * 2016-11-23 2017-05-31 语联网(武汉)信息技术有限公司 一种将录音音频分割成段的方法
CN107623860A (zh) * 2017-08-09 2018-01-23 北京奇艺世纪科技有限公司 多媒体数据分割方法和装置
CN107527072A (zh) * 2017-08-31 2017-12-29 北京小米移动软件有限公司 确定相似头像的方法及装置、电子设备
CN109982126A (zh) * 2017-12-27 2019-07-05 艾迪普(北京)文化科技股份有限公司 一种相关视频的叠加方法
CN110519655A (zh) * 2018-05-21 2019-11-29 优酷网络技术(北京)有限公司 视频剪辑方法及装置
CN108924644B (zh) * 2018-06-20 2021-11-26 阿里巴巴(中国)有限公司 视频片段提取方法及装置
CN108924644A (zh) * 2018-06-20 2018-11-30 北京优酷科技有限公司 视频片段提取方法及装置
CN109743624A (zh) * 2018-12-14 2019-05-10 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
WO2020119508A1 (zh) * 2018-12-14 2020-06-18 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
CN109743624B (zh) * 2018-12-14 2021-08-17 深圳壹账通智能科技有限公司 视频切割方法、装置、计算机设备和存储介质
CN109889882B (zh) * 2019-01-24 2021-06-18 深圳亿幕信息科技有限公司 一种视频剪辑合成方法和系统
CN109889882A (zh) * 2019-01-24 2019-06-14 北京亿幕信息技术有限公司 一种视频剪辑合成方法和系统
CN110012350A (zh) * 2019-03-25 2019-07-12 联想(北京)有限公司 一种视频处理方法及装置、设备、存储介质
WO2020224362A1 (zh) * 2019-05-07 2020-11-12 华为技术有限公司 视频分段方法和视频分段装置
CN111935501A (zh) * 2019-05-13 2020-11-13 杭州海康威视数字技术股份有限公司 一种场景识别方法及装置
CN110213670A (zh) * 2019-05-31 2019-09-06 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及存储介质
CN110213670B (zh) * 2019-05-31 2022-01-07 北京奇艺世纪科技有限公司 视频处理方法、装置、电子设备及存储介质
CN110392304A (zh) * 2019-06-24 2019-10-29 北京达佳互联信息技术有限公司 一种视频展示方法、装置、电子设备及存储介质
CN112260982B (zh) * 2019-07-22 2022-03-11 华为技术有限公司 音频处理方法及设备
CN112260982A (zh) * 2019-07-22 2021-01-22 华为技术有限公司 音频处理方法及设备
CN110505143A (zh) * 2019-08-07 2019-11-26 上海掌门科技有限公司 一种用于发送目标视频的方法与设备
CN111263234B (zh) * 2020-01-19 2021-06-15 腾讯科技(深圳)有限公司 一种视频剪辑的方法、相关装置、设备以及存储介质
CN111263234A (zh) * 2020-01-19 2020-06-09 腾讯科技(深圳)有限公司 一种视频剪辑的方法、相关装置、设备以及存储介质
CN111246244A (zh) * 2020-02-04 2020-06-05 北京贝思科技术有限公司 集群内快速分析处理音视频的方法、装置及电子设备
CN111246244B (zh) * 2020-02-04 2023-05-23 北京贝思科技术有限公司 集群内快速分析处理音视频的方法、装置及电子设备
CN111601162A (zh) * 2020-06-08 2020-08-28 北京世纪好未来教育科技有限公司 视频切分方法、装置和计算机存储介质
CN111601162B (zh) * 2020-06-08 2022-08-02 北京世纪好未来教育科技有限公司 视频切分方法、装置和计算机存储介质
CN115002337A (zh) * 2021-11-30 2022-09-02 荣耀终端有限公司 视频处理方法及装置
CN114222159A (zh) * 2021-12-01 2022-03-22 北京奇艺世纪科技有限公司 一种视频场景变化点确定和视频片段生成方法及系统
CN114363673A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 视频裁剪方法、模型训练方法及装置
CN114363673B (zh) * 2022-01-10 2022-12-27 北京百度网讯科技有限公司 视频裁剪方法、模型训练方法及装置

Also Published As

Publication number Publication date
CN104519401B (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
CN104519401A (zh) 视频分割点获得方法及设备
CN104394422B (zh) 一种视频分割点获取方法及装置
CN112291627B (zh) 一种视频编辑方法、装置、移动终端和存储介质
US11670339B2 (en) Video acquisition method and device, terminal and medium
US7594177B2 (en) System and method for video browsing using a cluster index
US6278466B1 (en) Creating animation from a video
US8301669B2 (en) Concurrent presentation of video segments enabling rapid video file comprehension
US9002175B1 (en) Automated video trailer creation
WO2007126097A1 (ja) 画像処理装置及び画像処理方法
US20030016750A1 (en) Frame-interpolated variable-rate motion imaging system
KR20110043612A (ko) 이미지 처리
WO2007126096A1 (ja) 画像処理装置及び画像処理方法
WO1998021688A1 (en) Method and apparatus for efficiently representing, storing and accessing video information
JP2010503101A (ja) 画像のコラージュを生成するための方法及び電子装置
US7929028B2 (en) Method and system for facilitating creation of content
CN111095939A (zh) 识别媒体项目的先前流传输部分以避免重复重放
CN103997687A (zh) 用于向视频增加交互特征的技术
JP5424930B2 (ja) 画像編集装置およびその制御方法およびプログラム
CN106851162A (zh) 视频录制方法及装置
US20140173437A1 (en) Nonlinear proxy-based editing system and method having improved audio level controls
WO2017108426A1 (en) Method, apparatus and arrangement for summarizing and browsing video content
JP2008166895A (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
CN1595970A (zh) 根据开始/结束片段特定画面检测广告片段的方法及系统
US10474743B2 (en) Method for presenting notifications when annotations are received from a remote device
WO2009044351A1 (en) Generation of image data summarizing a sequence of video frames

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171213

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Applicant after: Guangdong Gaohang Intellectual Property Operation Co., Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant before: Huawei Technologies Co., Ltd.

CB03 Change of inventor or designer information

Inventor after: He Jinwei

Inventor after: Sun Jianbo

Inventor after: Li Si

Inventor after: Li Guanglai

Inventor before: Hao Hongxia

Inventor before: Liu Zhongyang

CB03 Change of inventor or designer information
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180214

Address after: 266061 Shandong Province, Qingdao city Laoshan District Songling Road No. 169 Building No. 2 software outsourcing center 202A

Applicant after: He Jinwei

Applicant after: Sun Jianbo

Applicant after: Li Si

Applicant after: Li Guanglai

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Applicant before: Guangdong Gaohang Intellectual Property Operation Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417

Termination date: 20200930