CN116828270A - 一种视频数据流智能分段标签方法及系统 - Google Patents

一种视频数据流智能分段标签方法及系统 Download PDF

Info

Publication number
CN116828270A
CN116828270A CN202310814509.9A CN202310814509A CN116828270A CN 116828270 A CN116828270 A CN 116828270A CN 202310814509 A CN202310814509 A CN 202310814509A CN 116828270 A CN116828270 A CN 116828270A
Authority
CN
China
Prior art keywords
video
segmentation
user
segment
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310814509.9A
Other languages
English (en)
Other versions
CN116828270B (zh
Inventor
邓宇翔
陈家志
汪秋波
李韩
谢舒安
邹西山
范娴君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom Online Information Technology Co Ltd
China Unicom WO Music and Culture Co Ltd
Original Assignee
China Unicom Online Information Technology Co Ltd
China Unicom WO Music and Culture Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom Online Information Technology Co Ltd, China Unicom WO Music and Culture Co Ltd filed Critical China Unicom Online Information Technology Co Ltd
Priority to CN202310814509.9A priority Critical patent/CN116828270B/zh
Publication of CN116828270A publication Critical patent/CN116828270A/zh
Application granted granted Critical
Publication of CN116828270B publication Critical patent/CN116828270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种视频数据流智能分段标签方法及系统，所述视频数据流智能分段标签方法包括：步骤S1，音频分割子单元获取待分段视频背景音乐出现、消失的位置以对待分段视频进行一次分割；步骤S2，热度分割子单元对第一组视频分割序列中各视频段落根据弹幕数差值进行二次分割及合并；步骤S3，场景分割子单元将待分段视频中各分割点的位置调整至发生场景变换的视频帧；步骤S4，用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对获取当前用户各感兴趣元素权值，视频整合模块对各视频段落进行整合获取用户级视频分段序列；步骤S5，客户端获取用户级视频分段序列各视频分段对当前用户的推荐指数和推荐等级。

Description

一种视频数据流智能分段标签方法及系统
技术领域
本发明涉及视频处理领域，尤其涉及一种视频数据流智能分段标签方法及系统。
背景技术
现有技术中，常见的影视剧视频分段方法是基于视频中的文字信息对视频分段，上述视频中的文字信息可以是视频中的字幕，或者是对视频进行语音识别得到的文字。换句话说，目前对视频进行分段的基础都是来自于视频本身，存在因分段形式过于单一而无法满足个体用户观看影视剧时的分段需求的问题。
中国专利CN111918145B提供了一种视频分段方法和视频分段装置，所述视频分段方法，包括：视频分段装置根据事先上传的用于描述待处理视频内容的内容描述信息和待处理视频中演示的演示文稿中的至少一个和该待处理视频的语音信息，对该待处理视频进行分段，上述技术方案可以结合除待处理视频本身的内容以外的信息，对该待处理视频进行分段，从而可以提高分段的准确性，然而，仍未解决分段形式过于单一而无法满足个体用户观看影视剧时的分段需求的问题。
发明内容
为此，本发明提供一种视频数据流智能分段标签方法及系统，能够解决因分段形式过于单一而无法满足个体用户观看影视剧时的分段需求的问题。
为实现上述目的，本发明提供一种视频数据流智能分段标签方法及系统，所述视频数据流智能分段标签方法包括：
步骤S1，设置于视频分割模块中的音频分割子单元对待分段视频内音频进行背景音乐识别，所述音频分割子单元将待分段视频背景音乐起始、终止的位置作为第一组分割点，对待分段视频进行一次分割，获取第一组视频分割序列，所述视频分割模块设定第一组视频分割序列内含背景音乐的视频段落为第一关键段落组，设定不含背景音乐的视频段落的为待处理段落组；
步骤S2，设置于所述视频分割模块中的热度分割子单元获取待分段视频的单位时间弹幕数，所述热度分割子单元根据弹幕数差值对待处理段落组进行二次分割，并根据二次分割后的各视频段落的时长将相邻视频段落进行合并，获得第二组视频分割序列，所述视频分割模块设定第二组视频分割序列内单位时间弹幕数高于单位秒数内弹幕数量第三阈值，且视频段落时长不超过视频分段时长最高阈值的视频段落为第二关键段落组；
步骤S3，设置于所述视频分割模块中的场景分割子单元获取第二组视频分割序列各分割点，所述场景分割子单元以各分割点作为时段中轴，识别各所述分割点前ta时长的视频节与各所述分割点后ta时长的视频节是否存在场景变换，其中，ta为0.5倍的视频分段时长最低阈值，场景分割子单元将第二组视频分割序列各分割点的位置调整至发生场景变换的视频帧以获取第三组视频分割序列，其中，位置调整的各分割点不包括用于划分第一关键段落组的分割点与用于划分第二关键段落组的分割点，场景分割子单元获取第三组视频分割序列的各视频段落时长，并根据场景变换对第三组视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割以获取第四组视频分割序列；
步骤S4，与所述视频分割模块相连接的用户画像分析模块根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合A，所述用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对所述集合A中感兴趣元素进行权重分配以获得各所述感兴趣元素的权值，与用户画像分析模块相连接的视频整合模块根据各所述感兴趣元素的权值与第四组视频分割序列的各视频段落内容的匹配度对第四组视频分割序列的各视频段落进行整合获取用户级视频分段序列，其中，所述视频整合模块不对第一关键段落组和第二关键段落组进行整合；
步骤S5，与所述视频整合模块相连接的客户端根据当前用户的用户级视频分段序列对当前用户显示视频的分段，并对各视频分段内容进行标注，同时所述客户端根据当前用户各所述感兴趣元素的权值以及与客户端相连接的数据统计系统基于大数据获取的视频分段倍速播放的时长覆盖率，计算用户级视频分段序列各视频分段对当前用户的推荐指数，客户端根据用户级视频分段序列各视频分段对当前用户的推荐指数向当前用户显示用户级视频分段序列各视频分段的推荐等级。
进一步地，当所述音频分割子单元完成对待分段视频的一次分割并获取第一组视频分割序列和第一关键段落组时，所述热度分割子单元根据单位秒数内弹幕数量对不含第一关键段落组的第一组视频分割序列进行二次分割，其中，
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C≤C1时，所述热度分割子单元提取所述连续视频帧的首帧与尾帧位置作为Ⅰ类热度分割点；
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C1＜C≤C2时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅱ类热度分割点；
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C2＜C≤C3时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅲ类热度分割点；
当第一组视频分割序列某一视频段落内帧数大于30的的连续视频帧的单位秒数内弹幕数量C＞C3时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅳ类热度分割点；
其中，当α类热度分割点与α+1类热度分割点重合时，所述热度分割子单元将重合的α类热度分割点与α+1类热度分割点合并，且将合并后分割点设为α+1类热度分割点，α＝Ⅰ，Ⅱ，Ⅲ，热度分割子单元预设C1为单位秒数内弹幕数量第一阈值，预设C2为单位秒数内弹幕数量第二阈值，预设C3为单位秒数内弹幕数量第三阈值。
进一步地，当所述热度分割子单元完成对第一组视频分割序列的二次分割时，热度分割子单元获取经二次分割后的第一组视频分割序列的各视频段落时长，热度分割子单元根据各视频段落时长与视频分段时长最低阈值tmin的对比结果分别对各视频段落进行合并，其中，
当某一视频段落X时长t1≥tmin时，所述热度分割子单元判定不对当前视频段落进行合并；
当某一视频段落X时长t1≤tmin时，所述热度分割子单元判定对当前视频视频段落进行合并，其中，当与视频段落X相邻的上一视频段落的时长与下一视频段落的时长不相等时，所述热度分割子单元将当前视频段落并入上一视频段落与下一视频段落中时长较小的视频段落，当与视频段落X相邻的上一视频段落的时长与下一视频段落的时长相等时，所述热度分割子单元将视频段落X并入上一视频段落。
进一步地，当所述热度分割子单元完成步骤S2获取第二组视频分割序列和第二关键段落组时，所述场景分割子单元以各分割点作为时段中轴，识别各所述分割点前ta时长的视频节P与各所述分割点后ta时长的视频节Q是否存在场景变换，场景分割子单元根据视频节P与视频节Q场景变换的识别结果对各分割点进行位置调整，其中，各分割点不包括用于划分第一关键段落组的分割点与用于划分第二关键段落组的分割点，其中，
当视频节P与视频节Q不存在场景变换时，所述场景分割子单元不对当前分割点位置进行调整；
当视频节P与视频节Q存在场景变换时，所述场景分割子单元将当前分割点位置调整至发生场景变换且距当前分割点位置距离最近的的视频帧位置；
其中，ta＝0.5×tmin。
进一步地，当获取步骤S3的第三组视频分割序列时，所述场景分割子单元获取第三组视频分割序列的各视频段落时长，并根据第三组视频分割序列的各视频段落内的场景变换的视频帧位置对第三组视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割，其中，
当第三组视频分割序列中时长超过视频分段时长最高阈值的某一视频段落R内存在场景变换时，所述场景分割子单元在视频段落R中发生场景变换的视频帧位置添加分割点；
当第三组视频分割序列中时长超过视频分段时长最高阈值的某一视频段落R内不存在场景变换，或第三组视频分割序列中某一视频段落R时长不超过视频分段时长最高阈值时，所述场景分割子单元不对所述视频段落R再次分割。
进一步地，当获取步骤S4中的第四组视频分割序列时，所述用户画像分析模块根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合A，所述用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对所述集合A中感兴趣元素进行权重分配，其中，
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间72h内时，所述用户画像分析模块设置元素B的权值为1；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过72h而不超过7天时，所述用户画像分析模块设置元素B的权值为0.8；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过7天而不超过30天时，所述用户画像分析模块设置元素B的权值为0.5；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过30天而不超过90天时，所述用户画像分析模块设置元素B的权值为0.3；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过90天时，所述用户画像分析模块设置元素B的权值为0.05。
进一步地，当所述用户画像分析模块获取当前用户感兴趣元素集合A中各感兴趣元素权值时，所述视频整合模块设定第四组视频分割序列第n视频段落感兴趣元素的集合为集合T，设定第四组视频分割序列第n+1视频段落感兴趣元素的集合为集合Z，1≤n≤N-1，N为第四组视频分割序列内视频段落的数量，视频整合模块根据集合T和集合Z的并集内元素数量E与集合T和集合Z的交集数量e判定是否对第四组视频分割序列第n视频段落与第n+1视频段落进行整合，其中，
当E≤3，且e/E＝1，或3＜E≤10，且e/E≥0.8，或E＞10，且e/E≥0.6时，所述视频整合模块判定对第四组视频分割序列第n视频段落与第n+1视频段落进行整合；
当E≤3，且e/E＜1，或3＜E≤10，且e/E＜0.8，或E＞10，且e/E＜0.6时，所述视频整合模块判定不对第四组视频分割序列第n视频段落与第n+1视频段落进行整合；
其中，所述视频整合模块不对第一关键段落组和第二关键段落组进行整合。
进一步地，当所述视频整合模块获取用户级视频分段序列时，所述客户端计算当前用户感兴趣元素的总权值M＝1×m1+0.8×m2+0.5×m3+0.3×m4+0.05×m5，其中，m1为当前用户权值为1的感兴趣元素数量，m2为当前用户权值为0.8的感兴趣元素数量，m3为当前用户权值为0.5的感兴趣元素数量，m4为当前用户权值为0.3的感兴趣元素数量，m5为当前用户权值为0.05的感兴趣元素数量，客户端根据当前用户各感兴趣元素权值计算用户级视频分段序列某一视频分段的推荐指数基础值，其中，
当用户级视频分段序列某一视频分段Y中不存在权值为1的感兴趣元素，且不存在权值为0.8的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Ma’＝0.5×(0.5×m3’+0.3×m4’+0.05×m5’)；
当用户级视频分段序列某一视频分段Y中不存在权值为1的感兴趣元素，但存在权值为0.8的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Mb’＝0.8×m2’+0.5×m3’+0.3×m4’+0.05×m5’；
当用户级视频分段序列某一视频分段Y中存在权值为1的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Mc’＝1.2×(1×m1’+0.8×m2’+0.5×m3’+0.3×m4’+0.05×m5’)；
其中，m1’为视频分段Y中当前用户的权值为1的感兴趣元素数量；m2’为视频分段Y中当前用户的权值为0.8的感兴趣元素数量，m3’为视频分段Y中当前用户的权值为0.5的感兴趣元素数量，m4’为视频分段Y中当前用户的权值为0.3的感兴趣元素数量，m5’为视频分段Y中当前用户的权值为0.05的感兴趣元素数量。
进一步地，当所述客户端获取用户级视频分段序列各视频分段的推荐指数基础值Mγ’时，γ＝a，b，c，客户端计算用户级视频分段序列各视频分段对当前用户的推荐指数I＝k×Mγ’，k为推荐指数调整系数，客户端根据所述数据统计模块基于大数据获取的用户级视频分段序列中各视频分段某一视频节倍速播放的时长覆盖率获取推荐指数调整系数k，其中，
当所述数据统计模块统计的用户群体中超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率超过50％，所述客户端获取推荐指数调整系数k＝0.7；
当所述数据统计模块统计的用户群体中不超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率超过50％，所述客户端获取推荐指数调整系数k＝1；
当所述数据统计模块统计的用户群体中超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率不超过50％，所述客户端获取推荐指数调整系数k＝0.9；
当所述数据统计模块统计的用户群体中不超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率不超过50％，所述客户端获取推荐指数调整系数k＝1.1。
进一步地，当所述客户端获取用户级视频分段序列各视频分段对当前用户的推荐指数时，客户端根据用户级视频分段序列各视频分段对当前用户的推荐指数I与推荐指数阈值的对比结果向当前用户显示用户级视频分段序列各视频分段的推荐等级，其中，
当I＜I1时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为一级；
当I1≤I＜I2时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为二级；
当I≥I2时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为三级；
其中，所述客户端预设推荐指数第一阈值I1＝0.2×M，预设推荐指数第二阈值I2＝0.4×M，M为当前用户感兴趣元素的总权值。
与现有技术相比，本发明的有益效果在于，本发明设置音频分割子单元，能够根据视频节中是否存在背景音乐判断该视频节内容是否为剧集精彩段落，进而对所述视频节进行优先提取并保留，并实现第一次视频分割；本发明设置热度分割子单元，能够根据各视频节的观众喜爱度从用户层对视频精彩段落再次对部分视频节进行提取和保留；并实现第二次视频分割；本发明设置场景分割模块，避免某一视频节因分割不合理或分割不完全二导致时长过长而导致降低用户观剧体验，将场景切换位置作为分割点能够减小习惯跳跃播放的用户的割裂感；本发明设置用户画像分析模块，能够基于用户自身兴趣调整视频的分割序列，使视频分割方式更加个性化；本发明客户端能够将大数据与用户自身兴趣进行结合，使对用户推荐的视频段落更加符合用户的喜爱度，使面对用户的视频段落标签内容满足客户需求。
尤其，本发明热度分割子单元设置三个单位秒数内弹幕数量阈值，能够将第一组视频分割序列除第一关键段落组外的视频段落按照热度再次进行划分，由于弹幕为视频观看过程实时发送，因此弹幕数是判断某一视频段落热度的决定性参数，当弹幕数较高时，能够判定该视频段落对于多数用户较为精彩；当弹幕数较低时，能够判定该视频段落对于一部分用户是非感兴趣区域，通过弹幕数对待分段视频进行二次划分，能够基于大数据对视频中精彩片段进行准确提取。
尤其，本发明热度分割子单元为避免某一视频段落的时长过短导致分割视频后部分视频段落过于割裂，热度割子模块将分割后时长过短的视频分段进行合并，使各视频分段在分割后最大程度保留内容的逻辑完整性，本发明选择待合并视频分段的相邻两个视频分段中时长较小的视频分段，能够保证合并后的视频分段时长更加合理，避免出现时长较长的视频分段变得更长的情况。
尤其，本发明场景分割子单元对以各分割点为时间中轴，以视频分段时长最低阈值为视频时长的视频节进行场景变换识别，进而调节热度分割子单元设置的分割点，能够避免对视频进行分割后各视频分段内容逻辑不完整不清晰，本发明场景分割子单元选取视频分段时长最低阈值为视频时长的视频节，能够避免调节位置后的新分割点造成重新分割后的各视频分段时长不合理的情况。
尤其，本发明场景分割子单元对经过分割点调整的第三组视频分割序列进行再次分段，由于第一关键段落组与第二关键段落组的时长必然不超过视频分段时长最高阈值，因此场景分割子单元能够自动绕开第一关键段落组与第二关键段落组而不对其进行拆分，场景分割子单元将时长超过视频分段时长最高阈值的视频段落进行分割，对时长超过视频分段时长最高阈值而对不存在场景变换的视频段落整体保留，能够保证各视频分段内容的逻辑完整，同时对未分段完全的视频段落根据场景变换再次分段以实现剧情线的提取。
尤其，本发明用户画像分析模块设置各感兴趣元素的权值，用户对某一感兴趣元素的历史时间越接近当前时间，则该感兴趣元素的权值越高，由于用户感兴趣元素随时变化，因此本发明用户画像分析模块根据用户的播放行为和搜索行为对感兴趣元素及感兴趣元素的权值实时更新，本发明通过对用户各感兴趣元素权值的获取，有助于后续对各视频段落进行整合，使最终的视频分段更加贴合用户当前期望。
尤其，本发明根据相邻视频段落的当前用户的感兴趣元素的数量及比重，对相邻视频段落进行整合，使部分相邻视频段落重新合并成一个整体的视频段落，能够使最终的视频序列更加符合用户需求，当相邻两个视频段落中当前用户的相同感兴趣元素数量较多时，合并视频段落能够减少用户对于视频分段的割裂感，且使各视频分段的标签内容更加符合用户兴趣。
尤其，本发明根据用户级视频分段序列各视频分段中存在的感兴趣元素数量及各感兴趣元素对应的权值获取各视频分段的推荐指数基础值，能够根据用户自身兴趣特征准确获取待调节的推荐基数，当某一视频分段中不存在权值较高的感兴趣元素时，通过对该视频分段的总权值的合理减小，能够使该视频段落的推荐指数基准值更加符合用户当前期望，使该视频段落的推荐指数更加合理。
尤其，本发明客户端基于大数据获取用户级视频分段序列中各视频分段某一视频节倍速播放的时长覆盖率，能够从用户群体的角度上对推荐指数进行相应调节，当超一半用户群体对某一视频分段中某一视频节的倍速播放的时长超过该视频分段时长的0.5倍，可以判定该视频分段为非精彩视频分段，因此选取较小的调整系数能够提高推荐指数的精确度，本发明从用户个体与用户群体两个层面获取某一视频分段的推荐指数，能够使各视频分段对不同用户精准推荐，进而精准推送各视频分段的标签内容。
尤其，本发明根据用户用户级视频分段序列各视频分段对当前用户的推荐指数进行推荐等级划分，能够使各视频分段对于不同用户的推荐程度更加清晰明确，视频分段对当前用户的推荐指数越高，所述视频分段对当前用户的推荐级别越高，由于多数用户感兴趣元素较为多元化，通过在预设推荐指数阈值时选取合适的权值系数，能够使各视频分段的推荐等级更加贴合用户，提高视频分段推荐的个性化。
附图说明
图1为发明实施例视频数据流智能分段标签系统架构示意图；
图2为发明实施例视频数据流智能分段标签方法流程图；
图3为发明实施例各组视频分割序列与用户级视频分段序列示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示，其为本发明实施例视频数据流智能分段标签系统架构示意图，所述视频数据流智能分段标签系统包括视频分割模块，与数据统计模块相连接，用于获取系统级视频分割序列，向热度分割子单元传递待分段视频各视频节单位秒数内弹幕数量，所述视频分割模块包括用于根据待分段视频内背景音乐出现、消失的位置获取第一组视频分割序列的音频分割子单元，与所述音频分割子单元相连接，用于根据单位秒数内弹幕数量对第一视频分割序列进行分割以获取第二视频分割序列的所述热度分割子单元，以及与热度分割子单元相连接，用于根据待分段视频内场景切换位置对第二视频分割序列内各分割点位置进行调整，以获取第三视频分割序列的场景分割子单元，所述场景分割子单元还用于对第三视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割以获取第四视频分割序列；所述视频分割模块还与用户画像分割模块相连接，所述画像分割模块用于根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合以及各所述感兴趣元素的权值，用户画像分析模块与视频整合模块相连接，所述视频整合模块用于根据各所述感兴趣元素的权值与第四组视频分割序列的各视频段落内容的匹配度对第四组视频分割序列的各视频段落进行整合，以获取用户级视频分段序列，视频整合模块还与客户端相连接，所述客户端用于根据当前用户各所述感兴趣元素的权值以及与客户端相连接的数据统计模块基于大数据获取的视频分段倍速播放的时长覆盖率计算用户级视频分段序列各视频分段对当前用户的推荐指数和推荐等级。
请参阅图2所示，其为本发明实施例视频数据流智能分段标签方法流程图，所述视频数据流智能分段标签方法包括：
步骤S1，设置于视频分割模块中的音频分割子单元对待分段视频内音频进行背景音乐识别，所述音频分割子单元将待分段视频背景音乐起始、终止的位置作为第一组分割点，对待分段视频进行一次分割，获取第一组视频分割序列，所述视频分割模块设定第一组视频分割序列内含背景音乐的视频段落为第一关键段落组，设定不含背景音乐的视频段落的为待处理段落组；
步骤S2，设置于所述视频分割模块中的热度分割子单元获取待分段视频的单位时间弹幕数，所述热度分割子单元根据弹幕数差值对待处理段落组进行二次分割，并根据二次分割后的各视频段落的时长将相邻视频段落进行合并，获得第二组视频分割序列，所述视频分割模块设定第二组视频分割序列内单位时间弹幕数高于单位秒数内弹幕数量第三阈值，且视频段落时长不超过视频分段时长最高阈值的视频段落为第二关键段落组；
步骤S3，设置于所述视频分割模块中的场景分割子单元获取第二组视频分割序列各分割点，所述场景分割子单元以各分割点作为时段中轴，识别各所述分割点前ta时长的视频节与各所述分割点后ta时长的视频节是否存在场景变换，其中，ta为0.5倍的视频分段时长最低阈值，场景分割子单元将第二组视频分割序列各分割点的位置调整至发生场景变换的视频帧以获取第三组视频分割序列，其中，位置调整的各分割点不包括用于划分第一关键段落组的分割点与用于划分第二关键段落组的分割点，场景分割子单元获取第三组视频分割序列的各视频段落时长，并根据场景变换对第三组视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割以获取第四组视频分割序列；
步骤S4，与所述视频分割模块相连接的用户画像分析模块根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合A，所述用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对所述集合A中感兴趣元素进行权重分配以获得各所述感兴趣元素的权值，与用户画像分析模块相连接的视频整合模块根据各所述感兴趣元素的权值与第四组视频分割序列的各视频段落内容的匹配度对第四组视频分割序列的各视频段落进行整合获取用户级视频分段序列，其中，所述视频整合模块不对第一关键段落组和第二关键段落组进行整合；
步骤S5，与所述视频整合模块相连接的客户端根据当前用户的用户级视频分段序列对当前用户显示视频的分段，并对各视频分段内容进行标注，同时所述客户端根据当前用户各所述感兴趣元素的权值以及与客户端相连接的数据统计系统基于大数据获取的视频分段倍速播放的时长覆盖率，计算用户级视频分段序列各视频分段对当前用户的推荐指数，客户端根据用户级视频分段序列各视频分段对当前用户的推荐指数向当前用户显示用户级视频分段序列各视频分段的推荐等级。
请参阅图3所示，其为本发明实施例各组视频分割序列与用户级视频分段序列示意图，黑色区域为第一关键段落组与第二关键段落组。
具体而言，本发明设置音频分割子单元，能够根据视频节中是否存在背景音乐判断该视频节内容是否为剧集精彩段落，进而对所述视频节进行优先提取并保留，并实现第一次视频分割；本发明设置热度分割子单元，能够根据各视频节的观众喜爱度从用户层对视频精彩段落再次对部分视频节进行提取和保留；并实现第二次视频分割；本发明设置场景分割模块，避免某一视频节因分割不合理或分割不完全二导致时长过长而导致降低用户观剧体验，将场景切换位置作为分割点能够减小习惯跳跃播放的用户的割裂感；本发明设置用户画像分析模块，能够基于用户自身兴趣调整视频的分割序列，使视频分割方式更加个性化；本发明客户端能够将大数据与用户自身兴趣进行结合，使对用户推荐的视频段落更加符合用户的喜爱度，使面对用户的视频段落标签内容满足客户需求。
当所述音频分割子单元完成对待分段视频的一次分割并获取第一组视频分割序列和第一关键段落组时，所述热度分割子单元根据单位秒数内弹幕数量对不含第一关键段落组的第一组视频分割序列进行二次分割，其中，
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C≤C1时，所述热度分割子单元提取所述连续视频帧的首帧与尾帧位置作为Ⅰ类热度分割点；
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C1＜C≤C2时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅱ类热度分割点；
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C2＜C≤C3时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅲ类热度分割点；
当第一组视频分割序列某一视频段落内帧数大于30的的连续视频帧的单位秒数内弹幕数量C＞C3时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅳ类热度分割点；
其中，当α类热度分割点与α+1类热度分割点重合时，所述热度分割子单元将重合的α类热度分割点与α+1类热度分割点合并，且将合并后分割点设为α+1类热度分割点，α＝Ⅰ，Ⅱ，Ⅲ，热度分割子单元预设C1为单位秒数内弹幕数量第一阈值，预设C2为单位秒数内弹幕数量第二阈值，预设C3为单位秒数内弹幕数量第三阈值。
具体而言，本发明热度分割子单元设置三个单位秒数内弹幕数量阈值，能够将第一组视频分割序列除第一关键段落组外的视频段落按照热度再次进行划分，由于弹幕为视频观看过程实时发送，因此弹幕数是判断某一视频段落热度的决定性参数，当弹幕数较高时，能够判定该视频段落对于多数用户较为精彩；当弹幕数较低时，能够判定该视频段落对于一部分用户是非感兴趣区域，通过弹幕数对待分段视频进行二次划分，能够基于大数据对视频中精彩片段进行准确提取。
当所述热度分割子单元完成对第一组视频分割序列的二次分割时，热度分割子单元获取经二次分割后的第一组视频分割序列的各视频段落时长，热度分割子单元根据各视频段落时长与视频分段时长最低阈值tmin的对比结果分别对各视频段落进行合并，其中，
当某一视频段落X时长t1≥tmin时，所述热度分割子单元判定不对当前视频段落进行合并；
当某一视频段落X时长t1≤tmin时，所述热度分割子单元判定对当前视频视频段落进行合并，其中，当与视频段落X相邻的上一视频段落的时长与下一视频段落的时长不相等时，所述热度分割子单元将当前视频段落并入上一视频段落与下一视频段落中时长较小的视频段落，当与视频段落X相邻的上一视频段落的时长与下一视频段落的时长相等时，所述热度分割子单元将视频段落X并入上一视频段落。
具体而言，本发明不对视频分段时长最低阈值进行限定，本发明实施例中热度分割子单元设定视频分段时长最低阈值tmin＝40s。
具体而言，本发明热度分割子单元为避免某一视频段落的时长过短导致分割视频后部分视频段落过于割裂，热度割子模块将分割后时长过短的视频分段进行合并，使各视频分段在分割后最大程度保留内容的逻辑完整性，本发明选择待合并视频分段的相邻两个视频分段中时长较小的视频分段，能够保证合并后的视频分段时长更加合理，避免出现时长较长的视频分段变得更长的情况。
当所述热度分割子单元完成步骤S2获取第二组视频分割序列和第二关键段落组时，所述场景分割子单元以各分割点作为时段中轴，识别各所述分割点前ta时长的视频节P与各所述分割点后ta时长的视频节Q是否存在场景变换，场景分割子单元根据视频节P与视频节Q场景变换的识别结果对各分割点进行位置调整，其中，各分割点不包括用于划分第一关键段落组的分割点与用于划分第二关键段落组的分割点，其中，
当视频节P与视频节Q不存在场景变换时，所述场景分割子单元不对当前分割点位置进行调整；
当视频节P与视频节Q存在场景变换时，所述场景分割子单元将当前分割点位置调整至发生场景变换且距当前分割点位置距离最近的的视频帧位置；
其中，ta＝0.5×tmin。
具体而言，本发明场景分割子单元对以各分割点为时间中轴，以视频分段时长最低阈值为视频时长的视频节进行场景变换识别，进而调节热度分割子单元设置的分割点，能够避免对视频进行分割后各视频分段内容逻辑不完整不清晰，本发明场景分割子单元选取视频分段时长最低阈值为视频时长的视频节，能够避免调节位置后的新分割点造成重新分割后的各视频分段时长不合理的情况。
当获取步骤S3的第三组视频分割序列时，所述场景分割子单元获取第三组视频分割序列的各视频段落时长，并根据第三组视频分割序列的各视频段落内的场景变换的视频帧位置对第三组视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割，其中，
当第三组视频分割序列中时长超过视频分段时长最高阈值的某一视频段落R内存在场景变换时，所述场景分割子单元在视频段落R中发生场景变换的视频帧位置添加分割点；
当第三组视频分割序列中时长超过视频分段时长最高阈值的某一视频段落R内不存在场景变换，或第三组视频分割序列中某一视频段落R时长不超过视频分段时长最高阈值时，所述场景分割子单元不对所述视频段落R再次分割。
具体而言，本发明场景分割子单元对经过分割点调整的第三组视频分割序列进行再次分段，由于第一关键段落组与第二关键段落组的时长必然不超过视频分段时长最高阈值，因此场景分割子单元能够自动绕开第一关键段落组与第二关键段落组而不对其进行拆分，场景分割子单元将时长超过视频分段时长最高阈值的视频段落进行分割，对时长超过视频分段时长最高阈值而对不存在场景变换的视频段落整体保留，能够保证各视频分段内容的逻辑完整，同时对未分段完全的视频段落根据场景变换再次分段以实现剧情线的提取。
当获取步骤S4中的第四组视频分割序列时，所述用户画像分析模块根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合A，所述用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对所述集合A中感兴趣元素进行权重分配，其中，
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间72h内时，所述用户画像分析模块设置元素B的权值为1；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过72h而不超过7天时，所述用户画像分析模块设置元素B的权值为0.8；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过7天而不超过30天时，所述用户画像分析模块设置元素B的权值为0.5；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过30天而不超过90天时，所述用户画像分析模块设置元素B的权值为0.3；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过90天时，所述用户画像分析模块设置元素B的权值为0.05。
具体而言，本发明用户画像分析模块设置各感兴趣元素的权值，用户对某一感兴趣元素的历史时间越接近当前时间，则该感兴趣元素的权值越高，由于用户感兴趣元素随时变化，因此本发明用户画像分析模块根据用户的播放行为和搜索行为对感兴趣元素及感兴趣元素的权值实时更新，本发明通过对用户各感兴趣元素权值的获取，有助于后续对各视频段落进行整合，使最终的视频分段更加贴合用户当前期望。
当所述用户画像分析模块获取当前用户感兴趣元素集合A中各感兴趣元素权值时，所述视频整合模块设定第四组视频分割序列第n视频段落感兴趣元素的集合为集合T，设定第四组视频分割序列第n+1视频段落感兴趣元素的集合为集合Z，1≤n≤N-1，N为第四组视频分割序列内视频段落的数量，视频整合模块根据集合T和集合Z的并集内元素数量E与集合T和集合Z的交集数量e判定是否对第四组视频分割序列第n视频段落与第n+1视频段落进行整合，其中，
当E≤3，且e/E＝1，或3＜E≤10，且e/E≥0.8，或E＞10，且e/E≥0.6时，所述视频整合模块判定对第四组视频分割序列第n视频段落与第n+1视频段落进行整合；
当E≤3，且e/E＜1，或3＜E≤10，且e/E＜0.8，或E＞10，且e/E＜0.6时，所述视频整合模块判定不对第四组视频分割序列第n视频段落与第n+1视频段落进行整合；
其中，所述视频整合模块不对第一关键段落组和第二关键段落组进行整合。
具体而言，本发明根据相邻视频段落的当前用户的感兴趣元素的数量及比重，对相邻视频段落进行整合，使部分相邻视频段落重新合并成一个整体的视频段落，能够使最终的视频序列更加符合用户需求，当相邻两个视频段落中当前用户的相同感兴趣元素数量较多时，合并视频段落能够减少用户对于视频分段的割裂感，且使各视频分段的标签内容更加符合用户兴趣。
当所述视频整合模块获取用户级视频分段序列时，所述客户端计算当前用户感兴趣元素的总权值M＝1×m1+0.8×m2+0.5×m3+0.3×m4+0.05×m5，其中，m1为当前用户权值为1的感兴趣元素数量，m2为当前用户权值为0.8的感兴趣元素数量，m3为当前用户权值为0.5的感兴趣元素数量，m4为当前用户权值为0.3的感兴趣元素数量，m5为当前用户权值为0.05的感兴趣元素数量，客户端根据当前用户各感兴趣元素权值计算用户级视频分段序列某一视频分段的推荐指数基础值，其中，
当用户级视频分段序列某一视频分段Y中不存在权值为1的感兴趣元素，且不存在权值为0.8的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Ma’＝0.5×(0.5×m3’+0.3×m4’+0.05×m5’)；
当用户级视频分段序列某一视频分段Y中不存在权值为1的感兴趣元素，但存在权值为0.8的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Mb’＝0.8×m2’+0.5×m3’+0.3×m4’+0.05×m5’；
当用户级视频分段序列某一视频分段Y中存在权值为1的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Mc’＝1.2×(1×m1’+0.8×m2’+0.5×m3’+0.3×m4’+0.05×m5’)；
其中，m1’为视频分段Y中当前用户的权值为1的感兴趣元素数量；m2’为视频分段Y中当前用户的权值为0.8的感兴趣元素数量，m3’为视频分段Y中当前用户的权值为0.5的感兴趣元素数量，m4’为视频分段Y中当前用户的权值为0.3的感兴趣元素数量，m5’为视频分段Y中当前用户的权值为0.05的感兴趣元素数量。
具体而言，本发明根据用户级视频分段序列各视频分段中存在的感兴趣元素数量及各感兴趣元素对应的权值获取各视频分段的推荐指数基础值，能够根据用户自身兴趣特征准确获取待调节的推荐基数，当某一视频分段中不存在权值较高的感兴趣元素时，通过对该视频分段的总权值的合理减小，能够使该视频段落的推荐指数基准值更加符合用户当前期望，使该视频段落的推荐指数更加合理。
当所述客户端获取用户级视频分段序列各视频分段的推荐指数基础值Mγ’时，γ＝a，b，c，客户端计算用户级视频分段序列各视频分段对当前用户的推荐指数I＝k×Mγ’，k为推荐指数调整系数，客户端根据所述数据统计模块基于大数据获取的用户级视频分段序列中各视频分段某一视频节倍速播放的时长覆盖率获取推荐指数调整系数k，其中，
当所述数据统计模块统计的用户群体中超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率超过50％，所述客户端获取推荐指数调整系数k＝0.7；
当所述数据统计模块统计的用户群体中不超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率超过50％，所述客户端获取推荐指数调整系数k＝1；
当所述数据统计模块统计的用户群体中超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率不超过50％，所述客户端获取推荐指数调整系数k＝0.9；
当所述数据统计模块统计的用户群体中不超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率不超过50％，所述客户端获取推荐指数调整系数k＝1.1。
具体而言，本发明客户端基于大数据获取用户级视频分段序列中各视频分段某一视频节倍速播放的时长覆盖率，能够从用户群体的角度上对推荐指数进行相应调节，当超一半用户群体对某一视频分段中某一视频节的倍速播放的时长超过该视频分段时长的0.5倍，可以判定该视频分段为非精彩视频分段，因此选取较小的调整系数能够提高推荐指数的精确度，本发明从用户个体与用户群体两个层面获取某一视频分段的推荐指数，能够使各视频分段对不同用户精准推荐，进而精准推送各视频分段的标签内容。
当所述客户端获取用户级视频分段序列各视频分段对当前用户的推荐指数时，客户端根据用户级视频分段序列各视频分段对当前用户的推荐指数I与推荐指数阈值的对比结果向当前用户显示用户级视频分段序列各视频分段的推荐等级，其中，
当I＜I1时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为一级；
当I1≤I＜I2时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为二级；
当I≥I2时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为三级；
其中，所述客户端预设推荐指数第一阈值I1＝0.2×M，预设推荐指数第二阈值I2＝0.4×M，M为当前用户感兴趣元素的总权值。
具体而言，本发明根据用户用户级视频分段序列各视频分段对当前用户的推荐指数进行推荐等级划分，能够使各视频分段对于不同用户的推荐程度更加清晰明确，视频分段对当前用户的推荐指数越高，所述视频分段对当前用户的推荐级别越高，由于多数用户感兴趣元素较为多元化，通过在预设推荐指数阈值时选取合适的权值系数，能够使各视频分段的推荐等级更加贴合用户，提高视频分段推荐的个性化。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频数据流智能分段标签方法，其特征在于，包括：
步骤S1，设置于视频分割模块中的音频分割子单元对待分段视频内音频进行背景音乐识别，所述音频分割子单元将待分段视频背景音乐起始、终止的位置作为第一组分割点，对待分段视频进行一次分割，获取第一组视频分割序列，所述视频分割模块设定第一组视频分割序列内含背景音乐的视频段落为第一关键段落组，设定不含背景音乐的视频段落的为待处理段落组；
步骤S2，设置于所述视频分割模块中的热度分割子单元获取待分段视频的单位时间弹幕数，所述热度分割子单元根据弹幕数差值对待处理段落组进行二次分割，并根据二次分割后的各视频段落的时长将相邻视频段落进行合并，获得第二组视频分割序列，所述视频分割模块设定第二组视频分割序列内单位时间弹幕数高于单位秒数内弹幕数量第三阈值，且视频段落时长不超过视频分段时长最高阈值的视频段落为第二关键段落组；
步骤S3，设置于所述视频分割模块中的场景分割子单元获取第二组视频分割序列各分割点，所述场景分割子单元以各分割点作为时段中轴，识别各所述分割点前ta时长的视频节与各所述分割点后ta时长的视频节是否存在场景变换，其中，ta为0.5倍的视频分段时长最低阈值，场景分割子单元将第二组视频分割序列各分割点的位置调整至发生场景变换的视频帧以获取第三组视频分割序列，其中，位置调整的各分割点不包括用于划分第一关键段落组的分割点与用于划分第二关键段落组的分割点，场景分割子单元获取第三组视频分割序列的各视频段落时长，并根据场景变换对第三组视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割以获取第四组视频分割序列；
步骤S4，与所述视频分割模块相连接的用户画像分析模块根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合A，所述用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对所述集合A中感兴趣元素进行权重分配以获得各所述感兴趣元素的权值，与用户画像分析模块相连接的视频整合模块根据各所述感兴趣元素的权值与第四组视频分割序列的各视频段落内容的匹配度对第四组视频分割序列的各视频段落进行整合获取用户级视频分段序列，其中，所述视频整合模块不对第一关键段落组和第二关键段落组进行整合；
步骤S5，与所述视频整合模块相连接的客户端根据当前用户的用户级视频分段序列对当前用户显示视频的分段，并对各视频分段内容进行标注，同时所述客户端根据当前用户各所述感兴趣元素的权值以及与客户端相连接的数据统计系统基于大数据获取的视频分段倍速播放的时长覆盖率，计算用户级视频分段序列各视频分段对当前用户的推荐指数，客户端根据用户级视频分段序列各视频分段对当前用户的推荐指数向当前用户显示用户级视频分段序列各视频分段的推荐等级。
2.根据权利要求1所述的视频数据流智能分段标签方法，其特征在于，当所述音频分割子单元完成对待分段视频的一次分割并获取第一组视频分割序列和第一关键段落组时，所述热度分割子单元根据单位秒数内弹幕数量对不含第一关键段落组的第一组视频分割序列进行二次分割，其中，
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C≤C1时，所述热度分割子单元提取所述连续视频帧的首帧与尾帧位置作为Ⅰ类热度分割点；
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C1＜C≤C2时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅱ类热度分割点；
当第一组视频分割序列某一视频段落内存在帧数大于30的连续视频帧的单位秒数内弹幕数量C2＜C≤C3时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅲ类热度分割点；
当第一组视频分割序列某一视频段落内帧数大于30的的连续视频帧的单位秒数内弹幕数量C＞C3时，所述热度分割子单元提取获取所述连续视频帧的首帧与尾帧位置作为Ⅳ类热度分割点；
其中，当α类热度分割点与α+1类热度分割点重合时，所述热度分割子单元将重合的α类热度分割点与α+1类热度分割点合并，且将合并后分割点设为α+1类热度分割点，α＝Ⅰ，Ⅱ，Ⅲ，热度分割子单元预设C1为单位秒数内弹幕数量第一阈值，预设C2为单位秒数内弹幕数量第二阈值，预设C3为单位秒数内弹幕数量第三阈值。
3.根据权利要求2所述的视频数据流智能分段标签方法，其特征在于，当所述热度分割子单元完成对第一组视频分割序列的二次分割时，热度分割子单元获取经二次分割后的第一组视频分割序列的各视频段落时长，热度分割子单元根据各视频段落时长与视频分段时长最低阈值tmin的对比结果分别对各视频段落进行合并，其中，
当某一视频段落X时长t1≥tmin时，所述热度分割子单元判定不对当前视频段落进行合并；
当某一视频段落X时长t1≤tmin时，所述热度分割子单元判定对当前视频视频段落进行合并，其中，当与视频段落X相邻的上一视频段落的时长与下一视频段落的时长不相等时，所述热度分割子单元将当前视频段落并入上一视频段落与下一视频段落中时长较小的视频段落，当与视频段落X相邻的上一视频段落的时长与下一视频段落的时长相等时，所述热度分割子单元将视频段落X并入上一视频段落。
4.根据权利要求3所述的视频数据流智能分段标签方法，其特征在于，当所述热度分割子单元完成步骤S2获取第二组视频分割序列和第二关键段落组时，所述场景分割子单元以各分割点作为时段中轴，识别各所述分割点前ta时长的视频节P与各所述分割点后ta时长的视频节Q是否存在场景变换，场景分割子单元根据视频节P与视频节Q场景变换的识别结果对各分割点进行位置调整，其中，各分割点不包括用于划分第一关键段落组的分割点与用于划分第二关键段落组的分割点，其中，
当视频节P与视频节Q不存在场景变换时，所述场景分割子单元不对当前分割点位置进行调整；
当视频节P与视频节Q存在场景变换时，所述场景分割子单元将当前分割点位置调整至发生场景变换且距当前分割点位置距离最近的的视频帧位置；
其中，ta＝0.5×tmin。
5.根据权利要求4所述的视频数据流智能分段标签方法，其特征在于，当获取步骤S3的第三组视频分割序列时，所述场景分割子单元获取第三组视频分割序列的各视频段落时长，并根据第三组视频分割序列的各视频段落内的场景变换的视频帧位置对第三组视频分割序列中时长超过视频分段时长最高阈值的视频段落再次分割，其中，
当第三组视频分割序列中时长超过视频分段时长最高阈值的某一视频段落R内存在场景变换时，所述场景分割子单元在视频段落R中发生场景变换的视频帧位置添加分割点；
当第三组视频分割序列中时长超过视频分段时长最高阈值的某一视频段落R内不存在场景变换，或第三组视频分割序列中某一视频段落R时长不超过视频分段时长最高阈值时，所述场景分割子单元不对所述视频段落R再次分割。
6.根据权利要求5所述的视频数据流智能分段标签方法，其特征在于，当获取步骤S4中的第四组视频分割序列时，所述用户画像分析模块根据当前用户播放记录与搜索记录获取并实时更新当前用户感兴趣元素集合A，所述用户画像分析模块根据当前用户播放行为与搜索行为的历史时间对所述集合A中感兴趣元素进行权重分配，其中，
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间72h内时，所述用户画像分析模块设置元素B的权值为1；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过72h而不超过7天时，所述用户画像分析模块设置元素B的权值为0.8；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过7天而不超过30天时，所述用户画像分析模块设置元素B的权值为0.5；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过30天而不超过90天时，所述用户画像分析模块设置元素B的权值为0.3；
当某一感兴趣元素B的搜索行为或播放行为出现在截至当前时间超过90天时，所述用户画像分析模块设置元素B的权值为0.05。
7.根据权利要求6所述的视频数据流智能分段标签方法，其特征在于，当所述用户画像分析模块获取当前用户感兴趣元素集合A中各感兴趣元素权值时，所述视频整合模块设定第四组视频分割序列第n视频段落感兴趣元素的集合为集合T，设定第四组视频分割序列第n+1视频段落感兴趣元素的集合为集合Z，1≤n≤N-1，N为第四组视频分割序列内视频段落的数量，视频整合模块根据集合T和集合Z的并集内元素数量E与集合T和集合Z的交集数量e判定是否对第四组视频分割序列第n视频段落与第n+1视频段落进行整合，其中，
当E≤3，且e/E＝1，或3＜E≤10，且e/E≥0.8，或E＞10，且e/E≥0.6时，所述视频整合模块判定对第四组视频分割序列第n视频段落与第n+1视频段落进行整合；
当E≤3，且e/E＜1，或3＜E≤10，且e/E＜0.8，或E＞10，且e/E＜0.6时，所述视频整合模块判定不对第四组视频分割序列第n视频段落与第n+1视频段落进行整合；
其中，所述视频整合模块不对第一关键段落组和第二关键段落组进行整合。
8.根据权利要求7所述的视频数据流智能分段标签方法，其特征在于，当所述视频整合模块获取用户级视频分段序列时，所述客户端计算当前用户感兴趣元素的总权值M＝1×m1+0.8×m2+0.5×m3+0.3×m4+0.05×m5，其中，m1为当前用户权值为1的感兴趣元素数量，m2为当前用户权值为0.8的感兴趣元素数量，m3为当前用户权值为0.5的感兴趣元素数量，m4为当前用户权值为0.3的感兴趣元素数量，m5为当前用户权值为0.05的感兴趣元素数量，客户端根据当前用户各感兴趣元素权值计算用户级视频分段序列某一视频分段的推荐指数基础值，其中，
当用户级视频分段序列某一视频分段Y中不存在权值为1的感兴趣元素，且不存在权值为0.8的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Ma’＝0.5×(0.5×m3’+0.3×m4’+0.05×m5’)；
当用户级视频分段序列某一视频分段Y中不存在权值为1的感兴趣元素，但存在权值为0.8的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Mb’＝0.8×m2’+0.5×m3’+0.3×m4’+0.05×m5’；
当用户级视频分段序列某一视频分段Y中存在权值为1的感兴趣元素时，所述客户端计算所述视频分段Y的推荐指数基础值Mc’＝1.2×(1×m1’+0.8×m2’+0.5×m3’+0.3×m4’+0.05×m5’)；
其中，m1’为视频分段Y中当前用户的权值为1的感兴趣元素数量；m2’为视频分段Y中当前用户的权值为0.8的感兴趣元素数量，m3’为视频分段Y中当前用户的权值为0.5的感兴趣元素数量，m4’为视频分段Y中当前用户的权值为0.3的感兴趣元素数量，m5’为视频分段Y中当前用户的权值为0.05的感兴趣元素数量。
9.根据权利要求8所述的视频数据流智能分段标签方法，其特征在于，当所述客户端获取用户级视频分段序列各视频分段的推荐指数基础值Mγ’时，γ＝a，b，c，客户端计算用户级视频分段序列各视频分段对当前用户的推荐指数I＝k×Mγ’，k为推荐指数调整系数，客户端根据所述数据统计模块基于大数据获取的用户级视频分段序列中各视频分段某一视频节倍速播放的时长覆盖率获取推荐指数调整系数k，其中，
当所述数据统计模块统计的用户群体中超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率超过50％，所述客户端获取推荐指数调整系数k＝0.7；
当所述数据统计模块统计的用户群体中不超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率超过50％，所述客户端获取推荐指数调整系数k＝1；
当所述数据统计模块统计的用户群体中超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率不超过50％，所述客户端获取推荐指数调整系数k＝0.9；
当所述数据统计模块统计的用户群体中不超过50％的用户对用户级视频分段序列某一视频分段D的某一视频节d进行倍速播放，且所述视频节d对所述视频分段D的时长覆盖率不超过50％，所述客户端获取推荐指数调整系数k＝1.1。
10.根据权利要求9所述的视频数据流智能分段标签方法，其特征在于，当所述客户端获取用户级视频分段序列各视频分段对当前用户的推荐指数时，客户端根据用户级视频分段序列各视频分段对当前用户的推荐指数I与推荐指数阈值的对比结果向当前用户显示用户级视频分段序列各视频分段的推荐等级，其中，
当I＜I1时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为一级；
当I1≤I＜I2时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为二级；
当I≥I2时，所述客户端向当前用户显示用户级视频分段序列各视频分段的推荐等级为三级；
其中，所述客户端预设推荐指数第一阈值I1＝0.2×M，预设推荐指数第二阈值I2＝0.4×M，M为当前用户感兴趣元素的总权值。
CN202310814509.9A 2023-07-05 2023-07-05 一种视频数据流智能分段标签方法 Active CN116828270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310814509.9A CN116828270B (zh) 2023-07-05 2023-07-05 一种视频数据流智能分段标签方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310814509.9A CN116828270B (zh) 2023-07-05 2023-07-05 一种视频数据流智能分段标签方法

Publications (2)

Publication Number Publication Date
CN116828270A true CN116828270A (zh) 2023-09-29
CN116828270B CN116828270B (zh) 2024-04-09

Family

ID=88142767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310814509.9A Active CN116828270B (zh) 2023-07-05 2023-07-05 一种视频数据流智能分段标签方法

Country Status (1)

Country Link
CN (1) CN116828270B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454465A (zh) * 2017-07-31 2017-12-08 北京小米移动软件有限公司 视频播放进度展示方法及装置、电子设备
CN108924606A (zh) * 2018-06-21 2018-11-30 中兴通讯股份有限公司 流媒体处理方法、装置、存储介质和电子装置
US20190179852A1 (en) * 2017-12-12 2019-06-13 Shanghai Bilibili Technology Co., Ltd. Recommending and presenting comments relative to video frames
CN111757170A (zh) * 2020-07-01 2020-10-09 三星电子（中国）研发中心 一种视频分段和标记的方法及装置
CN113824980A (zh) * 2021-09-09 2021-12-21 广州方硅信息技术有限公司 视频推荐方法、系统、装置及计算机设备
CN114219586A (zh) * 2022-01-14 2022-03-22 平安普惠企业管理有限公司 基于视频的购物推荐方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454465A (zh) * 2017-07-31 2017-12-08 北京小米移动软件有限公司 视频播放进度展示方法及装置、电子设备
US20190179852A1 (en) * 2017-12-12 2019-06-13 Shanghai Bilibili Technology Co., Ltd. Recommending and presenting comments relative to video frames
CN108924606A (zh) * 2018-06-21 2018-11-30 中兴通讯股份有限公司 流媒体处理方法、装置、存储介质和电子装置
CN111757170A (zh) * 2020-07-01 2020-10-09 三星电子（中国）研发中心 一种视频分段和标记的方法及装置
CN113824980A (zh) * 2021-09-09 2021-12-21 广州方硅信息技术有限公司 视频推荐方法、系统、装置及计算机设备
CN114219586A (zh) * 2022-01-14 2022-03-22 平安普惠企业管理有限公司 基于视频的购物推荐方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN116828270B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN109922373B (zh) 视频处理方法、装置及存储介质
US7738778B2 (en) System and method for generating a multimedia summary of multimedia streams
US6964021B2 (en) Method and apparatus for skimming video data
US8577207B2 (en) Information signal processing apparatus and method, information signal processing system and method, and information signal playback apparatus and method
CA2924065C (en) Content based video content segmentation
US8528019B1 (en) Method and apparatus for audio/data/visual information
CN1901638B (zh) 信息处理装置及方法
US8279343B2 (en) Summary content generation device and computer program
US20020104092A1 (en) Image distribution method and apparatus and controller
JP2005514841A (ja) マルチメディア・コンテンツをリンクするよう複数モードのストーリーをセグメントする方法及び装置
KR20060051386A (ko) 수신기 상에서 오디오비주얼 문서를 시청하는 방법 및이러한 문서를 시청하기 위한 수신기
US20130297447A1 (en) Recommended content providing apparatus, recommended content providing program and recommended content providing method
CN102890950B (zh) 媒体自动剪辑装置、方法、媒体播送方法与其播送系统
CN102118639A (zh) 信息处理装置、信息处理方法和程序
JP2001160066A (ja) データ処理装置、データ処理方法および記録媒体、並びに該データ処理方法をコンピュータに実行させるためのプログラム
KR20080090784A (ko) 전자 프로그램 정보 제어 방법 및 수신 장치
KR100374040B1 (ko) 비디오 텍스트 합성 키 프레임 추출방법
WO2014103123A1 (ja) ダイジェストを生成するための装置、方法、及びプログラム
CN110351596B (zh) 一种互联网流媒体大数据弹幕处理系统及处理方法
US20130007031A1 (en) Segment creation device, segment creation method, and segment creation program
JP2012227760A (ja) 録画装置、再生装置およびサーバー装置
CN114845149A (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN116828270B (zh) 一种视频数据流智能分段标签方法
CN117037009A (zh) 视频识别方法、装置、计算机设备和存储介质
CN112597335B (zh) 一种戏曲选段的输出装置及输出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant