CN114297434A - 基于gpu集群的短视频信息流智能推荐方法 - Google Patents
基于gpu集群的短视频信息流智能推荐方法 Download PDFInfo
- Publication number
- CN114297434A CN114297434A CN202111644973.5A CN202111644973A CN114297434A CN 114297434 A CN114297434 A CN 114297434A CN 202111644973 A CN202111644973 A CN 202111644973A CN 114297434 A CN114297434 A CN 114297434A
- Authority
- CN
- China
- Prior art keywords
- video
- short video
- recommendation method
- gpu cluster
- key frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了基于GPU集群的短视频信息流智能推荐方法：包含以下步骤：确定视频图像的关键帧；通过关键帧抽取结合音频特征提取的方式对视频特征进行标记；对视频的数据进行结构化分层处理；建立子系统，并将该子系统分成召回阶段和排序阶段；对召回阶段召回的视频进行二次标记，并将排序阶段的视频逐次推荐给用户。本发明依托用户大数据的积累和机器算法，能快速帮用户找到感兴趣的短视频内容，也能帮视频上传者准确找到喜欢他们内容的用户。通过智能算法建立向用户个性化推荐短视频内容的分发机制，能够提高短视频有效播放率，实现精准推送，提升了用户体验，增加了用户浏览时长及短视频分发效率，解决广告位短缺和变现转化率低的问题。
Description
技术领域
本发明涉及短视频推荐技术领域，具体涉及基于GPU集群的短视频信息流智能推荐方法。
背景技术
短视频行业的飞速发展和竞争的激烈程度，使得行业的分工越来越明确。行业内的公司不得不集中精力在自己的领域内深耕和发展。这使得他们无暇消耗时间、金钱、精力成本再拓展其他技术领域。另外，用户在为移动互联网贡献时长也会达到顶峰，这意味着流量红利的消失，增加收入的办法只有一个，那就是提高流量的单体价值，更加精准和有效，通过数据的加持使得流量变现实现增长。在此形势下，唯有利用数据广告平台的能力来补足自己的缺失短板，才能以更短的时间和更低的成本获得商业机会和利润。
当前移动互联网内容风口即短视频，越来越多的平台或广告主扎根在此，但最稀缺的是流量、用户和对内容的打磨。如何保证向用户提供“差异化”优质内容，如何适应不同人群进行个性化精准推荐分发，如何借助视频信息流广告实现价值裂变，已经成了当下最急迫的需求。鉴于现状，如果开发一款具备视频标签智能分类、个性化内容精准推荐等功能模块于一体的系统模型，可以面向用户端进行精准分流推荐，能够有助于提高用户黏性，提升用户体验。
发明内容
为解决现有技术中的不足，本发明提供一种基于GPU集群的短视频信息流智能推荐方法，解决了现有技术中短视频信息流推荐不够精准的技术问题。
为了实现上述目标，本发明采用如下技术方案：
基于GPU集群的短视频信息流智能推荐方法：包含以下步骤：
确定视频图像的关键帧；
通过关键帧抽取结合音频特征提取的方式对视频特征进行标记；
对视频的数据进行结构化分层处理；
建立子系统，并将该子系统分成召回阶段和排序阶段；
对召回阶段召回的视频进行二次标记，并将排序阶段的视频逐次推荐给用户。
优选，前述的基于GPU集群的短视频信息流智能推荐方法：视频图像的关键帧确定通过以下方法：
获取视频内部的画面序列；
分割所述内部画面序列的视频序列场景，并得到至少两个场景片段；
提取至少两个场景片段的关键帧，并得到与场景片段对应的有效关键帧；
根据有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据综合评估结果确定视频关键帧。
优选，前述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：关键帧抽取结合音频特征提取的具体方法是：
分别训练音频与视频模型；
根据应用场景的需求，对卷积神经网络结构进行设计；
采用卷积神经网络模型对特征进行提取；
其中卷积神经网络包含AlexNet，VGGNet，Google InceptonNet，LSTM中的任意一种或多种。
优选，前述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当采用多种卷积神经网络模型时，还对多种卷积神经网络模型进行融合，在模型的分类模块中，将采用多个不同的分类模型分别预测，且采用加权和的方式获得最终结果。
优选，前述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：子系统包含短视频实时多标签分类系统、短视频内容监控系统及短视频个性化推荐系统
优选，前述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当对直播的视频进行标记时，对所直播的视频进行间隔采样，然后对采样后的短视频形式输送到视频分类系统进行分类审核，当出现系统预设的敏感图像时，直接推送至人工审核。
优选，前述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当视频界面中存在另一个播放界面时，对该播放界面采用相同的标记推荐方法，当出现疑似违规时，进行人工审核。
优选，前述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当视频被召回时，在排序阶段对召回结果进行统一的打分排序，并将选出最优的少量结果直接推荐给用户。
本发明所达到的有益效果：
本发明通过智能视频实时分类系统，可以通过短视频推荐系统实现个性化，有效避免同质化推荐的困境，提升企业竞争力，并实现企业运营效益的整体提升。
本发明依托用户大数据的积累和机器算法，能快速帮用户找到感兴趣的短视频内容，也能帮视频上传者准确找到喜欢他们内容的用户。通过智能算法建立向用户个性化推荐短视频内容的分发机制，能够提高短视频有效播放率，实现精准推送，提升了用户体验，增加了用户浏览时长及短视频分发效率。
良好的推荐系统能够提升短视频应用的变现能力。大数据技术使得短视频平台在研究用户一系列数据的基础上，判断用户喜好，构建分发机制，为更多小众但精品的内容提供浮出水面的机会。同时，也能在一定程度上解决广告位短缺和转化率低迷等变现问题。
附图说明
图1是本发明整体流程图；
图2是本发明数据进行结构化分层处理原理图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本实施例公开了基于GPU集群的短视频信息流智能推荐方法：包含以下步骤：确定视频图像的关键帧，帧图像是构成视频的最低单元，它提供了诸如研究对象的颜色特征，轮廓信息，运动特征等等信息。关键帧是图像帧中典型的具有代表性的图像帧，能够较为完整的反映视频的内容。考虑到短视频和直播均具有场景单一的特点。如何针对视频特点提出关键帧选择方式也是挑战之一。本实施例中视频图像的关键帧确定通过以下方法：获取视频内部的画面序列；分割所述内部画面序列的视频序列场景，并得到至少两个场景片段；提取至少两个场景片段的关键帧，并得到与场景片段对应的有效关键帧；根据有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据综合评估结果确定视频关键帧。
单纯的针对帧图像进行特征提取进而对视频进行分类又是不足够的。由于不同的人因为先验知识的不同故而对于视频帧图像中对象的理解的语义信息也是不一样的，同时视频帧图像本身又是按照一定的时序关系组织起来的，所以对于视频结构的理解还需要上升到语义层面。鉴于上述原因，本实施例通过关键帧抽取结合音频特征提取的方式对视频特征进行标记。
关键帧抽取结合音频特征提取的具体方法是：分别训练音频与视频模型；根据应用场景的需求，对卷积神经网络结构进行设计；采用卷积神经网络模型对特征进行提取；其中卷积神经网络包含AlexNet，VGGNet，Google InceptonNet，LSTM中的任意一种或多种。
视频内容丰富，结构复杂，如果直接针对帧图像或者音频等数据进行处理往往会导致维数灾难。所以比较好的做法就是对于视频的数据进行结构化分层处理，如图2所示，图2是本实施例中数据结构化分层处理原理图。
建立子系统，并将该子系统分成召回阶段和排序阶段；子系统包含短视频实时多标签分类系统、短视频内容监控系统及短视频个性化推荐系统。
对召回阶段召回的视频进行二次标记，并将排序阶段的视频逐次推荐给用户。召回阶段根据用户的兴趣和历史行为，同千万级的视频库中挑选出一个小的候选集。这些候选都是用户感兴趣的内容，排序阶段在此基础上进行更精准的计算，能够给每一个视频进行精确打分，进而从成千上万的候选中选出用户最感兴趣的少量高质量内容。
当采用多种卷积神经网络模型时，还对多种卷积神经网络模型进行融合，在模型的分类模块中，将采用多个不同的分类模型分别预测，且采用加权和的方式获得最终结果。
直播相比于小视频时长较长，场景更为单一，变化缓慢的特点。当对直播的视频进行标记时，对所直播的视频进行间隔采样，然后对采样后的短视频形式输送到视频分类系统进行分类审核，当出现系统预设的敏感图像时，直接推送至人工审核。实时直播监管需要对上述训练好的视频分类模型进行调整，设计帧抽取方式，例如抽取间隔时长，抽取连续帧数目等，实时监控直播过程中的主播行为，智能识别吸烟、驾车、赌博、侵权转播等场景，降低直播平台管理成本。当检测到非法内容时，需立即传输给人工审核员进行最终判定。
当视频界面中存在另一个播放界面时，例如界面中的手机、平板直播，这种界面通常内容呈现部分所占比例很小且十分模糊、不明显，当出现色情、暴恐等不良信息的时候，需要单独对该界面进行同样方式的提取及标记，当出现疑似违规时，直接进行人工审核。
当视频被召回时，在排序阶段对召回结果进行统一的打分排序，并将选出最优的少量结果直接推荐给用户。
用户画像包含用户的人群属性、历史行为、兴趣内容和偏好倾向等多维度的分析，是个性化的基石。召回算法包含了多个通道的召回模型，比如协同过滤，主题模型，内容召回和SNS等通道，能够从视频库中选出多样性的偏好内容。特征工程包含了视频的类别标签，人群偏好和统计特征等全方位的描绘和度量，是视频内容和质量分析的基础。排序模型对多个召回通道的内容进行同一个打分排序，选出最优的少量结果。除了这些之外推荐系统能够进行个性化定制，可实现推荐结果的多样性，新鲜度和惊喜度等多个维度，更能够满足用户多样性的需求。
在召回阶段，多个通道的召回的内容是不具有可比性的，并且因为数据量太大也难以进行更加精确的偏好和质量评估，因此需要在排序阶段对召回结果进行统一的准确的打分排序。用户对视频的满意度是有很多维度因子来决定的，这些因子在用户满意度中的重要性也各不相同，甚至各个因子之间还有多层依赖关系，人为制定复杂的规则既难以达到好的效果，又不具有可维护性，这就需要借助机器学习的方法，使用机器学习模型来综合多方面的因子进行排序。
本发明通过智能视频实时分类系统，可以通过短视频推荐系统实现个性化，有效避免同质化推荐的困境，提升企业竞争力，并实现企业运营效益的整体提升。
本发明依托用户大数据的积累和机器算法，能快速帮用户找到感兴趣的短视频内容，也能帮视频上传者准确找到喜欢他们内容的用户。通过智能算法建立向用户个性化推荐短视频内容的分发机制，能够提高短视频有效播放率，实现精准推送，提升了用户体验，增加了用户浏览时长及短视频分发效率。
良好的推荐系统能够提升短视频应用的变现能力。大数据技术使得短视频平台在研究用户一系列数据的基础上，判断用户喜好，构建分发机制，为更多小众但精品的内容提供浮出水面的机会。同时，也能在一定程度上解决广告位短缺和转化率低迷等变现问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.基于GPU集群的短视频信息流智能推荐方法，其特征在于：包含以下步骤：
确定视频图像的关键帧；
通过关键帧抽取结合音频特征提取的方式对视频特征进行标记；
对视频的数据进行结构化分层处理；
建立子系统，并将该子系统分成召回阶段和排序阶段；
对召回阶段召回的视频进行二次标记，并将排序阶段的视频逐次推荐给用户。
2.根据权利要求1所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：视频图像的关键帧确定通过以下方法：
获取视频内部的画面序列；
分割所述内部画面序列的视频序列场景，并得到至少两个场景片段；
提取至少两个场景片段的关键帧，并得到与场景片段对应的有效关键帧；
根据有效关键帧的人脸检测结果、图像熵值得到综合评估结果，并根据综合评估结果确定视频关键帧。
3.根据权利要求1所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：关键帧抽取结合音频特征提取的具体方法是：
分别训练音频与视频模型；
根据应用场景的需求，对卷积神经网络结构进行设计；
采用卷积神经网络模型对特征进行提取；
其中卷积神经网络包含AlexNet，VGGNet，Google InceptonNet，LSTM中的任意一种或多种。
4.根据权利要求3所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当采用多种卷积神经网络模型时，还对多种卷积神经网络模型进行融合，在模型的分类模块中，将采用多个不同的分类模型分别预测，且采用加权和的方式获得最终结果。
5.根据权利要求1所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：子系统包含短视频实时多标签分类系统、短视频内容监控系统及短视频个性化推荐系统。
6.根据权利要求1所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当对直播的视频进行标记时，对所直播的视频进行间隔采样，然后对采样后的短视频形式输送到视频分类系统进行分类审核，当出现系统预设的敏感图像时，直接推送至人工审核。
7.根据权利要求1所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于：当视频界面中存在另一个播放界面时，对该播放界面采用相同的标记推荐方法，当出现疑似违规时，进行人工审核。
8.根据权利要求1所述的基于GPU集群的短视频信息流智能推荐方法，其特征在于： 当视频被召回时，在排序阶段对召回结果进行统一的打分排序，并将选出最优的少量结果直接推荐给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111644973.5A CN114297434A (zh) | 2021-12-30 | 2021-12-30 | 基于gpu集群的短视频信息流智能推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111644973.5A CN114297434A (zh) | 2021-12-30 | 2021-12-30 | 基于gpu集群的短视频信息流智能推荐方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114297434A true CN114297434A (zh) | 2022-04-08 |
Family
ID=80970831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111644973.5A Pending CN114297434A (zh) | 2021-12-30 | 2021-12-30 | 基于gpu集群的短视频信息流智能推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114297434A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494982A (zh) * | 2022-04-08 | 2022-05-13 | 北京嘉沐安科技有限公司 | 一种基于人工智能的直播视频大数据精准推荐方法及系统 |
| CN115065872A (zh) * | 2022-06-17 | 2022-09-16 | 联通沃音乐文化有限公司 | 一种影音视频的智能推荐方法及系统 |
| CN116028721A (zh) * | 2023-03-30 | 2023-04-28 | 深圳市壹通道科技有限公司 | 一种5g消息推送系统 |
-
2021
- 2021-12-30 CN CN202111644973.5A patent/CN114297434A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494982A (zh) * | 2022-04-08 | 2022-05-13 | 北京嘉沐安科技有限公司 | 一种基于人工智能的直播视频大数据精准推荐方法及系统 |
| CN114494982B (zh) * | 2022-04-08 | 2022-12-20 | 华夏文广传媒集团股份有限公司 | 一种基于人工智能的直播视频大数据精准推荐方法及系统 |
| CN115065872A (zh) * | 2022-06-17 | 2022-09-16 | 联通沃音乐文化有限公司 | 一种影音视频的智能推荐方法及系统 |
| CN116028721A (zh) * | 2023-03-30 | 2023-04-28 | 深圳市壹通道科技有限公司 | 一种5g消息推送系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114297434A (zh) | 基于gpu集群的短视频信息流智能推荐方法 | |
| CN101621636B (zh) | 基于视觉注意力模型的广告标志自动插入和变换方法及系统 | |
| Schwenzow et al. | Understanding videos at scale: How to extract insights for business research | |
| CN111225234B (zh) | 视频审核方法、视频审核装置、设备和存储介质 | |
| US11166076B2 (en) | Intelligent viewer sentiment predictor for digital media content streams | |
| CN106202475B (zh) | 一种视频推荐列表的推送方法及装置 | |
| CN112153483B (zh) | 信息植入区域的检测方法、装置及电子设备 | |
| CN101477633B (zh) | 自动估计图像和视频的视觉显著度的方法 | |
| CN101894125B (zh) | 一种基于内容的视频分类方法 | |
| WO2021082589A1 (zh) | 内容审核模型的训练方法和装置、视频内容的审核方法和装置、计算机设备以及存储介质 | |
| CN110287372A (zh) | 用于负反馈的标签确定方法、视频推荐方法及其装置 | |
| CN112598438A (zh) | 一种基于大规模用户画像的户外广告推荐系统及方法 | |
| CN108415913A (zh) | 基于不确定邻居的人群定向方法 | |
| CN113742567B (zh) | 一种多媒体资源的推荐方法、装置、电子设备及存储介质 | |
| CN110191171B (zh) | 气象信息传播方法 | |
| CN111861550B (zh) | 一种基于ott设备的家庭画像构建方法及系统 | |
| CN113761253A (zh) | 视频标签确定方法、装置、设备及存储介质 | |
| Arantes et al. | Understanding video-ad consumption on YouTube: a measurement study on user behavior, popularity, and content properties | |
| CN105184611A (zh) | 广告效果量化方法和展示系统 | |
| CN111581435B (zh) | 一种视频封面图像生成方法、装置、电子设备及存储介质 | |
| US11849184B2 (en) | System for dynamic multimedia analysis, matching and decision-making | |
| CN115601081A (zh) | 基于大数据分析的线上数字化展会服务管理系统 | |
| CN110414471B (zh) | 基于双模型的视频识别方法及系统 | |
| US20120259683A1 (en) | Methods and apparatus to generate and utilize venue profiles | |
| CN113408470A (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |