CN114970955B - 基于多模态预训练模型的短视频热度预测方法及装置 - Google Patents

基于多模态预训练模型的短视频热度预测方法及装置 Download PDF

Info

Publication number
CN114970955B
CN114970955B CN202210398477.4A CN202210398477A CN114970955B CN 114970955 B CN114970955 B CN 114970955B CN 202210398477 A CN202210398477 A CN 202210398477A CN 114970955 B CN114970955 B CN 114970955B
Authority
CN
China
Prior art keywords
short video
video
information
heat prediction
author
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210398477.4A
Other languages
English (en)
Other versions
CN114970955A (zh
Inventor
呼大永
孟庆川
张鸿浩
马灿
苏浩山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang Network Space Research Center
Institute of Information Engineering of CAS
Original Assignee
Heilongjiang Network Space Research Center
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang Network Space Research Center, Institute of Information Engineering of CAS filed Critical Heilongjiang Network Space Research Center
Priority to CN202210398477.4A priority Critical patent/CN114970955B/zh
Publication of CN114970955A publication Critical patent/CN114970955A/zh
Application granted granted Critical
Publication of CN114970955B publication Critical patent/CN114970955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Operations Research (AREA)
  • Biomedical Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模态预训练模型的短视频热度预测方法及装置，所述方法包括：抽取待预测短视频的特征信息，所述特征信息包括：视频信息、文本信息、短视频作者信息和短视频作者的粉丝量；基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果；根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。本发明使预测结果与历史数据中呈现出的状态相结合，使预测结果更准确。

Description

基于多模态预训练模型的短视频热度预测方法及装置
技术领域
本发明涉及短视频服务领域，具体为一种基于多模态预训练模型的短视频热度预测方法及装置。
背景技术
随着短视频领域的兴起与繁荣，在移动端观看、评论、转发和创作短视频己经成为人们日常生活中必不可少的一种娱乐。
本发明的发明人发现，对于短视频而言，热度是非常重要的。热度基本可以用转发量和评论数来进行表示。对于短视频热度的预测可以对舆情的监管提供帮助。然而，目前并不存在针对短视频进行热度预测的技术方法，更不存在利用多模态预训练模型这种深度学习模型对短视频进行热度预测的技术方法。
发明内容
针对上述问题，本发明的目的是提供一种基于多模态预训练模型的短视频热度预测方法及装置，以对短视频的热度进行更准确的预测。
为实现上述目的，本发明采用如下技术方案：
一种基于多模态预训练模型的短视频热度预测方法，其步骤包括：
抽取待预测短视频的特征信息，所述特征信息包括：视频信息、文本信息、短视频作者信息和短视频作者的粉丝量；
基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果；
根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。
进一步地，基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果，包括：
构建短视频数据集，其中所述短视频数据集中短视频的标签为热度度量；
抽取所述短视频的样本特征，所述样本特征包括：样本视频信息和样本文本信息；
基于所述样本特征与所述标签对预训练模型进行有监督训练，得到多模态预测模型；
将视频信息与文本信息输入到所述多模态预测模型，得到所述待预测短视频的第一热度预测结果。
进一步地，所述热度度量包括：转发量、评论量或转发量与评论量之和。
进一步地，所述预训练模型的结构包括：深度神经网络。
进一步地，所述将视频信息与文本信息输入到短视频热度预测模型，得到所述待预测短视频的第一热度预测结果，包括：
将所述视频信息和文本信息分别输入到视频嵌入器和文本嵌入器，得到视频初始表示和文本初始表示；
基于所述视频初始表示和文本初始表示，计算得到上下文视频嵌入表示；
将所述上下文视频嵌入表示送入一输出层，得到所述待预测短视频的第一热度预测结果。
进一步地，所述基于所述视频初始表示和文本初始表示，计算得到上下文视频嵌入表示，包括：
将每个视觉帧及对应的局部文本上下文输入到一个跨模态Transformer中，计算文本与其对应视觉帧之间的上下文多模态嵌入；
将所有的上下文多模态嵌入输入到时间Transformer中，得到所述上下文视频嵌入表示。
进一步地，所述根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果，包括：
分别对短视频作者信息与短视频作者的粉丝量进行量化，得到作者信息量化结果与粉丝量量化结果；
通过对所述第一热度预测结果、作者信息量化结果与粉丝量量化结果进行加权计算，得到第二热度预测结果。
一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一所述方法。
一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一所述方法。
与现有技术相比，本发明至少具有以下优点：
1.本发明首次将多模态预训练模型这一深度学习模型用于对短视频的热度预测；
2.本发明继承了深度学习模型在输入输出和特征工程上的简洁性，整个模型和过程简洁高效；
3.本发明通过使用大量样本对象的历史热度度量和特征信息进行训练，使短视频热度预测模型建立在大量已有数据的基础之上。因此，在利用基于多模态预训练模型的短视频热度预测模型对待预测短视频进行热度预测时，可以使预测结果与历史数据中呈现出的状态相结合，使预测结果更准确。本发明提供的技术方案充分利用了大量历史样本数据的，满足了短视频热度的预测需求，可以对短视频领域舆情的监管提供帮助。
附图说明
图1是本发明的基于多模态预训练模型对短视频热度进行预测的流程图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下面通过具体实施例，对本发明的技术方案做进一步说明。
图1为本实施例的用于预测网络热度的方法的流程图，下面对图1中的各步骤分别进行说明。
步骤1：抽取待预测短视频的特征信息。
具体的，本实施例可以通过接受外部输入信息的方式获得短视频的特征。
作为示例，给定待测短视频，该短视频的特征信息包括：视频特征、文本特征、作者信息和作者粉丝量。
步骤2：基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果。
具体的，本实施例使用大量历史数据对多模态预训练模型HERO进行训练，得到基于多模态预训练模型的短视频热度预测模型。HERO模型以视频片段的帧和对应的文本作为输入，它们被输入到一个视频嵌入器和一个文本嵌入器中来提取初始表示。之后模型计算一个上下文视频嵌入。首先，每个视频帧及对应的局部文本上下文输入到一个跨模态Transformer中，计算文本与其对应视频帧之间的上下文多模态嵌入。然后将得到的整个视频片段的帧嵌入输入到时间Transformer中，学习全局视频上下文，并获得最终的上下文视频嵌入。在原模型HERO的基础上新增神经网络输出层输出短视频的转发量和评论量的和，即热度度量。
作为示例，在给定大量历史短视频数据作为训练数据的情况下，采用多模态预训练模型HERO进行训练。训练时的输入为短视频中的视频和文本信息，模型对视频帧的特征和文字特征进行学习。训练过程采用样本数据转发量和评论量的和作为监督，进行有监督训练。
之后，将待预测短视频的视频和文本特征信息作为输入信息提供给训练好的基于多模态预训练模型的短视频热度预测模型，得到第一热度预测结果。
步骤3：根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。
具体的，本发明对该热度度量经作者信息和作者粉丝量微调，首先将作者信息和作者粉丝量进行量化度量，然后将第一热度预测结果赋予权值α，作者信息量化后赋予权值β，粉丝量量化后赋予权值γ(且α+β+γ＝1)，将三者加权求和得到的结果为待预测短视频的第二热度预测结果。该第二热度预测结果是一个相对值。
综上所述，本发明采用的数据为短视频平台中的短视频数据，目前并不存在基于短视频数据对其进行热度预测的技术方法。本发明亦采用多模态预训练模型这种深度学习模型对短视频数据进行处理，达到短视频热度预测的目的，目前也并不存在这种技术方法。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，本发明的保护范围应以权利要求所述为准。

Claims (4)

1.一种基于多模态预训练模型的短视频热度预测方法，其步骤包括：
抽取待预测短视频的特征信息，所述特征信息包括：视频信息、文本信息、短视频作者信息和短视频作者的粉丝量；
基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果；其中，所述基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果，包括：
获取所述待预测短视频的每一视频帧和对应的局部文本上下文；
将每一视频帧及对应的局部文本上下文输入到一个跨模态Transformer中，计算文本与对应视频帧之间的上下文多模态嵌入；
将所述待预测短视频对应的所有上下文多模态嵌入输入到时间Transformer中，学习全局视频上下文，以获得该短视频的最终上下文视频嵌入；
基于神经网络输出层输出该最终上下文视频嵌入对应的第一热度预测结果，所述第一热度预测结果包括：转发量、评论量或转发量与评论量之和；
根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。
2.如权利要求1所述的方法，其特征在于，所述根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果，包括：
分别对短视频作者信息与短视频作者的粉丝量进行量化，得到作者信息量化结果与粉丝量量化结果；
通过对所述第一热度预测结果、作者信息量化结果与粉丝量量化结果进行加权计算，得到第二热度预测结果。
3.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行如权利要求1-2中任一所述方法。
4.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-2中任一所述方法。
CN202210398477.4A 2022-04-15 2022-04-15 基于多模态预训练模型的短视频热度预测方法及装置 Active CN114970955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398477.4A CN114970955B (zh) 2022-04-15 2022-04-15 基于多模态预训练模型的短视频热度预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398477.4A CN114970955B (zh) 2022-04-15 2022-04-15 基于多模态预训练模型的短视频热度预测方法及装置

Publications (2)

Publication Number Publication Date
CN114970955A CN114970955A (zh) 2022-08-30
CN114970955B true CN114970955B (zh) 2023-12-15

Family

ID=82977693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398477.4A Active CN114970955B (zh) 2022-04-15 2022-04-15 基于多模态预训练模型的短视频热度预测方法及装置

Country Status (1)

Country Link
CN (1) CN114970955B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870957A (zh) * 2016-09-28 2018-04-03 郑州大学 一种基于信息增益和bp神经网络的热门微博预测方法
CN109344887A (zh) * 2018-09-18 2019-02-15 山东大学 基于多模态字典学习的短视频分类方法、系统及介质
CN109947946A (zh) * 2019-03-22 2019-06-28 上海诺亚投资管理有限公司 一种预测文章传播热度的方法及装置
CN111078944A (zh) * 2018-10-18 2020-04-28 中国电信股份有限公司 视频内容热度预测方法和装置
CN111339355A (zh) * 2020-05-21 2020-06-26 北京搜狐新媒体信息技术有限公司 一种视频推荐方法及系统
CN111523575A (zh) * 2020-04-13 2020-08-11 中南大学 基于短视频多模态特征的短视频推荐模型
GB202015695D0 (en) * 2020-10-02 2020-11-18 Mashtraxx Ltd System and method for recommending semantically relevant content
CN112765484A (zh) * 2020-12-31 2021-05-07 北京达佳互联信息技术有限公司 短视频推送方法、装置、电子设备及存储介质
CN112883231A (zh) * 2021-02-24 2021-06-01 广东技术师范大学 短视频流行度预测方法、系统、电子设备及存储介质
WO2021174864A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 基于少量训练样本的信息抽取方法及装置
CN113743277A (zh) * 2021-08-30 2021-12-03 上海明略人工智能(集团)有限公司 一种短视频分类方法及系统、设备和存储介质
CN113987274A (zh) * 2021-12-30 2022-01-28 智者四海（北京）技术有限公司 视频语义表示方法、装置、电子设备和存储介质
CN114257815A (zh) * 2021-12-20 2022-03-29 北京字节跳动网络技术有限公司 一种视频转码方法、装置、服务器和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090222321A1 (en) * 2008-02-28 2009-09-03 Microsoft Corporation Prediction of future popularity of query terms
CN108769801B (zh) * 2018-05-28 2019-03-29 广州虎牙信息科技有限公司 短视频的合成方法、装置、设备及存储介质
US11556868B2 (en) * 2020-06-10 2023-01-17 Bank Of America Corporation System for automated and intelligent analysis of data keys associated with an information source

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870957A (zh) * 2016-09-28 2018-04-03 郑州大学 一种基于信息增益和bp神经网络的热门微博预测方法
CN109344887A (zh) * 2018-09-18 2019-02-15 山东大学 基于多模态字典学习的短视频分类方法、系统及介质
CN111078944A (zh) * 2018-10-18 2020-04-28 中国电信股份有限公司 视频内容热度预测方法和装置
CN109947946A (zh) * 2019-03-22 2019-06-28 上海诺亚投资管理有限公司 一种预测文章传播热度的方法及装置
WO2021174864A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 基于少量训练样本的信息抽取方法及装置
CN111523575A (zh) * 2020-04-13 2020-08-11 中南大学 基于短视频多模态特征的短视频推荐模型
CN111339355A (zh) * 2020-05-21 2020-06-26 北京搜狐新媒体信息技术有限公司 一种视频推荐方法及系统
GB202015695D0 (en) * 2020-10-02 2020-11-18 Mashtraxx Ltd System and method for recommending semantically relevant content
CN112765484A (zh) * 2020-12-31 2021-05-07 北京达佳互联信息技术有限公司 短视频推送方法、装置、电子设备及存储介质
CN112883231A (zh) * 2021-02-24 2021-06-01 广东技术师范大学 短视频流行度预测方法、系统、电子设备及存储介质
CN113743277A (zh) * 2021-08-30 2021-12-03 上海明略人工智能(集团)有限公司 一种短视频分类方法及系统、设备和存储介质
CN114257815A (zh) * 2021-12-20 2022-03-29 北京字节跳动网络技术有限公司 一种视频转码方法、装置、服务器和介质
CN113987274A (zh) * 2021-12-30 2022-01-28 智者四海（北京）技术有限公司 视频语义表示方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种多模态融合的网络视频相关性度量方法;温有福;贾彩燕;陈智能;;智能系统学报(第03期);全文 *

Also Published As

Publication number Publication date
CN114970955A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
JP6928041B2 (ja) 動画を処理するための方法および装置
CN109344908B (zh) 用于生成模型的方法和装置
US20180357225A1 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN111464881B (zh) 基于自优化机制的全卷积视频描述生成方法
CN113327599B (zh) 语音识别方法、装置、介质及电子设备
CN114510939A (zh) 实体关系抽取方法、装置、电子设备及存储介质
US20240078385A1 (en) Method and apparatus for generating text
CN116050496A (zh) 图片描述信息生成模型的确定方法及装置、介质、设备
CN113436620A (zh) 模型的训练方法、语音识别方法、装置、介质及设备
CN113470698A (zh) 一种说话人转换点检测方法、装置、设备及存储介质
CN112464760A (zh) 一种目标识别模型的训练方法和装置
CN116341651A (zh) 实体识别模型训练方法、装置、电子设备及存储介质
CN115457982A (zh) 情感预测模型的预训练优化方法、装置、设备及介质
CN113850012B (zh) 数据处理模型生成方法、装置、介质及电子设备
CN113360683A (zh) 训练跨模态检索模型的方法以及跨模态检索方法和装置
CN114970955B (zh) 基于多模态预训练模型的短视频热度预测方法及装置
CN113836308B (zh) 网络大数据长文本多标签分类方法、系统、设备及介质
CN113327265B (zh) 一种基于指导学习策略的光流估计方法和系统
CN115496175A (zh) 新建边缘节点接入评估方法、装置、终端设备及产品
CN113949880A (zh) 一种极低码率人机协同图像编码训练方法及编解码方法
CN111178630A (zh) 一种负荷预测方法及装置
CN116416456B (zh) 基于自蒸馏的图像分类方法、系统、存储介质和电子设备
CN113596528B (zh) 视频推送模型的训练方法、装置、服务器及存储介质
CN117376634B (zh) 一种短视频配乐方法、装置、电子设备和存储介质
CN116975289A (zh) 基于语义信息的文本属性级情感分类方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant