CN110019939A - 视频热度预测方法、装置、终端设备及介质 - Google Patents

视频热度预测方法、装置、终端设备及介质 Download PDF

Info

Publication number
CN110019939A
CN110019939A CN201711461764.0A CN201711461764A CN110019939A CN 110019939 A CN110019939 A CN 110019939A CN 201711461764 A CN201711461764 A CN 201711461764A CN 110019939 A CN110019939 A CN 110019939A
Authority
CN
China
Prior art keywords
video
neural network
value
network model
video file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711461764.0A
Other languages
English (en)
Inventor
吴己强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN201711461764.0A priority Critical patent/CN110019939A/zh
Publication of CN110019939A publication Critical patent/CN110019939A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用于数据挖掘技术领域,提供了一种视频热度预测方法、装置、终端设备及介质,该方法包括:获取视频文件中的多个图像帧;分别提取每一所述图像帧的场景特征;将所述多个图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。本发明在视频热度的预测过程中加入了场景特征这一考量因子,达到了基于多维度因子的视频热度预测效果,避免了考虑因子仅局限于视频文件的元信息的问题;由于场景特征相对于视频文件的元信息来说,对视频热度的影响程度更高,且本发明实施例结合了视频文件的场景特征以及基于深度学习的神经网络模型来输出视频热度值,因而使得视频热度的预测准确率得到了进一步地提高。

Description

视频热度预测方法、装置、终端设备及介质
技术领域
本发明属于数据挖掘技术领域,尤其涉及一种视频热度预测方法、装置、终端设备及介质。
背景技术
视频的热度代表了视频受欢迎的程度,也代表了视频文件所能够吸引的用户流量的高低程度,因此,预测视频文件的热度具有多方面的意义。一方面,在预测视频热度的同时,也间接预测了该视频所属的电视剧的收视率。另一方面,热度越高的视频,内容分发网络将会提供越多的副本,从而保证了视频观看用户即使是在高峰期,也能够获得较好的视频数据传输质量,因此,视频热度预测能够作为内容分发网络提前部署存储资源的一个重要决策依据。
现有技术中主要通过以下两种方式来预测视频文件的热度:第一种方式,根据视频文件的元信息,如标题、类型、演员以及简介等,来识别这些基础信息给视频热度所带来的影响;第二种方式,在将视频文件进行发布后,根据其发布早期的热度曲线来预测后续时期该视频文件的热度,例如,根据视频文件发布后的前几个小时内的播放量,预测最近几天该视频的热度。
然而,现有的视频热度预测方法基于视频元信息和以及早期热度曲线数据来实现,考虑因素较为单一,由此导致视频热度的预测准确率较为低下。
发明内容
有鉴于此,本发明实施例提供了一种视频热度预测方法、装置、终端设备及介质,以解决现有技术中视频热度的预测准确率较为低下的问题。
本发明实施例的第一方面提供了一种视频热度预测方法,包括:
获取视频文件中的多个图像帧;
分别提取每一所述图像帧的场景特征;
将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
本发明实施例的第二方面提供了一种视频热度预测装置,包括:
第一获取单元,用于取视频文件中的多个图像帧;
提取单元,用于分别提取每一所述图像帧的场景特征;
输出单元,用于将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
获取视频文件中的多个图像帧;
分别提取每一所述图像帧的场景特征;
将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取视频文件中的多个图像帧;
分别提取每一所述图像帧的场景特征;
将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
本发明实施例中,通过获取视频文件中的多个图像帧,提取每一图像帧的场景特征,并将多个图像帧的场景特征输入神经网络模型来预测视频文件的热度值,实现了在视频热度的预测过程中加入了场景特征这一考量因子,达到了基于多维度因子的视频热度预测效果,避免了考虑因子仅局限于视频文件的元信息的问题;由于场景特征相对于视频文件的元信息来说,对视频热度的影响程度更高,且本发明实施例结合了视频文件的场景特征以及基于深度学习的神经网络模型来输出视频热度值,因而使得视频热度的预测准确率得到了进一步地提高。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频热度预测方法的实现流程图;
图2是本发明实施例提供的视频热度预测方法S102的具体实现流程图;
图3是本发明实施例提供的视频热度预测方法S103的具体实现流程图;
图4是本发明实施例提供的神经网络模型的网络结构示意图;
图5是本发明另一实施例提供的视频热度预测方法的实现流程图;
图6是本发明实施例提供的视频热度预测装置的结构框图;
图7是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
请参见图1,图1是本发明实施例提供的视频热度预测方法的实现流程图。如图1所示的实现流程包括步骤S101至S103,各步骤的实现原理具体如下:
S101:获取视频文件中的多个图像帧。
本发明实施例中,视频文件是指包含了实时的音频、视频信息的多媒体文件,包括但不限于视频输入设备所产生的视频文件、本地合成的音视频文件以及从完整的视频文件中所截取下来的视频数据片段等。
每一视频文件由连续采集得到多个图像帧组成。在各个不同的时刻,视频文件所播放的图像帧不同。本发明实施例中,在视频文件所包含的所有图像帧中,采集预设数量的多个图像帧。
图像帧的采集方式例如可以是:在视频文件所包含的所有图像帧中,每隔预设数量的图像帧或者每隔预设的时间间隔,采集一个图像帧。其中,根据所需采集的图像帧的预设数量,确定上述图像帧采集过程中的采样时间间隔或者采样图像帧之间的图像帧数量间隔。
示例性地,若视频文件的总时长为S(S大于零)秒,且所需提取的图像帧的预设数量为K帧,则视频文件中图像帧的采样时间间隔T=S/K,即,每隔S/K秒,采集视频文件中的一个图像帧。其中,K为大于零的整数。
优选地,每一视频文件中所需提取的图像帧的预设数量K为100。
S102:分别提取每一所述图像帧的场景特征。
本发明实施例中,图像帧的场景特征包括图像帧所展示的人物特征信息、景象特征信息以及色彩特征信息等。通过预设算法来对上述提取出的每一图像帧进行识别处理,并将识别得到的场景特征进行提取。
具体地,将提取出的场景特征转换为向量,以使向量中每一维度的属性值能够表征图像帧中的一项场景特征信息。
例如,若图像帧的场景特征同时包括人物特征信息、景象特征信息以及色彩特征信息,则以三维向量的形式来表征该图像帧的场景特征。
作为本发明的一个实施例,图2示出了本发明实施例提供的视频热度预测方法S102的具体实现流程,详述如下:
S1021:对每一所述图像帧,获取该图像帧中各个像素点的三基色RGB均值。
S1022:检测该图像帧中是否包含人物特征信息,并获取与检测结果对应的输出值。
S1023:生成由所述RGB均值以及所述输出值构成的二元向量,并将所述二元向量确定为该图像帧的场景特征。
对于上述视频文件中所提取出来的每一图像帧,在该图像帧中,检测每一像素点分别在红、绿、蓝三个色彩通道中的灰度值R、G、B。在每一色彩通道,根据图像帧中每一像素分别对应的灰度值,计算该色彩通道中图像帧的灰度平均值。将图像帧在红、绿、蓝三个色彩通道中所分别对应的灰度平均值输出为该图像帧的三基色RGB平均值,即三个维度上的RGB平均值。
本发明实施例中,通过人物检测算法对采集得到的各个图像帧进行识别处理,以确定图像帧中是否包含人物特征信息。上述人物检测算法包括但不限于AdaBoost人脸识别算法、基于人脸特征的OPENCV检测算法以及基于Haar-like特征的人物特征检测算法等。
根据图像帧中是否包含人物特征信息,获取与检测结果对应的输出值。具体地,分别以第一预设值以及第二预设值来表示图像帧中包含人物特征信息以及图像帧中未包含人物特征信息。
优选地,还可以通过以下方式检测图像帧中是否包含人物特征信息:将所述图像帧输入训练好的卷积神经网络(Convolutional Neural Network,CNN)模型,所述CNN模型用于检测输入的图像帧中是否包含人物特征信息;获取所述CNN模型的输出值,所述输出值为第一预设值或第二预设值。
本发明实施例中,对现有的初始化CNN模型进行训练,以在训练完成后,用于检测图像帧中是否包含人物特征信息。其中,现有的初始化CNN模型包括但不限于R-CNN、FastR-CNN、Faster R-CNN、HyperNet以及G-CNN等。
具体地,获取包含人脸特征信息以及不包含人脸特征信息的多张训练图像,并上述多张训练图像输入初始化的CNN模型,以使CNN模型根据每一训练图像的标记信息,对CNN模型中各层级节点的权重系数进行调整。其中,训练图像的标记信息用于表示该训练图像是包含人脸特征信息还是不包含人脸特征信息。在调整CNN模型的权重系数后,若基于多张测试图像所得到的输出值与目标输出值之间的差异值大于或等于预设阈值,则返回对CNN模型中各层级节点的权重系数进行调整;若基于多张测试图像所得到的输出值与目标输出值之间的差异值小于预设阈值,则确定上述用于检测输入的图像帧中是否包含人物特征信息的CNN模型训练完毕。
利用训练好的CNN模型,将视频文件中所提取得到的每一图像帧输入该CNN模型,以使CNN模型对该图像帧进行自动识别处理后,获取该图像帧对应的输出值。若CNN模型输出第一预设值“1”,则确定该图像帧中包含人物特征信息;若CNN模型输出第二预设值“-1”,则确定该图像帧中未包含人物特征信息。
本发明实施例中,以一个二元组(A,B)来表征一个视频文件的场景特征。其中,A是一个长度为K的向量序列,即,向量序列中包含K个向量。向量序列A中每一向量的维度均为3。每一个三维向量与一个采样图像帧对应,三维向量中的三个属性值分别用于表示该采样图像帧的RGB平均值。其中,上述K为从视频文件中所提取得到的图像帧的数量。
上述二元组(A,B)中,B是一个长度为K的整数序列,即,整数序列B中包含K个整数值。整数序列B中的每一整数值与一个采样图像帧对应,其取值为1或-1,分别用于表示采样图像帧中是否包含人物特征信息。例如,若图像帧中包含人物特征信息,则在整数序列B中,与该图像帧对应的整数值为1;若图像帧中不包含人物特征信息,则在整数序列B中,与该图像帧对应的整数值为-1。因此,基于上述CNN模型对各个图像帧进行处理后所得到的输出值,可确定出整数序列B中所包含的各个整数值。
本发明实施例中,向量序列A中的第i个向量表示从视频文件中所提取得到的第i帧图像的RGB平均值,整数序列B中的第i个值表示从视频文件中所提取得到的第i帧图像是否包含人物特征信息,故对于任一图像帧i而言,对应地可生成的一个二元向量为其中,上述i为大于零且小于或等于K的整数。
本发明实施例中,通过获取视频文件图像帧中各个像素点的RGB均值以及确定图像帧中是否包含人物特征信息,并生成以RGB均值以及与该人物特征信息相关的二元向量,将该二元向量表示为该图像帧的场景特征,保证了后续在将图像帧的场景特征输入训练好的神经网络模型时,能够输入数值化的二元向量,提高了神经网络模型的识别处理速度;由于基于深度学习的CNN模型能够学习并使用到鲁棒性更强的人物特征,因而相对于传统的人脸特征检测方法,通过基于深度学习的CNN模型来确定输入的图像帧中是否包含人脸特征信息,在视频文件图像帧的复杂环境参数之下,能够拥有更强的抗干扰能力,具有更高的人物特征识别准确度,因此,保证了获取得到的输出值能够更为准确;同时,由于CNN模型的输出值为第一预设值“1”或第二预设值“-1”,因而不必再对检测结果执行进一步地的数值化转化处理,故提高了用于表示图像帧场景特征的二元向量的生成效率,进而也提高了视频热度值的预测效率。
S103:将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
本发明实施例中,构建并训练基于视频图像帧的神经网络模型。具体地,利用开源的预训练模型初始化神经网络模型,并使用多个视频文件中的多张视频图像帧作为该神经网络模型的训练样本。其中,每一视频图像帧所属的视频文件的视频热度值为手工标记的热度预测值,例如,为手工标记的该视频文件在未来五天内的热度预测值。根据每张视频图像帧的场景特征及其视频热度值,使用异步随机梯度下降算法学习该神经网络模型的特征提取参数,并使用交叉实体损失函数计算神经网络网络的输出效果值。在神经网络模型迭代学习各项特征提取参数后,若其输出效果值满足预设目标值,则确定基于深度学习的神经网络模型训练完成。此时,对于上述步骤S102中所获取得到的视频文件中各个图像帧的场景特征,将该场景特征输入训练完成后的神经网络模型。经过神经网络模型的识别处理,获得神经网络模型所直接输出的该视频文件的视频热度值。其中,神经网络模型所输出的视频热度值为未来五天的热度值,即,神经网络模型所输出的视频热度值与该神经网络模型在训练过程中用户所手动标记的训练图像帧的热度预测值所对应的预测时长相同。
优选地,获取训练好的多个神经网络模型,且每一神经网络模型在训练过程中用户所手动标记的训练图像帧的热度预测值所对应的预测时长互不相同。将视频文件中各个图像帧的场景特征分别输入每一神经网络模型后,可获取该视频文件分别在多个不同预测时长内所对应的视频热度值。对视频文件分别在多个不同预测时长内所对应的视频热度值进行展示。
本发明实施例中,通过获取视频文件中的多个图像帧,提取每一图像帧的场景特征,并将多个图像帧的场景特征输入神经网络模型来预测视频文件的热度值,实现了在视频热度的预测过程中加入了场景特征这一考量因子,达到了基于多维度因子的视频热度预测效果,避免了考虑因子仅局限于视频文件的元信息的问题;由于场景特征相对于视频文件的元信息来说,对视频热度的影响程度更高,且本发明实施例结合了视频文件的场景特征以及基于深度学习的神经网络模型来输出视频热度值,因而使得视频热度的预测准确率得到了进一步地提高。
作为本发明的一个实施例,图3示出了本发明实施例提供的视频热度预测方法S103的具体实现流程,详述如下:
S1031:将每一所述图像帧的所述场景特征分别输入预设的神经网络模型中的一个长短期记忆网络LSTM单元,所述LSTM单元分布于所述神经网络模型中的LSTM层。
S1032:令所述LSTM层的输出值依次经过注意力机制层以及回归层。
S1033:将所述回归层的输出值确定为所述视频文件的所述视频热度值。
请一并参见图4,图4示出了本发明实施例提供的神经网络模型的网络结构图。如图4所示的神经网络模型具有三层网络结构,第一层为LSTM层,第二层为注意力机制层,第三层为Softmax回归层。
本发明实施例中,将获取得到的各个图像帧的场景特征输入神经网络模型中的第一层网络结构LSTM层,即,将维度为K、序列长度为K的二元组(A,B)中的A序列以及B序列输入LSTM层。其中,LSTM层包括多个LSTM单元,每一LSTM单元用于对输入的一图像帧的场景特征进行处理,因此,第i个LSTM单元的输入参数为从视频文件中所提取得到的第i个图像帧所对应的二元向量(A[i],B[i])。LSTM单元可以根据预设算法来判断输入的二元向量的信息重要程度,只有符合算法认证的信息才会输出LSTM单元,故每一LSTM单元能够输出一个变化后的二元向量。因此,基于LSTM层对输入的K个图像帧的场景特征进行处理后,输出维度依然为K、序列长度依然为K的A’序列以及B’序列。
将LSTM层中K个LSTM单元的输出值输入神经网络模型的注意力机制层,使得注意力机制层的输入参数为维度为K的向量(A’,B’),输出值也为维度为K的向量,并将该维度为K的向量作为下一层回归层的输入参数。
本发明实施例中,神经网络模型的回归层为Softmax层,其输入参数的维度为N,经过Softmax层的分类计算,输出值为预设区间范围内的整数值。将Softmax层的输出值确定为当前所需计算的视频文件的视频热度值。
优选地,上述预设区间范围为整数1至5。Softmax层的输出值越大,视频热度值的热度越高。
本发明实施例中,通过令图像帧的场景特征依次输入神经网络模型的LSTM层、注意力机制层以及Softmax回归层,使得视频文件的场景特征能够基于深度学习的神经网络算法来进行计算处理,提高了热度预测的准确率;通过在神经网络模型中加入注意力机制层,减小了处理多维输入向量的计算负担,实现了对输入的子集的结构化选取,降低了数据处理的维度;基于Attention注意力机制层,保证了在输入的多个图像帧的场景特征中,能够自动识别出最显著的且与当前输出的视频热度值相关的有用信息,故提高了模型输出的质量,从而也提高了视频热度值的预测准确率。
作为本发明的另一个实施例,如图5所示,在上述S103之后,还包括:
S104:获取所述视频热度值最高的N个所述视频文件,并获取其中每一所述视频文件的元信息,所述元信息包括多项属性值。
S105:根据每一所述视频文件的元信息,分别获取各项所述属性值的出现频次。
S106:根据所述出现频次的高低顺序,依次对各项所述属性值进行排序并展示。
本发明实施例中,通过上述步骤S101至S103,分别对预存储的多个频文件进行处理,以获取每一视频文件的视频热度值。
根据视频热度值的高低顺序,对上述预存储的各个视频文件进行排序处理,并确定出排序在前的N个视频文件。其中,N为大于零的整数,且N为预设值。
本发明实施例中,元信息是指视频文件在各项属性类型中所对应的属性值。上述属性类型包括但不限于标题、视频类型、演员、简介、语言类型、导演以及视频时长等。对于排序在前的N个视频文件,获取其中每一个视频文件的元信息。例如,视频文件A在“标题”这一属性类型上所对应的属性值为“白雪公主”,在“视频类型”这一属性类型上所对应的属性值为“儿童”。
不同视频文件在同一属性类型上所对应的属性值可能相同也可能不同。因此,本发明实施例中,统计上述排序在前的N个视频文件中,各个属性值所出现的次数,即出现频次。根据属性值的出现频次的高低顺序,依次对各项属性值进行排序,并将排序结果展示于预设界面。
本发明实施例中,由于视频文件的属性值与视频热度值具有较高的关联性,因而通过依次对视频热度值最高的多个视频文件的各项属性值进行排序并展示,能够让内容分发网络提供商充分了解当前具备哪些属性值的视频文件才能够具有较高的视频热度值,便于确定未来的视频拍摄方向,因此,扩大了视频热度预测的应用场景。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的视频热度预测方法,图6示出了本发明实施例提供的视频热度预测装置的结构框图,为了便于说明,仅示出了与本发明实施例相关的部分。
参照图6,该装置包括:
第一获取单元61,用于取视频文件中的多个图像帧。
提取单元62,用于分别提取每一所述图像帧的场景特征。
输出单元63,用于将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
可选地,所述提取单元62包括:
三基色获取子单元,用于对每一所述图像帧,获取该图像帧中各个像素点的三基色RGB均值。
人物特征检测子单元,用于检测该图像帧中是否包含人物特征信息,并获取与检测结果对应的输出值。
向量生成子单元,用于生成由所述RGB均值以及所述输出值构成的二元向量,并将所述二元向量确定为该图像帧的场景特征。
可选地,所述人物特征检测子单元具体用于:
将所述图像帧输入训练好的卷积神经网络模型,所述卷积神经网络模型用于检测输入的图像帧中是否包含人物特征信息;
获取所述卷积神经网络模型的输出值,所述输出值为第一预设值或第二预设值。
可选地,所述输出单元63包括:
输入子单元,用于将每一所述图像帧的所述场景特征分别输入预设的神经网络模型中的一个长短期记忆网络LSTM单元,所述LSTM单元分布于所述神经网络模型中的LSTM层。
输出子单元,用于令所述LSTM层的输出值依次经过注意力机制层以及回归层。
确定子单元,用于将所述回归层的输出值确定为所述视频文件的所述视频热度值。
可选地,所述视频热度预测装置还包括:
第二获取单元64,用于获取所述视频热度值最高的N个所述视频文件,并获取其中每一所述视频文件的元信息,所述元信息包括多项属性值。
第三获取单元65,用于根据每一所述视频文件的元信息,分别获取各项所述属性值的出现频次。
展示单元66,用于根据所述出现频次的高低顺序,依次对各项所述属性值进行排序并展示。
本发明实施例中,通过获取视频文件中的多个图像帧,提取每一图像帧的场景特征,并将多个图像帧的场景特征输入神经网络模型来预测视频文件的热度值,实现了在视频热度的预测过程中加入了场景特征这一考量因子,达到了基于多维度因子的视频热度预测效果,避免了考虑因子仅局限于视频文件的元信息的问题;由于场景特征相对于视频文件的元信息来说,对视频热度的影响程度更高,且本发明实施例结合了视频文件的场景特征以及基于深度学习的神经网络模型来输出视频热度值,因而使得视频热度的预测准确率得到了进一步地提高。
图7是本发明一实施例提供的终端设备的示意图。如图7所示,该实施例的终端设备7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72,例如视频热度预测程序。所述处理器70执行所述计算机程序72时实现上述各个视频热度预测方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能,例如图6所示单元61至66的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述终端设备7中的执行过程。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端设备7的示例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频热度预测方法,其特征在于,包括:
获取视频文件中的多个图像帧;
分别提取每一所述图像帧的场景特征;
将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
2.如权利要求1所述的视频热度预测方法,其特征在于,所述分别提取每一所述图像帧中的场景特征,包括:
对每一所述图像帧,获取该图像帧中各个像素点的三基色RGB均值;
检测该图像帧中是否包含人物特征信息,并获取与检测结果对应的输出值;
生成由所述RGB均值以及所述输出值构成的二元向量,并将所述二元向量确定为该图像帧的场景特征。
3.如权利要求2所述的视频热度预测方法,其特征在于,所述检测该图像帧中是否包含人物特征信息,并获取与检测结果对应的输出值,包括:
将所述图像帧输入训练好的卷积神经网络模型,所述卷积神经网络模型用于检测输入的图像帧中是否包含人物特征信息;
获取所述卷积神经网络模型的输出值,所述输出值为第一预设值或第二预设值。
4.如权利要求1至3任一项所述的视频热度预测方法,其特征在于,所述将所述多个图像帧的所述场景特征输入预设的神经网络模型,以得到所述神经网络模型输出的视频热度值,包括:
将每一所述图像帧的所述场景特征分别输入预设的神经网络模型中的一个长短期记忆网络LSTM单元,所述LSTM单元分布于所述神经网络模型中的LSTM层;
令所述LSTM层的输出值依次经过注意力机制层以及回归层;
将所述回归层的输出值确定为所述视频文件的所述视频热度值。
5.如权利要求1所述的视频热度预测方法,其特征在于,还包括:
获取所述视频热度值最高的N个所述视频文件,并获取其中每一所述视频文件的元信息,所述元信息包括多项属性值;
根据每一所述视频文件的元信息,分别获取各项所述属性值的出现频次;
根据所述出现频次的高低顺序,依次对各项所述属性值进行排序并展示。
6.一种视频热度预测装置,其特征在于,包括:
第一获取单元,用于取视频文件中的多个图像帧;
提取单元,用于分别提取每一所述图像帧的场景特征;
输出单元,用于将多个所述图像帧的所述场景特征输入训练好的神经网络模型,以得到所述神经网络模型输出的视频热度值。
7.如权利要求6所述的视频热度预测装置,其特征在于,所述提取单元包括:
三基色获取子单元,用于对每一所述图像帧,获取该图像帧中各个像素点的三基色RGB均值;
人物特征检测子单元,用于检测该图像帧中是否包含人物特征信息,并获取与检测结果对应的输出值;
向量生成子单元,用于生成由所述RGB均值以及所述输出值构成的二元向量,并将所述二元向量确定为该图像帧的场景特征。
8.如权利要求6或7所述的视频热度预测装置,其特征在于,所述输出单元包括:
输入子单元,用于将每一所述图像帧的所述场景特征分别输入预设的神经网络模型中的一个长短期记忆网络LSTM单元,所述LSTM单元分布于所述神经网络模型中的LSTM层;
输出子单元,用于令所述LSTM层的输出值依次经过注意力机制层以及回归层;
确定子单元,用于将所述回归层的输出值确定为所述视频文件的所述视频热度值。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201711461764.0A 2017-12-28 2017-12-28 视频热度预测方法、装置、终端设备及介质 Pending CN110019939A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711461764.0A CN110019939A (zh) 2017-12-28 2017-12-28 视频热度预测方法、装置、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711461764.0A CN110019939A (zh) 2017-12-28 2017-12-28 视频热度预测方法、装置、终端设备及介质

Publications (1)

Publication Number Publication Date
CN110019939A true CN110019939A (zh) 2019-07-16

Family

ID=67187102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711461764.0A Pending CN110019939A (zh) 2017-12-28 2017-12-28 视频热度预测方法、装置、终端设备及介质

Country Status (1)

Country Link
CN (1) CN110019939A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362277A (zh) * 2019-07-19 2019-10-22 重庆大学 基于混合存储系统的数据分类存储方法
CN110781348A (zh) * 2019-10-25 2020-02-11 北京威晟艾德尔科技有限公司 一种视频文件分析方法
CN110933492A (zh) * 2019-12-10 2020-03-27 北京爱奇艺科技有限公司 一种播放时长预测方法及装置
CN111104365A (zh) * 2019-11-25 2020-05-05 深圳市网心科技有限公司 一种文件部署方法、装置、设备及可读存储介质
CN111597383A (zh) * 2020-04-24 2020-08-28 北京奇艺世纪科技有限公司 一种视频热度级别预测方法及装置
CN116189062A (zh) * 2023-04-21 2023-05-30 北京金楼世纪科技有限公司 一种视频流行度预测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030004966A1 (en) * 2001-06-18 2003-01-02 International Business Machines Corporation Business method and apparatus for employing induced multimedia classifiers based on unified representation of features reflecting disparate modalities
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
CN103744928A (zh) * 2013-12-30 2014-04-23 北京理工大学 一种基于历史访问记录的网络视频分类方法
CN104657468A (zh) * 2015-02-12 2015-05-27 中国科学院自动化研究所 基于图像与文本的视频的快速分类方法
US9681163B1 (en) * 2015-03-26 2017-06-13 Amazon Technologies, Inc. Identify bad files using QoS data
CN107145518A (zh) * 2017-04-10 2017-09-08 同济大学 一种社交网络下基于深度学习的个性化推荐系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6564263B1 (en) * 1998-12-04 2003-05-13 International Business Machines Corporation Multimedia content description framework
US20030004966A1 (en) * 2001-06-18 2003-01-02 International Business Machines Corporation Business method and apparatus for employing induced multimedia classifiers based on unified representation of features reflecting disparate modalities
CN103744928A (zh) * 2013-12-30 2014-04-23 北京理工大学 一种基于历史访问记录的网络视频分类方法
CN104657468A (zh) * 2015-02-12 2015-05-27 中国科学院自动化研究所 基于图像与文本的视频的快速分类方法
US9681163B1 (en) * 2015-03-26 2017-06-13 Amazon Technologies, Inc. Identify bad files using QoS data
CN107145518A (zh) * 2017-04-10 2017-09-08 同济大学 一种社交网络下基于深度学习的个性化推荐系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362277A (zh) * 2019-07-19 2019-10-22 重庆大学 基于混合存储系统的数据分类存储方法
CN110781348A (zh) * 2019-10-25 2020-02-11 北京威晟艾德尔科技有限公司 一种视频文件分析方法
CN110781348B (zh) * 2019-10-25 2023-06-06 北京威晟艾德尔科技有限公司 一种视频文件分析方法
CN111104365A (zh) * 2019-11-25 2020-05-05 深圳市网心科技有限公司 一种文件部署方法、装置、设备及可读存储介质
CN110933492A (zh) * 2019-12-10 2020-03-27 北京爱奇艺科技有限公司 一种播放时长预测方法及装置
CN111597383A (zh) * 2020-04-24 2020-08-28 北京奇艺世纪科技有限公司 一种视频热度级别预测方法及装置
CN116189062A (zh) * 2023-04-21 2023-05-30 北京金楼世纪科技有限公司 一种视频流行度预测方法和系统

Similar Documents

Publication Publication Date Title
CN110019939A (zh) 视频热度预测方法、装置、终端设备及介质
US11238310B2 (en) Training data acquisition method and device, server and storage medium
US12019718B2 (en) Identity verification method and apparatus, computer device and storage medium
CN111741330B (zh) 一种视频内容评估方法、装置、存储介质及计算机设备
CN109151501A (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
CN101477633B (zh) 自动估计图像和视频的视觉显著度的方法
CN110163079A (zh) 视频检测方法及装置、计算机可读介质和电子设备
CN110796098B (zh) 内容审核模型的训练及审核方法、装置、设备和存储介质
CN110209859A (zh) 地点识别及其模型训练的方法和装置以及电子设备
CN106339507A (zh) 流媒体消息推送方法和装置
CN110825968A (zh) 信息推送方法、装置、存储介质和计算机设备
CN110046297A (zh) 运维违规操作的识别方法、装置和存储介质
CN116935170B (zh) 视频处理模型的处理方法、装置、计算机设备和存储介质
CN114283351A (zh) 视频场景分割方法、装置、设备及计算机可读存储介质
CN108961267A (zh) 图片处理方法、图片处理装置及终端设备
CN110929806A (zh) 基于人工智能的图片处理方法、装置及电子设备
CN109978074A (zh) 基于深度多任务学习的图像美感和情感联合分类方法及系统
CN111368911A (zh) 一种图像分类方法、装置和计算机可读存储介质
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN110751191A (zh) 一种图像的分类方法及系统
CN111046213B (zh) 一种基于图像识别的知识库构建方法
CN112817563A (zh) 目标属性配置信息确定方法、计算机设备和存储介质
CN108154120A (zh) 视频分类模型训练方法、装置、存储介质及电子设备
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN109359727A (zh) 神经网络的结构确定方法、装置、设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication