CN117271806A - 内容推荐方法、装置、设备、存储介质及产品 - Google Patents

内容推荐方法、装置、设备、存储介质及产品 Download PDF

Info

Publication number
CN117271806A
CN117271806A CN202210649600.5A CN202210649600A CN117271806A CN 117271806 A CN117271806 A CN 117271806A CN 202210649600 A CN202210649600 A CN 202210649600A CN 117271806 A CN117271806 A CN 117271806A
Authority
CN
China
Prior art keywords
content
recommendation
multimedia object
information
external signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210649600.5A
Other languages
English (en)
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210649600.5A priority Critical patent/CN117271806A/zh
Publication of CN117271806A publication Critical patent/CN117271806A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/437Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种内容推荐方法、装置、设备、存储介质及产品,应用于第一推荐系统,属于人工智能技术领域。上述方法包括:获取多媒体对象对应的外部信号,上述外部信号为基于至少一个第二推荐系统中的内容推荐数据对上述多媒体对象进行推荐信息预测所得到的结果,任一上述第二推荐系统为不同于上述第一推荐系统的其他推荐系统;对上述多媒体对象进行至少一个维度的模态信息提取,得到上述多媒体对象对应的模态特征信息;根据上述外部信号和上述模态特征信息,确定上述多媒体对象的推荐策略;根据上述推荐策略推荐上述多媒体对象。本申请实施例提供的技术方案中,通过引入外部信号可以显著改善推荐效果。

Description

内容推荐方法、装置、设备、存储介质及产品
技术领域
本申请涉及人工智能技术领域,特别涉及一种内容推荐方法、装置、设备、存储介质及产品。
背景技术
在互联网技术快速发展的时代,在内容推荐过程当中,持续有内容进入内推荐池(入库),尤其是优质的内容在一个平台当中要获得好的推荐效果,需要不断提高推荐质量,这其中就需要不断提高对内容质量的评估能力,但是目前相关技术中的推荐质量依然有待提高,尤其是在一些特殊情况下,推荐质量下降严重,比如,对推荐而言必不可少的内容冷启动的过程。
在冷启动环节,相关技术主要是通过入库内容的标记,比如分类,标签和主题信息,以及通过内容消费对象的兴趣探索和试探,同时参考该对象的反馈和后验行为数据来调整推荐策略,达到冷启动目的,但是这一方案需要通过一定的流量尝试逐步放大推荐范围,需要较长的时间,效果也不甚突出。对于新内容消费对象的冷启动而言,相关技术也缺少快速准确的冷启动方案,导致冷启动阶段推荐效果较差。
发明内容
本申请实施例提供了一种内容推荐方法、装置、设备、存储介质及产品,能够提升内容推荐的准确度,优化推荐效果,尤其适合在冷启动场景中快速进行内容推荐。
根据本申请实施例的一个方面,提供了一种内容推荐方法,应用于第一推荐系统,所述方法包括:
获取多媒体对象对应的外部信号,所述外部信号为对所述多媒体对象进行内容分发质量预测过程中所得到的结果,所述内容分发质量预测基于至少一个第二推荐系统中的内容推荐数据进行,任一所述第二推荐系统为不同于所述第一推荐系统的其他推荐系统;
对所述多媒体对象进行至少一个维度的模态信息提取,得到所述多媒体对象对应的模态特征信息;
根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略;
根据所述推荐策略推荐所述多媒体对象。
根据本申请实施例的一个方面,提供了一种内容推荐装置,应用于第一推荐系统,所述装置包括:
外部信号获取模块,用于获取多媒体对象对应的外部信号,所述外部信号为对所述多媒体对象进行内容分发质量预测过程中所得到的结果,所述内容分发质量预测基于至少一个第二推荐系统中的内容推荐数据进行,任一所述第二推荐系统为不同于所述第一推荐系统的其他推荐系统;
多模态信息获取模块,用于对所述多媒体对象进行至少一个维度的模态信息提取,得到所述多媒体对象对应的模态特征信息;
推荐策略确定模块,用于根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略;
推荐模块,用于根据所述推荐策略推荐所述多媒体对象。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述内容推荐方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述内容推荐方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行以实现上述内容推荐方法。
本申请实施例提供的技术方案可以带来如下有益效果:
本申请实施例能够有效利用外部的其他推荐系统的数据,比如内容分发数据、内容及作者的先验信息,产生用于评价多媒体对象的内容分发质量的外部信号,从而构建一个综合的语义层面和感知层面的内容质量评价方法,更为科学合理地进行多媒体对象的推荐,并且能够有助于推荐系统对新进入内容的冷启动和对内容消费对象的冷启动,避免多次和反复探索的低效率。并且,该推荐方法可以帮助推荐系统更好利用推荐流量,内容分发过程可以依据上述内容分发质量进行内容排序,对内容进行加权和降权调整,加速优质内容分发和降低低质内容的分发,最终改善内容消费对象消费内容的体验和提升消费粘性,改善产品的留存率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的应用程序运行环境的示意图;
图2是本申请一个实施例提供的内容推荐方法的流程图;
图3示例性示出了确定内容质量分发指标的神经网络的架构图;
图4示例性示出了信息流内容服务系统架构图;
图5示例性示出了内容推荐装置的框图;
图6是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
在介绍本申请提供的方法实施例之前,先对本申请方法实施例中可能涉及的相关术语或者名词进行简要介绍,以便于本申请领域技术人员理解。
NetVLAD(Net Vector of Locally Aggregated Descriptors,局部聚合向量神经网络)是一种场景识别算法,该算法改进于VLAD(Vector of Locally AggregatedDescriptors,局部聚合向量),VLAD算法以尺度不变特征变换(Scale-invariant featuretransform,SIFT)或该类算法为基础,对其提取的特征进行编码,得到一段较短的特征串,NetVLAD以卷积神经网络作为基础特征提取结构,与该网络连接,实现端到端的训练。
FAISS(聚类和相似性搜索库)是一种开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集的算法,以及用于算法评估和参数调整的支持代码。
BERT(Bidirectional Encoder Representation from Transformers,基于转换模型的双向编码表示模型),是大规模文本预训练模型,BERT用12层的transformerencoder(转换模型编码器)将自然语言处理任务的基准性能提高了一大截。相比word2vec(词向量),经过海量文本预训练的BERT能够在分类算法中引入更多的迁移知识,提供更精准的文本特征。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
深度学习:深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替。
人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(AutomaticSpeech Recognition,ASR)和语音合成技术(Text To Speech,TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来被看好的人机交互方式之一。
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
社交网络:社交网络源自网络社交,网络社交的起点是电子邮件。互联网本质上就是计算机之间的联网,早期的E-mail(电子邮件)解决了远程的邮件传输的问题,至今它也是互联网上最普及的应用,同时它也是网络社交的起点。BBS(Bulletin Board System,网络论坛)则更进了一步,把“群发”和“转发”常态化,理论上实现了向所有人发布信息并讨论话题的功能,成为早期的互联网内容自发产生的平台。
BBS把网络社交推进了一步,从单纯的点对点交流的成本降低,推进到了点对面交流成本的降低。即时通信(Instant Messaging,I M)和博客(Blog)更像是前面两个社交工具的升级版本,前者提高了即时效果(传输速度)和同时交流能力(并行处理);后者则开始体现社会学和心理学的理论—信息发布节点开始体现越来越强的个体意识,因为在时间维度上的分散信息开始可以被聚合,进而成为信息发布节点的“形象”和“性格”。随着网络社交的悄悄演进,一个人在网络上的形象更加趋于完整,这时候社交网络出现了。社交网络涵盖以人类社交为核心的所有网络服务形式,互联网是一个能够相互交流,相互沟通,相互参与的互动平台,社交网络使得互联网从研究部门、学校、商业应用平台扩展成一个人类社交的工具。网络社交更是把其范围拓展到移动手机平台领域,借助手机的普遍性和无线网络的应用,利用各种交友/即时通讯/邮件收发器等软件,使手机成为新的社交网络的载体。
在自媒体时代,各种不同的声音来自四面八方,“主流媒体”的声音逐渐变弱,人们不再接受被一个“统一的声音”告知对或错,每一个人都在从独立获得的资讯中,对事物做出判断。自媒体有别于由专业媒体机构主导的信息传播,它是由普通大众主导的信息传播活动,由传统的“点到面”的传播,转化为“点到点”的一种对等的传播概念。同时,它也是指为个体提供信息生产、积累、共享、传播内容兼具私密性和公开性的信息传播方式。自媒体的内容构成也很特别,没有既定的核心,想到什么就写什么,只要觉得有价值的东西就分享出来,所以看一些优秀的自媒体图文十分独特有趣。而且他们在字数方面控制得很好,一般都会控制在1000字左右,让内容消费对象可以在10分钟内流畅阅读完,非常适合在移动时代的快速阅读和消费。通常以Feeds流(信息流)形式展示出来供内容消费对象快速刷新,可以看做一个新型信息聚合器,订阅源是好友或关注的公众人物,内容是他们公开发布的动态。当好友数量较多且活跃时,就可以收到不断更新的内容,这是最常见的Feeds流形式。时间是Feeds流所遵循的终极维度,因为内容的更新是不断向服务器发出请求的结果。Timeline(时间线)是Feeds最原始最直觉也最基本的展示形式,现在这种形式的信息流成为内容消费对象消费信息和资讯的一种主流模式。
Feeds:消息来源,又译为源料、信息流、馈送、资讯提供、供稿、摘要、源、新闻订阅、网源,是一种资料格式,网站透过它将最新资讯传播给内容消费对象,通常以时间轴方式排列,Timeline,时间流是Feed最原始最直觉也最基本的展示形式。内容消费对象能够订阅网站的先决条件是,网站提供了消息来源。
多媒体对象:可以被认为是本申请实施例中“内容”的载体,信息流服务系统推荐给内容消费对象阅读观看的多媒体信息个体,可能包含图文对象、图片对象或者视频对象。图文对象通常是自媒体信息发布对象对应的内容消费对象主动编辑发布的包括竖版的小图文内容和/或横版的短图文内容。视频通常是PGC或者UGC内容生产者提供,最后以Feeds流的形式提供。
视频:信息流推荐给内容消费对象阅读的视频,可以包括竖版的小视频和横版的短视频,以Feeds流的形式提供。短视频:即短片视频,是一种互联网内容传播方式,一般是在互联网新媒体上传播的时长在5分钟以内的视频传播内容;随着移动终端普及和网络的提速,短平快的大流量传播内容逐渐获得市场青睐。本申请实施例例中的内容使用视频或短视频举例,可以毫无疑义的是,其他传播形态的多媒体对象也可以作为本申请实施例中的内容,从而无差别使用本申请实施例中的方案。
PGC(全称:Professional Generated Content):互联网术语,指专业生产内容(比如,视频网站中的内容)、专家生产内容(比如,一些社区类应用程序中的内容)。用来泛指内容个性化、视角多元化、社会关系虚拟化。也称为PPC,(Professionally-producedContent)。
MCN(Multi-Channel Network):是一种多频道网络的产品形态,将PGC内容联合起来,保障内容的持续输出。
服务端:部署在多组服务器上、专门为终端程序提供远程网络服务的服务器程序。
CNN(全称:Convolutional Neural Networks):卷积神经网络,是一类包含卷积计算且具有深度结构的前馈神经网络(FeedforwardNeural Networks),是深度学习的代表算法之一,具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类。
AudioSet:由Google的声音理解团队于2017年3月发布,旨在为音频事件检测提供常见的大规模评估任务,并为全面的声音事件词汇提供起点。AudioSet是一个由200万个人标记的10秒视频音轨组成的数据集,其标签来自600多个音频事件类的本体。
VGGish:在大量的AudioSet数据集上训练得到类VGG模型,该模型中生成128维的嵌入特征(embedding)。作为特征提取器:VGGish模型将音频输入特征转化为具有语义和有意义的128维高水平(high-level)的特征向量,而128维high-level特征向量可以作为下游模型的输入,作为其它模型中的一部分:VGGish可以视为其它模型的较低层的“热启动“部分,其它模型可以在VGGish embedding之上添加更多层。
社交网络源自网络社交,网络社交的起点是电子邮件(E-mail)。互联网本质上就是计算机之间的联网,早期的E-mail解决了远程的邮件传输的问题,至今它也是互联网上最普及的应用,同时它也是网络社交的起点。网络论坛(Bulletin Board System,BBS)则更进了一步,把“群发”和“转发”常态化,理论上实现了向所有人发布信息并讨论话题的功能。成为早期的互联网内容自发产生的平台。最近由于智能设备的全面普及,互联网的快速发展,在当下移动互联网时代的强语境下,内容消费对象接受信息的需求,正在从图文时代向视频化时代过渡。以短视频为例,短视频可能逐渐成为移动互联网的主导内容形态之一,在一定程度上替代图文内容消费,并在新闻、社交平台等图文媒体中逐渐取得主导地位。这些内容通常以Feeds流形式展示出来供内容消费对象快速刷新,比如,可以设置视频的新型聚合器,订阅源的是内容消费对象的好友或关注的人物,内容是他们公开发布的动态。当好友数量较多且活跃时,就可以收到不断更新的内容,这是最常见的Feed形式。
短视频是指在各种新媒体平台上播放的、适合在移动状态和短时休闲状态下观看的、高频推送的视频内容,几秒到几分钟不等。由于内容较短,可以单独成片,也可以成为系列栏目。不同于微电影和直播,短视频制作并没有像微电影一样具有特定的表达形式和团队配置要求,具有生产流程简单、制作门槛低、参与性强等特点,又比直播更具有传播价值。短视频的出现丰富了新媒体原生广告的形式。目前短视频的内容挖掘、消费、生产各个环节的优化不断迭代,短视频已经成为内容创业和社交媒体平台的重要传播方式之一。无论是短视频内容的生产者还是消费者都成为一个巨大的群体。
随着内容生产的门槛降低,视频上传量以指数级的速度增长。视频已经成为大部分互联网内容消费对象娱乐的首要选择,占据了内容消费对象大部分娱乐时间。面对如此海量的视频,如何帮助内容消费对象从冗长的视频中筛选出更具吸引力的视频片段,提升视频内容的内容消费对象感知质量,不仅关系着视频的分发,以及加速基于内容的应用软件的冷启动速度,也是降低探索流量的需求,提高内容消费对象的观看体验,提升内容消费对象粘性,成为非常重要的问题。
相关技术中,在视频内容推荐过程当中,持续有内容进入推荐池,尤其是优质的内容在一个平台当中要获得好的推荐效果,需要有一个内容冷启动的过程。推荐系统分发冷启动是一个重要的问题,相关技术中的冷启动主要是通过按照新入库内容的标记比如分类,标签和主题信息,按照内容消费对象的兴趣探索和试探,同时参考内容消费对象的反馈和后验内容消费对象行为数据来调整推荐策略,这里需要通过一定的流量尝试逐步放大推荐范围。按照常规的探索和冷启动,推荐系统要实现内容消费对象和内容有效冷启动和优质内容的加速扩展,需要很长的时间;同时相关技术也很少考虑到多平台内容发放的现状,没有利用到多平台的内容发放的横向信息,也就是说没有利用到相较于自身的推荐系统而言,其他推荐系统产生的外部信号来加速冷启动,从而导致冷启动和内容分发效率的降低。
事实上,以新内容消费对象的冷启动为例,本申请实施例提出为了更好获取内容消费对象的兴趣点,可以用事先已经能够确定的被证明过的优质内容来进行加权探索,这样能够更好获取到内容消费对象的兴趣和提升转化,这个冷启动过程中如果能够事先对分发内容进行先验的内容消费对象感知的评级会有效提升冷启动效率。这一观点的提出考虑到内容不会只在一个推荐系统中投放的现状,所以不同平台的内容发布会有先后的顺序和不同的内容消费对象在消费。充分考虑到上述内容,本申请实施例中,可以充分利用相同或者近似内容在不同平台上分发的后验数据,再结合内容本身的先验特征信息(比如内容的清晰度,人物知名度,作者权威认证等信息),来引入外部信号,利用内容消费对象已经消费证明过的优质内容来构建一个内容消费对象的感知分发内容的质量模型,来对自身推荐系统的内容进行质量评价,即可根据评价结果显著加速内容冷启动和提升推荐分发效率。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1,其示出了本申请一个实施例提供的应用程序运行环境的示意图。该应用程序运行环境可以包括:终端10和服务器20。
终端10包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、游戏主机、电子书阅读器、多媒体播放设备、可穿戴设备等电子设备。终端10中可以安装应用程序的客户端。
在本申请实施例中,上述应用程序可以是任何能够提供信息流内容服务的应用程序。典型地,该应用程序为视频类应用程序。当然,除了视频类应用程序之外,其它类型的应用程序中也可以提供信息流内容服务。例如,新闻类应用程序、社交类应用程序、互动娱乐类应用程序、浏览器应用程序、购物类应用程序、内容分享类应用程序、虚拟现实(VirtualReality,VR)类应用程序、增强现实(Augmented Reality,AR)类应用程序等,本申请实施例对此不作限定。另外,对于不同的应用程序来说,其推送的视频也会有所不同,且相应的功能也会有所不同,这都可以根据实际需求预先进行配置,本申请实施例对此不作限定。可选地,终端10中运行有上述应用程序的客户端。在一些实施例中,上述信息流内容服务涵盖综艺、影视、新闻、财经、体育、娱乐、游戏等诸多垂直内容,并且内容消费对象可通过上述信息流内容服务享受到文章、图片、小视频、短视频、直播、专题、栏目等众多形式的内容服务。
服务器20用于为终端10中的应用程序的客户端提供后台服务。例如,服务器20可以是上述应用程序的后台服务器。服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地,服务器20同时为多个终端10中的应用程序提供后台服务。
可选地,终端10和服务器20之间可通过网络30进行互相通信。终端10以及服务器20可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
请参考图2,其示出了本申请一个实施例提供的内容推荐方法的流程图,该方法应用于第一推荐系统。该方法可应用于计算机设备中,上述计算机设备是指具备数据计算和处理能力的电子设备,如各步骤的执行主体可以是图1所示的应用程序运行环境中的服务器20。该方法可以包括以下几个步骤:
S101,获取多媒体对象对应的外部信号,上述外部信号为对上述多媒体对象进行内容分发质量预测过程中所得到的结果,上述内容分发质量预测基于至少一个第二推荐系统中的内容推荐数据进行,任一上述第二推荐系统为不同于上述第一推荐系统的其他推荐系统。
需要注意的是,本申请实施例中与第二推荐系统有关的任何内容均在符合法律法规以及第二推荐系统的规则的前提下得到。
可选地,上述多媒体对象可以是进入第一推荐系统的内容的载体,比如,图文对象、视频对象、短视频对象、音频对象等。
本申请实施例中的外部信号是基于至少一个第二推荐系统的内容推荐数据、针对该多媒体对象而产生的信息的总称。本申请实施例中第二推荐系统是不同于第一推荐系统的其他推荐系统。本申请实施例引入外部信号的主要原因在于,该外部信号包括在其他推荐系统中的信息,比如,该内容推荐数据可以包括外部作者信息及外部先验数据信息。
事实上,目前一些优质的自媒体作者往往不会只在一个推荐系统发布内容,会以一个推荐系统为主,同时在多个推荐系统发布内容,所以不同推荐系统的内容发布会有先后的顺序和不同的内容消费对象在消费,所以对于一个推荐系统来说,可以充分利用相同或者近似内容在不同推荐系统上分发的后验数据,再结合内容本身的先验特征信息(比如内容的清晰度,明星人物热度信息,作者权威认证等信息),来引入这个外部信号构建符合大众审美的质量标准,也就是,在大众审美这一维度确定出该多媒体对象在的内容分发质量,从而提升推荐效果,并且,在一些场景下,还可以辅助和帮助现有推荐系统(第一推荐系统)对优质内容的识别和加速优质内容和内容消费对象的冷启动过程。
在一个实施例中,该外部信号可以包括第一外部信息。该第一外部信息可以被认为是由第一推荐系统预测出的、该多媒体对象在其他的推荐系统中的内容分发质量,这是基于从其他的推荐系统中得到的在先数据预测出的一种信息,可以被认为是从其他推荐系统的视角对该多媒体对象进行的一轮预测,通过多视角提升最终确定出的该多媒体对象在第一推荐系统中的内容分发质量指标的描述能力。
在一个实施例中,上述获取多媒体对象对应的外部信号,包括:将上述多媒体对象输入外部信号提取器,得到上述多媒体对象对应的第一外部信息,上述第一外部信息属于上述外部信号。上述外部信号提取器通过下述方法训练得到:在至少一个上述第二推荐系统中确定正样本内容以及负样本内容,上述正样本内容具备下述条件中至少一个:内容分发量高于第一阈值,内容定向反馈量高于第二阈值、内容提供者定向指标满足第一要求并且正常发布内容、内容提供者具备符合第二要求的认证资格;根据上述正样本内容和上述负样本内容训练神经网络,得到上述外部信号提取器。当然,上述第一阈值、第二阈值、第一要求和第二要求不做限定,可以根据实际情况来设计。内容定向反馈量不做限定,比如,可以是点赞、评论、转发等,内容提供者定向指标也不做限定,比如,可以是粉丝数、互动数、信誉度等,认证资格也不做限定,比如,可以是认证优质账号。其中,第一要求和第二要求可以根据第二推荐系统的应用场景或第一推荐系统的优化方向确定,比如,第二推荐系统专注于对一些情感类话题的推广,则第一要求可以是内容提供者发表优质情感类评论的数量大于预设的优质评论数量阈值,第二要求可以是内容提供者被认证为优质情感类内容提供者。再比如,第一推荐系统的优化方向为提升冷启动效果,则第一要求可以是内容提供者在开始进行内容提供初期的涨粉速度满足预设的速度要求,第二要求可以是内容提供者被认证为快速成长类内容提供者,其从开始提供内容到被认证为优质内容提供者所需要的时间符合对应的时间要求。
在一个具体的实施方式中,可以引入至少一个推荐系统的优质热门分发内容做正样本,随机选择做负样本。训练自动化二分类模型,该二分类模型即可作为上述外部信号提取器,输出该第一外部信息。比如,可以按照下述条件筛选政府样本内容:
正样本:(1)视频分发播放量达到10万以上或者点赞10万以上,(2)作者粉丝量超过10万,且正常分发的内容;(3)外部平台对作者的认证信息:“认证优质/知名(比如历史,财经等等)领域创作者”类账号,生产且正常分发的内容;
负样本:随机选择不符合正样本标准的内容作为负样本。
在一些实施例中,上述外部信号包括第二外部信息,上述第二外部信息包括下述至少之一:上述多媒体对象关联的、在至少一个上述第二推荐系统中的账户特征信息、上述第一推荐系统和/或上述第二推荐系统对应的内容消费对象的行为特征信息;上述多媒体对象的内容影响力信息、上述多媒体对象的内容提供者的影响力信息。比如,账户特征信息可以为认证等级、粉丝数目、分发量等,内容消费对象的行为特征信息可以为分享量、点赞量、评论量、转发量等,多媒体对象的内容影响力信息可以为该对象中的内容和人物的公众认知度信息、热度信息、受喜爱信息等,内容提供者的影响力信息可以为作者热度信息等。
S102.对上述多媒体对象进行至少一个维度的模态信息提取,得到上述多媒体对象对应的模态特征信息。
具体来说,上述模态特征信息包括下述至少之一:
上述多媒体对象的视频模态信息、音频模态信息、文本模态信息、标题模态信息、语音模态信息。以多媒体对象是视频或者短视频为例,其模态特征信息可以通过下述方法得到:
(1)视频模态:
多模态视频内容MediaFrame的embedding向量就是用一个低维的向量表示一个视频,两个embedding的“距离”代表两个视频的距离,进而可以计算视频的相似度,这里的视频内容embedding是基于内容的“隐式”特征。视频内容向量包含2层含义:第1层含义:Representation Learning,低维的稠密特征,一维数组(譬如的视频embedding是128个浮点数据)第2层含义:Metric Learning,相似性度量的向量,两个向量的“距离”代表两个物体的“相似性”。
在一个实施例中,可以通过输入视频帧序列,通过TSN(Temporal SegmentNetworks)网络抽帧,骨架网络(Backbone)可以是RestNet网络或者Xception网络提取图像特征,最后使用Youtub8M-NeXtVLad网络的网络比赛模型的中间层得到的图像特征向量,然后用图像特征向量加和平均得到视频的向量embeeding(视频模态信息)。NeXtVLad大规模视频分类任务中,将帧级别特征聚合成视频级别特征的模型结构,基本思想是,在进行NetVLAD聚合之前,先将高维特征分解为一组相对低维向量。NeXtVLAD最初是用于位置识别中聚合空间表达,本申请实施例发现其比常规的时间模型用于聚合视觉和听觉特征任务更有效、更快。
(2)音频模态:
在一个实施例中,可以对音频做预处理得到梅尔频谱图,然后使用VGGish对梅尔频谱图提取特征,之后采用NextVlad得到视频级音频特征。VGGish模型是在AudioSet数据预训练得到模型。对于音频模态,首先需要对视频的音频文件做一系列的预处理,通常选取视频前10分钟的16kHz的音频,使用25ms的汉明时窗,10ms的帧移对音频进行短时傅里叶变换得到频谱图,随后将频谱图映射到64阶梅尔滤波器组中计算得到梅尔声谱。梅尔声谱特征以960ms的时长组帧,帧间没有重叠,每一帧时长10ms,包含64个梅尔频带。采用VGGish作为特征提取器,它对场景类的声音事件有较强的特别表达能力。增加音频模态后,对动作片、音乐等内容的观赏价值度与看点识别的准确率有明显的提升。
(3)文本模态:
文本模态包括标题title和视频内容OCR(Optical Character Recognition,光学字符识别)识别结果和视频内容ASR(Automatic Speech Recognition,自动语音识别技术,这里主要是视频内容场景的人物对白的信息)的结果,标题是内容提供者对视频表达内容的主观描述,通常涵盖了视频想表达的高级语义。在实践中,发现很多视频没有标题或标题传达的信息不足,OCR可以补充标题没有的丰富文本信息。但是OCR数据也存在着一些问题,比如:画面切换过程中OCR识别不准、固定位置OCR需要去重、口述类OCR需保留以及新闻滚屏类OCR需删除。因此,这里对OCR识别结果进行去噪处理,包括过滤单字类/纯数字/纯字母OCR、过滤相邻两帧检测框位置偏移小且文字重复率高的OCR、过滤检测框在屏幕底端且高较小的OCR等。将去噪后的OCR文本与标题文本拼接用于文本分支的文本模态输入,基于信息流大规模文本语料的预料训练Bert模型,根据训练结果对文本进行建模。文本模态还包括视频内部对话的语音ASR自动识别的文本信息,这个对于没有字幕的视频内容,可以通过这种方法补足OCR文本信息识别不足的问题。
S103.根据基于上述外部信号和上述模态特征信息所确定的内容分发质量指标,得到上述多媒体对象的推荐策略。
在一些实施例中,在冷启动场景下,根据上述外部信号和上述模态特征信息,确定上述多媒体对象对应的内容分发质量指标,上述内容分发质量指标表征上述多媒体对象为优质内容的概率;响应于上述内容分发质量指标高于第一预设值的情况,在上述冷启动场景下将第一推荐策略确定为上述多媒体对象的推荐策略。
在一些实施例中,在针对上述多媒体对象的分发量达到第二预设值并且针对上述多媒体对象的互动指标高于第三预设值的情况下,将上述多媒体对象的推荐策略调整为第二推荐策略;
或,
在一些实施例中,在针对上述多媒体对象的分发量达到第四预设值并且上述互动指标高于第五预设值的情况下,将上述多媒体对象的推荐策略调整为第三推荐策略,其中,上述第四预设值高于上述第二预设值,上述第五预设值低于上述第三预设值,上述第三推荐策略涉及到的内容消费对象数量多于上述第二推荐策略涉及到的内容消费对象。
当然,对于前文的第一预设值、第二预设值、第三预设值、第四预设值和第五预设值的具体数值都不做限定,对第一推荐策略、第二推荐策略和第三推荐策略的具体内容也不做限定。
举个例子,对于新入库(第一推荐系统)的内容(多媒体对象),可以根据上述外部信号和上述模态特征信息输出内容优质率的一个概率值(内容分发质量指标),基于优质概念设定阈值筛选出优质内容,比如在冷启动期间给予该优质内容A档评级,分发量达到1万后如果互动指标高于这一阶段的互动均值进入加权分发阶段(第二推荐策略),分发量达到5万后且互动不显著低于这一接阶段的互动均值的内容进入全网优质池(第三推荐策略),推给更多内容消费对象;在新的内容消费对象冷启动探索阶段,此时为了更好获取内容消费对象的兴趣点,需要用事先已经能够确定的被证明过的优质内容来进行加权探索。通过这样的方式,可以利用外部的信息来帮助第一推荐系统进行进化,利用已经消费证明过的优质内容来预测感知分发内容的质量,来对进入自身平台(第一推荐系统)的内容进行内容的质量评价,加速内容冷启动和提升推荐分发效率。
在一个具体的实施方式中,上述获取多媒体对象对应的外部信号,包括:将上述多媒体对象输入宽度信息提取器,得到上述外部信号,上述宽度信息提取器具备扁平化结构;上述对上述多媒体对象进行至少一个维度的模态信息提取,得到上述多媒体对象对应的模态特征信息,包括:将上述多媒体对象输入多模态信息提取器,得到上述模态特征信息,上述多模态信息提取器具备深度神经网络。上述根据基于上述外部信号和上述模态特征信息所确定的内容分发质量指标,得到上述多媒体对象的推荐策略,包括:对上述外部信号和上述模态特征信息进行融合连接,得到上述多媒体对象对应的内容分发质量指标,上述内容分发质量指标表征上述多媒体对象为优质内容的概率;根据上述内容分发质量指标,确定对应的推荐策略。
也就是说,请参考图3,其示出本申请实施例确定内容质量分发指标的神经网络的架构图,该神经网络整体采用Deep&Wide结构,Deep部分即为前文多模态信息提取器,Wide部分即为前文的宽度信息提取器。在该神经网络中毫无疑问可以进行下述操作:
进行包括多媒体对象的内容的多模态特征提取,并且将作者账号等级信息,与内容消费对象的互动行为信息及外部信号(比如视频内容人物明星的热度和级别)进行融合,该外部信号可以包括前文的第一外部信息和/或第二外部信息,从而可以对多媒体对象的内容的综合分发质量进行分类预测,得到能够全面刻画多媒体内容的质量的内容分发质量指标。考虑到视频内容感受质量和情节密切相关,这里还可以将视频形式的内容的OCR和ASR自动识别的结果也输入。
在图3中,Wide部分宽度信息提取器可以输出外部信号,该宽度信息提取器以多模态输入层中的输出数据为输入,该多模态输入层输出的数据可以包括音频信息、标题信息、文本识别信息和语音识别信息,并且多模态输入层输出的数据还可以作为嵌入层的输入,该嵌入层可以多上述多模态输入层输出的数据进行嵌入编码并将结果传输至每一模态数据对应的神经网络,比如CNN、VGG、BERT三种神经网络分别可以用于处理视频模态的信息、音频模态的信息和文本模态的信息,得到多模态特征信息。最终,将外部信号和多模态特征信息进行连接融合处理,可以得到分发内容质量指标,该分发内容质量指标可以用于确定推荐策略。
S104.根据上述推荐策略推荐上述多媒体对象。
本申请实施例能够有效利用外部的其他推荐系统的数据,比如内容分发数据、内容及作者的先验信息,产生用于评价多媒体对象的内容分发质量的外部信号,从而构建一个综合的语义层面的感知层面的内容质量评价方法,更为科学合理的进行多媒体对象的推荐,并且能够有助于推荐系统对新进入内容的冷启动和对内容消费对象的冷启动,避免多次和反复探索的低效率。并且,该推荐方法可以帮助推荐系统更好利用推荐流量,内容分发过程可以依据上述内容分发质量进行内容排序,对内容进行加权和降权调整,加速优质内容分发和降低低质内容的分发,最终改善内容消费对象消费内容的体验和提升消费粘性,改善产品的留存率。
在示例性实施例中,上述内容推荐方法可应用于视频信息流内容服务系统。请参考图4所示,其示例性示出了一种信息流内容服务系统的技术框架示意图。图4所示的信息流内容服务系统中各个服务模块及其主要功能如下。
一.视频内容生产和消费端
(1)PGC或者UGC,MCN或者PUGC的内容生产者,通过移动端或者后端接口API(Application Programming Interface,应用程序编程接口)系统,提供本地或者拍摄的视频内容,这些都是分发内容的主要内容来源;
(2)通过和上下行内容接口服务的通讯,先获取上传服务器接口地址,然后在上传本地文件,拍摄过程当中本地视频内容可以选择搭配的音乐,滤镜模板和视频的美化功能等等;
(3)作为消费者,和上下行内容接口服务器通讯,获取访问视频文件的索引信息,然后和视频存储服务器通讯,下载对应的流媒体文件并且通过本地播放器来播放观看;
(4)同时将上传和下载过程当中内容消费对象播放的行为数据比如快进,拖动,回退等,卡顿,加载时间,播放点击等上报给统计服务器,同时提供明显的内容质量反馈入口,包括质量问题类型,对应上述各种低质特征,对应的视频文件唯一标识;
(5)消费端通常通过Feeds流方式浏览视频数据,所以视频重复文件对内容消费对象的体验会有很大影响
(6)对于视频分发质量评分靠前的内容,消费端可以加权展示在Feeds当中,增加曝光概率和加速内容的冷启动;
二.上下行内容接口服务器
(1)和内容生产端直接通讯,从前端提交的内容,通常是视频内容的标题,发布者,摘要,封面图,发布时间,或者是拍摄的视频直接通过该服务器进入服务端,把文件存入视频内容存储服务;
(2)将视频内容的元信息,比如视频文件大小,封面图链接,码率,文件格式,标题,发布时间,作者等信息写入内容数据库;
(3)将上传的文件提交给调度中心服务器,进行后续的内容处理和流转;三.内容数据库
(1)视频内容的核心数据库,所有生产者发布内容的元信息都保存在这个业务数据库当中,重点是视频内容本身的元信息视频文件大小,封面图链接,码率,文件格式,标题,发布时间,作者,还包括人工审核过程中对内容的分类(包括一,二,三级别分类和标签信息,比如一段关于某手机的视频一级分类是科技,二级分类是手机,三级分类是国内手机,标签可能是该手机的型号等);
(2)上下行内容接口服务器将发布的视频文件存储在视频内容存储服务器上以后,视频内容存储服务器会对内容进行标准的转码操作,转码完成后异步返回元信息主要是文件大小,码率,规格,截取封面图这些信息都会保存在内容数据库当中;
(3)人工审核过程当中会读取内容数据库当中的信息,同时人工审核的结果和状态也会回传进入内容数据库;
(4)调度中心对内容处理主要包括机器处理和人工审核处理,这里机器处理核心就是调用排重服务,排重的结果会写入内容数据库,完全重复一样的内容不会给人工进行重复的二次处理;
(5)为多模态特征提取模型提供内容的元数据,比如内容的标题Title,内容OCR识别的结果,视频内容ASR文本信息视频结果,OCR由单独模型处理视频提供,保存在内容数据当中备用;
四.调度中心
(1)负责视频内容流转的整个调度过程,通过上下行内容接口服务器接收到入库的视频内容,然后从内数据库中获取视频的元信息;
(2)调度人工审核系统和机器处理系统,控制调度的顺序和优先级;
(3)对于视频内容,先和视频排重服务服务通讯,后者对不同码率,不同清晰度,不同尺寸,部分黑屏,有无滤镜,有无标记和在相似视频内容当中插入部分广告内容和片头片尾的裁剪都可以进行处理,有效建设进入人工审核过程当中需要处理的内容;
(4)调度进入人工审核系统需要进行人工审核的视频内容,过滤掉重复的内容;
(5)最后通过人工审核系统的内容启用通过内容出口分发服务通常是推荐引擎或者搜索引擎或者运营直接的展示页面提供给终端的内容消费者;
(6)调用视频内容分发质量服务通讯,完成视频内容分发质量评分的预测结果,结果保存在内容数据当中供后续的推荐分发使用;
五.人工审核系统
(1)需要读取内容数据库中视频内容本身的原始信息,通常是一个业务复杂的基于web数据库开发的系统,通过人工来对视频内容是否涉及一些不良内容的特性进行一轮初步过滤;
(2)在初步审核的基础之上,对内容进行二次审核,主要是对内容进行分类和标签的标注或者确认,由于视频内容本身完全通过机器学习比如深度学习还不完全成熟,所以需要通过在机器处理的机器上进行二次的人工审核处理,通过人机协作,提升视频本身标注的准确性和效率;
(3)接受调度中心服务的调度,对经过视频标题,封面和内容质量模型处理之后的疑似内容进行人工复核
(4)人工审核过程当中审核不通过涉及视频质量问题的内容,直接标记出来上报到统计接口和分析服务器,作为后续构建检测模型的样本训练数据。
六.视频内容存储服务
(1)通常是一组分布范围很广,离内容消费对象很近的就近接入的存储服务器,通常外围还有CDN(Content Delivery Network,内容分发网络)加速服务器进行分布式缓存加速,通过上下行内容接口服务器将内容生产者上传的视频内容保存起来;
(2)终端消费者在获取内容索引信息后,也可以直接访问视频内容存储服务器下载对应的内容;
(3)除了作为对外服务的数据源意外,还作为对内服务的数据源,供下载文件系统获取原始的视频数据进行相关的处理,内外数据源的通路通常是分开部署的,避免相互影响;
七.下载文件系统
(1)从视频内容存储服务器下载和获取原始的视频内容,控制下载的速度和进度,通常是一组并行的服务器,有相关的任务调度和分发集群构成;
(2)下载完成的文件与视频片段抽取及处理服务通讯,作为后续视频多模态特征提取提供服务;
八.视频片段抽取及处理服务
(1)按照上面提到的算法和策略,对下载文件系统从视频内容存储服务上下载到的文件进行视频文件特征的初级处理,包括采用视频帧和,分离视频当中的音频内容,供后续视频多模态特征提取提供服务;
九.多模态特征提取模型
(1)按照上面描述的具体模型和方法,利用内容本身的标题(还包括视频OCR文本的ASR识别结果),音频模态,视频片段多维度信息来构建多模态特征提取模型,从而得到多模态特征信息;
十.内外部作者及先验数据信息
(1)视频内容分发质量不仅仅与视频本身的视觉信息和音频,文本信息内容有关,还与很多其他因素有关,例如是否包含明星以及明星的重要程度、受欢迎程度等外部信息;同时在训练模型的时候人工标记可以给出明星的等级信息比如一线,二线,三线等级信息作为Wide部分辅助信息的输入;还有视频内容发布的自媒体作者的等级认证信息;
十一.视频分发质量模型与服务
按照上面描述的方法通过Deep&Wide结构的模型来处理并融合多模态特征信息和外部信号,然后将模型服务化;
和调度中心服务通讯,完成视频内容的分发质量打分标记,标记的结果供推荐系统在线上应用;
十二.内容样本库(内外部)
主要获取其他的推荐系统(第二推荐系统)优质热门分发内容做正样本,随机选择或者当前平台质量一般的内容做负样本,即进行样本服务;
十三.视频排重服务
通过视频内容本身的指纹特征进行比较,重复相似的视频文件指保留一份延续到后续的链路,减少链路上不必要的重复文件
十四.统计接口和分析服务器
接受视频内容消费端的消费流水数据上报和端对视频内容质量相关问题的反馈上报,负反馈内容可以作为负样本;
接受人工审核过程当中过滤质量问题的流水上报,收集反馈问题,低质数据自动回流,算法迭代输入。
上述信息流内容服务系统支持本申请实施例提供的基于外部信号的内容推荐方法,很多场景下,通过自媒体作者发布内容在其他平台分发效果的外部信号来筛选优质内容样本,对视频内容做内容消费对象层面感知的量化的分发质量评估,满足大众的审美和排序,用于自身推荐系统的内容推荐和冷启动,提升推荐系统内容的分发效率,并且提升冷启动效果。通过对同时入驻在多个推荐系统的自媒体作者分发的视频内容进行采样,从外部推荐系统的视角确定多媒体对象的外部信号,然后进行视频多模态特征提取,同时内容消费对象的消费行为特征信息,包含的内容的外部信息(如内容明星的人气信息)和后验分发信息比如外部的评论,点赞,粉丝数和作者权威度都可以作为依据影响内容分发质量指标,进而影响推荐策略。具体拉说,可以采用Deep&Wide模型架构,综合起来对视频内容从内容消费对象感知视角进行内容分级,辅助推荐系统的冷启动和推荐进化。通过本发明能够有效利用外部平台的内容分发信号和内容及作者的先验信息,构建一个综合的语义层面的内容消费对象感知层面的视频内容质量评价体系,能够有助于推荐系统对新进入内容的冷启动和内容消费对象的冷启动,避免多次和反复探索的低效率;能够帮助推进系统更好利用推荐流量,视频分发过程可以依据内容排序,对内容进行加权和降权调整,加速优质内容分发和降低低质内容的分发,最终改善内容消费对象的消费视频内容的体验和提升消费粘性,改善产品的留存率。
下述为本申请装置实施例,可用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图5,其示出了本申请一个实施例提供的内容推荐装置的框图。该装置应用于第一推荐系统,具有实现上述内容推荐方法的功能,上述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以是计算机设备,也可以设置在计算机设备中。该装置可以包括:
外部信号获取模块101,用于获取多媒体对象对应的外部信号,上述外部信号为对上述多媒体对象进行内容分发质量预测过程中所得到的结果,上述内容分发质量预测基于至少一个第二推荐系统中的内容推荐数据进行,任一上述第二推荐系统为不同于上述第一推荐系统的其他推荐系统;
多模态信息获取模块102,用于对上述多媒体对象进行至少一个维度的模态信息提取,得到上述多媒体对象对应的模态特征信息;
推荐策略确定模块103,用于根据基于上述外部信号和上述模态特征信息所确定的内容分发质量指标,得到上述多媒体对象的推荐策略;
推荐模块104,用于根据上述推荐策略推荐上述多媒体对象。
在示例性实施例中,上述外部信号获取模块101,还用于将上述多媒体对象输入外部信号提取器,得到上述多媒体对象对应的第一外部信息,上述第一外部信息属于上述外部信号;上述外部信号提取器通过下述方法训练得到:在至少一个上述第二推荐系统中确定正样本内容以及负样本内容,上述正样本内容具备下述条件中至少一个:内容分发量高于第一阈值,内容定向反馈量高于第二阈值、内容提供者定向指标满足第一要求并且正常发布内容、内容提供者具备符合第二要求的认证资格;根据上述正样本内容和上述负样本内容训练神经网络,得到上述外部信号提取器。
在示例性实施例中,上述外部信号包括第二外部信息,上述第二外部信息包括下述至少之一:上述多媒体对象关联的、在至少一个上述第二推荐系统中的账户特征信息、上述第一推荐系统和/或上述第二推荐系统对应的内容消费对象的行为特征信息;上述多媒体对象的内容影响力信息、上述多媒体对象的内容提供者的影响力信息。
在示例性实施例中,上述模态特征信息包括下述至少之一:
上述多媒体对象的视频模态信息、音频模态信息、文本模态信息、标题模态信息、语音模态信息。
在示例性实施例中,上述外部信号获取模块101,还用于将上述多媒体对象输入宽度信息提取器,得到上述外部信号,上述宽度信息提取器具备扁平化结构;上述多模态信息获取模块102,用于将上述多媒体对象输入多模态信息提取器,得到上述模态特征信息,上述多模态信息提取器具备深度神经网络。
在示例性实施例中,上述推荐策略确定模块103,用于对上述外部信号和上述模态特征信息进行融合连接,得到上述多媒体对象对应的内容分发质量指标,上述内容分发质量指标表征上述多媒体对象为优质内容的概率;根据上述内容分发质量指标,确定对应的推荐策略。
在示例性实施例中,上述推荐策略确定模块103,用于在冷启动场景下,根据上述外部信号和上述模态特征信息,确定上述多媒体对象对应的内容分发质量指标,上述内容分发质量指标表征上述多媒体对象为优质内容的概率;响应于上述内容分发质量指标高于第一预设值的情况,在上述冷启动场景下将第一推荐策略确定为上述多媒体对象的推荐策略。
在示例性实施例中,上述推荐策略确定模块103,用于在针对上述多媒体对象的分发量达到第二预设值并且针对上述多媒体对象的互动指标高于第三预设值的情况下,将上述多媒体对象的推荐策略调整为第二推荐策略;
或,
在针对上述多媒体对象的分发量达到第四预设值并且上述互动指标高于第五预设值的情况下,将上述多媒体对象的推荐策略调整为第三推荐策略,其中,上述第四预设值高于上述第二预设值,上述第五预设值低于上述第三预设值,上述第三推荐策略涉及到的内容消费对象数量多于上述第二推荐策略涉及到的内容消费对象。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
请参考图6,其示出了本申请一个实施例提供的计算机设备的结构框图。该计算机设备可以是服务器,以用于执行上述内容推荐方法。具体来讲:
计算机设备1600包括中央处理单元(Central Processing Unit,CPU)1601、包括随机存取存储器(Random Access Memory,RAM)1602和只读存储器(Read Only Memory,ROM)1603的系统存储器1604,以及连接系统存储器1604和中央处理单元1601的系统总线1605。计算机设备1600还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O(Input/Output)系统)1606,和用于存储操作系统1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
基本输入/输出系统1606包括有用于显示信息的显示器1608和用于内容消费对象输入信息的诸如鼠标、键盘之类的输入设备1609。其中显示器1608和输入设备1609都通过连接到系统总线1605的输入输出控制器1610连接到中央处理单元1601。基本输入/输出系统1606还可以包括输入输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1607通过连接到系统总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。大容量存储设备1607及其相关联的计算机可读介质为计算机设备1600提供非易失性存储。也就是说,大容量存储设备1607可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory,只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory,电可擦可编程只读存储器)、闪存或其他固态存储其技术,CD-ROM、DVD(Digital Video Disc,高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1604和大容量存储设备1607可以统称为存储器。
根据本申请的各种实施例,计算机设备1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1600可以通过连接在系统总线1605上的网络接口单元1611连接到网络1612,或者说,也可以使用网络接口单元1611来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括计算机程序,该计算机程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,以实现上述内容推荐方法。
在示例性实施例中,还提供了一种计算机可读存储介质,上述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,上述至少一条指令、上述至少一段程序、上述代码集或上述指令集在被处理器执行时以实现上述内容推荐方法。
可选地,该计算机可读存储介质可以包括:ROM(Read Only Memory,只读存储器)、RAM(RandomAccess Memory,随机存取记忆体)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取记忆体可以包括ReRAM(Resistance RandomAccess Memory,电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述内容推荐方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
另外,在本申请的具体实施方式中,涉及到内容消费对象信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得内容消费对象许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种内容推荐方法,其特征在于,应用于第一推荐系统,所述方法包括:
获取多媒体对象对应的外部信号,所述外部信号为对所述多媒体对象进行内容分发质量预测过程中所得到的结果,所述内容分发质量预测基于至少一个第二推荐系统中的内容推荐数据进行,任一所述第二推荐系统为不同于所述第一推荐系统的其他推荐系统;
对所述多媒体对象进行至少一个维度的模态信息提取,得到所述多媒体对象对应的模态特征信息;
根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略;
根据所述推荐策略推荐所述多媒体对象。
2.根据权利要求1所述的方法,其特征在于,所述获取多媒体对象对应的外部信号,包括:
将所述多媒体对象输入外部信号提取器,得到所述多媒体对象对应的第一外部信息,所述第一外部信息属于所述外部信号;
所述外部信号提取器通过下述方法训练得到:
在至少一个所述第二推荐系统中确定正样本内容以及负样本内容,所述正样本内容具备下述条件中至少一个:内容分发量高于第一阈值,内容定向反馈量高于第二阈值、内容提供者定向指标满足第一要求并且正常发布内容、内容提供者具备符合第二要求的认证资格;
根据所述正样本内容和所述负样本内容训练神经网络,得到所述外部信号提取器。
3.根据权利要求1所述的方法,其特征在于,所述外部信号包括第二外部信息,所述第二外部信息包括下述至少之一:
所述多媒体对象关联的、在至少一个所述第二推荐系统中的账户特征信息、
所述第一推荐系统和/或所述第二推荐系统对应的内容消费对象的行为特征信息;
所述多媒体对象的内容影响力信息、
所述多媒体对象的内容提供者的影响力信息。
4.根据权利要求1所述的方法,其特征在于,所述模态特征信息包括下述至少之一:
所述多媒体对象的视频模态信息、音频模态信息、文本模态信息、标题模态信息、语音模态信息。
5.根据权利要求1所述的方法,其特征在于:
所述获取多媒体对象对应的外部信号,包括:将所述多媒体对象输入宽度信息提取器,得到所述外部信号,所述宽度信息提取器具备扁平化结构;
所述对所述多媒体对象进行至少一个维度的模态信息提取,得到所述多媒体对象对应的模态特征信息,包括:将所述多媒体对象输入多模态信息提取器,得到所述模态特征信息,所述多模态信息提取器具备深度神经网络。
6.根据权利要求5所述的方法,其特征在于,所述根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略,包括:
对所述外部信号和所述模态特征信息进行融合连接,得到所述多媒体对象对应的内容分发质量指标,所述内容分发质量指标表征所述多媒体对象为优质内容的概率;
根据所述内容分发质量指标,确定对应的推荐策略。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略,包括:
在冷启动场景下,根据所述外部信号和所述模态特征信息,确定所述多媒体对象对应的内容分发质量指标,所述内容分发质量指标表征所述多媒体对象为优质内容的概率;
响应于所述内容分发质量指标高于第一预设值的情况,在所述冷启动场景下将第一推荐策略确定为所述多媒体对象的推荐策略。
8.根据权利要求7所述的方法,其特征在于,所述根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略,还包括:
在针对所述多媒体对象的分发量达到第二预设值并且针对所述多媒体对象的互动指标高于第三预设值的情况下,将所述多媒体对象的推荐策略调整为第二推荐策略;
或,
在针对所述多媒体对象的分发量达到第四预设值并且所述互动指标高于第五预设值的情况下,将所述多媒体对象的推荐策略调整为第三推荐策略,其中,所述第四预设值高于所述第二预设值,所述第五预设值低于所述第三预设值,所述第三推荐策略涉及到的内容消费对象数量多于所述第二推荐策略涉及到的内容消费对象。
9.一种内容推荐装置,其特征在于,应用于第一推荐系统,所述装置包括:
外部信号获取模块,用于获取多媒体对象对应的外部信号,所述外部信号为对所述多媒体对象进行内容分发质量预测过程中所得到的结果,所述内容分发质量预测基于至少一个第二推荐系统中的内容推荐数据进行,任一所述第二推荐系统为不同于所述第一推荐系统的其他推荐系统;
多模态信息获取模块,用于对所述多媒体对象进行至少一个维度的模态信息提取,得到所述多媒体对象对应的模态特征信息;
推荐策略确定模块,用于根据基于所述外部信号和所述模态特征信息所确定的内容分发质量指标,得到所述多媒体对象的推荐策略;
推荐模块,用于根据所述推荐策略推荐所述多媒体对象。
10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至8任一项所述的内容推荐方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至8任一项所述的内容推荐方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行以实现如权利要求1至8任一项所述的内容推荐方法。
CN202210649600.5A 2022-06-09 2022-06-09 内容推荐方法、装置、设备、存储介质及产品 Pending CN117271806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210649600.5A CN117271806A (zh) 2022-06-09 2022-06-09 内容推荐方法、装置、设备、存储介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210649600.5A CN117271806A (zh) 2022-06-09 2022-06-09 内容推荐方法、装置、设备、存储介质及产品

Publications (1)

Publication Number Publication Date
CN117271806A true CN117271806A (zh) 2023-12-22

Family

ID=89204970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210649600.5A Pending CN117271806A (zh) 2022-06-09 2022-06-09 内容推荐方法、装置、设备、存储介质及产品

Country Status (1)

Country Link
CN (1) CN117271806A (zh)

Similar Documents

Publication Publication Date Title
US11810576B2 (en) Personalization of experiences with digital assistants in communal settings through voice and query processing
Amato et al. AI in the media and creative industries
CN111444357B (zh) 内容信息确定方法、装置、计算机设备及存储介质
US20150243279A1 (en) Systems and methods for recommending responses
CN116935169B (zh) 文生图模型训练方法以及文生图方法
CN112131411A (zh) 一种多媒体资源推荐方法、装置、电子设备及存储介质
CN116702737B (zh) 文案生成方法、装置、设备、存储介质及产品
CN112131472B (zh) 信息推荐方法、装置、电子设备和存储介质
CN112749326B (zh) 信息处理方法、装置、计算机设备及存储介质
CN112948708B (zh) 一种短视频推荐方法
JP2020174342A (ja) 映像を生成するための方法、装置、サーバ、コンピュータ可読記憶媒体およびコンピュータプログラム
CN111372141B (zh) 表情图像生成方法、装置及电子设备
CN111507097A (zh) 一种标题文本处理方法、装置、电子设备及存储介质
CN113469152B (zh) 相似视频检测方法及装置
US20140161423A1 (en) Message composition of media portions in association with image content
CN115618024A (zh) 多媒体推荐方法、装置及电子设备
CN116975615A (zh) 基于视频多模态信息的任务预测方法和装置
CN113573128B (zh) 一种音频处理方法、装置、终端以及存储介质
CN114845149B (zh) 视频片段的剪辑方法、视频推荐方法、装置、设备及介质
CN116935170B (zh) 视频处理模型的处理方法、装置、计算机设备和存储介质
CN114491149A (zh) 信息处理方法及装置、电子设备、存储介质、程序产品
CN111986259A (zh) 颜文字检测模型的训练、视频数据的审核方法及相关装置
CN116980665A (zh) 一种视频处理方法、装置、计算机设备、介质及产品
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN110569447A (zh) 一种网络资源的推荐方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination