CN111708944A - 多媒体资源识别方法、装置、设备及存储介质 - Google Patents

多媒体资源识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111708944A
CN111708944A CN202010554775.9A CN202010554775A CN111708944A CN 111708944 A CN111708944 A CN 111708944A CN 202010554775 A CN202010554775 A CN 202010554775A CN 111708944 A CN111708944 A CN 111708944A
Authority
CN
China
Prior art keywords
target
multimedia resource
multimedia
behavior data
user behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010554775.9A
Other languages
English (en)
Inventor
张水发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010554775.9A priority Critical patent/CN111708944A/zh
Publication of CN111708944A publication Critical patent/CN111708944A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking

Abstract

本公开关于一种多媒体资源识别方法、装置、设备及存储介质,属于计算机技术领域,通过挖掘展示多媒体资源时用户对多媒体资源触发的行为,结合原始用户行为数据以及多媒体资源的展示位置,得出目标用户行为数据,根据目标用户行为数据得出多媒体资源的质量参数,进而根据质量参数来识别多媒体资源的类别,方法能提供为计算机自动化执行的流程,为如何评估多媒体资源的质量提供了客观、统一的标准,避免了人工评估的繁琐流程和时间成本,提高了识别多媒体资源的效率。并且矫正了行为数据由于展示位置的影响出现的失真,保证目标用户行为数据能够真实的反映多媒体资源内容本身的受关注程度,因此得出的质量参数准确性高。

Description

多媒体资源识别方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种多媒体资源识别方法、装置、设备及存储介质。
背景技术
随着网络技术的发展,支持自制多媒体资源发布的平台越来越多,为大众表达自己的创作意愿提供了广泛的空间。然而,平台上发布的多媒体资源的质量良莠不齐,时常出现一些恶意骗取点击率的多媒体资源。有鉴于此,需要确定多媒体资源的质量,根据多媒体资源的质量识别多媒体资源的类别,以便对类别是恶意骗取点击率的多媒体资源及时进行管理。
时下,通常由平台的管理人员人工评估平台上每个多媒体资源的质量。然而,人工评估多媒体资源的质量存在很强的主观性,无法有统一的、客观的标准,导致评估的质量准确性差,由于根据准确性差的质量识别多媒体资源的类别,影响了识别结果的准确性。
发明内容
本公开提供一种多媒体资源识别方法、装置、设备及存储介质,以至少解决相关技术中由于确定出的多媒体资源质量的准确性差导致识别结果准确性差的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种多媒体资源识别方法,包括:
根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定所述多个位置中每个位置的权重;
根据所述目标多媒体资源的原始用户行为数据和所述每个位置的权重,确定所述目标多媒体资源的目标用户行为数据;
根据所述目标多媒体资源的目标用户行为数据,确定所述目标多媒体资源的质量参数;
根据所述目标多媒体资源的质量参数,对所述目标多媒体资源进行分类,得到所述目标多媒体资源的类别。
可选地,所述根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定所述多个位置中每个位置的权重,包括:
对于所述多个位置中的每个位置,根据所述目标多媒体资源在所述位置展示时的原始用户行为数据和其他多媒体资源在所述位置展示时的原始用户行为数据,确定所述位置对应的平均用户行为数据,所述其他多媒体资源和所述目标多媒体资源是同一个搜索词对应的不同多媒体资源;
根据所述多个位置中每个位置对应的平均用户行为数据,确定每个位置的权重。
可选地,所述目标用户行为数据包括点击率、完播率、点赞率和关注率中的至少一项,所述完播率是指所述目标多媒体资源被用户完整看完的概率。
可选地,所述目标用户行为数据包括所述完播率,所述根据所述目标多媒体资源的目标用户行为数据,确定所述目标多媒体资源的质量参数,包括:
当所述目标多媒体资源的完播率大于完播率阈值时,根据所述完播率和第一超参数的乘积,确定所述目标多媒体资源的质量参数,所述第一超参数表示正常多媒体资源对应的权重;
当所述目标多媒体资源的完播率小于所述完播率阈值时,根据所述完播率和第二超参数的乘积,确定所述目标多媒体资源的质量参数,所述第二超参数小于所述第一超参数,所述第二超参数表示异常多媒体资源对应的权重。
可选地,所述根据所述目标多媒体资源的质量参数,对所述目标多媒体资源进行分类,得到所述目标多媒体资源的类别,包括:
根据所述目标多媒体资源的质量参数,获取所述目标多媒体资源的目标特征;
将所述目标多媒体资源的目标特征输入识别模型;
通过所述识别模型对所述目标多媒体资源的目标特征进行处理,输出所述目标多媒体资源的类别。
可选地,所述将所述目标多媒体资源的目标特征输入识别模型之前,所述方法还包括:
对于多个样本多媒体资源中的每个样本多媒体资源,根据所述样本多媒体资源的质量参数,获取所述样本多媒体资源的目标特征;
当所述样本多媒体资源的质量参数高于质量参数阈值时,确定所述样本多媒体资源的标签是正常多媒体资源;或者,当所述样本多媒体资源的质量参数低于质量参数阈值时,确定所述样本多媒体资源的标签是异常多媒体资源;
根据所述多个样本多媒体资源的目标特征和所述多个样本多媒体资源的标签进行模型训练,得到所述识别模型。
可选地,所述根据所述样本多媒体资源的质量参数,获取所述样本多媒体资源的目标特征,包括:
对所述样本多媒体资源的质量参数与所述样本多媒体资源的封面图像特征、所述样本多媒体资源的作者标识、所述样本多媒体资源的封面文本特征、所述样本多媒体资源的音频特征中的至少一项进行拼接,得到所述样本多媒体资源的目标特征。
根据本公开实施例的第二方面,提供一种多媒体资源识别装置,所述多媒体资源识别装置包括:
第一确定单元,被配置为执行根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定所述多个位置中每个位置的权重;
第二确定单元,被配置为执行根据所述目标多媒体资源的原始用户行为数据和所述每个位置的权重,确定所述目标多媒体资源的目标用户行为数据;
第三确定单元,被配置为执行根据所述目标多媒体资源的目标用户行为数据,确定所述目标多媒体资源的质量参数;
分类单元,被配置为执行根据所述目标多媒体资源的质量参数,对所述目标多媒体资源进行分类,得到所述目标多媒体资源的类别。
可选地,所述第一确定单元,被配置为执行:对于所述多个位置中的每个位置,根据所述目标多媒体资源在所述位置展示时的原始用户行为数据和其他多媒体资源在所述位置展示时的原始用户行为数据,确定所述位置对应的平均用户行为数据,所述其他多媒体资源和所述目标多媒体资源是同一个搜索词对应的不同多媒体资源;根据所述多个位置中每个位置对应的平均用户行为数据,确定每个位置的权重。
可选地,所述目标用户行为数据包括点击率、完播率、点赞率和关注率中的至少一项,所述完播率是指所述目标多媒体资源被用户完整看完的概率。
可选地,所述目标用户行为数据包括所述完播率,所述第三确定单元,被配置为执行当所述目标多媒体资源的完播率大于完播率阈值时,根据所述完播率和第一超参数的乘积,确定所述目标多媒体资源的质量参数,所述第一超参数表示正常多媒体资源对应的权重;当所述目标多媒体资源的完播率小于所述完播率阈值时,根据所述完播率和第二超参数的乘积,确定所述目标多媒体资源的质量参数,所述第二超参数小于所述第一超参数,所述第二超参数表示异常多媒体资源对应的权重。
可选地,所述分类单元,被配置为执行根据所述目标多媒体资源的质量参数,获取所述目标多媒体资源的目标特征;将所述目标多媒体资源的目标特征输入识别模型;通过所述识别模型对所述目标多媒体资源的目标特征进行处理,输出所述目标多媒体资源的类别。
可选地,所述多媒体资源识别装置还包括:
获取单元,被配置为执行对于多个样本多媒体资源中的每个样本多媒体资源,根据所述样本多媒体资源的质量参数,获取所述样本多媒体资源的目标特征;
第四确定单元,被配置为执行当所述样本多媒体资源的质量参数高于质量参数阈值时,确定所述样本多媒体资源的标签是正常多媒体资源;或者,当所述样本多媒体资源的质量参数低于质量参数阈值时,确定所述样本多媒体资源的标签是异常多媒体资源;
训练单元,被配置为执行根据所述多个样本多媒体资源的目标特征和所述多个样本多媒体资源的标签进行模型训练,得到所述识别模型。
可选地,所述获取单元,被配置为执行对所述样本多媒体资源的质量参数与所述样本多媒体资源的封面图像特征、所述样本多媒体资源的作者标识、所述样本多媒体资源的封面文本特征、所述样本多媒体资源的音频特征中的至少一项进行拼接,得到所述样本多媒体资源的目标特征。
根据本公开实施例的第三方面,提供一种电子设备,包括:
一个或多个处理器;
用于存储所述处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行所述指令,以实现上述多媒体资源识别方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述多媒体资源识别方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括一条或多条指令,所述一条或多条指令由电子设备的处理器执行时,使得所述电子设备能够执行上述多媒体资源识别方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本实施例提供的方法,通过挖掘展示多媒体资源时用户对多媒体资源触发的行为,结合原始用户行为数据以及多媒体资源的展示位置,得出目标用户行为数据,根据目标用户行为数据得出多媒体资源的质量参数,进而根据质量参数来识别多媒体资源的类别,一方面,该方法能提供为计算机自动化执行的流程,为如何评估多媒体资源的质量提供了客观、统一的标准,避免了人工评估的繁琐流程和时间成本,从而提高了确定质量参数的效率,进而提高了识别多媒体资源的效率。另一方面,由于充分考虑了多媒体资源的展示位置对用户行为数据的影响,为每个位置分别引入了对应的权重,来抵消展示位置带来的影响,从而矫正了行为数据由于展示位置的影响出现的失真,保证目标用户行为数据能够真实的反映多媒体资源内容本身的受关注程度,因此根据目标用户行为数据得出的质量参数准确性高,由于根据准确性更高的质量参数来识别视频,有助于提升识别结果的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种多媒体资源识别方法的实施环境的架构图;
图2是根据一示例性实施例示出的一种多媒体资源识别方法的流程图;
图3是根据一示例性实施例示出的一种多媒体资源识别方法的流程图;
图4是根据一示例性实施例示出的一种用于识别多媒体资源的识别模型的训练方法的流程图;
图5是根据一示例性实施例示出的一种多媒体资源识别装置的框图;
图6是根据一示例性实施例示出的一种终端的结构框图;
图7是本公开实施例提供的一种服务器的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
图1是根据一示例性实施例示出的一种多媒体资源识别方法的实施环境的架构图。该实施环境包括:终端101和多媒体资源的发布平台110。
终端101通过无线网络或有线网络与多媒体资源的发布平台110相连。终端101可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端101安装和运行有支持多媒体资源识别的应用程序。该应用程序可以是直播应用、多媒体应用、短视频应用等。示例性的,终端101是用户使用的终端,终端101中运行的应用程序内登录有用户账号。
终端101通过无线网络或有线网络与多媒体资源的发布平台110相连。
多媒体资源的发布平台110包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。多媒体资源的发布平台110用于为支持发布、点击或播放多媒体资源功能的应用程序提供后台服务。可选地,在执行下述方法实施例过程中,多媒体资源的发布平台110和终端101可以协同工作。例如,多媒体资源的发布平台110承担主要工作,终端101承担次要工作;或者,多媒体资源的发布平台110承担次要工作,终端101承担主要工作;或者,多媒体资源的发布平台110或终端101分别可以单独承担工作。
可选地,多媒体资源的发布平台110包括:接入服务器、多媒体资源识别服务器1101和数据库1102。接入服务器用于为终端101提供接入服务。多媒体资源识别服务器1101用于提供多媒体资源识别有关的后台服务,例如训练识别模型、采集样本多媒体资源等等。多媒体资源识别服务器1101可以是一台或多台。当多媒体资源识别服务器1101是多台时,存在至少两台多媒体资源识别服务器1101用于提供不同的服务,和/或,存在至少两台多媒体资源识别服务器1101用于提供相同的服务,比如以负载均衡方式提供同一种服务,本公开实施例对此不加以限定。多媒体资源识别服务器1101中可以设置有多媒体资源识别模型。数据库1102可以用于存储识别模型、样本多媒体资源或者下述方法实施例涉及的其他数据等,当需要时,数据库1102可以将存储的数据提供给终端101以及多媒体资源识别服务器1101。
终端101可以泛指多个终端中的一个,本实施例仅以终端101来举例说明。
本领域技术人员可以知晓,终端101的数量可以更多或更少。比如终端101可以仅为一个,或者终端101为几十个或几百个,或者更多数量,此时上述实施环境还包括其他终端。本公开实施例对终端的数量和设备类型不加以限定。
图2是根据一示例性实施例示出的一种多媒体资源识别方法的流程图,如图2所示,该方法用于电子设备中,包括以下步骤。
在步骤S21中,电子设备根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定多个位置中每个位置的权重。
在步骤S22中,电子设备根据目标多媒体资源的原始用户行为数据和每个位置的权重,确定目标多媒体资源的目标用户行为数据。
在步骤S23中,电子设备根据目标多媒体资源的目标用户行为数据,确定目标多媒体资源的质量参数。
在步骤S24中,电子设备根据目标多媒体资源的质量参数,对目标多媒体资源进行分类,得到目标多媒体资源的类别。
本实施例提供的方法,通过挖掘展示多媒体资源时用户对多媒体资源触发的行为,结合原始用户行为数据以及多媒体资源的展示位置,得出目标用户行为数据,根据目标用户行为数据得出多媒体资源的质量参数,进而根据质量参数来识别多媒体资源的类别,一方面,由于充分考虑了多媒体资源的展示位置对用户行为数据的影响,为每个位置分别引入了对应的权重,来抵消展示位置带来的影响,从而保证目标用户行为数据能够真实的反映多媒体资源内容本身的受关注程度,因此根据目标用户行为数据得出的质量参数准确性高,由于根据准确性更高的质量参数来识别视频,有助于提升识别结果的准确性。另一方面,该方法能提供为计算机自动化执行的流程,为如何评估多媒体资源的质量提供了客观、统一的标准,避免了人工评估的繁琐流程和时间成本,从而提高了确定质量参数的效率,进而提高了识别多媒体资源的效率。
可选地,根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定多个位置中每个位置的权重,包括:
对于多个位置中的每个位置,根据目标多媒体资源在位置展示时的原始用户行为数据和其他多媒体资源在位置展示时的原始用户行为数据,确定位置对应的平均用户行为数据,其他多媒体资源和目标多媒体资源是同一个搜索词对应的不同多媒体资源;
根据多个位置中每个位置对应的平均用户行为数据,确定每个位置的权重。
通过上述可选方式,由于将同一个搜索词下的多个多媒体资源按照不同的顺序分别在不同的位置展示,根据不同多媒体资源在同一位置展示的平均用户行为数据来确定位置的权重,从而提升了权重的准确性。
可选地,所述目标用户行为数据包括点击率、完播率、点赞率和关注率中的至少一项,完播率是指目标多媒体资源被用户完整看完的概率。
通过上述可选方式,由于在确定质量参数的过程中,考虑了点击率、完播率、点赞率和关注率等多个维度,从而利用用户的点击行为、播放行为、点赞行为和关注行为等多种行为综合评估质量参数,因此提升了质量参数的准确性。
可选地,所述目标用户行为数据包括所述完播率,根据目标多媒体资源的目标用户行为数据以及目标多媒体资源的完播率、目标多媒体资源的点赞率和目标多媒体资源的关注率中的至少一项,确定目标多媒体资源的质量参数,包括:
当目标多媒体资源的完播率大于完播率阈值时,根据完播率和第一超参数的乘积,确定目标多媒体资源的质量参数,所述第一超参数表示正常多媒体资源对应的权重;
当目标多媒体资源的完播率小于完播率阈值时,根据完播率和第二超参数的乘积,确定目标多媒体资源的质量参数,第二超参数小于第一超参数,所述第二超参数表示异常多媒体资源对应的权重。
考虑到骗点击的多媒体资源的用户行为数据会偏高,单独依据用户行为数据会无法真实反映多媒体资源的质量,而通过上述可选方式,由于为完播率不同的多媒体资源设置了不同大小的超参数,偏点击的多媒体资源的完播率小,因此在确定质量参数的过程中,偏点击的多媒体资源的用户行为数据会和数值小的超参数一起运算,因此失真偏高的用户行为数据得以降低,从而提升了质量参数的准确性。
可选地,根据目标多媒体资源的质量参数,对目标多媒体资源进行分类,得到目标多媒体资源的类别,包括:
根据目标多媒体资源的质量参数,获取目标多媒体资源的目标特征;
将目标多媒体资源的目标特征输入识别模型;
通过识别模型对目标多媒体资源的目标特征进行处理,输出目标多媒体资源的类别。
通过这种方式,由于识别模型能够利用机器学习技术,学习到多媒体资源的特征和多媒体资源的类别之间的映射关系,因此根据多媒体资源的质量提取多媒体资源的特征,并识别模型进行分类时,能提升了多媒体资源的类别的准确性。
可选地,将目标多媒体资源的目标特征输入识别模型之前,方法还包括:
对于多个样本多媒体资源中的每个样本多媒体资源,根据样本多媒体资源的质量参数,获取样本多媒体资源的目标特征;
当样本多媒体资源的质量参数高于质量参数阈值时,确定样本多媒体资源的标签是正常多媒体资源;或者,当样本多媒体资源的质量参数低于质量参数阈值时,确定样本多媒体资源的标签是异常多媒体资源;
根据多个样本多媒体资源的目标特征和多个样本多媒体资源的标签进行模型训练,得到识别模型。
通过这种方式,由于根据质量参数,自动确定样本的标签是正常多媒体资源还是异常多媒体资源,从而自动化地挖掘出了样本的标签,避免了人工标注的复杂操作,大大降低了标注的成本。利用标注好的样本,能够训练出识别模型,通过识别模型能够识别出任一多媒体资源是否为异常多媒体资源,从而达到对长尾多媒体资源和未覆盖多媒体资源的全部覆盖。
可选地,根据样本多媒体资源的质量参数,获取样本多媒体资源的目标特征,包括:
对样本多媒体资源的质量参数与样本多媒体资源的封面图像特征、样本多媒体资源的作者标识、样本多媒体资源的封面文本特征、样本多媒体资源的音频特征中的至少一项进行拼接,得到样本多媒体资源的目标特征。
通过这种方式,由于不仅考虑了样本的质量,还考虑了样本的封面图像、样本的作者、封面图像包含的文字和样本的音频,将多个模态的特征拼接为识别类别所使用的目标特征,使得目标特征的表达能力更强,因此根据目标特征识别的类别的准确性和可靠性更高。
图3是根据一示例性实施例示出的一种多媒体资源识别方法的流程图,如图3所示,该方法用于电子设备中,包括以下步骤。
在步骤S31中,电子设备将同一个搜索词对应的多个多媒体资源按照不同的排列顺序分别在多个位置上展示。
多媒体资源包括而不限于视频、文章、图像、游戏中的一项或多项的组合。可选地,多媒体资源是短视频。
搜索词也称query。搜索词例如是用户在搜索框中输入的词。
同一个搜索词对应的多个多媒体资源例如是根据该搜索词能搜索出的多个多媒体资源。例如,该多个多媒体资源的标题均包括该搜索词。又如,该多个多媒体资源的封面图像均包括该搜索词。又如,该多个多媒体资源的标签均包括该搜索词。又如,该多个多媒体资源的标题均和该搜索词语义匹配。又如,该多个多媒体资源的作者账号均包括该搜索词。
位置也称展示位置,具体是指多媒体应用上用于展示多媒体资源的位置。例如,多媒体应用包括发现页面,发现页面包括多个多媒体资源,不同多媒体资源按照一定的排列顺序在发现页面的不同位置展示。
以视频是视频为例,例如,根据搜索词1能搜索出视频1和视频2,多媒体应用的界面上包括位置1和位置2。首先,电子设备将视频1在位置1展示,将视频2在位置2展示。然后,电子设备更改视频1和视频2的排列顺序,将视频2在位置1展示,将视频1在位置2展示。依次类推,电子设备会将某个搜索词下固定的几个视频按不同排序展示给不同的用户。
在步骤S32中,电子设备统计每个多媒体资源分别在每个位置展示时的原始用户行为数据。
本实施例会通过位置对应的权重对用户行为数据进行处理,为了区分描述处理前的用户行为数据和处理后的用户行为数据,将处理前的用户行为数据称为原始用户行为数据,将处理后的用户行为数据称为目标用户行为数据。
原始用户行为数据例如是统计得到的用户行为数据。所述原始行为数据表示所述目标多媒体资源在对应位置展示时被用户触发行为的概率。其中,行为包括而不限于点击行为、播放行为、点赞行为、评论行为、关注行为、收藏行为、转发行为、访问候选资源关联的购买页面的行为中的任一项或多项。例如,在行为是点击行为的情况下,原始行为数据是点击率;又如,在行为是播放行为的情况下,原始行为数据是播放率或者完播率;又如,在行为是点赞行为的情况下,原始行为数据是点赞率;又如,在行为是访问购买页面的行为的情况下,原始行为数据是转化率。
例如,在不同的位置上展示不同多媒体资源的过程中,不同用户对不同多媒体资源分别触发行为,电子设备对不同用户触发的行为进行统计,得到原始点击率(Click-Through-Rate,ctr)、原始完播率(watch-Through-Rate,wtr)、原始点赞率(like-Through-Rate,ltr)和原始关注率(follow-Through-Rate,ftr),将原始点击率、原始完播率、。原始点赞率和原始关注率中的至少一项作为原始行为数据。具体地,对于在任一个位置上展示的任一个多媒体资源而言,不同用户对该多媒体资源分别触发点击行为后,电子设备对点击行为进行统计,得到的点击率即为该多媒体资源在该位置的原始点击率。不同用户对该多媒体资源分别触发播放行为后,电子设备对播放行为进行统计,得到该多媒体资源在该位置的完播率。不同用户对该多媒体资源分别触发点赞行为后,电子设备对点赞行为进行统计,得到该多媒体资源在该位置的点赞率。不同用户对该多媒体资源分别触发关注行为后,电子设备对关注行为进行统计,得到该多媒体资源在该位置的关注率。
其中,原始点击率是指被点击的次数与被显示的次数之比。例如,多媒体资源1在位置1展示时的原始点击率是多媒体资源1在位置1被点击的次数与多媒体资源1在位置1被显示的次数之间的比值。
完播率是指多媒体资源被用户完整看完的概率。在一种可能的实现中,完播率例如通过以下公式(1)计算。
完播率=多媒体资源总的播放时长/(总的播放次数*多媒体资源的时长);公式(1)
在一些实施例中,电子设备周期性地进行统计,得到多个时间周期中每个时间周期内每个多媒体资源分别在每个位置展示时的原始点击率、完播率、点赞率和关注率。其中,时间周期例如是最近一周、最近半个月、最近一个月等。
可选地,电子设备还统计多媒体资源在不同时间周期内原始用户行为数据的增量、完播率的增量、点赞率的增量和关注率的增量。例如,确定当前时间周期内与上一个时间周期内原始用户行为数据的差值,得到原始用户行为数据的增量。确定当前时间周期内与上一个时间周期内完播率的差值,得到完播率的增量。确定当前时间周期内与上一个时间周期内点赞率的差值,得到点赞率的增量。确定当前时间周期内与上一个时间周期内关注率的差值,得到关注率的增量。以多媒体资源是视频为例,在相同的搜索词下,电子设备统计视频的用户行为数据在最近一段或几段时间的增量。
在步骤S33中,电子设备根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定多个位置中每个位置的权重。
可选地,目标多媒体资源是多个多媒体资源中的任一个多媒体资源。或者,目标多媒体资源是多个多媒体资源中指定的待识别的多媒体资源。
权重也称权重系数或调权系数。在一些实施例中,权重的确定过程包括:对于多个位置中的每个位置,电子设备根据目标多媒体资源在该位置展示时的原始用户行为数据和其他多媒体资源在该位置展示时的原始用户行为数据,确定位置对应的平均用户行为数据。电子设备根据多个位置中每个位置对应的平均用户行为数据,确定每个位置的权重。
其他多媒体资源和目标多媒体资源是同一个搜索词对应的不同多媒体资源。例如,根据搜索词1能搜索出视频1、视频2和视频3,当需要识别视频2的类别时,视频2是目标多媒体资源,视频1和视频3是其他多媒体资源。
平均用户行为数据是指目标多媒体资源的原始用户行为数据和其他多媒体资源的原始用户行为数据的平均值。
在一些实施例中,根据平均用户行为数据确定权重的过程包括:对于多个位置中的每个位置,电子设备确定该位置对应的平均用户行为数据,作为该位置的权重。在一些实施例中,根据平均用户行为数据确定权重的过程包括:对于多个位置中的每个位置,电子设备确定该位置对应的平均用户行为数据与其他位置对应的平均用户行为数据的比值,作为该位置的权重。在另一些实施例中,根据平均用户行为数据确定权重的过程包括:电子设备确定多个位置的平均用户行为数据的和值。对于多个位置中的每个位置,电子设备确定该位置对应的平均用户行为数据在该和值中所占的比例,作为该位置的权重。
例如,根据搜索词1能搜索出视频1、视频2和视频3,多媒体应用的界面上包括位置1、位置2和位置3。电子设备预先统计了视频1在位置1展示的用户行为数据1、视频2在位置1展示的用户行为数据2、视频3在位置1展示的用户行为数据3,确定用户行为数据1、用户行为数据2、用户行为数据3这3个原始用户行为数据的平均值,作为位置1对应的平均用户行为数据。依次类推,确定位置2对应的平均用户行为数据和位置3对应的平均用户行为数据。之后,电子设备将位置1对应的平均用户行为数据作为位置1的权重,将位置2对应的平均用户行为数据作为位置2的权重,将位置3对应的平均用户行为数据作为位置3的权重。也即是,计算相同的视频在不同位置的用户行为数据,将不同视频在相同位置的用户行为数据进行平均得到权重。
在步骤S34中,电子设备根据目标多媒体资源的原始用户行为数据和每个位置的权重,确定目标多媒体资源的目标用户行为数据。
目标用户行为数据也称真实用户行为数据。目标用户行为数据和原始行为数据之间的区别是,目标用户行为数据是对原始用户行为数据校准后得到的用户行为数据。目标用户行为数据消除了展示多媒体资源的不同位置之间的差异带来的影响,从而抵消了位置造成行为数据失真的情况。目标用户行为数据比原始行为数据距离真实值更近。
在一些实施例中,对于用于展示目标多媒体资源的多个位置中的每个位置,电子设备确定目标多媒体资源在位置展示时的原始用户行为数据与位置的权重的比值;电子设备确定多个位置对应的多个比值的平均值,作为目标用户行为数据。在另一些实施例中,对于用于展示目标多媒体资源的多个位置,电子设备确定该多个位置中的平均位置。电子设备确定目标多媒体资源在平均位置展示时的原始用户行为数据与平均位置的权重的比值,作为目标用户行为数据。例如,多媒体资源是视频,将某个视频在某个位置的用户行为数据除以该位置的权重,得到该视频的真实用户行为数据(即目标用户行为数据)。
通过这种方式,考虑到同一个多媒体资源位于不同的展示位置展示时,受到的关注程度不同,原始用户行为数据受到位置的影响,会在一定程度上失真。通过统计展示位置的权重,对原始用户行为数据进行调权,从而抵消了位置对用户行为数据带来的影响,因此目标用户行为数据相对于原始用户行为数据而言准确性更高,更能真实地反映多媒体资源本身的内容的受关注程度,因此根据目标用户行为数据确定质量参数,避免了位置对质量参数的影响,因此有助于提升质量参数的准确性。
在步骤S35中,电子设备根据目标多媒体资源的目标用户行为数据,确定目标多媒体资源的质量参数。
质量参数用于指示目标多媒体资源内容的质量。质量参数也称为目标多媒体资源的得分(score)。在一些实施例中,目标用户行为数据越大,质量参数越大。
在一些实施例中,在确定质量参数的过程中,考虑点击率、完播率、点赞率和关注率。具体地,确定质量参数的过程包括以下方式一至方式三中的任一项及其组合。
方式一、电子设备根据目标多媒体资源的目标点击率以及目标多媒体资源的完播率,确定目标多媒体资源的质量参数。其中,完播率越大,质量参数越大。
方式二、电子设备根据目标多媒体资源的目标点击率以及目标多媒体资源的点赞率,确定目标多媒体资源的质量参数。其中,点赞率越大,质量参数越大。
方式三、电子设备根据目标多媒体资源的目标点击率以及目标多媒体资源的关注率,确定目标多媒体资源的质量参数。其中,关注率越大,质量参数越大。
需要说明的是,上述方式一至方式三可以相互结合。例如,电子设备根据目标多媒体资源的目标点击率、目标多媒体资源的完播率、目标多媒体资源的点赞率和目标多媒体资源的关注率,确定目标多媒体资源的质量参数。
目标多媒体资源的完播率是指目标多媒体资源被用户完整看完的概率。如何根据完播率确定质量参数包括多种方式。在一些实施例中,电子设备判断目标多媒体资源的完播率是否大于完播率阈值。当目标多媒体资源的完播率大于完播率阈值时,根据完播率和第一超参数的乘积,确定目标多媒体资源的质量参数;当目标多媒体资源的完播率小于完播率阈值时,根据完播率和第二超参数的乘积,确定目标多媒体资源的质量参数。
完播率阈值可以根据需求设置。例如,完播率阈值是20%。
第一超参数和第二超参数是两个不同的超参数。所述第一超参数表示正常多媒体资源对应的权重,所述第二超参数表示异常多媒体资源对应的权重。可选地,第一超参数和第二超参数由开发者预先设置。其中,第二超参数小于第一超参数。例如,第二超参数是10,第一超参数是1000。
例如,异常多媒体资源是恶意骗取点击率的多媒体资源,比如是骗点击视频。例如,异常多媒体资源是内容存在争议的多媒体资源,比如说是存在内容欺诈的多媒体资源。
在一些实施例中,电子设备确定目标多媒体资源的完播率和第一超参数或第二超参数之间的第一乘积,确定目标多媒体资源的目标用户行为数据和第三超参数之间的第二乘积,确定目标多媒体资源的点赞率和第四超参数之间的第三乘积,确定目标多媒体资源的关注率和第五超参数之间的第四乘积,计算第一乘积、第二乘积、第三乘积和第四乘积的和值,作为目标多媒体资源的质量参数。例如,视频的质量参数通过以下公式(2)计算。
score=a1*wtr+b1*ctr+c1*ltr+d1*ftr+a2*wtr7+b2*ctr7+c2*ltr7+d2*ftr7+a3*wtr14+b3*ctr14+c3*ltr14+d3*ftr14。公式(2)
公式(2)中score表示视频的得分(质量参数),a表示第一超参数或第二超参数,wtr表示完播率,b表示第三超参数,ctr表示目标用户行为数据,c表示第四超参数,ltr表示点赞率,d表示第五超参数,ftr表示关注率。公式(2)中wtr、ctr、ltr和ftr包括的下标表示对应的时间周期。包括下标的wtr、ctr、ltr和ftr表示一个时间周期内的平均值,例如,wtr7表示最近7天的完播率的平均值,wtr14表示最近14天的完播率的平均值。其中,如果视频的完播率在20%以下,即总的播放时长/(总的播放次数*视频的时长)<20%,则认为该视频骗点击的概率较大,会将a置为一个较小的值,如10,否则设置为1000,b为100,c为1000,d为3000。其中,a表示a1、a2、a3、b表示b1、b2、b3,c表示c1、c2、c3。
在步骤S36中,电子设备根据目标多媒体资源的质量参数,对目标多媒体资源进行分类,得到目标多媒体资源的类别。
在一些实施例中,电子设备判断目标多媒体资源的质量参数是否高于质量参数阈值;若目标多媒体资源的质量参数高于质量参数阈值,电子设备确定目标多媒体资源的类别是正常多媒体资源(例如正常视频);若目标多媒体资源的质量参数低于质量参数阈值,电子设备确定目标多媒体资源的类别是异常多媒体资源(例如异常视频)。
在一些实施例中,电子设备根据目标多媒体资源的质量参数,获取目标多媒体资源的目标特征;电子设备将目标特征输入识别模型;电子设备通过识别模型对目标特征进行处理,输出目标多媒体资源的类别。
其中,识别模型用于识别多媒体资源的类别。例如,识别模型是一个二分类模型,识别模型输出的类别包括两种,一种类别表示视频是骗点击视频。另一种类别表示视频是正常模型。可选地,识别模型是机器学习模型。例如,识别模型是神经网络模型。例如,识别模型包括注意力网络(attention网络)和深度神经网络(Deep Neural Networks,简称:DNN)。attention网络和DNN连接,attention网络位于识别模型的输入端,DNN位于识别模型的输入端。
目标特征可以用于指示目标多媒体资源的内容。可选地,目标特征包括质量参数。换句话说,质量参数是目标特征的一个维度。可选地,目标特征是多模态的特征,目标特征不仅包括质量参数,还包括目标多媒体资源在图像、文字和声音等模态的特征。在一种可能的实现中,电子设备对目标多媒体资源的质量参数与目标多媒体资源的封面图像特征、目标多媒体资源的作者标识、目标多媒体资源的封面文本特征、目标多媒体资源的音频特征中的至少一项进行拼接,得到目标多媒体资源的目标特征。
例如,电子设备对目标多媒体资源的质量参数与目标多媒体资源的封面图像特征进行拼接,得到目标多媒体资源的目标特征。例如,电子设备对目标多媒体资源的质量参数与目标多媒体资源的作者标识进行拼接,得到目标多媒体资源的目标特征。
例如,电子设备对目标多媒体资源的质量参数与目标多媒体资源的封面文本特征进行拼接,得到目标多媒体资源的目标特征。
例如,电子设备对目标多媒体资源的质量参数与目标多媒体资源的音频特征进行拼接,得到目标多媒体资源的目标特征。
封面图像特征是指目标多媒体资源的封面图像的特征。封面图像特征的获取过程包括:获取目标多媒体资源的封面图像,对封面图像进行分类,将封面图像的类别作为封面图像特征。又如,封面图像特征的获取过程包括:获取目标多媒体资源的封面图像,对封面图像通过卷积神经网络进行特征提取,得到封面图像特征。
作者标识用于标识目标多媒体资源的作者。例如,作者标识是用户ID。
封面文本特征是指目标多媒体资源的封面图像中的文本的特征。
在获取封面文本特征的过程中,会获取目标多媒体资源的封面图像,对封面图像进行字符识别,得到封面图像中的文本。之后,对文本进行分类,得到文本的类别,将文本的类别作为封面文本特征。或者,对文本进行语义分析,得到文本的语义特征,将文本的语义特征作为封面文本特征。其中,字符识别例如是OCR的方式,对文本进行分类例如通过注意力模型实现。例如,通过双向转换器的编码网络(Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder,bert)对文本进行分类。
在一些实施例中,目标多媒体资源是视频,向识别模型输入视频的特征,视频的特征包括视频的封面图像分类特征、用户ID、ocr的bert分类特征、音频特征和视频的质量参数,将视频的特征输入attention网络,然后接dnn网络,最后得到的分类为骗点击视频和正常视频。
本实施例提供的方法,通过挖掘展示多媒体资源时用户对多媒体资源触发的行为,结合原始用户行为数据以及多媒体资源的展示位置,得出目标用户行为数据,根据目标用户行为数据得出多媒体资源的质量参数,进而根据质量参数来识别多媒体资源的类别,一方面,由于充分考虑了多媒体资源的展示位置对用户行为数据的影响,为每个位置分别引入了对应的权重,来抵消展示位置带来的影响,从而保证目标用户行为数据能够真实的反映多媒体资源内容本身的受关注程度,因此根据目标用户行为数据得出的质量参数准确性高,由于根据准确性更高的质量参数来识别视频,有助于提升识别结果的准确性。另一方面,该方法能提供为计算机自动化执行的流程,为如何评估多媒体资源的质量提供了客观、统一的标准,避免了人工评估的繁琐流程和时间成本,从而提高了确定质量参数的效率,进而提高了识别多媒体资源的效率。
尤其是,在视频搜索的应用场景下,视频质量对用户的观感和体验是非常重要的一环。而相关技术中,视频质量评估是一件主观性很强的工作,通过开发者人工对视频进行打分来衡量视频质量的高低,造成视频质量的评估结果准确性差,进而影响了视频搜索结果的准确性。而本实施例能够提供为一种基于用户行为的视频质量评价方法,通过挖掘用户点击视频的行为来较为客观的确定视频质量,以使确定的视频质量的可信性和准确性更高,有助于提升视频搜索结果的准确性。
上述方法得到的质量参数可以应用在自动标注多媒体资源的场景以及训练识别模型的场景,以下结合附图4所示实施例,对如何应用质量参数标注多媒体资源和训练识别模型进行介绍。
图4是根据一示例性实施例示出的一种用于识别多媒体资源的识别模型的训练方法的流程图,如图4所示,该方法用于电子设备中,包括以下步骤。
在步骤S41中,电子设备获取多个样本多媒体资源中的每个样本多媒体资源的质量参数。
样本多媒体资源的质量参数的确定过程与上述图3实施例中目标多媒体资源的质量参数的确定过程同理。具体地,对于多个样本多媒体资源中的每个样本多媒体资源,电子设备根据样本多媒体资源分别在多个位置展示时的原始用户行为数据,确定多个位置中每个位置的权重;根据样本多媒体资源的原始用户行为数据和每个位置的权重,确定样本多媒体资源的目标用户行为数据;电子设备根据样本多媒体资源的目标用户行为数据,确定样本多媒体资源的质量参数。
在步骤S42中,对于多个样本多媒体资源中的每个样本多媒体资源,电子设备根据样本多媒体资源的质量参数,获取样本多媒体资源的目标特征。
电子设备对样本多媒体资源的质量参数与样本多媒体资源的封面图像特征、样本多媒体资源的作者标识、样本多媒体资源的封面文本特征、样本多媒体资源的音频特征中的至少一项进行拼接,得到样本多媒体资源的目标特征。其中,获得样本多媒体资源的目标特征的方式与获得目标多媒体资源的目标特征的方式同理,具体参见上述附图3所示实施例,本实施例对此不做赘述。
在步骤S43中,电子设备判断样本多媒体资源的质量参数是否高于质量参数阈值。
在步骤S44中,当样本多媒体资源的质量参数高于质量参数阈值时,电子设备确定样本多媒体资源的标签是正常多媒体资源。
在步骤S45中,当样本多媒体资源的质量参数低于质量参数阈值时,确定样本多媒体资源的标签是异常多媒体资源。
以多媒体资源是视频为例,对上述方式的技术效果进行介绍。由于搜索视频的覆盖率不是100%,且存在长尾视频(即搜索召回频次较低或搜索召回后被展示次数较低)的有偏估计问题,导致大量视频无法很好的识别。而上述方式中,由于根据样本视频的用户行为数据,得出样本视频的质量参数,进而依据质量参数标注样本视频,一方面,免去了人工评估样本视频的质量并根据评估结果进行人工标注的繁琐流程,从而大大降低标注成本;另一方面,充分挖掘用户点击视频的行为,基于用户点击视频的行为较为客观的评价视频质量,提高质量参数的可性度和准确率,从而提升了标注结果的可靠性。
在步骤S46中,电子设备根据多个样本多媒体资源的目标特征和多个样本多媒体资源的标签进行模型训练,得到识别模型。
可选地,本实施例训练得到的识别模型用于识别视频是否是骗点击的视频。
本实施例提供的方法,针对搜索视频覆盖率较低和长尾视频的问题,通过用户行为挖掘得到的异常视频和正常视频的标签,根据异常视频的特征和正常视频的特征训练出识别模型。即使对于长尾视频而言,由于根据用户的点击行为准确识别了长尾视频的质量参数,进而准确标注了长尾视频,因此识别模型在训练过程中能够准确学习到长尾视频的特征,从而达到对长尾视频和未覆盖视频的全部覆盖。
图5是根据一示例性实施例示出的一种多媒体资源识别装置的框图。参照图5,多媒体资源识别装置包括第一确定单元501、第二确定单元502、第三确定单元503和分类单元504。
第一确定单元501,被配置为执行根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定多个位置中每个位置的权重;
第二确定单元502,被配置为执行根据目标多媒体资源的原始用户行为数据和每个位置的权重,确定目标多媒体资源的目标用户行为数据;
第三确定单元503,被配置为执行根据目标多媒体资源的目标用户行为数据,确定目标多媒体资源的质量参数;
分类单元504,被配置为执行根据目标多媒体资源的质量参数,对目标多媒体资源进行分类,得到目标多媒体资源的类别。
可选地,第一确定单元501,被配置为执行:对于多个位置中的每个位置,根据目标多媒体资源在位置展示时的原始用户行为数据和其他多媒体资源在位置展示时的原始用户行为数据,确定位置对应的平均用户行为数据,其他多媒体资源和目标多媒体资源是同一个搜索词对应的不同多媒体资源;根据多个位置中每个位置对应的平均用户行为数据,确定每个位置的权重。
可选地,所述目标用户行为数据包括点击率、完播率、点赞率和关注率中的至少一项,完播率是指目标多媒体资源被用户完整看完的概率。
可选地,第三确定单元503,被配置为执行当目标多媒体资源的完播率大于完播率阈值时,根据完播率和第一超参数的乘积,确定目标多媒体资源的质量参数,所述第一超参数表示正常多媒体资源对应的权重;当目标多媒体资源的完播率小于完播率阈值时,根据完播率和第二超参数的乘积,确定目标多媒体资源的质量参数,第二超参数小于第一超参数,所述第二超参数表示异常多媒体资源对应的权重。
可选地,分类单元504,被配置为执行根据目标多媒体资源的质量参数,获取目标多媒体资源的目标特征;将目标多媒体资源的目标特征输入识别模型;通过识别模型对目标多媒体资源的目标特征进行处理,输出目标多媒体资源的类别。
可选地,多媒体资源识别装置还包括:
获取单元,被配置为执行对于多个样本多媒体资源中的每个样本多媒体资源,根据样本多媒体资源的质量参数,获取样本多媒体资源的目标特征;
第四确定单元,被配置为执行当样本多媒体资源的质量参数高于质量参数阈值时,确定样本多媒体资源的标签是正常多媒体资源;或者,当样本多媒体资源的质量参数低于质量参数阈值时,确定样本多媒体资源的标签是异常多媒体资源;
训练单元,被配置为执行根据多个样本多媒体资源的目标特征和多个样本多媒体资源的标签进行模型训练,得到识别模型。
可选地,获取单元,被配置为执行对样本多媒体资源的质量参数与样本多媒体资源的封面图像特征、样本多媒体资源的作者标识、样本多媒体资源的封面文本特征、样本多媒体资源的音频特征中的至少一项进行拼接,得到样本多媒体资源的目标特征。
本实施例提供的装置,通过挖掘展示多媒体资源时用户对多媒体资源触发的行为,结合原始用户行为数据以及多媒体资源的展示位置,得出目标用户行为数据,根据目标用户行为数据得出多媒体资源的质量参数,进而根据质量参数来识别多媒体资源的类别,一方面,由于充分考虑了多媒体资源的展示位置对用户行为数据的影响,为每个位置分别引入了对应的权重,来抵消展示位置带来的影响,从而保证目标用户行为数据能够真实的反映多媒体资源内容本身的受关注程度,因此根据目标用户行为数据得出的质量参数准确性高,由于根据准确性更高的质量参数来识别视频,有助于提升识别结果的准确性。另一方面,该方法能提供为计算机自动化执行的流程,为如何评估多媒体资源的质量提供了客观、统一的标准,避免了人工评估的繁琐流程和时间成本,从而提高了确定质量参数的效率,进而提高了识别多媒体资源的效率。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
上述方法实施例中的电子设备可以实现为终端或服务器,例如,图6示出了本公开一个示例性实施例提供的终端600的结构框图。该终端600可以是:智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:一个或多个处理器601和一个或多个存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一条指令,该至少一条指令用于被处理器601所执行以实现本公开中方法实施例提供的多媒体资源识别方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在另一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
上述方法实施例中的电子设备可以实现为服务器,例如,图7是本公开实施例提供的一种服务器的结构示意图,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)701和一个或一个以上的存储器702,其中,所述存储器702中存储有至少一条指令,所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的多媒体资源识别方法。当然,该服务器还可以具有有线或无线网络接口以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器804,上述指令可由电子设备的处理器执行以完成上述多媒体资源识别方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory,简称:ROM)、随机存取存储器(Random Access Memory,简称:RAM)、只读光盘(Compact Disc Read-Only Memory,简称:CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种多媒体资源识别方法,其特征在于,所述方法包括:
根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定所述多个位置中每个位置的权重;
根据所述目标多媒体资源的原始用户行为数据和所述每个位置的权重,确定所述目标多媒体资源的目标用户行为数据;
根据所述目标多媒体资源的目标用户行为数据,确定所述目标多媒体资源的质量参数;
根据所述目标多媒体资源的质量参数,对所述目标多媒体资源进行分类,得到所述目标多媒体资源的类别。
2.根据权利要求1所述的多媒体资源识别方法,其特征在于,所述根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定所述多个位置中每个位置的权重,包括:
对于所述多个位置中的每个位置,根据所述目标多媒体资源在所述位置展示时的原始用户行为数据和其他多媒体资源在所述位置展示时的原始用户行为数据,确定所述位置对应的平均用户行为数据,所述其他多媒体资源和所述目标多媒体资源是同一个搜索词对应的不同多媒体资源;
根据所述多个位置中每个位置对应的平均用户行为数据,确定每个位置的权重。
3.根据权利要求1所述的多媒体资源识别方法,其特征在于,所述目标用户行为数据包括点击率、完播率、点赞率和关注率中的至少一项,所述完播率是指所述目标多媒体资源被用户完整看完的概率。
4.根据权利要求3所述的多媒体资源识别方法,其特征在于,所述目标用户行为数据包括所述完播率,所述根据所述目标多媒体资源的目标用户行为数据,确定所述目标多媒体资源的质量参数,包括:
当所述目标多媒体资源的完播率大于完播率阈值时,根据所述完播率和第一超参数的乘积,确定所述目标多媒体资源的质量参数,所述第一超参数表示正常多媒体资源对应的权重;
当所述目标多媒体资源的完播率小于所述完播率阈值时,根据所述完播率和第二超参数的乘积,确定所述目标多媒体资源的质量参数,所述第二超参数小于所述第一超参数,所述第二超参数表示异常多媒体资源对应的权重。
5.根据权利要求1所述的多媒体资源识别方法,其特征在于,所述根据所述目标多媒体资源的质量参数,对所述目标多媒体资源进行分类,得到所述目标多媒体资源的类别,包括:
根据所述目标多媒体资源的质量参数,获取所述目标多媒体资源的目标特征;
将所述目标多媒体资源的目标特征输入识别模型;
通过所述识别模型对所述目标多媒体资源的目标特征进行处理,输出所述目标多媒体资源的类别。
6.根据权利要求5所述的多媒体资源识别方法,其特征在于,所述将所述目标多媒体资源的目标特征输入识别模型之前,所述方法还包括:
对于多个样本多媒体资源中的每个样本多媒体资源,根据所述样本多媒体资源的质量参数,获取所述样本多媒体资源的目标特征;
当所述样本多媒体资源的质量参数高于质量参数阈值时,确定所述样本多媒体资源的标签是正常多媒体资源;或者,当所述样本多媒体资源的质量参数低于质量参数阈值时,确定所述样本多媒体资源的标签是异常多媒体资源;
根据所述多个样本多媒体资源的目标特征和所述多个样本多媒体资源的标签进行模型训练,得到所述识别模型。
7.根据权利要求6所述的多媒体资源识别方法,其特征在于,所述根据所述样本多媒体资源的质量参数,获取所述样本多媒体资源的目标特征,包括:
对所述样本多媒体资源的质量参数与所述样本多媒体资源的封面图像特征、所述样本多媒体资源的作者标识、所述样本多媒体资源的封面文本特征、所述样本多媒体资源的音频特征中的至少一项进行拼接,得到所述样本多媒体资源的目标特征。
8.一种多媒体资源识别装置,其特征在于,所述多媒体资源识别装置包括:
第一确定单元,被配置为执行根据目标多媒体资源分别在多个位置展示时的原始用户行为数据,确定所述多个位置中每个位置的权重;
第二确定单元,被配置为执行根据所述目标多媒体资源的原始用户行为数据和所述每个位置的权重,确定所述目标多媒体资源的目标用户行为数据;
第三确定单元,被配置为执行根据所述目标多媒体资源的目标用户行为数据,确定所述目标多媒体资源的质量参数;
分类单元,被配置为执行根据所述目标多媒体资源的质量参数,对所述目标多媒体资源进行分类,得到所述目标多媒体资源的类别。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的多媒体资源识别方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的多媒体资源识别方法。
CN202010554775.9A 2020-06-17 2020-06-17 多媒体资源识别方法、装置、设备及存储介质 Pending CN111708944A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554775.9A CN111708944A (zh) 2020-06-17 2020-06-17 多媒体资源识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554775.9A CN111708944A (zh) 2020-06-17 2020-06-17 多媒体资源识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111708944A true CN111708944A (zh) 2020-09-25

Family

ID=72540791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554775.9A Pending CN111708944A (zh) 2020-06-17 2020-06-17 多媒体资源识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111708944A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559099A (zh) * 2020-12-04 2021-03-26 北京新能源汽车技术创新中心有限公司 基于用户行为的远程图像显示方法、装置、系统及存储介质
CN112948602A (zh) * 2021-02-22 2021-06-11 北京达佳互联信息技术有限公司 一种内容显示方法、装置、系统、设备及存储介质
CN113672783A (zh) * 2021-08-11 2021-11-19 北京达佳互联信息技术有限公司 特征处理方法、模型训练方法及媒体资源处理方法
CN114301886A (zh) * 2021-12-17 2022-04-08 北京达佳互联信息技术有限公司 一种多媒体资源的识别方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514178A (zh) * 2012-06-18 2014-01-15 阿里巴巴集团控股有限公司 一种基于点击率的搜索排序方法及装置
CN105701226A (zh) * 2016-01-18 2016-06-22 合网络技术(北京)有限公司 多媒体资源评估方法和装置
CN107368573A (zh) * 2017-07-14 2017-11-21 北京奇艺世纪科技有限公司 视频质量评估方法及装置
CN109657097A (zh) * 2018-11-07 2019-04-19 北京达佳互联信息技术有限公司 视频筛选方法、装置、电子设备及存储介质
CN110619095A (zh) * 2019-09-23 2019-12-27 北京字节跳动网络技术有限公司 排序方法及装置
WO2020093781A1 (zh) * 2018-11-06 2020-05-14 北京达佳互联信息技术有限公司 一种多媒体资源预估点击率的确定方法、装置及服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514178A (zh) * 2012-06-18 2014-01-15 阿里巴巴集团控股有限公司 一种基于点击率的搜索排序方法及装置
CN105701226A (zh) * 2016-01-18 2016-06-22 合网络技术(北京)有限公司 多媒体资源评估方法和装置
CN107368573A (zh) * 2017-07-14 2017-11-21 北京奇艺世纪科技有限公司 视频质量评估方法及装置
WO2020093781A1 (zh) * 2018-11-06 2020-05-14 北京达佳互联信息技术有限公司 一种多媒体资源预估点击率的确定方法、装置及服务器
CN109657097A (zh) * 2018-11-07 2019-04-19 北京达佳互联信息技术有限公司 视频筛选方法、装置、电子设备及存储介质
CN110619095A (zh) * 2019-09-23 2019-12-27 北京字节跳动网络技术有限公司 排序方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112559099A (zh) * 2020-12-04 2021-03-26 北京新能源汽车技术创新中心有限公司 基于用户行为的远程图像显示方法、装置、系统及存储介质
CN112559099B (zh) * 2020-12-04 2024-02-27 北京国家新能源汽车技术创新中心有限公司 基于用户行为的远程图像显示方法、装置、系统及存储介质
CN112948602A (zh) * 2021-02-22 2021-06-11 北京达佳互联信息技术有限公司 一种内容显示方法、装置、系统、设备及存储介质
CN113672783A (zh) * 2021-08-11 2021-11-19 北京达佳互联信息技术有限公司 特征处理方法、模型训练方法及媒体资源处理方法
CN113672783B (zh) * 2021-08-11 2023-07-11 北京达佳互联信息技术有限公司 特征处理方法、模型训练方法及媒体资源处理方法
CN114301886A (zh) * 2021-12-17 2022-04-08 北京达佳互联信息技术有限公司 一种多媒体资源的识别方法、装置、设备及存储介质
CN114301886B (zh) * 2021-12-17 2024-02-23 北京达佳互联信息技术有限公司 一种多媒体资源的识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109740068B (zh) 媒体数据推荐方法、装置及存储介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN111708944A (zh) 多媒体资源识别方法、装置、设备及存储介质
CN109784351B (zh) 行为数据分类方法、分类模型训练方法及装置
CN111104980B (zh) 确定分类结果的方法、装置、设备及存储介质
CN108833262B (zh) 会话处理方法、装置、终端及存储介质
CN110277106B (zh) 音频质量确定方法、装置、设备及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN111078521A (zh) 异常事件的分析方法、装置、设备、系统及存储介质
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN111291200A (zh) 多媒体资源展示方法、装置、计算机设备及存储介质
CN113886609A (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
CN112131473A (zh) 信息推荐方法、装置、设备及存储介质
CN109829067B (zh) 音频数据处理方法、装置、电子设备及存储介质
CN111754272A (zh) 广告推荐方法、推荐广告显示方法、装置及设备
CN111353513B (zh) 一种目标人群筛选的方法、装置、终端和存储介质
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
CN112001442B (zh) 特征检测方法、装置、计算机设备及存储介质
CN114385854A (zh) 资源推荐方法、装置、电子设备及存储介质
CN114691860A (zh) 文本分类模型的训练方法、装置、电子设备及存储介质
CN112559794A (zh) 歌曲质量的识别方法、装置、设备及存储介质
CN111159551A (zh) 用户生成内容的显示方法、装置及计算机设备
CN110807486B (zh) 类别标签的生成方法、装置、电子设备及存储介质
CN111068333B (zh) 基于视频的载具异常状态检测方法、装置、设备及介质
CN114157906B (zh) 视频检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200925