CN117574160A - 媒体信息的标签识别方法、装置和存储介质及电子设备 - Google Patents

媒体信息的标签识别方法、装置和存储介质及电子设备 Download PDF

Info

Publication number
CN117574160A
CN117574160A CN202410060077.1A CN202410060077A CN117574160A CN 117574160 A CN117574160 A CN 117574160A CN 202410060077 A CN202410060077 A CN 202410060077A CN 117574160 A CN117574160 A CN 117574160A
Authority
CN
China
Prior art keywords
information
media
tag
feature
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410060077.1A
Other languages
English (en)
Other versions
CN117574160B (zh
Inventor
刘霄
陈世哲
杨煜霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202410060077.1A priority Critical patent/CN117574160B/zh
Publication of CN117574160A publication Critical patent/CN117574160A/zh
Application granted granted Critical
Publication of CN117574160B publication Critical patent/CN117574160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种媒体信息的标签识别方法、装置和存储介质及电子设备。其中,该方法包括:获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;利用至少两个第一样本信息获取第一媒体标签的第一标签表示,利用至少两个第二样本信息获取第二媒体标签的第二标签表示;获取待识别媒体信息与第一标签表示之间的第一信息相似度,获取待识别媒体信息与第二标签表示之间的第二信息相似度;将第一媒体标签确定为待识别媒体信息属于的媒体标签;将第二媒体标签确定为待识别媒体信息属于的媒体标签,可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。本申请解决了媒体信息的标签识别效率较低的技术问题。

Description

媒体信息的标签识别方法、装置和存储介质及电子设备
技术领域
本申请涉及计算机领域,具体而言,涉及一种媒体信息的标签识别方法、装置和存储介质及电子设备。
背景技术
在媒体信息的标签识别场景中,通常会标注大量样本数据,并训练模型,再用模型给新的媒体信息打标签,如需要人工收集大量的媒体信息,再对收集到的媒体信息采取人工标注,为媒体信息打上对应的标签。
但上述方式需要收集充足的样本数据,对于人力成本和时间成本都有较大消耗,进而导致媒体信息的标签识别效率较低的问题出现。因此,存在媒体信息的标签识别效率较低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种媒体信息的标签识别方法、装置和存储介质及电子设备,以至少解决媒体信息的标签识别效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种媒体信息的标签识别方法,包括:获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;利用上述至少两个第一样本信息获取上述第一媒体标签的第一标签表示,和利用上述至少两个第二样本信息获取上述第二媒体标签的第二标签表示,其中,上述第一标签表示用于表征属于上述第一媒体标签的信息内容,上述第二标签表示用于表征属于上述第二媒体标签的信息内容;响应于对待识别媒体信息触发的标签识别请求,获取上述待识别媒体信息与上述第一标签表示之间的第一信息相似度,和获取上述待识别媒体信息与上述第二标签表示之间的第二信息相似度,其中,上述标签识别请求用于请求确定上述待识别媒体信息属于的媒体标签;在上述第一信息相似度大于上述第二信息相似度的情况下,将上述第一媒体标签确定为上述待识别媒体信息属于的媒体标签;在上述第一信息相似度小于上述第二信息相似度的情况下,将上述第二媒体标签确定为上述待识别媒体信息属于的媒体标签。
根据本申请实施例的另一方面,还提供了一种媒体信息的标签识别装置,包括:第一获取单元,用于获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;第二获取单元,用于利用上述至少两个第一样本信息获取上述第一媒体标签的第一标签表示,和利用上述至少两个第二样本信息获取上述第二媒体标签的第二标签表示,其中,上述第一标签表示用于表征属于上述第一媒体标签的信息内容,上述第二标签表示用于表征属于上述第二媒体标签的信息内容;第三获取单元,用于响应于对待识别媒体信息触发的标签识别请求,获取上述待识别媒体信息与上述第一标签表示之间的第一信息相似度,和获取上述待识别媒体信息与上述第二标签表示之间的第二信息相似度,其中,上述标签识别请求用于请求确定上述待识别媒体信息属于的媒体标签;第一确定单元,用于在上述第一信息相似度大于上述第二信息相似度的情况下,将上述第一媒体标签确定为上述待识别媒体信息属于的媒体标签;第二确定单元,用于在上述第一信息相似度小于上述第二信息相似度的情况下,将上述第二媒体标签确定为上述待识别媒体信息属于的媒体标签。
作为一种可选的方案,上述第二获取单元,包括:第一提取模块,用于对上述至少两个第一样本信息进行特征提取,得到第一信息特征,其中,上述第一标签表示包括上述第一信息特征;和,第二提取模块,用于对上述至少两个第二样本信息进行特征提取,得到第二信息特征,其中,上述第二标签表示包括上述第二信息特征;上述第三获取单元,包括:第一获取模块,用于获取上述待识别媒体信息对应的媒体信息特征和上述第一信息特征之间的第一特征相似度,其中,上述媒体信息特征用于表征上述待识别媒体信息的信息内容,上述第一信息相似度包括上述第一特征相似度;和,第二获取模块,用于获取上述媒体信息特征和上述第二信息特征之间的第二特征相似度,其中,上述第二信息相似度包括上述第二特征相似度。
作为一种可选的方案,上述第一提取模块,包括:第一提起子模块,用于对上述至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,其中,上述第一样本信息包含属于上述第一模态的第一子信息,和属于上述第二模态的第二子信息,上述第一子特征用于表征上述第一子信息的信息内容,上述第二子特征用于表征上述第二子信息的信息内容;第一融合子模块,用于对上述第一子特征和上述第二子特征进行特征融合,得到上述第一信息特征;上述第二提取模块,包括:第二提起子模块,用于对上述至少两个第二样本信息进行多模态的特征提取,得到属于上述第一模态的第三子特征,和属于上述第二模态的第四子特征,其中,上述第二样本信息包含属于上述第一模态的第三子信息,和属于上述第二模态的第四子信息,上述第三子特征用于表征上述第三子信息的信息内容,上述第四子特征用于表征上述第四子信息的信息内容;第二融合子模块,用于对上述第三子特征和上述第四子特征进行特征融合,得到上述第二信息特征。
作为一种可选的方案,上述第一提起子模块,包括:第一变量子单元,用于将上述第一子信息表示为特征维度的第一变量,和将上述第二子信息表示为上述特征维度的第二变量,其中,上述第一子特征包括上述第一变量,上述第二子特征包括上述第二变量;上述第一融合子模块,包括:第一平均子单元,用于将相同上述特征维度的上述第一变量和上述第二变量进行第一平均处理,并将上述第一平均处理得到的结果,作为上述第一信息特征;上述第二提起子模块,包括:第二变量子单元,用于将上述第三子信息表示为上述特征维度的第三变量,和将上述第四子信息表示为上述特征维度的第四变量,其中,上述第三子特征包括上述第三变量,上述第四子特征包括上述第四变量;上述第二融合子模块,包括:第二平均子单元,用于将相同上述特征维度的上述第三变量和上述第四变量进行第二平均处理,并将上述第二平均处理得到的结果,作为上述第二信息特征。
作为一种可选的方案,上述第一获取模块,包括:第一映射子模块,用于将上述媒体信息特征映射至多维空间内,得到第一特征向量;第二映射子模块,用于将上述第一信息特征映射至上述多维空间内,得到第二特征向量;第一计算子模块,用于计算上述第一特征向量和上述第二特征向量之间的第一余弦距离,其中,上述第一特征相似度与上述第一余弦距离呈正相关关系;
上述第二获取模块,包括:第三映射子模块,用于将上述第二信息特征映射至上述多维空间内,得到第三特征向量;第二计算子模块,用于计算上述第三特征向量和上述第二特征向量之间的第二余弦距离,其中,上述第二特征相似度与上述第二余弦距离呈正相关关系。
作为一种可选的方案,上述第二获取单元,包括:第一输入模块,用于将上述至少两个第一样本信息输入标签表示模型,得到上述第一标签表示,其中,上述标签表示模型为利用多个样本信息训练得到的、用于提取标签表示的神经网络模型;和,第二输入模块,用于将上述至少两个第二样本信息输入上述标签表示模型,得到上述第二标签表示。
作为一种可选的方案,上述装置还包括:第三获取模块,用于在上述将上述至少两个第一样本信息输入标签表示模型,得到上述第一标签表示之前,获取属于上述第一媒体标签的多个第一信息、属于上述第二媒体标签的多个第二信息,和至少一个验证信息,其中,上述多个样本信息包括上述多个第一信息、上述多个第二信息,和上述至少一个验证信息,上述验证信息属于上述第一媒体标签或上述第二媒体标签;第三输入模块,用于在上述将上述至少两个第一样本信息输入标签表示模型,得到上述第一标签表示之前,将上述多个第一信息和上述多个第二信息输入当前标签表示模型,得到上述当前标签表示模型输出的多个样本标签表示;分配模块,用于在上述将上述至少两个第一样本信息输入标签表示模型,得到上述第一标签表示之前,利用上述验证信息与上述样本标签表示之间的信息相似度,为上述至少一个验证信息中的各个验证信息分配对应的样本标签,其中,上述样本标签为上述第一媒体标签或上述第二媒体标签;第一确定模块,用于在上述将上述至少两个第一样本信息输入标签表示模型,得到上述第一标签表示之前,在上述样本标签的分配结果满足模型收敛条件的情况下,将上述当前标签表示模型确定为训练好的上述标签表示模型,其中,上述分配结果用于指示上述样本标签分成正确或错误;第二确定模块,用于在上述将上述至少两个第一样本信息输入标签表示模型,得到上述第一标签表示之前,在上述分配结果不满足上述模型收敛条件的情况下,利用上述分配结果,调整上述当前标签表示模型的模型参数,直至得到训练好的上述标签表示模型。
作为一种可选的方案,上述第一确定单元,包括:第三确定模块,用于在上述第一信息相似度大于上述第二信息相似度、且上述第一信息相似度与上述第二信息相似度之间的相似度差大于或等于第一预设阈值的情况下,将上述第一媒体标签确定为上述待识别媒体信息属于的媒体标签;上述第二确定单元,包括:第四确定模块,用于在上述第一信息相似度小于上述第二信息相似度、且上述相似度差大于或等于上述第一预设阈值的情况下,将上述第二媒体标签确定为上述待识别媒体信息属于的媒体标签;上述装置还包括:在上述响应于对待识别媒体信息触发的标签识别请求,获取上述待识别媒体信息与上述第一标签表示之间的第一信息相似度,和获取上述待识别媒体信息与上述第二标签表示之间的第二信息相似度之后,第五确定模块,用于在上述相似度差小于上述第一预设阈值的情况下,将上述第一媒体标签和上述第二媒体标签都确定为上述待识别媒体信息属于的媒体标签。
作为一种可选的方案,上述装置还包括:第四获取单元,用于在上述将上述第一媒体标签确定为上述待识别媒体信息属于的媒体标签,或上述将上述第二媒体标签确定为上述待识别媒体信息属于的媒体标签之后,获取当前已分配媒体标签的媒体信息对应的累计数量;训练单元,用于在上述将上述第一媒体标签确定为上述待识别媒体信息属于的媒体标签,或上述将上述第二媒体标签确定为上述待识别媒体信息属于的媒体标签之后,在上述累计数量大于或等于第二预设阈值的情况下,将上述当前已分配媒体标签的媒体信息、上述至少两个第一样本信息,和上述至少两个第二样本信息,共同作为训练样本,对初始的标签识别模型进行训练,直至得到训练好的标签识别模型,其中,上述标签识别模型为用于识别媒体信息属于的媒体标签。
作为一种可选的方案,上述装置还包括:第一校验单元,用于在上述获取路段定位请求之前,获取对道路路段触发的安装校验请求,其中,上述安装校验请求用于请求校验上述道路路段上安装的里程桩;第二校验单元,用于在上述获取路段定位请求之前,响应上述安装校验请求,获取上述道路路段的路段类型;第三校验单元,用于在上述获取路段定位请求之前,按照上述道路路段的路段类型对上述道路路段上安装的里程桩进行校验,并在校验不通过的情况下,显示里程桩安装信息,其中,上述里程桩安装信息用于指示进行上述道路路段上的里程桩安装。
作为一种可选的方案,上述校验单元,包括:第一校验模块,用于在上述道路路段的路段类型为第一目标类型的情况下,校验上述道路路段上已安装的里程桩;在上述道路路段上已安装的百米里程桩满足全路段安装的情况下,确定上述校验通过;第二校验模块,用于在上述道路路段的路段类型为第二目标类型的情况下,校验上述道路路段上已安装的里程桩;在上述道路路段上已安装的百米里程桩满足单路段安装的情况下,确定上述校验通过。
根据本申请实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行如以上媒体信息的标签识别方法。
根据本申请实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的媒体信息的标签识别方法。
在本申请实施例中,获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;利用上述至少两个第一样本信息获取上述第一媒体标签的第一标签表示,和利用上述至少两个第二样本信息获取上述第二媒体标签的第二标签表示,其中,上述第一标签表示用于表征属于上述第一媒体标签的信息内容,上述第二标签表示用于表征属于上述第二媒体标签的信息内容;响应于对待识别媒体信息触发的标签识别请求,获取上述待识别媒体信息与上述第一标签表示之间的第一信息相似度,和获取上述待识别媒体信息与上述第二标签表示之间的第二信息相似度,其中,上述标签识别请求用于请求确定上述待识别媒体信息属于的媒体标签;在上述第一信息相似度大于上述第二信息相似度的情况下,将上述第一媒体标签确定为上述待识别媒体信息属于的媒体标签;在上述第一信息相似度小于上述第二信息相似度的情况下,将上述第二媒体标签确定为上述待识别媒体信息属于的媒体标签。使用少量的样本信息,获取不同媒体标签的标签表示,再通过新的媒体信息与各个标签表示之间的信息相似度,为新的媒体信息匹配出对应的媒体标签,进而达到了无需收集充足的样本数据,也可对媒体信息进行标签识别的目的,从而实现了提高媒体信息的标签识别效率的技术效果,进而解决了媒体信息的标签识别效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的媒体信息的标签识别方法的应用环境的示意图;
图2是根据本申请实施例的一种可选的媒体信息的标签识别方法的流程的示意图;
图3是根据本申请实施例的一种可选的媒体信息的标签识别方法的示意图;
图4是根据本申请实施例的另一种可选的媒体信息的标签识别方法的示意图;
图5是根据本申请实施例的另一种可选的媒体信息的标签识别方法的示意图;
图6是根据本申请实施例的另一种可选的媒体信息的标签识别方法的示意图;
图7是根据本申请实施例的另一种可选的媒体信息的标签识别方法的示意图;
图8是根据本申请实施例的另一种可选的媒体信息的标签识别方法的示意图;
图9是根据本申请实施例的一种可选的媒体信息的标签识别装置的示意图;
图10是根据本申请实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为方便理解,对下述名词进行解释:
智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。或者;
智能车路协同系统(Intelligent Vehicle Infrastructure CooperativeSystems,IVICS),简称车路协同系统,是智能交通系统(ITS)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术,全方位实施车车、车路动态实时信息交互,并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同,保证交通安全,提高通行效率,从而形成的安全、高效和环保的道路交通系统。
根据本申请实施例的一个方面,提供了一种媒体信息的标签识别方法,可选地,作为一种可选的实施方式,上述媒体信息的标签识别方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102以及服务器112,该用户设备102上可以但不限于包括显示器104、处理器106及存储器108,该服务器112包括数据库114以及处理引擎116。
具体过程可如下步骤:
步骤S102,用户设备102获取对待识别媒体信息触发的标签识别请求;
步骤S104,通过网络110将待识别媒体信息发送至服务器112;
步骤S106-S110,服务器112从数据库114中获取各个媒体标签的标签表示,进一步通过处理引擎116获取待识别媒体信息与各个媒体标签的标签表示之间的信息相似度,并基于信息相似度为待识别媒体信息分配对应的媒体标签;
步骤S112,通过网络110将分配的媒体标签发送至用户设备102,用户设备102将分配的媒体标签显示在显示器104,并将上述分配的媒体标签存储在存储器108。
除图1示出的示例之外,上述终端设备可以是配置有目标客户端的终端设备,可以包括但不限于以下至少之一:手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices,移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络可以包括但不限于:有线网络,无线网络,其中,该有线网络包括:局域网、城域网和广域网,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,或者是云服务器。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,媒体信息的标签识别方法可以由电子设备执行,该电子设备例如可以是如图1所示的用户设备或服务器,具体步骤包括:
S202,获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;
S204,利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,其中,第一标签表示用于表征属于第一媒体标签的信息内容,第二标签表示用于表征属于第二媒体标签的信息内容;
S206,响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度,其中,标签识别请求用于请求确定待识别媒体信息属于的媒体标签;
S208-1,在第一信息相似度大于第二信息相似度的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;
S208-2,在第一信息相似度小于第二信息相似度的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签。
可选地,在本实施例中,上述媒体信息的标签识别方法可以但不限于应用在视频标签的识别场景,如为了对视频做推荐分发,需要有一个标准化环节,在这个环节中,根据视频的内容,给视频打上标签,标签有几类,比如剧名、人名、主题、题材、情节等,视频的标签描述了视频的内容,也是基于内容所打上的。
进一步在本实施例中,可以通过标注大量数据,并训练模型,再用模型给新的视频打标签,具体的首先需要人工收集大量的视频,再对收集到的视频采取人工标注的方式,赋予其应该打上的标签。从视频的角度来说,一个视频被赋予的标签,一般是与其相关度高的标签,未被赋予的标签,就是与其相关度低或者不相关的标签。从标签的角度说,可以认为每个被标注了某标签的视频是该标签的正样本,所有其他未被标注为该标签的视频则为其负样本。负样本一般来说都是充足的,但通常来说,对于每个标签,都需要充足的正样本来对模型做训练方可使模型准确的预测该标签。由于正样本不充足的标签一般难以获取较好的模型效果,一般需要先过滤掉正样本数目不充足的标签不予训练,只训练模型支持样本充足的标签。
但上述采用标注数据训练模型的方式,是需要每个标签都可以足够数量正样本的,如果正样本不够,会明显降低标签预测的精度。收集充足的数据本身既构成一定挑战,对于人力成本和时间都有消耗;在此之外,由于样本分布的不均衡,有些标签本身的出现频率就很低,从自然收集的数据里很难标出足够的正样本,这就需要去主动收集该标签对应的数据,会造成额外的人力和时间消耗,降低了视频标签的识别效率,也即出现视频标签的识别效率较低的技术问题。
可选地,本实施例为克服上述技术问题,使用一定数量的视频样本,对不同的视频标签进行表征,得到不同视频标签对应的标签表示,这一过程仅涉及到视频标签的表征任务,而未涉及到视频标签的识别任务,任务的复杂度较低,自然所需的视频样本量也得到控制,减少了额外的人力和时间消耗。进一步在得到不同视频标签对应的标签表示的情况下,通过标签表示和新视频之间的信息相似度,为新视频分配对应的视频标签,进而在数量较少的视频样本参与的基础上,仍可完成视频标签识别的复杂任务。
此外,需要说明的是,本实施例在克服上述技术问题的过程中,为兼顾视频标签识别的效率和准确性,并应一味地减少视频样本量,而是针对不同的视频标签,使用一定数量(如至少两个)的视频样本进行标签表示。而相比于视频标签的识别任务,视频标签的表征任务的复杂度更低,因此在保证视频标签的表征任务准确性所需的视频样本量,自然是低于视频标签的识别任务所需的视频样本量,这也是本实施例能够兼顾视频标签识别的效率和准确性的基础逻辑。
可选地,在本实施例中,媒体信息可以但不限是指通过各种媒体形式传递的信息,如动态媒体形式传播的信息(视频、动态图像、音频等)、静态媒体形式传播的信息(文字、静态图像、表格等)。
可选地,在本实施例中,媒体标签可以但不限是依据信息内容为媒体信息分配的标签,可以帮助更好地组织和理解媒体信息,如新闻标签用于标记新闻相关的媒体信息,如“时事新闻”、“社会新闻”、“娱乐新闻”等;教育标签用于标记与教育内容相关的媒体信息,如“在线课程”、“学术讲座”、“教学资料”等;娱乐标签标记与娱乐内容相关的媒体信息,如“电影”、“音乐”、“综艺节目”等;社交标签用于标记与社交活动相关的媒体信息,如“社交媒体热点”、“网红推荐”、“用户生成内容”等;体育标签用于体育类媒体信息,如“足球赛事”、“运动会报道”等。
此外,在本实施例中,媒体标签可以根据实际需要进行细化或组合,以便于更加准确地标记和分类各种媒体信息。同时,随着新内容和形式的出现,还可以不断扩展和更新媒体标签,以提高媒体标签的时效性。
可选地,在本实施例中,标签表示用于表征属于相同媒体标签的信息内容,还可以但不限理解为属于相同媒体标签的信息内容之间的内容共性,或信息内容共同具有的信息属性,如体育标签用于体育类媒体信息,那么体育标签的标签表示,就可以但不限用于表征体育类媒体信息共同具有的体育属性,体育属性可以是与体育运动相关的特征、元素、话题等。
可选地,在本实施例中,为得到不同媒体标签对应的标签表示,首先对属于同一媒体标签的信息内容进行分析,这包括信息的主题、结构、关键词、常见元素等,如对属于第一媒体标签的至少两个第一样本信息的信息内容,属于第二媒体标签的至少两个第二样本信息的信息内容和进行分析。进一步在分析的基础上,提取这些信息内容中共同具有的特性和属性。例如,对于体育类媒体信息,可能提取到的共性特征包括赛事名称、运动员、比分、运动场地等。再根据提取到的共性特征,为属于同一媒体标签的媒体信息定义一个或多个媒体标签,媒体标签设置为能够准确描述信息内容的特性。此外,为提高媒体标签的准确性,还需要对媒体标签不断进行验证和完善,如根据用户反馈和实际需求,对媒体标签进行调整或增加新的标签。
可选地,在本实施例中,第一、第二仅用于举例说明,并不对数量进行限定,如第一样本信息和第二样本信息用于表示的是使用至少两类,或属于至少两个媒体标签的样本信息集进行标签表示的获取,而并不局限于只使用第一样本信息和第二样本信息这两个样本信息。同样的,本实施例中其他内容中的第一、第二也不对数量进行限定,如第一媒体标签和第二媒体标签中的第一、第二也不对数量进行限定。
可选地,在本实施例中,当有大量媒体信息需要分类和归档时,标签识别请求就显得尤为重要。通过发送标签识别请求,可以请求对待识别的媒体信息进行评估和分析,以确定该待识别的媒体信息最符合的媒体标签,有助于快速、准确地对媒体信息进行分类。
可选地,在本实施例中,媒体信息与标签表示之间的信息相似度可以但不限是指媒体信息的内容与标签所代表的信息特征之间的相似程度。当媒体信息与某个标签表示的信息相似度越高,意味着该媒体信息越符合这个(媒体)标签所代表的特征和属性。如在第一信息相似度大于第二信息相似度的情况下,视为待识别媒体信息符合第一媒体标签所代表的特征和属性,进而将第一媒体标签确定为待识别媒体信息属于的媒体标签;在第一信息相似度小于第二信息相似度的情况下,视为待识别媒体信息符合第二媒体标签所代表的特征和属性,进而将第二媒体标签确定为待识别媒体信息属于的媒体标签。
需要说明的是,使用少量的样本信息,获取不同媒体标签的标签表示,再通过新的媒体信息与各个标签表示之间的信息相似度,为新的媒体信息匹配出对应的媒体标签,如此便无需收集充足的样本数据,仍可对媒体信息进行标签识别,进而实现了提高媒体信息的标签识别效率的技术效果。
进一步举例说明,可选的例如图3所示,获取属于第一媒体标签302的至少两个第一样本信息306,和属于第二媒体标签304的至少两个第二样本信息308;利用至少两个第一样本信息306获取第一媒体标签302的第一标签表示310,和利用至少两个第二样本信息308获取第二媒体标签304的第二标签表示312,其中,第一标签表示310用于表征属于第一媒体标签302的信息内容,第二标签表示312用于表征属于第二媒体标签304的信息内容;响应于对待识别媒体信息314触发的标签识别请求,获取待识别媒体信息314与第一标签表示310之间的第一信息相似度316,和获取待识别媒体信息314与第二标签表示312之间的第二信息相似度318,其中,标签识别请求用于请求确定待识别媒体信息314属于的媒体标签;在第一信息相似度316大于第二信息相似度318的情况下,将第一媒体标签302确定为待识别媒体信息314属于的媒体标签;在第一信息相似度316小于第二信息相似度318的情况下,将第二媒体标签304确定为待识别媒体信息314属于的媒体标签。
通过本申请提供的实施例,获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,其中,第一标签表示用于表征属于第一媒体标签的信息内容,第二标签表示用于表征属于第二媒体标签的信息内容;响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度,其中,标签识别请求用于请求确定待识别媒体信息属于的媒体标签;在第一信息相似度大于第二信息相似度的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;在第一信息相似度小于第二信息相似度的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签。使用少量的样本信息,获取不同媒体标签的标签表示,再通过新的媒体信息与各个标签表示之间的信息相似度,为新的媒体信息匹配出对应的媒体标签,进而达到了无需收集充足的样本数据,也可对媒体信息进行标签识别的目的,从而实现了提高媒体信息的标签识别效率的技术效果。
作为一种可选的方案,利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,包括:
S1-1,对至少两个第一样本信息进行特征提取,得到第一信息特征,其中,第一标签表示包括第一信息特征;和,
S1-2,对至少两个第二样本信息进行特征提取,得到第二信息特征,其中,第二标签表示包括第二信息特征;
作为一种可选的方案,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度,包括:
S2-1,获取待识别媒体信息对应的媒体信息特征和第一信息特征之间的第一特征相似度,其中,媒体信息特征用于表征待识别媒体信息的信息内容,第一信息相似度包括第一特征相似度;和,
S2-2,获取媒体信息特征和第二信息特征之间的第二特征相似度,其中,第二信息相似度包括第二特征相似度。
可选地,特征提取用于从原始数据中提取出有意义、有代表性的特征,以便于后续的分类、识别、分析等操作。而在本实施例中,对于不同的媒体信息,特征提取的方法会有所不同,如通过TF-IDF、TextRank等算法提取文本中的关键词,利用LDA、NMF等算法提取文本的主题分布;提取图像中的形状、边缘等特征,统计图像中的颜色分布、颜色直方图等,取图像的纹理信息,如LBP、Gabor滤波器等;提取音频的频谱、MFCC(梅尔频率倒谱系数)等特征,检测音频中的声音事件,如语音、音乐、环境声音等。
需要说明的是,对至少两个第一样本信息进行特征提取,得到第一信息特征。这些第一信息特征用于表征第一媒体标签,因此,第一信息特征被包括在第一标签表示中。类似地,对至少两个第二样本信息进行特征提取,得到第二信息特征。这些第二信息特征用于表征第二媒体标签,并被包括在第二标签表示中。
而对于信息相似度的获取,首先获取待识别媒体信息的媒体信息特征。然后,计算该媒体信息特征与第一信息特征之间的第一特征相似度。这里,媒体信息特征用于表征待识别媒体信息的内容。第一信息相似度是基于这一特征相似度计算得出的。同样地,获取待识别媒体信息的媒体信息特征,并计算它与第二信息特征之间的第二特征相似度。这一相似度用于衡量待识别媒体信息与第二媒体标签之间的相似性,进而得出第二信息相似度。本实施例通过精细的特征提取和信息相似度计算,实现了媒体信息的准确分类和标注,提高了媒体信息处理的效率和准确性,为各种媒体相关应用提供了有力支持。
通过本申请提供的实施例,对至少两个第一样本信息进行特征提取,得到第一信息特征,其中,第一标签表示包括第一信息特征;和,对至少两个第二样本信息进行特征提取,得到第二信息特征,其中,第二标签表示包括第二信息特征;获取待识别媒体信息对应的媒体信息特征和第一信息特征之间的第一特征相似度,其中,媒体信息特征用于表征待识别媒体信息的信息内容,第一信息相似度包括第一特征相似度;和,获取媒体信息特征和第二信息特征之间的第二特征相似度,其中,第二信息相似度包括第二特征相似度,通过精细的特征提取和信息相似度计算,进而达到了媒体信息的准确分类和标注的目的,从而实现了提高媒体信息处理的效率和准确性的技术效果。
作为一种可选的方案,对至少两个第一样本信息进行特征提取,得到第一信息特征,包括:
S3-1,对至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,其中,第一样本信息包含属于第一模态的第一子信息,和属于第二模态的第二子信息,第一子特征用于表征第一子信息的信息内容,第二子特征用于表征第二子信息的信息内容;
S3-2,对第一子特征和第二子特征进行特征融合,得到第一信息特征;
作为一种可选的方案,对至少两个第二样本信息进行特征提取,得到第二信息特征,包括:
S4-1,对至少两个第二样本信息进行多模态的特征提取,得到属于第一模态的第三子特征,和属于第二模态的第四子特征,其中,第二样本信息包含属于第一模态的第三子信息,和属于第二模态的第四子信息,第三子特征用于表征第三子信息的信息内容,第四子特征用于表征第四子信息的信息内容;
S4-2,对第三子特征和第四子特征进行特征融合,得到第二信息特征。
可选地,在本实施例中,多模态可以但不限指的是涉及两种或多种不同模态的数据或信息的处理方式。在数据处理的场景中,多模态通常涉及不同类型的输入数据,如文本、图像、音频、视频等。
可选地,在本实施例中,特征融合可以但不限是指将来自不同模态、不同来源或不同层次的特征进行整合和融合,以得到一个更全面、更具代表性的特征表示的过程,通过特征融合,可以将不同模态的数据有效地结合起来,形成一个更强大、更富有表现力的特征空间,从而更好地捕捉和表达数据的本质特征。如拼接融合,将不同来源或模态的特征直接拼接在一起,形成一个更长的特征向量;如加权融合,为不同来源的特征分配不同的权重,然后加权平均得到融合特征;如基于学习的融合,使用神经网络模型,将不同模态的特征作为输入,通过网络的训练来学习特征之间的非线性关系,并生成融合后的特征表示等。
需要说明的是,本实施例结合多模态特征提取与融合的方法来获取媒体信息的标签表示,从而更细致、全面地刻画和理解媒体内容,为后续的媒体处理和分析任务打下坚实基础。具体的,从至少两个第一样本信息中提取属于第一模态的第一子特征和属于第二模态的第二子特征。这里的多模态意味着样本信息包含不同形式或来源的数据,如文本、图像等。第一子特征用于表征第一子信息的内容,而第二子特征用于表征第二子信息的内容。将第一子特征和第二子特征进行融合,得到更全面的第一信息特征。同样的,从至少两个第二样本信息中提取属于第一模态的第三子特征和属于第二模态的第四子特征。第三子特征用于表征第三子信息的内容,第四子特征用于表征第四子信息的内容。将第三子特征和第四子特征进行融合,得到更全面的第二信息特征。
通过本申请提供的实施例,对至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,其中,第一样本信息包含属于第一模态的第一子信息,和属于第二模态的第二子信息,第一子特征用于表征第一子信息的信息内容,第二子特征用于表征第二子信息的信息内容;对第一子特征和第二子特征进行特征融合,得到第一信息特征;对至少两个第二样本信息进行多模态的特征提取,得到属于第一模态的第三子特征,和属于第二模态的第四子特征,其中,第二样本信息包含属于第一模态的第三子信息,和属于第二模态的第四子信息,第三子特征用于表征第三子信息的信息内容,第四子特征用于表征第四子信息的信息内容;对第三子特征和第四子特征进行特征融合,得到第二信息特征,进而达到了更细致、全面地刻画和理解媒体内容的目的,从而实现了提高对媒体信息的处理准确性的技术效果。
作为一种可选的方案,对至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,包括:将第一子信息表示为特征维度的第一变量,和将第二子信息表示为特征维度的第二变量,其中,第一子特征包括第一变量,第二子特征包括第二变量;
作为一种可选的方案,对第一子特征和第二子特征进行特征融合,得到第一信息特征,包括:将相同特征维度的第一变量和第二变量进行第一平均处理,并将第一平均处理得到的结果,作为第一信息特征;
作为一种可选的方案,对至少两个第二样本信息进行多模态的特征提取,得到属于第一模态的第三子特征,和属于第二模态的第四子特征,包括:将第三子信息表示为特征维度的第三变量,和将第四子信息表示为特征维度的第四变量,其中,第三子特征包括第三变量,第四子特征包括第四变量;
作为一种可选的方案,对第三子特征和第四子特征进行特征融合,得到第二信息特征,包括:将相同特征维度的第三变量和第四变量进行第二平均处理,并将第二平均处理得到的结果,作为第二信息特征。
可选地,平均处理在本实施例中,可以但不限理解为对每一个特征维度上的数值进行平均化操作,如从不同的模态或来源提取特征时,这些特征通常具有不同的数值范围和分布。为了整合这些特征并得到一个统一的表示,可以使用平均处理。平均处理可以降低某些极端值或噪声的影响,使特征更为稳定。而不同来源或模态的特征可能包含互补的信息。平均处理可以整合这些信息,使得融合后的特征更为全面。
需要说明的是,本实施例通过将第一子信息和第二子信息表示为特征维度的变量,并相应地进行平均处理,得到了包含更丰富信息的第一信息特征。同样地,第三子信息和第四子信息也经过相同的处理,得到第二信息特征。这种处理方式有效地提升了特征的表示能力,使其更能反映原始数据的本质特性。此外,通过平均处理,不同模态或来源的特征得以融合,减少了特征的冗余和噪声。而平均处理有助于平滑不同特征之间的差异,降低异常值和噪声的影响,从而使得融合后的特征更为稳定和鲁棒。
具体的,第一子信息被转化为特征维度的第一变量。这种转化允许本实施例将原始的、非数值的子信息变为可以用于数学计算的数值形式。第二子信息也被转化为特征维度的第二变量,与第一变量类似,这也是一个将非数值信息转化为数值形式的过程。通过变量表示,成功将非数值的子信息转化为数值形式。
而在得到第一变量和第二变量后,对这两个变量进行第一平均处理。这意味着本实施例将两个变量在相同的特征维度上进行平均,以获得一个融合后的特征值,其中,平均处理作为一种简单的特征融合方法,可以快速整合不同模态下的特征,为后续任务提供一个综合、全面的特征表示。这个第一平均处理的结果被称为第一信息特征。这是一个综合了第一子信息和第二子信息的特征。第三子信息被转化为特征维度的第三变量。
与第一变量和第二变量的转化过程相同,这也是一个数值化的过程。第四子信息被转化为特征维度的第四变量,这个过程与前述的转化过程类似,将原始信息转化为可以用于计算的数值形式。第三变量和第四变量在相同的特征维度上进行第二平均处理。这个处理过程与第一平均处理类似,但应用于不同的样本信息。第二平均处理的结果被称为第二信息特征。这是一个综合了第三子信息和第四子信息的特征。
通过本申请提供的实施例,将第一子信息表示为特征维度的第一变量,和将第二子信息表示为特征维度的第二变量,其中,第一子特征包括第一变量,第二子特征包括第二变量;将相同特征维度的第一变量和第二变量进行第一平均处理,并将第一平均处理得到的结果,作为第一信息特征;将第三子信息表示为特征维度的第三变量,和将第四子信息表示为特征维度的第四变量,其中,第三子特征包括第三变量,第四子特征包括第四变量;将相同特征维度的第三变量和第四变量进行第二平均处理,并将第二平均处理得到的结果,作为第二信息特征,进而达到了有效地提升特征的表示能力,以及增强特征的稳定性和鲁棒性的目的,从而实现了提高对媒体信息的处理准确性的技术效果。
作为一种可选的方案,获取待识别媒体信息对应的媒体信息特征和第一信息特征之间的第一特征相似度,包括:
S5-1,将媒体信息特征映射至多维空间内,得到第一特征向量;
S5-2,将第一信息特征映射至多维空间内,得到第二特征向量;
S5-3,计算第一特征向量和第二特征向量之间的第一余弦距离,其中,第一特征相似度与第一余弦距离呈正相关关系;
获取媒体信息特征和第二信息特征之间的第二特征相似度,包括:
S6-1,将第二信息特征映射至多维空间内,得到第三特征向量;
S6-2,计算第三特征向量和第二特征向量之间的第二余弦距离,其中,第二特征相似度与第二余弦距离呈正相关关系。
可选地,在本实施例中,余弦距离可以但不限用于衡量两个向量在多维空间中方向差异的大小,通过计算两个向量的夹角的余弦值来得到的。当两个向量的方向完全一致时,它们之间的夹角接近零,此时余弦距离接近1,表示这两个向量非常相似。反之,如果两个向量的方向完全不同,它们之间的夹角接近90度,此时余弦距离接近0,表示这两个向量不相似。例如,在文本分类中,可以将文档的TF-IDF表示作为向量,然后使用余弦距离来衡量文档之间的相似度。
需要说明的是,本实施例通过将各种信息特征映射到多维空间,并利用余弦距离来度量向量间的相似性,从而实现对特征的评估和选择。而由于使用余弦距离,不受特征尺度的影响,即特征的数值大小不会影响相似度的计算,可以更方便进行后续媒体信息的处理步骤,提高媒体信息的处理准确性。
通过本申请提供的实施例,将媒体信息特征映射至多维空间内,得到第一特征向量;将第一信息特征映射至多维空间内,得到第二特征向量;计算第一特征向量和第二特征向量之间的第一余弦距离,其中,第一特征相似度与第一余弦距离呈正相关关系;将第二信息特征映射至多维空间内,得到第三特征向量;计算第三特征向量和第二特征向量之间的第二余弦距离,其中,第二特征相似度与第二余弦距离呈正相关关系,进而达到了方便进行后续媒体信息的处理步骤的目的,从而实现了提高媒体信息的处理准确性的技术效果。
作为一种可选的方案,利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,包括:
S7-1,将至少两个第一样本信息输入标签表示模型,得到第一标签表示,其中,标签表示模型为利用多个样本信息训练得到的、用于提取标签表示的神经网络模型;和,
S7-2,将至少两个第二样本信息输入标签表示模型,得到第二标签表示。
需要说明的是,通过输入至少两个第一样本信息到标签表示模型中,可以得到第一标签表示。这个过程利用了训练得到的神经网络模型来提取样本信息的标签表示。由于标签表示模型是经过多个样本信息训练的,它能够有效地捕捉到媒体信息的特征,并准确地表示出样本的标签信息。输入至少两个第二样本信息到相同的标签表示模型中,得到第二标签表示。这一步与前一步类似,同样利用了神经网络模型的能力来提取标签表示。通过使用相同的模型来处理不同的样本信息,可以确保标签识别的一致性和效率,进而兼顾媒体信息的标签识别准确性和效率。
通过本申请提供的实施例,将至少两个第一样本信息输入标签表示模型,得到第一标签表示,其中,标签表示模型为利用多个样本信息训练得到的、用于提取标签表示的神经网络模型;和,将至少两个第二样本信息输入标签表示模型,得到第二标签表示,进而实现了兼顾媒体信息的标签识别准确性和效率的技术效果。
作为一种可选的方案,在将至少两个第一样本信息输入标签表示模型,得到第一标签表示之前,方法还包括:
S8-1,获取属于第一媒体标签的多个第一信息、属于第二媒体标签的多个第二信息,和至少一个验证信息,其中,多个样本信息包括多个第一信息、多个第二信息,和至少一个验证信息,验证信息属于第一媒体标签或第二媒体标签;
S8-2,将多个第一信息和多个第二信息输入当前标签表示模型,得到当前标签表示模型输出的多个样本标签表示;
S8-3,利用验证信息与样本标签表示之间的信息相似度,为至少一个验证信息中的各个验证信息分配对应的样本标签,其中,样本标签为第一媒体标签或第二媒体标签;
S8-4,在样本标签的分配结果满足模型收敛条件的情况下,将当前标签表示模型确定为训练好的标签表示模型,其中,分配结果用于指示样本标签分成正确或错误;
S8-5,在分配结果不满足模型收敛条件的情况下,利用分配结果,调整当前标签表示模型的模型参数,直至得到训练好的标签表示模型。
需要说明的是,获取属于第一媒体标签的多个第一信息、属于第二媒体标签的多个第二信息,和至少一个验证信息。这里的样本信息涵盖了两种媒体标签,以及验证信息,用于后续的模型验证。将多个第一信息和多个第二信息输入到当前标签表示模型中,该模型会输出每个样本的标签表示,或者说用模型来预测或提取每个输入样本的标签。利用验证信息与样本标签表示之间的信息相似度,为每个验证信息分配对应的样本标签。这里的样本标签是第一媒体标签或第二媒体标签。这个过程确保了验证信息也被赋予了相应的标签,用于后续模型准确性的验证。检查样本标签的分配结果是否满足模型收敛条件。分配结果实际上是一个指标,用于指示样本标签是否被正确分配。
而如果满足收敛条件,说明模型已经能够较为准确地为样本分配标签。如果满足收敛条件,就将当前标签表示模型确定为训练好的标签表示模型。这意味着模型已经达到了一个较好的状态,可以用于实际的标签预测任务。如果分配结果不满足模型收敛条件,那么就需要利用分配结果来调整当前标签表示模型的模型参数。这样的迭代调整会继续进行,直到得到一个训练好的标签表示模型。
通过本申请提供的实施例,获取属于第一媒体标签的多个第一信息、属于第二媒体标签的多个第二信息,和至少一个验证信息,其中,多个样本信息包括多个第一信息、多个第二信息,和至少一个验证信息,验证信息属于第一媒体标签或第二媒体标签;将多个第一信息和多个第二信息输入当前标签表示模型,得到当前标签表示模型输出的多个样本标签表示;利用验证信息与样本标签表示之间的信息相似度,为至少一个验证信息中的各个验证信息分配对应的样本标签,其中,样本标签为第一媒体标签或第二媒体标签;在样本标签的分配结果满足模型收敛条件的情况下,将当前标签表示模型确定为训练好的标签表示模型,其中,分配结果用于指示样本标签分成正确或错误;在分配结果不满足模型收敛条件的情况下,利用分配结果,调整当前标签表示模型的模型参数,直至得到训练好的标签表示模型,进而达到了利用已知标签的样本来训练模型,并使用验证信息来验证模型的准确性。通过不断调整模型参数,最终得到一个能够准确为样本分配标签的模型的目的,从而实现了提高标签表示模型的训练质量的技术效果。
作为一种可选的方案,在第一信息相似度大于第二信息相似度的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签,包括:在第一信息相似度大于第二信息相似度、且第一信息相似度与第二信息相似度之间的相似度差大于或等于第一预设阈值的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;
作为一种可选的方案,在第一信息相似度小于第二信息相似度的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签,包括:在第一信息相似度小于第二信息相似度、且相似度差大于或等于第一预设阈值的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签;
作为一种可选的方案,在响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度之后,方法还包括:在相似度差小于第一预设阈值的情况下,将第一媒体标签和第二媒体标签都确定为待识别媒体信息属于的媒体标签。
需要说明的是,首先计算待识别媒体信息与第一媒体标签的第一信息相似度,以及与第二媒体标签的第二信息相似度,并结合至少三种情况进行标签确定,如当与第一媒体标签的相似度明显高于与第二媒体标签的相似度时,则视为待识别的媒体信息属于第一媒体标签;当与第一媒体标签的相似度明显低于与第二媒体标签的相似度时,则视为待识别的媒体信息属于第二媒体标签;这里的第一预设阈值起到一个决策边界的作用。只有当两个相似度之间的差异大于或等于这个阈值时,本实施例才会明确地选择一个媒体标签。否则,本实施例会同时选择两个标签,使得媒体标签的分配更为细致和准确。
通过本申请提供的实施例,在第一信息相似度大于第二信息相似度、且第一信息相似度与第二信息相似度之间的相似度差大于或等于第一预设阈值的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;在第一信息相似度小于第二信息相似度、且相似度差大于或等于第一预设阈值的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签;在相似度差小于第一预设阈值的情况下,将第一媒体标签和第二媒体标签都确定为待识别媒体信息属于的媒体标签,综合考虑了与不同媒体标签的信息相似度以及预设的阈值来确定待识别媒体信息的标签,进而达到了使得媒体标签的分配更为细致和准确的目的,从而实现了提高标签分配的准确性和覆盖性的技术效果。
作为一种可选的方案,在将第一媒体标签确定为待识别媒体信息属于的媒体标签,或将第二媒体标签确定为待识别媒体信息属于的媒体标签之后,方法还包括:
S9-1,获取当前已分配媒体标签的媒体信息对应的累计数量;
S9-2,在累计数量大于或等于第二预设阈值的情况下,将当前已分配媒体标签的媒体信息、至少两个第一样本信息,和至少两个第二样本信息,共同作为训练样本,对初始的标签识别模型进行训练,直至得到训练好的标签识别模型,其中,标签识别模型为用于识别媒体信息属于的媒体标签。
需要说明的是,考虑到直接训练标签识别模型,需要大量的样本数据,而大量样本数据的收集,通常需要消耗很多的人力和时间成本,进而在本实施例中,可以在累计分配媒体标签的媒体信息已达到累计数量的情况下,再开启标签识别模型的训练,进而使样本数据的收集与实际使用相结合,无需消耗额外的人力和时间成本,训练得到可进行更准确性标签识别的模型,以兼顾媒体信息的标签识别效率和准确性。
进一步举例说明,可选地例如图4所示,再当前已分配媒体标签的媒体信息对应的累计数量大于或等于第二预设阈值的情况下,将当前已分配媒体标签的媒体信息、至少两个第一样本信息,和至少两个第二样本信息,共同作为训练样本,进行标签识别模型的训练;进一步,使用训练好的标签识别模型,为新输入的媒体信息分配对应的媒体标签。
通过本申请提供的实施例,获取当前已分配媒体标签的媒体信息对应的累计数量;在累计数量大于或等于第二预设阈值的情况下,将当前已分配媒体标签的媒体信息、至少两个第一样本信息,和至少两个第二样本信息,共同作为训练样本,对初始的标签识别模型进行训练,直至得到训练好的标签识别模型,其中,标签识别模型为用于识别媒体信息属于的媒体标签,进而达到了使样本数据的收集与实际使用相结合,无需消耗额外的人力和时间成本,训练得到可进行更准确性标签识别的模型的目的,从而实现了兼顾媒体信息的标签识别效率和准确性的技术效果。
作为一种可选的方案,为方便理解,将上述媒体信息的标签识别方法应用在给视频打标签的场景中,本实施例提出图5所示的视频标签原型提取模块,接受来自5(数量5仅为举例说明)个视频的输入,这5个视频都是同一个标签的正样本。本实施例只需要为每个标签准备5个样本,也既只需要少量样本即可学习到该标签的原型表示。本实施例对这5个视频分别提取文本、音频、图像三种类型的信号。对于文本信号,本实施例提取了5个视频的标题作为信息输入给模块;对于音频信号,本实施例提取5个视频的背景音,进行简单的数据处理后(提取MFCC特征)输入给模块;对于图像信号,本实施例提取5个视频的视频帧,利用神经网络处理后输入给该模块。
可选地,在本实施例中,文本、音频、图像这三类信号,本实施例经过数据处理后,都可以用一个1024维度的变量进行表示。对于文字来说,本实施例将每一个文字首先表示为一个数字标记。例如“我”的标记为10,“灯”的标记为1054。所有的中英文以及常用符号,可以用大概2万个数字标记来表示,其中每一个不同的标记,本实施例都赋予一个1024维的数组来表示它,也即本实施例将一个字符映射为一个1024的变量。对于音频信息,本实施例对每1秒钟的背景音提取其MFCC(梅尔倒谱系数)特征,并接着利用一个线性层将其映射为一个1024维的变量。对于图像信息,本实施例可以均匀的对每个视频提取16帧图像,对每一个图像,用一个卷积神经网络处理后,得到一个1024维的变量,用来表达该图像。
进一步举例说明,可选地例如图6所示,视频标签原型提取模块的结构采取transformer神经网络编码器类似的结构,对于输入的特征(1024维的变量)依次做多头注意力、加和、正则化、前向神经网络、加和、正则化等操作,并重复N次(N=6)。在这些处理之后,再将获得的多个特征取平均值作为输出,变更将输出作为标签的原型表示。
可选地,在本实施例中,视频标签原型提取模块可以但不限作为模型进行训练,如图7所示,首先训练数据构建,训练数据包含7N个视频,其中N是训练数据中支持的标签数目,每个标签本实施例准备5个样本用来提取标签的原型表示,本实施例将这部分训练数据称为支持数据;另外每个标签准备2个样本用来计算余弦距离,这部分样本称为验证样本。再者,采样一组训练数据,如采样K个标签,每个标签本实施例从2个验证样本中再随机选一个构成K个样本。进一步计算损失函数。本实施例首先利用所有的支持样本计算出当前的所有标签的原型表示。之后本实施例利用K个验证样本,计算出这K个样本的特征。对于K个特征中的每一个,本实施例计算出该特征到N个标签原型表示的余弦距离,本实施例将该余弦距离归一化为(0,1)区间,也即可以看作一个概率。最后本实施例采用交叉墒Loss计算该样本的损失函数:对于该样本本身就应该打出的标签,本实施例另该样本打出该标签的真值为1,否则该样本打出该标签的真值为0。再者,计算梯度,更新参数。本实施例计算损失函数对于所有参数的梯度,并对参数沿着梯度下降的方向做更新。而完成训练后,保存参数,当训练达到一定的轮数后,本实施例停止训练,并将模型的参数保存下来。如果没有达到足够的轮数,本实施例则回到采样训练数据,并进行迭代,直至达到足够的轮数。
可选地,在本实施例中,如图8所示,本实施例可以分为两个阶段,第一阶段标签原型表示的提取和第二阶段对新视频标签的提取。其中,第一个阶段用于提取已知标签的原型表示,也即用视频标签原型提取模块进行提取,且第一阶段是一个持续的过程。每当本实施例收集到某个标签的五个正样本之后,本实施例就可以提取该标签的原型表示。其次,本实施例可以把大于5个视频的信息输入该模块提取特征表示的,因此即使收集到数据多余所需,本实施例也可以利用它们。当样本数目不足5个的时候,本实施例也可以采取该模块来提取特征。而本实施例中的5个样本,经实验证明是可以提取稳定的标签原型表示,更多的样本会浪费,更少的样本则可能会影响效果。
其次,第二阶段为对给定的新视频提取标签。这又分为两个步骤,第一个步骤是对新视频提取特征,第二个步骤是利用提取的特征计算标签。本实施例利用视频标签原型提取模块,将新视频的文本、声音、图像信息输入该模块,即可得到该视频的特征表示。与提取视频标签原型不同,提取一个视频的特征,只利用一个视频的信息输入该模块,而不是输入5个视频。但由于该模块的最终处理是取平均值,因此获得的特征维度是一样的(1024维)。第二个步骤是利用提取到的特征计算标签。本实施例可以计算新视频的特征,与每个标签的原型表示的余弦相似度,该距离是一个取值维-1到1的数字,数字越大则表明两个特征越相似,本实施例可以用一个统一的阈值0.5来做筛选,如果某一个标签的原型表示与新视频特征的余弦相似度大于该阈值,则认为该新视频可以打出该标签,本实施例取所有可以打出的标签作为该新视频的标签。
通过本申请提供的实施例,可以在只收集少量样本(如每个标签5个)的情况下做视频打标签,与已有方法相比,所需的标注资源和时间大幅度降低,提高了视频打标签的效率。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
根据本申请实施例的另一个方面,还提供了一种用于实施上述媒体信息的标签识别方法的媒体信息的标签识别装置。如图9所示,该装置包括:
第一获取单元902,用于获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;
第二获取单元904,用于利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,其中,第一标签表示用于表征属于第一媒体标签的信息内容,第二标签表示用于表征属于第二媒体标签的信息内容;
第三获取单元906,用于响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度,其中,标签识别请求用于请求确定待识别媒体信息属于的媒体标签;
第一确定单元908,用于在第一信息相似度大于第二信息相似度的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;
第二确定单元910,用于在第一信息相似度小于第二信息相似度的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二获取单元904,包括:
第一提取模块,用于对至少两个第一样本信息进行特征提取,得到第一信息特征,其中,第一标签表示包括第一信息特征;和,
第二提取模块,用于对至少两个第二样本信息进行特征提取,得到第二信息特征,其中,第二标签表示包括第二信息特征;
第三获取单元906,包括:
第一获取模块,用于获取待识别媒体信息对应的媒体信息特征和第一信息特征之间的第一特征相似度,其中,媒体信息特征用于表征待识别媒体信息的信息内容,第一信息相似度包括第一特征相似度;和,
第二获取模块,用于获取媒体信息特征和第二信息特征之间的第二特征相似度,其中,第二信息相似度包括第二特征相似度。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一提取模块,包括:
第一提起子模块,用于对至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,其中,第一样本信息包含属于第一模态的第一子信息,和属于第二模态的第二子信息,第一子特征用于表征第一子信息的信息内容,第二子特征用于表征第二子信息的信息内容;
第一融合子模块,用于对第一子特征和第二子特征进行特征融合,得到第一信息特征;
第二提取模块,包括:
第二提起子模块,用于对至少两个第二样本信息进行多模态的特征提取,得到属于第一模态的第三子特征,和属于第二模态的第四子特征,其中,第二样本信息包含属于第一模态的第三子信息,和属于第二模态的第四子信息,第三子特征用于表征第三子信息的信息内容,第四子特征用于表征第四子信息的信息内容;
第二融合子模块,用于对第三子特征和第四子特征进行特征融合,得到第二信息特征。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一提起子模块,包括:第一变量子单元,用于将第一子信息表示为特征维度的第一变量,和将第二子信息表示为特征维度的第二变量,其中,第一子特征包括第一变量,第二子特征包括第二变量;
第一融合子模块,包括:第一平均子单元,用于将相同特征维度的第一变量和第二变量进行第一平均处理,并将第一平均处理得到的结果,作为第一信息特征;
第二提起子模块,包括:第二变量子单元,用于将第三子信息表示为特征维度的第三变量,和将第四子信息表示为特征维度的第四变量,其中,第三子特征包括第三变量,第四子特征包括第四变量;
第二融合子模块,包括:第二平均子单元,用于将相同特征维度的第三变量和第四变量进行第二平均处理,并将第二平均处理得到的结果,作为第二信息特征。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一获取模块,包括:
第一映射子模块,用于将媒体信息特征映射至多维空间内,得到第一特征向量;
第二映射子模块,用于将第一信息特征映射至多维空间内,得到第二特征向量;
第一计算子模块,用于计算第一特征向量和第二特征向量之间的第一余弦距离,其中,第一特征相似度与第一余弦距离呈正相关关系;
第二获取模块,包括:
第三映射子模块,用于将第二信息特征映射至多维空间内,得到第三特征向量;
第二计算子模块,用于计算第三特征向量和第二特征向量之间的第二余弦距离,其中,第二特征相似度与第二余弦距离呈正相关关系。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第二获取单元904,包括:
第一输入模块,用于将至少两个第一样本信息输入标签表示模型,得到第一标签表示,其中,标签表示模型为利用多个样本信息训练得到的、用于提取标签表示的神经网络模型;和,
第二输入模块,用于将至少两个第二样本信息输入标签表示模型,得到第二标签表示。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,装置还包括:
第三获取模块,用于在将至少两个第一样本信息输入标签表示模型,得到第一标签表示之前,获取属于第一媒体标签的多个第一信息、属于第二媒体标签的多个第二信息,和至少一个验证信息,其中,多个样本信息包括多个第一信息、多个第二信息,和至少一个验证信息,验证信息属于第一媒体标签或第二媒体标签;
第三输入模块,用于在将至少两个第一样本信息输入标签表示模型,得到第一标签表示之前,将多个第一信息和多个第二信息输入当前标签表示模型,得到当前标签表示模型输出的多个样本标签表示;
分配模块,用于在将至少两个第一样本信息输入标签表示模型,得到第一标签表示之前,利用验证信息与样本标签表示之间的信息相似度,为至少一个验证信息中的各个验证信息分配对应的样本标签,其中,样本标签为第一媒体标签或第二媒体标签;
第一确定模块,用于在将至少两个第一样本信息输入标签表示模型,得到第一标签表示之前,在样本标签的分配结果满足模型收敛条件的情况下,将当前标签表示模型确定为训练好的标签表示模型,其中,分配结果用于指示样本标签分成正确或错误;
第二确定模块,用于在将至少两个第一样本信息输入标签表示模型,得到第一标签表示之前,在分配结果不满足模型收敛条件的情况下,利用分配结果,调整当前标签表示模型的模型参数,直至得到训练好的标签表示模型。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,第一确定单元908,包括:第三确定模块,用于在第一信息相似度大于第二信息相似度、且第一信息相似度与第二信息相似度之间的相似度差大于或等于第一预设阈值的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;
第二确定单元910,包括:第四确定模块,用于在第一信息相似度小于第二信息相似度、且相似度差大于或等于第一预设阈值的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签;
装置还包括:在响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度之后,第五确定模块,用于在相似度差小于第一预设阈值的情况下,将第一媒体标签和第二媒体标签都确定为待识别媒体信息属于的媒体标签。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
作为一种可选的方案,装置还包括:
第四获取单元,用于在将第一媒体标签确定为待识别媒体信息属于的媒体标签,或将第二媒体标签确定为待识别媒体信息属于的媒体标签之后,获取当前已分配媒体标签的媒体信息对应的累计数量;
训练单元,用于在将第一媒体标签确定为待识别媒体信息属于的媒体标签,或将第二媒体标签确定为待识别媒体信息属于的媒体标签之后,在累计数量大于或等于第二预设阈值的情况下,将当前已分配媒体标签的媒体信息、至少两个第一样本信息,和至少两个第二样本信息,共同作为训练样本,对初始的标签识别模型进行训练,直至得到训练好的标签识别模型,其中,标签识别模型为用于识别媒体信息属于的媒体标签。
具体实施例可以参考上述媒体信息的标签识别方法中所示示例,本示例中在此不再赘述。
根据本申请实施例的又一个方面,还提供了一种用于实施上述媒体信息的标签识别方法的电子设备,该电子设备可以但不限于为图1中所示的用户设备102或服务器112,本实施例以电子设备为用户设备102为例说明,进一步如图10所示,该电子设备包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;
S2,利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,其中,第一标签表示用于表征属于第一媒体标签的信息内容,第二标签表示用于表征属于第二媒体标签的信息内容;
S3,响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度,其中,标签识别请求用于请求确定待识别媒体信息属于的媒体标签;
S4,在第一信息相似度大于第二信息相似度的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;
S5,在第一信息相似度小于第二信息相似度的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,图10其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本申请实施例中的媒体信息的标签识别方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的媒体信息的标签识别方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储第一样本信息、第二样本信息、第一信息相似度、第二信息相似度、第一媒体标签以及第二媒体标签等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述媒体信息的标签识别装置中的第一获取单元902、第二获取单元904、第三获取单元906、第一确定单元908及第二确定单元910。此外,还可以包括但不限于上述媒体信息的标签识别装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子设备还包括:显示器1008,用于显示上述第一样本信息、第二样本信息、第一信息相似度、第二信息相似度、第一媒体标签以及第二媒体标签等信息;和连接总线1010,用于连接上述电子设备中的各个模块部件。
在其他实施例中,上述用户设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点网络,任意形式的计算设备,比如服务器、用户设备等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请实施例提供的各种功能。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,电子设备的计算机系统仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
计算机系统包括中央处理器(Central Processing Unit,CPU),其可以根据存储在只读存储器(Read-Only Memory,ROM)中的程序或者从存储部分加载到随机访问存储器(Random Access Memory,RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器中,还存储有系统操作所需的各种程序和数据。中央处理器、在只读存储器以及随机访问存储器通过总线彼此相连。输入/输出接口(Input /Output接口,即I/O接口)也连接至总线。
以下部件连接至输入/输出接口:包括键盘、鼠标等的输入部分;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至输入/输出接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理器执行时,执行本申请的系统中限定的各种功能。
根据本申请的一个方面,提供了一种计算机可读存储介质,计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;
S2,利用至少两个第一样本信息获取第一媒体标签的第一标签表示,和利用至少两个第二样本信息获取第二媒体标签的第二标签表示,其中,第一标签表示用于表征属于第一媒体标签的信息内容,第二标签表示用于表征属于第二媒体标签的信息内容;
S3,响应于对待识别媒体信息触发的标签识别请求,获取待识别媒体信息与第一标签表示之间的第一信息相似度,和获取待识别媒体信息与第二标签表示之间的第二信息相似度,其中,标签识别请求用于请求确定待识别媒体信息属于的媒体标签;
S4,在第一信息相似度大于第二信息相似度的情况下,将第一媒体标签确定为待识别媒体信息属于的媒体标签;
S5,在第一信息相似度小于第二信息相似度的情况下,将第二媒体标签确定为待识别媒体信息属于的媒体标签。
可选地,在本申请实施例中,术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分,并与其他相关部分一起工作以实现预定目标,并且可以通过使用软件、硬件(如处理电路或存储器)或其组合来全部或部分实现。同样的,一个处理器(或多个处理器或存储器)可以用来实现一个或多个模块或单元。此外,每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令电子设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的用户设备,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (13)

1.一种媒体信息的标签识别方法,其特征在于,包括:
获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;
利用所述至少两个第一样本信息获取所述第一媒体标签的第一标签表示,和利用所述至少两个第二样本信息获取所述第二媒体标签的第二标签表示,其中,所述第一标签表示用于表征属于所述第一媒体标签的信息内容,所述第二标签表示用于表征属于所述第二媒体标签的信息内容;
响应于对待识别媒体信息触发的标签识别请求,获取所述待识别媒体信息与所述第一标签表示之间的第一信息相似度,和获取所述待识别媒体信息与所述第二标签表示之间的第二信息相似度,其中,所述标签识别请求用于请求确定所述待识别媒体信息属于的媒体标签;
在所述第一信息相似度大于所述第二信息相似度的情况下,将所述第一媒体标签确定为所述待识别媒体信息属于的媒体标签;
在所述第一信息相似度小于所述第二信息相似度的情况下,将所述第二媒体标签确定为所述待识别媒体信息属于的媒体标签。
2.根据权利要求1所述的方法,其特征在于,
所述利用所述至少两个第一样本信息获取所述第一媒体标签的第一标签表示,和利用所述至少两个第二样本信息获取所述第二媒体标签的第二标签表示,包括:
对所述至少两个第一样本信息进行特征提取,得到第一信息特征,其中,所述第一标签表示包括所述第一信息特征;和,
对所述至少两个第二样本信息进行特征提取,得到第二信息特征,其中,所述第二标签表示包括所述第二信息特征;
所述获取所述待识别媒体信息与所述第一标签表示之间的第一信息相似度,和获取所述待识别媒体信息与所述第二标签表示之间的第二信息相似度,包括:
获取所述待识别媒体信息对应的媒体信息特征和所述第一信息特征之间的第一特征相似度,其中,所述媒体信息特征用于表征所述待识别媒体信息的信息内容,所述第一信息相似度包括所述第一特征相似度;和,
获取所述媒体信息特征和所述第二信息特征之间的第二特征相似度,其中,所述第二信息相似度包括所述第二特征相似度。
3.根据权利要求2所述的方法,其特征在于,
所述对所述至少两个第一样本信息进行特征提取,得到第一信息特征,包括:
对所述至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,其中,所述第一样本信息包含属于所述第一模态的第一子信息,和属于所述第二模态的第二子信息,所述第一子特征用于表征所述第一子信息的信息内容,所述第二子特征用于表征所述第二子信息的信息内容;
对所述第一子特征和所述第二子特征进行特征融合,得到所述第一信息特征;
所述对所述至少两个第二样本信息进行特征提取,得到第二信息特征,包括:
对所述至少两个第二样本信息进行多模态的特征提取,得到属于所述第一模态的第三子特征,和属于所述第二模态的第四子特征,其中,所述第二样本信息包含属于所述第一模态的第三子信息,和属于所述第二模态的第四子信息,所述第三子特征用于表征所述第三子信息的信息内容,所述第四子特征用于表征所述第四子信息的信息内容;
对所述第三子特征和所述第四子特征进行特征融合,得到所述第二信息特征。
4.根据权利要求3所述的方法,其特征在于,
所述对所述至少两个第一样本信息进行多模态的特征提取,得到属于第一模态的第一子特征,和属于第二模态的第二子特征,包括:将所述第一子信息表示为特征维度的第一变量,和将所述第二子信息表示为所述特征维度的第二变量,其中,所述第一子特征包括所述第一变量,所述第二子特征包括所述第二变量;
所述对所述第一子特征和所述第二子特征进行特征融合,得到所述第一信息特征,包括:将相同所述特征维度的所述第一变量和所述第二变量进行第一平均处理,并将所述第一平均处理得到的结果,作为所述第一信息特征;
所述对所述至少两个第二样本信息进行多模态的特征提取,得到属于所述第一模态的第三子特征,和属于所述第二模态的第四子特征,包括:将所述第三子信息表示为所述特征维度的第三变量,和将所述第四子信息表示为所述特征维度的第四变量,其中,所述第三子特征包括所述第三变量,所述第四子特征包括所述第四变量;
所述对所述第三子特征和所述第四子特征进行特征融合,得到所述第二信息特征,包括:将相同所述特征维度的所述第三变量和所述第四变量进行第二平均处理,并将所述第二平均处理得到的结果,作为所述第二信息特征。
5.根据权利要求2所述的方法,其特征在于,
所述获取所述待识别媒体信息对应的媒体信息特征和所述第一信息特征之间的第一特征相似度,包括:
将所述媒体信息特征映射至多维空间内,得到第一特征向量;
将所述第一信息特征映射至所述多维空间内,得到第二特征向量;
计算所述第一特征向量和所述第二特征向量之间的第一余弦距离,其中,所述第一特征相似度与所述第一余弦距离呈正相关关系;
所述获取所述媒体信息特征和所述第二信息特征之间的第二特征相似度,包括:
将所述第二信息特征映射至所述多维空间内,得到第三特征向量;
计算所述第三特征向量和所述第二特征向量之间的第二余弦距离,其中,所述第二特征相似度与所述第二余弦距离呈正相关关系。
6.根据权利要求1所述的方法,其特征在于,所述利用所述至少两个第一样本信息获取所述第一媒体标签的第一标签表示,和利用所述至少两个第二样本信息获取所述第二媒体标签的第二标签表示,包括:
将所述至少两个第一样本信息输入标签表示模型,得到所述第一标签表示,其中,所述标签表示模型为利用多个样本信息训练得到的、用于提取标签表示的神经网络模型;和,
将所述至少两个第二样本信息输入所述标签表示模型,得到所述第二标签表示。
7.根据权利要求6所述的方法,其特征在于,在所述将所述至少两个第一样本信息输入标签表示模型,得到所述第一标签表示之前,所述方法还包括:
获取属于所述第一媒体标签的多个第一信息、属于所述第二媒体标签的多个第二信息,和至少一个验证信息,其中,所述多个样本信息包括所述多个第一信息、所述多个第二信息,和所述至少一个验证信息,所述验证信息属于所述第一媒体标签或所述第二媒体标签;
将所述多个第一信息和所述多个第二信息输入当前标签表示模型,得到所述当前标签表示模型输出的多个样本标签表示;
利用所述验证信息与所述样本标签表示之间的信息相似度,为所述至少一个验证信息中的各个验证信息分配对应的样本标签,其中,所述样本标签为所述第一媒体标签或所述第二媒体标签;
在所述样本标签的分配结果满足模型收敛条件的情况下,将所述当前标签表示模型确定为训练好的所述标签表示模型,其中,所述分配结果用于指示所述样本标签分成正确或错误;
在所述分配结果不满足所述模型收敛条件的情况下,利用所述分配结果,调整所述当前标签表示模型的模型参数,直至得到训练好的所述标签表示模型。
8.根据权利要求1至7中任一项所述的方法,其特征在于,
所述在所述第一信息相似度大于所述第二信息相似度的情况下,将所述第一媒体标签确定为所述待识别媒体信息属于的媒体标签,包括:在所述第一信息相似度大于所述第二信息相似度、且所述第一信息相似度与所述第二信息相似度之间的相似度差大于或等于第一预设阈值的情况下,将所述第一媒体标签确定为所述待识别媒体信息属于的媒体标签;
所述在所述第一信息相似度小于所述第二信息相似度的情况下,将所述第二媒体标签确定为所述待识别媒体信息属于的媒体标签,包括:在所述第一信息相似度小于所述第二信息相似度、且所述相似度差大于或等于所述第一预设阈值的情况下,将所述第二媒体标签确定为所述待识别媒体信息属于的媒体标签;
在所述响应于对待识别媒体信息触发的标签识别请求,获取所述待识别媒体信息与所述第一标签表示之间的第一信息相似度,和获取所述待识别媒体信息与所述第二标签表示之间的第二信息相似度之后,所述方法还包括:在所述相似度差小于所述第一预设阈值的情况下,将所述第一媒体标签和所述第二媒体标签都确定为所述待识别媒体信息属于的媒体标签。
9.根据权利要求1至7中任一项所述的方法,其特征在于,在所述将所述第一媒体标签确定为所述待识别媒体信息属于的媒体标签,或所述将所述第二媒体标签确定为所述待识别媒体信息属于的媒体标签之后,所述方法还包括:
获取当前已分配媒体标签的媒体信息对应的累计数量;
在所述累计数量大于或等于第二预设阈值的情况下,将所述当前已分配媒体标签的媒体信息、所述至少两个第一样本信息,和所述至少两个第二样本信息,共同作为训练样本,对初始的标签识别模型进行训练,直至得到训练好的标签识别模型,其中,所述标签识别模型为用于识别媒体信息属于的媒体标签。
10.一种媒体信息的标签识别装置,其特征在于,包括:
第一获取单元,用于获取属于第一媒体标签的至少两个第一样本信息,和属于第二媒体标签的至少两个第二样本信息;
第二获取单元,用于利用所述至少两个第一样本信息获取所述第一媒体标签的第一标签表示,和利用所述至少两个第二样本信息获取所述第二媒体标签的第二标签表示,其中,所述第一标签表示用于表征属于所述第一媒体标签的信息内容,所述第二标签表示用于表征属于所述第二媒体标签的信息内容;
第三获取单元,用于响应于对待识别媒体信息触发的标签识别请求,获取所述待识别媒体信息与所述第一标签表示之间的第一信息相似度,和获取所述待识别媒体信息与所述第二标签表示之间的第二信息相似度,其中,所述标签识别请求用于请求确定所述待识别媒体信息属于的媒体标签;
第一确定单元,用于在所述第一信息相似度大于所述第二信息相似度的情况下,将所述第一媒体标签确定为所述待识别媒体信息属于的媒体标签;
第二确定单元,用于在所述第一信息相似度小于所述第二信息相似度的情况下,将所述第二媒体标签确定为所述待识别媒体信息属于的媒体标签。
11.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序被电子设备运行时执行所述权利要求1至9任一项中所述的方法。
12.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至9任一项中所述方法的步骤。
13.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
CN202410060077.1A 2024-01-16 2024-01-16 媒体信息的标签识别方法、装置和存储介质及电子设备 Active CN117574160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410060077.1A CN117574160B (zh) 2024-01-16 2024-01-16 媒体信息的标签识别方法、装置和存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410060077.1A CN117574160B (zh) 2024-01-16 2024-01-16 媒体信息的标签识别方法、装置和存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN117574160A true CN117574160A (zh) 2024-02-20
CN117574160B CN117574160B (zh) 2024-05-10

Family

ID=89892196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410060077.1A Active CN117574160B (zh) 2024-01-16 2024-01-16 媒体信息的标签识别方法、装置和存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN117574160B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204660A (zh) * 2021-03-31 2021-08-03 北京达佳互联信息技术有限公司 多媒体数据处理方法、标签识别方法、装置及电子设备
WO2023273769A1 (zh) * 2021-07-01 2023-01-05 北京百度网讯科技有限公司 视频标签推荐模型的训练方法和确定视频标签的方法
CN116229313A (zh) * 2023-01-29 2023-06-06 北京达佳互联信息技术有限公司 标签构建模型的生成方法、装置、电子设备和存储介质
CN116956117A (zh) * 2023-06-16 2023-10-27 腾讯科技(深圳)有限公司 一种标签识别的方法、装置、设备、存储介质及程序产品
CN116958590A (zh) * 2023-02-15 2023-10-27 腾讯科技(深圳)有限公司 媒体资源的处理方法和装置、存储介质及电子设备
CN116975262A (zh) * 2022-10-19 2023-10-31 腾讯科技(深圳)有限公司 媒体资源标签的确定方法和装置、存储介质及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113204660A (zh) * 2021-03-31 2021-08-03 北京达佳互联信息技术有限公司 多媒体数据处理方法、标签识别方法、装置及电子设备
WO2023273769A1 (zh) * 2021-07-01 2023-01-05 北京百度网讯科技有限公司 视频标签推荐模型的训练方法和确定视频标签的方法
CN116975262A (zh) * 2022-10-19 2023-10-31 腾讯科技(深圳)有限公司 媒体资源标签的确定方法和装置、存储介质及电子设备
CN116229313A (zh) * 2023-01-29 2023-06-06 北京达佳互联信息技术有限公司 标签构建模型的生成方法、装置、电子设备和存储介质
CN116958590A (zh) * 2023-02-15 2023-10-27 腾讯科技(深圳)有限公司 媒体资源的处理方法和装置、存储介质及电子设备
CN116956117A (zh) * 2023-06-16 2023-10-27 腾讯科技(深圳)有限公司 一种标签识别的方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN117574160B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
US12061989B2 (en) Machine learning artificial intelligence system for identifying vehicles
WO2021155691A1 (zh) 用户画像生成方法、装置、存储介质及设备
CN111046275A (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN114372532B (zh) 标签标注质量的确定方法、装置、设备、介质及产品
CN116935188B (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN114611672B (zh) 模型训练方法、人脸识别方法及装置
CN116935170B (zh) 视频处理模型的处理方法、装置、计算机设备和存储介质
CN116701706B (zh) 一种基于人工智能的数据处理方法、装置、设备及介质
CN117574160B (zh) 媒体信息的标签识别方法、装置和存储介质及电子设备
CN116703665A (zh) 一种基于数字化计算的学生智能辅导系统和方法
CN114581734B (zh) 分类模型训练方法、装置、设备以及存储介质
CN116992124A (zh) 标签的排序方法、装置、设备、介质及程序产品
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
CN115576990A (zh) 视觉真值数据与感知数据的评测方法、装置、设备及介质
CN116776160B (zh) 一种数据处理方法和相关装置
Guan An online education course recommendation method based on knowledge graphs and reinforcement learning
CN116958777A (zh) 图像识别方法、装置和存储介质及电子设备
CN114610905B (zh) 一种数据处理方法及相关装置
CN117058498B (zh) 分割图评估模型的训练方法、分割图的评估方法及装置
CN114417944B (zh) 识别模型训练方法及装置、用户异常行为识别方法及装置
CN116612358B (zh) 一种数据处理的方法、相关装置、设备以及存储介质
WO2024088031A1 (zh) 一种数据采集方法、装置及相关设备
CN116976309A (zh) 数据解析方法、装置、计算机、可读存储介质及程序产品
CN117011631A (zh) 图像识别模型的训练方法、装置、设备、介质及产品
CN117541824A (zh) 标识的识别方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant