CN113704545A - 视频标签的挖掘方法、装置、电子设备及存储介质 - Google Patents

视频标签的挖掘方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113704545A
CN113704545A CN202110350031.XA CN202110350031A CN113704545A CN 113704545 A CN113704545 A CN 113704545A CN 202110350031 A CN202110350031 A CN 202110350031A CN 113704545 A CN113704545 A CN 113704545A
Authority
CN
China
Prior art keywords
video
label
labels
similar
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110350031.XA
Other languages
English (en)
Inventor
张皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110350031.XA priority Critical patent/CN113704545A/zh
Publication of CN113704545A publication Critical patent/CN113704545A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种视频标签的挖掘方法、装置、电子设备及存储介质,其中,获取视频当前被标注的标签,针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度,利用视频当前被标注的每一个标签的相似标签的置信度,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。利用本申请的方法,可以在人工标注标签的基础上,根据标签间的相似度,获取到与现有标签接近的相似标签,然后在这些相似标签进行筛选,得到置信度处于高优先级的相似标签,作为视频的备选标注标签,用于对视频的标签进行扩充。本申请提供的视频标签的挖掘方法、装置、电子设备及存储介质,还可以应用于计算机视觉技术。

Description

视频标签的挖掘方法、装置、电子设备及存储介质
技术领域
本申请涉及数据挖掘技术领域,尤其涉及一种视频标签的挖掘方法、装置、电子设备及存储介质。
背景技术
标签通常用于产品的说明或者分类,例如视频标签是对每个视频语义的描述,每个标签是一个词或短语,一个视频通常可以用一个或者多个标签进行描述。在视频应用中,为了让用户更好的理解视频以及更好的向用户推荐视频,视频标签就成为一个重要的视频内容画像特征,因此,为了让用户享受到更好的用户体验,就需要根据每一个视频的视频内容对视频进行标签的标注。
在现有技术中,对视频标签的标注通常由专门的工作人员来进行人工标注,工作人员根据看到的视频内容,对视频进行解读,从而选择相应的标签对视频进行标注。但是,不同的工作人员,解读视频内容的角度不同,可能会标出不同的标签。例如,对于一个美食教学的视频,可能工作人员A从菜系的角度给视频标注了“粤菜”的标签;工作人员B从烹饪方式的角度给视频标注了“卤菜”的标签。因此,如果仅依靠人工来对视频进行标签标注,就大概率会出现视频所标注的标签对视频内容的覆盖不够全面的情况,造成视频缺漏标签的问题,影响用户体验。
发明内容
有鉴于此,本申请提供一种视频标签的挖掘方法、装置、电子设备及存储介质,以解决现有技术中视频所标注的标签对视频内容的覆盖不够全面,造成视频缺漏标签的问题。
为实现上述目的,本申请提供如下技术方案:
本申请第一方面公开了一种视频标签的挖掘方法,包括:
获取视频当前被标注的标签;
针对所述视频当前被标注的每一个标签,分别筛选出所述标签的相似标签,并计算得到所述标签的相似标签的置信度;其中,所述标签的相似标签与所述标签的相似度高;所述标签的相似标签的置信度用于说明所述视频被所述标签的相似标签标注的概率;
利用所述视频当前被标注的每一个标签的相似标签的置信度,从所述视频当前被标注的每一个标签的相似标签中,筛选出所述置信度处于高优先级的相似标签,作为所述视频的备选标注标签。
可选的,上述的方法,针对所述视频当前被标注的每一个标签,分别筛选出所述标签的相似标签,包括:
针对所述视频当前被标注的每一个标签,利用所述标签的视频集合与目标标签的视频集合,计算所述标签和所述目标标签之间的相似度;其中,所述标签的视频集合中包括被所述标签标注的视频;所述目标标签的视频集合中包括被所述目标标签标注的视频;所述目标标签属于视频集合与所述标签的视频集合相交不为空的标签;
针对所述视频当前被标注的每一个标签,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为所述标签的相似标签;K为预设的正整数。
可选的,上述的方法,所述利用所述视频当前被标注的每一个标签的相似标签的置信度,从所述视频当前被标注的每一个标签的相似标签中,筛选出所述置信度处于高优先级的相似标签,作为所述视频的备选标注标签,包括:
针对所述视频当前被标注的每一个标签,分别选择按照相似标签的置信度大小排序的相似标签序列中的前N个相似标签,作为所述视频的备选标注标签;N为预设的正整数。
可选的,上述的方法,还包括:
判断所述视频的每一个备选标注标签的置信度是否大于预设值;
针对置信度大于预设值的备选标注标签,利用备选标注标签的置信度,计算所述备选标注标签的展示概率;
针对置信度不大于预设值的备选标注标签,设置所述备选标注标签的展示概率为零;其中,所述备选标注标签的展示概率用于说明所述备选标注标签添加入所述视频的标注标签的概率。
本申请第二方面公开了一种视频标签的挖掘装置,包括:
获取单元,用于获取视频当前被标注的标签;
第一筛选单元,用于针对所述视频当前被标注的每一个标签,分别筛选出所述标签的相似标签,并计算得到所述标签的相似标签的置信度;其中,所述标签的相似标签与所述标签的相似度高;所述标签的相似标签的置信度用于说明所述视频被所述标签的相似标签标注的概率;
第二筛选单元,用于利用所述视频当前被标注的每一个标签的相似标签的置信度,从所述视频当前被标注的每一个标签的相似标签中,筛选出所述置信度处于高优先级的相似标签,作为所述视频的备选标注标签。
可选的,上述的装置,所述第一筛选单元,包括:
计算子单元,用于针对所述视频当前被标注的每一个标签,利用所述标签的视频集合与目标标签的视频集合,计算所述标签和所述目标标签之间的相似度;其中,所述标签的视频集合中包括被所述标签标注的视频;所述目标标签的视频集合中包括被所述目标标签标注的视频;所述目标标签属于视频集合与所述标签的视频集合相交不为空的标签;
第一筛选子单元,用于针对所述视频当前被标注的每一个标签,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为所述标签的相似标签;K为预设的正整数。
可选的,上述的装置,所述第二筛选单元,包括:
第二筛选子单元,用于针对所述视频当前被标注的每一个标签,分别选择按照相似标签的置信度大小排序的相似标签序列中的前N个相似标签,作为所述视频的备选标注标签;N为预设的正整数。
可选的,上述的装置,还包括:
判断单元,用于判断所述视频的每一个备选标注标签的置信度是否大于预设值;
计算单元,用于针对置信度大于预设值的备选标注标签,利用备选标注标签的置信度,计算所述备选标注标签的展示概率;
设置单元,用于针对置信度不大于预设值的备选标注标签,设置所述备选标注标签的展示概率为零;其中,所述备选标注标签的展示概率用于说明所述备选标注标签添加入所述视频的标注标签的概率。
本申请第三方面公开了一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如本申请第一方面和第二方面中任意一项所述的方法。
本申请第四方面公开了一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如本申请第一方面和第二方面中任意一项所述的方法。
从上述技术方案可以看出,本申请提供的一种视频标签的挖掘方法中,首先获取视频当前被标注的标签,然后针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度。其中,标签的相似标签与标签的相似度高。标签的相似标签的置信度用于说明视频被标签的相似标签标注的概率。最后利用视频当前被标注的每一个标签的相似标签的置信度,从视频当前被标注的每一个标签的相似标签中,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。由此可知,利用本申请的方法,可以在人工标注标签的基础上,根据标签间的相似度,获取到与现有标签接近的相似标签,然后在这些相似标签进行筛选,得到置信度处于高优先级的相似标签,作为视频的备选标注标签,用于对视频的标签进行扩充。解决了现有技术中视频所标注的标签对视频内容的覆盖不够全面,造成视频缺漏标签的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1a为本申请实施例公开的一种视频标签的挖掘方法的执行模块的示意图;
图1b为本申请实施例公开的视频标签的挖掘方法的应用场景的展示图;
图1c为本申请实施例公开的一种视频标签的挖掘方法的流程图;
图2为本申请另一实施例公开的步骤S102中针对视频当前被标注的每一个标签,分别筛选出标签的相似标签的一种实施方式的流程图;
图3为本申请另一实施例公开的另一种视频标签的挖掘方法的流程图;
图4为本申请另一实施例公开的一种视频标签的挖掘装置的示意图;
图5为本申请另一实施例公开的一种电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
并且,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术,具体通过如下实施例进行说明。
本申请实施例提供一种视频标签的挖掘方法、装置、电子设备及存储介质,以解决现有技术中视频所标注的标签对视频内容的覆盖不够全面,造成视频缺漏标签的问题。另外,本申请实施例公开的视频标签的挖掘方法、装置、电子设备及存储介质,还可以应用于数据共享系统中,数据共享系统是指用于进行节点与节点之间数据共享的系统,该数据共享系统中可以包括多个节点,多个节点可以是指数据共享系统中各个客户端,数据共享系统中的每个节点均存储一条相同的区块链。每个节点在进行正常工作可以接收到输入信息,并基于接收到的输入信息维护该数据共享系统内的共享数据,视频标签的挖掘方法,则可以由数据共享系统中的节点来执行,节点执行完视频标签的挖掘方法后,可以将执行结果存储入区块链,实现节点间的数据共享。
首先需要说明的是,参见图1a,协同过滤模块101和后处理模块102共同来执行本申请实施例提供的视频标签的挖掘方法。具体的,协同过滤模块101接收视频和标签的标注集合,预测每个视频被漏标的标签,再由后处理模块102,计算每个标签被新增的概率。
本申请实施例提供的视频标签的挖掘方法,可以应用到包括视频信息流推荐和视频检索等多个项目中,对视频的漏标标签进行挖掘,以提升用户体验。具体的,在视频信息流推荐方面,如图1b所示,每个视频会对应多个标签,例如“钓鱼”和“野钓”,用户在看完当前内容时,通过点击对应的标签,可以给用户返回更多的相似内容。视频标注的标签可能有遗漏,通过挖掘漏标标签,可以使得标签对视频内容的描述更加丰富,提供给用户更多的选择空间,用户可以根据自己的兴趣选择对应的标签,提升用户体验。
在视频检索方面,对于跨模态的搜索,例如搜索内容的是文字描述,但是搜索结果是视频,一种常见的搜索策略是利用视频标签进行搜索,例如在搜索“野钓”时,将被标注为“野钓”标签的视频返回给用户。通过挖掘视频的漏标标签,可以提升视频召回范围,提升搜索结果的覆盖度,进而提升用户体验。
本申请实施例提供了一种视频标签的挖掘方法,如图1c所示,具体包括:
S101、获取视频当前被标注的标签。
其中,视频和标签的标注集合包含有多个视频、以及每个视频当前被标注的标签。在协同过滤模块101接收视频和标签的标注集合,预测每个视频被漏标的标签时,视频和标签的标注集合会输入到协同过滤模块101,协同过滤模块101先针对每一个视频,获取视频当前被标注的标签,再通过后续步骤的内容来完成视频被漏标签的预测。本实施例以一个视频为例进行视频标签挖掘的说明。
需要说明的是,为了让用户更好的理解视频以及更好的向用户推荐视频,通常会针对视频的内容标注与视频相对应的标签,标签可以是一个词或这一个短语。而有些视频虽然已经被标注过一些标签,但是由于现有技术存在的缺陷,视频所标注的标签往往不够全面,有些符合视频内容的标签并没有被标注上去。因此,为了扩充视频可能缺漏的标签,首先获取视频当前已经被标注的标签i。
S102、针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度。
其中,针对视频当前被标注的每一个标签,筛选出的相似标签可以为多个,标签的每一个相似标签与标签的相似度高;标签的相似标签的置信度用于说明视频被标签的相似标签标注的概率。
需要说明的是,在获取到视频当前被标注的标签之后,针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,其中,标签的相似标签为与该标签的相似度较高的标签。如果两个标签之间的相似度高,那么这两个标签就可能可以同时用来标注同一个视频。因此,在筛选出各个标签所对应的相似标签之后,分别计算每一个相似标签的置信度,其中,相似标签的置信度用于说明视频被标签的相似标签标注的概率,也就是相似标签的置信度越高,那么相似标签可以用于标注对应的视频的概率就越大。
可选的,在本申请的另一实施例中,步骤S102中针对视频当前被标注的每一个标签,分别筛选出标签的相似标签的一种实施方式,如图2所示,可以包括:
S201、针对视频当前被标注的每一个标签,利用标签的视频集合与目标标签的视频集合,计算标签和目标标签之间的相似度;其中,标签的视频集合中包括被所标签标注的视频;目标标签的视频集合中包括被目标标签标注的视频;目标标签属于视频集合与标签的视频集合相交不为空的标签。
需要说明的是,为了计算标签之间的相似度,首先可以对标签定义一个标签向量,例如标签i的标签向量为Wi,标签向量的维度d等于获取的所有视频数量,也就是协同过滤模块101接收的视频和标签的标注集合中的所有视频的数量。标签向量的取值与标签和视频的关系相关,例如,当视频u被标注了标签i时,标签i的标签向量Wi中的Wiu=1;当视频u没有被标注标签i时,标签i的标签向量Wi中的Wiu=0。由于每个视频被标注的标签是有限的,因此一个标签的标签向量也是极其稀疏的。
定义标签的相似度矩阵S,其维度为d*d,可以利用余弦相似度计算标签i和标签i′之间的相似度,具体公式如下:
Figure BDA0003001861090000081
上式中,Wi T指代Wi转置后的矩阵。
由于一个标签的标签向量的十分高维且稀疏,所以没必要把标签向量构建出来再求内积,计算标签i和标签i′之间的相似度。还可以通过标签的视频集合将上述公式进行转换来计算标签间的相似度,其中,标签的视频集合中包括被所述标签标注的视频。令g(i)表示被标注了标签i的视频的视频集合。
g(i)={u|wiu=1}
此时标签和标签之间的相似度具体转换公式如下:
Figure BDA0003001861090000091
上式中,g(i)表示被标注了标签i的视频的视频集合,g(i′)表示被标注了标签i′的视频的视频集合。
在获取到视频当前被标注的标签之后,针对视频当前被标注的每一个标签,利用标签的视频集合与目标标签的视频集合,通过上述转换公式,计算得到标签和目标标签之间的相似度,其中,目标标签属于视频集合与标签的视频集合相交不为空的标签。可以在计算标签间的相似度之前,先构建一个记录标签与视频对应关系的倒排表,然后利用倒排表,找到与被标注的标签的视频集合相交不为空的目标标签。
S202、针对视频当前被标注的每一个标签,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为标签的相似标签;K为预设的正整数。
需要说明的是,针对视频当前被标注的每一个标签,在计算得到每一个目标标签与当前标签的相似度之后,将目标标签按照相似度从大到小进行排序,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为标签的相似标签,K为预设的正整数,可以根据实际情况进行设置,例如5个。
假设标签i和标签i′的相似度较高,那说明标签i′属于标签i的相似标签,需要计算标签i′的置信度。对于每一个相似标签,可以根据相似标签对应的标签集合,并结合预设的置信度公式,计算其对应的的置信度,其中相似标签对应的标签集合中的元素为视频当前标注的标签的K个相似标签。例如计算相似标签i′的置信度,可通过如下置信度公式进行计算:
Figure BDA0003001861090000092
其中,yui’为相似标签i′的置信度,Wi’u表示标签i′的标签向量Wi’中的第u个元素,Sii’为标签i和标签i′的相似度,Ii为标签i的K个相似标签组成的标签集合,i′为集合Ii中的一个元素。
S103、利用视频当前被标注的每一个标签的相似标签的置信度,从视频当前被标注的每一个标签的相似标签中,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。
需要说明的是,在计算得到视频当前被标注的每一个标签所对应的相似标签的置信度之后,就可以根据每一个相似标签的相似度,从中筛选出置信度处于高优先级的相似标签,也就是从所有的相似标签中选择置信度较高的相似标签,作为视频的备选标注标签,之后就可以利用这些视频的备选标注标签中,对视频的标签进行扩充,解决视频的标注标签缺漏的问题。
可选的,在本申请的另一实施例中,步骤S103的一种实施方式,可以包括:
针对视频当前被标注的每一个标签,分别选择按照相似标签的置信度大小排序的相似标签序列中的前N个相似标签,作为视频的备选标注标签;N为预设的正整数。
需要说明的是,在计算出视频当前被标注的每一个标签所对应的相似标签的置信度之后,针对视频当前被标注的每一个标签,将对应的相似标签按照置信度的从大到小进行排序,构建出一个相似标签序列,在进行排序时,如果有些相似标签是当前视频已经标注过的标签,那么就把这类相似标签剔除掉,不放入相似标签序列中。然后从相似标签序列中选择前N个相似标签,作为视频的备选标注标签,K为预设的正整数,可以根据实际情况进行设置,例如3个。
本申请实施例提供的视频标签的挖掘方法中,首先获取视频当前被标注的标签,然后针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度。其中,标签的相似标签与标签的相似度高;标签的相似标签的置信度用于说明视频被标签的相似标签标注的概率。最后利用视频当前被标注的每一个标签的相似标签的置信度,从视频当前被标注的每一个标签的相似标签中,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。由此可知,利用本申请的方法,可以在人工标注标签的基础上,根据标签间的相似度,获取到与现有标签接近的相似标签,然后在这些相似标签进行筛选,得到置信度处于高优先级的相似标签,作为视频的备选标注标签,用于对视频的标签进行扩充。解决了现有技术中视频所标注的标签对视频内容的覆盖不够全面,造成视频缺漏标签的问题。
还需要说明的是,现有技术也存在一些利用模型来完成视频缺漏标签的挖掘的方案,例如:基于图的模型或基于低秩(Low-Rank)的模型,但是,通常算法上比较复杂,模型训练一次花费的时间比较长。而当今视频领域,尤其是短视频领域,视频规模通常是千万甚至上亿,并且热点更新快、持续时间短,如此就会不断有新标签产生。因此这对模型的训练速度有很高要求,一旦训练代价比较大导致对新标签的处理能力不够,不能紧跟视频热点,就会影响用户的使用体验。
本申请实施例提供的视频标签的挖掘方法,基于视频的标签寻找相似标签,补充视频漏标的标签,方案简单可行,且更新快,可以紧跟视频热点。例如对于数亿量级的视频标注结果进行处理,只需要几小时就可以从头计算一次,和现有深度学习方法动辄几天、多则数周的模型训练周期相比,有很大的时间优势。
此外,对于新产生的视频,只要给该视频标注过一些标签,即可根据已标注标签推荐相似标签,简单方便。另外,标签之间的相似度一般比较稳定,一般不易改变,对模型实时更新的要求不高。对于新产生的标签,只需要更新标签相似度矩阵S即可,而且相似度矩阵也不需要完全重新计算,只需要计算新增标签和已有标签之间的相似度,给相似度矩阵S新增一行和一列即可,相似度矩阵更新负担很轻,通常一天更新一次,进而使得方案可以很好的跟踪实时视频热点。
可选的,在申请的另一实施例中,如图3所示,视频标签的挖掘方法可以包括:
S301、获取视频当前被标注的标签。
S302、针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度;其中,标签的相似标签与标签的相似度高;标签的相似标签的置信度用于说明视频被标签的相似标签标注的概率。
S303、利用视频当前被标注的每一个标签的相似标签的置信度,从视频当前被标注的每一个标签的相似标签中,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。
需要说明的是,步骤S301至S303可以参考上述实施例内容,此处不在赘述。并且,在协同过滤模块101执行步骤S301到步骤S303,得到视频的备选标注标签之后,将得到视频的备选标注标签输入到后处理模块102,由后处理模块102执行下述步骤。
S304、判断视频的每一个备选标注标签的置信度是否大于预设值。
需要说明的是,通过步骤S103中筛选出来的备选标注标签之后,有些情况下可能不需要将所有的备选标注标签都添加为视频的标签进行展示,那么就可以对每一个备选标注标签计算出它们对应的展示概率,根据每一个备选标签的展示概率,对视频的标注标签的进行添加。
具体的,协同过滤模块101得到视频的备选标注标签,由于靠协同过滤模块101采用的协同过滤算法,预测得到的视频的备选标注标签不会100%可靠,因此,视频的备选标注标标签,还需要以一定的概率加入人工标注的标签中。例如,视频信息流推荐场景中,每次在展示视频的标签时,人工标注的标签一定会得到展示,而协同过滤模块101得到视频的备选标注标签会以一定的概率得到展示。
在计算每一个备选标签的展示概率时,首先判断视频的每一个备选标注标签的置信度是否大于预设值,预设值可以根据实际情况进行设定。
S305、针对置信度大于预设值的备选标注标签,利用备选标注标签的置信度,计算备选标注标签的展示概率。
需要说明的是,当备选标注标签的置信度大于预设值时,将该备选标注标签的置信度代入展示概率计算公式中,就可以计算得到每一个置信度大于预设值的备选标注标签的展示概率,具体公式如下:
Figure BDA0003001861090000121
其中,Pui为备选标注标签的展示概率,yui为备选标注标签的置信度,ymax为所有备选标注标签的置信度中的最大值,τ为上述的预设值。
在计算出置信度大于预设值的备选标注标签的展示概率之后,则根据展示概率将备选标注标签添加到视频的标注标签中。
S306、针对置信度不大于预设值的备选标注标签,设置备选标注标签的展示概率为零。
步骤S305和S306中,备选标注标签的展示概率,用于说明备选标注标签添加入视频的标注标签的概率。
需要说明的是,当备选标注标签的置信度不大于预设值时,说明当前备选标注标签的置信度较低,因此设置当前备选标注标签的展示概率为零,即不会添加到视频的标注标签中。
本申请实施例公开的视频标签的挖掘方法,可以理解成采用协同过滤算法,该算法的基本思想是,如果用户在过去有相同的偏好(比如购买过相同的物品),那么他们在未来也会有相似的偏好。通过寻找近邻进行推荐,给用户推荐已经购买过物品的相似物品,或者推荐和用户相似的人喜欢的物品。这类方法的基本假设是,如果两个物品相似,那么很容易被同一个用户产生行为;如果两个用户相似,那么很容易对同一个物品产生行为。在视频标签场景中,将不同的视频类比于不同的用户,将不同的标签类比于不同的商品,本申请创造性地将视频补充漏标标签的问题转化为“给视频推荐其他标签”的问题。
并且,本申请公开的视频标签的挖掘方法中使用的协同过滤算法,是基于视频的标签进行协同过滤,其实际上是基于物品的协同过滤。除此之外,还有基于用户的协同过滤算法,其本质都是根据用户的历史购买行为进行推荐。但是,基于用户的协同过滤算法需要计算视频和视频之间的相似度,而视频通常由千万甚至上亿规模,计算视频之间的相似度会十分困难,而本申请应用的基于物品的协同过滤只需要计算标签之间的相似度,标签通常只有几十万规模,计算起来相对容易。
此外,本申请除了使用最基础的基于物品的协同过滤算法,还可以使用基于物品的协同过滤进行改进后的算法,包括SlopeOne、惩罚热门用户、对物品相似度矩阵按最大值归一化以提高推荐多样性、时间上下文推荐等。
在本申请的另一实施例还公开了一种视频标签的挖掘装置,如图4所示,包括:
获取单元401,用于获取视频当前被标注的标签。
第一筛选单元402,用于针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度;其中,标签的相似标签与标签的相似度高;标签的相似标签的置信度用于说明视频被标签的相似标签标注的概率。
第二筛选单元403,用于利用视频当前被标注的每一个标签的相似标签的置信度,从视频当前被标注的每一个标签的相似标签中,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。
本实施例中,获取单元401、第一筛选单元402以及第二筛选单元403的具体执行过程,可参见对应图1c的方法实施例内容,此处不再赘述。
本申请实施例提供的一种视频标签的挖掘装置中,首先获取单元401获取视频当前被标注的标签,然后第一筛选单元402针对视频当前被标注的每一个标签,分别筛选出标签的相似标签,并计算得到标签的相似标签的置信度。其中,标签的相似标签与标签的相似度高;标签的相似标签的置信度用于说明视频被标签的相似标签标注的概率。最后第二筛选单元403利用视频当前被标注的每一个标签的相似标签的置信度,从视频当前被标注的每一个标签的相似标签中,筛选出置信度处于高优先级的相似标签,作为视频的备选标注标签。由此可知,利用本申请的方法,可以在人工标注标签的基础上,根据标签间的相似度,获取到与现有标签接近的相似标签,然后在这些相似标签进行筛选,得到置信度处于高优先级的相似标签,作为视频的备选标注标签,用于对视频的标签进行扩充。解决了现有技术中视频所标注的标签对视频内容的覆盖不够全面,造成视频缺漏标签的问题。
可选的,在本申请的另一实施例中,第一筛选单元402的一种实施方式,包括:
计算子单元,用于针对视频当前被标注的每一个标签,利用标签的视频集合与目标标签的视频集合,计算标签和目标标签之间的相似度;其中,标签的视频集合中包括被标签标注的视频;目标标签的视频集合中包括被目标标签标注的视频;目标标签属于视频集合与标签的视频集合相交不为空的标签。
第一筛选子单元,用于针对视频当前被标注的每一个标签,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为标签的相似标签;K为预设的正整数。
本实施例中,计算子单元以及第一筛选子单元的具体执行过程,可参见图2对应的方法实施例内容,此处不再赘述。
可选的,在本申请的另一实施例中,第二筛选单元403的一种实施方式,包括:
第二筛选子单元,用于针对视频当前被标注的每一个标签,分别选择按照相似标签的置信度大小排序的相似标签序列中的前N个相似标签,作为视频的备选标注标签;N为预设的正整数。
本实施例中,第二筛选子单元的具体执行过程,可参见对应上述方法实施例内容,此处不再赘述。
可选的,在本申请的另一实施例中,上述视频标签的挖掘装置除了包括图4的单元之外,还可以包括:
判断单元,用于判断视频的每一个备选标注标签的置信度是否大于预设值。
计算单元,用于针对置信度大于预设值的备选标注标签,利用备选标注标签的置信度,计算备选标注标签的展示概率。
设置单元,用于针对置信度不大于预设值的备选标注标签,设置备选标注标签的展示概率为零;其中,备选标注标签的展示概率用于说明备选标注标签添加入视频的标注标签的概率。
本实施例中,判断单元、计算单元以及设置单元的具体执行过程,可参见图3对应的方法实施例内容,此处不再赘述。
还需要说明的是,获取单元、第一筛选单元以及第二筛选单元属于图1a中协同过滤模块101中的执行单元,判断单元、计算单元、设置单元属于图1a中后处理模块102中的执行单元。
本申请另一实施例还提供了一种电子设备,如图5所示,具体包括:
一个或多个处理器501。
存储装置502,其上存储有一个或多个程序。
当一个或多个程序被一个或多个处理器501执行时,使得一个或多个处理器501实现如上述实施例中任意一项方法。
本申请另一实施例还提供了计算机存储介质,其上存储有计算机程序,其中,计算机程序被处理器执行时实现如上述实施例中任意一项方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频标签的挖掘方法,其特征在于,包括:
获取视频当前被标注的标签;
针对所述视频当前被标注的每一个标签,分别筛选出所述标签的相似标签,并计算得到所述标签的相似标签的置信度;其中,所述标签的相似标签与所述标签的相似度高;所述标签的相似标签的置信度用于说明所述视频被所述标签的相似标签标注的概率;
利用所述视频当前被标注的每一个标签的相似标签的置信度,从所述视频当前被标注的每一个标签的相似标签中,筛选出所述置信度处于高优先级的相似标签,作为所述视频的备选标注标签。
2.根据权利要求1所述的方法,其特征在于,针对所述视频当前被标注的每一个标签,分别筛选出所述标签的相似标签,包括:
针对所述视频当前被标注的每一个标签,利用所述标签的视频集合与目标标签的视频集合,计算所述标签和所述目标标签之间的相似度;其中,所述标签的视频集合中包括被所述标签标注的视频;所述目标标签的视频集合中包括被所述目标标签标注的视频;所述目标标签属于视频集合与所述标签的视频集合相交不为空的标签;
针对所述视频当前被标注的每一个标签,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为所述标签的相似标签;K为预设的正整数。
3.根据权利要求1所述的方法,其特征在于,所述利用所述视频当前被标注的每一个标签的相似标签的置信度,从所述视频当前被标注的每一个标签的相似标签中,筛选出所述置信度处于高优先级的相似标签,作为所述视频的备选标注标签,包括:
针对所述视频当前被标注的每一个标签,分别选择按照相似标签的置信度大小排序的相似标签序列中的前N个相似标签,作为所述视频的备选标注标签;N为预设的正整数。
4.根据权利要求1所述的方法,其特征在于,还包括:
判断所述视频的每一个备选标注标签的置信度是否大于预设值;
针对置信度大于预设值的备选标注标签,利用备选标注标签的置信度,计算所述备选标注标签的展示概率;
针对置信度不大于预设值的备选标注标签,设置所述备选标注标签的展示概率为零;其中,所述备选标注标签的展示概率用于说明所述备选标注标签添加入所述视频的标注标签的概率。
5.一种视频标签的挖掘装置,其特征在于,包括:
获取单元,用于获取视频当前被标注的标签;
第一筛选单元,用于针对所述视频当前被标注的每一个标签,分别筛选出所述标签的相似标签,并计算得到所述标签的相似标签的置信度;其中,所述标签的相似标签与所述标签的相似度高;所述标签的相似标签的置信度用于说明所述视频被所述标签的相似标签标注的概率;
第二筛选单元,用于利用所述视频当前被标注的每一个标签的相似标签的置信度,从所述视频当前被标注的每一个标签的相似标签中,筛选出所述置信度处于高优先级的相似标签,作为所述视频的备选标注标签。
6.根据权利要求5所述的装置,其特征在于,所述第一筛选单元,包括:
计算子单元,用于针对所述视频当前被标注的每一个标签,利用所述标签的视频集合与目标标签的视频集合,计算所述标签和所述目标标签之间的相似度;其中,所述标签的视频集合中包括被所述标签标注的视频;所述目标标签的视频集合中包括被所述目标标签标注的视频;所述目标标签属于视频集合与所述标签的视频集合相交不为空的标签;
第一筛选子单元,用于针对所述视频当前被标注的每一个标签,选择按照相似度大小排序的目标标签序列中的前K个目标标签,作为所述标签的相似标签;K为预设的正整数。
7.根据权利要求5所述的装置,其特征在于,所述第二筛选单元,包括:
第二筛选子单元,用于针对所述视频当前被标注的每一个标签,分别选择按照相似标签的置信度大小排序的相似标签序列中的前N个相似标签,作为所述视频的备选标注标签;N为预设的正整数。
8.根据权利要求5所述的装置,其特征在于,还包括:
判断单元,用于判断所述视频的每一个备选标注标签的置信度是否大于预设值;
计算单元,用于针对置信度大于预设值的备选标注标签,利用备选标注标签的置信度,计算所述备选标注标签的展示概率;
设置单元,用于针对置信度不大于预设值的备选标注标签,设置所述备选标注标签的展示概率为零;其中,所述备选标注标签的展示概率用于说明所述备选标注标签添加入所述视频的标注标签的概率。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任意一项所述的方法。
10.一种计算机存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至4中任意一项所述的方法。
CN202110350031.XA 2021-03-31 2021-03-31 视频标签的挖掘方法、装置、电子设备及存储介质 Pending CN113704545A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110350031.XA CN113704545A (zh) 2021-03-31 2021-03-31 视频标签的挖掘方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110350031.XA CN113704545A (zh) 2021-03-31 2021-03-31 视频标签的挖掘方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113704545A true CN113704545A (zh) 2021-11-26

Family

ID=78647916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110350031.XA Pending CN113704545A (zh) 2021-03-31 2021-03-31 视频标签的挖掘方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113704545A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157882A (zh) * 2021-12-27 2022-03-08 未来电视有限公司 视频编目方法、装置、电子设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114157882A (zh) * 2021-12-27 2022-03-08 未来电视有限公司 视频编目方法、装置、电子设备及计算机可读存储介质
CN114157882B (zh) * 2021-12-27 2024-04-30 未来电视有限公司 视频编目方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Liu et al. Crowdsourcing construction activity analysis from jobsite video streams
US8903198B2 (en) Image ranking based on attribute correlation
CN111680219A (zh) 内容推荐方法、装置、设备及可读存储介质
KR20190117584A (ko) 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치
US10963700B2 (en) Character recognition
WO2011097041A2 (en) Recommending user image to social network groups
CN110569918B (zh) 一种样本分类的方法以及相关装置
CN113761105A (zh) 文本数据处理方法、装置、设备以及介质
CN111831924A (zh) 内容推荐方法、装置、设备及可读存储介质
CN111027622B (zh) 图片标签生成方法、装置、计算机设备及存储介质
JP6787831B2 (ja) 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
CN113657087A (zh) 信息的匹配方法及装置
CN114428881B (zh) 媒资视频的推送方法及装置、存储介质及电子设备
CN107426610B (zh) 视频信息同步方法及装置
Zhang et al. Online modeling of esthetic communities using deep perception graph analytics
CN113704545A (zh) 视频标签的挖掘方法、装置、电子设备及存储介质
CN113821676A (zh) 视频检索方法、装置、设备及存储介质
US10909167B1 (en) Systems and methods for organizing an image gallery
Stacchio et al. Toward a holistic approach to the socio-historical analysis of vernacular photos
CN115439770A (zh) 一种内容召回方法、装置、设备及存储介质
CN112699311A (zh) 信息推送方法、存储介质及电子设备
CN110147464B (zh) 视频推荐方法、装置、电子设备及可读存储介质
CN113395584A (zh) 一种视频数据处理方法、装置、设备以及介质
CN116958730A (zh) 图像识别模型的训练方法和装置、存储介质及电子设备
CN115114467B (zh) 图片神经网络模型的训练方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination