CN111222500B - 一种标签提取方法及装置 - Google Patents

一种标签提取方法及装置 Download PDF

Info

Publication number
CN111222500B
CN111222500B CN202010329789.0A CN202010329789A CN111222500B CN 111222500 B CN111222500 B CN 111222500B CN 202010329789 A CN202010329789 A CN 202010329789A CN 111222500 B CN111222500 B CN 111222500B
Authority
CN
China
Prior art keywords
target
video frame
video
title
target video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010329789.0A
Other languages
English (en)
Other versions
CN111222500A (zh
Inventor
刘树林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010329789.0A priority Critical patent/CN111222500B/zh
Publication of CN111222500A publication Critical patent/CN111222500A/zh
Application granted granted Critical
Publication of CN111222500B publication Critical patent/CN111222500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本申请涉及计算机技术领域，并涉及人工智能的计算机视觉、机器学习等技术，尤其涉及一种标签提取方法及装置，获取待提取视频和所述待提取视频的视频标题；提取所述视频标题的标题特征信息；提取所述待提取视频中的各个目标视频帧的图像特征信息，并分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧的标签；根据所述各个目标视频帧的标签，确定所述待提取视频的标签，这样，融合标题特征信息和图像特征信息进行标签提取，可以提高视频标签提取的准确性。

Description

一种标签提取方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种标签提取方法及装置。
背景技术
视频标签提取是指识别视频中描述的主要物体和内容，视频标签可应用于视频的分类、推荐及检索等任务中，相关技术中视频标签提取方法通常仅是依据单一信息来提取视频标签，但是单独使用一种信息受到影响较大，准确性较低，容易导致提取的标签错误。
发明内容
本申请实施例提供一种标签提取方法及装置，以提高视频标签提取的准确性。
本申请实施例提供的具体技术方案如下：
本申请一个实施例提供了一种标签提取方法，包括：
获取待提取视频和所述待提取视频的视频标题；
提取所述视频标题的标题特征信息；
提取所述待提取视频中的各个目标视频帧的图像特征信息，并分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧的标签；
根据所述各个目标视频帧的标签，确定所述待提取视频的标签。
本申请另一个实施例提供了一种标签提取装置，包括：
获取模块，用于获取待提取视频和所述待提取视频的视频标题；
提取模块，用于提取所述视频标题的标题特征信息；
处理模块，用于提取所述待提取视频中的各个目标视频帧的图像特征信息，并分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧的标签；
确定模块，用于根据所述各个目标视频帧的标签，确定所述待提取视频的标签。
可选的，提取所述视频标题的标题特征信息时，提取模块具体用于：
基于已训练的文本编码模型，以所述视频标题为输入，依次通过所述文本编码模型的卷积层和池化层，对所述视频标题进行卷积和压缩操作，获得所述视频标题的标题特征信息。
可选的，提取所述待提取视频中的各个目标视频帧的图像特征信息，并分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧的标签时，处理模块具体用于：
基于已训练的目标检测模型，提取所述待提取视频中的各个目标视频帧的图像特征信息，并分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧的标签，所述目标检测模型包括图像特征提取模块和目标检测模块，其中：
所述图像特征提取模块分别以所述各个目标视频帧为输入，对所述各个目标视频帧进行卷积操作，获得所述各个目标视频帧的图像特征信息；
所述目标检测模块以所述标题特征信息和所述各个目标视频帧的图像特征信息为输入，分别对所述各个目标视频帧进行目标检测，获得所述各个目标视频帧中检测到的目标所属的类别和类别置信度；并分别将所述各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签。
可选的，所述目标检测模块的网络结构至少包括三层分支结构，分别为第一分支结构、第二分支结构和第三分支结构，所述第一分支结构用于检测第一大小范围内的目标，所述第二分支结构用于检测第二大小范围内的目标，所述第三分支结构用于检测第三大小范围内的目标，所述第一大小范围表示大于第一阈值，第二大小范围表示第一阈值和第二阈值之间，第三大小范围表示小于第二阈值；
并所述第一分支结构以所述图像特征提取模块的最后一层卷积层输出的图像特征信息和所述标题特征信息为输入，所述第二分支结构以所述图像特征模块的第一中间层卷积层输出的图像特征信息、所述第一分支结构中对所述最后一层卷积层输出的图像特征信息进行全卷积特征提取后的输出和所述标题特征信息为输入，所述第三分支结构以所述图像特征模块的第二中间层卷积层输出的图像特征信息、所述第二分支结构中对所述第一中间层卷积层输出的图像特征信息进行全卷积特征提取后的输出和所述标题特征信息为输入，所述第一分支结构、所述第二分支结构和所述第三分支结构的输出均为检测到的目标所属的类别和类别置信度，以及目标的位置信息。
可选的，根据所述各个目标视频帧的标签，确定所述待提取视频的标签时，确定模块具体用于：
分别针对所述各个目标视频帧，统计所述各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，确定为所述待提取视频的候选标签集；
根据所述候选标签集，确定所述待提取视频的标签。
可选的，根据所述候选标签集，确定所述待提取视频的标签时，确定模块具体用于：
分别统计所述候选标签集中各标签出现的次数；
将出现的次数大于类别次数阈值的标签作为所述待提取视频的标签。
本申请另一个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种标签提取方法的步骤。
本申请另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种标签提取方法的步骤。
本申请实施例中，获取待提取视频和待提取视频的视频标题，提取视频标题的标题特征信息和各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签，进而可以根据各个目标视频帧的标签，确定待提取视频的标签，这样，根据标题特征信息和图像特征信息，对各个目标视频帧进行目标检测，提高目标检测的性能和可靠性，提高了各个目标视频帧的标签的准确性，从而提高了视频标签提取的准确性，因此融合标题特征信息和图像特征信息进行标签提取，相较于仅采用单一因素的方式，可以提高视频标签提取的准确性和可靠性。
附图说明
图1为本申请实施例中标签提取方法的应用架构示意图；
图2为本申请实施例中一种标签提取方法流程图；
图3为本申请实施例中另一种标签提取方法流程图；
图4为本申请实施例中标签提取方法技术实现原理流程图；
图5为本申请实施例中文本编码模型和目标检测模型的网络结构示意图；
图6为本申请实施例中标签视频方法中待提取视频的示意图；
图7为本申请实施例中标签提取装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为便于对本申请实施例的理解，下面先对几个概念进行简单介绍：
标签：本申请实施例中主要指视频的标签，通常可以表征视频内容的属性、类别、关键词等，视频标签可以用于视频的分类、推荐及检索等任务中。
视频标题：表示视频的标题内容，通常视频标题可以是用户自定义的，例如用户在上传一个视频时，可以同时给该视频定义一个标题并上传。
文本编码模型：是对文本进行编码和特征提取的一种模型，例如卷积神经网络（Convolutional Neural Networks，CNN）、长短期记忆（Long Short Term Memory，LSTM）网络、双向转换编码器（Bidirectional Encoder Representation from Transformers，BERT）等，本申请实施例中可以通过文本编码模型，计算视频标题的标题特征向量，即获得该视频标题的标题特征信息。
目标检测模型：表示对图像中目标进行检测的模型，可以获得目标的位置、类别等信息，例如Faster R-CNN、单脉冲多盒探测器Single Shot MultiBox Detector，SSD）和只看一次（You Only Look Once，YOLO）模型（YOLO是一种端到端的目标检测方法）等，本申请实施例中主要是使用YOLO模型，对YOLO模型进行了改进，融合了视频标题的信息，提升了模型的鲁棒性，提高了目标检测的性能，当然也可以使用其它目标检测模型，本申请实施例中并不进行限制，并且本申请实施例中目标检测模型包括图像特征提取模块和目标检测模块。
人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术（Computer Vision，CV）：计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别（Optical Character Recognition，OCR）、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维（3 Dimensions，3D）技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。例如，本申请实施例中主要涉及人工智能中的计算机视觉技术，可以通过计算机视觉技术中图像语义理解技术，提取目标视频帧的图像特征信息，并进行目标的检测与定位，例如本申请实施例中从待提取视频中获得各个目标视频帧后，可以分别对各个目标视频帧进行图像目标检测，提取图像特征信息，并融合图像特征信息和标题特征信息进行目标检测，确定各个目标视频帧中目标的类别等，从而获得各个目标视频帧的标签。
机器学习（Machine Learning，ML）：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。例如，本申请实施例中可以深度学习中人工神经网络技术，通过训练获得文本编码模型，例如CNN模型，从而可以基于已训练的文本编码模型，提取视频标题的标题特征信息。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案主要涉及人工智能的计算机视觉、机器学习等技术，具体通过如下实施例进行说明：
相关技术中视频标签提取方法依赖的因素单一，例如仅通过视频标题提取视频标签；或对视频的进行图像分类的方法对视频打标签；或对视频进行图像目标检测提取视频标签，但是相关技术中，基于视频标题提取视频标签受用户影响较大，当用户对视频类别体系了解不清晰或未正确填写视频标题时，抽取的视频标签错误率较高，会给视频的应用及推荐带来错误结果。对视频进行图像分类方法通常对细粒度类型分类准确率较低，容易受到环境的影响，导致识别准确率较低。对视频进行图像目标检测提取视频标签时同样会遇到环境影响较大的问题，降低了准确性，因此可知相关技术中单独使用一种信息受到影响较大，准确性较低，容易导致提取的标签错误。
因此针对上述问题，本申请实施例中提供了一种标签提取方法，提取视频标题的标题特征信息和待提取视频中各个目标视频帧的图像特征信息，从而根据标题特征信息和各个目标视频帧的图像特征信息，确定待提取视频的标签，这样，将标题特征信息和目标检测融合，提供了一种新的融合标题特征信息的显著性特征加权的目标检测方式，来实现对待提取视频的标签提取，在保持识别待提取视频中的视频内容的基础上，可以降低环境信息对目标识别的影响，对小目标物体的识别效果也较好，提升了目标检测的性能，从而提高了视频标签提取的准确性。
参阅图1所示，为本申请实施例中标签提取方法的应用架构示意图，包括服务器100、终端200。
终端200可以是智能手机、平板电脑、便携式个人计算机等任何智能设备，终端200上可以安装有各种应用程序，并且通过应用程序可以发送、接收或播放视频等，例如，本申请实施例中用户可以通过终端200输入某视频的检索词，进而服务器100可以根据视频的标签和该输入的检索词，进行查询匹配，确定对应的视频并返回给终端200，终端200可以接收服务器100返回的视频，并可以进行播放。又例如，服务器100可以获取终端200上视频的历史播放记录，通过对历史播放记录中各个视频的标签进行分析，从而为终端200推荐其它相似视频，终端200可以接收并显示服务器100推荐的视频。
终端200与服务器100之间可以通过互联网相连，实现相互之间的通信。可选地，上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网（Local Area Network，LAN）、城域网（ Metropolitan Area Network，MAN）、广域网（Wide Area Network，WAN）、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言（Hyper Text Mark-upLanguage，HTML）、可扩展标记语言（Extensible Markup Language，XML）等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层（Secure SocketLayer，SSL）、传输层安全（Transport Layer Security，TLS）、虚拟专用网络（VirtualPrivate Network，VPN）、网际协议安全（Internet Protocol Security，IPsec）等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
服务器100可以为终端200提供各种网络服务，其中，服务器100可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。
具体地，服务器100可以包括处理器110（Center Processing Unit ，CPU）、存储器120、输入设备130和输出设备140等，输入设备130可以包括键盘、鼠标、触摸屏等，输出设备140可以包括显示设备，如液晶显示器（Liquid Crystal Display， LCD）、阴极射线管（Cathode Ray Tube，CRT）等。
存储器120可以包括只读存储器（ROM）和随机存取存储器（RAM），并向处理器110提供存储器120中存储的程序指令和数据。在本申请实施例中，存储器120可以用于存储本申请实施例中标签提取方法的程序。
处理器110通过调用存储器120存储的程序指令，处理器110用于按照获得的程序指令执行本申请实施例中任一种标签提取方法的步骤。
需要说明的是，本申请实施例中，标签提取方法主要是由服务器100执行，例如，用户将视频和视频标题上传到服务器100，服务器100提取该视频标题的标题特征信息和视频中各个目标视频帧的图像特征信息，并根据标题特征信息和图像特征信息，确定视频的标签，进而可以基于视频的标签，对视频进行分类，或给终端用户推荐或检索返回对应视频，如图1所示的应用架构，是以应用于服务器100侧为例进行说明的，当然，本申请实施例中标签提取方法也可以由终端200执行，对此并不进行限制。
另外，本申请实施例中所涉及到的文本编码模型和目标检测模型，需要预先进行训练，其训练过程通常由服务器100侧执行，这是由于受到终端200的性能限制。
本申请实施例中的应用架构图是为了更加清楚地说明本申请实施例中的技术方案，并不构成对本申请实施例提供的技术方案的限制，当然，也并不仅限于视频业务应用，对于其它的应用架构和应用，本申请实施例提供的技术方案对于类似的问题，同样适用。
本申请各个实施例以应用于图1所示的应用架构图为例进行示意性说明。
基于上述实施例，参阅图2所示，为本申请实施例中标签提取方法流程图，该方法包括：
步骤200：获取待提取视频和待提取视频的视频标题。
其中，待提取视频的视频标题通常为一个，用于表征待提取视频的视频内容或表达的目的等，可以是用户自定义的，例如待提取视频的视频标题为：“快看这条狗会算数”。
步骤210：提取视频标题的标题特征信息。
执行步骤210时，具体包括：
基于已训练的文本编码模型，以视频标题为输入，依次通过文本编码模型的卷积层和池化层，对视频标题进行卷积和压缩操作，获得视频标题的标题特征信息。
也就是说，本申请实施例中通过模型训练，可以对视频标题进行编码特征提取，计算获得视频标题的表示向量，即获得标题特征信息，其中，文本编码模型可以为CNN模型，本申请实施例中并不进行限制。
其中，文本编码模型的网络结构至少包括卷积层和池化层，池化层可以采用最大池化类型，并且文本编码模型中可以只包括一个卷积层和一个池化层，当然也可以包括多个卷积层和池化层的组合，具体可以根据实际需求进行设置，本申请实施例中并不进行限制。
步骤220：提取待提取视频中的各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签。
执行步骤220也可以通过已训练的模型来实现，具体地：基于已训练的目标检测模型，提取待提取视频中的各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签。
本申请实施例中，对于目标检测模型可以分为两部分，目标检测模型包括图像特征提取模块和目标检测模块，分别用于图像特征提取和目标检测，下面具体对这两部分进行说明：
1）图像特征提取模块分别以各个目标视频帧为输入，对各个目标视频帧进行卷积操作，获得各个目标视频帧的图像特征信息。
其中，针对待提取视频的各个目标视频帧的确定方式，本申请实施例中提供了一种可能的实施方式，按照预设帧间隔，分别从待提取视频中选取出各个目标视频帧，当然也可以采用随机或按照预设帧间隔提取指定数量的目标视频帧等其它方式，本申请实施例中并不进行限制。
这样，通过待提取视频中一定数量的目标视频帧进行标签提取，各个目标视频帧可以一定程度上表征待提取视频的内容，并且无需针对所有视频帧进行标签提取，可以减少计算量，提高效率。
其中，图像特征提取模块的网络结构至少包括多层卷积层，主要是用于对图像进行图像特征提取。
例如，本申请实施例中目标检测模型使用改进的YOLO模型，则图像特征提取模块可以为Darknet-53，Darknet-53是YOLO V3模型自带的图像特征提取模块，共53个卷积操作，通过一系列卷积操作可以计算获得目标视频帧的图像表示向量，即图像特征信息。
2）目标检测模块以标题特征信息和各个目标视频帧的图像特征信息为输入，分别对各个目标视频帧进行目标检测，获得各个目标视频帧中检测到的目标所属的类别和类别置信度；并分别将各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签。
本申请实施例中，目标检测模块中融合了标题特征信息和图像特征信息，来实现目标检测，可以提高准确性，例如本申请实施例中目标检测模型使用改进的YOLO模型，则目标检测模块为改进的目标检测模块，融合了标题特征信息，本申请实施例中可以称目标检测模块为MD YOLO模块。
具体地，目标检测模块的网络结构至少包括三层分支结构，分别为第一分支结构、第二分支结构和第三分支结构，第一分支结构用于检测第一大小范围内的目标，第二分支结构用于检测第二大小范围内的目标，第三分支结构用于检测第三大小范围内的目标，第一大小范围表示大于第一阈值，第二大小范围表示第一阈值和第二阈值之间，第三大小范围表示小于第二阈值。
即本申请实施例中目标检测模型输出有三个分支，分别可以用于预测不同大小的物体，并融合了标题特征信息，可以提高对小目标的识别准确度和召回，提高在复杂环境下的目标识别能力。
本申请实施例中对上述三个分支结构的输入输出进行说明：
第一分支结构以图像特征提取模块的最后一层卷积层输出的图像特征信息和标题特征信息为输入。
第二分支结构以图像特征模块的第一中间层卷积层输出的图像特征信息、第一分支结构中对最后一层卷积层输出的图像特征信息进行全卷积特征提取后的输出和标题特征信息为输入。
第三分支结构以图像特征模块的第二中间层卷积层输出的图像特征信息、第二分支结构中对第一中间层卷积层输出的图像特征信息进行全卷积特征提取后的输出和标题特征信息为输入。其中，第二中间层小于第一中间层。
第一分支结构、第二分支结构和第三分支结构的输出均为检测到的目标所属的类别和类别置信度，以及目标的位置信息。
也就是说，本申请实施例中，不同分支结构中输入的图像特征信息是不同的，并且第二分支结构和第三分支结构也会依赖上层分支结构的中间部分输出，对于图像提取模块的多层卷积层，越往后卷积层的输出越小，丢的信息越多，可能对于小目标的信息可能被丢弃了，因此第二分支结构、第三分支结构基于图像提取模块中间层卷积层的输出作为输入，可以用于检测较小目标。
并且，在MD YOLO的三个分支结构中，每个分支结构的输出都包括两个输出，分别为目标的位置信息，以及目标所属的类别和类别置信度。
步骤230：根据各个目标视频帧的标签，确定待提取视频的标签。
执行步骤230时，具体包括：
S1、分别针对各个目标视频帧，统计各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，确定为待提取视频的候选标签集。
其中，置信度阈值为超参数，可以根据实际情况和经验进行设置，本申请实施例中并不进行限制。
本申请实施例中一个目标视频帧中可能会检测出多个目标并确定出多个类别，即 多个标签，在进行候选标签集确定时，针对所有目标视频帧的所有类别进行统计，例如，置 信度阈值
Figure 491680DEST_PATH_IMAGE001
设置为0.3，针对各个目标视频帧的检测结果，当某类别置信度大 于0.6时，将该类别即标签添加到候选标签集中，从而得到待提取视频的候选标签集。
S2、根据候选标签集，确定待提取视频的标签。
具体地针对S2提供了一种可能的实施方式：
S2.1、分别统计候选标签集中各标签出现的次数。
S2.2、将出现的次数大于类别次数阈值的标签作为待提取视频的标签。
其中，类别次数阈值为超参数，也可以根据实际情况和经验进行设置，本申请实施例中并不进行限制。
例如，类别次数阈值为
Figure 110618DEST_PATH_IMAGE002
设置为3，将候选标签集中出现次数大于 3的标签作为待提取视频的标签，待提取视频的标签可以为一个或多个。
进一步地，确定出待提取视频的标签后，本申请实施例中提供了几种可能的应用场景：1）本申请实施例中可以将标签信息与用户的兴趣画像进行匹配，从而可以向用户推荐其感兴趣的相关视频；2）基于标签对视频进行分类；3）应用于检索任务，根据用户的检索词和视频的标签，向用户返回其检索所需的相关视频，当然，也可以基于标签应用于其它不同场景中，本申请实施例中并不进行限制。
本申请实施例中，获取待提取视频和待提取视频的视频标题，并提取视频标题的标题特征信息；提取待提取视频中的各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签，进而可以根据各个目标视频帧的标签，确定待提取视频的标签，这样，融合待提取视频的标题特征信息和图像特征信息，对每个目标视频帧进行目标检测，确定每个目标视频帧的标签，进而获得待提取视频的标签，相较于相关技术中仅使用单一的因素，可以显著提高视频标签提取的准确性。
基于上述实施例，下面采用具体应用场景进行说明，以视频标签应用于视频推荐任务为例，参阅图3所示，为本申请实施例中另一种标签提取方法流程图。
步骤300：获取待提取视频的视频标题。
步骤301：获取待提取视频的各个目标视频帧。
其中，可以通过等帧间隔选取指定数量的目标视频帧。
步骤302：基于文本编码模型，提取视频标题的标题特征信息。
步骤303：基于目标检测模型中图像特征提取模块，提取各个目标视频帧的图像特征信息。
步骤304：基于目标检测模型中目标检测模块，获得各个目标视频帧的标签。
具体地，根据各个目标视频帧的图像特征信息和标题特征信息，分别对各个目标视频帧进行目标检测，获得各个目标视频帧中检测到的目标所属的类别和类别置信度，并分别将各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签。
步骤305：确定待提取视频的候选标签集。
具体地，对各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，添加到候选标签集中，进而获得待提取视频的候选标签集。
步骤306：对候选标签集中各标签进行筛选。
步骤307：获得待提取视频的标签。
具体地，根据标签出现的次数进行筛选，将出现的次数大于类别次数阈值的标签作为待提取视频的标签。
步骤308：获取用户画像信息。
步骤309：视频推荐系统根据视频的标签和用户画像信息进行匹配。
步骤310：向用户推荐相关视频。
这样，本申请实施例中输入待提取视频和视频标题，对视频标题进行编码，提取标题特征信息，并提取目标视频帧的图像特征信息，融合标题特征信息，对目标视频帧进行目标检测，确定各个目标视频帧的标签，进而将各个目标视频帧的标签进行统计筛选，获得待提取视频的标签，这样，融合视频标题信息和图像信息，可以进一步提高标签提取准确性和可靠性，例如，本申请实施例中标签提取方法集成在视频标签提取服务中，视频标签提取服务接收到标签提取请求后，基于本申请实施例中的标签提取方法，可以最终返回视频的标签信息，进而基于获得的标签，将视频的标签和用户画像信息进行匹配，对用户推荐相关视频，可以实现在用户感兴趣的方面推荐相关视频，由于标签更加准确，因此也可以提高视频推荐的准确性和召回率，提升用户体验。
基于上述实施例，下面以文本编码模型为CNN模型，目标检测模型为改进的YOLO模型，其中，图像特征提取模块为Darknet-53，目标检测模块为MD YOLO为例，对本申请实施例中标签提取方法的具体技术实现进行简单说明，参阅图4所示，为本申请实施例中标签提取方法技术实现原理流程图。
步骤400：提取视频标题的标题特征信息。
例如，基于CNN模型对视频标题进行编码提取，获得标题特征信息。
步骤401：提取各个目标视频帧的图像特征信息。
例如，目标视频帧包括目标视频帧1、目标视频帧2、…目标视频帧k，基于Darknet-53分别对目标视频帧1、目标视频帧2、…目标视频帧k进行图像特征提取，获得各个目标视频帧的图像特征信息。
步骤402：分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测。
例如，分别针对目标视频帧1、目标视频帧2、…目标视频帧k，将Darknet-53输出的图像特征信息和CNN模型输出的标题特征信息，输入到MD YOLO模块，进行目标检测。
步骤403：获得各个目标视频帧的标签。
具体地，通过MD YOLO模块可以获得目标所属的类别和类别置信度，以及目标的位置信息，可以将检测到的目标所属的类别，作为目标视频帧的标签。
例如，分别针对各个目标视频帧，获得各个目标视频帧的标签，分别为标签1，标签2、…标签k，其中，每个目标视频帧对应的标签可以为一个或多个。
步骤404：对各个目标视频帧的标签进行筛选。
具体地，分别针对各个目标视频帧，统计各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，确定为待提取视频的候选标签集；并分别统计候选标签集中各标签出现的次数，将出现的次数大于类别次数阈值的标签作为待提取视频的标签。
步骤405：获得待提取视频的标签。
例如，对标签1，标签2、…标签k进行筛选，从而确定出待提取视频的标签。
这样，本申请实施例中根据标题特征信息和图像特征信息，来确定待提取视频的标签，考虑的因素更多，减少单一因素下环境的影响，提高了准确性和可靠性。
基于上述实施例，下面对本申请实施例中的文本编码模型和目标检测模型的训练过程进行简单说明。
1）文本编码模型。
文本编码模型主要是基于深度学习，获取训练文本样本集，根据训练文本样本集，迭代训练获得文本编码模型，本申请实施例中以文本编码模型为CNN模型为例，具体模型训练过程可以基于相关技术中CNN模型训练方式，本申请实施例中并不进行限制。
2）目标检测模型。
本申请实施例中目标检测模型具体训练方法为：获取训练图像样本集，其中，训练图像样本集包括有目标类别和位置标注的图像样本；分别提取训练图像样本集中图像样本的图像特征信息，并根据图像特征信息和标题特征信息对图像样本进行目标检测，确定图像样本中目标的位置信息，以及目标所属的类别和类别置信度，并根据目标检测结果，训练目标检测模型，直至目标检测模型的损失函数收敛，获得已训练的目标检测模型。
其中，目标检测模型的损失函数由三部分组成，包括类别置信度损失、目标框位置损失以及目标类别损失，其中目标的位置信息以目标框位置来表征，具体地：
目标检测模型的损失函数为：
Figure 421514DEST_PATH_IMAGE003
其中，
Figure 957669DEST_PATH_IMAGE004
为目标框位置损失函数，
Figure 303199DEST_PATH_IMAGE005
为类别置信度损失函数，
Figure 328924DEST_PATH_IMAGE006
为目标类别损失函数。
Figure 2482DEST_PATH_IMAGE008
Figure 732541DEST_PATH_IMAGE010
Figure 40900DEST_PATH_IMAGE011
Figure 565422DEST_PATH_IMAGE012
其中，
Figure 523014DEST_PATH_IMAGE013
中分两部分，前半部分为预测的目标框中心坐标的损失，后半部 分为目标框的宽高的损失，λ是一个给定的常数，该函数计算了每一个网格单元（i=0，...，
Figure 400971DEST_PATH_IMAGE014
的每个边界框预测值（j=0，...，B）的总和，
Figure 455515DEST_PATH_IMAGE015
表示判断第i个网格中的第j个box中 是否存在目标，具体定义为：1，如果网格单元i中存在目标，则第j个边界框预测值对该预测 有效；0，如果网格单元i中不存在目标，x，y为从训练样本集中得到的实际目标框中心点坐 标，
Figure 88621DEST_PATH_IMAGE016
Figure 235307DEST_PATH_IMAGE017
，w，h为实际目标框的宽和高，
Figure DEST_PATH_IMAGE018
为预测的目标 框的宽和高，
Figure 448113DEST_PATH_IMAGE019
中加号前后也分为两部分，前半部分表示存在目标的box的置信度 预测，后半部分表示不含目标的box的置信度预测，S表示图像被划分为S*S的网格，分别对 每个网格进行预测，C为置信度得分，
Figure DEST_PATH_IMAGE020
为预测目标框与实际目标框的交叉部分，p(c)表示 目标是类别c的概率。
这样，在训练目标检测模型时，融合了图像特征信息和标题特征信息，而不是仅基于单一的图像特征信息进行训练，可以提升目标检测模型的性能，提高目标检测模型的鲁棒性，进而提高标签提取的准确性。
基于上述实施例中，下面对本申请实施例中的文本编码模型和目标检测模型的网络结构进行简单说明，以文本编码模型为CNN模型，目标检测模型为改进的YOLO模型，其中，图像特征提取模块为Darknet-53，目标检测模块为MD YOLO为例，参阅图5所示，为本申请实施例中文本编码模型和目标检测模型的网络结构示意图。
1）如图5所示，CNN模型的网络结构包括一个卷积层（convolutional layer）（图5中卷积层简称为Conv）和一个最大池化层（max-pooling），其中，卷积层的卷积核可以设置为3x200，CNN模型的输入为视频标题，依次通过卷积层和池化层，输出为标题特征信息。
2）如图5所示，目标检测模型包括Darknet-53和MD YOLO。
第一部分：Darknet-53包括53层卷积层，由一系列的1x1和3x3的卷积层组成，图5中各个卷积层又划分为了多个残差块（Res Block），由于网络结构中有53个卷积层，因此称为Darknet-53（即图5中2 + 1*2 + 1 + 2*2 + 1 + 8*2 + 1 + 8*2 + 1 + 4*2 + 1 = 53按照顺序数，不包括残差层（Residual）中的卷积层，最后的Connected是全连接层也算卷积层，一共53个）。
Darknet-53的输入为目标视频帧，目标视频帧的图像大小可以为416*416*3，通过各个卷积层的卷积操作，不断进行特征提取，图像特征信息的大小越小。
第二部分：如图5所示，MD YOLO输出有三个分支，分别用于预测不同大小的目标，第一分支结构用于检测第一大小范围内的目标，第二分支结构用于检测第二大小范围内的目标，第三分支结构用于检测第三大小范围内的目标，第一大小范围表示大于第一阈值，第二大小范围表示第一阈值和第二阈值之间，第三大小范围表示小于第二阈值，即第一分支结构用来预测大目标，第三分支结构用来预测小目标，第二分支结构用来预测介意两者之间的目标，每个分支结构有两个输出，其中boxes表示预测的目标边框（即目标的位置信息），classes表示预测目标的类别以及类别置信度。
具体地，如图5所示可知，第一分支结构的输入为图像特征提取模块的最后一层卷积层输出的图像特征信息和标题特征信息，即第一分支结构连接Darknet-53的最后一层卷积层，基于最后一层卷积层的输出，通过卷积特征提取器（Convolutional Set）、3x3conv和1x1conv，获得预测的目标边框，3x3conv卷积后的输出和标题特征信息进行特征连接（Concatenate），并通过1x1conv，获得预测的目标的类别和类别置信度，即获得第一检测结果（Result1）。
同理，第二分支结构的输入为图像特征模块的第一中间层卷积层输出的图像特征信息、第一分支结构中对最后一层卷积层输出的图像特征信息进行全卷积特征提取后的输出和标题特征信息，如图5所示，第一中间层为Darknet-53的倒数第一个8 x块的最后一个卷积层，即43层，即第二分支结构连接Darknet-53的43层卷积层，第一分支结构的Convolutional Set的输出，经由1x1conv和上采样（Up Sampling）后的特征向量，与43层卷积层的输出进行连接（Concatenate），连接后的特征通过Convolutional Set、3x3conv和1x1conv，获得预测的目标边框，3x3conv卷积后的输出和标题特征信息进行特征连接，并通过1x1conv，获得预测的目标的类别和类别置信度，即获得第二检测结果（Result2）。
同理，第三分支结构的输入为图像特征模块的第二中间层卷积层输出的图像特征信息、第二分支结构中对第一中间层卷积层输出的图像特征信息进行全卷积特征提取后的输出和标题特征信息，如图5所示，第二中间层为Darknet-53的倒数第二个8 x块的最后一个卷积层，即26层，即第三分支结构连接Darknet-53的26层卷积层，第二分支结构的Convolutional Set的输出，经由1x1conv和上采样（Up Sampling）后的特征向量，与26层卷积层的输出进行连接（Concatenate），连接后的特征通过Convolutional Set、3x3conv和1x1conv，获得预测的目标边框，3x3conv卷积后的输出和标题特征信息进行特征连接，并通过1x1conv，获得预测的目标的类别和类别置信度，即获得第三检测结果（Result3）。
另外，本申请实施例中第一分支结构、第二分支结构和第三分支结构连接的Darknet-53的层数，并不进行限制，也可以选择其它层数，只需要满足三个分支连接的层数是不同且从小到大的即可。
其中，对于Convolutional Set的网络结构至少包括多个卷积层，如图5所示，包括1x1conv、3x3conv、1x1conv、3x3conv、1x1conv共4层卷积层。
并且，如图5可知，在MD Yolo的每个分支中，预测目标边框时（boxes），只使用了图像特征信息，预测目标的类别以及类别置信度时（classes），在图像特征信息的基础上，拼接了视频标题的标题特征信息。
基于上述实施例，下面采用具体应用场景，从产品实现侧对本申请实施例中标签方法进行说明，如图6所示，为本申请实施例中标签视频方法中待提取视频的示意图。
如图6所示，为某待提取视频的其中一个目标视频帧，该待提取视频的视频标题为：“男子担心哈士奇拆家，于是给它绑了铁链，网友：这方法好！”，通过实验测试，仅通过图像特征信息进行标签提取结果为：阿拉斯加犬，但是实际中待提取视频的是哈士奇，并不是阿拉斯加犬，可知仅通过图像特征信息提取的标签错误，准确性较低。
而基于本申请实施例中的标签提取方法，融合视频标题和图像特征信息，通过测试最终提取的标签结果为：哈士奇，可知通过本申请实施例中的标签提取方法，获得的标签结果是正确的，因此，通过融合视频标题和图像特征信息，能够显著提升标签提取的准确性。
并且，本申请实施例中的标签提取方法，可以应用于各种视频应用程序（Application，APP）、浏览器、小视频APP、新闻APP等产品，本申请实施例中并不进行限制，可以根据标签提取结果，进行视频推荐、检索、分类等任务中。
基于同一发明构思，本申请实施例中还提供了一种标签提取装置，该标签提取装置例如可以是前述实施例中的服务器或终端，该标签提取装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图7所示，本申请实施例中标签提取装置，具体包括：
获取模块70，用于获取待提取视频和待提取视频的视频标题；
提取模块71，用于提取视频标题的标题特征信息；
处理模块72，用于提取待提取视频中的各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签；
确定模块73，用于根据各个目标视频帧的标签，确定待提取视频的标签。
可选的，提取视频标题的标题特征信息时，提取模块71具体用于：基于已训练的文本编码模型，以视频标题为输入，依次通过文本编码模型的卷积层和池化层，对视频标题进行卷积和压缩操作，获得视频标题的标题特征信息。
可选的，提取待提取视频中的各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签时，处理模块72具体用于：
基于已训练的目标检测模型，提取待提取视频中的各个目标视频帧的图像特征信息，并分别对各个目标视频帧，根据目标视频帧的图像特征信息和标题特征信息进行目标检测，获得各个目标视频帧的标签，目标检测模型包括图像特征提取模块和目标检测模块，其中：
图像特征提取模块分别以各个目标视频帧为输入，对各个目标视频帧进行卷积操作，获得各个目标视频帧的图像特征信息；
目标检测模块以标题特征信息和各个目标视频帧的图像特征信息为输入，分别对各个目标视频帧进行目标检测，获得各个目标视频帧中检测到的目标所属的类别和类别置信度；并分别将各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签。
可选的，目标检测模块的网络结构至少包括三层分支结构，分别为第一分支结构、第二分支结构和第三分支结构，第一分支结构用于检测第一大小范围内的目标，第二分支结构用于检测第二大小范围内的目标，第三分支结构用于检测第三大小范围内的目标，第一大小范围表示大于第一阈值，第二大小范围表示第一阈值和第二阈值之间，第三大小范围表示小于第二阈值；
并第一分支结构以图像特征提取模块的最后一层卷积层输出的图像特征信息和标题特征信息为输入，第二分支结构以图像特征模块的第一中间层卷积层输出的图像特征信息、第一分支结构中对最后一层卷积层输出的图像特征信息进行全卷积特征提取后的输出和标题特征信息为输入，第三分支结构以图像特征模块的第二中间层卷积层输出的图像特征信息、第二分支结构中对第一中间层卷积层输出的图像特征信息进行全卷积特征提取后的输出和标题特征信息为输入，第一分支结构、第二分支结构和第三分支结构的输出均为检测到的目标所属的类别和类别置信度，以及目标的位置信息。
可选的，根据各个目标视频帧的标签，确定待提取视频的标签时，确定模块73具体用于：
分别针对各个目标视频帧，统计各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，确定为待提取视频的候选标签集；
根据候选标签集，确定待提取视频的标签。
可选的，根据候选标签集，确定待提取视频的标签时，确定模块73具体用于：
分别统计候选标签集中各标签出现的次数；
将出现的次数大于类别次数阈值的标签作为待提取视频的标签。
基于上述实施例，本申请实施例中还提供了另一示例性实施方式的电子设备，在一些可能的实施方式中，本申请实施例中电子设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时可以实现上述实施例中标签提取方法的步骤。
例如，以电子设备为本申请图1中的服务器100为例进行说明，则该电子设备中的处理器即为服务器100中的处理器110，该电子设备中的存储器即为服务器100中的存储器120。
基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的标签提取方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种标签提取方法，其特征在于，包括：
获取待提取视频和所述待提取视频的视频标题；
提取所述视频标题的标题特征信息；
基于已训练的目标检测模型的图像特征提取模块提取所述待提取视频中的各个目标视频帧的图像特征信息，并基于所述目标检测模型的目标检测模块分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧中检测到的目标所属的类别和类别置信度，并分别将所述各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签；
分别针对所述各个目标视频帧，统计所述各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，确定为所述待提取视频的候选标签集；根据所述候选标签集，确定所述待提取视频的标签；
其中，所述目标检测模块的网络结构至少包括三层分支结构，分别为第一分支结构、第二分支结构和第三分支结构，所述第一分支结构用于检测第一大小范围内的目标，所述第二分支结构用于检测第二大小范围内的目标，所述第三分支结构用于检测第三大小范围内的目标，所述第一大小范围表示大于第一阈值，第二大小范围表示第一阈值和第二阈值之间，第三大小范围表示小于第二阈值。
2.如权利要求1所述的方法，其特征在于，提取所述视频标题的标题特征信息，具体包括：
基于已训练的文本编码模型，以所述视频标题为输入，依次通过所述文本编码模型的卷积层和池化层，对所述视频标题进行卷积和压缩操作，获得所述视频标题的标题特征信息。
3.如权利要求1所述的方法，其特征在于，所述图像特征提取模块分别以所述各个目标视频帧为输入，对所述各个目标视频帧进行卷积操作，获得所述各个目标视频帧的图像特征信息；
所述目标检测模块以所述标题特征信息和所述各个目标视频帧的图像特征信息为输入，分别对所述各个目标视频帧进行目标检测，获得所述各个目标视频帧中检测到的目标所属的类别和类别置信度；并分别将所述各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签。
4.如权利要求1所述的方法，其特征在于，所述第一分支结构以所述图像特征提取模块的最后一层卷积层输出的图像特征信息和所述标题特征信息为输入，所述第二分支结构以所述图像特征提取模块的第一中间层卷积层输出的图像特征信息、所述第一分支结构中对所述最后一层卷积层输出的图像特征信息进行全卷积特征提取后的输出和所述标题特征信息为输入，所述第三分支结构以所述图像特征提取模块的第二中间层卷积层输出的图像特征信息、所述第二分支结构中对所述第一中间层卷积层输出的图像特征信息进行全卷积特征提取后的输出和所述标题特征信息为输入，所述第一分支结构、所述第二分支结构和所述第三分支结构的输出均为检测到的目标所属的类别和类别置信度，以及目标的位置信息。
5.如权利要求1-4任一项所述的方法，其特征在于，根据所述候选标签集，确定所述待提取视频的标签，具体包括：
分别统计所述候选标签集中各标签出现的次数；
将出现的次数大于类别次数阈值的标签作为所述待提取视频的标签。
6.一种标签提取装置，其特征在于，包括：
获取模块，用于获取待提取视频和所述待提取视频的视频标题；
提取模块，用于提取所述视频标题的标题特征信息；
处理模块，用于基于已训练的目标检测模型的图像特征提取模块提取所述待提取视频中的各个目标视频帧的图像特征信息，并基于所述目标检测模型的目标检测模块分别对所述各个目标视频帧，根据目标视频帧的图像特征信息和所述标题特征信息进行目标检测，获得所述各个目标视频帧中检测到的目标所属的类别和类别置信度，并分别将所述各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签；
确定模块，用于分别针对所述各个目标视频帧，统计所述各个目标视频帧中所有目标的类别置信度大于置信度阈值对应的标签，确定为所述待提取视频的候选标签集；根据所述候选标签集，确定所述待提取视频的标签；
其中，所述目标检测模块的网络结构至少包括三层分支结构，分别为第一分支结构、第二分支结构和第三分支结构，所述第一分支结构用于检测第一大小范围内的目标，所述第二分支结构用于检测第二大小范围内的目标，所述第三分支结构用于检测第三大小范围内的目标，所述第一大小范围表示大于第一阈值，第二大小范围表示第一阈值和第二阈值之间，第三大小范围表示小于第二阈值。
7.如权利要求6所述的装置，其特征在于，所述图像特征提取模块分别以所述各个目标视频帧为输入，对所述各个目标视频帧进行卷积操作，获得所述各个目标视频帧的图像特征信息；
所述目标检测模块以所述标题特征信息和所述各个目标视频帧的图像特征信息为输入，分别对所述各个目标视频帧进行目标检测，获得所述各个目标视频帧中检测到的目标所属的类别和类别置信度；并分别将所述各个目标视频帧中检测到的目标所属的类别，作为对应目标视频帧的标签。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。
CN202010329789.0A 2020-04-24 2020-04-24 一种标签提取方法及装置 Active CN111222500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329789.0A CN111222500B (zh) 2020-04-24 2020-04-24 一种标签提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329789.0A CN111222500B (zh) 2020-04-24 2020-04-24 一种标签提取方法及装置

Publications (2)

Publication Number Publication Date
CN111222500A CN111222500A (zh) 2020-06-02
CN111222500B true CN111222500B (zh) 2020-08-04

Family

ID=70827276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329789.0A Active CN111222500B (zh) 2020-04-24 2020-04-24 一种标签提取方法及装置

Country Status (1)

Country Link
CN (1) CN111222500B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112527981B (zh) * 2020-11-20 2022-11-11 清华大学 开放式信息抽取方法、装置、电子设备及存储介质
CN112418088B (zh) * 2020-11-23 2022-04-29 华中师范大学 一种基于众智的视频学习资源提取及知识标注方法及系统
CN112261491B (zh) * 2020-12-22 2021-04-16 北京达佳互联信息技术有限公司 视频时序标注方法、装置、电子设备及存储介质
CN112804567B (zh) * 2021-01-04 2023-04-21 青岛聚看云科技有限公司 一种显示设备、服务器及视频推荐的方法
CN112989114B (zh) * 2021-02-04 2023-08-29 有米科技股份有限公司 应用于视频筛选的视频信息生成方法及装置
CN113709529B (zh) * 2021-04-13 2023-07-14 腾讯科技（深圳）有限公司 视频合成方法、装置、电子设备及计算机可读介质
CN113836992B (zh) * 2021-06-15 2023-07-25 腾讯科技（深圳）有限公司 识别标签的方法、训练标签识别模型的方法、装置及设备
CN113987267A (zh) * 2021-10-28 2022-01-28 上海数禾信息科技有限公司 视频文件的标签生成方法、装置、计算机设备和存储介质
CN114238744A (zh) * 2021-12-21 2022-03-25 支付宝(杭州)信息技术有限公司 数据处理方法、装置及设备
CN114390366B (zh) * 2022-01-19 2024-02-06 北京百度网讯科技有限公司 视频处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710916A (zh) * 2018-11-02 2019-05-03 武汉斗鱼网络科技有限公司 一种标签提取方法、装置、电子设备及存储介质
CN110781347A (zh) * 2019-10-23 2020-02-11 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备以及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100437582C (zh) * 2006-10-17 2008-11-26 浙江大学 图像内容语义标注方法
CN110069625B (zh) * 2017-09-22 2022-09-23 腾讯科技（深圳）有限公司 一种内容分类方法、装置及服务器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710916A (zh) * 2018-11-02 2019-05-03 武汉斗鱼网络科技有限公司 一种标签提取方法、装置、电子设备及存储介质
CN110781347A (zh) * 2019-10-23 2020-02-11 腾讯科技（深圳）有限公司 一种视频处理方法、装置、设备以及可读存储介质

Also Published As

Publication number Publication date
CN111222500A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN111222500B (zh) 一种标签提取方法及装置
US11379696B2 (en) Pedestrian re-identification method, computer device and readable medium
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
US9373040B2 (en) Image matching using motion manifolds
US10963700B2 (en) Character recognition
CN110796204B (zh) 视频标签确定方法、装置和服务器
Rashmi et al. Surveillance video analysis for student action recognition and localization inside computer laboratories of a smart campus
CN110941978B (zh) 一种未识别身份人员的人脸聚类方法、装置及存储介质
CN111626126A (zh) 一种人脸情绪识别的方法、装置、介质及电子设备
CN111078940B (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN111914676A (zh) 人体摔倒检测方法、装置、电子设备和存储介质
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
CN111709382A (zh) 人体轨迹处理方法、装置、计算机存储介质以及电子设备
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN111428724B (zh) 一种试卷手写统分方法、装置及存储介质
CN114870384A (zh) 一种基于动态识别的太极拳训练方法及系统
CN113869367A (zh) 模型能力检测方法、装置、电子设备和计算机可读介质
CN113761282A (zh) 视频查重方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024092

Country of ref document: HK