CN110796204A - 视频标签确定方法、装置和服务器 - Google Patents

视频标签确定方法、装置和服务器 Download PDF

Info

Publication number
CN110796204A
CN110796204A CN201911060593.XA CN201911060593A CN110796204A CN 110796204 A CN110796204 A CN 110796204A CN 201911060593 A CN201911060593 A CN 201911060593A CN 110796204 A CN110796204 A CN 110796204A
Authority
CN
China
Prior art keywords
target
video
video frame
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911060593.XA
Other languages
English (en)
Other versions
CN110796204B (zh
Inventor
周鑫鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911060593.XA priority Critical patent/CN110796204B/zh
Publication of CN110796204A publication Critical patent/CN110796204A/zh
Application granted granted Critical
Publication of CN110796204B publication Critical patent/CN110796204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种视频标签确定方法、装置和服务器，属于计算机视觉技术领域。包括：确定目标视频帧的背景像素点集合；根据背景像素点集合，确定目标视频帧的多个第一像素点的显著性特征值；根据多个显著性特征值，确定目标视频帧的显著性特征对应的第一特征图；将第一特征图和第二特征图进行融合，得到目标视频帧对应的目标特征图；根据目标特征图，根据对目标视频帧进行目标检测，确定视频文件的至少一个视频标签。通过计算机视觉技术，对融合目标视频帧的显著性特征图和视频帧对应的特征图进行目标检测，从而实现了通过视频文件的内容确定视频标签，避免了用户主观因素对视频文件的视频标签的影响，从而提高了确定视频文件的视频标签的准确度。

Description

视频标签确定方法、装置和服务器
技术领域
本公开涉及计算机视觉技术领域，特别涉及一种视频标签确定方法、装置和服务器。
背景技术
用户可以在短视频应用程序中查看其他用户上传的视频文件，从而了解相关信息。而为了方便用户查看，短视频应用程序对应的服务器一般会对其他用户上传的视频文件标注视频标签，这样用户就可以通过视频标签选择自己感兴趣的视频文件进行观看。
相关技术中，其他用户在上传视频文件时，一般会同时上传与该视频文件对应的标题信息。相应的，服务器接收到其他用户上传的视频文件后，获取该视频文件的标题信息，通过人工智能的自然语言处理技术，对该视频文件的标题信息进行解析，确定该视频文件对应的视频标签。
上述相关技术中，由于视频文件对应的标题信息一般为用户主观编辑的，因此，受用户主观因素的影响较大，当用户对视频类别体系了解不清楚或未正确填写视频文件的标题信息时，服务器根据该标题信息确定视频文件的视频标签的准确度较差。
发明内容
本公开实施例提供了一种视频标签确定方法、装置和服务器，用于解决当用户对视频类别体系了解不清楚或未正确填写视频文件的标题信息时，服务器根据该标题信息确定视频文件的视频标签的准确度较差的问题。所述技术方案如下：
一方面，提供了一种视频标签确定方法，所述方法包括：
对于待标注视频标签的视频文件的任一目标视频帧，确定所述目标视频帧的背景像素点集合；
根据所述背景像素点集合，确定所述目标视频帧的多个第一像素点的显著性特征值；
根据所述多个第一像素点的显著性特征值，确定所述目标视频帧的显著性特征对应的第一特征图；
确定所述目标视频帧的图像特征对应的第二特征图，将所述第一特征图和所述第二特征图进行融合，得到所述目标视频帧对应的目标特征图；
根据所述目标特征图，对所述目标视频帧进行目标检测，得到所述目标视频帧的图像类别；
根据所述视频文件的多个目标视频帧的图像类别，确定所述视频文件的至少一个视频标签。
另一方面，提供一种视频标签确定装置，所述装置包括：
第一确定模块，用于对于待标注视频标签的视频文件的任一目标视频帧，确定所述目标视频帧的背景像素点集合；
第二确定模块，用于根据所述背景像素点集合，确定所述目标视频帧的多个第一像素点的显著性特征值；
第三确定模块，用于根据所述多个第一像素点的显著性特征值，确定所述目标视频帧的显著性特征对应的第一特征图；
图像融合模块，用于确定所述目标视频帧的图像特征对应的第二特征图，将所述第一特征图和所述第二特征图进行融合，得到所述目标视频帧对应的目标特征图；
目标检测模块，用于根据所述目标特征图，对所述目标视频帧进行目标检测，得到所述目标视频帧的图像类别；
第四确定模块，用于根据所述视频文件的多个目标视频帧的图像类别，确定所述视频文件的至少一个视频标签。
在一种可能的实现方式中，所述第二确定模块，还用于对于多个第一像素点中的每个第一像素点，确定所述第一像素点与所述背景像素集合中多个第二像素点之间的多个像素路径；从所述多个像素路径中选择最小像素路径；确定所述最小像素路径中的最大像素值和最小像素值；将所述最大像素值和所述最小像素值的差值作为所述第一像素点的显著性特征值。
在另一种可能的实现方式中，所述图像融合模块，还用于将所述第一特征图和所述第二特征图进行拼接，得到所述帧图像对应的第三特征图；将所述第三特征图输入至目标检测模型中；通过所述目标检测模型的特征提取网络，对所述第三特征图进行多次卷积运算，得到融合了显著性特征的目标特征；
基于所述目标特征，确定所述目标视频帧对应的目标特征图。
在另一种可能的实现方式中，所述图像融合模块，还用于通过所述目标检测模型的目标检测网络，对所述目标视频帧对应的目标特征图进行目标检测，输出所述目标视频帧的图像类别。
在另一种可能的实现方式中，所述装置还包括：
第一获取模块，用于获取原始目标检测模型和多个样本数据；
第五确定模块，用于根据所述原始目标检测模型，确定所述原始目标检测模型的目标类别损失函数；
模型训练模块，用于根据所述多个样本数据、所述目标类别损失函数，对所述原始目标检测模型进行模型训练，得到所述目标检测模型。
在另一种可能的实现方式中，所述第四确定模块，还用于根据所述多个目标视频帧的图像类别，确定每个图像类别的数量；根据所述每个图像类别的数量，从所述多个目标视频帧的图像类别中选择至少一个目标图像类别；将所述至少一个目标图像类别确定为所述视频文件的至少一个视频标签。
在另一种可能的实现方式中，所述装置还包括：
第二获取模块，用于获取待标注视频标签的视频文件；
抽取模块，用于每隔M帧从所述视频文件中抽取一个视频帧，将抽取到的视频帧作为目标视频帧，其中，M为大于0的整数。
在另一种可能的实现方式中，所述装置还包括：
第三获取模块，用于获取当前用户的用户特征信息；
第六确定模块，用于根据所述用户特征信息，确定所述用户特征信息匹配的目标视频标签；
推送模块，用于从视频文件库中选择与所述目标视频标签对应的至少一个目标视频文件，向所述当前用户推荐所述至少一个目标视频文件。
另一方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如本公开实施例中方法实施例的任一项所述的视频标签确定方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如本公开实施例中方法实施例的任一项所述的视频标签确定方法。
本公开实施例提供的技术方案带来的有益效果是：
在本公开实施例中，通过视频文件中任一目标视频帧的背景像素点集合与该视频帧中的任一第一像素点，确定该第一像素点的显著性特征值，根据该目标视频帧中所有像素点的显著性特征值，确定该目标视频帧的显著特征对应的第一特征图，将该第一特征图与该目标视频帧的图像特征对应的第二特征图，进行图像融合，得到目标特征图，对该目标特征图进行目标识别，得到该视频帧对应的图像类别，根据多个目标视频帧对应的图像类别，确定该视频文件的至少一个视频标签。通过对视频文件中的目标视频帧的目标检测，确定该目标视频帧的图像类别，根据多个视频帧的图像类别，确定该视频文件的至少一个视频标签，从而实现了通过视频文件的内容确定视频标签，避免了用户主观因素对视频文件的视频标签的影响，从而提高了确定视频文件的视频标签的准确度。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开实施例提供的一种视频标签确定方法的实施环境；
图2是根据一示例性实施例提供的一种视频标签确定方法流程的示意图；
图3是根据一示例性实施例提供的一种视频标签确定方法流程的示意图；
图4是根据一示例性实施例提供的一种视频标签确定方法流程的示意图；
图5是根据一示例性实施例提供的一种视频标签确定方法涉及的目标检测模型的结构示意图；
图6是根据本公开实施例提供的一种视频标签确定装置的框图；
图7是根据本公开实施例提供的一种服务器的结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
随着人工智能技术研究和进步，人工智能(Artificial Intelligence,AI)技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本公开的实施例涉及人工智能的计算机视觉技术、机器学习等技术，服务器可以通过计算机视觉技术，对视频文件中的目标视频帧进行图形融合，将待目标视频帧对应的显著性特征图和该目标视频帧对应的特征图进行图像融合，对图像融合后的目标特征图进行目标检测，得到该目标视频帧对应的图像类别，进而确定视频文件的视频标签。
图1是根据本公开示例性实施例示出的一种视频标签确定方法所涉及的实施环境的示意图。参见图1，该实施环境包括：第一终端101、第二终端102和服务器103。其中，第一终端101和第二终端102分别与服务器103之间通过网络连接实现数据交互。
第一终端101和第二终端102中都可以运行能够播放视频文件的应用程序，该应用程序可以为短视频应用程序、视频播放应用程序或安装了视频播放插件的浏览器应用等。该服务器103可以为该应用程序对应的服务器103，相应的，第一终端101可以将视频文件上传至服务器103，服务器103对该上传的视频文件进行处理，得到视频标签。服务器103将该视频文件和视频文件的视频标签关联存储在视频文件库中，当向第二终端102发送视频文件时，将该视频文件和该视频文件对应的视频标签发送给第二终端102。
参见图2，服务器103对该上传的视频文件进行处理，得到视频标签的过程可以为：服务器103从该视频文件中提取k个目标视频帧，包括目标视频帧1、目标视频帧2……目标视频帧k，分别提取每个视频帧的显著性特征，得到第一特征图1、第一特征图2……第一特征图k，将该k个第一特征图分别与该k个目标视频帧对应的k个第二特征图进行图像融合，得到k个目标特征图，根据对该目标特征图对该目标视频帧进行目标检测，得到该目标视频帧对应的k个图像类别，根据k个图像类别，选择出目标图像类别，根据该目标图像类别，确定该视频文件的至少一个视频标签。
服务器103可以根据第二终端102对应的目标视频标签从视频文件库中选择至少一个视频文件，将该至少一个视频文件发送给第二终端102。其中，该目标视频标签可以为第二终端102向服务器103发送视频获取请求时，该视频获取请求中携带的目标视频标签；该视频标签还可以为服务器103根据登录该服务器103的第二终端102对应的用户标识，获取该用户标识对应的用户特征信息，根据用户特征信息，确定的该用户特征信息匹配的目标视频标签。
参见图3，服务器通过对目标视频帧进行显著性特征提取，得到该第一特征图，将该第一特征图和该目标视频帧进行融合后，进行目标检测，得到该目标视频帧的图像类别，根据该图像类别确定该视频文件的视频标签，将该视频文件和视频标签存储在视频文件推荐系统的视频文件库中；通过获取第二中中用户的用户特征信息，将用户特征信息输入至该视频文件推荐系统中，通过该视频文件推荐系统，向用户推荐用户感兴趣的视频文件。
在本公开实施例中，通过视频文件中任一目标视频帧的背景像素点集合与该视频帧中的任一第一像素点，确定该第一像素点的显著性特征值，根据该目标视频帧中所有像素点的显著性特征值，确定该目标视频帧的显著特征对应的第一特征图，将该第一特征图与该目标视频帧的图像特征对应的第二特征图，进行图像融合，得到目标特征图，对该目标特征图进行目标识别，得到该视频帧对应的图像类别，根据多个目标视频帧对应的图像类别，确定该视频文件的至少一个视频标签。通过对视频文件中的目标视频帧的目标检测，确定该目标视频帧的图像类别，根据多个视频帧的图像类别，确定该视频文件的至少一个视频标签，从而实现了通过视频文件的内容确定视频标签，避免了用户主观因素对视频文件的视频标签的影响，从而提高了确定视频文件的视频标签的准确度。
图4为根据一示例性实施例提供的一种视频标签确定方法流程图，在本公开实施例中，以服务器确定视频文件的视频标签为例进行说明。如图4所示，该方法包括以下步骤：
步骤401：对于待标注视频标签的视频文件的任一目标视频帧，服务器确定该目标视频帧的背景像素点集合。
其中，该待标注视频标签的视频文件为第一终端上传至服务器的视频文件。该视频标签可以用于对该视频文件进行标注，从而使服务器可以根据该视频标签对视频文件进行分类存储、视频检索、视频推送等操作。
该目标视频帧可以为该视频文件的所有视频帧，也可以为服务器从该视频文件的多个视频帧中选择的部分视频帧。当该目标视频帧为服务器从该视频文件中选择的部分视频帧时，在一种可能的实现方式中，服务器可以从视频文件的多个视频帧中随机选择多个目标视频帧。在另一种可能的实现方式中，服务器还可以从视频文件的多个视频帧中确定视频文件的关键帧，将该视频文件的关键帧作为该视频文件的目标视频帧。相应的，服务器可以通过关键帧提取模型提取该视频文件的关键帧。在另一种可能的实现方式中，服务器可以从该视频文件的多个视频帧中，选择相似度较小的多个视频帧，将该多个视频帧作为目标视频帧。在另一种可能的实现方式中，服务器可以在该视频文件中等间隔地抽取多个视频帧，将等间隔抽取的视频帧作为目标视频帧，该过程可以通过以下步骤实现，包括：服务器获取待标注视频标签的视频文件；每隔M帧从该视频文件中抽取一个视频帧，将抽取到的视频帧作为目标视频帧，其中，M为大于0的整数。
M的值可以根据需要进行设置并更改，在本公开实施例中，对该M的值不作具体限定。例如，M的值可以为20、25、30等。
需要说明的一点是，服务器可以从该视频文件的任一视频帧开始抽取视频文件。例如，服务器从该视频文件的第N帧开始抽取目标视频帧，则该视频文件对应的目标视频帧为：第N帧、第N+M帧、第N+2M帧……第N+a*M帧，其中，a、N和M为大于零的整数，并且，N和M可以根据需要进行设置并更改，在本公开实施例中，对该N和M的值不作具体限定。a的值根据视频文件的视频帧的数量决定。例如，当视频文件包括视频帧的数量为500，设置N为1，M为20，则a为25。
在本实现方式中，通过等间隔抽取视频文件中的目标视频帧，从而选择视频文件中相似性较小的目标视频帧，从而在减少了处理目标视频帧的工作量的同时，保证了处理的视频帧的全面性，防止了重复处理相似的视频帧，提高了处理视频帧的效率的同时，提高了确定视频文件的视频标签的准确度。
步骤402：服务器根据该背景像素点集合，确定该目标视频帧的多个第一像素点的显著性特征值。
服务器可以通过显著性特征提取算法提取目标视频帧的显著性特征。该显著性特征提取算法可以为RBD(Robust Background Detection，鲁棒性背景检测)算法、Fast MBD(Fast Minimum Barrier Distance，快速最小障碍距离)算法确定。在本公开实施例中，服务器通过Fast MBD算法确定该目标视频帧的显著性特征。
在通过Fast MBD算法确定目标视频帧的显著性特征时，默认该目标视频帧的边界区域和背景区域相似，其中，边界区域为目标视频帧的边缘区域，背景区域为目标视频帧中除目标对象以外的区域。服务器将图像的边界区域和背景区域中的第二像素点的集合作为该目标视频帧的背景像素点集合。通过确定该视频帧中任一第一像素点与该背景像素点集合的最小像素路径，利用距离代价函数，确定该第一像素点对应的显著性特征值，该过程可以通过以下步骤(1)-(4)实现，包括：
(1)对于多个第一像素点中的每个第一像素点，服务器确定该第一像素点与该背景像素集合中多个第二像素点之间的多个像素路径。
在本步骤中，服务器确定该第一像素点和背景像素点集合中的每个像素点之间的像素路径。该像素路径指目标视频帧中一系列相邻的像素点组成的路径，也即第一像素点和第二像素点之间的像素路径指连接该第一像素点和第二像素点的所有相邻像素点组成的路径。
(2)服务器从该多个像素路径中选择最小像素路径。
对于每个第一像素点，服务器从该第一像素点与背景像素集合的多个像素路径中，选择最小像素路径。该最小像素路径指该第一像素点和背景像素集合中的多个像素点的距离最小时对应的像素路径。将该像素路径计为π(i)，其中，i标识第一像素点的标识。
(3)服务器确定该最小像素路径中的最大像素值和最小像素值。
服务器确定该最小路径后，确定该最小路径所经过的所有像素点，确定每个像素点的像素值，从而从该多个像素点中选择最大像素值和最小像素值。
(4)服务器将该最大像素值和该最小像素值的差值作为该第一像素点的显著性特征值。
服务器可以根据任一方式确定该第一像素点的显著性特征值，在本实现方式中，服务器根据最大像素值和该最小像素值，通过以下公式一所示的距离代价函数确定该第一像素点的显著性特征。
公式一：
Figure BDA0002257839490000101
其中，βI(π)路径代价函数，其函数值为第一像素点的显著性特征值，π表示最小路径，π(i)表示最小像素路径，I(π)指像素路径中的像素点的值，k指第一像素点的数量，i指第i个第一像素点，
Figure BDA0002257839490000102
表示k个第一像素点中最大像素值，
Figure BDA0002257839490000103
表示k个第一像素点中最小像素值。
在本实现方式中，通过确定第一像素点与背景像素集合中最小路径，确定最大像素点与最小像素点的之间的差值，该差值越大，说明该第一像素点与该第二像素点的差别越大，则显著性特征对应的第一特征图中该第一像素点的灰度值越大，第一像素点越亮；该差值越小，说明该第一像素点与该第二像素点的差别越小，则显著性特征对应的第一特征图中该第一像素点的灰度值越小，第一像素点越暗，从而将该目标视频帧中与背景像素点相差较大的像素点显著显示，实现提取目标视频帧中的显著性特征。
通过确定第一像素点的显著性特征值，确定目标视频帧的显著性特征，使得可以通过该显著性特征强化目标视频帧中的目标对象的图像特征，弱化除目标对象以外的图像特征，从而提高目标视频帧中特征提取的准确性，提高目标检测的准确性。
步骤403：服务器根据该多个第一像素点的显著性特征值，确定该目标视频帧的显著性特征对应的第一特征图。
在本步骤中，服务器确定每个第一像素点的显著性特征值，将目标视频帧中每个第一像素点的像素值替换为该第一像素点对应的显著性特征值，更换了显著性特征值的第一像素点组成该目标视频帧的显著性特征对应的第一特征图。
在本实现方式中，通过将第一像素点的像素值替换为第一像素点对应的显著性特征值，得到目标视频帧的显著性特征对应的第一特征图，该第一特征图中将将目标对象所在的区域进行了高亮显示，从而使得可以通过该显著性特征强化目标视频帧中的目标对象的图像特征，弱化除目标对象以外的图像特征，从而提高目标视频帧中特征提取的准确性，提高目标检测的准确性。
步骤404：服务器确定该目标视频帧的图像特征对应的第二特征图，将该第一特征图和该第二特征图进行融合，得到该目标视频帧对应的目标特征图。
其中，该第一特征图为该目标视频帧的显著性特征对应的特征图，该第一特征图为一维的灰度图像；该第二特征图为该目标视频帧的图像特征对应的特征图，该第二特征图为三维的特征图像，例如，该第二特征图可以为该目标视频帧对应的RGB三通道图像，其中，该图像中每个颜色通道代表该图像的一个维度。
在本步骤中，服务器可以将该第一特征图和该第二特征图进行拼接，对拼接后的图像进行特征提取，根据提取到的图像特征确定目标特征图。其中，服务器确定该目标视频帧的图像特征对应的第二特征图，将该第一特征图和该第二特征图进行融合，得到该目标视频帧对应的目标特征图的过程，可以通过以下步骤(1)-(4)实现，包括：
(1)服务器将该第一特征图和该第二特征图进行拼接，得到该帧图像对应的第三特征图。
服务器可以将该第一特征图和第二特征图直接进行拼接，得到多维度的第三特征图像，服务器还可以将该第一特征图与第二特征图中每个颜色通道对应的特征图进行平均，得到新的三通道图像。相应的，在一种可能的实现方式中，该服务器可以将该第一特征图拼接到该第二特征图上。例如，服务器可以将该一维的第一特征图拼接到三维的第二特征图的第三维处，得到四维的第三特征图。在另一种可能的实现方式中，服务器将该第一特征图与该第二特征图中每个通道对应的特征图进行加权求和，得到加权平均后的三通道图像，将该三通道图像组成第三特征图像。
(2)服务器将该第三特征图输入至目标检测模型中。
参见图5，该目标检测模型可以为Yolo V3(You Only Look ONCE V3)目标检测模型，包括特征提取网络和目标检测网络，其中，该特征提取网络可以为darknet53网络。目标检测网络可以为Yolo网络。该特征提取网络包括图像融合层、卷积层和多个特征提取层。该图像融合层可以为Merge layer(图层合并层)，用于接收第一特征图和第二特征图，将该第一特征图和第二特征图进行合并，通过两层卷积层，将合并后的图像进行融合，将融合后的图像输入至多个特征提取层中，通过特征提取层对融合后的图像进行特征提取，每个特征提取层包括至少一个卷积层和残差层，通过该至少一个卷积层对融合后的特征图进行卷积，残差层中包括残差网络，该残差网络可以为Skip Connection结构，通过该残差层使特征提取层的输出变化更加敏感。防止网络梯度弥散。
其中，该特征提取网络用于对第三特征图进行卷积，得到该第三特征图对应的图像特征。该目标检测网络用于根据特征提取图像提取的图像特征进行目标识别，该目标视频帧对应的图像类别。
在本步骤之前，需要对该目标检测网络进行模型训练，该模型训练过程可以通过以下步骤(2-1)-(2-3)实现，包括：
(2-1)服务器获取原始特征提取模型和多个样本数据。
其中，该多个样本数据为标注了图像类别和图像特征的样本数据。
(2-2)服务器根据该原始目标检测模型，确定该原始目标检测模型的目标类别损失函数。
在本步骤中，服务器根据原始目标检测模型在进行目标检测时得到的特征图的大小、目标对象的数量和图像类别确定该原始目标函数的目标类别损失函数，服务器可以通过任一方式通过特征图的大小、目标对象的数量和图像类别标识该原始目标函数的目标类别损失函数。例如，服务器可以通过特征图的大小、目标对象的数量和图像类别，通过以下公式二表示该原始目标检测模型的目标类别损失函数。
公式二：
Figure BDA0002257839490000121
其中，LossC为该原始目标检测模型的目标类别损失，λnoobj为大于零的参数。S表示卷积得到的特征图的大小，B表示输出的图像类别的数量，i表示卷积得到的特征图中的像素点，j表示图像输出的第j个图像类别，C表示图像类别的数值形式，表示像素点是物体中的像素点对应的参数值，
Figure BDA0002257839490000123
表示像素点不是物体中的像素点对应的参数值，
Figure BDA0002257839490000124
表示目标检测模型输出的图像类别的数值形式，Ci表示样本数据中图像类别的数值形式。
需要说明的一点是，通过该目标检测模型，还可以输出该目标检测时目标对象的目标框位置和图像类别的置信度，相应的，在本步骤中，对该原始目标检测模型进行检测的过程中，还需要通过目标框位置损失函数和目标置信度损失函数对该原始目标检测模型进行模型训练，其中，该目标框位置损失函数可以由公式三表示。
公式三：
Figure BDA0002257839490000131
其中，其中，Lossbox为该原始目标检测模型的目标框位置损失，λcoord为大于零的参数。S表示卷积得到的特征图的大小，B表示输出的图像类别的数量，i表示卷积得到的特征图中的像素点，j表示图像输出的第j个图像类别，w和h分别表示目标框的长和宽，x和y分别表示该目标框中像素点的位置，
Figure BDA0002257839490000133
表示像素点是物体中的像素点对应的参数值，
Figure BDA0002257839490000134
表示像素点不是物体中的像素点对应的参数值，表示目标检测模型输出的图像横坐标位置，
Figure BDA0002257839490000136
表示目标检测模型输出的图像纵坐标位置，
Figure BDA0002257839490000137
表示目标检测模型输出的目标框的长，
Figure BDA0002257839490000138
表示目标检测模型输出的目标框的宽。xi表示样本数据中图像横坐标位置，yi表示样本数据中图像纵坐标位置，hi表示样本数据中目标框的长，wi表示样本数据中目标框的宽。
该目标置信度损失函数可以由公式四表示。
公式四：
Figure BDA0002257839490000132
其中，Lossconfidence表示目标置信度损失，S表示卷积得到的特征图的大小，B表示输出的图像类别的数量，i表示卷积得到的特征图中的像素点，j表示图像输出的第j个图像类别，C表示图像类别的数值形式，p表示确定为该图像类别的概率，classes表示图像类别的数值形式的集合
Figure BDA0002257839490000139
表示像素点是物体中的像素点对应的参数值，
Figure BDA00022578394900001310
表示目标检测模型输出的确定为该图像类别的概率，pi表示样本数据中确定为该图像类别的概率。
(2-3)服务器根据该多个样本数据和该目标类别损失函数，对该原始目标检测模型进行模型训练，得到该目标检测模型。
服务器根据该多个样本数据，确定该目标类别损失函数的函数值，根据该目标类别损失函数的函数值调整该原始目标检测模型的模型参数，目标类别损失函数的函数值小于预设阈值，确定该模型训练完成，得到目标检测模型。
需要说明的一点是，特征提取层还可以包括归一化函数，通过该归一化函数对特征提取层进行归一化处理，提高目标检测模型在训练时的收敛速度，当值目标检测模型过度拟合，该归一化函数可以为任一具有归一化功能的函数，例如，该归一化函数可以为如公式七所示的函数。
公式五：
Figure BDA0002257839490000141
其中，k表示第k个特征提取层，y(k)为归一化后的结果，x(k)为归一化处理过程中的输入值，μ为第k个特征提取层提取的特征的均值，σ表示第k个特征提取层提取的特征的特征值的标准差，ε为防止分母为0的最小参数，γ(k)和β(k)为训练参数。
当服务器根据目标类别损失函数、目标框位置损失函数和目标置信度损失函数对原始目标检测模型进行模型训练时，可以将该三种损失函数的和作为目标检测模型的损失函数，根据该损失函数对该目标检测模型进行模型训练。
(3)服务器通过该目标检测模型的特征提取网络，对该第三特征图进行多次卷积运算，得到融合了显著性特征的目标特征。
在本步骤中，该特征提取网络包括多个特征提取层，对于每个特征提取层，根据该卷积层的卷积核对该目标提取层的输入数据进行卷积运算，得到卷积结果，将该卷积结果通过激活函数得到该卷积层输出的特征图。
该卷积运算可以通过以下公式五实现。
公式六：
其中，
Figure BDA0002257839490000143
表示当前特征提取层和当前特征提取层的下一层体征提取层之间的权值参数，其中，l表示特征提取层当前特征提取层的层数，i表示当前特征提取层的输入数据中第i个卷积单元，l+1表示当前特征提取层的下一层特征提取层，j表示当前特征提取层的下一层提取层的第j个卷积单元，表示连接当前特征提取层偏置单元和当前特征提取层的下一层体征提取层的第j个卷积单元对应的参数。FMi是当前特征提取层的特征图集合。
Figure BDA0002257839490000145
表示当前特征提取层的第i个特征图。f()为激活函数。
(4)服务器基于该目标特征，确定该目标视频帧对应的目标特征图。
在本公开实施例中，通过将当前特征提取层的第i个卷积单元的卷积结果和当前特征提取层的第j个卷积单元的权值相乘，将乘积进行求和，将求和结果与连接当前特征提取层偏置单元和当前特征提取层的下一层体征提取层的第j个卷积单元对应的参数求和，得到下一特征提取层的卷积结果，将该卷积结果输入至激活函数，得到该下一特征提取层的第j个卷积单元输出的特征图。
该激活函数可以由任一种激活函数表示，例如，该激活函数可以为公式六所示的激活函数。
公式七：
Figure BDA0002257839490000151
其中，yi表示输出数值，在本实施例中，表示下当前特征提取层输出的特征图，xi为输入数据，在本公开实施例中表示当前特征提取层的卷积结果，ai为参数，该参数为大于1的任一数值，在本公开实施例中，不作具体限定。
在本实现方式中，通过目标检测模型中的特征提取网络将第一特征图和第二特征图的图像特征进行融合，对融合特征后的图像进行特征提取，从而获取该目标视频帧中的融合特征，将该融合特征进行激活，得到融合后的目标特征图，从而使得可以通过该显著性特征强化目标视频帧中的目标对象的图像特征，弱化除目标对象以外的图像特征，从而提高目标视频帧中特征提取的准确性，提高目标检测的准确性。
步骤405：服务器根据该目标特征图，对该目标视频帧进行目标检测，得到该目标视频帧的图像类别。
服务器通过该目标检测模型的目标检测网络，对该目标视频帧对应的目标特征图进行目标检测，输出该目标视频帧的图像类别。
在本步骤中，服务器可以根据目标视频帧中目标检测得到的目标对象确定该视频帧的图像类别。例如，当对目标特征图进行目标检测时，检测到目标对象为“猫”，则可以将该目标视频帧的图像类别确定为“宠物”，检测到目标对象为“树”，则可以将该目标视频帧的图像类别确定为“户外”。
继续参见图5，通过卷积集对特征提取层的输出的目标特征图进行卷积，得到图像类别。其中该卷积集中包括多层卷积层。需要说明的一点是，该目标检测模型可以通过不同的特征提取层输出的目标特征图进行图像识别，得到多个目标对象。其中，不同的特征提取层对不同大小的目标对象进行检测，上层的特征提取层提取目标特征图中的体积小的目标对象，底层的特征提取层提取目标特征图中体积大的目标对象，该上层特征提取层和底层特征提取层之间的特征提取层，提取体积在最小的目标对象和最大的目标对象之间的目标对象。
例如，继续参见图5，其中第一图像类别为大的目标对象，第三图像类别为较小的目标对象，第二图像类别为较小的目标对象和较大的目标对象之间的目标对象。通过对第一图像类别对应的目标图像卷积后进行上采样，将上采样的结果与该特征提取层的上一层特征提取层输出的目标图像特征进行连接，将连接后的图像输入至下一层卷积集继续进行目标识别，使得目标识别更准确。
相应的，当目标检测模型输出多个目标对象时，服务器可以根据该多个目标对象分别确定每个目标对象对应的图像类别，将该每个目标对象对应的图像类别作为该目标视频帧的图像类别；服务器还可以对该多个目标对象，综合该多个目标对象确定该目标视频帧的图像类别。例如，当该多个目标对象为“猫”和“树”时，可以将该目标视频帧的图像类别确定为“轻松”。
步骤406：服务器根据该视频文件的多个目标视频帧的图像类别，确定该视频文件的至少一个视频标签。
在本步骤中，服务器可以根据该视频文件中多个目标视频帧的图像类别，对所有的图像类别进行统计，根据统计结果确定该视频文件的至少一个视频标签。在一种可能的实现方式中，服务器可以随机从该多个目标视频帧的图像类别中选择至少一个目标图像类别，将该至少一个目标图像类别作为该视频文件的至少一个视频标签。
在另一种可能的实现方式中，服务器根据每个图像类别的数量，选择至少一个视频标签，相应的，该根据该视频文件的多个目标视频帧的图像类别，确定该视频文件的至少一个视频标签的过程可以根据以下步骤(1)-(3)实现，包括：
(1)服务器根据该多个目标视频帧的图像类别，确定每个图像类别的数量。
在本步骤中，服务器统计该视频文件中多个目标视频帧的图像类别，分别根据该多个目标视频帧的图像类别，统计每个图像类别的数量。
(2)服务器根据该每个图像类别的数量，从该多个目标视频帧的图像类别中选择至少一个目标图像类别。
在本步骤中，服务器可以选择图像类别的数量大于预设阈值的图像类别作为目标图像类别；服务器还可以根据该多个目标图像类别的数量，对该多个图像类别进行排序，根据该排序选择至少一个目标图像类别。
其中，该至少一个目标图像类别的数量可以根据需要进行设置并更改，在本公开实施例中，对该至少一个目标图像类别的数量不作具体限定。
(3)服务器将该至少一个目标图像类别确定为该视频文件的至少一个视频标签。
在本实现方式中，服务器根据图像类别的数量，选择数量较多的至少一个目标图像类别，将该至少一个目标图像类别作为该视频文件的至少一个视频标签，从而使提取的图像类别可以更符合视频文件的文件标签，提高了确定视频文件的视频标签的准确性。
服务器获取到视频文件的至少一个视频标签后，可以根据该视频标签将该视频文件分类存储在视频文件库中，当收到第二终端向服务器发送的获取请求时，根据该获取请求向第二终端发送视频文件。其中，该获取请求中可以携带目标图像标签，服务器根据该目标图像标签，从该视频文件库中搜索与该目标视频标签对应的至少一个目标视频文件，将该至少一个目标视频文件发送给第二终端。
在本实现方式中，根据第二终端发送的获取请求，从视频文件库中搜索与该获取请求中的目标视频标签对应的视频文件，从而使第二终端可以通过服务器从该视频文件库中搜索视频文件，通过视频文件的内容为视频文件添加视频标签，提高了视频标签的准确度，从而提高了搜索视频文件的准确度。
服务器还可以根据第二终端中登录的用户的用户特征信息，向第二终端推送视频文件，该过程可以通过以下步骤(1)-(3)实现，包括：
(1)服务器获取当前用户的用户特征信息。
服务器通过获取登录当前第二终端的用户的用户标识，获取该用户标识对应的历史记录，该历史记录可以为历史浏览记录或历史搜索记录等，通过该历史记录确定用户的用户特征信息。
(2)服务器根据该用户特征信息，确定该用户特征信息匹配的目标视频标签。
在本步骤中，服务器根据要监管户特征信息，确定用户可能感兴趣的视频标签，将该用户可能感兴趣的视频标签作为该目标视频标签。例如，该用户特征信息可以包括用户浏览次数较多的视频文件对应的视频标签，则将该视频标签确定为目标视频标签。
(3)服务器从视频文件库中选择与该目标视频标签对应的至少一个目标视频文件，向该当前用户推荐该至少一个目标视频文件。
服务器可以周期性的向用户推送至少一个目标文件，服务器还可以在接收到用户的推送指示时，向用户推送该至少一个视频文件。其中，该推送指示可以为刷新显示页面时触发的指示。
在本实现方式中，通过获取用户的用户特征信息，向用户推送用户感兴趣的视频文件，从而使用户对接收到的视频文件的感兴趣程度提高，提高了用户体验，，通过视频文件的内容为视频文件添加视频标签，提高了视频标签的准确度，从而提高了搜索视频文件的准确度。
在本公开实施例中，通过视频文件中任一目标视频帧的背景像素点集合与该视频帧中的任一第一像素点，确定该第一像素点的显著性特征值，根据该目标视频帧中所有像素点的显著性特征值，确定该目标视频帧的显著特征对应的第一特征图，将该第一特征图与该目标视频帧的图像特征对应的第二特征图，进行图像融合，得到目标特征图，对该目标特征图进行目标识别，得到该视频帧对应的图像类别，根据多个目标视频帧对应的图像类别，确定该视频文件的至少一个视频标签。通过对视频文件中的目标视频帧的目标检测，确定该目标视频帧的图像类别，根据多个视频帧的图像类别，确定该视频文件的至少一个视频标签，从而实现了通过视频文件的内容确定视频标签，避免了用户主观因素对视频文件的视频标签的影响，从而提高了确定视频文件的视频标签的准确度。
图6是据一示例性实施例提供的一种视频标签确定装置的框图。参见图6，装置包括：
第一确定模块601，用于对于待标注视频标签的视频文件的任一目标视频帧，确定该目标视频帧的背景像素点集合；
第二确定模块602，用于根据该背景像素点集合，确定该目标视频帧的多个第一像素点的显著性特征值；
第三确定模块603，用于根据该多个第一像素点的显著性特征值，确定该目标视频帧的显著性特征对应的第一特征图；
图像融合模块604，用于确定该目标视频帧的图像特征对应的第二特征图，将该第一特征图和该第二特征图进行融合，得到该目标视频帧对应的目标特征图；
目标检测模块605，用于根据该目标特征图，对该目标视频帧进行目标检测，得到该目标视频帧的图像类别；
第四确定模块606，用于根据该视频文件的多个目标视频帧的图像类别，确定该视频文件的至少一个视频标签。
在一种可能的实现方式中，该第二确定模块602，还用于对于多个第一像素点中的每个第一像素点，确定该第一像素点与该背景像素集合中多个第二像素点之间的多个像素路径；从该多个像素路径中选择最小像素路径；确定该最小像素路径中的最大像素值和最小像素值；将该最大像素值和该最小像素值的差值作为该第一像素点的显著性特征值。
在另一种可能的实现方式中，该图像融合模块604，还用于将该第一特征图和该第二特征图进行拼接，得到该帧图像对应的第三特征图；将该第三特征图输入至目标检测模型中；通过该目标检测模型的特征提取网络，对该第三特征图进行多次卷积运算，得到融合了显著性特征的目标特征；
基于该目标特征，确定该目标视频帧对应的目标特征图。
在另一种可能的实现方式中，该图像融合模块604，还用于通过该目标检测模型的目标检测网络，对该目标视频帧对应的目标特征图进行目标检测，输出该目标视频帧的图像类别。
在另一种可能的实现方式中，该装置还包括：
第一获取模块，用于获取原始目标检测模型和多个样本数据；
第五确定模块，用于根据该原始目标检测模型，确定该原始目标检测模型的目标类别损失函数；
模型训练模块，用于根据该多个样本数据、该目标类别损失函数，对该原始目标检测模型进行模型训练，得到该目标检测模型。
在另一种可能的实现方式中，该第四确定模块606，还用于根据该多个目标视频帧的图像类别，确定每个图像类别的数量；根据该每个图像类别的数量，从该多个目标视频帧的图像类别中选择至少一个目标图像类别；将该至少一个目标图像类别确定为该视频文件的至少一个视频标签。
在另一种可能的实现方式中，该装置还包括：
第二获取模块，用于获取待标注视频标签的视频文件；
抽取模块，用于每隔M帧从该视频文件中抽取一个视频帧，将抽取到的视频帧作为目标视频帧，其中，M为大于0的整数。
在另一种可能的实现方式中，该装置还包括：
第三获取模块，用于获取当前用户的用户特征信息；
第六确定模块，用于根据该用户特征信息，确定该用户特征信息匹配的目标视频标签；
推送模块，用于从视频文件库中选择与该目标视频标签对应的至少一个目标视频文件，向该当前用户推荐该至少一个目标视频文件。
在本公开实施例中，通过视频文件中任一目标视频帧的背景像素点集合与该视频帧中的任一第一像素点，确定该第一像素点的显著性特征值，根据该目标视频帧中所有像素点的显著性特征值，确定该目标视频帧的显著特征对应的第一特征图，将该第一特征图与该目标视频帧的图像特征对应的第二特征图，进行图像融合，得到目标特征图，对该目标特征图进行目标识别，得到该视频帧对应的图像类别，根据多个目标视频帧对应的图像类别，确定该视频文件的至少一个视频标签。通过对视频文件中的目标视频帧的目标检测，确定该目标视频帧的图像类别，根据多个视频帧的图像类别，确定该视频文件的至少一个视频标签，从而实现了通过视频文件的内容确定视频标签，避免了用户主观因素对视频文件的视频标签的影响，从而提高了确定视频文件的视频标签的准确度。
需要说明的是：上述实施例提供的视频标签确定装置在确定视频标签时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频标签确定装置与视频标签确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7是本发明实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器700还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器700还可以包括其他用于实现设备功能的部件，在此不做赘述。
本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的视频标签确定方法中服务器所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种视频标签确定方法，其特征在于，所述方法包括：
对于待标注视频标签的视频文件的任一目标视频帧，确定所述目标视频帧的背景像素点集合；
根据所述背景像素点集合，确定所述目标视频帧的多个第一像素点的显著性特征值；
根据所述多个第一像素点的显著性特征值，确定所述目标视频帧的显著性特征对应的第一特征图；
确定所述目标视频帧的图像特征对应的第二特征图，将所述第一特征图和所述第二特征图进行融合，得到所述目标视频帧对应的目标特征图；
根据所述目标特征图，对所述目标视频帧进行目标检测，得到所述目标视频帧的图像类别；
根据所述视频文件的多个目标视频帧的图像类别，确定所述视频文件的至少一个视频标签。
2.根据权利要求1所述的方法，其特征在于，所述根据所述背景像素点集合，确定所述目标视频帧的多个第一像素点的显著性特征值，包括：
对于所述多个第一像素点中的每个第一像素点，确定所述第一像素点与所述背景像素集合中多个第二像素点之间的多个像素路径；
从所述多个像素路径中选择最小像素路径；
确定所述最小像素路径中的最大像素值和最小像素值；
将所述最大像素值和所述最小像素值的差值作为所述第一像素点的显著性特征值。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一特征图和所述第二特征图进行融合，得到所述目标视频帧对应的目标特征图，包括：
将所述第一特征图和所述第二特征图进行拼接，得到所述帧图像对应的第三特征图；
将所述第三特征图输入至目标检测模型中；
通过所述目标检测模型的特征提取网络，对所述第三特征图进行多次卷积运算，得到融合了显著性特征的目标特征；
基于所述目标特征，确定所述目标视频帧对应的目标特征图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标特征图，对所述目标视频帧进行目标检测，得到所述目标视频帧的图像类别，包括：
通过所述目标检测模型的目标检测网络，对所述目标视频帧对应的目标特征图进行目标检测，输出所述目标视频帧的图像类别。
5.根据权利要求3所述的方法，其特征在于，所述将所述视频帧输入到特征提取模型中，得到所述视频帧的图像特征之前，所述方法还包括：
获取原始目标检测模型和多个样本数据；
根据所述原始目标检测模型，确定所述原始目标检测模型的目标类别损失函数；
根据所述多个样本数据、所述目标类别损失函数，对所述原始目标检测模型进行模型训练，得到所述目标检测模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述视频文件的多个目标视频帧的图像类别，确定所述视频文件的至少一个视频标签，包括：
根据所述多个目标视频帧的图像类别，确定每个图像类别的数量；
根据所述每个图像类别的数量，从所述多个目标视频帧的图像类别中选择至少一个目标图像类别；
将所述至少一个目标图像类别确定为所述视频文件的至少一个视频标签。
7.根据权利要求1所述的方法，其特征在于，所述对于待标注视频标签的视频文件的任一目标视频帧，确定所述目标视频帧的背景像素点集合之前，所述方法还包括：
获取待标注视频标签的视频文件；
每隔M帧从所述视频文件中抽取一个视频帧，将抽取到的视频帧作为目标视频帧，其中，M为大于0的整数。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
获取当前用户的用户特征信息；
根据所述用户特征信息，确定所述用户特征信息匹配的目标视频标签；
从视频文件库中选择与所述目标视频标签对应的至少一个目标视频文件，向所述当前用户推荐所述至少一个目标视频文件。
9.一种视频标签确定装置，其特征在于，所述装置包括：
第一确定模块，用于对于待标注视频标签的视频文件的任一目标视频帧，确定所述目标视频帧的背景像素点集合；
第二确定模块，用于根据所述背景像素点集合，确定所述目标视频帧的多个第一像素点的显著性特征值；
第三确定模块，用于根据所述多个第一像素点的显著性特征值，确定所述目标视频帧的显著性特征对应的第一特征图；
图像融合模块，用于确定所述目标视频帧的图像特征对应的第二特征图，将所述第一特征图和所述第二特征图进行融合，得到所述目标视频帧对应的目标特征图；
目标检测模块，用于根据所述目标特征图，对所述目标视频帧进行目标检测，得到所述目标视频帧的图像类别；
第四确定模块，用于根据所述视频文件的多个目标视频帧的图像类别，确定所述视频文件的至少一个视频标签。
10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至8任一项所述的视频标签确定方法。
CN201911060593.XA 2019-11-01 2019-11-01 视频标签确定方法、装置和服务器 Active CN110796204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911060593.XA CN110796204B (zh) 2019-11-01 2019-11-01 视频标签确定方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060593.XA CN110796204B (zh) 2019-11-01 2019-11-01 视频标签确定方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN110796204A true CN110796204A (zh) 2020-02-14
CN110796204B CN110796204B (zh) 2023-05-02

Family

ID=69442476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060593.XA Active CN110796204B (zh) 2019-11-01 2019-11-01 视频标签确定方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN110796204B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783729A (zh) * 2020-07-17 2020-10-16 商汤集团有限公司 视频分类方法、装置、设备及存储介质
CN112131978A (zh) * 2020-09-09 2020-12-25 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质
CN112749297A (zh) * 2020-03-03 2021-05-04 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机设备和计算机可读存储介质
CN112800276A (zh) * 2021-01-20 2021-05-14 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN113313065A (zh) * 2021-06-23 2021-08-27 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备和可读存储介质
CN113627402A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 一种图像识别方法及相关装置
CN114245206A (zh) * 2022-02-23 2022-03-25 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法及装置
CN114648712A (zh) * 2020-12-18 2022-06-21 北京字节跳动网络技术有限公司 视频分类方法、装置、电子设备及计算机可读存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070116357A1 (en) * 2005-11-23 2007-05-24 Agfa-Gevaert Method for point-of-interest attraction in digital images
CN101248480A (zh) * 2005-08-23 2008-08-20 剑桥显示技术有限公司 显示器驱动方法和用于驱动无源矩阵多色场致发光显示器的装置
US20090087024A1 (en) * 2007-09-27 2009-04-02 John Eric Eaton Context processor for video analysis system
CN106611412A (zh) * 2015-10-20 2017-05-03 成都理想境界科技有限公司 贴图视频生成方法及装置
CN106780582A (zh) * 2016-12-16 2017-05-31 西安电子科技大学 基于纹理特征和颜色特征融合的图像显著性检测方法
CN107563370A (zh) * 2017-07-07 2018-01-09 西北工业大学 一种基于视觉注意机制的海上红外目标检测方法
CN107967481A (zh) * 2017-07-31 2018-04-27 北京联合大学 一种基于局部性约束和显著性的图像分类方法
CN108007355A (zh) * 2017-10-20 2018-05-08 西安电子科技大学 基于图像距离变换的混凝土裂缝检测方法
US20180247126A1 (en) * 2017-02-24 2018-08-30 Beihang University Method and system for detecting and segmenting primary video objects with neighborhood reversibility
US20180328789A1 (en) * 2017-05-09 2018-11-15 Keyence Corporation Image Inspection Device
CN108981706A (zh) * 2018-07-20 2018-12-11 深圳大学 无人机航拍路径生成方法、装置、计算机设备和存储介质
CN109035274A (zh) * 2018-08-23 2018-12-18 湖北工业大学 基于背景估计与u型卷积神经网络的文档图像二值化方法
CN109255811A (zh) * 2018-07-18 2019-01-22 南京航空航天大学 一种基于可信度图视差优化的立体匹配方法
CN109359636A (zh) * 2018-12-14 2019-02-19 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN109886130A (zh) * 2019-01-24 2019-06-14 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN109919159A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 一种针对边缘图像的语义分割优化方法及装置
CN110147841A (zh) * 2019-05-22 2019-08-20 桂林电子科技大学 基于弱监督及无监督部件检测和分割的细粒度分类方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248480A (zh) * 2005-08-23 2008-08-20 剑桥显示技术有限公司 显示器驱动方法和用于驱动无源矩阵多色场致发光显示器的装置
US20070116357A1 (en) * 2005-11-23 2007-05-24 Agfa-Gevaert Method for point-of-interest attraction in digital images
US20090087024A1 (en) * 2007-09-27 2009-04-02 John Eric Eaton Context processor for video analysis system
CN106611412A (zh) * 2015-10-20 2017-05-03 成都理想境界科技有限公司 贴图视频生成方法及装置
CN106780582A (zh) * 2016-12-16 2017-05-31 西安电子科技大学 基于纹理特征和颜色特征融合的图像显著性检测方法
US20180247126A1 (en) * 2017-02-24 2018-08-30 Beihang University Method and system for detecting and segmenting primary video objects with neighborhood reversibility
US20180328789A1 (en) * 2017-05-09 2018-11-15 Keyence Corporation Image Inspection Device
CN107563370A (zh) * 2017-07-07 2018-01-09 西北工业大学 一种基于视觉注意机制的海上红外目标检测方法
CN107967481A (zh) * 2017-07-31 2018-04-27 北京联合大学 一种基于局部性约束和显著性的图像分类方法
CN108007355A (zh) * 2017-10-20 2018-05-08 西安电子科技大学 基于图像距离变换的混凝土裂缝检测方法
CN109255811A (zh) * 2018-07-18 2019-01-22 南京航空航天大学 一种基于可信度图视差优化的立体匹配方法
CN108981706A (zh) * 2018-07-20 2018-12-11 深圳大学 无人机航拍路径生成方法、装置、计算机设备和存储介质
CN109035274A (zh) * 2018-08-23 2018-12-18 湖北工业大学 基于背景估计与u型卷积神经网络的文档图像二值化方法
CN109359636A (zh) * 2018-12-14 2019-02-19 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN109919159A (zh) * 2019-01-22 2019-06-21 西安电子科技大学 一种针对边缘图像的语义分割优化方法及装置
CN109886130A (zh) * 2019-01-24 2019-06-14 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN110147841A (zh) * 2019-05-22 2019-08-20 桂林电子科技大学 基于弱监督及无监督部件检测和分割的细粒度分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
R ZHU等: ""Attention Based Deep Feature Fusion for the Scene Classification of High Resolution Remote Sensing Images"" *
SHULIN LIU等: ""Event Detection without Triggers"" *
WANG ANZHI等: ""RGB-D salient object detection via minimum barrier distance transform and saliency fusion"" *
胡磊力等: ""基于人类视觉系统的实时红外目标检测方法"" *
许彪等: ""采用最优生成树的正射影像镶嵌线快速智能检测"" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749297A (zh) * 2020-03-03 2021-05-04 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机设备和计算机可读存储介质
CN111783729A (zh) * 2020-07-17 2020-10-16 商汤集团有限公司 视频分类方法、装置、设备及存储介质
CN112131978A (zh) * 2020-09-09 2020-12-25 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质
CN112131978B (zh) * 2020-09-09 2023-09-01 腾讯科技（深圳）有限公司 一种视频分类方法、装置、电子设备和存储介质
CN114648712A (zh) * 2020-12-18 2022-06-21 北京字节跳动网络技术有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN114648712B (zh) * 2020-12-18 2023-07-28 抖音视界有限公司 视频分类方法、装置、电子设备及计算机可读存储介质
CN112800276A (zh) * 2021-01-20 2021-05-14 北京有竹居网络技术有限公司 视频封面确定方法、装置、介质及设备
CN113313065A (zh) * 2021-06-23 2021-08-27 北京奇艺世纪科技有限公司 一种视频处理方法、装置、电子设备和可读存储介质
CN113627402A (zh) * 2021-10-12 2021-11-09 腾讯科技（深圳）有限公司 一种图像识别方法及相关装置
CN114245206A (zh) * 2022-02-23 2022-03-25 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法及装置
CN114245206B (zh) * 2022-02-23 2022-07-15 阿里巴巴达摩院(杭州)科技有限公司 视频处理方法及装置

Also Published As

Publication number Publication date
CN110796204B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110796204B (zh) 视频标签确定方法、装置和服务器
CN110866140A (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111222500B (zh) 一种标签提取方法及装置
CN112434721A (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN114663670A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN112100438A (zh) 一种标签抽取方法、设备及计算机可读存储介质
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN112801236B (zh) 图像识别模型的迁移方法、装置、设备及存储介质
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN113590854B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114461853A (zh) 视频场景分类模型的训练样本生成方法、装置及设备
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN116955707A (zh) 内容标签的确定方法、装置、设备、介质及程序产品
CN116049434A (zh) 电力施工安全知识图谱的构建方法、装置及电子设备
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN113821676A (zh) 视频检索方法、装置、设备及存储介质
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN113011320A (zh) 视频处理方法、装置、电子设备及存储介质
CN112749711A (zh) 视频获取方法和装置及存储介质
CN112256917A (zh) 用户兴趣识别方法、装置、设备及计算机可读存储介质
CN114936327B (zh) 元素识别模型的获取方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021985

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant