CN110837805B - 视频标签的置信度的测量方法、装置、设备及存储介质 - Google Patents

视频标签的置信度的测量方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110837805B
CN110837805B CN201911082733.3A CN201911082733A CN110837805B CN 110837805 B CN110837805 B CN 110837805B CN 201911082733 A CN201911082733 A CN 201911082733A CN 110837805 B CN110837805 B CN 110837805B
Authority
CN
China
Prior art keywords
video
label
confidence
frame number
unlabeled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911082733.3A
Other languages
English (en)
Other versions
CN110837805A (zh
Inventor
贺思颖
张粲
郭莎
马俊铖
汪青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911082733.3A priority Critical patent/CN110837805B/zh
Publication of CN110837805A publication Critical patent/CN110837805A/zh
Application granted granted Critical
Publication of CN110837805B publication Critical patent/CN110837805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种视频标签的置信度的测量方法、装置、设备及存储介质，该方法包括：获取待标记的无标签视频；根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。该方法实现了获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。

Description

视频标签的置信度的测量方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，具体而言，本申请涉及一种视频标签的置信度的测量方法、装置、设备及存储介质。
背景技术
现有技术中自动化标签标注方法会对无标签的视频进行标注，但标签的可靠程度一般不被自动化标签标注方法所关注。通常纯人工的标签标注很难确保所标注的视频标签达到100％的置信度，自动化标签标注方法所标注的视频标签则更难达到100％的置信度，如何对视频标签的置信度进行测量是有待解决的问题。
发明内容
本申请针对现有的方式的缺点，提出一种视频标签的置信度的测量方法、装置、设备及存储介质，用以解决如何对视频标签的置信度进行测量的问题。
第一方面，本申请提供了一种视频标签的置信度的测量方法，包括：
获取待标记的无标签视频；
根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；
根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。
可选地，根据无标签视频，确定帧数置信度因子的值，包括：
根据无标签视频，确定无标签视频的总帧数；
根据无标签视频的总帧数、漂移常量和预设的尺度常量，确定帧数置信度因子的值，漂移常量用于控制帧数置信度因子沿无标签视频的总帧数位于的坐标轴上移动，尺度常量用于表征帧数置信度因子的陡峭程度。
可选地，无标签视频的总帧数与帧数置信度因子的值呈正比例关系。
可选地，根据无标签视频，确定无标签视频的每一帧的标签类型，包括：
将无标签视频输入至自动化属性标签标注模块，对无标签视频的每一帧的标签类型进行判断，确定无标签视频的每一帧的标签类型为特定属性或非特定属性。
可选地，无标签视频被标记为对应特定属性的标签的置信度与帧数置信度因子的值呈正比例关系。
可选地，根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度，包括：
根据无标签视频的每一帧的标签类型，确定对应特定属性的标签所标记的帧的第一数量以及对应非特定属性的标签所标记的帧的第二数量；
将第一数量与无标签视频的总帧数相除，得到第一比例系数；
将第二数量与无标签视频的总帧数相除，得到第二比例系数；
将帧数置信度因子的值与第一比例系数相乘，得到无标签视频被标记为对应特定属性的标签的置信度；
将帧数置信度因子的值与第二比例系数相乘，得到无标签视频被标记为对应非特定属性的标签的置信度。
可选地，确定漂移常量的方式，包括：
获取无标签视频的时间长度和无标签视频的帧率；
根据时间长度和所述帧率，得到漂移常量。
第二方面，本申请提供了一种视频标签的置信度的测量装置，包括：
第一处理模块，用于获取待标记的无标签视频；
第二处理模块，用于根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；
第三处理模块，用于根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。
第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线；
总线，用于连接处理器和存储器；
存储器，用于存储操作指令；
处理器，用于通过调用操作指令，执行本申请第一方面的视频标签的置信度的测量方法。
第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被用于执行本申请第一方面的视频标签的置信度的测量方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
获取待标记的无标签视频；根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。本申请实施例的方案，实现了对无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度进行测量，评估无标签视频被标记标签的置信度，从而获得各种属性的标签的置信度，各种属性的标签的置信度可以用来选取置信度高的视频标签以及筛除置信度低的视频标签，帮助行为识别算法获得更加可靠的训练或测试样本，也可以帮助推荐系统获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种视频标签的置信度的测量方法的流程示意图；
图2为本申请实施例提供的另一种视频标签的置信度的测量方法的流程示意图；
图3为本申请实施例提供的人脸检测模型在线上视频数据集上的精确率Precision和召回率Recall的示意图；
图4为本申请实施例提供的一种视频标签的置信度的测量装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面详细描述本申请的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习或深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
为了更好的理解及说明本申请实施例的方案，下面对本申请实施例中所涉及到的一些技术用语进行简单说明。
置信度：在统计学中，一个概率样本的置信区间是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，即前面所要求的“一定概率”。这个概率被称为置信水平。如果在一次大选中某人的支持率为55％，而置信水平0.95上的置信区间是(50％，60％)，那么他的真实支持率(置信度)有百分之九十五的机率落在百分之五十和百分之六十之间，因此他的真实支持率不足一半的可能性小于百分之2.5(假设分布是对称的)。置信水平是指特定个体对待特定命题真实性相信的程度，也就是概率是对个人信念合理性的量度。概率的置信度解释表明，事件本身并没有什么概率，事件之所以指派有概率只是指派概率的人头脑中所具有的信念证据。置信水平是指总体参数值落在样本统计值某一区内的概率；而置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围。置信区间越大，置信水平越高。置信度也称为可靠度，或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的。因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。
精确率Precision：是广泛用于信息检索和统计学分类领域的度量值，用来评价结果的质量；例如，精确率是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率。
召回率Recall：是广泛用于信息检索和统计学分类领域的度量值，用来评价结果的质量；例如，召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。
本申请实施例提供的技术方案涉及人工智能的计算机视觉技术，下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
本申请实施例中提供了一种视频标签的置信度的测量方法，该方法的流程示意图如图1所示，该方法包括：
S101，获取待标记的无标签视频。
可选地，可选地，无标签视频包括微视视频，微视视频的内容包含多种场景，例如，人像作品、自然风光、游戏场景、厨艺展示等。
S102，根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项。
可选地，判断一段无标签视频是否为打网球的片段，如果是打网球的片段，则记该视频的打网球片段的标签为1，标签类型为特定属性，特定属性为存在打网球的片段；如果不是打网球的片段，记该视频的不打网球片段的标签为0，标签类型为非特定属性，非特定属性为不存在打网球的片段。
可选地，当视频标签有多种特定属性，用Pi表示,其中i＝0,1,...,n，n为正整数，则所有特定属性的集合可以表示成P＝{P0,P1,...,Pn}。判断无标签视频是否具有特定属性Pi，如果有特定属性Pi，则该无标签视频标记的标签为1；如果没有有特定属性Pi，则该无标签视频标记的标签为0；最终得到该视频是否具有特定属性Pi的标签。
可选地，当视频标签有一种特定属性，特定属性为包含大量人脸片段；对于用户上传的一段包含人脸自拍的视频，判断该视频是否包含大量人脸片段，如果包含大量人脸片段，则该视频的标签为1，标签类型为特定属性；如果不包含大量人脸片段，则该视频的标签为0，标签类型为非特定属性。当视频标签有一种组合的特定属性，对用户上传的一段包含人脸自拍的视频，特定属性为该视频是否包含大量男性人脸片段，判断该视频是否包含大量人脸片段且对应的人脸片段应该为男性人脸，如果包含大量人脸片段且对应的人脸片段应该为男性人脸，则该视频的标签为1，标签类型为特定属性；如果不包含大量人脸片段或对应的人脸片段应该不为男性人脸，则该视频的标签为0，标签类型为非特定属性。
S103，根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。
可选地，无标签视频的每一帧的标签为无标签视频的帧级别标签。
本申请实施例中，获取待标记的无标签视频；根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。本申请实施例的方案，实现了对无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度进行测量，评估无标签视频被标记标签的置信度，从而获得各种属性的标签的置信度，各种属性的标签的置信度可以用来选取置信度高的视频标签以及筛除置信度低的视频标签，帮助行为识别算法获得更加可靠的训练或测试样本，也可以帮助推荐系统获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。
可选地，根据无标签视频，确定帧数置信度因子的值，包括：
根据无标签视频，确定无标签视频的总帧数；
根据无标签视频的总帧数、漂移常量和预设的尺度常量，确定帧数置信度因子的值，漂移常量用于控制帧数置信度因子沿无标签视频的总帧数位于的坐标轴上移动，尺度常量用于表征帧数置信度因子的陡峭程度。
可选地，帧数置信度因子度量的是无标签视频总帧数本身对于无标签视频被标记为1的贡献程度，无标签视频被标记为对应特定属性的标签，该标签为1。具体的，帧数置信度因子的计算公式(1)如下所示：
Figure BDA0002264463300000081
其中，x表示无标签视频的总帧数；m为漂移常量，f(x)沿坐标轴x的左右移动；k为尺度常量，k控制f(x)的陡峭程度。
可选地，确定漂移常量的方式，包括：
获取无标签视频的时间长度和无标签视频的帧率；
根据时间长度和所述帧率，得到漂移常量。
可选地，对于属性标签的合集P＝{P0,P1,...,Pn}中任意属性标签的判别，漂移常量和尺度常量应根据实际应用发生变化。
可选地，无标签视频为短视频，如果短视频包含大量人脸片段，则该短视频的标签为1，标签类型为特定属性；如果短视频不包含大量人脸片段，则该短视频的标签为0，标签类型为非特定属性。漂移常量的计算公式(2)如下所示：
m＝t×r/2  公式(2)
假定一般短视频的时长为t，短视频的帧率为r，通常t＝8s(秒)，r＝30fps(每秒传输帧数，Frames Per Second)，求解得到m＝120。尺度常量根据经验值，通常取0.03。最终通过短视频的时长t和帧率r作为约束条件，配合尺度常量的经验值，得到的帧数置信度因子的计算公式(3)如下所示：
Figure BDA0002264463300000091
可选地，根据无标签视频，确定无标签视频的每一帧的标签类型，包括：
将无标签视频输入至自动化属性标签标注模块，对无标签视频的每一帧的标签类型进行判断，确定无标签视频的每一帧的标签类型为特定属性或非特定属性。
可选地，根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度，包括：
根据无标签视频的每一帧的标签类型，确定对应特定属性的标签所标记的帧的第一数量以及对应非特定属性的标签所标记的帧的第二数量；
将第一数量与无标签视频的总帧数相除，得到第一比例系数；
将第二数量与无标签视频的总帧数相除，得到第二比例系数；
将帧数置信度因子的值与第一比例系数相乘，得到无标签视频被标记为对应特定属性的标签的置信度；
将帧数置信度因子的值与第二比例系数相乘，得到无标签视频被标记为对应非特定属性的标签的置信度。
可选地，给定一个无标签视频，自动化属性标注模块通常会对无标签视频的每一帧进行特定属性的标签判断，若某一帧具有单一的特定属性或组合的特定属性，则将该帧记为1，最后自动化属性标签标注模块可以求出为1的帧级别标签占总帧级别标签的比例α，对应的为0的帧级别标签占总帧级别标签的比例β＝1-α。
可选地，当将待标记的无标签视频标记为1，即该视频的标签为1，记该视频标签为1的置信度为η1＝f(n)×α，其中n表示待标记的无标签视频的帧数，f(n)为通过计算求解出来的帧数置信度因子；同样地，当将待标记的无标签视频标记为0，即该视频的标签为0，记该视频标签为0的置信度为η0＝f(n)×β，其中n表示待标记的无标签视频的帧数，f(n)为通过计算求解出来的帧数置信度因子。
可选地，无标签视频的总帧数与帧数置信度因子的值呈正比例关系。
根据视频标签被记为1或0的置信度计算公式，η1∝α，η0∝β，β＝1-α，说明为1或0的帧级别标签占总帧级别标签的比例越大，整个视频被视为正样本或负样本的置信度越大，当标签为1时，整个视频被视为正样本，当标签为0时，整个视频被视为负样本。
若无标签视频的帧数固定，即n固定，则置信度因子f(n)为固定值，对于每一帧都有人脸的极端情况，即为1的帧占总帧数的比例α达到最大值，此时α＝1，根据置信度公式η1＝f(n)×α，且f(n)为固定值，此时，每一帧都包含人脸的视频，将该视频以最大的置信度被标记为正样本。
若无标签视频的帧数固定，即n固定，则置信度因子f(n)为固定值，对于每一帧都没有人脸的极端情况，即为1的帧占总帧数的比例β达到最大值，此时β＝1，根据置信度公式η0＝f(n)×β，且f(n)为固定值，此时，每一帧都不包含人脸的视频，将该视频以最大的置信度被标记为负样本。
可选地，无标签视频被标记为对应特定属性的标签的置信度与帧数置信度因子的值呈正比例关系。
根据视频标签被记为1或0的置信度计算公式，η1∝f(n)，η0∝f(n)，视频被标记为1的置信度正比于帧数置信度因子，而帧数置信度因子是关于帧数n的函数，这意味着，置信度因子η与帧数有关。具体的，假设一个视频中为1的帧级别标签占总帧级别标签的比例α是一个固定值，若该视频只有10帧，即n＝10，假设采样间隔为1，总的采样帧数则为10，为1的帧级别标签数会比10更小，因此可能会存在一定的偶然因素，导致该视频标记为1的置信度会趋于一个较小的值；假设n→∞，仍然假设采样间隔为1，总的采样帧数将会是一个非常大的值，这个时候在α不变的情况下，为1的帧级别标签总数也会是一个很大的值，忽略掉可能的偶然因素，使该视频标记为1的置信度最终趋于一个较大的值。
可选地，假定漂移常量m＝120，当x＝15，即待标记视频的总帧数为15帧，求解出来帧数置信度因子f(x)≈0.041，根据视频标签为1的置信度公式η1＝f(n)×α，即便α＝1，即所有帧都被标记为1，由于总帧数只有15帧，采样点的个数较低，因此最终通过帧数置信度因子的加权，最终得到置信度η1<＝0.041，该置信度属于一个较小的置信度，其标记结果可靠性较差。当x＝250时，帧数置信度因子f(x)≈0.98，即便α＝0.8，即只有80％的帧被标记为1，由于总帧数有250帧，采样点的个数较高，因此最终通过帧数置信度因子的加权，最终得到置信度约为0.784，该置信度属于一个较高的置信度，其标记结果说明该视频包含人脸片段的可能性较高，即标注的可靠性较高。
本申请实施例中提供了另一种视频标签的置信度的测量方法，该方法的流程示意图如图2所示，该方法包括：
S201，获取待标记的无标签视频。
S202，计算无标签视频的总帧数。
S203，将无标签视频输入至自动化属性标签标注模块，对无标签视频的每一帧的标签类型进行判断。
可选地，自动化属性标注模块通常会对无标签视频的每一帧进行特定属性的标签判断，若某一帧具有单一的特定属性或组合的特定属性，则将该帧记为1，若某一帧不具有单一的特定属性或组合的特定属性，则将该帧记为0。
S204，通过自动化属性标签标注模块，计算得到为1的帧级别标签占所有帧级别标签的比例α，以及为0的帧级别标签占所有帧级别标签的比例β。
可选地，所有帧级别标签的数量与无标签视频的总帧数相同，为1的帧级别标签的数量与标签为1的帧的数量相同，为0的帧级别标签的数量与标签为0的帧的数量相同。将为1的帧级别标签的数量与所有帧级别标签的数量相除，得到α；将为0的帧级别标签的数量与所有帧级别标签的数量相除，得到β。
S205，根据无标签视频的总帧数、预设的漂移常量和预设的尺度常量，确定帧数置信度因子的值。
可选地，当将待标记的无标签视频标记为1，即该视频的标签为1，记该视频标签为1的置信度为η1＝f(n)×α，其中n表示待标记的无标签视频的帧数，f(n)为通过计算求解出来的帧数置信度因子；同样地，当将待标记的无标签视频标记为0，即该视频的标签为0，记该视频标签为0的置信度为η0＝f(n)×β，其中n表示待标记的无标签视频的帧数，f(n)为通过计算求解出来的帧数置信度因子。
S206，计算视频标签为1的置信度η1和视频标签为0的置信度η0。
可选地，当将待标记的无标签视频标记为1，即该视频的标签为1，记该视频标签为1的置信度为η1＝f(n)×α；当将待标记的无标签视频标记为0，即该视频的标签为0，记该视频标签为0的置信度为η0＝f(n)×β。
S207，确定视频标签的置信度。
可选地，视频标签的置信度η＝{η0，η1}。
本申请实施例中，实现了对无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度进行测量，评估无标签视频被标记标签的置信度，从而获得各种属性的标签的置信度，各种属性的标签的置信度可以用来选取置信度高的视频标签以及筛除置信度低的视频标签，帮助行为识别算法获得更加可靠的训练或测试样本，也可以帮助推荐系统获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。
为了更好的理解本申请实施例所提供的方法，下面结合具体应用场景的示例对本申请实施例的方案进行进一步详细说明。
时序分类可以作为人脸检测的前一个步骤，通过一个快速的时序分类方法，配合人脸检测，可以减少视频人脸检测的时间，而时序分类方法依赖于时序分类的数据集。如图3所示，使用不同置信度的数据集作为训练样本的人脸检测模型在线上视频数据集上的Precision和Recall比较。Recall高表明人脸检测器能够检测出越多的人脸，Precision高表示检测出来的人脸框占总预测框的比例高及误检率低。由于视频通常存在较大比例的无人脸的连续帧，因此Precision越低，则误检率越高，意味着人脸检测器浪费了不必要的计算在非人脸区域上。通过本申请实施例所提供的方法对筛选出来的训练集进行置信度计算，进而可以对不同训练集进行置信度高低的划分，如图3所示，使用高置信度的训练集可以在几乎不损失Recall的情况下，将人脸检测器在线上视频数据集上的Precision从57.53％提升2.31％至59.84％。这意味着人脸检测器的误检率会降低，减少了对非人脸区域进行不必要的计算浪费。
实施例二
基于相同的发明构思，本申请实施例还提供了一种视频标签的置信度的测量装置，该装置的结构示意图如图4所示，视频标签的置信度的测量装置60，包括第一处理模块601、第二处理模块602和第三处理模块603。
第一处理模块601，用于获取待标记的无标签视频；
第二处理模块602，用于根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；
第三处理模块603，用于根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。
可选地，第二处理模块602，具体用于根据无标签视频，确定无标签视频的总帧数；根据无标签视频的总帧数、漂移常量和预设的尺度常量，确定帧数置信度因子的值，漂移常量用于控制帧数置信度因子沿无标签视频的总帧数位于的坐标轴上移动，尺度常量用于表征帧数置信度因子的陡峭程度。
可选地，无标签视频的总帧数与帧数置信度因子的值呈正比例关系。
可选地，第三处理模块602，具体用于将无标签视频输入至自动化属性标签标注模块，对无标签视频的每一帧的标签类型进行判断，确定无标签视频的每一帧的标签类型为特定属性或非特定属性。
可选地，无标签视频被标记为对应特定属性的标签的置信度与帧数置信度因子的值呈正比例关系。
可选地，第三处理模块603，具体用于根据无标签视频的每一帧的标签类型，确定对应特定属性的标签所标记的帧的第一数量以及对应非特定属性的标签所标记的帧的第二数量；将第一数量与无标签视频的总帧数相除，得到第一比例系数；将第二数量与无标签视频的总帧数相除，得到第二比例系数；将帧数置信度因子的值与第一比例系数相乘，得到无标签视频被标记为对应特定属性的标签的置信度；将帧数置信度因子的值与第二比例系数相乘，得到无标签视频被标记为对应非特定属性的标签的置信度。
可选地，确定漂移常量的方式，包括：
获取无标签视频的时间长度和无标签视频的帧率；
根据时间长度和所述帧率，得到漂移常量。
本申请实施例提供的视频标签的置信度的测量装置中未详述的内容，可参照上述实施例一提供的视频标签的置信度的测量方法，本申请实施例提供的视频标签的置信度的测量装置能够达到的有益效果与上述实施例一提供的视频标签的置信度的测量方法相同，在此不再赘述。
应用本申请实施例，至少具有如下有益效果：
获取待标记的无标签视频；根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。本申请实施例的方案，实现了对无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度进行测量，评估无标签视频被标记标签的置信度，从而获得各种属性的标签的置信度，各种属性的标签的置信度可以用来选取置信度高的视频标签以及筛除置信度低的视频标签，帮助行为识别算法获得更加可靠的训练或测试样本，也可以帮助推荐系统获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。
实施例三
基于相同的发明构思，本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图5所示，该电子设备6000包括至少一个处理器6001、存储器6002和总线6003，至少一个处理器6001均与存储6002电连接；存储器6002被配置用于存储有至少一个计算机可执行指令，处理器6001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请实施例一中任意一个实施例或任意一种可选实施方式提供的任意一种视频标签的置信度的测量方法的步骤。
进一步，处理器6001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。
应用本申请实施例，至少具有如下有益效果：
获取待标记的无标签视频；根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。本申请实施例的方案，实现了对无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度进行测量，评估无标签视频被标记标签的置信度，从而获得各种属性的标签的置信度，各种属性的标签的置信度可以用来选取置信度高的视频标签以及筛除置信度低的视频标签，帮助行为识别算法获得更加可靠的训练或测试样本，也可以帮助推荐系统获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。
实施例四
基于相同的发明构思，本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请实施例一中任意一个实施例或任意一种可选实施方式提供的任意一种视频标签的置信度的测量步骤。
本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
应用本申请实施例，至少具有如下有益效果：
获取待标记的无标签视频；根据无标签视频，确定帧数置信度因子的值和无标签视频的每一帧的标签类型，帧数置信度因子用于表征无标签视频的总帧数对于无标签视频被标记为对应特定属性的标签的贡献程度，标签类型包括特定属性、非特定属性中的任意一项；根据无标签视频的总帧数、帧数置信度因子的值和无标签视频的每一帧的标签类型，确定无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度。本申请实施例的方案，实现了对无标签视频被标记为对应特定属性的标签的置信度以及无标签视频被标记为对应非特定属性的标签的置信度进行测量，评估无标签视频被标记标签的置信度，从而获得各种属性的标签的置信度，各种属性的标签的置信度可以用来选取置信度高的视频标签以及筛除置信度低的视频标签，帮助行为识别算法获得更加可靠的训练或测试样本，也可以帮助推荐系统获得各种属性的标签的置信度，进而提高行为识别算法或者推荐系统的准确率。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本申请公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种视频标签的置信度的测量方法，其特征在于，包括：
获取待标记的无标签视频；
根据所述无标签视频，确定帧数置信度因子的值和所述无标签视频的每一帧的标签类型，所述帧数置信度因子用于表征所述无标签视频的总帧数对于所述无标签视频被标记为对应特定属性的标签的贡献程度，所述标签类型包括特定属性、非特定属性中的任意一项；
根据所述无标签视频的总帧数、所述帧数置信度因子的值和所述无标签视频的每一帧的标签类型，确定所述无标签视频被标记为对应所述特定属性的标签的置信度以及所述无标签视频被标记为对应所述非特定属性的标签的置信度；
所述根据所述无标签视频，确定帧数置信度因子的值，包括：
根据所述无标签视频，确定所述无标签视频的总帧数；
根据所述无标签视频的总帧数、漂移常量和预设的尺度常量，确定所述帧数置信度因子的值，所述漂移常量用于控制所述帧数置信度因子沿所述无标签视频的总帧数位于的坐标轴上移动，所述尺度常量用于表征所述帧数置信度因子的陡峭程度。
2.根据权利要求1所述的方法，其特征在于，所述无标签视频的总帧数与所述帧数置信度因子的值呈正比例关系。
3.根据权利要求1所述的方法，其特征在于，所述根据所述无标签视频，确定所述无标签视频的每一帧的标签类型，包括：
将所述无标签视频输入至自动化属性标签标注模块，对所述无标签视频的每一帧的标签类型进行判断，确定所述无标签视频的每一帧的标签类型为所述特定属性或所述非特定属性。
4.根据权利要求3所述的方法，其特征在于，所述无标签视频被标记为对应所述特定属性的标签的置信度与所述帧数置信度因子的值呈正比例关系。
5.根据权利要求1所述的方法，其特征在于，所述根据所述无标签视频的总帧数、所述帧数置信度因子的值和所述无标签视频的每一帧的标签类型，确定所述无标签视频被标记为对应所述特定属性的标签的置信度以及所述无标签视频被标记为对应所述非特定属性的标签的置信度，包括：
根据所述无标签视频的每一帧的标签类型，确定对应所述特定属性的标签所标记的帧的第一数量以及对应所述非特定属性的标签所标记的帧的第二数量；
将所述第一数量与所述无标签视频的总帧数相除，得到第一比例系数；
将所述第二数量与所述无标签视频的总帧数相除，得到第二比例系数；
将所述帧数置信度因子的值与所述第一比例系数相乘，得到所述无标签视频被标记为对应所述特定属性的标签的置信度；
将所述帧数置信度因子的值与所述第二比例系数相乘，得到所述无标签视频被标记为对应所述非特定属性的标签的置信度。
6.根据权利要求1所述的方法，其特征在于，确定所述漂移常量的方式，包括：
获取所述无标签视频的时间长度和所述无标签视频的帧率；
根据所述时间长度和所述帧率，得到所述漂移常量。
7.一种视频标签的置信度的测量装置，其特征在于，包括：
第一处理模块，用于获取待标记的无标签视频；
第二处理模块，用于根据所述无标签视频，确定帧数置信度因子的值和所述无标签视频的每一帧的标签类型，所述帧数置信度因子用于表征所述无标签视频的总帧数对于所述无标签视频被标记为对应特定属性的标签的贡献程度，所述标签类型包括特定属性、非特定属性中的任意一项；
第三处理模块，用于根据所述无标签视频的总帧数、所述帧数置信度因子的值和所述无标签视频的每一帧的标签类型，确定所述无标签视频被标记为对应所述特定属性的标签的置信度以及所述无标签视频被标记为对应所述非特定属性的标签的置信度；
所述第二处理模块，具体用于：
根据所述无标签视频，确定所述无标签视频的总帧数；
根据所述无标签视频的总帧数、漂移常量和预设的尺度常量，确定所述帧数置信度因子的值，所述漂移常量用于控制所述帧数置信度因子沿所述无标签视频的总帧数位于的坐标轴上移动，所述尺度常量用于表征所述帧数置信度因子的陡峭程度。
8.一种电子设备，其特征在于，包括：处理器、存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行如权利要求1-6中任一项所述的视频标签的置信度的测量的方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序用于被处理器执行时实现如权利要求1-6中任一项所述的视频标签的置信度的测量的方法。
CN201911082733.3A 2019-11-07 2019-11-07 视频标签的置信度的测量方法、装置、设备及存储介质 Active CN110837805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911082733.3A CN110837805B (zh) 2019-11-07 2019-11-07 视频标签的置信度的测量方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911082733.3A CN110837805B (zh) 2019-11-07 2019-11-07 视频标签的置信度的测量方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110837805A CN110837805A (zh) 2020-02-25
CN110837805B true CN110837805B (zh) 2023-04-07

Family

ID=69574622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911082733.3A Active CN110837805B (zh) 2019-11-07 2019-11-07 视频标签的置信度的测量方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110837805B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812544A (zh) * 2006-02-22 2006-08-02 山东省计算中心 目标样本随机标记、检测方法及其视频数字水印加密应用
CN102014295A (zh) * 2010-11-19 2011-04-13 嘉兴学院 一种网络敏感视频检测方法
CN103854016A (zh) * 2014-03-27 2014-06-11 北京大学深圳研究生院 基于方向性共同发生特征的人体行为分类识别方法及系统
CN109862394A (zh) * 2019-03-27 2019-06-07 北京周同科技有限公司 视频内容的审核方法、装置、设备和存储介质
CN109960745A (zh) * 2019-03-20 2019-07-02 网易（杭州）网络有限公司 视频分类处理方法及装置、存储介质和电子设备
CN110222649A (zh) * 2019-06-10 2019-09-10 北京达佳互联信息技术有限公司 视频分类方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983192B2 (en) * 2011-11-04 2015-03-17 Google Inc. High-confidence labeling of video volumes in a video sharing service

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1812544A (zh) * 2006-02-22 2006-08-02 山东省计算中心 目标样本随机标记、检测方法及其视频数字水印加密应用
CN102014295A (zh) * 2010-11-19 2011-04-13 嘉兴学院 一种网络敏感视频检测方法
CN103854016A (zh) * 2014-03-27 2014-06-11 北京大学深圳研究生院 基于方向性共同发生特征的人体行为分类识别方法及系统
CN109960745A (zh) * 2019-03-20 2019-07-02 网易（杭州）网络有限公司 视频分类处理方法及装置、存储介质和电子设备
CN109862394A (zh) * 2019-03-27 2019-06-07 北京周同科技有限公司 视频内容的审核方法、装置、设备和存储介质
CN110222649A (zh) * 2019-06-10 2019-09-10 北京达佳互联信息技术有限公司 视频分类方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yu-Syuan Xu 等.Dynamic Video Segmentation Network.《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》.2018,6556-6565. *
孙宇.基于深度学习的个性化推荐系统的研究与实现.《中国优秀硕士学位论文全文数据库 信息科技辑》.2019,(第9期),I138-1449. *

Also Published As

Publication number Publication date
CN110837805A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
CN110929622B (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN113742387A (zh) 数据处理方法、设备及计算机可读存储介质
CN112818821B (zh) 基于可见光和红外光的人脸采集源检测方法和装置
CN113222149B (zh) 模型训练方法、装置、设备和存储介质
CN111950812B (zh) 一种自动识别与预测雨量的方法及其装置
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN113129335A (zh) 一种基于孪生网络的视觉跟踪算法及多模板更新策略
CN113706481A (zh) 精子质量检测方法、装置、计算机设备和存储介质
CN113569627A (zh) 人体姿态预测模型训练方法、人体姿态预测方法及装置
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN116612417A (zh) 利用视频时序信息的特殊场景车道线检测方法及装置
CN114565803A (zh) 用于提取难样本的方法、装置及机械设备
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN110837805B (zh) 视频标签的置信度的测量方法、装置、设备及存储介质
CN116453226A (zh) 基于人工智能的人体姿态识别方法、装置及相关设备
Sameki et al. ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently.
CN113868597B (zh) 一种用于年龄估计的回归公平性度量方法
CN113824989B (zh) 一种视频处理方法、装置和计算机可读存储介质
CN115527083A (zh) 图像标注方法、装置和电子设备
CN115131826A (zh) 物品检测识别方法、网络模型的训练方法和装置
CN112446428B (zh) 一种图像数据处理方法及装置
CN112989869B (zh) 人脸质量检测模型的优化方法、装置、设备及存储介质
CN111582404B (zh) 内容分类方法、装置及可读存储介质
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN110826471A (zh) 视频标签的标注方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021155

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant