CN112949709A - 图像数据标注方法、装置、电子设备和存储介质 - Google Patents

图像数据标注方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112949709A
CN112949709A CN202110219060.2A CN202110219060A CN112949709A CN 112949709 A CN112949709 A CN 112949709A CN 202110219060 A CN202110219060 A CN 202110219060A CN 112949709 A CN112949709 A CN 112949709A
Authority
CN
China
Prior art keywords
image data
annotated
image
marked
quality score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110219060.2A
Other languages
English (en)
Inventor
郑川川
徐宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110219060.2A priority Critical patent/CN112949709A/zh
Publication of CN112949709A publication Critical patent/CN112949709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种图像数据标注方法、装置、电子设备和存储介质，所述方法包括：提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库；根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据；根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据；基于所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。

Description

图像数据标注方法、装置、电子设备和存储介质
技术领域
本公开涉及互联网技术领域，尤其涉及一种图像数据标注方法、图像数据标注装置、电子设备及计算机可读存储介质。
背景技术
伴随着视频社交网络的兴起，爆炸增长的视频数据越发需要计算机进行快速的处理和分析。其中，视频质量分析占有举足轻重的地位，广泛应用在推荐、搜索等场景中。深度学习的火热又催生了基于深度学习的图像/视频的质量分析课题，而在这些课题中，有质量标注的无参考数据集成为决定模型表现优劣的一个重要因素，一个好的图像数据标注方法能决定无参考数据构建的速度和质量。
当前无参考质量图像数据集的标注大多采用5-point绝对分数的方式进行标注，通过用户对单刺激图片观察之后进行1-5等级的打分。因为单个用户打分存在主观偏差，经常会通过多个用户打分取平均值的方式来消除主观偏差。以当前公开数据集KonIQ-10k数据为例，每个图片的打分都至少经过120次标注，以1000张图片为例，这将需要至少12万次标注人力，对于日常标注是非常耗时耗力并且不太实际。如果重新组织人力标注，因为标注人力不同，可能会导致新标注的数据集与已标注图像数据集标注存在分布的主观偏差，不能够完全作为已标注图像数据集的补充，从而需要进行分数分布的验证和一致性验证。
发明内容
本公开提供一种图像数据标注方法、图像数据标注装置、电子设备及计算机可读存储介质，以至少解决相关技术中的标注图像数据需要的复杂度过高的问题，也可不解决任何上述问题。
根据本公开的实施例的第一方面，提供了一种图像数据标注方法，包括：提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库；根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据；根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据；基于所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。
根据本公开的实施例的第一方面，所述特征集是通过卷积神经网络得到的图像数据的全局池化的多维场景特征集。
根据本公开的实施例的第一方面，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据包括：根据与待标注图像数据的场景特征之间的欧式距离来确定相似的多个已标注图像数据。
根据本公开的实施例的第一方面，所述将所述多个已标注图像数据和待标注图像数据提供给标注者，并根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据包括：根据所述相似的多个已标注图像数据的图像质量分数对所述相似的多个已标注图像数据进行排序；通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据。
根据本公开的实施例的第一方面，所述通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据包括：将所述相似的多个已标注图像数据中具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据一起提供给标注者进行对比；响应于从标注者获得的对比结果指示待标注图像数据的图像质量分数高于或低于锚定图像数据，从所述相似的多个已标注图像数据中具有比锚定图像数据更高或更低的图像质量分数的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据提供给标注者进行对比，直到根据对比结果确定出与待标注图像数据的图像质量分数最接近的已标注图像数据。
根据本公开的实施例的第一方面，所述基于最接近的已标注图像数据的图像质量分数来标注所述待标注图像数据包括：响应于确定所述待标注图像数据的图像质量分数在两个已标注图像数据的图像质量分数之间，将所述两个已标注图像数据的图像质量分数的平均值确定为待标注图像数据的图像质量分数。
根据本公开的实施例的第一方面，所述基于所述最接近的已标注图像数据的图像质量分数来标注所述待标注图像数据包括：响应于确定所述待标注图像数据的图像质量分数高于或低于所述相似的多个已标注图像数据中的所有数据，基于所述相似的多个已标注图像数据中的最高图像质量分数或最低图像质量分数获得所述待标注图像数据的图像质量分数。
根据本公开的实施例的第一方面，所述基于所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数包括：将多个标注者对所述待标注图像数据的标注之后得到的图像质量分数的平均值作为所述待标注图像数据的最终图像质量分数。
根据本公开的实施例的第二方面，提供了一种图像数据标注装置，包括：特征提取单元，被配置为提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库；检索单元，被配置为根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据；数据对比单元，被配置为根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据；标注参数获取单元，被配置为基于所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。
根据本公开的实施例的第二方面，所述特征集是通过卷积神经网络得到的图像数据的全局池化的多维场景特征集。
根据本公开的实施例的第二方面，所述检索单元被配置为根据与待标注图像数据的场景特征之间的欧式距离来选择相似的多个已标注图像数据。
根据本公开的实施例的第二方面，所述数据对比单元包括：排序单元，被配置为根据所述相似的多个已标注图像数据的图像质量分数对所述相似的多个已标注图像数据进行排序；查找单元，被配置为通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据。
根据本公开的实施例的第二方面，所述查找单元被配置为：将所述相似的多个已标注图像数据中具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据一起提供给标注者进行对比；响应于从标注者获得的对比结果指示待标注图像数据的图像质量分数高于或低于锚定图像数据，从所述相似的多个已标注图像数据中具有比锚定图像数据更高或更低的图像质量分数的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据提供给标注者进行对比，直到根据对比结果确定出与待标注图像数据的图像质量分数最接近的已标注图像数据。
根据本公开的实施例的第二方面，所述标注参数获取单元被配置为：响应于确定所述待标注图像数据的图像质量分数在两个已标注图像数据的图像质量分数之间，将所述两个已标注图像数据的图像质量分数的平均值确定为待标注图像数据的图像质量分数。
根据本公开的实施例的第二方面，所述标注参数获取单元被配置为：响应于确定所述待标注图像数据的图像质量分数高于或低于所述相似的多个已标注图像数据中的所有数据，基于所述相似的多个已标注图像数据中的最高图像质量分数或最低图像质量分数获得所述待标注图像数据的图像质量分数。
根据本公开的实施例的第二方面，所述标注参数获取单元被配置为将多个标注者对所述待标注图像数据的标注之后得到的图像质量分数的平均值作为所述待标注图像数据的最终图像质量分数。
根据本公开的实施例的第三方面，提供了一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图像数据标注方法。
根据本公开的实施例的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由至少一个处理器执行时，使得所述至少一个处理器能够执行如上所述的图像数据标注方法。
根据本公开的实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品中的指令被至少一个处理器运行以执行如上所述的图像数据标注方法。
本公开的实施例提供的技术方案至少带来以下有益效果：可以根据编码器在编码路径下的实际的性能指标来评价编码路径的性能并确定最佳的编码路径，因此可针对特定场景获取更准确的帧类型路径，并且可根据需要对性能指标进行限定从而得到符合期望的编码路径方案。该路径不仅可以用于提升视频编码的压缩性能，节省大量的带宽费用，同样可以为不同配置提供训练数据中的参考值，以达到策略调优的目的。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是示出根据本公开的示例性实施例的图像数据标注方法的流程图。
图2是示出根据本公开的示例性实施例的图像数据标注装置的框图。
图3是示出根据本公开的示例性实施例的用于图像数据标注的电子设备的示意图。
图4是示出根据另一示例性实施例示出的用于图像数据标注的电子设备的示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
在对本公开的实施例进行详细说明以前，先对本公开的实施例可能涉及到的一些术语或缩略语进行说明。
图1是根据本公开的示例性实施例的图像数据标注方法的流程图。
标注可以理解为对训练数据添加标签和/或对数据进行评价。例如，对图像中的目标进行标注时，添加的标签可以包括是否为用户、是否为车辆等；对图像进行评价例如可包括对图像的质量进行打分，例如，考虑图像的分辨率、锐度、白平衡等综合给出一个1-10中的一个分数等。在以下说明中，以图像数据的质量进行打分作为示例来对根据本公开的示例性实施例的图像数据标注方法进行说明，但应理解，本公开的示例性实施例的图像数据标注方法也可应用于其他标注场景。
首先，在步骤S110，提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库。
这里，可通过各种公开数据集和深度学习神经网络来获取已标注图像数据集并提取特征集。例如，可通过公开的places365数据集上训练的场景分类深度学习神经网络(例如，resnet 50)来获取已标注图像数据集和待标注图像数据集的场景特征集(例如，2048维场景特征集)。这里，场景特征例如可以包括风景、人物、室内、室外等场景特征参数。特征集可以是通过卷积神经网络得到的图像数据的全局池化的多维场景特征集，例如，可以是resnet 50最后一层卷积层经过全局池化后的特征集。然后，可基于已标注图像数据集(例如，KonIQ-10k)上提取的场景特征集建立特征索引库。根据本公开的示例性实施例，可采用二叉树的方式来建立特征索引库。具体地，针对大量数据来说，随机选择两个点为初始中心节点，执行聚类为2的kmeans过程，最终收敛为两个聚类中心，以这两个聚类中心连线的中心垂线将特征空间分成两部分，再依次分别对分割出来的两个子空间进行类似的聚类过程，直到每个子空间最多只剩下K个数据节点。这样就完成了一个特征索引库的建立过程。
接下来，在步骤S120，根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据。例如，可从待标注图像数据集中随机选择一张待标注图像，然后在已经提取好的场景特征集合中提取出与该待标注图像相应的场景特征，利用场景特征在之前我们建立的场景索引库中进行检索，提取最接近的N个已标注图像集合。N可以是根据需要预先设置的整数，可以保证在具有较好的标注效果的前提下减少后续的选择对比的次数。根据本公开的示例性实施例，可根据与待标注图像的场景特征之间的欧式距离来选择相似的多个已标注图像。
然后，在步骤S130，根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据。最后，在步骤S140，根据所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。
通过以上的操作，可以缩小标注图像数据所参考的已标注图像数据范围，通过已标注图像数据和待标注图像数据的双刺激对比，结合了人工标注和人工智能识别的优势，降低了标注所需的人力需求。
根据本公开的示例性实施例，在步骤S130，可根据所述相似的多个已标注图像数据的图像质量分数对所述相似的多个已标注图像数据进行排序，通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据并从标注者获取对比结果，然后根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据。
具体地，可将所述相似的多个已标注图像数据中具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据一起提供给标注者进行对比，响应于从标注者获得的对比结果指示待标注图像数据的图像质量分数高于或低于锚定图像数据，从所述相似的多个已标注图像数据中具有比锚定图像数据更高或更低的图像质量分数的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据提供给标注者进行对比，直到根据对比结果确定出与待标注图像数据的图像质量分数最接近的已标注图像数据。
也就是说，响应于标注者对待标注图像数据给出更高评价，在所述相似的多个已标注图像数据中图像质量分数更高的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据进行对比，或者响应于标注者对待标注图像数据给出更低评价，在所述相似的多个已标注图像数据中图像质量分数更低的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据进行对比。重复执行上述的对比的过程直到找出所述相似的多个已标注图像数据中被标注者评价出的与待标注图像数据的图像质量分数最接近的已标注图像数据。
例如，如果对待标注图像的质量和已标注图像的质量进行对比，可将待标注图像和如上的二分查找确定的已标注图像一起显示给标注者，并在用户界面上提供诸如“相似”、“更高”、“更低”等选项，从而可以得到标注者对于待标注图像和已标注图像的对比结果。
通过上述的二分查找法，可以快速地从多个候选已标注图像数据中找出标注者认为的具有与待标注图像数据最接近的图像质量分数的对象，从而可以提高标注效率并且节约人力成本。应理解，二分查找法仅是快速查找与待标注图像数据最接近的已标注图像数据的示例，本领域的技术人员可采用其他的查找方式。
例如，如果在步骤S120获取了11个与待标注图像的场景特征相似的已标注图像，其质量分数按照从低到高的顺序分别为n1～n11，则可以从中找出分数为n6的已标注图像，将其与待标注图像形成标注对提供给标注者，让标注者选择其认为质量更好的一张图像。接下来，后台算法根据标注者的选择，从剩余的10个已标注图像中选择下一个要对比的锚定图像。如果标注者上一次的选择是锚定图像的质量更好(即，锚定图像的质量打分更高)，则从质量分数比当前的锚定图像更低的5个已标注图像中选择具有中间质量分数n3的已标注图像作为锚定图像，提供给标注者与待标注图像进行对比，依次类推，直到找到标注者选择的与待标注图像的质量分数最接近的已标注图像。
根据本公开的示例性实施例，在步骤S140，如果已经找到了与待标注图像数据最接近的已标注图像数据，则可将该数据的图像质量分数赋予待标注图像数据作为其最终的图像质量分数。
如果标注者对待标注图像数据的图像质量分数的最终对比结果在两个已标注图像数据的图像质量分数之间，则将所述两个已标注图像数据的图像质量分数的平均值确定为待标注图像数据的图像质量分数。例如，在以上的示例中，如果标注者最终的对比结果是待标注图像的质量分数高于n4但是低于n5，则可将n4+n5/2作为待标注图像的最终质量分数。
如果标注者对所述待标注图像数据的图像质量分数的最终对比结果为高于或低于所述相似的多个已标注图像数据中的所有数据，基于所述相似的多个已标注图像数据中的最高图像质量分数或最低图像质量分数获得所述待标注图像数据的图像质量分数。例如，在以上的示例中，如果标注者最终的对比结果是待标注图像的质量分数高于11个已标注图像的质量分数，则可将n11的分数值加0.5之后作为待标注图像的最终质量分数。如果标注者最终的对比结果是待标注图像的质量分数低于11个已标注图像的质量分数，则可将n1的分数值减去0.5之后作为待标注图像的最终质量分数。
应理解，以上的针对待标注图像数据的图像质量分数的处理方式仅是示意性的，本领域的技术人员可根据实际需要进行调整。
根据本公开的示例性实施例，可将多个标注者对所述待标注图像数据的标注之后得到的图像质量分数的平均值作为所述待标注图像数据的最终图像质量分数。例如，可以通过取5个标注者的平均分作为最终的标注，最大限度的消除不大的主观偏差。这样，在小范围的模型迭代中就可以利用较少的人力完成高置信度的标注，相比于原始5point ACR的标注中动辄需要120个标注人力的方式，极大地减少了人力。同时，通过对比标注者完成的时间，虽然单个标注人力花费时间增多，但是5个标注人力整体标注时间与120个标注人力相比还是减少了很多，方便了日常标注。
图2是示出根据本公开的示例性实施例的图像数据标注装置的框图。
如图2所示，根据本公开的示例性实施例的图像数据标注装置200可包括特征提取单元210、检索单元220、数据对比单元230和标注参数获取单元240。
根据本公开的示例性实施例，特征提取单元210被配置为提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库。
检索单元220被配置为根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据。
数据对比单元230被配置为根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据。
标注参数获取单元240被配置为根据所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。
根据本公开的示例性实施例，所述已标注图像数据和待标注图像数据是图像数据，所述特征集是通过卷积神经网络得到的图像数据的全局池化的多维场景特征集，所述图像质量分数是图像质量分数。
根据本公开的示例性实施例，检索单元220被配置为根据与待标注图像的场景特征之间的欧式距离来选择相似的多个已标注图像。
根据本公开的示例性实施例，数据对比单元230可包括：排序单元231，被配置为根据所述相似的多个已标注图像数据的图像质量分数对所述相似的多个已标注图像数据进行排序；查找单元232，被配置为通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据。
根据本公开的示例性实施例，查找单元232被配置为：将所述相似的多个已标注图像数据中具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据一起提供给标注者进行对比；响应于从标注者获得的对比结果指示待标注图像数据的图像质量分数高于或低于锚定图像数据，从所述相似的多个已标注图像数据中具有比锚定图像数据更高或更低的图像质量分数的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据提供给标注者进行对比，直到根据对比结果确定出与待标注图像数据的图像质量分数最接近的已标注图像数据。
根据本公开的示例性实施例，标注参数获取单元240被配置为：响应于确定所述待标注图像数据的图像质量分数在两个已标注图像数据的图像质量分数之间，将所述两个已标注图像数据的图像质量分数的平均值确定为待标注图像数据的图像质量分数。
根据本公开的示例性实施例，标注参数获取单元240被配置为：响应于确定所述待标注图像数据的图像质量分数高于或低于所述相似的多个已标注图像数据中的所有数据，基于所述相似的多个已标注图像数据中的最高图像质量分数或最低图像质量分数获得所述待标注图像数据的图像质量分数。
根据本公开的示例性实施例，标注参数获取单元240被配置为将多个标注者对所述待标注图像数据的标注之后得到的图像质量分数的平均值作为所述待标注图像数据的最终图像质量分数。
以上已经参照图1对图2的图像数据标注装置200的特征提取单元210、检索单元220、数据对比单元230和标注参数获取单元240所指向的特征提取、索引检索、相似数据查找以及图像质量分数获取的过程进行了详细描述，在此不再进行重复描述。
图3是示出根据本公开的示例性实施例的一种用于图像数据标注的电子设备300的结构框图。该电子设备300例如可以是：智能手机、平板电脑、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备300还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备300包括有：处理器301和存储器302。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。在本公开的示例性实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本公开的如图1所示的方法实施例提供的视频编码方法。
在一些实施例中，电子设备300还可选包括有：外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口303相连。具体地，外围设备包括：射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，设置在电子设备300的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在终端300的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在终端300的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地，摄像头组件306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器301进行处理，或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路307还可以包括耳机插孔。
定位组件308用于定位电子设备300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源309用于为电子设备300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备300还包括有一个或多个传感器310。该一个或多个传感器310包括但不限于：加速度传感器311、陀螺仪传感器312、压力传感器313、指纹传感器314、光学传感器315以及接近传感器316。
加速度传感器311可以检测以终端300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器311可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器311采集的重力加速度信号，控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器312可以检测终端300的机体方向及转动角度，陀螺仪传感器312可以与加速度传感器311协同采集用户对终端300的3D动作。处理器301根据陀螺仪传感器312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器313可以设置在终端300的侧边框和/或触摸显示屏305的下层。当压力传感器313设置在终端300的侧边框时，可以检测用户对终端300的握持信号，由处理器301根据压力传感器313采集的握持信号进行左右手识别或快捷操作。当压力传感器313设置在触摸显示屏305的下层时，由处理器301根据用户对触摸显示屏305的压力操作，实现对UI上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器314用于采集用户的指纹，由处理器301根据指纹传感器314采集到的指纹识别用户的身份，或者，由指纹传感器314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器314可以被设置电子设备300的正面、背面或侧面。当电子设备300上设置有物理按键或厂商Logo时，指纹传感器314可以与物理按键或厂商Logo集成在一起。
光学传感器315用于采集环境光强度。在一个实施例中，处理器301可以根据光学传感器315采集的环境光强度，控制触摸显示屏305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏305的显示亮度；当环境光强度较低时，调低触摸显示屏305的显示亮度。在另一个实施例中，处理器301还可以根据光学传感器315采集的环境光强度，动态调整摄像头组件306的拍摄参数。
接近传感器316，也称距离传感器，通常设置在电子设备300的前面板。接近传感器316用于采集用户与电子设备300的正面之间的距离。在一个实施例中，当接近传感器316检测到用户与终端300的正面之间的距离逐渐变小时，由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态；当接近传感器316检测到用户与电子设备300的正面之间的距离逐渐变大时，由处理器301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图3中示出的结构并不构成对电子设备300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图4所示为另一种电子设备400的结构框图。例如，电子设备400可以被提供为一服务器。参照图4，电子设备400包括一个或多个处理处理器410以及存储器420。存储器420可以包括用于执行以上的图像数据标注方法的一个或一个以上的程序。电子设备500还可以包括一个电源组件530被配置为执行电子设备400的电源管理，一个有线或无线网络接口440被配置为将电子设备400连接到网络，和一个输入输出(I/O)接口450。电子设备400可以操作基于存储在存储器420的操作系统，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或类似。
根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的图像数据标注方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述方法。
根据本公开的图像数据标注方法、装置以及电子设备、计算机可读存储介质提供了一种在基于图像语义信息动态查找标注锚定图像数据之后进行双刺激标注的迭代标注方式，可以降低人力需求从而满足日常标注。本公开的图像数据标注方法和装置可以在保证标注一致性的前提下快速扩充当前已有标注图像数据集，以一种增量标注的方式增大现有标注图像数据集，从而促进深度模型的效果提升和在产业界的快速落地。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像数据标注方法，其特征在于，包括：
提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库；
根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据；
根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据；
基于所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。
2.如权利要求1所述的方法，其特征在于，所述根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据包括：
根据所述相似的多个已标注图像数据的图像质量分数对所述相似的多个已标注图像数据进行排序；
通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据。
3.如权利要求2所述的方法，其特征在于，所述通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据包括：
将所述相似的多个已标注图像数据中具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据一起提供给标注者进行对比；
响应于从标注者获得的对比结果指示待标注图像数据的图像质量分数高于或低于锚定图像数据，从所述相似的多个已标注图像数据中具有比锚定图像数据更高或更低的图像质量分数的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据提供给标注者进行对比，直到根据对比结果确定出与待标注图像数据的图像质量分数最接近的已标注图像数据。
4.如权利要求3所述的方法，其特征在于，所述基于最接近的已标注图像数据的图像质量分数来标注所述待标注图像数据包括：
响应于确定所述待标注图像数据的图像质量分数在两个已标注图像数据的图像质量分数之间，将所述两个已标注图像数据的图像质量分数的平均值确定为待标注图像数据的图像质量分数。
5.如权利要求3所述的方法，其特征在于，所述基于所述最接近的已标注图像数据的图像质量分数来标注所述待标注图像数据包括：
响应于确定所述待标注图像数据的图像质量分数高于或低于所述相似的多个已标注图像数据中的所有数据，基于所述相似的多个已标注图像数据中的最高图像质量分数或最低图像质量分数获得所述待标注图像数据的图像质量分数。
6.一种图像数据标注装置，包括：
特征提取单元，被配置为提取待标注图像数据集和已标注图像数据集的特征集，并根据已标注图像数据集的场景特征集建立特征索引库；
检索单元，被配置为根据待标注图像数据的特征，从建立的特征索引库中检索与待标注图像数据的特征相似的多个已标注图像数据；
数据对比单元，被配置为根据标注者对所述多个已标注图像数据与待标注图像数据的图像质量的对比来确定与待标注图像数据的图像质量最接近的已标注图像数据；
标注参数获取单元，被配置为基于所述最接近的已标注图像数据的图像质量分数来获得所述待标注图像数据的图像质量分数。
7.如权利要求6所述的装置，其特征在于，所述数据对比单元包括：
排序单元，被配置为根据所述相似的多个已标注图像数据的图像质量分数对所述相似的多个已标注图像数据进行排序；
查找单元，被配置为通过二分查找在排序后的多个已标注图像数据中确定将用于与待标注图像数据进行对比的已标注图像数据，并根据标注者的对比结果确定所述多个已标注图像数据中与待标注图像数据的图像质量分数最接近的已标注图像数据。
8.如权利要求7所述的装置，其特征在于，所述查找单元被配置为：
将所述相似的多个已标注图像数据中具有中间图像质量分数的已标注图像数据作为锚定图像数据与待标注图像数据一起提供给标注者进行对比；
响应于从标注者获得的对比结果指示待标注图像数据的图像质量分数高于或低于锚定图像数据，从所述相似的多个已标注图像数据中具有比锚定图像数据更高或更低的图像质量分数的剩余已标注图像数据中选择具有中间图像质量分数的已标注图像数据作为锚定图像数据提供给标注者进行对比，直到根据对比结果确定出与待标注图像数据的图像质量分数最接近的已标注图像数据。
9.一种电子设备，其特征在于，包括：
至少一个处理器；
至少一个存储计算机可执行指令的存储器，
其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到5中的任一权利要求所述的图像数据标注方法。
10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由至少一个处理器执行时，使得所述至少一个处理器能够执行如权利要求1至5中任一项所述的图像数据标注方法。
CN202110219060.2A 2021-02-26 2021-02-26 图像数据标注方法、装置、电子设备和存储介质 Pending CN112949709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110219060.2A CN112949709A (zh) 2021-02-26 2021-02-26 图像数据标注方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110219060.2A CN112949709A (zh) 2021-02-26 2021-02-26 图像数据标注方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112949709A true CN112949709A (zh) 2021-06-11

Family

ID=76246557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219060.2A Pending CN112949709A (zh) 2021-02-26 2021-02-26 图像数据标注方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112949709A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114801100A (zh) * 2022-04-26 2022-07-29 健大电业制品（昆山）有限公司 一种注塑制品分选装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160247034A1 (en) * 2015-02-24 2016-08-25 Samsung Electronics Co., Ltd. Method and apparatus for measuring the quality of an image
CN106557728A (zh) * 2015-09-30 2017-04-05 佳能株式会社 查询图像处理和图像检索方法和装置以及监视系统
CN109120919A (zh) * 2018-09-10 2019-01-01 易诚高科（大连）科技有限公司 一种针对图像质量主观评测的自动分析系统与方法
CN109389591A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于彩色描述子的彩色图像质量评价方法
CN109671051A (zh) * 2018-11-15 2019-04-23 北京市商汤科技开发有限公司 图像质量检测模型训练方法及装置、电子设备和存储介质
CN110647886A (zh) * 2019-09-19 2020-01-03 北京百度网讯科技有限公司 兴趣点标注方法、装置、计算机设备和存储介质
CN111275683A (zh) * 2020-01-20 2020-06-12 上海云从汇临人工智能科技有限公司 图像质量评分处理方法、系统、设备及介质
CN111814620A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN112016053A (zh) * 2020-08-25 2020-12-01 北京金山云网络技术有限公司 数据标注的考核方法、装置和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160247034A1 (en) * 2015-02-24 2016-08-25 Samsung Electronics Co., Ltd. Method and apparatus for measuring the quality of an image
CN106557728A (zh) * 2015-09-30 2017-04-05 佳能株式会社 查询图像处理和图像检索方法和装置以及监视系统
CN109120919A (zh) * 2018-09-10 2019-01-01 易诚高科（大连）科技有限公司 一种针对图像质量主观评测的自动分析系统与方法
CN109389591A (zh) * 2018-09-30 2019-02-26 西安电子科技大学 基于彩色描述子的彩色图像质量评价方法
CN109671051A (zh) * 2018-11-15 2019-04-23 北京市商汤科技开发有限公司 图像质量检测模型训练方法及装置、电子设备和存储介质
CN110647886A (zh) * 2019-09-19 2020-01-03 北京百度网讯科技有限公司 兴趣点标注方法、装置、计算机设备和存储介质
CN111275683A (zh) * 2020-01-20 2020-06-12 上海云从汇临人工智能科技有限公司 图像质量评分处理方法、系统、设备及介质
CN111814620A (zh) * 2020-06-28 2020-10-23 浙江大华技术股份有限公司 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN112016053A (zh) * 2020-08-25 2020-12-01 北京金山云网络技术有限公司 数据标注的考核方法、装置和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114801100A (zh) * 2022-04-26 2022-07-29 健大电业制品（昆山）有限公司 一种注塑制品分选装置
CN114801100B (zh) * 2022-04-26 2023-04-07 健大电业制品（昆山）有限公司 一种注塑制品分选装置
CN116423785A (zh) * 2022-04-26 2023-07-14 健大电业制品（昆山）有限公司 一种注塑质量预警装置
CN116423785B (zh) * 2022-04-26 2023-11-24 健大精密电子(山东)有限公司 一种注塑制品分选装置

Similar Documents

Publication Publication Date Title
EP3985990A1 (en) Video clip positioning method and apparatus, computer device, and storage medium
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN110134804B (zh) 图像检索方法、装置及存储介质
CN109189879B (zh) 电子书籍显示方法及装置
CN109918669B (zh) 实体确定方法、装置及存储介质
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
CN111182453A (zh) 定位方法、装置、电子设备及存储介质
CN111611490A (zh) 资源搜索方法、装置、设备及存储介质
WO2022057435A1 (zh) 基于搜索的问答方法及存储介质
WO2019105457A1 (zh) 图像处理方法、计算机设备和计算机可读存储介质
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN113010740A (zh) 词权重的生成方法、装置、设备及介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN111984803B (zh) 多媒体资源处理方法、装置、计算机设备及存储介质
WO2020238205A1 (zh) 同源音频的音质检测方法、装置及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN112667844A (zh) 检索音频的方法、装置、设备和存储介质
CN109189978B (zh) 基于语音消息进行音频搜索的方法、装置及存储介质
CN114117206A (zh) 推荐模型处理方法、装置、电子设备及存储介质
CN112949709A (zh) 图像数据标注方法、装置、电子设备和存储介质
CN111782950A (zh) 样本数据集获取方法、装置、设备及存储介质
CN113377976B (zh) 资源搜索方法、装置、计算机设备及存储介质
CN114298403A (zh) 预测作品的关注度的方法和装置
CN114332709A (zh) 视频处理方法、装置、存储介质以及电子设备
CN114817709A (zh) 排序方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination