CN111598120A - 数据标注方法、设备及装置 - Google Patents

数据标注方法、设备及装置 Download PDF

Info

Publication number
CN111598120A
CN111598120A CN202010243909.5A CN202010243909A CN111598120A CN 111598120 A CN111598120 A CN 111598120A CN 202010243909 A CN202010243909 A CN 202010243909A CN 111598120 A CN111598120 A CN 111598120A
Authority
CN
China
Prior art keywords
data
special
general
classification
depth feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010243909.5A
Other languages
English (en)
Inventor
白勍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Ningbo Geely Automobile Research and Development Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202010243909.5A priority Critical patent/CN111598120A/zh
Publication of CN111598120A publication Critical patent/CN111598120A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane

Abstract

本公开涉及一种数据标注方法、设备及装置。所述方法包括：基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果；根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征；对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息；根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果；根据所述分类标注预测结果，为所述待标注数据进行标注。利用本公开的数据标注方法，能够在保证数据标注质量的前提下，极大降低了数据标注成本，并极大提高了数据标注效率。

Description

数据标注方法、设备及装置
技术领域
本公开涉及数据智能识别技术领域，尤其涉及一种数据标注方法、设备及装置。
背景技术
现在数据标注基本是通过人工标注的方式进行，例如智能驾驶数据标注一般为人工标注，而智能驾驶每车每天产生的数据很大，导致所述智能驾驶数据标注的人工成本非常高。并且人工标注方式误差率也比较高，目前有些数据标注公司会外聘兼职人员进行数据标注，使得数据标注的误差率更高，为了控制误差率在一定范围，需要额外的审核人员进行审核，进一步提高了数据标注的人工成本。
现在虽然有开源的图像识别数据库，例如ImageNet，可以免去人工标注过程，但是存在诸多缺点，例如标注框太大、标注方式少、准确率不高等，难以满足智能驾驶领域对图像识别的准确化和精细化的要求。
综上，面对数据的骤增，如何有效降低人工数据标注工作量，并提高数据标注的精确度，是当前需要突破的一个重大课题。
发明内容
有鉴于此，本公开提出了一种数据标注方法、设备及装置。
根据本公开的一方面，提供了一种数据标注方法，所述方法包括：
基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果；
根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征；
对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息；
根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果；
根据所述分类标注预测结果，为所述待标注数据进行标注。
根据本公开的另一方面，提供了一种数据标注设备，所述数据标注设备包括：
通用特征及预分类结果获取模块，用于基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果；
特殊特征提取模块，用于根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征；
特征融合模块，用于对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息；
分类标注预测结果获取模块，用于根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果；
数据标注模块，用于根据所述分类标注预测结果，为所述待标注数据进行标注。
根据本公开的另一方面，提供了一种数据标注装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。
根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。
通过基于通用深度特征模型，提取所述待标注数据的通用特征，以及基于特殊深度特征模型提取所述待标注数据的特殊特征，利用本公开一实施例的数据标注方法、设备及装置，可以实现数据标注的自动化，并且能够避免人工标注的高错误率，从而在保证数据标注质量的前提下，极大降低了数据标注成本，并极大提高了数据标注效率。
并且，利用所述特殊深度特征模型提取特殊特征以用于数据标注，由于所述特殊特征针对更加精细类别的特征，使得标注能够更加精细化，基于这样精细化标注的数据进行数据识别，也可以实现数据识别的精细化。例如在智能驾驶领域，基于这样精细化标注的智能驾驶环境感知数据，在识别时，可以对交通参与实体的识别更加精细化，有效助力智能驾驶进行决策，降低交通事故发生概率。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开一实施例的数据标注方法的流程图。
图2示出根据本公开一实施例的数据标注方法的流程示意图。
图3示出根据本公开一实施例的根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征的方法流程图。
图4示出根据本公开一实施例的数据标注方法的流程图。
图5示出根据本公开一实施例的数据标注方法的流程图。
图6示出根据本公开一实施例的根据所述通用样本数据集和谱聚类算法，获取特殊样本数据集的方法流程图。
图7示出根据本公开一实施例的对所述通用样本数据集进行预分类，获取样本分类预测结果的方法流程图。
图8示出根据本公开一实施例的根据所述样本分类预测结果、所述通用样本数据集以及所述谱聚类算法，获取特殊样本数据集的方法流程图。
图9示出根据本公开一实施例的数据标注设备的结构框图。
图10示出根据一示例性实施例示出的一种数据标注装置1900的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本公开的数据标注方法可以由终端执行，也可以由服务器执行，或者，所述通用深度特征模型和所述特殊深度特征模型可以由服务器生成，然后发给终端使用，终端使用所述通用深度特征模型和所述特殊深度特征模型进行数据标注。本公开对此不作限定，可以根据实际需求设置。其中，所述服务器可以包括云服务器。本公开中数据标注设备和数据标注装置可以是所述终端或所述服务器。
以下首先介绍利用所述通用深度特征模型和所述特殊深度特征模型，进行数据标注，然后具体介绍所述通用深度特征模型和所述特殊深度特征模型的创建过程。
图1示出根据本公开一实施例的数据标注方法的流程图。图2示出根据本公开一实施例的数据标注方法的流程示意图。如图1所示，所述方法可以包括：
步骤S11，基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果。
所述待标注数据可以是各种场景中的数据，例如，在智能驾驶中，可以是智能驾驶环境感知数据，例如图2中的环境感知原始图像。所述待标注数据可以包括各种类型的数据，比如图像数据、视频数据等。所述预分类结果可以是指所述待标注数据的预分类结果。
所述通用深度特征模型可以用于提取数据的通用特征以及对数据进行预分类。所述通用深度特征模型可以基于通用样本数据集，对所述基本深度特征模型进行网络微调生成。其中，所述样本数据集对应的场景可以与所述待标注数据对应的场景相同，即基于某一应用场景中的通用样本数据集生成的通用深度特征模型适用于所述某一应用场景中的待标注数据的标注。例如，在智能驾驶中，所述通用样本数据集可以包括智能驾驶环境感知样本数据。
所述通用特征可以是能够区别数据的第一类别的特征。比如，在智能驾驶中，若所述第一类别包括行人、动物、路面交通线、车辆和车内驾驶员等，智能驾驶环境感知数据的通用特征可以包括行人的通用特征、动物的通用特征、路面交通线的通用特征、车辆的通用特征和车内驾驶员的通用特征等。本公开对此不作限定。
其中，所述第一类别的划分可以根据实际需要设置，比如可以根据实际需要划分的精细程度设置。这可以是在所述通用深度特征模型生成时设置，本公开对此不作限定，只要所述通用特征能够区别数据的第一类别即可。
在本说明书实施例中，可以将待标注数据输入所述通用深度特征模型，基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果。
在一个示例中，所述通用深度特征模型可以包括通用特征提取器和多分类器，其中，所述通用深度特征模型的多分类器可以是指所述通用深度特征模型的最后一层，所述通用特征提取器可以是指所述通用深度特征模型中除所述最后一层的其它层。所述通用特征提取器可以用于提取所述通用特征，所述通用深度特征模型的多分类器可以用于对所述通用特征进行预分类。所述步骤S11可以包括：基于所述通用特征提取器，提取所述待标注数据的通用特征；将所述通用特征输入所述多分类器(所述通用深度特征模型的多分类器)，获取所述预分类结果。如图2所示。
其中，所述多分类器可以包括线性多分类器，例如Softmax多分类器和SVM(Support Vector Machine，支持向量机)多分类器，本公开对此不作限定。所述预分类结果可以是指所述第一类别，比如，若通用特征为行人的通用特征，可以得到预分类结果为行人。
可选地，所述预分类结果可以包括所述第一类别以及所述第一类别对应的待标注数据的特殊数据集。或者，所述预分类结果可以与所述待标注数据的特殊数据集具有映射关系，也就是说，在步骤S11中，待标注数据被分为至少一个第一类别时，所述待标注数据也被分为至少一个特殊数据集，所述特殊数据集与所述第一类别具有映射关系，即具有相同第一类别的待标注数据被分在同一个特殊数据集中。
步骤S12，根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征。
所述特殊深度特征模型可以用于提取所述待标注数据的特殊数据集的特殊特征(精细特征)以及用于分类标注的预测，所述待标注数据的特殊数据集可以是所述待标注数据的子集，所述待标注数据的特殊数据集与所述第一类别对应，即所述待标注数据中的第一类别相同的数据处于同一个特殊数据集。即第一类别包括的类别数量与所述特殊深度特征模型的数量相同。
所述特殊深度特征模型可以基于特殊样本数据集，对所述通用深度特征模型进行网络微调生成。其中，一个特殊样本数据集可以对应一个第一类别。
所述特殊特征可以是能够区别数据的第二类别的特征，其中，所述第二类别可以是所述第一类别的子类别。比如，在智能驾驶中，智能驾驶环境感知数据的通用特征可以包括行人的通用特征、动物的通用特征、路面交通线的通用特征、车辆的通用特征和车内驾驶员的通用特征等，即所述智能驾驶中，所述第一类别包括行人、动物、路面、车辆和车内驾驶员等，相应地，所述第一类别为行人时，对应的第二类别可以包括老年人、年轻人、孩子等，相应的特殊特征可以包括老年人的特殊特征、年轻人的特殊特征和孩子的特殊特征，其中，所述老年人的特殊特征、年轻人的特殊特征和孩子的特殊特征可以包括相应的17大骨骼关节点的特征。
其中，所述第二类别的划分可以根据实际需要设置。例如，可以根据所述第一类别相应设置，若所述第一类别包括动物，由于所述第二类别是第一类别的子类别，所述第二类别可以包括猫、狗；若所述第一类别包括猫，由于所述第二类别是第一类别的子类别，所述第二类别可以包括波斯猫、短毛猫、中国狸花猫、土耳其梵猫等。
在一种可能的实现方式中，如图3所示，所述步骤S12可以通过下述步骤实现：
步骤S121，根据所述预分类结果，获取待标注数据的特殊数据集以及特殊深度特征模型。
在本说明书实施例中，可以获取与所述预分类结果对应的特殊深度特征模型，比如，预分类结果为行人，可以获取与行人对应的特殊深度特征模型。
在一个示例中，可以根据所述预分类结果，获取待标注数据的特殊数据集，可以根据所述预分类结果与所述待标注数据的特殊数据集的映射关系，获取待标注数据的特殊数据集。例如，所述预分类结果为障碍物，可以获取与所述障碍物具有映射关系的待标注数据的特殊数据集(即所述障碍物对应的待标注数据的特殊数据集)。
步骤S122，根据所述待标注数据的特殊数据集和所述特殊深度特征模型的特殊特征提取器，提取所述待标注数据的特殊特征。
在一个示例中，所述特殊深度特征模型可以包括特殊特征提取器和多分类器。其中，所述特殊深度特征模型的多分类器可以是指所述特殊深度特征模型的最后一层，所述特殊特征提取器可以是指所述特殊深度特征模型中除所述最后一层的其它层。所述特殊特征提取器可以用于所述特殊特征的提取，所述特殊深度特征模型的多分类器可以用于所述分类标注预测结果的预测。在本实施例中，可以将所述待标注数据的特殊数据集输入所述特殊特征提取器，利用所述特殊特征提取器提取所述待标注数据的特殊特征，如图2所示。基于该数据标注方法，数据均可以由两部分组成：通用特征和特殊特征。
步骤S13，对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息。
在本实施例中，可以所述通用特征和所述特殊特征进行融合计算(特征融合计算)，例如，加权平均法、贝叶斯估计法、聚类分析法等，获取融合特征信息。其中，所述融合特征信息可以是特征向量的形式，本公开对融合计算的方法和融合特征信息不作限定。
步骤S14，根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果。
步骤S15，根据所述分类标注预测结果，为所述待标注数据进行标注。
在本实施例中，可以将所述融合特征信息输入所述特殊深度特征模型的多分类器，利用所述多分类器，得到分类标注预测结果。其中，所述分类标注预测结果可以是指所述第二类别。所述分类标注预测结果可以包括至少一个第二类别，比如，待标注数据中包括车内驾驶员，所述分类标注预测结果可以包括驾驶疲劳程度、驾驶员分心程度等。
进一步，可以根据所述分类标注预测结果，为所述待标注数据进行标注，比如利用所述分类标注预测结果标注对应的所述待标注数据。实现数据的自动标注。
可选地，基于本公开的数据标注方法标注的数据进行数据识别，比如在智能驾驶领域，不仅可以识别出智能驾驶环境感知数据中的行人，还能识别出是老人还是小孩等，可以有效助力行人的运动估计和行为决策，为车辆的高级决策抢得宝贵时间。或者，在识别出智能驾驶环境感知数据中包括车内驾驶员时，还可以识别出该车内驾驶员的面部表情特征，例如困倦、注意力不集中、疲劳、正常驾驶等，从而能够及时给出安全驾驶提醒，避免交通事故的发生。
通过基于通用深度特征模型，提取所述待标注数据的通用特征，以及基于特殊深度特征模型提取所述待标注数据的特殊特征，利用本公开一实施例的数据标注方法，可以实现数据标注的自动化，并且能够避免人工标注的高错误率，从而在保证数据标注质量的前提下，极大降低了数据标注成本，并极大提高了数据标注效率。
并且，利用所述特殊深度特征模型提取特殊特征以用于数据标注，由于所述特殊特征针对更加精细类别的特征，使得标注能够更加精细化，基于这样精细化标注的数据进行数据识别，也可以实现数据识别的精细化。例如在智能驾驶领域，基于这样精细化标注的智能驾驶环境感知数据，在识别时，可以对交通参与实体的识别更加精细化，有效助力智能驾驶进行决策，降低交通事故发生概率。
图4示出根据本公开一实施例的数据标注方法的流程图。具体涉及所述通用深度特征模型的生成方法。如图4所示，在一种可能的实现方式中，所述方法还可以包括：
步骤S41，根据迁移学习技术和开源数据集，创建基本卷积神经网络模型。
所述开源数据集可以是指互联网上的大型公共图像数据集，例如伯克利发布的自动驾驶视频数据集BDD100k、百度的自动驾驶数据集Apolloscapes、麻省理工学院年龄实验室(MIT AGE Lab)提供的数据集等。本公开对此不作限定。
在本说明书实施例中，可以根据迁移学习技术，利用开源数据集学习图像底层通用的视觉特征，对预设卷积神经网络模型进行预训练，创建基本卷积神经网络模型。其中，所述预设卷积神经网络可以是专业人员预先设置的，也可以是现有的可以进行视觉识别的卷积神经网络，本公开对此不作限定。所述预设卷积神经网络可以包括预设的深度卷积神经网络。
步骤S42，修改基本卷积神经网络模型的输出层，得到基本深度特征模型。
在本说明书实施例中，可以修改基本卷积神经网络模型的输出层，例如，可以修改所述基本卷积神经网络模型的输出层的类别数量，例如，可以利用多分类器代替所述基本卷积神经网络模型的输出层，所述多分类器可以为线性多分类器，例如可以包括Softmax多分类器和SVM多分类器，得到基本深度特征模型。可选地，可以用随机数来初始化所述输出层的权重参数。需要说明的是，所述基本卷积神经网络模型的其它层可以保持不变。
步骤S43，基于通用样本数据集，对所述基本深度特征模型进行网络微调，生成所述通用深度特征模型。
从所述通用样本数据集中的数据类型来说，所述通用样本数据集中的数据可以包括图像、视频等；从所述通用样本数据集中数据内容来说，所述通用样本数据集中的数据可以包括某一应用场景中的数据或某一领域中的数据。
在本说明书实施例中，可以先获取所述通用样本数据集，在一个示例中，可以获取某一应用场景(应用领域)的原始数据，对所述原始数据进行清洗，得到所述通用样本数据集。比如，需要对智能驾驶环境感知数据进行数据标注，那么所述通用深度特征模型可以是针对所述智能驾驶环境感知数据的，则可以先获取所述智能驾驶环境感知数据的通用样本数据集，例如，可以从车辆数据记录系统中获取智能驾驶环境感知数据，比如，通过驾驶汽车的ADAS系统采集的十字路口交通场景环境感知图像数据。或者，所述车辆数据记录系统将智能驾驶环境感知数据上传至云平台，则可以从所述云平台中获取智能驾驶环境感知数据。
可选地，可以对所述智能驾驶环境感知数据进行清洗，比如，删除模糊的图像、融合重复的图像等。可选地，还可以对清洗后的智能驾驶环境感知数据进行场景过滤，仅保留与智能驾驶场景匹配的智能驾驶环境感知数据，可以将清洗并且场景过滤后的所述智能驾驶环境感知数据作为所述通用样本数据集。
在本说明书实施例中，可以基于通用样本数据集，对所述基本深度特征模型进行网络微调，生成所述通用深度特征模型。如果所述通用样本数据集包括智能驾驶环境感知数据，那么所述通用深度特征模型可以是针对智能驾驶环境感知数据进行通用特征提取的模型。
通过迁移学习和网络微调的方式，生成所述通用深度特征模型，避免了通用样本数据集的打标过程，降低了样本数据的获取成本，也避免了模型的长时间训练过程，使得生成所述通用深度特征模型能够更加高效；并且该通用深度特征模型的生成方式也具备很好的泛化能力。
图5示出根据本公开一实施例的数据标注方法的流程图。具体涉及所述特殊深度特征模型的生成方法。为了能够对数据进行更加精细的标注，才利用如图中的步骤生成所述特殊深度特征模型，所述特殊深度特征模型就是为了实现精细化标注的。如图3所示，在一种可能的实现方式中，所述方法还可以包括：
步骤S51，根据所述通用样本数据集和谱聚类算法，获取特殊样本数据集。
在本说明书实施例中，可以对所述通用样本数据集进行谱聚类算法计算，将相同第一类别的样本数据放到同一个特殊样本数据，直到把所述通用样本数据集中的样本数据均放到不同的特殊样本数据集中，则可以获取特殊样本数据集，所述特殊样本数据集可以为至少一个。所述一个特殊样本数据集可以是所述一个第一类别的样本数据组成的数据集。其中，本公开对所述谱聚类算法不作限定。
步骤S52，基于所述特殊样本数据集，对所述通用深度特征模型进行网络微调，生成所述特殊深度特征模型。
在实际应用中，可以基于所述特殊样本数据集，对所述通用深度特征模型进行网络微调，生成所述特殊深度特征模型。由于所述特殊样本数据集为至少一个，所述特殊深度特征模型也为至少一个，所述特殊样本数据集与所述特殊深度特征模型对应，所述特殊样本数据集的个数与所述特殊深度特征模型的个数可以相同。
通过谱聚类算法，生成所述特殊深度特征模型，使得所述特殊深度特征模型能够在无监督学习下实现，能够适应样本数据不足的领域，进一步可以降低标注成本。
图6示出根据本公开一实施例的根据所述通用样本数据集和谱聚类算法，获取特殊样本数据集的方法流程图。如图6所示，所述步骤S51可以包括：
步骤S511，对所述通用样本数据集进行预分类，获取样本分类预测结果。
在本说明书的实施例中，可以利用分类器对所述通用样本数据集进行预分类，获取样本分类预测结果。
在一种可能的实现方式中，步骤S511可以包括如下步骤，如图7所示。
步骤S5111，利用所述通用深度特征模型，提取所述通用样本数据集的通用特征；
步骤S5112，将所述通用样本数据集的通用特征输入所述通用深度特征模型的多分类器，得到样本分类预测结果。
在实际应用中，可以利用所述通用深度特征模型的通用特征提取器，提取所述通用样本数据集的通用特征，并可以将所述通用样本数据集的通用特征输入所述通用深度特征模型的多分类器，得到样本分类预测结果。其中，所述样本分类预测结果可以包括所述第一类别中的至少一个。
步骤S512，根据所述样本分类预测结果、所述通用样本数据集以及所述谱聚类算法，获取特殊样本数据集。
在一种可能的实现方式中，步骤S512可以包括如下步骤，如图8所示。
步骤S5121，根据所述样本分类预测结果和所述通用样本数据集，生成混淆矩阵。
在本说明书的实施例中，可以对所述样本分类预测结果和所述通用样本数据集进行混淆计算，生成混淆矩阵。举例来说，所述混淆矩阵可以为n×n矩阵，所述混淆矩阵的每一行可以对应一个实际类别，所述每一列可以对应一个预测类别(所述样本分类预测结果中的一个第一类别)，所述混淆矩阵中的元素，比如Hij，可以表示第i行对应的实际类别被预测为第j列对应的预测类别的通用样本的个数。所述行数n可以为所述实际类别的数量；所述列数n可以为所述预测类别的数量，比如，所述实际类别的数量为3，所述预测类别的数量为3，所述混淆矩阵可以是一个3×3的矩阵。
步骤S5122，根据所述混淆矩阵和谱聚类算法，获取所述特殊样本数据集。
在本说明书实施例中，可以利用现有的谱聚类算法对所述混淆矩阵进行处理，实现对通用样本数据集的划分，得到所述特殊样本数据集。
在一个示例中，可以首先对所述混淆矩阵进行归一化操作，得到归一化混淆矩阵M，使得所述M中的元素可以为(0,1)或者(-1,1)之间的小数。所述归一化操作可以为非线性归一化操作，所述非线性归一化操作可以不受新数据加入的影响。
可以根据所述M得到相似度矩阵，例如，可以得到矩阵1-M，并将所述矩阵1-M中的对角线元素设置为0，以得到距离矩阵E，从而根据所述距离矩阵E，得到矩阵S1＝0.5(E+ET)，其中，ET为E的转置矩阵。可以利用下面公式(1)对矩阵S1进行处理，得到相似度矩阵S。
Figure BDA0002433450670000141
其中，所述Sij为相似度矩阵S中第i行第j列的元素，所述S1ij为所述矩阵S1中第i行第j列的元素；1≤i≤n；1≤j≤n。
在本说明书的实施例中，可以根据所述相似度矩阵S，构建邻接矩阵W和度矩阵D。例如，可以利用现有构建邻接矩阵的方法，比如∈-邻近法、K邻近法、全连接法等，根据相似度矩阵S，构建邻接矩阵W。在一个示例中，可以利用全连接法中的高斯核函数(或称为径向基函数)RBF(Radial Basis Function)构建邻接矩阵W，此时，邻接矩阵W与所述相似度矩阵S可以相同。然后可以根据所述邻接矩阵W构建度矩阵D，所述度矩阵D可以为对角矩阵，所述度矩阵D的对角线上的元素
Figure BDA0002433450670000142
所述Wij为所述邻接矩阵W的第i行第j列的元素，所述i可以满足:1≤i≤n。
在本说明书的实施例中，可以根据邻接矩阵W和度矩阵D，计算出拉普拉斯矩阵L，例如，可以根据拉普拉斯的定义公式，计算出拉普拉斯矩阵L＝D-W。然后可以构建标准化后的拉普拉斯矩阵为D-1/2LD-1/2。接下来可以利用归一化切割Normalized-Cut进行图切割，生成特征向量f，例如，可以计算D-1/2LD-1/2最小的k1个特征值所各自对应的特征向量f，所述k1可以小于n，本公开对k1不作限定。并可以按行标准化所述f，组成特征矩阵F，以及可以利用K均值聚类算法K-Means对所述F进行聚类计算，得到簇划分后的特殊样本数据集C。具体地，可以将特征向量f组成的矩阵按行标准化，最终组成n×k1维个特征矩阵F；并可以将特征矩阵F中的每一行作为一个k1维的样本，用K-Means算法进行聚类，聚类维数可以为k2，得到簇划分后的特殊样本数据集
Figure BDA0002433450670000151
所述k2可以满足：0<k2≤n*k1。这里仅仅是一个示例，不对本公开进行限定。
图9示出根据本公开一实施例的数据标注设备的结构框图。如图9所示，所述数据标注设备可以包括：
通用特征及预分类结果获取模块11，用于基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果；
特殊特征提取模块12，用于根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征；
特征融合模块13，用于对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息；
分类标注预测结果获取模块14，用于根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果；
数据标注模块15，用于根据所述分类标注预测结果，为所述待标注数据进行标注。
关于上述实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过基于通用深度特征模型，提取所述待标注数据的通用特征，以及基于特殊深度特征模型提取所述待标注数据的特殊特征，利用本公开一实施例的数据标注设备，可以实现数据标注的自动化，并且能够避免人工标注的高错误率，从而在保证数据标注质量的前提下，极大降低了数据标注成本，并极大提高了数据标注效率。
并且，利用所述特殊深度特征模型提取特殊特征以用于数据标注，由于所述特殊特征针对更加精细类别的特征，使得标注能够更加精细化，基于这样精细化标注的数据进行数据识别，也可以实现数据识别的精细化。例如在智能驾驶领域，基于这样精细化标注的智能驾驶环境感知数据，在识别时，可以对交通参与实体的识别更加精细化，有效助力智能驾驶进行决策，降低交通事故发生概率。
图10示出根据一示例性实施例示出的一种数据标注装置1900的框图。例如，装置1900可以被提供为一服务器。参照图10，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种数据标注方法，其特征在于，包括：
基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果；
根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征；
对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息；
根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果；
根据所述分类标注预测结果，为所述待标注数据进行标注。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征，包括：
根据所述预分类结果，获取待标注数据的特殊数据集以及特殊深度特征模型；
根据所述待标注数据的特殊数据集和所述特殊深度特征模型的特殊特征提取器，提取所述待标注数据的特殊特征。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据迁移学习技术和开源数据集，创建基本卷积神经网络模型；
修改基本卷积神经网络模型的输出层，得到基本深度特征模型；
基于通用样本数据集，对所述基本深度特征模型进行网络微调，生成所述通用深度特征模型。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据所述通用样本数据集和谱聚类算法，获取特殊样本数据集；
基于所述特殊样本数据集，对所述通用深度特征模型进行网络微调，生成所述特殊深度特征模型。
5.根据权利要求4所述的方法，其特征在于，根据所述通用样本数据集和谱聚类算法，获取特殊样本数据集，包括：
对所述通用样本数据集进行预分类，获取样本分类预测结果；
根据所述样本分类预测结果、所述通用样本数据集以及所述谱聚类算法，获取特殊样本数据集。
6.根据权利要求5所述的方法，其特征在于，所述对所述通用样本数据集进行预分类，获取样本分类预测结果，包括：
利用所述通用深度特征模型，提取所述通用样本数据集的通用特征；
将所述通用样本数据集的通用特征输入所述通用深度特征模型的多分类器，得到样本分类预测结果。
7.根据权利要求5所述的方法，其特征在于，根据所述样本分类预测结果、所述通用样本数据集以及所述谱聚类算法，获取特殊样本数据集，包括：
根据所述样本分类预测结果和所述通用样本数据集，生成混淆矩阵；
根据所述混淆矩阵和谱聚类算法，获取所述特殊样本数据集。
8.一种数据标注设备，其特征在于，包括：
通用特征及预分类结果获取模块，用于基于通用深度特征模型，获取所述待标注数据的通用特征以及预分类结果；
特殊特征提取模块，用于根据所述预分类结果和特殊深度特征模型，提取所述待标注数据的特殊特征；
特征融合模块，用于对所述通用特征和所述特殊特征进行融合计算，获取融合特征信息；
分类标注预测结果获取模块，用于根据所述融合特征信息以及所述特殊深度特征模型，获取分类标注预测结果；
数据标注模块，用于根据所述分类标注预测结果，为所述待标注数据进行标注。
9.一种数据标注装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令以实现上述权利要求1-7任一项所述的方法。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN202010243909.5A 2020-03-31 2020-03-31 数据标注方法、设备及装置 Pending CN111598120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010243909.5A CN111598120A (zh) 2020-03-31 2020-03-31 数据标注方法、设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010243909.5A CN111598120A (zh) 2020-03-31 2020-03-31 数据标注方法、设备及装置

Publications (1)

Publication Number Publication Date
CN111598120A true CN111598120A (zh) 2020-08-28

Family

ID=72191982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010243909.5A Pending CN111598120A (zh) 2020-03-31 2020-03-31 数据标注方法、设备及装置

Country Status (1)

Country Link
CN (1) CN111598120A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329838A (zh) * 2020-11-02 2021-02-05 上海明略人工智能(集团)有限公司 一种目标集合类别标签的确定方法和装置
CN112528610A (zh) * 2020-12-09 2021-03-19 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN113407083A (zh) * 2021-06-24 2021-09-17 上海商汤科技开发有限公司 一种数据标注方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239787A (zh) * 2016-03-29 2017-10-10 南京大学 一种利用多来源数据具有隐私保护功能的图象分类方法
CN108197668A (zh) * 2018-01-31 2018-06-22 达闼科技（北京）有限公司 模型数据集的建立方法及云系统
CN108509969A (zh) * 2017-09-06 2018-09-07 腾讯科技（深圳）有限公司 数据标注方法及终端
CN109829494A (zh) * 2019-01-28 2019-05-31 山西大学 一种基于加权相似性度量的聚类集成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239787A (zh) * 2016-03-29 2017-10-10 南京大学 一种利用多来源数据具有隐私保护功能的图象分类方法
CN108509969A (zh) * 2017-09-06 2018-09-07 腾讯科技（深圳）有限公司 数据标注方法及终端
CN108197668A (zh) * 2018-01-31 2018-06-22 达闼科技（北京）有限公司 模型数据集的建立方法及云系统
CN109829494A (zh) * 2019-01-28 2019-05-31 山西大学 一种基于加权相似性度量的聚类集成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋光慧: "基于迁移学习与深度卷积特征的图像标注方法研究", 中国优秀博硕士学位论文全文数据库(博士), vol. 2017, no. 08, pages 33 - 47 *
陈敏: "人工智能通信理论与方法", 华中科技大学出版社, pages: 239 - 242 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329838A (zh) * 2020-11-02 2021-02-05 上海明略人工智能(集团)有限公司 一种目标集合类别标签的确定方法和装置
CN112329838B (zh) * 2020-11-02 2024-02-02 上海明略人工智能(集团)有限公司 一种目标集合类别标签的确定方法和装置
CN112528610A (zh) * 2020-12-09 2021-03-19 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112528610B (zh) * 2020-12-09 2023-11-14 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN113407083A (zh) * 2021-06-24 2021-09-17 上海商汤科技开发有限公司 一种数据标注方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
KR101865102B1 (ko) 시각 문답을 위한 시스템 및 방법
US10832096B2 (en) Representative-based metric learning for classification and few-shot object detection
US10755149B2 (en) Zero shot machine vision system via joint sparse representations
CN111598120A (zh) 数据标注方法、设备及装置
CN109189767B (zh) 数据处理方法、装置、电子设备及存储介质
Tran et al. Adaptive learning based on tracking and ReIdentifying objects using convolutional neural network
CN111199541A (zh) 图像质量评价方法、装置、电子设备及存储介质
DE112021005569T5 (de) Kontradiktorisches, halbüberwachtes one-shot-lernen
EP3620982B1 (en) Sample processing method and device
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN115810135A (zh) 样本分析的方法、电子设备、存储介质和程序产品
CN110334753A (zh) 视频分类方法、装置、电子设备及存储介质
CN116259060A (zh) 图像分类模型的训练方法及装置
CN113962199B (zh) 文本识别方法、装置、设备、存储介质及程序产品
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN114611672A (zh) 模型训练方法、人脸识别方法及装置
CN112115131A (zh) 数据去噪方法、装置、设备及计算机可读存储介质
US20220207866A1 (en) Method, device, and computer readable storage medium for image processing
CN114782999A (zh) 基于辅助域分类和二阶信息瓶颈的行人再识别方法和系统
Smitha et al. Optimal feed forward neural network based automatic moving vehicle detection system in traffic surveillance system
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
Boisclair et al. Attention transfer from human to neural networks for road object detection in winter
Ushapreethi et al. Skeleton-based STIP feature and discriminant sparse coding for human action recognition
Raj et al. Convolution neural network based automatic license plate recognition system
US20230030987A1 (en) Image classification method and apparatus, and method and apparatus for improving training of an image classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination