CN109086798A - 一种数据标注方法和标注装置 - Google Patents

一种数据标注方法和标注装置 Download PDF

Info

Publication number
CN109086798A
CN109086798A CN201810716845.9A CN201810716845A CN109086798A CN 109086798 A CN109086798 A CN 109086798A CN 201810716845 A CN201810716845 A CN 201810716845A CN 109086798 A CN109086798 A CN 109086798A
Authority
CN
China
Prior art keywords
data
key points
feature key
benchmark model
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810716845.9A
Other languages
English (en)
Inventor
伏英娜
李伟栋
方立瑞
王玉坤
雷宇
左雄
黄妮
马军
金宇林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magee Technology (beijing) Co Ltd Guest
Original Assignee
Magee Technology (beijing) Co Ltd Guest
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magee Technology (beijing) Co Ltd Guest filed Critical Magee Technology (beijing) Co Ltd Guest
Priority to CN201810716845.9A priority Critical patent/CN109086798A/zh
Publication of CN109086798A publication Critical patent/CN109086798A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种数据标注方法和标注装置,以解决现有技术中对数据采集周期和采集质量失控,伴随法律风险过高,数据标注资源消耗过大的技术问题。方法,包括:在基准模型上进行人工标注形成特征关键点,随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据。形成利用基准模型一次人工标注形成一系列影像和影像的标注数据。使得训练数据生产成本可控,训练数据组合方式可控,训练数据环境场景复杂度可控,法律风险可控。以满足不同目的的深度学习需求。

Description

一种数据标注方法和标注装置
技术领域
本发明涉及深度学习技术领域,具体涉及一种数据标注方法和标注装置。
背景技术
深度学习是利用计算机的数据处理优势,利用大的数据训练某一类型的识别模型(可以理解为一种算法),通过数据训练获得改进识别精确度的隐性参数和超定义参数以优化识别模型,最终使识别模型获得高效的数据特征识别能力和分类能力。针对不同目的的识别模型进行数据训练,需要大量与识别目的相关的数据集,既要体现被识别对象的特征多样性,又要展现被识别对象所处复杂环境对识别对象的影响。现有技术中往往采用有监督学习提高实用性识别模型的学习效率和识别效果。有监督学习需要或多或少地提供数据集中被识别对象的特征样本,即需要在数据集中提供被识别对象的确定的标注样本数据,标注样本数据的准确度关系到深度学习的最终效果。海量容量数据集和其中的标注样本数据是深度学习过程中比较耗费财力人力的一部分。例如对于(包括图形或图片的)影像数据集中面部识别模型的深度学习,需要拍摄采集大量各种环境下的面部照片,再对每一照片的面部特征关键点(即特征样本)进行人工标注形成标注样本数据,考虑到特征关键点的类型和数量,按照每个人脸人工标注时间为10分钟,对100万张人脸不停地数据标注花费的时间、人力和资金成本会居高不下。而且,真实拍摄采集的照片具有固有数据缺陷,受照片来源局限面部侧脸的数据标注较少、照片背景变化有限、同一人脸采集获得多个表情照片的难度较大等,都会限制特征多样性的需求,采集数据形成质量缺陷影响深度学习的最终效果。真实拍摄采集的照片还存在法律风险,例如真实面部摄影的版权风险,摄影照片中次要实体的潜在版权风险,个人隐私风险等。
发明内容
有鉴于此,本发明实施例提供一种数据标注方法和标注装置,以解决现有技术中对数据采集周期和采集质量失控,伴随法律风险过高,数据标注资源消耗过大的技术问题。
本发明实施例的数据标注方法,包括:
在基准模型上进行人工标注形成特征关键点,随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据。
本发明一实施例中,所述在基准模型上进行人工标注形成特征关键点包括:
形成待识别对象的立体轮廓模型;
对所述立体轮廓模型进行纹理贴图形成所述基准模型;
在所述基准模型上通过人工标注形成所述特征关键点,形成所述特征关键点的基准位置。
本发明一实施例中,所述随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据包括:
所述基准模型变形形成变形模型;
根据所述基准位置确定所述变形模型上的所述特征关键点,形成所述特征关键点的位置变化数据;
对所述变形模型进行渲染生成训练图像;
通过所述位置变化数据形成所述训练图像上所述特征关键点的所述标注数据。
本发明一实施例中,所述随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据包括:
所述基准模型变形形成变形模型;
根据所述基准位置确定变形模型上的所述特征关键点,形成所述特征关键点的位置变化数据;
将所述变形模型导入三维场景进行渲染生成训练图像;
通过所述位置变化数据形成所述训练图像上所述特征关键点的标注数据。
本发明一实施例中,所述随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据包括:
将所述基准模型导入三维场景,所述基准模型形成连续的变形模型;
根据所述基准位置确定所述变形模型上的所述特征关键点,形成所述特征关键点的位置变化数据;
所述三维场景对象按需变化,配合所述变形模型进行渲染生成一系列训练图像;
通过所述位置变化数据形成所述训练图像上所述特征关键点的所述标注数据。
本发明一实施例中,所述三维场景对象包括:
环境布置对象,至少包括灯光、室内外建筑物、地形和气象中的一种;
装饰布置对象,至少包括匹配所述变形模型的附着物;
所述按需变化包括所述三维场景对象的数量、属性和轨迹的程序化变化。
本发明一实施例中,所述根据所述基准位置确定变形模型上的所述特征关键点包括:
根据三维向二维的投影方向,对所述变形模型中被遮挡的特征关键点进行位置修正,以所述变形模型投影轮廓的对应位置作为所述被遮挡的特征关键点的相对位置。
本发明一实施例中,所述基准模型的仿真对象至少包括以下一种或以下两种的组合:
面部、面部的五官、头部、局部肢体或躯干。
本发明实施例的数据标注装置,包括:
存储器,用于存储如权利要求1至8任一所述数据标注方法中各步骤对应的程序代码;
处理器,用于执行所述程序代码。
本发明实施例的数据标注装置,包括:
标记模块,用于在基准模型上进行人工标注形成特征关键点,随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据。
本发明实施例的数据标注方法和标注装置利用基准模型仿真待识别对象,利用人工标注形成高精度的特征关键点并获得特征关键点的位置定位数据,使得基于基准模型的各种变形都可以通过维度坐标变换形成对应的影像和特征关键点的标注数据。形成利用基准模型一次人工标注形成一系列影像和影像的标注数据的训练数据集。保证了深度学习过程中训练数据的多样性和数据标注的准确性。同时克服了潜在的法律风险。使得训练数据生产成本可控,训练数据组合方式可控,训练数据环境场景复杂度可控,以满足不同目的的深度学习需求。
附图说明
图1所示为本发明实施例数据标注方法的基本流程图。
图2所示为本发明实施例数据标注方法中形成训练图像的一种流程图。
图3所示为本发明实施例数据标注方法中形成训练图像的一种流程图。
图4所示为本发明实施例数据标注方法中形成训练图像的一种流程图。
图5所示为本发明实施例数据标注装置的架构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种数据标注方法,用于获得海量的训练图像和相应的标注数据。本发明实施例的数据标注方法包括:
步骤100:在基准模型上进行人工标注形成特征关键点,随基准模型的变形形成特征关键点的位置变化数据,在基准模型变形后形成的影像中根据位置变化数据形成特征关键点的标注数据;
基准模型仿真真实识别对象的立体形象。
特征关键点是表达一具体对象的主要生理结构特征的关键位置,例如面部的五官的轮廓、高点、低点以及相对固定的位置参照点;躯体的主要关节位置,或者手、脚等局部肢体。
人工标注采用人工识别方式将人工识别的特征关键点一次性标记在基准模型上,获得特征关键点位置坐标。即以通用的建模环境中的世界坐标为基准坐标空间,基准模型各网格顶点坐标为基准坐标,以与特征关键点最匹配的网格顶点坐标为特征关键点的位置坐标。
基准模型的变形会引起特征关键点的位置坐标变化,形成特征关键点对应的更新的位置坐标。本领域技术人员可以理解,基准模型及基准模型变形后的形态可以平面化形成对应的二维影像,在三维向二维转换的平面化过程中可以实现特征关键点位置坐标的映射,形成影像中二维坐标空间中特征关键点的位置坐标。影像中基特征关键点的位置坐标作为标注数据。
步骤200:根据对应的训练图像和标注数据形成训练数据集,响应相应深度学习过程的数据请求。
本领域技术人员可以理解,基准模型以及基准模型的变形形态经过平面化形成的标注数据与人工标注的特征关键点相对应,同一基准模型每个变形平面化形成的影像都具有对应的标注数据,可以形成同一基准模型的一系列影像和标注数据,形成训练数据集。
本发明实施例的数据标注方法利用基准模型仿真待识别对象,获得所需精度的待识别对象,利用人工标注形成高精度的特征关键点并获得特征关键点的位置定位数据,使得基于基准模型的各种变形都可以通过维度坐标变换形成对应的影像和特征关键点的标注数据。形成利用基准模型一次人工标注形成一系列影像和影像的标注数据的训练数据集。保证了深度学习过程中训练数据的多样性和数据标注的准确性,经本训练数据集优化的识别模型可以适应对真实世界对象的影像识别,通过(劣化或优化)调整基准模型和人工标注精度,可以高效形成一系列的训练数据集,使识别模型可以进一步训练优化。
如图2所示,本发明实施例的数据标注方法中在基准模型上进行人工标注形成特征关键点的过程包括:
步骤102:形成待识别对象的立体轮廓模型;
待识别对象具有真实结构特征,可以通过三维软件形成立体网格结构建模描述,建模的过程包括立体网格结构的坐标空间建立,网格结构顶点的坐标定义和定位。例如建立世界坐标系,确定建模形成的立体轮廓模型的网格顶点的坐标数据。
立体轮廓模型可以通过立体网格结构中的网格数量控制立体轮廓精度,控制真实结构特征的仿真精度。
步骤110:对立体轮廓模型进行纹理贴图形成基准模型;
纹理贴图可以进一步提升立体轮廓的真实性和精度,通过控制纹理贴图的分辨率可以进一步控制形成的基准模型的外形精度。纹理贴图采用UVW展开贴图方式,保证复杂立体轮廓模型的高精度纹理贴图效果。
步骤120:在基准模型上通过人工标注形成特征关键点,形成特征关键点的基准位置。
特征关键点人工标注具有长时间低误差的特征,采用人工标注可以在基准模型上准确确定待识别对象的特征关键点。
人工标注的特征关键点以最接近的网格结构顶点作为特征关键点的基准位置,可以保证基准位置获得在世界坐标系中的精确坐标。
可以按照人工标注的顺序,次序记录下特征关键点在世界坐标系中的位置信息。
本发明实施例的数据标注方法为同一基准模型形成变形后特征关键点的位置确定提供了唯一正确的参照点,使后续的程序化标注成为可能。
如图2所示,在上述实施例的基础上,本发明实施例的数据标注方法中随基准模型的变形形成特征关键点的位置变化数据,在基准模型变形后形成的影像中根据位置变化数据形成特征关键点的标注数据的一种过程包括:
步骤130:基准模型变形形成变形模型;
变形模型包括但不限于以下几种变形形式中的一种或几种的组合:
基准模型整体调整一个角度后形成的变形模型;
基准模型局部网格数量调整后形成的变形模型;
基准模型局部网格顶点位置调整后形成的变形模型;
基准模型局部纹理贴图调整后形成的变形模型。
在本发明一实施例中,基准模型为头部的面部模型,面部模型的变形包括上述变形形式的具体体现,包括:
随头部的面部转动、睁眼(一只或两只)、闭眼(一只或两只)、张嘴、闭嘴、微笑(包括或不包括酒窝)等情绪表情。
步骤140:根据基准位置确定变形模型上的特征关键点,形成特征关键点的位置变化数据;
本领域技术人员可以理解基于同一世界坐标系的变形模型上的因变形而发生位置变化的特征关键点的位置变化可以通过坐标位置描述,新城确定的位置变化数据,即基准模型变形后的位置信息。
在本发明一实施例中,步骤140中根据基准位置确定变形模型上的特征关键点还包括:
根据三维向二维的投影方向,对变形模型中被遮挡的特征关键点进行位置修正,以变形模型投影轮廓的对应位置作为被遮挡的特征关键点的相对位置,根据特征关键点在投影轮廓的对应位置形成特征关键点的位置变化数据。
本领域技术人员可以理解当三维模型以特定视角投影形成二维平面影像时,三维模型的部分特征会被投影轮廓遮挡消失,被遮挡的特征关键点坐标在三维模型的坐标空间中可以根据投影轮廓进行程序化识别。对变形模型中被遮挡的特征关键点进行位置修正是通过将被遮挡的特征关键点位置与变形模型投影轮廓上的对应位置相映射,以变形模型投影轮廓上的对应位置作为被遮挡的特征关键点的相对位置变化数据。
在本发明一实施例中,以面部模型为例,面部正面作为基准模型形成特征关键点,特征关键点包括正面轮廓特征关键点。基准模型变形成小角度侧脸的变形模型,在变形模型形成的投影轮廓上,部分正面轮廓特征关键点消失,需要以消失一侧的投影轮廓上的对应位置作为消失的部分正面轮廓特征关键点的位置。
进行位置修正通常采用程序化过程通过坐标计算确定变形模型形成的投影轮廓上最近接被遮挡的特征关键点的位置坐标。
采用本发明实施例的数据标注方法可以有效避免变形模型中被遮挡的特征关键点不能在后续的二维影像中正常表现标注位置的缺陷。通过对被遮挡特征关键点的位置坐标修正,使得被遮挡的特征关键点的程序化标注遵循人工标注规律,获得相应特征关键点在投影轮廓上与人工标注一致的位置坐标。使得所有特征关键点随变形模型产生的遮挡与人工标注位置一致,程序化数据标注和人工标注之间不存在误差,同一特征的标注数据的一致性获得有效保证。
步骤150:对变形模型进行渲染生成(简单)训练图像;
本领域技术人员可以理解利用三维环境形成完整模型渲染后进行维度转换可以获得完整模型特定视角投影的二维平面影像。模型的每幅平面影像都可以作为简单训练图像。
步骤160:通过位置变化数据形成训练图像上特征关键点的标注数据。
本领域技术人员可以理解维度转换和视角定义本质是坐标系和坐标系中的坐标变换,根据特征关键点的位置变化数据和视角定义可以形成特征关键点在训练图像上的位置信息,即特征关键点在训练图像上的标注数据。
本发明实施例的数据标注方法可以形成最基础具有数据标注的一系列训练图像,满足深度学习需要。
如图3所示,在上述实施例的基础上,本发明实施例的数据标注方法中随基准模型的变形形成特征关键点的位置变化数据,在基准模型变形后形成的影像中根据位置变化数据形成特征关键点的标注数据的一种过程包括:
步骤130:基准模型变形形成变形模型;
步骤140:根据基准位置确定变形模型上的特征关键点,形成特征关键点的位置变化数据;
步骤152:将变形模型导入三维场景进行渲染生成(复杂)复杂训练图像;
三维场景包括两种确定的场景对象,一种是环境布置对象,例如灯光、室内外建筑物、地形和气象等,另一种是装饰布置对象,例如匹配变形模型的附着物如发饰、发型、眼镜等穿戴部件。
步骤160:通过位置变化数据形成训练图像上特征关键点的标注数据。
本发明实施例的数据标注方法可以形成具有复杂场景的训练图像一系列训练图像,满足深度学习需要。
如图4所示,在上述实施例的基础上,本发明实施例的数据标注方法中随基准模型的变形形成特征关键点的位置变化数据,在基准模型变形后形成的影像中根据位置变化数据形成特征关键点的标注数据的一种过程包括:
步骤155:将基准模型导入三维场景,基准模型形成连续的变形模型;
形成连续的变形模型是通过对基准模型的变形过程参数化,自动在三维场景中完成变形过程,形成同一主要场景中的一系列变形模型。
步骤140:根据基准位置确定变形模型上的特征关键点,形成特征关键点的位置变化数据;
步骤157:三维场景对象按需变化,配合变形模型进行渲染生成一系列(复杂)训练图像;
三维场景对象按需变化通过对场景对象的属性变化参数化,自动在三维场景中完成数量、属性和轨迹的程序化变化,实现三维场景针对每一个变形模型的一系列配合变化。形成根据变形模型的一系列场景变化。
步骤160:通过位置变化数据形成训练图像上特征关键点的标注数据。
本发明实施例的数据标注方法可以形成众多变形模型与众多变化场景的复杂组合,形成具有复杂场景的仿真对象任意形态表现的海量训练图像,满足深度学习需要。
在实际应用中利用使用3dmax建模软件进行三维仿真建模,unity引擎进行仿真渲染,并模拟真实场景、灯光光影、面部贴图、表情等进行仿真渲染,并通过编程进行多种环境的模拟组合,生成所需要的训练标注的人脸关键点的图像数据。
例如人脸关键点数据标注时,建模软件进行人脸模型的仿真建模,并提供相应的标注的关键点数据像素位置信息,以fbx格式输出。导入unity引擎下进行渲染,通过3dmax中提供标注的关键点进行匹配,在unity引擎中进行组合,并输出。
本发明实施例的数据标注方法通过mesh网格顶点的索引值,可以自动获取标注后的模型的标注信息,程序化的获取图像的标注位置,来代替人工再次标注,极大的节省了人力与资金的投入。可以获取不同场景环境背景、不同角度等数据的标注,生成一张数据标注以100毫秒来计算,一小时可以产生3.6万张完成数据标注的训练影像,2天接近百万张。极大节省资金投入与人力投入。使得训练数据生产成本可控,训练数据组合方式可控,训练数据环境场景复杂度可控,以满足不同目的的深度学习需求。
本发明实施例的数据标注装置包括:
存储器,用于存储上述实施例数据标注方法中各步骤对应的程序代码;
处理器,用于执行上述实施例数据标注方法中各步骤对应的程序代码。
如图5所示,本发明实施例的数据标注装置包括:
标记模块1100,用于在基准模型上进行人工标注形成特征关键点,随基准模型的变形形成特征关键点的位置变化数据,在基准模型变形后形成的影像中根据位置变化数据形成特征关键点的标注数据;
响应模块1200,用于根据对应的训练图像和标注数据形成训练数据集,响应相应深度学习过程的数据请求。
如图5所示,本发明实施例的数据标注装置中标记模块1100包括:
模型描述单元1102,用于形成待识别对象的立体轮廓模型;
模型生成单元1110,用于对立体轮廓模型进行纹理贴图形成基准模型;
人工标注单元120,用于在基准模型上通过人工标注形成特征关键点,形成特征关键点的基准位置。
如图5所示,本发明实施例的数据标注装置中标记模块1100还包括:
模型变形单元1130,用于基准模型变形形成变形模型;
位置记录单元1140,用于根据基准位置确定变形模型上的特征关键点,形成特征关键点的位置变化数据;
简单图像生成单元1150,用于对变形模型进行渲染生成简单训练图像;
图像标注单元1160,用于通过位置变化数据形成训练图像上特征关键点的标注数据。
如图5所示,本发明实施例的数据标注装置中标记模块1100还包括:
场景图像生成单元1152,用于将变形模型导入三维场景进行渲染生成复杂训练图像。
如图5所示,本发明实施例的数据标注装置中标记模块1100还包括:
模型连续变形单元1155,用于将基准模型导入三维场景,基准模型形成连续的变形模型;
场景图像适配单元1157,用于三维场景对象按需变化,配合变形模型进行渲染生成一系列复杂训练图像。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据标注方法,包括:
在基准模型上进行人工标注形成特征关键点,随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据。
2.根据权利要求1所述的数据标注方法,其特征在于,所述在基准模型上进行人工标注形成特征关键点包括:
形成待识别对象的立体轮廓模型;
对所述立体轮廓模型进行纹理贴图形成所述基准模型;
在所述基准模型上通过人工标注形成所述特征关键点,形成所述特征关键点的基准位置。
3.根据权利要求2所述的数据标注方法,其特征在于,所述随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据包括:
所述基准模型变形形成变形模型;
根据所述基准位置确定所述变形模型上的所述特征关键点,形成所述特征关键点的位置变化数据;
对所述变形模型进行渲染生成训练图像;
通过所述位置变化数据形成所述训练图像上所述特征关键点的所述标注数据。
4.根据权利要求2所述的数据标注方法,其特征在于,所述随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据包括:
所述基准模型变形形成变形模型;
根据所述基准位置确定变形模型上的所述特征关键点,形成所述特征关键点的位置变化数据;
将所述变形模型导入三维场景进行渲染生成训练图像;
通过所述位置变化数据形成所述训练图像上所述特征关键点的标注数据。
5.根据权利要求2所述的数据标注方法,其特征在于,所述随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据包括:
将所述基准模型导入三维场景,所述基准模型形成连续的变形模型;
根据所述基准位置确定所述变形模型上的所述特征关键点,形成所述特征关键点的位置变化数据;
所述三维场景对象按需变化,配合所述变形模型进行渲染生成一系列训练图像;
通过所述位置变化数据形成所述训练图像上所述特征关键点的所述标注数据。
6.根据权利要求5所述的数据标注方法,其特征在于,所述三维场景对象包括:
环境布置对象,至少包括灯光、室内外建筑物、地形和气象中的一种;
装饰布置对象,至少包括匹配所述变形模型的附着物;
所述按需变化包括所述三维场景对象的数量、属性和轨迹的程序化变化。
7.根据权利要求3至5任一所述的数据标注方法,其特征在于,所述根据所述基准位置确定变形模型上的所述特征关键点包括:
根据三维向二维的投影方向,对所述变形模型中被遮挡的特征关键点进行位置修正,以所述变形模型投影轮廓的对应位置作为所述被遮挡的特征关键点的相对位置。
8.根据权利要求1所述的数据标注方法,其特征在于,所述基准模型的仿真对象至少包括以下一种或以下两种的组合:
面部、面部的五官、头部、局部肢体或躯干。
9.一种数据标注装置,包括:
存储器,用于存储如权利要求1至8任一所述数据标注方法中各步骤对应的程序代码;
处理器,用于执行所述程序代码。
10.一种数据标注装置,包括:
标记模块,用于在基准模型上进行人工标注形成特征关键点,随所述基准模型的变形形成所述特征关键点的位置变化数据,在所述基准模型变形后形成的影像中根据所述位置变化数据形成所述特征关键点的标注数据。
CN201810716845.9A 2018-07-03 2018-07-03 一种数据标注方法和标注装置 Pending CN109086798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810716845.9A CN109086798A (zh) 2018-07-03 2018-07-03 一种数据标注方法和标注装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810716845.9A CN109086798A (zh) 2018-07-03 2018-07-03 一种数据标注方法和标注装置

Publications (1)

Publication Number Publication Date
CN109086798A true CN109086798A (zh) 2018-12-25

Family

ID=64837175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810716845.9A Pending CN109086798A (zh) 2018-07-03 2018-07-03 一种数据标注方法和标注装置

Country Status (1)

Country Link
CN (1) CN109086798A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110695A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110363127A (zh) * 2019-07-04 2019-10-22 陕西丝路机器人智能制造研究院有限公司 机器人对工件关键点识别与定位的方法
CN110428003A (zh) * 2019-07-31 2019-11-08 清华大学 样本类别标签的修正方法、装置以及电子设备
CN110567389A (zh) * 2019-08-22 2019-12-13 硅湖职业技术学院 一种古建筑结构变形监测分析系统及分析方法
CN111145136A (zh) * 2020-01-02 2020-05-12 国网安徽省电力有限公司检修分公司 用于变电站表计图像数据集的合成方法、系统及存储介质
CN111191708A (zh) * 2019-12-25 2020-05-22 浙江省北大信息技术高等研究院 自动化样本关键点标注方法、装置及系统
CN111259822A (zh) * 2020-01-19 2020-06-09 杭州微洱网络科技有限公司 针对电商图像中模特脖颈关键点的检测方法
CN111695628A (zh) * 2020-06-11 2020-09-22 北京百度网讯科技有限公司 关键点标注方法、装置、电子设备及存储介质
CN112990032A (zh) * 2021-03-23 2021-06-18 中国人民解放军海军航空大学航空作战勤务学院 人脸图像处理方法及装置
CN113223146A (zh) * 2021-04-23 2021-08-06 深圳市城市交通规划设计研究中心股份有限公司 一种基于三维仿真场景的数据标注方法、装置及存储介质
CN113362353A (zh) * 2020-03-04 2021-09-07 上海分众软件技术有限公司 一种利用合成训练图片识别广告机边框的方法
CN113963127A (zh) * 2021-12-22 2022-01-21 深圳爱莫科技有限公司 一种基于仿真引擎的模型自动生成方法及处理设备
CN114155374A (zh) * 2022-02-09 2022-03-08 深圳爱莫科技有限公司 冰激凌图像训练方法、检测方法及处理设备
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、系统、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技(深圳)有限公司 一种3d人脸重建方法、装置及服务器
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN107832751A (zh) * 2017-12-15 2018-03-23 北京奇虎科技有限公司 人脸特征点的标注方法、装置及计算设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技(深圳)有限公司 一种3d人脸重建方法、装置及服务器
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN107832751A (zh) * 2017-12-15 2018-03-23 北京奇虎科技有限公司 人脸特征点的标注方法、装置及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖广军: "《公安数字影像处理与分析》", 31 March 2017 *
陈洪敏: "3维模型2维投影图序列特征的异常检测", 《三明学院学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110695B (zh) * 2019-05-17 2021-03-19 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110110695A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110363127A (zh) * 2019-07-04 2019-10-22 陕西丝路机器人智能制造研究院有限公司 机器人对工件关键点识别与定位的方法
CN110428003A (zh) * 2019-07-31 2019-11-08 清华大学 样本类别标签的修正方法、装置以及电子设备
CN110428003B (zh) * 2019-07-31 2022-04-22 清华大学 样本类别标签的修正方法、装置以及电子设备
CN110567389A (zh) * 2019-08-22 2019-12-13 硅湖职业技术学院 一种古建筑结构变形监测分析系统及分析方法
CN110567389B (zh) * 2019-08-22 2021-07-16 硅湖职业技术学院 一种古建筑结构变形监测分析系统及分析方法
CN111191708A (zh) * 2019-12-25 2020-05-22 浙江省北大信息技术高等研究院 自动化样本关键点标注方法、装置及系统
CN111145136A (zh) * 2020-01-02 2020-05-12 国网安徽省电力有限公司检修分公司 用于变电站表计图像数据集的合成方法、系统及存储介质
CN111145136B (zh) * 2020-01-02 2023-08-18 国网安徽省电力有限公司超高压分公司 用于变电站表计图像数据集的合成方法、系统及存储介质
CN111259822A (zh) * 2020-01-19 2020-06-09 杭州微洱网络科技有限公司 针对电商图像中模特脖颈关键点的检测方法
CN113362353A (zh) * 2020-03-04 2021-09-07 上海分众软件技术有限公司 一种利用合成训练图片识别广告机边框的方法
CN111695628A (zh) * 2020-06-11 2020-09-22 北京百度网讯科技有限公司 关键点标注方法、装置、电子设备及存储介质
CN111695628B (zh) * 2020-06-11 2023-05-05 北京百度网讯科技有限公司 关键点标注方法、装置、电子设备及存储介质
CN112990032A (zh) * 2021-03-23 2021-06-18 中国人民解放军海军航空大学航空作战勤务学院 人脸图像处理方法及装置
CN112990032B (zh) * 2021-03-23 2022-08-16 中国人民解放军海军航空大学航空作战勤务学院 人脸图像处理方法及装置
CN113223146A (zh) * 2021-04-23 2021-08-06 深圳市城市交通规划设计研究中心股份有限公司 一种基于三维仿真场景的数据标注方法、装置及存储介质
CN113963127A (zh) * 2021-12-22 2022-01-21 深圳爱莫科技有限公司 一种基于仿真引擎的模型自动生成方法及处理设备
CN114155374B (zh) * 2022-02-09 2022-04-22 深圳爱莫科技有限公司 冰激凌图像训练方法、检测方法及处理设备
CN114155374A (zh) * 2022-02-09 2022-03-08 深圳爱莫科技有限公司 冰激凌图像训练方法、检测方法及处理设备
CN114972930A (zh) * 2022-08-02 2022-08-30 四川大学 面部图像的皮损标注方法、系统、计算机设备和存储介质
CN114972930B (zh) * 2022-08-02 2022-12-06 四川大学 面部图像的皮损标注方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN109086798A (zh) 一种数据标注方法和标注装置
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN110163054B (zh) 一种人脸三维图像生成方法和装置
CN108305312B (zh) 3d虚拟形象的生成方法和装置
CN109325437A (zh) 图像处理方法、装置和系统
US20170372505A1 (en) Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images
CN109636831A (zh) 一种估计三维人体姿态及手部信息的方法
CN102999942B (zh) 三维人脸重建方法
CN104221054B (zh) 人物属性推定系统及学习用数据生成装置
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
CN109697688A (zh) 一种用于图像处理的方法和装置
CN108510583A (zh) 人脸图像的生成方法和人脸图像的生成装置
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN104123749A (zh) 一种图像处理方法及系统
CN104463938A (zh) 三维虚拟试妆方法和装置
CN109934847A (zh) 弱纹理三维物体姿态估计的方法和装置
CN106710003A (zh) 一种基于OpenGL ES的三维拍照方法和系统
CN105139007B (zh) 人脸特征点定位方法和装置
CN109087379A (zh) 人脸表情的迁移方法和人脸表情的迁移装置
CN112950769A (zh) 三维人体重建方法、装置、设备及存储介质
CN112102480B (zh) 图像数据处理方法、装置、设备以及介质
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
KR20230097157A (ko) 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템
TW202040517A (zh) 產生模擬使用者的三維臉部模型的方法及裝置
CN111695431A (zh) 一种人脸识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination