CN108509855A - 一种通过增强现实生成机器学习样本图片的系统及方法 - Google Patents

一种通过增强现实生成机器学习样本图片的系统及方法 Download PDF

Info

Publication number
CN108509855A
CN108509855A CN201810182434.6A CN201810182434A CN108509855A CN 108509855 A CN108509855 A CN 108509855A CN 201810182434 A CN201810182434 A CN 201810182434A CN 108509855 A CN108509855 A CN 108509855A
Authority
CN
China
Prior art keywords
data
face
samples pictures
machine learning
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810182434.6A
Other languages
English (en)
Other versions
CN108509855B (zh
Inventor
曾强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Original Assignee
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Digital Peak Technology Co Ltd, Chengdu Rui Code Technology Co Ltd filed Critical Hangzhou Digital Peak Technology Co Ltd
Priority to CN201810182434.6A priority Critical patent/CN108509855B/zh
Publication of CN108509855A publication Critical patent/CN108509855A/zh
Application granted granted Critical
Publication of CN108509855B publication Critical patent/CN108509855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种通过增强现实生成机器学习样本图片的系统，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存；通过以上步骤可以完整的进行对样本的收集和标签化处理，完全自动化实现，无论是在娱乐或是信息安全方面都可以有效地提高效率，提高完成质量和三维模型的渲染速度。

Description

一种通过增强现实生成机器学习样本图片的系统及方法
技术领域
本发明涉及增强现实和机器学习，具体涉及一种通过增强现实生成机器学习样本图片的系统及方法。
背景技术
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。
随着机器学习越来越多的应用和推广，学习样本以及样本的标签化处理是机器学习的基础。传统的样本收集和标签化依靠人工完成，成本高，周期长。
发明内容
本发明所要解决现有技术的样本收集和标签化依靠人工完成，成本高，周期长的问题，提供一种通过增强现实生成机器学习样本图片的系统对样本自动标签化处理，减少人工，从而降低成本、提高效率。
本发明通过下述技术方案实现：
一种通过增强现实生成机器学习样本图片的系统，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存。所述的标签生成模块主要是通过所述人脸数据构建模块构建的人脸数据和标签信息的配套对应来实现机器学习。
其生成机器学习样本图片的方法为：
a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角；
b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型；
c、根据步骤b中的材质数据、三维模型对样本图片进行渲染，并生成渲染后的样本图片；
d、依据步骤c中的所述渲染后的样本图片生成标签信息。
通过以上步骤可以完整的进行对样本的收集和标签化处理，完全自动化实现，无论是在娱乐或是信息安全方面都可以有效地提高效率，提高完成质量和三维模型的渲染速度。
所述模型构建模块指对面部表征模型的建模，也就是步骤b中所生成的材质数据、三维模型，包括有均值头部遮罩模型建模：取平均人头数据构建人头模型，模型基准点为眉心位置，正面朝向相机；以及两种类型的表征建模：静态表征建模，如眼镜，帽子。以人头模型为参考构建表征模型，眼镜能够准确的戴在眼部，帽子戴在头部。贴合面部表情的表征建模，如胡子、眉毛、皱纹、妆容等。以人脸关键点为定点，构建面部三角网格，在面部网格的基础上构建面部以外的模型，如：胡子的面部以外的区域，最后绘制纹理，非纹理区域透明度过度到零。
其中步骤c中的渲染过程为：虚拟影像与样本图片融合，所述的虚拟影像指静态表征建模以及贴合面部表情的表征建模等。
进一步的，所述标签信息可以存储在任何现有的存储介质中。
进一步的，所述人脸数据构建模块所识别的客体还包括动物脸型、植物的形状。
进一步的，所述模型构建模块所构建的三维模型还包括动物脸型、植物的形状。
进一步的，所述模型构建模块所构建的三维模型还包括拟人脸的物体。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种通过增强现实生成机器学习样本图片的系统可以减少人力人工；
2、本发明一种通过增强现实生成机器学习样本图片的系统有效降低成本；
3、本发明一种通过增强现实生成机器学习样本图片的系统有效提高效率，减少周期。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明原理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
如图1所示，一种通过增强现实生成机器学习样本图片的系统，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存。
其生成机器学习样本图片的方法为：
a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角；
b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型；
c、根据步骤b中的材质数据、三维模型对样本图片进行渲染，并生成渲染后的样本图片；
d、依据步骤c中的所述渲染后的样本图片生成标签信息。
通过以上步骤可以完整的进行对样本的收集和标签化处理，完全自动化实现，无论是在娱乐或是信息安全方面都可以有效地提高效率，提高完成质量和三维模型的渲染速度。
在实际使用时，通过实时对人脸等客体的数据收集来构建相应的三维模型，将所述渲染后的样本图片生成标签信息，并保存该标签信息，往后的样本图片可直接通过之前存储的标签信息直接渲染，减少了三维模型的收集等步骤，提高效率；例如，在客体是人脸时，在眼部添加一个虚拟的眼镜，为了使眼镜显得贴合眼部，需要构建人脸的三维模型，再基于人脸的三维模型将虚拟的眼镜渲染至符合原本人脸的角度以实现贴合眼部，同时记录此时虚拟的眼镜渲染的数据作为标签信息，当再需以该人脸渲染其他虚拟图片时，可以直接使用该标签信息来快速渲染，减少建立三维模型的时间。
所述模型构建模块指对于面部表征模型的建模，也就是步骤b中所生成的材质数据、三维模型，包括有均值头部遮罩模型建模：取平均人头数据构建人头模型，模型基准点为眉心位置，正面朝向相机；以及两种类型的表征建模：静态表征建模，如眼镜，帽子。以人头模型为参考构建表征模型，眼镜能够准确的戴在眼部，帽子戴在头部。贴合面部表情的表征建模，如胡子、眉毛、皱纹、妆容等。以人脸关键点为定点，构建面部三角网格，在面部网格的基础上构建面部以外的模型，如：胡子的面部以外的区域，最后绘制纹理，非纹理区域透明度过度到零。
其中步骤c中的渲染过程为：虚拟影像与样本图片融合，所述的虚拟影像指静态表征建模以及贴合面部表情的表征建模等。
其以背景模式(深度检测为总是通过)渲染样本图片。
其静态表征模型渲染融合：以关键点中眉心点为世界坐标，人头姿态为姿态，人脸框与人头模型面部宽度比值为缩放值，渲染人头模型。人头模型的融合结果为：desRGB，即缓冲区颜色。以人头模型的世界坐标下平移，旋转和缩放属性来渲染静态表征模型；渲染模型，融合方程为：srcAlpha*srcRGB+(1.0-desAlpha)*desRGB；(srcAlpha：当前透明度，srcRGB，当前颜色，desAlpha：缓冲区透明度，desRGB：缓冲区颜色)。
其贴合面部表情的表征渲染：以关键点中眉心点为世界坐标，人头姿态为姿态，人脸框与人头模型面部宽度比值为缩放值，渲染表征模型。将人脸关键点图像坐标转换为世界坐标，作为表征模型上面部网格顶点的世界坐标；渲染模型，融合方程为：srcAlpha*srcRGB+(1.0-desAlpha)*desRGB；(srcAlpha：当前透明度，srcRGB：当前颜色，desAlpha：缓冲区透明度，desRGB：缓冲区颜色)。所述世界坐标即世界坐标系，是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。
所述标签信息可以存储在任何现有的存储设备中，在本实施例中存储设备可选手机等移动设备，或是U盘等介质中。
所述人脸数据构建模块所识别的客体还包括动物脸型、植物的形状，增加可识别的客体，扩展识别选向，例如类似人脸的面具、类似人脸的植物等。
所述模型构建模块所构建的三维模型还包括动物脸型、植物的形状。
所述模型构建模块所构建的三维模型还包括拟人脸的物体，例如面具等类似人脸的物体。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种通过增强现实生成机器学习样本图片的系统，其特征在于，包括：人脸数据构建模块，用于识别人脸并构建人脸数据信息，所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角；模型构建模块，用于生成材质数据、三维模型；标签生成模块，用于生成对应人脸数据的标签信息并储存；所述模型构建模块利用所述人脸数据构建模块所构建人脸数据信息来生成材质数据、三维模型。
2.根据权利要求1所述的一种通过增强现实生成机器学习样本图片的系统，其特征在于：所述材质数据包括2D数据、3D数据以及纹理数据。
3.一种通过增强现实生成机器学习样本图片的方法，其特征在于，该方法采用权利要求1中所述通过增强现实生成机器学习样本图片的系统生成机器学习样本图片，所述方法的具体步骤为：
a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角；
b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型；
c、根据步骤b中的材质数据、三维模型对样本图片进行渲染，并生成渲染后的样本图片；
d、依据步骤c中的所述渲染后的样本图片生成标签信息并储存。
4.根据权利要求1或3所述的一种通过增强现实生成机器学习样本图片的方法，其特征在于：所述标签信息可以存储在任何现有的存储介质中。
5.根据权利要求1或3所述的一种通过增强现实生成机器学习样本图片的方法，其特征在于：所述人脸数据构建模块所构建的人脸关键点为眼、眉、鼻、耳、唇。
6.根据权利要求1或3所述的一种通过增强现实生成机器学习样本图片的方法，其特征在于：所述模型构建模块所构建的三维模型还包括动物脸型、植物的形状。
7.根据权利要求6所述的一种通过增强现实生成机器学习样本图片的方法，其特征在于：所述模型构建模块所构建的三维模型还包括拟人脸的物体。
CN201810182434.6A 2018-03-06 2018-03-06 一种通过增强现实生成机器学习样本图片的系统及方法 Active CN108509855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810182434.6A CN108509855B (zh) 2018-03-06 2018-03-06 一种通过增强现实生成机器学习样本图片的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810182434.6A CN108509855B (zh) 2018-03-06 2018-03-06 一种通过增强现实生成机器学习样本图片的系统及方法

Publications (2)

Publication Number Publication Date
CN108509855A true CN108509855A (zh) 2018-09-07
CN108509855B CN108509855B (zh) 2021-11-23

Family

ID=63377003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810182434.6A Active CN108509855B (zh) 2018-03-06 2018-03-06 一种通过增强现实生成机器学习样本图片的系统及方法

Country Status (1)

Country Link
CN (1) CN108509855B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种视觉图片样本的获取方法及装置
CN110852332A (zh) * 2019-10-29 2020-02-28 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404016A (zh) * 2002-10-18 2003-03-19 清华大学 融合多视角、多线索二维信息的人脸三维模型的建立方法
CN101452582A (zh) * 2008-12-18 2009-06-10 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN102034079A (zh) * 2009-09-24 2011-04-27 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
CN107452060A (zh) * 2017-06-27 2017-12-08 西安电子科技大学 全角度自动采集生成虚拟数据集方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN107690672A (zh) * 2017-07-25 2018-02-13 深圳前海达闼云端智能科技有限公司 训练数据生成方法、生成装置及其图像语义分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404016A (zh) * 2002-10-18 2003-03-19 清华大学 融合多视角、多线索二维信息的人脸三维模型的建立方法
CN101452582A (zh) * 2008-12-18 2009-06-10 北京中星微电子有限公司 一种实现三维视频特效的方法和装置
CN102034079A (zh) * 2009-09-24 2011-04-27 汉王科技股份有限公司 眼镜遮挡下的人脸识别方法和系统
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN107452060A (zh) * 2017-06-27 2017-12-08 西安电子科技大学 全角度自动采集生成虚拟数据集方法
CN107690672A (zh) * 2017-07-25 2018-02-13 深圳前海达闼云端智能科技有限公司 训练数据生成方法、生成装置及其图像语义分割方法
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059724A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术（沈阳）有限公司 一种视觉图片样本的获取方法及装置
CN110852332A (zh) * 2019-10-29 2020-02-28 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
CN110852332B (zh) * 2019-10-29 2020-12-01 腾讯科技（深圳）有限公司 训练样本的生成方法、装置、存储介质及电子设备
WO2021082885A1 (zh) * 2019-10-29 2021-05-06 腾讯科技（深圳）有限公司 语义分割模型的训练样本的生成方法、装置、存储介质及电子设备
US11934485B2 (en) 2019-10-29 2024-03-19 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating training sample of semantic segmentation model, storage medium, and electronic device

Also Published As

Publication number Publication date
CN108509855B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
KR100720309B1 (ko) 자동 3차원 모델링 시스템 및 방법
WO2018103220A1 (zh) 一种图像处理的方法及装置
CN112150638A (zh) 虚拟对象形象合成方法、装置、电子设备和存储介质
CN105427385A (zh) 一种基于多层形变模型的高保真人脸三维重建方法
CN109377557A (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN111710036A (zh) 三维人脸模型的构建方法、装置、设备及存储介质
AU2013266192A1 (en) Systems and methods for generating a 3-D model of a virtual try-on product
CN111950430B (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN108846792A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110097626A (zh) 一种基于rgb单目图像的浅浮雕物体识别处理方法
KR102353556B1 (ko) 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
Bao et al. High-quality face capture using anatomical muscles
CN117315211B (zh) 数字人合成及其模型训练方法、装置、设备及存储介质
CN114283052A (zh) 妆容迁移及妆容迁移网络的训练方法和装置
Wang et al. Wuju opera cultural creative products and research on visual image under VR technology
CN108509855A (zh) 一种通过增强现实生成机器学习样本图片的系统及方法
CN109285208A (zh) 基于表情动态模板库的虚拟角色表情卡通化算法
KR100942026B1 (ko) 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법
CN115686202A (zh) 跨Unity/Optix平台的三维模型交互渲染方法
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
Beacco et al. Automatic 3D avatar generation from a single RBG frontal image
CN106960467A (zh) 一种带有骨骼信息的人脸重构方法和系统
CN107784537A (zh) 基于虚拟技术的配镜系统
Dong et al. A low-cost photorealistic CG dataset rendering pipeline for facial landmark localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant