CN109840592A - 一种机器学习中快速标记训练数据的方法 - Google Patents
一种机器学习中快速标记训练数据的方法 Download PDFInfo
- Publication number
- CN109840592A CN109840592A CN201811579476.XA CN201811579476A CN109840592A CN 109840592 A CN109840592 A CN 109840592A CN 201811579476 A CN201811579476 A CN 201811579476A CN 109840592 A CN109840592 A CN 109840592A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- training
- machine learning
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种机器学习中快速标记训练数据的方法，所述方法以下步骤：描出图像上目标物的关键部位轮廓，将目标物划分大区域；对每个关键部位进行关键位点的标记，得到标记数据；选择数据训练神经网络模型，将图像中的像素映射到3D模型的UV坐标系；将待标记图像中的点对应至3D模型中的大致区域后，根据3D模型中的多角度展示，人工调整至精确位置。本发明解决了训练数据快速标注的问题，节省了大量的时间，极大提升了训练和标注的精准度，同时，本发明也提供了一套度量准确性的方法，比直接人工标注训练至少提高了2倍的准确度。机器视觉领域为了物体的三维感知，需要积累大量的训练数据，本发明的技术方案对于训练提速有巨大工程意义。
Description
技术领域
本发明属于计算机信息技术领域，具体涉及一种机器学习中快速标记训练数据的方法。
背景技术
当前机器视觉和人工智能领域，在研究3D物体重建的过程中，大量的、多样的数据是不可或缺的，收集这些数据需要标注大量的数据。要建立普通图片和三维物体之间的标注关系，需要人员对图片上的关键点和模型上关键点进行对应标注。标注人员需要不断旋转三位物体，进行定位和标注。这个过程非常耗费时间和精力。
发明内容
本发明提供了一种机器学习中快速标记训练数据的方法。通过采用本发明的技术方案，节省了训练数据标注的大量时间，极大提升了标记训练数据的速度和精准度。
为实现上述发明目的，本发明采用以下技术方案予以实现：
一种机器学习中快速标记训练数据的方法，它包括以下步骤：
(1)描出训练图像上目标物的关键部位轮廓，将目标物划分大区域；
(2)对每个关键部位进行关键位点的标记，得到标记数据；
(3)选择标记数据，训练神经网络模型；
(4)使用神经网络模型将待标记图像上目标物的像素对应至标准模型模板的大致区域，根据多角度展示人工调整至精确位置。
进一步的，所述步骤(4)中标准模型模板为：
其中，所述标准模型模板是由三角形组成的标准的3D网格，每一个都对应一个三维空间模型的顶点，X代表了标准模型模板顶点的集合。
进一步的，所述步骤(2)中关键位点的标记为在图像上关键部位的可见区域均匀进行标记。
进一步的，所述步骤(3)中的选择标记数据为随机选择小样本数据。
进一步的，所述步骤(3)中训练神经网络模型的具体步骤为：
第一阶段，根据公式计算训练图像中目标物的像素属于某一部位的可能性；
第二阶段，每个大区域训练一个回归模型，将图像中像素的坐标映射到3D 模型的UV坐标系。
进一步的，所述公式为：
c*＝argmaxcP(c|i)，
其中，i代表图像上一个点，c*代表图像中像素i可能属于的大区域，所述区域包括划分的大区域和背景，argmax计算图像中像素i属于某个大区域c*的可能性。
进一步的，所述回归模型Rc*为：
[U，V]＝Rc*(i)
其中，i代表图像上的一个点，[U，V]为3D模型的坐标。
进一步的，所述步骤(4)中3D模型提供以图像中的像素映射到3D模型的位置为中心，6个不同角度的预览。
与现有技术相比，本发明的优点和有益效果是：本发明提供了一种快速标记训练数据的方法，供训练人员可以迅速的标注人体，极大挺升了标注效率。以本发明训练的从RGB图片中提取人体身体数据的神经网络为例，本发明实施例中一共标注了4万张图片，每张图片中可能出现多个人，一共有6.2万个人体，以手工标注来计算，每个图片手工标记需要0.5小时，一共需要24.8万小时，也就是需要28.3人年的工作量。而采用本发明的技术方案，可以提速10倍，只需2 人年就可以完成标记，而且精准度要提高两倍。
本发明解决了训练数据快速标注的问题，节省了大量的时间，极大提升了训练和标注的精准度，同时，本发明也提供一套度量准确性的方法，比直接人工标注训练至少提高了2倍的准确度。机器视觉领域为了物体的三维感知，需要积累大量的训练数据，本发明的技术方案对于训练提速有巨大工程意义。
附图说明
图1是人体主要部位分割图；
图2是人体主要部位标记的示意图；
图3是人体主要部位的关键点标注示意图。
具体实施方式
实施例1、人体3D训练识别
1、收集多张人体图像，图像为RGB格式。标记人员描出图像上人体24个关键部位的轮廓，将人体分为24个大区域，如图1所示。关键部位包括左侧头部、右侧头部、颈部、左上臂、右上臂、左下臂、右下臂、躯干、左手、右手、左大腿、右大腿、左小腿、右小腿、左脚、右脚，其中，上臂、下臂、大腿、小腿都是由正反两面两部分构成。
2、对每个关键部位进行14个位点的标记，具体为在人体图像上关键部位的可见区域人工均匀的标记14个位点。
3、从上述标记得到的所有数据中随机选择小样本数据，比如，选择所有数据的5％作为小样本数据。根据步骤1中划分的24个大区域，使用小样本数据，训练一个神经网络模型，用来辅助标记其他数据。具体步骤如下：
第一阶段，建立一个从图像中像素i到部位c*的映射。c*＝argmaxcP(c|i)，其中，i代表图像上的一个点，c*代表可能的25个区域，包括人体的24个大区域和背景，argmax计算i属于某个c*的可能性，说明当前图像上的点有多大概率属于某一个区域，从而建立一个从图像中像素i到部位c*的映射。
第二阶段，把图像中像素i的坐标映射到目标空间的UV坐标系。在相应区域，根据每个关键部位训练一个回归模型 i代表图像上的一个点，[U，V]是映射关系，通过这个回归模型得到最终的UV坐标，使用把图像中的像素i映射到预先定义的标准模型模板的UV坐标系。其中，标准模型模板每一个都对应一个3维空间人体模型的顶点，X代表了标准模型模版顶点的集合；该标准模型模板是一个由三角形组成的标准的3D网格，其中三角形数量是6000个。
训练完成后，该神经网络模型可以理解标准模型模板和图像的大致区域对应关系，该神经网络模型可以最终通过分类算法，将给定的任意的一个像素，判断这个像素i属于某个区域。
4、输入待标记的图片，神经网络模型可以自动识别图片上的关键点，将待标记的图片中的某一关键点的像素对应至标准模型模板中的大致区域后，然后对每个像素在所在区域内进行精细调整，此时在标准模型模板上可以自动提示标注位置，给出某一位置的多角度拍照展示，人工进行精细调整至精确位置，辅助完成标注。以手部为例，见图3，在模型上最方便的位置进行标注，这样标注人员会获得一个全局视角，更加方便和精准的来进行标记。
对于每一张图片k，可以计算图像上i点的标记的偏差dj，k，可以收集实际的点i和人工标记的点之间的距离关系式中，k代表一张图像，i 为图像上某一点的实际位置，为标记人员标记的位置，dj，k为点在图像上的实际位置和标记人员标记的位置的偏差距离，此方法的标记准确性是传统标记方法的两倍。
本发明在标注过程中，精细的、有参照的部分，比如手指关节，相对比较容易标注，但是大块的没有显著特征的区域，标注会比较困难，平均偏差也会比较大。本发明通过预先训练一个专门的“训练标注模型”，即上文中的神经网络模型，来加速训练过程，“训练标注模型”能够自动补足缺失的身体部位信息，并且迅速给出标注准确性反馈提示。
本发明在标注过程中具有以下突出优势：
(1)分级标注，先区分大的标注领域，再在领域中标注细节，可以先把物体划分为大的区域，然后再在区域中进行细节的标记点的标记。
(2)实时反馈，即每个标注会立即呈现在标注3D预览模型上，以给标注人员明确的提示的方式，这个模型可是自动旋转，并且提供以标注点为中心，6个不同角度的预览。
以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。
Claims (8)
1.一种机器学习中快速标记训练数据的方法，其特征在于：它包括以下步骤：
(1)描出训练图像上目标物的关键部位轮廓，将目标物划分大区域；
(2)对每个关键部位进行关键位点的标记，得到标记数据；
(3)选择标记数据，训练神经网络模型；
(4)使用神经网络模型将待标记图像上目标物的像素对应至标准模型模板的大致区域，根据多角度展示人工调整至精确位置。
2.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤(4)中标准模型模板为：
其中，所述标准模型模板是由三角形组成的标准的3D网格，每一个都对应一个三维空间模型的顶点，X代表了标准模型模板顶点的集合。
3.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤(2)中关键位点的标记为在图像上关键部位的可见区域均匀进行标记。
4.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤(3)中的选择标记数据为随机选择小样本数据。
5.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤(3)中训练神经网络模型的具体步骤为：
第一阶段，根据公式计算训练图像中目标物的像素属于某一部位的可能性；
第二阶段，每个大区域训练一个回归模型，将图像中像素的坐标映射到3D模型的UV坐标系。
6.根据权利要求5所述的机器学习中快速标记训练数据的方法，其特征在于：所述公式为：
c*＝argmaxcP(c|i)，
其中，i代表图像上一个点，c*代表图像中像素i可能属于的大区域，所述区域包括划分的大区域和背景，argmax计算图像中像素i属于某个大区域c*的可能性。
7.根据权利要求5所述的机器学习中快速标记训练数据的方法，其特征在于：所述回归模型为：
其中，i代表图像上的一个点，[U，V]为3D模型的坐标。
8.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤(4)中3D模型提供以图像中的像素映射到3D模型的位置为中心，6个不同角度的预览。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579476.XA CN109840592B (zh) | 2018-12-24 | 2018-12-24 | 一种机器学习中快速标记训练数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811579476.XA CN109840592B (zh) | 2018-12-24 | 2018-12-24 | 一种机器学习中快速标记训练数据的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109840592A true CN109840592A (zh) | 2019-06-04 |
| CN109840592B CN109840592B (zh) | 2019-10-18 |
Family
ID=66883236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811579476.XA Active CN109840592B (zh) | 2018-12-24 | 2018-12-24 | 一种机器学习中快速标记训练数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109840592B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929792A (zh) * | 2019-11-27 | 2020-03-27 | 深圳市商汤科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN113177607A (zh) * | 2021-05-21 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种对训练对象的标注方法及客户端 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134234A (zh) * | 2014-07-16 | 2014-11-05 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
| CN105608737A (zh) * | 2016-02-01 | 2016-05-25 | 成都通甲优博科技有限责任公司 | 一种基于机器学习的人体足部三维重建方法 |
| US9665800B1 (en) * | 2012-10-21 | 2017-05-30 | Google Inc. | Rendering virtual views of three-dimensional (3D) objects |
| CN107492097A (zh) * | 2017-08-07 | 2017-12-19 | 北京深睿博联科技有限责任公司 | 一种识别mri图像感兴趣区域的方法及装置 |
| US9928544B1 (en) * | 2015-03-10 | 2018-03-27 | Amazon Technologies, Inc. | Vehicle component installation preview image generation |
| CN107924579A (zh) * | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
| CN108109198A (zh) * | 2017-12-18 | 2018-06-01 | 深圳市唯特视科技有限公司 | 一种基于级联回归的三维表情重建方法 |
| US20180253895A1 (en) * | 2017-03-03 | 2018-09-06 | Augray Pvt. Ltd. | System and method for creating a full head 3d morphable model |
| CN108537203A (zh) * | 2018-04-22 | 2018-09-14 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
| CN108549901A (zh) * | 2018-03-12 | 2018-09-18 | 佛山市顺德区中山大学研究院 | 一种基于深度学习的快速迭代目标检测方法 |
| CN108876934A (zh) * | 2017-12-20 | 2018-11-23 | 北京旷视科技有限公司 | 关键点标注方法、装置和系统及存储介质 |
-
2018
- 2018-12-24 CN CN201811579476.XA patent/CN109840592B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9665800B1 (en) * | 2012-10-21 | 2017-05-30 | Google Inc. | Rendering virtual views of three-dimensional (3D) objects |
| CN104134234A (zh) * | 2014-07-16 | 2014-11-05 | 中国科学技术大学 | 一种全自动的基于单幅图像的三维场景构建方法 |
| US9928544B1 (en) * | 2015-03-10 | 2018-03-27 | Amazon Technologies, Inc. | Vehicle component installation preview image generation |
| CN107924579A (zh) * | 2015-08-14 | 2018-04-17 | 麦特尔有限公司 | 生成个性化3d头部模型或3d身体模型的方法 |
| CN105608737A (zh) * | 2016-02-01 | 2016-05-25 | 成都通甲优博科技有限责任公司 | 一种基于机器学习的人体足部三维重建方法 |
| US20180253895A1 (en) * | 2017-03-03 | 2018-09-06 | Augray Pvt. Ltd. | System and method for creating a full head 3d morphable model |
| CN107492097A (zh) * | 2017-08-07 | 2017-12-19 | 北京深睿博联科技有限责任公司 | 一种识别mri图像感兴趣区域的方法及装置 |
| CN108109198A (zh) * | 2017-12-18 | 2018-06-01 | 深圳市唯特视科技有限公司 | 一种基于级联回归的三维表情重建方法 |
| CN108876934A (zh) * | 2017-12-20 | 2018-11-23 | 北京旷视科技有限公司 | 关键点标注方法、装置和系统及存储介质 |
| CN108549901A (zh) * | 2018-03-12 | 2018-09-18 | 佛山市顺德区中山大学研究院 | 一种基于深度学习的快速迭代目标检测方法 |
| CN108537203A (zh) * | 2018-04-22 | 2018-09-14 | 广州麦仑信息科技有限公司 | 一种基于卷积神经网络的手掌关键点定位方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929792A (zh) * | 2019-11-27 | 2020-03-27 | 深圳市商汤科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN110929792B (zh) * | 2019-11-27 | 2024-05-24 | 深圳市商汤科技有限公司 | 图像标注方法、装置、电子设备及存储介质 |
| CN113177607A (zh) * | 2021-05-21 | 2021-07-27 | 浙江大华技术股份有限公司 | 一种对训练对象的标注方法及客户端 |
| CN113177607B (zh) * | 2021-05-21 | 2023-01-31 | 浙江大华技术股份有限公司 | 一种对训练对象的标注方法及客户端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109840592B (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10417775B2 (en) | Method for implementing human skeleton tracking system based on depth data | |
| CN107358648B (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
| CN105354876B (zh) | 一种基于移动终端的实时立体试衣方法 | |
| CN102880866B (zh) | 一种人脸特征提取方法 | |
| CN102609683B (zh) | 一种基于单目视频的人体关节自动标注方法 | |
| CN105389569B (zh) | 一种人体姿态估计方法 | |
| Khan et al. | Comparative study of hand gesture recognition system | |
| CN103258343B (zh) | 一种基于图像编辑的眼部图像处理方法 | |
| CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
| CN109840592B (zh) | 一种机器学习中快速标记训练数据的方法 | |
| CN109460150A (zh) | 一种虚拟现实人机交互系统及方法 | |
| CN110074788B (zh) | 一种基于机器学习的身体数据获取方法和装置 | |
| CN106355973A (zh) | 一种绘画辅导方法及装置 | |
| CN101739719A (zh) | 二维正面人脸图像的三维网格化方法 | |
| CN106611416A (zh) | 一种医学图像中肺分割的方法及装置 | |
| CN110096925A (zh) | 人脸表情图像的增强方法、获取方法和装置 | |
| CN106652037B (zh) | 一种人脸贴图处理方法及装置 | |
| CN108830237A (zh) | 一种人脸表情的识别方法 | |
| CN111784775B (zh) | 一种标识辅助的视觉惯性增强现实注册方法 | |
| CN105608737A (zh) | 一种基于机器学习的人体足部三维重建方法 | |
| CN111695431A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| CN106529432A (zh) | 一种深度融合显著性检测与先验知识的手部区域分割方法 | |
| CN107833503A (zh) | 配网核心作业增强现实仿真培训系统 | |
| CN106803084A (zh) | 一种基于端到端循环网络的面部特征点定位方法 | |
| JP2018147313A (ja) | オブジェクト姿勢推定方法、プログラムおよび装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 266000 802, Building 3, Publishing Building, No. 182, Haier Road, Laoshan District, Qingdao, Shandong Patentee after: Shandong Bihai Clothing Co.,Ltd. Address before: 266000 Intersection of Taiguang Road and Yangchun Road, Jiangshan Town, Laixi City, Qingdao, Shandong Province Patentee before: MENGDUO TECHNOLOGY Co.,Ltd. |