CN109840592B - 一种机器学习中快速标记训练数据的方法 - Google Patents

Abstract

本发明提供了一种机器学习中快速标记训练数据的方法，所述方法以下步骤：描出图像上目标物的关键部位轮廓，将目标物划分大区域；对每个关键部位进行关键位点的标记，得到标记数据；选择数据训练神经网络模型，将图像中的像素映射到3D模型的UV坐标系；将待标记图像中的点对应至3D模型中的大致区域后，根据3D模型中的多角度展示，人工调整至精确位置。本发明解决了训练数据快速标注的问题，节省了大量的时间，极大提升了训练和标注的精准度，同时，本发明也提供了一套度量准确性的方法，比直接人工标注训练至少提高了2倍的准确度。机器视觉领域为了物体的三维感知，需要积累大量的训练数据，本发明的技术方案对于训练提速有巨大工程意义。

Description

一种机器学习中快速标记训练数据的方法

技术领域

本发明属于计算机信息技术领域，具体涉及一种机器学习中快速标记训练数据的方法。

背景技术

当前机器视觉和人工智能领域，在研究3D物体重建的过程中，大量的、多样的数据是不可或缺的，收集这些数据需要标注大量的数据。要建立普通图片和三维物体之间的标注关系，需要人员对图片上的关键点和模型上关键点进行对应标注。标注人员需要不断旋转三位物体，进行定位和标注。这个过程非常耗费时间和精力。

发明内容

本发明提供了一种机器学习中快速标记训练数据的方法。通过采用本发明的技术方案，节省了训练数据标注的大量时间，极大提升了标记训练数据的速度和精准度。

为实现上述发明目的，本发明采用以下技术方案予以实现：

一种机器学习中快速标记训练数据的方法，它包括以下步骤：

(1)描出训练图像上目标物的关键部位轮廓，将目标物划分大区域；

(2)对每个关键部位进行关键位点的标记，得到标记数据；

(3)选择标记数据，训练神经网络模型；

(4)使用神经网络模型将待标记图像上目标物的像素对应至标准模型模板的大致区域，根据多角度展示人工调整至精确位置。

进一步的，所述步骤(4)中标准模型模板为：

其中，所述标准模型模板是由三角形组成的标准的3D网格，每一个都对应一个三维空间模型的顶点，X代表了标准模型模板顶点的集合。

进一步的，所述步骤(2)中关键位点的标记为在图像上关键部位的可见区域均匀进行标记。

进一步的，所述步骤(3)中的选择标记数据为随机选择小样本数据。

进一步的，所述步骤(3)中训练神经网络模型的具体步骤为：

第一阶段，根据公式计算训练图像中目标物的像素属于某一部位的可能性；

第二阶段，每个大区域训练一个回归模型，将图像中像素的坐标映射到3D 模型的UV坐标系。

进一步的，所述公式为：

c^*＝argmax_cP(c|i)，

其中，i代表图像上一个点，c^*代表图像中像素i可能属于的大区域，所述区域包括划分的大区域和背景，argmax计算图像中像素i属于某个大区域c^*的可能性。

进一步的，所述回归模型R^c*为：

[U，V]＝R^c*(i)

其中，i代表图像上的一个点，[U，V]为3D模型的坐标。

进一步的，所述步骤(4)中3D模型提供以图像中的像素映射到3D模型的位置为中心，6个不同角度的预览。

与现有技术相比，本发明的优点和有益效果是：本发明提供了一种快速标记训练数据的方法，供训练人员可以迅速的标注人体，极大挺升了标注效率。以本发明训练的从RGB图片中提取人体身体数据的神经网络为例，本发明实施例中一共标注了4万张图片，每张图片中可能出现多个人，一共有6.2万个人体，以手工标注来计算，每个图片手工标记需要0.5小时，一共需要24.8万小时，也就是需要28.3人年的工作量。而采用本发明的技术方案，可以提速10倍，只需2 人年就可以完成标记，而且精准度要提高两倍。

本发明解决了训练数据快速标注的问题，节省了大量的时间，极大提升了训练和标注的精准度，同时，本发明也提供一套度量准确性的方法，比直接人工标注训练至少提高了2倍的准确度。机器视觉领域为了物体的三维感知，需要积累大量的训练数据，本发明的技术方案对于训练提速有巨大工程意义。

附图说明

图1是人体主要部位分割图；

图2是人体主要部位标记的示意图；

图3是人体主要部位的关键点标注示意图。

具体实施方式

实施例1、人体3D训练识别

1、收集多张人体图像，图像为RGB格式。标记人员描出图像上人体24个关键部位的轮廓，将人体分为24个大区域，如图1所示。关键部位包括左侧头部、右侧头部、颈部、左上臂、右上臂、左下臂、右下臂、躯干、左手、右手、左大腿、右大腿、左小腿、右小腿、左脚、右脚，其中，上臂、下臂、大腿、小腿都是由正反两面两部分构成。

2、对每个关键部位进行14个位点的标记，具体为在人体图像上关键部位的可见区域人工均匀的标记14个位点。

3、从上述标记得到的所有数据中随机选择小样本数据，比如，选择所有数据的5％作为小样本数据。根据步骤1中划分的24个大区域，使用小样本数据，训练一个神经网络模型，用来辅助标记其他数据。具体步骤如下：

第一阶段，建立一个从图像中像素i到部位c^*的映射。c^*＝argmax_cP(c|i)，其中，i代表图像上的一个点，c^*代表可能的25个区域，包括人体的24个大区域和背景，argmax计算i属于某个c^*的可能性，说明当前图像上的点有多大概率属于某一个区域，从而建立一个从图像中像素i到部位c^*的映射。

第二阶段，把图像中像素i的坐标映射到目标空间的UV坐标系。在相应区域，根据每个关键部位训练一个回归模型 i代表图像上的一个点，[U，V]是映射关系，通过这个回归模型得到最终的UV坐标，使用把图像中的像素i映射到预先定义的标准模型模板的UV坐标系。其中，标准模型模板每一个都对应一个3维空间人体模型的顶点，X代表了标准模型模版顶点的集合；该标准模型模板是一个由三角形组成的标准的3D网格，其中三角形数量是6000个。

训练完成后，该神经网络模型可以理解标准模型模板和图像的大致区域对应关系，该神经网络模型可以最终通过分类算法，将给定的任意的一个像素，判断这个像素i属于某个区域。

4、输入待标记的图片，神经网络模型可以自动识别图片上的关键点，将待标记的图片中的某一关键点的像素对应至标准模型模板中的大致区域后，然后对每个像素在所在区域内进行精细调整，此时在标准模型模板上可以自动提示标注位置，给出某一位置的多角度拍照展示，人工进行精细调整至精确位置，辅助完成标注。以手部为例，见图3，在模型上最方便的位置进行标注，这样标注人员会获得一个全局视角，更加方便和精准的来进行标记。

对于每一张图片k，可以计算图像上i点的标记的偏差d_j，k，可以收集实际的点i和人工标记的点之间的距离关系式中，k代表一张图像，i 为图像上某一点的实际位置，为标记人员标记的位置，d_j，k为点在图像上的实际位置和标记人员标记的位置的偏差距离，此方法的标记准确性是传统标记方法的两倍。

本发明在标注过程中，精细的、有参照的部分，比如手指关节，相对比较容易标注，但是大块的没有显著特征的区域，标注会比较困难，平均偏差也会比较大。本发明通过预先训练一个专门的“训练标注模型”，即上文中的神经网络模型，来加速训练过程，“训练标注模型”能够自动补足缺失的身体部位信息，并且迅速给出标注准确性反馈提示。

本发明在标注过程中具有以下突出优势：

(1)分级标注，先区分大的标注领域，再在领域中标注细节，可以先把物体划分为大的区域，然后再在区域中进行细节的标记点的标记。

(2)实时反馈，即每个标注会立即呈现在标注3D预览模型上，以给标注人员明确的提示的方式，这个模型可是自动旋转，并且提供以标注点为中心，6个不同角度的预览。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (5)

1.一种机器学习中快速标记训练数据的方法，其特征在于：它包括以下步骤：

（1）描出训练图像上人体各关键部位的轮廓，将人体划分大区域；

（2）对每个关键部位进行关键位点的标记，得到训练图像标记数据；

（3）随机选择部分训练图像标记数据作为小样本数据，训练神经网络模型；

（4）使用神经网络模型将待标记图像上人体的各像素对应至人体标准模型模板的某一关键部位的大致区域，根据多角度展示，通过人工调整至精确位置；

所述步骤（3）中训练神经网络模型的具体步骤为：

第一阶段，根据公式计算训练图像中人体的像素属于某一部位的可能性；

第二阶段，每个大区域训练一个回归模型，将图像中像素的坐标映射到人体标准模型模板的UV坐标系；

所述步骤（4）中人体标准模型模板为：

，

其中，所述人体标准模型模板是由三角形组成的标准的3D网格，每一个都对应一个三维空间人体模型的顶点，X代表了人体标准模型模板顶点的集合。

2.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤（2）中关键位点的标记为在图像上关键部位的可见区域均匀进行标记。

3.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述公式为：

，

其中，i代表图像上一个点，代表图像中像素i可能属于的大区域，所述区域包括划分的大区域和背景，argmax计算图像中像素i属于某个大区域的可能性。

4.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述回归模型

其中，i代表图像上的一个点，为人体标准模型模板的坐标。

5.根据权利要求1所述的机器学习中快速标记训练数据的方法，其特征在于：所述步骤（4）中人体标准模型模板提供以图像中的像素映射到人体标准模型模板的位置为中心，6个不同角度的预览。