CN113469929A - 训练数据生成方法、装置、电子设备及计算机可读存储介质 - Google Patents
训练数据生成方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113469929A CN113469929A CN202111028978.5A CN202111028978A CN113469929A CN 113469929 A CN113469929 A CN 113469929A CN 202111028978 A CN202111028978 A CN 202111028978A CN 113469929 A CN113469929 A CN 113469929A
- Authority
- CN
- China
- Prior art keywords
- portrait
- image
- arm
- background image
- clothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 131
- 239000002131 composite material Substances 0.000 claims abstract description 54
- 230000004927 fusion Effects 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 abstract description 3
- 238000001308 synthesis method Methods 0.000 description 12
- 210000003414 extremity Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提出了一种训练数据生成方法、装置、电子设备及计算机可读存储介质，通过采集的背景图像、带分割蒙版的人体局部图像、带分割蒙版的人像图像得到合成图像，从而可以合成丰富多样的带人体局部图像的合成图像。并且，在本发明实施例中，各个图像的蒙版始终随着图像的变换而变换，从而可以通过对各个图像的分割蒙版进行合并，以得到合成图像的分割蒙版。在本发明实施例中，可以利用该分割蒙版对合成图像进行标记，从而在将合成图像作为人像分割模型的训练数据时，无需对训练数据进行人工标注，即可得到训练数据的训练标签，节省了标注成本。
Description
技术领域
本发明实施例涉及图像处理领域，特别是涉及一种训练数据生成方法、装置、电子设备及计算机可读存储介质。
背景技术
在基于深度学习训练的人像分割任务中，人像分割模型的优劣很大程度上取决于训练数据的分布丰富程度和标注的准确度。在人像分割过程中，由于复杂灵活的肢体结构在图像中的形态多变，难以对肢体结构准确分割。为了得到可以准确分割肢体结构的人像分割模型，在模型训练过程中，需要收集丰富多样的肢体图像数据，并对这些图像进行准确标注，从而利用标注后的肢体图像数据进行人像分割模型的训练，方能得到较优的人像分割模型。
但是涉及肢体的图像数据丰富多样，难以收集到广泛全面的样本数据，并且需要逐个对收集到的样本数据进行标注，标注成本较高（例如人手灵活多变，难以对每一张图中具体涉及到的手势进行准确标注），可见，相关技术难以获得大量的精准标注的肢体图像数据，以将这些数据作为人像分割模型的训练数据。
因此，针对这一问题，本文提出了一种无标注成本、无需大量样本收集的训练数据生成方法。
发明内容
本发明提供一种训练数据生成方法、装置、电子设备及计算机可读存储介质，可以得到带分割蒙版的合成数据，以在无标注成本的基础上得到丰富的训练数据用于人像分割模型的训练。
为了解决上述问题，第一方面，本发明实施例提供了一种训练数据生成方法，所述方法包括：
获得背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像；
根据所述人像图像和所述背景图像，合成人像背景图像；
将所述人体局部图像添加到所述人像背景图像中，得到合成图像；
将所述人体局部分割蒙版与所述人像分割蒙版合并，得到所述合成图像的蒙版；
根据所述合成图像的蒙版，对所述合成图像进行标记，得到人像分割模型的训练数据，所述人像分割模型用于从图像中分割出带人体局部的人像。
可选地，将所述人体局部图像添加到所述人像背景图像中，得到合成图像，包括：
获得包含手臂分割蒙版的手臂图像、包含服装分割蒙版的服装图像；
根据所述手臂图像和所述服装图像，合成带袖手臂图像；
将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像。
可选地，将所述人体局部图像添加到所述人像背景图像中，得到合成图像，包括：
获得包含手势分割蒙版的手势图像；
将所述手势图像添加到所述人像背景图像，得到手势合成图像。
可选地，根据所述手臂图像和所述服装图像，合成带袖手臂图像，包括：
根据所述服装分割蒙版，从所述服装图像中分割出服装实例；
将所述服装实例覆盖所述手臂图像，得到服装手臂融合图像；
利用所述手臂分割蒙版对所述服装手臂融合图像进行分割，去除手臂以外的图像，得到带袖手臂图像。
可选地，将所述服装实例覆盖所述手臂图像，包括：
当所述服装实例的尺寸小于所述手臂图像中手臂的尺寸时，将所述服装实例放大至与所述手臂图像中手臂的尺寸相同，将所述服装实例覆盖所述手臂图像；
当所述服装实例的尺寸不小于所述手臂图像中手臂的尺寸时，对所述服装实例进行裁剪，将裁剪出的局部服装实例覆盖所述手臂图像，得到服装手臂融合图像。
可选地，根据所述人像图像和所述背景图像，合成人像背景图像，包括：
根据所述人像分割蒙版，从所述人像图像中分割出人像；
对所述分割出的人像进行等比缩放，以使所述人像的左右边缘在所述背景图像的内部，且所述人像的下边缘与所述背景图像的下边缘相适应；
将缩放后的人像与所述背景图像相融合，得到人像背景图像。
可选地，对所述分割出的人像进行等比缩放，包括：
在所述分割出的人像是半身人像的情况下，将所述半身人像等比缩放至人像的宽度等于所述背景图像的宽度，再将等比缩放后的半身人像以预设缩小系数进行缩小；
在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈相反关系，则按照第一缩放策略对所述全身人像进行等比缩放；
在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比小于所述背景图像的高宽比，则按照第二缩放策略对所述全身人像进行等比缩放；
在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比不小于所述背景图像的高宽比，则按照第三缩放策略对所述全身人像进行等比缩放。
可选地，将缩放后的人像与所述背景图像相融合，得到人像背景图像，包括：
验证所述人像背景图像是否符合预设约束条件，所述预设约束条件包括：所述人像背景图像中的人像的面积占该人像所属的分割出的人像的面积大于第一预设比值，且所述人像背景图像中的人像的面积占所述人像背景图像的面积第二预设比值；
在所述人像背景图像符合所述预设约束条件的情况下，确定融合成功，得到人像背景图像；
在所述人像背景图像不符合所述预设约束条件的情况下，重新对所述分割出的人像进行等比缩放以及与所述背景图像的融合，直到融合成功，得到人像背景图像；
其中，若重新进行等比缩放以及融合的次数大于预设次数，则获取新的人像图像以及背景图像，以得到人像背景图像。
可选地，将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像，包括：
确定所述带袖手臂图像中手臂的方向；
根据所述带袖手臂图像中手臂的方向，选取一对带袖手臂图像作为待粘贴带袖手臂图像；
对所述人像背景图像进行边缘检测，得到人像左边缘点阵和人像右边缘点阵；
在所述人像左边缘点阵和所述人像右边缘点阵中分别选择任一点作为手臂预计粘贴点，确定各个手臂预计粘贴点分别与所述人像背景图像的对应侧边的距离；
根据所述距离，对所述待粘贴带袖手臂图像进行等比缩放，以使所述待粘贴带袖手臂图像在所述人像背景图像内；
根据所述带袖手臂图像中手臂的方向，以所述手臂分割蒙版的相应角点为参考，将各个手臂预计粘贴点平移预设距离，得到各个手臂实际粘贴点，所述预设距离是根据所述带袖手臂图像的尺寸确定的；
根据所述各个手臂实际粘贴点，利用所述手臂分割蒙版，将对应的待粘贴带袖手臂图像粘贴至所述人像背景图像中，得到手臂合成图像。
可选地，将所述手势图像添加到所述人像背景图像，得到手势合成图像，包括：
根据所述手势分割蒙版，从所述手势图像中分割出手势；
将包含的人像为半身人像的人像背景图像确定为待粘贴人像背景图像；
将所述待粘贴人像背景图像的除中心区域外剩余的上半区域中的一点确定为基础粘贴点；
根据所述待粘贴人像背景图像的尺寸，对所述基础粘贴点进行平移，得到满足预设平移条件的粘贴点；
根据所述平移后的粘贴点，利用所述手势分割蒙版，将分割出的手势粘贴至所述待粘贴人像背景图像中，得到手势合成图像。
第二方面，本发明实施例提供了一种训练数据生成装置，所述装置包括：
图像获得模块，用于获得背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像；
人像背景图像合成模块，用于根据所述人像图像和所述背景图像，合成人像背景图像；
人体局部图像添加模块，用于将所述人体局部图像添加到所述人像背景图像中，得到合成图像；
分割蒙版合并模块，用于将所述人体局部分割蒙版与所述人像分割蒙版合并，得到所述合成图像的蒙版；
合成图像标记模块，用于根据所述合成图像的蒙版，对所述合成图像进行标记，得到人像分割模型的训练数据，所述人像分割模型用于从图像中分割出带人体局部的人像。
可选地，所述人体局部图像添加模块，包括：
第一获得子模块，用于获得包含手臂分割蒙版的手臂图像、包含服装分割蒙版的服装图像；
合成子模块，用于根据所述手臂图像和所述服装图像，合成带袖手臂图像；
第一添加子模块，用于将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像。
可选地，所述人体局部图像添加模块，包括：
第二获得子模块，用于获得包含手势分割蒙版的手势图像；
第二添加子模块，用于将所述手势图像添加到所述人像背景图像，得到手势合成图像。
可选地，所述合成子模块包括：
分割单元，用于根据所述服装分割蒙版，从所述服装图像中分割出服装实例；
覆盖单元，用于将所述服装实例覆盖所述手臂图像，得到服装手臂融合图像；
去除单元，利用所述手臂分割蒙版对所述服装手臂融合图像进行分割，去除手臂以外的图像，得到带袖手臂图像。
可选地，所述覆盖单元包括：
第一覆盖子单元，用于当所述服装实例的尺寸小于所述手臂图像中手臂的尺寸时，将所述服装实例放大至与所述手臂图像中手臂的尺寸相同，将所述服装实例覆盖所述手臂图像；
第二覆盖子单元，用于当所述服装实例的尺寸不小于所述手臂图像中手臂的尺寸时，对所述服装实例进行裁剪，将裁剪出的局部服装实例覆盖所述手臂图像，得到服装手臂融合图像。
可选地，所述人像背景图像合成模块包括：
分割子模块，用于根据所述人像分割蒙版，从所述人像图像中分割出人像；
缩放子模块，用于对所述分割出的人像进行等比缩放，以使所述人像的左右边缘在所述背景图像的内部，且所述人像的下边缘与所述背景图像的下边缘相适应；
融合子模块，用于将缩放后的人像与所述背景图像相融合，得到人像背景图像。
可选地，所述缩放子模块，包括：
第一缩放单元，用于在所述分割出的人像是半身人像的情况下，将所述半身人像等比缩放至人像的宽度等于所述背景图像的宽度，再将等比缩放后的半身人像以预设缩小系数进行缩小；
第二缩放单元，用于在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈相反关系，则按照第一缩放策略对所述全身人像进行等比缩放；
第三缩放单元，用于在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比小于所述背景图像的高宽比，则按照第二缩放策略对所述全身人像进行等比缩放；
第四缩放单元，用于在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比不小于所述背景图像的高宽比，则按照第三缩放策略对所述全身人像进行等比缩放。
可选地，所述人像背景图像合成模块，包括：
验证子模块，用于验证所述人像背景图像是否符合预设约束条件，所述预设约束条件包括：所述人像背景图像中的人像的面积占该人像所属的分割出的人像的面积大于第一预设比值，且所述人像背景图像中的人像的面积占所述人像背景图像的面积第二预设比值；
融合成功子模块，用于在所述人像背景图像符合所述预设约束条件的情况下，确定融合成功，得到人像背景图像；
重新融合子模块，用于在所述人像背景图像不符合所述预设约束条件的情况下，重新对所述分割出的人像进行等比缩放以及与所述背景图像的融合，直到融合成功，得到人像背景图像；
其中，若重新进行等比缩放以及融合的次数大于预设次数，则获取新的人像图像以及背景图像，以得到人像背景图像。
可选地，第一添加子模块，包括：
方向确定单元，用于确定所述带袖手臂图像中手臂的方向；
选取单元，用于根据所述带袖手臂图像中手臂的方向，选取一对带袖手臂图像作为待粘贴带袖手臂图像；
边缘检测单元，用于对所述人像背景图像进行边缘检测，得到人像左边缘点阵和人像右边缘点阵；
距离确定单元，用于在所述人像左边缘点阵和所述人像右边缘点阵中分别选择任一点作为手臂预计粘贴点，确定各个手臂预计粘贴点分别与所述人像背景图像的对应侧边的距离；
缩放单元，用于根据所述距离，对所述待粘贴带袖手臂图像进行等比缩放，以使所述待粘贴带袖手臂图像在所述人像背景图像内；
平移单元，用于根据所述带袖手臂图像中手臂的方向，以所述手臂分割蒙版的相应角点为参考，将各个手臂预计粘贴点平移预设距离，得到各个手臂实际粘贴点，所述预设距离是根据所述带袖手臂图像的尺寸确定的；
粘贴单元，用于根据所述各个手臂实际粘贴点，利用所述手臂分割蒙版，将对应的待粘贴带袖手臂图像粘贴至所述人像背景图像中，得到手臂合成图像。
可选地，第二添加子模块，包括：
分割单元，用于根据所述手势分割蒙版，从所述手势图像中分割出手势；
待粘贴人像背景图像确定单元，用于将包含的人像为半身人像的人像背景图像确定为待粘贴人像背景图像；
基础粘贴点确定单元，用于将所述待粘贴人像背景图像的除中心区域外剩余的上半区域中的一点确定为基础粘贴点；
平移单元，用于根据所述待粘贴人像背景图像的尺寸，对所述基础粘贴点进行平移，得到满足预设平移条件的粘贴点；
粘贴单元，用于根据所述平移后的粘贴点，利用所述手势分割蒙版，将分割出的手势粘贴至所述待粘贴人像背景图像中，得到手势合成图像。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例所提出的训练数据生成方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本发明实施例提出的训练数据生成方法的步骤。
在本发明实施例中，通过采集的背景图像、带分割蒙版的人体局部图像、带分割蒙版的人像图像得到合成图像，从而可以合成丰富多样的带人体局部图像的合成图像。
并且，在本发明实施例中，各个图像的蒙版始终随着图像的变换而变换，从而可以通过对各个图像的分割蒙版进行合并，以得到合成图像的分割蒙版。在本发明实施例中，可以利用该分割蒙版对合成图像进行标记，从而在将合成图像作为人像分割模型的训练数据时，无需对训练数据进行人工标注，即可得到训练数据的训练标签，节省了标注成本。
将最终得到的带标记的合成图像用于训练人像分割模型，从而可以在无标注成本的基础上，利用自动生成的合成图像对人像分割模型进行训练，以得到可以准确地从图像中分割出带人体局部的人像的人像分割模型。
在本发明实施例中，还利用背景图像和包含人像分割蒙版的人像图像合成得到人像背景图像，从而可以得到丰富多样的带人像分割蒙版的人像背景图像，以合成得到的人像背景图像作为基础合成得到带人体局部图像的合成图像，可以进一步增加合成图像的丰富度，从而提高用于训练人像分割模型的训练样本的丰富度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种训练数据生成方法流程图；
图2是本发明实施例提供的一种人像背景图像合成方法流程图；
图3是本发明实施例提供的一种手臂合成图像合成方法流程图；
图4是本发明实施例提供的一种手势合成图像合成方法流程图；
图5是本发明实施例提供的一种图像合成方法逻辑示意图；
图6是本发明实施例提供的一种训练数据生成装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提出的一种训练数据生成方法流程图，如图1所示。所述训练数据生成方法包括：
步骤S110，获得背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像。
在本实施例中，可以对背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像，进行随机采集。
在本实施例中，背景图像为不含人像的图像，含有大量的室内室外场景，在合成图像时充当背景，以增加合成图像的丰富度和随机性。
在本实施例中，人体局部分割蒙版可以从人体局部图像分割得到人体局部，人像分割蒙版可以从人像图像中分割出人像。
步骤S120，根据所述人像图像和所述背景图像，合成人像背景图像。
在本实施例中，可以随机选取背景图像和人像图像，利用人像分割蒙版从人像图像中分割得到人像，再将人像与背景图像相融合，得到人像背景图像。
在实际应用过程中，得到人像之后，可以进一步对人像进行缩放、旋转、平移等操作，以使人像的大小、角度与选取的背景图像相适应，从而达到模拟真实图像的目的。
在本实施例中，还可以对生成的人像背景图像做高斯平滑，以解决融合图像与操作带来的像素噪声，平滑过渡融合边缘，使图像更真实。在本发明涉及到的每一步图像合成操作之后，均可以对合成得到的图像做高斯平滑，以使图像更加真实，对此后文不再赘述。
在本发明实施例中，利用背景图像和包含人像分割蒙版的人像图像合成得到人像背景图像，从而可以得到丰富多样的带人像分割蒙版的人像背景图像，以合成得到的人像背景图像作为基础合成得到带人体局部图像的合成图像，可以进一步增加合成图像的丰富度，从而提高用于训练人像分割模型的训练样本的丰富度。
步骤S130，将所述人体局部图像添加到所述人像背景图像中，得到合成图像。
在本实施例中，随机选取人体局部图像和合成得到的人像背景图像，利用人体局部分割蒙版从人体局部图像中分割得到人体局部，再将人体局部与合成得到的人像背景图像相融合，得到合成图像。
在实际应用过程中，得到人体局部之后，可以进一步对人体局部进行缩放、旋转、平移等操作，以使人体局部的大小、角度与选取的人像背景图像相适应，从而达到模拟真实图像的目的。
步骤S140，将所述人体局部分割蒙版与所述人像分割蒙版合并，得到所述合成图像的蒙版。
在本实施例中，通过带分割蒙版的图像得到合成图像，并对图像的分割蒙版进行合并得到图像的分割蒙版，在合成图像的过程中，各个图像的蒙版始终随其图像主体的变换而变换，在图像进行分离融合时，蒙版之间直接进行逻辑或运算即可得到当前融合图像的蒙版。
步骤S150，根据所述合成图像的蒙版，对所述合成图像进行标记，得到人像分割模型的训练数据，所述人像分割模型用于从图像中分割出带人体局部的人像。
在本实施例中，通过上述合成步骤可以得到丰富多样的带分割蒙版的合成图像，利用合成图像的分割蒙版对合成图像进行标记，即可确定合成图像中，人体局部和人像的具体位置，从而得到人像分割模型的训练数据。
利用这些带标记的训练数据训练得到的人像分割模型可以从图像中准确分割得到带人体局部的人像（例如：带手势的人像图像）。
在本发明实施例中，通过采集的背景图像、带分割蒙版的人体局部图像、带分割蒙版的人像图像得到合成图像，从而可以合成丰富多样的带人体局部图像的合成图像。
并且，在本发明实施例中，各个图像的蒙版始终随着图像的变换而变换，从而可以通过对各个图像的分割蒙版进行合并，以得到合成图像的分割蒙版。在本发明实施例中，可以利用该分割蒙版对合成图像进行标记，从而在将合成图像作为人像分割模型的训练数据时，无需对训练数据进行人工标注，即可得到训练数据的训练标签，节省了标注成本。
将最终得到的带标记的合成图像用于训练人像分割模型，从而可以在无标注成本的基础上，利用自动生成的合成图像对人像分割模型进行训练，以得到可以准确地从图像中分割出带人体局部的人像的人手分割模型。
本发明实施例提出了一种人像背景图像合成方法，如图2所示。在本实施例中，所述人像背景图像合成方法包括：
步骤S210，根据所述人像分割蒙版，从所述人像图像中分割出人像。
在本实施例中，可以利用人像图像的人像分割蒙版从人像图像中分割出人像。在本申请实施例中，人像图像分为远景图像和近景图像，从而可以分割得到半身人像和全身人像。
步骤S220，对所述分割出的人像进行等比缩放，以使所述人像的左右边缘在所述背景图像的内部，且所述人像的下边缘与所述背景图像的下边缘相适应。
在本实施例中，为了使得合成的人像背景图像更加贴近真实图像，可以先对分割出的人像进行等比缩放，以使人像的左右边缘在所述背景图像的内部，且所述人像的下边缘与所述背景图像的下边缘相适应。
其中，对所述分割出的人像进行等比缩放，至少包括以下四种情况：
第一种情况：在所述分割出的人像是半身人像的情况下，将所述半身人像等比缩放至人像的宽度等于所述背景图像的宽度，再将等比缩放后的半身人像以预设缩小系数进行缩小。
在本实施例中，由于分割出的人像是半身人像，即近景图像，因此，需要使得人像的宽度与背景图像的宽度相近，还需要使人像下边缘与背景图像下边缘相重合，以使最终获得的人像背景图像贴近真实图像。
在本实施例中，按照预设缩小系数进行缩小的目的在于，为手臂留出位置，以进行后续的图像合成，在本申请实施例中，预设缩小系数是技术人员提前预设的，例如可以为0.5-0.8。
第二种情况：在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈相反关系，则按照第一缩放策略对所述全身人像进行等比缩放。
在本实施例中，若分割出的人像是全身人像，即远景图像，此时，需要考虑全身人像与背景图像的高宽比是否为相反关系，若所述全身人像的高宽比与所述背景图像的高宽比呈相反关系（例如全身人像的高宽比为9：16，背景图像的高宽比为16：9，则二者的高宽比呈相反关系），则按照第一缩放策略对所述全身人像进行等比缩放，以使人像与背景图像相适应，以贴合真实图像。
其中，第一缩放策略可以为：依据背景图像的较短边和人像的较长边的比值和随机缩放系数，对人像进行等比缩放。其中随机缩放系数是技术人员提前预设的，例如可以为：0.5-1.2。在本发明中，缩放策略可以为任何能够使得人像尺寸与背景尺寸相适应的其他策略。本发明对此不作特殊限定。
第三种情况：在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比小于所述背景图像的高宽比，则按照第二缩放策略对所述全身人像进行等比缩放；
在本实施例中，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系（例如全身人像的高宽比为9：16，背景图像的高宽比为3：4，则二者的高宽比呈一致关系），则需进一步判断所述背景图像的高宽比与人像的高宽比的大小关系。
其中，第二缩放策略可以为：依据背景图像的高和人像的高的比值和随机缩放系数，对人像进行等比缩放。
第四种情况：在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比不小于所述背景图像的高宽比，则按照第三缩放策略对所述全身人像进行等比缩放。
其中，第三缩放策略可以为：依据背景图像的宽和人像的宽的比值和随机缩放系数，对人像进行等比缩放。
步骤S230，将缩放后的人像与所述背景图像相融合，得到人像背景图像。
在本实施例中，还可以对缩放后的人像以人像为中心做正负45°内的随机旋转操作，以丰富合成数据集。
在本实施例中，在对人像进行缩放旋转操作时，其人像分割蒙版与人像做同样的缩放旋转操作。在对人像和背景图像进行融合时，具体操作可以为：在背景图像上取随机位置作为融合贴图中心，以此融合贴图中心覆盖缩放旋转后的反选人像蒙版做逻辑与，使背景图像对应区域生成一部分人像形状的黑色像素块，再将人像中心对准融合贴图中心与当前背景图像做与融合，即可得到新的人像合成数据。
可选地，步骤S230具体还可以包括：
步骤S231，验证所述人像背景图像是否符合预设约束条件，所述预设约束条件包括：所述人像背景图像中的人像的面积占该人像所属的分割出的人像的面积大于第一预设比值，且所述人像背景图像中的人像的面积占所述人像背景图像的面积第二预设比值。
步骤S232，在所述人像背景图像符合所述预设约束条件的情况下，确定融合成功，得到人像背景图像。
步骤S233，在所述人像背景图像不符合所述预设约束条件的情况下，重新对所述分割出的人像进行等比缩放以及与所述背景图像的融合，直到融合成功，得到人像背景图像。
其中，若重新进行等比缩放以及融合的次数大于预设次数，则获取新的人像图像以及背景图像，以得到人像背景图像。
在本实施例中，考虑到随机合成的不确定性，可以利用预设约束条件对生成的人像背景图像条件进行检验，以保证大部分人像被融合到背景图像中，且合成的人像背景图像较为贴合真实图像。
具体地，预设约束条件可以为：
1）人像在新生成图像中的人像部分面积占原人像面积的80%。
2）人像在新生成图像中的面积占比大于10%。
在本实施例中，若不符合以上条件判定该次融合失败，舍弃新生成图像并重新对该组数据进行随机缩放旋转和融合直到新生成图像满足以上条件。考虑到方法的健壮性和时间成本，可设置阈值轮次n，若重新生成至轮次n仍没有满足条件，则舍弃该组数据重新选择人像和背景图像。
本发明实施例提出了一种手臂合成图像合成方法，如图3所示。在本实施例中，以人体局部图像为手臂图像为例进行说明，所述手臂合成图像的合成方法包括：
步骤S310，获得包含手臂分割蒙版的手臂图像、包含服装分割蒙版的服装图像。
在本实施例中，当人体局部图像为手臂图像时，则需要收集包含手臂分割蒙版的手臂图像和包含服装分割蒙版的服装图像，其中，手臂图像用于分割得到手臂，服装图像用于分割得到服装实例。
步骤S320，根据所述手臂图像和所述服装图像，合成带袖手臂图像。
在本实施例中，可以将服装图像缩放至与手臂尺寸相适应的大小，通过服装的蒙版分离将非衣服部分剥离，得到服装实例，随机裁剪合适的服装实例覆盖到手臂的手腕到另一端末端，再通过手臂图像的手臂分割蒙版去除手臂以外的衣服部分，得到带袖手臂图像。
可选地，步骤S320，包括以下子步骤：
步骤S321，根据所述服装分割蒙版，从所述服装图像中分割出服装实例。
在本实施例中，服装图像通常含有多个服装组件，例如人物上衣和裤子的组合着装图像中包含服装组件上衣和裤子，此时需根据蒙版在一张图像中分离不同的服装实例，例如，从服装图像中分离出上衣和裤子。具体可以以服装边缘外接矩形作为裁剪区域对原图进行裁剪，以尽可能使服装有效区域占新生成的图像的比例最大。
步骤S322，将所述服装实例覆盖所述手臂图像，得到服装手臂融合图像。
在本实施例中，可以随机裁剪合适的服装实例覆盖到手臂的手腕到另一端末端，不对手掌部分进行覆盖。
具体地，将所述服装实例覆盖所述手臂图像，包括：
当所述服装实例的尺寸小于所述手臂图像中手臂的尺寸时，将所述服装实例放大至与所述手臂图像中手臂的尺寸相同，将所述服装实例覆盖所述手臂图像；
当所述服装实例的尺寸不小于所述手臂图像中手臂的尺寸时，对所述服装实例进行裁剪，将裁剪出的局部服装实例覆盖所述手臂图像，得到服装手臂融合图像。
在本实施例中，由于分割得到的服装图像实例大小不一，需要对服装示例进行缩放，以适应手臂图尺寸。
当服装实例尺寸小于手臂尺寸时，可以将前者放大至与手臂相同的尺寸，再与利用蒙版分离的手臂的特定区域进行融合；当服装实例尺寸不小于手臂图像时，可以随机裁剪与手臂的特定区域大小相同的局部服装实例，再与利用蒙版分离的手臂进行融合。
其中，手臂的特定区域具体为手臂手腕至另一端末端的包含手臂部分的最小矩形区域，不包含手掌部分，在本实施例中，可以通过人工预先对手臂图像进行标注得到。
步骤S323，利用所述手臂分割蒙版对所述服装手臂融合图像进行分割，去除手臂以外的图像，得到带袖手臂图像。
在本实施例中，在将服装实例和手臂相融合后，得到服装手臂融合图像，可以进一步利用手臂分割蒙版对该图像进行分割，去除手臂以外的多于服装部分，得到带袖手臂图像。
步骤S330，将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像。
其中，在本实施例中，可以采用上述任意一种人像背景图像合成方法合成得到人像背景图像作为贴图基础，从而将带袖手臂图像添加到人像背景图像，得到手臂合成图像。
可选地，步骤S330包括：
步骤S331，确定所述带袖手臂图像中手臂的方向。
在本实施例中，确定手臂方向的方法具体可以包括：通过手臂非手掌侧末端的边缘水平或数值位置和带袖手臂图像的长宽比例共同决定。若仍无法完全判断某带袖手臂图像的方向，可对该带袖手臂图像对应的手臂分割蒙版按列或按行扫描，以每列或每行的像素数量判断变化趋势结合图像长宽比判断手臂方向。
在本实施例中，可以按照手臂的方向对带袖手臂图像进行分类，分为向左、向右伸手和向上举手三类图像，在实际应用中，可以排除向下的带袖手臂图像。
步骤S332，根据所述带袖手臂图像中手臂的方向，选取一对带袖手臂图像作为待粘贴带袖手臂图像。
在本实施例中，为了使得合成的图像尽量贴合真实图像，一对带袖手臂图像可以有以下四种组合：
1）一只向左手臂，一只向右手臂；
2）一只向左手臂，一只向上举手臂；
3）一只向右手臂，一只向上举手臂；
4）两只向上举手臂。
在本申请实施例中，还可以对选出的带袖手臂图像，以图像中心为圆心，进行正负45°范围内的随机旋转，以提高图像数据的丰富度。
在本实施例中，将向左的带袖手臂图像作为图像左侧的待粘贴带袖手臂图像，将向右的带袖手臂图像作为图像右侧的待粘贴带袖手臂图像，向上举的带袖手臂图像不作限制。
步骤S333，对所述人像背景图像进行边缘检测，得到人像左边缘点阵和人像右边缘点阵。
在本实施例中，可以对人像背景图像进行canny边缘检测，通过行扫描保留左右两边最外侧的人像边缘点阵作为预拼接区域，以纵轴为基准，舍弃上端部分点阵和下端部分点阵。以使待粘贴带袖手臂图像可以粘贴在人像两侧的边缘，从而使得合成图像尽量贴合真实图像。
步骤S334，在所述人像左边缘点阵和所述人像右边缘点阵中分别选择任一点作为手臂预计粘贴点，确定各个手臂预计粘贴点分别与所述人像背景图像的对应侧边的距离。
步骤S335，根据所述距离，对所述待粘贴带袖手臂图像进行等比缩放，以使所述待粘贴带袖手臂图像在所述人像背景图像内。
在本实施例中，可以在左右边缘点阵集合中分别随机取一点作为手臂粘结点，分情况做以下操作：当要粘贴的带袖手臂图像为向左或向右的手臂时，计算粘结点坐标与对应侧边界的最短距离，随机等比缩放手臂到其宽度在最短距离的0.8-1倍之间，以保证手掌部分在图像内；当要粘贴的带袖手臂图像手臂为向上举手的手臂时，计算粘结点与图像上边界的最短距离，随机等比缩放图像使手臂的高在最短距离的0.8-1倍之间，以保证手掌部分在图像内。
步骤S336，根据所述带袖手臂图像中手臂的方向，以所述手臂分割蒙版的相应角点为参考，将各个手臂预计粘贴点平移预设距离，得到各个手臂实际粘贴点，所述预设距离是根据所述带袖手臂图像的尺寸确定的。
在本实施例中，当带袖手臂图像要贴至人像左侧时，可以将预计粘结点向右和向下分别平移5%手臂图像宽和高的距离，当带袖手臂图像要贴至人像右侧时，可以将预计粘结点分别向左和向下分别平移5%手臂图像宽和高的距离。
在本实施例中，对预计粘贴点进行平移操作旨在尽可能使手臂和人像贴合，减少缝隙和棱角边缘，使生成的数据更符合现实语义分布。
步骤S337，根据所述各个手臂实际粘贴点，利用所述手臂分割蒙版，将对应的待粘贴带袖手臂图像粘贴至所述人像背景图像中，得到手臂合成图像。
在本实施例中，可以将手臂蒙版与对应人像背景图像相对应的角坐标对应实际粘贴点（例如，对于预计粘贴到人像背景图像左侧的带袖手臂图像，可以选择其手臂蒙版的右下角坐标对应实际粘贴点），对人像背景图像和手臂反选蒙版的逻辑与，使待粘贴位置为黑色像素，再将已分离的带袖手臂图像对应到黑色区域进行粘贴。
本发明实施例提出了一种手势合成图像合成方法，如图4所示。在本实施例中，以人体局部图像为带手势的手掌图像（以下称为手势图像）为例进行说明，所述手势合成图像合成方法包括：
步骤S410，获得包含手势分割蒙版的手势图像。
在本实施例中，可以预先收集包含手势分割蒙版的手势图像，所述手势图像用于分割得到手势。
步骤S420，将所述手势图像添加到所述人像背景图像，得到手势合成图像。
在本实施例中，可以对手势图像进行分割，得到不同手势的人手部分，与人像背景图像按照预设策略合成得到较符合现实语义的手势合成图像。
在本实施例中，可以采用上述任意一种人像背景图像合成方法合成得到人像背景图像作为贴图基础，从而将手势添加到人像背景图像，得到手势合成图像。
可选地，步骤S420可以包括：
步骤S421，根据所述手势分割蒙版，从所述手势图像中分割出手势；
在本实施例中，利用手势蒙版对手势图像进行分割，得到手势，由于手部区域的长宽比随手势变化不大，故可以将所有分割得到的手势均缩放至统一尺寸。
步骤S422，将包含的人像为半身人像的人像背景图像确定为待粘贴人像背景图像；
在本实施例中，可以选取包含的人像为半身人像的人像背景图像作为待粘贴人像背景图像，旨在贴合现实语义，并且，将可以在待粘贴人像背景图像上粘贴较大的人手，手指间的距离更大，得到的手势合成图像更加清楚，有助于训练收敛。
步骤S423，将所述待粘贴人像背景图像的除中心区域外剩余的上半区域中的一点确定为基础粘贴点。
具体地，可以将随机选取的待粘贴人像背景图像等分为3x3的9部分区域，选取除中心区域外剩余的上半区域中的5部分作为确定为粘贴区域，再从该粘贴区域中确定一点为基础粘贴点。从而使得最终生成的手势合成图像中的手势位于人像肩部及以上的位置，且不会对人脸进行遮挡。
步骤S424，根据所述待粘贴人像背景图像的尺寸，对所述基础粘贴点进行平移，得到满足预设平移条件的粘贴点；
在本申请中，可以先将已放缩至固定尺寸的手势绕其中心做正负45°的随机旋转，随机选取粘贴区域中的一点，将其坐标进行平移，且控制平移后的粘贴点尽量模拟现实中人手位置的分布。
步骤S425，根据所述平移后的粘贴点，利用所述手势分割蒙版，将分割出的手势粘贴至所述待粘贴人像背景图像中，得到手势合成图像。
在本实施例中，可以以手势图像蒙版的中心点对应平移后的粘贴点，对待粘贴人像背景图像和手势进行反选逻辑与运算，使要粘贴手势的区域被黑色像素填充，再与手势以中心点对应粘贴点的方式进行相加融合，最后对全图进行高斯平滑缓和粘贴边缘，即可得到手势粘贴图像。
参见图5，示出了本发明的一种图像合成方法逻辑示意图。
步骤一，得到人像贴图，具体包括：
获得背景图像和包含人像分割蒙版的人像图像；
对人像图像进行分割得到人像，并对人像进行随机缩放平移旋转处理，对背景图像进行随机裁剪缩放处理；
对处理后的人像图像和背景图像进行融合，得到人像贴图。
步骤二，得到带袖手臂合成图像，具体包括：
获得包含手臂分割蒙版的手臂图像和包含服装分割蒙版的服装图像；
对手臂图像分割得到手臂，对服装图像进行分割得到服装，并对服装进行随机裁剪旋转贴合到手臂，得到带袖手臂合成图像。
步骤三，得到手势图像，具体包括：
获得包含手势分割蒙版的手势图像，分割得到手势图像。
步骤四，将带袖手臂合成图像和手势图像分别进行随机旋转缩放，并与人像贴图进行组合得到合成图像。
在本实施例中，步骤四中，随机旋转缩放组合1和随机旋转缩放组合2为相互独立的生成环节，因此可随机交叉选取某一环节生成当前的人手增强合成数据图像，设置指定循环轮次n，当生成n张合成图像时停止，以生成图像为训练对象，随图像变换的蒙版为训练标签，将数据整合打包为数据集。也可分别执行随机旋转缩放组合1若干轮次、执行随机旋转缩放组合2若干轮次，将得到的合成图像合并后随机打乱重组，再将数据整合打包为新的数据集。
可选地，为保证数据集的语义分布贴合现实，还可人工对整合后的图像进行清洗筛选，只保留手势或手臂与人像之间无缝隙的图像作为训练样本。从而可以有效的提升人像分割训练的效果。
参见图6，示出了本发明的一种训练数据生成装置500的结构框图，具体的，所述训练数据生成装置500可以包括如下模块：
图像获得模块510，用于获得背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像；
人像背景图像合成模块520，用于根据所述人像图像和所述背景图像，合成人像背景图像；
人体局部图像添加模块530，用于将所述人体局部图像添加到所述人像背景图像中，得到合成图像；
分割蒙版合并模块540，用于将所述人体局部分割蒙版与所述人像分割蒙版合并，得到所述合成图像的蒙版；
合成图像标记模块550，用于根据所述合成图像的蒙版，对所述合成图像进行标记，得到人像分割模型的训练数据，所述人像分割模型用于从图像中分割出带人体局部的人像。
可选地，所述人体局部图像添加模块530，包括：
第一获得子模块，用于获得包含手臂分割蒙版的手臂图像、包含服装分割蒙版的服装图像；
合成子模块，用于根据所述手臂图像和所述服装图像，合成带袖手臂图像；
第一添加子模块，用于将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像。
可选地，所述人体局部图像添加模块530，包括：
第二获得子模块，用于获得包含手势分割蒙版的手势图像；
第二添加子模块，用于将所述手势图像添加到所述人像背景图像，得到手势合成图像。
可选地，所述合成子模块包括：
分割单元，用于根据所述服装分割蒙版，从所述服装图像中分割出服装实例；
覆盖单元，用于将所述服装实例覆盖所述手臂图像，得到服装手臂融合图像；
去除单元，利用所述手臂分割蒙版对所述服装手臂融合图像进行分割，去除手臂以外的图像，得到带袖手臂图像。
可选地，所述覆盖单元包括：
第一覆盖子单元，用于当所述服装实例的尺寸小于所述手臂图像中手臂的尺寸时，将所述服装实例放大至与所述手臂图像中手臂的尺寸相同，将所述服装实例覆盖所述手臂图像；
第二覆盖子单元，用于当所述服装实例的尺寸不小于所述手臂图像中手臂的尺寸时，对所述服装实例进行裁剪，将裁剪出的局部服装实例覆盖所述手臂图像，得到服装手臂融合图像。
可选地，所述人像背景图像合成模块520包括：
分割子模块，用于根据所述人像分割蒙版，从所述人像图像中分割出人像；
缩放子模块，用于对所述分割出的人像进行等比缩放，以使所述人像的左右边缘在所述背景图像的内部，且所述人像的下边缘与所述背景图像的下边缘相适应；
融合子模块，用于将缩放后的人像与所述背景图像相融合，得到人像背景图像。
可选地，所述缩放子模块，包括：
第一缩放单元，用于在所述分割出的人像是半身人像的情况下，将所述半身人像等比缩放至人像的宽度等于所述背景图像的宽度，再将等比缩放后的半身人像以预设缩小系数进行缩小；
第二缩放单元，用于在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈相反关系，则按照第一缩放策略对所述全身人像进行等比缩放；
第三缩放单元，用于在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比小于所述背景图像的高宽比，则按照第二缩放策略对所述全身人像进行等比缩放；
第四缩放单元，用于在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比不小于所述背景图像的高宽比，则按照第三缩放策略对所述全身人像进行等比缩放。
可选地，所述人像背景图像合成模块520，包括：
验证子模块，用于验证所述人像背景图像是否符合预设约束条件，所述预设约束条件包括：所述人像背景图像中的人像的面积占该人像所属的分割出的人像的面积大于第一预设比值，且所述人像背景图像中的人像的面积占所述人像背景图像的面积第二预设比值；
融合成功子模块，用于在所述人像背景图像符合所述预设约束条件的情况下，确定融合成功，得到人像背景图像；
重新融合子模块，用于在所述人像背景图像不符合所述预设约束条件的情况下，重新对所述分割出的人像进行等比缩放以及与所述背景图像的融合，直到融合成功，得到人像背景图像；
其中，若重新进行等比缩放以及融合的次数大于预设次数，则获取新的人像图像以及背景图像，以得到人像背景图像。
可选地，第一添加子模块，包括：
方向确定单元，用于确定所述带袖手臂图像中手臂的方向；
选取单元，用于根据所述带袖手臂图像中手臂的方向，选取一对带袖手臂图像作为待粘贴带袖手臂图像；
边缘检测单元，用于对所述人像背景图像进行边缘检测，得到人像左边缘点阵和人像右边缘点阵；
距离确定单元，用于在所述人像左边缘点阵和所述人像右边缘点阵中分别选择任一点作为手臂预计粘贴点，确定各个手臂预计粘贴点分别与所述人像背景图像的对应侧边的距离；
缩放单元，用于根据所述距离，对所述待粘贴带袖手臂图像进行等比缩放，以使所述待粘贴带袖手臂图像在所述人像背景图像内；
平移单元，用于根据所述带袖手臂图像中手臂的方向，以所述手臂分割蒙版的相应角点为参考，将各个手臂预计粘贴点平移预设距离，得到各个手臂实际粘贴点，所述预设距离是根据所述带袖手臂图像的尺寸确定的；
粘贴单元，用于根据所述各个手臂实际粘贴点，利用所述手臂分割蒙版，将对应的待粘贴带袖手臂图像粘贴至所述人像背景图像中，得到手臂合成图像。
可选地，第二添加子模块，包括：
分割单元，用于根据所述手势分割蒙版，从所述手势图像中分割出手势；
待粘贴人像背景图像确定单元，用于将包含的人像为半身人像的人像背景图像确定为待粘贴人像背景图像；
基础粘贴点确定单元，用于将所述待粘贴人像背景图像的除中心区域外剩余的上半区域中的一点确定为基础粘贴点；
平移单元，用于根据所述待粘贴人像背景图像的尺寸，对所述基础粘贴点进行平移，得到满足预设平移条件的粘贴点；
粘贴单元，用于根据所述平移后的粘贴点，利用所述手势分割蒙版，将分割出的手势粘贴至所述待粘贴人像背景图像中，得到手势合成图像。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
相应的，本发明还提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例所述的训练数据生成方法，且能达到相同的技术效果，为避免重复，这里不再赘述。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的训练数据生成方法的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，计算机可读存储介质，如只读存储器（Read-OnlyMemory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本发明提供的训练数据生成方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
Claims (13)
1.一种训练数据生成方法，其特征在于，所述方法包括：
获得背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像；
根据所述人像图像和所述背景图像，合成人像背景图像；
将所述人体局部图像添加到所述人像背景图像中，得到合成图像；
将所述人体局部分割蒙版与所述人像分割蒙版合并，得到所述合成图像的蒙版；
根据所述合成图像的蒙版，对所述合成图像进行标记，得到人像分割模型的训练数据，所述人像分割模型用于从图像中分割出带人体局部的人像。
2.根据权利要求1所述的方法，其特征在于，将所述人体局部图像添加到所述人像背景图像中，得到合成图像，包括：
获得包含手臂分割蒙版的手臂图像、包含服装分割蒙版的服装图像；
根据所述手臂图像和所述服装图像，合成带袖手臂图像；
将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像。
3.根据权利要求1所述的方法，其特征在于，将所述人体局部图像添加到所述人像背景图像中，得到合成图像，包括：
获得包含手势分割蒙版的手势图像；
将所述手势图像添加到所述人像背景图像，得到手势合成图像。
4.根据权利要求2所述的方法，其特征在于，根据所述手臂图像和所述服装图像，合成带袖手臂图像，包括：
根据所述服装分割蒙版，从所述服装图像中分割出服装实例；
将所述服装实例覆盖所述手臂图像，得到服装手臂融合图像；
利用所述手臂分割蒙版对所述服装手臂融合图像进行分割，去除手臂以外的图像，得到带袖手臂图像。
5.根据权利要求4所述的方法，其特征在于，将所述服装实例覆盖所述手臂图像，包括：
当所述服装实例的尺寸小于所述手臂图像中手臂的尺寸时，将所述服装实例放大至与所述手臂图像中手臂的尺寸相同，将所述服装实例覆盖所述手臂图像；
当所述服装实例的尺寸不小于所述手臂图像中手臂的尺寸时，对所述服装实例进行裁剪，将裁剪出的局部服装实例覆盖所述手臂图像，得到服装手臂融合图像。
6.根据权利要求1所述的方法，其特征在于，根据所述人像图像和所述背景图像，合成人像背景图像，包括：
根据所述人像分割蒙版，从所述人像图像中分割出人像；
对所述分割出的人像进行等比缩放，以使所述人像的左右边缘在所述背景图像的内部，且所述人像的下边缘与所述背景图像的下边缘相适应；
将缩放后的人像与所述背景图像相融合，得到人像背景图像。
7.根据权利要求6所述的方法，其特征在于，对所述分割出的人像进行等比缩放，包括：
在所述分割出的人像是半身人像的情况下，将所述半身人像等比缩放至人像的宽度等于所述背景图像的宽度，再将等比缩放后的半身人像以预设缩小系数进行缩小；
在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈相反关系，则按照第一缩放策略对所述全身人像进行等比缩放；
在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比小于所述背景图像的高宽比，则按照第二缩放策略对所述全身人像进行等比缩放；
在所述分割出的人像是全身人像的情况下，若所述全身人像的高宽比与所述背景图像的高宽比呈一致关系，且所述全身人像的高宽比不小于所述背景图像的高宽比，则按照第三缩放策略对所述全身人像进行等比缩放。
8.根据权利要求6所述的方法，其特征在于，将缩放后的人像与所述背景图像相融合，得到人像背景图像，包括：
验证所述人像背景图像是否符合预设约束条件，所述预设约束条件包括：所述人像背景图像中的人像的面积占该人像所属的分割出的人像的面积大于第一预设比值，且所述人像背景图像中的人像的面积占所述人像背景图像的面积第二预设比值；
在所述人像背景图像符合所述预设约束条件的情况下，确定融合成功，得到人像背景图像；
在所述人像背景图像不符合所述预设约束条件的情况下，重新对所述分割出的人像进行等比缩放以及与所述背景图像的融合，直到融合成功，得到人像背景图像；
其中，若重新进行等比缩放以及融合的次数大于预设次数，则获取新的人像图像以及背景图像，以得到人像背景图像。
9.根据权利要求2所述的方法，其特征在于，将所述带袖手臂图像添加到所述人像背景图像，得到手臂合成图像，包括：
确定所述带袖手臂图像中手臂的方向；
根据所述带袖手臂图像中手臂的方向，选取一对带袖手臂图像作为待粘贴带袖手臂图像；
对所述人像背景图像进行边缘检测，得到人像左边缘点阵和人像右边缘点阵；
在所述人像左边缘点阵和所述人像右边缘点阵中分别选择任一点作为手臂预计粘贴点，确定各个手臂预计粘贴点分别与所述人像背景图像的对应侧边的距离；
根据所述距离，对所述待粘贴带袖手臂图像进行等比缩放，以使所述待粘贴带袖手臂图像在所述人像背景图像内；
根据所述带袖手臂图像中手臂的方向，以所述手臂分割蒙版的相应角点为参考，将各个手臂预计粘贴点平移预设距离，得到各个手臂实际粘贴点，所述预设距离是根据所述带袖手臂图像的尺寸确定的；
根据所述各个手臂实际粘贴点，利用所述手臂分割蒙版，将对应的待粘贴带袖手臂图像粘贴至所述人像背景图像中，得到手臂合成图像。
10.根据权利要求3所述的方法，其特征在于，将所述手势图像添加到所述人像背景图像，得到手势合成图像，包括：
根据所述手势分割蒙版，从所述手势图像中分割出手势；
将包含的人像为半身人像的人像背景图像确定为待粘贴人像背景图像；
将所述待粘贴人像背景图像的除中心区域外剩余的上半区域中的一点确定为基础粘贴点；
根据所述待粘贴人像背景图像的尺寸，对所述基础粘贴点进行平移，得到满足预设平移条件的粘贴点；
根据所述平移后的粘贴点，利用所述手势分割蒙版，将分割出的手势粘贴至所述待粘贴人像背景图像中，得到手势合成图像。
11.一种训练数据生成装置，其特征在于，所述装置包括：
图像获得模块，用于获得背景图像、包含人体局部分割蒙版的人体局部图像、包含人像分割蒙版的人像图像；
人像背景图像合成模块，用于根据所述人像图像和所述背景图像，合成人像背景图像；
人体局部图像添加模块，用于将所述人体局部图像添加到所述人像背景图像中，得到合成图像；
分割蒙版合并模块，用于将所述人体局部分割蒙版与所述人像分割蒙版合并，得到所述合成图像的蒙版；
合成图像标记模块，用于根据所述合成图像的蒙版，对所述合成图像进行标记，得到人像分割模型的训练数据，所述人像分割模型用于从图像中分割出带人体局部的人像。
12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任意一项所述的训练数据生成方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至10任意一项所述的训练数据生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111028978.5A CN113469929B (zh) | 2021-09-03 | 2021-09-03 | 训练数据生成方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111028978.5A CN113469929B (zh) | 2021-09-03 | 2021-09-03 | 训练数据生成方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469929A true CN113469929A (zh) | 2021-10-01 |
| CN113469929B CN113469929B (zh) | 2021-12-03 |
Family
ID=77867269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111028978.5A Active CN113469929B (zh) | 2021-09-03 | 2021-09-03 | 训练数据生成方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469929B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114333038A (zh) * | 2022-03-03 | 2022-04-12 | 百度在线网络技术（北京）有限公司 | 对象识别模型的训练方法和对象识别方法、装置、设备 |
| CN114648814A (zh) * | 2022-02-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 人脸活体检测方法及模型的训练方法、装置、设备及介质 |
| CN115034962A (zh) * | 2022-08-11 | 2022-09-09 | 中科开创（广州）智能科技发展有限公司 | 通道可视化训练数据合成方法、装置、设备和存储介质 |
| WO2023153792A1 (en) * | 2022-02-08 | 2023-08-17 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163866A (zh) * | 2019-04-01 | 2019-08-23 | 上海卫莎网络科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
| CN110197190A (zh) * | 2018-02-27 | 2019-09-03 | 北京猎户星空科技有限公司 | 模型训练和物体的定位方法及装置 |
| CN110889855A (zh) * | 2019-10-28 | 2020-03-17 | 公安部交通管理科学研究所 | 基于端到端卷积神经网络的证件照抠图方法及系统 |
| CN111222486A (zh) * | 2020-01-15 | 2020-06-02 | 腾讯科技（深圳）有限公司 | 手部姿态识别模型的训练方法、装置、设备及存储介质 |
| CN111784726A (zh) * | 2019-09-25 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 人像抠图方法和装置 |
| CN112308809A (zh) * | 2019-08-20 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 一种图像合成方法、装置、计算机设备及存储介质 |
| CN112967213A (zh) * | 2021-02-05 | 2021-06-15 | 深圳市宏电技术股份有限公司 | 车牌图像增强方法、装置、设备及存储介质 |
| US20210237767A1 (en) * | 2020-02-03 | 2021-08-05 | Robert Bosch Gmbh | Training a generator neural network using a discriminator with localized distinguishing information |
-
2021
- 2021-09-03 CN CN202111028978.5A patent/CN113469929B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197190A (zh) * | 2018-02-27 | 2019-09-03 | 北京猎户星空科技有限公司 | 模型训练和物体的定位方法及装置 |
| CN110163866A (zh) * | 2019-04-01 | 2019-08-23 | 上海卫莎网络科技有限公司 | 一种图像处理方法、电子设备及计算机可读存储介质 |
| CN112308809A (zh) * | 2019-08-20 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 一种图像合成方法、装置、计算机设备及存储介质 |
| CN111784726A (zh) * | 2019-09-25 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 人像抠图方法和装置 |
| CN110889855A (zh) * | 2019-10-28 | 2020-03-17 | 公安部交通管理科学研究所 | 基于端到端卷积神经网络的证件照抠图方法及系统 |
| CN111222486A (zh) * | 2020-01-15 | 2020-06-02 | 腾讯科技（深圳）有限公司 | 手部姿态识别模型的训练方法、装置、设备及存储介质 |
| US20210237767A1 (en) * | 2020-02-03 | 2021-08-05 | Robert Bosch Gmbh | Training a generator neural network using a discriminator with localized distinguishing information |
| CN112967213A (zh) * | 2021-02-05 | 2021-06-15 | 深圳市宏电技术股份有限公司 | 车牌图像增强方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| DIEGO ORTEGO，AND ETC: "Hierarchical Improvement of Foreground Segmentation Masks in Background Subtraction", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 * |
| 冉清等: "人体前景的自动抠图算法", 《计算机辅助设计与图形学学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023153792A1 (en) * | 2022-02-08 | 2023-08-17 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
| CN114648814A (zh) * | 2022-02-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 人脸活体检测方法及模型的训练方法、装置、设备及介质 |
| CN114333038A (zh) * | 2022-03-03 | 2022-04-12 | 百度在线网络技术（北京）有限公司 | 对象识别模型的训练方法和对象识别方法、装置、设备 |
| CN115034962A (zh) * | 2022-08-11 | 2022-09-09 | 中科开创（广州）智能科技发展有限公司 | 通道可视化训练数据合成方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469929B (zh) | 2021-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113469929B (zh) | 训练数据生成方法、装置、电子设备及计算机可读存储介质 | |
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| CN104134234B (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
| CN108898630A (zh) | 一种三维重建方法、装置、设备和存储介质 | |
| KR20200020739A (ko) | 인체 윤곽 키 포인트 검출 방법, 이미지 처리 방법, 장치 및 기기 | |
| CN107610202B (zh) | 人脸图像替换方法、设备及存储介质 | |
| EP3772040A1 (en) | Method and computer program product for producing 3-dimensional model data of a garment | |
| CN107248169B (zh) | 图像定位方法及装置 | |
| CN112288665B (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| CN106373085A (zh) | 一种基于增强现实的智能终端3d手表试戴方法及系统 | |
| CN111882627A (zh) | 图像处理方法、视频处理方法、装置、设备和存储介质 | |
| CN111861872A (zh) | 图像换脸方法、视频换脸方法、装置、设备和存储介质 | |
| CN110348496A (zh) | 一种人脸图像融合的方法及系统 | |
| CN109472795A (zh) | 一种图像编辑方法和装置 | |
| CN109308734A (zh) | 3d文字的生成方法及其装置、设备、存储介质 | |
| CN113505799B (zh) | 显著性检测方法及其模型的训练方法和装置、设备、介质 | |
| CN114155150A (zh) | 一种应用于大视差场景的图像拼接方法及装置 | |
| CN107895401A (zh) | 三维模型的数据简化系统及其简化方法和应用 | |
| CN112257657A (zh) | 脸部图像融合方法及装置、存储介质、电子设备 | |
| CN110163055A (zh) | 手势识别方法、装置和计算机设备 | |
| CN112749611A (zh) | 人脸点云模型生成方法及装置、存储介质、电子设备 | |
| CN104978583B (zh) | 人物动作的识别方法及装置 | |
| CN109840951A (zh) | 针对平面地图进行增强现实的方法及装置 | |
| CN113393546A (zh) | 基于服装类别及纹理图案控制的时尚服装图像生成方法 | |
| CN116628250A (zh) | 图像生成方法、装置、电子设备及计算机可读取存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |