CN112232325A - 样本数据处理方法和装置、存储介质及电子设备 - Google Patents
样本数据处理方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112232325A CN112232325A CN202011468647.9A CN202011468647A CN112232325A CN 112232325 A CN112232325 A CN 112232325A CN 202011468647 A CN202011468647 A CN 202011468647A CN 112232325 A CN112232325 A CN 112232325A
- Authority
- CN
- China
- Prior art keywords
- target
- sample image
- data
- sample
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000013508 migration Methods 0.000 claims abstract description 131
- 230000005012 migration Effects 0.000 claims abstract description 131
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims description 171
- 230000006870 function Effects 0.000 claims description 116
- 239000011159 matrix material Substances 0.000 claims description 79
- 230000015654 memory Effects 0.000 claims description 19
- 125000004122 cyclic group Chemical group 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 239000002245 particle Substances 0.000 claims description 11
- 230000002265 prevention Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 32
- 238000005457 optimization Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 description 3
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种样本数据处理方法和装置、存储介质及电子设备。其中，该方法包括：获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测;将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理;输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测，达到了通过训练好的目标样本风格迁移模型得到更多的多样性的样本图像数据的目的，进而解决了现有技术中，无法有效的获取多样性的人体关键点检测数据的技术问题。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种样本数据处理方法和装置、存储介质及电子设备。
背景技术
近年来，随着人工智能技术的迅速发展，深度神经网络在许多计算机视觉任务当中都取得了非常优秀的效果。深度神经网络的优势在于它做到了直接从大型数据集中自动学习复杂且有用的特征，可以利用复杂的神经网络学习并自动提取各种层次的特征，大幅度地提升了各类计算机视觉任务的精度。目前，深度神经网络被广泛应用于目标检测、人脸识别、目标跟踪、图像分割等任务。需要强调的是，深度神经网络是基于大数据驱动的，数据量的大小直接影响深度神经网络的性能，较小的数据集容易使得模型出现过拟合的现象。因此，要使得各类深度神经网络发挥其优异的性能，防止模型过拟合，提升模型的泛化性能，我们往往需要构建容量较大且样本丰富的数据集。
人体关键点检测是计算机视觉领域的一项重要研究任务，它旨在定位图像或视频中人体的关键点位置，这些关键点包括：肘部、手腕、头、肩等。目前使用较广泛的人体关键点检测数据集一般是人体在相互无遮挡的站立状态时的数据。然而，这些数据无法适用于一些异常行为的场景人体关键点检测，例如：在人体有相互遮挡时的场景、人体在蹲着时的场景、人体在躺着时的场景、人体在趴着时的场景等。并且，在安防系统中，需要对各种监控场景下的人物进行关键点检测，因此对数据集的要求更加严格，数据集覆盖的面也要求更加广泛。在处理上述场景时的人体关键点检测任务时，需要重新构建更加复杂、更加全面的数据集，而每个人体的关键点个数在9~22个不等。因此，相比于图像分类、目标检测、超分辨率重建数据集而言，人体关键点检测数据存在标注困难的问题，如果只依靠人工手动标注的话，会消耗大量的人力成本。所以，在现有的有限量数据集的基础上，如何利用这些有限量的数据集构建出容量更大、更丰富的人体关键点检测数据集，尤其是能提高实际关键点检测性能的人体关键点检测数据集，这是个非常具有挑战性和实际应用价值的问题。
目前使用较为广泛的图像数据增强方法主要分为传统的图像数据增强方法以及基于深度学习的图像数据增强方法，传统的图像数据增强方法通常对数据集的类型有限制，多样性不足的问题，并且存在不安全性的问题，同时内存消耗较大和耗时较长。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种样本数据处理方法和装置、存储介质及电子设备，以至少解决现有技术中，无法有效的获取多样性的人体关键点检测数据的技术问题。
根据本发明实施例的一个方面，提供了一种样本数据处理方法，包括：获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述初始样本图像集合用于目标对象关键点检测；将所述初始样本图像集合中的每个样本图像和所述每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，所述目标样本风格迁移模型是通过训练样本集合训练得到的；输出与所述每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，所述目标样本图像集合用于目标对象关键点检测。
可选的，所述获取初始样本图像集合中每个样本图像中目标对象的关键点数据，包括：从数据库中获取所述初始样本图像集合；获取所述初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述每个样本图像中目标对象的关键点数据个数不同。
可选的，所述进行样本图像风格迁移处理之前，所述方法包括：获取初始训练样本图像集合；对所述初始训练样本图像集合进行预处理，得到N个目标训练样本图像集合，其中，N为大于等于1的正整数；获取所述N个目标训练样本图像集合的N个关键点矩阵，其中，所述N个关键点矩阵中的每个关键点矩阵包括一个目标训练样本图像集合中每个目标训练样本图和所述每个目标训练样本图像中目标对象关键点的关键点数据，构建预设样本风格迁移模型，其中，所述预设样本风格迁移模型包括第一生成器、第二生成器、第一判别器和第二判别器以及目标损失函数；根据所述N个关键点矩阵和所述N个目标训练样本图像集合训练所述预设样本风格迁移模型，其中，所述N个关键点矩阵作为输入，所述N个目标训练样本图像集合作为输出；在所述目标损失函数满足预设条件的情况下，确定所述预设风格迁移模型训练完成，得到所述目标样本风格迁移模型。
可选的，对所述初始训练样本图像集合中每个样本图像进行预处理包括以下之一：随机叠加高斯噪声处理，其中，随机叠加高斯噪声处理包括通过改变所述高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声；高斯模糊处理；通过向所述初始训练样本图像中的每个样本图像的HSV色彩空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换；从所述初始训练样本图像中的每个样本图像的第一RGB颜色空间转换到第二RGB颜色空间，增加或减少颜色参数后返回第三RGB颜色空间。
可选的，所述根据所述N个关键点矩阵和所述N个目标训练样本图像集合训练所述预设样本风格迁移模型，包括：将所述N个关键点矩阵中的每个关键点矩阵输入至所述样本风格迁移模型的所述第一生成器，得到对应的生成图像数据；将所述N个目标训练样本图像集合每个目标训练样本图像集合输入至所述样本风格迁移模型的所述第二生成器，得到对应的矩阵数据；所述N个关键点矩阵中的每个关键点矩阵和所述第二生成器生出的矩阵数据通过所述第一判别器进行判别；所述N个目标训练样本图像集合每个目标训练样本图像集合和所述第一生成器生成图像数据通过所述第二判别器进行判别。
可选的，所述在所述目标损失函数满足预设目标条件的情况下，确定所述预设风格迁移模型训练完成，得到所述目标样本风格迁移模型，包括：根据粒子群算法调整所述目标损失函数的权重系数；在所述目标损失函数满足所述预设目标条件的情况下，固定所述权重系数。
可选的，确定所述目标损失函数满足所述预设目标条件，包括：所述目标损失函数中的第一对抗损失函数满足第一预设条件，其中，所述第一对抗损失函数用于判别器分辨生成器产生图像数据；所述目标损失函数中的第二对抗损失函数满足第二预设条件，其中，所述第二对抗损失函数用于判别器分辨生成器产生图像数据；所述目标损失函数中的循环一致性损失函数满足第三预设条件，其中，所述循环一致性损失函数用于数据前向训练和数据后向训练的判别；所述目标损失函数中的结构相似性损失函数满足第四预设条件，其中，所述结构相似性损失函数用于图像数据风格迁移过程中信息丢失的判断。
根据本发明实施例的另一方面，还提供了一种样本数据处理装置，包括：第一获取单元，用于获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述初始样本图像集合用于目标对象关键点检测；处理单元，用于将所述初始样本图像集合中的每个样本图像和所述每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，所述目标样本风格迁移模型是通过训练样本集合训练得到的；输出单元，用于输出与所述每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，所述目标样本图像集合用于目标对象关键点检测。
可选的，所述第一获取单元，包括：第一获取模块，用于从数据库中获取所述初始样本图像集合；第二获取模块，用于获取所述初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述每个样本图像中目标对象的关键点数据个数不同。
可选的，所述装置包括：第二获取单元，用于所述进行样本图像风格迁移处理之前，获取初始训练样本图像集合；得到单元，用于对所述初始训练样本图像集合进行预处理，得到N个目标训练样本图像集合，其中，N为大于等于1的正整数；第三获取单元，用于获取所述N个目标训练样本图像集合的N个关键点矩阵，其中，所述N个关键点矩阵中的每个关键点矩阵包括一个目标训练样本图像集合中每个目标训练样本图和所述每个目标训练样本图像中目标对象关键点的关键点数据；构建单元，用于构建预设样本风格迁移模型，其中，所述预设样本风格迁移模型包括第一生成器、第二生成器、第一判别器和第二判别器以及目标损失函数；训练单元，包括根据所述N个关键点矩阵和所述N个目标训练样本图像集合训练所述预设样本风格迁移模型，其中，所述N个关键点矩阵作为输入，所述N个目标训练样本图像集合作为输出；确定单元，包括在所述目标损失函数满足预设条件的情况下，确定所述预设风格迁移模型训练完成，得到所述目标样本风格迁移模型。
可选的，所述得到单元，包括：第一处理模块，用于随机叠加高斯噪声处理，其中，随机叠加高斯噪声处理包括通过改变所述高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声；第二处理模块，用于高斯模糊处理；第三处理模块，用于通过向所述初始训练样本图像中的每个样本图像的HSV色彩空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换；第四处理模块，用于从所述初始训练样本图像中的每个样本图像的第一RGB颜色空间转换到第二RGB颜色空间，增加或减少颜色参数后返回第三RGB颜色空间。
可选的，所述训练单元，包括：第一得到模块，用于将所述N个关键点矩阵中的每个关键点矩阵输入至所述样本风格迁移模型的所述第一生成器，得到对应的生成图像数据；第二得到模块，用于将所述N个目标训练样本图像集合每个目标训练样本图像集合输入至所述样本风格迁移模型的所述第二生成器，得到对应的矩阵数据；第一判别模块，用于所述N个关键点矩阵中的每个关键点矩阵和所述第二生成器生出的矩阵数据通过所述第一判别器进行判别；第二判别模块，用于所述N个目标训练样本图像集合每个目标训练样本图像集合和所述第一生成器生成图像数据通过所述第二判别器进行判别。
可选的，所述确定单元，包括：调整模块，用于根据粒子群算法调整所述目标损失函数的权重系数；第一确定模块，用于在所述目标损失函数满足所述预设目标条件的情况下，确定所述权重系数。
可选的，所述确定单元，包括：第二确定模块，用于确定所述目标损失函数中的第一对抗损失函数满足第一预设条件，其中，所述第一对抗损失函数用于判别器分辨生成器产生图像数据；第三确定模块，用于确定所述目标损失函数中的第二对抗损失函数满足第二预设条件，其中，所述第二对抗损失函数用于判别器分辨生成器产生图像数据；第四确定模块，用于确定所述目标损失函数中的循环一致性损失函数满足第三预设条件，其中，所述循环一致性损失函数用于数据前向训练和数据后向训练的判别；第五确定模块，用于确定所述目标损失函数中的结构相似性损失函数满足第四预设条件，其中，所述结构相似性损失函数用于图像数据风格迁移过程中信息丢失的判断。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述样本数据处理方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的样本数据处理方法。
在本发明实施例中，通过获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测；将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的；输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测，达到了通过训练好的目标样本风格迁移模型得到更多的多样性的样本图像数据的目的，进而解决了现有技术中，无法有效的获取多样性的人体关键点检测数据的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的样本数据处理方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的样本数据处理方法的流程图；
图3是根据本发明实施例的一种可选的构建的预设样本风格迁移模型示意图；
图4是根据本发明实施例的一种可选的用于人体关键点检测的小样本数据增强方法的流程图；
图5是根据本发明实施例的一种可选的样本数据处理装置的结构示意图；
图6是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种样本数据处理方法，可选地，作为一种可选的实施方式，上述样本数据处理方法可以但不限于应用于如图1所示的环境中。终端设备102，网络104以及服务器106。其中，终端设备102用于显示初始样本图像。
服务器106获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测;将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的;输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测，达到了通过训练好的目标样本风格迁移模型得到更多的多样性的样本图像数据的目的，进而解决了现有技术中，无法有效的获取多样性的人体关键点检测数据的技术问题。
可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机（如Android手机、iOS手机等）、笔记本电脑、平板电脑、掌上电脑、MID（Mobile Internet Devices，移动互联网设备）、PAD、台式电脑、智能电视等。目标客户端可以是图片浏览客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述样本数据处理包括：
步骤S202，获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测。
步骤S204，将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的。
步骤S206，输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测。
可选的，在本实施例中，上述样本数据处理方法包括但不限于应用获取人体关键点检测的样本图像、目标检测样本图像、图像识别样本图像等。在本实施例中，上述目标对象包括但不限于行驶的人、图像中的待识别的动物或物品等。关键点数据可以包括但不限于目标图像中的目标对象关键点的坐标数据。例如，目标图像中人的关键点的坐标数据，关键点包括但不限于人的肘部、手腕、头、肩等，由于图像中人的状态不同，因此不同的图像中人关键点个数不同。
在本实施中，上述目标样本风格迁移模型是通过训练样本图像训练得到的。该目标样本风格迁移模型用于根据初始小样本图像集合获取更对风格的样本图像组成的目标样本图像集合。例如，初始样本图像集合中包括10张样本图像，通过目标样本风格迁移模型可以获取对应10张图像的10张目标样本图像，进而可以得到20张样本图像，可以用于人体关键点检测。从而丰富了人体关键点检测的样本图像。
通过本申请提供的实施例，获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测；将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的;输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测，达到了通过训练好的目标样本风格迁移模型得到更多的多样性的样本图像数据的目的，进而解决了现有技术中，无法有效的获取多样性的人体关键点检测数据的技术问题。
可选的，在本实施例中，获取初始样本图像集合中每个样本图像中目标对象的关键点数据，可以包括：从数据库中获取初始样本图像集合；获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，每个样本图像中目标对象的关键点数据个数不同。
在本实施例中，初始样本图像集合的数据可以包括但不限于从公开的人体关键点检测数据集(COCO，MPII等)进行筛选、人工标注关键点数据。
可选的，在本实施例中，进行样本图像风格迁移处理之前，上述方法可以包括：获取初始训练样本图像集合；对初始训练样本图像集合进行预处理，得到N个目标训练样本图像集合，其中，N为大于等于1的正整数；获取N个目标训练样本图像集合的N个关键点矩阵，其中，N个关键点矩阵中的每个关键点矩阵包括一个目标训练样本图像集合中每个目标训练样本图和每个目标训练样本图像中目标对象关键点的关键点数据，构建预设样本风格迁移模型，其中，预设样本风格迁移模型包括第一生成器、第二生成器、第一判别器和第二判别器以及目标损失函数；根据N个关键点矩阵和N个目标训练样本图像集合训练预设样本风格迁移模型，其中，N个关键点矩阵作为输入，N个目标训练样本图像集合作为输出；在目标损失函数满足预设条件的情况下，确定预设风格迁移模型训练完成，得到目标样本风格迁移模型。
在本实施例中，对预设样本风格迁移模型进行构建，以及训练该预设样本风格迁移模型得到目标样本风格迁移模型。
在本实施例中，初始训练样本图像集合的数据可以包括但不限于从公开的人体关键点检测数据集(COCO，MPII等)进行筛选、人工标注关键点数据。
其中，在本实施例中，上述预设训练风格迁移模型以CycleGAN为基础，对其生成器及判别器进行改进，构建了一种改进的CycleGAN模型，在本实施例中将其记为Boost-CycleGAN。同时构建一种自适应的损失函数。
在本实施例中构建的预设训练风格迁移模型Boost-CycleGAN包括两个生成器以及两个判别器，第一生成器记为G1，第二生成器记为G2，第一判别器记为D1，第二判别器为D2，第一生成器G1用于将矩阵标签转为目标域图像数据，第二生成器G2用于将目标域图像数据转为矩阵标签。第一判别器记为D1以及第二判别器为D2分别含有两个分支B1，B2，这两个分支(B1，B2)分别对全局、以及局部区域进行判断真实与否，从而使得判别器能有效地捕获图像的细粒度细节，促使生成器产生保真度更高、细节更丰富的图像数据。生成器结构由9个残差块组成，每一层都采用ReLU激活单元，采用的归一化方式为IN；判别器结构以马尔可夫判别器为基础，它完全由卷积层构成，首先根据卷积操作得到n*n的矩阵MD，然后对于局部分支而言，直接对MD进行归一化之后，将得到的矩阵中的每个点作为每个图像局部区域的置信度值，用于判断每个局部区域的真实与否(True/False)；而对于全局分支而言，将MD的均值作为全局True/False的输出，判别器的每一层采用的是LeakyReLU，目的是为了增加非线性。
在本实施例中，以矩阵标签转为目标域图像数据为例(目标域图像数据转为矩阵标签同理)，如图3所示，构建的预设样本风格迁移模型示意图。
如图3所示，矩阵标签通过1*1卷积得到M*N*3维矩阵，该M*N*3维矩阵通过第一生成器得到目标域图像数据，目标于图像数据通过第二生成器，得到恢复的矩阵标签。
将真实目标域数据和第一生成器输出的目标域图像数据通过卷积操作，得到n*n特征矩阵，对n*n特征矩阵进行平均值，得到全局分支输出；对n*n特征矩阵归一化，求局部置信度，得到局部分支输出。
其中，对初始训练样本图像集合中每个样本图像进行预处理包括以下之一：
方式一：随机叠加高斯噪声处理，其中，随机叠加高斯噪声处理包括通过改变高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声。
方式二：高斯模糊处理。
方式三：通过向初始训练样本图像中的每个样本图像的HSV色彩空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换。
方式四：从初始训练样本图像中的每个样本图像的第一RGB颜色空间转换到第二RGB颜色空间，增加或减少颜色参数后返回第三RGB颜色空间。
需要说明的是，在本实施例中，获取到的初始小样本(训练初始样本图像集合)进行数据预处理，对小样本中的每张图像利用上述方式一至方式四中的数据增强方法进行初步的数据样本扩充，且人体关键点之间的空间关系不会被破坏。
还需要说明的是，对于以上4类数据增强方法而言，每一类方法都可以根据参数设置的不同而产生多种不同样本。同时，针对每个样本，其数据预处理之前和之后的关键点标签保持不变，即假设初始样本为X original 对应的字典标签为Y original ，通过数据增强方法产生了N个样本，分别为X1，X2，……XN，初始样本X original 和X1，X2，……XN的字典标签都为Y original ，以此，形成“一对多”的标签映射，从而省去了标签重新标注的时间消耗。
相比现有技术，在本实施例中，能够更加高效地产生更丰富的人体关键点检测数据。通过风格迁移模型，将输入的矩阵标签转为与真实数据域风格一致的图像样本，解决“域不适应”问题；同时，因为构建了“一对多”的标签映射，可以实现由同一个矩阵标签输入，获得多种风格不同的图像数据的输出，从而更高效地产生满足实际人体关键点检测任务所需的数据集。
可选的，在本实施例中，根据N个关键点矩阵和N个目标训练样本图像集合训练预设样本风格迁移模型，可以包括:将N个关键点矩阵中的每个关键点矩阵输入至样本风格迁移模型的第一生成器，得到对应的生成图像数据；将N个目标训练样本图像集合每个目标训练样本图像集合输入至样本风格迁移模型的第二生成器，得到对应的矩阵数据；N个关键点矩阵中的每个关键点矩阵和第二生成器生出的矩阵数据通过第一判别器进行判别；N个目标训练样本图像集合每个目标训练样本图像集合和第一生成器生成图像数据通过第二判别器进行判别。
需要说明的是，本实施例中，N可以包括但不限于为1或4等等。
在本实施例中，根据初始训练样本图像集合和目标训练样本图像集合得到的样本集合构造人体关键点矩阵标签，每个样本的原始标签为一个字典，这些字典包含人体各个关键点以及在图像当中的属性值，这些属性值包括但不限于关键点的坐标值，本实施例中以这些字典当中的关键点键(key)以及每个关键点键(key)所对应的属性值为基础，构造每个样本所对应的矩阵标签。
具体构造方式为：假设样本为Sample，样本当中含有M个人体，每个人体的关键点个数为N，每个关键点对应的属性为（P1，P2……Pd）其中d代表属性维度，然后根据M，N以及（P1，P2……Pd），组成M*N*d的矩阵标签，最终每个样本都对应着有一个M*N*d的矩阵标签。
其中，将构造的人体关键点矩阵标签作为原始域，将数据预处理得到的样本作为目标域。原始域数据与目标域数据是预设训练风格迁移模型的训练数据。其中，上述得到的矩阵标签作为原始域数据，目标域数据来源于每个矩阵标签所对应的图像数据。
可选的，在本实施例中，在目标损失函数满足预设目标条件的情况下，确定预设风格迁移模型训练完成，得到目标样本风格迁移模型，可以包括：根据粒子群算法调整目标损失函数的权重系数；在目标损失函数满足预设目标条件的情况下，固定权重系数。
在本实施例中，目标损失函数中还可以包含待确定的权重系数值α，在本实施例中采用粒子群算法(PSO)对该α进行自适应地全局寻优。在本实施例中α采用的适应度函数定义为：给定α，构造具体的目标损失函数，保证其他实验参数不变的条件下训练Boost-CycleGAN，计算此模型在同一个验证集上生成的目标域图像数据的平均Inception Score，以该平均Inception Score作为此时的适应度函数值。之后，在每一次迭代过程中，根据粒子群算法自适应地调整和更新每个粒子的速度和位置，从而获得最优权重系数值α。
需要说明的是，对适应度函数之所以采用Inception Score作为适应度函数，是因为Inception Score能有效地衡量生成图像的质量和多样性，Inception Score越大，说明生成的图像质量和多样性越好。
之后，根据构造的预设训练风格迁移模型以及自适应损失函数，交替训练判别器和生成器。训练过程中，首先输入矩阵标签，然后随机地从构造的“一对多”的标签映射中进行采样，以此获得目标域数据，接着根据损失函数进行模型的前向和反向传播，实现由同一个矩阵标签输入，获得多种风格不同的图像数据的输出，从而更高效地产生满足实际人体关键点检测任务所需的数据集。当训练达到设定的阈值之后，停止训练，获得最终的风格迁移模型。
还需要说明的是，在本实施例中，通过引入粒子群算法对权重系数进行全局寻优，解决了人工选择权重系数而产生的随机性，有利于获得更优，泛化性能更强的模型，从而更高效地产生新的数据。
可选的，在本实施例中，确定目标损失函数满足预设目标条件，可以包括：
确定目标损失函数中的第一对抗损失函数满足第一预设条件，其中，第一对抗损失函数用于判别器分辫生成器产生图像数据；
确定目标损失函数中的第二对抗损失函数满足第二预设条件，其中，第二对抗损失函数用于判别器分辫生成器产生图像数据；
确定目标损失函数中的循环一致性损失函数满足第三预设条件，其中，循环一致性损失函数用于数据前向训练和数据后向训练的判别；
确定目标损失函数中的结构相似性损失函数满足第四预设条件，其中，结构相似性损失函数用于图像数据风格迁移过程中信息丢失的判断。
在本实施例中，构建的目标损失函数包含4部分，第一部分为矩阵标签转为目标域图像数据的对抗损失，第二部分为目标域图像数据转为矩阵标签的对抗损失，第三部分是循环一致性损失，第四部分是结构相似性损失。其损失函数如下公式（1）所示：
上式（1）中，L GAN （G 1 ，D 2 ，X，Y）表示矩阵标签转为目标域图像数据的对抗损失，L GAN （G 2 ， D 1 ，X，Y）表示目标域图像数据转为矩阵标签的对抗损失，L cyc （G 1 ，G 2 ）表示循环一致性损失，L ssim （G 1 ，G 2 ）表示结构相似性损失。其中，L GAN （G 1 ，D 2 ，X，Y）的权重系数是L GAN （G 2 ，D 1 ，X，Y）的2倍，目的是为了使模型更加关注由矩阵标签到目标域图像数据的转换。
其中，以L GAN （G 1 ，D 2 ，X，Y）为例，L GAN （G 2 ，D 1 ，X，Y）同理，其计算公式（2）为：
其中，logD 2-overall 和logD 2-local 分别表示判别器的全局分支和局部分支。对抗损失的作用判别器分辨出生成器产生的“假图像”，生成器尽力生成图像以骗过判别器。
其中，循环一致性损失L cyc （G 1 ，G 2 ）的计算公式（3）为：
循环一致性损失函数能够促使原始域数据转为目标域数据之后，目标域数据也能转换回原始域，这样可以有效地防止模型将所有原始域中的数据都转换为目标域数据中的同一张图像。
其中，结构相似性损失L ssim （G 1 ，G 2 ）的计算公式（4）为：
上式（4）中，SSIM表示结构相似度的计算，结构相似性损失能一定程度上抑制图像风格迁移过程中局部信息的丢失。
在本实施例中，通过构造了一个“端到端”的目标样本风格迁移模型，直接学习矩阵标签到目标域图像数据集的映射，模型结构简单，能有效地减少数据增强过程中的时间消耗。
可选的，在本申请中还提供了一种可选的用于人体关键点检测的小样本数据增强方法。如图4所示，用于人体关键点检测的小样本数据增强方法的流程图。
步骤S401，获取初始小样本；
在本实施例中，初始小样本可以是初始训练样本图像集合。
其中，初始小样本可以包括但不限于从公开的人体关键点检测数据集（COCO，MPII等）进行筛选、人工标注关键点数据中获取。
步骤S402，数据预处理；
该步骤对步骤S402获取到的初始小样本进行数据预处理，对小样本中的每张图像利用传统数据增强方法进行初步的数据样本扩充，为了不破坏人体关键点之间的空间关系，采用的数据增强方法可以包括：在初始小样本的基础上，随机叠加高斯噪声，可通过改变高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声；高斯模糊处理；通过向HSV空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换；将初始小样本从RGB颜色空间转换到另一颜色空间，增加或减少颜色参数后返回RGB颜色空间。
对于以上4类数据增强方法而言，每一类方法都可以根据参数设置的不同而产生多种不同样本。同时，针对每个样本，其数据预处理之前和之后的关键点标签保持不变，即假设初始样本为X original 对应的字典标签为Y original ，通过数据增强方法产生了N个样本，分别为X1，X2，……XN，初始样本X original 和X1，X2，……XN的字典标签都为Y original ，以此，形成“一对多”的标签映射，从而省去了标签重新标注的时间消耗。
步骤S403，对每一个样本构造人体关键点矩阵标签；
在步骤S403为步骤S401以及步骤S402得到的样本构造人体关键点矩阵标签，每个样本的原始标签为一个字典，这些字典包含人体各个关键点以及在图像当中的属性值，这些属性值包括但不限于关键点的坐标值，本技术方案以这些字典当中的关键点键(key)以及每个关键点键(key)所对应的属性值为基础，构造每个样本所对应的矩阵标签。
假设样本为Sample，样本当中含有M个人体，每个人体的关键点个数为N，每个关键点对应的属性为（P1，P2……Pd）其中d代表属性维度，然后根据M，N以及（P1，P2……Pd），组成M*N*d的矩阵标签，最终每个样本都对应着有一个M*N*d的矩阵标签。
步骤S404，将构造的人体关键点矩阵标签作为原始域，将数据预处理得到的样本作为目标域；
该步骤为后续风格迁移模型的训练提供原始域数据与目标域数据。其中，由步骤S403得到的矩阵标签作为原始域数据，目标域数据来源于每个矩阵标签所对应的图像数据。
步骤S405，构造风格迁移模型，并迭代训练，学习原始域数据与目标域数据之间的映射；
在步骤S405为风格迁移模型的构造以及训练过程。由于步骤S404构造的矩阵标签与真实的图像数据之间存在着“域不适应”的问题，直接将随机设定的矩阵标签用作人体关键点检测模型的训练数据的话，会由于“域不适应”而导致这些矩阵标签无法作为有效数据来辅助模型的训练，从而无法获得鲁棒性、泛化性更高的人体关键点检测模型。而构建风格迁移模型，目的便是为了解决“域不适应”的问题，通过风格迁移模型，将输入的矩阵标签转为与真实数据域风格一致的图像样本，同时，也可以实现由同一个矩阵标签输入，多种风格不同的图像数据的输出，从而高效地产生满足实际人体关键点检测任务所需的数据集。
在本本实施例中，预设样本风格迁移模型以CycleGAN为基础，对其生成器及判别器进行改进，构建了一种改进的CycleGAN模型，在本实施例中将其记为Boost-CycleGAN。同时构建一种自适应的损失函数。
在本实施例中，构建的预设样本风格迁移模型Boost-CycleGAN包括两个生成器以及两个判别器，第一生成器记为G1，第二生成器记为G2，第一判别器记为D1，第二判别器为D2，第一生成器G1用于将矩阵标签转为目标域图像数据，第二生成器G2用于将目标域图像数据转为矩阵标签。第一判别器记为D1以及第二判别器为D2分别含有两个分支B1，B2，这两个分支(B1，B2)分别对全局、以及局部区域进行判断真实与否，从而使得判别器能有效地捕获图像的细粒度细节，促使生成器产生保真度更高、细节更丰富的图像数据。生成器结构由9个残差块组成，每一层都采用ReLU激活单元，采用的归一化方式为IN；判别器结构以马尔可夫判别器为基础，它完全由卷积层构成，首先根据卷积操作得到n*n的矩阵MD，然后对于局部分支而言，直接对MD进行归一化之后，将得到的矩阵中的每个点作为每个图像局部区域的置信度值，用于判断每个局部区域的真实与否(True/False )；而对于全局分支而言，将MD的均值作为全局True/False的输出，判别器的每一层采用的是LeakyReLU，目的是为了增加非线性。
步骤S406，设置人体关键点数据，通过风格迁移模型产生对应的图像数据。
在步骤S405的基础上进行执行的，当训练好风格迁移模型之后，随机设定人体关键点的属性值，利用训练好的模型，高效地产生多种风格不同的图像数据，从而达到数据增强的目的。在此步骤中，人体关键点数据可以不依赖训练集当中的矩阵标签，从而使产生的数据多样性更丰富，数据增强方式更加自由、高效。
在本实施例中，通过构造样本的矩阵标签，建立原始域和目标域数据之间“一对多”的标签映射，同时通过构造改进的“端到端”风格迁移模型，实现矩阵标签与目标域数据之间的“域适应”，实现由同一个矩阵标签输入，多种风格不同的图像数据的输出;通过构造由对抗损失、循环一致性损失、结构相似度损失组成的自适应损失函数，实现产生信息完整、更真实的图像数据；通过引入粒子群算法对权重系数进行全局寻优，解决了人工选择权重系数而产生的随机性，有利于获得更优，泛化性能更强的模型。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述样本数据处理方法的样本数据处理装置。如图5所示，该样本数据处理装置包括：第一获取单元、51处理单元53以及输出单元55。
第一获取单元51，用于获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测。
处理单元53，用于将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的。
输出单元55，用于输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测。
通过本申请提供的实施例，第一获取单元51获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测；处理单元53将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的；输出单元55输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测。达到了通过训练好的目标样本风格迁移模型得到更多的多样性的样本图像数据的目的，进而解决了现有技术中，无法有效的获取多样性的人体关键点检测数据的技术问题。
可选的，在本实施例中，上述第一获取单元51，可以包括：第一获取模块，用于从数据库中获取初始样本图像集合；第二获取模块，用于获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，每个样本图像中目标对象的关键点数据个数不同。
可选的，在本实施例中，上述装置可以包括：第二获取单元，用于进行样本图像风格迁移处理之前，获取初始训练样本图像集合；得到单元，用于对初始训练样本图像集合进行预处理，得到N个目标训练样本图像集合，其中，N为大于等于1的正整数；第三获取单元，用于获取N个目标训练样本图像集合的N个关键点矩阵，其中，N个关键点矩阵中的每个关键点矩阵包括一个目标训练样本图像集合中每个目标训练样本图和每个目标训练样本图像中目标对象关键点的关键点数据；构建单元，用于构建预设样本风格迁移模型，其中，预设样本风格迁移模型包括第一生成器、第二生成器、第一判别器和第二判别器以及目标损失函数；训练单元，包括根据N个关键点矩阵和N个目标训练样本图像集合训练预设样本风格迁移模型，其中，N个关键点矩阵作为输入，N个目标训练样本图像集合作为输出；确定单元，包括在目标损失函数满足预设条件的情况下，确定预设风格迁移模型训练完成，得到目标样本风格迁移模型。
其中，上述得到单元，可以包括：第一处理模块，用于随机叠加高斯噪声处理，其中，随机叠加高斯噪声处理包括通过改变高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声；第二处理模块，用于高斯模糊处理；第三处理模块，用于通过向初始训练样本图像中的每个样本图像的HSV色彩空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换；第四处理模块，用于从初始训练样本图像中的每个样本图像的第一RGB颜色空间转换到第二RGB颜色空间，增加或减少颜色参数后返回第三RGB颜色空间。
其中，上述训练单元，可以包括：第一得到模块，用于将N个关键点矩阵中的每个关键点矩阵输入至样本风格迁移模型的第一生成器，得到对应的生成图像数据；第二得到模块，用于将N个目标训练样本图像集合每个目标训练样本图像集合输入至样本风格迁移模型的第二生成器，得到对应的矩阵数据；第一判别模块，用于N个关键点矩阵中的每个关键点矩阵和第二生成器生出的矩阵数据通过第一判别器进行判别；第二判别模块，用于N个目标训练样本图像集合每个目标训练样本图像集合和第一生成器生成图像数据通过第二判别器进行判别。
可选的，在本实施例中，上述确定单元，可以包括：调整模块，用于根据粒子群算法调整目标损失函数的权重系数；第一确定模块，用于在目标损失函数满足预设目标条件的情况下，确定权重系数。
可选的，在本实施例中，上述确定单元，可以包括：第二确定模块，用于确定目标损失函数中的第一对抗损失函数满足第一预设条件，其中，第一对抗损失函数用于判别器分辨生成器产生图像数据；第三确定模块，用于确定目标损失函数中的第二对抗损失函数满足第二预设条件，其中，第二对抗损失函数用于判别器分辨生成器产生图像数据；第四确定模块，用于确定目标损失函数中的循环一致性损失函数满足第三预设条件，其中，循环一致性损失函数用于数据前向训练和数据后向训练的判别；第五确定模块，用于确定目标损失函数中的结构相似性损失函数满足第四预设条件，其中，结构相似性损失函数用于图像数据风格迁移过程中信息丢失的判断。
根据本发明实施例的又一个方面，还提供了一种用于实施上述样本数据处理方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图6所示，该电子设备包括存储器602和处理器604，该存储器602中存储有计算机程序，该处理器604被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测；
S2，将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的；
S3，输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测。
可选地，本领域普通技术人员可以理解，图6所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图6其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图6中所示更多或者更少的组件（如网络接口等），或者具有与图6所示不同的配置。
其中，存储器602可用于存储软件程序以及模块，如本发明实施例中的样本数据处理方法和装置对应的程序指令/模块，处理器604通过运行存储在存储器602内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的样本数据处理方法。存储器602可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器602可进一步包括相对于处理器604远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器602具体可以但不限于用于目标对象关键点数据、目标样本图像集合等信息。作为一种示例，如图6所示，上述存储器602中可以但不限于包括上述样本数据处理装置中的第一获取单元51、处理单元53以及输出单元55。此外，还可以包括但不限于上述。此外，还可以包括但不限于上述样本数据处理装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置606包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置606为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器608，用于显示上述目标样本图像；和连接总线610，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述样本数据处理方面或者样本数据处理方面的各种可选实现方式中提供的样本数据处理方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，初始样本图像集合用于目标对象关键点检测；
S2，将初始样本图像集合中的每个样本图像和每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，目标样本风格迁移模型是通过训练样本集合训练得到的；
S3，输出与每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，目标样本图像集合用于目标对象关键点检测。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (16)
1.一种样本数据处理方法，其特征在于，包括：
获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述初始样本图像集合用于目标对象关键点检测；
将所述初始样本图像集合中的每个样本图像和所述每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，所述目标样本风格迁移模型是通过训练样本集合训练得到的；
输出与所述每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，所述目标样本图像集合用于目标对象关键点检测。
2.根据权利要求1所述的方法，其特征在于，所述获取初始样本图像集合中每个样本图像中目标对象的关键点数据，包括：
从数据库中获取所述初始样本图像集合；
获取所述初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述每个样本图像中目标对象的关键点数据个数不同。
3.根据权利要求1所述的方法，其特征在于，所述进行样本图像风格迁移处理之前，所述方法包括：
获取初始训练样本图像集合；
对所述初始训练样本图像集合进行预处理，得到N个目标训练样本图像集合，其中，N为大于等于1的正整数；
获取所述N个目标训练样本图像集合的N个关键点矩阵，其中，所述N个关键点矩阵中的每个关键点矩阵包括一个目标训练样本图像集合中每个目标训练样本图和所述每个目标训练样本图像中目标对象关键点的关键点数据；
构建预设样本风格迁移模型，其中，所述预设样本风格迁移模型包括第一生成器、第二生成器、第一判别器和第二判别器以及目标损失函数；
根据所述N个关键点矩阵和所述N个目标训练样本图像集合训练所述预设样本风格迁移模型，其中，所述N个关键点矩阵作为输入，所述N个目标训练样本图像集合作为输出；
在所述目标损失函数满足预设条件的情况下，确定所述预设风格迁移模型训练完成，得到所述目标样本风格迁移模型。
4.根据权利要求3所述的方法，其特征在于，对所述初始训练样本图像集合中每个样本图像进行预处理包括以下之一：
随机叠加高斯噪声处理，其中，随机叠加高斯噪声处理包括通过改变所述高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声；
高斯模糊处理；
通过向所述初始训练样本图像中的每个样本图像的HSV色彩空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换；
从所述初始训练样本图像中的每个样本图像的第一RGB颜色空间转换到第二RGB颜色空间，增加或减少颜色参数后返回第三RGB颜色空间。
5.根据权利要求3所述的方法，其特征在于，所述根据所述N个关键点矩阵和所述N个目标训练样本图像集合训练所述预设样本风格迁移模型，包括：
将所述N个关键点矩阵中的每个关键点矩阵输入至所述样本风格迁移模型的所述第一生成器，得到对应的生成图像数据；
将所述N个目标训练样本图像集合每个目标训练样本图像集合输入至所述样本风格迁移模型的所述第二生成器，得到对应的矩阵数据；
所述N个关键点矩阵中的每个关键点矩阵和所述第二生成器生出的矩阵数据通过所述第一判别器进行判别；
所述N个目标训练样本图像集合每个目标训练样本图像集合和所述第一生成器生成图像数据通过所述第二判别器进行判别。
6.根据权利要求3所述的方法，其特征在于，所述在所述目标损失函数满足预设目标条件的情况下，确定所述预设风格迁移模型训练完成，得到所述目标样本风格迁移模型，包括：
根据粒子群算法调整所述目标损失函数的权重系数；
在所述目标损失函数满足所述预设目标条件的情况下，确定所述权重系数。
7.根据权利要求3所述的方法，其特征在于，确定所述目标损失函数满足所述预设目标条件，包括：
确定所述目标损失函数中的第一对抗损失函数满足第一预设条件，其中，所述第一对抗损失函数用于判别器分辨生成器产生图像数据；
确定所述目标损失函数中的第二对抗损失函数满足第二预设条件，其中，所述第二对抗损失函数用于判别器分辨生成器产生图像数据；
确定所述目标损失函数中的循环一致性损失函数满足第三预设条件，其中，所述循环一致性损失函数用于数据前向训练和数据后向训练的判别；
确定所述目标损失函数中的结构相似性损失函数满足第四预设条件，其中，所述结构相似性损失函数用于图像数据风格迁移过程中信息丢失的判断。
8.一种样本数据处理装置，其特征在于，包括：
第一获取单元，用于获取初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述初始样本图像集合用于目标对象关键点检测；
处理单元，用于将所述初始样本图像集合中的每个样本图像和所述每个样本图像中目标对象的关键点数据输入至目标样本风格迁移模型中，进行样本图像风格迁移处理，其中，所述目标样本风格迁移模型是通过训练样本集合训练得到的；
输出单元，用于输出与所述每个样本图像中目标对象的关键点数据对应的目标图像，得到目标样本图像集合，其中，所述目标样本图像集合用于目标对象关键点检测。
9.根据权利要求8所述的装置，其特征在于，所述第一获取单元，包括：
第一获取模块，用于从数据库中获取所述初始样本图像集合；
第二获取模块，用于获取所述初始样本图像集合中每个样本图像中目标对象的关键点数据，其中，所述每个样本图像中目标对象的关键点数据个数不同。
10.根据权利要求8所述的装置，其特征在于，所述装置包括：
第二获取单元，用于所述进行样本图像风格迁移处理之前，获取初始训练样本图像集合；
得到单元，用于对所述初始训练样本图像集合进行预处理，得到N个目标训练样本图像集合，其中，N为大于等于1的正整数；
第三获取单元，用于获取所述N个目标训练样本图像集合的N个关键点矩阵，其中，所述N个关键点矩阵中的每个关键点矩阵包括一个目标训练样本图像集合中每个目标训练样本图和所述每个目标训练样本图像中目标对象关键点的关键点数据；
构建单元，用于构建预设样本风格迁移模型，其中，所述预设样本风格迁移模型包括第一生成器、第二生成器、第一判别器和第二判别器以及目标损失函数；
训练单元，包括根据所述N个关键点矩阵和所述N个目标训练样本图像集合训练所述预设样本风格迁移模型，其中，所述N个关键点矩阵作为输入，所述N个目标训练样本图像集合作为输出；
确定单元，包括在所述目标损失函数满足预设条件的情况下，确定所述预设风格迁移模型训练完成，得到所述目标样本风格迁移模型。
11.根据权利要求10所述的装置，其特征在于，所述得到单元，包括：
第一处理模块，用于随机叠加高斯噪声处理，其中，随机叠加高斯噪声处理包括通过改变所述高斯噪声系数、均值、方差的方式来添加不同程度的高斯噪声；
第二处理模块，用于高斯模糊处理；
第三处理模块，用于通过向所述初始训练样本图像中的每个样本图像的HSV色彩空间中的每个像素添加或减少明度值，修改色调和饱和度实现对比度转换；
第四处理模块，用于从所述初始训练样本图像中的每个样本图像的第一RGB颜色空间转换到第二RGB颜色空间，增加或减少颜色参数后返回第三RGB颜色空间。
12.根据权利要求10所述的装置，其特征在于，所述训练单元，包括：
第一得到模块，用于将所述N个关键点矩阵中的每个关键点矩阵输入至所述样本风格迁移模型的所述第一生成器，得到对应的生成图像数据；
第二得到模块，用于将所述N个目标训练样本图像集合每个目标训练样本图像集合输入至所述样本风格迁移模型的所述第二生成器，得到对应的矩阵数据；
第一判别模块，用于所述N个关键点矩阵中的每个关键点矩阵和所述第二生成器生出的矩阵数据通过所述第一判别器进行判别；
第二判别模块，用于所述N个目标训练样本图像集合每个目标训练样本图像集合和所述第一生成器生成图像数据通过所述第二判别器进行判别。
13.根据权利要求10所述的装置，其特征在于，所述确定单元，包括：
调整模块，用于根据粒子群算法调整所述目标损失函数的权重系数；
第一确定模块，用于在所述目标损失函数满足所述预设目标条件的情况下，确定所述权重系数。
14.根据权利要求10所述的装置，其特征在于，所述确定单元，包括：
第二确定模块，用于确定所述目标损失函数中的第一对抗损失函数满足第一预设条件，其中，所述第一对抗损失函数用于判别器分辨生成器产生图像数据；
第三确定模块，用于确定所述目标损失函数中的第二对抗损失函数满足第二预设条件，其中，所述第二对抗损失函数用于判别器分辨生成器产生图像数据；
第四确定模块，用于确定所述目标损失函数中的循环一致性损失函数满足第三预设条件，其中，所述循环一致性损失函数用于数据前向训练和数据后向训练的判别；
第五确定模块，用于确定所述目标损失函数中的结构相似性损失函数满足第四预设条件，其中，所述结构相似性损失函数用于图像数据风格迁移过程中信息丢失的判断。
15.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至7任一项中所述的方法。
16.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011468647.9A CN112232325B (zh) | 2020-12-15 | 2020-12-15 | 样本数据处理方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011468647.9A CN112232325B (zh) | 2020-12-15 | 2020-12-15 | 样本数据处理方法和装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112232325A true CN112232325A (zh) | 2021-01-15 |
| CN112232325B CN112232325B (zh) | 2021-03-30 |
Family
ID=74124196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011468647.9A Active CN112232325B (zh) | 2020-12-15 | 2020-12-15 | 样本数据处理方法和装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232325B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222872A (zh) * | 2021-05-28 | 2021-08-06 | 平安科技（深圳）有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN113469969A (zh) * | 2021-06-29 | 2021-10-01 | 深圳中科飞测科技股份有限公司 | 图像生成方法、图像生成装置、检测设备及可读存储介质 |
| CN113837133A (zh) * | 2021-09-29 | 2021-12-24 | 维沃移动通信有限公司 | 摄像头数据迁移方法及其装置 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
| CN117853848A (zh) * | 2024-03-07 | 2024-04-09 | 阿米华晟数据科技(江苏)有限公司 | 一种构建双目视觉的rgb-ir图像对数据集的方法及处理器 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135366A (zh) * | 2019-05-20 | 2019-08-16 | 厦门大学 | 基于多尺度生成对抗网络的遮挡行人重识别方法 |
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| CN110766638A (zh) * | 2019-10-31 | 2020-02-07 | 北京影谱科技股份有限公司 | 一种对图像中物体背景风格进行转换方法和装置 |
| CN110929687A (zh) * | 2019-12-10 | 2020-03-27 | 山东大学 | 一种基于关键点检测的多人行为识别系统及工作方法 |
| US20200183047A1 (en) * | 2018-12-11 | 2020-06-11 | Exxonmobil Upstream Research Company | Automated Reservoir Modeling Using Deep Generative Networks |
| CN111639540A (zh) * | 2020-04-30 | 2020-09-08 | 中国海洋大学 | 基于相机风格和人体姿态适应的半监督人物重识别方法 |
-
2020
- 2020-12-15 CN CN202011468647.9A patent/CN112232325B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190295302A1 (en) * | 2018-03-22 | 2019-09-26 | Northeastern University | Segmentation Guided Image Generation With Adversarial Networks |
| US20200183047A1 (en) * | 2018-12-11 | 2020-06-11 | Exxonmobil Upstream Research Company | Automated Reservoir Modeling Using Deep Generative Networks |
| CN110135366A (zh) * | 2019-05-20 | 2019-08-16 | 厦门大学 | 基于多尺度生成对抗网络的遮挡行人重识别方法 |
| CN110766638A (zh) * | 2019-10-31 | 2020-02-07 | 北京影谱科技股份有限公司 | 一种对图像中物体背景风格进行转换方法和装置 |
| CN110929687A (zh) * | 2019-12-10 | 2020-03-27 | 山东大学 | 一种基于关键点检测的多人行为识别系统及工作方法 |
| CN111639540A (zh) * | 2020-04-30 | 2020-09-08 | 中国海洋大学 | 基于相机风格和人体姿态适应的半监督人物重识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHUN ZHONG等: "CamStyle: A Novel Data Augmentation Method for Person Re-Identification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 张师林等: "基于Camstyle改进的行人重识别算法", 《计算机工程与应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222872A (zh) * | 2021-05-28 | 2021-08-06 | 平安科技（深圳）有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN113469969A (zh) * | 2021-06-29 | 2021-10-01 | 深圳中科飞测科技股份有限公司 | 图像生成方法、图像生成装置、检测设备及可读存储介质 |
| CN113837133A (zh) * | 2021-09-29 | 2021-12-24 | 维沃移动通信有限公司 | 摄像头数据迁移方法及其装置 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
| CN117853848A (zh) * | 2024-03-07 | 2024-04-09 | 阿米华晟数据科技(江苏)有限公司 | 一种构建双目视觉的rgb-ir图像对数据集的方法及处理器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112232325B (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112232325B (zh) | 样本数据处理方法和装置、存储介质及电子设备 | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| WO2021043168A1 (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN113221663B (zh) | 一种实时手语智能识别方法、装置及系统 | |
| Sun et al. | Underwater image enhancement with reinforcement learning | |
| CN113822953A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| Li et al. | Neural network-based mapping mining of image style transfer in big data systems | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| Xia et al. | Domain fingerprints for no-reference image quality assessment | |
| Salem et al. | Semantic image inpainting using self-learning encoder-decoder and adversarial loss | |
| CN116403063A (zh) | 基于多区域特征融合的无参考屏幕内容图像质量评估方法 | |
| Shen et al. | Channel recombination and projection network for blind image quality measurement | |
| Qu et al. | Non-local representation based mutual affine-transfer network for photorealistic stylization | |
| CN111091102B (zh) | 一种视频分析装置、服务器、系统及保护身份隐私的方法 | |
| CN116977714A (zh) | 图像分类方法、装置、设备、存储介质和程序产品 | |
| Huang et al. | Edge device-based real-time implementation of CycleGAN for the colorization of infrared video | |
| CN113627404B (zh) | 基于因果推断的高泛化人脸替换方法、装置和电子设备 | |
| CN115393241A (zh) | 医学图像增强方法、装置、电子设备及可读存储介质 | |
| CN114841887A (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN112084371B (zh) | 一种电影多标签分类方法、装置、电子设备以及存储介质 | |
| Liu et al. | Recurrent context-aware multi-stage network for single image deraining | |
| CN114359961A (zh) | 行人属性识别方法及相关设备 | |
| CN108038496A (zh) | 基于大数据与深度学习的婚恋对象匹配数据处理方法、装置、计算机设备和存储介质 | |
| Du et al. | A two‐stage method for single image de‐raining based on attention smoothed dilated network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |