CN117496293A - 基于supr模型的人脚姿态检测虚拟数据集的构造方法 - Google Patents
基于supr模型的人脚姿态检测虚拟数据集的构造方法 Download PDFInfo
- Publication number
- CN117496293A CN117496293A CN202311297969.5A CN202311297969A CN117496293A CN 117496293 A CN117496293 A CN 117496293A CN 202311297969 A CN202311297969 A CN 202311297969A CN 117496293 A CN117496293 A CN 117496293A
- Authority
- CN
- China
- Prior art keywords
- foot
- posture
- joint
- gesture
- toe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 15
- 210000002683 foot Anatomy 0.000 claims description 121
- 210000003371 toe Anatomy 0.000 claims description 36
- 238000009877 rendering Methods 0.000 claims description 27
- 101100394497 Caenorhabditis elegans toe-1 gene Proteins 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 22
- 210000003423 ankle Anatomy 0.000 claims description 21
- 210000003108 foot joint Anatomy 0.000 claims description 17
- 210000001503 joint Anatomy 0.000 claims description 16
- 210000000452 mid-foot Anatomy 0.000 claims description 16
- 210000001226 toe joint Anatomy 0.000 claims description 13
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 9
- 210000000431 third toe Anatomy 0.000 claims description 9
- 230000037237 body shape Effects 0.000 claims description 8
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 210000000455 fourth toe Anatomy 0.000 claims description 6
- 210000001255 hallux Anatomy 0.000 claims description 6
- 210000000453 second toe Anatomy 0.000 claims description 6
- 241000469816 Varus Species 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- ZMNSRFNUONFLSP-UHFFFAOYSA-N mephenoxalone Chemical compound COC1=CC=CC=C1OCC1OC(=O)NC1 ZMNSRFNUONFLSP-UHFFFAOYSA-N 0.000 claims description 3
- 229960001030 mephenoxalone Drugs 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000002372 labelling Methods 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 2
- 239000004035 construction material Substances 0.000 abstract 2
- 238000004519 manufacturing process Methods 0.000 abstract 2
- 230000036544 posture Effects 0.000 description 83
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000309551 Arthraxon hispidus Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，包括：使用公开的SUPR模型、人体皮肤贴图、人体形状和姿态数据，以及场景分类图片数据集作为构造材料；使用运动分类和随机赋值的方法生成符合人脚生理结构和真实运动状态的脚部姿态数据作为构造材料；使用商业软件将SUPR模型转换为可编辑的通用3D蒙皮网格模型对象；使用准备好的材料对模型对象进行编辑，搭建3D场景，生成编辑后的模型脚部的高清RGB图片和配套的2D包围盒和关键点标注数据。本发明补全了现有人体姿态数据集在脚部姿态方面的空缺，在保证可用性的基础上极大程度的简化了姿态数据集的制作流程，降低了数据集制作所需的硬件门槛和成本。
Description
技术领域
本发明涉及物体识别和姿态检测的技术领域，尤其是指一种基于SUPR模型的人脚姿态检测虚拟数据集的构造方法。
背景技术
人体姿态检测是计算机视觉中一个重要研究方向，其目标是通过分析图象或视频中的人体部位关系来推断人体的姿态信息，包括关节的位置和姿势。近年来，依靠深度学习技术的快速发展，人体姿态检测取得了显著进步。
训练深度学习网络需要大量的标注数据，现有的姿态检测数据集都停留在对身体、手部和头部的关键点进行详细标注，对于脚部的姿态标注都过于简洁，这导致现有的姿态检测网络都无法检测复杂的人脚姿态。对人脚复杂姿态进行详细标注的数据集仍然处于空白状态。
发明内容
本发明的目的在于补全现有姿态数据集在人脚姿态方面的空白，提出了一种基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，能够在门槛极低的硬件条件下，生成切实可用的人脚姿态检测虚拟数据集。
为实现上述目的，本发明所提供的技术方案为：基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，包括以下步骤：
S1：设定SUPR模型脚部关节的旋转范围，确定脚部整体姿态空间；
S2：用分类的方法对脚部整体姿态空间进行降维，得到复合姿态类和每个类对应的姿态空间；
S3：遍历复合姿态类，在每个类的姿态空间下，用随机赋值的方法，生成指定个数的随机脚部姿态参数，并将在所有类下生成的参数统一存放，构成随机脚部姿态参数数据集；
S4：用随机脚部姿态参数数据集中的参数，替换掉用SUPR模型拟合现有人体形状和姿态数据得到的姿态参数中对应位置的值，得到具有真实形状、身体姿态和随机脚部姿态的SUPR模型；
S5：用步骤S4获得的SUPR模型搭建3D场景，包括模型贴图、相机设置、灯光设置和渲染设置，得到完整的渲染管线；
S6：用获得的渲染管线生成虚拟人脚的RGB图片，通过计算得到脚部关节的2D像素坐标和包围盒的左上角和右下角的像素坐标作为RGB图片的标签信息，一张RGB图片和它的标签信息组成一个人脚姿态检测虚拟数据集的实例；
S7：重复步骤S4～S6生成所有实例，即可得到所需的基于SUPR模型的人脚姿态检测虚拟数据集，即完整的人脚姿态检测虚拟数据集。
进一步，在步骤S1中，所述SUPR模型脚部关节包括脚踝关节Jankle、足中关节Jmid和脚趾关节[Jtoe1,Jtoe2,Jtoe3,Jtoe4,Jtoe5,Jtoe6,Jtoe7,Jtoe8,Jtoe9,Jtoe10]，其中，Jtoe1是大脚趾的趾基关节，Jtoe2是大脚趾的趾中关节，Jtoe3是第二脚趾的趾基关节，Jtoe4是第二脚趾的趾中关节，Jtoe5是第三脚趾的趾基关节，Jtoe6是第三脚趾的趾中关节，Jtoe7是第四脚趾的趾基关节，Jtoe8是第四脚趾的趾中关节，Jtoe9是小脚趾的趾基关节，Jtoe10是小脚趾的趾中关节，总共12个关节；每个关节的姿态参数都是一个用于表示该关节的欧拉旋转角的向量其中，θx是在x轴上的旋转角，θy是y轴上的旋转角，θz是z轴上的旋转角；整只脚的姿态参数/>就是通过concat操作将关节姿态参数按顺序拼接起来其中，/>是脚踝关节Jankle的姿态参数，/>是足中关节Jmid的姿态参数，/>是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的姿态参数；通过设定θx、θy和θz的取值范围，来限制关节在x、y、z轴上的旋转范围，以此确定的3D空间就是关节的姿态空间S；所有关节的姿态空间的和就是脚部整体姿态空间Sfoot＝Sankle+Smid+S[toe1,toe2,...,toe10]，其中，Sfoot是脚部整体姿态空间，Sankle是脚踝关节Jankle的姿态空间，Smid是足中关节Jmid的姿态空间，S[toe1,toe2,...,toe10]是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的姿态空间。
进一步，在步骤S2中，用分类的方法对脚部整体姿态空间进行降维的具体操作如下：
S21：根据人脚的生理结构和运动方式，将初始姿态空间ST-pose、跖曲姿态空间SPlantarflex、背曲姿态空间SDorsiflex、内翻姿态空间SInversion、外翻姿态空间SEversion、内旋姿态空间SMedialRotation、外旋姿态空间SLateralRotation、脚趾弯曲姿态空间SToeFlexion、脚趾翘曲姿态空间SToeExtension、脚趾张开姿态空间SToeAbduction和脚趾聚拢姿态空间SToeAdduction这11个相互独立的姿态空间视为步骤S1设定的脚部整体姿态空间Sfoot的主成分基，通过线性混合这11个主成分基下的姿态参数，生成Sfoot下的大部分姿态参数，称这11个主成分基所代表的姿态类型为基础姿态类；
S22：将步骤S21划分的11个基础姿态类的姿态空间，通过线性混合的方式，进一步将脚部整体姿态空间Sfoot表示为绷脚尖内翻姿态空间绷脚尖外翻姿态空间踮脚尖内翻姿态空间/>踮脚尖外翻姿态空间/>勾脚尖内翻姿态空间勾脚尖外翻姿态空间/>张脚尖内翻姿态空间/>张脚尖外翻姿态空间和补充姿态空间Scompletion共9个基所代表的姿态空间，其中：
称上述9个基所代表的姿态类型为复合姿态类。
进一步，在步骤S3中，生成随机脚部姿态参数数据集的具体步骤如下：
S31：遍历步骤S2中划分的复合姿态类，获得每个复合姿态类对应的姿态空间，即每个关节在x、y、z轴上的旋转角的取值范围；
S32：在旋转角的取值范围内，用随机取整的形式为旋转角赋值；通过concat操作将旋转角拼接成随机脚部姿态参数其中，/>是脚部随机姿态参数，/>是脚踝关节Jankle的随机姿态参数，/>是足中关节Jmid的随机姿态参数，/>是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的随机姿态参数；
S33：根据指定个数重复步骤S32，得到指定复合姿态类下的所有随机脚部姿态参数；
S34：将所有复合姿态类下的随机脚部姿态参数统一存放，作为随机脚部姿态参数数据集。
进一步，在步骤S4中，用随机脚部姿态参数替换用SUPR模型拟合现有人体形状和姿态数据得到的姿态参数中对应位置的值的具体操作步骤如下：
S41：将SUPR模型的形状参数姿态参数/>旋转参数/>和位移参数/>设置为优化参数；
S42：通过现有的基于LBFGS优化算法的拟合算法，用SUPR模型拟合现有的基于SMPL-X模型的人体形状和姿态数据，迭代优化步骤S41中的优化参数，获取拟合效果最好的旋转参数位移参数/>形状参数/>和姿态参数/>
S43：随机抽取步骤S3得到的随机脚部姿态参数数据集的参数按照关节，对步骤S42得到的/>中对应的位置的值进行替换，得到具有真实身体姿态和随机脚部姿态的姿态参数/>
S44：将和/>作为SUPR模型的输入，即可得到具有真实形状、身体姿态和随机脚部姿态的SUPR模型。
进一步，在步骤S5中，搭建3D场景，得到完整的渲染管线的具体操作步骤如下：
S51：使用Blender软件，加载并摆放SUPR模型到3D场景中的原点；
S52：使用现有基于SMPL-X模型的皮肤贴图数据集中的贴图，给SUPR模型贴上皮肤贴图；
S53：在以足中关节为中心，指定半径大小的球面上，获取指定个数且均匀分布的世界坐标，作为相机位置；设置相机的内部参数和外部参数，使相机能够在这些均匀分布在指定半径大小的球面上的相机位置完整的捕捉SUPR模型的脚部，并使视野中心对准足中关节；
S54：设置场景光照模式为点光源，位置和相机相同，朝向足中关节；
S55：启用Blender 3D场景的节点功能，通过设置透明度和深度的方式，将现有的场景分类图片数据集中的图片作为节点输入，设置为相机渲染的背景图片，得到完整的渲染管线。
进一步，在步骤S6中，用渲染管线，生成数据集实例的具体操作为：使用Blender自带的渲染引擎，将步骤S5中搭建的3D场景中的相机的视图渲染成RGB图片，然后通过Blender提供的world_to_camera_view函数，计算得到Jankle、Jmid和[Jtoe1,Jtoe2,...,Jtoe10]在RGB图片中的2D像素坐标；将脚部关节的2D像素坐标中在x轴上的最小值和在y轴上的最大值，作为包围盒左上角的像素坐标；将脚部关节的2D像素坐标中在x轴上的最大值和在y轴上的最小值，作为包围盒右下角的像素坐标；脚步关节的2D像素坐标和包围盒两个顶点的2D像素坐标组成RGB图片的标签信息；RGB图像和它的标签信息组成人脚姿态检测虚拟数据集的一个实例。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明填补了具有复杂人脚姿态标注的数据集的空白。
2、本发明不需要昂贵复杂的硬件设备和特殊场地，使用方便、成本低。
3、本发明生成的虚拟数据集的标注非常精准，能够克服遮挡问题。
4、本发明生成的数据集可用于训练复杂人脚姿态的检测网络，并取得良好效果。
附图说明
图1为本发明逻辑流程示意图。
图2为本发明构建渲染场景实例示意图。
图3为本发明构建的渲染管线示意图。
图4为本发明生成的人脚姿态检测虚拟数据集的数据样例示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例提供了一种基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，包括以下步骤：
1)设定SUPR模型脚部关节的旋转范围，确定脚部整体姿态空间；
SUPR模型脚部关节包括脚踝关节Jankle、足中关节Jmid和脚趾关节[Jtoe1,Jtoe2,Jtoe3,Jtoe4,Jtoe5,Jtoe6,Jtoe7,Jtoe8,Jtoe9,Jtoe10]，其中，Jtoe1是大脚趾的趾基关节，Jtoe2是大脚趾的趾中关节，Jtoe3是第二脚趾的趾基关节，Jtoe4是第二脚趾的趾中关节，Jtoe5是第三脚趾的趾基关节，Jtoe6是第三脚趾的趾中关节，Jtoe7是第四脚趾的趾基关节，Jtoe8是第四脚趾的趾中关节，Jtoe9是小脚趾的趾基关节，Jtoe10是小脚趾的趾中关节，总共12个关节。其中脚趾关节可以根据下标的奇偶性，分为下标为奇数的趾基关节和下标为偶数的趾中关节/>每个关节的姿态参数都是一个用于表示该关节的欧拉旋转角的向量/>其中，θx是在x轴上的旋转角，θy是y轴上的旋转角，θz是z轴上的旋转角。整个脚的姿态姿态参数就是通过concat操作将关节姿态参数按顺序拼接起来其中，/>是脚踝关节Jankle的姿态参数，/>是足中关节Jmid的姿态参数，/>是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的姿态参数。通过设定θx、θy和θz的取值范围，来限制关节在x,y,z轴上的旋转范围，以此确定的3D空间就是关节的姿态空间S。所有关节的姿态空间的和就是脚部整体姿态空间，其中，Sfoot是脚部整体姿态空间，Sankle是脚踝关节Jankle的姿态空间，Smid是足中关节Jmid的姿态空间，S[toe1,toe2,...,toe10]是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的姿态空间Sfoot＝Sankle+Smid+S[toe1,toe2,...,toe10]。实施过程中，具体设定的各关节在x,y,z轴上的旋转范围如表1所示。
表1关节的旋转范围
2)用分类的方法对脚部整体姿态空间进行降维，得到复合姿态类和每个类对应的姿态空间；
根据人脚的生理结构和运动方式，可以将初始姿态空间ST-pose、跖曲姿态空间SPlantarflex、背曲姿态空间SDorsiflex、内翻姿态空间SInversion、外翻姿态空间SEversion、内旋姿态空间SMedialRotation、外旋姿态空间SLateralRotation、脚趾弯曲姿态空间SToeFlexion、脚趾翘曲姿态空间SToeExtension、脚趾张开姿态空间SToeAbduction和脚趾聚拢姿态空间SToeAdduction这11个相互独立的姿态空间视为步骤S1设定的脚部整体姿态空间Sfoot的主成分基，可以通过线性混合这11个主成分基下的姿态参数，生成Sfoot下的大部分的姿态参数。称这11个基所代表的姿态类型为基础姿态类。具体每个类划分的姿态空间如表2所示。
表2基础姿态类的姿态空间(左脚)
通过线性混合的方式，进一步将Sfoot看作是将脚部整体姿态空间Sfoot表示为绷脚尖内翻姿态空间绷脚尖外翻姿态空间/>踮脚尖内翻姿态空间/>踮脚尖外翻姿态空间/>勾脚尖内翻姿态空间/>勾脚尖外翻姿态空间/>张脚尖内翻姿态空间/>张脚尖外翻姿态空间/>和补充姿态空间Scompletion共9个基所代表的姿态空间，其中：
称上述9个基所代表的姿态类型为复合姿态类。
3)遍历复合姿态类，在每个类的姿态空间下，用随机赋值的方法，生成指定个数的随机脚部姿态参数，并将在所有类下生成的参数统一存放，构成随机脚部姿态参数数据集；
遍历步骤2)中的得到的9个复合姿态类，获得每个复合姿态类对应的姿态空间，即每个关节在x,y,z轴上的旋转角的取值范围。通过randint函数在所有关节的在x,y,z轴上的旋转范围内随机取整得到在x轴上的旋转角在y轴上的旋转角/>和在z轴上的旋转角作为该关节的随机姿态/>然后通过concat操作将旋转角拼接成随机脚部姿态参数：
其中，是脚部随机姿态参数，/>是脚踝关节Jankle的随机姿态参数，/>是足中关节Jmid的随机姿态参数，/>是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的随机姿态参数。
根据指定复合姿态类和指定个数重不断进行上述随机取整和拼接的过程复步骤得到指定复合姿态类下的所有随机脚部姿态参数。将所有复合姿态类下的随机脚部姿态参数统一存放，作为随机脚部姿态参数数据集。
4)用随机脚部姿态参数数据集中的参数，替换掉用SUPR模型拟合现有人体形状和姿态数据得到的姿态参数中对应位置的值，得到具有真实形状、身体姿态和随机脚部姿态的SUPR模型；
将SUPR模型的形状参数姿态参数/>旋转参数/>和位移参数设置为优化参数。通过现有的基于LBFGS优化算法的拟合算法，用SUPR模型拟合现有的基于SMPL-X模型的人体形状和姿态数据，迭代优化上述优化参数，获取拟合效果最好的旋转参数/>位移参数/>形状参数/>和姿态参数/>随机抽取步骤3)得到的随机脚部姿态参数数据集的参数/>按照关节，对/>中对应的位置的值进行替换，得到具有真实身体姿态和随机脚部姿态的姿态参数/>关节对应序号如表3所示。
表3SUPR模型关节对应序号
将和/>作为SUPR模型的输入，即可得到具有真实形状、身体姿态和随机脚部姿态的SUPR模型。
5)用步骤S4获得的SUPR模型搭建3D场景，包括模型贴图、相机设置、灯光设置和渲染设置，得到完整的渲染管线；
为了能够在Blender软件中使用SUPR模型，需要通过预处理将SUPR模型转换为可用Blender编辑的3D蒙皮网格对象。预处理包括：首先，以SUPR模型关节的位置作为关节头，为每个关节生成长度为10cm的骨骼对象，并根据SUPR模型中关节的结合结构，将骨骼进行树状连接，生成可编辑的骨架对象；其次，按照SUPR模型的蒙皮计算方式和蒙皮参数，将SUPR模型的顶点绑定到上一步生成的骨架对象上，生成可编辑的3D蒙皮网格对象；最后，根据现有SMPL-X模型的皮肤贴图数据集的uv图，为3D蒙皮网格对象增加材质节点，方便为3D蒙皮网格对象设置贴图。
加载并摆放3D蒙皮网格对象到Blender 3D场景的世界坐标原点，并用现有SMPL-X模型的皮肤贴图数据集的贴图为3D蒙皮网格对象贴上皮肤贴图。在以3D蒙皮网格对象的足中关节为中心，指定半径大小的球面上，获取指定个数且均匀分布的世界坐标，作为相机位置。设置相机的内部参数和外部参数，使相机能够在这些均匀分布在指定半径大小的球面上的相机位置完整的捕捉SUPR模型的脚部，并使视野中心对准足中关节。设置场景光照模式为点光源，位置和相机相同，朝向足中关节。整个3D场景搭建效果如图2所示。
启用Blender 3D场景的节点功能。创建CompositorNodeImage节点接收现有的场景分类图片数据集中的图片。创建CompositorNodeScale节点接收图片，并将分辨率调整为和相机分辨相同。创建CompositorNodeRLayerd节点接受相机的渲染结果。
创建CompositorNodeAlphaOver节点接收裁剪后的图片和相机渲染结果。
创建CompositorNodeComposite节点，接收CompositorNodeAlphaOver节点的输出，通过设置透明度和深度的方式，将场景分类图片数据集中的图片作为相机渲染结果的背景图片。整个渲染管线如图3所示。
6)用获得的渲染管线生成虚拟人脚的RGB图片，通过计算得到脚部关节的2D像素坐标关和包围盒的像素坐标作为RGB图片的标签信息，一张RGB图片和它的标签信息组成一个人脚姿态检测虚拟数据集的实例；
使用Blender自带的渲染引擎，用步骤5)搭建的3D场景和渲染管线，生成数据集的RGB图片。然后通过Blender提供的world_to_camera_view函数，计算得到Jankle、Jmid和[Jtoe1,Jtoe2,...,Jtoe10]在RGB图片中的2D像素坐标。将脚部关节的2D像素坐标中在x轴上的最小值和在y轴上的最大值，作为包围盒左上角的像素坐标。将脚部关节的2D像素坐标中在x轴上的最大值和在y轴上的最小值，作为包围盒右下角的像素坐标。脚步关节的2D像素坐标和包围盒两个顶点的2D像素坐标组成RGB图片的标签信息。RGB图像和它的标签信息组成人脚姿态检测虚拟数据集的一个实例，如图4所示。
7)通过重复操作步骤4)～6)，即可生成完整的人脚姿态检测虚拟数据集。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于，包括以下步骤：
S1：设定SUPR模型脚部关节的旋转范围，确定脚部整体姿态空间；
S2：用分类的方法对脚部整体姿态空间进行降维，得到复合姿态类和每个类对应的姿态空间；
S3：遍历复合姿态类，在每个类的姿态空间下，用随机赋值的方法，生成指定个数的随机脚部姿态参数，并将在所有类下生成的参数统一存放，构成随机脚部姿态参数数据集；
S4：用随机脚部姿态参数数据集中的参数，替换掉用SUPR模型拟合现有人体形状和姿态数据得到的姿态参数中对应位置的值，得到具有真实形状、身体姿态和随机脚部姿态的SUPR模型；
S5：用步骤S4获得的SUPR模型搭建3D场景，包括模型贴图、相机设置、灯光设置和渲染设置，得到完整的渲染管线；
S6：用获得的渲染管线生成虚拟人脚的RGB图片，通过计算得到脚部关节的2D像素坐标和包围盒的左上角和右下角的像素坐标作为RGB图片的标签信息，一张RGB图片和它的标签信息组成一个人脚姿态检测虚拟数据集的实例；
S7：重复步骤S4～S6生成所有实例，即可得到所需的基于SUPR模型的人脚姿态检测虚拟数据集，即完整的人脚姿态检测虚拟数据集。
2.根据权利要求1所述的基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于：在步骤S1中，所述SUPR模型脚部关节包括脚踝关节Jankle、足中关节Jmid和脚趾关节[Jtoe1,Jtoe2,Jtoe3,Jtoe4,Jtoe5,Jtoe6,Jtoe7,Jtoe8,Jtoe9,Jtoe10]，其中，Jtoe1是大脚趾的趾基关节，Jtoe2是大脚趾的趾中关节，Jtoe3是第二脚趾的趾基关节，Jtoe4是第二脚趾的趾中关节，Jtoe5是第三脚趾的趾基关节，Jtoe6是第三脚趾的趾中关节，Jtoe7是第四脚趾的趾基关节，Jtoe8是第四脚趾的趾中关节，Jtoe9是小脚趾的趾基关节，Jtoe10是小脚趾的趾中关节，总共12个关节；每个关节的姿态参数都是一个用于表示该关节的欧拉旋转角的向量其中θx是在x轴上的旋转角，θy是y轴上的旋转角，θz是z轴上的旋转角；整只脚的姿态参数/>就是通过concat操作将关节姿态参数按顺序拼接起来/>其中，/>是脚踝关节Jankle的姿态参数，/>是足中关节Jmid的姿态参数，/>是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的姿态参数；通过设定θx、θy和θz的取值范围，来限制关节在x、y、z轴上的旋转范围，以此确定的3D空间就是关节的姿态空间S；所有关节的姿态空间的和就是脚部整体姿态空间Sfoot＝Sankle+Smid+S[toe1,toe2,...,toe10]，其中，Sfoot是脚部整体姿态空间，Sankle是脚踝关节Jankle的姿态空间，Smid是足中关节Jmid的姿态空间，S[toe1,toe2,...,toe10]是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的姿态空间。
3.根据权利要求2所述的基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于：在步骤S2中，用分类的方法对脚部整体姿态空间进行降维的具体操作如下：
S21：根据人脚的生理结构和运动方式，将初始姿态空间ST-pose、跖曲姿态空间SPlantarflex、背曲姿态空间SDorsiflex、内翻姿态空间SInversion、外翻姿态空间SEversion、内旋姿态空间SMedialRotation、外旋姿态空间SLateralRotation、脚趾弯曲姿态空间SToeFlexion、脚趾翘曲姿态空间SToeExtension、脚趾张开姿态空间SToeAbduction和脚趾聚拢姿态空间SToeAdduction这11个相互独立的姿态空间视为步骤S1设定的脚部整体姿态空间Sfoot的主成分基，通过线性混合这11个主成分基下的姿态参数，生成Sfoot下的大部分姿态参数，称这11个主成分基所代表的姿态类型为基础姿态类；
S22：将步骤S21划分的11个基础姿态类的姿态空间，通过线性混合的方式，进一步将脚部整体姿态空间Sfoot表示为绷脚尖内翻姿态空间绷脚尖外翻姿态空间/>踮脚尖内翻姿态空间/>踮脚尖外翻姿态空间/>勾脚尖内翻姿态空间/>勾脚尖外翻姿态空间/>张脚尖内翻姿态空间/>张脚尖外翻姿态空间/>和补充姿态空间Scompletion共9个基所代表的姿态空间，其中：
称上述9个基所代表的姿态类型为复合姿态类。
4.根据权利要求3所述的基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于：在步骤S3中，生成随机脚部姿态参数数据集的具体步骤如下：
S31：遍历步骤S2中划分的复合姿态类，获得每个复合姿态类对应的姿态空间，即每个关节在x、y、z轴上的旋转角的取值范围；
S32：在旋转角的取值范围内，用随机取整的形式为旋转角赋值；通过concat操作将旋转角拼接成随机脚部姿态参数其中，/>是脚部随机姿态参数，/>是脚踝关节Jankle的随机姿态参数，/>是足中关节Jmid的随机姿态参数，是脚趾关节[Jtoe1,Jtoe2,...,Jtoe10]的随机姿态参数；
S33：根据指定个数重复步骤S32，得到指定复合姿态类下的所有随机脚部姿态参数；
S34：将所有复合姿态类下的随机脚部姿态参数统一存放，作为随机脚部姿态参数数据集。
5.根据权利要求4所述的基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于：在步骤S4中，用随机脚部姿态参数替换用SUPR模型拟合现有人体形状和姿态数据得到的姿态参数中对应位置的值的具体操作步骤如下：
S41：将SUPR模型的形状参数姿态参数/>旋转参数/>和位移参数设置为优化参数；
S42：通过现有的基于LBFGS优化算法的拟合算法，用SUPR模型拟合现有的基于SMPL-X模型的人体形状和姿态数据，迭代优化步骤S41中的优化参数，获取拟合效果最好的旋转参数位移参数/>形状参数/>和姿态参数/>
S43：随机抽取步骤S3得到的随机脚部姿态参数数据集的参数按照关节，对步骤S42得到的/>中对应的位置的值进行替换，得到具有真实身体姿态和随机脚部姿态的姿态参数/>
S44：将和/>作为SUPR模型的输入，即可得到具有真实形状、身体姿态和随机脚部姿态的SUPR模型。
6.根据权利要求5所述的基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于：在步骤S5中，搭建3D场景，得到完整的渲染管线的具体操作步骤如下：
S51：使用Blender软件，加载并摆放SUPR模型到3D场景中的原点；
S52：使用现有基于SMPL-X模型的皮肤贴图数据集中的贴图，给SUPR模型贴上皮肤贴图；
S53：在以足中关节为中心，指定半径大小的球面上，获取指定个数且均匀分布的世界坐标，作为相机位置；设置相机的内部参数和外部参数，使相机能够在这些均匀分布在指定半径大小的球面上的相机位置完整的捕捉SUPR模型的脚部，并使视野中心对准足中关节；
S54：设置场景光照模式为点光源，位置和相机相同，朝向足中关节；
S55：启用Blender 3D场景的节点功能，通过设置透明度和深度的方式，将现有的场景分类图片数据集中的图片作为节点输入，设置为相机渲染的背景图片，得到完整的渲染管线。
7.根据权利要求6所述的基于SUPR模型的人脚姿态检测虚拟数据集的构造方法，其特征在于：在步骤S6中，用渲染管线，生成数据集实例的具体操作为：使用Blender自带的渲染引擎，将步骤S5中搭建的3D场景中的相机的视图渲染成RGB图片，然后通过Blender提供的world_to_camera_view函数，计算得到Jankle、Jmid和[Jtoe1,Jtoe2,...,Jtoe10]在RGB图片中的2D像素坐标；将脚部关节的2D像素坐标中在x轴上的最小值和在y轴上的最大值，作为包围盒左上角的像素坐标；将脚部关节的2D像素坐标中在x轴上的最大值和在y轴上的最小值，作为包围盒右下角的像素坐标；脚步关节的2D像素坐标和包围盒两个顶点的2D像素坐标组成RGB图片的标签信息；RGB图像和它的标签信息组成人脚姿态检测虚拟数据集的一个实例。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311297969.5A CN117496293A (zh) | 2023-10-09 | 2023-10-09 | 基于supr模型的人脚姿态检测虚拟数据集的构造方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311297969.5A CN117496293A (zh) | 2023-10-09 | 2023-10-09 | 基于supr模型的人脚姿态检测虚拟数据集的构造方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117496293A true CN117496293A (zh) | 2024-02-02 |
Family
ID=89666699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311297969.5A Pending CN117496293A (zh) | 2023-10-09 | 2023-10-09 | 基于supr模型的人脚姿态检测虚拟数据集的构造方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496293A (zh) |
-
2023
- 2023-10-09 CN CN202311297969.5A patent/CN117496293A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN107403463B (zh) | 在成像系统中具有非刚性部分的人体表示 | |
| JP4785880B2 (ja) | 三次元オブジェクト認識のためのシステムおよび方法 | |
| CN109815847B (zh) | 一种基于语义约束的视觉slam方法 | |
| CN112819947A (zh) | 三维人脸的重建方法、装置、电子设备以及存储介质 | |
| JP6843237B2 (ja) | シーンのポイントクラウドを表現するシステム及び方法 | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN112862736B (zh) | 一种基于点的实时三维重建与优化方法 | |
| CN110533762B (zh) | 三维头像的生成方法及电子装置 | |
| Pacheco et al. | Reconstruction of high resolution 3D objects from incomplete images and 3D information | |
| Fan et al. | Convex hull aided registration method (CHARM) | |
| CN117496293A (zh) | 基于supr模型的人脚姿态检测虚拟数据集的构造方法 | |
| Huang et al. | Three-dimensional face point cloud hole-filling algorithm based on binocular stereo matching and a B-spline | |
| JP5865092B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Chu et al. | Hole-filling framework by combining structural and textural information for the 3D Terracotta Warriors | |
| Wang et al. | 3D face template registration using normal maps | |
| Xiao et al. | Effective Key Region-Guided Face Detail Optimization Algorithm for 3D Face Reconstruction | |
| Bilodeau et al. | Part segmentation of objects in real images | |
| CN111640056B (zh) | 一种模型自适应变形方法及系统 | |
| CN116912433B (zh) | 三维模型骨骼绑定方法、装置、设备及存储介质 | |
| Abdelrahim et al. | Novel variational approach for the perspective shape from shading problem using calibrated images | |
| JP5413188B2 (ja) | 三次元画像処理装置、三次元画像処理方法および三次元画像処理プログラムを記録した媒体 | |
| CN114943812A (zh) | 人体参数模型的构建方法、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |