CN109523635B - 一种三维人体扫描非刚性重建和测量方法及装置 - Google Patents
一种三维人体扫描非刚性重建和测量方法及装置 Download PDFInfo
- Publication number
- CN109523635B CN109523635B CN201811305010.0A CN201811305010A CN109523635B CN 109523635 B CN109523635 B CN 109523635B CN 201811305010 A CN201811305010 A CN 201811305010A CN 109523635 B CN109523635 B CN 109523635B
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- depth image
- rigid
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 36
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims description 45
- 238000005070 sampling Methods 0.000 claims description 33
- 238000005457 optimization Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种三维人体扫描非刚性重建和测量方法及装置,包括多台深度相机、相机固定杆、液晶显示屏、微处理器,其特征在于,多台深度相机沿竖向均匀分布在相机固定杆上的一侧,液晶显示屏设置在相机固定杆的另一侧,且深度相机、液晶显示屏朝向相同;深度相机与微处理器交互式连接,液晶显示屏与微处理器的信号输出端连接。本发明的三维人体扫描非刚性重建装置无需导轨,多台相机固定于相机固定杆的相机槽内,多台相机同时拍摄即可实现人体拍摄范围的覆盖;且无需转台,减小三维人体扫描装置的占地面积。本发明的三维人体扫描非刚性重建方法,无需转台,扫描的人体对象徒步旋转360度,旋转的速度可自行控制,降低扫描设备成本,提高户使用灵活性。
Description
技术领域
本发明涉及计算机图形学技术领域,具体地,涉及一种三维人体扫描非刚性重建测量的方法及装置。
背景技术
随着计算机三维重建技术的日益成熟,很多传统行业如健身行业、服装行业都期望可以更加智能、快速的获得人体的三维模型数据。现有的基于多相机阵列的人体扫描设备虽然精度很高,但是结构复杂,占地面积较大,而且成本十分高昂。而现有的基于单台深度相机三维人体重建技术具有两大局限性:一是单台相机的拍摄范围有限,在一定的工作距离内,需要借助导轨等装置进行度多空间位置的多次拍摄,才能覆盖全部人体;二是现有的扫描技术多采用刚性重建方法,需要配合刚性转台实现人体三维扫描,扫描时间较长,同时要求扫描的人体在扫描过程中要保持静止状态,这无疑增加了设备成本,降低了实际使用的灵活性。
无论是健身行业的体型追踪还是服装行业的衣物定制,都要求精准测量人体关键部位的维度信息。通过三维扫描重建技术得到三维人体模型后,可以进一步测量维度信息。传统的利用三维软件在人体模型上测量维度的方法需要人工手动选取关键点的位置,调整测量圈的方向,效率很低。
发明内容
针对现有的人体三维重建设备昂贵、操作复杂、使用灵活性差以及人体维度测量方法的低效问题,本发明提供一种三维人体扫描非刚性重建和测量方法及装置,本发明无需使用刚性转台或导轨,部署方便且使用灵活,且能够快速实现人体维度的自动测量。
一种三维人体扫描非刚性重建和测量方法,包括以下步骤:
步骤1:获取初始帧深度图像,并利用Marching Cube算法生成初始化的立体三角网格模型;
步骤2:计算所述初始化的立体三角网格模型的蒙皮权重;
步骤3:获取当前帧深度图像和当前帧RGB图像,从当前帧深度图像和当前帧RGB图像中提取人体骨架信息和人体轮廓信息,并建立最优化模型;根据最优化模型计算当前帧与初始帧之间的人体非刚性变换系数;
步骤4:利用所述非刚性变换系数,将当前帧深度图像逆变换到立体三角网格模型的坐标空间中,并利用TSDF算法将初始帧深度图像与当前帧深度图像的深度信息融合;
步骤5:重复步骤4和步骤5,将多帧深度图像进行融合后生成最终的人体三维模型。
所述的三维人体扫描非刚性重建和测量方法,所述步骤1包括以下具体步骤:
步骤1.1:获取3台深度相机拍摄的深度图像,并将同一时间拍摄的3张深度图片拼接在一起,组成拼接深度图像;
步骤1.2:根据所述拼接深度图像实时监测人体骨架,并根据人体骨架姿势获取初始帧深度图像;
步骤1.3:将所述初始帧深度图像映射为三维空间的点云数据,并根据MarchingCube算法计算得到初始化的立体三角网格模型。
所述的三维人体扫描非刚性重建和测量方法,所述步骤2的具体步骤为:
步骤2.1:计算所述初始帧深度图像中的骨架位置,并在所述初始化的立体三角网格模型上均匀采样出用于建模人体进行非刚性变换的采样点xi,i∈[1,M],其中M为采样点的个数;
步骤2.2:计算初始化的三维网格模型中每个采样点xi相对于每根骨架的蒙皮权重{wi1,...,wij,...,wiN},其中N为骨架个数,j∈{1,N},wij为第i个采样点xi相对于第j根骨架的蒙皮权重;
步骤2.3:通过插值法计算初始化的三维网格模型上其他顶点vk相对于每根骨架的蒙皮权重{wk1,...,wij,...,wiN},其中wkj为第k个顶点vk相对于第j根骨架的蒙皮权重,计算公式如下:
其中,N(vk)表示距离顶点vk最近的5个采样点,λki是根据距离计算的采样点xi对顶点vk的插值权重,σ是控制距离对蒙皮权重影响的参数。
所述的三维人体扫描非刚性重建和测量方法,所述步骤3具体包括,
步骤3.1:建立最优化模型
获取下一帧深度图像和下一帧RGB图像作为当前帧深度图像和当前帧RGB图像;
根据当前帧深度图像计算人体骨架信息的具体方法为:计算该帧深度图像中的骨架位置信息,并根据欧式距离计算该帧深度图像与初始帧深度图像的对应顶点集合C,其中,{vk,uk}∈C;
根据当前帧RGB图像计算人体轮廓信息的具体方法为:用Mask RCNN算法提取RGB图像中人体的轮廓点zl,由轮廓点zl组成人体轮廓信息集合S,其中,{zl}∈S;
根据所述人体骨架信息集合和人体轮廓信息集合S,建立最优化模型;
步骤3.2:计算人体非刚性变换系数
根据最优化模型计算当前帧与初始帧间的对应采样点xi的人体非刚性变换系数
具体的,使用迭代最近点ICP算法迭代优化最优化模型的损失函数,计算得到非刚性变换系数。
所述的三维人体扫描非刚性重建和测量方法,在步骤3.2中,所述的最优化模型的目标函数L包含四个损失函数L1、L2、L3、L4:
L=L1+L2+L3+L4 (2)
其中,损失函数L1用于建立根据人体非刚性变换系数计算得到的深度图像与当前帧的实际深度图像的距离模型;
L2用于建立根据骨骼运动变换系数计算得到的深度图像与当前帧实际深度图像的距离模型;
L3用于约束人体非刚性变换系数和骨骼运动变换系数/>两种方式估算出的顶点位置的一致性;定义如下:
L4表示将根据非刚性变换系数估算得到的当前帧深度图像投影到二维RGB图像空间后的人体轮廓与当前帧实际RGB图像中提取的人体轮廓的吻合程度。
所述的三维人体扫描非刚性重建和测量方法,所述损失函数L1的计算公式为:
其中,N(vk)表示距离顶点vk最近的5个采样点,xi表示初始帧第i个采样点,表示从初始帧到该帧的非刚性变换系数矩阵,/>由距离顶点vk最近邻的采样点N(vk)经过人体非刚性变换系数/>变换后加权得到,用于估算当前帧中对应顶点的坐标。
所述的三维人体扫描非刚性重建和测量方法,损失函数L2的计算公式为:
其中,表示从初始帧到该帧的骨架运动变换系数矩阵,/>由顶点vk最近邻的采样点经过/>变换后加权得到,用于估算该帧中对应顶点的坐标。
所述的三维人体扫描非刚性重建和测量方法,所述损失函数L4的计算公式为:
其中,N(vk)表示距离顶点vk最近的5个采样点,xi表示初始帧深度图像的第i个采样点,表示从初始帧深度图像到当前帧深度图像的人体非刚性变换系数矩阵,/>由顶点vk最近邻的采样点N(vk)经过人体刚性变换系数/>变换后加权得到,用于估算该帧中对应顶点的坐标,P是当前帧深度图像投影到二维RGB图像空间的投影矩阵,/>表示/>投影到二维RGB图像空间的对应像素点坐标,zl表示在当前帧RGB图像上利用MaskRCNN算法提取的人体轮廓像素点,/>表示/>是zl根据欧式距离对应的最近邻像素点。
所述的三维人体扫描非刚性重建和测量方法,根据合最终的三维人体模型,计算胸围、臂围、腰围、臀围、腿围等人体维度信息,具体方法为;
计算最终的三维人体模型中的骨架位置信息;
根据所要测量的身体部位,在骨架上定位相应的关键点,以相应的骨架方向为法线法向生成过该关键点的平面,计算该平面与人体三维模型的相交线,并以相交线的长度作为该部位的围度。
一种三维人体扫描非刚性重建和测量装置,采用权利要求1-9中所述的三维人体扫描非刚性重建方法,包括3台深度相机、相机固定杆、液晶显示屏、微处理器,多台所述深度相机沿竖向均匀分布在所述相机固定杆上的一侧,所述液晶显示屏设置在相机固定杆的另一侧,且所述深度相机、液晶显示屏朝向相同;
所述深度相机具有3台,且从下往上依次距离地面的高度为h、2h、3h;
所述深度相机与所述微处理器交互式连接,所述液晶显示屏与微处理器的信号输出端连接。
与现有技术相比,本发明的有益效果:
1、本发明的三维人体扫描非刚性重建和测量装置无需导轨,多台相机固定于相机固定杆的相机槽内,多台相机同时拍摄即可实现人体拍摄范围的覆盖;且无需转台,减小三维人体扫描装置的占地面积。
2、本发明的三维人体扫描非刚性重建方法,实现了人体模型的非刚性动态重建,无需转台,扫描的人体对象可以自己徒步旋转360度,旋转过程中不要求保持姿态静止,旋转的速度可自行控制,大大降低扫描设备成本,且同时提高用户使用的灵活性与便捷性;
3、相比现有的仅利用人体骨架信息实现动态重建的算法(CN 108122275 A),本发明提出的三维人体模型非刚性重建算法利用了RGB图像中更为精确和丰富的人体轮廓信息,从而能够减少多帧融合的累积误差,进一步提高人体模型建模精度。
附图说明
图1为本发明三维人体扫描非刚性重建装置示意图。
图2为本发明三维人体扫描非刚性重建方法的流程图。
图3为本发明的人体非刚性重建算法的流程图。
图4为本发明三维人体扫描非刚性重建方法的人体维度测量示意图。
图中:1、RGBD相机,2、RGBD相机,3、RGBD相机,4、相机固定杆,5、微处理器,6、扬声器,7、液晶显示竖屏。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述,但本发明的实施方式不限于此。
针对现有的人体三维重建设备昂贵、操作复杂、使用灵活性差以及人体维度测量方法的低效问题,本实施例提供了一种三维人体扫描非刚性重建测量的方法和装置,下面结合一具体应用实例,对本发明实施例的技术方案进行详细说明。本发明无需使用刚性转台或导轨,部署方便且使用灵活,且能够快速实现人体维度的自动测量。
参见图1,一种三维人体扫描非刚性重建装置,包括多台深度相机、相机固定杆、液晶显示屏、微处理器,多台所述深度相机沿竖向均匀分布在所述相机固定杆上的一侧,所述液晶显示屏设置在相机固定杆的另一侧,且所述深度相机、液晶显示屏朝向相同;所述深度相机与所述微处理器交互式连接,所述液晶显示屏与微处理器的信号输出端连接。液晶显示屏可用于提示用户开始测量,也可将人体模型重建结果显示在显示屏上。
相机固定杆、液晶显示竖屏相对于地面垂直摆放,液晶显示竖屏紧邻相机固定杆放置。
所述微处理器通过USB连接线与深度相机相连接,实现深度数据的采集和处理。所述微处理器通过VGA连接线与液晶显示竖屏连接。
优选地,本实施例中的深度相机具有3台,且在相机固定杆上从下往上依次距离地面的高度为h、2h、3h。
且本实施例的深度相机采用RGB深度相机。微处理器可以单独放置在机箱内,设置在相机固定杆中,也可以直接设置在液晶显示屏中;
优选地,还可以包括扬声器,扬声器可设置在相机固定杆中也可以设置在液晶显示屏中,且扬声器与微处理器通过USB线连接,扬声器用于通过语音提示用户开始旋转。
其中一个具体实施例中,上述的h=0.6米,即所述3台RGBD相机竖直排列固定在所述相机固定杆的上、中、下位置,离地面高度分别为0.6米、1.2米和1.8米。
本实施例还公开了一种三维人体扫描非刚性重建方法,包括以下步骤:
步骤1:获取初始帧深度图像,并利用Marching Cube算法生成初始化的立体三角网格模型;
步骤2:计算所述初始化的立体三角网格模型的蒙皮权重;
步骤3:获取当前帧深度图像和当前帧RGB图像,从当前帧深度图像和当前帧RGB图像中提取人体骨架信息和人体轮廓信息,并建立最优化模型;根据最优化模型计算当前帧与初始帧之间的人体非刚性变换系数;
步骤4:利用所述非刚性变换系数,将当前帧深度图像逆变换到立体三角网格模型的坐标空间中,并利用TSDF算法将初始帧深度图像与当前帧深度图像的深度信息融合;
步骤5:重复步骤4和步骤5,将多帧深度图像进行融合后生成最终的人体三维模型。
具体的,所述步骤1包括以下步骤:
步骤1.1:获取3台RGBD相机拍摄的深度图像,并将同一时间拍摄的3张深度图片拼接在一起,组成拼接深度图像;
步骤1.2:根据所述拼接深度图像实时监测人体骨架,并根据人体骨架姿势获取初始帧深度图像;
步骤1.3:将所述初始帧深度图像映射为三维空间的点云数据,并根据MarchingCube算法计算得到初始化的立体三角网格模型。
所述步骤2的具体步骤为:
步骤2.1:计算所述初始帧深度图像中的骨架位置信息,并在所述初始化的立体三角网格模型上均匀采样出用于建模人体进行非刚性变换的采样点xi,i∈[1,M],其中M为采样点的个数;
步骤2.2:计算初始化的三维网格模型中每个采样点xi相对于每根骨架的蒙皮权重{wi1,...,wij,...,wiN},其中N为骨架个数,j∈{1,N},wij为第i个采样点xi相对于第j根骨架的蒙皮权重;
步骤2.3:通过插值法计算初始化的三维网格模型上其他顶点vk相对于每根骨架的蒙皮权重{wk1,...,wij,...,wiN},,其中wkj为第k个顶点vk相对于第j根骨架的蒙皮权重,计算公式如下:
其中,N(vk)表示距离顶点vk最近的5个采样点,λki是根据距离计算的采样点xi对顶点vk的插值权重,σ是控制距离对蒙皮权重影响的参数。
所述步骤3具体包括:建立最优化模型和计算人体非刚性变换系数;
步骤3.1:建立最优化模型
获取下一帧深度图像和下一帧RGB图像作为当前帧深度图像和当前帧RGB图像;具体为,通过多台深度相机同时拍摄,并将同时拍摄的多张深度图片拼接在一起,组成拼接深度图像;
根据当前帧深度图像计算人体骨架信息的具体方法为:计算该帧深度图像中的骨架位置信息,并根据欧式距离计算该帧深度图像与初始帧深度图像的对应顶点集合C,其中,{vk,uk}∈C;
根据当前帧RGB图像计算人体轮廓信息的具体方法为:用Ma步骤k RCNN算法提取RGB图像中人体的轮廓点zl,由轮廓点zl组成人体轮廓信息集合S,其中,{zl}∈S;
根据所述人体骨架信息集合和人体轮廓信息集合S,建立最优化模型;
最优化模型的目的是为了计算当前帧与初始帧之间的非刚性变换系数矩阵,最优化模型以该模型的损失函数体现。
步骤3.2:计算人体非刚性变换系数
根据最优化模型计算当前帧与初始帧间的对应采样点xi的人体非刚性变换系数
具体的,使用迭代最近点ICP算法迭代优化最优化模型的损失函数,计算得到非刚性变换的系数
所述的最优化模型的目标函数L包含四个损失函数L1、L2、L3、L4:
L=L1+L2+L3+L4 (2)
其中,损失函数L1用于建立根据人体非刚性变换系数计算得到的深度图像与当前帧的实际深度图像的距离模型;损失函数L1的计算公式为:
其中,N(vk)表示距离顶点vk最近的5个采样点,xi表示初始帧第i个采样点,表示从初始帧到该帧的非刚性变换系数矩阵,/>由距离顶点vk最近邻的采样点N(vk)经过人体非刚性变换系数/>变换后加权得到,用于估算当前帧中对应顶点的坐标。
L2用于建立根据骨骼运动变换系数计算得到的深度图像与当前帧实际深度图像的距离模型;损失函数L2的计算公式为:
其中,表示从初始帧到该帧的骨架运动变换系数矩阵,/>由顶点vk最近邻的采样点经过/>变换后加权得到,用于估算该帧中对应顶点的坐标。
L3用于约束人体非刚性变换系数和骼运动变换系数/>两种方式估算出的顶点位置的一致性;定义如下:
L4表示将根据非刚性变换系数估算得到的当前帧深度图像投影到二维RGB图像空间后的人体轮廓与当前帧实际RGB图像中提取的人体轮廓的吻合程度。损失函数L4的计算公式为:
其中,N(vk)表示距离顶点vk最近的5个采样点,xi表示初始帧深度图像的第i个采样点,表示从初始帧深度图像到当前帧深度图像的人体非刚性变换系数矩阵,/>由顶点vk最近邻的采样点N(vk)经过人体刚性变换系数/>变换后加权得到,用于估算该帧中对应顶点的坐标,P是当前帧深度图像投影到二维RGB图像空间的投影矩阵,/>表示/>投影到二维RGB图像空间的对应像素点坐标,zl表示在当前帧RGB图像上利用Ma步骤k RCNN算法提取的人体轮廓像素点,/>表示/>是zl根据欧式距离对应的最近邻像素点。
参照图2,对本发明的基于三维人体扫描非刚性重建方法的处理过程加以描述:
S1:启动微处理器,初始化液晶显示竖屏并同时启动3台RGBD相机开始采集深度图像;
S2:3台RGBD相机分别采集人体上、中、下三部分的深度图像,微处理器对采集到的深度图像进行实时的计算处理,根据三台相机的相对坐标位置,调用RGBD相机的库函数功能,将同一时间三台相机采集到的3张深度图像拼在一起组成拼接深度图像;
S3:人自然站立于深度相机前约1.2米处,正面面对深度相机,双臂微微张开,保持A型姿势;
S4:微处理器调用RGBD相机的库函数功能,根据拼接深度图像实时检测人体骨架,一旦检测到相机前的人体并且姿势符合要求,则控制扬声器或者显示屏发出提示语音或者提示数字,提示用户准备完毕,提醒人体保持该姿势并开始徒步原地旋转360度;此处库函数功能是根据输入的深度图像检测人体骨架的位置;
S5:在人体自行旋转的过程中,微处理器实时地将采集到的多张深度图片通过非刚性人体重建算法融合成一个最终的三维人体模型;
S6:人体完成旋转后,微处理器根据最终的三维人体模型,计算胸围、臂围、腰围、臀围、腿围等人体维度信息,并输出显示在液晶显示竖屏上。
计算人体维度信息的方法包括以下步骤:
S61:调用RGBD相机的库函数功能,计算最终的三维人体模型中骨架位置信息;
S62:根据所要测量的身体部位,在骨架上定位相应的关键点,以相应的骨架方向为法线法向生成过该关键点的平面,计算该平面与人体三维模型的相交线,并以相交线的长度作为该部位的围度。
参见图4,关键点的选取根据本本领域通用技术选取,比如腰围的关键点是脊柱骨架上位于腰部的点,臀围的关键点是脊柱骨架上位于臀部中心的点等。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (8)
1.一种三维人体扫描非刚性重建和测量方法,其特征在于,包括以下步骤:
步骤1:获取初始帧深度图像,并利用Marching Cube算法生成初始化的立体三角网格模型;
步骤2:计算所述初始化的立体三角网格模型的蒙皮权重;
步骤3:获取当前帧深度图像和当前帧RGB图像,从当前帧深度图像和当前帧RGB图像中提取人体骨架信息和人体轮廓信息,并建立最优化模型;根据最优化模型计算当前帧与初始帧之间的人体非刚性变换系数;
步骤4:利用所述非刚性变换系数,将当前帧深度图像逆变换到立体三角网格模型的坐标空间中,并利用TSDF算法将初始帧深度图像与当前帧深度图像的深度信息融合;
步骤5:重复步骤4和步骤5,将多帧深度图像进行融合后生成最终的人体三维模型;
所述步骤3具体包括:
步骤3.1:建立最优化模型
获取下一帧深度图像和下一帧RGB图像作为当前帧深度图像和当前帧RGB图像;
根据当前帧深度图像计算人体骨架信息的具体方法为:计算该帧深度图像中的骨架位置信息,并根据欧式距离计算该帧深度图像与初始帧深度图像的对应顶点集合C,其中,{vk,uk}∈C;
根据当前帧RGB图像计算人体轮廓信息的具体方法为:用Mask RCNN算法提取RGB图像中人体的轮廓点zl,由轮廓点zl组成人体轮廓信息集合S,其中,{zl}∈S;
根据所述人体骨架信息集合和人体轮廓信息集合S,建立最优化模型;
步骤3.2:计算人体非刚性变换系数
根据最优化模型计算当前帧与初始帧间的对应采样点xi的人体非刚性变换系数
具体的,使用迭代最近点ICP算法迭代优化最优化模型的损失函数,计算得到非刚性变换系数;
在步骤3.2中,所述的最优化模型的目标函数L包含四个损失函数L1、L2、L3、L4:
L=L1+L2+L3+L4 (2)
其中,损失函数L1用于建立根据人体非刚性变换系数计算得到的深度图像与当前帧的实际深度图像的距离模型;
L2用于建立根据骨骼运动变换系数计算得到的深度图像与当前帧实际深度图像的距离模型;
L3用于约束人体非刚性变换系数和骨骼运动变换系数/>两种方式估算出的顶点位置的一致性;定义如下:
L4表示将根据非刚性变换系数估算得到的当前帧深度图像投影到二维RGB图像空间后的人体轮廓与当前帧实际RGB图像中提取的人体轮廓的吻合程度。
2.根据权利要求1所述的三维人体扫描非刚性重建和测量方法,其特征在于,所述步骤1包括以下具体步骤:
步骤1.1:获取3台深度相机拍摄的深度图像,并将同一时间拍摄的3张深度图片拼接在一起,组成拼接深度图像;
步骤1.2:根据所述拼接深度图像实时监测人体骨架,并根据人体骨架姿势获取初始帧深度图像;
步骤1.3:将所述初始帧深度图像映射为三维空间的点云数据,并根据MarchingCube算法计算得到初始化的立体三角网格模型。
3.根据权利要求1所述的三维人体扫描非刚性重建和测量方法,其特征在于,所述步骤2的具体步骤为:
步骤2.1:计算所述初始帧深度图像中的骨架位置,并在所述初始化的立体三角网格模型上均匀采样出用于建模人体进行非刚性变换的采样点xi,i∈[1,M],其中M为采样点的个数;
步骤2.2:计算初始化的三维网格模型中每个采样点xi相对于每根骨架的蒙皮权重{wi1,...,wij,...,wiN},其中N为骨架个数,j∈{1,N},wij为第i个采样点xi相对于第j根骨架的蒙皮权重;
步骤2.3:通过插值法计算初始化的三维网格模型上其他顶点vk相对于每根骨架的蒙皮权重{wk1,...,wkj,...,wkN},其中wkj为第k个顶点vk相对于第j根骨架的蒙皮权重,计算公式如下:
其中,N(vk)表示距离顶点vk最近的5个采样点,λki是根据距离计算的采样点xi对顶点vk的插值权重,σ是控制距离对蒙皮权重影响的参数。
4.根据权利要求1所述的三维人体扫描非刚性重建和测量方法,其特征在于,所述损失函数L1的计算公式为:
其中,N(vk)表示距离顶点vk最近的5个采样点,xi表示初始帧第i个采样点,表示从初始帧到该帧的非刚性变换系数矩阵,/>由距离顶点vk最近邻的采样点N(vk)经过人体非刚性变换系数/>变换后加权得到,用于估算当前帧中对应顶点的坐标,λki是根据距离计算的采样点xi对顶点vk的插值权重。
5.根据权利要求1所述的三维人体扫描非刚性重建和测量方法,其特征在于,所述损失函数L2的计算公式为:
其中,表示从初始帧到该帧的骨架运动变换系数矩阵,/>由顶点vk最近邻的采样点经过/>变换后加权得到,用于估算该帧中对应顶点的坐标,λki是根据距离计算的采样点xi对顶点vk的插值权重,N(vk)表示距离顶点vk最近的5个采样点。
6.根据权利要求1所述的三维人体扫描非刚性重建和测量方法,其特征在于,所述损失函数L4的计算公式为:
其中,N(vk)表示距离顶点vk最近的5个采样点,xi表示初始帧深度图像的第i个采样点,表示从初始帧深度图像到当前帧深度图像的人体非刚性变换系数矩阵,/>由顶点vk最近邻的采样点N(vk)经过人体刚性变换系数/>变换后加权得到,用于估算该帧中对应顶点的坐标,P是当前帧深度图像投影到二维RGB图像空间的投影矩阵,/>表示/>投影到二维RGB图像空间的对应像素点坐标,zl表示在当前帧RGB图像上利用MaskRCNN算法提取的人体轮廓像素点,/>表示/>是zl根据欧式距离对应的最近邻像素点,λki是根据距离计算的采样点xi对顶点vk的插值权重。
7.根据权利要求1-6中任一项所述的三维人体扫描非刚性重建和测量方法,其特征在于,根据最终的三维人体模型,计算胸围、臂围、腰围、臀围、腿围等人体维度信息,具体方法为;
计算最终的三维人体模型中的骨架位置信息;
根据所要测量的身体部位,在骨架上定位相应的关键点,以相应的骨架方向为法线法向生成过该关键点的平面,计算该平面与人体三维模型的相交线,并以相交线的长度作为该部位的围度。
8.一种三维人体扫描非刚性重建和测量装置,其特征在于,采用权利要求1-6中任一所述的三维人体扫描非刚性重建方法,包括3台深度相机、相机固定杆、液晶显示屏、微处理器,多台所述深度相机沿竖向均匀分布在所述相机固定杆上的一侧,所述液晶显示屏设置在相机固定杆的另一侧,且所述深度相机、液晶显示屏朝向相同;
所述深度相机具有3台,且从下往上依次距离地面的高度为h、2h、3h;
所述深度相机与所述微处理器交互式连接,所述液晶显示屏与微处理器的信号输出端连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811305010.0A CN109523635B (zh) | 2018-11-01 | 2018-11-01 | 一种三维人体扫描非刚性重建和测量方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811305010.0A CN109523635B (zh) | 2018-11-01 | 2018-11-01 | 一种三维人体扫描非刚性重建和测量方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109523635A CN109523635A (zh) | 2019-03-26 |
CN109523635B true CN109523635B (zh) | 2023-07-21 |
Family
ID=65774484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811305010.0A Active CN109523635B (zh) | 2018-11-01 | 2018-11-01 | 一种三维人体扫描非刚性重建和测量方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109523635B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110897642A (zh) * | 2019-12-26 | 2020-03-24 | 昆山杜克大学 | 一种3d测量并监测人体头围增长的系统与方法 |
CN111739080A (zh) * | 2020-07-23 | 2020-10-02 | 成都艾尔帕思科技有限公司 | 多台深度相机共同构建3d空间及3d物体的方法 |
CN113240603A (zh) * | 2020-12-28 | 2021-08-10 | 武汉纺织大学 | 基于点云数据的三维人体测量系统和测量方法 |
CN112802161B (zh) * | 2021-01-27 | 2022-11-15 | 青岛联合创智科技有限公司 | 一种三维虚拟角色智能蒙皮方法 |
CN112884652B (zh) * | 2021-02-26 | 2024-05-31 | 西安维塑智能科技有限公司 | 一种一体化双相机智能体测装置和人体图像拼接方法 |
WO2022222091A1 (zh) * | 2021-04-22 | 2022-10-27 | 浙江大学 | 一种基于单张照片的人物浅浮雕模型生成方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
CN106709947A (zh) * | 2016-12-20 | 2017-05-24 | 西安交通大学 | 一种基于rgbd相机的三维人体快速建模系统 |
CN108053437A (zh) * | 2017-11-29 | 2018-05-18 | 深圳奥比中光科技有限公司 | 基于体态的三维模型获取方法及装置 |
CN108171791A (zh) * | 2017-12-27 | 2018-06-15 | 清华大学 | 基于多深度摄像机的动态场景实时三维重建方法及装置 |
CN108665537A (zh) * | 2018-05-15 | 2018-10-16 | 清华大学 | 联合优化人体体态与外观模型的三维重建方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2670261A1 (en) * | 2006-11-16 | 2008-05-29 | Vanderbilt University | Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same |
-
2018
- 2018-11-01 CN CN201811305010.0A patent/CN109523635B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204718A (zh) * | 2016-06-28 | 2016-12-07 | 华南理工大学 | 一种基于单个Kinect的简易高效三维人体重建方法 |
CN106709947A (zh) * | 2016-12-20 | 2017-05-24 | 西安交通大学 | 一种基于rgbd相机的三维人体快速建模系统 |
CN108053437A (zh) * | 2017-11-29 | 2018-05-18 | 深圳奥比中光科技有限公司 | 基于体态的三维模型获取方法及装置 |
CN108171791A (zh) * | 2017-12-27 | 2018-06-15 | 清华大学 | 基于多深度摄像机的动态场景实时三维重建方法及装置 |
CN108665537A (zh) * | 2018-05-15 | 2018-10-16 | 清华大学 | 联合优化人体体态与外观模型的三维重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109523635A (zh) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109523635B (zh) | 一种三维人体扫描非刚性重建和测量方法及装置 | |
CN108961395B (zh) | 一种基于拍照重建三维空间场景的方法 | |
AU2011312140B2 (en) | Rapid 3D modeling | |
CN113570721B (zh) | 三维空间模型的重建方法、装置和存储介质 | |
KR100443552B1 (ko) | 가상 현실 구현 시스템 및 방법 | |
KR101424942B1 (ko) | 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법 | |
JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
JP2000516360A (ja) | 三次元物体モデル化装置及び方法 | |
CN109076172A (zh) | 从中间视图生成有效画布视图 | |
CN109801374A (zh) | 一种通过多角度图像集重构三维模型的方法、介质及系统 | |
CN111028341B (zh) | 一种三维模型生成方法 | |
CN109788270B (zh) | 3d-360度全景图像生成方法及装置 | |
JP2023546739A (ja) | シーンの3次元モデルを生成するための方法、装置、およびシステム | |
KR102389762B1 (ko) | 디지털 트윈 연동 증강현실 카메라를 통한 공간 형성 및 인식 시스템 및 그 방법 | |
CN109064550A (zh) | 一种人体扫描建模方法 | |
JPWO2020121406A1 (ja) | 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法 | |
CN111735414A (zh) | 一种基于全景三维成像的面积计量系统及计量方法 | |
CN112132971A (zh) | 三维人体建模方法、装置、电子设备和存储介质 | |
CN111915725A (zh) | 一种基于运动重建的人体测量方法 | |
KR101902131B1 (ko) | 시뮬레이션 파노라마 실내영상 제작 시스템 | |
Kimmel | 3D shape reconstruction from autostereograms and stereo | |
KR101289885B1 (ko) | 건물의 모델링을 위한 장치 및 방법 | |
JPH10198824A (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
Miyasaka et al. | Reconstruction of realistic 3D surface model and 3D animation from range images obtained by real time 3D measurement system | |
CN111784826A (zh) | 一种基于全景图像生成三维结构示意图的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |