CN112435345A - 一种基于深度学习的人体三维测量方法及系统 - Google Patents

一种基于深度学习的人体三维测量方法及系统 Download PDF

Info

Publication number
CN112435345A
CN112435345A CN202011471877.0A CN202011471877A CN112435345A CN 112435345 A CN112435345 A CN 112435345A CN 202011471877 A CN202011471877 A CN 202011471877A CN 112435345 A CN112435345 A CN 112435345A
Authority
CN
China
Prior art keywords
network
human body
stage
residual error
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011471877.0A
Other languages
English (en)
Other versions
CN112435345B (zh
Inventor
姜明华
徐硕
余锋
周昌龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202011471877.0A priority Critical patent/CN112435345B/zh
Publication of CN112435345A publication Critical patent/CN112435345A/zh
Application granted granted Critical
Publication of CN112435345B publication Critical patent/CN112435345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的人体三维测量方法及系统。本方法主要包括基于3D卷积神经网络的几何描述符提取方法和利用基于人体关键点的分割方法，本发明的构件的提取关键点网络模型，提高了关键点提取的准确度；本发明的几何描述符，提高了在三维扫描数据中建立局部表面之间相关性和鲁棒性，增强了人体三维重建效果；本发明利用提取关键点网络模型提取的人体关键点与人体骨架信息，提高了测量部位位置的准确度，提高了人体测量尺寸精确度。

Description

一种基于深度学习的人体三维测量方法及系统
技术领域
本发明属于人体测量领域，具体涉及一种基于深度学习的人体三维测量方法及系统。
背景技术
人体三维测量系统广泛应用于服装，动画，人机工程以及医学等领域。随着计算机三维重建技术的日益成熟，很多传统行业如健身行业、服装行业都期望可以更加智能、快速的获得人体的三维模型数据。目前，绝大多数利用传统的点云建模方式。公开号为CN111612887 A的中国专利“一种人体测量方法和装置”根据初步人体三维模型的系数和所述点云数据，获取刚性变换矩阵及初步人体三维模型，获取精确人体三维模型并进行测量。这种方法建立的人体三维模型效果很难有大的提升。
同时，深度学习技术近年来在数字图像处理领域得到广泛的应用并取得了显著的成绩，无论是在科研方面还是项目落地等方面都具有优异的表现。近年来，出现了基于深度学习的人体三维尺寸测量方法。公开号为CN 111264951 A的中国专利“基于深度学习的非接触式旗袍定制人体三维尺寸测量方法”是通过语义分割网络DeepLabV3+在COCO数据集上训练得到能够将人体与复杂背景分离的网络模型，使用OpenCV的图像处理技术提取出以人体对象为中心的二值图，通过背、侧面图像计算人体维度。这种方法通过二维图片来计算人体三维尺寸，并没有建立人体三维模型，所以得到的人体三维尺寸并不准确。
发明内容
本发明的技术问题是现有的采用神经网络的人体三维测量方法复杂度高，计算量大，生成的人体三维模型效果不好，导致人体尺寸测量的结果不精确。
本发明的目的是解决上述问题，提供一种基于深度学习的人体三维测量方法，通过利用预先训练好的几何描述符来去除噪声，匹配局部几何特征，提高人体三维模型效果。再利用基于人体关键点的对人体三维数据进行分析，从数据中提取全局特征，实现数据驱动的分割，用于人体维度计算，提高精确度。具体包括如下步骤：
步骤1，获取多帧不同视角的人体彩色图像；
步骤2，根据人体部位结构从彩色图像上提取关键点；
步骤3，结合与彩色图像对应的深度图像，利用深度相机内参矩阵将关键点转换为点云数据；
步骤4，对同一视角下的关键点点云数据进行匹配，删除重叠点云；
步骤5，将经过步骤4中处理后的关键点点云周围l×l×l的体素栅格作为3D卷积神经网络输入，得到几何描述符；
步骤6，结合不同视角下的关键点几何描述符，进行人体关键点匹配，得到人体三维模型；
步骤7，利用基于人体关键点的分割方法将人体三维模型分割成不同部位，以各部分截面周长作为该各部位的围度，从而获得人体尺寸数据。
进一步的，步骤1中利用深度相机从4个不同视角对人体拍摄图像，其中4个不同视角为人体左前、左后、右后、右前。
进一步的，步骤2中提取关键点的具体实现方式如下；
构建关键点提取网络模型，所述关键点提取网络模型为包含四个阶段且有4个并行子网络的网络模型；第一阶段仅一个网络，设为网络1-1，包含一个瓶颈模块，一个残差模块以及一个与残差模块并行的下采样，其输出作为第二阶段的输入；
第二阶段包含2个并行的网络，设为网络2-1、2-2，其中网络2-1和网络2-2都包含三个残差模块和一个采样，且采样都与第二阶段第二个残差模块并行，其中网络2-1采样为下采样，其输出结果叠加到网络2-2第二阶段第二个残差模块的输出；而网络2-2采样为上采样，其输出结果叠加到网络2-1第二阶段第二个残差模块的输出，另外，网络2-2还包含一个与网络2-2第二阶段第三个残差模块并行的下采样，其输出作为第三阶段的输入；
第三阶段包含3个并行的网络，设为网络3-1、3-2、3-3，其中网络3-1、网络3-2和网络3-3都包含三个残差模块和两个采样，且采样都与第三阶段第二个残差模块并行，其中网络3-1采样都为下采样，一个输出结果叠加到网络3-2第三阶段第二个残差模块的输出，另一个输出结果叠加到网络3-3第三阶段第二个残差模块的输出；网络3-2采样分别为上采样和下采样，上采样输出结果叠加到网络3-1第三阶段第二个残差模块的输出，下采样输出结果叠加到网络3-3第三阶段第二个残差模块的输出；网络3-3采样都为上采样，一个输出结果叠加到网络3-1第三阶段第二个残差模块的输出，另一个输出结果叠加到网络3-2第三阶段第二个残差模块的输出，另外，网络3-3还包含一个与网络3-3第三阶段第三个残差模块并行的下采样，其输出作为第四阶段的输入；
第四阶段包含4个并行的网络，网络4-1、4-2、4-3、4-4，其中网络4-1、网络4-2、网络4-3和网络4-4都包含两个残差模块和三个采样，且采样都与第四阶段第二个残差模块并行，其中网络4-1采样都为下采样，其输出结果分别叠加到网络4-2、网络4-3、网络4-4第四阶段第二个残差模块的输出；网络2采样包括一个上采样和两个下采样，采样结果分别叠加到网络4-1、网络4-3、网络4-4第四阶段第二个残差模块的输出；网络3采样包括两个上采样一个下采样，采样结果分别叠加到网络4-1、网络4-2、网络4-4第四阶段第二个残差模块的输出；网络4-4采样都为上采样，其输出结果分别叠加到网络4-1、网络4-2、网络4-3第四阶段第二个残差模块的输出；另外网络4-1还包含一个残差模块，输出最后结果；
其中，所述瓶颈模块，将输入的特征图信息先通过一次1×1卷积核尺寸的GhostModule模块降低特征图通道维度，再通过一次3×3卷积操作进行特征提取，最后再通过一次1×1卷积核尺寸的GhostModule模块提高特征图维度，然后将输出得到的结果f(x)与输入的特征图信息x进行一个相加运算F(x)＝f(x)+x，使得网络通过学习残差公式f(x)＝F(x)-x来习得通过卷积操作习得的特征信息。
其中，所述残差模块，将输入的特征图信息经过两次3×3卷积核尺寸的GhostModule模块提高特征图维度，然后将输出得到的结果f(x)与输入的特征图信息x进行一个相加运算F(x)＝f(x)+x，使得网络通过学习残差公式f(x)＝F(x)-x来习得通过卷积操作习得的特征信息。
进一步的，步骤3的具体实现方式如下；
设深度相机内参矩阵C，由fx，fy，cx，cy这四个参数定义，其中fx，fy指相机在下x，y两个轴上的焦距，cx，cy指相机的光圈中心，根据内参矩阵构建点云，设一个空间点[x,y,z]和它在图像中的像素坐标[u,v,d]，d指深度数据，可用以下矩阵模型描述：
Figure BDA0002834162310000031
其中R和t是相机的姿态，R代表旋转矩阵，t代表位移矢量，s为深度图里给的数据与实际距离的比例。
进一步的，所述3D卷积神经网络模型，包括8个具有校正非线性单位激活函数的3D卷积层和一个池化层，用来计算一个512维的特征表示。
进一步的，利用提取的人体关键点对人体三维模型做分割，具体方法为：
步骤1，调用深度相机的库函数功能，计算最终的三维人体模型中骨架位置信息；
步骤2，以之前提取的人体关键点做骨架垂线，在骨架上定位相应的点，以相应的骨架方向为法线法向生成过该关键点的平面，计算该平面与人体三维模型的相交线，并以相交线的长度作为该部位的围度。
本发明还提供一种基于深度学习的人体三维测量系统，包括以下模块：
采集模块，用于获取多帧不同视角的人体彩色图像；
关键点提取模块，用于根据人体部位结构从彩色图像上提取关键点；
点云获取模块，用于结合与彩色图像对应的深度图像，利用深度相机内参矩阵将关键点转换为点云数据；
点云匹配模块，用于对同一视角下的关键点点云数据进行匹配，删除重叠点云；
几何描述符获取模块，用于将处理后的关键点点云周围l×l×l的体素栅格作为3D卷积神经网络输入，得到几何描述符；
人体三维模型获取模块，用于结合不同视角下的关键点几何描述符，进行人体关键点匹配，得到人体三维模型；
人体尺寸数据获取模块，用于利用基于人体关键点的分割方法将人体三维模型分割成不同部位，以各部分截面周长作为该各部位的围度，从而获得人体尺寸数据。
相比现有技术，本发明的优点和有益效果：
本发明的提取关键点网络模型，提高了关键点提取的准确度；本发明的几何描述符，提高了在三维扫描数据中建立局部表面之间相关性和鲁棒性，增强了人体三维重建效果；本发明利用提取关键点网络模型提取的人体关键点与人体骨架信息，提高了测量部位位置的准确度，提高了人体测量尺寸精确度。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明方法流程图。
图2为关键点提取网络模型的网络结果。
具体实施方式
如图1所示，是本发明提供的一种基于深度学习的人体三维测量方法的流程图，包括以下步骤：
步骤1，获取多帧不同视角的人体彩色图像；
本实施例中，步骤1中利用深度相机从4个不同视角对人体拍摄图像，其中4个不同视角为人体左前、左后、右后、右前。
步骤2，根据人体部位结构从彩色图像上提取关键点；
本实施例中，步骤2中提取关键点的具体实现方式如下；
构建关键点提取网络模型，所述关键点提取网络模型为包含四个阶段且有4个并行子网络的网络模型；第一阶段仅一个网络，设为网络1-1，包含一个瓶颈模块，一个残差模块以及一个与残差模块并行的下采样，其输出作为第二阶段的输入；
第二阶段包含2个并行的网络，设为网络2-1、2-2，其中网络2-1和网络2-2都包含三个残差模块和一个采样，且采样都与第二阶段第二个残差模块并行，其中网络2-1采样为下采样，其输出结果叠加到网络2-2第二阶段第二个残差模块的输出；而网络2-2采样为上采样，其输出结果叠加到网络2-1第二阶段第二个残差模块的输出，另外，网络2-2还包含一个与网络2-2第二阶段第三个残差模块并行的下采样，其输出作为第三阶段的输入；
第三阶段包含3个并行的网络，设为网络3-1、3-2、3-3，其中网络3-1、网络3-2和网络3-3都包含三个残差模块和两个采样，且采样都与第三阶段第二个残差模块并行，其中网络3-1采样都为下采样，一个输出结果叠加到网络3-2第三阶段第二个残差模块的输出，另一个输出结果叠加到网络3-3第三阶段第二个残差模块的输出；网络3-2采样分别为上采样和下采样，上采样输出结果叠加到网络3-1第三阶段第二个残差模块的输出，下采样输出结果叠加到网络3-3第三阶段第二个残差模块的输出；网络3-3采样都为上采样，一个输出结果叠加到网络3-1第三阶段第二个残差模块的输出，另一个输出结果叠加到网络3-2第三阶段第二个残差模块的输出，另外，网络3-3还包含一个与网络3-3第三阶段第三个残差模块并行的下采样，其输出作为第四阶段的输入；
第四阶段包含4个并行的网络，网络4-1、4-2、4-3、4-4，其中网络4-1、网络4-2、网络4-3和网络4-4都包含两个残差模块和三个采样，且采样都与第四阶段第二个残差模块并行，其中网络4-1采样都为下采样，其输出结果分别叠加到网络4-2、网络4-3、网络4-4第四阶段第二个残差模块的输出；网络2采样包括一个上采样和两个下采样，采样结果分别叠加到网络4-1、网络4-3、网络4-4第四阶段第二个残差模块的输出；网络3采样包括两个上采样一个下采样，采样结果分别叠加到网络4-1、网络4-2、网络4-4第四阶段第二个残差模块的输出；网络4-4采样都为上采样，其输出结果分别叠加到网络4-1、网络4-2、网络4-3第四阶段第二个残差模块的输出；另外网络4-1还包含一个残差模块，输出最后结果；
其中，所述瓶颈模块，将输入的特征图信息先通过一次1×1卷积核尺寸的GhostModule模块降低特征图通道维度，再通过一次3×3卷积操作进行特征提取，最后再通过一次1×1卷积核尺寸的GhostModule模块提高特征图维度，然后将输出得到的结果f(x)与输入的特征图信息x进行一个相加运算F(x)＝f(x)+x，使得网络通过学习残差公式f(x)＝F(x)-x来习得通过卷积操作习得的特征信息。
其中，所述残差模块，将输入的特征图信息经过两次3×3卷积核尺寸的GhostModule模块提高特征图维度，然后将输出得到的结果f(x)与输入的特征图信息x进行一个相加运算F(x)＝f(x)+x，使得网络通过学习残差公式f(x)＝F(x)-x来习得通过卷积操作习得的特征信息。
步骤3，结合与彩色图像对应的深度图像，利用深度相机内参矩阵将关键点转换为点云数据；
本实施例中，步骤3的具体实现方式如下；
设深度相机内参矩阵C，由fx，fy，cx，cy这四个参数定义，其中fx，fy指相机在下x，y两个轴上的焦距，cx，cy指相机的光圈中心，根据内参矩阵构建点云，设一个空间点[x,y,z]和它在图像中的像素坐标[u,v,d]，d指深度数据，可用以下矩阵模型描述：
Figure BDA0002834162310000061
其中R和t是相机的姿态，R代表旋转矩阵，t代表位移矢量，s为深度图里给的数据与实际距离的比例，通常为1000mm。
步骤4，对同一视角下的关键点点云数据进行匹配，删除重叠点云；
步骤5，将经过步骤4中处理后的关键点点云周围l×l×l(30×30×30)的体素栅格作为3D卷积神经网络输入，得到几何描述符；
本实施例中，所述3D卷积神经网络模型，包括8个具有校正非线性单位激活函数的3D卷积层和一个池化层，用来计算一个512维的特征表示。其中卷积层和全连接层都包含具有校正非线性单位激活函数，且用一个池化层是为了避免大量信息丢失。
步骤6，结合不同视角下的关键点几何描述符，进行人体关键点匹配，得到人体三维模型；
步骤7，利用基于人体关键点的分割方法将人体三维模型分割成不同部位，以各部分截面周长作为该各部位的围度，从而获得人体尺寸数据。
本实施例中，利用提取的人体关键点对人体三维模型做分割，得到人体各个部位，如头部、颈部、胸部、腰部、臀部、大腿、小腿、脚以及臂膀等部位以及各部位的围度，具体方法为：
步骤1，调用深度相机的库函数功能，计算最终的三维人体模型中骨架位置信息；
步骤2，以之前提取的人体关键点做骨架垂线，在骨架上定位相应的点，以相应的骨架方向为法线法向生成过该关键点的平面，计算该平面与人体三维模型的相交线，并以相交线的长度作为该部位的围度。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的人体三维测量方法，其特征在于，包括以下步骤：
步骤1，获取多帧不同视角的人体彩色图像；
步骤2，根据人体部位结构从彩色图像上提取关键点；
步骤3，结合与彩色图像对应的深度图像，利用深度相机内参矩阵将关键点转换为点云数据；
步骤4，对同一视角下的关键点点云数据进行匹配，删除重叠点云；
步骤5，将经过步骤4中处理后的关键点点云周围l×l×l的体素栅格作为3D卷积神经网络输入，得到几何描述符；
步骤6，结合不同视角下的关键点几何描述符，进行人体关键点匹配，得到人体三维模型；
步骤7，利用基于人体关键点的分割方法将人体三维模型分割成不同部位，以各部分截面周长作为该各部位的围度，从而获得人体尺寸数据。
2.如权利要求1所述的一种基于深度学习的人体三维测量方法，其特征在于：步骤1中利用深度相机从4个不同视角对人体拍摄图像，其中4个不同视角为人体左前、左后、右后、右前。
3.如权利要求1所述的一种基于深度学习的人体三维测量方法，其特征在于：步骤2中提取关键点的具体实现方式如下；
构建关键点提取网络模型，所述关键点提取网络模型为包含四个阶段且有4个并行子网络的网络模型；第一阶段仅一个网络，设为网络1-1，包含一个瓶颈模块，一个残差模块以及一个与残差模块并行的下采样，其输出作为第二阶段的输入；
第二阶段包含2个并行的网络，设为网络2-1、2-2，其中网络2-1和网络2-2都包含三个残差模块和一个采样，且采样都与第二阶段第二个残差模块并行，其中网络2-1采样为下采样，其输出结果叠加到网络2-2第二阶段第二个残差模块的输出；而网络2-2采样为上采样，其输出结果叠加到网络2-1第二阶段第二个残差模块的输出，另外，网络2-2还包含一个与网络2-2第二阶段第三个残差模块并行的下采样，其输出作为第三阶段的输入；
第三阶段包含3个并行的网络，设为网络3-1、3-2、3-3，其中网络3-1、网络3-2和网络3-3都包含三个残差模块和两个采样，且采样都与第三阶段第二个残差模块并行，其中网络3-1采样都为下采样，一个输出结果叠加到网络3-2第三阶段第二个残差模块的输出，另一个输出结果叠加到网络3-3第三阶段第二个残差模块的输出；网络3-2采样分别为上采样和下采样，上采样输出结果叠加到网络3-1第三阶段第二个残差模块的输出，下采样输出结果叠加到网络3-3第三阶段第二个残差模块的输出；网络3-3采样都为上采样，一个输出结果叠加到网络3-1第三阶段第二个残差模块的输出，另一个输出结果叠加到网络3-2第三阶段第二个残差模块的输出，另外，网络3-3还包含一个与网络3-3第三阶段第三个残差模块并行的下采样，其输出作为第四阶段的输入；
第四阶段包含4个并行的网络，网络4-1、4-2、4-3、4-4，其中网络4-1、网络4-2、网络4-3和网络4-4都包含两个残差模块和三个采样，且采样都与第四阶段第二个残差模块并行，其中网络4-1采样都为下采样，其输出结果分别叠加到网络4-2、网络4-3、网络4-4第四阶段第二个残差模块的输出；网络2采样包括一个上采样和两个下采样，采样结果分别叠加到网络4-1、网络4-3、网络4-4第四阶段第二个残差模块的输出；网络3采样包括两个上采样一个下采样，采样结果分别叠加到网络4-1、网络4-2、网络4-4第四阶段第二个残差模块的输出；网络4-4采样都为上采样，其输出结果分别叠加到网络4-1、网络4-2、网络4-3第四阶段第二个残差模块的输出；另外网络4-1还包含一个残差模块，输出最后结果；
其中，所述瓶颈模块，将输入的特征图信息先通过一次1×1卷积核尺寸的GhostModule模块降低特征图通道维度，再通过一次3×3卷积操作进行特征提取，最后再通过一次1×1卷积核尺寸的GhostModule模块提高特征图维度，然后将输出得到的结果f(x)与输入的特征图信息x进行一个相加运算F(x)＝f(x)+x，使得网络通过学习残差公式f(x)＝F(x)-x来习得通过卷积操作习得的特征信息。
其中，所述残差模块，将输入的特征图信息经过两次3×3卷积核尺寸的GhostModule模块提高特征图维度，然后将输出得到的结果f(x)与输入的特征图信息x进行一个相加运算F(x)＝f(x)+x，使得网络通过学习残差公式f(x)＝F(x)-x来习得通过卷积操作习得的特征信息。
4.如权利要求1所述的一种基于深度学习的人体三维测量方法，其特征在于：步骤3的具体实现方式如下；
设深度相机内参矩阵C，由fx，fy，cx，cy这四个参数定义，其中fx，fy指相机在下x，y两个轴上的焦距，cx，cy指相机的光圈中心，根据内参矩阵构建点云，设一个空间点[x,y,z]和它在图像中的像素坐标[u,v,d]，d指深度数据，可用以下矩阵模型描述：
Figure FDA0002834162300000031
其中R和t是相机的姿态，R代表旋转矩阵，t代表位移矢量，s为深度图里给的数据与实际距离的比例。
5.如权利要求1所述的一种基于深度学习的人体三维测量方法，其特征在于：所述3D卷积神经网络模型，包括8个具有校正非线性单位激活函数的3D卷积层和一个池化层，用来计算一个512维的特征表示。
6.如权利要求1所述的一种基于深度学习的人体三维测量方法，其特征在于：利用提取的人体关键点对人体三维模型做分割，具体方法为：
步骤1，调用深度相机的库函数功能，计算最终的三维人体模型中骨架位置信息；
步骤2，以之前提取的人体关键点做骨架垂线，在骨架上定位相应的点，以相应的骨架方向为法线法向生成过该关键点的平面，计算该平面与人体三维模型的相交线，并以相交线的长度作为该部位的围度。
7.一种基于深度学习的人体三维测量系统，其特征在于，包括以下模块：
采集模块，用于获取多帧不同视角的人体彩色图像；
关键点提取模块，用于根据人体部位结构从彩色图像上提取关键点；
点云获取模块，用于结合与彩色图像对应的深度图像，利用深度相机内参矩阵将关键点转换为点云数据；
点云匹配模块，用于对同一视角下的关键点点云数据进行匹配，删除重叠点云；
几何描述符获取模块，用于将处理后的关键点点云周围l×l×l的体素栅格作为3D卷积神经网络输入，得到几何描述符；
人体三维模型获取模块，用于结合不同视角下的关键点几何描述符，进行人体关键点匹配，得到人体三维模型；
人体尺寸数据获取模块，用于利用基于人体关键点的分割方法将人体三维模型分割成不同部位，以各部分截面周长作为该各部位的围度，从而获得人体尺寸数据。
CN202011471877.0A 2020-12-14 2020-12-14 一种基于深度学习的人体三维测量方法及系统 Active CN112435345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011471877.0A CN112435345B (zh) 2020-12-14 2020-12-14 一种基于深度学习的人体三维测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011471877.0A CN112435345B (zh) 2020-12-14 2020-12-14 一种基于深度学习的人体三维测量方法及系统

Publications (2)

Publication Number Publication Date
CN112435345A true CN112435345A (zh) 2021-03-02
CN112435345B CN112435345B (zh) 2022-07-19

Family

ID=74691668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011471877.0A Active CN112435345B (zh) 2020-12-14 2020-12-14 一种基于深度学习的人体三维测量方法及系统

Country Status (1)

Country Link
CN (1) CN112435345B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998453A (zh) * 2022-08-08 2022-09-02 国网浙江省电力有限公司宁波供电公司 一种基于高尺度单元的立体匹配模型及其应用方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103948196A (zh) * 2014-03-27 2014-07-30 广西科技大学 人体数据的测量方法
CN108648228A (zh) * 2018-05-16 2018-10-12 武汉纺织大学 一种双目红外人体尺寸测量方法及系统
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN110598556A (zh) * 2019-08-12 2019-12-20 深圳码隆科技有限公司 一种人体身形姿态匹配方法和装置
CN110930342A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111160111A (zh) * 2019-12-09 2020-05-15 电子科技大学 一种基于深度学习的人体关键点检测方法
CN111160225A (zh) * 2019-12-26 2020-05-15 北京邮电大学 基于深度学习的人体解析方法和装置
CN111612887A (zh) * 2020-04-30 2020-09-01 北京的卢深视科技有限公司 一种人体测量方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103948196A (zh) * 2014-03-27 2014-07-30 广西科技大学 人体数据的测量方法
CN108648228A (zh) * 2018-05-16 2018-10-12 武汉纺织大学 一种双目红外人体尺寸测量方法及系统
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN110598556A (zh) * 2019-08-12 2019-12-20 深圳码隆科技有限公司 一种人体身形姿态匹配方法和装置
CN110930342A (zh) * 2019-10-28 2020-03-27 杭州电子科技大学 一种基于彩色图引导的深度图超分辨率重建网络构建方法
CN111160111A (zh) * 2019-12-09 2020-05-15 电子科技大学 一种基于深度学习的人体关键点检测方法
CN111160225A (zh) * 2019-12-26 2020-05-15 北京邮电大学 基于深度学习的人体解析方法和装置
CN111612887A (zh) * 2020-04-30 2020-09-01 北京的卢深视科技有限公司 一种人体测量方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PEI MA,ET AL.: "An Integrated Smoke Detection Method based on Convolutional Neural Network and Image Processing", 《ICCSNT》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998453A (zh) * 2022-08-08 2022-09-02 国网浙江省电力有限公司宁波供电公司 一种基于高尺度单元的立体匹配模型及其应用方法

Also Published As

Publication number Publication date
CN112435345B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN110008915B (zh) 基于掩码-rcnn进行稠密人体姿态估计的系统及方法
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN112766160A (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
Chen et al. Cross parallax attention network for stereo image super-resolution
CN111950477B (zh) 一种基于视频监督的单图像三维人脸重建方法
WO2020134818A1 (zh) 图像处理方法及相关产品
CN109816784B (zh) 三维重构人体的方法和系统及介质
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN114666564B (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
CN106296825B (zh) 一种仿生三维信息生成系统及方法
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN113516693B (zh) 一种快速通用的图像配准方法
CN110910437A (zh) 一种复杂室内场景的深度预测方法
CN112330813A (zh) 一种基于单目深度摄像头的着装下三维人体模型重建方法
CN112509106A (zh) 文档图片展平方法、装置以及设备
CN108010122B (zh) 一种人体三维模型重建与测量的方法及系统
CN114677479A (zh) 一种基于深度学习的自然景观多视图三维重建方法
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
CN112435345B (zh) 一种基于深度学习的人体三维测量方法及系统
CN113674395B (zh) 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建系统
CN111127556A (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant