CN109712234B - 三维人体模型的生成方法、装置、设备和存储介质 - Google Patents

三维人体模型的生成方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109712234B
CN109712234B CN201811638502.1A CN201811638502A CN109712234B CN 109712234 B CN109712234 B CN 109712234B CN 201811638502 A CN201811638502 A CN 201811638502A CN 109712234 B CN109712234 B CN 109712234B
Authority
CN
China
Prior art keywords
human body
dimensional human
model
dimensional
body image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811638502.1A
Other languages
English (en)
Other versions
CN109712234A (zh
Inventor
乔伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Calorie Information Technology Co ltd
Original Assignee
Beijing Calorie Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Calorie Information Technology Co ltd filed Critical Beijing Calorie Information Technology Co ltd
Priority to CN201811638502.1A priority Critical patent/CN109712234B/zh
Publication of CN109712234A publication Critical patent/CN109712234A/zh
Application granted granted Critical
Publication of CN109712234B publication Critical patent/CN109712234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明实施例公开了一种三维人体模型的生成方法、装置、设备和存储介质,其中该方法包括:获取二维人体图像;将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数;根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。本发明实施例采用机器学习的方法,使用标注的二维人体图像和对应的三维人体模型为样本训练了一个三维人体参数的神经网络,从而能够实现仅需单张图像的基础上快速获取重建的三维人体模型,大大降低了计算复杂度和计算量,可以广泛应用于运动健身领域。

Description

三维人体模型的生成方法、装置、设备和存储介质
技术领域
本发明实施例涉及计算机视觉技术领域,尤其涉及一种三维人体模型的生成方法、装置、设备和存储介质。
背景技术
三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术,广泛应用于计算机动画、虚拟现实、工业检测等领域。
在计算机视觉中,现有技术中通常是基于多视角三维重建方法和单张图像结合人体柔性模型的最优化方法实现三维重建。但是多视角三维重建方法需要提供被重建人体多个视角相互重叠的图像并建立图像间的空间转换关系,操作复杂且计算复杂度较大;单张图像结合人体柔性模型的最优化方法虽然只需要提供少量的图像,但是求解最优解的过程仍然需要消耗较多的计算量。
发明内容
本发明实施例提供一种三维人体模型的生成方法、装置、设备和存储介质,可以大大降低三维人体模型生成时的计算量和复杂度。
第一方面,本发明实施例提供了一种三维人体模型的生成方法,包括:
获取二维人体图像;
将所述二维人体图像输入至三维人体参数模型中,得到与所述二维人体图像对应的三维人体参数;
根据所述三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为所述二维人体图像对应的三维人体模型。
第二方面,本发明实施例还提供了一种三维人体模型的生成装置,该装置包括:
获取模块,用于获取二维人体图像;
参数模块,用于将所述二维人体图像输入至三维人体参数模型中,得到与所述二维人体图像对应的三维人体参数;
人体模型模块,用于根据所述三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为所述二维人体图像对应的三维人体模型。
第三方面,本发明实施例还提供了一种设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的三维人体模型的生成方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的三维人体模型的生成方法。
本发明实施例通过获取二维人体图像,将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数,并根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。本发明实施例采用机器学习的方法,使用标注的二维人体图像和对应的三维人体模型为样本训练了一个三维人体参数的神经网络,从而能够实现仅需单张图像的基础上快速获取重建的三维人体模型,大大降低了计算复杂度和计算量,可以广泛应用于运动健身领域。
附图说明
图1为本发明实施例一中的三维人体模型的生成方法的流程图;
图2为本发明实施例一中的三维人体模型的重建的示意图;
图3为本发明实施例一中的二维人体图像的示意图;
图4为本发明实施例一中的三维人体模型的示意图;
图5为本发明实施例二中的三维人体模型的生成方法的流程图;
图6为本发明实施例三中的三维人体模型的生成装置的结构示意图;
图7为本发明实施例四中的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的三维人体模型的生成方法的流程图,本实施例可适用于生成三维人体模型的情况,该方法可以由三维人体模型的生成装置执行,该装置可以采用软件和/或硬件的方式实现,例如,该装置可配置于设备中。
本实施例中的三维人体模型的重建是基于深度学习模型实现的,参见图2,
图2为本发明实施例一中的三维人体模型的重建的示意图,图中的三维人体参数模型由残差网络、逻辑回归神经网络和损失函数组成,图中三维人体参数模型的结构仅为一个示例,其他可以得到三维人体参数的神经网络也可以适用。图中的二维人体图像输入至训练好的三维人体参数模型中,可以得到与该二维人体图像对应的三维人体参数,根据该三维人体参数调整三维柔性可变性模型,可以得到三维人体模型。
如图1所示,该方法具体可以包括:
S110、获取二维人体图像。
其中,二维人体图像可以为任意包括人像的二维图像。二维人体图像的来源本实施例中不作限定,例如可以通过图像拍摄装置采集人的图像作为二维人体图像,也可以获取互联网中包括人像的图像。
S120、将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数。
其中,三维人体参数模型为预先构建的深度学习模型,该模型具体采用的神经网络的类型可以根据需要进行设置,本实施例中不作限定,示例性的该三维人体参数模型可以由残差网络(例如ResNet50或者ResNet100)、逻辑回归神经网络和损失函数组成,其中残差网络用于提取二维人体图像的特征,并将该特征输入至逻辑回归神经网络中,通过该逻辑回归神经网络可以得到三维人体参数。三维人体参数可以包括三维人体动作参数和三维人体体型参数,三维人体动作参数为表征人体动作的物理参数,三维人体体型参数为表征人体体型的物理参数,具体参数的类型本实施例中不做限定,本实施例中以人体各关节点的位置为例进行说明。
在将二维人体图像输入至三维人体参数模型中之前,还包括:获取训练样本,训练样本包括标注原始关节点位置的标准二维人体图像和与标准二维人体图像对应的标准三维人体模型;将训练样本输入神经网络中进行训练,得到三维人体参数模型。其中,标准二维人体图像中的原始关节点位置由人工标注的准确性高的关节点位置,标准三维人体模型为根据该标准二维人体图像人工重建的准确性高的三维人体模型。
S130、根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。
其中,三维柔性可变性模型为一种通过调整参数可以改变形状和模型动作状态的柔性三维模型。
具体的,将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数之后,可以根据三维人体参数对三维柔性可变形模型进行调整,即将该三维柔性可变形模型的各个参数调整为与三维人体参数一致,调整后的三维柔性可变形模型确定为二维人体图像对应的三维人体模型。
示例性的,参见图3,图3为本发明实施例一中的二维人体图像的示意图,图中包括一个人像11,该人像11做的动作是以一定的角度向两侧张开双臂。将图3中的二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数,并将根据得到的三维人体参数调整三维柔性可变形模型,可以得到如图4所示的三维人体模型。图4为本发明实施例一中的三维人体模型的示意图,图中包括一个三维人体模型21,该三维人体模型21与图3中的人像的动作相同,以与图3中相同的角度向两侧张开双臂。
本实施例通过获取二维人体图像,将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数,并根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。本实施例采用机器学习的方法,使用标注的二维人体图像和对应的三维人体模型为样本训练了一个三维人体参数的神经网络,从而能够实现仅需单张图像的基础上快速获取重建的三维人体模型,大大降低了计算复杂度和计算量,可以广泛应用于运动健身领域。
实施例二
图5为本发明实施例二中的三维人体模型的生成方法的流程图。本实施例在上述实施例的基础上,进一步优化了上述三维人体模型的生成方法中构建三维人体参数模型的过程。相应的,本实施例的方法具体包括:
S210、获取训练样本,训练样本包括标注原始关节点位置的标准二维人体图像和与标准二维人体图像对应的标准三维人体模型。
其中,标准二维人体图像中的原始关节点位置由人工标注的准确性高的关节点位置,标准三维人体模型为根据该标准二维人体图像人工重建的准确性高的三维人体模型。训练样本的数量可以根据需要进行设置,本实施例中对此不作限定。
S220、将训练样本中的标准二维人体图像输入至神经网络中,得到与标准二维人体图像对应的预测三维人体参数。
神经网络的类型可以根据需要进行设置,本实施例中不作限定,示例性的该神经网络可以由残差网络(例如ResNet50或者ResNet100)、逻辑回归神经网络和损失函数组成,其中残差网络用于提取二维人体图像的特征,并将该特征输入至逻辑回归神经网络中,通过该逻辑回归神经网络可以得到三维人体参数。
S230、根据预测三维人体参数调整三维柔性可变形模型,得到预测三维人体模型。
其中,三维柔性可变性模型为一种通过调整参数可以改变形状和模型动作状态的柔性三维模型。预测三维人体模型与S220中的标准二维人体图像相对应。
S240、根据预测三维人体模型中关节点位置通过反向映射得到标准二维人体图像中预测关节点位置。
具体的,获得预测三维人体模型之后,通过调整三维柔性可变形模型的程序或者算法即可得到该预测三维人体模型中各关节点的位置坐标,进一步可以通过成像投影矩阵将预测三维人体模型中各关节点的位置坐标投影到标准二维人体图像中,得到的各关节点位置坐标作为预测关节点位置坐标。
S250、根据标准三维人体模型、预测三维人体模型、标注原始关节点位置的标准二维人体图像以及包括预测关节点位置的标准二维人体图像计算神经网络的损失函数。
其中,损失函数(Loss function)是用来估量模型的预测值与真实值的不一致程度的函数,它是一个非负实值函数。损失函数的具体类型可以根据需要进行设置,本实施例中对此不作限定,例如损失函数可以为支持向量机(SupportVector Machine,SVM)或者最小二乘法(Ordinary Least Square,OLS)。
本实施例中的损失函数是基于两组变量计算的,一组是标准三维人体模型和预测三维人体模型,另外一组是标注原始关节点位置的标准二维人体图像和包括预测关节点位置的标准二维人体图像,损失函数可以通过如下公式进行表示:Loss=L(X,Y,Z,H),其中Loss表示损失函数,X表示标准三维人体模型,Y表示预测三维人体模型、Z表示标注原始关节点位置的标准二维人体图像,H表示预测关节点位置的标准二维人体图像。
本实施例中通过两组变量计算损失函数,使得最终训练好的神经网络的鲁棒性更好,准确度更高。
S260、根据损失函数调整神经网络的参数,将训练好的神经网络确定为三维人体参数模型。
具体的,根据损失函数调整神经网络的参数,将训练好的神经网络确定为三维人体参数模型,可以包括:根据损失函数调整神经网络的参数,直至损失函数的函数值小于或等于预设函数阈值,则将训练好的神经网络确定为三维人体参数模型。其中,损失函数的函数值越小,该神经网络的鲁棒性越好。本实施例中的预设函数阈值可以根据需要设置,例如预设函数阈值可以设置为0.1。
本实施例通过获取训练样本,将训练样本中的标准二维人体图像输入至神经网络中,得到与标准二维人体图像对应的预测三维人体参数;根据预测三维人体参数调整三维柔性可变形模型,得到预测三维人体模型;根据预测三维人体模型中关节点位置通过反向映射得到标准二维人体图像中预测关节点位置;根据标准三维人体模型、预测三维人体模型、标注原始关节点位置的标准二维人体图像以及包括预测关节点位置的标准二维人体图像计算神经网络的损失函数;根据损失函数调整神经网络的参数,将训练好的神经网络确定为三维人体参数模型。本实施例中使用标注的二维人体图像和对应的三维人体模型为样本训练了一个三维人体参数模型,该三维人体参数模型的损失函数通过两组变量进行计算,提高了三维人体参数模型的鲁棒性和准确性,使得将单张二维人体图像输入该三维人体参数模型得到的三维人体参数更加准确,大大降低了计算复杂度和计算量,可以广泛应用于运动健身领域。
实施例三
图6为本发明实施例三中的三维人体模型的生成装置的结构示意图,本实施例可适用于生成三维人体模型的情况。本发明实施例所提供的三维人体模型的生成装置可执行本发明任意实施例所提供的三维人体模型的生成方法,具备执行方法相应的功能模块和有益效果。该装置具体包括获取模块310、参数模块320和人体模型模块330,其中:
获取模块310,用于获取二维人体图像;
参数模块320,用于将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数;
人体模型模块330,用于根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。
本发明实施例通过获取二维人体图像,将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数,并根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。本发明实施例采用机器学习的方法,使用标注的二维人体图像和对应的三维人体模型为样本训练了一个三维人体参数的神经网络,从而能够实现仅需单张图像的基础上快速获取重建的三维人体模型,大大降低了计算复杂度和计算量,可以广泛应用于运动健身领域。
可选地,该装置还包括人体参数模型模块,人体参数模型模块包括:
样本单元,用于在将二维人体图像输入至三维人体参数模型中之前,获取训练样本,训练样本包括标注原始关节点位置的标准二维人体图像和与标准二维人体图像对应的标准三维人体模型;
训练单元,用于将训练样本输入神经网络中进行训练,得到三维人体参数模型。
可选地,训练单元包括:
预测参数子单元,用于将训练样本中的标准二维人体图像输入至神经网络中,得到与标准二维人体图像对应的预测三维人体参数;
预测人体模型子单元,用于根据预测三维人体参数调整三维柔性可变形模型,得到预测三维人体模型;
预测关节点子单元,用于根据预测三维人体模型中关节点位置通过反向映射得到标准二维人体图像中预测关节点位置;
损失函数子单元,用于根据标准三维人体模型、预测三维人体模型、标注原始关节点位置的标准二维人体图像以及包括预测关节点位置的标准二维人体图像计算神经网络的损失函数;
调整子单元,用于根据损失函数调整神经网络的参数,将训练好的神经网络确定为三维人体参数模型。
可选地,调整子单元具体用于:
根据损失函数调整神经网络的参数,直至损失函数的函数值小于或等于预设函数阈值,则将训练好的神经网络确定为三维人体参数模型。
本发明实施例所提供的三维人体模型的生成装置可执行本发明任意实施例所提供的三维人体模型的生成方法,具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四中的设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性设备412的框图。图7显示的设备412仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,设备412以通用设备的形式表现。设备412的组件可以包括但不限于:一个或者多个处理器416,存储装置428,连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种,包括存储装置总线或者存储装置控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance,ISA)总线,微通道体系结构(Micro Channel Architecture,MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards Association,VESA)局域总线以及外围组件互连(Peripheral Component Interconnect,PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory,RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统434可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘,例如只读光盘(Compact Disc Read-Only Memory,CD-ROM),数字视盘(Digital Video Disc-Read Only Memory,DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440,可以存储在例如存储装置428中,这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信,还可与一个或者多个使得用户能与该设备412交互的终端通信,和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且,设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network,LAN),广域网(Wide Area Network,WAN)和/或公共网络,例如因特网)通信。如图7所示,网络适配器420通过总线418与设备412的其它模块通信。应当明白,尽管图中未示出,可以结合设备412使用其它硬件和/或软件模块,包括但不限于:微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks,RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的三维人体模型的生成方法,该方法包括:
获取二维人体图像;
将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数;
根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的三维人体模型的生成方法,该方法包括:
获取二维人体图像;
将二维人体图像输入至三维人体参数模型中,得到与二维人体图像对应的三维人体参数;
根据三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为二维人体图像对应的三维人体模型。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种三维人体模型的生成方法,其特征在于,包括:
获取二维人体图像;
将所述二维人体图像输入至三维人体参数模型中,得到与所述二维人体图像对应的三维人体参数;
根据所述三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为所述二维人体图像对应的三维人体模型;
所述在将所述二维人体图像输入至三维人体参数模型中之前,还包括:
获取训练样本,所述训练样本包括标注原始关节点位置的标准二维人体图像和与所述标准二维人体图像对应的标准三维人体模型;
将所述训练样本输入神经网络中进行训练,得到三维人体参数模型;
所述将所述训练样本输入神经网络中进行训练,得到三维人体参数模型,包括:
将所述训练样本中的所述标准二维人体图像输入至所述神经网络中,得到与所述标准二维人体图像对应的预测三维人体参数;
根据所述预测三维人体参数调整三维柔性可变形模型,得到预测三维人体模型;
根据所述预测三维人体模型中关节点位置通过反向映射得到所述标准二维人体图像中预测关节点位置;
根据所述标准三维人体模型、所述预测三维人体模型、所述标注原始关节点位置的标准二维人体图像以及包括所述预测关节点位置的标准二维人体图像计算所述神经网络的损失函数;
根据所述损失函数调整所述神经网络的参数,将训练好的所述神经网络确定为三维人体参数模型。
2.根据权利要求1所述的方法,其特征在于,根据所述损失函数调整所述神经网络的参数,将训练好的所述神经网络确定为三维人体参数模型,包括:
根据所述损失函数调整所述神经网络的参数,直至所述损失函数的函数值小于或等于预设函数阈值,则将训练好的所述神经网络确定为所述三维人体参数模型。
3.一种三维人体模型的生成装置,其特征在于,包括:
获取模块,用于获取二维人体图像;
参数模块,用于将所述二维人体图像输入至三维人体参数模型中,得到与所述二维人体图像对应的三维人体参数;
人体模型模块,用于根据所述三维人体参数调整三维柔性可变形模型,调整后的三维柔性可变形模型作为所述二维人体图像对应的三维人体模型;
还包括人体参数模型模块,所述人体参数模型模块包括:
样本单元,用于在将所述二维人体图像输入至三维人体参数模型中之前,获取训练样本,所述训练样本包括标注原始关节点位置的标准二维人体图像和与所述标准二维人体图像对应的标准三维人体模型;
训练单元,用于将所述训练样本输入神经网络中进行训练,得到三维人体参数模型;
所述训练单元包括:
预测参数子单元,用于将所述训练样本中的所述标准二维人体图像输入至所述神经网络中,得到与所述标准二维人体图像对应的预测三维人体参数;
预测人体模型子单元,用于根据所述预测三维人体参数调整三维柔性可变形模型,得到预测三维人体模型;
预测关节点子单元,用于根据所述预测三维人体模型中关节点位置通过反向映射得到所述标准二维人体图像中预测关节点位置;
损失函数子单元,用于根据所述标准三维人体模型、所述预测三维人体模型、所述标注原始关节点位置的标准二维人体图像以及包括所述预测关节点位置的标准二维人体图像计算所述神经网络的损失函数;
调整子单元,用于根据所述损失函数调整所述神经网络的参数,将训练好的所述神经网络确定为三维人体参数模型。
4.根据权利要求3所述的装置,其特征在于,所述调整子单元具体用于:
根据所述损失函数调整所述神经网络的参数,直至所述损失函数的函数值小于或等于预设函数阈值,则将训练好的所述神经网络确定为所述三维人体参数模型。
5.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-2中任一所述的三维人体模型的生成方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-2中任一所述的三维人体模型的生成方法。
CN201811638502.1A 2018-12-29 2018-12-29 三维人体模型的生成方法、装置、设备和存储介质 Active CN109712234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811638502.1A CN109712234B (zh) 2018-12-29 2018-12-29 三维人体模型的生成方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811638502.1A CN109712234B (zh) 2018-12-29 2018-12-29 三维人体模型的生成方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109712234A CN109712234A (zh) 2019-05-03
CN109712234B true CN109712234B (zh) 2023-04-07

Family

ID=66260170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811638502.1A Active CN109712234B (zh) 2018-12-29 2018-12-29 三维人体模型的生成方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109712234B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648394B (zh) * 2019-09-19 2022-07-29 南京邮电大学 一种基于OpenGL和深度学习的三维人体建模方法
CN110838179B (zh) * 2019-09-27 2024-01-19 深圳市三维人工智能科技有限公司 基于体测数据的人体建模方法、装置及电子设备
CN110989022B (zh) * 2019-11-19 2022-04-01 中国电子科技集团公司第十三研究所 平面安检系统的扫描方法、安检系统及存储介质
CN110989023B (zh) * 2019-11-19 2022-04-01 中国电子科技集团公司第十三研究所 半旋转半平面安检系统的扫描方法、安检系统及存储介质
CN111696177A (zh) * 2020-05-06 2020-09-22 广东康云科技有限公司 人体三维模型和仿真人像动画的生成方法、装置和介质
CN112562859A (zh) * 2020-10-20 2021-03-26 应葵 肿瘤热消融手术智能仿真模型训练系统、训练方法
CN112767534B (zh) * 2020-12-31 2024-02-09 北京达佳互联信息技术有限公司 视频图像处理方法、装置、电子设备及存储介质
CN112819944B (zh) * 2021-01-21 2022-09-27 魔珐(上海)信息科技有限公司 三维人体模型重建方法、装置、电子设备及存储介质
CN113421182B (zh) * 2021-05-20 2023-11-28 北京达佳互联信息技术有限公司 三维重建方法、装置、电子设备及存储介质
CN114299204B (zh) * 2021-12-22 2023-04-18 深圳市海清视讯科技有限公司 三维动漫人物模型生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392097A (zh) * 2017-06-15 2017-11-24 中山大学 一种单目彩色视频的三维人体关节点定位方法
WO2018058419A1 (zh) * 2016-09-29 2018-04-05 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN108876893A (zh) * 2017-12-14 2018-11-23 北京旷视科技有限公司 三维人脸重建的方法、装置、系统及计算机存储介质
CN108986159A (zh) * 2018-04-25 2018-12-11 浙江森马服饰股份有限公司 一种三维人体模型重建与测量的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058419A1 (zh) * 2016-09-29 2018-04-05 中国科学院自动化研究所 二维图像人体关节点定位模型的构建方法及定位方法
CN107392097A (zh) * 2017-06-15 2017-11-24 中山大学 一种单目彩色视频的三维人体关节点定位方法
CN108876893A (zh) * 2017-12-14 2018-11-23 北京旷视科技有限公司 三维人脸重建的方法、装置、系统及计算机存储介质
CN108986159A (zh) * 2018-04-25 2018-12-11 浙江森马服饰股份有限公司 一种三维人体模型重建与测量的方法和设备

Also Published As

Publication number Publication date
CN109712234A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
CN109712234B (zh) 三维人体模型的生成方法、装置、设备和存储介质
EP4068150A1 (en) Hand key point detection method, gesture recognition method, and related devices
WO2022089360A1 (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
CN112614213B (zh) 人脸表情确定方法、表情参数确定模型、介质及设备
CN111797753A (zh) 图像驱动模型的训练、图像生成方法、装置、设备及介质
CN111524216B (zh) 生成三维人脸数据的方法和装置
WO2020151688A1 (zh) 编码方法、装置、设备及存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
CN109754464B (zh) 用于生成信息的方法和装置
US20220358675A1 (en) Method for training model, method for processing video, device and storage medium
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
CN112766027A (zh) 图像处理方法、装置、设备及存储介质
WO2020124995A1 (zh) 手掌法向量确定方法、装置、设备及存储介质
CN114677572B (zh) 对象描述参数的生成方法、深度学习模型的训练方法
CN115661336A (zh) 一种三维重建方法及相关装置
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
CN111368668B (zh) 三维手部识别方法、装置、电子设备及存储介质
CN113822097B (zh) 单视角人体姿态识别方法、装置、电子设备和存储介质
CN115731341A (zh) 三维人头重建方法、装置、设备及介质
KR20200078258A (ko) 관절 모델 정합 장치 및 방법
CN112597847A (zh) 人脸姿态估计方法、装置、电子设备和存储介质
CN113066125A (zh) 一种增强现实方法及其相关设备
CN109816791B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant