CN113327320A - 三维模型重建方法、装置、设备及计算机可读存储介质 - Google Patents
三维模型重建方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113327320A CN113327320A CN202110735973.XA CN202110735973A CN113327320A CN 113327320 A CN113327320 A CN 113327320A CN 202110735973 A CN202110735973 A CN 202110735973A CN 113327320 A CN113327320 A CN 113327320A
- Authority
- CN
- China
- Prior art keywords
- human body
- dimensional
- model
- trained
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000006870 function Effects 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 51
- 210000000988 bone and bone Anatomy 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种三维模型重建方法、装置、设备及计算机可读存储介质，方法包括：获取终端设备发送的模型重建指令，其中，模型重建指令中包括待重建的人体图像；根据模型重建指令，将人体图像输入至预设的网络模型，获得与人体图像对应的三维空间下人体关键点的目标坐标；根据目标坐标对人体图像对应的三维模型进行重建，获得目标三维模型；将目标三维模型发送至终端设备。区别于现有技术中在预设的数据库中获取相似的二维坐标对应的三维坐标的方案，通过预设的网络模型能够对人体图像的深层特征进行分析，能够精准地获取人体图像对应的各人体关键点的三维坐标，提高三维模型重建的精准度。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种三维模型重建方法、装置、设备及计算机可读存储介质。
背景技术
在很多场景中，都需要将二维的图像或场景转换为三维的图像或场景。举例来说，网络游戏在二维空间下获得人物图像之后，还需要将任务图像转换至三维空间中。或者，在很多表情包生成的场景中，可以获取终端设备上设置的图像采集装置采集的二维空间下的人体姿势图像之后，将该人体姿势图像转换至三维空间中，获得人体姿势图像对应的三维表情包。
为了实现将二维图像至三维立体模型的转换，现有技术中一般都是建立预设的三维数据库，该三维数据库中具体包括二维坐标以及与二维坐标对应的三维坐标。在获取到二维空间下的人体坐标之后，根据该人体坐标在三维数据库中获取与人体坐标最接近的二维坐标对应的三维坐标。根据该三维坐标进行三维模型的重建。
但是，采用上述方法进行三维模型的重建，获取到的三维坐标均为与预设的二维坐标相对应的，仅根据相似度获取对应的三维坐标往往准确度不高。
发明内容
本发明提供一种三维模型重建方法、装置、设备及计算机可读存储介质，用于解决现有的模型重建方法获取的三维坐标准确度不高的技术问题。
本发明的第一个方面是提供一种三维模型重建方法，包括：
获取终端设备发送的模型重建指令，其中，所述模型重建指令中包括待重建的人体图像；
根据所述模型重建指令，将所述人体图像输入至预设的网络模型，获得与所述人体图像对应的三维空间下人体关键点的目标坐标；
根据所述目标坐标对所述人体图像对应的三维模型进行重建，获得目标三维模型；
将所述目标三维模型发送至所述终端设备。
在一种可能的设计中，所述根据所述模型重建指令，将所述人体图像输入至预设的网络模型之前，还包括：
获取预设的待训练数据，所述待训练数据中包括多张待训练图像，所述待训练图像中包括完整的人体图像；
根据所述待训练数据对预设的待训练模型进行训练，获得所述网络模型。
在一种可能的设计中，所述根据所述待训练数据对预设的待训练模型进行训练，包括：
获取各待训练图像对应的至少一个特征信息；
根据所述至少一个特征信息确定损失函数；
根据所述损失函数对所述待训练模型进行训练，直至所述待训练模型收敛，获得所述网络模型。
在一种可能的设计中，所述至少一个特征信息包括所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图；
相应地，所述获取各待训练图像对应的至少一个特征信息，包括：
通过预设的第一子模型所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。
在一种可能的设计中，所述根据所述至少一个特征信息确定损失函数，包括：
根据所述二维热图以及待训练数据对应的真实标注数据确定第一损失值；
根据所述骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图确定第二损失值；
连接所述二维热图、骨骼深度特征图以及隐藏特征图，获得目标特征图；
将所述目标特征图输入至第二网络模型，获得所述待训练图像对应的三维人体关键点；
根据所述三维人体关键点以及预设的真实三维人体关键点确定第三损失值；
根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数。
在一种可能的设计中，所述根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数，包括：
根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定所述损失函数。
在一种可能的设计中，所述根据所述损失函数对所述待训练模型进行训练，包括：
通过梯度下降算法，根据所述损失函数对所述待训练模型进行训练。
在一种可能的设计中，所述方法还包括：
获取终端设备发送的人体姿势确定指令，所述人体姿势确定指令中包括待处理的人体姿势图像；
将所述人体姿势图像输入至所述网络模型，获得所述人体姿势图像对应的三维坐标；
根据所述三维坐标确定所述人体姿势图像对应的姿势信息；
将所述人体姿势图像对应的姿势信息发送至终端设备。
本发明的第二个方面是提供一种三维模型重建装置，包括：
获取模块，用于获取终端设备发送的模型重建指令，其中，所述模型重建指令中包括待重建的人体图像；
处理模块，用于根据所述模型重建指令，将所述人体图像输入至预设的网络模型，获得与所述人体图像对应的三维空间下人体关键点的目标坐标；
重建模块，用于根据所述目标坐标对所述人体图像对应的三维模型进行重建，获得目标三维模型；
模型发送模块，用于将所述目标三维模型发送至所述终端设备。
在一种可能的设计中，所述装置还包括：
获取模块，用于获取预设的待训练数据，所述待训练数据中包括多张待训练图像，所述待训练图像中包括完整的人体图像；
训练模块，用于根据所述待训练数据对预设的待训练模型进行训练，获得所述网络模型。
在一种可能的设计中，所述训练模块包括：
特征获取单元，用于获取各待训练图像对应的至少一个特征信息；
损失函数确定单元，用于根据所述至少一个特征信息确定损失函数；
训练单元，用于根据所述损失函数对所述待训练模型进行训练，直至所述待训练模型收敛，获得所述网络模型。
在一种可能的设计中，所述至少一个特征信息包括所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图；
相应地，所述特征获取单元包括：
通过预设的第一子模型获取所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。
在一种可能的设计中，所述损失函数确定单元用于：
根据所述二维热图以及待训练数据对应的真实标注数据确定第一损失值；
根据所述骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图确定第二损失值；
连接所述二维热图、骨骼深度特征图以及隐藏特征图，获得目标特征图；
将所述目标特征图输入至第二网络模型，获得所述待训练图像对应的三维人体关键点；
根据所述三维人体关键点以及预设的真实三维人体关键点确定第三损失值；
根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数。
在一种可能的设计中，所述损失函数确定单元用于：
根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定所述损失函数。
在一种可能的设计中，所述训练单元用于：
通过梯度下降算法，根据所述损失函数对所述待训练模型进行训练。
在一种可能的设计中，所述装置还包括：
指令获取模块，用于获取终端设备发送的人体姿势确定指令，所述人体姿势确定指令中包括待处理的人体姿势图像；
输入模块，用于将所述人体姿势图像输入至所述网络模型，获得所述人体姿势图像对应的三维坐标；
制作模块，用于根据所述三维坐标确定所述人体姿势图像对应的姿势信息；
发送模块，用于将所述人体姿势图像对应的姿势信息发送至终端设备。
本发明的第三个方面是提供一种三维模型重建设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如第一方面所述的三维模型重建方法。
本发明的第四个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的三维模型重建方法。
本发明提供的三维模型重建方法、装置、设备及计算机可读存储介质，通过在获取到终端设备发送的模型重建指令之后，根据该模型重建指令将待重建的人体图像输入至预设的网络模型中，获得该人体图像对应的三维空间下人体关键点的目标坐标，根据该目标坐标对三体图像进行三维模型的重建，获得目标三维模型。区别于现有技术中在预设的数据库中获取相似的二维坐标对应的三维坐标的方案，通过预设的网络模型能够对人体图像的深层特征进行分析，能够精准地获取人体图像对应的各人体关键点的三维坐标，提高三维模型重建的精准度。此外，还可以将目标三维模型发送至终端设备，从而用户可以根据实际需求对三维模型进行调节操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明基于的系统架构示意图；
图2为本发明实施例一提供的三维模型重建方法的流程示意图；
图3为本发明实施例提供的显示界面示意图；
图4为本发明实施例提供的又一系统架构图；
图5为本发明实施例二提供的三维模型重建方法的流程示意图；
图6为本发明实施例三提供的三维模型重建方法的流程示意图；
图7为本发明实施例提供的姿势信息确定应用场景图；
图8为本发明实施例四提供的三维模型重建装置的结构示意图；
图9为本发明实施例五提供的三维模型重建装置的结构示意图；
图10为本发明实施例六提供的三维模型重建装置的结构示意图；
图11为本发明实施例七提供的三维模型重建设备的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。
针对上述提及的现有的模型重建方法获取的三维坐标准确度不高的技术问题，本发明提供了一种三维模型重建方法、装置、设备及计算机可读存储介质。
需要说明的是，本申请提供三维模型重建方法、装置、设备及计算机可读存储介质可运用各种3D人体姿势转换的场景中。
为了实现三维模型的重建，首先需要对三维空间下的三维坐标进行确定。现有技术中，在获取到需要重建的二维图像之后，确定二维图像对应的二维坐标，并在三维数据库中获取与该二维坐标相似度较高的目标二维坐标。根据目标二维坐标对应的三维坐标进行三维模型的重建。但是，现有技术中获取到的三维坐标是根据目标二维坐标生成的，其无法精准地表征需要重建的二维图像中人体关键点的位置关系，从而导致根据该三维坐标构建的三维模型的准确度也不高。
面对现有技术中的问题，发明人通过研究发现，为了精准地构建二维图像对应的三维模型，需要对二维图像的深层特征进行提取，根据深层特征进行三维坐标的确定。
发明人进一步研究发现，可以根据终端设备发送的模型重建指令将待重建的人体图像输入至预设的网络模型中，获得该人体图像对应的三维空间下人体关键点的目标坐标，根据该目标坐标对三体图像进行三维模型的重建，获得目标三维模型。区别于现有技术中在预设的数据库中获取相似的二维坐标对应的三维坐标的方案，通过预设的网络模型能够对人体图像的深层特征进行分析，能够精准地获取人体图像对应的各人体关键点的三维坐标，提高三维模型重建的精准度。
图1为本发明基于的系统架构示意图，如图1所示，本发明基于的系统架构至少包括：终端设备1以及三维模型重建装置2。其中，三维模型重建装置2采用C/C++、Java、Shell或Python等语言编写；终端设备1则可例如台式电脑、平板电脑等。三维模型重建装置2与终端设备1通信连接，从而能够与终端设备1进行信息交互。
图2为本发明实施例一提供的三维模型重建方法的流程示意图，如图2所示，所述方法包括：
步骤101、获取终端设备发送的模型重建指令，其中，所述模型重建指令中包括待重建的人体图像。
本实施例的执行主体为三维模型重建装置，该三维模型重建装置与终端设备通信连接，进而能够与终端设备进行数据交互。需要说明的是，该三维模型重建装置可以设置在终端设备中，也可以为独立于终端设备的装置。
在本实施方式中，三维模型重建装置可以获取终端设备发送的模型重建指令，其中，该模型重建指令中可以包括待重建的人体图像。该人体图像具体可以为完整的人体图像，也可以为部分人体区域的图像。举例来说，在游戏建模过程中，该人体图像可以为完整的人体图像；在用户面部表情包制作的过程中，该人体图像可以为用户的面部图像。具体可根据实际应用中不同的需求设置不同的人体图像，本发明对此不做限制。
具体地，用户可以通过触发终端设备显示界面上设置的三维模型重建图标实现三维模型重建指令的生成。图3为本发明实施例提供的显示界面示意图，如图3所示，用户可以对该三维模型重建图标进行触发，生成相应的三维模型重建指令。用户可以通过单击、双击、长按、拖动等任意一种方式实现对三维模型重建图标的触发，本发明对此不做限制。
步骤102、根据所述模型重建指令，将所述人体图像输入至预设的网络模型，获得与所述人体图像对应的三维空间下人体关键点的目标坐标。
在本实施方式中，获取到终端设备发送的三维模型重建指令之后，可以根据该三维模型重建指令，将人体图像输入至预设的网络模型中。该网络模型具体可以包括第一子模型以及第二子模型，第一子模型用于对人体姿势图像进行特征提取操作，第二子模型用于根据人体姿势图像对应的特征信息进行三维坐标的确定。而该网络模型通过根据人体图像对应的特征信息进行三维坐标的确定，从而该三维坐标与人体图像的贴合度更高，其能够更加精准地表征人体图像的特征。
步骤103、根据所述目标坐标对所述人体图像对应的三维模型进行重建，获得目标三维模型。
在本实施方式中，获得人体图像对应的目标图像之后，可以根据该目标图像对人体图像对应的三维模型进行重建，获得目标三维模型。由于该目标三维模型是根据网络模型输出的三维坐标形成的，从而其能够更加精准地表征人体图像的特征。
步骤104、将所述目标三维模型发送至所述终端设备。
在本实施方式中，为了能够使用户对目标三维模型进行编辑处理，在获得目标三维模型之后，可以将该目标三维模型发送至终端设备中。相应地，终端设备在获取到目标三维模型之后，可以在显示界面上显示该目标三维模型。用户可以根据自身需求，在终端设备上对目标三维模型进行编辑操作。
本实施例提供的三维模型重建方法，通过在获取到终端设备发送的模型重建指令之后，根据该模型重建指令将待重建的人体图像输入至预设的网络模型中，获得该人体图像对应的三维空间下人体关键点的目标坐标，根据该目标坐标对三体图像进行三维模型的重建，获得目标三维模型。区别于现有技术中在预设的数据库中获取相似的二维坐标对应的三维坐标的方案，通过预设的网络模型能够对人体图像的深层特征进行分析，能够精准地获取人体图像对应的各人体关键点的三维坐标，提高三维模型重建的精准度。此外，还可以将目标三维模型发送至终端设备，从而用户可以根据实际需求对三维模型进行调节操作。
进一步地，在实施例一的基础上，在通过网络模型进行三维坐标的获取之前，首先需要训练获得该网络模型，具体地，步骤102之前，还包括：
获取预设的待训练数据，所述待训练数据中包括多张待训练图像，所述待训练图像中包括完整的人体图像；
根据所述待训练数据对预设的待训练模型进行训练，获得所述网络模型。
图4为本发明实施例提供的又一系统架构图，如图4所示，本发明所基于的系统架构还包括数据服务器3，该三维模型重建装置1分别与终端设备1以及数据服务器3通信连接。该数据服务器3具体可以云端服务器等，其中存储有大量的待训练数据。
在本实施例中，为了实现对待训练模型的训练，首先三维模型重建装置可以从数据服务器中获取预设的待训练数据。为了使网络模型能够对任意一个人体区域进行三维重建操作，该待训练数据中包括多张待训练图像，每一待训练图像中均包括完整的人体图像。进而可以通过该待训练数据对预设的待训练模型进行训练操作，直至待训练模型收敛，获得预设的网络模型。
具体地，可以将待训练数据集随机分为训练集以及测试集，训练集用于对待训练模型进行训练，测试集用于对待训练模型进行测试。不断迭代训练，直至待训练模型收敛。
图5为本发明实施例二提供的三维模型重建方法的流程示意图，在上述任一实施例的基础上，如图5所示，所述根据所述待训练数据对预设的待训练模型进行训练，具体包括：
步骤201、获取各待训练图像对应的至少一个特征信息；
步骤202、根据所述至少一个特征信息确定损失函数；
步骤203、根据所述损失函数对所述待训练模型进行训练，直至所述待训练模型收敛，获得所述网络模型。
在本实施例中，为了实现对待训练模型的训练，还需要确定损失函数，通过该损失函数对待训练模型进行训练。具体地，首先需要对各待训练图像进行特征提取，获得至少一个特征信息，其中，至少一个特征信息包括所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。相应地，该网络模型具体可以包括第一子模型以及第二子模型，第一子模型用于对人体姿势图像进行特征提取操作，因此可以通过预设的第一子模型所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。
获取到各待训练图像对应的至少一个特征信息之后，可以根据该至少一个特征信息确定损失函数。进而可以根据该损失函数对模型进行训练。
进一步地，在上述任一实施例的基础上，步骤202具体包括：
根据所述二维热图以及待训练数据对应的真实标注数据确定第一损失值；
根据所述骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图确定第二损失值；
连接所述二维热图、骨骼深度特征图以及隐藏特征图，获得目标特征图；
将所述目标特征图输入至第二网络模型，获得所述待训练图像对应的三维人体关键点；
根据所述三维人体关键点以及预设的真实三维人体关键点确定第三损失值；
根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数。
在本实施例中，首先可以对二维热图以及待训练数据对应的真实标注数据进行L1loss计算得到第一损失值I1。进一步地，可以对骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图进行L1 loss计算得到第二损失值I2。需要说明的是，该骨骼深度特征图是通过对各待训练图像中每个骨骼的两个关键点的深度进行插值或获得的。
进一步地，可以对二维热图、骨骼深度特征图以及隐藏特征图进行连接操作，获得目标特征图。进而可以对目标特征图输入至第二网络模型，获得待训练图像对应的三维人体关键点。对该人体关键点以及预设的真实三维人体关键点进行L1 loss计算得到第三损失值l3。在获得第一损失值、第二损失值以及第三损失值之后，即可以根据该第一损失值、第二损失值以及第三损失值确定损失函数。
具体地，根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数，包括：
根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定所述损失函数。
在本实施例中，每一损失值均对应有一个平衡系数，该平衡系数可以为根据历史经验获得，也可以为用户根据实际需求设置的，本发明对此不做限制。因此，可以根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定损失函数LossL。该损失函数具体可以如公式1所示：
Loss L＝a1*I1+a2*l2+a3*l3 (1)
其中，I1为第一损失值，a1为I1对应的平衡系数，I2为第二损失值，a2为I2对应的平衡系数，I3为第三损失值，a3为I3对应的平衡系数。
进一步地，具体可以通过梯度下降算法，根据损失函数对待训练模型进行训练。
需要说明的是，还可以采用其他训练方法对待训练模型进行训练操作，本发明对此不做限制。
本实施例提供的三维模型重建方法，通过采用预设的待训练数据集对待训练模型进行训练，从而能够获得预设的网络模型，为后续的三维模型重建提供了基础。此外，由于在模型训练过程中，首先提取待训练图像的特征，并根据该特征信息确定损失函数，根据该损失函数对待训练模型进行训练，从而后续网络模型在三维坐标确定的过程中，能够根据人体图像的特征信息进行三维坐标的确定，提高三维坐标的精准度以及还原度，进而能够提高模型的精准度。
图6为本发明实施例三提供的三维模型重建方法的流程示意图，在上述任一实施例的基础上，如图6所示，所述方法还包括：
步骤301、获取终端设备发送的人体姿势确定指令，所述人体姿势确定指令中包括待处理的人体姿势图像；
步骤302、将所述人体姿势图像输入至所述网络模型，获得所述人体姿势图像对应的三维坐标；
步骤303、根据所述三维坐标确定所述人体姿势图像对应的姿势信息；
步骤304、将所述人体姿势图像对应的姿势信息发送至终端设备。
在本实施例中，还可以通过该三维坐标实现人体图像姿势信息的确定。具体地，可以获取终端设备发送的人体姿势确定指令，其中，该人体姿势确定指令中包括待处理的人体姿势图像。根据该人体姿势确定指令，将该人体姿势图像输入至网络模型中，获得人体姿势图像对应的三维坐标。进而可以根据该人体姿势图像对应的三维坐标确定人体姿势图像对应的姿势信息。为了使用户能够清晰地对人体姿势图像的识别结果进行确定，可以将人体姿势图像对应的姿势信息发送至终端设备。
图7为本发明实施例提供的姿势信息确定应用场景图，如图7所示，在获取到人体姿势图像之后，首先可以将人体姿势图像输入至预设的网络模型中。该网络模型具体可以包括第一子模型以及第二子模型，第一子模型用于对人体姿势图像进行特征提取操作，第二子模型用于根据人体姿势图像对应的特征信息进行三维坐标的确定。在将人体姿势图像输入至网络模型之后，能够得到该人体姿势图像对应的三维坐标，进而能够根据该三维坐标实现三维模型的重建以及姿势信息的确定。如图7所示，该人体姿势图像对应的姿势信息可以为半蹲。
本实施例提供的三维模型重建方法，通过根据获取终端设备发送的人体姿势确定指令，将人体姿势图像输入至网络模型中，获得人体姿势图像对应的三维坐标，进而能够精准地实现对人途姿势图像对应的姿势信息的确定，提高了姿势确定的精准度。
图8为本发明实施例四提供的三维模型重建装置的结构示意图，如图8所示，所述装置包括：获取模块41、处理模块42、重建模块43以及模型发送模块44，其中，获取模块41，用于获取终端设备发送的模型重建指令，其中，所述模型重建指令中包括待重建的人体图像；处理模块42，用于根据所述模型重建指令，将所述人体图像输入至预设的网络模型，获得与所述人体图像对应的三维空间下人体关键点的目标坐标；重建模块43，用于根据所述目标坐标对所述人体图像对应的三维模型进行重建，获得目标三维模型；模型发送模块44，用于将所述目标三维模型发送至所述终端设备。
本实施例提供的三维模型重建装置，通过在获取到终端设备发送的模型重建指令之后，根据该模型重建指令将待重建的人体图像输入至预设的网络模型中，获得该人体图像对应的三维空间下人体关键点的目标坐标，根据该目标坐标对三体图像进行三维模型的重建，获得目标三维模型。区别于现有技术中在预设的数据库中获取相似的二维坐标对应的三维坐标的方案，通过预设的网络模型能够对人体图像的深层特征进行分析，能够精准地获取人体图像对应的各人体关键点的三维坐标，提高三维模型重建的精准度。此外，还可以将目标三维模型发送至终端设备，从而用户可以根据实际需求对三维模型进行调节操作。
进一步地，在实施例四的基础上，所述装置还包括：获取模块以及训练模块，其中，获取模块，用于获取预设的待训练数据，所述待训练数据中包括多张待训练图像，所述待训练图像中包括完整的人体图像；训练模块，用于根据所述待训练数据对预设的待训练模型进行训练，获得所述网络模型。
图9为本发明实施例五提供的三维模型重建装置的结构示意图，在上述任一实施例的基础上，如图9所示，所述训练模块包括：特征获取单元51、损失函数确定单元52以及训练单元53，其中，特征获取单元51，用于获取各待训练图像对应的至少一个特征信息；损失函数确定单元52，用于根据所述至少一个特征信息确定损失函数；训练单元53，用于根据所述损失函数对所述待训练模型进行训练，直至所述待训练模型收敛，获得所述网络模型。
进一步地，在上述任一实施例的基础上，所述至少一个特征信息包括所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图；
相应地，所述特征获取单元包括：
通过预设的第一子模型获取所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。
进一步地，在上述任一实施例的基础上，所述损失函数确定单元用于：
根据所述二维热图以及待训练数据对应的真实标注数据确定第一损失值；
根据所述骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图确定第二损失值；
连接所述二维热图、骨骼深度特征图以及隐藏特征图，获得目标特征图；
将所述目标特征图输入至第二网络模型，获得所述待训练图像对应的三维人体关键点；
根据所述三维人体关键点以及预设的真实三维人体关键点确定第三损失值；
根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数。
进一步地，在上述任一实施例的基础上，所述损失函数确定单元用于：
根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定所述损失函数。
进一步地，在上述任一实施例的基础上，所述训练单元用于：
通过梯度下降算法，根据所述损失函数对所述待训练模型进行训练。
图10为本发明实施例六提供的三维模型重建装置的结构示意图，在上述任一实施例的基础上，如图10所示，所述装置还包括：指令获取模块61、输入模块62、制作模块63以及发送模块64，其中，指令获取模块61，用于获取终端设备发送的人体姿势确定指令，所述人体姿势确定指令中包括待处理的人体姿势图像；输入模块62，用于将所述人体姿势图像输入至所述网络模型，获得所述人体姿势图像对应的三维坐标；制作模块63，用于根据所述三维坐标确定所述人体姿势图像对应的姿势信息；发送模块64，用于将所述人体姿势图像对应的姿势信息发送至终端设备。
图11为本发明实施例七提供的三维模型重建设备的流程示意图，如图11所示，所述三维模型重建设备包括：存储器71，处理器72；
存储器71；用于存储所述处理器72可执行指令的存储器71；
其中，所述处理器72被配置为由所述处理器72执行如上述任一实施例所述的三维模型重建方法。
存储器71，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器71可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，处理器72可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
可选的，在具体实现上，如果存储器71和处理器72独立实现，则存储器71和处理器72可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器71和处理器72集成在一块芯片上实现，则存储器71和处理器72可以通过内部接口完成相同间的通信。
本发明又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的三维模型重建方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (18)
1.一种三维模型重建方法，其特征在于，包括：
获取终端设备发送的模型重建指令，其中，所述模型重建指令中包括待重建的人体图像；
根据所述模型重建指令，将所述人体图像输入至预设的网络模型，获得与所述人体图像对应的三维空间下人体关键点的目标坐标；
根据所述目标坐标对所述人体图像对应的三维模型进行重建，获得目标三维模型；
将所述目标三维模型发送至所述终端设备。
2.根据权利要求1所述的方法，其特征在于，所述根据所述模型重建指令，将所述人体图像输入至预设的网络模型之前，还包括：
获取预设的待训练数据，所述待训练数据中包括多张待训练图像，所述待训练图像中包括完整的人体图像；
根据所述待训练数据对预设的待训练模型进行训练，获得所述网络模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待训练数据对预设的待训练模型进行训练，包括：
获取各待训练图像对应的至少一个特征信息；
根据所述至少一个特征信息确定损失函数；
根据所述损失函数对所述待训练模型进行训练，直至所述待训练模型收敛，获得所述网络模型。
4.根据权利要求3所述的方法，其特征在于，所述至少一个特征信息包括所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图；
相应地，所述获取各待训练图像对应的至少一个特征信息，包括：
通过预设的第一子模型所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一个特征信息确定损失函数，包括：
根据所述二维热图以及待训练数据对应的真实标注数据确定第一损失值；
根据所述骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图确定第二损失值；
连接所述二维热图、骨骼深度特征图以及隐藏特征图，获得目标特征图；
将所述目标特征图输入至第二网络模型，获得所述待训练图像对应的三维人体关键点；
根据所述三维人体关键点以及预设的真实三维人体关键点确定第三损失值；
根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数，包括：
根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定所述损失函数。
7.根据权利要求3-6任一项所述的方法，其特征在于，所述根据所述损失函数对所述待训练模型进行训练，包括：
通过梯度下降算法，根据所述损失函数对所述待训练模型进行训练。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
获取终端设备发送的人体姿势确定指令，所述人体姿势确定指令中包括待处理的人体姿势图像；
将所述人体姿势图像输入至所述网络模型，获得所述人体姿势图像对应的三维坐标；
根据所述三维坐标确定所述人体姿势图像对应的姿势信息；
将所述人体姿势图像对应的姿势信息发送至终端设备。
9.一种三维模型重建装置，其特征在于，包括：
获取模块，用于获取终端设备发送的模型重建指令，其中，所述模型重建指令中包括待重建的人体图像；
处理模块，用于根据所述模型重建指令，将所述人体图像输入至预设的网络模型，获得与所述人体图像对应的三维空间下人体关键点的目标坐标；
重建模块，用于根据所述目标坐标对所述人体图像对应的三维模型进行重建，获得目标三维模型；
模型发送模块，用于将所述目标三维模型发送至所述终端设备。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
获取模块，用于获取预设的待训练数据，所述待训练数据中包括多张待训练图像，所述待训练图像中包括完整的人体图像；
训练模块，用于根据所述待训练数据对预设的待训练模型进行训练，获得所述网络模型。
11.根据权利要求10所述的装置，其特征在于，所述训练模块包括：
特征获取单元，用于获取各待训练图像对应的至少一个特征信息；
损失函数确定单元，用于根据所述至少一个特征信息确定损失函数；
训练单元，用于根据所述损失函数对所述待训练模型进行训练，直至所述待训练模型收敛，获得所述网络模型。
12.根据权利要求11所述的装置，其特征在于，所述至少一个特征信息包括所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图；
相应地，所述特征获取单元包括：
通过预设的第一子模型获取所述待训练图像对应的二维热图、骨骼深度特征图以及隐藏特征图。
13.根据权利要求12所述的装置，其特征在于，所述损失函数确定单元用于：
根据所述二维热图以及待训练数据对应的真实标注数据确定第一损失值；
根据所述骨骼深度特征图以及预设的真实数据生成的真实骨骼深度特征图确定第二损失值；
连接所述二维热图、骨骼深度特征图以及隐藏特征图，获得目标特征图；
将所述目标特征图输入至第二网络模型，获得所述待训练图像对应的三维人体关键点；
根据所述三维人体关键点以及预设的真实三维人体关键点确定第三损失值；
根据所述第一损失值、第二损失值以及第三损失值确定所述损失函数。
14.根据权利要求13所述的装置，其特征在于，所述损失函数确定单元用于：
根据所述第一损失值、第二损失值以及第三损失值以及各损失值对应的平衡系数确定所述损失函数。
15.根据权利要求11-14任一项所述的装置，其特征在于，所述训练单元用于：
通过梯度下降算法，根据所述损失函数对所述待训练模型进行训练。
16.根据权利要求9-14任一项所述的装置，其特征在于，所述装置还包括：
指令获取模块，用于获取终端设备发送的人体姿势确定指令，所述人体姿势确定指令中包括待处理的人体姿势图像；
输入模块，用于将所述人体姿势图像输入至所述网络模型，获得所述人体姿势图像对应的三维坐标；
制作模块，用于根据所述三维坐标确定所述人体姿势图像对应的姿势信息；
发送模块，用于将所述人体姿势图像对应的姿势信息发送至终端设备。
17.一种三维模型重建设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如权利要求1-8任一项所述的三维模型重建方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的三维模型重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735973.XA CN113327320A (zh) | 2021-06-30 | 2021-06-30 | 三维模型重建方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735973.XA CN113327320A (zh) | 2021-06-30 | 2021-06-30 | 三维模型重建方法、装置、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113327320A true CN113327320A (zh) | 2021-08-31 |
Family
ID=77423542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110735973.XA Pending CN113327320A (zh) | 2021-06-30 | 2021-06-30 | 三维模型重建方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327320A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457104A (zh) * | 2022-10-28 | 2022-12-09 | 北京百度网讯科技有限公司 | 人体信息的确定方法、装置及电子设备 |
| CN115775300A (zh) * | 2022-12-23 | 2023-03-10 | 北京百度网讯科技有限公司 | 人体模型的重建方法、人体重建模型的训练方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532981A (zh) * | 2019-09-03 | 2019-12-03 | 北京字节跳动网络技术有限公司 | 人体关键点提取方法、装置、可读存储介质及设备 |
| CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
| CN111666917A (zh) * | 2020-06-19 | 2020-09-15 | 北京市商汤科技开发有限公司 | 姿态检测及视频处理方法、装置、电子设备和存储介质 |
| CN112330730A (zh) * | 2020-11-27 | 2021-02-05 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2021
- 2021-06-30 CN CN202110735973.XA patent/CN113327320A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532981A (zh) * | 2019-09-03 | 2019-12-03 | 北京字节跳动网络技术有限公司 | 人体关键点提取方法、装置、可读存储介质及设备 |
| CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
| CN111666917A (zh) * | 2020-06-19 | 2020-09-15 | 北京市商汤科技开发有限公司 | 姿态检测及视频处理方法、装置、电子设备和存储介质 |
| CN112330730A (zh) * | 2020-11-27 | 2021-02-05 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| UMAR IQBAL等: "Hand Pose Estimation via Latent 2.5D Heatmap Regression", ECCV 2018, 8 September 2018 (2018-09-08), pages 125 - 143 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457104A (zh) * | 2022-10-28 | 2022-12-09 | 北京百度网讯科技有限公司 | 人体信息的确定方法、装置及电子设备 |
| CN115457104B (zh) * | 2022-10-28 | 2023-01-24 | 北京百度网讯科技有限公司 | 人体信息的确定方法、装置及电子设备 |
| CN115775300A (zh) * | 2022-12-23 | 2023-03-10 | 北京百度网讯科技有限公司 | 人体模型的重建方法、人体重建模型的训练方法及装置 |
| CN115775300B (zh) * | 2022-12-23 | 2024-06-11 | 北京百度网讯科技有限公司 | 人体模型的重建方法、人体重建模型的训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108509915B (zh) | 人脸识别模型的生成方法和装置 | |
| CN113420719B (zh) | 生成动作捕捉数据的方法、装置、电子设备以及存储介质 | |
| CN110728319B (zh) | 一种图像生成方法、装置以及计算机存储介质 | |
| CN113327320A (zh) | 三维模型重建方法、装置、设备及计算机可读存储介质 | |
| CN112784765B (zh) | 用于识别动作的方法、装置、设备以及存储介质 | |
| CN111583280B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| KR20230015430A (ko) | 얼굴 정보를 처리하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체 | |
| CN113052962A (zh) | 模型训练、信息输出方法，装置，设备以及存储介质 | |
| CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
| CN112820408A (zh) | 手术操作风险确定方法、相关装置及计算机程序产品 | |
| CN113902956A (zh) | 融合模型的训练方法、图像融合方法、装置、设备及介质 | |
| CN114222179A (zh) | 虚拟形象视频合成方法及设备 | |
| CN117252791A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113962845B (zh) | 图像处理方法、图像处理装置、电子设备以及存储介质 | |
| CN114022748A (zh) | 目标识别方法、装置、设备及存储介质 | |
| CN116402914B (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN112714337A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
| CN111339973A (zh) | 一种对象识别方法、装置、设备及存储介质 | |
| CN113591969B (zh) | 面部相似度评测方法、装置、设备以及存储介质 | |
| CN112991451B (zh) | 图像识别方法、相关装置及计算机程序产品 | |
| CN113421182B (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN117058405B (zh) | 一种基于图像的情绪识别方法、系统、存储介质及终端 | |
| CN113378773B (zh) | 手势识别方法、装置、设备、存储介质以及程序产品 | |
| CN116385829B (zh) | 姿态描述信息生成方法、模型的训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |