CN113888696A - 三维模型生成方法和装置 - Google Patents

Abstract

本发明公开关于一种三维模型生成方法，其中包括：获取包括目标对象的目标视频帧；从目标视频帧中提取位于目标对象的身体上的关键位置的二维坐标；利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的目标姿态变换参数，其中，模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，参考三维坐标为参考对象在参考姿态下身体上的关键位置的三维坐标；按照目标姿态变换参数对参考对象对应的参考人体模型进行变换，得到与目标对象匹配的目标人体三维模型。本发明实现了人体三维模型应用在特效渲染中，提高与特效渲染效果的贴合度的技术效果。

Description

三维模型生成方法和装置

技术领域

本公开涉及人体模型领域，尤其涉及一种三维模型生成方法和装置。

背景技术

相关技术中，针对人体三维模型，通常是只针对头部模型或者是针对全身模型。而人体模型的建立通常是根据骨骼关键点的建立。而只针对骨骼关键点建立的三维人体模型，其准确性较低。尤其是在视频场景中，例如短视频或者直播，在使用立体特效时，由于人体模型建立的不准确，会出现特效与人体模型不贴合问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供一种三维模型生成方法和装置，以至少解决相关技术中由于三维人体模型建立准确性低导致的特效与模型贴合度低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种三维模型生成方法，包括获取包括目标对象的目标视频帧；从上述目标视频帧中提取位于上述目标对象的身体上的关键位置的二维坐标；利用模型数据库对上述二维坐标进行匹配计算，得到与上述二维坐标匹配的目标姿态变换参数，其中，上述模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，上述参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，上述参考三维坐标为上述参考对象在上述参考姿态下身体上的关键位置的三维坐标；按照上述目标姿态变换参数对上述参考对象对应的参考人体模型进行变换，得到与上述目标对象匹配的目标人体三维模型，其中，上述参考人体模型为上述参考对象的身体姿态处于上述初始姿态下的人体三维模型。

根据本公开实施例的第二方面，提供一种三维模型生成装置，包括获取单元，用于获取包括目标对象的目标视频帧；提取单元，用于从上述目标视频帧中提取位于上述目标对象的身体上的关键位置的二维坐标；计算单元，用于利用模型数据库对上述二维坐标进行匹配计算，得到与上述二维坐标匹配的目标姿态变换参数，其中，上述模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，上述参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，上述参考三维坐标为上述参考对象在上述参考姿态下身体上的关键位置的三维坐标；生成单元，用于按照上述目标姿态变换参数对上述参考对象对应的参考人体模型进行变换，得到与上述目标对象匹配的目标人体三维模型，其中，上述参考人体模型为上述参考对象的身体姿态处于上述初始姿态下的人体三维模型。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，当上述计算机可读存储介质中的指令由三维模型生成装置的处理器执行时，使得三维模型生成装置能够执行上述三维模型生成方法。

根据本公开实施例的第四方面，提供一种计算机程序产品，包括计算机程序/指令，其特征在于，上述计算机程序/指令被处理器执行时实现上述三维模型生成方法。

根据本公开实施例的第五方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述三维模型生成方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取二维视频帧图像中关键位置的二维坐标，利用对参考人体模型进行多姿态变换构成的模型数据库对二维坐标进行匹配计算，得到与视频帧中目标对象的目标姿态对应的目标姿态变换参数，按照目标姿态变换参数对参考人体模型进行姿态变化，生成与目标姿态对应的目标人体三维模型，通过在人体三维模型的生成过程中，利用轮廓关键位置的二维坐标进行姿态变化参数的计算，将姿态变换中轮廓关键位置的变换计算在目标人体三维模型中，以达到生成的目标人体三维模型具备较好的轮廓特征，提高人体三维模型的准确性，从而使得人体三维模型可以应用在特效渲染中，提高与特效渲染效果的贴合度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种三维模型生成方法的应用环境示意图。

图2是根据一示例性实施例示出的一种三维模型生成方法的流程图。

图3是根据一示例性实施例示出的一种三维模型生成方法的流程图。

图4是根据一示例性实施例示出的一种三维模型生成方法的流程图。

图5是根据一示例性实施例示出的一种三维模型生成方法的流程图。

图6是根据一示例性实施例示出的一种三维模型生成方法的流程图。

图7是根据一示例性实施例示出的一种三维模型生成装置的结构框图。

图8是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

根据示例性实施例的一个方面，提供了一种三维模型生成方法，可选地，上述三维模型生成方法可以但不限于应用于如图1所示的应用环境中。终端设备102中运行有用于显示目标对象的目标客户端。终端设备102通过网络110与服务器122进行数据交互，通过对于显示有目标对象的视频帧进行处理，将与目标对象对应的人体三维模型对应的图像显示在目标客户端中。

具体地不限于是利用服务器122的处理引擎126从数据库124的数据中获取到从终端设备102发送的视频帧，视频帧可以是缺省景深信息的图像帧。处理引擎126从视频帧中提取位于目标对象的身体上的关键位置的二维坐标。关键位置是目标对象的身体上目标部位的轮廓点的位置。利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的姿态变换参数。模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，参考三维坐标为参考对象在参考姿态下身体上的关键位置的三维坐标。按照目标姿态变换参数对参考对象对应的参考人体模型进行变换，得到与目标对象匹配的人体三维模型。

在生成人体三维模型的情况下，可以直接将人体三维模型发送给终端设备102，以实现在目标客户端中显示出轮廓清晰的目标对象。还可以获取当前目标客户端中对目标对象的显示特效，利用显示特效对应的渲染效果对人体三维模型进行渲染，从而在目标客户端中显示出渲染后的人体三维模型。

可选地，在本实施例中，上述终端设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机(如Android手机、IOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile Internet Devices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等具备图像显示的功能的客户端。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

图2是根据一示例性实施例示出的一种三维模型生成方法的流程图，如图2所示，包括以下步骤：

步骤S11，获取包括目标对象的目标视频帧。

步骤S12，从目标视频帧中提取位于目标对象的身体上的关键位置的二维坐标。

步骤S13，利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的目标姿态变换参数。其中，模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，参考三维坐标为参考对象在参考姿态下身体上的关键位置的三维坐标。

步骤S14，按照目标姿态变换参数对参考对象对应的参考人体模型进行变换，得到与目标对象匹配的目标人体三维模型。其中，参考人体模型为参考对象的身体姿态处于初始姿态下的人体三维模型。

可选地，目标视频帧可以为缺省景深信息的图像帧。目标视频帧可以是目标对象在连续时间段内产生的连续视频帧中的一帧图像帧，连续视频帧构成目标对象在连续时间段内的动态显示效果。例如，连续视频帧是目标对象在当前时间在目标客户端中执行直播操作产生的视频帧，将每一帧目标对象对应的姿态连接构成目标对象在当前时间段内的动态姿态，将目标对象连续地显示在目标客户端的显示界面中。连续视频帧包含的每一个图像帧可以是缺省景深信息的二维图像。

可选地，关键位置可以为目标对象的身体上目标部位的轮廓点的位置。从目标视频帧中提取二维坐标可以但限于包括确定对象的身体上的关键位置。确定对象身体上的目标部位，目标部位可以是在人体模型生成过程中，轮廓位置较易产生姿态变换的部位，例如：头部，颈部，肩部，手部，肘部，腕部，腿部等。目标部位可以是多个部位的组合，例如将头部、颈部和肩部作为目标部位。在确定了目标部位的情况下，确定目标部位的轮廓点对应的关键位置。关键位置可以是目标部位所包含的轮廓在姿态变换上灵活或者在姿态变换重要的位置点，例如，颈部和肩部的交接点，颈部和头部的交接点。

可选地，从目标视频中提取二维坐标可以但不限于是利用坐标提取模型执行。获取初始坐标提取模型，初始坐标提取模型可以选用卷积神经网络模型，例如CNN模型。将关键位置对应的关键参数输入初始坐标提取模型。将包含有目标部位的大量人体图像作为模型训练数据，对初始坐标提取模型进行训练，以得到坐标提取模型，坐标提取模型是实现对输入图像的关键位置进行二维坐标提取的模型。

可选地，利用模型数据库对二维坐标进行匹配计算，可以但不限于利用模型数据库中存储的多组参考姿态变换参数和参考三维坐标与二维坐标进行匹配和比较计算，以得到与二维坐标对应的目标姿态变换参数。利用模型数据库对匹配计算的结果进行更新迭代，以获取在准确度较高的目标姿态变换参数，使得目标人体三维模型能够与目标视频帧更为贴合。

可选地，按照目标姿态变换参数对参考人体模型进行变换，是将参考人体模型从初始姿态变换至与目标姿态参数对应的目标姿态，从而得到处于目标姿态的目标人体三维模型，实现与视频帧图像在姿态上贴合度较高的三维人体模型。

在本申请实施例中，通过获取二维视频帧图像中关键位置的二维坐标，利用对参考人体模型进行多姿态变换构成的模型数据库对二维坐标进行匹配计算，得到与视频帧中目标对象的目标姿态对应的目标姿态变换参数，按照目标姿态变换参数对参考人体模型进行姿态变化，生成与目标姿态对应的目标人体三维模型，通过在人体三维模型的生成过程中，利用轮廓关键位置的二维坐标进行姿态变化参数的计算，将姿态变换中轮廓关键位置的变换计算在目标人体三维模型中，以达到生成的目标人体三维模型具备较好的轮廓特征，提高人体三维模型的准确性，从而使得人体三维模型可以应用在特效渲染中，提高与特效渲染效果的贴合度。

作为一种可选地实施方式，如图3所示，在获取包括目标对象的目标视频帧之前，不限于包括以下步骤：

步骤S01，根据参考对象的骨骼模型生成参考对象对应的参考人体模型；

步骤S02，对参考人体模型进行多次姿态变换调整，得到参考人体模型在每个参考姿态下的参考姿态变换参数，以及与参考姿态变换参数对应的参考三维坐标；

步骤S03，基于参考姿态变换参数和参考三维坐标，构建模型数据库。

可选地，参考对象可以但不限于是平均人体对象，基于大量人体对象构建的三维模型。与参考对象对应的三维人体模型通常是基于骨骼关键点建立的骨骼模型，对骨骼模型进行蒙皮纹理渲染，得到参考人体模型。参考人体模型是具备人体纹理的平均人体三维模型。参考人体模型处于未经过姿态变换的原始姿态。姿态变换包括但不限于旋转，位移，缩放中的至少一种，姿态变换是利用人体三维模型对人体对象在产生的动作的仿真模拟。

可选地，姿态变换参数是用于指示姿态变换的参数，以数组或矩阵的数据形式呈现。以旋转姿态为例，姿态变换参数可以是在三维坐标中，每个维度对应的旋转角度构成的数组或矩阵。

可选地，参考姿态变换参数是按照目标间隔设定的多个参考姿态变换参数，通过目标间隔的设置调整模型数据库中所包含的数据量。以旋转姿态变换为例，将目标间隔设定为30度，将对每一个维度间隔30度获取一个参考姿态变换参数。按照每一个参考姿态变换参数对参考人体模型执行姿态变换，将参考人体模型从初始姿态变换至参考姿态。初始姿态可以是未经姿态变换的原始姿态，原始姿态对应的姿态变换参数的数值均为零。

可选地，获取参考人体模型在参考姿态下的参考三维坐标，可以但不限于是获取参考人体模型在参考姿态下的参考投影图像，参考投影图像是对参考人体模型在参考姿态下利用投影原理得到的二维图像。提取参考投影图像中的关键位置对应的参考二维坐标，对参考二维图标进行逆投影处理，得到关键位置对应的参考三维坐标。提取参考投影图像中关键位置对应的参考二维坐标可以但不限于利用上述坐标提取模型实现。

可选地，利用参考变换参数和参考三维坐标构建模型数据库可以但不限于是将具备对应关系的参考变换参数和参考三维坐标存储在模型数据库中。模型数据库可以但不限于以数据表的形式呈现。通过模型数据库可以查找到与参考变换参数对应的参考三维坐标，可以查找到与参考三维坐标对应的参考变换参数。

通过构建模型数据库，在模型数据库中包括多组姿态变换对应的参考姿态变换参数和参考三维坐标，可以通过多组姿态变换数据对二维坐标进行多次匹配计算、更新优化，提高目标姿态变换参数的计算精度，从而提高生成的目标人体三维模型的准确性。

作为一种可选地实施方式，如图4所示，上述利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的目标姿态变换参数包括：

S131，对目标对象的二维坐标进行坐标变换，得到目标三维坐标；

S132，从模型数据库中包括的参考三维坐标中获取待匹配的当前三维坐标，并执行以下操作；

S133，比对当前三维坐标以及目标三维坐标，以得到第一姿态变换参数；

S134，在第一姿态变换参数达到收敛条件的情况下，将第一姿态变换参数确定为与二维坐标匹配的目标姿态变换参数；

S135，在第一姿态变换参数并未达到收敛条件的情况下，从模型数据库中获取下一个参考三维坐标作为当前三维坐标。

可选地，对二维坐标进行坐标变换可以但不限于是利用逆投影原理将二维坐标转换为目标三维坐标。目标三维坐标与参考三维坐标是处于同一三维坐标系统中，均是用于表示关键位置点的坐标数组或坐标矩阵。

可选地，待匹配的当前三维坐标可以是与待匹配的当前变换参数具有对应关系的三维坐标。根据当前匹配计算的轮次确定当前的待匹配的当前变换参数。在当前匹配计算的轮次是一，指示当前匹配计算是第一次利用当前三维坐标与目标三维坐标进行比对，可以是将模型数据库包含的任意一个参考变换参数作为当前变换参数。在当前匹配计算的轮次不为一，指示当前匹配计算不是第一次利用当前三维坐标与目标三维坐标进行比对，可以是将模型数据库中包含的与上一轮次计算得到的姿态变换参数在最为接近的参考变换参数作为当前变换参数。上一轮次计算得到的姿态变换参数是上一轮次中的参考三维坐标与目标三维坐标比对得到的姿态变换参数。例如，当前轮次是一，那么模型数据库中包含的所有参考变换参数均可以作为当前变换参数，从模型数据库中挑选任意一个参考变换参数作为当前变换参数，将当前变换参数对应的参考三维坐标作为当前三维坐标。以姿态变换参数是三维旋转参数构成的数组为例，假设当前轮次是三，那么获取第二轮次计算得到的第一姿态变换参数，假设是{22，39，41}，在模型数据库中查找与所述第一姿态变换参数在数值差值上最小的参考变换参数，假设是{20，40，40}，则将{20，40，40}作为当前变换参数，将当前变换参数对应的参考三维坐标作为当前三维坐标。

在本申请实施例中，通过比对当前三维坐标与目标三维坐标得到第一姿态变换参数，根据第一姿态变换参数是否达到收敛条件以判断与当前三维坐标对应的第一姿态变换参数是否达到目标变换参数的要求，在未达到收敛条件的情况下，继续获取与目标变换参数更为接近的下一个当前坐标，直到获取到满足收敛条件的目标姿态变换参数。通过多次迭代计算，提高最终目标变换参数的准确度，从而提高生成的目标人体三维模型的准确性。

作为一种可选地实施方式，如图5所示，比对当前三维坐标以及目标三维坐标，以得到第一姿态变换参数包括：

S1331，比对当前三维坐标和目标三维坐标，得到当前姿态差异参数，其中，当前姿态差异参数用于指示当前三维坐标与目标三维坐标在姿态上的差异；

S1332，从模型数据库中获取与当前三维坐标对应的当前姿态变换参数；

S1333，在当前姿态变换参数上叠加当前姿态差异参数，得到第一姿态变换参数。

可选地，比对当前三维坐标和目标三维坐标可以但不限于得到用于指示当前三维坐标和目标三维坐标在姿态上差异的当前姿态差异参数。利用当前姿态差异参数叠加与当前三维坐标对应的当前姿态变换参数，得到第一姿态变换参数。

通过从模型数据库获取当前三维坐标的当前姿态变换参数，累加上当前三维坐标与目标三维坐标的当前姿态差异参数，从而通过第一姿态变换参数用于指示对目标三维坐标对应的姿态变换参数的姿态预估。利用模型数据库实现对于目标三维坐标的姿态预估，简化了姿态预估的计算步骤，同时还能够提高姿态预估的准确性。

作为一种可选地实施方式，在比对当前三维坐标以及目标三维坐标，以得到第一姿态变换参数之后，还包括：

步骤S1，获取在第一姿态变换参数之前得到的第二姿态变换参数；

步骤S2，根据第一姿态变换参数与第二姿态变换参数之间的第一差异值，来确定第一姿态变换参数是否达到收敛条件。

可选地，第二姿态变换参数可以是第一姿态变换参数所在轮次的上一轮次得到的姿态变换参数。例如在上述示例中，对于第三轮次的第一变换参数，第二姿态变换参数可以是第二轮次计算得到的姿态变换参数{22，39，41}。

可选地，第一姿态变换参数与第二姿态变换参数之间的第一差异值可以是在数值计算上的差值。

通过第一姿态变换参数和第二姿态变换参数之家的第一差异值确定是否达到收敛条件，是通过两次迭代预估的姿态变换参数的差异值对最新迭代出的第一姿态变换参数进行收敛判断，以在差异值满足要求的情况下，确定对于姿态变换参数的预估达到准确度收敛，从而得到较为准确的目标姿态变换参数，以得到准确的目标三维模型。

作为一种可选地实施方式，在获取在第一姿态变换参数之前得到的第二姿态变换参数之后，还包括：

步骤S3，在第一差异值小于第一阈值的情况下，确定第一姿态变换参数达到收敛条件；

步骤S4，在第一差异值大于或等于第一阈值的情况下，确定第一姿态变换参数并未达到收敛条件。

可选地，比较第一差异值和第一阈值，确定第一差异值与第一阈值在数值上的比较结果。在第一差异值小于和等于第一阈值的情况下，确定第一姿态变换参数达到收敛条件。在第一差异值大于第一阈值的情况下，确定第一姿态变换参数未达到收敛条件。

可选地，在未达到收敛条件的情况下，继续执行下一轮次，直到轮次达到轮次阈值，或第一姿态变换参数到达收敛条件。

可选地，设置轮次阈值，在轮次达到轮次阈值的情况下，将当前轮次得到的第一姿态变换参数作为目标姿态变换参数。

通过将两次迭代预估的姿态变换参数的第一差异值对最新迭代出的第一姿态变换参数进行收敛判断，只有在第一差异值小于第一阈值的情况下，才确定对于姿态变换参数的预估达到准确度收敛，从而停止迭代以得到较为准确的目标姿态变换参数，从而提高目标三维模型的准确度。

作为一种可选地实施方式，在第一姿态变换参数达到收敛条件的情况下，还包括：

步骤S5，获取目标视频帧之前上一个视频帧对应的历史姿态变换参数；

步骤S6，获取第一姿态变换参数与历史姿态变换参数之间的第二差异值；

步骤S7，在第二差异值小于第三阈值的情况下，将第一姿态变换参数确定为与二维坐标匹配的目标姿态变换参数；

步骤S8，在第二差异值大于第三阈值的情况下，提示二维坐标匹配计算异常。

可选地，在第一姿态变换参数根据第一阈值的对比，确定达到收敛条件的情况下，计算第一姿态变换参数和历史姿态变换参数的第二差异值。第二差异值可以是第一姿态变换参数和历史姿态变换参数在数值计算上的差值。

可选地，比对第二差异值和第三阈值，得到第二差异值和第三阈值的比较结果。在第二差异值小于或等于第三阈值，指示目标视频帧和上一视频帧在姿态上的差异较小，确定目标视频帧与上一视频帧在姿态上具备连续性，目标人体三维模型和历史人体三维模型可以在姿态变换上进行较为平滑的过渡，可以避免模型在显示上的不连贯。在第二差异值大于第三阈值，指示目标视频帧和上一帧视频帧在姿态上差异较大，目标人体三维模型和历史人体三维模型可以在姿态变换上是较为明显的变换，可能引发模型在显示上的不连续或者跳跃、卡顿现象，提示二维坐标匹配异常。

通过第二差异值引入目标视频帧与上一帧视频帧在姿态差异上的变化，由此，在目标视频帧是连续视频帧的情况下，利用上一帧视频帧对目标视频帧的目标姿态变换参数进行校验，利用连续帧图像通常是相邻帧不会出现较大的姿态变换的规律，避免目标姿态变换参数与历史姿态变换参数在姿态变换上差异较大，从而能够避免在模型显示上出现与跳跃、卡顿等不连续现象，保证模型显示的连续性。

作为一种可选地实施方式，如图6所示，在获取在第一姿态变换参数之前得到的第二姿态变换参数之后，还包括：

S21，获取目标视频帧之前上一个视频帧对应的历史姿态变换参数；

S22，获取第一姿态变换参数与历史姿态变换参数之间的第二差异值；

S23，对第一差异值与第二差异值进行加权计算，得到计算结果；

S24，在计算结果小于第二阈值的情况下，确定第一姿态变换参数达到收敛条件。

可选地，在获取到第一差异值的情况下，计算第一姿态变换参数和历史姿态变换参数的第二差异值。第二差异值可以是第一姿态变换参数和历史姿态变换参数在数值计算上的差值。

可选地，对第一差异值和第二差异值进行加权计算可以但不限于获取第一差异值对应的第一权重和第二差异值对应的第二权重，按照第一权重和第二权重对第一差异值和第二差异值进行加权求和，得到加权求和的计算结果。第一权重和第二权重的和为一，但第一权重和第二权重的具体数值在此不做限定。

可选地，通过调整第一权重和第二权重，调整第一姿态变换参数的收敛条件。第一差异值用于指示在目标视频帧的二维坐标的匹配计算轮次中，当前轮次与上一轮次的计算差异，代表目标视频帧对应的目标姿态变换参数的准确性。第二差异值用于指示目标视频帧与上一个视频帧在姿态变换上的差异，代表目标视频帧与上一个视频帧之间姿态变换的稳定性。

通过第一差异值和第二差异值加权计算作为姿态变换参数的收敛条件，是将目标视频帧的准确性和目标视频帧与上一个视频帧之间的姿态稳定性进行平衡考虑，既保证目标人体三维模型的准确性，同时保证目标人体三维模型与历史人体三维模型在姿态变换上的连续性，实现了在模型显示连贯的基础上，提高人体三维模型的准确性。

图7是根据一示例性实施例示出的一种三维模型生成装置框图。参照图7，该装置包括获取单元701，提取单元702，计算单元703，生成单元704。

获取单元701，被配置为用于获取包括目标对象的目标视频帧；

提取单元702，被配置为用于从目标视频帧中提取位于目标对象的身体上的关键位置的二维坐标；

计算单元703，被配置为用于利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的目标姿态变换参数，其中，模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，参考三维坐标为参考对象在参考姿态下身体上的关键位置的三维坐标；

生成单元704，被配置为用于按照目标姿态变换参数对参考对象对应的参考人体模型进行变换，得到与目标对象匹配的目标人体三维模型，其中，参考人体模型为参考对象的身体姿态处于初始姿态下的人体三维模型。

可选地，上述计算单元703包括：

第一变换模块，被配置为用于对目标对象的二维坐标进行坐标变换，得到目标三维坐标；

第一获取模块，被配置为用于从模型数据库中包括的参考三维坐标中获取待匹配的当前三维坐标，并执行以下操作；

比对模块，被配置为用于比对当前三维坐标以及目标三维坐标，以得到第一姿态变换参数；

第一确定模块，被配置为用于在第一姿态变换参数达到收敛条件的情况下，将第一姿态变换参数确定为与二维坐标匹配的目标姿态变换参数；

第二获取模块，被配置为用于在第一姿态变换参数并未达到收敛条件的情况下，从模型数据库中获取下一个参考三维坐标作为当前三维坐标。

可选地，上述三维模型生成装置还包括第三获取模块，被配置为用于在比对当前三维坐标以及目标三维坐标，以得到第一姿态变换参数之后，获取在第一姿态变换参数之前得到的第二姿态变换参数；根据第一姿态变换参数与第二姿态变换参数之间的第一差异值，来确定第一姿态变换参数是否达到收敛条件。

可选地，上述三维模型生成装置还包括第四获取模块，被配置为用于在获取在第一姿态变换参数之前得到的第二姿态变换参数之后，在第一差异值小于第一阈值的情况下，确定第一姿态变换参数达到收敛条件；在第一差异值大于或等于第一阈值的情况下，确定第一姿态变换参数并未达到收敛条件。

可选地，上述三维模型生成装置还包括获取单元，被配置为用于在获取在第一姿态变换参数之前得到的第二姿态变换参数之后，包括：

第一历史获取模块，被配置为用于获取目标视频帧之前上一个视频帧对应的历史姿态变换参数；

第一差异获取模块，被配置为用于获取第一姿态变换参数与历史姿态变换参数之间的第二差异值；

计算模块，被配置为用于对第一差异值与第二差异值进行加权计算，得到计算结果；

收敛确定模块，被配置为用于在计算结果小于第二阈值的情况下，确定第一姿态变换参数达到收敛条件。

可选地，上述三维模型生成装置还包括校验单元，被配置为用于在第一姿态变换参数达到收敛条件的情况下，包括：

第二历史获取模块，被配置为用于获取目标视频帧之前上一个视频帧对应的历史姿态变换参数；

第二差异获取模块，被配置为用于获取第一姿态变换参数与历史姿态变换参数之间的第二差异值；

匹配模块，被配置为用于在第二差异值小于第三阈值的情况下，将第一姿态变换参数确定为与二维坐标匹配的目标姿态变换参数

提示模块，被配置为用于在第二差异值大于第三阈值的情况下，提示二维坐标匹配计算异常。

可选地，上述比对模块包括：

第一比对模块，被配置为用于比对当前三维坐标和目标三维坐标，得到当前姿态差异参数，其中，当前姿态差异参数用于指示当前三维坐标与目标三维坐标在姿态上的差异；

查找模块，被配置为用于从模型数据库中获取与当前三维坐标对应的当前姿态变换参数；

叠加模块，被配置为用于在当前姿态变换参数上叠加当前姿态差异参数，得到第一姿态变换参数。

可选地，上述三维模型生成装置还包括，构建单元，被配置为用于在获取包括目标对象的目标视频帧之前，包括：

生成模块，用于根据参考对象的骨骼模型生成参考对象对应的参考人体模型；

变换模块，用于对参考人体模型进行多次姿态变换调整，得到参考人体模型在每个参考姿态下的参考姿态变换参数，以及与参考姿态变换参数对应的参考三维坐标；

构建模块，用于基于参考姿态变换参数和参考三维坐标，构建模型数据库。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在本申请实施例中，通过获取二维视频帧图像中关键轮廓点的二维坐标，利用对参考人体模型进行多姿态变换构成的模型数据库对二维坐标进行匹配计算，得到与视频帧中目标对象的目标姿态对应的目标姿态变换参数，按照目标姿态变换参数对参考人体模型进行姿态变化，生成与目标姿态对应的目标人体三维模型，通过在人体三维模型的生成过程中，利用轮廓关键位置的二维坐标进行姿态变化参数的计算，将姿态变换中轮廓关键位置的变换计算在目标人体三维模型中，以达到生成的目标人体三维模型具备较好的轮廓特征，提高人体三维模型的准确性，从而使得人体三维模型可以应用在特效渲染中，提高与特效渲染效果的贴合度。

根据本发明示例性实施例的又一个方面，还提供了一种用于实施上述三维模型生成方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取包括目标对象的目标视频帧；

S2，从目标视频帧中提取位于目标对象的身体上的关键位置的二维坐标；

S3，利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的目标姿态变换参数，其中，模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，参考三维坐标为参考对象在参考姿态下身体上的关键位置的三维坐标；

S4，按照目标姿态变换参数对参考对象对应的参考人体模型进行变换，得到与目标对象匹配的目标人体三维模型，其中，参考人体模型为参考对象的身体姿态处于初始姿态下的人体三维模型。

可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子设备也可以是智能手机(如Android手机、IOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。

其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的三维模型生成方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的三维模型生成方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储视频帧、二维坐标、模型数据库等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述三维模型生成装置中的获取单元101，提取单元102，计算单元703和生成单元704。此外，还可以包括但不限于上述三维模型生成装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器808，用于显示上述目标视频帧和目标人体三维模型；和连接总线810，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述三维模型生成方面的各种可选实现方式中提供的方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取包括目标对象的目标视频帧；

S2，从目标视频帧中提取位于目标对象的身体上的关键位置的二维坐标；

S3，利用模型数据库对二维坐标进行匹配计算，得到与二维坐标匹配的目标姿态变换参数，其中，模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，参考三维坐标为参考对象在参考姿态下身体上的关键位置的三维坐标；

S4，按照目标姿态变换参数对参考对象对应的参考人体模型进行变换，得到与目标对象匹配的目标人体三维模型，其中，参考人体模型为参考对象的身体姿态处于初始姿态下的人体三维模型。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种三维模型生成方法，其特征在于，包括：

获取包括目标对象的目标视频帧；

从所述目标视频帧中提取位于所述目标对象的身体上的关键位置的二维坐标；

利用模型数据库对所述二维坐标进行匹配计算，得到与所述二维坐标匹配的目标姿态变换参数，其中，所述模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，所述参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，所述参考三维坐标为所述参考对象在所述参考姿态下身体上的关键位置的三维坐标；

按照所述目标姿态变换参数对所述参考对象对应的参考人体模型进行变换，得到与所述目标对象匹配的目标人体三维模型，其中，所述参考人体模型为所述参考对象的身体姿态处于所述初始姿态下的人体三维模型。

2.根据权利要求1所述的三维模型生成方法，其特征在于，所述利用模型数据库对所述二维坐标进行匹配计算，得到与所述二维坐标匹配的目标姿态变换参数包括：

对所述目标对象的所述二维坐标进行坐标变换，得到目标三维坐标；

从所述模型数据库中包括的所述参考三维坐标中获取待匹配的当前三维坐标，并执行以下操作；

比对所述当前三维坐标以及所述目标三维坐标，以得到第一姿态变换参数；

在所述第一姿态变换参数达到收敛条件的情况下，将所述第一姿态变换参数确定为与所述二维坐标匹配的所述目标姿态变换参数；

在所述第一姿态变换参数并未达到所述收敛条件的情况下，从所述模型数据库中获取下一个参考三维坐标作为所述当前三维坐标。

3.根据权利要求2所述的三维模型生成方法，其特征在于，在所述比对所述当前三维坐标以及所述目标三维坐标，以得到第一姿态变换参数之后，还包括：

获取在所述第一姿态变换参数之前得到的第二姿态变换参数；

根据所述第一姿态变换参数与所述第二姿态变换参数之间的第一差异值，来确定所述第一姿态变换参数是否达到所述收敛条件。

4.根据权利要求3所述的三维模型生成方法，其特征在于，在所述获取在所述第一姿态变换参数之前得到的第二姿态变换参数之后，还包括：

在所述第一差异值小于第一阈值的情况下，确定所述第一姿态变换参数达到所述收敛条件；

在所述第一差异值大于或等于所述第一阈值的情况下，确定所述第一姿态变换参数并未达到所述收敛条件。

5.根据权利要求3所述的三维模型生成方法，其特征在于，在所述获取在所述第一姿态变换参数之前得到的第二姿态变换参数之后，还包括：

获取所述目标视频帧之前上一个视频帧对应的历史姿态变换参数；

获取所述第一姿态变换参数与所述历史姿态变换参数之间的第二差异值；

对所述第一差异值与所述第二差异值进行加权计算，得到计算结果；

在所述计算结果小于第二阈值的情况下，确定所述第一姿态变换参数达到所述收敛条件。

6.根据权利要求5所述的三维模型生成方法，其特征在于，在所述第一姿态变换参数达到收敛条件的情况下，还包括：

获取所述目标视频帧之前上一个视频帧对应的历史变换控制参数；

获取所述第一姿态变换参数与所述历史姿态变换参数之间的第二差异值；

在所述第二差异值小于第三阈值的情况下，将所述第一姿态变换参数确定为与所述二维坐标匹配的所述目标姿态变换参数

在所述第二差异值大于所述第三阈值的情况下，提示所述二维坐标匹配计算异常。

7.一种三维模型生成装置，其特征在于，包括：

获取单元，用于获取包括目标对象的目标视频帧；

提取单元，用于从所述目标视频帧中提取位于所述目标对象的身体上的关键位置的二维坐标；

计算单元，用于利用模型数据库对所述二维坐标进行匹配计算，得到与所述二维坐标匹配的目标姿态变换参数，其中，所述模型数据库中包括多组具备对应关系的参考姿态变换参数和参考三维坐标，所述参考姿态变换参数用于指示参考对象的身体姿态从初始姿态变换为参考姿态的变换参数，所述参考三维坐标为所述参考对象在所述参考姿态下身体上的关键位置的三维坐标；

生成单元，用于按照所述目标姿态变换参数对所述参考对象对应的参考人体模型进行变换，得到与所述目标对象匹配的目标人体三维模型，其中，所述参考人体模型为所述参考对象的身体姿态处于所述初始姿态下的人体三维模型。

8.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，所述程序运行时执行所述权利要求1至6任一项所述的方法。

9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时所述权利要求1至6任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项所述的方法。

Images