CN116091570A - 三维模型的处理方法、装置、电子设备、及存储介质 - Google Patents

Abstract

本申请提供了一种三维模型的处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质；方法包括：对第一样本三维模型进行关键点检测，得到第一样本三维模型的多个关键点所处面片的面片索引和重心坐标，并确定每个关键点的三维空间坐标；对每个关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型；将多个第二样本三维模型和第一样本三维模型组合为样本模型集合；基于样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，关键点检测结果用于执行非刚性变形配准处理。通过本申请，能够提升三维模型之间进行配准的准确性。

Description

三维模型的处理方法、装置、电子设备、及存储介质

技术领域

本申请涉及计算机技术，尤其涉及一种三维模型的处理方法、装置、电子设备、及存储介质。

背景技术

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

三维模型的配准是将一个三维模型的形态变形为另一个三维模型的形态的处理，相关技术中，三维模型配准需要人工标注模型中的关键点，效率较低，人工标注准确性低，进而影响了配准效果。

相关技术暂无准确性较高的三维模型配准方案。

发明内容

本申请实施例提供一种三维模型的处理方法、装置、电子设备及计算机可读存储介质、计算机程序产品，能够提升三维模型之间进行配准的准确性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种三维模型的处理方法，所述方法包括：

对第一样本三维模型进行关键点检测，得到所述第一样本三维模型的多个关键点所处面片的面片索引和重心坐标；

基于每个所述关键点的面片索引和重心坐标，确定每个所述关键点的三维空间坐标；

对每个所述关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型；

将所述多个第二样本三维模型和所述第一样本三维模型组合为样本模型集合；

基于所述样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，其中，所述训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，所述第一待配准三维模型的关键点检测结果用于执行非刚性变形配准处理。

本申请实施例提供一种三维模型的处理方法，所述方法包括：

获取训练后的关键点检测模型，其中，所述训练后的关键点检测模型是通过本申请实施例的三维模型的处理方法训练得到的；

获取第二待配准三维模型和第二参考三维模型；

对所述第二待配准三维模型与所述第二参考三维模型分别进行关键点检测处理，得到所述第二待配准三维模型的关键点信息、所述第二参考三维模型的关键点信息，其中，所述关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；

以所述第二参考三维模型的关键点信息作为配准参考对象，对所述第二待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第二待配准三维模型。

本申请实施例提供一种三维模型的处理装置，包括：

检测模块，配置为对第一样本三维模型进行关键点检测，得到所述第一样本三维模型的多个关键点所处面片的面片索引和重心坐标；

所述检测模块，配置为基于每个所述关键点的面片索引和重心坐标，确定每个所述关键点的三维空间坐标；

数据增强模块，配置为对每个所述关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型；

所述数据增强模块，配置为将所述多个第二样本三维模型和所述第一样本三维模型组合为样本模型集合；

训练模块，配置为基于所述样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，其中，所述训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，所述第一待配准三维模型的关键点检测结果用于执行非刚性变形配准处理。

本申请实施例提供一种三维模型的处理装置，包括：

检测模块，配置为获取训练后的关键点检测模型，其中，所述训练后的关键点检测模型是通过本申请实施例的三维模型的处理方法训练得到的；

所述检测模块，配置为获取第二待配准三维模型和第二参考三维模型；

所述检测模块，配置为对所述第二待配准三维模型与所述第二参考三维模型分别进行关键点检测处理，得到所述第二待配准三维模型的关键点信息、所述第二参考三维模型的关键点信息，其中，所述关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；

配准模块，配置为以所述第二参考三维模型的关键点信息作为配准参考对象，对所述第二待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第二待配准三维模型。

本申请实施例提供一种电子设备，所述电子设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的三维模型的处理方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于被处理器执行时，实现本申请实施例提供的三维模型的处理方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的三维模型的处理方法。

本申请实施例具有以下有益效果：

通过关键点检测模型对样本三维模型进行关键点检测处理，得到样本三维模型对应的关键点信息，并对关键点的位置进行移动，生成大量的新的样本三维模型，提升了关键点标注效率，丰富了训练数据集合，节约了获取标注数据所需的计算资源，提升了训练关键点检测模型的准确性，基于训练完成的关键点检测模型获取待配准模型的关键点信息，能够提升基于关键点信息进行三维模型配准的准确性，提升了模型配准效率。

附图说明

图1是本申请实施例提供的三维模型的处理方法的应用模式示意图；

图2A是本申请实施例提供的电子设备的结构示意图；

图2B是本申请实施例提供的关键点检测模型的结构示意图；

图3A是本申请实施例提供的三维模型的处理方法的第一流程示意图；

图3B是本申请实施例提供的三维模型的处理方法的第二流程示意图；

图3C是本申请实施例提供的三维模型的处理方法的第三流程示意图；

图3D是本申请实施例提供的三维模型的处理方法的第四流程示意图；

图3E是本申请实施例提供的三维模型的处理方法的第五流程示意图；

图4A是本申请实施例提供的关键点检测模型的结构示意图；

图4B是本申请实施例提供的三维模型的处理方法的第六流程示意图；

图5A是本申请实施例提供的关键点位置迁移的示意图；

图5B是本申请实施例提供的关键点位置迁移后的三维模型的示意图；

图6A是本申请实施例提供的第一人机交互界面的示意图；

图6B是本申请实施例提供的第二人机交互界面的示意图；

图7是本申请实施例提供的配准后的三维模型的示意图；

图8是本申请实施例提供的三维模型的处理方法的一个可选的流程示意图；

图9A是本申请实施例提供的关键点检测结果的示意图；

图9B是本申请实施例提供的配准结果的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解， “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

需要指出，在本申请实施例中，涉及到用户信息、用户反馈数据等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1）三维网格模型（Mesh），指具有拓扑结构（点和线之间关系的图）的流形表面，比如一个球状的表面被划分为多个顶点与多条边的组合，本申请实施例以三维人脸网格模型为例进行说明。三维网格是一个图（graph）结构。

2）三维人脸关键点检测，指的是给定任意一个三维人脸网格模型，检测预设语义的一系列人脸关键点的三维坐标。三维人脸模型的顶点数目和面片数目均没有任何限制，预设语义的关键点指的是针对人脸预先设置的特定含义的位置信息，包括：眼角，嘴角，鼻尖，脸部轮廓等在内的位置信息。关键点语义和数目由具体任务决定。

3）刚性变形配准，两个三维网格模型之间的配准执行之后，三维网格模型的形状大小，不发生任何变化，只有空间位置与姿态发生了改变。

4）非刚性变形配准，指的是将三维网格模型A变形成另一个三维网格模型B的形态，同时保持模型A原有的拓扑结构（维持模型A中点之间的连接关系）。模型A、B的拓扑结构是不相同的，亦即顶点数目和顶点连接关系是不相同的。非刚性变形配准与刚性变形配准有显著的差异，刚性变形配准只进行整体的旋转和平移变换，并不改变模型的局部形态，而非刚性变形配准则要求局部的形态贴合。

5）卷积神经网络（Convolutional Neural Networks，CNN），是一类包含卷积计算且具有深度结构的前馈神经网络（Feed forward Neural Networks，FNN），是深度学习（Deep Learning）的代表算法之一。卷积神经网络具有表征学习（RepresentationLearning）能力，能够按其阶层结构对输入图像进行平移不变分类（Shift-invariantClassification）。

6）多层感知机（Multilayer Perceptron ，MLP）也叫人工神经网络（ArtificialNeural Network，ANN），除了输入输出层，它中间可以有多个隐层。

本申请实施例提供一种三维模型的处理方法、三维模型的处理装置、电子设备和计算机可读存储介质及计算机程序产品，能够提升三维模型之间进行配准的准确性。

下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备（例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备）、车载终端、虚拟现实（Virtual Reality，VR）设备、增强现实（Augmented Reality，AR）设备等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为终端设备或服务器时示例性应用。

参考图1，图1是本申请实施例提供的三维模型的处理方法的应用模式示意图；示例的，图1中涉及服务器、网络300及终端设备400、数据库。终端设备400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。

在一些实施例中，数据库500中存储有大量的三维模型，服务器200可以是三维模型配准平台的服务器，或者游戏引擎服务器等，终端设备400是技术人员或者非技术人员所使用的终端设备。作为配准参照的三维模型可以是存储在数据库500中的，或者用户通过终端设备400上传的，以下结合上述举例进行说明。

示例的，用户利用终端设备400通过网络300上传待配准的三维模型到服务器200，并发送配准请求，配准请求携带有作为配准参考的三维模型的标识，服务器200中调用本申请实施例提供的三维模型的处理方法，从数据库500中获取作为配准参考的三维模型，调用训练后的关键点检测模型对三维模型的关键点进行检测，得到关键点信息，并基于关键点信息对待配准的三维模型与配准参考的三维模型进行配准处理，得到配准后的三维模型，将配准后的三维模型的显示数据发送给终端设备400，终端设备400中呈现配准后的三维模型。

在一些实施例中，本申请实施例的三维模型的处理方法还可以应用在以下应用场景中：三维动画制作，例如：预先获取由模型A为基础制作的骨骼动画，模型A的类型可以是人物、动物或者机械，技术人员通过调用本申请实施例提供的三维模型的处理方法，模型B是与模型A类型相同、形状不同的三维模型，将模型B与模型A进行配准，并通过模型A对应的骨骼动画驱动配准后的模型B的，形成新的三维动画。

本申请实施例可以通过计算机视觉技术（Computer Vision， CV）实现，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例可以通过区块链技术实现，可以将本申请实施例训练得到的关键点检测模型上传到区块链中存储，通过共识算法保证关键点检测模型的可靠性。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链（Block chain），本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

本申请实施例可以通过数据库技术实现，数据库（Database），简而言之可视为电子化的文件柜存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。所谓“数据库”是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

数据库管理系统（Database Management System，DBMS）是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML（Extensible Markup Language，即可扩展标记语言）；或依据所支持的计算机类型来作分类，例如服务器群集、移动电话；或依据所用查询语言来作分类，例如结构化查询语言（SQL，Structured Query Language）、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。

本申请实施例，还可以通过云技术实现，云技术（Cloud Technology）基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，将来每个物品都有可能存在自己的哈希编码识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

在一些实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。电子设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。

参见图2A，图2A是本申请实施例提供的电子设备的结构示意图，图2A所示的电子设备可以是服务器200，服务器200包括：至少一个处理器410、存储器450、至少一个网络接口420。服务器200中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2A中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器 410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（ROM，Read Only Memory），易失性存储器可以是随机存取存储器（RAM，Random Access Memory）。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个（有线或无线）网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证（WiFi）、和通用串行总线（USB，Universal Serial Bus）等；

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2A示出了存储在存储器450中的三维模型的处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：检测模块4551、数据增强模块4552、训练模块4553、配准模块4554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

下面，说明本申请实施例提供的三维模型的处理方法，如前，实现本申请实施例的三维模型的处理方法的电子设备可以是终端、服务器，又或者是二者的结合。因此下文中不再重复说明各个步骤的执行主体。

需要说明的是，下文中的三维模型的配准的示例中，是以三维模型为人的头部模型为例说明的，本领域技术人员根据对下文的理解，可以将本申请实施例提供的三维模型的处理方法应用于包括其他类型的三维模型的配准处理，例如：针对动物、机器人、人类、虚拟对象等类型的三维模型进行配准。

参见图3A，图3A是本申请实施例提供的三维模型的处理方法的第一流程示意图，将结合图3A示出的步骤进行说明。

在步骤301中，对第一样本三维模型进行关键点检测，得到第一样本三维模型的多个关键点所处面片的面片索引和重心坐标。

示例的，关键点是三维模型中用于作为位置参考以及标注区域的点，例如：人脸识别中，人脸的关键点是人脸五官与轮廓定位的标注。关键点所处面片为三角形面片，三角形面片内的关键点可以用三个顶点的坐标以及非负的系数α、β、γ来表达。

假设：三角形的三个顶点为点A、点B以及点C，对于三角形所在平面的任意一点都可以由该三角形的三个坐标的线性组合表示出来。也即，三角形面片内的关键点可以用三个顶点的坐标以及非负的系数α、β、γ来表达。重心坐标公式可以表征为：（x，y）=αA+βB+γC，α+β+γ=1，其中，（α，β，γ）称为点（x，y）的重心坐标。

在一些实施例中，参考图3B，图3B是本申请实施例提供的三维模型的处理方法的第二流程示意图，图3A中的步骤301可以通过图3B中的步骤3011至步骤3015实现，以下具体说明。

在步骤3011中，获取第一样本三维模型的至少一个方向的深度图像。

示例的，至少一个方向的深度图像是指从第一样本三维模型的不同方向获取的深度图像，例如从正面、侧面、后面等不同方向获取的深度图像。深度图像中的每一个像素值表示场景中某点与摄像机的距离。下文中，以正面与侧面方向的深度图像为例进行说明。

在步骤3012中，对每个深度图像进行特征提取处理，得到每个深度图像的特征图。

示例的，对正面深度图像、侧面深度图像分别进行特征提取处理，得到每个深度图像的特征图。特征提取处理可以通过卷积神经网络实现，例如：残差网络。

在步骤3013中，对每个特征图进行组合处理，得到拼接特征。

示例的，每个特征图可以表征为特征向量组合的矩阵，将每个矩阵拼接为更大的矩阵，得到拼接特征。

在步骤3014中，对拼接特征进行激活处理，得到第一样本三维模型中的每个关键点的当前坐标。

示例的，激活处理可以通过多层感知器实现，多层感知器对拼接特征进行激活，并以列向量的形式回归输出多个关键点的三维坐标。

在一些实施例中，参考图2B，图2B是本申请实施例提供的关键点检测模型的结构示意图，关键点检测模型201B包括：至少一个残差网络202B、特征拼接层203B以及多层感知器204B，其中，每个残差网络202B用于针对一个深度图像执行特征提取处理，特征拼接层203B用于执行组合处理，多层感知器204B用于执行激活处理。

示例的，假设深度图像为多个，残差网络的数量可以是与深度图像相同的，每个残差网络并行地对深度图像进行特征提取处理，提升了特征提取处理的效率。残差网络可以仅有一个，分别对每个深度图像进行特征提取处理，特征拼接层将每个深度图像的特征图拼接。多层感知器对拼接后的特征进行激活处理，并以列向量的形式输出关键点的三维坐标。

在步骤3015中，基于每个关键点的当前坐标，确定每个关键点的所处面片、以及每个关键点对应的重心坐标。

示例的，获取三维模型中每个面片对应的空间范围，当关键点的当前坐标落入面片对应的空间范围时，确定关键点属于对应的面片，并获取面片的重心坐标作为关键点对的重心坐标。

本申请实施例中，采用重心坐标的形式来保存标注的关键点信息，与直接保存关键点的三维坐标相比，本申请实施例保存了关键点所在的面片索引及其面片重心坐标，能够不受三维模型旋转平移的影响，总是能够通过重心坐标计算，确切地知道当前模型关键点的三维空间坐标。

继续参考图3A，在步骤302中，基于每个关键点的面片索引和重心坐标，确定每个关键点的三维空间坐标。

示例的，在得到了面片索引的情况下，可以基于面片索引从三维模型的数据中调用面片对应的顶点坐标，并基于顶点坐标、重心坐标推导得到三维空间坐标。

在一些实施例中，步骤302通过以下方式实现：针对每个关键点执行以下处理：基于面片索引查找关键点所处面片的每个顶点的顶点坐标；确定重心坐标中的每个重心坐标值与每个顶点的对应关系；将每个顶点坐标与对应的重心坐标值进行加权求和处理，得到关键点的三维空间坐标。

示例的，三维空间中的重心坐标公式可以表征为：（x，y，z）=αA+βB+γC，α+β+γ=1，其中，（α，β，γ）称为关键点（x，y，z）的重心坐标。点A、点B以及点C分别是关键点所处面片的每个顶点的顶点坐标。

在步骤303中，对每个关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型。

示例的，位移处理指在预设的移动范围内对关键点的三维空间坐标进行调整，位移处理的过程中第一样本三维模型的网络拓扑保持不变，也即第一样本三维模型与第二样本三维模型中的关键点之间的连接关系是相同的。

在一些实施例中，参考图3C，图3C是本申请实施例提供的三维模型的处理方法的第三流程示意图，图3A中的步骤303可以通过图3C中的步骤3031至步骤3035实现，以下具体说明。

在步骤3031中，根据每个关键点在第一样本三维模型中所处的位置，将所有的关键点划分为多个关键点组。

示例的，根据关键点所处的位置划分关键点组，也即将三维模型划分为多个区域，将每个区域中的关键点作为一个关键点组。

例如，以人类的三维面部模型为例进行说明，可以根据面部器官的区域的将面部三维模型中的关键点划分为对应的组。根据面部器官划分关键点组，不同的关键点组属于不同的面部器官，例如：耳朵、鼻子、嘴部以及眼睛、面部轮廓分别对应一个关键点组。

在步骤3032中，针对每个关键点组执行多次以下处理：将关键点组中的至少一个关键点作为目标关键点，并将每个目标关键点的几何中心作为每个目标关键点的局部坐标系的原点。

示例的，从关键点组中选取至少一个关键点，例如：以任意一个关键点组为例进行说明，耳朵关键点组包括10个关键点，随机选取其中的4个作为目标关键点。将每个目标关键点的几何中心为原点，设置每个目标关键点的局部坐标系。

在步骤3033中，在每个目标关键点的局部坐标系中，对每个目标关键点的位置进行移动，得到移动后的目标关键点的位置。

示例的，目标关键点的位置在局部坐标系中通过三维空间坐标表征；对关键点的位置进行移动，可以通过对关键点的三维空间坐标的坐标值进行调整实现。

在一些实施例中，步骤3033可以通过以下方式实现：获取关键点组在局部坐标系中的位移范围；针对每个目标关键点执行以下处理：基于位移范围生成随机位移参数，将目标关键点的三维空间坐标中至少一个坐标值与随机位移参数相加，得到移动后的目标关键点在局部坐标系中的三维空间坐标。

示例的，选取目标关键点的至少一个坐标值进行移动。假设移动范围为（-1，1），在此范围内生成随机位移参数N，N小于1且大于-1。对关键点A的局部坐标系中的坐标（X1，Y1，Z1）进行扰动，选取其中任意一个坐标值与随机位移参数N相加，得到移动后的目标关键点在局部坐标系中的坐标（X1+N，Y1，Z1），将坐标（X1+N，Y1，Z1）映射回到全局坐标系中，得到位移后的目标关键点的位置。

在步骤3034中，将每个移动后的目标关键点的位置，从局部坐标系映射到第一样本三维模型对应的全局坐标系，得到每个移动后的目标关键点在全局坐标系中的位置。

示例的，获取局部坐标系与全局坐标系的原点之间的坐标值差异，将每个移动后的目标关键点的位置的在局部坐标系中的三维空间坐标与坐标值差异相加，得到每个移动后的目标关键点在全局坐标系中的位置。

在步骤3035中，以每个移动后的目标关键点的位置替换第一样本三维模型中移动前的每个目标关键点的位置，得到第二样本三维模型。

示例的，维持第一样本三维模型中未移动的关键点，以移动后的目标关键点替换移动前的目标关键点，得到第二样本三维模型，第二样本三维模型中的关键点之间的连接关系与第一样本三维模型是相同的。

本申请实施例中，基于一个三维模型进行关键点位置移动，得到多个不同的样本三维模型，由于关键点信息是已知的，无需对新得到的样本三维模型进行关键点标注，节约了获取样本数据所需的计算资源。

继续参考图3A，在步骤304中，将多个第二样本三维模型和第一样本三维模型组合为样本模型集合。

示例的，将多个第二样本三维模型、第一样本三维模型、以及每个三维模型的关键点信息存储到样本模型集合。

在步骤305中，基于样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型。

示例的，训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，第一待配准三维模型的关键点检测结果用于执行非刚性变形配准处理。训练关键点检测模型的方式可以是监督学习。

在一些实施例中，步骤305通过以下方式实现：基于样本模型集合调用初始化的关键点检测模型进行关键点检测，得到每个第二样本三维模型和第一样本三维模型的预测关键点的预测三维空间坐标；确定每个预测三维空间坐标与每个关键点的三维空间坐标之间的差异；基于差异确定初始化的关键点检测模型的训练损失，基于训练损失对更新初始化的关键点检测模型的参数，得到训练后的关键点检测模型。

示例的，训练损失可以是均方误差损失函数或者交叉熵损失。

本申请实施例中，通过重心坐标标注关键点，提升了获取关键点的准确性，通过基于已经识别到的关键点消息进行移动，得到多个不同的样本三维模型，提升了训练样本的丰富程度，提升了训练关键点检测模型的准确性。

在一些实施例中，参考图3D，图3D是本申请实施例提供的三维模型的处理方法的第四流程示意图，在图3A中的步骤305之后，执行图3D中的步骤306至步骤308，以下具体说明。

在步骤306中，基于第一待配准三维模型，调用训练后的关键点检测模型进行关键点检测，得到第一待配准三维模型的关键点信息。

示例的，关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；步骤306的原理与步骤301相同，此处不再赘述。

在步骤307中，获取第一参考三维模型的关键点信息。

示例的，第一参考三维模型的关键点信息可以是预先存储的，或者调用训练后的关键点检测模型获取的。

在步骤308中，以第一参考三维模型的关键点信息为配准参考对象，对第一待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第一待配准三维模型。

三维模型的非刚性变形可以通过变形迁移（Deformation Transfer）实现，变形传递的目的是将源网格（source）的变形所表现出的形状变化传递到目标网格（target）上。将源变形表示为源网格的每个三角形的仿射变换的集合。使用这种表示是因为每个仿射变换的非平移部分编码了由三角形变形引起的方向、尺度和倾斜的变化。仿射变换包括：线性变换（旋转，缩放，斜切）、平移变换；三维空间中旋转、缩放、斜切、平移变换都是3个自由度，共12个自由度，因此必须有4对点提供12个方程才可以求解。针对三维模型中的三角形面片的三个顶点构建第四个顶点，第四个顶点位于垂直与三角形面片的方向。对待配准的三维网格模型中的每个关键点所处的三角形面片进行变形处理，并在变形过程中满足以下约束：参考模型中关键点对应的面片与形变后的待配准的三维网格模型的面片匹配、待配准的三维网格模型的拓扑维持不变。

本申请实施例中，基于训练后的关键点检测模型进行模型配准处理，自动化进行关键点检测，提升了模型配准的效率以及准确性。

在一些实施例中，参考图3E，图3E是本申请实施例提供的三维模型的处理方法的第五流程示意图，在步骤308之后执行图3E中的步骤309至步骤312，以下具体说明。

在步骤309中，将配准后的第一待配准三维模型作为第一配准三维模型。

示例的，为便于区分配准前后的待配准三维模型，将配准后的模型称为配准三维模型。

在步骤310中，对第一配准三维模型与第一参考三维模型的位置进行调整，以使第一配准三维模型与第一参考三维模型处于重叠状态。

示例的，移动第一配准三维模型与第一参考三维模型的位置，使二者的重心重合，形成两个模型重叠的状态。参考图7，图7是本申请实施例提供的配准后的三维模型的示意图；配准后的模型701以及配准后的模型702是将配准后的模型703与参考模型重叠形成的正视图以及侧视图。

在步骤311中，获取第一配准三维模型表面的多个参考点、以及每个参考点与第一参考三维模型之间的最短距离。

示例的，第一配准三维模型表面的多个参考点可以是关键点之外的点。基于参考点所发出的法向量形成的射线，确定射线与第一参考三维模型之间的交点，交点与参考点之间的距离是最短距离。参考点的法向量是经过参考点且垂直于参考点在三维模型中所在平面的向量。

在一些实施例中，步骤311通过以下方式实现：将第一配准三维模型的表面的多个顶点作为参考点，针对每个参考点执行以下处理：基于参考点的法向量的正方向与反方向发射射线，确定射线与第一参考三维模型表面的交点，将交点与参考点之间的距离作为参考点与第一参考三维模型之间的最短距离。

在步骤312中，将每个最短距离的平均值，作为第一配准三维模型与第一参考三维模型之间的配准误差。

示例的，配准误差与非刚性变形配准处理的配准效果负相关。假设从第一配准三维模型的表面选取了40个参考点，并获取参考点对应的最短距离的平均值作为配准误差，配准误差越小，则说明40个参考点距离参考模型的距离越近，则配准效果越好。

在一些实施例中，当所述第一待配准三维模型的数量为多个，且在步骤312之后，获取针对多个第一待配准三维模型执行的非刚性变形配准处理的配准误差；基于每个第一待配准三维模型的配准误差，对每个第一待配准三维模型进行降序排序处理，得到降序排序列表；针对降序排序列表中从头部开始的预设数量的第一待配准三维模型，获取对应的关键点信息；将预设数量的第一待配准三维模型、以及对应的关键点信息组合为样本模型集合；基于样本模型集合迭代训练训练后的关键点检测模型，得到调整后的关键点检测模型。

示例的，本申请实施例提供的三维模型的处理方法可以实现为图1中终端设备400中安装的应用程序、或者应用程序中的插件（关键点标注工具）、小程序等，参考图6A，图6A是本申请实施例提供的人机交互界面的示意图；图6A中的人机交互界面601A是模型配准工具的界面，包括用于配准三维模型的不同部分的多种功能控件602A、模型适配控件603A以及模型绑定控件604A。响应于处于面部rig选项的页面，且模型适配控件603A被触发，对代理模型A与角色模型B进行配准，将角色模型B作为配准参考对象，得到配准后的代理模型A。进行模型配准之后，响应于针对模型绑定控件604A的触发操作，将配准后的代理模型A与预设骨骼动画绑定，生成对应的三维动画。

示例的，用户通过应用程序的人机交互界面601A上传了不同的待配准三维模型并执行配准处理之后，服务器200收集这些待配准三维模型的配准结果，并评估每个配准结果的配准误差，选取配准误差最大的预设数量（例如：1000个）的待配准三维模型的关键点信息构建新的训练样本集合，对训练后的关键点检测模型进行训练处理，调整训练后的关键点检测模型的参数，得到调整后的关键点检测模型。上述训练方式可以实施为线上迭代处理，使得本申请实施例提供的关键点检测模型可以在应用过程中实时更新，提升关键点检测的准确性，进而提升模型配准的准确性。

在一些实施例中，参考图4B，图4B是本申请实施例提供的三维模型的处理方法的第六流程示意图；本申请还提出一种三维模型的处理方法，结合图4B中高度步骤进行解释说明。

在步骤401B中，获取训练后的关键点检测模型。

示例的，训练后的关键点检测模型是通过本申请实施例的三维模型的处理方法训练得到的。

在步骤402B中，获取第二待配准三维模型和第二参考三维模型。

示例的，第二待配准三维模型、第二参考三维模型仅为与上文中的第一待配准三维模型、第一参考三维模型进行区分。以服务器为执行主体，第二待配准三维模型和第二参考三维模型可以是用户通过图1中的终端设备400上传到服务器200的。或者，第二参考模型是用户上传的，而第二待配准三维模型是三维骨骼动画中的三维模型，通过将第二待配准三维模型与第二参考三维模型配准，使得骨骼动画中的三维模型的形象转换为第二参考模型对应的形象。

在步骤403B中，对第二待配准三维模型与第二参考三维模型分别进行关键点检测处理，得到第二待配准三维模型的关键点信息、第二参考三维模型的关键点信息。

示例的，关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；步骤403B的原理与上文步骤306相同，此处不再赘述。

在步骤404B中，以第二参考三维模型的关键点信息作为配准参考对象，对第二待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第二待配准三维模型。

示例的，步骤404B的原理与上文步骤308相同，此处不再赘述。

本申请实施例通过关键点检测模型对样本三维模型进行关键点检测处理，得到样本三维模型对应的关键点信息，并对关键点的位置进行移动，生成大量的新的样本三维模型，提升了关键点标注效率，丰富了训练数据集合，节约了获取标注数据所需的计算资源，提升了训练关键点检测模型的准确性，基于训练完成的关键点检测模型获取待配准模型的关键点信息，能够提升基于关键点信息进行三维模型配准的准确性，提升了模型配准效率。

下面，将说明本申请实施例三维模型的处理方法在一个实际的应用场景中的示例性应用。

非刚性形变配准是指的是将一个三维网格模型变形成另一个三维网格模型的形态，并保持配准前的三维网格模型原有的拓扑结构的处理。刚性变形配准只进行整体的旋转和平移变换，并不改变模型的局部形态。而非刚性变形配准则要求局部的形态贴合。模型配准角色间骨骼绑定迁移的前置工作（角色骨骼模型之间配准了，才能拷贝迁移骨骼）。以人类的头部三维模型（以下简称三维头模）为例，目前的商业软件缺乏自动化的非刚性变形配准方案，往往需要过多的人工参与，效率较低。以著名的 RDS Wrap4d 软件为例，它提供了三维头模的非刚性配准功能，但是在使用之前需要用户在界面中标注大量的关键点对，这无疑增加了用户的操作难度，同时用户标注的准确性也很难得到保障，因此模型配准的效果也受到了影响。业界的非刚性变形配准方案不支持流程的自动化，依赖人工的参与，效率较为低下，且变形配准结果的稳定性不佳。对于三维头模关键点自动检测这一模块，基于几何分析的关键点定位方法十分依赖于人工设定的规则，例如在检测锐利边的时候，需要指定一个阈值，这是一个经验性的数值，很难以适用于形态各异的头模，因此相关技术的鲁棒性较差。

相关技术中，缺乏三维头模关键点自动检测的监督学习所需的数据集，这些监督数据的获取是十分困难的，原因有二，以下具体说明。

第一，相对来说，三维头模数据远比二维图片少，从互联网中，可以获取、整理海量的二维人脸图像，但是三维头模更多的则是三维建模师们花精力建造出来的作品，其制作过程远比相机拍摄二维图片困难得多。因此这注定了三维数据的获取难度。第二，二维图像的人脸关键点检测已经十分成熟了，有很多公开的标注好关键点的人脸图像数据集可供使用。而三维头模的三维关键点标注数据基本上是处于空白的状态。

本申请实施例提供一种三维模型的处理方法，设置了一个三维头模关键点自动检测模块，解决了流程自动化的问题，提升了角色配准的效率。采用基于深度神经网络监督学习的方案来实现，规避传统几何分析算法的稳定性不佳的问题。

参考图8，图8是本申请实施例提供的三维模型的处理方法的一个可选的流程示意图，以下将服务器作为执行主体，结合图8中的步骤进行解释说明。

在步骤801中，调用关键点检测模型对样本三维网格模型进行关键点检测，得到样本三维网格模型中的每个关键点的关键点信息。

示例的，关键点检测模型可以是深度神经网络，可以基于三维头模正侧面深度图回归预测关键点三维坐标。对三维头模进行尺度归一化处理，渲染归一化处理的三维头模的正面和侧面的深度图（图像的每一个像素值表示场景中某点与摄像机的距离）。将两个方向的深度图作为关键点检测模型的输入。

参考图4A，图4A是本申请实施例提供的关键点检测模型的结构示意图；关键点检测模型包括两个结构相同的残差网络403A以及残差网络404A、特征拼接层405A、多层感知器406A。将深度图401A输入残差网络403A，将深度图402A输入残差网络404A，残差网络403A用于对深度图进行特征提取处理，每个深度图的维度为（B，512，512，1），每个残差网络进行特征提取得到的特征图的维度为（B，512），特征拼接层405A将两个（B，512）的特征图组合，并将组合后的特征图输入到多层感知器406A中，多层感知器406A的三层隐藏层的维度为（512，265，147），以列向量的形式回归输出49个关键点的三维坐标（B，49×3）。

示例的，本申请实施例提供的关键点检测模型可以应用为三维关键点检测软件，参考图6A、图6B，图6A至图6B是本申请实施例提供的第一、第二人机交互界面的示意图；图6A中的人机交互界面601A是模型配准工具的界面，包括用于配准三维模型的不同部分的多种功能控件602A、模型适配控件603A以及模型绑定控件604A。响应于处于面部rig选项的页面，且模型适配控件603A被触发，对代理模型A与角色模型B进行配准，将角色模型B作为配准参考对象，得到配准后的代理模型A。进行模型配准之后，响应于针对模型绑定控件604A的触发操作，将配准后的代理模型A与预设骨骼动画绑定，生成对应的三维动画。

图6B中的人机交互界面601B是关键点检测界面的示意图，调用本申请实施例的关键点检测模型针对右侧的三维头模进行关键点检测，得到49个关键点分别对应的位置。本申请实施例中以关键点是49个为例进行说明，在实际应用中关键点数量可以根据应用场景进行调整。

在一些实施例中，采用重心坐标的形式来保存标注的关键点信息，这一做法具有多种优势。与直接保存关键点的三维坐标相比，本申请实施例保存了关键点所在的面片索引及其面片重心坐标，这样就能够不受头模旋转平移的影响，总是能够通过重心坐标计算，确切地知道当前模型关键点的三维空间坐标。若直接保存关键点的三维坐标，对头模进行旋转平移之后，头模上的点的三维空间坐标对应地发生变化，增加了计算量。与将关键点限制在模型顶点并只记录顶点索引的方式相比，本申请实施例的方法破除了对关键点标注位置的束缚，能够准确地标注相关语义的关键点，这一优势在顶点稀疏的三维头模上表现得更为突出。

以下对重心坐标的原理进行解释说明，假设：三角形的三个顶点为点A、点B以及点C，对于三角形所在平面的任意一点都可以由该三角形的三个坐标的线性组合表示出来。也即，三角形面片内的关键点可以用三个顶点的坐标以及非负的系数α、β、γ来表达。

重心坐标公式可以表征为：（x，y）=αA+βB+γC，α+β+γ=1，其中，（α，β，γ）称为点（x，y）的重心坐标。

关键点的标注结果的存储格式表征为以下表（1）：

表（1）

                                                                    ；

其中，表格中每一行表征三维模型Game_head1中的一个关键点的位置，面片索引表征关键点所属的三角形面片的标号。γ=1-（α+β）。

在步骤802中，对样本三维网格模型中预设数量的关键点的位置进行多次调整，得到多个变形三维网格模型，并将样本三维网格模型、多个变形三维网格模型组合为训练样本集合。

示例的，获取到样本三维网格模型中的关键点信息之后，可以基于样本三维网格模型进行样本增强处理，得到大量的训练样本。将存储的样本三维网格模型的关键点的重心坐标转换为三维坐标，随机调整49个关键点的位置（三维坐标），比如：调整三维头模的眼睛上下眼皮的关键点之间的相对距离。这样就产生了大量的变形后的关键点数据。

示例的，本申请实施例采用拉普拉斯曲面编辑器（Laplacian Surface Editing），以变形后的关键点作为目标牵引，使得原始的三维头模产生相应的形变，能够从一个标注好关键点的原始三维模型，变形出多个关键点和相应三维模型数据。以下对变形处理的实现进行解释说明：

假设关键点对应的局部坐标轴的x轴朝右，y轴朝上，z轴朝外，三维头模的关键点包括：位于眼睛、鼻子、嘴巴和全局总计49个关键点。

针对眼部关键点：以左眼为例，眼睛关键点的关键点序号包括[6，8，10，12];将局部坐标系的坐标原点移动到4个关键点的几何中心并做尺寸归一化。在此局部坐标系下，执行关键点的整体位移或者某些关键点的单独位移。将位移后的关键点的坐标映射至原始坐标系。局部坐标系下的位移操作包括以下至少一项：

1、在[-0.1，0.1]范围生成随机值shift_y，使左眼4个关键点的y坐标整体生成该偏移。

2、在[-0.2，0.2]范围生成上眼皮睁眼幅度upper_scale，例如：将关键点#10的y坐标修改为kpts[10，1]*=1+upper_scale；同样生成下眼皮移动幅度lower_scale，例如：扰动关键点#12的y坐标。通过上眼皮睁眼幅度和下眼皮移动幅度就改变了眼睛的张开程度。

3、对眼睛多个（例如：4个）关键点的x、y、z坐标分别执行不同的放缩系数[x_scale，y_scale，z_scale]，这些系数也是在预设的范围内生成的随机数。右眼关键点采取和左眼一致的操作。

示例的，与眼部的调整方式同理，针对三维头模的其他部分的三维坐标调整此处不再赘述。对于一个已经标注好的原始头模来讲，通过上述的关键点扰动的方式，将产生大量（如1000份）的扰动后的关键点，以扰动后的49个关键点驱动原始头模进行变形（如Laplacian的方法），将得到大量的头模（如1000个），从而丰富了训练数据集。参考图5A，图5A是本申请实施例提供的关键点位置迁移的示意图；图5A是关键点位置的平面视图，嘴部关键点501A是变形前的三维头部模型中嘴部的多个关键点的位置，变形后形成了嘴部关键点502A。参考图5B，图5B是本申请实施例提供的关键点位置迁移后的三维模型的示意图；基于原始的三维模型501B进行关键点位置迁移，得到了多个变形后的三维模型，例如：三维模型502B、三维模型504B、三维模型503B。三维模型502B、三维模型504B、三维模型503B的网络拓扑与三维模型501B是相同的，但形状发生了改变。

示例的，用于获取训练样本集合中的样本三维模型的变形针对的处理对象是稀疏少量的关键点，而非刚性变形配准，更主要的是使得两个模型表面贴合，也即，使面的位置变化，它的变形目标是稠密的目标头模，非刚性配准中的关键点只是起到定位的作用，而非唯一的变形目标。

本申请实施例通过随机变形关键点来驱动原始头模变形的方式，能够有效地产生大量五官形态各异的三维模型，这些生成的三维模型，其对应的关键点正是前述通过随机变形得到的。所以并不需要再对这些生成的三维模型进行关键点标注。可以从少量的原始头模数据产生含有大量的头模、关键点的数据集，用这个数据集进行上述的监督学习训练，将得到一个可从正侧面深度图预测关键点坐标的神经网络模型。

在步骤803中，基于训练样本集合调用关键点检测模型进行训练处理，得到训练后的关键点检测模型。

示例的，基于训练样本集合中的三维模型以及对应的关键点标注数据，对关键点检测模型进行监督学习，得到训练后的模型。

在步骤804中，基于待配准的三维网格模型调用关键点检测模型进行关键点检测，得到待配准的三维网格模型中的每个关键点的关键点信息。

示例的，基于训练完成的关键点检测模型进行关键点检测，关键点检测的原理与上文中步骤801相同，此处不再赘述。

在步骤805中，以参考模型的关键点信息为配准参考对象，对待配准的三维网格模型中的每个关键点的关键点信息进行配准处理，得到配准后的三维网格模型。

示例的，三维模型的非刚性变形可以通过变形迁移（Deformation Transfer）实现，变形传递的目的是将源网格（source）的变形所表现出的形状变化传递到目标网格（target）上。将源变形表示为源网格的每个三角形的仿射变换的集合。使用这种表示是因为每个仿射变换的非平移部分编码了由三角形变形引起的方向、尺度和倾斜的变化。仿射变换包括：线性变换（旋转，缩放，斜切）、平移变换；三维空间中旋转、缩放、斜切、平移变换都是3个自由度，共12个自由度，因此必须有4对点提供12个方程才可以求解。针对三维模型中的三角形面片的三个顶点构建第四个顶点，第四个顶点位于垂直与三角形面片的方向。对待配准的三维网格模型中的每个关键点所处的三角形面片进行变形处理，并在变形过程中满足以下约束：参考模型中关键点对应的面片与形变后的待配准的三维网格模型的面片匹配、待配准的三维网格模型的拓扑维持不变。

参考图7，图7是本申请实施例提供的配准后的三维模型的示意图；配准后的模型701以及配准后的模型702是将配准后的模型703与参考模型叠加形成的正视图以及侧视图，可见，配准后的模型与参考模型之间的误差较小，模型较为贴合，配准效果好。

示例的，可以通过点到表面平均距离误差指标衡量变形配准的效果好坏，点到表面平均距离误差指标，是用户模型B每个顶点到代理模型A表面的平均最短距离。以下解释点到表面平均距离误差指标的计算过程：

假设参考模型为模型B，配准后的模型为模型A，从模型B的顶点向法向量的正、反方向发射射线，与模型A的表面求交点，然后计算顶点到交点的距离。表面平均距离误差指标与变形匹配误差正相关，也即，该指标越接近于0，表示变形匹配误差越低，匹配程度越高。

在一些实施例中，关键点的准确与否，决定了非刚性变形最终效果的好坏。可以通过线上迭代的方式提升关键点检测模型进行关键点检测的准确性。参考图1，对用户通过终端设备400发送到服务器200的请求数据进行解析，并保存了请求数据中的三维头模，以及线上服务预测的关键点坐标、线上服务最终处理得到的变形后的头模数据。获取用户上传到数据库的大量的头模数据，并对这些头模数据进行头模的去重筛选，去掉多次调用，且属于相同头模的三维头模。获取每份请求数据对应的配准结果和角色头模之间的点到表面平均距离误差指标（以下简称适配误差指标）。按适配误差指标从大到小进行排列，优先保留误差较大的数据。

实际应用中，训练的原始头模和用户实际调用服务时使用的头模的形态差异较大，这就导致了数据集分布的不同。譬如说，之前的原始头模大多是一个完整的头模，包含了颈部。用户实际上传的头部模型，很可能仅有脸部模型，不带有脑后结构和颈部结构。用户数据的多样性会使关键点预测产生较大的误差，进而使得下一步的非刚性变形带来了累积误差。可以通过线上迭代训练降低累计误差。

示例的，挑选出适配误差指标最大的多个头模数据（例如300个），调用关键点标注工具对头模数据进行关键点标注，同样进行基于关键点牵引的方式进行三维头模变形数据增强，得到一批新的训练数据。基于新的训练数据对当前的关键点预测模型进行训练，以微调（fine-tune）当前的关键点预测模型，得到进一步符合用户需求的三维头模关键点预测模型，从而提升三维模型非刚性变形配准的准确性。

本申请实施例中，从用户的角度来看，用户无法感知关键点检测模型的演进迭代，用户通过点击自动适配按钮，得到一个变形包裹之后的代理模型。本申请实施例提供的线上迭代训练方式能够在保留既有服务的情况下，在不影响用户使用的情况下，逐步迭代优化最终的非刚性变形适配的效果。是一种可靠的，被实践证明了的有效的功能优化更新方式。

本申请实施例中，通过线上迭代的方式训练关键点检测模型以及用于进行非刚性变形配准处理的配准模型，相比于现有的软件工具（如R3DS、Wrap4d），具备流程自动化，能够提高配准的效率，进而加速角色动画骨骼绑定制作，提升游戏角色的制作效率。另一方面，采用线上数据收集，结合微调三维模型的方式，能够有效地贴合用户上传的实际头模数据，提升关键点检测的准确性，从而确保非刚性变形配准的准确性。

以下结合关键点检测结果以及配准结果说明本申请实施例实现的效果，参考图9A，图9A是本申请实施例提供的关键点检测结果的示意图，在本申请实施例提供的三维模型的处理方法对关键点检测模型进行迭代前，针对三维模型检测到的关键点901位于三维模型的眼眶附近，在本申请实施例提供的三维模型的处理方法对关键点检测模型进行迭代后，提升了关键点标注的准确性，将关键点902标注在三维模型的眼眶上。参考图9B，图9B是本申请实施例提供的配准结果的示意图，图9B展示了参考模型的正面、侧面视图，基于相关技术Wrap4d得到的配准结果的正面、侧面视图，基于本申请实施例得到的配准结果的正面、侧面视图。其中，本申请实施例得到配准结果相较于Wrap4d的配准结果，形状与参考模型更为接近。

下面继续说明本申请实施例提供的三维模型的处理装置455的实施为软件模块的示例性结构，在一些实施例中，如图2A所示，存储在存储器450的三维模型的处理装置455中的软件模块可以包括：检测模块4551，配置为对第一样本三维模型进行关键点检测，得到第一样本三维模型的多个关键点所处面片的面片索引和重心坐标；检测模块4551，配置为基于每个关键点的面片索引和重心坐标，确定每个关键点的三维空间坐标；数据增强模块4552，配置为对每个关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型；数据增强模块4552，配置为将多个第二样本三维模型和第一样本三维模型组合为样本模型集合；训练模块4553，配置为基于样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，其中，训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，第一待配准三维模型的关键点检测结果用于执行非刚性变形配准处理。

在一些实施例中，检测模块4551，配置为获取第一样本三维模型的至少一个方向的深度图像；对每个深度图像进行特征提取处理，得到每个深度图像的特征图；对每个特征图进行组合处理，得到拼接特征；对拼接特征进行激活处理，得到第一样本三维模型中的每个关键点的当前坐标；基于每个关键点的当前坐标，确定每个关键点的所处面片、以及每个关键点对应的重心坐标。

在一些实施例中，关键点检测模型包括：至少一个残差网络模型、特征拼接层以及多层感知器，其中，每个残差网络模型用于针对一个深度图像执行特征提取处理，特征拼接层用于执行组合处理，多层感知器用于执行激活处理。

在一些实施例中，检测模块4551，配置为针对每个关键点执行以下处理：基于面片索引查找关键点所处面片的每个顶点的顶点坐标；确定重心坐标中的每个重心坐标值与每个顶点的对应关系；将每个顶点坐标与对应的重心坐标值进行加权求和处理，得到关键点的三维空间坐标。

在一些实施例中，配准模块4554，配置为在基于样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型之后，基于第一待配准三维模型，调用训练后的关键点检测模型进行关键点检测，得到第一待配准三维模型的关键点信息，其中，关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；获取第一参考三维模型的关键点信息；以第一参考三维模型的关键点信息为配准参考对象，对第一待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第一待配准三维模型。

在一些实施例中，训练模块4553，配置为以第一参考三维模型的关键点信息为配准参考对象，对第一待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第一待配准三维模型之后，将配准后的第一待配准三维模型作为第一配准三维模型；对第一配准三维模型与第一参考三维模型的位置进行调整，以使第一配准三维模型与第一参考三维模型处于重叠状态；获取第一配准三维模型表面的多个参考点、以及每个参考点与第一参考三维模型之间的最短距离；将每个最短距离的平均值，作为第一配准三维模型与第一参考三维模型之间的配准误差，其中，配准误差与非刚性变形配准处理的配准效果负相关。

在一些实施例中，训练模块4553，配置为将第一配准三维模型的表面的多个顶点作为参考点；针对每个参考点执行以下处理：基于参考点的法向量的正方向与反方向发射射线，确定射线与第一参考三维模型表面的交点，将交点与参考点之间的距离作为参考点与第一参考三维模型之间的最短距离。

在一些实施例中，训练模块4553，配置为当所述第一待配准三维模型的数量为多个，且在将每个最短距离的平均值，作为第一配准三维模型与第一参考三维模型之间的配准误差之后，获取针对多个第一待配准三维模型执行的非刚性变形配准处理的配准误差；基于每个第一待配准三维模型的配准误差，对每个第一待配准三维模型进行降序排序处理，得到降序排序列表；针对降序排序列表中从头部开始的预设数量的第一待配准三维模型，获取对应的关键点信息；将预设数量的第一待配准三维模型、以及对应的关键点信息组合为样本模型集合；基于样本模型集合迭代训练训练后的关键点检测模型，得到调整后的关键点检测模型。

在一些实施例中，数据增强模块4552，配置为根据每个关键点在第一样本三维模型中所处的位置，将所有的关键点划分为多个关键点组；针对每个关键点组执行多次以下处理：将关键点组中的至少一个关键点作为目标关键点，并将每个目标关键点的几何中心作为每个目标关键点的局部坐标系的原点；在每个目标关键点的局部坐标系中，对每个目标关键点的位置进行移动，得到移动后的目标关键点的位置；将每个移动后的目标关键点的位置，从局部坐标系映射到第一样本三维模型对应的全局坐标系，得到每个移动后的目标关键点在全局坐标系中的位置；以每个移动后的目标关键点的位置替换第一样本三维模型中移动前的每个目标关键点的位置，得到第二样本三维模型。

在一些实施例中，目标关键点的位置在局部坐标系中通过三维空间坐标表征；数据增强模块4552，配置为获取关键点组在局部坐标系中的位移范围；针对每个目标关键点执行以下处理：基于位移范围生成随机位移参数，将目标关键点的三维空间坐标中至少一个坐标值与随机位移参数相加，得到移动后的目标关键点在局部坐标系中的三维空间坐标。

在一些实施例中，训练模块4553，配置为基于样本模型集合调用初始化的关键点检测模型进行关键点检测，得到每个第二样本三维模型和第一样本三维模型的预测关键点的预测三维空间坐标；确定每个预测三维空间坐标与每个关键点的三维空间坐标之间的差异；基于差异确定初始化的关键点检测模型的训练损失，基于训练损失对更新初始化的关键点检测模型的参数，得到训练后的关键点检测模型。

本申请实施例还提出一种三维模型的处理装置，包括：检测模块4551，配置为获取训练后的关键点检测模型，其中，训练后的关键点检测模型是通过本申请实施例的三维模型的处理方法训练得到的；检测模块4551，配置为获取第二待配准三维模型和第二参考三维模型；检测模块4551，配置为对第二待配准三维模型与第二参考三维模型分别进行关键点检测处理，得到第二待配准三维模型的关键点信息、第二参考三维模型的关键点信息，其中，关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；配准模块4554，配置为以第二参考三维模型的关键点信息作为配准参考对象，对第二待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第二待配准三维模型。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机可执行指令，该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例上述的三维模型的处理方法。

本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的三维模型的处理方法，例如，如图3A示出的三维模型的处理方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，HyperText Markup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。

综上所述，通过本申请实施例通过关键点检测模型对样本三维模型进行关键点检测处理，得到样本三维模型对应的关键点信息，并对关键点的位置进行移动，生成大量的新的样本三维模型，提升了关键点标注效率，丰富了训练数据集合，节约了获取标注数据所需的计算资源，提升了训练关键点检测模型的准确性，基于训练完成的关键点检测模型获取待配准模型的关键点信息，能够提升基于关键点信息进行三维模型配准的准确性，提升了模型配准效率。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (17)

1.一种三维模型的处理方法，其特征在于，所述方法包括：

对第一样本三维模型进行关键点检测，得到所述第一样本三维模型的多个关键点所处面片的面片索引和重心坐标；

基于每个所述关键点的面片索引和重心坐标，确定每个所述关键点的三维空间坐标；

对每个所述关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型；

将所述多个第二样本三维模型和所述第一样本三维模型组合为样本模型集合；

基于所述样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，其中，所述训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，所述第一待配准三维模型的关键点检测结果用于执行非刚性变形配准处理。

2.根据权利要求1所述的方法，其特征在于，所述对第一样本三维模型进行关键点检测，得到所述第一样本三维模型的多个关键点所处面片的面片索引和重心坐标，包括：

获取所述第一样本三维模型的至少一个方向的深度图像；

对每个所述深度图像进行特征提取处理，得到每个所述深度图像的特征图；

对每个所述特征图进行组合处理，得到拼接特征；

对所述拼接特征进行激活处理，得到所述第一样本三维模型中的每个关键点的当前坐标；

基于每个所述关键点的当前坐标，确定每个所述关键点的所处面片、以及每个所述关键点对应的重心坐标。

3.根据权利要求2所述的方法，其特征在于，

所述关键点检测模型包括：至少一个残差网络模型、特征拼接层以及多层感知器，其中，每个所述残差网络模型用于针对一个深度图像执行特征提取处理，所述特征拼接层用于执行所述组合处理，所述多层感知器用于执行所述激活处理。

4.根据权利要求1所述的方法，其特征在于，所述基于每个所述关键点的面片索引和重心坐标，确定每个所述关键点的三维空间坐标，包括：

针对每个所述关键点执行以下处理：

基于所述面片索引查询所述关键点所处面片的每个顶点的顶点坐标；

确定所述重心坐标中的每个重心坐标值与每个顶点的对应关系；

将每个所述顶点坐标与对应的重心坐标值进行加权求和处理，得到所述关键点的三维空间坐标。

5.根据权利要求1所述的方法，其特征在于，在所述基于所述样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型之后，所述方法还包括：

基于所述第一待配准三维模型，调用所述训练后的关键点检测模型进行关键点检测，得到所述第一待配准三维模型的关键点信息，其中，所述关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；

获取第一参考三维模型的关键点信息；

以所述第一参考三维模型的关键点信息为配准参考对象，对所述第一待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第一待配准三维模型。

6.根据权利要求5所述的方法，其特征在于，所述以所述第一参考三维模型的关键点信息为配准参考对象，对所述第一待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第一待配准三维模型之后，所述方法还包括：

将所述配准后的第一待配准三维模型作为第一配准三维模型；

对所述第一配准三维模型与所述第一参考三维模型的位置进行调整，以使所述第一配准三维模型与所述第一参考三维模型处于重叠状态；

获取所述第一配准三维模型表面的多个参考点、以及每个所述参考点与所述第一参考三维模型之间的最短距离；

将每个所述最短距离的平均值，作为所述第一配准三维模型与所述第一参考三维模型之间的配准误差，其中，所述配准误差与所述非刚性变形配准处理的配准效果负相关。

7.根据权利要求6所述的方法，其特征在于，所述获取所述第一配准三维模型表面的多个参考点、以及每个所述参考点与所述第一参考三维模型之间的最短距离，包括：

将所述第一配准三维模型的表面的多个顶点作为参考点；

针对每个所述参考点执行以下处理：基于所述参考点的法向量的正方向与反方向发射射线，确定所述射线与所述第一参考三维模型表面的交点，将所述交点与所述参考点之间的距离作为所述参考点与所述第一参考三维模型之间的最短距离。

8.根据权利要求6所述的方法，其特征在于，当所述第一待配准三维模型的数量为多个，且在所述将每个所述最短距离的平均值，作为所述第一配准三维模型与所述第一参考三维模型之间的配准误差之后，所述方法还包括：

获取针对多个所述第一待配准三维模型执行的非刚性变形配准处理的配准误差；

基于每个所述第一待配准三维模型的配准误差，对每个所述第一待配准三维模型进行降序排序处理，得到降序排序列表；

针对所述降序排序列表中从头部开始的预设数量的所述第一待配准三维模型，获取对应的关键点信息；

将所述预设数量的所述第一待配准三维模型、以及对应的关键点信息组合为样本模型集合；

基于所述样本模型集合迭代训练所述训练后的关键点检测模型，得到调整后的关键点检测模型。

9.根据权利要求1所述的方法，其特征在于，所述对每个所述关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型，包括：

根据每个所述关键点在所述第一样本三维模型中所处的位置，将所有的关键点划分为多个关键点组；

针对每个所述关键点组执行多次以下处理：

将所述关键点组中的至少一个关键点作为目标关键点，并将每个所述目标关键点的几何中心作为每个所述目标关键点的局部坐标系的原点；

在每个所述目标关键点的局部坐标系中，对每个所述目标关键点的位置进行移动，得到移动后的目标关键点的位置；

将每个所述移动后的目标关键点的位置，从所述局部坐标系映射到所述第一样本三维模型对应的全局坐标系，得到每个所述移动后的目标关键点在所述全局坐标系中的位置；

以每个所述移动后的目标关键点的位置替换所述第一样本三维模型中移动前的每个所述目标关键点的位置，得到第二样本三维模型。

10.根据权利要求9所述的方法，其特征在于，所述目标关键点的位置在所述局部坐标系中通过三维空间坐标表征；

所述在每个所述目标关键点的局部坐标系中，对每个所述目标关键点的位置进行移动，得到移动后的目标关键点的位置，包括：

获取所述关键点组在所述局部坐标系中的位移范围；

针对每个所述目标关键点执行以下处理：基于所述位移范围生成随机位移参数，将所述目标关键点的三维空间坐标中至少一个坐标值与所述随机位移参数相加，得到移动后的目标关键点在所述局部坐标系中的三维空间坐标。

11.根据权利要求1所述的方法，其特征在于，所述基于所述样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，包括：

基于所述样本模型集合调用所述初始化的关键点检测模型进行关键点检测，得到每个所述第二样本三维模型和所述第一样本三维模型的预测关键点的预测三维空间坐标；

确定每个所述预测三维空间坐标与每个所述关键点的三维空间坐标之间的差异；

基于所述差异确定所述初始化的关键点检测模型的训练损失，基于所述训练损失对更新所述初始化的关键点检测模型的参数，得到训练后的关键点检测模型。

12.一种三维模型的处理方法，其特征在于，所述方法包括：

获取训练后的关键点检测模型，其中，所述训练后的关键点检测模型是通过权利要求1至11任一项所述的三维模型的处理方法训练得到的；

获取第二待配准三维模型和第二参考三维模型；

对所述第二待配准三维模型与所述第二参考三维模型分别进行关键点检测处理，得到所述第二待配准三维模型的关键点信息、所述第二参考三维模型的关键点信息，其中，所述关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；

以所述第二参考三维模型的关键点信息作为配准参考对象，对所述第二待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第二待配准三维模型。

13.一种三维模型的处理装置，其特征在于，所述装置包括：

检测模块，配置为对第一样本三维模型进行关键点检测，得到所述第一样本三维模型的多个关键点所处面片的面片索引和重心坐标；

所述检测模块，配置为基于每个所述关键点的面片索引和重心坐标，确定每个所述关键点的三维空间坐标；

数据增强模块，配置为对每个所述关键点的三维空间坐标进行位移处理，得到多个第二样本三维模型；

所述数据增强模块，配置为将所述多个第二样本三维模型和所述第一样本三维模型组合为样本模型集合；

训练模块，配置为基于所述样本模型集合训练初始化的关键点检测模型，得到训练后的关键点检测模型，其中，所述训练后的关键点检测模型用于对第一待配准三维模型进行关键点检测，所述第一待配准三维模型的关键点检测结果用于执行非刚性变形配准处理。

14.一种三维模型的处理装置，其特征在于，所述装置包括：

检测模块，配置为获取训练后的关键点检测模型，其中，所述训练后的关键点检测模型是通过权利要求1至11任一项所述的三维模型的处理方法训练得到的；

所述检测模块，配置为获取第二待配准三维模型和第二参考三维模型；

所述检测模块，配置为对所述第二待配准三维模型与所述第二参考三维模型分别进行关键点检测处理，得到所述第二待配准三维模型的关键点信息、所述第二参考三维模型的关键点信息，其中，所述关键点信息包括：每个关键点所处面片的面片索引、面片的重心坐标；

配准模块，配置为以所述第二参考三维模型的关键点信息作为配准参考对象，对所述第二待配准三维模型的关键点信息进行非刚性变形配准处理，得到配准后的第二待配准三维模型。

15.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现权利要求1至12任一项所述的三维模型的处理方法。

16.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至12任一项所述的方法。

17.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至12任一项所述的方法。

Images