CN112991501A - 一种数据处理方法、装置及计算机可读存储介质 - Google Patents

一种数据处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112991501A
CN112991501A CN202110296887.3A CN202110296887A CN112991501A CN 112991501 A CN112991501 A CN 112991501A CN 202110296887 A CN202110296887 A CN 202110296887A CN 112991501 A CN112991501 A CN 112991501A
Authority
CN
China
Prior art keywords
information
sample
grid
graph
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110296887.3A
Other languages
English (en)
Other versions
CN112991501B (zh
Inventor
潘晓宇
黄健聪
苏统奎
金小刚
麦嘉铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110296887.3A priority Critical patent/CN112991501B/zh
Publication of CN112991501A publication Critical patent/CN112991501A/zh
Application granted granted Critical
Publication of CN112991501B publication Critical patent/CN112991501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • A63F13/57Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置及计算机可读存储介质,本申请实施例通过采集模型网格样本图和骨骼样本图;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。以此,极大提升了数据处理的效率。

Description

一种数据处理方法、装置及计算机可读存储介质
技术领域
本申请涉及计算机技术领域,具体涉及一种数据处理方法、装置及计算机可读存储介质。
背景技术
随着文化产业和计算机技术的发展,动漫以及游戏对高质量的虚拟对象的需求日益增长,其中,为了让虚拟对象仿真进行动作,一般采用骨骼蒙皮技术进行处理。
在现有技术中,骨骼蒙皮技术指设计者首先可以为虚拟对象的模型网格(Mesh)构建骨架,之后按照一定的蒙皮权重信息将骨架和模型网格相互联系起来,使得可以通过骨架运动带动按照蒙皮权重信息加权的模型网格一起仿真进行动作。
在对现有技术的研究和实践过程中,本申请的发明人发现,现有技术中,为了达到骨骼对模型的精确控制,往往需要设计者采用手工方式设置蒙皮权重信息,过程繁琐,导致数据处理的效率较低。
发明内容
本申请实施例提供一种数据处理方法、装置及计算机可读存储介质,可以提升数据处理的效率。
为解决上述技术问题,本申请实施例提供以下技术方案:
一种数据处理方法,包括:
采集模型网格样本图和骨骼样本图,所述模型网格样本图中包含多个网格顶点样本信息,所述骨骼样本图中包含多个骨骼样本信息;
将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;
根据所述模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对所述第一特征信息和第二特征信息进行更新;
根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;
基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
一种数据处理装置,包括:
采集单元,用于采集模型网格样本图和骨骼样本图,所述模型网格样本图中包含多个网格顶点样本信息,所述骨骼样本图中包含多个骨骼样本信息;
转化单元,用于将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;
更新单元,用于根据所述模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对所述第一特征信息和第二特征信息进行更新;
训练单元,用于根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;
预测单元,用于基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
在一些实施例中,所述第一更新子单元,用于:
获取每一网格顶点样本信息相连的第一网格顶点样本信息集合;
获取与每一网格顶点样本信息距离小于预设距离阈值的第二网格顶点样本信息集合;
将所述第一网格顶点样本信息集合的加载后的第一特征信息和所述第二网格顶点样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第一特征信息的更新。
在一些实施例中,所述第二更新子单元,用于:
获取每一骨骼样本信息连接的目标骨骼样本信息集合;
将每一骨骼样本信息的加载后的第二特征信息和所述目标骨骼样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第二特征信息的更新。
在一些实施例中,所述训练单元,用于:
获取所述模型网格样本图和骨骼样本图对应的第一全局特征信息和第二全局特征信息;
将所述第一全局特征信息、第二全局特征信息、更新后的第一特征信息和更新后的第二特征信息联合输入至预设模型中,输出每一网格顶点样本信息对应的预设蒙皮权重信息;
根据所述预设蒙皮权重信息和标签信息之间差异进行迭代训练,直至所述差异收敛,得到训练后的预设模型。
在一些实施例中,所述预测单元,用于:
获取待识别模型网格图和待识别骨骼图;
将所述待识别模型网格图中每一网格顶点信息转化为第三特征信息以及将所述待识别骨骼图中每一骨骼信息转化为第四特征信息;
根据所述待识别模型网格图和所述待识别骨骼图各自对应的图内节点关系以及相互之间作用的图间节点关系对所述第三特征信息和第四特征信息进行更新;
将所述更新后的第三特征信息和第四特征信息输入至训练后的预设模型,输出所述待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息。
一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述数据处理方法中的步骤。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据处理方法中的步骤。
一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机上述数据处理方法中的步骤。
本申请实施例通过采集模型网格样本图和骨骼样本图,模型网格样本图中包含多个网格顶点样本信息,骨骼样本图中包含多个骨骼样本信息;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。以此,可以将每一网格顶点信息和每一骨骼样本信息转化为第一特征信息和第二特征信息,并使得第一特征信息和第二特征信息可以学习图间和图内关系进行表征,将更新后的第一特征信息和第二特征信息输入至预设模型进行蒙皮权重信息预测训练,并根据训练后的预设模型快速且准确的预测待识别模型网格图中每一网格顶点信息对应的蒙皮权重。相对于需要设计者手工设置蒙皮权重信息的方案而言,本申请快速且准确的设置蒙皮权重信息,极大提升了数据处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据处理系统的场景示意图;
图2a是本申请实施例提供的数据处理方法的流程示意图;
图2b为本申请实施例提供的数据处理方法的场景示意图;
图3是本申请实施例提供的数据处理方法的另一流程示意图;
图4为本申请实施例提供的数据处理方法的另一场景示意图;
图5是本申请实施例提供的数据处理装置的结构示意图;
图6是本申请实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明实施例提供一种数据处理方法、装置及计算机可读存储介质。其中,该数据处理方法可以应用于数据处理装置中。该数据处理装置可以集成在计算机设备中,该计算机设备可以是具有数据处理功能的终端。其中,该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机以及智能手表等,但并不局限于此。该计算机设备也可以是服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1,为本申请提供的数据处理的场景示意图;如图所示,计算机设备采集模型网格样本图和骨骼样本图,该模型网格样本图中包含多个网格顶点样本信息,该骨骼样本图中包含多个骨骼样本信息;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据该模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对该第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
需要说明的是,图1所示的数据处理的场景示意图仅仅是一个示例,本申请实施例描述的数据处理场景是为了更加清楚地说明本申请的技术方案,并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知,随着数据处理的演变和新业务场景的出现,本申请提供的技术方案对于类似的技术问题,同样适用。
以下分别进行详细说明。
在本实施例中,将从数据处理装置的角度进行描述,该数据处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的服务器中。
请参阅图2a,图2a是本申请实施例提供的数据处理方法的流程示意图。该数据处理方法包括:
在步骤101中,采集模型网格样本图和骨骼样本图。
其中,可以在互联网上下载数据集,在一实施方式中,该数据集可以为ModelsResourse-RigNetv1数据集,该数据集中可以包含很多不同类型的角色模型(即样本),例如人形、鸟类或者鱼类等等。
需要说明的是,本申请应用于骨骼蒙皮动画(Skinned Mesh)场景,在该动画场景中,可以将角色模型分为骨骼(Bone)和蒙皮(Skinned Mesh)两个部分,该骨骼可以理解为一个坐标空间,该坐标空间形成骨骼信息,骨骼形成的关节可以理解为骨骼坐标空间的原点,关节的位置由它在父骨骼坐标空间中的位置描述。例如肘关节为前臂骨骼的原点,该骨骼形成骨架,每一骨骼在三维空间中可以理解为一个顶点,即骨骼信息。该蒙皮可以包含模型网格,该模型网格上包含很多个网格顶点,该网格顶点可以为三维坐标,该模型网格可以理解为一层皮,例如一件衣服,是依附在骨骼上的,即蒙皮是指将模型网格中的网格顶点绑定受其影响的骨骼上,而且每个网格顶点可以同时被多个骨骼所控制,以实现虚拟对象的仿真运动。
该网格顶点可以包含蒙皮信息(skin信息),该蒙皮信息决定网格顶点如何绑定至骨骼上,该蒙皮信息还包含网格顶点会受到哪些骨骼影响,以及受骨骼影响的权重,该权重即为蒙皮权重信息,该蒙皮权重信息即决定了骨骼对该网格顶点的影响程度,为了合理设置蒙皮权重,往往需要设计者采用手工方式进行设计,数据处理的效率极低。
本申请实施例为了解决上述技术问题,可以将采集的样本分离为模型网格样本图以及骨骼样本图,该模型网格样本图可以理解为设置好的蒙皮,由多个网格顶点构成,每一网格顶点携带预先设置合理的网格顶点样本信息,相应的,该骨骼样本图为多个连续组合的关节组合形成的骨架图,该骨骼样本图中可以包含个骨骼样本信息。
在步骤102中,将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术等技术,具体通过如下实施例进行说明:
其中,本申请应用计算机视觉技术进行蒙皮权重信息的预测,即使得神经网络模型学习网格顶点和骨骼之间的节点关系进行蒙皮权重信息的预测,以此,需要将每一网格顶点样本信息和每一骨骼样本信息转化为特征信息,具体为,对于每一网格顶点样本信息vi,其距离所有骨骼的距离可以被表示为{Di,j}j=1,...,B,其中该Di,j是第i个网格顶点样本信息到第j根骨骼的距离,该B代表骨骼的数量。一个网格顶点样本信息只由预设数量根的骨骼样本信息影响,该预设数量可以为3或者4根等等,本申请实施例以预设数量为3根进行举例说明,所以我们将这些距离按照由高至低的顺序选取3根骨骼,得到一个对应的骨骼序号的顺序{nij}j=1,...,K,其中,该K为3,nij是距离该顶点的第j根骨骼的序号。
可以看出的是,一个网格顶点信息的第一特征信息可以由该网格顶点的三维坐标以及离其最近的K根骨骼的举例拼接形成,相应的,对于骨骼样本信息的节点而言,其属性就是其对应的骨骼的起始关节和终点关节的三维坐标拼接形成,以此,得到每一网格顶点样本信息转化的第一特征信息以及每一骨骼样本信息转化的第二特征信息。
在一些实施方式中,该将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息的步骤,可以包括:
(1)获取每一网格顶点样本信息与每一骨骼样本信息之间的距离信息;
(2)根据该距离信息由高至低的顺序,为每一网格顶点样本信息选取预设数量的目标骨骼样本信息;
(3)根据每一网格顶点样本信息的坐标信息以及对应的目标骨骼样本信息的距离信息构建第一特征信息;
(4)根据每一骨骼样本信息的起始关节位置和终点关节位置构建第二特征信息。
其中,可以获取每一网格顶点样本信息与对应的每一骨骼样本信息之间的三维距离信息,该三维距离信息越大,代表骨骼样本信息对网格顶点信息影响越大,该三维距离信息越小,代表骨骼样本信息对网格顶点信息影响越小。
进一步的,一个网格顶点样本信息可以由预设数量根的骨骼样本信息影响,该预设数量为用户定义的常量,例如为3,以此,可以根据距离信息由高至低的顺序,为每一网格顶点样本信息选取距离最近的3个目标骨骼样本信息。
在一实施例中,每一网格顶点样本信息的第一特征信息可以由其三维坐标和离其最近的3根骨骼的距离的倒数进行拼接形成,例如:
Figure BDA0002984676990000081
其中,该
Figure BDA0002984676990000082
为第i个网格顶点样本信息的第一特征信息,该
Figure BDA0002984676990000083
为第i个网格顶点样本信息的三维坐标,该
Figure BDA0002984676990000084
指3根骨骼中的第一个骨骼与第i个网格顶点样本信息的距离,该
Figure BDA0002984676990000085
指3根骨骼中的第K个骨骼与第i个网格顶点样本信息的距离,该K等于3。以此,可以实现构建每一网格顶点样本信息对应的第一特征信息。
在一实施例中,每一骨骼样本信息的第二特征信息可以由其对应的骨骼的起始关节和终止关节的三维坐标拼接形成,例如:
Figure BDA0002984676990000086
其中该
Figure BDA0002984676990000087
指第二特征信息,该
Figure BDA0002984676990000088
指第j根骨骼的起始关节的三维坐标,该
Figure BDA0002984676990000089
指第j根骨骼的终止关节的三维坐标。以此,可以实现构建每一骨骼样本信息的第二特征信息。
在一些实施方式中,该获取每一网格顶点样本信息与每一骨骼样本信息之间的距离信息的步骤,可以包括:
(1.1)将该模型网格样本图进行体素化处理,并将每一网格顶点样本信息映射在体素化处理后的网格方格样本中;
(1.2)将该骨骼样本图进行体素化处理,并将每一骨骼样本信息映射在体素化处理后的骨骼方格样本中;
(1.3)搜索每一骨骼方格样本中的骨骼样本信息至每一网格方格样本中的网格顶点样本信息之间的路径;
(1.4)根据该路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
其中,请一并参阅图2b所示,该体素化处理指体素化方法,该体素化能够对模型网格样本图和骨骼样本图进行简化,将网格样本图和骨骼样本图直接转化为多个均匀的网格,在求网格样本图和骨骼样本图的测地线、求交和距离等过程中有较好的应用,本申请实施例中的体素化处理是为了方便和准确的计算网格顶点样本信息和骨骼样本信息之间的距离信息。以此,首先可以将该模型网格样本图进行体素化处理,得到体素化处理后的网格方格样本,在图2b中具有颜色的方格即为体素化处理后的网格方格样本,并将每一网格顶点样本信息12映射在体素化处理后的网格方格样本中。
还可以将该骨骼样本图进行体素化处理,得到体素化处理后的骨骼方格样本中,在图2b中空白的方格即为体素化处理后的骨骼方格样本,并将每一骨骼样本信息11映射在体素化处理后的骨骼方格样本中。
进一步的,从每一骨骼方格样本中的骨骼样本信息11作为起点,开始搜索每一骨骼方格样本中骨骼样本信息11至每一网格方格样本中的网格顶点样本信息12之间的路径,进而根据该路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
在步骤103中,根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对第一特征信息和第二特征信息进行更新。
其中,该图内节点关系指模型网格样本图中每一网格顶点信息之间的相互影响表征关系以及骨骼样本图中每一骨骼样本信息之间的相互影响表征关系,相应的,该图间节点关系指网络样本图中每一网格顶点信息和骨骼样本图中每一骨骼样本信息之间的相互影响表征关系,为了使得蒙皮权重信息的预测更准确,需要使得该第一特征信息和第二特征信息中学习到该图内节点关系以及图间节点关系。
在一些实施方式中,该根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系对第一特征信息和第二特征信息进行更新的步骤,可以包括:
(1)将该模型网格样本图中的每一网格顶点样本信息与该骨骼样本图中的每一骨骼样本信息之间的相互作用关系分别加载至该第一特征信息以及第二特征信息;
(2)基于该模型网格样本图中每一网格顶点样本信息之间的位置关系对加载后的第一特征信息进行更新;
(3)基于该骨骼样本图中每一骨骼样本信息之间的位置关系对加载后的第二特征信息进行更新;
(4)返回执行将该模型网格样本图中的每一网格顶点样本信息与该骨骼图中的每一骨骼样本信息之间的相互作用关系分别加载至该第一特征信息以及第二特征信息的步骤进行迭代更新,直至迭代次数满足预设迭代次数。
其中,对于模型网格样本图中的每一网格顶点样本信息而言,需要获取对应的骨骼样本图中对其具有影响的骨骼样本信息对其的作用关系。而对于骨骼样本图中的每一骨骼样本信息而言,需要获取对应的模型网格样本图中受其影响的作用关系。
具体而言,对于模型网格样本图像中的每一网格顶点样本信息而言,由于一个网格顶点样本信息只受到与其最接近的K(预设数量,可以为3)根骨骼的影响,以此,只需要将每一网格顶点样本信息的第一特征信息与该K根骨骼的第二特征信息拼接之后进行卷积处理,即可以使得每一网格顶点样本信息的第一特征信息学习到对应的骨骼样本图中对其具有影响的骨骼样本信息对其的作用关系。例如,请一并参阅如下公式:
Figure BDA0002984676990000101
其中,该
Figure BDA0002984676990000102
为第i个网格顶点样本信息加载后的第一特征信息,该分号(;)是将两个计算过程区分的符号,用于分隔和连接的作用,该Wb2v为卷积学习参数,该||是将两个特征信息拼接在一起的操作符,该
Figure BDA0002984676990000111
指第i个网格顶点样本信息的第一特征信息,该
Figure BDA0002984676990000112
指K根骨骼中的第一根骨骼样本信息对应的第二特征信息,该
Figure BDA0002984676990000113
指K根骨骼中的第K根骨骼样本信息对应的第二特征信息,该MLP为多层感知机(Multilayer Perceptron),也可以叫做人工神经网络(ANN,Artificial Neural Network),除了输入输出层,它中间可以有多个隐层,用于对特征进行非线性的卷积处理,即可以实现网格顶点样本信息的第一特征信息学习到对应的骨骼样本图中对其具有影响的骨骼样本信息对其的作用关系。
相应的,对于骨骼样本图中的每一骨骼样本信息而言,由于其影响的网格顶点样本信息的数量是不固定的,以此,本申请实施例可计算其影响的网格顶点样本信息的特征对应的统计信息。
在一实施例中,可以获取每一骨骼样本信息影响的网格顶点样本信息的第二特征信息对应的最大值、平均值和方差值,该方差值是每个第二特征信息值与全体第二特征信息的平均数之差的平方值的平均数。进而,可以使得每一骨骼样本信息的第二特征信息学习到对应的模型网格样本图中受其影响的网格顶点样本信息对其的作用关系。例如,请一并参阅如下公式:
Figure BDA0002984676990000114
其中,该max为最大值,该mean为平均值,该var为方差值,该
Figure BDA0002984676990000115
为第j根骨骼样本信息,该Wv2b为卷积学习参数,该||是将两个特征信息拼接在一起的操作符,该
Figure BDA0002984676990000116
指第j根骨骼样本信息的第二特征信息,该vi∈I(bj)指受第j根骨骼样本信息影响的网格顶点样本信息集合,该
Figure BDA0002984676990000117
为受第j根骨骼样本信息影响的网格顶点样本信息的第一特征信息,以此,通过多层感知机进行非线性卷积处理,实现骨骼样本图中的骨骼样本信息的第二特征信息学习到对应的模型网格样本图中受其影响的网格顶点样本信息对其的作用关系。以此实现模型网格样本图和骨骼样本图之间相互传递信息,实现图间关系的传递。
进一步的,本申请实施例还需要进行图内关系的传导,学习模型网格样本图中每一网格顶点信息之间的位置关系的表征,将其表征到加载后的第一特征信息中进行更新,具体而言,在模型网格样本图中,需要将每一网格顶点样本信息之间的位置关系进行学习,即在每一网格顶点样本信息和邻近的网格顶点样本信息之间进行信息传递,实现图内关系的传导,例如,请一并参阅如下公式:
Figure BDA0002984676990000121
其中,该
Figure BDA0002984676990000122
为更新后的第一特征信息,该Nm(vi)代表第i个网格顶点样本信息相连的网格顶点样本信息集合的第一特征信息,该Ng(vi)代表与第i个网格顶点样本信息的距离小于一定距离的网格顶点样本信息集合的第一特征信息,该Wv为可学习参数,该一定距离可以为例如0.06米,该EdgeConv为边卷积模型,用于完成点与点之间的第一特征信息的关系的建模,通过该边卷积模型和多层感知机的依次处理,可以使得该模型网格样本图中的每一网格顶点样本信息的第一特征信息学习到彼此之间的位置关系,实现对加载后的第一特征信息进行图内关系的更新。
本申请实施例还需要学习骨骼样本图中每一骨骼信息之间的位置关系的表征,将其表征加到加载后的第二特征信息中进行更新,具体而言,需要将每一骨骼样本信息之间的位置关系进行学习,即在每一骨骼样本信息和邻近的骨骼样本信息之间进行信息传递,实现图内关系的传导,例如,请一并参阅如下公式:
f″b=EdgeConv(bi,N(bi))
其中,该f″b为更新后的第二特征信息,该bi为第i根骨骼样本信息的第二特征信息,该N(bi)为与第i根骨骼样本信息连接的骨骼集合,该EdgeConv为边卷积模型,以此,使得该骨骼样本图中每一骨骼样本信息的第二特征信息学习到彼此之间的位置关系,实现对加载后的第二特征信息进行图内关系的更新。
最后,为了得到准确的每一网格顶点样本信息最终的第一特征信息和每一骨骼样本信息最终的第二特征信息,可以返回执行将该模型网格样本图中的每一网格顶点样本信息与该骨骼图中的每一骨骼样本信息之间的相互作用关系分别加载至该第一特征信息以及第二特征信息的步骤进行多次迭代更新,该预设迭代次数为系统预置的,例如10次或者20次,该最终的第一特征信息和最终的第二特征信息经过不断地图间节点关系和图内节点关系的学习,可以更准确的表达出模型网格样本图和骨骼样本图的真实关系,使得后续的预测更为准确,具体请一并参阅后续步骤。
在步骤104中,根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型。
其中,该预设模型可以为多层感知机模型,该多层感知机模型连接相应的softmax层,该softmax层可以用于多分类过程中,将多个神经元的输出,映射到(0,1)区间内,在本申请实施例中,该蒙皮权重信息可以看成概率分布,以此,可以将该更新后最终的第一特征信息和第二特征信息输入至预设模型中,通过该预设模型输出每一骨骼样本信息对其影响的网格顶点样本信息的预测蒙皮权重信息。
进一步的,将该预测蒙皮权重信息与真实蒙皮权重信息(标签信息)进行差异对比,反向传播对该预设模型的网络参数进行调整,并进行迭代训练,直至该差异收敛,得到训练后的预设模型。
在一些实施方式中,该根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型的步骤,可以包括:
(1)获取该模型网格样本图和骨骼样本图对应的第一全局特征信息和第二全局特征信息;
(2)将该第一全局特征信息、第二全局特征信息、更新后的第一特征信息和更新后的第二特征信息联合输入至预设模型中,输出每一网格顶点样本信息对应的预设蒙皮权重信息;
(3)根据该预设蒙皮权重信息和标签信息之间差异进行迭代训练,直至该差异收敛,得到训练后的预设模型。
其中,本申请实施例为了保留的模型网格样本图和骨骼样本图中节点之间的原始关系特征,可以分别提取该模型网格样本图和骨骼样本图对应的第一全局特征信息和第二全局特征信息。
在一实施方式中,可以由预设神经网络分别对该模型网格样本图和骨骼样本图进行全局特征信息的提取,该预设神经网络可以由最大池化层和多层感知机组成,该最大池化层用于取图中局部接受域中值最大的点,接下来通过最大池化层提取图中的第一全局特征信息和第二全局特征信息。
进一步的,将该第一全局特征信息、第二全局特征信息、更新后最终的第一特征信息和更新后最终的第二特征信息联合输入至预设模型中,输出每一骨骼样本信息对其影响的网格顶点样本信息的预测蒙皮权重信息。可以理解的是,本申请实施例在将更新后最终的第一特征信息和第二特征信息输入至预设模型中的基础上,增加了可以表征模型网格样本图和骨骼样本图中节点之间的原始关系特征,可以使得对于蒙皮权重信息预测的准确性更高。
将该预测蒙皮权重信息与真实蒙皮权重信息(标签信息)进行差异对比,反向传播对该预设模型的网络参数进行调整,并进行迭代训练,直至该差异收敛,得到预测准确性更高的训练后的预设模型。
在步骤105中,基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
其中,可以获取待识别模型网格图和待识别骨骼图,分别提取出该待识别模型网格图中每一网格顶点信息转化的第三特征信息以及将该待识别骨骼图中每一骨骼信息转化为第四特征信息。
进一步的,根据该待识别模型网格图和该待识别骨骼图各自对应的图内节点关系以及相互之间作用的图间节点关系对该第三特征信息和第四特征信息进行更新,并将更新后的第三特征信息和第四特征信息输入至训练后预设模型,由该训练后的预设模型输出待识别模型网格图中每一网格顶点信息对应预测的蒙皮权重信息,具体特征转化过程和更新过程请参阅步骤102和步骤103的描述,此处不做具体赘述。
以此,可以根据该蒙皮权重信息将该待识别模型网格图直接蒙皮在待识别骨骼图上,快速实现虚拟对象的构建,无需设计者手动设置蒙皮权重信息生成虚拟对象,极大的提升了数据处理的效率。
由上述可知,本申请实施例通过采集模型网格样本图和骨骼样本图;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系对第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。以此,可以将每一网格顶点信息和每一骨骼样本信息转化为第一特征信息和第二特征信息,并使得第一特征信息和第二特征信息可以学习图间和图内关系进行表征,将更新后的第一特征信息和第二特征信息输入至预设模型进行蒙皮权重信息预测训练,并根据训练后的预设模型快速且准确的预测待识别模型网格图中每一网格顶点信息对应的蒙皮权重。相对于需要设计者手工设置蒙皮权重信息的方案而言,本申请快速且准确的设置蒙皮权重信息,极大提升了数据处理的效率。
结合上述实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该数据处理装置具体集成在服务器中为例进行说明,具体参照以下说明。
请参阅图3,图3为本申请实施例提供的数据处理方法的另一流程示意图。该方法流程可以包括:
在步骤201中,服务器采集模型网格样本图和骨骼样本图。
为了更好的说明本申请实施例,请一并参阅图4所示,服务器可以从互联网上下载数据集ModelsResourse-RigNetv1,该数据集中可以包含很多预先设置好参数的角色模型样本,为了实现后续训练,将该角色模型样本分离为模型网格图21以及骨骼样本图22,该模型网格图即为蒙皮,由多个网格顶点信息构成,该网格顶点信息为网格顶点对应的三维坐标。相应的,该骨骼样本图22为多个连续组合的关节形成的骨架图,该骨架样本图22可以包含多个骨骼样本信息,该骨骼样本信息为坐标空间,由该坐标空间构成骨骼,该骨骼样本图中的点即为关节点,为一个三维坐标。
在步骤202中,服务器将模型网格样本图进行体素化处理,并将每一网格顶点样本信息映射在体素化处理后的网格方格样本中,将骨骼样本图进行体素化处理,并将每一骨骼样本信息映射在体素化处理后的骨骼方格样本中,搜索每一骨骼方格样本中的骨骼样本信息至每一网格方格样本中的网格顶点样本信息之间的路径。
其中,请继续参阅图2b所示,服务器首先可以将该模型网格样本图进行体素化处理,得到体素化处理后的网格方格样本,在图2b中具有颜色的方格即为体素化处理后的网格方格样本,并将每一网格顶点样本信息12映射在体素化处理后的网格方格样本中。
还可以将该骨骼样本图进行体素化处理,得到体素化处理后的骨骼方格样本中,在图2b中空白的方格即为体素化处理后的骨骼方格样本,并将每一骨骼样本信息11映射在体素化处理后的骨骼方格样本中。
进一步的,从每一骨骼方格样本中的骨骼样本信息11作为起点,开始搜索每一骨骼方格样本中骨骼样本信息11至每一网格方格样本中的网格顶点样本信息12之间的路径。
在步骤203中,服务器根据路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
其中,由于体素化处理后的网格方格样本和骨骼方格样本为均匀的方格,以此,服务器可以根据该路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
在步骤204中,服务器根据距离信息由高至低的顺序,为每一网格顶点样本信息选取预设数量的目标骨骼样本信息,根据每一网格顶点样本信息的坐标信息以及对应的目标骨骼样本信息的距离信息构建第一特征信息,根据每一骨骼样本信息的起始关节位置和终点关节位置构建第二特征信息。
其中,该预设数量可以为K,该K由用户设置,本申请实施例以该K等于3进行说明,对于模型网格样本图像中的每一网格顶点样本信息而言,由于一个网格顶点样本信息只受到与其最接近的K根骨骼的影响,以此,为每一网格顶点样本信息选取K根目标骨骼样本信息。请一并参阅如下公式:
Figure BDA0002984676990000161
Figure BDA0002984676990000162
为第i个网格顶点样本信息的第一特征信息,该
Figure BDA0002984676990000163
为第i个网格顶点样本信息的三维坐标,该
Figure BDA0002984676990000164
指3根骨骼中的第一个骨骼与第i个网格顶点样本信息的距离,该
Figure BDA0002984676990000165
指3根骨骼中的第K个骨骼与第i个网格顶点样本信息的距离。以此,可以实现构建每一网格顶点样本信息对应的第一特征信息。
进一步的,该每一骨骼样本信息的第二特征信息可以由其对应的骨骼的起始关节和终止关节的三维坐标拼接形成,例如:
Figure BDA0002984676990000166
其中该
Figure BDA0002984676990000171
指第二特征信息,该
Figure BDA0002984676990000172
指第j根骨骼的起始关节的三维坐标,该
Figure BDA0002984676990000173
指第j根骨骼的终止关节的三维坐标。以此,可以实现构建每一骨骼样本信息的第二特征信息。
在步骤205中,服务器将每一网格顶点样本信息的第一特征信息和对应的目标骨骼样本信息的第二特征信息一并进行卷积处理,得到加载后的第一特征信息,获取与每一骨骼样本信息的距离信息小于预设阈值的目标网格顶点样本信息。
其中,服务器可以将每一网格顶点样本信息的第一特征信息与该K根目标骨骼样本信息的第二特征信息拼接之后进行卷积处理,即可以使得每一网格顶点样本信息的第一特征信息学习到对应的骨骼样本图中对其具有影响的骨骼样本信息对其的作用关系。例如,请一并参阅如下公式:
Figure BDA0002984676990000174
其中,该
Figure BDA0002984676990000175
为第i个网格顶点样本信息加载后的第一特征信息,该分号(;)是将两个计算过程区分的符号,用于分隔和连接的作用,该Wb2v为卷积学习参数,该||是将两个特征信息拼接在一起的操作符,该
Figure BDA0002984676990000176
指第i个网格顶点样本信息的第一特征信息,该
Figure BDA0002984676990000177
指K根骨骼中的第一根骨骼样本信息对应的第二特征信息,该
Figure BDA0002984676990000178
指K根骨骼中的第K根骨骼样本信息对应的第二特征信息,该MLP为多层感知机,可以实现网格顶点样本信息的第一特征信息学习到对应的骨骼样本图中对其具有影响的骨骼样本信息对其的作用关系。
进一步的,对于骨骼样本图中的每一骨骼样本信息而言,由于其影响的网格顶点样本信息的数量是不固定的,以此,本申请实施例可计算其影响的网格顶点样本信息的特征对应的统计信息,该预设阈值为判定网格顶点样本信息是否受到骨骼样本信息影响的临界值,可以获取与每一骨骼样本信息的距离小于预设阈值的目标网格顶点样本信息。
在步骤206中,服务器确定目标网格顶点样本信息的第二特征信息对应的最大值、平均值和方差值,将每一骨骼样本信息的第二特征信息和对应的目标网格顶点样本信息的最大值、平均值和方差值一并进行卷积处理,得到加载后的第二特征信息。
例如,请一并参阅如下公式:
Figure BDA0002984676990000181
其中,该max为最大值,该mean为平均值,该var为方差值,该
Figure BDA0002984676990000182
为第j根骨骼样本信息,该Wv2b为卷积学习参数,该||是将两个特征信息拼接在一起的操作符,该
Figure BDA0002984676990000183
指第j根骨骼样本信息的第二特征信息,该vi∈I(bj)指受第j根骨骼样本信息影响的目标网格顶点样本信息集合,该
Figure BDA0002984676990000184
为受第j根骨骼样本信息影响的目标网格顶点样本信息的第一特征信息,以此,通过多层感知机进行非线性卷积处理,实现骨骼样本图中的骨骼样本信息的第二特征信息学习到对应的模型网格样本图中受其影响的目标网格顶点样本信息对其的作用关系。以此实现模型网格样本图和骨骼样本图之间相互传递信息,实现如图4中所示图间关系的传递,即实现一次图间卷积操作。
在步骤207中,服务器获取每一网格顶点样本信息相连的第一网格顶点样本信息集合,获取与每一网格顶点样本信息距离小于预设距离阈值的第二网格顶点样本信息集合。
在步骤208中,服务器将第一网格顶点样本信息集合的加载后的第一特征信息和第二网格顶点样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第一特征信息的更新。
本申请实施例还需要进行图内关系的传导,学习模型网格样本图中每一网格顶点信息之间的位置关系的表征,将其表征到加载后的第一特征信息中进行更新,具体而言,在模型网格样本图中,需要将每一网格顶点样本信息之间的位置关系进行学习,即在每一网格顶点样本信息和邻近的网格顶点样本信息之间进行信息传递,实现图内关系的传导,例如,请一并参阅如下公式:
Figure BDA0002984676990000185
其中,该
Figure BDA0002984676990000186
为更新后的第一特征信息,该Nm(vi)代表第i个网格顶点样本信息相连的第一网格顶点样本信息集合的加载后的第一特征信息,该Ng(vi)代表与第i个网格顶点样本信息的距离小于预设距离阈值的第二网格顶点样本信息集合的加载后的第一特征信息,该Wv为可学习参数,该预设距离阈值可以为0.06米,该EdgeConv为边卷积模型,用于完成点与点之间的第一特征信息的关系的建模,通过该边卷积模型和多层感知机的依次处理,可以使得该模型网格样本图中的每一网格顶点样本信息的第一特征信息学习到彼此之间的位置关系,实现将第一网格顶点样本信息集合的加载后的第一特征信息和第二网格顶点样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第一特征信息的更新,实现如图4中所示的对于模型网格样本图中的每一网格顶点样本信息之间关系的传递,即实现对模型网格样本图21的一次图内卷积操作。
在步骤209中,服务器获取每一骨骼样本信息连接的目标骨骼样本信息集合,将每一骨骼样本信息的加载后的第二特征信息和目标骨骼样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第二特征信息的更新。
本申请实施例还需要学习骨骼样本图中每一骨骼信息之间的位置关系的表征,将其表征加到加载后的第二特征信息中进行更新,具体而言,需要将每一骨骼样本信息之间的位置关系进行学习,即在每一骨骼样本信息和邻近的骨骼样本信息之间进行信息传递,实现图内关系的传导,例如,请一并参阅如下公式:
f″b=EdgeConv(bi,N(bi))
其中,该f″b为更新后的第二特征信息,该bi为第i根骨骼样本信息的加载后的第二特征信息,该N(bi)为与第i根骨骼样本信息连接的目标骨骼样本信息集合,该EdgeConv为边卷积模型,以此,将每一骨骼样本信息的加载后的第二特征信息和目标骨骼样本信息集合的加载后的第二特征信息一并进行卷积处理,实现对加载后的第二特征信息进行图内关系的更新,即实现对骨骼样本图22的一次图内卷积操作。
在步骤210中,服务器返回执行将每一网格顶点样本信息的第一特征信息和对应的目标骨骼样本信息的第二特征信息一并进行卷积处理,得到加载后的第一特征信息的步骤进行迭代更新,直至迭代次数满足预设迭代次数。
其中,请一并参阅图4所示,为了得到准确的每一网格顶点样本信息最终的第一特征信息和每一骨骼样本信息最终的第二特征信息,可以返回执行步骤205,不断地重复图间卷积和图内卷积,进行多次迭代更新,该预设迭代次数为系统预置的,例如20次,该最终的第一特征信息和最终的第二特征信息经过不断地图间节点关系和图内节点关系的学习,可以更准确的表达出模型网格样本图和骨骼样本图的真实关系,使得后续的预测更为准确,具体请一并参阅后续步骤。
在步骤211中,服务器获取模型网格样本图和骨骼样本图对应的第一全局特征信息和第二全局特征信息,将第一全局特征信息、第二全局特征信息、更新后的第一特征信息和更新后的第二特征信息联合输入至预设模型中,输出每一网格顶点样本信息对应的预设蒙皮权重信息,根据预设蒙皮权重信息和标签信息之间差异进行迭代训练,直至差异收敛,得到训练后的预设模型。
其中,请一并参阅图4所示,本申请实施例为了保留的模型网格样本图和骨骼样本图中节点之间的原始关系特征,可以由最大池化层和多层感知进行提取,该最大池化层用于取图中局部接受域中值最大的点,接下来通过最大池化层提取图中的第一全局特征信息和第二全局特征信息。
进一步的,将该第一全局特征信息、第二全局特征信息、更新后最终的第一特征信息和更新后最终的第二特征信息联合输入至预设模型中,输出每一骨骼样本信息对其影响的网格顶点样本信息的预测蒙皮权重信息。
将该预测蒙皮权重信息与真实蒙皮权重信息(标签信息)进行差异对比,反向传播对该预设模型的网络参数进行调整,并进行迭代训练,直至该差异收敛,得到预测准确性更高的训练后的预设模型。
在步骤212中,服务器获取待识别模型网格图和待识别骨骼图,将待识别模型网格图中每一网格顶点信息转化为第三特征信息以及将待识别骨骼图中每一骨骼信息转化为第四特征信息,根据待识别模型网格图和待识别骨骼图各自对应的图内节点关系以及相互之间作用的图间节点关系对第三特征信息和第四特征信息进行更新,将更新后的第三特征信息和第四特征信息输入至训练后的预设模型,输出待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息。
其中,可以获取待识别模型网格图和待识别骨骼图,分别提取出该待识别模型网格图中每一网格顶点信息转化的第三特征信息以及将该待识别骨骼图中每一骨骼信息转化为第四特征信息。
进一步的,根据该待识别模型网格图和该待识别骨骼图各自对应的图内节点关系以及相互之间作用的图间节点关系对该第三特征信息和第四特征信息进行更新。
将更新后的第三特征信息和第四特征信息输入至训练后预设模型,由该训练后的预设模型输出待识别模型网格图中每一网格顶点信息对应预测的蒙皮权重信息,具体特征转化过程和更新过程请参阅步骤202至204和步骤205至210的描述,此处不做具体赘述。
以此,请一并参阅图4所示,可以根据该蒙皮权重信息将该待识别模型网格图直接蒙皮在待识别骨骼图上,快速实现虚拟对象23的构建,无需设计者手动设置蒙皮权重信息生成虚拟对象,极大的提升了数据处理的效率。
在一些实施方式中,本申请实施例可以生成客户端,该客户端上可以集成maya插件,在客户端上由用户选择需要蒙皮的待识别骨骼图和待识别模型网格图进行上传至服务器。
该服务器可以将待识别骨骼图和待识别模型网格图经过上述实施例进行处理,输出对应的待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息,生成fox格式的文件并进行平滑处理之后返回客户端,该客户端可以下载得到蒙皮处理之后的fox格式的文件进行加载,设计者还可以在此fox格式的文件上进行进一步蒙皮权重信息调整优化。
由上述可知,本申请实施例通过采集模型网格样本图和骨骼样本图;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系对第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。以此,可以将每一网格顶点信息和每一骨骼样本信息转化为第一特征信息和第二特征信息,并使得第一特征信息和第二特征信息可以学习图间和图内关系进行表征,将更新后的第一特征信息和第二特征信息输入至预设模型进行蒙皮权重信息预测训练,并根据训练后的预设模型快速且准确的预测待识别模型网格图中每一网格顶点信息对应的蒙皮权重。相对于需要设计者手工设置蒙皮权重信息的方案而言,本申请快速且准确的设置蒙皮权重信息,极大提升了数据处理的效率。
请参阅图5,图5为本申请实施例提供的数据处理装置的结构示意图,其中该数据处理装置可以包括采集单元301、转化单元302、更新单元303、以及训练单元304等。
采集单元301,用于采集模型网格样本图和骨骼样本图,该模型网格样本图中包含多个网格顶点样本信息,该骨骼样本图中包含多个骨骼样本信息。
转化单元302,用于将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息。
在一些实施方式中,该转化单元302,包括:
获取子单元,用于获取每一网格顶点样本信息与每一骨骼样本信息之间的距离信息;
选取子单元,用于根据该距离信息由高至低的顺序,为每一网格顶点样本信息选取预设数量的目标骨骼样本信息;
第一构建子单元,用于根据每一网格顶点样本信息的坐标信息以及对应的目标骨骼样本信息的距离信息构建第一特征信息;
第二构建子单元,用于根据每一骨骼样本信息的起始关节位置和终点关节位置构建第二特征信息。
在一些实施方式中,该获取子单元,用于:
将该模型网格样本图进行体素化处理,并将每一网格顶点样本信息映射在体素化处理后的网格方格样本中;
将该骨骼样本图进行体素化处理,并将每一骨骼样本信息映射在体素化处理后的骨骼方格样本中;
搜索每一骨骼方格样本中的骨骼样本信息至每一网格方格样本中的网格顶点样本信息之间的路径;
根据该路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
更新单元303,用于根据该模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对该第一特征信息和第二特征信息进行更新。
在一些实施方式中,该更新单元303,包括:
加载子单元,用于将该模型网格样本图中的每一网格顶点样本信息与该骨骼样本图中的每一骨骼样本信息之间的相互作用关系分别加载至该第一特征信息以及第二特征信息;
第一更新子单元,用于基于该模型网格样本图中每一网格顶点样本信息之间的位置关系对加载后的第一特征信息进行更新;
第二更新子单元,用于基于该骨骼样本图中每一骨骼样本信息之间的位置关系对加载后的第二特征信息进行更新;
迭代子单元,用于返回执行将该模型网格样本图中的每一网格顶点样本信息与该骨骼图中的每一骨骼样本信息之间的相互作用关系分别加载至该第一特征信息以及第二特征信息的步骤进行迭代更新,直至迭代次数满足预设迭代次数。
在一些实施方式中,该加载子单元,用于:
将每一网格顶点样本信息的第一特征信息和对应的目标骨骼样本的第二特征信息一并进行卷积处理,得到加载后的第一特征信息;
获取与每一骨骼样本信息的距离信息小于预设阈值的目标网格顶点样本信息;
确定该目标网格顶点样本信息的第二特征信息对应的最大值、平均值和方差值;
将每一骨骼样本信息的第二特征信息和对应的目标网格顶点样本信息的最大值、平均值和方差值一并进行卷积处理,得到加载后的第二特征信息。
在一些实施例中,该第一更新子单元,用于:
获取每一网格顶点样本信息相连的第一网格顶点样本信息集合;
获取与每一网格顶点样本信息距离小于预设距离阈值的第二网格顶点样本信息集合;
将该第一网格顶点样本信息集合的加载后的第一特征信息和该第二网格顶点样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第一特征信息的更新。
在一些实施例中,该第二更新子单元,用于:
获取每一骨骼样本信息连接的目标骨骼样本信息集合;
将每一骨骼样本信息的加载后的第二特征信息和该目标骨骼样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第二特征信息的更新。
训练单元304,用于根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型。
在一些实施方式中,该训练单元304,用于:
获取该模型网格样本图和骨骼样本图对应的第一全局特征信息和第二全局特征信息;
将该第一全局特征信息、第二全局特征信息、更新后的第一特征信息和更新后的第二特征信息联合输入至预设模型中,输出每一网格顶点样本信息对应的预设蒙皮权重信息;
根据该预设蒙皮权重信息和标签信息之间差异进行迭代训练,直至该差异收敛,得到训练后的预设模型。
预测单元305,用于根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型。
在一些实施方式中,该预测单元305,用于:
获取待识别模型网格图和待识别骨骼图;
将该待识别模型网格图中每一网格顶点信息转化为第三特征信息以及将该待识别骨骼图中每一骨骼信息转化为第四特征信息;
根据该待识别模型网格图和该待识别骨骼图各自对应的图内节点关系以及相互之间作用的图间节点关系对该第三特征信息和第四特征信息进行更新;
将该更新后的第三特征信息和第四特征信息输入至训练后的预设模型,输出该待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息。
以上各个单元的具体实施可参见前面的实施例,在此不再赘述。
由上述可知,本申请实施例通过采集单元301采集模型网格样本图和骨骼样本图,模型网格样本图中包含多个网格顶点样本信息,骨骼样本图中包含多个骨骼样本信息;转化单元302将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;更新单元303根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对第一特征信息和第二特征信息进行更新;训练单元304根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;预测单元305基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。以此,可以将每一网格顶点信息和每一骨骼样本信息转化为第一特征信息和第二特征信息,并使得第一特征信息和第二特征信息可以学习图间和图内关系进行表征,将更新后的第一特征信息和第二特征信息输入至预设模型进行蒙皮权重信息预测训练,并根据训练后的预设模型快速且准确的预测待识别模型网格图中每一网格顶点信息对应的蒙皮权重。相对于需要设计者手工设置蒙皮权重信息的方案而言,本申请快速且准确的设置蒙皮权重信息,极大提升了数据处理的效率。
本申请实施例还提供一种计算机设备,如图6所示,其示出了本申请实施例所涉及的服务器的结构示意图,具体来讲:
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;可选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据服务器的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403,可选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
计算机设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现前述实施例提供的各种方法步骤,如下:
采集模型网格样本图和骨骼样本图,该模型网格样本图中包含多个网格顶点样本信息,该骨骼样本图中包含多个骨骼样本信息;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据该模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对该第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对数据处理方法的详细描述,此处不再赘述。
由上述可知,本申请实施例的计算机设备可以通过采集模型网格样本图和骨骼样本图,模型网格样本图中包含多个网格顶点样本信息,骨骼样本图中包含多个骨骼样本信息;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。以此,可以将每一网格顶点信息和每一骨骼样本信息转化为第一特征信息和第二特征信息,并使得第一特征信息和第二特征信息可以学习图间和图内关系进行表征,将更新后的第一特征信息和第二特征信息输入至预设模型进行蒙皮权重信息预测训练,并根据训练后的预设模型快速且准确的预测待识别模型网格图中每一网格顶点信息对应的蒙皮权重。相对于需要设计者手工设置蒙皮权重信息的方案而言,本申请快速且准确的设置蒙皮权重信息,极大提升了数据处理的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法中的步骤。例如,该指令可以执行如下步骤:
采集模型网格样本图和骨骼样本图,该模型网格样本图中包含多个网格顶点样本信息,该骨骼样本图中包含多个骨骼样本信息;将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;根据该模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对该第一特征信息和第二特征信息进行更新;根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请实施例所提供的任一种数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种数据处理方法,其特征在于,包括:
采集模型网格样本图和骨骼样本图,所述模型网格样本图中包含多个网格顶点样本信息,所述骨骼样本图中包含多个骨骼样本信息;
将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;
根据所述模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对所述第一特征信息和第二特征信息进行更新;
根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;
基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
2.根据权利要求1所述的数据处理方法,其特征在于,所述将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息的步骤,包括:
获取每一网格顶点样本信息与每一骨骼样本信息之间的距离信息;
根据所述距离信息由高至低的顺序,为每一网格顶点样本信息选取预设数量的目标骨骼样本信息;
根据每一网格顶点样本信息的坐标信息以及对应的目标骨骼样本信息的距离信息构建第一特征信息;
根据每一骨骼样本信息的起始关节位置和终点关节位置构建第二特征信息。
3.根据权利要求2所述的数据处理方法,其特征在于,所述获取每一网格顶点样本信息与每一骨骼样本信息之间的距离信息的步骤,包括:
将所述模型网格样本图进行体素化处理,并将每一网格顶点样本信息映射在体素化处理后的网格方格样本中;
将所述骨骼样本图进行体素化处理,并将每一骨骼样本信息映射在体素化处理后的骨骼方格样本中;
搜索每一骨骼方格样本中的骨骼样本信息至每一网格方格样本中的网格顶点样本信息之间的路径;
根据所述路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
4.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对所述第一特征信息和第二特征信息进行更新的步骤,包括:
将所述模型网格样本图中的每一网格顶点样本信息与所述骨骼样本图中的每一骨骼样本信息之间的相互作用关系分别加载至所述第一特征信息以及第二特征信息;
基于所述模型网格样本图中每一网格顶点样本信息之间的位置关系对加载后的第一特征信息进行更新;
基于所述骨骼样本图中每一骨骼样本信息之间的位置关系对加载后的第二特征信息进行更新;
返回执行将所述模型网格样本图中的每一网格顶点样本信息与所述骨骼图中的每一骨骼样本信息之间的相互作用关系分别加载至所述第一特征信息以及第二特征信息的步骤进行迭代更新,直至迭代次数满足预设迭代次数。
5.根据权利要求4所述的数据处理方法,其特征在于,所述将所述模型网格样本图中的每一网格顶点样本信息与所述骨骼样本图中的每一骨骼样本信息之间的相互作用关系分别加载至所述第一特征信息以及第二特征信息的步骤,包括:
将每一网格顶点样本信息的第一特征信息和对应的目标骨骼样本信息的第二特征信息一并进行卷积处理,得到加载后的第一特征信息;
获取与每一骨骼样本信息的距离信息小于预设阈值的目标网格顶点样本信息;
确定所述目标网格顶点样本信息的第二特征信息对应的最大值、平均值和方差值;
将每一骨骼样本信息的第二特征信息和对应的目标网格顶点样本信息的最大值、平均值和方差值一并进行卷积处理,得到加载后的第二特征信息。
6.根据权利要求4所述的数据处理方法,其特征在于,所述基于所述模型网格样本图中每一网格顶点样本信息之间的位置关系对加载后的第一特征信息进行更新的步骤,包括:
获取每一网格顶点样本信息相连的第一网格顶点样本信息集合;
获取与每一网格顶点样本信息距离小于预设距离阈值的第二网格顶点样本信息集合;
将所述第一网格顶点样本信息集合的加载后的第一特征信息和所述第二网格顶点样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第一特征信息的更新。
7.根据权利要求4所述的数据处理方法,其特征在于,所述基于所述骨骼样本图中每一骨骼样本信息之间的位置关系对加载后的第二特征信息进行更新的步骤,包括:
获取每一骨骼样本信息连接的目标骨骼样本信息集合;
将每一骨骼样本信息的加载后的第二特征信息和所述目标骨骼样本信息集合的加载后的第二特征信息一并进行卷积处理,以实现对加载后的第二特征信息的更新。
8.根据权利要求1至7任一项所述的数据处理方法,其特征在于,所述根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型的步骤,包括:
获取所述模型网格样本图和骨骼样本图对应的第一全局特征信息和第二全局特征信息;
将所述第一全局特征信息、第二全局特征信息、更新后的第一特征信息和更新后的第二特征信息联合输入至预设模型中,输出每一网格顶点样本信息对应的预设蒙皮权重信息;
根据所述预设蒙皮权重信息和标签信息之间差异进行迭代训练,直至所述差异收敛,得到训练后的预设模型。
9.根据权利要求1所述的数据处理方法,其特征在于,所述基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测的步骤,包括:
获取待识别模型网格图和待识别骨骼图;
将所述待识别模型网格图中每一网格顶点信息转化为第三特征信息以及将所述待识别骨骼图中每一骨骼信息转化为第四特征信息;
根据所述待识别模型网格图和所述待识别骨骼图各自对应的图内节点关系以及相互之间作用的图间节点关系对所述第三特征信息和第四特征信息进行更新;
将所述更新后的第三特征信息和第四特征信息输入至训练后的预设模型,输出所述待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息。
10.一种数据处理装置,其特征在于,包括:
采集单元,用于采集模型网格样本图和骨骼样本图,所述模型网格样本图中包含多个网格顶点样本信息,所述骨骼样本图中包含多个骨骼样本信息;
转化单元,用于将每一网格顶点样本信息转化为第一特征信息以及将每一骨骼样本信息转化为第二特征信息;
更新单元,用于根据所述模型网格样本图和骨骼样本图各自对应的图内节点关系以及相互之间作用的图间节点关系,对所述第一特征信息和第二特征信息进行更新;
训练单元,用于根据更新后的第一特征信息和第二特征信息对预设模型进行蒙皮权重信息预测训练,得到训练后的预设模型;
预测单元,用于基于训练后的预设模型对待识别模型网格图中每一网格顶点信息对应的蒙皮权重信息进行预测。
11.根据权利要求10所述的数据处理装置,其特征在于,所述转化单元,包括:
获取子单元,用于获取每一网格顶点样本信息与每一骨骼样本信息之间的距离信息;
选取子单元,用于根据所述距离信息由高至低的顺序,为每一网格顶点样本信息选取预设数量的目标骨骼样本信息;
第一构建子单元,用于根据每一网格顶点样本信息的坐标信息以及对应的目标骨骼样本信息的距离信息构建第一特征信息;
第二构建子单元,用于根据每一骨骼样本信息的起始关节位置和终点关节位置构建第二特征信息。
12.根据权利要求11所述的数据处理装置,其特征在于,所述获取子单元,用于:
将所述模型网格样本图进行体素化处理,并将每一网格顶点样本信息映射在体素化处理后的网格方格样本中;
将所述骨骼样本图进行体素化处理,并将每一骨骼样本信息映射在体素化处理后的骨骼方格样本中;
搜索每一骨骼方格样本中的骨骼样本信息至每一网格方格样本中的网格顶点样本信息之间的路径;
根据所述路径的长度确定每一网格顶点样本信息与每一骨骼样本信息之间的距离信息。
13.根据权利要求11所述的数据处理装置,其特征在于,所述更新单元,包括:
加载子单元,用于将所述模型网格样本图中的每一网格顶点样本信息与所述骨骼样本图中的每一骨骼样本信息之间的相互作用关系分别加载至所述第一特征信息以及第二特征信息;
第一更新子单元,用于基于所述模型网格样本图中每一网格顶点样本信息之间的位置关系对加载后的第一特征信息进行更新;
第二更新子单元,用于基于所述骨骼样本图中每一骨骼样本信息之间的位置关系对加载后的第二特征信息进行更新;
迭代子单元,用于返回执行将所述模型网格样本图中的每一网格顶点样本信息与所述骨骼图中的每一骨骼样本信息之间的相互作用关系分别加载至所述第一特征信息以及第二特征信息的步骤进行迭代更新,直至迭代次数满足预设迭代次数。
14.根据权利要求13所述的数据处理装置,其特征在于,所述加载子单元,用于:
将每一网格顶点样本信息的第一特征信息和对应的目标骨骼样本信息的第二特征信息一并进行卷积处理,得到加载后的第一特征信息;
获取与每一骨骼样本信息的距离信息小于预设阈值的目标网格顶点样本信息;
确定所述目标网格顶点样本信息的第二特征信息对应的最大值、平均值和方差值;
将每一骨骼样本信息的第二特征信息和对应的目标网格顶点样本信息的最大值、平均值和方差值一并进行卷积处理,得到加载后的第二特征信息。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至9任一项所述的数据处理方法中的步骤。
CN202110296887.3A 2021-03-19 2021-03-19 一种数据处理方法、装置及计算机可读存储介质 Active CN112991501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110296887.3A CN112991501B (zh) 2021-03-19 2021-03-19 一种数据处理方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110296887.3A CN112991501B (zh) 2021-03-19 2021-03-19 一种数据处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112991501A true CN112991501A (zh) 2021-06-18
CN112991501B CN112991501B (zh) 2024-07-09

Family

ID=76333504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110296887.3A Active CN112991501B (zh) 2021-03-19 2021-03-19 一种数据处理方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112991501B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024037591A1 (zh) * 2022-08-19 2024-02-22 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127853A1 (en) * 2011-11-17 2013-05-23 Mixamo, Inc. System and method for automatic rigging of three dimensional characters for facial animation
US20170032055A1 (en) * 2015-07-27 2017-02-02 Technische Universiteit Delft Linear Blend Skinning Weight Optimization Utilizing Skeletal Pose Sampling
US20170032579A1 (en) * 2015-07-27 2017-02-02 Technische Universiteit Delft Skeletal Joint Optimization For Linear Blend Skinning Deformations Utilizing Skeletal Pose Sampling
CN109395390A (zh) * 2018-10-26 2019-03-01 网易(杭州)网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
JP6487083B1 (ja) * 2018-03-07 2019-03-20 株式会社スクウェア・エニックス ウェイトマップの局所性を考慮したスキニング分解高速化方法及び同スキニング分解高速化プログラム
CN109993819A (zh) * 2019-04-09 2019-07-09 网易(杭州)网络有限公司 虚拟角色的蒙皮方法及装置、电子设备
CN110288681A (zh) * 2019-06-25 2019-09-27 网易(杭州)网络有限公司 角色模型的蒙皮方法、装置、介质及电子设备
CN111292427A (zh) * 2020-03-06 2020-06-16 腾讯科技(深圳)有限公司 骨骼位移信息获取方法、装置、设备及存储介质
CN111598980A (zh) * 2020-05-14 2020-08-28 北京华严互娱科技有限公司 一种蒙皮权重自动计算方法及计算系统
CN112017295A (zh) * 2020-08-28 2020-12-01 重庆灵翎互娱科技有限公司 一种可调节动态头模型生成方法、终端和计算机存储介质
CN112330805A (zh) * 2020-11-25 2021-02-05 北京百度网讯科技有限公司 人脸3d模型生成方法、装置、设备及可读存储介质
CN112509099A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130127853A1 (en) * 2011-11-17 2013-05-23 Mixamo, Inc. System and method for automatic rigging of three dimensional characters for facial animation
US20170032055A1 (en) * 2015-07-27 2017-02-02 Technische Universiteit Delft Linear Blend Skinning Weight Optimization Utilizing Skeletal Pose Sampling
US20170032579A1 (en) * 2015-07-27 2017-02-02 Technische Universiteit Delft Skeletal Joint Optimization For Linear Blend Skinning Deformations Utilizing Skeletal Pose Sampling
JP6487083B1 (ja) * 2018-03-07 2019-03-20 株式会社スクウェア・エニックス ウェイトマップの局所性を考慮したスキニング分解高速化方法及び同スキニング分解高速化プログラム
CN109395390A (zh) * 2018-10-26 2019-03-01 网易(杭州)网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN109993819A (zh) * 2019-04-09 2019-07-09 网易(杭州)网络有限公司 虚拟角色的蒙皮方法及装置、电子设备
CN110288681A (zh) * 2019-06-25 2019-09-27 网易(杭州)网络有限公司 角色模型的蒙皮方法、装置、介质及电子设备
CN111292427A (zh) * 2020-03-06 2020-06-16 腾讯科技(深圳)有限公司 骨骼位移信息获取方法、装置、设备及存储介质
CN111598980A (zh) * 2020-05-14 2020-08-28 北京华严互娱科技有限公司 一种蒙皮权重自动计算方法及计算系统
CN112017295A (zh) * 2020-08-28 2020-12-01 重庆灵翎互娱科技有限公司 一种可调节动态头模型生成方法、终端和计算机存储介质
CN112330805A (zh) * 2020-11-25 2021-02-05 北京百度网讯科技有限公司 人脸3d模型生成方法、装置、设备及可读存储介质
CN112509099A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 虚拟形象驱动方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024037591A1 (zh) * 2022-08-19 2024-02-22 腾讯科技(深圳)有限公司 数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112991501B (zh) 2024-07-09

Similar Documents

Publication Publication Date Title
CN109086683B (zh) 一种基于点云语义增强的人手姿态回归方法和系统
CN111666919B (zh) 一种对象识别方法、装置、计算机设备和存储介质
JP7412847B2 (ja) 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム
JP2022503647A (ja) クロスドメイン画像変換
CN110472002B (zh) 一种文本相似度获取方法和装置
CN111339343A (zh) 图像检索方法、装置、存储介质及设备
CN114997412A (zh) 一种推荐方法、训练方法以及装置
CN113435520A (zh) 神经网络的训练方法、装置、设备及计算机可读存储介质
CN113505883A (zh) 一种神经网络训练方法以及装置
CN115222896B (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN113537267A (zh) 对抗样本的生成方法和装置、存储介质及电子设备
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
CN112991501B (zh) 一种数据处理方法、装置及计算机可读存储介质
CN111260074B (zh) 一种超参数确定的方法、相关装置、设备及存储介质
CN112906517A (zh) 一种自监督的幂律分布人群计数方法、装置和电子设备
CN116958041A (zh) 一种产品缺陷检测方法、装置、电子设备和存储介质
CN114913305B (zh) 模型处理方法、装置、设备、存储介质及计算机程序产品
CN116051917B (zh) 一种训练图像量化模型的方法、检索图像的方法及装置
CN114648762A (zh) 语义分割方法、装置、电子设备和计算机可读存储介质
CN114548229A (zh) 训练数据增广方法、装置、设备和存储介质
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN114298961A (zh) 图像处理方法、装置、设备及存储介质
CN113821687A (zh) 一种内容检索方法、装置和计算机可读存储介质
CN116664958B (zh) 基于二值神经网络模型的图像分类方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant