CN111968205A - 一种仿生三维模型的驱动方法和系统 - Google Patents
一种仿生三维模型的驱动方法和系统 Download PDFInfo
- Publication number
- CN111968205A CN111968205A CN202010762942.9A CN202010762942A CN111968205A CN 111968205 A CN111968205 A CN 111968205A CN 202010762942 A CN202010762942 A CN 202010762942A CN 111968205 A CN111968205 A CN 111968205A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- bionic
- dimensional
- driving
- motion data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 72
- 238000006073 displacement reaction Methods 0.000 claims abstract description 33
- 230000002452 interceptive effect Effects 0.000 claims abstract description 25
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000003860 storage Methods 0.000 claims description 14
- 230000003592 biomimetic effect Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 5
- 210000003414 extremity Anatomy 0.000 description 7
- 210000000707 wrist Anatomy 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010171 animal model Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种仿生三维模型的驱动方法和系统。所述方法包括：根据交互指令确定仿生三维模型的运动数据；将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量；基于所述位移向量和旋转向量，利用仿生三维模型的三维骨架带动所述仿生三维模型各部位运动；其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型。本申请提供的技术方案，在拥有较高逼真度的情况下，简化了计算过程，可以促进三维模型动画在人机交互领域得到更广泛的应用。
Description
技术领域
本发明涉及三维动画技术领域，特别是指一种仿生三维模型的驱动方法和系统。
背景技术
三维动画由于其真实性、可操作性以及精确性而被广泛应用于医学、教育、军事、娱乐等诸多领域，在影视制作和游戏制作方面，能够给人带来耳目一新的感觉，因此，收到众多人们的欢迎。
目前，传统的三维动画模型技术在人机交互领域上主要以播放已有的动画和关键帧插帧计算的方法来实现动画的实时合成。但是，现有的关键帧插帧的方法存在着过于庞大的计算量，对于精度较高的三维模型以及顶点数量较多的三维模型并不适用，且关键帧插帧的方法在逼真度表现上并不良好。
发明内容
有鉴于此，本发明的主要目的在于提供一种仿生三维模型的驱动方法和系统，能够解决在人机实时交互时能够驱动三维模型且拥有较高的逼真度，较少的计算量。
本发明提供的一种仿生三维模型的驱动方法，包括：
根据交互指令确定仿生三维模型的运动数据；
将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量；
基于所述位移向量和旋转向量，利用仿生三维模型的三维骨架带动所述仿生三维模型各部位运动；
其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型。
由上，本申请通过仿生三维模型的三维骨架带动仿生三维模型各部位的运动，可以减少实现该运动的计算量，保证逼真度。
作为第一方面的一种实现方式，所述仿生三维模型的构建过程包括：
利用蒙皮算法将仿生三维模型的顶点和顶点形成的mesh网格均与三维骨架进行绑定，获得支持骨骼节点驱动的仿生三维模型。
由上，通过蒙皮算法来构建仿生三维模型，可以使三维骨骼和三维模型结合时较为逼真。
作为第一方面的一种实现方式，所述交互指令为文本数据和/或与所述文本数据同步关联的语音数据。
由上，提供了丰富的交互形式，推动了人机交互技术的应用。
作为第一方面的一种实现方式，所述根据交互指令确定仿生三维模型的运动数据，包括：
当所述交互指令为驱动所述仿生三维模型的肢体相关的运动时，根据交互指令从预设的模型库中匹配相应的运动数据；
当所述交互指令为驱动所述仿生三维模型的唇部相关的运动时，利用预先训练的深度神经网络模型获得相应的运动数据。
由上，提供了仿生三维模型不同部位运动时运动数据的获取方法，基于上述方法，可以获得更适合本申请中仿生三维模型的数据，使该仿生三维模型的运动过程更为自然流畅。
作为第一方面的一种实现方式，所述将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量，包括：
根据各部位的运动数据和所述仿生三维模型的空间比例参数，将所述各部位的运动数据对齐到同等尺度的三维空间坐标系中，并基于所述仿生三维模型的三维骨架的依赖层关系，分解得到相应骨骼关节点的位移向量和旋转向量。
由上，由于各部位的运动数据与仿生三维模型的比例不同，因此需将二者变化为同一尺度的空间坐标系下，由此得到相应骨骼关节点的位移向量和旋转向量，保证该仿生三维模型的运动幅度符合其本身尺度。
作为第一方面的一种实现方式，所述旋转向量为四元数数据。
作为第一方面的一种实现方式，所述基于所述位移向量和旋转向量，利用仿生三维模型的骨架带动所述仿生三维模型各部位运动之后，还包括：
对所述仿生三维模型进行音频数据对齐和光影渲染操作。
由上，在仿生三维模型各部位运动之后，对其进行音频数据对齐和光影渲染操作，可以保证显示效果，提高观赏度。
一种仿生三维模型的驱动系统，包括：
确定模块，用于根据交互指令确定仿生三维模型的运动数据；
分解模块，用于将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量；
驱动模块，用于基于所述位移向量和旋转向量，利用仿生三维模型的骨架带动所述仿生三维模型各部位运动。
其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型。
一种计算设备，包括：
总线；
通信接口，其与所述总线连接；
至少一个处理器，其与所述总线连接；以及
至少一个存储器，其与所述总线连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行上述方法。
一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述的方法。
综上，本发明可以解决下述问题：在实时驱动三维仿生模型时，较少计算量，提高逼真度。
附图说明
图1为本申请实施例提供的一种仿生三维模型的驱动方法的流程图；
图2为本申请实施例提供的一种仿生三维模型的驱动系统的结构示意图；
图3为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不局限于本文所描述的实施例。相反地，提供这些实施例的目的是使本申请的公开内容更加透彻全面。
在以下的描述中，所涉及的术语“第一\第二\第三等”或模块A、模块B、模块C等，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中，所涉及的表示步骤的标号，如S100、S200……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中使用的属于只是为了描述具体的实施例的目的，不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，本申请的其中一个实施例提供了仿生三维模型的驱动方法。该方法包括：
S100：根据交互指令确定仿生三维模型的运动数据。
S200：将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量。
S300：基于所述位移向量和旋转向量，利用仿生三维模型的三维骨架带动所述仿生三维模型各部位运动。
其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型，其具有明显的头部轮廓、面部轮廓、躯干轮廓以及肢体轮廓等。其中，面部轮廓包含明显的眼睛、嘴巴。例如：人物模型、动物模型、卡通人物模型、卡通动物模型等具有仿生特征类生物模型。
在步骤S100之前，需要预先构建仿生三维模型。在本实施例中的仿生三维模型是利用蒙皮算法进行构建的。具体过程为：利用蒙皮算法将仿生三维模型的顶点和顶点形成的mesh网格均与三维骨架进行绑定，绑定后即得到仿生三维模型。
给定该仿生三维模型中三维骨架的骨骼节点依赖层关系和时间段T内每个时间点t的该模型的运动数据，通过S200将所述运动数据分解为驱动所述仿生三维模型相应所有骨骼关节点的位移向量和旋转向量，生成时间段T内的仿生三维模型动画。其中，三维骨架的骨骼节点依赖层关系为静态三维骨架本身确定的，由静态骨架制作过程所定义，对于每个仿生三维模型，骨骼节点的依赖层关系是唯一的。例如，在人型三维模型中，手指关节点依附于手腕关节点。当给手腕一个位移向量时，所有依附于手腕的手指关节点都会移动。在三维骨架制作中，存在类似骨骼关节点依赖层关系定义，如AutoDesk Maya中定义的FK控制器和IK控制器，在本实施例中将具有根和子结构的骨骼关节点统一定义为骨骼节点依赖层关系。此处需要说明的是，构建仿生三维模型为前期制作完成，驱动过程不包含对仿生三维模型绑定的调整。
本申请中的仿生三维模型的驱动过程为通过三维骨架对三维模型进行驱动，可以在保证逼真程度下，减少运算量，为用户带来更好的用户体验感。
在步骤S100中，交互指令为文本数据和/或与所述文本数据同步关联的语音数据。其中，文本数据为以NLP为核心的人机交互文本，与文本数据同步关联的语音数据为通过TTS语音合成得到的音频数据。该交互指令可以是用户输入的指令，也可以是系统生成的指令。
具体的，根据交互指令确定仿生三维模型的运动数据的过程包括：当交互指令为驱动仿生三维模型的肢体(头部、躯干、四肢等)相关的运动时，根据交互指令从预设的模型库中匹配相应的运动数据。其中，预设的模型库中的肢体(头部、躯干、四肢等)动作可以通过真人采集和/或动画分解得到，在对应不同的仿生三维模型时，可以进行个性化迁移或微调。当交互指令为驱动生三维模型的唇部(包括口型)相关的运动时，利用预先训练的深度神经网络模型获得相应的运动数据。其中，预先训练的深度神经网络模型的训练数据为预先收集到的唇部运动指令和根据该指令得到的唇部运动数据。
在步骤S200中，将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量的具体过程为：
根据步骤S100中得到的各部位的运动数据和仿生三维模型的空间比例参数，将各部位的运动数据对齐到同等尺度的三维空间坐标系中，此时，可能涉及到对运动数据的放大或缩小。基于仿生三维模型的三维骨架的依赖层关系，将运动数据分解得到相应骨骼关节点的位移向量和旋转向量，具体方法为从根节点到子节点，根据根节点的向量，通过向量差值计算，逐步计算每个子节点移除依附的根节点位移向量和旋转向量后的向量参数。比如，在步骤S100中输出了一个自然招手的动作，该动作需要控制肩膀、手肘和手腕三个骨骼关节点来完成。首先我们控制肩膀的骨骼关节点，将手臂旋转向上，此时手肘和手腕作为子节点，被旋转到与初始状态不同的位置，接着需要去除肩膀旋转向量的影响，计算手肘的位移向量，实现手肘位置的移动。依次类推，接着需要去除手肘位移向量的影响，计算手腕的位移向量。以此方法逐帧计算时间T内仿生三维模型所有骨骼节点的位置。在本步骤中，位移向量和旋转向量均是三维坐标体系中的单位向量，另外，旋转向量为四元数数据，可以防止出现万向节死锁的问题。
在步骤S300中，基于位移向量和旋转向量，利用仿生三维模型的三维骨架带动仿生三维模型各部位运动时，位移向量和旋转向量在每个骨骼关节点按照仿生三维模型的三维骨架的依赖层的关系由根节点到子节点逐层逐点移动和旋转。优选的，每个骨骼节点按照利用位移向量进行位移移动，再利用旋转向量进行旋转。
在步骤S300之后，还可以包括：对仿生三维模型进行音频数据对齐和光影渲染操作。优选的，可以通过间隔定时器同步音频和动画播放，加载动画渲染，还可以根据需求添加三维场景和光影渲染，以实现更逼真的三维视觉效果。
如图2所示，基于上述实施例的同一构思，本申请的另外一实施例提供一种仿生三维模型的驱动系统，该系统包括：
确定模块，用于根据交互指令确定仿生三维模型的运动数据；
分解模块，用于将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量；
驱动模块，用于基于所述位移向量和旋转向量，利用仿生三维模型的骨架带动所述仿生三维模型各部位运动。
其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型。
所述确定模块包括：
第一确定单元，用于当所述交互指令为驱动所述仿生三维模型的肢体相关的运动时，根据交互指令从预设的模型库中匹配相应的运动数据；
第二确定单元，用于当所述交互指令为驱动所述仿生三维模型的唇部相关的运动时，利用预先训练的深度神经网络模型获得相应的运动数据。
所述分解模块具体用于：根据各部位的运动数据和所述仿生三维模型的空间比例参数，将所述各部位的运动数据对齐到同等尺度的三维空间坐标系中，并基于所述仿生三维模型的三维骨架的依赖层关系，分解得到相应骨骼关节点的位移向量和旋转向量。
另外，在驱动模块之后，该仿生三维模型的驱动系统还可以包括优化模块，用于对所述仿生三维模型进行音频数据对齐和光影渲染操作。以使呈现的效果更为逼真。
本申请的另外一个实施例还提供一种服务器，包括上述实施例所述的仿生三维模型的驱动方法。
如图3所示，是本申请实施例提供的一种计算设备5000的结构性示意性图。该计算设备5000包括：处理器5010、存储器5020、通信接口5030、总线5040。
应理解，该图所示的计算设备5000中的通信接口5030可以用于与其他设备之间进行通信。
其中，该处理器5010可以与存储器5020连接。该存储器5020可以用于存储该程序代码和数据。因此，该存储器5020可以是处理器5010内部的存储单元，也可以是与处理器5010独立的外部存储单元，还可以是包括处理器5010内部的存储单元和与处理器5010独立的外部存储单元的部件。
可选的，计算设备5000还可以包括总线5040。其中，存储器5020、通信接口5030可以通过总线5040与处理器5010连接。总线5040可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线5040可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
应理解，在本申请实施例中，该处理器5010可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器5010采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。
该存储器5020可以包括只读存储器和随机存取存储器，并向处理器5010提供指令和数据。处理器5010的一部分还可以包括非易失性随机存取存储器。例如，处理器5010还可以存储设备类型的信息。
在计算设备5000运行时，所述处理器5010执行所述存储器5020中的计算机执行指令执行上述方法的操作步骤。
应理解，根据本申请实施例的计算设备5000可以对应于执行根据本申请各实施例的方法中的相应主体，并且计算设备5000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行仿生三维模型的驱动，该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，均属于本申请保护范畴。
Claims (10)
1.一种仿生三维模型的驱动方法，其特征在于，所述方法包括：
根据交互指令确定仿生三维模型的运动数据；
将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量；
基于所述位移向量和旋转向量，利用仿生三维模型的三维骨架带动所述仿生三维模型各部位运动；
其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型。
2.根据权利要求1所述的方法，其特征在于，所述仿生三维模型的构建过程包括：
利用蒙皮算法将仿生三维模型的顶点和顶点形成的mesh网格均与三维骨架进行绑定，获得支持骨骼节点驱动的仿生三维模型。
3.根据权利要求1所述的方法，其特征在于，所述交互指令为文本数据和/或与所述文本数据同步关联的语音数据。
4.根据权利要求1所述的方法，其特征在于，所述根据交互指令确定仿生三维模型的运动数据，包括：
当所述交互指令为驱动所述仿生三维模型的肢体相关的运动时，根据交互指令从预设的模型库中匹配相应的运动数据；
当所述交互指令为驱动所述仿生三维模型的唇部相关的运动时，利用预先训练的深度神经网络模型获得相应的运动数据。
5.根据权利要求1所述的方法，其特征在于，所述将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量，包括：
根据各部位的运动数据和所述仿生三维模型的空间比例参数，将所述各部位的运动数据对齐到同等尺度的三维空间坐标系中，并基于所述仿生三维模型的三维骨架的依赖层结构关系，分解得到相应骨骼关节点的位移向量和旋转向量。
6.根据权利要求1所述的方法，其特征在于，所述旋转向量为四元数数据。
7.根据权利要求1所述的方法，其特征在于，所述基于所述位移向量和旋转向量，利用仿生三维模型的骨架带动所述仿生三维模型各部位运动之后，还包括：
对所述仿生三维模型进行音频数据对齐和光影渲染操作。
8.一种仿生三维模型的驱动系统，其特征在于，所述系统包括：
确定模块，用于根据交互指令确定仿生三维模型的运动数据；
分解模块，用于将所述运动数据分解为驱动所述仿生三维模型相应骨骼关节点的位移向量和旋转向量；
驱动模块，用于基于所述位移向量和旋转向量，利用仿生三维模型的骨架带动所述仿生三维模型各部位运动；
其中，所述仿生三维模型为利用三维骨架绑定的仿生三维模型。
9.一种计算设备，其特征在于，包括：
总线；
通信接口，其与所述总线连接；
至少一个处理器，其与所述总线连接；以及
至少一个存储器，其与所述总线连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令当被计算机执行时使得所述计算机执行权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010762942.9A CN111968205A (zh) | 2020-07-31 | 2020-07-31 | 一种仿生三维模型的驱动方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010762942.9A CN111968205A (zh) | 2020-07-31 | 2020-07-31 | 一种仿生三维模型的驱动方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111968205A true CN111968205A (zh) | 2020-11-20 |
Family
ID=73363218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010762942.9A Pending CN111968205A (zh) | 2020-07-31 | 2020-07-31 | 一种仿生三维模型的驱动方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111968205A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114519867A (zh) * | 2022-02-21 | 2022-05-20 | 首都体育学院 | 一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515373A (zh) * | 2009-03-26 | 2009-08-26 | 浙江大学 | 竞技性交互式动画生成方法 |
| CN102930599A (zh) * | 2012-10-18 | 2013-02-13 | 浙江大学 | 一种基于双四元数的手运动的三维模拟方法 |
| CN105184845A (zh) * | 2015-09-09 | 2015-12-23 | 深圳华侨城文化旅游科技股份有限公司 | 角色模型的形成方法及系统 |
| CN107122561A (zh) * | 2017-05-08 | 2017-09-01 | 王征 | 一种基于3d模型绑定关系库对多个3d模型绑定操作的系统和方法 |
| CN108734762A (zh) * | 2018-05-18 | 2018-11-02 | 河南恒康伟业智能科技有限公司 | 运动轨迹仿真方法及系统 |
| CN109885163A (zh) * | 2019-02-18 | 2019-06-14 | 广州卓远虚拟现实科技有限公司 | 一种虚拟现实多人交互协作方法与系统 |
| US20190381404A1 (en) * | 2018-06-18 | 2019-12-19 | Unity IPR ApS | Method and system for real-time animation generation using machine learning |
| CN111145322A (zh) * | 2019-12-26 | 2020-05-12 | 上海浦东发展银行股份有限公司 | 用于驱动虚拟形象的方法、设备和计算机可读存储介质 |
| CN111273783A (zh) * | 2020-03-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 数字人的控制方法及装置 |
-
2020
- 2020-07-31 CN CN202010762942.9A patent/CN111968205A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101515373A (zh) * | 2009-03-26 | 2009-08-26 | 浙江大学 | 竞技性交互式动画生成方法 |
| CN102930599A (zh) * | 2012-10-18 | 2013-02-13 | 浙江大学 | 一种基于双四元数的手运动的三维模拟方法 |
| CN105184845A (zh) * | 2015-09-09 | 2015-12-23 | 深圳华侨城文化旅游科技股份有限公司 | 角色模型的形成方法及系统 |
| CN107122561A (zh) * | 2017-05-08 | 2017-09-01 | 王征 | 一种基于3d模型绑定关系库对多个3d模型绑定操作的系统和方法 |
| CN108734762A (zh) * | 2018-05-18 | 2018-11-02 | 河南恒康伟业智能科技有限公司 | 运动轨迹仿真方法及系统 |
| US20190381404A1 (en) * | 2018-06-18 | 2019-12-19 | Unity IPR ApS | Method and system for real-time animation generation using machine learning |
| CN109885163A (zh) * | 2019-02-18 | 2019-06-14 | 广州卓远虚拟现实科技有限公司 | 一种虚拟现实多人交互协作方法与系统 |
| CN111145322A (zh) * | 2019-12-26 | 2020-05-12 | 上海浦东发展银行股份有限公司 | 用于驱动虚拟形象的方法、设备和计算机可读存储介质 |
| CN111273783A (zh) * | 2020-03-25 | 2020-06-12 | 北京百度网讯科技有限公司 | 数字人的控制方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 周尚宣: "Unity3D动作游戏开发实战", 30 June 2020, 机械工业出版社, pages: 28 - 29 * |
| 曹华: "游戏引擎原理与应用", 31 August 2016, 武汉大学出版社, pages: 181 - 184 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114519867A (zh) * | 2022-02-21 | 2022-05-20 | 首都体育学院 | 一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11836843B2 (en) | Enhanced pose generation based on conditional modeling of inverse kinematics | |
| JP7299414B2 (ja) | 画像処理方法、装置、電子機器及びコンピュータプログラム | |
| US11992768B2 (en) | Enhanced pose generation based on generative modeling | |
| CN104376309A (zh) | 一种基于手势识别的手势运动基元模型结构化方法 | |
| US9984488B2 (en) | Animating a virtual object in a virtual world | |
| Kryvonos et al. | Modeling human hand movements, facial expressions, and articulation to synthesize and visualize gesture information | |
| WO2024183454A1 (zh) | 虚拟对象动画生成方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| US10410393B2 (en) | Animating a virtual object in a virtual world | |
| Pavaloiu et al. | Inexpensive dentistry training using virtual reality tools | |
| CN111968205A (zh) | 一种仿生三维模型的驱动方法和系统 | |
| Kryvonos et al. | Construction and identification of elements of sign communication | |
| Roach et al. | Computer aided drafting virtual reality interface | |
| CN112862960A (zh) | 一种基于虚拟人体模型的点穴、画经络方法及系统 | |
| Mao et al. | A sketch-based gesture interface for rough 3D stick figure animation | |
| Hartholt et al. | Platforms and tools for SIA research and development | |
| Csuri | Computer animation | |
| Dekkati | Blender and Unreal Engine Character Design and Behavior Programming for 3D Games | |
| Barron-Estrada et al. | A natural user interface implementation for an interactive learning environment | |
| Leveugle et al. | Concurrent checking in dedicated controllers | |
| Lei | An interior design framework utilizing image processing and virtual reality technologies | |
| Liang et al. | Innovative Algorithm of Immersive Artistic Experience Integrating CAD and Virtual Reality | |
| Wan et al. | Interactive shadow play animation system | |
| US20240135616A1 (en) | Automated system for generation of facial animation rigs | |
| Vigneshwara et al. | Simulation Based Learning System | |
| Reyto | Drawing Light in the Cave: Embodied Spatial Drawing in Virtual Reality with Agency and Presence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |