CN108961431A - 人物表情的生成方法、装置及终端设备 - Google Patents
人物表情的生成方法、装置及终端设备 Download PDFInfo
- Publication number
- CN108961431A CN108961431A CN201810719463.1A CN201810719463A CN108961431A CN 108961431 A CN108961431 A CN 108961431A CN 201810719463 A CN201810719463 A CN 201810719463A CN 108961431 A CN108961431 A CN 108961431A
- Authority
- CN
- China
- Prior art keywords
- object model
- information
- keyword
- expressing
- nozzle type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008921 facial expression Effects 0.000 title claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 60
- 230000003190 augmentative effect Effects 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000005520 cutting process Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 239000000203 mixture Substances 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种人物表情的生成方法、装置及终端设备，该方法用于虚拟现实和/或增强现实，该方法包括：采集用户输入的表达信息；其中，用户输入的表达信息中包括与人物有关的关键词和关键词对应的对象模型输出的表达信息；并从表达信息中提取关键词；再在预先存储的对象模型库中获取与关键词对应的对象模型；并根据对象模型输出的表达信息，获取对象模型的嘴型变化信息；再根据对象模型以及对象模型的嘴型变化信息，得到对象模型的表情信息。本发明实施例提供的人物表情的生成方法、装置及终端设备，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种人物表情的生成方法、装置及终端设备。
背景技术
随着虚拟现实技术和/或增强现实的不断发展，用于共享应用的三维模型越来越多，通过这些共享应用的三维模型构建三维场景，该三维场景已经广泛应用于很多领域，可以在很大程度上为用户提供更直观的视觉享受，提高用户的体验。
以三维场景应用于动画片领域为例，现有技术中，在播放动画片之前，专业人员需要先获取场景中各对象的三维模型，再通过人工手动的方式将这些对象的三维模型进行组合，从而生成对应的动画片场景。当动画片场景中的人物模型讲话时，无论该人物模型讲什么内容，该人物模型的嘴型都只是简单的一闭一合，使得三维场景中的人物表情单一，生动性和真实性较差。
发明内容
本发明提供一种人物表情的生成方法、装置及终端设备，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
第一方面，本发明实施例提供一种人物表情的生成方法，所述方法用于虚拟现实和/或增强现实，所述方法包括：
采集用户输入的表达信息；其中，所述用户输入的表达信息中包括与人物有关的关键词和所述关键词对应的对象模型输出的表达信息；
从所述表达信息中提取所述关键词；
在预先存储的对象模型库中获取与所述关键词对应的对象模型；
根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息；
根据所述对象模型以及所述对象模型的嘴型变化信息，得到所述对象模型的表情信息。
在一种可能的实现方式中，所述根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息，包括：
将用户输入的表达信息输入至预先训练得到的网络模型中，得到所述表达信息中每一个字的嘴型信息；
根据所述对象模型输出的表达信息及所述表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
在一种可能的实现方式中，所述根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息，包括：
从所述表达信息中提取所述对象模型输出的表达信息；
将所述对象模型输出的表达信息输入至预先训练得到的网络模型中，得到所述对象模型输出的表达信息中每一个字的嘴型信息；
根据所述对象模型输出的表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
在一种可能的实现方式中，所述根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息之前，还包括：
收集多个用户对同一个语句进行表达时的视频流；
将所述视频流作为训练样本进行训练，获得网络模型，其中，所述网络模型用于基于不同的表达信息得到该表达信息中的每一个字对应的嘴型。
在一种可能的实现方式中，所述采集用户输入的表达信息，包括：
采集用户输入的文本信息；
相应的，所述从所述表达信息中提取与人物有关的关键词，包括：
根据语义模型对所述文本信息进行切词处理，得到词组；
在所述词组中提取所述与人物有关的关键词。
在一种可能的实现方式中，所述采集用户输入的表达信息，包括：
采集用户输入的语音信息；
相应的，所述从所述表达信息中提取与人物有关的关键词，包括：
对所述语音信息进行语音识别，得到文本信息；
根据语义模型对所述文本信息进行切词处理，得到词组；
从所述词组中提取与所述人物有关的关键词。
在一种可能的实现方式中，所述在预先存储的对象模型库中获取与所述关键词对应的对象模型之前，还包括：
收集所述与人物有关的关键词，并且收集与所述关键词对应的对象模型；
建立对象模型库，所述对象模型库中包含关键词与对象模型之间的关联关系。
第二方面，本发明实施例还提供一种人物表情的生成装置，所述装置用于虚拟现实和/或增强现实，所述装置包括：
采集单元，用于采集用户输入的表达信息；其中，所述用户输入的表达信息中包括与人物有关的关键词和所述关键词对应的对象模型输出的表达信息；
获取单元，用于从所述表达信息中提取所述关键词；
所述获取单元，还用于在预先存储的对象模型库中获取与所述关键词对应的对象模型；
所述获取单元，还用于根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息；
处理单元，用于根据所述对象模型以及所述对象模型的嘴型变化信息，得到所述对象模型的表情信息。
在一种可能的实现方式中，所述获取单元，具体用于将用户输入的表达信息输入至预先训练得到的网络模型中，得到所述表达信息中每一个字的嘴型信息；并根据所述对象模型输出的表达信息及所述表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
在一种可能的实现方式中，所述获取单元，具体用于从所述表达信息中提取所述对象模型输出的表达信息；并将所述对象模型输出的表达信息输入至预先训练得到的网络模型中，得到所述对象模型输出的表达信息中每一个字的嘴型信息；再根据所述对象模型输出的表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
在一种可能的实现方式中，所述采集单元，还用于收集多个用户对同一个语句进行表达时的视频流；并将所述视频流作为训练样本进行训练，获得网络模型，其中，所述网络模型用于基于不同的表达信息得到该表达信息中的每一个字对应的嘴型。
在一种可能的实现方式中，所述采集单元，具体用于采集用户输入的文本信息；
相应的，所述获取单元，具体用于根据语义模型对所述文本信息进行切词处理，得到词组；并在所述词组中提取所述与人物有关的关键词。
在一种可能的实现方式中，所述采集单元，具体用于采集用户输入的语音信息；
相应的，所述获取单元，具体用于对所述语音信息进行语音识别，得到文本信息；并根据语义模型对所述文本信息进行切词处理，得到词组；再从所述词组中提取与所述人物有关的关键词。
在一种可能的实现方式中，所述人物表情的生成装置还包括建立单元；
所述采集单元，还用于收集所述与人物有关的关键词，并且收集与所述关键词对应的对象模型；
所述建立单元，用于建立对象模型库，所述对象模型库中包含关键词与对象模型之间的关联关系。
第三方面，本发明实施例还提供一种终端设备，该终端设备可以包括处理器和存储器，其中，
所述存储器用于存储程序指令；
所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行上述第一方面任一项所示的人物表情的生成方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，其特征在于，
计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行上述第一方面任一项所示的人物表情的生成方法。
本发明实施例提供的人物表情的生成方法、装置及终端设备，通过采集用户输入的表达信息；并从表达信息中提取关键词；再在预先存储的对象模型库中获取与关键词对应的对象模型；并根据对象模型输出的表达信息，获取对象模型的嘴型变化信息；之后，再根据对象模型以及对象模型的嘴型变化信息，得到对象模型的表情信息。由此可见，本发明实施例提供的人物表情的生成方法、装置及终端设备，在分别获取到关键词对应的对象模型和对象模型的嘴型变化信息之后，可以直接根据对象模型和对象模型的嘴型变化信息得到对象模型的表情信息，与现有技术中通过人工手动对对象模型进行处理并构建三维场景，且人工手动构建的人物模型的嘴型都只是简单的一闭一合相比，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明实施例提供的一种应用场景的示意图；
图2为本发明实施例提供的一种人物表情的生成方法的流程示意图；
图3为本发明实施例提供的另一种人物表情的生成方法的流程示意图；
图4为本发明实施例提供的一种人物表情的生成装置的结构示意图；
图5为本发明实施例提供的另一种人物表情的生成装置的结构示意图；
图6为本发明实施例提供的一种终端设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例提供的三维场景的获取方法可以应用于动画片场景中，示例的，请参见图1所示，图1为本发明实施例提供的一种应用场景的示意图，以某一动画片中某一个穿着裙子的小女孩为例，该小女孩捧着礼物说“我好开心啊，终于买到礼物啦”。现有技术中，动画片中小女孩在说“我好开心啊，终于买到礼物啦”时，其嘴型只是简单的一闭一合，人物表情单一，生动性和真实性较差。为了提高三维场景中人物表情的生动性和真实性，本发明实施例提供了一种人物表情的生成方法，先分别获取与人物有关的关键词对应的对象模型和该对象模型对应的嘴型变化信息，并在获取到与人物有关的关键词对应的对象模型和该对象模型对应的嘴型变化信息之后，直接根据关键词对应的对象模型和该对象模型对应的嘴型变化信息获取该对象模型的表情信息，与现有技术中通过人工手动对对象模型进行处理并构建三维场景，且人工手动构建的人物模型的嘴型都只是简单的一闭一合相比，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
下面以具体的实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例提供的一种人物表情的生成方法的流程示意图，该人物表情的生成方法可以用于虚拟现实和/或增强现实，该人物表情的生成方法可以由人物表情的生成装置执行，该人物表情的生成装置可以独立设置，也可以集成在处理器中。请参见图2所示，该人物表情的生成方法可以包括：
S201、采集用户输入的表达信息。
其中，用户输入的表达信息中包括与人物有关的关键词和关键词对应的对象模型输出的表达信息。
其中，用户输入的表达信息可以通过文本的方式输入，即文本信息；当然，也可以通过语音的方式输入，即语音信息。示例的，当终端设备采集用户输入的文本信息时，可以通过终端设备的屏幕采集用户输入的文本信息；当终端设备采集用户输入的语音信息时，可以通过终端设备的麦克风采集用户输入的语音信息。该表达信息中包括至少一个与人物有关的关键词和关键词对应的对象模型输出的表达信息。
需要说明的是，本发明实施例中的表达信息可以为一句话，也可以为多句话组成的一段话，当然，也可以为多段话组成的一个完整的文本。
S202、从表达信息中提取关键词。
终端设备在通过上述S201采集到用户输入的表达信息之后，就可以提取该表达信息中与人物有关的关键词。示例的，该与人物有关的关键词可以为表示人物的年龄、身高、体重等的词。
S203、在预先存储的对象模型库中获取与关键词对应的对象模型。
其中，关键词对应的对象模型可以为三维模型。
需要说明的是，在获取与关键词对应的对象模型之前，需要预先建立对象模型库，该对象模型库中存储了多个关键词及关键词对应的对象表示模型。对于一个关键词而言，其可以对应一个或多个对象模型。例如，对于关键词“高个子”，其对应的对象模型可以为一个身高较高的男性人物模型，也可以为一个身高较高的女性人物模型。当然，也可以多个关键词对应一个对象模型。获取到的与人物有关的关键词越多，对应的在对象模型库中获取的对象模型的准确度越高。
在通过上述S202在表达信息中提取出与人物有关的关键词之后，就可以在预先建立的对象模型库中查找该关键词对应的对象模型，从而获取到关键词对应的对象模型。
S204、根据对象模型输出的表达信息，获取对象模型的嘴型变化信息。
在本发明实施例中，在获取对象模型的嘴型变化信息时，不是每一句话都简单的对应一闭一合的相同的嘴型变化，而是根据对象模型输出的表达信息确定对象模型的变化信息。当表达信息不同时，对象模型对应的嘴型变化也不同。
S205、根据对象模型以及对象模型的嘴型变化信息，得到对象模型的表情信息。
在通过S203在预先存储的对象模型库中获取与关键词对应的对象模型，及通过S204根据对象模型输出的表达信息，获取对象模型的嘴型变化信息之后，就可以根据该对象模型以及该对象模型的嘴型变化信息，得到对象模型的表情信息，与现有技术中通过人工手动对对象模型进行处理并构建三维场景，且人工手动构建的人物模型的嘴型都只是简单的一闭一合相比，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
本发明实施例提供的人物表情的生成方法，通过采集用户输入的表达信息；并从表达信息中提取关键词；再在预先存储的对象模型库中获取与关键词对应的对象模型；并根据对象模型输出的表达信息，获取对象模型的嘴型变化信息；之后，再根据对象模型以及对象模型的嘴型变化信息，得到对象模型的表情信息。由此可见，本发明实施例提供的人物表情的生成方法，在分别获取到关键词对应的对象模型和对象模型的嘴型变化信息之后，可以直接根据对象模型和对象模型的嘴型变化信息得到对象模型的表情信息，与现有技术中通过人工手动对对象模型进行处理并构建三维场景，且人工手动构建的人物模型的嘴型都只是简单的一闭一合相比，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
为了更清楚地说明本发明实施例提供的人物表情的生成方法，请参见图3所示，图3为本发明实施例提供的另一种人物表情的生成方法的流程示意图，在图3所示的实施例中，以用户输入的表达信息为文本信息为例，该人物表情的生成方法还可以包括：
S301、采集用户输入的文本信息。
其中，用户输入的文本信息中包括与人物有关的关键词和关键词对应的对象模型输出的表达信息。
同样的，本发明实施例中的文本信息可以为一句话，也可以为多句话组成的一段话，当然，也可以为多段话组成的一个完整的文本。并且，该文本信息中包括至少一个与人物有关的关键词和关键词对应的对象模型输出的表达信息。
可选的，终端设备可以通过终端设备的屏幕采集用户输入的文本信息，当然，也可以通过其他方式采集用户输入的文本信息，在此，本发明实施例只是以通过终端设备的屏幕采集用户输入的文本信息为例进行说明，但并不代表本发明实施例仅局限于此。
终端设备在采集到用户输入的文本信息之后，就可以提取该文本信息中的与人物有关的关键词，可选的，在本发明实施例中，提取该文本信息中的与人物有关的关键词可以通过下述S302-S303实现：
S302、根据语义模型对文本信息进行切词处理，得到词组。
在通过上述S301采集到用户输入的文本信息之后，就可以根据语义模型对该文本信息进行切词处理，得到词组。需要说明的是，通过语义模型对文本信息进行切词处理的方法可参见现有技术中已公开的方法，在此，本发明实施例不再进行赘述。
示例的，结合图1所示，终端设备在采集到文本信息“身高为145厘米、体重为40公斤的一个10岁小女孩，穿着小裙子，捧着礼物说“我好开心啊，终于买到礼物啦””之后，可以通过语义模型对该文本信息进行切词处理，得到多个词组，该多个词组至少包括：身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、捧着、礼物、好开心、终于、买等词组。
S303、在词组中提取与人物有关的关键词。
在根据语义模型对文本信息进行切词处理，得到词组之后，就可以从得到的词组中提取出与人物有关的关键词。
需要说明的是，在上述S301-S303中，只是以表达信息为文本信息，如何提取该文本信息中与人物相关的关键词为例进行说明，当然，表达信息也可以为语音信息，当表达信息为语音信息时，可以先对该语音信息进行语音识别，以得到该语音信息对应的文本信息，从而将用户输入的语音信息转换为其对应的文本信息，之后在该文本信息中提取与人物相关的关键词的方式与上述S302-S303相同，可参见上述S302-S303中的描述，在此，本发明实施例不再进行赘述。
示例的，在通过S302进行分词处理，得到身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、捧着、礼物、好开心、终于、买等词组之后，就可以在这些词组中提取与人物有关的关键词。可以看出，与人物相关的关键词有：身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、捧着、礼物、好开心。
S304、收集与人物有关的关键词，并且收集与关键词对应的对象模型。
在获取关键词对应的对象模型的表情信息之前，需要先收集与人物对应的关键词，并且收集与关键词对应的对象模型。需要说明的是，在收集与关键词对应的对象模型时，一个关键词可以对应多个对象模型，当然，也可以多个关键词对应一个对象模型。
可选的，与人物有关的属性可以包括身高、体重、年龄、穿着等特征，则用于表示这些属性的词都可以理解为与人物有关的关键词。在确定与人物有关的关键词之后，就可以进一步收集与这些关键词对应的对象模型。需要说明的是，在收集与关键词对应的对象模型时，该对象模型可以是根据一个关键词确定的，例如，当关键词为高个子时，对应收集的对象模型为一个高个子的人物模型；当然，该对象模型也可以是根据至少两个关键词确定的，例如，当该至少两个关键词包括：身高145厘米、体重40公斤及小女孩时，对应收集的对象模型为身高145厘米、体重40公斤的小女孩的人物模型。
S305、建立对象模型库。
其中，对象模型库中包含关键词与对象模型之间的关联关系。
在通过S304分别收集与人物有关的关键词，并且收集与关键词对应的对象模型之后，就可以根据关键词与对象模型之间的关联关系建立对象模型库。
需要说明的是，S301-S303和S304-S305之间并无先后顺序，可以先执行S301-S303，再执行S304-S305；当然，也可以先执行S304-S305，再执行S301-S303；当然，也可以同时执行S301-S303和S304-S305。在此，本发明实施例只是以先执行S301-S303，再执行S304-S305为例进行说明，但并不代表本发明实施例仅局限于此。通常情况下，可以先执行S304-S305，即先收集与人物有关的关键词，并且收集与关键词对应的对象模型，并建立对象模型库，且不是在每次获取对象模型的表情信息时都需要执行S304-S305，可以在第一次获取对象模型的表情信息时建立一个对象模型库，后续当有新的关键词和其对应的对象模型产生时，可以将该新的关键词和其对应的对象模型添加至该对象模型库，从而对该对象模型库进行更新。
S306、在预先存储的对象模型库中获取与关键词对应的对象模型。
需要说明的是，在预先建立的对象模型库中获取与关键词对应的对象模型时，若在预先存储的对应模型库中，一个关键词对应至少两个对象模型时，可以在至少两个对象模型中任意选择一个作为关键词对应的对象模型，也可以对该至少两个对象模型求平均值，从而得到关键词对应的对象模型。当然，若文本信息中有对该对象模型的进一步地限定时，可以在至少两个对象模型中选择与文本信息匹配的对象模型。
示例的，在通过S303提取到与人物有关的关键词身高、145厘米、体重、40公斤、10岁、小女孩、穿着、小裙子、捧着、礼物及好开心，并通过S305建立对象模型库之后，可以根据这些与人物有关的关键词，在预先建立的对象模型库中，查找并获取身高为145厘米、体重为40公斤、10岁的穿着小裙子，且很开心的捧着礼物的小女孩模型。
在获取到小女孩模型之后，为了使得获取到的小女孩模型更加生动和真实，还可以进一步地根据小女孩输出的文本信息“我好开心啊，终于买到礼物啦”获取该小女孩的嘴型变化信息，请参见下述S307所示：
S307、根据对象模型输出的表达信息，获取对象模型的嘴型变化信息。
可选的，在本发明实施例中，根据对象模型输出的表达信息，获取对象模型的嘴型变化信息，包括下述至少两种可能的实现方式，具体为：
在一种可能的实现方式中，将用户输入的表达信息输入至预先训练得到的网络模型中，得到表达信息中每一个字的嘴型信息；并根据对象模型输出的表达信息及表达信息中每一个字的嘴型信息，确定对象模型的嘴型变化信息。
示例的，在第一种可能的实现方式中，在确定小女孩的嘴型变化信息时，可以先将用户A输入的文本信息“高为145厘米、体重为40公斤的一个10岁小女孩，穿着小裙子，捧着礼物说“我好开心啊，终于买到礼物啦””输入至预先训练得到的网络模型中，从而获取该文本信息种每一个字的嘴型信息；再在这些嘴型信息中找到“我好开心啊，终于买到礼物啦”中的每一个字对应的嘴型信息，这样就可以根据“我好开心啊，终于买到礼物啦”中的每一个字的嘴型信息确定小女孩的嘴型变化信息。
第二种可能的实现方式中，从表达信息中提取对象模型输出的表达信息；将对象模型输出的表达信息输入至预先训练得到的网络模型中，得到对象模型输出的表达信息中每一个字的嘴型信息；根据对象模型输出的表达信息中每一个字的嘴型信息，确定对象模型的嘴型变化信息。
示例的，在第二种可能的实现方式中，在确定小女孩的嘴型变化信息时，可以先在用户A输入的文本信息“高为145厘米、体重为40公斤的一个10岁小女孩，穿着小裙子，捧着礼物说“我好开心啊，终于买到礼物啦””中提取出小女孩说的文本信息“我好开心啊，终于买到礼物啦”，并将该文本信息“我好开心啊，终于买到礼物啦”输入至预先训练得到的网络模型中，从而得到“我好开心啊，终于买到礼物啦”中的每一个字对应的嘴型信息，这样就可以根据“我好开心啊，终于买到礼物啦”中的每一个字的嘴型信息确定小女孩的嘴型变化信息。
当然，在通过上述两种可能的实现方式获取对象模型的嘴型变化信息之前，需要先收集多个用户对同一个语句进行表达时的视频流；并将视频流作为训练样本进行训练，获得网络模型。其中，网络模型用于基于不同的表达信息得到该表达信息中的每一个字对应的嘴型。
示例的，在收集到多个用户对对同一个语句进行表达时的视频流之后，可以对将视频流作为训练样本，通过神经网络模型对该训练样本进行训练，从而得到该网络模型。需要说明的是，不是在每一次获取对象模型的嘴型变化信息之前，都需要对训练样本进行训练以获得网络模型，而是可以在第一次获取对象模型的嘴型变化信息时对训练样本进行训练并获得网络模型，后续当有新的表情样本产生时，可以根据表情样本对网络模型进行更新，这样可以提高该网络模型的准确性。
S308、根据对象模型以及对象模型的嘴型变化信息，得到对象模型的表情信息。
在分别获取到关键词对应的对象模型和该对象模型的嘴型变化信息之后，就可以根据该对象模型以及该对象模型的嘴型变化信息，确定对象模型的表情信息，与现有技术中通过人工手动对对象模型进行处理并构建三维场景，且人工手动构建的人物模型的嘴型都只是简单的一闭一合相比，在实现对三维场景自动构建的基础上，提高了三维场景中人物表情的生动性和真实性。
示例的，在获取到关键词对应的身高为145厘米、体重为40公斤、10岁的穿着小裙子，且很开心的捧着礼物的小女孩模型，且获取到该小女孩说的文本信息“我好开心啊，终于买到礼物啦”中的每一个字的嘴型信息对应的小女孩的嘴型变化信息之后，就可以根据该小女孩模型和小女孩的嘴型变化信息确定该小女孩模型的表情信息，可参见上述图1所示。与现有技术中通过人工手动对对象模型进行处理并构建三维场景，且人工手动构建的人物模型的嘴型都只是简单的一闭一合相比，在实现对三维场景自动构建的基础上，提高了三维场景中小女孩表情的生动性和真实性。
图4为本发明实施例提供的一种人物表情的生成装置40的结构示意图，请参见图4所示，该人物表情的生成装置40可以应用于虚拟现实和/或增强现实，该人物表情的生成装置40可以包括：
采集单元401，用于采集用户输入的表达信息；其中，用户输入的表达信息中包括与人物有关的关键词和关键词对应的对象模型输出的表达信息。
获取单元402，用于从表达信息中提取关键词。
获取单元402，还用于在预先存储的对象模型库中获取与关键词对应的对象模型。
获取单元402，还用于根据对象模型输出的表达信息，获取对象模型的嘴型变化信息。
处理单元403，用于根据对象模型以及对象模型的嘴型变化信息，得到对象模型的表情信息。
可选的，获取单元402，具体用于将用户输入的表达信息输入至预先训练得到的网络模型中，得到表达信息中每一个字的嘴型信息；并根据对象模型输出的表达信息及表达信息中每一个字的嘴型信息，确定对象模型的嘴型变化信息。
可选的，获取单元402，具体用于从表达信息中提取对象模型输出的表达信息；并将对象模型输出的表达信息输入至预先训练得到的网络模型中，得到对象模型输出的表达信息中每一个字的嘴型信息；再根据对象模型输出的表达信息中每一个字的嘴型信息，确定对象模型的嘴型变化信息。
可选的，采集单元401，还用于收集多个用户对同一个语句进行表达时的视频流；并将视频流作为训练样本进行训练，获得网络模型，其中，网络模型用于基于不同的表达信息得到该表达信息中的每一个字对应的嘴型。
可选的，采集单元401，具体用于采集用户输入的文本信息。
相应的，获取单元402，具体用于根据语义模型对文本信息进行切词处理，得到词组；并在词组中提取与人物有关的关键词。
可选的，采集单元401，具体用于采集用户输入的语音信息。
相应的，获取单元402，具体用于对语音信息进行语音识别，得到文本信息；并根据语义模型对文本信息进行切词处理，得到词组；再从词组中提取与人物有关的关键词。
可选的，该人物表情的生成装置40还可以包括建立单元404，请参见图5所示，图5为本发明实施例提供的另一种人物表情的生成装置40的结构示意图。
采集单元401，还用于收集与人物有关的关键词，并且收集与关键词对应的对象模型。
建立单元404，用于建立对象模型库，对象模型库中包含关键词与对象模型之间的关联关系。
本发明实施例所示的人物表情的生成装置40，可以执行上述任一实施例所示的人物表情的生成方法的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。
图6为本发明实施例提供的一种终端设备60的结构示意图，请参见图6所示，该终端设备60可以包括处理器601和存储器602。其中，
存储器602用于存储程序指令。
处理器601用于读取存储器602中的程序指令，并根据存储器602中的程序指令执行上述任一实施例所示的人物表情的生成方法。
本发明实施例所示的终端设备60，可以执行上述任一实施例所示的人物表情的生成方法的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。
本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，在计算机程序被处理器执行时，执行上述任一实施例所示的人物表情的生成方法，其实现原理以及有益效果类似，此处不再进行赘述。
上述实施例中处理器可以是通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的指令，结合其硬件完成上述方法的步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (16)
1.一种人物表情的生成方法，其特征在于，所述方法用于虚拟现实和/或增强现实，所述方法包括：
采集用户输入的表达信息；其中，所述用户输入的表达信息中包括与人物有关的关键词和所述关键词对应的对象模型输出的表达信息；
从所述表达信息中提取所述关键词；
在预先存储的对象模型库中获取与所述关键词对应的对象模型；
根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息；
根据所述对象模型以及所述对象模型的嘴型变化信息，得到所述对象模型的表情信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息，包括：
将用户输入的表达信息输入至预先训练得到的网络模型中，得到所述表达信息中每一个字的嘴型信息；
根据所述对象模型输出的表达信息及所述表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息，包括：
从所述表达信息中提取所述对象模型输出的表达信息；
将所述对象模型输出的表达信息输入至预先训练得到的网络模型中，得到所述对象模型输出的表达信息中每一个字的嘴型信息；
根据所述对象模型输出的表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息之前，还包括：
收集多个用户对同一个语句进行表达时的视频流；
将所述视频流作为训练样本进行训练，获得网络模型，其中，所述网络模型用于基于不同的表达信息得到该表达信息中的每一个字对应的嘴型。
5.根据权利要求1～3任一项所述的方法，其特征在于，所述采集用户输入的表达信息，包括：
采集用户输入的文本信息；
相应的，所述从所述表达信息中提取与人物有关的关键词，包括：
根据语义模型对所述文本信息进行切词处理，得到词组；
在所述词组中提取所述与人物有关的关键词。
6.根据权利要求1～3任一项所述的方法，其特征在于，所述采集用户输入的表达信息，包括：
采集用户输入的语音信息；
相应的，所述从所述表达信息中提取与人物有关的关键词，包括：
对所述语音信息进行语音识别，得到文本信息；
根据语义模型对所述文本信息进行切词处理，得到词组；
从所述词组中提取与所述人物有关的关键词。
7.根据权利要求1～3中任一项所述的方法，其特征在于，所述在预先存储的对象模型库中获取与所述关键词对应的对象模型之前，还包括：
收集所述与人物有关的关键词，并且收集与所述关键词对应的对象模型；
建立对象模型库，所述对象模型库中包含关键词与对象模型之间的关联关系。
8.一种人物表情的生成装置，其特征在于，所述装置用于虚拟现实和/或增强现实，所述装置包括：
采集单元，用于采集用户输入的表达信息；其中，所述用户输入的表达信息中包括与人物有关的关键词和所述关键词对应的对象模型输出的表达信息；
获取单元，用于从所述表达信息中提取所述关键词；
所述获取单元，还用于在预先存储的对象模型库中获取与所述关键词对应的对象模型；
所述获取单元，还用于根据所述对象模型输出的表达信息，获取所述对象模型的嘴型变化信息；
处理单元，用于根据所述对象模型以及所述对象模型的嘴型变化信息，得到所述对象模型的表情信息。
9.根据权利要求8所述的装置，其特征在于，
所述获取单元，具体用于将用户输入的表达信息输入至预先训练得到的网络模型中，得到所述表达信息中每一个字的嘴型信息；并根据所述对象模型输出的表达信息及所述表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
10.根据权利要求8所述的装置，其特征在于，
所述获取单元，具体用于从所述表达信息中提取所述对象模型输出的表达信息；并将所述对象模型输出的表达信息输入至预先训练得到的网络模型中，得到所述对象模型输出的表达信息中每一个字的嘴型信息；再根据所述对象模型输出的表达信息中每一个字的嘴型信息，确定所述对象模型的嘴型变化信息。
11.根据权利要求9或10所述的装置，其特征在于，
所述采集单元，还用于收集多个用户对同一个语句进行表达时的视频流；并将所述视频流作为训练样本进行训练，获得网络模型，其中，所述网络模型用于基于不同的表达信息得到该表达信息中的每一个字对应的嘴型。
12.根据权利要求8～10任一项所述的装置，其特征在于，
所述采集单元，具体用于采集用户输入的文本信息；
相应的，所述获取单元，具体用于根据语义模型对所述文本信息进行切词处理，得到词组；并在所述词组中提取所述与人物有关的关键词。
13.根据权利要求8～10任一项所述的装置，其特征在于，
所述采集单元，具体用于采集用户输入的语音信息；
相应的，所述获取单元，具体用于对所述语音信息进行语音识别，得到文本信息；并根据语义模型对所述文本信息进行切词处理，得到词组；再从所述词组中提取与所述人物有关的关键词。
14.根据权利要求8～10中任一项所述的装置，其特征在于，还包括建立单元；
所述采集单元，还用于收集所述与人物有关的关键词，并且收集与所述关键词对应的对象模型；
所述建立单元，用于建立对象模型库，所述对象模型库中包含关键词与对象模型之间的关联关系。
15.一种终端设备，其特征在于，包括处理器和存储器，其中，
所述存储器用于存储程序指令；
所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行权利要求1～7任一项所示的人物表情的生成方法。
16.一种计算机可读存储介质，其特征在于，
计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行权利要求1～7任一项所示的人物表情的生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810719463.1A CN108961431A (zh) | 2018-07-03 | 2018-07-03 | 人物表情的生成方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810719463.1A CN108961431A (zh) | 2018-07-03 | 2018-07-03 | 人物表情的生成方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108961431A true CN108961431A (zh) | 2018-12-07 |
Family
ID=64485432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810719463.1A Pending CN108961431A (zh) | 2018-07-03 | 2018-07-03 | 人物表情的生成方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961431A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383642A (zh) * | 2018-12-27 | 2020-07-07 | Tcl集团股份有限公司 | 基于神经网络的语音应答方法、存储介质以终端设备 |
| US11087520B2 (en) | 2018-09-19 | 2021-08-10 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation for facial model |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002351489A (ja) * | 2001-05-29 | 2002-12-06 | Namco Ltd | ゲーム情報、情報記憶媒体、及びゲーム装置 |
| WO2013027893A1 (ko) * | 2011-08-22 | 2013-02-28 | Kang Jun-Kyu | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 |
| CN104461525A (zh) * | 2014-11-27 | 2015-03-25 | 韩慧健 | 一种可自定义的智能咨询平台生成系统 |
| CN105797375A (zh) * | 2014-12-31 | 2016-07-27 | 深圳市亿思达科技集团有限公司 | 一种跟随用户脸部表情改变角色模型表情的方法和终端 |
| CN106504304A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种动画合成的方法及装置 |
| CN106710590A (zh) * | 2017-02-24 | 2017-05-24 | 广州幻境科技有限公司 | 基于虚拟现实环境的具有情感功能的语音交互系统及方法 |
| CN106875947A (zh) * | 2016-12-28 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的语音输出方法和装置 |
| CN107016046A (zh) * | 2017-02-20 | 2017-08-04 | 北京光年无限科技有限公司 | 基于视觉场景化的智能机器人对话方法及系统 |
| CN107808191A (zh) * | 2017-09-13 | 2018-03-16 | 北京光年无限科技有限公司 | 虚拟人多模态交互的输出方法和系统 |
-
2018
- 2018-07-03 CN CN201810719463.1A patent/CN108961431A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002351489A (ja) * | 2001-05-29 | 2002-12-06 | Namco Ltd | ゲーム情報、情報記憶媒体、及びゲーム装置 |
| WO2013027893A1 (ko) * | 2011-08-22 | 2013-02-28 | Kang Jun-Kyu | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 |
| CN104461525A (zh) * | 2014-11-27 | 2015-03-25 | 韩慧健 | 一种可自定义的智能咨询平台生成系统 |
| CN105797375A (zh) * | 2014-12-31 | 2016-07-27 | 深圳市亿思达科技集团有限公司 | 一种跟随用户脸部表情改变角色模型表情的方法和终端 |
| CN106504304A (zh) * | 2016-09-14 | 2017-03-15 | 厦门幻世网络科技有限公司 | 一种动画合成的方法及装置 |
| CN106875947A (zh) * | 2016-12-28 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的语音输出方法和装置 |
| CN107016046A (zh) * | 2017-02-20 | 2017-08-04 | 北京光年无限科技有限公司 | 基于视觉场景化的智能机器人对话方法及系统 |
| CN106710590A (zh) * | 2017-02-24 | 2017-05-24 | 广州幻境科技有限公司 | 基于虚拟现实环境的具有情感功能的语音交互系统及方法 |
| CN107808191A (zh) * | 2017-09-13 | 2018-03-16 | 北京光年无限科技有限公司 | 虚拟人多模态交互的输出方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵晖: "真实感汉语可视语音合成关键技术研究", 中国博士学位论文全文数据库 信息科技辑, pages 136 - 21 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11087520B2 (en) | 2018-09-19 | 2021-08-10 | XRSpace CO., LTD. | Avatar facial expression generating system and method of avatar facial expression generation for facial model |
| CN111383642A (zh) * | 2018-12-27 | 2020-07-07 | Tcl集团股份有限公司 | 基于神经网络的语音应答方法、存储介质以终端设备 |
| CN111383642B (zh) * | 2018-12-27 | 2024-01-02 | Tcl科技集团股份有限公司 | 基于神经网络的语音应答方法、存储介质以终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111833418B (zh) | 动画交互方法、装置、设备以及存储介质 | |
| WO2018049979A1 (zh) | 一种动画合成的方法及装置 | |
| CN104461525B (zh) | 一种可自定义的智能咨询平台生成系统 | |
| CN106710590A (zh) | 基于虚拟现实环境的具有情感功能的语音交互系统及方法 | |
| CN110188177A (zh) | 对话生成方法及装置 | |
| CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
| CN108961396A (zh) | 三维场景的生成方法、装置及终端设备 | |
| CN110390704A (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| CN107169430A (zh) | 基于图像处理语义分析的阅读环境音效增强系统及方法 | |
| CN101808047A (zh) | 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法 | |
| CN201611889U (zh) | 即时通讯伴侣机器人 | |
| CN108492817A (zh) | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统 | |
| CN110110104B (zh) | 一种自动生成虚拟三维空间内房屋讲解的方法及装置 | |
| CN109658923A (zh) | 基于人工智能的语音质检方法、设备、存储介质及装置 | |
| CN105931635B (zh) | 一种音频分割方法及装置 | |
| JP6860010B2 (ja) | 情報処理システム、情報処理方法、および情報処理プログラム | |
| CN109523616A (zh) | 一种面部动画生成方法、装置、设备及可读存储介质 | |
| CN111147877B (zh) | 虚拟礼物的赠送方法、装置、设备及存储介质 | |
| CN109408833A (zh) | 一种翻译方法、装置、设备及可读存储介质 | |
| CN206711600U (zh) | 基于虚拟现实环境的具有情感功能的语音交互系统 | |
| CN110309254A (zh) | 智能机器人与人机交互方法 | |
| CN109064532B (zh) | 动画角色自动口型生成方法及装置 | |
| CN116863038A (zh) | 一种文本生成数字人语音及面部动画的方法 | |
| JP2023552854A (ja) | ヒューマンコンピュータインタラクション方法、装置、システム、電子機器、コンピュータ可読媒体及びプログラム | |
| CN108052250A (zh) | 基于多模态交互的虚拟偶像演绎数据处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |