CN111897434A - 信号控制虚拟人像的系统、方法及介质 - Google Patents
信号控制虚拟人像的系统、方法及介质 Download PDFInfo
- Publication number
- CN111897434A CN111897434A CN202010779569.8A CN202010779569A CN111897434A CN 111897434 A CN111897434 A CN 111897434A CN 202010779569 A CN202010779569 A CN 202010779569A CN 111897434 A CN111897434 A CN 111897434A
- Authority
- CN
- China
- Prior art keywords
- user
- intention
- engine
- recognition
- recognition engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000008451 emotion Effects 0.000 claims abstract description 33
- 238000003058 natural language processing Methods 0.000 claims abstract description 14
- 230000014509 gene expression Effects 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 230000011664 signaling Effects 0.000 claims 3
- 230000008909 emotion recognition Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种信号控制虚拟人像的系统、方法及介质，包括：语音识别引擎，对输入的语音进行解析，得到用户意图并发送给意图识别引擎；自然语言处理引擎，对输入的文本进行解析，得到用户意图并发送给意图识别引擎；图像识别引擎，对输入的图像进行解析，得到用户意图并发送给意图识别引擎；意图识别引擎，根据用户意图，识别出用户当前情绪并发送给虚拟人像引擎；虚拟人像引擎，根据用户当前情绪计算出对应的表情进行回应。本发明通过采用了语义理解和虚拟人像的结合，利用智能咨询和智能业务办理，解决了用户在问题定位不清晰，业务办理困难的问题。
Description
技术领域
本发明涉及虚拟人像技术领域，具体地，涉及一种信号控制虚拟人像的系统、方法及介质。
背景技术
面部表情和其他身体动作是人类沟通的重要组成部分。面部表情可用于表达诸如惊讶、愤怒、悲伤、快乐、恐惧、厌恶之类的情感和其他这样的情感。对于一些人而言，需要进行培训以更好地理解和解释那些表情。例如，销售人员、警察等可能会得益于能够更好地解读和理解面部表情。
而今，虚拟人像的表情也可以反馈信息给人，目前市场上将AI能力和虚拟人像结合的产品少之又少。
专利文献CN106502426A(201611125941.3)公开了一种虚拟人物控制设备以及虚拟现实交互系统，所述设备包括信号输入器和用于设置在人物腹部的方向控制器；所述方向控制器包括第一中心触点和方向触点，所述第一中心触点用于根据人物移动引起的腹部变化与所述方向触点接触，并生成用于控制虚拟人物进行与人物同步移动的方向位移信号；所述信号输入器与所述方向控制器连接，用于将所述方向位移信号发送至虚拟人物的载体终端。通过采集真实玩家的行为动作，并通过特殊的动作对应的身体变化，通过虚拟人物控制设备形成对应的信号，从而对虚拟人物进行控制，使虚拟人物能够做到与真实玩家同步的动作状态。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种信号控制虚拟人像的系统、方法及介质。
根据本发明提供的信号控制虚拟人像的系统，包括：语音识别引擎、自然语言处理引擎、图像识别引擎、意图识别引擎和虚拟人像引擎；
所述语音识别引擎，对输入的语音进行解析，得到用户意图并发送给意图识别引擎；
所述自然语言处理引擎，对输入的文本进行解析，得到用户意图并发送给意图识别引擎；
所述图像识别引擎，对输入的图像进行解析，得到用户意图并发送给意图识别引擎；
所述意图识别引擎，根据用户意图，识别出用户当前情绪并发送给虚拟人像引擎；通过语音和文本的情感分析进行情感识别。
所述虚拟人像引擎，根据用户当前情绪计算出对应的表情进行回应。
根据本发明提供的信号控制虚拟人像的方法，包括：
步骤1，用户通过系统进行输入；
步骤2，对输入进行意图识别，得到用户当前情绪；
步骤3，虚拟人像通过用户当前情绪计算对应的表情进行回应。
优选的，针对业务场景，通过用户的意图计算出用户的实际问题和所需要的答案，并返回给用户答案。
优选的，通过用户咨询的问题，推断出用户所关心的业务，并进行推荐。
优选的，输入文本后，通过自然语言处理引擎对输入的文本进行解析，理解出用户的意图。
优选的，输入语音后，语音识别引擎对输入的语音进行转换，转换成文本后再通过自然语言处理引擎对输入的文本进行解析，理解出用户的意图。
优选的，输入图像后，图像识别引擎对输入的图像进行解析，包括物体识别、人脸识别、身份识别和图像识别，将图像转换为对应的知识进行意图识别。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：本发明采用了语义理解和虚拟人像的结合，利用智能咨询和智能业务办理，解决了用户在问题定位不清晰，业务办理困难的问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
如图1，根据本发明提供的信号控制虚拟人像的方法，本发明利用信息流，如文本，图像，语音等作为输入，服务端对输入进行理解；此处利用了NLP，知识图谱，图像识别，语音分割，语音ASR，情绪识别等人工智能先进技术；得出输入的意图，再将意图传递给虚拟人像，人像根据理解的意图做出相应的表情或者动作，同时，意图也会传递给后端的知识图谱和知识库进行答案的提取，最终答案也会传递给虚拟人像，并由虚拟人像将答案展现给提问人。
根据本发明提供的信号控制虚拟人像的系统，包括：语音识别引擎、自然语言处理引擎、图像识别引擎、意图识别引擎和虚拟人像引擎；
所述语音识别引擎，对输入的语音进行解析，得到用户意图并发送给意图识别引擎；
所述自然语言处理引擎，对输入的文本进行解析，得到用户意图并发送给意图识别引擎；
所述图像识别引擎，对输入的图像进行解析，得到用户意图并发送给意图识别引擎；
所述意图识别引擎，根据用户意图，识别出用户当前情绪并发送给虚拟人像引擎；通过语音和文本的情感分析进行情感识别。
文本情感识别的步骤：
1、文本输入；
2、数据预处理；
3、情感词特征计算；
4、机器学习/深度学习模型进行分类。
输入的文本可以是在特定应用场景的语料中抽取的文本，通常可以覆盖该语料中各种类型的文本，包括正面情感文本或负面情感文本；个人动态的情感：“高兴”、“沮丧”、“愤怒”、“悲伤”等多种类别，对于样本文本“天气太好了”，可以标注其情感分类标签为“高兴”，对于样本文本“今天真倒霉”，可以标注其情感分类标签为“沮丧”等。
语音情感识别的步骤：
1、语音输入；
2、语音模型进行情感语音信号采集；
3、特征频率计算；
4、特征能量计算；
5、情感词特征计算；
6、机器学习/深度学习模型进行分类。
所述输入的语音为音频响度或频率，若干种情感类别可以为四种情感类别：开心、伤心、愤怒和中性。
所述虚拟人像引擎，根据用户当前情绪计算出对应的表情进行回应。
情绪计算：
1、通过语音/文本情感识别模型进行识别；
2、得到具体的情感分类；
3、很具情感分类做出具体的回应。
优选的，通过电话过程中的通信内容、通信的音量、语速和对物体施加的压力做出情绪上的判断。
根据本发明提供的信号控制虚拟人像的方法，包括：
步骤1，用户通过系统进行输入；
步骤2，对输入进行意图识别，得到用户当前情绪；
步骤3，虚拟人像通过用户当前情绪计算对应的表情进行回应。
优选的，针对业务场景，通过用户的意图计算出用户的实际问题和所需要的答案，并返回给用户答案。
优选的，通过用户咨询的问题，计算出用户所关心的业务，并进行推荐。
优选的，输入文本后，通过自然语言处理引擎对输入的文本进行解析，理解出用户的意图。
优选的，输入语音后，语音识别引擎对输入的语音进行转换，转换成文本后再通过自然语言处理引擎对输入的文本进行解析，理解出用户的意图。
优选的，输入图像后，图像识别引擎对输入的图像进行解析，包括物体识别、人脸识别、身份识别和图像识别，将图像转换为对应的知识进行意图识别。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。
本发明在使用过程中遇到了几点困难：
1、硬件支持，需要较高配置的硬件对人像进行支持；
2、定向麦克风，麦克风收音问题，收音质量太好，就会产生很多杂音，收音质量不好，识别效果不好。
针对收音做了麦克风角度，距离的相关测试之后确定了最佳的收音位置并对语音模型做了一定的优化，以保证收音杂音问题。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种信号控制虚拟人像的系统，其特征在于，包括：语音识别引擎、自然语言处理引擎、图像识别引擎、意图识别引擎和虚拟人像引擎；
所述语音识别引擎，对输入的语音进行解析，得到用户意图并发送给意图识别引擎；
所述自然语言处理引擎，对输入的文本进行解析，得到用户意图并发送给意图识别引擎；
所述图像识别引擎，对输入的图像进行解析，得到用户意图并发送给意图识别引擎；
所述意图识别引擎，根据用户意图，识别出用户当前情绪并发送给虚拟人像引擎；
所述虚拟人像引擎，根据用户当前情绪计算出对应的表情进行回应。
2.一种信号控制虚拟人像的方法，其特征在于，采用权利要求1所述的信号控制虚拟人像的系统，包括：
步骤1，用户通过系统进行输入；
步骤2，对输入进行意图识别，得到用户当前情绪；
步骤3，虚拟人像通过用户当前情绪计算对应的表情进行回应。
3.根据权利要求2所述的信号控制虚拟人像的方法，其特征在于，针对业务场景，通过用户的意图计算出用户的实际问题和所需要的答案，并返回给用户答案。
4.根据权利要求2所述的信号控制虚拟人像的方法，其特征在于，通过用户咨询的问题，计算出用户所关心的业务，并进行推荐。
5.根据权利要求2所述的信号控制虚拟人像的方法，其特征在于，输入文本后，通过自然语言处理引擎对输入的文本进行解析，理解出用户的意图。
6.根据权利要求2所述的信号控制虚拟人像的方法，其特征在于，输入语音后，语音识别引擎对输入的语音进行转换，转换成文本后再通过自然语言处理引擎对输入的文本进行解析，理解出用户的意图。
7.根据权利要求2所述的信号控制虚拟人像的方法，其特征在于，输入图像后，图像识别引擎对输入的图像进行解析，包括物体识别、人脸识别、身份识别和图像识别，将图像转换为对应的知识进行意图识别。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求2至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010779569.8A CN111897434A (zh) | 2020-08-05 | 2020-08-05 | 信号控制虚拟人像的系统、方法及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010779569.8A CN111897434A (zh) | 2020-08-05 | 2020-08-05 | 信号控制虚拟人像的系统、方法及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111897434A true CN111897434A (zh) | 2020-11-06 |
Family
ID=73245770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010779569.8A Pending CN111897434A (zh) | 2020-08-05 | 2020-08-05 | 信号控制虚拟人像的系统、方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111897434A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112786043A (zh) * | 2020-12-29 | 2021-05-11 | 上海永骁智能技术有限公司 | 一种基于可触控终端的智能税务系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197115A (zh) * | 2018-01-26 | 2018-06-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| CN109086860A (zh) * | 2018-05-28 | 2018-12-25 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN109271018A (zh) * | 2018-08-21 | 2019-01-25 | 北京光年无限科技有限公司 | 基于虚拟人行为标准的交互方法及系统 |
| CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
-
2020
- 2020-08-05 CN CN202010779569.8A patent/CN111897434A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197115A (zh) * | 2018-01-26 | 2018-06-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
| CN109086860A (zh) * | 2018-05-28 | 2018-12-25 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN109271018A (zh) * | 2018-08-21 | 2019-01-25 | 北京光年无限科技有限公司 | 基于虚拟人行为标准的交互方法及系统 |
| CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 韩凤磊，姚竞争，汪春辉等: "《人工智能与船海工程》", vol. 1, 31 July 2020, 上海科学技术出版社, pages: 8 - 9 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112786043A (zh) * | 2020-12-29 | 2021-05-11 | 上海永骁智能技术有限公司 | 一种基于可触控终端的智能税务系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101925440B1 (ko) | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 | |
| CN107993665B (zh) | 多人会话场景中发言人角色确定方法、智能会议方法及系统 | |
| CN112162628A (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| CN110427472A (zh) | 智能客服匹配的方法、装置、终端设备及存储介质 | |
| CN110188361A (zh) | 结合文本、语音与情绪特征的语音意图识别方法及装置 | |
| CN104538043A (zh) | 一种通话中实时情感提示装置 | |
| CN106502382B (zh) | 用于智能机器人的主动交互方法和系统 | |
| CN106294726A (zh) | 基于机器人角色交互的处理方法及装置 | |
| CN106503786B (zh) | 用于智能机器人的多模态交互方法和装置 | |
| CN109101663A (zh) | 一种基于互联网的机器人对话系统 | |
| CN107038241A (zh) | 具有情景分析功能的智能对话装置及方法 | |
| CN114821744A (zh) | 基于表情识别的虚拟人物驱动方法、装置及设备 | |
| CN114840090A (zh) | 基于多模态数据的虚拟人物驱动方法、系统及设备 | |
| Alghifari et al. | On the use of voice activity detection in speech emotion recognition | |
| CN110442867A (zh) | 图像处理方法、装置、终端及计算机存储介质 | |
| Chakraborty et al. | Literature Survey | |
| CN111128240B (zh) | 一种基于对抗语义擦除的语音情感识别方法 | |
| CN113076770A (zh) | 基于方言识别的人物画像智能终端 | |
| CN114490947A (zh) | 基于人工智能的对话服务方法、装置、服务器及介质 | |
| Ritschel et al. | Multimodal joke generation and paralinguistic personalization for a socially-aware robot | |
| CN109961152B (zh) | 虚拟偶像的个性化互动方法、系统、终端设备及存储介质 | |
| CN111063346A (zh) | 基于机器学习的跨媒体明星情感陪伴交互系统 | |
| CN114882861A (zh) | 语音生成方法、装置、设备、介质及产品 | |
| CN111897434A (zh) | 信号控制虚拟人像的系统、方法及介质 | |
| CN112233648B (zh) | 结合rpa及ai的数据的处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |