CN111930907A - 一种通过仿真模拟人类沟通的智能互动对话引擎 - Google Patents
一种通过仿真模拟人类沟通的智能互动对话引擎 Download PDFInfo
- Publication number
- CN111930907A CN111930907A CN202010780948.9A CN202010780948A CN111930907A CN 111930907 A CN111930907 A CN 111930907A CN 202010780948 A CN202010780948 A CN 202010780948A CN 111930907 A CN111930907 A CN 111930907A
- Authority
- CN
- China
- Prior art keywords
- intelligent
- simulation
- dialog engine
- character
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 49
- 238000004088 simulation Methods 0.000 title claims abstract description 25
- 238000004891 communication Methods 0.000 title claims abstract description 24
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 230000006735 deficit Effects 0.000 claims abstract description 6
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 5
- 238000007405 data analysis Methods 0.000 claims abstract 2
- 230000014509 gene expression Effects 0.000 claims abstract 2
- 230000000007 visual effect Effects 0.000 claims description 9
- 241000238558 Eucarida Species 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
《一种通过仿真模拟人类沟通的智能互动对话引擎》发明主要通过仿真、模拟和学习人类真实的沟通与互动，大幅提升智能对话系统的效率和质量，解决传统的对话机器人的“人工智障”问题。其核心特征在于：1、通过角色设定及大数据分析，打造具有各种鲜明个性特点的人物形象；2、通过3D建模、Unity渲染、TTS语音技术等处理智能对话系统的人物形象、表情、嘴型及动作，创造逼真的用户与真人互动对话的效果；3、通过仿真技术模拟人类的真实沟通，在对话流中引入现实生活或工作场景，大幅提升对用户意图识别的能力，准确率高达99.5％以上，让智能对话过程顺畅自然；4、使用神经网络与深度学习，不断提升智能互动对话引擎的仿真和模拟的能力。
Description
一、技术领域
本技术发明涉及3D建模、Unity渲染、仿真学、神经网络与深度学习，以及NLP智能对话系统等多个领域，具体为通过仿真、模拟和学习真实人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)。
二、背景技术
当前的通用智能对话系统(俗称“对话机器人”或“聊天机器人”)，主要用于智能客服、自动驾驶、无接触式服务等领域。但存在以下问题：
1、缺乏直观的人物形象，在与人的互动过程中缺乏代入感，不够亲切，难以被人们广泛接受；
2、无法准确判断人们的真实意图，经常会出现“人工智障”现象，无法满足高质量的使用体验；
3、部分使用3D人物形象的智能对话系统，缺乏实时渲染和响应能力，视觉及互动效果很差。
三、发明内容
本技术发明旨在提供一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)，具备：1)千人千面的人物角色设定；2)真实的视觉与互动体验；3)沟通与对话顺畅自然；以及4)学习和进化能力等特点，以解决上述背景技术中存在的问题。
为实现上述目的，本技术发明提供如下技术方案：一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)，具体如下：
3.1人物角色设定
首先根据原型，创建3D人物或角色的基本性格设定；其次通过分析与人的真实对话与互动过程中产生的大数据，形成脸谱化的标签云；然后借助不断丰富的标签完善和修正3D人物或角色的个性特征。
3.2视觉、听觉及互动
首先使用3D建模技术，根据人物角色设定，创建符合其个性特征的3D人物形象；其次使用Unity在云端渲染刻画3D人物角色在真实光影效果下的面部表情、嘴型及肢体动作，打造互动对话的视觉效果；第三创建和训练专属的TTS语音模型，使其具有原型人物或特有的个性化音色，打造互动对话的音频效果；然后通过推广直播推流的方式，将视觉、听觉及互动效果实时推送到各种终端设备上。
3.3沟通与对话
首先在对话流中引入真实的生活或工作场景，达成现实到数字世界的映射；其次通过仿真技术(Simulation Technology)模拟人类之间的真实沟通，大幅提升自然语义处理(NLP)时对人类意图的识别能力，目前的准确率可以高达99.5％以上。人类在与3D人物角色沟通或对话时，不会再出现像微软小冰或苹果Siri等“聊天机器人”那样的“人工智障”。
3.4学习和进化
首先对3D人物角色与人互动对话过程中的数据进行系统的分析；其次使用人工神经网络(Artifical Neural Network)与深度学习(Deep Learning)，不断提升智能互动对话引擎(Intelligent Interactive Dialogue Engine)的仿真和模拟能力，使其可以不断地学习和进化。
四、附图说明
图1：智能互动对话引擎的构成
图2：3D人物角色设定
图3：仿真互动与对话
五、具体实施方式
下面将结合本技术发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明一部分而不是全部。基于本技术发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明保护的范围。
请参阅图1-2-3，一种通过仿真模拟人类沟通的智能互动对话引擎(IntelligentInteractive Dialogue Engine)，具体包括：
5.1人物角色设定
首先根据原型，创建3D人物或角色的基本性格设定；其次通过分析与人的真实对话与互动过程中产生的大数据，形成脸谱化的标签云；然后借助不断丰富的标签完善和修正3D人物或角色的个性特征。
5.2视觉、听觉及互动
首先使用3D建模技术，根据人物角色设定，创建符合其个性特征的3D人物形象；其次使用Unity在云端渲染刻画3D人物角色在真实光影效果下的面部表情、嘴型及肢体动作，打造互动对话的视觉效果；第三创建和训练专属的TTS语音模型，使其具有原型人物或特有的个性化音色，打造互动对话的音频效果；然后通过推广直播推流的方式，将视觉、听觉及互动效果实时推送到各种终端设备上。
5.3沟通与对话
首先在对话流中引入真实的生活或工作场景，达成现实到数字世界的映射；其次通过仿真技术(Simulation Technology)模拟人类之间的真实沟通，大幅提升自然语义处理(NLP)时对人类意图的识别能力，目前的准确率可以高达99.5％以上。人类在与3D人物角色互动对话时，不会再出现像微软小冰或苹果Siri等“聊天机器人”那样的“人工智障”。
5.4学习和进化
首先对3D人物角色与人互动对话过程中的数据进行系统的分析；其次使用人工神经网络(Artifical Neural Network)与深度学习(Deep Learning)，不断提升智能互动对话引擎(Intelligent Interactive Dialogue Engine)的仿真和模拟能力，使其可以不断地学习和进化。
该已在中国工商银行的3D数字虚拟人软件服务、成都偶邦智能科技有限公司的秒追应用等项目中得以有效的验证，取得了客户满意的效果。且可广泛应用于：1)银行、保险或证券；2)汽车与自动驾驶；3)公共出行；4)电视媒体节目互动；4)客户服务等对智能对话系统(俗称“对话机器人”或“聊天机器人”)，以满足各种无接触式服务的应用需求。
尽管已经给出和描述了本技术发明的若干实例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本技术发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent InteractiveDialogue Engine)其特征在于，包含以下步骤：
A、千人千面的人物角色设定
通过角色设定及大数据分析打造具有各种鲜明个性特点的人物形象，给用户创造千人千面的沟通体验。
B、真实的视觉、听觉及互动体验
通过3D建模、Unity渲染技术及TTS(Text-To-Speech)语音技术等，处理智能对话系统的人物形象、表情、嘴型及肢体动作，创造逼真的用户与真人沟通互动对话的效果。
C、沟通与对话顺畅自然
通过仿真技术(Simulation Technology)模拟人类之间的真实沟通，在对话流之中引入现实生活或工作场景，大幅提升对用户意图识别的能力，准确率高达99.5％以上，让智能对话过程顺畅自然，彻底解决“人工智障”问题。
D、学习与进化能力
使用人工神经网络(Artifical Neural Network)与深度学习(Deep Learning)，不断提升智能互动对话引擎(Intelligent Interactive Dialogue Engine)的仿真和模拟的能力。
2.根据权利要求1所述的一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)其特征在于，所述步骤A的具体流程如下：
首先根据原型，创建3D人物或角色的基本性格设定；其次通过分析与人的真实对话与互动过程中产生的大数据，形成脸谱化的标签云；然后借助不断丰富的标签完善和修正3D人物或角色的个性特征。
3.根据权利要求1所述的一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)其特征在于，所述步骤B的具体流程如下：
首先使用3D建模技术，根据人物角色设定，创建符合其个性特征的3D人物形象；其次使用Unity在云端渲染刻画3D人物角色在真实光影效果下的面部表情、嘴型及肢体动作，打造逼真的互动对话视觉效果；第三制作和训练角色专属的TTS语音模型，使其具有原型人物或特有的个性化音色，打造互动对话的音频效果；然后通过推广直播推流的方式，将视觉、听觉及互动效果实时推送到各种终端设备上。
4.根据权利要求1所述的一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)其特征在于，所述步骤C的具体流程如下：
首先在对话流中引入真实的生活或工作场景，达成现实到数字世界的映射；其次通过仿真技术(Simulation Technology)模拟人类之间的真实沟通，大幅提升自然语义处理(NLP)时对人类意图的识别能力，目前的准确率可以高达99.5％以上。人类在与3D人物角色沟通或对话时，不会再出现像微软小冰或苹果Siri等“聊天机器人”那样的“人工智障”。
5.根据权利要求1所述的一种通过仿真模拟人类沟通的智能互动对话引擎(Intelligent Interactive Dialogue Engine)其特征在于，所述步骤D的具体流程如下：
首先对3D人物角色与人互动对话过程中的数据进行系统的分析；其次使用人工神经网络(Artifical Neural Network)与深度学习(Deep Learning)，不断提升智能互动对话引擎(Intelligent Interactive Dialogue Engine)的仿真和模拟能力，使其可以不断地学习和进化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010780948.9A CN111930907A (zh) | 2020-08-06 | 2020-08-06 | 一种通过仿真模拟人类沟通的智能互动对话引擎 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010780948.9A CN111930907A (zh) | 2020-08-06 | 2020-08-06 | 一种通过仿真模拟人类沟通的智能互动对话引擎 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111930907A true CN111930907A (zh) | 2020-11-13 |
Family
ID=73306603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010780948.9A Pending CN111930907A (zh) | 2020-08-06 | 2020-08-06 | 一种通过仿真模拟人类沟通的智能互动对话引擎 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111930907A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107797663A (zh) * | 2017-10-26 | 2018-03-13 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN107894833A (zh) * | 2017-10-26 | 2018-04-10 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN108897848A (zh) * | 2018-06-28 | 2018-11-27 | 北京百度网讯科技有限公司 | 机器人互动方法、装置及设备 |
-
2020
- 2020-08-06 CN CN202010780948.9A patent/CN111930907A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107797663A (zh) * | 2017-10-26 | 2018-03-13 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN107894833A (zh) * | 2017-10-26 | 2018-04-10 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN108897848A (zh) * | 2018-06-28 | 2018-11-27 | 北京百度网讯科技有限公司 | 机器人互动方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658928B (zh) | 一种家庭服务机器人云端多模态对话方法、装置及系统 | |
| CN110400251A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN110286756A (zh) | 视频处理方法、装置、系统、终端设备及存储介质 | |
| CN104777911B (zh) | 一种基于全息技术的智能交互方法 | |
| CN108877336A (zh) | 基于增强现实技术的教学方法、云服务平台和教学系统 | |
| CN112100352A (zh) | 与虚拟对象的对话方法、装置、客户端及存储介质 | |
| CN1460232A (zh) | 至可视语音系统的文字和加入面部情绪的方法 | |
| CN105957129B (zh) | 一种基于语音驱动及图像识别的影视动画制作方法 | |
| CN106294726A (zh) | 基于机器人角色交互的处理方法及装置 | |
| CN110446000A (zh) | 一种生成对话人物形象的方法和装置 | |
| CN111724457A (zh) | 基于ue4的真实感虚拟人多模态交互实现方法 | |
| WO2023226913A1 (zh) | 基于表情识别的虚拟人物驱动方法、装置及设备 | |
| CN110895931A (zh) | 一种基于语音识别的vr交互系统和方法 | |
| CN111583415B (zh) | 信息处理方法、装置和电子设备 | |
| CN107798964A (zh) | 一种实时识别手势的手语智能交互设备及其交互方法 | |
| CN106653020A (zh) | 一种基于深度学习的智慧视听设备多业务控制方法及系统 | |
| CN109800295A (zh) | 基于情感词典和词概率分布的情感会话生成方法 | |
| CN117523088A (zh) | 一种个性化的三维数字人全息互动形成系统及方法 | |
| CN111930907A (zh) | 一种通过仿真模拟人类沟通的智能互动对话引擎 | |
| CN110992455B (zh) | 一种实时表情捕捉系统 | |
| CN116129001A (zh) | 电力虚拟数字化应用方法 | |
| CN114898018A (zh) | 数字对象的动画生成方法、装置、电子设备及存储介质 | |
| Chandrasiri et al. | Internet communication using real-time facial expression analysis and synthesis | |
| CN108447127A (zh) | 采用vr进行展示的园林布景方法 | |
| CN114201596A (zh) | 虚拟数字人使用方法、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210222 Address after: 102300 room a-7080, building 3, No.20 Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing Applicant after: Beijing zhipai Technology Co.,Ltd. Address before: 100744 no.1277, 2nd floor, building 2, No.39 courtyard, Guangqu Road, Chaoyang District, Beijing Applicant before: Beijing AIA Intelligent Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right |