CN116643675A - 基于ai虚拟人物的智能交互系统 - Google Patents
基于ai虚拟人物的智能交互系统 Download PDFInfo
- Publication number
- CN116643675A CN116643675A CN202310931492.5A CN202310931492A CN116643675A CN 116643675 A CN116643675 A CN 116643675A CN 202310931492 A CN202310931492 A CN 202310931492A CN 116643675 A CN116643675 A CN 116643675A
- Authority
- CN
- China
- Prior art keywords
- user
- module
- data
- expression
- dimensional data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 21
- 230000014509 gene expression Effects 0.000 claims abstract description 72
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 230000001815 facial effect Effects 0.000 claims abstract description 16
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000007405 data analysis Methods 0.000 claims abstract description 11
- 230000008451 emotion Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 53
- 230000000875 corresponding effect Effects 0.000 claims description 18
- 230000002996 emotional effect Effects 0.000 claims description 14
- 230000008921 facial expression Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000010195 expression analysis Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及智能交互技术领域，且公开了基于AI虚拟人物的智能交互系统，包括：用户面部扫描模块、用户问题采集模块、数据预处理模块、数据分析模块、虚拟人物构建模块、虚拟人物驱动模块、大语言模型模块、动作表情库模块；用户面部扫描模块，用于扫描用户的面部，形成面部图像数据。通过设定参数和获取用户面部信息来自动构建出与用户形象相类似的虚拟人物，并且在于用户交互的时候，虚拟人物能够根据用户当前的情绪状态以及提出问题的意图来判断，用户当前的意图为消极状态还是积极状态，当判断为消极的状态时，在回答用户问题的同时，虚拟人物能够以一种积极乐观向上的表情和动作来回复用户的问题。
Description
技术领域
本发明涉及智能交互技术领域，更具体的公开了基于AI虚拟人物的智能交互系统。
背景技术
伴随着电子科技和互联网科技的快速发展，人工智能技术也在快速的发展，人工智能技术可以帮助人们快速且高效的解决一些较为困难的问题，并且可以辅助人们提高生活生产效率。同时随着大数据时代的来临，人工智能技术也逐渐的成为人们日常生活生产中不可或缺的技术之一。人机智能交互系统是人工智能技术的重要体现之一，其可以在接收到人们提出的问题后，自动的给出问题反馈，不仅可以做到休闲解闷，而且还能够辅助人们进行工作。但传统的智能交互系统一般都是人们在提出问题后，机器设备采用文字或者语音的形式将问题答案反馈给用户，在交互的过程中，由于机器设备无法在回答的问题的过程中做出表情动作，导致整个交互过程较为“生硬”，无法贴近人与人之间的交互过程，用户无法沉浸式的与机器设备进行交互，使用户的体验感一般。
发明内容
本发明主要解决的技术问题是提供基于AI虚拟人物的智能交互系统，能够解决现有的智能交互系统的交互过程较为“生硬”，用户无法沉浸式的与机器设备进行交互的问题。
为解决上述技术问题，根据本发明的一个方面，更具体的说是基于AI虚拟人物的智能交互系统，包括：用户面部扫描模块、用户问题采集模块、数据预处理模块、数据分析模块、虚拟人物构建模块、虚拟人物驱动模块、大语言模型模块、动作表情库模块；
用户面部扫描模块，用于扫描用户的面部，形成面部图像数据；
用户问题采集模块，用于对用户提出的问题进行采集；
数据预处理模块，用于对用户面部扫描模块和用户问题采集模块所获取到的数据进行预处理；
数据分析模块，用于对数据预处理模块处理的数据进行分析，并得到分析结果；
虚拟人物构建模块，用于根据用户的面部信息以及用户自定义的数据来自动构建虚拟人物；
虚拟人物驱动模块，用于根据数据分析模块分析出的结果以及用户提出问题的意图来驱动虚拟人物对用户问题进行回答，同时做出相应的动作和表情；
大语言模型模块，用于为虚拟人员的回答作数据支撑，保证虚拟人物能够根据用户提出的问题做出相应的回答；
动作表情库模块，该模块中存储有大量的表情数据以及与相应表情相关联的动作数据，可根据用户当前的情绪状态提供相应的动作表情给虚拟人物驱动模块，从而驱动虚拟人员在回答用户问题的同时做出相应的动作表情。
更进一步的，所述用户问题采集模块包括：文字编辑模块、语音收录模块；
文字编辑模块，用于供用户输入需要提出的问题，并进行采集；
语音收录模块，用于采集用户的语音信息数据。
更进一步的，所述数据预处理模块包括：面部表情解析模块、用户意图获取模块；
面部表情解析模块，用于根据用户面部扫描模块扫描得到的用户面部图像数据后，来对用户面部表情进行解析，从而判断用户当前的情绪状态；
用户意图获取模块，用于根据用户问题采集模块采集的用户提出的问题数据中提取出用户的意图。
更进一步的，所述面部表情解析模块对用户面部表情进行解析，并判断用户当前的情绪状态的具体过程为：首先获取用户面部扫描模块在一段时间内扫描获取的所有的用户面部图像数据；然后将每一个用户面部图像数据转换成二维数据矩阵，在将每一个二维数据矩阵与预先设定的二维数据矩阵对比，得到若干个差值二维数据矩阵C：，其中，m为用户面部图像数据转换成的二维数据矩阵，/>为用户面部图像数据转换成的二维数据矩阵中的每个数据，/>为预先设定的二维数据矩阵中的每个数据；
然后根据每个差值二维数据矩阵与预先设定的二维数据矩阵进行对比，若：，其中，n为每个差值二维数据矩阵，/>为差值二维数据矩阵的总数，S为每个差值二维数据矩阵中数据总数，/>为每个差值二维数据矩阵中的每个数据，a为预先设定的二维数据矩阵中的数据总数，/>为预先设定的二维数据矩阵中的每个数据；则判断用户当前情绪状态高涨，反之则判断用户当前情绪状态低迷。
更进一步的，所述用户意图获取模块通过TextRank算法首先从用户问题采集模块采集到的用户问题数据中提取出关键词数据，然后将提取出来的关键词整合，再通过RNN神经网络算法，从整合后的信息数据中提取出语义数据，最后以提取出来的语义数据作为用户提出问题的意图。
更进一步的，所述数据分析模块包括：数据整合模块、用户意图状态确定模块；
数据整合模块，用于将数据预处理模块处理得到的用户当前情绪状态与用户意图数据整合在一起；
用户意图状态确定模块，对数据整合模块整合户的数据进行分析，判断出用户当前的意图状态为积极的意图还是消极的意图。
更进一步的，所述虚拟人物构建模块包括：面部信息获取模块、体重身高获取模块、自定义模块、等比例缩放模块；
面部信息获取模块，用于从用户面部扫描模块中获取用户的面部信息数据；
体重身高获取模块，用于获取用户的体重身高信息数据；
等比例缩放模块，用于根据用户的面部信息数据以及用户输入的体重身高信息数据，根据系统预设定的缩放比例来自动构建虚拟人物；
自定义模块，用于根据用户的偏好来对构建完成的虚拟人员进行自定义设置。
更进一步的，所述动作表情库模块包括：用户表情自动构建模块、关联匹配模块、表情分类模块；
用户表情自动构建模块，用于根据现有的人物表情数据配合CNN-RNN神经网络算法来对用户的表情进行自动构建；
关联匹配模块，用于将构建完成的用户表情与向适配的动作进行关联匹配；
表情分类模块，用于根据表情所呈现出来的情绪状态，将表情划分为若干类。
更进一步的，所述动作表情库模块根据用户当前的情绪状态提供相应的动作表情给虚拟人物驱动模块的具体操作为：首先将每一类表情中的每一个表情都装换为二维数据矩阵，然后根据每个二维数据矩阵得到每类表情的权值：/>（1）
其中，b为每个二维数据举证，为二维数据矩阵总数，Z为每个二维数据矩阵中的数据量，/>为每个二维数据矩阵中的每个数据；
再将用户面部扫描模块一段时间内扫描得到的所有图像数据也转换为多个二维数据矩阵，并根据式（1）得到用户面部图像数据的权值，再将满足/>条件的表情动作数据反馈给虚拟人物驱动模块，然后虚拟人物驱动模块会将此类表情动作数据在回答用户问题的期间随机的赋予给虚拟人物。
本发明基于AI虚拟人物的智能交互系统的有益效果为：通过设定参数和获取用户面部信息来自动构建出与用户形象相类似的虚拟人物，并且在于用户交互的时候，虚拟人物能够根据用户当前的情绪状态以及提出问题的意图来判断，用户当前的意图为消极状态还是积极状态，当判断为消极的状态时，在回答用户问题的同时，虚拟人物能够以一种积极乐观向上的表情和动作来回复用户的问题，并且根据大语言模型可以在回复完用户的问题后，能够另外组织语言来对用户进行开导，当判断为积极状态的时候，也会驱动虚拟人物以相适配的表情和动作来与用户进行交互，从而能够使用户更加沉浸的与系统进行交互，体验感更好。
附图说明
下面结合附图和具体实施方法对本发明做进一步详细的说明。
图1为系统原理示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
根据本发明的一个方面，如图1所示，提供了基于AI虚拟人物的智能交互系统，包括：
用户面部扫描模块，用于扫描用户的面部，形成面部图像数据。例如通过交互设备上携带的高清摄像头来对用户的面部信息进行扫描获取。
用户问题采集模块，用于对用户提出的问题进行采集。该模块包括：文字编辑模块，用于供用户输入需要提出的问题，并进行采集；语音收录模块，用于采集用户的语音信息数据，在对用户的语音信息数据采集完毕后，对语音信息进行识别转换成文字信息。
数据预处理模块，用于对用户面部扫描模块和用户问题采集模块所获取到的数据进行预处理。该模块包括：面部表情解析模块，用于根据用户面部扫描模块扫描得到的用户面部图像数据后，来对用户面部表情进行解析，从而判断用户当前的情绪状态，具体过程为：首先获取用户面部扫描模块在一段时间内扫描获取的所有的用户面部图像数据，如：，mn为采集到的面部信息数据，tn为一段时间内的每个扫描时间点；然后将每一个用户面部图像数据转换成二维数据矩阵，在将每一个二维数据矩阵与预先设定的二维数据矩阵对比，得到若干个差值二维数据矩阵C：/>，其中，m为用户面部图像数据转换成的二维数据矩阵，/>为用户面部图像数据转换成的二维数据矩阵中的每个数据，为预先设定的二维数据矩阵中的每个数据；
然后根据每个差值二维数据矩阵与预先设定的二维数据矩阵进行对比，若：其中，n为每个差值二维数据矩阵，/>为差值二维数据矩阵的总数，S为每个差值二维数据矩阵中数据总数，/>为每个差值二维数据矩阵中的每个数据，a为预先设定的二维数据矩阵中的数据总数，/>为预先设定的二维数据矩阵中的每个数据；则判断用户当前情绪状态高涨，反之则判断用户当前情绪状态低迷；
用户意图获取模块，通过TextRank算法首先从用户问题采集模块采集到的用户问题数据中提取出关键词数据，然后将提取出来的关键词整合，再通过RNN神经网络算法，从整合后的信息数据中提取出语义数据，最后以提取出来的语义数据作为用户提出问题的意图。
数据分析模块，用于对数据预处理模块处理的数据进行分析，并得到分析结果。该模块包括：数据整合模块，用于将数据预处理模块处理得到的用户当前情绪状态与用户意图数据整合在一起；用户意图状态确定模块，对数据整合模块整合户的数据进行分析，判断出用户当前的意图状态为积极的意图还是消极的意图。
虚拟人物构建模块，用于根据用户的面部信息以及用户自定义的数据来自动构建虚拟人物。该模块包括：面部信息获取模块，用于从用户面部扫描模块中获取用户的面部信息数据；体重身高获取模块，用户可以输入自身的身高体重或者自定义身高体重信息；等比例缩放模块，用于根据用户的面部信息数据以及用户输入的体重身高信息数据，根据系统预设定的缩放比例来自动构建虚拟人物；自定义模块，用于根据用户的偏好来对构建完成的虚拟人员进行自定义设置，在虚拟人物构建完毕后，用户可以对虚拟人员的发型、衣物、佩戴物等内容进行自定义设置。
虚拟人物驱动模块，用于根据数据分析模块分析出的结果以及用户提出问题的意图来驱动虚拟人物对用户问题进行回答，同时做出相应的动作和表情。
大语言模型模块，用于为虚拟人员的回答作数据支撑，保证虚拟人物能够根据用户提出的问题做出相应的回答。
动作表情库模块，该模块中存储有大量的表情数据以及与相应表情相关联的动作数据，可根据用户当前的情绪状态提供相应的动作表情给虚拟人物驱动模块，从而驱动虚拟人员在回答用户问题的同时做出相应的动作表情，该模块包括：用户表情自动构建模块，用于根据现有的人物表情数据配合CNN-RNN神经网络算法来对用户的表情进行自动构建；关联匹配模块，用于将构建完成的用户表情与相适配的动作进行关联匹配；表情分类模块，用于根据表情所呈现出来的情绪状态，将表情划分为若干类。例如，将表情分为：“非常开心”、“开心”、“平常”、“失落”等几类。为虚拟人物提供相应的表情动作时，首先将每一类表情中的每一个表情都装换为二维数据矩阵，然后根据每个二维数据矩阵得到每类表情的权值：/>（1）
其中，b为每个二维数据举证，为二维数据矩阵总数，Z为每个二维数据矩阵中的数据量，/>为每个二维数据矩阵中的每个数据；
再将用户面部扫描模块一段时间内扫描得到的所有图像数据也转换为多个二维数据矩阵，并根据式（1）得到用户面部图像数据的权值，再将满足/>条件的表情动作数据反馈给虚拟人物驱动模块，然后虚拟人物驱动模块会将此类表情动作数据在回答用户问题的期间随机的赋予给虚拟人物。
其中本文中出现的电器元件均文现实中存在的电器元件。
当然，上述说明并非对本发明的限制，本发明也不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也属于本发明的保护范围。
Claims (9)
1.基于AI虚拟人物的智能交互系统，其特征在于，包括：用户面部扫描模块、用户问题采集模块、数据预处理模块、数据分析模块、虚拟人物构建模块、虚拟人物驱动模块、大语言模型模块、动作表情库模块；
用户面部扫描模块，用于扫描用户的面部，形成面部图像数据；
用户问题采集模块，用于对用户提出的问题进行采集；
数据预处理模块，用于对用户面部扫描模块和用户问题采集模块所获取到的数据进行预处理；
数据分析模块，用于对数据预处理模块处理的数据进行分析，并得到分析结果；
虚拟人物构建模块，用于根据用户的面部信息以及用户自定义的数据来自动构建虚拟人物；
虚拟人物驱动模块，用于根据数据分析模块分析出的结果以及用户提出问题的意图来驱动虚拟人物对用户问题进行回答，同时做出相应的动作和表情；
大语言模型模块，用于为虚拟人员的回答作数据支撑，保证虚拟人物能够根据用户提出的问题做出相应的回答；
动作表情库模块，该模块中存储有大量的表情数据以及与相应表情相关联的动作数据，可根据用户当前的情绪状态提供相应的动作表情给虚拟人物驱动模块，从而驱动虚拟人员在回答用户问题的同时做出相应的动作表情。
2.根据权利要求1所述的基于AI虚拟人物的智能交互系统，其特征在于：所述用户问题采集模块包括：文字编辑模块、语音收录模块；
文字编辑模块，用于供用户输入需要提出的问题，并进行采集；
语音收录模块，用于采集用户的语音信息数据。
3.根据权利要求1所述的基于AI虚拟人物的智能交互系统，其特征在于：所述数据预处理模块包括：面部表情解析模块、用户意图获取模块；
面部表情解析模块，用于根据用户面部扫描模块扫描得到的用户面部图像数据后，来对用户面部表情进行解析，从而判断用户当前的情绪状态；
用户意图获取模块，用于根据用户问题采集模块采集的用户提出的问题数据中提取出用户的意图。
4.根据权利要求3所述的基于AI虚拟人物的智能交互系统，其特征在于：所述面部表情解析模块对用户面部表情进行解析，并判断用户当前的情绪状态的具体过程为：首先获取用户面部扫描模块在一段时间内扫描获取的所有的用户面部图像数据；然后将每一个用户面部图像数据转换成二维数据矩阵，在将每一个二维数据矩阵与预先设定的二维数据矩阵对比，得到若干个差值二维数据矩阵C：，其中m为用户面部图像数据转换成的二维数据矩阵，/>为用户面部图像数据转换成的二维数据矩阵中的每个数据，/>为预先设定的二维数据矩阵中的每个数据；
然后根据每个差值二维数据矩阵与预先设定的二维数据矩阵进行对比，若：，其中n为每个差值二维数据矩阵，/>为差值二维数据矩阵的总数，S为每个差值二维数据矩阵中数据总数，/>为每个差值二维数据矩阵中的每个数据，a为预先设定的二维数据矩阵中的数据总数，/>为预先设定的二维数据矩阵中的每个数据；则判断用户当前情绪状态高涨，反之则判断用户当前情绪状态低迷。
5.根据权利要求3所述的基于AI虚拟人物的智能交互系统，其特征在于：所述用户意图获取模块通过TextRank算法首先从用户问题采集模块采集到的用户问题数据中提取出关键词数据，然后将提取出来的关键词整合，再通过RNN神经网络算法，从整合后的信息数据中提取出语义数据，最后以提取出来的语义数据作为用户提出问题的意图。
6.根据权利要求1所述的基于AI虚拟人物的智能交互系统，其特征在于：所述数据分析模块包括：数据整合模块、用户意图状态确定模块；
数据整合模块，用于将数据预处理模块处理得到的用户当前情绪状态与用户意图数据整合在一起；
用户意图状态确定模块，对数据整合模块整合户的数据进行分析，判断出用户当前的意图状态为积极的意图还是消极的意图。
7.根据权利要求1所述的基于AI虚拟人物的智能交互系统，其特征在于：所述虚拟人物构建模块包括：面部信息获取模块、体重身高获取模块、自定义模块、等比例缩放模块；
面部信息获取模块，用于从用户面部扫描模块中获取用户的面部信息数据；
体重身高获取模块，用于获取用户的体重身高信息数据；
等比例缩放模块，用于根据用户的面部信息数据以及用户输入的体重身高信息数据，根据系统预设定的缩放比例来自动构建虚拟人物；
自定义模块，用于根据用户的偏好来对构建完成的虚拟人员进行自定义设置。
8.根据权利要求1所述的基于AI虚拟人物的智能交互系统，其特征在于：所述动作表情库模块包括：用户表情自动构建模块、关联匹配模块、表情分类模块；
用户表情自动构建模块，用于根据现有的人物表情数据配合CNN-RNN神经网络算法来对用户的表情进行自动构建；
关联匹配模块，用于将构建完成的用户表情与相适配的动作进行关联匹配；
表情分类模块，用于根据表情所呈现出来的情绪状态，将表情划分为若干类。
9.根据权利要求8所述的基于AI虚拟人物的智能交互系统，其特征在于：所述动作表情库模块根据用户当前的情绪状态提供相应的动作表情给虚拟人物驱动模块的具体操作为：首先将每一类表情中的每一个表情都装换为二维数据矩阵，然后根据每个二维数据矩阵得到每类表情的权值：/>（1）
其中，b为每个二维数据举证，为二维数据矩阵总数，Z为每个二维数据矩阵中的数据量，/>为每个二维数据矩阵中的每个数据；
再将用户面部扫描模块一段时间内扫描得到的所有图像数据也转换为多个二维数据矩阵，并根据式（1）得到用户面部图像数据的权值，再将满足/>条件的表情动作数据反馈给虚拟人物驱动模块，然后虚拟人物驱动模块会将此类表情动作数据在回答用户问题的期间随机的赋予给虚拟人物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310931492.5A CN116643675B (zh) | 2023-07-27 | 2023-07-27 | 基于ai虚拟人物的智能交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310931492.5A CN116643675B (zh) | 2023-07-27 | 2023-07-27 | 基于ai虚拟人物的智能交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116643675A true CN116643675A (zh) | 2023-08-25 |
| CN116643675B CN116643675B (zh) | 2023-10-03 |
Family
ID=87625215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310931492.5A Active CN116643675B (zh) | 2023-07-27 | 2023-07-27 | 基于ai虚拟人物的智能交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116643675B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117217238A (zh) * | 2023-11-09 | 2023-12-12 | 成都理工大学 | 一种基于大型语言模型的智能交互系统及方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919899A (zh) * | 2017-01-18 | 2017-07-04 | 北京光年无限科技有限公司 | 基于智能机器人的模仿人脸表情输出的方法和系统 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN108942919A (zh) * | 2018-05-28 | 2018-12-07 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN109032328A (zh) * | 2018-05-28 | 2018-12-18 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN109683709A (zh) * | 2018-12-17 | 2019-04-26 | 苏州思必驰信息科技有限公司 | 基于情绪识别的人机交互方法及系统 |
| CN110488975A (zh) * | 2019-08-19 | 2019-11-22 | 深圳市仝智科技有限公司 | 一种基于人工智能的数据处理方法及相关装置 |
| WO2020048403A1 (zh) * | 2018-09-03 | 2020-03-12 | 比亚迪股份有限公司 | 列车综合调度系统、调度方法和列车信号控制系统 |
| CN111027425A (zh) * | 2019-11-28 | 2020-04-17 | 深圳市木愚科技有限公司 | 一种智能化表情合成反馈交互系统及方法 |
| WO2020135194A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN113176827A (zh) * | 2021-05-25 | 2021-07-27 | 青岛大学 | 基于表情的ar交互方法、系统、电子设备及存储介质 |
| CN114821744A (zh) * | 2022-05-23 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 基于表情识别的虚拟人物驱动方法、装置及设备 |
| WO2022170848A1 (zh) * | 2021-02-09 | 2022-08-18 | 北京沃东天骏信息技术有限公司 | 人机交互方法、装置、系统、电子设备以及计算机介质 |
| CN115543089A (zh) * | 2022-10-20 | 2022-12-30 | 昆明奥智科技有限公司 | 一种基于五维情绪模型的虚拟人情感交互系统及方法 |
| CN116383363A (zh) * | 2023-04-23 | 2023-07-04 | 杭州宠胖胖科技有限公司 | 一种虚拟宠物聊天系统 |
-
2023
- 2023-07-27 CN CN202310931492.5A patent/CN116643675B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919899A (zh) * | 2017-01-18 | 2017-07-04 | 北京光年无限科技有限公司 | 基于智能机器人的模仿人脸表情输出的方法和系统 |
| CN107765852A (zh) * | 2017-10-11 | 2018-03-06 | 北京光年无限科技有限公司 | 基于虚拟人的多模态交互处理方法及系统 |
| CN108942919A (zh) * | 2018-05-28 | 2018-12-07 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| CN109032328A (zh) * | 2018-05-28 | 2018-12-18 | 北京光年无限科技有限公司 | 一种基于虚拟人的交互方法及系统 |
| WO2020048403A1 (zh) * | 2018-09-03 | 2020-03-12 | 比亚迪股份有限公司 | 列车综合调度系统、调度方法和列车信号控制系统 |
| CN109683709A (zh) * | 2018-12-17 | 2019-04-26 | 苏州思必驰信息科技有限公司 | 基于情绪识别的人机交互方法及系统 |
| WO2020135194A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN110488975A (zh) * | 2019-08-19 | 2019-11-22 | 深圳市仝智科技有限公司 | 一种基于人工智能的数据处理方法及相关装置 |
| CN111027425A (zh) * | 2019-11-28 | 2020-04-17 | 深圳市木愚科技有限公司 | 一种智能化表情合成反馈交互系统及方法 |
| WO2022170848A1 (zh) * | 2021-02-09 | 2022-08-18 | 北京沃东天骏信息技术有限公司 | 人机交互方法、装置、系统、电子设备以及计算机介质 |
| CN113176827A (zh) * | 2021-05-25 | 2021-07-27 | 青岛大学 | 基于表情的ar交互方法、系统、电子设备及存储介质 |
| CN114821744A (zh) * | 2022-05-23 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 基于表情识别的虚拟人物驱动方法、装置及设备 |
| CN115543089A (zh) * | 2022-10-20 | 2022-12-30 | 昆明奥智科技有限公司 | 一种基于五维情绪模型的虚拟人情感交互系统及方法 |
| CN116383363A (zh) * | 2023-04-23 | 2023-07-04 | 杭州宠胖胖科技有限公司 | 一种虚拟宠物聊天系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈松: "动态人脸表情合成的模型特征驱动算法综述", 《计算机与现代化》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117217238A (zh) * | 2023-11-09 | 2023-12-12 | 成都理工大学 | 一种基于大型语言模型的智能交互系统及方法 |
| CN117217238B (zh) * | 2023-11-09 | 2024-01-30 | 成都理工大学 | 一种基于大型语言模型的智能交互系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116643675B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784763B (zh) | 基于局部与整体特征自适应融合的表情识别方法及系统 | |
| CN107301168A (zh) | 智能机器人及其情绪交互方法、系统 | |
| CN116643675B (zh) | 基于ai虚拟人物的智能交互系统 | |
| CN112035636A (zh) | 医疗问诊系统的问答管理方法、装置、设备及存储介质 | |
| CN112101219B (zh) | 一种面向老年陪护机器人的意图理解方法和系统 | |
| CN107038154A (zh) | 一种文本情感识别方法和装置 | |
| CN109815920A (zh) | 基于卷积神经网络和对抗卷积神经网络的手势识别方法 | |
| Rwelli et al. | Gesture based Arabic sign language recognition for impaired people based on convolution neural network | |
| CN117576267B (zh) | 基于llm和ann的数字人生成方法及其在云视频的应用 | |
| Akman et al. | Lip reading multiclass classification by using dilated CNN with Turkish dataset | |
| CN113920561A (zh) | 一种基于零样本学习的人脸表情识别方法及装置 | |
| CN117496567A (zh) | 基于特征增强的面部表情识别方法及系统 | |
| Uddin et al. | A convolutional neural network for real-time face detection and emotion & gender classification | |
| Renjith et al. | Indian sign language recognition: A comparative analysis using cnn and rnn models | |
| Ray et al. | Design and implementation of affective e-learning strategy based on facial emotion recognition | |
| Rafael et al. | The Utilization of Cloud Computing for Facial Expression Recognition using Amazon Web Services | |
| CN111368663A (zh) | 自然场景中静态面部表情识别方法、装置、介质及设备 | |
| CN111241256A (zh) | 一种用于优化机器人对话质量的系统 | |
| CN109948584A (zh) | 一种基于对抗神经网络的微小人脸检测方法和装置 | |
| CN109960793A (zh) | 意见挖掘装置以及智能终端 | |
| CN111062207B (zh) | 表情图像处理方法、装置、计算机存储介质及电子设备 | |
| Dembani et al. | UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM. | |
| CN110502637A (zh) | 一种基于异构信息网络的信息处理方法和信息处理装置 | |
| CN109960794A (zh) | 判断文本情感的装置以及智能终端 | |
| Kouzani | Subcellular localisation of proteins in fluorescent microscope images using a random forest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |