CN117590944A - 实体人对象和数字虚拟人对象的绑定系统 - Google Patents
实体人对象和数字虚拟人对象的绑定系统 Download PDFInfo
- Publication number
- CN117590944A CN117590944A CN202311602020.1A CN202311602020A CN117590944A CN 117590944 A CN117590944 A CN 117590944A CN 202311602020 A CN202311602020 A CN 202311602020A CN 117590944 A CN117590944 A CN 117590944A
- Authority
- CN
- China
- Prior art keywords
- semantic
- dialogue data
- granularity
- sequence
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 claims abstract description 183
- 230000003993 interaction Effects 0.000 claims abstract description 58
- 235000019580 granularity Nutrition 0.000 claims description 126
- 238000012549 training Methods 0.000 claims description 75
- 230000004927 fusion Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 33
- 241000282414 Homo sapiens Species 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 9
- 230000014509 gene expression Effects 0.000 description 15
- 230000006399 behavior Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 230000008451 emotion Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种实体人对象和数字虚拟人对象的绑定系统，其获取实体人对象的对话数据；对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列；融合所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列以得到多粒度对话数据语义交互特征向量；以及，基于所述多粒度对话数据语义交互特征向量，确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。这样，可以将对应的性格类型标签赋予数字虚拟人对象之中，使得数字虚拟人能够更好地模拟和表现实体人对象的性格特点，从而增强交互真实感。
Description
技术领域
本发明涉及智能化人对象绑定技术领域，尤其涉及一种实体人对象和数字虚拟人对象的绑定系统。
背景技术
数字虚拟人是一种通过模拟人类的外貌、声音、动作和表情，生成的具有一定程度的自主性和交互性的虚拟角色。数字虚拟人可以在各种数字平台上出现，如社交媒体、游戏、电影、教育等，为用户提供不同的服务和体验。
数字虚拟人与实体人对象的绑定，是指将数字虚拟人的某些行为与实体人对象的某些行为相对应，从而形成一种特定的关联关系。随着数字虚拟人对象的发展，越来越多的人希望能够与之建立更深层次的交互关系。例如，现有的许多实体人对象和数字虚拟人对象的绑定系统中，数字虚拟人常常忽视了实体人对象的性格，从而显得缺乏真实性和个性化。
因此，期待一种优化的实体人对象和数字虚拟人对象的绑定系统。
发明内容
本发明实施例提供一种实体人对象和数字虚拟人对象的绑定系统，其获取实体人对象的对话数据；对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列；融合所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列以得到多粒度对话数据语义交互特征向量；以及，基于所述多粒度对话数据语义交互特征向量，确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。这样，可以将对应的性格类型标签赋予数字虚拟人对象之中，使得数字虚拟人能够更好地模拟和表现实体人对象的性格特点，从而增强交互真实感。
本发明实施例还提供了一种实体人对象和数字虚拟人对象的绑定系统，其包括：
对话数据获取模块，用于获取实体人对象的对话数据；
基于多粒度的语义编码模块，用于对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列；
融合模块，用于融合所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列以得到多粒度对话数据语义交互特征向量；以及
实体人对象的性格类型确定模块，用于基于所述多粒度对话数据语义交互特征向量，确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定系统的框图。
图2为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定方法的流程图。
图3为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定方法的系统架构的示意图。
图4为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定系统的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
数字虚拟人是一种通过计算机图形学、人工智能和机器学习等技术生成的具有人类外貌、声音、动作和表情的虚拟角色，它们被设计成能够模拟人类的行为和表达，并具备一定的自主性和交互性。数字虚拟人可以在各种数字平台上出现，包括社交媒体、游戏、电影、教育等领域，可以扮演不同的角色，为用户提供各种服务和体验。
在社交媒体上，数字虚拟人可以作为虚拟助手或虚拟代言人出现，可以与用户进行实时互动，回答问题、提供建议、展示产品等，通过模拟人类的外貌和声音，数字虚拟人可以更加贴近用户，提供更加个性化和亲近的体验。在游戏领域，数字虚拟人可以作为游戏中的角色或非玩家角色出现，可以与玩家进行对话、完成任务、提供指导等。数字虚拟人的自主性和交互性使得游戏体验更加生动和丰富。在电影和动画制作中，数字虚拟人可以扮演角色，与真实演员或其他虚拟角色进行互动，通过计算机图形学和动画技术，数字虚拟人可以呈现出逼真的外貌和动作，为电影和动画作品增添视觉效果。在教育领域，数字虚拟人可以作为教学助手或虚拟导师出现，可以与学生进行互动，解答问题、提供教学材料、进行知识测试等，数字虚拟人的互动性和个性化特点可以提高学习效果，并为学生提供更加灵活和自主的学习方式。
数字虚拟人与实体人对象的绑定是指将数字虚拟人的某些行为与实体人对象的某些行为相对应，以建立一种特定的关联关系，这种绑定可以通过多种方式实现，包括语音识别、面部识别、姿势追踪、情感识别等技术。
一种常见的数字虚拟人与实体人对象的绑定方式是语音识别，通过语音识别技术，数字虚拟人可以理解实体人对象的语音指令或对话，并做出相应的回应，这种绑定方式使得用户可以通过语音与数字虚拟人进行交流和互动，增强了用户体验的自然性和便捷性。
另一种方式是面部识别，通过面部识别技术，数字虚拟人可以感知实体人对象的面部表情和表情变化，并做出相应的反应，这种绑定方式可以使得数字虚拟人更加逼真地模拟人类的表情和情感，增强了用户与虚拟人之间的情感连接。
姿势追踪是一种将实体人对象的身体动作与数字虚拟人的动作相对应的绑定方式，通过姿势追踪技术，数字虚拟人可以实时跟踪实体人对象的身体姿势和动作，并将其映射到虚拟人身上，这种绑定方式可以使得用户能够通过身体语言与数字虚拟人进行互动，增强了交互的身临其境感。
此外，情感识别技术也可以用于数字虚拟人与实体人对象的绑定，通过情感识别技术，数字虚拟人可以感知实体人对象的情感状态，如喜怒哀乐等，并作出相应的情感表达，这种绑定方式可以使得数字虚拟人更加智能地理解和回应用户的情感需求，提供更加个性化和贴心的体验。
目前的数字虚拟人技术虽然在外貌、声音、动作和表情等方面可以模拟人类，但在对实体人对象的性格和个性化方面还存在一些挑战。一方面，实体人对象的性格是多样且复杂的，包括行为方式、情感倾向、价值观等方面的差异。然而，目前的数字虚拟人技术往往采用通用的行为模型和情感模型，无法充分考虑到每个实体人对象的独特性格特点，这导致数字虚拟人在与实体人对象的交互中缺乏真实性和个性化，无法准确地理解和回应实体人对象的个性需求。
另一方面，数字虚拟人与实体人对象的绑定往往依赖于传感器和算法等技术手段来感知和解释实体人对象的行为和情感。然而，这些技术在对复杂的人类性格进行准确识别和理解方面还存在一定的局限性，例如，情感识别技术可能无法准确捕捉到实体人对象微妙的情感变化，导致数字虚拟人无法恰当地回应。
此外，数字虚拟人与实体人对象的绑定还面临着隐私和伦理等方面的挑战，为了建立更深层次的交互关系，数字虚拟人可能需要获取实体人对象的个人信息和行为数据，这引发了一系列关于数据隐私、数据安全和道德问题的讨论和担忧。
为了克服这些缺陷，未来的研究和发展需要关注以下方面：研究如何通过更精细的个性化建模方法，将数字虚拟人的行为和情感模拟与实体人对象的独特性格相匹配，以提供更真实和个性化的交互体验。进一步改进情感识别技术，提高对实体人对象情感状态的准确感知和理解能力，以更准确地回应实体人对象的情感需求。在数字虚拟人与实体人对象的绑定中，加强对个人数据的隐私保护和安全措施，确保实体人对象的个人信息不被滥用或泄露。
在本发明的一个实施例中，图1为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定系统的框图。如图1所示，根据本发明实施例的实体人对象和数字虚拟人对象的绑定系统100，包括：对话数据获取模块110，用于获取实体人对象的对话数据；基于多粒度的语义编码模块120，用于对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列；融合模块130，用于融合所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列以得到多粒度对话数据语义交互特征向量；以及，实体人对象的性格类型确定模块140，用于基于所述多粒度对话数据语义交互特征向量，确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。
在所述对话数据获取模块110中，获取实体人对象的对话数据，确保对话数据的获取方式合法、保护用户隐私和数据安全，以及获取尽可能全面和准确的对话数据。通过获取实体人对象的对话数据，可以为后续的语义编码和性格类型确定提供数据基础。
在所述基于多粒度的语义编码模块120中，通过对实体人对象的对话数据进行多粒度的语义编码，得到对话数据的词粒度语义特征向量序列和句粒度语义特征向量序列。选择合适的语义编码方法，如词嵌入、句子表示等，以及考虑到对话数据的上下文信息和语义关联性，提高语义编码的准确性和表达能力。
在所述融合模块130中，将词粒度语义特征向量序列和句粒度语义特征向量序列进行融合，得到多粒度对话数据的语义交互特征向量。选择合适的融合方法，如注意力机制、特征融合网络等，以充分利用不同粒度的语义信息，提高对话数据的表达能力和语义交互特征的准确性。
在所述实体人对象的性格类型确定模块140中，基于多粒度对话数据的语义交互特征向量，确定实体人对象的性格类型，并将该性格类型赋予数字虚拟人对象。建立性格类型分类模型，选择合适的特征表示和机器学习算法，以准确识别实体人对象的性格类型。性格类型的确定可以基于已有的分类标准，如五大人格模型等，或者通过自定义的性格类型体系。
通过获取实体人对象的对话数据并进行多粒度语义编码，数字虚拟人可以更准确地理解和模拟实体人对象的对话行为，提升交互的真实性。通过确定实体人对象的性格类型，数字虚拟人可以根据不同性格类型展现个性化的行为和回应，增强交互的个性化程度，使用户感受到更贴心和符合期待的互动体验。通过融合多粒度的语义特征向量，可以提取出更丰富和准确的对话数据的语义交互特征，为后续的对话回应生成和情感分析等任务提供更有价值的信息。
针对上述技术问题，本申请的技术构思是从实体人对象的对话数据中捕捉到不同粒度下的语义特征，并从中挖掘关于实体人对象的性格类型的特征信息，以将对应的性格类型标签赋予数字虚拟人对象之中，使得数字虚拟人能够更好地模拟和表现实体人对象的性格特点，从而增强交互真实感。
基于此，在本申请的技术方案中，首先获取实体人对象的对话数据。应可以理解，实体人对象的对话数据中包含了其言语行为和语言表达方式，这些都可以提供线索来推断实体人对象的性格类型。具体来说，实体人对象在对话中使用的词汇、表达方式和句式结构等，可以反映其个人偏好和语言风格，从而反映出一定的性格特点。例如，一些人可能倾向于使用积极乐观的词汇，表达方式可能更为直接或幽默等。对话数据中的情感表达和情绪状态也可以揭示实体人对象的性格特征。例如，一些人可能倾向于使用情感丰富的语言，并表达出对某些话题的偏好或厌恶。
然后，对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列。也就是，从所述实体人对象的对话数据中捕捉不同层次的语义信息。具体来说，以词粒度进行语义编码能够捕捉到对话数据中词与词之间所表达的更为细节的语义信息，比如包含更具鲜明的情感色彩的含义。而以句粒度进行语义编码能够捕捉对话数据中句与句之间所表达的更为整体的语义信息，以反映出对话中的整体的语义脉络。
在本申请的一个具体示例中，所述语义编码模块，包括：分词处理单元，用于对所述实体人对象的对话数据进行分词处理后通过包含词嵌入层的语义编码器以得到所述对话数据词粒度语义特征向量的序列；以及，语义编码单元，用于对所述实体人对象的对话数据进行分句处理后通过包含句编码器的语义编码器以得到所述对话数据句粒度语义特征向量的序列。
通过分词处理，将对话数据分解为更小的语义单元（词），可以更好地捕捉每个词的语义信息，提高对话数据的语义表示能力。分词处理可以帮助识别和处理对话数据中的上下文信息，使语义编码器能够更准确地理解每个词在上下文中的含义和作用，提高对话数据的语义交互特征的准确性。通过包含词嵌入层的语义编码器，将每个词转换为高维向量表示，可以捕捉到词之间的语义关联性和相似性，为后续的特征融合和语义交互提供更丰富的信息。
分句处理可以将对话数据分解为更大的语义单元（句子），使得语义编码器能够更好地理解句子级别的语义信息，提高对话数据的整体语义表示能力。分句处理可以帮助识别和处理对话数据中的句子级别的上下文信息，使语义编码器能够更准确地理解每个句子在对话中的语义关系和作用，提高对话数据的语义交互特征的准确性。通过包含句编码器的语义编码器，将每个句子转换为语义特征向量表示，可以捕捉到句子级别的语义信息和句子之间的语义关联性，为后续的特征融合和语义交互提供更全面的信息。
分词处理单元和语义编码单元的设计和应用有助于提高对话数据的语义表示能力、上下文理解和语义交互特征的准确性，从而增强数字虚拟人与实体人对象的交互效果和真实性。
其中，所述分词处理单元，包括：分词子单元，用于对所述实体人对象的对话数据进行分词处理以将所述实体人对象的对话数据转化为由多个词组成的词序列；嵌入编码子单元，用于使用所述包含词嵌入层的上下文编码器的词嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及，上下文编码子单元，用于使用所述包含词嵌入层的语义编码器对所述词向量的序列进行基于全局的上下文语义编码以获得所述对话数据词粒度语义特征向量的序列。
进一步地，所述上下文编码子单元，用于：将所述词向量的序列进行一维排列以得到全局词特征向量；计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵；分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及，分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述对话数据词粒度语义特征向量的序列。
继而，在本申请的技术方案中，使用多粒度语义交互器对所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列进行处理以将词粒度和句粒度的语义特征向量序列结合起来，综合表达不同粒度下的语义信息，从而得到多粒度对话数据语义交互特征向量。
在本申请的一个具体实施例中，所述融合模块，包括：多粒度语义交互单元，用于使用多粒度语义交互器对所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列进行处理以得到所述多粒度对话数据语义交互特征向量。
其中，所述多粒度语义交互单元，包括：注意力增强子单元，用于基于所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列之间的相关度进行注意力增强以得到注意力增强对话数据词粒度特征向量的序列和注意力增强对话数据句粒度特征向量的序列；第一融合子单元，用于融合所述对话数据词粒度语义特征向量的序列和所述注意力增强对话数据词粒度特征向量的序列中相应位置的特征向量以得到对话数据词粒度语义融合特征向量的序列，并融合所述对话数据句粒度语义特征向量的序列和所述注意力增强对话数据句粒度特征向量的序列中相应位置的特征向量以得到对话数据句粒度融合特征向量的序列；最大值池化子单元，用于对所述对话数据词粒度语义融合特征向量的序列进行最大值池化处理以得到对话数据词粒度语义融合最大值池化特征向量，并对所述对话数据句粒度融合特征向量的序列进行最大值池化处理以得到对话数据句粒度融合最大值池化特征向量；以及，第二融合子单元，用于融合所述对话数据词粒度语义融合最大值池化特征向量和所述对话数据句粒度融合最大值池化特征向量以得到所述多粒度对话数据语义交互特征向量。
进一步地，将所述多粒度对话数据语义交互特征向量通过分类器以得到分类结果，所述分类结果用于表示性格类型标签；并将所述性格类型标签赋予与所述实体人对象对应的数字虚拟人对象。
在本申请的一个具体实施例中，所述实体人对象的性格类型确定模块，用于：将所述多粒度对话数据语义交互特征向量通过分类器以得到分类结果，所述分类结果用于表示性格类型标签；以及，将所述性格类型标签赋予与所述实体人对象对应的所述数字虚拟人对象。
通过分类器对多粒度对话数据的语义交互特征向量进行分类，可以准确地确定实体人对象的性格类型，有助于数字虚拟人对象更好地模拟和表现实体人对象的个性特征和行为方式。将性格类型标签赋予数字虚拟人对象后，可以根据不同的性格类型为用户提供个性化的回应和互动，数字虚拟人对象可以根据性格类型展现相应的语言风格、态度和行为习惯，增强交互的个性化程度，使用户感受到更符合期待的互动体验。通过将实体人对象的性格类型标签赋予数字虚拟人对象，可以使其更加真实地模拟和表现实体人对象的特征，有助于提升数字虚拟人与实体人对象的绑定系统的真实性和交互效果，增强用户体验和满意度。
通过将多粒度对话数据的语义交互特征向量进行分类，并将性格类型标签赋予数字虚拟人对象，可以实现个性化回应、真实性提升等有益效果，提高数字虚拟人与实体人对象的交互质量和用户满意度。
在本申请的一个实施例中，所述实体人对象和数字虚拟人对象的绑定系统，还包括用于对所述包含词嵌入层的语义编码器、所述包含句编码器的语义编码器、所述多粒度语义交互器和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练数据获取单元，用于获取训练数据，所述训练数据包括实体人对象的训练对话数据，以及，性格类型标签的真实值；训练分词处理单元，用于对所述实体人对象的训练对话数据进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练对话数据词粒度语义特征向量的序列；训练语义编码单元，用于对所述实体人对象的训练对话数据进行分句处理后通过所述包含句编码器的语义编码器以得到训练对话数据句粒度语义特征向量的序列；
训练多粒度语义交互单元，用于使用所述多粒度语义交互器对所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列进行处理以得到训练多粒度对话数据语义交互特征向量；训练分类单元，用于将所述训练多粒度对话数据语义交互特征向量通过所述分类器以得到分类损失函数值；预定损失函数值计算单元，用于计算所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列的预定损失函数值；以及，训练单元，用于以所述分类损失函数值和所述预定损失函数值的加权和作为损失函数值来对所述包含词嵌入层的语义编码器、所述包含句编码器的语义编码器、所述多粒度语义交互器和所述分类器进行训练。
在本申请的技术方案中，所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列分别表达所述实体人对象的训练对话数据在不同源语义空间划分粒度下的编码语义特征，由此，在使用多粒度语义交互器对所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列进行处理时，如果能够基于所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列的源语义空间划分粒度差异来强化所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列之间的跨源语义空间文本语义编码特征共享性，则能够提升所述训练多粒度对话数据语义交互特征向量的语义交互式融合表达效果。
也就是，考虑到与不同源语义空间划分粒度对应的语义特征编码特征分布差异，需要避免所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列之间具有的跨源语义空间文本语义编码特征共享性在多粒度语义交互下的特征共享分布稀疏化，基于此，本申请的申请人针对所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列引入预定损失函数，表示为：
以如下优化公式用于计算所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列的预定损失函数值；其中，所述优化公式为：其中，/>是所述训练对话数据词粒度语义特征向量的序列级联得到的第一级联特征向量，且/>是所述训练对话数据句粒度语义特征向量的序列级联得到的第二级联特征向量，/>和/>分别是特征向量的1范数和2范数，/>是界阈值超参数，且特征向量均为行向量形式，/>表示所述预定损失函数，表示所述第二级联特征向量的转置向量，/>表示按位置减法，/>表示向量乘法。
具体地，所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列之间的共享关键特征的强化可以看作全局特征集合的分布信息压缩，通过在所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列间的结构表示来重构原始特征流形的相对形状关系的基础上进行关键特征的分布稀疏化控制，可以在强化所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列间的共享关键特征的同时，获得所述训练多粒度对话数据语义交互特征向量作为融合特征的稀疏但是有意义的融合流形的几何表示，以提高所述训练多粒度对话数据语义交互特征向量对所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列的基于多粒度语义交互的交互式融合表达效果，从而提升所述训练多粒度对话数据语义交互特征向量通过分类器得到的分类结果的准确性。
综上，基于本发明实施例的实体人对象和数字虚拟人对象的绑定系统100被阐明，其从实体人对象的对话数据中捕捉到不同粒度下的语义特征，并从中挖掘关于实体人对象的性格类型的特征信息，以将对应的性格类型标签赋予数字虚拟人对象之中，使得数字虚拟人能够更好地模拟和表现实体人对象的性格特点，从而增强交互真实感。
如上所述，根据本发明实施例的实体人对象和数字虚拟人对象的绑定系统100可以实现在各种终端设备中，例如用于实体人对象和数字虚拟人对象的绑定的服务器等。在一个示例中，根据本发明实施例的实体人对象和数字虚拟人对象的绑定系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该实体人对象和数字虚拟人对象的绑定系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该实体人对象和数字虚拟人对象的绑定系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该实体人对象和数字虚拟人对象的绑定系统100与该终端设备也可以是分立的设备，并且该实体人对象和数字虚拟人对象的绑定系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图2为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定方法的流程图。图3为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定方法的系统架构的示意图。如图2和图3所示，一种实体人对象和数字虚拟人对象的绑定方法，包括：210，获取实体人对象的对话数据；220，对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列；230，融合所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列以得到多粒度对话数据语义交互特征向量；以及240，基于所述多粒度对话数据语义交互特征向量，确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。
本领域技术人员可以理解，上述实体人对象和数字虚拟人对象的绑定方法中的各个步骤的具体操作已经在上面参考图1的实体人对象和数字虚拟人对象的绑定系统的描述中得到了详细介绍，并因此，将省略其重复描述。
图4为本发明实施例中提供的一种实体人对象和数字虚拟人对象的绑定系统的应用场景图。如图4所示，在该应用场景中，首先，获取实体人对象的对话数据（例如，如图4中所示意的C）；然后，将获取的对话数据输入至部署有实体人对象和数字虚拟人对象的绑定算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于实体人对象和数字虚拟人对象的绑定算法对所述对话数据进行处理，以确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种实体人对象和数字虚拟人对象的绑定系统，其特征在于，包括：
对话数据获取模块，用于获取实体人对象的对话数据；
基于多粒度的语义编码模块，用于对所述实体人对象的对话数据进行基于多粒度的语义编码以得到对话数据词粒度语义特征向量的序列和对话数据句粒度语义特征向量的序列；
融合模块，用于融合所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列以得到多粒度对话数据语义交互特征向量；以及
实体人对象的性格类型确定模块，用于基于所述多粒度对话数据语义交互特征向量，确定所述实体人对象的性格类型，并将所述性格类型赋予数字虚拟人对象。
2.根据权利要求1所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，所述语义编码模块，包括：
分词处理单元，用于对所述实体人对象的对话数据进行分词处理后通过包含词嵌入层的语义编码器以得到所述对话数据词粒度语义特征向量的序列；以及
语义编码单元，用于对所述实体人对象的对话数据进行分句处理后通过包含句编码器的语义编码器以得到所述对话数据句粒度语义特征向量的序列。
3.根据权利要求2所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，所述分词处理单元，包括：
分词子单元，用于对所述实体人对象的对话数据进行分词处理以将所述实体人对象的对话数据转化为由多个词组成的词序列；
嵌入编码子单元，用于使用所述包含词嵌入层的上下文编码器的词嵌入层将所述词序列中各个词映射到词向量以获得词向量的序列；以及
上下文编码子单元，用于使用所述包含词嵌入层的语义编码器对所述词向量的序列进行基于全局的上下文语义编码以获得所述对话数据词粒度语义特征向量的序列。
4.根据权利要求3所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，所述上下文编码子单元，用于：
将所述词向量的序列进行一维排列以得到全局词特征向量；
计算所述全局词特征向量与所述词向量的序列中各个词向量的转置向量之间的乘积以得到多个自注意力关联矩阵；
分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵；
将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值；以及
分别以所述多个概率值中各个概率值作为权重对所述词向量的序列中各个词向量进行加权以得到所述对话数据词粒度语义特征向量的序列。
5.根据权利要求4所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，所述融合模块，包括：
多粒度语义交互单元，用于使用多粒度语义交互器对所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列进行处理以得到所述多粒度对话数据语义交互特征向量。
6.根据权利要求5所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，所述多粒度语义交互单元，用于：
注意力增强子单元，用于基于所述对话数据词粒度语义特征向量的序列和所述对话数据句粒度语义特征向量的序列之间的相关度进行注意力增强以得到注意力增强对话数据词粒度特征向量的序列和注意力增强对话数据句粒度特征向量的序列；
第一融合子单元，用于融合所述对话数据词粒度语义特征向量的序列和所述注意力增强对话数据词粒度特征向量的序列中相应位置的特征向量以得到对话数据词粒度语义融合特征向量的序列，并融合所述对话数据句粒度语义特征向量的序列和所述注意力增强对话数据句粒度特征向量的序列中相应位置的特征向量以得到对话数据句粒度融合特征向量的序列；
最大值池化子单元，用于对所述对话数据词粒度语义融合特征向量的序列进行最大值池化处理以得到对话数据词粒度语义融合最大值池化特征向量，并对所述对话数据句粒度融合特征向量的序列进行最大值池化处理以得到对话数据句粒度融合最大值池化特征向量；以及
第二融合子单元，用于融合所述对话数据词粒度语义融合最大值池化特征向量和所述对话数据句粒度融合最大值池化特征向量以得到所述多粒度对话数据语义交互特征向量。
7.根据权利要求6所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，所述实体人对象的性格类型确定模块，用于：
将所述多粒度对话数据语义交互特征向量通过分类器以得到分类结果，所述分类结果用于表示性格类型标签；以及
将所述性格类型标签赋予与所述实体人对象对应的所述数字虚拟人对象。
8.根据权利要求7所述的实体人对象和数字虚拟人对象的绑定系统，其特征在于，还包括用于对所述包含词嵌入层的语义编码器、所述包含句编码器的语义编码器、所述多粒度语义交互器和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：
训练数据获取单元，用于获取训练数据，所述训练数据包括实体人对象的训练对话数据，以及，性格类型标签的真实值；
训练分词处理单元，用于对所述实体人对象的训练对话数据进行分词处理后通过所述包含词嵌入层的语义编码器以得到训练对话数据词粒度语义特征向量的序列；
训练语义编码单元，用于对所述实体人对象的训练对话数据进行分句处理后通过所述包含句编码器的语义编码器以得到训练对话数据句粒度语义特征向量的序列；
训练多粒度语义交互单元，用于使用所述多粒度语义交互器对所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列进行处理以得到训练多粒度对话数据语义交互特征向量；
训练分类单元，用于将所述训练多粒度对话数据语义交互特征向量通过所述分类器以得到分类损失函数值；
预定损失函数值计算单元，用于计算所述训练对话数据词粒度语义特征向量的序列和所述训练对话数据句粒度语义特征向量的序列的预定损失函数值；以及
训练单元，用于以所述分类损失函数值和所述预定损失函数值的加权和作为损失函数值来对所述包含词嵌入层的语义编码器、所述包含句编码器的语义编码器、所述多粒度语义交互器和所述分类器进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311602020.1A CN117590944A (zh) | 2023-11-28 | 2023-11-28 | 实体人对象和数字虚拟人对象的绑定系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311602020.1A CN117590944A (zh) | 2023-11-28 | 2023-11-28 | 实体人对象和数字虚拟人对象的绑定系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117590944A true CN117590944A (zh) | 2024-02-23 |
Family
ID=89911219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311602020.1A Pending CN117590944A (zh) | 2023-11-28 | 2023-11-28 | 实体人对象和数字虚拟人对象的绑定系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117590944A (zh) |
Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001306090A (ja) * | 2000-04-25 | 2001-11-02 | Sharp Corp | 対話装置および方法、音声制御装置および方法、ならびにコンピュータを対話装置および音声制御装置として機能させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体 |
| CN105512687A (zh) * | 2015-12-15 | 2016-04-20 | 北京锐安科技有限公司 | 训练情感分类模型和文本情感极性分析的方法及系统 |
| CN106372058A (zh) * | 2016-08-29 | 2017-02-01 | 中译语通科技（北京）有限公司 | 一种基于深度学习的短文本情感要素抽取方法及装置 |
| CN107451118A (zh) * | 2017-07-21 | 2017-12-08 | 西安电子科技大学 | 基于弱监督深度学习的句子级情感分类方法 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN109543180A (zh) * | 2018-11-08 | 2019-03-29 | 中山大学 | 一种基于注意力机制的文本情感分析方法 |
| CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、系统、存储介质及设备 |
| CN110826327A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 情感分析方法、装置、计算机可读介质及电子设备 |
| CN112800195A (zh) * | 2021-01-18 | 2021-05-14 | 南京奥拓电子科技有限公司 | 一种对话机器人的配置方法及系统 |
| WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
| CN113569576A (zh) * | 2021-01-26 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 特征融合方法、装置、计算机设备及存储介质 |
| CN113643703A (zh) * | 2021-08-06 | 2021-11-12 | 西北工业大学 | 一种语音驱动虚拟人的口令理解方法 |
| US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
| CN113761186A (zh) * | 2021-01-19 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 文本情感分类方法和装置 |
| CN114386426A (zh) * | 2021-11-25 | 2022-04-22 | 北京容联易通信息技术有限公司 | 一种基于多元语义融合的金牌话术推荐方法及装置 |
| CN115082602A (zh) * | 2022-06-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 生成数字人的方法、模型的训练方法、装置、设备和介质 |
| CN115374281A (zh) * | 2022-08-30 | 2022-11-22 | 重庆理工大学 | 基于多粒度融合和图卷积网络的会话情感分析方法 |
| CN115494941A (zh) * | 2022-08-22 | 2022-12-20 | 同济大学 | 基于神经网络的元宇宙情感陪护虚拟人实现方法及系统 |
| CN115630652A (zh) * | 2022-10-26 | 2023-01-20 | 南京云问网络技术有限公司 | 客服会话情感分析系统、方法及计算机系统 |
| CN115630145A (zh) * | 2022-09-26 | 2023-01-20 | 中国科学院信息工程研究所 | 一种基于多粒度情感的对话推荐方法及系统 |
| CN115878805A (zh) * | 2022-12-27 | 2023-03-31 | 维沃移动通信有限公司 | 情感分析方法、装置、电子设备及存储介质 |
| CN116361442A (zh) * | 2023-06-02 | 2023-06-30 | 国网浙江宁波市鄞州区供电有限公司 | 基于人工智能的营业厅数据分析方法及系统 |
| CN116561592A (zh) * | 2023-07-11 | 2023-08-08 | 航天宏康智能科技(北京)有限公司 | 文本情感识别模型的训练方法和文本情感识别方法及装置 |
| CN116701638A (zh) * | 2023-07-14 | 2023-09-05 | 中国电信股份有限公司技术创新中心 | 文本属性词情感分类方法、装置、设备和介质 |
| CN116959119A (zh) * | 2023-09-12 | 2023-10-27 | 北京智谱华章科技有限公司 | 一种基于大语言模型的手语数字人驱动方法及系统 |
| CN116956942A (zh) * | 2023-05-16 | 2023-10-27 | 中国科学院新疆理化技术研究所 | 基于槽位共享跨度预测的多领域对话状态追踪方法、装置、设备及存储介质 |
| CN117034951A (zh) * | 2023-08-22 | 2023-11-10 | 杭州谦贞数字科技有限公司 | 基于大语言模型的具有特定语言风格的数字人 |
| CN117112765A (zh) * | 2023-09-07 | 2023-11-24 | 北京杰软科技有限公司 | 基于大数据模型和知识图谱融合的领域机器人问答系统 |
-
2023
- 2023-11-28 CN CN202311602020.1A patent/CN117590944A/zh active Pending
Patent Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001306090A (ja) * | 2000-04-25 | 2001-11-02 | Sharp Corp | 対話装置および方法、音声制御装置および方法、ならびにコンピュータを対話装置および音声制御装置として機能させるためのプログラムをそれぞれ記録したコンピュータ読取可能な記録媒体 |
| CN105512687A (zh) * | 2015-12-15 | 2016-04-20 | 北京锐安科技有限公司 | 训练情感分类模型和文本情感极性分析的方法及系统 |
| CN106372058A (zh) * | 2016-08-29 | 2017-02-01 | 中译语通科技（北京）有限公司 | 一种基于深度学习的短文本情感要素抽取方法及装置 |
| CN107451118A (zh) * | 2017-07-21 | 2017-12-08 | 西安电子科技大学 | 基于弱监督深度学习的句子级情感分类方法 |
| CN107944542A (zh) * | 2017-11-21 | 2018-04-20 | 北京光年无限科技有限公司 | 一种基于虚拟人的多模态交互输出方法及系统 |
| CN109543180A (zh) * | 2018-11-08 | 2019-03-29 | 中山大学 | 一种基于注意力机制的文本情感分析方法 |
| CN110826336A (zh) * | 2019-09-18 | 2020-02-21 | 华南师范大学 | 一种情感分类方法、系统、存储介质及设备 |
| CN110826327A (zh) * | 2019-11-05 | 2020-02-21 | 泰康保险集团股份有限公司 | 情感分析方法、装置、计算机可读介质及电子设备 |
| WO2021164199A1 (zh) * | 2020-02-20 | 2021-08-26 | 齐鲁工业大学 | 基于多粒度融合模型的中文句子语义智能匹配方法及装置 |
| CN112800195A (zh) * | 2021-01-18 | 2021-05-14 | 南京奥拓电子科技有限公司 | 一种对话机器人的配置方法及系统 |
| CN113761186A (zh) * | 2021-01-19 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 文本情感分类方法和装置 |
| CN113569576A (zh) * | 2021-01-26 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 特征融合方法、装置、计算机设备及存储介质 |
| US11194972B1 (en) * | 2021-02-19 | 2021-12-07 | Institute Of Automation, Chinese Academy Of Sciences | Semantic sentiment analysis method fusing in-depth features and time sequence models |
| CN113643703A (zh) * | 2021-08-06 | 2021-11-12 | 西北工业大学 | 一种语音驱动虚拟人的口令理解方法 |
| CN114386426A (zh) * | 2021-11-25 | 2022-04-22 | 北京容联易通信息技术有限公司 | 一种基于多元语义融合的金牌话术推荐方法及装置 |
| CN115082602A (zh) * | 2022-06-15 | 2022-09-20 | 北京百度网讯科技有限公司 | 生成数字人的方法、模型的训练方法、装置、设备和介质 |
| CN115494941A (zh) * | 2022-08-22 | 2022-12-20 | 同济大学 | 基于神经网络的元宇宙情感陪护虚拟人实现方法及系统 |
| CN115374281A (zh) * | 2022-08-30 | 2022-11-22 | 重庆理工大学 | 基于多粒度融合和图卷积网络的会话情感分析方法 |
| CN115630145A (zh) * | 2022-09-26 | 2023-01-20 | 中国科学院信息工程研究所 | 一种基于多粒度情感的对话推荐方法及系统 |
| CN115630652A (zh) * | 2022-10-26 | 2023-01-20 | 南京云问网络技术有限公司 | 客服会话情感分析系统、方法及计算机系统 |
| CN115878805A (zh) * | 2022-12-27 | 2023-03-31 | 维沃移动通信有限公司 | 情感分析方法、装置、电子设备及存储介质 |
| CN116956942A (zh) * | 2023-05-16 | 2023-10-27 | 中国科学院新疆理化技术研究所 | 基于槽位共享跨度预测的多领域对话状态追踪方法、装置、设备及存储介质 |
| CN116361442A (zh) * | 2023-06-02 | 2023-06-30 | 国网浙江宁波市鄞州区供电有限公司 | 基于人工智能的营业厅数据分析方法及系统 |
| CN116561592A (zh) * | 2023-07-11 | 2023-08-08 | 航天宏康智能科技(北京)有限公司 | 文本情感识别模型的训练方法和文本情感识别方法及装置 |
| CN116701638A (zh) * | 2023-07-14 | 2023-09-05 | 中国电信股份有限公司技术创新中心 | 文本属性词情感分类方法、装置、设备和介质 |
| CN117034951A (zh) * | 2023-08-22 | 2023-11-10 | 杭州谦贞数字科技有限公司 | 基于大语言模型的具有特定语言风格的数字人 |
| CN117112765A (zh) * | 2023-09-07 | 2023-11-24 | 北京杰软科技有限公司 | 基于大数据模型和知识图谱融合的领域机器人问答系统 |
| CN116959119A (zh) * | 2023-09-12 | 2023-10-27 | 北京智谱华章科技有限公司 | 一种基于大语言模型的手语数字人驱动方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 曾谁飞;张笑燕;杜晓峰;陆天波;: "基于神经网络的文本表示模型新方法", 通信学报, no. 04, 25 April 2017 (2017-04-25) * |
| 程淑玉;郭泽颖;刘威;印鉴;: "融合Attention多粒度句子交互自然语言推理研究", 小型微型计算机系统, no. 06, 14 June 2019 (2019-06-14) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105632251B (zh) | 具有语音功能的3d虚拟教师系统及其方法 | |
| Joy et al. | SignQuiz: a quiz based tool for learning fingerspelled signs in indian sign language using ASLR | |
| CN109844741A (zh) | 在自动聊天中生成响应 | |
| CN111104512B (zh) | 游戏评论的处理方法及相关设备 | |
| CN109271493A (zh) | 一种语言文本处理方法、装置和存储介质 | |
| CN111598979B (zh) | 虚拟角色的面部动画生成方法、装置、设备及存储介质 | |
| CN111414506B (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
| CN111354246A (zh) | 一种用于帮助聋哑人交流的系统及方法 | |
| CN115953521B (zh) | 远程数字人渲染方法、装置及系统 | |
| CN114969282B (zh) | 基于富媒体知识图谱多模态情感分析模型的智能交互方法 | |
| CN114462385A (zh) | 一种文本分段方法及装置 | |
| CN117251057A (zh) | 一种基于aigc构建ai数智人的方法及系统 | |
| Wan et al. | Midoriko chatbot: LSTM-based emotional 3D avatar | |
| CN116975288A (zh) | 文本处理方法及文本处理模型训练方法 | |
| CN117197878B (zh) | 基于机器学习的人物面部表情捕捉方法及系统 | |
| Chaudhary et al. | Signnet ii: A transformer-based two-way sign language translation model | |
| CN116883608B (zh) | 一种多模态数字人社交属性控制方法及相关装置 | |
| Baumgärtner et al. | Automated Sign Language Translation: The Role of Artificial Intelligence Now and in the Future. | |
| CN117271745A (zh) | 一种信息处理方法、装置及计算设备、存储介质 | |
| CN113837212A (zh) | 一种基于多模态双向导向注意力的视觉问答方法 | |
| CN117216197A (zh) | 答案推理方法、装置、设备及存储介质 | |
| CN117590944A (zh) | 实体人对象和数字虚拟人对象的绑定系统 | |
| CN111062207B (zh) | 表情图像处理方法、装置、计算机存储介质及电子设备 | |
| Petkar et al. | Real Time Sign Language Recognition System for Hearing and Speech Impaired People | |
| CN117556027B (zh) | 基于数字人技术的智能交互系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |