CN117556027B - 基于数字人技术的智能交互系统及方法 - Google Patents

基于数字人技术的智能交互系统及方法 Download PDF

Info

Publication number
CN117556027B
CN117556027B CN202410049501.2A CN202410049501A CN117556027B CN 117556027 B CN117556027 B CN 117556027B CN 202410049501 A CN202410049501 A CN 202410049501A CN 117556027 B CN117556027 B CN 117556027B
Authority
CN
China
Prior art keywords
standard
semantic
granularity
problem description
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410049501.2A
Other languages
English (en)
Other versions
CN117556027A (zh
Inventor
王健
杨海宁
李龙飞
邓泽西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
One Station Development Beijing Cloud Computing Technology Co ltd
Original Assignee
One Station Development Beijing Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by One Station Development Beijing Cloud Computing Technology Co ltd filed Critical One Station Development Beijing Cloud Computing Technology Co ltd
Priority to CN202410049501.2A priority Critical patent/CN117556027B/zh
Publication of CN117556027A publication Critical patent/CN117556027A/zh
Application granted granted Critical
Publication of CN117556027B publication Critical patent/CN117556027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于数字人技术的智能交互系统及方法,其获取用户输入的问题描述文本;对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述‑标准问题语义匹配特征矩阵;以及,基于所述多个问题描述‑标准问题语义匹配特征矩阵,确定标准答案。这样,可以对用户的问题进行理解,从而准确匹配到最合适的答案。

Description

基于数字人技术的智能交互系统及方法
技术领域
本发明涉及智能交互技术领域,尤其涉及一种基于数字人技术的智能交互系统及方法。
背景技术
数字人是指通过计算机技术和人工智能技术创建的虚拟实体,具备与人类进行自然语言交互的能力。数字人通常具有自己的外貌、声音和行为特征,能够模拟人类的语言表达和情感交流,以实现更人性化的用户体验。
在与数字人的交互过程中,数字人需要准确理解用户的问题和意图,并能够根据问题描述匹配到相应的答案或解决方案。然而,由于人类使用的自然语言的复杂性,系统往往难以准确理解问题的含义,导致匹配结果不准确。
因此,期待一种优化的基于数字人技术的智能交互系统及方法。
发明内容
本发明实施例提供一种基于数字人技术的智能交互系统及方法,其获取用户输入的问题描述文本;对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及,基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案。这样,可以对用户的问题进行理解,从而准确匹配到最合适的答案。
本发明实施例还提供了一种基于数字人技术的智能交互方法,其包括:
获取用户输入的问题描述文本;
对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;
构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及
基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案。
本发明实施例还提供了一种基于数字人技术的智能交互系统,其包括:
问题描述文本获取模块,用于获取用户输入的问题描述文本;
语义编码和语义分析模块,用于对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;
关联关系构建模块,用于构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及
标准答案确定模块,用于基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种基于数字人技术的智能交互方法的流程图。
图2为本发明实施例中提供的一种基于数字人技术的智能交互方法的系统架构的示意图。
图3为本发明实施例中提供的一种基于数字人技术的智能交互系统的框图。
图4为本发明实施例中提供的一种基于数字人技术的智能交互方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。
在本申请实施例记载中,需要说明的是,除非另有说明和限定,术语“连接”应做广义理解,例如,可以是电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。
数字人是通过计算机技术和人工智能技术创建的虚拟实体,具备与人类进行自然语言交互的能力,通常被设计成拥有独特的外貌、声音和行为特征,以模拟人类的语言表达和情感交流。数字人的目标是实现更加人性化的用户体验,使用户能够与它们进行自然而流畅的对话,就像与一个真实的人类进行交流一样。数字人的创建涉及多个技术领域,包括自然语言处理、机器学习、计算机视觉和动画等,通过这些技术,数字人可以理解和解释用户的语言输入,并以自然的方式回应和交流,可以回答问题、提供信息、执行任务,并在需要时展示情感和个性。
数字人的应用领域非常广泛,可以用于虚拟助手、在线客服、教育和培训、娱乐和游戏等方面,数字人可以在网站、移动应用程序、虚拟现实和增强现实环境中与用户进行交互,为用户提供个性化的服务和支持。虽然数字人在模拟人类交流方面取得了显著的进展,但它们仍然是基于预先编程和训练的算法和模型,能力受限于其所使用的数据和算法的质量。
在与数字人的交互过程中,准确理解用户的问题和意图是一个挑战,自然语言的复杂性使得系统往往难以准确地理解问题的含义,导致匹配结果不准确。其中,自然语言中的词汇和短语可能有多种含义,而且往往需要根据上下文进行解释,这种歧义性使得系统在理解用户问题时容易出现误解。语法结构对于理解句子的含义至关重要,然而,自然语言中存在各种语法结构的变化和复杂性,包括句子成分、语序、时态等,需要能够正确解析这些语法结构,才能准确理解用户的问题。理解用户问题时,上下文信息是不可或缺的,上下文可以包括先前的对话历史、用户的背景知识和语境等,需要能够适应和利用上下文信息,以更好地理解用户的问题和意图。
为了应对这些挑战,数字人的开发者们采用了一系列技术和方法来提高系统的理解能力。例如,通过机器学习算法,可以从大量的语料库中学习语言模型和语义关系,以提高对用户问题的理解能力,机器学习还可以用于训练问题分类器和意图识别器,以更好地匹配用户问题和相应的答案或解决方案。
在本发明的一个实施例中,图1为本发明实施例中提供的一种基于数字人技术的智能交互方法的流程图。图2为本发明实施例中提供的一种基于数字人技术的智能交互方法的系统架构的示意图。如图1和图2所示,根据本发明实施例的基于数字人技术的智能交互方法,包括:110,获取用户输入的问题描述文本;120,对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;130,构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及,140,基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案。
在所述步骤110中,获取用户输入的问题描述文本,在这一步骤中,确保正确获取用户输入的问题描述文本,可以通过文本输入框、语音输入或其他适合的方式进行。处理用户输入时要考虑到文本的长度、格式和语法错误等情况,例如进行文本清洗和预处理操作。通过获取用户输入的问题描述文本是开始处理用户问题的第一步,能够为后续的语义编码和分析提供输入数据,正确获取用户问题描述文本可以为系统提供更准确的问题理解和匹配的基础。
在所述步骤120中,对问题描述文本进行多粒度的语义编码和语义分析,在这一步骤中,使用适当的自然语言处理技术和模型,例如词嵌入、语义角色标注、句法分析等,对问题描述文本进行编码和分析。考虑使用多粒度的编码方法,例如词级别、短语级别、句子级别或段落级别的编码,以捕捉问题描述的不同层次的语义信息。通过多粒度的语义编码和分析可以帮助系统更好地理解问题描述的语义信息,从而提高问题匹配的准确性。这一步骤可以为构建问题描述-标准问题语义匹配特征矩阵提供丰富的语义特征向量。
在所述步骤130中,构建问题描述-标准问题语义匹配特征矩阵,在这一步骤中,使用标准问题语料库中的标准问题和对应的标准问题语义特征向量作为参考,构建问题描述-标准问题语义匹配特征矩阵。可以使用各种相似度度量方法,如余弦相似度、欧氏距离等,来计算问题描述特征向量和标准问题特征向量之间的关联关系。通过构建问题描述-标准问题语义匹配特征矩阵可以量化问题描述和标准问题之间的语义相似性,为后续的答案匹配提供依据。这一步骤可以帮助系统更好地理解问题描述,并找到与之相似的标准问题,从而提供更准确的答案。
在所述步骤140中,基于多个问题描述-标准问题语义匹配特征矩阵,确定标准答案,在这一步骤中,根据问题描述-标准问题语义匹配特征矩阵,选择合适的匹配算法或模型来确定最佳的标准答案。可以考虑使用阈值或排序方法来选择与问题描述最匹配的标准问题,并将其对应的标准答案作为最终答案。通过基于问题描述-标准问题语义匹配特征矩阵进行答案匹配可以提高答案的准确性和相关性。这一步骤可以帮助系统根据用户问题描述快速找到相应的标准答案,提供更好的用户体验和满足用户需求。
通过上述步骤可以帮助系统在处理用户问题时准确理解问题描述,进行多粒度的语义编码和分析,并基于语义匹配特征矩阵确定最佳的标准答案,以提高问题匹配的准确性、增强问题理解的能力,并为用户提供更准确和相关的答案。
针对上述技术问题,本申请的技术构思是通过对问题描述文本进行多粒度的语义编码,并与标准问题语料库中各个标准问题所对应的标准问题语义信息进行匹配关联,以对用户的问题进行理解,从而准确匹配到最合适的答案。
应可以理解,多粒度的语义编码可以捕捉问题描述的不同层次的语义信息,从而更全面地理解用户问题,通过与标准问题语义信息的匹配关联,系统可以找到与用户问题最相似的标准问题,提高问题匹配的准确性。通过对问题描述文本进行语义编码,能够更深入地理解问题的含义和意图,有助于系统更好地理解用户问题的背景、需求和要求,从而提供更准确和相关的答案。通过匹配关联问题描述和标准问题的语义信息,可以根据用户的具体问题提供个性化的答案,这样,用户可以得到与其问题最匹配和最相关的答案,提高用户满意度和体验。通过与标准问题语料库中的标准问题进行匹配关联,可以学习和建模不同类型和领域的问题,随着匹配关联的积累和模型的不断优化,可以逐渐提高对各种问题的理解能力,实现更智能化的答案匹配和推荐。
基于此,在本申请的技术方案中,首先获取用户输入的问题描述文本。这里,在与数字人进行交互时,用户通常会以自然语言的形式提出问题或表达需求。通过获取用户输入的问题描述文本,系统可以对用户的问题进行分析和理解,从而确定用户的意图。更具体地,问题描述文本可能包含用户所提出的具体问题、需求或信息,它是用户与系统进行沟通和交流的主要纽带。也就是说,获取用户输入的问题描述文本是数字人交互系统中的关键步骤,它为系统提供了与用户进行有效沟通的基础。
应当可以理解,文本的整体情感分析会掩盖人们的细粒度情感表达,可能会导致关于问题描述的重要语义信息被忽略。当涉及对问题描述文本进行语义分析时,细粒度的情感表达可能包含关键的语义信息,例如问题的紧急程度、问题描述者的态度或情感背景等。这些信息对于理解问题的上下文和提供相关答案或解决方案都非常重要。也就是,在进行问题描述的语义分析时,仅仅依赖整体情感分析可能无法充分捕捉问题描述中的细粒度情感表达和其他细节性的语义信息。因而,在本申请的技术方案中,期待对所述问题描述文本进行基于不同粒度的语义分析,以更全面地理解问题描述中的用户意图和语义表达。
在本申请的一个实施例中,对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量,包括:对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列后,将所述问题描述词的序列通过包含词嵌入层的上下文语义编码器以得到问题描述词上下文语义特征向量;对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列后,将所述问题描述句的序列通过包含句嵌入层的上下文语义编码器以得到问题描述句上下文语义特征向量;以及,融合所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量以得到所述多粒度问题描述上下文语义特征向量。
具体地,在本申请的一个示例中,对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列后,将所述问题描述词的序列通过包含词嵌入层的上下文语义编码器以得到问题描述词上下文语义特征向量,包括:
对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列;
使用所述包含词嵌入层的上下文语义编码器的嵌入层将所述问题描述词的序列中各个问题描述词映射到词向量以获得问题描述词向量的序列;以及
使用所述包含词嵌入层的上下文语义编码器对所述问题描述词向量的序列进行基于全局的上下文语义编码以获得所述问题描述词上下文语义特征向量。
更具体地,在本申请的一个示例中,使用所述包含词嵌入层的上下文语义编码器对所述问题描述词向量的序列进行基于全局的上下文语义编码以获得所述问题描述词上下文语义特征向量,包括:将所述问题描述词向量的序列进行一维排列以得到问题描述词特征向量;计算所述问题描述词特征向量与所述问题描述词向量的序列中各个问题描述词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及,分别以所述多个概率值中各个概率值作为权重对所述问题描述词向量的序列中各个问题描述词向量进行加权以得到所述问题描述词上下文语义特征向量。
其中,将问题描述文本进行基于词粒度的划分,可以将文本分解为词的序列,以捕捉问题描述中每个词的语义特征,包括词义、词性、上下文关联关系等。另一方面,将问题描述文本进行基于句粒度的划分,可以将文本分解为句子的序列。句子作为语言表达的基本单位,包含了更丰富的语义信息。通过对问题描述句进行语义编码,以更准确地捕捉句子级别的语义信息。这样,通过对问题描述进行不同粒度的语义分析,可以综合考虑词级和句级的语义信息。再将问题描述词和句的上下文语义特征向量进行融合,可以得到多粒度的问题描述上下文语义特征向量,更全面地表示问题描述的语义信息。
在本申请的一个具体实施例中,对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列后,将所述问题描述句的序列通过包含句嵌入层的上下文语义编码器以得到问题描述句上下文语义特征向量,包括:对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列;使用所述包含词嵌入层的上下文语义编码器的嵌入层将所述问题描述句的序列中各个问题描述句映射到词向量以获得问题描述句向量的序列;以及,使用所述包含词嵌入层的上下文语义编码器对所述问题描述句向量的序列进行基于全局的上下文语义编码以获得所述问题描述句上下文语义特征向量。
在本申请的一个实施例中,构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵,包括:对所述多粒度问题描述上下文语义特征向量进行特征分布校正以得到校正后多粒度问题描述上下文语义特征向量;以及,将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵。
在上述技术方案中,所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量分别表达所述问题描述文本的基于词粒度和句粒度的上下文编码文本语义联特征,由此,考虑到所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量的文本语义特征的上下文关联编码尺度差异,在融合所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量得到所述多粒度问题描述上下文语义特征向量时,期望抑制由于文本语义特征的上下文关联编码尺度差异导致的所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量在高维特征空间内基于与不同尺度集合变换对应的特征分布方向的高维几何变化差异,从而提升融合效果。
基于此,本申请的申请人对所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量进一步进行融合校正,以获得校正特征向量,具体为:以如下优化公式对所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量进一步进行融合校正,以获得校正特征向量;其中,所述优化公式为:
其中,是所述问题描述词上下文语义特征向量,/>是所述问题描述句上下文语义特征向量,/>、/>和/>分别是所述问题描述词上下文语义特征向量/>、所述问题描述句上下文语义特征向量/>和所述校正特征向量的特征值,/>和/>分别是特征向量的1范数和2范数,L是特征向量的长度,且/>是权重超参数,/>表示计算以数值为幂的自然指数函数值;以及,再将所述校正特征向量与所述多粒度问题描述上下文语义特征向量进行融合以得到校正后多粒度问题描述上下文语义特征向量。
具体地,为了在进行融合时提升特征对不同特征分布对应的空间变换的感知和认知能力,基于所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量/>的距离结构参数来从向量尺度维度进行特征向量的特征分布在不同方向上的旋转控制,以通过相对旋转解缠来保留融合特征的旋转不变性,从而避免融合特征时在高维特征空间内的几何变换导致的特征分布的高维几何变化差异。这样,再将所述校正特征向量与所述多粒度问题描述上下文语义特征向量进行融合,就可以提升所述多粒度问题描述上下文语义特征向量的融合表达效果,从而改进将所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码得到的所述多个问题描述-标准问题语义匹配特征矩阵通过分类器得到的概率值的准确性。
然后,将所述校正后多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到多个问题描述-标准问题语义匹配特征矩阵。应可以理解,问题描述与标准问题之间的语义相似度是判断问题匹配程度的关键因素。而在本申请的技术方案中,通过关联编码的方式构建问题描述和标准问题的语义特征之间的关联,从而表征和刻画两者之间的相似度。
在本申请的一个具体实施例中,将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵,包括:以如下编码公式将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵;其中,所述编码公式为:
其中,表示所述校正后多粒度问题描述上下文语义特征向量,/>表示所述校正后多粒度问题描述上下文语义特征向量的转置向量,/>表示所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量,M表示所述多个问题描述-标准问题语义匹配特征矩阵,/>表示矩阵相乘。
继而,将所述多个问题描述-标准问题语义匹配特征矩阵通过分类器以得到多个概率值;并返回所述多个概率值中的最大值对应的标准问题的标准答案。
在本申请的一个具体实施例中,基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案,包括:将所述多个问题描述-标准问题语义匹配特征矩阵通过分类器以得到多个概率值;以及,返回所述多个概率值中的最大值对应的标准问题的标准答案。
综上,基于本发明实施例的基于数字人技术的智能交互方法被阐明,其通过对问题描述文本进行多粒度的语义编码,并与标准问题语料库中各个标准问题所对应的标准问题语义信息进行匹配关联,以对用户的问题进行理解,从而准确匹配到最合适的答案。
图3为本发明实施例中提供的一种基于数字人技术的智能交互系统的框图。如图3所示,所述基于数字人技术的智能交互系统200,包括:问题描述文本获取模块210,用于获取用户输入的问题描述文本;语义编码和语义分析模块220,用于对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;关联关系构建模块230,用于构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及,标准答案确定模块240,用于基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案。
在所述基于数字人技术的智能交互系统中,所述语义编码和语义分析模块,包括:词粒度划分单元,用于对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列后,将所述问题描述词的序列通过包含词嵌入层的上下文语义编码器以得到问题描述词上下文语义特征向量;句粒度划分单元,用于对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列后,将所述问题描述句的序列通过包含句嵌入层的上下文语义编码器以得到问题描述句上下文语义特征向量;以及,融合单元,用于融合所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量以得到所述多粒度问题描述上下文语义特征向量。
本领域技术人员可以理解,上述基于数字人技术的智能交互系统中的各个步骤的具体操作已经在上面参考图1到图2的基于数字人技术的智能交互方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本发明实施例的基于数字人技术的智能交互系统200可以实现在各种终端设备中,例如用于基于数字人技术的智能交互的服务器等。在一个示例中,根据本发明实施例的基于数字人技术的智能交互系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于数字人技术的智能交互系统200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于数字人技术的智能交互系统200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于数字人技术的智能交互系统200与该终端设备也可以是分立的设备,并且该基于数字人技术的智能交互系统200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图4为本发明实施例中提供的一种基于数字人技术的智能交互方法的应用场景图。如图4所示,在该应用场景中,首先,获取用户输入的问题描述文本(例如,如图4中所示意的C1),以及,标准问题语料库中各个标准问题(例如,如图4中所示意的C2);然后,将获取的问题描述文本和各个标准问题输入至部署有基于数字人技术的智能交互算法的服务器(例如,如图4中所示意的S)中,其中所述服务器能够基于数字人技术的智能交互算法对所述问题描述文本和所述各个标准问题进行处理,以确定标准答案。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于数字人技术的智能交互方法,其特征在于,包括:
获取用户输入的问题描述文本;
对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;
构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及
基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案;
其中,对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量,包括:
对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列后,将所述问题描述词的序列通过包含词嵌入层的上下文语义编码器以得到问题描述词上下文语义特征向量;
对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列后,将所述问题描述句的序列通过包含句嵌入层的上下文语义编码器以得到问题描述句上下文语义特征向量;以及
融合所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量以得到所述多粒度问题描述上下文语义特征向量;
其中,对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列后,将所述问题描述词的序列通过包含词嵌入层的上下文语义编码器以得到问题描述词上下文语义特征向量,包括:
对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列;
使用所述包含词嵌入层的上下文语义编码器的嵌入层将所述问题描述词的序列中各个问题描述词映射到词向量以获得问题描述词向量的序列;以及
使用所述包含词嵌入层的上下文语义编码器对所述问题描述词向量的序列进行基于全局的上下文语义编码以获得所述问题描述词上下文语义特征向量;
其中,使用所述包含词嵌入层的上下文语义编码器对所述问题描述词向量的序列进行基于全局的上下文语义编码以获得所述问题描述词上下文语义特征向量,包括:
将所述问题描述词向量的序列进行一维排列以得到问题描述词特征向量;
计算所述问题描述词特征向量与所述问题描述词向量的序列中各个问题描述词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;
分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;
将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及
分别以所述多个概率值中各个概率值作为权重对所述问题描述词向量的序列中各个问题描述词向量进行加权以得到所述问题描述词上下文语义特征向量;
其中,构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵,包括:
对所述多粒度问题描述上下文语义特征向量进行特征分布校正以得到校正后多粒度问题描述上下文语义特征向量;以及
将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵;
其中,将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵,包括:
以如下编码公式将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵;
其中,所述编码公式为:
其中,表示所述校正后多粒度问题描述上下文语义特征向量,/>表示所述校正后多粒度问题描述上下文语义特征向量的转置向量,/>表示所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量,M表示所述多个问题描述-标准问题语义匹配特征矩阵,/>表示矩阵相乘。
2.根据权利要求1所述的基于数字人技术的智能交互方法,其特征在于,对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列后,将所述问题描述句的序列通过包含句嵌入层的上下文语义编码器以得到问题描述句上下文语义特征向量,包括:
对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列;
使用所述包含词嵌入层的上下文语义编码器的嵌入层将所述问题描述句的序列中各个问题描述句映射到词向量以获得问题描述句向量的序列;以及
使用所述包含词嵌入层的上下文语义编码器对所述问题描述句向量的序列进行基于全局的上下文语义编码以获得所述问题描述句上下文语义特征向量。
3.根据权利要求2所述的基于数字人技术的智能交互方法,其特征在于,基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案,包括:
将所述多个问题描述-标准问题语义匹配特征矩阵通过分类器以得到多个概率值;以及
返回所述多个概率值中的最大值对应的标准问题的标准答案。
4.一种基于数字人技术的智能交互系统,其特征在于,包括:
问题描述文本获取模块,用于获取用户输入的问题描述文本;
语义编码和语义分析模块,用于对所述问题描述文本进行多粒度的语义编码和语义分析以得到多粒度问题描述上下文语义特征向量;
关联关系构建模块,用于构建所述多粒度问题描述上下文语义特征向量和标准问题语料库中各个标准问题所对应的标准问题语义特征向量之间的关联关系以得到多个问题描述-标准问题语义匹配特征矩阵;以及
标准答案确定模块,用于基于所述多个问题描述-标准问题语义匹配特征矩阵,确定标准答案;
其中,所述语义编码和语义分析模块,包括:
词粒度划分单元,用于对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列后,将所述问题描述词的序列通过包含词嵌入层的上下文语义编码器以得到问题描述词上下文语义特征向量;
句粒度划分单元,用于对所述问题描述文本进行基于句粒度的划分得到问题描述句的序列后,将所述问题描述句的序列通过包含句嵌入层的上下文语义编码器以得到问题描述句上下文语义特征向量;以及
融合单元,用于融合所述问题描述词上下文语义特征向量和所述问题描述句上下文语义特征向量以得到所述多粒度问题描述上下文语义特征向量;
其中,所述词粒度划分单元,包括:
对所述问题描述文本进行基于词粒度的划分得到问题描述词的序列;
使用所述包含词嵌入层的上下文语义编码器的嵌入层将所述问题描述词的序列中各个问题描述词映射到词向量以获得问题描述词向量的序列;以及
使用所述包含词嵌入层的上下文语义编码器对所述问题描述词向量的序列进行基于全局的上下文语义编码以获得所述问题描述词上下文语义特征向量;
其中,使用所述包含词嵌入层的上下文语义编码器对所述问题描述词向量的序列进行基于全局的上下文语义编码以获得所述问题描述词上下文语义特征向量,包括:
将所述问题描述词向量的序列进行一维排列以得到问题描述词特征向量;
计算所述问题描述词特征向量与所述问题描述词向量的序列中各个问题描述词向量的转置向量之间的乘积以得到多个自注意力关联矩阵;
分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;
将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;以及
分别以所述多个概率值中各个概率值作为权重对所述问题描述词向量的序列中各个问题描述词向量进行加权以得到所述问题描述词上下文语义特征向量;
其中,所述关联关系构建模块,包括:
对所述多粒度问题描述上下文语义特征向量进行特征分布校正以得到校正后多粒度问题描述上下文语义特征向量;以及
将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵;
其中,将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵,包括:
以如下编码公式将所述校正后多粒度问题描述上下文语义特征向量和所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量进行关联编码以得到所述多个问题描述-标准问题语义匹配特征矩阵;
其中,所述编码公式为:
;
其中,表示所述校正后多粒度问题描述上下文语义特征向量,/>表示所述校正后多粒度问题描述上下文语义特征向量的转置向量,/>表示所述标准问题语料库中各个标准问题所对应的标准问题语义特征向量,M表示所述多个问题描述-标准问题语义匹配特征矩阵,/>表示矩阵相乘。
CN202410049501.2A 2024-01-12 2024-01-12 基于数字人技术的智能交互系统及方法 Active CN117556027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410049501.2A CN117556027B (zh) 2024-01-12 2024-01-12 基于数字人技术的智能交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410049501.2A CN117556027B (zh) 2024-01-12 2024-01-12 基于数字人技术的智能交互系统及方法

Publications (2)

Publication Number Publication Date
CN117556027A CN117556027A (zh) 2024-02-13
CN117556027B true CN117556027B (zh) 2024-03-26

Family

ID=89823790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410049501.2A Active CN117556027B (zh) 2024-01-12 2024-01-12 基于数字人技术的智能交互系统及方法

Country Status (1)

Country Link
CN (1) CN117556027B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164199A1 (zh) * 2020-02-20 2021-08-26 齐鲁工业大学 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN114387537A (zh) * 2021-11-30 2022-04-22 河海大学 一种基于描述文本的视频问答方法
CN116010713A (zh) * 2023-03-27 2023-04-25 日照职业技术学院 基于云计算的创新创业平台服务数据处理方法及系统
CN116204266A (zh) * 2023-05-04 2023-06-02 深圳市联合信息技术有限公司 远程协助的信息创建运维系统及其方法
CN116414962A (zh) * 2023-04-11 2023-07-11 南京邮电大学 一种基于注意力机制的问答匹配方法
CN116842194A (zh) * 2023-07-03 2023-10-03 中国南方电网有限责任公司 一种电力语义知识图谱系统及方法
CN117349423A (zh) * 2023-11-01 2024-01-05 上海协济科技有限公司 一种模板匹配式水利领域知识问答模型

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164199A1 (zh) * 2020-02-20 2021-08-26 齐鲁工业大学 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN114387537A (zh) * 2021-11-30 2022-04-22 河海大学 一种基于描述文本的视频问答方法
CN116010713A (zh) * 2023-03-27 2023-04-25 日照职业技术学院 基于云计算的创新创业平台服务数据处理方法及系统
CN116414962A (zh) * 2023-04-11 2023-07-11 南京邮电大学 一种基于注意力机制的问答匹配方法
CN116204266A (zh) * 2023-05-04 2023-06-02 深圳市联合信息技术有限公司 远程协助的信息创建运维系统及其方法
CN116842194A (zh) * 2023-07-03 2023-10-03 中国南方电网有限责任公司 一种电力语义知识图谱系统及方法
CN117349423A (zh) * 2023-11-01 2024-01-05 上海协济科技有限公司 一种模板匹配式水利领域知识问答模型

Also Published As

Publication number Publication date
CN117556027A (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN109918680B (zh) 实体识别方法、装置及计算机设备
CN113205817B (zh) 语音语义识别方法、系统、设备及介质
CN111897933B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN113822192B (zh) 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质
CN110609891A (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN110990543A (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN108595436B (zh) 情感对话内容的生成方法和系统、存储介质
CN109271493A (zh) 一种语言文本处理方法、装置和存储介质
CN112214591B (zh) 一种对话预测的方法及装置
CN112734881B (zh) 基于显著性场景图分析的文本合成图像方法及系统
CN114676234A (zh) 一种模型训练方法及相关设备
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
CN115953521B (zh) 远程数字人渲染方法、装置及系统
CN113705315A (zh) 视频处理方法、装置、设备及存储介质
CN116975288A (zh) 文本处理方法及文本处理模型训练方法
CN115937369A (zh) 一种表情动画生成方法、系统、电子设备及存储介质
CN116341651A (zh) 实体识别模型训练方法、装置、电子设备及存储介质
CN117251057A (zh) 一种基于aigc构建ai数智人的方法及系统
CN112349294A (zh) 语音处理方法及装置、计算机可读介质、电子设备
Wang et al. Emotional conversation generation with bilingual interactive decoding
CN117556027B (zh) 基于数字人技术的智能交互系统及方法
CN116580691A (zh) 语音合成方法、语音合成装置、电子设备及存储介质
CN116484885A (zh) 基于对比学习和词粒度权重的视觉语言翻译方法和系统
Balayn et al. Data-driven development of virtual sign language communication agents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant