CN112182173A - 一种基于虚拟生命的人机交互方法、装置及电子设备 - Google Patents

一种基于虚拟生命的人机交互方法、装置及电子设备 Download PDF

Info

Publication number
CN112182173A
CN112182173A CN202011009260.7A CN202011009260A CN112182173A CN 112182173 A CN112182173 A CN 112182173A CN 202011009260 A CN202011009260 A CN 202011009260A CN 112182173 A CN112182173 A CN 112182173A
Authority
CN
China
Prior art keywords
target user
virtual
target
animation
response content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011009260.7A
Other languages
English (en)
Inventor
孙金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011009260.7A priority Critical patent/CN112182173A/zh
Publication of CN112182173A publication Critical patent/CN112182173A/zh
Priority to US17/361,117 priority patent/US11455510B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本说明书实施例提供一种基于虚拟生命的人机交互方法、装置及电子设备。其中，方法包括：对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据。向所述目标用户输出基于所述认知数据确定的目标回应内容。以及播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。

Description

一种基于虚拟生命的人机交互方法、装置及电子设备
技术领域
本文件涉及人工智能技术领域，尤其涉及一种基于虚拟生命的人机交互方法、装置及电子设备。
背景技术
随着人工智能技术的不断发展，虚拟机器人被越来越多地应用在人机交互当中。目前，虚拟机器人主要工作原理是根据用户提问内容，匹配出预先设置好的答复内容进行回应。这种交互方式是机械应答，缺少亲切感和可交互性，导致用户体验不佳
在当今用户对人机交互提出更高要求的背景下，有必要提出一种具有虚拟生命的人机交互方案。
发明内容
本说明书实施例目的是提供一种基于虚拟生命的人机交互方法、装置及电子设备，能够使虚拟机器人实现更真实自然的人机交互。
为了实现上述目的，本说明书实施例是这样实现的：
第一方面，提供一种基于虚拟生命的人机交互方法，包括：
获取目标用户进行人机交互的输入数据；
向所述目标用户输出基于所述输入数据确定的回应内容；以及，
向所述目标用户输出所述回应内容匹配的虚拟交互动画，所述虚拟交互动画用于引导所述人机交互。
第二方面，提供一种基于虚拟生命的人机交互装置，包括：
认知模块，对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
输出模块，向所述目标用户输出基于所述认知数据确定的目标回应内容；以及，
呈现模块，播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
第三方面，提供一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
向所述目标用户输出基于所述认知数据确定的目标回应内容；以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
第四方面，提供一种算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
向所述目标用户输出基于所述认知数据确定的目标回应内容；以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
本说明书实施例的方案在人机交互过程中对用户进行感知分析，获得针对用户的认知数据，并基于认知数据进一步确定出针对用户的回应内容。同时，基于针对用户的认知数据和回应内容动态生成的包含虚拟生命形象的虚拟交互动画，以辅助人机交互。整个方案可以使虚拟机器人具有感知、推理分析、认知以及共情表达的能力，从而实现更真实自然的人机交互，可为用户带来更好的使用体验。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的人工交互方法的流程示意图。
图2为本说明书实施例提供的人工交互方法中人机交互界面的示意图。
图3为本说明书实施例提供的人工交互装置的结构示意图。
图4为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
如前所述，目前的虚拟机器人主要工作原理是根据用户提问内容，匹配出预先设置好的答复内容进行回应。这种交互方式是机械应答，缺少亲切感和可交互性，导致用户体验不佳。对于用户来讲，期望虚拟机器人更具有真实的生命力，比如在交互过程中体现出一定的共情能力。为此，本文件旨在提出一种具有虚拟生命的人机交互方案。
图1是本说明书实施例基于虚拟生命的人机交互方法的流程图。图1所示的方法可以由下文相对应的装置执行，包括如下步骤：
S102，对进行人机交互的目标用户进行感知分析，获得针对目标用户的认知数据。
具体地，本说明说明书实施例可以对目标用户进行至少两种模态信息的感知分析，以获得针对目标用户的关于至少两种模态信息的认知数据。作为示例性介绍，感知分析可以具体包括
基于视觉信息的感知分析。比如，感知目标用户的视线在人机交互界面锁定的信息，并对目标用户的提问内容进行预测分析；再比如，感知目标用户的面部特征，以基于面部特征对目标用户的情绪进行分析。
基于听觉信息的感知分析。比如，感知目标用户语音方式进行人机交互的输入数据，并对输入数据进行语义分析，提取目标用户的提问内容；再比如，感知目标用户人机交互的声纹特征，以基于声纹特征对目标用户的情绪进行分析。
基于人机交互输入信息的感知分析。比如，感知目标用在人机交互界面输入的文本信息，并对文本信息进行分析，提取目标用户的提问内容。
可以看出，在本说明实施例中，虚拟机器人具备视觉、听觉和文字等强大的感知能力，从而基于感知到的这些模态信息对目标用户进行交互用途的相关分析，确定出针对目标用户人机交互有用的数据，即认知数据。
S104，向目标用户输出基于认知数据确定的目标回应内容。
应理解，目标回应内容即人机交互过程中，虚拟机器人向目标用户反馈的内容。本说明书实施例中，目标回应内容的输出方式并不唯一，比如可以通过图像方式输出，或者也可以通过声频方式输出。这里，本文对此不作具体限定。
S106，播放基于认知数据和目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，虚拟交互动画中的虚拟生命形象具有与针对目标用户进行人机交互匹配的动画效果。
应理解，本说明书实施例的虚拟交互动画对人机交互可以起到辅助作用，由于具体表现方式并不唯一，这里本文不作具体限定。此外，虚拟交互动画中的虚拟生命形象可以但不限是拟人化形象、拟物化形象或者是创造出来的非自然界形象。
本说明书实施例汇总，虚拟生命形象能够做出与回应内容匹配的肢体动作、表情等。比如，目标用户输入数据中包含有投诉内容，则虚拟交互动画可以是拟人化的抱歉动作和抱歉表情。
具体地，本说明书实施例的方法可以采用下述步骤构建出虚拟交互动画：
S1061，基于目标回应内容，生成基础虚拟交互动画，其中，基础虚拟交互动画中包括具有基础动画效果的虚拟生命形象。
这里，本说明书实施例可以预先设置出多种回应内容-基础虚拟交互动画之间的映射关系。在获得目标用户进行人机交互的输入数据后，即可从输入数据中提取目标用户的输入内容，并从预先存储的上述映射关系中匹配出对应的基础虚拟交互动画。
此外，为了在人机交互中，实现更深次的推理、联想以及记忆能力，还可以通过深度学习技术，实现基础虚拟交互动画的生成。即，本步骤基于预先针对回应用户所刻画的至少一种特征维度(比如交互涉及的业务类型特征维度、提问内容类型特征维度等)，对目标回应内容进行特征提取，得到目标回应内容的回应特征。之后，将得到的目标回应内容的回应特征输入至预设的基础虚拟形象生成模型，得到基础虚拟交互动画。
其中，基础虚拟形象生成模型是基于样本回应内容中的回应特征以及对样本回应内容标注的虚拟生命形象的基础动画效果所训练得到的(样本回应内容中的回应特征与从目标回应内容中提取到的回应特征具有相同的特征维度)，具有将作为输入的回应内容与基础动画效果进行关联分类的作用。
在实际应用中，虚拟生命形象可以由多个部位的基础虚拟交互动画组成。每个部位的基础虚拟交互动画可以对应有至少一个基础虚拟形象生成模型负责动画效果的渲染。
S1062，基于针对目标用户的认知数据，生成附加虚拟交互动画，附加虚拟交互动画中包括附加动画效果的虚拟生命形象。
本说明书实施例，附加虚拟交互动画用于提高对目标用户进行动画回应的共情能力。
具体地，在对目标用户进行感知分析中，可以包含有反映目标用户情绪的第一情绪指标的认知数据。
比如，当目标用户人机交互，输入了文本格式交互内容时，或者交互内容被转换为文本格式时，可以基于语义分析确定目标用户第一情绪指标(交互内容为投诉内容则对应生气的情绪指标、交互内容为中奖兑现内容则对应高兴的情绪指标)。再比如，当目标用户的输入数据是音频格式时，则可以基于声纹特征分析，确定目标用户的第一情绪指标。
之后，基于反映目标用户情绪的第一情绪指标，确定相匹配的第二情绪指标。这里，第二情绪指标可以视为第一情绪指标的回应。比如，第一情绪指标对应为发怒情绪，则第二情绪指标对应为道歉情绪。
接下来，基于第二情绪指标，生成虚拟生命形象用于对目标用户进行情绪回应的附加动画效果。比如，第二情绪指标对应为道歉情绪，则附加虚拟交互动画可以但不限于包括有道歉动作的动画效果。
在实际应用中，本说明书实施例可以预先设置有不同绪指标与附加虚拟交互动画的映射关系。在确定第二情绪指标后，可以直接基于上述映射关系匹配出相对应的附加虚拟交互动画。
同理，为了在人机交互中，实现更深次的推理、联想以及记忆能力，本说明实施例还可以通过深度学习技术，实现附加虚拟交互动画的生成。即，本步骤基于预先针对用户感知刻画的至少一种特征维度(如情绪特征维度、肢体动作特征维度、面部特征维度、声纹特征维度等)，对目标用户的认知数据进行特征提取，得到目标用户的认知特征。之后，将得到的目标用户的认知特征输入至预设的附加虚拟形象生成模型，得到附加虚拟交互动画。
其中，附加虚拟形象生成模型是基于样本用户的认知特征以及对样本用户标注的虚拟生命形象的基础动画效果所训练得到的(样本用户的认知特征与目标用户的认知特征具有相同的特征维度)，具有将作为输入的回应内容进行虚拟生命形象的附件动画效果关联分类作用。
在实际应用中，虚拟生命形象可以由多个部位的附加虚拟交互动画组成。每个部位的附加虚拟交互动画可以对应有至少一个附加虚拟形象生成模型负责动画效果的渲染。
S1063，对基础虚拟交互动画和附加虚拟交互动画进行合成，生成所述虚拟交互动画。
这里，本文不对基础虚拟交互动画和附加虚拟交互动画的合成方式作具体限定。基础虚拟交互动画和附加虚拟交互动画组合可以是指两者同时显示，或者两者分先后显示。
应理解的是，若本说明书实施例的方法使用深度学习技术生成虚拟交互动画，则还可以在方案落地应用中，收集一些用户针对虚拟交互动画的反馈意见，并根据反馈意见，对用户不满意的虚拟交互动画进行标注。后续在对模型训练时，可以将标注用户不满意的虚拟交互动画和对应的入参特征作为黑样本训练数据，以实现模型的优化。显然，这一过程可以基于计算机程序机械执行，使得虚拟生命具有自我进化的能力。
基于上述内容可以看出，本说明书实施例的方法在人机交互过程中对用户进行感知分析，获得针对用户的认知数据，并基于认知数据进一步确定出针对用户的回应内容。同时，基于针对用户的认知数据和回应内容动态生成的包含虚拟生命形象的虚拟交互动画，以辅助人机交互。整个方案可以使虚拟机器人具有感知、推理分析、认知以及共情表达的能力，从而实现更真实自然的人机交互，可为用户带来更好的使用体验。
进一步地，除了向用户输出虚拟交互动画外，本说明书实施例的方法还可以基于目标用户人机交互式时的情绪，以语音方式反馈体现出共情的回应内容。
即，在分析目标用户的输入数据获得第一情绪指标，并确定第一情绪指标匹配的第二情绪指标后，本说明实施例的人机交互方法还可以执行以下步骤:
生成回应内容的语音数据。具体地，可以基于第二情绪指标以及回应内容，确定出回应内容对应的附加内容，该附加内容可以是用于表现第二情绪指标的附加词语。比如道歉的情绪对应的附加词语可以是“对不起”、“请您原谅”等。之后，对回应内容和附加内容组合后进行语音转换，得到最终的回应内容的语音数据。
之后，基于第二情绪指标对回应内容的语音数据进行处理，得到体现第二情绪指标的处理后语音数据。比如，对回应内容的语音数据的音频输出声调、音频输出音量、字与字之间的音频输出停顿时间等进行调整。
最后，向目标用户音频输出该处理后语音数据。应理解，处理后语音数据在音频输出时应体现出第二情绪指标对应的情绪。比如，第二情绪指标对应有高兴的情绪，则回应内容的语音数据应以高兴的情绪音频输出。
进一步地，当虚拟交互动画为拟人化的形象时，输出的回应内容匹配的虚拟交互动画可以具体包括：虚拟形象做出的符合第二情绪指标的情绪表达动作，例如：生气、大笑、害羞、悲伤、含泪以及哭泣的等。这些情绪表达动作所对应的虚拟形象的渲染参数(如皮肤肌理参数，例如皮肤褶皱、面部明暗变化和面部肤色等)可以预先设置。
可以看出，本说明书实施例的方法在与目标用户进行人机交互时，可以通过多模态(包含虚拟交互动画输出)方式进行回应。
图2是本说明实施例的人机交互方法应用在客服机器人的一种示意图。在目标用户使用手机设备激活APP的客服机器人时，则人机交互界面如图2所示，在右下方区域显示一个客服机器人精灵，以提供辅助的交互作用。
当目标用户选中人机交互界面中“如何修改账户信息”、“我的优惠卡”、“投诉通道”、“转接人工服务”中的任意选项后，人机交互界面除了呈现对应的应答内容，同时，客服机器人精灵也会做出相匹配的动作。
比如，目标用户选中“转接人工服务”，则表示接下来会结束客服机器人的交互，此时客服机器人精灵可以做出向目标用户挥手道别的动作。再比如，目标用户选中“我的优惠卡”，此时客服机器人精灵可以从身后掏出目标用户具有的优惠卡的虚拟图像以进行展示。
此外，手机设备还可以通过传感器扫描捕捉目标用户的视线，并根据目标用户的视线，分析目标用户当前实现锁定的人机界面交互的选项，客服机器人精灵可以根据目标用户视线锁定的选项自适应做出相应的动作，例如，对选项相关功能进行解说的介绍动作。
此外，在图2所示的人机交互界面下方，还提供有文本输入和语音输入的功能选项，目标用户可以灵活选择其中一种方式，向客服机器人发送交互输入内容。
以语音输入为例，当目标用户语音输入交互内容时，可以对交互内容进行语义分析和声纹特征分析。语义分析可以确定目标用户的提问内容，并根据提议内容确定目标用户的情绪指标，声纹特征分析则用于直接确定目标用户的情绪指标。之后，APP可以基于目标用户的情绪指标确定出客服机器人精灵对应回应的情绪指标，以按照客服机器人精灵的情绪指标对提问内容对应的回应内容进行情绪表达处理，以及确定客服机器人精灵对应其情绪指标的面部动画效果和肢体动画效果。
之后，APP将情绪表达处理的回应内容进行音频播放，并由客服机器人精灵配合做出相匹配的面部动画效果和肢体动画效果，从而让目标用户在感官上认为是与客服机器人精灵进行深度交互。由于人机交互过程中，客服机器人精灵在动作、表情和语音表达上均体现了一定程度的共情能力，因此亲切感更高，拉近了与目标用户之间的距离。
应理解，上述图2所示的客服机器人的应用场景仅用于示例性介绍。本说明书实施例的方法可以适用于任何人机交互的场景。比如，本说明书实施例的方法可以应用在多人竞答的场景中，当目标用户做出答题后(也就是进行人机交互的输入数据)，可以将目标用户回答正确性相关的虚拟交互动画显示在公共大屏上或者其他观看用户的终端设备上。
综上所述，本说明书实施例的方法通过人工智能技术模拟虚拟生命的主要特征，能够通过多模态与目标用户进行交互，具备视觉、听觉和语音等强大的感知能力，以及基于情绪推理分析所实现的共情表达能力。
以上是对本说明书实施例的方法的介绍。应理解，在不脱离本文上述原理基础之上，还可以进行适当的变化，这些变化也应视为本说明书实施例的保护范围。比如，本说明书实施例的方法可以通过捕捉目标用户的面部图像数据，分析目标用户对应的第一情绪指标。或者，也可以通过目标用户智能穿戴设备所检测到的心电数据，分析目标用户对应的第一情绪指标。
与上述图1所示的人机交互方法相对应地，本说明书实施例还提供一种基于虚拟生命的人机交互装置。图3是本说明书实施例的人机交互装置300的结构示意图，包括：
认知模块310，对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据。
输出模块320，向所述目标用户输出基于所述认知数据确定的目标回应内容.以及，
呈现模块330，播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
本说明书实施例的装置在人机交互过程中对用户进行感知分析，获得针对用户的认知数据，并基于认知数据进一步确定出针对用户的回应内容。同时，基于针对用户的认知数据和回应内容动态生成的包含虚拟生命形象的虚拟交互动画，以辅助人机交互。整个方案可以使虚拟机器人具有感知、推理分析、认知以及共情表达的能力，从而实现更真实自然的人机交互，可为用户带来更好的使用体验。
可选地，本说明书实施例的人机交互装置还包括：动画确定模块。所述动画确定模块在呈现模块330播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画前，执行：基于所述目标回应内容，生成基础虚拟交互动画，所述基础虚拟交互动画中包括具有基础动画效果的虚拟生命形象；基于针对所述目标用户的认知数据，生成附加虚拟交互动画，所述附加虚拟交互动画中包括附加动画效果的虚拟生命形象；对所述基础虚拟交互动画和所述附加虚拟交互动画进行合成，生成所述虚拟交互动画。
其中，上述针对目标用户的认知数据包括：所述反映目标用户情绪的第一情绪指标；对应地，呈现模块330基于针对所述目标用户的认知数据，生成附加虚拟交互动画，具体为：基于反映目标用户情绪的第一情绪指标，确定相匹配的第二情绪指标；以及，基于所述第二情绪指标，生成虚拟生命形象用于对所述目标用户进行情绪回应的附加动画效果。
可选地，上述基础之上，呈现模块330还可以生成所述回应内容的语音数据；基于所述第二情绪指标对所述目标回应内容的语音数据进行处理(比如：调整音频输出声调、音频输出音量、字与字之间的音频输出停顿时间等)，得到体现所述第二情绪指标的处理后语音数据；之后，向所述目标用户音频输出所述处理后语音数据。
可选地，动画确定模块基于所述目标回应内容，生成基础虚拟交互动画具体包括：基于预先针对回应用户所刻画的至少一种特征维度，对所述目标回应内容进行特征提取，得到所述目标回应内容的回应特征。将得到的所述目标回应内容的回应特征输入至预设的基础虚拟形象生成模型，得到所述基础虚拟交互动画；其中，所述基础虚拟形象生成模型是基于样本回应内容中的回应特征以及对所述样本回应内容标注的虚拟生命形象的基础动画效果所训练得到的，所述样本回应内容中的回应特征与从所述目标回应内容中提取到的回应特征具有相同的特征维度。
可选地，动画确定模块基于针对所述目标用户的认知数据，生成附加虚拟交互动画，具体包括：基于预先针对用户感知刻画的至少一种特征维度，对所述目标用户的认知数据进行特征提取，得到所述目标用户的认知特征；将得到的所述目标用户的认知特征输入至预设的附加虚拟形象生成模型，得到所述附加虚拟交互动画；其中，所述附加虚拟形象生成模型是基于样本用户的认知特征以及对所述样本用户标注的虚拟生命形象的基础动画效果所训练得到的，所述样本用户的认知特征与所述目标用户的认知特征具有相同的特征维度。
可选地，认知模块310对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据，具体包括：对进行人机交互的目标用户进行至少两种模态信息的感知分析，获得针对所述目标用户的关于所述至少两种模态信息的认知数据；其中，所述至少两种模态信息的感知分析包括：基于视觉信息的感知分析、基于听觉信息的感知分析、基于人机交互输入信息的感知分析中的至少一者。
综上所述，本说明书实施例的装置通过人工智能技术模拟生命的主要特征，能够以多模态与目标用户进行交互，具备视觉、听觉和语音等强大的感知能力，以及基于情绪推理分析所实现的共情表达能力。
显然，本说明书实施例的人机交互装置可以作为上述图1所示的人机交互方法的执行主体，因此能够实现人机交互方法在图1和图2所实现的功能。由于原理相同，本文不再赘述。
图4是本说明书的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述人机交互装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据。
向所述目标用户输出基于所述认知数据确定的目标回应内容。以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
本说明书实施例的电子设备在人机交互过程中对用户进行感知分析，获得针对用户的认知数据，并基于认知数据进一步确定出针对用户的回应内容。同时，基于针对用户的认知数据和回应内容动态生成的包含虚拟生命形象的虚拟交互动画，以辅助人机交互。整个方案可以使虚拟机器人具有感知、推理分析、认知以及共情表达的能力，从而实现更真实自然的人机交互，可为用户带来更好的使用体验。
上述如本说明书图1所示实施例揭示的人机交互方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
应理解，本说明书实施例的电子设备可以实现上述装置在图1和图2所示的实施例的功能，本文不再赘述。
当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
此外，本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下方法：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据。
向所述目标用户输出基于所述认知数据确定的目标回应内容。以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
应理解，上述指令当被包括多个应用程序的便携式电子设备执行时，能够使上文所述的人机交互方法装置实现图1和图2所示实施例的功能，本文不再赘述。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。此外，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

Claims (11)

1.一种基于虚拟生命的人机交互方法，包括：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
向所述目标用户输出基于所述认知数据确定的目标回应内容；以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
2.根据权利要求1所述的方法，
在播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画前，还包括：
基于所述目标回应内容，生成基础虚拟交互动画，所述基础虚拟交互动画中包括具有基础动画效果的虚拟生命形象；
基于针对所述目标用户的认知数据，生成附加虚拟交互动画，所述附加虚拟交互动画中包括附加动画效果的虚拟生命形象；
对所述基础虚拟交互动画和所述附加虚拟交互动画进行合成，生成所述虚拟交互动画。
3.根据权利要求2所述的方法，
针对所述目标用户的认知数据包括：反映目标用户情绪的第一情绪指标；
基于针对所述目标用户的认知数据，生成附加虚拟交互动画，包括：
基于反映目标用户情绪的第一情绪指标，确定相匹配的第二情绪指标；
基于所述第二情绪指标，生成虚拟生命形象用于对所述目标用户进行情绪回应的附加动画效果。
4.根据权利要求3所述的方法，
向所述目标用户输出基于所述认知数据确定的目标回应内容，包括：
生成所述目标回应内容的语音数据；
基于所述第二情绪指标对所述目标回应内容的语音数据进行处理，得到体现所述第二情绪指标的处理后语音数据；
向所述目标用户音频输出所述处理后语音数据。
5.根据权利要求4所述的方法，
基于所述第二情绪指标对所述目标回应内容的语音数据进行处理，包括：
基于所述第二情绪指标对所述目标回应内容的语音数据进行以下至少一者的调整：
音频输出声调、音频输出音量、字与字之间的音频输出停顿时间。
6.根据权利要求2所述的方法，
基于所述目标回应内容，生成基础虚拟交互动画，包括：
基于预先针对回应用户所刻画的至少一种特征维度，对所述目标回应内容进行特征提取，得到所述目标回应内容的回应特征；
将得到的所述目标回应内容的回应特征输入至预设的基础虚拟形象生成模型，得到所述基础虚拟交互动画；其中，所述基础虚拟形象生成模型是基于样本回应内容中的回应特征以及对所述样本回应内容标注的虚拟生命形象的基础动画效果所训练得到的，所述样本回应内容中的回应特征与从所述目标回应内容中提取到的回应特征具有相同的特征维度。
7.根据权利要求2所述的方法，
基于针对所述目标用户的认知数据，生成附加虚拟交互动画，包括：
基于预先针对用户感知刻画的至少一种特征维度，对所述目标用户的认知数据进行特征提取，得到所述目标用户的认知特征；
将得到的所述目标用户的认知特征输入至预设的附加虚拟形象生成模型，得到所述附加虚拟交互动画；
其中，所述附加虚拟形象生成模型是基于样本用户的认知特征以及对所述样本用户标注的虚拟生命形象的基础动画效果所训练得到的，所述样本用户的认知特征与所述目标用户的认知特征具有相同的特征维度。
8.根据权利要求1所述的方法，
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据，包括：
对进行人机交互的目标用户进行至少两种模态信息的感知分析，获得针对所述目标用户的关于所述至少两种模态信息的认知数据；
其中，所述至少两种模态信息的感知分析包括：基于视觉信息的感知分析、基于听觉信息的感知分析、基于人机交互输入信息的感知分析中的至少一者。
9.一种基于虚拟生命的人机交互装置，包括：
认知模块，对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
输出模块，向所述目标用户输出基于所述认知数据确定的目标回应内容；以及，
呈现模块，播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
10.一种电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
向所述目标用户输出基于所述认知数据确定的目标回应内容；以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
对进行人机交互的目标用户进行感知分析，获得针对所述目标用户的认知数据；
向所述目标用户输出基于所述认知数据确定的目标回应内容；以及
播放基于所述认知数据和所述目标回应内容动态生成的包含虚拟生命形象的虚拟交互动画，所述虚拟交互动画中的虚拟生命形象具有与针对所述目标用户进行人机交互匹配的动画效果。
CN202011009260.7A 2020-09-23 2020-09-23 一种基于虚拟生命的人机交互方法、装置及电子设备 Pending CN112182173A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011009260.7A CN112182173A (zh) 2020-09-23 2020-09-23 一种基于虚拟生命的人机交互方法、装置及电子设备
US17/361,117 US11455510B2 (en) 2020-09-23 2021-06-28 Virtual-life-based human-machine interaction methods, apparatuses, and electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011009260.7A CN112182173A (zh) 2020-09-23 2020-09-23 一种基于虚拟生命的人机交互方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN112182173A true CN112182173A (zh) 2021-01-05

Family

ID=73955972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011009260.7A Pending CN112182173A (zh) 2020-09-23 2020-09-23 一种基于虚拟生命的人机交互方法、装置及电子设备

Country Status (2)

Country Link
US (1) US11455510B2 (zh)
CN (1) CN112182173A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112959998A (zh) * 2021-03-19 2021-06-15 恒大新能源汽车投资控股集团有限公司 一种车载人机交互方法、装置、车辆及电子设备
CN114047901A (zh) * 2021-11-25 2022-02-15 阿里巴巴（中国）有限公司 人机交互方法及智能设备
CN114268747A (zh) * 2021-12-22 2022-04-01 建信金融科技有限责任公司 基于虚拟数字人的访谈业务处理方法及相关装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230395078A1 (en) * 2022-06-06 2023-12-07 Cerence Operating Company Emotion-aware voice assistant

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107294837A (zh) * 2017-05-22 2017-10-24 北京光年无限科技有限公司 采用虚拟机器人进行对话交互的方法和系统
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN107577661A (zh) * 2017-08-07 2018-01-12 北京光年无限科技有限公司 一种针对虚拟机器人的交互输出方法以及系统
CN108133259A (zh) * 2017-12-14 2018-06-08 深圳狗尾草智能科技有限公司 人工虚拟生命与外界交互的系统及方法
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
WO2019001127A1 (zh) * 2017-06-26 2019-01-03 迈吉客科技（北京）有限公司 基于虚拟人物的人工智能交互方法及人工智能交互装置
CN109271018A (zh) * 2018-08-21 2019-01-25 北京光年无限科技有限公司 基于虚拟人行为标准的交互方法及系统
CN109343695A (zh) * 2018-08-21 2019-02-15 北京光年无限科技有限公司 基于虚拟人行为标准的交互方法及系统
CN110211582A (zh) * 2019-05-31 2019-09-06 量子动力（深圳）计算机科技有限公司 一种实时交互智能数字虚拟人物表情驱动方法及系统
CN111145282A (zh) * 2019-12-12 2020-05-12 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质
CN111316203A (zh) * 2018-07-10 2020-06-19 微软技术许可有限责任公司 自动生成形象的动作

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195430B2 (en) * 2009-03-31 2012-06-05 Microsoft Corporation Cognitive agent
US10474877B2 (en) * 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
EP3529707A4 (en) * 2016-10-20 2020-08-05 RN Chidakashi Technologies Pvt. Ltd. EMOTIONALLY INTELLIGENT COMPANION DEVICE
US20180133900A1 (en) * 2016-11-15 2018-05-17 JIBO, Inc. Embodied dialog and embodied speech authoring tools for use with an expressive social robot
WO2019060889A1 (en) * 2017-09-25 2019-03-28 Ventana 3D, Llc ARTIFICIAL INTELLIGENCE (IA) CHARACTER SYSTEM CAPABLE OF NATURAL VERBAL AND VISUAL INTERACTIONS WITH A HUMAN BEING
US11443196B2 (en) * 2017-11-14 2022-09-13 International Business Machines Corporation Unified cognition for a virtual personal cognitive assistant when cognition is embodied across multiple embodied cognition object instances
US20180204107A1 (en) * 2018-03-14 2018-07-19 Christopher Allen Tucker Cognitive-emotional conversational interaction system
US10915814B2 (en) * 2018-04-19 2021-02-09 Kinoo, Inc. Systems and methods for time-sharing interactions using a shared artificial intelligence personality
US10762414B1 (en) * 2018-04-19 2020-09-01 Kinoo, Inc. Systems and methods for sharing an artificial intelligence personality
CN110522983B (zh) * 2018-05-23 2023-06-23 深圳先进技术研究院 基于人工智能的脑刺激系统、方法、设备和存储介质
US20200226483A1 (en) * 2019-01-16 2020-07-16 International Business Machines Corporation Promoting reflective engagement with ranked alternatives produced by an artificial intelligence system
US20200234181A1 (en) * 2019-01-22 2020-07-23 International Business Machines Corporation Implementing training of a machine learning model for embodied conversational agent

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107294837A (zh) * 2017-05-22 2017-10-24 北京光年无限科技有限公司 采用虚拟机器人进行对话交互的方法和系统
CN107329990A (zh) * 2017-06-06 2017-11-07 北京光年无限科技有限公司 一种用于虚拟机器人的情绪输出方法以及对话交互系统
WO2019001127A1 (zh) * 2017-06-26 2019-01-03 迈吉客科技（北京）有限公司 基于虚拟人物的人工智能交互方法及人工智能交互装置
CN107577661A (zh) * 2017-08-07 2018-01-12 北京光年无限科技有限公司 一种针对虚拟机器人的交互输出方法以及系统
CN108133259A (zh) * 2017-12-14 2018-06-08 深圳狗尾草智能科技有限公司 人工虚拟生命与外界交互的系统及方法
CN108510437A (zh) * 2018-04-04 2018-09-07 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN111316203A (zh) * 2018-07-10 2020-06-19 微软技术许可有限责任公司 自动生成形象的动作
CN109271018A (zh) * 2018-08-21 2019-01-25 北京光年无限科技有限公司 基于虚拟人行为标准的交互方法及系统
CN109343695A (zh) * 2018-08-21 2019-02-15 北京光年无限科技有限公司 基于虚拟人行为标准的交互方法及系统
CN110211582A (zh) * 2019-05-31 2019-09-06 量子动力（深圳）计算机科技有限公司 一种实时交互智能数字虚拟人物表情驱动方法及系统
CN111145282A (zh) * 2019-12-12 2020-05-12 科大讯飞股份有限公司 虚拟形象合成方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨建辉;刘箴;陈浩;: "基于深度相机的自主虚拟化身情感交互技术", 计算机工程, no. 06, 15 June 2016 (2016-06-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112959998A (zh) * 2021-03-19 2021-06-15 恒大新能源汽车投资控股集团有限公司 一种车载人机交互方法、装置、车辆及电子设备
CN114047901A (zh) * 2021-11-25 2022-02-15 阿里巴巴（中国）有限公司 人机交互方法及智能设备
CN114047901B (zh) * 2021-11-25 2024-03-15 阿里巴巴（中国）有限公司 人机交互方法及智能设备
CN114268747A (zh) * 2021-12-22 2022-04-01 建信金融科技有限责任公司 基于虚拟数字人的访谈业务处理方法及相关装置

Also Published As

Publication number Publication date
US20220092378A1 (en) 2022-03-24
US11455510B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110688911B (zh) 视频处理方法、装置、系统、终端设备及存储介质
CN110647636B (zh) 交互方法、装置、终端设备及存储介质
CN110807388B (zh) 交互方法、装置、终端设备及存储介质
CN110941954B (zh) 文本播报方法、装置、电子设备及存储介质
CN112182173A (zh) 一种基于虚拟生命的人机交互方法、装置及电子设备
US20230042654A1 (en) Action synchronization for target object
CN112669417B (zh) 虚拟形象的生成方法、装置、存储介质及电子设备
CN108942919B (zh) 一种基于虚拟人的交互方法及系统
CN110418095B (zh) 虚拟场景的处理方法、装置、电子设备及存储介质
EP4054161A1 (en) Call control method and related product
CN109086860B (zh) 一种基于虚拟人的交互方法及系统
CN110598576A (zh) 一种手语交互方法、装置及计算机介质
WO2022170848A1 (zh) 人机交互方法、装置、系统、电子设备以及计算机介质
US10783884B2 (en) Electronic device-awakening method and apparatus, device and computer-readable storage medium
CN110808038B (zh) 普通话评测方法、装置、设备及存储介质
CN110992222A (zh) 教学交互方法、装置、终端设备及存储介质
CN110826441A (zh) 交互方法、装置、终端设备及存储介质
CN112652041B (zh) 虚拟形象的生成方法、装置、存储介质及电子设备
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及系统
CN110825164A (zh) 基于儿童专用穿戴智能设备的交互方法及系统
CN108304434B (zh) 信息反馈方法和终端设备
CN110349577B (zh) 人机交互方法、装置、存储介质及电子设备
CN110309470A (zh) 一种基于空气成像的虚拟新闻主播系统及其实现方法
CN112364478A (zh) 基于虚拟现实的测试方法及相关装置
US20220301250A1 (en) Avatar-based interaction service method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043461

Country of ref document: HK