CN110174942A - 眼动合成方法及装置 - Google Patents

眼动合成方法及装置 Download PDF

Info

Publication number
CN110174942A
CN110174942A CN201910365222.6A CN201910365222A CN110174942A CN 110174942 A CN110174942 A CN 110174942A CN 201910365222 A CN201910365222 A CN 201910365222A CN 110174942 A CN110174942 A CN 110174942A
Authority
CN
China
Prior art keywords
eye movement
data
characteristics data
speech
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910365222.6A
Other languages
English (en)
Other versions
CN110174942B (zh
Inventor
陆峰
李承坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201910365222.6A priority Critical patent/CN110174942B/zh
Publication of CN110174942A publication Critical patent/CN110174942A/zh
Priority to US16/725,634 priority patent/US10970909B2/en
Application granted granted Critical
Publication of CN110174942B publication Critical patent/CN110174942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种眼动合成方法及装置，该方法包括：获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据。根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。根据言语输入数据与驱动模型，合成虚拟人的眼动行为，并控制虚拟人表现出合成后的眼动。本实施例通过根据眼动特征数据与言语特征数据使得虚拟人表现出与语音数据相对应的眼动，从而提高交互的真实感。

Description

眼动合成方法及装置
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种眼动合成方法及装置。
背景技术
随着虚拟现实技术与人机交互技术的快速发展，虚拟人的应用已经延伸到各个领域，其中虚拟人的眼动能够有效提供用户与虚拟人之间自然的交互。
目前，现有技术在实现虚拟人的眼动时，通常是通过构建堆叠沙漏网络和稠密网络，从而进行视线估计以得到视线方向，其次根据视线方向控制虚拟人的眼动。
然而，现有技术中虚拟人的眼动无法与虚拟人的语音数据相对应，导致虚拟人的眼动生硬，缺乏真实性。
发明内容
本发明实施例提供一种眼动合成方法及装置，以克服虚拟人的眼动行为生硬，缺乏真实性的问题。
第一方面，本发明实施例提供一种眼动合成方法，包括：
获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；
根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；
根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。
在一种可能的设计中，所述根据所述眼动特征数据与所述言语特征数据，得到驱动模型，包括：
对所述眼动特征数据与所述言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；
将所述数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；
根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。
在一种可能的设计中，所述时间序列包括多个时间点，所述根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型，包括：
将各所述时间点的眼动特征数据言语特征数据输入预设处理模型，得到各所述时间点的眼动特征数据与言语特征数据的关联关系，其中，所述预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；
根据各所述时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。
在一种可能的设计中，所述获取眼动特征数据与言语特征数据，包括：
获取自然状态下的眼动数据与言语数据，其中所述眼动数据与言语数据在时间序列上相对应；
对所述眼动数据以及所述言语数据分别进行处理，获取眼动特征数据与言语特征数据。
在一种可能的设计中，所述眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作；
所述言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。
在一种可能的设计中，所述根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，包括：
将言语输入数据输入所述驱动模型，得到所述驱动模型输出的眼动行为数据，其中，所述眼动行为数据为指示眼动行为的数据；
根据所述眼动行为数据，合成所述虚拟人的眼动。
在一种可能的设计中，所述得到所述驱动模型输出的眼动行为数据之后，所述方法还包括：
将驱动模型输出的所述眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，所述心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或
将驱动模型输出的所述眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，所述时域矫正模型为用于使得眼动行为在时域上连续的模型。
第二方面，本发明实施例提供一种眼动合成装置，包括：
获取模块，用于获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；
模型模块，用于根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；
合成模块，拥有根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。
在一种可能的设计中，所述模型模块具体用于：
对所述眼动特征数据与所述言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；
将所述数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；
根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。
在一种可能的设计中，所述模型模块具体用于：
将各所述时间点的眼动特征数据言语特征数据输入预设处理模型，得到各所述时间点的眼动特征数据与言语特征数据的关联关系，其中，所述预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；
根据各所述时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。
在一种可能的设计中，所述获取模块，具体用于：
获取自然状态下的眼动数据与言语数据，其中所述眼动数据与言语数据在时间序列上相对应；
对所述眼动数据以及所述言语数据分别进行处理，获取眼动特征数据与言语特征数据。
在一种可能的设计中，所述眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作；
所述言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。
在一种可能的设计中，所述合成模块具体用于：
将言语输入数据输入所述驱动模型，得到所述驱动模型输出的眼动行为数据，其中，所述眼动行为数据为指示眼动行为的数据；
根据所述眼动行为数据，合成所述虚拟人的眼动。
在一种可能的设计中，还包括：矫正模块；
所述矫正模块，具体用于：所述得到所述驱动模型输出的眼动行为数据之后，将驱动模型输出的所述眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，所述心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或
将驱动模型输出的所述眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，所述时域矫正模型为用于使得眼动行为在时域上连续的模型。
第三方面，本发明实施例提供一种眼动合成设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
本发明实施例提供一种眼动合成方法及装置，该方法包括：获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据。根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。根据言语输入数据与驱动模型，合成虚拟人的眼动，并控制虚拟人表现出合成后的眼动。通过根据眼动特征数据与言语特征数据之间的关联关系构建驱动模型，能够使得虚拟人表现出与语音数据相对应的眼动数据，从而避免虚拟人的眼动行为生硬，提高交互的真实感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的眼动合成方法的系统示意图；
图2为本发明实施例提供的眼动合成方法的流程图一；
图3为本发明实施例提供的眼动合成方法的流程图二；
图4为本发明实施例提供的眼动合成装置的结构示意图一；
图5为本发明实施例提供的眼动合成装置的结构示意图二；
图6为本发明实施例提供的眼动合成设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的眼动合成方法的系统示意图。如图1所示，该系统包括：终端设备101以及虚拟人102。
在本发明中，终端设备101可以是移动终端(Mobile Terminal)或移动用户设备等，上述终端设备可以经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信。其中，移动终端，如移动电话(或称为“蜂窝”电话)、车载处理装置或具有可移动性的计算机等，可移动性的计算机例如，便携式计算机、袖珍式计算机、手持式计算机、外设广告投屏，承载处理器的虚拟现实眼睛等。
其次，虚拟人102是指通过数字模拟技术实现的虚拟人物，通过终端设备101的屏幕进行显示，其中虚拟人102可以模仿人类的动作，如说话、眨眼、微笑等，虚拟人的外观可以与人类相似，也可以设置为任意非人类的外观，此处对虚拟人102的具体设计以及其具体功能均不做限定。
在本实施例中，虚拟人102至少包括眼动行为，具体的，用户通过终端设备与虚拟人进行交互，其中交互的方式例如可以为通过语音交互，还例如可以为通过鼠标、键盘等外设设备进行交互等，本实施例对此不作限制。
现有技术在实现虚拟人的眼动行为时，通常是通过视线估计以得到视线方向，其次根据视线方向控制虚拟人的眼动行为，其实现的虚拟人的眼动行为无法与语音相结合，从而导致虚拟人的眼动行为生硬，缺乏灵活性。
基于上述问题，本发明提供了一种眼动合成方法，下面结合具体的实施例对本发明提供的眼动合成方法进行详细介绍，首先结合图2进行说明。
图2为本发明实施例提供的眼动合成方法的流程图一。如图2所示，该方法包括：
S201、获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据。
其中，眼动行为是指眼睛的动作行为，例如可以包括眨眼、视线移动、瞳孔变化等眼睛相关的动作行为，本领域技术人员可以理解，与眼睛有关的任何动作行为都可以是本实施例中的眼动行为。
进一步地，眼动特征数据为反映眼动行为的数据，例如眼动特征数据可以包括眼动的直观数据，如瞳孔直径，还可以包括眼动的注视指标，如视线的注视点、注视时长，还可以包括眼动的动态指标，如眼球转动速度、转动轨迹等，其中眼动特征数据的具体设置可以根据实际需求进行设定，凡是可以用于描述眼动行为的数据都属于眼动特征数据，此处对此不作限定。
其中，言语特征数据为反映语音特征的数据，例如可以包括语音对应的语音内容、语法结构、语调等，凡是可以用于描述语音特征的数据都可以认为是言语特征数据，其具体实现方式可以根据实际需求进行选择，本实施例对言语特征数据不作限定。
在一种可能的实现方式中，例如可以通过采集真实用户在自然状态下的图像数据与对应的语音数据，其次从图像数据中分析眼动数据从而获取眼动特征数据，以及从语音数据中分析言语数据从而获取言语特征数据，其中分析的方式例如可以为自动眼动追踪算法、语音识别等，本实施例对具体的分析方式不作限定。
在另一种可能的实现方式中，例如可以通过网络资源直接获取虚拟人的眼动特征数据与言语特征数据等，本实施例对获取眼动特征数据与言语特征数据的实现方式不做特别限制。
S202、根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。
在本实施例中，为实现在虚拟人说话时，根据说话对应的语音数据表现出对应的眼动行为，需要首先确定眼动行为与语音行为之间的关联关系。
具体的，根据眼动特征数据与言语特征数据，得到用于指示眼动特征数据与言语特征数据之间的关联关系的驱动模型，其中构建驱动模型的具体实现方式例如可以为采用机器学习算法对眼动特征数据与言语特征数据进行处理，从而分析其中的关联关系，其中关联关系例如在语音内容是说谎时视线方向向下，或者在语音情绪为惊恐时瞳孔直径增加等
或者，可以采用数据挖掘算法挖掘其中的关联关系，从而得到驱动模型等，本领域技术人员可以理解，只要能够处理得到眼动特征数据与言语特征数据之间的关联关系即可，其具体的处理方式可以根据需求进行选择，本实施例对得到驱动模型的具体实现方式不做限定。
S203、根据言语输入数据与驱动模型，合成虚拟人的眼动行为，并控制虚拟人表现出合成后的眼动。
具体的，将言语输入数据作为驱动模型的输入，从而言语输入数据对应的眼动行为数据，其次根据眼动行为数据合成虚拟人需要表现出的眼动，最终控制虚拟人表现出根据言语输入数据合成后的眼动。
其中，言语输入数据可以为虚拟人的语音数据，例如虚拟人需要根据自身的语音内容表现出对应的眼动，如虚拟人当前的语音内容在说谎，则可以对应表现出视线方向飘忽的眼动。
或者，言语输入数据还可以为用户输入的语音数据，例如虚拟人需要根据用户的语音输入表现出对应的眼动，如用户的语音内容在斥责虚拟人时，虚拟人可以表现出害怕的眼动等。
本发明实施例提供的眼动合成方法，包括：获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据。根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。根据言语输入数据与驱动模型，合成虚拟人的眼动，并控制虚拟人表现出合成后的眼动。通过根据眼动特征数据与言语特征数据之间的关联关系构建驱动模型，能够使得虚拟人表现出与语音数据相对应的眼动，从而避免虚拟人的眼动生硬，提高交互的真实感。
在上述实施例的基础上，下面结合具体的实施例对图1所示的实施例的技术方案进行进一步地详细说明，结合图3进行介绍，图3为本发明实施例提供的眼动合成方法的流程图二。如图3所示，该方法包括：
S301、获取自然状态下的眼动数据与言语数据，其中眼动数据与言语数据在时间序列上相对应。
其中，自然状态下是用户在进行自然对话时的状态，在一种可能的实现方式中，可以通过第一人称角度或者第三人称角度的图像采集设备获取用户的图像数据，其中用户的图像数据例如可以为照片，还例如可以为视频等，本实施例对此不作限定。
其次，根据用户的图像数据获取用户的眼动数据，其中眼动数据例如可以为用户眼部状态的照片，还例如可以为用户眼部动作的视频等，其中图像采集设备例如可以为摄像机、智能手机、照相机、摄像头等，本实施例对获取眼动数据的实现方式不作限定。
进一步地，例如可以为通过声音采集设备获取言语数据，其中声音采集设备例如可以包括智能手机、录音机、录音笔等，但是能够用于采集声音的设备均可以用于获取言语数据。
在本实施例中，为获取眼动数据与言语数据之间的关联关系，因此需要确定在用户说出某言语数据时，其对应的眼动数据的状态，具体的，本实施例中获取的眼动数据与言语数据在时间序列上是相对应的。
假设当前通过摄像机获取了10分钟的用户的言语数据，对应的，同样获取了10分钟的用户的眼动数据，在该10分钟内，每一时间节点的眼动数据均有其对应的言语数据。
在一种可选的实现方式中，还可以通过网络资源直接获取用户的眼动数据与言语数据，而不需要现场采集，以降低操作难度。
S302、对眼动数据以及言语数据分别进行处理，获取眼动特征数据与言语特征数据。
其次，对眼动数据进行处理，从而获取眼动特征数据，其中眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作。
具体的，例如可以通过自动眼动追踪算法或者半自动眼动追踪算法获取视线注视点、视线注视时长等，还例如可以通过人工眼动标注获取通过眼球转动速度、眼球转动轨迹、眼球转动模式等，本实施例对具体处理所采用的算法不作限定，在实际实现过程中，可以选用任意有效的算法实现获取眼动特征数据。
可选的，鉴于单一的眼动特征数据是短暂的，可以通过分析时域上连续的眼动特征数据，以及结合眼动特征数据的上下文信息，从而获取眼动特征数据的时序性信息，其中眼动特征数据的时序性信息例如可以为视线方向，还例如可以为视线轨迹等，此处对此不做限定，通过获取眼动特征数据的时序性信息能够提高眼动行为的整体性与连续性。
以及本实施例中，对言语数据进行处理以获取言语特征数据，其中言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。
具体的，例如可以通过语音识别从而获取语音内容，还例如可以通过分词算法从而获取语法结构，还可以采用手动标注以获取语音数据的语音情绪等，本实施例对言语数据处理的具体实现方式不作特别限定，其具体实现可以根据需求进行选择，只要能够获取反映语音特征的数据即可。
S303、对眼动特征数据与言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据。
进一步地，将眼动特征数据与言语特征数据分别处理为数据格式相同的数据，其中数据格式是是描述数据保存的规则，例如可以为整形、布尔型等基本数据格式，还例如可以为可扩展标记语言(Extensible Markup Language，XML)、JSON等数据格式，本实施例对数据格式不作限定，只要眼动特征数据与言语特征数据采用相同的数据格式即可。
在可选的实施例中，标准化处理还可以包括眼动特征数据与言语特征数据的数据大小的归一化处理，或者数据单位的统一处理等，本领域技术人员可以理解，凡是为提高数据处理效率而进行的使得眼动特征数据和言语特征数据在格式、存储方式、单位等方面统一的处理均可以认为是标准化处理，其具体实现方式可以根据实际需求进行选择，本实施例对此不作限定。
通过将眼动特征数据与言语特征数据处理为数据格式相同的数据，可以提升数据处理的效率。
S304、将数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据。
在本实施例中，眼动数据与言语数据在时间序列上是相对应的，则眼动特征数据与言语特征数据同样能够按照时间序列进行对应，例如可以以帧为单位进行数据对齐，从而确定每一帧的眼动特征数据以及对应的言语特征数据。
可选的，还可以以时间的毫秒为单位，将眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐等，本实施例对具体的实现方式不作限定，只要能够保证眼动特征数据与言语特征数据在时间序列上的对应关系即可。
通过按照时间序列进行数据对齐，从而能够快速获取眼动特征数据与言语特征数据之间的关联关系，以提升数据处理的准确性和效率。
S305、根据时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。
进一步地，本实施例中，时间序列包括多个时间点，其中一个时间点例如可以为一帧图像对应的时间点，还例如可以为预设时间单位(如毫秒)对应的时间点。
其次，将各时间点的眼动特征数据言语特征数据输入预设处理模型，得到各时间点的眼动特征数据与言语特征数据的关联关系，其中，预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型，例如可以为机器学习算法，或者任意有效的数据挖掘算法等，此处对此不作限定。
进一步地，根据各时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型，其中驱动模型中包含各眼动特征数据与言语特征数据之间的关联关系。
S306、将言语输入数据输入驱动模型，得到驱动模型输出的眼动行为数据，其中，眼动行为数据为指示眼动行为的数据。
S307、根据眼动行为数据，合成虚拟人的眼动。
其次，将言语输入数据输入驱动模型，以得到驱动模型输出的眼动行为数据，眼动行为数据用于指示虚拟人的眼动，例如可以用于指示瞳孔直径至预设放大直径，或者指示视线方向缓慢向下等。
根据眼动行为数据的具体指示信息，合成虚拟人的眼动，其中眼动行为数据为根据言语输入数据与驱动模型得到的，因此虚拟人能够表现出与语音数据对应的眼动。
本发明实施例提供的眼动合成方法，包括：获取自然状态下的眼动数据与言语数据，其中眼动数据与言语数据在时间序列上相对应。对眼动数据以及言语数据分别进行处理，获取眼动特征数据与言语特征数据。对眼动特征数据与言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据。将数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据。根据时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系。将言语输入数据输入驱动模型，得到驱动模型输出的眼动行为数据，其中，眼动行为数据为指示眼动行为的数据。根据眼动行为数据，合成虚拟人的眼动。通过将眼动特征数据以及言语特征数据进行标准化处理以及数据对齐，能够有效提升数据处理效率以准确率，其次根据言语输入数据与驱动模型，得到用于指示虚拟人的眼动行为的眼动行为数据，从而按照眼动行为数据合成虚拟人需要表现出的眼动，以使得机器人根据语音内容表现出对应的眼动，提升交互的自然性，提升用户体验。
在上述实施例的基础上，本发明实施例提供的眼动合成方法在得到驱动模型输出的眼动行为数据之后，还能够对眼动行为数据进行进一步矫正，以提升眼动行为的正确性，下面结合具体的实施例进行说明。
将驱动模型输出的眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或
将驱动模型输出的眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，时域矫正模型为用于使得眼动行为在时域上连续的模型。
首先对仅对眼动行为数据进行心理矫正的实现方式进行说明，具体的，例如存在在自然环境下用户会避免长时间的对视的心理行为，又例如存在用户在说谎话时视线方向会朝向特定方向等心理行为，根据多个心理行为构建多个心理矫正模型，对驱动模型输出的眼动行为数据进行心理矫正，从而使得输出的眼动行为数据更加符合真实情况下的眼动行为数据。
本领域技术人员可以理解，具体的心理行为可以根据实际需求进行设计以及选择，本实施例对此不作特别限制。
其中，例如可以按照预设周期对多帧眼动数据一次进行心理矫正，或者可以实时对驱动模型输出的眼动行为数据进行心理矫正等，此处对此不作限定。
其次对仅对眼动行为数据进行时域矫正的实现方式进行说明，具体的，驱动模型输出的眼动行为数据指示了单个时间点的眼动行为，其时域上是离散的，在时域上无法连续则会导致虚拟人的眼动行为存在不自然的跳动。
基于此，本实施例将将驱动模型输出的眼动行为数据输入时域矫正模型，以得到时域连续的眼动行为数据，其中，时域矫正模型为用于使得眼动行为在时域上连续的模型，可以为根据关注热力图以及人眼运动方式构建时域矫正模型，其中关注热力图反映了自然状态下视线方向在场景中不同区域的关注概率，而人眼运动方式反映了人眼在自然状态下如何实现方向如何移动。
可选的，还可以采用采集的眼动数据构建时域矫正模型等，本实施例对此不作限定，只要时域矫正模型能够根据离散的眼动行为数据得到连续的实现轨迹即可。
进一步地，当同时进行心理矫正与时域矫正时，例如可以首先将驱动模型输出的眼动行为数据输入心理矫正模型，其次再将心理矫正后的眼动行为数据输入时域矫正模型，以得到心理矫正和时域连续的眼动行为数据，其处理顺序也可以相反，即首先进行时域连续矫正，其次再进行心理矫正等，其中时域连续矫正与心理矫正的具体实现方式与上述介绍的类似，此处不再赘述。
本发明实施例提供的眼动合成方法，包括将驱动模型输出的眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或将驱动模型输出的眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，时域矫正模型为用于使得眼动行为在时域上连续的模型。通过对驱动模型输出的眼动行为进行心理矫正，能够使得虚拟人的眼动更加符合真实场景下的眼动，以提升其交互的自然性，以及通过对驱动模型输出的眼动进行时域连续性处理，能够避免虚拟人的眼动存在不自然的跳动，提高其眼动的连续性。
图4为本发明实施例提供的眼动合成装置的结构示意图一。如图4所示，该装置40包括：获取模块401、模型模块402以及合成模块403。
获取模块401，用于获取眼动特征数据与言语特征数据，其中，眼动特征数据为反映眼动行为的数据，言语特征数据为反映语音特征的数据；
模型模块402，用于根据眼动特征数据与言语特征数据，得到驱动模型，其中，驱动模型用于指示眼动特征数据与言语特征数据之间的关联关系；
合成模块403，拥有根据言语输入数据与驱动模型，合成虚拟人的眼动，并控制虚拟人表现出合成后的眼动。
可选的，模型模块402具体用于：
对眼动特征数据与言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；
将数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；
根据时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。
可选的，模型模块402具体用于：
将各时间点的眼动特征数据言语特征数据输入预设处理模型，得到各时间点的眼动特征数据与言语特征数据的关联关系，其中，预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；
根据各时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。
可选的，获取模块401，具体用于：
获取自然状态下的眼动数据与言语数据，其中眼动数据与言语数据在时间序列上相对应；
对眼动数据以及言语数据分别进行处理，获取眼动特征数据与言语特征数据。
可选的，眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作；
言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。
可选的，合成模块403具体用于：
将言语输入数据输入驱动模型，得到驱动模型输出的眼动行为数据，其中，眼动行为数据为指示眼动行为的数据；
根据眼动行为数据，合成虚拟人的眼动，并控制虚拟人表现出合成后的眼动。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图5为本发明实施例提供的眼动合成装置的结构示意图二。如图5所示，本实施例在图4实施例的基础上，还包括：矫正模块504。
可选的，矫正模块504，具体用于：得到驱动模型输出的眼动行为数据之后，将驱动模型输出的眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或
将驱动模型输出的眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，时域矫正模型为用于使得眼动行为在时域上连续的模型。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图6为本发明实施例提供的眼动合成设备的硬件结构示意图，如图6所示，本实施例的眼动合成设备60包括：处理器601以及存储器602；其中
存储器602，用于存储计算机执行指令；
处理器601，用于执行存储器存储的计算机执行指令，以实现上述实施例中眼动合成方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器602既可以是独立的，也可以跟处理器601集成在一起。
当存储器602独立设置时，该眼动合成设备还包括总线603，用于连接所述存储器602和处理器601。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上眼动合成设备所执行的眼动合成方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种眼动合成方法，其特征在于，包括：
获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；
根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；
根据言语输入数据与所述驱动模型，合成虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。
2.根据权利要求1所述的方法，其特征在于，所述根据所述眼动特征数据与所述言语特征数据，得到驱动模型，包括：
对所述眼动特征数据与所述言语特征数据分别进行标准化处理，得到数据格式相同的眼动特征数据与言语特征数据；
将所述数据格式相同的眼动特征数据与言语特征数据按照其对应的时间序列进行数据对齐，得到时间序列对齐的眼动特征数据与言语特征数据；
根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型。
3.根据权利要求2所述的方法，其特征在于，所述时间序列包括多个时间点，所述根据所述时间序列对齐的眼动特征数据与言语特征数据，得到驱动模型，包括：
将各所述时间点的眼动特征数据言语特征数据输入预设处理模型，得到各所述时间点的眼动特征数据与言语特征数据的关联关系，其中，所述预设处理模型为用于获取眼动特征数据与言语特征数据的关联关系的处理模型；
根据各所述时间点的眼动特征数据与言语特征数据关联关系，得到驱动模型。
4.根据权利要求1所述的方法，其特征在于，所述获取眼动特征数据与言语特征数据，包括：
获取自然状态下的眼动数据与言语数据，其中所述眼动数据与言语数据在时间序列上相对应；
对所述眼动数据以及所述言语数据分别进行处理，获取眼动特征数据与言语特征数据。
5.根据权利要求1所述的方法，其特征在于，所述眼动特征数据包括如下中的至少一种：瞳孔直径、视线注视点、视线注视时长、视线方向、眼球转动速度、眼球转动轨迹、眼球转动模式、眨眼动作；
所述言语特征数据包括如下中的至少一种：语音内容、语法结构、语音情绪、音素、韵律、语调。
6.根据权利要求1所述的方法，其特征在于，所述根据言语输入数据与所述驱动模型，合成所述虚拟人的眼动，包括：
将言语输入数据输入所述驱动模型，得到所述驱动模型输出的眼动行为数据，其中，所述眼动行为数据为指示眼动行为的数据；
根据所述眼动行为数据，合成所述虚拟人的眼动。
7.根据权利要求6所述的方法，其特征在于，所述得到所述驱动模型输出的眼动行为数据之后，所述方法还包括：
将驱动模型输出的所述眼动行为数据输入心理矫正模型，得到心理矫正后的眼动行为数据，其中，所述心理矫正模型为用于矫正心理行为对眼动行为的影响的模型；和/或
将驱动模型输出的所述眼动行为数据输入时域矫正模型，得到时域连续的眼动行为数据，其中，所述时域矫正模型为用于使得眼动行为在时域上连续的模型。
8.一种眼动合成装置，其特征在于，包括：
获取模块，用于获取眼动特征数据与言语特征数据，其中，所述眼动特征数据为反映眼动行为的数据，所述言语特征数据为反映语音特征的数据；
模型模块，用于根据所述眼动特征数据与所述言语特征数据，得到驱动模型，其中，所述驱动模型用于指示所述眼动特征数据与所述言语特征数据之间的关联关系；
合成模块，拥有根据言语输入数据与所述驱动模型，合成虚拟人的眼动，并控制所述虚拟人表现出合成后的眼动。
9.一种眼动合成设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一所述的方法。
CN201910365222.6A 2019-04-30 2019-04-30 眼动合成方法及装置 Active CN110174942B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910365222.6A CN110174942B (zh) 2019-04-30 2019-04-30 眼动合成方法及装置
US16/725,634 US10970909B2 (en) 2019-04-30 2019-12-23 Method and apparatus for eye movement synthesis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910365222.6A CN110174942B (zh) 2019-04-30 2019-04-30 眼动合成方法及装置

Publications (2)

Publication Number Publication Date
CN110174942A true CN110174942A (zh) 2019-08-27
CN110174942B CN110174942B (zh) 2021-01-19

Family

ID=67690411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910365222.6A Active CN110174942B (zh) 2019-04-30 2019-04-30 眼动合成方法及装置

Country Status (2)

Country Link
US (1) US10970909B2 (zh)
CN (1) CN110174942B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669417A (zh) * 2020-12-18 2021-04-16 北京大米科技有限公司 虚拟形象的生成方法、装置、存储介质及电子设备
CN113689880A (zh) * 2020-05-18 2021-11-23 北京搜狗科技发展有限公司 实时驱动虚拟人的方法、装置、电子设备及介质
CN114648805A (zh) * 2022-05-18 2022-06-21 华中科技大学 课程视频视线修正模型及其训练方法、视线落点估计方法
CN117216419A (zh) * 2023-11-08 2023-12-12 江西为易科技有限公司 基于ai技术的数据分析方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11557171B2 (en) * 2020-07-02 2023-01-17 Kutt, Inc. System, method, and non-transitory computer readable medium for peer-to-peer wagering
CN116704080B (zh) * 2023-08-04 2024-01-30 腾讯科技（深圳）有限公司 眨眼动画生成方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419499A (zh) * 2008-11-14 2009-04-29 东南大学 基于摄像头和话筒的多媒体人机交互方法
CN102129343A (zh) * 2010-01-15 2011-07-20 微软公司 运动捕捉系统中的受指导的表演
CN103218842A (zh) * 2013-03-12 2013-07-24 西南交通大学 一种语音同步驱动三维人脸口型与面部姿势动画的方法
US20140055554A1 (en) * 2011-12-29 2014-02-27 Yangzhou Du System and method for communication using interactive avatar
CN206426108U (zh) * 2016-12-22 2017-08-22 深圳市智能机器人研究院 一种智能画像机器人

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224652B2 (en) * 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US9134816B2 (en) * 2009-11-11 2015-09-15 Erik Dahlkvist Method for using virtual facial and bodily expressions
US10325396B2 (en) * 2017-02-14 2019-06-18 Linden Research, Inc. Virtual reality presentation of eye movement and eye contact

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419499A (zh) * 2008-11-14 2009-04-29 东南大学 基于摄像头和话筒的多媒体人机交互方法
CN102129343A (zh) * 2010-01-15 2011-07-20 微软公司 运动捕捉系统中的受指导的表演
US20140055554A1 (en) * 2011-12-29 2014-02-27 Yangzhou Du System and method for communication using interactive avatar
CN103218842A (zh) * 2013-03-12 2013-07-24 西南交通大学 一种语音同步驱动三维人脸口型与面部姿势动画的方法
CN206426108U (zh) * 2016-12-22 2017-08-22 深圳市智能机器人研究院 一种智能画像机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAHARDHIKA 等: "Eye, Lip And Crying Expression For Virtual Human", 《INTERNATIONAL JOURNAL OF INTERACTIVE DIGITAL MEDIA》 *
位雪岭 等: "具有真实感的情绪化虚拟人研究", 《计算机应用研究》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689880A (zh) * 2020-05-18 2021-11-23 北京搜狗科技发展有限公司 实时驱动虚拟人的方法、装置、电子设备及介质
CN113689880B (zh) * 2020-05-18 2024-05-28 北京搜狗科技发展有限公司 实时驱动虚拟人的方法、装置、电子设备及介质
CN112669417A (zh) * 2020-12-18 2021-04-16 北京大米科技有限公司 虚拟形象的生成方法、装置、存储介质及电子设备
CN112669417B (zh) * 2020-12-18 2024-04-16 北京大米科技有限公司 虚拟形象的生成方法、装置、存储介质及电子设备
CN114648805A (zh) * 2022-05-18 2022-06-21 华中科技大学 课程视频视线修正模型及其训练方法、视线落点估计方法
CN117216419A (zh) * 2023-11-08 2023-12-12 江西为易科技有限公司 基于ai技术的数据分析方法
CN117216419B (zh) * 2023-11-08 2024-02-09 江西为易科技有限公司 基于ai技术的数据分析方法

Also Published As

Publication number Publication date
CN110174942B (zh) 2021-01-19
US10970909B2 (en) 2021-04-06
US20200349750A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
CN110174942A (zh) 眼动合成方法及装置
CN108597492B (zh) 语音合成方法和装置
WO2022116977A1 (zh) 目标对象的动作驱动方法、装置、设备及存储介质及计算机程序产品
CN108010112B (zh) 动画处理方法、装置及存储介质
CN110475069B (zh) 图像的拍摄方法及装置
US20230082830A1 (en) Method and apparatus for driving digital human, and electronic device
CN113421547B (zh) 一种语音处理方法及相关设备
CN105224073A (zh) 一种基于语音控制的点读手表及其点读方法
CN207408959U (zh) 具有文本及语音处理功能的混合现实智能眼镜
CN113516990B (zh) 一种语音增强方法、训练神经网络的方法以及相关设备
WO2023284435A1 (zh) 生成动画的方法及装置
CN109784128A (zh) 具有文本及语音处理功能的混合现实智能眼镜
CN112750187A (zh) 一种动画生成方法、装置、设备及计算机可读存储介质
CN113299312A (zh) 一种图像生成方法、装置、设备以及存储介质
WO2024088321A1 (zh) 虚拟形象面部驱动方法、装置、电子设备及介质
CN107274903A (zh) 文本处理方法和装置、用于文本处理的装置
US20240022772A1 (en) Video processing method and apparatus, medium, and program product
CN114882862A (zh) 一种语音处理方法及相关设备
CN115497448A (zh) 语音动画的合成方法、装置、电子设备及存储介质
CN117593473B (zh) 动作图像与视频生成方法、设备与存储介质
CN117975991A (zh) 基于人工智能的数字人驱动方法及装置
WO2021047103A1 (zh) 一种语音识别方法及装置
CN116912375A (zh) 面部动画生成方法、装置、电子设备及存储介质
CN115409923A (zh) 生成三维虚拟形象面部动画的方法、装置及系统
Verma et al. Animating expressive faces across languages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant