CN111833418A - 动画交互方法、装置、设备以及存储介质 - Google Patents

动画交互方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111833418A
CN111833418A CN202010676929.1A CN202010676929A CN111833418A CN 111833418 A CN111833418 A CN 111833418A CN 202010676929 A CN202010676929 A CN 202010676929A CN 111833418 A CN111833418 A CN 111833418A
Authority
CN
China
Prior art keywords
animation
image
user
character
interaction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010676929.1A
Other languages
English (en)
Other versions
CN111833418B (zh
Inventor
陈睿智
彭昊天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010676929.1A priority Critical patent/CN111833418B/zh
Publication of CN111833418A publication Critical patent/CN111833418A/zh
Priority to KR1020210031673A priority patent/KR102503413B1/ko
Priority to EP21162971.2A priority patent/EP3882860A3/en
Priority to US17/204,345 priority patent/US20210201550A1/en
Priority to JP2021043207A priority patent/JP2021192222A/ja
Application granted granted Critical
Publication of CN111833418B publication Critical patent/CN111833418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Computing Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了动画交互方法、装置、设备以及存储介质，涉及图像处理、三维建模、增强现实技术领域。该方法的一具体实施方式包括：接收终端设备发送的人物图像；基于人物图像，生成三维虚拟形象，其中，三维虚拟形象与人物图像中的人物相似；生成动画交互信息，其中，动画交互信息包括交互表情序列帧；将三维虚拟形象和动画交互信息发送给终端设备。该实施方式将人物图像中的人物替换为与其相似的三维虚拟形象，并利用动画交互信息驱动三维虚拟形象陪伴用户，从而使虚拟陪伴的呈现形态更加多样，提升了虚拟陪伴的呈现效果质量和整体互动质量。

Description

动画交互方法、装置、设备以及存储介质
技术领域
本申请实施例涉及计算机技术领域，具体涉及图像处理、三维建模、增强现实技术领域，尤其涉及动画交互方法、装置、设备以及存储介质。
背景技术
人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。
虚拟陪伴作为人工智能的重要应用技术，在越来越多的物联网场景中有了深入的应用。但现有的虚拟陪伴多以语音形式为主，呈现形式单调。
发明内容
本申请实施例提出了动画交互方法、装置、设备以及存储介质。
第一方面，本申请实施例提出了一种动画交互方法，包括：接收终端设备发送的人物图像；基于人物图像，生成三维虚拟形象，其中，三维虚拟形象与人物图像中的人物相似；生成动画交互信息，其中，动画交互信息包括交互表情序列帧；将三维虚拟形象和动画交互信息发送给终端设备。
第二方面，本申请实施例提出了一种动画交互方法，包括：向服务器发送人物图像，以及接收服务器返回的三维虚拟形象和动画交互信息，其中，三维虚拟形象与人物图像中的人物相似，动画交互信息包括交互表情序列帧；基于交互表情序列帧对三维虚拟形象进行渲染，生成三维虚拟形象的交互动画；将交互动画融合到人物图像中进行显示。
第三方面，本申请实施例提出了一种动画交互装置，包括：接收模块，被配置成接收终端设备发送的人物图像；第一生成模块，被配置成基于人物图像，生成三维虚拟形象，其中，三维虚拟形象与人物图像中的人物相似；第二生成模块，被配置成生成动画交互信息，其中，动画交互信息包括交互表情序列帧；发送模块，被配置成将三维虚拟形象和动画交互信息发送给终端设备。
第四方面，本申请实施例提出了一种动画交互装置，包括：发送及接收模块，被配置成向服务器发送人物图像，以及接收服务器返回的三维虚拟形象和动画交互信息，其中，三维虚拟形象与人物图像中的人物相似，动画交互信息包括交互表情序列帧；渲染及生成模块，被配置成基于交互表情序列帧对三维虚拟形象进行渲染，生成三维虚拟形象的交互动画；显示模块，被配置成将交互动画融合到人物图像中进行显示。
第五方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法或如第二方面中任一实现方式描述的方法。
第六方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法或者如第二方面中任一实现方式描述的方法。
本申请实施例提供的动画交互方法、装置、设备以及存储介质，首先接收终端设备发送的人物图像；然后基于人物图像，生成与人物图像中的人物相似的三维虚拟形象，并生成动画交互信息；最后将三维虚拟形象和动画交互信息发送给终端设备。将人物图像中的人物替换为与其相似的三维虚拟形象，并利用动画交互信息驱动三维虚拟形象陪伴用户，从而使虚拟陪伴的呈现形态更加多样，提升了虚拟陪伴的呈现效果质量和整体互动质量。进而极大地提升了用户的参与度和认同感，从而增加应用动画交互方法的产品的竞争力和影响力。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请可以应用于其中的示例性系统架构；
图2是根据本申请的动画交互方法的一个实施例的流程图；
图3是根据本申请的动画交互方法的又一个实施例的流程图；
图4是根据本申请的动画交互方法的另一个实施例的流程图；
图5是可以实现本申请实施例的动画交互方法的场景图；
图6是根据本申请的动画交互装置的一个实施例的结构示意图；
图7是根据本申请的动画交互装置的又一个实施例的结构示意图；
图8是用来实现本申请实施例的动画交互方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的动画交互方法或动画交互装置的实施例的示例性系统架构100。
如图1所示，系统架构100中可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种客户端应用，例如3D捏脸软件、智能相框软件等。终端设备101可以对从服务器101接收到的三维虚拟形象和动画交互信息等数据进行渲染等处理，并呈现处理结果(例如融合显示交互动画，以及同步播放交互语音)。
终端设备101可以是硬件，也可以是软件。当终端设备101为硬件时，可以是各种电子设备，包括但不限于电子相框、智能手机和平板电脑等等。当终端设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以是提供各种服务的服务器，例如3D捏脸软件或智能相框软件的后台服务器。后台服务器可以对从终端设备101接收到的人物图像等数据进行分析等处理，并将处理结果(例如三维虚拟形象和动画交互信息)反馈给终端设备101。
需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是，本申请实施例所提供的动画交互方法可以由服务器103执行，相应地，动画交互装置设置于服务器103中；本申请实施例所提供的动画交互方法也可以由终端设备101执行，相应地，动画交互装置设置于终端设备101。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本申请的动画交互方法的一个实施例的流程200。该动画交互方法包括以下步骤：
步骤201，接收终端设备发送的人物图像。
在本实施例中，动画交互方法的执行主体(例如图1所示的服务器103)可以接收终端设备(例如图1所示的终端设备101)发送的人物图像。
实践中，终端设备可以包括但不限于电子相框、智能手机和平板电脑等等。终端设备上可以安装有3D捏脸软件或智能相框软件。用户可以通过3D捏脸软件或智能相框软件将人物图像上传至服务器。其中，人物图像通常是真实世界中的人物的二维图像。在一些实施例中，3D捏脸软件或智能相框软件可以预先获取终端设备的摄像头权限，通过终端设备的摄像头拍摄人物图像。在一些实施例中，3D捏脸软件或智能相框软件可以预先获取终端设备的相册读取权限，读取终端设备的相册中存储的人物图像。
步骤202，基于人物图像，生成三维虚拟形象。
在本实施例中，上述执行主体可以基于人物图像，生成三维虚拟形象。其中，三维虚拟形象与人物图像中的人物相似，可以是对人物图像中的人物进行风格化，突显其个人特点的三维动画人物。
在一些实施例中，上述执行主体可以预先存储大量三维虚拟形象，上述执行主体可以提取人物图像中的人物的特征，并与预先存储的每个三维虚拟形象匹配，将特征高度匹配的三维虚拟形象作为人物图像中的人物的三维虚拟形象。
在一些实施例中，上述执行主体可以利用PTA(photo to avatar，虚拟形象自动生成)技术对人物图像中的人物进行3D捏脸，生成对应的三维虚拟形象。具体地，上述执行主体可以首先对人物图像中的人物的面部器官进行分类，得到面部器官属于多种预设虚拟面部器官类型的权值；然后基于权值，对多种预设虚拟面部器官类型对应的虚拟面部器官进行加权，生成人物图像中的人物的虚拟面部器官；最后基于人物图像中的人物的虚拟面部器官，生成三维虚拟形象。通过对预先存储的多种类型的虚拟面部器官进行融合，能够融合出任意类型的虚拟面部器官。进一步地，基于相似度权值对预先存储的多种类型的虚拟面部器官进行融合，能够融合出与人物图像中的人物的面部器官高度相似的虚拟面部器官。其中，预设虚拟面部器官可以包括但不限于眼睛、鼻子、嘴巴、眉毛、耳朵等等。例如，对于眼睛，可以预先存储多种虚拟眼型(包括但不限于桃花眼、瑞凤眼、睡凤眼、柳叶眼和杏眼等等)，计算人物图像中的人物的眼睛与这些虚拟眼型的相似度权值，基于相似度权值对这些虚拟眼型进行融合，即可得到人物图像中的人物的虚拟眼睛。
步骤203，生成动画交互信息。
在本实施例中，上述执行主体可以生成动画交互信息。通常，上述执行主体可以预先存储一套通用的表情基底，包括各种各样的表情帧。上述执行主体可以对至少部分表情帧进行组合，生成交互表情序列帧。此时，动画交互信息可以包括交互表情序列帧。可选的，上述执行主体还可以为表情序列帧设计匹配的交互语音。此时，动画交互信息还可以包括交互语音。
步骤204，将三维虚拟形象和动画交互信息发送给终端设备。
在本实施例中，上述执行主体可以将三维虚拟形象和动画交互信息发送给终端设备。这样，终端设备可以基于交互表情序列帧对三维虚拟形象进行渲染，生成交互动画，并融合到人物图像中进行显示，把虚拟世界中的三维虚拟形象叠加在现实世界中的人物图像进行互动，实现了人物图像的增强现实。可选的，在动画交互信息还包括交互语音的情况下，在将交互动画融合到人物图像中进行显示的同时，上述执行主体还可以同步播放交互语音，实现了多呈现形态的虚拟陪伴。其中，交互动画中的三维虚拟形象依次作出交互表情序列帧中的表情。
本申请实施例提供的动画交互方法，首先接收终端设备发送的人物图像；然后基于人物图像，生成与人物图像中的人物相似的三维虚拟形象，并生成动画交互信息；最后将三维虚拟形象和动画交互信息发送给终端设备。将人物图像中的人物替换为与其相似的三维虚拟形象，并利用动画交互信息驱动三维虚拟形象陪伴用户，从而使虚拟陪伴的呈现形态更加多样，提升了虚拟陪伴的呈现效果质量和整体互动质量。进而极大地提升了用户的参与度和认同感，从而增加应用动画交互方法的产品的竞争力和影响力。
进一步参考图3，其示出了根据本申请的动画交互方法的又一个实施例的流程300。该动画交互方法包括以下步骤：
步骤301，接收终端设备发送的人物图像。
步骤302，基于人物图像，生成三维虚拟形象。
在本实施例中，步骤301-302具体操作已在图2所示的实施例中步骤201-202进行了详细的介绍，在此不再赘述。
步骤303，识别人物图像中的人物数量和环境信息。
在本实施例中，动画交互方法的执行主体(例如图1所示的服务器103)可以生成默认的动画交互信息。
在一些实施例中，无论用户是否输入语音，上述执行主体均可以生成的默认动画交互信息存储备用。
在一些实施例中，只有用户未输入语音的情况下，上述执行主体才会生成默认的动画交互信息。
通常，默认的动画交互信息与人物图像所处的场景相匹配。具体地，上述执行主体可以识别人物图像中的人物数量和环境信息，以得到人物图像所处的场景信息。例如，上述执行主体可以利用目标检测模型检测人物图像中的人体框，并基于检测出的人体框的数量，确定人物图像中的人物数量。上述执行主体可以利用目标识别模型识别人物图像的背景中的物体，并基于识别出的物体确定人物图像中的环境信息。其中，目标检测模型和目标识别模型可以是通过深度学习方式，预先训练得到的神经网络模型。
步骤304，基于人物图像中的人物数量和环境信息，生成人物图像中的人物之间交互的动画交互信息。
在本实施例中，上述执行主体可以基于人物图像中的人物数量和环境信息，生成人物图像中的人物之间交互的动画交互信息。其中，基于人物图像中的人物数量可以确定交互参与人数，基于人物图像中的环境信息可以生成与其匹配的交互内容。其中，交互参与人数不大于人物图像中的人物数量，通常情况下等于人物图像中的人物数量。例如，若人物图像中存在3个人，且处于商场中，则动画交互信息可以是3个人讨论在商场购物的交互信息。
步骤305，接收终端设备发送的用户语音。
在本实施例中，在用户输入语音的情况下，上述执行主体可以生成与用户交互的动画交互信息。具体地，接收终端设备(例如图1所示的终端设备101)发送的用户语音，生成与用户语音匹配的动画交互信息。
实践中，终端设备可以包括但不限于电子相框、智能手机和平板电脑等等。终端设备上可以安装有3D捏脸软件或智能相框软件。3D捏脸软件或智能相框软件可以预先获取终端设备的录音权限，通过终端设备的麦克风采集用户输入的用户语音。
步骤306，识别用户语音的内容和/或用户心情。
在本实施例中，上述执行主体可以识别用户语音的内容和/或用户心情。其中，用户语音的内容可以通过对用户语音进行语音转换文字来得到。用户的心情可以从用户语音和/或用户语音的内容中提取情绪特征信息来确定。
对于仅识别用户语音的内容的方案，上述执行主体可以对用户语音进行语音转换文字，得到用户语音的内容。
对于仅识别用户心情的方案，上述执行主体可以直接从用户语音中提取用户的发音特点，分析对应的情绪特征信息。其中，发音特点可以包括但不限于韵律、节奏、语速、语调、修辞、声音强度等。例如，若用户语音的语调较为欢快，则确定用户心情比较高兴。
对于同时识别用户语音的内容和用户心情的方案，上述执行主体可以对用户语音进行语音转换文字，得到用户语音的内容。并且，上述执行主体不仅可以从用户语音中提取用户的发音特点，分析对应的情绪特征信息，还可以从用户的语音内容中提取带有情绪信息的词语，分析对应的情绪特征信息。
步骤307，基于用户语音的内容和/或用户心情，生成与用户交互的动画交互信息。
在本实施例中，上述执行主体可以基于用户语音的内容和/或用户心情，生成与用户交互的动画交互信息。其中，基于用户心情可以确定与其匹配的表情。基于用户语音的内容可以生成与其匹配的交互内容。这里，基于与用户心情匹配的表情和/或与用户心情匹配的交互内容，可以生成与用户交互的动画交互信息。
对于仅基于与用户心情匹配的表情生成动画交互信息的方案，动画交互信息可以是描述人物作出一系列与用户心情匹配的表情的面部动作的信息。
对于仅基于与用户心情匹配的交互内容生成动画交互信息的方案，动画交互信息可以是描述人物说出一系列与用户心情匹配的交互内容的口型动作的信息。
对于同时基于与用户心情匹配的表情和与用户心情匹配的交互内容生成动画交互信息的方案，动画交互信息不仅可以包括描述人物作出一系列与用户心情匹配的表情的面部动作的信息，还可以包括描述人物说出一系列与用户心情匹配的交互内容的口型动作的信息。
步骤308，将三维虚拟形象和动画交互信息发送给终端设备。
在本实施例中，步骤308具体操作已在图2所示的实施例中步骤204进行了详细的介绍，在此不再赘述。
从图3中可以看出，与图2对应的实施例相比，本实施例中的动画交互方法的流程300突出了生成动画交互信息的步骤。由此，在本实施例描述的方案中，在用户未输入语音的情况下，生成人物图像中的人物之间交互的动画交互信息发送给终端设备，驱动人物图像中的不同人物之间交互，且交互内容与人物图像所处的场景匹配；在用户输入语音的情况下，生成与用户交互的动画交互信息发送给终端设备，驱动人物图像中的人物与用户交互，且交互内容与用户语音匹配。针对不同的情况，生成不同的动画交互信息，使得交互更加具有针对性。
进一步参考图4，其示出了根据本申请的动画交互方法的另一个实施例的流程400。该动画交互方法包括以下步骤：
步骤401，向服务器发送人物图像，以及接收服务器返回的三维虚拟形象和动画交互信息。
在本实施例中，动画交互方法的执行主体(例如图1所示的终端设备101)可以向服务器(例如图1所示的服务器103)发送人物图像，以及接收服务器返回的三维虚拟形象和动画交互信息。
实践中，终端设备可以包括但不限于电子相框、智能手机和平板电脑等等。终端设备上可以安装有3D捏脸软件或智能相框软件。用户可以通过3D捏脸软件或智能相框软件将人物图像上传至服务器。其中，人物图像通常是真实世界中的人物的二维图像。在一些实施例中，3D捏脸软件或智能相框软件可以预先获取终端设备的摄像头权限，通过终端设备的摄像头拍摄人物图像。在一些实施例中，3D捏脸软件或智能相框软件可以预先获取终端设备的相册读取权限，读取终端设备的相册中存储的人物图像。
服务器可以基于人物图像生成三维虚拟形象和动画交互信息。其中，三维虚拟形象与人物图像中的人物相似，可以是对人物图像中的人物进行风格化，突显其个人特点的三维动画人物。动画交互信息可以包括交互表情序列帧。可选的，动画交互信息还可以包括交互语音。
在一些实施例中，动画交互信息可以与人物图像所处的场景相匹配。具体地，服务器可以首先识别人物图像中的人物数量和环境信息；然后基于人物图像中的人物数量和环境信息，生成人物图像中的人物之间交互的动画交互信息。在用户未输入语音的情况下，生成人物图像中的人物之间交互的动画交互信息发送给终端设备，驱动人物图像中的不同人物之间交互，且交互内容与人物图像所处的场景匹配。
在一些实施例中，动画交互信息可以与用户语音相匹配。具体地，3D捏脸软件或智能相框软件还可以预先获取终端设备的录音权限，通过终端设备的麦克风采集用户输入的用户语音，以及向服务器发送用户语音。服务器可以首先识别用户语音的内容和/或用户心情；然后基于用户语音的内容和/或用户心情，生成与用户交互的动画交互信息。在用户输入语音的情况下，生成与用户交互的动画交互信息发送给终端设备，驱动人物图像中的人物与用户交互，且交互内容与用户语音匹配。针对不同的情况，生成不同的动画交互信息，使得交互更加具有针对性。
步骤402，基于交互表情序列帧对三维虚拟形象进行渲染，生成三维虚拟形象的交互动画。
在本实施例中，上述执行主体可以基于交互表情序列帧对三维虚拟形象进行渲染，生成三维虚拟形象的交互动画。其中，交互动画中的三维虚拟形象依次作出交互表情序列帧中的表情。
步骤403，将交互动画融合到人物图像中进行显示。
在本实施例中，上述执行主体可以将交互动画融合到人物图像中进行显示，把虚拟世界中的三维虚拟形象叠加在现实世界中的人物图像进行互动，实现了人物图像的增强现实。可选的，在动画交互信息还包括交互语音的情况下，在将交互动画融合到人物图像中进行显示的同时，上述执行主体可以同步播放交互语音，实现了多呈现形态的虚拟陪伴。
本申请实施例提供的动画交互方法，首先向服务器发送人物图像，以及接收服务器返回的与人物图像中的人物相似的三维虚拟形象和动画交互信息；然后基于交互表情序列帧对三维虚拟形象进行渲染，生成三维虚拟形象的交互动画；最后将交互动画融合到人物图像中进行显示，以及同步播放交互语音。将人物图像中的人物替换为与其相似的三维虚拟形象，并利用动画交互信息驱动三维虚拟形象陪伴用户，从而使虚拟陪伴的呈现形态更加多样，提升了虚拟陪伴的呈现效果质量和整体互动质量。进而极大地提升了用户的参与度和认同感，从而增加应用动画交互方法的产品的竞争力和影响力。
为了便于理解，图5示出了可以实现本申请实施例的动画交互方法的场景图。如图5所示，电子相框501包括麦克风5011、显示器5012、扬声器5013、图像存储器5014、三维虚拟形象存储器5015、动画交互信息存储器5016、三维虚拟形象驱动器5017和图像合成器5018。在用户将人物图像存储到图像存储器5014之后，会触发人物图像上传服务器502的操作。当人物图像首次上传服务器502后，服务器502可以根据人物图像中的所有人物，利用PTA技术生成与其相对应的三维虚拟形象，并下载到三维虚拟形象存储器5015中。随后，服务器502可以根据人物图像中人物数量和环境信息，生成与人物图像所处的场景相匹配的动画交互信息(包括表情序列帧和交互语音)，并下载到动画交互信息存储器5016，作为默认的动画交互信息。在运行过程中，若麦克风5011未采集到用户输入的用户语音，会直接按照默认的动画交互信息完成后续的驱动和合成操作。在运行过程中，若麦克风5011采集到用户输入的用户语音，麦克风5011可以将采集到的用户语音上传至服务器502。服务器502可以根据用户语音的内容和用户心情，生成与用户交互的临时的动画交互信息，并下载到动画交互信息存储器5016。此时，会按照临时的动画交互信息完成后续的驱动和合成操作。具体地，在三维虚拟形象驱动器5017中按照动画交互信息驱动三维虚拟形象，生成交互动画。在图像合成器5018中将交互动画融合到人物图像中，并利用显示器5012进行显示。同时，利用扬声器5013同步播放交互语音。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种动画交互装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的动画交互装置600可以包括：接收模块601、第一生成模块602、第二生成模块603和发送模块604。其中，接收模块601，被配置成接收终端设备发送的人物图像；第一生成模块602，被配置成基于人物图像，生成三维虚拟形象，其中，三维虚拟形象与人物图像中的人物相似；第二生成模块603，被配置成生成动画交互信息，其中，动画交互信息包括交互表情序列帧；发送模块604，被配置成将三维虚拟形象和动画交互信息发送给终端设备。
在本实施例中，动画交互装置600中：接收模块601、第一生成模块602、第二生成模块603和发送模块604的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，动画交互信息还包括交互语音。
在本实施例的一些可选的实现方式中，第一生成模块602进一步被配置成：对人物图像中的人物的面部器官进行分类，得到面部器官属于多种预设虚拟面部器官类型的权值；基于权值，对多种预设虚拟面部器官类型对应的虚拟面部器官进行加权，生成人物图像中的人物的虚拟面部器官；基于人物图像中的人物的虚拟面部器官，生成三维虚拟形象。
在本实施例的一些可选的实现方式中，第二生成模块603进一步被配置成：识别人物图像中的人物数量和环境信息；基于人物图像中的人物数量和环境信息，生成人物图像中的人物之间交互的动画交互信息。
在本实施例的一些可选的实现方式中，第二生成模块603进一步被配置成：接收终端设备发送的用户语音；识别用户语音的内容和/或用户心情；基于用户语音的内容和/或用户心情，生成与用户交互的动画交互信息。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种动画交互装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的动画交互装置700可以包括：发送及接收模块701、渲染及生成模块702和显示及播放模块703。其中，发送及接收模块701，被配置成向服务器发送人物图像，以及接收服务器返回的三维虚拟形象和动画交互信息，其中，三维虚拟形象与人物图像中的人物相似，动画交互信息包括交互表情序列帧；渲染及生成模块702，被配置成基于交互表情序列帧对三维虚拟形象进行渲染，生成三维虚拟形象的交互动画；显示模块703，被配置成将交互动画融合到人物图像中进行显示。
在本实施例中，动画交互装置700中：发送及接收模块701、渲染及生成模块702和显示模块703的具体处理及其所带来的技术效果可分别参考图4对应实施例中的步骤401-403的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，动画交互信息还包括交互语音；以及动画交互装置700还包括：播放模块(图中未示出)，被配置成同步播放所述交互语音。
在本实施例的一些可选的实现方式中，动画交互装置700还包括：采集及发送模块(图中未示出)，被配置成采集用户输入的用户语音，以及向服务器发送用户语音；以及发送及接收模块701进一步被配置成：接收服务器返回的基于用户语音生成的与用户交互的动画交互信息。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例动画交互方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的动画交互方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的动画交互方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的动画交互方法对应的程序指令/模块(例如，附图6所示的接收模块601、第一生成模块602、第二生成模块603和发送模块604，或者附图7所示的发送及接收模块701、渲染及生成模块702和显示模块703)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的动画交互方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据动画交互方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至动画交互方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
动画交互方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与动画交互方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的技术方案，首先接收终端设备发送的人物图像；然后基于人物图像，生成与人物图像中的人物相似的三维虚拟形象，并生成动画交互信息；最后将三维虚拟形象和动画交互信息发送给终端设备。将人物图像中的人物替换为与其相似的三维虚拟形象，并利用动画交互信息驱动三维虚拟形象陪伴用户，从而使虚拟陪伴的呈现形态更加多样，提升了虚拟陪伴的呈现效果质量和整体互动质量。进而极大地提升了用户的参与度和认同感，从而增加应用动画交互方法的产品的竞争力和影响力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种动画交互方法，包括：
接收终端设备发送的人物图像；
基于所述人物图像，生成三维虚拟形象，其中，所述三维虚拟形象与所述人物图像中的人物相似；
生成动画交互信息，其中，所述动画交互信息包括交互表情序列帧；
将所述三维虚拟形象和所述动画交互信息发送给所述终端设备。
2.根据权利要求1所述的方法，其中，所述动画交互信息还包括交互语音。
3.根据权利要求1所述的方法，其中，所述基于所述人物图像，生成三维虚拟形象，包括：
对所述人物图像中的人物的面部器官进行分类，得到所述面部器官属于多种预设虚拟面部器官类型的权值；
基于所述权值，对所述多种预设虚拟面部器官类型对应的虚拟面部器官进行加权，生成所述人物图像中的人物的虚拟面部器官；
基于所述人物图像中的人物的虚拟面部器官，生成所述三维虚拟形象。
4.根据权利要求1或2所述的方法，其中，所述生成动画交互信息，包括：
识别所述人物图像中的人物数量和环境信息；
基于所述人物图像中的人物数量和环境信息，生成所述人物图像中的人物之间交互的动画交互信息。
5.根据权利要求1或2所述的方法，其中，所述生成动画交互信息，包括：
接收所述终端设备发送的用户语音；
识别所述用户语音的内容和/或用户心情；
基于所述用户语音的内容和/或用户心情，生成与所述用户交互的动画交互信息。
6.一种动画交互方法，包括：
向服务器发送人物图像，以及接收所述服务器返回的三维虚拟形象和动画交互信息，其中，所述三维虚拟形象与所述人物图像中的人物相似，所述动画交互信息包括交互表情序列帧；
基于所述交互表情序列帧对所述三维虚拟形象进行渲染，生成所述三维虚拟形象的交互动画；
将所述交互动画融合到所述人物图像中进行显示。
7.根据权利要求6所述的方法，其中，所述动画交互信息还包括交互语音；以及
在所述将所述交互动画融合到所述人物图像中进行显示的同时，还包括：
同步播放所述交互语音。
8.根据权利要求6或7所述的方法，其中，所述方法还包括：
采集用户输入的用户语音，以及向所述服务器发送所述用户语音；以及
所述接收所述服务器返回的动画交互信息，包括：
接收所述服务器返回的基于所述用户语音生成的与所述用户交互的动画交互信息。
9.一种动画交互装置，包括：
接收模块，被配置成接收终端设备发送的人物图像；
第一生成模块，被配置成基于所述人物图像，生成三维虚拟形象，其中，所述三维虚拟形象与所述人物图像中的人物相似；
第二生成模块，被配置成生成动画交互信息，其中，所述动画交互信息包括交互表情序列帧；
发送模块，被配置成将所述三维虚拟形象和所述动画交互信息发送给所述终端设备。
10.根据权利要求9所述的装置，其中，所述动画交互信息还包括交互语音。
11.根据权利要求9所述的装置，其中，所述第一生成模块进一步被配置成：
对所述人物图像中的人物的面部器官进行分类，得到所述面部器官属于多种预设虚拟面部器官类型的权值；
基于所述权值，对所述多种预设虚拟面部器官类型对应的虚拟面部器官进行加权，生成所述人物图像中的人物的虚拟面部器官；
基于所述人物图像中的人物的虚拟面部器官，生成所述三维虚拟形象。
12.根据权利要求9或10所述的装置，其中，所述第二生成模块进一步被配置成：
识别所述人物图像中的人物数量和环境信息；
基于所述人物图像中的人物数量和环境信息，生成所述人物图像中的人物之间交互的动画交互信息。
13.根据权利要求9或10所述的装置，其中，所述第二生成模块进一步被配置成：
接收所述终端设备发送的用户语音；
识别所述用户语音的内容和/或用户心情；
基于所述用户语音的内容和/或用户心情，生成与所述用户交互的动画交互信息。
14.一种动画交互装置，包括：
发送及接收模块，被配置成向服务器发送人物图像，以及接收所述服务器返回的三维虚拟形象和动画交互信息，其中，所述三维虚拟形象与所述人物图像中的人物相似，所述动画交互信息包括交互表情序列帧；
渲染及生成模块，被配置成基于所述交互表情序列帧对所述三维虚拟形象进行渲染，生成所述三维虚拟形象的交互动画；
显示模块，被配置成将所述交互动画融合到所述人物图像中进行显示。
15.根据权利要求14所述的装置，其中，所述动画交互信息还包括交互语音；以及
所述装置还包括：
播放模块，被配置成同步播放所述交互语音。
16.根据权利要求14或15所述的装置，其中，所述装置还包括：
采集及发送模块，被配置成采集用户输入的用户语音，以及向所述服务器发送所述用户语音；以及
所述发送及接收模块进一步被配置成：
接收所述服务器返回的基于所述用户语音生成的与所述用户交互的动画交互信息。
17.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法或者实现如权利要求6-8中任一所述的方法。
18.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法或者实现如权利要求6-8中任一所述的方法。
CN202010676929.1A 2020-07-14 2020-07-14 动画交互方法、装置、设备以及存储介质 Active CN111833418B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010676929.1A CN111833418B (zh) 2020-07-14 2020-07-14 动画交互方法、装置、设备以及存储介质
KR1020210031673A KR102503413B1 (ko) 2020-07-14 2021-03-10 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체
EP21162971.2A EP3882860A3 (en) 2020-07-14 2021-03-16 Method, apparatus, device, storage medium and program for animation interaction
US17/204,345 US20210201550A1 (en) 2020-07-14 2021-03-17 Method, apparatus, device and storage medium for animation interaction
JP2021043207A JP2021192222A (ja) 2020-07-14 2021-03-17 動画インタラクティブ方法と装置、電子デバイス、コンピュータ可読記憶媒体、及び、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010676929.1A CN111833418B (zh) 2020-07-14 2020-07-14 动画交互方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111833418A true CN111833418A (zh) 2020-10-27
CN111833418B CN111833418B (zh) 2024-03-29

Family

ID=72923241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010676929.1A Active CN111833418B (zh) 2020-07-14 2020-07-14 动画交互方法、装置、设备以及存储介质

Country Status (5)

Country Link
US (1) US20210201550A1 (zh)
EP (1) EP3882860A3 (zh)
JP (1) JP2021192222A (zh)
KR (1) KR102503413B1 (zh)
CN (1) CN111833418B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112328088A (zh) * 2020-11-23 2021-02-05 北京百度网讯科技有限公司 图像的呈现方法和装置
CN112435313A (zh) * 2020-11-10 2021-03-02 北京百度网讯科技有限公司 播放帧动画的方法、装置、电子设备及可读存储介质
CN112508161A (zh) * 2020-11-26 2021-03-16 珠海格力电器股份有限公司 陪伴数字替身的控制方法、系统和存储介质
CN112527105A (zh) * 2020-11-27 2021-03-19 北京百度网讯科技有限公司 人机互动方法、装置、电子设备及存储介质
CN112527115A (zh) * 2020-12-15 2021-03-19 北京百度网讯科技有限公司 用户形象生成方法、相关装置及计算机程序产品
CN112799575A (zh) * 2021-01-20 2021-05-14 深圳市金大智能创新科技有限公司 一种基于智能音箱的语音交互方法、智能音箱及智能终端
CN113014471A (zh) * 2021-01-18 2021-06-22 腾讯科技（深圳）有限公司 会话处理方法，装置、终端和存储介质
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统
CN114201043A (zh) * 2021-12-09 2022-03-18 北京百度网讯科技有限公司 内容交互的方法、装置、设备和介质
CN114422740A (zh) * 2021-12-25 2022-04-29 在秀网络科技(深圳)有限公司 一种用于即时通讯及视频的虚似场景互动方法与系统
CN114445528A (zh) * 2021-12-15 2022-05-06 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备及存储介质
EP3989179A3 (en) * 2021-03-24 2022-08-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing slider for virtual character
CN116708905A (zh) * 2023-08-07 2023-09-05 海马云（天津）信息技术有限公司 在电视盒子上实现数字人交互的方法和装置
CN118113811A (zh) * 2024-03-14 2024-05-31 北京乐开科技有限责任公司 一种基于虚拟形象的人机交互方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012203A (ko) * 2020-07-22 2022-02-03 (주) 애니펜 애니메이션을 저작하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN113593013A (zh) * 2021-07-21 2021-11-02 吴浩诚 基于vr逝者仿真的交互方法、系统、终端及vr设备
CN113744374B (zh) * 2021-09-03 2023-09-22 浙江大学 一种基于表情驱动的3d虚拟形象生成方法
CN114972589A (zh) * 2022-05-31 2022-08-30 北京百度网讯科技有限公司 虚拟数字形象的驱动方法及其装置
CN115116468A (zh) * 2022-06-16 2022-09-27 虹软科技股份有限公司 一种视频生成方法、装置、存储介质及电子设备
CN115601485B (zh) * 2022-12-15 2023-04-07 阿里巴巴（中国）有限公司 任务处理模型的数据处理方法及虚拟人物动画生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573527A (zh) * 2018-04-18 2018-09-25 腾讯科技（深圳）有限公司 一种表情图片生成方法及其设备、存储介质
US20190197755A1 (en) * 2016-02-10 2019-06-27 Nitin Vats Producing realistic talking Face with Expression using Images text and voice
CN110189754A (zh) * 2019-05-29 2019-08-30 腾讯科技（深圳）有限公司 语音交互方法、装置、电子设备及存储介质
CN110262665A (zh) * 2019-06-26 2019-09-20 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110362666A (zh) * 2019-07-09 2019-10-22 邬欣霖 应用虚拟人物的交互处理方法、装置、存储介质和设备
CN110674398A (zh) * 2019-09-05 2020-01-10 深圳追一科技有限公司 虚拟人物形象交互方法、装置、终端设备及存储介质
CN111028330A (zh) * 2019-11-15 2020-04-17 腾讯科技（深圳）有限公司 三维表情基的生成方法、装置、设备及存储介质
CN111145322A (zh) * 2019-12-26 2020-05-12 上海浦东发展银行股份有限公司 用于驱动虚拟形象的方法、设备和计算机可读存储介质
CN111383642A (zh) * 2018-12-27 2020-07-07 Tcl集团股份有限公司 基于神经网络的语音应答方法、存储介质以终端设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4917920B2 (ja) * 2007-03-05 2012-04-18 日本放送協会 コンテンツ生成装置及びコンテンツ生成プログラム
JP5423379B2 (ja) * 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20120130717A1 (en) * 2010-11-19 2012-05-24 Microsoft Corporation Real-time Animation for an Expressive Avatar
WO2017150103A1 (ja) * 2016-02-29 2017-09-08 パナソニックＩｐマネジメント株式会社 音声処理装置、画像処理装置、マイクアレイシステム、及び音声処理方法
US10249089B2 (en) * 2016-08-01 2019-04-02 Dell Products, Lp System and method for representing remote participants to a meeting
JP6683864B1 (ja) * 2019-06-28 2020-04-22 株式会社ドワンゴ コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190197755A1 (en) * 2016-02-10 2019-06-27 Nitin Vats Producing realistic talking Face with Expression using Images text and voice
CN108573527A (zh) * 2018-04-18 2018-09-25 腾讯科技（深圳）有限公司 一种表情图片生成方法及其设备、存储介质
CN111383642A (zh) * 2018-12-27 2020-07-07 Tcl集团股份有限公司 基于神经网络的语音应答方法、存储介质以终端设备
CN110189754A (zh) * 2019-05-29 2019-08-30 腾讯科技（深圳）有限公司 语音交互方法、装置、电子设备及存储介质
CN110262665A (zh) * 2019-06-26 2019-09-20 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110362666A (zh) * 2019-07-09 2019-10-22 邬欣霖 应用虚拟人物的交互处理方法、装置、存储介质和设备
CN110674398A (zh) * 2019-09-05 2020-01-10 深圳追一科技有限公司 虚拟人物形象交互方法、装置、终端设备及存储介质
CN111028330A (zh) * 2019-11-15 2020-04-17 腾讯科技（深圳）有限公司 三维表情基的生成方法、装置、设备及存储介质
CN111145322A (zh) * 2019-12-26 2020-05-12 上海浦东发展银行股份有限公司 用于驱动虚拟形象的方法、设备和计算机可读存储介质

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435313A (zh) * 2020-11-10 2021-03-02 北京百度网讯科技有限公司 播放帧动画的方法、装置、电子设备及可读存储介质
CN112328088A (zh) * 2020-11-23 2021-02-05 北京百度网讯科技有限公司 图像的呈现方法和装置
CN112328088B (zh) * 2020-11-23 2023-08-04 北京百度网讯科技有限公司 图像的呈现方法和装置
CN112508161A (zh) * 2020-11-26 2021-03-16 珠海格力电器股份有限公司 陪伴数字替身的控制方法、系统和存储介质
CN112527105B (zh) * 2020-11-27 2023-07-21 北京百度网讯科技有限公司 人机互动方法、装置、电子设备及存储介质
CN112527105A (zh) * 2020-11-27 2021-03-19 北京百度网讯科技有限公司 人机互动方法、装置、电子设备及存储介质
CN112527115A (zh) * 2020-12-15 2021-03-19 北京百度网讯科技有限公司 用户形象生成方法、相关装置及计算机程序产品
CN112527115B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 用户形象生成方法、相关装置及计算机程序产品
CN113014471A (zh) * 2021-01-18 2021-06-22 腾讯科技（深圳）有限公司 会话处理方法，装置、终端和存储介质
CN112799575A (zh) * 2021-01-20 2021-05-14 深圳市金大智能创新科技有限公司 一种基于智能音箱的语音交互方法、智能音箱及智能终端
EP3989179A3 (en) * 2021-03-24 2022-08-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing slider for virtual character
US11842457B2 (en) 2021-03-24 2023-12-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method for processing slider for virtual character, electronic device, and storage medium
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统
CN114201043A (zh) * 2021-12-09 2022-03-18 北京百度网讯科技有限公司 内容交互的方法、装置、设备和介质
CN114445528A (zh) * 2021-12-15 2022-05-06 北京百度网讯科技有限公司 虚拟形象生成方法、装置、电子设备及存储介质
CN114422740A (zh) * 2021-12-25 2022-04-29 在秀网络科技(深圳)有限公司 一种用于即时通讯及视频的虚似场景互动方法与系统
CN116708905A (zh) * 2023-08-07 2023-09-05 海马云（天津）信息技术有限公司 在电视盒子上实现数字人交互的方法和装置
CN118113811A (zh) * 2024-03-14 2024-05-31 北京乐开科技有限责任公司 一种基于虚拟形象的人机交互方法及系统

Also Published As

Publication number Publication date
KR102503413B1 (ko) 2023-02-23
US20210201550A1 (en) 2021-07-01
JP2021192222A (ja) 2021-12-16
KR20220008735A (ko) 2022-01-21
CN111833418B (zh) 2024-03-29
EP3882860A2 (en) 2021-09-22
EP3882860A3 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
CN111833418B (zh) 动画交互方法、装置、设备以及存储介质
TWI778477B (zh) 互動方法、裝置、電子設備以及儲存媒體
US9875445B2 (en) Dynamic hybrid models for multimodal analysis
EP3889912B1 (en) Method and apparatus for generating video
Le et al. Live speech driven head-and-eye motion generators
CN108874114B (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN113508369A (zh) 交流支持系统、交流支持方法、交流支持程序以及图像控制程序
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN112667068A (zh) 虚拟人物的驱动方法、装置、设备及存储介质
CN111862277A (zh) 用于生成动画的方法、装置、设备以及存储介质
CN112562045B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
CN112330781A (zh) 生成模型和生成人脸动画的方法、装置、设备和存储介质
CN112634413B (zh) 生成模型和生成3d动画的方法、装置、设备和存储介质
CN110232722A (zh) 一种图像处理方法及装置
US20200233489A1 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
CN111414506A (zh) 基于人工智能情绪处理方法、装置、电子设备及存储介质
CN113223125A (zh) 一种虚拟形象的面部驱动方法、装置、设备和介质
CN111274489B (zh) 信息处理方法、装置、设备及存储介质
CN112017140B (zh) 用于处理人物形象数据的方法和装置
WO2024066549A1 (zh) 一种数据处理方法及相关设备
CN112328088A (zh) 图像的呈现方法和装置
CN113327311B (zh) 基于虚拟角色的显示方法、装置、设备、存储介质
CN113379879A (zh) 交互方法、装置、设备、存储介质以及计算机程序产品
CN116309977B (zh) 人脸驱动及模型获取方法、装置、电子设备及存储介质
US20240265605A1 (en) Generating an avatar expression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant