CN112866741B - 一种基于3d人脸动画重建的礼物动效展示方法及系统 - Google Patents

一种基于3d人脸动画重建的礼物动效展示方法及系统 Download PDF

Info

Publication number
CN112866741B
CN112866741B CN202110150950.2A CN202110150950A CN112866741B CN 112866741 B CN112866741 B CN 112866741B CN 202110150950 A CN202110150950 A CN 202110150950A CN 112866741 B CN112866741 B CN 112866741B
Authority
CN
China
Prior art keywords
face
animation
gift
feature
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110150950.2A
Other languages
English (en)
Other versions
CN112866741A (zh
Inventor
管新蒙
章菲倩
孙曼津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Bigo Technology Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Singapore Pte Ltd filed Critical Bigo Technology Singapore Pte Ltd
Priority to CN202110150950.2A priority Critical patent/CN112866741B/zh
Publication of CN112866741A publication Critical patent/CN112866741A/zh
Application granted granted Critical
Publication of CN112866741B publication Critical patent/CN112866741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

本申请实施例公开了一种基于3D人脸动画重建的礼物动效展示方法及系统。本申请实施例提供的技术方案，通过定时采集第一客户端的直播截图，基于直播截图进行人脸识别，获取对应的人脸特征参数，响应于第二客户端的虚拟礼物关联操作，根据人脸特征参数构建3D人脸动画，并根据虚拟礼物关联操作确定对应的3D礼物动画模板，基于3D人脸动画和3D礼物动画模板构建礼物动效并输出至第一客户端和第二客户端展示。采用上述技术手段，通过重建3D人脸动画并嵌入预设定的3D礼物动画模板，生成3D礼物动效进行输出展示，以此可以将主播3D人脸动画与礼物动效进行结合展示，提升礼物动效展示的趣味性，并优化网络直播的互动效果，优化网络直播应用的使用体验。

Description

一种基于3D人脸动画重建的礼物动效展示方法及系统
技术领域
本申请实施例涉及互联网技术领域，尤其涉及一种基于3D人脸动画重建的礼物动效展示方法及系统。
背景技术
随着终端技术和互联网技术的发展，手机、计算机等终端得到了广泛的应用，终端上应用程序的种类也越来越多。网络直播类应用程序即是一种很常用的应用程序，观众通过网络直播类应用程序可以观看对应主播的表演，在观看过程中，通过相关的交互操作可以送出相关的虚拟礼物给直播，以此可以增强观众与主播的互动效果。
但是，现有网络直播场景中，虚拟礼物一般采用2D动画展示，其展示效果相对较差，且缺乏趣味性，难以达到理想的互动效果。
发明内容
本申请实施例提供一种基于3D人脸动画重建的礼物动效展示方法及系统，能够将主播3D人脸动画与礼物动效结合，提升3D礼物动效展示的趣味性，优化网络直播虚拟礼物展示效果，增强网络直播互动效果。
在第一方面，本申请实施例提供了一种基于3D人脸动画重建的礼物动效展示方法，包括：
定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数；
响应于第二客户端的虚拟礼物关联操作，根据所述人脸特征参数构建3D人脸动画，并根据所述虚拟礼物关联操作确定对应的3D礼物动画模板，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效并输出至所述第一客户端和所述第二客户端展示。
进一步的，根据所述人脸特征参数构建3D人脸动画，包括：
将所述人脸特征参数输入预先训练的人脸动画创建模型，基于所述人脸特征参数进行特征建模，生成对应的特征素材；
将各个所述特征素材进行组装拼接，构建3D人脸动画。
进一步的，所述特征建模包括脸部特征建模、发型特征建模和眉形特征建模；
对应的，所述特征素材包括脸部特征素材、发型特征素材和眉形特征素材。
进一步的，所述脸部特征建模包括：
基于对应的所述人脸特征参数使用混合形状优化算法确定人脸混合形状权重，基于所述人脸混合形状权重进行脸部特征建模。
进一步的，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效，包括：
定位所述3D礼物动画模板各个图像帧的嵌入位置，将所述3D人脸动画逐帧加载至所述嵌入位置，生成对应的礼物动效。
进一步的，将所述3D人脸动画逐帧加载至所述嵌入位置，包括：
基于各个所述图像帧预设定的加载展示参数对应将所述3D人脸动画逐帧加载至所述嵌入位置。
进一步的，所述加载展示参数包括所述3D人脸动画的图像展示尺寸和图像展示方向。
进一步的，定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数之后，还包括：
根据获取到的所述人脸特征参数对应更新在先采集的人脸特征参数。
在第二方面，本申请实施例提供了一种基于3D人脸动画重建的礼物动效展示系统，包括：
采集模块，用于定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数；
展示模块，用于响应于第二客户端的虚拟礼物关联操作，根据所述人脸特征参数构建3D人脸动画，并根据所述虚拟礼物关联操作确定对应的3D礼物动画模板，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效并输出至所述第一客户端和所述第二客户端展示。
在第三方面，本申请实施例提供了一种电子设备，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于3D人脸动画重建的礼物动效展示方法。
在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于3D人脸动画重建的礼物动效展示方法。
本申请实施例通过定时采集第一客户端的直播截图，基于直播截图进行人脸识别，获取对应的人脸特征参数，响应于第二客户端的虚拟礼物关联操作，根据人脸特征参数构建3D人脸动画，并根据虚拟礼物关联操作确定对应的3D礼物动画模板，基于3D人脸动画和3D礼物动画模板构建礼物动效并输出至第一客户端和第二客户端展示。采用上述技术手段，通过重建3D人脸动画并嵌入预设定的3D礼物动画模板，生成3D礼物动效进行输出展示，以此可以将主播3D人脸动画与礼物动效进行结合展示，进而提升礼物动效展示的趣味性，并优化网络直播的互动效果，优化用户对网络直播应用的使用体验。
附图说明
图1是本申请实施例一提供的一种基于3D人脸动画重建的礼物动效展示方法的流程图；
图2是本申请实施例一中的网络直播架构示意图；
图3是本申请实施例一中的3D人脸动画构建流程图；
图4是本申请实施例一中的礼物动效展示流程图；
图5是本申请实施例二提供的一种基于3D人脸动画重建的礼物动效展示系统的结构示意图；
图6是本申请实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的一种基于3D人脸动画重建的礼物动效展示方法，旨在通过人脸特征识别以构建主播的3D人脸动画，进而将3D人脸动画与预设定的3D礼物动画模板结合生成礼物动效进行展示，以此来优化网络直播场景中虚拟礼物的展示效果，提升虚拟礼物展示的趣味性，并优化主播与观众的网络直播互动效果。相对于传统的网络直播场景中，虚拟礼物主要有2D礼物与3D礼物。虚拟礼物在展示时，只是简单地展示虚拟礼物的效果图片，没有较好地与主播形象进行关联，其展示效果相对较为单调，难以达到理想的互动效果。基于此，提供本申请实施例的一种基于3D人脸动画重建的礼物动效展示方法，以解决现有网络直播场景中虚拟礼物展示效果单调的技术问题。
实施例一：
图1给出了本申请实施例一提供的一种基于3D人脸动画重建的礼物动效展示方法的流程图，本实施例中提供的基于3D人脸动画重建的礼物动效展示方法可以由基于3D人脸动画重建的礼物动效展示设备执行，该基于3D人脸动画重建的礼物动效展示设备可以通过软件和/或硬件的方式实现，该基于3D人脸动画重建的礼物动效展示设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该基于3D人脸动画重建的礼物动效展示设备可以是服务器主机、电脑等计算处理设备。
下述以该基于3D人脸动画重建的礼物动效展示设备为执行基于3D人脸动画重建的礼物动效展示方法的主体为例，进行描述。参照图1，该基于3D人脸动画重建的礼物动效展示方法具体包括：
S110、定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数。
为了将主播形象与礼物动效关联，本申请实施例通过获取主播人脸特征参数以构建主播的3D人脸动画，进而基于3D人脸动画创建礼物动效，实现主播形象与礼物动效的关联，提升礼物动效展示的趣味性。
具体的，参照图2，提供本申请实施例的网络直播架构示意图，在网络直播架构中，包括主播客户端、观众客户端和服务器端，其中，定义主播客户端为第一客户端，定义观众客户端为第二客户端。如图2所示，在进行网络直播时，第一客户端11和第二客户端12通过服务器端13实现主播与观众之间的互动。并且，为了便于后续进行礼物动效的展示，服务器端需要预先采集主播的人脸特征参数，以用于后续3D人脸动画的构建。其中，在进行网络直播过程中，服务器端13会定时向第一客户端11发送截图请求，以定时采集第一客户端11的直播截图。并且，为了保障礼物动效与主播形象实时关联，服务器端每隔一个设定时间段(如3-20秒)就进行一次直播截图的请求，以此可以使获取到的直播截图与主播的实时形象高度关联。
进一步的，基于获取到的直播截图，通过对直播截图进行人脸识别，以获取对应人脸图像的人脸特征参数。人脸识别可以通过预先训练的人脸识别模型实现，基于人脸识别模型进行人脸图像识别并获取人脸特征参数的实施方式有很多，本申请实施例对具体的人脸特征参数提取方式不做固定限制，在此不多赘述。本申请实施例采集的人脸特征参数主要包括人脸五官特征，发型，眉型，眼镜类型，胡子形状，脸部肤色，发色等特征参数，根据实际需要，还可以适应性增加对应人脸特征细节的识别。
需要说明的是，在采集第一客户端的直播截图时，服务器端可以采集连续多帧直播截图进行人脸识别，以避免单一直播截图的图像质量较差影响人脸识别效果。此外，在基于直播截图进行人脸识别时，若没有检测到直播截图中的人脸目标，则服务器端通过重新发送截图请求至第一客户端以重新采集直播截图。或者服务器端提取上一次采集的直播截图进行人脸识别，以获取对应的人脸特征参数进行3D人脸动画创建。
在一个实施例中，服务器端预先存储对应主播的人脸图像，基于预存的人脸图像检测直播截图，以此可实现直播截图中人脸目标的快速检测，对于存在多张人脸的直播截图，可以提升主播人脸检测及其特征参数的识别获取效率，优化人脸识别效果。
在一个实施例中，服务器端还根据获取到的所述人脸特征参数对应更新在先采集的人脸特征参数。可以理解的是，服务器每隔一个设定时间段就进行直播截图的采集，对应采集到的直播截图进行人脸特征参数的获取并存储，则为了减少服务器端人脸特征参数的重复存储，对于在先存储的人脸特征参数则进行清除，以此可减少服务器端的数据存储压力，保障人脸特征参数采集存储的实时性。
S120、响应于第二客户端的虚拟礼物关联操作，根据所述人脸特征参数构建3D人脸动画，并根据所述虚拟礼物关联操作确定对应的3D礼物动画模板，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效并输出至所述第一客户端和所述第二客户端展示。
进一步的，参照图2，当观众使用第二客户端12观看网络直播时，通过与第二客户端12的相关交互操作向主播发送虚拟礼物，当观众发送虚拟礼物时，则对应触发虚拟礼物关联操作。基于上述预先采集存储的人脸特征参数，当第二客户端12触发虚拟礼物关联操作时，将虚拟礼物关联操作上传至服务器端13，则服务器端13响应于该虚拟礼物关联操作进行礼物动效的生成及展示。其中，在生成礼物动效时，首先根据预先采集存储的人脸特征参数进行3D人脸动画的创建。参照图3，3D人脸动画构建流程包括：
S1201、将所述人脸特征参数输入预先训练的人脸动画创建模型，基于所述人脸特征参数进行特征建模，生成对应的特征素材；
S1202、将各个所述特征素材进行组装拼接，构建3D人脸动画。
其中，特征建模包括脸部特征建模、发型特征建模和眉形特征建模；对应的，特征素材包括脸部特征素材、发型特征素材和眉形特征素材。在进行3D人脸动画构建时，基于预先训练的人脸动画创建模型进行人脸动画创建，人脸动画创建模型包括两个部分，分别用于进行脸部特征建模以及发型特征和眉型特征建模。其中，在基于所述人脸特征参数进行脸部特征建模时，基于对应的所述人脸特征参数使用混合形状优化算法确定人脸混合形状权重，基于所述人脸混合形状权重进行脸部特征建模。
具体的，脸部特征建模部分采用混合形状优化算法(blendshape算法)进行建模。通过预先创建不同的blendshape来对不同脸型特征进行建模，例如宽脸blendshape，长脸blendshape，大眼blendshape等。利用该混合形状优化算法可以从人脸特征参数中获得一组blendshape权重，每一维权重对应一个人脸特征的特征程度，利用该权重对blendshape进行混合，即可根据主播的人脸特征参数进行脸部特征建模，得到对应的脸部特征素材。
另一方面，在进行发型特征和眉型特征建模时，则需预先对不同类型的发型特征和眉型特征创建不同的模型，例如对于发型特征，需预先创建出长发、短发、辫子等3D模型。在对人脸特征参数进行分析提取出发型特征和眉型特征的参数信息之后，则根据这一参数信息选取对应的3D模型作为发型特征素材和眉型特征素材。
进一步的，基于上述脸部特征素材、发型特征素材和眉型特征素材，本申请实施例根据人脸特征参数确定脸部特征素材、发型特征素材和眉型特征的相对位置关系，基于该相对位置关系进行脸部特征素材、发型特征素材和眉型特征的拼接组装，得到对应的3D人脸动画。
在一个实施例中，提供另一种3D人脸动画的创建方式。服务器端首先构建一个三维人脸形状的重建模型，基于人脸识别获取到的人脸特征参数，确定主播人脸图像的各个特征点。进一步基于稀疏线性模型的优化算法，把所有特征点看成一个整体，并将其组合成一个稀疏的形状向量，然后利用训练集中的先验知识对稀疏向量有缺失的数据进行整体估计，从而获得各个特征点的类三维坐标，以此可获得相对准确、稳定的估计结果。在获得类三维坐标特征点后，利用基于特征点形变技术的三维人脸模型重建方法进行三维人脸模型重建，得到对应主播人脸的三维人脸模型。
进一步的，基于人脸特征参数分析进行人脸动画效果合成，获得人脸动画效果合成图。采用基于主动形状模型(Active Shape Model：ASM)技术的人脸特征点定位方法，并且根据人脸特征定位点进行尺度、旋转变换实现归一化。在获得人脸特征点的基础上，通过贝塞尔曲线(Bézier curve)连接的方式获得线条画效果的人脸动画图像。需要说明的是，现有技术基于人脸特征制作人脸动画的实施方式有很多，本申请实施例在此对具体的实现方式不做固定限制。
更进一步的，基于上述生成的三维人脸模型和人脸动画，服务器端对三维人脸模型和人脸动画分别进行Delaunay(三角剖分算法)三角剖分。首先将三维人脸模型的点投影到二维图像平面，在二维图像平面上进行Delaunay三角剖分，最后根据其连接关系确定三维空间中点的连接关系，以此可以避免传统三维数据下进行Delaunay三角剖分的高复杂度运算。在获得Delaunay三角剖分结果后，结合人脸动画中人脸特征点以及三维人脸模型中的人脸特征点的对应关系实现纹理映射，将人脸动画作为纹理映射到估计得到的三维人脸模型上去，以此得到对应的3D人脸动画。需要说明的是，基于人脸特征参数构建3D人脸动画的方式有很多，本申请实施例对具体的构建细节不做固定限制，在此不多赘述。
进一步的，在完成3D人脸动画构建之后，即可根据虚拟礼物关联操作提取对应的3D礼物动画模板，基于3D人脸动画和3D礼物动画模板构建礼物动效。本申请实施例中，对于不同的虚拟礼物预先设定不同的3D礼物动画模板，礼物动效包含了预先设定的3D礼物动画模板以及3D人脸动画，以此来实现主播形象与礼物动效的结合。
其中，服务器端在根据虚拟礼物关联操作确定对应的3D礼物动画模板时，根据所述虚拟礼物关联操作确定对应的礼物id,对应提取所述礼物id预先绑定的3D礼物动画模板。可以理解的是，通过对应不同的虚拟礼物设置对应的礼物id，并将礼物id与对应的3D礼物动画模板绑定，后续在第二客户端触发虚拟礼物关联操作时，服务器端通过确定该虚拟礼物关联操作所对应的礼物id,即可根据绑定关系查询提取对应的3D礼物动画模板进行礼物动效的构建。
在一个实施例中，当需要进行礼物动效的修改时，根据需要修改的礼物id，将新的3D礼物动画模板替换原有的3D礼物动画模板，并将新的3D礼物动画模板与对应礼物id绑定，以此即可实现对应礼物动效的修改，进一步优化礼物动效的管理、展示效果。
最终，根据提取到的3D礼物动画模板以及已构建的3D人脸动画，对应进行礼物动效的合成。在基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效时，通过定位所述3D礼物动画模板各个图像帧的嵌入位置，将所述3D人脸动画逐帧加载至所述嵌入位置，生成对应的礼物动效。可以理解的是，礼物动效以视频动画的形式输出展示，其包含了多帧视频帧。则在构建礼物动效时，需要将3D人脸动画粘贴至3D礼物动画模板各个图像帧的嵌入位置。并且，在逐个图像帧粘贴3D人脸动画时，通过定位图像帧上的嵌入位置，进而将3D人脸动画对应粘贴至该嵌入位置。可以理解的是，礼物动效的各个视频帧通过适当的图像变化可以优化展示效果。因此，需要预先设置3D礼物动画模板各个图像帧的嵌入位置信息，通过嵌入位置的变化来实现礼物动效中各个视频帧的变化。此外，根据实际需要，也可以将3D礼物动画模板的各个图像帧设置成不同的形式，以进一步优化礼物动效展示效果。需要说明的是，3D礼物动画模板需要对应其各个图像帧预先设定嵌入位置的位置参数，以便于后续服务器准确定位嵌入位置，将3D人脸动画粘贴至对应的嵌入位置。
在一个实施例中，服务器端在将所述3D人脸动画逐帧加载至所述嵌入位置时，还基于各个所述图像帧预设定的加载展示参数对应将所述3D人脸动画逐帧加载至所述嵌入位置。为了进一步优化礼物动效的展示效果，本申请实施例对应3D人脸动画在礼物动效各个视频帧的具体展示细节进行适应性设置，通过在3D礼物动画模板中设定各个3D人脸动画的加载展示参数，可以将3D人脸动画以不同的形式粘贴至3D礼物动画模板各个图像帧的嵌入位置上。依此得到的礼物动效的各个视频帧中，其3D人脸动画的展示效果也有所变化，从而使3D人脸动画在礼物动效的各个视频帧展示不同效果，进而优化礼物动效的展示。需要说明的是，所述加载展示参数包括所述3D人脸动画的图像展示尺寸和图像展示方向，通过对应3D礼物动画模板的不同图像帧设置加载展示参数，以加载展示参数来约束3D人脸动画的图像展示尺寸和图像展示方向，进而使3D人脸动画粘贴至嵌入位置后得到的各个视频帧上展示不同尺寸、不同方向的3D人脸动画，以此来进一步优化礼物动效的展示效果，进一步提升虚拟礼物展示的趣味性。。
示例性的，在网络直播场景中，主播利用第一客户端上传直播画面至服务器端，服务器端将直播画面输送至各个第二客户端以供各个观众观看。当观众需要送出虚拟礼物时，通过点击第二客户端直播节目上的相关虚拟礼物图标，基于该虚拟礼物图标的点击触发虚拟礼物关联操作。参照图4，对应服务器一端，会在直播场景中定时采集主播的人脸特征参数，通过截图请求向第一客户端请求直播截图，基于直播截图进行人脸识别，获取主播的人脸特征参数并定时进行更新。在触发虚拟礼物关联操作之后，服务器端通过接收该虚拟礼物关联操作，进行该虚拟礼物关联操作的响应。其中，通过预先采集存储的人脸特征参数构建3D人脸动画，并基于虚拟礼物关联操作对应的礼物id确定3D礼物动画模板，进而将3D人脸动画嵌入3D礼物动画模板，生成对应的礼物动效。进而将礼物动效发送至第一客户端和第二客户端，以将礼物动效分别展示在第一客户端和第二客户端的直播节目上，进而实现主播形象与虚拟礼物的结合，提升网络直播互动效果。
另一方面，在网络视频直播通话过程中，对应第一客户端和第二客户端的两个用户也可以通过礼物动效来增强视频通话的趣味性和互动效果。可以理解的是，通过在视频直播通话过程中获取对应用户的视频直播通话截图，基于该直播通话截图构建对应用户的3D人脸动画，进而在视频主播通话过程中，根据对应用户的虚拟礼物相关操作将3D人脸动画嵌入预设定的3D礼物动画模板生成礼物动效，将礼物动效展示在视频直播通话界面，以此来增强视频通话的互动效果。此外，本申请实施例的基于3D人脸动画重建的礼物动效展示方法还可以在线上游戏、聊天室等场景中实施，通过礼物动效展示来优化虚拟礼物的展示效果，进而优化对应场景用户的互动效果。
上述，通过定时采集第一客户端的直播截图，基于直播截图进行人脸识别，获取对应的人脸特征参数，响应于第二客户端的虚拟礼物关联操作，根据人脸特征参数构建3D人脸动画，并根据虚拟礼物关联操作确定对应的3D礼物动画模板，基于3D人脸动画和3D礼物动画模板构建礼物动效并输出至第一客户端和第二客户端展示。采用上述技术手段，通过重建3D人脸动画并嵌入预设定的3D礼物动画模板，生成3D礼物动效进行输出展示，以此可以将主播3D人脸动画与礼物动效进行结合展示，进而提升礼物动效展示的趣味性，并优化网络直播的互动效果，优化用户对网络直播应用的使用体验。
实施例二：
在上述实施例的基础上，图5为本申请实施例二提供的一种基于3D人脸动画重建的礼物动效展示系统的结构示意图。参考图5，本实施例提供的基于3D人脸动画重建的礼物动效展示系统具体包括：采集模块21和展示模块22。
其中，采集模块21用于定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数；
展示模块22用于响应于第二客户端的虚拟礼物关联操作，根据所述人脸特征参数构建3D人脸动画，并根据所述虚拟礼物关联操作确定对应的3D礼物动画模板，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效并输出至所述第一客户端和所述第二客户端展示。
上述，通过定时采集第一客户端的直播截图，基于直播截图进行人脸识别，获取对应的人脸特征参数，响应于第二客户端的虚拟礼物关联操作，根据人脸特征参数构建3D人脸动画，并根据虚拟礼物关联操作确定对应的3D礼物动画模板，基于3D人脸动画和3D礼物动画模板构建礼物动效并输出至第一客户端和第二客户端展示。采用上述技术手段，通过重建3D人脸动画并嵌入预设定的3D礼物动画模板，生成3D礼物动效进行输出展示，以此可以将主播3D人脸动画与礼物动效进行结合展示，进而提升礼物动效展示的趣味性，并优化网络直播的互动效果，优化观众对网络直播应用的使用体验。
本申请实施例二提供的基于3D人脸动画重建的礼物动效展示系统可以用于执行上述实施例一提供的基于3D人脸动画重建的礼物动效展示方法，具备相应的功能和有益效果。
实施例三：
本申请实施例三提供了一种电子设备，参照图6，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的基于3D人脸动画重建的礼物动效展示方法对应的程序指令/模块(例如，基于3D人脸动画重建的礼物动效展示系统的采集模块和展示模块)。通信模块33用于进行数据传输。处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于3D人脸动画重建的礼物动效展示方法。输入装置34可用于接收输入的数字或字符信息，以及产生与设备的观众设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。上述提供的电子设备可用于执行上述实施例一提供的基于3D人脸动画重建的礼物动效展示方法，具备相应的功能和有益效果。
实施例四：
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行上述一种基于3D人脸动画重建的礼物动效展示方法，存储介质可以是任何的各种类型的存储器设备或存储设备。当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于3D人脸动画重建的礼物动效展示方法，还可以执行本申请任意实施例所提供的基于3D人脸动画重建的礼物动效展示方法中的相关操作。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (9)

1.一种基于3D人脸动画重建的礼物动效展示方法，其特征在于，包括：
定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数，所述第一客户端基于预存人脸图像检测所述直播截图的人脸；
响应于第二客户端的虚拟礼物关联操作，根据所述人脸特征参数构建3D人脸动画，并根据所述虚拟礼物关联操作确定对应的3D礼物动画模板，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效并输出至所述第一客户端和所述第二客户端展示；
根据所述人脸特征参数构建3D人脸动画，包括：
将所述人脸特征参数输入预先训练的人脸动画创建模型，基于所述人脸特征参数进行特征建模，生成对应的特征素材；
将各个所述特征素材进行组装拼接，构建3D人脸动画；
所述特征建模包括脸部特征建模、发型特征建模和眉形特征建模；
对应的，所述特征素材包括脸部特征素材、发型特征素材和眉形特征素材。
2.根据权利要求1所述的基于3D人脸动画重建的礼物动效展示方法，其特征在于，所述脸部特征建模包括：
基于对应的所述人脸特征参数使用混合形状优化算法确定人脸混合形状权重，基于所述人脸混合形状权重进行脸部特征建模。
3.根据权利要求1所述的基于3D人脸动画重建的礼物动效展示方法，其特征在于，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效，包括：
定位所述3D礼物动画模板各个图像帧的嵌入位置，将所述3D人脸动画逐帧加载至所述嵌入位置，生成对应的礼物动效。
4.根据权利要求3所述的基于3D人脸动画重建的礼物动效展示方法，其特征在于，将所述3D人脸动画逐帧加载至所述嵌入位置，包括：
基于各个所述图像帧预设定的加载展示参数对应将所述3D人脸动画逐帧加载至所述嵌入位置。
5.根据权利要求4所述的基于3D人脸动画重建的礼物动效展示方法，其特征在于，所述加载展示参数包括所述3D人脸动画的图像展示尺寸和图像展示方向。
6.根据权利要求1所述的基于3D人脸动画重建的礼物动效展示方法，其特征在于，定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数之后，还包括：
根据获取到的所述人脸特征参数对应更新在先采集的人脸特征参数。
7.一种基于3D人脸动画重建的礼物动效展示系统，其特征在于，包括：
采集模块，用于定时采集第一客户端的直播截图，基于所述直播截图进行人脸识别，获取对应的人脸特征参数，所述第一客户端基于预存人脸图像检测所述直播截图的人脸；
展示模块，用于响应于第二客户端的虚拟礼物关联操作，根据所述人脸特征参数构建3D人脸动画，并根据所述虚拟礼物关联操作确定对应的3D礼物动画模板，基于所述3D人脸动画和所述3D礼物动画模板构建礼物动效并输出至所述第一客户端和所述第二客户端展示；
根据所述人脸特征参数构建3D人脸动画，包括：
将所述人脸特征参数输入预先训练的人脸动画创建模型，基于所述人脸特征参数进行特征建模，生成对应的特征素材；
将各个所述特征素材进行组装拼接，构建3D人脸动画；
所述特征建模包括脸部特征建模、发型特征建模和眉形特征建模；
对应的，所述特征素材包括脸部特征素材、发型特征素材和眉形特征素材。
8.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的基于3D人脸动画重建的礼物动效展示方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一所述的基于3D人脸动画重建的礼物动效展示方法。
CN202110150950.2A 2021-02-03 2021-02-03 一种基于3d人脸动画重建的礼物动效展示方法及系统 Active CN112866741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110150950.2A CN112866741B (zh) 2021-02-03 2021-02-03 一种基于3d人脸动画重建的礼物动效展示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110150950.2A CN112866741B (zh) 2021-02-03 2021-02-03 一种基于3d人脸动画重建的礼物动效展示方法及系统

Publications (2)

Publication Number Publication Date
CN112866741A CN112866741A (zh) 2021-05-28
CN112866741B true CN112866741B (zh) 2023-03-31

Family

ID=75987807

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110150950.2A Active CN112866741B (zh) 2021-02-03 2021-02-03 一种基于3d人脸动画重建的礼物动效展示方法及系统

Country Status (1)

Country Link
CN (1) CN112866741B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928748A (zh) * 2022-04-07 2022-08-19 广州方硅信息技术有限公司 虚拟礼物的动效视频的渲染处理方法、终端及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519612A (zh) * 2019-08-26 2019-11-29 广州华多网络科技有限公司 连麦互动方法、直播系统、电子设备及存储介质
CN111277890A (zh) * 2020-02-25 2020-06-12 广州华多网络科技有限公司 虚拟礼物的获取方法和三维全景直播间的生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104410923A (zh) * 2013-11-14 2015-03-11 贵阳朗玛信息技术股份有限公司 基于视频聊天室的动画呈现方法及装置
CN109151539B (zh) * 2017-06-16 2021-05-28 武汉斗鱼网络科技有限公司 一种基于unity3d的视频直播方法、系统及设备
CN110689570B (zh) * 2019-09-29 2020-11-27 北京达佳互联信息技术有限公司 虚拟形象直播方法、装置、电子设备及存储介质
CN111970533B (zh) * 2020-08-28 2022-11-04 北京达佳互联信息技术有限公司 直播间的互动方法、装置及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519612A (zh) * 2019-08-26 2019-11-29 广州华多网络科技有限公司 连麦互动方法、直播系统、电子设备及存储介质
CN111277890A (zh) * 2020-02-25 2020-06-12 广州华多网络科技有限公司 虚拟礼物的获取方法和三维全景直播间的生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高立伟 ; .浅析三维动画与虚拟现实技术.中国传媒科技.2017,(第01期),第121、122页. *

Also Published As

Publication number Publication date
CN112866741A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
CN110390704B (zh) 图像处理方法、装置、终端设备及存储介质
CN110163054B (zh) 一种人脸三维图像生成方法和装置
CN112598785B (zh) 虚拟形象的三维模型生成方法、装置、设备及存储介质
JP7268071B2 (ja) バーチャルアバターの生成方法及び生成装置
CN113313818B (zh) 一种三维重建方法、装置及系统
CN107610239B (zh) 一种脸谱的虚拟试戴方法及装置
CN111182350B (zh) 图像处理方法、装置、终端设备及存储介质
CN114821675B (zh) 对象的处理方法、系统和处理器
WO2016184285A1 (zh) 物品图像处理方法、装置和系统
CN112866741B (zh) 一种基于3d人脸动画重建的礼物动效展示方法及系统
CN110691010B (zh) 跨平台跨终端vr/ar产品信息展示系统
CN114169546A (zh) 一种基于深度学习的mr远程协同装配系统及方法
CN108513090B (zh) 群组视频会话的方法及装置
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN115222899B (zh) 虚拟数字人生成方法、系统、计算机设备及存储介质
CN116630508A (zh) 3d模型处理方法、装置及电子设备
CN116630485A (zh) 虚拟形象的驱动方法、虚拟形象的渲染方法以及电子设备
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
CN114998514A (zh) 一种虚拟角色的生成方法及设备
CN114422862A (zh) 服务视频生成方法、装置、设备、存储介质和程序产品
CN113298956A (zh) 图像处理方法、美甲方法、美妆方法和装置、终端设备
CN116204167B (zh) 一种全流程可视化编辑虚拟现实vr实现方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant