CN109922355B - 虚拟形象直播方法、虚拟形象直播装置和电子设备 - Google Patents

虚拟形象直播方法、虚拟形象直播装置和电子设备 Download PDF

Info

Publication number
CN109922355B
CN109922355B CN201910252004.1A CN201910252004A CN109922355B CN 109922355 B CN109922355 B CN 109922355B CN 201910252004 A CN201910252004 A CN 201910252004A CN 109922355 B CN109922355 B CN 109922355B
Authority
CN
China
Prior art keywords
face
image
avatar
target
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910252004.1A
Other languages
English (en)
Other versions
CN109922355A (zh
Inventor
吴昊
许杰
蓝永峰
李政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Information Technology Co Ltd
Original Assignee
Guangzhou Huya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Information Technology Co Ltd filed Critical Guangzhou Huya Information Technology Co Ltd
Priority to CN201910252004.1A priority Critical patent/CN109922355B/zh
Publication of CN109922355A publication Critical patent/CN109922355A/zh
Priority to SG11202101018UA priority patent/SG11202101018UA/en
Priority to PCT/CN2020/081625 priority patent/WO2020200080A1/zh
Priority to US17/264,546 priority patent/US20210312161A1/en
Application granted granted Critical
Publication of CN109922355B publication Critical patent/CN109922355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Abstract

本申请提供的虚拟形象直播方法、虚拟形象直播装置和电子设备，涉及网络直播技术领域。首先，通过图像获取设备获取主播的图像；然后，对图像进行人脸识别，并在图像中识别到人脸图像时，提取该人脸图像的多个人脸特征点；最后，根据多个人脸特征点和针对虚拟形象预先构建的多个面部模型对虚拟形象的面部状态进行控制。通过上述方法，可以改善现有的虚拟形象直播中存在着用户体验度较低的问题。

Description

虚拟形象直播方法、虚拟形象直播装置和电子设备
技术领域
本申请涉及网络直播技术领域，具体而言，涉及一种虚拟形象直播方法、虚拟形象直播装置和电子设备。
背景技术
现有技术中，为了提高网络直播的趣味性，可以采用虚拟形象替代主播的实际形象在直播画面中进行展示。但是，在现有的直播技术中虚拟形象的面部状态表现较为单一，在用户观看展示的虚拟形象时存在着体验度较低的问题，难以贴合主播的后台表现，互动感不强。
发明内容
有鉴于此，本申请的目的在于提供一种虚拟形象直播方法、虚拟形象直播装置和电子设备，以改善现有的虚拟形象直播中存在着用户体验度较低的问题。
为实现上述目的，本申请实施例采用如下技术方案：
一种虚拟形象直播方法，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述方法包括：
通过图像获取设备获取主播的视频帧；
对所述视频帧进行人脸识别，并在所述视频帧中识别到人脸图像时，对该人脸图像进行特征提取处理，得到多个人脸特征点；
根据所述多个人脸特征点和针对所述虚拟形象预先构建的多个面部模型对所述虚拟形象的面部状态进行控制。
在本申请实施例较佳的选择中，在上述虚拟形象直播方法中，所述根据所述多个人脸特征点以及针对所述虚拟形象预先构建的多个面部模型对所述虚拟形象的面部状态进行控制的步骤，包括：
根据所述多个人脸特征点得到主播的当前面部信息；
根据所述当前面部信息从针对所述虚拟形象预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型；以及
根据所述目标面部模型对所述虚拟形象的面部状态进行控制。
在本申请实施例较佳的选择中，在上述虚拟形象直播方法中，所述根据所述当前面部信息从针对所述虚拟形象预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型的步骤，具体为：
将所述当前面部信息与针对所述虚拟形象预先构建的多个面部模型分别进行匹配度计算，并将匹配度满足预设条件的面部模型确定为所述当前面部信息对应的目标面部模型。
在本申请实施例较佳的选择中，在上述虚拟形象直播方法中，还包括：
对执行所述特征提取处理时需要提取的目标特征点进行确定。
在本申请实施例较佳的选择中，在上述虚拟形象直播方法中，所述对执行所述特征提取处理时需要提取的目标特征点进行确定的步骤，包括：
获取主播在不同面部状态下的多个面部图像，并选取其中一个作为参考图像；
按照预设的特征提取方法分别提取出每个所述面部图像中包括的预设数量个人脸特征点；
针对每个面部图像，将该面部图像中提取出的各人脸特征点与所述参考图像中提取出的各人脸特征点进行对比，得到该面部图像中各人脸特征点相对于所述参考图像中各人脸特征点的变化值；
将变化值大于预设阈值的人脸特征点作为执行所述特征提取处理时需要提取的目标特征点。
在本申请实施例较佳的选择中，在上述虚拟形象直播方法中，所述对执行所述特征提取处理时需要提取的目标特征点进行确定的步骤，包括：
根据主播的历史直播数据确定执行所述特征提取处理时需要提取的目标特征点的数量。
在本申请实施例较佳的选择中，在上述虚拟形象直播方法中，所述人脸图像为深度图像，该深度图像具有各所述人脸特征点的位置信息和深度信息。
本申请实施例还提供了一种虚拟形象直播装置，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述装置包括：
视频帧获取模块，用于通过图像获取设备获取主播的视频帧；
特征点提取模块，用于对所述视频帧进行人脸识别，并在所述视频帧中识别到人脸图像时，对该人脸图像进行特征提取处理，得到多个人脸特征点；
面部状态控制模块，用于根据所述多个人脸特征点和针对所述虚拟形象预先构建的多个面部模型对所述虚拟形象的面部状态进行控制。
在上述基础上，本申请实施例还提供了一种电子设备，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现上述的虚拟形象直播方法的步骤。
在上述基础上，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现上述的虚拟形象直播方法的步骤。
本申请提供的虚拟形象直播方法、虚拟形象直播装置和电子设备，在直播时基于主播的实时人脸图像提取人脸特征点进行计算后再对虚拟形象的面部状态进行控制，一方面使得虚拟形象的面部状态具有更好的灵动性，另一方面可以使得虚拟形象的面部状态与主播的实际状态具有较高的一致性，从而有效地提高直播的趣味性，进而提高用户体验度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的直播系统的系统框图。
图2为本申请实施例提供的电子设备的方框示意图。
图3为本申请实施例提供的虚拟形象直播方法的流程示意图。
图4为图3中步骤S150包括的子步骤的流程示意图。
图5为本申请实施例提供的对目标特征点进行确定的流程示意图。
图6为本申请实施例提供的人脸特征点的示意图。
图7为本申请实施例提供的人脸特征点的另一示意图。
图8为本申请实施例提供的虚拟形象直播装置包括的功能模块的方框示意图。
图标：10-电子设备；12-存储器；14-处理器；20-第一终端；30-第二终端；40-后台服务器；100-虚拟形象直播装置；110-视频帧获取模块；130-特征点提取模块；150-面部状态控制模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本申请的描述中，术语“第一”、“第二”、“第三”、“第四”等仅用于区分描述，而不能理解为只是或暗示相对重要性。
如图1所示，本申请实施例提供了一种直播系统，该直播系统可以包括第一终端20、第二终端30和与该第一终端20和该第二终端30分别通信连接的后台服务器40。
其中，所述第一终端20可以为主播在直播时使用的终端设备(如手机、平板电脑、电脑等)，所述第二终端30可以为观众在观看直播时使用的终端设备(如手机、平板电脑、电脑等)。
结合图2，本申请实施例还提供了一种电子设备10。其中，该电子设备10可以作为一种直播设备，例如，可以是主播在直播时使用的终端设备(如上述的第一终端20)，也可以是与主播在直播时使用终端设备通信连接的服务器(如上述的后台服务器40)。
详细地，所述电子设备10可以包括存储器12、处理器14和虚拟形象直播装置100。所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述虚拟形象直播装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述虚拟形象直播装置100所包括的软件功能模块及计算机程序等，以实现虚拟形象直播方法，进而保证基于该虚拟形象直播方法进行直播时，虚拟形象的面部状态具有更好的灵动性，以提高直播的趣味性，进而提高用户体验度。
其中，所述存储器12可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器12用于存储程序，所述处理器14在接收到执行指令后，执行所述程序。
所述处理器14可能是一种集成电路芯片，具有信号的处理能力。例如，可以是中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、片上系统(System on Chip,SoC)、数字信号处理器(DSP)等，以实现或者执行本申请实施例中的公开的各方法、步骤。
可以理解，图2所示的结构仅为示意，所述电子设备10还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置，例如，还可以包括用于与其它直播设备进行信息交互的通信单元。其中，图2中所示的各组件可以采用硬件、软件或其组合实现。
结合图3，本申请实施例还提供一种可应用于上述电子设备10的虚拟形象直播方法，用于对直播画面中展示的虚拟形象进行控制。其中，所述虚拟形象直播方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图3所示的具体流程进行详细阐述。
步骤S110，通过图像获取设备获取主播的视频帧。
步骤S130，对所述视频帧进行人脸识别，并在所述视频帧中识别到人脸图像时，对该人脸图像进行特征提取处理，得到多个人脸特征点。
步骤S150，根据所述多个人脸特征点和针对所述虚拟形象预先构建的多个面部模型对所述虚拟形象的面部状态进行控制。
详细地，在步骤S110中，主播开始直播时，所述图像获取设备(如摄像头)可以实时采集主播的图像，以形成视频并传输至连接的终端设备。其中，在一种示例中，若执行所述虚拟形象直播方法的电子设备10为所述终端设备时，该终端设备可以对该视频进行处理，得到对应的视频帧。在另一种示例中，若执行所述虚拟形象直播方法的电子设备10为后台服务器40，所述终端设备可以将视频发送至该后台服务器40，以使该后台服务器40对该视频进行处理，得到对应的视频帧。
在本实施例中，通过步骤S110获取到主播的视频帧之后，由于该视频帧可能是包括主播身体的任何一个部位或多个部位的一张图片，且该张图片中既可能包括主播的脸部信息，也可能不包括主播的脸部信息(如背影图)。因此，在得到所述视频帧之后，可以对该视频帧进行人脸识别，以判断该视频帧中是否具有主播的脸部信息。然后，在判断出所述视频帧中具有主播的脸部信息时，也就是在该视频帧中识别到人脸图像时，再进一步对该人脸图像进行特征提取处理，以得到多个人脸特征点。
其中，所述人脸特征点可以是，脸部具有较高标识性的特征点，例如，可以包括，但不限于，嘴唇、鼻子、眼睛和眉毛等部位的特征点。
在本实施例中，通过步骤S130得到主播的多个人脸特征点之后，可以在多个面部模型中确定与该多个人脸特征点对应的目标面部模型，并根据该面部模型的虚拟形象的面部状态进行控制。
其中，所述多个面部模型为针对所述虚拟形象预先进行构建的，并且，针对不同的面部状态分别构建20、50、70、100或其它数量的面部模型，例如，可以包括，但不限于张嘴状态的模型、闭嘴状态的模型、闭眼状态的模型、睁眼状态的模型、大笑状态的模型、悲伤状态的模型、生气状态的模型等。
通过上述方法，可以在直播时根据主播的面部状态对虚拟形象的面部状态进行同步控制，使得虚拟形象的面部状态能够在较大程度上反映主播的面部状态，进而保证虚拟形象的面部状态能够与主播输出的语音或文字内容具有较高的一致性，以提高用户的体验。例如，在主播比较疲倦的时候，主播表示“想休息了”，眼睛的张开程度一般较小，此时，若虚拟形象的眼睛的张开程度还比较大，就会导致用户的体验度下降的问题。并且，主播在直播时面部状态一般会发生较多的变化，因此，基于主播的面部状态对虚拟形象的面部状态进行控制，可以使虚拟形象的面部状态具有多样性，从而使得虚拟形象更加灵动，进而提高直播的趣味性。
可选地，步骤S110获取的视频帧既可以是二维的，也可以是三维的。相应地，所述图像获取设备既可以是普通摄像机，也可以是深度摄像机。
其中，在所述图像获取设备为深度摄像机时，所述人脸图像中为深度图像，该深度图像具有各所述人脸特征点的位置信息和深度信息。因此，在基于该人脸特征点进行处理时，可以基于该位置信息确定人脸特征点的二维平面坐标，然后，再结合对应的深度信息将该二维平面坐标转换为三维空间坐标。
可选地，执行步骤S150的具体方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，结合图4，步骤S150可以包括步骤S151、步骤S153和步骤S155，具体内容如下所述。
步骤S151，根据所述多个人脸特征点得到主播的当前面部信息。
在本实施例中，所述面部信息的具体内容不受限制，并且，基于内容的不同，根据人脸特征点得到面部信息的方式也可以不同。
例如，在一种可以替代的示例中，可以基于所述多个人脸特征点进行表情分析，以得到主播当前的面部表情(如微笑、大笑等)。也就是说，所述面部信息可以是指主播的面部表情。
又例如，在另一种可以替代的示例中，可以基于各人脸特征点之间的相对位置关系和确定的坐标系，得到各人脸特征点的位置信息或坐标信息。也就是说，所述面部信息可以是指各人脸特征点的位置信息或坐标信息。
步骤S153，根据所述当前面部信息从针对所述虚拟形象预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型。
在本实施例中，通过步骤S151得到主播的当前面部信息之后，可以在预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型。
其中，在所述多个面部模型中获取与该当前面部信息对应的目标面部模型的具体方式不受限制，例如，根据所述面部信息的内容不同，获取的方式可以不同。
详细地，在一种可以替代的示例中，若所述面部信息为主播的面部表情，可以基于预先确定的对应关系在多个面部模型中获取与该当前面部信息对应的目标面部模型。其中，所述对应关系可以如下表所示：
面部表情1(如微笑) 面部模型A
面部表情2(如大笑) 面部模型B
面部表情3(如皱眉) 面部模型C
面部表情4(如怒目) 面部模型D
又例如，在另一种可以替代的示例中，所述面部信息可以是指各人脸特征点的坐标信息，可以将所述坐标信息与所述多个面部模型分别进行匹配度计算，并将匹配度满足预设条件的面部模型确定为所述坐标信息对应的目标面部模型。
详细地，可以基于坐标信息将各人脸特征点和面部模型中的各特征点进行相似度计算，并将相似度最大的面部模型确定为目标面部模型。例如，若与面部模型A的相似度为80％，与面部模型B的相似度为77％，与面部模型C的相似度为70％，与面部模型D的相似度为65％，那么，可以将面部模型A确定为目标面部模型。采用这种相似度计算，相较于单纯的面部表情匹配的方式，主播人脸与所述面部模型的匹配精确度更高，相应地，虚拟形象展示出来的内容则更贴合主播的当前状态，实现更为逼真的直播，互动效果更好。
需要说明的是，若执行步骤S153的设备为终端设备，在执行步骤S153时，该终端设备可以从通信连接的后台服务器40中调取所述多个面部模型。
步骤S155，根据所述目标面部模型对所述虚拟形象的面部状态进行控制。
在本实施例中，通过步骤S153确定目标面部模型之后，可以基于该目标面部模型对虚拟形象的面部状态进行控制。例如，可以基于该目标面部模型对虚拟形象的面部图像进行渲染，从而实现对面部状态的控制。
进一步地，在本实施例中，在执行步骤S130之前，还可以对执行步骤S130时需要提取的人脸特征点进行确定。也就是说，所述虚拟形象直播方法还可以包括以下步骤：对执行所述特征提取处理时需要提取的目标特征点进行确定。
其中，对所述目标特征点进行确定的方式不受限制，可以根据实际应用需求进行选择。例如，在一种可以替代的示例中，结合图5，进行目标特征点确定的步骤可以包括步骤S171、步骤S173、步骤S175和步骤S177，具体内容如下所述。
步骤S171，获取主播在不同面部状态下的多个面部图像，并选取其中一个作为参考图像。
在本实施例中，可以先获取主播在不同面部状态下的多个面部图像。例如，可以是针对每一种面部状态获取一个面部图像，如正常状态(无表情)下的一个面部图像、微笑状态下的一个面部图像、大笑状态下的一个面部图像、皱眉状态下的一个面部图像、怒目状态下的一个面部图像等按照需要预先获取的多张面部图像。
其中，在得到多个面部图像之后，可以在其中选择一个面部图像作为参考图像，例如，可以将正常状态下的面部图像作为参考图像，例如，所述正常状态下的一个面部图像。
需要说明的是，为了保证对目标特征点进行确定具有较高的准确性，所述多个面部图像可以是基于主播的同一个角度拍摄的多张图像，例如，可以都是摄像头正对主播脸部时拍摄的图像。
步骤S173，按照预设的特征提取方法分别提取出每个所述面部图像中包括的预设数量个人脸特征点。
在本实施例中，通过步骤S171得到多个面部图像之后，可以针对每个面部图像，在该面部图像中提取预设数量个(如200个或240个)人脸特征点。
步骤S175，针对每个面部图像，将该面部图像中提取出的各人脸特征点与所述参考图像中提取出的各人脸特征点进行对比，得到该面部图像中各人脸特征点相对于所述参考图像中各人脸特征点的变化值。
在本实施例中，通过步骤S173得到每个面部图像的人脸特征点之后，可以针对每个面部图像，将该面部图像中提取出的各人脸特征点与所述参考图像中提取出的各人脸特征点进行对比，得到该面部图像中各人脸特征点相对于所述参考图像中各人脸特征点的变化值。
例如，可以将面部图像A中的240个人脸特征点与参考图像中的240个人脸特征点分别进行对比，以得到240个人脸特征点在面部图像A与参考图像之间的变化值(可以是坐标之间的差值)。
需要说明的是，考虑到节约处理器资源的问题，在进行人脸特征点对比时，作为参考图像的面部图像可以不与该参考图像进行对比(同一图像，变化值为零)。
步骤S177，将变化值大于预设阈值的人脸特征点作为执行所述特征提取处理时需要提取的目标特征点。
在本实施例中，通过步骤S175得到各人脸特征点在不同图像中的变化值之后，可以基于该变化值与预设阈值进行比较，并将变化值大于预设阈值的人脸特征点作为目标特征点。
详细地，例如，针对主播的左嘴角特征点，在参考图像中该特征点的坐标为(0，0)，在面部图像A中该特征点的坐标为(1，0)，在面部图像B中该特征点的坐标为(2，0)，通过步骤S175可以得到左嘴角特征点对应的两个变化值1和2，那么，只要这两个变化值中最小的一个变化值小于预设阈值(如0.5)，就可以将该左嘴角特征点作为一个目标特征点。
通过上述方法，一方面，可以在保证确定的目标特征点能够有效地反映主播的面部状态；另一方面，还可以避免由于确定的目标特征点太多而导致在直播时电子设备10的计算量过大，进而导致直播的实时性较差或对电子设备10的性能要求过高的问题。如此，在步骤S173进行人脸特征点提取时，可只需要针对确定的目标特征点进行提取用于后续的计算，减少直播时的实时计算量，提升直播的流畅度。
需要说明的是，所述预设阈值的具体数值可以综合考虑电子设备10的性能、实时性需求以及面部状态控制的精度等因素进行确定。例如，在对面部状态的控制需要较高的精度时，可以设置一个较小的预设阈值，以使确定的目标特征点的数量较多(如图6所示，鼻子和嘴巴对应的特征点较多)。又例如，在对实时性需要较高时，可以设置一个较大的预设阈值，以使确定的目标特征点的数量较少(如图7所示，鼻子和嘴巴对应的特征点较少)。
进一步地，本申请实施例还提供了一种对所述目标特征点进行确定的方法。详细地，该方法可以包括以下步骤：根据主播的历史直播数据确定执行所述特征提取处理时需要提取的目标特征点的数量。
其中，所述历史直播数据的具体内容不受限制，例如，可以包括，但不限于收到的礼物的数量、直播的时长、弹幕的数量和主播的等级等参数中的至少一种。
例如，若主播的等级越高，所述目标特征点的数量可以越多。对应地，在该主播进行直播时，在直播画面中展示的虚拟形象的面部状态的控制精度也就越高，观众的体验也会越高。
结合图8，本申请实施例还提供一种可应用于上述电子设备10的虚拟形象直播装置100，用于对直播画面中展示的虚拟形象进行控制。其中，所述虚拟形象直播装置100可以包括视频帧获取模块110、特征点提取模块130和面部状态控制模块150。
所述视频帧获取模块110，用于通过图像获取设备获取主播的视频帧。在本实施例中，所述视频帧获取模块110可用于执行图3所示的步骤S110，关于所述视频帧获取模块110的相关内容可以参照前文对步骤S110的描述。
所述特征点提取模块130，用于对所述视频帧进行人脸识别，并在所述视频帧中识别到人脸图像时，对该人脸图像进行特征提取处理，得到多个人脸特征点。在本实施例中，所述特征点提取模块130可用于执行图3所示的步骤S130，关于所述特征点提取模块130的相关内容可以参照前文对步骤S130的描述。
所述面部状态控制模块150，用于根据所述多个人脸特征点和针对所述虚拟形象预先构建的多个面部模型对所述虚拟形象的面部状态进行控制。在本实施例中，所述面部状态控制模块150可用于执行图3所示的步骤S150，关于所述面部状态控制模块150的相关内容可以参照前文对步骤S150的描述。
其中，所述面部状态控制模块150可以包括面部信息获得子模块、面部模型获取子模块和面部状态控制子模块。
所述面部信息获得子模块，用于根据所述多个人脸特征点得到主播的当前面部信息。在本实施例中，所述面部信息获得子模块可用于执行图4所示的步骤S151，关于所述面部信息获得子模块的相关内容可以参照前文对步骤S151的描述。
所述面部模型获取子模块，用于根据所述当前面部信息从针对所述虚拟形象预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型。在本实施例中，所述面部模型获取子模块可用于执行图4所示的步骤S153，关于所述面部模型获取子模块的相关内容可以参照前文对步骤S153的描述。
所述面部状态控制子模块，用于根据所述目标面部模型对所述虚拟形象的面部状态进行控制。在本实施例中，所述面部状态控制子模块可用于执行图4所示的步骤S155，关于所述面部状态控制子模块的相关内容可以参照前文对步骤S155的描述。
详细地，所述面部模型获取子模块具体用于：将所述当前面部信息与针对所述虚拟形象预先构建的多个面部模型分别进行匹配度计算，并将匹配度满足预设条件的面部模型确定为所述当前面部信息对应的目标面部模型。
进一步地，所述虚拟形象直播装置100还可以包括特征点确定模块。其中，所述特征点确定模块，用于对执行所述特征提取处理时需要提取的目标特征点进行确定。
其中，在一种可以替代的示例中，所述特征点确定模块可以包括面部图像获取子模块、特征点提取子模块、特征点比较子模块和特征点确定子模块。
所述面部图像获取子模块，用于获取主播在不同面部状态下的多个面部图像，并选取其中一个作为参考图像。在本实施例中，所述面部图像获取子模块可用于执行图5所示的步骤S171，关于所述面部图像获取子模块的相关内容可以参照前文对步骤S171的描述。
所述特征点提取子模块，用于按照预设的特征提取方法分别提取出每个所述面部图像中包括的预设数量个人脸特征点。在本实施例中，所述特征点提取子模块可用于执行图5所示的步骤S173，关于所述特征点提取子模块的相关内容可以参照前文对步骤S173的描述。
所述特征点比较子模块，用于针对每个面部图像，将该面部图像中提取出的各人脸特征点与所述参考图像中提取出的各人脸特征点进行对比，得到该面部图像中各人脸特征点相对于所述参考图像中各人脸特征点的变化值。在本实施例中，所述特征点比较子模块可用于执行图5所示的步骤S175，关于所述特征点比较子模块的相关内容可以参照前文对步骤S175的描述。
所述特征点确定子模块，用于将变化值大于预设阈值的人脸特征点作为执行所述特征提取处理时需要提取的目标特征点。在本实施例中，所述特征点确定子模块可用于执行图5所示的步骤S177，关于所述特征点确定子模块的相关内容可以参照前文对步骤S177的描述。
在另一种可以替代示例中，所述特征点确定模块可以包括数量确定子模块。其中，所述数量确定子模块，用于根据主播的历史直播数据确定执行所述特征提取处理时需要提取的目标特征点的数量。
在本申请实施例中，对应于上述的虚拟形象直播方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述虚拟形象直播方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述虚拟形象直播方法的解释说明。
综上所述，本申请提供的虚拟形象直播方法、虚拟形象直播装置和电子设备，在直播时基于主播的实时人脸图像提取人脸特征点进行计算后再对虚拟形象的面部状态进行控制，一方面使得虚拟形象的面部状态具有更好的灵动性，另一方面可以使得虚拟形象的面部状态与主播的实际状态具有较高的一致性，从而有效地提高直播的趣味性，进而提高用户体验度。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种虚拟形象直播方法，其特征在于，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述方法包括：
通过图像获取设备获取主播的视频帧；
对所述视频帧进行人脸识别，并在所述视频帧中识别到人脸图像时，对该人脸图像进行特征提取处理，得到多个人脸特征点；
在针对所述虚拟形象预先构建的多个面部模型中确定与所述多个人脸特征点对应的目标面部模型，并根据该目标面部模型对所述虚拟形象的面部图像进行渲染；
所述方法还包括：
获取主播在不同面部状态下的多个面部图像，并选取其中一个作为参考图像；
按照预设的特征提取方法分别提取出每个所述面部图像中包括的预设数量个人脸特征点；
针对每个面部图像，将该面部图像中提取出的各人脸特征点与所述参考图像中提取出的各人脸特征点进行对比，得到该面部图像中各人脸特征点相对于所述参考图像中各人脸特征点的变化值；
将变化值大于预设阈值的人脸特征点作为执行所述特征提取处理时需要提取的目标特征点。
2.根据权利要求1所述的方法，其特征在于，所述在针对所述虚拟形象预先构建的多个面部模型中确定与所述多个人脸特征点对应的目标面部模型，并根据该目标面部模型对所述虚拟形象的面部状态进行控制的步骤，包括：
根据所述多个人脸特征点得到主播的当前面部信息；
根据所述当前面部信息从针对所述虚拟形象预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型；以及
根据所述目标面部模型对所述虚拟形象的面部状态进行控制。
3.根据权利要求2所述的虚拟形象直播方法，其特征在于，所述根据所述当前面部信息从针对所述虚拟形象预先构建的多个面部模型中获取与该当前面部信息对应的目标面部模型的步骤，具体为：
将所述当前面部信息与针对所述虚拟形象预先构建的多个面部模型分别进行匹配度计算，并将匹配度满足预设条件的面部模型确定为所述当前面部信息对应的目标面部模型。
4.根据权利要求1-3任意一项所述的虚拟形象直播方法，其特征在于，所述人脸图像为深度图像，该深度图像具有各所述人脸特征点的位置信息和深度信息。
5.一种虚拟形象直播装置，其特征在于，应用于直播设备，用于对直播画面中展示的虚拟形象进行控制，所述装置包括：
视频帧获取模块，用于通过图像获取设备获取主播的视频帧；
特征点提取模块，用于对所述视频帧进行人脸识别，并在所述视频帧中识别到人脸图像时，对该人脸图像进行特征提取处理，得到多个人脸特征点；
面部状态控制模块，用于在针对所述虚拟形象预先构建的多个面部模型中确定与所述多个人脸特征点对应的目标面部模型，并根据该目标面部模型对所述虚拟形象的面部图像进行渲染；
所述装置还包括特征点确定模块，用于：
获取主播在不同面部状态下的多个面部图像，并选取其中一个作为参考图像；按照预设的特征提取方法分别提取出每个所述面部图像中包括的预设数量个人脸特征点；针对每个面部图像，将该面部图像中提取出的各人脸特征点与所述参考图像中提取出的各人脸特征点进行对比，得到该面部图像中各人脸特征点相对于所述参考图像中各人脸特征点的变化值；将变化值大于预设阈值的人脸特征点作为执行所述特征提取处理时需要提取的目标特征点。
6.一种电子设备，其特征在于，包括存储器、处理器和存储于该存储器并能够在该处理器上运行的计算机程序，该计算机程序在该处理器上运行时实现权利要求1-4任意一项所述虚拟形象直播方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现权利要求1-4任意一项所述虚拟形象直播方法的步骤。
CN201910252004.1A 2019-03-29 2019-03-29 虚拟形象直播方法、虚拟形象直播装置和电子设备 Active CN109922355B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910252004.1A CN109922355B (zh) 2019-03-29 2019-03-29 虚拟形象直播方法、虚拟形象直播装置和电子设备
SG11202101018UA SG11202101018UA (en) 2019-03-29 2020-03-27 Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device
PCT/CN2020/081625 WO2020200080A1 (zh) 2019-03-29 2020-03-27 一种虚拟形象直播方法、虚拟形象直播装置和电子设备
US17/264,546 US20210312161A1 (en) 2019-03-29 2020-03-27 Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910252004.1A CN109922355B (zh) 2019-03-29 2019-03-29 虚拟形象直播方法、虚拟形象直播装置和电子设备

Publications (2)

Publication Number Publication Date
CN109922355A CN109922355A (zh) 2019-06-21
CN109922355B true CN109922355B (zh) 2020-04-17

Family

ID=66967761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910252004.1A Active CN109922355B (zh) 2019-03-29 2019-03-29 虚拟形象直播方法、虚拟形象直播装置和电子设备

Country Status (4)

Country Link
US (1) US20210312161A1 (zh)
CN (1) CN109922355B (zh)
SG (1) SG11202101018UA (zh)
WO (1) WO2020200080A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922355B (zh) * 2019-03-29 2020-04-17 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备
CN110427110B (zh) * 2019-08-01 2023-04-18 广州方硅信息技术有限公司 一种直播方法、装置以及直播服务器
CN110662083B (zh) * 2019-09-30 2022-04-22 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN110941332A (zh) * 2019-11-06 2020-03-31 北京百度网讯科技有限公司 表情驱动方法、装置、电子设备及存储介质
CN111402399B (zh) * 2020-03-10 2024-03-05 广州虎牙科技有限公司 人脸驱动和直播方法、装置、电子设备及存储介质
CN112102451B (zh) * 2020-07-28 2023-08-22 北京云舶在线科技有限公司 一种基于普通摄像头的无穿戴虚拟直播方法及设备
CN112511853B (zh) * 2020-11-26 2023-10-27 北京乐学帮网络技术有限公司 一种视频处理方法、装置、电子设备及存储介质
CN113038264B (zh) * 2021-03-01 2023-02-24 北京字节跳动网络技术有限公司 直播视频处理方法、装置、设备和存储介质
CN113240778B (zh) * 2021-04-26 2024-04-12 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、电子设备和存储介质
CN113946221A (zh) * 2021-11-03 2022-01-18 广州繁星互娱信息科技有限公司 眼部驱动控制方法和装置、存储介质及电子设备
CN113965773A (zh) * 2021-11-03 2022-01-21 广州繁星互娱信息科技有限公司 直播展示方法和装置、存储介质及电子设备
CN114422832A (zh) * 2022-01-17 2022-04-29 上海哔哩哔哩科技有限公司 主播虚拟形象生成方法及装置
CN114979682B (zh) * 2022-04-19 2023-10-13 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置
CN114998977B (zh) * 2022-07-28 2022-10-21 广东玄润数字信息科技股份有限公司 一种虚拟直播形象训练系统及方法
CN115314728A (zh) * 2022-07-29 2022-11-08 北京达佳互联信息技术有限公司 信息展示方法、系统、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
CN102654903A (zh) * 2011-03-04 2012-09-05 井维兰 一种人脸比对方法
CN105844221A (zh) * 2016-03-18 2016-08-10 常州大学 一种基于Vadaboost筛选特征块的人脸表情识别方法
CN106940792A (zh) * 2017-03-15 2017-07-11 中南林业科技大学 基于特征点运动的人脸表情序列截取方法
CN108184144A (zh) * 2017-12-27 2018-06-19 广州虎牙信息科技有限公司 一种直播方法、装置、存储介质及电子设备
CN109120985A (zh) * 2018-10-11 2019-01-01 广州虎牙信息科技有限公司 直播中的形象展示方法、装置和存储介质
CN109493403A (zh) * 2018-11-13 2019-03-19 北京中科嘉宁科技有限公司 一种基于运动单元表情映射实现人脸动画的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668346B2 (en) * 2006-03-21 2010-02-23 Microsoft Corporation Joint boosting feature selection for robust face recognition
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
US20080158230A1 (en) * 2006-12-29 2008-07-03 Pictureal Corp. Automatic facial animation using an image of a user
US9330483B2 (en) * 2011-04-11 2016-05-03 Intel Corporation Avatar facial expression techniques
US10269165B1 (en) * 2012-01-30 2019-04-23 Lucasfilm Entertainment Company Ltd. Facial animation models
CN103631370B (zh) * 2012-08-28 2019-01-25 腾讯科技（深圳）有限公司 一种控制虚拟形象的方法及装置
WO2014194439A1 (en) * 2013-06-04 2014-12-11 Intel Corporation Avatar-based video encoding
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和系统
CN107025678A (zh) * 2016-01-29 2017-08-08 掌赢信息科技（上海）有限公司 一种3d虚拟模型的驱动方法及装置
CN107333086A (zh) * 2016-04-29 2017-11-07 掌赢信息科技（上海）有限公司 一种在虚拟场景中进行视频通信的方法及装置
CN106331572A (zh) * 2016-08-26 2017-01-11 乐视控股（北京）有限公司 一种基于图像的控制方法和装置
CN108874114B (zh) * 2017-05-08 2021-08-03 腾讯科技（深圳）有限公司 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN107154069B (zh) * 2017-05-11 2021-02-02 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
CN107170030A (zh) * 2017-05-31 2017-09-15 珠海金山网络游戏科技有限公司 一种虚拟主播直播方法及系统
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和系统
CN107464291B (zh) * 2017-08-22 2020-12-29 广州魔发科技有限公司 一种脸部图像的处理方法及装置
US9996940B1 (en) * 2017-10-25 2018-06-12 Connectivity Labs Inc. Expression transfer across telecommunications networks
CN107944398A (zh) * 2017-11-27 2018-04-20 深圳大学 基于深度特征联合表示图像集人脸识别方法、装置和介质
CN107958479A (zh) * 2017-12-26 2018-04-24 南京开为网络科技有限公司 一种移动端3d人脸增强现实实现方法
CN108510437B (zh) * 2018-04-04 2022-05-17 科大讯飞股份有限公司 一种虚拟形象生成方法、装置、设备以及可读存储介质
CN109271553A (zh) * 2018-08-31 2019-01-25 乐蜜有限公司 一种虚拟形象视频播放方法、装置、电子设备及存储介质
CN109409199B (zh) * 2018-08-31 2021-01-12 百度在线网络技术（北京）有限公司 微表情训练方法、装置、存储介质及电子设备
CN109922355B (zh) * 2019-03-29 2020-04-17 广州虎牙信息科技有限公司 虚拟形象直播方法、虚拟形象直播装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
CN102654903A (zh) * 2011-03-04 2012-09-05 井维兰 一种人脸比对方法
CN105844221A (zh) * 2016-03-18 2016-08-10 常州大学 一种基于Vadaboost筛选特征块的人脸表情识别方法
CN106940792A (zh) * 2017-03-15 2017-07-11 中南林业科技大学 基于特征点运动的人脸表情序列截取方法
CN108184144A (zh) * 2017-12-27 2018-06-19 广州虎牙信息科技有限公司 一种直播方法、装置、存储介质及电子设备
CN109120985A (zh) * 2018-10-11 2019-01-01 广州虎牙信息科技有限公司 直播中的形象展示方法、装置和存储介质
CN109493403A (zh) * 2018-11-13 2019-03-19 北京中科嘉宁科技有限公司 一种基于运动单元表情映射实现人脸动画的方法

Also Published As

Publication number Publication date
WO2020200080A1 (zh) 2020-10-08
CN109922355A (zh) 2019-06-21
US20210312161A1 (en) 2021-10-07
SG11202101018UA (en) 2021-03-30

Similar Documents

Publication Publication Date Title
CN109922355B (zh) 虚拟形象直播方法、虚拟形象直播装置和电子设备
US20220301300A1 (en) Processing method for augmented reality scene, terminal device, system, and computer storage medium
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
US8983152B2 (en) Image masks for face-related selection and processing in images
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
CN109376684A (zh) 一种人脸关键点检测方法、装置、计算机设备和存储介质
US11176355B2 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
US9549121B2 (en) Image acquiring method and electronic device
WO2018102880A1 (en) Systems and methods for replacing faces in videos
US20140223474A1 (en) Interactive media systems
CN108109161B (zh) 基于自适应阈值分割的视频数据实时处理方法及装置
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
CN113420719A (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN110781770B (zh) 基于人脸识别的活体检测方法、装置及设备
CN111583280B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN111429338A (zh) 用于处理视频的方法、装置、设备和计算机可读存储介质
CN113192164A (zh) 虚拟形象随动控制方法、装置、电子设备和可读存储介质
CN108171716B (zh) 基于自适应跟踪框分割的视频人物装扮方法及装置
US10237530B1 (en) Depth-map augmentation techniques
CN109598201B (zh) 动作检测方法、装置、电子设备及可读存储介质
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
CN108010038B (zh) 基于自适应阈值分割的直播服饰装扮方法及装置
CN105229700B (zh) 用于从多个连续拍摄图像提取峰图像的设备和方法
CN114511897A (zh) 一种身份识别方法、系统、存储介质及服务器
CN113408452A (zh) 表情重定向训练方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant