CN115426505A - 基于面部捕捉的预设表情特效触发方法及相关设备 - Google Patents
基于面部捕捉的预设表情特效触发方法及相关设备 Download PDFInfo
- Publication number
- CN115426505A CN115426505A CN202211366024.XA CN202211366024A CN115426505A CN 115426505 A CN115426505 A CN 115426505A CN 202211366024 A CN202211366024 A CN 202211366024A CN 115426505 A CN115426505 A CN 115426505A
- Authority
- CN
- China
- Prior art keywords
- anchor point
- target
- expression
- special effect
- anchor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种基于面部捕捉的预设表情特效触发方法及相关设备,其中,方法包括:确定用户在直播时的目标面部关键锚点;基于不同目标面部关键锚点与不同预设表情的对应关系,确定所述目标面部关键锚点对应的目标表情;根据所述目标表情触发对应的表情特效。采用本申请实施例,可以通过关键锚点匹配预设表情,进而降低比对的时间复杂度。
Description
技术领域
本申请涉及面部识别领域,具体涉及一种基于面部捕捉的预设表情特效触发方法及相关设备。
背景技术
随着元宇宙概念兴起和人工智能及5G等技术的普及应用,直播行业快速发展,在线直播的形式也越来越丰富。直播用户在直播过程中通过触发丰富表情特效与观众用户进行互动,为直播行业提供了充足的发展活力,用户规模保持稳定增长。
触发表情特效首先需要对直播时用户的面部表情进行识别,当前表情识别技术主要是在做表情的过程中提取人脸特征部位的多个特征点位置,如眼睛、眉毛、嘴巴等位置,并对这些特征点位置的变化进行定位、测量,确定其大小、距离、形状及相互比例等特征,进而实现表情的识别。
在此过程中,由于轻微的面部动作都会造成特征点位置发生变化,如果将这多个特征点的位置分别与预设的各表情的多个特征点的位置进行逐个比较,比对时间复杂度会随着预设表情数量成指数级上升。
发明内容
本申请实施例提供了一种基于面部捕捉的预设表情特效触发方法及相关设备,可以通过关键锚点匹配预设表情,进而降低比对的时间复杂度。
在本申请的第一方面提供了一种基于面部捕捉的预设表情特效方法,应用于服务器,包括:
确定用户在直播时的目标面部关键锚点;
基于不同目标面部关键锚点与不同预设表情的对应关系,确定所述目标面部关键锚点对应的目标表情;
根据所述目标表情触发对应的表情特效。
通过采用上述技术方案,在用户直播需要通过表情触发特效时,只需对用户面部捕捉少量的锚点确定为目标面部关键锚点,从而通过目标面部关键锚点匹配对应的目标表情,进而通过目标表情触发相应的表情特效,降低比对的时间复杂度。
可选的,所述确定用户在直播时的目标面部关键锚点,包括:
按照编号顺序捕捉用户在直播时的至少一个锚点;
将所述至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点。
通过采用上述技术方案,可按照编号顺序对锚点进行捕捉,通过锚点值的大小确定出目标面部关键锚点,避免漏捕或重复捕捉,可以渲染到所有的锚点,降低锚点捕捉时的错误率。
可选的,所述将所述至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点,包括:
确定所述至少一个锚点中一个锚点值大于锚点阈值的目标锚点,将所述目标锚点添加至目标面部关键锚点中;
查找所述目标锚点的对称锚点,若所述对称锚点的锚点值大于所述锚点阈值,则将所述对称锚点添加至所述目标面部关键锚点中;
确定所述至少一个锚点中下一个锚点值大于锚点阈值的目标锚点,并执行所述确定所述至少一个锚点中一个锚点值大于阈值的目标锚点的步骤;
直到所述目标面部关键锚点的数量达到数量阈值。
通过采用上述技术方案,确定目标锚点后,进而判断目标锚点的对称锚点的锚点值是否大于锚点阈值,通过人脸表情的对称性确定目标面部关键锚点,可有效减小确定目标面部关键锚点的计算量。
可选的,所述方法还包括:
当所有锚点都捕捉完毕之后,当所有锚点都捕捉完毕之后,若不存在锚点值大于锚点阈值的锚点的目标面部关键锚点,则重新执行所述按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤。
通过采用上述技术方案,若在所有锚点都捕捉完毕之后,仍不存在目标面部关键锚点,可能存在漏捕的情况,则通过重新捕捉,进行进一步判断,避免锚点的遗漏,可以提高面部关键锚点捕捉的准确性。
可选的,所述根据所述目标表情触发对应的表情特效,包括:
获取用户面部的多个关键特征点与欧拉角;
根据所述多个关键特征点的位置确定所述表情特效的缩放比例;
根据所述欧拉角确定所述表情特效的倾斜角度;
根据所述缩放比例与所述倾斜角度将所述表情特效渲染于所述用户面部的所述目标面部关键锚点处。
通过采用上述技术方案,通过缩放比例和倾斜角度调整表情特效,使得表情特效更贴合于用户的面部,提升了用户的直播体验感。
可选的,所述根据所述目标表情触发对应的表情特效,包括:
获取用户在直播时确定目标面部关键锚点的第一时长以及确定所述目标面部关键锚点对应的目标表情的第二时长;
持续判断所述第一时长与所述第二时长的和是否超过目标时长;
若所述第一时长与所述第二时长的和未超过目标时长,则根据所述目标表情触发对应的表情特效;
所述方法还包括:
若所述第一时长与所述第二时长的和超过目标时长,则重新执行所述确定用户在直播时的目标面部关键锚点的步骤。
通过采用上述技术方案,判断从开始捕捉目标面部关键锚点至成功捕捉到目标面部关键锚点的第一时长,以及从开始确定目标面部关键锚点对应的目标表情至成功确认目标表情的第二时长是否超时,若在超时的情况下,可以及时刷新至重新捕捉目标面部关键锚点这一步骤,减少触发表情特效延迟的情况出现。
可选的,所述方法还包括:
按照预设周期更新所述不同目标面部关键锚点与不同预设表情的对应关系。
通过采用上述技术方案,及时更新不同面部关键锚点与不同预设表情的对应关系,丰富直播时的表情特效,可提升用户的体验感。
在本申请的第二方面提供了一种基于面部捕捉的预设表情特效触发系统,所述系统包括:
关键锚点确定模块,用于确定用户在直播时的目标面部关键锚点;
目标表情确定模块,用于基于不同目标面部关键锚点与不同预设表情的对应关系,确定所述目标面部关键锚点对应的目标表情;
表情特效触发模块,用于根据所述目标表情触发对应的表情特效。
通过采用上述技术方案,在用户直播需要通过表情触发特效时,只需对用户面部捕捉少量目标锚点确定为目标面部关键锚点,并通过目标面部关键锚点比对相对应的目标表情,便可确定用户表情并触发相应的表情特效,降低比对的时间复杂度。
在本申请的第三方面提供了一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行上述的方法步骤。
在本申请的第四方面提供了一种服务器,包括:处理器、存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
综上所述,本申请包括以下至少一种有益效果:
1、在用户直播需要通过表情触发特效时,只需对用户面部捕捉的少量目标锚点确定为目标面部关键锚点,并通过目标面部关键锚点比对相对应的目标表情,便可确定用户表情并触发相应的表情特效,降低比对的时间复杂度;
2、通过用户面部的多个关键特征点与头部偏转的欧拉角,确定表情特效的缩放比例和倾斜角度,可使得用户表情特效更加贴合于用户的面部,提升了用户的体验感。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种方案实施环境的示意图;
图2是本申请实施例提供的一种基于面部捕捉的预设表情特效触发方法的流程示意图;
图3是本申请实施例提供的一种用户直播时的场景的示意图;
图4是本申请实施例提供的一种人脸网络的示意图;
图5是本申请实施例提供的一种用户直播时触发表情特效的示意图;
图6是本申请实施例提供的一种表情特效设置的示意图;
图7是本申请实施例提供的另一种基于面部捕捉的预设表情特效触发方法的流程示意图;
图8是本申请实施例提供的一种锚点编号存储的示意图;
图9是本申请实施例提供的一种不同程度表情锚点值的示意图;
图10是本申请实施例提供的又一种基于面部捕捉的预设表情特效触发方法的流程示意图;
图11是本申请实施例提供的一种对称锚点示意图;
图12是本申请实施例提供的又一种基于面部捕捉的预设表情特效触发方法的流程示意图;
图13是本申请实施例提供的又一种基于面部捕捉的预设表情特效触发方法的流程示意图;
图14是本申请实施例提供的一种特征点与欧拉角示意图;
图15是本申请实施例提供的另一种用户直播时触发表情特效的示意图;
图16是本申请实施例提供的一种基于面部捕捉的预设表情特效触发系统的示意图;
图17是本申请实施例提供的一种服务器的示意图。
附图标记说明:10、终端;20、服务器;30、手机;31、支架;32、用户;40、左前额点;41、右前额点;42、鼻尖点;43、中心点;141、左眼角;142、右眼角;143、鼻尖;144、左嘴角;145、右嘴角;146、下颌;160、基于面部捕捉的预设表情特效触发系统;161、关键锚点确定模块;162、目标表情确定模块;163、表情特效触发模块;1000、服务器;1001、处理器;1002、通信总线;1003、用户接口;1004、网络接口;1005、存储器。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请实施例的描述中,“示性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,单独存在B,同时存在A和B这三种情况。另外,除非另有说明,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
请参照图1,其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以实现成为一个具有基于面部捕捉的预设表情特效触发功能的系统,如该系统可以包括:终端10与服务器20,终端10可以通过有线或无线网络与服务器20进行直接或间接地连接。
在本申请实施例中,终端10指的是服务器与用户的交互设备,终端10安装运行有目标应用程序的客户端,可选地,该目标应用程序可以是直播类应用程序,终端10具备采集用户直播时的视频、将视频发送至服务器20以及接收服务器20发送的表情特效的功能,还有将表情特效作用于直播视频的功能。
示例性地,终端10包括但不限于:安卓(Android)系统设备、苹果公司开发的移动操作系统(iOS)设备、个人计算机(PC)、全球局域网(World Wide Web,web)设备、虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备等服务器。
示例性地,服务器20可以是上述目标应用程序的后台服务器,用于为上述终端提供后台服务,服务器20接收终端10发送的用户直播视频,识别直播视频中的用户表情,将对应于用户表情的表情特效返回给终端10。
示例性地,服务器20可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。服务器20可以通过有线或无线网络与终端10进行通信。
在一个实施例中,请参考图2,特提出了一种基于面部捕捉的预设表情特效触发方法,该方法可依赖于计算机程序实现,可依赖于单片机实现,也可运行于基于冯诺依曼体系的基于面部捕捉的预设表情特效触发系统上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。
步骤101:确定用户在直播时的目标面部关键锚点。
其中,锚点在本申请实施例中指的是一种定义了特定表情属性的表情定位符,也可以理解为是一种定义表情特征的运动因子,可以用于反映用户在直播作出表情时的面部幅度变化。而面部某一特征的运动幅度大小具体可通过锚点的锚点值表示,从而可将运动幅度较大的锚点确定为目标锚点,进而可通过多个面部特征对应的多个目标锚点确定用户当前的表情。
进一步地,将多个目标锚点组成的集合定义为目标面部关键锚点,即,目标面部关键锚点可以理解为用于确定用户在直播时的面部表情特征的运动因子的集合,其中,目标面部关键锚点可以是只包括一个运动因子,也可以包括两个及以上的运动因子,在本申请实施例中可以设置最多不超过五个的运动因子为一组的目标关键锚点。
进一步地,通过表情特征位置可以定义锚点的属性,表情特征位置可以是左眼、右眼、嘴、眉、鼻、脸以及舌头等。当用户在直播时,通过对用户人脸表情特征位置对应的所有锚点进行分析,将运动幅度较大的锚点作为目标锚点保存在一个集合中,可得到目标面部关键锚点。
示例性地,表情特征位置可以包括左眼、右眼、嘴、眉、鼻、脸以及舌头等,其中左眼特征位置包括的锚点可以展示左眼眨眼、左眼目视下方、左眼注视鼻尖、左眼向左看、左眼眯眼以及左眼睁大等;右眼特征位置包括的锚点可以展示右眼眨眼、右眼目视下方、右眼注视鼻尖、右眼向左看、右眼眯眼以及右眼睁大等;嘴特征位置包括的锚点可以是努嘴时下巴向前、撇嘴时下巴向左、张嘴时下巴向下、闭嘴、稍张嘴并双唇张开、抿嘴、向左撇嘴、向右撇嘴、左撇嘴笑、右撇嘴笑、左嘴唇下压、右嘴唇下压、左嘴唇向后、右嘴唇向后、左嘴角向左、右嘴角向右、下嘴唇卷向里、下嘴唇卷向上、下嘴唇向下、上嘴唇向上、下嘴唇压向左、下嘴唇压向右、下嘴唇压向左下、下嘴唇压向右下、上嘴唇压向左上以及上嘴唇压向右上等;其中眉的特征位置包括的锚点可以为展示左眉向外、右眉向外、蹙眉、左眉向左上以及右眉向右上等;其中脸的特征位置包括的锚点可以展示脸颊向外、左脸颊向上并回旋以及右脸颊向上并回旋等;其中鼻的特征位置包括的锚点可以展示左蹙鼻子和右蹙鼻子等;其中舌头的特征位置包括的锚点可以展示吐舌头等。示例性地,可以通过一个锚点确定用户在直播时的面部表情特征,也可以是通过几个锚点确定用户在直播时的表情特征。
可选的,用户可通过移动终端上的目标应用程序进行视频直播,请参考图3,在用户32直播时,将手机30固定于支架31上,用户32站在手机30后置摄像头可以拍摄到的位置,在终端上的直播应用程序上确认开始直播后,手机30接收用户的直播指令,通过后置摄像头采集用户32的当前视频画面,形成原始格式的视频数据,通过视频编码将视频的原始格式进行转化,根据媒体传输协议将格式转换后的视频数据传输到服务器上,服务器将视频数据解码显示,得到用户32在直播时的当前视频画面。
进一步的,服务器根据当前直播的视频画面确定视频画面中用户的人脸,请参考图4,服务器在进行人脸检测时,根据视频画面中用户人脸图片建立人脸网络,从而可通过人脸网络中的左前额点40、右前额点41以及鼻尖点42,通过三个点之间的位置关系便可确定中心点43,从而通过中心点锁定用户的人脸,进而便可确定人脸的表情特征位置,进而根据特征位置展示的锚点,将锚点值大于阈值的锚点确定为目标面部关键锚点。
在一种可能的实施方式中,确定人脸中心点43后,便可通过左前额点40、右前额点41、鼻尖点42以及中心点43的位置确定人脸左眼角、左嘴角等其他特征点的具体位置。
需要说明的是,上述介绍确定人脸中心点的方式仅是示例性地,在可能的实施方式中,其可以根据人脸其他特征点确定中心点的位置,进而根据中心点的位置确定其他特征点的位置。
步骤102:基于不同目标面部关键锚点与不同预设表情的对应关系,确定目标面部关键锚点对应的目标表情。
其中,预设表情在本申请实施例中指的是表示用户当前表情特征的标识,可以理解为存储在服务器中为执行某种运算或功能实现的某种控制代码,服务器内存储有多个预设表情。
在本申请实施例中目标面部关键锚点与预设表情之间存在某种映射关系,而目标面部关键锚点包括至少一个锚点,所以,不同目标面部关键锚点与不同预设表情的对应关系在本申请实施例中可以理解为,预设表情与至少一个锚点之间的映射关系,其中,预设表情一定存在对应的一组锚点,即目标面部关键锚点,而一组锚点却不一定存在对应的预设表情。
目标面部关键锚点根据对应关系确定的预设表情即为目标表情,其中,目标表情可以有一个也可以有多个。
示例性地,当服务器确定目标面部关键锚点后,得到目标面部关键锚点中的锚点信息,根据锚点信息及其对应关系从表情库中搜索预设表情,在本申请实施例中,不同目标面部关键锚点与不同预设表情的对应关系,以表1的形式表述。
表1 不同目标面部关键锚点与不同预设表情的对应关系表
在一种可能的实施方式中,如表1所示,若目标面部关键锚点存在五个锚点,例如,抿嘴、左眼眨眼、蹙眉以及吐舌头,则只需经过4次比对即可确定目标面部关键锚点对应的预设表情为预设表情5,若将目标面部关键锚点中的目标锚点数量阈值设置为5,即最多只需要经过五次比对即可确定目标面部关键锚点对应的预设表情,时间复杂度为5,以这种方式搜索预设表情,时间复杂度低,服务器的计算量小。
进一步地,根据表1中预设表情4和预设表情5对应的锚点可知,预设表情5对应目标面部关键锚点中的锚点,包含了预设表情4对应目标面部关键锚点中的锚点,当搜索到预设表情5的同时也可以搜索到预设表情4。即,根据目标面部关键锚点可以将两个预设表情确定为目标表情。
需要说明的是,本申请实施例中的表1展示的仅仅是部分目标面部关键锚点与不同预设表情的对应关系表,并不代表全部。对应关系可以由服务器设置,也可以由用户在终端中的目标应用程序的客户端设置。
步骤103:根据目标表情触发对应的表情特效。
其中,表情特效是一种具有意思表达的功能的图像,可以反映直播时该用户的内心活动、情绪或特定语义。表情特效包括静态特效和动态特效,静态特效是一类静止不动的图像,动态特效是一类具有动态效果的图像。示例性地,静态特效是一帧静态图像,例如,静态特效可以是PNG(Portable Network Graphics,可移植网络图形)的文件格式、静态特效还可以包括绘文字(Emoji)、颜文字等。示例性地,动态特效可以是一个由多帧图像合成的动画,动态特效可以是GIF(Graphics Interchange Format,动态图像互换格式)的文件格式。可选的,动画特效可以包括动态主体图和动画元素两部分,动态主体图是动态表情的主题部分,例如是卡通形象或是拍摄动态表情的用户自身的头像,动画元素可以理解为是动态特效中体现动态的元素,动画元素可以大体上体现整个动态特效的动画特效,动画元素可以作为辅助元素来更好地表现动态特效,动画元素可以是例如心形、圆形、五角星以及字符等各种尺寸和颜色的具有动画特效的动态图像。
示例性地,每一个预设表情都对应一个表情特效,服务器确定至少一个预设表情为目标表情后,触发相应的特效,不同预设表情与不同的表情特效的对应关系,以表2的形式表述。
根据表2,若目标表情包括预设表情1与预设表情2,则可触发狗狗贴纸和七彩星光两种表情特效。服务器根据图4中的左前额点40、右前额点41、鼻尖点42以及中心点43的位置确定人脸其他特征点的位置,即可确定人脸的轮廓,请参考图5(a)、图5(b),服务器将表情特效渲染于图5(a)所示的用户人脸轮廓位置上,展示效果如图5(b)所示,并将渲染后的视频画面发送至终端,通过终端中的目标应用程序显示。
表2 不同预设表情与不同的表情特效的对应关系表
在一种可行的实施方式中,多个终端与服务器连接,其中部分为直播终端,其余部分为观看直播的终端。根据用户通过通过目标应用程序选择直播或观看直播,可将用户当前使用的终端确定为直播终端,或观众终端,并给直播终端分配直播地址;其余观众终端可与直播终端连接同一个直播地址。示例性地,当服务器将表情特效渲染于直播过程中视频画面后,可根据直播地址将渲染后的视频画面发送至对应的直播终端与观众终端。
需要说明的是,本申请实施例中的表2展示的仅仅是部分不同预设表情与不同的表情特效的对应关系表的对应关系表,并不代表全部。对应关系可以由服务器设置,也可以由用户在终端中的目标应用程序的客户端设置。
需要说明的是,本申请实施例中触发多种特效的方式并不唯一,在可行的实施方式中,触发一个表情特效的同时,可继续搜索到下一个目标表情。进一步可设置表情特效展示时间,在展示时间内,若搜索到多个目标表情,可同时触发多个表情特效,即可进行表情特效的叠加展示。
在上述各实施例的基础上,作为一种可选的实施例,基于面部捕捉的预设表情特效触发方法,还包括以下步骤:
按照预设周期更新所述不同目标面部关键锚点与不同预设表情的对应关系。
其中,预设周期在本申请实施例中指的是,刷新不同面部关键锚点与不同预设表情的对应关系的时间。
示例性地,上述对应关系是可以更改的,在本申请实施例中,可以通过服务器更改对应关系,也可以通过终端上的目标应用程序更改对应关系,请参照图6,如图6(a)所示,终端首先在显示界面上展示“表情触发方式设置”的文本,以及“系统自动匹配”和“手动设定”的图标,若用户点击确定“系统自动匹配”,对应关系则设置为服务器预存的对应关系。
若用户选择“手动设定图标”,则在显示界面上展示“请选择触发的表情动作”的文本、多个特征位置、以及多个特征位置对应的运动因子的图标,采集用户点击的至少一个运动因子的图标,继续展示用于选择预设表情特效的图标,采集用户选择点击该图片时产生的信息,并将采集到的运动因子信息与预设表情信息对应存储在内存中。
在一种可行的实施方式中,服务器按照预设周期,调取内存中的不同面部关键锚点与不同预设表情的对应关系,并将该对应关系更新应用于当前用户直播中。用户可按照自己的喜好调整表情特效的触发方式,在一定程度上提高了用户的直播体验感。
需要说明的是,本申请实施例对于步骤201的时序不作具体的限定,例如可以与步骤101同时执行,也可以在步骤101~步骤103中的任意一个步骤之后执行,可选的,考虑到本实施例的目的是对更改用户在直播过程中表情特效的触发方式,因此步骤201可以在步骤101:确定用户在直播时的目标面部关键锚点之前执行,也即,当用户在开始直播之前设置直播时的不同面部关键锚点与不同预设表情的对应关系。
请参照图7,在上述各实施例的基础上,作为一种可选实施例,确定用户在直播时的目标面部关键锚点,包括:
步骤201:按照锚点编号顺序捕捉用户在直播时的至少一个锚点。
编号顺序在本申请实施例中可以理解为各个运动因子按照一定规则进行编号,并存储在服务器中,服务器可以按照编号对用户直播时人面部的至少一个锚点进行顺序捕捉。
示例性地,请参照图8,服务器将所有锚点存储于缓存中,根据表情特征位置按照编号顺序划分为多个子缓存区域,将对应于表情特征位置的锚点按照顺序存储于对应的子缓存区域中。
在一种可行的实施方式中,可以将嘴、眉、鼻、脸四个表情特征位置划分成M1、M2、M3以及M4四个子缓存区域,将闭嘴、抿嘴、向左撇嘴三个锚点分别以序号N1、N2以及N3的序号存储在子缓存区域M1中;将左眉向外、右眉向外以及蹙眉分别以序号N1、N2以及N3的序号存储在子缓存区域M2中;将脸颊向外、左脸颊向上并回旋以及右脸颊向上并回旋分别以序号N1、N2以及N3的序号存储在子缓存区域M3中;将左蹙鼻子、右蹙鼻以及拱鼻分别以序号N1、N2以及N3的序号存储在子缓存区域M4中。当服务器需要捕捉锚点时,可按照依次捕捉N1、N2、N3的顺序先捕捉M1子缓存中的锚点,当M1子缓存中的锚点捕捉完毕后,再按照编号顺序依次捕捉M2、M3、M4子缓存中的锚点。
步骤202:将至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点。
示例性地,请参照图9,在本申请实施例中可将锚点值的范围设置在0至1之间,图9中展示了五种不同人脸在做张嘴动作时的幅度变化情况下的示意图。由图9(a)所示,当未张开嘴时,可将用于表征张嘴锚点的锚点值设置为0;由图9(b)所示,当小幅度张开嘴时,可将张嘴锚点的锚点值设置为0.25;由图9(c)所示,当正常幅度张开嘴时,可将张嘴锚点的锚点值设置为0.5;由图9(d)所示,当大幅度张开嘴时,可将张嘴锚点的锚点值设置为0.75;由图9(e)所示,当完全张开嘴时,可将张嘴锚点的锚点值设置为1。
在一种具体的实施场景中,在用户进行直播时,服务器捕捉用户作出表情时的至少一个锚点,通过将至少一个锚点的锚点值与锚点阈值进比较,将锚点值大于锚点阈值的锚点作为目标面部关键锚点,再将目标面部关键锚点搜索对应的目标表情,进而触发表情特效。在此过程中,为了降低误触表情特效的情况出现,不能将锚点阈值设置得过低,例如,可将锚点阈值设置为0.6,同时,通过锚点阈值为0.6确定锚点为目标面部锚点时,也不需要用户作出幅度过大的表情来触发表情特效。
请参照图10,在上述各实施例的基础上,作为一种可选的实施例,将至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点的方法,还包括以下步骤:
步骤301:确定至少一个锚点中一个锚点值大于锚点阈值的目标锚点,将目标锚点添加至目标面部关键锚点中。
其中,目标锚点在本申请实施例中是指锚点值大于锚点阈值的锚点,进一步的,可以将目标面部关键锚点理解为是至少一个目标锚点的集合。
示例性地,服务器通过直播视频画面中的用户人脸捕捉锚点时,每捕捉到一个锚点,都将该锚点的锚点值与锚点阈值进行比较,若该锚点的锚点值大于锚点阈值,则视为对应于该锚点的人脸表情特征位置做出有效的局部表情,可将该锚点视为目标锚点。
步骤302:查找目标锚点的对称锚点,若对称锚点的锚点值大于锚点阈值,则将对称锚点添加至目标面部关键锚点中。
其中,对称锚点在本申请实施例中可以理解为与目标锚点存在对应关系的锚点。在上述实施例定义的表情特征位置,以及对应于表情特征位置定义的锚点都存在对称关系。请参照图11,从图11中可知,人脸具有完整性和对称性,当人脸作出惊讶的表情时,左眼和右眼会保持同步往下方看,同时左眉和右眉都会向外展开,故可将左眼目视下方锚点与右眼目视下方锚点设置为一组对称锚点、将左眉向外锚点与右眉向外锚点设置为一组对称锚点,在本申请实施例中,还可设置有多组对称锚点,在此不做过多举例。
示例性地,当确定一个锚点为目标锚点时,可根据对应关系搜索该锚点的对称锚点,判断该锚点的对称锚点是否大于锚点阈值,若对称锚点也大于锚点阈值,则将对称锚点也加入在目标面部关键锚点中。
在一种可行的实时方式中,考虑到锚点与锚点之间存在对称关系,在设置不同目标面部关键锚点与不同预设表情的对应关系时,通常将对称的锚点设置于对应关系之中。由此,当一个锚点确定为目标锚点时,通过判断该锚点的对称锚点是否大于锚点阈值来确定其他关键锚点,可进一步简化运算步骤,提高程序的运行效率。
步骤303:确定至少一个锚点中下一个锚点值大于锚点阈值的目标锚点,并执行确定至少一个锚点中一个锚点值大于锚点阈值的目标锚点,将目标锚点添加至目标面部关键锚点中的步骤,直到所述目标面部关键锚点的数量达到数量阈值。
其中,数量阈值在本申请实施例中指的是,目标面部关键锚点的最大数量值,在设置不同目标面部关键锚点与不同预设表情的对应关系时,可进一步设置目标面部关键锚点中目标锚点的数量。在本申请实施例中,通过目标面部关键锚点确定目标表情的过程中,需要将目标面部关键锚点中的至少一个目标锚点与多个预设表情进行比对,为了降低计算时间的复杂度,将目标面部关键锚点的数量阈值设置为不超过5个。
示例性地,服务器在捕捉目标锚点的过程中,可按照上述实施例提供的按照编号顺序进行目标锚点的捕捉,首先判断1号子缓存区域的1号锚点的锚点值是否为目标锚点,若确定该锚点为目标锚点,则将该锚点视为目标面部关键锚点这个集合之中,同时,若该锚点存在对称锚点,则继续确定该锚点的对称锚点是否为目标锚点。当该锚点与该锚点的对称锚点判断完成之后,继续判断1号子缓存区域的2号锚点;当1号子缓存区的所有锚点及其对称锚点判断完成后,继续判断下一子缓存区的锚点。当目标锚点数量达到数量阈值时,停止锚点的捕捉。
请参照图12,在上述各实施例的基础上,作为一种可选的实施例,基于面部捕捉的预设表情特效触发方法还包括以下步骤:
步骤401:获取用户在直播时确定目标面部关键锚点的第一时长以及确定目标面部关键锚点对应的目标表情的第二时长。
示例性地,用户在直播的过程中,用户头部晃动、直播设备摇动以及灯光阴暗都可能导致直播视频画面模糊的情况出现,又或者是在用户的脸部位置没有正对终端的摄像头。上述情况最后可能导致终端获取的直播视频画面不能展现完整、清晰的用户面部特征。而确定目标面部关键锚点的过程中,需要对所有的锚点进行逐个捕捉,判断各个锚点的锚点值是否达到或超过锚点阈值,若无法正常捕捉到完整、清晰的面部特征位置,服务器可能捕捉不到锚点,或捕捉锚点出现延迟的情况出现。为了减少这类情况出现概率,需要在步骤201:按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤开始执行时,设置一个确定目标面部关键锚点的第一时长,并开始计时,直至步骤202:将至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点的步骤运行完成,结束第一时长的计时。
示例性地,当服务器确定目标面部关键锚点后,开始将目标面部关键锚点中的至少一个目标锚点与存储的多个预设表情进行对比,得到目标表情。而在实际应用中,直播用户的直播形式内容丰富多彩,用户可能作出表情面部特征过于丰富,捕捉到的目标面部关键锚点可能无法与预设表情匹配,进而导致表情特效延迟的情况出现。为了减少这类情况出现的概率,需要在步骤203:根据目标表情触发对应的表情特效的步骤,开始执行时,设置一个确定目标表情的第二时长,并开始计时,直至步骤203运行完成,结束第二时长的计时。
在一种可行的实施方式中,当所有锚点都捕捉完毕之后,若不存在目标面部关键锚点,则重新执行步骤201:按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤。可以降低表情特效触发卡顿的情况出现,提升用户的体验感。
步骤402:持续判断第一时长与第二时长的和是否超过目标时长。
其中,目标时长在本申请实施例中是指,用于衡量用户直播视频画面中捕捉锚点开始,到触发表情特效的时长是否超时的一个时长。
示例性地,用户在直播的过程中,表情特效可能是无意识触发的,也可能是用户有意识做出表情触发特效。当用户有意识性地通过表情触发特效时,若出现上述情况造成的延迟,则会出现用户做出表情而无法触发特效的情况出现,影响用户的体验感。因此,通过设置第一时长与第二时长,并持续判断第一时长与第二时长之和是否超过目标时长,并做出相应的响应。
在一种可行的实施方式中,若第一时长与第二时长的和未超过目标时长,则根据目标表情触发对应的表情特效。
在另一种可行的实施方式中,若第一时长与所述第二时长的和超过目标时长,则重新执行步骤201:按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤,直到确定目标面部关键锚点。通过设置目标时长可以减少表情特效触发卡顿的情况出现,提升用户的体验感。
请参照图13,在上述各实施例的基础上,作为一种可选的实施例,根据目标表情触发对应的表情特效方法,还包括以下步骤:
步骤501:获取用户面部的多个关键特征点与欧拉角。
其中,关键特征点在本申请实施例中指的是,反映人脸面部特征关键位置的几个点。
欧拉角源自笛卡尔左手坐标系,规定绕Y轴逆时针旋转角度为正,绕Z轴顺时针旋转角度为正,在本申请实施例中,将人脸绕Y轴旋转形成的角度定义为y欧拉角,绕Z轴旋转的形成的角度定义为r欧拉角。在实际用户直播中,用户摇头动作产生的角度为y欧拉角,用户偏头动作产生的角度为r欧拉角。
示例性地,请参见图14,服务器根据视频画面中用户人脸图片建立人脸网络后,确定人脸网络的中心点,如图14(a)所示,在一种可行的实时方式中,根据中心点可以确定,左眼角141、右眼角142、鼻尖143、左嘴角144、右嘴角145以及下颌146这六个关键特征点的位置,将这六个关键点的位置与标准模型中对应的关键特征点进行拟合,得到旋转向量,最后将旋转向量转换为欧拉角。
示例性地,请参见图14(b),其示出了一种情况的欧拉角与特征位置的对应关系。图14(b)为y欧拉角小于负36度所展示的关键特征点,包括:左眼角141、鼻尖143、左嘴角144以及下颌146。
需要说明的是,上述提出的六个关键为本申请实施例提出的部分关键特征点,不代表所有关键特征点,示例性的,由于人脸关键特征点会分布在Y轴两侧的一定角度内,通常来说,人脸关键特征点符合表3所示规律。
表3 人脸关键点与Y轴欧拉角关系表
步骤502:根据多个关键特征点的位置确定所述表情特效的缩放比例,根据欧拉角确定表情特效的倾斜角度。
示例性的,服务器存储有一定尺寸大小的多个表情特效,其中包括作用于用户面部的表情特效,每个作用于面部的表情特效都包含有对应的至少一个面部关键特征点,通过至少面部关键特征点可缩放该表情特效的尺寸。
在一种可行的实时方式中,请参考图15,当用户直播时触发墨镜特效时,通过直播视频画面可以捕捉到用户面部的关键特征点为左眼角、右眼角、鼻尖、左嘴角、右嘴角以及下颌这六个关键特征点,由于墨镜特效的尺寸可由左眼角和右眼角两个关键特征点确定,故将墨镜特效中左眼角和右眼角两个关键特征点的位置,与直播视频画面中左眼角和右眼角关键特征点的位置进行比较,确定墨镜的缩放比例。
进一步地,将左眼角、右眼角、鼻尖、左嘴角、右嘴角以及下颌六个关键特征点的位置与标准模型中对应关键特征点的位置进行拟合,得到旋转向量,将旋转向量转换为欧拉角,根据欧拉角中的r欧拉角即可调整表情特效的倾斜角度。
步骤503:根据所述缩放比例与所述倾斜角度将所述表情特效渲染于所述用户面部的所述目标面部关键锚点处。
示例性地,如图15所示,当用户触发的表情特效为墨镜特效时,根据缩放比例调整存储的墨镜特效的尺寸,根据r欧拉角调整墨镜特效的倾斜角度,通过将调整后的墨镜特效中左眼角和右眼角关键特征点,与用户直播视频画面左眼角和右眼角关键特征点的位置对准,将调整后的墨镜特效渲染于用户直播视频画面中。
在一种可行的实时方式中,可先将调整尺寸后的墨镜表情特效渲染于用户直播直播画面中,再根据r欧拉角调整表情特效的倾斜角度。
在另一种可行的实时方式中,可先将调整倾斜角度后的墨镜表情特效,渲染于用户直播视频画面中,再通过关键特征点的位置调整表情特效的缩放比例。
在本申请实施例中,服务器确定用户在直播时的目标面部关键锚点,基于不同目标面部关键锚点与不同预设表情的对应关系,确定目标面部关键锚点对应的目标表情,根据目标表情触发对应的表情特效;可以有效降低触发表情特效时的时间复杂度;以及,按照锚点编号顺序捕捉用户在直播时的至少一个锚点,将至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点;可避免漏捕获重复捕捉,进而渲染到所有的锚点,降低锚点捕捉时的错误率;以及,确定至少一个锚点中一个锚点值大于锚点阈值的目标锚点,将目标锚点添加至目标面部关键锚点中,查找目标锚点的对称锚点,若对称锚点的锚点值大于锚点阈值,则将对称锚点添加至目标面部关键锚点中,确定至少一个锚点中下一个锚点值大于锚点阈值的目标锚点,并执行确定至少一个锚点中一个锚点值大于阈值的目标锚点的步骤,直到目标面部关键锚点的数量达到数量阈值;可以有效减小确定目标面部关键锚点的计算量;以及,当所有锚点都捕捉完毕之后,若不存在锚点值大于锚点阈值的锚点的目标面部关键锚点,则重新执行所述按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤,可以免锚点的遗漏,可以提高面部关键锚点捕捉的准确性;以及,获取用户面部的多个关键特征点与欧拉角,根据多个关键特征点的位置确定表情特效的缩放比例,根据欧拉角确定表情特效的倾斜角度,根据缩放比例与倾斜角度将表情特效渲染于用户面部的目标面部关键锚点处;可以使得表情特效更贴合与用户的面部,提升了用户的直播体验感;以及,获取用户在直播时确定目标面部关键锚点的第一时长以及确定目标面部关键锚点对应的目标表情的第二时长,持续判断第一时长与第二时长的和是否超过目标时长,若第一时长与第二时长的和未超过目标时长,则根据目标表情触发对应的表情特效,若第一时长与第二时长的和超过目标时长,则重新执行确定用户在直播时的目标面部关键锚点的步骤;可以减少表情特效触发延迟的情况;以及,按照预设周期更新不同目标面部关键锚点与不同预设表情的对应关系丰富直播时的表情特效,提升用户的体验感。
下述为本申请系统实施例,可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节,请参照本申请方法实施例。
请参照图16,为本申请实施例提供的一种基于面部捕捉的预设表情特效触发系统,该基于面部捕捉的预设表情特效触发系统160可以包括:关键锚点确定模块161、目标表情确定模块162以及表情特效触发模块163,其中:
关键锚点确定模块161,用于确定用户在直播时的目标面部关键锚点;
目标表情确定模块162,用于基于不同目标面部关键锚点与不同预设表情的对应关系,确定目标面部关键锚点对应的目标表情;
表情特效触发模块163,用于根据目标表情触发对应的表情特效。
基于面部捕捉的预设表情特效触发系统可以内置于终端中,也可以内置于服务器中,具体执行上述方法实施例流程,具体请详见上述基于面部捕捉的预设表情特效触发方法实施例的内容,在此不再赘述。本申请实施例提供的基于面部捕捉的预设表情特效触发系统,在用户直播需要通过表情触发特效时,只需对用户面部捕捉少量目标锚点确定为目标面部关键锚点,并通过目标面部关键锚点比对相对应的目标表情,便可确定用户表情并触发相应的表情特效,大幅度降低了比对的时间复杂度。
在上述各实施例的基础上,作为一种可选的实施例,关键锚点确定模块161,包括:
锚点顺序捕捉单元,用于按照锚点编号顺序捕捉用户在直播时的至少一个锚点;
目标面部关键锚点确定单元,用于将至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点。
在上述各实施例的基础上,作为一种可选的实施例目标面部关键锚点确定单元,包括:
目标锚点确定子单元,用于确定至少一个锚点中一个锚点值大于锚点阈值的目标锚点,将目标锚点添加至目标面部关键锚点中;
对称锚点确定子单元,用于查找目标锚点的对称锚点,若对称锚点的锚点值大于锚点阈值,则将对称锚点添加至目标面部关键锚点中;
目标面部关键锚点确定子单元,用于确定至少一个锚点中下一个锚点值大于锚点阈值的目标锚点,并执行确定至少一个锚点中一个锚点值大于阈值的目标锚点的步骤,直到目标面部关键锚点的数量达到数量阈值。
在上述各实施例的基础上,作为一种可选的实施例目标面部关键锚点确定单元,还包括:
目标面部关键锚点重新确认子单元,用于当所有锚点都捕捉完毕之后,若不存在目标面部关键锚点,则重新执行按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤。
在上述各实施例的基础上,作为一种可选的实施例,基于面部捕捉的预设表情特效触发系统160,还包括:
关键位置获取模块,用于获取用户面部的多个关键特征点与欧拉角;
缩放比例确认模块,用于根据多个关键特征点的位置确定表情特效的缩放比例;
倾斜角度计算模块,用于根据欧拉角确定表情特效的倾斜角度;
表情特效渲染模块,用于根据缩放比例与倾斜角度将表情特效渲染于用户面部的目标面部关键锚点处。
在上述各实施例的基础上,作为一种可选的实施例,基于面部捕捉的预设表情特效触发系统160,还包括:
特效时间计算模块,用于获取用户在直播时确定目标面部关键锚点的第一时长以及确定目标面部关键锚点对应的目标表情的第二时长;
特效时间判断模块,用于持续判断第一时长与第二时长的和是否超过目标时长,若第一时长与第二时长的和未超过目标时长,则根据目标表情触发对应的表情特效,若第一时长与第二时长的和超过目标时长,则重新执行确定用户在直播时的目标面部关键锚点的步骤。
在上述各实施例的基础上,作为一种可选的实施例,基于面部捕捉的预设表情特效触发系统160,还包括:
对应关系更新模块,用于按照预设周期更新不同面部关键锚点与不同预设表情的对应关系。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1~图15所示实施例的所述的基于面部捕捉的预设表情特效触发方法,具体执行过程可以参见图1~图15所示实施例的具体说明,在此不进行赘述。
请参见图17,为本申请实施例提供了一种服务器的结构示意图。如图17所示,所述服务器1000可以包括:至少一个处理器1001,至少一个网络接口1004,用户接口1003,存储器1005,至少一个通信总线1002。
其中,通信总线1002用于实现这些组件之间的连接通信。
其中,用户接口1003可以包括显示屏(Display)、摄像头(Camera),可选用户接口1003还可以包括标准的有线接口、无线接口。
其中,网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个服务器1000内的各个部分,通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集,以及调用存储在存储器1005内的数据,执行服务器1000的各种功能和处理数据。可选的,处理器1001可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1001中,单独通过一块芯片进行实现。
其中,存储器1005可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图17所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及一种基于面部捕捉的预设表情特效触发方法的应用程序。
需要说明的是:上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在图17所示的服务器1000中,用户接口1003主要用于为用户提供输入的接口,获取用户输入的数据;而处理器1001可以用于调用存储器1005中存储基于面部捕捉的预设表情特效触发方法的应用程序,当由一个或多个处理器执行时,使得服务器执行如上述实施例中一个或多个所述的方法。
一种服务器存储介质,所述服务器存储介质存储有指令。当由一个或多个处理器执行时,使得服务器执行如上述实施例中一个或多个所述的方法。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件,其中硬件例如可以是现场可编程门阵列(Field-ProgrammaBLE GateArray,FPGA)、集成电路(Integrated Circuit,IC)等。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。
Claims (10)
1.一种基于面部捕捉的预设表情特效触发方法,其特征在于,应用于服务器,包括:
确定用户在直播时的目标面部关键锚点;
基于不同目标面部关键锚点与不同预设表情的对应关系,确定所述目标面部关键锚点对应的目标表情;
根据所述目标表情触发对应的表情特效。
2.根据权利要求1所述的基于面部捕捉的预设表情特效触发方法,其特征在于,所述确定用户在直播时的目标面部关键锚点,包括:
按照锚点编号顺序捕捉用户在直播时的至少一个锚点;
将所述至少一个锚点中锚点值大于锚点阈值的锚点确定为所述目标面部关键锚点。
3.根据权利要求2所述的基于面部捕捉的预设表情特效触发方法,其特征在于,所述将所述至少一个锚点中锚点值大于锚点阈值的锚点确定为目标面部关键锚点,包括:
确定所述至少一个锚点中一个锚点值大于锚点阈值的目标锚点,将所述目标锚点添加至目标面部关键锚点中;
查找所述目标锚点的对称锚点,若所述对称锚点的锚点值大于所述锚点阈值,则将所述对称锚点添加至所述目标面部关键锚点中;
确定所述至少一个锚点中下一个锚点值大于锚点阈值的目标锚点,并执行所述确定所述至少一个锚点中一个锚点值大于阈值的目标锚点的步骤;
直到所述目标面部关键锚点的数量达到数量阈值。
4.根据权利要求2所述的基于面部捕捉的预设表情特效触发方法,其特征在于,所述方法还包括:
当所有锚点都捕捉完毕之后,若不存在锚点值大于锚点阈值的锚点的目标面部关键锚点,则重新执行所述按照锚点编号顺序捕捉用户在直播时的至少一个锚点的步骤。
5.根据权利要求1所述的基于面部捕捉的预设表情特效触发方法,其特征在于,所述根据所述目标表情触发对应的表情特效之后,还包括:
获取用户面部的多个关键特征点与欧拉角;
根据所述多个关键特征点的位置确定所述表情特效的缩放比例;
根据所述欧拉角确定所述表情特效的倾斜角度;
根据所述缩放比例与所述倾斜角度将所述表情特效渲染于用户面部的所述目标面部关键锚点处。
6.根据权利要求1所述的基于面部捕捉的预设表情特效触发方法,其特征在于,所述根据所述目标表情触发对应的表情特效,包括:
获取用户在直播时确定目标面部关键锚点的第一时长以及确定所述目标面部关键锚点对应的目标表情的第二时长;
持续判断所述第一时长与所述第二时长的和是否超过目标时长;
若所述第一时长与所述第二时长的和未超过目标时长,则根据所述目标表情触发对应的表情特效;
所述方法还包括:
若所述第一时长与所述第二时长的和超过目标时长,则重新执行所述确定用户在直播时的目标面部关键锚点的步骤。
7.根据权利要求1所述的基于面部捕捉的预设表情特效触发方法,其特征在于,所述方法还包括:
按照预设周期更新所述不同目标面部关键锚点与不同预设表情的对应关系。
8.一种基于面部捕捉的预设表情特效触发系统,其特征在于,所述系统包括:
关键锚点确定模块(161),用于确定用户在直播时的目标面部关键锚点;
目标表情确定模块(162),用于基于不同目标面部关键锚点与不同预设表情的对应关系,确定所述目标面部关键锚点对应的目标表情;
表情特效触发模块(163),用于根据所述目标表情触发对应的表情特效。
9.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适用于由处理器加载并执行如权利要求1~7任意一项所述的方法。
10.一种服务器(1000),其特征在于,包括:处理器(1001)和存储器(1005);其中,所述存储器(1005)存储有计算机程序,所述计算机程序适于由所述处理器(1001)加载并执行如权利要求1~7任意一项的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211366024.XA CN115426505B (zh) | 2022-11-03 | 2022-11-03 | 基于面部捕捉的预设表情特效触发方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211366024.XA CN115426505B (zh) | 2022-11-03 | 2022-11-03 | 基于面部捕捉的预设表情特效触发方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115426505A true CN115426505A (zh) | 2022-12-02 |
CN115426505B CN115426505B (zh) | 2023-03-24 |
Family
ID=84208240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211366024.XA Active CN115426505B (zh) | 2022-11-03 | 2022-11-03 | 基于面部捕捉的预设表情特效触发方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115426505B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902212A (zh) * | 2015-04-30 | 2015-09-09 | 努比亚技术有限公司 | 一种视频通信方法及装置 |
CN109063679A (zh) * | 2018-08-24 | 2018-12-21 | 广州多益网络股份有限公司 | 一种人脸表情检测方法、装置、设备、系统及介质 |
CN110378237A (zh) * | 2019-06-21 | 2019-10-25 | 浙江工商大学 | 基于深度度量融合网络的面部表情识别方法 |
CN110650306A (zh) * | 2019-09-03 | 2020-01-03 | 平安科技(深圳)有限公司 | 视频聊天中添加表情的方法、装置、计算机设备及存储介质 |
CN110738110A (zh) * | 2019-09-11 | 2020-01-31 | 北京迈格威科技有限公司 | 基于锚点的人脸关键点检测方法、装置、系统和存储介质 |
CN111445568A (zh) * | 2018-12-28 | 2020-07-24 | 广州市百果园网络科技有限公司 | 人物表情编辑方法、装置、计算机存储介质和终端 |
CN111696176A (zh) * | 2020-06-08 | 2020-09-22 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN112348390A (zh) * | 2020-11-17 | 2021-02-09 | 广州顶新时代电子系统科技有限公司 | 一种基于服务质量的智能考核系统 |
CN112422844A (zh) * | 2020-09-23 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 在视频中添加特效的方法、装置、设备及可读存储介质 |
JP2021053406A (ja) * | 2020-11-27 | 2021-04-08 | 株式会社コロプラ | プログラム、方法、および端末装置 |
CN113112185A (zh) * | 2021-05-13 | 2021-07-13 | 北京一起教育科技有限责任公司 | 一种教师表现力的评估方法、装置和电子设备 |
WO2022089360A1 (zh) * | 2020-10-28 | 2022-05-05 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
-
2022
- 2022-11-03 CN CN202211366024.XA patent/CN115426505B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902212A (zh) * | 2015-04-30 | 2015-09-09 | 努比亚技术有限公司 | 一种视频通信方法及装置 |
CN109063679A (zh) * | 2018-08-24 | 2018-12-21 | 广州多益网络股份有限公司 | 一种人脸表情检测方法、装置、设备、系统及介质 |
CN111445568A (zh) * | 2018-12-28 | 2020-07-24 | 广州市百果园网络科技有限公司 | 人物表情编辑方法、装置、计算机存储介质和终端 |
CN110378237A (zh) * | 2019-06-21 | 2019-10-25 | 浙江工商大学 | 基于深度度量融合网络的面部表情识别方法 |
CN110650306A (zh) * | 2019-09-03 | 2020-01-03 | 平安科技(深圳)有限公司 | 视频聊天中添加表情的方法、装置、计算机设备及存储介质 |
CN110738110A (zh) * | 2019-09-11 | 2020-01-31 | 北京迈格威科技有限公司 | 基于锚点的人脸关键点检测方法、装置、系统和存储介质 |
CN111696176A (zh) * | 2020-06-08 | 2020-09-22 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN112422844A (zh) * | 2020-09-23 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 在视频中添加特效的方法、装置、设备及可读存储介质 |
WO2022089360A1 (zh) * | 2020-10-28 | 2022-05-05 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
CN112348390A (zh) * | 2020-11-17 | 2021-02-09 | 广州顶新时代电子系统科技有限公司 | 一种基于服务质量的智能考核系统 |
JP2021053406A (ja) * | 2020-11-27 | 2021-04-08 | 株式会社コロプラ | プログラム、方法、および端末装置 |
CN113112185A (zh) * | 2021-05-13 | 2021-07-13 | 北京一起教育科技有限责任公司 | 一种教师表现力的评估方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115426505B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102292537B1 (ko) | 이미지 처리 방법 및 장치, 및 저장 매체 | |
CN111641844B (zh) | 直播互动方法、装置、直播系统及电子设备 | |
JP2022528294A (ja) | 深度を利用した映像背景減算法 | |
CN107911736B (zh) | 直播互动方法及系统 | |
CN113099298B (zh) | 虚拟形象的改变方法、装置和终端设备 | |
WO2021004257A1 (zh) | 视线检测和视频处理的方法、装置、设备和存储介质 | |
CN111246232A (zh) | 直播互动方法、装置、电子设备及存储介质 | |
US11778263B2 (en) | Live streaming video interaction method and apparatus, and computer device | |
CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111432267B (zh) | 视频调整方法、装置、电子设备及存储介质 | |
WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
CN112527115B (zh) | 用户形象生成方法、相关装置及计算机程序产品 | |
CN113362263B (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
CN111429338B (zh) | 用于处理视频的方法、装置、设备和计算机可读存储介质 | |
CN113160244B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
US20230057963A1 (en) | Video playing method, apparatus and device, storage medium, and program product | |
CN116437137B (zh) | 直播处理方法、装置、电子设备及存储介质 | |
CN112866577B (zh) | 图像的处理方法、装置、计算机可读介质及电子设备 | |
CN115426505B (zh) | 基于面部捕捉的预设表情特效触发方法及相关设备 | |
CN111507139A (zh) | 图像效果生成方法、装置和电子设备 | |
CN113609194A (zh) | 一种数据处理方法、装置、存储介质及电子设备 | |
CN113408452A (zh) | 表情重定向训练方法、装置、电子设备和可读存储介质 | |
CN112802162A (zh) | 虚拟角色的面部调整方法及装置、电子设备、存储介质 | |
CN111008577A (zh) | 一种基于虚拟人脸的评分方法、系统、装置和存储介质 | |
JP7418709B2 (ja) | コンピュータプログラム、方法及びサーバ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |