CN110141857A - 虚拟角色的面部显示方法、装置、设备及存储介质 - Google Patents
虚拟角色的面部显示方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110141857A CN110141857A CN201910342925.7A CN201910342925A CN110141857A CN 110141857 A CN110141857 A CN 110141857A CN 201910342925 A CN201910342925 A CN 201910342925A CN 110141857 A CN110141857 A CN 110141857A
- Authority
- CN
- China
- Prior art keywords
- face
- deformation
- image
- facial
- virtual character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013507 mapping Methods 0.000 claims description 30
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 abstract description 29
- 230000008921 facial expression Effects 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000003993 interaction Effects 0.000 abstract description 2
- 206010016035 Face presentation Diseases 0.000 abstract 1
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 210000004709 eyebrow Anatomy 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 210000001508 eye Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
- A63F13/92—Video game devices specially adapted to be hand-held while playing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/822—Strategy games; Role-playing games
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/55—Details of game data or player data management
- A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
- A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟角色的面部显示方法、装置、终端及存储介质,涉及人机交互领域。该方法包括:获取用户人脸对应的面部参数,面部参数用于指示用户人脸上不同面部区域的面部特征;根据面部参数确定形变控制参数,形变控制参数用于指示虚拟角色上不同面部区域的形变程度;根据形变控制参数和形变图像集合生成虚拟角色面部图像,形变图像集合中包含虚拟角色的基础面部图像和n张基础面部形变图像;显示虚拟角色面部图像。相较于相关技术中,2D虚拟角色仅能呈现出预先设定的面部表情,本申请实施例中,能够驱动2D虚拟角色模拟出用户的实时表情,提高了呈现面部表情的智能化程度,达到了丰富2D虚拟角色面部呈现方式的效果。
Description
技术领域
本申请实施例涉及人机交互领域,特别涉及一种虚拟角色的面部显示方法、装置、设备及存储介质。
背景技术
为了增加用户在游戏过程中的代入感,越来越多的游戏应用开始支持虚拟角色选择功能,尤其是在角色扮演类游戏应用中。
不同类型的游戏应用中,虚拟角色的类型可能不同,比如,虚拟角色可以是人物、动物或漫画人物等等。而在游戏过程中,用户可以通过实体按键或虚拟摇杆控制虚拟角色进行移动、攻击等操作。
然而,在2D游戏中的,2D虚拟角色仅能够根据预先设置的游戏逻辑呈现出预先设定的面部表情,比如,在战斗失败时,2D虚拟角色根据游戏逻辑呈现出预先设定的伤心表情。可见,2D虚拟角色的面部呈现方式单一,智能化程度较差。
发明内容
本申请实施例提供了一种虚拟角色的面部显示方法、装置、终端及存储介质,可以解决2D虚拟角色的面部呈现方式单一,智能化程度较差的问题。所述技术方案如下:
一方面,本申请实施例提供了一种虚拟角色的面部显示方法,所述方法包括:
获取用户人脸对应的面部参数,所述面部参数用于指示所述用户人脸上不同面部区域的面部特征;
根据所述面部参数确定形变控制参数,所述形变控制参数用于指示虚拟角色上不同面部区域的形变程度;
根据所述形变控制参数和形变图像集合生成虚拟角色面部图像,所述形变图像集合中包含所述虚拟角色的基础面部图像和n张基础面部形变图像,其中,不同的基础面部形变图像对应不同的面部形变区域;
显示所述虚拟角色面部图像。
另一方面,本申请实施例提供了一种虚拟角色的面部显示装置,所述装置包括:
第一获取模块,用于获取用户人脸对应的面部参数,所述面部参数用于指示所述用户人脸上不同面部区域的面部特征;
确定模块,用于根据所述面部参数确定形变控制参数,所述形变控制参数用于指示虚拟角色上不同面部区域的形变程度;
第一生成模块,用于根据所述形变控制参数和形变图像集合生成虚拟角色面部图像,所述形变图像集合中包含所述虚拟角色的基础面部图像和n张基础面部形变图像,其中,不同的基础面部形变图像对应不同的面部形变区域;
显示模块,用于显示所述虚拟角色面部图像。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的虚拟角色的面部显示方法。
另一方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中提供的虚拟角色的面部显示方法。
另一方面,提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如上述本申请实施例中提供的虚拟角色的面部显示方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过获取用户人脸的面部参数,并根据该面部参数确定虚拟角色的形变控制参数,从而根据形变控制参数以及形变图像集合中的基础面部图像和基础面部形变图像,生成并显示虚拟角色面部图像;相较于相关技术中,2D虚拟角色仅能呈现出预先设定的面部表情,本申请实施例中,能够驱动2D虚拟角色模拟出用户的实时表情,提高了呈现面部表情的智能化程度,达到了丰富2D虚拟角色面部呈现方式的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的应用场景的示意图;
图2示出了本申请一个示例性实施例提供的虚拟角色的面部显示方法的方法流程图;
图3是形变图像集合中基础面部图像和基础面部形变图像的示意图;
图4是图2所示方法实施过程的界面示意图;
图5是虚拟角色的面部显示方法的原理示意图;
图6示出了本申请另一个示例性实施例提供的虚拟角色的面部显示方法的方法流程图;
图7是图6所示实施例中生成虚拟角色面部图像过程的实施示意图;
图8示出了本申请另一个示例性实施例提供的虚拟角色的面部显示方法的方法流程图;
图9是人脸录入界面的界面示意图;
图10是本申请一个示例性实施例提供的虚拟角色的面部显示装置的结构框图;
图11示出了本发明一个示例性实施例提供的终端的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请各个实施例提供的虚拟角色的面部显示方法,可以应用于安装有目标应用程序的终端中,该目标应用程序是具有2D虚拟角色显示需求的应用程序,该终端可以是智能手机、平板电脑、个人计算机或便携式计算机等等。比如,该目标应用程序是角色扮演类游戏、社交类应用程序、即时通信应用程序、相机类应用程序或表情制作类应用程序等等,本申请实施例对此不做限定。
并且,由于目标应用程序中的2D虚拟角色能够模拟出用户的实时面部表情,因此安装有目标应用程序的终端具有外部图像采集功能。在一种可能的实施方式中,该终端内置有摄像头组件(比如前置摄像头),从而通过摄像头组件进行用户实时人脸图像的采集。
下面结合几个示意性的应用场景,对本申请实施例提供的虚拟角色的面部显示方法进行说明。
一、游戏场景
在游戏场景下,本申请实施例提供的虚拟角色的面部显示方法可以实现成为游戏应用程序中的一个功能模块(用于驱动虚拟角色的面部)。用户控制虚拟角色进行游戏的过程中,游戏应用程序可以请求终端开启前置摄像头,并获取前置摄像头采集到的用户人脸图像。游戏应用程序对获取到的用户人脸图像进行处理后,得到虚拟角色对应的形变控制参数,从而根据该形变控制参数和形变图像集合,生成用户人脸图像中表情对应的虚拟角色面部图像,并将该虚拟角色面部图像显示在游戏画面中。其中,游戏应用程序可以根据用户人脸图像实时驱动虚拟角色做出相应的面部表情(即虚拟角色的面部表情与用户表情保持一致),从而增加用户在游戏过程中的代入感,提升用户的游戏体验。
示意性的,如图1所示,终端11中安装有游戏应用程序,用户通过控制游戏应用程序中的虚拟角色“李四”进行战斗。当战斗失败时,游戏应用程序即通过终端11的前置摄像头12采集用户的人脸图像,从而根据该人脸图像驱动虚拟角色13呈现出相同的面部表情,增加用户在游戏过程中的代入感。
二、即时通信场景
在即时通信场景下,本申请实施例提供的虚拟角色的面部显示方法可以实现成为即时通信应用程序中的一个功能模块(借助虚拟角色进行视频聊天的功能)。在一种可能的使用场景下,用户之间进行视频通话前,可以为各自选择一个2D虚拟角色;在视频通话过程中,即时通信应用程序即启动终端的摄像头,并获取摄像头实时采集到的本端用户人脸图像。即时通信应用程序对本端用户人脸图像进行处理后,得到本端虚拟角色对应的第一形变控制参数,并将该第一形变控制参数发送给对端终端,同时接收对端终端发送的对端虚拟角色对应的第二形变控制参数。即时通信应用程序根据第二形变控制参数和对端虚拟角色对应的形变图像集合,生成对端用户的虚拟角色面部图像,并将该虚拟角色面部图像显示在视频通话界面中(也可同时显示本端用户的虚拟角色面部图像)。
三、表情制作场景
在表情制作场景下,本申请实施例提供的虚拟角色的面部显示方法可以实现成为表情制作应用程序中的一个功能模块(用于制作虚拟角色表情)。在一种可能的使用场景下,用户使用表情制作应用程序的虚拟角色表情制作功能时,首先选择需要虚拟角色。完成虚拟角色选择后,用户可以点击制作界面中的表情录制按钮,触发终端启动前置摄像头采集用户人脸图像。表情制作应用程序获取采集到的用户人脸图像,得到虚拟角色的形变控制参数,从而根据形变控制参数和虚拟角色对应的形变图像集合,生成虚拟角色面部图像。当完成表情录制后,表情制作应用程序即根据表情录制过程中生成的一系列虚拟角色面部图像进行整合,生成动态虚拟角色表情,并将动态虚拟角色表情保存为预定表情格式,以便在其他应用程序中使用。
当然,上述仅以几种可能的应用场景为例进行示意性说明,本申请实施例提供的方法还可以应用于其他需要显示虚拟角色的应用场景,本申请实施例并不对具体应用场景进行限定。
请参考图2,其示出了本申请一个示例性实施例提供的虚拟角色的面部显示方法的方法流程图,本实施例以该方法用于安装有应用程序(具有虚拟角色显示功能)的终端为例进行说明,该方法包括如下步骤。
步骤201,应用程序获取用户人脸对应的面部参数,面部参数用于指示用户人脸上不同面部区域的面部特征。
在一种可能的实施方式中,当终端具有根据用户人脸图像生成面部参数的功能(即具有面部参数包装能力)时,该面部参数由应用程序从终端处直接获取;或者,当终端仅具备采集用户人脸图像,而不具备包装生成面部参数的功能时,该面部参数由应用程序根据终端(通过摄像头)采集的用户人脸图像生成。
可选的,该面部参数遵循预设面部参数标准,且预设面部参数标准规定了面部参数的参数类型、参数取值范围和参数数量中的至少一种。其中,参数类型用于指示各项面部参数对应的面部区域,参数取值范围用于指示各项面部参数的参数变化区间,参数数量用于指示面部参数中参数的总项数。
步骤202,应用程序根据面部参数确定形变控制参数,形变控制参数用于指示虚拟角色上不同面部区域的形变程度。
可选的,该虚拟角色可以是人物、动物或漫画人物中的至少一种,且该虚拟角色可以由用户从应用程序提供的虚拟角色可选项中选择,可以由用户在应用程序中自定义生成。
可选的,应用程序中预先定义了虚拟角色的面部形变参数,该面部形变参数遵循预设形变参数标准,且预设形变参数标准规定了面部形变参数的参数类型、参数取值范围和参数数量中的至少一种。其中,参数类型用于指示面部形变参数对应的面部形变方式,参数取值范围用于指示面部形变区域的形变程度范围,参数数量用于指示面部形变参数中参数的总项数。
在一个示意性的例子中,应用程序定义的面部形变参数如表一所示。
表一
参数 | 备注 | 参数 | 备注 |
PARAM_ANGLE_X | 侧头 | PARAM_BROW_R_Y | 右眉毛高度 |
PARAM_ANGLE_Y | 转头 | PARAM_BROW_L_ANGLE | 右眉毛角度 |
PARAM_ANGLE_Z | 抬头/低头 | PARAM_BROW_R_ANGLE | 左眉毛角度 |
PARAM_EYE_L_OPEN | 左眼睁开 | PARAM_BROW_L_FORM | 右眉毛形状 |
PARAM_EYE_L_SMILE | 左眼微笑 | PARAM_BROW_R_FORM | 右眉毛形状 |
PARAM_EYE_R_OPEN | 右眼睁开 | PARAM_MOUTH_FORM | 嘴形状 |
PARAM_EYE_R_SMILE | 右眼微笑 | MOUTH_X | 嘴角水平方向 |
PARAM_EYE_BALL_X | 眼球X轴方向 | MOUTH_Y | 嘴角高度方向 |
PARAM_EYE_BALL_Y | 眼球Y轴方向 | CHEEK | 脸颊 |
PARAM_BROW_L_Y | 左眉毛高度 |
而本申请实施例中的形变控制参数即用于通过控制面部形变参数,实现对不同面部区域的形变程度控制。可选的,每项面部形变参数对应各自的形变控制参数。
步骤203,应用程序根据形变控制参数和形变图像集合生成虚拟角色面部图像,形变图像集合中包含虚拟角色的基础面部图像和n张基础面部形变图像,其中,不同的基础面部形变图像对应不同的面部形变方式。
本申请实施例中的虚拟角色并不是利用点线面构成的三维虚拟角色,而是基于定义好形变规则的形变图像集合构成的二维虚拟角色。其中,形变图像集合中包含虚拟角色的一张基础面部图像和n张基础面部形变图像,且每张基础面部形变图像可以是在基础面部图像的基础上,通过对一项面部形变参数进行调整后得到。
可选的,形变图像集合中基础面部形变图像的数量与虚拟角色支持的面部形变方式的数量(即面部形变参数数量)相关。其中,每一张基础面部形变图像对应各自的面部形变方式,当虚拟角色的面部包含n种的面部形变方式时,该形变图像集合中即包含n张基础面部形变图像。
在一个示意性的例子中,如图3所示,形变图像集合中包含一张基础面部图形31以及若干张基础面部形变图像32。其中,第一基础面部形变图像321对应的形变方式为侧头,第二基础面部形变图像322对应的形变方式为张嘴,第三基础面部形变图像323对应的形变方式为眉毛上扬,第四基础面部形变图像 324对应的形变方式为眼部睁大。
在一种可能的实施方式中,对于基础面部形变图像和任意一张基础面部形变图像,需要通过一个参数来控制两张图像之间的差值程度,而该参数即为上述步骤中的形变控制参数。相应的,应用程序根据形变控制参数、基础面部图像和基础面部形变图像,生成符合当前用户人脸表情的虚拟角色面部图像。
步骤204,应用程序显示虚拟角色面部图像。
可选的,应用程序根据实时获取的面部参数,实时绘制每一帧虚拟角色面部图像并进行显示,从而在虚拟角色上呈现出用户的实时表情变化。
在一种可能的实施方式中,当应用程序为游戏应用程序时,游戏应用程序即将虚拟角色面部图像显示在游戏界面中;当应用程序为即时通信应用程序时,即时通信应用程序即将虚拟角色面部图像显示在视频通话界面中;当应用程序为表情制作应用程序时,表情制作应用程序即将虚拟角色面部图像显示在表情录制界面中。
在其他可能的实施方式中,应用程序可以将本端用户对应虚拟角色的形变控制参数发送至对端应用程序,并接收对端应用程序发送的对端用户对应虚拟角色的形变控制参数,从而同时显示本端用户以及对端用户的虚拟角色面部图像。
示意性的,如图4所示,使用终端41的用户李四和使用终端42的用户张三进行游戏对战。对战结束时,终端41和终端42中的游戏应用分别采集本端用户的人脸图像,并得到本端虚拟角色的形变控制参数。终端41通过服务器43 将第一形变控制参数发送至终端42,终端42通过服务器43将第二形变控制参数发送至终端43。终端41和终端42通过游戏应用分别对对端的虚拟角色的面部表情进行显示。
相较于相关技术中,2D虚拟角色仅能够根据预设逻辑显示预定表情(本质上就是播放一段动画,并不涉及虚拟角色面部表情的实时渲染),本申请实施例中,应用程序中的虚拟角色能够模拟出用户的实时人脸表情,丰富了虚拟角色面部表情的呈现方式,并提高了虚拟角色面部表情的显示智能程度。
综上所述,本申请实施例中,通过获取用户人脸的面部参数,并根据该面部参数确定虚拟角色的形变控制参数,从而根据形变控制参数以及形变图像集合中的基础面部图像和基础面部形变图像,生成并显示虚拟角色面部图像;相较于相关技术中,2D虚拟角色仅能呈现出预先设定的面部表情,本申请实施例中,能够驱动2D虚拟角色模拟出用户的实时表情,提高了呈现面部表情的智能化程度,达到了丰富2D虚拟角色面部呈现方式的效果。
在一种可能的实施方式中,当终端具有包装面部参数的能力时,比如,终端采用了苹果公司的虚拟现实套件(Augmented Reality Kit,ARKit)时,应用程序可以直接从终端处获取用户人脸的面部参数(从ARKit处获取51项面部参数)。
然而,并非所有终端都具有面部参数包装功能。为了使其它不具备面部参数包装功能的终端也能够实现上述方法,在一种可能的实施方式中,应用程序可以对终端采集到的人脸图像进行处理,从而得到相应的面部参数。
如图5所示,应用程序从终端处获取人脸图像51后,根据人脸图像51生成用户人脸的面部参数52,从而根据面部参数52确定出虚拟角色的形变控制参数53。进一步的,应用程序根据形变控制参数53对形变图像集合54中的图像进行图像形变(image warping),生成虚拟角色面部图像55,进而对虚拟角色面部图像55进行显示。下面采用示意性的实施例进行说明。
请参考图6,其示出了本申请另一个示例性实施例提供的虚拟角色的面部显示方法的方法流程图,本实施例以该方法用于安装有应用程序(具有虚拟角色显示功能)的终端为例进行说明,该方法包括如下步骤。
步骤601,当处于目标场景时,应用程序通过摄像头采集用户人脸的人脸图像。
由于驱动虚拟角色实时呈现用户表情时需要耗费处理资源,且用户并非在所有场景下,都期望虚拟角色模拟自身表情,因此,在一种可能的实施方式中,当处于目标场景时,应用程序才会通过摄像头采集人脸图像。当未处于目标场景时,应用程序则根据预设应用程序逻辑显示虚拟角色。
可选的,不同应用程序对应不同目标场景。比如,当应用程序的游戏应用程序时,当处于游戏结算场景、或处于游戏过场动画场景时,应用程序则通过摄像头采集人脸图像。本申请实施例并不对目标场景的具体类型进行限定。
在一种可能的实施方式中,由于人脸图像的质量直接影响到虚拟角色面部图像的质量,因此对于采集到的人脸图像,应用程序根据人脸图像的图像清晰度、成像角度等因素,确定人脸图像质量,并在人脸图像质量未达到质量要求时,提示用户调整终端姿态,以提高人脸图像的采集质量。
步骤602,应用程序根据人脸图像确定用户人脸对应的面部参数。
在一种可能的实施方式中,当终端的摄像头为深度摄像头时,采集到的人脸图像中包含各个像素点对应的深度数据,应用程序即根据各个像素点的深度数据,确定用户人脸对应的面部参数。
可选的,应用程序开发人员预先将样本人脸深度图像(样本输入,包含各个像素点的深度数据)及其对应的样本面部参数(样本输出,包含预先标注的面部参数)作为训练样本,对神经网络进行训练,从而得到用于根据人脸图像预测面部参数的面部参数预测模型。其中,该面部参数预测模型可以采用卷积神经网络(Convolutional Neural Networks,CNN)。
在应用过程中,应用程序即将采集到的人脸图像(中的深度数据)输入面部参数预测模型,得到面部参数预测模型输出的面部参数。
当然,除了利用神经网络模型预测面部参数外,应用程序还可以采用其它方式从人脸图像中提取面部参数,比如根据深度数据确认人脸关键点,从而根据人脸关键点确定面部参数,本实施例对此不做限定。
在其他可能的实施方式中,当终端的摄像头为红绿蓝(Red-Green-Blue,RGB) 摄像头时,采集到的人脸图像为RGB图像,应用程序即对RGB图像中的人脸关键点进行识别,并根据人脸关键点确定各个面部区域,从而生成相应的面部参数。
步骤603,应用程序获取参数映射关系,参数映射关系用于指示面部参数与所述形变控制参数之间的对应关系。
在一种可能的实施方式中,人脸图像的面部参数和虚拟角色的形变控制参数预先设置,因此应用程序开发人员可以预先设置面部参数和形变控制参数之间的参数映射关系。在应用过程中,应用程序即基于该参数映射关系确定形变控制参数。
步骤604,应用程序根据参数映射关系,确定面部参数对应的形变控制参数。
可选的,应用程序根据参数映射关系,确定出虚拟角色的各项形变控制参数。
在一个示意性的例子中,应用程序获取到的面部参数中包括 ARBlendShapeLocationBrowOuterUpRight=0.8(表示右眉毛外部向上),基于参数映射关系,应用程序确定形变控制参数为0.7。
通过上述步骤601至604,应用程序从人脸图像得到虚拟角色的形变控制参数后,进一步通过下述步骤605和606对虚拟角色的面部表情进行图像形变。
步骤605,应用程序根据形变控制参数确定n张基础面部形变图像中的目标基础面部形变图像,目标基础面部形变图像与形变控制参数对应同一面部形变方式。
由于不同的基础面部形变图像对应不同的形变方式(面部形变参数),因此,对于获取到的各项形变控制参数,应用程序从n张基础面部形变图像中,确定出于该形变控制参数对应同一面部形变方式的目标基础面部形变图像,以便后续基于该形变控制参数,对基础面部图像和目标基础面部形变图像进行图像形变。
在一种可能的实施方式中,形变图像集合中的每张基础面部形变图像包含对应的形变标识(指示其改变的面部形变参数),应用程序即根据该形变标识从基础面部形变图像中确定目标基础面部形变图像。
可选的,若某项形变控制参数指示面部区域未发生形变,应用程序则无需确定该项形变控制参数对应的目标基础面部形变图像。
示意性的,如图7所示,由于形变控制参数71用于控制嘴部张开大小,因此应用程序将基础面部形变图像72确定为目标基础面部形变图像。
步骤606,应用程序根据形变控制参数、基础面部图像和目标基础面部形变图像,生成虚拟角色面部图像。
本申请实施例中,形变控制参数用于控制基础面部图像与目标基础面部形变图像之间的差值程度,其中,形变控制参数越大,生成的虚拟角色面部图像越接近与目标基础面部形变图像,反之,生成的虚拟角色面部图像越接近与基础面部图像。
在一种可能的实施方式中,应用程序生成虚拟角色面部图像时,可以包括如下步骤。
一、根据形变控制参数确定插值比例,插值比例包括基础面部图像对应的第一插值比例以及目标基础面部形变图像对应的第二插值比例,插值比例用于控制基础面部图像和目标基础面部形变图像之间的插值程度。
可选的,第一插值比例用于控制基础面部图像的图像形变程度,第二插值比例则用于控制基础面部形变图像的图像形变程度,其中,第一插值比例与形变控制参数呈负相关关系,第二插值比例与形变控制参数呈正相关关系,且第一插值比例与第二插值比例之和为1。
在一个示意性的例子中,当形变控制参数为0.7时,应用程序将第一插值比例确定为0.3,并将第二插值比例确定为0.7。
示意性的,如图7所示,应用程序根据形变控制参数71确定出第一插值比例74和第二插值比例75。
二、根据基础面部图像和第一插值比例,以及目标基础面部形变图像和第二插值比例,生成虚拟角色面部图像。
在一种可能的实施方式中,应用程序根据第一插值比例对基础面部图像进行图像形变(主要是对图像中多边形进行扭曲),根据第二插值比例对目标基础面部形变图像进行图像形变,从而对两者的形变结果进行叠加,从而得到虚拟角色面部图像。
示意性的,如图7所示,应用程序根据第一插值比例74对基础面部图像73 进行图像形变,根据第二插值比例75对目标基础面部形变图像72进行图像形变,并对两者进行叠加,得到虚拟角色面部图像76。
需要说明的是,当包含不同面部区域对应的多项形变控制参数时,应用程序针对每项形变控制参数执行上述步骤,并将各项形变控制参数对应的形变结果进行叠加,生成虚拟角色面部图像。
步骤607,应用程序显示虚拟角色面部图像。
本步骤的实施方式可以参考上述步骤204,本申请实施例在此不再赘述。
本实施例中,在终端不具备包装面部参数的情况下,应用程序能够根据采集到的人脸图像,确定出用户人脸对应的面部参数,降低了对终端的限制,扩大了上述方法的应用场景。
另外,本实施例中,应用程序根据形变控制参数从基础面部形变图像中选取对应同一面部形变方式的目标基础面部形变图像,从而基于目标基础面部形变图像和基础面部图像进行图像形变,最终得到形变后的虚拟角色面部图像,实现对不同面部区域的针对性形变,提高了形变的速度以及准确性。
在一种可能的应用场景下,当游戏应用程序支持自定义虚拟角色时,用户可以对虚拟角色的面部特征进行自定义,在这种情况下,应用程序内预置的参数映射关系可能并不适用于自定义虚拟角色(面部形变参数变化进而引起形变控制参数变化)。若后续仍旧根据应用程序内预置的参数映射关系,确定面部参数对应的形变控制参数,会影响确定出的形变控制参数的准确性,进而影响生成的虚拟角色面部图像的效果。
为了避免出现上述问题,在一种可能的实施方式中,在图6所示实施例的基础上,如图8所示,该方法还可以包括如下步骤。
步骤608,应用程序根据样本形变控制参数生成样本虚拟角色面部图像。
本实施例中,应用程序引入了一种参数学习框架,当面部参数集和/或面部形变参数集合发生变化时,应用程序即可通过该参数学习框架自动学习变化后参数之间的对应关系。
在一种可能的实施方式中,当用户自定义虚拟角色后,应用程序根据自定义虚拟角色对应的面部形变参数,随机生成面部形变参数对应的样本形变控制参数,并进一步根据样本形变控制参数和形变图像集合生成一张样本虚拟角色面部图像。
在一个示意性的例子中,应用程序根据自定义虚拟角色对应的面部形变参数A、B以及C,随机生成样本形变控制参数A1、B1以及C1,从而根据样本形变控制参数A1、B1以及C1对形变图像集合中的图像进行图像形变,生成样本虚拟角色面部图像。
步骤609,应用程序在人脸录入界面显示样本虚拟角色面部图像,并获取样本人脸图像,样本人脸图像是用户模仿样本虚拟角色面部图像时采集的人脸图像。
为了学习形变控制参数与面部参数之间的对应关系,可选的,应用程序在人脸录入界面显示生成的样本虚拟角色面部图像,并在人脸录入界面显示提示信息,提示用户模仿样本虚拟角色面部图像所呈现的表情,从而通过摄像头采集用户的样本人脸图像。
示意性的,如图9所示,应用程序的人脸录入界面91中显示有样本虚拟角色面部图像92,当用户根据指示模拟样本虚拟角色面部图像92的面部表情时,摄像头采集到的样本人脸图像93即显示在取景框中。当用户点击录入按键94 时,应用程序即获取样本人脸图像93。
步骤610,应用程序根据样本形变控制参数和样本人脸图像对应的样本面部参数,生成样本对应关系。
在一种可能的实施方式中,对于获取到的样本人脸图像,应用程序提取样本人脸图像中的样本面部参数,进而构建样本面部参数与样本形变控制参数之间的样本对应关系。其中,从样本人脸图像中提取样本面部参数的方式可以参考上述步骤602,本实施例在此不再赘述。
步骤611,应用程序根据多组样本对应关系,生成参数映射关系。
在一种可能的实施方式中,应用程序可以重复执行上述步骤608至610,从而得到多组样本对应关系,进而根据多组样本对应关系,生成参数映射关系。后续应用过程中,终端即根据生成的参数映射关系确定形变控制参数。
针对生成参数映射关系的方式,可选的,应用程序利用线性回归(linearregression)模型,将样本面部参数作为观测矩阵,将样本形变控制参数作为观测值,采用最小二乘法求解模型中的参数转换矩阵(即参数映射关系),其中,观测矩阵、观测值与参数转换矩阵构成的线性回归方程可以表示为:
其中,为观测矩阵,为参数转换矩阵,为观测值。
在其他可能的实施方式中,在未自定义虚拟角色的情况下,应用程序也可以通过上述步骤对预置的参数映射关系进行更新,提高参数映射关系与用户面部特征的匹配度,以此提高生成的虚拟角色面部图像的质量。
当然,应用程序中预置的参数映射关系也可以通过上述方法生成,本申请实施例对此不做限定。
本实施例中,应用程序通过在人脸录入界面中显示样本虚拟角色面部图像,并采集用户模仿样本虚拟角色面部图像所呈现表情时的样本人脸图像,从而基于样本人脸图像和样本虚拟角色面部图像构建形变控制参数和面部参数之间的对应关系,避免面部参数和/或面部形变参数发生变化时,使用预置的参数映射关系影响后续虚拟角色表情模拟准确性的问题,提高了虚拟角色的面部表情模拟质量。
图10是本申请一个示例性实施例提供的虚拟角色的面部显示装置的结构框图,该装置可以应用于终端中,该装置包括:
第一获取模块1001,用于获取用户人脸对应的面部参数,所述面部参数用于指示所述用户人脸上不同面部区域的面部特征;
确定模块1002,用于根据所述面部参数确定形变控制参数,所述形变控制参数用于控制虚拟角色上不同面部区域的形变程度;
第一生成模块1003,用于根据所述形变控制参数和形变图像集合生成虚拟角色面部图像,所述形变图像集合中包含所述虚拟角色的基础面部图像和n张基础面部形变图像,其中,不同的基础面部形变图像对应不同的面部形变区域;
显示模块1004,用于显示所述虚拟角色面部图像。
可选的,所述第一生成模块1003,包括:
第一确定单元,用于根据所述形变控制参数确定n张所述基础面部形变图像中的目标基础面部形变图像,所述目标基础面部形变图像与所述形变控制参数对应同一面部形变区域;
生成单元,用于根据所述形变控制参数、所述基础面部图像和所述目标基础面部形变图像,生成所述虚拟角色面部图像。
可选的,所述生成单元,用于:
根据所述形变控制参数确定插值比例,所述插值比例包括所述基础面部图像对应的第一插值比例以及所述目标基础面部形变图像对应的第二插值比例,所述插值比例用于控制所述基础面部图像和所述目标基础面部形变图像之间的插值程度;
根据所述基础面部图像和所述第一插值比例,以及所述目标基础面部形变图像和所述第二插值比例,生成所述虚拟角色面部图像。
可选的,所述确定模块1002,包括:
获取单元,用于获取参数映射关系,所述参数映射关系用于指示所述面部参数与所述形变控制参数之间的对应关系;
第二确定单元,用于根据所述参数映射关系,确定所述面部参数对应的所述形变控制参数。
可选的,所述虚拟角色为自定义虚拟角色,所述装置还包括:
第二生成模块,用于根据样本形变控制参数生成样本虚拟角色面部图像;
第二获取模块,用于在人脸录入界面显示所述样本虚拟角色面部图像,并获取样本人脸图像,所述样本人脸图像是用户模仿所述样本虚拟角色面部图像时采集的人脸图像;
第三生成模块,用于根据所述样本形变控制参数和所述样本人脸图像对应的样本面部参数,生成样本对应关系;
第四生成模块,用于根据多组所述样本对应关系,生成所述参数映射关系。
可选的,所述第一获取模块1001,包括:
采集单元,用于当处于目标场景时,通过摄像头采集所述用户人脸的人脸图像;
第三确定单元,用于根据所述人脸图像确定所述用户人脸对应的所述面部参数。
可选的,所述摄像头为深度摄像头,所述人脸图像中包括各个像素点对应的深度数据;
所述第三确定单元,用于:
将所述人脸图像输入面部参数预测模型,得到所述面部参数预测模型输出的所述面部参数,所述面部参数预测模型是根据样本人脸深度图像以及所述样本人脸深度图像对应的样本面部参数训练得到的神经网络模型。
综上所述,本申请实施例中,通过获取用户人脸的面部参数,并根据该面部参数确定虚拟角色的形变控制参数,从而根据形变控制参数以及形变图像集合中的基础面部图像和基础面部形变图像,生成并显示虚拟角色面部图像;相较于相关技术中,2D虚拟角色仅能呈现出预先设定的面部表情,本申请实施例中,能够驱动2D虚拟角色模拟出用户的实时表情,提高了呈现面部表情的智能化程度,达到了丰富2D虚拟角色面部呈现方式的效果。
需要说明的是:上述实施例提供的装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的虚拟角色的面部显示装置与虚拟角色的面部显示方法的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11示出了本发明一个示例性实施例提供的终端的结构框图。该终端1600 可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1600包括有:处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing,数字信号处理)、 FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA (Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器 1601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的方法。
在一些实施例中,终端1600还可选包括有:外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地,外围设备包括:射频电路1604、触摸显示屏1605、摄像头1606、音频电路1607、定位组件1608和电源1609中的至少一种。
外围设备接口1603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中,处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上;在一些其他实施例中,处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真) 网络。在一些实施例中,射频电路1604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时,显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时,显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1605可以为一个,设置终端1600的前面板;在另一些实施例中,显示屏1605可以为至少两个,分别设置在终端1600的不同表面或呈折叠设计;在再一些实施例中,显示屏1605可以是柔性显示屏,设置在终端1600的弯曲表面上或折叠面上。甚至,显示屏1605还可以设置成非矩形的不规则图形,也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display,液晶显示屏)、 OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地,摄像头组件1606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1601进行处理,或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1607 还可以包括耳机插孔。
定位组件1608用于定位终端1600的当前地理位置,以实现导航或LBS (LocationBased Service,基于位置的服务)。定位组件1608可以是基于美国的 GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于:加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号,控制触摸显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612可以检测终端1600的机体方向及转动角度,陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端1600的侧边框和/或触摸显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时,可以检测用户对终端1600 的握持信号,由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在触摸显示屏1605的下层时,由处理器1601根据用户对触摸显示屏1605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹,由处理器1601根据指纹传感器1614 采集到的指纹识别用户的身份,或者,由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商Logo时,指纹传感器1614可以与物理按键或厂商Logo集成在一起。
光学传感器1615用于采集环境光强度。在一个实施例中,处理器1601可以根据光学传感器1615采集的环境光强度,控制触摸显示屏1605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1605的显示亮度;当环境光强度较低时,调低触摸显示屏1605的显示亮度。在另一个实施例中,处理器1601 还可以根据光学传感器1615采集的环境光强度,动态调整摄像头组件1606的拍摄参数。
接近传感器1616,也称距离传感器,通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中,当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时,由处理器1601控制触摸显示屏1605从亮屏状态切换为息屏状态;当接近传感器 1616检测到用户与终端1600的正面之间的距离逐渐变大时,由处理器1601控制触摸显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图11中示出的结构并不构成对终端1600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述各个实施例提供的虚拟角色的面部显示方法。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述各个实施例提供的虚拟角色的面部显示方法。
另一方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述各个实施例提供的虚拟角色的面部显示方法。
另一方面,提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如上述各个实施例提供的虚拟角色的面部显示方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD, Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,ResistanceRandom Access Memory)和动态随机存取存储器 (DRAM,Dynamic Random AccessMemory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种虚拟角色的面部显示方法,其特征在于,所述方法包括:
获取用户人脸对应的面部参数,所述面部参数用于指示所述用户人脸上不同面部区域的面部特征;
根据所述面部参数确定形变控制参数,所述形变控制参数用于控制虚拟角色上不同面部区域的形变程度;
根据所述形变控制参数和形变图像集合生成虚拟角色面部图像,所述形变图像集合中包含所述虚拟角色的基础面部图像和n张基础面部形变图像,其中,不同的基础面部形变图像对应不同的面部形变方式;
显示所述虚拟角色面部图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述形变控制参数和形变图像集合生成虚拟角色面部图像,包括:
根据所述形变控制参数确定n张所述基础面部形变图像中的目标基础面部形变图像,所述目标基础面部形变图像与所述形变控制参数对应同一面部形变方式;
根据所述形变控制参数、所述基础面部图像和所述目标基础面部形变图像,生成所述虚拟角色面部图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述形变控制参数、所述基础面部图像和所述目标基础面部形变图像,生成所述虚拟角色面部图像,包括:
根据所述形变控制参数确定插值比例,所述插值比例包括所述基础面部图像对应的第一插值比例以及所述目标基础面部形变图像对应的第二插值比例,所述插值比例用于控制所述基础面部图像和所述目标基础面部形变图像之间的插值程度;
根据所述基础面部图像和所述第一插值比例,以及所述目标基础面部形变图像和所述第二插值比例,生成所述虚拟角色面部图像。
4.根据权利要求1至3任一所述的方法,其特征在于,所述根据所述面部参数确定形变控制参数,包括:
获取参数映射关系,所述参数映射关系用于指示所述面部参数与所述形变控制参数之间的对应关系;
根据所述参数映射关系,确定所述面部参数对应的所述形变控制参数。
5.根据权利要求4所述的方法,其特征在于,所述虚拟角色为自定义虚拟角色,所述方法还包括:
根据样本形变控制参数生成样本虚拟角色面部图像;
在人脸录入界面显示所述样本虚拟角色面部图像,并获取样本人脸图像,所述样本人脸图像是用户模仿所述样本虚拟角色面部图像时采集的人脸图像;
根据所述样本形变控制参数和所述样本人脸图像对应的样本面部参数,生成样本对应关系;
根据多组所述样本对应关系,生成所述参数映射关系。
6.根据权利要求1至3任一所述的方法,其特征在于,所述获取用户人脸对应的面部参数,包括:
当处于目标场景时,通过摄像头采集所述用户人脸的人脸图像;
根据所述人脸图像确定所述用户人脸对应的所述面部参数。
7.根据权利要求6所述的方法,其特征在于,所述摄像头为深度摄像头,所述人脸图像中包括各个像素点对应的深度数据;
所述根据所述人脸图像确定所述用户人脸对应的所述面部参数,包括:
将所述人脸图像输入面部参数预测模型,得到所述面部参数预测模型输出的所述面部参数,所述面部参数预测模型是根据样本人脸深度图像以及所述样本人脸深度图像对应的样本面部参数训练得到的神经网络模型。
8.一种虚拟角色的面部显示装置,其特征在于,所述装置包括:
第一获取模块,用于获取用户人脸对应的面部参数,所述面部参数用于指示所述用户人脸上不同面部区域的面部特征;
确定模块,用于根据所述面部参数确定形变控制参数,所述形变控制参数用于控制虚拟角色上不同面部区域的形变程度;
第一生成模块,用于根据所述形变控制参数和形变图像集合生成虚拟角色面部图像,所述形变图像集合中包含所述虚拟角色的基础面部图像和n张基础面部形变图像,其中,不同的基础面部形变图像对应不同的面部形变区域;
显示模块,用于显示所述虚拟角色面部图像。
9.根据权利要求8所述的装置,其特征在于,所述第一生成模块,包括:
第一确定单元,用于根据所述形变控制参数确定n张所述基础面部形变图像中的目标基础面部形变图像,所述目标基础面部形变图像与所述形变控制参数对应同一面部形变区域;
生成单元,用于根据所述形变控制参数、所述基础面部图像和所述目标基础面部形变图像,生成所述虚拟角色面部图像。
10.根据权利要求9所述的装置,其特征在于,所述生成单元,用于:
根据所述形变控制参数确定插值比例,所述插值比例包括所述基础面部图像对应的第一插值比例以及所述目标基础面部形变图像对应的第二插值比例,所述插值比例用于控制所述基础面部图像和所述目标基础面部形变图像之间的插值程度;
根据所述基础面部图像和所述第一插值比例,以及所述目标基础面部形变图像和所述第二插值比例,生成所述虚拟角色面部图像。
11.根据权利要求8至10任一所述的装置,其特征在于,所述确定模块,包括:
获取单元,用于获取参数映射关系,所述参数映射关系用于指示所述面部参数与所述形变控制参数之间的对应关系;
第二确定单元,用于根据所述参数映射关系,确定所述面部参数对应的所述形变控制参数。
12.根据权利要求11所述的装置,其特征在于,所述虚拟角色为自定义虚拟角色,所述装置还包括:
第二生成模块,用于根据样本形变控制参数生成样本虚拟角色面部图像;
第二获取模块,用于在人脸录入界面显示所述样本虚拟角色面部图像,并获取样本人脸图像,所述样本人脸图像是用户模仿所述样本虚拟角色面部图像时采集的人脸图像;
第三生成模块,用于根据所述样本形变控制参数和所述样本人脸图像对应的样本面部参数,生成样本对应关系;
第四生成模块,用于根据多组所述样本对应关系,生成所述参数映射关系。
13.根据权利要求8至10任一所述的装置,其特征在于,所述第一获取模块,包括:
采集单元,用于当处于目标场景时,通过摄像头采集所述用户人脸的人脸图像;
第三确定单元,用于根据所述人脸图像确定所述用户人脸对应的所述面部参数。
14.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的虚拟角色的面部显示方法。
15.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的虚拟角色的面部显示方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910342925.7A CN110141857A (zh) | 2019-04-26 | 2019-04-26 | 虚拟角色的面部显示方法、装置、设备及存储介质 |
JP2021532877A JP7206388B2 (ja) | 2019-04-26 | 2020-04-01 | 仮想キャラクターの顔の表示方法、装置、コンピュータデバイス、およびコンピュータプログラム |
EP20794269.9A EP3962072A4 (en) | 2019-04-26 | 2020-04-01 | FACE DISPLAY METHOD AND APPARATUS FOR VIRTUAL CHARACTERS, COMPUTER DEVICE AND READABLE STORAGE MEDIUM |
PCT/CN2020/082695 WO2020216025A1 (zh) | 2019-04-26 | 2020-04-01 | 虚拟角色的面部显示方法、装置、计算机设备及可读存储介质 |
US17/315,562 US11423509B2 (en) | 2019-04-26 | 2021-05-10 | Method and apparatus for displaying face of virtual role, computer device, and readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910342925.7A CN110141857A (zh) | 2019-04-26 | 2019-04-26 | 虚拟角色的面部显示方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110141857A true CN110141857A (zh) | 2019-08-20 |
Family
ID=67594664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910342925.7A Pending CN110141857A (zh) | 2019-04-26 | 2019-04-26 | 虚拟角色的面部显示方法、装置、设备及存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11423509B2 (zh) |
EP (1) | EP3962072A4 (zh) |
JP (1) | JP7206388B2 (zh) |
CN (1) | CN110141857A (zh) |
WO (1) | WO2020216025A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781782A (zh) * | 2019-10-15 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 面部模型的确定方法及装置 |
CN111389008A (zh) * | 2020-03-16 | 2020-07-10 | 网易(杭州)网络有限公司 | 虚拟角色的面部生成方法、自动捏脸方法及装置 |
WO2020216025A1 (zh) * | 2019-04-26 | 2020-10-29 | 腾讯科技(深圳)有限公司 | 虚拟角色的面部显示方法、装置、计算机设备及可读存储介质 |
CN112241203A (zh) * | 2020-10-21 | 2021-01-19 | 广州博冠信息科技有限公司 | 三维虚拟角色的控制装置及方法、存储介质及电子设备 |
CN113096235A (zh) * | 2021-03-09 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
CN113426128A (zh) * | 2021-06-24 | 2021-09-24 | 网易(杭州)网络有限公司 | 自定义角色的相貌调节方法、装置、终端和存储介质 |
CN114049417A (zh) * | 2021-11-12 | 2022-02-15 | 北京字节跳动网络技术有限公司 | 虚拟角色图像的生成方法、装置、可读介质及电子设备 |
CN114339293A (zh) * | 2021-12-30 | 2022-04-12 | 咪咕文化科技有限公司 | 图片形变方法、服务器及可读存储介质 |
CN114895970A (zh) * | 2021-01-26 | 2022-08-12 | 博泰车联网科技(上海)股份有限公司 | 虚拟角色成长方法及相关装置 |
WO2022218085A1 (zh) * | 2021-04-13 | 2022-10-20 | 腾讯科技(深圳)有限公司 | 获取虚拟图像的方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113596248B (zh) * | 2020-04-30 | 2022-11-11 | 华为技术有限公司 | 一种显示屏控制方法及装置 |
CN113689532B (zh) * | 2021-08-05 | 2023-07-18 | 北京奇艺世纪科技有限公司 | 基于语音数据重建虚拟角色的方法及装置 |
CN113633983B (zh) * | 2021-08-16 | 2024-03-15 | 上海交通大学 | 虚拟角色表情控制的方法、装置、电子设备及介质 |
CN113824982B (zh) * | 2021-09-10 | 2024-07-09 | 网易(杭州)网络有限公司 | 一种直播方法、装置、计算机设备及存储介质 |
CN115209180B (zh) * | 2022-06-02 | 2024-06-18 | 阿里巴巴(中国)有限公司 | 视频生成方法以及装置 |
CN115376482A (zh) * | 2022-08-23 | 2022-11-22 | Oppo广东移动通信有限公司 | 面部动作视频生成方法及装置、可读介质和电子设备 |
CN115601484B (zh) * | 2022-11-07 | 2023-03-28 | 广州趣丸网络科技有限公司 | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 |
WO2024157181A1 (en) * | 2023-01-24 | 2024-08-02 | Soul Machines Limited | Interactive interfaces for embodied agent configuration |
CN117974852A (zh) * | 2023-11-17 | 2024-05-03 | 北京汇畅数宇科技发展有限公司 | 一种面部图像智能绑定方法、装置及计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149840A (zh) * | 2006-09-20 | 2008-03-26 | 清华大学 | 一种复杂表情仿真系统及其实现方法 |
CN108573527A (zh) * | 2018-04-18 | 2018-09-25 | 腾讯科技(深圳)有限公司 | 一种表情图片生成方法及其设备、存储介质 |
CN108876879A (zh) * | 2017-05-12 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
CN109120866A (zh) * | 2018-09-27 | 2019-01-01 | 腾讯科技(深圳)有限公司 | 动态表情生成方法、装置、计算机可读存储介质和计算机设备 |
CN109308727A (zh) * | 2018-09-07 | 2019-02-05 | 腾讯科技(深圳)有限公司 | 虚拟形象模型生成方法、装置及存储介质 |
CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006343583A (ja) * | 2005-06-09 | 2006-12-21 | Ntt Docomo Inc | 顔形状提示装置 |
JP4760349B2 (ja) * | 2005-12-07 | 2011-08-31 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
JP2010186216A (ja) * | 2009-02-10 | 2010-08-26 | Seiko Epson Corp | 顔画像における特徴部位の位置の特定 |
JP5451302B2 (ja) * | 2009-10-19 | 2014-03-26 | キヤノン株式会社 | 画像処理装置及び方法、プログラム及び記憶媒体 |
CN101944163A (zh) * | 2010-09-25 | 2011-01-12 | 德信互动科技(北京)有限公司 | 通过捕捉人脸表情实现游戏角色表情同步的方法 |
WO2014094199A1 (en) * | 2012-12-17 | 2014-06-26 | Intel Corporation | Facial movement based avatar animation |
JP2014199536A (ja) * | 2013-03-29 | 2014-10-23 | 株式会社コナミデジタルエンタテインメント | 顔モデル生成装置、顔モデル生成装置の制御方法、及びプログラム |
CN105184735B (zh) * | 2014-06-19 | 2019-08-06 | 腾讯科技(深圳)有限公司 | 一种人像变形方法及装置 |
US9799096B1 (en) * | 2014-07-08 | 2017-10-24 | Carnegie Mellon University | System and method for processing video to provide facial de-identification |
US10796480B2 (en) * | 2015-08-14 | 2020-10-06 | Metail Limited | Methods of generating personalized 3D head models or 3D body models |
CN106713811B (zh) * | 2015-11-17 | 2019-08-13 | 腾讯科技(深圳)有限公司 | 视频通话方法和装置 |
CN106331572A (zh) * | 2016-08-26 | 2017-01-11 | 乐视控股(北京)有限公司 | 一种基于图像的控制方法和装置 |
CN109241810B (zh) * | 2017-07-10 | 2022-01-28 | 腾讯科技(深圳)有限公司 | 虚拟角色图像的构建方法及装置、存储介质 |
US10789453B2 (en) * | 2019-01-18 | 2020-09-29 | Snap Inc. | Face reenactment |
CN110141857A (zh) * | 2019-04-26 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 虚拟角色的面部显示方法、装置、设备及存储介质 |
-
2019
- 2019-04-26 CN CN201910342925.7A patent/CN110141857A/zh active Pending
-
2020
- 2020-04-01 JP JP2021532877A patent/JP7206388B2/ja active Active
- 2020-04-01 EP EP20794269.9A patent/EP3962072A4/en active Pending
- 2020-04-01 WO PCT/CN2020/082695 patent/WO2020216025A1/zh unknown
-
2021
- 2021-05-10 US US17/315,562 patent/US11423509B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149840A (zh) * | 2006-09-20 | 2008-03-26 | 清华大学 | 一种复杂表情仿真系统及其实现方法 |
CN108876879A (zh) * | 2017-05-12 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
CN108573527A (zh) * | 2018-04-18 | 2018-09-25 | 腾讯科技(深圳)有限公司 | 一种表情图片生成方法及其设备、存储介质 |
CN109308727A (zh) * | 2018-09-07 | 2019-02-05 | 腾讯科技(深圳)有限公司 | 虚拟形象模型生成方法、装置及存储介质 |
CN109325437A (zh) * | 2018-09-17 | 2019-02-12 | 北京旷视科技有限公司 | 图像处理方法、装置和系统 |
CN109120866A (zh) * | 2018-09-27 | 2019-01-01 | 腾讯科技(深圳)有限公司 | 动态表情生成方法、装置、计算机可读存储介质和计算机设备 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020216025A1 (zh) * | 2019-04-26 | 2020-10-29 | 腾讯科技(深圳)有限公司 | 虚拟角色的面部显示方法、装置、计算机设备及可读存储介质 |
US11423509B2 (en) | 2019-04-26 | 2022-08-23 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for displaying face of virtual role, computer device, and readable storage medium |
CN110781782A (zh) * | 2019-10-15 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 面部模型的确定方法及装置 |
CN111389008A (zh) * | 2020-03-16 | 2020-07-10 | 网易(杭州)网络有限公司 | 虚拟角色的面部生成方法、自动捏脸方法及装置 |
CN111389008B (zh) * | 2020-03-16 | 2023-03-31 | 网易(杭州)网络有限公司 | 虚拟角色的面部生成方法、自动捏脸方法及装置 |
CN112241203A (zh) * | 2020-10-21 | 2021-01-19 | 广州博冠信息科技有限公司 | 三维虚拟角色的控制装置及方法、存储介质及电子设备 |
CN114895970A (zh) * | 2021-01-26 | 2022-08-12 | 博泰车联网科技(上海)股份有限公司 | 虚拟角色成长方法及相关装置 |
CN114895970B (zh) * | 2021-01-26 | 2024-02-27 | 博泰车联网科技(上海)股份有限公司 | 虚拟角色成长方法及相关装置 |
CN113096235A (zh) * | 2021-03-09 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
CN113096235B (zh) * | 2021-03-09 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
WO2022218085A1 (zh) * | 2021-04-13 | 2022-10-20 | 腾讯科技(深圳)有限公司 | 获取虚拟图像的方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品 |
CN113426128A (zh) * | 2021-06-24 | 2021-09-24 | 网易(杭州)网络有限公司 | 自定义角色的相貌调节方法、装置、终端和存储介质 |
CN113426128B (zh) * | 2021-06-24 | 2024-04-30 | 网易(杭州)网络有限公司 | 自定义角色的相貌调节方法、装置、终端和存储介质 |
CN114049417A (zh) * | 2021-11-12 | 2022-02-15 | 北京字节跳动网络技术有限公司 | 虚拟角色图像的生成方法、装置、可读介质及电子设备 |
CN114049417B (zh) * | 2021-11-12 | 2023-11-24 | 抖音视界有限公司 | 虚拟角色图像的生成方法、装置、可读介质及电子设备 |
CN114339293A (zh) * | 2021-12-30 | 2022-04-12 | 咪咕文化科技有限公司 | 图片形变方法、服务器及可读存储介质 |
CN114339293B (zh) * | 2021-12-30 | 2024-02-27 | 咪咕文化科技有限公司 | 图片形变方法、服务器及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2022529757A (ja) | 2022-06-24 |
WO2020216025A1 (zh) | 2020-10-29 |
JP7206388B2 (ja) | 2023-01-17 |
US11423509B2 (en) | 2022-08-23 |
EP3962072A4 (en) | 2022-06-22 |
US20210264563A1 (en) | 2021-08-26 |
EP3962072A1 (en) | 2022-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110141857A (zh) | 虚拟角色的面部显示方法、装置、设备及存储介质 | |
US10609334B2 (en) | Group video communication method and network device | |
CN109308727B (zh) | 虚拟形象模型生成方法、装置及存储介质 | |
CN109427083B (zh) | 三维虚拟形象的显示方法、装置、终端及存储介质 | |
CN110427110B (zh) | 一种直播方法、装置以及直播服务器 | |
CN109754454B (zh) | 物体模型的渲染方法、装置、存储介质及设备 | |
WO2020233403A1 (zh) | 三维角色的个性化脸部显示方法、装置、设备及存储介质 | |
CN110263617B (zh) | 三维人脸模型获取方法及装置 | |
WO2021043121A1 (zh) | 一种图像换脸的方法、装置、系统、设备和存储介质 | |
CN108876878B (zh) | 头像生成方法及装置 | |
CN112337105B (zh) | 虚拟形象生成方法、装置、终端及存储介质 | |
WO2021073293A1 (zh) | 动画文件的生成方法、装置及存储介质 | |
CN109978996B (zh) | 生成表情三维模型的方法、装置、终端及存储介质 | |
CN109426343B (zh) | 基于虚拟现实的协作训练方法及系统 | |
CN111028566A (zh) | 直播教学的方法、装置、终端和存储介质 | |
CN112468884B (zh) | 动态资源显示方法、装置、终端、服务器及存储介质 | |
CN110837300B (zh) | 虚拟交互的方法、装置、电子设备及存储介质 | |
CN110517346B (zh) | 虚拟环境界面的展示方法、装置、计算机设备及存储介质 | |
CN114904279A (zh) | 数据预处理方法、装置、介质及设备 | |
CN112870697B (zh) | 基于虚拟关系养成程序的交互方法、装置、设备及介质 | |
CN112367533B (zh) | 交互业务的处理方法、装置、设备及计算机可读存储介质 | |
CN110312144B (zh) | 进行直播的方法、装置、终端和存储介质 | |
CN112306332A (zh) | 确定选中目标的方法、装置、设备及存储介质 | |
CN112023403A (zh) | 基于图文信息的对战过程展示方法及装置 | |
CN110300275B (zh) | 视频录制、播放方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |