CN115398884A - 自拍设置和库存视频创建 - Google Patents

自拍设置和库存视频创建 Download PDF

Info

Publication number
CN115398884A
CN115398884A CN202180026818.9A CN202180026818A CN115398884A CN 115398884 A CN115398884 A CN 115398884A CN 202180026818 A CN202180026818 A CN 202180026818A CN 115398884 A CN115398884 A CN 115398884A
Authority
CN
China
Prior art keywords
user
image
computing device
video
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180026818.9A
Other languages
English (en)
Inventor
杰里米·沃斯
达林·戴尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN115398884A publication Critical patent/CN115398884A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种用于操作消息系统的方法，该消息系统用于发送包括用户的自身图像的可修改视频。该方法包括提供面部轮廓以有助于拍摄自身图像。可以向用户提供与光照水平、面部表情、面部位置和面部大小有关的指令。显示微笑测量以使用户能够将当前微笑水平调整为目标微笑水平。可以使用穿戴遮罩并面向摄像机的演员来创建库存视频。遮罩是用于自身图像的插入的标记。库存视频上传至库存视频的数据库，并且经用户选择后，与自身图像相结合，从而形成个性化视频。

Description

自拍设置和库存视频创建
技术领域
本公开总体涉及图像和视频组合。更具体地，本公开涉及用于自身图像形成和库存视频创建的方法和系统。
背景技术
共享媒体(例如贴纸和表情符号)已成为消息传递应用程序的标准选项。目前，一些消息应用程序为用户提供了通过通信聊天生成图像和短视频并将其发送给其他用户的选项。
附图说明
实施例在附图中以示例而非限制的方式被示出，其中相同的附图标记指示相似的元件。
图1是示出示例环境的框图，其中，可以实现用于提供个性化视频的系统和方法。
图2是示出用于实现用于提供个性化视频的方法的计算设备的示例实施例的框图。
图3是示出根据本公开的一些示例实施例的用于提供个性化视频的系统的框图。
图4是示出根据示例实施例的个性化视频的生成过程的示意图。
图5是根据本公开的一些示例实施例的个性化视频生成模块的框图。
图6至图8示出根据一些示例实施例的用于在消息应用程序中提供个性化视频的系统的用户界面的屏幕。
图9是示出根据一些示例实施例的用于在视频模板的生成中使用的实时动作视频的生成过程的流程图。
图10示出根据一些示例实施例的用于生成视频模板的示例实时动作视频的帧。
图11示出根据示例实施例的分段头部图像、具有面部标志的头部图像和面部遮罩。
图12示出根据示例实施例的以用户面部、皮肤遮罩和重新着色皮肤遮罩的结果为特征的帧。
图13是示出根据示例实施例的用于准备库存视频并设置用于与库存视频组合以创建个性化视频的自身图像的方法的流程图。
图14示出可用于实现提供个性化视频的方法的示例计算机系统。
具体实施方式
以下对实施例的详细描述包括对构成详细描述的一部分的附图的参考。本节中描述的方法不是权利要求的现有技术，并且不通过包含在本节中而被承认为现有技术。附图示出根据示例实施例的图示。这些示例实施例在本文中也被称为“示例”，其被足够详细地描述以使本领域技术人员能够实践本主题。在不脱离所要求保护的范围的情况下，可以组合实施例，可以利用其他实施例，或者可以进行结构、逻辑和操作上的改变。因此，以下详细描述不应被理解为限制意义，并且范围由所附权利要求及其等同物来定义。
为本专利文件的目的，术语“一个”应表示“一个或多个”，除非另有说明或“一个或多个”的使用明显不合适。术语“包含(include)”、“包含(including)”、“包括(comprise)”和“包括(comprising)”是可互换的并且不旨在进行限制。例如，术语“包括”应解释为“包括但不限于”。
本公开涉及发送包括自身图像的可修改视频。自拍设置系统提供相机取景的实时图像，其中面部轮廓位于相机取景中的预定位置。面部轮廓是用户正使用计算设备拍摄自身图像时用户的脸的近似大小。该系统提供与光照水平、面部表情、面部位置或面部大小有关的指令，并且可以显示与用户的当前微笑水平相对应的微笑测量。相对于目标微笑水平显示微笑测量以使用户能够将当前微笑水平调整到目标微笑水平。
使用穿戴遮罩并面向录制库存视频的相机的演员创建库存视频。遮罩是用于自身图像的插入的标记。库存视频上传至库存视频数据库，供用户选择与自身图像组合以形成个性化视频。
现在参考附图，描述示例实施例。附图是理想化示例实施例的示意图。因此，本文所讨论的示例实施例不应被理解为限于本文所呈现的特定说明，而是这些示例实施例可以包括偏差并且与本文所呈现的说明不同，这对于本领域的技术人员来说是显而易见的。
图1示出示例环境100，其中，可以实践用于提供个性化视频的方法。环境100可以包括计算设备105、用户102、计算设备110、用户104、网络120和消息服务系统130。计算设备105和计算设备110可以指代移动设备，例如手机、智能手机或平板电脑。然而，在进一步的实施例中，计算设备110可以指个人计算机、膝上型计算机、上网本、机顶盒、电视设备、多媒体设备、个人数字助理、游戏控制台、娱乐系统、信息娱乐系统、车载计算机或任何其他计算设备。
计算设备105和计算机设备110可以通过网络120通信地连接到消息服务系统130。消息服务系统130可以被实现为基于云的计算资源。消息服务系统可以包括在远程位置可用并且可通过网络(例如，互联网)访问的计算资源(硬件和软件)。基于云的计算资源可以由多个用户共享，并且可以根据需求动态地重新分配。基于云的计算资源可以包括一个或多个服务器群/集群，其包括可以与网络交换机或路由器共同定位的计算机服务器的集合。
网络120可以包括任何有线、无线或光网络，包括例如因特网、内联网、局域网(LAN)、个域网(PAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝电话网络(例如，全球移动系统(GSM)通信网络等。
在本公开的一些实施例中，计算设备105可以被配置为启用计算110的用户102和用户104之间的通信聊天。用户102和用户104可以在通信聊天期间交换文本消息和视频。视频可以包括个性化视频。可以基于存储在计算设备105或计算设备110中的预先生成的视频来生成个性化视频。在一些实施例中，可以将预先生成的视频存储在消息服务系统130中并且按需下载到计算设备105或计算设备110。
消息服务系统130还可以被配置为存储用户简档135。用户简档135可以包括用户102的面部图像、用户104的面部图像和其他人的面部图像。可以根据需要并基于许可将面部图像下载到计算设备105或计算设备110。另外，用户102的面部图像可以使用计算设备105生成并存储在计算设备105的本地存储器中。面部图像可以基于存储在计算设备105中的其他图像而生成。面部图像可以进一步被计算设备105使用以基于预先生成的视频来生成个性化视频。类似地，计算设备110可用于生成用户104的面部图像。用户104的面部图像可用于在计算设备110上生成个性化视频。在进一步的实施例中，用户102的面部图像和用户104的面部图像可以相互用于在计算设备105或计算设备110上生成个性化视频。
图2是示出用于实现个性化视频的方法的计算设备105(或计算设备110)的示例实施例的框图。在图2所示的示例中，计算设备110包括硬件组件和软件组件。具体地，计算设备110包括相机205或任何其他图像捕捉设备或扫描仪以获取数字图像。计算设备110还可以包括处理器模块210和存储模块215，用于存储软件组件和处理器可读(机器可读)指令或代码，当它们由处理器模块210执行时，使计算设备105执行用于提供如本文所述的个性化视频的方法的至少一些步骤。计算设备105可以包括图形显示系统230和通信模块240。在其他实施例中，计算设备105可以包括附加的或不同的组件。此外，计算设备105可以包括较少的组件，这些组件执行与图2中描绘的那些相似或等效的功能。
计算设备110还可以包括用于与另一计算设备(例如计算设备110)进行通信聊天的消息应用程序(messenger)220和用于提供个性化视频的系统250。下面参考图3更详细地描述系统300。消息应用程序220和系统300可以被实现为存储在存储器215中的软件组件和处理器可读(机器可读)指令或代码，当由处理器模块210执行时，使得计算设备105执行如本文所述的用于提供通信聊天和个性化视频的方法的至少一些步骤。
在一些实施例中，用于提供个性化视频的系统300可以集成在消息应用程序300中。可以通过图形显示系统230提供消息应用程序220的用户界面和用于提供个性化视频的系统300。通信聊天可以通过通信模块240和网络120启用。通信模块240可以包括GSM模块、WiFi模块、蓝牙TM模块等。
图3是根据本公开的一些示例实施例的用于提供个性化视频的系统300的框图。系统300可以包括用户界面305、面部图像捕捉模块310、视频数据库320和个性化视频生成模块330。
视频数据库320可以存储一个或多个视频。视频可以包括以前录制的以一个演员或多个演员为特色的视频。视频可以包括二维(2D)视频或三维(3D)场景。可以对视频进行预处理，以在每帧中分割演员的面部(也称为目标面部)和背景，并识别一组参数(可用于进一步插入源面部而不是演员的面部(目标面部))。该组参数可以包括面部纹理、面部表情参数、面部颜色、面部身份参数、面部的位置和角度等。该组参数还可以包括可以对演员的面部执行的操纵和操作的列表，例如以逼真的方式执行的演员面部的替换。
面部图像捕捉模块320可接收人的图像并产生人脸的图像。人脸的图像可以用作源面部以替换存储在视频数据库320中的视频中的目标面部。人的图像可以由计算设备105的相机205捕捉。人的图像可以包括存储在计算设备105的存储器215中的图像。面部图像捕捉模块320的细节在图7中提供。
个性化视频生成模块330可以基于源面部的图像从存储在数据库320中的一个或多个预先生成的视频生成个性化视频。模块330可以将预先生成的视频中的演员的面部替换为源面部，同时保持演员面部的面部表情。模块330可以用源面部的面部纹理、面部颜色和面部身份替换演员的面部纹理、面部颜色和面部身份。模块330还可以在个性化视频中的源面部的眼睛区域上添加眼镜图像。类似地，模块330可以在个性化视频中的源面部的头部上方添加头饰(例如，帽子(cap)、帽子(hat)、头盔等)的图像。眼镜和头饰的图像可以预先存储在用户的计算设备105中或生成。可以使用DNN生成眼镜和头饰的图像。模块330还可以将阴影或颜色应用到个性化视频的源面部。例如，模块330可以将晒黑添加到源面部的面部。
图4是示出根据一些示例实施例的个性化视频生成模块330的功能400的示意图。个性化视频生成模块330可以接收源面部405的图像和预先生成的视频410。预先生成的视频410可以包括一个或多个帧420。帧420可以包括目标面部415。源面部405的面部表情可以不同于目标面部415的面部表情。
在本公开的一些实施例中，个性化视频生成模块330可以被配置为分析源面部405的图像以提取源面部参数430。可以通过将参数化面部模型拟合到源面部405的图像来提取源面部参数430。参数化面部模型可以包括模板网格。模板网格中的顶点坐标可能取决于两个参数：面部身份和面部表情。因此，源参数430可以包括对应于源面部405的面部身份和面部表情。源参数405还可以包括源面部405的纹理。纹理可以包括模板网格中顶点处的颜色。在一些实施例中，与模板网格相关联的纹理模型可用于确定源面部405的纹理。
在本公开的一些实施例中，个性化视频生成模块330可以被配置为分析目标视频410的帧420以针对每个帧420提取目标面部参数435。可以通过将参数化面部模型拟合到目标面部415来提取目标面部参数435。目标参数435可以包括与目标面部415对应的面部身份和面部表情。目标面部参数430还可以包括目标面部420的纹理。目标面部415的纹理可以使用纹理模型获得。在本公开的一些实施例中，每个帧420可以包括元数据。元数据可以包括为帧确定的目标面部参数。例如，目标面部参数可以由消息服务系统130(如图1所示)确定。目标面部参数可以存储在预生成视频410的帧的元数据中。预生成视频可以进一步下载到计算设备105并存储在视频数据库320中。可替代地，个性化视频生成模块330可以对预先生成的视频410进行预处理，以确定帧420中的目标面部参数435和目标面部415的位置参数。个性化视频生成模块330还可以将目标面部参数435和目标面部的位置参数存储在相应帧420的元数据。这样，每次选择预先生成的视频410用于不同源面部的个性化时，都不会重新计算目标面部参数435。
在本公开的一些实施例中，个性化视频生成模块330还可以被配置为将源面部参数430中的面部表情替换为来自目标参数435的面部表情。个性化视频生成模块330可以进一步被配置为使用参数化面部模型、纹理模块和目标参数430与替换的面部表情来合成输出面部445。输出面部445可用于替换目标视频410帧中的目标面部415，来得到输出视频的帧，显示为个性化视频440。输出面部445是采用目标面部415的面部表情的源面部405。输出视频为基于预定视频410和源面部405图像生成的个性化视频440。
图5是根据一个示例实施例的个性化视频生成模块330的框图。个性化视频生成模块330可以包括参数化面部模型505、纹理模型510、DNN515、预处理模块520、面部合成模块525以及嘴和眼睛生成模块530。模块505-530可以被实现为软件组件，用于与诸如计算设备105、计算设备110、消息服务系统130等的硬件设备一起使用。
在本公开的一些实施例中，参数化面部模型505可以基于预定数量的不同年龄、性别和种族背景的个体的图像预先生成。对于每个个体，图像可以包括具有中性面部表情的个体的图像和具有不同面部表情的个体的一个或多个图像。面部表情可以包括张开嘴、微笑、愤怒、惊讶等。
参数化面部模型505可以包括具有预定数量的顶点的模板网格。模板网格可以表示为定义头部形状的3D三角剖分。每个个体都可以与个体特定的混合形状相关联。个人特定的混合形状可以调整为模板网格。个体特定的混合形状可以对应于模板网格中顶点的特定坐标。因此，个体的不同图像可以对应相同结构的模板网格；然而，模板网格中的顶点坐标对于不同的图像是不同的。
在本公开的一些实施例中，参数化面部模型可以包括双线性面部模型，该双线性面部模型取决于两个参数：面部身份和面部表情。双线性面部模型可以基于与个人图像对应的混合形状来构建。因此，参数化面部模型包括预定结构的模板网格，其中，顶点的坐标取决于面部身份和面部表情。
在本公开的一些实施例中，纹理模型510可以包括与个体图像相对应的纹理向量的线性空间。纹理向量可以确定为模板网格顶点的颜色。
参数化面部模型505和纹理模型510可用于基于面部身份、面部表情和纹理的已知参数来合成面部。参数化面部模型505和纹理模型510还可以用于基于新面部的新图像确定面部身份、面部表情和纹理的未知参数。
使用参数化面部模型505和纹理模型510合成人脸不费时；然而，合成的人脸可能并不逼真，尤其是在嘴和眼睛区域。在本公开的一些实施例中，可以训练DNN 515以生成面部的嘴和眼睛区域的逼真图像。DNN 515可以使用说话个人的视频集进行训练。可以从视频帧中捕捉说话个人的嘴和眼睛区域。可以使用生成对抗网络(GAN)训练DNN 515，以根据嘴和眼睛区域的先前帧的预定数量以及当前帧的期望面部表情来预测面部的嘴和眼睛区域。嘴和眼睛区域的先前帧可以在特定时刻提取面部表情参数。DNN 515可以允许将嘴和眼睛区域与面部表情所需的参数进行合成。DNN 515还可以允许利用先前的帧来获得空间相干性。
GAN对从面部模型渲染的嘴和眼睛区域、当前表情参数和来自先前生成的图像的嵌入特征执行调节，并生成相同但更逼真的区域。使用DNN515生成的嘴和眼睛区域可以用来代替参数化面部模型505合成的嘴和眼睛区域。需要注意的是，通过DNN合成嘴和眼睛区域可能比通过DNN合成整个人脸更耗时。因此，可以通过例如智能手机或平板电脑等移动设备的一个或多个处理器实时执行使用DNN生成嘴和眼睛区域。
在一些实施例中，预处理模块520可以被配置为接收预先生成的视频410和源面部405的图像。目标视频410可以包括目标面部。预处理单元520还可以用于对目标视频的至少一帧进行分割，得到目标面部415和目标背景的图像。可以使用神经网络、抠图和平滑来执行分割。
在一些实施例中，预处理模块520还可以被配置为使用参数化面部模型505和纹理模型510，基于目标视频410的至少一个帧来确定一组目标面部参数。在一些实施例中，目标参数可以包括目标面部身份、目标面部表情和目标纹理。在一些实施例中，预处理模块520还可以被配置为使用参数化面部模型505和纹理模型510，基于源面部405的图像确定一组源面部参数。该组源面部参数可以包括源面部身份、源面部表情和源纹理。
在一些实施例中，面部合成模块525可以被配置为将源面部参数集合中的源面部表情替换为目标面部表情，以获得输出参数集合。面部合成模块525可以进一步被配置为使用输出参数集以及参数化面部模型505和纹理模型510来合成输出面部。
在一些实施例中，可以将2D变形应用于目标面部以获得隐藏在目标面部中的输出面部区域的逼真图像。2D变形的参数可以根据参数化面部模型的源参数集来确定。
在一些实施例中，嘴和眼睛生成模块530可以被配置为使用DNN 515基于目标视频410的至少一个先前帧和源面部表情来生成嘴和眼睛区域。嘴和眼睛生成模块530可以进一步被配置为将参数化面部模型505和纹理模型510合成的输出面部中的嘴和眼睛区域替换为使用DNN 515合成的嘴和眼睛区域。
图6示出根据一些示例实施例的用于在消息应用(消息应用程序)中提供个性化视频的系统的用户界面600的示例屏幕。用户界面600可以包括聊天窗口610和包含视频640的部分。视频640可以包括具有面部部分650而不是面部的预渲染视频。预渲染视频可以包括旨在向用户展示个性化视频可能看起来如何的示例表示的预告视频。面部部分650可以以白色椭圆的形式示出。在一些实施例中，视频640可以包括几个面部部分650以使得能够创建多人视频(即，具有多个人的面部的视频)。用户可以轻敲任何视频640以选择视频640中的一个以进行修改并发送到聊天窗口610。修改可以包括从用户接收自拍图片(即，通过计算设备的前置摄像头拍摄的用户面部图像)，从自拍图片中获取源面部，并通过使用源面部修改所选视频640以创建个性化视频，在本文中也被称为“卷轴(reel)”。因此，如本文所使用的，卷轴是通过将视频模板(没有用户面部的视频)修改为插入了用户面部的视频而产生的个性化视频。因此，可以以具有用户面部特征的视听媒体(例如，视频、动画或任何其他类型的媒体)的形式生成个性化视频。可以将修改的视频发送到聊天窗口610。用户界面600还可以具有按钮630，当点击该按钮时，可以将用户从消息传递应用转换到根据本公开的用于提供个性化视频的系统。
图7示出根据一些示例实施例的用于在消息应用程序中提供个性化视频的系统的用户界面710和720的示例屏幕。用户界面710和720示出自拍捕捉模式，其中用户可以拍摄用户面部的图像，然后将其用作源面部。当用户想要捕捉自拍图像时，用户界面710显示计算设备的相机的实时取景。实时取景可以显示用户面部705。用户界面710可以显示自拍椭圆730和相机按钮740。在示例实施例中，相机按钮740可以在自拍捕捉模式中从屏幕底部向上滑动。用户可能需要改变相机的位置以便将用户面部705定位在自拍椭圆730的边界内。当用户面部705不在自拍椭圆730的中心时，自拍椭圆730可以以虚线的形式设计，并且相机按钮740是半透明的并且不可动作以指示相机按钮740不活动。为了通知用户用户面部未居中，可以在自拍椭圆730下方显示文本760。文本760可以包括针对用户的指令，例如“将您的面部居中”、“寻找良好的照明”等。
用户界面720显示了在用户改变相机的位置以捕捉自拍图像并且用户面部705在自拍椭圆形730中居中之后计算设备的相机的实时取景。特别地，当用户面部705变为在自拍椭圆730中居中，自拍椭圆730变为粗实线并且相机按钮740变得不透明并且可操作以指示相机按钮740现在是活动的。为了通知用户，可以在自拍椭圆730下方显示文本760。文本760可以指示用户制作自拍图片，例如“自拍”、“尽量不要笑”等等。在一些实施例中，用户可以通过按下相机胶卷按钮750从图片库中选择现有的自拍图片。
图8示出根据一些示例实施例的用于在消息应用程序中提供个性化视频的系统的用户界面810和820的示例屏幕。在用户拍摄自拍图像片之后，用户界面810和820被显示在屏幕上。用户界面810可以显示背景800、当前正在创建的卷轴的示意图805和文本815。文本815可以包括例如“创建我的卷轴”。用户界面820可以显示被创建的卷轴825和文本部分830和835。卷轴825可以以全屏模式显示。文本830可以包括例如“您的卷轴已准备好”。可以在卷轴825后面提供深色渐变，因此文本830是可见的。文本部分835可以显示例如“使用此自拍在聊天中发送卷轴或者尝试重新拍摄”以通知用户用户可以使用用户已经拍摄的自拍相片或者拍摄另一张自拍相片。此外，可以在用户界面820上显示两个按钮。按钮840可以显示为具有蓝色和填充背景，并且可以指示用户“使用这个自拍”。当用户轻敲按钮840时，可以启用两人卷轴屏幕。按钮845可以显示为具有白色、轮廓和透明背景，并且可以指示用户“重新自拍”。当用户轻敲按钮845时，可以激活图7中所示的用户界面710，并且可以如参考图7所描述的那样启动创建卷轴的步骤。用户界面820还可在按钮840和845下方显示子文本850。子文本850可以告知用户可以如何删除卷轴，例如，“您可以在设置中删除您的卷轴自拍”。
图9是示出生成实时动作视频的过程900的框图。实时动作视频可进一步用于生成视频模板以生成个性化视频。过程900可以包括在步骤905产生想法并且在步骤910创建场景。过程900可以在步骤915继续进行预制作，随后是制作920。制作920可以包括使用色度键屏幕925或在真实生活位置930进行记录。
图10示出用于生成视频模板的示例实时动作视频的帧。视频1005和视频1015的帧被记录在真实生活位置930。视频1010、视频1020和视频1025的帧使用色度键屏幕925记录。演员可以穿戴色度键面部遮罩1030，其具有覆盖演员面部的跟踪标记。
图11示出根据示例实施例的分段头部图像1105、具有面部标志1110的分段头部图像1105和面部遮罩1115。基于用户的头部图像和面部标志的分割，可以创建用户的面部遮罩1115。面部遮罩1115中可能不包括眼睛、嘴、头发或配件(如眼镜)等区域。用户的分割头部图像1105和面部遮罩可用于计算用户面部皮肤的统计数据。因此，面部统计计算的输入可以包括用户的分割头部图像1105、面部标志1110和面部分割，并且面部统计计算的输出可以包括用户面部皮肤的颜色统计。
图12示出根据示例实施例的以用户面部、皮肤遮罩1210和重新着色皮肤遮罩1210的结果1215为特征的帧1205。可以使用描述演员皮肤和用户皮肤中的颜色分布的统计来执行肤色匹配和重新着色，并且可以在计算设备上实时执行背景帧的重新着色。对于每个颜色通道，可以执行分布匹配并且可以修改背景像素的值，以使变换值的分布接近面部值的分布。分布匹配可以在假设颜色分布正常的情况下执行，也可以通过应用多维概率密度函数传递等技术来执行。因此，肤色匹配和重新着色过程的输入可以包括背景帧、该帧的演员皮肤遮罩、每个遮罩的演员身体肤色统计数据以及用户面部肤色统计数据，并且输出可能包括背景帧，其中所有未覆盖皮肤的身体部位都重新着色。
图13是示出用于操作适于发送和接收包括用户的自身图像的可修改视频的消息系统的方法1300的流程图。方法1300中的流程开始于操作1310，其指示在相机取景中的预定位置处提供具有面部轮廓的相机取景的实时图像。从操作1310，流程进行到操作1320，其指示当用户使用计算设备拍摄自身图像时，使用户的面部的大小近似面部轮廓。从操作1320，流程进行到操作1330，其指示提供与光照水平、面部表情、面部位置或面部大小有关的指令。从操作1330，流程进行到操作1340，其指示显示与用户的当前微笑水平相对应的微笑测量。该微笑测量相对于目标微笑水平显示，以使用户能够将当前微笑水平调整到目标微笑水平。从操作1340，流程进行到操作1350，其指示使用穿戴遮罩并面向记录库存视频的相机的用户来创建库存视频。遮罩是用于自身图像的插入的标记。从操作1350，流程进行到操作1360，其指示将库存视频上传到库存视频的数据库，用户可以访问该数据库以选择与自身图像组合以形成个性化视频。方法1300中的一些步骤可以是可选的，并且可以以各种顺序执行。
图14图示了可以用于实现本文描述的方法的示例计算系统1400。计算系统1400可以在诸如计算设备105和110、消息服务系统130、消息应用程序220和用于提供个性化视频的系统300等的环境中实现。
如图14所示，计算系统1400的硬件组件可以包括一个或多个处理器1410和存储器1420。存储器1420部分地存储供处理器1410执行的指令和数据。当系统1400运行时，存储器1420可以存储可执行代码。系统1400还可以包括可选的大容量存储设备1430、可选的便携式存储介质驱动器1440、一个或多个可选的输出设备1450、一个或多个可选的输入设备1460、可选的网络接口1470和一个或多个可选的外围设备1480。计算系统1400还可以包括一个或多个软件组件1495(例如，可以实现用于提供如本文所述的个性化视频的方法的那些)。
图14中所示的组件被描绘为通过单个总线1490连接。组件可以通过一个或多个数据传输装置或数据网络连接。处理器1410和存储器1420可以通过本地微处理器总线连接，并且大容量存储设备1430、外围设备1480、便携式存储设备1440和网络接口1470可以通过一个或多个输入/输出(I/O)总线连接。
可以用磁盘驱动器、固态磁盘驱动器或光盘驱动器实现的大容量存储设备1430是用于存储供处理器1410使用的数据和指令的非易失性存储设备。大容量存储设备1430可以存储系统软件(例如，软件组件1495)以用于实现本文描述的实施例。
便携式存储介质驱动器1440与诸如压缩盘(CD)或数字视频盘(DVD)之类的便携式非易失性存储介质一起操作，以将数据和代码输入到计算系统1400或从其输出。用于实现本文描述的实施例的系统软件(例如，软件组件1495)可以存储在这样的便携式介质上并且通过便携式存储介质驱动器1440输入到计算系统1400。
可选输入设备1460提供用户界面的一部分。输入设备1460可以包括用于输入字母数字和其他信息的字母数字小键盘，例如键盘，或诸如鼠标、轨迹球、触控笔或光标方向键的定点设备。输入设备1460还可以包括相机或扫描仪。此外，如图14所示的系统1400包括可选的输出设备1450。合适的输出设备包括扬声器、打印机、网络接口和监视器。
网络接口1470可用于通过一个或多个通信网络(例如一个或多个有线、无线或光网络，包括例如互联网、内联网、LAN、WAN、蜂窝电话网络、蓝牙无线电和基于IEEE 802.11的射频网络等)与外部设备、外部计算设备、服务器和联网系统通信。网络接口1470可以是网络接口卡，例如以太网卡、光收发器、射频收发器或可以发送和接收信息的任何其他类型的设备。可选外围设备1480可以包括任何类型的计算机支持设备以向计算机系统添加附加功能。
包含在计算系统1400中的组件旨在代表广泛类别的计算机组件。因此，计算系统1400可以是服务器、个人计算机、手持计算设备、电话、移动计算设备、工作站、小型计算机、大型计算机、网络节点或任何其他计算设备。计算系统1400还可以包括不同的总线配置、网络平台、多处理器平台等。可以使用各种操作系统(OS)，包括UNIX、Linux、Windows、Macintosh OS、Palm OS和其他合适的操作系统。
一些上述功能可以由存储在存储介质(例如，计算机可读介质或处理器可读介质)上的指令组成。指令可以由处理器检索和执行。存储介质的一些示例是存储设备、磁带、磁盘等。这些指令在由处理器执行以指导处理器按照本发明操作时是可操作的。本领域技术人员熟悉指令、处理器和存储介质。
值得注意的是，适用于执行本文所述处理的任何硬件平台都适用于本发明。如本文所用，术语“计算机可读存储媒介”和“计算机可读存储介质”是指参与向处理器提供指令以供执行的任何一种或多种介质。这种介质可以采取多种形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘或磁盘，例如固定盘。易失性介质包括动态存储器，例如系统随机存取存储器(RAM)。
传输介质包括同轴电缆、铜线和光纤等，包括包含总线的一个实施例的导线。传输介质还可以采用声波或光波的形式，例如在射频(RF)和红外(IR)数据通信期间产生的那些。计算机可读介质的常见形式包括，例如，软盘、软盘、硬盘、磁带、任何其他磁性介质、CD只读存储器(ROM)盘、DVD、任何其他光学介质、具有标记或孔图案的任何其他物理介质、RAM、PROM和EPROM以及EEPROM、任何其他存储芯片或盒、载波或计算机可以读取的任何其他介质。
在将一个或多个指令的一个或多个序列传送到处理器以供执行时，可能涉及各种形式的计算机可读介质。总线将数据传送到系统RAM，处理器从中检索并执行指令。系统处理器接收到的指令可以可选地在处理器执行之前或之后存储在固定磁盘上。
因此，已经描述了用于自身图像形成和库存视频创建的方法和系统。尽管已经参考特定示例实施例描述了实施例，但是显然可以对这些示例实施例进行各种修改和改变而不背离本申请的更广泛的精神和范围。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种用于操作消息系统的方法，所述消息系统适于发送和接收包括用户的自身图像的可修改视频，所述方法包括：
由计算设备从所述用户接收第一请求以设置所述自身图像；
在相机取景的实时图像上，在所述相机取景中的预定位置处提供面部轮廓，所述面部轮廓是当所述用户正使用所述计算设备拍摄所述自身图像时所述用户的面部的近似大小；并且
由所述计算设备从所述用户接收第二请求以拍摄所述用户的所述自身图像。
2.根据权利要求1所述的方法，还包括：在从所述用户接收到所述第二请求以拍摄所述用户的所述自身图像之前，由所述计算设备向所述用户提供指令，所述指令与光照水平、面部表情、面部位置和面部大小中的至少一项有关。
3.根据权利要求2所述的方法，其中，所述指令与所述面部表情有关，并且还包括：由所述计算设备提供与所述用户的当前微笑水平相对应的微笑测量，所述微笑测量相对于目标微笑水平显示，以使所述用户能够将所述当前微笑水平调整到所述目标微笑水平。
4.根据权利要求1所述的方法，还包括：由所述计算设备从所述用户接收第三请求以使用先前拍摄的自身图像。
5.根据权利要求1所述的方法，还包括：
响应于接收所述第二请求，由所述计算设备拍摄所述用户的所述自身图像；
由所述计算设备从所述用户接收第三请求以删除所述自身图像；并且
由所述计算设备从所述用户接收第四请求以拍摄一张或多张额外的自身图像。
6.根据权利要求1所述的方法，还包括：
由所述计算设备向所述用户显示带有所述面部轮廓的所述自身图像；并且
由所述计算设备向所述用户询问所述用户的所述面部是否集中于所述面部轮廓中。
7.根据权利要求6所述的方法，其中，如果所述面部不在所述轮廓中，则所述计算设备建议所述用户重新拍摄所述自身图像。
8.根据权利要求6所述的方法，其中，如果所述面部不在所述轮廓中，则所述计算设备要求所述用户使用向所述计算设备输入的手势控制和触摸屏运动中的一者，来重新定位所述面部和所述面部轮廓中的一者。
9.根据权利要求1所述的方法，还包括：由所述计算设备向所述用户提供指令以完成面部识别扫描，所述指令包括以下至少一项：
使所述用户的头部的方向向右和向左转动；以及
使所述用户的所述头部的方向向上和向下倾斜。
10.根据权利要求1所述的方法，还包括：由所述计算设备显示带有不同面部表情、不同身体和不同衣服中的至少一项的自身图像。
11.根据权利要求10所述的方法，还包括：由所述计算设备显示与库存视频组合的所述自身图像以形成个性化视频，所述个性化视频包括基于所述自身图像产生的经修改的自身图像，所述经修改的自身图像被调整为采用与面部标志参数相对应的面部表情，所述经修改的自身图像插入到所述库存视频中的由面部区域参数确定的位置。
12.根据权利要求11所述的方法，其中，所述库存视频是使用穿戴遮罩并面向记录所述库存视频的相机的演员而创建的，所述遮罩是用于所述自身图像的插入的标记。
13.根据权利要求12所述的方法，还包括：将所述库存视频上传到库存视频的数据库，其中，所述计算设备访问所述数据库以下载所述库存视频和其他库存视频以呈现给所述用户。
14.根据权利要求13所述的方法，还包括：
由所述计算设备向所述用户显示所述库存视频和所述其他库存视频中的至少一者；并且
由所述用户选择所述库存视频以用于与所述自身图像结合，从而形成所述个性化视频。
15.一种用于操作消息系统的系统，所述消息系统适于发送和接收包括用户的自身图像的可修改视频，所述系统包括至少一个处理器、和存储处理器可执行的代码的存储器，其中，所述至少一个处理器被配置为在执行所述处理器可执行的代码时执行以下操作：
由系统服务器接收库存视频，所述库存视频使用穿戴遮罩且面向记录所述库存视频的相机的演员，所述遮罩是用于所述自身图像的插入的标记；
由所述系统服务器将所述库存视频上传到库存视频的数据库，所述数据库能够由所述用户操作的计算设备访问，所述计算设备适于从所述数据库下载所述库存视频和其他库存视频以呈现给所述用户；
由所述计算设备向所述用户显示所述库存视频和所述其他库存视频中的至少一者；并且
由所述用户选择所述库存视频以用于与所述自身图像结合，从而形成个性化视频。
16.根据权利要求15所述的系统，其中，方法还包括：
修改所述自身图像以形成经修改的自身图像，所述经修改的自身图像被调整为采用与面部标志参数相对应的面部表情；
将所述经修改的自身图像插入到所述库存视频中的所述标记处；并且
由所述计算设备将所述经修改的自身图像与所述库存视频结合显示，以形成所述个性化视频。
17.根据权利要求15所述的系统，其中，方法还包括：
由所述计算设备从所述用户接收第一请求以设置自身图像；
在相机取景的实时图像上，在所述相机取景中的预定位置处提供面部轮廓，所述面部轮廓是当所述用户正使用所述计算设备拍摄所述自身图像时所述用户的面部的近似大小；并且
由所述计算设备从所述用户接收第二请求以拍摄所述用户的所述自身图像。
18.根据权利要求15所述的系统，其中，方法还包括：在从所述用户接收到所述第二请求以拍摄所述用户的所述自身图像之前，由所述计算设备向所述用户提供指令，所述指令与光照水平、面部表情、面部位置和面部大小中的至少一项有关。
19.根据权利要求18所述的系统，其中，所述指令与所述面部表情有关，并且还包括：由所述计算设备提供与所述用户的当前微笑水平相对应的微笑测量，所述微笑测量相对于目标微笑水平显示，以使所述用户能够将所述当前微笑水平调整到所述目标微笑水平。
20.一种非暂时性处理器可读介质，存储有指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器实施一种用于操作消息系统的方法，所述消息系统适于发送和接收包括用户的自身图像的可修改视频，所述方法包括：
由计算设备从所述用户接搜第一请求以设置自身图像；
在相机取景的实时图像上，在所述相机取景中的预定位置处提供面部轮廓，所述面部轮廓是当所述用户使用所述计算设备拍摄所述自身图像时所述用户的面部的近似大小；并且
由所述计算设备从所述用户接收第二请求以拍摄所述用户的所述自身图像。
CN202180026818.9A 2020-03-31 2021-03-03 自拍设置和库存视频创建 Pending CN115398884A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/835,990 US11477366B2 (en) 2020-03-31 2020-03-31 Selfie setup and stock videos creation
US16/835,990 2020-03-31
PCT/US2021/020581 WO2021202039A1 (en) 2020-03-31 2021-03-03 Selfie setup and stock videos creation

Publications (1)

Publication Number Publication Date
CN115398884A true CN115398884A (zh) 2022-11-25

Family

ID=75111927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180026818.9A Pending CN115398884A (zh) 2020-03-31 2021-03-03 自拍设置和库存视频创建

Country Status (5)

Country Link
US (2) US11477366B2 (zh)
EP (1) EP4128743A1 (zh)
KR (1) KR20230020388A (zh)
CN (1) CN115398884A (zh)
WO (1) WO2021202039A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476871B (zh) * 2020-04-02 2023-10-03 百度在线网络技术（北京）有限公司 用于生成视频的方法和装置
CN113554737A (zh) * 2020-12-04 2021-10-26 腾讯科技（深圳）有限公司 目标对象的动作驱动方法、装置、设备及存储介质
US20220343934A1 (en) * 2021-04-26 2022-10-27 Avaya Management L.P. Compensation for face coverings in captured audio

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
SG152952A1 (en) 2007-12-05 2009-06-29 Gemini Info Pte Ltd Method for automatically producing video cartoon with superimposed faces from cartoon template
US10289265B2 (en) 2013-08-15 2019-05-14 Excalibur Ip, Llc Capture and retrieval of a personalized mood icon
IN2013CH05449A (zh) 2013-11-27 2015-08-07 Shyam Pathy V
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
US10311917B2 (en) 2016-07-21 2019-06-04 Disney Enterprises, Inc. Systems and methods for featuring a person in a video using performance data associated with the person
KR20180057366A (ko) 2016-11-22 2018-05-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
WO2018102880A1 (en) 2016-12-09 2018-06-14 Frangos Marcus George Systems and methods for replacing faces in videos
US10574883B2 (en) 2017-05-31 2020-02-25 The Procter & Gamble Company System and method for guiding a user to take a selfie
CN109120866B (zh) 2018-09-27 2020-04-03 腾讯科技（深圳）有限公司 动态表情生成方法、装置、计算机可读存储介质和计算机设备
US11394888B2 (en) 2019-01-18 2022-07-19 Snap Inc. Personalized videos
WO2020150693A1 (en) 2019-01-18 2020-07-23 Snap Inc. Systems and methods for generating personalized videos with customized text messages

Also Published As

Publication number Publication date
EP4128743A1 (en) 2023-02-08
US20220385808A1 (en) 2022-12-01
US20210306557A1 (en) 2021-09-30
KR20230020388A (ko) 2023-02-10
WO2021202039A1 (en) 2021-10-07
US11477366B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
US11861936B2 (en) Face reenactment
US20220385808A1 (en) Selfie setup and stock videos creation
US11558561B2 (en) Personalized videos featuring multiple persons
US11792504B2 (en) Personalized videos
KR20230173220A (ko) 맞춤형 텍스트 메시지를 갖는 개인화 비디오 생성 시스템 및 방법
US11721046B2 (en) Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application
CN115362475A (zh) 用于默认自我形象的全局配置接口

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination