CN115606191A - 多媒体消息传送应用程序中可修改视频中的文本消息自定义 - Google Patents

多媒体消息传送应用程序中可修改视频中的文本消息自定义 Download PDF

Info

Publication number
CN115606191A
CN115606191A CN202180034694.9A CN202180034694A CN115606191A CN 115606191 A CN115606191 A CN 115606191A CN 202180034694 A CN202180034694 A CN 202180034694A CN 115606191 A CN115606191 A CN 115606191A
Authority
CN
China
Prior art keywords
modifiable
user
text
video
custom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180034694.9A
Other languages
English (en)
Inventor
杰里米·沃斯
维克托·沙布罗夫
伊万·巴巴宁
亚历山大·马什拉博夫
罗曼·戈洛博科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Snap Inc
Original Assignee
Snap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Snap Inc filed Critical Snap Inc
Publication of CN115606191A publication Critical patent/CN115606191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Graphics (AREA)

Abstract

提供了一种用于在多媒体消息传送应用程序(MMA)的可修改视频中自定义文本消息的系统。在一个示例实施例中，该系统包括处理器和存储处理器可执行代码的内存，其中，处理器被配置为分析MMA中的用户的最近的消息，以确定最近的消息的上下文；基于上下文确定自定义文本消息；基于上下文，从被配置为存储可修改视频的数据库中选择相关可修改视频列表，该可修改视频与预设文本消息相关联；用自定义消息替换相关可修改视频中的预设文本消息；并呈现相关可修改视频的列表以供用户查看和选择，该呈现包括：在相关可修改视频中显示自定义文本消息。

Description

多媒体消息传送应用程序中可修改视频中的文本消息自定义
技术领域
本发明通常涉及多媒体消息传送应用程序(MMA)，更具体地，涉及在MMA的可修改视频中的自定义文本消息。
背景技术
共享媒体，如贴纸和表情符号，已成为MMA的标准选项。目前，一些消息传送者为用户提供了生成图像和短视频的选项，并经由通信聊天将其发送给其他用户。这些短视频可以预先生成并存储在数据库中，然后根据需求提供给MMA。
附图说明
所附图像中的附图以示例而非限制的方式说明了实施例，其中类似的参考表示类似的元素。
图1是示出示例环境的框图，其中，可以实现用于在MMA的可修改视频中自定义文本消息的系统和方法。
图2是示出用于实现MMA的可修改视频中的文本消息的方法的计算设备的示例实施例的框图，。
图3是示出根据本发明的一些示例实施例在MMA的可修改视频中自定义文本消息的系统的框图。
图4是示出根据示例实施例的使用自定义文本消息生成个性化视频的过程的示图。
图5A和图5B示出根据一些示例实施例的MMA。
图6是示出根据一些示例实施例在MMA的可修改视频中自定义文本消息的方法的流程图。
图7示出可用于实现自定义MMA可修改视频的配乐的方法的示例计算机系统。
具体实施方式
以下实施例的详细描述包括对附图的引用，附图构成详细描述的一部分。这一部分所述的方法不是权利要求的现有技术，也不被纳入本节所承认的现有技术。附图示出符合示例实施例的插图。这些示例性实施例在此也称为“示例”，其描述足够详细，以使本领域技术人员能够实践本主题。可以组合实施例，可以使用其他实施例，或者在不偏离所要求的范围的情况下进行结构、逻辑和操作更改。因此，以下详细描述不具有限制性意义，其范围由所附权利要求及其等价物定义。
此处提供的公开内容旨在自定义MMA中使用的卷轴(Reel)中的文本消息。卷轴(在此也称为可修改视)可以被定义为短片或视频剪辑。MMA是一种可以在个人计算设备(PCD)(例如智能手机、平板电脑、笔记本电脑等)上执行的应用程序。MMA可以启用通信聊天，其中PCD用户可以交换消息和卷轴。
卷轴可由MMA开发人员生成并存储在数据库中。数据库可以驻留在计算云中。使用MMA时，用户可以查看不同类别下的卷轴，例如“最近”、“精选”、“问候语”、“爱”、“快乐”、“沮丧”、“庆祝”等等。这个“最近”类别可以针对用户进行个性化设置，包括用户最近与其他用户共享的卷轴、最多共享卷轴、流行卷轴、用户尚未查看的新卷轴或其任何组合。在一个实施例中，“最近”类别中的卷轴数量可以限制为预先确定的数量。如果最近共享的卷轴数量小于预先确定的数量，“最近”类别的剩余位置可以用“精选”类别中的卷轴填充。
MMA还可以包括用户输入文本消息的选项。收到文本信息后，MMA可以在数据库中搜索与文本信息相关的卷轴。然后，MMA可能会向用户提供一份与文本消息相关的卷轴列表，供其查看。
在一些示例实施例中，用户可以从类别或搜索结果中选择一个卷轴，并通过通信聊天发送选择的卷轴。选择的卷轴可能包括帧，其中一些帧可能包括针对面部图像指定的区域。面部图像也可以称为自拍。MMA允许用户使用PCD的相机应用程序或用户提供的照片生成自拍。自拍可以插入帧中的区域。该帧可以包括表示面部表情的一组面部参数。自拍插入帧后，可以采用面部表情。回放卷轴时，帧中的自拍可以基于卷轴帧中面部表情的变化执行面部动作。
所选择的卷轴可以包括预生成的文本消息。在经由通信聊天发送选择的卷轴之前，用户可以修改文本消息和文本消息的动画样式。
在一些实施例中，MMA可以分析通信聊天中用户的最近的消息，以确定最近的消息的上下文和用户的情感状态。上下文和情感状态可以通过一种机器学习技术(例如，经过专门训练的人工神经网络)来确定。MMA还可以基于用户的上下文和情感状态生成自定义文本消息。
在确定用户已输入用于输入文本消息的选项后，MMA可以提供与上下文和情感状态相关的卷轴列表。MMA还可以使用与上下文和情感状态相对应的一个或多个关键字预先填充字段以用于输入文本消息。在一些实施例中，MMA可以使用自定义文本消息预先填充字段以用于输入文本消息。
当用户从相关卷轴列表中选择卷轴时，MMA可以提供用于修改所选择的卷轴中的自定义消息和自定义消息的样式的选项。MMA可以基于通信聊天的上下文和情感状态修改自定义消息。MMA还可以基于通信聊天的上下文和用户的情感状态修改自定义消息的样式。例如，如果用户的情感状态为“沮丧”，自定义消息的字母可能会被描述为冰冻的冰。在另一个示例中，如果用户“愤怒”，自定义消息的字母可能会被描述为燃烧的火焰。
MMA可以收集统计数据。统计数据可能包括记录“上下文->自定义文本信息->建议的卷轴列表->所选择的卷轴或没有用户选择的卷轴的指示”。统计数据可用于基于通信聊天的上下文和主题以及用户的情感状态调整搜索相关卷轴的算法。
图1示出一个示例环境100，其中可以练习在MMA中自定义可修改视频中的文本消息的系统和方法。环境100可以包括PCD 105、用户102、PCD 110、用户104、网络120和消息传送服务器系统(MSS)130。PCD 105和PCD 110可以指移动设备，例如移动电话、智能手机或平板电脑。然而，在另外的实施例中，PCD 105和PCD 110可以指个人电脑、笔记本电脑、上网本、机顶盒、电视设备、多媒体设备、个人数字助理、游戏机、娱乐系统、信息娱乐系统、车载电脑或任何其他计算设备。
PCD 105和PCD 110可以通过网络120与MSS 130进行通信连接。MSS 130可以作为基于云的计算资源来实现。MSS 130可包括远程位置可用的计算资源(硬件和软件)，并可通过网络(如互联网)访问。基于云的计算资源可以由多个用户共享，并根据需求动态地重新分配。基于云的计算资源可以包括一个或多个服务器场/集群，其包括一组计算机服务器，这些服务器可以与网络交换机或路由器位于同一位置。
网络120可以包括任何有线、无线或光纤网络，例如，包括互联网、内联网、局域网(LAN)、个人局域网(PAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝电话网络(例如，全球移动系统(GSM)通信网络)等。
在本发明的一些实施例中，PCD 105和PCD 110可以包括MMA 160，该MMA 160被配置为支持用户102和用户104之间的通信聊天。用户102和用户104可以在通信聊天期间交换文本消息和视频。视频可能包括个性化视频。个性化视频可以基于存储在PCD 105或PCD110中的卷轴生成。在一些实施例中，卷轴可以存储在MSS 130中，并根据需求通过MMA 160下载到PCD 105或者PCD 110。
MSS 130可以包括一个卷轴数据库145，用于存储卷轴。卷轴可以基于动画视频或实况视频生成。卷轴可以下载到PCD 105或PCD 110。MSS130可以包括一个统计日志150，用于存储卷轴下载的统计信息，以确定用于视频模板的流行度指标。流行度指标可以基于用户年龄、用户性别、地理区域等划分为类别。统计日志150还可以存储由PCD 105和PCD 110的用户经由MMA 160共享卷轴的统计信息。
MSS 130还可以被配置为存储用户配置文件135。用户配置文件135可以包括用户102的面部图像、用户104的面部图像和其他人的面部图像。可以根据需求和基于权限将面部图像下载到PCD 105或PCD 110。此外，用户102的面部图像可以使用PCD 105生成，并存储在PCD 105的本地存储器中。面部图像可以基于PCD 105中存储的其他图像生成。面部图像还可以由PCD 105使用以基于卷轴生成个性化视频。类似地，PCD 110可用于生成用户104的面部图像。用户104的面部图像可用于从卷轴生成PCD 110上的个性化视频。
在另外的实施例中，用户102的面部图像和用户104的面部图像都可以用于在PCD105或PCD 110上生成个性化视频。
在一些实施例中，卷轴可以包括预设默认文本消息。卷轴还可以包括预设文本参数以用于基于卷轴生成的个性化视频中烦的预设默认文本消息的动画。PCD 105和PCD 110可被配置为回放以基于预设文本参数设置动画的预设文本消息为特色的个性化视频。在播放个性化视频的过程中，MMA 160可以提供选项来更改预设默认文本消息以及在个性化视频中显示文本消息的参数。在播放个性化视频时，PCD 105可以动态地更改个性化视频中的预设默认文本消息。然后，用户105可以通过MMA 160将具有更改后的文本消息的个性化视频发送给PCD 110的用户104。
图2是示出用于实现MMA中的可修改视频中烦人自定义文本消息的方法的PCD 105(或PCD 110)的示例实施例的框图。在图2所示的示例中，PCD 105包括硬件组件和软件组件。具体而言，PCD 105包括相机205或任何其他图像捕获设备或扫描仪，以获取数字图像。PCD 105还可以包括处理器模块210和内存存储器215，用于存储软件组件和处理器可读(机器可读)指令或代码，当由处理器模块210执行时，这些指令或代码会使得PCD 105执行至少一些方法的步骤，以用于自定义可修改视频中的文本消息，如本文所述。PCD 105可包括图形显示系统230和通信模块240。在其他实施例中，PCD 105可以包括额外或不同的组件。此外，PCD 105可以包括执行与图2所示功能相似或等效的功能的更少组件。
PCD 105还可以包括MMA 160。MMA 160可以实现为存储在内存存储器215中的软件组件和处理器可读(机器可读)指令或代码，当由处理器模块210执行时，使PCD 105执行至少一些方法的步骤，以用于提供通信聊天、生成个性化视频、以及在MMA中自定义可修改视频中的文本消息，如本文所述。MMA 160的用户界面可以经由图形显示系统230提供。MMA160可以经由通信模块240和网络120启用通信聊天。通信模块240可以包括GSM模块、WiFi模块、蓝牙TM模块等。
图3是根据本发明的一些示例实施例用于在MMA中自定义可修改视频中的文本消息的系统300的框图。系统300可以包括上下文确定模块305、卷轴搜索模块310和个性化视频生成模块315。系统300可以集成在MMA 160中。
上下文确定模块305可以分析MMA 160中的用户的最近的消息，以确定最近的消息的上下文和用户的情感状态。上下文确定模块305可以确定与最近的消息和用户的情感状态相关的自定义文本消息。
卷轴搜索模块310可以基于由用户输入的最近的消息、文本消息或搜索查询的上下文，在卷轴数据库145中搜索相关卷轴。卷轴可以是预先生成的以一个或多个演员为主角的录制视频。卷轴可能包括二维(2D)视频或三维(3D)场景。可以对卷轴进行预处理，以分割每个帧中的演员的面部(也称为目标面部)和背景，并确定参数组，这些参数可用于进一步插入源面部而不是演员面部(目标面部)。参数组可以包括面部纹理、面部表情参数、面部颜色、面部标识参数、面部的位置和角度等。参数组还可能包括可以在演员面部执行的操作和操作的列表，例如以照片般逼真的方式替换演员的脸。每个卷轴可能包括默认的配乐、默认的文本消息、默认的文字动画的样式和默认的发型。
卷轴搜索模块310可经由MMA 160的用户界面显示搜索字符串和相关卷轴列表。搜索字符串可以包括与上下文关联的关键字。在一些实施例中，搜索字符串可以包括基于上下文确定的自定义文本消息。可以基于自定义文本消息从卷轴数据库145中选择相关卷轴。例如，相关卷轴的列表可能包括在语义上接近自定义文本消息的默认文本消息的卷轴。可以基于一个或多个语义的相似性度量来确定默认文本消息和自定义文本消息之间的距离。在显示相关卷轴列表之前，可以用自定义文本消息替换相关卷轴中的默认文本消息。
卷轴搜索模块310可以为用户提供一个选项，以修改搜索字符串中的自定义文本消息。在确定用户已更改搜索字符串中的自定义文本消息后，卷轴搜索模块310可以在卷轴数据库145中执行另一搜索，以更新显示给用户的相关卷轴列表。
每当用户修改基于最近的消息的上下文确定的自定义文本消息时，卷轴搜索模块310可以将关于上下文、自定义文本消息和修改的自定义文本信息的信息存储到统计日志150中。来自统计日志150的信息可用于更新用于确定上下文和自定义文本消息的算法。在一些实施例中，可以使用基于统计日志150中的历史数据的机器学习模型来确定自定义文本消息。机器学习模型可以基于人工神经网络、决策树、支持向量机、回归分析等。
在一些实施例中，在显示相关卷轴列表之前，相关卷轴中文本动画的默认样式可以替换为自定义样式的文本动画。可以基于最近的消息的上下文和用户的情感状态选择自定义的文本动画样式，形成文本动画样式库。例如，如果用户的情感状态是“沮丧”的，那么自定义消息的字母可以描述为冰冻的冰。在另一个示例中，如果用户“愤怒”，自定义消息的字母可以描述为燃烧的火焰。
在一些实施例中，在显示相关卷轴列表之前，可以用自定义发型替换默认发型。可以基于最近的消息的上下文和用户的情感状态从发型库中选择自定义的发型。例如，如果用户的情感状态是“愤怒”的，那么可以用卷起的头发并涂上红色在卷轴上描绘用户。可以通过在用户自拍中更改头发的纹理和颜色来获得自定义的发型。变化可能包括卷发或拉直头发。这些变化还可能包括头发过长时缩短头发，头发太短时延长头发，或增加头发的体积。这种变化还包括用不同于自拍中头发颜色的颜色绘制头发。
在一些实施例中，在显示相关卷轴列表之前，MMA可以向卷轴添加自定义的配乐。可以基于最近的消息的上下文和用户的情感状态从配乐库中选择自定义配乐。
在确定用户已从相关卷轴列表中选择卷轴后，MMA 160可向用户提供通过通信聊天共享选择的卷轴的选项。MMA 160可以将有关上下文、自定义文本消息、相关卷轴列表和选择卷轴的信息存储到统计日志150中。
在共享所选择的卷轴之前，MMA 160可以为用户提供一个选项，以修改自定义文本消息、自定义文本动画样式、自定义发型和自定义配乐。用户可以从文本动画样式库中选择另一种文本动画样式。用户可以从配乐库中选择另一个配乐。用户可以从发型库中选择另一发型。
在确定用户在共享卷轴之前修改了文本动画的自定义样式后，MMA 160可以将有关上下文、情感状态、文本动画的自定义样式和修改后的文本动画样式的信息存储到统计日志150中。来自统计日志150的信息可用于调整用于确定用户情感状态的算法和用于从文本动画样式库中选择文本动画的自定义样式的算法。
在确定用户在共享卷轴之前修改了自定义发型后，MMA 160可以将有关上下文、情感状态、自定义发型和修改发型的信息存储到统计日志150中。统计日志150中的信息可用于调整用于确定用户情感状态的算法和用于从发型库中选择自定义发型的算法。
在确定用户在共享卷轴之前更改了自定义配乐后，MMA 160可以将有关上下文、自定义消息、自定义配乐和修改的配乐的信息存储到统计日志150中。统计日志150中的信息可用于调整从库中选择自定义配乐的算法。
个性化视频生成模块315可以基于源面部的图像从卷轴生成个性化视频。模块315可以用用户的自拍代替卷轴中的演员面部，同时保持演员面部表情。模块315可以用自拍的面部纹理、面部颜色和面部标识替换演员的面部纹理，面部颜色和面部标识。个性化视频生成模块315可由卷轴搜索模块310用于生成要显示给用户的相关卷轴。
图4是示出根据一些示例实施例的由个性化视频生成模块315生成具有自定义文本消息的个性化视频的过程400的示图。模块315可以接收用户面部图像(自拍)405、卷轴410、自定义发型406、自定义文本407、自定义文本动画样式408和自定义声轨409。卷轴410可以包括帧420的序列。卷轴310还可以针对帧420中的每一帧包括面部区域参数、面部界标参数、皮肤掩模、眼睛参数、嘴部区域图像、头部参数、动画对象图像、预设默认文本、预设文本参数和默认发型。
自拍405可以由PCD 105捕获，也可以从PCD 105的相机卷中选择。帧420的序列可以基于实况视频或动画视频生成。面部参数可以包括面部区域415(指定用于面部图像的区域)在帧图像内的位置坐标。面部界标参数可以根据面部同步演员的面部实况视频生成。面部界标参数可以包括面部同步演员面部界标的坐标，例如面部椭圆形周围的点、嘴唇和鼻子周围的点以及眉毛和眼睑周围的点。眼睛参数可能包括面部同步演员巩膜中虹膜位置的坐标。嘴部区域图像可以包括面部同步演员面部的嘴部区域的图像。皮肤掩模可以根据演员身体的现场视频或身体2D/3D动画的皮肤区域生成。皮肤掩模可以定义演员身体的皮肤区域。在一个示例实施例中，可以基于捕获不同演员(本文分别被称为演员和面部同步演员)的两个不同的实况视频生成皮肤掩模和面部界标参数。应注意，不需要多个演员，在一些实施例中，只能使用一个演员。
预设文本参数可以定义卷轴中文本的动画的样式。预设文本参数可以描述应用于文本的视觉效果。视觉效果可以包括以下一个或多个：外观的字母动画，沿路径显示文本，显示文本副本，文本压缩，文本切片，文本的定向外观，随机字母外观，文本的变形和缩放，文本的渐变填充，向文本添加阴影和辉光，向文本添加定向辉光、文本的闪光灯外观、向文本添加透视阴影、向文本应用动态辉光、显示扭曲的阴影或文本轮廓、勾勒文本轮廓、将彩色字体资源应用于文本等等。
模块315可以基于用户面部图像405确定用户数据435。用户数据可以包括用户面部标志、用户面部面部掩模和用户颜色数据。模块315可基于用户数据435和帧420生成个性化视频440的帧445。个性化视频440可以以视听媒体(例如视频、动画或任何其他类型的媒体)的形式生成，该视听媒体具有用户的面部或多个用户的面部。
个性化视频440的生成可以包括修改帧420的帧图像。帧图像的修改可以包括修改自拍405以获得输出面部465，并将输出面部插入帧420中的面部区域415。输出面部464是采用与面部界标参数对应的面部表情的自拍405。自拍405可以基于与帧图像对应的面部界标参数进行修改。模块315可以进一步将自定义配乐409添加到个性化视频440中。可以根据自定义发型406修改自拍405的头发图像。
模块315可以使用与自定义文本动画样式408相对应的文本参数修改帧420中的预设文本参数。文本参数定义在帧图像中呈现自定义文本407。文本参数可以包括自定义文本的比例、自定义文本407在个性化视频440的帧445中的位置、自定义文本407的旋转、自定义文本的颜色407、自定义文本40的行数、自定义文本最大长度407等。模块315可基于文本参数呈现自定义文本407样式化。当在PCD 105的屏幕上回放个性化视频440时，自定义文本407将根据自定义文本407在个性化视频440的帧445之间的样式变化显示为动画。
图5A和图5B根据一些示例实施例示出MMA 160用户界面的示例屏幕。图5A示出用户界面510，其中搜索字符串515预先填充有文本消息，以及搜索字符串515中与文本消息相关的卷轴列表520。MMA 160可以基于通信聊天中用户的最近的消息来建议文本消息。用户可以修改搜索字符串515中的文本消息。MMA可以基于修改的文本消息更新列表520。
图5B示出具有选择卷轴535的用户界面530。用户可以使用键盘545并通过键入新的文本消息或使用键盘545的语音识别选项以将语音消息转换为文本消息修改卷轴535中的文本消息540。用户可以经由发送按钮550将卷轴540发送到通信聊天。
图6是根据一些示例实施例的示出用于在MMA中自定义可修改视频中的文本消息的方法600的流程图。方法600可由PCD 105执行。
方法600可以从方框605开始，分析MMA中用户的最近的消息，以确定最近的消息的上下文。方法600可以包括基于最近的消息确定用户的情感状态。
在方框610中，方法600可包括基于上下文确定自定义文本消息。自定义文本消息可以由机器学习模型根据统计日志中的历史数据确定。统计日志可以存储有关上下文信息和自定义文本消息的历史数据。方法600可能包括根据上下文从库中选择自定义的配乐。方法600可以包括基于情感状态从文本动画样式列表中选择文本动画样式。方法600可包括基于情感状态从发型列表中选择发型。该方法还可以包括通过将发型应用于头发图像来修改自拍。在方框615中，方法600可包括基于上下文从数据库中选择相关可修改视频的列表。数据库被配置为存储可修改的视频，以及与预设文本消息、预设文本动画样式和预设配乐相关联的可修改视频。在一些实施例中，可以通过在数据库中搜索具有语义上接近自定义文本消息的预设文本消息的可修改视频来确定相关可修改视频的列表。
在方框620中，方法600包括用自定义消息替换相关可修改视频中的预设文本消息。相关可修改视频中预设文本动画样式可以替换为方框610中选择的文本动画样式。相关可修改影片中的预设配乐可以替换为选择的配乐。
在方框625中，方法600包括呈现相关可修改视频的列表以用于由用户查看和选择。用户的自定义文本消息和修改后的自拍会显示在相关的可修改视频中。方法600还可以为用户提供键入搜索字符串的选项，以搜索数据库中的相关可修改视频。搜索字符串将预先填充自定义文本消息。在收到用户已修改搜索字符串中的自定义文本消息的指示后，方法600可以基于修改的自定义文本信息更新相关可修改视频的列表。
在收到用户已从可修改视频的列表中选择了可修改视频的指示后，方法600可将上下文、自定义文本消息、相关可修改视频列表和选择的可修改视频相关信息存储到统计日志中。
在收到用户已从可修改视频的列表中选择可修改视频的指示后，方法600可包括向用户提供选项，以修改所选择的可修改视频中的文本动画样式和自定义配乐。方法600可以包括接收用户已修改选择的可修改视频中的选择文本动画样式的指示，并响应于该指示，将有关上下文和修改后的选择文字动画的样式的信息存储到统计日志中。方法600可以基于统计日志中的历史数据，调整用于从文本动画样式列表中选择文本动画样式的算法。
图7示出可用于实现本文所述方法的示例计算系统700。计算系统700可以在PCD105和110、MSS 130、MMA 160和系统300等环境中实现，用于在MMA中自定义可修改视频中的文本消息。
如图7所示，计算系统700的硬件组件可以包括一个或多个处理器710和内存720。内存720存储部分处理器710执行的指令和数据。当系统700运行时，内存720可以存储可执行代码。系统700还可以包括可选大容量存储设备730、可选便携式存储介质驱动器740、一个或多个可选输出设备750、一个或者多个可选输入设备760、可选网络接口770和一个或者更多可选外围设备780。计算系统700还可以包括一个或多个软件组件795(例如，可以实现本文所述的提供个性化视频的方法的组件)。
图7中所示的组件被描述为通过单个总线790连接。这些组件可以通过一个或多个数据传输设备或数据网络连接。处理器710和内存720可以通过本地微处理器总线连接，大容量存储设备730、外围设备780、便携式存储设备740和网络接口770可以通过一个或多个输入/输出(I/O)总线连接。
可以用磁盘驱动器、固态磁盘驱动器或光盘驱动器实现的大容量存储设备730是用于存储数据和指令以供处理器710使用的非易失性存储设备。大容量存储设备730可以存储用于实现本文所述实施例的系统软件(例如，软件组件795)。
便携式存储介质驱动器740与便携式非易失性存储介质(如光盘(CD)或数字视频光盘(DVD))一起工作，以便向计算系统700输入和输出数据和代码。用于实施本文所述实施例的系统软件(例如，软件组件795)可存储在此类便携式介质上，并通过便携式存储介质驱动器740输入到计算系统700。
可选输入设备760提供用户界面的一部分。输入设备760可以包括一个字母数字键盘，例如键盘，用于输入字母数字和其他信息，或者一个指针设备，例如鼠标、轨迹球、手写笔或光标方向键。输入设备760还可以包括摄像头或扫描仪。此外，如图7所示的系统700包括可选输出设备750。合适的输出设备包括扬声器、打印机、网络接口和监视器。
网络接口770可用于通过一个或多个通信网络与外部设备、外部计算设备、服务器和联网系统进行通信，例如一个或更多有线、无线或光纤网络，包括例如互联网、内联网、LAN、WAN、蜂窝电话网络、蓝牙无线电和基于IEEE 802.11的射频网络，以及其他。网络接口770可以是网络接口卡，例如以太网卡、光收发器、射频收发器或可以发送和接收信息的任何其他类型的设备。可选外围设备780可以包括任何类型的计算机支持设备，以向计算机系统添加附加功能。
计算系统700中包含的组件旨在代表广泛的计算机组件类别。因此，计算系统700可以是服务器、个人计算机、手持计算设备、电话、移动计算设备、工作站、小型计算机、大型计算机、网络节点或任何其他计算设备。计算系统700还可以包括不同的总线配置、联网平台、多处理器平台等。可以使用各种操作系统(OS)，包括UNIX、Linux、Windows、MacintoshOS、Palm OS和其他合适的操作系统。
上述一些功能可能由存储在存储介质(例如，计算机可读介质或处理器可读介质)上的指令组成。处理器可以检索和执行指令。存储介质的一些示例是内存设备、磁带、磁盘等。当处理器执行指令以指示处理器按照本发明操作时，指令是可操作的。本领域技术人员熟悉指令、处理器和存储介质。
值得注意的是，适合执行本文所述处理的任何硬件平台都适合与本发明一起使用。本文中使用的术语“计算机可读存储介质”和“计算机可读储存介质”是指参与向处理器提供执行指令的任何介质或介质。此类介质可以有多种形式，包括但不限于非易失性介质、易失性媒介和传输媒介。非易失性介质包括光盘或磁盘，例如固定磁盘。易失性介质包括动态存储器，如系统随机存取存储器(RAM)。传输介质包括同轴电缆、铜线和光纤等，包括包含总线的一个实施例的电线。传输介质也可以采用声波或光波的形式，例如射频(RF)和红外(IR)数据通信过程中产生的声波或光浪。计算机可读介质的常见形式包括，例如，软盘、软盘、硬盘、磁带、任何其他磁介质、CD只读存储器(ROM)磁盘、DVD、任何其他光学介质、任何其他带标记或孔的物理介质、RAM、PROM、EPROM、EEPROM、任何其他存储芯片或盒式磁带、载波、或计算机可以读取的任何其他媒体。
将一个或多个指令的一个或多个序列传送到处理器执行时，可能涉及各种形式的计算机可读介质。总线将数据传输到系统RAM，处理器从中检索并执行指令。系统处理器接收到的指令可以选择在处理器执行之前或之后存储在固定磁盘上。
因此，已经描述了在MMA中自定义可修改视频中的文本消息的方法和系统。虽然已经参考具体的示例性实施例描述了实施例，但很明显，可以对这些示例性实施方案进行各种修改和更改，而不偏离本申请的更广泛精神和范围。因此，规范和图纸应视为说明性的，而非限制性的。

Claims (20)

1.一种用于在可修改视频中自定义文本消息的系统，所述系统包括至少一个处理器和存储处理器可执行代码的内存，其中，所述至少一个处理器被配置为在执行所述处理器可执行代码时实施以下操作：
分析多媒体消息传送应用程序中的用户的最近的消息以确定所述最近的消息的上下文；
基于所述上下文确定自定义文本消息；
基于所述上下文，从被配置为存储可修改视频的数据库中选择相关可修改视频的列表，所述可修改视频与预设文本消息相关联；
用自定义消息替换所述相关可修改视频中的所述预设文本消息；并且
呈现所述相关可修改视频的所述列表以供所述用户查看和选择，所述呈现包括：在所述相关可修改视频中显示所述自定义文本消息。
2.权利要求1所述的系统，还包括：
向所述用户提供用于键入搜索字符串的选项，以便在所述数据库中搜索所述相关可修改视频；并且
用所述自定义文本消息预填充所述搜索字符串。
3.权利要求2所述的系统，还包括：
接收所述用户已修改所述搜索字符串中的所述自定义文本消息的指示；并且
响应于所述指示，基于修改后的自定义文本消息更新所述相关可修改视频的所述列表。
4.权利要求1所述的系统，还包括：
接收所述用户已从所述可修改视频的所述列表中选择可修改视频的指示；并且
将与所述上下文、所述自定义文本消息、所述相关可修改视频的所述列表、以及所选择的可修改视频有关的信息存储到统计日志中。
5.根据权利要求4所述的系统，其中，所述自定义文本消息由基于来自所述统计日志中的历史数据的机器学习模型确定。
6.权利要求1所述的系统，还包括：
基于所述最近的消息确定所述用户的情感状态；
基于所述情感状态，从文本动画样式的列表中选择文本动画样式；并且
用所选择的文本动画样式替换所述相关可修改视频中的预设文本动画样式，其中，所述相关可修改视频与所述预设文本动画样式相关联。
7.权利要求6所述的系统，还包括：
接收所述用户已从所述可修改视频的所述列表中选择可修改视频的指示；并且
向所述用户提供用于在所选择的可修改视频中修改所选择的文本动画样式的选项。
8.权利要求7所述的系统，还包括：
接收所述用户已在所选择的可修改视频中修改所选择的文本动画样式的指示；
将所述上下文和修改后的所选择的文本动画样式的信息存储到统计日志中；并且
基于所述统计日志中的历史数据，调整用于从所述文本动画样式的所述列表中选择所述文本动画样式的算法。
9.权利要求1所述的系统，还包括：
基于自定义消息，从配乐库中选择配乐；并且
用所选择的配乐替换所述相关可修改视频中的预设配乐，其中，所述相关可修改视频与所述预设配乐相关联。
10.权利要求1所述的系统，还包括：
基于所述最近的消息确定所述用户的情感状态；
基于所述情感状态，从发型的列表中选择发型；并且
将所述发型应用于所述用户的自拍中的头发的图像以修改所述用户的所述自拍，并且其中，所述呈现包括：在所述相关可修改视频中显示修改后的所述用户的所述自拍。
11.一种用于在可修改视频中自定义文本消息的方法，所述方法包括：
分析多媒体消息传送应用程序中的用户的最近的消息以确定所述最近的消息的上下文；
基于所述上下文确定自定义文本消息；
基于所述上下文，从被配置为存储可修改视频的数据库中选择相关可修改视频的列表，所述可修改视频与预设文本消息相关联；
用自定义消息替换所述相关可修改视频中的所述预设文本消息；并且
呈现所述相关可修改视频的所述列表以供所述用户查看和选择，所述呈现包括：在相关可修改视频中显示所述自定义文本消息。
12.根据权利要求11所述的方法，还包括：
向所述用户提供用于键入搜索字符串的选项，以便在所述数据库中搜索所述相关可修改视频；并且
用所述自定义文本消息预填充所述搜索字符串。
13.根据权利要求12所述的方法，还包括：
接收所述用户已修改所述搜索字符串中的所述自定义文本消息的指示；并且
响应于所述指示，基于修改后的自定义文本消息更新所述相关可修改视频的所述列表。
14.根据权利要求11所述的方法，还包括：
接收所述用户已从所述可修改视频的所述列表中选择可修改视频的指示；并且
将与所述上下文、所述自定义文本消息、所述相关可修改视频的所述列表以及所选择的可修改视频有关的信息存储到统计日志中。
15.根据权利要求14所述的方法，其中，所述自定义文本消息通过机器学习模型基于所述统计日志的历史数据而确定。
16.根据权利要求11所述的方法，还包括：
基于所述最近的消息确定所述用户的情感状态；
基于所述情感状态，从文本动画样式的列表中选择文本动画样式；并且
用所选择的文本动画样式替换所述相关可修改视频中的预设文本动画样式，其中，所述相关可修改视频与所述预设文本动画样式相关联。
17.根据权利要求16所述的方法，还包括：
接收所述用户已从所述可修改视频的所述列表中选择可修改视频的指示；并且
向所述用户提供用于修改所选择的可修改视频中的所选择的文本动画样式的选项。
18.根据权利要求17所述的方法，还包括：
接收所述用户已修改所选择的可修改视频中的所选择的文本动画样式的指示；
将与所述上下文和修改后的所选择的文本动画样式的信息存储到统计日志中；以及
基于所述统计日志中的历史数据，调整用于从所述文本动画样式的所述列表中选择所述文本动画样式的算法。
19.根据权利要求11所述的方法，还包括：
基于所述自定义消息，从配乐库中选择配乐；
用所选择的配乐替换所述相关可修改视频中的预设配乐，其中，所述相关可修改视频与所述预设配乐相关联；
基于所述最近的消息确定所述用户的情感状态；
基于所述情感状态，从发型的列表中选择发型；并且
将所述发型应用于所述用户的自拍中的头发图像以修改所述用户的所述自拍，并且其中，所述呈现包括：在所述相关可修改视频中显示所述用户的修改后的自拍。
20.一种非瞬态处理器可读介质，存储有指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器实施用于自定义可修改视频中的文本消息的方法，所述方法包括：
分析多媒体消息传送应用程序中的用户的最近的消息以确定所述最近的消息的上下文；
基于所述上下文确定自定义文本消息；
基于所述上下文，从被配置为存储可修改视频的数据库中选择相关可修改视频的列表，所述可修改视频与预设文本消息相关联；
用自定义消息替换所述相关可修改视频中的所述预设文本消息；并且
呈现所述相关可修改视频的所述列表以供所述用户查看和选择，所述呈现包括：在所述相关可修改视频中显示所述自定义文本消息。
CN202180034694.9A 2020-05-20 2021-04-22 多媒体消息传送应用程序中可修改视频中的文本消息自定义 Pending CN115606191A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/878,868 US11212383B2 (en) 2020-05-20 2020-05-20 Customizing text messages in modifiable videos of multimedia messaging application
US16/878,868 2020-05-20
PCT/US2021/028559 WO2021236287A1 (en) 2020-05-20 2021-04-22 Customizing text messages in modifiable videos of multimedia messaging application

Publications (1)

Publication Number Publication Date
CN115606191A true CN115606191A (zh) 2023-01-13

Family

ID=75954257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180034694.9A Pending CN115606191A (zh) 2020-05-20 2021-04-22 多媒体消息传送应用程序中可修改视频中的文本消息自定义

Country Status (5)

Country Link
US (3) US11212383B2 (zh)
EP (1) EP4154548A1 (zh)
KR (2) KR20240052065A (zh)
CN (1) CN115606191A (zh)
WO (1) WO2021236287A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210375023A1 (en) * 2020-06-01 2021-12-02 Nvidia Corporation Content animation using one or more neural networks
US11924153B2 (en) * 2020-12-31 2024-03-05 Snap Inc. Messaging user interface element with reminders
CN112866798B (zh) * 2020-12-31 2023-05-05 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334067A1 (en) * 2012-12-21 2015-11-19 Gnotech Llc Messaging providing graphical and audible features
US20160080296A1 (en) * 2014-09-12 2016-03-17 Google Inc. System and interface that facilitate selecting videos to share in a messaging application
US20170147202A1 (en) * 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US20170286366A1 (en) * 2016-03-31 2017-10-05 Google Inc. Smart variable expressive text or graphics for electronic communications
US20180268595A1 (en) * 2017-03-20 2018-09-20 Google Llc Generating cartoon images from photos
US20190311189A1 (en) * 2018-04-04 2019-10-10 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
CN110968204A (zh) * 2019-09-29 2020-04-07 上海萌家网络科技有限公司 一种输入法及其系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101801327B1 (ko) * 2011-07-29 2017-11-27 삼성전자주식회사 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8868590B1 (en) * 2011-11-17 2014-10-21 Sri International Method and system utilizing a personalized user model to develop a search request
US9015099B2 (en) * 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US20140085334A1 (en) * 2012-09-26 2014-03-27 Apple Inc. Transparent Texting
CN112102824A (zh) * 2014-06-06 2020-12-18 谷歌有限责任公司 基于环境的主动聊天信息系统
WO2016189350A1 (en) * 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
US10474877B2 (en) 2015-09-22 2019-11-12 Google Llc Automated effects generation for animated content
US11783524B2 (en) * 2016-02-10 2023-10-10 Nitin Vats Producing realistic talking face with expression using images text and voice
US9832308B1 (en) * 2016-05-12 2017-11-28 Google Inc. Caller preview data and call messages based on caller preview data
US10257127B2 (en) * 2016-08-09 2019-04-09 Microsoft Technology Licensing, Llc Email personalization
US10528801B2 (en) * 2016-12-07 2020-01-07 Keyterra LLC Method and system for incorporating contextual and emotional visualization into electronic communications
KR20180095197A (ko) * 2017-02-17 2018-08-27 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20180103547A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 제어방법
US11113719B2 (en) * 2018-09-17 2021-09-07 International Business Machines Corporation Content demotion
US11308677B2 (en) * 2019-01-18 2022-04-19 Snap Inc. Generating personalized videos with customized text messages
US11202131B2 (en) * 2019-03-10 2021-12-14 Vidubly Ltd Maintaining original volume changes of a character in revoiced media stream
US10940396B2 (en) * 2019-03-20 2021-03-09 Electronic Arts Inc. Example chat message toxicity assessment process
US11594255B2 (en) * 2019-04-18 2023-02-28 Kristin Fahy Systems and methods for automated generation of video
US11295497B2 (en) * 2019-11-25 2022-04-05 International Business Machines Corporation Dynamic subtitle enhancement
US20210224319A1 (en) * 2019-12-28 2021-07-22 Ben Avi Ingel Artificially generating audio data from textual information and rhythm information
US11593984B2 (en) * 2020-02-07 2023-02-28 Apple Inc. Using text for avatar animation
US10943371B1 (en) * 2020-03-31 2021-03-09 Snap Inc. Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150334067A1 (en) * 2012-12-21 2015-11-19 Gnotech Llc Messaging providing graphical and audible features
US20160080296A1 (en) * 2014-09-12 2016-03-17 Google Inc. System and interface that facilitate selecting videos to share in a messaging application
US20170147202A1 (en) * 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US20170286366A1 (en) * 2016-03-31 2017-10-05 Google Inc. Smart variable expressive text or graphics for electronic communications
US20180268595A1 (en) * 2017-03-20 2018-09-20 Google Llc Generating cartoon images from photos
US20190311189A1 (en) * 2018-04-04 2019-10-10 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
CN110968204A (zh) * 2019-09-29 2020-04-07 上海萌家网络科技有限公司 一种输入法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王洵 等,: "三维语音动画聊天室的设计与实现", 计算机工程与应用, no. 01, 1 January 2004 (2004-01-01) *

Also Published As

Publication number Publication date
US11212383B2 (en) 2021-12-28
US11895260B2 (en) 2024-02-06
US20210368039A1 (en) 2021-11-25
KR20240052065A (ko) 2024-04-22
EP4154548A1 (en) 2023-03-29
US20240089364A1 (en) 2024-03-14
KR20230026344A (ko) 2023-02-24
US20220070291A1 (en) 2022-03-03
WO2021236287A1 (en) 2021-11-25
KR102656497B1 (ko) 2024-04-12

Similar Documents

Publication Publication Date Title
KR102658960B1 (ko) 얼굴 재연을 위한 시스템 및 방법
US11895260B2 (en) Customizing modifiable videos of multimedia messaging application
US11393134B2 (en) Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application
US11842433B2 (en) Generating personalized videos with customized text messages
WO2020150693A1 (en) Systems and methods for generating personalized videos with customized text messages
US11394888B2 (en) Personalized videos
US11645331B2 (en) Searching and ranking personalized videos
KR102345729B1 (ko) 영상 생성 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination