CN110136272A - 用于向远程用户虚拟应用彩妆效果的系统和方法 - Google Patents

用于向远程用户虚拟应用彩妆效果的系统和方法 Download PDF

Info

Publication number
CN110136272A
CN110136272A CN201811599756.7A CN201811599756A CN110136272A CN 110136272 A CN110136272 A CN 110136272A CN 201811599756 A CN201811599756 A CN 201811599756A CN 110136272 A CN110136272 A CN 110136272A
Authority
CN
China
Prior art keywords
color make
user
effect
virtual
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811599756.7A
Other languages
English (en)
Other versions
CN110136272B (zh
Inventor
杨佳哲
吴泊和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Cayman Islands Business By Ltd By Share Ltd
Original Assignee
British Cayman Islands Business By Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Cayman Islands Business By Ltd By Share Ltd filed Critical British Cayman Islands Business By Ltd By Share Ltd
Publication of CN110136272A publication Critical patent/CN110136272A/zh
Application granted granted Critical
Publication of CN110136272B publication Critical patent/CN110136272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Architecture (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

一种用于向远程用户虚拟应用彩妆效果的系统和方法，用于向远程用户虚拟应用彩妆效果的方法，在由彩妆师使用的彩妆应用设备中实现，包括从客户端设备的用户获得彩妆咨询请求，并从客户端设备获取用户的面部区域的至少一个数字图像。三维(3D)面部模型是基于至少一个数字图像生成的，且用户输入是从彩妆师获得的，用于将多个虚拟彩妆效果应用到三维面部模型。彩妆应用设备设备基于来自彩妆师的用户输入生成命令，用于应用虚拟彩妆效果并将命令传输到客户端设备。上述命令使虚拟彩妆效果应用于用户的面部区域的至少一个数字图像，并显示至少一个数字图像。

Description

用于向远程用户虚拟应用彩妆效果的系统和方法
本申请主张于2018年2月9日申请的名为"在模型上化妆并同时应用于远程用户脸部的简易方法"的第62/628,334号美国临时专利申请案的优先权与效益，其整体作为参照并入本文。
技术领域
本申请通常涉及媒体编辑，特别是涉及对远程用户执行彩妆的虚拟应用的系统及方法。
背景技术
个人常投资大量的资源在彩妆工具与配件上。然而，即使借助传统的自助指南，对于要获得与彩妆师相同的效果而言仍相当具有挑战性。
发明内容
根据一个实施例，提供一种用于向远程用户虚拟应用彩妆效果的方法，包括由彩妆师使用的彩妆应用设备，从客户端设备的用户获得化妆咨询请求，并从客户端设备获取用户的面部区域的至少一个数字图像。三维(3D)面部模型是基于至少一个数字图像生成的，且用户输入是从彩妆师获得的，用于将多个虚拟彩妆效果应用到三维面部模型。彩妆应用设备设备基于来自彩妆师的用户输入生成命令，用于应用虚拟彩妆效果并将命令传输到客户端设备。上述命令使虚拟彩妆效果应用于用户的面部区域的至少一个数字图像，并显示至少一个数字图像。
优选地，显示所述至少一个数字图像包括显示所述用户的所述面部区域的实时视频馈送。
优选地，获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型包括：获得对来自所述彩妆师的所述3D面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述3D面部模型；以及获取所述3D面部模型上的位置，并对所述3D面部模型上的所述位置应用彩妆效果。
优选地，所述命令依据从所述彩妆师获取的所调整的方向，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像的应用。
优选地，获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型包括：从所述彩妆师获取缩放级别，并根据所述缩放级别显示所述3D面部模型；获取来自所述彩妆师的启用输入，所述启用输入明定是否要允许所述客户端设备以所述缩放级别显示所述虚拟彩妆效果的应用；以及获取所述3D面部模型上的位置，并对所述3D面部模型上的所述位置应用彩妆效果。
优选地，所述命令依据所述启用输入，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像上，以从所述彩妆师获取的所述缩放级别进行的应用。
优选地，每当从所述彩妆师获得所述用户输入时，执行将所述命令传输到所述客户端设备的步骤，其中所述命令包括所述虚拟彩妆效果应用于所述三维面部模型的多个特征点的位置，其中所述用户端设备将所述虚拟彩妆效果应用于所述三维面部模型的多个所述特征点映射于所述用户的所述面部区域上的多个特征点，且其中所述客户端装置将相同的所述虚拟彩妆效果基于所映射的多个所述特征点应用于所述用户的所述面部区域。
优选地，从所述客户端设备获取所述用户的所述面部区域的所述至少一个数字图像包括使所述客户端设备提示所述用户以多个角度面对所述客户端装置的前置摄像头，并在每个所述角度截取数字图像。
优选地，基于所述至少一个数字图像生成所述三维面部模型包括：检索默认三维模型；以及根据所述用户的所述面部区域的所述至少一数字图像上的相应的多个面部特征的尺寸及位置，修改所述默认三维模型上预设的多个面部特征的尺寸及位置。
优选地，所述用于向远程用户虚拟应用彩妆效果的方法还包括存储用于将多个虚拟彩妆效果应用于所述三维面部模型的顺序，在所述顺序中，所述用户输入是从所述彩妆师获得。
另一个实施例是一种用于向远程用户虚拟应用彩妆效果的系统，包括存储多个指令的存储器及连接该存储器的处理器。处理器由多个指令所配置，以从客户端设备的用户获得化妆咨询请求，并从客户端设备获取用户的面部区域的至少一个数字图像。处理器进一步经配置以基于至少一个数字图像生成三维(3D)面部模型，并从彩妆师获得用户输入，用于将多个虚拟彩妆效果应用到三维面部模型。处理器还被配置为基于来自彩妆师的用户输入生成用于应用虚拟彩妆效果的命令，并将该命令发送到客户端设备，该命令使虚拟彩妆效果应用于用户的面部区域的至少一个数字图像，并显示该至少一个数字图像。
优选地，所述处理器获得来自所述彩妆师的所述用户输入，以将多个所述虚拟彩妆效果应用于所述三维面部模型是通过获得对来自所述彩妆师的所述3D面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述3D面部模型；以及通过获取所述3D面部模型上的位置，并对所述3D面部模型上的所述位置应用彩妆效果。
优选地，所述处理器获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型是通过由执行以下步骤：从所述彩妆师获取缩放级别，并根据所述缩放级别显示所述3D面部模型；获取来自所述彩妆师的启用输入，所述启用输入明定是否要允许所述客户端设备以所述缩放级别显示所述虚拟彩妆效果的应用；以及获取所述3D面部模型上的位置，并对所述3D面部模型上的所述位置应用彩妆效果。
优选地，所述命令依据所述启用输入，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像上，以从所述彩妆师获取的所述缩放级别进行的应用。
优选地，每当从所述彩妆师获得所述用户输入时，所述处理器将所述命令传输到所述客户端设备，其中所述命令包括所述虚拟彩妆效果应用于所述三维面部模型的多个特征点的位置，其中所述用户端设备将所述虚拟彩妆效果应用于所述三维面部模型的多个所述特征点映射于所述用户的所述面部区域上的多个特征点，且其中所述客户端装置将相同的所述虚拟彩妆效果基于所映射的多个所述特征点应用于所述用户的所述面部区域。
优选地，所述处理器从所述客户端设备获取所述用户的所述面部区域的所述至少一个数字图像是通过使所述客户端设备提示所述用户以多个角度面对所述客户端装置的前置摄像头，并在每个所述角度截取数字图像。
另一实施例是一种用于向远程用户虚拟应用彩妆效果的非暂时性计算器可读存储介质，存储多个指令，以由具有处理器的计算设备实现，其中多个指令在由处理器执行时，使计算设备从客户端设备的用户获得化妆咨询请求，并从客户端设备获取用户的面部区域的至少一个数字图像。处理器进一步经配置以基于至少一个数字图像生成三维(3D)面部模型，并从彩妆师获得用户输入，用于将多个虚拟彩妆效果应用到三维面部模型。处理器还被配置为基于来自彩妆师的用户输入生成用于应用虚拟彩妆效果的命令，并将该命令发送到客户端设备，该命令使虚拟彩妆效果应用于用户的面部区域的至少一个数字图像，并显示该至少一个数字图像。
优选地，所述处理器获得来自所述彩妆师的所述用户输入，以将多个所述虚拟彩妆效果应用于所述三维面部模型是通过获得对来自所述彩妆师的所述3D面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述3D面部模型；以及通过获取所述3D面部模型上的位置，并对所述3D面部模型上的所述位置应用彩妆效果。
优选地，所述处理器获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型是通过由执行以下步骤：从所述彩妆师获取缩放级别，并根据所述缩放级别显示所述3D面部模型；获取来自所述彩妆师的启用输入，所述启用输入明定是否要允许所述客户端设备以所述缩放级别显示所述虚拟彩妆效果的应用；以及获取所述3D面部模型上的位置，并对所述3D面部模型上的所述位置应用彩妆效果。
优选地，所述命令依据所述启用输入，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像上，以从所述彩妆师获取的所述缩放级别进行的应用。
通过研究以下附图和详细描述，本公开的其他系统，方法，特征和优点对于本领域技术人员将是或将变得显而易见。旨在将所有这些附加系统，方法，特征和优点包括在本说明书内，在本公开的范围内，并且由所附权利要求保护。
为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
参考以下附图可以更好地理解本公开的各个方面。附图中的组件不一定按比例绘制，而是重点在于清楚地说明本公开的原理。此外，在附图中，相同的附图标记在若干视图中表示相应的部件。
图1是根据本公开的各种实施例的用于实现彩妆咨询平台的系统的框图。
图2是根据本公开的各种实施例的图1的彩妆应用设备的示意图。
图3是根据本公开的各种实施例，示出了作为图1的服务器设备的一部分实现的功能示例的顶层流程图。
图4是根据本公开的各种实施例，示出了使用图1中彩妆应用设备及用户端设备的彩妆咨询会议。
图5是根据本公开的各种实施例，示出了在图1中的客户端设备的显示器上提供的用户界面的示例。
图6是根据本公开的各种实施例，示出了在图1中的客户端设备上执行的缩放操作。
图7是根据本公开的各种实施例，示出了在图1中的客户端设备上执行的对于三维面部模型沿着一或多个轴的方向的进行的调整。
图8是根据本公开的各种实施例，示出了在图1中的客户端设备的显示器上提供的用户界面的另一示例。
具体实施方式
公开了各种实施例，用于通过实施改进的平台来促进虚拟彩妆的应用，该平台用于在彩妆师使用的彩妆应用设备及寻求咨询的用户所使用的客户端装置之间进行彩妆咨询会议。如下文更详细描述的，该系统包括彩妆应用设备，其接收用户在客户端装置处发起的彩妆咨询请求。获得用户的面部区域的一个或多个数字图像，并且由彩妆应用设备生成三维(3D)模型。彩妆师将彩妆效果应用于3D模型的面部特征，由此基于彩妆师的动作生成多个命令，并将其发送到客户端设备。客户端设备接收多个命令，并且用户能够利用客户端设备来查看对用户的一或多个数字图像的彩妆效果的逐步应用。
现在描述用于实现彩妆咨询平台的系统的描述，然后讨论该系统内多个组件的操作。图1是彩妆应用设备102的框图，其中可以实施本文公开的用于彩妆效果的虚拟应用及彩妆咨询的技术。彩妆应用设备102可以体现为计算设备，诸如但不限于智能电话、平板计算设备、膝上型计算机等。客户端设备122a，122b，122c可以类似地体现为计算设备，诸如但不限于智能手机、平板计算设备、膝上型计算机等。每个客户端设备122a、122b、122c均可配备数字内容录制功能(例如，前置摄像头)。
彩妆应用设备102经由网络120连接到客户端设备122a、122b、122c，网络120例如是因特网、内联网、外联网、广域网(WAN)、局域网(LAN)、有线网络、无线网络或其他合适的网络等，或两个或更多个这种网络的任何组合。彩妆应用设备102是互动式连接到客户端设备122a、122b、122c以用于进行彩妆咨询，其中客户端设备122a、122b、122c上传各自用户的数字图像到彩妆应用设备102。
如一般技术人员将理解的，数字图像可以以多种格式中的任何格式编码，包括但不限于JPEG(联合图像专家组)文件、TIFF(标记图像文件格式)文件、PNG(便携式网络图形)文件、GIF(图形交换格式)文件、BMP(位图)文件或任何数量的其他数字格式。或者，数字图像可将由以下格式编码的视频的静止图像导出，包括但不限于动态图像专家组(MPEG)-1，MPEG-2，MPEG-4，H.264，H.265，HEVC(高效率视频编码)、第三代合作伙伴计划(3GPP)，3GPP-2，标清视频(SD-Video)，高清视频(HD-Video)，数字多功能光盘(DVD)多媒体，视频光盘(VCD)多媒体，高清数字通用光盘(HD-DVD)多媒体，数字电视视频/高清数字电视(DTV/HDTV)多媒体，音频视频交错(AVI)，数字视频(DV)，QuickTime(QT)文件，Windows MediaVideo(WMV)，高级系统格式(ASF)，Real Media(RM)，Flash Media(FLV)，MPEG Audio LayerIII(MP3)，MPEG Audio Layer II(MP2)，Waveform Audio Format(WAV)，Windows MediaAudio(WMA)或任何数量的其他数字格式。
彩妆应用器服务104在彩妆妆应用装置102的处理器上执行，并且包括客户端设备接口106、3D模型生成器108、虚拟彩妆应用器110及命令生成器112。客户端设备接口106经配置以从客户端设备122的用户获取彩妆咨询请求。客户端设备接口106还经配置以从客户端设备122获取用户的面部区域的一或多个数字图像。
3D模型生成器108使用从客户端设备122获得的一或多个数字图像生成3D面部模型。对于某些实施例,这涉及从数据库116检索默认3D模型118，并根据用户的面部区域的一或多个数字图像上的相应的多个面部特征的尺寸及位置，修改默认三维模型上预设的多个面部特征的尺寸及位置，以便为用户自定义3D模型。
虚拟彩妆应用器110获得来自彩妆师的用户输入，以将多个虚拟彩妆效果应用于三维面部模型。命令生成器112配置为基于来自彩妆师的用户输入生成命令，用于应用虚拟彩妆效果。命令生成器112进一步配置为将该命令传输到客户端设备122，其中该命令使虚拟彩妆效果应用于用户的面部区域的一或多个数字图像。在客户端设备122上向用户显示虚拟彩妆效果对于一个或多个数字图像的应用。
图2是图1的彩妆应用设备的示意性框图。彩妆应用设备102可体现在各种有线和/或无线计算设备中的任何一种，如台式计算机、便携式计算机、专用服务器计算机、多处理器计算设备、智能手机、平板电脑等。如图2所示，彩妆应用设备102包括存储器214、处理设备202、多个输入/输出接口204、网络接口206、显示器208、周边接口211及大容量存储器226，其中每个组件都通过本地数据总线210连接。
处理设备202可以包括与彩妆应用设备102相关联的若干处理器中的任何定制或商用处理器、中央处理单元(CPU)或协处理器、基于半导体的微处理器(以微芯片的形式)、宏处理器、一个或多个专用集成电路(ASIC)、多个适当配置的数字逻辑门，以及其他众所周知的电气配置，包括单独和各种组合的分立组件，以协调计算系统的整体操作。
存储器214可以包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM和SRAM等))和非易失性存储器元件(例如，ROM，硬盘驱动器，磁带，CDROM)的组合中的任何一个。等)。存储器214通常包括本机操作系统216、一或多个本机应用程序、仿真系统或用于各种操作系统和/或仿真硬件平台、仿真操作系统等中的任何一个的仿真应用程序。例如，应用程序可以包括应用程序特定软件，其可以包括图1中描绘的彩妆应用设备102的一些或所有组件。根据这样的实施例，组件存储在存储器214中并由处理设备202执行，从而使处理设备202执行用于实现本文公开的特征的操作/功能。本领域普通技术人员将理解，存储器214可以并且通常将包括出于简洁的目的而省略的其他组件。对于一些实施例，彩妆应用设备102中的组件可以由硬件和/或软件实现。
输入/输出接口204为数据的输入及输出提供任意数量的接口。例如，在彩妆应用设备102包括个人计算机的情况下，这些组件可以与一或多个用户输入/输出接口204相互作用，其可以包括键盘或鼠标，如图2所示。显示器208可包括计算机监视器、用于个人计算机(PC)的等离子屏幕、手持设备上的液晶显示器(LCD)、触摸屏或其他显示设备。
在本申请的上下文中，非暂时性计算机可读媒体存储供指令执行系统，装置或设备使用或与其结合使用的程序。计算机可读媒体的更具体示例可以包括示例而非限制：便携式计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM、EEPROM或闪存)和便携式光盘只读存储器(CDROM)(光学)。
现将参考图3，其为根据各种实施例以使用图1的彩妆应用设备102实现彩妆咨询平台的流程图300。应理解，图3的流程图300仅提供了可用于实现彩妆应用设备102的各种部件的操作的不同类型的功能配置的示例。作为替代方案，图3的流程图300可被视为根据一或多个实施例描绘在彩妆应用设备102中实现的方法的步骤的示例。
尽管图3的流程图300示出了特定的执行顺序，但是应该理解，执行的顺序可以与所描述的顺序不同。例如，可以相对于所示的顺序对两个或更多个框的执行顺序加以打散。而且，图3中连续示出的两个或更多个方框可以同时执行或部分同时执行。应理解，所有这些变化都在本申请的范围内。
在框310处，彩妆应用设备102从客户端设备的用户获得彩妆咨询请求。在框320处，彩妆应用设备102从客户端设备获得用户的面部区域的至少一个数字图像。对于一些实施例，这涉及到使用户端设备122提示用户以多个角度面对用户端设备122的前置摄像头，并在每个角度截取数字图像。
在框330处，彩妆应用设备102基于至少一个数字图像产生三维(3D)面部模型。对于一些实施例，这涉及了检索默认三维模型，并根据用户的面部区域的一或多个数字图像上的相应的多个面部特征的尺寸及位置，修改默认三维模型上预设的多个面部特征的尺寸及位置。
在框340处，彩妆应用设备102从彩妆师获得用于将虚拟彩妆效果应用于3D面部模型的用户输入。对于一些实施例，从彩妆师获得用于将虚拟彩妆效果应用于3D面部模型的用户输入包括获得对来自所述彩妆师的所述3D面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述3D面部模型。例如，彩妆师可使用在彩妆应用设备102上显示的用户界面，以对3D面部模型执行旋转与平移操作，以便于虚拟彩妆效果的应用。彩妆应用设备102还获得3D面部模型上的位置，并将彩妆效果应用于3D面部模型上的该位置。
对于一些实施例，从彩妆师获得用于将虚拟彩妆效果应用于3D面部模型的用户输入包括从彩妆师获得缩放级别，并根据该缩放级别显示3D面部模型。对于一些实施例，彩妆应用设备102获得来自彩妆师的启用输入，其中该启用输入明定是否要允许客户端设备以该缩放级别显示虚拟彩妆效果的应用。也就是说，彩妆师控制客户端设备122的用户是否根据彩妆师指定的缩放级别观看彩妆效果的应用。彩妆应用设备102获得3D面部模型上的位置，并将彩妆效果应用于3D面部模型上的位置。
在框350处，彩妆应用设备102基于来自彩妆师的用户输入生成用于应用虚拟彩妆效果的命令。在框360处，彩妆应用设备102将命令发送到客户端设备，该命令使得虚拟彩妆效果被应用于用户的面部区域的至少一个数字图像，并显示至少一个数字图像。对于一些实施例，显示至少一个数字图像包括显示用户的面部区域的实况视频馈送。
对于一些实施例，每当从彩妆师获得用户输入时，彩妆应用设备102将命令发送到客户端装置，其中，该命令包括将虚拟彩妆效果应用于3D面部模型的多个特征点的位置。客户端设备122(图1)将经过虚拟彩妆效果应用的，3D面部模型上的多个特征点，映射到用户的面部区域上的多个特征点。用户端设备122接着基于所映射的多个特征点，将相同的彩妆效果应用于用户的面部区域。对于一些实施例，彩妆应用设备102存储用于将多个虚拟彩妆效果应用于所述三维面部模型的顺序，在所述顺序中，用户输入是从所述彩妆师获得。
对于一些实施例，命令依据从彩妆师获取的所调整的方向，使客户端设备显示虚拟彩妆效果于用户的面部区域的至少一个数字图像的应用。命令亦可依据启用输入，使客户端设备显示虚拟彩妆效果于用户的面部区域的至少一个数字图像上，以从彩妆师获取的缩放级别进行的应用。此后，在图3中所示的流程结束。
已经描述了用于提供彩妆咨询的系统的基本架构，接着参考以下附图，其进一步示出了上面公开的各种特征。图4是根据本公开的各种实施例，示出了使用图1中彩妆应用设备102及用户端设备122的彩妆咨询会议。如上所述，彩妆应用设备102可以体现为计算设备，诸如但不限于智能电话、平板计算设备、膝上型计算机等。如图所示，彩妆师可以将笔/触控笔与耦合到彩妆应用设备102的触控板或平板电脑结合使用，以精确地将彩妆效果的虚拟应用执行于客户端设备122的用户的3D模型402上。彩妆师亦可使用彩妆应用设备102的触摸屏界面来执行彩妆效果的虚拟应用。
如上所述，彩妆应用设备102基于彩妆师的行为，产生用于应用虚拟彩妆效果的命令。在图4所示的示例中，彩妆师将唇膏效果应用于3D模型402。生成相应的命令，并经由网络120发送到客户端设备122。该命令使客户端设备122将唇膏效果的虚拟应用显示在客户端设备122的用户的数字图像上。对于一些实施例，当命令生成并传输到客户端设备122时，彩妆师可以应用并控制一系列的彩妆效果(如唇膏效果、眼线效果、腮红效果、睫毛效果、眉毛效果、眼影效果、面部粉底效果、发色效果)。这可以包括，例如，操作在彩妆应用设备102上显示的用户界面上的控件。
图5是根据本公开的各种实施例，示出了在图1中的客户端设备122的显示器上提供的用户界面502的示例。回头参考上面的例子，彩妆师应用唇膏效果。这使得相应的唇膏效果被应用于用户的数字图像504。在一些实施方式中，用户的实况视频馈送显示在客户端设备122上，同时彩妆师应用彩妆效果，从而提供虚拟镜像效果。对于一些实施例，客户端设备122的用户可以观看彩妆师应用彩妆效果，同时使用画中画(picture-in-picture,PIP)布局、并排布局等来观看应用于用户的面部区域的彩妆效果。在图5所示的示例中，PIP窗口506包括在用户界面502中，其中PIP窗口506描绘了彩妆师的图像。
图6是根据本公开的各种实施例，示出了在图1中的客户端设备上执行的缩放操作。在所示的示例中，彩妆应用设备102上显示的用户界面包括用于允许彩妆师放大并促进彩妆效果的虚拟应用的控件。对于一些实施例，彩妆师可以控制客户端设备122的用户是否以由彩妆师指定的缩放级别观看数字图像。在所示的示例中，由彩妆师查看的用户界面上的另一控件允许彩妆师指定，当彩妆师放大以观看3D模型时，客户端设备122的显示器是否类似地对用户的数字图像进行放大。在一些实施例中，客户端设备122的用户可以在观看彩妆师对虚拟彩妆效果的应用的同时进行放大和缩小(与彩妆师在彩妆应用设备102上使用的缩放级别无关的)。
图7是根据本公开的各种实施例，示出了在图1中的客户端设备上执行的对于三维面部模型沿着一或多个轴的方向的进行的调整。在所示的示例中，彩妆师沿着一个或多个轴调整3D面部模型的方向，以便于彩妆效果的虚拟应用。例如，彩妆师可以利用彩妆应用设备102上显示的用户界面来对3D面部模型执行旋转和平移操作，以便应用虚拟彩妆效果。对3D模型的彩妆效果的虚拟应用使相应的命令生成，并经由网络120发送到客户端设备122。该命令使客户端设备122将相同的外观效果的虚拟应用程序显示在客户端设备122的用户的数字图像上。彩妆师还可以允许用户在彩妆师应用彩妆效果时查看其使用的当前调整方向。
图8是根据本公开的各种实施例，示出了在图1中的客户端设备122的显示器上提供的用户界面802的另一示例。在所示的示例中，彩妆师将唇膏效果应用于用户的3D模型806。客户端设备122的用户在第一观看窗口804中观看由彩妆师将唇膏效果于3D模型306上的应用。这使得相应的唇膏效果被应用于用户的数字图像。在一些实施方式中，用户的实况视频馈送显示在客户端设备122上的第二观看窗口808中，同时彩妆师应用彩妆效果，从而提供虚拟镜像效果。
用户界面802还可以包括第三观看窗口810，其示出彩妆师的实况视频馈送。值得注意的是，用户能够同时观看彩妆师、3D模型806与用户，其中，实时显示了虚拟彩妆效果于3D模型及用户的数字图像的应用。可以在彩妆应用设备102上向彩妆师提供类似的用户界面。在其他实施方式中，可以利用画中画(PIP)配置，其中，第一观看窗口804包围整个显示区域，而第二观看窗口808及第三观看窗口810则显示为第一观看窗口804上的插入窗口。
应该强调的是，本申请的上述实施例仅仅是为了清楚地理解本申请的原理而阐述的实现的可能示例。在不背离本发明的精神和原理的情况下，可以对上述实施例进行许多变化和修改。所有这些修改和变化旨在包括在本申请的范围内，并且由所附权利要求保护。
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求书的保护范围，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利要求书的保护范围内。

Claims (20)

1.一种用于向远程用户虚拟应用彩妆效果的方法，在由彩妆师使用的一彩妆应用设备中实现，其特征在于，所述方法包括：
从客户端设备的用户获得彩妆咨询请求；
从所述客户端设备获取所述用户的面部区域的至少一个数字图像；
基于所述至少一个数字图像生成三维面部模型；
获得来自所述彩妆师的用户输入，以将多个虚拟彩妆效果应用于所述三维面部模型；
根据彩妆师的所述用户输入生成命令，以应用虚拟彩妆效果；以及
将所述命令传输到所述客户端设备，所述命令使虚拟修饰效果应用于所述用户的所述面部区域的所述至少一个数字图像，并显示所述至少一个数字图像。
2.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中显示所述至少一个数字图像包括显示所述用户的所述面部区域的实时视频馈送。
3.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型包括：
获得对来自所述彩妆师的所述三维面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述三维面部模型；以及
获取所述三维面部模型上的位置，并对所述三维面部模型上的所述位置应用彩妆效果。
4.根据权利要求3所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中所述命令依据从所述彩妆师获取的所调整的方向，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像的应用。
5.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型包括：
从所述彩妆师获取缩放级别，并根据所述缩放级别显示所述三维面部模型；
获取来自所述彩妆师的启用输入，所述启用输入明定是否要允许所述客户端设备以所述缩放级别显示所述虚拟彩妆效果的应用；以及
获取所述三维面部模型上的位置，并对所述三维面部模型上的所述位置应用彩妆效果。
6.根据权利要求5所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中所述命令依据所述启用输入，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像上，以从所述彩妆师获取的所述缩放级别进行的应用。
7.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中每当从所述彩妆师获得所述用户输入时，执行将所述命令传输到所述客户端设备的步骤，其中所述命令包括所述虚拟彩妆效果应用于所述三维面部模型的多个特征点的位置，其中所述用户端设备将所述虚拟彩妆效果应用于所述三维面部模型的多个所述特征点映射于所述用户的所述面部区域上的多个特征点，且其中所述客户端装置将相同的所述虚拟彩妆效果基于所映射的多个所述特征点应用于所述用户的所述面部区域。
8.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中从所述客户端设备获取所述用户的所述面部区域的所述至少一个数字图像包括使所述客户端设备提示所述用户以多个角度面对所述客户端装置的前置摄像头，并在每个所述角度截取数字图像。
9.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，其中基于所述至少一个数字图像生成所述三维面部模型包括：
检索默认三维模型；以及
根据所述用户的所述面部区域的所述至少一个数字图像上的相应的多个面部特征的尺寸及位置，修改所述默认三维模型上预设的多个面部特征的尺寸及位置。
10.根据权利要求1所述的用于向远程用户虚拟应用彩妆效果的方法，其特征在于，所述用于向远程用户虚拟应用彩妆效果的方法还包括存储用于将多个虚拟彩妆效果应用于所述三维面部模型的顺序，在所述顺序中，所述用户输入是从所述彩妆师获得。
11.一种用于向远程用户虚拟应用彩妆效果的系统，其特征在于，所述用于向远程用户虚拟应用彩妆效果的系统包括：
存储器，存储多个指令；
处理器，与所述存储器连接，并经所述多个指令配置以至少：
从客户端设备的用户获得化妆咨询请求；
从所述客户端设备获取所述用户的面部区域的至少一个数字图像；
基于所述至少一个数字图像生成三维面部模型；
获得来自所述彩妆师的用户输入，以将多个虚拟彩妆效果应用于所述三维面部模型；
根据彩妆师的所述用户输入生成命令，以应用虚拟彩妆效果；以及
将所述命令传输到所述客户端设备，所述命令使虚拟彩妆效果应用于所述用户的所述面部区域的所述至少一个数字图像，并显示所述至少一个数字图像。
12.根据权利要求11所述的用于向远程用户虚拟应用彩妆效果的系统，其特征在于，其中所述处理器获得来自所述彩妆师的所述用户输入，以将多个所述虚拟彩妆效果应用于所述三维面部模型是通过获得对来自所述彩妆师的所述三维面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述三维面部模型；以及通过获取所述三维面部模型上的位置，并对所述三维面部模型上的所述位置应用彩妆效果。
13.根据权利要求11所述的用于向远程用户虚拟应用彩妆效果的系统，其特征在于，其中所述处理器获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型是通过由执行以下步骤：
从所述彩妆师获取缩放级别，并根据所述缩放级别显示所述三维面部模型；
获取来自所述彩妆师的启用输入，所述启用输入明定是否要允许所述客户端设备以所述缩放级别显示所述虚拟彩妆效果的应用；以及
获取所述三维面部模型上的位置，并对所述三维面部模型上的所述位置应用彩妆效果。
14.根据权利要求13所述的用于向远程用户虚拟应用彩妆效果的系统，其特征在于，其中所述命令依据所述启用输入，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像上，以从所述彩妆师获取的所述缩放级别进行的应用。
15.根据权利要求11所述的用于向远程用户虚拟应用彩妆效果的系统，其特征在于，其中每当从所述彩妆师获得所述用户输入时，所述处理器将所述命令传输到所述客户端设备，其中所述命令包括所述虚拟彩妆效果应用于所述三维面部模型的多个特征点的位置，其中所述用户端设备将所述虚拟彩妆效果应用于所述三维面部模型的多个所述特征点映射于所述用户的所述面部区域上的多个特征点，且其中所述客户端装置将相同的所述虚拟彩妆效果基于所映射的多个所述特征点应用于所述用户的所述面部区域。
16.根据权利要求11所述的用于向远程用户虚拟应用彩妆效果的系统，其特征在于，其中所述处理器从所述客户端设备获取所述用户的所述面部区域的所述至少一个数字图像是通过使所述客户端设备提示所述用户以多个角度面对所述客户端装置的前置摄像头，并在每个所述角度截取数字图像。
17.一种用于向远程用户虚拟应用彩妆效果的非暂时性计算器可读存储介质，其特征在于，所述用于向远程用户虚拟应用彩妆效果的非暂时性计算器可读存储介质存储多个指令，以由具有处理器的计算设备实现，其中多个所述指令在由处理器执行时，至少使计算设备进行：
从客户端设备的用户获得化妆咨询请求；
从所述客户端设备获取所述用户的面部区域的至少一个数字图像；
基于所述至少一个数字图像生成三维面部模型；
获得来自所述彩妆师的用户输入，以将多个虚拟彩妆效果应用于所述三维面部模型；
根据彩妆师的所述用户输入生成命令，以应用虚拟彩妆效果；以及
将所述命令传输到所述客户端设备，所述命令使虚拟彩妆效果应用于所述用户的所述面部区域的所述至少一个数字图像，并显示所述至少一个数字图像。
18.根据权利要求17所述的用于向远程用户虚拟应用彩妆效果的非暂时性计算器可读存储介质，其特征在于，其中所述处理器获得来自所述彩妆师的所述用户输入，以将多个所述虚拟彩妆效果应用于所述三维面部模型是通过获得对来自所述彩妆师的所述三维面部模型的沿着一或多个轴的方向的调整，并根据所调整的方向显示所述三维面部模型；以及通过获取所述三维面部模型上的位置，并对所述三维面部模型上的所述位置应用彩妆效果。
19.根据权利要求17所述的用于向远程用户虚拟应用彩妆效果的非暂时性计算器可读存储介质，其特征在于，其中所述处理器获得来自所述彩妆师的所述用户输入，以将所述多个虚拟彩妆效果应用于所述三维面部模型是通过由执行以下步骤：
从所述彩妆师获取缩放级别，并根据所述缩放级别显示所述三维面部模型；
获取来自所述彩妆师的启用输入，所述启用输入明定是否要允许所述客户端设备以所述缩放级别显示所述虚拟彩妆效果的应用；以及
获取所述三维面部模型上的位置，并对所述三维面部模型上的所述位置应用彩妆效果。
20.根据权利要求19所述的用于向远程用户虚拟应用彩妆效果的非暂时性计算器可读存储介质，其特征在于，其中所述命令依据所述启用输入，使所述客户端设备显示所述虚拟彩妆效果于所述用户的所述面部区域的所述至少一个数字图像上，以从所述彩妆师获取的所述缩放级别进行的应用。
CN201811599756.7A 2018-02-09 2018-12-26 用于向远程用户虚拟应用彩妆效果的系统和方法 Active CN110136272B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862628344P 2018-02-09 2018-02-09
US62/628,344 2018-02-09

Publications (2)

Publication Number Publication Date
CN110136272A true CN110136272A (zh) 2019-08-16
CN110136272B CN110136272B (zh) 2023-05-30

Family

ID=67568393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811599756.7A Active CN110136272B (zh) 2018-02-09 2018-12-26 用于向远程用户虚拟应用彩妆效果的系统和方法

Country Status (1)

Country Link
CN (1) CN110136272B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169287A1 (zh) * 2022-03-11 2023-09-14 北京字跳网络技术有限公司 美妆特效的生成方法、装置、设备、存储介质和程序产品

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011085727A1 (en) * 2009-01-15 2011-07-21 Tim Schyberg Advice information system
US20110234581A1 (en) * 2010-03-28 2011-09-29 AR (ES) Technologies Ltd. Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
US20110300196A1 (en) * 2008-09-16 2011-12-08 Fatemeh Mohammadi Method And System For Automatic Or Manual Evaluation To Provide Targeted And Individualized Delivery Of Cosmetic Actives In A Mask Or Patch Form
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US20130169827A1 (en) * 2011-12-28 2013-07-04 Samsung Eletronica Da Amazonia Ltda. Method and system for make-up simulation on portable devices having digital cameras
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
TW201606702A (zh) * 2014-08-08 2016-02-16 華碩電腦股份有限公司 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置
US20160364201A1 (en) * 2011-07-15 2016-12-15 Vmware, Inc. Remote desktop mirroring
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法
US20170256084A1 (en) * 2014-09-30 2017-09-07 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
US20170255478A1 (en) * 2016-03-03 2017-09-07 Perfect Corp. Systems and methods for simulated application of cosmetic effects
WO2018005884A1 (en) * 2016-06-29 2018-01-04 EyesMatch Ltd. System and method for digital makeup mirror

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110300196A1 (en) * 2008-09-16 2011-12-08 Fatemeh Mohammadi Method And System For Automatic Or Manual Evaluation To Provide Targeted And Individualized Delivery Of Cosmetic Actives In A Mask Or Patch Form
WO2011085727A1 (en) * 2009-01-15 2011-07-21 Tim Schyberg Advice information system
US20110234581A1 (en) * 2010-03-28 2011-09-29 AR (ES) Technologies Ltd. Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
US20160364201A1 (en) * 2011-07-15 2016-12-15 Vmware, Inc. Remote desktop mirroring
US20130169827A1 (en) * 2011-12-28 2013-07-04 Samsung Eletronica Da Amazonia Ltda. Method and system for make-up simulation on portable devices having digital cameras
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
TW201606702A (zh) * 2014-08-08 2016-02-16 華碩電腦股份有限公司 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置
US20170256084A1 (en) * 2014-09-30 2017-09-07 Tcms Transparent Beauty, Llc Precise application of cosmetic looks from over a network environment
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
US20170255478A1 (en) * 2016-03-03 2017-09-07 Perfect Corp. Systems and methods for simulated application of cosmetic effects
WO2018005884A1 (en) * 2016-06-29 2018-01-04 EyesMatch Ltd. System and method for digital makeup mirror
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169287A1 (zh) * 2022-03-11 2023-09-14 北京字跳网络技术有限公司 美妆特效的生成方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN110136272B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US10324739B2 (en) Systems and methods for simulated application of cosmetic effects
EP3524089B1 (en) Systems and methods for virtual application of cosmetic effects to a remote user
US10395436B1 (en) Systems and methods for virtual application of makeup effects with adjustable orientation view
DeCamp et al. An immersive system for browsing and visualizing surveillance video
US20210264139A1 (en) Creating videos with facial expressions
TW202009783A (zh) 圖片生成方法、裝置、終端、伺服器及儲存媒體
CN110874557A (zh) 一种语音驱动虚拟人脸的视频生成方法以及装置
US11030798B2 (en) Systems and methods for virtual application of makeup effects based on lighting conditions and surface properties of makeup effects
EP3572973A1 (en) Systems and methods for performing virtual application of makeup effects based on a source image
US11690435B2 (en) System and method for navigating user interfaces using a hybrid touchless control mechanism
US11922540B2 (en) Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames
WO2023246189A1 (zh) 图像信息显示方法和装置
US20140282000A1 (en) Animated character conversation generator
US20190053607A1 (en) Electronic apparatus and method for providing makeup trial information thereof
KR20160134883A (ko) 영상컨텐츠 적용 디지털액터의 운용방법
CN110136272A (zh) 用于向远程用户虚拟应用彩妆效果的系统和方法
CN110135929B (zh) 实行于虚拟化妆应用程序的系统、方法及存储媒体
Gallea et al. Physical metaphor for streaming media retargeting
US11360555B2 (en) Systems and methods for automatic eye gaze refinement
KR102316735B1 (ko) 빅데이터 기반의 개인별 맞춤 뷰티 클래스 제공 시스템
KR20020049384A (ko) 캐릭터 애니메이션 생성 시스템 및 이를 이용한 캐릭터애니메이션 생성 방법
US20190244272A1 (en) Systems and Methods for Generating a Digital Signature for Virtual Application of Cosmetic Products
US10936175B2 (en) Systems and methods for implementing a pin mechanism in a virtual cosmetic application
US20240144719A1 (en) Systems and methods for multi-tiered generation of a face chart
US11404086B2 (en) Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant