CN116645495A - 虚拟化妆方法、装置及系统 - Google Patents

Abstract

本申请提供了一种虚拟化妆方法、装置及系统，该方法包括：响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所选化妆工具的妆容素材；实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。本申请解决了现有技术中虚拟化妆无法准确还原用户化妆效果的技术问题。

Description

虚拟化妆方法、装置及系统

技术领域

本申请涉及数据通信技术领域，具体而言，涉及一种虚拟化妆方法、装置及系统。

背景技术

随着增强现实(AR)技术的广泛应用于车辆导航、旅游、教育等多个领域，AR导航已成为一种常见应用。通过利用AR技术生成引导信息，用户可以在导航过程中获得增强的实时指引和信息展示。

此外，随着网购的普及，将AR技术应用于零售领域也成为研究的热点。特别是在化妆品销售场景中，借助AR技术提供试妆功能具有重要意义。通过将虚拟化妆效果叠加渲染到用户面部图像上，AR技术使用户能够实时预览妆容效果。这种试妆功能有效避免了用户因无法亲身试用而购买不合适的商品，从而减少商品浪费的情况。

然而，目前存在一个技术问题，即大部分虚拟化妆技术无法准确捕捉用户对目标部位进行模拟化妆操作的信息，这导致基于用户操作的虚拟化妆效果无法真实地展现用户的化妆效果，影响了虚拟化妆的逼真程度。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种虚拟化妆方法、装置及系统，以至少解决现有技术中虚拟化妆无法准确还原用户化妆效果的技术问题。

根据本申请实施例的一个方面，提供了一种虚拟化妆方法，包括：响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所述化妆工具的妆容素材；实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

根据本申请实施例的另一方面，还提供了一种虚拟化妆装置，包括：选择模块，被配置为响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所述化妆工具的妆容素材；采集模块，被配置为实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；生成模块，被配置为基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

根据本申请实施例的又一方面，还提供了一种虚拟化妆系统，包括：模拟化妆仪，被配置为能够在用户的操作下在目标部位进行模拟化妆操作；如上所述的虚拟化妆装置，被配置基于所述模拟化妆操作来呈现化妆后的虚拟数字人。

在本申请实施例中，响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项；实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位；通过上述技术，解决了现有技术中虚拟化妆无法准确还原用户化妆效果的技术问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例公开的一种虚拟化妆方法的流程图；

图2是本申请实施例公开的另一种虚拟化妆方法的流程图；

图3是本申请实施例公开的又一种虚拟化妆方法的流程图；

图4是本申请实施例公开的一种虚拟化妆装置的结构示意图；

图5是本申请实施例公开的一种虚拟化妆系统的架构示意图；

图6示出了适于用来实现本公开实施例的电子设备的结构示意图。

其中，上述附图包括以下附图标记：

1001、CPU；1002、ROM；1003、RAM；1004、总线；1005、I/O接口；1006、输入部分；1007、输出部分；1008、存储部分；1009、通信部分；1010、驱动器；1011、可拆卸介质；100、化妆系统；101、第一终端设备；102、第二终端设备；103、第三终端设备；104、网络；105、服务器；106、模拟化妆仪；42、选择模块；44、采集模块；46、生成模块。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1

本申请实施例提供了一种虚拟化妆方法，如图1所示，该方法包括以下步骤：

步骤S102，响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所选化妆工具的妆容素材。

根据具体应用的需求和用户习惯，设计一个界面，用于展示多个化妆工具和虚拟数字人的模型。在界面上设置多个化妆工具，包括但不限于口红、眼影、眉笔等，让用户可以根据自己的喜好和需要选择适合的化妆工具。在界面上呈现虚拟数字人的模型，以便用户可以直观地看到所做的化妆效果。为每个化妆工具提供一种或多种操作方式，如拖拽、点击、手势等，让用户可以轻松地使用这些工具。

响应于接收到用户的工具触发指令，确定所述用户选择的化妆工具，并显示包含多个附属妆容选项的浮层，其中，所述附属妆容选项包含附属于所选化妆工具的妆容素材。在一些实施例中，所述附属妆容选项包括以下至少之一：用于基于颜色的面部属性的颜色属性选项；用于基于亮度的面部属性的亮度属性选项；用于基于尺寸的面部属性的尺寸属性选项；用于基于形状的面部属性的形状属性选项。

本申请实施例，提供了更加智能和个性化的妆容选项。用户可以通过选择化妆工具来筛选相关的妆容素材，然后在浮层中浏览和选择附属妆容选项。这些附属妆容选项包含多种面部属性选项，例如颜色、亮度、尺寸和形状等，可以更好地满足用户的个性化需求。此外，还可以帮助用户更加直观地了解妆容效果。在浮层中，用户可以看到多个妆容选项，可以更直观地了解每种妆容的效果，从而更好地做出选择。最后，还提高了用户的使用体验。通过这种方式，用户可以更快地找到自己想要的妆容选项，节省时间和精力。这也使得用户更有可能使用该应用程序并享受使用体验，从而提高应用程序的用户满意度和忠诚度。

步骤S104，实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息。

实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息可以包括以下至少之一：实时采集所述用户对所述目标部位进行模拟化妆操作的动作轨迹；通过传感器实时采集所述用户对所述目标部位进行模拟化妆操作时的按压力度，其中，所述传感器设置在所述用户用于模拟化妆操作的模拟化妆仪上；实时采集所述用户对所述目标部位进行模拟化妆操作的图像，其中，所述图像包括景深信息。

具体地，可以通过设置在所述模拟化妆仪上的惯性传感器，实时检测所述模拟化妆仪的加速度信息和角速度信息，以获取所述动作轨迹；或者，可以通过设置在所述模拟化妆仪上的光学传感器，实时探测所述目标部位表面的变化，以获取所述动作轨迹；或者，可以通过设置在所述模拟化妆仪上的触摸装置，实时感知所述用户手指的移动和触碰位置，以推断出所述动作轨迹；或者，可以通过光学追踪元件，对所述模拟化妆仪进行实时图像捕捉和分析，以获取所述动作轨迹；或者，可以通过光学追踪元件，实时采集所述用户对目标部位进行模拟化妆操作的手势动作，以获取所述动作轨迹。

本实施提供了多种采集方式，包括使用惯性传感器、光学传感器、触摸装置以及光学追踪元件等。这样可以根据具体情况选择最适合的采集方式，以满足不同用户和应用场景的需求。

此外，通过实时采集用户对目标部位进行模拟化妆操作的化妆操作信息，本实施例能够准确还原用户的动作轨迹和按压力度。这有助于在虚拟化妆过程中实现对用户操作的准确还原，使用户能够获得更真实的化妆体验。而通过实时采集用户对目标部位进行模拟化妆操作的图像，其中包括景深信息，本实施例能够获取更多详细的化妆操作信息。景深信息可以提供关于物体距离和焦点的信息，从而更准确地呈现虚拟化妆效果。

步骤S106，基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

在所述化妆操作信息包括所述按压力度和所述动作轨迹的情况下，基于预先建立的所述按压力度和所述化妆工具的效果属性之间的映射关系，来确定所述按压力度对应的所述化妆工具的所述效果属性。基于所述效果属性、所述动作轨迹、和所述附属妆容选项，来生成所述目标部位的渲染数据。本实施例通过考虑按压力度和动作轨迹，可以确定化妆工具的效果属性。预先建立的按压力度和化妆工具效果属性的映射关系可以根据用户的操作进行动态调整，使得虚拟化妆的效果更加真实和准确。

在所述化妆操作信息包括所述景深信息和所述动作轨迹的情况下，基于所述景深信息确定所述模拟化妆仪与所述目标部位之间的距离；基于所述距离、所述动作轨迹、所述化妆工具和所述附属妆容选项，来生成所述目标部位的渲染数据。当化妆操作信息包括景深信息和动作轨迹时，本实施例可以根据景深信息确定模拟化妆仪与目标部位之间的距离。这有助于根据用户操作的距离远近进行合理的渲染，增强虚拟化妆的逼真感。

在所述化妆操作信息包括所述景深信息、所述动作轨迹和所述按压力度的情况下，基于所述景深信息确定所述模拟化妆仪与所述目标部位之间的距离；基于预先建立的所述距离、所述按压力度和所述化妆工具的效果属性之间的映射关系，来确定所述化妆工具的所述效果属性；基于所述效果属性、所述动作轨迹、和所述附属妆容选项，来生成所述目标部位的渲染数据。当化妆操作信息同时包括景深信息、动作轨迹和按压力度时，综合考虑这些信息，可以确定化妆工具的效果属性并生成目标部位的渲染数据。这使得虚拟化妆能够更全面地模拟用户的化妆操作，提供更准确的虚拟化妆效果。

在所述化妆操作信息仅包括所述按压力度或者仅包括景深信息或者仅包括动作轨迹的情况下，可以仅基于所述按压力度或者仅基于景深信息或者仅基于动作轨迹来生成目标部位的渲染数据。当化妆操作信息仅包括按压力度、景深信息或动作轨迹中的一种时，本实施例仍然可以根据具体情况仅基于这些信息生成目标部位的渲染数据。这种灵活性使得虚拟化妆系统能够根据可用的信息进行适应性渲染，仍然提供一定程度的虚拟化妆效果。

本实施例基于化妆操作信息、化妆工具和附属妆容选项，能够实时生成目标部位的渲染数据。这使得虚拟数字人能够准确地呈现用户所进行的化妆效果，实现实时的反馈和交互。

实施例2

本申请实施例提供了另一种虚拟化妆方法，如图2所示，该方法包括以下步骤：

步骤S202，提供化妆界面。

在智能镜子或者智能手机等终端设备上提供化妆界面，并在所述化妆界面设置用于装扮所述虚拟数字人的多个化妆工具，以便用户可以在其中进行化妆操作。

设置化妆工具。在化妆界面上，设置多个化妆工具，以供用户选择。这些化妆工具可以包括口红、腮红、眉毛、眼影、粉底等，可以提供化妆工具的图标或者实际图片，以便用户可以直观地了解化妆工具的种类和功能。每个化妆工具都可以定义其作用和属性。例如，口红的属性可以包括颜色、质地和透明度等。

显示化妆工具列表。在化妆界面中，可以将化妆工具以可视化的形式呈现给用户。可以将化妆工具以图标的形式显示在屏幕上，用户可以点击这些图标来选择所需的化妆工具。

提供帮助信息。在化妆界面中，可以提供化妆工具的相关信息和使用方法，以便用户了解化妆工具的具体作用和操作方法。例如，可以在每个化妆工具的旁边提供一个帮助按钮，点击按钮后可以弹出帮助窗口，展示详细的使用说明。

本实施例为用户提供了一个直观、易于使用的界面，让用户可以方便地选择和使用不同的化妆工具，从而实现对虚拟数字人的化妆操作。

步骤S204，提供附属妆容选项。

当用户触发了化妆工具后，系统会显示包含多个附属妆容选项的浮层，这些选项包括附属于所选化妆工具的妆容素材。

具体地，系统会根据用户选择的化妆工具来预先准备多个与该工具相对应的妆容素材，并将它们显示在浮层上。例如，如果用户选择了唇妆工具下的口红工具，则浮层上会显示多种颜色和质地的口红选项；如果用户选择了眼妆工具下的眼影工具，则浮层上会显示多种颜色和纹理的眼影选项。每个妆容选项都会用一个缩略图或者颜色样本来展示。

当浮层显示后，用户可以通过点击或者拖拽的方式选择一个妆容选项，系统会响应用户的选择，开始实时采集用户对目标部位进行模拟化妆操作的化妆操作信息。

步骤S206，实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息。

在用户通过触摸或选择动作在智能镜子或智能手机等终端设备上选择了化妆工具和附属妆容选项之后，用户可以选择使用模拟化妆仪来模拟在自己的脸上进行化妆操作，而不是使用真实的化妆工具。模拟化妆仪的形状可以类似于真实的口红、眉笔、粉底刷、唇刷等棒状物体或锥状物体。尽管上述举例中提到的常见工具通常是棒状物体或锥状物体，但本发明的实施例并不对工具的形状和类型进行限定。此外，在某些实施例中，用于触摸人脸的模拟化妆仪还可以是任何种类的化妆工具或手指等，只要能够检测到用户的手势动作即可。这种模拟化妆仪能够提供一种虚拟的化妆体验，使用户能够通过模拟操作在虚拟环境中完成化妆过程。

1)通过惯性传感器来确定动作轨迹。

具体而言，可以通过设置在模拟化妆仪上的惯性传感器来实时检测其加速度信息和角速度信息，以获取用户的动作轨迹。通过在模拟化妆仪上设置惯性传感器，可以实时检测模拟化妆仪的加速度信息和角速度信息，从而获取用户的动作轨迹。惯性传感器是一种能够测量物体加速度和角速度的传感器，它通常由加速度计和陀螺仪组成。当用户使用模拟化妆仪进行化妆操作时，惯性传感器会感知到模拟化妆仪的加速度和角速度变化。加速度信息反映了模拟化妆仪在三个空间维度上的运动状态，包括线性加速度和重力加速度。角速度信息则表示模拟化妆仪绕着不同轴旋转的速度。

通过实时检测惯性传感器的加速度信息和角速度信息，可以获取用户使用模拟化妆仪进行化妆操作的动作轨迹。例如，当用户在脸部上使用模拟化妆仪时，惯性传感器可以感知到模拟化妆仪的运动轨迹，包括移动的速度、方向和幅度。

基于惯性传感器提供的加速度信息和角速度信息，可以对用户的动作轨迹进行实时监测和分析。这使得模拟化妆仪能够准确捕捉用户的化妆操作，包括涂抹、描绘、晕染等动作，以便在虚拟化妆过程中进行准确的模拟和呈现。

本实施例通过设置在模拟化妆仪上的惯性传感器，可以实时检测加速度信息和角速度信息，进而获取用户的动作轨迹。这为实现精确的虚拟化妆体验提供了重要的数据支持，使用户能够在虚拟环境中模拟和控制化妆操作。

2)通过光学传感器来确定动作轨迹。

除了惯性传感器，还可以通过在模拟化妆仪上设置光学传感器来实时探测目标部位表面的变化，以获取用户的动作轨迹。光学传感器是一种能够感知光线变化并将其转换为电信号的传感器。

当用户使用模拟化妆仪进行化妆操作时，光学传感器可以感知到目标部位表面的变化。光学传感器通过检测反射、散射或吸收的光线变化来感知物体的位置、形状和运动。通过分析传感器接收到的光信号，可以获取用户在目标部位上的动作轨迹。

在使用光学传感器的情况下，模拟化妆仪的表面通常包含一个或多个光学传感器。这些传感器可以放置在模拟化妆仪的尖端或其他合适的位置，以确保能够准确地感知目标部位的变化。

当用户在脸部上使用模拟化妆仪时，光学传感器还可以探测到目标部位表面的变化，例如颜色、纹理或亮度的改变。通过分析传感器捕捉到的光信号变化，可以识别用户的化妆动作轨迹，包括移动、绘制、涂抹等操作。

利用光学传感器实时探测目标部位表面的变化，可以实现对用户化妆操作的高精度跟踪。这使得模拟化妆仪能够准确地模拟用户的化妆动作，并在虚拟环境中实时呈现化妆效果。

综上所述，通过在模拟化妆仪上设置光学传感器，可以实时探测目标部位表面的变化，以获取用户的动作轨迹。这为虚拟化妆技术提供了另一种高效而准确的数据获取方式，为用户提供更逼真的虚拟化妆体验。

3)通过触摸装置来确定动作轨迹。

除了惯性传感器和光学传感器，还可以通过在模拟化妆仪上设置触摸装置来实时感知用户手指的移动和触碰位置，从而推断出用户的动作轨迹。触摸装置是一种能够感应和记录用户触摸行为的技术。

当用户使用模拟化妆仪进行化妆操作时，触摸装置可以感知用户手指在模拟化妆仪表面的移动和触碰位置。触摸装置通常由一组传感器或电容层构成，可以检测到用户手指的接触和压力。

通过实时监测触摸装置上的手指移动和触碰位置，可以推断出用户的动作轨迹。当用户在模拟化妆仪上滑动、点击或按压时，触摸装置会记录下手指的动作轨迹和触碰位置的变化。这些数据可以被分析和处理，以还原用户的化妆动作。

利用触摸装置实时感知用户手指的移动和触碰位置，可以实现对用户化妆操作的精确跟踪和模拟。无论是绘制眉毛、涂抹唇膏还是上粉底，触摸装置都能够捕捉到用户手指的细微移动和触碰，以精确还原用户的动作轨迹。

此外，触摸装置还可以识别手指的压力变化。通过触摸装置感知到的压力信息，可以更准确地模拟用户的化妆力度和效果。

综上所述，通过在模拟化妆仪上设置触摸装置，可以实时感知用户手指的移动和触碰位置，从而推断出用户的动作轨迹。这为虚拟化妆提供了一种直接而灵活的交互方式，使用户能够通过模拟操作在虚拟环境中完成化妆过程，并获得高度个性化的化妆体验。

4)通过光学追踪元件来确定动作轨迹。

此外，还可以使用光学追踪元件对模拟化妆仪进行实时图像捕捉和分析，以获取用户的动作轨迹。即使用户没有使用模拟化妆仪，而是直接使用手指进行模拟化妆，仍然可以通过相机采集用户的图像来确定手指的动作轨迹，并进一步获取有关化妆操作的信息。

通过相机采集用户的图像，可以利用计算机视觉技术对图像进行处理和分析，从而确定手指在面部的位置和动作轨迹。可以使用图像处理算法来提取手指的特征点或轮廓，并跟踪其在图像中的位置变化。通过连续采集和分析图像序列，可以还原用户手指在面部的运动轨迹。

此外，通过对采集的图像进行深度分析，还可以确定景深信息。景深信息提供了关于图像中不同部位的距离和焦点的信息。通过分析图像中的景深，可以推断出用户手指在面部的距离变化和不同部位的焦点位置。这些信息对于准确模拟化妆操作和呈现虚拟化妆效果非常重要。

综上所述，利用光学追踪元件和相机采集的图像，可以确定用户手指的动作轨迹和面部的景深信息，从而实现对用户模拟化妆操作的准确捕捉和还原。这可以为用户提供更自然、沉浸式的虚拟化妆体验，并提供更精确的化妆效果展示和建议。并且，可以避免使用模拟化妆仪，从而能够节省成本。

步骤S208，判断动作轨迹是否落在目标区域。

为了实现识别用户的面部并检测动作轨迹是否落在面部的目标区域，可以利用计算机视觉技术来进行人脸检测和定位。现有的人脸检测算法，如OpenCV和Dlib，可以用于识别用户的面部。

一旦识别出用户的面部，需要为每个目标区域定义相应的位置。这可以通过使用人脸关键点检测算法来实现。这些算法能够检测面部的各个关键点，例如眼睛、嘴巴、鼻子等，从而为每个部位定义一个目标区域。

接下来，可以检测动作轨迹是否落在目标区域内。这可以通过应用计算机图形学中的射线跟踪技术来实现。该技术能够追踪从相机到场景中物体表面的光线，并判断该光线是否与目标区域相交。如果光线与目标区域相交，即说明动作轨迹落在目标区域内。

通过利用计算机视觉技术识别用户的面部部位，并为每个目标区域定义相应位置，然后通过检测动作轨迹是否落在目标区域内，可以减少误操作到不相关区域的风险。

综上所述，利用计算机视觉技术识别用户的面部，定义目标区域，并检测动作轨迹是否落在目标区域内，可以提高化妆工具的准确性、精度和用户体验。

在检测到动作轨迹落在目标区域的情况下，执行步骤S210，否则，执行步骤S208。

步骤S210，判断所选化妆工具与目标区域是否匹配。

在检测到动作轨迹落在目标区域的情况下，进一步判断所选化妆工具与目标区域是否匹配。例如，如果选择的是口红工具，但运动轨迹却落在了眼睛所在的目标区域，则判定化妆工具与目标区域不匹配，只有落在了唇部所在的目标区域，才可以判定化妆工具与目标区域相匹配。如果动作轨迹未在唇部区域内，则可以提示用户将模拟化妆仪或手指移动到正确的区域内。这样可以提高用户对所选化妆工具和目标区域是否匹配的判断能力，并提高化妆效果的准确性。

本实施例通过进一步判断所选化妆工具与目标区域是否匹配，可以避免用户错误地将化妆工具应用于错误的面部区域，从而导致化妆效果不理想。此外，当动作轨迹未落在正确的区域时，提示用户将工具移动到正确的区域内，可以帮助用户更加准确地控制化妆工具，从而提高化妆效果的准确性和可靠性。

在检测到所选化妆工具与目标区域匹配的情况下，执行步骤S212，否则，执行步骤S208。

步骤S212，基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

在所述化妆操作信息包括所述按压力度和所述动作轨迹的情况下，可以利用预先建立的按压力度和化妆工具效果属性之间的映射关系来确定所述按压力度对应的化妆工具的效果属性。映射关系可以根据实验数据和用户反馈进行建立和优化，以确保按压力度能够准确地反映出所需的化妆效果。

通过分析所述按压力度和所述动作轨迹，结合预先建立的映射关系，可以确定所需的化妆工具的效果属性，例如化妆品的浓淡程度、颜色的饱和度等。这样，系统就能够根据用户的操作，自动调整化妆工具的效果属性，以满足用户的个性化需求。

基于所述效果属性、所述动作轨迹和所述附属妆容选项，可以生成所述目标部位的渲染数据。系统可以根据用户选择的附属妆容选项，结合所需的效果属性和动作轨迹，对目标部位进行相应的渲染处理。例如，可以基于以下公式实时生成渲染数据：

其中，R表示渲染数据，代表最终生成的目标部位的渲染结果；i是外部求和符号的索引，表示对动作轨迹函数的求和；j是内部求和符号的索引，表示对时间的求和；t是时间变量，表示时间；amax是时间范围，表示动作轨迹函数的时间区间。T(B_i(t),t_j)是动作轨迹函数的权重，表示动作轨迹在某个时间点的影响。xmen是空间变量，表示空间位置。A(D_i(x,t),t_j)是效果属性函数的权重，表示效果属性在某个时间点和空间位置的影响；k是内部求积符号的索引，表示对附属妆容选项函数和光照条件函数的求积。O(E_k(x,t),t_j)是附属妆容选项函数的权重，表示附属妆容选项在某个时间点和空间位置的影响。L(F_k(u,t),t_j)是光照条件函数的权重，表示光照条件在某个时间点和空间位置的影响。unmin是光照条件变量，表示光照条件的范围。G(x,t)是光照和材质属性之间的关系函数，表示光照和材质属性之间的相互作用。是梯度算子，表示对光照和材质属性关系函数的梯度运算；x表示横坐标，u表示纵坐标。这样，用户就能够在虚拟化妆过程中看到实时的效果呈现，可以根据自己的喜好和需求进行微调和修改。

通过上述方法，具有以下有益效果：

1)本申请考虑了动作轨迹、效果属性、附属妆容选项和光照条件等多个因素，这样可以更全面地模拟化妆过程，提供更准确、逼真的渲染数据。

2)通过动作轨迹、效果属性和附属妆容选项等参数的权重调节，可以根据不同用户的操作习惯和个性化需求生成相应的渲染结果。这样可以满足用户对个性化化妆效果的需求，提升用户体验。

3)本申请考虑了光照条件和材质属性之间的关系，通过光照条件的权重和光照和材质属性关系函数的梯度运算，可以更准确地模拟光照对渲染结果的影响，增强渲染数据的逼真度。

4)本申请引入的时间和空间变量使得渲染结果可以根据时间和空间位置的变化而变化。这样可以模拟出随时间推移和不同空间位置下的化妆效果变化，增加渲染数据的动态性和真实感。

5)本申请能够更精确地模拟用户的化妆过程，提供逼真的渲染数据，满足用户的个性化需求，并提升虚拟化妆系统的可靠性和用户体验。

综上，本申请通过基于按压力度和动作轨迹的效果属性确定以及与附属妆容选项的结合，能够提供更加个性化、精准的虚拟化妆体验。用户可以根据自己的喜好和需求调整化妆工具的效果属性，同时能够实时观察和评估化妆效果的渲染结果。这为用户提供了更大的自主性和参与度，同时也提高了虚拟化妆系统的用户满意度和使用体验。

实施例3

本申请实施例提供了又一种虚拟化妆方法，如图3所示，该方法包括以下步骤：

步骤S302，定义评估标准。

事先定义评估标准，为虚拟数字人的化妆效果分配一个评分。评估标准可以包括化妆效果的自然度、色彩的准确性、遮盖能力、准确性、细节和光照效果等面部属性。这些评估标准可以根据用户的个性化需求进行调整，以便为用户提供更好的数字化妆服务。

步骤S304，对虚拟数字人的面部特征点进行检测和提取。

获取虚拟数字人的面部图像。在数字化妆应用中，虚拟数字人的面部图像可以通过计算机图形学技术生成的。

使用计算机视觉技术检测虚拟数字人面部的关键特征点。计算机视觉技术可以对面部图像进行分析和处理，检测面部的关键特征点，比如眉毛、眼睛、嘴巴、鼻子等等。这些特征点可以用来描述面部的形状和结构，并用于后续的面部表情分析、化妆效果评估等任务。

提取关键特征点的坐标信息。检测到关键特征点之后，计算机视觉系统可以提取这些特征点的坐标信息，以便进行后续的计算和分析。通常情况下，这些坐标信息是以二维或三维坐标的形式进行表示的。

将特征点坐标信息存储在数据库中。为了方便后续的使用和管理，计算机视觉系统将提取的关键特征点的坐标信息存储在数据库中。这些数据可以用于后续的面部表情分析、化妆效果评估等任务。

步骤S306，获取真实人脸照片的化妆操作信息。

对真实人脸照片进行处理，提取化妆操作信息，包括化妆品种类、颜色、涂抹位置、涂抹厚度等等。这些信息可以通过计算机视觉技术和图像处理技术进行提取和分析。

步骤S308，将化妆操作信息应用于虚拟数字人的面部特征点上。

将前面获取的真实人脸照片的化妆操作信息应用到虚拟数字人的面部特征点上，模拟真实的化妆效果。比如，如果真实人脸照片上涂抹了红色口红，那么计算机视觉系统就会在虚拟数字人的嘴唇处模拟涂抹红色口红的效果。

例如，可以采用以下公式将化妆操作信息应用于虚拟数字人的面部特征点上：

其中，Fmakeup表示最终的化妆效果图像，a_base表示虚拟数字人的原始面部图像的权重系数，Ibase表示虚拟数字人的原始面部图像，n表示面部区域的个数，a_i表示面部区域的权重系数，Ii表示真实人脸照片的某个面部区域的图像，Mi表示该面部区域的化妆效果掩码图像。

通过上述方法，有助于计算机视觉系统更加准确地模拟化妆效果，增强了虚拟数字人的真实感和可信度。此外，可以快速地将真实人脸照片上的化妆效果应用到虚拟数字人的面部特征点上，提高了计算效率和处理速度。同时，还可以让用户更加方便地尝试不同的化妆风格，提高用户体验和购买转化率。

步骤S310，通过化妆界面进一步装饰虚拟数字人。

具体请参见实施例1或2中的描述，此处不再赘述。

步骤S312，评估虚拟数字人的化妆效果。

在这个步骤中，计算机视觉系统分析虚拟数字人的化妆效果，并给出相应的评估结果。这些评估结果通常可以包括化妆品的适合程度、化妆品的涂抹效果、化妆品的颜色搭配效果等等。计算机视觉系统可以根据一定的算法和规则来对化妆效果进行评估，并给出相应的得分或建议。

根据上述评估结果，生成相应的化妆效果评估报告。该报告可以包括虚拟数字人的化妆效果得分、化妆品适合程度、涂抹效果、颜色搭配效果等等。将化妆效果评估报告反馈给用户，让用户了解自己的化妆效果，并提供相应的建议和参考。

根据用户反馈进行调整。用户可以根据化妆效果评估报告提供的建议和参考，进行相应的调整和改进。比如，如果化妆效果得分较低，用户可以根据报告提供的建议和参考，重新涂抹化妆品，改善化妆效果。

具体地，假设化妆效果评估结果包括三个指标：适合程度(A)、涂抹效果(B)和颜色搭配效果(C)，每个指标分别在0到1之间评分，其中1表示最佳表现，0表示最差表现。每个指标对于总体评分的权重可能不同，可以使用权重系数(wA，wB和wC)进行调整。则化妆效果评估总得分(S)可以计算为：

S＝wA*A+wB*B+wC*C

其中，wA+wB+wC＝1，且wA、wB、wC的值可以根据需要进行调整。

例如，如果涂抹效果对于总体评分的重要性更高，可以将wB设置为0.5，而wA和wC设置为0.25。这样，涂抹效果的表现将占总体评分的一半，而适合程度和颜色搭配效果则各占总体评分的四分之一。

此外，化妆效果评估报告可以包括更详细的信息，例如每个指标的具体得分和建议。例如，针对涂抹效果，可以提供以下建议，如改变涂抹手法或使用不同的化妆工具，以改善涂抹效果。针对颜色搭配效果，可以提供以下建议，如选择与肤色相配的颜色或使用更适合的化妆品品牌。这些详细信息可以帮助用户更好地了解自己的化妆效果，并提供改进方向。

本实施例将化妆效果评估报告反馈给用户，让用户了解自己的化妆效果，并提供相应的建议和参考，帮助用户提升化妆技巧和效果。

实施例4

本申请实施例提供了一种虚拟化妆装置，如图4所示，包括选择模块42、采集模块44和生成模块46。

选择模块42被配置为响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所选化妆工具的妆容素材；采集模块44，被配置为实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；生成模块46，被配置为基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

需要说明的是：上述实施例提供的虚拟化妆装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的虚拟化妆装置与虚拟化妆方法实施例属于同一构思，其具体实现过程详见方法实施例，此处不再赘述。

实施例5

本申请实施例提供了一种虚拟化妆系统，如图5所示，虚拟化妆系统100可以包括终端设备例如第一终端设备101、第二终端设备102、第三终端设备103中的一个或多个、网络104、模拟化妆仪106、和服务器105。其中，终端设备相当于虚拟化妆装置。

网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏的各种电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的化妆方法一般由终端设备执行，相应地，化妆装置一般设置于终端设备中。但本领域技术人员容易理解的是，本公开实施例所提供的化妆装置也可以由服务器105和终端设备共同执行，例如，化妆装置的界面呈现部可以设置于第一终端设备101、第二终端设备102、第三终端设备103中，而化妆装置的数据处理部可以设置于服务器105中，本示例性实施例中对此不做特殊限定。

在一些示例性实施例中，可以是用户通过第一终端设备101、第二终端设备102、第三终端设备103上的应用程序对虚拟数字人进行化妆交互，服务器105通过本公开实施例所提供的化妆系统，生成化妆后的虚拟数字人，并将虚拟数字人发送给第一终端设备101、第二终端设备102、第三终端设备103等。第一终端设备101、第二终端设备102、第三终端设备103可以本地直接呈现服务器105渲染好的虚拟数字人。

实施例6

图6示出了适于用来实现本公开实施例的电子设备的结构示意图。需要说明的是，图6示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，该电子设备包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法和装置中限定的各种功能。在一些实施例中，电子设备还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现上述方法实施例的各个步骤等。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (9)

1.一种虚拟化妆方法，其特征在于，包括：

响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所述化妆工具的妆容素材；

实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；

基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

2.根据权利要求1所述的方法，其特征在于，实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息，包括以下至少之一：

实时采集所述用户对所述目标部位进行模拟化妆操作的动作轨迹；

通过传感器实时采集所述用户对所述目标部位进行模拟化妆操作时的按压力度，其中，所述传感器设置在所述用户用于模拟化妆操作的模拟化妆仪上；

实时采集所述用户对所述目标部位进行模拟化妆操作的图像，其中，所述图像包括景深信息。

3.根据权利要求2所述的方法，其特征在于，实时采集所述用户对所述目标部位进行模拟化妆操作的动作轨迹，包括以下至少之一：

通过设置在所述模拟化妆仪上的惯性传感器，实时检测所述模拟化妆仪的加速度信息和角速度信息，以获取所述动作轨迹；

通过设置在所述模拟化妆仪上的光学传感器，实时探测所述目标部位表面的变化，以获取所述动作轨迹；

通过设置在所述模拟化妆仪上的触摸装置，实时感知所述用户手指的移动和触碰位置，以推断出所述动作轨迹；

通过光学追踪元件，实时采集所述用户对所述目标部位进行模拟化妆操作的图像，以获取所述动作轨迹。

4.根据权利要求2所述的方法，其特征在于，基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，包括：

在所述化妆操作信息包括所述按压力度和所述动作轨迹的情况下，基于预先建立的所述按压力度和所述化妆工具的效果属性之间的映射关系，来确定所述按压力度对应的所述化妆工具的所述效果属性；

基于所述效果属性、所述动作轨迹、和所述附属妆容选项，来生成所述目标部位的渲染数据。

5.根据权利要求2所述的方法，其特征在于，基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，包括：

在所述化妆操作信息包括所述景深信息和所述动作轨迹的情况下，基于所述景深信息确定所述模拟化妆仪与所述目标部位之间的距离；

基于所述距离、所述动作轨迹、所述化妆工具和所述附属妆容选项，来生成所述目标部位的渲染数据。

6.根据权利要求2所述的方法，其特征在于，基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，包括：

在所述化妆操作信息包括所述景深信息、所述动作轨迹和所述按压力度的情况下，基于所述景深信息确定所述模拟化妆仪与所述目标部位之间的距离；

基于预先建立的所述距离、所述按压力度和所述化妆工具的效果属性之间的映射关系，来确定所述化妆工具的所述效果属性；

基于所述效果属性、所述动作轨迹、和所述附属妆容选项，来生成所述目标部位的渲染数据。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述附属妆容选项包括以下至少之一：用于基于颜色的面部属性的颜色属性选项；用于基于亮度的面部属性的亮度属性选项；用于基于尺寸的面部属性的尺寸属性选项；用于基于形状的面部属性的形状属性选项。

8.一种虚拟化妆装置，其特征在于，包括：

选择模块，被配置为响应于检测到用户触发的化妆请求，获取所述用户选择的化妆工具和附属于所述化妆工具的附属妆容选项，其中，所述附属妆容选项包含附属于所述化妆工具的妆容素材；

采集模块，被配置为实时采集所述用户对目标部位进行模拟化妆操作的化妆操作信息；

生成模块，被配置为基于所述化妆操作信息、所述化妆工具和所述附属妆容选项，生成所述目标部位的渲染数据，并将所述渲染数据叠加渲染到虚拟数字人的相应部位。

9.一种虚拟化妆系统，其特征在于，包括：

模拟化妆仪，被配置为能够在用户的操作下在目标部位进行模拟化妆操作；

如权利要求8所述的虚拟化妆装置，被配置基于所述模拟化妆操作来呈现化妆后的虚拟数字人。