CN112954206B - 一种虚拟妆容的显示方法、系统、装置及其存储介质 - Google Patents

Abstract

本申请涉及一种虚拟妆容的显示方法、系统、装置及其存储介质，方法包括如下步骤：操作目标触发用于选取目标物的选取指令；处理器在选取指令被触发后通过拍摄装置获取操作目标的图像作为第一图像，通过显示屏显示第一图像；处理器根据预设模板从触发目标的图像上匹配出并确定渲染区域，其中，预设模板与选取指令相关联，触发目标图像上在渲染区域的图像与预设模板相关联；处理器获取与预设模板关联的变更模板，使用变更模板覆盖并结合至第一图像中渲染区域的图像上形成第二图像，通过显示屏显示第二图像。本申请具有让参展者在化妆品展柜前试妆，降低负责人员工作量的效果。

Description

一种虚拟妆容的显示方法、系统、装置及其存储介质

技术领域

本申请涉及展览展示的领域，尤其是涉及一种虚拟妆容的显示方法、系统、装置及其存储介质。

背景技术

目前，在展会上展示化妆品的方法是将化妆品陈列在化妆品展示柜中，化妆品展示柜设有多层隔板，每层隔板上均匀陈列了多种化妆品，化妆品展示柜滑移连接有透明的玻璃隔板，玻璃隔板避免外界物体意外接触到化妆品，同时也给化妆品隔离出一个合适的存放区域。

基于现有的化妆品展示柜，参展人员想要试用展示的化妆品时，需要通过负责化妆品展示柜的人员打开化妆品展示柜，拿出对应的化妆品进行试用，试用完后，负责人员需要将使用的化妆品进行处理，如，将试用后的口红削去处理部分，然后再放回原处。

针对上述中的相关技术，发明人认为在展会上，若是有多名参展人员需要试用同一个化妆品时，负责人员只能让多名参展人员排队使用该化妆品，且每名参展人员试用完后，负责人员均需要对该化妆品进行处理，存在有试妆不方便的缺陷。

发明内容

为了便于让参展者在化妆品展柜前试妆，降低负责人员的工作量，本申请提供一种虚拟妆容的显示方法、系统、装置及其存储介质。

第一方面，本申请提供一种虚拟妆容的显示方法，采用如下的技术方案：

一种虚拟妆容的显示方法，包括如下步骤：

操作目标触发用于选取目标物的选取指令；

处理器在所述选取指令被触发后通过拍摄装置获取所述操作目标的图像作为第一图像，通过显示屏显示所述第一图像；

处理器根据预设模板从所述触发目标的图像上匹配出并确定渲染区域，其中，所述预设模板与所述选取指令相关联，所述触发目标图像上在所述渲染区域的图像与所述预设模板相关联；以及

处理器获取与所述预设模板关联的变更模板，使用所述变更模板覆盖并结合至所述第一图像中所述渲染区域的图像上形成第二图像，通过显示屏显示所述第二图像。

通过采用上述技术方案，操作目标触发选取指令后，处理器控制拍摄装置对操作目标进行拍照，获取照片后，根据预设模板从照片中确定渲染区域，例如预设模板为嘴唇形状，渲染区域为操作目标的嘴唇区域，处理器再根据获取的变更模板改变渲染区域，例如变更模板为红色像素，将嘴唇区域覆盖为红色区域与原渲染区域颜色的结合，不是简单的使用变更模板完全遮挡渲染区域的图像，而是使用结合的方式，更好地模拟人的状态的实际成像，提高仿真度，无需人进行实际的化妆操作。

优选的，还包括如下步骤：

处理器通过拍摄装置重新获取所述触发目标的图像作为第三图像；

处理器根据所述预设模板从所述第三图像上匹配出并确定渲染区域；

处理器使用所述变更模板覆盖并结合至所述第三图像中所述渲染区域的图像上形成第四图像；以及，

处理器计算第一图像与第三图像中所有对应像素值之间的差值，求得所有差值之和的绝对值，根据所述绝对值增强显示所述第四图像中所述渲染区域的图像，并弱化显示所述第四图像中所述渲染区域外的图像，通过显示屏显示所述第四图像。

通过采用上述技术方案，处理器再拍一次操作目标的图像作为第三图像，第三图像经过处理后得到第四图像，第四图像的渲染区域的成像含有三层，第一层为拍摄的操作目标实体的原始图像，第二层含有变更模板通过显示屏显示后其光线在操作目标实体上的成像，第三层为结合的变更模板，使得变更模板对操作目标实体的对应部位呈现逐步形成妆容，进一步更好地模拟人的状态的实际成像，提高仿真度，无需操作目标进行实际的化妆操作。

优选的，所述处理器控制投射式显示装置投射所述变更模板至所述操作目标上与所述渲染区域对应的目标部位；

在所述目标部位放置半透半反射镜；

以及，所述目标部位依次通过所述半透半反射镜成像与所述拍摄装置，被拍摄至所述第二图像中。

通过采用上述技术方案，半透半反射镜能够将一部分投射变更模板的光线返回至拍摄装置中，使一部分投射变更模板的光线通过至操作目标上，然后被拍摄装置拍到，能够使成像的内容包括了直接反射的光学成像和漫反射的光学成像，能够凸显变更模板在人体上的成像，进一步更好地模拟人的状态的实际成像，提高仿真度，无需操作目标进行实际的化妆操作。

优选的，所述半透半反射镜中反射部位的面积小于透明部位的面积。

通过采用上述技术方案，反射的光线中，直接反射的光线比重小于漫反射的光线的比重，避免在拍摄图像中出现强烈的光斑，也是变更模板光线的颜色与操作目标结合的更柔和，降低成像的生硬感。

优选的，还包括：

所述半透半反射镜包括面积可调的直接反射区与漫反射区；

所述拍摄装置上设有测距装置，所述处理器通过所述测距装置获取所述操作目标距离所述拍摄装置的距离；

所述处理器控制所述半透半反射镜，将所述直接反射区与所述漫反射区域的比重与所述操作目标距离所述拍摄装置的距离呈正相关设置。

通过采用上述技术方案，随着操作目标与拍摄装置之间距离的变化，操作目标与拍摄装置之间的距离越远，其变更模板呈现的像越小，且成像的光线越容易受到外界环境与硬件设备的干扰，而增加直接反射区的比重，则能提高光线的成像效果，利于保证拍摄效果。

第二方面，本申请提供一种虚拟妆容的显示系统，采用如下的技术方案：

一种虚拟妆容的显示系统，包括处理器：

输入装置，与所述处理器数据连接，用于接收或者触发用于选取目标物的选取指令；

拍摄装置，与所述处理器数据连接，用于拍摄照片；以及，

显示屏，与所述处理器数据连接，用于显示图像；

操作目标通过所述输入装置触发用于选取目标物的选取指令；

处理器在所述选取指令被触发后通过拍摄装置获取所述操作目标的图像作为第一图像，通过显示屏显示所述第一图像；

处理器根据预设模板从所述触发目标的图像上匹配出并确定渲染区域，其中，所述预设模板与所述选取指令相关联，所述触发目标图像上在所述渲染区域的图像与所述预设模板相关联；以及

处理器获取与所述预设模板关联的变更模板，使用所述变更模板覆盖并结合至所述第一图像中所述渲染区域的图像上形成第二图像，通过显示屏显示所述第二图像。

通过采用上述技术方案，输入装置接收人的操作，向处理器发送选取指令，处理器通过拍摄装置对人进行拍照，然后根据选取指令选择出人对应的部位，再用变更模板将照片上与人对应部位的区域进行渲染，模拟化妆的效果。

优选的，所述处理器通过拍摄装置重新获取所述触发目标的图像作为第三图像；

处理器根据所述预设模板从所述第三图像上匹配出并确定渲染区域；

处理器使用所述变更模板覆盖并结合至所述第三图像中所述渲染区域的图像上形成第四图像；以及，

处理器计算第一图像与第三图像中所有对应像素值之间的差值，求得所有差值之和的绝对值，根据所述绝对值增强显示所述第四图像中所述渲染区域的图像，并弱化显示所述第四图像中所述渲染区域外的图像，通过显示屏显示所述第四图像。

通过采用上述技术方案，处理器在第二图像之后重复拍摄图像作为第三图像，处理器处理第三图像得到第四图像，第四图像的渲染区域的成像含有三层，第一层为拍摄的操作目标实体的原始图像，第二层含有变更模板通过显示屏显示后其光线在操作目标实体上的成像，第三层为结合的变更模板，三层结合能大幅度地提高妆容的仿真度。

优选的，所述处理器控制投射式显示装置投射所述变更模板至所述操作目标上与所述渲染区域对应的目标部位；

在所述目标部位放置半透半反射镜；

所述目标部位依次通过所述半透半反射镜成像与所述拍摄装置，被拍摄至所述第二图像中；

所述半透半反射镜中反射部位的面积小于透明部位的面积；

所述半透半反射镜包括面积可调的直接反射区与漫反射区；

所述拍摄装置上设有测距装置，所述处理器通过所述测距装置获取所述操作目标距离所述拍摄装置的距离；

所述处理器控制所述半透半反射镜，将所述直接反射区与所述漫反射区域的比重与所述操作目标距离所述拍摄装置的距离呈正相关设置。

通过采用上述技术方案，使用透光率能变化的半透板反射镜，半透板反射镜的透光率能被控制器控制，控制器通过距离传感器检测人与拍摄装置的距离，并控制半透板反射镜的透光率随着操作目标与拍摄装置之间距离的变化；操作目标与拍摄装置之间的距离越远，其变更模板呈现的像越小，且成像的光线越容易受到外界环境与硬件设备的干扰，而增加直接反射区的比重，则能提高光线的成像效果，利于保证拍摄效果。

第三方面，本申请提供一种虚拟妆容的显示装置，采用如下的技术方案：

一种虚拟妆容的显示装置，包括有上述的虚拟妆容的显示系统。

第四方面，本申请提供一种计算机存储介质，采用如下的技术方案：

一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种虚拟妆容的显示方法的计算机程序。

附图说明

图1是本申请虚拟妆容的显示方法的方法流程示意图；

图2是本申请虚拟妆容的显示系统的系统结构框图；

图3是本申请虚拟妆容的显示系统中半透半反射镜的结构示意图。

附图标记：1、处理器；2、输入装置；3、拍摄装置；4、显示屏；5、测距装置；6、半透半反射镜；61、直接反射区；62、漫反射区。

具体实施方式

以下结合附图1-3对本申请作进一步详细说明。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例公开一种虚拟妆容的显示方法，如图1与图2所示，包括如下步骤：

操作目标触发用于选取目标物的选取指令。操作目标可参照人员，其通过输入装置2来触发选取指令，输入装置2可采用键盘、鼠标、语音识别装置、手势识别装置或者触摸屏，用于在已经显示图像信息或者文字信息的界面上选取目标物，显示图像信息或者文字信息的界面位于显示屏4上。

处理器1在选取指令被触发后通过拍摄装置3获取操作目标的图像作为第一图像，通过显示屏4显示第一图像。拍摄装置3可采用彩色摄像头或者是内置在显示屏4上方的前置摄像头，前置摄像头也为彩色摄像头，拍摄装置3用于拍摄站在显示屏4前操作的人的图像。拍摄装置3还对齐设有测距装置5，测距装置5可采用超声波测距模块或者激光测距模块，用于检测站在显示屏4前操作的人与显示屏4之间的距离。拍摄装置3与测距装置5生成的数据均通过有线或者无线的传输方式传输至处理器1。

处理器1根据预设模板从触发目标的图像上匹配出并确定渲染区域，其中，预设模板与选取指令相关联，触发目标图像上在渲染区域的图像与预设模板相关联。处理器1获取与预设模板关联的变更模板，使用变更模板覆盖并结合至第一图像中渲染区域的图像上形成第二图像，通过显示屏4显示第二图像。预设模板可采用为嘴唇形状，渲染区域为操作目标的嘴唇区域，处理器1再根据获取的变更模板改变渲染区域，例如变更模板为红色像素，第二图像为嘴唇区域添加红色像素的人像。另外的，预设模板可采用为脸颊形状，渲染区域为操作目标的脸颊区域，处理器1再根据获取的变更模板改变渲染区域，例如变更模板为淡粉红色像素，第二图像为脸颊区域添加淡粉红色像素的人像。

处理器1通过拍摄装置3重新获取触发目标的图像作为第三图像。第三图像是人站在自己图像面前，然后拍摄的出来的，此时人的脸上会反射部分显示屏4发出的光线，因此第三图像中含有部分不需要的光线成分的成像。

处理器1根据预设模板从第三图像上匹配出并确定渲染区域，虽然第三图像中含有部分不需要的光线成分的成像，但是其不影响处理器1使用模板匹配法或者卷积神经网络算法匹配出渲染区域并进行标记。

处理器1使用变更模板覆盖并结合至第三图像中渲染区域的图像上形成第四图像。此时变更模板会覆盖并结合在第三图像上生成第四图像，此时第四图像的渲染区域的成像含有三层，第一层为拍摄的操作目标实体的原始图像，第二层含有变更模板通过显示屏4显示后其光线在操作目标实体上的成像，第三层为结合的变更模板。

处理器1计算第一图像与第三图像中所有对应像素值之间的差值，求得所有差值之和的绝对值，根据绝对值增强显示第四图像中渲染区域的图像，并弱化显示第四图像中渲染区域外的图像，通过显示屏4显示第四图像。渲染区域外的差值为不需要的光线成分的成像数据，渲染区域内的差值为第二层与第三层的成像数据。两个区域的差值之和的绝对值代表了不需要的光线成分的成像数据以及第二层与第三层的成像数据对第一图像的影响值，通过影响值来增强第四图像中渲染区域的图像，并弱化第四图像中渲染区域外的图像，达到图像更逼近与化妆的效果。化妆是在皮肤表面涂抹，其成像为光线反射的原理，而图像显示的成像原理为产生对应颜色光线的原理，而在拍摄以及显示图像的过程中会存在对应的光线损耗或者色差，上述方法可以从结果上，弥补部分光线损耗与色差，提高妆容显示的逼真程度。

处理器1控制投射式显示装置投射变更模板至操作目标上与渲染区域对应的目标部位。投射式显示装置可采用激光投射器或者微型投影仪，投影图像的形状可通过滤镜、墨水屏、透光彩显屏或者图形数据控制。若使用滤镜控制，则内置多种预设形状的滤镜，其形状适应不同人的适应性不够好；若使用墨水屏控制，则在墨水屏上显示多种预设形状的图案，其形状适应不同人的适应性较好；若使用透光彩显屏控制，则在透光彩显屏上显示多种预设形状的彩色图案，其形状适应不同肤色的人的适应性较好。若使用图像数据控制投射出来的图像，则对投射式显示装置的要求较高。

如图2与图3所示，在目标部位放置半透半反射镜6，半透半反射镜6中反射部位的面积小于透明部位的面积。目标部位依次通过半透半反射镜6成像与拍摄装置3，被拍摄至第二图像中。半透半反射镜6的周缘一体设置有透明材质制成的握持杆，人通过拿住握持杆将半透半反射镜6放置在目标部位。若预设模板为嘴唇，则目标部位为嘴唇。

半透半反射镜6包括面积可调的直接反射区61与漫反射区62，半透半反射镜6的中间部位转动连接有多个相互联动的反射镜，反射镜的一端传动连接有微型电机，微型电机内置驱动电路，驱动电路受控连接有微型控制器，微型控制器电连接有第一无线传输模块用于与处理器1通讯，此时，处理器1电连接有第二无线传输模块，第二无线传输模块与第一无线传输模块配对。处理器1通过测距装置5获取操作目标距离拍摄装置3的距离。

处理器1控制半透半反射镜6上的直接反射区61与漫反射区62，将直接反射区61与漫反射区62域的比重与操作目标距离拍摄装置3的距离呈正相关设置。反射的光线中，直接反射的光线比重小于漫反射的光线的比重，避免在拍摄图像中出现强烈的光斑，也是变更模板光线的颜色与操作目标结合的更柔和，降低成像的生硬感。随着操作目标与拍摄装置3之间距离的变化，操作目标与拍摄装置3之间的距离越远，其变更模板呈现的像越小，且成像的光线越容易受到外界环境与硬件设备的干扰，而增加直接反射区61的比重，则能提高光线的成像效果，利于保证拍摄效果。

实施原理为：需要进行模拟妆容的人通过输入装置2触发选取指令，处理器1接收选取指令后，控制拍摄装置3对人进行拍照。处理器1获取照片后作为第一图像。处理器1内部存储了选取指令与预设模板以及相互之间的对应关系，处理器1根据选取指令匹配到预设模板，再根据预设模板从第一图像中确定并内部标记出渲染区域，此时若将嘴唇作为预设模板，红色像素作为变更模板，处理器1就会将嘴唇区域覆盖为红色区域与原渲染区域颜色的结合，不是简单的使用变更模板完全遮挡渲染区域的图像，而是使用结合的方式，更好地模拟人的状态的实际成像，提高仿真度，无需人进行实际的化妆操作。然后，处理器1再拍一次操作目标的图像作为第三图像，第三图像经过处理后得到第四图像，使得变更模板对操作目标实体的对应部位呈现逐步形成妆容，进一步更好地模拟人的状态的实际成像，提高仿真度，无需操作目标进行实际的化妆操作。

本申请实施例还公开一种虚拟妆容的显示系统，如图2与图3所示，包括处理器1：

输入装置2，与处理器1数据连接，用于接收或者触发用于选取目标物的选取指令；

拍摄装置3，与处理器1数据连接，用于拍摄照片；以及，

显示屏4，与处理器1数据连接，用于显示图像；

操作目标通过输入装置2触发用于选取目标物的选取指令；

处理器1在选取指令被触发后通过拍摄装置3获取操作目标的图像作为第一图像，通过显示屏4显示第一图像；

处理器1根据预设模板从触发目标的图像上匹配出并确定渲染区域，其中，预设模板与选取指令相关联，触发目标图像上在渲染区域的图像与预设模板相关联；以及

处理器1获取与预设模板关联的变更模板，使用变更模板覆盖并结合至第一图像中渲染区域的图像上形成第二图像，通过显示屏4显示第二图像。

处理器1通过拍摄装置3重新获取触发目标的图像作为第三图像；

处理器1根据预设模板从第三图像上匹配出并确定渲染区域；

处理器1使用变更模板覆盖并结合至第三图像中渲染区域的图像上形成第四图像；以及，

处理器1计算第一图像与第三图像中所有对应像素值之间的差值，求得所有差值之和的绝对值，根据绝对值增强显示第四图像中渲染区域的图像，并弱化显示第四图像中渲染区域外的图像，通过显示屏4显示第四图像。

处理器1控制投射式显示装置投射变更模板至操作目标上与渲染区域对应的目标部位；

在目标部位放置半透半反射镜6；

目标部位依次通过半透半反射镜6成像与拍摄装置3，被拍摄至第二图像中；

半透半反射镜6中反射部位的面积小于透明部位的面积；

半透半反射镜6包括面积可调的直接反射区61与漫反射区62；

拍摄装置3上设有测距装置5，处理器1通过测距装置5获取操作目标距离拍摄装置3的距离；

处理器1控制半透半反射镜6，将直接反射区61与漫反射区62域的比重与操作目标距离拍摄装置3的距离呈正相关设置。

本申请实施例还公开一种虚拟妆容的显示装置，包括有上述的虚拟妆容的显示系统。

本申请实施例还公开一种计算机可读存储介质，存储有能够被处理器1加载并执行上述记载的虚拟妆容的显示方法的计算机程序。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (8)

1.一种虚拟妆容的显示方法，其特征在于：包括如下步骤：

操作目标触发用于选取目标物的选取指令；

处理器（1）在所述选取指令被触发后通过拍摄装置（3）获取所述操作目标的图像作为第一图像，通过显示屏（4）显示所述第一图像；

处理器（1）根据预设模板从所述触发目标的图像上匹配出并确定渲染区域，其中，所述预设模板与所述选取指令相关联，所述触发目标图像上在所述渲染区域的图像与所述预设模板相关联；以及

处理器（1）获取与所述预设模板关联的变更模板，使用所述变更模板覆盖并结合至所述第一图像中所述渲染区域的图像上形成第二图像，通过显示屏（4）显示所述第二图像；

还包括如下步骤：

处理器（1）通过拍摄装置（3）重新获取所述触发目标的图像作为第三图像；

处理器（1）根据所述预设模板从所述第三图像上匹配出并确定渲染区域；

处理器（1）使用所述变更模板覆盖并结合至所述第三图像中所述渲染区域的图像上形成第四图像；以及，

处理器（1）计算第一图像与第三图像中所有对应像素值之间的差值，求得所有差值之和的绝对值，根据所述绝对值增强显示所述第四图像中所述渲染区域的图像，并弱化显示所述第四图像中所述渲染区域外的图像，通过显示屏（4）显示所述第四图像。

2.根据权利要求1所述的方法，其特征在于：所述处理器（1）控制投射式显示装置投射所述变更模板至所述操作目标上与所述渲染区域对应的目标部位；

在所述目标部位放置半透半反射镜（6）；

以及，所述目标部位依次通过所述半透半反射镜（6）成像与所述拍摄装置（3），被拍摄至所述第二图像中。

3.根据权利要求2所述的方法，其特征在于：所述半透半反射镜（6）中反射部位的面积小于透明部位的面积。

4.根据权利要求2所述的方法，其特征在于：还包括：

所述半透半反射镜（6）包括面积可调的直接反射区（61）与漫反射区（62）；

所述拍摄装置（3）上设有测距装置（5），所述处理器（1）通过所述测距装置（5）获取所述操作目标距离所述拍摄装置（3）的距离；

所述处理器（1）控制所述半透半反射镜（6），将所述直接反射区（61）与所述漫反射区（62）域的比重与所述操作目标距离所述拍摄装置（3）的距离呈正相关设置。

5.一种虚拟妆容的显示系统，其特征在于：包括处理器（1）：

输入装置（2），与所述处理器（1）数据连接，用于接收或者触发用于选取目标物的选取指令；

拍摄装置（3），与所述处理器（1）数据连接，用于拍摄照片；以及，

显示屏（4），与所述处理器（1）数据连接，用于显示图像；

操作目标通过所述输入装置（2）触发用于选取目标物的选取指令；

处理器（1）在所述选取指令被触发后通过拍摄装置（3）获取所述操作目标的图像作为第一图像，通过显示屏（4）显示所述第一图像；

处理器（1）根据预设模板从所述触发目标的图像上匹配出并确定渲染区域，其中，所述预设模板与所述选取指令相关联，所述触发目标图像上在所述渲染区域的图像与所述预设模板相关联；以及

处理器（1）获取与所述预设模板关联的变更模板，使用所述变更模板覆盖并结合至所述第一图像中所述渲染区域的图像上形成第二图像，通过显示屏（4）显示所述第二图像；

所述处理器（1）通过拍摄装置（3）重新获取所述触发目标的图像作为第三图像；

处理器（1）根据所述预设模板从所述第三图像上匹配出并确定渲染区域；

处理器（1）使用所述变更模板覆盖并结合至所述第三图像中所述渲染区域的图像上形成第四图像；以及，

处理器（1）计算第一图像与第三图像中所有对应像素值之间的差值，求得所有差值之和的绝对值，根据所述绝对值增强显示所述第四图像中所述渲染区域的图像，并弱化显示所述第四图像中所述渲染区域外的图像，通过显示屏（4）显示所述第四图像。

6.根据权利要求5所述的系统，其特征在于：所述处理器（1）控制投射式显示装置投射所述变更模板至所述操作目标上与所述渲染区域对应的目标部位；

在所述目标部位放置半透半反射镜（6）；

所述目标部位依次通过所述半透半反射镜（6）成像与所述拍摄装置（3），被拍摄至所述第二图像中；

所述半透半反射镜（6）中反射部位的面积小于透明部位的面积；

所述半透半反射镜（6）包括面积可调的直接反射区（61）与漫反射区（62）；

所述拍摄装置（3）上设有测距装置（5），所述处理器（1）通过所述测距装置（5）获取所述操作目标距离所述拍摄装置（3）的距离；

所述处理器（1）控制所述半透半反射镜（6），将所述直接反射区（61）与所述漫反射区（62）域的比重与所述操作目标距离所述拍摄装置（3）的距离呈正相关设置。

7.一种虚拟妆容的显示装置，其特征在于：包括有能如权利要求5至6中任意一种虚拟妆容的显示系统。

8.一种计算机可读存储介质，其特征在于：存储有能够被处理器（1）加载并执行如权利要求1至4中任意一种方法的计算机程序。

Images