CN113301243B - 图像处理方法、交互方法、系统、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种图像处理方法、交互方法、系统、装置、设备和存储介质，该方法包括：对实时采集的用户目标部位的图像进行展示。再对展示的图像进行识别，以确定所述用户对目标部位触发触摸操作。最后，根据图像中包含的深度信息以及用户触发的触摸操作，将渲染数据叠加渲染到目标部位的图像上。渲染结果也会通过处理设备展示给用户。上述方法中，渲染过程中使用到了图像的深度信息，由于深度信息能够反映用户触发的触摸操作的触摸力度以及渲染数据的阴影效果，因此，使得图像的渲染效果更加立体、更加真实。

Description

图像处理方法、交互方法、系统、装置、设备和存储介质

技术领域

本发明涉及增强现实技术领域，尤其涉及一种图像处理方法、交互方法、系统、装置、设备和存储介质。

背景技术

增强现实(Augmented Reality，简称AR)技术已经广泛应用于车辆导航、旅游、教育等众多场景中。比如可以借助AR技术生成引导信息，以实现AR导航。

并且随着网购的普及，将AR技术应用到零售领域中也逐渐成为研究热点。比如在化妆品的销售场景中，借助AR技术可以为用户提供试妆功能，也即是将虚拟化妆效果叠加渲染到包含用户面部的图像上，这样可以避免用户因无法试用而购买不合适的商品，从而造成的商品浪费的情况。

但在现有技术中，虚拟化妆效果的渲染效果往往真实性、立体性不佳，因此，如何保证渲染效果就成为一个亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供一种图像处理方法、交互方法、系统、装置、设备和存储介质，用以保证渲染结果的真实和立体。

第一方面，本发明实施例提供一种图像处理方法，包括：

对实时采集的用户目标部位的图像进行展示，所述图像包括深度信息；

对所述图像进行识别，确定所述用户对目标部位触发触摸操作；

根据所述深度信息以及所述触摸操作，将渲染数据叠加渲染到所述目标部位的图像上。

第二方面，本发明实施例提供一种图像处理装置，包括：

展示模块，用于对实时采集的用户目标部位的图像进行展示，所述图像包括深度信息；

确定模块，用于对所述图像进行识别，确定所述用户对目标部位触发触摸操作；

渲染模块，用于根据所述深度信息以及所述触摸操作，将渲染数据叠加渲染到所述目标部位的图像上。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的图像处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的图像处理方法。

第五方面，本发明实施例提供一种交互方法，包括：

响应于用户触发的拍摄操作，实时拍摄并展示包含所述用户目标部位的图像，所述图像包括深度信息；

响应于所述用户触发的选择操作，获取与所述选择操作对应的渲染数据；

对所述图像进行识别，确定所述用户对目标部位触发触摸操作；

根据所述深度信息以及所述触摸操作，将所述渲染数据叠加渲染到所述目标部位的图像上。

第六方面，本发明实施例提供一种交互装置，包括：

展示模块，用于响应于用户触发的拍摄操作，实时拍摄并展示包含所述用户目标部位的图像，所述图像包括深度信息；

获取模块，用于响应于所述用户触发的选择操作，获取与所述选择操作对应的渲染数据；

确定模块，用于对所述图像进行识别，确定所述用户对目标部位触发触摸操作；

渲染模块，用于根据所述深度信息以及所述触摸操作，将所述渲染数据叠加渲染到所述目标部位的图像上。

第七方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第五方面中的交互方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第五方面所述的交互方法。

第九方面，本发明实施例提供一种交互系统，包括：

终端设备，用于响应于用户触发的拍摄操作，实时拍摄并发送包含所述用户的目标部位的图像至服务器，所述图像包括深度信息，以及根据所述深度信息以及所述触摸操作，将所述服务器的反馈叠加渲染到所述目标部位的图像上；

所述服务器，用于对所述图像进行识别，确定用户对目标部位触发的触摸操作；响应于所述用户在所述终端设备上触发的选择操作，获取与所述目标部位对应的渲染数据；发送所述渲染数据至所述终端设备上。

本发明实施例提供的图像处理方法，对实时采集的用户目标部位的图像进行展示。再对展示的图像进行识别，以确定所述用户对目标部位触发触摸操作。最后，根据图像中包含的深度信息以及用户触发的触摸操作，将渲染数据叠加渲染到目标部位的图像上。渲染结果也会通过处理设备展示给用户。上述方法中，渲染过程中使用到了图像的深度信息，由于深度信息能够反映用户触发的触摸操作的触摸力度以及渲染数据的阴影效果，因此，使得图像的渲染效果更加立体、更加真实。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为终端设备提供的一种操作界面的示意图；

图3为终端设备提供的另一种操作界面的示意图；

图4为终端设备提供的渲染结果的示意图；

图5为本发明实施例提供的另一种图像处理方法的流程图；

图6为本发明实施例提供的一种交互方法的流程图；

图7为本发明实施例提供的图像处理方法以及交互方法应用在虚拟化妆场景下的示意图；

图8为本发明实施例提供的一种交互系统的结构示意图；

图9为本发明实施例提供的一种图像处理装置的结构示意图；

图10为与图9所示实施例提供的图像处理装置对应的电子设备的结构示意图；

图11为本发明实施例提供的一种交互装置的结构示意图；

图12为与图11所示实施例提供的交互装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当识别（陈述的条件或事件）时”或“响应于识别（陈述的条件或事件）”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

在背景技术中已经提到了可以利用AR技术为用户提供虚拟化妆服务。基于此场景，在对本发明实施例提供的图像处理方法以及交互方法进行说明之前，还可以先对图像处理方法、交互方法的现实意义进行示例性说明：

在实际应用中，可以使用智能镜子为用户提供虚拟化妆功能。具体来说，将镜面作为操作界面，用户可以通过触摸镜面触发化妆品的选择操作，比如选择棕色的眉笔或者红色的口红等等。接着，用户还可以通过触摸镜面，对镜子中自己的面部触发化妆操作。响应于此化妆操作，智能镜子再根据与此化妆品对应的渲染数据进行图像渲染，用户最终可以在镜子上看到的是自己真实的面部叠加上虚拟的化妆效果，也即是智能镜子可以为用户提供虚拟化妆服务。

而在上述智能镜子的方案中，用户是直接对镜面上显示的图像面部触发化妆操作，这使用户有一种给别人化妆的感觉，导致化妆体验不佳。并且直接利用渲染数据进行渲染，也会导致用户看到的渲染效果不真实、也不立体。为了克服上述缺陷，可以使用本发明提供的图像处理方法或者交互方法。

基于上述背景，下面结合附图对本发明的一些实施方式作详细说明。下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。另外，在各实施例之间不冲突的情况下，下述的各实施例及实施例中的特征可以相互组合。并且下面以虚拟化妆场景为例分别对下述各实施例进行描述。

图1为本发明实施例提供的一种图像处理方法的流程图。本发明实施例提供的该图像处理方法可以由处理设备来执行。可以理解的是，该处理设备可以实现为软件、或者软件和硬件的组合。本实施例以及下述各实施例中的处理设备具体可以是供用户使用的、安装有虚拟化妆应用程序的终端设备。如图1所示，该方法包括如下步骤：

S101，对实时采集的用户目标部位的图像进行展示，图像包括深度信息。

用户使用的终端设备中可以安装有虚拟化妆应用程序（Application，简称APP）。用户对APP触发开启操作后，APP便可以调用终端设备的摄像头进行图像的实时拍摄。其中，用户对APP触发的开启操作也可以认为是用户对APP触发的拍摄操作。可选地，终端设备具体可以是手机、平板电脑、台式电脑等等。

APP开启后，终端设备的摄像头实时拍摄的图像也会实时展示给用户。其中，拍摄的图像中可以包含深度信息和颜色信息，也即是图像中多个像素点均具有各自的颜色信息和深度信息。在实际应用中，图像中各像素点的颜色信息可以构成一张彩色图像，各像素点的深度信息可以构成一张深度图像，因此，可以认为拍摄到的图像实际上是一组图像。并且图像中包含用户的目标部位。在虚拟化妆场景中，可选地，目标部位可以是用户人体的任一部位，比如嘴唇、眉毛，颈部，手腕等等。

另外，终端设备的显示屏除了展示有拍摄的图像，还可以展示有供用户选择的多个虚拟对象。可选地，虚拟对象具体可以是化妆品，比如不同颜色的眉笔、口红、腮红、粉底等等。终端设备的操作界面可以如图2所示。

在此界面上，当用户触发对虚拟对象的选择操作后，响应于此选择操作，终端设备可以从预先建立的数据库中直接获取与选中的虚拟对象对应的渲染数据。此渲染数据可以认为是虚拟对象的颜色数据、纹理数据等等。结合图2中的内容来说，假设用户选择的虚拟对象1是口红1，则与口红1对应的渲染数据可以为口红1的颜色数据。可见，渲染数据既对应于用户选择的化妆品，也对应于用户的目标部位即嘴唇。

需要说明的有，无论是否选择虚拟对象，用户都可以触发触摸操作，终端设备也都可以实时将触摸操作拍摄下来。只不过若用户不选择虚拟对象而直接触发触摸操作，则此时由于终端设备未获取到渲染数据，因此也就无法实渲染数据的渲染。

因此，通常情况下，在用户选择后虚拟对象后，则会进一步对自身的目标部位触发触摸操作，也即是化妆操作。可选地，用户可以借助工具对自己真实面部中某一部位触发化妆操作。工具可以是用户的手指或者任意种类的化妆工具，比如粉扑、眉笔、粉底刷，唇刷等等。根据上述举例可知，常见的工具通常是棒状物体，但本发明提供的各实施例并不对工具的形状和类型进行限定。承接图2中的举例，触摸操作可以是用户直接作用在自己嘴唇上的涂抹动作，此时，终端设备实时拍摄的图像可以如图3所示。

S102，对图像进行识别，确定用户对目标部位触发触摸操作。

S103，根据深度信息以及触摸操作，将渲染数据叠加渲染到目标部位的图像上。

终端设备可以根据实时采集的图像确定用户对目标部位是否触发触摸操作。一种可选地方式，可以借助深度图像中包含的深度信息来确定用户是否触发了触摸操作。具体识别方式可以参见下述如图5所示实施例中的详细描述。

若用户对目标部位触发触摸操作，则进一步根据图像的深度信息以及触摸操作，将与用户选择的虚拟对象对应的渲染数据叠加渲染到目标部位的图像上，以将叠加渲染的结果展示给用户。

承接上述图2和图3所示的对嘴唇触发触摸操作的举例，触摸操作的力度以及用户所处化妆环境的不同，都会对口红的涂抹效果产生影响。其中，化妆环境可以认为是图像的拍摄环境，具体包括拍摄环境的光照强度、拍摄环境是否是室内等等。可以利用图像中的深度信息分析出触摸操作的力度以及用户所处的化妆环境。在对渲染数据进行渲染时，深度信息的使用能够使渲染结果更适应于化妆环境以及触摸操作的力度。用户看到的渲染结果为真实的用户面部图像和虚拟化妆效果的叠加显示，渲染结果可以如图4所示。

由于渲染过程中已经考虑到的化妆力度以及化妆环境，因此，展示给用户的渲染结果即虚拟化妆效果会更加立体和真实。另外，由于触摸操作的作用对象是用户真实的某一部位，而不是冰冷的屏幕，因此，使得用户的化妆体验更加真实。

本实施例中，对实时采集的用户目标部位的图像进行展示。再对展示的图像进行识别，以确定所述用户对目标部位触发触摸操作。最后，根据图像中包含的深度信息以及用户触发的触摸操作，将渲染数据叠加渲染到目标部位的图像上。渲染结果也会通过处理设备展示给用户。上述方法中，渲染过程中使用到了图像的深度信息，由于深度信息能够反映用户触发的触摸操作的触摸力度以及渲染数据的阴影效果，因此，使得图像的渲染效果更加立体、更加真实。本实施例也为用户提供一种基于AR技术的化妆服务，提高用户的化妆体验。

承接上述的虚拟化妆场景，基于图2所示的操作界面，可选地，界面上还可以显示多种化妆工具，以供用户选择。并且并不对用户选择虚拟对象和化妆工具的顺序进行限定。在虚拟对象选择完毕后，还可以为用户提供化妆工具选择的指导。类似的，在化妆工具选择完成后，还可以对虚拟对象的选择进行指导。这种相互指导能够保证用户最终选择的虚拟对象和工具是配套的，比如用户选择的虚拟对象是口红，同时选择的工具为唇刷。

可选地，当用户选择了虚拟对象时，还可以根据选中的虚拟对象为用户提供化妆操作的指引。比如当用户选择的虚拟对象的粉底时，在界面上可以提示用户可以不断轻轻拍打面部，从而可以根据用户拍打动作的持续时长在界面上显示出相应的渲染效果。又比如当用户选择的虚拟对象是口红时，在界面上可以提示用户涂抹唇部，根据涂抹的位置和力度显示出相应的渲染效果。

可选地，当用户还可以不在界面中触发化妆工具的选择操作，此时默认工具为用户自己的手指，则用户还可以通过触发不同的手势实现不同的化妆效果。其中，手势与化妆效果之间的对应关系可以预先设定。

上述实施例中已经公开了根据图像的深度信息识别用户触发触摸操作的过程。对于识别过程的具体实现，图5为本发明实施例提供的另一种图像处理方法的流程图。如图5所示，该方法可以包括如下步骤：

S201，对实时采集的用户目标部位的图像进行展示，图像包括深度信息。

上述步骤201的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S202，根据图像包括的深度信息确定工具与目标部位之间的距离，用户使用工具触发触摸操作。

终端设备实时拍摄图像后，可以通过预设识别算法，根据图像中各像素点的颜色信息，识别出图像中是否包含工具以及工具在图像中的位置。

由于图像中每个像素点的颜色信息和深度信息是一一对应的。因此，在通过算法识别出工具在图像中的位置后，还可以根据工具的位置进一步确定出工具对应的深度信息。图像中包含的深度信息可以反映图像中物体与终端设备的摄像头之间的距离，其中深度信息具体表现为深度值。

S203，若距离符合设定范围，则确定用户对目标部位触发触摸操作。

若目标部位与工具之间的距离符合设定范围，即深度值处于设定范围内，表明用户已经对目标部位触发了触摸操作。此距离表明工具是否与目标部位发生接触。理想情况下，若工具与目标部位之间的距离为0，则确定触发触摸操作，但考虑到误差，因此，通常情况下设定范围通常可以为一个在0附近的数值范围。可选地，二者之间的距离实际上还可以反映触摸操作的力度，距离越近则表明触摸操作的力度越强。

S204，根据深度信息以及触摸操作，将渲染数据叠加渲染到目标部位的图像上。

上述步骤204的执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

本实施例中，图像包含的深度信息能够反映工具与目标部位之间是否发生触摸，以使得触摸操作的确定更加准确。在为用户提供一种基于虚拟现实技术的化妆服务的同时，也提高了用户的化妆体验。

需要说明的有，除了可以根据图像的深度信息识别触摸操作，也即是图5所示实施例提供的方式，还可以根据图像中的颜色信息进行触摸操作的识别。具体来说，触摸操作可以是用户借助工具触发的，工具通常又可以是棒状物体，因此，终端设备可以借助预设识别算法，根据图像中的颜色信息识别出图像中是否包含棒状物体。若图像中包含棒状物体，确定存在触摸操作。否则不存在触摸操作。

但在实际中，用户触发的触摸操作可以真实的，即工具位于目标部位上方，且与目标部位发生直接接触；用户触发的触摸操作也可以是虚假的，即工具位于目标部位上方，但未与目标部位直接接触。此时，根据图像中包含的颜色信息并不能准确区分出用户触发的触摸操作是真实还是虚假的，导致触摸操作的识别不准确。此时，可以则使用如图5所示实施例中提供方式来克服上述缺陷。

当然在实际应用中，为了进一步保证触摸操作识别的准确性，可选地，在根据深度信息识别触摸操作的同时，也可以根据颜色信息进行触摸操作的识别。只有当通过不同方式都识别出用户产生了触摸操作，才进一步根据渲染数据进行图像渲染。

容易理解的，在为用户提供虚拟化妆服务的过程中，识别触摸操作以及对渲染数据进行渲染是两个重要的步骤。而通过上述实施例已经能够保证触摸操作识别的准确性，此时，还需要保证渲染的准确性，也即是要保证将渲染数据准确地叠加渲染到目标部位所在的位置上。

一种可选地方式为：响应于用户对虚拟对象的选择操作，终端设备已经能够获取到与虚拟对象对应的、也与目标部位对应的渲染数据。此时，可以先确定目标部位在图像中的位置，并将此目标部位的位置直接确定为渲染数据的渲染位置。再根据图像中的深度信息以及用户触发的触摸操作，将渲染数据叠加渲染到渲染位置上。

具体地，用户对目标部位触发触摸操作的过程也会被处理设备实时拍摄到，则终端设备可以根据拍摄到的图像中的颜色信息确定出目标部位在图像中位置。将此目标部位的位置直接确定为渲染数据的渲染位置。其中，目标部位在图像中的位置就可以认为是图像中用于描述目标部位的多个像素点的各自像素坐标。

然后，由于图像中像素点的颜色信息和深度信息是一一对应的，因此，则可以在图像的深度信息中确定渲染位置对应的深度信息，并根据渲染位置的深度信息以及触摸操作，将渲染数据叠加渲染到渲染位置上，渲染位置的深度信息可以反映触摸力度，从而使渲染结果与用户的触摸操作相适应。

图6为本发明实施例提供的一种交互方法的流程图。本发明实施例提供的该交互方法同样可以由上述的处理设备来执行，处理设备具体可以是供用户使用的、安装有虚拟化妆应用程序的终端设备。如图6所示，该方法可以包括如下步骤：

S301, 响应于用户触发的拍摄操作，实时拍摄并展示包含用户目标部位的图像，图像包括深度信息。

S302,响应于用户触发的选择操作，获取与选择操作对应的渲染数据。

S303，对图像进行识别，确定用户对目标部位触发触摸操作。

S304,根据深度信息以及触摸操作，将渲染数据叠加渲染到目标部位的图像上。

继续承接上述的虚拟化妆场景，用户可以先对终端设备上安装的虚拟化妆APP触发拍摄操作，以使APP调用终端设备的摄像头实时拍摄用户的目标部位，并将拍摄的图像实时展示给用户。其中，图像可以包含深度信息，也可以包含颜色信息。

终端设备开始实时采集图像后，用户还可以对APP界面上提供的多种虚拟对象触发选择操作。响应于用户的选择操作，终端设备可以获取与用户的选择操作对应的渲染数据。同时，此渲染数据也对应于目标部位，也对应于用户选择的虚拟对象。

进一步地，用户还可以触发对目标部位的触摸操作，正如上述各所示实施例中描述的，终端设备可以根据图像中包含深度信息或者颜色信息识别用户是否对触发了触摸操作。若用户触发了触摸操作，则可以将渲染数据叠加渲染到目标部位的图像上。由于图像中的深度信息可以反映用户触摸操作的力度，也可以反映用户所处的化妆环境，因此，在渲染过程中使用深度信息可以使渲染结果更加真实、立体。

在虚拟化妆场景下，本实施例也即是为用户提供了一种交互式的、基于虚拟现实技术的化妆方式，化妆效果更加立体，用户的化妆体验更加真实。

本实施例中未详细描述的内容可以参见如图1~图5所示实施例中的相关描述。该技术方案的执行过程和技术效果参见图1~图5所示实施例中的描述，在此不再赘述。在此不再赘述。

需要说明的还有，使用本发明提供的图像处理方法、交互方法，除了可以为用户提供虚拟化妆服务外，用户也可以对静态的图像进行绘制，并由终端设备显示渲染结果，也即是为用户提供了一种绘画服务。比如可以在人物的静态人物面部图像或者风景图像上添加各种卡通图案等等。

为了便于理解，结合虚拟化妆场景对以上各实施例提供的图像处理方法以及交互方法的具体实现过程进行示例性说明。下面内容可以结合图7理解。

用户使用的终端设备上安装有虚拟化妆APP，用户触发开启操作后，APP可以调用终端设备的摄像头实时拍得包含用户面部的图像，终端设备上显示的内容可以如图7中（a）所示。此时，终端设备可以根据图像中包含的深度信息或者颜色信息确定用户是否触发了化妆操作。具体过程可以参见图1或图5所示实施例中的相关描述。由于此时用户仅仅是打开了APP，并未触发化妆操作，也就未产生渲染数据，则终端设备不会进行渲染处理。

接着，用户可以在图7中（a）所示的界面上触发化妆品的选择操作，即选中口红1，终端设备上显示的内容可以如图7中的（b）所示。终端设备响应于此选择操作，获取与口红1对应的渲染数据，此渲染数据具体可以是口红1的颜色数据。在用户选择化妆品的过程中，终端设备还会继续根据实时拍得的图像中包含的深度信息识别用户是否触发化妆操作。

用户可以触发化妆操作，也即是使用唇刷或者自己的手指等工具在自己的嘴唇上产生化妆操作。此化妆过程会被终端设备拍摄下来，拍得的图像可以如图7中的（c）所示。此时，终端设备可以先根据图像的颜色信息识别工具在图像中的位置，再根据工具的位置确定工具对应的深度信息。若根据此深度信息确定工具与目标部位之间的距离符合设定范围，表明工具与目标部位之间发生直接接触，则确定用户已经触发化妆操作。

最终，终端设备可以根据图像中的颜色信息识别出嘴唇部位在图像中的位置，并将嘴唇所在的位置直接确定为渲染数据的渲染位置，再在图像包含的深度信息中确定此渲染位置对应的深度信息，并按照渲染位置对应的深度信息将口红1的渲染数据渲染到嘴唇的位置上。

经过上述过程后，用户通过终端设备看到的是用户真实的面部图像并且在嘴唇部位还叠加显示有口红1的虚拟化妆效果。渲染效果可以如图6中的（d）所示。由于图像中的深度信息能够反映用户对嘴唇触发的涂抹操作的力度以及化妆环境的光照强度等等，因此，能够使得口红1的渲染结果，即口红的颜色深浅是符合化妆力度和化妆环境的，用户看到的虚拟化妆效果更加真实，立体。并且由于用户是对自己真实的嘴唇触发了涂抹操作，也是的虚拟化妆过程更加真实。

根据上述各实施例可知，整个虚拟化妆过程主要包括以下步骤：采集图像—-识别触摸操作---确定渲染数据—-图像渲染。并且在上述各实施例中，处理设备可以认为是一个设备，也即是用户使用的终端设备，并由此一个设备执行上述所有步骤。而为了提高处理效率，保证渲染效果，“识别触摸操作”以及“确定渲染数据”这个两步骤可以交由一个处理能力更强的设备来完成，比如服务器。

此时，上述各实施例中的处理设备可以认为是由服务器以及用户使用的终端设备组成的交互系统。则下面从用户与交互系统进行交互的角度进行说明。

图8为本发明实施例提供的一种交互系统的示意图。如图8所示，该系统可以包括：终端设备1和服务器2。

具体来说，用户可以对终端设备1触发拍摄操作，此拍摄操作也可以认为是对终端设备1中安装的虚拟化妆APP的开启操作。终端设备响应于拍摄操作，实时拍摄并发送包含用户的目标部位的图像至服务器2。其中，拍摄的图像中包括深度信息和颜色信息。

APP提供的操作界面上还显示有供用户选择的多个虚拟对象。在虚拟对象选择完成后，用户可以进一步对自身的目标部位触发触摸操作。在此触摸过程中拍得的图像也会发送至服务器2。其中，接收到的图像都可以存储于服务器2中的图像存储器中。

服务器2，一方面，可以响应于用户触发的虚拟对象选择操作，从本地的数据库中确定出与此虚拟对象对应的渲染数据。其中，渲染数据具体可以保存于服务器2中的渲染数据存储器中。另一方面，还可以实时接收终端设备实时拍得的图像，并根据接收到的图像中的深度信息确定用户是否对目标部位产生了触摸操作。若确定用户产生了触摸操作，并将图像中的深度信息以及与用户选中的虚拟对象对应的渲染数据反馈给终端设备1。

最终，终端设备1可以对服务器2反馈的渲染数据进行渲染，以将渲染数据叠加渲染到用户真实的目标部位上，渲染结果也会展示给用户。

可选地，当由终端设备1和服务器2组成的交互系统具体用于为用户提供虚拟化妆服务时，上述的触摸操作可以为用户对自身目标部位触发的化妆操作，目标部位可以为人体中的任一部位，用户可以借助工具产生触摸操作，并且工具具体可以为用户的手指或者其他化妆工具，用户选择的虚拟对象可以为化妆品。

可选地，服务器2在接收到图像后，可以根据图像中包含的深度信息确定工具与目标部位之间的距离。若距离符合设定范围，则服务器2确定出用户产生了对目标部位的触摸操作。

具体来说，服务器2可以根据图像中包含的颜色信息确定工具在图像中的位置，根据工具的位置以及图像中像素点的颜色信息与深度信息之间的一一对应关系，确定工具对应的深度信息，再根据工具对应的深度信息确定工具和目标部位之间的距离，即确定是否触发触摸操作。

上述触摸操作的识别过程可以由服务器2中的操作识别组件执行。具体过程可以参见图5所示实施例中的相关描述。

可选地，服务器2在利用图像中的深度信息识别触摸操作的同时，还可以利用服务器2中的位置识别组件，根据图像中的颜色信息识别图像中是否包含预设形状的工具。若存在工具则认为用户触发触摸操作。只有通过两种方式都识别出触摸操作，才认为用户真正产生了触摸操作，保证操作识别的准确性。

在识别出用户产生的触摸操作后，则进一步对渲染数据进行渲染。容易理解的是，渲染数据需要渲染到目标部位上才是正确的，此时，服务器2中的位置识别组件还可以先识别目标部位在图像中的位置，将目标部位所在的位置直接确定为渲染位置，在图像包含的深度信息中确定与渲染位置对应的深度信息，并发送渲染数据、渲染位置以及渲染位置的深度信息至终端设备1。终端设备1可根据接收到的内容，将渲染数据叠加渲染到目标部位上。

并且由于渲染数据的深度信息可以反映触摸操作的力度和用户所处的化妆环境，因此，通过深度信息的使用可以保证渲染效果更加真实、立体。

可选地，服务器2中还可以包括辅助组件（图8中未示出），用于先对工具进行初步识别，若通过初步识别，再由位置识别组件进行精细识别。

本实施例中未详细描述的部分，可参考对图1至图7所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图7所示实施例中的描述，在此不再赘述。

以下将详细描述本发明的一个或多个实施例的图像处理装置。本领域技术人员可以理解，这些图像处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图9为本发明实施例提供的一种图像处理装置的结构示意图，如图9所示，该装置包括：

展示模块11，用于对实时采集的用户目标部位的图像进行展示，所述图像包括深度信息。

确定模块12，用于对所述图像进行识别，确定所述用户对目标部位触发触摸操作。

渲染模块13，用于根据所述深度信息以及所述触摸操作，将渲染数据叠加渲染到所述目标部位的图像上。

可选地，所述确定模块12具体包括：

第一确定单元121，用于根据所述图像包括的深度信息确定工具与所述目标部位之间的距离，所述用户使用所述工具触发所述触摸操作。

第二确定单元122，用于若所述距离符合设定范围，则确定所述用户对目标部位触发触摸操作。

可选地，所述第一确定模块121具体用于：在所述图像包括的深度信息中，确定所述工具对应的深度信息；以及根据所述工具对应的深度信息，确定所述工具与所述目标部位之间的距离。

其中，所述触摸操作包括所述用户对目标部位触发的化妆操作，所述目标部位包括人体中的任一部位，所述渲染数据对应于所述用户选择的化妆品。

可选地，所述渲染模块13具体包括：

获取单元131，用于响应于所述用户触发的选择操作，获取所述目标部位对应的渲染数据。

位置确定单元132，用于将所述目标部位在所述图像中的位置确定为所述渲染数据的渲染位置。

渲染单元133，用于根据所述深度信息以及所述触摸操作,将所述渲染数据叠加渲染到所述渲染位置上。

可选地，所述渲染单元133具体用于：在所述图像包括的深度信息中，确定所述渲染位置对应的深度信息；

根据所述渲染位置对应的深度信息以及所述触摸操作，将所述渲染数据叠加渲染到所述渲染位置上。

图9所示装置可以执行图1至图5所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图5所示实施例中的描述，在此不再赘述。

以上描述了图像处理装置的内部功能和结构，在一个可能的设计中，图像处理装置的结构可实现为一电子设备，如图10所示，该电子设备可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持该电子设备执行上述图1至图5所示实施例中提供的图像处理方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：

对实时采集的用户目标部位的图像进行展示，所述图像包括深度信息；

对所述图像进行识别，确定所述用户对目标部位触发触摸操作；

根据所述深度信息以及所述触摸操作，将渲染数据叠加渲染到所述目标部位的图像上。

可选地，所述处理器21还用于执行前述图1至图5所示实施例中的全部或部分步骤。

其中，所述电子设备的结构中还可以包括通信接口23，用于该电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图5所示方法实施例中图像处理方法所涉及的程序。

以下将详细描述本发明的一个或多个实施例的交互装置。本领域技术人员可以理解，这些交互装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图11为本发明实施例提供的一种交互装置的结构示意图，如图11所示，该装置包括：

展示模块31，用于响应于用户触发的拍摄操作，实时拍摄并展示包含所述用户目标部位的图像，所述图像包括深度信息。

获取模块32，用于响应于所述用户触发的选择操作，获取与所述选择操作对应的渲染数据。

确定模块33，用于对所述图像进行识别，确定所述用户对目标部位触发触摸操作。

渲染模块34，用于根据所述深度信息以及所述触摸操作，将所述渲染数据叠加渲染到所述目标部位的图像上。

图11所示装置可以执行图6所示实施例的方法，本实施例未详细描述的部分，可参考对图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图6所示实施例中的描述，在此不再赘述。

以上描述了交互装置的内部功能和结构，在一个可能的设计中，交互装置的结构可实现为一电子设备，如图12所示，该电子设备可以包括：处理器41和存储器42。其中，所述存储器42用于存储支持该电子设备执行上述图6所示实施例中提供的交互方法的程序，所述处理器41被配置为用于执行所述存储器42中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器41执行时能够实现如下步骤：

响应于用户触发的拍摄操作，实时拍摄并展示包含所述用户目标部位的图像，所述图像包括深度信息；

响应于所述用户触发的选择操作，获取与所述选择操作对应的渲染数据；

对所述图像进行识别，确定所述用户对目标部位触发触摸操作；

根据所述深度信息以及所述触摸操作，将所述渲染数据叠加渲染到所述目标部位的图像上。

可选地，所述处理器41还用于执行前述图6所示实施例中的全部或部分步骤。

其中，所述电子设备的结构中还可以包括通信接口43，用于该电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图6所示方法实施例中交互方法所涉及的程序。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (18)

1.一种图像处理方法，包括：

对实时采集的目标部位的图像进行展示，所述图像包括深度信息，所述目标部位为用户的任一部位；

根据所述图像包括的所述深度信息，确定所述用户对所述目标部位触发触摸操作以及所述触摸操作的力度；

根据所述深度信息、所述触摸操作以及所述触摸操作的力度，将渲染数据叠加渲染到所述目标部位的图像上。

2.根据权利要求1所述的方法，所述确定所述用户对所述目标部位触发触摸操作，包括：

根据所述图像包括的深度信息确定工具与所述目标部位之间的距离，所述用户使用所述工具触发所述触摸操作；

若所述距离符合设定范围，则确定所述用户对目标部位触发触摸操作。

3.根据权利要求2所述的方法，所述根据所述图像包括的深度信息确定工具与所述目标部位之间的距离，包括：

在所述图像包括的深度信息中，确定所述工具对应的深度信息；

根据所述工具对应的深度信息，确定所述工具与所述目标部位之间的距离。

4.根据权利要求1所述的方法，所述根据所述深度信息、所述触摸操作以及所述触摸操作的力度，将渲染数据叠加渲染到所述目标部位的图像上，包括：

响应于所述用户触发的选择操作，获取所述目标部位对应的渲染数据；

将所述目标部位在所述图像中的位置确定为所述渲染数据的渲染位置；

根据所述深度信息、所述触摸操作以及所述触摸操作的力度,将所述渲染数据叠加渲染到所述渲染位置上。

5.根据权利要求4所述的方法，所述根据所述深度信息、所述触摸操作以及所述触摸操作的力度,将所述渲染数据叠加渲染到所述渲染位置上，包括：

在所述图像包括的深度信息中，确定所述渲染位置对应的深度信息；

根据所述渲染位置对应的深度信息、所述触摸操作以及所述触摸操作的力度，将所述渲染数据叠加渲染到所述渲染位置上。

6.根据权利要求1至5中任一项所述的方法，所述触摸操作包括所述用户对目标部位触发的化妆操作，所述目标部位包括人体中的任一部位，所述渲染数据对应于所述用户选择的化妆品。

7.一种交互方法，包括：

响应于用户触发的拍摄操作，实时拍摄并展示包含所述用户的目标部位的图像，所述图像包括深度信息；

响应于所述用户触发的选择操作，获取与所述选择操作对应的渲染数据；

根据所述图像包括的所述深度信息，确定所述用户对所述目标部位触发触摸操作以及所述触摸操作的力度；

根据所述深度信息、所述触摸操作以及所述触摸操作的力度，将所述渲染数据叠加渲染到所述目标部位的图像上。

8.一种交互系统，包括：

终端设备，用于响应于用户触发的拍摄操作，实时拍摄并发送包含所述用户的目标部位的图像至服务器，所述图像包括深度信息，以及根据所述深度信息、所述用户对所述目标部位触发的触摸操作以及所述触摸操作的力度，将所述服务器的反馈叠加渲染到所述目标部位的图像上；

所述服务器，用于根据所述图像包括的所述深度信息，确定所述触摸操作以及所述触摸操作的力度；响应于所述用户在所述终端设备上触发的选择操作，获取与所述目标部位对应的渲染数据；发送所述渲染数据至所述终端设备上。

9.根据权利要求8所述的系统，所述服务器具体用于：根据所述图像包括的深度信息确定工具与所述目标部位之间的距离，所述用户使用所述工具触发所述触摸操作；以及若所述距离符合设定范围，则确定所述用户对目标部位触发触摸操作。

10.根据权利要求9所述的系统，所述服务器具体用于：在所述图像包括的深度信息中，确定所述工具对应的深度信息；以及根据所述工具对应的深度信息，确定所述工具与所述目标部位之间的距离。

11.根据权利要求8所述的系统，所述服务器具体用于：将所述目标部位在所述图像中的位置确定为所述渲染数据的渲染位置；以及在所述图像包括的深度信息中，确定所述渲染位置对应的深度信息；

所述终端设备具体用于：根据所述渲染位置对应的深度信息、所述触摸操作以及所述触摸操作的力度，将所述渲染数据叠加渲染到所述渲染位置上。

12.根据权利要求8至11中任一项所述的系统，所述触摸操作包括所述用户对目标部位触发的化妆操作，工具包括所述用户的手指或棒状物体，所述目标部位包括人体中的任一部位，所述渲染数据对应于所述用户选择的化妆品。

13.一种图像处理装置，包括：

展示模块，用于对实时采集的目标部位的图像进行展示，所述图像包括深度信息，所述目标部位为用户的任一部位；

确定模块，用于根据所述图像包括的所述深度信息，确定所述用户对所述目标部位触发触摸操作以及所述触摸操作的力度；

渲染模块，用于根据所述深度信息、所述触摸操作以及所述触摸操作的力度，将渲染数据叠加渲染到所述目标部位的图像上。

14.一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的图像处理方法。

15.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至6中任一项所述的图像处理方法。

16.一种交互装置，包括：

展示模块，用于响应于用户触发的拍摄操作，实时拍摄并展示包含所述用户的目标部位的图像，所述图像包括深度信息；

获取模块，用于响应于所述用户触发的选择操作，获取与所述选择操作对应的渲染数据；

确定模块，用于根据所述图像包括的所述深度信息，确定所述用户对所述目标部位触发触摸操作以及所述触摸操作的力度；

渲染模块，用于根据所述深度信息、所述触摸操作以及所述触摸操作的力度，将所述渲染数据叠加渲染到所述目标部位的图像上。

17.一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求7所述的交互方法。

18.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求7所述的交互方法。