CN110298326A - 一种图像处理方法及装置、存储介质与终端 - Google Patents

Abstract

本公开提供一种图像处理方法及装置、存储介质与终端。该方法包括：对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像，然后，将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像，从而，根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像，进而，根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。本公开的方法，提高了虚拟形象与真人图像之间的匹配程度，并提高了虚拟形象的生成效率。

Description

一种图像处理方法及装置、存储介质与终端

技术领域

本公开涉及图像处理技术，尤其涉及一种图像处理方法及装置、存储介质与终端。

背景技术

随着智能终端的普及与视觉特效技术的不断发展，越来越多的应用程序关注于为用户提供更加个性化与更佳视觉感受的视觉特效。

在根据人像生成该人像的虚拟形象的特效应用场景中，需要对人像的五官分别进行处理，以在多个不同类型的虚拟五官素材中进行匹配，并将最终匹配得到的虚拟五官素材进行组合得到其虚拟形象。其中，现有技术中，是通过直接获取真人五官图像与虚拟五官素材的特征相似度的方式，来确定真人五官图像对应的虚拟五官素材的。

由于真人五官图像与虚拟五官素材在呈现方式及风格方面都有较大的不同，因此，直接以二者的特征相似度进行匹配，导致匹配结果的准确率较低，从而导致虚拟形象与真人图像匹配程度较差的问题。并且，由于二者的特征提取算法亦不相同，这也导致了数据处理量的增加，影响虚拟形象的生成效率。

发明内容

本公开提供一种图像处理方法及装置、存储介质与终端，用以提高虚拟形象与真人图像之间的匹配程度，并提高虚拟形象的生成效率。

第一方面，本公开提供一种图像处理方法，包括：

对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像；

将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像；

根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像；

根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。

第二方面，本公开提供一种图像处理装置，包括：

拆分模块，用于对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像；

匹配模块，用于将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像；

确定模块，用于根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像；

生成模块，用于根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。

第三方面，本公开提供一种图像处理装置，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。

第四方面，本公开提供一种终端，包括：

图像处理装置，用于实现如第一方面所述的方法；

终端主体。

第五方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如第一方面所述的方法。

本公开提供的一种图像处理方法及装置、存储介质与终端，通过对待处理图像进行拆分得到局部图像，然后，通过对真人图像(局部图像)与真人图像(候选真实图像)进行图像匹配来确定目标真实图像，这种匹配方式，是在同类别的、具备相同呈现方式的真人图像之间实现，因此，匹配过程的准确率较高；在此基础上，本方案通过预设的真实图像与虚拟图像之间的对应关系，来确定目标真实图像对应的虚拟图像，由此，即可得到目标虚拟图像，在此过程中，无需对虚拟图像作调整提取或与真人进行匹配计算，避免了这部分处理工作导致的数据处理量的增加的问题，提高了虚拟形象的生成效率。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1为现有技术中的视觉特效显示效果示意图；

图2为本公开实施例所提供的一种终端的架构示意图；

图3为本公开实施例所提供的一种图像处理方法的流程示意图；

图4为本公开实施例所提供的另一种图像处理方法的流程示意图；

图5为本公开实施例所提供的另一种图像处理方法的流程示意图；

图6为本公开实施例所提供的一种图像处理装置的功能方块图；

图7为本公开实施例所提供的一种图像处理装置的实体结构示意图；

图8为本公开实施例所提供的一种图像处理装置的实体结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开具体的应用场景为：为图像中的人像生成虚拟形象的场景。

如前所述，现有的图像处理方法是通过直接对真人五官图像与虚拟五官素材进行特征匹配的，而受限于虚拟五官素材可以有不同的风格及呈现方式，例如，可以包括水墨风格、油画风格等，基于这种不同，同一个真人五官素材在不同风格的虚拟五官素材中的表现形式是不同的，因此，直接获取真人五官图像与虚拟五官素材的特征匹配度，并不能得到匹配度较高的匹配结果，这也导致由此生成的虚拟形象与真实的人像之间的匹配度较差。

以及，在前述处理过程中，还需要针对不同风格的虚拟五官素材设计各自的特征提取算法，并按照各自的特征提取算法执行针对各虚拟五官素材的特征提取之后，再进行前述特征匹配，这导致匹配过程的工作量巨大，严重影响了匹配效率与虚拟形象的生成效率。尤其是，一些可能的设计中，当需要生成多个不同风格的虚拟形象时，针对虚拟五官素材进行特征提取的工作量将成倍增加，严重影响虚拟形象的生成效率。

本公开提供的技术方案，旨在解决现有技术的如上技术问题，并提出如下解决思路：提前预设真实图像与虚拟图像(素材)之间的对应关系，如此，在执行二者的匹配时，仅需要执行人像的局部图像与前述预设的真实图像之间的图像匹配，再在匹配后根据对应关系来确定目标虚拟图像。如此，避免真实图像与虚拟图像直接匹配导致的匹配程度低的问题，亦通过预设的对应关系，避免了针对虚拟图像的繁琐计算，有利于提高处理效率。

本公开提供的图像处理方法，可以适用于图1所示的终端中。如图1所示，终端100中包含：终端主体110与图像处理装置600，其中，图像处理装置600用于执行该图像处理方法。

本公开实施例对于终端主体所包含的组件无特别限制。在一种实际的实现场景中，可以包括以下一个或多个组件：处理组件，存储器，电源组件，多媒体组件，音频组件，输入/输出(I/O)接口，传感器组件，以及通信组件。

而本公开实施例所涉及到的终端可以是无线终端也可以是有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以经无线接入网(Radio AccessNetwork，简称RAN)与一个或多个核心网设备进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。再例如，无线终端还可以是个人通信业务(Personal Communication Service，简称PCS)电话、无绳电话、会话发起协议(Session Initiation Protocol，简称SIP)话机、无线本地环路(Wireless Local Loop，简称WLL)站、个人数字助理(Personal Digital Assistant，简称PDA)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(SubscriberStation)，移动站(Mobile Station)、移动台(Mobile)、远程站(Remote Station)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(User Terminal)、用户代理(User Agent)、用户设备(User Device or User Equipment)，在此不作限定。可选的，上述终端设备还可以是智能手表、平板电脑等设备。

下面以具体地实施例对本公开的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

实施例一

本公开实施例提供了一种图像处理方法。请参考图2，该方法包括如下步骤：

S202，对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像。

其中，待处理图像可以为实时采集到的图像，或者，也可以是存储的历史图像。以及，该待处理图像可以针对单张图像实现，也可以针对多媒体图像，如视频图像等实现。

该步骤是考虑到，待处理图像中包含的特征较多，因此对其进行拆分，并针对拆分后的局部特征分别来确定各局部特征对应的目标虚拟图像，进而生成虚拟形象。这种拆分有利于实现对待处理图形的分散化处理，并且，相较于完整处理的方式，拆分处理更有利于提高匹配效果的准确率。

此外，需要说明的是，本公开实施由此得到的局部图像的数目为至少一个。换言之，这种设计包含针对待处理图像中的人脸进行完全拆分的情况，例如，拆分为眼睛、眉毛、鼻子、嘴巴、脸型、耳朵和头发；也包含了仅针对待处理图像中的人脸进行局部区域拆分处理的情况，例如，可以将将人脸中的眼睛区域的图像拆分提取出来，作为局部图像。

又例如，一种可能的设计中，可以针对整个待处理图像，按照人像的身体部位进行拆分，得到各身体部分图像，以作为局部图像。另一种可能的设计中，可以针对待处理图像中人像的人脸器官仅限拆分，得到人脸五官图像，以作为局部图像。另一种可能的设计中，可以同时按照人像的身体部位与人脸器官进行图像拆分。

如前所述，该步骤在进行处理时，可根据实际场景及需要自定义设计局部图像的拆分原则，不再赘述。

S204，将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像。

该步骤实际为两种真实图像之间的图像匹配。同样以针对眼睛的匹配情况为例，该步骤得到的局部图像为待处理图像中的真实的人眼图像，而预设的候选真实图像实际也表现为真实的人眼图像。如此，在执行二者的图像匹配时，不涉及不同画风风格的图像的匹配过程以及由此导致的匹配情况较差的问题，提高了匹配准确率。

S206，根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像。

具体的，前一步骤中所涉及到的各候选真实图像，即为该对应关系中的真实图像。所述“候选”用于指示当其进行前述匹配过程时，作为候选真实图像来确定目标真实图像。同样的，“目标”用于指示与前述局部图像相匹配的那个真实图像。

该步骤中，实质是将目标真实图像作为中介，获取目标真实图像对应的虚拟图像，以作为所述局部图像对应的目标虚拟图像。

S208，根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。

具体而言，在该步骤中，仅需要根据所述待处理图像，将获取到的目标虚拟图像自身，或结合所述待处理图像，生成虚拟形象即可。

如此，通过对真人图像(局部图像)与真人图像(候选真实图像)进行图像匹配来确定目标真实图像，这种匹配方式，是在同类别的、具备相同呈现方式的真人图像之间实现，因此，匹配过程的准确率较高；在此基础上，本方案通过预设的真实图像与虚拟图像之间的对应关系，来确定目标真实图像对应的虚拟图像，由此，即可得到目标虚拟图像，在此过程中，无需对虚拟图像作调整提取或与真人进行匹配计算，避免了这部分处理工作导致的数据处理量的增加的问题，提高了虚拟形象的生成效率。

以下，对图2所示各步骤的实现方式，作进一步说明。

首先，在执行S202中对待处理图像进行拆分的步骤时，本公开实施例至少给出如下两种实现方案：

一种实现方式中，利用关键点识别技术识别所述待处理图像中的关键点，然后，根据所述关键点，对所述待处理图像进行拆分，得到所述局部图像。

其中，关键点是指待处理图像中直接影响图像内容的表现形式的像素点。举例说明，假设人脸五官中的嘴巴所在的区域的图像为拆分出的局部图像，对嘴巴图像进行关键点识别，可识别出其中的两个嘴角所在像素点、上下唇峰所在像素点(仅用于举例，实际场景中可能不同)等，这些像素点直接影响了嘴巴的表现形式，可作为嘴巴这一局部图像的局部关键点。

具体而言，在实现时，可利用训练好的关键点识别模型来实现该识别步骤。其中，训练好的关键点识别模型的输入为图像，输出为图像中的关键点。如此，应用于本方案时，可将所述待处理图像作为关键点识别模型的输入，获取所述关键点识别模型的输出，即可得到所述待处理图像的所述关键点。此外，该关键点识别模型还可以用于针对局部图像的关键点识别。

基于前述处理后，可根据各关键点的聚集情况，直接对待处理图形进行拆分，得到局部图像。

另一种实现方式中，直接利用训练好的拆分网络模型对待处理图像进行处理。

其中，训练好的拆分网络模型的输入为图像，输出为拆分好的局部图像。也就是，将待处理图像输入拆分网络模型，并获取拆分网络模型输出的局部图像即可。

此外，需要说明的是，本公开实施例对于前述关键点识别模型与拆分网络模型的模型类别无特别限定，可以通过循环网络模型、对抗网络学习模型等任意形式的深度学习模型实现。本公开实施例对模型的训练过程亦不再赘述。

请参考图3与图4所示流程，本公开实施例给出了S204所示步骤的实现方式：

S2042，获取所述局部图像的局部特征向量。

本公开实施例中，考虑到局部图像中所显示内容在图像深度方面并不相同，因此，在执行该步骤时，可通过如图4所示的至少一种实现方式，来获取局部特征向量。

在如图4所示的一种设计中，当图像深度对局部图像的影响较小时，可以忽略图像深度对局部特征向量的影响。此时，S2042可通过如下步骤实现：

S2042-22，获取所述局部图像的局部关键点。

如前所述，该步骤可以通过关键点识别模型来实现。此外，若前述S202步骤中已经识别出了所述待处理对象的关键点，则在执行该步骤时，仅需要利用前一步骤的处理结果即可，无需重复获取。

S2042-24，对所述局部关键点进行曲线拟合，得到局部拟合曲线。

如前所述，关键点对局部图像的表现形式有关，因此，通过曲线拟合，可得到局部图像的轮廓。例如，针对嘴巴的局部拟合曲线，可以得到嘴巴的轮廓形状。

此外，需要说明的是，由此得到的局部拟合曲线的数目为至少一条。例如，针对眼睛的局部拟合曲线则可以表现为至少两条，这至少两条局部拟合曲线可用于表征出眼睛的轮廓形状。

S2042-26，根据所述局部拟合曲线，获取各所述局部关键点的曲率。

具体而言，各局部关键点的曲率即为各局部关键点在自身所在局部拟合曲线中的导数。其中，曲率用以表明该局部关键点的弯曲程度。

S2042-28，根据各所述局部关键点的所述曲率，得到所述局部图像的局部特征向量。

换言之，将各局部关键点的曲率，按照一定的顺序排序组合成向量，即可得到所述局部图像的局部特征向量。

前述特征提取方式是在忽略了图像深度的前提下实现的，可实现针对二维平面内容的处理。例如，在形成整个人脸的虚拟形象时，该处理方式更适用于针对眉毛、嘴巴、眼睛等较为平面显示内容的处理。

在如图4所示的另一种设计中，则可以进一步考虑图像深度对图像表现形式的影响。此时，S2042可通过如下步骤实现：

S2042-4，提取所述局部图像中的方向梯度直方图(Histogram of OrientedGradient，HOG)特征，以作为所述局部特征向量。

其中，HOG特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。

其在具体实现时，首先将局部图像进行归一化处理，然后，再计算局部图像在横坐标与纵坐标方向上的梯度数据，从而，计算得到每个像素位置的梯度方向值，然后，再基于各像素在梯度方向值，来构建梯度方向的直方图。再在各梯度直方图上，把各个细胞单元组合成大的、空间上连通的区间。这样，HOG描述符就变成了由各区间所有细胞单元的直方图成分所组成的一个向量。如此，得到HOG特征，也就得到了所述局部特征向量。

需要说明的是，如图4所示的两种实现方案可以单独执行，亦可以结合执行。

S2044，获取各所述候选真实图像的候选特征向量。

在前述步骤中，针对各候选真实图像的候选特征向量的获取方式，本公卡实施例给出如下两种设计：

一种可能的设计中，按照获取局部特征向量的方式，实时获取各所述候选真实图像的候选特征向量。这种设计同样对数据处理效率有较高影响。

另一种可能的设计中，按照获取局部特征向量的方式，实时获取各所述候选真实图像的候选特征向量。此时，可建立各所述候选真实图像与候选特征向量之间的对应关系，从而，在执行该步骤时，可根据该对应关系来获取到各候选特征向量。或者，还可以直接将各候选真实图像以候选特征向量的方式进行存储，如此，在执行该步骤时，获取到各所述候选真实图像，也就获取到各候选特征向量。

本公开实施例对于S2042和S2044的执行时序无特别限定。例如，S2042和S2044可以按照图3所示的方式同时执行；又例如，S2042和S2044可以按照图4所示的方式顺序执行。当然，S2044亦可执行于S2042之前，本公开实施例对此无特别限定。

S2046，获取所述局部特征向量与各候选特征向量之间的匹配程度。

该步骤实质为获取两个图像的特征向量之间的匹配程度，则可以通过相似度算法，获取所述局部特征向量与各候选特征向量之间的相似度，以作为匹配程度即可。

S2048，获取匹配程度最高的候选特征向量对应的候选真实图像，以作为所述目标真实图像。

基于如图3或图4中任一实现方式，均可以通过图像与图像之间的匹配，来获取到与局部图像相匹配的一个目标真实图像。

此外，还需要说明的是，本公开实施例中，前述S206所涉及到的所述对应关系可以为一个所述真实图像与至少一个所述虚拟图像之间的对应关系。

此时，一种可能的设计中，所述对应关系为一个真实图像与一个虚拟图像之间的对应关系。

这种设计场景下实现该步骤时，将前述目标真实图像作为关联，根据该对应关系，将目标真实图像对应的目标虚拟图像，作为所述局部图像对应的目标虚拟图像即可。

或者，另一种可能的设计中，所述对应关系为一个真实图像与至少两个虚拟图像之间的对应关系，此时，所述至少两个虚拟图像中任意两个虚拟图像的绘制风格不同。本公开实施例所涉及到的绘制风格可以包括但不限于：绘制风格。

举例说明。假设现在有两套虚拟图像的素材库，素材库A中的虚拟图像A的绘制风格为油画风，而素材库B中的虚拟图像B的绘制风格为水墨风格，且，虚拟图像A与虚拟图像B都是人脸中同一种眼睛类型的素材。则在进行处理时，可以利用一个真实图像C来同时关联虚拟图像A与虚拟图像B。

在这种实现场景下，确定目标虚拟图像时，则可以有多种不同的处理方式。

一种实现方式中，可以通过预设默认的绘制风格的方式，获取默认绘制风格的虚拟图像作为目标虚拟图像。仍以真实图像C同时对应关联虚拟图像A与虚拟图像B的情况为例，此时，若预设的默认绘制风格为水墨风格，则将虚拟图像B确定为目标虚拟图像。

另一种实现方式中，可以在对应的多个虚拟图像中，根据用户的历史使用数据来选择用户使用频率更高的一种绘制风格，并将该绘制风格的虚拟图像作为目标虚拟图像。例如，若用户的历史使用数据中指示用户使用油画风格的虚拟形象更多，因此，将虚拟图像A确定为目标虚拟图像。

另一种实现方式中，可以在对应的多个虚拟图像中，随机选择一张虚拟图像作为目标虚拟图像。

另一种实现方式中，还可以将真实图像对应的所有虚拟图像都作为目标虚拟图像。这种情况下，后续可生成多种绘制风格的虚拟图像。

另一种实现方式中，可以根据用户的操作数据来选择用户指示的绘制风格，并进而确定目标虚拟图像。一种设计中，该操作数据可以来源于用户触发该图像处理方法的触发指令，例如，用户通过点击水墨风格的虚拟按钮的形式触发本方案，则将水墨风格的虚拟图像B确定为目标虚拟图像。另一种设计中，若用户未指定，则还可以在显示界面上输出可供用户选择的提示信息，并通过采集用户在该提示信息上的操作信息来确定用户指示的绘制风格，进行确定目标虚拟图像。

在这种实现方式中，若涉及到至少两个局部图像，则此时，确定的至少两个局部图像对应的目标虚拟凸显方面，还可以进一步有如下设计：

当所述局部图像的数目为至少两个时，各所述局部图像对应的所述目标虚拟图像的绘制风格相同。也就是，多个目标虚拟图像的绘制风格统一，而由此生成的虚拟形象的绘制风格是统一的。这种实现方式中，用户仅需要进行一次绘制风格或目标虚拟图像的选择即可，操作步骤较少，处理效率更高。

或者，当所述局部图像的数目为至少两个时，各所述局部图像对应的所述目标虚拟图像中，存在至少两个所述目标虚拟图像的绘制风格不同。也就是，至少存在一个目标虚拟图像与其他图像的绘制风格不统一，由此生成的虚拟形象可以包含至少两种绘制风格。这种场景能够满足用户的个性化拼接虚拟形象的需求，具备更高的灵活性。

基于前述确定的至少一个目标虚拟图像，本公开实施例给出如图5所示的至少三种生成虚拟图像的方法。

一种可能的设计中，可以直接采用替换、拼接的方式来实现虚拟图像的生成。

此时，如图5所示，S208包括如下步骤：

S208-22，在所述待处理图像中，将所述局部图像替换为所述目标虚拟图像。

S208-24，将替换后的所述虚拟形象进行拼接处理，得到所述虚拟形象。

这种实现方式对前述目标虚拟图像的数目无特别限定。

例如，若仅在待处理图像中提取除了眼睛的局部图像，则在执行该步骤时，可直接用眼睛的目标虚拟图像替换掉待处理图像中的眼睛区域的局部图像，如此，可呈现一种虚拟与现实结合的虚拟形象。

又例如，若在待处理图像中拆分出了整个人脸的局部图像，则在该步骤中，则利用各局部图像分别对应的目标虚拟图像对原始的待处理图像进行替换并拼接即可。

另一种可能的设计中，可以采用覆盖显示的方式来实现虚拟图像的生成。

此时，如图5所示，S208包括如下步骤：

S208-42，根据所述局部图像在所述待处理图像中所处的位置，确定所述目标虚拟图像的目标显示位置。

S208-44，根据所述目标显示位置，将所述目标虚拟图像覆盖显示在所述待处理图像之上，得到所述虚拟形象。

这种实现方式，在原始的待处理图像基础上实现，对原始的待处理图像无修改，只需要将目标虚拟图像在目标显示位置进行叠加展示即可。

同第一种实现方式，这种实现方式对前述目标虚拟图像的数目也无特别限定。

另一种可能的设计中，可以采用训练好的神经网络模型来实现虚拟图像的生成。

此时，如图5所示，S208包括如下步骤：

S208-6，将所述目标虚拟图像与所述待处理图像作为虚拟形象生成模型的输入，获取所述虚拟形象生成模型的输出，得到所述虚拟形象。

这种实现方式是利用虚拟形象生成模型实现，在执行该步骤之前，还需要对虚拟形象生成模型进行训练和学习。具体的，采用ε-SVR算法进行训练学习。通过支持向量机(Support Vector Machine，SVM)算法，进行五官位置比例的预测拟合。如此，可以使得重组后的虚拟形象更美观。

可知，如图5所示的实现方式仅用以说明如何生成虚拟形象，在具体实现时，选择其中的一种方式即可。

如此，通过前述任意一种方式生成人像的虚拟形象之后，该方法还可以包括如下步骤：

在当前显示屏幕上显示所述虚拟形象。

可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。

本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

实施例二

基于上述实施例一所提供的图像处理方法，本公开实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。

本公开实施例提供了一种图像处理装置，请参考图6，该图像处理装置600，包括：

拆分模块61，用于对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像；

匹配模块62，用于将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像；

确定模块63，用于根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像；

生成模块64，用于根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。

一种可能的设计中，所述匹配模块62，具体用于：

获取所述局部图像的局部特征向量；

获取各所述候选真实图像的候选特征向量；

获取所述局部特征向量与各候选特征向量之间的匹配程度；

获取匹配程度最高的候选特征向量对应的候选真实图像，以作为所述目标真实图像。

其中，另一种可能的设计中，所述匹配模块62，具体用于：

获取所述局部图像的局部关键点；

对所述局部关键点进行曲线拟合，得到局部拟合曲线；

根据所述局部拟合曲线，获取各所述局部关键点的曲率；

根据各所述局部关键点的所述曲率，得到所述局部图像的局部特征向量。

或者，另一种可能的设计中，所述匹配模块62，具体用于：

提取所述局部图像中的方向梯度直方图HOG特征，以作为所述局部特征向量。

另一种可能的设计中，所述生成模块64，具体用于：

在所述待处理图像中，将所述局部图像替换为所述目标虚拟图像；

将替换后的所述虚拟形象进行拼接处理，得到所述虚拟形象。

另一种可能的设计中，所述生成模块64，具体用于：

根据所述局部图像在所述待处理图像中所处的位置，确定所述目标虚拟图像的目标显示位置；

根据所述目标显示位置，将所述目标虚拟图像覆盖显示在所述待处理图像之上，得到所述虚拟形象。

另一种可能的设计中，所述生成模块64，具体用于：

将所述目标虚拟图像与所述待处理图像作为虚拟形象生成模型的输入，获取所述虚拟形象生成模型的输出，得到所述虚拟形象。

另一种可能的设计中，所述拆分模块61，具体用于：

利用关键点识别技术识别所述待处理图像中的关键点；

根据所述关键点，对所述待处理图像进行拆分，得到所述局部图像。

其中，一种可能的设计中，所述拆分模块61具体用于：

将所述待处理图像作为关键点识别模型的输入，获取所述关键点识别模型的输出，得到所述待处理图像的所述关键点。

另一种可能的设计中，所述对应关系为一个所述真实图像与至少两个所述虚拟图像之间的对应关系；

所述至少两个虚拟图像中任意两个虚拟图像的绘制风格不同。

此时，当所述局部图像的数目为至少两个时，各所述局部图像对应的所述目标虚拟图像的绘制风格相同。

此外，图像处理装置600还包括：

显示模块(图6未示出)，用于在当前显示屏幕上显示所述虚拟形象。

图6所示实施例的图像处理装置600可用于执行上述方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述，可选的，该图像处理装置600可以为终端。

应理解以上图6所示图像处理装置600的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，匹配模块62可以为单独设立的处理元件，也可以集成在图像处理装置600中，例如终端的某一个芯片中实现，此外，也可以以程序的形式存储于图像处理装置600的存储器中，由图像处理装置600的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

并且，本公开实施例提供了一种图像处理装置，请参考图7，该图像处理装置600，包括：

存储器610；

处理器620；以及

计算机程序；

其中，计算机程序存储在存储器610中，并被配置为由处理器620执行以实现如上述实施例所述的方法。

其中，图像处理装置600中处理器620的数目可以为一个或多个，处理器620也可以称为处理单元，可以实现一定的控制功能。所述处理器620可以是通用处理器或者专用处理器等。在一种可选地设计中，处理器620也可以存有指令，所述指令可以被所述处理器620运行，使得所述图像处理装置600执行上述方法实施例中描述的方法。

在又一种可能的设计中，图像处理装置600可以包括电路，所述电路可以实现前述方法实施例中发送或接收或者通信的功能。

可选地，所述图像处理装置600中存储器610的数目可以为一个或多个，存储器610上存有指令或者中间数据，所述指令可在所述处理器620上被运行，使得所述图像处理装置600执行上述方法实施例中描述的方法。可选地，所述存储器610中还可以存储有其他相关数据。可选地处理器620中也可以存储指令和/或数据。所述处理器620和存储器610可以单独设置，也可以集成在一起。

此外，如图7所示，在该图像处理装置600中还设置有收发器630，其中，所述收发器630可以称为收发单元、收发机、收发电路、或者收发器等，用于与测试设备或其他终端设备进行数据传输或通信，在此不再赘述。

如图7所示，存储器610、处理器620与收发器630通过总线连接并通信。

若该图像处理装置600用于实现对应于图2中的方法时，处理器620用于完成相应的确定或者控制操作，可选的，还可以在存储器610中存储相应的指令。各个部件的具体的处理方式可以参考前述实施例的相关描述。

此外，在另一个可能的设计中，请参考图8，该图像处理装置600中还可以进一步设置：图像采集装置640与显示装置650；

其中，图像采集装置640，用于采集所述待处理图像；

显示装置650，用于显示所述待处理图像与所述虚拟形象。

其中，图像采集装置640包括任意可以采集到多媒体图像的装置，如摄像头；而显示装置650的表现形式可以包括但不限于：终端屏幕、投影显示装置、其他与终端相连接的便携式显示装置等。

此外，本公开实施例提供了一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现如实施例一所述的方法。

以及，本公开实施例提供了一种终端，请参考图1，该终端包括：图像处理装置600与终端主体110。

其中，终端主体110中一般还配置有图像采集装置(如摄像头)与显示装置(如显示屏)等。此时，如图8所示的图像处理装置600中的图像采集装置和/或显示装置可以复用终端已有的设备。

由于本实施例中的各模块能够执行实施例一所示的方法，本实施例未详细描述的部分，可参考对实施例一的相关说明。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像；

将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像；

根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像；

根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。

2.根据权利要求1所述的方法，其特征在于，所述将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像，包括：

获取所述局部图像的局部特征向量；

获取各所述候选真实图像的候选特征向量；

获取所述局部特征向量与各候选特征向量之间的匹配程度；

获取匹配程度最高的候选特征向量对应的候选真实图像，以作为所述目标真实图像。

3.根据权利要求2所述的方法，其特征在于，所述获取所述局部图像的局部特征向量，包括：

获取所述局部图像的局部关键点；

对所述局部关键点进行曲线拟合，得到局部拟合曲线；

根据所述局部拟合曲线，获取各所述局部关键点的曲率；

根据各所述局部关键点的所述曲率，得到所述局部图像的局部特征向量。

4.根据权利要求2所述的方法，其特征在于，所述获取所述局部图像的局部特征向量，包括：

提取所述局部图像中的方向梯度直方图HOG特征，以作为所述局部特征向量。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标虚拟图像，生成所述待处理图像的虚拟形象，包括：

在所述待处理图像中，将所述局部图像替换为所述目标虚拟图像；

将替换后的所述虚拟形象进行拼接处理，得到所述虚拟形象。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标虚拟图像，生成所述待处理图像的虚拟形象，包括：

根据所述局部图像在所述待处理图像中所处的位置，确定所述目标虚拟图像的目标显示位置；

根据所述目标显示位置，将所述目标虚拟图像覆盖显示在所述待处理图像之上，得到所述虚拟形象。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标虚拟图像，生成所述待处理图像的虚拟形象，包括：

将所述目标虚拟图像与所述待处理图像作为虚拟形象生成模型的输入，获取所述虚拟形象生成模型的输出，得到所述虚拟形象。

8.根据权利要求1所述的方法，其特征在于，所述对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像，包括：

利用关键点识别技术识别所述待处理图像中的关键点；

根据所述关键点，对所述待处理图像进行拆分，得到所述局部图像。

9.根据权利要求8所述的方法，其特征在于，所述利用关键点识别技术识别所述待处理图像中的关键点，包括：

将所述待处理图像作为关键点识别模型的输入，获取所述关键点识别模型的输出，得到所述待处理图像的所述关键点。

10.根据权利要求1所述的方法，其特征在于，所述对应关系为一个所述真实图像与至少两个所述虚拟图像之间的对应关系；

所述至少两个虚拟图像中任意两个虚拟图像的绘制风格不同。

11.根据权利要求10所述的方法，其特征在于，当所述局部图像的数目为至少两个时，各所述局部图像对应的所述目标虚拟图像的绘制风格相同。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在当前显示屏幕上显示所述虚拟形象。

13.一种图像处理方法，其特征在于，包括：

拆分模块，用于对包含人像的待处理图像进行拆分，得到所述待处理图像的局部图像；

匹配模块，用于将所述局部图像与预设的候选真实图像进行图像匹配，得到所述局部图像对应的目标真实图像；

确定模块，用于根据预设的真实图像与虚拟图像之间的对应关系与所述目标真实图像，确定所述局部图像对应的目标虚拟图像；

生成模块，用于根据所述目标虚拟图像与所述待处理图像，生成所述待处理图像的虚拟形象。

14.一种图像处理装置，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-12任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1-12任一项所述的方法。