CN105096353B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理方法及装置，所述方法包括:获取原始图像以及原始图像中预设区域的定位标记点；根据定位标记点，生成预设区域的位置比例信息；根据定位标记点，获取与预设区域相匹配的目标素材及目标素材的位置比例信息；根据预设区域的位置比例信息，调整目标素材的位置比例信息，得到调整位置比例信息后的目标素材；以及根据调整位置比例信息后的目标素材，生成与原始图像相匹配的目标图像。本发明避免目标图像的失真，提高了目标图像的整体协调性，降低了差异度。

Description

一种图像处理方法及装置

技术领域

本发明属于互联网络技术领域，尤其涉及一种人脸图像处理方法及装置。

背景技术

随着现代生活各种时尚元素的日益丰富，以及各种便于分享个性生活的社交媒体的推波助澜，用户对各方面的需求也越来越多。

譬如，以用户分享头像为例，在虚拟网络中，用户一般会设置一个对应自己形象的头像，并在网络中将头像进行分享，以供别人观赏。由于卡通画表现出的形象较为可爱、活泼，因此较为受到用户的青睐，用户都希望能够有一个依据自己模样绘制的卡通画头像。但是由于绘制出形象生动的卡通画需要一定的美术功底，而这种需求往往很难得到满足。

基于此，用户都直接采用卡通形象自动设计软件来设置自己的头像，卡通画头像与真人人脸是否相像的关键，除了单独器官的相似程度以外，整体的协调也是不可或缺；但是，采用卡通形象自动设计软件时，通常是基于模式识别技术从海量素材库中自动搜索最优的五官素材，然后将搜索到的五官素材直接进行生成从而得到卡通头像，但是这种直接生成得到的卡通头像存在失真，整体协调性不高，与真实头像的差异度较大。

因此，需解决现有技术中在人脸图像处理过程中，存在处理结果失真，整体协调性不高，差异度较大的问题。

发明内容

本发明的目的在于提供一种图像处理方法及装置，旨在解决现有技术中图像处理结果失真，整体协调性不高，差异度较大的技术问题。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种图像处理方法，所述方法包括：

获取原始图像以及所述原始图像中预设区域的定位标记点；

根据所述定位标记点，生成所述预设区域的位置比例信息；

根据所述定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息；

根据所述预设区域的位置比例信息，调整所述目标素材的位置比例信息，得到调整位置比例信息后的目标素材；以及

根据调整位置比例信息后的目标素材，生成与所述原始图像相匹配的目标图像。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种图像处理装置，所述装置包括：

定位标记点获取模块，用于获取原始图像以及所述原始图像中预设区域的定位标记点；

位置比例信息生成模块，用于根据所述定位标记点，生成所述预设区域的位置比例信息；

目标素材获取模块，用于根据所述定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息；

调整模块，用于根据所述预设区域的位置比例信息，调整所述目标素材的位置比例信息，得到调整位置比例信息后的目标素材；以及

目标图像生成模块，用于根据调整位置比例信息后的目标素材，生成与所述原始图像相匹配的目标图像。

相对于现有技术，本实施例通过原始图像中预设区域的定位标记点，获取与所述预设区域相匹配的目标素材及其位置比例信息，并且生成所述预设区域的位置比例信息，从而利用所述预设区域的位置比例信息，对所述目标素材的位置比例信息进行调整，最后生成与所述原始图像相匹配的目标图像，本发明实施例中，通过原始图像的位置比例信息对目标素材进行调整，可以避免目标图像的失真，提高目标图像的整体协调性，降低差异度。

附图说明

图1是本发明实施例提供的图像处理系统的结构示意图；

图2是本发明第一实施例提供的图像处理方法的流程示意图；

图3为本发明第二实施例提供的图像处理方法的流程示意图；

图4a为本发明第三实施例提供的图像处理方法的流程示意图；

图4b至图4d为本发明第三实施例提供的图像处理示意图；

图5为本发明实施例提供的图像处理装置的结构示意图；

图6为本发明实施例提供的图像处理装置的另一结构示意图；

图7a为本发明一种应用场景提供的图像处理装置的结构示意图；

图7b为本发明一种应用场景提供的目标素材的输出格式示意图；

图7c为本发明一种应用场景提供的图像处理方法的流程示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。

在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。

本发明的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本发明的运算系统、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器系统、微电脑为主的系统、主架构型计算机、及分布式运算环境，其中包括了任何的上述系统或装置。

本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施，当然也可在硬件上进行实施，均在本发明保护范围之内。

请参阅图1，图1为本发明实施例提供的图像处理系统的结构示意图，所述图像处理系统包括客户端11以及服务器12。

其中所述客户端11是使用者为了利用网络服务而使用的通信终端装置，其可通过通信网路与所述服务器12连接。所述客户端11不仅可以由桌上型计算机构成，还可以由笔记型计算机、工作站、掌上型计算机、UMPC(Ultra Mobile Personal Computer：超移动个人计算机)、平板PC、个人数字助理(Personal Digital Assistant，PDA)、连网板(web pad)、可携式电话等具备储存单元并安装有微处理器而具有运算能力的终端机构成。

其中所述客户端11与所述服务器12之间的所述通信网路可以包括将局域网络(Local Area Network，LAN)、都会网络(Metropolitan Area Network，MAN)、广域网络(Wide Area Network，WAN)、因特网等包括在内的数据通信网络，还包括电话网络等，不分有线和无线，使用任何通信方式均无关。

而所述服务器12可以预先存储有目标素材库，其中，所述目标素材库可以为以卡通形式展示的素材或者以素描形式展示的素材或者以漫画形式展示的素材等各种展示方式的素材组成的素材库。

本发明实施例中，所述客户端11向所述服务器12发起图像处理请求，所述服务器12根据所述图像处理请求，载入一预先存储的原始图像或者获取一由用户实时拍摄输入的原始图像；所述服务器12首先将所述原始图像进行解码和检测处理，从而获取到所述原始图像中预设区域的定位标记点；且所述服务器12根据所述预设区域的定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息，同时，所述服务器12根据所述预设区域的定位标记点获取所述预设区域的位置比例信息，最后所述服务器12利用所述预设区域的位置比例信息，调整所述目标素材的位置比例信息，以得到调整位置比例信息后的目标素材，从而可以生成与所述原始图像相匹配的目标图像，且可以将其发送至客户端11进行显示。本发明实施例通过原始图像的位置比例信息对目标素材进行调整，可以最大限度地避免目标图像的失真，提高目标图像的整体协调性，降低差异度。

请参阅图2，图2是本发明第一实施例提供的图像处理方法的流程示意图。

在步骤S201中，获取原始图像以及所述原始图像中预设区域的定位标记点。

其中，在所述服务器12获取原始图像之前，所述客户端11向所述服务器12发起图像处理请求，所述服务器12根据所述图像处理请求，载入一预先存储的原始图像或者获取一由用户实时拍摄通过客户端11输入的原始图像；本发明实施例中，所述原始图像可以为人脸或者物品或者风景的真实图像。

可以理解的是，所述服务器12获取到所述原始图像之后，首先将所述原始图像进行解码和检测处理，从而可以获取到所述原始图像中预设区域的定位标记点；譬如：若所述原始图像为人脸图像，则所述原始图像的预设区域可以为人脸图像的器官的区域，所述服务器12获取到所述人脸图像后，对其进行解码，并检测出所述人脸图像中人脸区域加以框定，采用器官定位算法计算获取到人脸各器官的定位标记点，如可以根据人脸的梯度信息获取到人脸各器官区域的定位标记点，所述各器官区域的定位标记点可以为各器官的轮廓标记点。

另容易想到的是，本发明实施例中获取定位标记点的方法可以多种，如根据梯度信息等其他现有的定位算法进行获取，此处对其具体实现不做阐述。

在步骤S202中，根据所述定位标记点，生成所述预设区域的位置比例信息。

在某些实施方式中，可以根据所述定位标记点，获取所述预设区域中心的坐标点以及所述预设区域的大小，以作为所述预设区域的位置比例信息；譬如：当所述定位标记点为器官的轮廓标记点时，以眼睛轮廓标记点为例，获取眼睛区域中心的坐标点以及获取眼睛区域最左和最后标记点的距离大小，以作为眼睛区域的位置比例信息。

在步骤S203中，根据所述定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息。

其中，所述服务器12的数据库中可以预先设置目标素材库，所述目标素材库可以为以卡通形式展示的素材或者以素描形式展示的素材或者以漫画形式展示的素材等各种展示方式的素材组成的素材库，此处不作具体限定。

容易想到的是，本发明实施例中获取与所述预设区域相匹配的目标素材的方法可以多种，若以原始图像为人脸图像为例，根据所述定位标记点，所述服务器12可以基于人脸信息直接自动绘制目标素材，或者可以基于模式识别技术从预置的目标素材库中自动搜索最优的器官素材，或者可以用户根据个人判断或者个人喜好手动从目标素材库中选取等，此处对其具体实现不做具体描述。

另外，本发明实施例中，所述目标素材的位置比例信息可以通过所述目标素材携带的对应的配置文件中获取，例如所述目标素材库的目标素材，携带有所述目标素材的位置比例信息，所述服务器12在获取目标素材时可以一并获取；或者，所述目标素材库的目标素材，携带有所述目标素材的定位标记点，所述服务器12在获取定位标记点后，根据所述定位标记点，生成所述目标素材的位置比例信息，本实施例对所述目标素材的位置比例信息的获取不作具体限定。

可以理解的是，在本发明实施例中，可以先执行步骤S202，再执行步骤S203，也可以先执行步骤S203，再执行步骤S202，也可以同时执行步骤S202和步骤S203，本实施例对步骤S202和步骤S203的执行先后顺序不作具体限定。

在步骤S204中，根据所述预设区域的位置比例信息，调整所述目标素材的位置比例信息，得到调整位置比例信息后的目标素材。

所述服务器12在获取到所述预设区域的位置比例信息和所述目标素材的位置比例信息后，首先对所述预设区域的位置比例信息和所述目标素材的位置比例信息进行差别计算，生成比例差异值。

进一步地，为了使得到的目标图像(如卡通图像)保留其特定的画风和美学特征，可以对所述预设区域的位置比例信息和所述目标素材的位置比例信息的差异(即所述比例差异值)进行一些美学约束；优选地，可以根据预设阈值范围，调整所述比例差异值，以使得所述比例差异值在所述预设阈值范围内；以及根据调整后的比例差异值，调整所述目标素材，得到调整位置比例信息后的目标素材。

在步骤S205中，根据调整位置比例信息后的目标素材，生成与所述原始图像相匹配的目标图像。

在某些实施方式中，若所述原始图像为人脸图像，则所述服务器12可以根据调整位置比例信息后的各目标器官素材，生成与所述原始图像相匹配的目标图像；进一步地，所述服务器12可以将生成的与所述原始图像相匹配的目标图像发送至客户端11，由所述客户端11进行显示或者分享。

可以理解的是，所述目标图像的展示形式与所述目标素材相关，如若所述目标素材为卡通素材，则生成的目标图像为卡通图像，若所述目标素材为素描素材，则生成的目标图像为素描图像等；所述目标图像的图像内容与所述原始图像相关，如若所述原始图像为人脸图像，则所述目标图像也为人脸图像，若所述原始图像为物品图像，则所述目标图像也为物品图像。

由上述可知，本实施例中，通过原始图像中预设区域的定位标记点，获取与所述预设区域相匹配的目标素材及其位置比例信息，并且生成所述预设区域的位置比例信息，从而利用所述预设区域的位置比例信息，对所述目标素材的位置比例信息进行调整，最后生成与所述原始图像相匹配的目标图像，本发明实施例中，通过原始图像的位置比例信息对目标素材进行调整，可以避免目标图像的失真，提高目标图像的整体协调性，降低差异度。

请参阅图3，图3为本发明第二实施例提供的图像处理方法的流程示意图。

在步骤S301中，获取原始图像以及所述原始图像中预设区域的定位标记点。

其中，在所述服务器12获取原始图像之前，所述客户端11向所述服务器12发起图像处理请求，所述服务器12根据所述图像处理请求，载入一预先存储的原始图像或者获取一由用户实时拍摄通过客户端11输入的原始图像；本发明实施例中，所述原始图像可以为人脸或者物品或者风景的真实图像。

可以理解的是，所述服务器12获取到所述原始图像之后，首先将所述原始图像进行解码和检测处理，从而可以获取到所述原始图像中预设区域的定位标记点；譬如：若所述原始图像为人脸图像，则所述原始图像的预设区域可以为人脸图像的器官的区域，所述服务器12获取到所述人脸图像后，对其进行解码，并检测出所述人脸图像中人脸区域加以框定，采用器官定位算法计算获取到人脸各器官的定位标记点，如可以根据人脸的梯度信息获取到人脸各器官区域的定位标记点，所述各器官区域的定位标记点可以为各器官的轮廓标记点。

另容易想到的是，本发明实施例中获取定位标记点的方法可以多种，如根据梯度信息等其他现有的定位算法进行获取，此处对其具体实现不做阐述。

在步骤S302中，根据所述定位标记点，生成所述预设区域的位置比例信息。

在某些实施方式中，可以根据所述定位标记点，获取所述预设区域中心的坐标点以及所述预设区域的大小，以作为所述预设区域的位置比例信息；譬如：当所述定位标记点为器官的轮廓标记点时，以眼睛轮廓标记点为例，获取眼睛区域中心的坐标点以及获取眼睛区域最左和最后标记点的距离大小，以作为眼睛区域的位置比例信息。

在步骤S303中，根据所述定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息。

其中，所述服务器12的数据库中可以预先设置目标素材库，所述目标素材库可以为以卡通形式展示的素材或者以素描形式展示的素材或者以漫画形式展示的素材等各种展示方式的素材组成的素材库，此处不作具体限定。

容易想到的是，本发明实施例中获取与所述预设区域相匹配的目标素材的方法可以多种，若以原始图像为人脸图像为例，根据所述定位标记点，所述服务器12可以基于人脸信息直接自动绘制目标素材，或者可以基于模式识别技术从预置的目标素材库中自动搜索最优的器官素材，或者可以用户根据个人判断或者个人喜好手动从目标素材库中选取等，此处对其具体实现不做具体描述。

另外，本发明实施例中，所述目标素材的位置比例信息可以通过所述目标素材携带的对应的配置文件中获取，例如所述目标素材库的目标素材，携带有所述目标素材的定位标记点，所述服务器12在获取定位标记点后，根据所述定位标记点，生成所述目标素材的位置比例信息，本实施例对所述目标素材的位置比例信息的获取不作具体限定。

可以理解的是，在本发明实施例中，可以先执行步骤S302，再执行步骤S303，也可以先执行步骤S303，再执行步骤S302，也可以同时执行步骤S302和步骤S303，本实施例对步骤S302和步骤S303的执行先后顺序不作具体限定。

在步骤S304中，对所述预设区域的位置比例信息和所述目标素材的位置比例信息进行差别计算，生成比例差异值。

所述服务器12在获取到所述预设区域的位置比例信息和所述目标素材的位置比例信息后，对位置比例信息进行差别计算。

在步骤S305中，根据预设阈值范围，调整所述比例差异值，以使得所述比例差异值在所述预设阈值范围内。

可以理解的是，为了使得到的目标图像(如卡通图像)保留其特定的画风和美学特征，可以对所述预设区域的位置比例信息和所述目标素材的位置比例信息的差异(即所述比例差异值)进行一些美学约束。所述服务器12可以预先设定阈值范围对所述比例差异值进行调整。

在步骤S306中，从所述比例差异值中提取移动向量参数和放缩比例参数。

在步骤S307中，根据所述移动向量参数和所述放缩比例参数，生成仿射变换矩阵。

在步骤S308中，根据所述仿射变换矩阵对所述目标素材进行仿射变换。

在步骤S309中，获取进行仿射变换的目标素材，以作为调整位置比例信息后的目标素材。

可以理解的是，所述步骤S306至所述步骤S309是指根据调整后的比例差异值对所述目标素材的调整可以基于一些变换参数进行计算。其中，进行仿射变换的参考点可以设定为对应预设区域的中心点。

在步骤S310中，根据调整位置比例信息后的目标素材，生成与所述原始图像相匹配的目标图像。

在某些实施方式中，若所述原始图像为人脸图像，则所述服务器12可以根据调整位置比例信息后的各目标器官素材，生成与所述原始图像相匹配的目标图像；进一步地，所述服务器12可以将生成的与所述原始图像相匹配的目标图像发送至客户端11，由所述客户端11进行显示或者分享。

由上述可知，本实施例中，通过原始图像中预设区域的定位标记点，获取与所述预设区域相匹配的目标素材及其位置比例信息，并且生成所述预设区域的位置比例信息，从而利用所述预设区域的位置比例信息，对所述目标素材的位置比例信息进行调整，最后生成与所述原始图像相匹配的目标图像，本发明实施例中，通过原始图像的位置比例信息对目标素材进行调整，可以避免目标图像的失真，提高目标图像的整体协调性，降低差异度。进一步地，增加美学约束条件调整目标素材，可以使得到的目标图像与原始图像相似度更高。

请参阅图4a，图4a为本发明第三实施例提供的图像处理方法的流程示意图，在所述第三实施例中，所述原始图像为真实人脸图像(以下简称人脸图像)，所述预设区域可以为所述真实人脸图像中的器官区域，所述目标图像为卡通人脸图像，以及所述目标素材为卡通器官素材。

在步骤S401中，获取人脸图像以及所述人脸图像中器官区域的定位标记点。

其中，在所述服务器12获取所述人脸图像之前，所述客户端11向所述服务器12发起图像处理请求，所述服务器12根据所述图像处理请求，载入一预先存储的真实的人脸图像或者获取一由用户实时拍摄通过客户端11输入的人脸图像。

所述服务器12获取到所述人脸图像后，对其进行解码，并检测出所述人脸图像中人脸区域加以框定，采用器官定位算法计算获取到人脸各器官的定位标记点，如图4b所示，为标定了定位标记点的人脸图像示意；可选地，可以根据人脸的梯度信息获取到人脸各器官区域的定位标记点，所述器官区域的定位标记点用于表示真实的人脸信息，可以具体包括眼睛中心点、眼睛轮廓点、眉毛轮廓点、鼻子轮廓点、嘴巴中心点、嘴巴轮廓点、脸型轮廓点以及发型轮廓点等，其中，眼睛中心点和嘴巴中心点用于简要表示人脸的朝向和大小。

另容易想到的是，获取人脸图像中器官区域的定位标记点的方法可以多种，如可以根据人脸的梯度信息等其他现有的定位算法进行获取，本发明实施例中仅以此为例进行说明，对其具体实现不做阐述。

在步骤S402中，根据所述人脸图像中器官区域的定位标记点，生成所述人脸图像中器官区域的位置比例信息。

在该实施方式中，可以根据所述人脸图像中器官区域的定位标记点，获取人脸图像中器官区域的中心的坐标点以及器官区域的大小，以作为所述人脸图像中器官区域的位置比例信息；以下针对人脸图像中各器官区域的位置比例信息的计算进行简单分析：

首先，以双眼的中心为坐标原点，双眼连线为x轴建立笛卡尔坐标系；以双眼距离为参考距离，通过坐标系中各点的坐标除以此参考距离，重新标定各定位标记点的坐标，即统一将各定位标记点以与双眼距离的相对值来计算位置比例信息；标定完后，对于脸型轮廓点，获取其最左以及最右轮廓点的距离作为脸的宽度，以及获取双眼中心到下巴轮廓最低点的距离作为脸的长度，以此刻画脸的大小；对于眉毛轮廓点，获取眉毛区域中心的坐标点以及最左和最右轮廓点的距离，作为眉毛区域的位置比例信息；对于眼睛轮廓点，获取眼睛区域中心的坐标点以及最左和最右轮廓点的距离，作为眼睛区域的位置比例信息；对于鼻子轮廓点，获取鼻子中心的坐标点以及最左和最右轮廓点的距离，作为鼻子区域的位置比例信息；对于嘴巴轮廓点，获取嘴巴中心的坐标点以及最左和最右轮廓点的距离，作为嘴巴区域的位置比例信息。

可以理解的是，若保证卡通器官素材的长度与宽度生比例进行放缩，则获取器官区域大小时，只获取一个维度上的距离，如宽度距离即可。

在步骤S403中，根据所述人脸图像中器官区域的定位标记点，获取与所述人脸图像中器官区域的相匹配的卡通器官素材及所述卡通器官素材的位置比例信息。

在该实施例中，所述服务器12的数据库中可以预先设置卡通器官素材库，所述卡通器官素材库为以卡通形式展示的器官素材组成的素材库。所述服务器12获取到与所述人脸图像中器官区域相匹配的卡通器官素材后，可以根据获取到的卡通器官素材，生成第一卡通人脸图像，所述第一卡通人脸图像为通过未调整的卡通器官素材进行合成而得，如图4c所示。

容易想到的是，本发明实施例中，所述服务器12获取与所述人脸图像中器官区域相匹配的卡通器官素材的方法可以多种；譬如，根据人脸图像中器官区域的定位标记点，可以基于人脸信息直接自动绘制和生成卡通器官素材，或者可以基于模式识别技术从预置的卡通器官素材库中自动搜索最优的器官素材，或者可以用户根据个人判断或者个人喜好手动从卡通器官素材库中选取等，此处对其具体实现不做具体描述。

另外，本发明实施例中，所述卡通器官素材的位置比例信息可以通过所述卡通器官素材携带的对应的配置文件中获取，例如所述卡通器官素材库的卡通器官素材，携带有所述卡通器官素材的定位标记点，所述服务器12获取到匹配的卡通器官素材后，生成第一卡通图像，根据第一卡通图像上卡通器官素材的定位标记点，按照如步骤S402生成位置比例信息的方法，生成所述卡通器官素材的位置比例信息，本实施例对所述卡通器官素材的位置比例信息的获取不作具体限定。

可以理解的是，在本发明实施例中，可以先执行步骤S402，再执行步骤S403，也可以先执行步骤S403，再执行步骤S402，也可以同时执行步骤S402和步骤S403，本实施例对步骤S402和步骤S403的执行先后顺序不作具体限定。

在步骤S404中，根据所述人脸图像中器官区域的位置比例信息，调整所述卡通器官素材的位置比例信息，得到调整位置比例信息后的卡通器官素材。

所述服务器12在获取到人脸图像中器官区域的位置比例信息和所述卡通器官素材的位置比例信息后，首先对人脸图像中器官区域的位置比例信息和所述卡通器官素材的位置比例信息进行差别计算，生成比例差异值。

可具体地，首先按真实的人脸图像的脸型宽度和双眼距离的比值为参考，重新计算需要生成的卡通人脸图像的双眼距离，记为eyelen，在后续的卡通素材调整中，可以保持脸型不变，调整眉毛、眼睛、鼻子、嘴巴相对脸型的大小位置；根据重新计算得到的eyelen值更新卡通人脸图像对应的坐标系及其中的各坐标点或距离的值；更新后，用真实人脸图像对应的坐标系中的点位置减去卡通人脸图像对应的坐标系中的点位置，用真实人脸图像对应的坐标系中器官的距离大小除以卡通人脸图像对应的坐标系中器官的距离大小，从而可以得到真实人脸图像和卡通人脸图像位置比例的不同，并作为所述比例差异值。

进一步地，为了使得到的卡通人脸图像保留其特定的画风和美学特征，可以对真实人脸图像的器官区域的位置比例信息和所述卡通器官素材的位置比例信息的差异(即所述比例差异值)进行一些美学约束；优选地，可以根据预设阈值范围，调整所述比例差异值，以使得所述比例差异值在所述预设阈值范围内；以及根据调整后的比例差异值，调整所述卡通器官素材，得到调整位置比例信息后的卡通器官素材。

可具体地，譬如，统一对每个所述比例差异值乘以一个参数alpha，可以理解的是，所述参数alpha的取值范围为0到1，具体取值可以通过预置方式确定或者根据实际应用进行确定，其中，所述参数alpha的值越接近1则可认为得到的卡通人脸图像的器官位置比例越接近真实的人脸图像的器官位置比例；其后，利用设定的约束条件，调整所述比例差异值，所述约束条件可以是对应所述比例差异值的预设阈值范围，例如眼睛相对鼻子、嘴巴的大小范围，眉毛与眼睛的距离范围，眼睛与鼻子的距离范围，鼻子相对与嘴巴的距离范围，嘴巴相对于下巴的距离等；最后调整使得每个所述比例差异值在其对应的预设阈值范围内。

更进一步地，根据调整后的比例差异值对所述目标素材的调整可以基于一些变换参数进行计算；在某些实施方式中，从所述比例差异值中提取移动向量参数和放缩比例参数；根据所述移动向量参数和所述放缩比例参数，生成仿射变换矩阵；根据所述仿射变换矩阵对所述目标素材进行仿射变换；以及获取进行仿射变换的目标素材，以作为调整位置比例信息后的目标素材。

需要说明的是，由于坐标系中各标量都是以和参考距离的比例值表示的，因此，所述移动向量参数由点坐标值重新乘以参考距离来得到，所述放缩比例参数即为所述比例差异值中的距离量本身。另外，进行仿射变换的参考点为对应器官区域的中心点。

在步骤S405中，根据调整位置比例信息后的卡通素材，生成与所述人脸图像相匹配的卡通图像。

所述服务器12根据调整位置比例信息后的各个卡通器官素材，生成与真实人脸图像相匹配的卡通人脸图像，可参考图4d，为所述与真实人脸图像相匹配的卡通人脸图像；进一步地，所述服务器12可以将生成的卡通人脸图像发送至客户端11，由所述客户端11进行显示或者分享。

容易想到的是，本发明实施例仅以所述原始图像是人脸图像，所述目标图像是卡通人脸图像为例进行说明，不构成对本发明的限定；在某些实施方式中，所述原始图像也可以为物品或者风景的真实图像，对应地，所述目标图像可以为卡通/素描/漫画物品图像或者卡通/素描/漫画风景图像，此处不再阐述。

由上述可知，本实施例中，通过真实人脸图像中器官区域的定位标记点，获取与所述器官区域相匹配的卡通器官素材及其位置比例信息，并且生成所述器官区域的位置比例信息，从而利用所述器官区域的位置比例信息，对所述卡通器官素材的位置比例信息进行调整，最后生成与所述真实人脸图像相匹配的卡通人脸图像，本发明实施例中，通过真实人脸图像的位置比例信息对卡通器官素材进行调整，可以避免生成的卡通人脸图像的出现失真，提高卡通人脸图像的整体协调性，降低差异度。

为便于更好的实施本发明实施例提供的图像处理方法，本发明实施例还提供一种基于上述图像处理方法的装置。其中名词的含义与上述图像处理的方法中相同，具体实现细节可以参考方法实施例中的说明。请参阅图5，图5为本发明第一实施例提供的图像处理装置的结构示意图，其中所述图像处理装置包括定位标记点获取模块51、位置比例信息生成模块52、目标素材获取模块53、目标素材调整模块54以及目标图像生成模块55；

其中所述定位标记点获取模块51获取原始图像以及所述原始图像中预设区域的定位标记点。所述位置比例信息生成模块52根据所述定位标记点获取模块51获取到的定位标记点，生成所述预设区域的位置比例信息。

其中所述目标素材获取模块53根据所述定位标记点获取模块51获取到的定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息。所述目标素材调整模块54根据所述位置比例信息生成模块52生成的预设区域的位置比例信息，调整所述目标素材获取模块53获取到的目标素材的位置比例信息，得到调整位置比例信息后的目标素材。以及所述目标图像生成模块55根据所述目标素材调整模块54得到的调整位置比例信息后的目标素材，生成与所述原始图像相匹配的目标图像。

其中，所述图像处理装置的数据库中可以预先设置目标素材库，所述目标素材库可以为以卡通形式展示的素材或者以素描形式展示的素材或者以漫画形式展示的素材等各种展示方式的素材组成的素材库，此处不作具体限定。

可以理解的是，所述原始图像可以为人脸或者物品或者风景的真实图像，所述目标图像可以为卡通/素描/漫画图像。

由上述可知，本实施例中，所述图像处理装置通过原始图像中预设区域的定位标记点，获取与所述预设区域相匹配的目标素材及其位置比例信息，并且生成所述预设区域的位置比例信息，从而利用所述预设区域的位置比例信息，对所述目标素材的位置比例信息进行调整，最后生成与所述原始图像相匹配的目标图像，本发明实施例中，通过原始图像的位置比例信息对目标素材进行调整，可以避免目标图像的失真，提高目标图像的整体协调性，降低差异度。

请参阅图6，图6为本发明第二实施例提供的图像处理装置的结构示意图，其中所述图像处理装置包括定位标记点获取模块51、位置比例信息生成模块52、目标素材获取模块53、目标素材调整模块54、目标图像生成模块55。

所述定位标记点获取模块51获取原始图像以及所述原始图像中预设区域的定位标记点。所述位置比例信息生成模块52根据所述定位标记点获取模块51获取到的定位标记点，生成所述预设区域的位置比例信息。

其中，在定位标记点获取模块51获取原始图像之前，所述客户端11向所述服务器12发起图像处理请求，所述定位标记点获取模块51根据所述图像处理请求，载入一预先存储的原始图像或者获取一由用户实时拍摄通过客户端11输入的原始图像；本发明实施例中，所述原始图像可以为人脸或者物品或者风景的真实图像。

可以理解的是，所述定位标记点获取模块51获取到所述原始图像之后，首先将所述原始图像进行解码和检测处理，从而可以获取到所述原始图像中预设区域的定位标记点；譬如：若所述原始图像为人脸图像，则所述原始图像的预设区域可以为人脸图像的器官的区域，所述定位标记点获取模块51获取到所述人脸图像后，对其进行解码，并检测出所述人脸图像中人脸区域加以框定，采用器官定位算法计算获取到人脸各器官的定位标记点，如可以根据人脸的梯度信息获取到人脸各器官区域的定位标记点。

另容易想到的是，所述定位标记点获取模块51获取定位标记点可以采用多种方式，如根据梯度信息等其他现有的定位算法进行获取，此处对其具体实现不做阐述。

进一步地，所述位置比例信息生成模块52，还可以根据所述定位标记点，获取所述预设区域中心的坐标点以及所述预设区域的大小，以作为所述预设区域的位置比例信息；譬如：当所述定位标记点为器官的轮廓标记点时，以眼睛轮廓标记点为例，获取眼睛区域中心的坐标点以及获取眼睛区域最左和最后标记点的距离大小，以作为眼睛区域的位置比例信息。

所述目标素材获取模块53根据所述定位标记点获取模块51获取到的定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息。

其中，所述图像处理装置中可以预先设置目标素材库，所述目标素材库可以为以卡通形式展示的素材或者以素描形式展示的素材或者以漫画形式展示的素材等各种展示方式的素材组成的素材库，此处不作具体限定。

容易想到的是，所述目标素材获取模块53获取与所述预设区域相匹配的目标素材的方法可以多种，若以原始图像为人脸图像为例，根据所述定位标记点，所述图像处理装置可以基于人脸信息直接自动绘制目标素材，或者可以基于模式识别技术从预置的目标素材库中自动搜索最优的器官素材，或者可以用户根据个人判断或者个人喜好手动从目标素材库中选取等，此处对其具体实现不做具体描述。

另外，本发明实施例中，所述目标素材的位置比例信息可以通过所述目标素材携带的对应的配置文件中获取，例如所述目标素材库的目标素材，携带有所述目标素材的定位标记点，所述目标素材获取模块53在获取定位标记点后，根据所述定位标记点，生成所述目标素材的位置比例信息，本实施例对所述目标素材的位置比例信息的获取不作具体限定。

所述目标素材调整模块54根据所述位置比例信息生成模块52生成的预设区域的位置比例信息，调整所述目标素材获取模块53获取到的目标素材的位置比例信息，得到调整位置比例信息后的目标素材。

进一步地，为了使得到的目标图像(如卡通图像)保留其特定的画风和美学特征，可以对所述预设区域的位置比例信息和所述目标素材的位置比例信息的差异(即所述比例差异值)进行一些美学约束，因此在该实施方式中，所述目标素材调整模块54可以包括比例差异值生成单元541、比例差异值调整单元542以及目标素材调整单元543；

所述比例差异值生成单元541对所述预设区域的位置比例信息与所述目标素材的位置比例信息进行差别计算，生成比例差异值；所述比例差异值调整单元542根据预设阈值范围，调整所述比例差异值生成单元541生成的比例差异值，以使所述比例差异值在所述预设阈值范围内；目标素材调整单元543根据所述比例差异值调整单元542调整后的比例差异值，调整所述目标素材，得到调整位置比例信息后的目标素材。

更进一步地，根据调整后的比例差异值对所述目标素材的调整可以基于一些变换参数进行计算；因此在该实施方式中，所述目标素材调整单元543可以包括参数提取子单元5431、变换矩阵生成子单元5432、目标素材变换子单元5433以及目标素材获取子单元5434；

所述参数提取子单元5431从所述比例差异值中提取移动向量参数和放缩比例参数；所述变换矩阵生成子单元5432根据所述参数提取子单元5431提取的移动向量参数和所述放缩比例参数，生成仿射变换矩阵；所述目标素材变换子单元5433根据所述变换矩阵生成子单元5432生成的仿射变换矩阵对所述目标素材进行仿射变换；所述目标素材获取子单元5434获取进行仿射变换的目标素材，以作为调整位置比例信息后的目标素材。

需要说明的是，由于坐标系中各标量都是以和参考距离的比例值表示的，因此，所述移动向量参数由点坐标值重新乘以参考距离来得到，所述放缩比例参数即为所述比例差异值中的距离量本身。另外，进行仿射变换的参考点为对应预设区域的中心点。

所述目标图像生成模块55根据所述目标素材调整模块54得到的调整位置比例信息后的目标素材，生成与所述原始图像相匹配的目标图像。

在某些实施方式中，若所述原始图像为人脸图像，则所述图像处理装置可以根据调整位置比例信息后的各目标器官素材，生成与所述原始图像相匹配的目标图像；进一步地，所述图像处理装置可以将生成的与所述原始图像相匹配的目标图像发送至客户端11，由所述客户端11进行显示或者分享。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对图像处理方法的详细描述，此处不再赘述。

由上述可知，本实施例中，通过原始图像中预设区域的定位标记点，获取与所述预设区域相匹配的目标素材及其位置比例信息，并且生成所述预设区域的位置比例信息，从而利用所述预设区域的位置比例信息，对所述目标素材的位置比例信息进行调整，最后生成与所述原始图像相匹配的目标图像，本发明实施例中，通过原始图像的位置比例信息对目标素材进行调整，可以避免目标图像的失真，提高目标图像的整体协调性，降低差异度。

为了更好地理解本发明技术方案，以下以一具体应用场景为例，对本发明提供的图像处理方法及图像处理装置进行分析，在该应用场景中，所述原始图像为真实人脸图像(以下简称人脸图像)，所述目标图像为卡通人脸图像。

请结合参考图5和图7a，其中，图7a为该应用场景中的图像处理装置的结构示意图；其中，所述图像处理装置可以包括：UI(User Interface，用户界面)显示模块、人脸检测模块、五官定位模块(对应所述定位标记点获取模块51)、五官匹配模块(对应所述目标素材获取模块53)、五官调整模块(对应所述位置比例信息生成模块52、所述目标素材调整模块54和所述目标图像生成模块55)以及分享模块。

其中，所述UI显示模块可以包括图像输入单元和图像显示单元，所述用于图像输入单元负责图像的读入、保存过程中的编解码操作，所述图像显示单元负责图像的预览展示及与用户的UI交互。所述人脸检测模块采用任意可用的人脸检测算法，标识出人脸图像的人脸区域加以框定。

所述五官定位模块采用任意可用的五官定位算法，标识出五官定位标记点，该模块的处理结果示例可如图4b所示。其中一系列的定位标记点准确地标示出了人脸轮廓和各器官的轮廓，用于表示真实人像信息，双眼中心标记点和嘴巴中心标记点，用于简要表示人脸的朝向和大小。所述五官匹配模块采用任意可用的匹配算法(如基于模式识别技术从海量素材库中自动搜索最像的五官素材)匹配出卡通图像的卡通素材。其中，卡通素材的输出格式如图7b所示，其中每个器官的素材都是一张png格式的4通道图片，对应配置文件记录了该卡通器官的定位标记信息(如图4b中所示的定位标记点)，可以理解的是，各卡通器官素材的图层合成即是完整的卡通人脸图像，可如图4c所示。

所述五官调整模块根据真实人脸图像的五官位置比例信息，调整对应卡通人脸图像的五官位置比例信息，以使得卡通人脸图像更加符合真实人脸图像的形象；其中，该模块可以具体用于计算真实人脸图像五官位置比例信息、计算卡通人脸图像的五官位置比例信息、对得到的两个五官位置比例信息进行差别计算、设置美学约束条件调整差异、确定变化参数、卡通素材的形变、卡通人脸图像的生成，其中，根据调整后的卡通素材生成的卡通人脸图像如图4d所示。

所述分享模块负责将用户选定的卡通人脸图像分享到绑定的社交平台上。

基于所述图像处理装置，所述图像处理的流程描述如可一并参考图7c，图7c为图像处理的流程示意图；

在步骤S701中，所述UI显示模块对载入的真实人脸图像进行解码并显示；

在步骤S702中，所述人脸检测模块对解码后的真实人脸图像进行检测，检测出人脸区域并框定；

在步骤S703中；所述五官定位模块计算并标识出真实人脸图像的五官定位标记点；

在步骤S704中，所述五官匹配模块根据真实人脸图像的五官定位标记点，匹配出对应的卡通素材；

在步骤S705中，所述五官调整模块计算真实人脸图像的五官位置比例信息；

在步骤S706中，所述五官调整模块计算卡通人脸图像的五官位置比例信息；

在步骤S707中，所述五官调整模块计算真实人脸图像和卡通人脸图像五官位置比例信息的差异信息；

在步骤S708中，所述五官调整模块根据美学约束条件，对差异信息做修正调整；

在步骤S709中，所述五官调整模块根据修正后的差异信息，计算素材形变的仿射变换矩阵；

在步骤S710中，所述五官调整模块对各卡通素材做形变；

在步骤S711中，所述五官调整模块根据形变后的卡通素材，生成卡通人脸图像；

在步骤S712中，所述五官调整模块将步骤S711中生成的卡通人脸图像输出给UI显示模块。

譬如，当用户希望设置一个对应自己形象的头像时，可以向图像处理装置发起图像处理请求，由所述图像处理装置通过上述图像处理方法进行分析处理，从而使得获取到卡通人脸图像真实性和整体协调性高，与真实人脸图像的差异度小。

可以理解的是，该应用场景中涉及的各功能模块以及各方法步骤，没有详述的部分，具体可以参考上述相关实施例的相关描述进行具体实现，此处不再赘述。

本发明实施例提供的所述图像处理装置，譬如为计算机、平板电脑、具有触摸功能的手机等等，所述图像处理装置与上文实施例中的图像处理方法属于同一构思，在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法，其具体实现过程详见所述图像处理方法实施例，此处不再赘述。

需要说明的是，对本发明所述图像处理方法而言，本领域普通测试人员可以理解实现本发明实施例所述图像处理方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在终端的存储器中，并被该终端内的至少一个处理器执行，在执行过程中可包括如所述图像处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。

对本发明实施例的所述图像处理装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通测试人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (5)

1.一种图像处理方法，其特征在于，所述方法包括：

获取原始图像以及所述原始图像中预设区域的定位标记点，所述原始图像为真实人脸图像，所述预设区域为所述真实人脸图像的器官区域；

根据所述定位标记点，获取所述预设区域中心的坐标点以及所述预设区域的大小，以作为所述预设区域的位置比例信息；

根据所述定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息，所述目标素材的位置比例信息携带在所述目标素材对应的配置文件中；

根据获取的所述目标素材，生成第一卡通人脸图像，所述目标素材为卡通器官素材；

用所述真实人脸图像的器官区域中心的坐标点减去所述第一卡通人脸图像的器官区域中心的坐标点，用所述真实人脸图像的器官区域的距离除以所述第一卡通人脸图像的器官区域的距离，以生成比例差异值，所述器官区域的距离包括所述器官区域的最左和最右的轮廓点的距离；

将所述比例差异值乘以预设参数alpha得到计算后的比例差异值，其中，0<alpha<＝1，所述预设参数alpha用于指示所述第一卡通人脸图像的器官区域的位置比例信息与所述真实人脸图像的器官区域的位置比例信息的接近程度，所述预设参数alpha的值与所述接近程度成正比；

利用设定的约束条件，调整所述计算后的比例差异值，以将所述计算后的比例差异值调整在所述预设阈值范围内，所述约束条件为所述比例差异值的预设阈值范围；所述比例差异值的预设阈值范围包括眼睛相对鼻子、嘴巴的大小范围，眉毛与眼睛的距离范围，眼睛与鼻子的距离范围，鼻子相对与嘴巴的距离范围，嘴巴相对于下巴的距离范围；

从调整后的比例差异值中提取移动向量参数和放缩比例参数，根据所述移动向量参数和所述放缩比例参数，生成仿射变换矩阵，根据所述仿射变换矩阵对所述目标素材进行仿射变换，获取进行仿射变换的目标素材，以作为调整位置比例信息后的目标素材；

根据调整位置比例信息后的目标素材，生成第二卡通人脸图像，所述第二卡通人脸图像为与所述原始图像相匹配的目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，在根据所述定位标记点，生成所述预设区域的位置比例信息之前，还包括：

将所述真实人脸图像的器官区域的各定位标记点的坐标除以所述真实人脸图像的双眼距离，以重新标定所述真实人脸图像的器官区域各定位标记点的坐标。

3.根据权利要求1所述的图像处理方法，其特征在于，在生成第一卡通人脸图像之后，还包括：

以所述真实人脸图像的脸型宽度与双眼距离的比值为参考，重新计算所述第一卡通人脸图像的双眼距离；

将所述第一卡通人脸图像的器官区域的各定位标记点的坐标除以重新计算得到的所述第一卡通人脸图像的双眼距离，以更新所述卡通人脸图像的器官区域各定位标记点的坐标。

4.一种图像处理装置，其特征在于，所述装置包括：

定位标记点获取模块，用于获取原始图像以及所述原始图像中预设区域的定位标记点，所述原始图像为真实人脸图像，所述预设区域为所述真实人脸图像的器官区域；

位置比例信息生成模块，用于根据所述定位标记点，获取所述预设区域中心的坐标点以及所述预设区域的大小，以作为所述预设区域的位置比例信息；

目标素材获取模块，用于根据所述定位标记点，获取与所述预设区域相匹配的目标素材及所述目标素材的位置比例信息，所述目标素材的位置比例信息携带在所述目标素材对应的配置文件中；

所述目标素材获取模块，用于根据获取的所述目标素材，生成第一卡通人脸图像，所述目标素材为卡通器官素材；

目标素材调整模块，包括：比例差异值生成单元，比例差异值调整单元以及目标素材调整单元，所述比例差异值生成单元，用于用所述真实人脸图像的器官区域中心的坐标点减去所述第一卡通人脸图像的器官区域中心的坐标点，用所述真实人脸图像的器官区域的距离除以所述第一卡通人脸图像的器官区域的距离，以生成比例差异值，所述器官区域的距离包括所述器官区域的最左和最右的轮廓点的距离；所述比例差异值调整单元，用于将所述比例差异值乘以预设参数alpha得到计算后的比例差异值，其中，0<alpha<＝1，所述预设参数alpha用于指示所述第一卡通人脸图像的器官区域的位置比例信息与所述真实人脸图像的器官区域的位置比例信息的接近程度，所述预设参数alpha的值与所述接近程度成正比；并利用设定的约束条件，调整所述计算后的比例差异值，以将所述计算后的比例差异值调整在所述预设阈值范围内，所述约束条件为所述比例差异值的预设阈值范围；所述比例差异值的预设阈值范围包括眼睛相对鼻子、嘴巴的大小范围，眉毛与眼睛的距离范围，眼睛与鼻子的距离范围，鼻子相对与嘴巴的距离范围，嘴巴相对于下巴的距离范围；以及所述目标素材调整单元，用于从调整后的比例差异值中提取移动向量参数和放缩比例参数，根据所述移动向量参数和所述放缩比例参数，生成仿射变换矩阵，根据所述仿射变换矩阵对所述目标素材进行仿射变换，获取进行仿射变换的目标素材，以作为调整位置比例信息后的目标素材；

目标图像生成模块，用于根据调整位置比例信息后的目标素材，生成第二卡通人脸图像，所述第二卡通人脸图像为与所述原始图像相匹配的目标图像。

5.一种计算机可读存储介质，其特征在于，存储有机器可读指令，可以使至少一个处理器执行如权利要求1-3任一项所述的方法。

Images