CN105374055B - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN105374055B CN105374055B CN201410414574.3A CN201410414574A CN105374055B CN 105374055 B CN105374055 B CN 105374055B CN 201410414574 A CN201410414574 A CN 201410414574A CN 105374055 B CN105374055 B CN 105374055B
- Authority
- CN
- China
- Prior art keywords
- face
- cartoon
- contour
- point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 239000000463 material Substances 0.000 claims abstract description 209
- 230000001815 facial effect Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 109
- 238000000034 method Methods 0.000 claims description 33
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000003909 pattern recognition Methods 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004513 sizing Methods 0.000 claims 1
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 6
- 241000272814 Anser sp. Species 0.000 description 4
- 241000353135 Psenopsis anomala Species 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种图像处理方法及装置,本发明实施例检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,获取对应的卡通人脸素材;基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像;本发明实施例具有自适应获取人像图片中人脸对应的卡通人脸的有益效果;提高了卡通人脸与真实人脸之间的相似度和真实性。
Description
技术领域
本发明涉及计算机技术,尤其涉及一种图像处理方法及装置。
背景技术
随着计算机技术的不断发展进步,基于计算机技术衍生的各种时尚元素也日益丰富,卡通画形象以其可爱、活泼的特点深受人们的青睐。目前,能够根据自己的形象制作属于自己的专属卡通形象这一图像处理应用,吸引了众多用户。而脸型轮廓作为人像的重要组成部分,在卡通头像与真实人脸相似与否的主观感受中扮演着关键角色;因此,根据真实人脸脸型获取对应的卡通头像,成为制作用户专属卡通形象的重点之一。而受限于普通用户有限的美术功底,大部分用户的上述需求往往很难得到满足。
根据用户不同脸型获取对应的卡通头像时,目前常用的处理方式主要是由设计师尽量多的绘制不同类型的脸型轮廓,丰富脸型轮廓图像库,从而增加用户的可选性。由于设计师精力有限且人与人之间脸型轮廓各异,直接绘画出适合每个人的脸型轮廓,显得工程量浩大且很难实现。
发明内容
鉴于以上内容,有必要提供一种图像处理方法及装置,旨在根据用户的不同脸型自适应获取对应的卡通人脸。
本发明实施例提供一种图像处理方法,包括以下步骤:
检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;
根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;
识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,获取对应的卡通人脸素材;
基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
本发明还提供一种图像处理装置,包括:
人脸轮廓获取模块,用于检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;
轮廓尺寸获取模块,用于根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;
卡通素材获取模块,用于识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,获取对应的卡通人脸素材;
卡通素材形变模块,用于基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
本发明实施例检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,获取对应的卡通人脸素材;基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像;相较于现有技术中,直接绘制适合大部分人脸对应的脸型轮廓的方式,本发明实施例具有自适应获取人像图片中人脸对应的卡通人脸的有益效果;提高了卡通人脸与真实人脸之间的相似度和真实性;进一步地,由于对于超过预先设置的脸型尺寸范围的人脸加以识别检测和过滤,从而提高了图像处理的实用性。
附图说明
图1是本发明图像处理方法及装置运行环境一实施例硬件架构示意图;
图2是本发明图像处理方法第一实施例流程示意图;
图3是利用88个数字代表88个人脸轮廓关键点所得出的人脸轮廓信息一实施例人脸轮廓示意图;
图4是本发明图像处理方法中获取的卡通人脸素材一实施例素材图像示意图;
图5是本发明图像处理方法中对卡通人脸素材进行形变一实施例图像示意图;
图6是本发明图像处理方法第二实施例流程示意图;
图7是本发明图像处理方法第三实施例流程示意图;
图8是本发明图像处理装置第一实施例功能模块示意图;
图9是本发明图像处理装置第二实施例功能模块示意图。
本发明实施例目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
以下结合说明书附图及具体实施例进一步说明本发明的技术方案。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参照图1,图1是本发明图像处理方法及装置运行环境一实施例硬件架构示意图;如图1所示,本发明图像处理方法及装置的运行环境包括:处理器101、存储器102、用户接口103、网络接口104以及通信总线105。通信总线105用于图像处理装置中各组成部件之间的通信,用户接口103用于接收用户输入的信息,该用户接口可以为有线接口及无线接口,例如键盘、鼠标等。网络接口104用于验证图像处理装置与外部进行互相通信,该网络接口104也可以包括有线接口及无线接口。存储器102可以包括一个或一个以上计算机可读存储介质,而且其不但包括内部存储器,还包括外部存储器。该存储器102中存储有操作系统及图像处理应用程序等等。
处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
通过用户接口103或者网络接口104检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;
根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;
识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,通过网络接口104从服务端数据库或者通过通信总线105从本地数据库中,获取对应的卡通人脸素材;
基于所述人脸轮廓关键点,基于通信总线105调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
本发明实施例通过根据输入的人像图片中的人脸轮廓信息,查找与该人像图片匹配的卡通人脸素材,进而再根据人脸轮廓关键点,调整获取的所述卡通人脸素材,进而得到与输入的人像图片中的人脸相似度较高的卡通人脸;本发明实施例具有自适应获取人像图片中人脸对应的卡通人脸的有益效果;提高了卡通人脸与真实人脸之间的相似度和真实性;进一步地,由于对于超过预先设置的脸型尺寸范围的人脸加以识别检测和过滤,从而提高了图像处理的实用性。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
根据所述人脸轮廓信息,通过网络接口104从服务端数据库或者通过通信总线105从本地数据库中,选取与所述人脸轮廓信息相匹配的卡通人脸素材。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
根据所述人脸轮廓关键点,通过通信总线105对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,得到形变后的对称人脸信息;
根据形变后的对称人脸信息,通过网络接口104从服务端数据库或者通过通信总线105从本地数据库,选取与所述对称人脸信息相匹配的卡通人脸素材。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
基于通信总线105,选取所述人脸轮廓关键点中的人脸双眼中心点以及人脸下巴点,将所述人脸双眼中心点与人脸下巴点的连线作为对称轴;
选取所述人脸轮廓关键点中位于人脸左脸上的任意一点Pi(xp,yp),以及与该点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq);
计算点Pi(xp,yp)和点Qi(xq,yq)与所述对称轴的距离Lp和Lq;
对点Pi(xp,yp)和点Qi(xq,yq)进行对称性形变,对应得到形变后的点P'i(xp-(Lp+Lq)/2,(yp+yq)/2)和点Q'i(xq+(Lp+Lq)/2,(yp+yq)/2)。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
按照所述人脸轮廓信息,基于通信总线105绘制并生成对应的卡通人脸素材;或者,
基于模式识别技术,根据所述人脸轮廓信息,通过网络接口104从服务端的或者通过通信总线105从本地的素材数据库中搜索对应的卡通人脸素材;或者,
根据所述人脸轮廓信息,通过用户接口103或者网络接口104,发送获取对应的卡通人脸素材的提示信息;通过用户接口103或者网络接口104,接收到用户基于所述提示信息触发的素材选取指令,通过网络接口104从服务端数据库或者通过通信总线105从本地数据库,获取所述素材选取指令映射的卡通人脸素材。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
通过通信总线105获取所述卡通人脸素材对应的卡通脸型轮廓点,选取所述卡通脸型轮廓点中的卡通左脸起点、卡通下巴中点和卡通右脸终点;
基于所述人脸轮廓关键点,选取所述人脸轮廓关键点中的人脸左脸起点、人脸下巴中点和人脸右脸终点;
通过将人脸左脸起点和人脸下巴中点依次对齐至卡通左脸起点和卡通下巴中点,以及将人脸下巴中点、人脸右脸终点依次对齐至卡通下巴中点和卡通右脸终点,将所述人脸轮廓关键点对齐至由所述卡通脸型轮廓点组成的卡通轮廓坐标系中;
基于对齐后的所述卡通轮廓坐标系,以卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点,根据所述人脸轮廓关键点,利用预设液化变形函数,对所述卡通人脸素材进行液化变形处理,得到形变后的卡通人脸信息。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
预先设置所述脸型尺寸范围。
进一步地,处理器101用于调用存储器102中的图像处理应用程序,以执行以下操作:
通过用户接口103从用户侧收集人脸图片,或者通过网络接口104从网络侧收集人脸图片,或者通过通信总线105从本地收集人脸图片,得到所收集的预设数量的人脸图片,将预设数量的人脸图片均归一化至预设图片尺寸;
获取预设数量的人脸图片中每一副人脸图片分别对应的人脸轮廓信息,得到对应的不同的人脸轮廓尺寸;
根据不同的人脸轮廓尺寸,统计人脸轮廓尺寸的信息分布范围,得到所述脸型尺寸范围。
进一步地,所述卡通人脸素材包括由人脸五官素材图层所合成的png格式的四通道图片。
本发明实施例利用上述的图像处理方法,实现了根据输入的人脸图片中用户的真实人脸轮廓信息调整得到素材脸型的目的;提高了卡通人像制作的趣味性,同时也提高了人机的可交互性。
请参照图2,图2是本发明图像处理方法第一实施例流程示意图;如图2所示,本发明图像处理方法包括以下步骤:
步骤S01、检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;
本发明实施例中,图像处理装置接收输入的人像图片,通过任意可用的人脸检测算法检测输入的上述人像图片中对应的人脸区域;所述人脸检测算法包括但不限于:基于模板匹配模型检测、基于肤色模型进行检测、基于ANN模型进行检测、基于SVM模型进行检测以及基于Adaboost模型进行检测等。检测到所输入的人像图片中的人脸区域后,标识出该人脸区域。采用预设识别算法比如vosm算法,定位标识出的上述人脸区域对应的人脸轮廓关键点,进而根据标识出的人脸轮廓关键点,得出上述人脸区域对应的人脸轮廓信息。
在本发明一优选实施例中,采用0~87这88个阿拉伯数字来作为组成一个人脸轮廓的88个人脸轮廓关键点,从而根据标识出的上述人脸轮廓关键点,得出对应的人脸轮廓信息。请参照图3,图3是利用88个数字代表88个人脸轮廓关键点所得出的人脸轮廓信息一实施例人脸轮廓示意图;如图3所示,利用数字0~7组成左眼上半部分,数字8~15组成右眼上半部分,数字16~23组成左眼下半部分,数字24~31组成右眼下半部分,数字32~44组成鼻子,数字45~66组成嘴巴部分,数字67~87组成脸颊轮廓;其中,在图3所示的人脸轮廓关键点这一实施例中,数字67标识左脸颊起点,数字77标识下巴中点,数字87标识右脸终点。由图3所示的0~87个关键点,组成对应的人脸轮廓,得到包括上述关键点位置信息、关键点个数信息和各关键点分别对应位置关系的人脸轮廓信息。
步骤S02、根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;
根据得到的人脸轮廓信息,利用所述人脸轮廓信息中对应的人脸轮廓关键点以及各关键点的位置信息,计算得出该人脸轮廓信息对应的脸型轮廓尺寸。所述脸型轮廓尺寸可以理解为:人脸轮廓信息中,人脸外轮廓线和标识人脸左脸颊起点的关键点以及标识下巴中点、人脸外轮廓线和标识下巴中点以及人脸右脸颊终点的关键点所构成的月牙形区域面积的大小;其中,该脸型轮廓尺寸表示人脸的胖瘦信息。在某些简单的人脸轮廓信息中,可以直接获取左脸颊起点、下巴中点以及右脸颊终点所形成的圆弧形线段,根据获取的圆弧形线段,计算对应的脸型轮廓尺寸。比如,图3简要展示的人脸轮廓中,根据人脸左脸颊起点67、下巴中点77以及人脸右脸颊终点87所构成的圆弧形线段,计算获取对应的脸型轮廓尺寸。
步骤S03、识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材;
根据获取的脸型轮廓尺寸,识别该脸型轮廓尺寸是否在预先设置的脸型尺寸范围内。本发明实施例中,为了提高卡通人脸与真实用户人脸之间的真实性和相似度,对于过胖或者过瘦的人脸轮廓,将不做脸型形变。对于过胖或者过瘦的人脸轮廓的界定为:大于所述脸型尺寸范围的最大值,为过胖;小于所述脸型尺寸范围的最小值,为过瘦。只有当识别出得到的所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与该人脸轮廓信息相匹配的卡通人脸素材,进而对选取的卡通人脸素材进行形变。若识别出得到的所述脸型轮廓尺寸不在所述脸型尺寸范围内,即识别出获取的所述脸型轮廓尺寸对应的脸型过胖或者过瘦,则直接获取该人脸轮廓信息对应的卡通人脸素材,并直接利用获取到的卡通人脸素材进行卡通头像的合成,而不对匹配的卡通人脸素材进行任何的脸型形变处理。
本发明实施例中,所述图像处理装置可以按照所述人脸轮廓信息,直接自动绘制并生成所述人脸轮廓信息对应的卡通人脸素材;或者,所述图像处理装置也可以基于模式识别技术,根据所述人脸轮廓信息,从素材数据库中搜索与所述人脸轮廓信息相匹配的卡通人脸素材;或者,所述图像处理装置也可以根据所述人脸轮廓信息,发送获取与所述人脸轮廓信息相匹配的卡通人脸素材的提示信息;并在接收到用户基于所述提示信息触发的素材选取指令时,获取所述素材选取指令映射的卡通人脸素材;本发明实施例中,所述图像处理装置所获取的其中一个卡通人脸素材如图4所示,图4是本发明图像处理方法中获取的卡通人脸素材一实施例素材图像示意图。其中,所述图像处理装置基于模式识别技术,根据所述人脸轮廓信息,从素材数据库中搜索与所述人脸轮廓信息相匹配的卡通人脸素材这一处理方式中,所述图像处理装置预先存储了与多个脸型信息分别匹配的卡通人脸素材,以方便查找;比如,针对鹅蛋脸这一脸型信息,所述图像处理装置存储的与该鹅蛋脸匹配的卡通人脸素材为第一卡通人脸素材;针对国字脸这一脸型信息,所述图像处理装置存储的与该国字脸匹配的卡通人脸素材为第二卡通人脸素材;针对瓜子脸这一脸型信息,所述图像处理装置存储的与该瓜子脸匹配的卡通人脸素材为第三卡通人脸素材等,本发明实施例不对其进行一一穷举。
进一步地,所述图像处理装置获取的所述卡通人脸素材包括由人脸五官素材图层所合成的png格式的四通道图片,利用该图片便于对人脸素材中组成人脸的五官所在的图层进行单独处理。
步骤S04、基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
根据获取的人脸轮廓关键点,将人像图片中的人脸关键点与获取的卡通人脸素材进行拟合;比如,根据预设相似度阈值,利用人脸关键点,调整卡通人脸素材对应的卡通人脸关键点;使得卡通人脸关键点所组成的卡通人脸轮廓与人像图片中的原始人脸轮廓的相似度达到预设相似度阈值,从而得到形变后的卡通人脸信息。进而,所述图像处理装置根据形变后的卡通人脸信息,合成对应的卡通头像。
在本发明一优选实施例中,所述图像处理装置可以采用两点对齐的方式,基于所述人脸轮廓关键点,调整所述卡通人脸素材,从而得到形变后的卡通人脸信息。比如,以卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点对卡通人脸素材进行形变处理,在增加卡通人脸素材与真实人脸的相似性的同时,又不影响卡通脸型与其他卡通器官组件的合成;比如,卡通下巴中点不动,保证了头部与卡通人物身体的贴合;而卡通左脸起点和卡通右脸终点不动,即卡通人脸素材中的卡通脸颊端点不动,则保证了头发与脸型的贴合;提高了图像处理的灵活性和便捷性。
在一较为具体的实现方式中,所述图像处理装置获取所述卡通人脸素材对应的卡通脸型轮廓点,选取所述卡通脸型轮廓点中的卡通左脸起点Q0、卡通下巴中点Q1和卡通右脸终点Q2;基于所述人脸轮廓关键点,选取所述人脸轮廓关键点中的人脸左脸起点P0、人脸下巴中点P1和人脸右脸终点P2;利用两点对齐方式,将人脸左脸起点P0和人脸下巴中点P1依次对齐至卡通左脸起点Q0和卡通下巴中点Q1,根据原始两点P0、P1和目标两点Q0、Q1,能够计算得出唯一的仿射变换矩阵M,将P0~P1范围内的坐标点均乘以M,即可将P0、P1这两点对齐至Q0、Q1这两点对应的卡通轮廓坐标系中。同样地原理,通过将人脸下巴中点P1、人脸右脸终点P2依次对齐至卡通下巴中点Q1和卡通右脸终点Q2,即可将所述人脸轮廓关键点对齐至由所述卡通脸型轮廓点组成的上述卡通轮廓坐标系中。基于对齐后的所述卡通轮廓坐标系,以卡通左脸起点Q0、卡通下巴中点Q1和卡通右脸终点Q2作为三个不动点,依次对于两点对齐后的位于人像图片中的所述人脸轮廓关键点中的Pi和对应的卡通素材中的卡通脸型轮廓点Qi作为液化变形函数的起点和终点,对匹配的所述卡通人脸素材进行液化变形,从而得到变形后的卡通人脸信息。比如,利用所述液化变形函数,通过指定原始点Pi和目标点Qi,并根据变形范围参数r、变形强度参数s,对所述卡通人脸素材中的卡通脸型轮廓进行平滑的拉伸移动,从而实现对卡通人脸素材的液化变形处理,得到形变后的卡通人脸信息。利用液化变形的方式,通过控制卡通人脸素材中每个点的液化变形的半径参数,保证了卡通人脸信息对应的卡通脸型轮廓的平滑,且变形后的卡通人脸素材对应的卡通人脸图像不会产生锯齿、扭曲等视觉损失;提高了图像处理的智能性。另外,对用户侧来讲,通过液化变形处理方式所得到的变形后的卡通人脸素材,也提高了视觉对应的感官体验。
上述对卡通人脸素材的变化过程可以参照图5,图5是本发明图像处理方法中对卡通人脸素材进行形变一实施例图像示意图,图5中,第一个图像表示,输入所述图像处理装置中的人像图片;第二个图像表示:所述图像处理装置选取的与人像图片中的人脸轮廓信息相匹配的卡通人脸素材;第三个图像表示,按照卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点,根据所述人脸轮廓关键点,利用预设液化变形函数,对所述卡通人脸素材进行液化变形处理的图像;第四个图像表示,根据形变后的卡通人脸信息合成的卡通头像。
本发明实施例检测输入的人像图片中的人脸区域,标识所述人脸区域中原始人脸信息对应的人脸轮廓关键点,获取对应的人脸轮廓信息;根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材;基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像;相较于现有技术中,直接绘制适合大部分人脸对应的脸型轮廓的方式,本发明实施例具有自适应获取人像图片中人脸对应的卡通人脸的有益效果;提高了卡通人脸与真实人脸之间的相似度和真实性;进一步地,由于对于超过预先设置的脸型尺寸范围的人脸加以识别检测和过滤,从而提高了图像处理的实用性。
请参照图6,图6是本发明图像处理方法第二实施例流程示意图;本发明实施例与图2所述实施例的区别是,在所述图像处理装置识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,先对人脸轮廓信息对应的人脸轮廓做对称性形变处理,再根据形变后的对称人脸信息,选取与所述对称人脸信息匹配的卡通人脸素材。本发明实施例仅描述与上述实施例的区别点,有关本发明图像处理方法所涉及的其他步骤,请参照相关实施例的具体描述,在此不再赘述。
基于以上实施例的描述,如图6所示,本发明图像处理方法中,图2所述实施例中的“步骤S03、识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材”,可以替换为:
步骤S031、识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,得到形变后的对称人脸信息;
步骤S032、根据形变后的对称人脸信息,选取与所述对称人脸信息相匹配的卡通人脸素材。
本发明实施例中,由于生成的卡通头像中的卡通脸型素材均是左右对称的,因此,为了进一步提高卡通人脸与人像图片中的真实人脸之间的相似度和真实性,当所述图像处理装置识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,所述图像处理装置基于人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理。进而,根据形变后的对称人脸信息,所述图像处理装置选取与所述对称人脸信息相匹配的卡通人脸素材。
在本发明一优选实施例中,所述图像处理装置根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,可以采取如下方式:
所述图像处理装置选取所述人脸轮廓关键点中的人脸双眼中心点以及人脸下巴点,将所述人脸双眼中心点与人脸下巴点的连线作为对称轴;选取所述人脸轮廓关键点中位于人脸左脸上的任意一点Pi(xp,yp),以及与该点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq);本发明实施例中,选取的与位于人脸左脸的点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq)可以理解为:对于理想中对称的人脸轮廓关键点中,该点Pi(xp,yp)与点Qi(xq,yq)关于上述对称轴对称。比如,针对图3所描述的人脸轮廓关键点中,与位于人脸左脸中的数字0表示的这一关键点0,基于所述对称轴对应的位于人脸右脸中的点即为:关键点8;与位于人脸左脸中的关键点20,基于所述对称轴对应的位于人脸右脸中的点即为:关键点28,依次类推。
所述图像处理装置计算点Pi(xp,yp)和点Qi(xq,yq)与所述对称轴的距离Lp和Lq;对点Pi(xp,yp)和点Qi(xq,yq)进行对称性形变,对应得到形变后的点P'i(xp-(Lp+Lq)/2,(yp+yq)/2)和点Q'i(xq+(Lp+Lq)/2,(yp+yq)/2)。利用上述对称形变方式,对每个所述人脸轮廓关键点进行对称性形变处理,从而得到形变后的对称人脸信息。
本发明实施例通过对人像图片中的人脸轮廓进行对称性形变处理,进而根据形变后的人脸轮廓信息获取与之匹配的卡通人脸素材,能够保持原有卡通头像的正面照的特点,同时也提高了卡通人脸与人像图片中的真实人脸之间的相似度和真实性;对用户侧来讲,在对人脸的脸型轮廓进行对称性处理后,产生了一种对称美感,从而也提高了卡通人像的感官体验。
请参照图7,图7是本发明图像处理方法第三实施例流程示意图;本发明实施例与图2和图6所述实施例的区别是,所述图像处理装置预先设置所述脸型尺寸范围,进而对不符合脸型尺寸范围的人脸轮廓进行检测识别。本发明实施例仅描述本实施例与上述实施例的区别点,有关本发明图像处理方法所涉及的其他步骤,请参照相应实施例的描述,在此不再赘述。
图7实施例以与图2所述实施例的区别为例进行描述;如图7所示,本发明图像处理方法在图2所述实施例的“步骤S01、检测输入的人像图片中的人脸区域,标识所述人脸区域中原始人脸信息对应的人脸轮廓关键点,获取对应的人脸轮廓信息”之前,还包括:
步骤S10、预先设置所述脸型尺寸范围。
其中,所述步骤S10可以在步骤S03之前的任一过程实施均可,图7所述实施例仅以在步骤S01之前实施为例进行描述。
本发明实施例中,由于对于真实人脸中过胖或者过瘦的脸型形变后,会进一步夸大对应的脸型特征,比如对于过胖的脸型,进行形变后,可能会进一步夸大过胖的脸型;而对于过瘦的脸型,进行形变后,可能会进一步夸大过瘦的脸型。因此,为了提高卡通人脸与真实用户人脸之间的真实性和相似度,对于过胖或者过瘦的人脸轮廓,所述图像处理装置将不做脸型形变。对于过胖或者过瘦的人脸轮廓的界定为:大于所述脸型尺寸范围的最大值,为过胖;小于所述脸型尺寸范围的最小值,为过瘦。这就需要所述图像处理装置设置一个脸型尺寸范围,以便于将人像图片对应的人脸轮廓尺寸与之比较后,从而确定是否对该人脸轮廓进行形变。
在本发明一优选实施例中,所述图像处理装置设置所述脸型尺寸范围可以通过如下方式:
收集预设数量的人脸图片,将预设数量的人脸图片均归一化至预设图片尺寸,比如,归一化至同一标准尺寸下。为了提高人脸轮廓尺寸的广泛性和普遍适用性,所述图像处理装置尽可能多地搜集人脸图片。在对收集的各人脸图片进行归一化处理后,所述图像处理装置获取上述人脸图片中每一副人脸图片分别对应的人脸轮廓信息,得到对应的不同的人脸轮廓尺寸;根据不同的人脸轮廓尺寸,统计人脸轮廓尺寸的信息分布范围,从而得到所述脸型尺寸范围。
本发明实施例通过设置所述脸型尺寸范围,间接地为提高卡通人脸与真实用户人脸之间的真实性和相似度做了贡献。
请参照图8,图8是本发明图像处理装置第一实施例功能模块示意图;如图8所示,本发明图像处理装置包括:人脸轮廓获取模块01、轮廓尺寸获取模块02、卡通素材获取模块03以及卡通素材形变模块04。
所述人脸轮廓获取模块01,用于检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点。
本发明实施例中,所述图像处理装置中的所述人脸轮廓获取模块01接收输入的人像图片,通过任意可用的人脸检测算法检测输入的上述人像图片中对应的人脸区域;所述人脸检测算法包括但不限于:基于模板匹配模型检测、基于肤色模型进行检测、基于ANN模型进行检测、基于SVM模型进行检测以及基于Adaboost模型进行检测等。所述人脸轮廓获取模块01检测到所输入的人像图片中的人脸区域后,标识出该人脸区域。采用预设识别算法比如vosm算法,所述人脸轮廓获取模块01定位标识出的上述人脸区域对应的人脸轮廓关键点,进而根据标识出的人脸轮廓关键点,得出上述人脸区域对应的人脸轮廓信息。
在本发明一优选实施例中,所述人脸轮廓获取模块01采用0~87这88个阿拉伯数字来作为组成一个人脸轮廓的88个人脸轮廓关键点,从而根据标识出的上述人脸轮廓关键点,得出对应的人脸轮廓信息。如图3所示,所述人脸轮廓获取模块01利用数字0~7组成左眼上半部分,数字8~15组成右眼上半部分,数字16~23组成左眼下半部分,数字24~31组成右眼下半部分,数字32~44组成鼻子,数字45~66组成嘴巴部分,数字67~87组成脸颊轮廓;其中,在图3所示的人脸轮廓关键点这一实施例中,数字67标识左脸颊起点,数字77标识下巴中点,数字87标识右脸终点。所述人脸轮廓获取模块01利用图3所示的0~87个关键点,组成对应的人脸轮廓,得到包括上述关键点位置信息、关键点个数信息和各关键点分别对应位置关系的人脸轮廓信息。
所述轮廓尺寸获取模块02,用于根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸。
根据所述人脸轮廓获取模块01得到的人脸轮廓信息,所述轮廓尺寸获取模块02利用所述人脸轮廓信息中对应的人脸轮廓关键点以及各关键点的位置信息,计算得出该人脸轮廓信息对应的脸型轮廓尺寸。所述脸型轮廓尺寸可以理解为:人脸轮廓信息中,人脸外轮廓线和标识人脸左脸颊起点的关键点以及标识下巴中点、人脸外轮廓线和标识下巴中点以及人脸右脸颊终点的关键点所构成的月牙形区域面积的大小;其中,该脸型轮廓尺寸表示人脸的胖瘦信息。在某些简单的人脸轮廓信息中,所述轮廓尺寸获取模块02可以直接获取左脸颊起点、下巴中点以及右脸颊终点所形成的圆弧形线段,根据获取的圆弧形线段,计算对应的脸型轮廓尺寸。比如,图3简要展示的人脸轮廓中,所述轮廓尺寸获取模块02根据人脸左脸颊起点67、下巴中点77以及人脸右脸颊终点87所构成的圆弧形线段,计算获取对应的脸型轮廓尺寸。
所述卡通素材获取模块03,用于识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材。
根据所述轮廓尺寸获取模块02获取的脸型轮廓尺寸,所述图像处理装置识别该脸型轮廓尺寸是否在预先设置的脸型尺寸范围内。本发明实施例中,为了提高卡通人脸与真实用户人脸之间的真实性和相似度,对于过胖或者过瘦的人脸轮廓,将不做脸型形变。对于过胖或者过瘦的人脸轮廓的界定为:大于所述脸型尺寸范围的最大值,为过胖;小于所述脸型尺寸范围的最小值,为过瘦。只有当所述图像处理装置识别出得到的所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,所述卡通素材获取模块03选取与该人脸轮廓信息相匹配的卡通人脸素材,进而由所述卡通素材形变模块04对选取的卡通人脸素材进行形变。若所述图像处理装置识别出得到的所述脸型轮廓尺寸不在所述脸型尺寸范围内,即所述图像处理装置识别出获取的所述脸型轮廓尺寸对应的脸型过胖或者过瘦,则所述图像处理装置直接获取该人脸轮廓信息对应的卡通人脸素材,并直接利用获取到的卡通人脸素材进行卡通头像的合成,而不对匹配的卡通人脸素材进行任何的脸型形变处理。
本发明实施例中,所述卡通素材获取模块03可以按照所述人脸轮廓信息,直接自动绘制并生成所述人脸轮廓信息对应的卡通人脸素材;或者,所述卡通素材获取模块03也可以基于模式识别技术,根据所述人脸轮廓信息,从素材数据库中搜索与所述人脸轮廓信息相匹配的卡通人脸素材;或者,所述卡通素材获取模块03也可以根据所述人脸轮廓信息,发送获取与所述人脸轮廓信息相匹配的卡通人脸素材的提示信息;并在接收到用户基于所述提示信息触发的素材选取指令时,所述卡通素材获取模块03获取所述素材选取指令映射的卡通人脸素材;本发明实施例中,所述卡通素材获取模块03所获取的其中一个卡通人脸素材如图4所示。其中,所述卡通素材获取模块03基于模式识别技术,根据所述人脸轮廓信息,从素材数据库中搜索与所述人脸轮廓信息相匹配的卡通人脸素材这一处理方式中,所述图像处理装置在存储器102中预先存储了与多个脸型信息分别匹配的卡通人脸素材,以方便查找;比如,针对鹅蛋脸这一脸型信息,所述图像处理装置存储的与该鹅蛋脸匹配的卡通人脸素材为第一卡通人脸素材;针对国字脸这一脸型信息,所述图像处理装置存储的与该国字脸匹配的卡通人脸素材为第二卡通人脸素材;针对瓜子脸这一脸型信息,所述图像处理装置存储的与该瓜子脸匹配的卡通人脸素材为第三卡通人脸素材等,本发明实施例不对其进行一一穷举。
进一步地,所述卡通素材获取模块03获取的所述卡通人脸素材包括由人脸五官素材图层所合成的png格式的四通道图片,以便所述卡通素材形变模块04利用该图片便于对人脸素材中组成人脸的五官所在的图层进行单独处理。
所述卡通素材形变模块04,用于基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
根据获取的人脸轮廓关键点,所述卡通素材形变模块04将人像图片中的人脸关键点与获取的卡通人脸素材进行拟合;比如,根据预设相似度阈值,利用人脸关键点,所述卡通素材形变模块04调整卡通人脸素材对应的卡通人脸关键点;使得卡通人脸关键点所组成的卡通人脸轮廓与人像图片中的原始人脸轮廓的相似度达到预设相似度阈值,从而得到形变后的卡通人脸信息。进而,所述图像处理装置根据所述卡通素材形变模块04形变后的卡通人脸信息,合成对应的卡通头像。
在本发明一优选实施例中,所述卡通素材形变模块04可以采用两点对齐的方式,基于所述人脸轮廓关键点,调整所述卡通人脸素材,从而得到形变后的卡通人脸信息。比如,所述卡通素材形变模块04以卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点对卡通人脸素材进行形变处理,在增加卡通人脸素材与真实人脸的相似性的同时,又不影响卡通脸型与其他卡通器官组件的合成;比如,卡通下巴中点不动,保证了头部与卡通人物身体的贴合;而卡通左脸起点和卡通右脸终点不动,即卡通人脸素材中的卡通脸颊端点不动,则保证了头发与脸型的贴合;提高了图像处理的灵活性和便捷性。
在一较为具体的实现方式中,所述卡通素材形变模块04获取所述卡通人脸素材对应的卡通脸型轮廓点,选取所述卡通脸型轮廓点中的卡通左脸起点Q0、卡通下巴中点Q1和卡通右脸终点Q2;基于所述人脸轮廓关键点,选取所述人脸轮廓关键点中的人脸左脸起点P0、人脸下巴中点P1和人脸右脸终点P2;利用两点对齐方式,将人脸左脸起点P0和人脸下巴中点P1依次对齐至卡通左脸起点Q0和卡通下巴中点Q1,根据原始两点P0、P1和目标两点Q0、Q1,能够计算得出唯一的仿射变换矩阵M,将P0~P1范围内的坐标点均乘以M,即可将P0、P1这两点对齐至Q0、Q1这两点对应的卡通轮廓坐标系中。同样地原理,所述卡通素材形变模块04通过将人脸下巴中点P1、人脸右脸终点P2依次对齐至卡通下巴中点Q1和卡通右脸终点Q2,即可将所述人脸轮廓关键点对齐至由所述卡通脸型轮廓点组成的上述卡通轮廓坐标系中。基于对齐后的所述卡通轮廓坐标系,所述卡通素材形变模块04以卡通左脸起点Q0、卡通下巴中点Q1和卡通右脸终点Q2作为三个不动点,依次对于两点对齐后的位于人像图片中的所述人脸轮廓关键点中的Pi和对应的卡通素材中的卡通脸型轮廓点Qi作为液化变形函数的起点和终点,对匹配的所述卡通人脸素材进行液化变形,从而得到变形后的卡通人脸信息。比如,所述卡通素材形变模块04利用所述液化变形函数,通过指定原始点Pi和目标点Qi,并根据变形范围参数r、变形强度参数s,对所述卡通人脸素材中的卡通脸型轮廓进行平滑的拉伸移动,从而实现对卡通人脸素材的液化变形处理,得到形变后的卡通人脸信息。利用液化变形的方式,通过控制卡通人脸素材中每个点的液化变形的半径参数,保证了卡通人脸信息对应的卡通脸型轮廓的平滑,且变形后的卡通人脸素材对应的卡通人脸图像不会产生锯齿、扭曲等视觉损失;提高了图像处理的智能性。另外,对用户侧来讲,通过液化变形处理方式所得到的变形后的卡通人脸素材,也提高了视觉对应的感官体验。
上述对卡通人脸素材的变化过程可以参照图5,图5中,第一个图像表示,输入所述图像处理装置中的人像图片;第二个图像表示:所述图像处理装置选取的与人像图片中的人脸轮廓信息相匹配的卡通人脸素材;第三个图像表示,按照卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点,根据所述人脸轮廓关键点,利用预设液化变形函数,对所述卡通人脸素材进行液化变形处理的图像;第四个图像表示,根据形变后的卡通人脸信息合成的卡通头像。
本发明实施例检测输入的人像图片中的人脸区域,标识所述人脸区域中原始人脸信息对应的人脸轮廓关键点,获取对应的人脸轮廓信息;根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸;识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材;基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像;相较于现有技术中,直接绘制适合大部分人脸对应的脸型轮廓的方式,本发明实施例具有自适应获取人像图片中人脸对应的卡通人脸的有益效果;提高了卡通人脸与真实人脸之间的相似度和真实性;进一步地,由于对于超过预先设置的脸型尺寸范围的人脸加以识别检测和过滤,从而提高了图像处理的实用性。
请继续参照图8,本发明实施例中,在所述图像处理装置识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,先对人脸轮廓信息对应的人脸轮廓做对称性形变处理,再根据形变后的对称人脸信息,选取与所述对称人脸信息匹配的卡通人脸素材。
如图8所示,本发明图像处理装置中,所述卡通素材获取模块03还用于:
识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,得到形变后的对称人脸信息。
本发明实施例中,由于生成的卡通头像中的卡通脸型素材均是左右对称的,因此,为了进一步提高卡通人脸与人像图片中的真实人脸之间的相似度和真实性,当所述图像处理装置识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,所述卡通素材获取模块03基于人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理。进而,由所述卡通素材获取模块03根据形变后的对称人脸信息,选取与所述对称人脸信息相匹配的卡通人脸素材。
在本发明一优选实施例中,所述卡通素材获取模块03根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,可以采取如下方式:
所述卡通素材获取模块03选取所述人脸轮廓关键点中的人脸双眼中心点以及人脸下巴点,将所述人脸双眼中心点与人脸下巴点的连线作为对称轴;选取所述人脸轮廓关键点中位于人脸左脸上的任意一点Pi(xp,yp),以及与该点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq);本发明实施例中,所述卡通素材获取模块03选取的与位于人脸左脸的点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq)可以理解为:对于理想中对称的人脸轮廓关键点中,该点Pi(xp,yp)与点Qi(xq,yq)关于上述对称轴一一对称。比如,针对图3所描述的人脸轮廓关键点中,与位于人脸左脸中的数字0表示的这一关键点0,基于所述对称轴对应的位于人脸右脸中的点即为:关键点8;与位于人脸左脸中的关键点20,基于所述对称轴对应的位于人脸右脸中的点即为:关键点28,依次类推。
所述卡通素材获取模块03计算点Pi(xp,yp)和点Qi(xq,yq)与所述对称轴的距离Lp和Lq;对点Pi(xp,yp)和点Qi(xq,yq)进行对称性形变,对应得到形变后的点P'i(xp-(Lp+Lq)/2,(yp+yq)/2)和点Q'i(xq+(Lp+Lq)/2,(yp+yq)/2)。利用上述对称形变方式,所述卡通素材获取模块03对每个所述人脸轮廓关键点进行对称性形变处理,从而得到形变后的对称人脸信息。
本发明实施例通过对人像图片中的人脸轮廓进行对称性形变处理,进而根据形变后的人脸轮廓信息获取与之匹配的卡通人脸素材,,能够保持原有卡通头像的正面照的特点,同时也提高了卡通人脸与人像图片中的真实人脸之间的相似度和真实性;对用户侧来讲,在对人脸的脸型轮廓进行对称性处理后,产生了一种对称美感,从而也提高了卡通人像的感官体验。
请参照图9,图9是本发明图像处理装置第二实施例功能模块示意图;本发明实施例与图8所述实施例的区别是,所述图像处理装置预先设置所述脸型尺寸范围,进而对不符合脸型尺寸范围的人脸轮廓进行检测识别。
如图9所示,本发明图像处理装置还包括:
脸型尺寸设置模块05,用于预先设置所述脸型尺寸范围。
本发明实施例中,由于对于真实人脸中过胖或者过瘦的脸型形变后,会进一步夸大对应的脸型特征,比如对于过胖的脸型,进行形变后,可能会进一步夸大过胖的脸型;而对于过瘦的脸型,进行形变后,可能会进一步夸大过瘦的脸型。因此,为了提高卡通人脸与真实用户人脸之间的真实性和相似度,对于过胖或者过瘦的人脸轮廓,所述图像处理装置将不做脸型形变。对于过胖或者过瘦的人脸轮廓的界定为:大于所述脸型尺寸范围的最大值,为过胖;小于所述脸型尺寸范围的最小值,为过瘦。这就需要所述图像处理装置中的脸型尺寸设置模块05设置一个脸型尺寸范围,以便于将人像图片对应的人脸轮廓尺寸与之比较后,从而确定是否对该人脸轮廓进行形变。
在本发明一优选实施例中,所述脸型尺寸设置模块05设置所述脸型尺寸范围可以通过如下方式:
收集预设数量的人脸图片,将预设数量的人脸图片均归一化至预设图片尺寸,比如,归一化至同一标准尺寸下。为了提高人脸轮廓尺寸的广泛性和普遍适用性,所述脸型尺寸设置模块05尽可能多地搜集人脸图片。在对收集的各人脸图片进行归一化处理后,所述脸型尺寸设置模块05获取上述人脸图片中每一副人脸图片分别对应的人脸轮廓信息,得到对应的不同的人脸轮廓尺寸;根据不同的人脸轮廓尺寸,统计人脸轮廓尺寸的信息分布范围,从而得到所述脸型尺寸范围。
本发明实施例通过设置所述脸型尺寸范围,间接地为提高卡通人脸与真实用户人脸之间的真实性和相似度做了贡献。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并非因此限制其专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (16)
1.一种图像处理方法,其特征在于,包括以下步骤:
检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;
根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸,其中,所述脸型轮廓尺寸为:人脸轮廓信息中,人脸外轮廓线和标识人脸左脸颊起点的关键点以及标识下巴中点、人脸外轮廓线和标识下巴中点以及人脸右脸颊终点的关键点所构成的月牙形区域面积的大小;
预先设置脸型尺寸范围,识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,获取对应的卡通人脸素材;
基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
2.如权利要求1所述的方法,其特征在于,所述根据所述人脸轮廓信息,获取对应的卡通人脸素材的步骤包括:
根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材。
3.如权利要求1所述的方法,其特征在于,所述根据所述人脸轮廓信息,获取对应的卡通人脸素材的步骤包括:
根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,得到形变后的对称人脸信息;
根据形变后的对称人脸信息,选取与所述对称人脸信息相匹配的卡通人脸素材。
4.如权利要求3所述的方法,其特征在于,所述根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理的步骤包括:
选取所述人脸轮廓关键点中的人脸双眼中心点以及人脸下巴点,将所述人脸双眼中心点与人脸下巴点的连线作为对称轴;
选取所述人脸轮廓关键点中位于人脸左脸上的任意一点Pi(xp,yp),以及与该点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq);
计算点Pi(xp,yp)和点Qi(xq,yq)与所述对称轴的距离Lp和Lq;
对点Pi(xp,yp)和点Qi(xq,yq)进行对称性形变,对应得到形变后的点P'i(xp-(Lp+Lq)/2,(yp+yq)/2)和点Q'i(xq+(Lp+Lq)/2,(yp+yq)/2)。
5.如权利要求1至4任一项所述的方法,其特征在于,所述根据所述人脸轮廓信息,获取对应的卡通人脸素材的步骤包括:
按照所述人脸轮廓信息,绘制并生成对应的卡通人脸素材;或者,
基于模式识别技术,根据所述人脸轮廓信息,从素材数据库中搜索对应的卡通人脸素材;或者,
根据所述人脸轮廓信息,发送获取对应的卡通人脸素材的提示信息;接收到用户基于所述提示信息触发的素材选取指令,获取所述素材选取指令映射的卡通人脸素材。
6.如权利要求1至4任一项所述的方法,其特征在于,所述基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息的步骤包括:
获取所述卡通人脸素材对应的卡通脸型轮廓点,选取所述卡通脸型轮廓点中的卡通左脸起点、卡通下巴中点和卡通右脸终点;
基于所述人脸轮廓关键点,选取所述人脸轮廓关键点中的人脸左脸起点、人脸下巴中点和人脸右脸终点;
通过将人脸左脸起点和人脸下巴中点依次对齐至卡通左脸起点和卡通下巴中点,以及将人脸下巴中点、人脸右脸终点依次对齐至卡通下巴中点和卡通右脸终点,将所述人脸轮廓关键点对齐至由所述卡通脸型轮廓点组成的卡通轮廓坐标系中;
基于对齐后的所述卡通轮廓坐标系,以卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点,根据所述人脸轮廓关键点,利用预设液化变形函数,对所述卡通人脸素材进行液化变形处理,得到形变后的卡通人脸信息。
7.如权利要求1所述的方法,其特征在于,所述预先设置所述脸型尺寸范围的步骤包括:
收集预设数量的人脸图片,将预设数量的人脸图片均归一化至预设图片尺寸;
获取预设数量的人脸图片中每一副人脸图片分别对应的人脸轮廓信息,得到对应的不同的人脸轮廓尺寸;
根据不同的人脸轮廓尺寸,统计人脸轮廓尺寸的信息分布范围,得到所述脸型尺寸范围。
8.如权利要求1至4任一项所述的方法,其特征在于,所述卡通人脸素材包括由人脸五官素材图层所合成的png格式的四通道图片。
9.一种图像处理装置,其特征在于,包括:
人脸轮廓获取模块,用于检测输入的人像图片中的人脸区域,获取所述人脸区域对应的人脸轮廓信息,所述人脸轮廓信息包含人脸区域中的人脸轮廓关键点;
轮廓尺寸获取模块,用于根据所述人脸轮廓信息,获取所述人脸轮廓信息对应的脸型轮廓尺寸,其中,所述脸型轮廓尺寸为:人脸轮廓信息中,人脸外轮廓线和标识人脸左脸颊起点的关键点以及标识下巴中点、人脸外轮廓线和标识下巴中点以及人脸右脸颊终点的关键点所构成的月牙形区域面积的大小;
脸型尺寸设置模块,用于预先设置脸型尺寸范围;
卡通素材获取模块,用于识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,获取对应的卡通人脸素材;
卡通素材形变模块,用于基于所述人脸轮廓关键点,调整所述卡通人脸素材,得到形变后的卡通人脸信息,以便根据形变后的所述卡通人脸信息合成对应的卡通头像。
10.如权利要求9所述的装置,其特征在于,所述卡通素材获取模块还用于:
识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓信息,选取与所述人脸轮廓信息相匹配的卡通人脸素材。
11.如权利要求9所述的装置,其特征在于,所述卡通素材获取模块还用于:
识别出所述脸型轮廓尺寸在预先设置的脸型尺寸范围内时,根据所述人脸轮廓关键点,对所述人脸轮廓信息映射的人脸轮廓进行对称性形变处理,得到形变后的对称人脸信息;
根据形变后的对称人脸信息,选取与所述对称人脸信息相匹配的卡通人脸素材。
12.如权利要求11所述的装置,其特征在于,所述卡通素材获取模块还用于:
选取所述人脸轮廓关键点中的人脸双眼中心点以及人脸下巴点,将所述人脸双眼中心点与人脸下巴点的连线作为对称轴;
选取所述人脸轮廓关键点中位于人脸左脸上的任意一点Pi(xp,yp),以及与该点Pi(xp,yp)对应的位于人脸右脸上的点Qi(xq,yq);
计算点Pi(xp,yp)和点Qi(xq,yq)与所述对称轴的距离Lp和Lq;
对点Pi(xp,yp)和点Qi(xq,yq)进行对称性形变,对应得到形变后的点P'i(xp-(Lp+Lq)/2,(yp+yq)/2)和点Q'i(xq+(Lp+Lq)/2,(yp+yq)/2)。
13.如权利要求9至12任一项所述的装置,其特征在于,所述卡通素材获取模块还用于:
按照所述人脸轮廓信息,绘制并生成对应的卡通人脸素材;或者,
基于模式识别技术,根据所述人脸轮廓信息,从素材数据库中搜索对应的卡通人脸素材;或者,
根据所述人脸轮廓信息,发送获取对应的卡通人脸素材的提示信息;接收到用户基于所述提示信息触发的素材选取指令,获取所述素材选取指令映射的卡通人脸素材。
14.如权利要求9至12任一项所述的装置,其特征在于,所述卡通素材形变模块还用于:
获取所述卡通人脸素材对应的卡通脸型轮廓点,选取所述卡通脸型轮廓点中的卡通左脸起点、卡通下巴中点和卡通右脸终点;
基于所述人脸轮廓关键点,选取所述人脸轮廓关键点中的人脸左脸起点、人脸下巴中点和人脸右脸终点;
通过将人脸左脸起点和人脸下巴中点依次对齐至卡通左脸起点和卡通下巴中点,以及将人脸下巴中点、人脸右脸终点依次对齐至卡通下巴中点和卡通右脸终点,将所述人脸轮廓关键点对齐至由所述卡通脸型轮廓点组成的卡通轮廓坐标系中;
基于对齐后的所述卡通轮廓坐标系,以卡通左脸起点、卡通下巴中点和卡通右脸终点作为三个不动点,根据所述人脸轮廓关键点,利用预设液化变形函数,对所述卡通人脸素材进行液化变形处理,得到形变后的卡通人脸信息。
15.如权利要求9所述的装置,其特征在于,所述脸型尺寸设置模块还用于:
收集预设数量的人脸图片,将预设数量的人脸图片均归一化至预设图片尺寸;
获取预设数量的人脸图片中每一副人脸图片分别对应的人脸轮廓信息,得到对应的不同的人脸轮廓尺寸;
根据不同的人脸轮廓尺寸,统计人脸轮廓尺寸的信息分布范围,得到所述脸型尺寸范围。
16.如权利要求9至12任一项所述的装置,其特征在于,所述卡通人脸素材包括由人脸五官素材图层所合成的png格式的四通道图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410414574.3A CN105374055B (zh) | 2014-08-20 | 2014-08-20 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410414574.3A CN105374055B (zh) | 2014-08-20 | 2014-08-20 | 图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105374055A CN105374055A (zh) | 2016-03-02 |
CN105374055B true CN105374055B (zh) | 2018-07-03 |
Family
ID=55376227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410414574.3A Active CN105374055B (zh) | 2014-08-20 | 2014-08-20 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105374055B (zh) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107203963B (zh) * | 2016-03-17 | 2019-03-15 | 腾讯科技(深圳)有限公司 | 一种图像处理方法及装置、电子设备 |
DK179978B1 (en) | 2016-09-23 | 2019-11-27 | Apple Inc. | IMAGE DATA FOR ENHANCED USER INTERACTIONS |
CN106845356B (zh) * | 2016-12-24 | 2018-06-05 | 深圳云天励飞技术有限公司 | 一种人脸识别的方法、客户端、服务器及系统 |
CN106845355B (zh) * | 2016-12-24 | 2018-05-11 | 深圳云天励飞技术有限公司 | 一种人脸识别的方法、服务器及系统 |
CN110490093B (zh) * | 2017-05-16 | 2020-10-16 | 苹果公司 | 表情符号录制和发送 |
DK179867B1 (en) | 2017-05-16 | 2019-08-06 | Apple Inc. | RECORDING AND SENDING EMOJI |
KR102435337B1 (ko) | 2017-05-16 | 2022-08-22 | 애플 인크. | 이모지 레코딩 및 전송 |
CN107194980A (zh) * | 2017-05-18 | 2017-09-22 | 成都通甲优博科技有限责任公司 | 人脸模型构建方法、装置及电子设备 |
CN108961149B (zh) * | 2017-05-27 | 2022-01-07 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
CN107492068B (zh) * | 2017-09-28 | 2020-08-04 | 北京奇虎科技有限公司 | 视频对象变换实时处理方法、装置及计算设备 |
CN107832692A (zh) * | 2017-10-31 | 2018-03-23 | 浪潮金融信息技术有限公司 | 一种人脸图像处理方法和装置 |
CN108062783A (zh) * | 2018-01-12 | 2018-05-22 | 北京蜜枝科技有限公司 | 面部动画映射系统及方法 |
CN108875534B (zh) * | 2018-02-05 | 2023-02-28 | 北京旷视科技有限公司 | 人脸识别的方法、装置、系统及计算机存储介质 |
CN108596091A (zh) * | 2018-04-24 | 2018-09-28 | 杭州数为科技有限公司 | 人物形象卡通化还原方法、系统及介质 |
DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
CN108717719A (zh) * | 2018-05-23 | 2018-10-30 | 腾讯科技(深圳)有限公司 | 卡通人脸图像的生成方法、装置及计算机存储介质 |
US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
CN109919016B (zh) * | 2019-01-28 | 2020-11-03 | 武汉恩特拉信息技术有限公司 | 一种在无脸部器官的对象上生成人脸表情的方法及装置 |
CN110032959B (zh) * | 2019-03-29 | 2021-04-06 | 北京迈格威科技有限公司 | 一种人脸脸型判断方法及装置 |
CN110223218B (zh) * | 2019-05-16 | 2024-01-12 | 北京达佳互联信息技术有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
CN110443745B (zh) * | 2019-07-03 | 2024-03-19 | 平安科技(深圳)有限公司 | 图像生成方法、装置、计算机设备及存储介质 |
CN111091055A (zh) * | 2019-11-13 | 2020-05-01 | 深圳数联天下智能科技有限公司 | 脸型识别方法、装置、设备及计算机可读存储介质 |
CN110910308B (zh) * | 2019-12-03 | 2024-03-05 | 广州虎牙科技有限公司 | 图像处理方法、装置、设备和介质 |
CN111738930A (zh) * | 2020-05-12 | 2020-10-02 | 北京三快在线科技有限公司 | 人脸图像的合成方法、装置、电子设备及存储介质 |
AU2021290132C1 (en) | 2020-06-08 | 2024-04-18 | Apple Inc. | Presenting avatars in three-dimensional environments |
CN112766215B (zh) * | 2021-01-29 | 2024-08-09 | 北京字跳网络技术有限公司 | 人脸图像处理方法、装置、电子设备及存储介质 |
CN113269170A (zh) * | 2021-07-20 | 2021-08-17 | 北京拍立拼科技有限公司 | 一种基于特征相似性度量的人像积木智能匹配方法及系统 |
CN116109479B (zh) * | 2023-04-17 | 2023-07-18 | 广州趣丸网络科技有限公司 | 虚拟形象的面部调整方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1971615A (zh) * | 2006-11-10 | 2007-05-30 | 中国科学院计算技术研究所 | 一种基于人脸照片的卡通肖像生成方法 |
CN101159064A (zh) * | 2007-11-29 | 2008-04-09 | 腾讯科技(深圳)有限公司 | 画像生成系统以及按照图像生成画像的方法 |
CN101183462A (zh) * | 2007-12-12 | 2008-05-21 | 腾讯科技(深圳)有限公司 | 一种卡通形象的生成、嵌入方法及系统 |
CN101477696A (zh) * | 2009-01-09 | 2009-07-08 | 彭振云 | 一种人物漫画图像生成方法及装置 |
CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
CN102096934A (zh) * | 2011-01-27 | 2011-06-15 | 电子科技大学 | 一种基于机器学习的人脸卡通画生成方法 |
CN102542586A (zh) * | 2011-12-26 | 2012-07-04 | 暨南大学 | 一种基于移动终端的个性化卡通肖像生成系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002175538A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法 |
US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
TW200614094A (en) * | 2004-10-18 | 2006-05-01 | Reallusion Inc | System and method for processing comic character |
CN101098241A (zh) * | 2006-06-26 | 2008-01-02 | 腾讯科技(深圳)有限公司 | 虚拟形象实现方法及其系统 |
CN103208133B (zh) * | 2013-04-02 | 2015-08-19 | 浙江大学 | 一种图像中人脸胖瘦的调整方法 |
-
2014
- 2014-08-20 CN CN201410414574.3A patent/CN105374055B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1971615A (zh) * | 2006-11-10 | 2007-05-30 | 中国科学院计算技术研究所 | 一种基于人脸照片的卡通肖像生成方法 |
CN101159064A (zh) * | 2007-11-29 | 2008-04-09 | 腾讯科技(深圳)有限公司 | 画像生成系统以及按照图像生成画像的方法 |
CN101183462A (zh) * | 2007-12-12 | 2008-05-21 | 腾讯科技(深圳)有限公司 | 一种卡通形象的生成、嵌入方法及系统 |
CN101477696A (zh) * | 2009-01-09 | 2009-07-08 | 彭振云 | 一种人物漫画图像生成方法及装置 |
CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
CN102096934A (zh) * | 2011-01-27 | 2011-06-15 | 电子科技大学 | 一种基于机器学习的人脸卡通画生成方法 |
CN102542586A (zh) * | 2011-12-26 | 2012-07-04 | 暨南大学 | 一种基于移动终端的个性化卡通肖像生成系统及方法 |
Non-Patent Citations (1)
Title |
---|
利用图像变形生成个性化人脸卡通;邓维 等;《计算机工程与应用》;20111231;第47卷(第24期);第132-135页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105374055A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105374055B (zh) | 图像处理方法及装置 | |
JP7191213B2 (ja) | 顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体 | |
CN109359538B (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
CN109359575B (zh) | 人脸检测方法、业务处理方法、装置、终端及介质 | |
KR101760258B1 (ko) | 얼굴 인식 장치 및 그 방법 | |
KR101901591B1 (ko) | 얼굴 인식 장치 및 그 제어방법 | |
TWI544426B (zh) | 影像處理方法以及電子裝置 | |
KR101141643B1 (ko) | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 | |
CN102567716B (zh) | 一种人脸合成系统及实现方法 | |
US8897568B2 (en) | Device and method that compare facial images | |
CN105825163A (zh) | 一种人脸图像的检索系统及方法 | |
CN110531853B (zh) | 一种基于人眼注视点检测的电子书阅读器控制方法及系统 | |
CN105096353B (zh) | 一种图像处理方法及装置 | |
CN109190535A (zh) | 一种基于深度学习的人脸面部肤色分析方法和系统 | |
CN107944435A (zh) | 一种三维人脸识别方法、装置及处理终端 | |
CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
CN111861868B (zh) | 用于视频中人像美化的图像处理方法及装置 | |
US20210049350A1 (en) | Method and device for generating face image, electronic device and computer readable storage medium | |
CN113591562A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN109858355A (zh) | 图像处理方法及相关产品 | |
CN109993135A (zh) | 一种基于增强现实的手势识别方法、系统及装置 | |
CN107272893B (zh) | 基于手势控制非触摸屏的人机交互系统及方法 | |
KR101156154B1 (ko) | 깊이 영상을 이용한 실린더 모델 기반의 포즈 인식 시스템, 매체 및 서버 시스템 | |
KR20160042646A (ko) | 얼굴 인식 방법 | |
JP7247579B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |