CN108346175A - 一种人脸图像修复方法、装置及存储介质 - Google Patents
一种人脸图像修复方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108346175A CN108346175A CN201810118865.6A CN201810118865A CN108346175A CN 108346175 A CN108346175 A CN 108346175A CN 201810118865 A CN201810118865 A CN 201810118865A CN 108346175 A CN108346175 A CN 108346175A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- model
- human face
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 317
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000007547 defect Effects 0.000 claims abstract description 309
- 210000000056 organ Anatomy 0.000 claims abstract description 86
- 230000008439 repair process Effects 0.000 claims abstract description 64
- 238000013507 mapping Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims description 44
- 238000005520 cutting process Methods 0.000 claims description 16
- 108010001267 Protein Subunits Proteins 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 14
- 230000000903 blocking effect Effects 0.000 abstract description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 62
- 230000006870 function Effects 0.000 description 33
- 210000005069 ears Anatomy 0.000 description 28
- 210000001508 eye Anatomy 0.000 description 28
- 240000006409 Acacia auriculiformis Species 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 210000000887 face Anatomy 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 230000004807 localization Effects 0.000 description 9
- 230000006854 communication Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 206010009259 cleft lip Diseases 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 1
- 241000700647 Variola virus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010612 desalination reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000018927 edible plant Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001938 protoplast Anatomy 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G06T3/06—
-
- G06T5/77—
Abstract
本发明实施例公开了一种人脸图像修复方法、装置及存储介质，本发明实施例通过对二维图像中的人脸进行检测；当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型；获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。该方案实现了对图像中人脸存在缺陷的人脸器官进行修复，使得图像中人脸不存在缺陷的人脸器官，也不存在遮挡缺陷的人脸器官的物体，而且可以通过对三维人脸模型进行修复，得到人脸器官不存在缺陷的二维人脸，提高了对图像中人脸进行修复的效果。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种人脸图像修复方法、装置及存储介质。
背景技术
随着数码相机、平板电脑及手机等终端的普及，以及人脸美容技术和应用如火如荼的发展，拍照已经成为用户个人日常生活中的普遍行为，而且对拍照得到的图像的审美要求越来越高。
现有技术中，在拍照的过程中，可以对图像进行修复，例如，对人脸进行美白、将人脸上的痘痘或斑点淡化等，但是对于一些先天或者后天脸部有缺陷的用户，例如，单眼盲、兔唇、单耳缺失等用户，为了掩盖该缺陷，在拍照时，可以先利用一些装饰品来掩盖自己脸部存在的缺陷，再进行拍照，如盲人戴着墨镜进行拍照或兔唇人用手遮挡嘴巴进行拍照等，甚至有些脸部有缺陷的用户不敢拍照。
在对现有技术的研究和实践过程中，本发明的发明人发现，虽然现有技术中可以对图像中的人脸进行一些修复，但是针对一些脸部有缺陷的用户，现有的修复效果较差，无法对其缺陷进行修复，而且用户需要掩盖自己脸部存在的缺陷再进行拍照，导致用户拍照得到的图像中人脸不能完全展示，难以获取令人满意的拍照效果。
发明内容
本发明实施例提供一种人脸图像修复方法、装置及存储介质，旨在实现对图像中人脸存在缺陷的人脸器官进行修复，提高对图像中人脸进行修复的效果。
为解决上述技术问题，本发明实施例提供以下技术方案：
一种人脸图像修复方法，包括：
对二维图像中的人脸进行检测；
当检测到所述人脸存在缺陷的人脸器官时，将所述人脸映射为三维人脸模型；
根据所述三维人脸模型对缺陷的人脸器官进行修复，得到目标三维人脸模型；
将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
一种人脸图像修复装置，包括：
检测单元，用于对二维图像中的人脸进行检测；
映射单元，用于当检测到所述人脸存在缺陷的人脸器官时，将所述人脸映射为三维人脸模型；
修复单元，获取与所述三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据所述三维人脸器官对所述三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；
生成单元，用于将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述人脸图像修复方法中的步骤。
本发明实施例通过对二维图像中的人脸进行检测，例如，检测人脸上的嘴巴、鼻子及眼睛等人脸器官；当检测到人脸存在缺陷的人脸器官时，可以将人脸映射为三维人脸模型，以及获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；再将目标三维人脸模型逆映射为二维人脸，并根据逆映射得到的二维人脸生成目标图像。该方案实现了对图像中人脸存在缺陷的人脸器官进行修复，使得图像中展示的人脸不存在缺陷的人脸器官，也不存在遮挡缺陷的人脸器官的物体，而且可以通过对三维人脸模型进行修复，得到人脸器官不存在缺陷的二维人脸，提高了对图像中人脸进行修复的效果及图像中人脸的展示效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸图像修复系统的场景示意图；
图2是本发明实施例提供的人脸图像修复方法的流程示意图；
图3是本发明实施例提供的对二维图像中的人脸进行检测的示意图；
图4是本发明实施例提供的修复得到的三维人脸模型的结构示意图；
图5是本发明实施例提供的修复得到的三维人脸模型的另一结构示意图
图6是本发明实施例提供的修复得到的二维人脸的结构示意图；
图7是本发明实施例提供的人脸图像修复方法的另一流程示意图；
图8是本发明实施例提供的人脸图像修复装置的结构示意图；
图9是本发明实施例提供的人脸图像修复装置的另一结构示意图；
图10是本发明实施例提供的人脸图像修复装置的另一结构示意图；
图11是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种人脸图像修复方法、装置及存储介质。
请参阅图1，图1为本发明实施例所提供的人脸图像修复系统的场景示意图，该人脸图像修复系统可以包括人脸图像修复装置，该人脸图像修复装置具体可以集成在平板电脑、手机、笔记本电脑、及照相机等具备储存单元并安装有微处理器而具有运算能力的终端中，主要用于对二维图像中的人脸进行检测，例如，可以对人脸上的各个人脸器官定位生成定位特征点，并根据定位特征点对各个人脸器官进行检测；或者是，通过人脸器官未存在缺陷预存人脸图像与二维图像中的人脸进行轮廓或像素值比对等；其中，人脸器官可以包括眼睛、鼻子及嘴巴等，定位特征点可以是人脸器官的位置坐标信息。
当检测到人脸存在缺陷的人脸器官时，例如，检测到人脸存在眼睛缺陷、兔唇或单耳缺失等，此时可以标记缺陷的人脸器官，以及将人脸映射为三维人脸模型。例如，可以根据该二维图像中的人脸投影在二维平面内的第一投影参数，及预设三维人脸模型在二维平面内的第二投影参数，获取该人脸在三维平面内的三维坐标点，根据获取到的三维坐标点生成三维人脸模型。
在得到三维人脸模型后，可以获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型。例如，当对称的两个人脸器官中仅存在其中一个为缺陷的人脸器官时，可以通过未存在缺陷的人脸器官对存在缺陷的人脸器官进行修复(例如，当左耳朵和右耳朵中，仅有左耳朵存在缺陷时，可以通过右耳朵对左耳朵进行对称修复)，得到目标三维人脸模型。或者是，通过预存三维人脸模型对当前的三维人脸模型进行像素值的移植修复，例如，当左眼和右眼存在缺陷时，可以利用不存在缺陷的预存三维人脸模型中左眼和右眼所在位置的像素值，复制至当前的三维人脸模型中左眼和右眼所在位置，得到目标三维人脸模型。在得到目标三维人脸模型后，可以将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像；等等。
此外，该人脸图像修复系统还可以包括服务器，该服务器主要用于存储预存人脸图像及预存三维人脸模型等，其中，该服务器可以包括存储器，服务器可以将预存人脸图像存储至存储器的预存人脸图像库中，以及可以将预存三维人脸模型存储至存储器的三维人脸模型库中。当终端在对人脸图像进行修复的过程中，需要使用预存人脸图像时，终端可以向服务器发送图像获取请求，服务器可以基于图像获取请求向终端反馈预存人脸图像；当终端需要使用预存三维人脸模型时，终端可以向服务器发送模型获取请求，服务器可以基于模型获取请求向终端反馈预存三维人脸模型；等等。
需要说明的是，图1所示的人脸图像修复系统的场景示意图仅仅是一个示例，本发明实施例描述的人脸图像修复系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着人脸图像修复系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。
在本实施例中，将从人脸图像修复装置的角度进行描述，该人脸图像修复装置具体可以集成在平板电脑、手机、笔记本电脑、及照相机等具备储存单元并安装有微处理器而具有运算能力的终端中。
一种人脸图像修复方法，包括：对二维图像中的人脸进行检测；当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型；获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
请参阅图2，图2是本发明一实施例提供的人脸图像修复方法的流程示意图。该人脸图像修复方法可以包括：
在步骤S101中，对二维图像中的人脸进行检测。
其中，二维图像可以是人脸图像修复装置在拍照的过程中，拍照摄像头采集到的图像；二维图像也可以是人脸图像修复装置预存的图像，当然，二维图像也可以是由其他方式获取到的，具体获取方式在此处不作限定。
二维图像中可以包括人脸，还可以包括其他的物体，为了对二维图像中的人脸进行修复，人脸图像修复装置需要对二维图像中的人脸进行检测。
在某些实施方式中，人脸图像修复装置对二维图像中的人脸进行检测的步骤可以包括：对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点；根据定位特征点对各个人脸器官进行检测。
具体地，人脸图像修复装置可以通过人脸识别技术，对二维图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位，生成定位特征点，该定位特征点可以是各个人脸器官对应的关键点的位置坐标信息。例如，如图3所示，可以利用优图人脸识别技术或其他的人脸识别技术对二维图像中人脸上的各个人脸器官进行定位，生成各个人脸器官的定位特征点，该定位特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该定位特征点的个数可以是83个或68个等，具体个数可以根据实际需要进行灵活设置。
在得到各个人脸器官对应的定位特征点后，人脸图像修复装置可以根据得到的定位特征点对各个人脸器官进行检测，即对各个人脸器官进行定位检测，可选地，根据定位特征点对各个人脸器官进行检测的步骤可以包括：
判断各个人脸器官中是否存在定位特征点缺失的人脸器官；当各个人脸器官中存在定位特征点缺失的人脸器官时，判定定位特征点缺失的人脸器官为缺陷的人脸器官；当各个人脸器官中不存在定位特征点缺失的人脸器官时，判定各个人脸器官中不存在缺陷的人脸器官。
具体地，在得到二维图像中各个人脸器官对应的定位特征点后，由于定位特征点可以分布在人脸器官的边缘或中心等位置，因此人脸图像修复装置可以判断各个人脸器官中是否存在定位特征点缺失的人脸器官，该定位特征点缺失可以是部分特征点缺失或全部特征点缺失等，该缺失的人脸器官可以是该人脸器官部分缺失，也可以是该人脸器官全部缺失；若存在，则判定定位特征点缺失的人脸器官为缺陷的人脸器官，此时，可以将缺陷的人脸器官进行标记，例如可以标记缺陷的人脸器官的位置及轮廓等信息；若不存在，则说明各个人脸器官中不存在缺陷的人脸器官。
例如，如图3所示，当二维图像中用户的右眼睛存在缺陷时，得到的二维图像中各个人脸器官对应的83个定位特征点中，该右眼睛的定位特征点存在部分缺失，此时可以判定存在定位特征点缺失的右眼睛为缺陷的人脸器官。
可选地，为了提高对各个人脸器官进行检测的准确性，在根据定位特征点对各个人脸器官进行检测的过程中，当各个人脸器官中存在定位特征点缺失的人脸器官时，人脸图像修复装置判定定位特征点缺失的人脸器官为缺陷的人脸器官，并对各个人脸器官进行比对检测。例如，可以从服务器或本地的预存人脸图像库中获取预存人脸图像，该预存人脸图像中的人脸器官未存在缺陷；将二维图像中经定位特征点检测到未存在缺陷的人脸器官，与预存人脸图像中对应的人脸器官进行个数、像素值或轮廓等比对；当二维图像中存在与预存人脸图像中不匹配(例如相似度小于预设值)的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官；当二维图像中未存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不存在缺陷的人脸器官。
当各个人脸器官中不存在定位特征点缺失的人脸器官时，人脸图像修复装置可以对各个人脸器官进行比对检测。对各个人脸器官进行比对检测的具体过程可以如下：从服务器或本地的预存人脸图像库中获取预存人脸图像，预存人脸图像中的人脸器官未存在缺陷；将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行个数、像素值或轮廓等比对；当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官；当二维图像中未存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不存在缺陷的人脸器官。
在某些实施方式中，人脸图像修复装置对二维图像中的人脸进行检测的步骤可以包括：
(1)从预存人脸图像库中获取预存人脸图像，预存人脸图像中的人脸器官未存在缺陷；
(2)将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对；
(3)当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
具体地，人脸图像修复装置可以向服务器发送图像获取请求，并接收服务器基于图像获取请求反馈的从预存人脸图像库中获取到的预存人脸图像，其中，预存人脸图像库中可以存储一张或多张预存人脸图像，每张预存人脸图像中的人脸器官未存在缺陷。
人脸图像修复装置也可以从本地预先设置的预存人脸图像库中获取预存人脸图像，可以从该预存人脸图像库中获取一张预存人脸图像，也可以从预存人脸图像库中获取多张预存人脸图像。可以理解的是，预存人脸图像的获取方式可以根据实际需要进行灵活设置，具体获取方式在此处不作限定。
可选地，从预存人脸图像库中获取预存人脸图像的步骤可以包括：
获取二维图像中各个人脸器官的定位特征点所形成的第一轮廓；获取预存图像库中每个预存人脸图像对应的各个人脸器官的定位特征点所形成轮廓，得到第二轮廓；从第二轮廓中获取与第一轮廓之间相似度最大的轮廓所对应的预存人脸图像。
具体地，人脸图像修复装置可以通过人脸识别技术对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点，以及获取二维图像中各个人脸器官的定位特征点所形成的第一轮廓。对于预存人脸图像库中的每张预存人脸图像，首先对每张预存人脸图像中人脸上的各个人脸器官进行定位，生成定位特征点，以及获取每张预存人脸图像中各个人脸器官的定位特征点所形成的轮廓，得到第二轮廓，该第二轮廓包括每张预存人脸图像对应的轮廓。此时，可以将第一轮廓与第二轮廓进行比较，计算第一轮廓与第二轮廓之间的相似度，从第二轮廓中获取与第一轮廓之间相似度最大的轮廓，该相似度最大的轮廓所对应的预存人脸图像即为获取到的预存人脸图像。
可选地，为了提高相似度计算的精准性，可以先将预存人脸图像库中的每张预存人脸图像中人脸的大小缩放至与二维图像中人脸的大小一致，再获取缩放后的每个预存人脸图像中人脸对应的各个人脸器官的定位特征点所形成轮廓，得到第二轮廓，以及获取二维图像中人脸上各个人脸器官的定位特征点所形成的第一轮廓；从第二轮廓中获取与第一轮廓之间相似度最大的轮廓所对应的预存人脸图像。
可选地，从预存人脸图像库中获取预存人脸图像的步骤可以包括：获取二维图像中各个人脸器官的目标像素值，以及获取预存图像库中每个预存人脸图像对应的各个人脸器官的像素值，得到像素值集合；从像素值集合中获取与该目标像素值之间相似度最大的像素值所对应的预存人脸图像。
在确定预存人脸图像后，人脸图像修复装置可以将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对。其中，该比对可以是将二维图像中各个人脸器官的像素值分别与预存人脸图像中各个人脸器官的像素值进行比对，例如，可以将二维图像中眼睛的像素值与预存人脸图像中眼睛的像素值进行比对。当二维图像中人脸器官的像素值与预存人脸图像中人脸器官的像素值之间的相似度大于第一预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官匹配；当二维图像中人脸器官的像素值与预存人脸图像中人脸器官的像素值之间的相似度小于或等于第一预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官不匹配。其中，第一预设相似阈值可以根据实际需要进行灵活设置，具体取值在此处不作限定。
该比对也可以是将二维图像中各个人脸器官的轮廓分别与预存人脸图像中各个人脸器官的轮廓进行比对，例如，可以将二维图像中耳朵的轮廓与预存人脸图像中耳朵的轮廓进行比对，或将二维图像中嘴巴的轮廓与预存人脸图像中嘴巴的轮廓进行比对等。当二维图像中人脸器官的轮廓与预存人脸图像中人脸器官的轮廓之间的相似度大于第二预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官匹配；当二维图像中人脸器官的轮廓与预存人脸图像中人脸器官的轮廓之间的相似度小于或等于第二预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官不匹配。其中，第二预设相似阈值可以根据实际需要进行灵活设置，具体取值在此处不作限定。
该比对还可以是将二维图像中各个人脸器官的个数分别与预存人脸图像中各个人脸器官的个数进行比对，例如，可以将二维图像中耳朵的个数、鼻子的个数或眼睛的个数等，分别与预存人脸图像中耳朵的个数、鼻子的个数或眼睛的个数进行比对。当二维图像中人脸器官的个数与预存人脸图像中人脸器官的个数一致时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官匹配；当二维图像中人脸器官的个数与预存人脸图像中人脸器官的个数不一致时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官不匹配。
需要说明的是，还可以利用其他的比对方式，具体内容在此处不作限定。
当二维图像中的人脸器官与预存人脸图像中的人脸器官均匹配时，判定二维图像中不存在缺陷的人脸器官，此时，由于二维图像中不存在缺陷的人脸器官，因此，不需要对人脸图像进行修复。当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
例如，如图3所示，当二维图像中用户的左耳朵存在缺陷时，从预存人脸图像库中获取到人脸器官未存在缺陷的预存人脸图像后，可以将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对。此时，比对出二维图像中存在左耳朵与预存人脸图像中的左耳朵不匹配时，判定左耳朵为缺陷的人脸器官。
在步骤S102中，当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型。
当检测到人脸存在缺陷的人脸器官时，人脸图像修复装置可以将人脸映射为三维人脸模型。在某些实施方式中，当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型的步骤可以包括：
(1)当检测到人脸存在缺陷的人脸器官时，获取人脸投影在二维平面内的第一投影参数；
(2)获取预设三维人脸模型投影在二维平面内的第二投影参数；
(3)根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点；
(4)根据三维坐标点生成三维人脸模型。
具体地，人脸图像修复装置将人脸映射为三维人脸模型的过程中，可以获取二维图像中的人脸投影在二维平面内的第一投影参数，该第一投影参数可以是人脸在二维平面内的坐标点。
以及，人脸图像修复装置获取预设三维人脸模型投影在二维平面内的第二投影参数，该第二投影参数可以是预设三维人脸模型在二维平面内的坐标点。其中，预设三维人脸模型可以是预先设置的三维平均人脸模型，可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示，用户的人脸的三维人脸模型可以用如下公式(1)表示：
其中，公式(1)中的M表示人脸的三维人脸模型，表示预设三维人脸模型(即三维平均人脸模型)，N为三维平均人脸模型包含的三维坐标点的点数；AidPid表示身份偏移项，Aid为mid维身份基，Pid为身份参数；AexpPexp表示表情偏移项，Aexp为mexp维表情基，Pexp为表情参数。
在得到人脸投影在二维平面内的第一投影参数，以及预设三维人脸模型投影在二维平面内的第二投影参数后，人脸图像修复装置可以根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点，例如，如下公式(2)和公式(3)所示：
argmin||X3d-X2d|| (2)
X3d＝p(Mkeypoint) (3)
其中，X3d表示预设三维人脸模型的三维坐标点，Mkeypoint表示预设三维人脸模型在二维平面内的第二投影参数，p为投影函数，X2d为人脸投影在二维平面内的第一投影参数。
其中，投影可以包括正交投影和透视投影等，以正交投影进行三维建模为例，可以通过如下公式(4)进行正交投影：
X3d＝S×R×Mkeypoint+T (4)
其中，S为放缩系数，R为旋转系数，T为二维平移分量，因此，可以通过公式(1)、公式(3)及公式(4)迭代求解公式(2)，即可得到身份参数Pid和表情参数Pexp、放缩系数S、旋转系数R及二维平移分量T，根据参数[Pid，Pexp，S，R，T]得到三维坐标点，根据三维坐标点即可生成三维人脸模型。也就是说，如果将各个角度的三维人脸模型投影到二维平面都可以与二维图像中人脸相匹配，那么这个三维人脸模型就是需要获取的三维人脸模型。
需要说明的是，除了可以通过上述公式获取三维人脸模型之外，三维人脸模型还可以是通过其他方式获取，具体获取方式在此不做限定。
在步骤S103中，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型。
在得到三维人脸模型后，人脸图像修复装置可以获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，例如，可以在该三维人脸模型中获取与缺陷的人脸器官对称的三维人脸器官，或者是，从预设的三维人脸模型库中的预存三维人脸模型上获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官等，其中，该匹配可以是三维人脸器官与三维人脸模型中缺陷的人脸器官之间的相似度大于预设值，该预设值可以根据实际需要进行灵活设置。然后根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到人脸器官不存在缺陷的目标三维人脸模型。
在某些实施方式中，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤可以包括：
(1)以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型；
(2)当缺陷的人脸器官在第一切割模型中时，确定缺陷的人脸器官在第一切割模型中的第一像素点位置，并确定第一像素点位置在第二切割模型中的对称位置；
(3)将对称位置对应的人脸器官设置为三维人脸器官，以及获取三维人脸器官的各三维坐标点的第一像素值；
(4)将第一像素值复制至第一切割模型中的第一像素点位置，得到目标三维人脸模型。
人脸图像修复装置对三维人脸模型中缺陷的人脸器官进行修复的过程中，可以对三维人脸模型进行对称修复，该对称修复可以是同一个三维人脸模型中，根据不存在缺陷的人脸器官的各三维坐标点的像素值，对存在缺陷的人脸器官进行修复，例如，在同一个三维人脸模型中，可以根据不存在缺陷的左眼睛的像素值修复存在缺陷的右眼睛，根据不存在缺陷的左耳朵的像素值修复存在缺陷的右耳朵等。
具体地，人脸图像修复装置首先以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型，在第一切割模型中的人脸器官和第二切割模型中的人脸器官存在对称关系。
在对三维人脸模型进行左右对称切割得到第一切割模型和第二切割模型后，人脸图像修复装置可以判断缺陷的人脸器官所在第一切割模型或第二切割模型中的位置，当缺陷的人脸器官在第一切割模型中时，可以确定缺陷的人脸器官在第一切割模型中的第一像素点位置，并确定第一像素点位置在第二切割模型中的对称位置，此时，人脸图像修复装置可以将对称位置对应的人脸器官设置为三维人脸器官，以及获取三维人脸器官的各三维坐标点的第一像素值，将第一像素值复制至第一切割模型中的第一像素点位置，得到目标三维人脸模型。例如，当存在缺陷的左眼睛在第一切割模型中时，可以确定左眼睛在第一切割模型中的像素点位置，确定该像素点位置在第二切割模型中的对称位置为右眼睛所在位置，此时，可以获取右眼睛各三维坐标点的像素值，将右眼睛的像素值复制至左眼睛的像素点位置。
需要说明的是，当缺陷的人脸器官在第二切割模型中时，人脸图像修复装置可以确定缺陷的人脸器官在第二切割模型中的第五像素点位置，并确定第五像素点位置在第一切割模型中的对称位置，然后获取该对称位置的各三维坐标点的第五像素值，将第五像素值复制至第二切割模型中的第五像素点位置，得到目标三维人脸模型。
例如，当二维图像中用户的右眼睛存在缺陷时，在得到三维人脸模型后，可以将三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型(即左边切割模型)和第二切割模型(即右边切割模型)。此时，右眼睛在右边切割模型内，确定右眼睛在右边切割模型中的像素点位置，并确定右眼睛的像素点位置在左边切割模型中的对称位置，即确定出左边切割模型中的左眼睛的像素点位置。然后，获取左眼睛的像素点位置各三维坐标点的像素值，将左眼睛的像素值复制至右边割模型中右眼睛的像素点位置，得到目标三维人脸模型，如图4所示。
在第一切割模型和第二切割模型中，当的两个对称人脸器官中不同时存在缺陷时，可以利用对称人脸器官中不存在缺陷的一个人脸器官对存在缺陷的另一个人脸器官进行对称修复，而当两个对称人脸器官中同时存在缺陷时，可以通过预存三维人脸模型对缺陷的人脸器官进行移植修复。该移植修复可以是在不同的两个三维人脸模型中，根据其中一个三维人脸模型中不存在缺陷的人脸器官的各三维坐标点的像素值，对其中另一个三维人脸模型中存在缺陷的人脸器官进行修复。例如，当三维人脸模型中的左耳朵和右耳朵都存在缺陷时，可以利用人脸器官不存在缺陷的预存三维人脸模型中的左耳朵和右耳朵像素值修复三维人脸模型中的左耳朵和右耳朵。
可选地，以三维人脸模型中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型的步骤之后，人脸图像修复方法还可以包括：
当第一切割模型和第二切割模型中对称的人脸器官存在缺陷时，确定缺陷的人脸器官在第一切割模型中的第三像素点位置，及在第二切割模型中的第四像素点位置；
从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；
将预存三维人脸模型的大小缩放至与三维人脸模型一致；
确定第三像素点位置在缩放后的预存三维人脸模型中的第一对应位置，及确定第四像素点位置在缩放后的预存三维人脸模型中的第二对应位置；
获取第一对应位置的各三维坐标点的第三像素值，及第二对应位置的各三维坐标点的第四像素值；
将第三像素值复制至第三像素点位置，及将第四像素值复制至第四像素点位置，得到目标三维人脸模型。
具体地，当第一切割模型和第二切割模型中对称的人脸器官存在缺陷时，该缺陷的人脸器官可以包括多个，例如，两只耳朵或两只眼睛均存在缺陷等，人脸图像修复装置可以确定缺陷的人脸器官在第一切割模型中的第三像素点位置，及缺陷的人脸器官在第二切割模型中的第四像素点位置。
以及，人脸图像修复装置可以从服务器或本地预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的像素值，计算每个预存三维人脸模型中人脸器官的像素值与三维人脸模型中人脸器官的像素值之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型；或者是，从服务器或本地预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的轮廓，计算每个预存三维人脸模型中人脸器官的轮廓与三维人脸模型中人脸器官的轮廓之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型；等等。
在得到预存三维人脸模型后，人脸图像修复装置可以将预存三维人脸模型的大小缩放至与三维人脸模型的大小一致，以及确定第三像素点位置在缩放后的预存三维人脸模型中的第一对应位置，及确定第四像素点位置在缩放后的预存三维人脸模型中的第二对应位置。然后获取第一对应位置的各三维坐标点的第三像素值，及第二对应位置的各三维坐标点的第四像素值，将第三像素值复制至第三像素点位置，及将第四像素值复制至第四像素点位置，得到目标三维人脸模型。
在某些实施方式中，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤可以包括：
(1)确定缺陷的人脸器官在三维人脸模型中的第二像素点位置；
(2)从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；
(3)将预存三维人脸模型的大小缩放至与三维人脸模型一致；
(4)确定第二像素点位置在缩放后的预存三维人脸模型中的对应位置，将对称位置对应的人脸器官设置为三维人脸器官，并获取三维人脸器官的各三维坐标点的第二像素值；
(5)将第二像素值复制至第二像素点位置，得到目标三维人脸模型。
具体地，人脸图像修复装置可以确定缺陷的人脸器官在三维人脸模型中的第二像素点位置，该第二像素点位置可以是三维坐标点的位置信息。以及，人脸图像修复装置需要获取预存三维人脸模型。
人脸图像修复装置可以向服务器发送模型获取请求，并接收服务器基于模型获取请求反馈的从预设的三维人脸模型库中获取到的预存三维人脸模型，其中，预设的三维人脸模型库中可以存储一个或多个预存三维人脸模型，每个预存三维人脸模型中的人脸器官未存在缺陷。
人脸图像修复装置也可以从本地预先设置的三维人脸模型库中获取预存三维人脸模型，可以从该三维人脸模型库中获取一个或多个预存三维人脸模型。可以理解的是，预存三维人脸模型的获取方式可以根据实际需要进行灵活设置，具体获取方式在此处不作限定。
在一实施例中，人脸图像修复装置在获取预存三维人脸模型的过程中，可以从预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的像素值，以及获取三维人脸模型中人脸器官的像素值，然后获取每个预存三维人脸模型中人脸器官的像素值，与三维人脸模型中人脸器官的像素值之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型。
在另一实施例中，人脸图像修复装置在获取预存三维人脸模型的过程中，可以从预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的轮廓，以及获取三维人脸模型中人脸器官的轮廓，然后获取每个预存三维人脸模型中人脸器官的轮廓，与三维人脸模型中人脸器官的轮廓之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型。
需要说明的是，当相似度大于预设阈值的预存三维人脸模型存在多个时，可以从中任意选取一个预存三维人脸模型，或者筛选出相似度最大的预存三维人脸模型等。该预设阈值可以根据实际需要进行灵活设置，具体取值在此处不作限定。
可选地，为了提高相似度计算的精准性，可以将预设的三维人脸模型库中获取每个预存三维人脸模型的大小缩放至与三维人脸模型的大小一致，然后从缩放后的每个预存三维人脸模型中，获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型。
在得到预存三维人脸模型后，人脸图像修复装置将预存三维人脸模型的大小缩放至与三维人脸模型的大小一致。然后确定缺陷的人脸器官在三维人脸模型中的第二像素点位置，在缩放后的预存三维人脸模型中的对应位置，将对称位置对应的人脸器官设置为三维人脸器官，并获取预存三维人脸模型中的该三维人脸器官的各三维坐标点的第二像素值，将第二像素值复制至缺陷的人脸器官在三维人脸模型中的第二像素点位置，得到目标三维人脸模型。
例如，当三维人脸模型中的左眼睛和右眼睛都存在缺陷时，可以确定左眼睛和右眼睛在三维人脸模型中的像素点位置，以及从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型，将预存三维人脸模型的大小缩放至与三维人脸模型一致。然后确定左眼睛和右眼睛在缩放后的预存三维人脸模型中的对应位置，并获取左眼睛和右眼睛对应位置的各三维坐标点的像素值，将左眼睛和右眼睛的像素值复制至三维人脸模型中的像素点位置，得到左眼睛和右眼睛不存在缺陷的三维人脸模型。例如，得到的人脸器官不存在缺陷的三维人脸模型如图5所示，其中，图5(a)为三维人脸模型的正面，图5(b)为三维人脸模型的侧面。
在步骤S104中，将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
在得到目标三维人脸模型后，人脸图像修复装置可以按照上述将人脸映射为三维人脸模型中的公式(1)、公式(2)、公式(3)及公式(4)等进行逆映射，将目标三维人脸模型逆映射为二维人脸，即将目标三维人脸模型还原或转换为二维人脸；或者是，人脸图像修复装置可以通过其他方式将目标三维人脸模型逆映射为二维人脸。然后根据逆映射得到的二维人脸，替换二维图像中的人脸，生成目标图像。
例如，如图6所示，将人脸器官不存在缺陷的目标三维人脸模型逆映射为二维人脸，得到的二维人脸的右眼睛及左耳朵将不存在缺陷，根据二维人脸可以生成最终需要获取的目标图像。
需要说明的是，人脸图像修复装置可以是在拍照的过程中对人脸图像进行修复，可选地，在进入拍照模式时，对拍照摄像头采集到的二维图像中的人脸进行检测，并依次执行上述步骤S102至步骤S104。
人脸图像修复装置可以预先设置开启或关闭人脸图像修复功能的开关，可选地，在进入拍照模式，且侦测到人脸修复功能的开关已开启时，对拍照摄像头采集到的二维图像中的人脸进行检测。其中，当人脸图像修复功能的开关开启时，在拍照的过程中，进入人脸图像修复模式，在人脸图像修复模式下，可以按照上述人脸图像修复方法对拍照摄像头采集到的人脸图像进行修复；当人脸图像修复功能的开关关闭时，在拍照的过程中，将不会按照上述人脸图像修复方法对拍照摄像头采集到的人脸图像进行修复。
需要说明的是，在一实施例中，用户可以根据自己的使用需求手动开启或关闭人脸图像修复功能，即当人脸图像修复装置接收到用户输入的开启指令时，根据开启指令开启人脸图像修复功能；当人脸图像修复装置接收到用户输入的关闭指令时，根据关闭指令关闭人脸图像修复功能。在另一实施例中，人脸图像修复装置可以是自动开启或关闭人脸图像修复功能，例如，当人脸图像修复装置检测到用户的正面人脸时，自动开启人脸图像修复功能；人脸图像修复装置未检测到用户的正面人脸，自动关闭人脸图像修复功能。
由上可知，本发明实施例通过对二维图像中的人脸进行检测，例如，检测人脸上的嘴巴、鼻子及眼睛等人脸器官；当检测到人脸存在缺陷的人脸器官时，可以将人脸映射为三维人脸模型，以及获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；再将目标三维人脸模型逆映射为二维人脸，并根据逆映射得到的二维人脸生成目标图像。该方案实现了对图像中人脸存在缺陷的人脸器官进行修复，使得图像中展示的人脸不存在缺陷的人脸器官，也不存在遮挡缺陷的人脸器官的物体，而且可以通过对三维人脸模型进行修复，得到人脸器官不存在缺陷的二维人脸，提高了对图像中人脸进行修复的效果及图像中人脸的展示效果。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
本实施例以人脸图像修复装置为终端为例，以终端在拍照的过程中对人脸图像中缺陷的耳朵进行修复为例，可以理解的是，本实施例只是为了便于描述所举的例子，不应理解为是对人脸图像中缺陷的人脸器官进行限定，但不管缺陷的人脸器官是何种器官，其修复的过程都是类似的，都可以按照该示例进行理解。
请参阅图7，图7为本发明实施例提供的人脸图像修复方法的流程示意图。该方法流程可以包括：
201、终端对二维图像中的人脸进行定位检测或比对检测。
其中，二维图像中可以包括人脸，还可以包括其他的物体。该二维图像可以是终端在拍照的过程中，拍照摄像头采集到的图像。例如，终端在进入拍照模式时，对拍照摄像头采集到的二维图像中的人脸进行定位检测或比对检测。
需要说明的是，终端可以只进行定位检测，或只进行比对检测，也可以既进行定位检测，又进行比对检测，以下将以终端既进行定位检测，又进行比对检测为例进行详细说明。
其中，对二维图像中的人脸进行定位检测具体可以如下：
终端优可以通过图人脸识别技术或其他的人脸识别技术对二维图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位，生成定位特征点，该定位特征点可以是各个人脸器官对应的关键点的位置坐标信息。例如，如图3所示，可以在人脸的轮廓、眼睛、鼻子、眉毛及嘴巴等边缘生成83个定位特征点。
例如，在对各个人脸器官进行定位的之前，终端可以预先建立主动形状模型(Active Shape Model，ASM)，具体地，可以先收集人脸训练样本集，该人脸训练样本集中可以包括多张人脸图像，该人脸图像可以包括多个用户的不同表情和姿态等。然后，通过人工标定的方法标定人脸训练样本集中每个人脸训练样本的各个人脸器官的定位特征点，得到每个人脸训练样本的形状向量。该定位特征点可以标记在人脸的外部轮廓和人脸器官的边缘等，各个定位特征点的标定顺序在训练样本集中每个人脸训练样本的标定顺序是一致的。在得到每个人脸训练样本的形状向量后，可以进行归一化处理：对每个人脸训练样本进行旋转、缩放或平移等操作，每个人脸训练样本的定位特征点对齐。其次，将对齐后每个人脸训练样本进行主成分分析(Principal Component Analysis，PCA)，得到训练好的ASM模型。最后，可以将训练好的ASM模型覆盖至二维图像中人脸上，通过计算ASM模型中的定位特征点与二维图像中人脸上各个人脸器官之间的最小马氏距离或欧式距离等，根据最小马氏距离或欧式距离确定二维图像中人脸上各个人脸器官对应的目标位置，并对该目标位置进行约束，以此达到迭代搜索进行不断优化的目的，从而得到各个人脸器官的定位特征点。
在得到二维图像中各个人脸器官对应的定位特征点后，终端可以判断各个人脸器官中是否存在定位特征点缺失的人脸器官，例如，当二维图像中各个人脸器官中只有耳朵存在缺陷时，由于耳朵边缘未生成定位特征点，即未对耳朵进行定位，此时，定位检测初步判定各个人脸器官中不存在缺陷的人脸器官，可以进一步对二维图像中各个人脸器官进行比对检测，或者是，只对未进行定位检测的人脸器官进行比对检测等，以下将以对二维图像中各个人脸器官进行比对检测为例进行详细说明。
对二维图像中的人脸进行比对检测具体可以如下：
终端可以从服务器或本地的预存人脸图像库中获取预存人脸图像，该预存人脸图像中的人脸器官未存在缺陷。例如，终端可以对二维图像中人脸上的各个人脸器官进行定位，生成二维图像的定位特征点，获取该二维图像的定位特征点所形成的轮廓。对于预存人脸图像库中的每张预存人脸图像中人脸上的各个人脸器官进行定位，生成每张预存人脸图像对应的定位特征点，以及获取每张预存人脸图像的定位特征点所形成的轮廓。然后，从每张预存人脸图像的定位特征点所形成的轮廓中，获取与二维图像的定位特征点所形成的轮廓之间相似度最大的轮廓所对应的预存人脸图像。
在确定预存人脸图像后，终端可以将二维图像中各个人脸器官，与预存人脸图像中对应的人脸器官进行个数、像素值或轮廓等比对，例如，可以将二维图像中耳朵的像素值与预存人脸图像中耳朵的像素值进行比对，或将二维图像中耳朵的轮廓与预存人脸图像中耳朵的轮廓进行比对等。当二维图像中存在与预存人脸图像中不匹配(例如相似度小于预设值)的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
例如，当二维图像中用户的左耳朵存在缺陷时，从预存人脸图像库中获取到人脸器官未存在缺陷的预存人脸图像后，可以将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对。此时，比对出二维图像中存在左耳朵与预存人脸图像中的左耳朵不匹配时，判定左耳朵为缺陷的人脸器官。
202、当检测到人脸上的耳朵存在缺陷时，终端标记缺陷的耳朵。
检测到人脸上的耳朵存在缺陷时，终端可以对缺陷的耳朵进行标记，例如，可以标记缺陷的耳朵的位置及轮廓等信息，当左耳朵和右耳朵都存在缺陷时，可以标记左耳朵和右耳朵的位置及轮廓等信息；当只有左耳朵存在缺陷时，可以标记左耳朵的位置及轮廓等信息；当只有右耳朵存在缺陷时，可以标记右耳朵的位置及轮廓等信息。
203、终端对人脸进行三维建模，得到三维人脸模型。
当检测到人脸存在缺陷的人脸器官时，终端可以对二维图像中的人脸进行三维建模，具体地，可以获取人脸投影在二维平面内的第一投影参数；获取预设三维人脸模型投影在二维平面内的第二投影参数；根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点；根据三维坐标点生成三维人脸模型。例如，可以按照上述公式(1)、公式(2)、公式(3)及公式(4)获取三维人脸模型，或者是通过其他方式获取三维人脸模型，具体获取方式在此不做限定。
204、终端根据三维人脸模型对标记的缺陷的耳朵进行对称修复或移植修复，得到人脸器官不存在缺陷的三维人脸模型。
在得到三维人脸模型后，终端可以根据三维人脸模型对缺陷的耳朵进行修复，例如，对缺陷的耳朵进行对称修复或移植修复等，得到人脸器官不存在缺陷的三维人脸模型。
其中，对缺陷的耳朵进行对称修复具体可以如下：
当仅一只耳朵存在缺陷时，根据不存在缺陷的另一只耳朵的各三维坐标点的像素值，对存在缺陷的一只耳朵进行修复。例如，当二维图像中用户的左耳朵存在缺陷时，在得到三维人脸模型后，可以将三维人脸模型的中轴面进行人脸左右对称切割，得到左边切割模型和右边切割模型。判断缺陷的耳朵所在左边切割模型或右边切割模型中的位置，此时，左耳朵在左边切割模型内，确定左耳朵在左边切割模型中的像素点位置，并确定左耳朵的像素点位置在右边切割模型中的对称位置，该对称位置即为右耳朵在右边切割模型中的像素点位置。然后，终端可以获取右耳朵的像素点位置各三维坐标点的像素值，将右耳朵的像素值复制至左边割模型中左耳朵的像素点位置，得到人脸器官没有缺陷的三维人脸模型，如图4所示。
对缺陷的耳朵进行移植修复具体可以如下：
当两只耳朵都存在缺陷时，可以通过人脸器官不存在缺陷的预存三维人脸模型中的左耳朵和右耳朵像素值，修复三维人脸模型中的左耳朵和右耳朵。具体地，当三维人脸模型中的左耳朵和右耳朵都存在缺陷时，可以确定左耳朵和右耳朵在三维人脸模型中的像素点位置，以及从服务器或本地预设的三维人脸模型库中获取与三维人脸模型的像素值或轮廓等之间相似度大于预设阈值的预存三维人脸模型，将预存三维人脸模型的大小缩放至与三维人脸模型一致。然后确定左耳朵和右耳朵在缩放后的预存三维人脸模型中的对应位置，并获取左耳朵和右耳朵在预存三维人脸模型中对应位置的各三维坐标点的像素值，将预存三维人脸模型中左耳朵和右耳朵的像素值复制至三维人脸模型中的像素点位置，得到左耳朵和右耳朵不存在缺陷的三维人脸模型。例如，得到的人脸器官不存在缺陷的三维人脸模型如图5所示，其中，图5(a)为三维人脸模型的正面，图5(b)为三维人脸模型的侧面。
205、终端将人脸器官不存在缺陷的三维人脸模型进行二维还原，得到二维人脸。
在得到人脸器官不存在缺陷的三维人脸模型后，终端可以可以按照上述将人脸映射为三维人脸模型中的公式(1)、公式(2)、公式(3)及公式(4)等进行逆映射，将目标三维人脸模型逆映射为二维人脸，即将目标三维人脸模型还原或转换为二维人脸；或者是，人脸图像修复装置可以通过其他方式将目标三维人脸模型逆映射为二维人脸。
206、终端将二维还原得到的二维人脸生成人脸器官不存在缺陷的图像。
在二维还原得到二维人脸后，终端可以将二维人脸替换二维图像中原始的人脸，生成人脸器官不存在缺陷的图像。例如，二维图像中原始的人脸上的耳朵存在缺陷，此时得到的图像中二维人脸上的耳朵将不存在缺陷，将人脸器官不存在缺陷的图像作为最终拍照得到的图像。
本发明实施例可以针对一些人脸存在例如耳朵等缺陷的用户，在拍照时难以获取令人满意的拍照效果的场景下，终端可以智能地对人脸图像进行修复，能够最大程度地还原人脸中存在缺陷的人脸器官，极大地提升了人脸器官存在缺陷的用户的拍照自信和拍照体验。
为便于更好的实施本发明实施例提供的人脸图像修复方法，本发明实施例还提供一种基于上述人脸图像修复方法的装置。其中名词的含义与上述人脸图像修复方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图8，图8为本发明实施例提供的人脸图像修复装置的结构示意图，其中该人脸图像修复装置可以包括检测单元301、映射单元302、修复单元303及生成单元304。
其中，检测单元301，用于对二维图像中的人脸进行检测。
其中，二维图像可以是人脸图像修复装置在拍照的过程中，拍照摄像头采集到的图像；二维图像也可以是人脸图像修复装置预存的图像，当然，二维图像也可以是由其他方式获取到的，具体获取方式在此处不作限定。
二维图像中可以包括人脸，还可以包括其他的物体，为了对二维图像中的人脸进行修复，检测单元301需要对二维图像中的人脸进行检测。
在某些实施方式中，如图9所示，检测单元301可以包括：
定位子单元3011，用于对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点；
检测子单元3012，用于根据定位特征点对各个人脸器官进行检测。
具体地，定位子单元3011可以通过人脸识别技术，对二维图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位，生成定位特征点，该定位特征点可以是各个人脸器官对应的关键点的位置坐标信息。例如，如图3所示，可以利用优图人脸识别技术或其他的人脸识别技术对二维图像中人脸上的各个人脸器官进行定位，生成各个人脸器官的定位特征点，该定位特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该定位特征点的个数可以是83个或68个等，具体个数可以根据实际需要进行灵活设置。
在得到各个人脸器官对应的定位特征点后，检测子单元3012可以根据得到的定位特征点对各个人脸器官进行检测，即对各个人脸器官进行定位检测，可选地，检测子单元3012具体用于：
判断各个人脸器官中是否存在定位特征点缺失的人脸器官；当各个人脸器官中存在定位特征点缺失的人脸器官时，判定定位特征点缺失的人脸器官为缺陷的人脸器官；当各个人脸器官中不存在定位特征点缺失的人脸器官时，判定各个人脸器官中不存在缺陷的人脸器官。
具体地，在得到二维图像中各个人脸器官对应的定位特征点后，由于定位特征点可以分布在人脸器官的边缘或中心等位置，因此检测子单元3012可以判断各个人脸器官中是否存在定位特征点缺失的人脸器官，该定位特征点缺失可以是部分特征点缺失或全部特征点缺失等，该缺失的人脸器官可以是该人脸器官部分缺失，也可以是该人脸器官全部缺失；若存在，则判定定位特征点缺失的人脸器官为缺陷的人脸器官，此时，可以将缺陷的人脸器官进行标记，例如可以标记缺陷的人脸器官的位置及轮廓等信息；若不存在，则说明各个人脸器官中不存在缺陷的人脸器官。
例如，如图3所示，当二维图像中用户的右眼睛存在缺陷时，得到的二维图像中各个人脸器官对应的83个定位特征点中，该右眼睛的定位特征点存在部分缺失，此时可以判定存在定位特征点缺失的右眼睛为缺陷的人脸器官。
可选地，为了提高对各个人脸器官进行检测的准确性，在根据定位特征点对各个人脸器官进行检测的过程中，当各个人脸器官中存在定位特征点缺失的人脸器官时，检测子单元3012判定定位特征点缺失的人脸器官为缺陷的人脸器官，并对各个人脸器官进行比对检测。例如，可以从服务器或本地的预存人脸图像库中获取预存人脸图像，该预存人脸图像中的人脸器官未存在缺陷；将二维图像中经定位特征点检测到未存在缺陷的人脸器官，与预存人脸图像中对应的人脸器官进行个数、像素值或轮廓等比对；当二维图像中存在与预存人脸图像中不匹配(例如相似度小于预设值)的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官；当二维图像中未存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不存在缺陷的人脸器官。
当各个人脸器官中不存在定位特征点缺失的人脸器官时，检测子单元3012可以对各个人脸器官进行比对检测。对各个人脸器官进行比对检测的具体过程可以如下：从服务器或本地的预存人脸图像库中获取预存人脸图像，预存人脸图像中的人脸器官未存在缺陷；将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行个数、像素值或轮廓等比对；当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官；当二维图像中未存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不存在缺陷的人脸器官。
在某些实施方式中，如图10所示，检测单元301可以包括：
获取子单元3013，用于从预存人脸图像库中获取预存人脸图像，预存人脸图像中的人脸器官未存在缺陷；
比对子单元3014，用于将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对；
判定子单元3015，用于当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
具体地，获取子单元3013可以向服务器发送图像获取请求，并接收服务器基于图像获取请求反馈的从预存人脸图像库中获取到的预存人脸图像，其中，预存人脸图像库中可以存储一张或多张预存人脸图像，每张预存人脸图像中的人脸器官未存在缺陷。
获取子单元3013也可以从本地预先设置的预存人脸图像库中获取预存人脸图像，可以从该预存人脸图像库中获取一张预存人脸图像，也可以从预存人脸图像库中获取多张预存人脸图像。可以理解的是，预存人脸图像的获取方式可以根据实际需要进行灵活设置，具体获取方式在此处不作限定。
可选地，获取子单元3013具体用于：
获取二维图像中各个人脸器官的定位特征点所形成的第一轮廓；获取预存图像库中每个预存人脸图像对应的各个人脸器官的定位特征点所形成的第二轮廓；从第二轮廓中获取与第一轮廓之间相似度最大的预存人脸图像。
具体地，获取子单元3013可以通过人脸识别技术对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点，以及获取二维图像中各个人脸器官的定位特征点所形成的第一轮廓。对于预存人脸图像库中的每张预存人脸图像，首先对每张预存人脸图像中人脸上的各个人脸器官进行定位，生成定位特征点，以及获取每张预存人脸图像中各个人脸器官的定位特征点所形成的轮廓，得到第二轮廓，该第二轮廓包括每张预存人脸图像对应的轮廓。此时，获取子单元3013可以将第一轮廓与第二轮廓进行比较，计算第一轮廓与第二轮廓之间的相似度，从第二轮廓中获取与第一轮廓之间相似度最大的轮廓，该相似度最大的轮廓所对应的预存人脸图像即为获取到的预存人脸图像。
可选地，为了提高相似度计算的精准性，获取子单元3013可以先将预存人脸图像库中的每张预存人脸图像中人脸的大小缩放至与二维图像中人脸的大小一致，再获取缩放后的每个预存人脸图像中人脸对应的各个人脸器官的定位特征点所形成轮廓，得到第二轮廓，以及获取二维图像中人脸上各个人脸器官的定位特征点所形成的第一轮廓；从第二轮廓中获取与第一轮廓之间相似度最大的轮廓所对应的预存人脸图像。
可选地，获取子单元3013具体用于：获取二维图像中各个人脸器官的目标像素值，以及获取预存图像库中每个预存人脸图像对应的各个人脸器官的像素值，得到像素值集合；从像素值集合中获取与该目标像素值之间相似度最大的像素值所对应的预存人脸图像。
在确定预存人脸图像后，比对子单元3014可以将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对。其中，该比对可以是将二维图像中各个人脸器官的像素值分别与预存人脸图像中各个人脸器官的像素值进行比对，例如，可以将二维图像中眼睛的像素值与预存人脸图像中眼睛的像素值进行比对。当二维图像中人脸器官的像素值与预存人脸图像中人脸器官的像素值之间的相似度大于第一预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官匹配；当二维图像中人脸器官的像素值与预存人脸图像中人脸器官的像素值之间的相似度小于或等于第一预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官不匹配。其中，第一预设相似阈值可以根据实际需要进行灵活设置，具体取值在此处不作限定。
该比对也可以是将二维图像中各个人脸器官的轮廓分别与预存人脸图像中各个人脸器官的轮廓进行比对，例如，可以将二维图像中耳朵的轮廓与预存人脸图像中耳朵的轮廓进行比对，或将二维图像中嘴巴的轮廓与预存人脸图像中嘴巴的轮廓进行比对等。当二维图像中人脸器官的轮廓与预存人脸图像中人脸器官的轮廓之间的相似度大于第二预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官匹配；当二维图像中人脸器官的轮廓与预存人脸图像中人脸器官的轮廓之间的相似度小于或等于第二预设相似阈值时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官不匹配。其中，第二预设相似阈值可以根据实际需要进行灵活设置，具体取值在此处不作限定。
该比对还可以是将二维图像中各个人脸器官的个数分别与预存人脸图像中各个人脸器官的个数进行比对，例如，可以将二维图像中耳朵的个数、鼻子的个数或眼睛的个数等，分别与预存人脸图像中耳朵的个数、鼻子的个数或眼睛的个数进行比对。当二维图像中人脸器官的个数与预存人脸图像中人脸器官的个数一致时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官匹配；当二维图像中人脸器官的个数与预存人脸图像中人脸器官的个数不一致时，说明二维图像中该人脸器官与预存人脸图像中的该人脸器官不匹配。
需要说明的是，还可以利用其他的比对方式，具体内容在此处不作限定。
当二维图像中的人脸器官与预存人脸图像中的人脸器官均匹配时，判定子单元3015判定二维图像中不存在缺陷的人脸器官，此时，由于二维图像中不存在缺陷的人脸器官，因此，不需要对人脸图像进行修复。当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定子单元3015判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
例如，如图3所示，当二维图像中用户的左耳朵存在缺陷时，从预存人脸图像库中获取到人脸器官未存在缺陷的预存人脸图像后，可以将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对。此时，比对出二维图像中存在左耳朵与预存人脸图像中的左耳朵不匹配时，判定左耳朵为缺陷的人脸器官。
映射单元302，用于当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型。
当检测到人脸存在缺陷的人脸器官时，映射单元302可以将人脸映射为三维人脸模型。在某些实施方式中，映射单元302具体用于：
当检测到人脸存在缺陷的人脸器官时，获取人脸投影在二维平面内的第一投影参数；获取预设三维人脸模型投影在二维平面内的第二投影参数；根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点；根据三维坐标点生成三维人脸模型。
具体地，映射单元302将人脸映射为三维人脸模型的过程中，可以获取二维图像中的人脸投影在二维平面内的第一投影参数，该第一投影参数可以是人脸在二维平面内的坐标点。
以及，映射单元302获取预设三维人脸模型投影在二维平面内的第二投影参数，该第二投影参数可以是预设三维人脸模型在二维平面内的坐标点。其中，预设三维人脸模型可以是预先设置的三维平均人脸模型，可以通过改变三维平均人脸模型的三维坐标点的位置信息来生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示，用户的人脸的三维人脸模型可以用如下公式(1)表示：
其中，公式(1)中的M表示人脸的三维人脸模型，表示预设三维人脸模型(即三维平均人脸模型)，N为三维平均人脸模型包含的三维坐标点的点数；AidPid表示身份偏移项，Aid为mid维身份基，Pid为身份参数；AexpPexp表示表情偏移项，Aexp为mexp维表情基，Pexp为表情参数。
在得到人脸投影在二维平面内的第一投影参数，以及预设三维人脸模型投影在二维平面内的第二投影参数后，映射单元302可以根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点，例如，如下公式(2)和公式(3)所示：
argmin||X3d-X2d|| (2)
X3d＝p(Mkeypoint) (3)
其中，X3d表示预设三维人脸模型的三维坐标点，Mkeypoint表示预设三维人脸模型在二维平面内的第二投影参数，p为投影函数，X2d为人脸投影在二维平面内的第一投影参数。
其中，投影可以包括正交投影和透视投影等，以正交投影进行三维建模为例，可以通过如下公式(4)进行正交投影：
X3d＝S×R×Mkeypoint+T (4)
其中，S为放缩系数，R为旋转系数，T为二维平移分量，因此，可以通过公式(1)、公式(3)及公式(4)迭代求解公式(2)，即可得到身份参数Pid和表情参数Pexp、放缩系数S、旋转系数R及二维平移分量T，根据参数[Pid，Pexp，S，R，T]得到三维坐标点，根据三维坐标点即可生成三维人脸模型。也就是说，如果将各个角度的三维人脸模型投影到二维平面都可以与二维图像中人脸相匹配，那么这个三维人脸模型就是需要获取的三维人脸模型。
需要说明的是，除了可以通过上述公式获取三维人脸模型之外，三维人脸模型还可以是通过其他方式获取，具体获取方式在此不做限定。
修复单元303，用于获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型。
在得到三维人脸模型后，修复单元303可以获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，例如，可以在该三维人脸模型中获取与缺陷的人脸器官对称的三维人脸器官，或者是，从预设的三维人脸模型库中的预存三维人脸模型上获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官等，其中，该匹配可以是三维人脸器官与三维人脸模型中缺陷的人脸器官之间的相似度大于预设值，该预设值可以根据实际需要进行灵活设置。然后根据三维人脸器官对对三维人脸模型中缺陷的人脸器官进行修复，得到人脸器官不存在缺陷的目标三维人脸模型。在某些实施方式中，修复单元303具体用于：
以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型；当缺陷的人脸器官在第一切割模型中时，确定缺陷的人脸器官在第一切割模型中的第一像素点位置，并确定第一像素点位置在第二切割模型中的对称位置；将对称位置对应的人脸器官设置为三维人脸器官，以及获取三维人脸器官的各三维坐标点的第一像素值；将第一像素值复制至第一切割模型中的第一像素点位置，得到目标三维人脸模型。
修复单元303对三维人脸模型中缺陷的人脸器官进行修复的过程中，可以对三维人脸模型进行对称修复，该对称修复可以是同一个三维人脸模型中，根据不存在缺陷的人脸器官的各三维坐标点的像素值，对存在缺陷的人脸器官进行修复，例如，在同一个三维人脸模型中，可以根据不存在缺陷的左眼睛的像素值修复存在缺陷的右眼睛，根据不存在缺陷的左耳朵的像素值修复存在缺陷的右耳朵等。
具体地，修复单元303首先以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型，在第一切割模型中的人脸器官和第二切割模型中的人脸器官存在对称关系。
在对三维人脸模型进行左右对称切割得到第一切割模型和第二切割模型后，修复单元303可以判断缺陷的人脸器官所在第一切割模型或第二切割模型中的位置，当缺陷的人脸器官在第一切割模型中时，可以确定缺陷的人脸器官在第一切割模型中的第一像素点位置，并确定第一像素点位置在第二切割模型中的对称位置，此时，人脸图像修复装置可以将对称位置对应的人脸器官设置为三维人脸器官，以及获取三维人脸器官的各三维坐标点的第一像素值，将第一像素值复制至第一切割模型中的第一像素点位置，得到目标三维人脸模型。例如，当存在缺陷的左眼睛在第一切割模型中时，可以确定左眼睛在第一切割模型中的像素点位置，确定该像素点位置在第二切割模型中的对称位置为右眼睛所在位置，此时，可以获取右眼睛各三维坐标点的像素值，将右眼睛的像素值复制至左眼睛的像素点位置。
需要说明的是，当缺陷的人脸器官在第二切割模型中时，人脸图像修复装置可以确定缺陷的人脸器官在第二切割模型中的第五像素点位置，并确定第五像素点位置在第一切割模型中的对称位置，然后获取该对称位置的各三维坐标点的第五像素值，将第五像素值复制至第二切割模型中的第五像素点位置，得到目标三维人脸模型。
例如，当二维图像中用户的右眼睛存在缺陷时，在得到三维人脸模型后，可以将三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型(即左边切割模型)和第二切割模型(即右边切割模型)。此时，右眼睛在右边切割模型内，确定右眼睛在右边切割模型中的像素点位置，并确定右眼睛的像素点位置在左边切割模型中的对称位置，即确定出左边切割模型中的左眼睛的像素点位置。然后，获取左眼睛的像素点位置各三维坐标点的像素值，将左眼睛的像素值复制至右边割模型中右眼睛的像素点位置，得到目标三维人脸模型，如图4所示。
在第一切割模型和第二切割模型中，当的两个对称人脸器官中不同时存在缺陷时，可以利用对称人脸器官中不存在缺陷的一个人脸器官对存在缺陷的另一个人脸器官进行对称修复，而当两个对称人脸器官中同时存在缺陷时，可以通过预存三维人脸模型对缺陷的人脸器官进行移植修复。该移植修复可以是在不同的两个三维人脸模型中，根据其中一个三维人脸模型中不存在缺陷的人脸器官的各三维坐标点的像素值，对其中另一个三维人脸模型中存在缺陷的人脸器官进行修复。例如，当三维人脸模型中的左耳朵和右耳朵都存在缺陷时，可以利用人脸器官不存在缺陷的预存三维人脸模型中的左耳朵和右耳朵像素值修复三维人脸模型中的左耳朵和右耳朵。
可选地，修复单元303还可以具体用于：
当第一切割模型和第二切割模型中对称的人脸器官存在缺陷时，确定缺陷的人脸器官在第一切割模型中的第三像素点位置，及在第二切割模型中的第四像素点位置；从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；将预存三维人脸模型的大小缩放至与三维人脸模型一致；确定第三像素点位置在缩放后的预存三维人脸模型中的第一对应位置，及确定第四像素点位置在缩放后的预存三维人脸模型中的第二对应位置；获取第一对应位置的各三维坐标点的第三像素值，及第二对应位置的各三维坐标点的第四像素值；将第三像素值复制至第三像素点位置，及将第四像素值复制至第四像素点位置，得到目标三维人脸模型。
具体地，当第一切割模型和第二切割模型中对称的人脸器官存在缺陷时，该缺陷的人脸器官可以包括多个，例如，两只耳朵或两只眼睛均存在缺陷等，人脸图像修复装置可以确定缺陷的人脸器官在第一切割模型中的第三像素点位置，及缺陷的人脸器官在第二切割模型中的第四像素点位置。
以及，修复单元303可以从服务器或本地预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的像素值，计算每个预存三维人脸模型中人脸器官的像素值与三维人脸模型中人脸器官的像素值之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型；或者是，从服务器或本地预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的轮廓，计算每个预存三维人脸模型中人脸器官的轮廓与三维人脸模型中人脸器官的轮廓之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型；等等。
在得到预存三维人脸模型后，修复单元303可以将预存三维人脸模型的大小缩放至与三维人脸模型的大小一致，以及确定第三像素点位置在缩放后的预存三维人脸模型中的第一对应位置，及确定第四像素点位置在缩放后的预存三维人脸模型中的第二对应位置。然后获取第一对应位置的各三维坐标点的第三像素值，及第二对应位置的各三维坐标点的第四像素值，将第三像素值复制至第三像素点位置，及将第四像素值复制至第四像素点位置，得到目标三维人脸模型。
在某些实施方式中，修复单元303具体用于：
确定缺陷的人脸器官在三维人脸模型中的第二像素点位置；从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；将预存三维人脸模型的大小缩放至与三维人脸模型一致；确定第二像素点位置在缩放后的预存三维人脸模型中的对应位置，将对称位置对应的人脸器官设置为三维人脸器官，并获取三维人脸器官的各三维坐标点的第二像素值；将第二像素值复制至第二像素点位置，得到目标三维人脸模型。
具体地，修复单元303可以确定缺陷的人脸器官在三维人脸模型中的第二像素点位置，该第二像素点位置可以是三维坐标点的位置信息。以及，人脸图像修复装置需要获取预存三维人脸模型。
修复单元303可以向服务器发送模型获取请求，并接收服务器基于模型获取请求反馈的从预设的三维人脸模型库中获取到的预存三维人脸模型，其中，预设的三维人脸模型库中可以存储一个或多个预存三维人脸模型，每个预存三维人脸模型中的人脸器官未存在缺陷。
修复单元303也可以从本地预先设置的三维人脸模型库中获取预存三维人脸模型，可以从该三维人脸模型库中获取一个或多个预存三维人脸模型。可以理解的是，预存三维人脸模型的获取方式可以根据实际需要进行灵活设置，具体获取方式在此处不作限定。
在一实施例中，修复单元303在获取预存三维人脸模型的过程中，可以从预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的像素值，以及获取三维人脸模型中人脸器官的像素值，然后获取每个预存三维人脸模型中人脸器官的像素值，与三维人脸模型中人脸器官的像素值之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型。
在另一实施例中，修复单元303在获取预存三维人脸模型的过程中，可以从预设的三维人脸模型库中获取每个预存三维人脸模型中人脸器官的轮廓，以及获取三维人脸模型中人脸器官的轮廓，然后获取每个预存三维人脸模型中人脸器官的轮廓，与三维人脸模型中人脸器官的轮廓之间的相似度，并筛选出相似度大于预设阈值的预存三维人脸模型。
需要说明的是，当相似度大于预设阈值的预存三维人脸模型存在多个时，可以从中任意选取一个预存三维人脸模型，或者筛选出相似度最大的预存三维人脸模型等。该预设阈值可以根据实际需要进行灵活设置，具体取值在此处不作限定。
可选地，为了提高相似度计算的精准性，修复单元303可以将预设的三维人脸模型库中获取每个预存三维人脸模型的大小缩放至与三维人脸模型的大小一致，然后从缩放后的每个预存三维人脸模型中，获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型。
在得到预存三维人脸模型后，修复单元303将预存三维人脸模型的大小缩放至与三维人脸模型的大小一致。然后确定缺陷的人脸器官在三维人脸模型中的第二像素点位置，在缩放后的预存三维人脸模型中的对应位置，将对称位置对应的人脸器官设置为三维人脸器官，并获取预存三维人脸模型中的该三维人脸器官的各三维坐标点的第二像素值，将第二像素值复制至缺陷的人脸器官在三维人脸模型中的第二像素点位置，得到目标三维人脸模型。
例如，当三维人脸模型中的左眼睛和右眼睛都存在缺陷时，可以确定左眼睛和右眼睛在三维人脸模型中的像素点位置，以及从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型，将预存三维人脸模型的大小缩放至与三维人脸模型一致。然后确定左眼睛和右眼睛在缩放后的预存三维人脸模型中的对应位置，并获取左眼睛和右眼睛对应位置的各三维坐标点的像素值，将左眼睛和右眼睛的像素值复制至三维人脸模型中的像素点位置，得到左眼睛和右眼睛不存在缺陷的三维人脸模型。例如，得到的人脸器官不存在缺陷的三维人脸模型如图5所示，其中，图5(a)为三维人脸模型的正面，图5(b)为三维人脸模型的侧面。
生成单元304，用于将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
在得到目标三维人脸模型后，生成单元304可以按照上述将人脸映射为三维人脸模型中的公式(1)、公式(2)、公式(3)及公式(4)等进行逆映射，将目标三维人脸模型逆映射为二维人脸，即将目标三维人脸模型还原或转换为二维人脸；或者是，生成单元304可以通过其他方式将目标三维人脸模型逆映射为二维人脸。然后根据逆映射得到的二维人脸，替换二维图像中的人脸，生成目标图像。
例如，如图6所示，将人脸器官不存在缺陷的目标三维人脸模型逆映射为二维人脸，得到的二维人脸的右眼睛及左耳朵将不存在缺陷，根据二维人脸可以生成最终需要获取的目标图像。
需要说明的是，人脸图像修复装置可以是在拍照的过程中对人脸图像进行修复，可选地，检测单元301具体用于：在进入拍照模式时，对拍照摄像头采集到的二维图像中的人脸进行检测。
人脸图像修复装置可以预先设置开启或关闭人脸图像修复功能的开关，可选地，检测单元301具体用于：在进入拍照模式，且侦测到人脸修复功能的开关已开启时，对拍照摄像头采集到的二维图像中的人脸进行检测。其中，当人脸图像修复功能的开关开启时，在拍照的过程中，进入人脸图像修复模式，在人脸图像修复模式下，可以按照上述人脸图像修复方法对拍照摄像头采集到的人脸图像进行修复；当人脸图像修复功能的开关关闭时，在拍照的过程中，将不会按照上述人脸图像修复方法对拍照摄像头采集到的人脸图像进行修复。
需要说明的是，在一实施例中，用户可以根据自己的使用需求手动开启或关闭人脸图像修复功能，即当人脸图像修复装置接收到用户输入的开启指令时，根据开启指令开启人脸图像修复功能；当人脸图像修复装置接收到用户输入的关闭指令时，根据关闭指令关闭人脸图像修复功能。在另一实施例中，人脸图像修复装置可以是自动开启或关闭人脸图像修复功能，例如，当人脸图像修复装置检测到用户的正面人脸时，自动开启人脸图像修复功能；人脸图像修复装置未检测到用户的正面人脸，自动关闭人脸图像修复功能。
由上可知，本发明实施例通过检测单元301对二维图像中的人脸进行检测，例如，检测人脸上的嘴巴、鼻子及眼睛等人脸器官；当检测到人脸存在缺陷的人脸器官时，映射单元302可以将人脸映射为三维人脸模型，以及由修复单元303获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；再由生成单元304将目标三维人脸模型逆映射为二维人脸，并根据逆映射得到的二维人脸生成目标图像。该方案实现了对图像中人脸存在缺陷的人脸器官进行修复，使得图像中展示的人脸不存在缺陷的人脸器官，也不存在遮挡缺陷的人脸器官的物体，而且可以通过对三维人脸模型进行修复，得到人脸器官不存在缺陷的二维人脸，提高了对图像中人脸进行修复的效果及图像中人脸的展示效果。
相应的，本发明实施例还提供一种终端，如图11所示，该终端可以包括射频(RF，Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图11中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图11中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：
对二维图像中的人脸进行检测；当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型；获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
可选地，对二维图像中的人脸进行检测的步骤可以包括：对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点；根据定位特征点对各个人脸器官进行检测。
可选地，对二维图像中的人脸进行检测的步骤可以包括：从预存人脸图像库中获取预存人脸图像，预存人脸图像中的人脸器官未存在缺陷；将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对；当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
可选地，当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型的步骤可以包括：当检测到人脸存在缺陷的人脸器官时，获取人脸投影在二维平面内的第一投影参数；获取预设三维人脸模型投影在二维平面内的第二投影参数；根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点；根据三维坐标点生成三维人脸模型。
可选地，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤可以包括：以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型；当缺陷的人脸器官在第一切割模型中时，确定缺陷的人脸器官在第一切割模型中的第一像素点位置，并确定第一像素点位置在第二切割模型中的对称位置；将对称位置对应的人脸器官设置为三维人脸器官，以及获取三维人脸器官的各三维坐标点的第一像素值；将第一像素值复制至第一切割模型中的第一像素点位置，得到目标三维人脸模型。
可选地，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤可以包括：确定缺陷的人脸器官在三维人脸模型中的第二像素点位置；从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；将预存三维人脸模型的大小缩放至与三维人脸模型一致；确定第二像素点位置在缩放后的预存三维人脸模型中的对应位置，将对称位置对应的人脸器官设置为三维人脸器官，并获取三维人脸器官的各三维坐标点的第二像素值；将第二像素值复制至第二像素点位置，得到目标三维人脸模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本发明实施例通过对二维图像中的人脸进行检测，例如，检测人脸上的嘴巴、鼻子及眼睛等人脸器官；当检测到人脸存在缺陷的人脸器官时，可以将人脸映射为三维人脸模型，以及获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；再将目标三维人脸模型逆映射为二维人脸，并根据逆映射得到的二维人脸生成目标图像。该方案实现了对图像中人脸存在缺陷的人脸器官进行修复，使得图像中展示的人脸不存在缺陷的人脸器官，也不存在遮挡缺陷的人脸器官的物体，而且可以通过对三维人脸模型进行修复，得到人脸器官不存在缺陷的二维人脸，提高了对图像中人脸进行修复的效果及图像中人脸的展示效果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种人脸图像修复方法中的步骤。例如，该指令可以执行如下步骤：
对二维图像中的人脸进行检测；当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型；获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
可选地，对二维图像中的人脸进行检测的步骤可以包括：对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点；根据定位特征点对各个人脸器官进行检测。
可选地，对二维图像中的人脸进行检测的步骤可以包括：从预存人脸图像库中获取预存人脸图像，预存人脸图像中的人脸器官未存在缺陷；将二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对；当二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定二维图像中不匹配的人脸器官为缺陷的人脸器官。
可选地，当检测到人脸存在缺陷的人脸器官时，将人脸映射为三维人脸模型的步骤可以包括：当检测到人脸存在缺陷的人脸器官时，获取人脸投影在二维平面内的第一投影参数；获取预设三维人脸模型投影在二维平面内的第二投影参数；根据第一投影参数及第二投影参数，获取人脸在三维平面内的三维坐标点；根据三维坐标点生成三维人脸模型。
可选地，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤可以包括：以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型；当缺陷的人脸器官在第一切割模型中时，确定缺陷的人脸器官在第一切割模型中的第一像素点位置，并确定第一像素点位置在第二切割模型中的对称位置；将对称位置对应的人脸器官设置为三维人脸器官，以及获取三维人脸器官的各三维坐标点的第一像素值；将第一像素值复制至第一切割模型中的第一像素点位置，得到目标三维人脸模型。
可选地，获取与三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据三维人脸器官对三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤可以包括：确定缺陷的人脸器官在三维人脸模型中的第二像素点位置；从预设的三维人脸模型库中获取与三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；将预存三维人脸模型的大小缩放至与三维人脸模型一致；确定第二像素点位置在缩放后的预存三维人脸模型中的对应位置，将对称位置对应的人脸器官设置为三维人脸器官，并获取三维人脸器官的各三维坐标点的第二像素值；将第二像素值复制至第二像素点位置，得到目标三维人脸模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种人脸图像修复方法中的步骤，因此，可以实现本发明实施例所提供的任一种人脸图像修复方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种人脸图像修复方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种人脸图像修复方法，其特征在于，包括：
对二维图像中的人脸进行检测；
当检测到所述人脸存在缺陷的人脸器官时，将所述人脸映射为三维人脸模型；
获取与所述三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据所述三维人脸器官对所述三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；
将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
2.根据权利要求1所述的人脸图像修复方法，其特征在于，所述对二维图像中的人脸进行检测的步骤包括：
对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点；
根据所述定位特征点对所述各个人脸器官进行检测。
3.根据权利要求2所述的人脸图像修复方法，其特征在于，所述根据所述定位特征点对所述各个人脸器官进行检测的步骤包括：
判断所述各个人脸器官中是否存在定位特征点缺失的人脸器官；
当各个人脸器官中存在定位特征点缺失的人脸器官时，判定所述定位特征点缺失的人脸器官为缺陷的人脸器官。
4.根据权利要求1所述的人脸图像修复方法，其特征在于，所述对二维图像中的人脸进行检测的步骤包括：
从预存人脸图像库中获取预存人脸图像，所述预存人脸图像中的人脸器官未存在缺陷；
将所述二维图像中的各个人脸器官与预存人脸图像中的各个人脸器官进行比对；
当所述二维图像中存在与预存人脸图像中不匹配的人脸器官时，判定所述二维图像中不匹配的人脸器官为缺陷的人脸器官。
5.根据权利要求4所述的人脸图像修复方法，其特征在于，所述从预存人脸图像库中获取预存人脸图像的步骤包括：
获取所述二维图像中各个人脸器官的定位特征点所形成的第一轮廓；
获取预存图像库中每个预存人脸图像对应的各个人脸器官的定位特征点所形成轮廓，得到第二轮廓；
从所述第二轮廓中获取与第一轮廓之间相似度最大的轮廓所对应的预存人脸图像。
6.根据权利要求1所述的人脸图像修复方法，其特征在于，所述当检测到所述人脸存在缺陷的人脸器官时，将所述人脸映射为三维人脸模型的步骤包括：
当检测到所述人脸存在缺陷的人脸器官时，获取所述人脸投影在二维平面内的第一投影参数；
获取预设三维人脸模型投影在二维平面内的第二投影参数；
根据所述第一投影参数及第二投影参数，获取所述人脸在三维平面内的三维坐标点；
根据所述三维坐标点生成三维人脸模型。
7.根据权利要求1至6任一项所述的人脸图像修复方法，其特征在于，所述获取与所述三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据所述三维人脸器官对所述三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤包括：
以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型；
当缺陷的人脸器官在所述第一切割模型中时，确定缺陷的人脸器官在所述第一切割模型中的第一像素点位置，并确定所述第一像素点位置在所述第二切割模型中的对称位置；
将所述对称位置对应的人脸器官设置为三维人脸器官，以及获取所述三维人脸器官的各三维坐标点的第一像素值；
将所述第一像素值复制至所述第一切割模型中的第一像素点位置，得到目标三维人脸模型。
8.根据权利要求1至6任一项所述的人脸图像修复方法，其特征在于，所述获取与所述三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据所述三维人脸器官对所述三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型的步骤包括：
确定缺陷的人脸器官在所述三维人脸模型中的第二像素点位置；
从预设的三维人脸模型库中获取与所述三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；
将所述预存三维人脸模型的大小缩放至与所述三维人脸模型一致；
确定所述第二像素点位置在缩放后的预存三维人脸模型中的对应位置，将所述对称位置对应的人脸器官设置为三维人脸器官，并获取所述三维人脸器官的各三维坐标点的第二像素值；
将所述第二像素值复制至所述第二像素点位置，得到目标三维人脸模型。
9.一种人脸图像修复装置，其特征在于，包括：
检测单元，用于对二维图像中的人脸进行检测；
映射单元，用于当检测到所述人脸存在缺陷的人脸器官时，将所述人脸映射为三维人脸模型；
修复单元，获取与所述三维人脸模型中缺陷的人脸器官匹配的三维人脸器官，根据所述三维人脸器官对所述三维人脸模型中缺陷的人脸器官进行修复，得到目标三维人脸模型；
生成单元，用于将目标三维人脸模型逆映射为二维人脸，根据逆映射得到的二维人脸生成目标图像。
10.根据权利要求9所述的人脸图像修复装置，其特征在于，所述检测单元包括：
定位子单元，用于对二维图像中人脸上的各个人脸器官进行定位，生成定位特征点；
检测子单元，用于根据所述定位特征点对所述各个人脸器官进行检测。
11.根据权利要求10所述的人脸图像修复装置，其特征在于，所述检测子单元具体用于：
判断所述各个人脸器官中是否存在定位特征点缺失的人脸器官；
当各个人脸器官中存在定位特征点缺失的人脸器官时，判定所述定位特征点缺失的人脸器官为缺陷的人脸器官。
12.根据权利要求9所述的人脸图像修复装置，其特征在于，所述映射单元具体用于：
当检测到所述人脸存在缺陷的人脸器官时，获取所述人脸投影在二维平面内的第一投影参数；
获取预设三维人脸模型投影在二维平面内的第二投影参数；
根据所述第一投影参数及第二投影参数，获取所述人脸在三维平面内的三维坐标点；
根据所述三维坐标点生成三维人脸模型。
13.根据权利要求9至12任一项所述的人脸图像修复装置，其特征在于，所述修复单元具体用于：
以三维人脸模型的中轴面进行人脸左右对称切割，得到第一切割模型和第二切割模型；
当缺陷的人脸器官在所述第一切割模型中时，确定缺陷的人脸器官在所述第一切割模型中的第一像素点位置，并确定所述第一像素点位置在所述第二切割模型中的对称位置；
将所述对称位置对应的人脸器官设置为三维人脸器官，以及获取所述三维人脸器官的各三维坐标点的第一像素值；
将所述第一像素值复制至所述第一切割模型中的第一像素点位置，得到目标三维人脸模型。
14.根据权利要求9至12任一项所述的人脸图像修复装置，其特征在于，所述修复单元具体用于：
确定缺陷的人脸器官在所述三维人脸模型中的第二像素点位置；
从预设的三维人脸模型库中获取与所述三维人脸模型之间的相似度大于预设阈值的预存三维人脸模型；
将所述预存三维人脸模型的大小缩放至与所述三维人脸模型一致；
确定所述第二像素点位置在缩放后的预存三维人脸模型中的对应位置，将所述对称位置对应的人脸器官设置为三维人脸器官，并获取所述三维人脸器官的各三维坐标点的第二像素值；
将所述第二像素值复制至所述第二像素点位置，得到目标三维人脸模型。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的人脸图像修复方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810118865.6A CN108346175B (zh) | 2018-02-06 | 2018-02-06 | 一种人脸图像修复方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810118865.6A CN108346175B (zh) | 2018-02-06 | 2018-02-06 | 一种人脸图像修复方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108346175A true CN108346175A (zh) | 2018-07-31 |
| CN108346175B CN108346175B (zh) | 2023-10-20 |
Family
ID=62959057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810118865.6A Active CN108346175B (zh) | 2018-02-06 | 2018-02-06 | 一种人脸图像修复方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108346175B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108682050A (zh) * | 2018-08-16 | 2018-10-19 | Oppo广东移动通信有限公司 | 基于三维模型的美颜方法和装置 |
| CN109360170A (zh) * | 2018-10-24 | 2019-02-19 | 北京工商大学 | 基于高级特征的人脸修复方法 |
| CN109766755A (zh) * | 2018-12-06 | 2019-05-17 | 深圳市天彦通信股份有限公司 | 人脸识别方法及相关产品 |
| CN110189276A (zh) * | 2019-05-31 | 2019-08-30 | 华东理工大学 | 一种基于极大半径圆域的人脸图像修复方法 |
| CN112365419A (zh) * | 2020-11-11 | 2021-02-12 | 天津大学 | 基于多尺度特征关系学习的多任务人脸修复方法 |
| CN112418054A (zh) * | 2020-11-18 | 2021-02-26 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
| CN113496469A (zh) * | 2020-04-01 | 2021-10-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030096965A (ko) * | 2002-06-18 | 2003-12-31 | 주식회사 페이스쓰리디 | 2차원 얼굴사진으로부터 3차원 얼굴형상 획득 시스템 및방법 |
| CN101882326A (zh) * | 2010-05-18 | 2010-11-10 | 广州市刑事科学技术研究所 | 基于中国人全面部结构形数据的三维颅面复原方法 |
| CN106652015A (zh) * | 2015-10-30 | 2017-05-10 | 深圳超多维光电子有限公司 | 一种虚拟人物头像生成方法及装置 |
| CN107123160A (zh) * | 2017-05-02 | 2017-09-01 | 成都通甲优博科技有限责任公司 | 基于三维立体图像的模拟整容系统、方法及移动终端 |
| CN107343148A (zh) * | 2017-07-31 | 2017-11-10 | 广东欧珀移动通信有限公司 | 图像补全方法、装置和终端 |
| CN107564097A (zh) * | 2017-09-05 | 2018-01-09 | 民政部零研究所 | 一种基于正面图像的遗容三维重建方法 |
-
2018
- 2018-02-06 CN CN201810118865.6A patent/CN108346175B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030096965A (ko) * | 2002-06-18 | 2003-12-31 | 주식회사 페이스쓰리디 | 2차원 얼굴사진으로부터 3차원 얼굴형상 획득 시스템 및방법 |
| CN101882326A (zh) * | 2010-05-18 | 2010-11-10 | 广州市刑事科学技术研究所 | 基于中国人全面部结构形数据的三维颅面复原方法 |
| CN106652015A (zh) * | 2015-10-30 | 2017-05-10 | 深圳超多维光电子有限公司 | 一种虚拟人物头像生成方法及装置 |
| CN107123160A (zh) * | 2017-05-02 | 2017-09-01 | 成都通甲优博科技有限责任公司 | 基于三维立体图像的模拟整容系统、方法及移动终端 |
| CN107343148A (zh) * | 2017-07-31 | 2017-11-10 | 广东欧珀移动通信有限公司 | 图像补全方法、装置和终端 |
| CN107564097A (zh) * | 2017-09-05 | 2018-01-09 | 民政部零研究所 | 一种基于正面图像的遗容三维重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| YUANKUI HU 等: "Reconstruction of 3D Face from a Single 2D Image for Face Recognition", PROCEEDINGS 2ND JOINT IEEE INTERNATIONAL WORKSHOP ON VS-PETS, BEIJING, pages 217 - 222 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108682050A (zh) * | 2018-08-16 | 2018-10-19 | Oppo广东移动通信有限公司 | 基于三维模型的美颜方法和装置 |
| CN109360170A (zh) * | 2018-10-24 | 2019-02-19 | 北京工商大学 | 基于高级特征的人脸修复方法 |
| CN109766755A (zh) * | 2018-12-06 | 2019-05-17 | 深圳市天彦通信股份有限公司 | 人脸识别方法及相关产品 |
| CN109766755B (zh) * | 2018-12-06 | 2020-11-27 | 深圳市天彦通信股份有限公司 | 人脸识别方法及相关产品 |
| CN110189276A (zh) * | 2019-05-31 | 2019-08-30 | 华东理工大学 | 一种基于极大半径圆域的人脸图像修复方法 |
| CN113496469A (zh) * | 2020-04-01 | 2021-10-12 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN113496469B (zh) * | 2020-04-01 | 2023-10-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN112365419A (zh) * | 2020-11-11 | 2021-02-12 | 天津大学 | 基于多尺度特征关系学习的多任务人脸修复方法 |
| CN112418054A (zh) * | 2020-11-18 | 2021-02-26 | 北京字跳网络技术有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108346175B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108346175A (zh) | 一种人脸图像修复方法、装置及存储介质 | |
| CN106156730B (zh) | 一种人脸图像的合成方法和装置 | |
| CN106558025B (zh) | 一种图片的处理方法和装置 | |
| CN104156947B (zh) | 图像分割方法、装置及设备 | |
| CN103605975B (zh) | 一种图像处理的方法、装置及终端设备 | |
| CN108229332A (zh) | 骨骼姿态确定方法、装置及计算机可读存储介质 | |
| WO2019233229A1 (zh) | 一种图像融合方法、装置及存储介质 | |
| CN109918975A (zh) | 一种增强现实的处理方法、对象识别的方法及终端 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| CN109213728A (zh) | 基于增强现实的文物展示方法及系统 | |
| CN110163806A (zh) | 一种图像处理方法、装置以及存储介质 | |
| CN108345848A (zh) | 用户注视方向识别方法及相关产品 | |
| KR20140008210A (ko) | 이동 단말기 및 그것의 제어 방법 | |
| CN109859211A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN108519816A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
| CN110288716B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN108108649A (zh) | 身份验证方法及装置 | |
| CN106558039A (zh) | 一种人像处理方法及装置 | |
| CN109167914A (zh) | 一种图像处理方法及移动终端 | |
| CN109493294A (zh) | 一种图像处理方法及移动终端 | |
| CN108881544A (zh) | 一种拍照的方法及移动终端 | |
| CN109688253A (zh) | 一种拍摄方法及终端 | |
| CN108108671A (zh) | 产品说明信息获取方法及装置 | |
| CN110213663A (zh) | 音视频播放方法、计算机设备及计算机可读存储介质 | |
| CN108174082A (zh) | 一种图像拍摄的方法和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |