CN106530229B - 后虚化处理虚拟美瞳瞳片的制作方法和显示方法 - Google Patents
后虚化处理虚拟美瞳瞳片的制作方法和显示方法 Download PDFInfo
- Publication number
- CN106530229B CN106530229B CN201610975775.XA CN201610975775A CN106530229B CN 106530229 B CN106530229 B CN 106530229B CN 201610975775 A CN201610975775 A CN 201610975775A CN 106530229 B CN106530229 B CN 106530229B
- Authority
- CN
- China
- Prior art keywords
- picture
- resetting
- base
- result
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 210000001747 pupil Anatomy 0.000 title claims abstract description 46
- 230000003796 beauty Effects 0.000 title claims abstract description 26
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 11
- 239000000654 additive Substances 0.000 claims description 8
- 230000000996 additive effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 210000004279 orbit Anatomy 0.000 claims description 6
- 235000013399 edible fruits Nutrition 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 31
- 239000011521 glass Substances 0.000 abstract description 7
- 239000000463 material Substances 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 abstract description 5
- 230000035699 permeability Effects 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract description 3
- 238000009877 rendering Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- XOJVVFBFDXDTEG-UHFFFAOYSA-N Norphytane Natural products CC(C)CCCC(C)CCCC(C)CCCC(C)C XOJVVFBFDXDTEG-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本发明公开了后虚化处理虚拟美瞳瞳片的制作方法和显示方法，利用2个原始基础美瞳图片，即Base图片和Mask图片作为样片，Base图片能最大程度保证其显示效果的真实性，而Mask图片采用乘法运算达到透视效果，能保证显示的通透性，二者结合，在最大程度能模拟出真美瞳佩戴时的效果，达到高光、逼真、玻璃材质的显示效果。采用分段叠加的设计思路，即先叠加Base重置图片，再叠加Mask重置图片，其计算公式简单，操作流程简单，整个运算能快速进行，一种简单，快速，高性能的叠加方法。
Description
技术领域
本发明涉及本发明属于计算机视觉与虚拟现实领域，是一种实时的基于Android，iOS等移动平台的美瞳虚拟试戴技术。
背景技术
随着移动互联网的深入发展，越来越多用户开始使用手机、平板电脑等移动平台进行网络购物。与传统店铺购物相比，基于移动平台的网络购物有不受时间地点约束、种类齐全、价格低廉等优点，但是网络购物最大的缺点是对商品的观察不如传统店铺全面直观。网上商城通常只能通过图片或视频对商品进行展示，顾客难以利用这种方式精确选择适合自己的个性化商品。
美瞳是一种典型的个性化商品，受到网上展示不直观的影响，用户难以在网络购物的过程中体验到真实的试戴感觉，从而难以选择适合自己的个性化美瞳。
为了解决上述问题，一些方案提出了自己的解决办法，但目前已知的解决方案在精度、速度都有短板，难以有效地应用到手机、平板电脑等移动平台上。
发明内容
本发明提出后虚化处理虚拟美瞳瞳片的制作方法和显示方法，使得在一般环境下由普通摄像头捕获到的人脸图像，将制作出虚拟美瞳瞳片，并将虚拟美瞳瞳片显示在人脸图像上，达到高精度、快速、高逼真效果的显示目的。
本发明通过下述技术方案实现：一种虚拟美瞳瞳片的制作方法，包括以下步骤：
S1步骤、制作原始图片：获取具有美瞳特性的Base图片，
S2步骤、重置图片大小；
其具体过程为：
C1步骤、读取目标图像中虹膜大小参数，
C2步骤、将Base图片的原图A按照比例逐步缩小处理，直到缩小后的图片大小小于虹膜大小，根据获得的图片获得对应的多个高频图像，根据高频图像获得平均高频图片为P；
C3步骤、再将缩小处理的最后一张图片按照线性插值的方法重置到重置尺寸得到最小重置图片，将平均高频图片按照线性插值的方法重置到重置尺寸得到平均高频重置图片；若重置尺寸与 虹膜大小相等则转到C4步骤，若重置尺寸与 虹膜大小不相等则转到C5步骤或C6步骤；
C4步骤、平均高频重置图片与最小重置图片相加，其结果再用锐化滤波器滤波即可得到原图A的重置图片，即获得Base重置图片和Mask重置图片；
C5步骤、平均高频重置图片与最小重置图片相加，其相加结果重置到虹膜大小再用锐化滤波器滤波即可得到原图A的重置图片，即获得Base重置图片和Mask重置图片；
C6步骤、平均高频重置与最小重置图片相加，其相加结果再用锐化滤波器滤波后重置到虹膜大小即可得到原图A的重置图片，即获得Base重置图片和Mask重置图片；
C7步骤、根据C4步骤、C5步骤、C6步骤获得的Base重置图片采用乘法运算获得Mask重置图片，Mask重置图片的RBG通道各个像素的值为Base重置图片对应RBG通道各个像素的值乘以X，1＞X＞0。
其中Mask重置图片的参数具体表达计算公式为：
Maskr（i，j）=Baser（i，j）*X；
Mask b（i，j）=Base b（i，j）*X；
Mask g（i，j）=Base g（i，j）*X；
其中Maskr（i，j）、Maskb（i，j）、Maskg（i，j）构成Mask重置图片，Mask重置图片为处理后得到的图片，Maskr（i，j）、Maskb（i，j）、Maskg（i，j）分别代表Mask重置图片在像素坐标（i，j）时在对应RBG通道下的值，Baser（i，j）、Baseb（i，j）、Baseg（i，j）构成Base重置图片，Baser（i，j）、Base b（i，j）、Base g（i，j）分别代表Base重置图片在像素坐标（i，j）时在对应RBG通道的值，（i，j）表示像素坐标，r对应R通道，b对应B通道，g对应G通道。
在上述计算过程中，优选X为0.6或0.5。
优选的，获得高频图片的具体过程为：将每一次缩小前的图片和缩小后的图片归为同一缩放图组，在同一缩放图组中，缩小前的图片和缩小后的图片调整到同一尺寸并相减运算，相减结果为高频图像；获得平均高频图片的具体过程为：将M个高频图像调整到同一尺寸再相加运算，相加结果再除以图片总数M，得到平均高频图片为P。
优选的，将缩小前的图片和缩小后的图片调整到同一尺寸并相减运算的具体情形为：同一缩放图组中，将缩小后的图片调整到缩小前的尺寸。
优选的，将缩小前的图片和缩小后的图片调整到同一尺寸并相减运算的具体情形为：同一缩放图组中，将缩小后的图片调整到设定尺寸，将缩小前的图片也调整到设定尺寸；所有同一缩放图组的设定尺寸为相同尺寸或不相同尺寸。
优选的，所述Base图片为含alpha通道的png格式图片。
优选的，虹膜大小为30*30至40*40像素。
Base图片的大小为200*200像素。
基于所述制作方法所获得的虚拟美瞳瞳片的显示方法，包括以下步骤：
X1步骤、获得目标图像的虹膜区域图片，利用图像乘法的方法将Base重置图片叠加到虹膜区域图片上，得到Result图片，Result图片为处理后得到的图片；
X2步骤、将Result图片和Mask重置图片叠加；得到Final图片，Final图片为处理后得到的图片。
Base重置图片叠加到虹膜区域图片上的图像乘法公式为：
Resultr（i，j）=（Ir（i，j）*Baser（i，j））/255；
Resultb（i，j）=（Ib（i，j）*Baseb（i，j））/255；
Resultg（i，j）=（Ig（i，j）*Baseg（i，j））/255；
其中Resultr（i，j）、Resultb（i，j）、Resultg（i，j）构成Result图片，Result图片为处理后得到的图片，Resultr（i，j）、Resultb（i，j）、Resultg（i，j）分别代表Result图片在像素坐标（i，j）时在对应RBG通道下的值，Ir（i，j）、Ib（i，j）、Ig（i，j）构成虹膜区域图片，Ir（i，j）、Ib（i，j）、Ig（i，j）分别代表虹膜区域图片在像素坐标（i，j）时在对应RBG通道的值，Baser（i，j）、Baseb（i，j）、Baseg（i，j）构成Base重置图片，Baser（i，j）、Baseb（i，j）、Baseg（i，j）分别代表 Base重置图片在像素坐标（i，j）时在对应RBG通道下的值。i，j表示像素坐标，r对应R通道，b对应B通道，g对应G通道。
经过这个操作，得到的Result图片会呈现出很水润的效果，加上图片本来的Alpha通道，可以很好的模拟出图片的玻璃材质效果。
Result图片和Mask重置图片叠加的具体叠加方法为：对于Final图片的RBG通道，设任意通道值为Y，当Mask重置图片的对应通道值≥128时，比较Result图片的对应通道值与2倍Mask重置图片的对应通道值的大小，Y则为值小的通道值，当Mask重置图片的对应通道值小于128时，比较Result图片的对应通道值与2倍Mask重置图片的对应通道值减255的大小，Y则为值大的通道值。
上述叠加方法采用计算机表达时，其公式为：
If Mask r（i，j）≥128，Final r（i，j）=MIN（Result r（i，j），2* Mask r（i， j）），
Else Mask r（i，j）＜128，Final r（i，j）=MAX（Result r（i，j），2* Mask r（i，j）-255）； If Mask b（i，j）≥128，Final b（i，j）=MIN（Result b（i，j），2* Mask b（i， j）），
Else Mask b（i，j）＜128，Final b（i，j）=MAX（Resultr（i，j），2* Mask b（i，j）-255）；
If Maskg（i，j）≥ 128，Final g（i，j）=MIN（Resultg（i，j），2* Maskg（i，j））：
Else Maskg（i，j）＜128，Finalg（i，j）=MAX（Resultg（i，j），2* Maskg（i，j）-255 ）；其中 Final r（i，j）、Finalb（i，j）、Finalg（i，j）构成Final图片，Finalr（i，j）、Finalb（i，j）、Final g（i，j）分别代表Final图片在像素坐标（i，j）时在对应 RBG 通道下的值； Resultr（i，j）、Resultb（i，j）、Resultg（i，j）构成Result图片，Resultr（i，j）、Resultb （i，j）、Resultg（i，j）分别代表 Result 图片在像素坐标（i，j）时在对应 RBG 通道下的值；Mask r（i，j）、 Mask b（i，j）、 Mask g（i，j）构成 Mask 重置图片， Mask r（i，j）、 Mask b（i，j）、Mask g（i，j）分别代表 Mask 重置图片在像素坐标（i，j）时在对应 RBG 通道下的值。 i ，j 表示像素坐标，r 对应 R 通道，b 对应 B 通道，g对应 G 通道。
Y则为值小的通道值的含义是：Mask b（i，j）≥128时，当Resultr（i，j）与2* Mask r（i，j）对比后，若Resultr（i，j）小于2* Mask r（i，j），则Finalr（i，j）= Resultr（i，j），若Resultr（i，j）大于2* Mask r（i，j），则Finalr（i，j）= 2* Mask r（i，j）。
Y则为值大的通道值的含义是，Mask b（i，j）＜128时，当Resultr（i，j）与2* Mask r（i，j）-255对比后，若Resultr（i，j）小于2* Mask r（i，j）-255，则Finalr（i，j）=2* Mask r（i，j）-255，若Resultr（i，j）大于2* Mask r（i，j），则Finalr（i，j）= Resultr（i，j）。
还包括虚化处理步骤：按目标图像的照眼眶范围对虚拟美瞳瞳片的边缘区域做虚化处理；
虚化处理的具体做法为，计算眼眶范围的像素点，若像素到眼眶的最小距离r1小于3个像素，则将这点对应RBG通道像素乘以r1/3,再加上虹膜区域图片中对应像素的值乘以1-r1/3。
本发明的总体思路为：利用2个原始基础美瞳图片，即Base重置图片和Mask重置图片，利用Base图片作为原始图片采用高保真的方式进行缩放处理，最后得到Base重置图片，在利用Base重置图片获得Mask重置图片，Base图片获得的Base重置图片能最大程度保证其显示效果的真实性，而由Base重置图片获得的Mask重置图片采用乘法运算达到透视效果，能保证显示的通透性，二者结合，在最大程度能模拟出真美瞳佩戴时的效果，达到高光、逼真、玻璃材质的显示效果，这种设计方案只需要先缩放处理Base图片，而不直接由Base图片乘法运算获得Mask图片，可以取消对Mask图片的缩放处理，达到快速运算的目的，且处理后的效果依然能达到很高的仿真效果，另外一种方式是采用Base图片乘法运算获得Mask图片，同时对Base图片、Mask图片进行缩放得到Base重置图片和Mask重置图片，这种方式能最大程度的保证重置后的图片保真，但运行速度较弱于本发明的方式。另外，本发明采用上述计算过程，利用逐级缩小的方式将原样图片缩放到虹膜大小，而且在逐级缩放的基础上选择出高频图片部分，再结合高频图片进行缩放处理到虹膜大小，保证在缩放到预定大小后能很好的保持原图的色彩和纹理等特性，一般来说，原始美瞳图片的像素都比较大，而在实际虚拟现在过程中，虹膜区域的大小是变化的，且常常比较小，因此，在显示过程中，美瞳瞳片的大小对后期的总体效果影响很大。现有的主流resize（重调尺寸）的方法有最邻近插值，线性插值等。由于一张图片中，人眼（虹膜）的大小所占图片的比例是很小的。例如，普通的960*1280（iPhone前置默认像素）的自拍照片，虹膜的直径可能只有30到40左右。将200*200的美瞳图片resize到40*40甚至更小而且很好的保持原图的色彩和纹理等特性，单纯使用常规的方法，是一个非常困难的事情。本发明利用上述逐级缩放并筛选出高频图片，利用高频图片的保真特点，能很好的保持原图的色彩和纹理等特性，可以克服上述直接将原美瞳图片直接缩小带来的失真问题。
在显示技术的过程中，照片中人的虹膜一般都具有玻璃材质一样的透明感和高光等三维效果。真实情况下佩戴了美瞳的虹膜也会具有这样的效果。这个特性让虚拟美瞳的叠加的难度变得很大。正常情况下是对瞳片做一些复杂的渲染，然后再叠加，例如利用PC机进行渲染出来，考虑到移动平台计算性能和内存的局限性，一般在移动终端很难进行渲染处理进行，如果要进行渲染处理则需要高性能的移动终端，且渲染处理时间非常长，非常影响用户体验。本发明采用上述方法采用分段叠加的设计思路，即先叠加Base重置图片，再叠加Mask重置图片，其计算公式简单，操作流程简单，整个运算能快速进行，一种简单，快速，高性能的叠加方法。
本发明与现有技术相比，具有如下的优点和有益效果：
使本发明能很好的适用于各大平台（Windows，Mac OSX，Android，iOS，Linux等）。在最终效果的显示方面，处理效果逼真，准确。高光，以及渐变效果明显。有效的解决了同类产品中效果不真实的缺点。本方法处理过程简单，消耗资源低，在各大平台的处理速度方面，平均耗时8ms以下。由此可看出本发明针对实时性处理的巨大潜力。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明的基本流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示，后虚化处理虚拟美瞳瞳片的制作方法，包括以下步骤：
S1步骤、制作原始图片：获取具有美瞳特性的Base图片，所述Base图片为含alpha通道的png格式图片。
Base图片的大小为200*200，以普通的960*1280（iPhone前置默认像素）的自拍照片为例，自拍时应将头部刚刚纳入拍照区域为准式，虹膜的直径可能只有30到40左右，本实施例以虹膜的直径以30为例。
S2步骤、重置图片大小；
其具体过程为：
C1步骤、读取目标图像中虹膜大小参数。
C2步骤、将Base图片的原图A按照比例逐步缩小处理，直到缩小后的图片大小小于虹膜大小，安装上述参数，我们将该比例设定为1/2，即我们可以得到如下缩放后的结果，原图A、一次缩放图B（100*100）、二次缩放图C（50*50）、三次缩放图D（25*25）；将每一次缩小前的图片和缩小后的图片归为同一缩放图组，在同一缩放图组中，缩小前的图片和缩小后的图片调整到同一尺寸并相减运算，相减结果为高频图像，将M个高频图像调整到同一尺寸再相加运算，相加结果再除以图片总数M，得到平均高频图片为P，即将原图A、一次缩放图B（100*100）为一组，一次缩放图B（100*100）、二次缩放图C（50*50）为一组，二次缩放图C（50*50）、三次缩放图D（25*25）为一组，按照上述运算，得到3个高频图像，最后得到平均高频图片。
C3步骤、再将缩小处理的最后一张图片按照线性插值的方法重置到重置尺寸得到最小重置图片，将平均高频图片按照线性插值的方法重置到重置尺寸得到平均高频重置图片；若重置尺寸与 虹膜大小相等则转到C4步骤，若重置尺寸与 虹膜大小不相等则转到C5步骤或C6步骤。
C4步骤、平均高频重置图片与最小重置图片相加，其结果再用锐化滤波器滤波即可得到原图A的重置图片，即获得Base重置图片和Mask重置图片。
C5步骤、平均高频重置图片与最小重置图片相加，其相加结果重置到虹膜大小再用锐化滤波器滤波即可得到原图A的重置图片，即获得Base重置图片和Mask重置图片。
C6步骤、平均高频重置与最小重置图片相加，其相加结果再用锐化滤波器滤波后重置到虹膜大小即可得到原图A的重置图片，即获得Base重置图片和Mask重置图片。
C7步骤、根据C4步骤、C5步骤、C6步骤获得的Base重置图片采用乘法运算获得Mask重置图片，Mask重置图片的RBG通道各个像素的值为Base重置图片对应RBG通道各个像素的值乘以X，1＞X＞0。
其中Mask重置图片的参数具体表达计算公式为：
Maskr（i，j）=Baser（i，j）*X；
Mask b（i，j）=Base b（i，j）*X；
Mask g（i，j）=Base g（i，j）*X；
其中Maskr（i，j）、Maskb（i，j）、Maskg（i，j）构成Mask重置图片，Mask重置图片为处理后得到的图片，Maskr（i，j）、Maskb（i，j）、Maskg（i，j）分别代表Mask重置图片在像素坐标（i，j）时在对应RBG通道下的值，Baser（i，j）、Baseb（i，j）、Baseg（i，j）构成Base重置图片，Baser（i，j）、Base b（i，j）、Base g（i，j）分别代表Base重置图片在像素坐标（i，j）时在对应RBG通道的值，（i，j）表示像素坐标，r对应R通道，b对应B通道，g对应G通道。
在上述计算过程中，优选X为0.6或0.5。
本发明的设计构思是需要2个图片，一个是Mask重置图片一个是Base重置图片，二者结合用于显示，但Mask重置图片为Base重置图片的虚化处理结果，其中Mask重置图片可以先经过Base图片进行虚化处理得到一个Mask图片，再由缩放重置处理得到，也可以是先对Base图片进行缩放重置处理得到Base重置图片后再进行虚化处理得到Mask重置图片，在本发明中采用后虚化处理的方式，省去了大量运算过程，可以提高运算速度，节省运算资源。
优选的，C2步骤中，将缩小前的图片和缩小后的图片调整到同一尺寸并相减运算的具体情形为：同一缩放图组中，将缩小后的图片调整到缩小前的尺寸。
优选的，C2步骤中，将缩小前的图片和缩小后的图片调整到同一尺寸并相减运算的具体情形为：同一缩放图组中，将缩小后的图片调整到设定尺寸，将缩小前的图片也调整到设定尺寸；所有同一缩放图组的设定尺寸为相同尺寸或不相同尺寸。
基于所述制作方法所获得的虚拟美瞳瞳片的显示方法，包括以下步骤：
X1步骤、获得目标图像的虹膜区域图片，利用图像乘法的方法将Base重置图片叠加到虹膜区域图片上，得到Result图片，Result图片为处理后得到的图片；
X2步骤、将Result图片和Mask重置图片叠加；得到Final图片，Final图片为处理后得到的图片。
Base重置图片叠加到虹膜区域图片上的图像乘法公式为：
Result r（i，j）=（Ir（i，j）*Baser（i，j））/255；
Result b（i，j）=（Ib（i，j）*Baseb（i，j））/255；
Result g（i，j）=（Ig（i，j）*Baseg（i，j））/255；
其中Resultr（i，j）、Resultb（i，j）、Resultg（i，j）构成Result图片，Result图片为处理后得到的图片，Resultr（i，j）、Resultb（i，j）、Resultg（i，j）分别代表Result图片在像素坐标（i，j）时在对应RBG通道下的值，Ir（i，j）、Ib（i，j）、Ig（i，j）构成虹膜区域图片，Ir（i，j）、Ib（i，j）、Ig（i，j）分别代表虹膜区域图片在像素坐标（i，j）时在对应RBG通道的值，Baser（i，j）、Baseb（i，j）、Baseg（i，j）构成Base重置图片，Baser（i，j）、Baseb（i，j）、Baseg（i，j）分别代表 Base重置图片在像素坐标（i，j）时在对应RBG通道下的值。i，j表示像素坐标，r对应R通道，b对应B通道，g对应G通道。
经过这个操作，得到的Result图片会呈现出很水润的效果，加上图片本来的Alpha通道，可以很好的模拟出图片的玻璃材质效果。
Result图片和Mask重置图片叠加的具体叠加方法为：对于Final图片的RBG通道，设任意通道值为Y，当Mask重置图片的对应通道值≥128时，比较Result图片的对应通道值与2倍Mask重置图片的对应通道值的大小，Y则为值小的通道值，当Mask重置图片的对应通道值小于128时，比较Result图片的对应通道值与2倍Mask重置图片的对应通道值减255的大小，Y则为值大的通道值。
上述叠加方法采用计算机表达时，其公式为：
If Mask r（i，j）≥128，Final r（i，j）=MIN（Result r（i，j），2* Mask r（i， j）），
Else Mask r（i，j）＜128，Final r（i，j）=MAX（Result r（i，j），2* Mask r（i，j）-255）； If Mask b（i，j）≥128，Final b（i，j）=MIN（Result b（i，j），2* Mask b（i， j）），
Else Mask b（i，j）＜128，Final b（i，j）=MAX（Resultr（i，j），2* Mask b（i，j）-255）；
If Maskg（i，j）≥ 128，Final g（i，j）=MIN（Resultg（i，j），2* Maskg（i，j））：
Else Maskg（i，j）＜128，Finalg（i，j）=MAX（Resultg（i，j），2* Maskg（i，j）-255 ）；其中 Final r（i，j）、Finalb（i，j）、Finalg（i，j）构成Final图片，Finalr（i，j）、Finalb（i，j）、Final g（i，j）分别代表Final图片在像素坐标（i，j）时在对应 RBG 通道下的值； Resultr（i，j）、Resultb（i，j）、Resultg（i，j）构成Result图片，Resultr（i，j）、Resultb （i，j）、Resultg（i，j）分别代表 Result 图片在像素坐标（i，j）时在对应 RBG 通道下的值；Mask r（i，j）、 Mask b（i，j）、 Mask g（i，j）构成 Mask 重置图片， Mask r（i，j）、 Mask b（i，j）、Mask g（i，j）分别代表 Mask 重置图片在像素坐标（i，j）时在对应 RBG 通道下的值。 i ，j 表示像素坐标，r 对应 R 通道，b 对应 B 通道，g对应 G 通道。
Y则为值小的通道值的含义是：Mask b（i，j）≥128时，当Resultr（i，j）与2* Mask r（i，j）对比后，若Resultr（i，j）小于2* Mask r（i，j），则Finalr（i，j）= Resultr（i，j），若Resultr（i，j）大于2* Mask r（i，j），则Finalr（i，j）= 2* Mask r（i，j）。
Y则为值大的通道值的含义是，Mask b（i，j）＜128时，当Resultr（i，j）与2* Mask r（i，j）-255对比后，若Resultr（i，j）小于2* Mask r（i，j）-255，则Finalr（i，j）=2* Mask r（i，j）-255，若Resultr（i，j）大于2* Mask r（i，j），则Finalr（i，j）= Resultr（i，j）。
还包括虚化处理步骤：按目标图像的照眼眶范围对虚拟美瞳瞳片的边缘区域做虚化处理；
虚化处理的具体做法为，计算眼眶范围的像素点，若像素到眼眶的最小距离r1小于3个像素，则将这点对应RBG通道像素乘以r1/3,再加上虹膜区域图片中对应像素的值乘以1-r1/3。
本发明的总体思路为：利用2个原始基础美瞳图片，即Base重置图片和Mask重置图片，利用Base图片作为原始图片采用高保真的方式进行缩放处理，最后得到Base重置图片，在利用Base重置图片获得Mask重置图片，Base图片获得的Base重置图片能最大程度保证其显示效果的真实性，而由Base重置图片获得的Mask重置图片采用乘法运算达到透视效果，能保证显示的通透性，二者结合，在最大程度能模拟出真美瞳佩戴时的效果，达到高光、逼真、玻璃材质的显示效果，这种设计方案只需要先缩放处理Base图片，而不直接由Base图片乘法运算获得Mask图片，可以取消对Mask图片的缩放处理，达到快速运算的目的，且处理后的效果依然能达到很高的仿真效果，另外一种方式是采用Base图片乘法运算获得Mask图片，同时对Base图片、Mask图片进行缩放得到Base重置图片和Mask重置图片，这种方式能最大程度的保证重置后的图片保真，但运行速度较弱于本发明的方式。另外，本发明采用上述计算过程，利用逐级缩小的方式将原样图片缩放到虹膜大小，而且在逐级缩放的基础上选择出高频图片部分，再结合高频图片进行缩放处理到虹膜大小，保证在缩放到预定大小后能很好的保持原图的色彩和纹理等特性，一般来说，原始美瞳图片的像素都比较大，而在实际虚拟现在过程中，虹膜区域的大小是变化的，且常常比较小，因此，在显示过程中，美瞳瞳片的大小对后期的总体效果影响很大。现有的主流resize（重调尺寸）的方法有最邻近插值，线性插值等。由于一张图片中，人眼（虹膜）的大小所占图片的比例是很小的。例如，普通的960*1280（iPhone前置默认像素）的自拍照片，虹膜的直径可能只有30到40左右。将200*200的美瞳图片resize到40*40甚至更小而且很好的保持原图的色彩和纹理等特性，单纯使用常规的方法，是一个非常困难的事情。本发明利用上述逐级缩放并筛选出高频图片，利用高频图片的保真特点，能很好的保持原图的色彩和纹理等特性，可以克服上述直接将原美瞳图片直接缩小带来的失真问题。
在显示技术的过程中，照片中人的虹膜一般都具有玻璃材质一样的透明感和高光等三维效果。真实情况下佩戴了美瞳的虹膜也会具有这样的效果。这个特性让虚拟美瞳的叠加的难度变得很大。正常情况下是对瞳片做一些复杂的渲染，然后再叠加，例如利用PC机进行渲染出来，考虑到移动平台计算性能和内存的局限性，一般在移动终端很难进行渲染处理进行，如果要进行渲染处理则需要高性能的移动终端，且渲染处理时间非常长，非常影响用户体验。本发明采用上述方法采用分段叠加的设计思路，即先叠加Base重置图片，再叠加Mask重置图片，其计算公式简单，操作流程简单，整个运算能快速进行，一种简单，快速，高性能的叠加方法。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.后虚化处理虚拟美瞳瞳片的制作方法，其特征在于， 包括以下步骤：
S1步骤、制作原始图片：获取具有美瞳特性的Base图片，
S2步骤、重置图片大小；
其具体过程为：
C1步骤、读取目标图像中虹膜大小参数，
C2步骤、将Base图片的原图A按照比例逐步缩小处理，直到缩小后的图片大小小于虹膜大小，根据获得的图片获得对应的多个高频图像，根据高频图像获得平均高频图片为P；
C3步骤、再将缩小处理的最后一张图片按照线性插值的方法重置到重置尺寸得到最小重置图片，将平均高频图片按照线性插值的方法重置到重置尺寸得到平均高频重置图片；若重置尺寸与 虹膜大小相等则转到C4步骤，若重置尺寸与 虹膜大小不相等则转到C5步骤或C6步骤；
C4步骤、平均高频重置图片与最小重置图片相加，其结果再用锐化滤波器滤波即可得到原图A的重置图片，即获得Base重置图片；
C5步骤、平均高频重置图片与最小重置图片相加，其相加结果重置到虹膜大小再用锐化滤波器滤波即可得到原图A的重置图片，即获得Base重置图片；
C6步骤、平均高频重置与最小重置图片相加，其相加结果再用锐化滤波器滤波后重置到虹膜大小即可得到原图A的重置图片，即获得Base重置图片；
C7步骤、根据C4步骤、C5步骤、C6步骤获得的Base重置图片采用乘法运算获得Mask重置图片，Mask重置图片的RBG通道各个像素的值为Base重置图片对应RBG通道各个像素的值乘以X，1＞X＞0。
2.根据权利要求1所述的后虚化处理虚拟美瞳瞳片的制作方法，其特征在于，
获得高频图片的具体过程为：将每一次缩小前的图片和缩小后的图片归为同一缩放图组，在同一缩放图组中，缩小前的图片和缩小后的图片调整到同一尺寸并相减运算，相减结果为高频图像；
获得平均高频图片的具体过程为：将M个高频图像调整到同一尺寸再相加运算，相加结果再除以图片总数M，得到平均高频图片为P。
3.根据权利要求1所述的后虚化处理虚拟美瞳瞳片的制作方法，其特征在于，
C3步骤中，将缩小前的图片和缩小后的图片调整到同一尺寸并相减运算的具体情形为：同一缩放图组中，将缩小后的图片调整到缩小前的尺寸。
4.根据权利要求1所述的后虚化处理虚拟美瞳瞳片的制作方法，其特征在于，
C3步骤中，将缩小前的图片和缩小后的图片调整到同一尺寸并相减运算的具体情形为：同一缩放图组中，将缩小后的图片调整到设定尺寸，将缩小前的图片也调整到设定尺寸；所有同一缩放图组的设定尺寸为相同尺寸或不相同尺寸。
5.根据权利要求1所述的后虚化处理虚拟美瞳瞳片的制作方法，其特征在于，所述Base图片为含alpha通道的png格式图片。
6.根据权利要求1-5中任意一项所述的后虚化处理虚拟美瞳瞳片的制作方法，其特征在于，Base图片的大小为200*200像素。
7.基于权利要求1-6中任意一项制作方法所获得的虚拟美瞳瞳片的显示方法，其特征在于，包括以下步骤：
X1步骤、获得目标图像的虹膜区域图片，利用图像乘法的方法将Base重置图片叠加到虹膜区域图片上，得到Result图片，Result图片为处理后得到的图片；
X2步骤、将Result图片和Mask重置图片叠加；得到Final图片，Final图片为处理后得到的图片。
8.根据权利要求7所述的显示方法，其特征在于，Base重置图片叠加到虹膜区域图片上的图像乘法公式为：
Resultr（i，j）=（Ir（i，j）*Baser（i，j））/255；
Resultb（i，j）=（Ib（i，j）*Baseb（i，j））/255；
Resultg（i，j）=（Ig（i，j）*Baseg（i，j））/255；
其中Resultr（i，j）、Resultb（i，j）、Resultg（i，j）构成Result图片，Result图片为处理后得到的图片，Resultr（i，j）、Resultb（i，j）、Resultg（i，j）分别代表Result图片在像素坐标（i，j）时在对应RBG通道下的值，Ir（i，j）、Ib（i，j）、Ig（i，j）构成虹膜区域图片，Ir（i，j）、Ib（i，j）、Ig（i，j）分别代表虹膜区域图片在像素坐标（i，j）时在对应RBG通道的值，Baser（i，j）、Baseb（i，j）、Baseg（i，j）构成Base重置图片，Baser（i，j）、Baseb（i，j）、Baseg（i，j）分别代表 Base重置图片在像素坐标（i，j）时在对应RBG通道下的值；（i，j）表示像素坐标，r对应R通道，b对应B通道，g对应G通道。
9.根据权利要求7所述的显示方法，其特征在于，Result图片和Mask重置图片叠加的具体叠加方法为：对于Final图片的RBG通道，设任意通道值为Y，当Mask重置图片的对应通道值≥128时，比较Result图片的对应通道值与2倍Mask重置图片的对应通道值的大小，Y则为值小的通道值，当Mask重置图片的对应通道值小于128时，比较Result图片的对应通道值与2倍Mask重置图片的对应通道值减255的大小，Y则为值大的通道值。
10.根据权利要求7或8或9所述的显示方法，其特征在于，还包括虚化处理步骤：按目标图像的照眼眶范围对虚拟美瞳瞳片的边缘区域做虚化处理；
虚化处理的具体做法为，计算眼眶范围的像素点，若像素到眼眶的最小距离r1小于3个像素，则将这点对应RBG通道像素乘以r1/3,再加上虹膜区域图片中对应像素的值乘以1-r1/3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610975775.XA CN106530229B (zh) | 2016-11-07 | 2016-11-07 | 后虚化处理虚拟美瞳瞳片的制作方法和显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610975775.XA CN106530229B (zh) | 2016-11-07 | 2016-11-07 | 后虚化处理虚拟美瞳瞳片的制作方法和显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106530229A CN106530229A (zh) | 2017-03-22 |
| CN106530229B true CN106530229B (zh) | 2019-05-21 |
Family
ID=58349715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610975775.XA Active CN106530229B (zh) | 2016-11-07 | 2016-11-07 | 后虚化处理虚拟美瞳瞳片的制作方法和显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106530229B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184108A (zh) * | 2011-05-26 | 2011-09-14 | 成都江天网络科技有限公司 | 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序 |
| CN102708575A (zh) * | 2012-05-17 | 2012-10-03 | 彭强 | 基于人脸特征区域识别的生活化妆容设计方法及系统 |
| CN102867321A (zh) * | 2011-07-05 | 2013-01-09 | 艾迪讯科技股份有限公司 | 眼镜虚拟试戴互动服务系统与方法 |
| CN105389574A (zh) * | 2015-12-25 | 2016-03-09 | 成都品果科技有限公司 | 一种检测图片中人眼虹膜的方法及系统 |
| CN105467616A (zh) * | 2016-02-16 | 2016-04-06 | 侯绪华 | 美瞳隐形眼镜 |
-
2016
- 2016-11-07 CN CN201610975775.XA patent/CN106530229B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184108A (zh) * | 2011-05-26 | 2011-09-14 | 成都江天网络科技有限公司 | 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序 |
| CN102867321A (zh) * | 2011-07-05 | 2013-01-09 | 艾迪讯科技股份有限公司 | 眼镜虚拟试戴互动服务系统与方法 |
| CN102708575A (zh) * | 2012-05-17 | 2012-10-03 | 彭强 | 基于人脸特征区域识别的生活化妆容设计方法及系统 |
| CN105389574A (zh) * | 2015-12-25 | 2016-03-09 | 成都品果科技有限公司 | 一种检测图片中人眼虹膜的方法及系统 |
| CN105467616A (zh) * | 2016-02-16 | 2016-04-06 | 侯绪华 | 美瞳隐形眼镜 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106530229A (zh) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU727503B2 (en) | Image filtering method and apparatus | |
| CN106971165B (zh) | 一种滤镜的实现方法及装置 | |
| CN103544685B (zh) | 一种基于主体调整的图像构图美化方法及系统 | |
| KR101685888B1 (ko) | 상세를 유지하는 이미지 블러 | |
| KR102120046B1 (ko) | 오브젝트를 표시하는 방법 | |
| CN112288665B (zh) | 图像融合的方法、装置、存储介质及电子设备 | |
| US9105117B2 (en) | Methods and apparatus for coherent manipulation and stylization of stereoscopic images | |
| US9626751B2 (en) | Method and system for analog/digital image simplification and stylization | |
| CN108848367B (zh) | 一种图像处理的方法、装置及移动终端 | |
| CN107194869B (zh) | 一种图像处理方法及终端、计算机存储介质、计算机设备 | |
| WO2020087729A1 (zh) | 一种图像处理方法及装置、电子设备、存储介质 | |
| WO2019198570A1 (ja) | 映像生成装置、映像生成方法、プログラム、およびデータ構造 | |
| CN110503599B (zh) | 图像处理方法和装置 | |
| US20120002897A1 (en) | Image processing apparatus, method and recording medium | |
| CN106651991B (zh) | 一种智能贴图实现方法及其系统 | |
| JP2016086350A (ja) | 画像処理装置、および、コンピュータプログラム | |
| CN109493376B (zh) | 图像处理方法和装置、存储介质及电子装置 | |
| JP2010055410A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP5896204B2 (ja) | 画像処理装置及びプログラム | |
| CN106530229B (zh) | 后虚化处理虚拟美瞳瞳片的制作方法和显示方法 | |
| CN106530264B (zh) | 一种虚拟美瞳瞳片的制作方法和显示方法 | |
| CN111402407A (zh) | 基于单幅rgbd图像的高精度肖像模型快速生成方法 | |
| Montesdeoca et al. | Art-directed watercolor rendered animation | |
| CN113658064A (zh) | 纹理图像的生成方法、装置和电子设备 | |
| CN110708476B (zh) | 一种实时图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |